Em3 by Barbara Castro

>>> Read this post in English

Em3 é uma instalação interativa em que o público pode entrar em contato com o corpo da artista através da mediação da obra. Nesta instalação continuei utilizando o kinect como sensor para captura de movimentos em tempo real. Para desenvolvimento da obra, registrei uma coreografia criada a partir de poses e movimentos em que a resposta do sensor era diferente da que esperava. Desta forma, valorizamos a “margem de indeterminação” da máquina, pois acreditamos que ao fazê-lo estamos possibilitando que o sensor artificial contribua com a experiência artística, pois apresenta novas formas de percepção do corpo humano, distinta das nossas. Assim, a instalação apresenta duas projeções. A primeira trata-se de grafismos, vetores projetados por trás de um espelho falso, de forma que o interator possa vê-los junto a sua própria imagem, seu reflexo. A segunda é a silhueta do corpo digitalizado da artista, que também se apresenta refletida no espelho falso. Os grafismos se atualizam a partir de diversos parâmetros para formar as visualizações.

A principal característica está baseada na comparação do corpo do interator com os dados digitalizados de meu corpo. A semelhança ou diferença entre estes dois corpos ditam os dois principais modos de visualização, que seriam pontos ou esqueletos. Caso a instalação considere os corpos em poses semelhantes, os esqueletos aparecem, caso contrário, podemos ver seus pontos se movimentando no espaço, formando uma massa em um corpo coletivo. Desta forma, os corpos se unem justamente por sua heterogeneidade, valorizando a diferença do movimento dos corpos físicos, mas também a da percepção humana e maquínica. Outros fatores que influenciam na visualização é a margem de indeterminação da máquina que aumenta a pregnância do ponto em questão com um grande círculo. Há também a criação de vínculos entre os dois corpos, conforme eles se aproximam. Entenda melhor a instalação no video a seguir.

O desenvolvimento de Em3 está baseado no conceito de intervalo corpóreo delineado ao longo da minha dissertação de mestrado, conceito este que será resumido em artigo a ser apresentado no Re-new Digital Arts Festival em outubro, na Dinamarca.

Original Soundtrack: Cadu Sampaio

——-

Em3 is an interactive installation in which the public can contact the artist’s body through the mediation of the artwork. This installation is the final experiment of a theoretical and practical research conducted over two years, that investigated the relationship of bodies mediated by sensors in order to obtain my Master of Art title. On the occasion, the Microsoft Kinect 3D camera was used as a sensor due to it’s human movement recognition algorithm. The installation confronts artist’s and interactors bodies as scanned data in two projections. The first one presents graphics, generated from the relationship of the two bodies and are back projected on an one-way-mirror, so that the interactor can see them along with his/her reflection. The second one is the silhouette of the previously recorded artist’s body, which also reflects in the mirror. The graphics are updated from various parameters into dynamic visualizations styles. The main point is based on the comparing of artist’s and interactor’s bodies. In order to develop the artwork, a choreography was created and recorded out of poses and movements that the sensor response was different from what we would expect. The similarity or difference between these two bodies toggles between the two main visualization modes. If the installation consider the bodies in similar poses, their skeletons representations would appear, otherwise, we could see their joints moving in space, morphing into a mass as a collective body. The provocation is in the kind of movement made in the artist’s choreography. Some of the movements were made in a way that the sensor would not recognize, so that the machine can show new perceptions of our body. Therefore, even if the interactor tried to copy the virtual body, the comparison will not be stable, because the virtual body is not a copy of the human body as the interactor is used to. In fact, the virtual body is subordinated to the perception of artificial sensory system. Thus, the bodies joints are combined precisely because of its heterogeneity, emphasizing the difference of motion of the physical bodies, but also of human and machinic perception.

The development of Em3 is based on the concept of ‘Corporeal Interval’ outlined throughout my Master’s Thesis. This concept will be summarized in a paper to be presented at Re-new Digital Arts Festival in October in Denmark.

ENTRE:UM performance em duas temporalidades de um mesmo corpo

Após apresentar minha última instalação ENTRE na Mostra Imagem Experimento, fui provocada por Malu Fragoso a transformá-la em uma performance para a exposição EmMeio#4.0 no Museu Nacional da República de Brasília, na ocasião do 11 Encontro Internacional de Arte e Tecnologia (#11ART). A possibilidade de expor minha relação pessoal com meu trabalho me deixou empolgada, pois não só poderia mostrar um pouco mais do meu processo criativo, mas sobretudo a minha relação com o tipo de sensor que utilizo, o kinect. Essa oportunidade é muito importante para mim, pois minha dissertação trata da sensibilidade artificial e a relação de nosso corpo com ela na experiência artística em instalações interativas. Para esta performance contei com o apoio de meu amado Cadu Sampaio para o desenvolvimento do som.

Para desenvolver a performance separei em seis momentos. Início (1) entro em cena, meu corpo é capturado apenas como imagem, como em um reflexo, o som que se sobressai é o de minha voz, som do meu corpo. Depois meu corpo aparece na forma de dados (2), o som já se tornou digital, sons pontuais assim como minha figura digitalizada. Neste momento procuro me relacionar com este sensor, tentando provocá-lo. Esta etapa reflete todo o meu ano de experimentações com o kinect, meu processo de desenvolver uma instalação em que a primeira pessoa a testar incessantemente sou eu mesma. Neste meio tempo pude perceber as peculiaridades do sensor, aqui procuro não me referir a estas como limitações, mas apenas a este tipo de sensibilidade artificial). Assim procuro movimentos mais rápidos ou que escondam parte de meu corpo, tentando provocar o sensor a “errar” meu corpo, mas ao mesmo tempo buscando sempre seguir o que ele acredita ser meu corpo, um jogo “coreográfico” com a máquina. Assim, saio de cena (3), e fica evidente agora para o público que meu corpo estava sendo capturado e a cena agora possui um corpo presente apenas virtualmente. Em termos sonoros, o som continua o mesmo apenas um pouco mais distante. Quando retorno a cena (4) posso explorar o espaço buscando me relacionar com o meu corpo anterior. Esta relação se apresenta de forma visual e sonora a cada vez que me aproximo do local onde estaria meu corpo anterior.

É aí que meu corpo é dividido (5) como na instalação ENTRE, metade imagem e metade dados, porém desta vez esta divisão não está fixa e acompanha meu corpo. O som permanece o mesmo das conexões, acrescentando um efeito para quando os lados se alternam. Por último, o tempo-presente deixa de ser o único em evidencia e aos poucos, o intervalo entre meu corpo-de-agora e meu corpo-anterior vai preenchendo toda a projeção (6), como se esses corpos agora juntos já tivessem ocupado todo este espaço da performance.

O resultado da performance pode ser visto a seguir:

ENTRE:UM performance from Barbara Castro

 

ENTRE corpos, imagens e dados

This post is about my latest artwork.
BETWEEN is an interactive instalation in which the interactor’s body is splitted as half image, half data captured by Kinect. Both sides of this body alternate according to the orientation of the body, so that the interactor never sees his face. Furthermore, the side that represents the body as data (blue dots), displays a virtual body (yellow dots), along with the representation of the one that is present. This virtual body is a result of the artist’s body experience. When the interactor approaches the place that the virtual body is supposedly occupying a web emerges connecting the two bodies.

The choice of keeping the virtual body only in the form of data and no image was to reinforce the difficulty of identifying with this reflection. Together the two bodies can merge to enhance the expressiveness of body movement, reducing the individuality characterized by a face. The installation still endorse this dichotomy between presence / absence when records the public, turning these temporary experiences digital to ensure the presence of the bodies, even if virtual. The projection of these bodies is done in a frosted glass, the door of the art gallery. Therefore, the experience is designed at the boundary between the gallery interior and exterior, making it possible to watch the performance of both physical and virtual bodies from the two viewpoints. More details can be seen throughout the video below.

Esta semana tive a oportunidade de expor a instalação ENTRE na Mostra Imagem Experimento. A seguir vocês podem ver e compreender um pouco melhor as imagens que postei no convite durante a semana.

A minha pesquisa se iniciou com uma busca pela integração de expressões visuais e sonoras ao movimento humano, o primeiro experimento foi chamado CTRL01, em que o usuário do computador via um desenho se formar na tela de acordo com o posicionamento de seu rosto e sua voz. Ao longo do meu aprendizado de programação em Processing, comecei a estudar as possibilidades de reconhecimento mais complexo do movimento do corpo utilizando o Kinect e a library SimpleOpenNI. Como resultado desta etapa, expus a série de experimentos INTEGRARTE no MAM-Rio durante o Festival de Cultura Digital.Br. Nestes experimentos, já se mostrava uma necessidade de inserção do meu próprio corpo dentro da experiência.
Em ENTRE, a provocação está na divisão do corpo, que se vê refletido metade em imagem, metade em grafismos gerados a partir dos dados capturados pelo kinect. Esta divisão surgiu do contato com o espaço da galeria EBA7, em que foi exposta a instalação dentro da Mostra Imagem Experiento. As duas faces deste corpo se alternam de acordo com a orientação do corpo, de modo que o interator nunca veja seu próprio rosto. Além disso, o lado que representa o corpo em forma de dados, apresenta junto a este corpo presente, um corpo virtual. Este corpo virtual é resultado da digitalização de minha experiência corporal enquanto artista. Quando o interator se aproxima espacialmente do lugar que o corpo virtual estaria ocupando, uma trama aparece conectando os dois corpos. A opção por este corpo virtual existir somente na forma de dados e não de imagem ocorreu para reforçar a dificuldade de identificação com este reflexo. Juntos os dois corpos podem se fundir para reforçar a expressividade do movimento do corpo, reduzindo a individualidade caracterizada pelo rosto. Esta instalação busca um conceito que estou definindo ao longo de minha pesquisa de mestrado como um intervalo corpóreo, resultado da relação rítmica e espacial entre corpos mediados pela instalação.
A instalação ainda endossa esta dicotomia entre presença/ausência quando registra o público, digitalizando estas experiências temporárias para garantir a presença, ainda que virtual dos corpos. A projeção destes corpos é feita em um vidro jateado, na porta da galeria. Portanto, o intervalo é projetado no limite entre o espaço interior e exterior a galeria, sendo possível se assistir o desempenho tanto dos corpos físicos quanto virtuais pelos dois pontos de vista.

Mais imagens no meu portfolio.

INTEGRARTE no Festival Cultura Digital.Br

 
No dia 2 de dezembro tivemos a oportunidade de expor os experimentos interativos no Festival Cultura Digital.Br no MAM-RJ. Foi uma excelente oportunidade de entrar em contato com um público interessado de uma maneira um pouco mais informal. Para o Festival, desenvolvemos 4 experimentos distintos. Cada um deles interpretava os movimentos do interator em formas visuais e sonoras, explorando diferentes relações corporais. Os experimentos foram desenvolvidos utilizando o Microsoft Kinect, já citado aqui no blog em diversos posts. Para a programação utilizamos o Processing junto com o Simple OpenNI para acessar os dados do kinect. Os dados do corpo do interator eram utilizados para criar os desenhos dentro do Processing. Utilizamos também a biblioteca rwmidi para converter os dados do kinect para dados midi a serem enviados para o Ableton Live em que são controlados os sons interativos. Foi uma excelente experiência que já está se desdobrando na nova fase do projeto. Mais notícias em breve, aguarde!

Festival Cultura Digital.Br

É com enorme prazer que anuncio que os experimentos INTEGRARTE ENTREGARTE vão estar sendo realizados no MAM-RJ durante o Festival Cultura Digital, na tenda Visualidades. Gostaria de agradecer profundamente a todos que apoiaram a inscrição do projeto no Festival.

Data: Sexta-feira, 02/12/2011                 Horário: de 14h as 19:30

O Festival conta com uma programação muito rica e diversa, confira no site! Uma importante iniciativa para reunir os interessados e proliferar  as discussões acerca da Cultura Digital. Vale relembrar que o tema será abordado sob aspectos políticos, sociais, artísticos, ambientais entre outros, criando uma enorme plataforma de colaboração e cooperação coletiva que vai reunir mais de 100 atividades durante os três dias no MAM e no ODEON. Não percam!!

Gostaria de avisar também que o Laboratório de Visualidades e Visualizações (EBA/UFRJ) também fará parte da programação. A Prof. Dra. Doris Kosminsky, coordenadora do LabVis apresentará os projetos desenvolvidos no último semestre em uma palestra na Mostra de Experiências.

Data: Sábado (03/12)               Horário: 14:35

CTRL+02 – experimentos com kinect

Para o desenvolvimento da instalação que estou propondo na minha pesquisa de mestrado, comecei a desenvolver experimentos lá no IMPA utilizando o kinect.
Para quem não sabe o kinect é um acessório do videogame XBox e que além da câmera RGB normal possui emissor e receptor de luz infra-vermelha. Isto dá acesso não somente a uma imagem normal mas uma leitura tridimensional deste espaço, através de níveis de profundidade. Além disto, há um algoritmo que consegue perceber o que é movimento humano dentro deste ambiente. Estes primeiros experimentos estão sendo desenvolvidos para compreensão dos dados corporais obtidos pelo software Processing, e como podem se comportar e serem interpretados em formas visuais.

Posteriormente serão experimentados relações sonoras com esta interação também. Tanto sons emitidos pela instalação como interpretação deste movimento, como sons que o interator faça também influenciarem nesta imagem gerada. Esta segunda opção já foi explorada no primeiro experimento que utilizava webcam e pode ser visto aqui. A proposta para a visualização final da instalação é que esta imagem não seja fruto somente destes movimentos, mas também sofram interferências de forças externas ainda não definidas.
O desdobramento destes experimentos foram expostos no Festival Cultura Digital.Br. Você pode vê-los aqui!

Se você gostaria de ter a oportunidade de fazer parte destes experimentos e poder opinar sobre as interações, por favor apoie o projeto para que seja exposto no Festival Cultura Digital a ser realizado no MAM em dezembro deste ano (2011). O projeto está inscrito como apresentação de processo e abertura para a intervenção do espectador no processo de criação da obra. Queremos desenvolver um laboratório em que a artista possa expor os experimentos e desenvolver sugestões dos participantes no momento do Festival.

É só entrar no site do Festival Cultura Digital e apoiar o projeto!

No canto superior direito, dá pra curtir no facebook e APOIAR no quadradinho amarelo

Agradeço desde já o apoio de todos e vamos nessa!

Este slideshow necessita de JavaScript.

CTRL+01 – Movimentando com voz e cor

É chegada a hora de publicar meu primeiro experimento! Este experimento foi feito baseado em uma observação teórica, que em breve deve se apresentar como um artigo, ou pelo menos um texto que está em fase de desenvolvimento.  

O processo é o seguinte: o interator se movimenta na frente da tela e o trajeto de seu rosto vai sendo desenhado. O som ambiente, seja a voz ou qualquer ruido influencia neste desenho, aumentando os circulos coloridos e diminuindo o branco. Ou seja, o interator desenha com seu corpo e voz.

O experimento é um sketch de Processing que usa o detector de faces da librarie OpenCV para trackear o movimento do interator diante da tela. Quando uma face é detectada (e pode ser mais de uma ao mesmo tempo) o sketch cria um desenho  estipulado por código. Porém, este desenho é sensível ao som detectado pelo microfone através da librarie Minim.

Este processo de remediação das mídias anteriores foi notado por Marshall Mcluhan: “O conteúdo de uma mídia é sempre uma mídia anterior”. Isto pode ser observado em um nível básico da informática em que sistemas operacionais são baseados em objetos de escritório: a pasta, a lupa, o arquivo, a lixeira; quanto em softwares de criação e manipulação de imagens, e portanto da arte digital, em que as ferramentas são o pincel, o lápis, a borracha, etc, e até mesmo em seus acessórios como as mesas digitalizadoras(tablets) que utilizam canetas ‘digitais’. “A mídia digital quer se apagar para que o usuário permaneça na mesma relação com o conteúdo como se estivesse utilizando a mídia original.” (BOLTER & GRUSIN). Desta forma, desenvolvi uma forma de criação de imagens através do computador que não está relacionada a mídias analógicas, mas a um conceito de “corpo como mídia viva”, desenvolvido por Hans Belting. Fica aí uma dica do artigo que vem por aí…