Dinámicas corporales en el audiovisual digital
Coreografía / Interactividad / Textos / Transdisciplina
Publicado en la Revista Sonic Ideas / Ideas Sónicas Vol. No. Año.
Publicado en el libro Arte transversal: Fórmulas equívocas. Experiencia y reflexión en la pedagogía de la transdisciplina. México: Dirección General de Publicaciones / Centro Nacional de las Artes del Consejo Nacional para la Cultura y las Artes, 2012.
Este texto tiene su origen en una conferencia impartida en el IV Festival Internacional de Música y Nuevas Tecnologías Visiones Sonoras 2008.
Dinámicas corporales en el audiovisual digital
1. Complejidad y movimiento corporal.
Recientemente me encontré en un sitio de internet (1) dos imágenes cuyo parecido me condujo a varias semanas de reflexión: la primera es una fotografía de 1950 en la que aparece Jackson Pollock durante la elaboración de una de sus pinturas de gran formato; la segunda es un diagrama de 1926 que muestra los atractores de la escala B de Rudolph Von Laban. Ambas imágenes eran mostradas como ejemplos de registros de movimiento corporal. En las dos se aprecia una silueta humana apoyando el peso en una pierna adelantada, bajando el centro de gravedad y extendiendo hacia el frente uno de los brazos. El resultado de esta configuración del cuerpo es una serie de trazos sobre la tela, en el caso de Pollock, y un conjunto de posibles direcciones y desplazamientos para el bailarín, en el caso de Laban. Al observar estás imágenes, separadas por veinticuatro años en su origen y también por la enorme distancia discursiva que se ha pretendido establecer entre pintura y danza, una al lado de la otra en la misma página, emerge una conclusión extraordinariamente simple, reveladora: se trata de lo mismo; Pollock y Laban, dos casos entre muchos, decretando la relación de inmediatez que existe entre el movimiento corporal y la dinámica de la forma artística.
Sea el cuerpo un conjunto formado por un número finito de elementos, dispuestos simétricamente y articulados en varios puntos produciendo una jerarquía bilateral. Todos los elementos del conjunto poseen medidas que pueden asumirse como fijas, pero su ubicación en la jerarquía, así como sus grados de libertad y restricciones en los puntos en que se articulan, dan como resultado una increíble variedad en las configuraciones que el conjunto puede adoptar. A la serie de configuraciones que el conjunto adopta mediante transiciones continuas, generando diversos estados cuantificables en un horizonte de tiempo dado se le llamará dinámica corporal.
La estructura anatómica del cuerpo es simultáneamente un modelo de acción y de organización. Las calidades que sirven para describir la postura y el movimiento corporal operan en pares complementarios, dando lugar a gradaciones que se yuxtaponen para producir una complejidad especial: expansión-contracción del cuerpo, flexión-extensión de las extremidades, tensión-relajación de los músculos, torsión-recuperación de las articulaciones. Más allá de la enorme variedad de estados corporales, lo que resulta asombroso es la finitud de los elementos que le dan origen. A partir de estos relativamente pocos elementos, de su rigurosa transformación en varios niveles estructurales y de su posterior combinación y recombinación en el tiempo se generan todas las situaciones estéticas que conocemos gracias al cuerpo. Es precisamente esta riqueza estructural lo que hace volver la vista a otro hecho fundamental para este ensayo: en el interior del cuerpo y de sus extraordinarias manifestaciones motrices yace latente –la obra de Laban es el argumento más sólido de ello– una estética de lo computable.
En este punto se pide al lector dirigirse a internet para observar e interactuar con los programas IK Puppet (2) y Marey Animations (3), ya que tomaría demasiado espacio describir en el texto la experiencia, en tanto que mostrar fotografías sin interacción serviría de muy poco. Estos programas son animaciones de manufactura simple que simulan con precisión la jerarquía anatómica del cuerpo, sus restricciones motrices y su comportamiento físico. El resultado son obras-videojuegos que muestran con claridad la belleza del movimiento corporal y el carácter orgánico de sus dinámicas en el caminar y el correr. Su efecto es hipnótico y placentero aún después de que se suprime el dibujo de las partes corporales y lo único que queda a la vista es una colección de puntos que respresenta las articulaciones: una danza abstracta, minimalista y de precisión matemática, que seduce al ojo mostrándole algo que no identifica, pero que claramente reconoce como vivo.
Más allá del placer estético que brindan las calidades visuales del movimiento, la forma de las trayectorias, el desarrollo del trazo, la gradación cromática, la proporción, el ritmo visual y temporal, existe todavía otra importante zona de exploración artística: la intensa carga semántica que adquieren las imágenes debido a la presencia del cuerpo. En otro sitio internet (4) se puede observar una simulación del cuerpo muy parecida a las que se discutía en el párrafo anterior, pero en este caso es un cuerpo de mujer que cae y, al hacerlo, choca continuamente con objetos distribuidos azarosamente en su trayectoria de caída. La mujer se contorsiona dramáticamente y cambia de dirección por efecto de los golpes, se detiene momentáneamente y vuelve a caer, provocando en el espectador-jugador un sentimiento de angustia en espera del equilibrio y el final de la caída. Lo que a través de estos tres ejemplos de simulación se intenta argumentar es que en la dinámica corporal se da una especial complejidad que posee un enorme potencial artístico: un encadenamiento múltiple de sucesos simples en un conjunto finito de extremidades y articulaciones, pero cuya belleza formal e intensidad de significado son extraordinarias. Lo anterior resulta evidente y hasta obvio cuando se enuncia en el contexto de la danza, pero en el contexto del audiovisual digital adquiere gran relevancia debido a las posibilidades que tienen los sistemas electrónicos para apropiarse con exactitud de la dinámica corporal. Gracias a las tecnologías vinculadas con el análisis de movimiento es posible capturar las dinámicas particulares que acontecen en una frase motriz para expresarlas en formas audiovisuales. No es arriesgado afirmar que todo artista digital o compositor de música electroacústica que observa la manifestación de estas dinámicas se sienta tentado de inmediato a servirse de ellas para componer o para improvisar formas y estructuras audiovisuales con ayuda de los medios electrónicos.
2. Experiencias audiovisuales en la apropiación de la dinámica corporal.
Se trata ahora de discutir brevemente sobre las experiencias que se han dado en las artes audiovisuales, especialmente aquellas vinculadas con la tecnología digital, buscando la apropiación de las dinámicas corporales para usarlas como detonadoras de la forma visual y sonora. La creación de una dinámica corporal involucra la participación de un intérprete, alguien que se ha dedicado a cultivar una íntima relación de conocimiento con su propio cuerpo, a partir de lenguajes artísticos como la danza, el teatro, la música, la pintura, entre otros. De aquí se desprende que un buen número de las experiencias registradas se hayan dado en el entorno de una colaboración entre las artes escénicas y las artes audiovisuales electrónicas. Por otra parte, en tanto que el cuerpo no constituye el elemento material exclusivo de la obra (acaso se pueda considerar como el elemento imprescindible) sino que se trata del motor – detonador – orquestador, y dado que es preciso producir a partir de su accionar las imágenes visuales y sonoras que constituyen la otra mitad de la situación artística, se deberá concluir que la transformación de una dinámica corporal en una forma audiovisual es siempre una experiencia mediada por la tecnología.
La afirmación anterior resulta especialmente válida en el terreno de la música, de manera más precisa en la relación que se da entre el cuerpo humano y el instrumento musical (5). Durante la interpretación de la música mediante instrumentos tradicionales (entiéndase por tradicionales aquellos no vinculados con sistemas digitales ni construidos a partir de éstos) la frase musical emerge del instrumento sometido a una acción corporal rigurosamente elaborada. En el caso del violín, por ejemplo, aquella se manifiesta sobre todo en el empleo de los dedos de una mano actuando sobre cuerdas y puente, el hombro y la cabeza actuando sobre la caja y el brazo opuesto actuando sobre el arco y las cuerdas. El resultado es una modulación directa de las calidades de altura e intensidad de las notas en estricta sincronía con el movimiento de los elementos corporales mencionados. La forma sonora que emana del instrumento genera un ciclo de interacción con el violinista ya que es este sonido, escuchado a través del espacio de la sala de conciertos y del monitor correspondiente, el que permite al músico modificar su comportamiento corporal para transformar continuamente las notas. Sin embargo, y a pesar del extraordinario potencial de interacción que permite el violín con su ejecutante, quedan abiertas dos inquietudes cuando se piensa nuevamente en el problema de la apropiación de la dinámica corporal. La primera de ellas consiste en saber si es posible elaborar un mensaje visual con base en la compleja dinámica que ha dado lugar al mensaje sonoro; algo así como aprovechar el dominio del músico sobre su instrumento para satisfacer no solamente al oído sino también a la vista del espectador. La segunda tiene que ver con la expectativa de escuchar lo que podría llamarse la propuesta del instrumento, es decir, las posibles variaciones tímbricas o estructurales que el instrumento musical debería ofrecer a su intérprete en retribución por lo elaborado de su accionar. En otras palabras, sin importar lo complicada que sea la ejecución del violinista, el violín responderá en todas las ocasiones prácticamente de la misma forma. A una determinada combinación de movimientos corresponderá siempre un mismo resultado sonoro: aun si se cambia de violín, lo más que podría esperarse en términos prácticos es una alteración tímbrica, apreciable solamente por unos cuantos escuchas, pero no una forma sonora alternativa, nunca una música diferente -igualmente elaborada- pero distinta en cada interpretación. En este sentido, se puede tomar el enorme riesgo de afirmar que los instrumentos musicales, a diferencia del humano que los hace vibrar, no tienen personalidad.
Y es que los instrumentos musicales no fueron concebidos con la idea de adquirir una personalidad; nunca, o en muy pocos casos, se planteó la necesidad de que un mismo dispositivo desarrollara comportamientos sonoros variables durante la ejecución, sino al contrario, la univocidad de la respuesta se asumió como un atributo positivo. En otras palabras, puede decirse que el instrumento musical es un dispositivo de interacción que responde a su ejecutante de forma literal, que hará siempre lo que le sea solicitado, que –mención aparte de las contingencias propias de su operación– no le presentará al músico ninguna sorpresa sino un gran reto de apropiación mediante la práctica continua. A riesgo de ser obvio se debe aclarar que estas líneas no tienen el objeto de descalificar a los instrumentos musicales como dispositivos de interacción. Todos ellos son grandes invenciones y pueden considerarse como enormes avances en la apropiación de la dinámica corporal dentro del ámbito artístico. Lo que se espera de esta argumentación es más bien llamar la atención hacia el hecho de que la inmensa mayoría de las obras artísticas basadas en el uso de sistemas interactivos audiovisuales presentan un comportamiento igual de literal.
Cuando se habla de obras interactivas audiovisuales que involucran el movimiento –de un espectador o de un intérprete– se traza de inmediato en la mente una línea que va desde Léon Theremin (6) hasta las múltiples variaciones del Very Nervous System (7). Aunque dicha línea cronológica se extiende por más de seis décadas, el desarrollo alcanzado por los mecanismos de interacción de uno a otro de sus extremos no es demasiado interesante. Más aún, se puede afirmar que, hasta hace muy poco tiempo, la experiencia típica con una obra audiovisual interactiva basada en movimiento se reducía a una modulación lineal de imágenes y sonidos que alguna vez, con aguda ironía, uno de los maestros en el equipo de trabajo de este diplomado describió como “me muevo y suena, me muevo más rápido y suena más alto”.
En este momento es preciso hacer un alto para clarificar la cadena de argumentos: se concede que (a) el cuerpo en movimiento posee un vasto potencial artístico debido a la intensa carga semántica que le está asociada, pero también debido a su complejidad estructural; (b) semejante complejidad, apreciable en las dinámicas que desarrolla, puede muy bien ser explorada como generadora de experiencias audiovisuales con ayuda de las aplicaciones informáticas de análisis de movimiento; sin embargo, (c) en la mayoría de los casos, los proyectos artísticos que se han dedicado a esta tarea terminan haciendo un uso excesivamente literal de las dinámicas coporales, dando como resultado un dispositivo de interacción que no dista mucho del de un instrumento musical tradicional; finalmente, (d) es importante ubicar y analizar aquellos trabajos artísticos en los que la complejidad del gesto corporal sirve de base a dispositivos de interacción innovadores, que posibilitan el diálogo del cuerpo con propuestas audiovisuales igualmente complejas. Sólo de esta forma se podrá distinguir a la obra interactiva de los llamados meta-instrumentos, otorgándole la capacidad de exhibir conductas atractivas y cambiantes, de vincularse con el espectador en un juego afectivo de personalidades. En esta dirección se procede a describir tres obras que, a juicio del autor, constituyen sólidos ejemplos de la forma como la dinámica corporal puede ser apropiada para estimular comportamientos audiovisuales complejos, por intermediación de los sistemas digitales. Estas obras son Improvisation technologies de William Forsythe, 16REVolutions de Troika Ranch y Loops de Merce Cunningham / The Open Ended Group.
Improvisation technologies, William Forsythe, 1994-2004.
Se trata de una documentación en video (8) que explica la teoría dancística de Forsythe (9), director del Ballet de Frankfurt y uno de los coreógrafos más influyentes de la escena internacional desde los años ochentas. Es un conjunto de herramientas para el análisis visual de la danza que permite una interpretación del movimiento en términos abstractos. A diferencia de las propuestas que construyen la danza como una representación de situaciones dramáticas o literarias, Forsythe recurre a la construcción y transformación a voluntad de lugares geométricos (dibujar una curva con la mano desde una posición arriba de la cabeza hasta el piso, formar un ángulo con ambos antebrazos y después desplazarlo de adelante hacia atrás al mismo tiempo que se modifica la apertura, trazar un semicírculo con la rodilla e instantes después inscribir en aquel una elipse dibujada con la otra rodilla, etc.) y de estructuras temporales determinadas por patrones de improvisación específicos.
A este catálogo de improvisación dancística se le reconoce desde tiempo atrás su importancia como herramienta pedagógica y como uno de los mejores productos realizados en los primeros años de la multimedia interactiva. Sin embargo, la relevancia que tiene a quince años de ser editado se encuentra en la guía de exploración que ofrece al estudio de la interpretación de la dinámica corporal. Todos los videos del catálogo de Forsythe muestran una toma directa del coreógrafo explicando y llevando a cabo una tecnología de improvisación específica. A esta toma directa se agregan diagramas y animaciones que hacen más sencilla la comprensión de las palabras del coreógrafo. Un ejemplo sería dibujar un círculo paralelo al piso mediante el giro de la mano, después incorporar al hombro en el mismo movimiento para así dibujar un cilindro, levantar suavemente la mano para colocar el cilindro perpendicular a la pared, apoyar la mano en la pared doblando el codo para deformar el cilindro y finalmente “soltar” el cilindro dejándolo caer al piso, separado ya del cuerpo que le dió origen. Este breve video muestra claramente cómo el movimiento dibuja geometrías, las transforma y les induce comportamientos. Por lo general este hecho queda oculto al ojo que contempla la danza, ya que la vista del espectador común hace énfasis en el movimiento actual y no en sus encadenamientos; observa la parte del cuerpo que se mueve pero descuida los residuos de sus trayectorias. Así, el uso de estas geometrías y de su evolución podría ser un material de extraordinaria riqueza para el artista audiovisual interesado en apropiarse de las dinámicas corporales. El cilindro del que se habló líneas arriba podría, por ejemplo, conducir una dinámica sonora: su giro estaría representado por la presencia de osciladores, su deformación en la inclusión de filtros de frecuencia, su caída en el desfasamiento; incluso sus rebotes en el piso podrían motivar alteraciones tímbricas coherentes, aún en el momento en que el bailarín ya se hubiera alejado de él y se encontrara ocupado en la contrucción de otra geometría, de otro timbre. Se estaría en la presencia de una vinculación compleja entre movimiento y respuesta audiovisual; recuérdese además que el esquema de interacción esbozado arriba es sólo una posibilidad de entre cientos. En conclusión, más allá de los méritos reconocidos a Improvisation technologies, la obra de Forsythe ofrece una base para investigar las posibilidades de una interpretación geométrica de la dinámica corporal, como un mecanismo para estimular sistemas escénicos audiovisuales con la ayuda de elementos autónomos. En cierta forma, el cilindro virtual que el bailarín ha creado y dejado olvidado en el piso del escenario es un elemento que ha cobrado autonomía, la versión hasta ahora muy austera de un nuevo ejecutante sonoro.
16 REVolutions (10), Troika Ranch 2006.
Troika Ranch es una de las compañías de danza, a nivel internacional, que han invertido el mayor esfuerzo en el desarrollo de sistemas interactivos audiovisuales. Está encabezada por el artista de medios audiovisuales Mark Coniglio y por la coreógrafa Dawn Stopiello. 16REVolutions es una coreografía en la que se utilizan dos plataformas informáticas para apropiarse de la dinámica corporal y para interpretarla en imágenes tridimensionales que se sintetizan en tiempo real. EyesWeb (11), un sistema de análisis de movimiento desarrollado en el Laboratorio de Informática Musical de la Universidad de Génova y del que se hablará más adelante, es la plataforma utilizada para hacer acopio de las dinámicas de los bailarines. Isadora (12), un sistema comercial para la multimedia escénica desarrollado por el mismo Coniglio, es la plataforma utilizada para la interpretación visual. Sin entrar en detalle de los elementos coreográficos, visuales o musicales de 16REVolutions -se invita al lector a consultar el sitio en internet con fotos y videos de la obra- se puede afirmar que su dispositivo de interacción otorga una especial atención a la complejidad del movimiento, ya que define un conjunto de cuatro descriptores que son: lo rectilíneo del movimiento, su curvatura, su extensión y su complejidad. Estas categorías son cuantificadas en función de los datos numéricos que otorga el análisis de EyesWeb y posteriormente son utilizadas para generar y transformar las imágenes 3D en Isadora. Es importante resaltar que la sola utilización de estos sencillos descriptores permite al sistema una mejor diferenciación del movimiento, lo que da como resultado a nivel escénico una mayor variedad en las imágenes visuales y sonoras que se detonan a partir del bailarín. No obstante, esta variedad no provoca una brecha de apreciación entre la coreografía y el audiovisual, ya que todo el tiempo es evidente la relación de conducción en la que se encuentran dispuestos. El dispositivo de interacción de 16REVolutions interpreta el movimiento en un espacio de cuatro dimensiones continuas (los descriptores) y, en este sentido, no es tan interesante como el dispositivo sugerido por el autor a partir de la discusión de Improvisation technologies. Sin embargo se trata de una obra que lleva ya años en gira mostrando el potencial de las nuevas aproximaciones al problema de la relación danza – tecnología.
Loops, Merce Cunningham, 1971 / The Open Ended Group (13), 2001-2007.
Loops es una coreografía que fue creada por Merce Cunningham pensando en el enorme potencial cinético de sus propias articulaciones. Se estrenó en Nueva York, en 1971 y prácticamente nadie más que él llegó a interpretarla. Casi treinta años después, con serios problemas de artritis, Cunningham interpretó de nuevo una versión de Loops para sus manos. Esta vez, decenas de sensores conectados a un sistema digital capturaron las mediciones del movimiento en los dedos para ser traducidas como dinámicas audiovisuales. Esta interesante investigación estuvo a cargo del colectivo denominado Open Ended Group, integrado por Paul Kaiser, Shelley Eshkar y Marc Downie, quienes venían trabajando con el problema de la danza y las nuevas tecnologías desde la década de los noventas. En su versión digital, Loops es una obra que ha venido evolucionando desde el año 2000, aproximadamente. Sobre la base de la captura de movimiento de las manos se han ido incorporando los productos de nuevas investigaciones del Open Ended Group. En su forma actual Loops involucra una serie de agentes, o programas de inteligencia artificial, que se encargan de crear muy diversas configuraciones visuales en tiempo real cuando son estimulados por la dinámica de las manos. Estos agentes adquieren comportamientos propios y, a partir de éstos, se vinculan con entornos virtuales que también influyen en el resultado general de la forma visual. De esta manera, el dispositivo de interacción involucra no solamente el movimiento directo del intérprete, sino también una segunda capa en los agentes y una tercera capa en su entorno; lo que resulta en la apreciación de tres dinámicas simultáneas cuyo desarrollo es variable entre sí, pero coherente con el movimiento que las genera. Las imágenes que así son creadas poseen una extraordinaria calidad, son ricas en forma y cromatismo e increíblemente dinámicas. Gracias a la programación de diferentes escenarios de representación, estas imágenes pueden evocar nubes, trazos pictóricos, tormentas, radiografías, olas o simplemente formas abstractas (14). Sin importar las formas que se dibujen, siempre están presentes en ellas la organicidad y la complejidad motriz propias de la interpretación coreográfica, la misteriosa sensación que libera en su entorno aquello que está vivo y lo expresa moviéndose.
El excelente resultado audiovisual que Loops desarrolla a partir de la dinámica corporal está basado en la complejidad del dispositivo de interacción. En primer término, gracias a los sensores de captura de movimiento se tiene un conocimiento completo de los puntos más importantes de la estructura de las manos y de sus variables cinemáticas (posición, velocidad, aceleración, rotación, velocidad angular). Esta información puede ser directamente empleada, como el movimiento de una nube de puntos, pero también procesada para interpretarse de forma más interesante. Por ejemplo, una trayectoria que una el extremo del pulgar derecho con la primera falange del pulgar izquierdo y con la tercera falange del índice izquierdo tiene un comportamiento cinemático distinto al de los tres dedos por separado. Si se toma en cuenta que tan sólo los extremos y las articulaciones de las falanges forman un conjunto de 19 puntos en 5 ramales, el número de las trayectorias posibles asciende a 380, tomando cada mano por separado, y a 741 utilizando ambas manos. Al agregar el conjunto de sensores colocados en la zona metacarpiana el número de combinaciones sobrepasa el millar, dando origen a una abruamadora red de posibles trayectorias que pueden utilizarse como descriptores del movimiento de las manos. En el interior de esta red y de sus múltiples trayectorias se encuentran latentes las dinámicas que se convertirán en forma visual, que servirán de estímulo y campo de acción a los agentes cuya personalidad específica transmutará una distancia, una rotación o una aceleración angular en trazo, color y textura.
Vale la pena destacar que tanto Merce Cunningham como el Open Ended Group han puesto a disposición de creadores e investigadores, mediante una licencia de uso libre sin fines de lucro, la coreografía, los programas y la plataforma informática que integran Loops. En el caso de la plataforma se trata de un programa denominado Field, desarrollado fundamentalmente por Marc Downie, doctor en inteligencia artificial por el MIT, quien acuñó el visionario concepto de coreografía para el agente extendido (15). En términos muy generales éste tiene que ver con el uso de programas de inteligencia artificial (agentes) que sean capaces de utilizar la información numérica que procede de los sensores de movimiento, y que define con precisión la dinámica corporal, para generar respuestas audiovisuales de alto nivel. En este contexto se considera de bajo nivel al comportamiento literal exhibido por el arte interactivo descrito en una sección anterior, mismo que Downie cataloga como visualización o sonorización de las dinámicas. En una respuesta de alto nivel las variaciones cinemáticas no son inmediatamente traducidas a variaciones audiovisuales, sino que son procesadas para interpretarse como estados de conducta, a los cuales el sistema interactivo responde con una estrategia de relación más cercana al juego que al espejo.
En este punto es preciso hacer un corte para reflexionar sobre la forma como la tecnología hace de mediadora entre la dinámica corporal de un intérprete y la respuesta audiovisual de un sistema digital. De forma particular se pretende hacer énfasis en ciertas tecnologías, algunas de ellas ya mencionadas, que no por casualidad poseen denominaciones a primera vista contradictorias. Conceptos como inteligencia artificial, realidad virtual, narración interactiva, vida artificial, visión de computadora o cómputo afectivo no han dejado de provocar polémica desde que fueron usados por primera vez. Acaso esta aparente contradicción puede considerarse también como la señal haber arribado a un territorio cuya exploración precisa de estrategias de investigación, experimentación y producción transdisciplinarias.
3. Tecnologías de carácter transdisciplinario y sistemas interactivos multimodales.
Efectivamente, la conjunción de los conceptos de dinámica corporal y audiovisual digital obliga desde el principio a pensar en la edificación de un puente capaz de unir espacios a primera vista tan distantes. Como sucede en los ámbitos tecnológicos mencionados unas líneas arriba, lo contradictorio del puente es un ingrediente básico para activar un trabajo que al consolidarse da lugar a nuevas áreas de especialización, que legitima nuevas disciplinas acaso más interesantes que aquellas que les dieron origen. Un ejemplo muy afortunado de esto es precisamente la constitución del Open Ended Group, colectivo artístico a cuyo trabajo se ha referido extensamente en párrafos anteriores. Este proyecto está integrado por tres artistas digitales cuyas especialidades detentan historias extensas por separado, pero que no habían sido reunidas de forma tan estrecha y productiva. La vinculación entre los dominios de las artes visuales, el análisis de movimiento y la inteligencia artificial inaugura así un espacio de trabajo fructífero, cuyos resultados artísticos trascienden con holgura los alcances individuales previos. El caso del Open Ended Group puede ser visto como un ejemplo del desarrollo de un tipo especial de puente entre arte, ciencia y tecnología al que se conoce como sistema interactivo multimodal.
En términos generales se llama multimodal a un sistema interactivo que utiliza múltiples interfaces electrónicas para adquirir diferentes tipos de información sobre el comportamiento de sus usuarios. Dicha información es analizada por múltiples capas de software que realizan una interpretación elaborada de la actividad de la persona y construyen asimismo una respuesta compleja. Una descrpción más detallada del sistema multimodal se puede encontrar en los archivos del proyecto EyesWeb (16). Por ahora bastará con hacer una mención de las cuatro etapas que lo integran.
Etapa 1: Muy bajo nivel (sensores y señales eléctricas). En esta etapa el sistema interactivo multimodal adquiere información de muy bajo nivel, representada en las señales eléctricas que proceden de sus sensores. En el caso de Loops, una de las obras descritas en la sección anterior, se trata de los registros de imagen obtenidos por varias cámaras que observan los puntos de referencia colocados en las manos de Cunningham. Estos registros consisten en una cadena de coordenadas tridimensionales para cada uno de los 60 puntos de registro; donde cada cadena almacena hasta 120 coordenadas por segundo de movimiento. Para el diseño del sistema multimodal en esta primera etapa, además del coreógrafo, se precisa de la colaboración con especialistas en óptica, electrónica, cinemática, anatomía e informática, por mencionar los más relevantes.
Etapa 2: Bajo nivel (pistas numéricas). En esta etapa se genera información de bajo nivel en la forma de pistas que permiten una interpretación básica de la dinámica corporal del usuario del sistema multimodal. Aquí la información ya no está expresada en el lenguaje de los dispositivos electrónicos, sino en el de las personas que analizan el gesto. En el caso de Loops, estas pistas para la interpretación pueden ser el grado de contracción o expansión de las manos, el grado de flexión de las articulaciones de las falanges, la cantidad de movimiento de los dedos, el ángulo de rotación en las muñecas o la forma estructural que adquiere la mano en cada instante. En esta etapa el equipo de diseño y producción debe ampliarse con especialistas en animación, estadística y procesamiento de imagen.
Etapa 3: Nivel medio (segmentación e interpretación cruzada). En esta etapa se trata de localizar y determinar en el comportamiento del usuario las frases propias de los sistemas formales vinculados con el desempeño del sistema multimodal. Estas frases pueden ser interpretadas como unidades dentro de dicho sistema, o bien dentro del lenguaje artístico construído en un nivel superior. Siguiendo el ejemplo de Loops, las lecturas de cantidad de movimiento en los dedos y de grado de contracción o expansión en las manos son obtenidas de la etapa 2 en forma de flujos numéricos continuos. Si se analiza la cantidad de movimiento durante cierto periodo, su flujo numérico tendrá por fuerza varios valores nulos, lo que indicará momentos en los cuales ninguno de los dedos se mueve. Esta situación permite segmentar el tiempo total del performance, o de interacción del usuario con el sistema multimodal, en periodos de movimiento y periodos de silencio. Cada periodo de movimiento es entonces una frase en el sistema formal del movimiento corporal, y puede codificarse con base en categorías propias de dicho sistema. La interpretación cruzada, es decir simultánea, entre la cantidad de movimiento y el grado de contracción indicará si la frase puede considerarse de apertura o cierre de las manos, de convergencia o divergencia de las direcciones de los dedos, o de acción de uno o varios dedos, por mencionar algunos casos. Después de tres etapas de trabajo, el sistema multimodal posee ya información elaborada y relevante sobre el comportamiento cinético de las manos que también puede interpretarse como frase coreográfica, es decir, como unidad en el lenguaje artístico vinculado con la forma motriz. Lo anterior significa que en este momento la construcción del sistema se vuelve también competencia de especialistas en danza, teatro y estudios del lenguaje. En la próxima y última etapa las conexiones con otras disciplinas se extenderán hasta los confines con la psicología, el análisis de movimiento, la inteligencia artificial, la música electroacústica, la computación gráfica y la teoría de videojuegos, por mencionar las más evidentes.
Etapa 4: Alto nivel (conceptos y estructuras). En esta etapa se encuentra el trabajo más interesante del sistema interactivo multimodal, pues las frases obtenidas como resultado de la etapa anterior habrán de ser traducidas en términos de espacios conceptuales que permitan una interacción inteligente. Con esto se intenta decir que el sistema digital sea capaz de ofrecer respuestas a las acciones del usuario que sean: (a) lo suficientemente complejas para establecer un vínculo sólido, atractivo, lúdico, sorpresivo pero coherente entre humano y máquina; y (b) significativas para los objetivos, conceptuales o artísticos de la interacción.
A continuación se ofrecen tres ejemplos de estos espacios de interpretación de alto nivel; dos de ellos están sugeridos en el trabajo de investigación del proyecto EyesWeb y el tercero lo sugiere el autor de este ensayo a partir de la discusión de la obra Improvisation technologies de William Forsythe.
I. Espacio de acciones de Laban. En la documentación del proyecto EyesWeb se menciona la posibilidad de traducir las frases de movimiento obtenidas en la tercera etapa de un sistema multimodal como acciones propias de la teoría del flujo de la forma de Rudolph Laban (17), (18). A grandes rasgos esto significaría examinar cada frase para determinar su dinámica en términos de tiempo, espacio y gravedad, y así relacionarla con alguna de las acciones definidas en el análisis de movimiento Laban. Por ejemplo, si la frase muestra una exploración indirecta del espacio (alto grado de curvatura en las trayectorias de los extremos de los dedos), un manejo repentino del tiempo (índices de aceleración elevados) y una dinámica de gravedad fuerte (altos índices de actividad eléctrica en los músculos), entonces dicha frase debería ser identificada con la acción latiguear. En la misma lógica, una frase ubicada en el espacio directo, el tiempo sostenido y la gravedad ligera sería asociada con la acción deslizar. De esta forma, el sistema multimodal plantearía a su usuario una interacción basada en la interpretación de su movimiento como una colección de acciones neutras, atendiendo exclusivamente a su resultado cinético y no a sus causas o detonadores. En este sentido, la determinación de acciones neutras conforme a la clasificación de Laban debería ser relevante para los objetivos de interacción con el audiovisual. Cabe hacer notar que esto simplifica la ordenación de las categorías motrices, pero limita la utilidad del modelo al no poder relacionarse directamente con situaciones corporales cotidianas. En otras palabras, resulta difícil imaginar una situación de interacción interesante en la que al sistema le baste con saber si el usuario está realizando acciones como deslizar, golpear, empujar, latiguear, tocar, sacudir, flotar o retorcer.
II. Espacio afectivo. El proyecto EyesWeb sugiere también la construcción de un espacio de interpretación afectiva para traducir las frases de movimiento. En este caso se trataría de determinar el estado emocional del usuario del sistema multimodal y no solamente las calidades cinéticas en las que se manifiesta. Por ejemplo, un grado de contracción elevado, sumado a un valor reducido de la cantidad de movimiento y a un elevado índice de torsión en las articulaciones podría interpretarse como un estado emotivo de tensión, en tanto que las mismas cualidades de la frase, pero con un índice de torsión reducido, sería más fácilmente interpretado como un estado contemplativo o de relajación. A diferencia del espacio de acciones descrito en el párrafo anterior, este modelo permite una aproximación al estado emocional del usuario, lo que puede ser de gran utilidad para sistemas interactivos con fines artísticos.
III. Espacio geométrico. El último espacio de interpretación de alto nivel que se sugiere en este ensayo tiene que ver con la construcción y transformación en tiempo real de lugares geométricos y su asociación con situaciones motrices cotidianas. El autor propone este modelo con base en el trabajo de William Forsythe descrito en Improvisation technologies, en el que se destacan aspectos del movimiento del bailarín mediante animaciones superpuestas al video. En el caso por ejemplo de la improvisación de Noah de Gelber contenida en la obra citada, existe un momento en el que la postura del bailarín hace énfasis en un plano invisible, perpendicular a su cuerpo y paralelo al piso, como si se tratara de una mesa que estuviera colocada frente a él. Acto seguido, el movimiento de su cuerpo y de sus brazos sugiere que transporta la mesa en una caída hacia atrás hasta colocarla directamente sobre el piso, la dobla por la mitad y la proyecta con fuerza hacia afuera del escenario. En el espacio de interpretación sugerido, la mesa sería un agente con comportamiento dinámico, que es derribado, doblado y proyectado por el movimiento del bailarín. De esta forma se tendría una asociación geométrica y visual con un objeto cotidiano y con operaciones que sobre él puede realizar una persona por motivaciones diferentes. Pero lo más importante, se tendrían dinámicas complejas que simultáneamente simplifican los códigos de interacción y enriquecen las respuestas del sistema audiovisual. Por ejemplo, atrapar la mesa puede asociarse con una restricción tímbrica de un instrumento virtual, derribar la mesa puede significar filtrar el sonido del instrumento hacia sus frecuencias más graves, doblar la mesa sería desactivar la mitad de sus osciladores para plegar su sonido y proyectar la mesa hacia afuera del escenario sería escuchado como una fuga direccional del timbre, todo en tiempo real: un comportamiento musical asociado con la interpretación dancística en términos de dinámicas complejas pero completamente comprensible para el público.
4. Conclusiones.
Para finalizar puede afirmarse que solamente los sistemas interactivos multimodales, cuyo desarrollo apunta a la consolidación de los conceptos de cómputo afectivo (19) e interacción inteligente, pueden afrontar el reto de apropiarse de las extraordinarias dinámicas que acontecen en el movimiento corporal para expresarlas en la forma de respuestas audiovisuales igualmente complejas. Se trata de una línea de investigación a mediano y largo plazo que ha sido capaz de unificar objetivos que hasta la fecha habían sido perseguidos por separado en ámbitos como el desarrollo de interfaces, la producción de videojuegos, la medicina de rehabilitación, el diseño de sistemas de vigilancia y, por supuesto, la práctica artística. En todos estos espacios, la búsqueda por la interacción inteligente ha definido zonas de intenso contacto entre especialistas de disciplinas muy diversas, lo que hace volver la vista hacia el potencial del arte interactivo como catalizador de prácticas interdisciplinarias y transdisciplinarias.
Es precisamente esta apreciación una de las causas que han conducido al Centro Nacional de las Artes a desarrollar los canales académicos necesarios para ofrecer una propuesta educativa actual, en la que los procesos de investigación, experimentación y producción artística se enlacen de manera natural con el estudio de las nuevas tecnologías y las dinámicas transdisciplinarias. En este sentido debe celebrarse la creación del diplomado Tránsitos (20), primer programa de especialización en arte y transdisciplina, que surge de la iniciativa y el trabajo de la dirección y la comunidad de esta importante institución, y que representa con fidelidad el escenario en el que habrán de acontecer las discusiones más importantes y atractivas de la actividad artística.
5. Referencias
- automaticoroboticocodificado.dpa-etsam.com
- www.wireframe.co.za
- www.understandingduchamp.com
- www.izpitera.ru
- MENDES BARBOSA, Álvaro. Instruments and temporal control in the context of musical communication and technology. Pompeu Fabra University. Audiovisual Institute.
- www.thereminworld.com
- homepage.mac.com/davidrokeby/vns.html
- www.medienkunstnetz.de/works/improvisation-technologies
- www.theforsythecompany.de
- www.troikaranch.org/gallery16Rev/g-16rev.html
- www.eyesweb.org
- www.troikatronix.com/isadora.html
- www.openendedgroup.com
- www.openendedgroup.com/index.php/artworks/loops-2001-present/
- Downie, M. Coreographing the extended agent, performance graphics for dance theater. Program in Media Arts, School of Arquitechture and Planning. MIT, 2005.
- Camurri, A.; Mazzarino, B.; Menocci, S.; Rocca, E.; Vallone, I. y Volpe, G. Expressive gesture and multmodal interactive systems. Infomus-Lab: Laboratorio di Informatica Musicale. DIST – University of Genova, Italy.
- Fernández Moliner, Sylvia. Universo, vida, emoción y danza. Cuatro hitos del movimiento. CONACULTA, INBA, CENART. 2006.
- www.dancenotation.org
- www.acii2009.nl
- transitos-diplomado.blogspot.com
