Surfaces multi-points
Projet Ritournelles


Le multitouch fait son apparition dans le courant des années 80, en parallèle à la sortie des premiers ordinateurs personnels d'Apple. C'est d'ailleurs cette dernière compagnie qui le démocratisera avec la sortie de l'iphone en juin 2007, après avoir rendu sa fabrication possible grâce au rachat de FingerWorks avec son cofondateur Wayne Westerman en 2005.



C'est d'ailleurs cette dernière compagnie qui le démocratisera avec la sortie de l'iphone en juin 2007, après avoir rendu sa fabrication possible grâce au rachat de FingerWorks avec son
cofondateur Wayne Westerman en 2005. Il se forme alors un engouement pour cette technologie auprès des utilisateurs et donc un investissement considérable de la part des industriels. Le 12 janvier 2008, Microsoft lève 24 millions de dollars et intègre à la prochaine version de windows (windows seven) une plateforme multitouch.

La fabrication et l'expérimentation de cette technologie ne reste pas pour autant l'exclusivité des grands groupes. En 2005, une première vague annonçant l'apparition du multitouch dans notre quotidien est annoncée par le groupe de recherche Music Technologie Group avec la réalisation de la reactable, un instrument de technologie open source basé intégralement sur un concept de table multi-touch. Depuis, de nombreux outils gratuits et disponibles sur internet on vus le jour. C'est le cas notamment de CCV (Community Core Vision, anciennement Touchlib puis Tbeta), un logiciel de tracking vidéo opensource, spécialement adapté à la détection de doigts pour les surfaces multitouch et développé par la communauté du NUIGROUP.
L'accessibilité de cette technologie permet aujourd'hui d'introduire aisément le multi-touch comme projet de travail au sein du groupe ITR, à partir des caractéristiques intrinsèques liées à cette technologie : gestuelle, multi-utilisateur, mais aussi à partir de la conception d'une œuvre et d'un outil ouvert et diffusable.
Tout d'abord, nous proposerons de faire un état des lieux sur l'avancement du multi-touch à l'ENSAD et au seins du groupe ITR. Celà nous permettra d'en déduire des points à envisager pour un projet à venir. Enfin, nous aborderons plus concrètement le projet Ritournelles, oeuvre interactive explorant le multitouch à travers une dimension nouvelle.


Introduction des surfaces réactives à l'ENSAD en 2009

En vue de se familiariser avec la technologie multitouch, une première table tactile à été réalisée par le groupe ITR au cours de l'année 2008/2009. Celle-ci permet à l'équipe de se confronter à un nouveau type d'interface dont les modalités gestuelles de l'utilisateur changent radicalement par rapport à des écrans tactiles monotouch. Ainsi, elle donne lieu au développement d'outils et de librairies logiciels spécifiques permettant de réfléchir aux problématiques liées à l'occurrence de plusieurs doigts simultanément sur une surface dans le cadre de la manipulation de contenu multimédia. Le choix s'est porté sur la conception d'un premier prototype modulable, facilement démontable et remontable permettant de faciliter le transport et l'expérimentation des différentes techniques de captation que la table est capable d'accueillir (FTIR et DI).

Problématiques de recherche 2009 - 2010

Le groupe ITR s'attache à des problématiques de recherches spécifiques à l'utilisation du temps réel dans le cadre de projets artistiques innovants. Il s'agit tout à la fois de réfléchir sur des dispositifs qui mettent en évidence des enjeux artistiques forts appuyés par des recherches alliant design et fonctionnalité, tout en se confrontant aux obstacles liées aux technologies novatrices mises en œuvre. Ainsi, cet axe de travail sur les surfaces réactives proposera de s'intéresser aux environnements réactifs à échelle humaine. Comment ainsi étendre les surface d'interaction tout en utilisant intelligemment l'espace ainsi obtenu ? Comment gérer la présence du corps de l'utilisateur dans un contexte d'interaction à taille humaine? Quels sont les nouvelles potentialités d'interaction qui peuvent en découler? Dans ce cadre, nous prévoyons de travailler sur la réalisation d'une nouvelle interface matérielle s'affranchissant totalement de la planéité des tables multitouch habituelles, pour rejoindre une logique d'interaction plus environnementale. Les verrous technologiques liés à la création d'une telle interface feront l'objet d'une recherche qui s'articulera en deux temps. Une première phase de recherche de partenaires, permettant la résolution des questions d'anamorphoses liées à la vidéo projection sur surface courbe (recherches optiques, miroirs, création d'un module logiciel de déformation d'image...). Puis une seconde phase se concentrera sur le développement d'applications et d'expérimentations d'interaction spaciales, adaptés spécifiquement à ce dispositif.
Les problématiques de travail visées pour l'année 2009-2010: - Projection / captation des gestes sur des surfaces de nature courbes
- Étude de la gestuelle et du corps dans un dispositif à échelle humaine
- Comportements sociaux dans un espace d'interaction multi-utilisateur
- Exploration des relations espace/temps, son/image à travers l'écriture d'un instrument environnemental


Le projet "Ritournelles"


Présentation:

Ritournelles fait parti des premiers projets spécialement développés autour de la nouvelle surface réactive. L'installation se présente comme un instrument visuel et sonore environnemental, d'une forme cylindrique et de taille humaine, offrant d'emblée un rapport fort à l'espace dans son mode d'interaction avec le spectateur. Objet design à la fois capable de projeter et de capturer les gestes à sa surface, il instaure un rapport spatial avec le corps, afin d'engager l'utilisateur à se déplacer et à contourner le dispositif dans sa globalité. La ritournelle, courte phrase musicale précédant le couplet d'une chanson, est basée sur la répétition d'un motif sonore. Dans Mille Plateaux, les philosophes Deleuze et Guattari attribuent une fonction reterritorialisante à la ritournelle. Elle apparaît chez l'enfant comme la répétition d'une courte phrase mélodique rassurante, décrivant par la même un périmètre sécurisant, un territoire connu. Ce terme trouve une résonance à la fois dans le fond et la forme du projet. En effet, l'utilisateur se trouve dans une logique de déplacement autour du cylindre et se présente comme l'opérateur des boucles musicales animant l'espace par la lumière. Cette contrainte de mobilité permanente dans l'installation incite le spectateur à explorer les contours d'un objet, à en devenir le moteur en l'alimentant par la marche.


Scénario de l'interaction:

Chaque occurrence d'une main présente sur le cylindre fera apparaitre une portée musicale abstraite sur laquelle l'utilisateur est invité à se déplacer. De la trace ainsi produite naitra une ligne colorée et vivante enveloppant l'objet, celle-ci correspondra à un flux de note possédant leur propore "durée de vie" dans le temps. Une tête de lecture en mouvement perpétuel balayant le tour du cylindre déclenchera les notes dans le temps et l'espace, avant qu'elle ne meurent et disparaissent d'elles même. Elle oblige le spectateur à toujours rester actif et présent le long du cylindre pour écouter sa ritournelle. Lorsque aucune main n'est détectée, un mode autonome prends la relève et l'installation joue les anciennes partitions enregistrées par les visiteurs. Cette logique de composition musicale circulaire à déja été expérimentée sur la table multitouch de l'ensad à travers le séquenceur Polychroma (http://raphael.isdant.free.fr/polychroma.htm)


Principe de fonctionnement:

Le système repose sur la technologie FTIR ou DSI adaptée à un écran courbé (http://nuigroup.com/forums/viewthread/1982/).

Un tube PMMA coulé diffuse le rayonnement infrarouge introduit par des leds, puis réfléchi par les mains des utilisateurs à la surface. Un couple caméra/projecteur infrarouge est calibré sur un miroir 360°panoramique afin d'anamorphoser l'image captée/diffusée.

L'utilisation de rubans de leds prémontées est un système pratique qui faciliterait grandement la mise en oeuvre du projet (http://www.environmentallights.com/products/12352/ Dimmable_LED_Ribbon_foot_IR940)

Le cylindre possède en son centre deux machines (traitement son/image) reliées via protocole OSC.

Un système de spatialisation audio ambisonic (6 ou 8 voies) enveloppe également l'installation de sorte que chaque son accompagne logiquement l'utilisateur dans ses déplacements circulaires.