Nouvelles organologies du sonore : les audio-games
La question des interfaces a-musicologiques New musical organologie: the audio games. The question of a-musicological interfaces

Note de bas de page 1 :

Nous empruntons la notion d’interface « a-musicologique » à l’article de Francis Rousseau et Alain Bonardi (Bonardi, Rousseau, 2003).

Cet article propose d’apporter un éclairage sur un champ créatif émergeant : les « audio-games » ou « vidéo-ludiques sonores », se situant au carrefour du jeu vidéo et de l’informatique musicale. Aujourd’hui, une multitude de petites applications, qui proposent des expériences audio-visuelles ludiques où la dimension sonore est prépondérante, sont disponibles sur des consoles de jeux, des ordinateurs mais aussi sur des téléphones portables. Ces expériences représentent un nouvel espace où la notion de « jouabilité » venue du jeu vidéo peut faciliter la jonction avec la création musicale. Ce champ créatif, en proposant la manipulation de représentations que nous appelons « a-musicologiques »¹ (c’est-à-dire utilisant des symboles ne faisant pas référence à la musicologie classique pour produire du sonore), interroge de manière nouvelle la représentation du sonore et des structures musicales et produit ainsi de nouveaux gestes instrumentaux et compositionnels qu’il s’agit d’étudier. Il interroge ainsi, et de manière originale, la question de la convivialité dans son rapport à la créativité. De fait, toute une nouvelle organologie du sonore est en train de se constituer, renouvelant de manière profonde le rapport au musical (représentations abstraites synesthésiques, manipulations 3D, simulation de phénomènes physiques comme le rebond, l’élasticité…).

Note de bas de page 2 :

Ouvrage précité (p. 35).

L’appareil photo n’est pas un outil mais un jouet et le photographe n’est pas un travailleur mais un joueur : non pas « homo faber » mais « homo ludens ».²

Note de bas de page 3 :

Ouvrage précité (p. 78)

Bien que l’appareil photo se fonde sur des principes scientifiques et techniques complexes, il est très facile de le faire fonctionner. C’est un jouet structurellement complexe mais fonctionnellement simple. En cela, il est l’opposé du jeu d’échecs, qui est structurellement simple mais fonctionnellement complexe : ses règles sont faciles, mais il est difficile de bien jouer aux échecs. Celui qui a un appareil photo entre les mains peut très bien produire d’excellentes photographies sans pour autant avoir la moindre idée de la complexité des processus qu’il met en marche en appuyant sur le déclencheur.³

Note de bas de page 4 :

Five film exercices (1943-1944) (http://www.my-os.net/blog/index.php?2006/06/ 20/330-john-whitney)

Note de bas de page 5 :

Withney John (1980), Digital harmony on the complementary of music and visual arts, Bytes Books, New Hampshire.

Note de bas de page 6 :

Studie Nr 7. Poème visuel (1929-1930), Studie Nr 8 (1931)…

Note de bas de page 7 :

A Colour Box (1935)…

L’expression « musique audiovisuelle » est avancée dès le début des années 1940⁴ par John Withney⁵ qui en définit les caractéristiques en travaillant la question de tempo et celle des rapports cinématographiques spécifiques (couples temps/espace et forme/couleur). Néanmoins, la « musique audiovisuelle » ou « colorée » est présente bien plus tôt, dès les années 1920, avec des réalisateurs comme Oskar Fishinger⁶ ou Len Lye⁷ et s’inscrit dans la mouvance des interrogations sur la correspondance entre les arts et sur la synesthésie chère à des peintres abstraits comme Kandinsky ou Klee. La volonté de ces réalisateurs est de trouver un langage cinématographique spécifique « libéré » de la narration et des formes issues du roman et du théâtre. Pour cela, ces cinéastes vont s’éloigner de la fonction première de captation du réel du cinéma en choisissant d’utiliser de préférence des formes non figuratives et en recherchant des modèles de construction de l’œuvre du côté de cet art abstrait par excellence qu’est la musique. Avec la durée et le rythme comme dénominateur commun, ces réalisateurs vont chercher à produire des œuvres synesthésiques « totales » jouant sur les relations subtiles entre les différents sens.

Note de bas de page 8 :

John Cage mais aussi Earle Brown, Pierre Boulez, André Boucourechliev et bien d’autres…

Comme nous l’avons vu précédemment avec la partition Cartridge Music (Cage, 1960), les principes d’indétermination développés par de nombreux compositeurs dès la fin des années cinquante⁸ obligent à repenser la partition comme outil de communication musicale. Un genre nouveau apparaît dans un rapprochement des arts sonores et visuels. Les compositeurs élargissent leurs palettes de symboles (couleurs, formes, profondeurs, textures…) pour décrire de nouvelles sonorités et des processus musicaux inédits. Ces nouvelles représentations introduisent des espaces de liberté liés à l’improvisation et mettent en avant des indications musicales globales ou volontairement floues qui sapent l’obsession de contrôle de la musique contemporaine. Le compositeur se charge de la macrostructure (tandis que l’interprète se charge du détail de la réalisation), et communique à l’interprète d’autres types d’informations moins précises comme des sensations, des émotions, des mouvements, des dynamiques.

Note de bas de page 9 :

Unité Polyagogique Informatique du CEMAMu (Centre d’Etudes de Mathématiques et Automatique Musicales)

Note de bas de page 10 :

http://www.youtube.com/watch?v=yztoaNakKok

Note de bas de page 11 :

http://acg.media.mit.edu/people/golan/

Note de bas de page 12 :

Massachusetts Institute of Technology (USA).

Note de bas de page 13 :

Aurora (1999), Floo (1999), Yellowtail (1999), Loom (1999), Warbo (2000).

Note de bas de page 14 :

An inexhaustible audiovisual substance which is created and manipulated through gestural mark-making. Golan Levin

Note de bas de page 15 :

http://www.blueyeti.fr/Grapholine.html

Note de bas de page 16 :

Camille Barot et Kevin Carpentier.

Note de bas de page 17 :

http://www.utc.fr/imp/

Dans les années soixante-dix, le compositeur Iannis Xenakis, intéressé lui aussi par les rapports entre la vision et l’audition, propose une interface graphique pour la composition musicale sous le nom de l’UPIC⁹¹⁰. Le compositeur peut, grâce à une palette graphique, dessiner les formes d’ondes et les enveloppes d’amplitude, et contrôler à la fois la structure du son et la forme globale de l’œuvre. Plus récemment, Golan Levin¹¹, chercheur au MIT¹², propose une série d’« instruments »¹³ qui associent de manière très étroite l’image, le son et le geste. Développeur de palettes graphiques qu’il sonorise en générant en temps réel des sons de synthèse, il associe des paramètres du geste, comme la direction et la vitesse du mouvement ou la pression du crayon électronique, à des paramètres sonores, comme le timbre, la hauteur, le panoramique, et à des paramètres graphiques, comme la couleur, l’épaisseur de trait ou la direction. Chez Golan Levin, les notions d’interactivité et de générativité sont étroitement liées : l’image et le son sont générés en temps réel, à partir du geste de l’utilisateur créant ainsi une « substance audiovisuelle malléable générative et interactive »¹⁴. En France, la société Blue Yeti¹⁵ propose le système Grapholine de dessin musical à doubles écrans basé sur la transformation d’échantillons sonores (via une banque de sons standard mais aussi personnalisables) par la synthèse granulaire et offrant une large gamme de manipulations et de relations image/son (vitesse du tracé, transparence, luminosité, couleur, pression du crayon…). À l’UTC de Compiègne, deux étudiants¹⁶ en dernière année de cursus informatique, proposent une application de réalité virtuelle (Immersive Music Painter, 2010¹⁷) où l’interactant dessine dans l’espace, par son geste, des courbes de différentes couleurs et d’épaisseurs auxquelles est associé un son ou une mélodie dont la hauteur, le panoramique et le volume sont contrôlables.

Note de bas de page 18 :

http://www.youtube.com/watch?v=rb-9AWP9RXw&feature=related

Note de bas de page 19 :

[2,1] = 2 sur l’axe paradigmatique et 1 sur l’axe syntagmatique

Note de bas de page 20 :

http://www.youtube.com/watch?v=mN4Rig_A8lc&feature=related

• Aura (sur iPhone et iPad)¹⁸ [2,1]¹⁹, très proche de l’esthétique de pièces comme Allegretto de Fishinger (1936) ou Allures de Belson (1961), propose, sur un fond musical généré, de construire ses propres mélodies (toujours en harmonie avec le fond sonore) en choisissant la note, le timbre et le volume via des formes colorées simples à l’écran. Le processus de création audiovisuel se fait de manière fluide et ininterrompue et le fond musical et visuel change en secouant simplement son iPhone. Le joueur produit, en touchant l’écran de son doigt, musiques et formes abstraites dans ce qui est présenté comme un générateur interactif de musique (et d’image) d’ambiance. Une application comme SynthPond²⁰ (iPhone et iPad) [2,1] propose de positionner des formes sur des cercles de diamètres différents. Des notes sont jouées quand ces formes rencontrent les ondes visuelles produites par des formes carrées ou l’intersection des autres cercles. À la différence d’Aura, SynthPond produit une musique de boucles répétitives dont il est possible de prévoir visuellement le rendu sonore en suivant le déplacement des formes et leur rapprochement des différentes intersections. Le joueur peut sélectionner les hauteurs, le timbre et le tempo des boucles permettant ainsi un résultat sonore potentiellement complexe.

Note de bas de page 21 :

http://www.youtube.com/watch?v=2a1qsp9hXMw

Note de bas de page 22 :

http://www.youtube.com/watch?v=xuYWLYjOa_0&feature=fvst

Deux jeux originaux de tirs musicaux : Rez (Mizuguchi, 2001, Sega)²¹ [2,4] et Child of Eden (Mizuguchi, 2010, Xbox360)²² [2,4] nous rapprochent de jeux plus classiques en gardant une dimension sonore importante. Rez se présente comme un jeu de combat où la partie musicale est créée dynamiquement en fonction des actions du joueur. Chaque tir du joueur ou des vaisseaux ennemis produit un son qui s’adapte rythmiquement et harmoniquement à la bande son. L’expérience de jeu devient ainsi particulièrement originale, la mission ludique (détruire des vaisseaux ennemis) est la source de la production de l’image et du son. Le discours du concepteur faisant référence à Kandinsky et à la synesthésie relie ce jeu aux jeux décrits précédemment. Pour accentuer cette recherche de synesthésie, l’agglomérat de sensations simultanées est stimulé par la vibration de la manette de jeu au moment de la synchronisation de l’image et du son.

Note de bas de page 23 :

Havryliv Mark, Narushima Terumi, Metris: a game environment for music performance, http://ro.uow.edu.au/era/313/

Note de bas de page 24 :

http://www.youtube.com/watch?v=JmqdvxLpj6g&feature=related

• Metris²³ (Mark Havryliv, Terumi Narushima, Applet Java) [2,3] est une adaptation du célèbre jeu Tetris à une dimension de création musicale. À chaque block en déplacement est associé un son de cloche généré par de la synthèse en temps réel. Les actions de l’utilisateur qui déplace ou qui applique des rotations sur ce block produisent des modifications sonores de hauteurs. La manière dont ces blocks s’encastrent produit différents accords. L’ensemble des possibilités permet de produire une composition microtonale sophistiquée sans perdre l’intérêt du jeu initial de Tetris.

• Pasy02²⁴ (iPhone et iPad) [2,2] se présente comme une grille que l’on peut déformer et étirer à loisir et qui revient à la normale dans un effet d’élasticité. Ces modifications physiques influent sur les paramètres comme la hauteur, le tempo et le timbre de boucles musicales jouées par un synthétiseur dont les formes d’ondes (sinusoïde, triangle, carré, dents de scie) peuvent être sélectionnées par le joueur pour obtenir des résultats sonores variés. Le dispositif très simple offre une approche particulièrement originale et directe de production du son.

Note de bas de page 25 :

http://www.youtube.com/watch?v=aPkPGcANAIg

Note de bas de page 26 :

Dix tableaux : Tracy/Trapy, Hanenbow, Luminaria, Sun-Animalcule, Rec-Rec, Nanocarp, Lumiloop, Marine-Snow, Beatnes, Volvoice.

• Elektro-Plankton²⁵ (Toshio Iwai, Nintendo) est un jeu emblématique qui propose un ensemble de dix tableaux mettant en scène des planctons dans des situations musicales variées²⁶ agrémentées de graphismes ludiques. Certains tableaux soulignent le lien étroit entre geste musical et geste pictural. Ainsi avec Tracys [3,3], le joueur trace des lignes (droites ou courbes) que le plancton suivra en jouant des notes de piano au rythme de la création de ligne. D’autres mettent en scène la dimension labyrinthique et rhizomique de la musique (parcours dans un espace de notes possibles) : avec Luminaria [3,3], plusieurs planctons se déplacent sur une grille faite de nœuds et de liens, chaque lien étant orienté. Le joueur peut changer les connexions entre les nœuds et modifier ainsi les trajectoires des planctons, transformant par là-même les notes émises. D’autres mettent en avant un dispositif proche de ce que nous pourrions appeler une installation sonore : les Hanenbrows [3,2], par exemple, sont projetés dans l’écran et rebondissent sur des feuilles qui produisent une note musicale. En inclinant ces feuilles, le joueur produit des rebonds différents et influe sur les mélodies générées. La fréquence de sollicitation des feuilles modifie leurs couleurs et leurs tonalités. Un tableau comme Nanocarps [3,2], met en scène un ensemble de planctons qui ont leurs comportements et déplacements propres, le son est produit par leurs entrechoquements et l’utilisation du micro permet au joueur de réorganiser leurs mouvements. De même, le tableau Volvoice [3,1] utilise le micro de l’ordinateur pour capturer des sons dont les paramètres (hauteur, vitesse, filtre) peuvent ensuite être modifiés à loisir par la déformation à l’écran du plancton associé. Enfin, le tableau Sun-Animalcule [3,1] propose de déposer des œufs sur l’écran. De la position choisie dépendra la note associée. La lumière d’un cycle jour/nuit fait éclore les œufs qui libèrent leur note associée puis les embryons planctons vont grandir et faire évoluer leur comportement musical.

Note de bas de page 27 :

http://www.flyingpuppet.com/

Flying puppet (Nicolas Clauss)²⁷ [3,4] : le site du peintre Nicolas Clauss propose de nombreux « tableaux interactifs » où l’esthétique visuelle y est clairement figurative et où la démarche est de l’ordre d’une expérience multi-sensorielle sans but ni mission. Si l’importance du son y est forte, l’image n’est jamais dans une logique de représentation de ce sonore. Les deux modalités font l’objet d’une autonomie de création et se superposent dans de nouveaux effets de sens. Par exemple, le triptyque Legato, Cellos et Moon tribe met en scène des personnages filaires de danseurs. À partir de ces mêmes éléments graphiques, chacune de ces trois réalisations exploite un aspect musical bien particulier : Legato met en place un mixage de lignes mélodiques sur un thème en boucle, Cellos ordonne différentes mélodies préétablies, Moon tribe permet de synchroniser des boucles rythmiques. La structure même de l’interaction est calquée ou transposée de structures musicales comme l’harmonie, le contrepoint, l’ordonnancement de mélodie, la synchronisation de rythmes. L’image possède sa propre cohérence esthétique et installe des effets de correspondances arbitraires avec le son. De même, chacun des modes, visuel et sonore, possède son propre temps ; les temps de l’animation graphique et le temps musical ne se recouvrant pas toujours parfaitement, ils produisent des décalages des boucles temporelles visuelles et sonores. Le geste ne fusionne pas les deux modes mais les coordonne, il est le point de rencontre, la frontière entre les deux mondes. Si cette relation provoque une fusion sensorielle, elle ne peut être que fugitive, non univoque et soumise aux interprétations variant assez fortement d’un utilisateur à l’autre. Elle n’est pas directement inscrite dans le processus technique mais plutôt réalisée, au détour d’un geste intempestif, comme un plus d’appropriation de l’utilisateur. Impossible ici de savoir si notre geste est guidé par le souci du résultat sonore ou d’une animation visuelle réussie. Nous passons d’une intention à une autre de manière imperceptible, fusionnant ainsi les trois dimensions visuelle, sonore et gestuelle.

Note de bas de page 28 :

Moles A. (1972). Théorie de l'information et perception esthétique. Denoel-Gonthier, Paris.

Note de bas de page 29 :

Bayle F. (1993). Musique acousmatique : propositions … positions. Buchet Castel, Paris.

Note de bas de page 30 :

MIM, Les UST : éléments nouveaux d'analyse musicale, [MIM 2002], p°18.

Note de bas de page 31 :

Chute, Contracté, Etendue, Elan, En flottement, En suspension, Etirement, Freinage, Lourdeur, Obsessionnel, Par vagues, Qui avance, Qui tourne, Qui veut démarrer, Sans direction par divergence d'information, Sans direction par excès d'information, Stationnaire, Sur l'erre, Suspension-interrogation, Trajectoire inexorable.

Note de bas de page 32 :

Idem p. 36.

• En 1961, Abraham Moles²⁸ propose une échelle d’iconicité en treize échelons pour classer les images en fonction de leur degré de ressemblance avec l’objet réel représenté. Cet axe progressif part des représentations les plus concrètes et figuratives pour aller vers les représentations les plus éloignées ayant un degré d’abstraction élevé comme les langages naturels ou langages artificiels (mathématiques etc.). Cette échelle d’iconicité peut être appliquée au son en se développant sur deux axes : celui qui va du concret au musical et celui qui va du capté au simulé (synthèse sonore).

• Inspiré par la sémiotique de Peirce pour l’image, le compositeur François Bayle²⁹ définit trois propriétés du son liées à l’intention d’écoute : l’icone (image isomorphe ou im-son) : l’objet est dénoté par l’ensemble de ses caractères, l’indice (image indicielle ou di-son) : certains traits de l’image dénotent l’objet, le symbole (une métaphore ou mé-son) : l’image représente l’objet par associativité. Ces trois natures de signes débouchent sur trois niveaux d’écoute : celui où les sons s’écoutent comme étant rattachés à des référents directement identifiables de la réalité (qualité : quali-signe) ; celui où la relation est plus abstraite, le son devient un élément significatif de quelque chose. Écoute spécialisée : Les sons s’écoutent comme transformés (filtrage, transposition, insert…), indices d’un travail du compositeur (singularité : syn-signe) ; et enfin, celui où le signe répond à une loi connue qui est en dehors du signe lui-même. (rebond, oscillation…). Écoute tournée vers le sens de l’organisation, de la loi formelle… (stabilité : légi-signe).

• Conçues au groupe de recherche musicale de Marseille, l’Unité Sémiotique Temporelle est « un segment musical qui, même hors contexte, possède une signification temporelle précise due à son organisation morphologique »³⁰. Dix-neuf UST ont été ainsi répertoriées et nommées par des étiquettes : un mot ou une expression littéraire qui décrit le plus directement possible la manière dont se déploie l’énergie sonore dans le temps³¹, le plus souvent à l’aide d’une « appellation métaphorique, un qualificatif qui fait référence à quelque chose d’extra musical »³². Cette référence extra-musicale est un premier pont vers une généralisation de ces étiquettes à d’autres modalités. Dans ce sens, on peut souligner que l’ensemble de ces étiquettes fait référence à un mouvement énergétique ou spatial qui les relie naturellement au geste et à l’image.

Note de bas de page 33 :

Avec des environnements de programmation comme Max-Msp, Pure Data ou encore Usine.

Note de bas de page 34 :

Comme Cubase ou LogicAudio…

Note de bas de page 35 :

Voir l’utilisation des interfaces graphiques sur scène d’un artiste électronique comme Ryoji Ikeda.

Il est difficile aujourd’hui d’anticiper les nouveaux gestes instrumentaux et compositionnels qu’induit ce genre d’applications. Nous pouvons néanmoins souligner qu’elles s’insèrent dans un mouvement général de multiplication de situations d’interactions musicales inédites : les dispositifs temps réel musicaux³³ transforment en effet le geste musical en l’augmentant ou le déformant, ce qui a pour effet de décorréler le geste du résultat sonore. De leur côté, les logiciels de composition d’informatique musicale professionnels³⁴ ajoutent de plus en plus fréquemment à leurs représentations « traditionnelles » (partition en clés de Sol et de Fa, grille de données midi, rouleau de piano mécanique, affichage en formes d’onde…) (Vinet, 1999), des représentations en réseau, des simulations physiques (rebonds, nuages de sons…), des automates se déplaçant dans des labyrinthes de notes, des approches ludiques. Les audio-games participent au renouvellement du geste musical et à la représentation du son et de ses structures musicales, ils ouvrent la pratique musicale et compositionnelle à un large public indépendamment du niveau musical de ce dernier, ils permettent de rendre visible et compréhensible le geste musical du musicien sur scène³⁵ et sont susceptibles de transformer le rapport entre l’auditeur et la composition musicale en la rendant explicite par la convivialité de son interface et la jouabilité proposée.