Irradiations iconiques : réflexions sur le texte animé, à partir de quatre exemples dans la littérature numérique

Note de bas de page 1 :

 Cette enquête par questionnaire a été réalisée auprès d’étudiants universitaires pour étudier leur usage des encyclopédies en ligne. Des questions concernant leur rapport général au support numérique et leurs habitudes de lecture ont également été posées. Les résultats ont été recueillis et analysés par C. Bélisle, E. Rosado (LIRE, Lyon 2-CNRS) et A. Saemmer. Rapport du projet ELLEN disponible sur http://lire.ish-lyon.cnrs.fr/spip.php?article254(consulté le 4 juillet 2012).

Que ce soit dans des bannières publicitaires ou dans des expérimentations littéraires, le texte numérique se caractérise, en outre, par son caractère manipulable et animé. Cet article propose une méthodologie d’analyse sémio-pragmatique pour les « couplages » entre texte linguistique et mouvement. La nature différente des signes impliqués influe sur l’acte de réception : certains lecteurs dans une étude par questionnaire menée en 2006 à l’Université Lyon 21 ont ainsi considéré le texte animé comme plus « ludique » et plus « captivant » que le texte statique. Certains sont allés jusqu’à affirmer qu’« on lit autre chose que du texte ». Comment caractériser plus précisément le couplage entre texte et mouvement dans l’animation textuelle sur support numérique ? Cet article essaiera de donner quelques réponses en recourant au concept des « unités sémiotiques temporelles » identifiées dans le son, et en proposant de sonder le processus d’interaction entre texte et mouvement qui est appelé « irradiation iconique ».

Note de bas de page 2 :

 Kendall Walton, Mimesis as Make-Belief : On the Foundations of Representational Arts, Cambridge, Harvard University Press, 1990, p. 219.

Note de bas de page 3 :

 Michel Foucault, Ceci n’est pas une pipe, Paris, Fata Morgana, 1973, p. 39.

Face à l’image d’un moulin-à-vent, nous nous comportons selon Kendall Walton comme si nous étions confrontés à un moulin réel, alors que nous nous gardons bien de dire « ceci est un bateau » en lisant le mot « bateau » dans un texte2. Comme l’explique Michel Foucault dans Ceci n’est pas une pipe, ni l’image d’une pipe ni le mot « pipe » ne sont la « chose » dans le monde physique ; néanmoins, ce constat semble s’appliquer davantage au mot qu’à l’image. Alors que la représentation par l’image implique la ressemblance avec les choses, la référence linguistique l’exclut, avance Michel Foucault : « On fait voir par la ressemblance, on parle à travers la différence »3. Cette affirmation radicale doit sans doute être nuancée à plusieurs égards. Beaucoup de débats ont notamment été menés sur une possible « iconicité » du signe linguistique qui pourrait ainsi se rapprocher, par ses caractéristiques visuelles ou sonores, de son référent d’expérience.

Note de bas de page 4 :

 Victor Hugo, Voyages, Paris, Laffont, 1987, p. 684.

Une forme élémentaire de l’iconicité du texte se fonde sur l’idée qu’un système de correspondances sémantiques se retrouverait dans le système de correspondances sonores, que le système des sons reflèterait le système des sens. Une deuxième iconicité possible du signe linguistique est d’ordre visuel. Victor Hugo note « combien l’Y est une lettre pittoresque qui a des significations sans nombre » : « L’arbre est un Y. L’embranchement de deux routes est un Y. Le confluent de deux rivières est un Y. Une tête d’âne ou de bœuf est un Y. Un verre sur son pied est un Y. Un suppliant qui lève les bras au ciel est un Y»4.

Note de bas de page 5 :

 Yves Jeanneret et Jean Davallon, « La fausse évidence de l’hypertexte », Communication et langages 140, 2004, p. 43-54.

Le texte numérique se caractérise, en outre, par son caractère animé. M’inscrivant dans une approche sémio-pragmatique, je considérerai les « couplages » entre texte et mouvement comme des « traces et anticipations de lectures »5, qui s’actualisent de façon partielle dans un contexte de réception précis.

Note de bas de page 6 :

 Le terme est emprunté à Wolfgang Iser, Der Akt des Lesens – Theorie ästhetischer Wirkung, Munich, Fink, 1976. L’Acte de lecture – Théorie de l’effet esthétique, trad. Evelyne Sznycer, Paris, Mardaga, 1995.

D’une part, un texte animé mobilise, en tant que texte, un certain nombre de « répertoires »6 en direction du lecteur. Il contient des allusions à des normes sociales ou à des événements faisant appel à un imaginaire collectif, à des croyances, des valeurs partagées et des intertextes, bref toute cette multitude d’éléments qui fondent potentiellement un savoir socioculturel commun entre le texte et le lecteur. D’autre part, il est caractérisé par un mouvement qui l’inscrit dans un déroulement temporel : par exemple, lorsqu’un mot clignote ou disparaît.

Note de bas de page 7 :

 Le terme est emprunté à W. Iser, Der Akt des Lesens – Theorie ästhetischer Wirkung, ibidem.

J’avance l’hypothèse que certains mouvements constituent des « icônes » dont le « potentiel d’action »7 fait autrement appel à nos sens que le texte lisible. Ces icônes « irradient » sur le signe linguistique et orientent potentiellement la lecture de celui-ci. Dans certains cas, ce processus que je propose d’appeler « irradiation iconique » est poussé à l’extrême : il se crée, dans le couplage entre texte linguistique et signe iconique, un simulacre de référent qui peut constituer un puissant facteur d’immersion.

Note de bas de page 8 :

 Susanne Berkenheger, Zeit für die Bombe, http://www.wargla.de/zeit.htm (consulté le 4 juillet 2012).

1. Dans un épisode de l’hyperfiction allemande Zeit für die Bombe (Temps pour la bombe) par Susanne Berkenheger8, le lecteur est invité à activer la phrase « appuie sur ce petit interrupteur » pour déclencher le compte à rebours d’une bombe au niveau de l’histoire racontée (pour plus de clarté, je traduis les énoncés en question). En activant l’hypertexte, le lecteur a sans doute au moins partiellement l’impression d’appuyer sur le petit interrupteur : il est immergé dans l’histoire racontée en tant qu’acteur. Le texte relié lui apprend ensuite que la bombe a été activée : dans l’énoncé « et la *bombe* faisait tic-tac », le mot « bombe » clignote. Ce mot a-t-il pourtant « besoin » d’être animé ainsi ? Cette animation n’est-elle pas caractérisée par une redondance entre texte et mouvement ?

Note de bas de page 9 :

 Reiner Strasser, In the white darkness, http://nonfinito.de/ii/ (consulté le 4 juillet 2012).

2. In the white darkness par Reiner Strasser9 est une œuvre animée et interactive consacrée à la perte de mémoire. La pièce reflète une expérience avec des patients souffrant des maladies d’Alzheimer ou de Parkinson, montrant et faisant expérimenter au lecteur la fragilité et l’extinction progressive de leurs souvenirs. Lorsque le lecteur actualise l’œuvre, un rectangle rempli d’une image floue apparaît. L’image est parsemée de petits cercles blancs manipulables. Sur cette surface apparaît l’énoncé « Just a whisper, at least, of the persistence of this memory, this forgetfulness » (Juste un murmure, au moins, de la persistance de cette mémoire, cet oubli ; je traduis). Cet énoncé disparaît progressivement. Comme dans l’exemple précédent, son (murmure) et animation semblent entretenir un rapport privilégié. Comment caractériser plus précisément le couplage entre mots et mouvement dans cet énoncé ?

Note de bas de page 10 :

 Dan Waber, « haha », http://collection.eliterature.org/1/works/waber__strings/haha.htm (consulté le 4 juillet  2012).

3. Dans le poème de Dan Waber intitulé Strings, des mots manuscrits s’animent sur l’écran. Dans l’animation « haha »10, le mot statique « haha » se caractérise déjà par une forme d’iconicité: la répétition des mêmes phonèmes reproduit les sons d’un rire humain. Le mouvement semble souligner la représentation du référent d’expérience en imitant à la fois la structure répétitive et les changements de niveau sonore du rire. Le mot « haha » se déplace donc parfois de façon cyclique de gauche à droite, ralentit avant de revenir en force, formant des mouvements en delta. Une série de « hahaha » et de « he » s’agrandit et rétrécit ensuite au même rythme sans se déplacer de gauche à droite. En dépit de ces différences visuelles, n’avons-nous pas l’impression d’être confrontés au même signifié ?

Note de bas de page 11 :

 Gregory Chatonsky, Sous-Terre, http://www.incident.net/works/sous-terre/1_intro/index.html (consulté le 4 juillet 2012).

4. L’œuvre numérique Sous-Terre par Gregory Chatonsky11 établit des analogies entre le réseau de métro, la mémoire humaine, et les traces de souvenirs explorables en deux et trois dimensions sur Internet. L’œuvre invite le lecteur à découvrir des documents d’archives sur le métro parisien, des photos et vidéos fournies par l’auteur, et l’histoire fragmentée d’une relation entre un homme et une femme. Lorsque le lecteur explore le chapitre intitulé « le reflet des voyageurs », vingt mots apparaissent. Chaque clic sur l’un de ces mots provoque un agrandissement progressif de la taille des lettres, jusqu’à ce que les mots passent hors-cadre, sans jamais ralentir ou s’effacer. Le « potentiel d’action » d’un mot comme « passages » semble entrer avec le mouvement dans une relation de confirmation, voire de redondance. Comment caractériser en revanche le couplage entre le mot « absence » et un mouvement qui s’impose de façon aussi matérielle et inexorable sur l’écran ?

Note de bas de page 12 :

 Liste des UST, MIM, http://www.labo-mim.org/site/index.php?2008/08/22/44-liste-des-19-ust (consulté le 4 juillet 2012).

Note de bas de page 13 :

 A. Frey, S. Poitrenaud, et C. Tijus, « Validation expérimentale de la pertinence cognitive des UST », Musimediane 5,http://www.musimediane.com (consulté le 4 juillet 2012).

Pour répondre à cette question, je propose de convoquer les recherches sur les « unités sémiotiques temporelles » menées depuis plusieurs années au MIM, un laboratoire de musicologie indépendant à Marseille. Ce laboratoire a identifié des « unités sémiotiques temporelles » (UST) dans la musique12. Des expérimentations empiriques13 ont confirmé que les auditeurs reconnaissent ces unités grâce à un certain nombre de caractéristiques qui touchent souvent au rythme, à la réitération et à l’intensité sonores. Les noms attribués aux unités circonscrivent la présence de ces caractéristiques.

Note de bas de page 14 :

 http://www.labo-mim.org/site/index.php?2008/08/22/36-obsessionnel

Note de bas de page 15 :

 http://www.labo-mim.org/site/index.php?2008/08/22/45-sur-l-erre

Note de bas de page 16 :

 http://www.labo-mim.org/site/index.php?2008/08/22/42-par-vagues

Note de bas de page 17 :

 http://www.labo-mim.org/site/index.php?2008/08/22/28-trajectoire-inexorable

L’unité « obsessionnel » est constituée d’un enchaînement dont la répétition crée une pulsation rapide : par exemple une même note de piano répétée indéfiniment : j’invite le lecteur à consulter l’un des exemples sonores de l’« obsessionnel » sur le site web du MIM14. L’unité « sur l’erre » est fondée sur une décroissance d’intensité sonore jusqu’à extinction. Dans les exemples sur le site du MIM, le volume d’un son baisse progressivement jusqu’à devenir inaudible15. L’unité « par vagues »16 est caractérisée par la répétition lente d’un motif sonore en delta, dont l’énergie augmente d’abord, avant de diminuer, puis augmente de nouveau, et ainsi de suite. La « trajectoire inexorable » est une unité à phase unique présentant une évolution linéaire, qui suggère que cette évolution continuera. Dans le domaine musical, elle est exemplifiée par un son qui n’en finit pas de monter et donne l’impression de pouvoir se prolonger indéfiniment17.

Note de bas de page 18 :

 Projet de recherche sur les signes et figures du discours numériques, mené par P. Bootz, S. Bouchardon, J. Clément et A. Saemmer. Ouvrage à paraître fin 2012.

Dans le cadre d’un projet de recherche à l’Université Paris 818, nous avons élaboré l’hypothèse que les UST pourraient constituer les unités d’une sémiotique temporelle implémentable dans du son, du texte ou de l’image.

Note de bas de page 19 :

 J.-M. Klinkenberg, Précis de sémiotique générale, Seuil, 2000, p. 385.

La reconnaissance d’une unité sémiotique temporelle par le lecteur est fondée sur des processus d’intégration et de stabilisation d’expériences antérieures (voir la définition du signe iconique par Jean-Marie Klinkenberg19). Le lecteur reconnaît donc l’unité « obsessionnel » parce qu’il l’a déjà expérimentée en observant l’animation rapide et réitérée de certains objets dans son entourage, par exemple le clignotement de boutons d’alarme. Il reconnaît l’unité « sur l’erre » grâce à des expériences de disparition et d’effacement, par exemple l’observation d’une tâche d’eau qui s’évapore progressivement. Il a déjà été confronté au « par vagues » en observant le mouvement des vagues, en écoutant leur son au bord de l’eau, en regardant un objet emporté par les vagues. Il a expérimenté le déplacement sans perte d’énergie de la « trajectoire inexorable » de certains objets à chaque fois que, par exemple, une voiture approchait ou traversait son champ de vision.

Note de bas de page 20 :

 Jean-Pierre Meunier, « Pour une approche cognitive de la signification iconique », B. Darras, B. (éd.),Images et sémiotique : Sémiotique pragmatique et cognitive, Paris, Publications de la Sorbonne, 2006, p. 137.

Le potentiel d’action des unités sémiotiques temporelles ne se démarque guère de ces référents d’expérience. L’« obsessionnel » pourrait renvoyer à des idées de danger ou d’urgence. Le « sur l’erre » convoquerait plutôt des idées de perte et de disparition définitives. Le signifié du « par vagues » peut renvoyer à des idées d’immobilité, de régularité et de cyclicité indéterminée. Une « trajectoire inexorable » serait associée à des idées de matérialisation rassurante, de révélation, de cohérence, de transformation sans perte de matière. En verbalisant ainsi le signifié iconique, il ne faut pourtant pas oublier que l’icône n’est pas tellement un objet pour la pensée consciente, mais surtout « une forme avec laquelle le corps percevant entre en résonance mimétique »20.

Note de bas de page 21 :

 Le terme est emprunté à W. Iser (op. cit.). Les « lieux d’indétermination » constituent des endroits perçus comme des « décohérences » potentielles par le lecteur. Le terme Leerstellen (d’une façon insuffisante traduit par « vides »), également utilisé par Iser, qualifie de façon plus radicale encore ces endroits dans le texte qui sollicitent l’imagination du lecteur. Iser postule que la présence de lieux d’indétermination est indispensable à la réussite de tout acte de communication.

Dans l’animation textuelle, une unité sémiotique temporelle se trouve couplée à du texte linguistique. Cette relation, fondée sur une « irradiation iconique » de l’unité sémiotique temporelle sur le texte linguistique, peut aller de la confirmation à la contradiction, en passant par des « lieux d’indétermination »21 plus ou moins prononcés.

Note de bas de page 22 :

 Marc Augé, Non-lieux. Introduction àune anthropologie de la surmodernité, Paris, Seuil, 1992.

Comme dans l’exemple de Zeit für die Bombe, cette redondance n’est cependant pas complète et souligne aussi la différence de nature entre les signes couplés dans l’animation textuelle. Le mouvement dote le mot « passages », qui décrit généralement l’action de quelqu’un ou de quelque chose qui passe, ou alors un lieu de passage, d’une étrange matérialité, mettant potentiellement en évidence l’absence de sujet dans cet énoncé. C’est le lecteur qui semble littéralement traversé par le « passage ». Le réseau de métro révèle ainsi peut-être sa nature de « non-lieu » décrit par Marc Augé22, où des milliers de passagers se croisent en silence et s’ignorent, « parenthèses anonymes » dépourvues d’interaction sociale.

Note de bas de page 23 :

Gilles Deleuze, Cours du 18 mai 1982, http://www2.univ-paris8.fr/deleuze/rubrique.php3?id_rubrique=8 (consulté le 4 juillet 2012).

Dans certaines situations de réception, les lecteurs pourraient rejeter de telles combinaisons inattendues entre le texte et le mouvement, ne parvenant plus à donner un sens à l’énoncé animé. Dans d’autres cas, un processus d’interprétation pourrait se mettre en place. L’interprétation puiserait dans le contexte pour essayer de rendre signifiants les « lieux d’indétermination » entre mot et mouvement. Toute interprétation repose, comme l’indique Gilles Deleuze23, d’abord sur une « soustraction ». Le lecteur élit certains éléments au statut de pertinents. Mais il hésite aussi, face à un « lieu d’indétermination », reprend les contours de l’objet, lui superpose différentes images, différentes hypothèses. Il fait ensuite son choix, effectuant « une espèce d’intégration de toutes les petites réactions cérébrales naissantes », afin d’arriver à un montage « totalisant ».

Note de bas de page 24 :

 http://www.labo-mim.org/site/index.php?2008/08/22/30-stationnaire (consulté le 4 juillet 2012).

Pour conclure, je voudrais rapidement revenir sur un autre aspect de l’animation du texte numérique. La littérature numérique expérimente avec l’animation textuelle depuis une vingtaine d’années, et a été confrontée à plusieurs reprises à la labilité du dispositif qui peut profondément altérer le rythme de passage des mots animés. Qu’adviendra-t-il en effet des ciné-grammes et des ciné-tropes décrits plus haut, si la vitesse de calcul des ordinateurs change de façon spectaculaire ? Dans le cas de l’exemple d’animation dans Sous-Terre, les mots passeront peut-être si vite vers le hors champ que le lecteur n’aura plus aucune possibilité de les déchiffrer : primera donc la perception du mouvement seul. Dans d’autres exemples, l’augmentation de la vitesse de déroulement de l’animation transformera potentiellement une UST en une autre (par exemple une apparition-disparition lente, qui correspondrait à l’UST « stationnaire »24, en l’UST « obsessionnel ») – changement qui aura certainement une influence sur les interprétations possibles des couplages. Dans d’autres cas encore, des couplages pourraient simplement disparaître de la surface de l’écran, passant trop vite pour être encore perceptibles.

Note de bas de page 25 :

 Le regroupement de poètes du Transitoire observable a sans doute été le premier à thématiser la labilité du dispositif dans ses textes théoriques et ses créations : http://transitoireobs.free.fr/to/ (consulté le 4 juillet 2012).

Note de bas de page 26 :

 Pour des réflexions plus approfondies sur le positionnement des auteurs face à la labilité, voir Alexandra Saemmer, « Face aux disparitions aléatoires de l’œuvre numérique. Réponses esthétiques et conséquences pour la préservation », Revue TLE (Théorie, Littérature, Epistémologie), Presses universitaires de Vincennes, 2011, p. 135-159.

Cette instabilité de l’œuvre numérique, qui est donc principalement liée à la labilité du dispositif (par exemple au changement des programmes, des systèmes d’exploitation et de la vitesse des ordinateurs), semble aujourd’hui un fait établi dans la critique25. Elle occupe le premier plan des réflexions sur la préservation de ces œuvres, comme le montre entre autres le Réseau des Médias variables initié par le musée Guggenheim à New York. Elle soulève aussi des questions poétiques et esthétiques, que les auteurs de littérature numérique traitent de différentes façons dans leurs créations – soit en ignorant cette labilité, soit en essayant de la maîtriser, soit en expérimentant avec elle comme principe esthétique fondamental, s’inscrivant dans une « esthétique de l’éphémère »26.