À l’écoute des jeux vidéo, imaginer l’espace virtuel par le son

Résumé :

Arpenter un jeu vidéo, qu’il soit traditionnel, expérimental, artistique, indépendant ou une grosse production, c’est découvrir un autre monde en vivant une expérience qui touche les sens. Le son, encore trop peu étudié, influence la perception de l’espace dans les univers virtuels. Pour comprendre son rôle, nous allons parcourir un chemin qui déterminera les spécificités de l’expérience que proposent les jeux, puis plus spécifiquement les jeux vidéo, pour observer la manière dont le son influence notre perception, jusque dans des pratiques expérimentales.

Présentation de l’autrice :

Ludmila Postel découvre les Arts du Son lors de ses études à l’École d’Art de Tourcoing (Haut de France). Elle obtient son diplôme National des Arts Plastiques en 2010 et part approfondir sa découverte du monde sonore dans la classe de Composition Acousmatique du conservatoire Royal de Mons (Belgique). Pendant trois ans, elle étudie la composition électroacoustique et ne cesse de se questionner sur notre perception audiovisuelle à l’heure des nouvelles technologies. En 2014, elle quitte le conservatoire pour rejoindre le Master Art «Musique, musicologie et dispositifs contemporains» à l’Université de Lille (Haut de France). Sa recherche porte sur les relations entre la musique électroacoustique et les jeux vidéo. Elle obtient son Master en 2016 avec la ferme intention de poursuivre son travail en thèse.C’est sa rencontre avec Peter Sinclair, artiste sonore et chercheur, qui lui permet de faire en 2017 une résidence au sein de l’équipe de recherche création Locus Sonus à l’Ecole Supérieure d’Art d’Aix en Provence (PACA) où elle développe un projet de thèse sur les liens entre Arts du Son et jeux vidéo. Ce dernier obtient un financement régional et elle débute son doctorat à Aix-Marseille Université en 2018, au sein du Laboratoire PRISM. Sa recherche porte sur les qualités pédagogiques du jeu vidéo au service de l’apprentissage et de la découverte des Arts du Son. Elle questionne les relations entre l’Homme et la machine, entre le joueur et le jeu, entre anthropologie, phénoménologie et création artistique. Ce projet doctoral se déroule sous la mention «Pratique et théorie de la création littéraire et artistique», encadré par Peter Sinclair et Douglas Edric Stanley. La thèse donnera lieu à la création d’un jeu vidéo pédagogique sur les Arts du Son, basé sur l’univers virtuel New Atlantis développé par Locus Sonus. En parallèle, elle continue son travail de créatrice sonore avec des projets de design sonore et des créations originales pour le cinéma d’animation, le jeu vidéo, l’Escape Game…

---

À l’écoute des jeux vidéo, imaginer l’espace virtuel par le son

« J’ouvre New Atlantis. Je me connecte. Me voilà projetée dans un monde, noir. Sur la gauche, un menu qui me propose plusieurs outils (trunk, stream, ground, sky, destroy, …). J’ai besoin de m’orienter dans ce monde, j’ajoute un sol et un ciel. L’horizon se dessine enfin. Je clique sur l’outil Stream dans le menu. J’appuie sur la touche “Entrée” de mon clavier et une sphère se pose devant moi. Simultanément, un menu apparait sur la droite de l’écran, une liste : cumiana – luisetti, vesinet – cerceris, aix provence – st jerome, cologne – aporee, london – camberwell,… Je clique sur london — camberwell. Un paysage sonore surgit autour de moi. Cloche, voiture, fond d’air… Plongée sonore dans le quartier de Camberwell à Londres. Je m’éloigne de la sphère et le paysage s’éteint progressivement. Je me rapproche et je replonge dedans. En prenant de la vitesse, je dépasse à toute allure le côté gauche de la sphère, le son glisse sur mon oreille gauche. Plus j’ajoute des sphères, plus je peux naviguer entre les paysages sonores. Je peux parcourir cet univers, créer mon histoire parmi tous les sons que j’ai placés dans ce monde »

New Atlantis, support de mes recherches, est un univers virtuel multijoueur dédié à la création sonore. On y entre comme dans un jeu vidéo dont le seul objectif serait d’élaborer des environnements sonnants, de les partager, de les modifier, de les parcourir, de les performer… Plonger dans un univers virtuel, c’est certes entrer dans un monde fait d’images, mais aussi de sons. On perçoit cet espace avec nos yeux et nos oreilles écarquillées et pourtant on le nomme encore « virtuel », comme s’il ne s’agissait que d’une simulation. Arpenter un jeu vidéo, qu’il soit traditionnel, expérimental, artistique, indépendant ou une grosse production, c’est découvrir un autre monde en vivant une expérience qui touche les sens et qui peut, parfois, créer de nouveaux espaces sociaux. Mathieu Triclot introduit son ouvrage Philosophie des jeux vidéo¹ avec une question : « Peut-on définir le jeu indépendamment de l’activité du joueur ? »². Si elle peut sembler malicieuse, elle n’en est pas moins centrale pour les play studies. Le jeu est étudié depuis longtemps par différentes branches des sciences humaines (philosophie, sociologie, psychologie…), mais c’est dans les années 2000 qu’apparait un champ d’études spécifiquement dédié intitulé game studies. Le jeu y est alors étudié sous l’égide de deux grands courants : la narratologie et la ludologie. Alors que dès 1969, le philosophe Jaques Henriot nous disait dans son livre Jeu³ : « Le jeu n’est rien d’autre que ce que le joueur fait quand il joue », l’expérience vécue lors du jeu fait encore très peu l’objet d’études. Les play studies cherchent à combler ce manque, reprenant la dissociation anglophone entre le game, l’objet jeu, et le play, l’action de jouer. Pour comprendre l’influence du son sur la perception de l’espace dans les univers virtuels, il faut commencer par situer l’expérience que vivent les joueur·se·s avec les jeux vidéo. Dans cet article, nous allons parcourir un chemin qui déterminera les spécificités de l’expérience que proposent les jeux, puis plus spécifiquement les jeux vidéo, pour observer la manière dont le son influence cette expérience.

L’expérience du jeu

Nous sommes nombreux à connaitre le Monopoly, au point de pouvoir en citer les règles et de visualiser l’objet. Cependant, nous aurions du mal à trouver un consensus pour en définir une partie. Pour Antoine, mon voisin, c’est un moment riche en émotion, une expérience partagée intense et plaisante. Pour moi, c’est un moment long et répétitif qui ne m’intéresse pas et qui est souvent source de conflits. Autant dire que face au même objet, nous ne vivons pas la même expérience. J’irai jusqu’à dire que lors d’une partie de Monopoly, Antoine joue et moi je ne joue pas, je m’ennuie. On peut faire le même constat avec les jeux vidéo. J’ai vécu des aventures narratives et humaines en jouant à World of Warcraft⁴, ce qui a toujours questionné ma mère : « Tu es sûr que tu joues ? À chaque fois que je regarde, tu es en train de courir… ». Mon avatar courait, mais moi j’entendais la musique épique qui me donnait l’impression d’accomplir une grande quête, je chattais avec mes ami·e·s pour préparer nos plans d’attaque ou juste pour raconter des blagues… Ce qui est remarquable, c’est qu’en jouant, je faisais cohabiter plusieurs espaces : l’espace narratif du jeu où se déroulait l’histoire, l’espace social de partage avec mes amis, et l’espace du jeu de mon expérience ludique. Finalement, l’idée que les jeux vidéo seraient un monde virtuel, en opposition au monde réel où je serais présente, semble entrer en contradiction avec l’expérience bien concrète que je vis comme joueuse. Mais si nous enlevons cette dualité réel/virtuel, quels sont les espaces que l’on manipule lorsque l’on joue ?

1. Le lieu du jeu

Jesper Juul⁵ affirme que le jeu se définit par un système formel de règles⁶. Avec une telle définition, comment aborder le jeu du tourniquet, dont le seul but est de se laisser emporter par le vertige⁷, ou bien ceux inventés dans l’instant par des enfants dans la cour de récréation et qui disparaissent dès qu’il faut retourner en classe ? Cette approche objective qui consiste à observer le jeu comme un objet indépendant du monde ne laisse aucune place à l’expérience vécue par les joueur·se·s. Pour que le·a joueur·se joue, il faut qu’il·elle accepte de « faire comme si » : n’importe qui jouant aux échecs dira qu’il ne s’agit pas uniquement de « pousser du bois ». Si le jeu d’échecs ne se réduit pas à son plateau et à ses pions, le jeu vidéo ne peut se réduire à la manipulation d’une manette ou d’un clavier. Il nous faut trouver le lieu du play, l’endroit où se vit l’expérience vécue par les joueur·se·s. La particularité du jeu est d’impliquer le corps par la manipulation d’objets et/ou d’espaces : les échecs se jouent en déplaçant des pions sur un plateau, les enfants qui jouent à la marchande aménagent l’espace autour d’eux ; le jeu vidéo est une pratique du jeu particulière dont l’espace est dépendant d’une machine. Mathieu Triclot le définit comme une « expérience instrumentée ». Au même titre que la littérature ou le cinéma, le jeu vidéo utilise une technologie : l’ordinateur. Cette machine à calculer était bien loin d’être un objet ludique. Mais en inventant des modes d’interaction impliquant le corps et les vertiges du jeu, l’ordinateur et ses dérivés (console, smartphone,…) sont devenus de véritables machines à jouer. Cela ne veut pas dire que l’expérience du jeu se situe au niveau de la machine, mais que les joueurs·se·s produisent une expérience avec lui et qu’elle « se déploie dans la relation à l’écran »⁸. Si le jeu, au sens de play, ne se situe « ni tout à fait en nous même, ni tout à fait à l’écran »⁹, où joue-t-on alors ?

Le psychanalyste Donald Wood Winnicott parle d’une « aire intermédiaire d’expérience »¹⁰. Il met en évidence dans ses recherches que l’individu a trois aires d’existence. La première est le « dedans », c’est mon « moi » psychique intérieur. La deuxième est le « dehors », le « non-moi », la réalité extérieure. Et la troisième, qui nous intéresse ici, est une aire intermédiaire entre le dedans et le dehors. Il s’agit d’une réalité située dans le continuum espace-temps partagée entre le « moi » et le « non-moi ». Pour Donald Wood Winnicott, cette aire englobe tout ce qu’il nomme l’expérience culturelle :

« En utilisant le mot de culture, je pense à la tradition dont on hérite. Je pense à quelque chose qui est le lot commun de l’humanité auquel des individus et des groupes peuvent contribuer et d’où chacun de nous pourra tirer quelque chose, si nous avons un lieu où mettre ce que nous trouvons »¹¹.

Alors que Sigmund Freud trouve le sens de l’expérience culturelle dans la sublimation, Donald Wood Winnicott cherche le lieu psychique où elle réside : un espace potentiel entre l’individu et la société où le psychanalyste situe, entre autres, la création et le jeu. Prenant l’exemple du jeu des enfants, il démontre qu’il s’agit d’un espace en dehors du·de la joueur·se, mais qui n’appartient pas non plus au monde réel : « Cette aire où l’on joue n’est pas la réalité psychique interne. Elle est en dehors de l’individu, mais elle n’appartient pas non plus au monde extérieur »¹². La réalité du jeu se situe dans cette aire intermédiaire : le·a joueur·se n’est jamais complètement abstrait·e, séparé·e, au monde réel, ni complètement plongé·e dans son monde intérieur, il·elle est entre deux plans. L’expérience vécue ne relève ni d’une perception partagée ni d’un fantasme, elle se situe entre les deux.

Pour résumer, on peut dire que le jeu vidéo met en tension trois espaces. Celui que l’on qualifie généralement d’espace réel, le monde où l’on vit, le dehors. Celui que l’on qualifie d’espace virtuel, le monde du jeu, où se déroule la fiction : sa diégèse¹³. Et enfin, l’espace que l’on omet souvent, l’entre-deux, l’aire intermédiaire d’expérience. Les joueur·se·s savent que leurs actions n’auront pas d’impact sur le monde réel, mais elles n’en sont pas moins capitales dans la diégèse. Le jeu ne peut avoir lieu que s’il· si elle se maintient dans l’aire intermédiaire d’expérience. La particularité du jeu vidéo est d’instrumenter cette expérience grâce à l’interaction entre le·a joueur·se et la machine qui devient une sorte d’extension du corps sensible, du corps qui perçoit.

2. La perception du jeu

Lorsque je joue à New Atlantis, je navigue dans un monde virtuel en 3D que j’appréhende avec mes sens. J’entends un son, je m’en approche ou m’en éloigne, je le situe dans l’espace. Il est présent à moi. Ma perception de l’espace du jeu dépend de l’expérience que j’en fais, le play existe parce que je joue. Le jeu, au sens du play, ne peut être objectivé. Il est présent aux joueur·euse·s dans l’aire intermédiaire qui devient le centre de leur expérience perceptive.

Selon Merleau-Ponty, rendre quelque chose présent à soi c’est percevoir. Nous percevons le monde avec nos sens et nous dessinons un monde perçu avec notre conscience. Le corps, « véhicule de l’être au monde »¹⁴, nous y donne accès : je vois, j’entends, je touche… C’est par mon corps que je fais l’expérience celui-ci. S’il m’est invisible en tant qu’objet du monde, j’ai conscience de mon corps à travers le monde. L’étude de la perception passe par la négation du rapport sujet/objet ; le monde est un ensemble que je perçois en en faisant partie. La perception est donc dépendante du contexte, je ne peux jamais sentir le monde dans sa totalité. Lorsque je regarde un objet, je n’en vois qu’une partie, mais cela ne m’empêche pas d’en avoir une perception satisfaisante pour ma conscience. La perception, selon Merleau-Ponty, c’est construire un sens, un système de rapport organisé. Elle n’est pas limitée par un champ sensible (visuel, auditif…) immédiat, elle se complète avec les expériences passées. D’une certaine manière, percevoir, c’est déjà construire un monde perçu. Ainsi, lorsque je vois le clocher d’une église par la fenêtre, je suis capable de pressentir l’ensemble de l’église. Je perçois cette église à un moment donné, cela n’affectera pas son passé ou son avenir, mais j’appuie ma perception sur mon expérience passée des églises. Dans la lignée de Bergson, Merleau-Ponty reconnaît que le temps est le lien unissant le corps, qui est le présent, et l’esprit, qui nous permet de dominer l’écoulement du temps. Mais son approche va plus loin en questionnant, à la suite du rapport corps/temps, le rapport corps/espace. Pour lui, comme la perception du temps, la perception de l’espace passe par le corps, mais ce dernier en est même la matrice. La perception de l’espace dépend du schéma corporel : « le corps est le pivot du monde »¹⁵. C’est par lui que j’ai conscience de pouvoir me déplacer autour d’un objet et donc de projeter mon champ perceptif. La perception, ce n’est pas regarder passivement le monde, elle est ce lien qui nous unit résolument au monde en faisant sens dans le temps et l’espace.

De fait, la perception ne peut pas se résumer à des stimuli physiologiques. Il s’agit bien d’un mode de présence au monde. Lorsqu’il·elle joue, le·a joueur·se prend volontairement une posture du « faire comme si » qui lui permet de se rendre présent·e au monde du jeu, dans l’aire intermédiaire d’expérience. Les jeux ne sont pas des univers simulés qui tentent de tromper notre cerveau et il ne s’agit pas non plus uniquement de suivre des règles et d’effectuer des actions en conséquence, mais bien de percevoir le monde du jeu par le prisme de son propre corps. Dans le cas des jeux vidéo, le·a joueur·se se projette dans l’espace du jeu pour participer à la mise en œuvre de sa propre expérience en créant une continuité sensible entre le monde réel et celui du jeu.

Ce lien, ce « faire comme si », est aussi régi par le gameplay. Ce terme anglais désigne les caractéristiques d’un jeu vidéo que sont l’intrigue et la façon dont on y joue. Il n’est pas donné en amont, avec un livret de règles par exemple. Le·a joueur·se découvre le monde du jeu, sa structure et ses règles, dans l’action ludique. C’est le gameplay qui lui permet de participer à la construction de sa propre expérience, de lui donner sens en homogénéisant les deux environnements, le dehors et le dedans, au sein de l’aire intermédiaire d’expérience. Comme le remarquent Sébastien Genvo et Nicole Pignier dans leur article « Comprendre les fonctions ludiques du son dans les jeux vidéo »¹⁶, les joueur·se·s ne cherchent pas un état de fusion avec le monde du jeu. Il s’agit bien d’un équilibre maintenu dans l’entre-deux. Là où nous avons tendance à considérer que la qualité de l’expérience du jeu est dépendante des capacités du système à reproduire des éléments du réel, pour créer un état de fusion avec un monde qui serait simulé, on constate que « [l]es joueurs […] préfèrent, entre autres options, sacrifier la qualité́ des graphismes si cela leur permet d’être plus efficaces dans l’aire de jeu »¹⁷. Pour résumer, si le gameplay est bon, si la continuité perceptive est maintenue, un jeu abstrait offrira une expérience tout aussi satisfaisante qu’un jeu réaliste. Le·a joueur·se est présent·e au jeu vidéo tant qu’il y a continuité entre ses gestes dans le monde réel et ses actions dans la diégèse, tant qu’il·elle se situe dans l’aire intermédiaire d’expérience. Finalement, le gameplay permet, grâce à des interfaces de contrôle (manette, souris, clavier…) de maintenir la continuité des sens en contrôlant son champ de présence au jeu. Il y a jeu s’il y a continuité entre les gestes du·de la joueur·se et les actions de son avatar dans la diégèse, autrement dit s’il·si elle perçoit le monde du jeu par le prisme de son propre corps.

3. Le contrôle du champ de présence

Winnicott situe la genèse de l’aire intermédiaire d’expérience dans la relation que le nourrisson entretient avec le sein de sa mère qui apparait comme par magie dès que le bébé le désire. Cette « magie » dont parle Winnicott est la source d’une satisfaction issue d’un contrôle que le nourrisson a sur ce premier objet extérieur à lui. Si l’on prend le cas des jeux vidéo, que l’on remplace le nourrisson par l’adulte jouant et le sein par l’écran, la satisfaction qui naît dans l’aire intermédiaire d’expérience passe par le contrôle du·de la joueur·se sur ce qui se passe à l’écran. Il s’agit bien de percevoir cette continuité entre le réel et la diégèse, mais aussi de maîtriser son champ perceptif.

Le sémiologue Jacques Fontanille¹⁸ définit la perception, dans la généalogie de Merleau-Ponty, comme un mode de présence du corps au monde et du monde à moi. La première chose que je perçois, avant toute forme de signe, c’est la présence de quelque chose à une certaine position relative à ma propre position. C’est l’expérience que je vis lorsque dans New Atlantis, je cherche à me rapprocher d’un objet pour mieux l’entendre, alors qu’un cube n’émettant aucun son passera inaperçu. Fontanille en déduit des degrés de présence du corps sensible, centre du champ de présence. Le sens du monde dépend alors de mon corps. Le sentiment de présence des joueur·se·s au jeu se construit dans l’action ludique : plus il·elle·s jouent, mieux il·elle·s contrôlent le jeu, plus sa·leur perception sera cohérente entre son·leur corps et le monde du jeu. Dans le jeu vidéo, contrairement au cinéma ou à la littérature, les joueur·se·s interagissent physiquement avec la machine, il·elle·s agissent dans la diégèse du jeu. Cette forme spécifiquement vidéoludique de co-énonciation permet aux joueur·se·s de maintenir une continuité particulière de leurs sens entre leur monde et le monde du jeu. Ainsi, les joueur·euse·s peuvent contrôler leur champ de présence et prendre des positions sensibles. Leur corps reste le centre de référence principal qui réagit aux présences environnantes perçues dans l’aire intermédiaire d’expérience. Leur champ de présence, de perception, est projeté entre eux et le jeu.

Cependant, les interactions qui sont au centre de l’expérience vidéoludique permettent aussi d’accéder à d’autres modes de présence. Comme au cinéma, les jeux vidéo permettent de multiplier les champs perceptifs en proposant plusieurs points de vue (caméra subjective, omnisciente…). Mais dans un jeu, les joueur·se·s contrôlent et choisissent la position de la caméra, ce qui provoque une sorte d’hyperprésence dans l’action ludique. Dans leur article précédemment cité¹⁷, Sébastien Genvo et Nicole Pignier ont adapté les caractéristiques du champ de présence du sujet sensible défini par Fontanille (le centre de référence, les horizons du champ, la profondeur du champ et les degrés d’intensité) aux spécificités des champs de perception permis par les jeux vidéo. Le centre de référence, c’est le corps sensible. Mais dans les jeux vidéo, il y a une sorte de dédoublement ce centre. Le·a joueur·se peut le faire varier en contrôlant la position de la caméra et donc son point de vue sur le monde du jeu. Si les horizons de champs délimitent le champ de présence dans un espace-temps propre à celui·le qui perçoit, dans un jeu, les horizons de champ dépendent de la position du centre de référence choisi par le·a joueur·se. La profondeur de champ met en relation les horizons et le centre. Le·a joueur·se ayant une perception démultipliée, la profondeur de champ est en variation permanente et concrétise un état d’hyperprésence au jeu. Les degrés d’intensité définissent le niveau de présence d’un objet au corps sensible, ils dépendent des variations de la profondeur de champ. En contrôlant son centre de référence grâce au gameplay, le·a joueur·se agit sur son champ de perception. Il·elle réagit à l’environnement fictif pour mieux entendre, mieux voir, mieux comprendre…

Dans l’espace du jeu, le·a joueur·se contrôle sa perception. Le jeu se situe là où il·elle peut contrôler son champ perceptif dans la diégèse depuis le monde réel. Jouer est une action volontaire des joueur·se·s de se projeter dans l’aire intermédiaire d’expérience. Dans le cas spécifique des jeux vidéo, il·elle·s sont présent·e·s sur deux plans, dans deux mondes en même temps grâce à leurs interactions avec la machine qui maintiennent la cohérence du champ perceptif. Cet entre-deux permet d’être présent dans la diégèse du jeu tout en ayant une expérience sensible dans le monde réel.

Le rôle du son dans la perception de l’espace

Quand on parle de jeu vidéo, on pense avant tout à une expérience visuelle. L’appellation même fait référence à la vue, alors que l’expérience vidéoludique fait aussi largement appel au son, parfois en relation à l’image et systématiquement en relation aux joueur·se·s. Comment le son aide-t-il les joueur·se·s à percevoir un espace en images virtuelles ? La continuité entre le réel et le virtuel est toujours au centre de l’expérience vidéoludique. La synchronisation entre les sons, les gestes et les images va intensifier ou atténuer l’expérience vécue par les joueur·se·s. Ce principe existe également dans d’autres médias audiovisuels notamment le cinéma, ainsi vais-je évoquer ici la synchrèse de Michel Chion¹⁹. Michel Chion aborde le cinéma comme un objet audiovisuel complet, fait d’images et de sons, et propose la notion de « synchrèse », mélange entre les termes synchronisation et synthèse, qu’il définit comme suit : « […] la soudure irrésistible et spontanée qui se produit entre un phénomène sonore et un phénomène visuel ponctuel lorsque ceux-ci tombent en même temps, cela indépendamment de toute logique rationnelle »²⁰. Dans les jeux vidéo, la synchrèse opère entre images, sons et gestes des joueur·se·s pour ajuster leur présence au jeu. Par leurs gestes, les joueur·se·s « main-tiennent » un contrôle sur leur champ perceptif. Le son sert à créer une continuité entre l’espace fictif du jeu et l’espace physique des joueur·se·s en les maintenant aux aguets. Il les aide à rester en état de « faire comme si » en rendant le monde du jeu palpable. Le son traduit l’action dans le temps plus fortement et plus précisément que l’image. Il donne corps aux éléments visuels. De plus, il permet l’apparition de figures visuosonores lors de sa synchronisation avec les images. Les gestes des joueur·se·s participent de cette harmonie perceptive entre leur corps et les corps visuosonores, source d’un état de flow²¹, d’engagement dans le jeu. Enfin, le son intensifie l’état de présence nécessaire à l’acte ludique. Il incite les joueur·se·s à prendre « en manette » leur champ perceptif. Il les soumet à un impératif de mouvement, il·elle·s sont guidé·e·s par le son dans leur navigation au sein du jeu. J’entends démontrer le rôle essentiel du son dans la relation singulière que les joueur·se·s entretiennent avec leur perception de l’espace dans les univers en images virtuelles.

1. Diégèse des sons

Pour entrer dans le monde du jeu, les joueur·se·s doivent créer un lien avec un univers qui leur est, au départ, extérieur. Autrement dit, il·elle·s doivent en comprendre la diégèse du jeu pour situer leur expérience dans l’entre deux. Il est certain que les qualités des images, des descriptions, des dialogues, des cadrages ou des textes ont un impact important sur la transmission de la diégèse d’une fiction, mais il ne faut pas pour autant négliger l’importance des sons et de la musique. La notion de diégèse est au centre des travaux de Karen Collins sur les sons vidéoludiques. Dans son ouvrage Game Sound²², elle propose une diégèse des sons de jeux vidéo qui permet de situer leurs relations aux joueur·se·s. Si elle emprunte cette notion au cinéma, elle n’omet pas sa distinction fondamentale avec les jeux vidéo : l’action directe des joueur·se·s sur le son, contrairement aux spectateur·rice·s. Elle propose de considérer d’un côté les « sons dynamiques » et d’un autre les « sons non dynamiques », en fonction du rapport qu’ils entretiennent avec les joueur·se·s. Les premiers dépendent directement ou indirectement de leurs actions, les seconds sont subis par les joueur·se·s sans aucune intervention volontaire de leur part. Karen Collins définit ensuite deux catégories de sons dynamiques. D’une part les sons interactifs, qui se déclenchent suite à une action directe du·de la joueur·se. Par exemple, s’il·si elle est armé·e d’une épée, elle fera un bruit lorsqu’il·elle l’agite. D’autre part, les sons adaptatifs, qui répondent à des modifications de l’environnement du jeu, comme le cycle d’ambiance sonore jour/nuit (s’il est dépendant de la progression des joueur·se·s). Ces distinctions permettent d’aboutir à une grille de descriptions des rapports entre sons, joueur·se·s et diégèse :

Cette approche par catégorie présente un désavantage, celui de ne pas être perméable. Par exemple, on pourrait considérer que le·a joueur·se passerait d’une zone ensoleillée à une zone pluvieuse, on se trouverait alors entre un son diégétique non dynamique et un son diégétique adaptatif, voire interactif, car il·elle peut intervenir dessus. Ou encore, en fonction du point de vue que l’on adopte, on peut aussi considérer que le son d’un menu est diégétique au jeu, mais extradiégétique à l’univers narratif du jeu. Malgré ce désavantage, il s’agit d’une approche de l’expérience sonore vidéoludique se basant sur les rapports que le·a joueur·se entretient avec le son, les images et la diégèse. Elle permet un début d’analyse de la place du sonore dans les relations multimodales que le·a joueur·se entretient avec le jeu.

2. Composer dans l’espace

Une des particularités des univers interactifs en images virtuelles est qu’ils sont navigables. En effet, que ce soit dans un territoire inventé pour le jeu ou bien dans les menus, les joueur·se·s se déplacent dans l’espace du jeu. Ainsi lorsque l’on pense le son d’un jeu, on doit prendre en compte la donnée suivante : le·a joueur·se n’écoutera pas forcément un morceau de musique jusqu’au bout, on ne pourra pas prévoir à quel moment il·elle engagera son action (marcher, sortir son épée…). Pour mieux comprendre les enjeux de la composition non linéaire qu’imposent les jeux vidéo, je vais d’abord expliquer le processus de travail du·de la concepteur·rice sonore dans le contexte de l’industrie vidéoludique standard. Cela me permettra de mettre en avant les contraintes auxquelles il·elle se confronte. Pour appuyer mon propos, je vais comparer la pratique du·de la concepteur·rice sonore dans l’industrie du cinéma et dans celle du jeu vidéo.

L’approche standard de la conception sonore pour les jeux vidéo se fait en deux étapes. Durant la première, le game design²³, le travail du·de la concepteur·rice sonore est proche de son homologue au cinéma. Les enregistrements de voix, les boucles, les bruitages ou différentes pistes musicales prennent alors la forme de fichiers distincts. C’est lors du level design²⁴ que le travail change radicalement. Au cinéma, chacun des sons est calé sur une horloge, cette construction se fait en collaboration avec les autres métiers du son audiovisuel (mixage, montage). Dans le cas du jeu vidéo, c’est une écriture de l’espace qui prime sur une écriture du temps, car elle est dépendante des déplacements des joueur·se·s. Les sons sont alors « accrochés » à leur référent visuel sur la carte virtuelle du jeu. Dans le schéma suivant, on trouve représentée visuellement une cartographie sonore vidéoludique :

Le montage et le mixage échappent, d’une certaine manière, au Sound Designer car ils dépendent, comme nous l’avons dit, des déplacements du·de la joueur·se, mais aussi de l’interprétation en temps réel par le moteur de jeu. Il faut donc anticiper tous les cheminements possibles, hiérarchiser les plus probables pour se prémunir d’associations temporelles imprévues qui généreraient des mixages incohérents. Prenons l’exemple d’une source sonore attachée à un objet visuel, fixe ou mobile, comme le chat que l’on peut voir sur le schéma. Au cinéma, le point de vue et le point d’écoute sont fixes, alors que dans un jeu, on ne peut savoir à l’avance où se trouvera le centre de référence choisi par le·a joueur·se. On attribue le son de miaulement du chatà son référent visuel, sans tenir compte de la position de l’avatar. On applique ensuite au son une zone d’atténuation dépendante de la distance de l’avatar : à partir d’où le·a joueur·se entend la source et le degré d’évolution de son intensité.

Il peut aussi exister des variations qui dépendent des choix des joueur·se·s, par exemple les bruits de pas de l’avatar lors d’une attaque. Au cinéma, tout est calculé et construit en fonction d’une dramaturgie établie. Dans un jeu, le·a joueur·se peut choisir plusieurs stratégies, le·a concepteur·rice devra donc considérer la situation du son dans la diégèse. Par exemple, les bruits des pas de l’avatar seront différents s’il·si elle marche sur de l’herbe ou s’il·si elle court sur des graviers. Cécile le Prado et Stéphane Natkin expliquent, dans leur article « Du son et des jeux vidéo »²⁵, que l’objectif des concepteur·rice·s sonore n’est pas de contrôler le déroulement de la bande son dans le temps, mais de maintenir sa cohérence tout en variant le contenu sonore. Jouer à un jeu vidéo, cela veut dire retrouver souvent la même situation, par exemple dans le cas d’un niveau que l’on ne parvient pas à passer du premier coup. Le son se doit de correspondre au contexte fictionnel sans être répétitif. Il existe deux solutions qui peuvent être combinées pour contrer ce problème : la générativité et l’interactivité. La première technique consiste à varier les sons d’ambiance, par exemple en un mixage aléatoire intéressant des pistes sonores. La seconde consiste à utiliser les actions des joueur·se·s comme sources de sons non déterminés du mixage. Pour que l’univers sonore et musical reste cohérent, la bande-son doit être totalement liée au gameplay.

Une grande partie des sons sont généralement impossibles à fixer dans la narration, mais permettent aux joueur·se·s d’avancer selon leur propre rythme dans l’univers du jeu grâce à un positionnement dynamique dans/avec la diégèse. Le·a concepteur·rice sonore doit interpréter la mobilité des joueur·se·s comme une mobilité de l’écoute. Si le point d’écoute reste lié au point de vue, la capacité des joueur·se·s à bouger la caméra leur permettra aussi de se déplacer dans l’espace sonore et de traverser différents niveaux de détails dynamiques entre les plans visuels et sonores. D’une façon générale, il faudra considérer la relation entre ce que les joueur·se·s voient et ce qu’il·elle·s entend·ent pour proposer un univers virtuel cohérent.

Le son pour une diégèse spatiale

Le son a un rôle sémiotique essentiel qui fait le lien entre le·a joueur·se et son avatar, entre son moi et le non-moi du jeu. Pour permettre cette interaction, cette rencontre entre le monde réel et le monde du jeu au sein de l’aire intermédiaire d’expérience, le son aide à qualifier des espaces dans la diégèse du jeu. Autrement dit, le son aide les joueur·se·s à comprendre où il·elle·s est·sont et à s’orienter, aussi bien dans la narration que dans l’espace.

Deux approches de l’industrie standard du jeu vidéo s’intéressent à la qualification sonore des espaces dans ce média²⁶. Dans un premier temps, je voudrais parler de la notion de diégèse spatiale. Au cinéma, c’est l’espace fictionnel dans lequel se situe la diégèse, mais elle prend un tout autre sens dans le cas des jeux vidéo. Il ne s’agit pas, comme au cinéma, de dérouler la diégèse à un·e spectateur·rice, mais de la parcourir. Cette notion désigne aussi bien l’espace fictionnel que la manière dont les joueur·se·s l’arpentent. Dominic Arsenault²⁷ et Zach Whalen²⁸ ont révélé l’importance de la musique dans la perception de la diégèse spatiale par les joueur·se·s. Ils constatent que dans les jeux vidéo, comme à l’opéra, on trouve des leitmotivs qui servent à caractériser des espaces, comme une auberge à qui on attribuera une musique rassurante, ou des zones de gameplay spécifique, comme un combat au cours duquel la musique sera épique. Dominic Arsenault explique à ce sujet que dans les premiers jeux, aux capacités visuelles et sonores limitées, la musique aidait à la caractérisation des différents espaces de l’univers du jeu²⁹. Cette contrainte technique a donné naissance à une tradition que perdure aujourd’hui : l’usage de la musique pour caractériser des espaces dans le jeu. Le son permet ainsi d’informer les joueur·se·s sans briser l’harmonie perceptive. Il aide à comprendre la diégèse spatiale et à s’y déplacer.

Dans un second temps, je voudrais parler du rôle des sons acousmatiques. Ces sons « hors champ » sont qualifiés d’acousmatiques selon la définition de Pierre Schaeffer, cité ici par Michel Chion : « Que l’on entend sans voir la cause originaire du son […] »³⁰. Dans cette citation, elle précise comment le son peut s’avérer essentiel à la diégèse spatiale en imposant un impératif de mouvement. Les sons acousmatiques donnent une information invisible qui oriente la progression. Par exemple, en entendant le son d’un monstre, le·a joueur·se peut choisir de fuir ou de se préparer au combat. Les sons acousmatiques permettent aux joueur·se·s de se mettre en mouvement, d’appréhender les espaces dans le jeu.

Si pour Michel Chion, le son au cinéma a une dynamique temporelle³¹, dans les jeux vidéo, il possède une dynamique spatiale qui permet la cohérence de l’univers du jeu et maintient le lien avec l’espace du·de la joueur·se. Entendre dans le monde du jeu, c’est comprendre l’histoire et le fonctionnement de ce monde. Le son permet aux joueur·se·s de comprendre où il·elle·s se situent et où se situent les autres éléments dans les espaces du jeu, mais il les incite aussi à se déplacer, à arpenter ces espaces. Il est possible de se déplacer dans et par du son ou de la musique. En décryptant l’essence de l’expérience vidéoludique, on peut mettre en avant ces spécificités pour inventer de nouvelles formes.

Pour une approche artistique

De plus en plus d’artistes s’emparent du jeu vidéo pour proposer des expériences sensibles inédites. En guise de conclusion de ce texte, j’aimerais présenter deux approches artistiques issues de l’expérience vidéoludique. La première ne concerne pas directement le son, mais plutôt le gameplay, la seconde s’intéresse à la création sonore dans les univers en images virtuelles dans le cadre de ma recherche dans New Atlantis. Le point commun de ces deux approches c’est qu’elles sont multijoueurs·se·s et s’emparent de l’aire intermédiaire d’expérience comme d’un espace partagé.

One Life Remains, collectif d’artistes basé à Paris, propose des installations qui détournent l’expérience interactive des jeux vidéo. Une grande partie de leurs œuvres jouent sur le gameplay en transformant les manettes ou en inventant des interactions incongrues. Gigantomachie, par exemple, s’inspire des jeux de combat : sur l’écran géant, on voit deux colosses prêts à s’affronter. C’est au niveau des manettes, placées face à l’écran, qu’intervient le détournement. Elles font trois mètres de long et disposent de six boutons. Chacun des boutons active l’un des membres du colosse concerné (un bras, une jambe, la tête…). Impossible de jouer seul, la manette est trop grande. Pour mettre en mouvement le colosse il faut que les joueur·se·s de la même équipe réussissent à coordonner leurs actions. Le jeu passe aussi bien par la maîtrise du gameplay que par celle de la discussion et de l’écoute. C’est un exemple, parmi les œuvres de One Life Remains, qui propose une expérience artistique issue du détournement de la relation entre les joueur·se·s, le jeu et la manette.

Dans New Atlantis, mon travail concerne moins le gameplay que les interactions avec/par le son. En tant qu’artiste sonore, je m’intéresse à la recherche de nouveaux espaces d’expériences partagés pour les arts du son³². En 2018, j’ai rejoint le groupe Locus Sonus qui expérimente depuis une dizaine d’années la création sonore en ligne dans les univers en images virtuelles. Après un passage par le jeu Seconde Life³³, il·elle·s ont amorcé la création d’un monde dédié à ces expériences : New Atlantis.

Pour moi, New Atlantis est un terrain de jeu où je vois émerger de nouvelles manières de faire et de transmettre les arts du son. Avec les étudiants de l’École Supérieure d’Art d’Aix-en-Provence, cet outil permet d’aborder la formation en arts comme un enseignement de démarches artistiques, d’expériences esthétiques et poïétiques. Il s’agit de développer des « compétences à créer » ensemble plus que de s’attacher à la production d’objets finis. Dans ce contexte, la formation devient un moyen d’activer des expériences pour chacun et pas uniquement comme une transmission de savoir de professeur·e à étudiant·e. D’autre part, ma pratique de New Atlantis me permet de repenser mon propre travail de création sonore en revisitant, par exemple, la forme du paysage sonore. Jusqu’alors c’était une production sonore qui s’écoutait comme on regarde un paysage, quelque chose posé devant soi. Comme je l’ai déjà dit, dans un espace en images virtuelles 3D, l’œuvre se parcourt. Les auditeur·rice·s se déplacent dans le paysage que j’ai composé pour l’apprécier dans sa spatialité. Il·elle·s peuvent aussi s’y promener à plusieurs et même le transformer. Cette déambulation peut elle-même devenir une interprétation, au sens musical du terme, que j’expérimente avec le groupe d’improvisation La Pulpe³⁴. Pendant nos résidences, je construis des mondes sonores dans New Atlantis et je les arpente pendant nos improvisations, ils sont mon instrument de musique.

Ces espaces, injustement qualifiés de virtuels, deviennent de véritables terrains de création qui s’inscrivent dans cette zone où nous sommes capables d’être en nous-mêmes tout en étant en partage avec d’autres. Notre perception sensible devient un vécu commun.

---

Bibliographie

ARSENAULT, Dominic. Paysages 8-bit. Musicalité et spatialité dans le jeu vidéo des années 1985-1990. Inter, Art Actuel n° 98, 2008.

CAILLOIS, Roger. Des jeux et des Hommes, Paris : Gallimard, 1958.

COLLINS, Karen. Game Sound, Cambridge, Massachusetts : The MIT Press, 2008.

COLLINS Karen. An introduction to the participatory and non-linear aspects of video game audio. In: RICHARDSON, John, HAWKINS, Stan. Essays on Sound and Vision. Helsinki : Gaudeamus Helsinki University Press, 2007.

CHION, Michel. L’Audio-vision, Paris : Nathan, 2^e édition, 2002. Nathan Cinéma.

FONTANILLE, Jacques. Sémiotique et Littérature, Essais et méthode, Paris : PUF, 1999. Formes Sémiotiques.

GENVO, Sébastien, PIGNIER Nicole. Comprendre les fonctions du son vidéoludique, Communication [En ligne], 2011/2, n° 28 [consulté le 4 mai 2020]. Disponible : https://journals.openedition.org/communication/1845

HENRIOT, Jacques. Le Jeu, France : L’esprit des Lois, 1983.

JUUL, Jesper. Half Real, Video Games Between Real Rules and Fictional Worlds, Cambridge : MIT Press, 2005.

LE PRADO, Cécile, NATKIN, Stéphane. Du son et des jeux vidéo, Le Son dans tous ses états, E-Dossier de l’Audiovisuel, 2013. INA Expert.

MERLEAU-PONTY, Maurice. La Phénoménologie de la perception, Domont : Gallimard, 2018. Tel Gallimard.

TRICLOT, Mathieu. Philosophie des jeux vidéo, Paris : Éditions la Découverte, 2011. Zones.

WHALEN, Zach. Play along : An approach to videogame music, Game Studies : Thas International Journal of Computer Game Research [En ligne], Volume 4, Issue 1, [consulté le 18 mai 2020]. Disponible : http://www.gamestudies.org/0401/whalen/

WINNICOTT, Donald Woods. Jeu et réalité, l’espace potentiel, Paris : Gallimard, 2012. Folio Essais.

---

1. TRICLOT, Mathieu. Philosophie des jeux vidéo, Paris : Éditions la Découverte, 2011. Zones. [↩]
2. Ibid.,  p. 19. [↩]
3. HENRIOT, Jacques. Le Jeu, France : L’esprit des Lois, 1983. [↩]
4. World Of Warcraft est un jeu vidéo en ligne massivement multijoueur·euse, sorti en 2004 et édité par Blizzard Entertainment. [↩]
5. Game designer (concepteur de jeux vidéo) et chercheur en game studies, professeur associé à la Danish Design School. [↩]
6. JUUL, Jesper. Half Real, Video Games Between Real Rules and Fictional Worlds, Cambridge : MIT Press, 2005. [↩]
7. La notion de vertige est empruntée au sociologue Roger Caillois. Dans sa classification des jeux, le vertige est le jeu sans règle comme la balançoire, les montagnes russes ou encore le ski. CAILLOIS, Roger. Des jeux et des Hommes, Paris : Gallimard, 1958. [↩]
8. TRICLOT, Mathieu. op. cit., p. 14. [↩]
9. Ibid.,  p.19. [↩]
10. WINNICOTT, Donald Woods. Jeu et réalité, l’espace potentiel, Paris : Gallimard, 2012. Folio Essais. [↩]
11. Ibid.,  p. 35. [↩]
12. Ibid.,  p. 105. [↩]
13. Le terme de diégèse vient du cinéma, il qualifie l’univers fictionnel où se déroule l’action du film. Dans le cas des jeux vidéo, cette notion est élargie. Les joueur·se·s ne sont pas des spectateur·rice·s à qui on présente un film. La diégèse dans un jeu vidéo c’est aussi bien le déroulement narratif que l’espace même où il se déroule : la diégèse se parcourt. C’est à mon sens un terme plus juste pour mettre en tension l’espace du jeu et celui des joueur·se·s sans entrer dans des considérations telles que réel et virtuel. [↩]
14. MERLEAU-PONTY, Maurice. La Phénoménologie de la perception, Domont : Gallimard, 2018. Tel Gallimard, p. 111. [↩]
15. Ibid.,  p. 111. [↩]
16. GENVO, Sébastien, PIGNIER Nicole. Comprendre les fonctions du son vidéoludique, Communication [En ligne], 2011/2, n° 28. [↩]
17. GENVO, Sébastien, PIGNIER Nicole. op. cit. [↩] [↩]
18. FONTANILLE, Jacques. Sémiotique et Littérature, Essais et méthode, Paris : PUF, 1999. Formes Sémiotiques. [↩]
19. Compositeur de musique électroacoustique, enseignant et critique de cinéma. [↩]
20. CHION Michel, L’Audio-vision, son et image au cinéma, deuxième édition, Paris, Nathan cinéma, 1990, p. 55. [↩]
21. Concept élaboré par le psychologue Mihály Csíkszentmihályi, le flow est un état mental atteint par une personne lorsqu’elle est complètement plongée dans une activité et qu’elle se trouve dans un état maximal de concentration, de plein engagement et de satisfaction dans son accomplissement. [↩]
22. COLLINS Karen, Game Sound, Cambridge (MA), MIR Press, 2008. [↩]
23. « Le game design a pour objectif de décrire le contexte, la géographie et les principes de navigation dans cet univers, ainsi que les principaux personnages. Le concepteur fixe l’objectif du jeu, ses principales phases, le type de quêtes que le joueur devra réaliser, ainsi que les mécanismes ludiques utilisés ». Définition donnée par Cécile Le Prado et Stéphane Natkin dans leur article : Du son et des jeux vidéo, Le Son dans tous ses états, E-Dossier de l’Audiovisuel, 2013. INA Expert. [↩]
24. « Un niveau est l’un des épisodes globalement incontournables, de l’aventure interactive du joueur. […] En général, le concepteur part d’une représentation de l’espace dans lequel se déroule le niveau. Il y place un ensemble d’objets définis lors du Game Design ». Définition donnée par Cécile Le Prado et Stéphane Natkin dans leur article : Du son et des jeux vidéo, Le Son dans tous ses états, E-Dossier de l’Audiovisuel, 2013. INA Expert. [↩]
25. LE PRADO, Cécile, NATKIN, Stéphane. Du son et des jeux vidéo, Le Son dans tous ses états, E-Dossier de l’Audiovisuel, 2013. INA Expert. [↩]
26. On parle bien ici du jeu au sens de game, c’est-à-dire du jeu comme objet. Il ne s’agit pas d’aborder l’expérience de l’espace par les joueur·se·s, mais les inventions de l’industrie vidéoludique qui permettent de qualifier les zones du jeu et d’orienter les joueur·se·s par le son. [↩]
27. Professeur agrégé de l’Université de Montréal qui a mené des travaux dans le domaine de la narration interactive. [↩]
28. Professeur associé à l’Université de Mary Washington et chercheur dans le domaine des digital studies  (traduit parfois par « humanités numériques », domaine de recherche, d’enseignement et d’ingénierie au croisement de l’informatique et des arts, lettres, sciences humaines et sciences sociales). [↩]
29. Arsenaul, Dominic. « Paysages 8-bit. Musicalité et spatialité dans le jeu vidéo des années 1985-1990 ». Inter 98 (2008). [↩]
30. CHION, Michel, op. cit., p. 63. [↩]
31. CHION, Michel, op. cit, p. 13. [↩]
32. La formule « art du son » englobe tous les pratiques artistiques qui se préoccupent de création artistique à partir de sons (musique, installation, performance, radio,…). [↩]
33. Second Life est un univers virtuel partagé mis en service en 2003 par Linden Lab. Les joueur·se·s peuvent y créer leur avatar et aménager le monde selon leurs envies. [↩]
34. La Pulpe est un groupe d’improvisation sonore et narrative créé en 2019. Le projet est soutenu par le collectif Raadio Caargo et composé de Lola Dubus, Crystal Aslanian, Aurélia Nardini et moi-même. Le groupe est accueilli dans le Studio Euphonia par Radio Grenouille (Friche de la belle de mai, Marseille). [↩]

---

---