Recherche-création en art et jeu vidéo au laboratoire
INRéV

Guofan Xiong, Piers Bishop, Rémy Sohier

<figure><img src="image_1.png" /></figure>

To cite this version:

Guofan Xiong, Piers Bishop, Rémy Sohier. Recherche-création en art et jeu vidéo au laboratoire INRéV. Le jeu vidéo au carrefour de l'histoire, des arts et des médias, l'École Émile Cohl; Centre de Recherche et d'Histoire Inter-médias, Mar 2019, Lyon, France. pp.145. hal-04376401

HAL Id: hal-04376401

https://univ-paris8.hal.science/hal-04376401v1

Submitted on 6 Jan 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_2.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
# Recherche-création en art et jeu vidéo au laboratoire INRéV

Guofan Xiong, doctorant AIAC-INRéV

Piers Bishop, doctorant AIAC-INRéV

Rémy Sohier, Maître de conférences ATI / AIAC-INRéV

## Qu'est-ce qui motive des artistes-chercheurs à créer des jeux vidéo ?

L'objet de l'intervention proposée lors du colloque « Le jeu vidéo, au carrefour de l'histoire, des arts et des médias » était de fournir un panorama de la recherche scientifique des doctorantes et doctorants d'INRéV de 2007 à 2019, sur les relations entre art et jeu vidéo. C'était aussi l'occasion de montrer que la recherche peut être faite de créations vidéoludiques, avec un questionnement scientifique et une sensibilité artistique. Pour cela, il était nécessaire de revenir sur la méthodologie de la recherche-création, si populaire dans les départements d'art en France. En quoi la recherche-création une méthodologie populaire par les artistes-chercheurs ? Comment cette méthodologie interroge et limite le questionnement sur le jeu vidéo en tant qu'art ?

Rémy Sohier introduit d'abord le panorama de cette recherche-création et apporte des éléments de définition. Guofan Xiong présentera ses recherches sur les stratégies de gameplay comme matériaux artistique. Piers Bishop présentera enfin son travail créatif avec une Game Boy à des fins artistiques. Comme tout écrit d'artiste, le « je » est ici à comprendre comme celui de l'artiste exposant ses propres créations. Les approches artistiques proposées visent à montrer le détournement, la sensibilité, l'humour et la poésie possible avec les technologies du jeu vidéo.

## Panorama de thèses d'artistes sur les jeux vidéo à INRéV

### De l'art numérique au jeu vidéo comme objet d'étude

L'équipe de recherche Images Numériques et Réalité Virtuelle (INRéV) a été fondé par des pionniers de l'art numérique à l'Université Paris 8 dans les années 80. Rattachée au laboratoire d'Arts des Images et Arts Contemporain (AIAC EA4010), l'équipe étudie donc les nouvelles technologies de l'image avec une approche artistique et esthétique. En étroite relation avec cette recherche, un département dispense des cours techniques et artistiques, Arts et Technologies de l'Image (ATI). Une des thèses sous-jacentes importante de ces entités est que pour s'exprimer artistiquement avec les technologies, il faut être capable de créer ses propres outils. Ainsi, entre le laboratoire INRéV et le département ATI, les nouvelles technologies sont explorées à des fins créatives et scientifiques : réalité virtuelle/augmentée/mixte, capture de mouvement, animation 2D / 3D, effets spéciaux, et bien sûr les jeux vidéo.

Pour autant, si de premiers textes de l'équipe font références aux « jeux d'arcades électroniques<fnref n="1" /> », le sujet du jeu vidéo ne sera étudié spécifiquement qu'une décennie plus tard. En effet, les thèses soutenues se focalisaient davantage sur la reconnaissance de l'art numérique en tant qu'art. Les jeux vidéo, bien que salués pour leurs performances technologiques, ne permettaient pas à des artistes de s'approprier leurs outils de fabrication, privilégiant plutôt l'ordinateur pour la fabrication d'images fixes et animées. Ce n'est que plus tard, grâce aux améliorations technologiques, que le jeu vidéo s'est offert comme outil d'expression aux artistes de l'équipe de recherche. Nous pouvons noter, avec cette

<footnote n="1">¹ Edmond Couchot, *Images. De l'optique au numérique*, Paris, Editions Hermès, 1988, p. 199.</footnote>
progression du questionnement, un ancrage dans l'art numérique concernant les questions du jeu vidéo. Pour prolonger Couchot, les recherches doctorales en jeu vidéo ne vont pas s'intéresser « à la complexification de plus en plus poussée des algorithmes et des modèles logico-mathématiques, mais au désir que certains auront eu d'y insuffler de l'art<fnref n="2" />. »

Outre les images numériques, c'est bien l'interactivité qui au centre de nombreuses préoccupations de ces artistes-chercheurs. En commun avec le jeu vidéo, l'interactivité permet le contrôle de l'image par un mode dialogique. Mais comme l'observe les contemporains de ces premières réflexions, la rapidité et la complexité du calcul ne permet pas toutes les fantaisies des artistes. Pour faire de l'art avec un jeu vidéo, et donc avec l'interactivité, il faudra attendre que les ordinateurs et les outils développés soient suffisamment puissants. Ces contraintes techniques expliquent en partie pourquoi la question du jeu vidéo en art est arrivée vers les années 2000 dans l'équipe INRéV.

Cédric Plessiet inaugure la recherche avec les jeux vidéo dans le laboratoire avec sa thèse soutenue en 2007, *Artiste, ordinateur et spectateur : pour l'émergence d'une création interactive en art numérique*. Fidèle à l'intérêt pour les nouvelles technologies de l'équipe, ce sont davantage les technologies du temps réel et des outils de création de jeu vidéo qui seront analysés à des fins artistiques. En premier lieu, Motion builder, un logiciel permettant l'animation par capture de mouvement. Les images qui émergent de l'intelligence artificielle l'ont beaucoup inspiré, notamment grâce aux algorithmes pour le temps réel et le jeu vidéo. Aujourd'hui Cédric prolonge sa réflexion en créant des portraits interactifs temps réel exploitant Unreal Engine, un moteur de jeu, afin d'exploiter les capacités de réponse instantanée. Comment adapter l'usage prédéfini des outils de création temps réel et interactif aux désirs artistiques ? Quelle méthode de conception pour concevoir des avatars photoréalistes temps réel exploitant les moteurs de jeu ?

Plus tard, Antoine Zanuttini prépare son doctorat en contrat Cifre avec l'entreprise Dont Nod Entertainment et soutient sa thèse en 2012 : *Du photoréalisme au rendu expressif en image 3D temps réel dans le jeu vidéo : programmation graphique pour la profondeur de champ, la matière, la réflexion, les fluides et les contours*. Il s'agit de la première thèse d'INRéV avec l'expression explicite de « jeu vidéo » dans le titre. Antoine analyse le traitement de l'image et l'analyse « vise à sortir de l'esthétique standardisée des jeux vidéo par l'apport de nouvelles techniques de représentation pour l'image numérique temps réel. » Comment proposer une expérience esthétique avec les images de jeu vidéo qui ne soit pas que photoréaliste ? Comment le rendu stylisé ou expressif se complètent artistiquement et techniquement dans les images photoréalistes ? Comment le regard de l'artiste contribue à la production d'une image vidéoludique ?

Edwige Lelievre soutient la même année sa thèse *Des jeux de rôle en ligne tridimensionnels aux jeux à réalité alternée : expérience esthétique, création et expérimentation*. C'est la première thèse à explicitement explorer les notions de gameplay, de game design ou encore de création de jeu. Edwige contribue fortement à la communauté scientifique en analysant la méthodologie de recherche-création pour le jeu vidéo. Quelles expériences esthétiques peuvent analyser dans et autour les jeux de rôle en ligne ? Quelle expression artistique en créant un jeu de rôle en ligne ? Comment hybrider les technologies de la réalité augmentée et du jeu vidéo dans le but de valoriser le patrimoine culturel ?

En 2013, Karleen Groupierre soutient sa thèse, *Enjeux des transmédias de fiction en termes de création et de réception*. Il ne s'agit pas explicitement d'une thèse sur le jeu vidéo, mais d'une réflexion plus étendue sur les relations transmédiatiques entre films, jeux, installations

<footnote n="2">² Ibid., p. 237.</footnote>
artistiques, performances, concerts et autres médias. En étudiant les œuvres qui se prolongent
ou n'existent qu'entre différents médias, Karleen souligne les difficultés inhérentes de chacun
des supports, permettant ainsi de valoriser le jeu comme forme d'expression tout aussi
légitime que n'importe quel autre média. Comment jeu vidéo et cinéma peuvent co-exister
dans une même fiction ? Qu'est-ce que le jeu vidéo peut apporter dans la narration par rapport
à d'autres médias ?

Judith Guez est artiste et directrice artistique du festival Recto Verso à Laval. Elle a soutenu une thèse en 2015, *Illusions entre le réel et le virtuel (IRV) comme nouvelle forme artistique : présence et émerveillement*. En s'appuyant sur les technologies de création vidéoludique, telles que le moteur de jeu Unity ou les casques de réalité virtuelle Vive, Judith explore nos perceptions dans des environnements oniriques et surréalistes. Les outils du jeu vidéo sont détournés de leur usage initial, permettant ainsi son expression artistique. Comment l'interactivité, le temps réel et le jeu peuvent contribuer à nous immerger dans des expériences perceptives nouvelles ? A quel niveau peut-on s'immerger dans la réalité virtuelle ? Comment les technologies du jeu vidéo peuvent nous émerveiller ?

Rémy Sohier a soutenu une thèse en 2016 intitulée *Sensibilité artistique et création vidéoludique. Critique du jeu par le jeu et modèle ludographique*. Cette recherche-création explore la subjectivité artistique et la création de jeu vidéo, en relation avec des institutions culturelles et le collectif d'artistes Alineaire<fnref n="3" />. Le jeu vidéo y est présenté comme un art à part entière, mais dont les méthodes de conception actuelles limitent fortement l'expression artistique. Il prolonge sa réflexion dans l'équipe aujourd'hui sur la temporalité dans les processus de création numérique et donc du jeu vidéo. Que veut dire « s'exprimer artistiquement » quand on crée un jeu vidéo ? Quelles œuvres d'art peut-on crée pour des institutions culturelles avec le jeu vidéo ? Comment la sensibilité peut s'exprimer dans la création d'un jeu ?

Piers Bishop et Guofan Xiong ont rejoint respectivement le laboratoire en 2016 et 2017. Ils présentent ci-dessous un état de leur recherche en cours. A noter enfin que Sophie Daste a rejoint l'équipe ATI/INRèV en 2020. Elle est spécialiste des relations entre art et jeu vidéo, collabore régulièrement avec Antonin Fourneau et Guofan Xiong à la création de jeux vidéo artistiques. Elle a également publié de nombreux articles sur le sujet.

*La recherche-création : créer des jeux vidéo pour interroger leur potentialité artistique*

Les différentes thèses résumées ci-dessus exploitent la méthode de recherche-création. Il s'agit d'une approche scientifique et artistique issue des départements d'art en France et figure dans la continuité des pratiques artistiques théorisées (« PATs » selon le Conseil National des Universités). Comme le rappelle justement Edwige Lelievre<fnref n="4" />, la recherche-création pour le jeu vidéo fait consensus sur sa définition globalement (nécessité de questionnement, nécessité d'exposition en public, méthodologie qualitative et inductive, inclusion en parallèle d'un état de l'art et différenciation avec l'esthétique), mais est encore en discussion sur d'autres aspects (nécessité de partager ses résultats scientifique sous forme d'articles ou sous forme de créations, nécessité ou non d'analyser le processus de création par l'auteur même)<fnref n="5" />. En conséquence, la recherche-création est à la fois ancienne par sa continuité dans les pratiques théorisées en art, mais aussi jeune dans son questionnement, d'autant plus dans le champ de recherche en art sur les jeux vidéo. Les différentes thèses d'INRèV sont

<footnote n="3">³ Le collectif d'artistes Alineaire a créé des jeux expérimentaux et artistiques, www.alineaire.com</footnote>

<footnote n="4">⁴ Edwige Lelievre, « Reaserch-creation methodology for game research. », 2018.</footnote>

<footnote n="5">⁵ Ibid, p. 6</footnote>
comme des photographies d'instants de la recherche-création, avec les particularités du laboratoire dont il ne faut pas oublier ses spécificités.

En effet, comme rappelé plus haut, l'idée centrale du couple ATI – INRèV est de former des artistes à la possibilité d'être autonome dans la création des outils pour leur expression artistique. Ainsi, toute recherche-création menée dans ce laboratoire intègre ce premier biais d'un détournement ou d'une invention nouvelle avec le jeu vidéo. Interroger le jeu vidéo et l'art à INRèV, c'est donc s'approprier les outils, en considérant d'emblées les limites des existants. En paraphrasant Couchot, ce qui nous intéresse n'est donc pas précisément l'interrogation de la reconnaissance du jeu vidéo en tant qu'art, mais plutôt la possibilité d'insuffler de l'art dans le jeu vidéo.

Maintenant qu'un bref historique de la recherche en art et en jeu vidéo à INRèV a été fait, nous pouvons aborder les recherches plus récentes. Ce sera d'abord Guofan Xiong qui présentera ses réflexions autour du gameplay comme matériau artistique, puis de Piers Bishop qui présentera et analysera ses créations avec la Game Boy.

## Quelles sont les stratégies de gameplay comme matériaux artistiques ?

Dans ces installations, j'utilise la structure des jeux vidéo basée sur des règles comme matériaux artistiques, afin de créer des installations qui offrent d'étranges expériences ludiques, mais avec une apparence familière. Pour cela, je cherche à déconstruire la forme conventionnelle du jeu vidéo, en remettant en question notre compréhension de ce médium. Ma démarche peut se comprendre à la lecture des remarques de Brian Upton, développeur expérimenté de jeux vidéo et ayant écrit un ouvrage inspirant sur l'esthétique du jeu. Il présente l'importance des connaissances acquises des joueurs de la façon suivante : « The game design is structuring a total experience (both *rules* and *fantasy*) that will coax the player toward adopting an interesting set of internal constraints, and what the internal constraints a player adopts will depend heavily on his *conceptual background* [ ; je souligne]<fnref n="6" />. »

Quelques explications s'imposent. Pour Brian Upton, les rules sont les règles du jeu, les interactions, ou plus précisément, l'auteur parle de « framework » interne<fnref n="7" />, c'est-à-dire des restrictions et des affordances dans un jeu (la suggestion de la fonction d'un objet par sa forme). La fantasy est l'imaginaire, les visuels, les interfaces ou la promesse de plaisir. Le conceptual background, ce sont les références culturelles, les a priori, la connaissance acquise des concepts des jeux.

Ainsi, pour réaliser mes expérimentations, je décide de subvertir la forme conventionnelle de l'industrie vidéoludique. Pour cela, j'isole les rules de la fantasy pour rendre difficile la compréhension du jeu. Ainsi, ils ne peuvent plus se reposer sur leur connaissance acquise des jeux pour donner du sens au gameplay, ce qui les pousse à remettre en question leur compréhensions des installations.

Les installations que je réalise offrent un contrôle limité sur les interactions, mais proposent une grande liberté sur la façon de jouer et le choix des jeux. Pour cela, ils demandent constamment à leurs joueurs de s'adapter et de rester ouverts au concept de jeu. L'idée est de nous dé-familiariser et de nous éloigner de la réalité. Je joue avec les perceptions des joueurs, précisément sur la manière qu'ils ont de percevoir le monde à travers la langue, les histoires et les schémas narratifs. C'est ce que j'appelle ma stratégie de gameplay, les règles devenant un matériau que j'utilise artistiquement. En d'autres termes, les installations tentent de déformer

<footnote n="6">⁶ Brian Upton, *The Aesthetic of Play*, Cambridge, The MIT Press, Game Studies, 2015, p. 36.</footnote>

<footnote n="7">⁷ Ibid</footnote>
la perception de la réalité par le système de règles du jeu vidéo pour rendre visible les récits préconçus.

<figure><img src="image_3.png" /><figcaption>*Huge Ball : la perception des règles et l'expérience du jeu*</figcaption></figure>

Figure 1. *Huge balls*, Jonglopolis, Carreau du Temple et Malakoniarof, Paris et Malakoff 2018 (photo : Guofan Xiong 2018)

Ce projet a été réalisé dans le cadre de l'événement Jonglopolis à Carreau du Temple 2018. Il a été créé en équipe avec le groupe d'artistes Jean-Luc<fnref n="8" />. L'idée est de questionner la compréhension qu'ont les joueurs du gameplay et de ses éléments visuels. Bien sûr, comme vous le remarquerez, ce projet joue avec la connotation et la dénotation.

Dans ce jeu, le gameplay est en réalité simple, même banal. Le joueur doit essayer de toucher deux balles, avec un rythme balancé pour contrôler une icône d'étoile qui saute sur l'écran. Cela ressemble au mouvement de jonglage. L'étoile va laisser une trace et lorsque les icônes de fruits touchent la trace, le joueur est recouvert par de la crème. Il gagne ainsi un point. En revanche, si les fruits tombent en dehors de l'écran sans toucher la trace, le joueur perd une chance de vie. Cependant, dans le gameplay de *Huge Ball*, nous avons essayé de faire les visuels les plus provocants possibles. Pour cela, nous avons utilisé des émoticicons / emoji de sextings. Les formes et les couleurs présentent également un sens de sous-texte sexuel dans la culture populaire.

Nous avons décidé d'explorer le double sens à l'intérieur de l'installation avec son interface physique. Aux yeux des adultes (ceux qui comprennent la signification derrière les icônes), ces deux contrôleurs en forme de boules leur donnent constamment des indices forts pour connecter tous les éléments (à la fois visuels et tactiles) avec des représentations sexuelles. Ceci empêche les adultes de comprendre que le gameplay est simplement de jongler. Alors que pour les enfants, les contrôleurs ont été positionnés relativement haut pour bloquer leur vision, les forçant à regarder à travers les contrôleurs pour jouer au jeu déjà visuellement déroutant. Pour eux, grâce à leur petite taille, le gameplay consiste à trouver un équilibre entre les boules pour jouer et obtenir un score plus élevé.

Evidemment, cette installation interpelle tout de suite sur la sexualisation. D'abord pensée pour des personnes qui connaissent le double sens des signes dans l'installation, enfants et personnes déconnectées des réseaux sociaux n'ont pas accès aux connotations. Dans la temporalité du jeu il se produit alors une confrontation entre des perceptions du sens du jeu. Cette installation vise à interroger la culture populaire et son hyper sexualisation. C'est la

<footnote n="8">⁸ Jean-Luc est un collectif de jeux artistiques (game art) basé à Paris. Il est composé de trois artistes-chercheurs de l'EnsadLab (Art & Design Research Laboratory à l'Ensad) : Daniel Plata, Pierre emm and Guofan Xiong.</footnote>
réaction des adultes et des personnes qui ont accès aux connotations qui est au cœur de cette
expérience sociale qui peut dérouter.

Ainsi, les règles visent à remettre en question la perception du public et à susciter différents
types de réactions. À travers les visuels et son système de contrôle particulier, le jeu propose
une situation suffisamment délicate pour que les joueurs remettent en question leurs propre
compréhension et leurs compétences de jeu. Après discussion avec les joueurs pour obtenir
des retours d'expérience, il s'avère que différents groupes de personnes créent leurs propres
façons de jouer et d'interpréter. On peut parler de gameplay émergent, c'est la partie la plus
intéressante de cette installation : les joueurs sont aussi des interprètes, car ils interagissent et
échangent avec les autres joueurs en attente et les visiteurs qui passent à côté ; ils créent leurs
récits et leur propre signification du jeu, loin d'être sexualisant, opposant ceux qui jouent et
ceux qui ne jouent pas, tout en partageant leurs histoires et leurs expériences de jeu.

*Temple : déstabiliser notre connaissance des jeux*

<figure><img src="image_4.png" /><figcaption>Figure 2. *Temple*, Malakoniarof, Malakoff 2018 (photo : Guofan Xiong 2018)</figcaption></figure>

Temple est un autre projet que j'ai réalisé en parallèle de *Huge balls*, durant le festival A MAZE<fnref n="9" /> en 2018. L'objectif de ce jeu est de transformer le jeu traditionnel du bras de fer par une nouvelle expérience étrange et ludique.

Le bras de fer est un jeu de puissance directe : un joueur gagne quand il a physiquement dominé son rival. Mais dans ce jeu ce n'est pas le cas. Chaque joueur a deux capteurs de lumière, un pour chaque côté du joueur (à gauche et à droite). Pour cette raison, quel que soit le côté, les deux joueurs ont autant de chances de gagner des points. Tout comme dans le taiji, il s'agit de transformer une compétition de puissance pure en manipulation de la puissance adverse. Quand les joueurs comprennent l'objectif du jeu, ils commencent à créer leurs propres astuces pour gagner. En conséquence, on peut même gagner contre des joueurs physiquement plus forts.

Cette installation vidéoludique a été exposée une deuxième fois avec *Huge balls* à Eniarof-Malakoff 2018. Elle a de nouveaux éléments visuels qui sont éloignés du gameplay d'origine. Dans cette nouvelle version, des références à la mythologie grecque ont été créées. Contrairement à *Huge balls*, après avoir joué à *Temple*, les joueurs peuvent souvent mieux comprendre l'objectif du jeu. Ces deux projets explorent le vocabulaire visuel et interactif dans les jeux, mais il peut être possible de créer une nouvelle installation plus expressive en équilibrant les qualités de Temple et de Huge balls, c'est le cas de l'installation suivante.

<footnote n="9">⁹ A MAZE est un festival annuel de jeux expérimentaux et artistiques qui se tient à Berlin depuis 2012.</footnote>
<figure><img src="image_5.png" /><figcaption>Heart the hit : contrôle, dystopie et illusion</figcaption></figure>

Figure 3. *Heart the hit*, E-fest, Tunis 2017 (photo : Guofan Xiong 2017)

Ce projet a été réalisé dans le cadre du Festival E-fest à Tunis avec un autre groupe d'artistes. Il porte sur le sujet du contrôle, de la dystopie et de l'illusion.

*Heart the hit* se joue à deux joueurs, en deux parties avec des règles distinctes, mais complémentaires. Chacun enfile un des deux costumes rouges qui ont été connectés ensemble. Il y a également des balles de différentes couleurs suspendues avec lesquelles il faudra interagir d'une façon spécifique. En suivant les instructions à l'écran, les joueurs doivent choisir un des quatre membres du corps (les coudes ou les genoux) pour frapper l'une des balles avec la bonne couleur correspondante. Quand la bonne partie du corps frappe la bonne balle, le joueur obtient un point. Le premier joueur qui obtient 5 points gagne la partie. Ensuite, il / elle peut enlever son costume pour entrer dans la deuxième partie du jeu.

Dans la deuxième partie du jeu, l'issue de la première partie peut avoir des conséquences importantes. En effet, tout le monde devient le patient d'un jeu de docteur. En tant qu'artiste, je joue le docteur et je vais écouter leur rythme cardiaque pendant une minute. Selon mon humeur ou mon sadisme, je suis le seul arbitre de la victoire finale. Rien ne garantit véritablement que l'issue de la première partie entraîne une victoire.

Ce jeu questionne l'illusion de contrôle dans les jeux. Les joueurs suivent facilement leur « conceptual background » de Brian Upton<fnref n="10" />, c'est-à-dire leurs acquis de jeu, leurs a priori ou leur expérience sur d'autres jeux. Le jeu est une mise en scène montrant un système de contrôle, un effort futile pour gagner, une illusion de frustration et de joie dans une scène de marionnettes.

*Gameplay comme matériau artistique*

« Play as an expression, a way of engaging with the world--not as an activity of consumption but as an activity of production like.... Play is a way of engaging and expressing our being in the world<fnref n="11" />. »

Dans mes projets, l'art du jeu est une hybridation entre un jeu vidéo et une installation numérique. Inspiré du système basé sur des règles, je m'exprime dans mes créations grâce au gameplay utilisé comme matériau artistique.

Ces projets visent à ouvrir les expériences de gameplay et à étendre la culture conventionnelle du jeu vidéo. Cela me permet de mélanger le jeu vidéo avec d'autres médiums artistiques, et d'explorer et de créer différents types d'expressions ludiques. En même temps, ces projets me permettent d'explorer différentes conditions d'expositions et donc de contexte d'expérience

<footnote n="10">¹⁰ Op. cit.</footnote>

<footnote n="11">¹¹ Miguel Sicard, *Play Matters*, Cambridge, The MIT Press, Game Studies, 2014, p. 6.</footnote>
du jeu. Il est toujours intéressant de pouvoir présenter le projet devant un public qui n'est pas familier avec le médium du jeu vidéo. J'observe les premières réactions des joueurs, leur manière de comprendre le sens du gameplay et les interactions sociales en vivant ces expériences déstabilisantes de jeu.

Ces projets me permettent de communiquer avec les joueurs à travers tous les éléments utilisés (installations, environnements, interfaces, visuels, sons, règles, contraintes). Ensuite, j' invite le joueur à explorer et à construire ses propres expériences en jouant au jeu ou en jouant avec ou contre d'autres personnes. Dans ce cadre de création, j'explorer l'expressivité artistique du gameplay dans les jeux vidéo afin de les utiliser comme des matériaux artistiques. Je m'inspire de ces stratégies pour créer des installations artistiques ou d'autres objets culturels.

## Dichotomy : Post-Mortem. Créer un jeu de Game Boy 30 ans plus tard

Dans une démarche différente, je vais vous parler de mon travail sur le jeu Dichotomy. Pour comprendre le sujet que je vais évoquer, je voudrais d'abord discuter de pratiques liées au rétrogaming. Il s'agit d'une activité qui consiste, entre autres, à jouer à d'anciens jeux vidéo, voire à les collectionner. Néanmoins, certains adeptes peuvent aller plus loin encore et pratiquer le modding de consoles : une activité qui consiste à changer certains composants matériels d'une console, tels que son boîtier, ou son écran, afin de l'améliorer. Certaines personnes se réclamant rétrogamers<fnref n="12" /> sont dotés de compétences en programmation, et vont même pouvoir produire des hacks de jeux existants afin d'en changer le contenu, la difficulté, ou d'autres caractéristiques de leur choix<fnref n="13" />. D'autres encore iront jusqu'à produire leurs propres jeux pour ces consoles, produisant ce que les pratiquant appellent des homebrew<fnref n="14" />. J'ai produit moi-même des homebrews pour la Game Boy à plusieurs reprises. A ce titre, je pourrais mentionner coucou*<fnref n="15" />, où le joueur incarne une sirène qui doit noyer des passants en les séduisant, ou Pet House<fnref n="16" />, où le joueur doit s'occuper d'un animal de compagnie virtuel.

<figure><img src="image_6.png" /><figcaption>Figure 4. coucou*, cartouche et capture d'écran.</figcaption></figure>

<footnote n="12">12 Joueur de jeux rétro, c'est-à-dire de jeux « anciens ».</footnote>

<footnote n="13">13 C'est par exemple ce que j'ai fait dans mon hack Pokémon : Chari Version et Pokémon : Zard Version, où tous les pokémons ont été remplacés par une variante du pokémon Dracaufeu. Voir https://www.pokecommunity.com/showthread.php?t=425881</footnote>

<footnote n="14">14 Homebrew signifie littéralement « brassé à la maison ». Ce terme désignait initialement (et désigne encore) une bière brassée personnellement et non commercialisée.</footnote>

<footnote n="15">15 Coucou* a été produit en 2016 et est disponible sur https://piersbishop.itch.io/coucou</footnote>

<footnote n="16">16 Pet House a été produit en 2020 et est disponible sur https://piersbishop.itch.io/pet-house</footnote>
<figure><img src="image_7.png" /><figcaption>Figure 5. *Pet House*, cartouche et capture d'écran.</figcaption></figure>

En 2019, la Game Boy a fêté ses 30 ans. A cette occasion, j'ai créé deux nouvelles cartouches pour cette console. La première cartouche créée se nomme *Game Boy Birthday*<fnref n="17" />, et contient un jeu qui célèbre cet anniversaire. Lorsque la console lance cette cartouche, elle affiche un dessin en pixel art<fnref n="18" /> qui représente un gâteau doté d'une bougie, tout en reproduisant la célèbre mélodie des sœurs Mildred et Patty Hill pour souhaiter un joyeux anniversaire. La seconde cartouche se nomme *Dichotomy*<fnref n="19" />, et c'est de ce jeu dont je vais détailler le processus de création.

<figure><img src="image_8.png" /><figcaption>Figure 6. *Game Boy Birthday*, cartouche et capture d'écran.</figcaption></figure>

## Contexte & Inspiration

*Dichotomy* est avant tout un hommage aux jeux qui m'ont inspiré en tant que joueur, ainsi qu'à ma première console : la Game Boy Color. Voulant m'inspirer des jeux qui ont accompagné mon enfance puis mon adolescence, j'ai retenu quatre ou cinq jeux notables, provenant de différentes étapes de mon parcours de joueur. Dans *Dichotomy*, seul l'esthétique visuelle de ces jeux m'a inspiré. Je n'ai par exemple pas voulu intégrer de système de combat. Par ce fait, je me suis affranchi d'un long temps de développement qui aurait été nécessaire à ce système. Cela m'a permis d'orienter le jeu vers une expérience plus contemplative et relaxante, axée sur la découverte de ses environnements, tel un walking simulator.

M'inspirer de jeux de consoles plus récentes, telles que la Game Boy Advance (GBA) et la PlayStation Portable (PSP), n'était cependant pas un choix de design simple. En effet, les performances de la Game Boy Color sont incroyablement plus contraignantes que la GBA ou la PSP. 3 ans séparent la Game Boy Color de la GBA et 6 ans avec la PSP, ce qui en termes technologiques est considérable. L'inspiration de consoles plus récentes a motivé des

<footnote n="17">17 Game Boy Birthday est disponible sur https://piersbishop.itch.io/game-boy-birthday</footnote>

<footnote n="18">18 Le *pixel art* désigne des dessins mettant en avant les pixels de leur composition. Bien qu'initialement une simple contrainte matérielle, c'est aujourd'hui une esthétique à part.</footnote>

<footnote n="19">19 Dichotomy est disponible sur https://piersbishop.itch.io/dichotomy</footnote>
contraintes créatives, ce qui m'a poussé à adapter tant bien que mal l'esthétique que je voulais reproduire.

## Des contraintes techniques à la créativité artistique

Le format de cet article ne me permettra pas de rentrer en détail dans les fonctionnements internes de la Game Boy, ni de la *library*<fnref n="20" /> que j'ai utilisé pour développer *Dichotomy*. Je tâcherai cependant ici de résumer certaines des particularités graphiques de la console ciblée qui ont considérablement impacté mes choix.

La Game Boy n'est capable d'afficher que 4 couleurs différentes, affichées en teintes de vert sur la console originale, ou en nuances de gris sur certaines des versions suivantes de la console, comme la Game Boy Pocket ou la Game Boy Light. La Game Boy Color, commercialisée quelques années plus tard, est une console structurellement très similaire à la Game Boy. Elle possède un écran capable d'afficher plus de 32000 couleurs différentes, mais seulement très peu d'entre elles en même temps (potentiellement jusqu'à 56, mais en pratique plutôt entre 10 et 20).

Il est important de noter ici que la Game Boy et la Game Boy Color possèdent la même architecture interne, et que développer un jeu pour l'un revient en tous points à développer un jeu pour l'autre. Les seuls outils supplémentaires à disposition lors du développement d'un jeu pour Game Boy Color sont des commandes pour gérer certains aspects d'affichage (notamment l'affichage de couleurs).

L'écran est composé de 160 pixels en hauteur et 144 en largeur, et son affichage peut être séparé en trois « couches » :

* Le *background*, en général employé pour afficher les environnements statiques.

* La *window*, habituellement utilisée pour afficher par-dessus le *background* une fenêtre de texte en bas ou sur le côté de l'écran.

* Les * sprites*, affichés par-dessus tout le reste, servent en général aux éléments qui peuvent être amenés à se déplacer ou être animés, tels que des personnages, objets à récupérer, ou le curseur d'un menu.

La Game Boy hérite une grande partie de son architecture interne de la Nintendo Entertainment System (NES), la première console de Nintendo en 1983. A l'image de celle-ci, la Game Boy ne construit pas habituellement ses graphismes pixel par pixel, comme on peut le voir sur les premiers micro-ordinateurs (tels que l'Atari 2600 dans les années 70-80). A la place, elle va plutôt utiliser des tiles, c'est-à-dire des fragments de dessins de 8x8 pixels, qui seront affichés les uns à côté des autres comme des tuiles de carrelage afin de former une image plus grande et détaillée à l'écran. L'avantage principal de cette technique est qu'elle permet de travailler les graphismes du jeu par assemblage comme en mosaïque (qui sont des grilles de pixels), plutôt que de coder soi-même la valeur et la position de chaque pixel d'un élément du jeu. L'écran de 160x144 pixels peut alors être vu comme une grille de 20x18 tiles. Ces différentes contraintes, et bien d'autres encore, que j'ai dû découvrir par moi-même au fur et à mesure que j'expérimentais avec ma création, ont petit à petit guidé ce projet vers *Dichotomy*.

<footnote n="20">20 Une *library* est une collection de commandes et outils informatiques en programmation. Un développeur peut ainsi faire appel à ces commandes pour l'aider dans la création d'un programme.</footnote>
### Dichotomy, des contraintes de Game Boy Color pour une expression artistique

Ce jeu met en scène une variété d'environnements, dans lesquels le joueur peut se déplacer. La prise en main est grandement inspirée des jeux auxquels je jouais le plus sur ma Game Boy : notamment des jeux de type RPG, comme la série des Pokémon ou celle des Legend of Zelda. Ainsi, le jeu présente une vue en plongée et sans perspective, offrant ce qu'on appelle communément une « vue du dessus ». Certains de ces environnements sont de grands espaces ouverts, d'autres des structures labyrinthiques. Au cœur de quelques-uns d'entre eux se trouvent même d'autres personnages, des monstres ou esprits habitant le lieu. Chaque endroit a sa propre histoire, sa propre vie.

<figure><img src="image_9.png" /><figcaption>Figure 7. Dichotomy, cartouche et captures d'écran.</figcaption></figure>

### Approche graphique

Comme évoqué plus haut, la Game Boy est très limitée en termes de graphismes. La Game Boy Color offre davantage de couleurs, mais la majorité des contraintes restent les mêmes, telles que la limitation à 4 couleurs différentes par tile. N'ayant pas de compétences particulières en pixel art, j'ai dû apprendre de mes erreurs au fur et à mesure que j'avançais. Par ailleurs, certaines associations de couleurs ne fonctionnent pas de la même manière sur un écran rétroéclairé d'ordinateur et sur un écran LCD non éclairé de Game Boy Color.

<figure><img src="image_10.png" /><figcaption>Figure 8. Quelques anciennes versions du pixel art de Dichotomy.</figcaption></figure>
Un détournement de ces deux problèmes consiste à discriminer certains éléments de décor par un contour noir, indiquant qu'ils ne peuvent être franchis. Les éléments de décor qui ne possèdent pas ce contour peuvent être traversés librement. Cette technique est en réalité déjà bien vastement employée par des jeux vidéo tels que ceux cités précédemment. Un inconvénient majeur de ce gain de lisibilité est qu'il nécessite à chaque tile de sacrifier une de ses 4 couleurs pour du noir, réduisant drastiquement le nombre de couleurs disponibles à l'écran.

Un autre détournement a retenu mon attention, il consiste à animer certains éléments d'arrière-plan, tels que la surface de l'eau, des torches, ou des fleurs qui bougent avec le vent. Pour arriver à ce résultat, il m'a fallu cependant enregistrer plusieurs tiles d'animation pour chaque élément de décor animé ; je n'ai donc pu le faire que pour une poignée d'entre eux, sans transposer le processus à l'intégralité des tiles du décor.

Il est important de noter que beaucoup de jeux publiés à leur époque sur les consoles évoquées plus haut optimisaient la mémoire en réutilisant des tiles d'un environnement à l'autre. Une des méthodes consistait notamment à changer la couleur pour lui donner un autre sens. C'est une stratégie dont je n'ai volontairement pas fait pour *Dichotomy*, afin de prioriser la qualité de chaque tile, plutôt que sa réutilisabilité.

<figure><img src="image_11.png" /><figcaption>Figure 9. *Super Mario Bros* sur NES est connu pour réutiliser les mêmes graphismes pour ses nuages et ses buissons.</figcaption></figure>

*Dichotomy* est finalement tellement rempli d'éléments graphiques, qu'il n'y a de place pour rien d'autre dans ce petit jeu de 32 Ko. Aucun texte, aucun dialogue, aucun menu, aucun son. Seulement des environnements aussi riches que possible, et un personnage pour s'y déplacer.

## World Design : une mosaïque ordonnée et subjective

A l'image des graphismes du jeu, les environnements de *Dichotomy* ont également subi plusieurs itérations, et en grande partie pour des raisons similaires : notamment la place de stockage très limitée de la cartouche. Chaque environnement, ou map, est représenté dans les données du jeu par une grille de valeurs de dimensions variables. Chaque valeur attribuée à une case de cette grille indique quelle est la tile à afficher sur cette case. La Game Boy Color offre cependant la possibilité d'enregistrer pour chaque map une seconde grille de valeurs, qui indique des modifications supplémentaires à appliquer à chaque tile individuelle, telles que lui appliquer une symétrie horizontale ou verticale, ou lui assigner une palette de couleurs à
utiliser pour son affichage. Bien qu'essentielle à la création d'un environnement riche et coloré, cette seconde grille de valeurs vient doubler la place que prend le stockage de chaque map.

Afin de réduire la place nécessaire à l'enregistrement de leurs maps, les premiers jeux de la série Pokémon ont eu recours à une astuce remarquable : les tiles de 8x8 pixels ont été regroupées afin de construire des toutes petites maps de 4*4 tiles, et les véritables maps du jeu se dessinent avec ces regroupements de tiles préconçus. Bien que cette décision soit perceptible par le joueur dans le design des maps, elle a permis aux développeurs d'enregistrer leurs vastes maps sur un espace seize fois plus petit qu'il ne leur aurait été nécessaire avec l'approche que j'ai eue pour *Dichotomy*, soit un gain de place de plus de 90%.

Ces limites auxquelles j'ai été confronté m'ont contraint à régulièrement couper de plus en plus de contenu que j'avais initialement prévu dans *Dichotomy*. L'univers du jeu aurait dû contenir une quinzaine de maps, au lieu des cinq ou six actuelles, et six à huit créatures à rencontrer au lieu des deux présentes dans le jeu final. La plupart des environnements présents sont également bien plus petits que je ne le souhaitais initialement.

<figure><img src="image_12.png" /><figcaption>**Figure 10.** Contenu coupé de *Dichotomy* : une map de grotte, et un dragon qui y réside.</figcaption></figure>

Au final, *Dichotomy* comporte une carte du monde, une maison, une forêt enchantée, qui contient une cathédrale, et un château abandonné au milieu d'un désert aride. Au cœur de la cathédrale dort paisiblement une sphinge (version féminine du sphinx), alors qu'une cecaelia (une sirène-kraken) réside au fond du château.

<figure><img src="image_13.png" /><figcaption>**Figure 11.** Quelques environnements de *Dichotomy*.</figcaption></figure>

Le world design de *Dichotomy* n'est pas cependant dénué de sens. Les éléments le constituant ont été placés là avec attention. Par exemple, la cecaelia résidant au fond du château semble avoir détourné un cours d'eau afin d'alimenter le bassin où on la trouve : serait-ce alors la raison pour laquelle le château se situe au milieu d'un désert, comme s'il avait été initialement
construit dans un paysage luxuriant qui se serait petit à petit desséché ? La sphinge, créature réputée pour dévorer toute personne ne sachant répondre à son énigme, aurait-elle croqué ses adorateurs ? Le jeu étant dénué de toute indication textuelle, la narration finale du monde et de son histoire est finalement laissée libre au joueur.

<figure><img src="image_14.png" /><figcaption>Figure 12. Sphinge et cecaelia.</figcaption></figure>

De nombreuses pistes d'amélioration sont envisageables pour ce projet. Je ne l'ai pas évoqué, mais la library <fnref n="21" /> que j'ai utilisée pour développer ce jeu sur Game Boy, GBDK, date de 2001 et possède beaucoup de failles. Des erreurs dans la library empêchent d'avoir accès à certaines fonctionnalités de la Game Boy, comme l'utilisation de plusieurs banques de mémoire. Ces memory banks permettraient de gagner une place considérable et de pousser plus loin les environnements que je voulais initialement mettre dans *Dichotomy*.

Ceci m'aurait également permis de mettre en place au moins un système rudimentaire d'affichage de texte afin d'approfondir l'histoire du monde, et d'y mettre de la musique pour y créer une véritable ambiance. J'ai à plusieurs reprises comparé *Dichotomy* à des jeux commerciaux, mais il est important de noter que *The Legend of Zelda : Link's Awakening* profite pleinement de l'accès aux memory banks pour construire son vaste environnement et ses mécaniques de jeu complexes. De ce fait, il nécessite une cartouche de 4Mo, soit 128 fois plus de place que j'avais à ma disposition pour le défi que je me suis lancé avec *Dichotomy*.

Plus grave encore que l'absence d'accès aux memory banks, cependant, il me faut mentionner que cette library et le compilateur qui y est associé sont très susceptibles de produire des fuites de mémoire<fnref n="22" />. Il y a plusieurs passages de mon code que j'ai dû écrire de façon rocambolesque afin de les éviter. Heureusement, depuis quelques années, certains développeurs indépendants ont commencé à mettre en place des versions alternatives de cette library, dépourvues de ces failles. Deux projets notables de ce genre sont GBDK-N<fnref n="23" /> et GBDK 2020²⁴.

## Intimité et expressivité technico-artistique

*Dichotomy* est un jeu qui m'est très personnel. Non seulement doté d'une narration passive qui illustre un passage de la vie que je traversais à ce moment-là, il est inspiré de jeux qui me sont chers, et dédié à ma toute première console. C'est une signature, et un hommage à une console qui a grandement participé à la construction de mon identité actuelle.

<footnote n="21">²¹ En programmation, on utilise fréquemment des bibliothèques logicielles (library en anglais), c'est-à-dire des fonction déjà organisées et opérationnelles pour un programme.</footnote>

<footnote n="22">²² Une fuite de mémoire est un type de bug qui sature la mémoire de la machine et provoque des comportements indésirables, par exemple lors du traitement ou l'affichage de données.</footnote>

<footnote n="23">²³ La library GBDK-N est disponible sur https://github.com/andreasjhkarlsson/gbkd-n</footnote>

<footnote n="24">²⁴ La library GBDK 2020 est disponible sur https://github.com/Zal0/gbkd-2020</footnote>
Après avoir rempli ce jeu avec tous les graphismes qu'il m'était possible d'y mettre, je me suis aperçu que 11 octets étaient encore disponibles sur la cartouche. J'en ai donc profité, avant la production de la version finale du jeu, pour intégrer un message de 11 caractères qu'aucun joueur ne pourra jamais lire, dans les commentaires du code, mais que la Game Boy interprète à chaque fois que le jeu est lancé.

<figure><img src="image_15.png" /><figcaption>Figure 13. Message intégré dans le code source du jeu : « THANKYOUGB ! »</figcaption></figure>

## Être artiste avec les technologies des jeux vidéo : entre dérision et intimité technico-artistique

Comme nous l'avons vu avec la création de jeu sous Game Boy, les contraintes technologiques conditionnent l'expressivité artistique. L'expérience technico-artistique de cette recherche mène à découvrir les ingéniosités techniques de jeux reconnus tels que les séries Zelda, Pokémon ou Mario. En cherchant à créer un jeu avec des contraintes proches d'auteurs d'origine, cette recherche met en avant des qualités structurelles invisibles dans l'expérience commune du jeu.

La création sous contrainte qu'est le projet *Dichotomy* met en évidence une appropriation personnelle. Les contraintes techniques ne sont pas seulement des obstacles à franchir pour un design précis, mais aussi un matériau sur lequel s'exprimer et faire écho à sa propre sensibilité. L'artiste intuitionne les contraintes à mesure qu'il les maîtrise et explore les possibilités offertes pour créer du sens et des sensations.

Dans les installations *Huge balls*, *Temple* et *Heart the hit*, le matériau artistique se situe dans les règles, le jeu social ou encore les codes culturels. L'artiste insuffle au jeu son humour, son autodérision et crée une expérience qui joue avec notre préconception des jeux. S'inscrivant dans un espace d'exposition artistique, l'installation vidéoludique exploite les foules, la visibilité, l'espace, la communication entre spectateurs et joueurs.

L'approche technico-artistique présentée se retrouve dans cette pratique par l'invention de périphériques de contrôle. Ce que l'on appelle aussi les contrôleurs alternatifs<fnref n="25" /> permettent à l'artiste de considérer également le hardware comme un matériau artistique. Il se crée alors une proximité évidente avec les arts plastiques, hybridant la créativité des formes dans l'espace avec la structuration complexe des jeux.

<footnote n="25">²⁵ Les contrôleurs alternatifs, appelés aussi alt ctrl, sont des dispositifs inventés par leurs auteurs afin de proposer une expérience de jeu unique. La Game Developer Conference (GDC) propose depuis 2015 un concours dédié spécifiquement à l'inventivité des alt ctrl. https://gdconf.com/alt-ctrl-gdc/archive</footnote>
Les jeux vidéo artistiques présentés ci-dessus envisagent le jeu comme objet d'étude légitime, par une pratique artistique assumée. La sensibilité des artistes explore des territoires de création nouveau, au commencement d'un chapitre de recherche sur l'art et le jeu en phase avec sa réalité technique.