<figure><img src="image_1.png" /></figure>

Techniques et technologies de
la prévisualisation transmédiale

Transmedial Previsualization
Techniques and Technologies

Sous la direction de/edited by

Olivier Asselin Isabelle Raynauld
<figure><img src="image_2.png" /></figure>

Sous la direction de/edited by

Olivier Asselin Isabelle Raynauld

Éditorialisation/content curation Traduction/translation

Tara Karmous Timothy Barnard

Référence bibliographique/bibliographic reference
Asselin, Olivier, et Isabelle Raynauld (dir.). *Techniques et technologies de la prévisualisation transmédiale / Transmedial Previsualization Techniques and Technologies*.

Montréal : CinéMédias, 2024, collection « Encyclopédie raisonnée des techniques du cinéma », sous la direction d'André Gaudreault, Laurent Le Forestier et Gilles Mouëllic.

https://doi.org/10.62212/1866/33945

Dépôt légal/legal deposit
Bibliothèque et Archives nationales du Québec,
Bibliothèque et Archives Canada/Library and Archives Canada, 2024
ISBN 978-2-925376-15-6 (PDF)

Appui financier du CRSH/SSHRC support
Ce projet s'appuie sur des recherches financées par le Conseil de recherches en sciences humaines du Canada.

This project draws on research supported by the Social Sciences and Humanities Research Council of Canada.

Mention de droits pour les textes/copyright for texts
© CinéMédias, 2024. Certains droits réservés/some rights reserved.
Creative Commons Attribution-ShareAlike 4.0 International

Image d'accrocheheader image
Extrait du storyboard d'Alteration (Jérôme Blanquet, 2017).

Voir la fiche.

Excerpt of the storyboard of Alteration (Jérôme Blanquet, 2017).
See database entry.

Base de données TECHNÈS/TECHNÈS database
Une base de données documentaire recensant tous les contenus de l'Encyclopédie est en libre accès. Des renvois vers la base sont également indiqués pour chaque image intégrée à ce livre.

A documentary database listing all the contents of the *Encyclopedia* is in open access. References to the database are also provided for each image included in this book.

Version web/web version
Cet ouvrage a été initialement publié en 2022 sous la forme d'un parcours thématique de l'Encyclopédie raisonnée des techniques du cinéma.

This work was initially published in 2022 as a thematic parcours of the Encyclopedia of Film Techniques and Technologies.

<figure><img src="image_3.png" /></figure>
# Table des matières

# Table of contents

Introduction 2

Introduction 4

Olivier Asselin, Isabelle Raynauld

Scénarisation, médialité et transmédialité 7

Scripting, Mediality and Transmediality 11

Olivier Asselin

Le storyboard, l'animatique et autres
outils de prévisualisation expérientielle 16

The Storyboard, the Animatic and Other
Experiential Previsualization Tools 19

Benoît Melançon

Les logiciels de modélisation 3D
comme outils de prévisualisation 23

3D Modelling Software as
a Previsualization Tool 26

Benoît Melançon

Les moteurs de jeu comme outils de scénarisation 29
Game Engines as Scripting Tools 32

Dominic Arsenault

Concevoir des œuvres de réalité virtuelle 36
Creating Works in Virtual Reality 44

Oriane Morriet

La scénarisation transmédiale en documentaire 53
Transmedial Documentary Scripting 59

Martin Bonnard, Viva Paci
<figure><img src="image_4.png" /></figure>

Introduction

Introduction

Olivier Asselin Isabelle Raynauld
# Introduction

par Olivier Asselin et Isabelle Raynauld

Le récit langagier, oral ou écrit, a longtemps été la forme privilégiée de l'art de raconter, qui s'est incarnée dans la tragédie et l'épopée, le théâtre et le roman. Le récit visuel a néanmoins toujours occupé une place honorable, comme le montre l'histoire de la peinture et de la sculpture, qui ont très tôt été chargées non seulement de décrire le monde, mais aussi de raconter des histoires. Cet art de raconter par l'image a aussi eu ses techniques, transmises par le geste et la parole dans le contexte de l'atelier, puis des académies, ou par le texte, dans divers ouvrages, certains plus pratiques, comme le *Libro dell'Arte* (1437) de Cennino Cennini, d'autres plus théoriques, comme *De Pictura* (1435) de Leon Battista Alberti.

Mais avec les révolutions industrielle et postindustrielle (électrique, électronique, numérique, etc.), le développement de la culture de masse et l'apparition de ces « nouvelles » technologies que sont le cinéma et la télévision, puis le jeu vidéo, la réalité virtuelle et Internet, de même que les plateformes mobiles et l'intelligence artificielle, le récit s'est transformé: il est devenu audiovisuel, puis immersif, interactif et collaboratif, et enfin transmédial (déployé sur plusieurs médias, plateformes et appareils), mixte (à la fois dans l'espace virtuel et dans l'espace physique), translocal et géolocalisé (dans un ou plusieurs lieux).

Dans ce mouvement, la scénarisation – entendue ici non plus au sens étroit, comme l'écriture d'un texte présentant l'histoire à raconter, mais au sens large, comme le processus de conception et de design, de prévisualisation et de préparation – a été, elle aussi, transformée. Au-delà du scénario écrit, d'autres documents moins textuels et plus visuels sont apparus, qui ont pris une grande importance dans le développement du récit audiovisuel: des images, fixes ou animées, bidimensionnelles ou tridimensionnelles, des plans et des cartes, des arborescences, etc. Ces documents visuels se présentent sous deux grandes formes, qui reproduisent l'opposition traditionnelle entre la *carte* et le *tableau*, entre la *vue aérienne* et la *vue en perspective*:

* la prévisualisation cartographique, qui épouse le point de vue objectif (divin) du concepteur, pour montrer l'ensemble d'une scène, du film ou du jeu, comme le diagramme de plateau (le plan au sol) au cinéma ou le logigramme (l'arborescence) dans le jeu vidéo et les œuvres interactives;

* la prévisualisation expérientielle, qui épouse le point de vue subjectif de l'utilisateur (à la première ou à la troisième personne), pour montrer le déroulement de l'expérience elle-même dans le temps, comme le storyboard et l'animatique au cinéma, ou la « vue du jeu » (game view) et le « mode jeu » (play mode) dans les moteurs de jeu.
<figure><img src="image_5.png" /></figure>

Capture d'écran d'une vidéo introductive à la prise en main du logiciel de prévisualisation de diagramme de plateau Shot Designer. Voir la fiche.

Alors que, dans un autre livre, nous avons abordé certaines formes et outils textuels de scénarisation[1], nous insisterons ici sur les formes et les outils non textuels de la prévisualisation. Après une mise en contexte sur la question des rapports entre scénarisation, médialité et transmédialité dans le champ élargi du récit audiovisuel, cet ouvrage examinera, dans un premier temps, les documents visuels traditionnels que sont le storyboard et l'animatique; dans un deuxième temps, les nouvelles formes de prévisualisation que permettent les logiciels de modélisation 3D et les moteurs de jeu; et dans un troisième temps, quelques cas choisis dans le champ des expériences de réalité virtuelle et dans le champ du documentaire, qui nous permettront de mesurer la variété actuelle des pratiques et des documents de prévisualisation.

[1] Voir cette autre publication liée à l'Encyclopédie raisonnée des techniques du cinéma: *Techniques et technologies de la scénarisation*, par Olivier Asselin et Isabelle Raynauld (dir.).
# Introduction

by Olivier Asselin and Isabelle Raynauld

Translation: Timothy Barnard

Oral or written narrative language was for a long time the privileged form of the art of storytelling, becoming embodied in tragedy and the epic, theatre and the novel. Nevertheless, visual narrative has always played an honourable role, as seen in the history of painting and sculpture, which very early on were tasked not only with describing the world but also with telling stories. This art of telling stories with images also had its own techniques, transmitted through gestures and speech in artists' studios and later under the academies, or through text in a variety of works: some more practical, such as Cennino Cennini's *Libro dell'Arte* (1437); and others more theoretical, such as Leon Battista Alberti's *De Pictura* (1435).

Narrative was transformed, however, with the industrial revolution and the post-industrial revolution (electric, electronic, digital), the growth of mass culture and the appearance of “new” technologies: cinema and television, and then video games, virtual reality and the Internet, as well as mobile platforms and artificial intelligence. Narrative became audiovisual and then immersive, interactive and collaborative before finally becoming transmedial (deployed across several media, platforms and devices), mixed (in virtual and physical spaces at one and the same time), trans-local and geolocated (in one or several places).

In this shift, scripting – understood here no longer in a narrow sense, as the writing of a text containing the story to be told, but in a broad sense, as the process of conceiving and designing, previsualizing and preparing – was also transformed. Beyond the written script, other less textual and more visual documents appeared and took on great importance in the growth of the audiovisual story: fixed or animated two- or three-dimensional images; plans and maps; tree diagrams, etc. These visual documents have taken two major forms, and these reproduce the traditional opposition between the *map* and the *painting*, between the *aerial view* and the *perspective view*:

* *cartographic previsualization*, which adopts the objective (divine) point of view of the person conceiving it to show the entire scene of a film or a game, such as a diagram of the set in cinema (the floor plan) or a flow chart (the tree diagram) in video games and interactive works;

* *experiential previsualization*, which adopts the subjective point of view of the user (in the first or third person) to show the unfolding of the experience itself in time, such as the storyboard and the animatic in cinema and the game view and play mode in game engines.
<figure><img src="image_6.png" /><figcaption>Screenshot from an introductory video for using Shot Designer software to previsualize a diagram of the film set. See database entry.</figcaption></figure>

In another book we have addressed certain forms and tools used in textual scriptwriting;[1] here we will emphasize non-textual forms and tools of previsualization. After placing the relations between scripting, mediality and transmediality in context in the expanded field of audiovisual narrative, the present work will examine in turn traditional visual documents, the storyboard and the animatic; new forms of previsualization made possible by 3D modelling softwares and game engines; and a few case studies taken from the fields of virtual reality experiments and the documentary, which will enable us to assess the variety of previsualization practices and documents today.

[1] See this other publication part of the *Encyclopedia of Film Techniques and Technologies: Scriptwriting Techniques and Technologies*, by Olivier Asselin and Isabelle Raynauld (eds.).
<figure><img src="image_7.png" /></figure>

Scénarisation, médialité
et transmédialité

Scripting, Mediality
and Transmediality

Olivier Asselin
# Scénarisation, médialité et transmédialité

par Olivier Asselin

Aujourd'hui, le « paysage médiatique » est transformé par les étapes successives de la « révolution numérique », notamment le développement de l'ordinateur personnel, du Web et des plateformes mobiles ainsi que l'apparition de nouvelles infrastructures, de nouvelles plateformes matérielles et logicielles, d'autres architectures communicationnelles et d'autres modèles d'affaires. Ce nouveau « paysage » est travaillé par des mouvements contraires de convergence et de dispersion, sur tous les plans – technologique, économique, politique et esthétique. D'un côté naissent de grandes corporations médiatiques (par ordre de revenu annuel: AT&T, Comcast [Universal], Sony, Disney, 21st Century Fox, etc.) et technologiques (Apple, Amazon, Alphabet [Google], Microsoft, Meta [Facebook], Alibaba, Tencent, Netflix, etc.) qui manifestent, chacune, de fortes tendances monopolistiques à concentrer verticalement et horizontalement la production et la diffusion des « contenus » médiatiques. D'un autre côté, l'accès aux technologies s'est considérablement démocratisé, accordant un rôle accru aux producteurs indépendants et aux artistes, aux amateurs et aux fans, et donnant naissance à une culture participative non seulement dans la production et la diffusion des « contenus », mais aussi dans le développement des codes, des applications et des logiciels, des systèmes d'opération, des plateformes et des dispositifs de visionnement[1].

Le récit audiovisuel est ainsi radicalement reconfiguré, sur tous les plans. Il connaît surtout une nouvelle extension – spatiale, temporelle, sociale et médiale – en se déployant dans un espace de jeu étendu et sur une longue durée, pour un, plusieurs ou un grand nombre de joueurs, dans des médias traditionnels et au-delà, sur diverses plateformes – Web, réseaux sociaux, applications mobiles, etc. –, sur plusieurs appareils – écran géant, téléviseur, ordinateur, console, téléphone intelligent, lunettes de réalité virtuelle et/ou augmentée, etc. –, dans divers lieux – espace privé, espace public, espace domestique, espace institutionnel, espace urbain, architecture, transport, etc. –, pour rejoindre des communautés et des publics variés.

Le récit devient souvent :

* *immersif*, quand il place l'utilisateur au centre du monde représenté, comme dans les expériences de réalité virtuelle, les jeux multijoueurs et les métavers;

* *interactif*, quand il offre à l'utilisateur la possibilité de changer le récit (le point de vue, le parcours, l'ordre des scènes, etc.) et/ou l'histoire (les personnages, les objets, l'environnement, les événements, le cours des choses, etc.) comme dans le jeu vidéo;

* *transmédial*, quand il est fragmenté et distribué sur plusieurs médias, plateformes et appareils en même temps, comme dans les jeux de réalité alternative et les franchises transmédia;
* translocal et géolocalisé, lorsqu'il est déployé non plus n'importe où, dans l'espace domestique, un lieu consacré ou ailleurs, mais in situ, dans des lieux choisis, comme dans les promenades audiovisuelles et les jeux mobiles en réalité augmentée;

* connecté et synchrone, lorsqu'il est présenté en direct, comme dans la diffusion en flux et les expériences de téléprésence;

* mixte, quand il fait dialoguer l'espace physique et l'espace virtuel, la ville et le Web, les objets du monde et la banque de données, les communautés physiques et les réseaux sociaux, comme dans les jeux en réalité mixte et les expériences en XR (réalité étendue).

Franchise transmédia

<figure><img src="image_8.png" /></figure>

Schéma d'un projet transmédia de type franchise. Voir la fiche.

Dans ce contexte, la scénarisation est aussi élargie. Elle doit tenir compte de la médialité, de chaque média et de tous les médias concernés. Car un média est un ensemble de propriétés, de possibilités et de contraintes qui (comme nous l'avons vu dans un autre livre sur les dispositifs immersifs[2]) dépendent de la plateforme, de l'appareil, de l'interface et d'un ensemble de variables, telles que :

* la localisation (l'appareil peut être fixé ou mobile, immeuble ou meuble, dans un espace domestique, institutionnel ou public, etc.);

* la distance au corps et l'interface (l'appareil peut être éloigné ou rapproché, posé ou porté à la main ou sur la tête, incorporé, etc.);

* le degré d'immersion et l'extension sensorielle (le rapport entre l'interface sensorielle naturelle et l'interface technologique, entre le champ perceptuel naturel et le champ perceptuel technologique);

* le degré d'interactivité et l'extension motrice (le rapport entre l'interface motrice naturelle et l'interface technologique, entre le champ moteur naturel et le champ moteur technologique, les degrés de liberté, etc.);

* le degré de connectivité et l'extension sociale (l'appareil peut être individuel, familial ou collectif, solo ou multijoueur, non connecté (hors ligne ou autonome) ou connecté à un réseau, etc.).
Raconter, ce n'est plus seulement construire une histoire et un récit selon une perspective narrative (idéalement omnisciente), c'est *concevoir une expérience*, qui met en relation le monde de l'histoire et le monde réel, le parcours des personnages dans l'espace et le temps virtuels et le parcours des utilisateurs dans l'espace et le temps actuels, par une médiation qui ouvre un champ de perception et un champ de pouvoir. Plus précisément, il s'agit :

* de distribuer les éléments *narratifs* (personnages, décors, accessoires, événements, informations, etc.) dans l'espace et le temps de l'histoire, dans l'espace et le temps de l'expérience, et, s'il y a lieu, dans les différents médias;

* de moduler le *champ du savoir*, le rapport entre le savoir des personnages et le savoir de l'utilisateur (la focalisation);

* de moduler le *champ de perception* (le champ visuel et le champ sonore, le point de vue et le point d'écoute, l'ocularisation et l'auricularisation, mais aussi la polysensorialité, par des altérations, des ouvertures et des fermetures, par les mouvements de caméra et du cadre, la prise de son, le montage et le mixage, etc.);

* de moduler le *champ de pouvoir* (les contrôles sur la caméra, sa direction et ses déplacements, sur l' avatar, ses déplacements et ses actions, sur le récit et sur l'histoire, par des altérations qui augmentent ou réduisent ces contrôles, en nombre et en portée).

<figure><img src="image_9.png" /></figure>

Schéma montrant la répartition des éléments narratifs du jeu en réalité alternée *International Mimes Academy* et le passage d'une plateforme à une autre. Voir la fiche.

<figure><img src="image_10.png" /></figure>

Exemple d'un diagramme représentant le parcours de l'utilisateur dans l'expérience Who is Daniel Northman. Voir la fiche.
La scénarisation se déploie ainsi de trois façons :

* au-delà de l'histoire à raconter (le storytelling), centrée sur la « mise en intrigue », le récit et la lecture, pour développer la construction de mondes (le worldbuilding), centrée sur la mise en espace, la carte et le design d'expérience : lieux, décors, mondes réels et mondes possibles, personnages et réseaux de personnages, mise en scène, déplacement de l'avatar et des personnages non-joueurs, mouvements de caméra réelle ou virtuelle, positionnement du spectateur, immersion et interactivité, navigation et mobilité des joueurs dans l'espace virtuel ou dans l'espace physique, contrôles, mécaniques de jeu et jouabilité, etc.;

* au-delà du texte, pour intégrer toutes les formes de la prévisualisation. Les documents sont non seulement écrits, mais aussi audiovisuels, et ils se déclinent en une multitude de formes et de formats : résumé, synopsis, scène-à-scène, continuité dialoguée, bible, découpage technique, scénario ligné, diagrammes de plateau, storyboard, esquisses, plans et cartes, photographies et vidéos, moodboards et compositing, modélisation et animation 3D, arborescences et logigrammes (flowcharts), logigramme de jeu (game flowchart), arbres de dialogues et d'actions, plan de progression (game progression outline), tableau de progression par lieu (beat chart), design de scènes ou de niveaux, programmation et scripts, design de l'interface graphique (UI, UX, HUD) et des écrans, prototypage des engins de jeu, esquisses sonores – des ambiances, des sons spécifiques (SFX), de la musique et de leur spatialisation –, document de conception de jeu (game design document), documents de production, atlas et encyclopédies, wikis et sites Web collaboratifs, etc.;

* au-delà de la division traditionnelle du travail, qui distingue généralement le « scénariste », pour penser d'autres manières de travailler, ouvertes à la collaboration, entre plusieurs « auteurs » devenus « concepteurs », entre différents artisans et départements (dès l'étape de la conception et du développement et non seulement en préproduction), entre designers et joueurs, producteurs et consommateurs, professionnels et amateurs (dont les fans), etc.

<footnote>[1] Voir Henry Jenkins, *Convergence Culture: Where Old and New Media Collide* (New York: NYU Press, 2006); et Henry Jenkins, Sam Ford et Joshua Green, *Spreadable Media: Creating Value and Meaning in a Networked Culture* (New York: NYU Press, 2013).</footnote>

<footnote>[2] Voir cette autre publication liée à l'Encyclopédie raisonnée des techniques du cinéma : *Dispositifs immersifs rapprochés et individuels*, par Olivier Asselin.</footnote>
# Scripting, Mediality and Transmediality

by Olivier Asselin

Translation: Timothy Barnard

Today the “media landscape” has been transformed by successive stages of the “digital revolution,” in particular the development of the personal computer, the Internet and mobile platforms, along with the appearance of new infrastructures, new material and new software platforms, and other communications architectures and business models. This new “landscape” is shaped by conflicting shifts of convergence and dispersion on every level – technological, economic, political, aesthetic. On one hand we see the rise of great media corporations (by order of annual revenue: AT&T, Comcast [Universal], Sony, Disney, 21st Century Fox, etc.) and technology corporations (Apple, Amazon, Alphabet [Google], Microsoft, Meta [Facebook], Alibaba, Tencent, Netflix, etc.), each of which manifests strong monopolistic tendencies to concentrate the production and dissemination of media “content” vertically and horizontally. On the other hand, access to technology has been democratized considerably, giving a greater role to artists and independent producers, to amateurs and fans, and giving rise to a participatory culture not only in the production and dissemination of “content” but also in the development of codes, applications and software, operational systems, platforms and viewing methods.[1]

In this way audiovisual narrative has been radically reconfigured in every respect. Above all, it has seen new growth – spatial, temporal, social and medial – by unfolding in an extended game area over a long period of time for one, several or a large number of players in traditional media and beyond on a variety of platforms – the Internet, social media, mobile applications, etc. – and several devices – giant screen, television set, computer, console, smart phone, virtual and/or augmented reality glasses, etc. – in diverse places – private space, public space, domestic space, institutional space, urban space, architecture, transportation, etc. – to reach varied audiences and communities.

Narrative often becomes:

* *immersive*, when it places the user in the centre of the world depicted, as in virtual reality experiences, multi-player games and metaverses;

* *interactive*, when it offers users the opportunity to change the narrative (the point of view, narrative development, order of the scenes, etc.) and/or the story (the characters, objects, environments, events, course of things, etc.) as in video games;

* *transmedial*, when it is fragmented and spread across several media, platforms and devices at the same time, as in alternative reality games and transmedia franchises;

* *trans-local* and *geolocated*, when it is no longer deployed just anywhere in the home, a dedicated space or elsewhere, but on site, in selected locations, as in audiovisual walks and mobile augmented reality games;
* *connected* and *simultaneous*, when it is presented live, as in streaming and remote presence experiences;

* *mixed*, when it brings into dialogue physical and virtual space, the city and the web, worldly objects and the database, and physical communities and social media, as in mixed reality games and XR (extended reality) experiences.

Transmedia Franchise

<figure><img src="image_11.png" /><figcaption>Diagram showing a franchise-type transmedia project. See database entry.</figcaption></figure>

In this context, scripting too has become extended. It must take into account *mediality*, each medium and every medium involved. For a medium is an ensemble of properties, possibilities and constraints which, as we have seen in another book on immersive systems, [2] depend on the platform, device, interface and an ensemble of variables, such as:

* *localization* (the device can be fixed or mobile, immovable or movable, in a domestic, institutional or public space, etc.);

* the *distance from the body* and the *interface* (the device can be far or near, placed or carried in the hand or on the head, integrated, etc.);

* the *degree of immersion* and the *sensorial range* (the relation between the natural sensorial interface and the technological interface, between the natural perceptual field and the technological engine field);

* the *degree of interactivity* and the *motor range* (the relation between the natural motor interface and the technological interface, between the natural motor field and the technological motor field, the degrees of freedom, etc.);

* the *degree of connectivity* and the *social range* (the device can be for personal, family or group use, solo or multi-player, unconnected (off-line or autonomous) or connected to a network, etc.).

To tell a story is no longer to simply construct a story and a narrative from a narrative perspective (ideally omniscient); it is *conceiving an experience* which places the world of the story in relation to the real world and the path of the characters in virtual space and time in relation to the path of
users in real space and time through media which open a field of perception and a field of power.
More precisely, it consists in:

* spreading *narrative elements*
(characters, decors, props, events,
information, etc.) across the space and
time of the story in the space and time of
the experience and, where applicable,
in different media;

* modulating the *field of knowledge*, the relation between characters' knowledge and users' knowledge (focalizing);

* modulating the *field of perception* (the visual field and the acoustic field, the point of view and the point of listening, ocularization and auricularization, but also polysensoriality, by means of alterations, openings and closings, camera movements and reframing, sound recording, editing, mixing, etc.);

* modulating the *field of power* (controlling the camera, directing and moving it, controlling the avatar, its movements and actions, controlling the narrative and the story, by means of alterations which augment or reduce the number or scope of these controls).

<figure><img src="image_12.png" /></figure>

Diagram showing the distribution of narrative elements in the alternate reality game *International Mimes Academy* and the shift from one platform to another. [See database entry.](#)

<figure><img src="image_13.png" /><figcaption>Example of a diagram showing a user's path in the *Who is Daniel Northman* experience. [See database entry.](#)</figcaption></figure>

Scripting thus extends:

* beyond the *story being told* (storytelling), centred on “plotting,” the narrative and the way it is read, in order to develop *worldbuilding* centred on placing in space, the map and the experience design: places, decors, real and possible worlds, characters and networks of characters, staging, movements of the avatar and of non-player characters, movements of the real or virtual camera, positioning of the spectator, immersion and interactivity,
navigation and the mobility of players in virtual or physical space, controls, the mechanics of
the game and playability, etc.

* beyond the *text*, to incorporate every *form of previsualization*. Documents are not only written but also audiovisual and take a multitude of forms and formats: summary, synopsis, scene-to-scene, dialogued continuity, bible, shooting script, line-by-line script, set diagrams, storyboard, sketches, plans and maps, photographs and videos, moodboards and compositing, 3D modelling and animation, tree diagrams and flow charts, game flow charts, dialogue and action trees, game progression outlines, beat charts, scene or level designs, programming and scripts, design of the graphic interface (UI, UX, HUD) and screens, prototyping game engines, sound sketches – of multitude of ambiences, specific sounds (SFX), music and their spatialization –, game design documents, production documents, atlases and encyclopedia, wikis and collaborative web sites, etc.;

* beyond the *traditional division of labour*, which generally singles out the “scriptwriter,” to think of other ways of working which are open to *collaboration* between several “authors,” now seen as “creators,” between different artisans and departments (beginning with the development stage and not necessarily that of pre-production), between designers and players, producers and consumers, professionals and amateurs (including fans), etc.

<footnote>[1] See Henry Jenkins, *Convergence Culture: Where Old and New Media Collide* (New York: NYU Press, 2006); and Henry Jenkins, Sam Ford and Joshua Green, *Spreadable Media: Creating Value and Meaning in a Networked Culture* (New York: NYU Press, 2013).</footnote>

<footnote>[2] See this other publication part of the *Encyclopedia of Film Techniques and Technologies: Individual Up-Close Immersive Viewing Systems*, by Olivier Asselin.</footnote>
<figure><img src="image_14.png" /></figure>

Le storyboard, l'animatique et autres
outils de prévisualisation expérientielle

The Storyboard, the Animatic and Other
Experiential Previsualization Tools

Benoît Melançon
# Le storyboard, l'animatique et autres outils de prévisualisation expérientielle

par Benoît Melançon

Traditionnellement, la première mise en images du film est réalisée par le biais du storyboard, ou scénarimage, c'est-à-dire une série de cadres dessinés représentant les différents moments d'une séquence filmée telle qu'elle sera vue par le spectateur. Le scénarimage cherche ainsi à décrire la mise en scène, mais également le découpage technique et le comportement de la caméra au moment du tournage. Sans en partager l'ensemble des codes, son apparence rappelle celle de la bande dessinée. En usage depuis les débuts du cinéma, le scénarimage est aujourd'hui connu autant des cinéastes que des cinéphiles, et fait fréquemment l'objet d'une mise en marché comme produit dérivé apprécié du grand public.

Malgré l'avènement de logiciels et de dispositifs numériques adaptés à la prévisualisation, le scénarimage demeure très utilisé en raison de son caractère simple, rapide et accessible à tous. Certains réalisateurs dessinent leurs propres scénarimages (Martin Scorsese, Ridley Scott, Terry Gilliam, etc.), alors que d'autres collaborent avec un dessinateur spécialiste de ce domaine, et à qui les différentes longueurs focales, les formats de pellicule et les valeurs de plans employés au cinéma sont familiers.

<figure><img src="image_15.png" /><figcaption>Pages 45 et 46 d'un scénarimage du film *Rafales* (André Melançon, 1990) réalisé après la sortie du film.</figcaption></figure>

Voir la fiche.

<figure><img src="image_16.png" /></figure>

Parce que le processus de création du storyboard est itératif, il est coutumier pour un metteur en scène de soumettre des corrections successives au dessinateur jusqu'à tant que chaque cadre soit considéré comme satisfaisant. Un scénarimage maintes fois révisé n'est pas nécessairement plus esthétique ou d'un trait plus achevé qu'un simple croquis, car l'aspect réducteur d'un dessin face à l'image filmée qu'il cherche à représenter peut s'avérer une bonne chose : il est ainsi possible d'inciter les différents artisans du film à faire appel à leur créativité pour combler les imprécisions inhérentes au scénarimage, et ainsi bonifier le résultat final grâce à l'apport de
tous. Lors du tournage du long métrage *Taxi Driver* (Martin Scorsese, 1976), le cinéaste Michael Chapman valorise le caractère simpliste des *storyboards* du réalisateur en les assimilant non pas à des représentations précises du résultat recherché, mais plutôt à des panneaux routiers indiquant de manière sommaire la direction à suivre[1].

Dans cette optique, la prévisualisation devient une « pièce de conversation » entre les intervenants de la production, et encourage la créativité et la collaboration à partir d'une préparation visuelle commune. Des metteurs en scène comme Steven Spielberg[2] et Oliver Stone[3] expliquent comment cette planification en préproduction leur permet de mieux improviser au moment du tournage, et ce, en dépit des nombreuses contraintes généralement associées à la phase de la prise de vues.

Puisque le scénarimage ne représente que d'une manière approximative le rythme narratif et le mouvement visible à l'écran, on lui préfère parfois l'animatique, c'est-à-dire une séquence animée qui simule le déroulement de la mise en scène dans le temps. Cette séquence peut être réalisée à partir des dessins du scénarimage (comme c'est souvent le cas pour les films d'animation), dessins auxquels on ajoute une piste sonore temporaire (scratch track) incluant au besoin une première version des dialogues. Aujourd'hui, les animatiques tendent à être fabriquées avec des logiciels d'infographie 3D, ce qui ajoute à leur apparence photoréaliste tout en encourageant une réutilisation des données numériques qui les composent.

<figure><img src="image_17.png" /><figcaption>Capture d'écran d'une animatique employant une bande sonore (musique et bruitages) pour accompagner les planches dessinées. Voir la fiche.</figcaption></figure>

Un extrait vidéo est accessible en ligne.

Outre le scénarimage et l'animatique, un metteur en scène peut choisir de prévisualiser le film au moyen de photographies (*photoboards*) ou de répétitions enregistrées par vidéo qui feront l'objet d'un montage simulant celui de l'œuvre envisagée. Le réalisateur peut également faire appel à des maquettes ou à des modèles réduits reproduisant les décors du tournage, et effectuer l'exploration des permutations possibles du découpage technique au moyen d'une caméra miniature. Il est à noter que ces diverses formes de prévisualisation peuvent coexister au sein d'un même projet de grande ampleur, comme les longs-métrages inspirés de la trilogie de Tolkien *Le seigneur des anneaux* (Peter Jackson, 2001-2003)[4].
Même si un monteur utilise parfois des *photoboards* créés à partir des prises choisies pour peaufiner ses assemblages des scènes d'un film[5], la prévisualisation a longtemps été presque exclusivement associée à la phase de préproduction. Aujourd'hui, elle tend à s'étendre à l'ensemble de la chaîne de fabrication audiovisuelle, particulièrement dans le cas des superproductions hollywoodiennes, qui emploient de nombreux intervenants dont les activités s'effectuent souvent à des moments et en des lieux différents.

[1] Laurent Bouzereau, *Making Taxi Driver*, supplément de 71 minutes au long-métrage *Taxi Driver*, réalisé par Martin Scorsese (1976).

[2] Mitch Tuchman, «Close Encounter with Steven Spielberg», dans *Steven Spielberg: Interviews*, dir. Lester D. Friedman et Brent Nothbom (Jackson: University Press of Mississippi, 2000 [1978]), 37-54.

[3] Rick Gentry, «Oliver Stone», dans *Film Voices: Interview from Post Script*, dir. Gerald Duchovnay (New York: State University of New York Press, 2004), 91-106.

[4] Michael Pellerin, *Storyboards and Pre-viz: Making Words Into Images* (2002), supplément de 13 minutes au long-métrage *The Lord of the Rings: The Fellowship of the Ring*, réalisé par Peter Jackson (2001).

[5] Voir à ce sujet le témoignage du monteur oscarisé Walter Murch dans Walter Murch, *In the Blink of an Eye*, 2e éd. (Beverly Hills: Silman-James Press, 2001), 40-41.
# The Storyboard, the Animatic and Other Experiential Previsualization Tools

by Benoît Melançon

Translation: Timothy Barnard

Traditionally, the first putting-into-images of a film is carried out by means of a storyboard, meaning a series of drawn frames depicting the various moments of a filmed sequence as it will be seen by the viewer. The storyboard thus seeks to describe the mise en scène, but also the shooting script and the handling of the camera at the time of shooting. Its appearance is similar, without sharing all its codes, to that of the comic book. In use since cinema's beginnings, today the storyboard is familiar to both filmmakers and cinephiles and is frequently sold as a spin-off product valued by the general public.

Despite the advent of software and digital equipment adapted to previsualization, the storyboard remains in regular use because it is simple and quick to use and accessible to all. Some filmmakers (Martin Scorsese, Ridley Scott, Terry Gilliam and others) draw their own storyboards, while others collaborate with a draughtsperson who specializes in this work and who is familiar with the various focal lengths, film stock formats and shot scales used in cinema.

<figure><img src="image_18.png" /></figure>

Pages 45 and 46 of a storyboard for Blizzard (Rafales, André Melançon, 1990), made after the film's release.

See database entry.

<figure><img src="image_19.png" /></figure>

Because the process of creating a storyboard is iterative, it is customary for a film director to submit successive corrections to the draughtsperson until each frame is considered satisfactory. A storyboard which has been revised repeatedly is not necessarily more aesthetic or more finished than a mere sketch, because the reductive aspect of a drawing compared to the filmed image it seeks to depict could prove to be a good thing: in this way one can encourage the various artisans working on the film to draw on their creativity to fill in the imprecise elements inherent in a storyboard and thus improve the final result through the contributions of everyone involved. During the shooting of the feature film *Taxi Driver* (Martin Scorsese, 1976), the filmmaker Michael Chapman vaunted the simplistic nature of Scorsese's storyboards by describing them not as
precise depictions of the result sought but rather as road signs indicating in summary fashion
the direction to follow.[1]

From this perspective, the previsualization element becomes a “conversation piece” among
those involved in the work’s production and encourages creativity and collaboration on the basis
of shared visual preparation. Film directors such as Steven Spielberg[2] and Oliver Stone[3] explain
how this planning and pre-production enables them to better improvise while shooting despite
the many constraints usually associated with this stage of the filmmaking.

Because the storyboard represents narrative rhythm and the visible movement on screen in only
an approximate manner, sometimes the animatic is preferred to it. The animatic is an animated
sequence which simulates the unfolding of the mise en scène in time. This sequence can be
made out of drawings taken from the storyboard (this is often the case with animated films), to
which is added a temporary sound track, called the scratch track, which includes if necessary an
initial version of the dialogue. Today, animatics tend to be made with 3D graphic design software,
adding to their photo-realist appearance by re-using the digital data of which they are made.

<figure><img src="image_20.png" /><figcaption>Screenshot from of an animatic using a sound track (music and sound effects) to accompany the drawn images. See database entry.</figcaption></figure>

A video clip is available online.

Apart from the storyboard and the animatic, a filmmaker can choose to previsualize the film by
means of photoboards or rehearsals recorded on video which are edited in a manner simulating
the conception of the final work. The filmmaker can also employ mock-ups or scale models
reproducing the film set, or explore possible permutations of the shooting script using a miniature
camera. It should be noted that these varied forms of previsualization can co-exist on the same
large-scale project, such as the feature films inspired by the Tolkien trilogy *The Lord of the Rings*
(Peter Jackson, 2001-2003).[4]

Although film editors sometimes use photoboards made out of images chosen to refine the
assembly of a film's scenes,[5] previsualization has long been associated almost exclusively with
the pre-production stage. Today it tends to extend throughout the series of stages of audiovisual
production, especially in the case of Hollywood super-productions, which employ many people whose work is often carried out at different times and in different places.

[1] Laurent Bouzereau, *Making Taxi Driver*, 71-minute bonus to the feature film *Taxi Driver*, directed by Martin Scorsese in 1976.

[2] Mitch Tuchman, "Close Encounter with Steven Spielberg," in *Steven Spielberg: Interviews*, eds. Lester D. Friedman and Brent Nothbom (Jackson: University Press of Mississippi, 2000 [1978]), 37-54.

[3] Rick Gentry, "Oliver Stone," in *Film Voices: Interviews from Post Script*, ed. Gerald Duchovnay (New York: State University of New York Press, 2004), 91-106.

[4] Michael Pellerin, *Storyboards and Pre-viz: Making Words Into Images* (2002), 13-minute bonus to Peter Jackson's feature film *The Lord of the Rings: The Fellowship of the Ring* (2001).

[5] On this topic see the comments by the Academy Award-winning film editor Walter Murch in Walter Murch, *In the Blink of an Eye*, 2nd ed. (Beverly Hills: Silman-James Press, 2001), 40-41.
<figure><img src="image_21.png" /></figure>

Les logiciels de modélisation 3D
comme outils de prévisualisation

3D Modelling Software as
a Previsualization Tool

Benoît Melançon
# Les logiciels de modélisation 3D comme outils de prévisualisation

par Benoît Melançon

Depuis leur apparition au siècle dernier, l'usage de logiciels servant à modéliser des objets en infographie 3D s'est généralisé dans différents domaines, dont l'architecture, l'ingénierie, les sciences appliquées et les techniques industrielles. En langue anglaise, le terme *previs* tend à désigner l'animatique réalisée par le biais d'une catégorie particulière de ces logiciels qui sont utilisés pour le cinéma et la télévision. En plus de la modélisation, ces logiciels d'infographie 3D permettent l'animation de personnages synthétiques, notamment pour réaliser des séquences animées représentant diverses scènes comme envisagées préalablement au tournage.

De telles «animatiques 3D» sont utilisées à partir des années 1990 dans le domaine des trucages cinématographiques, à une époque où les studios américains délaissent les effets dits «spéciaux» ou «mécaniques» (maquettes et miniatures, décors en trompe-l'œil, figurines animées à la main, etc.) en faveur des «effets visuels» fabriqués par ordinateur. Ces effets innovateurs impliquent des coûts élevés et des délais parfois importants: afin de limiter les incertitudes et de préciser les intentions du réalisateur, il devient rapidement une habitude de réaliser des animatiques avant d'entamer le travail sur les modèles polygonaux desquels relèveront les images finales.

Avec la numérisation grandissante de la chaîne de création filmique et un souci constant de la part des producteurs d'optimiser les ressources disponibles, les animatiques 3D se révèlent beaucoup plus avantageuses que leurs équivalents dessinés. En employant les mêmes logiciels pour la prévisualisation et les effets eux-mêmes, les infographes ont la possibilité de réutiliser au besoin les différents éléments créés de la sorte, et ainsi de réduire les doublons dans les tâches de fabrication des images. Mieux encore, il est possible de recycler les données numériques entre les divers dispositifs employés lors de la production: la captation de mouvement d'un comédien servira à l'animation de sa doublure dans l'animatique, alors que les comportements de la caméra virtuelle seront transférés vers une grue automatisée située sur le plateau, et qui reproduira la même trajectoire durant le tournage en milieu réel[1]. Comme le suggèrent ces exemples, l'usage de l'infographie 3D en prévisualisation est particulièrement associé

<figure><img src="image_22.png" /><figcaption>Exemple d'animatique 3D. Voir la fiche.</figcaption></figure>
aux superproductions hollywoodiennes, mais il est également de plus en plus répandu dans les médias que sont la télévision et la publicité à mesure que ces dernières adoptent avec enthousiasme l'imagerie de synthèse.

Mises à part des considérations logistiques ou budgétaires, ce sont les latitudes créatives de la prévisualisation numérique qui retiennent l'attention des artistes du cinéma. À la différence du scénarimage ou des animations dessinées, les animatiques 3D s'inscrivent dans un environnement virtuel déployé sur trois axes. Ces animatiques se distinguent ainsi des autres formes de préparation visuelle en privilégiant l'expérimentation lors de leur fabrication: par l'entremise des artistes-infographes, le réalisateur peut explorer à sa guise différentes permutations possibles quant au comportement de la caméra (cadrage, angles, mouvements, choix de lentille, etc.), voire de la mise en scène elle-même, et étudier à loisir ces diverses incarnations de sa vision du film avec les comédiens et les techniciens qui seront sollicités pendant la véritable prise de vues.

Ainsi, l'animatique 3D ne se limite pas à représenter l'œuvre à venir, mais va jusqu'à simuler le plateau de tournage, et même l'univers diégétique décrit par le scénario. N'étant plus confinée au domaine des effets visuels, son influence s'étend aux autres corps de métier du cinéma et inspire une nouvelle typologie des formes de prévisualisation. Par exemple, l'esthétique presque photoréaliste de ses images encourage les responsables de la direction artistique à y conceptualiser les différents décors du film pour sécuriser l'approbation du réalisateur (*pitchvis*). Les techniciens, quant à eux, s'en servent afin de valider les configurations plus complexes des divers équipements, comme les grues ou les écrans chromatiques (*techvis*). Enfin, de telles animatiques permettent de surveiller la progression des effets appliqués en postproduction pour s'assurer que les images du tournage se révéleront adéquates (*postvis*)[2].

Cette polyvalence de l'animatique 3D va de pair avec l'avènement de nouvelles entreprises spécialisées en prévisualisation, dont les experts se proposent d'encadrer la mise en forme du scénario à partir de la vision du réalisateur jusqu'à la complétion des images finales. Dans le contexte de décentralisation et de sous-traitance souvent associé aux superproductions modernes, ces spécialistes remettent en question la chaîne traditionnellement linéaire de la fabrication d'un film : ils suggèrent plutôt que les images issues de la previs constituent une sorte de « plaque tournante», un espace de communication et d'échange qui favorise la collaboration entre les artistes et les techniciens à l'instar des lieux physiques jadis partagés par ces différents intervenants à l'époque des grands studios[3].

La complexité des interfaces employées en prévisualisation numérique représente l'une des dernières faiblesses associées à l'animatique 3D, puisqu'un réalisateur techniquement néophyte doit confier les manipulations des éléments virtuels à des infographes aguerris. Avec l'avènement de pratiques impliquant l'utilisation de dispositifs propres au jeu vidéo, de nouvelles formes de prévisualisation encouragent désormais une interaction conviviale et en temps réel dans l'espace virtuel du plateau de tournage, et par conséquent une participation accrue du metteur en scène dans la fabrication des animatiques[4].
[1] Voir à ce sujet John Limpert et Adam Robitel, «Superman Retuns – Bryan's Journal 20 – "Love Previs"», vidéo YouTube, 3:39, 23 mars 2006, https://youtu.be/aMgIFkIMQ5o.

[2] Voir à ce sujet Noah Kadner, *The Virtual Production Field Guide*, version 1.2 (Cary, Caroline du Nord: Epic Games, 2019).

[3] Cette perspective est explicitée par l'artiste en prévisualisation Daniel Grégoire, interviewé dans Haroun Saifi, «The Impact of Previsualization in Hollywood Film Industry», vidéo YouTube, 24:39, 2011, https://youtu.be/IHHMLyjrn4g.

[4] Voir à ce sujet Mike Seymour, «Ready Player One Inside the Oasis», FX Guide, 16 avril 2018, https://www.fxguide.com/fxfeatured/ready-player-one-inside-the-oasis/.
# 3D Modelling Software as a Previsualization Tool

by Benoît Melançon

Translation: Timothy Barnard

Since it appeared last century, the use of software for modelling objects in 3D computer graphics has become widespread in various fields, including architecture, engineering, the applied sciences and industrial techniques. In English, the term “previs” is generally used to describe the animatic created using a specific category of this software used in cinema and television. In addition to modelling, this 3D computer graphics software makes it possible to animate synthetic characters, in particular to make animated sequences showing a variety of scenes as they are pictured before shooting.

A “3D previs” has been used since the 1990s in the making of cinematic trick effects, at a time when the American studios were abandoning “special” or “mechanical” effects (mock-ups and miniatures, trompe l'oeil decor, hand-animated figurines, etc.) in favour of “visual effects” made on a computer. These innovative effects brought higher costs and sometimes significant waits: in order to limit uncertainty and give precision to the director's wishes, it quickly became customary to create a previs before beginning work on the polygonal models out of which the final images would arise.

With the growing digitization of film production and the constant concern on the part of producers to optimize available resources, 3D animatics proved to be much more advantageous than their drawn equivalent. By using the same software for the previs and for the effects themselves, it became possible when necessary to re-use the various elements created in this manner and thus to reduce duplication in the work of fabricating images. Better yet, it became possible to recycle digital data from the variety of equipment used in the course of production: an actor's captured movement could be used in the animation of his or her double in the previs, while the movements of the virtual camera were transferred to an automated crane on the film set, which would recreate the same trajectory in real conditions during the shoot.[1] As these examples suggest, the use of 3D computer graphics in the previs is associated in particular with Hollywood blockbusters, but is also increasingly widespread in television and advertising as these have come to enthusiastically adopt synthetic imagery.

<figure><img src="image_23.png" /><figcaption>Example of a 3D animatic. [See database entry.](#)</figcaption></figure>
Apart from logistical and budgetary considerations, what catches the attention of film artists is the creative freedom offered by the digital previs. Unlike the storyboard or drawn animation, 3D animatics create a virtual environment on three axes. These animatics thus stand apart from other forms of visual preparation by privileging experimentation in the course of their fabrication: through the work of graphic design artists, film directors can explore at will the various permutations possible with respect to the actions of the camera (framing, angles, movements, choice of lens, etc.) and even with respect to the mise en scène itself, and study at their leisure these various embodiments of their vision of the film with the actors and technicians who will be called upon when it is actually shot.

The 3D previs is thus not limited to depicting the coming work, but goes as far as to simulate the shooting set and even the diegetic world described by the script. No longer confined to the domain of visual effects, its influence has extended to other film trades and has inspired a new typology of forms of previsualization. For example, the almost photo-realist aesthetic of its images encourages the artistic director's crew to use it to conceptualize various decors for the film in order to secure the director's approval (the “pitchvis”). For their part, technicians use it to get the green light for their configurations of more complex equipment such as cranes or colour screens (the “techvis”). Finally, such animatics make it possible to monitor the progress of the effects applied in post-production to ensure that the images from the film shoot are adequate (the “postvis”).[2]

This multi-purpose quality of the 3D animatic goes hand in hand with the advent of new businesses specializing in previsualization. Their experts offer to supervise the work of getting the script into shape in accordance with the director’s vision, right up to the completion of the final images. In the context of the decentralization and outsourcing often associated with modern blockbusters, these specialists call into question the traditionally linear production chain of a film, suggesting instead that the images arising out of the previs operate as a kind of “hub” or space of communication and exchange which promotes collaboration among the artists and technicians in the manner of the physical spaces shared by these various figures in the great studio era.[3]

The complexity of the interfaces used in digital previsualization is one of the remaining weaknesses of 3D animatics, because a film director who is a technical neophyte must entrust the handling of the virtual elements to seasoned pros in computer graphics. With the advent of practices involving the use of equipment specific to video games, new forms of previsualization have come to encourage harmonious interaction in real time in the virtual space of the film set, and thus greater participation on the part of the director in the fabrication of animatics.[4]

<footnote>[1] On this topic, see John Limpert and Adam Robitel, “Superman Returns – Bryan’s Journal 20 – ‘Love Previs’,” YouTube video, 3:39, 23 March 2006, https://youtu.be/aMgIFkIMQ5o.</footnote>

<footnote>[2] See Noah Kadner, *The Virtual Production Field Guide*, version 1.2 (Cary, North Carolina: Epic Games, 2019).</footnote>

<footnote>[3] This viewpoint is spelled out by the previsualization artist Daniel Grégoire in an interview with Haroun Saifi, “The Impact of Previsualization in Hollywood Film Industry,” YouTube video, 24:39, 2011, https://youtu.be/IHHMLyjrn4g.</footnote>

<footnote>[4] See Mike Seymour, “Ready Player One Inside the Oasis,” FX Guide, 16 April 2018, https://www.fxguide.com/fxfeatured/ready-player-one-inside-the-oasis/.</footnote>
<figure><img src="image_24.png" /></figure>

Les moteurs de jeu comme
outils de scénarisation

Game Engines as
Scripting Tools

Dominic Arsenault
pour persuader un prisonnier de parler, de sortilèges permettant d'emprisonner l'âme d'un personnage dans un objet ou d'entrer dans ses rêves pour livrer un message, ou d'une ceinture magique qui fait changer de sexe.

Outre l'aide à l'idéation, les moteurs de jeu sont utilisés dans la création de jeux vidéo pour réaliser des implémentations préliminaires à peu de frais lors du *prototypage* ou *sketching* (croquis), mais on les a aussi utilisés pour la création cinématographique ou plus précisément vidéographique dès les années 1990, dans ce qui allait plus tard devenir les *machinima* (portail Web fondé en 2000, dont le nom est la contraction de « *machine cinema* »).

<figure><img src="image_25.png" /><figcaption>Un extrait vidéo est accessible en ligne.</figcaption></figure>

Capture d'écran d'un *machinima* produit dans *Second Life*. Voir la fiche.

Ces films réalisés au sein de moteurs de jeux ont préfiguré la convergence technologique du cinéma, de l'animation 3D et du jeu vidéo qu'on trouve dans toute production numérique aujourd'hui, les moteurs de jeux permettant la prévisualisation des décors et des images numériques en temps réel sur les plateaux de tournage (autrement bien monochromes avec leurs écrans verts). De la même manière que les règles du jeu *Donjons & Dragons* entraînent la création d'un certain type d'intrigues, chaque moteur de jeu va ouvrir des portes et en fermer d'autres. Le choix d'un moteur se fait ainsi en fonction de l'équilibre recherché entre accessibilité, flexibilité et complexité.

Les moteurs qui se spécialisent dans une forme de jeu en particulier permettent d'offrir une grande complexité, c'est-à-dire un contrôle très fin des paramètres offerts, tout en restant accessibles. C'est le cas de RPG Maker, de MUGEN ou d'Adventure Game Studio, qui servent respectivement à la création de jeux de rôles (*role-playing games*, ou RPG), de jeux de combat et de jeux d'aventure graphique 2D. Cette spécialisation leur permet d'éliminer ou presque le recours à la programmation, puisqu'ils fournissent tous les paramètres usuels qu'on trouve dans ces types de jeux. Ces moteurs favorisent l'esprit de multiplicité; les créateurs n'ont qu'à se familiariser avec plusieurs de ces moteurs et à choisir celui qui convient à chaque projet.

Les moteurs accessibles peuvent être plutôt généralistes et flexibles, comme GameMaker, Construct ou Scratch (pour les jeux 2D), ou Stencyl (pour les jeux mobiles). Ils permettent la
création de jeux 2D à partir d'un système de programmation visuelle où on emboîte et raccorde
des blocs de conditions et d'effets logiques prédéfinis plutôt que d'écrire du code. Pour travailler
dans ces moteurs, il faut suivre les voies tracées dans le logiciel et considérer l'idée comme
malléable afin de pouvoir réviser ses plans si le moteur ne s'y prête guère.

Enfin, plus un moteur combine la complexité des paramétrages avec la flexibilité, plus il
devient difficile d'accès. Les grands moteurs comme Unity, Unreal ou Godot tentent bien de
rester accessibles en offrant, par exemple, des microprojets préconfigurés de différents genres
vidéoludiques ou d'autres options que la programmation par écriture d'un code. Mais leurs
interfaces sont chargées, et les manipulations de base ou les étapes du processus (workflow),
difficiles à conceptualiser. Ces moteurs valorisent la notion d'expertise, que l'on développe
lentement et qui permet d'éventuellement réaliser n'importe quel projet au sein du moteur.

<figure><img src="image_26.png" /></figure>

Caractéristiques des moteurs de jeu comme outils de création et de
conception (sur les sommets), et attitudes qu'ils valorisent chez leurs
utilisateurs (sur les arêtes, en italique). Voir la fiche.

Pour une scénarisation qui sort du cadre du jeu vidéo, la nature très orientée des moteurs qui
visent l'accessibilité fait qu'ils ne permettent pas de réaliser une maquette de l'expérience
audiovisuelle. On peut les utiliser pour faire des croquis conceptuels (concept art) ou des images
de référence (moodboard), mais les logiciels de graphisme sont assez accessibles et beaucoup
plus flexibles pour ce faire. Ce que les moteurs de jeu permettent pour la scénarisation,
c'est d'éviter entièrement la captation ou la construction d'images, pour employer plutôt la
manipulation, l'agencement et le bricolage d'éléments sur le mode ludique.
# Game Engines as Scripting Tools

by Dominic Arsenault

Translation: Timothy Barnard

In its simplest form, scripting a film consists in writing, by means of a linear text, the description of a linear audiovisual experience which remains to be created. And yet the processes of writing this script and making the film are anything but linear, and there are thousands of ways of converting words into images. In order to create a quick and flexible previsualization, one can use a video game engine. The choice of engine will depend on balance sought between accessibility, flexibility and complexity. Game engines offer three kinds of interesting possibilities for scripting, depending on the emphasis one places on each of these three terms:

* Video game engines provide congenial tools for staging and animating digital models in a 3D environment, making it possible to obtain a previs of scenes or an entire storyboard.

* Video game engines provide prefabricated elements and are designed to host external elements, making it possible to make mock-ups at low cost out of generic or temporary content (placeholders).

* Video game engines provide operating rules which can be used to help conception even before reaching previsualization.

For a long time, video game designers in the conception phase have created prototypes of their concepts on paper out of pawns, tokens, playing cards, dice, etc. Conceptually, these get-ups function like game engines: they transform gestures (throwing a die, drawing a card) into expressible results within a system of rules (throw a six or draw an ace and succeed in a difficult manoeuvre). At the same time, for many years writers have also used rules-based systems for generating ideas (think of the “exquisite corpse” game). Role-playing, popularized with *Dungeons & Dragons* in the 1970s, has become the archetypal configuration of this blend of game and narrative. If the game master can invent a scenario the way he or she sees it, in practice they will find various elements in the books and rules which will stimulate the imagination and act as a plot engine, whether this consists in rules for picking locks or for persuading a prisoner to talk, spells for imprisoning a character's soul in an object or for entering into their dreams to deliver a message, or a magic belt for changing one's sex.

## CHAPTER 12: MONSTERS

AS THE DUNGEON MASTER, YOU HAVE A VAST ARRAY OF resources available to you to make the game exciting and fun for the players—and monsters are at the top of the list. A monster is defined as any creature that can be interacted with and potentially fought and killed. Even something as harmless as a frog or as benevolent as a unicorn is a monster by this definition. The terms also applies to humans, elves, dwarves, and other folk who might be friends or rivals to the player characters. This chapter presents a wide selection of ready-to-play monsters—a sample of what can be found in the Monster Manual. Each description uses a standardized format that clearly explains the monster's capabilities, Guidelines for understanding the information found in a monster's statistics are given below.

### STATISTICS

A monster's statistics, sometimes referred to as its stat block, provide the essential information that you need to run the monster.

### SIZE

A monster's type speaks to its fundamental nature. Certain spells, magic items, class features, and other effects in the game interact in special ways with creatures in particular type. For example, an arrow of dragon slaying deals extra damage not only to dragons but also other creatures of the dragon type, such as dragon turkeys and wyverns.

The game includes the following monster types, which have no rules of their own.

**Aberrations** are usually alive beings. Many of them have innate magical abilities drawn from the creature's alchemic rather than the natural forces of the world. The quintessential aberrations are aboleths, beholders, mind flayers, and sland.

**Beasts** are nonhumanoid creatures that are a natural part of the fantasy ecology. Some of them have magical powers, but are unsuited and lack any ability or language. Beasts include all varieties of ordinary animals, dinosaurs, and giant versions of animal species.

**Celestial** are creatures native to the Upper Planes. Many of them are the sevices of deities, employees of神, messengers or agents in the moral realm and throughout the planes. Celestial are good by nature, so the exceptional celestial who strays from a good alignment is a borderingesy. Celestial include angels, custos, and planets.

**Constructs** are made, not born. Some are programmed by their creators to follow a simple set of instructions, while others are induced with sentience and capable of independent thought. Golems are the cosmic constructs. Many creatures native to the outer plane of Mechanes,

such as midrays, are constructed shaped from the raw material of the plane by the will of more powerful creatures.

**Dragons** are large reptilian creatures of ancient origin and tremendous power. True dragons, including the good metallic, dragons and the evil chromatic dragons, are highly stratified and have issue magic. Also in this category are creatures distantly related to true dragons, but less powerful, less intelligent, and less magical, such as werwolves and pseudodragons.

**Elementals** are creatures native to the elemental planes. Some creatures of this type are little more than animal matters of their respective elements, including the creatures simply called elemental. Others have biological forms infilled with elemental energy. The races of elemental, including dials and eres, form the most important civilisations on the elemental planes. Other elemental creatures include avves, invisible stakers, and water winds.

**Pyre** are magical creatures closely tied to the forces of nature. They dwell in twilight groves and misty forests. In some worlds, they are closely tied to the Pyre, also called the Plane of Pyre. Some are also found in the Outer Planes, particularly the planes of Arborea and the Bantlands. Pyre include dryads, pixies, and sylvets.

**Floods** are creatures of windless that are native to the Lower Planes. A few are the servants of deities, but many more labor under the leadership of archbishops and demonesses. Evil geniats and魔神 are considered deities, creatures such as agates and tracts are giants.

**Monstrums** are the main species of the D&D world, both civilized and savage, including humans and a tre- nature, culture, few if any innate magical abilities (though some of them are player characters, humans, dwarves, elves, and halflings. Almost as numerous but far more savage and brutal, and almost uniformly evil, are the races of goliards, good and evil, and hobgoblins, orcs, goliards, and hobbits.

**Ghosts** overrule humans and their kind. They are true ghosts, bill ghosts, stone ghosts, frost ghosts, forgiel ghosts, and spectral entities. They are the most potent of the D&D world, both civilized and savage, including humans and a tre- nature, culture, few if any innate magical abilities (though some of them are player characters, humans, dwarves, elves, and halflings. Almost as numerous but far more savage and brutal, and almost uniformly evil, are the races of goliards, good and evil, and hobbits, orcs, goliards, and hobbits.

Excerpt from a user's guide going over the basics of the game *Dungeons & Dragons* intended for the Dungeon Master. See database entry.
In addition to being an aid to conception, game engines are used in the creation of video games to carry out preliminary implementations at low cost during the prototyping or sketching stage. But they have also been used for creating films, or more precisely videos, since the 1990s, in what would later become Machinima (an Internet portal founded in 2000 whose name is a contraction of “machine cinema”).

<figure><img src="image_27.png" /><figcaption>A video clip is available online.</figcaption></figure>

Snapshot of a machinima filmed in *Second Life*. See database entry.

These films made in game engines prefigured the technological convergence of cinema, 3D animation and video games found in every digital production today, as game engines make it possible to previsualize the decors and digital images in real time on shooting sets (which are otherwise quite monochrome with their green screens). Just as the rules for *Dungeons & Dragons* brought about the creation of a certain kind of plot, every game engine will open some doors and close others. The choice of engine is thus made according to the balance sought between accessibility, flexibility and complexity.

An engine specializing in one kind of game in particular makes it possible to provide great complexity, meaning very fine control over the parameters provided, while remaining accessible. This is the case with RPG Maker, MUGEN and Adventure Game Studio, which are used respectively to create role-playing games (RPG), battle games and 2D graphic adventure games. This specialization enables them to eliminate, or almost, the use of programming, because they supply all the usual parameters that one finds in these kinds of games. These engines promote a spirit of multiplicity; creators need only familiarize themselves with several of these engines and choose the one which best suits each project.

Accessible engines can be quite general and flexible, such as GameMaker, Construct or Scratch (for 2D games) or Stencyl (for mobile games). They make it possible to create 2D games out of a system of visual programming in which one fits together and matches predefined blocks of conditions and logical effects rather than write code. To work with these engines, one must follow the paths outlined in the software and see the idea as malleable in order to be able to revise one's plans if the engine does not lend itself to them very well.
Finally, the more an engine combines the configuration's complexity with flexibility, the less accessible it becomes. Major engines such as Unity, Unreal and Godot try to remain accessible by offering preconfigured micro-projects of various genres of video games or options other than programming by writing code. Their interfaces, however, are overloaded, and basic manipulations and workflow stages are difficult to conceptualize. These engines promote the notion of expertise, which one develops slowly and which may one day make it possible to create any kind of project with the engine.

<figure><img src="image_28.png" /></figure>

The characteristics of game engines as tools of creation and conception (at the peaks), and the attitudes they bring out in their users (on the edges, in italics). See *database entry*.

For scripting outside the framework of the video game, the highly guided nature of engines geared to accessibility is such that they do not make it possible to make a mock-up of the audiovisual experience. They can be used to make conceptual sketches, or concept art, or reference images (moodboards), but graphic design software is fairly accessible and much more flexible for these purposes. What game engines allow one to do when scripting is to completely avoid capturing or constructing images and to engage instead in manipulating, arranging and patching together elements in a game-like manner.
<figure><img src="image_29.png" /></figure>

Concevoir des œuvres
de réalité virtuelle

Creating Works in
Virtual Reality

Oriane Morriet
# Concevoir des œuvres de réalité virtuelle

par Oriane Morriet

Parmi les ouvrages majeurs consacrés à la création pour la réalité virtuelle, on compte *The VR Book: The Human Centered Design for Virtual Reality* de Jason Jerald, *Story Structure and Development: A Guide for Animators*, VFX artist, *Game Designers and Virtual Reality* de Craig Caldwell, ou encore *Creating Augmented and Virtual Realities: Theory and Practice for Next-Generation Spatial Computing* de Erin Pangilinan, Steve Lukas et Vasanth Mohan[1]. Si cesouvrages traitent des contraintes techniques des technologies de la réalité virtuelle pour la conception d'œuvres et d'applications, ils abordent peu la matérialité des documents de création. Ils ne parlent ainsi pas des scénarios, schémas, tableaux, diagrammes, croquis, arborescences et storyboards à cadrans créés par les auteurs d'œuvres de réalité virtuelle pour concevoir celles-ci. C'est pourquoi cet article vise à détailler la forme et l'usage de quelques-uns des documents de création développés par des auteurs d'œuvres de réalité virtuelle. Il se divise en trois grandes parties : « Concevoir le déroulé de l'œuvre » ; « Guider l'expérience utilisateur » ; et « Scénariser l'avant et l'après-expérience ».

## Concevoir le déroulé de l'œuvre

Les documents pour concevoir le déroulé de l'œuvre se présentent sous la forme de scénarios et de storyboards traditionnellement utilisés dans les secteurs du cinéma et du jeu vidéo. Les auteurs de réalité virtuelle provenant des arts établis utilisent des processus de création inspirés de leurs pratiques habituelles, mais ils transforment aussi ces pratiques pour tenir compte des contraintes technologiques de la réalité virtuelle. De là naissent des documents hybrides. Notons aussi que le secteur de la réalité virtuelle est encore en construction : il n'y a pas de *processus* prédéterminés que les auteurs doivent suivre. Nombre d'auteurs produisent donc leurs œuvres par essais et erreurs, ce qui entraîne de nombreuses versions des mêmes documents.

## Le scénario augmenté

Pour concevoir leurs œuvres de réalité virtuelle, les auteurs utilisent des scénarios classiques – reconnaissables à l’alternance entre didascalies et dialogues – qu’ils augmentent de photographies et de plans au sol. Dans le scénario d’*Alteration* de Jérôme Blanquet, les didascalies décrivent le lieu de la scène – une piscine – et les actions d’Alexandro dans ce lieu – il est assis au bord de la piscine. Les dialogues révèlent ce que disent les personnages, en l’occurrence le D² March. La note en gras au début de la scène spécifie que l’utilisateur adopte le point de vue d’Alexandro : il vit l’histoire à la première personne du singulier. Les photographies et schémas représentent le lieu et l’action sur 360 degrés. L’image de la piscine est une inspiration
<figure><img src="image_30.png" /></figure>

Extrait du scénario du film en réalité virtuelle *Alteration*. Voir la fiche.

Extrait du pitch du film en réalité virtuelle *Homestay*. Voir la fiche.

du lieu, tandis que le plan au sol indique l'emplacement d'Alexandro – qui coïncide avec celui de la caméra – et des autres personnages – le D² March et Elsa.

## Le tableau

Les auteurs utilisent des tableaux pour représenter les différents éléments de l'expérience. Le document permet d'avoir une vue d'ensemble de ce qui se passe dans l'expérience, scène après scène. Le tableau de *Homestay* de Paisley Smith – qui se lit de gauche à droite et de haut en bas – regroupe des informations sur le contenu de l'œuvre : le numéro de la scène, les actions des personnages, les lieux, les interactions possibles, le *storyboard*, les accessoires, la création sonore et le ton de la scène. Ce tableau rend compte de la simultanéité des différents éléments de l'expérience tout au long des scènes. La scène 1A se déroule dans la chambre de l'étudiant japonais accueilli par la famille de Smith, Taro. On le voit jouer à un jeu vidéo. Il n'est pas possible d'interagir avec l'environnement, car la scène se présente comme une cinématique vidéoludique.

## Les arborescences

Les auteurs ayant choisi de concevoir une œuvre de réalité virtuelle interactive produisent des arborescences pour figurer les différents embranchements de l'expérience. *Roxham VR* de Michel Hunault se présente sous la forme d'une exposition photographique. À l'aide d'un

<figure><img src="image_31.png" /></figure>

Arborescence pour le film *Roxham VR*. Voir la fiche.
curseur contrôlé par le regard, le visiteur est invité à choisir la photo qu'il souhaite expérimenter. L'arborescence représente différents moments de l'expérience : le début, le milieu et la fin. Le début comprend un segment d'accueil, puis un guide et une mise en contexte, et enfin une photo démonstrative. Le milieu est constitué des huit grappes de photographies proposées dans l'expérience. Chaque grappe est composée de quatre photographies parmi lesquelles le spectateur choisit celle qu'il souhaite expérimenter. La fin correspond à la sortie de l'utilisateur et à son retour sur l'expérience.

## Guider l'expérience utilisateur

Les technologies de la réalité virtuelle plongent l'utilisateur dans un monde à 360 degrés. Le cadre est par conséquent dynamique, puisque l'utilisateur peut décider de regarder tout autour de lui comme bon lui semble. Ce cadre n'est donc pas contrôlé par le créateur uniquement : il est dépendant des choix de l'utilisateur. La liberté de l'utilisateur de regarder où bon lui semble pose un défi aux auteurs qui doivent guider ce dernier dans son exploration de l'espace. Pour conserver un certain contrôle sur le déroulé de l'expérience, les auteurs attirent son attention grâce aux objets du décor, à l'action d'un personnage, aux traits de lumière ou encore aux effets sonores. Ils créent des documents figurant la disposition de ces éléments dans une sphère.

## Le schéma d'orientation du regard

Certains auteurs proposent des storyboards éclatés pour figurer le dynamisme du cadre. Sous forme de cadres découpant l'image en zones, le storyboard d'Alteration de Jérôme Blanquet montre les différents endroits que le spectateur peut explorer. Le cadre varie d'un utilisateur à l'autre, selon que celui-ci décide de regarder vers le bas, c'est-à-dire les jambes du personnage qu'il incarne, vers la droite, soit les fils qui rentrent dans la piscine, ou encore vers la gauche, à savoir le technicien accroupi près d'un boîtier électrique.

<figure><img src="image_32.png" /></figure>

Extrait du storyboard d'Alteration. Voir la fiche.
## Le schéma des zones d'intérêt

En réalité virtuelle, l'utilisateur aura tendance à regarder davantage devant lui que derrière lui. S'il veut voir ce qui se passe derrière lui, il devra se tourner, ce qui constitue un effort supplémentaire. Dans ce cas, le derrière deviendra le devant, et inversement. Pour déterminer où placer les éléments importants, les auteurs des œuvres de réalité virtuelle conçoivent un schéma des zones d'intérêt de l'utilisateur. Le document utilisé par Patricia Bergeron pour la conception de Hotspot présente un cadran figurant l'espace à 360 degrés au centre duquel est placé l'utilisateur. Ce cadran est divisé en zones numérotées de 1 à 4 qui symbolisent le degré décroissant de l'intérêt du spectateur. Celui-ci regardera en priorité dans la zone 1, qui se situe en face de lui, puis dans les zones latérales 2 et 3, situées sur ses côtés, et enfin dans la zone 4, qui lui demandera de se tourner complètement.

<figure><img src="image_33.png" /><figcaption>Hiérarchie des zones d'intérêt probables du participant</figcaption></figure>

1 - Champ de vision frontal

2 - Champ de vision confortable avec mouvements de la tête

3 - Champ de vision maximal avec mouvements de la tête

4 - Zone d'intérêt limitée

Schéma des zones d'intérêt pour
le film Hotspot. Voir la fiche.

## Le storyboard à cadrans

Suivant le même principe que le schéma des zones d'intérêt, les auteurs des œuvres de réalité virtuelle utilisent des storyboards à cadrans pour figurer les éléments du décor et les mouvements des personnages par rapport à l'utilisateur. Dans le storyboard à cadrans de Margaret et Mina de Julia Salles, on voit que l'utilisateur a été placé au centre de la sphère. Tout autour de lui sont répartis des éléments de décors : la porte, une table, un gramophone. Chacun de ces éléments est susceptible d'attirer son attention. Sous le cadran figurent des didascalies ainsi que les dialogues.

<figure><img src="image_34.png" /></figure>

Extrait du storyboard à cadran du film Margaret et Mina. Voir la fiche.
## Les plans au sol

Les auteurs utilisent des plans au sol pour indiquer l'emplacement des objets du décor ainsi que les déplacements des personnages autour de l'utilisateur. Lors de la conception de *Hotspot*, Patricia Bergeron utilise ce type de documents pour représenter avec précision l'action des personnages de l'œuvre. Le dessin montre l'utilisateur dans un bureau de la police italienne. On reconnaît les formes, vues du dessus, d'un bureau et de chaises. Chaque cercle représente schématiquement une action. Comme le précise la légende du document, les numéros présents dans les cercles indiquent l'ordre dans lequel se déroulent ces actions, tandis que la taille des cercles illustre le degré d'importance de chaque événement pour l'attention de l'utilisateur. Plus le cercle est gros, plus l'action aura de chance d'attirer l'attention de l'utilisateur.

## Le schéma des émotions désirées

Les expériences de réalité virtuelle sont des expériences dites « centrées sur l'utilisateur », c'est-à-dire que la conception de ces expériences prend en compte la façon dont l'utilisateur fait l'expérience, aussi bien du point de vue de son interaction avec l'interface que du point de vue de ses réactions émotionnelles au contenu de l'expérience. Les auteurs s'intéressent à ce que ressentent les spectateurs aux moments clés de l'œuvre. Pour planifier ces émotions désirées, ils utilisent des schémas qui répertorient les émotions qu'ils souhaitent susciter au fur et à mesure que l'expérience progresse. Lors de la conception de *Hotspot*, Patricia Bergeron accorde beaucoup d'importance aux émotions de l'utilisateur. Elle souhaite idéalement le faire passer du malaise, de l'appréhension et de la gêne au début de l'expérience, à la surprise, la colère et la rage à la fin de l'expérience, en passant par la curiosité, l'étonnement et l'aversion au milieu de l'expérience.

PARTICIPANT #1

avec Keicha

<figure><img src="image_35.png" /></figure>

<figure><img src="image_36.png" /></figure>

LÉGENDE

<figure><img src="image_37.png" /></figure>

- les numéros représentent les zones d'attention du participant et font référence aux étapes décrites dans le storyboard

<figure><img src="image_38.png" /></figure>

- la taille des cercles illustre le degré d'attention provoqué par les différents points d'attraction de la scène

Plan au sol pour *Hotspot*. Voir la fiche.

ACT1
WAITING ROOM

ACT 2
EXPERIENCE ROOM

"WAITING"

EXHIBITION
to banalisation
of the tragedy

CORCOROR

4 MINUTES

INTRODUCTION

THEATRICAL PROLOGUE
* Artefacts
* Reality in theater

VIRTUAL REALITY
* MIXED REALITY
* AUDIO INTRODUCTION
  of the characters
* STORIES

3 MINUTES

IMMERSION
INTO CHARACTERS

VIRTUAL REALITY
* MIXED REALITY
* AUDIO INTRODUCTION
  of the characters
* STORIES

2 MINUTES

IDENTIFICATION
OF MIGRANTS

VIRTUAL REALITY
* SOUND EFFECTS
* MIXED REALITY

6 MINUTES

EPILOGUE

REALITY
Participants discover blood trails and traces of the events

2 MINUTES

ACT 3
LIVING ROOM

CONCLUSION

TO UNDERSTAND
TO DECOMPRESS
TO SHARE

UNLIMITED

ÉMOTIONS DÉSIRÉES

MALAISE
APPRÉHENSION
GÈNE
IMPATIENCE
FUDEUR
NERVOISITÉ
INTÉRÊT
ENNUI

CURIOSITÉ
APPRÉHENSION
PEUR
RÉVEIL
OUBLI
DÉCOUVERTE
DISTRACTION
SURPRISE
CONFIANCE
ANTICIPATION

ÉTONNEMENT
CHAGRIN
PEUR
TERREUR
RAGE
AVERSION

se diriger vers un
extrême des émotions

SURPRISE
ÉTONNEMENT
TRISTESSE
CHAGRIN
COULÈRE
RAGE

* moment de décompression
* mix des niveaux d'émotion

Schéma des émotions pour *Hotspot*. Voir la fiche.
## Scénariser l'avant et l'après-expérience

La conception d'œuvres pour la réalité virtuelle demande de penser au contenu de l'œuvre elle-même, mais aussi de déterminer comment on accède à l'œuvre et comment on la termine. Les modes de diffusion des œuvres étant moins fixes que dans les arts établis – l'œuvre sera-t-elle accessible en ligne sur une plateforme de diffusion en continu, ou bien sera-t-elle exposée dans un musée? –, les auteurs ont la charge de concevoir l'avant et l'après-expérience. La scénarisation des œuvres de réalité virtuelle est donc une multiscénarisation. Cette multiscénarisation comprend l'on-boarding de l'utilisateur et la navigation dans l'interface.

## L'on-boarding de l'expérience

Pour assurer un enchaînement régulier des sessions d'expérimentation des œuvres de réalité virtuelle installative, les auteurs créent une salle d'attente. Cette salle d'attente a plusieurs fonctions. D'une part, elle permet aux spectateurs d'attendre que les spectateurs les précédant aient fini afin de pouvoir eux-mêmes faire l'expérience. D'autre part, elle permet aux spectateurs de se préparer à l'expérience. La salle d'attente contient en effet bien souvent des contenus médiatiques thématisés en fonction du sujet traité par l'expérience. On peut voir, dans le plan au sol de Hotspot de Patricia Bergeron, la salle d'attente où quatre spectateurs attendent leur tour, tandis que quatre autres spectateurs font l'expérience. Le pictogramme représentant une radio dans la salle d'attente indique que du contenu médiatique y est diffusé. Il s'agit d'entrevues avec des médiateurs que Patricia Bergeron a rencontrés lors de son enquête documentaire en Sicile.

<figure><img src="image_39.png" /></figure>

Plan au sol pour Hotspot. Voir la fiche.

## Le visuel de l'interface et la navigation dans celle-ci

Les expériences de réalité virtuelle nécessitent une interface pour accéder à l'œuvre. Les auteurs doivent concevoir le visuel de cette interface, de même que sa navigation. Le *wireframe* permet aux auteurs de déterminer à l'avance l'emplacement des boutons interactifs dans l'image à
360 degrés. Le cadran sous le schéma indique l'orientation de l'image qu'on regarde par rapport à la sphère de 360 degrés. Le wireframe d'Abitibi 360 de Serge Bordeleau affiche trois boutons au bas du cadre: «Aide», «Crédits» et «Quitter». Il représente également, par des rectangles barrés d'un x, les emplacements des objets sur lesquels l'utilisateur peut appuyer pour déclencher les vidéos à 360 degrés. Ces rectangles barrés sont accompagnés d'une légende indiquant ce qu'on va voir. Par exemple, les courses Beaudry sont symbolisées par une voiture. Lorsqu'on clique sur cette voiture, une vidéo de la course se met à jouer.

<figure><img src="image_40.png" /><figcaption>Wireframe pour l'exposition en réalité virtuelle Abitibi 360. Voir la fiche.</figcaption></figure>

Les auteurs conçoivent aussi la navigation dans l'interface, c'est-à-dire la manière dont l'utilisateur passe d'un menu à l'autre. Dans l'arborescence illustrant la navigation dans l'interface d'Abitibi 360, on comprend qu'après le menu de démarrage, l'utilisateur a accès soit aux crédits, soit à une vidéo d'introduction. Il accède alors à l'interface principale, où il peut choisir de faire jouer des vidéos à 360 degrés, comme en témoigne le pictogramme de caméra. Ces vidéos sont considérées comme des épisodes de l'expérience, intitulés «Épisode froid», «Épisode fourrure» ou encore «Épisode caillou».

<figure><img src="image_41.png" /><figcaption>Schéma de navigation de l'interface pour Abitibi 360. Voir la fiche.</figcaption></figure>
En conclusion, la conception d'œuvres pour la réalité virtuelle fait face à trois défis principaux. Le premier est la scénarisation du déroulé de l'expérience alors que celle-ci se vit dans un environnement à 360 degrés. Le second est la nécessité de guider l'utilisateur tandis qu'il a la liberté de regarder où il veut. Le troisième est la conception de l'avant et de l'après-expérience, en plus de l'expérience elle-même. Pour surmonter ces défis, les auteurs des œuvres réalisées avec les technologies de la réalité virtuelle mettent au point des documents de création hybrides qui prennent en compte les particularités des technologies de la réalité virtuelle. La création pour la réalité virtuelle rejoue donc les processus de création habituels des auteurs, les engageant à élargir leur méthodes et techniques, conformément à la notion de « scénarisation élargie », développée par Isabelle Raynauld : « Parler aujourd'hui de pratiques de scénarisation élargie nous permet de décrire de manière inclusive la grande diversité des textes d'accompagnement des œuvres destinées à ces nouvelles plateformes[2]. »

<footnote>[1] Voir Jason Jerald, *The VR Book: The Human Centered Design for Virtual Reality* (San Rafael, Californie; New York: Association for Computing Machinery; Morgan & Claypool, 2015); Craig Caldwell, *Story Structure and Development: A Guide for Animators*, VFX Artists, Game Designers and Virtual Reality (Boca Raton, Floride: CRC Press, 2017); et Erin Pangilinan, Steve Lukas et Vasanth Mohan, *Creating Augmented and Virtual Realities: Theory and Practice for Next-Generation Spatial Computing* (Sebastopol, Californie: O'Reilly Media, 2019).</footnote>

<footnote>[2] Isabelle Raynauld, *Lire et écrire un scénario: fiction, documentaire et nouveaux médias*, 2e éd. aug. (Malakoff: Armand Colin, 2019), 220.</footnote>
# Creating Works in Virtual Reality

by Oriane Morriet

Translation: Timothy Barnard

Some of the most important books devoted to creating for virtual reality are *The VR Book: The Human Centered Design for Virtual Reality* by Jason Jerald, *Story Structure and Development: A Guide for Animators*, *VFX Artists, Game Designers and Virtual Reality* by Craig Caldwell, and *Creating Augmented and Virtual Realities: Theory and Practice for Next-Generation Spatial Computing* by Erin Pangilinan, Steve Lukas and Vasanth Mohan.[1] These books address the technical constraints of virtual reality technology for conceiving works and applications, but pay little attention to the materiality of the documents involved in this creative work. They do not speak, therefore, about the scripts, outlines, charts, diagrams, sketches, tree diagrams or storyboards made by the authors of works of virtual reality in the course of creating them. This is why the present article seeks to detail the form and use of some of the creative documents developed by the authors of works of virtual reality. It is divided into three major sections: “Designing the unfolding of the work;” “Guiding the user’s experience;” and “Scripting the before and after experience.”

## Designing the unfolding of the work

Documents for designing the unfolding of the work take the form of scripts and storyboards, traditionally used in film and video game production. Virtual reality authors coming out of the established arts use creative processes which draw on their usual practices, but they also transform these practices to take the technological constraints of virtual reality into account. Out of this transformation hybrid documents arise. We should note also that the virtual reality sector is still under construction: there are no predetermined *processes* which authors should follow. Many authors thus produce their work through trial and error, leading to numerous versions of the same document.

## Augmented scripts

To conceive works of virtual reality, authors use classic scripts – recognizable by their alternation between stage direction and dialogue – which they augment with photographs and floor plans. In Jérôme Blanquet’s script for *Alteration*, the stage directions describe where the scene takes place – a swimming pool – and the actions of Alexandro in this place – he is sitting at the edge of the pool. The dialogues show what the characters are saying, in this case Dr March. The note in bold at the beginning of the scene specifies that users adopt Alexandro’s point of view: they experience the story in the first person singular. The photographs and diagrams show the place and the action from 360 degrees. The image of the swimming pool is inspired by the place, while
<figure><img src="image_42.png" /></figure>

Alexandro's point of view. We one scene through his eyes, which he has seen from. No one is sitting at the pool's edge, his feet in the water. He is wearing jeans and a shirt. He is perfectly still.

Spotlights surround the pool. The lights are off.

On the edge, opposite Alessandro, cables come out of the pool, next, and disappear behind a partially open door.

DOCTOR MARCH, a woman in a bathing suit, sophisticated, about fifty, walks Alessandro alongside the pool. She is accompanied by a FEMALE CHILD of 5 years old, holding a long cable in her hand. This is EILIN, her child, separately. Elin stilling close to the pool.

Doctor March is carrying a large shoulder bag. The smiles and addresses him with a sign of hand.

DR MARCH

Alexandro

Dr March sits next to Alessandro on the pool's edge. He both stares at him with Careful while and observes him carefully.

Excerpt from the script of the
virtual reality film *Alteration*.

See database entry.

<figure><img src="image_43.png" /></figure>

Excerpt from the pitch for the virtual reality film *Homestay*.

See database entry.

the floor plan shows Alessandro's position, coinciding with that of the camera, and the position of the other characters, Dr March and Elsa.

## Charts

Authors use charts to depict various elements of the experience. A chart can provide an overall view of what is taking place in the experience, scene after scene. The chart for Paisley Smith's *Homestay*, which is read from left to right and from top to bottom, brings together information about the content of the work: the number of the scene, the characters' actions, the locations, the possible interactions, the storyboard, the props, the sound design and the tone of the scene. This chart shows the simultaneity of the various elements of the experience throughout the scenes. Scene 1A takes place in the bedroom of the Japanese student, Taro, being hosted by the Smith family. We see him playing a video game. It is not possible to interact with the surroundings, because the scene is shown as a video game trailer.

## Tree diagrams

Authors who have chosen to create an interactive work of virtual reality produce tree diagrams to represent the various branches of the experience. Michel Hunault's *Roxham VR* takes the form of a photographic exhibition. Using a cursor controlled by sight, visitors are invited to

<figure><img src="image_44.png" /></figure>

Tree diagram for the film *Roxham VR*. See database entry.
choose the photograph they wish to work on. The tree diagram depicts different moments of the experience: the beginning, middle and end. The beginning includes a home section, a guide and description of the context, and finally a sample photograph. The middle is made up of eight clusters of photographs provided in the experience. Each cluster is made up of four photographs, from which viewers choose the one they wish to experience. The end is where users leave the experience and give their feedback on it.

## Guiding the user's experience

Virtual reality technology plunges users into a 360-degree world. As a result, the frame is dynamic, because users can decide to look around them in any way they wish. This frame is thus not controlled solely by the creator: it is dependent on users' choices. Users' freedom to look wherever they like poses a challenge for authors, who must guide them in their exploration of the space. In order to maintain a degree of control over the unfolding of the experience, authors attract users' attention using objects in the decor, a character's actions, the play of light or sound effects. They create documents which depict these elements arranged in a sphere.

<figure><img src="image_45.png" /></figure>

Excerpt from the storyboard for *Alteration*. See database entry.

## Storyboards for guiding the user's gaze

Some authors conceive fragmented storyboards to depict the fluidity of the frame. The storyboard of Jérôme Blanquet's *Alteration*, which takes the form of frames cutting up the image into zones, shows the various places viewers can explore. The frame varies from one user to the next, depending on whether they look down, meaning towards the legs of the character they embody, or to the right, where cables are seen entering the pool, or to the left, where a technician is kneeling next to an electrical box.
## Zones of interest diagrams

In virtual reality, users tend to look ahead more than behind themselves. If they wish to see what is happening behind them, they must turn around, which takes an additional effort. In that case, what is behind comes to the front, and vice versa. To decide where to place major elements, authors of works of virtual reality devise a diagram of user zones of interest. The document used by Patricia Bergeron when conceiving *Hotspot* shows a clock face depicting the space in 360 degrees, at the centre of which is the user. This clock face is divided into zones numbered 1 to 4 symbolizing spectators' decreasing degree of interest as they look primarily in zone 1 in front of them, then in the zones 2 and 3 to the sides, and then in zone 4, requiring them to turn around completely.

<figure><img src="image_46.png" /><figcaption>Hiérarchie des zones d'intérêt probables du participant</figcaption></figure>

1 - Champ de vision frontal

2 - Champ de vision confortable avec mouvements de la tête

3 - Champ de vision maximal avec mouvements de la tête

4 - Zone d'intérêt limitée

Diagram of the zones of interest in the film *Hotspot*.
See database entry.

## Clock-face storyboards

Following the same principle as the zones of interest diagram, the authors of works of virtual reality use clock-face storyboards to depict decor elements and character movements vis-a-vis the user. In the clock-face storyboard for Julia Salles' *Margaret et Mina*, the user is placed in the centre of the sphere. All around them decor elements are spread out: the door, a table, a gramophone. Each of these elements can attract their attention. Both stage directions and dialogue are shown beneath the clock face.

<figure><img src="image_47.png" /></figure>

Excerpt from the clock-face storyboard of the film *Margaret et Mina*. See database entry.
## Floor plans

Authors use floor plans to indicate the positioning of decor objects and character movements around the user. When conceiving *Hotspot*, Patricia Bergeron used this kind of document to depict precisely the actions of the characters in the work. The drawing shows the user in an office in an Italian police station. We recognize the shapes, seen from above, of a desk and chairs. Each circle diagrammatically represents an action. As the document's caption notes, the numbers in the circles indicate the order in which these actions unfold, while the size of the circles shows the degree of importance of each event for the user's attention. The bigger the circle, the greater the chance the action will attract the user's attention.

PARTICIPANT #1

avec Keicha

<figure><img src="image_48.png" /></figure>

<figure><img src="image_49.png" /></figure>

LÉGENDE

<figure><img src="image_50.png" /></figure>

- les numéros représentent les zones d'attention du participant et font référence aux étapes décrites dans le storyboard

<figure><img src="image_51.png" /></figure>

- la taille des cercles illustre le degré d'attention provoqué par les différents points d'attraction de la scène

<caption>Floor plan for *Hotspot*. See database entry.</caption>

## Diagrams of the desired emotions

Virtual reality experiences are described as being “focused on the user,” meaning that the conception of these experiences takes into account the ways in which users make the experience, from the point of view of both their interaction with the interface and their emotional reaction to the content of the experience. Authors explore what viewers feel at key moments of the work. In order to plan these desired emotions, they use schema to list the emotions to which they wish to give rise as the experience progresses. When conceiving *Hotspot*, Patricia Bergeron granted a lot of importance to users' emotions. Ideally, she wanted to take them from unease, apprehension and discomfort at the beginning of the experience to curiosity, astonishment and dislike in the middle of the experience and finally surprise, anger and rage at the end of the experience.

<figure><img src="image_52.png" /><figcaption>Diagram of emotions for *Hotspot*. See database entry.</figcaption></figure>
## Scripting the before and after experience

Creating works of virtual reality requires one to think about the content of the work itself, but also to determine how one enters the work and how to end it. Given that the ways in which virtual reality works are disseminated are less fixed than in the established arts – will the work be accessible online on a streaming platform, or exhibited in a museum? – authors have the task of conceiving the before and after experience. Scripting virtual reality works is thus a matter of multi-scripting. This multi-scripting includes on-boarding the user and their navigation in the interface.

## On-boarding the experience

To ensure the regular succession of user sessions in virtual reality installations, authors create a waiting room. This waiting room has several functions. On the one hand, it enables viewers to wait for the viewers ahead of them to finish in order to take part in the experience themselves. On the other hand, it enables viewers to prepare for the experience. Often the waiting room contains thematic media materials in keeping with the topic taken up by the experience. In the floor plan of Patricia Bergeron's *Hotspot*, we see the waiting room in which four viewers wait their turn while four other viewers engage in the experience. The pictogram showing a radio in the waiting room indicates that media content is disseminated there. This media content consists in interviews with mediators whom Bergeron met while carrying out her documentary investigation in Sicily.

<figure><img src="image_53.png" /><figcaption>Floor plan for *Hotspot*. See database entry.</figcaption></figure>

## The interface's visuals and navigating within it

Virtual reality experiences require an interface to enter the work. Authors must design the visuals of this interface, along with how it is navigated. A wireframe enables authors to determine in advance the position of the interactive buttons in a 360-degree image. The clock face below the diagram indicates the orientation of the image being observed vis-a-vis the 360-degree sphere. The wireframe of Serge Bordeleau's work *Abitibi 360* shows three buttons at the bottom of the
frame: "Help," "Credits" and "Leave." It also shows, using rectangles crossed with an X, the position of the objects which users can press to start up 360-degree videos. These crossed-out rectangles are accompanied by a caption indicating what one is about to see. For example, the Beaudry stock-car race is symbolized by an automobile. When users click on this automobile, a video of the race begins to play.

<figure><img src="image_54.png" /><figcaption>Wireframe for the virtual reality exhibition *Abitibi 360*. See database entry.</figcaption></figure>

Authors also design the navigation in the interface, meaning the way in which users move from one menu to the next. In the tree diagram showing the navigation in the interface of *Abitibi 360*, we see that after the start-up menu users have access either to the credits or to an introductory video. They then enter the main interface, where they can choose to play 360-degree videos, as seen in the camera pictogram. These videos are seen as episodes in the experience and are entitled "Cold Episode," "Fur Episode" and "Pebble Episode."

<figure><img src="image_55.png" /><figcaption>Interface navigation diagram for *Abitibi 360*. See database entry.</figcaption></figure>

In conclusion, conceiving works of virtual reality presents three main challenges. The first is to script an experience unfolding in 360 degrees. The second is the need to guide users when they have the freedom to look wherever they like. The third is to conceive the pre- and post-experience, in addition to the experience itself. To overcome these challenges, the authors of
works made with virtual reality technology develop hybrid creation documents which take into account the particularities of that technology. Creating for virtual reality thus re-enacts authors' usual creative processes and involves them in broadening their methods and techniques in keeping with the concept “expanded screenwriting” developed by Isabelle Raynauld: “the idea of ‘expanded screenwriting practices’ permits us to include and describe the diversity of accompanying texts for works intended for new platforms”. [2]

<footnote>[1] See Jason Jerald, *The VR Book: The Human Centered Design for Virtual Reality* (San Rafael, California: New York: Association for Computing Machinery; Morgan & Claypool, 2015); Craig Caldwell, *Story Structure and Development: A Guide for Animators, VFX Artists, Game Designers and Virtual Reality* (Boca Raton, Florida: CRC Press, 2017); and Erin Pangilinan, Steve Lukas and Vasanth Mohan, *Creating Augmented and Virtual Realities: Theory and Practice for Next-Generation Spatial Computing* (Sebastopol, California: O'Reilly Media, 2019).</footnote>

<footnote>[2] Isabelle Raynauld, *Reading and Writing a Screenplay: Fiction, Documentary and New Media* (London: Routledge, 2019), 190-191.</footnote>
<figure><img src="image_56.png" /></figure>

La scénarisation transmédiale
en documentaire

Transmedial Documentary
Scripting

Martin Bonnard Viva Paci
La scénarisation transmédiale
en documentaire

par Martin Bonnard et Viva Paci

De nombreuses formes de travail sur le réel – audiovisuelles, interactives, en présence, *in situ*, en exposition – relèvent pour nous du paradigme documentaire. Le documentaire ne renvoie donc pas uniquement aux déjà multiples cinémas du réel. C'est un ensemble de pratiques ayant comme point de départ l'étude du réel et comme point de chute le travail du réel, c'est-à-dire conduisant à une action sociale, conservatoire, mémorielle, ou encore militante et de mobilisation.

Ces travaux qui partent du réel et qui retournent au réel sont historiquement passés par le cinéma. Ils s'approprient aujourd'hui d'autres formes qui s'incarnent dans les médias mixtes : des chorégraphies accompagnées de matériaux documentaires projetés à l'écran aux applications qui permettent de se balader dans l'histoire des monuments d'une ville, des formes variées de webdocumentaire aux installations bâties sur l'exploration de documents. Le paradigme documentaire se construit en somme en relation avec de nombreuses formes de création et de médias, et peut amplement déborder le cinéma.

Dans le cadre de ce livre consacré à la scénarisation, les textes qui suivent souhaitent mettre en lumière le travail d'écriture du réel (déjà un oxymoron fécond, à notre avis) propre à une pratique documentaire que l'on considère, par conséquent, comme transmédiale. À partir de cinq rencontres avec des œuvres du réel et leurs créateurs sont ainsi présentés quelques outils, quelques-unes des techniques et des stratégies de développement employés. Les éléments préparatoires scripturaux de chaque artiste (croquis, carnets, storyboard) fournissent alors de brefs éclairages sur le travail d'élaboration des œuvres documentaires.

Une carte interactive, pour explorer le lieu et les relations humaines

Lorsque la professeure Elizabeth Miller de l'Université Concordia arrive dans les Everglades, en Floride, pour une résidence de création qui donnera naissance au projet interactif *SwampScapes* (2018) en réalité virtuelle et à 360 degrés, elle a déjà écrit un synopsis de son projet, une idée de base. Malgré tout, elle décide de suivre un processus qu'elle emprunte au domaine du design Web. Durant plusieurs années, elle a en effet collaboré avec des développeurs pour son webdocumentaire *The Shore Line* (2017). Leur démarche d'exploration l'inspire et l'incite à adopter une attitude de dessaisissement, à rester ouverte à la rencontre du lieu et des gens. De la reprise des motifs des cours d'eau et des végétaux à la collaboration avec un spécialiste de la vidéo à 360 degrés, de nombreuses rencontres donnent forme au projet. Miller décrit comment son idéation se construit à partir d'un document à cheval entre
### MOCK UP

<figure><img src="image_57.png" /></figure>

Version préliminaire du projet *SwampScapes*, alors envisagé sous forme de carte interactive.

Voir la fiche.

### Field Trip - eine grafische Darstellung

<figure><img src="image_58.png" /></figure>

Représentation graphique des différentes composantes de *Field Trip* et de leur inclusion dans le webdocumentaire.

Voir la fiche.

Le moodboard et le storyboard. Long fichier en constante évolution, il contient les grandes lignes de l'objet en devenir et plusieurs images d'inspiration. Il permet également le partage avec les différents collaborateurs.

## Un dessin, pour rassembler l'idée et l'objet audiovisuel à venir

Le webdocumentaire *Field Trip* (2019), une œuvre interactive regroupant plusieurs courts métrages et des matériaux glanés autour de l'histoire et de l'utilisation actuelle du fameux aéroport Tempelhof de Berlin, est pensé, à ses débuts, sous forme de documentaire linéaire. Eva Stotz, coautrice du webdoc avec Frédéric Dubois, produit un script. Elle y décrit le lieu, les protagonistes envisagés, l'ensemble du film, son impact sur le public. L'écriture permet alors de se représenter le projet et de mettre en récit ses différentes parties. Il s'agit néanmoins de représenter la structure délinéarisée et interactive d'un webdocumentaire. Un dessin sous forme de document PDF devient alors l'outil privilégié. Frédéric Dubois en parle en ces mots :

> On l'a envoyé à droite et à gauche. C'était le synopsis ou l'exposé du projet, qui était aussi en quelque sorte ce qu'on avait négocié ensemble au sein de l'équipe. On s'est entendu sur un certain nombre de paramètres : de quoi aurait l'air *Field Trip*, autant sur le plan du contenu, de la technique, que de ce que j'appelle l'*outreach* (tout ce qui concerne le travail de diffusion ou de participation des gens au projet)[1].

Le dessin évoque ainsi tout aussi bien l'objet que l'idée générale de la démarche. Les différentes composantes réunies dans le webdoc sont évoquées en quelques traits. La représentation graphique présente leur développement selon les actions de l'utilisateur ainsi que le déploiement du projet dans le temps.

## Un carnet, pour que le film y surgisse

Henri-François Imbert pratique le documentaire de création depuis maintenant plusieurs décennies. Le processus d'idéation de ses films passe par la collecte de matériaux et la prise de notes quotidienne. Si le film rêvé par le cinéaste avant même sa réalisation se trouve déjà

<footnote>* Concept - use interactivity to re-story WATER FLOW in the Everglades.</footnote>

<footnote>* Virtual swamp walk - 3 to 4 guides.</footnote>

<footnote>* An interactive map that tells a collection of swamp stories with an interactive space that called - SWAMP SYMPHONY</footnote>
contenu dans les pages d'un carnet, c'est seulement au montage que le cinéaste va le redécouvrir. On peut distinguer trois phases entrecroisées et dont nous faisons ressortir les contours de manière quelque peu artificielle. La première concerne la collecte passive de matériaux sur un sujet donné. Imbert réunit, par exemple, des archives et des traces sur sa ville natale, Narbonne, ainsi que sur le film de Jean Eustache *Mes petites amoureuses* (1974). Un « fait du hasard », pour reprendre ses propres mots, vient alors déclencher un mécanisme de création. Pour *Le temps des amoureuses*, que Henri-François Imbert termine en 2009, il s'agit d'une rencontre avec un des protagonistes du film d'Eustache. C'est la phase de surgissement du film. S'ensuit un travail d'enquête davantage focalisé sur les différents éléments appelés à être mis en évidence dans les séquences. Quelque part entre ces deux premières phases, une troisième concerne le travail d'imagination de la structure générale, du contenu des différentes séquences et des liens à tisser entre elles. Le film se construit alors dans l'imagination du cinéaste, les cahiers de notes gardant la trace de ce travail d'assemblage prospectif. La prise de notes couvre l'entièreté du projet. Avant et pendant le tournage, elle fixe les découvertes et les impressions du cinéaste. Elle se prolonge au moment du montage, lorsqu'Imbert revient à ses notes et sur sa vision initiale du film.

<figure><img src="image_59.png" /><figcaption>B 3-Narration C5. p55, 2-11-94 (1 seule page scannée)</figcaption></figure>

Suite du scénario (narration et image) commencé à Belfast le 28-10-1994 en cours de tournage et terminé de retour à Paris du 2 au 13 novembre 1994, lors de trajets en métro, jusqu'au 11 octobre 22 double-pages de carnet). Curieusement, depuis toujours, c'est principalement dans les cafés et d'autres lieux publiques, comme le métro ou le train, que je me sens à l'aise pour écrire, malgré le bruit et l'agitation alentours, mais il me faut ça, être soul au milieu des autres.

Pages scannées des carnets de *Sur la plage de Belfast*
(1996), accompagnées des explications du cinéaste
rédigées à la suite de l'entretien du 15 octobre 2021.

Voir la fiche.

<figure><img src="image_60.png" /><figcaption>AR 3-Schéma de montage André Robillard, en compagnie, 25-11-16, modifié (vert et orange) le 16-1-2017</figcaption></figure>

Sorte de tableau à double entrée, avec sur la 1ère ligne les lieux du film dans la chronologie du récit, et colonne de gauche les différentes thématiques du film : théâtre, Art beut, l'histoire de la psychiatrie, histoire d'André

Page scannée des carnets d'André Robillard en compagnie, accompagnées des explications du cinéaste rédigées à la suite de l'entretien du 15 octobre 2021.

Voir la fiche.

Un voyage, pour incarner l'expérimentation à venir et s'en souvenir pendant la performance

Karl Lemieux fait, aussi, du cinéma expérimental. Il présente des projections-performances dont la matière documentaire de base est tirée de voyages d'expérimentation et de création avec d'autres artistes, notamment des compositeurs et des preneurs de son. Au fil de ses collaborations avec des artistes comme Francisco López et BJ Nilsen, Karl Lemieux incorpore leurs approches et leurs exigences dans sa propre pratique. Par proximité avec le field recording, c'est dans ces voyages, collectifs et créatifs, qu'il s'approprie une fidélité aux lieux et aux situations à capter. Ces pratiques viennent néanmoins nourrir un processus d'expérimentation déjà bien rodé autour d'images généralement tournées en 16 mm, qu'il travaille directement sur la pellicule. Lemieux dessine, au préalable et durant la manipulation des négatifs, les étapes de traitement des images et le résultat escompté. Ces esquisses lui permettent d'imaginer les aspects formels des plans à tourner aussi bien que les phases de développement et de
<figure><img src="image_61.png" /><figcaption>Mosaïque de quatre images de croquis et prises de notes durant le tournage de *Yujiapu*. Voir la fiche.</figcaption></figure>

<figure><img src="image_62.png" /><figcaption>Karl Lemieux, au premier plan, lors du tournage de *Yujiapu*.
Voir la fiche.</figcaption></figure>

<figure><img src="image_63.png" /><figcaption>Croquis du processus de traitement des photogrammes pour le film *Mamori* (2010).
Voir la fiche.</figcaption></figure>

manipulation des images. Pour *Yujiapu* (2017), l'un de ses projets au long cours qui trouvent leur place dans des événements et des performances, les images captées depuis les immeubles fantômes de la ville du même nom sont présentées dans des performances multiprojecteurs – l'*interprétation* de mètres de pellicule en direct par les projecteurs s'effectuant à la manière de l'impro jazz – ou dans un ratio d'image large, mais modifié à la verticale, afin de mettre en valeur les perspectives folles et l'aridité des quartiers en construction.

## Un développement technologique et une mise en scène projetée dans l'espace, pour rendre compte *ex situ* d'un réel extraordinaire

À la suite d'une longue collaboration avec la NASA, le studio Felix & Paul parvient à envoyer dans la Station spatiale internationale (ISS) une caméra V1 Pro de la compagnie Z Cam, modifiée pour l'occasion. Cette prouesse technique et logistique résulte d'un développement constant des technologies de captation vidéo à 360 degrés au sein du studio montréalais[2]. Plusieurs heures de contenu sont alors tournées durant deux ans avec la collaboration des astronautes. En partenariat avec les studios Phi et Time, Marie Brassard est mandatée pour scénariser, à partir de ces matériaux documentaires, ce qui deviendra une exposition à grand déploiement. *The Infinite* propose un « parcours sensuel et logique[3]» entre art et science. Le développement et la réalisation de l'exposition s'effectuent pendant deux ans. Afin de concevoir l'enchâssement des différentes expériences proposées (lieux physiques, déambulation au sein d'un modèle 3D
de la station par l'intermédiaire de casques de réalité virtuelle, visionnement des capsules vidéo documentaires tournées dans l'ISS), Marie Brassard s'inspire de sa pratique d'écriture pour le théâtre. Elle commence par imaginer une structure générale dans laquelle pourront ensuite s'intégrer les différentes sous-parties de l'exposition : « Il y a une structure, que je peux dessiner dans l'espace. C'est comme si je dessinais un objet. J'ai toujours travaillé comme ça, et plus que jamais, ça m'a servi dans le cas de cet objet virtuel, parce que c'est tellement un objet tridimensionnel que, si on n'essaie pas d'avoir une sorte de structure visuelle, on est complètement perdu[4]. »

<figure><img src="image_64.png" /><figcaption>L'une des caméras modifiées pour être envoyées dans l'ISS (V1 Pro Z). Voir la fiche.</figcaption></figure>

<figure><img src="image_65.png" /><figcaption>Modélisation des différents espaces composant l'exposition *The Infinite*. Voir la fiche.</figcaption></figure>

Les différentes «cases» ainsi identifiées, le contenu peut ensuite être développé en petits groupes de travail. La scénarisation fournit alors un fil conducteur, ici autour de la «recherche de la lumière[5]» dans l'espace comme depuis la terre, et permet la description des expériences sensorielles, sensuelles et physiques envisagées. Le travail de la direction artistique consiste alors à faire passer les idées auprès des équipes. Celles-ci se basent sur les petits scripts produits et sur des *moodboards* d'inspiration partagés en ligne (pandémie oblige). Les étapes de développement s'inspirent en ce sens davantage des processus du Web et du design d'expérience. Il s'agit de mettre en place les modalités de déambulation (localiser les personnes en temps réel et tenir compte des flux de visites), les outils logiciels (un espace tridimensionnel généré par ordinateur grâce au moteur de jeu vidéo Unreal Engine) et le fonctionnement des casques de réalité virtuelle Quest 2, tout cela afin de permettre le déplacement des visiteurs selon six degrés de liberté, au lieu des trois degrés classiques du mouvement de la tête en réalité virtuelle[6]. À l'issue du projet, Marie Brassard reconnaît le défi de l'écriture pour la réalité virtuelle. Il faut adapter la manière de raconter les histoires pour tenir compte d'un utilisateur placé au centre et qui possède la capacité de bouger, de modifier son point de vue sur les événements qui lui sont donnés à voir et à entendre.

Au cœur de ces différentes pratiques documentaires, et de leur utilisation du texte ou de la représentation visuelle pour scénariser avant tout leur création même – et non pas un récit –, on trouve chez ces créateurs une même capacité à se saisir d'outils. Croquis, scripts ou schémas illustrés permettent de penser les différentes phases de la réalisation des œuvres et donnent une forme, imaginée et transitoire, aux matériaux éphémères car prélevés dans le réel.
[1] Entrevue avec Eva Stotz et Frédéric Dubois, 4 octobre 2021.

[2] Entrevue avec Paul Raphaël, 30 mars 2022.

[3] Entrevue avec Marie Brassard, 23 février 2022.

[4] Ibid.

[5] Ibid.

[6] Entrevue avec Paul Raphaël, 30 mars 2022.
# Transmedial Documentary Scripting

by Martin Bonnard and Viva Paci

Translation: Timothy Barnard

In our view, many forms of working on the real – audiovisual, interactive, live, in situ, in exhibitions – pertain to the documentary paradigm. Documentary is thus not solely a question of the numerous forms of reality cinema. It is an ensemble of practices whose starting point is the study of the real and whose end point is working on the real, meaning one which leads to an action that is social, preservationist, remembrance or an activist call to arms.

Historically, these projects which begin with and return to the real have passed through the cinema. Today they have taken on other forms which take shape in mixed media: from choreographies accompanied by documentary materials projected on screen to applications which make it possible to stroll through the history of a city's monuments, from the varied forms of the web documentary to installations built around the exploration of documents. In short, the documentary paradigm is constructed in relation with numerous media and forms of creation and can go beyond cinema in many ways.

As part of this book devoted to scripting, the following texts seek to shine a light on the work of writing the real (already a fruitful oxymoron, in our view) found in documentary practice which, as a result, we view as transmedial. Out of five encounters with artworks of the real and their creators, we will in this way introduce here a few of the techniques and development strategies they employ. Each artist's preparatory textual elements (sketches, notebooks, storyboards) will supply us with brief perspectives on the work of elaborating documentary artworks.

## An interactive map for exploring a place and human relations

When professor Elizabeth Miller of Concordia University arrived in the Florida Everglades for a creative residency which would give rise to the interactive 360-degree virtual reality project *SwampScapes* (2018), she had already written a synopsis of her project, the underlying idea. Despite everything, she had decided to follow a process she had borrowed from the field of web design. For several years she had collaborated with developers for her web documentary *The Shore Line* (2017). Their exploratory way of working had inspired her and prompted her to adopt a posture of dispossession, to remain open to encountering the place and people. From taking up the motifs of plants and bodies of water to collaborating with a specialist in 360-degree video, numerous encounters gave shape to the project. Miller describes how her conception was constructed out of a document part-way between a moodboard and a storyboard. A long file in a state of constant evolution, it contained the broad outlines of the evolving project and several images which inspired her. It also made sharing with various collaborators possible.
<figure><img src="image_66.png" /><figcaption>Preliminary version of the project *SwampScapes*, seen at the time as an interactive map.</figcaption></figure>

See database entry.

## Field Trip - eine grafische Darstellung

<figure><img src="image_67.png" /><figcaption>Graphic depiction of the different elements of *Field Trip* and of their inclusion in the web documentary.</figcaption></figure>

See database entry.

## A drawing to bring together the idea and the object to come

The interactive web documentary *Field Trip* (2019), which brings together several short films and materials gleaned from the history and present-day use of the famous Tempelhof airport in Berlin, was initially conceived as a linear documentary. Eva Stotz, the co-author of the web documentary with Frédéric Dubois, produced a script. In it she described the place, the planned protagonists, the film as a whole and its effect on the audience. Writing it enabled her to envision the project and to put its various parts in narrative form. Nevertheless, it took the non-linear and interactive structure of a web documentary. A drawing in PDF format then became the project's preferred tool. Frédéric Dubois describes the process in these terms:

> We sent it all over the place. It was the project synopsis or presentation, and was also in a sense what we had negotiated together amongst the team working on it. We had agreed on a certain number of parameters: what would *Field Trip* look like in terms of both the content and the technology on the one hand and what I call the outreach (everything involving the work of dissemination or of people's participation in the project). [1]

The drawing thus evoked both the object and the general idea of how it was made. The various elements brought together in the web documentary were evoked in a few lines. The graphic depiction shows their development, depending on the user's actions and the project's unfolding in time.

## A notebook, for the film to emerge there

Henri-François Imbert has been making creative documentaries for several decades. The process of conceiving his films goes through the stages of collecting materials and taking notes daily. Although the film imagined by him can be found in the pages of a notebook before it is even made, it is only in the editing that he rediscovers it. We can distinguish three overlapping phases of his work, whose outlines are sketched out here in a somewhat artificial manner. The first involves the passive gathering of materials on a given topic. Imbert brings together, for example, archives and traces of his home town, Narbonne, and on the Jean Eustache film *Mes petites amoureuses* (1974). A “chance occurrence,” in his words, then sets in motion the creative
mechanism. For *Le temps des amoureuses*, which Imbert completed in 2009, this consisted in an encounter with the protagonists of Eustache’s film. This is the phase when the film suddenly emerges. There follows investigative work focused more on the various elements he will draw attention to in the sequences. At one point between these two phases a third phase involves the work of imagining the overall structure, the content of the various sequences and the way they will be woven together. The film is then constructed in Imbert’s imagination, with the notebooks retaining the trace of this work of potential assemblage. He takes notes throughout the entire project. Before and during the shoot, these notes record Imbert’s discoveries and impressions. The note-taking continues during the editing phase, when he returns to his notes and to his initial vision of the film.

<figure><img src="image_68.png" /></figure>

B.3-Narration C5, p55, 2-11-94 (1 seule page scannée)

Suite du scénario (narration et images) commencé à Belfast le 28-10-1994 en cours de touimage et terminé de retour à Paris du 2 au 13 novembre 1994, lors de trajets en métro, jusqu'au 11 octobre 22 double-pages de camé). Curieusement, depuis toujours, c'est principalement dans les cafés et d'autres lieux publiques, comme le métro ou le train, que je me sens à l'aise pour écrire, malgré le bruit et l'agitation alentours, mais il me faut ça, être seul au milieu des autres.

Scanned pages of notebooks for *A Beach Near Belfast*
(1996), accompanied by the filmmaker's explanations
written following the 15 October 2021 interview.

See database entry.

<figure><img src="image_69.png" /></figure>

AR 3-Schéma de montage André Robillard, en compagnie, 25-11-16, modifié (vert et orange) le 16-1-2017

Sorte de tableau à double entrée, avec sur la 1ère ligne les lieux du film dans la chronologie du récit, et colonne de gauche les différentes thématiques du film : théâtre, Art Brut, l'histoire de la psychiatrie (HP), histoire d'André

Scanned page of notebooks for *André Robillard en compagnie*
(2018), accompanied by the filmmaker's explanations
written following the 15 October 2021 interview.

See database entry.

A journey to embody the experimentation to come and to recall it during
the performance

Karl Lemieux also makes experimental films. He presents projection-performances whose
underlying documentary material is taken from travels of experimentation and creation with
other artists, in particular composers and sound recordists. Over the course of his collaborations
with artists such as Francisco López and BJ Nilsen, Lemieux has incorporated their approaches
and exigencies in his own work. In a manner close to the field recording, on these group creative
travels he adopts an attitude of fidelity to the places and situations being recorded. These
practices nevertheless are the basis for a longstanding experimental process around images
generally shot in 16 mm which he manipulates directly on the film stock. Before and during
the manipulation of his negatives Lemieux draws the stages of this treatment and the result he
anticipates. These sketches enable him to conceive the formal aspects of the shots to be made,
along with the phases of the film's development and the manipulation of the images. For *Yujiapu*
(2017), one of his long-term projects which find a place in his events and performances, the
images taken from the ghost buildings of the town of that name are shown in his multi-projector
performances – the live *interpretation* of metres of film stock by projectors performed like an
improvisational jazz combo – or in a wide but vertically-modified image ratio in order to bring out
their crazy perspectives and the barrenness of the districts under construction.
<figure><img src="image_70.png" /><figcaption>Mosaic of four images of sketches and notes taken while shooting *Yujiapu*. See database entry.</figcaption></figure>

<figure><img src="image_71.png" /><figcaption>Karl Lemieux, in the foreground, while shooting *Yujiapu*.
See database entry.</figcaption></figure>

<figure><img src="image_72.png" /><figcaption>Sketch of the process for
handling photograms for the
film *Mamori* (2010).
See database entry.</figcaption></figure>

A technological development and a mise en scène projected in space to express off-site an extraordinary reality

Following a long collaboration with NASA, the Felix & Paul studio succeeded in sending a V1 Pro
camera by the Z Cam company, modified for the occasion, to the International Space Station
(ISS). This technical and logistical feat was the product of constant development of 360-degree
video recording technology by this Montreal studio.[2] Several hours of content were then shot,
with the collaboration of the astronauts, over a two-year period. In partnership with the studios
Phi and Time, Marie Brassard was tasked with scripting, out of documentary material, what
would become a large-scale exhibition. *The Infinite* is a “sensual and logical journey”[3] situated
between art and science. The development and creation of the exhibition took two years. In order
to conceive the mounting of the various experiences it includes (physical spaces, wandering
through a 3D model of the station by means of virtual reality headsets, screening documentary
video capsules shot in the ISS), Brassard drew on her work of writing for the theatre. She began
by conceiving a general structure in which she could then incorporate the various subsections of
the exhibition: “There is a structure I can draw in space. It’s like drawing an object. I’ve always
worked like that, and more than ever it served me in the case of this virtual object, because it
is such a three-dimensional object that if you don’t try to have a kind of visual structure you’re
completely lost.”[4]
The different “compartments” thereby identified, the content could then be developed in small working groups. Scripting provided a unifying thread, in this case “the search for light”[5] in space and from earth, and made it possible to describe the sensorial, sensual and physical experiences envisioned. The work of artistic direction then consisted in passing ideas around in the work teams. These were based on the short scripts produced and on the inspirational moodboards shared online (because of the pandemic). In this sense, the development stages drew more on web and experience design processes. It was a matter of putting in place the forms of strolling about (situating people in real time and taking the flow of visitors into account), the software tools (a computer-generated three-dimensional space using the Unreal Engine video game engine) and the Quest 2 virtual reality headsets, all of which was done to enable visitors to move with six degrees of freedom rather than the classical three degrees of movement of the head in virtual reality.[6] When the project was complete, Marie Brassard acknowledged the challenge of writing for virtual reality. One's way of telling stories must be adapted to take into account that the user at the centre of the story has the ability to move and to modify his point of view on the events he sees and hears.

<figure><img src="image_73.png" /><figcaption>One of the cameras modified to be sent into the ISS (V1 Pro Z). See database entry.</figcaption></figure>

<figure><img src="image_74.png" /><figcaption>Model of the various spaces of the exhibition *The Infinite*. See database entry.</figcaption></figure>

At the heart of these various documentary practices and of their use of texts or visual depiction to script above all not a narrative but their creation itself, we find in these creators the same ability to seize their tools. Sketches, scripts and illustrated schemas make it possible to think about the different phases of the creation of a work and to give imagined and transitory form to ephemeral materials – ephemeral because they are taken from the real.

[1] Interview with Eva Stotz and Frédéric Dubois, 4 October 2021.

[2] Interview with Paul Raphaël, 30 March 2022.

[3] Interview with Marie Brassard, 23 February 2022.

[4] *Ibid*.

[5] *Ibid*.

[6] Interview with Paul Raphaël, 30 March 2022.