En 2009, Mayer a créé une théorie généraliste concernant la création de documents pédagogiques. Les recommandations de cette théorie, basée sur la théorie de la charge cognitive, vont vous permettre de comprendre comment diminuer la charge cognitive des documents et autres supports pédagogiques (notamment les supports numériques). Dans ce qui va suivre, nous allons voir comment utiliser au mieux le support visuel, le support texte, l'oral et les animations. Nous verrons comment les mélanger de manière optimale, d'une manière qui n’entraîne pas une charge cognitive trop élevée. Cet apprentissage, qui utilise plusieurs sources, plusieurs types de supports, s'appelle l'apprentissage multimédia. Mais pour le faire intelligemment, il faut gérer la charge de la mémoire de travail, qui peut être diminuée en suivant quelques règles de design simples.
Précisons une chose importante. La théorie de Mayer se base sur la théorie de la charge cognitive, mais aussi sur une théorie de la mémoire de travail particulièrement robuste et bien étayée. Cette dernière est la théorie de Baddeley, la théorie de référence sur la mémoire de travail, qui explique un très grand nombre d'observations. Elle n'est pas très complexe, mais elle est un petit peu plus détaillée que la vision naïve de la mémoire de travail que nous avons utilisé jusqu’à présent. D'après cette théorie, la mémoire de travail est composée de plusieurs sous-mémoires indépendantes :
Pour résumer rapidement, un humain dispose de deux canaux d'entrée : un canal visuel et un canal auditif. Les images ne peuvent passer que par le canal visuel. Ce qui n'est pas le cas des mots, qui peuvent être entendus par le canal auditif (écoute) ou lu par le canal visuel (lecture). Lors de l'apprentissage multimédia, le choix des supports permet ou non d'utiliser deux canaux simultanément, ce qui permet de profiter de la somme de leurs capacités. Mais pour cela, il faut bien choisir entre utiliser du texte, une présentation orale, des images, des animations et autres. Suivant le choix réalisé, on observe ou non une amélioration de l'apprentissage. Voyons ce qu'il en est.
Les différents supports ne sont pas égaux.
Il arrive que l'on ait le choix entre plusieurs supports pour présenter une information quelconque. Par exemple, on peut se demander s'il vaut mieux lire un texte à l'oral ou le faire lire par les élèves. Ou encor,e pour expliquer un phénomène dynamique, on peut hésiter entre présenter une animation ou une suite d'images. De même, on peut se demander s'il vaut utiliser un bon schéma plutôt qu'un bon discours. Voyons ce qu'il en est.
Lecture versus présentation orale : dépend de la situation.
Lors de la lecture, les mots sont d'abord placés dans la mémoire de travail visuelle, avant d'être traduits et transférés dans la mémoire de travail verbale. Tout cela pour dire que l'oral et le texte ne sont pas équivalents. En théorie, la traduction d'un texte en représentations verbales demande un effort cognitif certain. On devrait donc en déduire que lire du texte est plus compliqué qu’écouter une explication orale. Après, cette traduction est assez facile une fois qu'on a appris à lire et va demander un effort certain seulement pour les enfants qui apprennent à lire. Néanmoins, ce désavantage a beau être faible chez l'adolescent/adulte, il existe.
De nombreuses expériences ont cherché à savoir si le texte était plus facile à comprendre et à mémoriser que l'oral. Ces expériences ont été faites sur des collégiens (Lieury, Badoul, Belzic, 1996), des adolescents (Gunter, Furhnam, Gietson, 1984) et des adultes (Furhnam, Gunter, 1987; et aussi Bells Perfetti, 1994). Dans une petite minorité de cas, l'oral passe mieux que le texte. Mais cela n'arrive que pour des textes courts. Dès que le texte à lire est un peu long, le texte écrit est nettement mieux mémorisé que l'oral. C'est ce que l'on appelle l'effet de supériorité de l'écrit. La raison est que la mémoire de travail orale est de faible capacité et ne donne un avantage que pour des courts textes. Les textes longs ont cependant des avantages. Par exemple, le texte permet de relire les portions de texte mal comprises. Et ces avantages l'emportent sur le fait que le cerveau doit traduire du texte écrit en représentations orales. Surtout que chez les sujets qui ont appris à lire, cette traduction est très rapide, quasiment automatique.
Image contre discours/texte : avantage pour l'image.
Une idée reçue courante chez les enseignants est que certains élèves sont « visuels », d'autres « auditifs » ou « tactiles ». Le choix entre image et texte/oral dépendrait alors de l'élève. Mais dans les faits, les expériences montrent que ce n'est pas le cas. Elles montrent que le visuel est toujours mieux mémorisé que le verbal ou l'auditif : on parle d'effet de supériorité de l'image sur le mot. Après tout, le proverbe le dit si bien : "un bon schéma vaut mieux qu'un long discours".
La raison à cela est qu'un long discours/texte est souvent assez compliqué à comprendre, il impose une charge cognitive qui n'est pas négligeable. Les associations entre idées ne sont alors pas toujours des plus visibles, surtout si l'explication est longue et/ou complexe. En comparaison, un bon schéma rend visible les associations entre concepts, sans pour autant saturer la mémoire de travail. Toutes les associations entre idées sont visibles simultanément, là où le discours ne le permet pas. 
Schémas/images versus animations : avantage pour une suite d'images.
La théorie de la charge cognitive donne des recommandations spécifiques pour l'utilisation d'animations : il est préférable de les éviter et de les remplacer par des suites de dessins statiques. Le Transient information effect stipule que si on va plus vite que la mémoire de travail, de nouvelles informations vont venir remplacer les anciennes alors que celles-ci n'ont pas pu être traitées convenablement. En conséquence, seule une partie des informations est mémorisée et l'apprentissage se passe mal. Or une animation est un document dans lequel les informations sont fournies à un rythme relativement rapide : le "transient information effect" fonctionne à plein. Pour éviter cela, il vaut mieux recourir à des suites de dessins statiques. De plus, il vaut mieux faire en sorte que l'élève puisse choisir de passer d'un dessin à un autre de son propre chef, de façon qu'il puisse aller à son rythme et bien prendre son temps pour mémoriser et analyser les images qui lui sont présentées. Mais cette dernière recommandation n'est possible qu'avec des outils numériques avancés (sites web, ou autres).
L'effet de modalité : la co-présentation de schémas avec des explications orales.
Dans les chapitres précédents, nous avons dit que l'usage de dessins, schémas et autres informations visuelles renforce la mémorisation. La raison à cela serait une sorte de complémentarité : les informations seraient mémorisées à la fois sous forme visuelle et sous forme verbale. La théorie du double codage, vu dans le tout premier chapitre de ce cours, formalise cet argument. Cependant, on peut se poser la question de l'interaction entre ce double codage et la charge cognitive. La théorie de la charge cognitive nous dit que la redondance est une mauvaise chose et la redondance visuelle-verbale ne devrait pas faire exception. Un moyen d'éviter cela serait de se passer de support visuel, ou encore de séparer la présentation verbale et la présentation visuelle, les faire l'une après l'autre. La charge cognitive est alors censée être réduite comparé à une présentation conjointe, simultanée, des supports verbal et visuel.
Dans les faits, cela ne marche pas du tout. Par exemple, Mayer et Anderson ont étudié le cas de l'explication du fonctionnement d'une pompe à vélo. Un groupe d'élèves recevait une explication orale en même temps qu'une animation visuelle, alors qu'un autre groupe recevait uniquement l'explication orale. Les résultats étaient meilleurs avec la co-présentation qu'avec l'explication orale seule. Une autre étude Mayer a montré la même chose, mais pour une explication sur la formation des éclairs. Les premières études sur le sujet furent celles de Mousavi et al. (1995) sur du matériel géométrique. Elles ont été suivies par TindallFord et al. (1997), qui ont reproduit ces résultats lors de l'apprentissage d’ingénierie électrique. Depuis, les études sur le sujet se sont accumulées.
L'effet de modalité et ses conditions d'apparition.
Précisons que les résultats de ces expériences sont différents selon que le support verbal utilisé est du texte ou de l'oral. Si l'on mélange des informations visuelles et du texte, une présentation séparée réduit la charge cognitive. Rien d'étonnant à cela, les mots écrits et les images passent par le même canal d'entrée visuel, et sont tous deux placés dans la mémoire de travail visuelle. Mais si le support verbal est de l'oral, les choses changent du tout au tout. La présentation simultanée d'informations visuelles et orales n'entraine pas de surcharge cognitive (dans une certaine mesure). Cette observation est appelée l'effet de modalité et elle est parfaitement compatible avec la théorie de la charge cognitive. La raison est que les informations orales passent directement dans la mémoire de travail orale, alors que les images passent dans le canal visuel. On utilise alors la capacité des deux canaux séparés, ce qui facilite l'apprentissage.
Précisons néanmoins que certaines études ont montré une absence d'effet de modalité dans certaines conditions expérimentales, voire un effet totalement inverse où la co-présentation dégrade l'apprentissage. Par exemple, des études ont étudié l'effet de modalité pour de l'apprentissage par ordinateur. Et si on en croit la méta-analyse de Ginns, datée de 2005, on peut observer une absence d'effet de modalité dans ces conditions. La raison est que les logiciels laissent l'élève gérer les présentations lui-même, il peut décider quand les lancer, à quel rythme, il peut aussi décider du format de présentation de l'information, etc. Et dans ces conditions, l'effet de modalité ne se manifeste pas forcément. Par contre, si la présentation n'est pas contrôlable par les élèves, l'effet de modalité se manifeste.
Mais d'autres hypothèses sont possibles pour expliquer pourquoi l'effet de modalité ne se manifeste pas toujours. Une hypothèse alternative est que la longueur de la présentation orale modulerait l'effet de modalité. Pour que l'effet de modalité se manifeste, la présentation orale doit être assez courte. Cela rappelle ce qui a été dit au début du chapitre : l'oral l'emporte sur l'écrit pour des textes courts. Des textes trop longs font surcharger la mémoire de travail, ce qui entraine de mauvaises performances, peu importe qu'il y ait co-présentation oral-image ou non. L'effet de modalité ne peut pas se manifester avec un texte oral trop long.
Optimiser la présentation orale et les images.
La présentation orale marche mieux si elle met l'accent sur les concepts importants et met de côté les détails. Mayer a montré dans une de ses études que l'on peut avoir une amélioration d'environ 50% (dans le cadre de cette étude précisément) des performances de compréhension si le texte est épuré des détails annexes et se concentre sur l'explication. En soi, cela n'a rien d'étonnant et ce n'est que la réplication d'un effet assez connu dans le domaine de la compréhension de texte. Mais l'effet marche d'autant mieux quand les illustrations complètent la présentation orale.
Les expériences de Mayer indiquent qu'il existe des conditions pour utiliser efficacement ces images :
L'effet d'attention divisée : regrouper pour éviter de diviser l'attention.
On vient de voir qu'utiliser les deux canaux visuel et verbal en même temps donne de meilleures performances. Mais à l'intérieur de chaque canal, plusieurs informations sont présentées en même temps. Et il arrive que les informations ne soient pas compréhensibles seules et on qu'on doive les combiner pour obtenir un résultat. Par exemple, il se peut que l'on doive mixer du texte avec une image, pour légender une image, par exemple. Dans ce cas, on doit organiser les informations de manière à éviter de saturer le canal visuel ou verbal, ce qui demande de faire des regroupements bien précis. Intuitivement, on comprend qu'il vaut mieux regrouper les informations qui doivent être combinées. L'effet d'attention divisée nous dit que traiter ensemble des informations éloignées entraîne des performances inférieures à une situation où les informations sont proches les unes des autres. Avec des informations éloignées, l'élève devra maintenir chaque élément dans sa mémoire de travail avant de pouvoir les combiner. Alors que si elles sont rapprochées, elles pourront être traitées simultanément. Ce conseil peut s'appliquer dans des situations très diverses, comme les exemples qui vont suivre vont vous le prouver.
Par exemple, il semble préférable d'apprendre le fonctionnement d'un ordinateur grâce à un manuel intégrant des photographies de l'écran, plutôt qu'au moyen d'un manuel qui n'en a pas. Prenez un manuel sans photographies de l'écran. Pour expliquer une procédure, le manuel décrit chaque étape et l'utilisateur doit alors faire la navette entre l'écran et le manuel. À chaque étape, il doit lire le manuel, taper au clavier ce qui est marqué dans le manuel ou cliquer à l'endroit indiqué, puis regarder le résultat sur l'écran, avant de revenir au manuel. L'attention est alors divisée par les aller-retour incessants et les performances sont médiocres. Une meilleure solution serait que le manuel intègre des photographies de l'écran après chaque étape, qui indiquent ce qui a changé, où cliquer, etc. Toutes les informations sont alors dans le manuel et l'utilisateur n'a pas besoin de regarder l'écran ou d'utiliser le clavier pour comprendre la procédure. À vrai dire, l'utilisateur n'a même pas besoin d'utiliser l'ordinateur lors de l'apprentissage, mais peut apprendre sur le livre avant de s’entraîner sur l'ordinateur.
La co-présentation de texte et d'images.
De nombreux schémas ont des légendes écrites : pour comprendre le schéma, on doit relier chaque élément de l'image à la portion de la légende correspondante. En pratique, il vaut mieux éviter de placer des légendes en dessous des schémas : les élèves comprennent mieux quand le texte est intégré aux schémas, et placé immédiatement à côté du dessin correspondant. Pour en donner un exemple, prenons les deux schémas de cerveau ci-contre. Le premier utilise une légende, et est donc déconseillé par l'effet d'attention divisée. Précisons cependant que cela fonctionne car le texte et l'image passent par le même canal, par la même mémoire de travail, en l’occurrence le canal visuel.
Les premières expériences ont observé cet effet pour l'enseignement de la géométrie. Les toutes premières études portaient d'ailleurs sur des exemples en géométrie, et plus précisément sur des exemples travaillés. Les exemples travaillés en question donnaient la solution pour résoudre un exercice, avec un schéma et des explications textuelles séparées. De tels exemples travaillés ne marchaient pas très bien et ne donnaient pas les résultats escomptés. Mais les chercheurs ont réalisé que changer le format des exemples travaillés, en plaçant le texte dans le schéma, marchait nettement mieux. Ce qui a amené à la découverte de l'effet d'attention divisé. De puis, ces expériences ont été répliquées et généralisées. L'effet se manifeste aussi bien pour des cartes géographiques ou géologiques, que pour les schémas électriques ou électroniques.
L'organisation du support texte.
De nombreuses expériences ont montré qu'un abus de liens hypertexte peut rendre la navigation relativement labyrinthique. L'usager a alors de sérieuses difficultés à se souvenir de l'endroit où il est sur le site et ne sait donc plus vraiment se repérer dans celui-ci. Cela arrive quand des liens hyper-texte sont imbriqués : un lien renvoie vers une page qui a un hyper-lien, et ainsi de suite. On appelle cela l'effet de désorientation.
Mais dans le cas d'un site bien construit, l'usage de liens hypertexte permet de diminuer la quantité d'informations présentes sur la page et de déplacer les détails dans des sections annexes. Cela permet de mieux mémoriser les idées générales du texte lu, ce qui favorise l'apprentissage. En somme, les liens hyper-texte sont à utiliser avec parcimonie, dans le but de cacher/déplacer les détails et d'alléger le texte.
L'effet de redondance.
Dans la section précédente, on a étudié ce qui se passe quand plusieurs informations doivent être combinées dans la mémoire de travail. On observe alors un effet d'attention divisée si les informations sont éloignées, effet qui disparaît si ces informations sont regroupées. Il s'agit là d'un cas assez particulier où les informations sont complémentaires. Mais ce n'est pas la seule situation possible. Dans certains documents ou certaines présentations, il se peut que les informations données ne soient pas complémentaires mais redondantes. Par exemple, un texte peut décrire le contenu d'un schéma, ce qui répète les informations du schéma sous forme textuelle. Lorsque des informations redondantes sont présentées, les performances sont réduites comparé à une situation sans informations redondantes. C'est ce qui s'appelle l'effet de redondance.
La co-présentation de texte redondant avec une image.
Pour reprendre l'exemple du texte qui décrit un schéma, il vaut mieux utiliser un schéma compréhensible seul, sans texte redondant. Cela a été montré dans une expérience de Chandler et Sweller, datée de 1991, qui portaient sur l'explication de la circulation sanguine. Elles comparaient un schéma auto-suffisant seul ou combiné avec un texte explicatif. Le schéma décrivait le mouvement du sang dans la petite et la grande circulation, à savoir entre le cœur, les poumons et le reste du corps. Le schéma était auto-suffisant et permettait à lui seul de comprendre comment le sang circule dans le corps. La présentation du schéma seule était supérieure à la présentation schéma + texte redondant. De même, un schéma avec des phrases intégrées dans le texte, pour éviter l'effet d'attention divisée, fonctionnait moins bien que le schéma sans les phrases intégrées.
Une autre expérience a répliqué l'effet, mais cette fois-ci sur un exercice de pliage de papier sur des élèves de primaire. Là encore, l'explication était présentée à la fois sous forme de diagramme et de texte, les deux étant redondants. La présentation du texte seul donnait de meilleurs résultats.
La co-présentation de texte et d'explications orales.
L'effet de redondance s'observe à l'intérieur d'un canal, ici le canal visuel. Mais on observe aussi la même chose si les informations redondantes sont présentées dans des modalités sensorielles différentes. Si une présentation orale est redondante avec un schéma auto-suffisant, l'effet de redondance se manifeste aussi.
Le cas le plus parlant est la co-présentation d'un texte avec l'oral associé. Par exemple, présenter un texte à la fois sous forme écrite et orale sur un écran d'ordinateur a un effet sur les performances d'apprentissage. Dans ce cas, les deux canaux verbal et visuel sont utilisés. Mais ils sont utilisés pour présenter deux fois la même information, ce qui fait qu'on ne double pas les performances. Dans les faits, les études ont montré que les résultats sont plus faibles avec une double présentation oral+écrit qu'avec une présentation orale seule ou une présentation écrite seule. Son explication tient dans le fait que le texte est traduit en représentation verbales, qui occupent la mémoire de travail verbale. Cette dernière est alors remplie avec à la fois l'oral et le texte traduit. Mine de rien, beaucoup de présentations Powerpoint contenant du texte tombent dans ce piège, le texte des documents étant redondant avec ce que raconte le présentateur.
Un exemple de ce type se rencontre dans l'enseignement d'une langue étrangère, lorsqu'un enseignant lit un texte avec ses élèves. Les élèves lisent le texte écrit, pendant que le professeur lit le texte à voix haute. Il y a alors redondance entre le texte écrit et le texte lu. Si on en croit l'étude de Diao, Chandler, et Sweller datée de 2007 et une autre étude de Diao et Sweller datée de 2007, l'effet de redondance se manifeste dans cette situation. Les performances d'apprentissage lexical (apprentissage du vocabulaire et de l'écriture des mots). Il vaudrait mieux laisser les élèves lire le texte seuls, sans que l'enseignant ne lise le texte à voix haute. Précisons cependant qu'il existe des études dans le cadre de l'étude de la compréhension de texte qui semblent montrer l'inverse. Mais ces études testent la compréhension du texte, pas l'acquisition de connaissances lexicales ou phonologiques, ce qui peut changer la donne. Précisons aussi que la double présentation permet aux élèves de savoir comment tel mot se prononce, ce que le texte écrit seul ne permet pas de faire. En résumé, la situation est compliquée.