[en] Intersemiotic translation is viewed as the basis of cultural communication through which ideas are circulated, translated and explained using language, images and other semiotic resources. From this perspective, intersemiotic translation is conceptualised through the principle of resemiotisation which is concerned with how semiotic choices are translated over time as social practices. Key issues which arise from viewing intersemiotic translation as resemiotisation are investigated in this paper: (a) how can shifts of meaning be conceptualised across semiotic resources which are fundamentally different in nature?; (b) what meanings are retained and changed as a result of resemiotisation?; and (c) how can such meanings be modelled theoretically and tracked analytically? In order to explore these issues, a multimodal social semiotic approach based on Michael Halliday's systemic functional theory is presented. In this approach, semiotic resources are conceptualised as systems of meaning which differentially fulfil various functions in society: to structure experience and make logical connections in the world, to enact social relations and create a stance towards the world, and to organise these meanings into multimodal messages. The multimodal approach to intersemiotic translation is illustrated through examples which explore shifts of meaning which take place across theses strands of meaning as semiotic choices are resemiotised within and across multimodal texts. The focus of this discussion is intersemiotic translation across language (spoken and written), images (photographs, film tracks and graphs) and mathematical symbolism in a range of different text types (i.e. a news report, an infographic, a video and a mathematical graph). These examples illustrate the principles of intersemiotic translation through which semantic expansions occur as semiotic choices are resemiotised using different semiotic resources, which result in access to a new meaning potential.

[fr] La traduction intersémiotique est considérée comme la base de la communication culturelle, par le biais de laquelle les idées sont diffusées, traduites et expliquées à l'aide du langage, d'images, et d'autres ressources sémiotiques. Dans une telle perspective, la traduction intersémiotique est conceptualisée par le principe de resémiotisation qui considère comment les choix sémiotiques se traduisent en pratiques sociales au fil du temps. Cet article étudie les questions clés soulevées par le fait de traiter la traduction intersémiotique comme une resémiotisation: (a) comment les glissements de signification peuvent-ils être conceptualisés à travers des ressources sémiotiques qui sont de nature fondamentalement différente ? (b) quelles significations sont conservées et modifiées en raison de la resémiotisation ? et enfin (c) comment ces significations peuvent-elles être modélisées théoriquement et suivies de façon analytique ? Pour explorer ces questions, une approche socio-sémiotique multimodale est présentée, basée sur la théorie systémique fonctionnelle de Michael Halliday. Dans cette approche, les ressources sémiotiques sont conceptualisées comme des systèmes de significations qui remplissent des fonctions variées dans la société, pour structurer l'expérience et établir dans l'univers des connexions logiques, pour établir des relations sociales et une attitude vis-à-vis du monde, et pour organiser toutes ces significations en messages multimodaux. L'approche multimodale à la traduction intersémiotique est illustrée par des exemples qui explorent les glissements de signification qui se produisent à travers la toile des significations, lorsque les choix sémiotiques sont resémiotisés au sein de textes multimodaux, et entre ceux-ci. Au cœur de cette discussion est la traduction intersémiotique entre langage (parlé et écrit), images (photos, films et graphiques) et symbolisme mathématique, dans une gamme de différents types de textes (par exemple reportage, document infographique, vidéo et graphique mathématique). Ces exemples illustrent les principes de la traduction intersémiotique au moyen de laquelle des expansions sémantiques se produisent, lorsque les choix sémiotiques sont resémiotisés à l'aide de différentes ressources sémiotiques, donnant ainsi accès à un nouveau potentiel de signification.