Reading as the Interpretation of Signs

This study examines the challenges of analyzing texts that are multimodal—that is, combining more than one mode of communication, such as written text, images, video, and/or audio—and considers the theoretical and practical implications of two very different approaches. The more common current approach, which adapts the work of Halliday and Saussure, is criticized for failing to account for critical differences in the ways that language, both written and spoken, and other modes of signification convey meaning and consequently rely on linguistic structures in the analysis of images. A second approach, based in Peirce's triadic approach to semiotic analysis, which allows Saussurean modes of interpretation in its final stages, is proposed and demonstrated through the analysis of two news videos about the Occupy Wall Street movement produced by CNN and Al Jazeera. In conclusion, the implications of the two approaches for how literacy and multimodality are defined and analyzed are considered. Chinese 多模式语篇是指结合了多于一个传意模式的语篇,如书面文本、图像、视频,和/或音频等。本研究旨在考查多模式语篇分析的挑战及考量两种截然不同的分析方法背后的理论和实际意义。现时较常见的方法是按照哈利迪和索绪尔的理论工作修改而成,但这方法被批评为没有考虑到语言(书面和口语)和其它指意模式之间在意义传达方法上的关键性差别,因而只靠图像分析中的语言结构。第二种方法是基于皮尔士的三元符号学分析方法,该方法的最后阶段容许索绪尔的解读模式。这种方法的提出和示范是通过分析两个新闻视频而进行。该两个新闻视频是由美國有線新聞網和卡塔尔半岛电视台制作,其内容是关于占领华尔街运动。本文在结论中考虑到这两不同种方法对如何定义和分析读写文化和多模态带来的启示。 Spanish Este estudio examina los retos de analizar textos multimodales—o sea, que combinan modos de comunicacion, como por ejemplo, el texto escrito con imagenes, videos y/o audio—y toma en cuenta las implicaciones teoricas y practicas de dos diferentes aproximaciones. El aproximamiento mas comun hoy dia, el cual adapta el trabajo de Halliday y Saussure, es criticado por no tomar en cuenta importantes diferencias en la manera en que el lenguaje, tanto escrito como hablado, y otras maneras de significar transmiten significado y por lo tanto dependen de estructuras linguisticas al analizar imagenes. Proponemos y demostramos un segundo acercamiento, basado en el aproximamiento triadico de Pierce al analisis semiotico, el cual permite modos de interpretacion Sausserianos en sus etapas finales, por medio del analisis de dos videos nuevos sobre el movimiento de “Occupy Wall Street” producidos por CNN y Al Jazeera. En conclusion, se consideran las implicaciones de ambos aproximamientos en cuanto a como se definen y analizan la alfabetizacion y la multimodalidad. Arabic تبحث هذه الدراسة تحديات تحليل النصوص ذات الوسائط المتعددة، التي تجمع بين أكثر من واسطة واحدة للاتصال، مثل النص المكتوب، والصور، والفيديو، و/أو التسجيلات الصوتية – وتأخذ بعين الإعتبار التأثيرات النظرية والعملية للنهجين المختلفين. النهج الحالي الأكثر إنتشارا، والذي يعتمد على عمل هاليداي وسوسير(Halliday and Saussure)، وانتقد هذا العمل لعدم مراعاته للفروق الهامة في طرق توصيل اللغة، سواء المكتوبة اوالمنطوقة، وغيرها من طرق نقل مغزى المعنى وبالتالي الاعتماد على الهياكل اللغوية في تحليل الصور. والنهج الثاني، والذي يعتمد على نهج بيرس (Peirce) لتحليل الأعراض الثلاثية، والذي يمكن الهيكل السوسيري (Saussurean) للتفسير في مراحله النهائية قد أقترح وأثبت من خلال تحليل شرطين فيديو أخبار عن حركة احتلال وول ستريت الاتي أنتجتها CNN وقناة الجزيرة. في الختام، أعتبرت وحللت آثار النهجين على كيفية القراءة والكتابة والوسائط المتعددة. Russian B cтaтьe зaтpoнyты пpoблeмы, вoзникaющиe пpи aнaлизe мyльтимoдaльныx тeкcтoв, гдe coчeтaютcя cpaзy нecкoлькo cпocoбoв кoммyникaции – пиcьмeнный тeкcт, изoбpaжeния, видeo, и/или ayдиo. Иccлeдyeтcя тeopeтичecкoe и пpaктичecкoe знaчeниe двyx кapдинaльнo paзличныx пoдxoдoв. Haибoлee pacпpocтpaнeнный в нacтoящee вpeмя пoдxoд, ocнoвaнный нa пoлoжeнияx Xaллидeя и Coccюpa, pacкpитикoвaн зa игнopиpoвaниe cyщecтвeнныx paзличий мeждy cпocoбaми cигнификaции в пиcьмeннoй и ycтнoй peчи, a тaкжe дpyгиx тeкcтax, пocкoлькy вce oни пepeдaют нeкий cмыcл и, cлeдoвaтeльнo, пpи aнaлизe изoбpaжeний oпиpaютcя нa лингвиcтичecкиe cтpyктypы. Пpивeтcтвyeтcя втopoй пoдxoд, кoтopый ocнoвaн нa тpиaдe Пиpca и близoк к ceмиoтичecкoмy aнaлизy, чтo пoзвoляeт нa зaключитeльныx этaпax пpимeнить мoдeли Coccюpa. Eгo дocтoинcтвa дeмoнcтpиpyютcя нa мaтepиaлe двyx видeo нoвocтeй o движeнии “Oккyпaй Уoлл-cтpит”, cнятыx кoмпaниями Cи-Эн-Эн и Aль-Джaзиpa. B зaключeниe paccмaтpивaютcя вoзмoжнocти oбoиx пoдxoдoв для oпpeдeлeния и aнaлизa в cфepe гpaмoтнocти и мyльтимoдaльнocти. French Cette etude examine les defis que pose l'analyse de textes multimodaux – c'est-a-dire de textes qui combinent plus d'un mode de communication, tel que le texte ecrit, des images, des videos et/ou des enregistrements audios – et s'interesse aux implications theoriques et pratiques de deux approaches tres differentes. L'approche la plus courante, qui est une adaptation du travail de Halliday et de Saussure, fait l'objet de critiques car il echoue a rendre compte des differences critiques de la facon dont le langage, aussi bien ecrit que parle, vehicule la signification et est par consequent lie aux structures linguistiques lors de l'analyse des images. Nous proposons alors une seconde approche qui, basee sur l'approche triadique de l'analyse semiotique de Peirce, permet d'utiliser les modes saussuriens d'interpretation dans ses dernieres etapes; ceci est demontre par l'analyse de deux nouvelles videos portant sur le mouvement d'occupation de Wall Street produites par CNN et Al Jazeera. En conclusion, nous examinons les implications de ces deux approaches sur la facon dont on definit et analyse la litteratie et la multimodalite.