Multimodalność w relacjach z działań komunikacyjnych
Authors: HELIASZ-NOWOSIELSKA CELINA 
Published: January 2022

W artykule zostały przedstawione wybrane wyniki części pilotażowej badania eksperymentalnego nad
relacjonowaniem multimodalnych działań komunikacyjnych przez dorosłych użytkowników języka polskiego.
Punktem wyjścia w przeprowadzonym eksperymencie były teoretyczne i empiryczne studia nad zaangażowaniem
w działania komunikacyjne różnych modalności, tj. oprócz słów, także intonacji, prozodii,
mimiki, gestów, ruchów całego ciała i poszczególnych jego członków, por. Austin (1962), Kendon (1994,
2000, 2004), Poggi (2007), Hellbernd i Sammler (2016).
W ramach badania 101 osobom różniącym się wiekiem, płcią i wykształceniem zaprezentowano 23
fragmenty filmów dokumentalnych, pochodzących ze zbiorów Archiwum Szkoły Filmowej w Łodzi. Zadaniem
uczestników badania było zrelacjonowanie, co robią bohaterowie filmów. W rezultacie powstał
korpus, w którym do poszczególnych działań komunikacyjnych zarejestrowanych na filmach przypisano
wypowiedzi uczestników badania. Na potrzeby pilotażu została przeprowadzona analiza jakościowa
i ilościowa wypowiedzi dotyczących 10 fragmentów. Analizie tej zostało poddane znaczenie i odniesienie
słów, którym uczestnicy badania posługiwali się w celu zrelacjonowania multimodalnych działań
komunikacyjnych, zaobserwowanych na zaprezentowanych im filmach, a także frekwencja używanych
w relacjach wyrażeń oraz rozbieżności między poszczególnymi relacjami.
Analiza wykazała, że jeśli daną kolejkę tworzą kompozycje lub sekwencje działań o różnej modalności,
to sprawozdawcy zdają sprawę albo z każdego z tych działań osobno, albo używają pojedynczego
kwalifikatora na określenie całej grupy działań. Takim kwalifikatorem mogą być zarówno nazwy aktów
performatywnych, jak i nazwy działań o dowolnej, określonej modalności. Jeśli rozmowa przebiega
w sposób zmienny pod względem modalności, to przez poszczególnych obserwatorów może być postrzegana
przez pryzmat różnych epizodów, które się na nią składają. Pewne działania bywają przy tym częściej
niż inne uwzględniane lub pomijane w relacjach, co świadczy o różnicach wagi, jaką sprawozdawcy
przywiązują do działań różnych rodzajów.
Multimodality in reports on communication activities
Summary: The article presents selected results of the pilot part of an experimental study on reporting multimodal communication activities by adult speakers of Polish. The starting point of the experiment was theoretical and empirical research on the involvement of various modalities in communication activities, in addition to words, intonation, prosody, facial expressions, gestures, movements of the whole body and its parts (Austin 1962; Kendon 1994, 2000, 2004; Poggi 2007; Hellbernd & Sammler 2016).
In order to obtain data for the analysis, 23 fragments of documentary films from the collection of the Archives of the Film School in Łódź were presented to 101 adults, who differed in terms of age, sex and education. The participants of the experiment were asked to report on what the characters were doing. The result of the study was a database that included recordings of both the communication activities and the reports on them. The pilot part of the study covered the qualitative and quantitative analysis of 10 fragments of films. We analysed the meaning and reference of the vocabulary used by the participants to report on the multimodal communication activities observed in the films, the frequency of expressions used in the reports, as well as the discrepancies in the reports.
The analysis showed that if a given turn was a composition or a sequence of activities of different modalities, the speaker could report on each of these activities separately or use a single qualifier to describe a whole group of activities. Such qualifiers can be both the names of performative acts and the names of actions of any specific modality. If the conversation changes in terms of modality, then it can be perceived by individual observers through the lens of the various episodes that make up the conversation. Certain actions are sometimes more often taken into account or omitted, which shows differences in the level of importance that speakers attach to different types of activities.