title: Multimodal recognition in common marmosets
Creators: name: Jeon, Ilsong
Publisher: name: :none
Year: 2025

description: Multimodale Kommunikation spielt eine zentrale Rolle in der sozialen Organisation verschiedener Arten. Die multimodale Erkennung ist ein kognitiver Prozess, bei dem unterschiedliche sensorische Modalitäten integriert werden, um eine individuelle Repräsentation zu bilden. Dieser Prozess ermöglicht Tieren möglicherweise, ihre soziale Umgebung effektiver einzuschätzen. Während bei verschiedenen Arten gezeigt wurde, dass sie Artgenossen modalitätsübergreifend erkennen können, ist über die multimodale Erkennung von artfremden Individuen noch wenig bekannt. Ziel dieser Studie war es, festzustellen, ob Weißbüschelaffen (Callithrix jacchus) spezifische Menschen anhand zweier sensorischer Modalitäten - auditiver (Stimme) und visueller (Gesicht) Informationen - identifizieren können. Die Studie wurde mit 15 erwachsenen Weißbüschelaffen und vier menschlichen Teilnehmern durchgeführt: Zwei der Menschen waren den Affen vertraut, die anderen beiden waren ihnen unbekannt. Das Experiment umfasste vier Bedingungen: (1) vertraute menschliche Stimme und Gesicht stimmen überein, (2) vertraute menschliche Stimme und Gesicht stimmen nicht überein, (3) unvertraute menschliche Stimme und Gesicht stimmen überein, (4) unvertraute menschliche Stimme und Gesicht stimmen nicht überein. Wir erwarteten, dass Weißbüschelaffen multimodale Erkennung zur Wahrnehmung von Menschen nutzen und je nach Kongruenz zwischen menschlichen Gesichtern und Stimmen unterschiedliche Verhaltensweisen zeigen. Darüber hinaus vermuteten wir, dass die Affen die stärkste „Schreckreaktion“ zeigen würden, wenn die Modalitäten bei den vertrauten Menschen nicht übereinstimmen. Um diese Hypothese zu testen, wurden aufgenommene Videos kodiert und mittels Heatmaps sowie Hauptkomponentenanalyse (PCA) analysiert. Die PCA ergab jedoch keine klaren Cluster der Hauptkomponenten. Daher wurden einzelne Verhaltensweisen zwischen den Bedingungen mit dem Friedman-Test analysiert und für signifikante Ergebnisse anschließend Dunn’s Post-hoc-Tests durchgeführt. Wir fanden heraus, dass sich „Blickdauer“ (Gaze Duration) und „Kopf-Schwenkfrequenz“ (Head Swaying Frequency) zwischen den Bedingungen unterschieden, wobei die Affen hauptsächlich auf die Vertrautheit der menschlichen Teilnehmer reagierten. Entgegen unseren Vorhersagen hatte die Kongruenz der audio-visuellen Stimuli innerhalb der vertrauten Kategorie keinen signifikanten Einfluss. Diese Erkenntnisse tragen zu einem tieferen Verständnis der Fähigkeit von Weißbüschelaffen bei, individuelle Merkmale von Menschen zu erkennen, und bilden die Grundlage für zu-künftige Studien zur kognitiven Interaktion zwischen Menschen und nicht-menschlichen Primaten.
description: Multimodal communication plays a pivotal role in the social organization of various species. Multimodal recognition is a cognitive process by which different sensory modalities are in-tegrated to form an individual representation. This process may enable animals to more effec-tively assess their social surroundings. While a variety of species have been demonstrated to recognize conspecifics cross-modally, little is known about the multimodal recognition of hete-rospecifics. This experiment aimed to determine whether common marmosets (Callithrix jacchus) can iden-tify specific humans using two sensory modalities, auditory (voice) and visual (facial) informa-tion. The study was conducted with 15 adult individuals and involved four human participants: two of them were familiar to the marmosets, whereas the other two were unfamiliar. The expe-riment contained four conditions: (1) familiar human face-voice match, (2) familiar human face-voice mismatch, (3) unfamiliar human face-voice match, (4) unfamiliar human face-voice mis-match. We expected that marmosets would utilize multimodal recognition to perceive humans and ex-hibit behavioral differences based on congruency between human faces and voices. Additional-ly, we predicted them to exhibit the strongest ‘startle’ response when the modalities from fami-liar humans are mismatched. To test this hypothesis, recorded videos were encoded and analy-zed using heatmaps and PCA. However, PCA did not produce clear principal component clus-ters; therefore, individual behaviors were analyzed across conditions using the Friedman test, with Dunn’s post-hoc tests performed on behaviors showing significant Friedman test p-values. We found that "Gaze Duration" and "Head Swaying Frequency" differenced between conditi-ons, whereby the monkeys’ responded primarily to the familiarity with the human participants. In contrast to our predictions, the congruency of audio-visual stimuli within the familiar catego-ry had no significant effect. These findings contribute to a deeper understanding of marmosets' ability to recognize indivi-dual human characteristics and lay the groundwork for future studies exploring cognitive inter-actions between humans and non-human primates.