Face value of companies: deep learning for nonverbal communication
Creators: name: Burgard, Sophie
Publisher: name: Humboldt-Universität zu Berlin
Year: 2017
Subjects: subject: neuronale Netze
subject: deep learning
subject: nonverbale Kommunikation
subject: Finanzwissenschaft
subject: unstrukturierte Daten
subject: multivariate Analyse
subject: convolutional neural networks
subject: nonverbal communication
subject: finance
subject: unstructured data
subject: multivariate analysis
subject: 330 Wirtschaft

description: Als Nebenerscheinung der Digitalisierung entstehen täglich gewaltige Mengen unstrukturierter Daten. Unstrukturierte Daten umfassen Video-, Sprach-, Text- und Bilddaten, welche für Menschen leicht zu interpretieren sind, aber für Computer eine Herausforderung darstellen. In den letzten Jahren wurde viel geforscht, um Text- und Sentimentanalysen in finanziellen Entscheidungsprozesse miteinzubeziehen. Textbasierte Analysen befassen sich mit dem verbalen Teil von Sprache, aber in der menschlichen Interaktion von Angesicht zu Angesicht kann nonverbale Kommunikation eine gleichwichtige Rolle in der Nachrichtenvermittlung spielen. Deep Learning ist eine vielseitige Methode, die in verschiedenen Anwendungen Maschinen kognitive Fähigkeiten verleiht. Diese Arbeit beschreibt den Aufbau von Deep Convolutional Neural Networks, mit der Fähigkeit zur Emotionserkennung in menschlichen Gesichtern. Diese Ergebnisse werden genutzt, um Videos der regelmäßigen Pressekonferenz der Europäischen Zentralbank zwischen 2011 und 2017 zu analysieren. Aus diesem Verarbeitungsschritt resultieren Gefühlswerte für 70 Pressekonferenzen und mehr als 200,000 einzelne Bildern. Es wird untersucht, inwiefern Informationen aus nonverbaler Kommunikation, gemessen in Gefühlsäußerungen, sich auf Bewegungen des Euro Stoxx 50 Index niederschlagen. Dieser 'face value' wird verglichen mit dem Wert der verbalen Äußerungen aus Basis entsprechender Literatur. Die Verwendung von Pressekonferenzen als Quelle unstrukturierter Daten und die Übertragung von nonverbaler Kommunikation auf Aktienkursbewegungen sind, nach bestem Wissen, bisher unbearbeitete Themen in der Forschung.
description: As a side effect of digitalization, a massive amount of unstructured data is generated every day. Unstructured data comprises video, speech, text, and image data, which are easy to interpret for humans - but can be challenging for computers. Financial research has been much engaged in recent history with decision-making based on textual or sentiment analysis. Textual analysis is based on the verbal part of communication, but in human interaction on a face-to-face level, nonverbal communication can play an equally important role in supporting a message. The interpretation of emotions in facial expressions is a major component of nonverbal communication. Deep learning is a versatile technique, that is used in numerous applications, providing somewhat cognitive capabilities for machines. This thesis describes how to build a deep convolutional neural network with the ability to detect emotions in faces. Different approaches in deep convolutional model designs are tested and evaluated. The results are then used to evaluate videos of the regular press conference of the European Central Bank between January 2011 and September 2017. This processing step results in emotional-scores of facial expressions from 70 press conferences and more than 200,000 single pictures. It is investigated whether information of nonverbal communication, measured in levels of emotional excitement, can be linked to the movements of the Euro Stoxx 50 index. This 'face value' is compared to the value of speech and accompanying research. Using image data from press conferences as source of unstructured data and transferring of nonverbal communication to stock markets are both topics that, to the best of found knowledge, have not yet been focused upon in research.