The impact of vocal expressions on the understanding of affective states in others
by Rebecca Jürgens
Date of Examination:2014-11-24
Date of issue:2015-03-17
Advisor:Prof. Dr. Julia Fischer
Referee:Prof. Dr. Julia Fischer
Referee:Prof. Dr. Hannes Rakoczy
Referee:Prof. Dr. Annekathrin Schacht
Files in this item
Name:PhD Thesis_ Rebecca Juergens_eDiss.pdf
Size:2.50Mb
Format:PDF
Description:Dissertation
Abstract
English
Understanding emotions of social partners is of fundamental importance in day-to-day life. Humans share their affective states and intentions not only by language, but also by facial expressions, body posture or tone of voice. Nonverbal emotional expressions are specified as being part of an emotional episode, which additionally consists of action tendencies including underlying autonomic changes and subjective feelings. Although the communication of emotions has been studied for decades, our understanding of what exactly is communicated and how it is processed is still far from complete. Emotional expressions are frequently produced to fulfil social requirements calling into question the reliability to infer actual emotional states. As recognizing expressions that accompany underlying emotions would be of relevance for subsequent behavior, the ability to detect emotional deception seems to be essential in emotional communication. Especially vocal expressions seem to be promising for revealing underlying emotions, due to the strong autonomic innervation of the vocal tract. Moreover, the recognition of emotions has been found not to be invariable but to depend on the speaker-listener relation. Sharing group membership, for example, positively affected emotion recognition, which might be caused by an attention-shift towards people of higher relevance but also by facilitated empathic concern. Successfully understanding others’ emotions is closely linked to mirroring or simulating the perceived emotion internally. Research in the field of affective neurosciences could demonstrate a shared neural network during attending and experiencing emotions, which is influenced by the social relevance of the individual showing the expression. The extent to which affect sharing is necessary on the behavioral level to recognize emotional expressions and whether it is positively affected by increased speaker’s relevance, is still debated. In this thesis, I investigated vocal emotion expressions, with the objectives to first understand the relation between spontaneous and play-acted expressions and second to broaden our knowledge about the importance of affect sharing and speaker’s relevance on emotion recognition. In the first part of this thesis, I compared the recognition of spontaneous and play-acted vocal expressions in a cross-cultural study. In contrast to spontaneous expressions, acted ones were assumed to be influenced by social codes and were therefore less accurately recognized in cultures other than the culture of origin. Alternatively, emotion recognition for both conditions might rest on a universal basis. This cross-cultural comparison was conducted using 80 spontaneous vocal expressions, recorded in emotional situations by a German radio station and the re-enactments by professional actors. Short excerpts of these speech tokens were presented to participants in Germany, Romania and Indonesia with the tasks to indicate the expressed emotion and the authenticity. Generally, participants were poor in distinguishing the encoding condition and German listeners were more accurate in both tasks, independent whether the expression was play-acted or not. Emotion recognition showed a comparable pattern across all cultures, speaking for a universal basis for both encoding conditions. Recognition accuracy for all emotions was low and authenticity affected only anger, which was more frequently recognized when play-acted and sadness, which was more accurately recognized when spontaneous. In the second part of this thesis, I aimed to understand the source of these differences and to disclose the importance of acting training on the credibility of emotion depiction. I added vocal expressions of acting-inexperienced people to the comparison, and conducted an additional acoustic analysis. Professional actors were predicted to be more suited to produce credible emotion expressions than inexperienced speaker. This was not confirmed, as professionally acted expressions were even more frequently recognized as being play-acted than the ones by inexperienced people. For professional actors I found the same pattern in the emotion recognition as in the cross-cultural study; while expressions by non-experienced speakers only deviated from the spontaneous ones by less accurate sadness recognition. Acoustically, the main difference was that acted expressions had a more vivid speech melody than the spontaneous ones. Both studies demonstrated a complex, universal interaction between emotion recognition and stimulus authenticity. Acted expressions were only poorly detected and not more stereotyped, and it was shown that acting inexperienced people were more suited to produce vocal expressions that resemble spontaneous ones than were professional actors. In the third part I focused on investigating the processes of recognizing the emotions of others. To this aim, I experimentally manipulated biographical similarity between fictitious speakers and the listener. I predicted that vocal expressions spoken by the more similar character would be recognized more accurately due to the increased social relevance of the speaker. In order to disclose the impact of affect sharing on emotion recognition, I additionally measured skin conductance responses (SCR) and pupil size, which account for autonomic reactions, while participants judged joyful, angry and neutral vocal expressions. Similarity affected neither the emotion recognition nor the autonomic measurements. Overall, emotional expressions did not trigger arousal related SCR, but emotion-related responses in pupil size. This finding indicates that affective processing does not involve the whole autonomic system and is not an essential component of recognizing emotions, at least when people only attend to vocal expression. Similarity might presumably affect emotion recognition in a more lifelike situation in which an actual tie can be established between both partners, not in a merely artificial setting. Empathic reactions presumably need a more holistic approach to be effective. My thesis concentrated on the understanding of emotional communication by regarding vocal expressions and I could show that attending to single emotion expressions is not sufficient to reveal the actual affective state of the sender in terms of differentiating acted from spontaneous expressions. Additionally, I demonstrated that vocal expressions do not evoke strong autonomic reactions in the listener. The communication of vocal emotion expression seemingly rests more on cognitive than on affective processing.
Keywords: emotions; vocal expressions; acting; empathy; authenticity; voice
Other Languages
Ein wichtiger Aspekt des täglichen sozialen Lebens ist das Erkennen von emotionalen Zuständen in unserem Gegenüber. Unsere Emotionen und Intentionen teilen wir nicht nur durch sprachliche Äußerungen mit, sondern auch über die Mimik, Körpersprache und den Tonfall in der Stimme. Diese nichtverbalen, emotionalen Ausdrücke sind Bestandteile einer Emotion, zu denen darüber hinaus das subjektive Empfinden, die Handlungsbereitschaft und die damit zusammenhängenden physiologischen Reaktionen gehören. Obwohl die emotionale Kommunikation schon seit Jahrzehnten im Fokus der Wissenschaft liegt, ist noch unklar, welche Bestandteile einer Emotion genau kommuniziert und wie diese Informationen verarbeitet werden. Zudem spielen emotionale Ausdrücke eine wichtige Rolle in sozialen Interaktionen und werden häufig bewusst verwendet, um sozial-angepasstes Verhalten zu zeigen. Damit ist ihre Reliabilität, die tatsächliche Gefühlswelt des Gegenübers wiederzugeben, fraglich. Das Erkennen von Emotionsausdrücken, die auf empfunden Emotionen basieren ist jedoch von enormer Wichtigkeit für die nachfolgenden Handlungen. Deswegen sollte die Fähigkeit, empfundene von gespielten Emotionen unterscheiden zu können, essentiell sein. Da vokale Ausdrücke durch Einflüsse des autonomen Nervensystems auf den Vokaltrakt gebildet werden, sind diese als besonders vielversprechend anzusehen, um zugrundeliegende emotionale Zustände aufzudecken.
Die Erkennung von Emotionen im Gegenüber ist nicht unveränderlich, sondern hängt unter anderem auch von der Beziehung zwischen dem Sprecher und dem Zuhörer ab. So konnte in einer früheren Studie gezeigt werden, dass bei Personen, die derselben Gruppe angehören, Emotionen besser erkannt werden konnten. Dieser Effekt lässt sich einerseits mit einer Aufmerksamkeitsverschiebung hin zu Personen mit erhöhter sozialer Relevanz deuten. Andererseits gibt es Erklärungsansätze, die auf eine erhöhte Bereitschaft für empathische Reaktionen hinweisen. Erfolgreiches Verstehen von Emotionen wird in der Forschungsliteratur eng mit dem Spiegeln oder dem Simulieren der wahrgenommen Emotion verknüpft. Die affektiven Neurowissenschaften zeigten bisher ein gemeinsames neuronales Netzwerk, welches aktiv ist, wenn Personen eine Emotion bei anderen wahrnehmen oder selber empfinden. Die neurale Aktivität in diesem Netzwerk wird zudem von der sozialen Relevanz der Person beeinflusst, welche die Emotion zeigt. Welches Ausmaß das Wiederspiegeln einer Emotion auf der Verhaltensebene hat um eine Emotion zu erkennen ist hingegen noch ungeklärt. Auch die Frage nach dem Einfluss des Sprechers auf die empathische Reaktion ist noch nicht abschließend geklärt.
In dieser Arbeit untersuchte ich vokale Emotionsausdrücke und versuchte zunächst das Verhältnis zwischen gespielten und spontanen Ausdrücken zu verstehen. Anschließend konzentrierte ich mich auf die Frage, welche Bedeutung das Teilen einer Emotion und die Relevanz des Sprechers auf die Emotionserkennung haben. Im ersten Teil dieser Arbeit verglich ich die Wahrnehmung von spontanen und gespielten vokalen Ausdrücken in einer interkulturellen Studie. Im Gegensatz zu spontanen Ausdrücken wurde angenommen, dass gespielte Ausdrücke vermehrt auf sozialen Codes basieren und daher von Hörern anderer Kulturen als der Herkunftskultur weniger akkurat erkannt werden. Alternativ könnte die Emotionserkennung beider Bedingungen universell sein. Dieser interkulturelle Vergleich wurde anhand von 80 spontanen Emotionsausdrücken durchgeführt, die von Menschen aufgenommen wurden, welche sich in emotionalen Situationen befanden. Die gespielten Stimuli bestanden aus den nachgespielten Szenen, die von professionellen Schauspielern eingesprochen worden. Kurze Sequenzen dieser Ausdrücke wurden Versuchspersonen in Deutschland, Rumänien und Indonesien vorgespielt. Die Versuchspersonen erhielten die Aufgabe anzugeben, welche Emotion dargestellt wurde und ob der Ausdruck gespielt oder echt war. Im Ganzen konnten die Versuchspersonen nur unzureichend angeben, inwieweit ein Ausdruck gespielt war. Deutsche Hörer waren in beiden Aufgaben besser als die Hörer der anderen Kulturen. Dieser Vorteil war unabhängig von der Authentizität des Stimulus. Die Emotionserkennung zeigte ein vergleichbares Muster in allen Kulturen, was für eine universelle Grundlage der Emotionserkennung spricht. Die Erkennungsraten im Allgemeinen waren schwach ausgeprägt und ob ein Ausdruck gespielt oder echt war, beeinflusste lediglich die Erkennung von den Emotionen Ärger und Trauer. Ärger wurde besser erkannt wenn er gespielt war und Trauer wenn sie echt war.
Der zweite Teil meiner Arbeit beschäftigte sich mit der Ursache für die oben erwähnten Unterschiede in der Emotionserkennung und untersuchte, welchen Einfluss Schauspieltraining auf die Glaubwürdigkeit der Emotionsdarstellung hat. Zu diesem Zweck erweiterte ich den Stimulus-Korpus um Emotionsausdrücke, die von schauspiel-unerfahrenen Sprechern eingesprochen wurden. Zusätzlich zu der Bewertungsstudie führte ich eine akustische Analyse der Sprachaufnahmen durch. Es wurde vorhergesagt, dass professionelle Schauspieler besser geeignet seien als schauspiel-unerfahrene Sprecher, um glaubwürdig Emotionsausdrücke zu generieren. Diese Vorhersage konnte jedoch nicht bestätigt werden. Die Ausdrücke der professionellen Schauspieler wurden im Gegenteil sogar häufiger als gespielt wahrgenommen als die der unerfahrenen Sprecher. Für die professionellen Sprecher konnte ich das Muster in der Emotionserkennung, welches sich in der interkulturellen Studie zeigte, replizieren. Die Ausdrücke der unerfahrenen Sprecher hingegen wichen nur in den geringeren Erkennungsraten für Trauer von den spontanen Ausdrücken ab. Der Haupteffekt der akustischen Analyse bestand in einer lebhafteren Sprachmelodie der gespielten Ausdrücke.
Im dritten Teil der Arbeit untersuchte ich den Prozess der Emotionserkennung. Zu diesem Zweck manipulierte ich in einem Experiment die biographische Ähnlichkeit zwischen fiktiven Sprechern und dem Hörer. Auf Grund der höheren Relevanz eines ähnlichen Sprechers, sollten emotionale Ausdrücke in der ähnlichen Bedingung besser erkannt werden als in der unähnlichen. Um den Einfluss des gemeinsamen Erlebens einer Emotion auf die Emotionserkennung festzustellen, zeichnete ich außerdem die Hautleitfähigkeit und die Pupillenveränderung auf, welches beides Marker für Reaktionen des autonomen Nervensystems sind. Währenddessen wurden den Versuchspersonen ärgerliche, freudige und neutrale vokale Ausdrücke präsentiert, welche sie zu bewerten hatten. Ähnlichkeit hatte weder einen Einfluss auf die Emotionserkennung noch auf die peripher-physiologischen Messungen. Die Versuchspersonen zeigten keine Reaktionen der Hautleitfähigkeit auf vokale Ausdrücke. Die Pupille hingegen reagierte emotionsabhängig. Diese Befunde deuten darauf hin, dass die affektive Verarbeitung nicht das gesamte autonome Nervensystem miteinschließt, zumindest nicht, wenn lediglich die Stimme verarbeitet wird. Das Teilen einer Emotion scheint demnach kein notweniger Bestandteil des Verstehens oder der Erkennung zu sein. Die Ähnlichkeit zwischen Sprecher und Hörer könnte die Emotionsverarbeitung in einer lebensnahen Umgebung beeinflussen, in der eine persönliche Verbindung zwischen beiden Interaktionspartnern möglich ist, nicht hingegen in einer mehrheitlich artifiziellen Manipulation. Empathische Reaktionen brauchen um wirksam zu werden einen ganzheitlicheren Ansatz.
Meine Arbeit konzentrierte sich auf das Verständnis von emotionaler Kommunikation in Bezug auf vokale Emotionsausdrücke und konnte zeigen, dass das bewusste Hören einzelner, kontextfreier Emotionsausdrücke nicht ausreichend ist um auf tatsächliche emotionale Zustände rückschließen zu können. Dies wird durch die fehlende Differenzierung von gespielten und spontanen Emotionsausdrücken deutlich. Darüber hinaus konnte ich aufzeigen, dass vokale Emotionsausdrücke im Hörer keine starken Reaktionen des autonomen Nervensystems auslösen. Die Kommunikation mittels vokaler emotionaler Ausdrücke scheint daher vermehrt auf kognitiven als auf affektiven Prozessen zu basieren.