title: Self-supervised language models in journalism: quality perception of GPT-3-written articles
Creators: name: Häufglöckner, Lasse
Publisher: name: Hochschule Darmstadt
Year: 2023
Subjects: subject: 07 Publizistische Medien, Journalismus, Verlagswesen
subject: 15 Psychologie
subject: 40 Sprache

description: This experimental study investigates readers’ perceived text quality and trust towards journalistic opinion pieces written by the language model GPT-3. GPT-3 is capable of automatically writing texts in human language and is often referred to as an artificial intelligence (AI). In a 2x2x2 within- subjects experimental design, 192 participants were presented with two randomly selected articles each for evaluation. The articles were varied with regard to the variables actual source, declared source (in each case human-written or AI-written) and the topic (1 &amp; 2). Prior to the experimental design, participants indicated the extent to which they agreed with various statements about the trustworthiness of AI in order to capture their personal attitudes towards the topic. The study found for one, that readers considered articles written by GPT-3 to be just as good as those written by human journalists. The AI-generated versions were rated slightly better in terms of text quality as well as the trust placed in the content. However, the effect was not statistically significant. For another, no negative effect on article perception was found for texts disclosed as AI-written. Articles declared as written by an AI were mostly rated equally well or again minimally better than texts declared as human, especially regarding trust. Only the readability was rated slightly worse for the case of declaring the AI as a source. Furthermore, a correlation was found between the participants’ personal attitudes towards the topic of AI and their perception of allegedly AI-written articles. For articles declared as AI-written, there are slight to moderate positive correlations of the personal attitudes towards AI with each quality rating criterion. Personal preconception thus plays a role in the perception of AI-written articles.
description: Die vorliegende Experimentalstudie untersucht die von LeserInnen wahrgenommene Textqualität von journalistischen Meinungsbeiträgen, die von dem Sprachmodell GPT-3 geschrieben wurden, sowie das Vertrauen in diese Texte. GPT-3 ist in der Lage, automatisch Texte in menschlicher Sprache zu schreiben und wird häufig als künstliche Intelligenz (KI) bezeichnet. In einem 2x2x2 within-subjects Experimentaldesign wurden 192 Versuchspersonen jeweils zwei zufällig ausgewählte Artikel zur Bewertung vorgelegt. Die Artikel variierten hinsichtlich der Variablen "tatsächliche Quelle", "behauptete Quelle" (jeweils Mensch oder KI) und "Thema" (1 oder 2). Vor der Versuchsdurchführung gaben die Teilnehmenden an, inwieweit sie verschiedenen Aussagen über die Vertrauenswürdigkeit von KI zustimmen, um ihre persönliche Einstellung zum Thema zu erfassen. Die Studie ergab zum einen, dass die LeserInnen die von GPT-3 verfassten Artikel für genauso gut geschrieben befanden wie die von menschlichen JournalistInnen. Die KI-generierten Versionen wurden sowohl in Bezug auf die Textqualität als auch auf das Vertrauen in den Inhalt geringfügig besser bewertet. Der Effekt war jedoch statistisch nicht signifikant. Zum anderen wurde kein negativer Effekt auf die Qualitätsbewertung von jenen Texten festgestellt, die als von einer KI verfasst ausgegeben wurden. Angeblich KI-geschriebene Artikel wurden überwiegend gleich gut oder minimal besser bewertet als Texte, die als menschlich deklariert wurden. Lediglich die Lesbarkeit wurde in diesem Fall geringfügig schlechter bewertet. Darüber hinaus wurde ein Zusammenhang zwischen der persönlichen Einstellung der Befragten zum Thema KI und der Bewertung von vermeintlich von KI verfassten Artikeln festgestellt. Für die Bewertungen der angeblich KI-generierten Artikel fanden sich leichte bis mittlere positive Korrelationen mit den persönlichen Einstellungen zum Thema KI. Persönliche Vorurteile spielen also eine Rolle bei der Wahrnehmung von KI-geschriebenen Artikeln.