Når algoritmer styrer nyhedsstrømmen. YouTube-anbefalinger under folketingsvalget i 2019
Forfattere: Arjen van Dalen
Tidsskrift: politica (2021-05-03)

## Arjen van Dalen

## Når algoritmer styrer nyhedsstrømmen. YouTube-anbefalinger under folketingsvalget i 2019 1

Hvad folk ser og læser i medierne, bestemmes ikke længere kun af journalister, men i stigende grad af algoritmer. Disse algoritmer vælger, sorterer og prioriterer vores information. Automatiserede processer, som fx YouTubes anbefalingsalgoritme, påvirker den måde, vi ser verden på. Et vigtigt demokratisk spørgsmål er derfor,  om  YouTubes anbefalingsalgoritme eksponerer publikum incidentalt for politisk information, efter at man har set underholdningsindhold, og om algoritmen skaber en filterboble ved primært at anbefale indhold med et lignende politisk perspektiv. Under det danske folketingsvalg i 2019 var anbefalingsalgoritmen mere tilbøjelig til at føre seere væk fra end hen imod nyheder med politisk indhold. Når folk havde set en video, der var uploadet af de politiske partier Venstre eller Stram Kurs, blev de af algoritmen primært anbefalet videoer fra de samme partier, hvilket kan medføre, at de bliver bekræftede i forudindtagne holdninger (bekræftelsesbias). For andre partier var dette mindre tilfældet. Kun i begrænset omfang fører anbefalingsalgoritmen seere fra mainstream til ekstremt højreorienteret indhold.

Nøgleord: algoritmer, filterboble, YouTube, folketingsvalg 2019, selektiv eksponering

I  demokratisk-korporative  mediesystemer  som  det,  vi  har  i  Danmark,  bliver avis- og tv-brugere ofte eksponeret for nyheder, selv når de ikke udtrykkeligt har søgt efter dem (fx Andersen, Skovsgaard og Pedersen, 2019). Man kan ved en tilfældighed se aftennyhederne på tv, fordi de vises i pausen i en vigtig håndboldkamp eller et populært underholdningsshow. På samme måde kan man, når man søger efter nyheder om et bestemt politisk parti i avisen, falde over en artikel om et andet parti. Med andre ord giver mediesystemet en mulighedsstruktur , der udløser eksponering for forskelligartet politisk information (Esser et  al.,  2012;  Skovsgaard,  Shehata  og  Strömbäck,  2016).  En  sådan incidental , dvs, tilfældig, eksponering (fx Tewksbury, Weaver og Maddex, 2001) har positive demokratiske konsekvenser (Strömbäck, 2005), fordi den sørger for, at selv mennesker, der ikke er interesserede i nyheder som sådan, eksponeres for nyheder, og det udvider spændet af politiske synspunkter, som nyhedsforbrugerne udsættes for. Det kan udfordre deres perspektiver og politiske holdninger.

Hvad sker der med sådanne mulighedsstrukturer, når folk i stigende grad benytter sociale medienetværk som YouTube? I Danmark og andre vestlige lande er sociale medieplatforme blevet en relevant kilde til nyheder og politisk information (Schrøder, Ørsten og Eberholst, 2019). På disse netværk har algoritmer en stærk indflydelse på mulighedsstrukturen ved enten at styrke eller begrænse tilfældig eksponering. En algoritme kan defineres som 'et sæt definerede trin, der, hvis de følges i den rigtige rækkefølge, beregningsteknisk behandler input (instruktioner og/eller data) for at generere et ønsket resultat' (Kitchin, 2017: 16). Teknologipessimister frygter, at tilfældig eksponering bliver mindre almindelig, når folk i stigende grad benytter algoritmestyrede nyheder på sociale medier. Denne frygt er godt opsummeret i Eli Parisers (2011) fi lterboble -argument: (1)  På  sociale  medier  bliver  folk  næppe  udsat  for  information,  der  udfordrer deres verdensanskuelse, og (2) det skyldes algoritmer, der prioriterer indhold, der ligner indhold, som folk tidligere har interageret med, frem for mere forskelligartet indhold. Ved at prioritere information, der bekræfter folks verdensanskuelse, forstærker algoritmer folks tendens til at søge efter information, der flugter med deres eksisterende overbevisninger (fx Nickerson, 1998).

En sådan frygt har foranlediget en række undersøgelser, der analyserer, om algoritmer rent faktisk begrænser mangfoldigheden i den information, folk støder ind i på de sociale medier (fx Bakshy, Messing og Adamic, 2015; Flaxman, Goel og Rao, 2016). Denne forskning udfordrer generelt idéen om, at brugere af sociale medier lever i en filterboble og kun udsættes for information, de allerede er enig i (se Möller et al., 2008). Samtidig har undersøgelser været i stand til  at  isolere  den  effekt,  sociale  medie-algoritmer har på mangfoldighed. Undersøgelserne har vist, at algoritmer rigtignok begrænser snarere end udvider sandsynligheden  for  eksponering  for  forskellig  politisk  information  (Bakshy, Messing og Adamic, 2015; O'Callaghan et al., 2015). Disse fund understreger relevansen af at undersøge den direkte, kortsigtede effekt af sociale medie-algoritmer på mulighederne for tilfældig eksponering for forskellige typer politisk information.

Denne artikel undersøger en sådan effekt på YouTube i forbindelse med folketingsvalget  i  2019.  YouTube  er  en  social  medieplatform,  hvor  brugere  kan uploade og se videoer fra mange forskellige genrer. YouTube er en stadig vigtigere mediekanal, især blandt yngre generationer (Kalogeropoulos, 2018). Det gælder også for Danmark, hvor næsten halvdelen af internetbrugerne i alderen 16 til 24 år i 2018 dagligt brugte YouTube (Slots- og Kulturstyrelsen, 2018). Blandt danske gymnasieelever bruger ikke mindre end 90 pct. YouTube, og en tredjedel af disse gymnasieelever bruger YouTube som kilde til nyheder (Mehlsen, 2020: 13).

Når en bruger ser en video på YouTube, anbefaler platformen videoer, som brugerne kan se bagefter. I en analyse af, hvordan folk finder YouTube-videoer, konkluderede Zhou, Khemmarat og Gao (2010: 440), at 'den relaterede videoanbefaling er den vigtigste visningskilde for de fleste videoer på YouTube'.

Det rejser spørgsmålet, hvilken slags mulighedsstruktur YouTubes algoritme udgør for tilfældig eksponering for politisk information. Tidligere studier har primært undersøgt YouTubes anbefalingsalgoritme i sammenhæng med kanaler fra den yderste højrefløj eller andet ekstremistisk indhold (O'Callaghan et al., 2015; Schmitt et al., 2018). Vi ved mindre om, hvordan YouTubes algoritme påvirker informationsmangfoldigheden relateret til mere mainstream information, især i dansk sammenhæng. Denne artikel analyserer, hvor sandsynligt det er, at politisk information anbefales, efter at man har været eksponeret for ikkepolitisk information, og hvilket indhold der anbefales, når en YouTube-bruger har set politisk indhold. Det undersøges i forbindelse med folketingsvalget i 2019. Det er en periode, der er særlig relevant at undersøge på grund af den indflydelse, eksponering for politisk information potentielt har på, hvordan folk stemmer. Denne artikel har til formål at yde et empirisk bidrag ved at besvare følgende forskningsspørgsmål: Hvordan påvirker YouTubes anbefalingsalgoritme udvalget af anbefalet politisk information under folketingsvalget i 2019?

For at besvare dette spørgsmål undersøges effekten af YouTubes anbefalingsalgoritme på politisk information på tre dimensioner. For det første undersøges det,  om  YouTubes  algoritme  overhovedet  anbefaler  videoer  om  politik.  YouTube er både en underholdningsplatform og en politisk platform, og derfor opstår spørgsmålet, om YouTubes algoritme fører folk fra underholdningsvideoer hen imod politisk information eller snarere fra politiske videoer hen imod underholdning og afslapning. For det andet undersøges mangfoldigheden af den politiske information, som YouTube-brugere udsættes for. Får brugere anbefalet videoer med mange forskellige politiske perspektiver, eller anbefaler YouTube primært videoer, der forstærker det samme politiske perspektiv? Dette er vigtigt  at  undersøge  i  betragtning  af  ovenstående  bekymringer  over  filterbobler på sociale medier. For det tredje undersøges det, om YouTubes algoritme fører seere  fra  mainstreamindhold  til  ekstremistisk  politisk  indhold.  I  andre  sammenhænge er det blevet påvist, at YouTubes algoritme udsætter brugere for ikkemainstreaminformation, efter at de har set mainstreamindhold (fx Schmitt et al., 2018). Hvis det også er tilfældet for politisk information, har YouTubes algoritme en incidental eksponeringseffekt med negative demokratiske konsekvenser, da den ved et uheld vil udsætte brugerne for synspunkter, der ligger uden for, hvad der normalt opfattes som legitimt (Hallin, 1984).

For at undersøge effekten af YouTubes algoritme på disse tre dimensioner blev  der  indsamlet  anbefalinger  efter  (1)  underholdningsvideoer,  (2)  videoer om folketingsvalget og (3) videoer uploadet af politiske partier. De indsamlede anbefalinger ligner de anbefalinger, som en ny bruger af Youtube ville se. Der blev udført en indholdsanalyse for at afgøre, om de anbefalede videoer handlede om politik eller ej, og hvilke politiske partier de handlede om.

Artiklen er bygget op som følger. Næste afsnit redegør for tilfældig eksponering i  forbindelse  med  sociale  medier  med  fokus  på  YouTubes  anbefalingsalgoritmes potentielle indflydelse af. Herefter følger undersøgelsens design og resultaterne. Endelig gøres der rede for undersøgelsens bredere betragtninger og begrænsninger.

## Tilfældig eksponering på YouTube

Når folk ser nyheder eller bliver udsat for politisk information, selvom de 'ikke er motiverede til aktivt at søge efter det', taler vi om incidental eller tilfældig eksponering (Fletscher og Nielsen, 2018: 2452). På tv er eksponering for nyheder ofte et biprodukt ved at se tv, som er motiveret af andre faktorer, såsom et behov for afslapning. Stigningen i brugen af sociale medier skabte bekymringerne for, at mediebrugerne i mindre grad vil blive udsat for tilfældig eksponering af nyheder, især på grund af frygten for filterbobler, der, som nævnt i indledningen, skabes af algoritmer. I en gennemgang af litteraturen konkluderede Tucker et al. (2018: 18) imidlertid, at folk stadig tilfældigt støder på politisk information på sociale medier (se også Fletcher og Nielsen, 2018 for en oversigt). Ligeledes har flere undersøgelser udfordret tanken om, at eksponering for algoritmestyrede nyhedskilder fører til partipolitisk polarisering, fordi folk ikke længere udsættes for modsatte synspunkter (fx Boulliane, Koc-Michalska og Bimber, 2020). Fletcher og Nielsens undersøgelse (2018) er især interessant for denne artikel, da den undersøger tilfældig eksponering på tværs af flere sociale mediekanaler, inklusive YouTube. De konkluderer, at folk, der primært bruger Facebook, YouTube og Twitter til underholdning, stadig udsættes for flere onlinenyhedskanaler end folk, som ikke bruger disse sociale medier. De fandt frem til, at denne effekt er stærkere for YouTube end for Facebook, og at graden af tilfældig eksponering blandt YouTube-brugere varierer fra land til land.

Forskningen fra Fletcher og Nielsen (2018) understreger, at YouTube ikke kun er en underholdningsplatform, men også en politisk platform. YouTube er et websted til videodeling, der dukkede op i midten af 00'erne. Platformen tilbyder  en  platform,  hvor  folk  kan  uploade  deres  egne  videoer  og  danne  et fællesskab omkring emner og synspunkter, som ikke altid finder en platform i de traditionelle medier. Mens en stor del af indholdet på YouTube er brugerge- nereret, er de mest viste videoer generelt fra professionelle indholdsproducenter (Burgess og Green, 2018). Samtidig har platformen de samme karakteristika som en social medieplatform, der gør det muligt for publikum let at uploade eller dele videoer, udtrykke deres synspunkter i kommentarfeltet og at angive, om de synes om eller ikke synes om indholdet. YouTube inkluderer alle former for  videoindhold, der spænder fra kattevideoer til musikvideoer, gamere, der streamer deres spil, eller tutorials for skøjteløbere.

Udover at være en underholdningsplatform er YouTube også en platform for politisk relevant indhold, forstået som videoer om politik, statslige institutioner, internationale anliggender og aktuelle nyheder af almen interesse. Nyhedsorganisationer uploader videoer på platformen i et forsøg på at nå ud til det yngre publikum, der i stigende grad går væk fra traditionelle nyhedsudsendelser. Politiske partier og kandidater uploader også videoer på platformen for at nå ud til unge målgrupper, især i forbindelse med valgkampe (Gueorguieva, 2008). I praksis når kun enkelte videoer, der er uploadet på politiske partiers kanaler, et bredt publikum (Carlson og Strandberg, 2008). Alligevel skal man ikke undervurdere platformens politiske relevans. For det første vises politikere ikke kun i videoer på deres eget partis sider, men også i videoer med influencere, der når et overvejende yngre publikum (Mehlsen, 2020). For det andet kan virale YouTube-videoer,  der  afslører  mangler  hos  kandidater  eller  kritiserer  partier, volde stor utilsigtet politisk skade. For det tredje tilbyder YouTube en platform, hvor partierne kan undgå traditionelle nyhedsmedier. Forskning i Finland har vist, at især politikere fra mindre højreorienterede partier og populistiske partier drager fordel af denne mulighed (Carlson og Strandberg, 2008). Det stemmer overens med rækkevidden af andre ikketraditionelle politiske stemmer på YouTube, såsom folk der spreder konspirationsteorier (May, 2010).

## Effekter af YouT ubes algoritme

Når folk ser en YouTube-video, vælger dens anbefalingsalgoritme videoer, som den foreslår folk, at de kan se bagefter. Disse anbefalinger er angivet på højre side af skærmen eller under videoen, hvis videoen ses på en smartphone, og den øverste  anbefaling  afspilles  automatisk,  når  videoen  er  afsluttet,  medmindre brugeren vælger andet. Denne filtrerings- og prioriteringsalgoritme har en stærk indflydelse på, hvilket indhold folk ser. Davidson et al. (2010) rapporterede, at anbefalingerne havde en højere klikrate end andre videoer. Det er blevet rapporteret, at over 70 pct. af de videoer, brugerne ser på YouTube, er en konsekvens af deres anbefalingsalgoritme. 2

Algoritmer opfattes ofte som værende neutrale, da de på en systematisk måde følger  et  sæt  foruddefinerede  trin  uden  menneskelig  medvirken.  Ikke  desto mindre  advarer  forskere  mod  en  sådan  teknologisk  deterministisk  forståelse af nyhedsalgoritmer (Bucher, 2018; Gillespie, 2014). I stedet fremhæver de, at menneskelige værdier er indlejret i algoritmer. Når en søgemaskines algoritme bestemmer, hvilket søgeresultat der skal vises først, opfanger dette i sig selv en specifik forståelse af, hvad der er relevant. Bestemmes dette af, hvor mange andre mennesker der besøgte siden? Hvor meget tid andre brugte på den anbefalede side? Eller hvor sandsynligt er det, at folk bruger Google igen i fremtiden? Algoritmens designere bestemmer algoritmens kriterier og påvirker derved de værdier, der er indlejret i den information, brugerne udsættes for. Baseret på en indholdsanalyse af den information, Facebook har afsløret om algoritmen i patenter og andre kilder, kortlagde DeVito (2017) de værdier, som Facebooks algoritme bruger til at vælge information. Der blev identificeret ni facebooknyhedsfeedværdier, såsom information om venner på Facebook, eksplicitte og implicitte brugerpræferencer, samt hvor gamle facebookopslagene var. De fleste af disse værdier kunne sammenfattes under overskriften 'personlig relevans'.

De specifikke funktioner i YouTubes algoritme er strengt fortrolige og hemmelige. Anbefalingsalgoritmen er ikke statisk, da der årligt foretages hundreder af  små opdateringer til algoritmen. 3 Tidligere  studier  af  YouTube-algoritmen har undersøgt mangfoldigheden i anbefalingerne, og om der anbefales ekstremistisk indhold (fx O'Callaghan et al., 2015; Schmitt et al., 2018; Ribeiro et al., 2020).

Forskning har vist, at de videoer, der anbefales af YouTubes algoritme, efter man har set en bestemt video, har stor lighed med startvideoen. O'Callaghan og  kollegaer  (2015)  analyserede  relaterede  kanaler,  der  blev  foreslået  af  YouTubes algoritme, efter  at  have  set  forskellige  typer  ekstremt  højreorienterede kanaler (fx antiislam, nynazisme). De viste, at de fleste af de anbefalede kanaler tilhørte samme ekstremt højreorienterede indholdskategori. Således er disse resultater i tråd med det ovenfor beskrevne filterbobleargument.

Imidlertid  er  homogeniteten  i  videoanbefalinger  kun  en  del  af  historien. Forskning har også vist, at algoritmen ikke udelukkende anbefaler samme type indhold. Zhou, Khemmarat og Gao (2010) konkluderede, at YouTubes anbefalingsalgoritme 'hjælper med at øge den sammenlagte mangfoldighed af videovisninger'. Alligevel skal det overvejes, at selvom YouTube muligvis udvider omfanget af det indhold, brugerne får at se, er det anbefalede indhold ofte ikke radikalt anderledes end det oprindeligt sete indhold. I deres analyse af anbefalinger efter ekstremt højreorienteret indhold fastslog O'Callaghan et al. (2015), at et betydeligt antal anbefalinger, der ikke hørte ind under samme kategori af  ekstremt  højreorienteret  indhold,  tilhørte  andre  ekstremt  højreorienterede indholdskategorier. For eksempel vil en tysk nynazistisk kanal primært blive efterfulgt  af  anbefalinger  af  flere  nynazistiske  kanaler.  Den  næstmest  anbefalede indholdskategori ville være ikkeekstrem højreorienteret musik, men et betydeligt antal anbefalinger ville også være af ekstrem højreorienteret musik eller populistisk indhold. Forskningen tyder således på, at den mangfoldighed, som algoritmen introducerer, forbliver inden for grænserne.

Nylige  undersøgelser  har  vist,  at  YouTubes  anbefalingsalgoritme  også  kan bevirke, at seerne eksponeres for et sådant ekstremistisk indhold, efter de har set mere moderat indhold. Schmitt et al. (2018) viste, at anbefalingsalgoritmen ofte forbinder indhold, der har til hensigt at argumentere mod antimuslimske meninger, med antimuslimske videoer. Ribeiro et al. (2020) viser, at alternativt højreorienteret indhold kan nås gennem YouTubes anbefalinger fra mere moderat højreorienteret indhold.

## Forskningsspørgsmål

Mens YouTube bliver en stadig vigtigere politisk platform for vælgere og politikere, ved vi ikke meget om, hvordan YouTubes algoritme påvirker tilfældig eksponering under folketingsvalg. For at adressere dette hul i litteraturen undersøges følgende forskningsspørgsmål i sammenhæng med folketingsvalget i 2019.

Forskningsspørgsmål 1: Hvordan påvirker YouTubes anbefalingsalgoritme eksponeringen for politisk og offentligt indhold efter ikkepolitisk indhold og efter valgindhold?

Forskningsspørgsmål 2: Hvordan påvirker YouTubes anbefalingsalgoritme mangfoldigheden i de politiske synspunkter, der anbefales til publikum, efter at de har set en video fra et politisk parti?

Forskningsspørgsmål  3:  Fører  YouTubes  anbefalingsalgoritme  seere  fra mainstreamindhold videre til ikkemainstreamindhold?

Tre specifikke karakteristika ved folketingsvalget 2019 kan påvirke resultaterne af  undersøgelsen,  samt  hvor  meget  der  kan  generaliseres  til  andre  sammenhænge, hvilket skal tages i betragtning ved fortolkningen af resultaterne. For det første er Danmark et lille sprogområde, og Danmark har en stærk tradition for  public  service-mediekanaler,  som  fortsat  har  en  forholdsmæssig  stor  rækkevidde (fx Albæk et al., 2014). Derfor er der færre danske nyheder og mindre politisk indhold tilgængeligt på YouTube, end det kunne være tilfældet i andre lande, hvilket kan påvirke graden af tilfældig eksponering. For det andet har Danmark et flerpartisystem, og ved valget i 2019 var der 13 aktive partier. Det kan påvirke graden af tilfældig eksponering for forskellige politiske meninger. For det tredje var ét af de partier, der deltog i valget i 2019, partiet Stram Kurs fra den yderste højrefløj, hvis grundlægger og frontfigur, Rasmus Paludan, var en YouTube-personlighed.

## Metode

For at besvare forskningsspørgsmålene indsamlede og analyserede jeg videoer, der blev anbefalet af YouTubes algoritme. De anbefalinger, jeg samlede, ligner dem, YouTube ville anbefale, når man bruger YouTube for første gang. Disse anbefalinger  påvirkes  ikke  af  tidligere  brugerhistorik  eller  placering  (se  også O'Callaghan et al., 2015; Rieder, Matamoros-Fernández og Coromina, 2018). Derfor skal analysen ses som en grundlæggende forståelse af mangfoldigheden i YouTube-anbefalinger.

For at undersøge, hvordan YouTubes anbefalingsalgoritme påvirker indholdets mangfoldighed, gennemgik jeg følgende trin: valg af startvideoer (såkaldte seed-videoer); indsamling af anbefalinger til hver af disse seed-videoer; og indholdsanalyse af de anbefalede videoer.

## Valg af startvideoer

Først valgte jeg tre typer seed-videoer: 1) videoer med ikkepolitisk indhold; 2) videoer fra traditionelle mediekanaler om valget; og 3) valgvideoer uploadet af politiske partier (se tabel 1).

Der blev indsamlet data fem gange i løbet af den danske valgkamp i 2019. I begyndelsen af valgkampen (8.5.2019), en uge efter valgkampens start, to uger inde i valgkampen, tre uger inde i valgkampen og dagen før valget (6.4.2019).

Der blev brugt en målrettet prøveudtagningsstrategi for at inkludere populære ikkepolitiske seed-videoer. De tyve mest populære videoer på dagen i Danmark blev samlet for hver af de fem dataindsamlingsdage. Disse videoer blev fundet ved hjælp af 'Hot lige nu'-valget på YouTube. 93 af disse videoer, der ikke handlede om politik, blev brugt som seed-videoer i denne kategori.

Alle videoer om valget fra traditionelle mediekanaler 4 blev  inkluderet som seed-videoer i analysen. Disse videoer blev fundet ved at tjekke YouTube-kanalerne i de traditionelle danske nyhedsmedier og ved at søge på YouTube efter valgnyhedsvideoer ved hjælp af søgeudtrykkene 'folketingsvalg 2019' (og variationer), 'Lars Løkke Rasmussen', 'Mette Frederiksen' og navnene på hvert af de politiske partier, der deltog i valget. Kun traditionelle mediekanaler blev overvejet, og andre typer indholdsskabere, såsom vloggers eller influencere, blev ikke inkluderet. Traditionelle mediekanaler blev defineret som 'ældre massemedier, der traditionelt udfører en dagsordensrolle' (Van Dalen, 2019: 6), og som har stor lighed i praksis og output på tværs af mediekanaler, fordi journalisterne følger lignende organisatoriske og professionelle rutiner (fx Cook, 1998). Dette resulterede i tredive seed-videoer med nyheder om valget og tyve valgvideoer i infotainmentgenren, defineret som præsentation af information om politik og samfundsrelevante emner på en måde, der er beregnet til at være underholdende (fx Brants og Neijens, 1998). Da disse tal var relativt lave, blev hver af disse videoer brugt som seed-video.

For det tredje blev der anvendt en kvoteudtagningsstrategi for at inkludere videoer uploadet af politiske partier under valgkampen. Der var stor variation i antallet af videoer, der blev uploadet af de forskellige partier - og helt op til 104 videoer uploadet af Stram Kurs. I alt 94 partipolitiske videoer blev brugt som seed-videoer, inklusive op til 18 videoer pr. parti. 5

Tabel 1 : Oversigt over seed-videoer og skrabede anbefalinger

| Seed-videotype         | Prøveudtagningsstrategi                                                                             |   Antal seed-videoer |   Antal anbefalede videoer der blev skrabet |   Antal ikke- tilgængelige anbefalinger |
|------------------------|-----------------------------------------------------------------------------------------------------|----------------------|---------------------------------------------|-----------------------------------------|
| Ikkepolitisk           | Ikkepolitiske videoer blandt de 20 mest po- pulære videoer fem dage under valget                    |                   93 |                                         930 |                                      38 |
| Valgnyheder            | Alle nyhedsvideoer om folketingsvalget der blev uploadet af traditionelle mediekanaler under valget |                   30 |                                         287 |                                      18 |
| Infotainment           | Alle infotainmentvideoer om valget der blev uploadet af traditionelle mediekanaler under valget     |                   20 |                                         196 |                                      13 |
| Politiske partivideoer | Kvoteudtagning på videoer uploadet af politiske par- tier under valget                              |                   94 |                                         881 |                                      35 |

## Scraping af anbefalinger

For det andet blev der indsamlet anbefalinger ved hjælp af et Python-script og YouTube-dataværktøjer (Rieder, 2015). Denne dataindsamling fandt sted på de dage, hvor der blev indsamlet seed-videoer. Python-scriptet tilgår YouTube via YouTubes API og registrerede videoer, der anbefales af YouTubes algoritme for hver seed-video (se også O'Callaghan et al., 2015; Rieder, Matamoros-Fernàndez og Coromina, 2018). For hver seed-video blev ti anbefalinger analyseret. Et validitetstjek viste, at der var store ligheder mellem de ti anbefalinger, der blev fundet gennem Python-scriptet, og de første ti anbefalinger, der blev vist, når man åbnede YouTube med en ren browserhistorik. Ti anbefalinger blev betragtet som et tilstrækkeligt stort antal til at opfange mangfoldigheden i videoanbefalinger, mens det på samme tid ligner antallet af anbefalinger vist ved siden af en video, når man surfer på YouTube på en computer, eller under en video, når man tilgår YouTube på en mobiltelefon.

## Kodning

I det tredje trin gennemførte to studerende med dansk som modersmål en indholdsanalyse  (Lacy  et  al.,  2015)  af  alle  seed-videoer  og  anbefalede  YouTubevideoer. De undersøgte, om videoerne handlede om politik eller infotainment, samt hvilke politikere der var med i videoen. Forud for analysen drøftede og testede  jeg  kodebogen  med  koderne  i  tre  træningssessioner.  Mellem  og  efter træningssessionerne  testkodede  koderne  77  ikkeundersøgelsesvideoer.  Kodningsfejl blev rettet, og tvivlssituationer blev drøftet.

Efter at kodetræningen var afsluttet, blev interkoderrealibilitetstesten udført baseret på 94 videoer, der ikke var med i datasættet (Krippendorff, 2018). De komplette kodningsinstruktioner findes som supplerede materiale til denne artikel.  En  sammenfattet beskrivelse af variablerne og kodningskategorierne er angivet her:

Emne (Krippendorffs Alfa .75) Politik og samfundsrelevante nyheder: inkluderer videoer om politik, statslige institutioner og internationale anliggender og aktuelle nyheder af bredere offentlig interesse, såsom økonomi, erhverv og internationale  anliggender; infotainment  eller  satire :  en  video,  der  præsenterer  information om politik eller samfundsrelevante nyheder på en måde, der er beregnet til at være underholdende, eller en video, der kritiserer politikere, statslige  institutioner,  politiske  partier  eller  politiske  idéer  på  en  humoristisk måde, især for at understrege et politisk synspunkt; læring : inkluderer videoer til uddannelsesmæssige formål og informative videoer om emner af almen interesse, såsom geografi, historie eller videnskab og teknologi - videoerne i denne kategori er ikke direkte knyttet til aktuelle nyheder på det tidspunkt, hvor videoen  blev  offentliggjort; andet :  videoer,  der  ikke  er  i  kategorien  politik  og samfundsrelevante nyheder, infotainment eller læring, dvs. primært videoer om underholdning, livsstil og afslapning.

Parti (Krippendorffs Alfa .94): Hvilket parti tilhører hovedpolitikeren i videoen? Kodet for hver af de tretten partier, der deltog i valget.

Underholdning (891)

## Resultater

Mere eksponering for underholdning end politisk indhold

For at finde ud af, hvordan YouTubes anbefalingsalgoritme påvirker eksponeringen  for  politisk  indhold,  efter  at  man  har  set  ikkepolitisk  indhold  og  efter valgindhold (forskningsspørgsmål 1), ser vi først på, hvilken type indhold YouTube anbefaler (se figur 1). Resultaterne viser, at YouTube-videoer primært efterfølges  af  anbefalinger  i  samme  indholdskategori.  Samtidig  er  det  meget forskelligt, i hvor stor udstrækning dette er tilfældet. 97 pct. af de anbefalede videoer, der følger en ikkepolitisk video, handler ikke om politik. Kun fire ud af de 891 analyserede anbefalede videoer efter ikkepolitisk indhold handlede udelukkende om politik, mens kun en enkelt lå inden for infotainmentgenren. Danskere, der brugte YouTube til underholdning under valget i 2019, blev således meget sjældent ført videre til en video om politik eller samfundsrelevante nyheder.

Hvis man følger anbefalingerne efter at have set en nyhedsvideo om valget eller en video af et politisk parti, vil man primært blive ført videre til politiske videoer.  51  pct.  af  de  anbefalede  videoer  efter  en  valgnyhedsvideo  hører  ind under kategorien politik og samfundsrelevante nyheder. For videoer, der følger videoer fra politiske partier, er dette endda 70 pct. Disse tal er dog meget lavere

Figur 1 : Anbefalet indhold efter seed-videoer i fire indholdskategorier

Note: Procentdel af anbefalede videoer i hver indholdskategori. Antal analyserede anbefalinger i parentes.

Venstre (59)

end de 97 pct. af lignende indhold efter ikkepolitisk indhold. En tredjedel af de anbefalede videoer efter valgnyheder vil føre seerne væk fra politisk indhold. For politiske partivideoer sker dette i omkring en fjerdedel af tilfældene. Selvom anbefalede videoer primært er inden for kategorien politik og samfundsrelevante nyheder, viste yderligere analyse, at mindre end halvdelen af disse videoer faktisk handler om det aktuelle valg.

Ved at blande underholdning og politik kan et infotainmentprogram udsætte et publikum, som ikke primært er motiveret for at lære mere om politik, for politisk indhold. Infotainment kan således fungere som en bagdør til politiske nyheder (Baum og Jamison, 2006). Analysen viser imidlertid, at YouTubes anbefalingsalgoritme snarere fører seerne væk fra end hen imod politisk indhold, efter at de har set infotainmentvideoer. To tredjedele af de anbefalede videoer handler ikke om politik, mens 21 pct. er i kategorien politik og samfundsrelevante nyheder. En tiendedel af de anbefalede videoer hører ind under kategorien infotainment, men disse videoer beskæftiger sig med politiske spørgsmål fra fortiden og ikke med det aktuelle valg.

Alt i alt viser analysen af den type indhold, som YouTubes algoritme anbefaler, at folk, der ser ikkepolitisk indhold, sjældent bliver anbefalet at se videoer med politisk indhold. Efter at have set politisk indhold er der større chance for, at  man  anbefales  mere  politisk  end  ikkepolitisk  indhold,  men  dette  indhold handler ofte ikke om det aktuelle valg.

Figur 2 : Anbefalet indhold efter videoer fra seks politiske partier

## Partibobler af forskellig størrelse

Om YouTube anbefaler politisk eller ikkepolitisk indhold er ét aspekt af dets algoritmes demokratiske konsekvenser. Et andet aspekt er, om YouTube bidrager til en filterboble ved primært at anbefale indhold med samme politiske perspektiv som startvideoen. Figur 2 viser, om videoer fra politiske partier efterfølges af flere videoer om dette parti; videoer om politik, der udvider seerens perspektiv, fordi de handler om andre politiske partier; eller videoer, der ikke handler om politik.  Seks  af  de  politiske  partier  uploadede  mindst  seks  videoer  i  løbet  af måneden op til valget og indgår i denne del af analysen.

Resultaterne viser stor variation i, i hvilken grad videoer fra politiske partier efterfølges af videoer fra samme politiske parti. For Venstre følges 85 pct. af anbefalingerne af videoer om samme parti. For Stram Kurs er dette tilfældet for 73 pct. af anbefalingerne. For Socialdemokratiet drejer det sig om mindre end halvdelen af de anbefalede videoer. For de andre tre partier fører YouTubes anbefalingsalgoritme primært seerne væk fra indhold om deres parti: Mindre end en fjerdedel af de anbefalede videoer til seere af indhold fra Alternativet, Enhedslisten og De Radikale handler om samme parti, og flere videoer handler om andre politiske partier.

Selvom det er klart,  at  YouTubes  algoritme  kan  bidrage  til  en  filterboble, er det mindre klart, hvorfor denne effekt er til stede for nogle partier og ikke for andre. En af forklaringerne kan være antallet af uploadede videoer og populariteten  af  videoerne  målt  i  antallet  af  seere.  Det  er  svært  at  identificere, om popularitet er en forklaring på antallet af anbefalinger, fordi de to er tæt forbundet med hinanden. Der var en stærk filterbobleeffekt for Stram Kurs, som uploadede flest videoer under valget (103). At uploade mange videoer synes imidlertid hverken at være en tilstrækkelig eller en nødvendig betingelse for, at algoritmen primært anbefaler egne videoer: Radikale Venstre uploadede ikke mindre end 71 videoer under valget, men relativt få blev anbefalet efter en video fra dette politiske parti. Venstre uploadede kun otte videoer under valget, men blev stadig anbefalet efter en Venstre-video. Forklaringen skal sandsynligvis findes i visningsmønstre for mennesker, der ser videoer fra de forskellige politiske partier. Hvis anbefalinger afspejler, hvad andre har set, antyder dette, at folk, der ser videoer fra Radikale Venstre, Alternativet og Enhedslisten, primært vælger at se andre typer indhold bagefter. For Venstre og Stram Kurs er dette i mindre grad tilfældet. Hvordan dette hænger sammen med en kombination af  karakteristika  ved  indholdet  (såsom  politisk  perspektiv,  professionalisme  i redigeringen, længde eller emne på videoerne) og seernes karakteristika (såsom social  klasse,  generation  eller  tid  brugt  på  YouTube)  kan  ikke  besvares  med dette forskningsdesign (se også Munger og Phillips, 2020).

## Fra mainstream til ikkemainstream indhold?

Et tredje aspekt, der skal overvejes, når man analyserer de demokratiske konsekvenser af YouTubes anbefalingsalgoritme under folketingsvalget i 2019, er, om anbefalingsalgoritmen  fører  seere  videre  fra  mainstreamindhold  til  mere ekstremt  indhold  (forskningsspørgsmål  3).  Stram  Kurs  var  et  nationalistisk, højreorienteret parti, der stillede op til folketingsvalget med en stærk tilstedeværelse på YouTube. Ud fra figur 2 kan vi se, at en Stram Kurs-video generelt blev efterfulgt af flere Stram Kurs-videoer.

Data viser dog kun til en vis grad, at YouTubes anbefalingsalgoritme fører seere fra mere mainstreamvideoer videre til ikkemainstream Stram Kurs-indhold. Som beskrevet ovenfor var fire anbefalede videoer efter det mest populære ikkepolitiske indhold politiske videoer. Hver af disse fire videoer omhandlede Stram Kurs, men dette var stadig mindre end en halv pct. af alle anbefalede videoer efter ikkepolitisk indhold. En anden indikator er, hvor sandsynligt det er, at en video fra Stram Kurs anbefales, efter at seerne har set en video fra et andet, mere traditionelt parti. Analysen viste, at 1,4 pct. af de anbefalede videoer efter en video fra andre, mere traditionelle parti handler om Stram Kurs. Til sammenligning handlede 0,8 pct. af de anbefalede videoer efter en video fra et andet parti end Venstre om Venstre. For Radikale Venstre var dette tal 1,4 procent. For de fleste andre partier var dette tal lavere end 0,5 pct. Mens det er højere end for de fleste partier, kan sandsynligheden for 1,4 pct. ses som et tegn på, at man skulle se ti videoer fra andre traditionelle partier, for at en Stram Kurs-anbefaling ville fremkomme blandt en af de ti første anbefalinger. Alt i alt gælder det, at mens YouTube var mere tilbøjelig til at anbefale videoer fra Stram Kurs end fra andre partier efter mainstreamindhold, var effekten, der blev fundet i denne undersøgelse, lille. Dette udelukker dog ikke muligheden for, at når folk først ser Stram Kurs eller andet højreorienteret indhold, vil de primært blive udsat for indhold med lignende perspektiver og dermed kunne udvikle mere radikale synspunkter gennem denne bekræftelsesbias og mangel på eksponering for information, der udfordrer deres verdensanskuelse.

## Diskussion

Mens der er megen debat om nyhedsalgoritmers konsekvenser for tilfældig eksponering, er forskning omkring dette knap, især i dansk sammenhæng. Denne artikel har undersøgt, om YouTubes anbefalingsalgoritme førte seerne væk fra eller  hen  imod  politisk  indhold  under  folketingsvalget  i  2019,  og  om  anbefalingsalgoritmen udvidede eller indsnævrede mangfoldigheden i de politiske synspunkter, som seerne kan blive udsat for. I tråd med filterbobleargumentet viser resultaterne, at algoritmen anbefaler mere af samme indhold. På samme tid  er  disse  effekter  asymmetriske,  da  effekterne  er  stærkere  for  nogle  typer indhold end for andre. Folk er mere tilbøjelige til at blive ført væk fra politisk indhold end hen imod politisk indhold. Efter at man har set en video uploadet af det politiske parti Venstre eller Stram Kurs, anbefaler algoritmen primært videoer fra de samme partier. For Alternativet, Enhedslisten og Radikale Venstre var algoritmen mere tilbøjelig til at føre seere væk fra videoer fra disse partier. Der blev ikke fundet meget bevis på, at anbefalingsalgoritmen fører seere fra mainstream indhold til ikkemainstream, højreorienteret indhold.

Man kan lave nogle bredere betragtninger om sociale mediealgoritmer ud fra denne undersøgelse. For det første opfordrer undersøgelsen os til at genoverveje, hvilke slags bias algoritmer introducerer. Frem for at tænke på bias med hensyn til, hvor ofte specifikt indhold anbefales på tværs af alle typer indhold, ser det ud til, at bias er til stede i den grad, hvor lignende indhold anbefales, efter at man har set en bestemt type video. Disse bias synes at være strukturelle, da data ikke gav nogen indikation af, at visse partier eller indholdstyper prioriteres med vilje. For det andet viser resultaterne, at platforme betyder noget. Frem for at fremsætte gennemgribende udsagn om virkningerne af 'algoritmen' generelt, vil den måde, algoritmer påvirker informationsmangfoldigheden på, variere fra platform til platform. Disse effekter skyldes ikke kun den måde, den specifikke algoritme fungerer på, men også den måde, brugerne interagerer med indholdet på, og hvad der er tilgængeligt. Dette bringer os til den tredje betragtning vi kan lære  af  fra  dette  studie:  Kontekst  har  stor  betydning  for  effekter  af  nyhedsalgoritmer. Resultaterne skal forstås i sammenhæng med folketingsvalget i  2019.  Stram  Kurs  havde  en  kraftig  tilstedeværelse  på  YouTube  under  dette valg, mens YouTube efter valget lukkede Stram Kurs' YouTube-kanal. Relativt få nyhedskanaler uploadede valgindhold på YouTube. Hvis undersøgelsen blev gentaget, efter at Stram Kurs-kanalen blev lukket, hvis flere nyhedsvideoer ville have været tilgængelige, eller hvis undersøgelsen blev gentaget i et større sprogområde, ville tilfældig eksponering måske være mere almindelig, og der ville blive  anbefalet  flere  videoer  med  mainstream  politisk  indhold.  Alligevel  bekræfter resultaterne den amerikanske undersøgelse foretaget af Chaslot (2016), som viste, at YouTubes algoritme primært anbefaler videoer med samme politiske indhold, og at denne effekt er mere fremtrædende for nogle partier end for andre, og at den er stærkest for en mere kontroversiel kandidat (Trump). En mere generel betragtning er, at frem for at diskutere algoritmers effekt på mangfoldighed i binære termer (tilstedeværende sammenlignet med fraværende; positiv sammenlignet med negativ), er der behov for en mere nuancereret tilgang.

Ved fortolkning af disse resultater skal der tages højde for begrænsninger i analysens eksterne validitet. De indsamlede anbefalinger tager ikke hensyn til seerhistorik eller seerens lokation. På en måde repræsenterer den, hvilke anbefalinger algoritmen ville give, hvis nogen så en YouTube-video for første gang. Fordelen ved dette er, at resultaterne ikke er idiosynkratiske for en bestemt bruger, men beskriver et mere generelt mønster af anbefalinger. På den anden side vil brugere i den virkelige verden besøge YouTube igen og igen, og anbefalinger vil blive påvirket af brugerhistorikken. Anekdotisk bevis tyder på, at dette fører til endnu flere tilfælde, hvor algoritmen anbefaler lignende typer indhold. 6 Fremtidig forskning kunne med fordel undersøge dette nærmere, fx ved at bruge forskellige personaer, der ser YouTube-videoer i henhold til et foruddefineret mønster, og følge op ved at sammenligne de anbefalinger, som hver af disse personaer modtager efter at have set den samme video. Alternativt kunne forskellige menneskers YouTube-adfærd overvåges og spore, både hvad de ser, hvad der anbefales, og hvilke videoer de valgte blandt anbefalingerne. Hver af disse metoder har sine egne validitetsudfordringer. Alligevel bør den nuværende undersøgelse helt sikkert suppleres med undersøgelser, der ser på, hvordan forskellige brugere vurderer anbefalinger fra YouTubes algoritme og vælger blandt disse anbefalinger.  Sådanne  undersøgelser  kunne  derefter  fokusere  nærmere  på  at følge flere trin i topanbefaling, som automatisk derefter afspilles. I den aktuelle undersøgelse blev tilfældig eksponering undersøgt ved at analysere anbefalinger efter de mest populære underholdningsvideoer på tidspunktet for dataindsamlingen.  Fremtidige  undersøgelser  kunne  analysere  tilfældig  eksponering  efter et bredere sæt underholdningsvideoer, som også inkluderer underholdningsvideoer, der hovedsageligt ses af et nichepublikum. En anden begrænsning er, at denne undersøgelse ikke har set specifikt på anbefalinger, der følger ekstreme politiske indholdskategorier, såsom antiislam eller nynazistisk indhold. Endelig var 148 anbefalede videoer ikke længere tilgængelige for analyse. Det kan være, at  nogle  af  disse  anbefalinger  blev  udelukket,  fordi  de  var  kontroversielle  og derfor blev fjernet.

YouTube er endnu ikke en så vigtig nyhedskilde som traditionelle kanaler, fx tv eller nyhedswebsteder. YouTubes rækkevidde vokser dog især blandt yngre generationer, og generelt streamer flere og flere mennesker onlineindhold. Dette understreger de vigtige demokratiske konsekvenser, som videoanbefalingsalgoritmer potentielt kan have. Hvis der var flere nyheder og mere politisk indhold på YouTube, ville det være mere sandsynligt, at netop det anbefales, hvilket dermed ville føre til mere tilfældig eksponering for mainstream politisk indhold. Dette kan være et incitament for traditionelle mediekanaler til at gøre mere af deres indhold tilgængeligt på YouTube, selvom antallet af individuelle nyhedsvideoer på YouTube ofte stadig er lavt. YouTube og andre medieplatforme kunne overvåge de demokratiske effekter af YouTubes algoritme. Hvor sandsynligt det er, at der foreslås nyheder og politisk indhold, om der opstår filterbobler, og hvilket politisk parti denne filterbobleeffekt er størst for, bør være relevante målinger, der skal overvejes, når anbefalingsalgoritmer udvikles og vurderes.

## Supplerende materiale

Supplerede materiale til artiklen findes her.

## Noter

1. Denne undersøgelse er en del af forskningsprojektet Algorithmic Gatekeepers, finansieret af Danmarks Frie Forskningsfond (bevilling 7015-00090B). Forfatteren vil gerne takke de to anonyme fagfællebedømmerne for deres feedback samt Kirstin Prescott og Ninna Jæger for kodning af YouTube-videoer og Julie Holmegaard Milland for hjælp til at færdiggøre artiklen. Undersøgelsen blev designet under et ophold på Hans Bredow Institute i Hamborg, og en tidligere version af artiklen blev præsenteret på ECREAs Political Communication Conference i 2019.
2. https://www.theverge.com/2017/8/30/16222850/youtube-google-brain-algorithmvideo-recommendation-personalized-feed; https://www.cnet.com/news/youtubeces-2018-neal-mohan/?referringSource=articleShare
3. https://www.theverge.com/2017/8/30/16222850/youtube-google-brain-algorithmvideo-recommendation-personalized-feed
4. Seed-videoer fra følgende traditionelle mediekanaler blev inkluderet i analysen: DR, TV 2, Kristeligt Dagblad, dk4 og Illustreret Videnskab
5. Ni partier uploadede 18 eller færre videoer under valgkampen. Hver af disse videoer blev  brugt  som  en  seed-video.  Radikale  Venstre  og  Stram  Kurs  uploadede  henholdsvis 71 og 105 videoer under valget. For at disse videoer ikke skulle dominere analysen, blev kun de første 14 uploadede videoer brugt som seed-videoer.
6. Fx https://www.nytimes.com/2020/04/16/technology/rabbit-hole-podcast-kevinroose.html

## Litteratur

- Albæk, Erik, Arjen Van Dalen, Nael Jebril og Claes H. De Vreese (2014). Political Journalism in Comparative Perspective . Cambridge: Cambridge University Press.
- Andersen, Kim, Morten Skovsgaard og Rasmus T. Pedersen (2019). The X Factor of opportunity structures: How grab and wrap effects of entertainment create inadvertent news audience in a high-choice media environment. European Journal of Communication 34 (5): 535-551.
- Bakshy, Eytan, Solomon Messing og Lada A. Adamic (2015). Exposure to ideologically diverse news and opinion on Facebook. Science , 348 (6239): 1130-1132.

- Baum, Matthew A. og Angela S. Jamison (2006). The Oprah effect: How soft news helps inattentive citizens vote consistently. The Journal of Politics 68 (4): 946-959.
- Boulianne, Shelley, Karolina Koc-Michalska og Bruce Bimber (2020). Right-wing populism, social media and echo chambers in western democracies. New Media &amp; Society 22 (4): 683-699.
- Brants, Kees og Peter Neijens (1998). The infotainment of politics. Political Communication 15 (2): 149-164.
- Bucher, Taina (2018). If ... Then: Algorithmic Power and Politics . Oxford: Oxford University Press.
- Burgess, Joshua og Jean Green (2018). YouTube: Online Video and Participatory Culture . Hoboken: John Wiley &amp; Sons.
- Carlson, Tom og Kim Strandberg (2008). Riding the Web 2.0 wave: Candidates on YouTube in the 2007 Finnish national elections. Journal of Information Technology &amp; Politics 5 (2): 159-174.
- [Chaslot, Guillaume (2016). YouTube's A.I. was divisive in the US presidential election. https://medium.com/the-graph/youtubes-ai-is-neutral-towards-clicks-but-is-biasedtowards-people-and-ideas-3a2f643dea9a](https://medium.com/the-graph/youtubes-ai-is-neutral-towards-clicks-but-is-biased-towards-people-and-ideas-3a2f643dea9a)
- Cook, Timothy E. (1998). Governing With the News: The News Media as a Political Institution . Chicago: University of Chicago Press.
- Davidson, James et al. (2010). The YouTube video recommendation system, pp. 293296 i Proceedings of the Fourth ACM Conference on Recommender Systems . https://doi. org/10.1145/1864708.1864770
- DeVito, Michael A. (2017). From editors to algorithms: A values-based approach to understanding story selection in the Facebook news feed. Digital Journalism 5(6): 753-773.
- Esser, Frank et al. (2012). Political information opportunities in Europe: A longitudinal and comparative study of thirteen television systems. The International Journal of Press/Politics 17 (3): 247-274.
- Flaxman, Seth, Sharad Goel og Justin M. Rao (2016). Filter bubbles, echo chambers, and online news consumption. Public Opinion Quarterly 80 (S1): 298-320.
- Fletcher, Richard og Rasmus K. Nielsen (2018). Are people incidentally exposed to news on social media? A comparative analysis. New Media &amp; Society 20 (7): 24502468.
- Gillespie, Tarleton (2014). The relevance of algorithms. Media Technologies: Essays on Communication, Materiality, and Society 167.  DOI: http://dx.doi.org/10.7551/mitpress/9780262525374.003.0009
- Gueorguieva, Vassia (2008). Voters, MySpace, and YouTube: The impact of alternative communication channels on the 2006 election cycle and beyond. Social Science Computer Review 26 (3): 288-300.

- Hallin, Daniel C. (1984). The media, the war in Vietnam, and political support: A critique of the thesis of an oppositional media. The Journal of Politics 46 (1): 2-24.
- Kalogeropoulos, Antonis (2018). Online news video consumption: A comparison of six countries. Digital Journalism 6 (5): 651-665.
- Kitchin, Rob (2017). Thinking critically about and researching algorithms. Information, Communication &amp; Society 20 (1): 14-29.
- Krippendorff, Klaus (2018). Content Analysis: An Introduction to Its Methodology . Newbury Park: Sage Publications .
- Lacy, Stephen, Brendan R. Watson, Daniel Riffe og Jeanette Lovejoy (2015). Issues and best practices in content analysis. Journalism &amp; Mass Communication Quarterly 92 (4): 791-811.
- May, Albert L. (2010). Who tube? How YouTube's news and politics space is going mainstream. The International Journal of Press/Politics 15 (4): 499-511.
- Mehlsen,  Camilla  (2020). Influencere  -  de  nye  unge  mediehuse .  Odense:  Mediernes Forsknings- og Innovationscenter, Syddansk Universitet. https://www.sdu.dk/-/media/images/om\_sdu/centre/journalistik/mfi/billeder/influencerrapport.pdf
- Möller, Judith, Damian Trilling, Natali Helberger og Bram van Es (2018). Do not blame it on the algorithm: An empirical assessment of multiple recommender systems and their impact on content diversity. Information, Communication &amp; Society 21 (7): 959-977.
- Munger, Kevin og Joseph Phillips (2020). Right-wing YouTube: A Supply And Demand  Perspective. The  International  Journal  of  Press/Politics .  DOI:  https://doi. org/10.1177%2F1940161220964767
- Nickerson, Raymond S. (1998). Confirmation bias: A ubiquitous phenomenon in many guises. Review of General Psychology 2 (2): 175-220.
- O'Callaghan, Derek, Derek Greene, Maura Conway, Joe Carthy og Pádraig Cunningham (2015). Down the (white) rabbit hole: The extreme right and online recommender systems. Social Science Computer Review 33 (4): 459-478.
- Pariser, Eli (2011). The Filter Bubble: What the Internet Is Hiding From You .  City of Westminster: Penguin Books.
- Ribeiro, Manoel H., Raphael Ottoni, Robert West, Virgilio A. Almeida og Wagner Meira  (2020).  Auditing  radicalization  pathways  on  YouTube,  pp.  131-141  i Proceedings of the 2020 Conference on Fairness, Accountability, and Transparency .
- Rieder, Bernhard (2015). YouTube data tools (version 1.10) [software]. Retrieved from YouTube Data Tools website: https://tools.digitalmethods.net/netvizz/youtube.
- Rieder, Bernhard, Ariadna Matamoros-Fernández og Óscar Coromina (2018). From ranking algorithms to 'ranking cultures' Investigating the modulation of visibility in YouTube search results. Convergence 24 (1): 50-68.

- Schmitt,  Josephine  B.,  Diana  Rieger,  Olivia  Rutkowski  og  Julian  Ernst  (2018). Counter-messages as prevention or promotion of extremism?! The potential role of YouTube: Recommendation algorithms. Journal of Communication 68 (4): 780-808.
- Schrøder, Kim C., Mark Ørsten og Mads K. Eberholst (2019). Danskernes brug af nyhedsmedier 2019 . Roskilde Universitet. https://doi.org/10.5281/zenodo.3243164
- Skovsgaard, Morten, Adam Shehata og Jesper Strömbäck (2016). Opportunity structures for selective exposure: Investigating selective exposure and learning in Swedish election campaigns using panel survey data. The International Journal of Press/Politics 21 (4): 527-546.
- Slots- og Kulturstyrelsen (2018). Kort nyt. Brug af sociale medier i 2018. https://mediernesudvikling.slks.dk/2018/kort-nyt/brug-af-sociale-medier-i-2018/ (18. september, 2020).
- Strömbäck, Jesper (2005). In search of a standard: Four models of democracy and their normative implications for journalism. Journalism Studies 6 (3): 331-345.
- Tewksbury, David, Andrew J. Weaver og Brett D. Maddex (2001). Accidentally informed:  Incidental  news  exposure  on  the  World  Wide  Web. Journalism  &amp;  Mass Communication Quarterly 78 (3): 533-554.
- Tucker, Joshua A. et al. (2018). Social media, political polarization, and political disinformation: A review of the scientific literature. Political polarization, and political disinformation: a review of the scientific literature (March 19, 2018). https://papers. ssrn.com/sol3/papers.cfm?abstract\_id=3144139
- Van Dalen, Arjen (2019). Rethinking journalist-politician relations in the age of populism: How outsider politicians delegitimize mainstream journalists. Journalism , DOI: https://doi.org/10.1177%2F1464884919887822.
- Zhou, Renjie, Samamon Khemmarat og Lixin Gao (2010). The impact of YouTube recommendation system on video views, pp. 404-410 i Proceedings of the 10th ACM SIGCOMM conference on Internet measurement .