Tillförlitlighet i testresultat

Svårighetersnivå ur programmeringssympunkt: 2

Innehåll från kurs: 1a, 1b, och 1c

Centralt innehåll som berörs: Granskning av hur statistiska metoder och resultat används i samhället och inom vetenskap. Begreppen beroende och oberoende händelser samt metoder för beräkning av sannolikheter vid slumpförsök i flera steg med exempel från spel och risk- och säkerhetsbedömningar.

Tagen från Skolverkets konferens i Umeå 14/9 2017

insänt av: Jennifer Litteral-Johansson

**Beskrivning**

Bob genomför ett test på ett naturläkemedel som påstås lindra migrän. 160 personer med migrän är med i studien, och lottas till antingen en försöksgrupp eller en kontrollgrupp så att det är 80 personer i varje grupp. Personerna i försöksgruppen får naturläkemedlet, medan de i kontrollgruppen får tabletter som ser ut och smakar likadant - men är bevisat verkningslösa mot migrän.

I försöksgruppen säger 40 personer att de mådde bättre av tabletten de åt. I kontrollgruppen är det bara 20 personer som tycker att de blivit hjälpta.

För att utvärdera resultatet vill Bob ta reda på hur sannolikt det är att de observerade resultaten uppstår av en slump. Av de 160 personerna som var med i studien var det totalt 60 som upplevde att tabletten de åt hjälpte (för både, tabletterna tillsammans). Hur sannolikt är det att de 60 personerna av slump är fördelade så att minst 40 personer hamnar i försöksgruppen?

**Förslag på upplägg för lösning**

Ett sätt att lösa problemet beskrivs nedan.

* Utgå från att 60 personer av 160 med migrän kommer att uppleva att en tablett kommer att hjälpa dem, även om tabletten är bevisat verkningslös.
* Slumpa var och av dessa 60 personer till antingen försöksgruppen eller kontrollgruppen.
* Kontrollera om det finns minst 40 personer slumpade till försöksgruppen.
* Upprepa slumpningen massor av gånger, och undersök hur vanligt det är att minst 40 personer hamnar i försöksgruppen.

**Kommentarer**

**Om kalkylprogram i uppgiften**: Uppgiften kan till viss del utforskas med hjälp av kalkylprogram - det går att göra en slumpvis fördelning av 60 personer in i två grupper, men det är svårt att upprepa slumpningen många gånger. Ett möjligt sätt att utforska problemet med kalkylprogram, istället på programmering, är att låta varje elev i en klass göra en eller ett par simuleringar och sedan samla in och undersöka de totala resultaten.

**Några möjliga diskussioner med elever med utgångspunkt i uppgiften**

* Uppgiften kan vara ett bra tillfälle att diskutera hur dubbelblinda studier genomförs, vilka förutsättningar som är viktiga, och varför designen anses vara bra för medicinska studier. Det kan också vara ett bra tillfälle att diskutera hur stort underlag man behöver ha för att kunna dra säkra slutsatser - och vad som räknas som säkra slutsatser.
* I uppgiften undersöks sannolikheten att få utfallet 40/20 för en verkningslös tablett. Är det samma sak som sannolikheten för att tabletten är verkningslös, givet utfallet 40/20?
* I lösningsförslaget antas att, om naturläkemedlet är verkningslöst, är det 37,5 % sannolikhet att en person känner sig hjälpt av att äta en verkningslös tablett - eftersom det var totalt 60 av 160 personer som kände sig hjälpta. Hur säker är den utgångspunkten?
* Hur påverkas sannolikheten att en lika skev fördelning uppstår på slump om det istället var 500 personer i studien?
* Anta att det istället skulle vara totalt 90 personer som känner sig hjälpta, fördelade enligt samma proportioner (60/30). Är det mer eller mindre sannolikt att en sådan fördelning uppstår på slump, jämfört med 40/20?