ONEST (Observers Needed to Evaluate Subjective Tests) analysis of the
reproducibility of prognostic factors in breast cancer
Authors: Cserni Bálint 
Published: July 2023

A tézis alapját adó két közleményben egy viszonylag új, ONEST (Observers
Needed to Evaluate Subjective Tests; Szubjektív Tesztek Kiértékeléséhez
Szükséges Vizsgálók; Reisenbichler ES et al. Mod Pathol 2020;33:1746-1752) nevű
statisztikai módszert alkalmaztunk az ösztrogén receptor (ER), progeszteron
receptor (PR), Ki67, a hisztológiai grade, illetve a grade egyes komponenseinek
szubjektív értékelésekor meghatározott besorolás reprodukálhatóságának
vizsgálatára. Az értékelést 9 különböző tapasztalattal rendelkező patológus
végezte, akik 50 hengerbiopsziás (CNB), illetve 50 excíziós (EXC) mintán, az
odavonatkozó nemzetközi ajánlások alapján pontozták az ER, PR és Ki67 értékeket.
A grade és komponenseinek értékelése hasonló módon történt, szintén 9
patológussal, szintén 50 CNB, illetve 50 EXC mintán. A 9 patológus értékeléséből
származó eredményeken elvégeztük az ONEST elemzést, melyhez egy saját
fejlesztésű számítógépes programot használtunk. Az ER, PR és Ki67 értékek
esetében az eredeti ONEST 100 véletlenszerű permutációval számolt változatán túl
megvizsgáltuk azt is, hogy milyen eredményeket kapnánk, ha az ONEST-et mind a 9!
(9 faktoriális; 362880) permutációt figyelembe véve alkalmaznánk.
Megállapítottuk, hogy a 100, illetve az összes permutációból származtatott ONEST
között nincs szignifikáns eltérés. A munkánk során definiáltunk három ONEST-ből
származtatott értéket (sávszélesség, OPA(n), ONEST érték), melyeket
összehasonlítottunk az ER, PR és Ki67, a grade és komponensei, valamint a CNB és
EXC minták között. Ez alapján megállapítottuk, hogy az ER és PR
kategorizálásának reprodukálhatósági elemzése kevés (2-3) vizsgálóval már
megbízható, míg a Ki67 kategorizálásánál 4-6 vizsgáló szükséges a
reprodukálhatóság jó becsléséhez. Ki67 esetén – az elvárásokkal összhangban –
nagyobb vizsgálószám szükséges a három-, mint a kétkategóriás besorolás esetén.
Szintén megállapítottuk, hogy ER, PR és Ki67 esetén a reprodukálhatóság
általánosságban nem függ attól, hogy CNB vagy EXC mintákról van-e szó. A
hisztológiai grade ONEST elemzése során megállapítottuk, hogy 6 (CNB) vagy 7
(EXC) vizsgáló szükséges a reprodukálhatóság reális meghatározásához. Az
ONEST-ből származó OPA(9) (overall percent agreement, azaz a teljes egyezés
aránya mind a 9 vizsgáló esetén) értékeket összehasonlítottuk Kappa
statisztikából, illetve osztályon belüli korrelációs együtthatóból (intraclass
correlation coefficient, ICC) kapott eredményekkel is, melyekkel azokat
összhangban találtuk. Eredményeink tükrözik azt, hogy a grade mérsékelten
reprodukálható, illetve, hogy a grade komponensei közül a magpleomorfizmus
kategorizálása a legnehezebb. Megvizsgáltuk, hogy az ONEST által javasolt
minimális szükséges vizsgálószám hogyan van összhangban az irodalomban
fellelhető korábbi grade reprodukálhatósági vizsgálatok Kappa és OPA
eredményeivel, és megállapítottuk, hogy azok a vizsgálatok, melyeket az ONEST
értéknél kevesebb vizsgálószámmal végeztek, vagy ahol a Kappát páronként vett
vizsgálók alapján számolták, ott a reprodukálhatóság jobbnak tűnik, mint a
nagyobb vizsgálószám alapján számított értékeknél. A vizsgálataink során az
ONEST elemzések néhány korlátjára is rámutattunk. Akárcsak más
reprodukálhatósági mértéket, ezt is több tényező befolyásolja, mint például a
besorolási kategóriák száma, a vizsgált paraméter szélsőséges értékekhez közeli
vagy távoli eloszlása, a paraméter homogenitása vagy heterogenitása, a vizsgálók
tapasztalata és száma, az általános besorolástól következetesen eltérő vizsgálók
jelenléte… stb. Ezek miatt az ONEST elemzések eredményét is kellő
fenntartásokkal, becslés jellegűnek kell tekinteni.