# ROC-curve

In de signaaldetectietheorie is een ROC-kromme (Engels: receiver operating characteristic (ROC)) een grafiek van de gevoeligheid (sensitiviteit) als functie van de aspecificiteit (1 - specificiteit) voor een binaire classifier als zijn discriminatiedrempel wordt gevarieerd. De ROC kan ook worden weergegeven door de fractie van true positives (TPR = true positive rate) uit te zetten tegen de fractie van fout-positieven (FPR = false positive rate). De ROC-kromme staat ook bekend als de relative operating characteristic curve, omdat twee operating characteristics (TPR en FPR) met elkaar worden vergeleken terwijl het criterium (de drempel) verandert.
ROC-analyse kan gebruikt worden voor kosten-batenanalyse bij diagnostische besliskunde. Met ROC-analyse kunnen optimale modellen worden uitgekozen en minder goede verworpen. De ROC-kromme werd oorspronkelijk ontwikkeld door elektrotechnici en radartechnici in de Tweede Wereldoorlog om vijandelijke objecten te onderscheiden. Het vakgebied heet ook wel signaaldetectietheorie. Tegenwoordig wordt ROC-analyse al tientallen jaren toegepast in de geneeskunde, radiologie, psychologie en andere gebieden. Sinds kort wordt het ook gebruikt bij machinaal leren en datamining.

## Terminologie en afleidingen

In een voorspellingsprobleem met twee klassen (binaire klassificatie) zijn de uitslagen positief (p) of negatief (n). Een binaire classifier geeft vier resultaten. Als de uitslag p is en de echte waarde is ook p, dan hebben we een echt-positief (true positive, TP). Maar als de echte waarde n is hebben we een fout-positief (false positive, FP). Omgekeerd is er een echt-negatief (true negative, TN) als zowel de uitslag als de echte waarde n zijn en een fout-negatief (false negative, FN) als de uitslag n maar de echte waarde p is.
| Naam | Verklaring | Formule |
| Echt-positief (true positive, TP) | treffer | $TP$ |
| Echt-negatief (true negative, TN) | terechte verwerping | $TN$ |
| Fout-positief (false positive, FP) | vals alarm, type I-fout | $FP$ |
| Fout-negatief (false negative, FN) | gemist geval, type II-fout | $FN$ |
| Totaal positieven P | som van echt-positieve en fout-negatieve uitslagen | $P=TP+FN$ |
| Totaal negatieven N | som van echt-negatieve en fout-positieve uitslagen | $N=TN+FP$ |
| True positive rate (TPR) | trefkans, recall, sensitiviteit | $TPR=TP/P=TP/(TP+FN)$ |
| False positive rate (FPR) | gelijk aan kans op vals alarm, fall-out | $FPR=FP/N=FP/(FP+TN)$ |
| Nauwkeurigheid (ACC) | aandeel juiste uitslagen | $ACC=(TP+TN)/(P+N)$ |
| Specificiteit (SPC) of True Negative Rate | | $SPC=TN/N=TN/(FP+TN)=1-FPR$ |
| Positive predictive value (PPV) | gelijk aan precisie | $PPV=TP/(TP+FP)$ |
| Negative predictive value (NPV) | kans op echt-negatieve uitslag | $NPV=TN/(TN+FN)$ |
| False discovery rate (FDR) | kans op vals alarm | $FDR=FP/(FP+TP)$ |
| Matthews correlatie coefficient (MCC) | | $MCC={\frac {TP\times TN-FP\times FN}{\sqrt {(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}}$ |

## Voorbeeld

Als voorbeeld nemen we een medische test om te bepalen of iemand een bepaalde ziekte heeft. Een fout-positief is als de test positief uitvalt (dus patiënt heeft de ziekte volgens de test), maar de persoon in het echt niet ziek is. Een fout-negatief doet zich voor als iemand een negatieve uitslag krijgt, terwijl de ziekte toch aanwezig is.
We bekijken een proef met P positieve en N negatieve gevallen. De vier uitkomsten kunnen in een 2×2 contingency table of confusion matrix, weergegeven worden:
| | | echte waarde | echte waarde |
| | p | n | totaal |
| Voorspelling resultaat | p' | True Positive | False Positive | P' |
| Voorspelling resultaat | n' | False Negative | True Negative | N' |
| total | total | P | N |