# Manuels des Analyses Psychométriques - Courbe ROC

Fabiana Queiroga

► To cite this version:

Fabiana Queiroga. Manuels des Analyses Psychométriques - Courbe ROC. LAPCOS., 2024. hal-04619260v2

HAL Id: hal-04619260

https://hal.science/hal-04619260v2

Submitted on 9 Oct 2024

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons Attribution 4.0 International License
UNIVERSITÉ
CÔTE D'AZUR

<figure><img src="image_2.png" /></figure>

<figure><img src="image_3.png" /></figure>

<figure><img src="image_4.png" /></figure>

Manuels des Analyses
**Psychométriques**

<figure><img src="image_5.png" /></figure>
UNIVERSITÉ
CÔTE D'AZUR

<figure><img src="image_6.png" /></figure>

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

Manuels des Analyses

Psychométriques

# Courbe ROC

## Receiver Operating Characteristic

Une production du Laboratoire d'Anthropologie et
de Psychologie Clinique, Cognitive et Sociale

Fabiana Queiroga

Ingénieure d'études

<figure><img src="image_9.png" /></figure>

2024
Table des matières

<table><tr><td>1. PRINCIPAUX CONCEPTS</td><td>2</td></tr><tr><td>1.1 DE QUOI S'AGIT-IL ?</td><td>2</td></tr><tr><td>1.2 COMMENT LE SEUIL EST-IL ESTIME ?</td><td>2</td></tr><tr><td>1.3 QUELS ELEMENTS SONT IMPLIQUES DANS L'ANALYSE ?</td><td>2</td></tr><tr><td>2. COMMENT LANCER L'ANALYSE</td><td>3</td></tr><tr><td>SUR LE LOGICIEL SPSS</td><td>3</td></tr><tr><td>SUR LE LOGICIEL JAMOVI</td><td>4</td></tr><tr><td>SUR LE LOGICIEL JASP</td><td>5</td></tr><tr><td>3. COMMENT INTERPRETER LES RESULTATS (OUTPUT)</td><td>6</td></tr><tr><td>4. COMMENT RAPPORTER LES RESULTATS</td><td>7</td></tr><tr><td>5. REFERENCES</td><td>8</td></tr></table>
# 1. Principaux concepts

## 1.1 De quoi s'agit-il ?

Une analyse visant à identifier un seuil (cutoff) pour séparer les groupes sur la base d'un critère clinique.

## 1.2 Comment le seuil est-il estimé ?

Pour que le seuil soit correctement identifié, les scores obtenus (avec l'instrument analysé) doivent être comparés à une variable dite "étalon-or" (gold standard). La variable "gold standard" est celle qui permet de classer cliniquement les individus (par exemple, les résultats d'un diagnostic psychiatrique).

## 1.3 Quels éléments sont impliqués dans l'analyse ?

Pour comprendre la courbe ROC, il faut connaître trois éléments principaux.

- Sensibilité : la probabilité d'estimer correctement qui a le diagnostic ;

- Spécificité : la probabilité d'estimer correctement qui n'a pas le diagnostic ;

- L'aire sous la courbe (Area Under Curve - AUC) : il s'agit de l'aire formée par la combinaison des deux probabilités (sensibilité et spécificité) et indique le pourcentage d'individus pour lesquels il n'y a pas de superposition des scores, c'est-à-dire le pourcentage de cas pour lesquels les scores de l'échantillon clinique sont en fait plus élevés que ceux de l'échantillon non-clinique.
## 2. Comment lancer l'analyse

Les analyses présentées dans cette section sont des exemples obtenus avec des bases de données fictives.

### Sur le logiciel SPSS

Dans le menu Analyze, il faut choisir l'option « Classify/ Roc Curve ».

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

Valeur du
groupe clinique
dans la variable
de gold standard
## 2. Comment lancer l'analyse

Les analyses présentées dans cette section sont des exemples obtenus avec des bases de données fictives.

### Sur le logiciel JAMOVI

Installation : https://jamovi.org/download.html

<figure><img src="image_12.png" /></figure>

Appuyez sur le bouton + pour installer le package *psychoPDA*.

<figure><img src="image_13.png" /></figure>

Dans le package *psychoPDA*, il faut choisir l'option « Test ROC »

<figure><img src="image_14.png" /></figure>

Scores du test

Gold standard

Valeur (s'il n'y a que des chiffres) ou texte (s'il y a des labels) du groupe clinique dans la variable de gold standard.

Gardez l'option "tous les scores observés" active pour obtenir le tableau avec les statistiques pour tous les scores.

<figure><img src="image_15.png" /></figure>

Les options Visualisation (Visualization) et Avancé (Advanced) peuvent être sauvegardées de cette manière.
## 2. Comment réaliser l'analyse

Les analyses présentées dans cette section sont des exemples obtenus avec des bases de données fictives.

### Sur le logiciel JASP

(Installation en : https://jasp-stats.org/download/)

<figure><img src="image_16.png" /></figure>

<figure><img src="image_17.png" /></figure>

Dans JASP, il existe trois façons d'estimer les valeurs : la méthode classique, où les valeurs sont données à l'avance (point estimates) et la méthode bayésienne, où les valeurs sont estimées à partir de simulations (uncertain estimates).

Dans l'option « load data and specify threshold », les valeurs sont estimées à partir de votre base de données.
## 3. Comment interpréter les résultats (output)

Les résultats présentés dans cette section sont des exemples obtenus avec des bases de données fictives.

<figure><img src="image_18.png" /></figure>

**Ligne nulle** : indique un seuil de 50 %. Ce que nous voulons, c'est un point de coupure qui s'éloigne de cette ligne.

**Seuil idéal** : c'est celui qui présente la plus grande sensibilité (axe des ordonnées) et la plus grande spécificité. Pour connaître la valeur de ce point, il faut analyser le tableau des scores.

### 1 - Specificity

Diagonal segments are produced by ties.

<figure><img src="image_19.png" /></figure>

The test Result variable(s): SCORE has at least one tie between the positive actual state group and the negative actual state group. Statistics may be biased.

a. Under the nonparametric assumption

b. Null hypothesis: true area = 0.5

**Valeur associée aux scores qui ne se superposent pas** : dans ce cas, la zone indique qu'il y a 89,9 % des cas où les scores de l'échantillon clinique sont plus élevés que ceux de l'échantillon non clinique. En d'autres termes, dans seulement 10,1 % des cas, les individus non cliniques ont des scores plus élevés que ceux considérés comme cliniques.

**Intervalle de confiance (95%)** : dans ce cas, il indique que si cette recherche est effectuée 100 fois, dans 95 d'entre elles la valeur de la courbe sera comprise entre 0,85 et 0,94.

### Coordinates of the Curve

Test Result Variable(s): SCORE

<table><thead><tr><th>Positive if<br>Greater Than<br>or Equal To<sup>a</sup></th><th>Sensitivity</th><th>1 - Specificity</th></tr></thead><tbody><tr><td>.0000</td><td>1.000</td><td>1.000</td></tr><tr><td>1.5000</td><td>.980</td><td>.600</td></tr><tr><td>2.5000</td><td>.940</td><td>.420</td></tr><tr><td>3.5000</td><td>.920</td><td>.360</td></tr><tr><td>4.5000</td><td>.900</td><td>.340</td></tr><tr><td>5.5000</td><td>.880</td><td>.280</td></tr><tr><td>6.5000</td><td>.860</td><td>.260</td></tr><tr><td>7.5000</td><td>.800</td><td>.120</td></tr><tr><td>8.5000</td><td>.660</td><td>.060</td></tr><tr><td>9.5000</td><td>.400</td><td>.020</td></tr><tr><td>11.0000</td><td>.000</td><td>.000</td></tr></tbody></table>

The test Result Variable(s): SCORE has at least one tie between the positive actual state group and the negative actual state group.

a. The smallest cutoff value is the minimum observed test value minus 1, and the largest cutoff value is the maximum observed test value plus 1. All the other cutoff values are the averages of two consecutive ordered observed test values.

**Intervalle de score** : il faut lire jusqu'à « la valeur indiquée de la ligne ».

La valeur de la sensibilité est indiquée directement, mais la valeur de la spécificité est indiquée inversement (1-spécificité).

Dans cet exemple, l'intervalle de scores allant jusqu'à 7,5 présente la sensibilité la plus élevée (0,80) et la spécificité la plus élevée (0,88 ; i.e. 1 - 0,12). Cela signifie que dans cet intervalle de scores, l'instrument est capable d'identifier 80 % des cas avec un diagnostic clinique et 88 % des cas sans diagnostic clinique.
## 4. Comment rapporter les résultats

Les descriptions présentées dans cette section sont des exemples de la présentation des indicateurs les plus importants. Les valeurs surlignées en gris doivent être remplacées par les résultats obtenus par chaque recherche, ainsi que par leur interprétation. Ce rapport peut être adapté en fonction de son objectif de publication (mémoire, thèse, revue scientifique avec des normes différentes, etc.).

Une analyse de la courbe ROC a été réalisée pour évaluer la sensibilité et la spécificité de l'échelle *nom d'échelle*. Au total, 200 sujets ont participé, 100 du groupe clinique et 100 du groupe non clinique. Les résultats ont montré une courbe statistiquement significative (AUC = 0,899, EP = 0,02 ; *p* < 0,01 ; IC 95 % = 0,855 - 0,942). C'est-à-dire que, lorsqu'ils sont choisis au hasard, 89,9 % (IC 0,855 - 0,942) des cas cliniques auraient des scores plus élevés que les cas non cliniques sur l'échelle *nom d'échelle* (Figure 1).

<figure><img src="image_20.png" /><figcaption>Figure 1 : Courbe ROC pour l'échelle *nom d'échelle*</figcaption></figure>

Le seuil qui maximise la sensibilité et la spécificité est 7/8 (c'est-à-dire les scores jusqu'à 7 et à partir de 8), avec une sensibilité de 0,80 et une spécificité de 0,88 (voir Tableau 1).
Tableau 1.

<table><caption>Coordonnées de la courbe ROC</caption><thead><tr><td>Positif si supérieur ou égal à</td><td>Sensibilité</td><td>1 - Spécificité</td></tr></thead><tbody><tr><td>.0000</td><td>1.000</td><td>1.000</td></tr><tr><td>1.5000</td><td>.980</td><td>.600</td></tr><tr><td>2.5000</td><td>.940</td><td>.420</td></tr><tr><td>3.5000</td><td>.920</td><td>.360</td></tr><tr><td>4.5000</td><td>.900</td><td>.340</td></tr><tr><td>5.5000</td><td>.880</td><td>.280</td></tr><tr><td>6.5000</td><td>.860</td><td>.260</td></tr><tr><td>7.5000</td><td>.800</td><td>.120</td></tr><tr><td>8.5000</td><td>.660</td><td>.060</td></tr><tr><td>9.5000</td><td>.400</td><td>.020</td></tr><tr><td>11.0000</td><td>.000</td><td>.000</td></tr></tbody></table>

Le *nom d'échelle* était plus à même de classer correctement les personnes sans *nom du diagnostic* (88 % des cas) que les personnes avec *nom du diagnostic* (80 % des cas).

## 5. Références

Friesen, L., Kroc, E., Zumbo, B. D. (2019). *Psychometrics & Post-Data Analysis: Test ROC.* [jamovi module]. Retrieved from https://github.com/lucasjfriesen/jamoviPsychoPDA.

Plateforme de Formation en Psychométrie – Psicometria Online Academy - https://psicometriaonline.com.br/

R Core Team (2021). *R: A Language and environment for statistical computing.* (Version 4.1) [Computer software]. Retrieved from https://cran.r-project.org. (R packages retrieved from MRAN snapshot 2022-01-01).

Rioult, F. (2011, January). Interprétation graphique de la courbe ROC. In *Extraction et Gestion des Connaissances (EGC'11)* (pp. 6-p).

The jamovi project (2022). *jamovi*. (Version 2.3) [Computer Software]. Retrieved from https://www.jamovi.org.

Thiele, C. (2019). *cutpointr: Determine and Evaluate Optimal Cutpoints in Binary Classification Tasks*. [R package]. Retrieved from https://cran.r-project.org/package=cutpointr.