Interprétabilité et Explicabilité
Arthur Charpentier1
1 Université du Québec à Montréal

Équité des modèles, COVEA, Septembre 2022
– Je me demande ce que cherche ce type là-bas, demandai-je, désignant un grand individu
habillé simplement qui suivait l’autre côté de la rue, en examinant anxieusement lesnuméros. Il tenait à la main une grande enveloppe bleue et, de toute évidence, portait
un message.
– Vous parlez de ce sergent d’infanterie de marine ? dit Sherlock Holmes.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1 / 145

– Comment diable avez-vous pu deviner cela ? demandai-je.
– Deviner quoi ? fit-il sans aménité.
– Eh bien, qu’il était un sergent de marine en retraite ?
– Je n’ai pas de temps à perdre en bagatelles ! répondit-il avec brusquerie avant d’ajouter dans un sourire : excusez ma rudesse ! Vousavez rompu le fil de mes pensées. Mais c’est peut-être aussi bien. Ainsi
donc vous ne voyiez pas que cet homme était un sergent de marine ?
– Non, certainement pas !
–Décidément, l’explication de ma méthode me coûte plus que son application ! Si l’on vous demandait de prouver que deux et deux font quatre, vous seriez peut-être embarrassé ; et cependant,
vous êtes sûr qu’il en est ainsi. Malgré la largeur de la rue, j’avais pu voir une grosse ancre bleue
tatouée sur le dos de la main du gaillard. Cela sentait la mer. Il avait la démarche militaire et lesfavoris réglementaires ; c’était, à n’en pas douter, un marin. Il avait un certain air de commandement et d’importance. Rappelez-vous son port de tête et le balancement de sa canne ! En outre,
son visage annonçait un homme d’âge moyen, sérieux, respectable. Tous ces détails m’ont amené àpenser qu’il était sergent.

Conan-Doyle (1887) Une étude en rouge@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

2 / 145

AgendaExemple(s) en classification d’images
Régression et interprétation
Interprétation et identifiabilité
Comprendre sans prévoir, prévoir sans comprendre
Formalisations mathématiques@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

3 / 145

Interprétation et classification d’images

Quelles images correspondent à un 3, et à un 8 ?

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

4 / 145

Interprétation et classification d’images@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

5 / 145

Interprétation et classification d’images

Quelles images correspondent à un 3, et à un 8 ?  = 3 et  = 8@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

6 / 145

Interprétation et classification d’images

Quelles images correspondent à un 3, et à un 8 ?

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

7 / 145

Interprétation et classification d’images

Un peu de bruit peu (beaucoup) perturber l’algorithme (cf Elsayed et al. (2018))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

8 / 145

Interprétation et classification d’images

Parfois, l’algorithme peut être bien plus efficace que l’oeil humain@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

9 / 145

Interprétation et classification d’images
Le cas de l’apprentissage semi-supervisé est encore plus compliquée. Tenenbaum et al.
(2011) a introduit les “tufas”. Voici un exemple de tufa

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

10 / 145

Interprétation et classification d’images
Voici un autre exemple de tufa (selon Tenenbaum et al. (2011)) tufa tufa tufa tufa
tufa tufa tufa tufa

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

11 / 145

Interprétation et classification d’images
Et encore un autre tufa (toujours selon Tenenbaum et al. (2011)) tufa tufa tufa tufa
tufa tufa tufa tufa

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

12 / 145

Interprétation et classification d’images
C’est bon ? où sont les tufas sur l’image suivante ? tufa tufa tufa tufa tufa tufa tufa
tufa

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

13 / 145

Interprétation et classification d’images
Difficile ? pour pourtant, Tenenbaum et al. (2011) souligne qu’il y a un consensus fort
entre les personnes qui ont participé à l’expérience pour les identifier...

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

14 / 145

Interprétation et classification d’images
N’est-ce pas ce qu’on essaye de faire quand on entraîne un algorithme pour identifier
des dégâts des eaux sur des photos ?

... ou pour identifier des passages pour piétons, pour traverser ?

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

15 / 145

Interprétation et classification d’images
Il est possible d’utiliser des humains pour créer davantage de données labélisées(utilisation de captcha par exemple),

Mais ici, il est aussi possible d’expliquer ce qu’est un passage piéton@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

16 / 145

Explicabilité ? I

Dans les années 80, la Strategic Computing Initiative du département de la défense
américaine, lançait l’acronyme “EES (Explainable Expert Systems)”, l’adjectif“explainable” donnant le nom “explainability”, Swartout et al. (1991)“An explanation is an assignment of causal responsibility ”, Halpern and Pearl(2020a,b)“An explanation is an answer to a why-question ”, Lewis (1986), Dennett (1987) ou
Lipton (1990)
L’explicabilité est “la capacité, l’inclination ou l’aptitude à rendre clair ou
compréhensible, ou à expliquer le sens d’un algorithme”, Beaudouin et al. (2020)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

17 / 145

Explicabilité ? II
Selon les principes de Phillips et al. (2020),
I Explication : Un système fournit ou contient des preuves ou des raisons qui
accompagnent les sorties et/ou les processus.
I Significatif : Un système fournit des explications qui sont compréhensibles pourle(s) consommateur(s) visé(s).
I Exactitude de l’explication : Une explication reflète correctement la raison pourlaquelle le résultat est généré et/ou le processus du système.
I Limites des connaissances : Un système ne fonctionne que dans les conditions
pour lesquelles il a été conçu et lorsqu’il atteint un niveau de confiance suffisantdans ses résultats.
On parle d’explications contrastives quand elles sont en réponse à des contrefactuels,
Lipton (1990).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

18 / 145

Explicabilité ? III
Souvent, on ne se demande pas “pourquoi E s’est produit” mais plutôt “pourquoi E
s’est produit, et pas F” ?
Ou “commment la prédiction aurait été si l’entrée x avait été différente” ?
Si ma demande de prêt est rejetée, je ne veux pas forcément connaître l’ensemble desfacteurs qui motivent ce refus, mais plutôt comprendre qui devrait changer (ou aurait
du changer) pour obtenir le prêt. On veut le “contraste” entre ma demande, et une
demande proche qui aurait été acceptée.
On parle d’explications sélectionnées quand on se sélectionne qu’une ou deux causes(potentiellement ce choix est influencé par des biais cognitifs). L’identification descauses est appelée attribution.
On parle d’explications sociales si elles ont lieu les d’une interaction ou d’une
discussion. Elles sont alors souvent contextuelles@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

19 / 145

Explicabilité ? IV(source Gauld (2021))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

20 / 145

Explicabilité ? I
Effet Rashomon, Davis et al. (2015)“Rashomon ratio” de Semenova et al. (2022) ou“Rashomon set”, “a set of models which all performroughly equally well is called a Rashomon set”, Fisher
et al. (2019)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

21 / 145

Explicabilité ? II

On parle parfois d’interprétabilité “post-hoc”, Murdoch et al. (2019), car on tente decomprendre a posteriori, une fois le même construit, et calibré.
Lorsque nous sommes en mesure de choisir entre des modèles intelligibles et desmodèles de boîte noire aussi performants les uns que les autres, la meilleure pratiqueconsiste à choisir le modèle intelligible“When we’re able to choose between equally-performing intelligible and black box
models, the best practice is to choose the intelligible one”, Rudin (2019) (lesinformaticiens redécouvrent le principe de parcimonie).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

22 / 145

Explicabilité ? III
Pluralitas non est ponenda sine necessitate
Entia non sunt multiplicanda praeter necessitatem,
Guillaume d’Ockham, XIVe siècle“la parcimonie est un principe consistant à n’utiliser quele minimum de causes élémentaires pour expliquer unphénomène”

http://phdcomics.com

cf aussi overfit(sur-apprentissage)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

23 / 145

Régression et arbre (les “boites blanches”) I
I Modèle de régression (régression linéaire et logistique)
Régression linéaire, m(x) = β0 + x > β∂m(x)Dans ce cas, βj =(qui est ici constant, ∀x ∗ )∂xj x=x ∗Mais ce n’est plus le cas dans un modèle logistiquem(x) =

exp[β0 + x > β]
, interprété comme P[Y = 1|X = x],
1 + exp[β0 + x > β]∂m(x)= m(x ∗ )[1 − m(x ∗ )] · βj∂xj x=x ∗Pour un modèle probit (m(x) = Φ(β0 + x > β)),∂m(x)= ϕ(β0 + x ∗> β) · βj∂xj x=x ∗@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

24 / 145

Régression et arbre (les “boites blanches”) II

I Modèle de régression (régression linéaire et logistique)
Néanmoins, si on oublie la modélisation de la probabilité pourretenir une modélisation de la côte (odds),
c(x) = exp[β0 + x > β] interprété commeDans ce cas, βj =P[Y = 1|X = x]
P[Y = 0|X = x],∂ log c(x)
∂xj
x=x ∗

(qui est ici constant, ∀x ∗ )@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

25 / 145

Régression et arbre (les “boites blanches”) III

Un des avantages de la régression logistique (par rapport à de nombreuses approchesboîtes noires) est qu’elle prédit une classe, mais renvoie aussi une probabilité.
Expliquer un refus de crédit à une personne ayant une probabilité de défaut de 51% ou
de 97% n’est pas pareil.
(dans les SVM, la distance à la droite de séparation est utilisé comme un score qui
peut être ensuite interprété comme une probabilité - Platt scaling, Platt et al. (1999)
ou isotonic regression Zadrozny and Elkan (2001, 2002) – voir aussi Niculescu-Mizil
and Caruana (2005) “good probabilities")@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

26 / 145

Régression et arbre (les “boites blanches”) IV
I Arbres (de régression et de classification) CART
En lien avec les “Rules-Based Explanations”, Kuhn and Johnson (2013), Aasman(2019) ou van der Waa et al. (2021), “Rule-based explanations are if... then...
statements” (décrit dans un arbre, pas trop profond)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

27 / 145

Régression et arbre (les “boites blanches”) V

Les prédictions sont expliquées en décomposant le chemin de décision. On a de plus
automatiquement à chaque noeud un contrefactuel.
L’arborescence des arbres présente une visualisation naturelle, et facile à comprendre (àcondition de ne pas être trop profonds). Leur structure si ... alors ... est
proche de la manière dont on raisonne (à condition de ne pas avoir trop de règles).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

28 / 145

Régression et arbre (les “boites blanches”) VI
Bostock and Carter (2012) pour les élections américaines, ou l’arbre de décision desingénieurs,

Problème de non-robustesse des arbres (voir aussi non-identifiabilité)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

29 / 145

Régression et interprétation (1)Nt : nombre de cyclistes, par jour, à Helsinki, et Tt : température moyenne journalièreà Helsinki, Nt+1 = α0 + α1 Tt + εt+1 ou Tt+1 = β0 + β1 Nt + ηt+1 ?

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

30 / 145

Régression et interprétation (2)Nt : nombre de cyclistes, par jour, à Helsinki, et Tt0 : température moyenne journalière0à Berlin, Nt+1 = α0 + α1 Tt0 + εt+1 ou Tt+1
= β0 + β1 Nt + ηt+1 ?

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

31 / 145

Neural Networks (ou les “boites noires”) I
Belle and Papantonis (2021) oppose les “boîtes blanches” (transparentes), i.e. arbreset GLM aux “boîtes noires” (opaques), i.e. forêts, réseaux de neurones et SVM.
On parle parfois d’interprétabilité “post-hoc”, Murdoch et al. (2019), car on tente decomprendre a posteriori, une fois le même construit, et calibré.
Problème de non-robustesse, Mangal et al. (2019), et de non-identifiabilité. Pour
rappel, l’identiabilité d’un modèle signifie
θ1 6= θ2 =⇒ mθ1 6= mθ2 ou mθ1 = mθ2 =⇒ θ1 = θ2 .

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

32 / 145

Interprétation et identifiabilité I@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

33 / 145

Interprétation et identifiabilité II@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

34 / 145

Comprendre sans prévoir, prévoir sans comprendre I
Les méthodes de simulations ont beaucoup à voir avec lathéorie du chaos, “when the present determines the future,
but the approximate present does not approximately determine the future” Edward Lorenz, cité par May (2004)
comprendre sans prévoir
Les algorithmes de Monte Carlo sont basés sur desmodèles congruentiels (xn = f (xn−1 )),... déterministes mais impossible à prévoir
Alors que les réseaux de neurones ...
prévoir sans comprendre
discuté par Thom (1991)
souvent observé pour des algorithmes neuronaux profonds@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

35 / 145

Mise en oeuvre pratique, les données Titanic I

On va estimer plusieurs modèles sur les données 2195 (2207) observations, p = 8, pourprédire la survie (y ∈ {no, yes}, taux de survie ∼ 32%)
I régression logistique (glm) avec lissage de l’âge (gam)I arbre de classification (cart) et forêt aléatoire (rf)
I boosting (gbm) et support vecteur machine (svm)
On tente de comprendre la prévision pour deux personnes test, Kate et Leonardo,@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

36 / 145

Mise en oeuvre pratique, les données Titanic II
Les 6 modèles donnent non seulement une classification (survie ou pas) mais aussi unscore, interprété comme une “probabilité de survie”.
On va considérer deux personnes non-présentes dans la base d’apprentissage
I Kate (Miss. Winslet), femme, 17 ans, 1ère classe, 1 frère, 2 parents
I Leonardo (Mr. DiCaprio), homme, 20 ans, 3ème classe, ni frère, ni parents

Kate
Leonardo

glm
93.4%
12.5%

gam
91.3%
11.1%

cart
92.7%
15.6%

rf
85.4%
0.0%

gbm
84.9%
7.2%

svm
86.0%
17.6%

I Pourquoi Kate a de (très) grandes chances de survie ?
I Pourquoi Leonardo a de (très) faibles chances de survie ?
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

37 / 145

Ceteris paribus vs. Mutatis mutandis I
Considérons un modèle surpoids = m(poids, taille)
Ceteris paribus
Ceteris paribus (ceteris paribus sic stantibus) est la locution latine se traduisantpar toutes choses étant égales par ailleurs.
On pourrait regarderm(poids = x + dx , taille = y ) − m(poids = x , taille = y )@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

38 / 145

Ceteris paribus vs. Mutatis mutandis II
Mutatis mutandis
Mutatis mutandis est la locution latine se traduisant par ce qui devait être changé
ayant été changé ou une fois effectuées les modifications nécessaires.
On devrait tenir compte du fait qu’un individu de poids différent serait aussi,
probablement, de taille différentem(poids = x + dx , taille = y + ) − m(poids = x , taille = y )@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

39 / 145

Ceteris paribus vs. Mutatis mutandis III
Modèle Gaussien et espérances conditionnelles    2

X1
µ1
σ1
r σ1 σ2∼N,
X2µ2
r σ1 σ2σ22
r σ2 ∗
L’espérance conditionnelle vaut EX1 [X2 |x1∗ ] = µ2 +(x − µ1 )σ1 1
Et on notera EX ⊥ [X2 |x1∗ ] = E[X2 ] = µ2 .
1

1EX ⊥ [h(X1 , X2 )|x1∗ ] ≈1n

EX1 [h(X1 , X2 )|x1∗ ] ≈@freakonometrics

freakonometrics

1kV (x1∗ )kXnXh(x1∗ , xi,2 )

i=1
h(x1∗ , xi,2 ), où V (x1∗ ) = i : |xi,1 − x1∗ | ≤ i∈V (x1∗ )freakonometrics.hypotheses.org

40 / 145

Ceteris paribus vs. Mutatis mutandis IV
Soit (X1 , X2 , ε)> un vecteur Gaussien,    2

X1
µ1
σ1
r σ1 σ2 0X2  ∼ N µ2  , r σ1 σ2
σ22
0 
ε
0
0
0
σ2
Posons Y = β0 + β1 X1 + β2 X2 + ε.
EX [Y |x ∗ ] = EX [Y |x1∗ , x2∗ ] = β0 + β1 x1∗ + β2 x2∗

r σ2 ∗∗∗
EX1 [Y |x1 ] = β0 + β1 x1 + β2 µ2 +(x − µ1 ) mutatis mutandis
σ1 1EX ⊥ [Y |x1∗ ] = β0 + β1 x1∗ + β2 µ2 ceteris paribus
1de telle sorte que EX1 [Y |x1∗ ] = EX ⊥ [Y |x1∗ ] + β2
1

r σ2 ∗(x − µ1 )σ1 1

E[Y ] = β0 + β1 µ1 + β2 µ2@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

41 / 145

Variable Importance I
Saltelli et al. (2008), Helton and Davis (2002), Azen and Budescu (2003) ou Rifkin and
Klautau (2004) pour les arbres et les forêts aléatoires. Fisher et al. (2019) a proposé
VIj ou “permutation VIj ”
Étant donnée une fonction de perte `,VIj = E `(Y , m(X −j , Xj )) − E `(Y , m(X −j , Xj⊥ ))et la version empirique est
cj = 1VInn
X`(yi , m(x i,−j , xi,j )) − `(yi , m(x i,−j , x̃i,j ))i=1

pour une permutation x̃ j de x j .
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

42 / 145

Variable Importance II@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

43 / 145

Variable Importance III
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.0, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

44 / 145

Variable Importance IV
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.1, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

45 / 145

Variable Importance V
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.2, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

46 / 145

Variable Importance VI
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.3, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

47 / 145

Variable Importance VII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.4, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

48 / 145

Variable Importance VIII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.5, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

49 / 145

Variable Importance IX
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.6, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

50 / 145

Variable Importance X
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.7, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

51 / 145

Variable Importance XI
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.8, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

52 / 145

Variable Importance XII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0

0
1

avec r = 0.9, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

53 / 145

Variable Importance XIII

+ approche “agnostique”, indépendante du modèle utilisé
relativement simple à lire
− explication seulement globale@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

54 / 145

ICE (Ceteris-paribus) I
Mais au lieu de mesure globale, on va considérer maintenant des mesures locales.
Goldstein et al. (2015) a parlé de ICE individual conditional expectationz 7→ mx ∗ ,j (z)Ceteris paribus (ceteris paribus sic stantibus) est la locution latine se traduisantpar toutes choses étant égales par ailleurs, on considère la fonction sur Xj∗∗
z 7→ mx ∗ ,j (z) = m(x ∗−j , z) = m(x1∗ , · · · , xj−1
, z, xj+1, · · · , xp∗ )en un point x ∗ ∈ X .

KateLeonardo@freakonometrics

freakonometrics

glm
93.4%
12.5%

gam
91.3%
11.1%

freakonometrics.hypotheses.org

cart
92.7%
15.6%

rf
85.4%
0.0%

gbm
84.9%
7.2%

svm
86.0%
17.6%
55 / 145

ICE (Ceteris-paribus) IIx ∗ = Kate, j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

56 / 145

ICE (Ceteris-paribus) III
x ∗ = Leonardo, j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

57 / 145

ICE (Ceteris-paribus) IVx ∗ = Kate, j = classe, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

58 / 145

ICE (Ceteris-paribus) Vx ∗ = Leonardo, j = classe, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

59 / 145

ICE (Ceteris-paribus) VI
On peut alors regarder la fonction de déviation z 7→ δmx ∗ ,j (z) = mx ∗ ,j (z) − mx ∗ ,j (xj∗ )dmjcp (x ∗ )La déviation moyenne absolue de la jème variable, en x ∗ , est dmj (x ∗ ),dmj (x ∗ ) = E |δmx ∗ ,j (Xj )| = E |m(x ∗−j , Xj ) − m(x ∗−j , xj∗ )|c cp (x ∗ )dmj
La déviation moyenne absolue empirique de la jème variable, en x ∗ , est
c j (x ∗ ) = 1dmn@freakonometrics

freakonometricsnX|m(x ∗−j , xi,j ) − m(x ∗−j , xj∗ )|i=1

freakonometrics.hypotheses.org

60 / 145

ICE (Ceteris-paribus) VII
x ∗ = Kate, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

61 / 145

ICE (Ceteris-paribus) VIIIx ∗ = Leonardo, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

62 / 145

Break-down I
Pour un modèle linéaire
>b x ∗ = βb0 +b ∗ ) = βb0 + β
m(x

p
X

βbj xj∗ = y +

j=1

p
X


βbj xj∗ − x j
|
{z
}
j=1
=vj (x ∗ )où vj (x ∗ ) est la contribution de la variable j dans la prédiction pour x ∗ .
Plus généralement, Robnik-Šikonja and Kononenko (1997), (2003) and (2008),
la contribution de la jème variable, en x ∗ , est∗∗∗∗
vj (x ∗ ) = m(x1∗ , · · · , , xj−1
, xj∗ , xj+1
, · · · , xp∗ ) − EX ⊥ [m(x1∗ , · · · , xj−1
, Xj , xj+1
, · · · , xp∗ )]−jde telle sorte que∗m(x ) = E m(X) +pX

vj (x ∗ )j=1
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

63 / 145

Break-down II
donc pour un modèle linéaire vj (x ∗ ) = βj xj∗ − EX ⊥ [Xj ] et vbj (x ∗ ) = βbj xj∗ − x j .
−j

∗

∗

Mais plus généralement vj (x ) = m(x ) − EX ⊥ [m(x ∗−j , Xj ))], où on peut aussi écrire−jm(x ∗ ) sous la forme EX [m(x ∗ )], i.e.
 



EX m(X) x ∗ , · · · , x ∗ − E ⊥ m(X) x ∗ , · · · , x ∗ , x ∗ , · · · , x ∗
p
p
1
1
j−1
j+1
X
−j




vj (x ∗ ) =EX m(X) x ∗ − EX ⊥ m(X) x ∗−j−jγjbd (x ∗ )La contribution de la jème variable, en x ∗ , est
γjbd (x ∗ ) = vj (x ∗ ) = EX m(X) x ∗ − EX ⊥ m(X) x ∗−j−j@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

64 / 145

Break-down III“In other words, the contribution of the j-th variable is the difference between the
expected value of the model’s prediction conditional on setting the values of the first jvariables equal to their values in x ∗ and the expected value conditional on setting thevalues of the first j−1 variables equal to their values in x ∗ ”, Biecek and Burzykowski(2021).
+ approche “agnostique”, indépendante du modèle utilisé
approche intuitive et naturelle pour les modèles linéaires
pas trop complexe, numériquement− ceteris paribus, pas de prise en compte d’intéractions entre les variables x@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

65 / 145

Break-down IV

On a 20 points, et 2 modèles
avec 2 variables explicatives x1 , x2
constantex1∗ (0.9447)x2∗ (0.5045)
yb

mL
2.008
0.322
0.184
2.514

mNL
2.043
0.326
0.336
2.705

avec x 1 = 0.669 et x 2 = 0.289,
et yb = m(x ∗ )@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

66 / 145

Break-down V

pour le terme constant,n 1X
E m(X) ≈m(x i )
ni=1

constante@freakonometrics

mL
2.008

freakonometrics

mNL
2.043

freakonometrics.hypotheses.org

67 / 145

Break-down VI
Pour les contributionsn

EX ⊥ m(X1 , x2∗ )
2




1X
≈
m(x1,i , x2∗ )
n
i=1

n

 1X
EX ⊥ m(x1∗ , X2 ) ≈m(x1∗ , x2,i )1ni=1x1∗ (0.9447)

mL
0.322

mNL
0.326

x2∗ (0.5045)

mL
0.184

mNL
0.336

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

68 / 145

Break-down VII@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

69 / 145

Break-down VIIIx ∗ = Kate, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

70 / 145

Break-down IX
x ∗ = Leonardo, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

71 / 145

Break-down X
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.0, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

72 / 145

Break-down XI
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.1, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

73 / 145

Break-down XII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.2, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

74 / 145

Break-down XIII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.3, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

75 / 145

Break-down XIV
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.4, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

76 / 145

Break-down XV
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.5, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

77 / 145

Break-down XVI
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.6, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

78 / 145

Break-down XVIIOn simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.7, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

79 / 145

Break-down XVIII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.8, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

80 / 145

Break-down XIX
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.9, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

81 / 145

Break-down XX
On peut réécrire la contribution de la jème variable, en x ∗ ,
 



EX m(X) x ∗ , · · · , x ∗ − E ⊥ m(X) x ∗ , · · · , x ∗ , x ∗ , · · · , x ∗
p
p
1
1
j−1
j+1
X
−j




vj (x ∗ ) =EX m(X) x ∗ − EX ⊥ m(X) x ∗−j−j∆j|S (x ∗ )La contribution de la jème variable conditionnelle à un groupe de variables
S ⊂ {1, · · · , p}\{j}, en x ∗ , est





E ⊥ ⊥ m(X) x ∗ , xj∗ − E ⊥ m(X) x ∗
S
S
X
,X
X
S
S
j




∆j|S (x ∗ ) =EX ⊥m(X) x ∗S∪{j} − EX ⊥ m(X) x ∗SS∪{j}@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

S82 / 145

Break-down XXI

Aussi, pour S ⊂ {1, · · · , p}\{j}∆j|S (x ∗ ) = EX ⊥

S∪{j}





m(X) x ∗S∪{j} − EX ⊥ m(X) x ∗SSde telle sorte que vj (x ∗ ) = ∆j|{1,2,··· ,p}\{j} = ∆j|−j .
On peut aussi définir ∆K |S (x ∗ ), ou ∆i,j|S (x ∗ ) (interractions).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

83 / 145

Shapley Additive Explanations (SHAP) for Average Attributions I∀S ⊆ {1, . . . , p}, on dispose d’une fonction V(S),On cherche des contributions φj (V) – on notera φ = (φ1 , · · · , φp ) – qui vérifientpX
I efficiency:
φj (V) = V({1, . . . , p})
j=1

I symmetry: si V (S ∪ {j}) = V (S ∪ {k}) ∀S ⊆ {1, . . . , p} \ {j, k}, alors φj = φk
I dummy: si V (S ∪ {j}) = V (S) ∀S ⊆ {1, . . . , p}, alors φj = 0
I additivity: si V (1) et V (2) ont pour décomposition φ(1) et φ(2) , alors V (1) + V (2) apour décomposition φ(1) + φ(2)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

84 / 145

Shapley Additive Explanations (SHAP) for Average Attributions II

Shapley (1953) a montré que la seule contribution qui vérifie ces conditions est
X

φj (V) =S⊆{1,...,p}\{j}1
φj (V) =p@freakonometrics

freakonometrics|S|! (p − |S| − 1)!
(V (S ∪ {j}) − V(S))
p!

X



S⊆{1,...,p}\{j}freakonometrics.hypotheses.org

p−1
|S|

−1
(V(S ∪ {j}) − V(S))

85 / 145

Shapley Additive Explanations (SHAP) for Average Attributions III
On va utiliser ici V(S) = EX ⊥ m(X) x ∗SSγjshap (x ∗ )La contribution de la jème variable, en x ∗ , est
1γjshap (x ∗ ) =p

I local accuracy:p
X

X
S⊆{1,...,p}\{j}
p − 1 −1
∆j|S (x ∗ )|S|γjshap (x ∗ ) = m(x ∗ ) − E m(X)j=1

I symmétrie: si j et k sont interchangeables, γjshap (x ∗ ) = γkshap (x ∗ )I dummy: si Xj ne contribue jamais, γjshap (x ∗ ) = 0@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

86 / 145

Shapley Additive Explanations (SHAP) for Average Attributions IV
Si p = 2, γ1shap (x ∗ ) = ∆1|2 (x ∗ ) = γ1bd (x ∗ )Si p  2, les calculs peuvent vite devenir lourds. Štrumbelj and Kononenko (2014) ont
proposé une méthode par simulations.
À partir de x ∗ et d’un individu x i , on construit((xj∗0 avec probabilité 1/2x ∗+= (x̃i,1 , · · · , xj∗ , · · · , x̃i,p )ix̃i,j 0 =etx ∗−= (x̃i,1 , · · · , xi,j , · · · , x̃i,p )
xi,j 0 avec probabilité 1/2i∗−
et on note que γjshap (x ∗ ) ≈ m(x ∗+i ) − m(x i ), et doncγ
bjshap (x ∗ ) =

1
s

X

∗−
m(x ∗+i ) − m(x i )i∈{1,··· ,n}(on tire à chaque étape un individu i dans la base d’apprentissage, s fois).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

87 / 145

Shapley Additive Explanations (SHAP) for Average Attributions V@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

88 / 145

Shapley Additive Explanations (SHAP) for Average Attributions VI
Pour les données Titanic, pour Leonardo (break-down vs. Shapley contributions)intercept
age = 20class = 3rdembarked = S
gender = maleparch = 0
sibsp = 0prediction@freakonometrics

glm
0.324
0.031
-0.119-0.007-0.113
0.000
0.009
0.125

freakonometrics

gam
0.324
0.013
-0.118-0.007-0.112
0.001
0.010
0.111

cart
0.323
-0.018-0.0470.000-0.102
0.000
0.000
0.156

freakonometrics.hypotheses.org

rf
0.231
-0.015-0.0500.000-0.136-0.014-0.015
0.000

glm
0.324
0.045
-0.134-0.007-0.115
0.000
0.012
0.125

gam
0.324
0.025
-0.132-0.008-0.113
0.002
0.013
0.111

cart
0.323
-0.011-0.0690.000-0.089
0.000
0.003
0.156

rf
0.231
-0.018-0.070-0.013-0.120-0.010-0.0010.000

89 / 145

Shapley Additive Explanations (SHAP) for Average Attributions VII
x ∗ = Kate, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

90 / 145

Shapley Additive Explanations (SHAP) for Average Attributions VIIIx ∗ = Kate, m ∈ {glm, gam, cart, rf, gbm, svm} (with confidence boxplot)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

91 / 145

Shapley Additive Explanations (SHAP) for Average Attributions IX
x ∗ = Leonardo, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

92 / 145

Shapley Additive Explanations (SHAP) for Average Attributions X
x ∗ = Leonardo, m ∈ {glm, gam, cart, rf, gbm, svm} (with confidence boxplot)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

93 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XI
Sur l’ensemble de la base d’apprentissage,@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

94 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XII

Ces graphiques {(xi,j , γjshap (x i ))} sont dit “Shapley Dependence Plots”.
On peut aussi rajouter une couleur pour xi,k et on parle de Shapley interaction plot

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

95 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XIII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.0, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

96 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XIV
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.1, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

97 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XV
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.2, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

98 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XVI
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.3, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

99 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XVIIOn simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.4, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

100 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XVIII
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.5, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

101 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XIX
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.6, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

102 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XX
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.7, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

103 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XXI
On simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.8, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

104 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XXIIOn simule un modèle linéaire (n = 1000)
y = 1 + x1 + x2 + ε   
1 0 0
X1
0
X2 
0 0 1 r
  ∼ N   , X3 0 0 r 1
ε
0
0 0 0


0

0


0 
1

avec r = 0.9, on estime trois modèles
(1) y ∼ x1 + x2
(2) y ∼ x1 + x3
(3) y ∼ x1 + x2 + x3
modèle linéaire et forêt aléatoire, x ∗ = (1 1 1)>@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

105 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XXIII
Au lieu d’une vision locale (en x ∗ ) on peut avoir une vision globaleŠtrumbelj and Kononenko (2014) puis Lundberg and Lee (2017) ont proposé d’utiliser
cette décomposition pour expliquer la contribution de chaque variable.
γjshap
La contribution de la jème variable,
1γjshap =n@freakonometrics

freakonometrics

freakonometrics.hypotheses.orgnXγjshap (x i )i=1

106 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XXIV
shap ∗
γi,j(x )La contribution d’interaction de Shapley, entre les variables i et j, en x ∗ , estXγi,j (x ∗ ) =S⊆{1,...,p}\{i,j}|S|! (p − |S| − 2)!
∆i,j|S (x ∗ )2 p!

où
∆i,j|S (x ∗ ) = EX ⊥m(X) x ∗S∪{i,j} − EX ⊥m(X) x ∗S∪{j}S∪{i,j}
S∪{j}




∗
− EX ⊥
m(X) x S∪{i} + EX ⊥ m(X) x ∗S


S∪{i}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

S107 / 145

Shapley Additive Explanations (SHAP) for Average Attributions XXV+ approche “agnostique”, indépendante du modèle
garanties théoriques solides, local et global, si les contributions sont additives− peut être complexe à calculer, numériquement (donc lent)algorithmes rapides sur quelques modèles spécifiques (arbres)
problème des “unrealistic input”, Kumar et al. (2020)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

108 / 145

LIME I
Étant donné un modèle m sur X , on cherche (Ribeiro et al. (2016))
argmin `x ∗ (m, me ) + P(me )
me ∈E

où
I E est un sous-ensemble de fonctions X → R “explicables”
ou X̃ → R, où X̃ est un espace plus simple (space for interpretable representation)
I `x ∗ est une distance entre deux modèles au voisinage de x ∗I P est une fonction de pénalité, croissante en la complexité du modèle@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

109 / 145

LIME IIClassiquement, on peut utiliser un modèle linéaire (avec LASSO) ou des arbres.
On parle d’explicabilité par substitution (surrogate models) locale+ approche “agnostique”, indépendante du modèle
la représentation est (souvent) interprétable (transformation de X en X̃ )largement adoptée pour l’analyse des textes et des images (grâce à lareprésentation interprétable des données)− difficile de définir un voisinage robuste, Alvarez-Melis and Jaakkola (2018)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

110 / 145

LIME IIISur les données (xi,1 , xi,2 )@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

111 / 145

LIME IVx ∗ = Kate, j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

112 / 145

LIME Vx ∗ = Leonardo, j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

113 / 145

Local-diagnostic plots I
A partir de x ∗ , on cherche les plus proches voisins
On compare alors
I la distribution globale () des résidus
I la distribution des résidus des voisins de x ∗ ()pour la mesure de similarité de Gower (Gower (1971)), i.e.
|xi,j − xj∗ |p
X, si j continue
1dG (x i , x ∗ ) =dj (xi,j , xj∗ ), où dj (xi,j , xj∗ ) = max{xj } − min{xj }p1(x 6= x ∗ ), si j qualitative
j=1
i,j
j

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

114 / 145

Local-diagnostic plots II
x ∗ = Kate, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

115 / 145

Local-diagnostic plots III
x ∗ = Leonardo, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

116 / 145

Local-stability plots I+ outils classique en régression linéaire
− difficile à exploiter
I courbe — profile ceteris paribus de x ∗I courbe — profiles ceteris paribus des voisins de x ∗I courbes — et —, résidus positifs et négatifs des voisins de x ∗pour la mesure de similarité de Gower (Gower (1971))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

117 / 145

Local-stability plots II
x ∗ = Kate, j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

118 / 145

Local-stability plots III
x ∗ = Leonardo, j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

119 / 145

Local-stability plots IV
x ∗ = Kate, j = classe, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

120 / 145

Local-stability plots V
x ∗ = Leonardo, j = classe, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

121 / 145

Partial Dependence Plot I
Friedman (2001), dans le contexte du gradient boostingbj (xj∗ )Partial Dependence Plot pj (xj∗ ) et p
Le Partial Dependence Plot de la variable j est la fonction Xj → R
pj (xj∗ ) = EX ⊥ m(X)|xj∗
jet sa version empirique est
bj (xj∗ ) =p@freakonometrics

freakonometrics

n

n

i=1

i=1

1X
1X
m(xj∗ , x i,−j ) =mx i ,j (xj∗ )nn| {z }

freakonometrics.hypotheses.org

ceteris paribus

122 / 145

Partial Dependence Plot II+ intuitif, facile à comprendre− hérite de l’approche ceteris paribus
e.g. suppose l’indépendance entre les variables, pas d’effets croisés@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

123 / 145

Partial Dependence Plot III
j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

124 / 145

Partial Dependence Plot IV
j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

125 / 145

Partial Dependence Plot V
On peut regrouper les courbes par classes, j = âge@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

126 / 145

Partial Dependence Plot VI
on peut aussi construire des classes non-supervisées (k = 1), j = âge@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

127 / 145

Partial Dependence Plot VII
on peut aussi construire des classes non-supervisées (k = 2), j = âge@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

128 / 145

Partial Dependence Plot VIII
on peut aussi construire des classes non-supervisées (k = 3), j = âge@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

129 / 145

Local Dependence IL
pj (xj∗ ) = EX ⊥ m(X)|xj∗ ne tenait pas compte du faire que (X −j |Xj ) 6= X −jj

Apley and Zhu (2020) propose
Local Dependence Plot `j (xj∗ ) et `bj (xj∗ )`bj (xj∗ ) =1card(V (xj∗ ))`j (xj∗ ) = EXj m(X)|xj∗Xm(xj∗ , x i,−j ) où V (xj∗ ) = i : d(xi,j , xj∗ ) ≤ i∈V (xj∗ )nX1`bj (xj∗ ) = P
ωi (xj∗ )m(xj∗ , x i,−j ) où ωi (xj∗ ) = Kh (xj∗ − xi,j )
∗)
ω
(x
i
j
i
i=1

pour une version lissée par noyau.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

130 / 145

Local Dependence II
j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

131 / 145

ALE (Accumulated Local Effects) I
Apley and Zhu (2020) propose
Accumlated Local aj (xj∗ )aj (xj∗ ) =

Z x∗



j

−∞

EXj


∂m(xj , X −j )xj dxj∂xj∂m(xj , X −j )décrit le changement local du modèle m du à xj (ceteris paribus),∂xj
m(xj + dxj , x −j ) − m(xj , x −j ) ≈∂m(xj , X −j )dxj
∂xj

et on regarde la valeur moyenne locale.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

132 / 145

ALE (Accumulated Local Effects) II
Apley and Zhu (2020) propose
Accumlated Local b
aj (xj∗ )k∗baj (xj∗ ) = α +

j
X
1

u=1

nu

X

[m(ak , x i,−j ) − m(ak−1 , x i,−j )]u:xi,j ∈(au−1 ,au ](où α est une constante de normalisation car E[aj (Xj )] = 0)
Apley and Zhu (2020) propose une discrétisation de Xj (partition {(ak−1 , ak ]}),
ou une version lissée par noyau+ peut être utilisé sur des variables corrélées, Apley and Zhu (2020)− peut être difficulté à calculer@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

133 / 145

ALE (Accumulated Local Effects) III
j = âge, m ∈ {glm, gam, cart, rf, gbm, svm}

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

134 / 145

PDP, LD et ALE, une comparaison@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

135 / 145

Parmi les choses qui existent par ailleurs...
Les informaticiens ont remis au goût du jour beaucoup de choses anciennes, et d’autres
techniques existaient aussi avant.
Par exemple, en statistique, la fonction d’influence, introduites par Hampel (1968).
Soit X de loi F , et considérons une fonction de F , T (F ) (par exemple) T (F ) = E(X)avec X ∼ F . “La fonction d’influence de la statistique T quantifie la sensibilité
lorsqu’une proportion infinitésimale des données est corrompue”.
Étant donnée F , notons pour tout ε ∈ [0, 1] Fε = (1 − ε)F + εδx , et notons
T (Fε ) − T (F )ε→0εIF(T , F , x) = lim

Cette fonction a été utilisée par Koh and Liang (2017) pour interpréter des algorithmesboîtes noires.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

136 / 145

RésuméI proche de questions classiques enstatistique (robustesse, influence, etc)
I ceteris paribus EX ⊥ [Y |x1∗ ]1

I mutatis mutandis EX1 [Y |x1∗ ]I boîtes blanches trompeuses
I besoin de mieux comprendre les métriques
I boîtes noires utiles pour construire desfeatures interprétables
I définitions dépendant de la finalité(schéma Scholbeck et al. (2019))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

137 / 145

References I
Aasman, J. (2019). Creating explainable ai with rules. Forbes, May 17.
Alvarez-Melis, D. and Jaakkola, T. S. (2018). On the robustness of interpretability methods. arXiv,
1806.08049.
Apley, D. W. and Zhu, J. (2020). Visualizing the effects of predictor variables in black box supervised
learning models. Journal of the Royal Statistical Society: Series B (Statistical Methodology),
82(4):1059–1086.
Azen, R. and Budescu, D. V. (2003). The dominance analysis approach for comparing predictors in
multiple regression. Psychological methods, 8(2):129.
Beaudouin, V., Bloch, I., Bounie, D., Clémençon, S., d’Alché Buc, F., Eagan, J., Maxwell, W.,
Mozharovskyi, P., and Parekh, J. (2020). Flexible and context-specific ai explainability: A
multidisciplinary approach. arXiv preprint arXiv:2003.07703.
Belle, V. and Papantonis, I. (2021). Principles and practice of explainable machine learning. Frontiersin big Data, page 39.
Biecek, P. and Burzykowski, T. (2021). Explanatory model analysis: Explore, explain and examine
predictive models. Chapman and Hall/CRC.
Bostock, M. and Carter, S. (2012). 512 paths to the white house. New York Times, November 2nd.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

138 / 145

References II
Conan-Doyle, A. (1887). A study in scarlet. Ward Lock & Co’s.
Davis, B., Anderson, R., and Walls, J. (2015). Rashomon effects: Kurosawa, Rashomon and theirlegacies. Routledge.
Dennett, D. C. (1987). The intentional stance. MIT press.
Elsayed, G., Shankar, S., Cheung, B., Papernot, N., Kurakin, A., Goodfellow, I., and Sohl-Dickstein, J.
(2018). Adversarial examples that fool both computer vision and time-limited humans. Advances inneural information processing systems, 31.
Fisher, A., Rudin, C., and Dominici, F. (2019). All models are wrong, but many are useful: Learning avariable’s importance by studying an entire class of prediction models simultaneously. J. Mach.
Learn. Res., 20(177):1–81.
Friedman, J. (2001). Full-Text. Annals of Statistics, 29 (5):1189–1232.
Gauld, T. (2021). Two ways to explain scientific research. New Scientist.
Gilpin, L. H., Bau, D., Yuan, B. Z., Bajwa, A., Specter, M., and Kagal, L. (2018). Explaining
explanations: An overview of interpretability of machine learning. In 2018 IEEE 5th International
Conference on data science and advanced analytics (DSAA), pages 80–89. IEEE.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

139 / 145

References III
Goldstein, A., Kapelner, A., Bleich, J., and Pitkin, E. (2015). Peeking inside the black box: Visualizing
statistical learning with plots of individual conditional expectation. journal of Computational andGraphical Statistics, 24(1):44–65.
Gower, J. C. (1971). A general coefficient of similarity and some of its properties. Biometrics, pages
857–871.
Goyal, Y., Feder, A., Shalit, U., and Kim, B. (2019). Explaining classifiers with causal concept effect(cace). arXiv preprint arXiv:1907.07165.
Halpern, J. Y. and Pearl, J. (2020a). Causes and explanations: A structural-model approach. part i:
Causes. The British journal for the philosophy of science.
Halpern, J. Y. and Pearl, J. (2020b). Causes and explanations: A structural-model approach. part ii:
Explanations. The British journal for the philosophy of science.
Hampel, F. R. (1968). Contributions to the theory of robust estimation. University of California,
Berkeley.
Helton, J. C. and Davis, F. (2002). Illustration of sampling-based methods for uncertainty andsensitivity analysis. Risk analysis, 22(3):591–622.
Kahneman, D. and Tversky, A. (1981). The simulation heuristic. Technical report, Stanford Univ CA
Dept of Psychology.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

140 / 145

References IV
Koh, P. W. and Liang, P. (2017). Understanding black-box predictions via influence functions. In
International conference on machine learning, pages 1885–1894. PMLR.
Kuhn, M. and Johnson, K. (2013). Applied Predictive Modeling. Springer.
Kumar, I. E., Venkatasubramanian, S., Scheidegger, C., and Friedler, S. (2020). Problems withshapley-value-based explanations as feature importance measures. In International Conference on
Machine Learning, pages 5491–5500. PMLR.
Lewis, D. (1986). Causal explanation. In Philosophical Papers Vol. II. Oxford University Press.
Lipton, P. (1990). Contrastive explanation. Royal Institute of Philosophy Supplements, 27:247–266.
Lombrozo, T. (2012). Explanation and abductive inference.
Lundberg, S. M. and Lee, S.-I. (2017). A unified approach to interpreting model predictions. In
Proceedings of the 31st international conference on neural information processing systems, pages
4768–4777.
Mangal, R., Nori, A. V., and Orso, A. (2019). Robustness of neural networks: A probabilistic andpractical approach. arXiv, 1902.05983.
Marx, C., Calmon, F., and Ustun, B. (2020). Predictive multiplicity in classification. In International
Conference on Machine Learning, pages 6765–6774. PMLR.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

141 / 145

References V
May, R. M. (2004). Simple mathematical models with very complicated dynamics. In The Theory of
Chaotic Attractors, pages 85–93. Springer.
Murdoch, W. J., Singh, C., Kumbier, K., Abbasi-Asl, R., and Yu, B. (2019). Definitions, methods, andapplications in interpretable machine learning. Proceedings of the National Academy of Sciences,116(44):22071–22080.
Niculescu-Mizil, A. and Caruana, R. (2005). Predicting good probabilities with supervised learning. In
Proceedings of the 22nd international conference on Machine learning, pages 625–632.
Phillips, P. J., Hahn, C. A., Fontana, P. C., Broniatowski, D. A., and Przybocki, M. A. (2020). Fourprinciples of explainable artificial intelligence. Gaithersburg, Maryland.
Platt, J. et al. (1999). Probabilistic outputs for support vector machines and comparisons toregularized likelihood methods. Advances in large margin classifiers, 10(3):61–74.
Rahimi, A. (2017). Machine learning has become alchemy. In Thirsty-first Conference on Neural
Information Processing Systems.
Ribeiro, M. T., Singh, S., and Guestrin, C. (2016). "why should i trust you?": Explaining thepredictions of any classifier. arXiv, 1602.04938.
Rifkin, R. and Klautau, A. (2004). In defense of one-vs-all classification. The Journal of Machine
Learning Research, 5:101–141.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

142 / 145

References VI
Robnik-Šikonja, M. and Bohanec, M. (2018). Perturbation-based explanations of prediction models. In
Human and machine learning, pages 159–175. Springer.
Robnik-Šikonja, M. and Kononenko, I. (1997). An adaptation of relief for attribute estimation inregression. In Machine learning: Proceedings of the fourteenth international conference (ICML97),
volume 5, pages 296–304.
Robnik-Šikonja, M. and Kononenko, I. (2003). Theoretical and empirical analysis of relieff and rrelieff.
Machine learning, 53(1):23–69.
Robnik-Šikonja, M. and Kononenko, I. (2008). Explaining classifications for individual instances. IEEE
Transactions on Knowledge and Data Engineering, 20(5):589–600.
Rudin, C. (2019). Stop explaining black box machine learning models for high stakes decisions and use
interpretable models instead. Nature Machine Intelligence, 1(5):206–215.
Saltelli, A., Ratto, M., Andres, T., Campolongo, F., Cariboni, J., Gatelli, D., Saisana, M., andTarantola, S. (2008). Global sensitivity analysis: the primer. John Wiley & Sons.
Scholbeck, C. A., Molnar, C., Heumann, C., Bischl, B., and Casalicchio, G. (2019). Sampling,intervention, prediction, aggregation: a generalized framework for model-agnostic interpretations. In
Joint European Conference on Machine Learning and Knowledge Discovery in Databases, pages
205–216. Springer.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

143 / 145

References VII
Semenova, L., Rudin, C., and Parr, R. (2022). On the existence of simpler machine learning models. In
2022 ACM Conference on Fairness, Accountability, and Transparency, pages 1827–1858.
Shapley, L. S. (1953). A value for n-person games. In Kuhn, H. W. and Tucker, A. W., editors,
Contributions to the Theory of Games II, pages 307–317. Princeton University Press, Princeton.
Štrumbelj, E. and Kononenko, I. (2014). Explaining prediction models and individual predictions withfeature contributions. Knowledge and information systems, 41(3):647–665.
Swartout, W., Paris, C., and Moore, J. (1991). Explanations in knowledge systems: Design for
explainable expert systems. IEEE Expert, 6(3):58–64.
Tenenbaum, J. B., Kemp, C., Griffiths, T. L., and Goodman, N. D. (2011). How to grow a mind:
Statistics, structure, and abstraction. science, 331(6022):1279–1285.
Thom, R. (1991). Prédire n’est pas expliquer. Flammarion.
Ustun, B. and Rudin, C. (2014). Methods and models for interpretable linear classification. arXiv
preprint arXiv:1405.4047.
van der Waa, J., Nieuwburg, E., Cremers, A., and Neerincx, M. (2021). Evaluating xai: A comparisonof rule-based and example-based explanations. Artificial Intelligence, 291:103404.
Zadrozny, B. and Elkan, C. (2001). Obtaining calibrated probability estimates from decision trees andnaive bayesian classifiers. In ICML, volume 1, pages 609–616. Citeseer.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

144 / 145

References VIII

Zadrozny, B. and Elkan, C. (2002). Transforming classifier scores into accurate multiclass probability
estimates. In Proceedings of the eighth ACM SIGKDD international conference on Knowledge
discovery and data mining, pages 694–699.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

145 / 145