Théorème de Bayes

Lethéorème de Bayes(/beɪz/) est l'un des principauxthéorèmesde lathéorie des probabilités. Il est aussi utilisé enstatistiquesdu fait de sonapplication, qui permet de déterminer laprobabilitéqu'unévénementarrive à partir d'un autre évènement qui s'est réalisé, notamment quand ces deux évènements sontinterdépendants.
En d'autres termes, à partir de ce théorème, il est possible de calculer précisément la probabilité d'un évènement en tenant compte à la fois des informations déjà connues et des données provenant de nouvelles observations. La formule de Bayes peut être dérivée des axiomes de base de la théorie des probabilités, en particulier de laprobabilité conditionnelle. La particularité du théorème de Bayes est que son application pratique nécessite un grand nombre de calculs, c'est pourquoi les estimations bayésiennes n'ont commencé à être utilisées activement qu'après la révolution des technologies informatiques et de réseau.
Sa formulation initiale est issue des travaux du révérendThomas Bayes. Elle a été trouvée indépendamment parPierre-Simon de Laplace. La formulation de Bayes en 1763 est plus limitée que les nouvelles formulations d'aujourd'hui.
Outre son utilisation en probabilité, ce théorème est fondamental pour l'inférence bayésiennequi s'est montrée très utile enintelligence artificielle. Il est également utilisé dans plusieurs autres domaines : en médecine, en sciences numériques, en géographie, en démographie,etc.
Pour le mathématicienHarold Jeffreys, les formulations de Bayes et de Laplace sont desaxiomes. Il considère également que« le théorème de Bayes est à la théorie des probabilités ce que lethéorème de Pythagoreest à lagéométrie. »
À sa mort enavril 1761,Thomas Bayeslaisse àRichard Priceses articles non terminés. C'est ce dernier qui prend l'initiative de publier l'article «An Essay towards solving a Problem in the Doctrine of Chance» et de l'envoyer à laRoyal Societydeux ans plus tard.
D'après Martyn Hooper, il est probable que Richard Price ait lui-même contribué de manière significative à la rédaction de l'article final et qu'il soit ainsi avecThomas Bayesl'auteur du théorème connu sous le nom de théorème de Bayes. Cette erreur d'attribution serait une application de laloi d'éponymie de Stiglerselon laquelle les découvertes scientifiques sont rarement attribuées à leur premier auteur.
La formule est redécouverte parPierre-Simon de Laplaceen 1774.
Dans son unique article, Bayes cherchait à déterminer ce que l’on appellerait actuellement ladistribution a posterioride la probabilitépd’uneloi binomiale. Ses travaux ont été édités et présentés à titre posthume (1763) par son amiRichard PricedansUn essai pour résoudre un problème dans la théorie des risques(An Essay towards solving a Problem in the Doctrine of Chances). Les résultats de Bayes ont été étendus dans un essai de1774par lemathématicienfrançaisLaplace, lequel n’était apparemment pas au fait du travail de Bayes.
Le résultat principal obtenu par Bayes est le suivant : en considérant une distribution uniforme du paramètre binomialpet une observationOd'uneloi binomialeB(n+m,p){\displaystyle {\mathcal {B}}(n+m,p)}, oùmest donc le nombre d’issues positives observées etnle nombre d’échecs observés, la probabilité quepsoit entreaetbsachantOvaut :
Ces résultats préliminaires impliquent le résultat que l’on appellethéorème de Bayes, mais il ne semble pas que Bayes se soit concentré ou ait insisté sur ce résultat.
Ce qui est « bayésien » (au sens actuel du mot) dans ce résultat, c’est que Bayes ait présenté cela comme une probabilité sur le paramètrep. Cela revient à dire qu’on peut déterminer non seulement des probabilités à partir d’observations issues d’une expérience, mais aussi les paramètres relatifs à ces probabilités. C’est le même type de calcul analytique qui permet de déterminer par inférence les deux. En revanche, si l’on s'en tient à uneinterprétation fréquentiste, on est censé ne pas considérer deprobabilité de distribution du paramètrepet en conséquence, on ne peut raisonner surpqu’avec un raisonnement d’inférence (logique)non-probabiliste.
Depuis l'an 2000, les publications à son sujet se multiplient en raison de ses nombreuses applications.
Le théorème de Bayes est uncorollaireduthéorème de probabilité totale. Il énonce desprobabilités conditionnellesde plusieursévènements. Par exemple, pour les évènementsAetB, il permet de déterminer la probabilité deA sachant B, à partir des probabilités deA, deBet deB sachant A, à condition que la probabilité deBne soit pas égale à 0.
Dans sa formulation de 1763, le théorème était énoncé:
P(A∣B)=P(B∣A)P(A)P(B){\displaystyle P(A\mid B)={\dfrac {P(B\mid A)P(A)}{P(B)}}}, à condition queP(B)≠0{\displaystyle P(B)\neq 0}, et où:
Il peut également s'écrire :
P(A∣B)P(B)=P(A∩B)=P(B∩A)=P(B∣A)P(A){\displaystyle P(A\mid B)\,P(B)=P(A\cap B)=P(B\cap A)=P(B\mid A)\,P(A)}, où :
Le théorème est également reformulé afin d'intégrer lafonction de vraisemblance marginale(en)(fonction de vraisemblanceintégrant laconstante de normalisation). Il se formule ainsi :
Dans ununiversΩ{\displaystyle \Omega }, lespartitions d'un ensembleA1,…,An{\displaystyle A_{1},\ldots ,A_{n}}(c'est-à-direAi≠∅∀i,Ai∩Aj=∅∀i≠j{\displaystyle \ A_{i}\neq \varnothing \ \forall i,\ A_{i}\cap A_{j}=\varnothing \ \forall i\neq j}et∪i=1nAi=Ω{\displaystyle \cup _{i=1}^{n}A_{i}=\Omega }), la probabilité conditionnelle des évènements mutuellement exclusifs et exhaustifs ({A1,A2,...,An}{\displaystyle \{A_{1},A_{2},...,A_{n}\}}), à condition queP(B)≠0{\displaystyle P(B)\neq 0}, en sachantB{\displaystyle B}se calcule :
où :
Le calcul deP(B){\displaystyle P(B)}dépend de son champ d'application. Ensciences numériques, elle est nommée « preuve » pour désigner la fonction de vraisemblance marginaleet appliquée enmédecine, elle désigne unrapport de vraisemblance.
Il peut également s'écrire :
et :
où :
Pour aboutir au théorème de Bayes, on part d’une des définitions de la probabilité conditionnelle :
Cette formulation ne fait que traduire enlangage mathématiquedes remarques relativement triviales :
En divisant de part et d’autre parP(B), on obtient :
soit le théorème de Bayes.
À titre d’exemple, imaginons deux urnes remplies de boules. La première contient dix (10) boules noires et trente (30) blanches ; la seconde en a vingt (20) de chaque. On tire sans préférence particulière une des urnes au hasard et dans cette urne, on tire une boule au hasard. La boule est blanche. Quelle est la probabilité qu'on ait tiré cette boule dans la première urne sachant qu'elle est blanche ?
Intuitivement, on comprend bien qu'il est plus probable que cette boule provienne de la première urne, que de la seconde. Donc, cette probabilité devrait être supérieure à 50 %. La réponse exacte (60 %) peut se calculer à partir du théorème de Bayes.
SoitH1l’hypothèse « On tire dans la première urne. » etH2l’hypothèse « On tire dans la seconde urne. ». Comme on tire sans préférence particulière,P(H1) =P(H2) ; de plus, comme on a certainement tiré dans une des deux urnes, la somme des deux probabilités vaut 1 : chacune vaut 50 %.
NotonsDl’information donnée « On tire une boule blanche. » Comme on tire une boule au hasard dans une des urnes, la probabilité deDsachant l'hypothèseH1réalisée vaut :
De même la probabilité deDsachant l'hypothèseH2réalisée vaut :
La formule de Bayes dans le cas discret nous donne donc :
Avec :
P(D)=P(H1)⋅P(D|H1)+P(H2)⋅P(D|H2){\displaystyle P(D)=P(H_{1})\cdot P(D|H_{1})+P(H_{2})\cdot P(D|H_{2})}
Avant que l’on regarde la couleur de la boule, la probabilité d’avoir choisi la première urne est uneprobabilitéa priori,P(H1) soit 50 %. Après avoir regardé la boule, on révise notre jugement et on considèreP(H1|D), soit 60 %, ce qui confirme notre intuition première.
Ce théorème élémentaire (originellement nommé « de probabilité des causes ») a des applications considérables.
Le théorème de Bayes est utilisé dans l’inférence statistiquepour mettre à jour ou actualiser les estimations d’une probabilité ou d’un paramètre quelconque, à partir des observations et deslois de probabilitéde ces observations. Il y a une versiondiscrèteet une version continue du théorème.
Les règles de la théorie mathématique desprobabilitéss’appliquent à des probabilités en tant que telles, pas uniquement à leurapplicationen tant quefréquencesrelatives d’évènements aléatoires (voirÉvénement (probabilités)). On peut décider de les appliquer à desdegrés de croyanceen certaines propositions. Ces degrés de croyance s’affinent au regard d’expériences en appliquant le théorème de Bayes.
LeThéorème de Cox-Jaynesjustifie aujourd’hui très bien cette approche, qui n’eut longtemps que des fondements intuitifs et empiriques.
DansThe Book of Why,Judea Pearlprésente la règle de Bayes comme un cas particulier d'unréseau bayésienà deux nœuds et un lien. Les réseaux bayésiens constituent une extension de la règle de Bayes  à des réseaux de plus grande taille.
Lesfaux positifssont une difficulté inhérente à tous les tests : aucun test n’est parfait. Parfois, le résultat sera positif à tort, ce que l’on nomme parfoisrisque du premier ordreourisque alpha.
Par exemple, quand on teste une personne pour savoir si elle est affectée par une maladie, il y a un risque, généralement infime, que le résultat soit positif, alors que le patient n’a pas contracté la maladie. Le problème alors n’est pas de mesurer ce risque dans l’absolu (avant de procéder au test), il faut encore déterminer la probabilité qu’un test positif le soit à tort. Nous allons montrer comment, dans le cas d’une maladie très rare, le même test, par ailleurs très fiable, peut aboutir à une nette majorité de positifs illégitimes.
Voici un exemple qui illustre ce phénomène, imaginons un test extrêmement fiable :
Imaginons que la maladie ne touche qu’une personne sur mille, soit avec une probabilité 0,001. Cela peut paraître peu, mais dans le cas d’une maladie mortelle, c’est considérable. Nous avons toutes les informations nécessaires pour déterminer la probabilité qu’un test soit positif à tort, ce qui peut causer unsurdiagnostic.
Désignons parAl’événement « Le patient a contracté la maladie » et parBl’événement « Le test est positif ». La seconde forme du théorème de Bayes dans le cas discret donne alors :
Avec :
Traduit en langage courant, cette équation signifie que « la probabilité que le patient ait réellement contracté la maladie, quand le test est positif, n'est que de 1,9 % ».
Sachant que le test est positif, la probabilité que le patient soit sain vaut donc environ :
(1 − 0,019) = 0,981. Du fait du très petit nombre de malades, en effet,
Si le traitement est très lourd, coûteux ou dangereux pour un patient sain, il peut être alors opportun de faire subir, à tous les patients positifs, un test complémentaire (qui sera sans doute plus précis et plus coûteux, le premier test n’ayant servi qu’à écarter les cas les plus évidents).
On a tout de même réussi, avec le premier test, à isoler une populationvingt fois moindre, qui contient pratiquement tous les malades. En effet, en enlevant les patients dont le test est négatif et qui sont donc supposés sains, on a ramené le rapport des malades sur la population étudiée d'un individu sur mille à un individu sur cinquante (P(A|B)est proche de 1/50). En procédant à d’autres tests, on peut espérer améliorer la fiabilité de la détection.
Le théorème de Bayes nous montre que dans le cas d’une probabilité faible de la maladie recherchée, le risque d’être déclaré positif à tort a un impact très fort sur la fiabilité. Le dépistage d'une maladie rare peut causer lesurdiagnostic.
Cette erreur intuitive, commune, d'estimation est unbiais cognitifappelé "oubli de la fréquence de base".
Un problème régulièrement soulevé par l’approche bayésienne est le suivant : si une probabilité de comportement (délinquance, par exemple) est fortement dépendante de certains facteurs sociaux, culturels ou héréditaires, alors :
Les statistiques ont été évoquées à plusieurs reprises dans les tribunauxet dans certains cas impliquées dans des erreurs judiciaires importantes, comme les cas deSally Clarkou deLucia de Berk. La formule de Bayes a été soit méconnue soit mal utilisée. Ainsi l'accusation estimait faible voire quasi nulle la probabilité pour un innocent d'être reconnu coupable en de tels cas. Ce n'est qu'après la sentence que des experts protestèrent et démontrèrent que cette probabilité prise en considération n'avait pas de sens et qu'il fallait au contraire étudier celles d'être coupable ou innocentsachantqu'il y a eu décès (ce qui donne des chiffres largement différents laissant place à un doute légitime). Pudiquement, on désigne parsophisme du procureurces confusions entre probabilités conditionnelles.