# Probabilité bayésienne

Une probabilité bayésienne est une interprétation du concept de probabilité. La probabilité n'y est pas représentée en termes de fréquence ou de propension de certains phénomène, mais plutôt comme une estimation raisonnable représentant un état des connaissances, ou comme la quantification d’une croyance personnelle.
L'interprétation bayésienne des probabilités peut être considérée comme une extension de la logique propositionnelle qui permet de raisonner avec des hypothèses$^,$, c'est-à-dire avec des propositions pour lesquelles la valeur de vérité (vrai ou faux) est inconnue. Selon la perspective bayésienne, une probabilité est attribuée à une hypothèse, alors que pour l'inférence fréquentiste, une hypothèse est généralement testée sans se voir attribuer une probabilité.
La probabilité bayésienne appartient à la catégorie des probabilités probantes. Pour évaluer la probabilité d'une hypothèse, le probabiliste bayésien spécifie une probabilité a priori. Celle-ci est ensuite mise à jour en une probabilité a posteriori lorsqu'il y a de nouvelles informations pertinentes. L'interprétation bayésienne fournit un ensemble standard de procédures et de formules pour effectuer ce calcul.
Le terme bayésien vient du mathématicien et théologien du XVIIIe siècle Thomas Bayes, qui a fourni le premier traitement mathématique d'un problème non trivial d'analyse des données statistiques en utilisant ce que l'on appelle maintenant l'inférence bayésienne$^{:131}$. Le mathématicien Pierre-Simon Laplace a été un pionnier et a popularisé ce que l'on appelle aujourd'hui la probabilité bayésienne$^{:97–98}$.

## Méthodologie bayésienne

Les méthodes bayésiennes sont caractérisées par les concepts et procédures suivants :
* L'utilisation de variables aléatoires, ou plus généralement de quantités inconnues, pour modéliser toutes les sources d'incertitude dans les modèles statistiques, y compris l'incertitude résultant du manque d'information.
* La nécessité de déterminer la distribution de probabilité à priori en tenant compte des informations (antérieures) disponibles.
* L'utilisation séquentielle du théorème de Bayes : à mesure que davantage de données deviennent disponibles, la distribution à posteriori est calculée en utilisant le théorème de Bayes. Puis, la distribution postérieure devient la nouvelle probabilité à priori.
* Alors que pour les fréquentistes, une hypothèse est une proposition (qui doit être soit vraie, soit fausse) pour que la probabilité fréquentiste d'une hypothèse soit soit 0 ou 1 ; dans les statistiques bayésiennes, la probabilité qu'on peut attribuer à une hypothèse peut aussi prendre des valeurs entre 0 et 1, si la valeur de vérité est incertaine.

## Probabilités bayésiennes objectives et subjectives

De manière générale, il existe deux interprétations de la probabilité bayésienne. Pour les objectivistes, qui interprètent la probabilité comme une extension de la logique, la probabilité quantifie l'attente raisonnable que toute personne (même un « robot ») partageant les mêmes connaissances devrait partager, conformément aux règles des statistiques bayésiennes. Cela peut se justifier par le théorème de Cox-Jaynes$^,$. Pour les subjectivistes, la probabilité correspond à une croyance personnelle. La rationalité et la cohérence laissent la place à des variations substantielles, au sein des contraintes qu'elles posent. Ces contraintes sont justifiées par la théorie de la décision et le théorème de de Finetti. Les variantes objectives et subjectives des probabilités bayésiennes diffèrent principalement par leur interprétation et leur construction de la probabilité à priori.

## Histoire

Le terme bayésien dérive de Thomas Bayes (1702-1761), qui dans un article intitulé An Essay towards solving a Problem in the Doctrine of Chances (« Essai pour résoudre un problème dans la doctrine des chances »), a prouvé un cas particulier de ce qu'on appelle aujourd'hui le théorème de Bayes. Dans ce cas particulier, les distributions à priori et postérieures étaient des distributions bêta et les données provenaient des épreuves de Bernoulli. C'est Pierre-Simon de Laplace (1749-1827) qui a introduit une version générale du théorème et l'a utilisée pour aborder des problèmes de mécanique céleste, de statistiques médicales, de fiabilité et de jurisprudence. Les premières inférences bayésiennes, qui utilisaient des distributions à priori uniformes suivant le « principe de raison insuffisante » de Laplace, étaient appelées « probabilité inverse » (car elles déduisent à rebours des observations aux paramètres, ou des effets aux causes). Après les années 1920, la « probabilité inverse » a été largement supplantée par un ensemble de méthodes appelées statistiques fréquentistes.
Au XXe siècle, les idées de Laplace se sont développées selon deux directions, donnant naissance à des courants de pensée objectifs et subjectifs dans la pratique bayésienne. Le livre Theory of Probability de Harold Jeffreys (publié pour la première fois en 1939) a joué un rôle important dans la renaissance de la vision bayésienne des probabilités. Il est suivi des travaux d'Abraham Wald en 1950 et de Leonard J. Savage en 1954. L'adjectif bayésien date lui-même des années 1950, et les termes dérivés bayésianisme et néo-bayésianisme datent des années 1960$^,$$^,$. Selon les objectivistes, l'analyse statistique dépend uniquement du modèle supposé et des données analysées. Il ne doit y avoir aucune décision subjective. À l'inverse, les statisticiens « subjectivistes » nient la possibilité d’une analyse pleinement objective du cas général.
Dans les années 1980, il y a eu une croissance spectaculaire de la recherche et des applications des méthodes bayésiennes. Cette croissance est principalement attribuée à la découverte des méthodes de Monte Carlo par chaînes de Markov, qui donna lieu à la résolution de nombreux problèmes calculatoires et à un intérêt croissant pour les applications alternatives et complexes. Même si les statistiques fréquentistes restent populaires (comme le démontre le fait qu'une grande partie de l'enseignement de premier cycle repose sur elles), les méthodes bayésiennes sont largement acceptées et utilisées, par exemple dans le domaine de l'apprentissage automatique.

## Justification des probabilités bayésiennes

L'utilisation des probabilités bayésiennes comme base de l'inférence bayésienne a été soutenue par plusieurs arguments, tels que les axiomes de Cox, l'argument du livre néerlandais, les arguments basés sur la théorie de la décision et le théorème de Finetti.

### Approche axiomatique

Richard T. Cox a montré que la mise à jour bayésienne découle de plusieurs axiomes, dont deux équations fonctionnelles et une hypothèse de différentiabilité$^,$. L'hypothèse de différentiabilité ou même de continuité est controversée. Halpern a trouvé un contre-exemple basé sur son observation selon laquelle l'algèbre booléenne des énoncés peut être finie. D'autres axiomatisations ont été suggérées par divers auteurs dans le but de rendre la théorie plus rigoureuse.

### Approche du livre néerlandais

Bruno de Finetti a proposé l'argument du livre néerlandais basé sur les paris. Dans cette expérience de pensée, un bookmaker malin crée un livre hollandais en fixant les cotes et les paris pour garantir que le bookmaker profite – aux dépens des joueurs – quel que soit le résultat de l'événement (une course de chevaux, par exemple) sur lequel les joueurs parient.
Selon Ian Hacking, l'argument du livre néerlandais est cependant aussi compatible avec des approches non bayésiennes.

### Approche de la théorie de la décision

Une justification de l'utilisation de l'inférence bayésienne venant de la théorie de la décision a été donnée par Abraham Wald, qui a prouvé que toute procédure statistique admissible est soit une procédure bayésienne, soit une limite des procédures bayésiennes. Et à l’inverse, toute procédure bayésienne est admissible.

## Probabilités personnelles et méthodes objectives pour construire des à priori

À la suite des travaux sur la théorie de l'utilité espérée de Ramsey et von Neumann, les théoriciens de la décision ont fait en sorte d'expliquer le comportement rationnel en utilisant une distribution de probabilité pour l'agent. Johann Pfanzagl a fourni une axiomatisation de la probabilité subjective et de l'utilité, une tâche laissée inachevée par von Neumann et Oskar Morgenstern dans leur livre Theory of Games and Economic Behavior (« Théorie des Jeux et du Comportement Économique ») ; leur théorie originale supposant par commodité que tous les agents avaient la même distribution de probabilité. L'axiomatisation de Pfanzagl a été approuvée par Oskar Morgenstern.
Ramsey et Savage ont noté que la distribution de probabilité de chaque agent pouvait être étudiée objectivement dans le cadre d'expériences statistiques. Les procédures de test statistique sur les probabilités (avec un nombre finit d'échantillons) viennent de Ramsey (1931) et de Finetti (1931, 1937, 1964, 1970). Bruno de Finetti$^,$ et Frank P. Ramsey$^,$ reconnaissent tous deux s'être appuyés sur la philosophie pragmatique, en particulier (pour Ramsey) sur les travaux de Charles S. Peirce$^,$.
Le « test de Ramsey » pour évaluer les distributions de probabilité est réalisable en théorie et a occupé les psychologues expérimentaux pendant un demi-siècle. Ce travail démontre que les propositions de probabilité bayésienne peuvent être falsifiées et répondent ainsi à un critère empirique de Charles S. Peirce, dont les travaux ont inspiré Ramsey (ce critère de falsifiabilité a été popularisé par Karl Popper$^,$).
Les travaux modernes sur l'évaluation expérimentale des probabilités personnelles utilisent les procédures de randomisation, de mise en aveugle et de décision booléenne de l'expérience Peirce-Jastrow. Puisque les individus agissent selon différents jugements de probabilité, les probabilités de ces agents sont « personnelles » (mais se prêtent à une étude objective).
Les probabilités personnelles sont problématiques pour la science et pour certaines applications où les décideurs manquent de connaissances ou de temps pour spécifier une distribution de probabilité bien informée (sur laquelle ils sont prêts à agir). Pour répondre aux besoins de la science et aux limites humaines, les statisticiens bayésiens ont développé des méthodes « objectives » pour spécifier les probabilités a priori.
En effet, les bayésiens objectivistes ont soutenu que l'état antérieur des connaissances définit une unique distribution de probabilité à priori pour les problèmes statistiques « réguliers » (cf. problèmes bien posés). Trouver la bonne méthode pour construire de tels à priori « objectifs » (pour des classes appropriées de problèmes réguliers) a été la quête des théoriciens de la statistique depuis Laplace jusqu'à John Maynard Keynes, Harold Jeffreys et Edwin Thompson Jaynes. Ces théoriciens et leurs successeurs ont suggéré plusieurs méthodes pour construire des à priori « objectifs » (Malheureusement, il n'est pas clair comment évaluer « l'objectivité » relative de ces méthodes pour calculer l'à priori) :
* Entropie maximale
* Analyse du groupe de transformation
* Analyse de référence
Chacune de ces méthodes fournit des à priori utiles pour les problèmes « réguliers » à un paramètre, et chaque à priori peut gérer certains modèles statistiques difficiles (avec « irrégularité » ou plusieurs paramètres). Chacune de ces méthodes a été utile dans la pratique bayésienne. En effet, des méthodes de construction d'à priori « objectifs » (ou « par défaut » ou « d'ignorance ») ont été développées par des bayésiens se considérant pourtant subjectivistes, comme James Berger et José-Miguel Bernardo, simplement parce que de tels a priori sont nécessaires à la pratique bayésienne, en particulier en sciences. La quête de « la méthode universelle de construction des à priori » a continu" d’attirer les théoriciens de la statistique.
Ainsi, le statisticien bayésien doit soit utiliser des à priori informés (en utilisant une expertise pertinente ou des données antérieures), soit choisir parmi les méthodes concurrentes pour construire des à priori « objectifs ».