Statistique bayésienne, data sciences, nouveaux risques(et apprentissage: une courte introduction)
Arthur Charpentier1
1 Université du Québec à Montréal

Septembre 2022

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1 / 167

AgendaIncertitude, assurance et économie
Probabilités et variables aléatoires
Motivation et un peu d’histoire
Croyances, consensus et marché prédictif
Bayésianisme, statistique et calcul (1)Bayésianisme, statistique et calcul (2)Bayes et propriété de Markov
Bayésianisme et apprentissage statistique
Bayésianisme, apprentissage et neurosciences@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

2 / 167

Préliminaire
Exposé en 2014, à la Cass Business School (aujourd’hui Bayes Business School)...

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

3 / 167

Un tout petit peu d’histoire

McGrayne (2011), qui mentionne Bailey (1950) (mais pas Whitney (1918))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

4 / 167

Incertitude, assurance et économie (un peu de provocation) I
indemnité X
assureursouscripteur
prime πpour le souscripteur, π  X (prix de réservation ≥ π)formellement,  est caractérisé par une utilité u et des croyances QSnnXXpour l’assureur, X +Xi ≤ π +
πi
i=1

i=1

formellement, cette inégalité se traduit en espérance, ou en probabilité
!
n
n
X
X
ou plutôt en croyance, QA , e.g. QA X +Xi ≤ π +πi = 90%i=1@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

i=1

5 / 167

Incertitude, assurance et économie (un peu de provocation) II
indemnité X
assureursouscripteur
prime πI pour le souscripteur, π  X (prix de réservation ≥ π)formellement,  est caractérisé par une utilité u et des croyances QSnnXXI pour l’assureur, X +Xi ≤ π +πi (les primes payent les sinistres)
i=1

i=1

formellement, cette inégalité se traduit en espérance, ou en probabilité
!
n
n
X
X
ou plutôt en croyance, QA , e.g. QA X +Xi ≤ π +πi = 90%i=1@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

i=1

6 / 167

Incertitude, assurance et économie (un peu de provocation) III
indemnité X
assureursouscripteur
prime πI pour le souscripteur, π  X (prix de réservation ≥ π)formellement,  est caractérisé par une utilité u et des croyances QSnnXXI pour l’assureur, X +Xi ≤ π +πi (les primes payent les sinistres)
i=1

i=1

formellement, cette inégalité se traduit en espérance, ou en probabilité
!
n
n
X
X
ou plutôt en croyance, QA , e.g. QA X +Xi ≤ π +πi = 90%i=1@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

i=1

7 / 167

Probabilités et variables aléatoires I“Probability is the most important concept in modern science, especially as nobody
has the slightest notion what it means ”, Russell (1929), cité par Bell (1945) et
Stevens (1951).
La base des probabilités et de la statistique est l’espace probabiliste (Ω, F, P),I Ω est un espace abstrait des “états de la nature”
I F est l’ensemble des parties de Ω, A ∈ F étant un évènement
I P est une fonction F → [0, 1] vérifiant quelques propriétés
e.g. P(Ω) = 1; pour des évènements disjoints, une propriété d’additivité:P(A ∪ B) = P(A) + P(B); une propriété d’inclusion, si A ⊂ B, P(A) ≤ P(B), que l’on
retrouve chez Cardano (1564) ou Bernoulli (1713), ou, pour des évènements disjoints
A1 , · · · , An , · · · , P(A1 ∪ · · · ∪ An ∪ · · · ) = P(A1 ) + · · · + P(An ) + · · · , chez
Kolmogorov (1933), inspiré par Lebesgue (1918), etc. Et dans ce cadre, on peut définir
des variables aléatoires
I X est une fonction Ω → R ou plus généralement Ω → X .
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

8 / 167

Probabilités et variables aléatoires II
On a des objets formels, mathématiquement bien définis, mais dans un contexte demodélisation a-t-on un sens univoque d’interprétation du résultat du calcul ? cf “laprobabilité est-elle inhérente à l’évènement, ou à notre jugement ? ” Martin (2009)
Il existe de nombreux paradoxes philosophiques quand on parle de probabilité (et dehasard), e.g. je lance une pièce de monnaie, qui retombe, hors de ma vue
I P(X = face) = P(X = pile) = 1/2 ?
I P(X = face) = 1 ou P(X = pile) = 1 ?
Ou dans un contexte juridique “Look, the guy either did it or he didn’t do it. If he didthen he is 100% guilty and if he didn’t then he is 0% guilty; so giving the chances ofguilt as a probability somewhere in between makes no sense and has no place in the
law ", cité dans Fenton and Neil (2018).
Voir aussi Hájek (2002) sur le sens philosophique de “probabilité”.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

9 / 167

Probabilités et variables aléatoires III
Comme le dit Martin (2009),
I “attribuer une signification objective à la probabilité qu’un évènement se réalise,c’est admettre que cet évènement n’est pas nécessaire, autrement dit, qu’il n’est
pas intégralement déterminé,"
I “si on suppose un déterminisme intégral et universel, la probabilité ne saurait
recevoir qu’une signification subjective, et la probabilité dépend de notre
connaissance et de notre ignorance"
On attribue trop d’importance à cette probabilité P supposée objective.
La probabilité (mathématique) n’est pas née comme un concept bien défini entrant
dans le cadre d’un formalisme mathématique, mais comme un outil pour quantifier etmaîtriser des situations d’incertitude, appliqué à la mesure de la probabilité de durée devie les tables de mortalité (en vue du calcul des rentes viagères), le calcul des risquesd’erreur (dans les opérations de mesure), l’étude de la probabilité des témoignages etdes jugements, etc.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

10 / 167

Probabilités et variables aléatoires IV“la théorie des probabilités n’est au fond que le bon sens réduit au calcul : elle fait
apprécier avec exactitude, ce que les esprits justes sentent par une sorte d’instinct, sansqu’ils puissent souvent s’en rendre compte”, Laplace (1774)
Cournot (1843) distinguait ainsi une signification objective de la probabilité (commemesure de la possibilité physique de réalisation d’un événement aléatoire) et une
signification subjective (la probabilité étant un jugement porté sur un événement, ce
jugement étant lié à l’ignorance des conditions de la réalisation de l’événement).
Remarque une probabilité non définie en termes de fréquence
peut recevoir un sens objectif :Il n’est nullement besoin répéter des lancés de dés pour affirmer que (avec un dé parfaitement équilibrée) la probabilitéd’obtenir 6 lors d’un lancer est égale à 1/6 (par symmétrie ducube)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

11 / 167

Probabilités et variables aléatoires V
Mais bien souvent, les probabilités “physiques” ne reçoivent une valeur objective qu’aposteriori sur la base de la loi des grands nombres, la fréquence empirique convergent
vers la probabilité (théorie fréquentiste des probabilités)
n

1X
p.s.
1(Xi ∈ A) → P(X ∈ A) quand n → ∞| {z }
nprobabilité| i=1 {z}fréquence (empirique)(cf confusion dans de nombreux livres entre “probabilité" et “fréquence”)
n

n

i=1

i=1

1 X p.s.
1X
Loi des Grands Nombres :Xi → E(X ) quand n → ∞ ou
Xi ≈ E(X )nn@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

12 / 167

Probabilités et variables aléatoires VI
Mais cette approche est incapable de donner du sens à la probabilité d’un évènement
singulier unique, comme le notait von Mises (1928, 1939).
“When we speak of the ‘probability of death’, the exact meaning of this expression canbe defined in the following way only. We must not think of an individual, but of acertain class as a whole, e.g., ‘all insured men forty-one years old living in a given
country and not engaged in certain dangerous occupations’. A probability of death isattached to the class of men or to another class that can be defined in a similar way.
We can say nothing about the probability of death of an individual even if we know his
condition of life and health in detail. The phrase ‘probability of death’, when it refers
to a single person, has no meaning for us at all.”@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

13 / 167

Probabilités et variables aléatoires VII
Pour Popper (1959), les probabilités correspondent à des dispositions physiques(“propensions”) inhérentes au système. Cette propension a une existence physique,mais elle n’est pas directement observable.
Les fréquences d’occurrence sont des manifestations de ces propensions. Dans le cas
contraire, il est malgré tout possible d’estimer la probabilité de réalisation del’événement singulier, en considérant celle-ci comme mesurée non par une fréquence“réelle”, mais par une fréquence “potentielle” (ou “virtuelle”).
Enfin, lorsqu’un individu énonce un jugement, le degré de crédibilité ou de croyancequ’il lui accorde dépend des connaissances dont cet individu dispose (Pettigrew(2016)). Ce degré de croyance sera associé à une probabilité, qui n’aura alors qu’unesignification subjective. “la probabilité d’un diagnostic, d’un témoignage, etc., nemesure pas la conformité de ce jugement à la réalité, mais le degré avec lequel on peut
faire l’hypothèse de cette conformité", Martin (2009).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

14 / 167

Probabilités et variables aléatoires VIII
Cette subjectivité pose des soucis lors de leur utilisation, en particulier en matière
crimininelle, “Sometimes the ‘balance of probability’ standard is expressedmathematically as ‘50+% probability’, but this can carry with it a danger ofpseudo-mathematics, as the argument in this case demonstrated. When judging
whether a case for believing that an event was caused in a particular way is stronger
than the case for not so believing, the process is not scientific (although it may
obviously include evaluation of scientific evidence) and to express the probability ofsome event having happened in percentage terms is illusory, Nulty & Ors v Milton
Keynes Borough Council cité dans Hunt and Mostyn (2020).
On pourra aussi lire Jonakait (1983), Saini (2011) ou Fenton et al. (2016).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

15 / 167

Probabilité ? Probabilité de gagner une élection ?
@PedderSophie (The Economist), vs @HuffPost ou @tsrandall (Bloomberg)

Comme interpréter cette “probabilité de gagner" ?
Comment interpréter un “intervalle de confiance"
sur cette probabilité ? (@AdamSinger)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

16 / 167

Probabilité ? Probabilité de pluie ? I
Comment interpréter la ‘P.D.P.’ (“probabilité de pluie") des sites de météo ?

“Out of all the times you said there was a 40 percent chance of rain, how often did
rain actually occur? If, over the long run, it really did rain about 40 percent of thetime, that means your forecasts were well calibrated, Silver (2012)
Murphy and Epstein (1967), Roberts (1968)
Gneiting and Raftery (2005) sur les méthodes ensemblistes pour de la prévision météo.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

17 / 167

Probabilité ? Probabilité de pluie ? II
Plus générallement, on peut penser aux probabilités
mentionnées par le GIEC/IPCC, Mastrandrea et al. (2010)
discuté par Stoerk et al. (2020) ou Kause et al. (2022)(source Vogel et al. (2022))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

18 / 167

Probabilité ? Probabilité de pluie ? III
Note : “Règle de Cromwell”: il ne faut pas donner une probabilitéde 1 à un événement dont la logique ne permet pas de démontrer
qu’il est vrai, et il ne faut jamais donner une probabilité de 0 à unévénement, sauf s’il peut être démontré logiquement qu’il est faux,
Lindley (2013), Barclay et al. (1977) et Pherson and Pherson (2012).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

19 / 167

Probabilité ? Probabilité de pluie ? IV
Voir aussi @zonination sur les “perceptions des probabilités"@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

20 / 167

Statistique bayésienne ?
I Formule de Bayes (ou “probabilités inversées"),
Bayes (1763), Laplace (1774)
Soient deux évènements A et B tels que P(B) 6= 0,
P(A|B) =P(B|A) · P(A)P(B)

“If a person has an expectation depending on the happeningof an event, the probability of the event is [in the ratio] to theprobability of its failure as his loss if it fails [is in the ratio] tohis gain if it happens ", Proposition 2, Bayes (1763)“The probability of any event is the ratio between the value at which an expectation
depending on the happening of the event ought to be computed, and the chance of thething expected upon its happening ", Bayes (1763)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

21 / 167

Statistique bayésienne ?
I Formule de Bayes,
Bayes (1763), Laplace (1774)
Soient deux évènements A et B tels que P(B) 6= 0,
P(A|B) =P(B|A) · P(A)P(B)

I Probabilités subjectives,
De Finetti (1937), Anscombe et al. (1963), Kahneman
and Tversky (1972) Savage (1972), Jeffrey (2004)
I Approche non-fréquentiste des probabilités,
Neyman (1977), Bayarri and Berger (2004)
I Crédibilité et “experience rating”
Whitney (1918), Longley-Cook (1962), Bühlmann (1967), Klugman (1991)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

22 / 167

Statistique bayésienne ?
I Formule de Bayes,
Bayes (1763), Laplace (1774)
Soient deux évènements A et B tels que P(B) 6= 0,
P(A|B) =P(B|A) · P(A)P(B)

I Un problème inverse (on tente de déterminer les causesd’un phénomène à partir de l’observation expérimentale
de ses effets)
I Une mise à jour des croyances (passant de la loi a priori
P(A) à la loi a posteriori P(A|B))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

23 / 167

Statistique bayésienne ?
Une personne tousse (évènement B). Quelle est lhypothèse la plus crédible ?
(tiré de Dehaene (2012))
A1 : elle a un cancer du poumon
A2 : elle a une gastro-entérite
A3 : elle a une grippe
La règle de Bayes est P[maladie|symptôme] ∝ P[symptôme|maladie] · P[maladie]A1 : P[maladie] ≈ 0 (même si P[symptôme|maladie] ≈ 1)
A2 : P[symptôme|maladie] ≈ 0 (même si P[symptôme|maladie] grande)
A3 : les deux probabilités sont raisonnables@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

24 / 167

Probabilités conditionnelles ? En pratique...
Problème dit “de Monty Hall”(tiré de Let’s make a deal)
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte

P(stratégie 1 gagnante)P(trésor derrière l’autre porte)P(trésor derrière l’autre porte| correct) · P( correct)P(trésor derrière l’autre porte| faux) · P( faux)12
2
0· +1· =3
3
3@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

25 / 167

Probabilités conditionnelles ? En pratique...
Problème dit “de Monty Hall”(tiré de Let’s make a deal)
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte

P(stratégie 1 gagnante)P(trésor derrière l’autre porte)P(trésor derrière l’autre porte| correct) · P( correct)P(trésor derrière l’autre porte| faux) · P( faux)12
2
0· +1· =3
3
3@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

26 / 167

Probabilités conditionnelles ? En pratique...
Problème dit “de Monty Hall”(tiré de Let’s make a deal)
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porteP(trésor derrière la porte)
1=
3
P(trésor derrière l’autre porte)P(trésor derrière l’autre porte| correct) · P( correct)P(trésor derrière l’autre porte| faux) · P( faux)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

27 / 167

Probabilités conditionnelles ? En pratique...
Problème dit “de Monty Hall”(tiré de Let’s make a deal)
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porteP(trésor derrière la porte)
1=
3
P(trésor derrière l’autre porte)P(trésor derrière l’autre porte| correct) · P( correct)P(trésor derrière l’autre porte| faux) · P( faux)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

28 / 167

Probabilités conditionnelles ? En pratique...
Problème dit “de Monty Hall”(tiré de Let’s make a deal)
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte

P(stratégie 2 gagnante)= P(trésor derrière la porte choisie initialement)
1=3(faire apparaître la chèvre derrière la troisième porte n’apporte
aucune information sur ce qu’il y a derrière la première porte)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

29 / 167

Probabilités conditionnelles ? En pratique...
Problème dit “de Monty Hall”(tiré de Let’s make a deal)
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte

P(stratégie 1 gagnante)= P(trésor derrière l’autre porte)= P(trésor derrière l’autre porte| correct) · P( correct)+ P(trésor derrière l’autre porte| faux) · P( faux)12
2=0· +1· =3
3
3@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

30 / 167

Statistique bayésienne ? En pratique...
“Do doctors understand test results? ", Kremer (2014):
1% des adultes sont atteints d’un cancer. La grande majorité de ces cancers (90%)
peuvent être détectés par un test. Il y a 9% de chances que le test s’ avère positif chez
une personne qui n’a pas le cancer. Si le test est positif, quelle est la probabilité que lapersonne ait effectivement un cancer?

A) 9 sur 10
B) 8 sur 10
C) 1 sur 2
D) 1 sur 10
E) 1 sur 100@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

31 / 167

Statistique bayésienne ? En pratique...
“Do doctors understand test results? ", Kremer (2014):
1% des adultes sont atteints d’un cancer. La grande majorité de ces cancers (90%)
peuvent être détectés par un test. Il y a 9% de chances que le test s’ avère positif chez
une personne qui n’a pas le cancer. Si le test est positif, quelle est la probabilité que lapersonne ait effectivement un cancer?

A) 9 sur 10 (réponse choisie par 50% des gynécologistes)B) 8 sur 10
C) 1 sur 2
D) 1 sur 10
E) 1 sur 100@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

32 / 167

Statistique bayésienne ? En pratique...
1% des adultes sont atteints d’un cancer. La grande majorité de ces cancers (90%)
peuvent être détectés par un test. Il y a 9% de chances que le test s’avère positif chez
une personne qui n’a pas le cancer. Si le test est positif, quelle est la probabilité que lapersonne ait effectivement un cancer?
Réponse: En formalisantP[cancer] = 1%P[test positif|cancer] = 90%P[test positif|pas de cancer] = 9%
puis en appliquant la règle de BayesP[cancer|test positif] =P[test positif|cancer] · P[cancer]
90% × 1%
9
1=='
P[test positif]
9% × 99%+
9 + 8910

la bonne réponse est D, “1 sur 10”.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

33 / 167

Statistique bayésienne ? En pratique...

Pour Gigerenzer and Hoffrage (1995), la formulation bayésienne est (trop) complexe.
Autre présentation du problème:
Sur 10,000 personnes, 100 ont un cancer. Sur ces 100, 90%, soit 90, auront un test
positif. Sur les 9,900 autres, 9% soit 899 auront un test positif. Parmi un échantillon
de gens qui ont un test positif, quelle fraction ont vraiment un cancer?
Réponse: 90 parmi (90+899), soit environ “1 sur 10”.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

34 / 167

L’axiomatique des croyances I

Les axiomes de l’approche Bayésienne, Titelbaum (2022a), (2022b), sontI étape 1 : les degrés de croyance
Les croyances sont quantifiées sur une échelle allant de 0 à 1
La “rationalité des croyances” signifie que les croyances sont des mesures deprobabilités (et vérifient les axiomes associés), Buehler (1976).
Note: une version plus faible de cohérence peut être définie à l’aide des capacités (ausens de Choquet (1954)), constuite sur l’axiome : si A ⊂ B, alors Q[A] ≤ Q[B] (et nonplus l’additivité d’évènements disjoints).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

35 / 167

L’axiomatique des croyances II
I étape 2 : la mise à jour des croyances
Pour Popper (1955), un agent qui croit A au degré Q[A], s’il apprend B, il alors croire
A au degré Q[A|B]
Q[A] 7→ Q[A|B] · Q[B] +Q[A|¬B] · Q[¬B] = Q[A|B] = QB [A]| {z }| {z }=1=0

Jeffrey (1965) a proposé une généralisation si B est associé à une croyance Q0 [B],
Q[A] 7→ Q0 [A] = Q[A|B] · Q0 [B] + Q[A|¬B] · Q0 [¬B]
Autrement dit, “raisonner consiste à graduer ses croyances et à réviser ses degrés decroyance par conditionalisation bayésienne à mesure que de nouvelles informations
deviennent disponibles”, Drouet (2016).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

36 / 167

L’axiomatique des croyances III“La differenza essenziale da rilevare è nell’attribuzione del ‘perchè’: non cerco perchè
IL FATTO che io prevedo accadrà, ma perchè IO prevedo che il fatto accadrà. Nonsono più i fatti che hanno bisogno di una causa per prodursi : è il nostro pensiero che
trova comodo di immaginare dei rapporti di causalità per spiegarli, coordinarli, erenderne possibile la previsione”, De Finetti (1931)“Je ne cherche pas à savoir pourquoi le fait que je prévois se réalisera,
mais pourquoi je prévois que le fait va se réaliser. Ce ne sont plus lesfaits qui ont besoin d’une cause pour se produire : c’est notre esprit qui
trouve commode d’imaginer des rapports causaux afin de les expliquer,de les coordonner et d’en rendre la prédiction possible”@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

37 / 167

Le pari hollandais I
Ramsey (1926) et De Finetti (1937) ont suggéré de comprendre la rationalité descroyances à l’aide de paris (formalisé par Lehman (1955) Kemeny (1955), Teller(1973), Lindley et al. (1979) et Skyrms (1987)) et d’arbitrages (on parle deBayésianisme subjectif).
On attribue la croyance q à un pari (loterie) associé à A, rapportant a si A survient et
0 sinon si et seulement si la valeur de la loterie est qa, Hájek (2009)
L’argument du “pari hollandais" (dutch book) est que si un individu a des croyances qui
violent les probabilités et que s’il parie sur la base de ces croyances, alors il est prêt à
accepter un ensemble de paris dont il est certain de repartir perdant, Pettigrew (2020).
Note: Lehman (1955) a utilisé le terme “dutch book", mais il correspond à la notion
d’arbitrage en mathématiques financières.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

38 / 167

Le pari hollandais II
Lehman (1955) “if a set of betting prices violate the probability calculus, then there isa Dutch Book consisting of bets at those prices."
Kemeny (1955), “if a set of betting prices obey the probability calculus, then there
does not exist a Dutch Book consisting of bets at those prices"
Cette caractérisation est aussi appelé théorème de Cox-Jaynes, Cox (1946) repris par
Jaynes (1988) et Jaynes (2003) : les probabilités (caractérisées par les axiomes deKolmogorov) sont le seul mécanisme normatif de l’induction de la plausibilité.
Mais aussi chez Good (1966)
Voir aussi Eisenberg and Gale (1959) et Baron and Lange (2006) sur les notions deparimutuel, et les nouveaux risques (voir aussi Chen and Pennock (2010), Charpentier(2017), Charpentier (2019) sur les marchés prédictifs).
Supposons que I joueurs parient sur J chevaux. Chaque joueur possède une somme bi ,et on normalisera (b1 + · · · + bI = 1).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

39 / 167

Le pari hollandais III

Le joueur i mise βi,j sur le cheval j (bi = βi,1 + · · · + bi,J ).
On note πj le montant parié sur le cheval j (πj = β1,j + · · · + bI,j ).
Comme πj ∈ (0, 1) et π1 + · · · + πJ = 1 est interprété comme une probabilité,
décrivant une “croyance collective”.
On peut aussi ajouter des contraintes empiriques, et associer les croyances à desfréquences connues) (on parle de Bayésianisme empirique)
Williamson (2004) a introduit un Bayésianisme objectif, inspiré par Jaynes (1957),
basé sur la maximisation de l’entropie (approche maxmin), associé à un principe deprécaution.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

40 / 167

Logique non booléenne I
Note On peut aussi trouver des liens avec la logique.
Classiquement, si on a la proposition “Si A est vrai, alors B est vrai”(
Si j’observe que A est vrai, j’en conclus que B est vrai
Si j’observe que B est faux, j’en conclus que A est faux.
Dans le cadre de la logique booléenne, ce sont les seules assertions équivalentes(A =⇒ B et ¬B =⇒ ¬A).
Mais il peut y avoir des raisonnements plausibles, Pólya (1958)(
Si j’observe que A est faux, il me semble que B devient moins plausible
Si j’observe que B est vrai, il me semble que A devient plus plausible.
Que signifie ici “plausible” ? (On reviendra sur ces croyances en neuroscience plus tard)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

41 / 167

Bayésianisme, statistique et calcul I
π(θ) · P(y|θ)
a priori · vraisemblance=P(y)évidenceθa−1 (1 − θ)b−1s s
a posteriori = π(θ|y) ∝·θ (1 − θ)n−s
B(a, b)na posteriori = π(θ|y) =I Lois conjuguées : Binomiale - Beta
La vraisemblance pour un modèle de variables binomiales est(
x 7→ f (x; p) = p s (1 − p)n−s où s = x > 1 = x1 + · · · + xn
p 7→ p s (1 − p)n−s sur [0, 1] est une loi Beta(xi |θ ∼ B(θ)
Siθ ∼ Beta(a, b) a priori

alors θ|x ∼ Beta(a + s, b + n − s) a posteriori(qui se généralise en Multinomiale - Dirichlet)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

42 / 167

Bayésianisme, statistique et calcul II
I Lois conjuguées : Poisson - Gamma
La vraisemblance pour un modèle de variables Poisson est
e nλ λsx 7→ f (x; λ) =où s = x > 1 = x1 + · · · + xn
x1 ! · · · xn !

λ 7→ e nλ λs sur R+ est une loi GammaSi(
xi |λ ∼ P(λ)θ ∼ Gamma(a, b) a priori

alors λ|x ∼ Gamma(a + s, b + n) a posteriori

On retrouve en particuliera priori E(λ) =aa+s
et a posteriori E(λ|x) =bb+n

utilisé en théorie de la crébilité, Bühlmann (1967).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

43 / 167

Bayésianisme, statistique et calcul III
I Lois conjuguées : Normale - Normale
Si la variance Σ est connue(
x i |µ ∼ N (µ, Σ)µ ∼ N (µ0 , Σ0 )alors µ|x ∼ N µx , Σx



(


−1 −1
−1
µx = Σ−1
Σ−1
0 + nΣ
0 µ0 + nΣ x̄
où

−1 −1
Σx = Σ−1
0 + nΣ
Utilisé classiquement en économétrie Bayésienne,@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

44 / 167

Bayésianisme, statistique et calcul IV
I Lois conjuguées : Normale - Inverse Wishart
Si la moyenne µ est connue(
x i |Σ ∼ N (µ, Σ)Σ ∼ IW (ν0 , Ψ0 )oùνx = n + νΨx = Ψ +alors Σ|x ∼ IW (νx , Ψx )nX(xi − µ)(xi − µ)>i=1

Utilisé classiquement en économétrie Bayésienne, pour des modèles VAR, Adjemianand Pelgrin (2008), ou en gestion de portefeuilles, Black and Litterman (1990, 1992)(voir aussi Satchell and Scowcroft (2000) pour une mise en perspective).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

45 / 167

Bayésianisme, statistique et calcul V
Les méthodes bayésiennes peuvent être très puissantes pour estimer des modèles depanels, hiérarchiques ou multi-niveaux, Gelman and Hill (2006).
I Modèle hiérarchique
Quand l’individu i appartient au groupe j,(
α j = a0 + z >j β 1 + uj
yi,j = αj + x >
β
+
ε
,
où
i,j
j
i
βj = b 0 + Z >j B1 + uj
avec des constantes et des pentes qui dépendent des groupes.
(généralement dans un modèle GLM).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

46 / 167

Bayésianisme, statistique et calcul VI
Sinon, soit on utilise des simulations (voir MCMC), soit on passe par des hypothèses
simplificatrices.
Considèrons des symptomes s1 , · · · , sk et des maladies m1 , · · · , mj (dans {0, 1})

 



P M =m ·P S =s M =m
P M=m S=s = X  
P M =x ·P S =s M =xx“Naïve Bayes” repose sur des hypothèses (Spiegelhalter et al. (1993))

I les maladies sont mutuellement exclusives P M = m S = s = 0 si m > 1 > 1,
I les symptomes sont conditionnellement indépendants
k

 Y


P S = s Mi = mi =P S j = sj Mi = m i
j=1@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

47 / 167

Bayésianisme, statistique et calcul VII

Et dans ce cas,
k

 Y


P Mi = m i ·P Sj = sj Mi = mij=1

P Mi = m i S = s =P Mi = 0 ·

k
Y

k



 Y


P Sj = sj Mi = 0 + P Mi = 1 ·P Sj = s j M i = 1

j=1

j=1

On peut améliorer le modèle à l’aide d’un réseau bayésien (on en reparlera plus loin).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

48 / 167

Bayésianisme, statistique et calcul VIII
Pour déterminer P Mi = mi S = s , on a besoin de connaître

I la prévalence des maladies P Mi = 1
I les sensibilités P Sj = 1|Mi = 1
I les spécificités P Sj = 0|Mi = 0
pour tous les symptomes Sj et toutes les maladies Mi .

Notons que P Sj = sj |Mi = mi ont une interprétation causale: ce sont les maladies
qui causent les symptomes.
Voir Sadegh-Zadeh (1980) sur les diagnostiques bayésiens, ou Donnat et al. (2020).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

49 / 167

Bayésianisme, statistique et calcul I
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 0, 0, 0, 0}, B(θ)
!
r


h
i
θ(1
−
θ)
x
(1
−
x
)
Approche fréquentiste, θb ≈ N θ,
, P θ ∈ x ± 1.64
≈ 90%
n
n

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

50 / 167

Bayésianisme, statistique et calcul II
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 0, 0, 0, 0}, B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

51 / 167

Bayésianisme, statistique et calcul III
I Loi a posteriori
Supposons x = {0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

52 / 167

Bayésianisme, statistique et calcul IV
I Loi a posteriori
Supposons x = {0, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

53 / 167

Bayésianisme, statistique et calcul V
I Loi a posteriori
Supposons x = {0, 0, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

54 / 167

Bayésianisme, statistique et calcul VI
I Loi a posteriori
Supposons x = {0, 0, 0, 1} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

55 / 167

Bayésianisme, statistique et calcul VII
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

56 / 167

Bayésianisme, statistique et calcul VIII
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

57 / 167

Bayésianisme, statistique et calcul IX
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

58 / 167

Bayésianisme, statistique et calcul X
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

59 / 167

Bayésianisme, statistique et calcul XI
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

60 / 167

Bayésianisme, statistique et calcul XII
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

61 / 167

Bayésianisme, statistique et calcul XIII
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

62 / 167

Bayésianisme, statistique et calcul XIV
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

63 / 167

Bayésianisme, statistique et calcul XV
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 1} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

64 / 167

Bayésianisme, statistique et calcul XVI
I Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

65 / 167

Bayésianisme, statistique et calcul XVIII Loi a posteriori
Supposons x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 1} , B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

66 / 167

Bayésianisme, statistique et calcul XVIII
I Loi a posteriori
et finallement x = {0, 0, 0, 1, 0, 1, 1, 0, 0, 0, 0, 0, 1, 0, 1, 0, 1, 1, 0, 1, 1, 0, 0, 0, 0}, B(θ)
b ∼ Beta(α0 + s, β0 + n − s), s =Approche Bayésienne, θ|x

n
X

xi

i=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

67 / 167

Bayésianisme, statistique et calcul XIX
I Loi a posteriori
Et si x = {0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0}, B(θ) ?
b ∼ Beta(α0 , β0 + n), commeApproche Bayésienne, θ|xnXxi = 0i=1@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

68 / 167

Bayésianisme, statistique et calcul XX
I Loi a posteriori
Ministère de l’intérieur (2019) “seuil unique pour qualifier une sécheresse géotechniqued’anormale: une durée de retour supérieure ou égale à 25 ans ” (probabilité 1/25) On
n’a observé aucune sécheresse sur 2 ans ({0, 0}), que devient notre croyance sur lapériode de retour ?

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

69 / 167

Bayésianisme, statistique et calcul XXI
I Loi a posteriori
A titre de comparaison, si on a observé deux sécheresses majeures ({1, 1}), nos
croyances a posteropri sont très influencées par ces évènements inatendus@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

70 / 167

Bayésianisme, statistique et calcul XXIII De la loi à l’estimateur(
moyenne a posteriori
maximum a posteriori (MAP)θb = E θ|Dθb = max π(θ|D) i.e. le mode

La moyenne a posteriori est aussi la solution du problème
Z

 

2
2
b
θ = argmin E (θ − τ ) |D = argmin(θ − τ ) π(θ|D)dθτ

τ

I “Intervalle de confiance” ou plutôt “intervalle de crédibilité"bD ] tel que P[θ ∈ [bbD ]] ≥ 95%.
Pour l’intervalle de confiance, on cherche [baD , baD , bPour l’intervalle de crédibilité, on cherche [a, b] tel que P[θ ∈ [a, b]|D] ≥ 95%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

71 / 167

Bayésianisme, statistique et calcul XXIIII “Intervalle de confiance”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )(ici θ = 0)σbOn considère [a, b] = x ± qα √nSi on génère D0 = {x10 , · · · , xn0 } suivant N (θ, σ 2 ) on veut



σ
b
0
P θ 6∈ x ± qα √≈αninterprété comme une fréquence, en répétant l’expérience.
Ici, α = 5%: dans 5% des simulations, 0 n’est pas dans [a, b].

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

72 / 167

Bayésianisme, statistique et calcul XXIV
I “Intervalle de confiance”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )(ici θ = 0)σbOn considère [a, b] = x ± qα √nSi on génère D0 = {x10 , · · · , xn0 } suivant N (θ, σ 2 ) on veut



σ
b√
0
P θ 6∈ x ± qα 0 n ∼ αinterprété comme une fréquence, en répétant l’expérience.
Ici, α = 5%: dans 5% des simulations, 0 n’est pas dans [a, b].

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

73 / 167

Bayésianisme, statistique et calcul XXV
I “Intervalle de confiance”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )(ici θ = 0)σbOn considère [a, b] = x ± qα √nSi on génère D0 = {x10 , · · · , xn0 } suivant N (θ, σ 2 ) on veut



σ
b√
0
P θ 6∈ x ± qα 0 n ≈ αinterprété comme une fréquence, en répétant l’expérience.
Ici, α = 5%: dans 5% des simulations, 0 n’est pas dans [a, b].

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

74 / 167

Bayésianisme, statistique et calcul XXVII “Intervalle de crédibilité”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )On se donne une loi a priori π(·) pour θet π(·|D) est la loi a posteriori (potentiellement compliquée)On suppose qu’on peut générer θ̃1 , · · · , θ̃k suivant π(·|D).
On considère(b −1 (α/2|D) quantile de niveau α/2a=Πb −1 (1 − α/2|D) quantile de niveau 1 − α/2
b=Π
alors
h
h
ii
b −1 (α/2|D); Πb −1 (1 − α/2|D) ≈ α
P θ 6∈ Π@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

75 / 167

Bayésianisme, statistique et calcul XXVIII “Intervalle de crédibilité”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )On se donne une loi a priori π(·) pour θet π(·|D) est la loi a posteriori (potentiellement compliquée)On suppose qu’on peut générer θ̃1 , · · · , θ̃k suivant π(·|D).
On considère(b −1 (α/2|D) quantile de niveau α/2a=Πb −1 (1 − α/2|D) quantile de niveau 1 − α/2
b=Π
alors
h
h
ii
b −1 (α/2|D); Πb −1 (1 − α/2|D) ≈ α
P θ 6∈ Π@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

76 / 167

Bayésianisme, statistique et calcul XXVIIII “Intervalle de crédibilité”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )On se donne une loi a priori π(·) pour θet π(·|D) est la loi a posteriori (potentiellement compliquée)On suppose qu’on peut générer θ̃1 , · · · , θ̃k suivant π(·|D).
On considère(b −1 (α/2|D) quantile de niveau α/2a=Πb −1 (1 − α/2|D) quantile de niveau 1 − α/2
b=Π
alors
h
h
ii
b −1 (α/2|D); Πb −1 (1 − α/2|D) ≈ α
P θ 6∈ Π@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

77 / 167

Bayésianisme, statistique et calcul XXIXI “Intervalle de crédibilité”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )On se donne une loi a priori π(·) pour θet π(·|D) est la loi a posteriori (potentiellement compliquée)On suppose qu’on peut générer θ̃1 , · · · , θ̃k suivant π(·|D).
On considère(b −1 (α/2|D) quantile de niveau α/2a=Πb −1 (1 − α/2|D) quantile de niveau 1 − α/2
b=Π
alors
h
h
ii
b −1 (α/2|D); Πb −1 (1 − α/2|D) ≈ α
P θ 6∈ Π@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

78 / 167

Bayésianisme, statistique et calcul XXX
I “Intervalle de crédibilité”
Supposons que D = {x1 , · · · , xn }, Xi ∼ N (θ, σ 2 )On se donne une loi a priori π(·) pour θet π(·|D) est la loi a posteriori (potentiellement compliquée)On suppose qu’on peut générer θ̃1 , · · · , θ̃k suivant π(·|D).
On considère(b −1 (α/2|D) quantile de niveau α/2a=Πb −1 (1 − α/2|D) quantile de niveau 1 − α/2
b=Π
alors
h
h
ii
b −1 (α/2|D); Πb −1 (1 − α/2|D) ≈ α
P θ 6∈ Π@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

79 / 167

Bayésianisme, statistique et calcul XXXI
On peut aussi évoquer de la modélisation Bayésienne nonparamétrique, Ferguson(1973). Au lieu de supposer Xi ∼ f ∈ FΘ où FΘ = {fθ : θ ∈ Θ}, on considère une
famille plus générale,
 Z

00
2
Xi ∼ f ∈ F = f : [f (y )] dy < ∞ROn peut toujours calculer une loi a posteriori,RnY
Ln (f )dπ(f )A
π(f ∈ A|D) = P(X ∈ A|D) = R, où Ln (f ) =f (xi )
F Ln (f )dπ(f )i=1où π est une loi a priori sur F. Très proche des problèmes d’urnes de Pólya (infinies),du “Chinese restaurant process” et des processus de Dirichlet, Blackwell and
MacQueen (1973), Ghosh and Ramamoorthi (2003), Orbanz and Teh (2010).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

80 / 167

Bayésianisme, statistique et calcul XXXIIPar exemple, si X1 , · · · , Xn i.i.d. de loi F . La loi a priori π est un processus de
Dirichlet, D(α, F0 ), où F0 ∈ F est une loi a priori pour X , alors que α indique ladispersion autour de F0 .
Pour tirer suivant D(α, F0 ),I on tire z1 , z2 , · · · suivant F0 ,I on tire v1 , v2 , · · · suivant une loi Beta B(1, α),I on définit itérativement des poids, ω1 = v1 et ωj = vj (1 − vj−1 ) · · · (1 − v1 )X
I F (x ) =ωj 1(x ≤ zj )j≥1

Si a priori π ∼ D(α, F0 ), alors a posteriori, π|D ∼ D(α + n, Fn ) où
n

Fn =

n b
α
1X
Fn +
F0 , où Fbn (x ) =1(x ≤ xj )
n+α
n+α
n
j=1

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

81 / 167

Bayes et propriété de Markov I
I Propriété de Markov
Cette propriété permet de simplifier l’écriture (et le calcul) de la loi a posteriori
P Xt+1 = xt+1 Xt = xt , Xt−1 = xt−1 , · · · = P Xt+1 = xt+1 Xt = xt
X1

X2

X3

X4

X5

X6

X7

X8

Pour rappels, moyennant quelques hypothèses techniques, le noyau de transitionp(xt+1 |xt ) converge (t → ∞) vers une mesure stationnaire p ∗ (x ).
Si xt ∈ X de cardinal fini, p(·|·) se lit dans une matrice (stochastique) P.

P Xt+k = j Xt = i = [P k ]ij (Chapman Kolmogorov)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

82 / 167

Bayes et propriété de Markov II
Exemple système bonus-malus, Lemaire (1995),
1

0.8

2

3

4

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

5

0.178

0.178

●

0.8

6

0.021

0.021

0.199

●

0.8

0.199

●

0.8

6

5

4

3

●
0.8

2

1

●

0.199

0.8

●
0.199

t+1 vs. t

83 / 167

Bayes et propriété de Markov III
2

3

1

●
0.64

0.142

2

0.64

●

0.64

6

5

4

1

3

Exemple système bonus-malus, Lemaire (1995),

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

4

5

6

0.142

0.017

0.057

0.285

0.017

0.057

0.142

0.159

0.057

●

0.159

0.199

●
0.159

0.199

0.159

●
0.199

●

0.64

0.64

0.64

t+2 vs. t

84 / 167

Bayes et propriété de Markov IV

freakonometrics

freakonometrics.hypotheses.org

6

0.114

0.114

0.039

0.045

0.06

●
0.228

0.114

0.013

0.045

0.085

●
0.228

0.128

0.045

0.085

●
0.242

0.159

0.085

0.128

●
0.159

0.199

0.128

0.159

●
0.199

1

5

2

4

3

3

0.512

0.512

0.512

5

@freakonometrics

2

●
0.626

6

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

1

4

Exemple système bonus-malus, Lemaire (1995),

0.512

0.512

t+3 vs. t

85 / 167

Bayes et propriété de Markov V
2

3

4

5

6

1

●
0.592

0.091

0.143

0.056

0.048

0.067

2

0.592

●
0.091

0.102

0.077

0.068

0.067

3

0.409

0.182

●
0.193

0.036

0.068

0.108

4

0.409

0.285

●
0.128

0.068

0.108

0.409

0.102

0.219

●
0.159

0.108

0.102

0.128

0.159

●
0.199

6

1

5

Exemple système bonus-malus, Lemaire (1995),

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

0.409

t+4 vs. t

86 / 167

Bayes et propriété de Markov VI

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1

2

3

4

5

6

1

●
0.547

0.114

0.151

0.054

0.054

0.077

2

0.547

●
0.081

0.167

0.071

0.054

0.077

3

0.473

0.155

●
0.102

0.087

0.086

0.094

4

0.327

0.228

0.175

●
0.054

0.086

0.126

5

0.327

0.081

0.248

0.128

●
0.086

0.126

6

Exemple système bonus-malus, Lemaire (1995),

0.327

0.081

0.102

0.201

0.159

●
0.126

t+5 vs. t

87 / 167

Bayes et propriété de Markov VII

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1

2

3

4

5

6

1

●
0.529

0.121

0.141

0.063

0.062

0.081

2

0.503

●
0.134

0.154

0.058

0.062

0.087

3

0.503

0.081

●
0.154

0.097

0.075

0.087

4

0.444

0.14

0.102

●
0.11

0.101

0.1

5

0.327

0.198

0.16

0.084

●
0.101

0.126

6

Exemple système bonus-malus, Lemaire (1995),

0.327

0.081

0.219

0.142

0.101

●
0.126

t+6 vs. t

88 / 167

Bayes et propriété de Markov VIII

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1

2

3

4

5

6

1

●
0.52

0.113

0.145

0.071

0.065

0.083

2

0.509

●
0.123

0.136

0.073

0.07

0.086

3

0.468

0.123

●
0.167

0.074

0.07

0.095

4

0.468

0.081

0.167

●
0.106

0.08

0.095

5

0.421

0.128

0.125

0.116

●
0.101

0.105

6

Exemple système bonus-malus, Lemaire (1995),

0.327

0.175

0.172

0.095

0.101

●
0.126

t+7 vs. t

89 / 167

Bayes et propriété de Markov IX

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1

2

3

4

5

6

1

●
0.506

0.116

0.15

0.072

0.067

0.086

2

0.506

●
0.108

0.15

0.078

0.068

0.086

3

0.473

0.134

●
0.143

0.078

0.076

0.094

4

0.439

0.134

0.168

●
0.079

0.076

0.101

5

0.439

0.1

0.168

0.104

●
0.084

0.101

6

Exemple système bonus-malus, Lemaire (1995),

0.402

0.138

0.135

0.112

0.101

●
0.11

t+8 vs. t

90 / 167

Bayes et propriété de Markov X

Si la fréquence de sinistre est N ∼ P(10.53%),
P(N = 0) = 10%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1

2

3

4

5

6

1

●
0.498

0.12

0.148

0.074

0.069

0.088

2

0.492

●
0.12

0.153

0.074

0.069

0.09

3

0.485

0.114

●
0.147

0.085

0.075

0.091

4

0.459

0.134

0.141

●
0.085

0.081

0.097

5

0.432

0.134

0.161

0.085

●
0.081

0.103

6

Exemple système bonus-malus, Lemaire (1995),

0.432

0.108

0.161

0.105

0.088

●
0.103

t+9 vs. t

91 / 167

Bayes et propriété de Markov XI

Si la fréquence de sinistre est N ∼ P(0.225),
P(N = 0) = 20%.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

1

2

3

4

5

6

1

●
0.481

0.12

0.15

0.08

0.073

0.092

2

0.481

●
0.12

0.15

0.08

0.073

0.092

3

0.481

0.12

●
0.15

0.08

0.073

0.092

4

0.481

0.12

0.15

●
0.08

0.073

0.092

5

0.481

0.12

0.15

0.08

●
0.073

0.092

6

Exemple système bonus-malus, Lemaire (1995),

0.481

0.12

0.15

0.08

0.073

●
0.092

t+100 vs. t

92 / 167

Bayes et propriété de Markov XIII Calcul d’espérance et MCMC
Loi des grands nombresn

1 X p.s.
si X1 , · · · , Xn , · · · i.i.d. de loi p ,Xi → Ep ∗ (X ) =n∗Z

xdp ∗ (x )i=1

Théorème ergodique (si p(·|·) a pour loi invariante p ∗ )
Z
t0 +n
1 X
p.s.
si X1 , · · · , Xt , Xt+1 , · · · est généré suivant p(·|·),
Xt → Ep ∗ (X ) = xdp ∗ (x )nt=t0 +1

et générer (Xt ) suivant p(·|·) peut se faire par l’algorithme d’Hasting-Metropolis ou deGibbs, Andrieu et al. (2003) ou Kruschke (2014).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

93 / 167

Bayes et propriété de Markov XIII
La propriété de Markov permet d’écrireP(x) =pY

P(xi |xi−1 ) · P(x1 )i=2

On peut étendre cette propriété quand il existe un DAG pour les p variables.
I Graph dirigé acyclique (DAG)
X1

X2

X1

X3

X4

@freakonometrics

freakonometrics

X2

X1

X3

X4

freakonometrics.hypotheses.org

X2

X3

X4

X5

94 / 167

Bayes et propriété de Markov XIV
I Réseau Bayésien
Un couple {G, P} est un Réseau Bayésien, si G = {V , E } est un DAG et s’il vérifie lacondition de Markov suivante : chaque variable X dans V est indépendante de ses
non-descendants, dans G, conditionnellement à ses parents,
X1

P(x) =pY

P(xi |x parentsi )

i=1

X2

X3

X4

X5



X2 ⊥⊥ {X3 , X4 } | X1X ⊥⊥ X | X
3
2
1

X
⊥
⊥
{X
,
X
4
1
5 } | {X2 , X3 }
X ⊥⊥ {X , X , X } | X
5
1
2
4
3
P(x) = P(x5 |x3 )P(x4 |x2 , x3 )P(x3 |x1 )P(x2 |x1 )P(x1 )@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

95 / 167

Bayes et propriété de Markov XV
I Réseau Bayésien et Diagnostique Médical
via Lauritzen and Spiegelhalter (1988) et Højsgaard et al. (2012)
voyage en Asie

tuberculose

fumeurcancerpoumonbronchite

dyspnée
tuberculose ou
cancer poumon@freakonometrics

freakonometrics

On a le graph (orienté acyclique, DAG)et les probabilités conditionnelle

rayons-x

freakonometrics.hypotheses.org

96 / 167

Bayésianisme et apprentissage statistique I
L’économétrie est fondée sur un modèle probabiliste, contrairement à la plupart desapproches de machine learning, cf Charpentier et al. (2018)
I dans les SVM, la distance à la droite de séparation est utilisé comme un score qui
peut être ensuite interprété comme une probabilité - Platt scaling, Platt et al.
(1999) ou isotonic regression Zadrozny and Elkan (2001, 2002) (voir aussi
Niculescu-Mizil and Caruana (2005) “good probabilities")
I les modèles GLM (sous certaines conditions) vérifient la propriétéd’autocalibration, Denuit et al. (2021), pas les modèles d’apprentissage machine,i.e.
b = y ] = y , ∀yE[Y |Y
Lichtenstein et al. (1977), Dawid (1982) ou Oakes (1985), Gneiting et al. (2007)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

97 / 167

Bayésianisme et apprentissage statistique II
Comme l’explique la page méthodologique de Scikit-learn, “Well calibrated classifiers
are probabilistic classifiers for which the output can be directly interpreted as aconfidence level. For instance, a well calibrated (binary) classifier should classify the
samples such that among the samples to which it gave a [predicted probability] value
close to 0.8, approximately 80% actually belong to the positive class."
Très proche de ce qui existe pour quantifier l’incertitude dans les modèles
météorologiques,“Suppose that a forecaster sequentially assigns probabilities to events. He is wellcalibrated if, for example, of those events to which he assigns a probability 30 percent,the long-run proportion that actually occurs turns out to be 30 percent", Dawid (1982)
ou “we desire that the estimated class probabilities are reflective of the true underlying
probability of the sample, Kuhn et al. (2013)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

98 / 167

Bayésianisme et apprentissage statistique III
Comme l’explique Van Calster et al. (2019), “among patientswith an estimated risk of 20%, we expect 20 in 100 to haveor to develop the event”,
I si on observe que dans ce groupe, 40 sur 100 ont lamaladie, on a sous-estimé le risqueI si on observe que dans ce groupe, 10 sur 100 ont lamaladie, on a sur-estimé le risqueOn peut sur-sous estimer différement pour les petits ou lesgrands risques.
Test de Hosmer-Lemeshow test (Hosmer Jr et al. (2013))
dans le cas logistique (à généraliser).

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

99 / 167

Bayésianisme et apprentissage statistique IV
I Estimateur Ridge, Hoerl and Kennard (1970) (régression linéaire)no
On cherche βbλ = argmin (y − Xβ)> (y − Xβ) + λkβk22 ,“équivalent" au problèmeβ∈Rpnod’optimisation sous contrainte argmin(y − Xβ)> (y − Xβ) .
β∈Rp :kβk2 ≤c

On va considérer le modèle suivant(
y = Xβ + ε ou y|X, β ∼ N (Xβ, σ 2 I)β ∼ N (0, τ 2 I) a posteriori
L’estimateur Maximum a Posteriori (MAP) vérifie


2
σ
>
2
βbMAP = argmin (y − Xβ) (y − Xβ) + 2 kβk2
τβ∈Rp@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

100 / 167

Bayésianisme et apprentissage statistique V
I Estimateur LASSO, Tibshirani (1996) (régression linéaire)no
On cherche βbλ = argmin (y − Xβ)> (y − Xβ) + λkβk1 ,“équivalent" (Gill et al.
β∈Rp
n
o
>
(2019)) au problème d’optimisation contraint argmin(y − Xβ) (y − Xβ) .
β∈Rp :kβk1 ≤c

On va considérer le modèle suivant (Tibshirani (1996) et Park and Casella (2008))(
y = Xβ + ε ou y|X, β ∼ N (Xβ, σ 2 I)β ∼ L(τ ) a posteriori, i.e. π(β) = (τ /2)p exp − τ kβk1
L’estimateur Maximum a Posteriori (MAP) vérifienoβbMAP = argmin (y − Xβ)> (y − Xβ) + σ 2 τ kβk1
β∈Rp@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

101 / 167

Bayésianisme et apprentissage statistique VI
Tibshirani (1996) suggested that Lasso estimates can be interpreted as posterior mode
estimates when the regression parameters have independent and identical Laplace (i.e.,
double-exponential) priors
I Réseaux de neurones
Rumelhart et al. (1985), Rumelhart et al. (1986) Hertz et al. (1991) et Buntine andWeigend (1991) ont proposé de formaliser la rétro-propagation dans un contexte
bayésien, repris par MacKay (1992) et Neal (1992).
Synthèse de Neal (2012), il y a plus de 25 ans (ou plus récemment Neal (2012)
Theodoridis (2015), Gal and Ghahramani (2016) et Goulet et al. (2021))@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

102 / 167

Le Bayésianisme comme processus d’apprentissage I
Vieux sujet,
Shepard (1987) ou Tenenbaum (1998).
“How does abstract knowledge guide learning and reasoning from sparse data? How
does the mind get so much from so little?,
Tenenbaum et al. (2011)
Repris par Dehaene (2012) dans son cours
au Collège de France.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

103 / 167

Le Bayésianisme comme processus d’apprentissage II
Les simplifications oppérées par le cerveau sont connu depuis longtemps, Goodman(1955).
On a une urne contenant 100 boules, une personne tire une boule bleue, que peut-on
dire ?
A priori pas grande chose sauf si par le passé, on a observé que toutes les urnes
contenaient toujours des boules de la même couleur. Une observation unique peutalors être très informative
Permet dapprendre à apprendre, Kemp and Tenenbaum (2008), Kemp et al. (2010),
Tenenbaum et al. (2011)
Apprentissage du langage, Stolcke (1994), Watanabe and Chien (2015), Duh (2018)
ou Murawaki (2019).
Depuis Shepard (1992), de nombreuses expériences sur la vision.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

104 / 167

Le Bayésianisme comme processus d’apprentissage III
Von Helmholtz (1867) parlait de “unbewusste Schluss”, ou inférence inconsciente.
La vue est construite (plus ou moins) comme une projection, or (cf cours algèbre
linéaire) les projections ne sont pas inversibles: plusieurs images pourraient avoir lamême projection. Notre cerveau cherche l’image la plus vraisemblable

Les entrées sensorielles sont toujours ambigües, notre système perceptif doit donc
sélectionner, parmi une infinité de solutions possibles, celle qui est la plus plausible,
Ernst and Banks (2002).
Sur la vision comme processus Bayésien d’apprentissage Yuille and Kersten (2006),
Clark (2013) Moreno-Bote et al. (2011)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

105 / 167

Le Bayésianisme comme processus d’apprentissage IV
Exemple classique sur des “biais” de perception des images, par exemple les formes.

Considérons l’image ci-dessus, que voit-on ?
Classiquement, on voit 5 “trous” et 1 “bosse” Classiquement, on voit 5 “bosses” et 1
“trou” Classiquement, on voit 5 “bosses” et 1 “trou” Classiquement, on voit 5“bosses” et 1 “trou” Classiquement, on voit 5 “bosses” et 1 “trou”@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

106 / 167

Le Bayésianisme comme processus d’apprentissage V
Exemple classique sur des “biais” de perception des images, par exemple les formes.

Considérons l’image ci-dessus, que voit-on ?
Classiquement, on voit 5 “bosses” et 1 “trou” Classiquement, on voit 5 “bosses” et 1
“trou” Classiquement, on voit 5 “bosses” et 1 “trou” Classiquement, on voit 5“bosses” et 1 “trou” Classiquement, on voit 5 “bosses” et 1 “trou”@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

107 / 167

Le Bayésianisme comme processus d’apprentissage VI
Exemple classique sur des “biais” de perception des images, par exemple les formes.

Il s’agir pourtant de la même figure (ayant subie une rotation de 180◦ . (rectangle gricavec 6 disques avec un gradient noir/blanc). Problème ambigu, Ramachandran (1988).
Note: notre oeil fait une inférence sur la source de lumière (vient d’en haut, sansaucune autre information - hypothèse a priori) pour inférer la forme.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

108 / 167

Le Bayésianisme comme processus d’apprentissage VII
Exemple classique sur des “biais” de perception des images, par exemple les longueurs.

Parmi les traits rouge et bleu,
lequel est le plus grand ?

Comme le souligne “linférence Bayésienne rend bien compte des processus deperception: étant donné des entrées ambigües, notre cerveau en reconstruit
linterprétation la plus probable.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

109 / 167

Le Bayésianisme comme processus d’apprentissage VIII
Exemple classique sur des “biais” de perception, par exemple les longueurs.

Parmi les traits rouge et bleu,
lequel est le plus grand ?

Comme le souligne Dehaene (2012), “linférence Bayésienne rend bien compte desprocessus de perception: étant donné des entrées ambigües, notre cerveau enreconstruit linterprétation la plus probable.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

110 / 167

Le Bayésianisme comme processus d’apprentissage IX

Exemple classique sur des “biais” de perception, par exemple les longueurs.

Parmi les traits rouge et bleu,
lequel est le plus grand ?

Généralement, tous les traits rouge sont vus comme plus grands que le trait bleu.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

111 / 167

Le Bayésianisme comme processus d’apprentissage X

Parmi les traits rouge et bleu,
lequel est le plus grand ?

Plusieurs études sur la perception de la taille dun objet,en fonction de son orientation (angle θ)
Shipley et al. (1949), Pollock and Chapanis (1952), Cormack and Cormack (1974) et Purves et al. (2008) a notéque le trait vertical semble 10% plus grand que le trait
horizontal.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

112 / 167

Le Bayésianisme comme processus d’apprentissage XI
La déformation faite par le cerveau correspond à des distributions a priori que lon peut
observer sur des images dans la nature, Howe and Purves (2002), Purves (2009),
Girshick et al. (2011) ou Purves et al. (2011) (sur la base de distances (réelles)
mesurés, par télémétrie laser et comparées au mesure sur la rétine)

Autrement dit, notre rétine a appris à corriger les distances perçues en fonction del’angle d’inclinaison, dans un environnement quotidien (3d), mais continue à lereproduire pour un dessin sur une feuille (2d).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

113 / 167

Le Bayésianisme comme processus d’apprentissage XII
On peut aussi apprendre des Méthodes d’ensemble et par aggrégation d’avis. Par exemple, deviner le poids d’une vache,Cornwall, England, 1906, Galton (1907).
787 participants, x1 , · · · , xn .
Prédiction unique xj v.s moyenne x ,
n


1X
2
2
E (xj − t) ] = (x − t) +(xi − x )2ni=1

où t est la vérité (“ambiguity decomposition”).
“Bayesian methods are sometimes proposed as mathematicalaggregations of expert judgements”, Hanea et al. (2021)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

114 / 167

Le Bayésianisme comme processus d’apprentissage XIII
“I have approximate answers and possible beliefs and different degrees of certainty
about different things”, Feynman (2005)“Diversity and independence are important because the best collective decisions are theproduct of disagreement and contest, not consensus or compromise”, Surowiecki(2005)
Merrick (2008), Karvetski et al. (2013) sur de l’agrégation de modèles m1 , · · · , mk ,m(x) =kX

θi mi (x, αi )i=1avec des poids θ = (θ1 , · · · , θk ) dans le simplexe Sk . On suppose a priori une
distribution de Dirichlet.
Voir aussi Mongin (1995, 2001), inspiré de Karni et al. (1983).
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

115 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmax {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

116 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

117 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

118 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

119 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

120 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

121 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

122 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

123 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

124 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

125 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

126 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

127 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

128 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

129 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

130 / 167

Le Bayésianisme comme processus d’apprentissage
Thompson sampling (ou posterior sampling et probability matching), par Thompson(1933, 1935), et les bandits Beta-Bernoulli.
On a le choix entre K alternatives, rapportant X = (X1 , · · · , XK ), avec Xk ∼ B(θk ).
A priori, on suppose que θk ∼ Beta(αk , βk ). A la date t, on tire K variables Beta(indépendantes) Bk ∼ Beta(αk , βk ), et on retient k ? = argmin {Bk }.
k=1,··· ,K

On fait alors la mise à jour (αk ∗ , βk ∗ ) ← (αk ∗ + xk ∗ , βk ∗ + (1 − xk ∗ )),I données simulées, i.i.d., X1 ∼ B(72%)
I données simulées, i.i.d., X2 ∼ B(24%)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

131 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

132 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

133 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

134 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

135 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

136 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

137 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

138 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

139 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

140 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

141 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

142 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

143 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

144 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

145 / 167

Le Bayésianisme comme processus d’apprentissage
On peut utiliser cette approche dans le contexte
du problème de Monty Hall
I stratégie 1 : on change toujours de porte
I stratégie 2 : on ne change jamais de porte@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

146 / 167

“Conclusion” ou résumé (succint)
I l’approche bayésienne est intéressante pour décriredes croyances face à des évènements incertains, enparticulier si les évènements ne se produiront
qu’une fois
I le calcul bayésien peut s’interpréter comme unemise à jour de croyance ou comme un problème
inverseI très fortement lié aux graphs causaux
I permet de tenir compte d’avis d’expert, et propose
une méthdode d’ensemble
I la modélisation bayésienne décrit l’apprentissage
tant humain que par des machines@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

147 / 167

“Conclusion” ou résumé (succint)(via https://xkcd.com/2059/)@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

148 / 167

Références I, ,Adjemian, S. and Pelgrin, F. (2008). Un regard bayésien sur les modèles dynamiques de la
macroéconomie. Economie prevision, (2):127–152.
Andrieu, C., De Freitas, N., Doucet, A., and Jordan, M. I. (2003). An introduction to mcmc formachine learning. Machine learning, 50(1):5–43.
Anscombe, F. J., Aumann, R. J., et al. (1963). A definition of subjective probability. Annals ofmathematical statistics, 34(1):199–205.
Bailey, A. L. (1950). Credibility Procedures: Laplace’s generalization of Bayes’ Rule and the
combination of collateral knowledge with observed data. New York State Insurance Department,.
Barclay, S. et al. (1977). Handbook for decisions analysis.
Baron, K. and Lange, J. (2006). Parimutuel applications in finance: new markets for new risks.
Springer.
Bayarri, M. J. and Berger, J. O. (2004). The interplay of bayesian and frequentist analysis. Statistical
Science, 19(1):58–80.
Bayes, T. (1763). An essay towards solving a problem in the doctrine of chances. Philosophicaltransactions of the Royal Society of London, (53):370–418.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

149 / 167

Références II
Bell, E. T. (1945). The development of mathematics. Courier Corporation.
Berliner, L. M., Levine, R. A., and Shea, D. J. (2000). Bayesian climate change assessment. Journal of
Climate, 13(21):3805–3820.
Bernoulli, J. (1713). Ars conjectandi: opus posthumum: accedit Tractatus de seriebus infinitis; et
Epistola gallice scripta de ludo pilae reticularis. Impensis Thurnisiorum.
Black, F. and Litterman, R. (1990). Asset allocation: combining investor views with market
equilibrium. Goldman Sachs Fixed Income Research, 115.
Black, F. and Litterman, R. (1992). Global portfolio optimization. Financial analysts journal,
48(5):28–43.
Blackwell, D. and MacQueen, J. B. (1973). Ferguson distributions via pólya urn schemes. The annalsof statistics, 1(2):353–355.
Buehler, R. J. (1976). Coherent preferences. The Annals of Statistics, 4(6):1051–1064.
Bühlmann, H. (1967). Experience rating and credibility. ASTIN Bulletin: The Journal of the IAA,
4(3):199–207.
Buntine, W. L. and Weigend, A. S. (1991). Bayesian back-propagation. Complex Systems, 5.
Cardano, G. (1564). Liber de ludo aleae. Franco Angeli.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

150 / 167

Références III
Charpentier, A. (2017). Les marchés prédictifs comme technique de prévision. Risques, (111).
Charpentier, A. (2019). Du pari au marché prédictif. Variance.eu.
Charpentier, A., Flachaire, E., and Ly, A. (2018). Econometrics and machine learning. Economie etStatistique, 505(1):147–169.
Chen, Y. and Pennock, D. M. (2010). Designing markets for prediction. AI Magazine, 31(4):42–52.
Chipman, H., George, E., and McCulloch, R. (2006). Bayesian ensemble learning. Advances in neural
information processing systems, 19.
Choquet, G. (1954). Theory of capacities. In Annales de l’Institut Fourier, volume 5, pages 131–295.
Clark, A. (2013). Whatever next? predictive brains, situated agents, and the future of cognitive
science. Behavioral and brain sciences, 36(3):181–204.
Cormack, E. O. and Cormack, R. H. (1974). Stimulus configuration and line orientation in thehorizontal-vertical illusion. Perception & Psychophysics, 16(2):208–212.
Cournot, A. A. (1843). Exposition de la théorie des chances et des probabilités. Hachette.
Cox, R. T. (1946). Probability, frequency and reasonable expectation. American journal of physics,
14(1):1–13.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

151 / 167

Références IV
Dawid, A. P. (1982). The well-calibrated bayesian. Journal of the American Statistical Association,
77(379):605–610.
De Finetti, B. (1931). Probabilismo: saggio critico sulla teoria delle probabilità e sul valore dellascienza. Francesco Perrella.
De Finetti, B. (1937). La prévision: ses lois logiques, ses sources subjectives. In Annales de l’institut
Henri Poincaré, volume 7, pages 1–68.
Dehaene, S. (2012). Le cerveau statisticien : la révolution Bayésienne en sciences cognitives. Collège
de France.
Denuit, M., Charpentier, A., and Trufin, J. (2021). Autocalibration and tweedie-dominance for
insurance pricing with machine learning. Insurance: Mathematics & Economics.
Donnat, C., Miolane, N., Bunbury, F., and Kreindler, J. (2020). A bayesian hierarchical network for
combining heterogeneous data sources in medical diagnoses. In Machine Learning for Health, pages
53–84. PMLR.
Drouet, I. (2016). Le bayésianisme aujourdhui. Fondements et pratiques. Éditions Matériologiques.
Duh, K. (2018). Bayesian Analysis in Natural Language Processing. Computational Linguistics,
44(1):187–189.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

152 / 167

Références V
Eisenberg, E. and Gale, D. (1959). Consensus of subjective probabilities: The pari-mutuel method.
The Annals of Mathematical Statistics, 30(1):165–168.
Ernst, M. O. and Banks, M. S. (2002). Humans integrate visual and haptic information in astatistically optimal fashion. Nature, 415(6870):429–433.
Fenton, N. and Neil, M. (2018). Risk assessment and decision analysis with Bayesian networks. Crc
Press.
Fenton, N., Neil, M., and Berger, D. (2016). Bayes and the law. Annual Review of Statistics and Its
Application, 3:51.
Ferguson, T. S. (1973). A bayesian analysis of some nonparametric problems. The annals of statistics,
pages 209–230.
Feynman, R. P. (2005). The pleasure of finding things out: The best short works of Richard P.
Feynman. Basic Books.
Gal, Y. and Ghahramani, Z. (2016). Dropout as a bayesian approximation: Representing model
uncertainty in deep learning. In international conference on machine learning, pages 1050–1059.
PMLR.
Galton, F. (1907). Vox populi (the wisdom of crowds). Nature, 75(7):450–451.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

153 / 167

Références VI
Gelman, A. and Hill, J. (2006). Data analysis using regression and multilevel/hierarchical models.
Cambridge university press.
Ghavamzadeh, M., Mannor, S., Pineau, J., Tamar, A., et al. (2015). Bayesian reinforcement learning:
A survey. Foundations and Trends® in Machine Learning, 8(5-6):359–483.
Ghosh, J. K. and Ramamoorthi, R. V. (2003). Bayesian Nonparametrics. Springer Verlag.
Gigerenzer, G. and Edwards, A. (2003). Simple tools for understanding risks: from innumeracy toinsight. Bmj, 327(7417):741–744.
Gigerenzer, G. and Hoffrage, U. (1995). How to improve bayesian reasoning without instruction:
frequency formats. Psychological review, 102(4):684.
Gill, P. E., Murray, W., and Wright, M. H. (2019). Practical optimization. SIAM.
Girshick, A. R., Landy, M. S., and Simoncelli, E. P. (2011). Cardinal rules: visual orientation
perception reflects knowledge of environmental statistics. Nature neuroscience, 14(7):926–932.
Gneiting, T., Balabdaoui, F., and Raftery, A. E. (2007). Probabilistic forecasts, calibration andsharpness. Journal of the Royal Statistical Society: Series B (Statistical Methodology),69(2):243–268.
Gneiting, T. and Raftery, A. E. (2005). Weather forecasting with ensemble methods. Science,
310(5746):248–249.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

154 / 167

Références VII
Good, I. J. (1966). Speculations concerning the first ultraintelligent machine. In Advances incomputers, volume 6, pages 31–88. Elsevier.
Goodman, N. (1955). Axiomatic measurement of simplicity. The Journal of Philosophy,
52(24):709–722.
Goulet, J.-A., Nguyen, L. H., and Amiri, S. (2021). Tractable approximate gaussian inference forbayesian neural networks. J. Mach. Learn. Res., 22:251–1.
Hájek, A. (2002). Interpretations of probability. Stanford Encyclopedia of Philosophy.
Hájek, A. (2009). Dutch book arguments. In The Handbook of Rational and Social Choice. Oxford
University Press.
Hanea, A., Wilkinson, D. P., McBride, M., Lyon, A., van Ravenzwaaij, D., Singleton Thorn, F., Gray,
C., Mandel, D. R., Willcox, A., Gould, E., et al. (2021). Mathematically aggregating experts
predictions of possible futures. PloS one, 16(9):e0256919.
Hasselmann, K. (1998). Conventional and bayesian approach to climate-change detection andattribution. Quarterly Journal of the Royal Meteorological Society, 124(552):2541–2565.
Hertz, J., Krogh, A., and Palmer, R. G. (1991). Introduction to the theory of neural computation.
CRC Press.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

155 / 167

Références VIII
Hoerl, A. E. and Kennard, R. W. (1970). Ridge regression: Biased estimation for nonorthogonal
problems. Technometrics, 12(1):55–67.
Højsgaard, S., Edwards, D., and Lauritzen, S. (2012). Graphical models with R. Springer Verlag.
Hosmer Jr, D. W., Lemeshow, S., and Sturdivant, R. X. (2013). Applied logistic regression, volume398. John Wiley & Sons.
Howe, C. Q. and Purves, D. (2002). Range image statistics can explain the anomalous perception oflength. Proceedings of the National Academy of Sciences, 99(20):13184–13188.
Hunt, I. and Mostyn, J. (2020). Probability reasoning in judicial fact-finding. The international Journalof evidence & Proof, 24(1):75–94.
Jaynes, E. T. (1957). Information theory and statistical mechanics. Physical review, 106(4):620.
Jaynes, E. T. (1988). How does the brain do plausible reasoning? In Maximum-entropy and Bayesian
methods in science and engineering, pages 1–24. Springer.
Jaynes, E. T. (2003). Probability theory: The logic of science. Cambridge university press.
Jeffrey, R. (1965). The logic of decision. University of Chicago press.
Jeffrey, R. (2004). Subjective probability: The real thing. Cambridge University Press.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

156 / 167

Références IX
Jonakait, R. N. (1983). When blood is their argument: probabilities in criminal cases, genetic markers,
and, once again, bayes’ theorem. University of Illinois Law Review, page 369.
Kahneman, D. and Tversky, A. (1972). Subjective probability: A judgment of representativeness.
Cognitive psychology, 3(3):430–454.
Karni, E., Schmeidler, D., and Vind, K. (1983). On state dependent preferences and subjective
probabilities. Econometrica:, pages 1021–1031.
Karvetski, C. W., Olson, K. C., Mandel, D. R., and Twardy, C. R. (2013). Probabilistic coherence
weighting for optimizing expert forecasts. Decision Analysis, 10(4):305–326.
Kause, A., Bruine de Bruin, W., Persson, J., Thorén, H., Olsson, L., Wallin, A., Dessai, S., andVareman, N. (2022). Confidence levels and likelihood terms in ipcc reports: a survey of experts
from different scientific disciplines. Climatic Change, 173(1):1–18.
Kemeny, J. G. (1955). Fair bets and inductive probabilities1. The Journal of Symbolic Logic,
20(3):263–273.
Kemp, C. and Tenenbaum, J. B. (2008). The discovery of structural form. Proceedings of the National
Academy of Sciences, 105(31):10687–10692.
Kemp, C., Tenenbaum, J. B., Niyogi, S., and Griffiths, T. L. (2010). A probabilistic model of theory
formation. Cognition, 114(2):165–196.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

157 / 167

Références X
Klugman, S. A. (1991). Bayesian statistics in actuarial science: with emphasis on credibility,
volume 15. Springer Science & Business Media.
Kolmogorov, A. (1933). Grundbegriffe der wahrscheinlichkeitsrechnung.
Kremer, W. (2014). Do doctors understand test results. BBC World Service.
Kruschke, J. (2014). Doing Bayesian data analysis: A tutorial with R, JAGS, and Stan. Academic
Press.
Kuhn, M., Johnson, K., et al. (2013). Applied predictive modeling, volume 26. Springer.
Laplace, P. S. (1774). Mémoire sur la probabilité de causes par les évenements. Mémoire del’académie royale des sciences.
Lauritzen, S. L. and Spiegelhalter, D. J. (1988). Local computations with probabilities on graphicalstructures and their application to expert systems. Journal of the Royal Statistical Society: Series B(Methodological), 50(2):157–194.
Lebesgue, H. (1918). Remarques sur les théories de la mesure et de l’intégration. Annales scientifiquesde l’École Normale Supérieure, 35:191–250.
Lehman, R. S. (1955). On confirmation and rational betting. The Journal of Symbolic Logic,
20(3):251–262.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

158 / 167

Références XI
Lemaire, J. (1995). Bonus-malus systems in automobile insurance, volume 19. Springer science &business media.
Lichtenstein, S., Fischhoff, B., and Phillips, L. D. (1977). Calibration of probabilities: The state of theart. Decision making and change in human affairs, pages 275–324.
Lindley, D. V. (2013). Understanding uncertainty. John Wiley & Sons.
Lindley, D. V., Tversky, A., and Brown, R. V. (1979). On the reconciliation of probability assessments.
Journal of the Royal Statistical Society: Series A (General), 142(2):146–162.
Longley-Cook, L. H. (1962). An introduction to credibility theory. Casualty Actuarial Society.
MacKay, D. J. (1992). A practical bayesian framework for backpropagation networks. Neuralcomputation, 4(3):448–472.
Martin, T. (2009). la probabilité, un concept pluriel. Pour la science), (385):46–50.
Mastrandrea, M. D., Field, C. B., Stocker, T. F., Edenhofer, O., Ebi, K. L., Frame, D. J., Held, H.,
Kriegler, E., Mach, K. J., Matschoss, P. R., et al. (2010). Guidance note for lead authors of the ipcc
fifth assessment report on consistent treatment of uncertainties.
McGrayne, S. B. (2011). The Theory That Would Not Die: How Bayes’ Rule Cracked the Enigma
Code, Hunted Down Russian Submarines, & Emerged Triumphant from Two Centuries of C. Yale
University Press.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

159 / 167

Références XII
Merrick, J. R. (2008). Getting the right mix of experts. Decision Analysis, 5(1):43–52.
Ministère de l’intérieur (2019). Procédure de reconnaissance de l’état de catastrophe naturelle révision des critères permettant de caractériser l’intensité des épisodes de sécheresses-réhydrations
des sols a l’origine des mouvement de terrains différentiels. Technical report.
Mongin, P. (1995). Consistent bayesian aggregation. Journal of Economic Theory, 66(2):313–351.
Mongin, P. (2001). The paradox of the bayesian experts. In Foundations of Bayesianism, pages
309–338. Springer.
Moreno-Bote, R., Knill, D. C., and Pouget, A. (2011). Bayesian sampling in visual perception.
Proceedings of the National Academy of Sciences, 108(30):12491–12496.
Murawaki, Y. (2019). Bayesian Learning of Latent Representations of Language Structures.
Computational Linguistics, 45(2):199–228.
Murphy, A. H. and Epstein, E. S. (1967). Verification of probabilistic predictions: A brief review.
Journal of Applied Meteorology and Climatology, 6(5):748–755.
Neal, R. M. (1992). Bayesian training of backpropagation networks by the hybrid monte carlo method.
Technical report, Citeseer.
Neal, R. M. (2012). Bayesian learning for neural networks, volume 118. Springer Science & BusinessMedia.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

160 / 167

Références XIII
Neyman, J. (1977). Frequentist probability and frequentist statistics. Synthese, pages 97–131.
Niculescu-Mizil, A. and Caruana, R. (2005). Predicting good probabilities with supervised learning. In
Proceedings of the 22nd international conference on Machine learning, pages 625–632.
Oakes, D. (1985). Self-calibrating priors do not exist. Journal of the American Statistical Association,
80(390):339–339.
Orbanz, P. and Teh, Y. W. (2010). Bayesian nonparametric models. Encyclopedia of machine learning,
1.
Park, T. and Casella, G. (2008). The bayesian lasso. Journal of the American Statistical Association,
103(482):681–686.
Pettigrew, R. (2016). Accuracy and the Laws of Credence. Oxford University Press.
Pettigrew, R. (2020). Dutch book arguments. Cambridge University Press.
Pherson, K. H. and Pherson, R. H. (2012). Critical thinking for strategic intelligence. CQ Press.
Platt, J. et al. (1999). Probabilistic outputs for support vector machines and comparisons toregularized likelihood methods. Advances in large margin classifiers, 10(3):61–74.
Pollock, W. T. and Chapanis, A. (1952). The apparent length of a line as a function of its inclination.
Quarterly Journal of Experimental Psychology, 4(4):170–178.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

161 / 167

Références XIV
Pólya, G. (1958). Les mathématiques et le raisonnement plausible. Paris, Gauthier-Villars.
Popper, K. R. (1955). Two autonomous axiom systems for the calculus of probabilities. The British
Journal for the Philosophy of Science, 6(21):51–57.
Popper, K. R. (1959). The propensity interpretation of probability. The British journal for thephilosophy of science, 10(37):25–42.
Purves, D. (2009). Vision. Handbook of neuroscience for the behavioral sciences.
Purves, D., Wojtach, W. T., and Howe, C. (2008). Visual illusions: an empirical explanation.
Scholarpedia, 3(6):3706.
Purves, D., Wojtach, W. T., and Lotto, R. B. (2011). Understanding vision in wholly empirical terms.
Proceedings of the National Academy of Sciences, 108(supplement_3):15588–15595.
Ramachandran, V. S. (1988). Perceiving shape from shading. Scientific American, 259(2):76–83.
Ramsey, F. P. (1926). Truth and probability. Cambridge University Press.
Roberts, H. V. (1968). On the meaning of the probability of rain. In first national conference on
statistical meteorology.
Rougier, J. (2007). Probabilistic inference for future climate using an ensemble of climate model
evaluations. Climatic Change, 81(3):247–264.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

162 / 167

Références XVRougier, J. and Crucifix, M. (2018). Uncertainty in climate science and climate policy. In Climate
Modelling, pages 361–380. Springer.
Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (1985). Learning internal representations by error
propagation. Technical report, California Univ San Diego La Jolla Inst for Cognitive Science.
Rumelhart, D. E., Hinton, G. E., and Williams, R. J. (1986). Learning representations byback-propagating errors. nature, 323(6088):533–536.
Sadegh-Zadeh, K. (1980). Bayesian diagnostics: A bibliography part 1. Metamedicine, 1(1):107–124.
Saini, A. (2011). A formula for justice. The Guardian, October 2nd.
Satchell, S. and Scowcroft, A. (2000). A demystification of the black–litterman model: Managing
quantitative and traditional portfolio construction. Journal of Asset Management, 1(2):138–150.
Savage, L. J. (1972). The foundations of statistics. Courier Corporation.
Shepard, R. N. (1987). Toward a universal law of generalization for psychological science. Science,
237(4820):1317–1323.
Shepard, R. N. (1992). L’Oeil qui pense: visions, illusions, perceptions. Editions du Seuil.
Shipley, W. C., Nann, B. M., and Penfield, M. J. (1949). The apparent length of tilted lines. Journalof experimental psychology, 39(4):548.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

163 / 167

Références XVISilver, N. (2012). The signal and the noise: Why so many predictions fail-but some don’t. Penguin.
Skyrms, B. (1987). Dynamic coherence and probability kinematics. Philosophy of science, 54(1):1–20.
Spiegelhalter, D. J., Dawid, A. P., Lauritzen, S. L., and Cowell, R. G. (1993). Bayesian analysis inexpert systems. Statistical science, pages 219–247.
Stevens, S. S. (1951). Mathematics, measurement, and psychophysics. Wiley.
Stoerk, T., Wagner, G., and Ward, R. E. (2020). Policy brief- – recommendations for improving thetreatment of risk and uncertainty in economic estimates of climate impacts in the sixthintergovernmental panel on climate change assessment report. Review of Environmental Economics
and Policy.
Stolcke, A. (1994). Bayesian learning of probabilistic language models. University of California,
Berkeley.
Surowiecki, J. (2005). The wisdom of crowds. Anchor.
Tebaldi, C., Smith, R. L., Nychka, D., and Mearns, L. O. (2005). Quantifying uncertainty inprojections of regional climate change: A bayesian approach to the analysis of multimodel
ensembles. Journal of Climate, 18(10):1524–1540.
Teller, P. (1973). Conditionalization and observation. Synthese, 26(2):218–258.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

164 / 167

Références XVII
Tenenbaum, J. (1998). Bayesian modeling of human concept learning. Advances in neural information
processing systems, 11.
Tenenbaum, J. B., Kemp, C., Griffiths, T. L., and Goodman, N. D. (2011). How to grow a mind:
Statistics, structure, and abstraction. science, 331(6022):1279–1285.
Theodoridis, S. (2015). Machine learning: a Bayesian and optimization perspective. Academic press.
Thompson, W. R. (1933). On the likelihood that one unknown probability exceeds another in view ofthe evidence of two samples. Biometrika, 25(3-4):285–294.
Thompson, W. R. (1935). On the theory of apportionment. American Journal of Mathematics,
57(2):450–456.
Tibshirani, R. (1996). Regression shrinkage and selection via the lasso. Journal of the Royal StatisticalSociety: Series B (Methodological), 58(1):267–288.
Titelbaum, M. G. (2022a). Fundamentals of Bayesian Epistemology 1: Introducing Credences. Oxford
University Press.
Titelbaum, M. G. (2022b). Fundamentals of Bayesian Epistemology 2: Arguments, Challenges,
Alternatives. Oxford University Press.
Van Calster, B., McLernon, D. J., Van Smeden, M., Wynants, L., and Steyerberg, E. W. (2019).
Calibration: the achilles heel of predictive analytics. BMC medicine, 17(1):1–7.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

165 / 167

Références XVIII
van de Schoot, R., Depaoli, S., King, R., Kramer, B., Märtens, K., Tadesse, M. G., Vannucci, M.,
Gelman, A., Veen, D., Willemsen, J., et al. (2021). Bayesian statistics and modelling. Nature
Reviews Methods Primers, 1(1):1–26.
Vogel, H., Appelbaum, S., Haller, H., and Ostermann, T. (2022). The interpretation of verbal
probabilities: A systematic literature review and meta-analysis. German Medical Data Sciences
2022–Future Medicine: More Precise, More Integrative, More Sustainable!, pages 9–16.
Von Helmholtz, H. (1867). Handbuch der physiologischen Optik: mit 213 in den Text eingedrucktenHolzschnitten und 11 Tafeln, volume 9. Voss.
von Mises, R. (1928). Wahrscheinlichkeit Statistik und Wahrheit. Springer.
von Mises, R. (1939). Probability, statistics and truth. Macmillan.
Vul, E. and Pashler, H. (2008). Measuring the crowd within: Probabilistic representations within
individuals. Psychological Science, 19(7):645–647.
Watanabe, S. and Chien, J.-T. (2015). Bayesian speech and language processing. Cambridge
University Press.
Whitney, A. W. (1918). Theory of experience rating. Proceedings of the Casualty Actuarial Society, 4.
Williamson, J. (2004). Bayesian nets and causality: philosophical and computational foundations.
Oxford University Press.
@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

166 / 167

Références XIX

Yuille, A. and Kersten, D. (2006). Vision as bayesian inference: analysis by synthesis? Trends in
cognitive sciences, 10(7):301–308.
Zadrozny, B. and Elkan, C. (2001). Obtaining calibrated probability estimates from decision trees andnaive bayesian classifiers. In ICML, volume 1, pages 609–616. Citeseer.
Zadrozny, B. and Elkan, C. (2002). Transforming classifier scores into accurate multiclass probability
estimates. In Proceedings of the eighth ACM SIGKDD international conference on Knowledge
discovery and data mining, pages 694–699.

@freakonometrics

freakonometrics

freakonometrics.hypotheses.org

167 / 167