# Estimation multi-modèles Bayésienne : application au cas du lien entre biodiversité et arrêt de l'exploitation en forêt

Mamadou Deme

## ► To cite this version:

Mamadou Deme. Estimation multi-modèles Bayésienne : application au cas du lien entre biodiversité et arrêt de l'exploitation en forêt. Statistiques [math.ST]. 2016. hal-03329019

HAL Id: hal-03329019

https://hal.inrae.fr/hal-03329019v1

Submitted on 30 Aug 2021

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY 4.0 - Attribution - International License
# Master Statistiques, Probabilités et Mathématiques Appliquées

Rapport de fin de stage sous le thème :

Estimation multi-modèles Bayésienne : application au cas du lien entre biodiversité et arrêt de l'exploitation en forêt

Réalisé par l'étudiant : Mamadou Deme

Encadré par :

M. Frédéric GOSSELIN, Ingénieur – chercheur à Irstea

Mme Diarra FALL, Enseignante – chercheuse à l'université d'Orléans

Période du stage :

Du 04 Avril 2016 au 30 Septembre 2016
Remerciements

Je tiens à remercier toutes les personnes qui ont contribué au succès de mon stage et qui m'ont aidé lors de la rédaction de ce rapport.

Tout d'abord, j'adresse mes remerciements à mon maître de stage M. Frédéric GOSSELIN, pour son accueil, le temps passé ensemble et le partage de son expertise au quotidien. Je le remercie très sincèrement de son aide, de ses remarques et suggestions et de ses nombreux encouragements. J'en profite aussi pour remercier sa famille de m'avoir invité à partager un repas ensemble.

Je tiens aussi à remercier mon professeur Mme Diarra FALL pour le suivi qu'elle a apporté à mon stage, ses conseils, ainsi que l'ensemble du personnel MAPMO pour ces trois heureuses années d'enseignements.

Je remercie également toute l'équipe BIODIV de leur message de soutien lors du décès de mon père dans la période de ce stage.

Enfin, je tiens à remercier toutes les personnes qui m'ont conseillé et reliu lors de la rédaction de ce rapport de stage : ma famille, Mr Frédéric GOSSELIN, Fabien LAROCHE, Mme Diarra FALL.
Résumé

Dans la modélisation statistique et notamment dans l'étude de la biodiversité, on a souvent plusieurs modèles en concurrence. Face à cette multiplicité des modèles, on ne sait pas forcément quel modèle utiliser. Plusieurs méthodologies statistiques existent pour prendre en compte les situations dans lesquelles on a plusieurs modèles possibles. Et notamment celle qui est beaucoup utilisée en écologie : l'estimation multi-modèles. Cette méthode a souvent été critiquée par certains statisticiens en termes de bonnes propriétés statistiques des paramètres et de qualité prédictive de la variable réponse.

Le but principal de ce travail est de voir si il n'existe pas d'autres approches meilleures que l'estimation multi-modèles, en termes d'inférence et de qualité de la prédiction. Nous avons défini différents types de sélection de modèle, d'estimation multi-modèles moyen, d'estimation unimodèle, de sélection de variables et de mélange de modèles, dans ce contexte où on ne sait pas a priori le vrai modèle. Les différentes méthodes de sélection utilisées dans ce rapport sont les indices standards, la « hold out selection » et la « nfold cross-validation ». Nous avons défini trois différentes méthodes de réplication, fondées sur différentes sorties des paramètres des modèles statistiques, dans la partie sélection de modèle et dans la partie validation de toutes les méthodes. Ces méthodes de réplication sont : le maximum de vraisemblance, la « posterior predictive » et le « sample posterior ».

L'analyse de nos résultats montre que le choix d'une méthode de réplication est important dans la partie sélection et beaucoup plus dans la partie validation. La métrique de sélection naturelle reste celle qui est définie par la « posterior predictive » et celle de validation est définie par le maximum de vraisemblance. Et sur le choix de la méthode statistique en termes de qualité de la prédiction, la méthode Bayésienne de sélection de variables est la meilleure. Mais cela reste une conclusion que nous allons revérifier avec d'autres simulations.
# Table des matières

## 1. Introduction

## 2. Matériels et Méthodes

### 2.1. Méthodes statistiques paramétriques

2.1.1. Nature des modèles

2.1.2. Modélisation

### 2.2. Évaluation de la qualité prédictive et inférentielles par simulation

2.2.1. Cas simulés

2.2.2. Estimation des paramètres

2.2.3. Critères d'analyse des méthodes statistiques

2.2.4. Mise en œuvre des simulations

## 3. Résultats

### 3.1. Partie prédiction

3.1.1. Choix de la métrique de validation

3.1.2. Comparaison des méthodes statistiques

3.1.2.1. Comparaison faite avec distances de validation calculées par le maximum de vraisemblance

3.1.2.2. Comparaison faite avec distances de validation calculées par la « posterior predictive »

### 3.2. Partie inférence

## 4. Discussion

## 5. Conclusion

## 6. Annexes

# Bibliographie
# 1. Introduction

Dans l'étude de la biodiversité, on est souvent confronté à des situations dans lesquelles pour expliquer certaines observations on a plusieurs modèles statistiques différents, contenant différentes hypothèses ou théories. Ces approches de modélisation statistique paramétrique ont été proposées par des statisticiens, suivant la place donnée à des modèles statistiques alternatifs ou concurrents. Nous retiendrons ici trois approches principales :

(i) l'approche actuellement la plus fréquente en écologie est celle de Burnham and Anderson (2002), qu'on appellera multi-modèles qui regroupe l'estimation multi-modèles et la sélection de modèle;

(ii) l'approche de Harrell (2001) consistant en la spécification d'un seul modèle estimé une seule fois sur les données – et donc refusant une approche statistique multi-modèles;

(iii) enfin l'approche d'amélioration itérative d'un seul modèle proposée par Ver Hoef and Boveng (2015).

Souvent, ces méthodes sont évaluées suivant deux points de vue qui sont ceux de l'inférence statistique des paramètres et de la qualité de prédiction des modèles. Le premier point – l'inférence – consiste à voir si les estimateurs fournis par les modèles ont de bonnes propriétés statistiques. Et le deuxième point – la qualité de prédiction – consiste à voir si les données prédites par les modèles sont proches des vraies données.

La première de ces approches – l'estimation multi-modèles – consiste à définir plusieurs modèles, à les caler séparément sur les mêmes données puis à les comparer par des techniques statistiques pour ensuite : soit choisir le meilleur (cf. Gosselin et al., 2014; Franklin et al., 2000), soit résumer les estimations qu'ils fournissent par des estimateurs « uniques ». Cette méthode rencontre dans certaines circonstances des limites en termes de propriétés statistiques des paramètres estimés. Récemment, Cade (2015) a montré sur un cas concret en écologie que les estimateurs multi-modèles moyens posent problème dans le cas de variables multiples corrélées. Dans le même sens Freckleton (2011) montre aussi que la forte colinéarité entre les variables entraîne des estimateurs biaisés. Dans ce cas de figure de variables corrélées, les coefficients de chaque variable prédictive ne signifient pas la même chose dans les différents modèles alternatifs (Cade, 2015). Du coup, calculer la moyenne de ces coefficients n'a pas de sens et risque de mélanger des objets de nature différente et donc de fournir un estimateur multi-modèles aux propriétés non maîtrisées. On peut penser qu'il en va de même quand les modèles concurrents utilisent des formes non-linéaires différentes mais impliquant les mêmes variables explicatives.

Harrell (2001) mentionne aussi les limites de l'approche multi-modèles en termes de capacité prédictive de la variable réponse. Pour Harrell, dans un contexte d'incertitude, le modèle sélectionné prédit moins bien que le modèle complet. Il explique comment
définir ce modèle unique pour résoudre les problèmes de prédiction liés à la méthode multi-modèles (cf. la partie 1.4).

L'idée initiale du stage était d'utiliser des mélanges de distributions ou de vraisemblances pour (i) définir un méta-modèle qui contienne plusieurs modèles mais (ii) en ne calant le méta-modèles qu'une fois sur les données, pour voir si cela résout une partie du conflit entre Burnham et Harrell. Au gré du stage, d'autres méthodes que les modèles de mélange sont apparues comme pouvant aussi permettre de mieux inférer et/ou prédire dans un contexte d'incertitude sur le meilleur modèle. Ces méthodes sont : sélection de modèle (Burnham and Anderson, 2002 ; Gosselin et al., 2014) mais avec des procédures de sélection différentes et la méthode bayésienne de sélection de variables (O'Hara and Sillanpää, 2009). (cf. Matériels et Méthodes). Ces méthodes ont été évaluées selon deux points de vue qui sont ceux de l'inférence statistique des paramètres et de la qualité prédictive des modèles.

L'idée générale sous-jacente à ce stage est d'essayer de respecter l'approche de Harrell de n'estimer qu'un seul modèle statistique, tout en laissant la place à plusieurs modèles explicatifs alternatifs – comme dans l'approche multi-modèles classique – en espérant que les poids estimés associés aux différents modèles nous permettrons de respecter la préconisation de Harrell en termes de degrés de liberté, (cf. chapitre 2 p.6), si les poids des sous-modèles sont très en faveur d'un petit nombre de modèles (ce nombre dépend de leur nombre de degrés de liberté et du nombre d'observations).

Le but de mon stage est donc (i) de jauger si les variations sur sélection de modèles, sur la sélection de variables et des procédures d'estimation multi-modèles mais en une seule fois comme recommandé par Harrell (Harrell, 2001) peuvent résoudre les problèmes d'inférence et de prédiction liés à l'estimation multi-modèles et (ii) de mettre en œuvre une vraie estimation multi-modèles en une seule fois sur un jeu de données (celui du projet GNB; cf. Gosselin et al., 2014). Ce dernier point n'a pas été finalement abordé dans ce travail, car nous avons passé beaucoup de temps à étudier le point (i). La question est de savoir si le fait de regrouper tous les modèles explicatifs concurrents dans un seul méta-modèle une seule fois sur les données résout certains des problèmes ci-dessus.

Plus précisément, nous allons définir plusieurs méthodes statistiques paramétriques plus ou moins multi-modèles définies avec des outils fréquentistes (GLM, mélanges de méthodes) et/ou bayésiennes (Stan). Et nous comparerons ces différentes méthodes du point de vue inférence (erreur de type 1, biais, etc.) et de capacité prédictive de la variable réponse avec l'utilisation des critères d'information (d'Akaïke et de Bayes), l'indice d'Ando et d'autres inspirés par la validation croisée qui sont la « hold out selection » et la « n fold cross-validation ».
## 2. Matériels et Méthodes

### 2.1. Méthodes statistiques paramétriques étudiées

Pour définir les différentes simulations (cf. Cas simulés) utilisées dans ce travail, nous avons été amenés à voir les différentes positions des statisticiens sur les aspects inférence et prédictif des méthodes statistiques. Les statistiques sont plutôt investies sur l'aspect explicatif hormis deux grands domaines qui ont investi sur l'aspect prédictif : la sélection de modèle et l'utilisation de distribution prédictive (Shmueli). L'aspect explicatif consiste à appliquer des modèles statistiques sur des données dans l'ordre de tester des hypothèses de causalité. Dans ces modèles, un ensemble de facteurs est supposé avoir un effet sur la variable réponse dans le but de bien estimer un effet quand il est présent pour en fait trouver le vrai modèle qui s'ajuste mieux aux données. L'aspect prédictif consiste à appliquer un modèle statistique aux données dans le but de prédire des observations nouvelles ou futures. L'accent prédictif a conduit à la mise au point d'outils d'inférence qui génèrent des distributions prédictives. Geisser (1993) introduit ainsi l'«inférence prédictive», développée principalement dans un contexte bayésien. D'autres outils de « Goodness of fit (GOF) » développés dans Gosselin (2011) et Hill (1996), peuvent aussi être adoptés à un point de vue prédictif. Et ce sont ces « internal GOF » dans Gosselin (2011) qui motivent en partie les variantes métriques de sélection et de validation qui sont utilisées dans ce travail.

La validation croisée offre une alternative intéressante pour la sélection de modèles. De fait, le pouvoir prédictif d'un modèle est aussi très souvent évalué en utilisant la validation croisée (Stone, 1974; Geisser, 1975). Elle consiste à estimer les paramètres sur une moitié de l'échantillon et à calculer la distance de prédiction sur l'autre partie (Browne, 2000).

À notre connaissance, une métrique prédictive populaire est le Critère d'Information Akaike (AIC). Akaike a dérivé l'AIC à partir d'un point de vue prédictif, où le modèle n'a pas pour but d'en déduire avec précision la "vraie distribution" mais plutôt de prédire les futures données aussi précisément que possible (voir, par exemple, Berk, 2008; Konishi et Kitagawa, 2007). Des comparaisons ont été faites entre les critères AIC et BIC du point de vue de la qualité prédictive. Sober (2002) a conclu que les mesures AIC donnent une bonne prédiction alors que les mesures de BIC sont de « Goodness of fit ». Burnham and Anderson (2002) compare l'AIC et le BIC dans le cas prédictif. Il explique que l'AIC est plutôt mieux que le BIC quand le vrai modèle est très compliqué.
La littérature statistique sur la sélection du modèle comprend une riche discussion sur la différence entre trouver le «vrai» modèle et trouver le meilleur modèle prédictif. Ainsi, Konishi et Kitagawa (2007) affirment qu'il peut y avoir aucune différence de point de vue entre chercher à inférer la vraie structure du modèle et chercher à faire une prédiction, si une quantité infinie de données est disponible ou si les données sont silencieuses. Cependant, dans la modélisation basée sur une quantité finie de données réelles, il y a un écart important entre la modélisation explicative et prédictive, car le meilleur modèle à des fins de prédiction peut être différent du vrai modèle. Cela contredit donc l'idée de Harrell (cf. Introduction).

La sélection de modèles ne doit pas être considérée comme juste la recherche du meilleur modèle. Au contraire, l'idée de base devrait être tirée des conclusions plus fiables basées sur l'ensemble des modèles qui sont considérés comme a priori. L'estimation des paramètres devrait également faire usage de tous les modèles lorsque cela est approprié (estimation multi-modèles) et tenter d'utiliser les variances inconditionnelles, à moins que le meilleur modèle choisi soit fortement soutenu. Si le but est d'obtenir les meilleures estimations d'un ensemble de paramètres en commun à tous les modèles ou la meilleure qualité de prédiction, Burnham and Anderson (2002) recommandent d'utiliser l'estimation multi-modèles. Burnham and Anderson (2002) expliquent que faire une moyenne des coefficients de régression communs dans les différents modèles permet d'obtenir de bonnes propriétés d'inférence des paramètres et de bonnes capacités prédictives. Mais Cade (2015) a montré les problèmes liés à cette moyennisation des coefficients estimés (cf. Introduction).

Partant des différentes positions des auteurs sur la meilleure méthode statistique paramétrique en termes d'inférence et de prédiction en présence d'incertitude sur les modèles ou les effets, nous avons repris l'approche multi-modèles proposée par Burnham and Anderson (2002) et Browne (2000) en considérant de nombreuses variantes : sélection vs estimation. Et pour la sélection, nous avons utilisé des indices de type AIC, AICc, BIC, Indice d'Ando vs « hold out validation » vs « n-fold cross-validation ». Ces dernières métriques de sélection sont calculées en normalisant ou non les données, suivant soit le maximum de vraisemblance, soit le sampled posterior, soit la posterior predictive. Ainsi nous avons utilisé d'autres méthodes statistiques :

→ Celle proposée par Harrell (2001) consistant à la spécification d'un seul modèle estimé une seule fois sur les données;

→ des méthodes que nous avons définies qui sont des modèles de mélange de distributions ou de vraisemblances où chaque modèle est affecté d'un poids ;
→ Et certaines des méthodes bayésiennes de sélection de variables (cf. O'Hara and Sillanpää, 2009): Stochastic Search Variable Selection (SSVS) et Adaptative Shrinkage with Jeffreys. Elles consistent à mettre toutes les variables explicatives dans le modèle mais à modéliser si chaque variable est actif ou non.

(Pour plus de précisions pour ces approches, voir la partie « Modélisation »)

Nos différents cas de simulations (cf. « Cas simulés ») sont donc faits pour comparer des critères de sélection différents tels que l'AIC, l'AICc, le BIC, l'indice d'Ando ; des critères basés sur la validation croisée ou pas croisée pour l'aspect prédiction. Si le modèle le plus complet parmi ceux envisagés est le vrai modèle, on peut penser d'après ce qui précède que l'AIC sera peut-être meilleur, parce que l'AIC a tendance en général à sélectionner les modèles plus compliqués que le BIC. Si le modèle est entre le modèle compliqué et le modèle simple, on peut penser que le choix sera neutre entre AIC et BIC. Des cas où le vrai modèle n'est pas dans les modèles envisagés sont aussi définis. Cela a été fait pour savoir l'impact des différentes procédures de sélection sur la qualité prédictive.

D'autres cas ont été aussi définis : des cas où il y'a des corrélations entre les variables prédictives – des cas où nous avons utilisé la distribution négative binomiale – des cas où le vrai X utilisé pour générer les Y n'est pas dans les variables explicatives – des cas où le vrai modèle n'est pas dans ceux qui ont été proposés mais il n'en est pas loin.

L'idée c'est aussi de voir ce que donnent les différentes méthodes statistiques par la comparaison des différentes procédures de sélection et de validation.

Nous allons donc définir et comparer plusieurs méthodes statistiques permettant non seulement d'estimer les paramètres statistiques du modèle, mais aussi de prendre en compte une incertitude sur la nature du meilleur modèle reliant les variables explicatives X aux variables à expliquer Y.

Nous présenterons dans cette partie différentes procédures de sélection de modèles et aussi des procédures d'estimation, qui sont autant d'alternatives à l'estimation multi-modèles comme définie dans les articles de Burnham and Anderson (2002) et de Cade (2015), à la sélection de modèles, à la spécification d'un seul modèle a priori (Harrell, 2001) et la sélection de variables comme dans (O'Hara and Sillanpää, 2009). Ces procédures de sélection de modèles, sont basées soit sur des indices d'information comme le Critère d'Information Akaïke (AIC), soit sur des procédures inspirées par la validation croisée. Nous comparerons ces procédures du point de vue de la qualité prédictive mais aussi du point de vue de l'inférence statistique. Nous avons ainsi introduit un mélange de distributions pour définir un méta-modèles contenant plusieurs modèles et que nous utiliserons pour faire une estimation en une seule fois comme recommandé par (Harrell, 2001).
### 2.1.1. Nature des modèles

Les données de biodiversité sont rarement des données qui suivent une loi normale, parce que ce sont par exemple des données de comptage, de nature discrète. Il faut pouvoir adapter les méthodes statistiques classiques pour prendre en compte des distributions particulières, propres à ces données. Et comme nous travaillons ici sur des données discrètes, nous avons donc souhaité analyser ces données avec des modèles linéaires généralisés (GLM) à distributions poissonniennes (cf. Burnham and Anderson, 2002; Cade, 2015).

Les modèles linéaires généralisés englobent plusieurs types de modèles, allant des modèles de régression linéaire jusqu'à des modèles multi-niveaux complexes. Ils admettent deux composantes qui sont la distribution de probabilité (ici la distribution de Poisson) et la fonction de lien (ici la fonction logarithmique). La fonction de lien permet de relier par combinaison linéaire des variables explicatives à la moyenne de la variable à expliquer.

Ainsi le modèle GLM à distribution poissonnienne est défini pour tout individu i (i = 1, ...,n), par :

$$log(\lambda_i) = \theta_0 + \theta_1 x_{i,1} + \dots + \theta_p x_{i,p}$$

$$f(Y|X, \theta) = \text{Pois}(y_i|\exp(\theta_0 + \theta_1 x_{i,1} + \dots + \theta_p x_{i,p}))$$

où $\lambda_i$ est la moyenne de l'individu i;

$log(\lambda_i)$ est la fonction de lien ;

$f$ est la densité ;

$Y = (y_1, \dots, y_n)$ est la variable de réponse ;

$X$ est la matrice de taille n(p+1) des variables explicatives, dont le vecteur associé à l'individu i est noté $x_i = (1, x_{i,1}, \dots, x_{i,p})$ et

$$\theta = (\theta_j)_{0 \le j \le p} \text{ est le vecteur des paramètres statistiques.}$$

Dans le cadre fréquentiste, les paramètres $\theta = (\theta_j)_{0 \le j \le p}$ sont considérés comme fixes alors que dans le cadre bayésien, ils sont considérés comme des variables aléatoires suivant une distribution de probabilité donnée a priori. Cette distribution de probabilité peut, par exemple, tenir compte de l'information a priori fournie par l'expert du domaine étudié sur les valeurs possibles des paramètres statistiques. Elle peut aussi être peu informative et être très imprécise.
## 2.1.2. Modélisation

Différents modèles ont été utilisés dans l'analyse de nos données simulées. En plus de l'estimation multi-modèles, nous avons introduit les modèles de mélanges de distributions et de vraisemblances, de la régression linéaire multiple et aussi une autre méthode appelée sélection de variables.

Toutes les analyses ont été faites grâce à des outils fréquentistes et bayésiens (cf. Outils utilisés).

Les méthodes statistiques sont définies ci-dessous :

Dans toutes les méthodes, $f$ est soit une distribution de Poisson, soit une négative Binomiale, et a permis de générer les données à partir des variables explicatives. Et $\theta$ désigne l'ensemble des paramètres.

(i) mélange de distributions avec des poids :

$$h(y_i|x_i, \theta) = \sum_{k=1}^{4} \pi_k f(y_i|x_{i1}, x_{i2}, \theta_k)$$

(ii) mélange de vraisemblances venant de plusieurs modèles différents, avec des poids :

$$h(y|x, \theta) = \sum_{k=1}^{4} \pi_k \prod_{i=1}^{200} f(y_i|x_{i1}, x_{i2}, \theta_k)$$

Ces modèles sont codés sous Stan en contexte Bayésien.

Le poids associé à chaque composante est défini à partir des variables $xw_k$. Les variables aléatoires $xw_k$ ($k=1$ à 4) sont de lois uniformes dans $[-2, 2]$ comme lois a priori. Ainsi nous avons posé :

$$\pi_k = \frac{(\exp(xw_k))}{\sum_{k=1}^{4} xw_k}$$

Et pour les lois a priori des paramètres $\theta$ des variables explicatives dans chaque composante y inclut l'intercept nous avons choisi des lois normales centrées réduites.

(iii) régression multiple (1 seule distribution avec combinaison linéaire de plusieurs variables pour modéliser la moyenne)
(iv) Estimation multi-modèles (comme dans l'article de Cade) et sélection de modèles (avec de nombreuses méthodes alternatives) :

On considérera ici les K modèles GLM associés aux densités suivantes :

$$h_k(y|x, \theta_k) = f(y_i|x_{i1}, x_{i2}, \theta_k)$$

(v) Stochastic Search Variable Selection (SSVS) : ici la modélisation est faite à travers une autre variable indicatrice I.

On pose le paramètre $\theta_j = \beta_j$.

La philosophie est que si $I_j = 1$ alors $\theta_j = \beta_j$, donc le paramètre est dans le modèle i.e la variable est active. Si $I_j = 0$ alors $\theta_j = 0$, donc le paramètre n'est pas dans le modèle i.e la variable n'est pas active.

On attribue deux priori différents sur $\beta$ suivant I :

$$P(\beta_j|I_j) = (1 - I_j)N(0, \tau^2) + I_jN(0, g\tau^2)$$

Dans cette formule si $I=0$, l'a priori utilisé est $N(0, \tau^2)$ et si $I=1$ l'a priori utilisé est $N(0, g\tau^2)$.

$\tau^2$ est un autre paramètre à estimer et est le même pour toutes les variables présentes dans le modèle et g une valeur à fixer (cf. Meuwissen and Goddard, 2004). Ici nous avons choisi une valeur de $g=100$.

(vi) Adaptative shrinkage with Jeffreys (ASJ) : cette méthode a la même philosophie que celle de SSVS mais ici, il n'y a plus d'indice I et le $\tau^2$ est estimé pour chaque variable.

Dans chacune des deux dernières méthodes, nous avons choisi dans un cas de les appliquer sur l'intercept, ce qui est équivalent dans O'Hara and Sillanpää (2009). Et dans un autre cas, nous avons choisi d'estimer l'intercept en dehors de ces méthodes, c'est-à-dire qu'il est associé à un a priori fixe. Nous avons aussi joué sur les paramètres comme le nombre d'itérations, la période « burn-in » pour avoir un bon comportement. Et cela a permis de définir d'autres méthodes.
## 2.2 Évaluation de la qualité prédictive

Dans le but de tester et de comparer les différentes méthodes statistiques plus ou moins multi-modèles en terme d'inférence et de capacité de prédiction, nous avons considéré 11 scénarios différentes. Ainsi pour chaque scénario nous avons calculé : (i) l'intervalle de confiance du vrai paramètre et (ii) nous avons utilisé des techniques de sélection et de comparaison de modèles basées soit sur les indices d'informations comme le critère d'AIC, soit sur des procédures inspirées de la validation croisée.

Des méthodes de sélection et validation de modèles ou d'estimation multi-modèles ont été introduites dans le but de trouver le modèle qui prédit le mieux la variable réponse. Nous avons repris les techniques de sélection standard, souvent utilisées dans le domaine écologique, qui sont le Critère d'Information d'Akaïke (AIC) (Burnham and Anderson, 2002, Cade, 2015), le Critère d'Information Bayésien (BIC) (cf. Barker and Link, 2015), l'indice d'Ando (cf. Ando, 2011). Nous avons utilisé des métriques – définies sur une partie des observations pour la sélection et une autre partie pour la validation – inspirées par la validation croisée qui sont la « Hold Out Selection » (cf. Browne, 2000) et la « nfold cross-validation » (cf. Kohavi, 1995). Et aussi d'autres techniques basées sur la Log Posterior Density (LPD) (cf. Stone, 1977) définies par la probabilité a posteriori des observations.

### 2.2.1 Cas simulés

En partant des positions différentes de ces auteurs sur l'utilisation de quelle méthode statistique pour avoir de bonnes propriétés statistiques des paramètres et d'une bonne capacité prédictive du modèle, différentes simulations ont été faites. Nous avons généré 200 observations de distribution de Poisson pour certains scénarios et de distribution de négative binomiale pour d'autres. Ces observations ont une moyenne calculée sur une combinaison linéaire des variables explicatives $X_1$ et $X_2$ qui suivent la loi normale centrée réduite dans certains scénarios ou qui ont de mauvaises formes de distributions dans d'autres scénarios.

Nous avons retenu 11 scénarios différents qui sont résumés dans le tableau ci-dessous :
<table><tr><td>(i) Y généré uniquement à partir de X<sub>1</sub> :</td><td>Scénario1 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.1<br>Scénario2 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.05<br>Scénario3 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.0</td></tr><tr><td>f(y<sub>i</sub>|x<sub>1</sub>, θ) = Pois(y<sub>i</sub>|exp(θ<sub>0</sub> + θ<sub>1</sub> * x<sub>i1</sub>))</td><td>Scénario4 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.1</td></tr><tr><td>(ii) Y généré comme dans (i) mais avec X<sub>1</sub> qui est fortement corrélée à une autre variable explicative qui elle sera utilisé dans la partie analyse.</td><td>Scénario5 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.1<br>Scénario6 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.0</td></tr><tr><td>(iii) Y généré avec la variable explicative X<sub>1</sub> qui a une mauvaise forme, ces valeurs sont prises par une exponentielle des valeurs suivant une loi normale centrée réduite.</td><td>Scénario7 : θ<sub>0</sub> = 1, θ<sub>1</sub> = 0.1etsizee = 2.5<br>Scénario8 : θ<sub>0</sub> = 1, θ<sub>1</sub> = 0.1etsizee = 1<br>Scénario9 : θ<sub>0</sub> = 1, θ<sub>1</sub> = 0.0etsizee = 1</td></tr><tr><td>(iv) Y généré à partir d'une distribution négative binomiale :</td><td>Scénario10 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.1<br>Scénario11 : θ<sub>0</sub> = 1etθ<sub>1</sub> = 0.05</td></tr><tr><td>f(y<sub>i</sub>|x<sub>1</sub>, θ, sizee) =<br>rnbinom(y<sub>i</sub>|exp(θ<sub>0</sub> + θ<sub>1</sub> * x<sub>i1</sub>, sizee))</td><td></td></tr><tr><td>(v) Y généré à partir d'une unique combinaison linéaire de X<sub>1</sub> et X<sub>2</sub> :</td><td></td></tr><tr><td>f(y<sub>i</sub>|x<sub>1</sub>, x<sub>2</sub>, θ) = Pois(y<sub>i</sub>|exp(θ<sub>0</sub> + θ<sub>1</sub> * x<sub>i1</sub> + θ<sub>1</sub> * x<sub>i2</sub>))</td><td></td></tr></table>

Tableau: Les différentes formes des données simulées et les 11 scénarios pour la comparaison des méthodes statistiques ; est le vrai intercept et est le vrai paramètre, utilisé pour la génération des données Y.

### 2.2.2 Estimation des paramètres

Les modèles statistiques paramétriques ont été implémentés dans des outils fréquentistes et bayésiens. Suivant les méthodes utilisées, l'estimation des paramètres s'est faite de façon plus ou moins différente que ce soit dans le cas fréquentiste ou bayésien. Nous avons défini trois méthodes d'estimation des paramètres qu'on a appelé méthodes de réplication:
* maximum de vraisemblance (ML) : thêta estimé par le maximum de vraisemblance sur le modèle

* « sample posterior » (sp): tirage au sort dans la distribution « postérieure » (cf. Gosselin 2011) d'une unique valeur de thêta pour tous les Yrep

* «posterior predictive» (pp): tirage au sort dans la distribution « postérieure » d'une nouvelle valeur de thêta pour chaque Yrep (Gelman et al., 1996).

Dans le calcul des distances de sélection, l'estimation est faite sur la moitié de l'échantillon sauf pour les indices les « nfold cross-validation ». Et dans la partie validation, nous avons procédé suivant deux cas différents :

* le cas où on valide avec le même modèle estimé sur la moitié de l'échantillon, ce qu'on a appelé partie « half sample »

* le cas où le modèle est ré-estime sur l'échantillon tout entier avant de le valider, ce qu'on a appelé « full sample ».

Toutes ces métriques de sélection ou de validation sont calculées à partir des trois méthodes de réplication : le maximum de vraisemblance, la posterior predictive et le sample posterior.

La philosophie du calcul est la suivante :

(i) Yrep: on tire au sort dans le modèle d'autres observations suivant la distribution de Poisson de moyenne calculée à partir des thêta estimés par chacune des trois méthodes de réplication (ML, sp et pp).

(ii) utiliser le thêta obtenu pour chaque méthode de réplication, pour appliquer une anamorphose sur Y et sur Yrep qui devrait les transformer en variables normales centrées réduites, puis considération de la somme des carrés de la différence des composantes de Y et Yrep.

(iii) ou utiliser le thêta obtenu pour chaque méthode de réplication, pour le calcul des métriques de la LPD.

### 2.2.3. Critères d'analyse des méthodes statistiques

Nous avons effectué des simulations de Monte-Carlo sur 1000 réplications pour évaluer la précision des estimateurs et la capacité prédictive de la variable réponse. Nous avons calculé les intervalles de confiance de niveaux 0.95 et 0.99 du vrai paramètre utilisé pour générer les données dans chaque scénario. La procédure statistique construite fait
que le vrai paramètre n'est pas dans l'intervalle de confiance à 95 % ou à 99 % du temps. On veut que la procédure statistique nous donne un intervalle de confiance que si on réplique les données 1000 fois, donc à 95 % ou à 99 % du temps le vrai paramètre doit être dans l'intervalle de confiance.

Nous avons construit un test de significativité de la différence entre la valeur observée avec la procédure statistique et la valeur cible. Ce test donne une p-value calculée à partir de la loi binomiale. Si elle est en dessous 5%, le test est significativement différent. Le test pour la significativité est défini comme suit:

k<-pbinom(N1,Ntot,0.95)
min(k,(1-k))*2;
k<-pbinom(N1,Ntot,0.99)
min(k,(1-k))*2

Pour l'aspect prédictif, l'idée est de voir parmi les différentes méthodes de sélection de modèles ou d'estimation multi-modèles lesquelles ont, pour chaque scénario et chaque métrique de validation, les meilleures capacités prédictives (pour différentes métriques prédictives) et inférentielles. Pour faire une comparaison des différentes métriques de sélection à partir des métriques de validation de même nature qui leurs sont associées, nous avons utilisé des modèles de comparaisons multiples à l'aide des modèles linéaires à effet mixte (LME).

Pour l'interprétation des résultats stockés dans les tableaux, nous avons utilisé 4 couleurs différentes pour mieux voir les différences entre les méthodes de sélection en terme de significativité et de la magnitude de la relation :

* le vert clair est utilisé quand le modèle est non différent du meilleur modèle (en a ou ab) pour les deux approches ;

* le vert foncé est utilisé pour le meilleur modèle suivant les comparaisons multiples (en a|a ou en ab|ab) ;

* le rouge est utilisé pour le modèle significativement différent du meilleur modèle pour les deux approches.

* Le blanc est utilisé dans deux 2 cas :

cas1 : quand le modèle n'est pas significativement différent du meilleur modèle mais en terme de magnitude les deux modèles ont des lettres différentes ;

cas2 : quand le modèle est significativement différent du meilleur modèle mais en terme de magnitude les deux modèles ont au moins une lettre en commun;

Deux modèles partageant au moins une lettre de gauche ne sont pas significativement différents pour la métrique considérée. Deux modèles dont les lettres à droite ne sont pas les mêmes donc la différence est non négligeable soit positivement soit négativement pour les deux approches.
### 2.2.4. Mise en œuvre des simulations

Pour chaque scénario et pour toutes les différentes méthodes statistiques plus ou moins d'estimation multi-modèles, nous avons défini différents modèles GLM de nature différente sur le même jeu de données simulées. Le modèle que nous appelons le vrai modèle incluant la vraie variable explicative $X_{true}$ utilisée pour générer $Y$ – le modèle défini avec $X_{false}$ – le modèle défini avec $X_{true}$ et $X_{false}$ – et le modèle nul. Ces modèles sont définis de manière plus ou moins différente suivant les méthodes statistiques. Les critères de sélection standard tels que AIC, AICc, BIC et l'indice d'Ando ont été calculés sur les modèles calés sur l'échantillon tout entier. Les métriques « hos » sont calculées sur les modèles utilisant la première partie de l'échantillon pour la partie sélection, mais pour la partie validation nous avons envisagé de recaler les modèles sur tout l'échantillon pour calculer ces métriques.

Dans la partie validation, nous avons simulé un autre jeu de données plus large issu du même modèle probabiliste pour le calcul des métriques des différentes méthodes. Ce jeu de données est constitué des variables explicatives $X_{truevalid}$ et $X_{falsevalid}$ de même formes que $X_{true}$ et $X_{false}$ et de la variable réponse $Y_{valid}$ même nature que $Y$ pour tous les scénarios.

Nous résumons les différentes composantes de chaque méthode statistique dans les diagrammes logiques ci-dessous.
* Pour la méthode Sélection de modèle

Simulation des données : Y et $Y_{valid}$

↓

Estimations faites avec des modèles calés sur la moitié de l'échantillon et des modèles ne prenant pas l'observation i :

modTrue.cs ( Y ~ $X_{true}$ )

modFalse.cs ( Y ~ $X_{false}$ )

modNull.cs ( Y ~ 1 )

modTrueFalse.cs ( Y ~ $X_{true}$ + $X_{false}$ )

Ainsi nous avons redéfini ces modèles sur tout l'échantillon pour calculer les critères de sélection standard.

modTrue.nfold ( Y ~ $X_{true}$ )

modFalse.nfold ( Y ~ $X_{false}$ )

modNull.nfold ( Y ~ 1 )

modTrueFalse.nfold ( Y ~ $X_{true}$ + $X_{false}$ )

↓

Calcul des distances de sélection pour les méthodes hov et nfold cross-validation LPD soit avec la Posterior Predictive ou le Maximum de Vraisemblance.

→

Les métriques de sélection calculées à partir des trois méthodes de réplication (ML, pp et sp).

↓

Sélection du meilleur modèle en choisissant la distance la plus petite parmi les distances de sélection calculées dans chaque modèle glm pour les méthodes « hos » et « nfold cross-validation », de même pour les critères de sélection standard ; ou en choisissant la plus grande probabilité postérieure parmi celles de la méthode LPD. De plus pour les « hos » le meilleur modèle qui en ressort est soit le modèle estimé sur la moitié de l'échantillon soit le modèle ré-estimé sur tout l'échantillon.

→

Calcul des métriques de validation du meilleur modèle sur $Y_{valid}$. Ces métriques sont aussi calculées par les trois méthodes de réplication (ML, pp et sp).
* Pour l'estimation multi-modèle

Dans cette méthode, nous avons que des métriques de validation à calculer. Ces métriques sont obtenues après l'estimation faite sur les quatre modèles GLM concurrents.

Simulation des données : *Y* et *Y*<sub>valid</sub>

<figure><img src="image_2.png" /></figure>

Estimations faites sur tout l'échantillon :

modTrue ( Y ~ X<sub>true</sub> )

modFalse ( Y ~ X<sub>false</sub> )

modNull ( Y ~ 1 )

modTrueFalse ( Y ~ X<sub>true</sub> + X<sub>false</sub> )

Ainsi, faire une estimation multi-modèles.

<figure><img src="image_3.png" /></figure>

Calcul des distances de validation hov
normalisées et non normalisées soit
avec la posterior predictive, soit avec la
sample posterior, soit avec le maximum
de vraisemblance ou soit avec les LPD.

<figure><img src="image_4.png" /></figure>

Métriques de validation du modèle moyen: on
retrouve les mêmes métriques de validation
utilisées dans la partie sélection de modèle.
* Pour la méthode Sélection de variables

Simulation des données : Y et $Y_{valid}$

<figure><img src="image_5.png" /></figure>

Estimations faites sur tout l'échantillon : on définit un seul modèle contenant toutes les variables explicatives en affectant chaque variable un autre paramètre qui détermine si la variable est active ou pas dans le modèle.

<figure><img src="image_6.png" /></figure>

Calcul des distances de validation normalisées et non normalisées soit avec la posterior predictive, soit avec la sample posterior, soit avec le maximum de vraisemblance ou soit avec les LPD.
# 3. Résultats

Dans cette partie, nous avons d'abord présenté les résultats sur la comparaison entre les métriques de validation calculées par les trois méthodes de réplication (ML, sp et pp). Ainsi, suivant la métrique de validation considérée, nous avons comparé les différentes méthodes statistiques en termes de qualité de prédiction de la variable réponse. La comparaison en termes d'inférence n'est présentée que pour certaines méthodes.

## 3.1. Partie prédiction

### 3.1.1. Choix de la métrique de validation

Dans la partie « Matériels et méthodes », nous avons défini différentes métriques de sélection et de validation. Les métriques de sélection servent à sélectionner le meilleur modèle parmi les modèles concurrents, et celles de validation servent à estimer la capacité prédictive de ce modèle.

La différence entre les distances de sélection ou de validation normalisées ou non est très significative. La normalisation de ces distances ne permet en aucun cas de conclure laquelle est la meilleure. La méthode utilisée pour répliquer les Y soit avec le maximum de vraisemblance (ML), soit avec la « posterior predictive » (pp), soit avec le « sample posterior » (sp) dans la sélection du meilleur modèle a aussi peu d'impact dans nos résultats, par contre elle est cruciale dans la partie validation du modèle (tableau 1). La comparaison des métriques de validation non normalisées calculées à partir des trois différentes méthodes de réplication (ML, pp et sp) (tableau 1) montre que la métrique de validation utilisant le ML pour répliquer les Y est meilleure que celles répliquant les Y avec la pp ou avec le sp (tableau 1. Nous observons le même résultat dans le tableau 2 lorsque nous avons aussi comparé les métriques de validation LPD calculées à partir des trois différentes méthodes de réplication.
<figure><img src="image_7.png" /><figcaption>Tableau 1 – Comparaison des 3 métriques de validation non normalisées sur les Yrep répliqués par ML, sp et pp. Dans les cases, les lettres à gauche représentent la significativité de la différence et celles à droite la magnitude. Les lignes correspondent aux trois différentes métriques de validation non normalisées. Elles sont comparées par quelques métriques de sélection.</figcaption></figure>

Nous rappelons ici le résumé sur les différents scénarios :

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$
<table><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>BIC.ML</td><td>bc|ab</td><td>a|a</td><td>a|a</td><td>bc|a</td><td>b|a</td><td>ab|a</td><td>ab|ad</td><td>a|a</td><td>df|bce</td><td>d|b</td><td>b|a</td></tr><tr><td>BIC.pp</td><td>g|cd</td><td>bc|b</td><td>e|b</td><td>de|b</td><td>fg|de</td><td>c|b</td><td>cd|f</td><td>d|b</td><td>ik|gi</td><td>ik|cd</td><td>c|b</td></tr><tr><td>BIC.sp</td><td>gh|cd</td><td>bd|b</td><td>eg|bc</td><td>dg|b</td><td>dg|ce</td><td>c|b</td><td>cd|f</td><td>cd|b</td><td>jk|gi</td><td>k|d</td><td>c|b</td></tr><tr><td>IC_Ando.ML</td><td>a|a</td><td>a|a</td><td>bc|a</td><td>a|a</td><td>a|a</td><td>b|a</td><td>ab|ab</td><td>ab|a</td><td>dg|ce</td><td>ac|ab</td><td>ab|a</td></tr><tr><td>IC_Ando.pp</td><td>e|c</td><td>bc|b</td><td>gj|bc</td><td>d|b</td><td>g|e</td><td>c|b</td><td>cd|f</td><td>de|b</td><td>k|i</td><td>efh|cd</td><td>c|b</td></tr><tr><td>IC_Ando.sp</td><td>ef|cd</td><td>bd|b</td><td>egj|bc</td><td>de|b</td><td>dg|ce</td><td>c|b</td><td>cd|f</td><td>de|b</td><td>k|hi</td><td>efij|cd</td><td>c|b</td></tr><tr><td>sel.10foldcs.distY.Yreppp.ML</td><td>bd|ab</td><td>a|a</td><td>cd|a</td><td>bc|a</td><td>c|b</td><td>a|a</td><td>b|ae</td><td>b|a</td><td>cde|bce</td><td>ab|ab</td><td>a|a</td></tr><tr><td>sel.10foldcs.distY.Yreppp.pp</td><td>gh|cd</td><td>cd|b</td><td>hij|bc</td><td>efg|b</td><td>def|ce</td><td>c|b</td><td>d|f</td><td>ce|b</td><td>k|gi</td><td>eg|cd</td><td>c|b</td></tr><tr><td>sel.10foldcs.distY.Yreppp.sp</td><td>gh|cd</td><td>bd|b</td><td>ijk|bc</td><td>dg|b</td><td>dg|ce</td><td>c|b</td><td>d|f</td><td>de|b</td><td>jk|gi</td><td>ef|cd</td><td>c|b</td></tr><tr><td>sel.10foldcs.LPD.pp.ML</td><td>ab|ab</td><td>a|a</td><td>d|a</td><td>ab|a</td><td>c|b</td><td>ab|a</td><td>ab|ac</td><td>b|a</td><td>cde|bce</td><td>a|a</td><td>a|a</td></tr><tr><td>sel.10foldcs.LPD.pp.pp</td><td>eg|cd</td><td>d|b</td><td>j|c</td><td>de|b</td><td>def|ce</td><td>c|b</td><td>cd|f</td><td>e|b</td><td>k|i</td><td>e|c</td><td>c|b</td></tr><tr><td>sel.10foldcs.LPD.pp.sp</td><td>egh|cd</td><td>bd|b</td><td>ij|bc</td><td>dg|b</td><td>dg|ce</td><td>c|b</td><td>cd|f</td><td>de|b</td><td>jk|gi</td><td>ef|cd</td><td>c|b</td></tr><tr><td>sel.2foldcs.distY.Yreppp.ML</td><td>cd|ab</td><td>a|a</td><td>a|a</td><td>bc|a</td><td>c|b</td><td>a|a</td><td>ab|a</td><td>ab|a</td><td>a|a</td><td>d|b</td><td>ab|a</td></tr><tr><td>sel.2foldcs.distY.Yreppp.pp</td><td>gn|cd</td><td>b|b</td><td>ef|bc</td><td>de|b</td><td>de|cd</td><td>c|b</td><td>c|bcdef</td><td>de|b</td><td>efg|def</td><td>hjk|cd</td><td>c|b</td></tr><tr><td>sel.2foldcs.distY.Yreppp.sp</td><td>gh|cd</td><td>bd|b</td><td>egh|bc</td><td>dg|b</td><td>dg|ce</td><td>c|b</td><td>cd|cdef</td><td>de|b</td><td>dgh|degjk|cd</td><td>c|b</td><td>c|b</td></tr><tr><td>sel.2foldcs.LPD.pp.ML</td><td>ab|ab</td><td>a|a</td><td>bc|a</td><td>ab|a</td><td>c|b</td><td>ab|a</td><td>a|a</td><td>ab|a</td><td>ab|ab</td><td>bcd|ab</td><td>ab|a</td></tr><tr><td>sel.2foldcs.LPD.pp.pp</td><td>eg|cd</td><td>bc|b</td><td>gk|bc</td><td>df|b</td><td>d|c</td><td>c|b</td><td>c|def</td><td>de|b</td><td>fgh|egh|efk|cd</td><td>c|b</td><td>c|b</td></tr><tr><td>sel.2foldcs.LPD.pp.sp</td><td>egh|cd</td><td>bd|b</td><td>egj|bc</td><td>dg|b</td><td>dg|ce</td><td>c|b</td><td>cd|cdef</td><td>de|b</td><td>fgij|degjefk|cd</td><td>c|b</td><td>c|b</td></tr><tr><td>sel.hos.dist.Yreppp.ML</td><td>bd|ab</td><td>a|a</td><td>ab|a</td><td>bc|a</td><td>c|b</td><td>ab|a</td><td>ab|a</td><td>b|a</td><td>ac|ac</td><td>cd|ab</td><td>ab|a</td></tr><tr><td>sel.hos.dist.Yreppp.pp</td><td>gi|cd</td><td>bc|b</td><td>fg|bc</td><td>efg|b</td><td>d|c</td><td>c|b</td><td>cd|f</td><td>ce|b</td><td>gj|egi</td><td>fk|cd</td><td>c|b</td></tr><tr><td>sel.hos.dist.Yreppp.sp</td><td>gh|cd</td><td>bd|b</td><td>egj|bc</td><td>dg|b</td><td>dg|ce</td><td>c|b</td><td>cd|ef</td><td>de|b</td><td>gk|egi</td><td>fgk|cd</td><td>c|b</td></tr><tr><td>sel.hos.LPD.pp.ML</td><td>d|b</td><td>a|a</td><td>bc|a</td><td>c|a</td><td>c|b</td><td>b|a</td><td>ab|ab</td><td>ab|a</td><td>bcd|accd|ab</td><td>ab|a</td><td>a|a</td></tr><tr><td>sel.hos.LPD.pp.pp</td><td>hi|d</td><td>cd|b</td><td>gj|bc</td><td>g|b</td><td>eg|ce</td><td>c|b</td><td>cd|f</td><td>ce|b</td><td>hjk|fgi</td><td>efj|cd</td><td>c|b</td></tr><tr><td>sel.hos.LPD.pp.sp</td><td>h|d</td><td>bd|b</td><td>gj|bc</td><td>eg|b</td><td>dg|ce</td><td>c|b</td><td>cd|f</td><td>de|b</td><td>hjk|fgi</td><td>efk|cd</td><td>c|b</td></tr></tbody></table>

Tableau 2 – Comparaison des 3 métriques de validation LPD calculée à partir des méthodes de réplication (ML, sp et pp). Dans les cases, les lettres à gauche représentent la significativité de la différence et celles à droite la magnitude. Les lignes correspondent aux trois différentes métriques de validation LPD. Elles sont comparées par quelques métriques de sélection.

Nous rappelons ici le résumé sur les différents scénarios :

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.
## 3.1.2. Comparaison des méthodes statistiques

### 3.1.2.1. Comparaison avec distances de validation calculées par le maximum de vraisemblance

Les différents scénarios ont une très grande importance sur le choix des indices de sélection. L'AIC et l'AICc ne sont pas significativement différents et la différence entre ces deux critères de sélection est négligeable sur tous les scénarios (tableaux 3 et 4). Et ils sont meilleurs ou équivalents que le BIC, sauf dans les cas où le vrai modèle est le modèle nul (scénarios 3 et 6 dans le tableau 3). L'indice d'Ando a un comportement meilleur ou équivalent que les autres critères standard sauf dans le scénario 6 (tableaux 3 et 4). Dans ce cas, quelle que soit la métrique de validation utilisée, le BIC est meilleur que les autres indices.

Le modèle moyen prédit bien sauf dans le cas de mauvaise distribution (scénarios 7, 8 et 9). Le modèle complet et les modèles sélectionnés par la « 10fold » sont moins bons aussi sur certains scénarios. Par contre les modèle sélectionnés avec les deux distances « 2fold » prédissent bien dans ce cas de mauvaise distribution. Les modèles sélectionnés par les indices ne sont pas mal sauf sur le scénario 9. Dans les scénarios 10 et 11, le modèle complet est meilleur en terme de qualité prédictif, le modèle moyen est bon sur le scénario 11. Sur le scénario 6, les modèles sélectionnés soit avec la « 2fold » soit avec la « 10fold » soit avec la « hos » sur les Yrep prédissent meilleur. Mais nous constatons que le scénario 5 pose problème aux méthodes de sélection par « hos » ou « nfold cross-validation » beaucoup plus qu'aux critères standard ou modèle moyen ou modèle complet.

Si on change de métrique de validation en utilisant celle basée sur la LPD (tableau 4), on observe toujours ces mêmes problèmes de prédiction avec les modèles sélectionnés par les métriques « hos » ou « nfold cross-validation » sur ce scénario 5. Il n'existe pas de grandes différences entre les résultats dans les deux tableaux.

La méthode qui consiste à garder le meilleur modèle sans le ré-estimer sur l'échantillon tout entier fournit une mauvaise qualité de prédiction (cf. la dernière dans les 2 tableaux 3 et 4).
<table><caption>Tableau 3 – Comparaison par la distance de validation non normalisée sur Yrep. Ces comparaisons sont faites sur 1000 réplications.</caption><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>a|a</td><td>ab|a</td><td>ef|de</td><td>a|a</td><td>ab|a</td><td>d|c</td><td>ac|ac</td><td>ab|ab</td><td>d|d</td><td>cd|cd</td><td>bd|bc</td></tr><tr><td>AlCc</td><td>a|a</td><td>b|a</td><td>ef|de</td><td>a|ab</td><td>bc|ab</td><td>d|c</td><td>c|c</td><td>ac|ac</td><td>d|d</td><td>c|cd</td><td>bc|bc</td></tr><tr><td>BIC</td><td>bc|bc</td><td>ab|a</td><td>a|a</td><td>bc|cd</td><td>c|b</td><td>ab|ab</td><td>bc|bc</td><td>a|a</td><td>d|d</td><td>g|g</td><td>d|c</td></tr><tr><td>IC_Ando</td><td>a|a</td><td>ab|a</td><td>cd|ad</td><td>a|a</td><td>ab|a</td><td>c|bc</td><td>bc|bc</td><td>ac|ac</td><td>d|d</td><td>ce|ce</td><td>bd|bc</td></tr><tr><td>modMoyen.fs</td><td>a|ab</td><td>ab|a</td><td>ab|ab</td><td>ab|ac</td><td>a|a</td><td>acd|ac</td><td>d|d</td><td>cd|cd</td><td>e|e</td><td>b|b</td><td>a|a</td></tr><tr><td>modTrueFalse.fs</td><td>ab|ab</td><td>c|b</td><td>g|f</td><td>bc|cd</td><td>b|a</td><td>e|d</td><td>de|de</td><td>d|d</td><td>f|f</td><td>a|a</td><td>a|a</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>bc|bc</td><td>ab|a</td><td>def|cde</td><td>bc|bcd</td><td>d|c</td><td>ab|a</td><td>bc|bc</td><td>c|bc</td><td>d|d</td><td>ce|ce</td><td>bc|bc</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>ab|ab</td><td>b|a</td><td>f|e</td><td>ab|ac</td><td>de|cd</td><td>ac|ab</td><td>bc|bc</td><td>bc|ac</td><td>cd|cd</td><td>c|c</td><td>bc|bc</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>c|c</td><td>ab|a</td><td>a|ab</td><td>bc|ad</td><td>de|cd</td><td>a|a</td><td>ab|ab</td><td>ac|ac</td><td>a|a</td><td>fg|fg</td><td>cd|bc</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>ab|ab</td><td>ab|a</td><td>bcd|ad</td><td>ab|ac</td><td>de|cd</td><td>ab|ab</td><td>b|b</td><td>ac|ac</td><td>ab|ab</td><td>deg|deg</td><td>bd|bc</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>bc|bc</td><td>a|a</td><td>ac|abc</td><td>bc|cd</td><td>de|cd</td><td>ab|ab</td><td>bc|bc</td><td>bc|ac</td><td>abc|abc</td><td>eg|eg</td><td>bc|bc</td></tr><tr><td>sel.hos.LPD.pp.fs</td><td>c|c</td><td>ab|a</td><td>ce|bd</td><td>c|d</td><td>e|d</td><td>bc|ab</td><td>bc|bc</td><td>ac|ac</td><td>bd|bd</td><td>cef|cef</td><td>b|b</td></tr><tr><td>sel.hos.Yreppp.fs</td><td>d|d</td><td>d|c</td><td>g|f</td><td>d|e</td><td>f|e</td><td>e|d</td><td>e|e</td><td>e|e</td><td>f|f</td><td>h|h</td><td>e|d</td></tr></tbody></table>

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.

<table><caption>Tableau 4 – comparaison par la distance de validation LPD. Ces comparaisons sont faites sur 1000 réplications.</caption><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>a|a</td><td>ab|a</td><td>de|a</td><td>ab|a</td><td>a|a</td><td>e|a</td><td>c|a</td><td>ab|ab</td><td>c|bc</td><td>c|c</td><td>bd|bc</td></tr><tr><td>AlCc</td><td>a|a</td><td>ab|a</td><td>de|a</td><td>a|a</td><td>ab|a</td><td>e|a</td><td>c|ab</td><td>ab|ac</td><td>c|bc</td><td>c|c</td><td>bc|bc</td></tr><tr><td>BIC</td><td>bc|ab</td><td>ab|a</td><td>a|a</td><td>cd|a</td><td>b|a</td><td>ab|a</td><td>bc|a</td><td>a|a</td><td>c|c</td><td>f|d</td><td>d|c</td></tr><tr><td>IC_Ando</td><td>a|a</td><td>ab|a</td><td>bc|a</td><td>ab|a</td><td>s|a</td><td>cd|a</td><td>ac|a</td><td>ab|ab</td><td>c|c</td><td>ce|cd</td><td>bd|c</td></tr><tr><td>modMoyen.fs</td><td>b|ab</td><td>ab|ab</td><td>ab|a</td><td>bc|a</td><td>b|a</td><td>de|a</td><td>d|bc</td><td>cd|bc</td><td>d|d</td><td>b|b</td><td>a|a</td></tr><tr><td>modTrueFalse.fs</td><td>b|ab</td><td>c|b</td><td>f|b</td><td>cd|a</td><td>ab|a</td><td>f|b</td><td>d|c</td><td>d|c</td><td>e|e</td><td>a|a</td><td>a|ab</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>bd|ab</td><td>ab|a</td><td>cde|a</td><td>cd|a</td><td>c|b</td><td>a|a</td><td>bc|a</td><td>bc|ac</td><td>c|bc</td><td>cd|cd</td><td>bc|bc</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>ab|ab</td><td>b|ab</td><td>e|a</td><td>ac|a</td><td>cd|b</td><td>ac|a</td><td>ac|a</td><td>bc|ac</td><td>c|bc</td><td>c|c</td><td>b|bc</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>cd|ab</td><td>ab|a</td><td>a|a</td><td>cd|a</td><td>cd|b</td><td>a|a</td><td>ab|a</td><td>ac|ac</td><td>a|a</td><td>f|d</td><td>cd|c</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>ab|ab</td><td>ab|a</td><td>bd|a</td><td>ac|a</td><td>cd|b</td><td>ab|a</td><td>a|a</td><td>ab|ac</td><td>ab|ab</td><td>def|cd</td><td>bd|c</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>bd|ab</td><td>a|a</td><td>ab|a</td><td>cd|a</td><td>cd|b</td><td>ab|a</td><td>ac|a</td><td>bc|ac</td><td>ab|ac</td><td>ef|cd</td><td>bd|bc</td></tr><tr><td>sel.hos.LPD.pp.fs</td><td>d|b</td><td>ab|ab</td><td>bd|a</td><td>d|a</td><td>d|b</td><td>bc|a</td><td>ac|a</td><td>ac|ac</td><td>bc|ac</td><td>cf|cd</td><td>bc|bc</td></tr><tr><td>sel.hos.Yreppp.fs</td><td>e|c</td><td>d|c</td><td>g|b</td><td>e|b</td><td>e|c</td><td>f|b</td><td>e|d</td><td>e|d</td><td>e|e</td><td>g|e</td><td>e|d</td></tr></tbody></table>

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.
### 3.1.2.2. Comparaison avec distances de validation calculées par la « posterior predictive »

Ici, nous avons utilisé une autre métrique de validation de nature différente de celle utilisée ci-dessus.

La métrique de validation est calculée à partir la méthode de réplication « posterior predictive ».

En plus des trois méthodes ci-dessus, nous avons ajouté dans la comparaison une autre méthode, la sélection de variables. Les simulations sur ces méthodes sont aussi faites que sur 100 réplications.

Les indices de sélection standard même quand on les compare avec d'autres distances de validation (tableaux 5 et 6) dépendent toujours de la nature des scénarios. Contrairement à ce qu'on a observé ci-dessus, on a des assez grosses variations entre les deux tableaux 5 et 6 pour les modèles de sélection de variables. Dans nos résultats précédents, les méthodes statistiques sélection de modèle, modèle et modèle complet prédisaient moins bien les scénarios 5 et 6. Mais la méthode sélection de variables ASJV2 a une meilleure qualité de prédiction sur ces scénarios (tableaux 5 et 6) et la méthode SSVSMGV4 a de bons résultats sur le scénario 5. Sur le scénario 1, suivant la distance de validation utilisée (tableaux 5 et 6), on observe un phénomène différent sur les variantes méthodes sélection de variables. Dans le tableau 5, elles font partie des meilleures méthodes mais dans le tableau 6, elles prédisent moins bien que les modèles sélectionnés. Sur les scénarios 10 et 11, la méthode SSVSMGV4 présente une bonne prédiction (tableaux 5 et 6). La méthode ASJV2 et le modèle sélectionné par AICc fournissent aussi une bonne qualité de prédiction sur le scénario 11 (tableaux 5 et 6).

<figure><img src="image_8.png" /></figure>
## Tableau 5 – Comparaisons par la distance de validation non normalisée. Ces comparaisons sont faites sur 100 réplications.

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.

<figure><img src="image_9.png" /></figure>

## Tableau 6 – Comparaisons par la distance de validation LPD. Ces comparaisons sont faites sur 100 réplications.

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.
## 3.2. Partie inférence

Dans chaque tableau, sont présentées la fréquence empirique avec laquelle le paramètre est présent dans l'intervalle de confiance de niveau 95 % ou 99 %, et la p-value qui nous permet de voir si cette fréquence est significativement différente de 0.95 ou 0.99 qui est attendu.

On retrouve des problèmes d'inférence avec le modèle complet quand la distribution est mauvaise (scénarios 7, 8 et 9) et quand on met du bruit sur la variable explicative utilisée pour générer les données (scénario 4). On observe le même problème lorsque la variable explicative est de mauvaise forme et avec un coefficient fort (scénario 5).

Le modèle moyen donne aussi une mauvaise qualité d'inférence. Le test est significativement différent de la valeur 0.95 sur tous les scénarios. Ce qu'on observe aussi sur l'intervalle de confiance de niveau 99 %.

<table><thead><tr><th></th><th>scenario1</th><th>scenario2</th><th>scenario3</th><th>scenario4</th><th>scenario5</th><th>scenario6</th><th>scenario7</th><th>scenario8</th><th>scenario9</th><th>scenario10</th><th>scenario11</th></tr></thead><tbody><tr><td>Type195</td><td>0.948</td><td>0.941</td><td>0.944</td><td>0.916</td><td>0.594</td><td>0.947</td><td>0.681</td><td>0.819</td><td>0.691</td><td>0.957</td><td>0.942</td></tr><tr><td>Type199</td><td>0.989</td><td>0.992</td><td>0.99</td><td>0.975</td><td>0.787</td><td>0.991</td><td>0.808</td><td>0.931</td><td>0.819</td><td>0.989</td><td>0.99</td></tr><tr><td>P-value195</td><td>0.81</td><td>0.22</td><td>0.42</td><td>0***</td><td>0***</td><td>0.7</td><td>0***</td><td>0***</td><td>0***</td><td>0.27</td><td>0.28</td></tr><tr><td>P-value199</td><td>0.83</td><td>0.44</td><td>0***</td><td>0***</td><td>0***</td><td>0.66</td><td>0***</td><td>0***</td><td>0***</td><td>0.83</td><td>0.91</td></tr></tbody></table>

Tableau 7 : Inférence sur le modèle complet. Sur les deux premières lignes, on peut lire le nombre de fois où le vrai paramètre est dans l'intervalle de confiance. Sur les deux dernières lignes, sont représentées les p-valeurs du test.

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.
<table><thead><tr><th></th><th>scenario1</th><th>scenario2</th><th>scenario3</th><th>scenario4</th><th>scenario5</th><th>scenario6</th><th>scenario7</th><th>scenario8</th><th>scenario9</th><th>scenario10</th><th>scenario11</th></tr></thead><tbody><tr><td>Type195</td><td>0.928</td><td>0.851</td><td>0.912</td><td>0.885</td><td>0.55</td><td>0.913</td><td>0.692</td><td>0.808</td><td>0.523</td><td>0.972</td><td>0.918</td></tr><tr><td>Type199</td><td>0.952</td><td>0.951</td><td>0.984</td><td>0.905</td><td>0.746</td><td>0.984</td><td>0.758</td><td>0.87</td><td>0.738</td><td>0.993</td><td>0.981</td></tr><tr><td>P-value95</td><td>0.003***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td></tr><tr><td>P-value99</td><td>0***</td><td>0***</td><td>0.096</td><td>0***</td><td>0***</td><td>0.096</td><td>0***</td><td>0***</td><td>0***</td><td>0.258</td><td>0.014*</td></tr></tbody></table>

Tableau 8 : Inférence sur le modèle moyen. Sur les deux premières lignes, on peut lire le nombre de fois où le vrai paramètre est dans l'intervalle de confiance. Sur les deux dernières lignes, sont représentées les p-valeurs du test.

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.

Ici les procédures statistiques sont faites sur 100 réplications et la valeur cible considérée est 0.95.

En termes d'inférence, la méthode sélection de variables donne de mauvais résultats presque dans tous les scénarios.

<table><thead><tr><th></th><th>scenario1</th><th>scenario2</th><th>scenario3</th><th>scenario4</th><th>scenario5</th><th>scenario6</th><th>scenario7</th><th>scenario8</th><th>scenario9</th><th>scenario10</th><th>scenario11</th></tr></thead><tbody><tr><td>ASJV2</td><td>0.8</td><td>0.78</td><td>1</td><td>0.64</td><td>0.85</td><td>0***</td><td>1 0.53</td><td>0.75</td><td>0.89</td><td>0.81</td><td>0.73</td></tr><tr><td>SSVSMGV4</td><td>0.84</td><td>0.8</td><td>1</td><td>0.68</td><td>0.68</td><td>0***</td><td>1 0.54</td><td>0.77</td><td>0.87</td><td>0.89</td><td>0.82</td></tr><tr><td>SSVSMGV6</td><td>0.91</td><td>0.83</td><td>1</td><td>0.75</td><td>0.77</td><td>0***</td><td>1 0.53</td><td>0.77</td><td>0.85</td><td>0.83</td><td>0.82</td></tr><tr><td>p-value_V2</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0.0003***</td><td>0***</td><td>0***</td><td>0***</td><td>0.0229**</td><td>0***</td><td>0***</td></tr><tr><td>p-value_V4</td><td>0.0001***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0.0003***</td><td>0.0229**</td><td>0***</td></tr><tr><td>p-value_V6</td><td>0.1262</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0***</td><td>0.0003***</td><td>0***</td><td>0***</td></tr></tbody></table>

Tableau 9 : Inférence avec les différentes méthodes de sélection de variables. On a les trois méthodes de sélection de variables (ASJV2, SSVSMGV4 et SSVSMGV6). Sur les trois premières lignes, on peut lire le nombre de fois où le vrai paramètre est dans l'intervalle de confiance pour chaque méthode considérée. Sur les trois dernières lignes, sont représentées les p-valeurs du test.

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;
scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera
utilisé dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.

4. Discussion

La qualité de prédiction des modèles sélectionnés par les indices AIC, AICc, BIC et Ando dépend beaucoup des scénarios. L'indice d'Ando est meilleur que les (ou équivalent aux) autres critères de sélection dans tous les cas de validation. Suivant la distance de validation, qu'on sélectionne le modèle soit avec l'AIC soit avec l'AICc, ces deux critères sont significativement les mêmes. Les indices AIC et AICc sont meilleurs que le BIC dans beaucoup de scénarios. Le BIC n'était meilleur que dans le scénario 3 où le vrai modèle est le modèle nul, car il pénalise les modèles compliqués. Ces résultats confirment le que l'AIC a tendance à choisir les modèles avec trop de paramètres. On retrouve aussi les propos de Burnham and Anderson (2002) que l'AIC est meilleur que le BIC.

En terme prédictif, le modèle complet est le plus mauvais que toutes les autres méthodes statistiques sauf dans les scénarios 10 et 11. On sort globalement que le modèle complet n'est pas la bonne méthode pour faire de la prédiction sauf que si le vrai modèle est le modèle complet et que les coefficients sont forts ou faibles mais pas nuls. Dans tous les autres cas où on n'est pas sûr que le vrai modèle soit le modèle complet et où les coefficients ne sont pas forts, la sélection de modèle est la meilleure méthode statistique que le modèle complet ou le modèle moyen. Le scénario 9 est le cas où les quatre méthodes par indices ne fonctionnent pas bien et beaucoup moins que les méthodes « 2fold » et « 10fold ».

Le cas où le modèle moyen prédit mal la variable réponse est celui où nous avons utilisé la mauvaise distribution (la négative binomiale). Dans les autres cas, le modèle moyen fournit une bonne qualité prédictive avec la distance de validation que nous avons jugée meilleure.

Le point de vue de Harrel qui était de privilégier le modèle complet au lieu du modèle sélectionné, dans le but d'avoir une meilleure qualité prédictive n'est pas vérifié dans certains scénarios. Dans un contexte d'incertitude, les modèles sélectionnés sont meilleurs que le modèle complet. Par contre quand le vrai modèle est le modèle complet (scénarios 10 et 11), en terme prédictif, il est meilleur que les modèles sélectionnés.
Dans nos premières analyses nous avons effectué la comparaison de toutes les méthodes de sélection suivant chaque métrique de validation. Les résultats dépendent assez fortement des scénarios et des distances de validation. De ces analyses, suivant la nature de la distance de validation utilisée, certaines métriques de sélection étaient privilégiées (cf. les tableaux 19 et 20 en annexe). Au début, on avait l'idée que la différence entre les méthodes de sélection allait plutôt dépendre de la façon de normaliser les distances de sélection ou bien de la méthode de réplication utilisée pour les calculer. Mais on a constaté que le fait de normaliser ou pas les distances de sélection ou les distances de validation a peu d'impact sur les résultats. Par contre, le choix de la méthode de réplication, soit le maximum de vraisemblance, soit la « posterior predictive », soit le « sample posterior » est crucial dans le calcul des métriques de validation. On pensait au début que la distance de validation naturelle était celle qui utilise la « posterior predictive ». Mais finalement la distance de validation qui était la plus faible correspondait à celle qui utilise le maximum de vraisemblance. Et il n'existe pas de preuves mathématiques sur le choix de cette métrique de validation comme étant la meilleure. On se pose donc certaines questions :

Est-ce que c'est le bon choix ?

Est-ce que des résultats mathématiques viendraient confirmer ou infirmer ces résultats?

Nous n'avons pas pu appliquer ces résultats avec des données de GNB car nous avons passé beaucoup de temps dans la partie prédiction et estimation des différentes méthodes statistiques, qui ont été plus nombreuses que celles initialement prévues dans le stage. Donc tous les résultats présentés dans ce rapport ne sont obtenus que par des simulations. Les données utilisées sont simulées sous différents cas que nous avons choisis. On aurait peut-être besoin de simuler les données avec d'autres valeurs des paramètres, avec d'autres distributions que la distribution de Poisson ou la distribution négative Binomiale. Nos modèles sont assez simples dans les différents scénarios et ne sont qu'au nombre de quatre. Et chaque modèle contient au plus deux variables explicatives. Les questions qui se posent donc ce que cela donnerait si on utilisait des modèles plus compliqués et plus nombreux (par exemple 30) ; si on a plusieurs variables explicatives.

Qu'est-ce que cela donnerait si on utilise d'autres modèles non linéaires (par exemple le modèle quadratique, modèle sigmoïde...)?

Dans la comparaison multiple des différentes métriques de sélection, deux méthodes peuvent choisir le même modèle, elles donneront donc les mêmes résultats. Nous avons voulu exclure dans cette comparaison les réplications où ces deux méthodes choisissent le même modèle. Le modèle lme utilisé ne prend pas en compte cette hypothèse. Dans les toutes premières analyses, on avait commencé à utiliser le modèle linéaire (lm) qui
prenait bien en compte cette hypothèse (cf. Annexe). Mais avec ce modèle, on allait
passer beaucoup de temps car on a plusieurs métriques de sélection à comparer. Faire
une comparaison multiple apparaît beaucoup plus intéressante en terme temps.

La sélection de variable que nous pensons être la meilleure méthode statistique peut être aussi remise en question. La métrique de validation utilisée pour valider le modèle est différente de celle que nous avons choisie comme meilleure. Ces résultats sont préliminaires, en plus ils sont obtenus que sur 100 réplications. Nous allons certainement refaire tourner les simulations en incluant la distance de validation calculée à partir des Y répliquée par le maximum de vraisemblance avant la fin du stage. On ne sait vraiment pas si il y'a eu quelqu'un qui a déjà comparé la sélection de variable avec des méthodes de sélection d'un point de vue prédictif, car je n'ai pas fait le tour des articles. Mais on peut penser que c'est relativement nouveau et intéressant.

Nous avons beaucoup travaillé avec la fonction flexmix dans R qui permet de faire un mélange de différents modèles dans le cas fréquentiste. Et c'était dans le but de faire une estimation en une seule fois et de comparer les résultats de cette méthode avec ceux obtenus du modèle de mélange codé sous Stan dans le cadre bayésien. Mais il y'a eu pas mal de problèmes au niveau de la compréhension de l'outil flexmix, et aussi sur la normalisation des distances de validation. Les distances normalisées ne renvoyaient des valeurs « NA » en sortie.

5. Conclusion

En résumé, pour améliorer nos résultats et en avoir une vision exacte, il faut refaire
tourner les simulations concernant la sélection de variables. Les distances de validation
utilisées dans cette méthode sont calculées que par la méthode de réplication « posterior
predictive ». Alors que la meilleure distance de validation d'après nos simulations sur
les autres méthodes est celle qui utilise le maximum de vraisemblance. En termes de
stratégie, on pense que la meilleure méthode pourrait être la sélection de variable, mais
cela reste à vérifier avec d'autres simulations pour la qualité prédictive et avec une
revisite des calculs pour la partie inférence. Après il faut compléter ces résultats par
d'autres simulations ou des résultats mathématiques pour vérifier que nos conclusions
sont stables.

Avec ces quelques connaissances, pour l'analyse statistique des données GNB on
utiliserait plutôt la méthode sélection de variables. On peut aussi utiliser la sélection de
modèle basée soit sur l'indice d'Ando soit par la « 2fold cross-validation ».
Les nouveautés dans ce travail, comme la manière dont on a répliqué les Y, sont
cruciales pour la sélection du modèle et pour la validation. D'après les résultats on propose d'utiliser la « posterior predictive » pour faire de la sélection, le maximum de vraisemblance pour faire de la validation et le « sample posterior » pour la qualité d'ajustement du modèle.

# Annexe

Nous avons obtenu d'autres résultats en comparant le modèle avec le modèle sélectionné, le modèle complet, le modèle moyen et les modèles définis dans les variantes méthodes de sélection de variables. Ces résultats semblent discutables et nous allons probablement y revenir avant la fin du stage.

Pour comparer ces méthodes (Sélection de modèle – modèle complet – modèle moyen – modèle mélange) nous avons utilisé les métriques de validation calculées à partir de la « posterior predictive ». Ces comparaisons sont faites que sur le scénario 1. La sélection de variable et les modèles sélectionnés soit par les indices soit par les autres métriques telles que la « hos », la « 2fold cross-validation » et la « 10fold cross-validation » sont significativement les mêmes (cf. tableau 10). Et en termes de qualité prédictive, ces méthodes ont de meilleurs résultats. Dans ce même tableau le modèle mélange est aussi bien mais la distance moyenne de l'estimateur est énorme. Ce qui fait aussi une très grande valeur de l'erreur type, donc l'intervalle de confiance contient tout. Contrairement dans le tableau 11, où le modèle mélange est la meilleur méthode avec une distance moyenne de l'estimateur la plus petite mais son erreur type reste toujours le plus élevé. Toutes les autres méthodes prédisent moins bonnes (cf. tableau 11).
<table><thead><tr><th></th><th>Significativité</th><th>magnitude</th><th>estimes</th><th>se</th></tr></thead><tbody><tr><td>AIC</td><td>a</td><td>a</td><td>5544.43</td><td>17.85</td></tr><tr><td>AICc</td><td>a</td><td>a</td><td>5540.89</td><td>17.84</td></tr><tr><td>ASJV2</td><td>a</td><td>a</td><td>5544.87</td><td>17.82</td></tr><tr><td>BIC</td><td>a</td><td>a</td><td>5542.55</td><td>17.86</td></tr><tr><td>IC Ando</td><td>a</td><td>a</td><td>5541.22</td><td>17.88</td></tr><tr><td>modMelange</td><td>ac</td><td>ac</td><td>7825905.48</td><td>6581074.87</td></tr><tr><td>modMoyen.fs</td><td>bc</td><td>bc</td><td>5558.4</td><td>17.76</td></tr><tr><td>modTrueFalse.fs</td><td>c</td><td>c</td><td>5564.97</td><td>17.79</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>ab</td><td>ac</td><td>5552.57</td><td>17.92</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>ab</td><td>ab</td><td>5547.55</td><td>17.94</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>ab</td><td>ab</td><td>5547.64</td><td>17.94</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>a</td><td>a</td><td>5544.97</td><td>17.91</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>a</td><td>a</td><td>5544.18</td><td>17.89</td></tr><tr><td>sel.hos.LPD.pp.fs</td><td>ab</td><td>ab</td><td>5549.76</td><td>17.96</td></tr><tr><td>SSVSMGV4</td><td>a</td><td>ab</td><td>5549.61</td><td>17.76</td></tr><tr><td>SSVSMGV6</td><td>a</td><td>a</td><td>5544.98</td><td>17.77</td></tr></tbody></table>

Tableau 10 – comparaison par la distance de validation non normalisée. Ces comparaisons ne sont faites que sur 100 réplications et sur le scénario 1. La distance de distance validation utilisée est celle calculée par la « posterior predictive ».
<table><thead><tr><th></th><th>Significativite</th><th>magnitude</th><th>estimes</th><th>se</th></tr></thead><tbody><tr><td>AIC</td><td>bc</td><td>bc</td><td>1890.34</td><td>2.22</td></tr><tr><td>AICc</td><td>b</td><td>b</td><td>1889.69</td><td>2.2</td></tr><tr><td>ASJV2</td><td>d</td><td>cd</td><td>1892.55</td><td>2.16</td></tr><tr><td>BIC</td><td>bc</td><td>bc</td><td>1890.52</td><td>2.2</td></tr><tr><td>IC_Ando</td><td>bc</td><td>bc</td><td>1890.14</td><td>2.21</td></tr><tr><td>modMelange</td><td>a</td><td>a</td><td>381.15</td><td>3.28</td></tr><tr><td>modMoyen.fs</td><td>de</td><td>cd</td><td>1892.82</td><td>2.18</td></tr><tr><td>modTrueFalse.fs</td><td>cde</td><td>bd</td><td>1893.72</td><td>2.43</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>bde</td><td>bd</td><td>1892.08</td><td>2.25</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>bd</td><td>bd</td><td>1890.7</td><td>2.25</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>bde</td><td>bd</td><td>1891.54</td><td>2.24</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>bc</td><td>bc</td><td>1890.55</td><td>2.21</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>bc</td><td>bc</td><td>1890.65</td><td>2.22</td></tr><tr><td>sel.hos.LPD.pp.fs</td><td>bde</td><td>bd</td><td>1892.09</td><td>2.24</td></tr><tr><td>SSVSMGV4</td><td>e</td><td>d</td><td>1893.4</td><td>2.16</td></tr><tr><td>SSVSMGV6</td><td>d</td><td>cd</td><td>1892.52</td><td>2.16</td></tr></tbody></table>

Tableau 11 – comparaison par la distance de validation LPD. Ces comparaisons ne sont faites que sur 100 réplications et sur le scénario 1. La distance de distance validation utilisée est celle calculée par la « posterior predictive ».

Ces tableaux résument la moyenne et l'erreur standard de l'estimateur de la métrique de validation sur chaque modèle utilisé pour la comparaison des méthodes aux tableaux 3 et 4. Si on regarde les estimateurs, on peut avoir une idée sur les meilleures méthodes.

<table><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>5505.42 (5.93)</td><td>5477.59 (5.88)</td><td>5462.66 (5.83)</td><td>5528.53 (5.99)</td><td>6283.03 (6.96)</td><td>5463.36 (5.81)</td><td>13185.56 (32.17)</td><td>8553.47 (13.64)</td><td>12970.22 (30.73)</td><td>5599.78 (6.2)</td><td>5500.85 (5.93)</td></tr><tr><td>AICc</td><td>5505.34 (5.92)</td><td>5478.26 (5.88)</td><td>5462.57 (5.84)</td><td>5528.96 (5.99)</td><td>6284.64 (6.96)</td><td>5463.3 (5.82)</td><td>13187.8 (32.18)</td><td>8556.12 (13.65)</td><td>12971 (30.74)</td><td>5599.22 (6.2)</td><td>5500.6 (5.93)</td></tr><tr><td>BIC</td><td>5511.53 (5.97)</td><td>5476.97 (5.89)</td><td>5457.03 (5.84)</td><td>5533.23 (6.01)</td><td>6289.54 (7.01)</td><td>5457.86 (5.81)</td><td>13183.94 (32.16)</td><td>8552.61 (13.63)</td><td>12972.19 (30.73)</td><td>5612.51 (6.16)</td><td>5503.36 (5.92)</td></tr><tr><td>IC_Ando</td><td>5505.1 (5.93)</td><td>5476.8 (5.88)</td><td>5460.25 (5.83)</td><td>5528.43 (5.99)</td><td>6281.57 (6.95)</td><td>5460.49 (5.81)</td><td>13181.7 (32.16)</td><td>8556.32 (13.64)</td><td>12973.42 (30.73)</td><td>5602.55 (6.18)</td><td>5501.72 (5.92)</td></tr><tr><td>modMoyen.fs</td><td>5507.18 (5.93)</td><td>5476.3 (5.91)</td><td>5457.8 (5.84)</td><td>5530.04 (6.01)</td><td>6279.51 (6.91)</td><td>5461.86 (6.32)</td><td>13202.54 (32.23)</td><td>8563 (13.68)</td><td>12992.48 (30.74)</td><td>5547.79 (6.04)</td><td>5489.16 (5.93)</td></tr><tr><td>modTrueFalse.fs</td><td>5508 (5.91)</td><td>5485.35 (5.9)</td><td>5475.77 (5.86)</td><td>5533.36 (6)</td><td>6283.71 (6.9)</td><td>5477.84 (5.84)</td><td>13212.6 (32.19)</td><td>8567.86 (13.63)</td><td>13016.25 (30.74)</td><td>5534.68 (6.05)</td><td>5492.18 (5.96)</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>5511.73 (5.98)</td><td>5477.06 (5.89)</td><td>5461.87 (5.84)</td><td>5532.97 (6.02)</td><td>6312.43 (7.18)</td><td>5455.8 (5.82)</td><td>13184.97 (32.19)</td><td>8560.3 (13.65)</td><td>12971.13 (30.74)</td><td>5600.74 (6.2)</td><td>5500.52 (5.93)</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>5508.41 (5.94)</td><td>5478.59 (5.89)</td><td>5464.16 (5.84)</td><td>5530.62 (6)</td><td>6315.03 (7.16)</td><td>5458.34 (5.82)</td><td>13181.83 (32.18)</td><td>8559.65 (13.66)</td><td>12968.94 (30.75)</td><td>5598.82 (6.2)</td><td>5499.9 (5.93)</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>5514.81 (5.99)</td><td>5476.48 (5.89)</td><td>5457.52 (5.84)</td><td>5532.51 (6.01)</td><td>6321.29 (7.29)</td><td>5455.75 (5.82)</td><td>13174.28 (32.2)</td><td>8559.07 (13.67)</td><td>12953.93 (30.74)</td><td>5611.99 (6.17)</td><td>5502.73 (5.93)</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>5508.93 (5.96)</td><td>5476.87 (5.89)</td><td>5460.01 (5.84)</td><td>5530.47 (6.01)</td><td>6317.88 (7.21)</td><td>5457.83 (5.82)</td><td>13174.35 (32.17)</td><td>8557.02 (13.65)</td><td>12958.42 (30.73)</td><td>5606.61 (6.17)</td><td>5501.75 (5.93)</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>5511.73 (5.98)</td><td>5475.59 (5.88)</td><td>5459 (5.84)</td><td>5533.48 (6.01)</td><td>6322.23 (7.22)</td><td>5457.64 (5.82)</td><td>13178.59 (32.18)</td><td>8559.39 (13.66)</td><td>12959.86 (30.73)</td><td>5607.67 (6.17)</td><td>5500.03 (5.93)</td></tr><tr><td>sel.hos.LPD.pp.fs</td><td>5516.13 (6)</td><td>5477.68 (5.89)</td><td>5460.52 (5.84)</td><td>5535.72 (6.02)</td><td>6324.6 (7.26)</td><td>5458.52 (5.82)</td><td>13180.06 (32.21)</td><td>8558.52 (13.68)</td><td>12965 (30.75)</td><td>5605.04 (6.17)</td><td>5499.33 (5.94)</td></tr></tbody></table>

Tableau 12 : Estimation moyen et écart type lié au tableau 3 dans le texte principal
<table><caption>Tableau 13 : Estimation moyen et écart type lié au tableau 4 dans le texte principal</caption><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>1885.19 (0.71)</td><td>1884.22 (0.69)</td><td>1882.98 (0.69)</td><td>1889.68 (0.72)</td><td>1957.67 (0.75)</td><td>1883.11 (0.7)</td><td>2765.11 (2.76)</td><td>2277.87 (1.47)</td><td>2753.52 (2.7)</td><td>1897.05 (0.75)</td><td>1887.09 (0.7)</td></tr><tr><td>AICc</td><td>1885.17 (0.71)</td><td>1884.28 (0.69)</td><td>1882.97 (0.7)</td><td>1889.65 (0.72)</td><td>1957.87 (0.75)</td><td>1883.09 (0.7)</td><td>2765.52 (2.76)</td><td>2278.36 (1.47)</td><td>2753.6 (2.7)</td><td>1896.88 (0.75)</td><td>1886.97 (0.7)</td></tr><tr><td>BIC</td><td>1886.19 (0.72)</td><td>1884.17 (0.7)</td><td>1882.01 (0.7)</td><td>1890.47 (0.72)</td><td>1958.71 (0.76)</td><td>1882.12 (0.7)</td><td>2764.64 (2.76)</td><td>2277.53 (1.47)</td><td>2753.73 (2.7)</td><td>1899.22 (0.74)</td><td>1887.52 (0.7)</td></tr><tr><td>IC_Ando</td><td>1885.13 (0.71)</td><td>1884.13 (0.69)</td><td>1882.55 (0.69)</td><td>1889.68 (0.72)</td><td>1957.48 (0.75)</td><td>1882.57 (0.69)</td><td>2764.4 (2.76)</td><td>2278.1 (1.47)</td><td>2754.01 (2.7)</td><td>1897.6 (0.75)</td><td>1887.29 (0.7)</td></tr><tr><td>modMoyen.fs</td><td>1885.82 (0.71)</td><td>1884.35 (0.7)</td><td>1882.42 (0.69)</td><td>1890.24 (0.72)</td><td>1958.45 (0.75)</td><td>1882.91 (0.7)</td><td>2768.1 (2.78)</td><td>2279.69 (1.48)</td><td>2757.92 (2.7)</td><td>1888.15 (0.71)</td><td>1885.41 (0.7)</td></tr><tr><td>modTrueFalse.fs</td><td>1885.73 (0.7)</td><td>1885.78 (0.7)</td><td>1885.52 (0.7)</td><td>1890.49 (0.72)</td><td>1957.98 (0.74)</td><td>1885.8 (0.7)</td><td>2769.66 (2.76)</td><td>2280.3 (1.46)</td><td>2761.94 (2.7)</td><td>1885.36 (0.71)</td><td>1885.6 (0.71)</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>1886.39 (0.72)</td><td>1884.25 (0.7)</td><td>1882.95 (0.7)</td><td>1890.36 (0.72)</td><td>1961.93 (0.79)</td><td>1881.74 (0.7)</td><td>2764.93 (2.76)</td><td>2278.92 (1.47)</td><td>2753.43 (2.7)</td><td>1897.25 (0.75)</td><td>1887.03 (0.7)</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>1885.77 (0.71)</td><td>1884.44 (0.7)</td><td>1883.25 (0.7)</td><td>1890.01 (0.72)</td><td>1962.29 (0.79)</td><td>1882.21 (0.7)</td><td>2764.58 (2.76)</td><td>2278.96 (1.47)</td><td>2753.34 (2.7)</td><td>1896.89 (0.75)</td><td>1886.91 (0.7)</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>1886.84 (0.72)</td><td>1884.07 (0.7)</td><td>1882.09 (0.7)</td><td>1890.43 (0.72)</td><td>1963.02 (0.8)</td><td>1881.76 (0.7)</td><td>2763.08 (2.77)</td><td>2278.56 (1.48)</td><td>2750.52 (2.7)</td><td>1899.22 (0.74)</td><td>1887.37 (0.7)</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>1885.83 (0.71)</td><td>1884.21 (0.7)</td><td>1882.62 (0.7)</td><td>1890 (0.72)</td><td>1962.68 (0.8)</td><td>1882.12 (0.7)</td><td>2762.88 (2.76)</td><td>2278.3 (1.47)</td><td>2751.3 (2.7)</td><td>1898.3 (0.74)</td><td>1887.28 (0.7)</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>1886.36 (0.72)</td><td>1883.95 (0.7)</td><td>1882.36 (0.7)</td><td>1890.54 (0.72)</td><td>1963.31 (0.8)</td><td>1882.12 (0.7)</td><td>2763.76 (2.76)</td><td>2278.73 (1.47)</td><td>2751.68 (2.7)</td><td>1898.66 (0.74)</td><td>1887.08 (0.7)</td></tr><tr><td>sel.hos.LPD.pp.fs</td><td>1887.25 (0.73)</td><td>1884.36 (0.7)</td><td>1882.66 (0.7)</td><td>1891.01 (0.73)</td><td>1963.4 (0.8)</td><td>1882.3 (0.7)</td><td>2764.11 (2.77)</td><td>2278.61 (1.48)</td><td>2752.65 (2.7)</td><td>1898.1 (0.74)</td><td>1886.91 (0.7)</td></tr></tbody></table>

## Comparaison des méthodes dans le cas « posterior predictive »

<table><caption>Tableau 14 : Distance de validation non normalisée.</caption><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>ab | ab</td><td>bcd | ad</td><td>ef | de</td><td>ab | ab</td><td>e | f</td><td>b | b</td><td>bc | bc</td><td>ab | ab</td><td>c | c</td><td>cd | c</td><td>a | a</td></tr><tr><td>AICc</td><td>ab | ab</td><td>bcd | bcd</td><td>ef | ce</td><td>ab | ab</td><td>e | f</td><td>b | b</td><td>c | c</td><td>ac | ab</td><td>c | c</td><td>cd | c</td><td>a | a</td></tr><tr><td>BIC</td><td>bc | bc</td><td>a | a</td><td>a | a</td><td>abc | abc</td><td>cd | de</td><td>a | a</td><td>bc | bc</td><td>a | a</td><td>c | c</td><td>e | d</td><td>a | a</td></tr><tr><td>IC_Ando</td><td>a | a</td><td>ab | ac</td><td>bcd | acd</td><td>a | a</td><td>de | ef</td><td>ab | ab</td><td>ac | ac</td><td>ac | ab</td><td>c | c</td><td>cd | c</td><td>a | a</td></tr><tr><td>modMoyen.fs</td><td>e | e</td><td>e | e</td><td>g | f</td><td>e | e</td><td>h | i</td><td>c | c</td><td>d | d</td><td>d | c</td><td>d | d</td><td>b | b</td><td>b | b</td></tr><tr><td>modTrueFalse.fs</td><td>f | f</td><td>f | f</td><td>h | g</td><td>f | f</td><td>f | g</td><td>d | d</td><td>d | d</td><td>d | c</td><td>e | e</td><td>a | a</td><td>c | c</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>cd | cd</td><td>bcd | bcd</td><td>f | ef</td><td>cd | cd</td><td>ab | ac</td><td>a | a</td><td>bc | bc</td><td>c | b</td><td>c | c</td><td>cd | c</td><td>a | a</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>bc | bc</td><td>d | d</td><td>fg | ef</td><td>bd | bd</td><td>ab | bc</td><td>a | a</td><td>bc | bc</td><td>bc | b</td><td>c | c</td><td>c | c</td><td>a | a</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>cd | cd</td><td>a | ab</td><td>ab | ab</td><td>ab | abc</td><td>a | ab</td><td>a | a</td><td>a | a</td><td>ac | ab</td><td>a | a</td><td>e | d</td><td>a | a</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>ac | ac</td><td>ac | ad</td><td>ce | bcd</td><td>ab | ab</td><td>a | a</td><td>a | a</td><td>a | a</td><td>ac | ab</td><td>ab | ab</td><td>de | cd</td><td>a | a</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>bc | bc</td><td>a | a</td><td>ac | ac</td><td>bd | bd</td><td>a | ab</td><td>a | a</td><td>ab | ab</td><td>ac | ab</td><td>ab | ab</td><td>ce | cd</td><td>a | a</td></tr></tbody></table>

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.
## Comparaison des méthodes dans le cas « sample posterior »

<table><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>ab|ab</td><td>a|a</td><td>a|a</td><td>a|a</td><td>bc|bc</td><td>ab|ab</td><td>a|a</td><td>ab|a</td><td>b|b</td><td>b|b</td><td>a|a</td></tr><tr><td>AICc</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ac|ac</td><td>ab|ab</td><td>a|a</td><td>bc|ab</td><td>b|b</td><td>b|b</td><td>a|a</td></tr><tr><td>BIC</td><td>ade|ade</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ac|ab</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ab|b</td><td>b|b</td><td>a|a</td></tr><tr><td>IC_Ando</td><td>abc|abc</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ab|ab</td><td>a|a</td><td>a|a</td><td>ac|ab</td><td>ab|ab</td><td>b|b</td><td>a|a</td></tr><tr><td>modMoyen.fs</td><td>de|de</td><td>ab|ab</td><td>a|a</td><td>ab|ab</td><td>e|e</td><td>bc|bc</td><td>b|b</td><td>cd|bc</td><td>c|c</td><td>a|a</td><td>a|a</td></tr><tr><td>modTrueFalse.fs</td><td>e|e</td><td>bc|bc</td><td>b|b</td><td>b|b</td><td>cd|cd</td><td>c|c</td><td>b|bc</td><td>d|c</td><td>c|c</td><td>a|a</td><td>a|a</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>de|cde</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ab|ab</td><td>a|a</td><td>a|a</td><td>ac|ab</td><td>b|b</td><td>b|b</td><td>a|a</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>ad|ad</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ab|ab</td><td>a|a</td><td>a|a</td><td>ac|ab</td><td>b|b</td><td>b|b</td><td>a|a</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>cde|bde</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ac|ab</td><td>a|a</td><td>b|b</td><td>a|a</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>ad|ad</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ab|ab</td><td>a|a</td><td>a|a</td><td>ac|ab</td><td>ab|ab</td><td>b|b</td><td>a|a</td></tr><tr><td>sel.hos.distY.Yreppp.fs</td><td>ad|ad</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>ac|ab</td><td>ab|ab</td><td>b|b</td><td>a|a</td></tr></tbody></table>

## Tableau 15 : Distance de validation non normalisée.

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.

## Partie validation avec le modèle non ré-estimé

<table><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>bc|bc</td><td>def|de</td><td>d|de</td><td>bc|bc</td><td>b|b</td><td>b|b</td><td>e|d</td><td>bd|bd</td><td>d|d</td><td>b|b</td><td>c|cd</td></tr><tr><td>AICc</td><td>bc|b</td><td>def|de</td><td>cd|be</td><td>bd|bc</td><td>b|b</td><td>b|b</td><td>e|d</td><td>cd|cd</td><td>d|d</td><td>b|b</td><td>c|cd</td></tr><tr><td>BIC</td><td>cd|bd</td><td>cd|cd</td><td>b|c</td><td>bd|bc</td><td>b|b</td><td>cd|c</td><td>e|d</td><td>bc|bc</td><td>cd|cd</td><td>d|c</td><td>c|cd</td></tr><tr><td>IC_Ando</td><td>b|b</td><td>def|de</td><td>bc|bcd</td><td>bc|bc</td><td>b|b</td><td>bd|bc</td><td>de|d</td><td>cd|cd</td><td>cd|d</td><td>bd|bc</td><td>c|d</td></tr><tr><td>modMoyen.hs</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td><td>a|a</td></tr><tr><td>modTrueFalse.hs</td><td>a|a</td><td>ab|ab</td><td>ab|abc</td><td>a|a</td><td>a|a</td><td>abc|abc</td><td>ab|ab</td><td>a|a</td><td>ab|ab</td><td>a|a</td><td>a|a</td></tr><tr><td>sel.10foldcs.distY.Yreppp.fs</td><td>d|cd</td><td>ef|de</td><td>d|de</td><td>d|c</td><td>c|c</td><td>c|c</td><td>e|d</td><td>d|d</td><td>d|d</td><td>bc|bc</td><td>c|d</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>cd|bd</td><td>f|e</td><td>d|e</td><td>cd|bc</td><td>cd|cd</td><td>bc|bc</td><td>e|d</td><td>d|d</td><td>d|d</td><td>b|b</td><td>c|d</td></tr><tr><td>sel.2foldcs.distY.Yreppp.fs</td><td>d|d</td><td>def|de</td><td>b|bc</td><td>bd|bc</td><td>de|de</td><td>c|c</td><td>cde|cd</td><td>bd|bd</td><td>b|b</td><td>cd|c</td><td>c|d</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>bd|bd</td><td>def|de</td><td>bc|bcd</td><td>bd|bc</td><td>ce|de</td><td>cd|c</td><td>de|d</td><td>cd|cd</td><td>bc|bc</td><td>bd|bc</td><td>c|cd</td></tr></tbody></table>
Tableau16 : Métrique de validation non normalisée sur les Yrep ML. Ici le modèle est n'est pas ré-estimé sur tout l'échantillon.

scénario 1 à 3 : Y généré uniquement à partir de X₁ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de X₁ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative X₁ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de X₁ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de X₁ et X₂.

## Comparaison avec les « 2fold cross-validation »

<table><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>a | a</td><td>ab | ab</td><td>f | f</td><td>a | ab</td><td>ab | ab</td><td>i | e</td><td>bd | abd</td><td>a | ab</td><td>deg | dfg</td><td>c | c</td><td>bdf | bd</td></tr><tr><td>AICc</td><td>a | a</td><td>ab | ab</td><td>f | f</td><td>ab | ac</td><td>ab | ab</td><td>i | e</td><td>cd | be</td><td>abc | ac</td><td>eg | efg</td><td>c | c</td><td>bdf | bd</td></tr><tr><td>BIC</td><td>bcd | bcd</td><td>a | ab</td><td>a | a</td><td>ce | bcegh</td><td>b | b</td><td>ade | ac</td><td>ad | abd</td><td>a | a</td><td>g | fg</td><td>fg | g</td><td>f | d</td></tr><tr><td>IC_Ando</td><td>a | a</td><td>a | ab</td><td>cef | af</td><td>a | a</td><td>a | a</td><td>igh | ce</td><td>ad | abd</td><td>abc | ac</td><td>g | g</td><td>cd | cd</td><td>cdf | bd</td></tr><tr><td>modMoyen.fs</td><td>ab | ab</td><td>a | ab</td><td>ac | ac</td><td>ac | acd</td><td>a | a</td><td>adegi | acef</td><td>ef | ef</td><td>bcdg | cf</td><td>h | h</td><td>b | b</td><td>a | a</td></tr><tr><td>modTrueFalse.fs</td><td>ab | ab</td><td>c | c</td><td>g | g</td><td>ce | cegh</td><td>ab | ab</td><td>f | f</td><td>f | f</td><td>g | f</td><td>i | i</td><td>a | a</td><td>a | a</td></tr><tr><td>sel.2fold.distYnormML.Yreppnorm.fs</td><td>ef | ef</td><td>ab | ab</td><td>ef | df</td><td>eg | gi</td><td>cd | cd</td><td>hi | de</td><td>de | de</td><td>dg | ef</td><td>bceg | bcg</td><td>c</td><td>bc | b</td></tr><tr><td>sel.2fold.distYnormML.Yrepppp.fs</td><td>ce | ce</td><td>a | ab</td><td>acd | abd</td><td>acd | acef</td><td>de | de</td><td>abc | ab</td><td>abc | ab</td><td>abc | acd</td><td>ab | ab</td><td>fg | g</td><td>df | bd</td></tr><tr><td>sel.2fold.distYnormML.Yrepsp.fs</td><td>de | de</td><td>ab | ab</td><td>def | af</td><td>cd | acegh</td><td>ce | ce</td><td>eg | bcd</td><td>ab | a</td><td>ad | ace</td><td>ac | ac</td><td>cdg | cg</td><td>bde | bc</td></tr><tr><td>sel.2fold.distYnormpp.YreppML.fs</td><td>ef | ef</td><td>ab | ab</td><td>ef | f</td><td>def | egh</td><td>c | c</td><td>gi | ce</td><td>ad | abd</td><td>bcdg | bcf</td><td>acef | acg</td><td>cd | cd</td><td>bd | bc</td></tr><tr><td>sel.2fold.distYnormpp.Yreppnorm.fs</td><td>ce | ce</td><td>a | a</td><td>acd | abd</td><td>cd | acegh</td><td>de | de</td><td>ad | ab</td><td>abc | abc</td><td>abc | acd</td><td>ac | ac</td><td>efg | eg</td><td>bdf | bd</td></tr><tr><td>sel.2fold.distYnormpp.Yrepppp.fs</td><td>de | de</td><td>a | ab</td><td>acd | abde</td><td>bcd | aceg</td><td>de | de</td><td>ab | ab</td><td>a | a</td><td>bcdg | bcf</td><td>a | a</td><td>g | g</td><td>ef | bd</td></tr><tr><td>sel.2fold.distYnormpp.Yrepsp.fs</td><td>g | g</td><td>ab | ab</td><td>ac | ab</td><td>g | i</td><td>e | e</td><td>adeg | ac</td><td>bd | abd</td><td>dg | def</td><td>ae | acde</td><td>cdg | cg</td><td>bd | bc</td></tr><tr><td>sel.2fold.distYnormbsp.YrepspML.fs</td><td>ef | ef</td><td>a | ab</td><td>bcef | af</td><td>def | degh</td><td>de | de</td><td>cdg | acd</td><td>ad | abd</td><td>cdg | cf</td><td>ac | ac</td><td>cdg | cg</td><td>bc | bc</td></tr><tr><td>sel.2fold.distYnormbsp.YrepspML.fs</td><td>de | de</td><td>ab | ab</td><td>ef | bl</td><td>cef | cegh</td><td>de | de</td><td>adeg | ac</td><td>ad | abd</td><td>bcdg | cf</td><td>acef | acf</td><td>cdf | cg</td><td>bde | bd</td></tr><tr><td>sel.2fold.distYnormbsp.Yrepppp.fs</td><td>ce | ce</td><td>a | ab</td><td>ef | bcf</td><td>cef | cegh</td><td>ce | ce</td><td>ade | ac</td><td>ad | abd</td><td>ab | ac</td><td>acd | acd</td><td>cdf | cg</td><td>bdf | bd</td></tr><tr><td>sel.2fold.distYnormbsp.Yreppfs.fs</td><td>de | ce</td><td>a | ab</td><td>ef | bcf</td><td>acd | acef</td><td>cd | cd</td><td>dg | bcd</td><td>abc | ab</td><td>abcdf | ace | aceg</td><td>acg | acg</td><td>cde | cdef</td><td>bde | bd</td></tr><tr><td>sel.2fold.distY.YreppML.fs</td><td>ef | ef</td><td>ab | ab</td><td>ef | ef</td><td>def | fgi</td><td>cd | cd</td><td>hi | de</td><td>de | cde</td><td>efg | ef</td><td>ceg | cg</td><td>cd | cd</td><td>b | b</td></tr><tr><td>sel.2fold.distY.Yrepppp.fs</td><td>de | de</td><td>a | ab</td><td>ab | a</td><td>bcd | aceg</td><td>e | e</td><td>a | a</td><td>ab | a</td><td>abde | ace</td><td>ab | ab</td><td>g | fg</td><td>f | cd</td></tr><tr><td>sel.2fold.distY.Yrepsp.fs</td><td>ef | def</td><td>a | ab</td><td>ae | af</td><td>def | degi</td><td>c | c</td><td>gi | ce</td><td>abc | ab</td><td>ad | ace</td><td>ae | acf</td><td>dg | dg</td><td>bde | bd</td></tr></tbody></table>

## Tableau 17 : Métrique de validation non normalisée sur les Yrep ML.

scénario 1 à 3 : Y généré uniquement à partir de X₁ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de X₁ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative X₁ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de X₁ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de X₁ et X₂.
## Comparaison avec les « 10fold cross-validation »

<figure><img src="image_10.png" /><figcaption>Tableau 18 : Métrique de validation non normalisée sur les Yrep ML.</figcaption></figure>

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.

## Comparaison complète des métriques de sélection

Ces deux tableaux nous ont permis de faire le choix des métriques de sélection utilisées dans le texte principal.
<table><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AIC</td><td>a|a</td><td>ab|a</td><td>hi|ef</td><td>ab|ab</td><td>ab|ab</td><td>d|c</td><td>bc|ac</td><td>ac|ac</td><td>de|cd</td><td>de|de</td><td>bd|b</td></tr><tr><td>AICc</td><td>a|a</td><td>ab|a</td><td>gi|ef</td><td>ac|ac</td><td>ab|ab</td><td>d|c</td><td>c|cd</td><td>ad|acd</td><td>e|cd</td><td>d|de</td><td>bd|b</td></tr><tr><td>BIC</td><td>bcef|bcefab|a</td><td>a|a</td><td>de|ce</td><td>b|b</td><td>ac|ab</td><td>ac|ab</td><td>ac|ac</td><td>ab|ab</td><td>e|d</td><td>gh|hi</td><td>d|b</td></tr><tr><td>IC_Ando</td><td>a|a</td><td>ab|a</td><td>cgh|ae</td><td>ab|ab</td><td>a|a</td><td>cd|bc</td><td>ac|ac</td><td>bcd|acd</td><td>e|d</td><td>def|defg</td><td>bd|b</td></tr><tr><td>modMoyen.fs</td><td>ab|ab</td><td>ab|a</td><td>ac|ab</td><td>acd|acd</td><td>a|a</td><td>abd|ac</td><td>d|de</td><td>de|de</td><td>f|e</td><td>b|b</td><td>a|a</td></tr><tr><td>modTrueFalse.fs</td><td>ac|ac</td><td>c|b</td><td>j|g</td><td>de|ce</td><td>ab|ab</td><td>e|d</td><td>de|ef</td><td>e|e</td><td>g|f</td><td>a|a</td><td>a|a</td></tr><tr><td>sel.10foldcs.distYnormML.Yreppp.fs</td><td>ef|df</td><td>b|a</td><td>fgi|def</td><td>de|ce</td><td>cd|cd</td><td>ab|a</td><td>ac|ac</td><td>de|ce</td><td>bce|bd</td><td>de|de</td><td>bd|b</td></tr><tr><td>sel.10foldcs.distYnormpp.Yrenorm.fs</td><td>df|cef</td><td>ab|a</td><td>gi|def</td><td>bce|ace</td><td>ce|ce</td><td>ab|a</td><td>c|bc</td><td>cd|bce</td><td>bce|bd</td><td>d|de</td><td>bc|b</td></tr><tr><td>sel.10foldcs.distYnormpp.Yreppp.fs</td><td>df|cef</td><td>b|a</td><td>hi|ef</td><td>bce|ace</td><td>cf|cf</td><td>ab|a</td><td>ac|ac</td><td>cd|bce</td><td>be|bd</td><td>def|def</td><td>bd|b</td></tr><tr><td>sel.10foldcs.distYnormsp.Yrepppp.fs</td><td>a|a</td><td>ab|a</td><td>fgi|def</td><td>a|a</td><td>c|c</td><td>ab|a</td><td>ac|ac</td><td>a|a</td><td>e|d</td><td>c|c</td><td>bd|b</td></tr><tr><td>sel.10foldcs.distY.Yrepppp.fs</td><td>bcef|bcefab|a</td><td>efgi|cdefde|bce</td><td>ce|ce</td><td>a|a</td><td>ac|ac</td><td>ac|ac</td><td>cd|bce</td><td>e|cd</td><td>de|de</td><td>bd|b</td><td>bd|b</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>acd|acd</td><td>b|a</td><td>i|f</td><td>acd|acd</td><td>def|def</td><td>ac|ab</td><td>ac|ac</td><td>bcd|bce</td><td>be|bd</td><td>d|cd</td><td>bc|b</td></tr><tr><td>sel.2foldcs.distYnormML.Yrepppp.fs</td><td>ef|df</td><td>ab|a</td><td>ac|abc</td><td>bce|ace</td><td>def|def</td><td>ab|a</td><td>ac|ac</td><td>bcd|bcd</td><td>a|a</td><td>gh|hi</td><td>bd|b</td></tr><tr><td>sel.2foldcs.distYnormpp.Yrenorm.fs</td><td>ef|df</td><td>ab|a</td><td>ac|ab</td><td>de|bce</td><td>def|def</td><td>ab|a</td><td>ac|ac</td><td>bcd|bcd</td><td>ac|ab</td><td>gh|ghi</td><td>bd|b</td></tr><tr><td>sel.2foldcs.distYnormpp.Yreppp.fs</td><td>f|ef</td><td>ab|a</td><td>ac|abc</td><td>ce|bce</td><td>def|def</td><td>ab|a</td><td>a|a</td><td>de|ce</td><td>a|a</td><td>h|i</td><td>bd|b</td></tr><tr><td>sel.2foldcs.distYnormsp.Yrepppp.fs</td><td>ef|df</td><td>ab|a</td><td>dfgh|bdede|ce</td><td>cf|cf</td><td>ab|ab</td><td>ac|ac</td><td>ad|acd</td><td>abd|abc</td><td>dgh|dei</td><td>bd|b</td><td>bd|b</td></tr><tr><td>sel.2foldcs.distY.Yrepppp.fs</td><td>f|ef</td><td>ab|a</td><td>ab|a</td><td>ce|bce</td><td>def|def</td><td>a|a</td><td>ab|ab</td><td>bcd|bcd</td><td>a|a</td><td>gh|hi</td><td>cd|b</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>ade|ade</td><td>ab|a</td><td>bcg|ae</td><td>acd|acd</td><td>def|def</td><td>ac|ab</td><td>ab|a</td><td>bcd|bcd</td><td>ab|ab</td><td>dgh|dei</td><td>bd|b</td></tr><tr><td>sel.hos.distYnormML.Yrepppp.fs</td><td>df|cef</td><td>ab|a</td><td>acde|ae</td><td>de|de</td><td>f|f</td><td>ac|ab</td><td>ac|ac</td><td>bcd|bcd</td><td>abd|abc</td><td>egh|ei</td><td>bd|b</td></tr><tr><td>sel.hos.distYnormpp.Yrenorm.fs</td><td>cef|bcef</td><td>ab|a</td><td>acf|ae</td><td>bce|ace</td><td>ef|def</td><td>ac|ab</td><td>ac|ac</td><td>ad|acd</td><td>ab|ab</td><td>fgh|fhi</td><td>bc|b</td></tr><tr><td>sel.hos.distYnormpp.Yrepppp.fs</td><td>cef|bcef</td><td>ab|a</td><td>acf|ae</td><td>de|bce</td><td>ef|ef</td><td>ac|ab</td><td>ac|ac</td><td>bcd|bcd</td><td>ab|ab</td><td>egh|ei</td><td>bd|b</td></tr></tbody></table>

## Tableau19 : Métrique de validation non normalisé sur Yrep par le ML

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.
<table><thead><tr><th></th><th>Scenario1</th><th>Scenario2</th><th>Scenario3</th><th>Scenario4</th><th>Scenario5</th><th>Scenario6</th><th>Scenario7</th><th>Scenario8</th><th>Scenario9</th><th>Scenario10</th><th>Scenario11</th></tr></thead><tbody><tr><td>AlC</td><td>ab|a</td><td>ac|a</td><td>gh|a</td><td>ac|a</td><td>ab|a</td><td>f|a</td><td>cd|ab</td><td>ac|ab</td><td>e|ce</td><td>de|ce</td><td>bc|bc</td></tr><tr><td>AlCc</td><td>ab|a</td><td>ac|ab</td><td>gh|a</td><td>ab|a</td><td>ab|a</td><td>f|a</td><td>d|ab</td><td>bcd|ac</td><td>e|ce</td><td>d|cd</td><td>b|bc</td></tr><tr><td>BIC</td><td>cdef|ab</td><td>ac|a</td><td>a|a</td><td>de|a</td><td>b|ab</td><td>acd|a</td><td>ad|a</td><td>ab|ab</td><td>e|ce</td><td>hj|ef</td><td>c|c</td></tr><tr><td>IC_Ando</td><td>ab|a</td><td>ac|a</td><td>bcd|ef|a</td><td>ab|a</td><td>a|a</td><td>de|a</td><td>ad|a</td><td>bcd|ab</td><td>e|de</td><td>dfg|def</td><td>bc|c</td></tr><tr><td>modMoyen.fs</td><td>bd|ab</td><td>ac|ab</td><td>ad|a</td><td>bcd|a</td><td>b|a</td><td>ef|a</td><td>e|bc</td><td>ef|bc</td><td>f|f</td><td>b|b</td><td>a|a</td></tr><tr><td>modTrueFalse.fs</td><td>bc|ab</td><td>d|b</td><td>i|b</td><td>de|a</td><td>ab|a</td><td>g|b</td><td>e|cd</td><td>f|c</td><td>g|g</td><td>a|a</td><td>a|ab</td></tr><tr><td>sel.10foldcs.distYnormML.Yreppp.fs</td><td>fg|ab</td><td>ac|ab</td><td>egh|a</td><td>de|a</td><td>cd|cd</td><td>ac|a</td><td>ad|ab</td><td>df|bc</td><td>be|ae</td><td>df|ce</td><td>b|bc</td></tr><tr><td>sel.10foldcs.distYnormpp.Yrenorm.fs</td><td>eg|ab</td><td>bc|ab</td><td>gh|a</td><td>bcd|a</td><td>cef|cd</td><td>ac|a</td><td>d|ab</td><td>cdf|ac</td><td>be|ae</td><td>de|ce</td><td>bc|bc</td></tr><tr><td>sel.10foldcs.distYnormmp.Yreppp.fs</td><td>dg|ab</td><td>c|ab</td><td>gh|a</td><td>bcd|a</td><td>ceg|cd</td><td>ac|a</td><td>ad|a</td><td>cde|ac</td><td>ce|bce</td><td>dfg|def</td><td>bc|bc</td></tr><tr><td>sel.10foldcs.distYnormsp.Yrepppp.fs</td><td>a|a</td><td>ac|a</td><td>fgh|a</td><td>a|a</td><td>c|bc</td><td>ab|a</td><td>ad|a</td><td>a|a</td><td>e|e</td><td>c|c</td><td>bc|bc</td></tr><tr><td>sel.10foldcs.distY.Yrepppp.fs</td><td>cdg|ab</td><td>ac|a</td><td>fgh|a</td><td>de|a</td><td>cef|cd</td><td>a|a</td><td>bcd|ab</td><td>cde|ac</td><td>de|ce</td><td>df|ce</td><td>b|bc</td></tr><tr><td>sel.10foldcs.LPD.pp.fs</td><td>acd|ab</td><td>bc|ab</td><td>h|a</td><td>acd|a</td><td>deg|cd</td><td>acd|a</td><td>ad|a</td><td>cde|ac</td><td>ce|ce</td><td>d|cd</td><td>b|ac</td></tr><tr><td>sel.2foldcs.distYnormML.Yrepppp.fs</td><td>eg|ab</td><td>ac|a</td><td>ab|a</td><td>bcd|a</td><td>deg|cd</td><td>ab|a</td><td>ad|a</td><td>bcd|ac</td><td>a|a</td><td>ij|ef</td><td>bc|c</td></tr><tr><td>sel.2foldcs.distYnormpp.Yrepnorm.fs</td><td>dg|ab</td><td>a|a</td><td>ab|a</td><td>de|a</td><td>deg|cd</td><td>ac|a</td><td>ad|a</td><td>bcd|ac</td><td>ab|acd</td><td>hj|def</td><td>bc|c</td></tr><tr><td>sel.2foldcs.distYnormpp.Yrepppp.fs</td><td>fg|ab</td><td>ac|a</td><td>ac|a</td><td>bcd|a</td><td>deg|cd</td><td>ab|a</td><td>ab|a</td><td>cde|ac</td><td>a|ab</td><td>j|f</td><td>bc|c</td></tr><tr><td>sel.2foldcs.distYnormsp.Yrepppp.fs</td><td>dg|ab</td><td>ac|a</td><td>dg|a</td><td>de|a</td><td>ce|cd</td><td>ac|a</td><td>ad|a</td><td>bcd|ab</td><td>abcd|ae</td><td>dh|def</td><td>bc|bc</td></tr><tr><td>sel.2foldcs.distY.Yrepppp.fs</td><td>fg|ab</td><td>ac|a</td><td>a|a</td><td>de|a</td><td>deg|cd</td><td>a|a</td><td>ac|a</td><td>bcd|ac</td><td>a|ab</td><td>hj|ef</td><td>bc|c</td></tr><tr><td>sel.2foldcs.LPD.pp.fs</td><td>bde|ab</td><td>ac|a</td><td>cdg|a</td><td>acd|a</td><td>deg|cd</td><td>acd|a</td><td>a|a</td><td>bcd|ac</td><td>ab|ac</td><td>efhi|def</td><td>bc|c</td></tr><tr><td>sel.hos.distYnormML.Yrepppp.fs</td><td>cdg|ab</td><td>ac|a</td><td>ad|a</td><td>de|a</td><td>g|d</td><td>acd|a</td><td>ad|a</td><td>bcd|ac</td><td>abcd|ae</td><td>efhi|def</td><td>b|bc</td></tr><tr><td>sel.hos.distYnormpp.Yrepnorm.fs</td><td>dg|ab</td><td>ac|a</td><td>ade|a</td><td>ce|a</td><td>eg|d</td><td>ac|a</td><td>ad|a</td><td>ad|ab</td><td>ab|ac</td><td>hj|def</td><td>b|bc</td></tr><tr><td>sel.hos.distYnormpp.Yrepppp.fs</td><td>cdg|ab</td><td>ac|a</td><td>ad|a</td><td>bce|a</td><td>eg|cd</td><td>acd|a</td><td>ad|a</td><td>bcd|ac</td><td>ab|acd</td><td>fhj|def</td><td>bc|bc</td></tr></tbody></table>

## Tableau20 : Métrique de validation LPD par le ML

scénario 1 à 3 : Y généré uniquement à partir de $X_1$ avec des valeurs de coefficient décroissantes ;

scénario 4 : Y généré uniquement à partir de $X_1$ qui est fortement corrélée à une autre variable explicative qui elle sera utilisée dans l'analyse ;

Scénario 5 et 6 : Y généré avec une variable explicative $X_1$ d'une mauvaise forme de distribution et non utilisée dans l'analyse de données et celle qui est utilisée est une transformation de $X_1$ ;

scénario 7 à 9 : Y généré à partir d'une distribution négative binomiale ;

scénario 10 et 11 : Y généré à partir d'une combinaison linéaire de $X_1$ et $X_2$.

## Première approche d'analyse

En tout début d'analyse, nous avons commencé à faire une comparaison deux à deux des métriques de sélection. Nous avons utilisé des modèles linéaires pour la comparaison. Et dans ce modèle, on pouvait bien prendre en compte le fait que les deux approches ne sélectionnent pas le même modèle par le paramètre « subset » de la fonction lm.

Pour deux méthodes de sélection différentes, le modèle s'écrit comme suit:

$$ dist_{validation1} = \alpha + \beta * dist_{validation2} $$

Avec $dist_{validation1}$ associée à la méthode de sélection 1 et $dist_{validation2}$ associée à la méthode de sélection 2 et $dist_{validation1}$ et $dist_{validation2}$ sont calculées dans le même échelle.

Pour nos hypothèses :

on contraint que $\beta$ soit égale à 1, donc on estime que $\alpha$

Et l'estimation est faite que sur des observations différentes entre $dist_{validation1}$ et $dist_{validation2}$.
• References:

Ando, T., 2011. Predictive bayesian model selection. American Journal of Mathematical and Management Sciences, 31(1-2), 13-38.

Barker, R. J. and W. A. Link, 2015. Truth, models, model sets, AIC, and multimodel inference: A Bayesian perspective. Journal of Wildlife Management, 79(5), 730-738.

Browne, M. W., 2000. Cross-validation methods. Journal of Mathematical Psychology, 44(1), 108-132.

Burnham, K. P. and D. R. Anderson, 2002, Model selection and multimodel inference: a practical information theoretic approach(). Springer-Verlag, New York, USA.

Cade, B. S., 2015. Model averaging and muddled multimodel inferences. Ecology, 96(9), 2370-2382.

Franklin, A. B., D. R. Anderson, R. J. Gutiérrez and K. P. Burnham, 2000. Climate, habitat quality, and fitness in Northern Spotted Owl populations in northwestern California. Ecological Monographs, 70(4), 539-590.

Freckleton, Robert P., 2011. Dealing with collinearity in behavioural and ecological data: model averaging and the problems of measurement error. Behavioral Ecology and Sociobiology, 65(1), 91-101.

Geisser, S., 1975. The predictive sample reuse method with applications. Journal of the American Statistical Association, 70(350), 320-328.

Gelman, A., X. L. Meng and H. Stern, 1996. Posterior predictive assessment of model fitness via realized discrepancies. Statistica Sinica, 6(4), 733-760.

Gosselin, F., 2011. A New Calibrated Bayesian Internal Goodness-of-Fit Method: Sampled Posterior p-values as Simple and General p-values that Allow Double Use of the Data. Plos One, 6(3), e14770.

Gosselin, F., Paillet, Y., Gosselin, M., Durrieu, S., Larrieu, L. et al., 2014. Gestion forestière, Naturalité et Biodiversité. Rapport final. 10-MBGD-BGF-1-CVS-09, GIP-Ecofor, Paris.

Harrell, F. E., 2001, Regression Modeling Strategies, With Applications to Linear Models, Logistic Regression, and Survival Analysis(). Springer, New York, USA.

Hill, B. M., 1996. Comment: discussion of A. Gelman, X.-L. Meng, H. Stern, Posterior predictive assessment of model fitness via realized discrepancies. Statistica Sinica, 6(4), 767-773.
Kohavi, R., 1995. A study of cross-validation and bootstrap for accuracy estimation and model selection. Intrenational Joint Conference on Artificial Intelligence.

Meuwissen, T H.E. and M E. Goddard, 2004. Mapping multiple QTL using linkage disequilibrium and linkage analysis information and multitrait data. Genetics Selection Evolution, 36(3), 261-279.

O'Hara, R. B. and M. J. Sillanpää, 2009. A review of bayesian variable selection methods: What, how and which. Bayesian Analysis, 4(1), 85-118.

Shmueli, G, 2010. To explain or to predict? Statistical Science, 25(3), 289-310.

Stone, M., 1974. Cross-validatory choice and assessment of statistical predictions (with discussion). Journal of the Royal Statistical Society B, 36(2), 111-147.

Stone, M., 1977. An Asymptotic Equivalence of Choice of Model by Cross-Validation and Akaikes Criterion. Journal of the Royal Statistical Society, Series B, 39, 44-47.

Ver Hoef, J. M. and P. L. Boveng, 2015. Iterating on a single model is a viable alternative to multimodel inference. Journal of Wildlife Management, 79(5), 719-729.