# Mesures de la Biodiversité

Eric Marcon

► To cite this version:

Eric Marcon. Mesures de la Biodiversité. Master. Kourou, France. 2015. cel-01205813v5

HAL Id: cel-01205813

https://agroparistech.hal.science/cel-01205813v5

Submitted on 12 Sep 2018

HAL is a multi-disciplinary open access
archive for the deposit and dissemination of sci-
entific research documents, whether they are pub-
lished or not. The documents may come from
teaching and research institutions in France or
abroad, or from public or private research centers.

L'archive ouverte pluridisciplinaire HAL, est
destinée au dépôt et à la diffusion de documents
scientifiques de niveau recherche, publiés ou non,
émanant des établissements d'enseignement et de
recherche français ou étrangers, des laboratoires
publics ou privés.

<figure><img src="image_1.png" /></figure>

Distributed under a Creative Commons CC BY-SA 4.0 - Attribution - ShareAlike - International
License
MESURES
DE LA BIODIVERSITÉ

Eric Marcon

<figure><img src="image_2.png" /></figure>

Version: 12 septembre 2018
Je remercie François Morneau pour sa relecture attentive de la première version
de ce document et sa contribution décisive pour la bonne utilisation de R dans les
exemples.

Bruno Hérault et Chris Baraloto ont contribué à la revue de la littérature de
façon significative.

Ce document est réalisé de façon dynamique et reproductible grâce à :

* LATEX, dans sa distribution Miktex (http://miktex.org/) et la classe memoir (http://www.ctan.org/pkg/memoir);

* R (http://www.r-project.org/) et RStudio (http://www.rstudio.com/);

* knitr (http://yihui.name/knitr/).

Son code source est publié sur GitHub (https://github.com/EricMarcon/MesuresBioDiv).

<figure><img src="image_3.png" /></figure>

UMR Écologie des forêts de Guyane

http://www.ecofog.gf

Les opinions émises par les auteurs sont personnelles et n'engagent ni l'UMR
EcoFoG ni ses tutelles.

Photographie en couverture: Hadrien Lalagüe
# Sommaire

<table><tr><td>Notations</td><td>v</td></tr><tr><td>I Notions et outils</td><td>1</td></tr><tr><td>1 Notions de Diversité</td><td>3</td></tr><tr><td>2 Outils</td><td>11</td></tr><tr><td>II Diversité neutre d'une communauté</td><td>19</td></tr><tr><td>3 Mesures neutres de la diversité alpha ou gamma</td><td>21</td></tr><tr><td>4 Entropie</td><td>53</td></tr><tr><td>5 Équitabilité</td><td>79</td></tr><tr><td>III Diversité fonctionnelle et phylogénétique</td><td>89</td></tr><tr><td>6 Cadre</td><td>91</td></tr><tr><td>7 Mesures particulières</td><td>99</td></tr><tr><td>8 Entropie phylogénétique</td><td>121</td></tr><tr><td>9 Diversité de Leinster et Cobbold</td><td>127</td></tr><tr><td>IV Diversité beta et décomposition</td><td>143</td></tr><tr><td>10 Cadre</td><td>145</td></tr><tr><td>11 Diversité de différentiation</td><td>153</td></tr><tr><td>12 Décomposition de l'entropie HCDT</td><td>169</td></tr></table>
<table><tr><td>13 Décomposition de la diversité phylogénétique et fonctionnelle</td><td>185</td></tr><tr><td>14 Tests de significativité</td><td>191</td></tr><tr><td>15 Autres approches</td><td>195</td></tr><tr><td>V Diversité jointe, diversité structurelle</td><td>199</td></tr><tr><td>16 Cadre</td><td>201</td></tr><tr><td>17 Information mutuelle</td><td>203</td></tr><tr><td>18 Décomposition de la diversité jointe</td><td>207</td></tr><tr><td>VI Diversité spatialement explicite</td><td>211</td></tr><tr><td>19 Cadre</td><td>213</td></tr><tr><td>20 Indice alpha de Fisher</td><td>215</td></tr><tr><td>21 Accumulation de la diversité locale</td><td>223</td></tr><tr><td>22 Diversité régionale</td><td>233</td></tr><tr><td>23 Diversité beta spatialement explicite</td><td>243</td></tr><tr><td>VII Conclusion</td><td>247</td></tr><tr><td>24 Synthèse</td><td>249</td></tr><tr><td>Bibliographie</td><td>253</td></tr><tr><td>Table des matières</td><td>270</td></tr></table>
Notations

LES notations peuvent différer de celles de la littérature citée
pour l'homogénéité de ce document.

Les matrices sont notées en caractères gras et majuscules : X.
Les éléments de la matrice X sont notés x_{i,j}.

Les vecteurs sont notés en gras minuscule : *p*. Les nombres sont
notés en minuscules, *n*, et les variables aléatoires en majuscules : *N*.
Les valeurs maximales des énumérations font exception : elles sont
notées en majuscules pour les distinguer des indices : $\sum_{s=1}^{S} p_s = 1$.

Le produit matriciel de **X** et **Y** est noté **XY**. Dans les scripts R, l'opérateur est %*%. Le produit de Hadamard (terme à terme) est noté **X** ◦ **Y** (opérateur * dans R). De même **X**^n indique la puissance *n* au sens du produit matriciel d'une matrice carrée (opérateur %∧% du package expm), alors que **X**^{on est la matrice dont chaque terme est celui de **X** à la puissance *n* (opérateur ∧ de R). La matrice transposée de **X** est notée **X**'.

Les notations sont les suivantes :

1(·) : la fonction indicatrice, qui vaut 1 si la condition dans la parenthèse est vraie, 0 sinon.

1_s : le vecteur de longueur s composé uniquement de 1. 1_s1'_s = J_s où J_s est la matrice carrée de taille s ne contenant que des 1.

A : l'aire d'étude, et, selon le contexte, sa surface.

α_ν : la probabilité moyenne des espèces représentées par ν individus.

C : le taux de couverture de l'échantillon, c'est-à-dire la probabilité qu'un individu de la communauté appartienne à une des espèces échantillonnées. Cⁿ est le taux de couverture correspondant à un échantillon de taille n.

qD : la diversité vraie (nombre de Hill pour les diversités α et γ),
nombre équivalent de communautés pour la diversité β. qD_α est la
diversité α mesurée dans la communauté i. qD̅ (T) est la diversité
phylogénétique.

Δ : la matrice de dissimilarité dont les éléments sont δ_{s,t}, la dissimilarité entre l'espèce s et l'espèce t.

E(X) : l'espérance de la variable aléatoire X.

qH : l'entropie de Tsallis (ou HCDT). qH_α est l'entropie α mesurée
dans la communauté *i*. Si nécessaire, le vecteur des probabilités servant au calcul est précisé sous la forme $qH(p)$. $q\bar{H}(T)$ est l'entropie phylogénétique.

*I* : le nombre de communautés qui constituent une partition de la méta-communauté dans le cadre de la décomposition de la diversité. Les communautés sont indexées par *i*.

*I*(*p*<sub>s</sub>) : l'information apportée par l'observation d'un évènement de probabilité *p*<sub>s</sub>. *I*(*q*<sub>s</sub>, *p*<sub>s</sub>) est le gain d'information apporté par l'expérience (*q*<sub>s</sub> est observé) par rapport aux probabilités *p*<sub>s</sub> attendues.

*I*<sub>s</sub> : la matrice identité de rang *s* : matrice carrée de taille *s* × *s* dont la diagonale ne comporte que des 1 et les autres éléments sont nuls.

*N* : le nombre (aléatoire) d'individus se trouvant dans l'aire d'étude. *N*<sub>s</sub> est la même variable aléatoire, mais restreinte aux individus de l'espèce *s*.

*n* : le nombre d'individus échantillonnés. *n*<sub>s,i</sub> est le nombre d'individus de l'espèce *s* dans la communauté *i*. Les effectifs totaux sont *n*<sub>s+</sub> (pour l'espèce *s*), *n*<sub>+i</sub> pour la communauté *i* et *n* le total général. S'il n'y a qu'une communauté, le nombre d'individus par espèce est *n*<sub>s*</sub>.

*p*<sub>s</sub> : la probabilité qu'un individu tiré au hasard appartienne à l'espèce *s*. Son estimateur, $\hat{p}_s$ est la fréquence observée. *p*<sub>s|i</sub> est la même probabilité dans la communauté *i*.

*p* = (*p*<sub>1</sub>, *p*<sub>2</sub>, ..., *p*<sub>s</sub>, ..., *p*<sub>S</sub>) : le vecteur décrivant la distribution des probabilités *p*<sub>s</sub>, appelé simplexe en référence à sa représentation dans l'espace à *S* dimensions.

*π*<sub>ν</sub> : la probabilité qu'une espèce choisie au hasard soit représentée par *ν* individus, $\sum_{\nu=1}^{n} \pi_{\nu}=1$. Si l'espèce est choisie explicitement, la probabilité est notée $\pi_{n_s}$.

$^{qR}$ : l'entropie de Rényi d'ordre *q*.

*S* : le nombre d'espèces, considéré comme une variable aléatoire, estimé par $\hat{S}$.

*S*<sub>ν</sub><sup>n</sup> : le nombre d'espèces, considéré comme une variable aléatoire, observées *ν* fois dans l'échantillonnage. L'indice est le nombre de fois où l'espèce est détectée : par exemple *S*<sub>1</sub> ou *S*<sub>≠0</sub>. L'exposant est la taille de l'échantillon : *S*<sup>A</sup> pour la surface *A* ou $\hat{S}$<sup>n</sup> pour un échantillon de *n* individus. *S*<sub>0</sub><sup>A</sup> est le nombre d'espèces non rencontrées dans la surface *A*. Pour alléger les notations, s'il n'y a pas d'ambiguïté, l'indice est omis pour les espèces présentes : *S*<sub>≠0</sub><sup>A</sup> est noté *S*<sup>A</sup>. Si l'exposant n'est pas noté, l'échantillon n'est pas précisé et peut être aussi bien un nombre d'individus qu'une surface.

*s*<sub>ν</sub><sup>n</sup> : le nombre d'espèces observées, avec les mêmes notations que ci-dessus. *s*<sub>ν</sub><sup>n</sup> peut être considéré comme une réalisation de *S*<sub>ν</sub><sup>n</sup>.
$t_{1-\alpha/2}^n$ : le quantile d'une loi de Student à $n$ degrés de liberté au seuil de risque $\alpha$, classiquement 1,96 pour $n$ grand et $\alpha = 5\%$.

$Z$ : la matrice de similarité entre espèces dont les éléments sont $z_{s,t}$, la similarité entre l'espèce $s$ et l'espèce $t$.

$\Gamma(\cdot)$ : la fonction gamma.

$\Psi(\cdot)$ : la fonction digamma.

($n$) : le nombre de combinaisons de $k$ éléments parmi $n$ :

$$ \binom{n}{k} = \frac{n!}{k! (n-k)!} $$
<figure><img src="image_4.png" /></figure>
Première partie

Notions et outils
<figure><img src="image_5.png" /></figure>
# CHAPITRE 1

## Notions de Diversité

LE TERME *biodiversity* est attribué<fnref n="1" /> à Walter Rosen, un membre du *National Research Council* américain, qui a commencé à contracter les termes *biological diversity* pendant la préparation d'un colloque dont les actes seront publiés sous le titre "Biodiversity".<fnref n="2" /> La question de la diversité biologique intéressait les écologues bien avant l'invention de la biodiversité, mais le néologisme a connu un succès fulgurant<fnref n="3" /> en même temps qu'il devenait une notion floue, dans lequel chacun peut placer ce qu'il souhaite y trouver, au point de lui retirer son caractère scientifique.<fnref n="4" /> Une cause de ce glissement est que la biodiversité a été nommée pour attirer l'attention sur son érosion, en lien avec la biologie de la conservation. Cette érosion concernant potentiellement de nombreux aspects du monde vivant, la définition de la biodiversité fluctue selon les besoins : DeLong<fnref n="5" /> en recense 85 dans les dix premières années de littérature. Les indicateurs de la biodiversité peuvent englober bien d'autres choses que la diversité du vivant : le nombre d'espèces menacées (par exemple la liste rouge de l'IUCN), la taille des populations ou la surface des écosystèmes préservés, la dégradation des habitats, la menace pesant sur des espèces emblématiques... Une mesure rigoureuse et cohérente de la diversité peut pourtant être construite pour clarifier beaucoup (mais pas tous) des concepts qui constituent la biodiversité.

Dans l'introduction du premier chapitre des actes de ce qui était devenu le « Forum sur la Biodiversité », Wilson utilise le mot dans le sens étroit de nombres d'espèces. L'élargissement de la notion aux « systèmes naturels » et à l'opposé à la diversité génétique intraspécifique est venu du monde de la conservation.<fnref n="6" /> La déclaration de Michel Loreau, président du comité scientifique de la conférence de Paris en 2005⁷ en donne une définition aboutie :

> "La Terre abrite une extraordinaire diversité biologique, qui inclut non seulement les espèces qui habitent notre planète, mais aussi la diversité de leurs gènes, la multitude des interactions écologiques entre elles

<footnote n="1">¹C. Meine et al. (2006). « "A mission-driven discipline" : The growth of conservation biology ». In : *Conservation Biology* 20.3, p. 631-651. DOI: 10.1111/j.1523-1739.2006.00449.x.</footnote>

<footnote n="2">²E. O. Wilson et F. M. Peter, éd. (1988). *Biodiversity*. Washington, D.C. : The National Academies Press.</footnote>

<footnote n="3">³P. Blandin (2014). « La diversité du vivant avant (et après) la biodiversité : repères historiques et épistémologiques ». In : *La biodiversité en question. Enjeux philosophiques, éthiques et scientifiques*. Sous la dir. d'E. Casetta et J. Delord. Paris : Editions Matériologiques. Chap. 1, p. 31-68.</footnote>

<footnote n="4">⁴J. Delord (2014). « La biodiversité : imposture scientifique ou ruse épistémologique ? » In : *La biodiversité en question. Enjeux philosophiques, éthiques et scientifiques*. Sous la dir. d'E. Casetta et J. Delord. Paris : Editions Matériologiques. Chap. 3, p. 83-118. DOI: 10.3917/edmat.delor.2014.01.0083.</footnote>

<footnote n="5">⁵D. C. J. DeLong (1996). « Defining Biodiversity ». In : *Wildlife Society Bulletin* 24.4, p. 738-749.</footnote>

<footnote n="6">⁶J. G. Speth et al. (1992). « Foreword ». In : *Global Biodiversity Strategy*. Sous la dir. de K. Courrier. Washington, D.C. : WRI, IUCN, UNEP, p. v-vi.</footnote>

<footnote n="7">⁷M. Loreau (2005). « Discours de clôture ». In : *Actes de la Conférence internationale Biodiversité Science et Gouvernance*. Sous la dir. de R. Barbault et J.-P. Le Duc. Paris, France. : IRD Editions, p. 254-256.</footnote>
et avec leur environnement physique, et la variété
des écosystèmes complexes qu'elles constituent. Cette
biodiversité, qui est le produit de plus de 3 milliards
d'années d'évolution, constitue un patrimoine natu-
rel et une ressource vitale dont l'humanité dépend de
multiples façons.”

Aujourd'hui encore, le terme *biodiversité* concerne le plus sou-
vent la richesse en espèces d'un écosystème. Pour simplifier la
présentation, le niveau d'étude dans ce document sera en général
celui des espèces (autre concept flou<fnref n="8" />). La prise en compte de
la totalité des êtres vivants est généralement hors de portée. La
mesure de diversité est alors limitée à un taxocène, c'est-à-dire un
sous-ensemble des espèces d'une communauté reliées taxonomi-
quement : les papillons, les mammifères, les arbres (la délimitation
du sous-ensemble n'est pas forcément strictement taxonomique)...

Un objet privilégié des études sur la biodiversité est, depuis le
Forum, la forêt tropicale parce qu'elle est très diverse et un enjeu
pour la conservation. La plupart des exemples concerneront ici les
arbres de la forêt tropicale, qui ont l'avantage d'être clairement
définis en tant qu'individus (donc simples à compter) et posent
des problèmes méthodologiques considérables pour l'estimation
de leur diversité à partir de données réelles.

On peut bien évidemment s'intéresser à d'autres niveaux et
d'autres objets, par exemple la diversité génétique (en termes
d'allèles différents pour certains gènes ou marqueurs) à l'intérieur
d'une population, ou même la diversité des interactions entre
espèces d'une communauté.<fnref n="9" /> On gardera toujours à l'esprit que
la prise en compte de la diversité spécifique n'est pas la seule
approche, les méthodes présentées ici s'appliquent à la mesure de
la diversité en général, pas même nécessairement biologique.

L'objectif de ce document est de traiter la mesure de la bio-
diversité, pas son importance en tant que telle. On se référera
par exemple à Chapin et al.<fnref n="10" /> pour une revue sur cette question,
Cardinale et al.<fnref n="11" /> pour les conséquences de l'érosion de la biodi-
versité sur les services écosystémiques ou Ceballos et al.<fnref n="12" /> pour
les propriétés autocatalytiques de la biodiversité. La mesure de la
diversité est un sujet important en tant que tel,<fnref n="13" /> pour permettre
de formaliser les concepts et de les appliquer à la réalité. La ques-
tion est loin d'être épuisée, et fait toujours l'objet d'une recherche
active et de controverses.<fnref n="14" />

1.1 Composantes

Une communauté comprenant beaucoup d'espèces mais avec une
espèce dominante n'est pas perçue intuitivement comme plus
diverse qu'une communauté avec moins d'espèces, mais dont les
effectifs sont proches (Figure 1.1, colonne de gauche). La prise en

<footnote n="8">⁸J. Hey (2001). « The mind of the species problem ». In: *Trends in Ecology & Evolution* 16.7, p. 326-329.
DOI: 10.1016/S0169-5347(01)02145-0.</footnote>

<footnote n="9">⁹Z. Jizhong et al. (1991). « An index of ecosystem diversity ». In : *Eco-logical Modelling* 59, p. 151-163. DOI : 10.1016/0304-3800(91)90176-2.</footnote>

<footnote n="10">¹⁰F. S. I. Chapin et al. (2000). « Consequences of changing biodiver-
sity ». In : *Nature* 405.6783, p. 234-
242. DOI : 10.1038/35012241.</footnote>

<footnote n="11">¹¹B. J. Cardinale et al. (2012). « Biodiversity loss and its impact on humanity ». In : *Nature* 486.7401, p. 59-67. DOI : 10.1038/nature11148.</footnote>

<footnote n="12">¹²G. Ceballos et al. (2017). « Biological annihilation via the ongoing sixth mass extinction signaled by vertebrate population losses and declines ». In : *Proceedings of the National Academy of Sciences*, p. 201704949. DOI : 10.1073/pnas.1704949114.</footnote>

<footnote n="13">¹³A. Purvis et A. Hector (2000). « Getting the measure of biodiver-
sity. » In : *Nature* 405.6783, p. 212-9.
DOI : 10.1038/35012221.</footnote>

<footnote n="14">¹⁴C. Ricotta (2005d). « Through the jungle of biological diversity ». In : *Acta Biotheoretica* 53.1, p. 29-38.
DOI : 10.1007/s10441-005-7001-6.</footnote>
<figure><img src="image_6.png" /></figure>

FIGURE 1.1 – Importance de la richesse (en haut) et de l'équitabilité (en bas) pour la définition de la diversité. Ligne du haut : toutes choses égales par ailleurs, une communauté de 7 espèces semble plus diverse qu'une communauté de 2 espèces. Ligne du bas : à richesse égale, une communauté moins équitable (à gauche) semble moins diverse. Colonne de gauche : une communauté moins riche (en haut) peut sembler plus diverse si elle est plus équitable. Colonne de droite : *idem* pour la communauté du bas.

compte de deux composantes de la diversité, appelées richesse et équitabilité, est nécessaire.<fnref n="15" />

1.1.1 Richesse

La richesse (terme introduit par Mcintosh<fnref n="16" />) est le nombre (ou une fonction croissante du nombre) de classes différentes présentes dans le système étudié, par exemple le nombre d'espèces d'arbres dans une forêt.

Un certain nombre d'hypothèses sont assumées plus ou moins explicitement :

* Les classes sont bien connues : compter le nombre d'espèces a peu de sens si la taxonomie n'est pas bien établie. C'est parfois une difficulté majeure quand on travaille sur les microorganismes;

* Les classes sont équidistantes : la richesse augmente d'une unité quand on rajoute une espèce, que cette espèce soit proche des précédentes ou extrêmement originale.

L'indice de richesse le plus simple et le plus utilisé est tout simplement le nombre d'espèces S.

1.1.2 Équitabilité

La régularité de la distribution des espèces (équitabilité en Français, evenness ou equitability en anglais) est un élément important de la diversité. Une espèce représentée abondamment ou par un seul individu n'apporte pas la même contribution à l'écosystème. Sur la figure 1.1, la ligne du bas présente deux communautés de 4 espèces, mais celle de droite est beaucoup plus équitable de celle de gauche et semble intuitivement plus diverse. À nombre d'espèces égal, la présence d'espèces très dominantes entraîne mathématiquement la rareté de certaines autres : on comprend donc assez intuitivement que le maximum de diversité sera atteint quand les espèces auront une répartition très régulière.

<footnote n="15">¹⁵R. H. Whittaker (1965). « Dominance and diversity in land plant communities ». In : *Science* 147.3655, p. 250-260.</footnote>

<footnote n="16">¹⁶R. P. Mcintosh (1967). « An Index of Diversity and the Relation of Certain Concepts to Diversity ». In : *Ecology* 48.3, p. 392-404.</footnote>
Un indice d'équitabilité est indépendant du nombre d'espèces (donc de la richesse).

La plupart des indices courants, comme ceux de Simpson ou de Shannon, évaluent à la fois la richesse et l'équitabilité.

### 1.1.3 Disparité

Les mesures classiques de la diversité, dites mesures de diversité neutre (*species-neutral diversity*) ou taxonomique ne prennent pas en compte une quelconque distance entre classes. Pourtant, deux espèces du même genre sont de toute évidence plus proches que deux espèces de familles différentes. Les mesures de diversité phylogénétique et de diversité fonctionnelle prennent en compte cette notion, qui nécessite quelques définitions supplémentaires.<fnref n="17" />

La mesure de la différence entre deux classes est souvent une distance, mais parfois une mesure qui n'a pas toutes les propriétés d'une distance : une dissimilarité. Les mesures de *divergence*<fnref n="18" /> sont construites à partir de la dissimilarité entre les classes, avec ou sans pondération par la fréquence.

La disparité,<fnref n="19" /> divergence moyenne entre deux espèces (indépendamment des fréquences), ou de façon équivalente la longueur totale des branches d'un arbre phylogénétique, est la composante qui décrit à quel point les espèces sont différentes les unes des autres.

Les mesures de régularité décrivent la façon dont les espèces occupent l'espace des niches (régularité fonctionnelle) ou la régularité dans le temps et entre les clades des évènements de spéciation représentés par un arbre phylogénétique. Ce concept complète celui d'équitabilité dans les mesures classiques : la diversité augmente avec la richesse, la divergence entre espèces, et la régularité (qui se réduit à l'équitabilité quand toutes les espèces sont également divergentes entre elles).

### 1.1.4 Agrégation

À partir d'une large revue de la littérature dans plusieurs disciplines scientifiques s'intéressant à la diversité (au-delà de la biodiversité), A. Stirling<fnref n="20" /> estime que les trois composantes, qu'il nomme variété (richesse), équilibre (équitabilité) et disparité, re-couvrent tous les aspects de la diversité.

Stirling définit la propriété d'agrégation comme la capacité d'une mesure de diversité à combiner explicitement les trois composantes précédentes. Cela ne signifie pas que les composantes contribuent indépendamment les unes des autres à la diversité.<fnref n="21" />

<footnote n="17">¹⁷D. Mouillot et al. (2005b). « Niche overlap estimates based on quantitative functional traits : a new family of non-parametric indices ». In : *Oecologia* 145.3, p. 345-353. DOI : 10.1007/s00442-005-0151-z ; C. Ri-cotta (2007). « A semantic taxonomy for diversity measures ». In : *Acta Biotheoretica* 55.1, p. 23-33. DOI : 10.1007/s10441-007-9008-7.</footnote>

<footnote n="18">¹⁸S. Pavoine et M. B. Bonsall (2011). « Measuring biodiversity to explain community assembly : a unified approach ». In : *Biological Reviews* 86.4, p. 792-812. DOI : 10.1111/j.1469-185X.2010.00171.x.</footnote>

<footnote n="19">¹⁹B. Runnegar (1987). « Rates and Modes of Evolution in the Mollusca ». In : *Rates of Evolution*. Sous la dir. de M. Campbell et M. F. Day. London : Allen & Unwin, p. 39-60.</footnote>

<footnote n="20">²⁰A. Stirling (2007). « A general framework for analysing diversity in science, technology and society ». In : *Journal of the Royal Society, Interface* 4.15, p. 707-719. DOI : 10.1098/rsif.2007.0213.</footnote>

<footnote n="21">²¹L. Jost (2010b). « The Relation between Evenness and Diversity ». In : *Diversity* 2.2, p. 207-232. DOI : 10.3390/d2020207.</footnote>
### 1.2 Niveaux de l'étude

La diversité est classiquement estimée à plusieurs niveaux emboîtés, nommés α, β et γ par Whittaker,<fnref n="22" /> qui a nommé α la diversité locale qu'il mesurait avec l'indice α de Fisher (voir page 218) et a utilisé les lettres suivantes selon ses besoins.

#### 1.2.1 Diversité α, β et γ

La diversité α est la diversité locale, mesurée à l'intérieur d'un système délimité. Plus précisément, il s'agit de la diversité dans un habitat uniforme de taille fixe.

<figure><img src="image_7.png" /></figure>

<figure><img src="image_8.png" /></figure>

<figure><img src="image_9.png" /></figure>

<figure><img src="image_10.png" /></figure>

<figure><img src="image_11.png" /></figure>

FIGURE 1.2 – Patrons de biodiversité.ª (a) Le nombre d'espèces de vers de terre augmente en fonction de la surface échantillonnée, de 100 m² à plus de 500 000 km² selon la relation d'Arrhenius (voir page 234). (b) Nombre d'espèces d'oiseaux en fonction de la latitude. (c) Relation entre la richesse régionale et la richesse locale. (d) Nombre d'espèces de chauves-souris en fonction de l'altitude dans une réserve au Pérou. (e) Nombre d'espèces de végétaux ligneux en fonction des précipitations en Afrique du Sud

De façon générale,<fnref n="23" /> la richesse spécifique diminue avec la latitude (la diversité est plus grande dans les zones tropicales, et au sein de celles-ci, quand on se rapproche de l'équateur), voir figure 1.2. La tendance est la même pour la diversité génétique intraspécifique.<fnref n="24" /> La richesse diminue avec l'altitude. Elle est généralement plus faible sur les îles, où elle décroît avec la distance au continent, source de migrations.

La diversité β mesure à quel point les systèmes locaux sont différents. Cette définition assez vague fait toujours l'objet de débats.<fnref n="25" />

Enfin, la diversité γ est similaire à la diversité α, prise en compte sur l'ensemble du système étudié. Les diversités α et γ se mesurent donc de la même façon.

<footnote n="22">²²R. H. Whittaker (1960). « Vegetation of the Siskiyou Mountains, Oregon and California ». In : *Ecological Monographs* 30.3, p. 279-338. DOI : 10.2307/1943563, page 320.</footnote>

<footnote>ªK. J. Gaston (2000). « Global patterns in biodiversity ». In : *Nature* 405.6783, p. 220-227. DOI : 10.1038/35012228, figure 1.</footnote>

<footnote n="23">²³K. J. Gaston (2000). « Global patterns in biodiversity ». In : *Nature* 405.6783, p. 220-227. DOI : 10.1038/35012228.</footnote>

<footnote n="24">²⁴A. Miraldo et al. (2016). « An Anthropocene map of genetic diversity ». In : *Science* 353.6307, p. 1532-1535. DOI : 10.1126/science.aaf4381.</footnote>

<footnote n="25">²⁵C. E. Moreno et P. Rodríguez (2010). « A consistent terminology for quantifying species diversity? » In : *Oecologia* 163.2, p. 279-82. DOI : 10.1007/s00442-010-1591-7.</footnote>
## 1.2.2 Décomposition

Whittaker<fnref n="26" /> a proposé sans succès une normalisation des échelles d'évaluation de la biodiversité, en introduisant la diversité régionale ε (γ étant réservé au paysage et α à l'habitat) et la diversité δ entre les paysages. Seuls les trois niveaux originaux ont été conservés par la littérature, sans définition stricte des échelles d'observation.

La distinction entre les diversités α et β dépend de la finesse de la définition de l'habitat. La distinction de nombreux habitats diminue la diversité α au profit de la β. Il est donc important de définir une mesure qui ne dépende pas de ce découpage, donc une mesure cumulative (additive ou multiplicative) décrivant la diversité totale, décomposable en la somme ou le produit convenablement pondérés de toutes les diversités α des habitats (diversité intra) et de la diversité β inter-habitat.

Nous appellerons *communauté* le niveau de découpage concernant la diversité α et *méta-communauté* le niveau de regroupement pour l'estimation de la diversité γ.

## 1.3 Le problème de l'espèce

Évaluer la richesse spécifique suppose que les espèces soient définies clairement, ce qui n'est de toute évidence pas le cas.<fnref n="27" /> Le premier aspect du problème concerne la nature des espèces : réalité naturelle ou seulement représentation simplificatrice. Une analyse historique et philosophique en est faite par Richards.<fnref n="28" /> L'autre aspect, avec des conséquences pratiques plus immédiates, concerne leur délimitation. Mayden<fnref n="29" /> recense 22 définitions différentes du concept d'espèce.

Le concept le plus répandu est celui d'espèce *biologique*<fnref n="30" /> : un « groupe de populations naturelles isolées reproductivement les unes des autres ».<fnref n="31" /> Lorsque les populations d'une espèce sont isolées géographiquement, leur capacité à se reproduire ensemble est toute théorique (et d'ailleurs rarement vérifiée expérimentalement). Des populations allopatriques n'ont pas de flux de gènes réels entre elles et peuvent être considérées comme des espèces distinctes selon le concept d'espèce *phylogénétique* : « le plus petit groupe identifiable d'individus avec un pattern commun d'ancêtres et de descendants ».<fnref n="32" /> C'est l'unité génétique détectée par la méthode du coalescent pour la délimitation des espèces.<fnref n="33" /> Le nombre d'espèces phylogénétiques est bien supérieur au nombre d'espèces biologiques. Enfin, Van Valen<fnref n="34" /> définit les espèces par la niche écologique qu'elles occupent (à partir de l'exemple des chênes blancs européens) plutôt que par les flux de gènes (permanents entre les espèces distinctes) : le concept *écologique* d'espèce est proche de celui de complexe d'espèces (ensemble d'espèces voisines échangeant des gènes<fnref n="35" />).

<footnote n="26">²⁶R. H. Whittaker (1977). « Évolution of species diversity in land communities ». In : *Evolutionary Biology* 10. Sous la dir. de M. K. Hecht et al., p. 1-67.</footnote>

<footnote n="27">²⁷E. Casetta (2014). « Évaluer et conserver la biodiversité face au problème des espèces ». In : *La biodiversité en question. Enjeux philosophiques, éthiques et scientifiques*. Sous la dir. d'E. Casetta et J. De-lord. Paris : Editions Matériologiques. Chap. 5, p. 139-154.</footnote>

<footnote n="28">²⁸R. A. Richards (2010). *The Species Problem. A Philosophical Analysis*. Cambridge : Cambridge University Press.</footnote>

<footnote n="29">²⁹R. L. Mayden (1997). « A hierarchy of species concepts : the denouement in the saga of the species problem ». In : *Species. The units of biodiversity*. Sous la dir. de M. F. Claridge et al. London : Chapman et Hall. Chap. 19, p. 381-424.</footnote>

<footnote n="30">³⁰T. Dobzhansky (1937). *Genetics and the Origin of Species*. New York : Columbia University Press.</footnote>

<footnote n="31">³¹E. Mayr (1942). *Systematics and the origin of species from the viewpoint of a zoologist*. New York : Columbia University Press.</footnote>

<footnote n="32">³²J. Cracraft (1983). « Species Concepts and Speciation Analysis ». In : *Current Ornithology Volume 1*. Sous la dir. de R. F. Johnston. T. 1. Current Ornithology. Springer US, p. 159-187. DOI : 10.1007/978-1-4615-6781-3_6.</footnote>

<footnote n="33">³³J. Sukumaran et L. L. Knowles (2017). « Multispecies coalescent delimit structure, not species ». In : *Proceedings of the National Academy of Sciences of the United States of America* in press. DOI : 10.1073/PNAS.1607921114.</footnote>

<footnote n="34">³⁴L. Van Valen (1976). « Ecological Species, Multispecies, and Oaks ». In : *Taxon* 25.2/3, p. 233-239. DOI : 10.2307/1219444.</footnote>

<footnote n="35">³⁵J. Pernès, éd. (1984). *Gestion des ressources génétiques des plantes. Tome 2 : Manuel*. Paris : Agence de Coopération culturelle et technique.</footnote>
Le choix de la définition modifie considérablement sur la quantification de la richesse.<fnref n="36" /> Des problèmes méthodologiques s'ajoutent aux problèmes conceptuels<fnref n="37" /> : la séparation ou le regroupement de plusieurs populations ou morphotypes en un nombre plus ou moins grand d'espèces est un choix qui reflète les connaissances du moment et peut évoluer.<fnref n="38" />

L'impact du problème de l'espèce sur la mesure de la diversité reste sans solution à ce stade, si ce n'est d'utiliser les mêmes définitions si des communautés différentes doivent être comparées. L'approche phylogénétique (page 121) permet de contourner le problème : si deux taxons très semblables apportent à peine plus de diversité qu'un seul taxon, le choix de les distinguer ou non n'est pas critique.

<footnote n="36">³⁶P. M. Agapow et al. (2004). « The impact of species concept on biodiversity studies ». In : *The Quarterly Review of Biology* 79.2, p. 161-179.</footnote>

<footnote n="37">³⁷Hey (2001). « The mind of the species problem », cf. note 8, p. 4.</footnote>

<footnote n="38">³⁸A. Barberousse et S. Samadi (2014). « La taxonomie et les collections d'histoire naturelle à l'heure de la sixième extinction ». In : *La biodiversité en question. Enjeux philosophiques, éthiques et scientifiques*. Sous la dir. d'E. Casetta et J. De-lord. Paris : Editions Matériologiques. Chap. 6, p. 155-182.</footnote>
<figure><img src="image_12.png" /></figure>
# CHAPITRE 2

## Outils

<figure><img src="image_13.png" /></figure>

### L'essentiel

La diversité peut être décrite localement par une courbe d'accumulation (SAC) qui représente le nombre d'espèces échantillonnées en fonction de l'effort. À une échelle plus large, cette courbe s'appelle relation aire-espèces (SAR).

La distribution des abondances des espèces (SAD) est représentée par une histogramme des fréquences ou un diagramme rang-abondance.

Le taux de couverture est la somme des probabilités des espèces observées étant donné l'effort d'échantillonnage. Il peut être estimé précisément à partir des données d'inventaire. Le taux de complétude est la proportion (en nombre) des espèces observées.

QUELQUES outils sont nécessaires avant d'entrer dans le cœur du sujet. Les relations décrivant le nombre d'espèces en fonction de la taille de l'échantillon (relations aire-espèces) et la distribution de l'abondance des espèces sont importants pour les écologues. La mesure de l'exhaustivité de l'échantillonnage par le taux de couverture sera la base de l'estimation de la diversité à partir de données réelles.

## 2.1 Calculs et données

La présentation des mesures de diversité est donnée avec un usage intensif du formalisme mathématique. La liste des notations est fournie en préambule du document, on s'y référera autant que nécessaire.

Les calculs sont réalisés dans $R^1$ essentiellement avec le package *entropart*.<fnref n="2" /> L'ensemble du code est disponible sur le site web<fnref n="3" /> où se trouvent les mises à jour de ce document.

Les données sont souvent celles de la parcelle 6 de Paracou en Guyane française,<fnref n="4" /> d'une surface de 6,25 ha. Tous les arbres de

<footnote n="1">¹R Core Team (2017). R : A Language and Environment for Statistical Computing. Vienna, Austria : R Foundation for Statistical Computing.</footnote>

<footnote n="2">²E. Marcon et B. Hérault (2015b). « entropart, an R Package to Measure and Partition Diversity ». In : *Journal of Statistical Software* 67.8, p. 1-26. DOI : 10.18637/jss.v067.i08.</footnote>

<footnote n="3">³http://www.ecofog.gf/spip.php?article427</footnote>

<footnote n="4">⁴S. Gourlet-Fleury et al. (2004). *Ecology & management of a neotropical rainforest*. Lessons drawn from Paracou, a long-term experimental research site in French Guiana. Paris : Elsevier.</footnote>
FIGURE 2.1 – Courbe d’accumulation des espèces d’arbres du dispositif de Barro Colorado Island. Le nombre d’espèces est cumulé dans l’ordre des carrés d’un hectare du dispositif.

<figure><img src="image_14.png" /></figure>

plus de 10 cm de diamètre à hauteur de poitrine (DBH : *Diameter at Breast Height*) y ont été inventoriés en 2016. La position de chaque arbre, son espèce et sa surface terrière sont fournis dans le package *SpatDiv*.

D'autres exemples utilisent la parcelle forestière permanente de Barro Colorado Island (BCI) :<fnref n="5" /> 50 ha de forêt tropicale dont les arbres de plus de 1 cm de diamètre à hauteur de poitrine (DBH : *Diameter at Breast Height*) ont été inventoriés. Le jeu de données utilisé pour les exemples est une version réduite aux arbres de plus de 10 cm disponible dans le package *vegan*.<fnref n="6" />

## 2.2 SAD et SAR

La courbe aire-espèces (SAR : *Species Area Relationship*) représente le nombre d'espèces observées en fonction de la surface échantillonnée (Figure 22.1, page 234). Il existe plusieurs façons de prendre en compte cette relation,<fnref n="7" /> classables en deux grandes familles<fnref n="8" /> :

* Dans une SAR au sens strict, chaque point représente une communauté. La question traitée est la relation entre le nombre d'espèces et la taille de chaque communauté ;

* Si les points représentent un effort d'échantillonnage différent dans même communauté, on parle de courbe d'accumulation (SAC : *Species Accumulation Curve*). Une courbe de raréfaction (*Rarefaction Curve*) peut être calculée en réduisant par des outils statistiques l'effort d'échantillonnage réel pour obtenir une SAC théorique, libérée des aléas de l'ordre de prise en compte des données.

La Figure 2.1⁹ montre l'accumulation des espèces pour les données de BCI. Une SAC peut être tracée en fonction de la surface,

<footnote n="5">⁵R. Condit et al. (2012). « Thirty Years of Forest Census at Barro Colorado and the Importance of Immigration in Maintaining Diversity ». In : *PLoS ONE* 7.11, e49826. DOI : 10.1371/journal.pone.0049826.</footnote>

<footnote n="6">⁶J. Oksanen et al. (2012). *vegan: Community Ecology Package*. URL : http://cran.r-project.org/package=vegan.</footnote>

<footnote n="7">⁷S. M. Scheiner (2003). « Six types of species-area curves ». In : *Global Ecology and Biogeography* 12.6, p. 441-447. DOI : 10.1046/j.1466-822X.2003.00061.x.</footnote>

<footnote n="8">⁸J. Dengler (2009). « Which function describes the species-area relationship best ? A review and empirical evaluation ». In : *Journal of Biogeography* 36.4, p. 728-744. DOI : 10.1111/j.1365-2699.2008.02038.x.</footnote>

<footnote n="9">⁹Le code R nécessaire pour réaliser la figure est :</footnote>
du nombre d'individus ou du nombre de placettes d'échantillonnage, selon les besoins.

<figure><img src="image_15.png" /><figcaption>FIGURE 2.2 – Histogramme des fréquences (diagramme de Preston, en haut) des arbres du dispositif de Barro Colorado Island. En abscisse : le nombre d'arbres de chaque espèce (en logarithme) ; en ordonnée : le nombre d'espèces). Diagramme rang-abondance (diagramme de Whittaker, en bas) correspondant. Les points sont les données, la courbe est l'ajustement d'une distribution log-normale.</figcaption></figure>

La distribution de l'abondance des espèces (SAD : *Species Abundance Distribution*) est la loi qui donne l'abondance attendue de chaque espèce d'une communauté. Les espèces ne sont pas identifiées individuellement, mais par le nombre d'individus leur appartenant (Figure 2.2 ¹⁰). Elle peut être représentée sous la forme d'un histogramme des fréquences (diagramme de Preston,<fnref n="11" /> en haut) ou bien d'un diagramme rang-abondance (RAC : *Rank*

```r
library("vegan")
data(BCI)
Cumul <- apply(BCI, 2, cumsum)
Richesse <- apply(Cumul, 1, function(x) sum(x > 0))
SARplot <- ggplot(data.frame(A = 0:50, S = c(0, Richesse)), aes(A,
  S)) + geom_line() + labs(x = "Surface (ha)")
SARplot
```

¹⁰Code R pour la figure :

```r
Ns <- sort(colSums(BCI), decr = TRUE)
N <- sum(Ns)
SADhist <- ggplot(data.frame(Ns), aes(Ns)) +
  geom_histogram(bins=nclass.Sturges(log(Ns)),
    color="black", fill="white", boundary = 0) +
  scale_x_log10() +
  labs(x="Effectifs (échelle logarithmique)", y="Nombre d'espèces")
SADhist
```

<footnote n="11">¹¹F. W. Preston (1948). « The Commonness, And Rarity, of Species ». In : *Ecology* 29.3, p. 254-283.</footnote>
*Abundance Curve* ou diagramme de Whittaker,<fnref n="12" /> en bas). Le RAC est souvent utilisé pour reconnaître des distributions connues. Izsák et Pavoine<fnref n="13" /> ont étudié les propriétés des RAC pour les principales SAD.

Les SAD ne sont pas traitées en détail ici : on se reportera à Magurran,<fnref n="14" /> McGill et al.<fnref n="15" /> et Izsák et Pavoine. Les SAD nécessaires à la compréhension de la suite sont :

* La distribution géométrique;<fnref n="16" />

* La distribution en log-séries de Fisher et al.;<fnref n="17" />

* La distribution log-normale;<fnref n="18" />

* Le modèle Broken Stick.<fnref n="19" />

## 2.3 Taux de couverture

### 2.3.1 Formule des fréquences de Good-Turing

La relation fondamentale entre les fréquences des espèces est due à Turing et a été publiée par Good.<fnref n="20" /> En absence de toute information sur la loi de distribution des espèces, en supposant seulement que les individus sont tirés indépendamment les uns des autres selon une loi multinomiale respectant ces probabilités, la formule de Good-Turing relie la probabilité moyenne $\alpha_v$ d'une espèce représentée $\nu$ fois (c'est-à-dire par $\nu$ individus) au rapport entre les nombres d'espèces représentées $\nu + 1$ fois et $\nu$ fois :

$$ \alpha_v \approx \frac{(\nu + 1)s_{\nu+1}^n}{n s_v^n} \qquad (2.1) $$

Les singletons ($s_1^n$ : le nombre d'espèces observées une seule fois) et les doubletons ($s_2^n$ : le nombre d'espèces observées deux fois) ont une importance centrale. Pour $\nu = 1$, on a : $\alpha_1 = 2s_2^n/s_1^n$ : la fréquence d'une espèce typiquement représentée par un singleton est environ égale à deux fois le rapport entre le nombre des singletons et des doubletons. Pour $\nu = 0$, l'ignorance du nombre d'espèces non échantillonnées $s_0^n$ pose problème mais le produit $\alpha_0 \times s_0^n = \pi_0$, la probabilité totale des espèces non représentées, peut être estimée par $s_1^n/n$. Ces relations sont le fondement des estimateurs de richesse de Chao présentées ci-dessous.

La relation a été précisée<fnref n="21" /> en limitant les approximations dans les calculs. La seule nécessaire est que les probabilités des espèces représentées le même nombre de fois $\nu$ varient peu et puissent être considérées toutes égales à $\alpha_v$. Alors, $\alpha_v$ est estimé par

$$ \hat{\alpha}_{\nu} = \frac{(\nu + 1)s_{\nu+1}^{n}}{(n - \nu)s_{\nu}^{n} + (\nu + 1)s_{\nu+1}^{n}}. \qquad (2.2) $$

```r
library("entropart")
autoplot(as.AbdVector(Ns), Distribution = "lnnorm")
```

<footnote n="12">¹²Whittaker (1965). « Dominance and diversity in land plant communities », cf. note 15, p. 5.</footnote>

<footnote n="13">¹³J. Izsák et S. Pavoine (2012). « Links between the species abundance distribution and the shape of the corresponding rank abundance curve ». In : *Ecological Indicators* 14.1, p. 1-6. DOI : 10.1016/j.ecolind.2011.06.030.</footnote>

<footnote n="14">¹⁴A. E. Magurran (1988). *Ecological diversity and its measurement*. Princeton, NJ : Princeton University Press.</footnote>

<footnote n="15">¹⁵B. J. McGill et al. (2007). « Species abundance distributions : moving beyond single prediction theories to integration within an ecological framework ». In : *Ecology Letters* 10.10, p. 995-1015. DOI : 10.1111/j.1461-0248.2007.01094.x.</footnote>

<footnote n="16">¹⁶I. Motomura (1932). « On the statistical treatment of communities ». Japanese. In : *Zoological Magazine* 44, p. 379-383; R. H. Whittaker (1972). « Evolution and Measurement of Species Diversity ». In : *Taxon* 21.2/3, p. 213-251. DOI : 10.2307/1218190.</footnote>

<footnote n="17">¹⁷R. A. Fisher et al. (1943). « The Relation Between the Number of Species and the Number of Individuals in a Random Sample of an Animal Population ». In : *Journal of Animal Ecology* 12, p. 42-58.</footnote>

<footnote n="18">¹⁸Preston (1948). « The Commonness, And Rarity, of Species », cf. note 11, p. 13.</footnote>

<footnote n="19">¹⁹R. H. MacArthur (1957). « On the Relative Abundance of Bird Species ». In : *Proceedings of the National Academy of Sciences of the United States of America* 43.3, p. 293-295.</footnote>

<footnote n="20">²⁰I. J. Good (1953). « The Population Frequency of Species and the Estimation of Population Parameters ». In : *Biometrika* 40.3/4, p. 237-264. DOI : 10.1093/biomet/40.3-4.237.</footnote>

<footnote n="21">²¹C.-H. Chiu et al. (2014b). « An Improved Nonparametric Lower Bound of Species Richness via a Modified Good-Turing Frequency Formula ». In : *Biometrics* 70.3, p. 671-682. DOI : 10.1111/biom.12200, eq. 6 et 7a.</footnote>
Ce nouvel estimateur est à la base de l'estimateur de Chao amélioré et des estimateurs d'entropie de Chao et Jost (pages 45 et 64).

### 2.3.2 Taux de couverture et déficit de couverture

Good<fnref n="22" /> définit le taux de couverture (sample coverage) de l'échantillonnage comme la proportion des espèces découvertes,

$$C = \sum_{s=1}^{S} 1 (n_s > 0) p_s,$$

où $1(\cdot)$ est la fonction indicatrice. Son complément à 1 est appelé déficit de couverture (coverage deficit).

Le taux de couverture augmente avec l'effort d'échantillonnage. Plus il est élevé, meilleures seront les estimations de la diversité. Pour comparer deux communautés par des courbes de raréfaction, Chao et Jost<fnref n="23" /> montrent que le taux de couverture plutôt que la taille de l'échantillon doit être identique. Les estimateurs de la diversité développés plus loin reposent largement sur cette notion pour la correction du biais d'échantillonnage<fnref n="24" /> (la sous-estimation systématique de la diversité due aux espèces non observées, un des éléments du biais d'estimation).

L'estimateur du taux de couverture, que Good attribue à Turing, est selon la relation des fréquences vues plus haut :

$$\hat{C} = 1 - \frac{s_1^n}{n}. \qquad (2.3)$$

Cet estimateur est biaisé.<fnref n="25" /> En réalité,

$$C = 1 - \frac{\mathbb{E}(S_1^n) - \pi_1}{n}. \qquad (2.4)$$

L'estimateur de Good néglige le terme $\pi_1$, la somme des probabilités des espèces observées une fois. Ce terme peut être estimé avec un biais plus petit. Chao et al.<fnref n="26" /> puis Z. Zhang et Huang<fnref n="27" /> proposent l'estimateur suivant, qui utilise toute l'information disponible et a le plus petit biais possible :

$$\hat{C} = 1 - \sum_{\nu=1}^{n} (-1)^{\nu+1} \binom{n}{\nu}^{-1} s_{\nu}^{n}. \qquad (2.5)$$

Les termes de la somme décroissent très vite avec $\nu$. En se limitant à $\nu = 1$, l'estimateur se réduit à celui de Good.

Esty,<fnref n="28" /> complété par C.-H. Zhang et Z. Zhang,<fnref n="29" /> a montré que l'estimateur était asymptotiquement normal et a calculé l'intervalle de confiance de $\hat{C}$ :

$$C = \hat{C} \pm t_{1-\alpha/2}^{n} \frac{\sqrt{s_1^n \left(1 - \frac{s_1^n}{n}\right) + 2s_2^n}}{n}. \qquad (2.6)$$

<footnote n="22">²²Good (1953). Cf. note 20.</footnote>

<footnote n="23">²³A. Chao et L. Jost (2012). « Coverage-based rarefaction and extrapolation : standardizing samples by completeness rather than size ». In : *Ecology* 93.12, p. 2533-2547. DOI : 10.1890/11-1952.1.</footnote>

<footnote n="24">²⁴G. Dauby et O. J. Hardy (2012). « Sampled-based estimation of diversity sensu stricto by transforming Hurlbert diversities into effective number of species ». In : *Ecography* 35.7, p. 661-672. DOI : 10.1111/j.1600-0587.2011.06860.x.</footnote>

<footnote n="25">²⁵Z. Zhang et H. Huang (2007). « Turing's formula revisited ». In : *Journal of Quantitative Linguistics* 14.2-3, p. 222-241. DOI : 10.1080/09296170701514189.</footnote>

<footnote n="26">²⁶A. Chao et al. (1988). « A generalized Good's nonparametric coverage estimator ». In : *Chinese Journal of Mathematics* 16, p. 189-199.</footnote>

<footnote n="27">²⁷Z. Zhang et Huang (2007). Cf. note 25.</footnote>

<footnote n="28">²⁸W. W. Esty (1983). « A Normal Limit Law for a Nonparametric Estimator of the Coverage of a Random Sample ». In : *The Annals of Statistics* 11.3, p. 905-912. DOI : 10.2307/2240652.</footnote>

<footnote n="29">²⁹C.-H. Zhang et Z. Zhang (2009). « Asymptotic Normality of a Nonparametric Estimator of Sample Coverage ». In : *Annals of Statistics* 37.5A, p. 2582-2595. DOI : 10.1214/08-aos658.</footnote>
Où $t_{1-\alpha/2}^n$ est le quantile d'une loi de Student à $n$ degrés de libertés au seuil de risque $\alpha$, classiquement 1,96 pour $n$ grand et $\alpha = 5\%$.

Un autre estimateur est utilisé dans le logiciel SPADE<fnref n="30" /> et son portage sous R, le package spadeR.<fnref n="31" /> Il est la base des estimateurs d'entropie de Chao et Jost (page 64). L'estimation de l'équation (2.4) donne la relation

$$ \hat{C} = 1 - \frac{s_1^n - \hat{\pi}_1}{n} \qquad (2.7) $$

Or, $\hat{\pi}_1 = s_1^n \hat{\alpha}_1$. $\alpha_1$ peut être estimé par la relation de Good-Turing (2.2), en remplaçant $s_0^n$ par l'estimateur Chao1 (équation 3.4). Alors :

$$ \hat{C} = 1 - \frac{s_1^n}{n} (1 - \hat{\alpha}_1) = 1 - \frac{s_1^n}{n} \left[ \frac{(n-1)s_1^n}{(n-1)s_1^n + 2s_2^n} \right] \qquad (2.8) $$

Dans le package *entropart*, la fonction *Coverage* calcule les trois estimateurs (celui de Zhang et Huang par défaut) :

```
library("entropart")
```

```
Coverage(Ns)
```

```
## ZhangHuang
```

```
## 0.9991146
```

Le taux de couverture de BCI est proche de 1 parce que l'inventaire couvre 50 ha. Il est moindre sur les 6,25 ha de la parcelle 6 de Paracou :

```
library("SpatDiv")
```

```
## Loading required package: Rcpp
```

```
Coverage(as.AbdVector(Paracou6))
```

```
## ZhangHuang
```

```
## 0.9723258
```

Chao et Jost<fnref n="32" /> montrent que la pente de la courbe d'accumulation donnant l'espérance du nombre d'espèces en fonction du nombre d'individus (courbe de raréfaction de la Figure 21.1) est égale au déficit de couverture,

$$ 1 - \mathbb{E}(C^n) = \mathbb{E}(S^{n+1}) - \mathbb{E}(S^n), \qquad (2.9) $$

où $C^n$ est le taux de couverture d'un échantillon de taille $n$ et $S^n$ le nombre d'espèces découvertes dans cet échantillon.

Les estimateurs présentés ici supposent une population de taille infinie (de façon équivalente, les individus sont tirés avec remise). Le cas des populations de taille finie est traité par Chao et C.-W. Lin<fnref n="33" /> et Hwang et al.<fnref n="34" />

<footnote n="30">³⁰A. Chao et T.-J. Shen (2010). *Program SPADE: Species Prediction And Diversity Estimation. Program and user's guide.* Hsin-Chu, Taiwan. URL: http://chao.stat.nthu.edu.tw/wordpress/wp-content/uploads/software/SPADE%257B%255C-%257DUserGuide.pdf.</footnote>

<footnote n="31">³¹A. Chao et al. (2016). *SpadeR: Species Prediction and Diversity Estimation with R.* URL: http://chao.stat.nthu.edu.tw/blog/software-download/.</footnote>

<footnote n="32">³²Chao et Jost (2012). « Coverage-based rarefaction and extrapolation: standardizing samples by completeness rather than size », cf. note 23, p. 15.</footnote>

<footnote n="33">³³A. Chao et C.-W. Lin (2012). « Nonparametric Lower Bounds for Species Richness and Shared Species Richness under Sampling without Replacement ». In : *Biometrics* 68.3, p. 912-921. DOI : 10.1111/j.1541-0420.2011.01739.x.</footnote>

<footnote n="34">³⁴W.-H. Hwang et al. (2014). « Good-Turing frequency estimation in a finite population ». In : *Biometrical journal* 57.2, p. 321-339. DOI : 10.1002/bimj.201300168.</footnote>
### 2.3.3 Complétude

La complétude de l'échantillonnage est la proportion du nombre d'espèces observées : $s_{\neq 0}^n/S$. Elle compte simplement les espèces et ne doit pas être confondue avec la couverture qui somme leurs probabilités : le taux de complétude est toujours très inférieur au taux de couverture parce que les espèces non échantillonnées sont les plus rares.

La complétude du même échantillon d'arbres de forêt tropicale que dans l'exemple précédent peut être estimée en divisant le nombre d'espèces observées par le nombre d'espèces estimées (voir page 3.1) : À BCI :

```
# Species observed
(Obs <- Richness(Ns, Correction = "None"))
## None
## 225

# Estimated richness
(Est <- Richness(Ns, Correction = "Jackknife"))
## Jackknife 1
## 244

# Completeness
as.numeric(Obs/Est)
## [1] 0.9221311
```

À Paracou :

```
# Species observed
(Obs <- Richness(Paracou6, Correction = "None"))
## None
## 334

# Estimated richness
(Est <- Richness(Paracou6, Correction = "Jackknife"))
## Jackknife 2
## 471

# Completeness
as.numeric(Obs/Est)
## [1] 0.7091295
```
<figure><img src="image_16.png" /></figure>
Deuxième partie

Diversité neutre d'une communauté
<figure><img src="image_17.png" /></figure>
## CHAPITRE 3

# Mesures neutres de la diversité α ou γ

<figure><img src="image_18.png" /></figure>

<figure><img src="image_19.png" /></figure>

### L'essentiel

Les indices classiques de diversité sont ceux de Shannon et de Simpson, et la richesse spécifique. Ils peuvent être estimés à partir des données d'inventaire. L'estimation de la richesse est particulièrement difficile et fait l'objet d'une abondante littérature : les estimateurs non-paramétriques (Chao et Jackknife) sont les plus utilisés.

LES MESURES classiques<fnref n="1" /> considèrent que chaque classe d'objets est différente de toutes les autres, sans que certaines soient plus ou moins semblables. Dans ce chapitre, les classes seront des espèces. Les mesures sont qualifiées de neutres (*species-neutral*) au sens où elles ne prennent en compte aucune caractéristique propre des espèces. La diversité neutre est souvent appelée diversité taxonomique,<fnref n="2" /> même si le terme peut prêter à confusion avec la diversité phylogénétique, quand la phylogénie se réduit à une taxonomie.<fnref n="3" />

Ce type de mesure n'a de sens qu'à l'intérieur d'un taxocène bien défini : sommer un nombre d'espèces d'insectes à un nombre d'espèces de mammifères a peu d'intérêt. Ces méthodes ne sont donc pas forcément les plus adaptées à la conservation : à grande échelle, des indicateurs de biodiversité<fnref n="4" /> peuvent être plus pertinents. D'autre part, les communautés sont considérées comme limitées, avec un nombre d'espèces fini : la courbe d'accumulation des espèces atteint donc théoriquement une asymptote quand l'effort d'inventaire est suffisant. Cette approche est opposée à celle, traitée dans la partie VI, qui considère que la diversité augmente indéfiniment avec la surface,<fnref n="5" /> que ce soit par changement d'échelle (élargir l'inventaire ajoute de nouvelles communautés) ou, plus théoriquement, parce que les communautés réelles sont considérées comme un tirage aléatoire parmi une infinités d'espèces.<fnref n="6" />

<footnote n="1">¹R. K. Peet (1974). « The measurement of species diversity ». In : *Annual review of ecology and systematics* 5, p. 285-307.</footnote>

<footnote n="2">²V. Devictor et al. (2010). « Spatiotemporal mismatch and congruence between taxonomic, phylogenetic and functional diversity: the need for integrative conservation strategies in a changing world. » In : *Ecology letters* 13.8, p. 1030-40. DOI: 10.1111/j.1461-0248.2010.01493.x; J. C. Stegen et A. H. Hurlbert (2011). « Inferring ecological processes from taxonomic, phylogenetic and functional trait β-diversity. » In : *PloS one* 6.6, e20906. DOI: 10.1371/journal.pone.0020906.</footnote>

<footnote n="3">³K. R. Clarke et R. M. Warwick (2001). « A further biodiversity index applicable to species lists : variation in taxonomic distinctness ». In : *Marine Ecology-Progress Series* 216, p. 265-278. DOI: 10.3354/meps216265; C. Ricotta et G. C. Avena (2003b). « An information-theoretical measure of taxonomic diversity ». In : *Acta biotheoretica* 25.11, p. 35-41. DOI: 10.1023/A:1023000322071.</footnote>

<footnote n="4">⁴A. Balmford et al. (2003). « Measuring the changing state of nature ». In : *Trends in Ecology & Evolution* 18.7, p. 326-330. DOI: 10.1016/S0169-5347(03)00067-3.</footnote>

<footnote n="5">⁵M. Williamson et al. (2001). « The species-area relationship does not have an asymptote! » In : *Journal of Biogeography* 28.7, p. 827-830. DOI: 10.1046/j.1365-2699.2001.00603.x.</footnote>

<footnote n="6">⁶Fisher et al. (1943). « The Relation Between the Number of Species and the Number of Individuals in a Random Sample of an Animal Population », cf. note 17, p. 14.</footnote>
Les mesures présentées ici sont les plus utilisées : richesse, indices de Shannon et de Simpson, et l'indice de Hurlbert. Elles sont sujettes à des biais d'estimation,<fnref n="7" /> notamment (mais pas seulement) à cause des espèces non échantillonnées.

Au chapitre suivant, l'entropie HCDT permettra d'unifier ces mesures et les nombres de Hill, et de leur donner un sens intuitif.

## 3.1 Richesse spécifique

La richesse est tout simplement le nombre d'espèces présentes dans le taxocène considéré. C'est la mesure conceptuellement la plus simple mais pratiquement la plus délicate dans des systèmes très riches comme les forêts tropicales : même avec des efforts d'inventaire considérables,

On ne fait pas de supposition sur la forme de la SAD quand on utilise des méthodes d'estimation non paramétriques. Les estimateurs les plus connus sont ceux de Chao<fnref n="8" /> et le *jackknife*.<fnref n="9" />

Une alternative consiste à inférer à partir des données les paramètres d'une SAD choisie, et particulièrement le nombre total d'espèces. Cette approche est bien moins répandue parce qu'elle suppose le bon choix du modèle et est beaucoup plus intensive en calcul. Il n'existe pas de meilleur estimateur universel<fnref n="10" /> et il peut être efficace d'utiliser plusieurs méthodes d'estimation de façon concurrente sur les mêmes données.<fnref n="11" />

### 3.1.1 Techniques d'estimation non paramétrique

Dans le cadre d'un échantillonnage de *n* individus, on observe $s^n \neq 0$ espèces différentes parmi les *S* existantes. Chaque individu a une probabilité $p_s$ d'appartenir à l'espèce *s*.

On ne sait rien sur la loi des $p_s$. On sait seulement, comme les individus sont tirés indépendamment les uns des autres, que l'espérance du nombre $n_s$ d'individus de l'espèce *s* observé dans l'échantillon est $np_s$. La probabilité de ne pas observer l'espèce est $1 - (1 - p_s)^n$.

Pour les espèces fréquentes, $np_s$ est grand, et les espèces sont observées systématiquement. La difficulté est due aux espèces pour lesquelles $np_s$, l'espérance du nombre d'observations, est petit. La probabilité de les observer est donnée par la loi binomiale : si $np_s$ est proche de 0, la probabilité d'observer un individu est faible.

Les estimateurs non paramétriques cherchent à tirer le maximum d'information de la distribution des abondances $n_s$ pour estimer le nombre d'espèces non observées. Une présentation détaillée du problème et des limites à sa résolution est fournie par Mao et Colwell<fnref n="12" /> qui concluent notamment que les estimateurs ne peuvent fournir qu'une borne inférieure de l'intervalle des possibles valeurs du nombre réel d'espèces.

<footnote n="7">⁷D. Mouillot et A. Leprêtre (1999). « A comparison of species diversity estimators ». In : *Researches on Population Ecology* 41.2, p. 203-215. DOI : 10.1007/s101440050024.</footnote>

<footnote n="8">⁸A. Chao (1984). « Nonparametric estimation of the number of classes in a population ». In : *Scandinavian Journal of Statistics* 11.4, p. 265-270.</footnote>

<footnote n="9">⁹K. P. Burnham et W. S. Overton (1979). « Robust Estimation of Population Size When Capture Probabilities Vary Among Animals ». In : *Ecology* 60.5, p. 927-936. DOI : 10.2307/1936861.</footnote>

<footnote n="10">¹⁰R. B. O'Hara (2005). « Species richness estimators : How many species can dance on the head of a pin ? » In : *Journal of Animal Ecology* 74, p. 375-386. DOI : 10.1111/j.1365-2656.2005.00940.x.</footnote>

<footnote n="11">¹¹Y. Basset et al. (2012). « Arthropod Diversity in a Tropical Forest ». In : *Science* 338.6113, p. 1481-1484. DOI : 10.1126/science.1226727.</footnote>

<footnote n="12">¹²C. X. Mao et R. K. Colwell (2005). « Estimation of Species Richness : Mixture Models, the Role of Rare Species, and Inferential Challenges ». In : *Ecology* 86.5, p. 1143-1153. DOI : 10.1890/04-1078.</footnote>
Chao1 et Chao2

Chao<fnref n="13" /> estime le nombre d'espèces non observées à partir de celles observées 1 ou 2 fois.

Dans un échantillon de taille $n$ résultant d'un tirage indépendant des individus, la probabilité que l'espèce $s$ soit observée $\nu$ fois suit une loi binomiale. L'espérance du nombre d'espèces observées $\nu$ fois, $\mathbb{E}(s_\nu^n)$, est obtenue en écrivant la probabilité d'observer l'espèce $s$ $\nu$ fois, sommée pour toutes les espèces et multipliée par le nombre de façons de choisir les $\nu$ individus parmi les $n$ échantillonnés :

$$ \mathbb{E}(s_\nu^n) = \binom{n}{\nu} \sum_s p_s^\nu (1-p_s)^{n-\nu}. \quad (3.1) $$

Le carré de la norme du vecteur en $S$ dimensions dont les coordonnées sont $(1-p_s)^{n/2}$ est

$$ \sum_s (1-p_s)^n, $$

c'est-à-dire $\mathbb{E}(s_0^n)$, l'espérance du nombre d'espèces non observées. Celui du vecteur de coordonnées $p_s(1-p_s)^{n/2-1}$ est

$$ \sum_s p_s^2 (1 - p_s)^{n-2} = \frac{2}{n(n-1)} \mathbb{E}(s_2^n). $$

Enfin, le produit scalaire des deux vecteurs vaut

$$ \sum_s p_s (1 - p_s)^{n-1} = \frac{1}{n} \mathbb{E}(s_1^n). $$

L'inégalité de Cauchy-Schwartz (le produit scalaire est inférieur au produit des normes des vecteurs) peut être appliquée aux deux vecteurs (tous les termes sont au carré) :

$$ \left[ \sum_s (1 - p_s)^n \right] \left[ \sum_s p_s^2 (1 - p_s)^{n-2} \right] \geq \left[ \sum_s p_s (1 - p_s)^{n-1} \right]^2, \quad (3.2) $$

d'où

$$ \mathbb{E}(s_0^n) \geq \frac{n-1}{n} \frac{[\mathbb{E}(s_1^n)]^2}{2\mathbb{E}(s_2^n)}. \quad (3.3) $$

L'estimateur est obtenu en remplaçant les espérances par les valeurs observées :

$$ \hat{S}_{Chao1} = s_{\neq 0}^{n} + \frac{(n-1)(s_{1}^{n})^{2}}{2ns_{2}^{n}}, \quad (3.4) $$

où $s_{\neq 0}^n$ est le nombre d'espèces différentes observé.

Il s'agit d'un estimateur minimum : l'espérance du nombre d'espèces est supérieure ou égale au nombre estimé.

<footnote n="13">¹³Chao (1984). Cf. note 8.</footnote>
Béguinot<fnref n="14" /> a montré que l'estimateur est sans biais si le nombre d'espèces non observées décroît exponentiellement avec la taille de l'échantillon :

$$
s_0^n = Se^{-kn}, \tag{3.5}
$$

où k est un réel strictement positif. Cette relation est cohérente avec un échantillonnage poissonien dans lequel la densité des individus est constante : voir le chapitre 21.

Si aucune espèce n'est observée deux fois, l'estimateur est remplacé par

$$
\hat{S}_{Chao1} = s_{\neq 0}^{n} + \frac{(n-1)s_{1}^{n}(s_{1}^{n}-1)}{2n}. \quad (3.6)
$$

Si *n* n'est pas trop petit, les approximations suivantes sont
possibles :

$$
\hat{S}_{Chao1} = s_{\ne 0}^n + \frac{(s_1^n)^2}{2s_2^n}. \quad (3.7)
$$

Si aucune espèce n'est observée deux fois, l'estimateur est remplacé<fnref n="15" /> par

$$
\hat{S}_{Chao1} = s_{\ne 0}^{n} + s_{1}^{n} (s_{1}^{n} - 1) / 2.
$$

La variance de l'estimateur est connue, mais pas sa distribu-
tion :

$$
\mathrm{Var} \left( \hat{S}_{\mathrm{Chao1}} \right) = s_2^n \left[ \frac{1}{2} \left( \frac{s_1^n}{s_2^n} \right)^2 + \left( \frac{s_1^n}{s_2^n} \right)^3 + \frac{1}{4} \left( \frac{s_1^n}{s_2^n} \right)^4 \right]. \quad (3.8)
$$

Si aucune espèce n'est observée deux fois :

$$
\mathrm{Var} \left( \hat{S}_{\mathrm{Chao1}} \right) = \frac{s_1^n (s_1^n - 1)}{2} + \frac{s_1^n (2s_1^n - 1)^2}{4} + \frac{(s_1^n)^4}{4s_{\ne 0}^n}. \quad (3.9)
$$

Chao<fnref n="16" /> calcule une approximation de l'intervalle de confiance
à 95% :

$$
s_{\ne 0}^n + \frac{\hat{S}_{Chao1} - s_{\ne 0}^n}{c} \le S \le s_{\ne 0}^n + (\hat{S}_{Chao1} - s_{\ne 0}^n) c, \quad (3.10)
$$

où

$$
c = e^{\sqrt{\frac{t_{1-\alpha/2}^n}{\ln\left(1 + \frac{\operatorname{Var}(\hat{S}_{Chao1})}{(\hat{S}_{Chao1} - s_{\ne 0}^n)^2}\right)}}} . \quad (3.11)
$$

<footnote n="14">¹⁴J. Béguinot (2014). « An Alge-
braic Derivation of Chao's Estimator
of the Number of Species in a Com-
munity Highlights the Condition Al-
lowing Chao to Deliver Centered Es-
timates ». In : *International Scho-
larly Research Notices* 2014 ARTICLE
ID 847328. DOI : 10.1155/2014/847328.</footnote>

<footnote n="15">¹⁵A. Chao (2004). « Species richness estimation ». In : *Encyclopedia of Statistical Sciences*. Sous la dir. de N. Balakrishnan et al. 2nd ed. New York : Wiley.</footnote>

<footnote n="16">¹⁶A. Chao (1987). « Estimating
the population size for capture-
recapture data with unequal catcha-
bility ». In : *Biometrics* 43.4, p. 783-
791. DOI : 10.2307/2531532.</footnote>
Eren et al.¹⁷ (eq. 8) calculent un intervalle de confiance qui est plus petit quand la valeur maximum théorique du nombre d'espèces est connue, ce qui est rarement le cas en écologie.

Chao¹⁸ propose un estimateur du nombre d'espèces appliqué aux données de présence-absence (un certain nombre de relevés contiennent seulement l'information de présence ou absence de chaque espèce), appelé Chao2. Il est identique à Chao1 mais n est le nombre de relevés, en général trop petit pour appliquer l'approximation de Chao1.

Chiu et al.<fnref n="19" /> améliorent l'estimateur en reprenant la démarche originale de Chao mais en utilisant un estimateur plus précis du taux de couverture, (2.8) au lieu de (2.3) :

$$ \hat{S}_{iChao1} = \hat{S}_{Chao1} + \frac{s_3^n}{4s_4^n} \max \left( s_1^n - \frac{s_2^n s_3^n}{2s_4^n}; 0 \right). \quad (3.12) $$

Chao et al.<fnref n="20" /> étendent l'applicabilité de l'estimateur Chao2 à des données dans lesquelles les espèces sont notées uniquement comme singletons ou doubletons et plus, sans distinction entre doubletons et espèces plus fréquentes. Une relation entre le nombre de doubletons et les données disponibles est fourni; sa résolution numérique (le code R nécessaire est fourni avec l'article) permet d'estimer $s_2^n$ et de l'injecter dans l'estimateur Chao2.

## L'estimateur ACE

Chao et Lee<fnref n="21" /> développent l'estimateur ACE (Abundance-based coverage estimator) à travers l'estimation du taux de couverture C. L'estimateur ACE utilise toutes les valeurs de $\nu s$ correspondant aux espèces rares : concrètement, la valeur limite de $\nu$ notée $\kappa$ est fixée arbitrairement, généralement à 10.

L'estimateur prend en compte le coefficient de variation de la distribution des fréquences ($\hat{p}_s$) : plus les probabilités sont hétérogènes, plus le nombre d'espèces non observées sera grand. Finalement :

$$ \hat{S}_{ACE} = s_{>\kappa}^{n} + \frac{s_{\leq\kappa}^{n}}{\hat{C}_{rares}} + \frac{s_{1}^{n}}{\hat{C}_{rares}} \hat{\gamma}_{rares}. \quad (3.13) $$

$s_{>\kappa}^n$ est le nombre d'espèces dites abondantes, observées plus de $\kappa$ fois, $s_{\leq\kappa}^n$ le nombre d'espèces dites rares, observées $\kappa$ fois ou moins. $\hat{C}_{rares}$ est le taux de couverture ne prenant en compte que les espèces rares.

L'estimateur du coefficient de variation est

$$ \hat{\gamma}_{rares}^2 = \max \left( \frac{s_{\leq\kappa}^n \sum_{\nu=1}^{\kappa} \nu(\nu-1)s_{\nu}^n}{\hat{C}_{rares} \left( \sum_{\nu=1}^{\kappa} \nu s_{\nu}^n \right) \left( \sum_{\nu=1}^{\kappa} \nu s_{\nu}^n - 1 \right)} - 1; 0 \right). \quad (3.14) $$

<footnote n="19">¹⁹ Chiu et al. (2014). « An Improved Nonparametric Lower Bound of Species Richness via a Modified Good-Turing Frequency Formula », cf. note 21, p. 14.</footnote>

<footnote n="20">²⁰ A. Chao et al. (2017). « Seen once or more than once : applying Good-Turing theory to estimate species richness using only unique observations and a species list ». In : Methods in Ecology and Evolution 8.10, p. 1221-1232. DOI: 10.1111/2041-210X.12768.</footnote>

<footnote n="21">²¹ A. Chao et S.-M. Lee (1992). « Estimating the Number of Classes Via Sample Coverage ». In : Journal of the American Statistical Association 87.417, p. 210-217. DOI: 10.1080/01621459.1992.10475194.</footnote>
Lorsque l'hétérogénéité est très forte, un autre estimateur est plus performant :

$$ \hat{\gamma}_{rares}^2 = \max \left( \hat{\gamma}_{rares}^2 \left( 1 + \frac{(1 - \hat{C}_{rares}) \sum_{\nu=1}^{\kappa} \nu(\nu-1)s_{\nu}^n}{\hat{C}_{rares} (\sum_{\nu=1}^{\kappa} \nu s_{\nu}^n - 1)} \right); 0 \right). \quad (3.15) $$

Chao et T.-J. Shen<fnref n="22" /> conseillent d'utiliser le deuxième estimateur dès que $\hat{\gamma}_{rares}^2$ dépasse 0,8. L'estimateur ACE donne normalement une valeur plus grande que Chao1. Si ce n'est pas le cas, la limite des espèces rares $\kappa$ doit être augmentée.

## L'estimateur jackknife

La méthode jackknife a pour objectif de réduire le biais d'un estimateur en considérant des jeux de données dans lesquels on a supprimé un certain nombre d'observations (ce nombre est l'ordre de la méthode). Burnham et Overton<fnref n="23" /> ont utilisé cette technique pour obtenir des estimateurs du nombre d'espèces, appelés jackknife à l'ordre $j$, prenant en compte les valeurs de $s_1^n$ à $s_j^n$. Les estimateurs du premier et du deuxième ordre sont les plus utilisés en pratique :

$$ \hat{S}_{J1} = s_{\neq 0}^{n} + \frac{(n-1)s_{1}^{n}}{n}, \quad (3.16) $$

$$ \hat{S}_{J2} = s_{\neq 0}^{n} + \frac{(2n-3)s_{1}^{n}}{n} - \frac{(n-2)^{2}s_{2}^{n}}{n(n-1)}. \quad (3.17) $$

Augmenter l'ordre du jackknife diminue le biais mais augmente la variance de l'estimateur.

Chao<fnref n="24" /> a montré que les estimateurs jackknife pouvaient être retrouvés par approximation de l'indice Chao1.

La variance du jackknife d'ordre 1 est<fnref n="25" />

$$ \operatorname{Var}(\hat{S}_{J1}) = \frac{n-1}{n} \left( \sum_{j=1}^{n} j^2 s_j^n - \frac{(s_{\neq 0}^{n})^2}{n} \right). \quad (3.18) $$

L'estimateur est construit à partir de l'hypothèse selon laquelle le nombre d'espèces non observées est de la forme

$$ s_0^n = \sum_{i=1}^{\infty} \frac{a_i}{n^i}. $$

Pour cette raison, Cormack<fnref n="26" /> affirme qu'il n'a pas de support théorique solide. L'espérance du nombre d'espèces non observées est (équation 3.1) $\sum_s (1 - p_s)^n$, qui décroît beaucoup plus rapidement que $\sum_i a_i/n^i$: l'hypothèse est bien fausse. En revanche,

<footnote n="22">²²Chao et T.-J. Shen (2010). Program SPADE: Species Prediction And Diversity Estimation. Program and user's guide. Cf. note 30, p. 16.</footnote>

<footnote n="23">²³K. P. Burnham et W. S. Overton (1978). « Estimation of the Size of a Closed Population when Capture Probabilities vary Among Animals ». In: Biometrika 65.3, p. 625-633; Burnham et Overton (1979). « Robust Estimation of Population Size When Capture Probabilities Vary Among Animals », cf. note 9, p. 22.</footnote>

<footnote n="24">²⁴Chao (1984). « Nonparametric estimation of the number of classes in a population », cf. note 8, p. 22.</footnote>

<footnote n="25">²⁵J. F. Heltshe et N. E. Forrester (1983). « Estimating species richness using the jackknife procedure ». In: Biometrics 39.1, p. 1-11. DOI: 10.2307/2530802.</footnote>

<footnote n="26">²⁶R. M. Cormack (1989). « Log-Linear Models for Capture-Recapture ». In: Biometrics 45.2, p. 395-413. DOI: 10.2307/2531485.</footnote>
pour une gamme de *n* fixée (de la taille de l'inventaire à une taille suffisante pour approcher la richesse asymptotique par exemple), il est toujours possible d'écrire le nombre d'espèces non observées sous la forme d'une série de puissances négatives de *n*, comme dans l'illustration ci-dessous.

Une communauté log-normale, similaire à BCI (300 espèces, écart-type égal à 2) est simulée et un échantillon de 1000 individus est tiré.

```
# Ecart-type
sdlog <- 2
# Nombre d'espèces
S <- 300
# Tirage des probabilités log-normales
Ps <- as.ProbaVector(rlnorm(S, 0, sdlog))
# Taille de l'échantillon
N <- 1000
# Tirage d'un échantillon
Ns <- rCommunity(1, size = N, NorP = Ps)
```

L'échantillon est présenté en Figure 3.1²⁷.

Il est possible de vérifier que l'espérance du nombre d'espèces non observées correspond bien à la moyenne des observations.

```
# Espérance des espèces non vues
EO <- (1 - Ps)^N
(f0 <- sum(EO))

## [1] 173.4112

# Tirage de 1000 échantillons, nombre moyen d'espèces
# observées
(Sn <- mean(colSums(rmultinom(1000, N, Ps) > 0)))

## [1] 126.809

# Vérification: nombre d'espèces observées en moyenne et non
# observées
Sn + f0

## [1] 300.2202

# Nombre total d'espèces dans la communauté
(S <- length(Ps))

## [1] 300
```

Le nombre d'espèces non observées peut être écrit sous la forme d'une série de puissances négatives de *n*, comme le prévoit le jackknife, entre deux valeurs de *n* fixées.

```
# Echantillonnage de 500 à 5000 individus
n.seq <- 500:5000
# Calcul du nombre d'espèces non observées
Bias <- sapply(n.seq, function(n) sum((1 - Ps)^n))
```

Le nombre d'espèces non observées, qui est le biais de l'estimateur de la richesse, est présenté en Figure 3.2²⁸.

<figure><img src="image_20.png" /><figcaption>FIGURE 3.1 – Echantillon de 1000 individus tiré dans une communauté log-normale.</figcaption></figure>

<footnote n="27">²⁷ Code R :
```
autoplot(Ns, Distribution = "lnnorm")
```</footnote>

<footnote n="28">²⁸ Code R :</footnote>
La courbe peut être approchée par une série de puissances négatives de n dont quelques termes sont présentés sur la figure.

```
# Ordre 1
lm1 <- lm(Bias ~ 0 + I(1/n.seq))

# Ordre 2
lm2 <- lm(Bias ~ 0 + I(1/n.seq) + I(1/n.seq^2))

# Ordre 4
summary(lm4 <- lm(Bias ~ 0 + I(1/n.seq) + I(1/n.seq^2) + I(1/n.seq^3) +
I(1/n.seq^4)))

##
## Call:
## lm(formula = Bias ~ 0 + I(1/n.seq) + I(1/n.seq^2) + I(1/n.seq^3) +
##       I(1/n.seq^4))

##
## Residuals:
##       Min    1Q   Median    3Q     Max
## -9.4976 -3.5354  0.1621  4.1662 23.8272

##
## Coefficients:
##              Estimate   Std. Error   t value   Pr(>\|t\|)
## I(1/n.seq)   5.895e+05   8.635e+02    682.6 <2e-16
## I(1/n.seq^2) -8.461e+08   3.034e+06  -278.9 <2e-16
## I(1/n.seq^3)  5.488e+11   3.053e+09    179.7 <2e-16
## I(1/n.seq^4) -1.252e+14   9.156e+11  -136.7 <2e-16

## ---
## Signif. codes:
## 0 '***' 0.001 '**' 0.01 '*' 0.05 '.' 0.1 ' ' 1

##
## Residual standard error: 4.298 on 4497 degrees of freedom
## Multiple R-squared: 0.999, Adjusted R-squared: 0.999
## F-statistic: 1.092e+06 on 4 and 4497 DF, p-value: < 2.2e-16
```

L'ajustement est possible pour des valeurs de n différentes mais les coefficients $a_i$ sont alors différents : la forme du biais n'est valide que pour une gamme de valeurs de n fixée.

Béguinot<fnref n="29" /> apporte un autre argument important en faveur du jackknife. À condition que n soit suffisamment grand, l'estimateur du nombre d'espèces non observées est une fonction linéaire du nombre d'espèces observées $\nu$ fois : $s_1^n$ pour le jackknife 1, $2s_1^n - s_2^n$ pour le jackknife 2 et ainsi de suite pour les ordres suivants, contrairement à l'estimateur de Chao. Grâce à cette propriété, l'estimateur du jackknife est additif quand plusieurs groupes d'espèces disjoints sont pris en compte : l'estimation du nombre d'espèces de papillons et de scarabées inventoriées ensemble est égale à la somme des estimations des deux groupes inventoriés séparément. Ce n'est pas le cas pour l'estimateur de Chao.

L'estimateur du jackknife est très utilisé parce qu'il est efficace en pratique, notamment parce que son ordre peut être adapté aux données.

```
 ggplot(data.frame(n=n.seq, Bias=Bias, lm1=predict(lm1),
                 lm2=predict(lm2), lm4=predict(lm4)), aes(x=n)) +
  geom_line(aes(y=Biais), col="black", lty=1) +
  geom_line(aes(y=lm1), col="red", lty=2) +
  geom_line(aes(y=lm2), col="orange", lty=3) +
  geom_line(aes(y=lm4), col="blue", lty=4) +
  coordCartesian(ylim = c(0, 250))
```

<footnote n="29">²⁹J. Béguinot (2016). « Basic Theoretical Arguments Advocating Jackknife-2 as Usually being the Most Appropriate Nonparametric Estimator of Total Species Richness » . In : *Annual Research & Review in Biology* 10.1, p. 1-12. DOI : 10.9734/ARRB/2016/25104.</footnote>
<figure><img src="image_21.png" /><figcaption>FIGURE 3.2 – Nombre d'espèces non observées dans un échantillon de taille croissante et sa décomposition en séries de puissances négatives de n. Le nombre d'espèces non observées est représenté par la courbe continue noire. Les séries de puissances négatives d'ordre 1 (courbe rouge), 2 (courbe orange) et 4 (courbe bleue) sont représentées en pointillés. Les courbes d'ordre 6 et plus sont confondues avec la courbe noire.</figcaption></figure>

## L'estimateur du bootstrap

L'estimateur du bootstrap<fnref n="30" /> est

$$ \hat{S}_b = s_{\neq 0}^n + \sum_s (1 - p_s)^n. \qquad (3.19) $$

Il est peu utilisé parce que le jackknife est plus performant.<fnref n="31" />

## Calcul

Ces estimateurs peuvent être calculés de façon relativement simple à l'aide du logiciel SPADE, dans sa version pour R.<fnref n="32" /> Le guide de l'utilisateur présente quelques estimateurs supplémentaires et des directives pour choisir. Il est conseillé d'utiliser Chao1 pour une estimation minimale, et ACE pour une estimation moins biaisée de la richesse.

Les intervalles de confiance de chaque estimateur sont calculés par bootstrap : même quand la variance d'un estimateur est connue, sa loi ne l'est généralement pas, et le calcul analytique de l'intervalle de confiance n'est pas possible.

Les estimateurs et leurs intervalles de confiance peuvent également être calculés avec le package *vegan* qui dispose pour cela de deux fonctions : *specpool* et *estimateR*.

*specpool* est basé sur les incidences des espèces dans un ensemble de sites d'observation et donne une estimation unique de la richesse selon les méthodes Chao2, jackknife (ordre 1 et 2) et bootstrap. L'écart-type de l'estimateur est également fourni par la fonction, sauf pour le jackknife d'ordre 2.

*estimateR* est basé sur les abondances des espèces et retourne un estimateur de la richesse spécifique par site et non global

<footnote n="30">³⁰E. P. Smith et G. V. Belle (1984). « Nonparametric Estimation of Species Richness ». In : *Biometrics* 40.1, p. 119-129.</footnote>

<footnote n="31">³¹R. K. Colwell et J. A. Coddington (1994). « Estimating Terrestrial Biodiversity through Extrapolation ». In : *Philosophical Transactions of the Royal Society of London. Series B : Biological Sciences* 345.1311, p. 101-118.</footnote>

<footnote n="32">³²Chao et al. (2016). *SpadeR : Species Prediction and Diversity Estimation with R*, cf. note 31, p. 16.</footnote>
comme specpool.

Exemple

On utilise les données de Barro Colorado Island (BCI). La par-
celle a été divisée en carrés de 1 ha. Le tableau d'entrée est un
**dataframe** contenant, pour chaque espèce d'arbres (DBH ≥10 cm),
ses effectifs par carré.

On charge le tableau de données :

library("vegan")
data(BCI)

On utilise la fonction estimateR pour calculer la richesse des
deux premiers carrés :

estimateR(BCI[1:2,])

<table>
  <thead>
    <tr>
      <th></th>
      <th>1</th>
      <th>2</th>
    </tr>
  </thead>
  <tbody>
    <tr>
      <td>S.obs</td>
      <td>93.000000</td>
      <td>84.000000</td>
    </tr>
    <tr>
      <td>S.chao1</td>
      <td>117.473684</td>
      <td>117.214286</td>
    </tr>
    <tr>
      <td>se.chao1</td>
      <td>11.583785</td>
      <td>15.918953</td>
    </tr>
    <tr>
      <td>S.ACE</td>
      <td>122.848959</td>
      <td>117.317307</td>
    </tr>
    <tr>
      <td>se.ACE</td>
      <td>5.736054</td>
      <td>5.571998</td>
    </tr>
  </tbody>
</table>

Le package SPECIES<fnref n="33" /> permet de calculer les estimateurs jackknife d'ordre supérieur à 2 et surtout choisit l'ordre qui fournit le meilleur compromis entre biais et variance.

Comparaison des fonctions sur l'ensemble du dispositif BCI
($n_\neq 0 = 225$, $s_1 = 19$) :

specpool(BCI)

<table>
  <tr>
    <td>##</td>
    <td>Species</td>
    <td>chao</td>
    <td>chao.se</td>
    <td>jack1</td>
    <td>jack1.se</td>
    <td>jack2</td>
  </tr>
  <tr>
    <td>##</td>
    <td>All</td>
    <td>225</td>
    <td>236.3732</td>
    <td>6.54361</td>
    <td>245.58</td>
    <td>5.650522</td>
    <td>247.8722</td>
  </tr>
  <tr>
    <td>##</td>
    <td></td>
    <td>boot</td>
    <td>boot.se</td>
    <td>n</td>
    <td></td>
    <td></td>
    <td></td>
  </tr>
  <tr>
    <td>##</td>
    <td>All</td>
    <td>235.6862</td>
    <td>3.468888</td>
    <td>50</td>
    <td></td>
    <td></td>
    <td></td>
  </tr>
</table>

library("SPECIES")

# Distribution du nombre d'espèces (vecteur: noms = nombre

d'individus valeurs = nombres d'espèces ayant ce nombre

# d'individus)

Ns <- colSums(BCI)

# Mise au format requis (matrice: colonne 1 = nombre

# d'individus colonne 2 = nombres d'espèces ayant ce nombre

# d'individus) par la fonction AbdFreqCount dans entropart

jackknife(AbdFreqCount(Ns))

##

## Your specified order is larger than that determined by the test,

## Therefore the order from the test is used.

## $JackknifeOrder

## [1] 1

##

## $Nhat

## [1] 244

##

## $SE

## [1] 6.164414

##

## $CI

## lb ub

## [1,] 232 256

<footnote n="33">³³J.-P. Wang (2011). « SPECIES : An R Package for Species Richness Estimation ». In : *Journal of Statistical Software* 40.9, p. 1-15.</footnote>
Comparaison avec la valeur de l'équation (3.16) :

```R
# Nombre d'espèces par effectif observé
DistNs <- tapply(Ns, Ns, length)
# Calcul direct de Jack1
sum(DistNs) + DistNs[1] * (sum(BCI) - 1)/sum(BCI)

## 1
## 243.9991
```

La valeur du jackknife 1 fournie par `specpool` est fausse. La fonction `jackknife` de `SPECIES` donne le bon résultat, avec un intervalle de confiance calculé en supposant que la distribution est normale (±1,96 écart-type au seuil de 95%).

L'estimateur du bootstrap est calculable simplement :

```R
N <- sum(Ns)
Ps <- Ns/N
length(Ps) + sum((1 - Ps)^N)

## [1] 234.3517
```

## Choix de l'estimateur

Des tests poussés ont été menés par Brose et al.<fnref n="34" /> pour permettre le choix du meilleur estimateur de la richesse en fonction de la complétude de l'échantillonnage $s_{\neq 0}^n/S$. Les auteurs appellent cette proportion couverture (*coverage*). Le terme *completeness* a été proposé par J. Beck et Schwanghart<fnref n="35" /> pour éviter la confusion avec le taux de couverture défini par Good (vu page 14). La complétude est inférieure à la couverture : toutes les espèces ont le même poids alors que les espèces manquantes sont plus rares et pénalisent moins le taux de couverture.

<figure><img src="image_22.png" /></figure>

Dans tous les cas, les estimateurs jackknife sont les meilleurs. L'arbre de décision est en Figure 3.3. Le choix dépend principalement de la complétude (*coverage* sur la figure). Une première estimation est nécessaire par plusieurs estimateurs. Si les résultats sont cohérents, choisir un estimateur jackknife d'ordre d'au-

<caption>FIGURE 3.3 – Arbre de décision du meilleur estimateur du nombre d'espèces, in Brose et al.ª</caption>

<footnote n="34">³⁴U. Brose et al. (2003). « Estimating species richness : Sensitivity to sample coverage and insensitivity to spatial patterns ». In : *Ecology* 84.9, p. 2364-2377. DOI : 10.1890/02-0558.</footnote>

<footnote n="35">³⁵J. Beck et W. Schwanghart (2010). « Comparing measures of species diversity from incomplete inventories : an update ». In : *Methods in Ecology and Evolution* 1.1, p. 38-44. DOI : 10.1111/j.2041-210X.2009.00003.x.</footnote>

<footnote>ªU. Brose et al. (2003). « Estimating species richness : Sensitivity to sample coverage and insensitivity to spatial patterns ». In : *Ecology* 84.9, p. 2364-2377. DOI : 10.1890/02-0558.</footnote>
tant plus faible que la complétude est grande. Au-delà de 96%,
le nombre d'espèces observé est plus performant parce que les
jackknifes surestiment S. S'ils sont incohérents (intervalle des
estimations supérieur à 50% de leur moyenne), le critère majeur
est l'équitabilité (voir page 79). Si elle est faible (de l'ordre de
0,5-0,6), les estimateurs jackknife 2 à 4 sont performants, l'ordre
diminuant avec l'intensité d'échantillonnage (forte : 10%, faible :
0,5% de la communauté). Pour une forte équitabilité (0,8-0,9), on
préférera jackknife 1 ou 2.

Pour BCI, le nombre d'espèces estimé par jackknife 1 est 244.
La complétude est 225/244 = 92%, dans le domaine de validité
du jackknife 1 (74% à 96%) qui est donc le bon estimateur.

La parcelle 6 de Paracou nécessite l'estimateur jackknife 2 :

```r
library("SpatDiv")
jackknife(AbdFreqCount(as.AbdVector(Paracou6)))
##
## Your specified order is larger than that determined by the test,
## Therefore the order from the test is used.
## $JackknifeOrder
## [1] 2
##
## $Nhat
## [1] 471
##
## $SE
## [1] 24.24871
##
## $CI
##       lb ub
## [1,] 423 519

# Complétude
as.numeric(Richness(Paracou6, Correction = "None")/Richness(Paracou6,
  Correction = "Jackknife"))
## [1] 0.7091295
```

Chiu et al.,<fnref n="36" /> à partir d'autres simulations, préfèrent l'utilisation de l'estimateur *iChao1*. Quand l'échantillonnage est suffisant, les estimateurs de Chao ont l'avantage de posséder une base théorique solide et de fournir une borne inférieure du nombre d'espèces possible. Dans ce cas, les estimations du jackknife d'ordre 1 sont cohérentes avec celles de Chao. En revanche, quand l'échantillonnage est insuffisant, l'estimateur jackknife d'ordre supérieur à 1 permet de réduire le biais d'estimation, au prix d'une variance accrue.<fnref n="37" />

Enfin, Béguinot<fnref n="38" /> suggère d'utiliser en règle générale le jackknife
2 (mais ne traite pas les cas dans lesquels l'échantillonnage est
trop faible pour justifier un ordre supérieur) tant que le nombre
de singletons est supérieur à 2 − √(2) ≈ 0,6 fois le nombre de
doubletons. Le ratio des singletons sur les doubletons diminue
quand l'échantillonnage approche de l'exhaustivité. Quand le seuil
de 0,6 est dépassé, la valeur de l'estimateur de Chao devient
supérieur au jackknife 2 et doit être utilisé. Ce seuil est cohérent

<footnote n="36">³⁶Chiu et al. (2014). « An Improved Nonparametric Lower Bound of Species Richness via a Modified Good-Turing Frequency Formula », cf. note 21, p. 14.</footnote>

<footnote n="37">³⁷E. Marcon (2015). « Practical Estimation of Diversity from Abundance Data ». In : *HAL* 01212435 versions 2.</footnote>

<footnote n="38">³⁸J. Béguinot (2015a). « Extra-polation of the Species Accumulation Curve for Incomplete Species Samplings : A New Nonparametric Approach to Estimate the Degree of Sample Completeness and Decide when to Stop Sampling ». In : *Annual Research & Review in Biology* 8.5, p. 1-9. DOI : 10.9734/ARRB/2015/22351 ; Béguinot (2016). « Basic Theoretical Arguments Advocating Jackknife-2 as Usually being the Most Appropriate Nonparametric Estimator of Total Species Richness », cf. note 29, p. 28.</footnote>
avec les règles de Brose et al.<fnref n="39" />

Prédiction de la richesse d'un nouvel échantillon

La prédiction du nombre d'espèces $\hat{S}'$ découvert dans une nouvelle placette d'un habitat dans lequel on a déjà échantillonné est une question importante, par exemple pour évaluer le nombre d'espèces préservées dans le cadre d'une mise en réserve, ou évaluer le nombre d'espèces perdues en réduisant la surface d'une forêt.

T.-J. Shen et al.<fnref n="40" /> proposent un estimateur et le confrontent avec succès à des estimateurs antérieurs. On note $\hat{S}_0^n$ l'estimateur du nombre d'espèces non observées dans le premier échantillon, et $\hat{C}$ l'estimateur de son taux de couverture. L'estimateur du nombre d'espèces du nouvel échantillon de $n'$ individus est

$$ \hat{S}' = \hat{S}_0^n \left[ 1 - \left( 1 - \frac{1 - \hat{C}}{\hat{S}_0^n} \right)^{n'} \right]. \quad (3.20) $$

$\hat{S}_0^n$ est obtenu par la différence entre les nombres d'espèces estimé et observé : $\hat{S}_0^n = \hat{S} - s_{\neq 0}^n$.

Exemple de BCI, suite du code de la page 31 : combien de nouvelles espèces seront découvertes en échantillonnant plus ?

```
# Espèces non observées
(NonObs <- jackknife(AbdFreqCount(Ns))$Nhat - length(Ns))
```

##

## Your specified order is larger than that determined by the test,

## Therefore the order from the test is used.

## [1] 19

```
# Taux de couverture
(C <- Coverage(Ns))
```

## ZhangHuang

## 0.9991146

<figure><img src="image_23.png" /><figcaption>FIGURE 3.4 - Nombre de nouvelles espèces découvertes en fonction de l'effort d'échantillonnage supplémentaire (données de BCI). Seulement 7 nouvelles espèces seront observées en échantillonnant 10000 arbres supplémentaires (environ 25 ha en plus des 50 ha de la par-celle qui contiennent 225 espèces).</figcaption></figure>

<footnote n="39">³⁹Brose et al. (2003). « Estimating species richness : Sensitivity to sample coverage and insensitivity to spatial patterns », cf. note a, p. 31.</footnote>

<footnote n="40">⁴⁰T.-J. Shen et al. (2003). « Predicting the number of new species in a further taxonomic sampling ». In : *Ecology* 84.3, p. 798-804.</footnote>
Le taux de couverture de l'inventaire de BCI est très proche de 100%, donc peu de nouvelles espèces seront découvertes en augmentant l'effort d'échantillonnage. La courbe obtenue est en Figure 3.4 <fnref n="41" />.

La question de l'extrapolation de la richesse est traitée plus en détail dans les sections 4.6.8 et 21.2.

### 3.1.2 Inférence du nombre d'espèces à partir de la SAD

#### Distribution de Preston

Preston<fnref n="42" /> fournit dès l'introduction de son modèle log-normal une technique d'estimation du nombre total d'espèces par la célèbre méthode des octaves. Elle est disponible dans le package vegan :

```
veiledspec(colSums(BCI))

## Extrapolated   Observed   Veiled
## 235.40577     225.00000     10.40577
```

L'ajustement direct du modèle aux données, sans regroupe- ment par octaves,<fnref n="43" /> est également possible (Figure 3.5 <fnref n="44" />) :

```
mod.11 <- prestondistr(colSums(BCI))
veiledspec(mod.11)

## Extrapolated   Observed   Veiled
## 230.931018    225.000000    5.931018
```

#### Maximum de vraisemblance d'une distribution de Fisher

Norris et Pollock<fnref n="45" /> supposent que la distribution des espèces suit le modèle de Fisher (voir page 218) et infèrent le nombre d'espèces par maximum de vraisemblance non paramétrique (ils ne cherchent pas à inférer les paramètres de la loi de probabilité de $p_s$ mais seulement à ajuster au mieux le modèle de Poisson aux valeurs de $\hat{p}_s$ observées).

Le calcul est possible avec la librairie SPECIES de R :

```
# Distribution du nombre d'espèces (vecteur: noms = nombre
# d'individus valeurs = nombres d'espèces ayant ce nombre
# d'individus)
Ns <- colSums(BCI)
# Mise au format requis (matrice: colonne 1 = nombre
```

<figure><img src="image_24.png" /><figcaption>FIGURE 3.5 – Ajustement du modèle de Preston aux données de BCI.</figcaption></figure>

<footnote n="41">⁴¹Le code R nécessaire pour réaliser la figure est :
```
# Nouvelles espèces en fonction du nombre de nouveaux individus
Sprime <- function(Nprime) NonObs * (1 - (1 - (1 - C)/NonObs)^Nprime)
ggplot(data.frame(x = c(1, 10000)), aes(x)) +
  stat_functionfun = Sprime) +
  labs(x = "n'", y = "S'")
```</footnote>

<footnote n="44">⁴⁴Le code R nécessaire pour réaliser la figure est :
```
plot(mod.11)
```</footnote>

<footnote n="42">⁴²Preston (1948). « The Commonness, And Rarity, of Species », cf. note 11, p. 13.</footnote>

<footnote n="43">⁴³M. Williamson et K. J. Gaston (2005). « The lognormal distribution is not an appropriate null hypothesis for the species-abundance distribution ». In : *Journal of Animal Ecology* 74.2001, p. 409-422. DOI : 10.1111/j.1365-2656.2005.00936.x.</footnote>

<footnote n="45">⁴⁵J. L. Norris et K. H. Pollock (1998). « Non-parametric MLE for Poisson species abundance models allowing for heterogeneity between species ». In : *Environmental and Ecological Statistics* 5.4, p. 391-402. DOI : 10.1023/A:1009659922745.</footnote>
```R
# d'individus colonne 2 = nombres d'espèces ayant ce nombre
d'individus)
DistNs.SPECIES <- AbdFreqCount(Ns)
# Regroupement de la queue de distribution: la longueur du
# vecteur est limitée à 25 pour alléger les calculs.
DistNs.SPECIES[25, 2] <- sum(DistNs.SPECIES[25:nrow(DistNs.SPECIES),
2])
DistNs.SPECIES <- DistNs.SPECIES[1:25, ]
unpmle(DistNs.SPECIES)
```

```R
## Method: Unconditional NPMLE method
## by Norris and Pollock 1996, 1998,
## using algorithm by Wang and Lindsay 2005:
##
## MLE=                      239
## Estimated Poisson mixture components:
## p=                        1.10372 3.595437 10.60832
## pi=                       0.402579 0.2525368 0.3448842
##
## $Nhat
## [1] 239
```

Le problème de cette méthode d'estimation est qu'elle diverge fréquemment. Les calculs n'aboutissent pas si la queue de distribution n'est pas regroupée (il existe 108 valeurs différentes de $n_s$ dans l'exemple de BCI : aucune des fonctions de SPECIES ne fonctionne en l'état).

Wang et al.<fnref n="46" /> ont amélioré sa stabilité en pénalisant le calcul de la vraisemblance :

```R
pnmle(DistNs.SPECIES)

## Method: Penalized NPMLE method by Wang and Lindsay 2005.
##
## MLE=                      243
## Estimated Poisson mixture components:
## p=                        0.9033625 3.397048 10.59029
## pi=                       0.2771211 0.3208847 0.4019942
##
## $Nhat
## [1] 243
```

Enfin, Wang<fnref n="47" /> perfectionne la technique d'estimation en supposant que les $p_s$ suivent une loi gamma et en estimant aussi ses paramètres. La souplesse de la loi gamma permet d'ajuster le modèle à des lois diverses et l'estimateur de Wang est très performant.

Il est disponible dans SPECIES : fonction **pcg**. Son défaut est qu'il nécessite un très long temps de calcul (plusieurs heures selon les données).

```R
# Calcul long
pcg(DistNs.SPECIES)

## Method: Poisson-Compound Gamma method by Wang 2010.
## Alpha grid used: 1 2 3 4 5 6 7 8 9 10 .
##
## MLE=                      236
## Selected alpha model:      Inf
## Estimated Gamma components:
## p=                        1.351635 4.049317 10.85329 25.92447
## pi=                       0.1464461 0.09874953 0.1547005 0.6001039
```

<footnote n="46">⁴⁶ J.-P. Wang et al. (2005). « Gene capture prediction and overlap estimation in EST sequencing from one or multiple libraries ». In : *BMC Bioinformatics* 6.1, p. 300. DOI : 10.1186/1471-2105-6-300.</footnote>

<footnote n="47">⁴⁷ J.-P. Wang (2010). « Estimating species richness by a Poisson-compound gamma model ». In : *Bio-metrika* 97.3, p. 727-740. DOI : 10.1093/biomet/asq026.</footnote>
##
## $Nhat
## [1] 236

3.1.3 Inférence du nombre d'espèces à partir de courbes d'accumulation

Cette approche consiste à extrapoler la courbe d'accumulation
observée.

Le modèle le plus connu est celui de Michaelis-Menten<fnref n="48" /> pro-
posé par Clench.<fnref n="49" /> En fonction de l'effort d'échantillonnage *n*,
évalué en temps (il s'agit de la collecte de papillons), le nombre
d'espèces découvert augmente jusqu'à une asymptote égale au
nombre d'espèces total :

$$
S^n = S \frac{n}{K + n}. \tag{3.21}
$$

K est une constante, que Clench relie à la difficulté de collecte.

L'estimation empirique du modèle de Michaelis-Menten peut
être faite avec R<fnref n="50" />. Les 50 carrés de BCI sont utilisés pour fabriquer
une courbe d'accumulation :

data(BCI)
# Cumul du nombre d'arbres
nArbres <- cumsum(rowSums(BCI))
# Cumul de l'inventaire
Cumul <- apply(BCI, 2, cumsum)
# Nombre d'espèces cumulées
nEspecies <- apply(Cumul, 1, function(x) sum(x > 0))

Le modèle est ajusté par nlsfit. Des valeurs de départ doivent
être fournies pour K et Š. K est la valeur de n correspondant
à Šn = Š/2. Une approximation suffisante est n/4. Pour Š, le
nombre total d'espèces inventoriées est un bon choix. Le résultat
se trouve en figure 3.7.

# Ajustement du modèle
(nlsfit <- nls(nEspecies ~ S * nArbres/(K + nArbres), data = list(nArbres,
nEspecies), start = list(K = max(nArbres)/4, S = max(nEspecies))))

## Nonlinear regression model
## model: nEspecies ~ S * nArbres/(K + nArbres)
## data: list(nArbres, nEspecies)
## K S
## 1251.0 232.8
## residual sum-of-squares: 3066
##
## Number of iterations to convergence: 6
## Achieved convergence tolerance: 7.881e-06

L'estimation précédente utilise la méthode des moindres carrés,
qui suppose l'indépendance des résidus, hypothèses évidemment
violée par une courbe d'accumulation.<fnref n="51" /> L'estimation par le maximum de vraisemblance est plus convenable.<fnref n="52" /> Elle utilise la totalité des points de la courbe d'accumulation. La courbe d'accumulation de BCI a été calculée page 224. Ses données sont utilisées ici :

<footnote n="48">⁴⁸L. Michaelis et M. L. Menten (1913). « Die Kinetik der Invertinwirkung ». In : *Biochemische Zeitschrift* 49, p. 333-369.</footnote>

<footnote n="49">⁴⁹H. K. Clench (1979). « How to make regional lists of butterflies : some thoughts ». In : *Journal of the Lepidopterists' Society* 33.4, p. 216-231.</footnote>

<footnote n="50">⁵⁰ Fiche TD de J.R. Lobry :
http://pbil.univ-lyon1.fr/R/pdf/
tdr47.pdf</footnote>

<footnote n="51">⁵¹Colwell et Coddington (1994).
« Estimating Terrestrial Biodiversity
through Extrapolation », cf. note 31,
p. 29.</footnote>

<footnote n="52">⁵²J. G. W. Raaijmakers (1987).
« Statistical Analysis of the Michaelis-Menten Equation ». In : *Biometrics*
43.4, p. 793-803.</footnote>
```
SAC <- specaccum(BCI, "random")
# Calculs intermédiaires
Yi <- SAC$richness
N <- length(Yi)
Xi <- Yi/(1:N)
Xbar <- mean(Xi)
Ybar <- mean(Yi)
Syy <- sum((Yi - Ybar)^2)
Sxx <- sum((Xi - Xbar)^2)
Sxy <- sum((Xi - Xbar) * (Yi - Ybar))
# Estimations
(Khat <- (Xbar * Syy - Ybar * Sxy)/(Ybar * Sxx - Xbar * Sxy))

## [1] 1.683991

(Shat <- Ybar + Khat * Xbar)

## [1] 223.1109
```

L'estimation précédente repose sur une approximation numérique. Le paramètre K peut être estimé plus précisément par résolution numérique de l'équation exacte du maximum de vraisemblance :

```
# Equation que Khat doit annuler
f <- function(Khat) Sxy + Khat * Sxx - (Syy + 2 * Khat * Sxy +
Khat * Khat * Sxx) * sum(Xi/(Yi + Khat * Xi)/N)
# Résolution numérique, l'intervalle de recherche doit être
# fourni
Solution <- uniroot(f, c(0, 1e+07))
(Khat <- Solution$root)

## [1] 1.684009

(Shat <- Ybar + Khat * Xbar)

## [1] 223.1111
```

Le nombre d'espèces estimé est 223, inférieur au nombre d'espèces observé.

Pour calculer l'intervalle de confiance, il est plus simple de passer par une transformation linéaire du modèle<fnref n="53" /> :

$$ \left[ \frac{1}{\hat{S}^n} \right] = \frac{K}{\hat{S}} \left[ \frac{1}{n} \right] + \frac{1}{\hat{S}} \qquad (3.22) $$

Le nombre d'espèces est estimé par l'inverse de l'ordonnée à l'origine du modèle.

```
y <- 1/nEspecies
x <- 1/nArbres
lm1 <- lm(y ~ x)
(S <- 1/lm1$coef[1])

## (Intercept)
## 217.002
```

On voit assez clairement que le modèle (Figure 3.6 <fnref n="54" />) s'ajuste mal quand il est représenté sous cette forme.<fnref n="55" />

Le nombre d'espèces estimé est inférieur au nombre observé, qui ne se trouve même pas dans l'intervalle de confiance à 95%.

<footnote n="53">⁵³H. Lineweaver et D. Burk (1934). « The Determination of Enzyme Dissociation Constants ». In : *Journal of the American Chemical Society* 56.3, p. 658-666. DOI : 10.1021/ja01318a036.</footnote>

<footnote n="55">⁵⁵Raaijmakers (1987). Cf. note 52.</footnote>

<footnote n="54">⁵⁴Le code R nécessaire pour réaliser la figure est :</footnote>
<figure><img src="image_25.png" /><figcaption>FIGURE 3.6 – Ajustement du même modèle de Michaelis-Menten transformé selon Lineweaver et Burk.</figcaption></figure>

Le modèle de Michaelis-Menten ne convient pas.

Soberón M. et Llorente B.<fnref n="56" /> développent un cadre théorique plus vaste qui permet d'ajuster la courbe d'accumulation à plusieurs modèles. Ces modèles sont efficaces empiriquement mais manquent de support théorique pour justifier leur forme. Le modèle le plus simple est exponentiel négatif. Si la probabilité de trouver une nouvelle espèce est proportionnelle au nombre d'espèces non encore découvertes, la courbe d'accumulation suit la relation

$$S^n = S(1 - e^{Kn}). \qquad (3.23)$$

Les paramètres peuvent être estimés par la méthode des moindres carrés :

```
(nlsexp <- nls(nEspecies ~ S * (1 - exp(K * nArbres)), data = list(nArbres, nEspecies), start = list(S = max(nEspecies), K = -1/1000)))

## Nonlinear regression model
##   model: nEspecies ~ S * (1 - exp(K * nArbres))
##   data: list(nArbres, nEspecies)
## S          K
## 212.198082  -0.000494
## residual sum-of-squares: 10664
##
## Number of iterations to convergence: 13
## Achieved convergence tolerance: 8.042e-06
```

Ce modèle, proposé par Holdridge et al.,<fnref n="57" /> sous-estime la richesse parce que la probabilité de découvrir une nouvelle espèce diminue plus vite que le nombre d'espèces restant à découvrir : les dernières espèces sont plus rares et donc plus difficiles à détecter.

```
ggplot(data.frame(x, y), aes(x, y)) +
  geom_point() +
  stat.smooth(method = "lm", col = "red") +
  labs(x = "1/n", y = "1/S")
```

<footnote n="56">⁵⁶J. Soberón M. et J. Llorente B. (1993). « The Use of Species Accumulation Functions for the Prediction of Species Richness ». In : *Conservation Biology* 7.3, p. 480-488. DOI : 10.1046/j.1523-1739.1993.07030480.x.</footnote>

<footnote n="57">⁵⁷L. R. Holdridge et al. (1971). *Forest environments in tropical life zones*. Oxford : Pergamon Press.</footnote>
Un modèle plus réaliste définit cette probabilité comme une fonction décroissante du nombre d'espèces manquantes. La fonction la plus simple est une exponentielle négative mais elle ne s'annule jamais et le nombre d'espèces n'a pas d'asymptote. Un paramètre supplémentaire pour obtenir l'asymptote est nécessaire et aboutir à la relation

$$S^n = \frac{1}{z} \ln \left[ \frac{a}{c} - \frac{a-c}{c} e^{-czn} \right]. \qquad (3.24)$$

Les paramètres à estimer sont z, a et c.

```
(nlslog <- nls(nEspecies ~ 1/z * log(a/c - (a - c)/c * exp(-c * z * nArbres)), data = list(nArbres, nEspecies), start = list(z = 0.05, a = 1, c = 0.001)))

## Nonlinear regression model
##   model: nEspecies ~ 1/z * log(a/c - (a - c)/c * exp(-c * z * nArbres))
##   data: list(nArbres, nEspecies)
##       z         a         c
## 0.025139 0.755365 0.001114
## residual sum-of-squares: 446.1
##
## Number of iterations to convergence: 4
## Achieved convergence tolerance: 4.813e-06

# Nombre d'espèces
coefs <- coef(nlslog)
log(coefs["a"]).coefs["c"]).coefs["z"]

##       a
## 259.3128
```

<figure><img src="image_26.png" /><figcaption>FIGURE 3.7 – Ajustement des modèles de Michaelis-Menten (trait plein) et de de Soberón et Llorente (pointillés longs : modèle exponentiel négatif; pointillés courts : modèle à trois paramètres) aux données de BCI. Les cercles représentent le nombre d'espèces cumulées en fonction du nombre d'arbres. Le modèle exponentiel négatif (Holdridge) sous-estime la richesse, plus que celui de Michaelis-Menten (Clench). Le modèle à trois paramètres s'ajuste mieux aux données, mais il surestime probablement la richesse.</figcaption></figure>

L'estimation est cette fois supérieure à celle du jackknife (244 espèces).

La figure 3.7⁵⁸ présente les deux ajustements de modèle de Soberón et Llorente avec celui de Clench. L'estimation de la richesse par extrapolation est plus incertaine que par les méthodes non paramétriques. Elle est très peu utilisée.

<footnote n="58">⁵⁸Le code R nécessaire pour réaliser la figure est :</footnote>
### 3.1.4 Diversité générique

La détermination des genres est plus facile et fiable que celle des espèces, le biais d'échantillonnage moins sensible (le nombre de singletons diminue rapidement en regroupant les données), et les coûts d'inventaire sont généralement largement réduits.<fnref n="59" /> Le choix d'estimer la diversité de taxons de rang supérieur (genres ou même familles au lieu des espèces) est envisageable.<fnref n="60" />

Empiriquement, la corrélation entre la richesse générique et la richesse spécifique (des angiospermes, des oiseaux et des mammifères) est bonne en forêt tropicale,<fnref n="61" /> suffisante pour comparer les communautés, même si la prédiction de la richesse spécifique à partir de la richesse générique est très imprécise.

Cartozo et al.<fnref n="62" /> ont montré que le nombre de taxons de niveau supérieur (genre par rapport aux espèces, ordres par rapport aux sous-ordres) est universellement proportionnel au nombre de taxons du niveau immédiatement inférieur à la puissance 0,61. Cette relation est validée à l'échelle mondiale pour les systèmes végétaux. La loi de puissance reste valide pour des assemblages aléatoires, c'est donc la conséquence de propriétés mathématiques,<fnref n="63" /> mais la puissance de la relation est plus élevée (les communautés réelles sont plus agrégées du point de vue phylogénétique que sous l'hypothèse nulle d'un assemblage aléatoire) et varie entre les niveaux.

### 3.1.5 Combien y a-t-il d'espèces différentes sur Terre ?

La question de l'estimation du nombre total d'espèces génère une abondante littérature. Mora et al.<fnref n="64" /> en font une revue et proposent une méthode nouvelle.

Dans chaque règne, le nombre de taxons de niveaux supérieurs (phylums, classes, ordres, familles et même genres) est estimé par des modèles prolongeant jusqu'à leur asymptote les valeurs connues en fonction du temps. Cette méthode est applicable jusqu'au niveau du genre (Figure 3.8, A à E). Le nombre de taxon de chaque niveau est lié à celui du niveau précédent, ce qui est représenté par la Figure 3.8, G sous la forme du relation linéaire

x <- seq(from = 0, to = max(nArbres), length = 255)
NewData <- list(nArbres = x)
ggplot(data.frame(x,
  MM = predict(nlsfit, newdata = NewData),
  Holdridge = predict(nlsexp, newdata = NewData),
  Soberon = predict(nlslog, newdata = NewData)),
  aes(x)) +
  geom_point(aes(nArbres, nEspecies), data.frame(nArbres, nEspecies)) +
  geom_line(aes(y = MM)) +
  geom_line(aes(y = Holdridge), ltv = 2) +
  geom_line(aes(y = Soberon), lty = 3) +
  labs(x = "Nombre d'arbres", y = "Nombre d'espèces")

<footnote n="59">⁵⁹A. Balmford et al. (1996b). « Using higher-taxon richness as a surrogate for species richness : II. Local applications ». In : *Proceedings of the Royal Society of London, Series B : Biological Sciences* 263, p. 1571-1575.
DOI : 10.1098/rspb.1996.0230.</footnote>

<footnote n="60">⁶⁰P. H. Williams et K. J. Gaston (1994). « Measuring more of biodiversity : can higher-taxon richness predict wholesale species richness ? » In : *Biological Conservation* 67, p. 211-217.
DOI : 10.1016/0006-3207(94)90612-2.</footnote>

<footnote n="61">⁶¹A. Balmford et al. (1996a). « Using higher-taxon richness as a surrogate for species richness : I. Regional tests ». In : *Proceedings of the Royal Society of London, Series B : Biological Sciences* 263, p. 1267-1274.
DOI : 10.1098/rspb.1996.0186.</footnote>

<footnote n="62">⁶²C. C. Cartozo et al. (2008). « Quantifying the taxonomic diversity in real species communities ». In : *Journal of Physics A : Mathematical and Theoretical* 41, p. 224012.
DOI : 10.1088/1751-8113/41/22/224012.</footnote>

<footnote n="63">⁶³G. Caldarelli et al. (2002). « Scale-free networks from varying vertex intrinsic fitness. » In : *Physical Review Letters* 89.25, p. 258702.
DOI : 10.1103/PhysRevLett.89.258702.</footnote>

<footnote n="64">⁶⁴C. Mora et al. (2011). « How Many Species Are There on Earth and in the Ocean? » In : *PLoS Biology* 9.8, e1001127.
DOI : 10.1371/journal.pbio.1001127.</footnote>
<figure><img src="image_27.png" /></figure>

FIGURE 3.8 – Évolution du nombre de taxons connus en fonction du temps et valeur estimée du nombre total (ligne horizontale grise, A à E). Le nombre d'espèces connues est trop faible pour utiliser cette méthode (F). Il est obtenu par extrapolation de la relation du nombre de taxons d'un niveau à celui du niveau supérieur (G). In C. Mora et al. (2011). « How Many Species Are There on Earth and in the Ocean? » In : *PLoS Biology* 9.8, e1001127. DOI : 10.1371/journal.pbio.1001127, fig. 1, Animalia seulement.

entre le logarithme du logarithme du nombre de taxons et le rang (1 pour les phylums, 5 pour les genres). La droite est prolongée jusqu'au rang 6 pour obtenir le nombre d'espèces. Une façon alternative de décrire la méthode est de dire que le nombre de taxons du niveau *n* + 1 est égal à celui du niveau *n* à la puissance *k*. La pente de la droite de la figure est ln *k*. Aucune justification de ce résultat majeur n'est donnée par les auteurs, si ce n'est leur vérification empirique.

Le nombre total d'espèces estimé est 8,7 millions, tous règnes confondus, dans la fourchette des estimations précédentes (de 3 à 100 millions), et nécessitant près de 500 ans d'inventaires au rythme actuel des découvertes.<fnref n="65" />

En se limitant aux arbres, l'estimation se monte à 16 000 espèces pour l'Amazonie,<fnref n="66" /> de l'ordre de 5000 pour l'Afrique et entre 40000 et 53000 pour l'ensemble des tropiques<fnref n="67" /> (donc pour l'ensemble de la planète, le nombre d'espèces non-tropicales étant négligeable). Ces estimations sont obtenues par extrapolation du modèle en log-séries (capitre 20) et sont sujettes au paradoxe de Fisher : les espèces représentées par un très petit nombre d'individu dans le modèle, notamment les singletons, sont les plus nombreuses. Une discussion approfondie est donnée par Hubbell :<fnref n="68" /> les espèces récemment apparues au sens du modèle ne sont pas détectables

<footnote n="65">⁶⁵R. M. May (2011). « Why Worry about How Many Species and Their Loss? » In : *PLoS Biology* 9.8, e1001130. DOI : 10.1371/journal.pbio.1001130.</footnote>

<footnote n="66">⁶⁶H. ter Steege et al. (2013). « Hyperdominance in the Amazonian Tree Flora ». In : *Science* 342.6156, p. 1243092. DOI : 10.1126/science.1243092.</footnote>

<footnote n="67">⁶⁷J. W. F. Slik et al. (2015). « An estimate of the number of tropical tree species ». In : *Proceedings of the National Academy of Sciences of the United States of America* 112.24, p. 7472-7477. DOI : 10.1073/pnas.1423147112.</footnote>

<footnote n="68">⁶⁸S. P. Hubbell (2015). « Estimating the global number of tropical tree species, and Fisher's paradox ». In : *Proceedings of the National Academy of Sciences* 112.24, p. 7343-7344. DOI : 10.1073/pnas.1507730112.</footnote>
avant plusieurs générations, créant un décalage entre le nombre d'espèces reconnues par la taxonomie et modèle.

J. B. Wilson et al.<fnref n="69" /> compilent les relevés du nombre d'espèces de plantes vasculaires en fonction de la surface et retiennent uniquement les plus riches à chaque échelle spatiale (du millimètre carré à l'hectare). Ces relevés sont tous situés en forêt tropicale ou en prairie tempérée gérée (les perturbations régulières et modérées y favorisent la diversité, conformément à la théorie de la perturbation intermédiaire<fnref n="70" />). La relation entre le nombre d'espèces et la surface est celle d'Arrhenius. Son extrapolation à la surface terrestre donne environ 220000 espèces, comparables à l'estimation de 275000 espèces rapportée par Mora et al.

## 3.2 Indice de Simpson

### 3.2.1 Définition

On note $p_s$ la probabilité qu'un individu tiré au hasard appartienne à l'espèce $s$. L'indice de E. H. Simpson,<fnref n="71" /> ou Gini-Simpson, est

$$E = 1 - \sum_{s=1}^{S} p_s^2. \qquad (3.25)$$

Il peut être interprété comme la probabilité que deux individus tirés au hasard soient d'espèces différentes. Il est compris dans l'intervalle $[0; 1[$. Sa valeur diminue avec la régularité de la distribution : $E = 0$ si une seule espèce a une probabilité de 1, $E = 1 - 1/S$ si les $S$ espèces ont la même probabilité $p_s = 1/S$. La valeur 1 est atteinte pour un nombre infini d'espèces, de probabilités nulles.

Deux autres formes de l'indice sont utilisées. Tout d'abord, la probabilité que deux individus soient de la même espèce, souvent appelée *indice de concentration de Simpson*, qui est celui défini dans l'article original de Simpson :

$$D = \sum_{s=1}^{S} p_s^2. \qquad (3.26)$$

L'indice de Simpson est parfois considéré comme une mesure d'équitabilité<fnref n="72" /> mais il varie avec la richesse : cette approche est donc erronnée. S. H. Hurlbert<fnref n="73" /> l'a divisé par sa valeur maximale $1 - 1/S$ pour obtenir une mesure d'équitabilité valide généralisée plus tard par Mendes et al.<fnref n="74" /> (voir page 82). Le nombre d'espèces doit être estimé par les méthodes présentées plus haut, pour ne pas dépendre de la taille de l'échantillon.

L'estimateur du maximum de vraisemblance de l'indice est

$$\hat{E} = 1 - \sum_{s=1}^{s \neq 0} \hat{p}_s^2. \qquad (3.27)$$

<footnote n="69">⁶⁹J. B. Wilson et al. (2012). « Plant species richness : The world records ». In : *Journal of Vegetation Science* 23.4, p. 796-802. DOI : 10.1111/j.1654-1103.2012.01400.x.</footnote>

<footnote n="70">⁷⁰J. H. Connell (1978). « Diversity in Tropical Rain Forests and Coral Reefs ». In : *Science* 199.4335, p. 1302-1310.</footnote>

<footnote n="71">⁷¹E. H. Simpson (1949). « Measurement of diversity ». In : *Nature* 163.4148, p. 688.</footnote>

<footnote n="72">⁷²T. D. Olszewski (2004). « A unified mathematical framework for the measurement of richness and evenness within and among multiple communities ». In : *Oikos* 104.2, p. 377-387. DOI : 10.1111/j.0030-1299.2004.12519.x.</footnote>

<footnote n="73">⁷³S. H. Hurlbert (1971). « The Nonconcept of Species Diversity : A Critique and Alternative Parameters ». In : *Ecology* 52.4, p. 577-586. DOI : 10.2307/1934145.</footnote>

<footnote n="74">⁷⁴R. S. Mendes et al. (2008). « A unified index to measure ecological diversity and species rarity ». In : *Ecography* 31.4, p. 450-456. DOI : 10.1111/j.0906-7590.2008.05469.x.</footnote>
Le calcul de l'indice de Simpson peut se faire avec la fonction diversity disponible dans le package vegan de R ou avec la fonction Simpson du package entropart :

```r
data(BCI)
# as.ProbaVector() transforme les abondances en probabilités
Ps <- as.ProbaVector(colSums(BCI))
Simpson(Ps)

## None
## 0.9736755
```

Un historique de la définition de l'indice, de Gini<fnref n="75" /> à Simpson, inspiré par Turing, est fourni par Ellerman.<fnref n="76" />

### 3.2.2 Estimation

Définissons l'indicatrice $1_{sh}$ valant 1 si l'individu $h$ appartient à l'espèce $s$, 0 sinon. $1_{sh}$ suit une loi de Bernoulli d'espérance $p_s$ et de variance $p_s(1 - p_s)$. $E$ est la somme sur toutes les espèces de cette variance. Un estimateur non biaisé d'une variance à partir d'un échantillon est la somme des écarts quadratiques divisée par le nombre d'observation moins une. L'estimateur $\hat{E}$ est légèrement biaisé parce qu'il est calculé à partir des $\hat{p}_s$, ce qui revient à diviser la somme des écarts par $n$, et non $n - 1$. Un estimateur non biaisé est<fnref n="77" />

$$ \tilde{E} = \left( \frac{n}{n-1} \right) \left( 1 - \sum_{s=1}^{s \neq 0} \hat{p}_s^2 \right). \qquad (3.28) $$

La correction par $n/(n-1)$ tend rapidement vers 1 quand la taille de l'échantillon augmente : l'estimateur est très peu biaisé.

Le non-échantillonnage des espèces rares est pris en compte dans cette correction parce qu'elle considère que $\tilde{E}$ est l'estimateur de variance d'un échantillon et non d'une population complètement connue. Il est négligeable : si $p_s$ est petit, $p_s^2$ est négligeable dans la somme.

Simpson a fourni un estimateur non biaisé de $D$, à partir du calcul du nombre de paires d'individus tirés sans remise :

$$ \tilde{D} = \frac{\sum_{s=1}^{S} n_s (n_s - 1)}{n(n-1)}. \qquad (3.29) $$

L'argumentation est totalement différente, mais le résultat est le même : $\tilde{E} = 1 - \tilde{D}$.

La fonction Simpson de entropart accepte comme argument un vecteur d'abondances et propose par défaut la correction de Lande :

```r
Simpson(colSums(BCI))

## Lande
## 0.9737209
```

<footnote n="75">⁷⁵C. Gini (1912). *Variabilità e mutabilità*. Bologna : C. Cuppini.</footnote>

<footnote n="76">⁷⁶D. Ellerman (2013). « An Introduction To Logical Entropy and Its Relation To Shannon Entropy ». In : *International Journal of Semantic Computing* 7.02, p. 121-145. DOI : 10.1142/S1793351X13400059.</footnote>

<footnote n="77">⁷⁷Good (1953). « The Population Frequency of Species and the Estimation of Population Parameters », cf. note 20, p. 14 ; R. Lande (1996). « Statistics and partitioning of species diversity, and similarity among multiple communities ». In : *Oikos* 76.1, p. 5-13.</footnote>
<sup>78</sup>C. E. Shannon (1948). « A Mathematical Theory of Communication ». In : *The Bell System Technical Journal* 27, p. 379-423, 623-656; C. E. Shannon et W. Weaver (1963). *The Mathematical Theory of Communication*. University of Illinois Press.

## 3.3 Indice de Shannon

### 3.3.1 Définition

L'indice de Shannon,<sup>78</sup> aussi appelé indice de Shannon-Weaver ou Shannon-Wiener, ou simplement *entropie* est dérivé de la théorie de l'information :

$$H = - \sum_{s=1}^{S} p_s \ln p_s. \qquad (3.30)$$

Considérons une placette forestière contenant *S* espèces végétales différentes. La probabilité qu'une plante choisie au hasard appartienne à l'espèce *s* est notée *p*<sub>s</sub>. On prélève *n* plantes, et on enregistre la liste ordonnée des espèces des *n* plantes. Si *n* est suffisamment grand, le nombre de plantes de l'espèce *s* est *np*<sub>s</sub>. On note *L* le nombre de listes respectant ces conditions :

$$L = \frac{n!}{\prod_{i=1}^{S} (np_s)!} \qquad (3.31)$$

Ce résultat est obtenu en calculant le nombre de positions possibles dans la liste pour les individus de la première espèce : (n/np1). Le nombre de positions pour la deuxième espèce est (n-np1)/np2). Pour la *S*-ième espèce, le nombre est (n-np1-np2-np3-...-npS-1). Les produits de combinaisons se simplifient pour donner l'équation (3.31).

On peut maintenant écrire le logarithme de *L* :

$$\ln L = \ln n! - \sum_{s=1}^{S} \ln np_s!$$

On utilise l'approximation de Stirling,

$$\ln n! \approx n \ln n - n,$$

pour obtenir après simplifications :

$$\ln L = -n \sum_{s=1}^{S} p_s \ln p_s. \qquad (3.32)$$

$H = (\ln L)/n$ est l'indice de Shannon. Ce résultat est connu sous le nom de formule de Brillouin.<sup>79</sup> À l'origine, Shannon a utilisé un logarithme de base 2 pour que *H* soit le nombre moyen de questions binaires (réponse oui ou non) nécessaire pour identifier l'espèce d'une plante (un caractère utilisé dans une chaîne dans le contexte du travail de Shannon). Les logarithmes naturels, de base 2 ou 10 ont été utilisés par la suite.<sup>80</sup>

La formule (3.32) est celle de l'indice de Theil,<sup>81</sup> présenté en détail par Conceição et Ferreira,<sup>82</sup> à l'origine utilisé pour mesurer les inégalités de revenu puis pour caractériser les structures spatiales

<footnote n="79"><sup>79</sup>L. Brillouin (1962). *Science and information theory*. 2nd ed. Oxford : Academic Press. Chap. 351.</footnote>

<footnote n="80"><sup>80</sup>E. C. Pielou (1966b). « The measurement of diversity in different types of biological collections ». In : *Journal of Theoretical Biology* 13.C, p. 131-144.</footnote>

<footnote n="81"><sup>81</sup>H. Theil (1967). *Economics and Information Theory*. Chicago : Rand McNally & Company.</footnote>

<footnote n="82"><sup>82</sup>P. Conceição et P. Ferreira (2000). *The Young Person's Guide to the Theil Index : Suggesting In-tuitive Interpretations and Exploring Analytical Applications*. Rapp. tech. Austin, Texas, p. 54.</footnote>
en économie. L'indice est proportionnel au nombre de plantes choisies, on peut donc le diviser par n et on obtient l'indice de biodiversité de Shannon. Ces indices ont été définis en choisissant des lettres au hasard pour former des chaînes de caractères. Leur valeur est le nombre de chaînes de caractères différentes que l'on peut obtenir avec l'ensemble des lettres disponibles, c'est-à-dire la quantité d'information contenue dans l'ensemble des lettres. L'indice de Shannon donne une mesure de la biodiversité en tant que quantité d'information.

L'estimateur du maximum de vraisemblance de l'indice est

$$ \hat{H} = - \sum_{s=1}^{s \neq 0} \hat{p}_s \ln \hat{p}_s. \qquad (3.33) $$

Le calcul de l'indice de Shannon peut se faire avec la fonction diversity disponible dans le package vegan de R ou avec la fonction Shannon de entropart :

```
Ps <- as.ProbaVector(colSums(BCI))
Shannon(Ps)
```

```
##      None
## 4.270409
```

La distribution de l'estimateur est connue<fnref n="83" /> mais elle est inutile en pratique à cause du biais d'estimation.

Bulmer<fnref n="84" /> établit une relation entre l'indice de Shannon et l'indice $\alpha$ de Fisher, à condition que la distribution de l'abondance des espèces soit log-normale :

$$ \hat{H} = \Psi(\hat{\alpha} + 1) - \Psi(1). \qquad (3.34) $$

$\Psi(\cdot)$ est la fonction digamma, et $\hat{\alpha}$ est l'estimateur de l'indice de Fisher (voir page 218) :

```
digamma(fisher.alpha(colSums(BCI)) + 1) - digamma(1)
## [1] 4.148322
```

La sous-estimation est assez sévère sur cet exemple.

### 3.3.2 Estimation

Basharin<fnref n="85" /> a montré que l'estimateur de l'indice de Shannon était biaisé parce que des espèces ne sont pas échantillonnées. Si S est le nombre d'espèces réel et n le nombre d'individus échantillonnés, le biais est

$$ \mathbb{E}(\hat{H}) - H = -\frac{S-1}{2n} + O(n^{-2}). \qquad (3.35) $$

$O(n^{-2})$ est un terme négligeable. La valeur estimée à partir des données est donc trop faible, d'autant plus que le nombre d'espèces total est grand mais d'autant moins que l'échantillonnage

<footnote n="83">⁸³K. Hutcheson (1970). « A Test for Comparing Diversities Based on the Shannon Formula ». In : *Journal of Theoretical Biology* 29, p. 151-154.</footnote>

<footnote n="84">⁸⁴M. G. Bulmer (1974). « On Fitting the Poisson Lognormal Distribution to Species-Abundance Data ». In : *Biometrics* 30.1, p. 101-110.</footnote>

<footnote n="85">⁸⁵G. P. Basharin (1959). « On a Statistical Estimate for the Entropy of a Sequence of Independent Random Variables ». In : *Theory of Probability and its Applications* 4.3, p. 333-336.</footnote>
est important. Comme le nombre d'espèces $S$ n'est pas observable, le biais réel est inconnu.

L'estimateur de Miller-Madow<fnref n="86" /> utilise l'information disponible, en sous-estimant le nombre d'espèces et donc l'entropie :

$$ \tilde{H} = - \sum_{s=1}^{s_{\neq 0}^{n}} \hat{p}_s \ln \hat{p}_s + \frac{s_{\neq 0}^{n} - 1}{2n}. \quad (3.36) $$

Chao et T.-J. Shen<fnref n="87" /> établissent un estimateur moins biaisé à partir du taux de couverture de l'échantillonnage $\hat{C}$ :

$$ \tilde{H} = - \sum_{s=1}^{s_{\neq 0}^{n}} \frac{\hat{C} \hat{p}_s \ln (\hat{C} \hat{p}_s)}{1 - (1 - \hat{C} \hat{p}_s)^n}. \quad (3.37) $$

Multiplier les fréquences observées par le taux de couverture permet d'obtenir un estimateur non biaisé des probabilités conditionnellement aux espèces non observées.<fnref n="88" />

Le terme au dénominateur est la correction de Horvitz et Thompson<fnref n="89" /> : chaque terme de la somme est divisé par la probabilité d'observer au moins une fois l'espèce correspondante. Il tend vers 1 quand la taille de l'échantillon augmente.

J. Beck et Schwanghart<fnref n="90" /> montrent que la correction du biais est efficace, même à des niveaux de complétude de l'échantillonnage (voir page 31) très faibles. Vu et al.<fnref n="91" /> étudient la vitesse de convergence de l'estimateur.

Z. Zhang<fnref n="92" /> définit l'indice de Simpson généralisé :

$$ \zeta_{u,v} = \sum_{s=1}^{S} p_s^u (1 - p_s)^v, \quad (3.38) $$

où $\zeta_{u,v}$ est la somme sur toutes les espèces de la probabilité de rencontrer $u$ fois l'espèce dans un échantillon de taille $u + v$. L'indice de Shannon peut s'exprimer en fonction de $\zeta_{1,v}$ :

$$ H = \sum_{v=1}^{\infty} \frac{1}{v} \zeta_{1,v}. \quad (3.39) $$

Les premiers termes de la somme, jusqu'à $v = n - 1$ peuvent être estimés à partir des données, les suivants constituent le biais de l'estimateur, qui est calculé en pratique par

$$ H_z = \sum_{v=1}^{n-1} \frac{1}{v} \left\{ \frac{n^{v+1} [n - (v+1)]!}{n!} \sum_{s=1}^{s_{\neq 0}^{n}} p_s \prod_{j=0}^{v-1} \left(1 - \hat{p}_s - \frac{j}{n}\right) \right\}. \quad (3.40) $$

Z. Zhang<fnref n="93" /> montre que le biais de l'estimateur $H_z$ est asymptotiquement normal et calcule sa variance. Z. Zhang et Grabchak<fnref n="94" />

<footnote n="86">⁸⁶G. A. Miller (1955). « Note on the bias of information estimates ». In: *Information Theory in Psychology: Problems and Methods*. Sous la dir. de H. Quastler. Free Press, p. 95-100.</footnote>

<footnote n="87">⁸⁷A. Chao et T.-J. Shen (2003). « Nonparametric estimation of Shannon's index of diversity when there are unseen species in sample ». In: *Environmental and Ecological Statistics* 10.4, p. 429-443. DOI: 10.1023/A:1026096204727.</footnote>

<footnote n="88">⁸⁸J. Ashbridge et I. B. J. Goude (2000). « Coverage-adjusted estimators for mark-recapture in heterogeneous populations ». In: *Commutations in Statistics - Simulation and Computation* 29.4, p. 1215-1237. DOI: 10.1080/03610910008813661.</footnote>

<footnote n="89">⁸⁹D. G. Horvitz et D. J. Thompson (1952). « A generalization of sampling without replacement from a finite universe ». In: *Journal of the American Statistical Association* 47.260, p. 663-685.</footnote>

<footnote n="90">⁹⁰J. Beck et Schwanghart (2010). « Comparing measures of species diversity from incomplete inventories : an update », cf. note 35, p. 31.</footnote>

<footnote n="91">⁹¹V. Q. Vu et al. (2007). « Coverage-adjusted entropy estimation ». In: *Statistics in Medicine* 26.21, p. 4039-4060. DOI: 10.1002/sim.2942.</footnote>

<footnote n="92">⁹²Z. Zhang (2012). « Entropy Estimation in Turing's Perspective ». In: *Neural Computation* 24.5, p. 1368-1389. DOI: 10.1162/NECO_a_00266.</footnote>

<footnote n="93">⁹³Z. Zhang (2013). « Asymptotic normality of an entropy estimator with exponentially decaying bias ». In: *IEEE Transactions on Information Theory* 59.1, p. 504-508. DOI: 10.1109/TIT.2012.2217393.</footnote>

<footnote n="94">⁹⁴Z. Zhang et M. Grabchak (2013). « Bias adjustment for a non-parametric entropy estimator ». In: *Entropy* 15.6, p. 1999-2011. DOI: 10.3390/e15061999.</footnote>
améliorent l'estimateur en le complétant par un estimateur de son biais, mais les calculs deviennent excessivement complexes. Vinck et al.<fnref n="95" /> appliquent la même démarche avec un estimateur bayesien du biais, utilisant un prior aussi plat que possible pour la valeur de l'entropie (et non un prior plat sur les probabilités, qui tire l'estimateur vers l'entropie maximale). Cet estimateur nécessite de connaître le nombre d'espèces, ce qui empêche son utilisation sur des données d'écologie.

Pielou<fnref n="96" /> a développé une autre méthode de correction de biais lorsque de nombreux relevés de petite taille sont disponibles. ln L est calculé pour un relevé choisi aléatoirement puis les données du premier relevé sont ajoutées à celles d'un autre, puis un autre jusqu'à ce que $H = (\ln L)/n$ n'augmente plus : la diversité augmente dans un premier temps mais se stabilise quand l'effet des espèces ajoutées est compensé par celui de la diminution de l'équilibrité due aux espèces présentes dans tous les relevés. À partir de ce seuil, l'augmentation de ln L par individu ajouté est calculée pour chaque relevé supplémentaire. Son espérance, estimée par sa moyenne calculée en ajoutant tous les relevés disponibles, est $\tilde{H}$.

Chao et al.<fnref n="97" /> utilisent l'estimateur de la pente de la courbe de raréfaction, calculé précédemment<fnref n="98" /> pour estimer la richesse spécifique, pour fournir un estimateur extrêmement performant :

$$ \tilde{H} = - \sum_{s=1}^{s_n} \frac{n_s}{n} (\Psi(n) - \Psi(n_s)) - \frac{s_1}{n} (1-A)^{1-n} \left( -\ln(A) - \sum_{r=1}^{n-1} \frac{1}{r} (1-A)^r \right), \quad (3.41) $$

où $\Psi(\cdot)$ est la fonction digamma et $A$ vaut :

* $2s_2/[(n-1)s_1 + 2s_2]$ en présence de singletons et doubletons;

* $2/[(n-1)(s_1 - 1) + 2]$ en présence de singletons seulement;

* 1 en absence de singletons et doubletons.

Enfin, la littérature de physique statistique s'est abondamment intéressée à cette question (Bonachela et al.<fnref n="99" /> en font une revue). Le problème traité est la non-linéarité de l'indice de Shannon par rapport aux probabilités qui entraine un biais d'estimation. La fonction logarithme fournit un exemple simple : l'espérance de ln($p_s$) n'est pas le logarithme de l'espérance de $p_s$ parce que la fonction ln est concave. Chaque estimateur $\hat{p}_s$ fluctue autour de $p_s$ mais vaut $p_s$ en moyenne. À cause de la concavité, ln($\hat{p}_s$) est en moyenne inférieur à ln($p_s$) : cette relation est connue sous le nom d'inégalité de Jensen.<fnref n="100" /> L'indice de Shannon est concave (Figure 3.9¹⁰¹) donc son estimateur (3.30) est biaisé négativement,

<figure><img src="image_28.png" /><figcaption>FIGURE 3.9 - courbe de $-x \ln x$ entre 0 et 1.).</figcaption></figure>

<footnote n="95">⁹⁵M. Vinck et al. (2012). « Estimation of the entropy based on its polynomial representation ». In : *Physical Review E* 85.5. DOI: 10.1103/PhysRevE.85.051139.</footnote>

<footnote n="96">⁹⁶E. C. Pielou (1966a). « Species-diversity and pattern-diversity in the study of ecological succession ». In : *Journal of Theoretical Biology* 10.2, p. 370-383. DOI: 10.1016/0022-5193(66)90133-0.</footnote>

<footnote n="97">⁹⁷A. Chao et al. (2013). « Entropy and the species accumulation curve : a novel entropy estimator via discovery rates of new species ». In : *Methods in Ecology and Evolution* 4.11, p. 1091-1100. DOI: 10.1111/2041-210x.12108.</footnote>

<footnote n="98">⁹⁸Chao et Jost (2012). « Coverage-based rarefaction and extrapolation : standardizing samples by completeness rather than size », cf. note 23, p. 15.</footnote>

<footnote n="99">⁹⁹J. A. Bonachela et al. (2008). « Entropy estimates of small data sets ». In : *Journal of Physics A : Mathematical and Theoretical* 41.202001, p. 1-9. DOI: 10.1088/1751-8113/41/20/202001.</footnote>

<footnote n="100">¹⁰⁰J. L. W. V. Jensen (1906). « Sur les fonctions convexes et les inégalités entre les valeurs moyennes ». French. In : *Acta Mathematica* 30.1, p. 175-193. DOI: 10.1007/bf02418571.</footnote>
<figure><img src="image_29.png" /><figcaption>FIGURE 3.10 - Biais de $-\hat{p}_s \ln \hat{p}_s$ entre 0 et 1.</figcaption></figure>

même sans prendre en considération les espèces non observées.

Le biais peut être évalué par simulation : 10000 tirages sont réalisés dans une loi normale d'espérance $p_s$ choisie et d'écart-type 0.01. Le biais est la différence entre $-p_s \ln p_s$ (connu) et la moyenne des 1000 valeurs de $-\hat{p}_s \ln \hat{p}_s$ (la probabilité est estimée par sa réalisation à chaque tirage). La valeur du biais en fonction de $p_s$ est en Figure 3.10 <fnref n="102" />. Le biais de l'indice de Shannon est la somme des biais pour toutes les probabilités spécifiques de la communauté étudiée, et son calcul est toujours l'objet de recherches.

Grassberger<fnref n="103" /> a fourni la correction de référence :

$$ \tilde{H} = - \sum_{s=1}^{s \neq 0} \frac{n_s}{n} \left( \ln(n) - \Psi(n_s) - \frac{(-1)^{n_s}}{n_s + 1} \right). \quad (3.42) $$

Grassberger<fnref n="104" /> l'a perfectionnée :

$$ \tilde{H} = - \sum_{s=1}^{s \neq 0} \frac{n_s}{n} \left( \Psi(n) - \Psi(n_s) - (-1)^{n_s} \int_0^1 \frac{t^{n_s-1}}{1+t} dt \right). \quad (3.43) $$

Enfin, Schürmann<fnref n="105" /> l'a généralisée pour définir une famille de corrections dépendant d'un paramètre $\xi$ :

$$ \tilde{H} = - \sum_{s=1}^{s \neq 0} \frac{n_s}{n} \left( \Psi(n) - \Psi(n_s) - (-1)^{n_s} \int_0^{\frac{1}{\xi}-1} \frac{t^{n_s-1}}{1+t} dt \right). \quad (3.44) $$

Le biais d'estimation diminue avec $\xi$ mais l'erreur quadratique augmente. Schürmann suggère d'utiliser $\xi = e^{-1/2}$ comme meilleur compromis.

```r
ggplot(data.frame(x = c(0.0001, 1)), aes(x)) +
  stat_functionRK(fun = function(x) -x*log(x)) +
  labs(x = "p", y = "H(p)")
```

```r
Biais.p <- function (p) {
  Ps <- rnorm(10000, p, 0.01)
  p * log(p) - mean(Ps * log(Ps))
}

Biais <- function (Ps) {
  # Applique Biais.p à chaque valeur de Ps
  sapply(Ps, Biais.p)
}

ggplot(data.frame(x = c(0.05, 0.95)), aes(x)) +
  stat_functionRK(fun = Biais.p) +
  geom_hline(yintercept = 0, lty = 2) +
  labs(x = "p", y = "Biais")
```

<footnote n="103">¹⁰³P. Grassberger (1988). « Finite sample corrections to entropy and dimension estimates ». In: *Physics Letters A* 128.6-7, p. 369-373. DOI: 10.1016/0375-9601(88)90193-4.</footnote>

<footnote n="104">¹⁰⁴P. Grassberger (2003). « Entropy Estimates from Insufficient Samplings ». In: *arXiv Physics e-prints* 0307138.v2.</footnote>

<footnote n="105">¹⁰⁵T. Schürmann (2004). « Bias analysis in entropy estimation ». In: *Journal of Physics A: Mathematical and General* 37.27, p. L295-L301. DOI: 10.1088/0305-4470/37/27/L02.</footnote>

<footnote n="101">¹⁰¹Le code R nécessaire pour réaliser la figure est :</footnote>

<footnote n="102">¹⁰² Code R :</footnote>
La fonction Shannon permet toutes ces corrections. Elle accepte comme argument un vecteur d'abondances (et non de probabilités) :

Shannon(colSums(BCI), Correction = "ChaoWangJost")

### ChaoJost

## 4.276193

Shannon(colSums(BCI), Correction = "Grassberger")

## Grassberger

## 4.276599

Shannon(colSums(BCI), Correction = "Grassberger2003")

## Grassberger2003

## 4.276491

Shannon(colSums(BCI), Correction = "Schurmann")

## Schurmann

## 4.276094

Shannon(colSums(BCI), Correction = "ZhangHz")

### ZhangHz

## 4.272529

D'autres estimateurs peu utilisés en écologie sont disponibles dans le package entropy.<fnref n="106" /> La contraction de Stein<fnref n="107" /> consiste à estimer la distribution des probabilités d'occurence des espèces par la pondération optimale entre un estimateur à faible biais et un estimateur à faible variance. L'estimateur $\hat{p}_s$ est sans biais mais a une variance importante. L'estimateur $1/S$, si $S$ est connu, est de variance nulle mais est très biaisé. Comme le nombre d'espèces est en général inconnu, il doit être estimé par une méthode quelconque, mais de préférence le surestimant plutôt que le sous-estimant. L'estimateur de James-Stein (shrinkage estimator) optimal est

$$ \tilde{p}_s = \hat{\lambda} \frac{1}{\hat{S}} + (1 - \hat{\lambda}) \hat{p}_s, \quad (3.45) $$

$$ \hat{\lambda} = \frac{1 - \sum_{s=1}^{s \neq 0} (\hat{p}_s)^2}{(n-1) \sum_{s=1}^{s \neq 0} \left( \frac{1}{\hat{S}} - \hat{p}_s \right)^2}. \quad (3.46) $$

L'entropie est ensuite simplement estimée par l'estimateur plug-in : $\tilde{H} = - \sum_{s=1}^{s \neq 0} \tilde{p}_s \ln \tilde{p}_s$. Le calcul sous R est le suivant :

```r
library("entropy")
entropy.shrink(colSums(BCI))
```

### Estimating optimal shrinkage intensity lambda.freq (frequencies): 0.0021

## [1] 4.275689

## attr(, "lambda.freqs")

## [1] 0.002074043

Le principe même de l'estimation rapproche la distribution de l'équiprobabilité des espèces et donc augmente l'entropie. L'estimation précédente ignore les espèces non observées. Pour les inclure, le vecteur des abondance doit être allongé par autant de

<footnote n="106">¹⁰⁶J. Hausser et K. Strimmer (2009). « Entropy inference and the James-Stein estimator, with application to nonlinear gene association networks ». In : *Journal of Machine Learning Research* 10, p. 1469-1484.</footnote>

<footnote n="107">¹⁰⁷W. James et C. Stein (1961). « Estimation with Quadratic Loss ». In : *Proceedings of the Fourth Berkeley Symposium on Mathematical Statistics and Probability*. Sous la dir. de J. Neyman. T. I. Berkeley, California : University of California Press, p. 361-379.</footnote>
zéros que d'espèces estimées :

(S0 <- jackknife(AbdFreqCount(Ns))$Nhat - ncol(BCI))
##
## Your specified order is larger than that determined by the test,
## Therefore the order from the test is used.
## [1] 19

entropy.shrink(c(colSums(BCI), rep(0, S0)))
## Estimating optimal shrinkage intensity lambda.freq (frequencies): 0.002
## [1] 4.276543
## attr(, "lambda.freqs")
## [1] 0.002041748

Les fréquences sont estimées par la fonction freqs.shrink.
Leur utilisation dans l'estimateur plug-in donne le même résultat :

PsJS <- freqs.shrink(c(colSums(BCI), rep(0, S0)))
## Estimating optimal shrinkage intensity lambda.freq (frequencies): 0.002
Shannon(as.ProbaVector(PsJS))
## None
## 4.276543

Appliqué à des données de biodiversité aquatique, l'estimateur de James-Stein obtient de meilleurs résultats que celui de Chao et Shen<fnref n="108" /> quand l'échantillonnage est réduit.

## 3.4 Indice de Hurlbert

### 3.4.1 Définition

L'indice de S. H. Hurlbert<fnref n="109" /> est l'espérance du nombre d'espèces observées dans un échantillon de taille *k* choisie :

$$kS = \sum_{s=1}^{S} \left[ 1 - (1 - p_s)^k \right]. \qquad (3.47)$$

Chaque terme de la somme est la probabilité d'observer au moins une fois l'espèce correspondante.

L'augmentation de la valeur de *k* permet de donner plus d'importance aux espèces rares.

L'indice peut être converti en nombre équivalent d'espèces<fnref n="110" /> (c'est-à-dire le nombre d'espèces équiprobables nécessaire pour obtenir la même diversité) notés $kD$ à partir de la relation

$$kS = kD \left[ 1 - \left( 1 - \frac{1}{kD} \right)^k \right]. \qquad (3.48)$$

L'équation doit être résolue pour obtenir $kD$ à partir de la valeur de $kS$ estimée, numériquement pour $k > 3$.

<footnote n="108">¹⁰⁸D. Liu et al. (2016). « Entropy of hydrological systems under small samples : Uncertainty and variability ». In : *Journal of Hydrology* 532, p. 163-176. DOI : 10.1016/j.jhydrol.2015.11.019.</footnote>

<footnote n="109">¹⁰⁹S. H. Hurlbert (1971). « The Nonconcept of Species Diversity : A Critique and Alternative Parameters », cf. note 73, p. 42.</footnote>

<footnote n="110">¹¹⁰Dauby et O. J. Hardy (2012). « Sampled-based estimation of diversity sensu stricto by transforming Hurlbert diversities into effective number of species », cf. note 24, p. 15.</footnote>
Dans deux cas particuliers, les nombres équivalents d'espèces de Hurlbert sont identiques aux nombres de Hill : $\infty D = {}^2D$ et $\infty D = {}^0D$.

Pour les autres ordres entiers de diversité, il existe une correspondance parfaite entre les deux mesures<fnref n="111" /> : la connaissance de l'une suffit permet d'obtenir l'autre. Pour $k > 1$, on a<fnref n="112" />

$$ {}_kS = k + \sum_{q=2}^{k} \binom{k}{q} (-1)^{q+1} {}^qD^{1-q}. \quad (3.49) $$

On a vu que ${}^0D$ égale $\infty D$, donc $\infty S = {}^0D$ (équation 3.48). Inversement, pour $q > 1$ :

$$ {}^{(q}D)^{1-q} = q + \sum_{k=2}^{q} \binom{q}{k} (-1)^{k+1} {}_kS. \quad (3.50) $$

Pour $q = 1$, la relation est<fnref n="113" />

$$ {}^1H = -1 + \sum_{k=2}^{\infty} \frac{{}_kS}{k(k-1)}. \quad (3.51) $$

### 3.4.2 Estimation

Hurlbert fournit un estimateur non biaisé de son indice ($n$ est la taille de l'échantillon, $n_s$ le nombre d'individus de l'espèce $s$) :

$$ \tilde{n}_S = \sum_{s=1}^{s \le n} \left[ 1 - \binom{n-n_s}{k} / \binom{n}{k} \right]. \quad (3.52) $$

Dauby et O. J. Hardy<fnref n="114" /> montrent que cet estimateur est très peu sensible à la taille de l'échantillon, et obtient de meilleurs résultats sur ce point que les estimateurs de Chao et Shen pour l'indice de Shannon ou du nombre d'espèces. W. Smith et Grassle<fnref n="115" /> ont calculé sa variance.

Le calcul de la diversité de Hurlbert est possible dans *entropart* :

```
# Indice de Hurlbert (probabilités)
Hurlbert(as.ProbaVector(colSums(BCI)), k = 2)

## Biased
## 1.973676

# Estimateur sans biais (abondances)
Hurlbert(colSums(BCI), k = 2)

## Unbiased
## 1.973721

# Nombre effectif d'espèces
HurlbertD(colSums(BCI), k = 2)

## Unbiased
## 38.05308
```

<footnote n="111">¹¹¹A. Chao et al. (2014b). « Ra-refaction and extrapolation with Hill numbers : A framework for sampling and estimation in species diversity studies ». In : *Ecological Monographs* 84.1, p. 45-67. DOI : 10.1890/13-0133.1, Annexe S2.</footnote>

<footnote n="112">¹¹²T. Leinster et C. Cobbold (2012). « Measuring diversity : the importance of species similarity ». In : *Ecology* 93.3, p. 477-489. DOI : 10.1890/10-2402.1.</footnote>

<footnote n="113">¹¹³C. X. Mao (2007). « Estimating Species Accumulation Curves and Diversity Indices ». In : *Statistica Sinica* 17, p. 761-774.</footnote>

<footnote n="114">¹¹⁴Dauby et O. J. Hardy (2012). « Sampled-based estimation of diversity sensu stricto by transforming Hurlbert diversities into effective number of species », cf. note 24, p. 15.</footnote>

<footnote n="115">¹¹⁵W. Smith et J. F. Grassle (1977). « Sampling properties of a family of diversity measures ». In : *Bio-metrics* 33.2, p. 283-292.</footnote>
<figure><img src="image_30.png" /></figure>
# CHAPITRE 4

## Entropie

<figure><img src="image_31.png" /></figure>

### L'essentiel

L'entropie est la surprise moyenne apportée par l'observation des individus d'une communauté, d'autant plus grande qu'un individu appartient à une espèce plus rare. L'entropie HCDT permet d'unifier les indices classiques de diversité : son pa-ramètre, appelé ordre, fixe l'importance donnée aux espèces rares. L'entropie d'ordre 0 est la richesse ; celle d'ordre 1, l'indice de Shannon ; celle d'ordre 2, celui de Simpson.

L'entropie va de pair avec la diversité au sens strict (Nombres de Hill) : le nombre d'espèces équiprobables dont l'entropie est la même que celle de la communauté réelle. Les profils de diversité représentent la diversité en fonction de son ordre et permettent la comparaison de communautés.

L'estimation de la diversité est difficile pour des ordres infé-rieurs à 0,5 dans des taxocènes très divers comme les arbres des forêts tropicales.

L'ENTROPIE peut être entendue comme la surprise moyenne fournie par l'observation d'un échantillon. C'est intuitivement une bonne mesure de diversité.<fnref n="1" /> Ses propriétés mathématiques permettent d'unifier les mesures de diversité dans un cadre général.

### 4.1 Définition de l'entropie

Les textes fondateurs sont Davis<fnref n="2" /> et surtout Theil<fnref n="3" /> en économétrie, et Shannon<fnref n="4" /> pour la mesure de la diversité. Une revue est fournie par Maasoumi.<fnref n="5" />

Considérons une expérience dont les résultats possibles sont $\{r_1, r_2, ..., r_S\}$. La probabilité d'obtenir $r_s$ est $p_s$, et $p = (p_1, p_2, ..., p_S)$ est le vecteur composé des probabilités d'ob-tenir chaque résultat. Les probabilités sont connues a priori. Tout ce qui suit est vrai aussi pour des valeurs de $r$ continues, dont on connaît la densité de probabilité.

<footnote n="1">¹E. C. Pielou (1975). *Ecological Diversity*. New York : Wiley.</footnote>

<footnote n="2">²H. T. Davis (1941). *The theory of econometrics*. Bloomington, Indiana : The Principia Press.</footnote>

<footnote n="3">³Theil (1967). *Economics and Information Theory*, cf. note 81, p. 44.</footnote>

<footnote n="4">⁴Shannon (1948). « A Mathematical Theory of Communication », cf. note 78, p. 44; Shannon et Weaver (1963). *The Mathematical Theory of Communication*, cf. note 78, p. 44.</footnote>

<footnote n="5">⁵E. Maasoumi (1993). « A compendium to information theory in economics and econometrics ». In : *Econometric Reviews* 12.2, p. 137-181.
DOI : 10.1080/07474939308800260.</footnote>
On considère maintenant un échantillon de valeurs de $r$. La présence de $r_s$ dans l'échantillon est peu étonnante si $p_s$ est grande : elle apporte peu d'information supplémentaire par rapport à la simple connaissance des probabilités. En revanche, si $p_s$ est petite, la présence de $r_s$ est surprenante. On définit donc une fonction d'information, $I(p_s)$, décroissante quand la probabilité augmente, de $I(0) = +\infty$ (ou éventuellement une valeur strictement positive finie) à $I(1) = 0$. Chaque valeur observée dans l'échantillon apporte une certaine quantité d'information, dont la somme est l'information de l'échantillon. Patil et Taillie<fnref n="6" /> appellent l'information « rareté ».

La quantité d'information attendue de l'expérience est $\sum_{s=1}^{S} p_s I(p_s) = H(\mathbf{p})$. Si on choisit $I(p_s) = -\ln(p_s)$, $H(\mathbf{p})$ est l'indice de Shannon, mais bien d'autres formes de $I(p_s)$ sont possibles. $H(\mathbf{p})$ est appelée *entropie*. C'est une mesure de l'incertitude (de la volatilité) du résultat de l'expérience. Si le résultat est certain (une seule valeur $p_S$ vaut 1), l'entropie est nulle. L'entropie est maximale quand les résultats sont équiprobables.

Si $\mathbf{p}$ est la distribution des probabilité des espèces dans une communauté, Patil et Taillie<fnref n="7" /> montrent que :

* Si $I(p_s) = \frac{1-p_s}{p_s}$, alors $H(\mathbf{p})$ est le nombre d'espèces $S$ moins 1;

* Si $I(p_s) = -\ln(p_s)$, alors $H(\mathbf{p})$ est l'indice de Shannon;

* Si $I(p_s) = 1 - p_s$, alors $H(\mathbf{p})$ est l'indice de Simpson.

FIGURE 4.1 – Fonctions d'information utilisées dans le nombre d'espèces (trait plein), l'indice de Shannon (pointillés longs) et l'indice de Simpson (pointillés). L'information apportée par l'observation d'espèces rares décroît du nombre d'espèces à l'indice de Simpson.

<figure><img src="image_32.png" /></figure>

Ces trois fonctions d'information sont représentées en Figure 4.1 <fnref n="8" />.

La contribution de chaque espèce à la valeur totale de l'entropie

<footnote n="6">⁶G. P. Patil et C. Taillie (1982). « Diversity as a concept and its measurement ». In : *Journal of the American Statistical Association* 77.379, p. 548-561. DOI : 10.2307/2287709.</footnote>

<footnote n="7">⁷Ibid.</footnote>

<footnote n="8">⁸ Le code R nécessaire pour réaliser la figure est :</footnote>
<figure><img src="image_33.png" /><figcaption>FIGURE 4.2 – Valeur de $p_s I(p_s)$ dans le nombre d'espèces (trait plein), l'indice de Shannon (pointillés longs) et l'indice de Simpson (pointillés). Les espèces rares contribuent peu, sauf pour le nombre d'espèces</figcaption></figure>

est représentée Figure 4.2 <fnref n="9" />.

## 4.2 Entropie relative

Considérons maintenant les probabilités $q_s$ formant l'ensemble **q** obtenues par la réalisation de l'expérience. Elles sont différentes des probabilités $p_s$, par exemple parce que l'expérience ne s'est pas déroulée exactement comme prévu. On définit le gain d'information $I(q_s, p_s)$ comme la quantité d'information supplémentaire fournie par l'observation d'un résultat de l'expérience, connaissant les probabilités a priori. La quantité totale d'information fournie par l'expérience, $\sum_{s=1}^{S} q_s I(q_s, p_s) = H(q, p)$, est souvent appelée entropie relative. Elle peut être vue comme une distance entre la distribution a priori et la distribution a posteriori. Il est possible que les distributions **p** et **q** soit identiques, que le gain d'information soit donc nul, mais les estimateurs empiriques n'étant pas exactement égaux entre eux, des tests de significativité de la valeur de $\hat{H}(q, p)$ seront nécessaires.

Quelques formes possibles de $H(q, p)$ sont :

```
IO <- function(p) (1 - p)/p
I1 <- function(p) -log(p)
I2 <- function(p) 1 - p
ggplot(data.frame(x = c(0, 1)), aes(x)) + stat_function(fun = IO) +
  stat_function(fun = I1, lty = 2) + stat_function(fun = I2,
  lty = 3) + coordCartesian(ylim = c(0, 10)) + labs(x = "p",
  y = "I(p)")
```

```
H0 <- function(p) 1 - p
H1 <- function(p) -p * log(p)
H2 <- function(p) p * (1 - p)
ggplot(data.frame(x = c(0.001, 1)), aes(x)) + stat_function(fun = H0) +
  stat_function(fun = H1, lty = 2) + stat_function(fun = H2,
  lty = 3) + labs(x = "p", y = "H(p)")
```

<footnote n="9">⁹ Code R :</footnote>
¹⁰S. Kullback et R. A. Leibler (1951). « On Information and Sufficiency ». In : *The Annals of Mathematical Statistics* 22.1, p. 79-86.

¹¹Theil (1967). *Economics and Information Theory*, cf. note 81, p. 44.

¹²Conceição et Ferreira (2000). *The Young Person's Guide to the Theil Index: Suggesting Intuitive Interpretations and Exploring Analytical Applications*, cf. note 82, p. 44.

FIGURE 4.3 – Valeur de $q \ln(q/p)$ en fonction de $p$ et $q$. La divergence de Kullback-Leibler est la somme de cette valeur pour toutes les espèces

* La divergence de Kullback-Leibler¹⁰ connue par les économistes comme l'indice de dissimilarité de Theil¹¹ :

$$T = \sum_{s=1}^{S} q_s \ln \frac{q_s}{p_s}; \qquad (4.1)$$

* Sa proche parente, appelée parfois deuxième mesure de Theil,¹² qui inverse simplement les rôles de $p$ et $q$ :

$$L = \sum_{s=1}^{S} p_s \ln \frac{p_s}{q_s}. \qquad (4.2)$$

<figure><img src="image_34.png" /></figure>

L'entropie relative est essentielle pour la définition de la diversité $\beta$ présentée dans le chapitre 12.2. En se limitant à la diversité $\alpha$, on peut remarquer que l'indice de Shannon est la divergence de Kullback-Leibler entre la distribution observée et l'équiprobabilité des espèces.¹³ Les valeurs de chaque terme de la divergence sont représentées Figure 4.3 <fnref n="14" />.

¹³E. Marcon et al. (2012). « The Decomposition of Shannon's Entropy and a Confidence Interval for Beta Diversity ». In : *Oikos* 121.4, p. 516-522. DOI: 10.1111/j.1600-0706.2011.19267.x.

¹⁵R. H. MacArthur (1955). « Fluctuations of Animal Populations and a Measure of Community Stability ». In : *Ecology* 36.3, p. 533-536. DOI: doi: 10.2307/1929601.

¹⁶R. E. Ulanowicz (2001). « Information theory in ecology ». In : *Computers & Chemistry* 25.4, p. 393-399. DOI: 10.1016/S0097-8485(01)00073-0.

## 4.3 L'appropriation de l'entropie par la biodiversité

MacArthur¹⁵ est le premier à avoir introduit la théorie de l'information en écologie.¹⁶ MacArthur s'intéressait aux réseaux trophiques

<footnote n="14">¹⁴ Le code R nécessaire pour réaliser la figure est :

```
p <- q <- seq(0.01, 1, 0.01)
KB <- function(p, q) p * log(p/q)
xyz <- t(outer(p, q, FUN = "KB"))
library("sp")
image(xyz, col = bpycolors(n = 100, cutoff.tails = 0.3, alpha = 0.6),
       xlab = "q", ylab = "p", asp = 1)
contour(xyz, levels = c(seq(-0.3, 0, 0.1), c(0.2, 0.5), seq(1,
4, 1))), labcex = 1, add = T)
```</footnote>
et cherchait à mesurer leur stabilité : l'indice de Shannon qui comptabilise le nombre de relations possibles lui paraissait une bonne façon de l'évaluer. Mais l'efficacité implique la spécialisation, ignorée dans *H* qui est une mesure neutre (toutes les espèces y jouent le même rôle). MacArthur a abandonné cette voie.

Les premiers travaux consistant à généraliser l'indice de Shannon sont dus à Rényi.<fnref n="17" /> L'entropie d'ordre *q* de Rényi est

$$qR = \frac{1}{1 - q \ln \sum_{s=1}^{S} p_s^q} \qquad (4.3)$$

Rényi pose également les axiomes pour une mesure d'entropie $R(p)$, où $p = (p_1, p_2, \dots, p_S)$ :

* La symétrie : les espèces doivent être interchangeables, au-cune n'a de rôle particulier et leur ordre est indifférent;

* La mesure doit être continue par rapport aux probabilités;

* La valeur maximale est atteinte si toutes les probabilités sont égales.

Il montre que $qR$ respecte les 3 axiomes.

Patil et Taillie<fnref n="18" /> ont montré de plus que :

* L'introduction d'une espèce dans une communauté augmente sa diversité (conséquence de la décroissance de $g(p_s)$);

* Le remplacement d'un individu d'une espèce fréquente par un individu d'une espèce plus rare augmente l'entropie à condition que $R(p)$ soit concave. Dans la littérature économique sur les inégalités, cette propriété est connue sous le nom de Pigou-Dalton.<fnref n="19" />

Hill<fnref n="20" /> transforme l'entropie de Rényi en nombres de Hill, qui en sont simplement l'exponentielle :

$$qD = \left( \sum_{s=1}^{S} p_s^q \right)^{\frac{1}{1-q}} \qquad (4.4)$$

Le souci de Hill était de rendre les indices de diversité intelligibles après l'article remarqué de S. H. Hurlbert<fnref n="21" /> intitulé « le non-concept de diversité spécifique ». Hurlbert reprochait à la littérature sur la diversité sa trop grande abstraction et son éloignement des réalités biologiques, notamment en fournissant des exemples dans lesquels l'ordre des communautés n'est pas le même selon l'indice de diversité choisi. Les nombres de Hill sont le nombre d'espèces équiprobables donnant la même valeur de diversité que la distribution observée. Ils sont des transformations simples des indices classiques :

* $^0D$ est le nombre d'espèces;

* $^1D = e^H$, l'exponentielle de l'indice de Shannon;

* $^2D = 1/(1-E)$, l'inverse de l'indice de concentration de Simpson, connu sous le nom d'indice de Stoddart.<fnref n="22" />

<footnote n="17">¹⁷A. Rényi (1961). « On Measures of Entropy and Information ». In : *4th Berkeley Symposium on Mathematical Statistics and Probability*. Sous la dir. de J. Neyman. T. 1. Berkeley, USA : University of California Press, p. 547-561.</footnote>

<footnote n="18">¹⁸Patil et Taillie (1982). « Diversity as a concept and its measurement », cf. note 6, p. 54.</footnote>

<footnote n="19">¹⁹H. Dalton (1920). « The measurement of the inequality of incomes ». In : *The Economic Journal* 30.119, p. 348-361.</footnote>

<footnote n="20">²⁰M. O. Hill (1973). « Diversity and Evenness : A Unifying Notation and Its Consequences ». In : *Ecol-ogy* 54.2, p. 427-432. DOI : 10.2307/1934352.</footnote>

<footnote n="21">²¹S. H. Hurlbert (1971). « The Nonconcept of Species Diversity : A Critique and Alternative Parameters », cf. note 73, p. 42.</footnote>

<footnote n="22">²²J. A. Stoddart (1983). « A genotypic diversity measure ». In : *Journal of Heredity* 74, p. 489-490.</footnote>
Ces résultats avaient déjà été obtenus avec une autre approche par MacArthur²³ et repris par Adelman<fnref n="24" /> dans la littérature économique.

Les nombres de Hill sont des « nombres effectifs » ou « nombres équivalents ». Le concept a été défini rigoureusement par Gregorius,<fnref n="25" /> d'après S. Wright<fnref n="26" /> (qui avait le premier défini la taille effective d'une population) : étant donné une variable caractéristique (ici, l'entropie) fonction seulement d'une variable numérique (ici, le nombre d'espèces) dans un cas idéal (ici, l'équiprobabilité des espèces), le nombre effectif est la valeur de la variable numérique pour laquelle la variable caractéristique est celle du jeu de données.

Gregorius<fnref n="27" /> montre que de nombreux autres indices de diversité sont acceptables dans le sens où ils vérifient les axiomes précédents et, de plus, que la diversité d'un assemblage de communautés est obligatoirement supérieure à la diversité moyenne de ces communautés (l'égalité n'étant possible que si les communautés sont toutes identiques). Cette dernière propriété sera traitée en détail dans la partie IV. Ces indices doivent vérifier deux propriétés : leur fonction d'information doit être décroissante, et ils doivent être une fonction strictement concave de $p_s$. Parmi les possibilités, $I(p_s) = \cos(p_s\pi/2)$ est envisageable par exemple : le choix de la fonction d'information est virtuellement illimité, mais seules quelques unes seront interprétables clairement.

Un nombre équivalent d'espèces existe pour tous ces indices, il est toujours égal à l'inverse de l'image de l'indice par la réciproque de la fonction d'information :

$$D = \frac{1}{I^{-1} \left( \sum_{s=1}^{S} p_s I(p_s) \right)} \quad (4.5)$$

D'autres entropies ont été utlisées, avec plus ou moins de succès. Par exemple, Ricotta et Avena<fnref n="28" /> proposent d'utiliser la fonction d'information $I(p_s) = -\ln(k_s)$ où $k_s$ est la dissimilarité totale de l'espèce s avec les autres (par exemple, la somme des distances aux autres espèces dans un arbre phylogénétique, voir page 93), normalisée pour que $\sum_s k_s = 1$. Ainsi, les espèces les plus originales apportent peu d'information, ce qui n'est pas très intuitif. Les auteurs montrent que leur mesure est la somme de l'entropie de Shannon et de la divergence de Kullback-Leibler entre les probabilités et les dissimilarités des espèces. Ricotta et Szeidl<fnref n="29" /> ont défini plus tard une entropie augmentant avec l'originalité de chaque espèce, présentée au chapitre 9).

## 4.4 Entropie HCDT

Tsallis<fnref n="30" /> propose une classe de mesures appelée entropie généra- lisée, définie par Havrda et Charvát<fnref n="31" /> pour la première fois et

<footnote n="22">²²R. H. MacArthur (1965). « Patterns of species diversity ». In : *Bio-logical Reviews* 40.4, p. 510-533. DOI : 10.1111/j.1469-185X.1965.tb00815.x.</footnote>

<footnote n="24">²⁴M. A. Adelman (1969). « Comment on the "H" Concentration Measure as a Numbers-Equivalent ». In : *The Review of Economics and Statistics* 51.1, p. 99-101.</footnote>

<footnote n="25">²⁵H.-R. Gregorius (1991). « On the concept of effective number ». In : *Theoretical population biology* 40.2, p. 269-83.</footnote>

<footnote n="26">²⁶S. Wright (1931). « Evolution in Mendelian Populations ». In : *Genetics* 16.2, p. 97-159.</footnote>

<footnote n="27">²⁷H.-R. Gregorius (2014). « Partitioning of diversity : the "within communities" component ». In : *Web Ecology* 14, p. 51-60. DOI : 10.5194/we-14-51-2014.</footnote>

<footnote n="28">²⁸Ricotta et Avena (2003). « An information-theoretical measure of taxonomic diversity », cf. note 3, p. 21.</footnote>

<footnote n="29">²⁹C. Ricotta et L. Szeidl (2006). « Towards a unifying approach to diversity measures : Bridging the gap between the Shannon entropy and Rao's quadratic index ». In : *Theoretical Population Biology* 70.3, p. 237-243. DOI : 10.1016/j.tpb.2006.06.003.</footnote>

<footnote n="30">³⁰C. Tsallis (1988). « Possible generalization of Boltzmann-Gibbs statistics ». In : *Journal of Statistical Physics* 52.1, p. 479-487. DOI : 10.1007/BF01016429.</footnote>

<footnote n="31">³¹J. Havrda et F. Charvát (1967). « Quantification method of classification processes. Concept of structural alpha-entropy ». In : *Kybernetika* 3.1, p. 30-35.</footnote>
redécouverte plusieurs fois, notamment par Daróczy,³² d'où son nom *entropie HCDT* (voir Mendes et al.,³³ page 451, pour un historique complet) :

$$ qH = \frac{1}{q-1} \left( 1 - \sum_{s=1}^{S} p_s^q \right). \qquad (4.6) $$

Tsallis a montré que les indices de Simpson et de Shannon étaient des cas particuliers d'entropie généralisée, retrouvant, sans faire le rapprochement,³⁴ la définition d'un indice de diversité de Patil et Taillie.³⁵

Ces résultats ont été complétés par d'autres et repris en écologie par Keylock³⁶ et Jost.³⁷ Là encore :

* Le nombre d'espèces moins 1 est $^0H$;

* L'indice de Shannon est $^1H$;

* L'indice de Gini-Simpson est $^2H$.

L'entropie HCDT est particulièrement attractive parce que sa relation avec la diversité au sens strict est simple, après introduction du formalisme adapté (les logarithmes déformés). Son biais d'estimation peut être corrigé globalement, et non seulement pour les cas particuliers (nombre d'espèces, Shannon, Simpson). Enfin, sa décomposition sera présentée en détail dans le chapitre 12.

### 4.4.1 Logarithmes déformés

L'écriture de l'entropie HCDT est largement simplifiée en introduisant le formalisme des logarithmes déformés.³⁸ Le logarithme d'ordre $q$ est défini par

$$ \ln_q x = \frac{x^{1-q} - 1}{1 - q}, \qquad (4.7) $$

dont la forme est identique à la transformation de Box et Cox³⁹ utilisée en statistiques pour normaliser une variable.

Le logarithme déformé converge vers le logarithme naturel quand $q \to 1$ (Figure 4.4 $^{40}$).

Sa fonction inverse est l'exponentielle d'ordre $q$ :

$$ e_q^x = [1 + (1 - q) x]^{\frac{1}{1-q}}. \qquad (4.8) $$

```r
ln0 <- function(p) lnq(p, 0)
ln2 <- function(p) lnq(p, 2)
lnm1 <- function(p) lnq(p, -1)
ggplot(data.frame(x = c(0, 1)), aes(x)) +
  stat_function(fun = log) +
  stat_function(fun = ln0, lty = 2, col = "red") +
  stat_function(fun = ln2, lty = 3, col = "blue") +
  stat_function(fun = lnm1, lty = 4, col = "green") +
  coordCartesian(ylim = c(-4, 0)) +
  labs(x = "p", y = expression(ln[q](p)))
```

<footnote>$^{40}$Le code R nécessaire pour réaliser la figure est :</footnote>

<footnote>$^{32}$Z. Daróczy (1970). « Generalized information functions ». In : *Information and Control* 16.1, p. 36-51.
DOI: 10.1016/s0019-9958(70)80040-7.</footnote>

<footnote>$^{33}$Mendes et al. (2008). « A unified index to measure ecological diversity and species rarity », cf. note 74, p. 42.</footnote>

<footnote>$^{34}$C. Ricotta (2005c). « On parametric diversity indices in ecology : A historical note ». In : *Community Ecology* 6.2, p. 241-244. DOI: 10.1556/ComEc.6.2005.2.12.</footnote>

<footnote>$^{35}$Patil et Taillie (1982). « Diversity as a concept and its measurement », cf. note 6, p. 54.</footnote>

<footnote>$^{36}$C. J. Keylock (2005). « Simpson diversity and the Shannon-Wiener index as special cases of a generalized entropy ». In : *Oikos* 109.1, p. 203-207.</footnote>

<footnote>$^{37}$L. Jost (2006). « Entropy and diversity ». In : *Oikos* 113.2, p. 363-375. DOI: 10.1111/j.2006.0030-1299.14714.x; L. Jost (2007). « Partitioning diversity into independent alpha and beta components ». In : *Ecology* 88.10, p. 2427-2439. DOI: 10.1890/06-1736.1.</footnote>

<footnote>$^{38}$C. Tsallis (1994). « What are the numbers that experiments provide? » In : *Química Nova* 17.6, p. 468-471.</footnote>

<footnote>$^{39}$G. E. P. Box et D. R. Cox (1964). « An analysis of transformations ». In : *Journal of the Royal Statistical Society : Series B (Statistical Methodology)* 26.2, p. 211-252.</footnote>
FIGURE 4.4 – Valeur du logarithme d'ordre $q$ de probabilités entre 0 et 1 pour différentes valeurs de $q : q = 0$ (pointillés longs rouges), la courbe est une droite ; $q = 1$ (trait plein) : logarithme naturel ; $q = 2$ (pointillés courts bleus) : la courbe a la même forme que le logarithme naturel pour les valeurs positives de $q$ ; $q = -1$ (pointillés alternés verts) : la courbe est convexe pour les valeurs négatives de $q$.

<figure><img src="image_35.png" /></figure>

Enfin, le logarithme déformé est subadditif :

$$ \ln_q(xy) = \ln_q x + \ln_q y - (q-1)(\ln_q x)(\ln_q y). \quad (4.9) $$

Ses propriétés sont les suivantes :

$$ \ln_q \frac{1}{x} = -x^{q-1} \ln_q x; \quad (4.10) $$

$$ \ln_q(xy) = \ln_q x + x^{1-q} \ln_q y; \quad (4.11) $$

$$ \ln_q \left( \frac{x}{y} \right) = \ln_q x - \left( \frac{x}{y} \right)^{1-q} \ln_q y; \quad (4.12) $$

et

$$ e_q^{x+y} = e_q^x e_q^{\frac{y}{1+(1-q)x}}. \quad (4.13) $$

Si $q > 1$, $\lim_{x \to +\infty} (\ln_q x) = 1/(q-1)$, donc $e_q^x$ n'est pas défini pour $x > 1/(q-1)$.

La dérivée du logarithme déformé est, quel que soit $q$,

$$ \ln'_q(x) = x^{-q}. \quad (4.14) $$

Les dérivées première et seconde de l'exponentielle déformée sont, quel que soit $q$ :

$$ \exp'_q(x) = (e_q^x)^q; \quad (4.15) $$

$$ \exp''_q(x) = (e_q^x)^{2q-1}. \quad (4.16) $$

Ces fonctions sont implémentées dans le package *entropart* : $\ln q(x, q)$ et $\exp q(x, q)$.
L'entropie d'ordre q s'écrit

$$ qH = \frac{1}{q-1} \left(1 - \sum_{s=1}^{S} p_s^q\right) = -\sum_{s} p_s^q \ln_q p_s = \sum_{s} p_s \ln_q \frac{1}{p_s}. \qquad (4.17) $$

Ces trois formes sont équivalentes mais les deux dernières s'interprètent comme une généralisation de l'entropie de Shannon.<fnref n="41" />

Le calcul de $qH$ peut se faire avec la fonction Tsallis de la librairie entropart :

```
Ps <- as.ProbaVector(colSums(BCI))
q <- 1.5
Tsallis(Ps, q)

## None
## 1.715954
```

### 4.4.2 Entropie et diversité

On voit immédiatement que l'entropie de Tsallis est le logarithme d'ordre q du nombre de Hill correspondant, comme l'entropie de Rényi en est le logarithme naturel :

$$ qH = \ln_q qD; \qquad (4.18) $$

$$ qD = e^{qH}. \qquad (4.19) $$

L'entropie est utile pour les calculs : la correction des biais d'estimation notamment. Les nombres de Hill, ou nombres équivalents d'espèces ou nombres effectif d'espèces permettent une appréhension plus intuitive de la notion de biodiversité.<fnref n="42" /> En raison de leurs propriétés, notamment de décomposition (voir le chapitre 12.2), Jost<fnref n="43" /> les appelle « vraie diversité ». S. Hoffmann et A. Hoffmann<fnref n="44" /> critiquent cette définition totalitaire<fnref n="45" /> et fournissent une revue historique plus lointaine sur les origines de ces mesures.

Dauby et O. J. Hardy<fnref n="46" /> écrivent « diversité au sens strict » ; Gregorius<fnref n="47" /> « diversité explicite ». Quoi qu'il en soit, les nombres de Hill respectent le principe de réplication (voir Chao et al.,<fnref n="48" /> section 3 pour une discussion et un historique) : si *I* communautés de même taille, de même niveau de diversité *D*, mais sans espèces en commun sont regroupées dans une méta-communauté, la diversité de la méta-communauté doit être *I* × *D*.

L'intérêt de ces approches est de fournir une définition paramétrique de la diversité, qui donne plus ou moins d'importance aux espèces rares :

* $-\infty D = 1/\min(p_S)$ est l'inverse de la proportion de la communauté représentée par l'espèce la plus rare (toutes les

<footnote n="41">⁴¹E. Marcon et al. (2014a). « Generalization of the Partitioning of Shannon Diversity ». In: *Plos One* 9.3, e90289. DOI: 10.1371/journal.pone.0090289.</footnote>

<footnote n="42">⁴²Jost (2006). « Entropy and diversity », cf. note 37, p. 59.</footnote>

<footnote n="43">⁴³Jost (2007). « Partitioning diversity into independent alpha and beta components », cf. note 37, p. 59.</footnote>

<footnote n="44">⁴⁴S. Hoffmann et A. Hoffmann (2008). « Is there a "true" diversity? » In: *Ecological Economics* 65.2, p. 213-215. DOI: 10.1016/j.ecolecon.2008.01.009.</footnote>

<footnote n="45">⁴⁵Jost (L. Jost [2009b]. « Mismeasuring biological diversity : Response to Hoffmann and Hoffmann (2008) ». In: *Ecological Economics* 68, p. 925-928) reconnait qu'un autre terme aurait pu être choisi (« diversité neutre » ou « diversité mathématique » par exemple).</footnote>

<footnote n="46">⁴⁶Dauby et O. J. Hardy (2012). « Sampled-based estimation of diversity sensu stricto by transforming Hurlbert diversities into effective number of species », cf. note 24, p. 15.</footnote>

<footnote n="47">⁴⁷H.-R. Gregorius (2010). « Linking Diversity and Differentiation ». In: *Diversity* 2.3, p. 370-394. DOI: 10.3390/d2030370.</footnote>

<footnote n="48">⁴⁸A. Chao et al. (2010). « Phylogenetic diversity measures based on Hill numbers ». In: *Philosophical Transactions of the Royal Society of London. Series B: Biological Sciences* 365.1558, p. 3599-3609. DOI: 10.1098/rstb.2010.0272Supplementary.</footnote>
autres espèces sont ignorées). Le biais d'estimation est in-
contrôlable : l'espèce la plus rare n'est pas dans l'échantillon
tant que l'inventaire n'est pas exhaustif;

* ᵈD est le nombre d'espèces (alors que ᵈH est le nombre d'espèces moins 1). C'est la mesure classique qui donne le plus d'importance aux espèces rares : toutes les espèces ont la même importance, quel que soit leur effectif en termes d'individus. Il est bien adapté à une approche patrimoniale, celle du collectionneur qui considère que l'existence d'une espèce supplémentaire a un intérêt en soi, par exemple parce qu'elle peut contenir une molécule valorisable. Comme les espèces rares sont difficiles à échantillonner, le biais d'estimation est très important, et sa résolution a généré une littérature en soi;

* ᵈD est l'exponentielle de l'indice de Shannon donne la même importance à tous les individus. Il est adapté à une approche d'écologue, intéressé par les interactions possibles : le nombre de combinaisons d'espèces en est une approche satisfaisante. Le biais d'estimation est sensible;

* ᵈD est l'inverse de l'indice de concentration de Gini-Simpson donne moins d'importance aux espèces rares. Hill<fnref n="49" /> l'appelle « le nombre d'espèces très abondantes ». Il comptabilise les interactions possibles entre paires d'individus : les espèces rares interviennent dans peu de paires, et influent peu sur l'indice. En conséquence, le biais d'estimation est très petit ; de plus, un estimateur non biaisé existe;

* ∞D = 1/d est l'inverse de l'indice de Berger-Parker<fnref n="50" /> qui est la proportion de la communauté représentée par l'espèce la plus abondante : d = max(*p*). Toutes les autres espèces sont ignorées.

Le calcul de ᵈD peut se faire avec la fonction Diversity de la
librairie entropart :

```
Ps <- as.ProbaVector(colSums(BCI))
q <- 1.5
Diversity(Ps, q)
## None
## 49.57724
```

Les propriétés mathématiques de la diversité ne sont pas celles
de l'entropie. L'entropie doit être une fonction concave des pro-
babilités comme on l'a vu plus haut, mais pas la diversité (un
exemple de confusion est fourni par Gadagkar,<fnref n="51" /> qui reproche à ᵈD
de ne pas être concave). L'entropie est une moyenne pondérée par
les probabilités de la fonction d'information, c'est donc une fonc-
tion linéaire des probabilités, propriété importante pour définir
l'entropie α (section 10.3.4) comme la moyenne des entropies de
plusieurs communautés, ou l'entropie phylogénétique (chapitre 8)
comme la moyenne de l'entropie sur les périodes d'un arbre. La di-
versité n'est pas une fonction linéaire des probabilités : la diversité

<footnote n="49">⁴⁹Hill (1973). « Diversity and Evenness : A Unifying Notation and Its Consequences », cf. note 20, p. 57.</footnote>

<footnote n="50">⁵⁰W. H. Berger et F. L. Parker (1970). « Diversity of planktonic foraminifera in deep-sea sediments ». In : *Science* 168.3937, p. 1345-1347.</footnote>

<footnote n="51">⁵¹R. Gadagkar (1989). « An undesirable property of Hill's diversity index N2 ». In : *Oecologia* 80, p. 140-141.</footnote>
<figure><img src="image_36.png" /><figcaption>FIGURE 4.5 – Profil de diversité calculé pour deux parcelles de Paracou (Parcelle 6 : trait plein et Parcelle 18 : trait pointillé). La correction du biais d'estimation est celle de Chao et Jost.</figcaption></figure>

moyenne n'est en général pas la moyenne des diversités.

## 4.5 Profils de diversité

Leinster et Cobbold,<fnref n="52" /> après Hill,<fnref n="53" /> Patil et Taillie,<fnref n="54" /> Tothmeresz<fnref n="55" /> et Kindt et al.,<fnref n="56" /> recommandent de tracer des profils de diversité, c'est-à-dire la valeur de la diversité $qD$ en fonction de l'ordre $q$ (Figure 4.5 <fnref n="57" />) pour comparer plusieurs communautés. Une communauté peut être déclarée plus diverse qu'une autre si son profil de diversité est au-dessus de l'autre pour toutes les valeurs de $q$. Si les courbes se croisent, il n'y a pas de relation d'ordre.<fnref n="58" />

Lande et al.<fnref n="59" /> montrent que si la diversité de Simpson et la richesse de deux communautés n'ont pas le même ordre, alors les courbes d'accumulation du nombre d'espèces en fonction du nombre d'individus échantillonnés se croisent aussi.

Pallmann et al.<fnref n="60" /> ont développé un test statistique pour comparer la diversité de deux communautés pour plusieurs valeurs de $q$ simultanément.

C. Liu et al.<fnref n="61" /> nomment séparables des communautés dont les profils ne se croisent pas. Ils montrent que des communautés peuvent être séparables en selon un profil de diversité de $qD$ sans l'être forcément selon un profil de diversité de Hurlbert (page 3.4), et inversement. Ils montrent que les communautés séparables selon un troisième type de profil, celui de la queue de distribution,<fnref n="62" /> le sont dans tous les cas. Le profil de la queue de distribution est construit en classant les espèces de la plus fréquente à la plus

<footnote n="52">⁵²Leinster et Cobbold (2012). « Measuring diversity : the importance of species similarity », cf. note 112, p. 51.</footnote>

<footnote n="53">⁵³Hill (1973). « Diversity and Evenness : A Unifying Notation and Its Consequences », cf. note 20, p. 57.</footnote>

<footnote n="54">⁵⁴Patil et Taillie (1982). « Diversity as a concept and its measurement », cf. note 6, p. 54.</footnote>

<footnote n="55">⁵⁵B. Tothmeresz (1995). « Comparison of different methods for diversity ordering ». In : *Journal of Vegetation Science* 6.2, p. 283-290. DOI : 10.2307/3236223.</footnote>

<footnote n="56">⁵⁶R. Kindt et al. (2006). « Tree diversity in western Kenya : Using profiles to characterise richness and evenness ». In : *Biodiversity and Conservation* 15.4, p. 1253-1270. DOI : 10.1007/s10531-005-0772-x.</footnote>

<footnote n="58">⁵⁸Tothmeresz (1995). Cf. note 55.</footnote>

<footnote n="59">⁵⁹R. Lande et al. (2000). « When species accumulation curves intersect : implications for ranking diversity using small samples ». In : *Oikos* 89.3, p. 601-605.</footnote>

<footnote n="60">⁶⁰P. Pallmann et al. (2012). « Assessing group differences in biodiversity by simultaneously testing a user-defined selection of diversity indices ». In : *Molecular Ecology Resources* 12.6, p. 1068-1078. DOI : 10.1111/1755-0998.12004.</footnote>

<footnote n="61">⁶¹C. Liu et al. (2006). « Unifying and distinguishing diversity ordering methods for comparing communities ». In : *Population Ecology* 49.2, p. 89-100. DOI : 10.1007/s10144-006-0026-0.</footnote>

<footnote n="62">⁶²Patil et Taillie (1982). « Diversity as a concept and its measurement », cf. note 6, p. 54.</footnote>

<footnote n="57">⁵⁷Code R :</footnote>

<footnote>```r
q.seq <- seq(0, 2, .1)
P6D<- CommunityProfile(Diversity, Paracou618.MC$Nsi[, 1], q.seq)
P18D<- CommunityProfile(Diversity, Paracou618.MC$Nsi[, 2], q.seq)
autoplot(P6D, xlab = "q", ylab = "Diversité") +
  geom_line(aes(x, y), as.data.frame.list(P18D), lty = 2)
```</footnote>
rare et en traçant la probabilité qu’un individu appartienne à une espèce plus rare que l’espèce en abscisse (Figure 4.6 <fnref n="63" />). Les coordonnées des points du profil sont définies par

$$y(x) = \sum_{s=x+1}^{S} p_{[s]}, \quad x \in \{0, 1, \dots, S\}. \qquad (4.20)$$

$p_{[s]}$ est la probabilité de l'espèce $s$; les espèces sont classées par probabilité décroissante.

<figure><img src="image_37.png" /></figure>

Ce profil est exhaustif (toutes les espèces sont représentées) alors que les autres profils de diversité ne sont représentés que pour un intervalle restreint du paramètre et qu’un croisement de courbes peut se produire au-delà. En revanche, il ne prend pas en compte les espèces non observées.

Fattorini et Marcheselli<fnref n="64" /> proposent un test pour comparer deux profils de queue de distribution à partir d'échantillonnages multiples (nécessaires pour évaluer la variance de chacune des probabilités) mais qui néglige les espèces non observées.

<caption>FIGURE 4.6 – Profil de queue de distribution calculé pour les deux parcelles de Paracou (Parcelle 6 : trait plein et Parcelle 18 : trait pointillé). En abscisse : rang de l'espèce dans le classement de la plus fréquente à la plus rare; en ordonnée : probabilité qu'un individu de la communauté appartienne à une espèce plus rare.</caption>

# 4.6 Estimation de l'entropie

## 4.6.1 Zhang et Grabchak

Z. Zhang et Grabchak<fnref n="65" /> montrent que toutes les mesures d'entropie

<footnote n="64">⁶⁴L. Fattorini et M. Marcheselli (1999). « Inference on intrinsic diversity profiles of biological populations ». In : *Environmetrics* 10.5, p. 589-599. DOI : 10.1002/(SICI) 1099-095X(199909/10)10:5<589::AID-ENV374>3.0.CO;2-0.</footnote>

<footnote n="63">⁶³ Code R :

```r
# Elimination des espèces absentes des deux parcelles
Psi <- as.data.frame(Paracou618.MC$Psi[Paracou618.MC$Ps > 0,
])
Psi[, 1] %<>% sort %>% cumsum %>% rev
Psi[, 2] %<>% sort %>% cumsum %>% rev
Psi$x <- 1:nrow(Psi)

ggplot(Psi, aes(x)) + geom_path(aes(y = P006)) + geom_path(aes(y = P018),
lty = 2) + labs(x = "Espèces", y = "Fréquence") + scale_x_log10()
```</footnote>

<footnote n="65">⁶⁵Z. Zhang et M. Grabchak (2016). « Entropic Representation and Estimation of Diversity Indices ». In : *Journal of Nonparametric Statistics* 28.3, p. 563-575.</footnote>
pie usuelles sont des combinaisons linéaires de $\zeta_{u,v}$ (voir page 46). À partir des estimateurs de $\zeta_{u,v}$,⁶⁶ l'estimateur suivant est proposé pour $h_q = \sum_{s=1}^{S} p_s^q$ :

$$ \tilde{h}_q = 1 + \sum_{s=1}^{s \neq 0} \frac{n_s}{n} \sum_{v=1}^{n-n_s} \left[ \prod_{i=1}^{v} \frac{i-q}{i} \right] \left[ \prod_{j=1}^{v} \left( 1 - \frac{n_s-1}{n-j} \right) \right]. \quad (4.21) $$

$\tilde{h}_q$ peut ensuite être utilisé pour l'estimation de l'entropie HCDT :

$$ q\tilde{H} = \frac{1 - \tilde{h}_q}{q - 1}. \quad (4.22) $$

L'estimateur est asymptotiquement normal et son biais décroit exponentiellement vite.

$\tilde{h}_q$ n'est défini que pour $q \neq 1$. L'estimateur corrigé de $^1H$ est

$$ ^1\tilde{H} = \sum_{s=1}^{s \neq 0} \frac{n_s}{n} \sum_{v=1}^{n-n_s} \frac{1}{v} \left[ \prod_{j=1}^{v} \left( 1 - \frac{n_s-1}{n-j} \right) \right]. \quad (4.23) $$

Cet estimateur est différent de $H_z$.⁶⁷ Il a été également obtenu par d'autres auteurs⁶⁸,⁶⁹ avec d'autres approches.

Dans *entropart*, utiliser *Tsallis* et *Diversity* :

Tsallis(Paracou618.MC$Ns, q = 1, Correction = "ZhangGrabchak")

## ZhangGrabchak

## 4.846407

Diversity(Paracou618.MC$Ns, q = 1, Correction = "ZhangGrabchak")

## ZhangGrabchak

## 127.2823

⁶⁶Z. Zhang et J. Zhou (2010). « Re-parameterization of multinomial distributions and diversity indices ». In : *Journal of Statistical Planning and Inference* 140.7, p. 1731-1738. DOI : 10.1016/j.jspi.2009.12.023.

⁶⁷Z. Zhang (2012). « Entropy Estimation in Turing's Perspective », cf. note 92, p. 46.

⁶⁸Mao (2007). « Estimating Species Accumulation Curves and Diversity Indices », cf. note 113, p. 51; Vinck et al. (2012). « Estimation of the entropy based on its polynomial representation », cf. note 95, p. 47.

⁶⁹Chao et al. (2013). « Entropy and the species accumulation curve : a novel entropy estimator via discovery rates of new species », cf. note 97, p. 47, Annexe S1.

### 4.6.2 Chao et Jost

Chao et Jost⁷⁰ complètent cet estimateur par une estimation du biais résiduel, selon la même démarche que pour l'entropie de Shannon⁷¹ (voir page 47). $h_q$ s'écrit sous la forme de la somme infinie des entropies de Simpson généralisées : $h_q = \sum_{k=0}^{\infty} \frac{(q-1)^k}{k} \zeta_{1,k}$. Alors que l'estimateur de Zhang et Grabchak ne prend en compte que les $n-1$ premiers termes de la somme pour un estimateur sans biais, Chao et Jost⁷² le complètent par une estimation, forcément biaisée, des termes suivants pour obtenir :

$$ q\tilde{H} = \frac{1}{q-1} \left[ 1 - \tilde{h}_q - \frac{s_1}{n} (1-A)^{1-n} \left( A^{q-1} - \sum_{r=0}^{n-1} \binom{q-1}{r} (A-1)^r \right) \right]. \quad (4.24) $$

⁷⁰A. Chao et L. Jost (2015). « Estimating diversity and entropy profiles via discovery rates of new species ». In : *Methods in Ecology and Evolution* 6.8, p. 873-882. DOI : 10.1111/2041-210X.12349.

⁷¹Chao et al. (2013). « Entropy and the species accumulation curve : a novel entropy estimator via discovery rates of new species », cf. note 97, p. 47.

⁷²Chao et Jost (2015). Cf. note 70, eqn 5.
La formule du nombre de combinaisons est généralisée aux valeurs de $q-1$ non entières, et vaut par convention 1 pour $r = 0$. A vaut :

* $2s_2/[(n-1)s_1 + 2s_2]$ en présence de singletons et doubletons;

* $2/[(n-1)(s_1-1) + 2]$ en présence de singletons seulement;

* 1 en absence de singletons et doubletons.

Cet estimateur est le plus performant. Quand $q \to 1$, il tend vers l'estimateur de l'entropie de Shannon de Chao et al.,<fnref n="73" /> équation 3.41 page 47. Quand $q = 0$, l'estimateur se réduit à Chao1. Pour toutes les valeurs entières de $q$ supérieures ou égales à 2, il se réduit à l'estimateur (4.22), identique à l'estimateur de Lande pour $q = 2$, et est sans biais.

L'estimateur est obtenu à partir de celui du taux de couverture extrapolé (page 15) fourni par Chao et Jost<fnref n="74" /> sans le détail de la démonstration présenté ici. L'espérance conditionnelle du taux de couverture dans un échantillon de taille $n+m$ compte-tenu des effectifs observés, notés $\{n_s\}$, est

$$ \mathbb{E}(C^{n+m} | \{n_s\}) = C^n + \sum_s p_s [1 - (1 - p_s)^m] \mathbf{1}(n_s = 0). \quad (4.25) $$

Le taux de couverture $C^n$ est augmenté par l'échantillonnage de $m$ individus supplémentaires si les espèces non échantillonnées (vérifiant $\mathbf{1}(n_s = 0)$) sont découvertes (la probabilité de le faire est $1 - (1 - p_s)^m$). $\hat{C}^n + \sum_s p_s \mathbf{1}(n_s = 0)$ vaut par définition 1. Le deuxième terme de la somme est estimé en posant $\hat{p}_s = \hat{\alpha}_0$ pour toutes les espèces non observées, ce qui constitue la même approximation que pour l'estimation de la relation de Good-Turing, équation (2.2) page 14. Alors, $\sum_s p_s$ est estimé par $\hat{\alpha}_0 s_0^n = \frac{s_1^n}{n}(1 - \hat{\alpha}_1)$ et $(1 - p_s)^m$ par $(1 - \hat{\alpha}_0)^m$. Les deux estimateurs $\hat{\alpha}_1$ et $\hat{\alpha}_0$ sont égaux à A si le nombre d'espèces non échantillonnées est estimé par l'estimateur Chao1. On obtient

$$ \mathbb{E}(C^{n+m}) = 1 - \frac{s_1^n}{n} \left[ \frac{(n-1)s_1^n}{(n-1)s_1^n + 2s_2^n} \right]^{n+m} \quad (4.26) $$

$$ = 1 - \frac{s_1^n}{n} (1 - A)^{m+1}. \quad (4.27) $$

L'espérance du taux de couverture est directement liée à l'indice de Simpson généralisé :<fnref n="75" /> $\mathbb{E}(C^{n+m}) = 1 - \zeta_{1,n+m}$. L'estimateur de $h_q$ est obtenu en remplaçant les termes $\zeta_{1,k}$ de la somme infinie $\sum_{k=n}^{\infty} \binom{q-1}{k} (-1)^k \zeta_{1,k}$ par la valeur de $1 - \mathbb{E}(C^{n+m})$ calculée dans l'équation (4.27). La formule obtenue contient le développement en série entière de $[1 - (1 - A)^{q-1}]$, ce qui permet d'éliminer la somme infinie et d'obtenir l'estimateur de l'équation (4.24) après simplifications.<fnref n="76" />

<footnote n="73">⁷³Chao et al. (2013). « Entropy and the species accumulation curve : a novel entropy estimator via discovery rates of new species », cf. note 97, p. 47.</footnote>

<footnote n="74">⁷⁴Chao et Jost (2012). « Coverage-based rarefaction and extrapolation : standardizing samples by completeness rather than size », cf. note 23, p. 15, annexe E.</footnote>

<footnote n="75">⁷⁵Good (1953). « The Population Frequency of Species and the Estimation of Population Parameters », cf. note 20, p. 14.</footnote>

<footnote n="76">⁷⁶Chao et Jost (2015). « Estimating diversity and entropy profiles via discovery rates of new species », cf. note 70, p. 65, Appendix S1, Theorem S1.2d.</footnote>
4.6.3 Autres méthodes

Deux autres approches sont possibles<sup>77</sup> :

* Celle de Chao et T.-J. Shen,<sup>78</sup> étendue au-delà de l'entropie de Shannon qui prend en compte les espèces non observées;

* Celle de Grassberger<sup>79</sup> qui prend en compte la non-linéarité de l'estimateur.

Le domaine de validité des deux corrections est différent. Quand $q$ est petit, les espèces rares non observées ont une grande importance alors que $qH$ est presque linéaire : la correction de Grassberger disparaît quand $q = 0$. Quand $q$ est grand (au-delà de 2), l'influence des espèces rares est faible, la correction de Chao et Shen devient négligeable alors que la non-linéarité augmente. Un compromis raisonnable consiste à utiliser le plus grand des deux estimateurs.

L'estimateur de Chao et Shen est

$$q\tilde{H} = -\sum_{s=1}^{s^n \neq 0} \frac{\hat{C}\hat{p}_s \ln_q(\hat{C}\hat{p}_s)}{1 - (1 - \hat{C}\hat{p}_s)^n} \quad (4.28)$$

Celui de Grassberger est

$$q\tilde{H} = \frac{1 - \sum_{s=1}^{s^n \neq 0} \tilde{p}_s^q}{q - 1}, \quad (4.29)$$

où

$$\tilde{p}_s^q = n_s^{-q} \left( \frac{\Gamma(n_s + 1)}{\Gamma(n_s - q + 1)} + \frac{(-1)^n \Gamma(1 + q) \sin \pi q}{\pi (n + 1)} \right). \quad (4.30)$$

$\Gamma(\cdot)$ est la fonction gamma. L'estimateur est linéaire par rapport à $\tilde{p}_s^q$: le problème original est donc résolu par la construction de l'estimateur de $p_s^q$, mais celui-ci est biaisé également.

L'estimateur de Chao et Shen peut être amélioré<sup>80</sup> en estimant mieux les probabilités. Chao et al.<sup>81</sup> ont développé un estimateur de la distribution des probabilités à partir de l'estimation du taux de couverture généralisé. $\hat{C}\hat{p}_s$ peut être remplacé par cet estimateur pour réduire le biais de l'estimateur de Chao et Shen.

Enfin, la distribution des espèces non échantillonnées peut être ajoutée en estimant leur nombre et en choisissant une loi. Chao et al.<sup>82</sup> ont utilisé l'estimateur Chao1 et une distribution géométrique. L'estimateur jackknife<sup>83</sup> est plus versatile parce que son ordre peut être adapté aux données quand l'effort d'échantillonnage est trop faible pour que l'estimateur Chao1 soit performant.<sup>84</sup> Un simple estimateur plug-in, appelé « estimateur révélé », peut ensuite être appliqué à cette distribution révélée.<sup>85</sup>

<footnote n="77"><sup>77</sup>Marcon et al. (2014). « Generalization of the Partitioning of Shannon Diversity », cf. note 41, p. 61.</footnote>

<footnote n="78"><sup>78</sup>Chao et T.-J. Shen (2003). « Nonparametric estimation of Shannon's index of diversity when there are unseen species in sample », cf. note 87, p. 46.</footnote>

<footnote n="79"><sup>79</sup>Grassberger (1988). « Finite sample corrections to entropy and dimension estimates », cf. note 103, p. 48.</footnote>

<footnote n="80"><sup>80</sup>Marcon (2015). « Practical Estimation of Diversity from Abundance Data », cf. note 37, p. 32.</footnote>

<footnote n="81"><sup>81</sup>A. Chao et al. (2015b). « Unveiling the Species-Rank Abundance Distribution by Generalizing Good-Turing Sample Coverage Theory ». In : *Ecology* 96.5, p. 1189-1201. DOI : 10.1890/14-0550.1.</footnote>

<footnote n="82"><sup>82</sup>Ibid.</footnote>

<footnote n="83"><sup>83</sup>Burnham et Overton (1979). « Robust Estimation of Population Size When Capture Probabilities Vary Among Animals », cf. note 9, p. 22.</footnote>

<footnote n="84"><sup>84</sup>Brose et al. (2003). « Estimating species richness : Sensitivity to sample coverage and insensitivity to spatial patterns », cf. note a, p. 31.</footnote>

<footnote n="85"><sup>85</sup>Marcon (2015). « Practical Estimation of Diversity from Abundance Data », cf. note 37, p. 32.</footnote>
L'estimateur du taux de couverture généralisé ne fait aucune hypothèse sur les espèces non observées, et n'utilise que le taux de couverture et la technique de Horvitz-Thompson pour estimer leur contribution. L'estimateur révélé ne tente aucune correction mais utilise l'estimation la meilleure possible pour la distribution des probabilités.

### 4.6.4 Biais des estimateurs

Étant donné la distribution des probabilités des espèces dans la communauté, l'échantillon inventorié peut être considéré comme un tirage dans une loi multinomiale, qui contient pas toutes les espèces. Par simulation à partir d'une distribution connue, il est possible de tirer un grand nombre d'échantillons et de répéter l'estimation de la diversité sur chacun d'eux. La distribution de la valeur de l'échantillon permet de juger ses performances : son biais moyen (mesuré par rapport à la valeur de référence calculée à partir des probabilités choisies), et sa variabilité (évaluée par sa variance empirique sur les simulations). Un estimateur performant doit être peu biaisé mais aussi peu variable. L'erreur quadratique moyenne, somme du carré du biais et de la variance, ou sa racine carrée dont la dimension est celle des données (*root mean square error* : RMSE), est un bon critère de test.<fnref n="86" />

Haegeman et al.<fnref n="87" /> proposent deux estimateurs de la diversité $qD$ à partir des courbes de raréfaction et d'extrapolation du nombre d'espèces. Les deux estimateurs bornent la vraie valeur de $qD$ (leur variabilité n'est pas prise en compte, mais elle est négligeable dans le cadre utilisé). L'estimateur minimal est très proche de celui de Chao et Jost, à la différence que les termes estimant le biais résiduel sont évalués par une approximation numérique. L'estimateur maximal suppose que tous les individus non échantillonnés appartiennent à une espèce nouvelle, ce qui est effectivement le pire cas possible. Les deux estimateurs sont appliqués à la diversité de communautés microbiennes (jusqu'à un million d'espèces distribuées selon une loi géométrique) et très sous-échantillonnées (un individu sur $10^{10}$ dans le pire des cas).

Les résultats présentent de très grands intervalles d'estimation (de plusieurs ordres de grandeur) entre la borne inférieure et la borne supérieure, ce qui montre que la méthode est inutilisable pour $q < 1$ approximativement. L'estimateur minimal, qui correspond à l'état de l'art, sous-estime sévèrement la diversité quand l'échantillonnage est faible. L'estimateur maximal est excessivement conservateur (il est conçu pour borner l'estimation dans la pire hypothèse).

Aux ordres de diversité supérieurs, les estimateurs convergent : même avec de petits échantillons, même en supposant que la richesse de la communauté est la plus grande possible, l'estimation de la diversité est précise dès $q = 1$.

<footnote n="86">⁸⁶Voir par exemple Chao et al. (2013). « Entropy and the species accumulation curve : a novel entropy estimator via discovery rates of new species », cf. note 97, p. 47, figure 1.</footnote>

<footnote n="87">⁸⁷B. Haegeman et al. (2013). « Robust estimation of microbial diversity in theory and in practice ». In : *The ISME journal* 7.6, p. 1092-101. DOI : 10.1038/ismej.2013.10.</footnote>
Dans des conditions moins difficiles, correspondant à des communautés moins riches (typiquement des forêts tropicales), l'estimation est précise dès $q = 0,5$.<fnref n="88" /> Ces résultats sont développés plus loin.

### 4.6.5 Intervalle de confiance des estimateurs

À partir de données d'inventaire, l'estimation du biais est impossible (sinon, le biais serait simplement ajouté à l'estimateur pour le rendre sans biais). La variabilité de l'estimateur peut être évaluée en générant des communautés par bootstrap et en estimant leur diversité comme dans la méthode précédente. Les communautés peuvent être simulées par tirage dans une loi multinomiale respectant les probabilités observées.<fnref n="89" /> L'inconvénient est que les espèces dont les probabilités sont petites ne sont pas tirées, ce qui entraîne un nouveau biais d'estimation. L'estimateur le corrige en partie, le biais d'estimation dû au non échantillonnage des espèces rares de la communauté (corrigé par l'estimateur appliqué aux données réelles) n'est pas accessible. Il est donc nécessaire de recentrer les valeurs obtenues par simulation autour de la valeur obtenue sur les données.

Chao et Jost<fnref n="90" /> proposent une méthode plus élaborée qui consiste à reconstituer la distribution des probabilités de la communauté réelle le mieux possible avant d'en tirer les échantillons simulés. L'estimateur naïf de la probabilité d'une espèce observée $s$ est $\hat{p}_s = n_s/n$. $\hat{p}_s$ est sans biais mais comme on ne dispose que d'une réalisation de la loi, il est préférable de chercher un estimateur sans biais conditionnellement aux espèces observées. Il est obtenu par Chao et al.<fnref n="91" /> à partir de l'espérance conditionnelle de $N_s/n$ :

$$ \mathbb{E} \left( \frac{N_s}{n} | n_s > 0 \right) = \frac{p_s}{1 - (1 - p_s)^n} \quad (4.31) $$

L'estimateur de $p_s$ obtenu est

$$ \tilde{p}_s = \frac{n_s}{n} \left[ 1 - \hat{\lambda} \left( 1 - \frac{n_s}{n} \right)^n \right], \quad (4.32) $$

où

$$ \hat{\lambda} = \frac{1 - \hat{C}}{\sum_{s=1}^{s \neq 0} \frac{n_s}{n} \left(1 - \frac{n_s}{n}\right)^n} \quad (4.33) $$

$\lambda$ est un paramètre d'un modèle permettant d'estimer les valeurs de $p_i$ à partir de leur espérance conditionnelle et des données. Le modèle complet est présenté par Chao et al.<fnref n="92" />

Les probabilités des espèces non observées sont considérées comme égales par souci de simplification et parce qu'elles in-

<footnote n="88">⁸⁸Marcon (2015). « Practical Estimation of Diversity from Abundance Data », cf. note 37, p. 32.</footnote>

<footnote n="89">⁸⁹Marcon et al. (2012). « The Decomposition of Shannon's Entropy and a Confidence Interval for Beta Diversity », cf. note 13, p. 56; Marcon et al. (2014). « Generalization of the Partitioning of Shannon Diversity », cf. note 41, p. 61.</footnote>

<footnote n="90">⁹⁰Chao et Jost (2015). « Estimating diversity and entropy profiles via discovery rates of new species », cf. note 70, p. 65.</footnote>

<footnote n="91">⁹¹Chao et al. (2013). « Entropy and the species accumulation curve : a novel entropy estimator via discovery rates of new species », cf. note 97, p. 47.</footnote>

<footnote n="92">⁹²Chao et al. (2015). « Unveiling the Species-Rank Abundance Distribution by Generalizing Good-Turing Sample Coverage Theory », cf. note 81, p. 67.</footnote>
fluencent peu la variance des estimateurs. Leur somme est égale
au déficit de couverture, et leur nombre estimé par Chao1.

L'intervalle de confiance de l'estimateur obtenu par cette tech-
nique à partir des données permet de connaître sa variabilité, mais
pas son biais. Il n'est absolument pas garanti (et peu probable
si l'échantillonnage est faible et q petit) que la vraie valeur de la
diversité se trouve dans l'intervalle de confiance.

4.6.6 Pratique de l'estimation

La conversion de l'estimateur de l'entropie en estimateur de la diversité pose un nouveau problème puisque $qD$ n'est pas une transformation linéaire de $qH$. Ce dernier biais peut être négligé<fnref n="93" /> parce que $qH$, l'entropie, est la valeur moyenne de l'information de nombreuses espèces indépendantes et fluctue donc peu à cause de l'échantillonnage, contrairement aux estimateurs des probabilités.

Des simulations menées sur des distributions log-normale ou géométrique de richesse diverses avec des efforts d'échantillonnage variés permettent de tester les estimateurs dans des cas théoriques réalistes.<fnref n="94" /> Un résultat représentatif est donné ici.

<figure><img src="image_38.png" /><figcaption>FIGURE 4.7 – Estimation de la diversité d’une communauté log-normale de 300 espèces. Un inventaire de 500 (en bas) ou 5000 (en haut) individus est répété 1000 fois et la diversité estimée à chaque fois par l’estimateur de Chao-Wang-Jost (à gauche) ou l’estimateur révélé (à droite). La courbe noire en gras représente la vraie diversité de la communauté. La courbe maigre est la moyenne de l’estimation, l’enveloppe grise limitée par les pointillés rouges contient 95% des valeurs simulées.</figcaption></figure>

La figure 4.7 compare les résultats des deux meilleurs estimateurs à la vraie valeur de la diversité d'une communauté de 300 espèces, dont la distribution log-normale (avec un écart-type dont le logarithme vaut 2) mime une forêt tropicale similaire à Barro-Colorado. L'effort d'inventaire simulé est de 500 ou 5000 individus (de l'ordre d'un ou dix hectares pour les arbres de diamètre supérieur ou égal à 10 cm). L'estimation ne pose pas de problème avec 5000 individus, bien que Chao-Wang-Jost sous-estime un peu

<footnote n="93">⁹³Grassberger (1988). « Finite sample corrections to entropy and dimension estimates », cf. note 103, p. 48.</footnote>

<footnote n="94">⁹⁴Marcon (2015). « Practical Estimation of Diversity from Abundance Data », cf. note 37, p. 32.</footnote>
le nombre d'espèces. L'estimateur révélé est centré sur la vraie valeur, mais avec une plus grande variabilité.

En limitant l'échantillonnage à 500 individus, l'estimateur de Chao-Wang-Jost sous-estime le nombre d'espèces de moitié. L'estimateur révélé sous-estime beaucoup moins la diversité d'ordre faible, mais son intervalle de confiance est très large.

Dès $q = 0,5$, l'estimation est très précise dans tous les cas, même en réduisant l'échantillonnage à 200 individus ou pour des communautés dont la queue de distribution est beaucoup plus longue (résultats non présentés ici).

Les conclusions de ce travail d'évaluation tiennent en deux points. Dans des conditions réalistes d'inventaire d'arbres en forêt tropicale, les estimateurs de diversité les plus performants sont celui de Chao, Wang et Jost et l'estimateur révélé. Le premier a une variance plus faible pour les valeurs de $q$ proches de 0 mais est limité par son estimation du nombre d'espèces par l'estimateur Chao1. Le second est préférable quand le nombre d'espèces estimé par l'estimateur jackknife d'ordre optimal est clairement supérieur (c'est-à-dire, en pratique, quand l'ordre du jacknife optimal est supérieur à 1). Son biais est alors bien inférieur, au prix d'une variance plus grande.

Dans tous les cas, l'estimation de la diversité aux ordres inférieurs à 0,5 est imprécise, sauf à disposer d'inventaires de taille considérable (de l'ordre de la dizaine d'hectares au moins).

Les fonctions *Tsallis* et *Diversity* de *entropart* acceptent comme argument un vecteur d'abondances (et non de probabilités) et proposent par défaut la correction de Chao et Jost :

```
Tsallis(colSums(BCI), q = 1)
## UnveilJ
## 4.276151
Diversity(colSums(BCI), q = 1)
## UnveilJ
## 71.96294
```

### 4.6.7 MSOM et MSAM

L'utilisation de modèles hiérarchiques bayesiens fondés sur des modèles d'occupation multispécifiques (MSOM) ou des modèles d'abondance multispécifiques (MSAM) progresse dans la littérature récente. Ils nécessitent de choisir une loi de probabilité d'observation des espèces compatible avec un échantillonnage non exhaustif, par exemple une loi ZIP (*zero-inflated Poisson*),<fnref n="95" /> dans laquelle l'espérance de la présence de chaque espèce peut être modélisée à son tour comme la conséquence de variables environnementales. Une approche alternative consiste à modéliser la probabilité d'observation comme la combinaison d'une probabilité de présence et d'une probabilité de détection.<fnref n="96" /> Ces méthodes

<footnote n="95">⁹⁵J. Zhang et al. (2014). « Partitioning of α and β diversity using hierarchical Bayesian modeling of species distribution and abundance ». In : *Environmental and Ecological Statistics* 21.4, p. 611-625. DOI : 10.1007/s10651-013-0271-2.</footnote>

<footnote n="96">⁹⁶K. M. Broms et al. (2014). « Accounting for Imperfect Detection in Hill Numbers for Biodiversity Studies ». In : *Methods in Ecology and Evolution* 6.1, p. 99-108. DOI : 10.1111/2041-210X.12296.</footnote>