Human vs. machine : identification of bat species from their echolocation calls by humans and by artificial neural networks

Automated remote ultrasound detectors allow large amounts of data on bat presence and activity to be collected. Processing of such data involves identifying bat species from their echolocation calls. Automated species identification has the potential to provide more consistent, predictable, and potentially higher levels of accuracy than identification by hu- mans. In contrast, identification by humans permits flexibility and intelligence in identification, as well as the incorpora- tion of features and patterns that may be difficult to quantify. We compared humans with artificial neural networks (ANNs) in their ability to classify short recordings of bat echolocation calls of variable signal to noise ratios; these sequen- ces are typical of those obtained from remote automated recording systems that are often used in large-scale ecological studies. We presented 45 recordings (1-4 calls) produced by known species of bats to ANNs and to 26 human participants with 1 month to 23 years of experience in acoustic identification of bats. Humans correctly classified 86% of recordings to genus and 56% to species; ANNs correctly identified 92% and 62%, respectively. There was no significant difference between the performance of ANNs and that of humans, but ANNs performed better than about 75% of humans. There was little relationship between the experience of the human participants and their classification rate. However, humans with <1 year of experience performed worse than others. Currently, identification of bat echolocation calls by humans is suitable for ecological research, after careful consideration of biases. However, improvements to ANNs and the data that they are trained on may in future increase their performance to beyond those demonstrated by humans. Resume´ : Les detecteurs automatisesadistance d'ultrasons permettent de recolter des quantites importantes de donnees sur la presence et l'activitedes chauves-souris. Pour traiter ces donnees, il est necessaire d'identifier les especes de chauves-souris d'apres leurs cris d'echolocation. L'identification automatisee des especes pourrait potentiellement per- mettre une precision plus uniforme, plus previsible et probablement plus fine que l'identification faite par des humains. En revanche, l'identification faite par les humains permet de la flexibiliteet du jugement dans le processus de reconnaissance, ainsi que l'incorporation de caracteristiques et de patrons qui peuvent etre difficiles aquantifier. Nous comparons les ca- pacites d'humains et de reseaux de neurones artificiels (ANNs) a classifier de courts enregistrements d'appels d'echolo- cation de chauves-souris contenant divers rapports signal:bruit; ce sont des sequences representatives de celles obtenues par les systemes automatises d'enregistrement a distance couramment utilises dans les etudes ecologiques agrande echelle. Nous avons presente ´ 45 enregistrements (de 1 a ` 4 appels) produits par des especes connues de chauves-souris a ` des ANNs et a 26 collaborateurs qui possedent entre 1 mois et 23 ans d'experience dans l'identification acoustique des chauves-souris. Les humains ont classecorrectement 86 % des enregistrements au genre et 56 % a l'espece; les reussites correspondantes des ANNs sont de 92 % et de 62 %. Il n'y a pas de difference significative entre les performances des humains et des ANNs, mais les ANNs donnent un meilleur rendement que 75 % des humains. Il y a peu de cor- relation entre l'experience des collaborateurs et leur taux de classifications reussies. Neanmoins, les humains ayant <1 an d'experience ont un taux de reussite inferieur aux autres. Dans les conditions actuelles, l'identification des appels d'echolocation des chauves-souris par des humains convient aux etudes ecologiques, si l'on tient compte soigneuse- ment des sources d'erreur. Cependant, une amelioration des ANNs et des donnees qu'ils utilisent pourrait dans l'avenir accrooˆtre leur performance au-delade celle demontree par les humains. (Traduit par la Redaction)