Revisiting animal photo‐identification using deep metric learning and network analysis. Issue 5 (17th March 2021)

• Record Type: Journal Article
• Authors: Miele, Vincent; Dussert, Gaspard; Spataro, Bruno; Chamaillé‐Jammes, Simon; Allainé, Dominique; Bonenfant, Christophe
• Editors: Freckleton, Robert
• Is Part Of: Methods in ecology and evolution. Volume 12:Issue 5(2021)
• Page Start: 863
• Page End: 873
• Publication Date: 2021-03-17
• Subjects: deep metric learning -- image similarity networks -- individual identification -- open‐source software; Ecology -- Periodicals; Evolution -- Periodicals; 577
• DOI: 10.1111/2041-210X.13577
• Languages: English
• ISSNs: 2041-210X

Abstract

Abstract: An increasing number of ecological monitoring programmes rely on photographic capture–recapture of individuals to study distribution, demography and abundance of species. Photo‐identification of individuals can sometimes be done using idiosyncratic coat or skin patterns, instead of using tags or loggers. However, when performed manually, the task of going through photographs is tedious and rapidly becomes too time‐consuming as the number of pictures grows. Computer vision techniques are an appealing and unavoidable help to tackle this apparently simple task in the big‐data era. In this context, we propose to revisit animal re‐identification using image similarity networks and metric learning with convolutional neural networks (CNNs), taking the giraffe as a working example. We first developed an end‐to‐end pipeline to retrieve a comprehensive set of re‐identified giraffes from about 4, 000 raw photographs. To do so, we combined CNN‐based object detection, SIFT pattern matching and image similarity networks. We then quantified the performance of deep metric learning to retrieve the identity of known individuals, and to detect unknown individuals never seen in the previous years of monitoring. After a data augmentation procedure, the re‐identification performance of the CNN reached a Top‐1 accuracy of about 90%, despite the very small number of images per individual in the training dataset. While the complete pipeline succeeded in re‐identifying known individuals, it slightly under‐performed with unknown individuals. Fully based on open‐source software packages, our work paves the way for further attempts to build automatic pipelines for re‐identification of individual animals, not only in giraffes but also in other species. Résumé: Afin d'étudier la distribution, la démographie ou l'abondance des populations, un nombre croissant de suivis écologiques à long terme repose sur la capture‐recapture non‐invasive des animaux et donc, sur leur reconnaissance individuelle. Cette reconnaissance individuelle peut être mise en œuvre, à partir des photographies, grâce à la variabilité naturelle des marques que les animaux portent sur leur peau ou leur fourrure. Cependant, la nécessaire comparaison des photographies devient rapidement fastidieuse à mesure que le nombre de photographies et d'individus croît, et peut très vite devenir trop chronophage lorsque elle est réalisée à la main. Les techniques de vision par ordinateur apparaissent aujourd'hui comme une aide incontournable pour réaliser des tâches répétitives et en apparence simples, en particulier dans le contexte des données massives. Nous proposons ici de revisiter le problème de la reconnaissance individuelle des animaux en un problème d'apprentissage automatique, en combinant sciences des réseaux et apprentissage profond par réseau de neurones convolutifs ('deep learning'), en utilisant la girafe comme espèce modèle. Nous avons développé un algorithme permettant de trouver l'ensemble des différents individus observés sur le terrain à partir de 4, 000 photographies prises dans le parc national de Hwange, au Zimbabwe. Pour cela, les photographies sont traitées successivement avec une approche d'apprentissage profond pour la reconnaissance d'objet (ici les flancs des girafes), un algorithme pour identifier des éléments similaires dans les pelages de girafes (algorithme SIFT), et enfin une analyse statistique par réseau de similarité des images. Dans un deuxième temps, nous avons utilisé les méthodes d'apprentissage profond ('deep learning') pour d'une part, reconnaître les girafes individuellement et d'autre part, détecter les nouveaux individus jamais vus auparavant. Grâce à une procédure d'augmentation des données, notre approche atteint de très bonnes performances avec une précision de 90% environ et ce, malgré le faible nombre d'images par individu dont nous disposons. Notre approche par apprentissage profond permet également de détecter les animaux inconnus et encore non‐présents dans la banque d'images de référence avec une bonne précision. Reposant entièrement sur des logiciels libres, notre travail facilite la reconnaissance individuelle automatisée d'animaux, pour la girafe mais également pour d'autres espèces.