CORIGAN: Assessing multiple species and interactions within images. Issue 11 (4th September 2019)

• Record Type: Journal Article
• Authors: Tresson, Paul; Tixier, Philippe; Puech, William; Bagny Beilhe, Leïla; Roudine, Sacha; Pagès, Christine; Carval, Dominique
• Editors: Ellison, Aaron
• Is Part Of: Methods in ecology and evolution. Volume 10:Issue 11(2019)
• Page Start: 1888
• Page End: 1893
• Publication Date: 2019-09-04
• Subjects: animal detection -- Convolutional Neural Network -- image processing -- interaction study -- on‐field image -- sentinel prey study -- trophic networks; Ecology -- Periodicals; Evolution -- Periodicals; 577
• DOI: 10.1111/2041-210X.13281
• Languages: English
• ISSNs: 2041-210X

Abstract

Abstract: Images are resourceful data for ecologists and can provide a more complete information than other methods to study biodiversity and the interactions between species. Automated image analysis however often relies on extensive datasets, not implementable by small research teams. We are here proposing an object detection method that allows the analysis of high‐resolution images containing many animals interacting in a small dataset. We developed an image analysis pipeline named 'CORIGAN' to extract the characteristics of animal communities. CORIGAN is based on the YOLOv3 model as the core of object detection. To illustrate potential applications, we use images collected during a sentinel prey experiment. Our pipeline can be used to detect, count and study the physical interactions between various animals. On our example dataset, the model reaches 86.6% precision and 88.9% recall at the species level or even at the caste level for ants. The training set required fewer than 10 hr of labelling. Based on the pipeline output, it was possible to build the trophic and non‐trophic interactions network describing the studied community. CORIGAN relies on generic properties of the detected animals and can be used for a wide range of studies and supports. Here, we study invertebrates on high‐resolution images, but the same processing can be transferred for the study of larger animals on satellite or aircraft images. Foreign Language Résumé: Les images sont une source d'information riche pour les écologues et peuvent donner accès à des informations plus complètes que d'autre méthodes pour étudier la biodiversité et les interactions entre espèces. En revanche, les méthodes d'analyse automatique d'image existantes reposent sur l'utilisation de jeu de données importants et ne sont pas utilisables par de petites équipes de recherche. Nous proposons ici une méthode de détection d'objets permettant l'analyse d'images haute‐résolution contenant de nombreux animaux en interaction au sein d'un petit jeu de données. Nous avons développé un pipeline d'analyse d'images nommé 'CORIGAN' afin d'extraire les caractéristiques de communautés animales. CORIGAN repose sur le modèle YOLOv3 pour la détection d'objets. Afin d'illustrer de potentielles applications en écologie, nous présentons des images collectées lors d'expériences de proies sentinelles. Notre pipeline peut être utilisé pour détecter, compter et étudier les interactions physiques entre différents animaux. Sur notre jeu de données illustratif, le modèle atteint 86, 6% de précision et 88, 9% de rappel au niveau de l'espèce, voire de la caste pour les fourmis. Le jeu de données d'entraînement a demandé moins de 10 heures de labellisation. A partir des sorties du pipeline, il est possible d'étudier les réseaux d'interactions trophiques et non‐trophiques qui décrivent la communauté animale étudiée. CORIGAN repose sur des propriétés générales des animaux détectés et peut être utilisé pour de nombreuses applications et études. Ici nous étudions des invertébrés sur des images haute‐résolution mais des traitements similaires peuvent, par exemple, être appliqués pour l'étude d'animaux de plus grande taille sur des images satellites ou de drones.