Large‐scale, image‐based tree species mapping in a tropical forest using artificial perceptual learning. Issue 4 (20th January 2021)

• Record Type: Journal Article
• Authors: Tang, Chengliang; Uriarte, María; Jin, Helen; C. Morton, Douglas; Zheng, Tian
• Editors: Ellison, Aaron
• Is Part Of: Methods in ecology and evolution. Volume 12:Issue 4(2021)
• Page Start: 608
• Page End: 618
• Publication Date: 2021-01-20
• Subjects: automatic species identification -- machine learning -- semantic segmentation -- species distribution -- weakly supervised learning; Ecology -- Periodicals; Evolution -- Periodicals; 577
• DOI: 10.1111/2041-210X.13549
• Languages: English
• ISSNs: 2041-210X

Abstract

Abstract: Information about the spatial distribution of species lies at the heart of many important questions in ecology. Logistical limitations and collection biases, however, limit the availability of such data at ecologically relevant scales. Remotely sensed information can alleviate some of these concerns, but presents challenges associated with accurate species identification and limited availability of field data for validation, especially in high diversity ecosystems such as tropical forests. Recent advances in machine learning offer a promising and cost‐efficient approach for gathering a large amount of species distribution data from aerial photographs. Here, we propose a novel machine learning framework, artificial perceptual learning (APL), to tackle the problem of weakly supervised pixel‐level mapping of tree species in forests. Challenges arise from limited availability of ground labels for tree species, lack of precise segmentation of tree canopies and misalignment between visible canopies in the aerial images and stem locations associated with ground labels. The proposed APL framework addresses these challenges by constructing a workflow using state‐of‐the‐art machine learning algorithms. We develop and illustrate the proposed framework by implementing a fine‐grain mapping of three species, the palm Prestoea acuminata and the tree species Cecropia schreberiana and Manilkara bidentata, over a 5, 000‐ha area of El Yunque National Forest in Puerto Rico. These large‐scale maps are based on unlabelled high‐resolution aerial images of unsegmented tree canopies. Misaligned ground‐based labels, available for <1% of these images, serve as the only weak supervision. APL performance is evaluated using ground‐based labels and high‐quality human segmentation using Amazon Mechanical Turk, and compared to a basic workflow that relies solely on labelled images. Receiver operating characteristic (ROC) curves and Intersection over Union (IoU) metrics demonstrate that APL substantially outperforms the basic workflow and attains human‐level cognitive economy, with 50‐fold time savings. For the palm and C. schreberiana, the APL framework has high pixelwise accuracy and IoU with reference to human segmentations. For M . bidentata, APL predictions are congruent with ground‐based labels. Our approach shows great potential for leveraging existing data from global forest plot networks coupled with aerial imagery to map tree species at ecologically meaningful spatial scales. Resumen: La información sobre la distribución espacial de las especies es necesaria para poder abordar muchas cuestiones centrales en ecología. Sin embargo, las limitaciones logísticas y los sesgos de recolección limitan la disponibilidad de tales datos a escalas ecológicamente relevantes. La información obtenida por sensores remotos puede aliviar algunas de estas limitaciones, pero presenta desafíos asociados con la identificación precisa de especies y la disponibilidad limitada de datos de campo para validación, especialmente en ecosistemas de alta diversidad como los bosques tropicales. Avances recientes en el aprendizaje automático ofrecen un enfoque prometedor y rentable para recopilar una gran cantidad de datos sobre la distribución espacial de especies a partir de fotografías aéreas. Aquí, proponemos un nuevo marco de aprendizaje automático, el aprendizaje perceptivo artificial (APL), para abordar el problema del mapeo de especies de árboles en bosques bajo una situación de supervisión débil. Los desafíos surgen de la disponibilidad limitada de etiquetas de suelo para las especies de árboles, la falta de segmentación precisa de las copas de los árboles, y desalineación entre las copas visibles en las imágenes aéreas y las ubicaciones de los troncos asociadas con las etiquetas de suelo. El marco de APL aborda estos desafíos mediante la construcción de un flujo de trabajo basado en algoritmos de aprendizaje automático de última generación. Desarrollamos e ilustramos el marco propuesto mediante la implementación de un mapeo a grano fino de tres especies, la palma Prestoea acuminata y los arbóles Cecropia schreberiana y Manilkara bidentata, en un área de 5, 000 hectáreas del Bosque Nacional El Yunque en Puerto Rico. Estos mapas a gran escala se basan en imágenes aéreas de alta resolución. Las etiquetas terrestres que sirven como única supervisión están disponibles para menos del 1% de estas imágenes. El rendimiento de APL se evalúa mediante etiquetas terrestres y segmentación humana de alta calidad obtenida a través de Amazon Mechanical Turk, y se compara con un flujo de trabajo básico que se basa únicamente en imágenes etiquetadas. Las curvas de características operativas del receptor (ROC) y las métricas de intersección sobre unión (IoU) demuestran que APL supera sustancialmente el flujo de trabajo básico y logra una economía cognitiva a nivel humano, con un ahorro de tiempo de 50 veces. Para la palma y C. schreberiana, el marco APL obtiene una alta precisión con referencia a las segmentaciones humanas. Para M. bidentata, las predicciones de APL son congruentes con las etiquetas terrestres. Artificial perceptual learning demuestra un gran potencial para aprovechar los datos existentes de las redes de parcelas forestales globales junto con imágenes aéreas para mapear especies de árboles a escalas espaciales ecológicamente significativas.