Imputation of incomplete large‐scale monitoring count data via penalized estimation. Issue 6 (6th April 2021)

• Record Type: Journal Article
• Authors: Dakki, Mohamed; Robin, Geneviève; Suet, Marie; Qninba, Abdeljebbar; El Agbani, Mohammed A.; Ouassou, Asmâa; El Hamoumi, Rhimou; Azafzaf, Hichem; Rebah, Sami; Feltrup‐Azafzaf, Claudia; Hamouda, Naoufel; Ibrahim, Wed A. L.; Asran, Hosni H.; Elhady, Amr A.; Ibrahim, Haitham; Etayeb, Khaled; Bouras, Essam; Saied, Almokhtar; Glidan, Ashrof; Habib, Bakar M.; Sayoud, Mohamed S.; Bendjedda, Nadjiba; Dami, Laura; Deschamps, Clemence; Gaget, Elie; Mondain‐Monval, Jean‐Yves; Defos du Rau, Pierre
• Is Part Of: Methods in ecology and evolution. Volume 12:Issue 6(2021)
• Page Start: 1031
• Page End: 1039
• Publication Date: 2021-04-06
• Subjects: biodiversity monitoring -- high‐dimensional statistics -- incomplete count data -- missing data imputation -- penalized estimation -- waterbird trends in North Africa; Ecology -- Periodicals; Evolution -- Periodicals; 577
• DOI: 10.1111/2041-210X.13594
• Languages: English
• ISSNs: 2041-210X

Abstract

Abstract: In biodiversity monitoring, large datasets are becoming more and more widely available and are increasingly used globally to estimate species trends and conservation status. These large‐scale datasets challenge existing statistical analysis methods, many of which are not adapted to their size, incompleteness and heterogeneity. The development of scalable methods to impute missing data in incomplete large‐scale monitoring datasets is crucial to balance sampling in time or space and thus better inform conservation policies. We developed a new method based on penalized Poisson models to impute and analyse incomplete monitoring data in a large‐scale framework. The method allows parameterization of (a) space and time factors, (b) the main effects of predictor covariates, as well as (c) space–time interactions. It also benefits from robust statistical and computational capability in large‐scale settings. The method was tested extensively on both simulated and real‐life waterbird data, with the findings revealing that it outperforms six existing methods in terms of missing data imputation errors. Applying the method to 16 waterbird species, we estimated their long‐term trends for the first time at the entire North African scale, a region where monitoring data suffer from many gaps in space and time series. This new approach opens promising perspectives to increase the accuracy of species‐abundance trend estimations. We made it freely available in the r package 'lori ' (https://CRAN.R‐project.org/package=lori ) and recommend its use for large‐scale count data, particularly in citizen science monitoring programmes. Résumé: Dans le contexte du suivi de la biodiversité, de très grands jeux de données sont aujourd'hui disponibles et de plus en plus utilisés à l'échelle mondiale pour estimer les tendances des espèces ainsi que leur état de conservation. Ces jeux de données de grande échelle remettent en question les méthodes d'analyses statistiques existantes, puisque beaucoup ne sont pas adaptées à leur taille, leur hétérogénéité et leur caractère incomplet. Le développement de nouvelles méthodes permettant d'imputer les valeurs manquantes dans les données de suivis de grande échelle est donc essentiel pour équilibrer l'échantillonnage dans le temps ou dans l'espace, et ainsi contribuer à mieux définir les politiques de conservation. Nous avons développé une nouvelle méthode basée sur des modèles de Poisson pénalisés pour imputer et analyser les données manquantes des suivis de grande échelle. Cette méthode permet de paramétrer (a) les effets spatiaux et temporels, (b) les effets principaux des covariables prédictives, ainsi que (c) les interactions spatio‐temporelles. Elle présente également une performance de calcul satisfaisante lors de l'estimation de nombreux paramètres. La méthode a été largement testée sur des données simulées et réelles de comptages d'oiseaux d'eau ; les résultats révèlent qu'elle surpasse 6 méthodes existantes en termes d'erreurs d'imputation de données manquantes. En appliquant cette méthode sur 16 espèces d'oiseaux d'eau, nous avons estimé pour la première fois leur tendance sur le long terme à l'échelle de l'Afrique du Nord, une région où les données de suivi souffrent de nombreuses lacunes, spatiales et temporelles. Cette nouvelle approche ouvre des perspectives prometteuses dans l'amélioration de la précision des estimations des tendances d'abondance d'espèces. La méthode est disponible dans une librairie R libre appelée «lori» (https://CRAN.R‐project.org/package=lori ), et nous recommandons son utilisation pour les données de comptage à grande échelle, en particulier dans les programmes de sciences participatives sur les suivis d'espèces.