A primer on partially observable Markov decision processes (POMDPs). Issue 11 (14th September 2021)

• Record Type: Journal Article
• Authors: Chadès, Iadine; Pascal, Luz V.; Nicol, Sam; Fletcher, Cameron S.; Ferrer‐Mestres, Jonathan
• Is Part Of: Methods in ecology and evolution. Volume 12:Issue 11(2021)
• Page Start: 2058
• Page End: 2072
• Publication Date: 2021-09-14
• Subjects: AI -- decisions -- partially observable Markov decision processes -- stochastic dynamic programming -- uncertainty; Ecology -- Periodicals; Evolution -- Periodicals; 577
• DOI: 10.1111/2041-210X.13692
• Languages: English
• ISSNs: 2041-210X

Abstract

Abstract: Partially observable Markov decision processes (POMDPs) are a convenient mathematical model to solve sequential decision‐making problems under imperfect observations. Most notably for ecologists, POMDPs have helped solve the trade‐offs between investing in management or surveillance and, more recently, to optimise adaptive management problems. Despite an increasing number of applications in ecology and natural resources, POMDPs are still poorly understood. The complexity of the mathematics, the inaccessibility of POMDP solvers developed by the Artificial Intelligence (AI) community, and the lack of introductory material are likely reasons for this. We propose to bridge this gap by providing a primer on POMDPs, a typology of case studies drawn from the literature, and a repository of POMDP problems. We explain the steps required to define a POMDP when the state of the system is imperfectly detected (state uncertainty) and when the dynamics of the system are unknown (model uncertainty). We provide input files and solutions to a selected number of problems, reflect on lessons learned applying these models over the last 10 years and discuss future research required on interpretable AI. Partially observable Markov decision processes are powerful decision models that allow users to make decisions under imperfect observations over time. This primer will provide a much‐needed entry point to ecologists. Resumen: Los procesos de decisión markovianos parcialmente observables (POMDPs por sus siglas en inglés), son modelos matemáticos usados para resolver problemas de decisiones secuenciales con observaciones imperfectas. Para los ecólogos, los POMDPs son útiles para mantener un balance entre la inversión para el control y administración, y para la vigilancia. Y, más recientemente, para optimizar problemas de control adaptativo (AM por sus siglas en inglés). A pesar del incremento de aplicaciones en ecología y administración de recursos naturales, los POMDPs son todavía poco conocidos. La complejidad de las operaciones matemáticas, el poco acceso a programas informáticos desarrollados por la comunidad de inteligencia artificial y la falta de material introductorio son probablemente las principales razones de ello. Proponemos difundir el uso de los POMDP mediante este manual, que incluye un conjunto de casos de estudio derivados de la literatura en conservación y ecología, y un repositorio digital de problemas modelados como POMDPs. También explicamos los pasos requeridos para definir un POMDP cuando no es posible detectar el estado actual del sistema (incertidumbre sobre el estado), y cuando la dinámica del sistema es desconocida (incertidumbre sobre el modelo). Proporcionamos un conjunto de ficheros que definen un problema modelado como un POMDP y sus soluciones para un selecto número de problemas. Reflexionamos sobre las lecciones aprendidas al aplicar estos modelos en los últimos 10 años, y finalmente, discutimos futuras direcciones de investigación sobre inteligencia artificial interpretable. Los POMDPs son avanzados modelos de decisión que permiten a los usuarios tomar decisiones bajo observaciones imperfectas y a lo largo del tiempo. Este manual facilita una introducción a los POMDP para ecólogos.