Exploring human–nature interactions in national parks with social media photographs and computer vision. Issue 2 (22nd March 2021) - Väisänen, Tuomas; Heikinheimo, Vuokko; Hiippala, Tuomo; Toivonen, Tuuli
Abstract: Understanding the activities and preferences of visitors is crucial for managing protected areas and planning conservation strategies. Conservation culturomics promotes the use of user‐generated online content in conservation science. Geotagged social media content is a unique source of in situ information on human presence and activities in nature. Photographs posted on social media platforms are a promising source of information, but analyzing large volumes of photographs manually remains laborious. We examined the application of state‐of‐the‐art computer‐vision methods to studying human–nature interactions. We used semantic clustering, scene classification, and object detection to automatically analyze photographs taken in Finnish national parks by domestic and international visitors. Our results showed that human–nature interactions can be extracted from user‐generated photographs with computer vision. The different methods complemented each other by revealing broad visual themes related to level of the data set, landscape photogeneity, and human activities. Geotagged photographs revealed distinct regional profiles for national parks (e.g., preferences in landscapes and activities), which are potentially useful in park management. Photographic content differed between domestic and international visitors, which indicates differences in activities and preferences. Information extracted automatically from photographs can help identify preferences among diverse visitor groups, which can be used to create profiles of national parks for conservation marketing and to support conservation strategies that rely on public acceptance. The application of computer‐vision methods to automatic content analysis of photographs should be explored further in conservation culturomics, particularly in combination with rich metadata available on social media platforms. Abstract : Article impact statement : Social media photos analyzed with computer‐vision methods provide valuable information on human–nature interactions. Abstract : Exploración de las Interacciones Humano‐Naturaleza en los Parques Nacionales por Medio de Fotografías en Redes Sociales y Visión por Computadora Resumen: La comprensión de las actividades y preferencias de los visitantes es crucial para el manejo de las áreas protegidas y la planeación de las estrategias de conservación. La culturomia de la conservación promueve el uso del contenido en línea generado por usuarios en las ciencias de la conservación. El contenido de redes sociales etiquetado geográficamente es una fuente única de información in situ sobre la presencia humana y sus actividades en la naturaleza. Las fotografías publicadas en las redes sociales son una fuente prometedora de información, aunque el análisis manual de grandes volúmenes de fotografías sigue siendo laborioso. Evaluamos la aplicación de algunos métodos de punta de visión por computadora para estudiar las interacciones humano‐naturaleza. Usamos agrupaciones semánticas, clasificación de escenas y detección de objetos para analizar automáticamente las fotografías tomadas por visitantes domésticos e internacionales dentro de los parques nacionales finlandeses. Nuestros resultados mostraron que las interacciones humano‐naturaleza pueden extraerse de fotografías generadas por usuarios mediante la visión por computadora. Los diferentes métodos se complementaron unos a otros al revelar temas visuales generalizados relacionados con el nivel del conjunto de datos, fotogeneidad del paisaje y las actividades humanas. Las fotografías geoetiquetadas revelaron unos perfiles regionales distintos para los parques nacionales (p. ej.: preferencias en los paisajes y las actividades), que son potencialmente útiles para el manejo de los parques. El contenido fotográfico difirió entre los visitantes domésticos y los internacionales, lo cual indica diferencias en sus actividades y preferencias. La información extraída automáticamente de las fotografías puede ayudar a identificar las preferencias entre los grupos diversos de visitantes, lo cual puede usarse para crear un perfil de cada parque nacional para su uso en el mercadeo de la conservación y para apoyar a las estrategias de conservación que dependen de la aceptación pública. La aplicación de los métodos de visión por computadora al análisis automático de contenido de las fotografías debería explorarse mucho más en la culturomia de la conservación, particularmente en combinación con la riqueza de metadatos disponibles en las plataformas sociales. 摘要: 了解游客的活动及喜好对保护区管理和保护策略的制定至关重要。保护文化组学提倡在保护科学中使用用户生成发布的在线内容, 而有地理标签的社交媒体内容正是人们在自然中出现和活动的现场信息的独特来源。虽然发布在社交媒体平台上的照片是潜在的信息来源, 但人工分析大量照片仍十分费力。本研究探索了最先进的计算机视觉方法在研究人与自然互动方面的应用。我们使用语义聚类、情景分类和目标检测等方法对国内外游客在芬兰国家公园拍摄的照片进行了自动分析, 结果表明可以用计算机视觉从用户生成发布的照片中提取人与自然的互动信息。不同方法通过揭示与数据集水平、景观摄影效果和人类活动相关的广泛的视觉主题而相互补充。带有地理标记的照片展示了国家公园不同区域的情况 (如人们对景观和活动的偏好), 这可以用于国家公园的管理。国内外游客摄影内容的差异也体现了他们活动内容和喜好的差异。从照片中自动提取的信息可以帮助确定不同游客群体的偏好, 这可以用来构建国家公园的资料以用于保护宣传, 还可以支持依赖于公众接受的保护策略。我们认为, 保护文化组学应进一步探索计算机视觉方法在自动分析照片内容中的应用, 特别是与社交媒体平台上丰富的元数据相结合。 [翻译: 胡怡思; 审校: 聂永刚]