Exploiting Light Directionality for Image‐Based 3D Reconstruction of Non‐Collaborative Surfaces. (7th March 2022)

• Record Type: Journal Article
• Authors: Karami, Ali; Menna, Fabio; Remondino, Fabio; Varshosaz, Masood
• Is Part Of: Photogrammetric record. Volume 37:Number 177(2022)
• Page Start: 111
• Page End: 138
• Publication Date: 2022-03-07
• Subjects: high‐resolution 3D reconstruction -- light directionality -- photogrammetry -- photometric stereo -- quality control; Photogrammetry -- Periodicals; 526.982
• DOI: 10.1111/phor.12400
• Languages: English
• ISSNs: 0031-868X

Abstract

Abstract: Three‐dimensional (3D) measurement of non‐collaborative surfaces is still an open research topic. This paper investigates and quantifies for the first time the effect of light directionality and fusion of multiple images as a method to improve the quality of photogrammetric 3D reconstruction. For this aim, an image acquisition system that employs multiple light sources was developed to highlight the roughness and microstructures of the object under investigation. Images were captured at various grazing angles to highlight the local surface roughness and microstructures. Individual point clouds, created using images taken at different grazing angles, were produced using dense image‐matching techniques. These point clouds were then compared against different 3D photogrammetric reconstructions obtained from a pre‐processing of the acquired images based on diffuse lighting, median and average images. Experiments showed that exploiting light directionality significantly improves image‐matching quality. Furthermore, depending on the light direction, the root mean square (RMS) error of the 3D surfaces obtained using the proposed system were up to 50% less than those created by traditional diffuse lighting. Abstract : The paper investigates the effect of light directionality and the fusion of multiple images to improve the quality of photogrammetric 3D reconstruction of complex surfaces (textureless and shiny). We present an image capturing system that utilizes multiple light sources to highlight roughness which is not visible in traditional diffuse images. Roughness is then used as a chiaroscuro texture in image orientation and multi‐view stereo algorithms to ensure effective matching procedures. Presented results show how light directionality can improve image matching quality with respect to diffuse lighting. Résumé: La mesure 3D de surfaces non coopératives reste un sujet de recherche ouvert. Cet article vise à étudier et quantifier, pour la première fois, l'effet de la directionnalité de la lumière et de la fusion d'images pour améliorer la qualité de la reconstruction photogrammétrique 3D. Dans ce but, nous avons développé un système d'acquisition d'images qui utilise des sources lumineuses multiples pour mettre en évidence les rugosités et les microstructures de l'objet étudié. Les images sont capturées à différents angles d´incidence pour mettre en évidence la rugosité et les microstructures locales de la surface. Des nuages de points individuels, créés à partir d'images prises depuis différents points de vue, sont produits en utilisant des techniques de corrélation denses d'images. Ces nuages de points sont ensuite comparés à des reconstructions photogrammétriques 3D obtenues à partir du prétraitement des images acquises basé sur l'éclairage diffus, la médiane et la moyenne des images. Les tests montrent que l'exploitation de la directionnalité de la lumière améliore considérablement la qualité de la mise en correspondance des images. En outre, selon la direction de la lumière, l´erreur quadratique moyenne obtenue à l'aide du système proposé est jusqu'à 50 % inférieure à celle obtenue avec un éclairage diffus traditionnel. Zusammenfassung: Die 3D‐Vermessung von nicht‐kollaborativen Oberflächen ist immer noch Gegenstand der Forschung. Dieser Beitrag untersucht und quantifiziert zum ersten Mal die Auswirkung von Lichtrichtung und Fusion von Mehrfachaufnahmen als Methode zur Verbesserung der Qualität der photogrammetrischen 3D‐Rekonstruktion. Hierzu wurde ein Bildaufnahmesystem entwickelt, das mehrere Lichtquellen zur Betonung von Rauheit und Mikrostrukturen der untersuchten Objekte nutzt. Bilder werden aus verschiedenen Streifwinkeln aufgenommen, um lokale Oberflächenrauheit und Mikrostrukturen zu betonen. Mit Hilfe einer dichten Bildzuordnung wurde individuelle Punktwolken aus Bilddaten mit verschiedenen Streifwinkeln generiert. ‚Diese Punktwolken werden dann mit verschiedenen 3D Rekonstruktionen, basierend auf photogrammetrischen Techniken verglichen. Diese stützen sich u.a. auf eine Vorverarbeitung der erfassten Bilder mit Hilfe von diffuser Beleuchtung, Median‐ und Mittelwertbildern. Die Ergebnisse der Untersuchungen belegen, dass die Nutzung der Lichtrichtung, die Bildzuordnungsqualität signifikant erhöht. Abhängig von der Lichtrichtung, kann der RMS Fehler der 3D Oberflächen mit diesem System bis zu 50% geringer sein, als mit der traditionellen diffusen Beleuchtungsmethode. Resumen: La medición 3D de superficies no colaborativas sigue siendo un tema de investigación abierto. Este artículo tiene como objetivo investigar y cuantificar, por primera vez, el efecto de la direccionalidad de la luz y la fusión de múltiples imágenes como método para mejorar la calidad de la reconstrucción fotogramétrica 3D. Con este objetivo, desarrollamos un sistema de adquisición de imágenes que emplea múltiples fuentes de luz para resaltar la rugosidad y las microestructuras del objeto bajo investigación. Las imágenes se captan desde varios ángulos rasantes para resaltar la rugosidad de la superficie local y las microestructuras. Las nubes de puntos individuales, creadas con imágenes tomadas desde diferentes ángulos rasantes, se generan utilizando técnicas de correspondencia densa de puntos entre imágenes. Estas nubes de puntos se comparan luego con diferentes reconstrucciones fotogramétricas en 3D obtenidas a partir de un proceso previo de las imágenes adquiridas basado en iluminación difusa, mediana y promedio. Los experimentos muestran que explotar la direccionalidad de la luz mejora significativamente la calidad de la correspondencia de imágenes. Además, dependiendo de las direcciones de la luz, los errores RMS de las superficies 3D obtenidas con el sistema propuesto son hasta un 50% menores que los creados con la iluminación difusa tradicional. 摘要: 非合作表面的三维测量仍然是一个开放的研究课题。本文旨在首次研究和量化光的方向性和多影像融合对于提高摄影测量三维重建质量的效果。为此，我们开发了一个影像采集系统，采用多个光源来突出被调查物体的粗糙度和微观结构。以不同的视角拍摄多张影像，以突出局部的表面粗糙度和微观结构。使用不同视角拍摄的影像通过密集匹配技术创建单个点云，然后将这些点云与基于漫反射照明、中值和平均等不同方法对影像进行预处理后获得的三维摄影测量重建结果进行比较。实验表明，利用光的方向性可以显著提高影像匹配的质量。此外，根据光线方向的不同，使用所提出的系统获得的三维表面的均方根误差比传统的漫反射照明所产生的误差低50%左右。