A unified framework for automated registration of point clouds, mesh surfaces and 3D models by using planar surfaces. (18th October 2022)

• Record Type: Journal Article
• Authors: Zhao, Yuan; Zhao, Hang; Radanovic, Marko; Khoshelham, Kourosh
• Is Part Of: Photogrammetric record. Volume 37:Number 180(2022)
• Page Start: 366
• Page End: 384
• Publication Date: 2022-10-18
• Subjects: cross‐form registration -- geometry‐based -- no initialisation -- plane segmentation -- point cloud registration; Photogrammetry -- Periodicals; 526.982
• DOI: 10.1111/phor.12428
• Languages: English
• ISSNs: 0031-868X

Abstract

Abstract: Registration of 3D spatial data and models is a fundamental task in applications such as mapping, positioning and virtual/augmented reality. Most of the existing 3D registration methods such as iterative closest point (ICP) and recent learning‐based methods are dedicated to point cloud registration, and rely heavily on point‐wise correspondences, which limits their ability to address registration problems across different data types. Since man‐made objects and buildings usually contain many planar surfaces, it is possible to use the planes for accurate registration of different data and models. In this paper, a unified registration framework is proposed consisting of a plane extraction module, which can extract planes from various forms of spatial data such as point clouds or surface‐based 3D models, and a registration module, which performs automatic registration based on the extracted planes. Tests show that the proposed method can handle small‐overlap registration across all these data types with high success rates. The result of point cloud registration also indicates that the method achieves better accuracy as compared to ICP. Abstract : Résumé: Le recalage de données et de modèles spatiaux 3D est une opération fondamentale dans des applications comme la cartographie, le positionnement et la réalité virtuelle/augmentée. La plupart des méthodes de recalage 3D existantes, telles que la méthode du point le plus proche itéré (ICP) et les méthodes récentes basées sur l'apprentissage, sont dédiées au recalage de nuages de points et reposent essentiellement sur des correspondances ponctuelles, ce qui limite leur capacité à résoudre les problèmes de recalage pour des données de types différents. Étant donné que les objets artificiels et les bâtiments contiennent généralement de nombreuses surfaces planes, il est possible d'utiliser les plans pour un recalage précis de différents modèles et données. Cet article propose une méthode unifiée de recalage, composée d'un module d'extraction de plans, qui peut extraire des plans de différentes formes de données spatiales telles que les nuages de points ou les modèles surfaciques 3D, et d'un module de recalage, qui effectue un recalage automatique basé sur les plans extraits. Les tests montrent que la méthode proposée peut effectuer le recalage en présence de petits chevauchements sur tous ces types de données avec des taux de succès élevés. Le résultat du recalage des nuages de points indique également que cette méthode est plus précise que la méthode ICP. Zusammenfassung: Die Registrierung von räumlichen 3D‐Daten und ‐Modellen ist eine grundlegende Aufgabe in Anwendungen wie Kartierung, Positionierung und virtuelle/erweiterte Realität. Die meisten der bestehenden 3D‐Registrierungsmethoden wie Iterative Closest Point (ICP) und neuere lernbasierte Methoden sind der Punktwolkenregistrierung gewidmet und beruhen stark auf punktweisen Korrespondenzen, was ihre Fähigkeit einschränkt, Registrierungsprobleme über verschiedene Datentypen hinweg anzugehen. Da von Menschenhand geschaffene Objekte und Gebäude normalerweise viele planare Oberflächen enthalten, ist es möglich, die Ebenen für eine genaue Registrierung verschiedener Daten und Modelle zu verwenden. In diesem Artikel wird ein vereinheitlichtes Registrierungs‐Framework vorgeschlagen, das aus einem Ebenenextraktionsmodul besteht, das Ebenen aus verschiedenen Formen von räumlichen Daten wie Punktwolken oder oberflächenbasierten 3D‐Modellen extrahieren kann, und einem Registrierungsmodul, das eine automatische Registrierung auf der Grundlage der extrahierte Flugzeuge. Tests zeigen, dass das vorgeschlagene Verfahren eine Registrierung mit geringer Überlappung über alle diese Datentypen hinweg mit hohen Erfolgsraten handhaben kann. Das Ergebnis der Punktwolkenregistrierung zeigt auch, dass das Verfahren im Vergleich zu ICP eine bessere Genauigkeit erreicht. Resumen: La captura y generación de datos y modelos espaciales 3D es una tarea fundamental en aplicaciones de cartografía, posicionamiento y realidad virtual o aumentada. La mayoría de los métodos de registro 3D existentes, como el punto más cercano iterativo (ICP) y los métodos recientes basados en el aprendizaje, están orientados al registro de nubes de puntos y en gran medida dependen de las correspondencias de puntos, lo que limita su capacidad para abordar los problemas de registro en tipos de datos diferentes. Dado que los objetos y edificios hechos por el hombre suelen contener muchas superficies planas, es posible usar los planos para el registro preciso de datos diversos y modelos. En este documento, se propone un método de registro unificado que consta de un módulo de extracción de planos, que puede extraer planos de diversos tipos de datos espaciales, como nubes de puntos o modelos 3D basados en superficies, y un módulo de registro, que realiza un registro automático basado en los planos extraídos. Las pruebas muestran que el método propuesto puede manejar el registro de todos los tipos de datos a pesar de tener escasa superposición con tasas de éxito elevadas. El resultado del registro de nubes de puntos también indica que el presente método alcanza mayor precisión en comparación con ICP. 摘要: 三维空间信息配准在诸如高精地图，定位以及VR/AR等领域有广泛应用。多数现有的3D配准方法如ICP和近期的基于机器学习的配准算法均只能完成点云的配准，且此类算法多依赖于点对点相关性，因此很难拓展到除点云外的其他形式的空间信息的配准。在包含大量人造物体或建筑的应用场景中通常存在很多平面结构，这些平面信息可以用于将存储于不同格式的空间信息和模型进行配准。本文提出的统一配准架构包含两个模块: 基于从点云和多边形3D模型等不同格式中提取平面信息的平面提取模块和自动将平面信息配准的配准模块。实验结果显示此配准方法可以实现不同格式数据间的低重合度配准并获得高配准成功率。在点云配准测试中的结果表明此方法可以得到高于ICP的准确度。