An Improved Multi‐Task Pointwise Network for Segmentation of Building Roofs in Airborne Laser Scanning Point Clouds. (13th July 2022)

• Record Type: Journal Article
• Authors: Zhang, Chaoquan; Fan, Hongchao
• Is Part Of: Photogrammetric record. Volume 37:Number 179(2022)
• Page Start: 260
• Page End: 284
• Publication Date: 2022-07-13
• Subjects: airborne laser scanning (ALS) point clouds -- data‐set -- instance segmentation -- roof plane segmentation; Photogrammetry -- Periodicals; 526.982
• DOI: 10.1111/phor.12420
• Languages: English
• ISSNs: 0031-868X

Abstract

Abstract: Roof plane segmentation is an essential step in the process of 3D building reconstruction from airborne laser scanning (ALS) point clouds. The existing approaches either rely on human intervention to select the appropriate input parameters for different data‐sets or they are not automatic and efficient. To tackle these issues, an improved multi‐task pointwise network is proposed to simultaneously segment instances (that is, individual roof planes) and semantics (that is, groups of roof planes with similar geometric shapes) in point clouds. PointNet++ is used as a backbone network to extract robust features in the first step. The features from semantics branch are then added to the instance branch to facilitate the learning of instance embeddings. After that, a feature fusion module is added to the semantics branch to acquire more discriminative features from the backbone network. To increase the accuracy of semantic predictions, fused semantic features of the points belonging to the same instance are aggregated together. Finally, a mean‐shift clustering algorithm is employed on instance embeddings to produce the instance predictions. Furthermore, a new roof data‐set (called RoofNTNU) is established by taking ALS point clouds as training data for automatic and more general segmentation. Experiments on the new roof data‐set show that the method achieves promising segmentation results: the mean precision (mPrec) of 96.2% for the instance segmentation task and mean accuracy (mAcc) of 94.4% for the semantic segmentation task. Abstract : Zhang et al. propose an improved multi‐task pointwise network to simultaneously segment instances (that is, individual roof planes) and semantics (that is, groups of roof planes with similar geometric shapes) in point clouds. A new roof data‐set (called RoofNTNU) is established by taking standard airborne laser scanning (ALS) point clouds as training data for automatic and more general segmentation. Experiments on the RoofNTNU data‐set show that the proposed method achieves promising results on both instance and semantic segmentation tasks. Résumé: La segmentation de plans de toits est une étape essentielle dans le processus de reconstruction 3D de bâtiments à partir de nuages de points de laser aéroporté à balayage. Les approches existantes s´appuient sur une intervention humaine pour sélectionner les paramètres d'entrée appropriés pour différents jeux de données, ou bien elles ne sont pas automatiques ni efficaces. Pour résoudre ces problèmes, un système multitâche est proposé pour segmenter simultanément les objets (c'est‐à‐dire les plans de toits individuels) et leur sémantique (c'est‐à‐dire les groupes de plans de toits ayant des formes géométriques similaires) dans les nuages de points. PointNet++ est utilisé comme système de base pour extraire des caractéristiques robustes dans la première étape. Ensuite, les caractéristiques issues de la branche sémantique sont ajoutées à la branche objets pour l'apprentissage de l'intégration d´objets. Un module de fusion de caractéristiques est ensuite ajouté à la branche sémantique pour acquérir des caractéristiques plus discriminantes à partir du système de base. Afin d´augmenter la précision des prédictions sémantiques, les caractéristiques sémantiques fusionnées des points appartenant au même objet sont fusionnées. Enfin, un algorithme de décalage moyen est appliqué aux fusions d´objets pour produire les prédictions. En outre, nous avons créé un nouveau jeu de données de toits (appelé RoofNTNU) où les nuages de points laser servent de données d'entraînement pour produire une segmentation automatique et plus générale. Les expériences menées sur ce jeu de données montrent que notre méthode obtient des résultats de segmentation prometteurs : une précision moyenne de 96, 2% pour la tâche de segmentation d´objets et une exactitude moyenne de 94, 4% pour la tâche de segmentation sémantique. Zusammenfassung: Die Segmentierung der Dachebene ist ein wesentlicher Schritt im Prozess der 3D‐Gebäuderekonstruktion aus luftgestützten Laserscanning‐Punktwolken (ALS). Die bestehenden Ansätze verlassen sich entweder auf menschliches Eingreifen, um geeignete Eingabeparameter für verschiedene Datensätze auszuwählen, oder sie sind nicht automatisch und effizient. Um diese Probleme anzugehen, wird ein verbessertes punktweises Multitasking‐Netzwerk vorgeschlagen, um gleichzeitig Instanzen (d. h. einzelne Dachebenen) und Semantik (d. h. Gruppen von Dachebenen mit ähnlichen geometrischen Formen) in Punktwolken zu segmentieren. PointNet++ wird als Backbone‐Netzwerk verwendet, um im ersten Schritt robuste Merkmale zu extrahieren. Dann werden die Merkmale aus dem Semantikzweig dem Instanzzweig hinzugefügt, um das Lernen von Instanzeinbettungen zu erleichtern. Danach wird dem Semantikzweig ein Merkmalsfusionsmodul hinzugefügt, um diskriminierendere Merkmale aus dem Backbone‐Netzwerk zu erhalten. Um die Genauigkeit semantischer Vorhersagen zu erhöhen, werden fusionierte semantische Merkmale der Punkte, die zu derselben Instanz gehören, zusammen aggregiert. Schließlich wird ein Mean‐Shift‐Clustering‐Algorithmus auf Instanz‐Einbettungen angewendet, um die Instanz‐Vorhersagen zu erzeugen. Darüber hinaus erstellen wir einen neuen Dachdatensatz (genannt RoofNTNU), indem wir ALS‐Punktwolken als Trainingsdaten für die automatische und allgemeinere Segmentierung verwenden. Experimente mit unserem neuen Dachdatensatz zeigen, dass unsere Methode vielversprechende Segmentierungsergebnisse erzielt: die mittlere Genauigkeit (mPrec) von 96, 2 % für die Segmentierungsaufgabe und die mittlere Genauigkeit (mAcc) von 94, 4 % für die semantische Segmentierungsaufgabe. Resumen: La segmentación de planos de tejados es un paso esencial en el proceso de reconstrucción de edificios en 3D a partir de nubes de puntos de escaneo láser aerotransportado (ALS). Los enfoques existentes se basan en la intervención humana en la selección de los parámetros de entrada apropiados para diferentes conjuntos de datos, que no son automáticos ni eficientes. Para abordar estos problemas, se propone una red de puntos multitarea mejorada para segmentar simultáneamente instancias (es decir, planos de tejado individuales) y semántica (es decir, grupos de planos de tejado con formas geométricas similares) en la nube de puntos. PointNet++ se utiliza como red vertebradora para extraer características robustas en el primer paso. Luego, las funciones de la rama semántica se agregan a la rama de instancia para facilitar el aprendizaje de las inserciones de instancia. Después de eso, se agrega un módulo de fusión de características a la rama de semántica para adquirir características más discriminatorias de la red vertrebadora. Para aumentar la precisión de las predicciones semánticas, se agregan las características semánticas fusionadas de los puntos que pertenecen a la misma instancia. Finalmente, se emplea un algoritmo de agrupamiento de cambio medio en incrustaciones de instancias para producir las predicciones de instancias. Además, establecemos un nuevo conjunto de datos de tejado (llamado RoofNTNU) tomando nubes de puntos ALS como datos de entrenamiento para una segmentación automática y más general. Los experimentos en nuestro nuevo conjunto de datos de tejado muestran que nuestro método logra resultados de segmentación prometedores: la precisión media (mPrec) del 96, 2 % en la tarea de segmentación de instancias y la precisión media (mAcc) del 94, 4 % en la tarea de segmentación semántica. 摘要: 屋顶面片分割是从机载激光点云（ALS）重建三维建筑过程中必不可少的重要步骤。现有的方法要么依赖于人工干预来为不同的数据集选择合适的输入参数，要么它们不是自动和高效的。为了解决这些问题，本文提出了一种改进的多任务逐点网络，能够同时分割屋顶ALS点云中的实例（即单个屋顶平面）和语义（即具有相似几何形状的屋顶平面组）。PointNet++首先被用作主干网络来提取鲁棒的特征。接着，将语义分支上的特征添加到实例分支中，以促进实例嵌入特征（embeddings）的学习。之后，将特征融合模块添加到语义分支中，以从主干网络中获取更多有判别力的特征。为了提高语义预测的准确性，将属于同一实例的点的融合语义特征聚合在一起。最后，在实例嵌入特征上采用均值漂移（mean‐shift）聚类算法来产生最终的实例预测。此外，通过将ALS点云作为训练数据，本文创建了一个新的屋顶数据集（称为RoofNTNU），用于自动和更通用的屋顶面片分割。在新屋顶数据集上进行的实验表明，本文提出的方法取得了令人鼓舞的分割结果：实例分割任务的平均精确度（mPrec）为96.2%，语义分割任务的平均准确度（mAcc）为94.4%。