Road Curbs Extraction from Mobile Laser Scanning Point Clouds with Multidimensional Rotation‐Invariant Version of the Local Binary Pattern Features. (9th November 2022)

• Record Type: Journal Article
• Authors: Ma, Xinjiang; Yue, Dongjie; Liu, Rufei; Wang, Ruisheng; Zhu, Shaolin; Wang, Minye; Yu, Jiayong
• Is Part Of: Photogrammetric record. Volume 37:Number 180(2022)
• Page Start: 410
• Page End: 434
• Publication Date: 2022-11-09
• Subjects: mobile laser scanning (MLS) -- point clouds -- quantitative expression -- road curb -- rotation‐invariant version of the local binary pattern (LBPROT); Photogrammetry -- Periodicals; 526.982
• DOI: 10.1111/phor.12431
• Languages: English
• ISSNs: 0031-868X

Abstract

Abstract: Road curb is one of the important components of road information, and its high‐precision information is significant for the development of autonomous driving, intelligent transportation and smart cities. A mobile laser scanning (MLS) system can acquire high‐precision and high‐density road three‐dimensional (3D) point clouds data, which has the advantages of high efficiency, low cost and non‐contact. However, how to extract accurate road information from the massive and disordered point clouds is one of the current research priorities and difficulties. This paper presents a new method to extract the road curbs from the MLS point clouds. The proposed method mainly includes three steps: pre‐processing, road curbs extraction and vectorisation. Pre‐processing obtains the ground, including road subsection and ground identification. Road curbs are first quantitatively represented by the rotation‐invariant version of the local binary pattern (LBPROT) values in three dimensions, including spatial elevation mode, spatial dispersion mode and spatial shape mode, and then they are extracted by a multidimensional LBPROT features semantic recognition model. Vectorised road curb polylines are connected by accurate road curbs points, which are obtained through simplification and denoising. The proposed method was tested on two large‐scale datasets collected from arterial roads and expressways, respectively. The precision of the results was > 95%, recall was > 90% and the F1 score was > 0.93. The experimental results show that the proposed method can effectively extract road curbs in different environments and has robust adaptability. Abstract : The features of road curbs, including 3D shape, spatial distribution and the "unilateral continuity", have been fully studied and analyzed. Three improved LBPROT operators are proposed to quantitatively express the road curbs in three dimensions based on the "unilateral continuity". Then road curb points are extracted by a multi‐dimensional LBPROT features semantic recognition model, and the vectorized road curb polylines are connected by accurate road curbs points. Résumé: La bordure de la route est l'une des composantes importantes de l'information routière, requise avec une haute précision pour le développement de la conduite autonome, du transport intelligent et des villes intelligentes. Le système de balayage laser mobile (MLS) peut acquérir des nuages de points tridimensionnels (3D) de haute précision et de haute densité, ce qui présente les avantages d'une grande efficacité, d'un faible coût et de l'absence de contact. Cependant, l'extraction d'informations routières précises à partir de nuages de points volumineux et désordonnés est l'une des défis de la recherche actuelle. Cet article présente une nouvelle méthode pour l´extraction des bordures de route dans des nuages de points MLS. La méthode proposée comprend trois étapes principales : le prétraitement, l'extraction des bordures de route et la vectorisation. 1) Le prétraitement consiste à délimiter la route et identifier le sol. 2) Les bordures de route sont d'abord représentées quantitativement par la version invariante par rotation des valeurs du motif binaire local (LBPROT) en trois dimensions, y compris le mode d'élévation spatiale, le mode de dispersion spatiale et le mode de forme spatiale, puis elles sont extraites par un modèle de reconnaissance sémantique multidimensionnel des caractéristiques du LBPROT. 3) Les polylignes de bordures de route vectorisées sont connectées par des points de bordures de route précis, qui sont obtenus par simplification et débruitage. La méthode proposée a été testée sur deux ensembles de données à grande échelle collectés respectivement sur des routes artérielles et des voies rapides. La précision des résultats est supérieure à 95 %, le rappel est supérieur à 90 % et le F1‐score est supérieur à 0, 93. Les résultats expérimentaux montrent que la méthode proposée permet d'extraire efficacement les bordures de route dans différents environnements et qu'elle possède une capacité d'adaptation robuste. Zusammenfassung: Bordsteinkanten sind eine der wichtigsten Komponenten von Straßeninformationen, und ihre hochpräzisen Informationen sind für die Entwicklung von autonomem Fahren, intelligentem Transport und intelligenten Städten von Bedeutung. Das mobile Laserscanning‐System (MLS) kann hochpräzise und hochdichte dreidimensionale (3D) Punktwolkendaten von Straßen erfassen, was die Vorteile hoher Effizienz, geringer Kosten und berührungsloser Nutzung bietet. Wie man genaue Straßeninformationen aus den massiven und ungeordneten Punktwolken extrahiert, ist jedoch eine der aktuellen Forschungsprioritäten und ‐schwierigkeiten. Dieses Papier stellt eine neue Methode vor, um die Straßenbordsteine aus den MLS‐Punktwolken zu extrahieren. Das vorgeschlagene Verfahren umfasst hauptsächlich drei Schritte: Vorverarbeitung, Extraktion von Straßenbordsteinen und Vektorisierung. 1) Die Vorverarbeitung besteht darin, den Boden einschließlich des Straßenunterabschnitts und der Bodenkennzeichnung zu erhalten. 2) Die Bordsteinkanten werden zunächst quantitativ durch die rotationsinvariante Version des lokalen binären Musters (LBPROT) in drei Dimensionen dargestellt, einschließlich des räumlichen Höhenmodus, des räumlichen Streuungsmodus und des räumlichen Formmodus, und dann werden sie durch ein mehrdimensionales semantisches Erkennungsmodell für LBPROT‐Merkmale extrahiert. 3) Die vektorisierten Straßenkantenpolylinien sind durch genaue Straßenkantenpunkte verbunden, die durch Vereinfachung und Rauschunterdrückung erhalten werden. Die vorgeschlagene Methode wurde an zwei großen Datensätzen getestet, die von Ausfallstraßen bzw. Schnellstraßen gesammelt wurden. Die Genauigkeit der Ergebnisse liegt bei über 95 %, der Recall bei über 90 % und der F1‐Score bei über 0, 93. Die experimentellen Ergebnisse zeigen, dass das vorgeschlagene Verfahren Straßenbordsteine in verschiedenen Umgebungen effektiv extrahieren kann und eine robuste Anpassungsfähigkeit aufweist. Resumen: Los bordillos son uno de los componentes importantes de la información vial, y cartografiarlos con alta precisión es importante para el desarrollo de la conducción autónoma, sistemas de transporte inteligente y las ciudades inteligentes. El sistema de escaneo láser móvil (MLS) puede adquirir datos de nubes de puntos tridimensionales (3D) de carreteras con alta precisión y densidad, lo que tiene las ventajas de alta eficiencia, bajo costo y no requiere medidas con contacto. Sin embargo, la extracción de información vial precisa de las nubes de puntos masivas y desordenadas es un tema de estudio prioritario y difícil en las investigaciones actuales. Este artículo presenta un nuevo método para extraer bordillos de las nubes de puntos MLS. El método propuesto incluye principalmente tres pasos: preproceso, extracción de bordillos y vectorización. 1) El preproceso es para obtener el suelo, incluyendo la subsección vial e identificación de la calzada. 2) Los bordillos de la carretera primero se representan cuantitativamente mediante la versión invariable de rotación de los valores del patrón binario local (LBPROT) en tres dimensiones, incluido el modo de elevación espacial, el modo de dispersión espacial y el modo de forma espacial, y luego se extraen mediante un LBPROT multi‐dimensional que cuenta con un modelo de reconocimiento semántico. 3) Las polilíneas de bordillos de carretera vectorizados están conectadas por puntos de bordillos de carretera precisos, que se obtienen mediante la simplificación y la eliminación de ruido. El método propuesto se probó en dos conjuntos de datos a gran escala recopilados de carreteras arteriales y autopistas, respectivamente. La precisión de los resultados es superior al 95 %, la recuperación es superior al 90 % y la puntuación F1 es superior a 0, 93. Los resultados experimentales muestran que el método propuesto puede extraer con eficacia los bordillos de la carretera en diferentes entornos y tiene una gran adaptabilidad. 摘要: 道路路缘石是道路信息的重要组成部分之一，其高精度的信息对自动驾驶、智慧交通和智慧城市的发展具有十分重要意义。移动激光扫描（Mobile Laser Scanning，MLS）系统具有高效、低成本和非接触等优势，可以获取高精度和高密度的道路三维点云数据。然而，如何从海量、无序的点云中提取精确的道路信息是当前研究的重点和难点之一。本文提出一种从MLS点云中提取道路路缘石的新方法。该方法主要包括预处理、路缘石提取和矢量化三个步骤。1）预处理包括道路分段，近路面点识别和格网化。2）分别利用空间高程、空间离散度和空间形状三种不同模式的LBPROT（Rotation‐invariant Version of Local Binary Pattern）值对路缘石进行量化表达，然后通过多维LBPROT特征语义识别模型进行提取。3）通过道路方向约束的聚类去噪以提取精确的路缘石点，并将其连接成道路边界矢量线。分别在城市主干道和高速公路场景的数据集上对该方法进行了测试与评估。实验结果的准确率超过95%，召回率超过90%，F1 分数超过 0.93。结果表明，该方法能够有效提取不同环境下的道路路缘石，具有较强的适应性。