Traffic Sign Three‐Dimensional Reconstruction Based on Point Clouds and Panoramic Images. (5th March 2022)

• Record Type: Journal Article
• Authors: Wang, Minye; Liu, Rufei; Yang, Jiben; Lu, Xiushan; Yu, Jiayong; Ren, Hongwei
• Is Part Of: Photogrammetric record. Volume 37:Number 177(2022)
• Page Start: 87
• Page End: 110
• Publication Date: 2022-03-05
• Subjects: mobile LiDAR system -- panoramic image detection -- point clouds classification -- traffic signs 3D reconstruction; Photogrammetry -- Periodicals; 526.982
• DOI: 10.1111/phor.12398
• Languages: English
• ISSNs: 0031-868X

Abstract

Abstract: Traffic signs are a very important source of information for drivers and pilotless automobiles. With the advance of Mobile LiDAR System (MLS), massive point clouds have been applied in three‐dimensional digital city modelling. However, traffic signs in MLS point clouds are low density, colourless and incomplete. This paper presents a new method for the reconstruction of vertical rectangle traffic sign point clouds based on panoramic images. In this method, traffic sign point clouds are extracted based on arc feature and spatial semantic features analysis. Traffic signs in images are detected by colour and shape features and a convolutional neural network. Traffic sign point cloud and images are registered based on outline features. Finally, traffic sign points match traffic sign pixels to reconstruct the traffic sign point cloud. Experimental results have demonstrated that this proposed method can effectively obtain colourful and complete traffic sign point clouds with high resolution. Abstract : Traffic signs are a very important source of information for drivers and pilotless automobiles. Mobile LiDAR System (MLS) have been applied in three‐dimensional digital city modelling. However, traffic signs in MLS point clouds are low‐density, colourless and incomplete. This paper presents a new method for reconstruction of vertical rectangle traffic sign point clouds based on panoramic images. Experimental results have demonstrated that this proposed method can effectively obtain colourful and complete traffic sign point clouds with high resolution. Résumé: Les panneaux de signalisation constituent une source d'information très importante pour les conducteurs et les voitures sans conducteur. Grâce aux progrès du système LiDAR mobile (MLS), des nuages de points massifs de zones urbaines ont été appliqués à la modélisation numérique tridimensionnelle des villes. Cependant, les panneaux de signalisation dans les nuages de points MLS sont de faible densité, incolores et incomplets. Cet article présente une nouvelle méthode de reconstruction de nuages de points de panneaux de signalisation rectangulaires verticaux basée sur des images panoramiques. Dans cette méthode, les nuages de points de signalisation sont extraits à partir de l'analyse des arcs et des caractéristiques sémantiques spatiales. Les panneaux de signalisation sont détectés dans les images par leurs caractéristiques de couleur et de forme en utilisant un réseau neuronal convolutif. Les nuages de points des panneaux de signalisation sont recalés avec les images sur la base des caractéristiques de contours. Enfin, les points et les pixels correspondant aux panneaux sont recalés pour reconstruire le nuage de points des panneaux de signalisation. Les résultats expérimentaux ont démontré l´efficacité de la méthode proposée pour obtenir sur les panneaux de signalisation des nuages de points colorés et complets avec une haute résolution. Zusammenfassung: Verkehrszeichen sind eine wichtige Informationsquelle für Fahrzeuglenker und auch autonome Fahrzeuge. Durch die Weiterentwicklung von Mobilen LiDAR Systemen (MLS) konnte eine gewaltige Menge an Punktwolken für die dreidimensionale Stadtmodellierung eingesetzt werden. Verkehrszeichen sind in MLS Punktwolken mit geringer Punktdichte, farblos und nicht vollständig repräsentiert. Dieser Beitrag stellt eine neue Methode für die Rekonstruktion von vertikalen, rechteckigen Verkehrszeichenpunktwolken vor, die auf Panoramabildern basiert. Verkehrszeichenpunktwolken werden gestützt auf Bogenmerkmale und räumliche semantische Merkmalsanalyse extrahiert. Die Verkehrszeichen werden in den Bilddaten durch Farb‐ und Formmerkmale und einem gefalteten neuronalen Netzwerk extrahiert. Die Verkehrszeichenpunktwolke und die Bilder werden mit Hilfe von Begrenzungsmerkmalen registriert und so der Bezug zwischen Punkten und Bildpixeln hergestellt, um die endgültige Verkehrszeichenpunktwolke zu generieren. Die Experimente haben gezeigt, dass diese Methode farbige und komplette Verkehrszeichenpunktwolken in hoher Auflösung generieren kann. Resumen: Las señales de tráfico son una fuente de información muy importante para conductores y automóviles autónomos. Con el avance de sistemas móviles LiDAR (MLS), se han obtenido nubes masivas de puntos de zonas urbanas en el modelado de ciudades digitales tridimensionales. Sin embargo, las señales de tráfico en las nubes de puntos MLS son de baja densidad, incoloras e incompletas. Este artículo presenta un nuevo método para la reconstrucción de nubes de puntos de señales de tráfico verticales basado en imágenes panorámicas. En este método, se extraen las nubes de puntos de señales de tráfico en función del análisis de características de arco y características semánticas espaciales. En las imágenes las señales de tráfico se detectan mediante características de color y forma y una red neuronal convolucional. La nube de puntos de las señales de tráfico y las imágenes se registran en función de las características del entorno. Finalmente, los puntos de las señales de tráfico se hacen corresponder con los píxeles de las señales de tráfico para reconstruir la nube de puntos de las señales de tráfico. Los resultados experimentales han demostrado que el método propuesto puede obtener de forma efectiva nubes de puntos de señales de tráfico completas y a color con alta resolución. 摘要: 交通标志是司机和无人驾驶汽车的一个非常重要的信息来源。随着移动激光雷达系统（MLS）的发展，大量的城市点云已被应用于三维数字城市建模。然而，MLS点云中的交通标志是低密度的、无色彩的和不完整的。本文提出了一种基于全景影像的垂直矩形交通标志点云重建的新方法。在这种方法中，交通标志点云的提取是基于弧形特征和空间语义特征分析。影像中的交通标志是通过颜色和形状特征以及卷积神经网络进行检测的。交通标志点云和影像根据轮廓特征进行配准。最后，交通标志点与交通标志像素相匹配以重建交通标志点云。实验结果表明，所提出的方法可以有效地获得彩色且完整的交通标志点云。