点云开源框架的介绍

三维数据类型

• 储存格式：pts、LAS、PCD、xyz、asc、ply等

• 储存格式：obj、stl、ply等

• 储存格式：IGS、part、model、IGES等

采集方式

1. 激光扫描仪：星载、 机载、地面、移动

2. 深度相机（拍图片的基础上还有个deep信息）：通过近红外激光器把具有结构特征的光线投影到 物体上 红外摄像头采集得到深度信息

3. 双目相机（计算机视觉）:使用两个相机从不同位置获取物体的两幅图像 利用 三角原理 获得点的位置

4. 光学相机多视角重建（运动结构恢复(Structure from motion)）：多视角采集 然后恢复运动

5. 结构光（小范围工业测量）：结构光设备

应用领域

商用点云处理框架

仪器厂商开发的一些软件

• Realworks：为点云处理和分析设计而成。该软件提供一套完整的解决方案。可从几乎所有 3D 激 光扫描仪引入数据，并进行有效的配准、分析、建模和创建可交付成果。（Trimble）

• Cyclone：为工程，测量，建筑和相关应用中的3D激光扫描项目提供最广泛的工作流程选项。（通用功能，Leica）

• FARO SCENE：与 FARO Focus 激光扫描仪、Focus Swift 室内移动扫描仪和 Freestyle 2 手持式扫描 仪搭配用于数据可视化、管理、去噪和配准。（仪器配套）

遥感处理

• ENVI LIDAR（遥感处理）：可进行建筑物轮廓提取与三维模型的构建、森林资源调查、完整的通行权分析、电 力线和电线杆位置决策等。（自动提取DEM植被等）

工业检测

• Geomagic：Design从 3D 扫描中更快、更准确且更可靠地创建 CAD 模型；Control 3D 质量控制与 尺寸检查软件，可让您捕获和处理来自 3D 扫描仪和其他便携式设备的数据，以测量、了解和交流 检测结果，从而确保各个位置的质量。 （工业检测）

• PolyWorks（用的更多）：通用的3D尺寸分析和质量控制软件解决方案，控制工具或零件尺寸，判断和避免制造 及装配问题。（工业检测）

航测部门

• TerraSolid：一套商业化LiDAR数据处理软件，基于Microstation开发的，运行于Micorstation系统之 上。（航测部门主要在用）

• 点云智绘（PCA）：基于大疆禅思L1这种高密度小型化的机载激光雷达的专属、平民化、无参数化、 一键式的LiDAR数据处理与分析软件。

林业和山维

• LiDAR 360：数字绿土自主研发的专业级点云数据处理平台，包含了丰富的点云数据处理工具，

• EPS：实现点云数据的空间三维真实效果显示以及三维视图下的矢量化采集功能、分析功能和数据 入库。支持多种点云数据格式，并支持海量点云数据。系统提供了灵活多样的编辑工具，使矢量 采集工作更便捷，更高效。（山维）

研究单位

• 点云魔方（PCM）：功能涵盖点云基础工具、数据质量检查、点云滤波、地物分类、基础测绘、 林业应用、建筑应用、输电通道三维重建与安全分析、光子点云处理等。入选了“国家测绘地理信 息自主创新产品”。（中国科学院遥感与数字地球研究所 ）

其他

• AutoCAD Recap：将扫描文件数据转换成点云格式，能够聚合扫描文件，并对其进行清理、分类、 空间排序、压缩、测量

• QTModeler：全球首屈一指的3D点云和地形可视化软件。

• Arcgis pro/SuperMap GIS 10i：新一代三维GIS基础软件。

• potree：基于Three.js，一种基于WebGL的点云数据可视化解决方案

开源点云处理框架

• PCL： C++编写，有python接口，BSD授权方式，能实现点云相关的获取、滤波、分割、配准、检 索、特征提取、识别、追踪、曲面重建、可视化等，但依赖库太多。（点云）

• Open3d：C++编写，有python接口，MIT授权，支持快速开发和处理3D数据。（点云）

• CloudCompare： C++编写，GPL授权，可拔插操作，可二次开发，主要针对点云，富有活力，经常更新。（点云）

• Meshlab： C++编写， GPL授权，主要针对于模型，重建和过滤，网格简化等。（Mesh）

• OCC： OCC是一款开源的三维建模与可视化软件，用C++语言编写。目前在三维地质建模与可视 化、机械CAD等方面应用非常广泛。 Step iges brep (数模)

• CGAL： 计算几何算法库（CGAL），提供计算几何相关的数据结构和算法，诸如三角剖分（2D约 束三角剖分及二维和三维Delaunay三角剖分），Voronoi图（二维和三维的点，2D加权Voronoi图， 分割Voronoi图等），多边形（布尔操作，偏置），多面体（布尔运算），曲线整理及其应用，网 格生成（二维Delaunay网格生成和三维表面和体积网格生成等），几何处理（表面网格简化，细分 和参数化等），凸壳算法（2D，3D和dD），搜索结构（近邻搜索，kd树等），插值，形状分析， 拟合，距离等

点云算法总结

点云传统基本算法

点云深度学习算法

3D 形状分类：

1. Multi-view based Methods ：将三维图形投影到多个视图中，然后提取各个视图的特征，然后融合这些特征 进行精确的形状分类

2. Volumetric-based Methods ：将点云体素化为三维网格，然后将三维卷积神经网络（CNN）应用于体表示进 行形状分类

3. Pointwise MLP Methods：使用多个共享多层感知器（MLP）独立地对每个点建模，然后使用对称聚合函数 聚合全局特征

3D 目标跟踪:

1. region proposal-based methods：提出几个可能包含对象的区域（proposal），提取区域特征来确定每个 proposal的类别标签。

2. single shot methods：该方法直接预测类别概率，并使用单级网络回归物体的三维bounding box，不需要 region proposal和后处理。因此，它们可以高速运行，非常适合实时应用。

3D 点云分割：

1. 语义分割： Multi-view Representation、Spherical Representation、Volumetric Representation、Permutohedral Lattice Representation、Hybrid Representation

2. 实例分割：基于proposal与proposal-free

3. 部件分割：VoxSegNet: Volumetric CNNs for semantic part segmentation of 3D shapes、 3D shape segmentation with projective convolutional networks、 SyncSpecCNN: Synchronized spectral CNN for 3D shape segmentation、 3D shape segmentation via shape fully convolutional networks、 CoSegNet: Deep co-segmentation of 3D shapes with group consistency loss

PCL

• PCL (Point cloud library)
• Filter
• Segmentation
• Registration
• Keypoints
• Recognition

• 特点
• 支持多平台（Win，Linux，Mac)
• 功能齐全，可扩展性好
• 广泛用于机器人，很多开源算法和系 统（ROS)

Open3D

• 3D 数据结构

• 3D 数据处理算法

• 场景重建

• 表面对齐

• 3D 可视化

• 基于物理的渲染 (PBR)

• PyTorch 和 TensorFlow 支持 3D 机器学习

• 核心 3D 操作的 GPU 加速

• 在 C++ 和 Python 中可用

PCL vs Open3D

Open3D环境的安装

Open3D的学习

可能遇到的问题

1. pip install open3d （版本不一致问题）

• pip install pillow==8.4

• pip install networkx

• pip install absl-py

• pip install matplotlib

• pip install protobuf==3.11

• pip install mediapipe==0.10.2

• pip install lpips==0.1.4

参考视频

1. 3D视觉工坊（可以通过ins找我要资源）