近年来，中汽数据有限公司（以下简称“中汽数据”），基于多传感器融合采集硬件平台，开展了基于高速公路、城市道路，和停车场场景的数据采集和数据平台搭建工作，积累了大量的原始采集数据和场景采集数据。同时，基于这些数据，开发了对应的包括数据清洗、数据标注、数据提取、数据分析、场景算法开发、数据库接口开发的一整套驾驶场景工具链平台。这其中，数据清洗是整个工具链中的第一步，也是非常重要的步骤和功能。数据清洗的主要功能是对摄像头、毫米波雷达、激光雷达、高精度惯导组合四大类车载传感器采集的原始数据，进行数据清洗和去噪。同时数据清洗软件既包含传感器原始数据解析、传感器数据同步、传感器数据融合的上游工具集，又包含目标数据可视化、数据批量格式转化与二次存储的下游工具集。数据清洗软件是中汽数据有限公司自主研发的具备独立架构和功能的软件平台。

各种车载传感器系统，基于不同的硬件构造、数据收发方式、与周围环境的交互方式、不同的工况场景，都会产生相应的统计噪声数据和系统噪声数据，针对每种传感器类别，我们将数据噪声做如下分类：

毫米波雷达噪声数据来源：毫米波雷达因其所处波段特性(10mm~100mm),极易发生波的反射，衍射等物理现象，而且不同工况下产生噪声数据的原因不同，噪声数据的种类也不同。主要包括以下6类：

①无效值噪声数据；

②虚点毫米波噪声数据；

③重影毫米波噪声数据；

④有明显横向漂移速度的噪声数据；

⑤有明显纵向漂移速度的噪声数据；

⑥频闪毫米波噪声数据；

激光雷达噪声数据来源：激光雷达具有数据量庞大，扫描频率低，具有地面反射点等特性，依据上述特性，激光雷达主要包括以下3类噪声数据：

①激光雷达地面数据反射噪声；

②激光雷达离群点噪声数据；

③激光雷达运动畸变；

低速状态LiDAR数据的畸变 高速状态LiDAR数据的严重畸变

惯性导航噪声数据来源：在GNSS电磁波传播的路径上，针对密集的高楼、地下停车场、立体桥等场景的遮挡和多次信号反射效应，原始定位数据中会存在统计误差和系统定位不准确的噪声数据，噪声数据主要包括以下4类：

①GPS数据处于丢失状态下的无效数据；

②GPS数据处于初始化状态下的溢出数据；

③GPS数据处于粗对准状态下的数据噪声；

④GPS数据处于粗定向状态下的数据噪声；

中汽数据开发的数据清洗平台的工具套件，主要实现了以下6大类功能：车载摄像头系统、毫米波雷达系统、激光雷达系统、高精度惯导组合四大类车载传感器的原始数据的数据解析，不同数据源之间的时间同步，目标级别数据的可视化，数据清洗功能，数据融合功能，数据批量格式转换与存储功能。数据清洗软件实现驾驶场景原始数据的数据预处理工具链的完整应用生态。

清洗软件的登录界面

A.清洗软件传感器数据解析模块：基于摄像头传感器采集系统，实现Ethernet接口、LVDS接口、USB接口、IEEE1394标准接口摄像头的数据解析功能模块；基于毫米波传感器采集系统，实现CAN总线接口毫米波数据解析功能模块；基于激光雷达传感器采集系统，实现网口TCP/UDP通信的激光雷达原始数据解析模块；基于惯性导航采集系统，实现CAN口、RS232、RS422串口的惯性导航组合的数据解析模块；

清洗软件毫米波雷达数据解析功能

B. 清洗软件的数据同步模块：利用传感器自身的时间戳信息，基于相同品牌，相同数据刷新频率的传感器，实现同频率传感器之间的时间同步功能，基于不同品牌与款型，不同数据刷新频率的传感器(比如100HZ的IMU和20HZ的RADAR之间的数据同步)，实现不同频率传感器之间的最近帧同步功能；

C．目标级别数据的可视化模块：基于高清摄像头与其他目标传感器间的3向距离和3向欧拉角的空间平移与旋转标定结果，实现RADAR传感器，mobileye传感器在高清摄像头上的可视化功能，同时可以实时显示每个目标物的ID，距离，速度，加速度等物理信息；

D．传感器数据清洗模块：基于对传感器自身数据的输出特点，并融合其他传感器数据，完成相应的算法开发(例如多变量二分类机器学习模型)，实现了对毫米波雷达系统，激光雷达系统，惯性导航系统，智能视觉摄像头系统的噪声数据的清洗与去除功能；

基于Boost Decision Tree模型对毫米波雷达的噪声处理

E．传感器数据融合模块：基于精确的外参标定结果旋转投影算法，实现了毫米波雷达与高清摄像头的融合模块，mobileye与激光雷达鸟瞰图方向的融合模块，基于非线性卡尔曼滤波算法，实现了毫米波雷达与mobileye的数据融合模块；

清洗软件清洗功能，可视化功能，融合功能，和数据转换功能

F：数据批量转换模块：基于PYTHON代码和Shell Script脚本，实现对数以万计的原始数据表格的自动化批量处理，以及自动化格式转换功能，基于企业级服务器的作业拆分，并行的提交JOB，实现对TB级的原始数据(视频数据，点云数据)的批量程序处理，同时，基于SATA接口的服务器存储介质，实现对清洗后的数据的快速实时存储，以及流畅的压缩、解压缩、和拷贝功能；

清洗软件批量处理原始数据表格 清洗软件批量处理源代码片段

未来，中汽数据将不断完善驾驶场景传感器原始数据清洗软件模块，丰富和扩展可处理的车载传感器品牌和类型、逐步开放数据清洗算法参数调节接口、加入清洗数据的二次开发套件和SDK使用说明文档、并提供清洗软件的定制化的服务和升级，打造一款功能全面，扩展性强，兼容性高，可支撑智能网联汽车数据标准法规平台，并支持自动驾驶技术发展和产业落地的软件工具集。

业务联系人：陈超

电话：18502232312

邮箱：chenchao2017@catarc.ac.cn

文/智能网联数据部