智能座舱架构的算法算力与开发

一、智能座舱算法算力解析

智能座舱的高速发展催生算法数量攀升，算力需求增加。到2021年，摄像头能够覆盖轿车乘客，IMS检测最多达5人，多模语音分离最多也达到5人，2022年，大概有150个算法驱动300个以上的场景应用；到2023年，开发者生态建立后，第三方感知将大幅增加，全车的离线多模语音交互将需要更多的算力。车载智能化AI系统包括车载AI场景、算法、开发工具、计算架构、车载AI芯片。整个智能座舱AI系统视觉、语音、多模融合。23年，座舱AI算法将达到白万级。

在数据方面整体提高50%的处理效率，在算法方面平衡计算和带宽上的高效神经网络结构。在算力上将从个位数量级向百位数量级增长，一般情况智能AI座舱是一个独立系统，独立迭代，每月OTA。

如下表示了智能座舱在其AI算法发展上的能力分配表。总结起来智能座舱算法模块主要分为几个大类：

驾驶员面部识别类：包含人头识别、人眼识别、眼睛识别等；

驾驶员动作识别类：手势动作识别、身体动作识别、嘴唇识别等；

座舱声音识别类：前排双音区检测、声纹识别、语音性别识别/年龄识别等；

座舱光线识别类：座舱氛围灯、座舱主体背景、座舱内饰等。

车载智能交互算力需求趋势，表示传感器增长趋势主要体现在舱内传感器数量和像素的提升，带来对算力需求的大幅提升。此外，对于智能座舱而言，麦克风数量也从集中双麦克风/分布式4麦克风，向分布式6-8个麦克风方向发展。

二、智能座舱开发流程

智能座舱开发流程涉及利用新场景、场景库进行场景定义；利用HMI设计工具进行UI/UE设计（包含界面及交互逻辑设计）；利用HMI 框架构建工具搭建整个交互设计平台；由开发人员基于搭建的交互设计平台进行软硬件开发；测试人员深入贯穿于整个开发过程进行阶段性单元测试和集成测试。测试结果部署于车端进行搭载。整个过程由开发设计人员进行全方面维护。

细化下来，将其中的开发过程进行放大可以看到：从数据平台到开发平台搭建及软硬件开发过程涉及如下：

1、数据开发框架

整个开发数据平台是一个全闭环流程，该闭环流程涉及四大数据处理过程，最终形成可用于训练的的有效模型。我们将整个数据框架的闭环过程进行细化，不难发现从数据采集到数据模型整个闭环过程都是连续不间断的过程，其过程就是不断探索对应场景下的数据真值。其中数据采集是从数据后台通过数据回灌进行数据挖掘服务，通过数据筛选将其中达标数据注入数据标注模块，从而进行数据训练，训练过程中需要同步进行评测、同步等操作最终形成初版数据模型并进行工程集成到软件模块中。最后才是最重要的过程就是在功能评测阶段不断进行回归测试与数据分类，通过OTA等在线升级方式刷写进行车端软件更新。

1）数据缺陷

这一过程中，首先需要从已量产的产品中提取数据缺陷DATA-Failure；数据缺陷包含数据漏检，虚假数据，数据校验不通过部分等；

2）数据采集

针对数据缺陷需要重新进行数据采集DATA-Collection，该采集过程包含在开发阶段通过搭建的数据采集平台进行数据采集（比如可以是实车在驾驶过程中用到的驾驶舱内外行车记录仪、全景影像、前视或周视摄像头等），也包含在已经量产的车型中设置的数据埋点或影子模式方式进行；

3）数据标注

采集数据进行数据标注DATA-Label，这里需要注意的是智能座舱和智能驾驶的标注方式上有所不同；如座舱主要涉及图片、语音等标注，ADAS主要涉及道路环境语义（如车道线、护栏、锥桶等标注类型）等标注；

4）数据模型

对于智能座舱算法而言，最重要的是进行人工智能的机器视觉算法训练，该过程涉及形成较为精准的数据模板，将标注后的数据用于进行数据模型训练DATA-Model。

2、应用开发框架

AI算法仓库主要是对数据平台中的数据模型进行有效训练，模型训练主要高中低三种渐进开发模式。

高级模式：该AI算法仓库中训练模型复杂，需要耗费较多的AI算力用于权值检测、关键点检测、图像语义分割，图形骨架提取等；

低级模式：算法仓库都是一些标准化模型，如安全带、座椅识别等标准件的识别等；这种类型的识别过程都是一些标准化的识别过程，甚至不包含浮点运算，都是整型运算，算法耗费算力小，效率高；

中级模式：算法仓库中复杂度一般，分类较多，嵌入多模型组合进行分类，可实现诸如抽烟、打电话等驾驶员基本的操作过程识别。需要说明的是该模型对于开发团队的能力建设要求较高。

3、应用集成框架

应用集成框架平台包含利用AI应用开发中间件集成模型框架，搭建通信及底层组件。在开发集成过程中包含模型转换（即浮点转定点）与编译，生成标准化模型，随后通过加载模型跟配置（配置可以放到固定的地方）；定义输入输出：编写过程代码（包含处理逻辑），接收函数框架，定义消息类型（自动反序列化与序列化），释放软件等过程。后续可编译生成.so文件，并加载到感知管道Pipeline中。

如上其他部分可以标准化，只需要关注process部分即可。

当前，座舱域控制器通常参与车身域的控制，如控制空调、车门、车窗等。下一代智能座舱产品将更多的参与到动力&底盘域的控制，例如通过语音控制给车辆换挡灯、拉起电子手刹等。当然，这类操作对安全性有更高要求。随着自动驾驶系统对动力域、底盘域的不断整合，以及面向服务架构(SOA)在车辆的普及，复杂的驾驶行为可能会抽象成个例化的驾驶服务。智能座舱域控制器通过提高自身的功能安全等级后，就可以直接调用自动驾驶域的驾驶服务，进行车辆的驾驶控制，形成人机共驾的新局面。

经过对座舱域系统的系统架构和软硬件进行安全升级后，座舱的发展将补齐“驾驶控制”这最后一个短板，迈向“全方位智能座舱”。随着技术逐步的成熟，可能会导致硬件架构的进一步集中，加速促成驾驶域与座舱域的融合，并最终形成车载中央计算机。

（信息来源：腾讯网）