黑芝麻智能科技华山二号（黑芝麻华山二号芯片）

在汽车行业“智能化”发展趋势下，得益于硬件平台和软件算法的逐渐成熟，新车搭载各种L2级辅助驾驶功能成为吸引消费者的重要配置。另一方面，在“软件定义汽车”的新时代，自动驾驶成为影响车企未来发展的重要战略。

自动驾驶领域市场参与者众多，包括传统车企、造车新势力、互联网/科技公司等，随着进入者数量的增加，高端自动驾驶已进入激烈竞争阶段。智能汽车的车载传感器数量不断增加，自动驾驶神经网络模型的算法复杂度越来越高，相关功能也越来越丰富。自动驾驶的研发也面临着巨大的挑战。

开发工具链的效率决定了整个智能驾驶系统开发的效率。对于一家赋能全栈自动驾驶能力的智能驾驶计算芯片公司，为客户提供操作简单、适配广泛、高效的工具链产品。帮助客户建立从软硬件开发到量产完全解耦的软件工具体系显得尤为重要。黑芝麻智能深知软硬件协同的重要性。为了帮助客户更好地开发基于黑芝麻智能华山系列芯片的产品，提高研发效率，降低开发门槛和综合成本，加速产品量产，黑芝麻智能推出山海开发工具链平台。

软硬件协同，深度优化，灵活部署

总体而言，黑芝麻智能山海开发工具链结合华山系列自动驾驶计算芯片，可以提供算法开发所需的全面开发包和软件工具，满足模型量化、优化、编译、仿真等多种开发需求。部署和调试。它还融入了深度学习参考模型库转换用例，大幅降低算法开发门槛，帮助客户进行灵活的模型迁移、部署和集成。

黑芝麻智能山海开发工具链

黑芝麻智能山海开发工具链平台支持Tensorflow、Pytorch等主流训练框架和模型格式，支持动态异构多核任务分配，通过基于ONNX的深度学习模型自动转换方法进行Caffe训练扩展，提供自适应芯片架构。 AI编译器的自动优化支持客户自定义算子的开发。能够帮助客户快速移植模型并优化部署实施一体化流程，提高自动驾驶开发者业务模型的开发和部署效率。黑芝麻智能山海开发工具链平台目前拥有50+AI参考模型库和转换用例，可以显着降低开发者的算法开发门槛。比如车道线检测、目标检测等一些模型结构，使用这些模型结构可以更好的在华山系列芯片上实现性能和快速部署。

量产级算法典型实践

黑芝麻智能剪枝算法提升模型效率

神经网络训练完成后，大部分权重都是非零的。如果网络的某些部分的权重为零，我们称之为稀疏性。剪枝是指人为地将一些非零权重归零的过程。稀疏网络可以被压缩，消除不必要的计算，使网络更小、更高效。更具体地说，在计算机视觉（CV）领域，稀疏网络具有以下优点：更少的卷积计算、更小的网络权重以及更低的数据I/O成本。

针对华山系列芯片的硬件特点，黑芝麻智能开发了自主研发的剪枝工具BST-DAL，支持对任意预训练模型进行剪枝，可显着提升模型在华山上的运行速度系列芯片。用户只需要修改几行代码，并提供一些基本的剪枝超参数，就可以在原来的训练环境中实现剪枝。与众多开源项目相比，黑芝麻智能自主研发的剪枝工具收敛速度更快、精度更高、剪枝算法更适应芯片特性、API更简单、体验更友好。黑芝麻的智能剪枝算法可以在保证精度的同时，显着提升芯片上运行的模型的帧率。

黑芝麻智能量化算法提升计算效率和性能

通过量化，可以将神经网络模型的参数（权重和激活值）映射为较低精度的表示，从而降低计算和存储成本，提高模型在硬件上的推理效率，在不明显影响模型性能的情况下降低模型性能模型性能。由于计算和内存需求较小，该技术可以通过训练后量化或量化感知训练来实现。

如今，市场上不同的机型配备了不同的硬件平台，具有不同的计算和存储特性。某些硬件平台可能有特殊的定制要求或功能限制。许多通用量化算法无法充分利用硬件来满足这些定制。需要。

黑芝麻智能根据特定硬件的约束和特性，开发自研的量化算法，最大限度地提高计算效率和性能。同时，根据硬件的位宽等特性，设计更合适的量化策略，以平衡性能和资源消耗。灵活控制量化的精度，使得在硬件资源有限的情况下仍能保持模型的性能，满足定制化的硬件需求，保证量化后的模型能够在特定硬件上良好运行。

黑芝麻智能量化算法

华山二号A1000硬件特点

?权重按通道量化，部分激活可以按通道量化；

?支持混合精度，利用多引擎的特点增加算子位宽，提高精度；

?硬件支持对称量化和2次方量化；

?支持RGB/BGR/NV12/YUV444/GRAY等输入的模型量化。

离线量化算法（Post-Training Quantization）

?可进行逐层调参，包括min-max、KL散度、百分位点等调参方法；

?支持重量平衡，提高定量效果；

?自主研发的算法优化了int16 Conv的计算逻辑，在保持精度的同时提高了效率；

?微调：支持逐层自动精确调优，搜索量化模型的最优解；

?支持自定义量化，导入带有量化参数的JSON文件；

?提供量化模型的评估阶段，并提供可视化工具，帮助分析和理解量化效果。

定量意识培训

?支持量化感知训练，与硬件对接，进一步优化量化效果。

目前，黑芝麻智能山海开发工具链已被超过60家汽车厂商和一级生态用户广泛使用，帮助合作伙伴研发团队提高开发效率，为客户提供轻松快速的算法开发和部署指导，全面的工具链SDK和应用程序帮助客户轻松部署优化模型。

赋能客户智驾未来

“目前国外芯片厂商普遍存在底层开放性不足或迭代缓慢的问题。比如面对新的算法需求，底层计算能力的扩展需要依赖国外技术团队的支持，响应速度慢。此外，对底层bug的响应修复过程也比较漫长，面对客户对时间和质量的高要求，软硬件一体化的迭代效率并不理想。百度智能驾驶事业群ASD硬件平台部总经理赵树彦在谈到与国外芯片公司的合作时表示，“与黑芝麻智能合作，在提供芯片的同时，为了更好地发挥芯片能力，黑芝麻智能还为我们提供了开放的山海开发工具链，大大缩短了我们域控平台的开发时间，为客户项目的按时交付赢得了宝贵的时间。 “我们自主+自主开放的合作模式一定会赢得更多的客户。”赵树艳总经理对与黑芝麻智能的合作充满信心。

在黑芝麻智能主办的“2023智能汽车芯片高峰论坛”上，一卡通科技高级副总裁张荣波表示，“吉卡智能自主研发了一款停车合一智能驾驶平台，集成了两块黑芝麻智能芯片华山二号A1000芯片计算能力高达100TOPS，平台可支持接入30多个传感器；通过不同数量的传感器和计算单元的组合，可以组合出不同成本要求下的驾驶辅助能力。具备影子模式和OTA能力，结合自动驾驶云，实现用户驾驶习惯的学习和自动驾驶能力的持续进化。”正是黑芝麻智能华山系列芯片与山海工具链的软硬配合，为吉卡智能提供了具有行业竞争力的智能驾驶方案，搭载该方案的吉利领克08车型于8月开始预售，不到3天订单就突破1万台。

基于黑芝麻智能华山系列芯片的智能驾驶解决方案——亿卡通

边缘计算场景离不开算法的支持。作为华山二号A1000芯片的衍生品，华山SOM天然支持黑芝麻智能山海开发工具链平台。得益于不断优化的AI工具链，华山SOM成功移植了目标检测、点云、语义分割、双目、人体姿态、人脸识别等多种算法模型，实现了包括ADAS、 BSD、DMS、汽车应用，包括环视。针对新领域新算法所需的新算子，黑芝麻智能可以进行定制开发，并为第三方算法移植提供技术支持。 “基于华山系列芯片和山海工具链，派科技可以根据客户特殊应用场景定制产品，快速覆盖汽车、机器人等边缘计算应用，帮助企业抢占新产品市场，提升效率。我们基于华山SOM设计的商用车产品在45天左右的时间里实现了样车阶段的全部功能，而且还包括春节假期，这当然离不开团队和客户的大力支持，但这也证明了产品本身的成熟度已经完全可以满足市场的需求。”派科技COO朱华伟表示。

黑芝麻智能致力于通过颠覆性的技术创新为客户提供最好的产品。随着“芯片+开发工具链”产品矩阵的逐步拓展和完善，黑芝麻智能将持续为行业带来创新、高效、安全、可实施的解决方案。在汽车产业智能化时代，黑芝麻智能期待与更多产业链伙伴合作，共同用创新描绘汽车产业新面貌。

审稿人：彭静