小芯片上的大模型

“给我生成一份审讯盗窃案件的笔录提纲。”指令输入笔记本电脑之后，DeepSeek 16B（160亿参数版）在毫秒间生成了一份包含基本信息、案件概述、权利告知、事实调查、其他重点事项、笔录确认、注意事项等一级标题，且每个一级标题都包含3-5个二级标题的笔录提纲。这是记者在第12届中国国际警用装备博览会的中星微展台看到的一幕。

今时今日，用大模型生成提纲已经是家常便饭，但这份笔录提纲的特别之处在于：它是在笔记本电脑没有联网的情况下生成。这意味着160亿参数的DeepSeek大模型，完全基于一枚嵌入在只有名片大小处理板的单芯片运行。

虽然联网的大模型能够基于云端的算力资源池实现更强大的功能，但也对计算和存储成本、网络条件有着较高的要求。而在城市感知、智能制造、智慧农业、智能交通等行业场景中，存在大量成本低、硬件配置相对简单却对千行百业的数智化升级起到关键作用的终端、边缘设备，比如摄像头、边缘盒子、车路协同设备等。如果此类设备能够基于嵌入式芯片调用大模型能力，将对企业、行业场景的提质增效起到关键作用。

此外，在机器人等涉及用户个人信息采集的场景中，也需要嵌入式芯片搭配离线语言大模型，在保证机器人与用户交互的同时，保护用户的数据安全。

在嵌入式芯片运行离线大模型

“嵌入式芯片和云端芯片的设计思路不太一样。云端芯片追求极致的大算力，而前端嵌入式受到的制约条件非常多，能耗、发热、成本都要考虑到。”中星微智能研发中心总工程师周学武向《中国电子报》记者表示。

当前，嵌入式芯片能够承载的大模型一般在70亿参数规模。本次中星微展示的“星光智能五号”嵌入式AI芯片，能够运行160亿参数版本的DeepSeek大模型。为了让嵌入式芯片以尽可能高的效率处理多模态信息，中星微团队采用了多核异构的芯片架构，包括CPU、GPU、NPU，分别对应标量算力、矢量算力和张量算力。此外还有用于视频编解码的VPU、信息加解密的ECU，以及多核调度单元HCP（异构计算池）。

周学武表示，之所以选择这种架构，是为了模拟大脑兼具形象思维和逻辑思维的特点。

其中，对形象思维的模拟是基于“直觉式”的端到端计算，比如NPU或GPU能够直接输出对图片的识别结果。对于逻辑思维的模拟则主要基于CPU完成的“常识式”计算。

“把两种计算融合在一起，可以实现更高精度的识别。因为CPU的‘常识式’计算能够对可能产生的大模型幻觉进行纠正。”周学武说。

另一个提升芯片运行大模型能力的设计，在于HCP。这一系统能够调动芯片中的20多个核心，并根据用户需求采用不同的策略调度算力，比如效率优先原则或者算力均衡原则，以寻求在有限的条件下实现最佳的性能。

基于嵌入式芯片，终端可以在不联网的情况下使用离线大模型，以满足部分对信息安全有较高要求的场景，以及机器人等涉及用户语音等个人数据的场景。

“未来5到10年，会有大量的机器人应用嵌入式芯片。目前机器人的发展重点是运动控制，就是机器人怎么走得稳、怎么行动敏捷。但决策、思考能力，以及语音对话能力还需要通过网络实现，要先采集用户的语音，通过网络传到云端，云端给解析好了再传回来形成指令。这存在实时性响应和用户隐私的问题。如果基于嵌入式芯片构建机器人大脑，就可以保护用户数据，也能提升交互的实时性。”周学武说。

用2KB标签检索几万路摄像头

行业场景中，摄像头、工控盒子、车路协同设备等端、边侧终端，具有部署体量大、成本敏感、工作环境适应性较强等特点。要让此类终端用上大模型，既需要轻量化、易部署的芯片，也需要做好算法的定制与数据链路的优化。

在中星微展台，记者看到了一个连接了笔记本电脑的摄像头，在笔记本电脑搜索“戴安全帽的工人”，显示屏立刻出现了两天前展台搭建时的施工画面。这一过程是通过端（摄像头）、边（边缘盒子）、云（云网络和云平台）协同完成。其中，端侧和边侧除了部署中星微的嵌入式芯片，还部署了将视频“切”成图片再打上标签的算法。

具体来说，对于摄像头正在录制或者录好的存量视频，首先抽取关键帧或者关键数据做成图片，再根据矢量算法提取图片的关键点，成为包含索引信息和特征向量的标签。

在这一过程中，1G的视频可以抽取2M的关键帧图片，2M的图片再提取出2KB的标签，在用指令检索时，端侧和边缘侧终端会检索出标签对应的图片，也就是在KB级的数据中搜索，从而显著提升了搜索和解析效率。而搜索结果会发送给云端的大模型进行核实比对。

“搜索到标签之后，能够找到标签对应的图片，由于图片属性包含时间戳和相应摄像机的IP位置，就能对应出是哪路摄像机在哪个时间点拍到了目标，并回溯到视频，从而了解事件的前因后果。这样就达到了高效快速的效果。”周学武说。他表示，在端边预处理—发到云端比对—回传端边比对结果的过程中，大模型不断训练、不断学习，之后检索结果会越来越准确，更贴近用户多样化的检索需求。