岩芯数智RockAI打破“有损压缩”魔咒 助低算力设备实现强大多模态能力

　　7月4日-7月7日,2024世界人工智能大会(WAIC)暨人工智能全球治理高级别会议在上海举行，岩芯数智RockAI携Yan1.2多模态大模型亮相。

　　在大会现场，研发团队展示了一款部署了Yan1.2多模态大模型的智能机器人小智，它能够基于Yan1.2的语音和视觉解决能力，实时识别环境、准确理解用户的模糊指令和意图，并据此控制其机械躯体高效完成各类复杂任务。值得一提的是，此次“小智”机器人搭载的核心硬件是以低算力著称的树莓派第五代芯片。在极低算力的设备上实现了强大的多模态能力。

　　据悉，树莓派的算力只有普通电脑的八分之一，可大范围的应用于物联网、工业自动化、智能家居等场景及设备，譬如门禁、机器人等终端，同时，大部分情况没有联网。而目前的Transformer大模型不经压缩和裁剪是很难部署到树莓派上的在向更多低算力端侧设备兼容的路上，RockAI一边通过自研底层架构减少算力消耗，一边凭借算法创新进一步降本增效，打破大模型在端侧部署“有损压缩”的魔咒。

　　在PC端和手机端，Yan1.2可流畅地执行大规模数据集的自然语言处理任务和复杂计算，无需依赖云端就可以实现快速响应，实现每秒20+tokens的输出，其Agent联动能力可按照每个用户指令进行图文识别、主体创作等多项任务，为用户更好的提供更优质的体验。而在树莓派这样的微型计算机上，Yan模型甚至实现了每秒6-7个tokens的响应速度。

　　公开资料显示，在今年1月，RockAI推出了国内首个非Attention机制的Yan架构，以线性计算取代Attention，大幅度降低算力需求。其云端大模型以百亿级参数媲美千亿参数大模型性能效果的同时，Yan1.0版本在个人电脑端的成功运行，也证实了Yan模型“原生无损”在主流消费级CPU等端侧设备上运行的实操性。历经半年的技术更新和迭代升级，Yan1.2更进一步，以6+ tokens/s的速度“原生无损”跑通树莓派，打开了低算力设备端及离线多场景应用的大门。

　　以往对于大模型的开发主要是通过预训练和后期的微调对齐，对于大模型在通用场景的使用来说绰绰有余，但换一个没有经过预训练的工作场景，一切都要从头再来。据悉，在Yan架构设计之初，RockAI首创性地提出了相应的解决方案——“同步学习机制”，也就是让模型具备实时学习的能力，可以在推理的同时，实时有效且持续性地进行知识更新和学习，无需“返厂”进行再次更新或预训练，从而使得大模型可以像人类学习一样建立自己独有的知识体系。

　　正如RockAI CEO刘凡平所说：“我们所构想的通用AI,是在诸如智能手机、机器人以及其他多样化设备上展现出的非凡适应力与高度个性化的交互能力。RockAI期待能够重新定义大模型的价值，让世界上每一台设备都有自己的智能，让每一个人都能拥有专属的个性化人工智能服务。”