通信世界网消息（CWW）2024年3月28日，联发科宣布，通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台，可离线流畅运行即时且精准的多轮AI对话应用，连续推理功耗增量不到3W，实现手机AI体验的大幅提升。这是首次实现大模型在手机芯片端的深度适配，标志着Model-on-Chip（片上大模型）的探索正式从验证走向商业化落地新阶段。相关成果将以SDK的形式提供给手机厂商和开发者。
在天玑9300设备上，可离线完成基于通义千问大模型的AI多轮会话
端侧AI是大模型落地的极具潜力的场景之一。利用终端算力进行AI推理，可大幅降低推理成本、保证数据安全并提升AI响应速度，让大模型可以更好地为用户提供个性化体验。然而，要将大模型部署并运行在终端，需完成从底层芯片到上层操作系统及应用开发的软硬一体深度适配，存在技术未打通、算子不支持、开发待完善等诸多挑战。
阿里巴巴通义实验室业务负责人徐栋介绍表示，阿里云与联发科在模型瘦身、工具链优化、推理优化、内存优化、算子优化等多个维度展开合作，实现了基于AI处理器的高效异构加速，真正把大模型“装进”并运行在手机芯片中，给业界成功打样端侧AI的Model-on-Chip部署新模式。
同时，联发科与阿里云还宣布启动联合探索AI智能体解决方案计划，将通过整合联发科天玑移动平台强大的硬件和AI运算能力，以及阿里云通义千问先进的大模型技术和日益完善的开发工具平台，支持智能终端在端侧高能效地实现自然语言理解、复杂决策制定以及个性化服务生成，探索打造真正具备情境感知、自主学习和实时交互功能的下一代智能终端应用生态。
联发科无线通信事业部副总经理李彦辑博士表示：“阿里云的通义系列大模型是AI领域的佼佼者，我们期待通过双方的合作可以为应用开发者和终端客户提供更强大的硬件和软件解决方案，同时促进生成式AI的端侧部署以及AI应用、AI智能体生态的快速发展，为用户带来更多令人兴奋的AI产品体验。”
