通义千问落地联发科手机芯片 离线亦可继续和AI对话

文章正文
发布时间:2024-03-28 22:34

AI手机正在加速进入市场。

3月28日,阿里云和联发科联合宣布,通义千问18亿、40亿参数大模型已成功部署进天玑9300移动平台,这是通义大模型首次完成芯片级的软硬适配。这意味着,即使在离线状态下,仅靠手机芯片的算力,用户也可以通过通义千问完成多轮AI对话,实现AI推理。

自2023年以来,全球两大手机芯片厂商:高通和联发科相继宣布研发出可装载大模型的芯片。就在10天前,高通刚刚发布第三代骁龙 7+ 移动平台,可以支持Baichuan-7B、Gemini Nano、Llama 2 和智谱 ChatGLM 等大语言模型,而联发科的天玑9300芯片此前也已宣布,支持端侧运行70亿、130亿AI大模型。

芯片厂商对于端测大模型的“给力”支持,是手机厂商的底气所在。三星、小米、一加、真我 realme、夏普等手机厂商先后发布了自家的AI手机。

此次,通义千问在天玑9300平台上成功部署,也意味着装载9300芯片的手机将可以直接应用该大模型,不仅增加了手机的“AI含量”,标志着Model-on-Chip的探索正式从验证走向商业化落地新阶段。

天玑9300设备可离线完成基于通义千问大模型的AI多轮会话

据了解,通义千问18亿参数开源大模型,推理2048 token最低仅用1.8G内存,是一款低成本、易于部署、商业化友好的小尺寸模型。阿里云相关人士表示,基于天玑9300芯片,通义千问18亿参数大模型在推理方面表现出了极佳的性能与功耗表现,推理时CPU占有率仅为30%左右,RAM占用少于2GB,推理速度超过20tokens/秒,系列指标均达到业界领先水平,可在离线环境下流畅实现多轮AI对话。

目前阿里云和联发科双方团队已完成了通义千问40亿参数大模型与天玑9300的适配,未来还将基于天玑适配70亿等更多尺寸大模型,“打样”并支持开发更多AI智能体及应用,相关成果将以SDK的形式提供给手机厂商和开发者。

AI手机已经成为手机厂商“翻身”的重要武器。数据显示,2023年全年中国智能手机市场出货量约2.71亿台,同比下降5.0%,创下近10年来最低出货量。天玑9300是联发科的高端芯片,据《IT时报》查询,目前国产品牌中采用天玑9300芯片的手机价位大约在3000元~5000元左右,属于中高端手机。IDC预测,2024年全球新一代AI手机的出货量将达到1.7亿部。

首页
评论
分享
Top