北京，2024年6月11日——OpenAI 于 2023 年 3 月 14 日发布最新版本多模态大模型 GPT-4 及其 API；在中国市场，模型的通用性和泛化能力吸引了各大厂商布局，市场上的大模型/生成式AI产品纷至沓来。2024年5月，全球代表性AI技术供应商如OpenAI发布了更新的大模型GPT-4o，在文本、图像、音频和视频等多模态融合尝试方面展现出强大的能力，能够以这三者的任意组合进行输入和输出，Google也发布了大模型Gemini的最新功能、文生图模型Imagen3、对标Sora的文生视频模型Veo等。IDC观察到，在中国市场，从2024年第二季度开始，越来越多的AI技术供应商开始更新升级基础大模型及相关产品，新一轮的“百模大战”一触即发。
实测方法
本次实测面向市场上主流的大模型技术供应商，产品必须是已经开放使用，并按照国家互联网信息办公室要求已经完成备案。测试的媒介主要是基于基础大模型的网页版的产品，IDC对参与厂商的产品表现分别进行测评。基础能力问题涉及问答理解类、推理类、创作表达类、数学类、代码类等；应用问题主要包含toC通用场景类和toB特定行业类，每一类单独计分。
Share the image
基础大模型产品实测结果评述
为对比国内外大模型的产品差异以及推动大模型/生成式AI相关产品的发展和应用，IDC成立产品测试团队，通过多个维度（如生成质量、使用与性能、安全与合规等）对基础大模型及相关产品进行评测，并邀请外部专家团队深入分析各个产品答案准确性、合理性等，并在审核委员会的监督下，最终得出各厂商的评估结果，供用户选型参考。
综合最终的得分情况，基础大模型产品能力处于第一梯队的有（梯队产品表现在同一均线，以下按照技术供应商首字母顺序排列）： 阿里通义千问/通义万相等通义系列生成式AI产品、百度文心一言/文心一格、科大讯飞讯飞星火 3.5 Max、OpenAI GPT4、商汤日日新SenseNova 5.0。在所有的题目类型中，目前如问答理解、toC通用场景类得分率较高，数学类、推理类、代码类问题、行业应用类的准确率较低，需进一步优化。详细的测评结果展示如下：Share the image
Share the image
IDC中国大模型产品测试团队表示，2024年产业界更加关注大模型和生成式AI的落地，生成式AI的进一步发展需要多种模态的大模型作为引擎。更为接近人类的思维方式，是未来大语言模型竞争的关键，技术供应商还需持续优化大模型在数学、推理、代码等问题以及在行业应用中的生成质量，提高生成的速度并降低大模型使用的成本，加快大模型技术的应用与普及。
Share the image
如需进一步了解与此研究相关的信息或关注其他相关项目研究，请与IDC中国研究总监 卢言霞（邮箱：ylu@idc.com ）或者 IDC 中国研究经理 程荫 （邮箱：acheng@idc.com）联系。
-全文完-
欲了解IDC报告的更多信息，请访问。欲购买报告，请致电+86-10-5889 1666与IDC中国销售部联系，或发 email 至 frankwang@idc.com 。
关于 IDC
国际数据公司（IDC ）是全球著名的信息技术、电信行业和消费科技咨询、顾问和活动服务专业提供商。IDC在全球拥有超过 1300名分析师，为110多个国家的技术和行业发展机遇提供全球化、区域化和本地化的专业视角及服务。IDC的分析和洞察助力IT专业人士、业务主管和投资机构制定基于事实的技术决策，以实现关键业务目标。成立于1964 年，IDC 是IDG旗下子公司。IDG是全球领先的媒体出版、研究咨询、及会展服务公司。欲了解更多信息，请登录 。
- # # # -
相关咨询，请联系：
王勇，IDC中国 副总裁
电话：(+86-10) 5603 4087
谢静，IDC中国 市场部
电话：(+86-10) 6422 9568
邮箱： mxie@idc.com
扫描微信二维码，关注IDC 研究成果，掌握ICT市场脉搏
Share the image
Copy the following code into your site
Companies Covered
OpenAI LLC
China
