首页
要闻详情
图标图标

中国信通院公布 AI 代码大模型评估,阿里云、华为、商汤等首批通过

亚汇网亚汇网
关注
2024-06-12 06:01:49
590
此次大模型评估以《智能化软件工程技术和应用要求第1部分:代码大模型》标准为依据,围绕通用能力、专用场景能力、应用成熟度,为模型能力提升和企业选型提供规范性参考。指股网注:《智能化软件工程技术和应用要求第1部分:代码大模型》(标准编号AIIA/G0110-2023)标准于2024
此次大模型评估以《智能化软件工程技术和应用要求第1部分:代码大模型》标准为依据,围绕通用能力、专用场景能力、应用成熟度,为模型能力提升和企业选型提供规范性参考。指股网注:《智能化软件工程技术和应用要求第1部分:代码大模型》(标准编号AIIA/PG0110-2023)标准于2024年1月25日正式发布,该标准由中国信通院与中国工商银行联合牵头发起,涵盖通用能力、专用场景能力和应用成熟度三大部分,包括100多个能力要求。此次验证,依据标准开展,评价指标覆盖6大通用能力场景、7大专用能力场景、3大服务成熟度,多维度验证研发大模型在研发场景能力和人效优化效果方面的场景丰富度,重点考察研发大模型在代码理解、代码生成和补全、研发问答、单元测试用例生成等方面的能力支持度,全方位评估研发大模型在数据合规性、模型成熟度、服务成熟度方面的应用成熟度。目前,华为云盘古大模型、智谱CodeGeeX代码大模型、阿里云AI编程助手通义灵码、中国电信星辰政务大模型等首批通过评估,并在全部100多个能力评估中表现优秀,获得4+评级。以阿里云通义灵码为例,信通院评测结果显示:在通用能力方面,通义灵码在代码转换、代码检查及修复、代码优化等方面表现突出;在专用场景方面,通义灵码提供网站开发、数据库开发、大数据开发、嵌入式开发等多个场景支持能力;在应用成熟度方面,通义灵码具备较完善的数据合规及数据分类分级机制,且模型稳定性及可维护性表现优异,在模型推理性能、模型服务风险可控性等方面均表现优秀。公开资料显示,AI代码大模型首轮评估于今年3月启动,主要面向适用于金融、科技、互联网、电信、软件等各行业,生产、使用或计划使用代码大模型的企业,评估结果旨在为模型厂商提供代码大模型能力的评价和指导标准,以及为模型应用方提供有效衡量其能力水平的标准依据。广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,指股网所有文章均包含本声明。

风险提示及免责声明

文章来源于亚汇网,转载注明原文出处,此文观点与指股网无关,理性阅读,版权属于原作者若无意侵犯媒体或个人知识产权,请联系我们,本站将在第一时间删掉 ,指股网仅提供信息存储空间服务。