中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

5月9日,中文通用大模型综合性评测基准 SuperCLUE 正式发布。该基准测试主要关注以下问题:中文大模型在不同任务上的表现如何?与国际代表性模型相比,中文大模型的表现达到了何种程度?中文大模型与人类表现相比如何?

该模型可通过多个层面,考验市面上主流的中文 GPT 大模型的能力:

基础能力: 包括了常见的有代表性的模型能力,如语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等 10 项能力。

专业能力: 包括了中学、大学与专业考试,涵盖了从数学、物理、地理到社会科学等 50 多项能力。

中文特性能力: 针对有中文特点的任务,包括了中文成语、诗歌、文学、字形等 10 项多种能力。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

该机构利用 SuperCLUE 测试基准,对市面上主流的支持中文的通用大模型进行了评测与排名。从排名中我们可以看出,GPT-4 一骑绝尘,已经非常接近人类的能力。国产大模型中讯飞科技研发的星火认知大模型总排名第三,国内排名第一。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

以下为该机构公布的各个子项目的具体得分。排行榜会定期更新,并于CLUEbenchmarks 官方网站网站进行公示。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

节点声明:本内容为作者独立观点,不代表节点财经立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。

(0)
上一篇 2023年 5月 10日 11:10
下一篇 2023年 5月 11日 10:44

相关推荐

  • 双增「成绩单」背面,南京银行成长的「烦恼」

    文 / 七公 在新行长谢宁的带领下,南京银行(601009.SH)的进步肉眼可见。 2024年上半年,该行“打头阵”发布中期报告:营收为262.16亿元,同比增长7.87%;归母净利润为115.94亿元,同比增长8.51%。两项指标均优于去年同期和去年全年,且在Q2有加速的苗头。 2024年前三季度,该行再交双增“成绩单”:营收为385.58 亿元,同比增长…

    2024年 11月 12日
  • “卷王”新茶饮们:从风口,卷到了十字路口

    文|潮汐商业评论 Camille 编辑|Ray “楼下奈雪开业了,扫码9块9就可以喝到杨枝甘露,这也太便宜了,”Chloe向同事说道。 “上次跟Fendi联名的喜茶,两杯也只要38元。” “喜茶奈雪开始向二线价格靠拢?怎么都那么便宜了?” 相信很多朋友跟Chloe一样,对喜茶、奈雪的价格还停留在一杯30元左右。 但事实上,早在去年年初,喜茶就宣布了全面产品调…

    2023年 8月 23日
  • 企业微信的春天来了吗?

    文|伯虎财经 陈平安 对于普通消费者而言,说起私域,你大概会一头雾水;倘若问起你是否用过快团团,或许有不少读者朋友们会举手示意;再进一步,问及有没有在线下消费的时候加过商家的企业微信?想必大多数朋友都有类似的经验。  一些更为显性的表现是,作为疫情开放后的首届618,各大平台纷纷喊出了“世上最卷”的口号,企图打个漂亮仗,但本该是最不缺流量的抖音却悄悄打起了私…

    上市公司 2023年 7月 26日
  • OpenAI黑帮,中国能复制吗?

    国内依然是散兵游勇

    2023年 3月 1日
  • 地平线继续“向高而行”,HSD量产孕育更大业绩增长空间

    近日,港股智驾明星地平线发布了2025年上半年业绩公告,营收、毛利增长势头强劲,业绩表现亮眼,上半年实现营收15.67亿元,同比增长67.6%;毛利润10.24亿元,综合毛利率为65.4%继续领跑行业。 值得注意的是,得益于征程6系列量产,上半年地平线产品解决方案出货量198万套,同比实现翻倍增长;其中,中高阶产品解决方案(如支持高速 NOA 功能)出货量9…

    2025年 8月 30日