中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

5月9日,中文通用大模型综合性评测基准 SuperCLUE 正式发布。该基准测试主要关注以下问题:中文大模型在不同任务上的表现如何?与国际代表性模型相比,中文大模型的表现达到了何种程度?中文大模型与人类表现相比如何?

该模型可通过多个层面,考验市面上主流的中文 GPT 大模型的能力:

基础能力: 包括了常见的有代表性的模型能力,如语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等 10 项能力。

专业能力: 包括了中学、大学与专业考试,涵盖了从数学、物理、地理到社会科学等 50 多项能力。

中文特性能力: 针对有中文特点的任务,包括了中文成语、诗歌、文学、字形等 10 项多种能力。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

该机构利用 SuperCLUE 测试基准,对市面上主流的支持中文的通用大模型进行了评测与排名。从排名中我们可以看出,GPT-4 一骑绝尘,已经非常接近人类的能力。国产大模型中讯飞科技研发的星火认知大模型总排名第三,国内排名第一。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

以下为该机构公布的各个子项目的具体得分。排行榜会定期更新,并于CLUEbenchmarks 官方网站网站进行公示。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

节点声明:本内容为作者独立观点,不代表节点财经立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。

(0)
上一篇 2023年 5月 10日 11:10
下一篇 2023年 5月 11日 10:44

相关推荐

  • 荣耀Magic V Flip发布 打造全形态折叠屏矩阵

    2024年6月13日,荣耀Magic V Flip科技时尚大秀在上海举行。作为荣耀旗下首款小折叠手机,荣耀Magic V Flip的问世标志着荣耀完成折叠屏全体系的最终部署,成为少数集齐现有各类折叠屏手机形态的品牌之一。 荣耀从消费者需求出发,以AI和折叠屏两大战略抓手为核心驱动力,为折叠旗舰带来新的价值思考。此次全新发布的荣耀Magic V Flip颠覆行…

    2024年 6月 13日
  • 90后云南小伙,带着一杯茶去美股IPO,市值500亿!

    文 / 零度  来源 / 节点财经  霸王茶姬顺利敲开IPO大门。 北京时间4月17日晚,中国现制茶饮品牌霸王茶姬正式在美国纳斯达克挂牌交易,成为首个登陆美股市场的新式茶饮品牌。开盘后,霸王茶姬一度大涨至33.75美元,市值一度冲破75亿美元(约超540亿元人民币)。 至此,霸王茶姬成为继奈雪的茶、茶百道、古茗、蜜雪冰城之后第五个上市的茶…

    2025年 4月 18日
  • 超百亿股权交易,顾家家居在下一盘什么棋?

    不过,只要接盘者盈峰集团觉得值,这就是个双赢交易。至于后续双方究竟会擦出怎样的火花,还需要做进一步观察。

    2023年 11月 14日
  • 企业微信这七年:没拦住对手,自己也只剩“半条命”?

    文|潮汐商业评论 “大有大难,小有小难”生活如此,商业世界也如此。 在被流量裹挟的互联网世界里,如果有机会能在微信生态里从0到1的做一款产品,绝对是令无数产品经理眼红的事情。 10亿级的流量,意味着在微信里“插根扁担都开花”,一出生就跳过了苦哈哈的无数升级打怪阶段,直接拥抱成百上千万的用户。 但硬币也有另一面,微信也不是每一个产品都能够杀出来,甚至是其中一些…

  • 2023社交进入大变革时代

    文|零态LT  李唐 编辑|胡展嘉 2023社交还有新故事,微信巨头位置坐得还稳吗? 不久前,Meta推出社交平台Threads、微信种草社区“小绿书”开启内测,字节跳动推出了海外生活方式社区Lemon8。 社交赛道为何再度火热,似乎没有终局? 简单来说,过去几年,社交赛道一度遭遇增长困境——传统的IM(即时通讯)和“左划右划”的陌生人社交早已无法获取和留住…

    2023年 10月 9日