中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

5月9日,中文通用大模型综合性评测基准 SuperCLUE 正式发布。该基准测试主要关注以下问题:中文大模型在不同任务上的表现如何?与国际代表性模型相比,中文大模型的表现达到了何种程度?中文大模型与人类表现相比如何?

该模型可通过多个层面,考验市面上主流的中文 GPT 大模型的能力:

基础能力: 包括了常见的有代表性的模型能力,如语义理解、对话、逻辑推理、角色模拟、代码、生成与创作等 10 项能力。

专业能力: 包括了中学、大学与专业考试,涵盖了从数学、物理、地理到社会科学等 50 多项能力。

中文特性能力: 针对有中文特点的任务,包括了中文成语、诗歌、文学、字形等 10 项多种能力。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

该机构利用 SuperCLUE 测试基准,对市面上主流的支持中文的通用大模型进行了评测与排名。从排名中我们可以看出,GPT-4 一骑绝尘,已经非常接近人类的能力。国产大模型中讯飞科技研发的星火认知大模型总排名第三,国内排名第一。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

以下为该机构公布的各个子项目的具体得分。排行榜会定期更新,并于CLUEbenchmarks 官方网站网站进行公示。

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

中文通用大模型基准测试 SuperCLUE 发布,讯飞星火认知大模型国内第一

节点声明:本内容为作者独立观点,不代表节点财经立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。

(0)
上一篇 2023年 5月 10日 11:10
下一篇 2023年 5月 11日 10:44

相关推荐

  • 高济与加盟商,谁在加速谁

    文|陆玖商业评论 ‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍‍每年只需要7000元管理费,单体药店就可以加入药品零售巨头高济医疗——在今年3月传出最快将于下半年在港IPO消息之后,高济医疗近期在加盟上悄悄有了新动作。 陆玖商业评论了解到,在河南区域,只需要1.5万元加盟费、1.5万元保证金,以及每年7000元管理费,就可以加盟高济医疗。 2017年成立后,高济医疗高…

  • “两个男人”出手,王健林长舒一口气

    文|雷达财经  孟帅 编辑|深海 1995年播出的韩剧《澡堂老板家的男人们》曾是不少人的下饭神剧,而若将担任过王健林“白衣骑士”的大佬们聚一起,或许可以攒一部“地产老板家的男人们”。 临近年末,不少人期盼新年赶紧到来之际,年近七旬的王健林或许希望新年的脚步可以来得再晚一些。这不是因为王健林忌惮年龄的增长,而是珠海万达商管赴港上市的对赌压力已到最后的危急时刻。…

    上市公司 2023年 12月 15日
  • 培育“新”动力 首届全球天使祝融峰会在衡阳举行

    峰会现场。人民网记者 吴茜薇摄 人民网长沙1月12日电 创投大咖云集,重磅项目路演,无限商机涌动。1月10日至12日,首届全球天使祝融峰会在衡阳举行,百位天使联合汇的创投大咖们与衡阳深度合作,共同探索招商引资新路径,助力衡阳发展培育产业金融与科技创新等新质生产力。 近年来,衡阳大力实施“制造立市、文旅兴城”发展战略,现代产业强市建设迈出坚实步伐:连续三年上榜…

    2025年 1月 13日
  • 美团的韧性来自何处?

    本文系基于公开资料撰写,仅作为信息交流之用,不构成任何投资建议。 毫无疑问,当时当下,正是做公司价值研究的最佳窗口期:捕捉一家公司、一个商业模式的价值中枢,窗口期不在顺周期,而是逆周期。 最近一个时期,恰处于全球性下行经济周期,降本增效成为多数行业与公司们被动的抉择。通过组织、人事或项目优化,我们在过去数个季度的财报期内,密集看到诸多互联网公司们将存量利润释…

    2023年 8月 31日
  • “平衡大师”炼成了

    一手燃油,一手新能源。 撰文|赵晋杰 编辑 | 王靖 过去的2023年,全球汽车市场给人的分裂感进一步加剧:一边是顺着新能源转型东风崛起的造车新势力,大多仍在亏损泥潭里越陷越深;一边是固守燃油车的传统车企,继续大赚特赚,如屡次炮轰纯电动概念车的丰田,不仅蝉联销量冠军,而且成为全球最赚钱车企。 面对上述分裂感,在比亚迪和造车新势力之外,吉利跑通了第三条发展路径…

    2024年 3月 27日