通义千问720亿参数模型开源,适配企业级、科研级高性能应用

今天,阿里云举办通义千问发布会,开源通义千问720亿参数模型Qwen-72B。Qwen-72B在10个权威基准测评创下开源模型最优成绩,成为业界最强开源大模型,性能超越开源标杆Llama 2-70B和大部分商用闭源模型。未来,企业级、科研级的高性能应用,也有了开源大模型这一选项。

通义千问还开源了18亿参数模型Qwen-1.8B和音频大模型Qwen-Audio。至此,通义千问共开源18亿、70亿、140亿、720亿参数的4款大语言模型,以及视觉理解、音频理解两款多模态大模型,实现“全尺寸、全模态”开源。

通义千问720亿参数模型开源,适配企业级、科研级高性能应用

01

业界最强开源模型,填补中国LLM开源领域空白

Qwen-72B基于3T tokens高质量数据训练,延续通义千问预训练模型一贯以来的强势表现,在10个权威基准测评中夺得开源模型最优成绩,在部分测评中超越闭源的GPT-3.5和GPT-4。

英语任务上,Qwen-72B在MMLU基准测试取得开源模型最高分;中文任务上,Qwen-72B霸榜C-Eval、CMMLU、GaokaoBench等基准,得分超越GPT-4;数学推理方面,Qwen-72B在GSM8K、MATH测评中断层式领先其他开源模型;代码理解方面,Qwen-72B在HumanEval、MBPP等测评中的表现大幅提升,代码能力有了质的飞跃。

Qwen-72B可以处理最多32k的长文本输入,在长文本理解测试集LEval上取得了超越ChatGPT-3.5-16k的效果。研发团队优化了Qwen-72B的指令遵循、工具使用等技能,使之能更好地被下游应用集成。比如,Qwen-72B搭载了强大的系统指令(System Prompt)能力,用户只用一句提示词就可定制AI助手,要求大模型扮演某个角色或者执行特定的回复任务。

Qwen-72B将以高性能、高可控、高性价比的特点,为业界提供不亚于商业闭源大模型的选择。基于Qwen-72B,大中型企业可开发商业应用,高校、科研院所可开展AI for Science等科研工作。

02

从1.8B到72B,通义千问率先实现全尺寸开源

Qwen-72B“向上摸高”,抬升了开源大模型的尺寸和性能天花板;今天开源的另一开源模型Qwen-1.8B则“向下探底”,成为尺寸最小的中国开源大模型,推理2K长度文本内容仅需3G显存,可在消费级终端部署。

从18亿、70亿、140亿到720亿参数规模,通义千问成为业界首个“全尺寸开源”的大模型。用户可在魔搭社区直接体验Qwen系列模型效果,也可通过阿里云灵积平台调用模型API,或基于阿里云百炼平台定制大模型应用。阿里云人工智能平台PAI针对通义千问全系列模型进行深度适配,推出了轻量级微调、全参数微调、分布式训练、离线推理验证、在线服务部署等服务。

通义千问720亿参数模型开源,适配企业级、科研级高性能应用

阿里云是国内最早开源自研大模型的科技企业,8月以来开源了Qwen-7B、Qwen-14B和视觉理解模型Qwen-VL。几款模型先后冲上HuggingFace、Github大模型榜单,得到中小企业和个人开发者的青睐,累计下载量超过150万,催生出150多款新模型、新应用。发布会现场,多位开发者伙伴现身说法,分享了他们用Qwen开发专属模型和特定应用的实践。

阿里云CTO周靖人表示,开源生态对促进中国大模型的技术进步与应用落地至关重要,通义千问将持续投入开源,希望成为“AI时代最开放的大模型”,与伙伴们共同促进大模型生态建设。

03

通义千问基座模型持续进化,多模态探索业界领先

通义千问团队一直在探索多模态大模型技术。今天,阿里云首次开源了音频理解大模型Qwen-Audio。

Qwen-Audio能够感知和理解人声、自然声、动物声、音乐声等各类语音信号。用户可以输入一段音频,要求模型给出对音频的理解,甚至基于音频进行文学创作、逻辑推理、故事续写等等。音频理解能够赋予大模型接近人类的听觉能力。

通义大模型能“听”也能“看”。通义千问8月开源出视觉理解大模型Qwen-VL,迅速成为国际开源社区最佳实践之一。本次发布会又宣布了Qwen-VL的重大更新,大幅提升通用OCR、视觉推理、中文文本理解基础能力,还能处理各种分辨率和规格的图像,甚至能“看图做题”。不论从权威测评成绩还是真人体验的效果看,Qwen-VL的中文文本理解能力都大幅超越了GPT-4V。

通义千问闭源模型也在持续进化,一个月前发布的通义千问2.0版闭源模型,最近已进阶至2.1版,上下文窗口长度扩展到32k,代码理解生成能力、数学推理能力、中英文百科知识、幻觉诱导抵抗能力分别提升30%、10%、近5%和14%。用户可以在通义千问APP免费体验最新版本的闭源模型。

节点声明:本内容为作者独立观点,不代表节点财经立场。未经允许不得转载,文中内容仅供参考,不作为实际操作建议,交易风险自担。

(0)
阿里巴巴的头像阿里巴巴
上一篇 2023年 12月 1日 10:25
关于「高质量发展」,拼多多的真理与实干
下一篇 2023年 12月 1日 15:13

相关推荐

  • 首款旗舰SUV亮相 奏响魏牌建设用户型企业最强音

    与用户体验共创,为用户打造更舒适、更优越的用车享受。不断走近、融入用户,魏牌通过回声平台、公域直连、NV1群运营等沟通路径,与用户进行快捷互动交流,实现“事事有回应”。

    2022年 12月 30日
  • 无招回归钉钉出招:还是大招

    文 / 道哥  “我们决心清空过去,以归零的心态,为AI时代打造一个全新的钉钉。”钉钉CEO无招表示。 今年,已经是钉钉的第十年。 8月25日钉钉召开发布会,发布了8.0版本。相对于此前的版本,8.0版最大的变化就是从协同办公APP正式走向AI原生。 回首2015年,钉钉1.0版本横空出世,在过去这十年里,它成功塑造了云和移动互联网时代的工作模式。…

    2025年 8月 26日
  • 小鹏汽车发布二季度财报,预计2024年底成本降低25%

    目前,汽车价格战愈演愈烈,近两周,特斯拉宣布两轮降价,8月以来已有超10家车企宣布降价,小鹏汽车若要参与价格战无疑将进一步压缩利润空间。

    2023年 8月 19日
  • 智源大会最清醒的一句话:大模型的下一场仗,不在屏幕里打了

    文 / 郭添  来源 / 节点AI  北京智源大会来到了第二天,会场里的气氛变了。 前一天更像技术阅兵,大家大谈特谈大语言模型对社会的影响,对未来技术发展的期望,毕竟技术范式已经收敛,这条赛道更多是确定性。 第二天就不同了,摆在行业面前的下一道题是如何让机器理解真实物理世界,机器能快速算出高难度数学题,但它并不知道桌上的咖啡杯滑落桌沿会怎…

    2026年 6月 13日
  • 为机器人打造长效记忆大脑,华为+字节科学家们的AGI破局路线

    越来越多的机器人正在尝试走入家庭,但离融入家庭,还有着很长的体验鸿沟。这固然与行业发展现状有关,硬件可靠性低、高质量训练数据稀缺、模型架构有短板和无法形成有效的数据飞轮仍是具身智能行业的四大痛点。但从消费级场景需求来看,机器人落地家庭最核心的短板其实是记忆缺失。因为没有记忆,机器人只能完成单次问答,转头就忘记了之前的对话内容,同样也记不住家庭户型布局、物品位…

    2026年 7月 3日