智源研究院:国内头部模型已达国际一流水平,但能力发展不均衡

来源: 央广网
2024-05-18 16:13:05

  新浪科技讯 5月18日下午消息,在北京智源研究院(智源研究院)大模型评测发布会上,智源评测体系发布并公布了140余个国内外开/闭源语言及多模态大模型能力评测结果。评测结果显示,在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡情况;在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出;在中文语境下的文生图能力上,国产多模态模型与国际一流水平差距较小。

  据评测结果,在中文语境下,字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二,国产大模型更懂中国用户。在语言模型客观评测中,OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。

  多模态理解模型客观评测结果显示,图文问答方面,阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4,LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。

  在海淀区教委支持下,智源研究院联合与海淀区教师进修学校对齐学生测验方式,考察大模型与人类学生的学科水平差异。评测发现,模型在综合学科能力上与海淀学生平均水平仍有差距,普遍存在文强理弱的情况,并且对图表的理解能力不足,大模型未来有很大的提升空间。

  据介绍,2023年6月,智源研究院与多个高校团队共建FlagEval大模型评测平台上线,迄今为止已完成1000多 次覆盖全球多个开源大模型的评测和报告发布。本次评测使用了20余个数据集、超8万道考题,包括与合作单位共建和智源自建的多个评测数据集。(文

责任编辑:张倩

  楼春豪认为,印度想从“中国+1”中极大获益面临一些固有挑战,特别是自身民族主义经济政策取向、营商环境和基础设施等方面的掣肘、来自东南亚经济体的竞争等,都会影响其相关政策的效果。在他看来,越南、印尼、印度等国未来有潜力成为全球产业链和供应链的重要支点,但如果西方国家将过多泛政治化因素和阵营对抗思维掺杂进来,结果会适得其反。因此,中国不必过于担忧“中国+1”或“中国+N”带来的冲击,而是应致力于转型升级和科技创新,推动我国实体经济高质量发展。 

  丁一汇:变暖是个双刃剑。气温升高后,大气的饱和比湿值增加了,也就是说,湿空气想要达到饱和的难度增大,更不容易形成降雨。如果饱和比湿值增加的程度,快于实际大气中水汽的增加速度,非但不能增加降水,还会带来干旱。比如南疆部分区域温度增加得很快,但水汽增加的速度跟不上,空气难以达到饱和值,可能加剧干旱。

  9月4日上午,随着清脆的“砰砰砰”声响,参加中泰“蓝色突击—2023”海军联合训练的双方海军陆战分队在泰国海军陆战队轻武器射击场展开冲锋枪、手枪实弹射击,标志着本次联训活动全面展开。

  <strong>中国中小企业协会秘书长 谢极:</strong>这是一年多来,首次实现三个月的连续上升,随着促进民营经济发展的相关政策和促进民间投资17条措施的落地,提振了中小企业的发展信心。在当前国际国内复杂环境下取得这样连续上升的可喜成绩,也是来之不易的。

  南方+报道称,现场有当地民兵表示,目前有鳄鱼在深水处,出于安全要求,这些流出的鳄鱼即将被击毙。已经有多个部门相关人员在现场驻守,保障居民安全。

  在犯罪学中涉及到犯罪的程度,有一个测量的指标叫腐败的烈度,也就是腐败的严厉程度。从我们目前观察到的信息来看,从1人发案到14人归案,由此显现出犯罪的金额可能确确实实会发生几何倍数的增长。这种集团式、链条式共同导致的腐败烈度的增加,是值得我们关注的。

林欣惟

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有