智源研究院:国内头部模型已达国际一流水平,但能力发展不均衡

来源: 格隆汇
2024-05-18 16:16:26

  新浪科技讯 5月18日下午消息,在北京智源研究院(智源研究院)大模型评测发布会上,智源评测体系发布并公布了140余个国内外开/闭源语言及多模态大模型能力评测结果。评测结果显示,在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡情况;在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出;在中文语境下的文生图能力上,国产多模态模型与国际一流水平差距较小。

  据评测结果,在中文语境下,字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二,国产大模型更懂中国用户。在语言模型客观评测中,OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。

  多模态理解模型客观评测结果显示,图文问答方面,阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4,LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2 -VL-7B紧随其后。

  在海淀区教委支持下,智源研究院联合与海淀区教师进修学校对齐学生测验方式,考察大模型与人类学生的学科水平差异。评测发现,模型在综合学科能力上与海淀学生平均水平仍有差距,普遍存在文强理弱的情况,并且对图表的理解能力不足,大模型未来有很大的提升空间。

  据介绍,2023年6月,智源研究院与多个高校团队共建FlagEval大模型评测平台上线,迄今为止已完成1000多次覆盖全球多个开源大模型的评测和报告发布。本次评测使用了20余个数据集、超8万道考题,包括与合作单位共建和智源自建的多个评测数据集。(文猛)

责任编辑:张倩

  公开资料显示,鄂尔多斯市亿鼎生态农业开发有限公司注册成立于2011年9月,由亿利资源集团有限公司与淄博矿业集团有限责任公司共同出资组建,位于鄂尔多斯市杭锦旗独贵塔拉工业园区,是一家以从事化学原料和化学制品制造业为主的企业。

  据新华社9月11日报道,当日,中国和平统一促进会十届一次理事大会在京召开。中共中央政治局常委、全国政协主席王沪宁出席会议并当选会长。

  答:目前,房贷利率是在LPR(贷款市场报价利率)基础上加减点确定的。按照人民银行通知,本次调整后的贷款利率,不能低于原贷款发放时所在城市首套住房贷款利率政策下限。根据区域不同、业务情况不同,光大银行会在人民银行政策范围内,保障客户权益,进行调整,具体请以光大银行后续公告为准。

  [环球网报道 记者 徐嘉莅]台湾中时新闻网11日报道称,岛内进口蛋争议近期持续延烧,农业粉丝专页博主“Lin bay 好油”10日也爆料称,进口蛋的蛋壳上沾有粪便,并且有巴西鸡蛋放了4个月还在架上售卖,并表示,这就是我们糟糕的民进党当局。对此,有岛内网民舆论讽刺称,“进口蛋壳上有屎,农业部门可参考驻日代表的言论说‘吃少量鸡屎无碍健康且可增加抵抗力有益健康’”。

  文章称,当前,全国纪检监察干部队伍教育整顿正处于检视整治环节,中央纪委国家监委和各级纪检监察机关坚持动真碰硬、刀刃向内,零容忍清除害群之马,此次公布的监督检查审查调查数据便是有力证明。坚持严字当头、一严到底,各级纪检监察机关认真落实教育整顿问题线索受理和处置工作方案,全面开展问题线索受理和处置工作,严肃查处问题突出的人和事,推动教育整顿走深走实。

  在东盟各国及其他与会领导人的发言中,“合作”无处不在。印尼总统佐科前一天在峰会开幕式上致辞时表示,“我们应把东盟这艘船视作促进合作的场所,以期实现繁荣、稳定与和平,不仅是为了该地区,也是为了整个世界。”

卢淑芬

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有