智源研究院:国内头部模型已达国际一流水平,但能力发展不均衡

来源: 青瞳视角
2024-05-18 17:08:24

  新浪科技讯 5月18日下午消息,在北京智源研究院(智源研究院)大模型评测发布会上,智源评测体系发布并公布了140余个国内外开/闭源语言及多模态大模型能力评测结果。评测结果显示,在中文语境下,国内头部语言模型的综合表现已接近国际一流水平,但存在能力发展不均衡情况;在多模态理解图文问答任务上,开闭源模型平分秋色,国产模型表现突出;在中文语境下的文生图能力上,国产多模态模型与国际一流水平差距较小。

  据评测结果,在中文语境下,字节跳动豆包Skylark2、OpenAI GPT-4位居第一、第二,国产大模型更懂中国用户。在语言模型客观评测中,OpenAI GPT-4、百川智能Baichuan3位列第一、第二。百度文心一言4.0、智谱华章GLM-4和月之暗面Kimi均进入语言模型主客观评测前五。

  多模态理解模型客观评测结果显示,图文问答方面,阿里巴巴通义Qwen-vl-max与上海人工智能实验室InternVL-Chat-V1.5先后领先于OpenAI GPT-4,LLaVA-Next-Yi-34B和上海人工智能实验室Intern-XComposer2-VL-7B紧随其后。

  在海淀区教委支持下,智源研究院联合与海淀区教师进修学校对齐学生测验方式,考察大模型与人类学生的学科水平差异。评测发现,模型在综合学科能力上与海淀学生平均水平仍有差距,普遍存在文强理弱的情况,并且对图表的理解能力不足,大模型未来有很大的提升空间。

  据介绍,2023年6月,智源研究院与多个高校团队共建FlagEval大模型评测平台上线,迄今为止已完成1000多次覆盖全球多个开源大模型的评测和报告发布。本次评测使用了20余个数据集、超8万道考题,包括与合作单位共建和智源自建的多个评测数据集。(文猛)

责任编辑:张倩

  根据2023年3月21日北京市统计局、国家统计局北京调查总队发布的《北京市2022年国民经济和社会发展统计公报》,2022年末,全市常住人口2184.3万人,常住人口出生率为5.67‰。而截至2016年末,北京市的常住人口出生率为9.32‰,2017年末为9.06‰。

  除此之外,在伯恩斯大使过去几天的推文中,外界还能看到他记述“很高兴见到”自己的母校约翰斯•霍普金斯大学与南京大学合办双语教学项目;转发了塞内加尔大使锡拉向国家主席习近平递交国书的推文;以及前往赛珍珠女士(Pearl S。 Buck)故居,尊称其为“两国之间‘人民的桥梁’”,称自己“获得了诸多启发”。

  在它的自拍照中,白色大熊猫看起来不苟言笑,在它又圆又白的脸上,淡粉色的眼睛加上粉色眼框显得炯炯有神,没有黑眼圈,仿佛一只爱早睡早起的大熊猫。眼睛周围凸起的一圈白毛,视觉上有放大眼睛的效果。鼻子是倒三角的粉色,它周围隐隐约约描了一圈黑线,配上雪白的吻部,让它看起来缺少了其他大熊猫的憨态,多了几分严肃和克制。

  同样要强调,秦刚介绍的五大坚持共识的第三项,是要坚持互利共赢,高质量共建“一带一路”。众所周知,这五个国家都是“一带一路”沿线国家,尤其中国元首首提共建“丝绸之路经济带”倡议,就是在2013年9月访问哈萨克斯坦期间,于纳扎尔巴耶夫大学发表演说时,正式发起的,这也可以视作“一带一路”倡议的真正起点。我们也知道,今年中国将举办第三届“一带一路”合作高峰论坛,下周出席西安峰会的中亚五国元首,将大概率再度来华参会。就此而言,第三届“一带一路”合作高峰论坛,作为中国今年举办的又一场重大主场外交,同样值得高度期待,而“一带一路”倡议作为中国发起、各方共建、世界共享的优质公共产品,秦刚曾在两会记者会上特别强调,在合作中我们有商有量,在交往中我们重情重义,对于其他国家提出的倡议,只要不以意识形态划线,我们都欢迎,只要不夹带地缘政治的私货,我们都乐见其成。就此而言,无论是“一带一路”峰会,还是迎来十周年的“一带一路”倡议,同样值得高度期待。

  在万亿城市“腰部”,宁波、青岛、无锡的“三国杀”向来精彩。但是近年来,宁波“单飞”势头越发明显,2022年宁波GDP独居1.5万亿元阶段。今年一季度,宁波GDP达到3801.8亿元,增速4.5%。这也使其历史性地超越天津,成为新晋GDP十强城市“守门员”。

  神舟十六号载人飞船入轨后,将采用自主快速交会对接模式对接于天和核心舱径向端口,形成三舱三船组合体。在轨驻留期间,神舟十六号航天员乘组将迎来神舟十七号载人飞船的来访对接,计划于今年11月返回东风着陆场。#聚焦神舟十六号#(记者李国利、黎云、黄一宸)

张哲铭

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有