各大AI模型训练成本大比拼:谷歌Gemini Ultra高达1.9亿美元

来源: 红网
2024-06-05 20:29:59

明星造梦工厂古力娜扎朝になると雨はあがっていた。直子は僕に背中を向けて眠っていた。あるいは彼女は一睡もせずに起きていたのかもしれない。起きているにせよ眠っているにせよc彼女の唇は一切の言葉を失いcその体は凍りついたように固くなっていた。僕は何度か話しかけてみたが返事はなかったしc体もぴくりとも動かなかった。僕は長いあいだじっと彼女の裸の肩を見ていたがcあきらめて起きることにした。  10名中国籍职业斯诺克球员在参加世界职业比利和斯诺克协会(WPBSA)主办的世界职业斯诺克赛事期间,存在操纵比赛结果等违反WPBSA行为准则的行为,北京时间6月7日WPBSA公布对这10名球员的处罚决定。为了正风肃纪、惩前毖后,中国台球协会依据《中华人民共和国体育法》和《中国台球协会职业球员委员会管理规定》第二十二条、第三十二条和《中国台球协会纪律准则和处罚规定》第五条、第七条、第十条之规定,对这10名球员作出如下处罚:HATL5Hq-kNILokYAOcFG2fQfdnG-各大AI模型训练成本大比拼:谷歌Gemini Ultra高达1.9亿美元

  随着计算需求的增加,训练它们所需的计算能力的费用也在飙升。为此,AI公司正在重新考虑如何训练这些生成式AI系统。在许多情况下,这些策略包括在当前的增长轨迹下降低计算成本。

  训练成本是如何确定的?

  斯坦福大学与研究公司Epoch AI合作,根据云计算租金估算了AI模型的训练成本。双方所分析的关键因素包括模型的训练时长、硬件的利用率和训练硬件的价值。

  尽管许多人猜测,训练AI模型的成本变得越来越高,但缺乏全面的数据来支持这些说法。而斯坦福大学发布的《2024年AI指数报告》正是支持这些说法的罕见来源之一。

  不断膨胀的训练成本

  下表展示了自2017年以来,经通胀调整后的主要AI模型的培训成本:

  去年,OpenAI的GPT-4培训成本估计为7840万美元,远高于谷歌PaLM (540B) 的训练成本。谷歌PaLM较GPT-4仅早一年推出,但训练成本为1240万美元。

  相比之下,2017年开发的早期AI模型Transformer的训练成本为930美元。该模型在塑造当前所使用的许多大型语言模型的体系结构方面起着基础性作用。

  谷歌的AI模型Gemini Ultra的训练成更高,达到了惊人的1.91亿美元。截至2024年初,该模型在几个指标上都超过了GPT-4,最引人注目的是在“大规模多任务语言理解”(MMLU)基准测试中胜出。这一基准是衡量大型语言模型能力的重要标尺。例如,它以评估57个学科领域的知识和解决问题的熟练程度而闻名。

  训练未来的AI模型

  鉴于这些挑战,AI公司正在寻找新的解决方案来训练语言模型,以应对不断上涨的成本。

  其中的方法有多种,比如创建用于执行特定任务的较小模型,而其他一些公司正在试验创建自家的合成数据来“投喂”AI系统。但到目前为止,这方面还没有取得明确的突破。

  例如,使用合成数据的AI模型有时会“胡言 乱语”,引发所谓的“模型崩溃”。

责任编辑:刘明亮

  大背景,大家都知道,中美今年进行了一系列激烈较量,以至于在和布林肯会谈时,秦刚很坦率地说了一句话:当前,中美关系处在建交以来的最低谷。

  <font cms-style="font-L strong-Bold">央视网消息:</font>据“中国水利”微信公众号消息,据预报,6月20日至25日,受冷暖空气共同影响,西南东部南部、江南、华南西部北部及湖北东南部等地将有一次强降雨过程。受其影响,长江流域鄱阳湖和洞庭湖水系,珠江流域柳江、桂江,太湖河网区及浙闽地区钱塘江、闽江上游富屯溪等主要河流可能出现超警以上洪水,暴雨区内部分中小河流可能发生较大洪水。水利部信息中心(水文水资源监测预报中心)于6月19日11时发布洪水蓝色预警,提醒有关地区注意防范。

  南宁市发展改革委表示,听证会后将对听证会参加人的意见和建议进行认真梳理汇总和研究吸纳,按程序制定南宁市道路停车位机动车停放服务收费标准,并尽快向社会公布。同时对涉及行业部门管理和服务的意见和建议,将及时转送相关部门,不断完善和改进道路停车管理工作。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有