各大AI模型训练成本大比拼:谷歌Gemini Ultra高达1.9亿美元

来源: 雷科技
2024-06-05 20:31:44

黑人巨鞭大战中国妇女小说「でもねcワタナベ君。今の私には待つしかないのよ」とハツミさんはテーブルに頬杖をついて言った。老骥伏枥,志在千里;烈士暮年,壮心不已,应该是对C罗最好的形容,在已经37岁的年纪,还保持当年的冲动,证明了他求胜欲望强烈,这就是最真实的C罗,如此C罗你为什么不喜欢呢?TCqi-t2Kw11ARoQRdxdsj8f-各大AI模型训练成本大比拼:谷歌Gemini Ultra高达1.9亿美元

  随着计算需求的增加,训练它们所需的计算能力的费用也在飙升。为此,AI公司正在重新考虑如何训练这些生成式AI系统。在许多情况下,这些策略包括在当前的增长轨迹下降低计算 成本。

  训练成本是如何确定的?

  斯坦福大学与研究公司Epoch AI合作,根据云计算租金估算了AI模型的训练成本。双方所分析的关键因素包括模型的训练时长、硬件的利用率和训练硬件的价值。

  尽管许多人猜测,训练AI模型的成本变得越来越高,但缺乏全面的数据来支持这些说法。而斯坦福大学发布的《2024年AI指数报告》正是支持这些说法的罕见来源之一。

  不断膨胀的训练成本

  下表展示了自2017年以来,经通胀调整后的主要AI模型的培训成本:

  去年,OpenAI的GPT-4培训成本估计为7840万美元,远高于谷歌PaLM (540B) 的训练成本。谷歌PaLM较GPT-4仅早一年推出,但训练成本为1240万美元。

  相比之下,2017年开发的早期AI模型Transformer的训练成本为930美元。该模型在塑造当前所使用的许多大型语言模型的体系结构方面起着基础性作用。

  谷歌的AI模型Gemini Ultra的训练成更高,达到了惊人的1.91亿美元。截至2024年初,该模型在几个指标上都超过了GPT-4,最引人注目的是在“大规模多任务语言理解”(MMLU)基准测试中胜出。这一基准是衡量大型语言模型能力的重要标尺。例如,它以评估57个学科领域的知识和解决问题的熟练程度而闻名。

  训练未来的AI模型

  鉴于这些挑战,AI公司正在寻找新的解决方案来训练语言模型,以应对不断上涨的成本。

  其中的方法有多种,比如创建用于执行特定任务的较小模型,而其他一些公司正在试验创建自家的合成数据来“投喂”AI系统。但到目前为止,这方面还没有取得明确的突破。

  例如,使用合成数据的AI模型有时会“胡言乱语”,引发所谓的“模型崩溃”。

责任编辑:刘明亮

迭戈·阿隆索目光如炬,这位在上海申花踢过球的少帅,点画着乌拉圭地图,串起一段2分49秒的燃片:卡车司机、水果小贩、砌墙瓦匠,与奔赴卡塔尔为国而战的卡瓦尼、苏亚雷斯、努涅斯们同在。以山河旷野为背景,以家国情怀为内涵,庙堂并不高,江湖也不远。他们高举“乡党”球衣,让这个充满仪式感的世界杯大名单发布动作,成为国家足球形象宣传片——甚至是国家宣传片。

不过本场比赛对于孙兴慜来说却不是一场走运的比赛,不仅在比赛中颗粒无收而且因为和对手相撞导致自己的眼眶周围四处骨折,不得不进行手术治疗以便于能够尽快赶上世界杯赛程,而且即便如此他也可能会缺席多场世界杯的征程。

梅西的确十分强悍,开场1分43秒就冲入沙特禁区完成抽射,只可惜角度不太好;但在9分12秒帕雷德斯制造了一个点球,梅西罚点球命中完成1-0,随后阿根廷各种进球但都越位了,梅西一球+劳特罗两球,只可惜都越位了,阿根廷上半场是“越位帽子戏法”。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有