0.35美元vs 5美元,硅谷巨头的Token价格战!不仅“卷”价格,还在拼推理速度

来源: 南方周末
2024-05-25 15:55:59

黄色app3.0.3免费vivo版大全装扮2023「彼女は四ツ谷の駅からしばらく歩いたところにある彼女の高校の前に僕をつれていった。四ツ谷の駅の前を通りすぎるとき僕はふと直子とcその果てしない歩行のことを思い出した。そういえばすべてはこの場所から始まったのだ。もしあの五月の日曜日に中央線の電車の中でたまたま直子に会わなかったら僕の人生も今とはずいぶん違ったものになっていただろうなcとぼくはふと思った。そしてそのすぐあとでcいやもしあのとき出会わなかったとしても結局は同じようなことになっていたかもしれないと思いなおした。多分我々はあのとき会うべくして会ったのだしcもしあのとき会っていなかったとしてもc我々はべつのどこかであっていただろう。とくに根拠があるわけではないのだがc僕はそんな気がした。  实际上,自研ERP面临的挑战非常多。首先,旧有ERP与外围系统集成点达3950多个,上万个数据集成点,IT架构如何重构适配?其次,旧有ERP固化了华为公司20余年管理和运营经验,这些管理流程经验如何继承?难题三是,针对同一场景交易性能,原数据库的高并发、高性能、高可靠的优势能力如何继承?对此,三年来,华为投入数千人,联合产业伙伴和生态伙伴攻坚克难。GD7wG-bjOb4Nho9ZJfEacXV7-0.35美元vs 5美元,硅谷巨头的Token价格战!不仅“卷”价格,还在拼推理速度

每经记者 文巧    每经编辑 兰素英    

实际上,硅谷也在上演着类似的情形。《每日经济新闻》记者注意到,硅谷大模型的价格也出现了下降趋势。

API价格战首先在OpenAI和谷歌这对“老对手”之间展开,不过幅度相对较小。其中,OpenAI的GPT-4o调用API的价格比GPT-4-turbo降低了一半,为5美元/百万Tokens,谷歌Gemini 1.5 Flash的价格降到了0.35美元/百万Tokens。

到底是什么在左右API“价格战”?在降价之外,有媒体指出,加快模型推理速度(即每秒生成Token的数量)也是硅谷大模型市场的主要竞争点。但“卷”价格、“卷”速度真的会赢得未来吗?

硅谷在“拼”什么?

5月中旬,字节跳动豆包以0.0008元/千Tokens的价格直接将国内大模型的市场价格带入“厘时代”。随即,大模型厂商便开始了价格上的角力。百度甚至直接祭出“文心大模型两大主力模型全面免费”的大招,直接将“价格战”推向新的高度。科大讯飞、腾讯等也“坐不住”了,要么降价,要么免费。

短短数天,国内大模型企业的混战便从“低价”走向了“免费”。而在硅谷,类似的情形其实也在上演。

《每日经济新闻》记者注意到,实际上,降低API价格和推升AI推理速度也已逐渐成为硅谷各大模型提供商的竞争焦点。

API价格战首先是在OpenAI和谷歌这对“老对手”之间展开的。当地时间5月13日,OpenAI发布全新模型GPT-4o,该模型支持免费试用,据传未来将供用户免费试用。此外,调用GPT-4o API的价格比GPT-4-turbo降低了一半,为5美元/百万Tokens。

在第二天的谷歌全球开发者大会上,谷歌宣布当家王牌Gemini大模型系列之一Gemini 1.5 Flash 的API价格为0.35美元/百万Tokens,远低于GPT-4o的价格。

比GPT-4o更具性价比的还有硅谷当红AI初创公司Anthropic和Mistral AI模型的API价格。 

除了“拼”模型调用价格,有媒体指出,硅谷AI芯片公司正以加快模型推理速度——即每秒生成Token的数量——以吸引客户。例如,美国芯片厂商Groq公司专注于提高每秒生成Token的数量,以此作为其主要的市场竞争点。

据科技外媒Medium今年4月的报道,Groq最新的AI芯片在Meta的开源模型LLaMA 3上达到了惊人的每秒生成800个token,并称这“标志着AI推理效率和能力的巨大转变”。截至目前,英伟达一直主导着AI芯片市场。该报道分析认为,Groq的最新成就可能将对英伟达的统治地位构成严峻挑战。

根据Groq的数据,许多开源模型据称在Groq芯片上的运行速度都得到提升,例如,Mixtral8×7B版本每秒输出500个Token;Llama 2 70B版本每秒输出300个Token。

《每日经济新闻》记者查询数据发现,当前配备英伟达芯片处理的硅谷热门大模型推理速度远低于此。例如,GPT-4 Turbo每秒生成约48个token,GPT-4为每秒约10个token;谷歌的Gemini 1.5 Pro约为每秒54.2个token。 

API“价格战”背后:模型性能差距正在减小

硅谷为何也会面临大模型的API“价格战”问题?这主要是跟模型的性能有关。

上个月,纽约大学知名教授Gary Marcus发表了一篇名为《证据表明LLM正达到收益递减点》的文章,驳斥了宾夕法尼亚大学沃顿商学院教授Ethan Mollick的一个观点,后者声称目前对大型语言模型改进率的最佳估计显示,能力每5~14个月翻一番。

Gary Marcus认为,从某些指标来看,在2020~2023年间,大模型的能力的确遵照上述定律翻了一番,但在过去13个月里这种情况并未发生。“相反,我看到许多迹象表明我们已经进入了收益递减期。”他这样写道。

若以MMLU(一种常见的大模型基准指标)为基准,可以看到,从GPT-2到GPT3再到GPT-4呈现了飞跃式的递增,但GPT-4到今年4月发布的GPT-4 Turbo的能力改进并不明显。

其次,自GPT-4发布以来,硅谷各大模型的能力正在趋同。LiquidAI的机器学习科学家Maxime Labonne在X平台上表示,表现最好的闭源模型(GPT-4级别)和开源模型在性能上的差距正在越来越小。

与此同时,随着企业对定制化大模型的需求越来越高,硅谷科技公司正在推出一系列小模型,例如微软在4月推出了名为Phi-3 Mini的轻量级模型。The Information分析称,像Phi这类小型模型的激增可能会削弱OpenAI的主导地位。

据The Information,微软产品团队已经将内置的GPT-4换成开源模型,以在Bing等产品中执行更基本的任务。而最初为 OpenAI大模型支付高价的一些公司,近期开始转向包括开源模型在内的更便宜的竞争对手。

随着GPT-4之后模型能力的趋同,以及更多开源模型和小模型的出现,竞争加剧之下,高价大模型的降价似乎是一种必然。

“卷”价格、“卷”速度并非终点

然而,一味“卷”价格会有未来吗?

众所周知,算力成本是开发大模型无法绕过的难点之一。根据斯坦福大学HAI研究所今年发布的AI报告,训练巨型模型的成本呈指数级增长,谷歌Gemini Ultra的训练成本估计为1.91亿美元,GPT-4的训练成本估计为7800万美元。

据报道,Anthropic的CEO此前曾表示,目前正在训练的模型成本已接近10亿美元,到2025年和2026年,将飙升至50亿或100亿美元。

科技巨头已经在硅谷大模型领域建立牢固的立足点,前沿基础模型市场呈现出强烈的市场集中化趋势。分析认为,价格战持续下去,公司利润势必被挤压,财力雄厚的科技巨头尚有基础,但初创公司则可能面临风险。

对于大模型公司来说,提升模型性能才是赢得竞争的最终手段。正如Gary Marcus所讲,如果收益递减的趋势持续,低级错误无法修正,大模型可能永远无法到达黄金时段。

另一方面,对于芯片厂商来说,“卷”每秒生成Token的数量仍然更多只是一种噱头,缩短第一个Token生成的时间或将成为下一个新的竞争点。

尽管Medium分析认为,每秒生成Token数量的提高等同于推理能力的上升,但硅 谷AI公司SambaNova在5月初发表的一篇博客文章中表示,当涉及到一些较为复杂和繁重的长文本任务时,每秒生成Token数量并非最重要的指标,也不能全面反映大模型的推理性能。而相对地,第一个Token生成的时间才更加重要。

这篇文章直白地指出,对每秒高Token数量的追求可能是一种“炒作”。尽管其确实可以实现令人印象深刻的解码速度,但存在芯片利用率低,第一个Token生成速度较慢,难以处理较长的文本输入等重大缺点。

  他把水火箭的研制、升级、实验,一一记录下来,发在抖音上。如今,单条视频最高播放破千万,获69万点赞。网友在他的短视频下留言,“这才是科学课该有的样子”“给孩子们种下了科学的种子,放飞了他们对未来的憧憬”“一次次的失败,一次次的改进,一次次的探讨,这才是科学探究精神”……

  报告声称,中国正在进行自二战结束以来的最大军事集结,在印太地区的战略意图缺乏透明度,中国在南海的主权主张“威胁到印太地区以规则为基础的全球秩序”,对澳大利亚的国家利益带来负面影响。

  “大约全国去了32人,别人摊位是一个公司,我们则是一个国,摊位小而拥挤,但毕竟突破了‘零’。”黄令仪曾在自述中写道,“归国的大巴走了约一半车程,被通知我送的专利被评为银奖,高兴之余,写了几句歪句:神州之尊重泰山,赤子荣辱轻鸿毛;灵台无计四十载,不觉青丝已成雪。纽伦堡夜星光灿,启明银座落中华;十年耻痛今宵去,芳草天涯迷人还。”

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有