火山引擎谭待:大模型的超低定价,来自对技术的信心

来源: 川观新闻
2024-05-17 17:14:48

  “降 价的基本逻辑是,我们有信心用技术手段降低成本,市场也需要更低价的大模型。”

  5月15日,字节跳动豆包大模型在火山引擎原动力大会上正式发布。火山引擎总裁谭待在接受媒体采访时,谈到了大模型的定价策略。

  豆包大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这条路。”

  其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好,推理成本就会大大降低。

  谭待进一步解释说,豆包大模型平均每天处理1200亿Tokens文本、生成3000万张图片,这里有不同的负载,可以把不同任务混合在一起,互相错峰,通过智能调度把它们的利用率都跑得很高,就能极大地提升资源利用率,实现整体成本的优化。

  另外以字节内部业务为例,飞书的主要流量高峰在工作时间,抖音在下班后休闲时间的流量更高,这些不同业务的大模型推理,也能根据业务特点错峰使用,就可以降低成本。

  对于“大模型开始价格战”的说法,谭待认为,大模型市场仍在发展初期,远远没到激烈竞争的阶段。“池塘有多大,鱼就有多大,现在整个池塘还在培养的过程。”

  拜登这一言论引发争议,多家美媒在报道中用数据反驳。《华盛顿观察家报》质疑称,拜登说在他2021年1月上任时通胀率正在上升,这一说法值得怀疑,因为在其就职前的10个月里,美国通胀率一直保持在1.5%或以下。福克斯新闻则对比称,拜登上任时、即美国2021年1月消费者价格指数(CPI)为1.4%,而最新的2022年12月通胀数据为6.5%。

  1月18日上午,美国捷蓝航空公司的一架飞机又与另一架飞机在纽约一座机场相撞,幸运的是,事故中无人受伤。

  2月4日,在吉林长春,市民参加猜灯谜活动,迎接元宵佳节。

  为了完成每日的线路巡查任务,无论严寒还是酷暑,蒋小军每天上、下午都要来回骑行两趟,一天下来要骑行近70公里。路过小沟、泥路、独木桥,他就用肩扛着自行车走。

  “我是研究石窟壁画的,但我的研究对象却是不完整的,怎么做研究?”赵莉说,2002年,她与老师霍旭初觅得良机赴德国参加国际学术研讨会。在柏林亚洲艺术博物馆(原柏林印度艺术博物馆)的文物库房里,赵莉首次见到了流失海外的壁画实物。此行,他们对上述博物馆所藏新疆壁画进行简单调查,但遗憾的是,所拍摄的4卷胶卷回国后没有冲洗出来一张。

  “现阶段返岗工人、返校学生成为春运返程客流主体,我们在进出站口、候车室、站台等部位根据客流实时情况动态增加警力,全力确保旅客安全出行。”石家庄铁路公安处雄安站派出所副所长方鹏说。

孙治木

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有