火山引擎谭待:大模型的超低定价,来自对技术的信心

来源: 城市观察员
2024-05-16 15:56:42

男生桶女生免费软件*  “我这间办公室和旁边的会议室已经接待了1000多人次的蓝光雍锦湾业主。大家的法治意识比较强,每次接访,有人录像,有人录音,还会把我说的话、作出的承诺传播到视频平台,我的出镜率相当高。”王中伟笑着说。POPe-dhBQXi8GZiINKwFcGm3-火山引擎谭待:大模型的超低定价,来自对技术的信心

  “降价的基本逻辑是,我们有信心用技术手段降低成本,市场也需要更低价的大模型。”

  5月15日,字节跳动豆包大模型在火山引擎原动力大会上正式发布。火山引擎总裁谭待在接受媒体采访时,谈到了大模型的定价策略。

  豆包大模型的超低价格引发行业震动。据悉,豆包主力模型的推理输入价格只有0.0008元/千Tokens,比行业便宜99.3%。对 此,谭待坦言,“降价是用技术优化成本来实现的。如果只是补贴,用亏损换收入是不可持续的,火山引擎不会走这条路。”

  其次是工程上的优化。大模型的调用量越大,优化推理成本的空间也越大。以前的模型都是单机推理,大模型用的是分布式推理。所以如果能把各种各样的底层算力用得更好,推理成本就会大大降低。

  谭待进一步解释说,豆包大模型平均每天处理1200亿Tokens文本、生成3000万张图片,这里有不同的负载,可以把不同任务混合在一起,互相错峰,通过智能调度把它们的利用率都跑得很高,就能极大地提升资源利用率,实现整体成本的优化。

  另外以字节内部业务为例,飞书的主要流量高峰在工作时间,抖音在下班后休闲时间的流量更高,这些不同业务的大模型推理,也能根据业务特点错峰使用,就可以降低成本。

  对于“大模型开始价格战”的说法,谭待认为,大模型市场仍在发展初期,远远没到激烈竞争的阶段。“池塘有多大,鱼就有多大,现在整个池塘还在培养的过程。”

  在宋玮管理的社区居民中,有人做完体检第一件事,就是来找她解读,问她下一步去哪里做检查、需要做哪些检查;有人在三甲医院看完了专科,专科医生给出了手术方案,还会特地跑来看她,问她是不是值得去做这一场手术,术后需要注意什么,“社区病人都知道,很多疾病,并不可能通过1-2次的门诊就可以解决,需要得到全病程的管理,才能得到很好的治疗,这种理念已经深入社区居民的内心,也让我们之间的信任感更强,相处起来更加愉快。”

  实践中,地方政府往往对新建道路、桥梁、港口这些容易识别的基础设施投资具有很高的积极性,并倾向于人为扩大这些项目的规模和建设标准。显然,相对于投资人力资本(基础教育、公共卫生等)或其他社会公共服务,在物质基础设施上的投资更容易直接拉动经济增长,更容易得到短期可见的建设成果,也更容易创造寻租的机会。

  回顾柬埔寨10年变化,谢莫尼勒说:“各项合作为国家建设和人民生活带来了极大的变化。最大的变化是民心——通过合作的桥梁,柬中民心紧密相连。”

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有