Runway发布新一代视频生成模型,行业还有哪些难题待解?

来源: 山东大众网
2024-06-18 17:24:39

界面新闻记者 | 陈振芳

界面新闻编辑 | 文姝琪

  美东时间6月17日,Runway发布新一代视频生成模型Gen-3Alpha,视频生成赛道上再添“大将”。

  Runway是一家视频、媒体和艺术的生成式AI公司,在美国纽约于2018年成立,为电影和视频制作中的内容生成构建基础多模式AI模型目前该公司已经完成C轮融资,累计融资金额达2.36亿美元,估值达15亿美元,投资者包括谷歌、Nvidia和Salesforce

  2023年2月该公司连续发布生成式AI系统Gen-1以及多模态AI系统Gen-2该模型能够通过图像或文本提示生成视频。

  该公司表示,Gen-3Alpha是对此前Gen-2模型在保真度、一致性和运动性有了重大改进。

  细粒度时间控制上,Gen-3Alpha具有高度描述性、时间密集的字幕,能够实现丰富的过渡和场景中元素的精确关键帧。Gen-3Alpha擅长通过各种动作、手势和情感产生富有表现力的人类角色。

  Runway在官网表示,Gen-3Alpha在视频和图像方面接受联合训练,将为Runway的文本到视频、图像到视频和文本到图像工具、运动刷、高级相机控制、导演模式等现有控制模式以及即将推出的工具提供动力,以更精细地控制结构、风格和运动。

  另一方面,该公司称Gen-3Alpha将发布一套新的保障措施,包括内部视觉审核系统和C2PA来源标准。

  该公司创始人Germanidis接受TechCrunch采访时表示:“Gen-3Alpha模型在处理复杂的角色和物体交互时可能会遇到困难,生成过程并不总是严格遵循物理定律。首次推出的版本将支持5秒和10秒的高分辨率生成,生成时间明显快于Gen-2。生成一段5秒的视频需要45秒,生成一段10秒的视频则需要90秒。”

  值得一提的是,Runway并未在相关消息及采访中透露训练数据来源而这也是目前生成式模型最容易遭遇挑战的部分——版权问题。此前,360创始人、董事长兼CEO周鸿祎发布该公司新产品——360AI时,被艺术家创作者指责窃取其作品,双方“隔空喊话”,版权争议一直是行业顽疾。

  “我们正在与艺术家密切合作 ,找出解决这一问题的最佳方法,”Germanidis告诉TechCrunch,“我们正在探索各种数据合作伙伴关系,以便进一步发展和构建下一代模型。”

  Germanidis还声称,其全新改进的内部视觉和文本审核系统采用自动监督来过滤掉不适当或有害的内容。C2PA身份验证可验证使用所有Gen-3模型创建的媒体的出处和真实性。随着模型功能和生成高保真内容的能力不断提高,公司将继续在协调和安全工作上投入大量资金。

  当前,生成式模型赛道上挤满了对手,包括Sora、pika、Vidu、Luma AI等,竞争愈发激烈。

  Runway在博客上表示,Gen-3Alpha也是朝着构建通用世界模型迈出的一步。这与中国公司的同行们判断一致。

  近日,生数科技CTO鲍凡在智源大会的视觉大模型论坛上表示,从Vidu4D的工作里面看到,这种视频大模型有作为世界模型的潜力,把世界上各种物理规律都给模拟出来,后续再结合3D或者4D的技术进行开发。

  他认为,要通往世界模型有两条路。一是通过大语言模型,先把抽象的知识构建好,再拓展成世界模型。第二条是把物理规律构建好,拓展成世界模型,这两条道路目前都是探索状态。

  与此同时,生成视频的成本问题也备受关注。爱诗科技创始人王长虎在智源大会上透露,现在生成一个三五秒钟的视频需要耗时几十秒。如果采用RTX 4090芯片,用时40秒钟,或者60秒钟的成本大概1、2美左右,未来成本还会进一步下降。

  他指出,AI视频生成产品能用的也就是3秒-5秒,生成视频越长,误差随之会更大,这是接下来行业要解决的问题。

  王长虎表示,目前生成视频还存在以下三个问题。第一,生成视频往往是单镜头的,真正视频是多个镜头组合,多镜头的内容未来AI视频生成要解决的问题。其次,当前等待时长比较长,普通用户很难玩起来。第三,推理成本高,也是行业亟待解决的问题。

责任编辑:欧阳名军

  留白影视自成立以来,公司已先后完成4轮融资,股东包括国内一线投资机构微影资本、南山资本和经纬创投,以及上市公司富春股份。

  香港房屋问题由来已久,传统公屋平均轮候时间长逾5年、超过10万户居民住在劏房。香港特区行政长官李家超于2022年10月公布施政报告时提出,要在5年内快速建成约3万个简约公屋,供轮候传统公屋者申请入住,再等候迁入传统公屋,以填补传统公屋供应不足的缺口,改善基层市民居住环境。

  <strong>总台央视记者:日前,拉美和加勒比国家共同体第七届峰会在阿根廷首都布宜诺斯艾利斯举行,习近平主席向峰会作视频致辞。发言人能否进一步介绍有关情况?</strong>

  工业是福建经济增长的主引擎,福建统计局数据显示,2022年,该省超六成行业实现增长。在大力发展清洁能源的背景下,动力电池和储能电池需求爆发式增长,带动电气机械行业实现高位运行,增加值增长40.6%,对规模以上工业增长贡献率达41.7%。

在完全陌生的环境里

  中山大学中山眼科中心林浩添教授表示,研发团队通过长期临床实践,发现了一批与婴幼儿视功能损伤高度相关的异常注视行为模式,并耗时8年,联合移动医疗及人工智能技术,完成了首个婴幼儿视功能损伤手机智能普筛系统。该系统将智能手机转化为婴幼儿注视行为诱导及数据采集平台,通过播放一段3分钟的动画视频吸引婴幼儿保持注视,可以实现对婴幼儿注视习惯和行为模式的实时捕捉。

林如宣

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有