Runway发布新一代视频生成模型,行业还有哪些难题待解?

来源: 慧聪网
2024-06-18 17:22:40

淫乱家家亲「ありがとう。とても楽になったような気がするわ。まだ少しだるいけれどc前に比べるとずいぶん体が軽くなったもの。私c自分自身で思っているより疲れてたみたいね」  作为中国历代文人墨客吟咏的重要母题,这轮明月,虽清凉如水,却能温暖他乡之客。偶尔冷月葬花,常常暖共婵娟。这份感情上的共鸣,恰似中日艺术家之间超脱的气度与阔达的情意,在艺术的创作与传播的中碧空澄照,皓月千里,成为中日文化交流中令人动容的神来之笔。在他们的艺术生涯中,我们看到了贯穿始终的时代关照和共性理想。北宋晏几道词云:“当时明月在,曾照彩云归。”寄望我们饱含着这份古今相通之情感,以明月为心,积极谱写中日文化交流新篇章。hdk6fNmO-J7eVkVQjdqLe1w1-Runway发布新一代视频生成模型,行业还有哪些难题待解?

界面新闻记者 | 陈振芳

界面新闻编辑 | 文姝琪

  美东时间6月17日,Runway发布新一代视频生成模型Gen-3Alpha,视频生成赛道上再添“大将”。

  Runway是一家视频、媒体和艺术的生成式AI公司,在美国纽约于2018年成立,为电影和视频制作中的内容生成构建基础多模式AI模型目前该公司已经完成C轮融资,累计融资金额达2.36亿美元,估值达15亿美元,投资者包括谷歌、Nvidia和Salesforce

  2023年2月该公司连续发布生成式AI系统Gen-1以及多模态AI系统Gen-2该模型能够通过图像或文本提示生成视频。

  该公司表示,Gen-3Alpha是对此前Gen-2模型在保真度、一致性和运动性有了重大改进。

  细粒度时间控制上,Gen-3Alpha具有高度描述性、时间密集的字幕,能够实现丰富的过渡和场景中元素的精确关键帧。Gen-3Alpha擅长通过各种动作、手势和情感产生富有表现力的人类角色。

  Runway在官网表示,Gen-3Alpha在视频和图像方面接受联合训练,将为Runway的文本到视频、图像到视频和文本到图像工具、运动刷、高级相机控制、导演模式等现有控制模式以及即将推出的工具提供动力,以更精细地控制结构、风格和运动。

  另一方面,该公司称Gen-3Alpha将发布一套新的保障措施,包括内部视觉审核系统和C2PA来源标准。

  该公司创始人Germanidis接受TechCrunch采访时表示:“Gen-3Alpha模型在处理复杂的角色和物体交互时可能会遇到困难,生成过程并不总是严格遵循物理定律。首次推出的版本将支持5秒和10秒的高分辨率生成,生成时间明显快于Gen-2。生成一段5秒的视频需要45秒,生成一段10秒的视频则需要90秒。”

  值得一提的是,Runway并未在相关消息及采访中透露训练数据来源而这也是目前生成式模型最容易遭遇挑战的部分——版权问题。此前,360创始人、董事长兼CEO周鸿祎发布该公司新产品——360AI时,被艺术家创作者指责窃取其作品,双方“隔空喊话”,版权争议一直是行业顽疾。

  “我们正在与艺术家密切合作,找出解决这一问题的最佳方法,”Germanidis告诉TechCrunch“我们正在探索各种数据合作伙伴关系,以便进一步发展构建下一代模型。”

  Germanidis还声称,其全新改进的内部视觉和文本审核系统采用自动监督来过滤掉不适当或有害的内容。C2PA身份验证可验证使用所有Gen-3模型创建的媒体的出处和真实性。随着模型功能和生成高保真内容的能力不断提高,公司将继续在协调和安全工作上投入大量资金。

  当前,生成式模型赛道上挤满了对手,包括Sora、pika、Vidu、Luma AI等,竞争愈发激烈。

  Runway在博客上表示,Gen-3Alpha也是朝着构建通用 世界模型迈出的一步。这与中国公司的同行们判断一致。

  近日,生数科技CTO鲍凡在智源大会的视觉大模型论坛上表示,从Vidu4D的工作里面看到,这种视频大模型有作为世界模型的潜力,把世界上各种物理规律都给模拟出来,后续再结合3D或者4D的技术进行开发。

  他认为,要通往世界模型有两条路。一是通过大语言模型,先把抽象的知识构建好,再拓展成世界模型。第二条是把物理规律构建好,拓展成世界模型,这两条道路目前都是探索状态。

  与此同时,生成视频的成本问题也备受关注。爱诗科技创始人王长虎在智源大会上透露,现在生成一个三五秒钟的视频需要耗时几十秒。如果采用RTX 4090芯片,用时40秒钟,或者60秒钟的成本大概1、2美左右,未来成本还会进一步下降。

  他指出,AI视频生成产品能用的也就是3秒-5秒,生成视频越长,误差随之会更大,这是接下来行业要解决的问题。

  王长虎表示,目前生成视频还存在以下三个问题。第一,生成视频往往是单镜头的,真正视频是多个镜头组合,多镜头的内容未来AI视频生成要解决的问题。其次,当前等待时长比较长,普通用户很难玩起来。第三,推理成本高,也是行业亟待解决的问题。

责任编辑:欧阳名军

  对此,该超市工作人员称,所售商品上架价格均接受相关部门和超市监管,网传橙子并非进口,实为融安金桔。菠萝肉质为粉红色,属稀有种。

  <strong>村民积极参与</strong>

  不过,美国有线电视新闻网(CNN)称,美国地质勘探局测定此次的震级是7.5级,而且认为这是早上7.8级地震的余震,是迄今为止发生的30多次余震中最大的一次。

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有