Runway发布新一代视频生成模型,行业还有哪些难题待解?

来源: 南方周末
2024-06-18 17:23:02

界面新闻记者 | 陈振芳

界面新闻编辑 | 文姝琪

  美东时间6月17日,Runway发布新一代视频生成模型Gen-3Alpha,视频生成赛道上再添“大将”。

  Runway是一家视频、媒体和艺术的生成式AI公司,在美国纽约于2018年成立,为电影和视频制作中的内容生成构建基础多模式AI模型目前该公司已经完成C轮融资,累计融资金额达2.36亿美元,估值达15亿美元,投资者包括谷歌、Nvidia和Salesforce

  2023年2月该公司连续发布生成式AI系统Gen-1以及多模态AI系统Gen-2该模型能够通过图像或文本提示生成视频。

  该公司表示,Gen-3Alpha是对此前Gen-2模型在保真度、一致性和运动性有了重大改进。

  细粒度时间控制上,Gen-3Alpha具有高度描述性、时间密集的字幕,能够实现丰富的过渡和场景中元素的精确关键帧。Gen-3Alpha擅长通过各种动作、手势和情感产生富有表现力的人类角色。

  Runway在官网表示,Gen-3Alpha在视频和图像方面接受联合训练,将为Runway的文本到视频、图像到视频和文本到图像工具、运动刷、高级相机控制、导演模式等现有控制模式以及即将推出的工具提供动力,以更精细地控制结构、风格和运动。

  另一方面,该公司称Gen-3Alpha将发布一套新的保障措施,包括内部视觉审核系统和C2PA来源标准。

  该公司创始人Germanidis接受TechCrunch采访时表示:“Gen-3Alpha模型在处理复杂的角色和物体交互时可能会遇到困难,生成过程并不总是严格遵循物理定律。首次推出的版本将支持5秒和10秒的高分辨率生成,生成时间明显快于Gen-2。生成一段5秒的视频需要45秒,生成一段10秒的视频则需要90秒。”

  值得一提的是,Runway并未在相关消息及采访中透露训练数据来源而这也是目前生成式模型最容易遭遇挑战的部分——版权问题。此前,360创始人、董事长兼CEO周鸿祎发布该公司新产品——360AI时,被艺术家创作者指责窃取其作品,双方“隔空喊话”,版权争议一直是行业顽疾。

  “我们正在与艺术家密切合作,找出解决这一问题的最佳方法,”Germanidis告诉TechCrunch“我们正在探索各种数据合作伙伴关系,以便进一步发展构建下一代模型。”

  Germanidis还声称,其全新改进的内部视觉和文本审核系统采用自动监督来过滤掉不适当或有害的内容。C2PA身份验证可验证使用所有Gen-3模型创建的媒体的出处和真实性。随着模型功能和生成高保真内容的能力不断提高,公司将继续在协调和安全工作上投入大量资金。

  当前,生成式模型赛道上挤满了对手,包括Sora、pika、Vidu、Luma AI等,竞争愈发激烈。

  Runway在博客上表示,Gen-3Alpha也是朝着构建通用世界模型迈出的一步。这与中国公司的同行们判断一致。

  近日,生数科技CTO鲍凡在智源大会的视觉大模型论坛上表示,从Vidu4D的工作里面看到,这种视频大模型有作为世界模型的潜力,把世界上各种物理规律都给模拟出来,后续再结合3D或者4D的技术进行开发。

  他认为,要通往世界模型有两条路。一是通过大语言模型,先把抽象的知识构建好,再拓展成世界模型。第二条是把物理规律构建好,拓展成世界模型,这两条道路目前都是探索状态。

  与此同时,生成视频的成本问题也备受关注。爱诗科技创始人王长虎在智源大会上透露,现在生成一个三五秒钟的视频需要耗时几十秒。如果采用RTX 4090芯片,用时40秒钟,或者60秒钟的成本大概1、2美左右,未来成本还会进一步下降。

  他指出,AI视频生成产品能用的也就是3秒-5秒,生成视频越长,误差随之会更大,这是接下来行业要解决的问题。

  王长虎表示,目前生成视频还存在以下 三个问题。第一,生成视频往往是单镜头的,真正的视频是由多个镜头组合,多镜头的内容是未来AI视频生成要解决的问题。其次,当前等待时长比较长,普通用户很难玩起来。第三,推理成本高,也是行业亟待解决的问题。

责任编辑:欧阳名军

  节目戏剧末尾,“当代读书人”撒贝宁携杨慎亲临良渚古城遗址、国家方志馆,感受中国方志文化的传承和意义。从最早关于越地记载的史志之一《越绝书》,到浙江省志修撰的最新成果《浙江通志》,中华地方历史的研究赓续不断、愈加齐备详实。当得知《浙江通志·越文化专志》曾引用自己对范蠡、西施的评价时,杨慎脸上流露出欣慰的神情。这一幕,引发了蒙曼的共鸣,她动容地说:“这不就是我们阅读《越绝书》的意义吗?我们的祖国就是这样历史悠久而又生生不息。”

  海外网2月4日电 据美国哥伦比亚广播公司等媒体2月3日报道,当天上午,美国新泽西州的一座机场内发生两架飞机相撞事故,美国联邦航空管理局正对此展开调查。

  西南财经大学中国(四川)自贸试验区综合研究院院长助理、研究员邓富华认为,在政府组团赴海外“抢”订单等一系列鼓励措施下,今年四川外贸将保持良好增长态势。他表示,在稳外贸的同时,要稳住制造业基本盘,打造现代化产业体系,突出四川特色、筑牢实体经济根基;把握跨境电商、数字贸易等发展机遇,提升民营经济在外向型经济中的参与度和贡献度,拓展四川外贸广度与深度。(完)

  亮亮视野创始人兼首席执行官吴斐同样对第一财经表示,今年国内AR市场非常火爆,有主打翻译,也有主打观影,还有办公的,其中一个很重要的原因是元宇宙概念的普及,大家越来越了解、且愿意用新的方式来解决原有的这些需求。在这其中,亮亮视野发现,用AR解决听障人群的沟通问题是一个很创新的思路。

  一场讨论交流,在战略支援部队某部火热进行。官兵围绕“学习贯彻党的二十大精神应该怎么学、怎么做”展开热烈讨论。前不久,该部的多个科研项目在加快关键核心技术攻关等领域取得重大成果。高级工程师杨玖文说:“我们要将学习贯彻党的二十大精神焕发的政治热情,转化为练兵备战的强劲动能,用实际行动书写出色答卷。”

  宁德市,是中国最大的畲族聚居区,畲族人口约占福建省畲族人口的二分之一、中国的四分之一。宝鉴宅村近年来立足交通便利、生态良好、畲族风情等三大优势,融入“中国慢城”建设,致力打造集山水交融、宜居宜游、闲适从容的浪“慢”山哈、田园宝“镜”。

林易诚

声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
用户反馈 合作

Copyright © 2023 Sohu All Rights Reserved

搜狐公司 版权所有