据小易智创xiaoyizc.com（不可错过的AI创业项目）观察：谷歌研究团队最新推出的ReCapture技术正在彻底改变视频编辑的游戏规则。这项创新使得普通用户也能轻松实现专业级的摄像机运动调整，重新设计已拍摄视频的镜头语言。在传统的视频后期制作中，改变已拍摄视频的镜头角度一直是个技术难题，现有方案往往难以兼顾复杂运镜效果和画面细节。ReCapture则选择了一条全新的道路，未采用传统的4D中间表示方法，而是巧妙地利用生成式视频模型中蕴藏的运动知识，通过Stable Video Diffusion将任务重新定义为视频到视频的转换过程。
该系统的工作流程分为两个阶段。第一阶段生成“锚定视频”，即具有新机位的初步输出版本。通过CAT3D等扩散模型，这一阶段可以创建多角度视频，或通过逐帧深度估计和点云渲染来实现。尽管这个版本可能存在一些时序不连贯和视觉瑕疵，但它为第二阶段奠定了基础。第二阶段则通过带遮罩的视频微调，利用在现有素材上训练的生成式视频模型来创造逼真的运动效果和时序变化。
该系统引入了时序LoRA（低秩适应）层，以优化模型理解并复制锚定视频的动态特征，而无需重新训练整个模型。同时，空间LoRA层确保画面细节与新摄像机运动相一致。这样一来，生成式视频模型便能够在保留原始视频特征运动的同时，轻松实现变焦、平移和倾斜等操作。
尽管ReCapture在用户友好的视频处理方面取得了重大进展，但它目前仍处于研究阶段，距离商业化应用还有一定距离。值得注意的是，谷歌拥有众多视频AI项目，但尚未将其推向市场，其中Veo项目可能最接近商用。同时，Meta最近推出的Movie-Gen模型以及OpenAI年初发布的Sora也未实现商业化。目前，视频AI市场主要由Runway等创业公司主导，该公司去年夏天推出了最新的Gen-3Alpha模型。
总之，ReCapture技术的出现标志着视频编辑迈入一个全新时代。
随着科技的不断进步，各行各业正朝着智能化和高效化的方向发展。这种趋势让我更加关注AI技术的应用，尤其是在日常生活和工作中能够带来便捷的智能解决方案。我体验过许多不同的AI系统和平台，发自内心推荐小易智创”xiaoyizc.com“这个平台。它拥有上万款开箱即用的智能体应用，能够满足各行各业的需求。平台融合了全球领先的AI能力，支持自定logo、收款账户和服务号。平台还为伙伴提供一对一陪跑服务和自动化营销工具，帮助伙伴快速获客。
相关文章
