谷歌新研究利用模型为无声视频配音

谷歌新研究：利用模型为无声视频配音

来源：IT之家据谷歌DeepMind新闻稿，DeepMind近日公布了一项利用AI为无声视频生成背景音乐的"video-to-audio"技术。IT之家获悉，当前DeepMind这款AI模型依然存在局限性，需要开发者使用提示词为模型预先"介绍"视频可能的声音，暂时不能直接根据视频画面添加具体音效。据悉，该模型首先会将用户输入的视频进行拆解，此后结合用户的用户文字提示，利用扩散模型反复运算，最终以生成与视频画面协调的背景声音，例如输入一条"在黑暗中行走"的无声视频，再添加"电影、恐怖片、音乐、紧张、混凝土上的脚步声"...