AIを使って動画を作成する【4】静止画を動かす Runway Gen2

iWac.jpでは、「AIを活用して仕事の効率化を図る」を2024年の目標のひとつとしました。
生成AIの活用例として、新年の目標動画を作成しましたので、制作の流れを解説したいと思います。

今回は、画像生成AIで作成した静止画や、フリー素材の静止画を、AIで動画に変換してみましょう。

静止画像に動きをつける『Runway Gen2』

さて、正月用動画で使用した動画生成AIもなかなか凄いです。

『Runway』という動画生成AIで「Gen1」「Gen2」があります。

Gen1：既存の動画から新しい動画を作成する

もともとある動画素材を元に新しい動画を作成することができます。
例えば、道を歩いている動画から、水中を歩いているシーンを作成するみたいな感じです。画像生成AIを使ったことがある人であれば「image to image」の動画版だと思ってもらえればよいです。

Gen2静止画やテキストから新しい動画を作成する

こちらは、1枚の写真やイラストを動かして動画にしてみたり、プロンプトと呼ばれるテキストを入力することでゼロから動画を作成することができます。

今回は「Gen2」の方を使いました。

生成できる動画は基本は4秒で、長くても10秒前後となります。

無料で生成できるのは125秒まで

Googoleアカウントなどでログインができる『Runway Gen2』ですが、無料で使用できるのは合計で125秒までです。
前回紹介した『SeaArt AI』は無料で使えるチケットが1日あたり150チケットで、翌日になると再び150チケットが使用できます。しかし『Runway Gen2』の場合は使い切りで、125秒を使い切ってしまうと、回復はしません。無料で使える動画生成AIというよりは、無料でお試しできる動画生成AIという認識でよいと思います。

鷹が違う鳥に…

まずは前回『SeaArt AI』で生成した富士山と鷹を動かしてみたいと思います。画像をアップロードしてプロンプト（生成呪文）を入力します。

『Runway Gen2』のプロンプト入力は英語となります。Google翻訳などで翻訳した英語で大丈夫です。
なんどか生成してできた動画がこちらです。

次に鷹を生成します。
富士山は、静止画像＋プロンプトで動画を生成しましたが、鷹はプロンプトを使わずに動画を生成しました。
『Runway Gen2』では、アップロードした静止画の指定した任意の部分を動かすことができます。
今回は右下に移動する指定をしました。

生成される動画は、元画像をベースに1コマごとに新たな画像を生成しそれを繋ぎ合わせることでできます。
指定した画像の一部が動くわけではないため、画像が思いもよらない動きになったりすることもあります。
不採用の画像では、鷹の顔や模様がまるで別の鳥のように顕著に変化しています。

続いて龍を動かします。
こちらはAdobeストックのフリー画像を動かしてみることにしました。
龍の部分を指定し、角度を変化させる動きをつけました。

AIで生成される動画はわずか数秒ですが、なかなかイメージの通りというわけにはいかず、ある程度満足できるものになるまで、何度も生成しなおす必要があります。

プロンプト入力で鮮やかな花火が

完成動画の冒頭部分、星のような煌めきが集まって天の川をつくり、「2024 HAPPY NEW YEAR」の文字が浮かび上がる場面ですが、この動画はAdobeストックのフリー画像を元素材として使用しています。

こちらは、天の川が崩れて文字が消えていくような動画にして、それを完成動画では逆再生させています。

最後に花火の動画です。こちらは元画像なしで、プロンプトによって生成しました。

こちらは2番目花火に追加で秒数を伸ばしたものを採用しています。

『Runway Gen2』で生成される動画は4秒が基本です。追加で秒数を伸ばしても9秒です。
これを動画編集ソフトで、スロー再生や繰り返し処理などの加工を加えるなどして動画を完成させました。

今回のコラムは前回から少し間が空いたのですが、実はこの記事を公開しようかちょっと迷いました。

動画の自動生成については、今回使用したツールよりも、もっと凄いのが出てきたみたいなんですよね。AIの進歩は本当にすごいです。つい2カ月ほど前に使ったAIよりも何倍もすごいAIがすぐに出てきちゃうんです。

その動画生成AIは、ChatGPTを開発したOpenAIが発表した「Sora」というAIなのですが、こちらは、まだ一般公開されていません。「Sora」については、使うことができるようになったら、触ってみたいと思います。