元動画の映像やカメラワークを活かしながら、登場するキャラクターを自分自身や愛犬へ。そんな映像を、写真と動画を組み合わせるだけで生成できる方法が注目を集めている。
今回この方法を紹介しているのは、Instagramで動画編集やAIを活用したクリエイティブのチュートリアルを発信しているSteven Wommack。
紹介されているのは、Higgsfieldの「Genjutsu」を使い、既存動画の動きを参照しながら、映像に登場するキャラクターを別の動物へ置き換える方法だ。
今回のチュートリアル動画は、Instagramで約15万件の「いいね」を獲得。その反響からも、既存動画の動きを自分自身や愛犬などに移すAI動画表現への関心の高さがうかがえる。こうしたモーション転用を活用した映像は、AIクリエイティブのトレンドのひとつと言えそうだ。
以前の記事でもGenjutsuを使ったモーション転用の仕組みを紹介したが、今回は愛犬の写真を使い、よりシンプルな操作で動画を生成する方法にフォーカスする。基本的な仕組みには共通する部分もあるものの、実際の操作画面に沿って制作の流れを確認できる点がポイントだ。
|
|
|
|
必要なのは、動きの参考にしたい動画と、新しく登場させたいキャラクターの写真。
ダンスを自分で踊ったり、元動画と同じカメラワークを再現して撮影したりする必要はない。
それでは、具体的な制作の流れを見ていこう。
目次
Toggle- Step 1：愛犬や登場させたいキャラクターの写真を撮影する
- Step 2：Higgsfieldで「Genjutsu」を選択する
- Step 3：元になる動画を「Video Reference」に追加する
- Step 4：キャラクターの写真をアップロードする
- Step 5：「Generate」を押して動画を生成する
- 「キャラクター」と「動き」を別々の素材で指定できる
- 動画そのものを「プロンプト」のように使う
Step 1：愛犬や登場させたいキャラクターの写真を撮影する
最初に用意するのは、完成動画に登場させたいキャラクターの写真だ。
|
|
|
|
Steven Wommackは動画内で、
“First, simply take a photo of your dog or whatever subject you want to use for this video.”
と説明している。
まずは愛犬、あるいは動画に登場させたい被写体の写真を撮影する。
今回の方法では、撮影した写真をキャラクターの参照画像として使用する。AI動画というと、プロンプトで人物の外見や服装を細かく指定するイメージもあるが、この方法では写真そのものを使って「誰を登場させるのか」を指定できる。そして「どのように動かすのか」は、別途用意する動画で指定する。この2つの素材を組み合わせることが、今回の制作方法のポイントだ。
|
|
|
|
Step 2：Higgsfieldで「Genjutsu」を選択する
写真を用意したら、Higgsfield.aiへアクセスする。
次に、
“Next, just go to Higgsfield.ai and select their new Higgsfield Genjutsu feature.”
と説明している。
Higgsfieldで「Genjutsu」を選択し、動画生成の準備を進める。
Genjutsuは、既存の動画を参照しながら、そこに登場するキャラクターを別の人物や動物などへ置き換えた映像を生成できる機能だ。
今回のように、元動画の動きを活かして新しいキャラクターを登場させる用途では、Motion Transferの考え方が中心になる。元動画の動きやポーズ、映像のタイミング、カメラワークなどを参考に、新たなキャラクターを使った映像へ再構築する。
Step 3：元になる動画を「Video Reference」に追加する
次に、動きの参考にしたい動画を追加する。
次は、
“Then add the original video up here to the video reference.”
と説明している。
操作画面の上部にある「Video Reference」へ、元になる動画をアップロードする。
この動画が、完成映像の動きや演出を決める参考素材となる。
例えば、人物がリズミカルにダンスしている動画を使用した場合、その身体の動きやポーズ、タイミングなどを参考に、別のキャラクターが踊る映像を生成できる。
重要なのは、元動画に登場する人物をそのまま使うわけではないという点だ。
参考にするのは、主に映像内の動きや演出。そこへ別のキャラクター画像を組み合わせることで、新しい映像を作っていく。
流れとしては、
元動画をアップロード
↓
動き・ポーズ・タイミング・カメラワークを参照
↓
別のキャラクターで映像を再構築
という形だ。
元動画を参考にすることで、複雑な動きを文章だけで指定する必要がなくなる。
Step 4：キャラクターの写真をアップロードする
続いて、先ほど撮影した写真をアップロードする。
動画内では、
“And down here as the character, simply upload the photo that we took in the beginning.”
と説明されている。
画面下部のキャラクターを指定するエリアに、Step 1で撮影した写真を追加する。
今回の例では、愛犬の写真を使用することで、元動画の動きを愛犬へ反映させた映像の生成を目指す。
面白いのは、元動画の動きを、犬などの動物にも応用できる点だ。
実写であれば、犬に人間と同じような振り付けをさせたり、特定のポーズを取らせたりすることは難しい。
しかし生成AIでは、動きの参考となる動画と、見た目の参考となる写真を別々に指定できる。
つまり、
動き＝元動画
キャラクター＝写真
という役割分担だ。
実際には撮影が難しい組み合わせでも、AIによって映像として表現できる。
Step 5：「Generate」を押して動画を生成する
元動画とキャラクターの写真を追加したら、最後は動画を生成するだけだ。
最後にSteven Wommackは、
“With these added, just hit generate, wait for a little bit, and you should get this.”
と説明している。
「Generate」を押すと、アップロードした動画と写真をもとに、新しい映像の生成が始まる。
生成が完了すると、元動画の動きを参考にしながら、指定したキャラクターが登場する映像が出来上がる。
今回紹介されている手順は非常にシンプルで、元動画と写真の2種類の素材を追加し、生成ボタンを押すというもの。細かなプロンプトを最初から長文で作成する必要がない点も、この方法の魅力だ。
もちろん、生成結果が必ず元動画の動きやカメラワークを完全に再現するわけではない。使用する動画や写真、被写体の形状などによって仕上がりは変わる。
それでも、既存の映像から動きの特徴を取り出し、新しいキャラクターへ応用できるのは、AI動画ならではの表現と言える。
「キャラクター」と「動き」を別々の素材で指定できる
今回のGenjutsuで特に興味深いのは、「何を登場させるか」と「どのように動かすか」を別々に指定できるところだ。
通常の動画制作であれば、
出演者を用意する
↓
振り付けを覚える
↓
撮影する
↓
カメラワークを調整する
↓
編集する
といった工程が必要になるが一方、今回の方法では、
元になる動画を用意する
↓
登場させたいキャラクターの写真を追加する
↓
Generateで生成する
という流れで制作できる。
今回のチュートリアルでは愛犬を例にしているが、発想を広げれば、自分自身やオリジナルキャラクターを別の映像の動きに合わせて登場させることも考えられる。ダンスに限らず、歩く、走る、ジャンプする、振り返るといった動きにも応用できそうだ。
動画そのものを「プロンプト」のように使う
今回の事例でもうひとつ注目したいのが、動画そのものをAIへの指示として使っていることだ。
これまでAI動画を生成する際には、例えば「犬が二足で立ち、リズミカルに身体を動かしながらダンスする」といった内容を、文章で詳しく説明する必要があった。
しかし、理想とする動きの動画がすでに存在するなら、その映像を直接参照素材として利用できる。
文章だけで動きを説明するのではなく、動画そのものをプロンプトのように使うわけだ。
今回の制作では、
キャラクターの見た目は「写真」
動きや演出は「動画」
という形で、それぞれ適した素材からAIへ情報を渡している。
すべてをAIに想像させるのではなく、完成形に必要な要素を視覚的な素材で指定する。この考え方は、AI動画制作の自由度をさらに広げるものと言えそうだ。
実際、今回のチュートリアル動画が約15万件もの「いいね」を集めていることからも、こうしたシンプルで直感的なAI動画制作への関心の高さが伝わってくる。
特別な撮影技術や複雑な編集作業を必要とせず、すでにある映像と手元の写真を組み合わせて新しい作品を作れる。その手軽さが、SNSで注目を集める理由のひとつなのかもしれない。
「この動画の動きを、自分や愛犬にさせてみたい」。
そんな発想を、写真と動画の組み合わせから映像化できるのが、今回の方法だ。愛犬をダンサーにする。自分自身を別の映像の主人公にする。オリジナルキャラクターに実写の動きを与える。AI動画制作は、テキストからゼロから映像を生成するだけでなく、既存の写真や動画を組み合わせ、新しい表現へと再構築する方向にも広がっている。
IT・インターネット
