煙、水、炎の静止画からアニメーションを自動生成 Facebookなどが開発

0

2021年02月27日 09:22  ITmedia NEWS

  • チェックする
  • つぶやく
  • 日記を書く

ITmedia NEWS

写真1枚の流体が写る静止画像(a)を入力に、推定した流体の動き(b)から、適切なループ映像(c)を生成する
1枚の流体が写る静止画像(a)を入力に、推定した流体の動き(b)から、適切なループ映像(c)を生成する

 ワシントン大学とFacebookによる米研究チームが開発した「Animating Pictures with Eulerian Motion Fields」は、煙、水、雲、炎などの流体を撮影した写真をアニメーションビデオに変換するシステムだ。水は流れ、煙は立ちのぼり、炎が燃えるといった連続的な流体運動のループ映像を自動生成する。



【その他の画像】



 システムは、1枚の流体画像を入力すると、画像から画像へスタイル変換するI2I変換(image-to-image translation)ネットワークで流体の動きを推定。その情報を基に適切なテクスチャを合成してフレームを埋めていく。最後に、シームレスなループ映像を生成するため、動画が常に同じフレームで始まり、同じフレームで終わる技術を導入し不自然さを軽減した映像に仕上げる。



 これまでの手法とは違い、あるフレームから次のフレームへの粒子の動きをオイラー積分を介してシミュレーションしている。深層学習ネットワークは、オンライン上の流体動画データセットから抽出した画像とその動きのペアで訓練している。



 システムの精度を確かめるデモでは、水が流れる滝、煙が立ちのぼる汽車、湖の波紋、燃える炎、山火事の煙などの、違和感が少ない自然なループ映像を示した。その様子は動画で確認できる。



※この記事は、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。


    ランキングIT・インターネット

    前日のランキングへ

    ニュース設定