Niantic、キャラクターが画像内の後ろに回り込める技術を開発

1

2020年11月30日 22:52  ITmedia NEWS

  • チェックする
  • つぶやく
  • 日記を書く

ITmedia NEWS

写真ペンギンのキャラクターが人の背後を通過し移動した様子
ペンギンのキャラクターが人の背後を通過し移動した様子

 米Nianticと英ユニバーシティ・カレッジ・ロンドンの研究チームが開発した「Footprints and Free Space from a Single Color Image」は、1枚のRGB画像の中で、キャラクターが前景の後ろに回り込んで通過するなど、違和感のない移動を可能にする技術だ。



【その他の画像】



 今回のモデルは、画像内で見えている平面だけでなく、前景の後方にある隠れた平面も計算する。画像から見える移動可能領域のセグメンテーションマスクだけではなく、深度データ、隠れた領域のセグメンテーションマスクや深度データの情報表現も活用する。単一のネットワークで構築するため、高速処理が可能という。



 これらを学習用するため、データセット作成用のパイプラインも提案している。カメラポーズ、フレーム毎の深度、セマンティックセグメンテーションを用いて、ステレオ映像からトレーニングデータを形成する。



 学習したモデルは、物体の背後にある実際の経路を含めたセグメンテーション画像を出力し、バーチャルキャラクターが回り込むように横断させることを可能にする。



 評価の結果、類似手法よりも高い精度が得られたとしている。



※この記事は、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。


このニュースに関するつぶやき

  • ポケGOのARブレンディングとはまた違うのかな?
    • イイネ!0
    • コメント 0件

つぶやき一覧へ(1件)

ランキングIT・インターネット

前日のランキングへ

ニュース設定