MIT開発！2次元のサッカー映像を3次元化、スマホからも臨場感ある試合を楽しめるように？

2次元から3次元を復元する？　自宅にいながら臨場感のあるスポーツ観戦を楽しむことができるかもしれない。

テレビゲームのスポーツゲームで活躍している、グラフィックレンダリングを応用することで、2次元で撮影されたサッカーの試合の映像を、自動的に3次元化することができるというのだ。

そんなシステムを、MIT（マサチューセッツ工科大学）とQCRI（Qatar Computing Research Institute）が共同で開発した。

この3次元化された映像は、様々なデバイスで鑑賞することができる。

例えば、市販の3Dテレビでも見られるし、話題の『Google Cardboard』を使ってスマートフォンでも鑑賞できる。

サッカーの試合に特化したシステム

MITで電気工学とコンピューターサイエンスの准教授を務める、Wojciech Matusik氏は、「近頃は3Dテレビが登場してきたが、肝心の3Dコンテンツが不足している」と語っている。

動画を別画面で再生する

特に、スポーツの3Dコンテンツの供給が難しい状況だ。映画では3次元を制作するアーティストが居るが、スポーツ映像を3次元化するために、100人ものアーティストを雇う訳にはいかないからだ。

しかも、スポーツ映像は、映画と違ってリアルタイムで放送されてしまう。

そこで、QCRIとMITのコンピューターサイエンスと人工知能研究所が共同で、2次元の映像を3次元化する研究を行った。

実は、これまでにも多くの研究者が2次元を3次元化するシステムの開発にチャレンジしてきたのだが、いずれも奇妙な映像を生み出して終わってしまっているらしい。

そこでQCRIとMITの研究者等は、サッカーに特化したシステムを開発するように絞り込んだようだ。

そのことで、放送中の映像をリアルタイムで3次元化できるようになることを目指したらしい。

ビデオゲームのデータを3D化に利用する

そして注目したのが、サッカーのテレビゲームだ。

テレビゲームでは、プレイヤーの動きに合わせて環境を調整するために詳細な3次元マップが格納されている。これがリアルタイムで、特定の視野角に対応する3次元場面の2次元への投映を実現している。

これを研究者らは逆手にとったという。つまりは、ゲームから3次元マップを抽出したのだ。

詳細なる専門的な仕組みは理解できないのだが、研究者らはゲームから数万にも達するスクリーンショットを取得し、そこから3次元マップのデータベースを作り上げたとのことだ。

そして実際のサッカー試合の2次元の映像で、あらゆるフレームに対して、システムがデータベースから10前後のスクリーンショットを抽出している。

それらのデータから、映像の深さに関する情報を算出し、合成するとのことだ。

そして、見事に試合の映像が3次元化された。この映像に関してユーザー調査を行ったところ、5段階評価の平均は4と5の間だったというから、まずまずの仕上がりといったところか。

この技術が発展すれば、多くのスポーツファンが、現地に足を運べない時も、より臨場感のある映像を楽しめる様になるかもしれない。

【参考・画像】

※ System automatically converts 2-D video to 3-D – MIT News

※ Andrey Yurlov / Shutterstock

【動画】

※ Automatic 2D to 3D video conversion results – by QCRI – YouTube