先端画像処理技術、360 度カメラ映像から“ムービーマップ”を自動構築～東大キャンパスをバーチャル探訪～
１． 発表者：
相澤 清晴（東京大学 大学院情報理工学系研究科 電子情報学専攻 教授／連携研究機構 バーチャルリアリティ教育研究センター センター長）
２．発表のポイント：◆ 360 度映像を用いた“ムービーマップ”技術を構築し、東大本郷キャンパス内のバーチャル探訪を実現した。
◆ ムービーマップはいわば動画版ストリートビューであり、利用者はキャンパス内の道順、建物、周辺環境をインタラクティブに操作しながら歩行視点での動画を体験できる。
◆ 360度映像を撮像すれば、そのあとは、ほぼ自動的に映像データベースが構築できるので、商業施設や観光地などにおける積極的な活用が期待される。
３．発表概要：東京大学情報理工学系研究科の相澤清晴教授らは、360度映像（注１）で、歩行視点映像群を用いた“ムービーマップ”技術を構築し、東京大学本郷キャンパス内の映像によるバーチャル探訪を実現した。ムービーマップはいわば“動画版”ストリートビューであり、利用者はキャンパス内の道順、建物、周辺環境をインタラクティブに操作しながら歩行視点での動画を体験できる。
今回のムービーマップ制作においては、市販の廉価版 360度カメラを用いて約 50 本の道歩き動画を撮影した。動画間の交差情報がほぼ自動的に検出され、位置情報に対応した映像データベースが構築される仕組みだ。さらに、映像内にバーチャルビルボードを配置することで、映像内に広告を重畳表示することもできる。
本研究はキャンパス以外の商業施設、観光地域等への導入も容易である。当該地域へのバーチャル探訪により、事前事後の緻密な情報取集・記録が可能となるだけでなく、実際の探訪が不可能な人々も、希望する地域へのリアルな探訪体験ができる。
本研究成果は、2020年 10月12日～16日に開催されるマルチメディア分野のトップコンファレ
ンス ACM Multimedia2020 (https://2020.acmmm.org/) にて発表された。また、共同研究を行う（株）ブイテック研究所が、大阪なんばや京都駅周辺の地域で実証実験をすすめている。
● デモビデオ：https://www.youtube.com/watch?v=l_DnhJ6QjiQ● ムービーマップのデモサイト（東大本郷キャンパス）：https://moviemap.jp
４．発表内容：本研究は、40年前で途絶えていた“ムービーマップ”を、最先端の画像処理技術を用いて実現したものである。ムービーマップの原点は、1980 年の Aspen Movie Map（注２）に遡る。AspenMovie Mapでは、あたかも市内をドライブするような映像を見ることができた。しかしアナログ技術ベースのものであり、膨大に労力がかかることから、同様のものは二度と作られなかった。その後、地図に対応する画像の提示についてはGoogle Street View（注３）が2007年に現れ、世界中を網羅し、現在も広く使われている。また、2013年からは、Mapillary（注４）というユーザ投稿のジオタグ付き画像、映像の共有サービスがはじまり、本郷キャンパスからも多くの画像があげられている。
しかしながら、この両者のサービスでユーザに提示されるのは“静止画像”であり、視点の移動という点では、かなりの間隔をあけて撮影された画像を、スライドショーのようにコマ送りして見せるにとどまっている。それに反し、本ムービーマップでは“動画”を提供するので、交通の様子、人の動きなど、その場の様子をよりリアルに伝えることができる。歩行者視点での活用を目的としており、いわば、40年前に途絶えたムービーマップを、最先端の画像処理技術を用いることで実現したものだと言えよう。
本ムービーマップは、以下の過程を経て完成する。
（１）対象地域の経路を歩行移動しながら360度映像を撮像する。（２）対象地域内で取得した映像群を解析し、経路の交差を求め、映像を交差間隔でセグメントに分割する。（３）経路の交差における方向転換映像を両経路のもっとも近い 2 フレームからの内挿により生成する。（４）映像セグメント、方向転換映像を合わせ、映像データベースを構築する。（５）それらの映像をもちいて地域を探訪するためのインタフェースを作る。これらにより、対象地域内の指定箇所から出発し、交差において方向を選ぶだけで、その地域の探訪を行うことができる。なお、映像内にビルボードを設定し、重畳表示することも可能である。（本郷デモでは、一か所だけその設定がある。）
特筆すべきは、（２）－（４）の映像の解析と映像データベースの構築が、経路の両端 2 点の地図上の座標指定情報の用意を除けばすべて自動的に行われることである。映像には、vSLAM（注５） というカメラの相対位置、方向を取得する処理が施され、始点終点の地図座標を与えることで、映像のキーフレームにはおおよその位置が割り当てられる。そのおおよその位置から経路交差の候補点を抽出し、さらに候補点周辺で、画像特徴をもとにすり合わせを行うことで、もっとも近いと思われるフレーム対を交差する二つの映像から求める。（３）の方向転換映像の生成では、交差する 2 映像の対応フレームの一方から他方へ重みづけの割合が変わるように変化させる。
これにより、同一場所で、明るさ、周辺の人や車に違いがあっても、探訪者は大きな不自然さを感じずに方向転換を行うことが可能となる。
Google Street View と本ムービーマップの利用について、16 名の実験参加者によるユーザスタデ
ィでの比較を行ったところ、ある特定地域の“目標”を画像で与え発見させるという課題では、インタフェースの“使いやすさ”では有意な差がないものの、“実際にその地域を探訪している感覚”では、大きな優位性を示すことが確認された。
商業地域や観光地域などの特定地域にこの技術は容易に活用できる。いった、360 度映像を撮像すれば、そのあとは、ほぼ自動的に映像データベースが構築でき、映像で地域を探訪することができる。対象地域を訪問するにあたり、事前・事後に地域の様子を確認・記録できるだけでなく、外出自粛、高齢者や障害など様々な理由で訪問することができない状況下でも、その地域をバーチャルに探訪するためのツールとなると期待している。さらに、バーチャルビルボードを映像内に提示することで、お店の情報、名所の情報、バリアフリーの情報など、使用目的に応じ情報をカスタマイズして提供することも容易となる。
（株）ブイテック研究所では、この技術をベースに、なんば駅周辺の実証実験を近く行う予定である。
５．発表雑誌：
雑誌名：Proceedings of the 28th ACM International Conference on Multimedia
論文タイトル：Building Movie Map - A Tool for Exploring Areas in a City and its Evaluations
著者：Naoki Sugimoto, Yoshihito Ebine, Kiyoharu Aizawa
DOI 番号：https://doi.org/10.1145/3394171.3413881
６．問い合わせ先：（研究に関するお問い合わせ）東京大学 大学院情報理工学系研究科 電子情報学専攻
教授 相澤 清晴
（報道に関するお問い合わせ）東京大学 大学院情報理工学系研究科
広報室
７．用語解説：（注１）360 度映像
全天球映像とも称する。カメラの前後上下の全方位のパノラマ映像であり、RICOH THETAや Insta360 など廉価で小型のカメラが利用されている。
（注２）Aspen Movie Map
Lippman, Andrew, "Movie-maps: An application of the optical videodisc to computer
graphics," ACM SIGGRAPH 1980
ストップモーションカメラを車上に設置し、アスペン市内の通り、交差点での方向転換を、約 10フィートおきにすべて撮影し、光ディスクに画像を記録・再生することで映像データベースを構築するという、アナログ技術ベースのものであった。インタラクティブに交差点での進行方向を選択することで、市内をドライブしているような映像を表示できた。
（注３）Google Street View
Google Map サービスに連動して提供されるサービスであり、網羅的に地図上の道にそって、間隔をあけて 360 度の静止画像をみることができる。
（注４）Mapillaryユーザ投稿によるジオタグ付きの画像、映像の共有サイト。2013 年に始まり、2020 年にFacebook が買収した。
https://www.mapillary.com/app/（注５）vSLAM
visual Simultaneous Localization And Mapping の略で、特に単眼カメラの映像からカメラの相対的な位置・向きを求める手法。
８．添付資料：図 構築したムービーマップによる東大キャンパス探訪
最初に地図上の紫点をクリックし、方向を選ぶ。その後は分岐での矢印で進む方向を選択。現在はPC ブラウザでのみ作動する。
● デモビデオ：https://www.youtube.com/watch?v=l_DnhJ6QjiQ● ムービーマップのデモサイト（東大本郷キャンパス）：https://moviemap.jp