「マルチメディア，分散，協調とモバイル(DICOMO2010)シンポジウム」 平成22年7月

人が消える地下街パノラマビューアの開発
新井 イスマイル†1
安 部 陽 平†1
新 田 竜 規†1
向 井 政 貴†1神 原 誠 之†2

堀 磨 伊 也†2
市 川 昌 宏†1
新 田 知 之†1
堀 見 宗 一 郎†1
西 尾 信 彦†1

河里
藤牧
横合中
井田矢紀祐
陽孝直彦†2輔†1
光†1
嗣†2
和†2

ナビゲーションアプリケーションをより便利にするには地図だけではなく、背景写真が閲覧可能になることが望まれている。従来の屋外のパノラマビュー撮影の位置情報取得は GPS が利用できたため比較的容易に実現できたが、屋内では GPS が利用できない問題がある。また、屋内公共空間は人が絶えずいるため、混雑エリアでは例えプライバシーを考慮してぼかしたとしても、ぼかしの割合が多く風景写真としての価値を損ねる。そこで我々は背景差分法を活用して人を消し、その撮影時間に人手で正確な位置を入力する撮影手法を提案し、日本でも有数の混雑地域である梅田地下街において、人のいないパノラマ写真を生成することに成功した。

図1

shot position from GPS sensor. However, indoor areas are out of GPS range.
Furthermore, most urban public indoor areas are crowded with pedestrians.
Even if we blur the pedestrians in a photo, the photos with blurring are notuseful for scenic information. Thus, we propose a method which simultaneously
subtracts pedestrians based on background subtraction method and generates
location metadata by manually input from maps. Using these methods, weachieved an underground panoramic view system which displays no pedestrians.

Underground city panoramic viewer systems
which subtracs crowded pedestrians
Ismail Arai,†1 Maiya Hori,†2 Norihiko Kawai,†2
Yohei Abe,†1 Masahiro Ichikawa,†1
Yusuke Satonaka,†1 Tatsuki Nitta,†1
Tomoyuki Nitta,†1 Harumitsu Fujii,†1
Masaki Mukai,†1 Soichiro Horimi,†1 Koji Makita,†2
Masayuki Kanbara,†2 Nobuhko Nishio†1and Naokazu Yokoya †2
Toward a really useful navigation system, utilizing spherical panoramic photos with maps like Google Street View is eﬃcient. Users expect the system to
be available in all areas they go. Conventional shooting methods obtain theGooraﬃti のスクリーンショット

1. は じ め に
GPS 搭載の携帯端末が普及し、街中での位置情報検索、ナビゲーションアプリの開発が†1 立命館大学
Ritsumeikan University†2 奈良先端科学技術大学院大学
Nara Institute of Science and Technology― 1183 ―盛んである。いずれにおいても現在地周辺のコンテンツをいかに分かりやすくユーザに見せるかが課題となっている。現状最も利用されている手法は地図上にアイコンを表示することでコンテンツの地理的関係を表現するものであるが、地図がユーザの視点ではなく俯瞰視点であるため、直感性に欠ける問題があった。

以降、2 章では本撮影手法の詳細を述べる。3 章にて実証内容および作成したパノラマビューアの詳細を述べ、4 章で本論文をまとめる。

2. 屋内公共空間パノラマ写真撮影の課題および解決手法の提案

これらの問題に対して、最近では Google Street View1) や Mictrosoft Bing Maps2) の街中パノラマビューアを実現するためには、パノラマ写真と撮影位置を記録する必要があStreet Side、earthmine3) といった、街中で撮影したパノラマ写真を位置に基づいて表示する。既存のパノラマ写真撮影手法は 1 章でも述べたように、GPS を用いているため屋内のるパノラマビューアが登場し、街中の詳細の情景が得られるようになった。これによって地撮影が出来ない。さらに、プライバシーを考慮して歩行者をぼかすと混雑地域ではパノラマ図によるナビゲーション中に右左折等の方向転換する時や、目的地周辺にたどり着いた時に写真がぼかしだらけになってしまいコンテンツの価値が低下する恐れがある。本章では、まさらに建物の入り口等の詳細な情報を付加することができるようになった。我々もこのパノず歩行者のプライバシー問題を第一に解決して、その上で現実的に撮影位置を記録する手法

ラマビューアの直感性に注目して、パノラマ写真上に位置コンテンツを表示したり登録したを提案する。なお、Google Street View は約 10m 間隔のパノラマ写真を公開しているが、りできる実世界指向 CMS (Contents Manegement System) である Gooraﬃti4),5) を開発

屋内公共空間では店舗等の密度がより高いため、パノラマ写真の生成間隔がより狭いことがしてきた（図 1) 。独自のレンダラー6) によってアイコンや異なる時間帯の写真をパッチン望ましい。本研究では 1 店舗の横幅が概ね 5m 程度であることから、5m 間隔でパノラマ写グすることによって豊富な情報を直感的に閲覧することができる。このような街中パノラ

真を現実的なコストで位置情報と供に記録することを目標とする。

マビューアを作成するには、位置情報付パノラマ写真の確保が必要となる。既存のパノラマ

2.1 歩行者の除去と死角の補完

写真は GPS と全方位カメラを搭載した自動車で街中を走行することによって効率的に位置

屋内公共空間では、撮影者は歩行者を自由にコントロールできない。歩行者が撮影写真に情報付パノラマ写真を収集している。しかし、GPS 圏内で撮影された写真に限定されるた

写ってしまった場合はプライバシーを考慮して個人を特定できない状態にする必要がある

め、建物の中や地下街といった屋内公共空間の位置情報付パノラマ写真の収集ができない。

が、先ほども述べたように歩行者をぼかす手法では混雑地域でパノラマ写真のコンテンツ

今後、携帯端末での歩行者ナビゲーションの需要が高まるにつれ、このような屋内のパノラ価値が低下する。人がいない深夜早朝時間帯に撮影する手法も考えられるが、店舗も閉まっマビューアが提供できないことは歩行者ナビゲーションの普及の障害となる。また、屋内公ているためシャッター街のようなパノラマ写真になってしまい、これもコンテンツ価値が低

共空間は車道と比べて歩行者が多く、これら歩行者のプライバシーの考慮も課題となる。現下してしまう。そこで本手法では 1 箇所にしばらく滞在して数百フレームの動画を保存し、状のパノラマビューアは人の顔を画像解析で検出しぼかし処理することによって歩行者のプ背景と思われるピクセルを採用した合成写真を生成する。屋内公共空間では照明が十分に配ライバシーを保護しているが、混雑した屋内公共空間で同様の手法を取ると、ぼかしだらけ置されているため、輝度の分布を考慮すると多くの場合、歩行者の輝度が中央値よりも低いのパノラマ写真になってしまう可能性がある。

値であることに着目し、各ピクセルで最も明るいものを選択することで背景写真が合成でこれらの問題を踏まえて、我々は各撮影地点で一定時間滞在して動画を撮影し、再頻度のピクセルを採用することによって動物体である歩行者を除去する撮影手法を提案した。屋内きると予測する。歩行者を除去するために必要な滞在時間は混雑具合によって異なるため、撮影者の判断によって 20 秒〜120 秒の範囲で適宜設定する。

での位置情報取得は歩行者を背景差分画像処理によって除去し、背景写真のみを保存するパ

また、全天球パノラマカメラの多くは下部に四角があり、本研究で使用する Ladybug3?1

ノラマ写真撮影手法を提案する。そして、この一定時間の滞在中に地図上に位置を手入力すも同様の死角がある。死角のあるパノラマ写真をそのまま閲覧すると、臨場感に問題が発生ることによって屋内測位の問題を解決した。我々は実際に大阪・梅田周辺地下街の混雑地域する場合があるため、過去に提案した欠損修復手法7) によって死角を埋めたパノラマ写真を実験フィールドとして、提案手法に基づいた撮影システムによって撮影し、歩行者を除去を生成する。他の滞在撮影ポイントでは死角領域を撮影できているため、その対応部分を抽したパノラマ写真を 5m 間隔の粒度で閲覧できるパノラマビューアを作成できることを確認した。

?1 http://www.ptgrey.com/products/ladybug3/― 1184 ―内測位手法は存在しないと言える。その他に、撮影機材にレーザレンジファインダを取り付け測距情報を記録し、撮影後にそれらセンサデータを解析して 3D モデル空間を作成し、その場の地図・設計図との対応関係を抽出することで撮影地点を見出す手法も考えられるが、屋内公共空間では扉のない店舗が多いため、地図上の間取り通りの壁が存在することはほとんどなく、さらに店舗に陳列した商品等も障害物となるため、目的の測位精度は期待できない。
そこで、我々は撮影時に Web アプリケーション上の地図に撮影地点を手入力して位置情報を記録することにした。撮影対象の大阪・梅田周辺地下街の詳細な地図10) を Yahoo!地図が提供しており、API を介した Web アプリケーションも構築可能となっている。店舗の名前と境界線が分かるため、熟練の撮影者であれば十分に的確な位置を認識できる。作成する位置情報入力ツールを図 2 に示す。地図上で撮影箇所をクリックすると、地図上に旗のアイコンが現れ、右側にクリックした位置座標と時刻が記録される。この時刻とパノラマ写真に残る撮影時刻を同期することで撮影したパノラマ写真に対して位置座標を付加することができる。また、位置記録前に前記録地点からの軌跡をプレビューすることによって、
図 2 撮影ツールのスクリーンショット

直進時になるべくまっすぐの軌跡を描けるようにした。
また、Wi-Fi 測位精度は悪いと予測しているが大阪・梅田周辺地下街で検証した経験がな出し変形してマッピングすることで死角部分のテクスチャが得られる。今回の地下街の撮影いため、撮影中に Wi-Fi の基地局観測情報を記録することにした。また、本論文の目的にでは上にも述べた滞在箇所を (1) 5m 間隔に置く、(2) カメラの高さが変化しない、そしては含まれないが、今後のセンサデータマイニングの活用を期待して可能な限りセンサ情報を(3) 平坦な廊下を直進するという前提を考慮することで比較的容易に他のパノラマ写真から記録することにした。Android 端末を 5 台所持し、Wi-Fi 基地局観測情報、周辺 Bluetooth死角の対応点を推測できる。

機器の検索結果、加速度センサ、地磁気センサを常時記録した。

2.2 メタデータの作成
パノラマ写真を位置コンテンツとして閲覧可能にするためには、各パノラマ写真の緯度・3. パノラマ写真撮影経度といった位置座標を撮影時に記録する必要がある。これによってユーザが指定した位置大阪・梅田周辺地下街でパノラマ写真の撮影を行った。全長は 6.4km あり、そのうち 2.2kmに合ったパノラマ写真を閲覧することができる。また、隣のパノラマ写真へと延びる軌跡をが撮影完了した。5m 間隔ずつ停止して混雑状況に応じて撮影者の判断で 20 秒〜120 秒のパノラマビューア上に描くことができる。

停止撮影を行ったため、合計 15 時間程度の撮影時間となった。撮影停止箇所は 447 箇所と屋内測位手法としては Wi-Fi 測位8) 、ビーコン9) やマーカを用いた測位が代表的だがいなった。撮影機材は図 3 に示す通り、台車の最上部に三脚を固定してその上に Ladybug3 をずれも目的に合わない。Wi-Fi 測位は大抵の場所でアクセスポイントが観測できるため、イ設置した。高さは 1.8m 程度になり、この高さから撮影すると台車および操作者はカメラのンフラ構築コストが低いため現実性がある。しかし、精度は AP の密度や建物の構造に依存死角にちょうど入り込む。中段にはパノラマ写真の記録と撮影ツールが動作するノート PC

し、環境によって極端に差が出るため、常に 5m 程度の精度で測位することは難しい。ビーを設置した。Ladybug3 は解像度が 1600 x 1200 のカメラを 6 台搭載しており、IEEE1394b

コンを用いた測位はセンチメートル単位の精度が期待できるが、ビーコンを建物中に設置す経由で最大 15fps のフレームレートで撮影できるため、これに十分対応できる書き込み速るコストが高く現実性に欠ける。したがって、現状の屋内公共空間で目的を満たす精度の屋度の RAID 構成による SSD を用いた。最終的に合成するパノラマ写真の解像度は 5400 x― 1185 ―Ladybug3
HTC Androiddev phone 2②)."*

HTC Android
dev phone 1

6"7$$8%'"9.

①)1$("2$#./,"0","①)1$("2$#1.8m!)%:0$;./0

Laptop PC with•IEEE1394b•RAID-SSD•3G Modem

②)3/"%/-,)*"#$45

③)3/"%/-,)*"#$45

④)!"#$%"&'()*+$,$

UPS!"#$%"&'()*+$,$-

'$:43/%97$#/!"#$%&'()*+,-%234/#5

!"#$%&'()*+,-%./01/0

図 4 パノラマビューアの概要(a) Overall the camera cart

(b) Top of the camera cart
図3上がった。スマートフォンでも 3D 描画が可能なため、iPhone と Android 用のクライアン

撮影機材

トをそれぞれ作成した（図 6)。比較的高性能とはいえ、携帯端末はメモリ容量が少ないた2700 の正距円筒画像になる。撮影ツールは Web アプリケーションのため、b-mobile 3G をめ、パノラマ写真を PC ブラウザと同様の解像度で再生することはできなかったため、896用いて常時インターネット接続性を確保した。下段には UPS を設置している。ノート PC

x 512 のテクスチャ画像にサーバ側で縮小して保存したものを利用した。とはいえ、スマーのバッテリーは撮影時に 1 時間程度しか持たないため、バッテリー交換時に PC をシャットトフォンの解像度に対して十分明瞭な画像が再生できている。

ダウンさせないために UPS からノート PC に給電した。

3.2 歩行者の除去および死角の補完結果

3.1 地下街パノラマビューアの構築

図 7 (a) に混雑箇所で撮影したパノラマ写真の元画像を示す。ほとんどの領域が人で埋図 4 の通り、加工された画像と、生成したメタデータを DB とするパノラマビューアを構まっていることが分かる。もしこの歩行者にぼかし処理をかけるとぼかしだらけのパノラマ築した。クライアントは Yahoo 地図に位置を伝えてその場の地図を得る。そして、サーバ写真が出来上がり、コンテンツとして価値が下がることが明らかである。図 7 (b) の通り、に位置を伝えてその場のパノラマ写真を取得する。PC ブラウザ用クライアントのスクリー提案手法によってほとんどの歩行者を除去できた。撮影時間が限られていることもあり最ンショットを図 5 に示す。ブラウザ上での 3D 描画は Google より提供されている O3D[5]大 120 秒の待機としたが、待ち合わせ等で数分間動かない人がいくらかいたため、その人を利用した。Google Street View と同様、パノラマ写真上にオーバーレイ表示する道路をたちは除去ができなかった。とはいえ、顔が 120 秒間全く動かない人はほとんどいないた

クリックして隣接するパノラマ写真に移動することができる。また、地図上のキャラクタをめ、顔は同手法によって自動的にぼかす効果が得られた。これによって人物を特定できない

マウスのドラッグ＆ドロップ操作で移動すると、その箇所の最寄りのパノラマ写真を閲覧で程度のプライバシー考慮はできている。

きる。2.2 節の手法によってパノラマ写真のメタデータを生成した結果、地図上の軌跡の通図 8 (a) に下を向いた時のパノラマ映像の元画像を示す。Ladybug3 が下方にカメラを持り撮影ルートと同じ軌跡が描かれた。また、近接の撮影ポイントを繋いで軌跡を描画する実たないため、大きな黒い死角が出来ている。図 8 (b) に欠損領域を補完した結果を示す。こ装をしたため、地図の左側のような 2 パスで撮影した広い廊下では、はしご上の軌跡が出来れによって真の全天球パノラマ写真が生成できた。色調の違いが出てはいるが、タイルの溝― 1186 ―!"#$%&'()&$*&+&,-)."/$,01-)"23(/

図 5 ブラウザ上で動作する地下街パノラマビューア!"#$%"&'$()*+,-."$/'0$-%,'&*

!1#$%"&'$()*+,-."$/'0$2&30'-3

!1#$45&)$*&+&,-)."/$,01-)"23(/

図 6 スマートフォン上で動作する地下街パノラマビューア

図 7 歩行者除去結果は自然に繋がっていることから適切な座標でマッピングが出来ていることが確認できる。

3.3 メタデータの有効性

基地局をパノラマ写真に紐づけた結果、430 枚のパノラマ写真のうち 219 枚と半数にしか撮影時に自動取得した Wi-Fi 基地局観測情報から大阪・梅田周辺地下街での Wi-Fi 測位

Wi-Fi 基地局観測情報が紐づけられなかった。半数の地点でしか Wi-Fi 測位が動作しないの実現可能性について検証する。撮影期間中の基地局観測履歴の総数は 17,762 個になった。

上、残りの地点でも BSSID と RSSI の対応関係が同様の分布になっている箇所ではどちら

これは移動中および、歩行者除去のために一時滞在している時に繰り返し観測したもの全ての撮影地点付近であるかが区別できないため、多くの地点では Wi-Fi のみを用いてその場を含む。観測した基地局のユニーク数は 335 個となった。各滞在地点に置いて観測されたのパノラマ写真を的確に取得することは困難だと予想される。

― 1187 ―!"#$%&'()*'$&+,"&+-+.

!/#$%&'($&+,"&+-+.
図8

欠損領域補完結果

2.2 節でも議論した通りもう１つの主流な屋内手法であるビーコンやマーカを用いた手法
は、インフラ構築コストが高く現実的ではない。その他の手法としては画像処理を活用することが考えられる。現地で撮影した映像と、既に蓄積されているパノラマ写真を照合することによって近しいパノラマ写真を得ることができる可能性がある。SIFT (Scale InvariantFeature Transform)11) や SURF (Speeded Up Robust Features)12) アルゴリズムを用いた画像特徴量によるテンプレートマッチングの有効性を今後検証したい。

4. お わ り に地図に代わる直感的なナビゲーションシステム基盤としてパノラマビューアに着目した。
パノラマビューアの構築にはパノラマ写真の撮影と撮影地点の同時記録が必要となる。屋外のパノラマビューア構築手法は確立しつつあるが、公共屋内空間での測位手法および、混雑
図 9 Wi-Fi 基地局観測状況

エリアでの歩行者のプライバシーの考慮が課題となっていた。この課題に対して、一定時間滞在してパノラマ動画を撮影後、最も輝度の高いピクセルを選択することによってほとんどの歩行者を除去したパノラマ写真の合成を実現した。またその滞在時間を利用して人手に影した映像と、撮影済みのパノラマ写真のテンプレートマッチングによるその場のパノラマよって地図上に正確な位置を記録するツールを作成し、撮影した全パノラマ写真に対して正写真の自動取得可能性を検証したい。

確な位置を紐づけることができた。実験中に得られた Wi-Fi 基地局観測履歴を確認したところ、センサデータは Wi-Fi 測位に不十分であることを確認された。今後は携帯端末で撮― 1188 ―謝辞大阪・梅田周辺地下街のパノラマ撮影の機会を設けていただいた「地下街マップ検討協議会」に感謝致します。

参考文献1) : Google Street View, http://www.google.com/intl/en us/help/maps/streetview/.
2) : Bing Maps, http://www.bing.com/maps/explore/.
3) : earthmine, http://www.earthmine.com/index.
4) 西尾信彦，坂本憲昭，新井イスマイル：Google Street View とマッシュアップした実
世界指向 CMS，インタラクション 2009 論文集，pp.77–78 (2009).
5) Nishio, N., Sakamoto, N. and Arai, I.: Real-World-oriented Contents Management
System Mashed up with Google Street View, Adjunct Proceedings of Pervasive
2009, pp.269–272 (2009).
6) 七里 慶，新井イスマイル，西尾信彦：異なる時間の写真をパッチング可能とする全方位パノラマビューアの開発，情報処理学会第 72 回全国大会論文集 (分冊 3)，pp.337–338(2010).
7) Kawai, N., Machikita, K., Sato, T. and Yokoya, N.: Generation of an Omnidirectional Video without Invisible Areas Using Image Inpainting, Proc. Asian Conf. on
Computer Vision (ACCV) (2009).
8) Cheng, Y., Chawathe, Y., LaMarca, A. and Krumm, J.: Accuracy Characterization
for Metropolitan-scale Wi-Fi Localization, Proceeings of Mobisys 2005, pp.233–245(2005).
9) Harter, A., Hopper, A., Steggles, P., Ward, A. and Webster, P.: The Anatomy ofa Context-Aware Application, the Fifth Annual ACM/IEEE International Conference on Mobile Computing and Networking, MOBICOM’99, pp.59–68 (1999).
10) : Yahoo!地図 (地下街)，http://map.yahoo.co.jp/chika.
11) Lowe, D.G.: Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, Vol.60, No.2, pp.91–110 (2004).
12) Bay, H., Ess, A., Tuytelaars, T. and Gool, L.V.: SURF: Speeded Up Robust Features, Computer Vision and Image Understanding (CVIU), Vol.110, No.3, pp.346–259 (2008).

― 1189 ―