情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B41
2018/3/5

AR システムとプロジェクションマッピングによるランドマークベースの都市型経路案内システム
平尾 勇人1

市丸 和人1

脇 海晟2

西 正満2

岡本 泰英3

河合 由起子4川崎 洋1

概要：初めて訪れる場所で，歩いたり自転車で目的地を目指す際，スマートフォン等による経路案内を用いると，ずっと画面を見続けることになり，ながらスマホとしてその危険性が指摘されている．この問題を解消する手法としてランドマークベースの経路案内システムが考案されている．このシステムではスマートフォンでの逐一確認が必要となる詳細なルートを提示するのではなく，ルート上で確認できる少数のランドマークを提示する手法である．ユーザーは，ランドマークを逐次的に確認しながら目的地を目指すことになり，ランドマーク間の移動中にはスマートフォンを見る必要がなくなるため，ながらスマホの危険が無くなる．この手法では，ランドマークが発見できるかどうかが重要なポイントとなるが，そのことについてこれまで言及されてこなかった．そこで，本手法ではスマートフォンなどのデバイスを通じたAugmented Reality (AR) システムを使用することで，この問題の解消を目指す．また海外旅行先や電池切れ，災害などによりスマートフォンなどの携帯情報端末が使用できない環境下において，プロジェクションマッピングを用いて能動的にランドマークを発生させ，経路案内を実現する手法も提案する．

Route navigation system based on landmarks forurban areas using AR and projection mapping
Yuto Hirao1

Kazuto Ichimaru1 Kaisei Waki2 Masamitsu Nishi2
Yukiko Kawai4 Hiroshi Kawasaki1

Yasuhide Okamoto3

Abstract: When walking or riding a bicycle to visit a destination for the first time, using the navigationof a smart-phone keeps looking the screen all the while, although the danger as a smart-phone is pointed
out. To solve this problem, a landmark-based navigation system has been proposed. In this system, it is amethod of presenting a small number of landmarks that can be confirmed on the route. The user goes to thedestination while sequentially checking the landmark, and there is no need to see the smart-phone while moving, so the danger of the looking smart-phone disappears. Therefore, in this proposed method, We support
landmark detecting by using the Augmented Reality (AR) system through devices such as smart-phones. We
have also proposed a method of actively generating landmarks using projection mapping technology undercircumstances that can not be used by smart-phones.

1. はじめに
近年，ながらスマホの危険性が指摘されている．特に経路案内アプリは画面を見続けながら目的地に向うため，周辺の状況把握が疎かになり危険性が高い．さらに，スマートフォンの GPS や方位センサの精度は一般に高くはない
ため，経路案内アプリに従って歩いても，道に迷ってしま

1

2

34

九州大学大学院システム情報科学研究院
Kyushu University
鹿児島大学情報生体システム工学科
Kagoshima University
株式会社アスカラボ
AsukaLab
京都産業大学コンピュータ理工学部
Kyoto Sangyo University© 2018 Information Processing Society of Japan

うことも多い．特に都市部におけるマルチパス問題は深刻であり自己位置を見失うことも頻繁に起こる．
上記問題の解消のために，米倉らは，ランドマークを用いた経路案内システムを提案した [11]．このランドマーク
ナビは，記憶しやすい地物を用いた経路案内であり，道に684情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B41
2018/3/5

迷いにくく，スマートフォンを見る回数を大幅に減らせるために，地形を 3D で表現する．そして，平均的な高さのメリットがある．一方で，ランドマークベースの経路案内

人間（約 60 インチまたは 153cm）の視点を想定して，す手法には，一般に次の 2 つの問題が指摘されている．

べての交差点のすべての建物の視認性を測定する．このよ( 1 ) ユーザがランドマークを見つけられない（または見つうにして可視性を測定することで，建物の周囲および地形けにくい）ことがある( 2 ) ランドマークがあまり無い土地や地下街，ランドマー
クが視認しにくい夜間には使えないの形状や配置に基づいて，目立つ建物を選択して信頼できるランドマークとみなすことができる．
このようにして発見されたランドマークに基づいて効率

そこで，今回 1 つ目の問題を，Augmented Reality (AR) シ的な経路グラフを構築し，最適な経路探索を行うことで案ステムを用いることで解消する．これは，スマートフォン内ルートが決定される．例えば図 1 のような場合を考えるの AR 機能を使って，画面上にランドマークを重畳表示すと，スタジアムの旗が見えている間はまっすぐ進み，スタるというものである．これにより，ランドマークが見つけジアムが見えてきたら右に曲がるというような経路案内がられやすくなる．また，ランドマークベースなので，GPS出力される．このように，ランドマークナを用いた経路案や方位の精度が低くても道に迷わずに目的地に向かって進内により，自然かつ直観的に，ユーザーが目的地に到達すめる他，次のランドマークに到達するまでは携帯端末を見ることができる．

る必要が無いなど，ランドマークナビのメリットはそのままである．

2 つ目のランドマーク不足の問題は，新しいプロジェクションマッピングシステムを用いることで解消する．これは，プロジェクターをラインランドマーク上に配置することで，ポイントランドマークとして使用するものである．
こうすることで，ランドマークの少ない場所や夜間であっても，経路案内に必要な位置に，能動的にランドマークを追加できる．さらに，本システムでは著者らの開発した複数デプスに異なる情報を提示可能なプロジェクションマッ

図 1

ランドマークを用いて効率的にルート検索を行った例．(左)：遠景にあるランドマークを行い最適化を加えたもの．(中央)：ピング技術を用いることで，看板やデジタルサイネージと近景のランドマークにのみによる提案ルート．(右)：従来手法いった通常の情報提示デバイスよりも豊富な情報を提示すである GoogleMap による経路案内．

る．その結果，スマートフォンなどの携帯端末が無い場合でも道に迷わずに目的地にたどり着くことができる．

2. ランドマークベースのナビゲ−ションシス
テムの概要

3. AR システムによる拡張
本提案では，ルート検索については前述の米倉らの手法を用いる [11]．主に用いられるランドマークとしては，1)ながらスマホを減らすには，記憶が簡単で地図参照数が郵便局やコンビニエンス・ストアのような，近くまでいか少なくて済むように，経路案内に必要な情報をできるだけないと視認できないが，確認することでユーザの現在位置少なくすることが考えられる．そのような経路案内手法とを高い精度で同定できるものか，2) 電波塔や高層ビルなどして，ランドマークを利用したアプローチがある [2], [10]．のように，遠方からでも視認できるが，現在位置をおおま

中澤らの研究では，より象徴性の高いランドマークを発見

かにしか同定できないもの，3) 電車通りや河川といった，するための調査方法を提案している [7]．藤井らの研究ですぐ近くまで行かないと視認できないが，その範囲が線状

は，システムがランドマークの 3 次元形状を提示することに広がりを持つものをそれぞれ，1) 点のランドマーク，2)で，案内を受ける者の経路情報に関する理解を高めること

面のランドマーク，3) 線のランドマークとして定義しこれができると報告している [5], [6]．また，宇戸らの研究では，らのランドマークを経路案内に用いている．

ランドマークとなる建物が継続して見えることが，歩行者本システムでは，上記ランドマークを効率良く発見するの安心につながるという報告がある [9]．ランドマークは，ための 2 つの手法を提案する．1 つ目が，各交差点におけ周囲の状況を知らせ，不慣れな都市の精神的表現を構築するランドマークの可視性の問題を AR システムを用いるこるために必要な情報を減らすことで，ユーザーの空間認識とで解消する手法である．ランドマークによる経路案内でを高められる [11] [4] ．

はランドマークに向かってユーザーが移動を行うためラン

本論文で用いる米倉ら [11] によるランドマークによる経ドマークが見えない状況では経路案内を行えない．そこで，

路作成は以下のように行われる．まず，出発点と目標点をAR システムを用いて携帯情報端末上にこれを表示する．

決定する．次にランドマークの視認性のレベルを推定する

2 つ目は知らないランドマークに対する対応である．Web© 2018 Information Processing Society of Japan685

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B41
2018/3/5

図 4

AR システムのイメージ画像

実際に見たランドマークを結びつけるのは一般に難しい．
またこの例のように山をランドマークとした場合に近隣に
図 23 種類のランドマークで検索した画像を重責表示することで初めて耳にするようなランドマークについても簡単に発見できるようにする．
具体的にはランドマークの情報を Web サーチし，その情報もユーザの携帯情報端末上に表示する．

同様のランドマークが多数存在するという問題もあり，初めて目にしたユーザーにとってはランドマークナビによって与えられたランドマークがランドマークとして機能しない問題もある．そこで Augmented Reality(AR) システムを使用して，例えば図 3 のように福岡県の柑子岳がランドマークとして指定された場合，タブレットやスマートフォ
ンの GPS と内部のコンパス機能を利用して現在地からのランドマークの方角を導出し，このアプリケーションを起動し導出した方角に向けてデバイスをかざしている場合，
図 4 の上部にあるようにデバイスのカメラからの画像上にポリゴンを重ねて表示する．
また経路案内に使用するランドマーク以外のランドマークもデバイス上に「ネガティブランドマーク」として AR表示する．これは，例えば目的のランドマークを行き過ぎてしまった場合や目的のランドマークを間違えてしまった場合にユーザーが間違った経路を進んでいることを示すランドマークとなる．
実際の AR システムの使い方としては大きく 4 つのステップに分かれている．

( 1 ) Web ブラウザ上で，スタート地点とゴール地点を入力（図 5）：このステップではまずスマートフォンなどのデバイス上で WEB ブラウザを立ち上げ，タップ入力によりスタート地点とゴール地点を入力する．

( 2 ) ルート検索を開始し AR システムを起動（図 6）：ブラウザ上で上の「SNS+Geo」と書かれたボタンを押すとルート検索を開始する．「アプリ起動」と書かれたボタンを押すことでスマートフォンによる AR ナビゲーションシステムが起動する．
図 3

今までの経路案内( 3 ) ランドマークに基づいた経路案内の決定（図 7）：ランドマークに基づいた経路が決定されると図 7 のような実際に提案システムにより，ランドマークベースの経路案内した例を，図 3 に示す（福岡県の柑子岳）．経路案内は初めて行く場所で用いられるため，ランドマークの名前と© 2018 Information Processing Society of Japan

ルートが提示され，目標となるランドマークも提示される．

( 4 ) AR システムをかざすことでナビゲーションを開始（図686情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B412018/3/58）：起動した AR ナビゲーションシステムをかざすことによってランドマークの発見を行い，ランドマークに向かって進むことでナビゲーションを開始する．

図 8

AR システムの画面

4. 複数デプス提示可能なプロジェクション
マッピングによる能動的ランドーマーク
上記の AR を用いたランドマークナビゲーションはス
マートフォンなどの携帯端末を持っている場合には，極め
図 5 スタート地点とゴール地点の入力て有効なルート案内手段となる．しかし，スマートフォンなどの携帯端末を持っていない場合や，スマートフォンなどの携帯端末を持っていても GPS が機能しない地下街やランドマークを認識できない夜間といった条件では AR を用いたランドマークナビゲーションを活用することは難しい．
そこで本項では３節で提案した AR を用いたランドマー
クナビゲーション手法を用いることができない場合の経路案内手法を提案する．この条件の場合，まず人為的にランドマークとなるものを能動的に作成する必要がある．この目的のため本手法ではプロジェクションマッピングシステムを利用する．一般のプロジェクタでは投影面の位置を変更しても投影される像が変更されないが，提案手法では，2つのプロジェクタからの投影光を重ね合わせることで図 9のような複数の平面で異なる画像の同時投影を実現する手法を用いる [3] [1] [8]．これにより，通常のプロジェクショ

図 6 ルート検索と AR システムの起動ンマッピングよりも豊富な情報を提示可能となり，ランドマークベースの経路案内に好適である．
さらに提案手法では，オリジナルの手法とは異なり，投影画像生成の際にランダムに描画された白色点の位置の最適化を遺伝的アルゴリズムを用いて行うことで，より情報提示の視認性の高い画像を投影できるようにした．これは経路案内などのような，文字や図形からなるパターンを提示する際に有効である．本手法により，2 台のプロジェクタからの投影画像を投影面上で合成することで 3 つの投影面で異なる像を投影して結果を図 9 に示す．
本論文ではこのシステムをナビゲーションに用いるために，街灯や天井に取り付け下方向を照らすようにする．地面には，その場所を示すパターンが投影されており，ある程度遠くからでも視認可能である．このプロジェクション

図 7

ナビゲーションルート決定

マッピング手法によるランドマークナビゲーション方法
は，大きく以下の 4 つのステップからなる．

( 1 ) ランドマークに基づいたルートの決定（図 7）：ランド© 2018 Information Processing Society of Japan687

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B41
2018/3/5

更新されると，キャラクターが歩いて更新した地図上の座標に向かようになっている．背景にはランドマークを認識するためのデバイスからのカメラ画像を使用している．画
面上部の経路表示アイコンは実際にナビゲーションを行う際の進むべきランドマークの方向を表示している．
このシステムによってタブレットやスマートフォンといったデバイスを手に持ち，デバイスを通して周辺を見渡すことでランドマークを探し出すことができる．デバイスによってランドマークを実際に認識した後，ランドマークに向かって歩くことで目的地に近づく事ができる．また目印となったランドマーク付近に到着した際には次の目印と図 9投影模式図

なるランドマークが表示されるように設定されているため，到着したランドマーク付近でもう一度デバイスをかざすことによりスムーズに次のランドマークを認識することができる．
今回，このようにして AR システムを用いてランドマークナビゲーションを行うシステムを実際のアプリケーションとしてアンドロイドタブレット端末 Nexus ９上に作成した．発表では，この AR システムを用いたデモ実演を会場で行う．

5.2 プロジェクションマッピング
複数デプス提示可能なプロジェクションマッピング手法
によって複数のデプスに対してナビゲーションを補助する情報提示を行う画像を投影する実験を行った．実験風景
図 10

３画面への同時投影の様子を図 11 に示す．2 台の EPSON の LCD プロジェク
タを縦置きに配置し，POINTGRAY のカメラを配置する．

マークに基づいたルートが決定されると目標となるラ実験ではグレーコード画像を投影することでプロジェクタンドマークも提示される．この時，プロジェクション位置についての位置情報取得であるキャリブレーションをマッピングによるランドマークも新たに含まれている．

行っている．

( 2 ) プロジェクションマッピングにより投影されたランドマークへの移動：プロジェクションマッピングによって提示されたランドマークの位置には大きくランドマーク名が投影されているため，ユーザはその目印に向かって移動する．

( 3 ) 投影されたランドマーク上で手をかざす事により得られる地図で次のランドマークの確認：ランドマーク名が投影されているランドマーク上で手をかざすと，近辺のランドマークの情報が表示される．この情報をみて次のランドマークへの方向などの情報を取得することができる．

5. 実験
5.1 AR により拡張されたランドマークベースのルート案内システム

図 11

実験風景と投影模式図

遺伝的アルゴリズムを用いた提案手法により図 11 のような 2 つのプロジェクタからのそれぞれの投影画像が得られる．図 12 には床面部分に「Roppongi Intersection」とAR システムのイメージ画像は図 4 の通りである．シス

いう文字，床から上の平面部分には簡単な地図画像を描画

テムの特徴としては，GPS を使用して大まかな現在地を地しており，その文字の画像が確認できる．これにより２つ図上にキャラクターとして表示する．GPS の位置情報が以上の異なる平面に対して異なる深さで異なる投影像が投© 2018 Information Processing Society of Japan688

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

2B41
2018/3/5

影されていることが分かる．

内を行うことができる手法を提案した．プロジェクション

プロジェクションマッピングを用いた能動的ランドーマッピングについて実験を行い，実際に提案手法によってマークによる経路案内のイメージを図 13 に示す．2 台

2 つの異なる投影面に異なる画像を提示することができるのプロジェクタを天井部分に設置し地面方向へ投影を行ことを確認した．地下街や夜間などにおける実証実験が今

い，地面の高さを 1 つ目の投影面とし，そこに「Roppongi後の課題である．

Intersection」などの文字情報を用いたランドマークとなり得る情報を提示する．2 つ目の投影面は地面と天井の間に作成し，そこに手をかざすなどして投影面を作成すると周辺のランドマークの情報が得られる仕組みとなっている．

謝辞本研究は JSPS 科研費 16H02849 および総務省 SCOPE171507010 の助成を受けたものである．
参考文献
[1]

[2]

[3]

[4]
(a)
図 12(b)実験による (a) 床面の投影，(b) 床から上の平面への投影

[5]

[6]

[7]

[8]

[9]

[10]
図 13

地下街における投影システム図[11]6. まとめランドマークを用いた経路案内において重要なポイン

T Hirukawa, M Visentini-Scarzanella, H Kawasaki,
R. Furukawa, and S. Hiura. Simultaneous independentimage display technique on multiple 3d objects. The proceeding so the 13th Asian Conference on Computer Vision (ACCV2016), 2016.
Yonekura Rina, Akagi Yasuhiro, Ono Satoshi, KawaiYukiko, and Kawasaki Hitoshi. Navigation system whichuses visibility map of landmarks to reduce reference
count of the map. In IEVC2014 4B-o6, 2006.
M Visentini-Scarzanella, T Hirukawa, H Kawasaki, R Furukawa, and S Hiura. A two plane volumetric display
for simultaneous independent images at multiple depths.
PSIVT workshop Vision meets Graphics, 2015.
森永寛紀, 若宮翔子, 谷山友規, 赤木康宏, 小野智司, 河合由起子, 川崎洋. 点と線と面のランドマークによる道に迷いにくいナビゲーション・システムとその評価. 情報処理学会論文誌 Vol.57 No.4 1-12, 2016.
藤井憲作, 東正造, 荒川賢一. 経路案内情報がナビゲーションに及ぼす影響. 電子情報通信学会論文誌. A, 基礎・境界
J87-A(1), 40-49, 2004-01-01, 2004.
藤井憲作, 杉山和弘. 携帯端末向け案内地図生成システムの開発. 情報処理学会論文誌. Vol.41, No.9, pp.2394-2403,
2000.
中澤優一郎, 山本隆徳, 細川宜秀. 象徴性と相対的場所性に基づく強いランドマーク検索システムの実現方式. In
DEIM Forum 2012 B2-4, 2012.
平尾勇人, 日浦慎作, 古川亮, 川崎洋. 複数投影パターンの重ね合わせにより複数深度に異なる情報を提示するためのパターン最適化手法. 研究報告コンピュータビジョンとイメージメディア（CVIM）, 2017.
宇戸裕人, 古川宏. ランドマークの定量的評価に基づく歩行者の不安を軽減する経路探索アルゴリズム (自動車運転/位置情報/通信技術). シンポジウムモバイル研究論文
集 2010, 27-32, 2010.
米倉梨菜, 赤木康宏, 小野智司, 河合由紀子, 川崎洋. 可視性に基づくランドマークの自動検出とこれを利用した道案内システム. In DEIM Forum 2014 E9-4, 2014.
米倉梨菜, 赤木康宏, 小野智司, 河合由起子, 川崎洋. 点と線と面のランドマークによる道路地図に頼らないナビゲー
ション・システム. インタラクション 2015, 2015.

landmark-navi-ar,shortSTRING,JabRef

トであるランドマークの認知方法を Augmented Reality(AR) システムを使用することで改善する手法を提案し，実際に Android 端末に実装した．またナビゲーションに必要な GPS が利用できないような地下街や，夜間でランドマークの視認が難しい環境においても，プロジェクションマッピングを用いることでランドマークベースの経路案© 2018 Information Processing Society of Japan689