DEIM Forum 2019 F6-4

オンサイト検索：携帯端末を用いた看板画像からの店舗情報アクセス手法
北村 茂生†

松下 光範†† 関西大学大学院総合情報学研究科 〒 569–1052 大阪府高槻市霊仙寺町 2 丁目 1 番 1 号
E-mail: †{k403662,t080164}@kansai-u.ac.jp
あらまし

本研究の目的は，繁華街などの地域において，ユーザが店舗情報への直感的かつ簡易にアクセスできるシ

ステムの実現である．繁華街には様々な業種の店舗が密集しているため，ユーザが求める条件に合致した店舗情報を取得することは容易ではない．現状では，ユーザはスマートフォンなどの携帯端末を用いて店舗を検索する場合，手がかりとして位置情報を用いる．しかし，周囲の看板がユーザが理解できない言語で記述されている場合，検索結果から現実世界で目的の店舗を見つけることは困難である．本稿では携帯端末を用いてユーザの周囲にある看板画像から店舗情報を取得するシステムを提案する．提案システムでは，深層学習を用いて画像から看板を認識し，オープン
ソースの地理情報システム上のデータベースから店舗情報を取得することにより，拡張現実感を用いて店舗情報を端
末上で重畳表示する．これにより，ユーザが求める情報への容易なアクセスを実現する．
キーワード 拡張現実感，情報の視認性，画像認識，深層学習
本稿では，オープンソースの地理情報システムのデータベー

1 はじめに近年，日本を訪れる観光客は増加しつつある．日本政府観光局によると，2012 年に 8,358,105 人であった訪日観光客は，2017 年には 28,691,073 人と，3 倍を超えて増加している [13]．
こうした訪日外国人の増加にも関わらず，店舗の看板は多言語で記載されているとは限らない．その上，外国人観光客は日本人の多くが持っている情報をあまり持っていないため，外国人にとってはどの店がどのようなサービスを行っているか，クレジットカードでの決済はできるかなどの情報を看板から得ることは困難である．そのため，日本人に与えられている情報をただ翻訳して伝えるだけでは不十分である [5]．自身の目の前にある店舗が，自身の求める条件に合致するかスマートフォンで検索しようとしても，言語障壁によりどのように検索して良いか
観光客は分からないため，結局ガイドマップに記載されている

スに登録されている店舗情報と，看板の画像情報を紐づけることによって，特定の地域を対象としたプロトタイプを実装する．
その上で，提案システムはユーザが特定の店舗を見つける負担を軽減できるかについて，位置情報を用いたサービスと比較してユーザ実験を行った．
本稿の構成は以下の通りである．2 章では関連研究について述べる．3 章では提案するシステムについて述べ，4 章では提案システムのプロトタイプの実装について述べる．5 章では提案システムを用いて実施したユーザ実験について述べる．6 章
では提案システムの課題と今後の展望について述べる．最後に7 章では結論を述べる．

2 関連研究2. 1 看板認識に関する研究

店舗など，限られた選択肢から選択せざるを得ない状況にある．

看板に書かれてある文字を認識する研究は多数行われている．

店舗側が看板を多言語化することや，QR コードを用いて多言主な手法としては，ニューラルネットワークを用いて看板に書語で情報を配信する手法もあるが，様々な言語圏からの来訪者かれている文字を認識する手法や，Optical Character Recog-

すべてに対応するには限界があり，このような手法では店舗側

nition（OCR）を用いる手法が挙げられる．He らは，シーケンの負担も大きい．

スラベリング問題として背景から文字を読み取る再帰型ニュー本研究の目的は，繁華街や商店街などユーザの周囲に店舗がラルネットワークを開発している [6]．Lee らは，特徴量を用い多数存在する地域において，ユーザが慣れていない地域や周囲てストリートビュー画像から文字領域を検出する手法を提案し，の文字が読めない状況であっても，目の前にある店舗の情報を

OCR ソフトウェアが文字認識することを容易にしている [11]．

直感的かつ簡単に取得できるようにすることである．そこで本しかし，看板の中には手書き文字など崩した文字で書かれてい研究では，スマートフォンを看板にかざすことにより店舗情報

るものもあり，人間であっても読むことが容易でない場合があを取得し，カメラ映像上に拡張現実感（Augmented Reality;

る．このような場合は，OCR を用いて文字を認識することはAR）を用いて店舗情報を重畳するシステムを提案する．これ困難である．Kavati らは，スマートフォンで撮影された看板やにより，ユーザはその店が自らの望む条件に合致するかどうか，標識の写真内の文字を OCR によって認識し，英語からテルグ

その店舗ではどのようなサービスが得られるのかを知ることが語に翻訳してユーザに提示する旅行者向けの Web アプリケー

できるようになり，言語障壁があっても，条件に合致した店舗

ションを開発している [8]．

を選択できるようになる．

2. 2 AR を用いたナビゲーションに関する研究
AR を用いたナビゲーションシステムに関する研究も行われている．Kasprzak らは，特徴点ベースのマーカレス AR を用
いた屋内など限定された地域におけるナビゲーションシステムを提案している [7]．Rehman らは，携帯端末上での AR を用いたナビゲーションは，紙の地図を用いた場合と比較して，より短い時間と少ない操作で目的地まで辿り着けることを示している [15]．

2. 3 情報の視認性に関する研究
不要な視覚情報を隠蔽・消去・透視する技術として，隠消現実感（Diminished Reality; DR）の研究が行われている [12]．藤田らは，視覚情報が過剰に存在する環境下において，DR を用いて不要な情報を目立たなくさせることで，情報の識別性を向

図 1 対象とする地域

上させる情報提示手法を提案している [2]．畑らは，画像内に高解像度領域と低解像度領域を作ることによって，ユーザに気付
かれることなく視線を特定の領域に誘導させる手法を提案している [4]．

2. 4 研 究 動 向
これまでに著者らは，繁華街には多くの看板や装飾があるた

ドでの支払いの可否，店内での喫煙の可否，等の詳細情報を瞬時に把握することは困難である．この問題を解決するために，
本稿ではユーザが携帯端末のカメラを通して目の前の店舗の看板を見ることで，求める情報に素早くアクセスできるようにする．このためには，以下の要件を満たす必要がある．

め，店舗情報を単純に重畳表示するだけでは視認性を損なうと（ 1 ） ユーザが求める店舗情報の探索が直感的にできる操作いう問題を解決するために，文献 [2] で提案された，不要な情報方法であることをグレースケール化することなどによって減算する手法を改良（ 2 ） ユーザが端末のカメラを通して見た店舗の看板と端末

し，必要な視覚情報に店舗名などの文字情報を看板の横に重畳の画面上に表示される付加情報とのシームレスな連携が可能でして表示することによって，探索時間が有意に短くなることをあること示した [10]．それに加えて，著者らは深層学習により看板領域（ 3 ） 周囲に店舗が密集している場合においても，ユーザがを検出し，切り出された看板領域を転移学習によってその看板必要とする店舗情報を迷わずに探索できることが示す店舗を少ない学習データから高い精度で識別できるシス（ 4 ） 天候や時間帯などの環境条件に左右されず，ユーザにテムを，GPU を搭載したサーバ上で API 化することによって，迷わせることなく情報の提示ができること

リアルタイムで看板認識を行うフレームワークを構築した [9]．

これらの要件に基づき，提案システムを構成する．

2. 5 本研究の位置付け

3. 2 提案システムの構成

店舗の看板を認識する際に文字情報を認識する場合，店舗名

本稿で提案するシステムは，携帯端末上で実行することををユーザが理解する言語に翻訳しても，必ずしもその店舗がど想定している．システムを実現するにあたり，3. 1 節で述べたのような店舗かユーザが理解するとは限らない．そこで本研究（1）を満たすために，携帯端末にはシステムが看板を認識する

では，スマートフォンで撮影された画像の中から，文献 [9] でために十分な解像度のカメラが搭載されていることを前提と提案したフレームワークを用いて看板領域を検出し，地理情報

し，ユーザが店舗名や店舗の種類をクエリとして検索できるイ

システムのデータを利用して店舗情報を提示する手法を採る．

ンタフェースを実装する．
（2）を満たすために，システムを利

また，文献 [15] で示されたように，ユーザが短い時間と少ない用する地域において，オープンソースの地理情報システムであ

負荷で看板を探索できるようにするために，AR を用いて情報

る OpenStreetMap [3]（OSM）のノードと看板画像を紐づけた提示を行うユーザインタフェースとする．

データベースを予め構築する．
（3）を満たすために，文献 [10]で提案した，DR を用いて不要な視覚情報の色調を低減させ，3 システム概要

必要な視覚情報に店舗名などの文字情報を看板の横に重畳して表示する情報提示手法を用いる．これにより，ユーザは不要な

3. 1 街中での情報探索行為

視覚情報を完全に失うことなく，必要な視覚情報を容易に得ら

本研究では，都市部や繁華街のような店舗が多数存在していれることが期待される．
（4）を満たすために，昼や夜などの異る地域において，観光客など，その地域に慣れていないユーザ

なる時間帯や天候の環境下で撮影した看板画像を収集し，GPUが携帯端末を手に持ち，周囲にある店舗の情報を探索するといを搭載したサーバ上で深層学習を用いて画像認識を行う．

う状況を想定する．このような状況では，ユーザが目の前にある店舗において，受けられるサービスの詳細，クレジットカー

表1

プロトタイプに用いたデータ（2018 年 12 月 1 日時点 OSM のデータベースを基に作成）

id

name

shop

2391866925

セブン-イレブン 高槻高槻町店

convenienceamenityopening hours

payment:visa

24/7

yes

5279265335

全席個室居酒屋 北海の恩返し 高槻店

5281672553

小だるま JR 高槻駅前店

bar

17:00-24:00

yes

bar

Mo-Th 11:30-14:00; . . .

5281672555

yes

肉丼専門店 高槻肉劇場

restaurant

11:00-23:00

no5281672556

おだいどこはなれ 高槻店

bar

Mo-Th 11:30-24:00; . . .

yes5281672557

ビリヤード・ダーツ&Food Bar Ozbuddy

pub

Mo-Th 14:00-26:00; . . .

no5281672577

磯丸水産 高槻店

restaurant

24/7

yes

5281672578

炭焼酒場 森田家 高槻店

restaurant

17:00-26:00

yes5281672579

メサベルテ 高槻店

bakeryMo-Sa 07:00-20:30; . . .

no5281672580

駿河屋

hobby

10:00-23:00

no5281672581

甲南チケット 高槻本通店

ticketMo-Sa 10:00-19:00; . . .

norestaurant

Mo-Fr 16:30-25:00; . . .

yes5281672739 焼肉・しゃぶしゃぶ食べ放題 ぷくぷく 高槻店
5281672740

赤から 高槻店

bar

Mo-Fr 17:00-24:00; . . .

yes5281672835

ちどり亭 高槻店

restaurant

17:00-25:00

yes5281672942

高槻ちゃぶちゃぶbar

17:54-06:00

yes

ユーザは近くのサーバに店舗情報が知りたい

画像を送信

②

①

ユーザ

⑪
⑧
⑨
⑩

③

入力画像

近くの店舗情報をユーザに提示OSM

OSM からGPU を搭載したサーバ④検出された看板を切り抜き

YOLO を用いて看板領域を検出[{ "name" : "MesaVerte", id: 5281672579,⑦"conﬁdence" : 0.8444503, "topleft" : { "x" : 74,"y" : 273 }, "bottomright" : { "x" : 108, "y" :345 } }, { "name" : "Didoritei", "id" :5281672835, "conﬁdence" : 0.9112513,
5281672"topleft" : { "x" : 151, "y" : 174 }, "bottomright" : {"toplef
189, "y" : 260 } }, { "name" : "Moritaya","x" : 1"id" : 5281672578, "conﬁdence" : 0.88655674,"topleft" : { "x" : 221, "y" : 250 }, "bottomright" : {"toplef
305, "y" : 316 } }, { "name" :"x" : 3
"Isomaru-Suisan", "id" : 5281672577,"Isomar"conﬁdence" : 0.92931396, "topleft" : { "x": 362,
"conﬁde"y": 255 }, "bottomright" : { "x" : 538, "y" :368 } }]

画像に店舗情報を付与
画像

JSON を

店舗の OSM ID 及び返却

画像内の位置を格納

データを取得⑥
JSON を生成

VGG16 を用いて店舗名をクラス分け
店舗⑤

図 2 システムの動作

表 2 看板画像の学習と検出に用いたマシンのスペック

る．プロトタイプでは，図 1 の赤線部で示されている高槻本通

要素

スペック

の 100m 区間において OSM 上にデータが存在する店舗のうち，

CPUIntel (R) Core (TM) i7-8700K @ 3.70 GHz

15 店舗を対象とする．対象とする店舗のノードを表 1 に示す．

RAM

16 GB

GPU

NVIDIA GeForce GTX 1080

VRAM

12 GB

OS

Ubuntu 17.10

OSM 上では，飲食店などの店舗のオブジェクトは位置を定義された単一の点であるノードとして扱われ，各オブジェクトには“OSM ID” という一意の番号が付与されている．各店舗の看板
画像と OSM ID を紐付け，Overpass API 1 を用いて店舗情報を取得することにより，看板画像から店舗情報へのアクセスがで

4 実

装

4. 1 対象とするデータ

きる．表 1 内の “id” は各店舗の OSM ID を表しており，それぞれのノードには複数のタグが設定されている．“name” は店舗の名称が代入されている．“shop” タグは，店舗が販売している

3 章で述べた構成に基づき，大阪府高槻市の JR 高槻駅と阪商品を記述するために使用される．飲食店の場合，施設の種類

急高槻市駅の間にある商店街の一部を対象としたプロトタイプを表す “amenity” タグにバーやレストランのような店舗の種類を実装する．看板の認識には，少ない学習データから高い精度が代入されている．“opening hours” タグには，店舗の営業時での認識を可能にするために，文献 [9] で提案した API を用い
1：http://overpass-api.de

間が代入されている．年中無休で 24 時間営業の場合は “24/7”（ 1 ） システムは携帯端末の GPS 機能により，ユーザの位が，曜日によって営業時間が異なる場合は，セミコロン区切り

置情報を取得するで複数の値が代入されている．例えば，小だるま JR 高槻駅前

（ 2 ） ユーザは店舗の種類などのクエリを入力する

店は，月曜日から木曜日までは 11 時 30 分から 14 時 00 分と 17（ 3 ） システムは Overpass API に位置情報とクエリを送信

時から 23 時 30 分まで，金曜日，土曜日は 11 時 30 分から 14

し，クエリに一致する周辺の店舗の OSM ID を取得する

時 30 分と 17 時 00 分から 24 時 30 分，日曜日は 11 時 30 分か（ 4 ） ユーザは携帯端末のカメラを通して街から画像情報をら 23 時 30 分が営業時間である．この場合，“opening hours”

1 ）取得する（図 2 中⃝

タグの値は “Mo-Th 11:30–14:00, 17:00–23:30; Fr-Su 11:30–

2 ）（ 5 ） システムは画像をサーバに送信する（図 2 中⃝

14:30, 17:00–24:30; Su 11:30–23:30” となる．支払いにクレ（ 6 ） サーバは YOLO を用いて画像の中から看板領域を検

ジット カ ー ド が 利 用 可 能 か ど う か は ，“american express”，

3 ）出する（図 2 中⃝

“payment:diners club”，“payment:jcb”，“payment:master”，

4 ）（ 7 ） サーバは検出された看板領域を切り抜く（図 2 中⃝

“payment:visa”，のタグに “yes” が代入されていれば利用可能（ 8 ） サーバはそれぞれの看板画像を VGG16 を用いて店舗である．表 1 には “payment:visa” タグのみを掲載している．

4. 2 看板画像の学習
看板の認識は，まず写真の中から看板領域を抽出し，次に，切り出された看板がどの店舗のものなのかを識別するという 2段階で行う．看板画像の学習は，文献 [9] と同一の条件下で行った．学習に用いたマシンのスペックを表 2 に示す．写真の中か
ら看板の領域を抽出するために，Tensorflow 1.0 [1] で実装された YOLOv2 [14] を用いた．対象とする店舗の前で様々な角度から合計 650 枚の写真を撮影し，それぞれに人手で看板領域を
アノテーションした上で，585 枚を教師データ，65 枚をテストデータとして学習させた．
抽出した看板画像から店舗名を識別するためには，VGG16[16] を用いた．表 1 に記載した 15 店舗の看板画像を昼の時間帯に各店舗 100 枚ずつ，合計 1,500 枚の写真を収集し，1 店舗につき教師データ 50 枚，バリデーションデータ 25 枚，テスト
データ 25 枚に分類して学習させた．
看板認識を行う API は，Python 2 3.6.5 と Web API フレー
ムワークである Falcon 3 1.4.1 を用いて，を用いて学習に用いたマシンと同一のマシンに構築したサーバ上に構築した．

5 ）名でクラス分けする（図 2 中⃝

（ 9 ） サーバは画像内の看板の左上と右下の座標と検出した
看板の店舗と関連付けられた OSM のノードの id をそれぞれ6 ）格納した JSON データを生成する（図 2 中⃝

（ 10 ） サーバは生成された JSON をシステムに返り値として7 ）返却する（図 2 中⃝

（ 11 ） システムはユーザが求めていない視覚情報の色調を低減させ，ユーザが求めている店舗の情報を看板の横に吹き出し
8 ）として重畳表示する（図 2 中⃝

（ 12 ） システムは認識した看板と関連付けられている OSM
9 ）ID を Overpass API に送信する（図 2 中⃝

（ 13 ） Overpass API は OSM ID と一致する店舗のノードを10 ）システムに返却する（図 2 中⃝
11 ）（ 14 ） システムは出力結果をユーザに提示する（図 2 中⃝

デバイスが画像を API に送信してからサーバが JSON データを返却するまでに要した時間は，上り 1Mbps，下り 1.25Mbpsの通信速度，980 × 1307 の解像度で平均 359ms であった．

Thrope らによると，人間が画面中央のオブジェクトを認識するまでのリアクションタイムの中央値は 445ms であるため [17]，十分にユーザが満足できる速度であるといえる．

4. 3 ユーザインタフェース
クライアントサイドは，ユーザが OS を問わずに携帯端末で実行できるようにするために，HTML5 と Javascript を用いてWeb アプリケーションとして実装した．インタフェースはデフォルトで端末の背面カメラ画面となっており，ユーザが前面カメラと切り替えられるようになっている．ユーザがカメラを通して店舗の看板を見ると，その店舗の店舗名，営業時間，使えるクレジットカードの種類などの情報が表示される．表示される店舗の種類や表示する情報の種類はユーザが選択できる．
ユーザにとって不要な情報は明度を下げることによって目立たなくしている．実装したユーザインタフェースを図 4 に示す．

4. 4 システムの動作
提案システムにおいて，ユーザが取る行動とシステムが行う処理を以下に示し，図で表したものを図 2 に示す．

5 ユーザ実験
5. 1 実験の目的
1 章で述べたように，慣れていない地域や周囲の文字が読めないに状況おいて，ユーザが目の前にある店舗の情報や条件に合致する店舗の情報を瞬時に取得することは容易ではない．位
置情報を手がかりに周囲の検索を行い，条件に合った店舗が見つかったとしても，ユーザ自身が居る環境と検索行為とが分断されているため，そのその環境からその店舗を探す手間が残るという問題点がある．そのため，提案システムを用いることによって，位置情報を利用したサービスと比較して店舗を簡単かつ直感的に探索できることを確認する．本稿では，地域に慣れていないユーザを対象に評価を行う前段階として，提案システ
ムのユーザビリティを評価するために，地元の大学生を対象にユーザ実験を実施する．

2：https://www.python.org
3：https://falconframework.org

①②

図 3 実験の実施地点
図 4 ユーザインタフェース

図 5 実験の風景

5. 2 実験の概要
実験は大阪府高槻市にある高槻本通りにおいて，昼間にユーうよう指示を出した．実験終了後には，参加者に「求めていた

ザが飲食店を探している状況を想定して行った．実験参加者は情報の見つけやすさ（簡便性）」，「情報探索の直感性（直感性）」

情報系の学部に通う大学生 10 名である．

について，食べログと提案システムとの間で 5 段階評価のアン

実験参加者にはタスク（A）として，「小だるま JR 高槻駅前
店」，
「肉丼専門店 高槻肉劇場」，「磯丸水産 高槻店」の 3 店舗にケートへの回答を求めた．

5. 4 実験の結果ついて，使用できるクレジットカードの種類を “Visa”，“Mas-tercard”，“JCB”，“American Express”，“Diners Club” の 5
つのチェックボックスから全て選択すること，タスク（B）として，「おだいどこはなれ 高槻店」，「高槻ちゃぶちゃぶ」，「赤から
高槻店」の 3 店舗について，月曜日の営業開始時刻を数値で入1 で示し力すること，の 2 点を課した．タスク（A）は図 3 中⃝
2 で示した位置にた位置に立った状態，タスク（B）は図 3 中⃝立った状態で行った．実験に用いた携帯端末はクアンタ・コン
ピュータ社 4 の VA-10J（Android 5.0.2）である．提案システ
ムとの比較対象とする位置情報を用いたサービスは，ランキン
グやユーザの口コミ・写真をもとにレストランの検索が行えるサービスである食べログ 5 を用いた．

実験参加者がシステムに操作を初めてから指示された情報を全て収集し，送信ボタンをタップするまでの時間を計測し，タスク（A）とタスク（B）に関して提案システムを用いた場合と食べログを用いた場合とにおいて，探索時間の平均値を比較した．その結果を図 6 に示す．タスク（A）において，提案手法を用いた場合の探索時間は食べログを用いた場合よりも有意に短い（t(8) = 2.343, p < .05）ことが確認された．タスク（B）
においても，提案手法を用いた場合の探索時間は食べログを用いた場合よりも有意に短い（t(8) = 4.370, p < .05）ことが確認された．
各タスクにおいて，ユーザが正確に情報を収集できたかを測定するために，対象とした 3 店舗のうち，正確に情報を取得で5. 3 実験の手順

きた店舗数の割合を正解率として測定し，提案システムを用い初めに，提案システムと食べログの使い方を実験参加者に説た場合と食べログを用いた場合とにおいて，正解率の平均値を明する．次に，実験参加者に回答用フォームの URL を伝え，比較した．その結果を図 7 に示す．タスク（A）において，提参加者は自身のスマートフォンでフォームを開く．実験に用い案手法を用いた場合と食べログを用いた場合とで，正解率に有るシステムを起動した状態で参加者に実験用のスマートフォン

意差は見られなかった（t(8) = 1.000, n.s.）．タスク（B）におを渡す．実験参加者はシステムを用いて求められている情報をいても，提案手法を用いた場合と食べログを用いた場合とで，探索し，フォームに入力して送信する．実験参加者がシステム

正解率に有意差は見られなかった（t(8) = 1.633, n.s.）．

の操作を始めてから送信ボタンをタップするまでの時間を計測する．実験の風景を図 5 に示す．

情報探索の簡便性と直感性について 5 段階のリッカート尺度
を用い，「1」を「食べログ」，「5」を「提案システム」として 5

実験参加者をグループ（1）とグループ（2）に 2 分割し，グ段階で回答してもらった．そのアンケート結果の分布を図 8 にループ（1）にはタスク（A）を提案システム，タスク（B）を示す．簡便性に関する平均値は 4.4，直感性に関する平均値は食べログを用いて行うよう指示を出し，グループ（2）にはタ

4.5 であった．

スク（A）を食べログ，タスク（B）を提案システムを用いて行

4：http://www.quantatw.com
5：https://tabelog.com

ば位置情報のみを用いても正確に情報を探索することが可能で200
探索時間（秒）あり，提案システムを用いた場合においても正確な情報探索が150可能であるといえる．また，アンケート結果から，提案システ
ムを用いることによって，位置情報のみを用いた場合と比較し100てより簡単かつ直感的に情報が探索できるようになることが示
50

唆された．

6. 2 提案システムで達成されたこと

0
タスク（A）

タスク（B）

提案システム提案システムを用いることによって，本研究の目的である，

⾷べログ

ユーザの目の前にある店舗の情報を直感的かつ簡単に取得できることが達成されたと考えられる．これにより，1 章で述べた，

図6 探索時間

慣れていない地域においても，ユーザが求める条件に合致する店舗を探索できるようになることが示唆された．

100%

6. 3 課

80%

題

本研究の課題として，（1）OSM のノードと看板画像を手作

60%

業で関連付けなければならない点，（2）インターネット上の情40%報から多種多様な店舗の看板画像を大量に集めることは困難で20%あるため，手作業で看板画像を 1 店舗につき 100 枚程度集め

0%

なければならない点，が挙げられる．
（1）に対しては，看板画
タスク（A）

像を提示してユーザに店舗名を回答するシステムを実装するこ

タスク（B）

提案システムとで解決でき，（2）に対してはユーザに店舗の看板画像を提示

⾷べログ

し，それと同じ写真を撮影して投稿するシステムを実装することで解決できると考えられる．これらのシステムにゲーミフィ

図7 正 解 率

ケーションを利用し，ユーザの行動に対して報酬を与えること
7によって，多数のデータを効率よく収集できると考えられる．

⼈数（⼈）

6

6. 4 今後の展望

54

今後の展望として，看板認識をサーバ上で行うのではなく，

3

Tiny–YOLO 等を用いて携帯端末上で行うことを検討する．こ2

れにより，サーバへ画像を送信する必要がなくなるため，通信

1

量の大幅な軽減が期待される．また，OSM のデータは誰もが編0集可能であるため，6. 3 節で述べたように，その地域に慣れて
1

2

3

簡便性

直感性

4

5

図 8 アンケート（1: 食べログ〜 5: 提案システム）

いる地元のユーザが自身でデータを収集し，OSM を通して活用できるようになる枠組みの構築を目指す．OSM のノードには “cuisine” タグが存在し，“burger”，“noodle”，“japanese”，“chinese” など，飲食店で提供される食品の種類を表す値を追加できる．他にもベジタリアン向けのメニューが提供されてい6 議論

6. 1 実験結果に関してることを表す “diet:vegetarian” や，イスラム教の戒律で許されている食品のみを使用したメニューが提供されていることを表す “diet:halal” などのタグも存在する．さらに，店舗名の英実験結果から，情報探索時間に関しては，本稿で扱ったいず語またはローマ字表記を表す “name:en” タグや中国語表記のれの場合においても，提案システムを用いた場合は食べログを“name:zh” タグ，韓国語表記の “name:ko” タグなどを充実さ用いた場合よりも探索時間が有意に短くなることが明らかとせることによって，ユーザインタフェースを多言語に対応させなった．このことから，提案システムを用いることによって，ることが可能となる．これらのデータを活用することにより，

位置情報のみを用いた場合と比較してユーザはより素早く求め

その地域に慣れていない人や，地元の文字が読めない外国人観ている情報を取得することが可能になるといえる．情報探索の光客に対して，求めている情報を容易に取得でき，アレルギー

正確さに関しては，本稿で扱ったいずれの場合においても，提や宗教的制約などの理由による食事制限にも対応可能なナビ

案システムを用いた場合と食べログを用いた場合とでは正解率

ゲーションを実現できる．

に有意差は見られなかった．このことから，言語障壁がなけれ本稿における実験参加者は地元の大学生であるため，地域に慣れていないユーザや非漢字圏など地元の文字が読めないユーザを対象としたユーザ実験を実施する．

7 おわりに[13]

本研究では，繁華街や商店街など，店舗が多数存在している地域において，その地域に慣れていないユーザが目的の店舗を[14]

直感的かつ容易に探し出すことを支援するシステムを提案した．
さらに，そのプロトタイプを実装し，GPS による位置情報を[15]用いたサービスとの比較実験を行った．実験の結果，提案シス
テムを用いることによって，位置情報のみを用いた検索よりも直感的かつ簡単に求めている情報の探索が可能になることを示[16]した．今後は，看板認識を携帯端末上で行うことや，ユーザが自身でデータを収集する枠組みの構築を行うとともに，外国人観光客などを対象として文字が読めない状況における提案シス
テムの有用性を検証する．

文

献[1] Martı́n Abadi, Paul Barham, Jianmin Chen, Zhifeng Chen,
Andy Davis, Jeﬀrey Dean, Matthieu Devin, Sanjay Ghemawat, Geoﬀrey Irving, Michael Isard, et al. Tensorflow: asystem for large-scale machine learning. In OSDI, Vol. 16,
pp. 265–283, 2016.
[2] 藤田一秀, 山本真也, 篠木良, 松下光範. 情報密集地域における情報識別性の向上を目指した提示手法の検討. 情報処理学会研究報
告, Vol. 2013-HCI-154, No. 3, 2013.
[3] M. Haklay and P. Weber. Openstreetmap: User-generated
street maps. IEEE Pervasive Computing, Vol. 7, No. 4, pp.
12–18, 2008.
[4] H. Hata, H. Koike, and Y. Sato. Visual guidance with unnoticed blur eﬀect. In Proceedings of the International Working Conference on Advanced Visual Interfaces, AVI ’16, pp.
28–35, New York, NY, USA, 2016. ACM.
[5] 林田尚子, 石田亨. 街中における機械翻訳を介したコミュニケー
ションの支援. 情報科学技術フォーラム一般講演論文集, Vol. 4,
No. 3, pp. 429–430, 2005.
[6] P. He, W. Huang, Y. Qiao, C. C. Loy, and X. Tang. Reading
scene text in deep convolutional sequences. In Proceedingsof the Thirtieth AAAI Conference on Artificial Intelligence,
AAAI’16, pp. 3501–3508. AAAI Press, 2016.
[7] S. Kasprzak, A. Komninos, and P. Barrie. Feature-basedindoor navigation using augmented reality. In 2013 9thInternational Conference on Intelligent Environments, pp.
100–107, 2013.
[8] I. Kavati, G. Kiran Kumar, S. Kesagani, and K. Srinivasa
Rao. Signboard text translator: A guide to tourist. International Journal of Electrical and Computer Engineering,Vol. 7, No. 5, pp. 2496–2501, 2017.
[9] S. Kitamura, K. Kita, and M. Matsushita. Real-time recognition of signboards with mobile device using deep learningfor information identification support system. In Symposium on Spatial User Interaction, SUI’18, New York, NY,
USA, 2018. ACM.
[10] S. Kitamura and M. Matsushita. Information identification
support method for areas with densely located signboards.
In Adjunct Publication of the 30th Annual ACM Symposium on User Interface Software and Technology, UIST’17,
pp. 159–160, New York, NY, USA, 2017. ACM.
[11] C. Lee and S. Shen. Feature point based text detection
in signboard images. In 2016 International Conference on
Applied System Innovation (ICASI), pp. 1–4, 2016.
[12] S. Mori, S. Ikeda, and H. Saito. A survey of diminishedreality: Techniques for visually concealing, eliminating, and[17]

seeing through real objects. IPSJ Transactions on Computer Vision and Applications, Vol. 9, No. 1, p. 17, Jun
2017.
日 本 政 府 観 光 局. 年 別 訪 日 外 客 数 ，出 国 日 本 人 数 の 推 移.
https://www.jnto.go.jp/jpn/statistics/marketingdata
outbound.pdf.
J. Redmon and A. Farhadi. Yolo9000: Better, faster,stronger. Computer Vision and Pattern Recognition. arXiv
preprint, 2016.
U. Rehman and S. Cao. Augmented-reality-based indoor
navigation: A comparative analysis of handheld devices versus google glass. IEEE Transactions on Human-Machine
Systems, Vol. 47, No. 1, pp. 140–151, 2017.
K. Simonyan and A. Zisserman. Very deep convolutional
networks for large-scale image recognition. Computer Vision and Pattern Recognition. arXiv e-prints, 2015.
S. Thorpe, D. Fize, and C. Marlot. Speed of processing in
the human visual system. nature, Vol. 381, No. 6582, pp.
520–522, 1996.