DEIM Forum 2023 5c-6-4

ストリートビューの操作履歴に基づく
ユーザ意図を反映した地物の動的提示方式
笠松小太郎†

北山大輔††

角谷和俊†† 関西学院大学総合政策学部メディア情報学科 〒 669-1330 兵庫県三田市学園上ケ原 1 番†† 工学院大学情報学部システム数理学科 〒 163-8677 東京都新宿区西新宿 1-24-2
E-mail: †{dld62181,sumiya}@kwansei.ac.jp, ††kitayama@cc.kogakuin.ac.jp
あらまし 近年，映像制作やゲームに用いられるなど，ストリートビューの使用用途が拡大している．しかしストリー
トビューには，ユーザが細かく煩雑な操作を行わなければならず，同様の地物を探すことが困難であるという問題点がある．そこで本研究では，ユーザ操作を反映した候補地物のストリートビューを自動提示することで，複雑なストリートビュー操作を単純化しつつ，ストリートビューでの探索の効率化を図る．まず，ユーザのストリートビュー操作から意図を抽出する．次に，その意図をユーザのニーズに応じた別の地物のストリートビューに適用する．これにより，ユーザは煩雑な操作をすることなく，思い通りに動くストリートビューを見ることができる．
キーワード ストリートビュー，意図抽出，地物推薦，ユーザ操作示す．次に 3 章でストリートビューでのユーザの操作による意

1 はじめに
現在，ストリートビューは目的地や経路の確認に加え，映像作成や Geoguessr 1 などのゲームに用いられるなど，利用用途が拡大している．また，Street View Studio 2 が公開されたことで，360 度カメラで撮影した位置情報付きの動画をより簡単にGoogle Street View に投稿できるようになり，今後ストリートビューの利用できる範囲も拡大していくと予想される．

図抽出の方法を示し，4 章でその意図を候補地物に適用する方法について述べる．そして 5 章で評価実験とその考察を示し，最後に 6 章でまとめと今後の課題について述べる．

2 関連研究2. 1 ストリートビューの画像を用いた研究
現在，ストリートビューを用いた多くの研究が行われている．

さらに，Google Street View と並ぶ機能である Live View がLiu ら [1] は，Google Street View 内の画像を，機械学習を用拡張され，Google Immersive View の日本国内での実装が，今いて天候や季節，太陽の位置などを変更し，新しい画像に再構後予定されている．これに伴い，Google Street View を利用す築する手法を提案している．Rematas ら [2] は，Google Streetる人も今後増加していくと考えられる．しかし，このストリー

View などの情報を基に，複数の視点の画像を合成して，新たトビューの現状として，ユーザが行う操作が細かく煩雑であり，な視点の 3D 画像を自動作成する手法を提案している．

またストリートビューの特性を活用した地物推薦に，可能性が浅田ら [3] は，Google Street View Static Image API で pitch見受けられる．例えば，ファミリーレストランなどで食事すると heading を指定し，ストリートビュー上の画像から自然物や場所を探しているときや，旅行先でどの寺に行こうか決めると人工物の割合などを求め，景観を分析している．安西ら [4] は，きなど，ストリートビューのユーザが，同じ地域で同じような同じく Google Street View Static Image API を用いて奈良県地物を探したい場面がある．このようなときには，ユーザが同奈良市内にある「通り」の画像を抽出し，各通りの印象評価をじカテゴリの複数の地物で同じ操作を，繰り返し手動で行うこ行ってより雰囲気を体験できる経路の推薦を行っている．とになる．ここで操作をパターン化し，同じ操作で別の地物が提示されると，ユーザにとっては便利になると考えられる．

倉田ら [5] は，Google Street View を用いた道案内システム「全世界ガイドさん」を，Google Street View API と JavaScript

そのため本研究では，ユーザの操作意図を，同じカテゴリのを用いて開発している．新井ら [6] は，車椅子から全天球のパ候補地物のストリートビューに反映して提示する．まず，ユーノラマ画像を撮影し，車椅子利用者が通行しやすい経路を把握ザのストリートビュー操作を段階的に分け，ユーザの意図抽出するシステムを構築している．

を行う．次に，取得できた意図を別の地点に反映することで，このようなストリートビューの画像や画面を用いた研究が特ユーザが直接操作することなく，求めている操作を自動で行うに多く行われているが，本研究では Google Maps JavaScript

ストリートビューを提示する．

API の Street View Service 3 を用いて，ストリートビューでの

本稿では，まず 2 章でストリートビューを用いた関連研究を
1：https://www.geoguessr.com/
2：https://streetviewstudio.maps.google.com/

ユーザの操作から意図抽出を行うことに焦点を当てる．
3：https://developers.google.com/maps/documentation/javascript/streetview

図2

ユーザ操作からの意図抽出

タン，右側に候補地物を提示する画面がある．まず画面中央に提示されたストリートビューを，ユーザが左にあるボタンで操作する．ボタンでの各操作は図 3 の左で示すように，GoogleMaps JavaScript API での操作に対応している．丸いボタンで
図 1 UI イメージ

ストリートビューでの移動と同様に 1 ジオラマ分だけ道を進み，緯度経度（location）を変更する．三角のボタンで角度を操作

2. 2 ストリートビューでの意図抽出に関する研究

し，上下のボタンでは上下角（heading）を，左右のボタンでストリートビューでのユーザの意図抽出に関する研究は，以は方位角（pitch）を 30 °ずつ変更する．また虫眼鏡のイラス下のようなものがある．里形ら [7] は，ストリートビューでのトのボタンでズーム度（zoomlevel）を 1 段階変更し，+のボタ

ユーザ操作によって抽出した興味の度合いに基づいて，ストンでは拡大，–のボタンでは縮小を行う．これらの操作を用いリートビュー内に用いられているパノラマ画像の間隔を再配置て，ユーザの意図を抽出し終えたタイミングで，その意図を反する手法を提案している．

映した候補地物のストリートビューを 3 つ提示する．候補地物

小松ら [8] は，ユーザが指定した地物オブジェクト周辺のスを検索する地点はユーザが任意に指定し，その地点から近い順トリートビューを自動で提示する手法を提案している．提示すに表示する．指定しない場合は操作画面の位置から候補地物をるストリートビューには，地物オブジェクトの役割を考慮し，検索する．

「地点を見る」「ズームする」「方向を見る」「移動する」の 4 つ

本研究では，図 2 のように，操作・チャンク・意図の 3 段階の操作とそれぞれを組み合わせた演出効果を付与している．本に分けてユーザの意図を抽出する．まずユーザ操作の列をチャ

研究では，ズームと移動を含むユーザの操作を，ユーザへの提ンクと定義し，次にチャンクの列からユーザの意図を抽出する．

示方法ではなく意図抽出に利用する．
平元ら [9] は，マップでのユーザ操作の列を操作チャンクと定義し，ユーザの意図に合った Web ページの検索クエリを生成している．また小林ら [10] は，ストリートビューの操作とマップの切り替え操作の列をそれぞれ操作チャンクと定義し，ユーザの意図に合ったストリートビューを作成している．本研究では操作チャンクを用いて段階的にユーザの意図を抽出する点で，小林らの研究を大いに参考にしている．しかし，小林らは地点比較など大きな枠組みでストリートビューを作成しているのに対し，本研究はユーザの入力したストリートビューの操作列を用いることで，より細かくユーザの意図を反映している．

3. 2 操作の定義
本研究では，図 3 のように，操作・チャンク・意図をそれぞれ定義している．まず操作では，ストリートビューで行うことができる操作のうち，ユーザの位置を変える操作，ユーザの視点を変える操作，画面の拡大・縮小を行う操作を用いる．特に本稿では，図 1 の左にあるボタンで行った操作を，それぞれ「進む（m）」，「左を向く（l）」，「右を向く（r ）」，「上を向く（u）」，「下を向く（d）」，「拡大（i）」，「縮小（o）」の 7 種類に分類する．

3. 3 チャンクの定義
次に，操作の列をチャンクと定義する．本稿では，それぞれの操作の列から「移動（M ）」，「左右を見る（P ）」，「上下を見3 操作からの意図抽出る（T ）」，「ズーム（Z ）」の 4 種類のチャンクを定義する．
「移動

3. 1 UI イメージと各操作（M ）」は m+ ，
「左右を見る（P ）」は ([rl][ud]∗ )+ ，
「上下を見る本研究では Google Street View を利用する．まず，ユーザの操作から意図抽出を行う．その後，抽出した意図に応じた操作を行う，候補地物のストリートビューを提示する．
「候補地物」とは，ユーザが次に訪れる候補となる地物のことを指す．

UI イメージは図 1 を想定しており，画面中央にユーザがストリートビュー操作を行う画面，左側にその画面を操作するボ（T ）」は [ud]+ ，「ズーム（Z ）」は [io]+ といった操作列からそれぞれのチャンクを定義する．操作列内の「∗（アスタリスク）」はその操作が 0 回以上繰り返されること（閉包），「+（プラス）」はその操作が 1 回以上繰り返されること（正閉包），「[]（角括弧）」はその中の操作のいずれかが行われることを示す．例えば「上下を見る（T ）」を表す [ud]+ は，「上を見る（u）」と「下を見る（d）」のいずれかの操作が 1 回以上行われることを示す．

図3

操作・チャンク・意図の定義

3. 4 意図の定義

補地物の閾値は，ユーザが指定した地点から半径 r 以内とし，次に，チャンクの列を意図と定義する．本稿では，それぞそれ以上離れている地物の提示は行わない．本稿では，r=1kmれのチャンクの列から「詳細」，「外観」，「周辺」，「回視」のとする．候補地物のストリートビューの開始位置は，候補地物4 種類の意図を抽出する．
「詳細」は (Z[P T ]∗ )+ ，「外観」はを正面に捉えることができる，最も近い位置とする．

[M P ]([M P ]T ∗ )+ ，「周辺」は (M [P T ]∗ )+ ，「回視」は P (P T ∗ )+といったチャンクの列からそれぞれの意図を定義する．

意図を候補地物に適用する際，ユーザが入力する画面と候補地物として提示する画面の地形の違いなどによって，ユーザの操作をそのまま適用できない場合があると考えられる．そのた4 候補地物への意図の反映

め，地物によってはユーザの行った操作から調整を行う必要がある．以下に調整の例を示す．

4. 1 注目地物の判定

まず，システム側が行き止まりになっても操作を行い続けよ

まず，ユーザの注目地物を判定する．
「注目地物」とは，ストうとすることを避けるため，定義した操作が候補地物のストリートビュー上でユーザが意図を持って見ていた地物のことをリートビューでこれ以上行えない場合は，限界以上の操作を行指す．注目地物は意図抽出に用いた操作列の各操作後に，ユーわないことを前提とする．

ザが最も多く向いていた方向にあった地物を用いる．ユーザとそのうえで，例えば「外観」の意図であれば，進む距離や交差注目地物との距離の閾値は k とし，本稿では k=50m とする．

点で曲がる角度が異なる場合があると考えられるため，GoogleMaps を用いて操作列を変更する．進む距離が異なる場合には，地物の両端にかけて移動できるよう，ユーザが行った操作列に対して均等に，「進む（m）」の操作の追加や削除を行う．また，曲がる角度が異なる場合には，「左を向く（l）」，「右を向く（r ）」の操作の数や角度を，曲がった先の道と平行になるように調整する．
図4

ストリートビューの入力と出力例

4. 3 候補地物の提示
その次に，候補地物を提示するまでの流れを示す．端的に説ユーザが見た方向が複数の地物の間にある場合や，ユーザが明すると，図 5 の左側のようにストリートビューで意図に合致複数の店舗が入ったビルなどの建物に注目する場合などがある．

する操作を行った後，その意図に応じた操作をするストリート

この場合には，それまでに抽出した意図を用いて注目地物を確ビューが右側のように提示される．候補地物は，次に意図を検定する．具体的には，注目地物となる候補のカテゴリの，ユー出して別の候補地物の提示が始まるまで，継続して提示される．

ザのそれまでの注目地物を用いて，それぞれのカテゴリの直近一連の流れを例を用いて説明する．例えば図 6 のように，ユー3 地物の意図で判定する．例えば，図 4 のように，居酒屋と鉄ザが操作画面で i → o → o → u → u → u → d という操作

道の 2 つの地物が検出された場合には，居酒屋と鉄道のそれまを行った場合，まず i → o → o が「ズーム（Z ）」のチャンクでの注目地物に対する意図に着目する．ここでは，地物が「周[io]+ に当てはまる．次に，u → u → u → d が「上下を見る辺」の操作をしているので，「周辺」の意図が多く含まれる居酒（T ）」のチャンク [ud]+ に当てはまる．そうすると，このチャ屋に確定する．

ンクの列が「詳細」の意図 (Z[P T ]∗ )+ に当てはまる．また，こ4. 2 操作の適用の操作列の各操作後に最も多く向いていたのがスシロー三田対

次に，抽出した操作を候補地物のストリートビューに適用する．候補地物は，ユーザが左画面で現在注目している地物と同じカテゴリとし，カテゴリは Google Maps のものを用いる．候中店であったとする．
その次に，意図抽出を終えたタイミングで候補地物を提示する．ここでは d の操作が「詳細」の意図に用いる最後の操作で

図5

図6

ストリートビューの入力と出力例操作から意図を抽出する流れあるため，この操作の後に，スシロー三田対中店と同じカテゴ

図7

回答フォームのイメージリである「回転寿司店」のカテゴリの地物が，候補地物としてスシロー三田対中店から近い順に上から 3 つ提示される．
最後に，候補地物の 1 つであるくら寿司三田店にカーソルを合わせると，その部分の候補地物のストリートビューが，抽出した「詳細」の意図に応じた操作を自動で行う．この候補地物は，次に別の地物に対しての意図抽出が終わるまで提示され続ける．

5 評価実験
5. 1 提示するストリートビューの有効性の評価
ユーザの意図と同じ意図の操作をするストリートビューの提示が有効であるか，評価実験を行う．被験者は，事前に著者がGoogle Street View を操作した様子をスクリーンレコーダーで録画した映像を見て，回答を行う．X は「スシロー三田対中店」の正面の道路，A〜D は「くら寿司三田店」の正面の道路で録画したストリートビューの映像を用いる．それぞれ「詳と関係ない操作をするストリートビューとなっている．被験者は各問題の後に，どのような基準で A〜D を選択したか記述する．この一連の流れを，ストリートビュー X の動作を変えて計4 問回答する．フォームは X と A〜D の順番をそれぞれ変更した 4 種類を用意し，そのうちいずれか 1 つを被験者が任意で選択するという形式を取る．

5. 2 結果と考察
18 名の被験者（学生 16 名 + 教職員 2 名）に，Google Formsを用いてこの実験を実施した．その結果を表 1 に示す．横軸がX の意図，縦軸が A〜D の意図を示している．先に提示したものと同じ意図のストリートビューを選択した割合が，詳細が55.6 ％，周辺が 38.9 ％，外観が 61.1 ％，回視が 66.7 ％となった．選択した基準は主に 2 パターンあり，先に提示したものと同様の操作が参考になるという意見と，周囲にどのような地物があるのか見やすいものが良いという意見が多くあった．

細」「周辺」「外観」「回視」の 4 つの意図に応じた動作を行う
もの，計 8 つを用意する．今回は「詳細」を i → i → i，
「周表1

評価実験の結果辺」を r → l → l → r ，「外観」を m → l → m → l，「回視」をr → r → r → r の操作に固定する．
被験者が回答するフォームは，図 7 のようになっており，まず被験者はストリートビュー X を観る．この X を，被験者自身がユーザとして動かしたものと仮定したときに，次のページの A〜D の 4 つのストリートビューのうち，どれが提示されるのが最も参考になると感じたか選択する．A〜D の 4 つのうち，1 つは X と同様の動作をするストリートビュー，それ以外は Xこの結果から，いずれの意図についても，先に提示したものと同一の意図が最も選択されており，ユーザの意図と同じ意図の操作をするストリートビューの提示は有効であるといえる．
また各意図のうち，「回視」の意図の割合が特に高くなっている．
これはこの映像が地物や周囲の様子がよく分かる操作をしているために，選択した基準の 2 パターンのどちらにも当てはまり，選択されやすかったからだと考えられる．

6 おわりに
本研究では，ストリートビューでのユーザの操作から意図抽出を行い，同じカテゴリの近傍地物に，抽出した意図に応じた操作を適用した．まずユーザの操作の列をチャンクと定義し，チャンクの列を意図と定義することで，ユーザのストリートビュー操作を抽象化した．次に，その意図に応じた操作を候補地物のストリートビューに適用することで，ユーザが地物の探索を容易に行うことができるようにした．
今後の課題として，候補地物のカテゴリや抽出した意図の種類ごとに，異なる操作を付与することや，プロトコル解析を用いて被験者が実際にストリートビューを操作する様子を記録し，本稿で定義した操作・チャンク・意図の再定義を行うことを考えている．また，操作画面と候補地物の地点をどのように選択するかを，UI を含めて検討を行いたいと考えている．

文献[1] Andrew Liu, Shiry Ginosar, Tinghui Zhou, Alexei A. Efros,and Noah Snavely. Learning to factorize and relight a city.
ECCV 2020, Vol. abs/2008.02796, pp. 544–561, 2020.
[2] Konstantinos Rematas, Andrew Liu, Pratul P. Srinivasan,Jonathan T. Barron, Andrea Tagliasacchi, Thomas A.
Funkhouser, and Vittorio Ferrari. Urban radiance ﬁelds.
CVPR 2022, Vol. abs/2111.14643, pp. 12932–12942, 2021.
[3] 浅田拓海, 亀山修一. Google ストリートビューのパノラマ画像を用いた広域・網羅的な地域景観分析. 土木学会論文集 D3（土木計画学）, Vol. 72, No. 5, pp. I383–I392, 2016.
[4] 安西崇, 村山太一, 矢田竣太郎, 若宮翔子, 荒牧英治. ならまち
ハッピーマップ：クラウドソーシングと深層学習による街の雰
囲気に基づく経路探索手法の提案. DEIM Forum 2021 J31-5,2021.
[5] 倉田陽平, 相尚寿, 真田風, 池田拓生. Google street view を用
いた道案内・街案内ツールの開発. 観光情報学会第 9 回研究発表会, pp. 32–35, 2014.
[6] 新井研一, 中島良太, 小林透治. ソーシャルバリアフリーストリー
トビューシステム. 情報処理学会論文誌, Vol. 60, No. 3, pp.
821–829, 2019.
[7] 里形理興, 滝口啓介, 福地庸介, 今井倫太. ユーザの閲覧行動に基づきパノラマ画像データを選択する適応型ストリートビューの開発. 人工知能学会全国大会論文集, Vol. JSAI2019, p. 1O2J1202,2019.
[8] 小松果鈴, 北山大輔, 角谷和俊. ストリートビューを用いた地物オブジェクトの周辺情報提示. 情報処理学会関西支部 支部大会
2021 G-44, 2021.
[9] 平元綾子, 角谷和俊. オンライン地図におけるユーザ操作を用いた web 検索方式. 電子情報通信学会論文誌. D, 情報・システ
ム = The IEICE transactions on information and systems,
Vol. 90, No. 2, pp. 257–268, 02 2007.
[10] 小林加織里, 北山大輔, 角谷和俊. オンライン地図におけるユーザ操作に基づくストリートビュー自動生成システム. DEIM
Forum 2010 D7-2, 2010.