(57)【要約】【課題】携帯端末が保持されている方向に応じて携帯端末用地図を容易に表示できる技術を提供する。【解決手段】携帯端末用地図表示システムは、ディスプレイとカメラとを備えた携帯端末の現在地を取得する現在地取得部と、前記現在地にて前記カメラが撮像可能な基準地物を取得する基準地物取得部と、前記カメラが撮像した撮像画像にて前記基準地物の像を認識し、前記撮像画像内における前記基準地物の像の位置に基づいて、前記携帯端末がユーザによって保持されている保持方向を取得する保持方向取得部と、前記保持方向に基づいて、前記ディスプレイ上に地図を表示する地図表示部と、を備える。【選択図】図２
2019211556.tif 000002
【特許請求の範囲】
【請求項１】
ディスプレイとカメラとを備えた携帯端末の現在地を取得する現在地取得部と、
前記現在地にて前記カメラが撮像可能な基準地物を取得する基準地物取得部と、
前記カメラが撮像した撮像画像にて前記基準地物の像を認識し、前記撮像画像内における前記基準地物の像の位置に基づいて、前記携帯端末がユーザによって保持されている保持方向を取得する保持方向取得部と、
前記保持方向に基づいて、前記ディスプレイ上に地図を表示する地図表示部と、
を備える携帯端末用地図表示システム。
【請求項２】
前記保持方向は、前記ディスプレイの上側方向のベクトルの水平面内の成分であり、
前記地図表示部は、前記保持方向が、前記ディスプレイの上側方向を向くように前記地図を表示させる、
請求項１に記載の携帯端末用地図表示システム。
【請求項３】
前記地図表示部は、前記保持方向を指し示す方向マーカを前記地図上に表示する、
請求項１に記載の携帯端末用地図表示システム。
【請求項４】
前記保持方向取得部は、前記カメラの中央光軸方向を水平方向に近づけるように前記携帯端末を保持することをユーザに促すＵＩ画像を前記ディスプレイに表示する、
請求項１から請求項３のいずれか一項に記載の携帯端末用地図表示システム。
【請求項５】
前記保持方向取得部は、前記カメラの中央光軸方向を水平面内おいて回転させるように前記携帯端末を保持することをユーザに促す前記ＵＩ画像を前記ディスプレイに表示する、
請求項４に記載の携帯端末用地図表示システム。
【請求項６】
前記ＵＩ画像には、前記基準地物を表す情報が示される、
請求項４または請求項５のいずれかに記載の携帯端末用地図表示システム。
【請求項７】
コンピュータを、
ディスプレイとカメラとを備えた携帯端末の現在地を取得する現在地取得部、
前記現在地にて前記カメラが撮像可能な基準地物を取得する基準地物取得部、
前記カメラが撮像した撮像画像にて前記基準地物の像を認識し、前記撮像画像内における前記基準地物の像の位置に基づいて、前記携帯端末がユーザによって保持されている保持方向を取得する保持方向取得部、
前記保持方向に基づいて、前記ディスプレイ上に地図を表示する地図表示部、
として機能させる携帯端末用地図表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末用地図表示システムおよび携帯端末用地図表示プログラムに関する。
【背景技術】
【０００２】
移動端末装置において、ユーザが容易に認識可能な建物等の標識物が存在する方向を示すシンボルを現在地周辺の地図とともに表示する技術が知られている（特許文献１、参照。）。ユーザは、シンボルの方向が実空間における標識物の方向に合致するように移動端末装置の方向を調整することにより、実空間に合致する方向で現在地周辺の地図を見ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−１０８２０４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、ユーザが実空間において標識物の方向を認識し、標識物の方向に合致する方向となるように、移動端末装置の方向を調整しなければならず、煩雑であるという問題があった。
本発明は、前記課題にかんがみてなされたもので、携帯端末が保持されている方向に応じて携帯端末用地図を容易に表示できる技術を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前記の目的を達成するため、本発明の携帯端末用地図表示システムは、ディスプレイとカメラとを備えた携帯端末の現在地を取得する現在地取得部と、現在地にてカメラが撮像可能な基準地物を取得する基準地物取得部と、カメラが撮像した撮像画像にて基準地物の像を認識し、撮像画像内における基準地物の像の位置に基づいて、携帯端末がユーザによって保持されている保持方向を取得する保持方向取得部と、保持方向に基づいて、ディスプレイ上に地図を表示する地図表示部と、を備える。
【０００６】
前記の目的を達成するため、本発明の携帯端末用地図表示プログラムは、コンピュータを、ディスプレイとカメラとを備えた携帯端末の現在地を取得する現在地取得部、現在地にてカメラが撮像可能な基準地物を取得する基準地物取得部、カメラが撮像した撮像画像にて基準地物の像を認識し、撮像画像内における基準地物の像の位置に基づいて、携帯端末がユーザによって保持されている保持方向を取得する保持方向取得部、保持方向に基づいて、ディスプレイ上に地図を表示する地図表示部、として機能させる。
【０００７】
以上説明した本発明の構成において、携帯端末が保持されている保持方向に基づいて地図を表示することができる。その際に、ユーザが基準地物を認識して地図の方向を調整しなくても済むため、保持方向を考慮した地図を容易に表示できる。
【図面の簡単な説明】
【０００８】
【図１】携帯端末用地図表示システムのブロック図である。
【図２】図２Ａは携帯端末用地図表示システムの側面図、図２Ｂは携帯端末用地図表示システムが移動する様子を説明する図である。
【図３】図３Ａ，図３Ｂ，図３Ｄ，図３Ｅ，図３Ｆはタッチパネルディスプレイに表示される画像を示す図、図３Ｃは保持方向の説明図である。
【図４】携帯端末用地図表示処理のフローチャートである。
【発明を実施するための形態】
【０００９】
ここでは、下記の順序に従って本発明の実施の形態について説明する。
（１）携帯端末用地図表示システムの構成：
（２）携帯端末用地図表示処理：
（３）他の実施形態：
【００１０】
（１）携帯端末用地図表示システムの構成：
図１は、本発明の一実施形態にかかる携帯端末用地図表示システム１０のブロック図である。携帯端末用地図表示システム１０は、携帯端末であり、いわゆるスマートフォンである。携帯端末用地図表示システム１０は、制御部２０と記録媒体３０とＧＮＳＳ(Global Navigation Satellite System)受信部４０とカメラ４１とジャイロセンサ４２とタッチパネルディスプレイ４３と加速度センサ４４とを備えている。制御部２０は、ＣＰＵとＲＡＭとＲＯＭ等を備え、記録媒体３０やＲＯＭに記憶された携帯端末用地図表示プログラム２１を実行する。
【００１１】
記録媒体３０は、地図データ３０ａと基準地物情報３０ｂとを記録している。地図データ３０ａは、道路や交差点や施設等の各種地物の位置や形状を示すデータである。基準地物情報３０ｂは、目印となる地物である基準地物のそれぞれについて、位置とテンプレート画像とアイコンとを示すデータである。本実施形態において、基準地物は、店舗等の施設の看板である。基準地物情報３０ｂにおいて、テンプレート画像として、文字やシンボル図形を示す看板の画像が記録されている。アイコンとは、基準地物としての看板の表示を簡素化した画像である。
【００１２】
図２Ａは、携帯端末用地図表示システム１０の側面図である。携帯端末用地図表示システム１０は、矩形板状であり、タッチパネルディスプレイ４３（太線）とカメラ４１とがそれぞれ正面と背面に備えられている。カメラ４１の中央光軸の方向である光軸方向ＺCは、タッチパネルディスプレイ４３に対して垂直となる。多くの場合、タッチパネルディスプレイ４３を上から見下ろすように携帯端末用地図表示システム１０がユーザによって保持される。
【００１３】
この場合、カメラ４１の光軸方向ＺCは斜め前方下向きとなり、タッチパネルディスプレイ４３の上側方向ＺDは斜め前方上向きとなる。上側方向ＺDとは、矩形状のタッチパネルディスプレイ４３の上辺が存在する方向である。タッチパネルディスプレイ４３の上辺は、携帯端末用地図表示システム１０が保持される方向に応じて変化し得るとともに、厳密に水平である必要はない。例えば、タッチパネルディスプレイ４３が縦長に見えるように携帯端末用地図表示システム１０が保持された場合、タッチパネルディスプレイ４３の上辺は２個の短辺のうち上側の辺を意味する。一方、タッチパネルディスプレイ４３が横長になるように携帯端末用地図表示システム１０が保持された場合、タッチパネルディスプレイ４３の上辺は２個の長辺のうち上側の辺を意味する。
【００１４】
カメラ４１は、いわゆるアウトカメラであり、光軸方向ＺCを中心とした一定の画角で画像を撮像する。タッチパネルディスプレイ４３は、任意の画像を表示するディスプレイと、当該ディスプレイ上における指等の接触位置を検出するタッチセンサとを含む。ジャイロセンサ４２は、携帯端末用地図表示システム１０の角速度と、当該角速度を積分して得られる検出角θとを検出するセンサである。ＧＮＳＳ受信部４０は、ＧＮＳＳ衛星から受信した衛星信号を受信する回路であり、この衛星信号に基づいて携帯端末用地図表示システム１０の現在地が取得される。加速度センサ４４は、携帯端末用地図表示システム１０の加速度を検出するセンサである。
【００１５】
携帯端末用地図表示プログラム２１は、現在地取得モジュール２１ａと基準地物取得モジュール２１ｂと保持方向取得モジュール２１ｃとを含む。現在地取得モジュール２１ａと基準地物取得モジュール２１ｂと保持方向取得モジュール２１ｃとは、それぞれコンピュータとしての制御部２０を現在地取得部と基準地物取得部と保持方向取得部として機能させるプログラムモジュールである。
【００１６】
現在地取得モジュール２１ａの機能により制御部２０は、タッチパネルディスプレイ４３とカメラ４１とを備えた携帯端末（携帯端末用地図表示システム１０）の現在地を取得する。具体的に、制御部２０は、ＧＮＳＳ受信部４０が受信した衛星信号に基づいて携帯端末用地図表示システム１０の現在地を取得する。なお、現在地を特定する手法は特に限定されず、位置が既知の基地局との間の無線通信の電波状況に基づいて現在地が特定されてもよいし、地図データ３０ａを用いてマップマッチングを行うことにより現在地が特定されてもよい。
【００１７】
基準地物取得モジュール２１ｂの機能により制御部２０は、現在地にてカメラ４１が撮像可能な基準地物を取得する。具体的に、制御部２０は、基準地物情報３０ｂに記録されている基準地物のうち、現在地からの距離が予め決められた基準距離（例えば５０ｍ）以内の基準地物を取得する。ただし、基準距離は、固定の距離でなくてもよい。例えば、カメラ４１による撮像環境が良好なほど基準距離が長くなるように設定されてもよく、周囲が明るくなる天候や時間帯において基準距離が長くなるように設定されてもよい。
【００１８】
保持方向取得モジュール２１ｃの機能により制御部２０は、カメラ４１が撮像した撮像画像にて基準地物の像を認識し、撮像画像内における基準地物の像の位置に基づいて、携帯端末がユーザによって保持されている保持方向を取得する。保持方向取得モジュール２１ｃの機能により制御部２０は、カメラ４１が撮像した撮像画像を取得する。ここで、保持方向は、タッチパネルディスプレイ４３の上側方向ＺDのベクトルの水平面内の成分である。
【００１９】
図２Ａに示すように、タッチパネルディスプレイ４３の上側方向ＺDのベクトルの水平面内の成分を保持方向Ｚと定義する。この保持方向Ｚは、カメラ４１の光軸方向ＺCのベクトルの水平面内の成分と一致する。従って、制御部２０は、撮像画像を画像認識処理によってカメラ４１の光軸方向ＺCを特定することにより、保持方向Ｚを取得できる。
【００２０】
このような保持方向Ｚを取得可能な撮像画像が撮像されるように、保持方向取得モジュール２１ｃの機能により制御部２０は、カメラ４１の光軸方向ＺCを水平方向に近づけるように携帯端末を保持することをユーザに促すＵＩ画像をタッチパネルディスプレイ４３に表示する。
【００２１】
図３Ａは、タッチパネルディスプレイ４３に表示される画像を示す。図３Ａに示すように、地図Ｍを表示するための操作を受け付けた場合、制御部２０は、現在地周辺の地図Ｍをタッチパネルディスプレイ４３上に表示する。地図Ｍにおいて、現在地を示す現在地マーカＹが表示されてもよい。例えば、制御部２０は、タッチパネルディスプレイ４３の上側方向ＺDが北を指すように初期の地図Ｍを表示する。図３Ａに示すように、初期の地図Ｍを表示する際に、制御部２０は、ＵＩ画像Ｑ１をタッチパネルディスプレイ４３に表示させる。例えば、ＵＩ画像Ｑ１として『周囲を撮像して方向を特定します。カメラを起動して下さい。』というメッセージを表示してもよい。これにより、周囲を撮像するためにカメラ４１の光軸方向ＺCを水平方向に近づけるようにユーザを促すことができる。
【００２２】
さらに、保持方向取得モジュール２１ｃの機能により制御部２０は、カメラ４１の光軸方向ＺCを水平面内おいて回転させるように携帯端末を保持することをユーザに促すＵＩ画像をタッチパネルディスプレイ４３に表示する。図３Ｂは、カメラ４１の起動後において、タッチパネルディスプレイ４３に表示される画像を示す。図３Ｂに示すように、制御部２０は、カメラ４１の光軸方向ＺCを水平面内おいて回転させるように携帯端末を保持することをユーザに促すＵＩ画像Ｑ２をタッチパネルディスプレイ４３に表示させる。例えば、ＵＩ画像Ｑ２として『円を描くように端末を水平方向にゆっくり一周させて下さい。』というメッセージを表示してもよい。
【００２３】
図３Ｂに示すように、制御部２０は、タッチパネルディスプレイ４３において、ＵＩ画像Ｑ２とともにＵＩ画像Ｑ３を表示する。このＵＩ画像Ｑ３には、基準地物を表す情報が示される。具体的に、基準地物を表す情報として、基準地物のアイコンＴを表示する。図３Ａの例では、現在地から撮像可能な基準地物として、３個の施設Ｆ１〜Ｆ３のそれぞれに備えられた看板が取得されている。施設Ｆ１〜Ｆ３の看板には、"Ａ""Ｂ""Ｃ"の文字が大きく表示されていることとし、アイコンＴも"Ａ""Ｂ""Ｃ"の文字を表していることとする。ＵＩ画像Ｑ３を表示することにより、どのような地物を撮像できるように携帯端末を保持すればよいかを認識できる。図３Ｂの例では、"Ａ""Ｂ""Ｃ"の文字が表示された看板にカメラ４１が向くように携帯端末を保持すればよいことを認識できる。
【００２４】
なお、アイコンＴは、看板を識別可能な文字や図形を有していればよく、図３Ａ，図３Ｂの例のように１文字を示すものに限られない。なお、図３Ｂにてハッチングで示すように、制御部２０は、カメラ４１が撮像している撮像画像をタッチパネルディスプレイ４３に表示してもよい。図３Ｂの場合、ハッチングで示す領域Ｉに撮像画像が表示されている。
【００２５】
図２Ｂは、携帯端末用地図表示システム１０が水平面内おいて移動する様子を鉛直上方から見た図である。図２Ｂのように携帯端末用地図表示システム１０を水平面内において円を描くように移動させることにより、カメラ４１の光軸方向ＺCを様々な方向に変化させることができる。
【００２６】
カメラ４１は、携帯端末用地図表示システム１０が水平方向に移動している間において、一定の時間周期ごと（例えば０．１秒ごと）に撮像画像を撮像（連写）し、当該撮像画像を制御部２０に出力する。保持方向取得モジュール２１ｃの機能により制御部２０は、各撮像画像に対して撮像時刻におけるジャイロセンサ４２の検出角θを対応付けて記録媒体３０に記録する。
【００２７】
制御部２０は、現在地にてカメラ４１が撮像可能な基準地物のテンプレート画像とマッチングする部分を撮像画像において認識する。本実施形態において、制御部２０は、撮像画像の左右方向の二等分線上において基準地物の像が認識できた撮像画像を取得し、当該撮像画像の撮像時刻におけるジャイロセンサ４２の検出角θを取得する。ここで、撮像画像の左右方向の二等分線上において基準地物の像が認識できたとは、カメラ４１の光軸方向ＺCに基準地物が存在していたことを意味する。すなわち、撮像画像の左右方向の二等分線上において基準地物の像が認識できたとは、水平面内におけるカメラ４１の光軸方向ＺCと、実空間における現在地から基準地物へと向かうベクトルの水平成分の方向（以下、基準方向）とが一致することを意味する。制御部２０は、現在地と基準地物情報３０ｂが示す基準地物の位置とに基づいて、基準方向を算出する。なお、カメラ４１は光軸方向ＺCに関して対称の光学系を有するため、カメラ４１の光軸方向ＺCの被写体の像が撮像画像の左右方向の二等分線上に位置することとなる。
【００２８】
また、撮像画像において基準地物の像がある基準よりも大きい場合に、制御部２０は、撮像画像の左右方向の二等分線上において基準地物の像の中央部が存在する撮像画像の撮像時刻におけるジャイロセンサ４２の検出角θを取得してもよい。
【００２９】
図３Ｃは、図３Ａの例における基準方向ＶA，ＶB，ＶCを説明する模式図である。同図において、現在地（白丸）から各看板（黒四角）に向かうベクトルの水平成分の方向である基準方向ＶA，ＶB，ＶCが示されている。制御部２０は、、撮像画像の左右方向の二等分線上において基準地物が認識できると、当該基準地物についての基準方向ＶA，ＶB，ＶCと、当該撮像画像の撮像時刻におけるジャイロセンサ４２の検出角θA，θB，θCとを対応付けて記録媒体３０に記録する。基準方向ＶA，ＶB，ＶCとジャイロセンサ４２の検出角θA，θB，θCとの対応関係は、少なくとも１組記録できればよい。以下の説明において、基準方向ＶAとジャイロセンサ４２の検出角θAとが記録されたこととする。
【００３０】
制御部２０は、基準方向ＶAとジャイロセンサ４２の検出角θAとの対応関係が記録できると、図３Ｄに示すＵＩ画像Ｑ４を表示する。ＵＩ画像Ｑ４は、カメラ４１のオフをユーザに促す画像である。
【００３１】
保持方向取得モジュール２１ｃの機能により制御部２０は、地図Ｍの表示中の現在時刻におけるジャイロセンサ４２の検出角θKを取得する。そして、制御部２０は、現在時刻におけるジャイロセンサ４２の検出角θKの水平成分から、基準方向ＶAに対応するジャイロセンサ４２の検出角θAの水平成分を減算することにより、ずれ角Δθを算出する。そして、保持方向取得モジュール２１ｃの機能により制御部２０は、基準方向ＶAにずれ角Δθを加算することにより、現在時刻における保持方向Ｚを取得する。ジャイロセンサ４２の検出角θKは三次元の角度であるが、加速度センサ４４によって検出した重力加速度の方向と直交する方向の成分を抽出することにより、検出角θKの水平成分を得ることができる。
【００３２】
図３Ｃの例では、基準方向ＶAにずれ角Δθを加算することにより、北東が保持方向Ｚとして取得されている。保持方向Ｚは、現在時刻におけるカメラ４１の光軸方向ＺCの水平成分を意味するが、図２Ａに示すように、現在時刻におけるタッチパネルディスプレイ４３の上側方向ＺDの水平成分でもある。
【００３３】
地図表示モジュール２１ｄの機能により制御部２０は、保持方向Ｚに基づいて、タッチパネルディスプレイ４３上に地図Ｍを表示する。具体的に、地図表示モジュール２１ｄの機能により制御部２０は、保持方向Ｚが、タッチパネルディスプレイ４３の上側方向ＺDを向くように地図Ｍを表示させる。図３Ｃの例では、制御部２０は、保持方向Ｚとしての北東がタッチパネルディスプレイ４３の上側方向ＺDを向くように地図Ｍを描画し、タッチパネルディスプレイ４３に表示させる。図３Ｅは、保持方向Ｚがタッチパネルディスプレイ４３の上側方向ＺDに表されるように地図Ｍが表示されている様子を示す。
【００３４】
以上説明した本発明の構成において、携帯端末が保持されている保持方向Ｚに基づいて地図Ｍを表示することができる。その際に、ユーザが基準地物を認識して地図Ｍの方向を調整しなくても済むため、保持方向Ｚを考慮した地図Ｍを容易に表示できる。具体的に、保持方向Ｚが、タッチパネルディスプレイ４３の上側方向ＺDを向くように地図Ｍを表示するため、ユーザが基準地物を認識して地図Ｍの方向を調整しなくても、タッチパネルディスプレイ４３の上側方向ＺDを基準とした地図Ｍの表示が可能となる。多くの場合、タッチパネルディスプレイ４３の上側方向がユーザの正面前方となるように携帯端末が保持される。そのため、ユーザの正面前方が、地図Ｍ上においてユーザの正面前方に表されるようにすることができる。すなわち、ヘディングアップの地図Ｍを表示できる。
【００３５】
また、制御部２０は、カメラ４１の光軸方向ＺCを水平方向に近づけるように携帯端末を保持することをユーザに促すＵＩ画像Ｑ１をタッチパネルディスプレイ４３に表示する。これにより、現在地の周囲の基準地物が撮像可能となるように携帯端末を構えるように促すことができ、基準地物の像を含む撮像画像が撮像できるようにすることができる。すなわち、カメラ４１の光軸方向ＺCが鉛直下方や鉛直上方に近い方向を向くように携帯端末が保持されることによって、地面や空ばかりが撮像される可能性を低減できる。さらに、光軸方向ＺCを回転させるように携帯端末を構えるように促すことにより、基準地物の像を含む撮像画像を撮像できる可能性を増大させることができる。すなわち、光軸方向ＺCを回転させながら複数の方向で撮像画像を撮像することができるため、撮像画像に基準地物の像が含まれる可能性を高めることができる。
【００３６】
（２）携帯端末用地図表示処理：
次に、携帯端末用地図表示システム１０が実行する携帯端末用地図表示処理について説明する。携帯端末用地図表示システム１０は、地図Ｍの表示するための操作を受け付けた場合や、地図Ｍの表示中に方向をロストした場合に実行される処理である。まず、現在地取得モジュール２１ａの機能により制御部２０は、現在地を取得する（ステップＳ１００）。すなわち、制御部２０は、ＧＮＳＳ受信部４０が受信した衛星信号に基づいて、携帯端末としての携帯端末用地図表示システム１０の現在地を取得する。
【００３７】
次に、基準地物取得モジュール２１ｂの機能により制御部２０は、基準地物を取得する（ステップＳ１１０）。すなわち、制御部２０は、基準地物情報３０ｂに記録されている基準地物のうち、現在地からの距離が予め決められた基準距離（例えば５０ｍ）以内の基準地物を取得する。
【００３８】
次に、保持方向取得モジュール２１ｃの機能により制御部２０は、ＵＩ画像Ｑ１を表示する（ステップＳ１２０）。すなわち、制御部２０は、カメラ４１を起動して光軸方向ＺCを水平方向に近づけるようにユーザを促すためのＵＩ画像Ｑ１を表示する（図３Ａ）。次に、保持方向取得モジュール２１ｃの機能により制御部２０は、カメラ４１が起動したか否かを判定する（ステップＳ１３０）。
【００３９】
カメラ４１が起動したと判定しなかった場合（ステップＳ１３０：Ｎ）、制御部２０は、ステップＳ１３０に戻り、カメラ４１が起動するまで待機する。一方、カメラ４１が起動したと判定した場合（ステップＳ１３０：Ｙ）、保持方向取得モジュール２１ｃの機能により制御部２０は、ＵＩ画像Ｑ２，Ｑ３を表示する（ステップＳ１４０）。すなわち、制御部２０は、カメラ４１の光軸方向ＺCを水平面内おいて回転させるように携帯端末を保持することをユーザに促すＵＩ画像Ｑ２と、現在地にて撮像可能な基準地物を表すアイコンＴを表示する（図３Ｂ）。
【００４０】
次に、保持方向取得モジュール２１ｃの機能により制御部２０は、撮像と画像認識処理を行う（ステップＳ１５０）。すなわち、制御部２０は、水平面内においてカメラ４１の光軸方向ＺCが変化するごとにカメラ４１が撮像した撮像画像を取得するとともに、撮像画像の左右方向の二等分線上において基準地物の像を認識する。
【００４１】
次に、保持方向取得モジュール２１ｃの機能により制御部２０は、基準地物を認識できたか否かを判定する（ステップＳ１６０）。例えば、制御部２０は、少なくとも１個の基準地物の像が撮像画像の左右方向の二等分線上において認識できたか否かを判定する。基準地物を認識できたと判定しなかった場合（ステップＳ１６０：Ｎ）、制御部２０は、ステップＳ１４０に戻り、携帯端末用地図表示システム１０の移動を促し、画像認識処理を繰り返して実行する。
【００４２】
一方、基準地物を認識できたと判定した場合（ステップＳ１６０：Ｙ）、保持方向取得モジュール２１ｃの機能により制御部２０は、保持方向Ｚを取得する（ステップＳ１７０）。なお、基準地物を認識できると、制御部２０は、現在地から基準地物に向かうベクトルの水平成分の方向である基準方向ＶAと、基準地物の像が認識された撮像画像を撮像した際のジャイロセンサ４２の検出角θAとを対応付けて記録媒体３０に記録する。
【００４３】
そして、制御部２０は、、現在時刻におけるジャイロセンサ４２の検出角θKの水平成分から、基準方向ＶAに対応するジャイロセンサ４２の検出角θAの水平成分を減算することにより、ずれ角Δθを算出する。そして、保持方向取得モジュール２１ｃの機能により制御部２０は、基準方向ＶAにずれ角Δθを加算することにより、現在時刻における保持方向Ｚを取得する。
【００４４】
最後に、地図表示モジュール２１ｄの機能により制御部２０は、保持方向Ｚに基づいて地図Ｍを表示する（ステップＳ１８０）。具体的に、地図表示モジュール２１ｄの機能により制御部２０は、保持方向Ｚが、タッチパネルディスプレイ４３の上側方向ＺDを向くように地図Ｍを表示させる（図３Ｅ）。すなわち、制御部２０は、地図Ｍにおけるユーザの正面前方（保持方向Ｚ）が、ユーザの正面前方に表されるように、ヘディングアップの地図Ｍをタッチパネルディスプレイ４３に表示させる。
【００４５】
（３）他の実施形態：
本発明は、以上説明した実施形態に限らず、例えば以下のような態様も含む。撮像画像における基準地物の像の認識位置は必ずしも左右方向の二等分線上でなくてもよく、撮像画像内の任意の位置であってもよい。この場合、制御部２０は、基準地物の像の認識位置に基づいて、水平面内におけるカメラ４１の光軸方向ＺCに対する基準方向ＶA，ＶB，ＶCのずれ角を算出し、当該ずれ角によってジャイロセンサ４２の検出角θを補正すればよい。そして、制御部２０は、補正後のジャイロセンサ４２の検出角θと、基準方向ＶA，ＶB，ＶCとを対応付けて記録すればよい。
【００４６】
地図表示モジュール２１ｄの機能により制御部２０は、保持方向Ｚを指し示す方向マーカを地図Ｍ上に表示してもよい。例えば、図３Ｆに示すように、制御部２０は、保持方向Ｚ（北東）を取得できた場合においてもノースアップの地図Ｍを表示し、現在地マーカＹに保持方向Ｚを指し示す矢印を追加してもよい。保持方向Ｚを指し示す表示物は現在地マーカＹである必要はなく、タッチパネルディスプレイ４３上のどの位置に表示されてもよい。本実施形態においても、ユーザが基準地物を認識しなくても、方向マーカによって携帯端末の保持方向Ｚが認識可能な地図Ｍを表示することができる。
【００４７】
なお、前記実施形態のようにＵＩ画像Ｑ１〜Ｑ２を表示することは必須とならない。例えば、携帯端末に全球カメラのように広角な画角を有するカメラが備えられる場合、カメラの中央光軸方向を水平方向に近づける必要性が低下するからである。また、カメラ４１は、必ずしも板状の携帯端末に直交する光軸方向Ｚcを有さなくてもよい。また、前記実施形態のようにＵＩ画像Ｑ３（アイコンＴ）を表示することは必須とならない。本発明では、基準地物が存在する方向をユーザが認識しなくても済むため、何が基準地物であるかをユーザが認識することは必須とならないからである。
【００４８】
例えば、図２Ａのようにタッチパネルディスプレイ４３を上から見下ろすように携帯端末用地図表示システム１０を保持した際に、光軸方向ＺCが水平方向となるようにカメラが備えられてもよい。また、携帯端末用地図表示システム１０は、アウトカメラとインカメラ等のように光軸方向が異なる複数のカメラを備えてもよく、これらのうち光軸方向が水平方向よりも上方向を向いている方のカメラにて撮像画像を撮像してもよい。
【００４９】
携帯端末は、ディスプレイとカメラとを備えるとともに、ユーザが持ち歩くことが可能な端末であればよい。例えば、携帯端末は、携帯電話やスマートフォンやタブレットやノートパソコン等であってもよい。携帯端末用地図表示システムは、携帯端末であってもよいし、携帯端末と通信可能な装置であってもよい。すなわち、携帯端末用地図表示システムは、携帯端末から現在地と撮像画像を受信するとともに、地図を表示するためのデータを携帯端末に送信してもよい。
【００５０】
現在地取得部は、携帯端末の現在地を取得すればよく、現在地の取得方法は特に限定されない。基準地物取得部は、現在地にてカメラが撮像可能な基準地物を取得すればよく、基準地物は現在地の周辺の地物であってもよい。例えば、基準地物は現在地から一定の距離以内の地物であってもよい。この距離は、カメラの性能が高いほど長くなるように設定されてもよい。基準地物は、画像認識処理によって他の地物と識別が容易な地物であることが望ましく、撮像した際に特徴的な像が得られる地物であることが望ましい。例えば、基準地物は、看板であってもよく、看板に表示された文字や図形に基づいて基準地物の像が認識されてもよい。むろん、基準地物は看板でなくてもよく、形状や模様が特徴的な建造物等であってもよい。
【００５１】
保持方向取得部は、撮像画像内における基準地物の像の位置に基づいて、撮像画像が撮像された撮像方向を取得し、当該撮像方向に基づいて保持方向を取得する。保持方向取得部は、撮像画像における基準地物の像の位置に基づいて、実空間においてカメラから基準地物に向かうベクトルの方向を特定できる。一方、実空間において現在地から基準地物に向かうベクトルの方向が既知であるため、保持方向取得部は、これらの２個のベクトルの方向が一致する方向にカメラが向いていると特定できる。さらに、携帯端末におけるカメラの取り付け方向に基づいて、携帯端末が保持されている保持方向を取得できる。
【００５２】
保持方向取得部は、撮像画像内における１以上の基準地物の像の位置に基づいて保持方向を取得すればよく、複数の基準地物の像の位置に基づいて保持方向を取得してもよい。
複数の基準地物の像の位置に基づいて保持方向を取得することにより、保持方向の信頼度を向上させることができる。なお、撮像画像の撮像時刻と、地図の表示時刻との間に携帯端末の保持方向が変化し得る。そのため、保持方向取得部は、撮像時刻から表示時刻までの間において保持方向の変化量を計測し、撮像時刻における保持方向に当該変化量を加味することにより、表示時刻における保持方向を取得してもよい。
【００５３】
保持方向に基づいてディスプレイ上に地図を表示するとは、保持方向が認識可能に地図を表示することであればよい。保持方向に基づいてディスプレイ上に地図を表示するとは、地図を保持方向に基づいた方向で表示することであってもよいし、地図上において保持方向を指し示すことであってもよい。
【００５４】
ここで、保持方向は、ディスプレイの上側方向のベクトルの水平面内の成分であり、地図表示部は、保持方向が、ディスプレイの上側方向を向くように地図を表示させてもよい。これにより、ユーザが基準地物を認識して地図の方向を調整しなくても、ディスプレイの上側方向を基準とした地図の表示が可能となる。多くの場合、ディスプレイの上側方向がユーザの正面前方となるように携帯端末が保持される。そのため、ユーザの正面前方が、ディスプレイ上の地図上においてユーザの正面前方に表されるようにすることができる。すなわち、ヘディングアップの地図を表示できる。
【００５５】
さらに、地図表示部は、保持方向を指し示す方向マーカを地図上に表示してもよい。これにより、ユーザが基準地物を認識しなくても、方向マーカによって携帯端末の保持方向が認識可能な地図を表示することができる。なお、方向マーカは、現在地を指し示すマーカであってもよいし、現在地とは無関係に表示される方位磁針等の図形であってもよい。
【００５６】
さらに、保持方向取得部は、カメラの中央光軸方向を水平方向に近づけるように携帯端末を保持することをユーザに促すＵＩ画像をディスプレイに表示してもよい。これにより、現在地の周囲の基準地物が撮像可能となるように携帯端末を構えるように促すことができ、基準地物の像を含む撮像画像が撮像できるようにすることができる。すなわち、カメラの中央光軸方向が大きく下方や上方を向くように携帯端末が保持され、地面や空ばかりが撮像される可能性を低減できる。
【００５７】
さらに、保持方向取得部は、カメラの中央光軸方向を水平面内おいて回転させるように携帯端末を保持することをユーザに促すＵＩ画像をディスプレイに表示してもよい。このように、中央光軸方向を回転させるように携帯端末を構えるように促すことにより、基準地物の像を含む撮像画像を撮像できる可能性を増大させることができる。すなわち、中央光軸方向を回転させながら複数の方向で撮像画像を撮像することができるため、撮像画像に基準地物の像が含まれる可能性を高めることができる。
【００５８】
また、ＵＩ画像には、基準地物を表す情報が示されてもよい。これにより、どのような地物を撮像できるように携帯端末を保持すればよいかを認識できる。
【００５９】
さらに、本発明のように、画像認識処理によって携帯端末の保持方向を特定し、保持方向に基づいて地図を表示する手法は、プログラムや方法としても適用可能である。また、以上のようなシステム、プログラム、方法は、単独の装置として実現される場合もあれば、車両に備えられる各部と共有の部品を利用して実現される場合もあり、各種の態様を含むものである。例えば、以上のような装置を備えたナビゲーションシステム、地図情報表示システムや方法、プログラムを提供することが可能である。また、一部がソフトウェアであり一部がハードウェアであったりするなど、適宜、変更可能である。さらに、装置を制御するプログラムの記録媒体としても発明は成立する。むろん、そのソフトウェアの記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。
【符号の説明】
【００６０】
１０…携帯端末用地図表示システム、２０…制御部、２１…携帯端末用地図表示プログラム、２１ａ…現在地取得モジュール、２１ｂ…基準地物取得モジュール、２１ｃ…保持方向取得モジュール、２１ｄ…地図表示モジュール、３０…記録媒体、３０ａ…地図データ、３０ｂ…基準地物情報、４０…ＧＮＳＳ受信部、４１…カメラ、４２…ジャイロセンサ、４３…タッチパネルディスプレイ、Ｍ…地図、Ｑ１〜Ｑ４…ＵＩ画像、Ｔ…アイコン、ＶA,ＶB,ＶC…基準方向、Ｙ…現在地マーカ、Ｚ…保持方向、ＺC…光軸方向、ＺD…上側方向、θ…検出角
【図１】
2019211556.tif 000003
【図２】
2019211556.tif 000004
【図３】
2019211556.tif 000005
【図４】
2019211556.tif 000006