(57)【要約】【課題】  上記衛星との通信を必要としないばかりでなく、外部機器との通信を行わなくても、ユーザ自身の位置を該ユーザに通知することを可能にするための技術を提供すること。【解決手段】  撮像部により撮像された画像を撮像画像として取得する。予め撮像された複数枚の画像のうち、撮像画像と類似する画像特徴量を有する画像を類似画像とし、該類似画像と撮像画像とから、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定する。推定した撮像位置に基づく表示を表示部に行わせる。【選択図】  図１
2014209286.tif 000002
【特許請求の範囲】
【請求項１】
表示部と、外界を撮像するための撮像部と、を有する携帯端末であって、
前記撮像部により撮像された画像を撮像画像として取得する手段と、
予め撮像された複数枚の画像のうち、前記撮像画像と類似する画像特徴量を有する画像を類似画像とし、該類似画像と前記撮像画像とから、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定する推定手段と、
前記推定手段により得られる撮像位置に基づく表示を前記表示部に行わせる表示制御手段と
を備えることを特徴とする携帯端末。
【請求項２】
前記推定手段は、
前記複数枚の画像と、該画像の撮像位置と、を取得する取得手段と、
前記複数枚の画像のうち前記撮像画像と類似する画像特徴量を有する画像を類似画像とし、該類似画像内のオブジェクトを構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、前記撮像画像内のオブジェクトを構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、の関係から、該類似画像の撮像位置に対する前記撮像画像の相対的な撮像位置を推定する手段と
を備えることを特徴とする請求項１に記載の携帯端末。
【請求項３】
前記推定手段は、
前記複数枚の画像のうち前記撮像画像と類似する画像特徴量を有する類似画像が複数枚の場合、該複数枚の類似画像のそれぞれについて、該類似画像と前記撮像画像とから、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定し、
前記複数枚の類似画像のそれぞれについて推定した、該類似画像の撮像位置に対する相対的な前記撮像画像の撮像位置から１つの撮像位置を求め、
前記表示制御手段は、前記推定手段が求めた前記１つの撮像位置に基づく表示を前記表示部に行わせる
ことを特徴とする請求項１又は２に記載の携帯端末。
【請求項４】
前記推定手段は、
前記撮像部により撮像された第１の撮像画像について推定した該第１の撮像画像の撮像位置と、該第１の撮像画像よりも後に前記撮像部により撮像された第２の撮像画像について推定した該第２の撮像画像の撮像位置と、を用いて、該第２の撮像画像の撮像位置を補正する
ことを特徴とする請求項１又は２に記載の携帯端末。
【請求項５】
前記取得手段は、
前記推定手段が推定した撮像位置と、前記複数の画像のそれぞれの撮像位置を包含する領域と、の位置関係が規定の位置関係にあれば、該領域とは異なる領域内のそれぞれの撮像位置と、該撮像位置で撮像された画像と、を取得する
ことを特徴とする請求項２に記載の携帯端末。
【請求項６】
前記表示制御手段は、
前記推定手段により得られる撮像位置を現在位置としてナビゲーションを実行するアプリケーションソフトウェアに供給し、該供給後の該アプリケーションソフトウェアの実行結果を前記表示部に表示させる
ことを特徴とする請求項１乃至５の何れか１項に記載の携帯端末。
【請求項７】
表示部と、外界を撮像するための撮像部と、を有する携帯端末の制御方法であって、
前記携帯端末の取得手段が、前記撮像部により撮像された画像を撮像画像として取得する工程と、
前記携帯端末の推定手段が、予め撮像された複数枚の画像のうち、前記撮像画像と類似する画像特徴量を有する画像を類似画像とし、該類似画像と前記撮像画像とから、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定する推定工程と、
前記携帯端末の表示制御手段が、前記推定工程で得られる撮像位置に基づく表示を前記表示部に行わせる表示制御工程と
を備えることを特徴とする携帯端末の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、携帯端末及びその制御方法に関するものである。
【背景技術】
【０００２】
ユーザが自身の位置を知るための手段としては、特許文献１などに記載されているようにＧＰＳが一般的である。ＧＰＳとは、上空の衛星との通信により自身の位置を知るためのものである。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2013-040958号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＧＰＳを用いた位置計測は上記の通り、衛星との間で通信を行うことを前提としたシステムであるため、該通信にエラーなどの不都合が生じると、位置計測は不可能若しくは多分にエラーを含んだものとなってしまう。
【０００５】
本出願人は、このような従来技術に鑑み、上記衛星との通信を必要としないばかりでなく、外部機器との通信を行わなくても、ユーザ自身の位置を該ユーザに通知することを可能にするための技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態としての携帯端末は、表示部と、外界を撮像するための撮像部と、を有する携帯端末であって、前記撮像部により撮像された画像を撮像画像として取得する手段と、予め撮像された複数枚の画像のうち、前記撮像画像と類似する画像特徴量を有する画像を類似画像とし、該類似画像と前記撮像画像とから、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定する推定手段と、前記推定手段により得られる撮像位置に基づく表示を前記表示部に行わせる表示制御手段とを備えることを特徴とする。
【０００７】
本発明の一様態としての携帯端末の制御方法は、表示部と、外界を撮像するための撮像部と、を有する携帯端末の制御方法であって、前記携帯端末の取得手段が、前記撮像部により撮像された画像を撮像画像として取得する工程と、前記携帯端末の推定手段が、予め撮像された複数枚の画像のうち、前記撮像画像と類似する画像特徴量を有する画像を類似画像とし、該類似画像と前記撮像画像とから、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定する推定工程と、前記携帯端末の表示制御手段が、前記推定工程で得られる撮像位置に基づく表示を前記表示部に行わせる表示制御工程とを備えることを特徴とする。
【発明の効果】
【０００８】
本発明により、衛星との通信を必要としないばかりでなく、外部機器との通信を行わなくても、ユーザ自身の位置を該ユーザに通知することができる。
【図面の簡単な説明】
【０００９】
【図１】携帯端末１００及びその利用環境例を説明する図。
【図２】携帯端末１００のハードウェア構成例を示すブロック図。
【図３】撮像画像、類似画像、及びそれらの撮像位置の関係を示す図。
【図４】携帯端末１００が行う処理のフローチャート。
【図５】１枚の撮像画像に対して２枚の類似画像が存在する例を説明する図。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載の構成の具体的な実施例の１つである。
【００１１】
［第１の実施形態］
図１に示す如く、本実施形態に係る携帯端末１００の一方の面（図１では手前側に向いている面）には、液晶画面に代表される表示部１６０と、ボタンに代表される操作部１５０と、が備わっている。また、携帯端末１００において表示部１６０や操作部１５０が備わっている面とは逆の面（裏の面）には、吹き出し１１０に示す如く、携帯端末１００の外界を撮像するための撮像部１２０が備わっている。このような携帯端末１００は、周知のスマートフォンなどに適用可能である。このような携帯端末１００のハードウェア構成例について、図２のブロック図を用いて説明する。
【００１２】
ＣＰＵ２０１は、ＲＡＭ２０２に格納されているコンピュータプログラムやデータを用いて本装置全体の動作制御を行うと共に、携帯端末１００が行うものとして後述する各処理を実行する。
【００１３】
ＲＡＭ２０２は、保存メモリ２０３からロードされたコンピュータプログラムやデータを一時的に記憶するためのエリアや、Ｉ／Ｆ（インターフェース）２０４を介して外部機器から受信したデータを一時的に記憶するためのエリア、撮像部１２０から順次入力される各フレームの画像や該撮像部１２０が撮像した静止画像を一時的に記憶するためのエリア、ＣＰＵ２０１が各種の処理を実行する際に用いるワークエリア、等を有する。すなわち、ＲＡＭ２０２は、各種のエリアを適宜提供することができる。
【００１４】
操作部１５０は、図１に示したとおり、本装置のユーザが押下するためのボタンであり、該ユーザが操作することで、各種の指示をＣＰＵ２０１に対して入力することができる。
【００１５】
保存メモリ２０３には、ＯＳ（オペレーティングシステム）や、携帯端末１００が行うものとして後述する各処理をＣＰＵ２０１に実行させるためのコンピュータプログラムやデータが保存されている。また、以下の説明において実質的に既知の情報として取り扱っているものについても、この保存メモリ２０３に保存されている。保存メモリ２０３に保存されているコンピュータプログラムやデータは、ＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１による処理対象となる。
【００１６】
表示部１６０は、液晶画面に代表される表示装置であり、ＣＰＵ２０１による処理結果を画像や文字などでもって表示することができる。また、表示部１６０の表示画面は、タッチパネル画面であってもよく、その場合、表示部１６０は、タッチパネル画面に対するユーザのタッチ操作内容（ユーザの指などによる画面上のタッチ位置や、画面上で指などをスライドさせた方向、速度、長さなど）を検出してＣＰＵ２０１に通知することになる。この場合、ＣＰＵ２０１は、この通知されたタッチ操作内容に従って表示部１６０における表示内容を更新したり、対応する処理を実行する。
【００１７】
Ｉ／Ｆ（インターフェース）２０４は、外部機器との無線通信を行うためのものである。
【００１８】
撮像部１２０は、上記の通り、携帯端末１００の外界を撮像するためのものであり、外界の光を該光の強度に応じた電気信号に変換し、該電気信号を撮像画像のデータとしてＲＡＭ２０２に対して送出する。撮像部１２０を動作させるか否かは、ユーザが操作部１５０を押下して指示入力を行ったり、表示部１６０がタッチパネル画面を有している場合には該タッチパネル画面上に撮像部１２０を動作させるか否かを選択するためのメニュー画面を表示させて、ユーザがタッチパネル画面上をタッチする若しくは操作部１５０を操作することで指示入力を行ったりして、設定しても良い。このように、一般に携帯端末に備わっている撮像装置を動作させるための操作手順については周知であるため、これに係る詳細な説明は省略する。
【００１９】
上記の各部はいずれも、バス２０５に接続されている。なお、携帯端末１００のハードウェア構成は、図２に示した構成に限るものではなく、他の種々の変形例が考え得る。
【００２０】
ユーザはこのような携帯端末１００を手に把持して現実世界（図１では物置１９１が床面上に配置されており且つ壁にはポスタ１９２が貼り付けられている現実世界）を移動するのであるが、ユーザが自身の位置を知りたい場合には、撮像部１２０を適当な方向に向ける。このとき、撮像部１２０を動作させている場合には、撮像部１２０は、向けられた方向の現実世界の各フレームの撮像画像を順次ＲＡＭ２０２に対して送出するので、ＣＰＵ２０１はこのＲＡＭ２０２内の撮像画像を用いて後述する処理を実行することで、ユーザの現在位置を推定する。
【００２１】
携帯端末１００が、自身が撮像した撮像画像を用いて現在位置を推定し且つ該現在位置に基づく表示を行うために行う処理について、該処理のフローチャートを示す図４を用いて詳細に説明する。図４のフローチャートに従った処理をＣＰＵ２０１に実行させるためのコンピュータプログラムやデータは保存メモリ２０３に保存されている。このコンピュータプログラムやデータはＣＰＵ２０１による制御に従って適宜ＲＡＭ２０２にロードされ、ＣＰＵ２０１による処理対象となる。ＣＰＵ２０１がこのコンピュータプログラムやデータを用いて処理を実行することで、結果として携帯端末１００は、図４のフローチャートに従った処理を実行することになる。また、図４のフローチャートに従った処理は、撮像部１２０からＲＡＭ２０２に入力される各フレームの撮像画像に対して行われるものである。
【００２２】
ステップＳ４０１では、ＣＰＵ２０１は、複数枚の登録画像と、該登録画像を撮像したときの撮像位置と、を取得する。ここで、この「複数枚の登録画像と、該登録画像を撮像したときの撮像位置」について説明する。
【００２３】
「複数枚の登録画像と、該登録画像を撮像したときの撮像位置」は、図４のフローチャートに従った処理の開始前に保存メモリ２０３に登録しておいても良いし、Ｉ／Ｆ２０４を介して外部機器から取得しても良い。登録画像は、予め撮像された様々な現実世界の画像であり、例えば、ある道路（通路）に沿って様々な方向の現実世界を撮像した画像や、デパートなどの屋内施設の各フロアの各箇所を撮像した画像である。そしてこのような様々な現実世界の画像は、該画像の撮像位置と関連づけて、保存メモリ２０３や外部機器に登録される。撮像位置については、例えば、撮像装置にＧＰＳなど自身の位置を測定可能な機器を取り付けておき、画像を撮像すると、該撮像時にＧＰＳから得られる位置情報を撮像位置として取得するようにすれば良い。
【００２４】
もちろん、複数枚の登録画像と該登録画像を撮像したときの撮像位置とを予めどのようにして作成しておくのか、作成したこれらをどこにどのような形態で保存しておくのか、については様々な変形が考えられるが、これはここでの主要な技術ではないため、これに係る詳細な説明は省略する。
【００２５】
ステップＳ４０２では、ＣＰＵ２０１は、ＲＡＭ２０２に直近に入力されたフレームの撮像画像と、ステップＳ４０１で取得したそれぞれの登録画像と、を用いて携帯端末１００の現在位置を推定する。
【００２６】
本ステップにおける処理としては、例えば次のような処理が考え得る。すなわち、予め撮像された複数枚の画像（登録画像）のうち、撮像画像と類似する画像を類似画像とし、該類似画像と撮像画像とから、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定する。
【００２７】
このような処理により撮像位置を推定するためには、例えば、撮像画像及びそれぞれの登録画像から周知のＳＩＦＴ（Scale-Invariant Feature Transform)）なる局所特徴量を抽出し、複数枚の登録画像のうち、撮像画像から抽出した局所特徴量と類似する局所特徴量を抽出した登録画像を類似画像とする。
【００２８】
例えば、図１に示す如く、携帯端末１００をポスタ１９２に向けた場合に撮像部１２０によって撮像された撮像画像が図３（ａ）に示すような画像であり、このときの類似画像が図３（ｂ）に示すような画像であったとする。このとき、類似画像中のポスタ１９２を構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、撮像画像中のポスタ１９２を構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、の関係を求めることで、該関係から、撮像画像を撮像した位置が類似画像を撮像した位置からどれだけずれているのか、すなわち、類似画像の撮像位置に対する相対的な撮像画像の撮像位置、を求める（推定する）ことができる。図３（ｃ）は図１に示した現実世界のうちポスタ１９２近辺の空間を俯瞰した図であり、図３の場合、図３（ｂ）の類似画像の撮像位置が「×」印１９３で示す位置であったとすると、上記の処理から、図３（ａ）の撮像画像の撮像位置が「×」印１９４で示す位置であることが推定される。
【００２９】
なお、「類似画像中のポスタ１９２を構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、撮像画像中のポスタ１９２を構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、の関係」から、撮像画像の撮像位置が類似画像の撮像位置からどれだけずれているのかを求める処理では、例えば、この関係と、該関係に対応する類似画像の撮像位置からのずれ（ずれの方向及び距離）と、の対応関係を予め求めておき、該対応関係から、今回求めた関係に対応する「類似画像の撮像位置からのずれ」を特定すればよい。もちろん、対応する「類似画像の撮像位置からのずれ」がなければ、今回求めた関係に近い関係に対応する「類似画像の撮像位置からのずれ」から補間により求めても良い。
【００３０】
このように、複数枚の登録画像のうち撮像画像と類似する画像を類似画像とし、該類似画像内のオブジェクトを構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、撮像画像内のオブジェクトを構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、の関係から、該類似画像の撮像位置に対する撮像画像の相対的な撮像位置を推定する方法には様々な方法が考え得る。なお、用いる画像特徴量はＳＩＦＴなる局所特徴量以外の特徴量であってもよく、その場合、認識対象のオブジェクトのサイズや形状などが画像内で変化しても該オブジェクトを認識可能な画像特徴量を使用する必要がある。
【００３１】
図４に戻って、次に、ステップＳ４０３では、ＣＰＵ２０１は、ステップＳ４０２で推定した撮像位置（撮像画像の撮像位置）に基づく表示を、表示部１６０に行わせる。本ステップにて行う処理には様々なものが考え得る。
【００３２】
例えば、ステップＳ４０２で推定した撮像位置（緯度及び経度で表しても良いし、フロアごとに定義されている世界座標系のうち現在のフロアに定義されている世界座標系における座標値で表しても良い）をそのまま文字情報若しくは画像情報として表示部１６０に表示しても良い。
【００３３】
また、ＣＰＵ２０１が現在、ナビゲーションを行うアプリケーションソフトウェアを実行している最中である場合には、このアプリケーションソフトウェアにステップＳ４０２で推定した撮像位置をユーザの現在位置として供給することで、目的地までのナビゲーションを実施することができる。
【００３４】
また、撮像位置（若しくは該撮像位置を含むエリア）に対して予め地名や場所名（フロア名など）が関連づけられているような場合には、推定した撮像位置に対応する（若しくは推定した撮像位置近傍の）地名や場所名を表示部１６０に表示しても構わない。
【００３５】
もちろん、ステップＳ４０３における表示方法や表示形態については様々なものが考えられ、特定の表示方法、特定の表示形態に限るものではない。また、撮像位置の推定をトリガにして如何なる処理を実行するのかについても様々な例が考えられる。
【００３６】
なお、登録画像の代わりに、該登録画像の画像特徴量（特徴点に係る他の情報も含む）を予め用意しておいても良い。このような場合、登録画像の画像特徴量と該登録画像の撮像位置とのセットが、様々な登録画像ごとに保存メモリ２０３若しくは外部機器に登録されていることになる。
【００３７】
また、登録画像（若しくは登録画像の画像特徴量）及び対応する撮像位置のデータを、全て（例えば日本国内の全ての箇所で撮像した登録画像（若しくは登録画像の画像特徴量）及びその撮像位置）を保存メモリ２０３に登録することは現実的ではなく、例えば、保存メモリ２０３には、規定の地理的範囲単位で、該地理的範囲内の撮像位置と該撮像位置で撮像した画像と、をダウンロードするようにしても構わない。
【００３８】
このような場合、例えば、現在推定した撮像位置と、現在保存メモリ２０３に登録している全ての撮像位置を包含する領域（地理的範囲）と、の位置関係が規定の位置関係にあれば、ＣＰＵ２０１は外部機器に対して、新たな地理的範囲内の撮像位置と該撮像位置で撮像した画像と、を要求する。例えば、現在保存メモリ２０３に登録されている撮像位置を包含する地理的範囲が［Ｘ１，Ｘ２］、［Ｙ１，Ｙ２］であり、現在推定した撮像位置（ｘ、ｙ）が、例えば（（Ｘ１＋Ｘ２）／２、Ｙ２−α）（αは閾値以下の値）であれば、例えば、Ｘ１＜ｘ＜Ｘ２，Ｙ２＜ｙ＜Ｙ３を満たす撮像位置（ｘ、ｙ）と該撮像位置で撮像した画像と、を外部機器に要求する。そして、外部機器がこの要求に応じた登録画像及びその撮像位置を送信すると、携帯端末１００はこの登録画像及びその撮像位置を受信し、保存メモリ２０３に保存されている登録画像及びその撮像位置は削除し、受信した登録画像及びその撮像位置を保存メモリ２０３に登録する。もちろん、保存メモリ２０３内の登録画像及びその撮像位置のセットの更新タイミングについてはこれに限るものではなく、種々の変形例が考え得る。
【００３９】
なお、本実施形態には、次に説明するような様々な変形例が考え得る。以下では変形例ごとに独立して説明するが、２以上の変形例を適宜組み合わせて実施しても構わない。
【００４０】
＜変形例１＞
上記の実施形態は、１枚の撮像画像に対して類似画像が１枚であるケースの実施形態である。しかし、例えば、図５に示す如く、撮像画像内の領域５０１内に写っている風景と類似する風景が登録画像Ａ内の領域５０３内に写っており、撮像画像内の領域５０２内に写っている風景と類似する風景が別の登録画像Ｂ内の領域５０４内に写っているようなケースも考え得る。このような場合、この撮像画像に対する類似画像としては、登録画像Ａ及び登録画像Ｂが特定されることになる。
【００４１】
このようなケースが発生した場合、ステップＳ４０２では、登録画像Ａと撮像画像とを用いて上記の実施形態で説明した処理を実行することで、登録画像Ａの撮像位置に対する相対的な撮像画像の撮像位置Ａを推定すると共に、登録画像Ｂと撮像画像とを用いて上記の実施形態で説明した処理を実行することで、登録画像Ｂの撮像位置に対する相対的な撮像画像の撮像位置Ｂを推定する。そしてステップＳ４０２では更に、撮像位置Ａと撮像位置Ｂとから１つの撮像位置を、撮像画像の撮像位置として求める。例えば、撮像位置Ａ及び撮像位置Ｂのうち何れか一方を撮像画像の撮像位置としても良いし、撮像位置Ａと撮像位置Ｂの平均位置（より最近に推定した撮像位置により大きい重み値を用いた重み平均であってもよい）を撮像画像の撮像位置としても良い。
【００４２】
このように、複数枚の登録画像のうち撮像画像と類似する画像特徴量を有する類似画像が複数枚の場合には、該複数枚の類似画像のそれぞれについて、該類似画像の撮像位置に対する相対的な該撮像画像の撮像位置を推定し、複数枚の類似画像のそれぞれについて推定した該類似画像の撮像位置に対する相対的な撮像画像の撮像位置から１つの撮像位置を求めればよい。
【００４３】
＜変形例２＞
上記の実施形態で説明したように、撮像画像の撮像位置はフレームごとに推定される。ここで、例えば遠距離から撮像対象を撮像したり、壁などの面に対してほぼ平行な方向から該面を撮像したりして得た撮像画像の場合、撮像画像中に写っているオブジェクトの状態によっては、該撮像画像を用いた撮像位置推定の精度が著しく低下する可能性もあり、場合によっては、従前のフレームについて推定した撮像位置と大きく異なってしまうようなケースも考え得る。
【００４４】
ここで、あるフレームの撮像画像について撮像位置Ｐ１を推定した場合、次のフレームの撮像画像の撮像位置Ｐ２は撮像位置Ｐ１から大きく異なるようなことはなく、撮像位置Ｐ１からある範囲内に撮像位置Ｐ２が収まるはずである。然るに、あるフレームの撮像画像の撮像位置Ｐ２を求めた場合には、該撮像位置２を、該フレームよりも過去のフレームの撮像画像の撮像位置Ｐ１（直前の１フレームの撮像位置であっても良いし、過去数フレームの撮像位置の平均撮像位置であっても良い）を用いて補正する。例えば、Ｐ２がＰ１から規定の距離以上離れているような場合には、Ｐ１を中心とするある範囲の輪郭部と、Ｐ１からＰ２に延長する線分と、の交点位置を改めてＰ２とする。
【００４５】
ようは、カルマンフィルタを用いた補正を行えば良く、上記の補正はその一例に過ぎない。
【００４６】
もちろん、連続して入力されるそれぞれの撮像画像の撮像位置を推定する処理には様々なケースが考え得る。例えばあるフレームの撮像画像の撮像位置の推定に失敗した場合には、直前のフレームの撮像画像について推定した撮像位置を用いても構わないし、過去数フレームの撮像画像の撮像位置から周知の予測方法により、現フレームの撮像画像の撮像位置を推測しても構わない。
【００４７】
＜変形例３＞
上記の通り、撮像部１２０を動作させると、撮像部１２０からは、自身の撮像範囲内の画像がフレームごとに出力される。ここで、ユーザが操作部１５０を押下したり、表示部１６０がタッチパネル画面を有しており且つ該タッチパネル画面上に表示された撮像指示ボタンをタップしたりして撮像指示を入力すると、ＣＰＵ２０１はこの撮像指示を検知した時点で撮像部１２０からＲＡＭ２０２に入力された画像を撮像静止画像とする。そしてユーザからこの撮像静止画像を保存メモリ２０３に記録する旨の指示が、操作部１５０若しくはタッチパネル画面を介して入力されると、ＣＰＵ２０１はこの撮像静止画像を保存メモリ２０３に記録する。
【００４８】
このように、携帯端末１００は、現実世界の各フレームの画像を取得する機能に加え、ユーザが指示したタイミングで撮像部１２０から送出されたフレームの画像を撮像静止画像として取得する機能を有する。然るに、上記の実施形態で「撮像画像」として説明した画像は、各フレームの画像であっても良いが、このような撮像静止画像であっても良い。即ち、ユーザがある位置で現実世界の静止画像を撮像すると、該静止画像と該静止画像と類似する類似画像とを用いて、この静止画像を撮像した位置を推定することもできる。
【００４９】
なお、第１の実施形態及びその各変形例では、推定するものは撮像位置であったが、類似画像中のポスタ１９２を構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、撮像画像中のポスタ１９２を構成する特徴点の組み合わせ、該組み合わせにおける特徴点の画像特徴量、及び該組み合わせにおける特徴点同士の位置関係と、の関係を求めることで、撮像画像を撮像したときの撮像装置の姿勢が、類似画像を撮像したときの撮像装置の姿勢からどの程度変化しているのかを求めるようにしても構わない。
【００５０】
また、上記の何れかの方法で撮像位置を推定する度に、該推定した撮像位置を推定順に保存メモリ２０３に記録することで、これら撮像位置のデータを、これまでのユーザの移動経路のデータとして保存メモリ２０３に獲得することができるので、このような移動経路のデータを用いて、例えば表示部１６０に地図を表示し、この地図上に移動経路を重畳表示するなど、様々な処理が考え得る。
【００５１】
［第２の実施形態］
第１の実施形態では、携帯端末１００が画像の撮像、撮像画像と類似画像とを用いた撮像位置推定、推定された撮像位置に基づく表示、の全て行うようにしたが、例えば携帯端末１００は画像撮像を行って、その撮像した画像を外部機器に送信し、外部機器は類似画像と携帯端末１００から受信した撮像画像とを用いて撮像画像の撮像位置を推定し、該推定した撮像位置を携帯端末１００に対して送信し、携帯端末１００は外部機器から受信した撮像位置に基づく表示を行うようにしても構わない。
【００５２】
即ち、上記の実施形態で説明した一連の処理を、２以上の各装置で分担して実行しても構わない。その場合、どの装置にどの処理を分担させるのかについては様々な形態が考えられ、特定の形態に限るものではない。
【００５３】
［第３の実施形態］
例えば、現実世界に配置されている点字ブロックに適当なマーカを配し（若しくは書き込み）、このような点字ブロックを撮像部１２０により撮像した場合に得られる撮像画像からマーカを認識する（例えばＡ，Ｂ，Ｃのいずれであるのかを認識する）。そして、このような認識結果を履歴として保存メモリ２０３に登録しておき、例えば現在の認識結果が「Ａ」であり、１つ前の認識結果が「Ｃ］、更にもう１つ前の認識結果が「Ｂ」である場合には、「ＡＣＢ」の認識結果時系列に対して予め関連づけて保存メモリ２０３に登録してある位置を、ユーザの現在位置として判断しても良い。また、例えば、認識結果時系列中の特定のマーカ（例えばＡ）の連続個数（たとえば「ＡＢＡＡＡＣ」の場合、Ａの連続個数は３）に対して予め関連づけて保存メモリ２０３に登録してある位置を、ユーザの現在位置として判断しても良い。なお、認識結果時系列の長さは特定の長さに限るものではないし、認識結果時系列中のそれぞれのシンボル（Ａ，Ｂ，Ｃなど）をどのように取り扱って現在位置を特定するのかの仕組みについても特定の仕組みに限るものではない。
【００５４】
また、撮像画像から複数個のマーカを認識し、撮像画像中におけるそれぞれのマーカの認識位置の位置関係が規定の位置関係であった場合には、該規定の位置関係に対して予め関連づけて保存メモリ２０３に登録してある位置を、ユーザの現在位置として判断しても良い。なお、それぞれのマーカは同じであっても良いし、一部異なるマーカであっても良い。したがって、撮像画像中におけるそれぞれのマーカの認識位置の位置関係と、該それぞれのマーカの種別（例えばＡ，Ｂ，Ｃのいずれであるのか）と、の組み合わせに対して予め関連づけて保存メモリ２０３に登録してある位置を、ユーザの現在位置として判断しても良い。また、「現在位置」とは、ある１点の位置として解釈しても良いし、ある「エリア」として解釈しても良い。
【００５５】
なお、以上説明した実施形態や変形例は適宜組み合わせて実施しても構わないし、一方の実施形態若しくは変形例で説明した事項を他の実施形態若しくは変形例に組み込んで実施しても構わない。
【００５６】
このように、上記の各実施形態や変形例によれば、外部機器との通信を行わなくても、外界を撮像するという比較的簡便な方法でもって自身の位置を取得することができるので、外部との通信が不可能な環境下においても、自身の位置をユーザに通知することができる。
【図１】
2014209286.tif 000003
【図２】
2014209286.tif 000004
【図３】
2014209286.tif 000005
【図４】
2014209286.tif 000006
【図５】
2014209286.tif 000007