(57)【要約】【課題】ＧＰＳによる測位データの誤差を正確に補正する。【解決手段】撮像装置１は、撮像素子ＩＳの出力画像信号に基づく基準画像（例えば距離画像）とＧＰＳ測位による原測位データ（ｘＭ，ｙＭ，ｚＭ）をアップロードする。サーバ機器ＳＶは、位置（ｘＭ，ｙＭ，ｚＭ）付近に所在地を有する対象物についての複数の評価対象画像（例えば距離画像）をデータベースから抽出し、抽出画像群の中から基準画像の類似画像を検索して、類似画像に関連付けられた対象物の位置データを撮像装置１に返信する。測位データ補正部３３は、受信した位置データと、撮像素子ＩＳの出力画像信号に基づく距離画像と、撮像装置１の向きを表す撮影方向データとに基づき、原測位データ（ｘＭ，ｙＭ，ｚＭ）を補正し補正測位データ（ｘＣ，ｙＣ，ｚＣ）を得る。【選択図】図１
2013156111.tif 000002
【特許請求の範囲】
【請求項１】
被写体の画像信号を出力する撮像素子を有する撮像部と、
前記撮像素子の出力を用いて当該電子機器及び前記被写体間の距離を表す距離データを生成する距離データ生成部と、
前記撮像部の撮影方向を検出することで撮影方向データを生成する撮影方向検出部と、
衛星からの信号に基づく測位を行って原測位データを生成する測位処理部と、
前記撮像素子の出力に基づく基準画像を外部機器に送信する送信部と、
前記外部機器から前記基準画像に基づく位置データを受信する受信部と、
受信位置データ、前記距離データ及び前記撮影方向データに基づいて前記原測位データを補正する測位データ補正部と、を備えた
ことを特徴とする電子機器。
【請求項２】
前記基準画像に対応する対象画像に関連付けられた位置に関するデータが前記位置データとして前記受信部にて受信され、
前記対象画像に関連付けられた位置に関するデータは、前記対象画像に含まれる対象物の所在地データを含む
ことを特徴とする請求項１に記載の電子機器。
【請求項３】
前記送信部は、前記基準画像及び前記原測位データを外部機器に送信し、
前記受信位置データは、前記基準画像及び前記原測位データに基づく位置データである
ことを特徴とする請求項１又は請求項２に記載の電子機器。
【請求項４】
被写体の画像信号を出力する撮像素子を有する撮像部と、
前記撮像素子の出力を用いて当該電子機器及び前記被写体間の距離を表す距離データを生成する距離データ生成部と、
前記撮像部の撮影方向を検出することで撮影方向データを生成する撮影方向検出部と、
衛星からの信号に基づく測位を行って原測位データを生成する測位処理部と、
前記原測位データを外部機器に送信する送信部と、
前記外部機器から前記原測位データに基づく対象画像及び位置データを受信する受信部と、
前記対象画像と前記撮像素子の出力に基づく基準画像とを対比し、対比結果に応じて前記位置データを前記受信部の受信内容から抽出する演算処理部と、
抽出位置データ、前記距離データ及び前記撮影方向データに基づいて前記原測位データを補正する測位データ補正部と、を備えた
ことを特徴とする電子機器。
【請求項５】
前記位置データは、前記対象画像に含まれる対象物の所在地データを含む
ことを特徴とする請求項５に記載の電子機器。
【請求項６】
前記受信部は、前記外部機器から前記原測位データに基づく対象画像群及び位置データ群を受信し、
前記演算処理部は、前記対象画像群の中から前記基準画像に対応する画像を前記対象画像として抽出し、前記対象画像に関連付けられた前記位置データを前記位置データ群から抽出する
ことを特徴とする請求項４又は請求項５に記載の電子機器。
【請求項７】
前記基準画像として、前記距離データによる距離画像を用いた
ことを特徴とする請求項１〜請求項６の何れかに記載の電子機器。
【請求項８】
前記撮像部は、前記被写体に対して光を照射する測距用光源を有し、
前記距離データは、前記測距用光源を用いて生成される
ことを特徴とする請求項１〜請求項７の何れかに記載の電子機器。
【請求項９】
前記撮像部は、前記撮像素子として複数の撮像素子を有するとともに、前記複数の撮像素子に対応する複数の測距用光源を有し、
前記複数の測距用光源は前記被写体に対して複数の波長を持つ光を照射し、
前記距離データ生成部は、前記被写体からの反射光に依存する各撮像素子の出力を用いて前記距離データを生成する
ことを特徴とする請求項１〜請求項７の何れかに記載の電子機器。
【請求項１０】
前記測位データ補正部による前記原測位データへの補正量に応じ、警告報知を成す
ことを特徴とする請求項１〜請求項９の何れかに記載の電子機器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置等の電子機器に関する。
【背景技術】
【０００２】
撮像装置等の電子機器において、撮影画像と共にグローバルポジショニングシステム（ＧＰＳ）を利用した位置情報を記録できるが増えてきている。ＧＰＳ機能を用いればユーザ及び電子機器の概ねの現在地を把握することができる。尚、携帯電話機の現在地情報をサーバ機器に送信し、サーバ機器が当該現在地情報に関連する画像を抽出して携帯電話機に返信する方法もある（例えば下記特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２７７３２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ＧＰＳ機能を用いた位置の検出精度には限界があり、ユーザにとって許容できない誤差が検出位置に含まれることがある。尚、特許文献１の方法は当該誤差の低減に寄与しない。
【０００５】
そこで本発明は、測位データを正確に補正しうる電子機器を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明に係る第１の電子機器は、被写体の画像信号を出力する撮像素子を有する撮像部と、前記撮像素子の出力を用いて当該電子機器及び前記被写体間の距離を表す距離データを生成する距離データ生成部と、前記撮像部の撮影方向を検出することで撮影方向データを生成する撮影方向検出部と、衛星からの信号に基づく測位を行って原測位データを生成する測位処理部と、前記撮像素子の出力に基づく基準画像を外部機器に送信する送信部と、前記外部機器から前記基準画像に基づく位置データを受信する受信部と、受信位置データ、前記距離データ及び前記撮影方向データに基づいて前記原測位データを補正する測位データ補正部と、を備えたことを特徴とする。
【０００７】
これにより測位データの正確な補正が期待される。
【０００８】
具体的には例えば、第１の電子機器において、前記基準画像に対応する対象画像に関連付けられた位置に関するデータが前記位置データとして前記受信部にて受信され、前記対象画像に関連付けられた位置に関するデータは、前記対象画像に含まれる対象物の所在地データを含んでいてもよい。
【０００９】
また例えば、第１の電子機器において、前記送信部は、前記基準画像及び前記原測位データを外部機器に送信しても良く、前記受信位置データは、前記基準画像及び前記原測位データに基づく位置データであっても良い。
【００１０】
原測位データを外部機器に提供することで、電子機器に返信されるべき位置データの決定用処理負担を軽減可能である。
【００１１】
本発明に係る第３の電子機器は、被写体の画像信号を出力する撮像素子を有する撮像部と、前記撮像素子の出力を用いて当該電子機器及び前記被写体間の距離を表す距離データを生成する距離データ生成部と、前記撮像部の撮影方向を検出することで撮影方向データを生成する撮影方向検出部と、衛星からの信号に基づく測位を行って原測位データを生成する測位処理部と、前記原測位データを外部機器に送信する送信部と、前記外部機器から前記原測位データに基づく対象画像及び位置データを受信する受信部と、前記対象画像と前記撮像素子の出力に基づく基準画像とを対比し、対比結果に応じて前記位置データを前記受信部の受信内容から抽出する演算処理部と、抽出位置データ、前記距離データ及び前記撮影方向データに基づいて前記原測位データを補正する測位データ補正部と、を備えたことを特徴とする。
【００１２】
これによっても測位データの正確な補正が期待される。
【００１３】
具体的には例えば、第２の電子機器において、前記位置データは、前記対象画像に含まれる対象物の所在地データを含んでいても良い。
【００１４】
また例えば、第２の電子機器において、前記受信部は、前記外部機器から前記原測位データに基づく対象画像群及び位置データ群を受信しても良く、前記演算処理部は、前記対象画像群の中から前記基準画像に対応する画像を前記対象画像として抽出し、前記対象画像に関連付けられた前記位置データを前記位置データ群から抽出しても良い。
【００１５】
また例えば、第１又は第２の電子機器において、前記基準画像として、前記距離データによる距離画像を用いてもよい。
【００１６】
また例えば、第１又は第２の電子機器において、前記撮像部は、前記被写体に対して光を照射する測距用光源を有し、前記距離データは、前記測距用光源を用いて生成されてもよい。
【００１７】
また例えば、第１又は第２の電子機器において、前記撮像部は、前記撮像素子として複数の撮像素子を有するとともに、前記複数の撮像素子に対応する複数の測距用光源を有し、前記複数の測距用光源は前記被写体に対して複数の波長を持つ光を照射し、前記距離データ生成部は、前記被写体からの反射光に依存する各撮像素子の出力を用いて前記距離データを生成してもよい。
【００１８】
これにより、オクルージョンの影響が抑制された、より正確な距離データの取得が期待される。
【００１９】
また例えば、第１又は第２の電子機器において、前記測位データ補正部による前記原測位データへの補正量に応じ、警告報知を成してもよい。
【発明の効果】
【００２０】
本発明によれば、測位データを正確に補正しうる電子機器の提供が可能である。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施形態に係る測位システムの概略全体ブロック図である。
【図２】本発明の実施形態に係るＸ、Ｙ及びＺ軸を定義する図である。
【図３】撮像装置の方位角及び姿勢角を説明するための図である。
【図４】撮像部に設けることのできる測距用光源を説明するための図である。
【図５】画像ファイルの構造を示す図である。
【図６】本発明の第１実施例に係る測位システムの動作フローチャートである。
【図７】撮像装置にて取得される通常撮影画像及び距離画像の例を示す図である。
【図８】本発明の第１実施例に係るサーバ機器の内部ブロック図である。
【図９】類似画像検索処理の手順を示すフローチャートである。
【図１０】複数の評価対象画像と複数の位置データを示す図である。
【図１１】測位データ補正処理を説明するための図であって、撮像装置及び対象物間の位置関係例を示す図である。
【図１２】測位データ補正処理を説明するための図であって、撮像装置及び対象物間の位置関係例を示す図である。
【図１３】測位データ補正処理による測位データの補正イメージ図である。
【図１４】図６の一部のステップの変形例を示す図である。
【図１５】本発明の第２実施例に係る測位システムの動作フローチャートである。
【図１６】本発明の第２実施例に係る主制御部の内部ブロック図である。
【図１７】本発明の第３実施例に係る測位システムの動作フローチャートである。
【図１８】本発明の第３実施例に係り、ダウンロードされる撮影推奨カラー画像及び撮影推奨距離画像を示す図である。
【図１９】本発明の第４実施例に係る撮像部の構造を示す図である。
【図２０】本発明の第５実施例に係る測位システムの概略全体ブロック図である。
【図２１】本発明の第６実施例に係る撮像装置及びアクセスポイントを示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態の例を、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。尚、本明細書では、記述の簡略化上、情報、信号、物理量、状態量又は部材等を参照する記号又は符号を記すことによって該記号又は符号に対応する情報、信号、物理量、状態量又は部材等の名称を省略又は略記することがある。
【００２３】
図１は、本発明の実施形態に係る測位システムの全体構成を示す概略ブロック図である。測位システムは、電子機器１と、電子機器１の外部機器である、コンピュータ等から成るサーバ機器ＳＶと、を備える。電子機器１及びサーバ機器ＳＶは、インターネット等を含んで形成されるネットワークＮＥＴに接続され、ネットワークＮＥＴを介して任意のデータの通信が可能である。電子機器１は、符号１１〜２１によって参照される各部位を備える。電子機器１は撮影機能を有している。故に、以下では、電子機器１を撮像装置（デジタルカメラ）と呼ぶ。撮像装置は電子機器の一種である。撮像装置１において、撮影機能以外の機能（例えば、電話機能、インターネット接続機能、電子メール送受信機能及び音楽の再生機能）が更に実現されても良く、この場合、撮像装置１は撮像装置以外の機器（例えば、携帯電話機又は情報端末）に分類されうる。
【００２４】
撮像部１１は、光学系、絞り、及び、ＣＣＤ（Charge Coupled Device）又はＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサなどから成る撮像素子（固体撮像素子）ＩＳを有し、撮像素子ＩＳを用いて被写体の撮影を行う。撮像素子ＩＳは、光学系を介して入射した被写体の光学像を光電変換し、該光電変換によって得られた電気信号、即ち被写体の画像信号を出力する。
【００２５】
測位処理部１２は、グローバルポジショニングシステム（ＧＰＳ）を形成する衛星より送信される信号を受信し、受信信号に基づき撮像装置１の測位を行う。撮像装置１の測位とは、撮像装置１の位置（所在地）を求める処理を指し、求められる撮像装置１の位置は、撮像装置１の経度、緯度及び高度を含む。但し、撮像装置１の高度は、求められる撮像装置１の位置に含まれないこともある。測位処理部１２による測位の結果、即ち、求められた撮像装置１の経度、緯度及び高度を含むデータは原測位データとして主制御部２１に出力される。図２に示すように、原点Ｏにて互いに直交及び交差するＸ軸、Ｙ軸及びＺ軸を定義する。Ｘ軸及びＹ軸は水平面に平行であり、Ｚ軸は重力の方向に平行である。以下では、任意の物体の位置（所在地）の経度、緯度及び高度を、それぞれＸ、Ｙ及びＺ軸上の座標値ｘ，ｙ及びｚとして表現すると共に、座標値ｘ，ｙ及びｚに対応する物体の位置（所在地）を示すデータを位置データと呼ぶ又は（ｘ，ｙ，ｚ）にて表記する。原測位データによって示される撮像装置１の座標値ｘ，ｙ及びｚを、夫々、記号ｘＭ，ｙＭ及びｚＭにて表す。従って、原測位データが表す撮像装置１の位置は（ｘＭ，ｙＭ，ｚＭ）である。原点Ｏを基準として、Ｘ軸及びＹ軸の正方向はそれぞれ東及び北に対応し、Ｚ軸の正方向は上方向（重力の向きと逆方向）に対応する。
【００２６】
撮影方向検出部１３は、撮像部１１の撮影方向（即ち、撮像部１１の光軸方向）を検出することにより、撮影方向データを生成する。撮影方向データには、方位角θ及び姿勢角φが含まれる。原点Ｏに撮像装置１が配置されていると考え、図３（ａ）及び（ｂ）を参照して方位角θ及び姿勢角φの意義を説明する。方位角θは、撮影方向の方位を表す角度であり、電子コンパス等を用いて検出される。例えば、図３（ａ）に示す如く、原点Ｏから北に向かう線分と、原点Ｏから光軸に沿って被写体側に向かう線分３０１との成す角度を、方位角θとして定義することができる。但し、線分３０１が原点Ｏから西に伸びている場合にθ＝９０°であり、線分３０１が原点Ｏから東に伸びている場合にθ＝２７０°であるとする。姿勢角φは、基準姿勢から見た撮像装置１の姿勢差を表す角度であり、磁気センサ又はジャイロセンサ等を用いて検出される。撮影方向が水平面と平行であるときの撮像装置１の姿勢が基準姿勢である。従って、図３（ｂ）に示す如く、撮影方向（即ち光軸方向）と水平面との成す角度を姿勢角φとして定義することができる。但し、撮影方向が上方向の成分を有しているときφ＞０°であり、撮影方向が下方向の成分を有しているときφ＜０°であるとする。
【００２７】
撮影方向記録部１４は、半導体メモリ等から成り、撮影方向検出部１３にて生成された撮影方向データを必要分だけ一時的に記録する。メモリ部１５は、半導体メモリ又は磁気ディスク等から成り、撮像装置１にて生成された又は撮像装置１が取得した任意の情報を記録する。メモリ部１５の一部又は全部はデータベース１６として機能する。表示部１７は、液晶ディスプレイパネル等の表示画面を有する表示装置であり、主制御部２１の制御の下、任意の映像を表示する。操作部１８は、静止画像の撮影指示を受け付けるシャッタボタン１８ａ及びズーム倍率の変更指示を受け付けるズームボタン１８ｂ等を備え、ユーザからの各種操作を受け付ける。操作部１８に対する操作内容は、主制御部２１に伝達される。ボタン１８ａ及び１８ｂは、表示部１７に設けられうるタッチパネル上のボタンであってもよい。
【００２８】
送信部１９及び受信部２０によって通信部が形成される。送信部１９は、ネットワークＮＥＴに接続され、サーバ機器ＳＶを含む、撮像装置１以外の任意の機器に対して、任意の情報を送信可能である。受信部２０は、ネットワークＮＥＴに接続され、サーバ機器ＳＶを含む、撮像装置１以外の任意の機器から、任意の情報を受信可能である。
【００２９】
主制御部２１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）等にて形成され、撮像装置１内の各部位の動作を統括的に制御する。主制御部２１には、画像処理部３１、距離データ生成部３２及び測位データ補正部３３が設けられている。画像処理部３１、距離データ生成部３２又は測位データ補正部３３は、主制御部２１外に設けられていると考えても構わない。
【００３０】
画像処理部３１は、撮像素子ＩＳからの画像信号に対し所定の画像処理（ノイズ低減処理、デモザイキング処理、色補正処理、エッジ強調処理など）を施すことでカラー画像を生成する。カラー画像は、被写体からの光の強さ及び色を表す二次元画像であり、撮像部１１の撮影画像の一種である。但し、後述の距離画像と区別すべく、以下では、画像処理部３１にて生成されるカラー画像を通常撮影画像と呼ぶ。尚、本明細書では、記述の簡略化上、任意の画像を表す画像信号又は画像データを単に画像とも言う。
【００３１】
距離データ生成部（距離画像生成部）３２は、撮像素子ＩＳの出力画像信号を用いて、撮像部１１の撮影領域内に位置する各被写体の被写体距離を検出し、その検出結果を表す距離データを生成する。或る被写体の被写体距離とは、当該被写体と撮像装置１又は当該被写体を撮影する任意の撮像装置との間の実空間上の距離を指す。距離データ生成部３２は、距離画像を距離データとして生成することができる。距離画像は、各画素の画素値に被写体距離の検出値を持たせた濃淡画像である。撮像素子ＩＳの出力画像信号に基づき距離データ及び距離画像を生成する処理を距離データ生成処理又は距離画像生成処理と呼ぶ。
【００３２】
撮像素子ＩＳの出力を用いた被写体距離の検出方法及び距離データの生成方法として、公知の任意の方法を利用可能である。図４（ａ）に示す如く、被写体に対して光を照射する測距用光源ＬＴを撮像部１１に設け、測距用光源ＬＴを用いて距離データを生成するようにしても良い。測距用光源ＬＴを複数個の発光素子にて形成しても良い。
【００３３】
そして、いわゆるＴＯＦ（Time Of Flight）測距を用いて距離データを生成しても良い。より具体的には例えば、近赤外線光を出射するＬＥＤ（Light Emitting Diode）にて測距用光源ＬＴを形成し、該ＬＥＤの出射光を約１０ＭＨｚ（メガヘルツ）で変調して被写体に投光する。ＬＥＤの出射光に対する被写体からの反射光は、撮像素子ＩＳにて受光される。距離データ生成部３２は、撮像素子ＩＳの出力画像信号に基づき画素ごとに上記出射光及び反射光間の位相差を求め、画素ごとに該位相差から被写体距離を算出することができる。また、互いに異なる波長を持った複数の正弦波（例えば数１０の正弦波）でＬＥＤの出射光を変調して被写体に投光するようにしても良い。単波長についての位相差だけを見ると同位相を与える距離が複数存在しうる（結果、測距に大きな誤差が生じうる）。複数の波長を持った変調波を投光することで測距の精度向上が可能である。撮像素子ＩＳにて連続的に位相差を計測するようにすればリアルタイムで距離データを生成することができる。
【００３４】
或いは、図４（ｂ）に示す如く、測距用光源ＬＴとしてレーザを採用してレーザからの光が撮影領域内の各被写体に順次照射されるようにレーザ光のスキャニングを行うようにしても良い。この場合、レーザの出射光に対する被写体からの反射光が撮像素子ＩＳにて受光され、距離データ生成部３２は、撮像素子ＩＳの出力画像信号に基づき距離データを得ることができる。更に或いは、いわゆるパターン照射方式にて距離画像生成処理を実現してもよい。即ち、図４（ｃ）に示す如く、所定パターン（例えばマトリクスパターン）を有するレーザ光が被写体に照射されるように測距用光源ＬＴを形成し、レーザ光の反射光を表す撮像素子ＩＳの出力画像信号に基づき（反射光のひずみ具合いに基づき）距離データを得るようにしても良い。
【００３５】
測位データ補正部３３は、送信部１９及び受信部２０を利用して得たデータに基づき、必要に応じて原測位データを補正し、補正の成された原測位データを補正測位データとして出力する。補正測位データによって示される撮像装置１の座標値ｘ，ｙ及びｚを、夫々、記号ｘＣ，ｙＣ及びｚＣにて表す。即ち、補正測位データが指し示す撮像装置１の位置は（ｘＣ，ｙＣ，ｚＣ）である。補正方法については後に詳説する。
【００３６】
［画像記録処理］
主制御部２１は、画像記録処理を行うことができる。画像記録処理とは、シャッタボタン１８ａの押下操作（後述の全押し操作に相当）を受けて撮像素子ＩＳから読み出した画像信号に基づく通常撮影画像を、付加データと共にメモリ部１５（例えばメモリ部１５内の不揮発性メモリ）に記録する処理を指す。この際例えば、図５に示す如く、メモリ部１５内にヘッダ領域及び本体領域から成る画像ファイルが形成され、付加データ及び通常撮影画像が夫々ヘッダ領域及び本体領域に格納される。画像ファイルを、例えば、Ｅｘｉｆ（Exchangeable image file format）のファイルフォーマットに準拠させることができる。付加データに、通常撮影画像の撮影地点の測位データ、並びに、通常撮影画像の撮影時の焦点距離、Ｆ値及びＩＳＯ感度などを含めておくことができ、更に距離画像を含めておいても良い。また、通常撮影画像ではなく距離画像が本体領域に格納された画像ファイルを形成しても良い。付加データに含められる測位データは、原測位データ（ｘＭ，ｙＭ，ｚＭ）又は補正測位データ（ｘＣ，ｙＣ，ｚＣ）である。データベース１６に、次々と得られる原測位データ（ｘＭ，ｙＭ，ｚＭ）又は補正測位データ（ｘＣ，ｙＣ，ｚＣ）を、時系列に沿って蓄積記録するようにしても良い。
【００３７】
［スルー表示］
主制御部２１は、表示部１７を用いてスルー表示を行うことができる。スルー表示とは、所定のフレームレートで撮像素子ＩＳから画像信号を読み出して、通常撮影画像を順次生成し、順次生成された通常撮影画像を表示部１７に更新表示させる処理を指す。尚、スルー表示を成すことを目的として生成される通常撮影画像の解像度は、画像記録処理において取得及び生成される通常撮影画像の解像度より低くても良い。
【００３８】
［ログ経路記録処理］
主制御部２１は、ログ経路記録処理を行うことができる。ログ経路保存処理とは、周期的に又は間欠的に測位データを取得し、順次取得された測位データを時系列に沿ってメモリ部１５（データベース１６）に記録する処理を指す。これにより、撮像装置１を所持して移動するユーザの移動経路が記録されることになる。ログ経路保存処理において取得及び記録される測位データは、原則として原測位データ（ｘＭ，ｙＭ，ｚＭ）であるが、測位データ補正部３３による補正が行われた場合には、補正測位データ（ｘＣ，ｙＣ，ｚＣ）である。
【００３９】
［測位データ補正処理］
主制御部２１は、測位データ補正部３３を用いて、測位処理部１２の測位結果を補正する測位データ補正処理を実行することができる。具体的には例えば、メモリ部１５内の不揮発性プログラムメモリに保存された補正アプリケーションソフトウェアを主制御部２１のＣＰＵが読み込み、ＣＰＵが補正アプリケーションソフトウェアを実行することで測位データ補正処理が実現される。但し、測位データ補正処理を、ハードウェアのみで実現させるようにしても良い。
【００４０】
上述の構成及び動作を基本とする測位システムのより詳細な実施例を、以下に説明する。矛盾なき限り、以下に述べる複数の実施例の内、２以上の実施例を互いに組み合わせることも可能であり、或る実施例において説明した事項を他の実施例に適用することも可能である。
【００４１】
＜＜第１実施例＞＞
測位システムの第１実施例を説明する。図６は、第１実施例に係る測位システムの動作フローチャートである。まずステップＳ１１において、撮像装置１に電源が投入されることで撮像装置１及び補正アプリケーションソフトウェアが起動し、その後、スルー表示が継続的に実行される一方でステップＳ１２〜Ｓ１８の処理が順次実行される（但し、スルー表示は適宜中断されうる）。ここでは、撮像装置１の起動後、ログ経路記録処理を継続実行されるものとする（後述の他の実施例においても同様）。
【００４２】
ステップＳ１２において、測位処理部１２及び撮影方向検出部１３は、原測位データ（ｘＭ，ｙＭ，ｚＭ）及び撮影方向データ（θ，φ）を取得する。この際、主制御部２１は、上記付加データ（図５参照）に含められるべき焦点距離を取得しておいても良い。
【００４３】
ステップＳ１３において、画像処理部３１は撮像素子ＩＳの出力画像信号から通常撮影画像を取得し、距離データ生成部３２は距離画像生成処理によって距離画像を取得する。得られた通常撮影画像はスルー表示に利用される或いは画像記録処理によって記録される。シャッタボタン１８ａは２段階の押下操作が可能である。シャッタボタン１８ａを半分だけ押しこむ操作を半押し操作と呼び、シャッタボタン１８ａを完全に押しこむ操作を全押し操作と呼ぶ。ステップＳ１３において、画像処理部３１及び距離データ生成部３２は、半押し操作又は全押し操作を受けて撮像素子ＩＳから読み出された画像信号に基づき通常撮影画像及び距離画像を生成するようにしても良い。シャッタボタン１８ａがタッチパネル上のボタンである場合、上述の半押し操作又は全押し操作は、タッチパネル上のシャッタボタン１８ａを操作体（指や操作ペン）にて触れる操作、又は、タッチパネル上のシャッタボタン１８ａを操作体にて触れた後、該操作体をタッチパネルから離す操作に置き換えられうる。今、ステップＳ１３にて取得された通常撮影画像及び距離画像が、夫々、図７（ａ）及び（ｂ）の画像３１０及び３２０であるとする。通常撮影画像３１０及び距離画像３２０は、被写体の１つである対象物ＳＵＢを撮影することで得られた画像である。図７（ａ）及び（ｂ）において、点ＳＵＢＰは、通常撮影画像３１０及び距離画像３２０における対象物ＳＵＢの重心を表している。
【００４４】
ステップＳ１４において、主制御部２１は、ステップＳ１３にて取得された距離画像を基準画像に設定し、主制御部２１の制御の下、送信部１９は、基準画像と共に、基準画像の撮影位置（即ち、基準画像の撮影時における原測位データ（ｘＭ，ｙＭ，ｚＭ））をアップロードする（送信する）。アップロードとは、送信部１９からネットワークＮＥＴを経由してサーバ機器ＳＶ（又は任意のサイト等）に対し任意の情報を送信することを指す。
【００４５】
ステップＳ１５において、サーバ機器ＳＶは、ステップＳ１４にてアップロードされた基準画像及び原測位データに基づき類似画像検索処理を実行し、これによって対象物位置データ（ｘＴ，ｙＴ，ｚＴ）を決定する。理想的には、対象物位置データ（ｘＴ，ｙＴ，ｚＴ）は基準画像に含まれている対象物ＳＵＢの所在地を正確に示す（後述の他の実施例においても同様）。
【００４６】
図８〜図１０を参照して、類似画像検索処理を説明する。図８は、第１実施例に係るサーバ機器ＳＶとしてのサーバ機器ＳＶＡの内部ブロック図である。図９は、類似画像検索処理の手順を表すフローチャートである。類似画像検索処理は、ステップＳ３１〜Ｓ３４の処理から成る。サーバ機器ＳＶＡは、符号５１〜５４によって参照される各部位を備える。但し、データベース５１の全部又は一部は、ネットワークＮＥＴに接続された、サーバ機器ＳＶＡ以外の機器に設けられていても良い。図１０には、複数の評価対象画像から成る画像群３４０と、複数の位置データから成る位置データ群３４１が示されている。画像群３４０及び位置データ群３４１は、実際には例えば、Ｅｘｉｆ等のファイルフォーマットに準拠する複数の画像ファイルに格納された上でデータベース５１に保存される。画像群３４０における第ｉ番目の評価対象画像を記号Ｑｉによって参照する（ｉは整数）。評価対象画像ごとに位置データが評価対象画像に関連付けられている。評価対象画像Ｑｉに関連付けられた位置データを（ｘｉ，ｙｉ，ｚｉ）によって表す。位置データ（ｘｉ，ｙｉ，ｚｉ）は、評価対象画像Ｑｉに含まれる対象物の所在地を表している。
【００４７】
説明の具体化及び簡略化上、基準画像には対象物が１つのみ含まれているものとし、各評価対象画像にも対象物が１つのみ含まれているものとする。上述の如く、基準画像が撮像装置１の撮影による距離画像である場合（図６のステップＳ１４参照）、各評価対象画像も、対応する対象物についての距離画像である。
【００４８】
撮像装置１から送信された原測位データ（ｘＭ，ｙＭ，ｚＭ）は画像限定選択部５２に与えられる。ステップＳ３１において、画像限定選択部５２は、原測位データ（ｘＭ，ｙＭ，ｚＭ）に基づき、画像群３４０において類似度評価部５３に供給されるべき評価対象画像を絞り込む。即ち、選択部５２は、画像群３４０の内、位置（ｘＭ，ｙＭ，ｚＭ）付近に所在地を有する対象物についての画像のみが類似度評価部５３に供給されるように、画像群３４０の一部を限定して選択し、選択した複数の評価対象画像を類似度評価部５３に供給する。尚、アップロードによって撮影方向データも選択部５２に与え、撮影方向データをも利用して上記選択を行うようにしても良い（撮影方向データをも利用して更なる絞り込みを行っても良い）。また、図６のステップＳ１４において基準画像のみのアップロードを行い、原測位データをアップロードしないようにしても良い。但し、この場合、ステップＳ３１（図９）の絞り込み及び選択が行われなくなる。
【００４９】
今、評価対象画像Ｑ１〜Ｑｎが選択されて類似度評価部５３に供給されたとする（ｎは２以上の整数）。ステップＳ３２において、類似度評価部５３は、評価対象画像Ｑ１〜Ｑｎにつき評価対象画像ごとに類似度評価処理を行う。類似度評価処理では、基準画像及び評価対象画像に基づき基準画像と評価対象画像との類似度を評価する。評価対象画像Ｑｉの類似度が大きいほど評価対象画像Ｑｉは基準画像に類似している。評価対象画像Ｑｉに対して求められた類似度を記号ＳＩＭｉによって表す。具体的には例えば、類似度評価処理において、類似度評価部５３は、基準画像及び評価対象画像Ｑｉの画像データから基準画像及び評価対象画像Ｑｉの夫々の画像特徴量（対象物を含む各物体の形状、奥行き、エッジ、ヒストグラムなど）を抽出し、基準画像及び評価対象画像Ｑｉ間で画像特徴量を対比することで類似度ＳＩＭｉを求める。
【００５０】
ステップＳ３３において、類似度評価部５３は、求められた類似度ＳＩＭ１〜ＳＩＭｎの中から所定の閾値以上の類似度を抽出し、抽出した類似度に対応する評価対象画像を基準画像の類似画像として抽出する。所定の閾値以上の類似度が複数存在する場合には、最大の類似度に対応する評価対象画像を基準画像の類似画像として特定することができる。基準画像の類似画像として特定及び抽出された評価対象画像を特定類似画像（抽出対象画像）と呼ぶ。
【００５１】
ステップＳ３４において、対象物位置データ取得部５４は、特定類似画像に関連付けられた位置データを対象物位置データ（ｘＴ，ｙＴ，ｚＴ）として、位置データ（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）から抽出する（換言すれば位置データ群３４１から抽出する）。従って例えば、類似度ＳＩＭ２が所定の閾値以上の類似度として抽出されることで評価対象画像Ｑ２が特定類似画像として抽出された場合、評価対象画像Ｑ２に関連付けられた位置に関するデータ、即ち、評価対象画像Ｑ２内の対象物の所在地を表す位置データ（ｘ２，ｙ２，ｚ２）が対象物位置データ（ｘＴ，ｙＴ，ｚＴ）として抽出される。
【００５２】
図６の説明に戻る。図９の類似画像検索処理により決定された対象物位置データ（ｘＴ，ｙＴ，ｚＴ）は、ステップＳ１５に続くステップＳ１６において、受信部２０によりダウンロードされる（受信される）。ダウンロードとは、ネットワークＮＥＴを介してサーバ機器ＳＶからの任意の情報を受信することを指す。
【００５３】
その後、ステップＳ１７において、測位データ補正部３３は、対象物位置データ（ｘＴ，ｙＴ，ｚＴ）、距離データとしての距離画像、及び、撮影方向データ（θ，φ）に基づき、原測位データ（ｘＭ，ｙＭ，ｚＭ）を補正する測位データ補正処理を行う。ステップＳ１７の測位データ補正処理において、ステップＳ１６、Ｓ１３及びＳ１２にて得た対象物位置データ（ｘＴ，ｙＴ，ｚＴ）、距離画像及び撮影方向データ（θ，φ）を用いることができる。
【００５４】
図１１等を参照して測位データ補正処理を説明する。今、図１１に示す如く、撮像装置１から東に１０ｍだけ離れた位置に対象物ＳＵＢが存在していることを想定し（従ってθ＝２７０°）、結果、距離画像３２０において対象物ＳＵＢの重心ＳＵＢＰの被写体距離が１０ｍであったとする。また、図１１の例では、φ＝０°であるとする。この場合、測位データ補正部３３は、対象物位置データ（ｘＴ，ｙＴ，ｚＴ）を対象物ＳＵＢの正確な所在地を表す位置データであるとみなし、（ｘＣ，ｙＣ，ｚＣ）＝（ｘＴ−１０，ｙＴ，ｚＴ）に従って、補正測位データ（ｘＣ，ｙＣ，ｚＣ）を求める。即ち、測位データ補正部３３は、測位処理部１２による原測位データ（ｘＭ，ｙＭ，ｚＭ）を、（ｘＣ，ｙＣ，ｚＣ）＝（ｘＴ−１０，ｙＴ，ｚＴ）へと補正する。尚、座標値ｘ，ｙ及びｚの単位はｍ（メートル）であるとする。
【００５５】
また、図１２に示す如く、θ＝２７０°且つ０°＜φ＜９０°であって、距離画像３２０において対象物ＳＵＢの重心ＳＵＢＰの被写体距離が１０ｍであったならば、測位データ補正部３３は、対象物位置データ（ｘＴ，ｙＴ，ｚＴ）を対象物ＳＵＢの正確な所在地を表す位置データであるとみなし、（ｘＣ，ｙＣ，ｚＣ）＝（ｘＴ−１０・ｃｏｓφ，ｙＴ，ｚＴ−１０・ｓｉｎφ）に従って、補正測位データ（ｘＣ，ｙＣ，ｚＣ）を求める。即ち、測位データ補正部３３は、測位処理部１２による原測位データ（ｘＭ，ｙＭ，ｚＭ）を、（ｘＣ，ｙＣ，ｚＣ）＝（ｘＴ−１０・ｃｏｓφ，ｙＴ，ｚＴ−１０・ｓｉｎφ）へと補正する。
【００５６】
測位データ補正処理の後、ステップＳ１８において、主制御部２１は、画像ファイル内の測位データを（ｘＭ，ｙＭ，ｚＭ）から（ｘＣ，ｙＣ，ｚＣ）に補正することができると共に、ログ経路記録処理において記録される上記移動経路を補正することができる。図１３（ａ）及び（ｂ）は、測位データの補正イメージ図である。また、ステップＳ１８において、スルー表示を行いつつ補正情報を表示部１７に表示するようにしても良い。補正情報は、例えば、補正測位データ、原測位データ及び補正測位データ間の誤差、又は、補正測位データ及び対象物位置データに基づく撮像装置１から対象物ＳＵＢまでの正確な距離である。
【００５７】
測位処理部１２を用いれば、ユーザ及び撮像装置１の概ねの現在地を把握することができるが、位置の検出精度には限界がある。本実施例による補正方法を用いれば、シャッタ操作に応答して得た画像はもちろん、スルー表示用に得た画像からでも、位置の検出誤差を正確に修正することができ、ユーザ及び撮像装置１の現在地を正確に知ることが可能となる。ネットワーク上には様々な対象物についての画像が存在するため、撮像装置１にとっての対象物が有名な対象物（観光名所の建造物等）でなくても（例えば、展示会会場、ショッピングモール、無名のビル、路地裏の店舗であっても）、測位データの補正が可能である。また、距離画像を基準画像に設定し、距離画像を元に類似画像検索処理を行うことにより、撮像装置１の撮影環境が暗い状況下や、対象物が同系色の背景に紛れていて物体認識が困難な状況下においても、正確に対象物を判別することができ、結果、正確に測位データを補正することが可能である。
【００５８】
但し、ステップＳ１４を図１４のステップＳ１４’へと置き換えるようにしてもよい。即ち、ステップＳ１４（ステップＳ１４’）において、主制御部２１は、ステップＳ１３にて取得された通常撮影画像を基準画像に設定するようにしても良い。通常撮影画像が基準画像である場合、各評価対象画像は、対応する対象物についてのカラー画像（対象物から、対象物を撮影する撮像装置の撮像素子に入射した光の強さ及び色を表す二次元画像）である（後述の他の実施例においても同様）。但し、通常撮影画像を基準画像に設定した場合、上述の状況下（例えば撮像装置１の撮影環境が暗い状況下）において対象物を正確に判別することが難しくなり、結果、距離画像を基準画像として用いる場合よりも測位データの補正精度等が低下しうる。
【００５９】
また、ステップＳ１８における補正情報の表示は警告情報の表示（以下、警告表示という）を含んでいても良い。ステップＳ１８において、主制御部２１は、原測位データが指し示す位置と補正測位データが指し示す位置との距離ΔＥＲＲ（実空間上の距離）を求めることができる。距離ΔＥＲＲは、測位処理部１２による測位の誤差を表していると共に、測位データ補正部３３による原測位データへの補正量に相当する。主制御部２１は、距離ΔＥＲＲが所定閾値以上であるとき、測位の誤差が大きいことを示唆する警告情報（文字、図形、アイコンなど）を表示部１７に表示させるようにしても良い。警告表示は、測位の誤差が大きいことを示唆する警告報知の一種であり、警告報知は、人間の五感（特に視覚、聴覚、触覚）に訴える任意に報知であっても良い。即ち、主制御部２１は、距離ΔＥＲＲが所定閾値以上であるとき、表示部１７を用いた映像出力、撮像装置１内のスピーカ（不図示）を用いた音声出力、又は、撮像装置１の振動などによって、測位の誤差が大きいことをユーザに報知しても良い（後述の他の実施例においても同様）。警告報知における“測位の誤差が大きい”とは、測位の誤差（即ち距離ΔＥＲＲ）が所定許容誤差よりも大きいことを意味する。
【００６０】
＜＜第２実施例＞＞
測位システムの第２実施例を説明する。図１５は、第２実施例に係る測位システムの動作フローチャートである。まずステップＳ５１において、撮像装置１に電源が投入されることで撮像装置１及び補正アプリケーションソフトウェアが起動し、その後、スルー表示が継続的に実行される一方でステップＳ５２〜Ｓ５９の処理が順次実行される。
【００６１】
ステップＳ５２において、測位処理部１２は原測位データ（ｘＭ，ｙＭ，ｚＭ）を取得する。続くステップＳ５３において、送信部１９は、主制御部２１の制御の下、ステップＳ５２にて取得された原測位データ（ｘＭ，ｙＭ，ｚＭ）をアップロードする（送信する）。アップロードされた原測位データ（ｘＭ，ｙＭ，ｚＭ）に基づき、サーバ機器ＳＶに設けられた画像限定選択部５２（図８参照）は、第１実施例で述べた方法に従い、画像群３４０において類似度評価部５３に供給されるべき評価対象画像を絞り込む。即ち、選択部５２は、画像群３４０の内、位置（ｘＭ，ｙＭ，ｚＭ）付近に所在地を有する対象物についての画像のみが類似度評価部５３に供給されるように、画像群３４０の一部を限定して選択する。第１実施例と同様、ここで選択された複数の評価対象画像が評価対象画像Ｑ１〜Ｑｎであるとする。尚、アップロードによって撮影方向データも選択部５２に与え、撮影方向データをも利用して上記選択を行うようにしても良い（撮影方向データをも利用して更なる絞り込みを行っても良い）。
【００６２】
第２実施例に係るサーバ機器ＳＶは、選択した複数の評価対象画像を、選択した複数の評価対象画像に対応する複数の位置データと共に、ネットワークＮＥＴを介して撮像装置１に送信する。逆に見れば、ステップＳ５４において、受信部２０は、位置（ｘＭ，ｙＭ，ｚＭ）周辺の対象物についての評価対象画像Ｑ１〜Ｑｎを、対応する位置データ（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）と共にダウンロードする（受信する）。その後、ステップＳ５５の取得処理により通常撮影画像３１０及び距離画像３２０を取得する（図７（ａ）及び（ｂ）参照）。ステップＳ５５の取得処理はステップＳ１３（図６参照）のそれと同じである。但し、ステップＳ５５における取得は、ステップＳ５１〜Ｓ５４の処理間に行われても良い。
【００６３】
続くステップＳ５６において、測位処理部１２及び撮影方向検出部１３は、最新の原測位データ（ｘＭ，ｙＭ，ｚＭ）及び撮影方向データ（θ，φ）を取得する。この際、主制御部２１は、上記付加データ（図５参照）に含められるべき焦点距離を取得しておいても良い。第２実施例では、撮像装置１側にてステップＳ５７の類似画像検索処理を実行することで対象物位置データ（ｘＴ，ｙＴ，ｚＴ）を決定する。これを実現するために、図１６に示す如く、主制御部２１に類似度評価部５３及び対象物位置データ取得部５４を設けておくと良い（図８も参照）。主制御部２１に含められる、類似度評価部５３及び対象物位置データ取得部５４から成る部位を演算処理部３４と呼んでも良い。ステップＳ５４にてダウンロードされた評価対象画像Ｑ１〜Ｑｎ及び位置データ（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）を、演算処理部３４に供給し、演算処理部３４にて図９のステップＳ３２〜Ｓ３４の処理を成す。これにより、ステップＳ５７及び演算処理部３４において、基準画像と各評価対象画像との類似度が評価されて（即ち、基準画像と各評価対象画像とが対比されて対比結果を表す類似度が導出され）評価対象画像Ｑ１〜Ｑｎの中から基準画像の類似画像である特定類似画像（抽出対象画像）が特定及び抽出されると共に、特定類似画像に関連付けられた位置データが対象物位置データ（ｘＴ，ｙＴ，ｚＴ）として、位置データ（ｘ１，ｙ１，ｚ１）〜（ｘｎ，ｙｎ，ｚｎ）から抽出される。
【００６４】
主制御部２１は、ステップＳ５５で取得された距離画像をステップＳ５７における基準画像に設定することが望ましい。この場合、第１実施例で述べたように、各評価対象画像も、対応する対象物についての距離画像である。但し、ステップＳ５５で取得された通常撮影画像をステップＳ５７における基準画像に設定しても良い。
【００６５】
ステップＳ５７に続くステップＳ５８において、測位データ補正部３３は、測位データ補正処理を行う。ステップＳ５８の測位データ補正処理は、図６のステップＳ１７のそれと同じである。但し、ステップＳ５８の測位データ補正処理において、ステップＳ５７、Ｓ５５及びＳ５６にて得た対象物位置データ（ｘＴ，ｙＴ，ｚＴ）、距離画像及び撮影方向データ（θ，φ）を用いることができる。その後、ステップＳ５９の処理が成される。ステップＳ５９の処理は、図６のステップＳ１８のそれと同じである。
【００６６】
第２実施例によっても第１実施例と同様の効果が得られる。第２実施例では、サーバ機器ＳＶに負担をかけることなく、またサーバ機器ＳＶの検索能力に依存することなく、撮像装置１側で類似画像の検索を行うことができ、場合によっては検索時間短縮も期待される。
【００６７】
尚、撮像装置１において、撮影によって得た通常撮影画像及び距離画像、並びに、ネットワークＮＥＴを経由して取得した任意の画像（評価対象画像を含む）を、それらに対応する原測位データ、補正測位データ又は位置データと共に、データベース１６に蓄積記録しておいても良い（上述の第１実施例及び後述の他の実施例においても同様）。また、通常撮影画像及び距離画像の撮影位置をお気に入りの場所として登録するユーザ操作が操作部１８に成された場合、撮像装置１の撮影による距離画像と補正測位データを互いに関連付けてデータベース１６に蓄積記録しておくようにしても良い（上述の第１実施例及び後述の他の実施例においても同様）。データベース１６に蓄積記録された情報（画像及びデータを含む）を、以後の測位データ補正処理に利用しても良い。
【００６８】
＜＜第３実施例＞＞
測位システムの第３実施例を説明する。図１７は、第３実施例に係る測位システムの動作フローチャートである。まずステップＳ７１において、撮像装置１に電源が投入されることで撮像装置１及び補正アプリケーションソフトウェアが起動し、その後、スルー表示が継続的に実行される一方でステップＳ７２〜Ｓ８０の処理が順次実行される。
【００６９】
ステップＳ７２において、測位処理部１２は原測位データ（ｘＭ，ｙＭ，ｚＭ）を取得する。続くステップＳ７３において、送信部１９は、主制御部２１の制御の下、ステップＳ７２にて取得された原測位データ（ｘＭ，ｙＭ，ｚＭ）をアップロードする（送信する）。
【００７０】
サーバ機器ＳＶは、アップロードされた原測位データ（ｘＭ，ｙＭ，ｚＭ）に基づき、位置（ｘＭ，ｙＭ，ｚＭ）付近に所在地を有する撮影おすすめスポットを撮像装置１に返信し、撮影おすすめスポットにて撮影を行うことをユーザに推奨する。
【００７１】
具体的には、サーバ機器ＳＶは、アップロードされた原測位データ（ｘＭ，ｙＭ，ｚＭ）に基づき、位置（ｘＭ，ｙＭ，ｚＭ）付近に所在地を有する対象物についての評価対象画像をデータベース５１から抽出する。ここで抽出された評価対象画像を撮影推奨画像と呼ぶ。データベース５１に格納され、撮影推奨画像に関連付けられた位置データを撮影推奨位置データと呼ぶ。
【００７２】
撮影推奨画像及び撮影推奨位置データは、対応するナビゲーション情報と共に、ステップＳ７４において受信部２０によりダウンロードされる（受信される）。撮影推奨画像は、測位データの補正用に撮影が推奨される画像であって、且つ、ユーザが撮影を望む可能性が高い画像である。故に、撮影推奨画像内の対象物は、なるだけ著名な物体（例えば観光名所の寺）であることが望ましい。第３実施例では、各々の評価対象画像が、対象物についてのカラー画像と対象物についての距離画像とから成るものとする。説明の具体化のため、以下の説明では、ダウンロードされる撮影推奨画像が図１８（ａ）及び（ｂ）の撮影推奨カラー画像４１０及び撮影推奨距離画像４２０から成るものとする。
【００７３】
撮影推奨画像に対応するナビゲーション情報は、撮影推奨画像の撮影に適した位置までユーザを誘導するための情報であり、例えば地図情報を含む。ユーザは、ダウンロードされ且つ表示部１７に表示された撮影推奨カラー画像４１０を参照しつつ、ナビゲーション情報に従って撮影推奨画像の撮影に適した位置にまで移動した後、シャッタボタン１８ａの押下操作を行う。結果、ステップＳ７５において、撮像装置１により通常撮影画像３１０及び距離画像３２０が取得される（図７（ａ）及び（ｂ）参照）。続くステップＳ７６において、測位処理部１２及び撮影方向検出部１３は、最新の原測位データ（ｘＭ，ｙＭ，ｚＭ）及び撮影方向データ（θ，φ）を取得する。この際、主制御部２１は、上記付加データ（図５参照）に含められるべき焦点距離を取得しておいても良い。
【００７４】
第３実施例においても、図１６に示す如く、類似度評価部５３及び対象物位置データ取得部５４を主制御部２１に設けておく。そして、ステップＳ７７において、主制御部２１の類似度評価部５３は、距離画像３２０を基準画像に設定した上で、基準画像及び撮影推奨距離画像４２０を対比することにより基準画像及び撮影推奨距離画像４２０間の類似度を評価する。或いは、ステップＳ７７において、主制御部２１の類似度評価部５３は、通常撮影画像３１０を基準画像に設定した上で、基準画像及び撮影推奨カラー画像４１０を対比することにより基準画像及び撮影推奨カラー画像４１０間の類似度を評価しても良い。２枚の画像間の類似度の導出方法は、第１実施例で述べた通りである。そして、主制御部２１の対象物位置データ取得部５４は、上述の対比結果に相当する上記類似度が所定の閾値以上であるかを確認することで、画像４１０又は４２０が基準画像の類似画像に相当するのかを照合する。
【００７５】
制御部２１の対象物位置データ取得部５４は、上記類似度（ステップＳ７７における類似度）が所定の閾値以上であるとき、ステップＳ７８において、画像４１０又は４２０は基準画像の類似画像であると判断して受信部２０の受信内容から撮影推奨位置データを抽出し、撮影推奨位置データを対象物位置データ（ｘＴ，ｙＴ，ｚＴ）に設定する。上述の説明から明らかなように、対象物位置データ（ｘＴ，ｙＴ，ｚＴ）として設定される撮影推奨位置データは、撮影推奨画像内の対象物の正確な所在地を表すデータである。尚、ステップＳ７７における類似度が所定の閾値以上でないときには、ステップＳ７５に戻り、通常撮影画像及び距離画像の再撮影を促すようにしても良い。
【００７６】
ステップＳ７８に続くステップＳ７９において、測位データ補正部３３は、測位データ補正処理を行う。ステップＳ７９の測位データ補正処理は、図６のステップＳ１７のそれと同じである。但し、ステップＳ７９の測位データ補正処理において、ステップＳ７８、Ｓ７５及びＳ７６にて設定又は取得された対象物位置データ（ｘＴ，ｙＴ，ｚＴ）、距離画像及び撮影方向データ（θ，φ）を用いることができる。その後、ステップＳ８０の処理が成される。ステップＳ８０の処理は、図６のステップＳ１８のそれと同じである。
【００７７】
上述の如く、第３実施例では、観光地等における撮影おすすめスポット（プロカメラマンが推奨する撮影ベストポイント等）をユーザに提示して誘導するというユーザ便宜を図った流れの中で、測位データの補正が可能となる。また、撮像装置１のユーザの友人によってアップロードされた画像が撮影推奨画像としてダウンロードされた場合には、当該友人の撮影場所と同じ場所で撮影を行うことができる。そして、撮像装置１による撮影画像をネットワークＮＥＴ上の画像共有サイト（例えば、Flickr（登録商標）、Facebook（登録商標）、Twitter（登録商標））などにアップロードすることで、撮像装置１のユーザ及び当該ユーザの友人間において画像情報をリアルタイムに共有することも可能となる。
【００７８】
尚、サーバ機器ＳＶにおいて、原測位データ（ｘＭ，ｙＭ，ｚＭ）に基づき２以上の撮影推奨画像が抽出されても良い。２以上の撮影推奨画像が抽出された場合には、受信部２０により、“撮影推奨画像、撮影推奨位置データ及びナビゲーション情報”の組が２組以上ダウンロードされ、撮像装置１は、複数組分の撮影推奨カラー画像を表示部１７に表示した上で、複数組分の撮影推奨カラー画像から１つを選択すべきことをユーザに促す。これを受けて、ユーザは複数組分の撮影推奨カラー画像から１つの撮影推奨カラー画像を選択する。この選択後、ステップＳ７４より後のユーザの移動及び撮像装置１の処理が上述の如く成される。
【００７９】
＜＜第４実施例＞＞
測位システムの第４実施例を説明する。第４実施例では、撮像部１１に、撮像素子、光学系及び測距用光源を複数組分設ける。例えば、図１９に示す如く、撮像部１１に、撮像素子ＩＳ１並びに撮像素子ＩＳ１用の光学系及び測距用光源ＬＴ１を設けると共に、撮像素子ＩＳ２並びに撮像素子ＩＳ２用の光学系及び測距用光源ＬＴ２を設ける。単眼の場合でも（即ち撮像素子の個数が１の場合でも）距離画像を生成することが可能であるが、周知の如く、単眼ではオクルージョンの影響を受けた部分の距離データを生成することができない。複眼を利用すればオクルージョンの影響を抑制することができる。
【００８０】
撮像素子ＩＳ１及びＩＳ２の夫々は上述の撮像素子ＩＳと同様のものである。測距用光源ＬＴ１及びＬＴ２の夫々も上述の測距用光源ＬＴと同様のものであってよい。撮像素子ＩＳ１及びＩＳ２は、互いに異なる位置に配置され、互いに視差を持った画像を生成可能である。但し、撮像素子ＩＳ１及びＩＳ２の撮影領域の一部同士は重複している。撮像素子ＩＳ１及びＩＳ２は、夫々、撮像装置１の左眼及び右眼として機能する。測距用光源ＬＴ１は撮像素子ＩＳ１の撮影領域内の被写体に対して光を照射し、測距用光源ＬＴ２は撮像素子ＩＳ２の撮影領域内の被写体に対して光を照射する。各測距用光源を複数個の発光素子にて形成しても良い。
【００８１】
測距用光源ＬＴ１及びＬＴ２は、撮像素子ＩＳ１及びＩＳ２の撮影領域内の被写体に対して複数の波長を有する光を照射するようにしても良い。より具体的には例えば、近赤外線光を出射するＬＥＤ（Light Emitting Diode）にて測距用光源ＬＴ１及びＬＴ２の夫々を形成し、互いに異なる波長を持った複数の正弦波（例えば数１０の正弦波）で各ＬＥＤの出射光を変調して被写体に投光するようにしても良い。各ＬＥＤの出射光に対する被写体からの反射光は、撮像素子ＩＳ１及びＩＳ２にて受光される。距離データ生成部３２は、撮像素子ＩＳ１の出力画像信号に基づき画素ごとに上記出射光及び反射光間の位相差を求め、画素ごとに該位相差から被写体距離を算出することで、撮像素子ＩＳ１の出力画像信号に基づく左眼距離画像を生成することができる。同様に、距離データ生成部３２は、撮像素子ＩＳ２の出力画像信号に基づき画素ごとに上記出射光及び反射光間の位相差を求め、画素ごとに該位相差から被写体距離を求めることで、撮像素子ＩＳ２の出力画像信号に基づく右眼距離画像を生成することができる。そして、距離データ生成部３２は、左眼距離画像と右眼距離画像を統合することで、オクルージョンの影響が抑制された最終距離画像を生成することができる。最終距離画像は、上述の第１〜第３実施例又は後述の他の実施例において距離データ生成部３２が生成すべき距離画像（例えば図７（ｂ）の距離画像３２０）であっても良い。
【００８２】
図１の画像処理部３１は、撮像素子ＩＳ１の出力画像信号から左眼通常撮影画像を生成することができ、撮像素子ＩＳ２の出力画像信号から右眼通常撮影画像を生成することができる。それらの画像の生成過程において、メディアンフィルタ等を用いたノイズ除去処理が行われても良い。左眼又は右眼通常撮影画像は、上述の第１〜第３実施例又は後述の他の実施例において画像処理部３１が生成すべき通常撮影画像（例えば図７（ａ）の通常撮影画像３１０）であっても良い。画像処理部３１は、左眼及び右眼通常撮影画像の夫々における対象物ＳＵＢの重心座標を求める。主制御部２１（距離データ生成部３２）は、各重心座標及び自身が求めた距離データから撮像装置１及び対象物ＳＵＢ間の正確な距離を導出することができ、導出した距離を用いて測位データ補正処理を成すことができる。
【００８３】
上述したように、複数の撮像素子を用いて測距を行うことでオクルージョンの影響を抑制することができる。また、単波長についての位相差だけを見ると同位相を与える距離が複数存在しうるが（結果、測距に大きな誤差が生じうるが）、複数の波長を持った変調波を投光することで測距の精度向上が可能である。撮像素子にて連続的に位相差を計測するようにすればリアルタイムで距離データを生成することが可能である。
【００８４】
尚、撮像部１１に、撮像素子、光学系及び測距用光源を２組設ける例を上述したが、撮像部１１に、撮像素子、光学系及び測距用光源を３組以上設けるようにしても良い。
【００８５】
また、撮像部１１に、互いに視差を有する２以上の撮像素子を設けた場合には、撮像部１１から測距用光源を割愛することも可能である。この場合、距離データ生成部３２は、２以上の撮像素子の出力画像信号に基づき三角測量の原理を用いて距離データを生成すればよい。
【００８６】
＜＜第５実施例＞＞
測位システムの第５実施例を説明する。送信部１９及び受信部２０から成る通信部は、仲介機器を介してネットワークＮＥＴに接続されても良い。図２０は、第５実施例に係る測位システムの全体構成を示す概略ブロック図であり、図１の測位システムに対して仲介機器ＣＣを追加することで図２０の測位システムが形成される。仲介機器ＣＣは、通信機能を有し、ネットワークＮＥＴに接続可能な機器であって、例えば、携帯電話機（所謂スマートフォンを含む）、情報端末、パーソナルコンピュータである。本実施例によれば、撮像装置１がネットワークＮＥＴに常時接続できない機器（例えば、Wi-Fi（登録商標）の認証機器）である場合などにおいても、仲介機器を介して、測位データの補正等が可能となる。
【００８７】
尚、ネットワークＮＥＴを経由して取得した任意の画像（評価対象画像を含む）及び位置データをデータベース１６に蓄積記録しておいても良いことを上述したが、第５実施例においては、データベース１６を仲介機器ＣＣに設けておいても良い。これにより、撮像装置１におけるデータ保存負荷が軽減される。
【００８８】
＜＜第６実施例＞＞
第６実施例を説明する。第６実施例では、自身の位置情報を撮像装置１に送信可能な特定物体が撮像装置１の周辺に位置していることを想定する。図２１には、特定物体の例としてのアクセスポイント５００（以下、ＡＰ５００という）が示されている。撮像装置１は、例えばWi-Fi（登録商標）の認証機器であって、ＡＰ５００を介してネットワークＮＥＴに接続することができる。
【００８９】
ＡＰ５００は、ＡＰ５００の所在地を表すＡＰ位置データ（ｘＴ２，ｙＴ２，ｚＴ２）を保持するメモリを有する。撮像装置１及びＡＰ５００間の通信可能な状態において、ＡＰ５００はＡＰ位置データ（ｘＴ２，ｙＴ２，ｚＴ２）を撮像装置１に送信することができ、撮像装置１の受信部２０は該ＡＰ位置データを受信することができる。ＡＰ位置データを受信したとき、撮像装置１は、ＡＰ５００を撮影すべきことを表示部１７等を用いてユーザに報知することができる。これを受けて、ユーザは撮像装置１を操作し、撮像装置１にＡＰ５００を対象物として撮影させる。結果、撮像装置１にて、対象物としてのＡＰ５００の撮影画像が得られる。ここで得られる撮影画像は、ＡＰ５００を含んだ撮影領域内の距離画像を含む。
【００９０】
測位データ補正部３３は、ＡＰ位置データ（ｘＴ２，ｙＴ２，ｚＴ２）としての対象物位置データと、ＡＰ５００を対象物として撮影することで得た距離画像と、その距離画像の撮影時における撮影方向データとに基づき、原測位データ（ｘＭ，ｙＭ，ｚＭ）を補正する測位データ補正処理を行うことができる。測位データ補正処理の具体的内容については上述の実施例で述べたとおりである。
【００９１】
第６実施例によっても第１実施例と同様の効果が得られる。第６実施例では、サーバ機器ＳＶを必要とすることもなく、短時間で測位データ補正を完了できる。尚、測位データ補正処理において、距離画像上におけるどの物体がＡＰ５００であるのかを撮像装置１に正確に認識させるべく、ＡＰ５００は、自身の形状等を示す情報（例えば、ＡＰ５００自身の画像）やＡＰ５００を特定付ける情報（例えば、撮像装置１にて観測可能なＡＰ５００固有の識別標識）を撮像装置１に送信するようにしてもよい。
【００９２】
＜＜変形等＞＞
本発明の実施形態は、特許請求の範囲に示された技術的思想の範囲内において、適宜、種々の変更が可能である。以上の実施形態は、あくまでも、本発明の実施形態の例であって、本発明ないし各構成要件の用語の意義は、以上の実施形態に記載されたものに制限されるものではない。上述の説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態に適用可能な注釈事項として、以下に、注釈１〜注釈３を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【００９３】
［注釈１］
撮影方向検出部１３及び撮影方向記録部１４にて検出及び記録される撮影方向データに、ロール角が含まれていても良い。ロール角は、撮像装置１のロール方向における角度であり、磁気センサ又はジャイロセンサ等を用いて検出される。撮像部１１の光軸を不変にした状態で撮像装置１の筐体を光軸周りに回転させる運動における回転角がロール角である。撮像装置１の撮影画像（通常撮影画像、距離画像）における水平方向が水平面と平行な状態において、ロール角は０度であり、ロール角の絶対値が増大するにつれて撮影画像の水平方向が水平面から傾く。第１〜第３実施例を含む上述の各実施例において、主制御部２１は、距離画像又は通常撮影画像をロール角にて補正したもの（水平面に対する、距離画像又は通常撮影画像の水平方向の傾きを補正した画像）を基準画像に設定することができる。これにより、ロール角に依存しない類似画像検索処理、類似度評価処理及び測位データ補正処理を実現可能である。
【００９４】
［注釈２］
姿勢角φは撮影方向データから削除されうる。また、原測位データ、補正測位データ及び任意の位置データ（対象物位置データを含む）に、高度成分であるＺ軸成分が含まれないこともある。原測位データ、補正測位データ及び任意の位置データにＺ軸成分が含まれない場合には、特に、撮影方向データから姿勢角φを削除しても構わない。
【００９５】
［注釈３］
撮像装置１及びサーバ機器ＳＶの夫々を、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって構成することができる。ソフトウェアを用いて撮像装置１又はサーバ機器ＳＶを構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアを用いて実現される機能をプログラムとして記述し、該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能を実現するようにしてもよい。
【符号の説明】
【００９６】
１  撮像装置
１１  撮像部
１２  測位処理部
１３  撮影方向検出部
１９  送信部
２０  受信部
３２  距離データ生成部
３３  測位データ補正部
３４  演算処理部
５２  画像限定選択部
５３  類似度評価部
５４  対象物位置データ取得部
ＩＳ、ＩＳ１、ＩＳ２  撮像素子
ＬＴ、ＬＴ１、ＬＴ２  測距用光源
ＮＥＴ  ネットワーク
ＳＶ、ＳＶＡ  サーバ機器
【図１】
2013156111.tif 000003
【図２】
2013156111.tif 000004
【図３】
2013156111.tif 000005
【図４】
2013156111.tif 000006
【図５】
2013156111.tif 000007
【図６】
2013156111.tif 000008
【図１０】
2013156111.tif 000009
【図１１】
2013156111.tif 000010
【図１２】
2013156111.tif 000011
【図１３】
2013156111.tif 000012
【図１４】
2013156111.tif 000013
【図１５】
2013156111.tif 000014
【図１６】
2013156111.tif 000015
【図１７】
2013156111.tif 000016
【図２０】
2013156111.tif 000017
【図２１】
2013156111.tif 000018
【図７】
2013156111.tif 000019
【図８】
2013156111.tif 000020
【図９】
2013156111.tif 000021
【図１８】
2013156111.tif 000022
【図１９】
2013156111.tif 000023