(57)【要約】      （修正有）【課題】特徴点間の相対距離が既知の校正器を用いず、複数のカメラ装置が既に設置された状態において、カメラ装置から測距対象物までの距離を簡易に測距することができるステレオ測距装置及びその方法を提供する。【解決手段】位置合わせ処理部４は、左カメラ装置ＬＣ及び右カメラ装置ＲＣにより撮像された被写体の各撮像画像に共通する複数の特徴点を用いて、各撮像画像中の複数の特徴点の所定方向の座標を位置合わせする。視差検出部５は、例えば左カメラ装置ＬＣにより撮像された被写体の撮像画像中の相対距離が異なる第１指定位置と第２指定位置とに対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの第１視差と第２視差とを検出する。視差距離変換計算部９は、第１視差及び第２視差を基に、例えば左カメラ装置ＬＣにより撮像された被写体の撮像画像中の任意の指定位置と左カメラ装置ＬＣとの間の距離を導出する。【選択図】図１
2014238322.tif 000002
【特許請求の範囲】
【請求項１】
同一の被写体を撮像する複数のカメラ装置に接続されたステレオ測距装置であって、
前記カメラ装置により撮像された前記被写体の各撮像画像に共通する複数の特徴点を用いて、前記各撮像画像中の前記複数の特徴点の所定方向の座標を位置合わせする位置調整部と、
前記複数のカメラ装置のうちいずれかの基準カメラ装置により撮像された前記被写体の撮像画像中の相対距離が異なる第１指定位置と第２指定位置とに対応する、前記複数のカメラ装置からの第１視差と第２視差とを検出する視差検出部と、
前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を導出する視差距離変換部と、を備える、
ステレオ測距装置。
【請求項２】
請求項１に記載のステレオ測距装置であって、
前記被写体の撮像画像中の相対距離が同一となる第３指定位置と第４指定位置に対応する、前記複数のカメラ装置からの第３視差と第４視差とを等しくする視差補正係数を用いて、前記第３視差又は前記第４視差を補正する視差補正部、を更に備える、
ステレオ測距装置。
【請求項３】
請求項２に記載のステレオ測距装置であって、
前記複数のカメラ装置からの第３視差と第４視差とを等しくする視差補正係数を導出する視差補正係数導出部、を更に備え、
前記視差補正部は、
前記視差補正係数導出部により導出された前記視差補正係数を記憶する視差補正係数記憶部を含む、
ステレオ測距装置。
【請求項４】
請求項１に記載のステレオ測距装置であって、
前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置に対応する前記複数のカメラ装置からの視差と、前記基準カメラ装置と前記任意の指定位置との間の距離との変換係数を導出する視差距離変換係数導出部、を更に備え、
前記視差距離変換部は、
前記視差距離変換係数導出部により導出された前記変換係数を記憶する視差距離変換係数記憶部を含む、
ステレオ測距装置。
【請求項５】
請求項１〜４のうちいずれか一項に記載のステレオ測距装置であって、
前記視差距離変換部により導出された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を含む距離情報を表示する表示部と、を更に備える、
ステレオ測距装置。
【請求項６】
同一の被写体を撮像する複数のカメラ装置に接続されたステレオ測距装置におけるステレオ測距方法であって、
前記カメラ装置により撮像された前記被写体の各撮像画像に共通する複数の特徴点を用いて、前記各撮像画像中の前記複数の特徴点の所定方向の座標を位置合わせするステップと、
前記複数のカメラ装置のうちいずれかの基準カメラ装置により撮像された前記被写体の撮像画像中の相対距離が異なる第１指定位置と第２指定位置とに対応する、前記複数のカメラ装置からの第１視差と第２視差とを検出するステップと、
前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を導出するステップと、
導出された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を含む距離情報を表示画面に表示するステップと、を有する、
ステレオ測距方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ステレオ法を用いて、カメラ装置と測距対象物との間の距離を測距するステレオ測距装置及びステレオ測距方法に関する。
【背景技術】
【０００２】
従来から、個々のカメラ装置に特有の内部パラメータ（例えば焦点距離、レンズ歪係数、アスペクト比）と個々のカメラ装置に依存しない外部パラメータ（例えばカメラ装置の位置を示す座標）とを含むカメラパラメータが校正済みのカメラ装置を複数（例えば２個）用いて、カメラ装置と測距対象物との間の距離を測定（測距）するステレオ法が知られている。
【０００３】
従来のステレオ法では、例えば左カメラ装置と右カメラ装置との各光軸が平行となり、更に、左カメラ装置における被写体（測距対象物）のカメラ画像と、右カメラ装置における同一の被写体（測距対象物）のカメラ画像（対応点）との垂直位置が一致するように、左カメラ装置及び右カメラ装置を設置する必要がある。このため、左カメラ装置及び右カメラ装置の設置時の制約が大きくなる。
【０００４】
ここで、複数のカメラ装置を用いて、カメラ装置と測距対象物との間の距離を測距するために、上述したカメラパラメータを校正する方法として、例えば特許文献１に示すカメラ校正方法が知られている。
【０００５】
特許文献１に示すカメラ校正方法では、各カメラは、複数の特徴点が設けられて各特徴点の相対位置が既知である複数の校正器を撮像し、撮像により得られた各校正用画像データにおける各特徴点の位置と既知の相対位置とから各カメラのカメラパラメータの初期値を算出する。
【０００６】
また、各カメラは、カメラパラメータの初期値を用いて各校正用画像データにおける各特徴点のうち２個以上の特徴点間の距離を算出し、この算出された特徴点間の距離と校正器上の対応する特徴点間の実際の距離との間の誤差を基にして、各カメラのカメラパラメータを補正する。これにより、ステレオ法を用いた三次元測距に適したカメラパラメータの校正が可能となる。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１２−２０２６９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、特許文献１では、各カメラは複数の校正器を撮像する必要があり、各カメラの撮像にかかる処理量が多くなるので、校正方法が煩雑となってしまう。
【０００９】
また、特許文献１に示すカメラ校正方法を用いたカメラパラメータの校正後に、各カメラから近距離に存在する測距対象物までの距離をステレオ法によって測距することは適していると考えられるが、例えば監視システムにおいて設置された各カメラから測距対象物までの距離は遠距離（例えば数十ｍ）となることが多い。
【００１０】
この場合、各カメラから遠距離に存在する測距対象物までの距離を測距するために、特許文献１に示すカメラ校正方法を用いると、巨大な校正器が必要となり、現実的に校正作業は困難である。
【００１１】
本発明は、上述した従来の課題を解決するために、特徴点間の距離が既知の校正器を用いず、複数のカメラ装置が既に設置された状態において、カメラ装置から測距対象物までの距離を簡易に測距するステレオ測距装置及びステレオ測距方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は、同一の被写体を撮像する複数のカメラ装置に接続されたステレオ測距装置であって、前記カメラ装置により撮像された前記被写体の各撮像画像に共通する複数の特徴点を用いて、前記各撮像画像中の前記複数の特徴点の所定方向の座標を位置合わせする位置調整部と、前記複数のカメラ装置のうちいずれかの基準カメラ装置により撮像された前記被写体の撮像画像中の相対距離が異なる第１指定位置と第２指定位置とに対応する、前記複数のカメラ装置からの第１視差と第２視差とを検出する視差検出部と、前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を導出する視差距離変換部と、を備えるステレオ測距装置である。
【００１３】
また、本発明は、同一の被写体を撮像する複数のカメラ装置に接続されたステレオ測距装置におけるステレオ測距方法であって、前記カメラ装置により撮像された前記被写体の各撮像画像に共通する複数の特徴点を用いて、前記各撮像画像中の前記複数の特徴点の所定方向の座標を位置合わせするステップと、前記複数のカメラ装置のうちいずれかの基準カメラ装置により撮像された前記被写体の撮像画像中の相対距離が異なる第１指定位置と第２指定位置とに対応する、前記複数のカメラ装置からの第１視差と第２視差とを検出するステップと、前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を導出するステップと、導出された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を含む距離情報を表示画面に表示するステップと、を有するステレオ測距方法である。
【発明の効果】
【００１４】
本発明によれば、特徴点間の相対距離が既知の校正器を用いず、複数のカメラ装置が既に設置された状態において、カメラ装置から測距対象物までの距離を簡易に測距することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の画像処理装置の内部構成を示すブロック図
【図２】（Ａ）左カメラ撮像画像データと右カメラ撮像画像データとに共通する複数の特徴点のｙ軸方向の座標の位置合わせの概念説明図、（Ｂ）基準カメラ装置（例えば左カメラ装置）から、相対距離が等しい２点の視差検出と、相対距離が異なる２点の視差検出との概念説明図
【図３】（Ａ）基準カメラ装置（例えば左カメラ装置）のｙ軸方向の座標の位置合わせ処理後に検出された第１視差及び第２視差とｘ座標値との関係を示すグラフ、（Ｂ）補正後の第３視差及び第４視差とｘ座標値との関係を示すグラフ、（Ｃ）補正後の第３視差及び第４視差と距離の逆数（１／距離）との関係を示すグラフ、（Ｄ）視差距離変換計算部の計算により得られた距離とｘ座標値との関係を示すグラフ
【図４】本実施形態の画像処理装置の動作手順を説明するフローチャート
【図５】本変形例の画像処理装置の内部構成を示すブロック図
【図６】本変形例の画像処理装置の動作手順を説明するフローチャート
【図７】（Ａ）従来のステレオ法において左カメラ装置と右カメラ装置との各光軸が平行である場合のｘ座標値毎の視差の模式的な説明図、（Ｂ）従来のステレオ法において左カメラ装置と右カメラ装置との各光軸が平行でない場合のｘ座標値毎の視差の模式的な説明図
【発明を実施するための形態】
【００１６】
（本実施形態の内容に至る経緯）
先ず、本発明に係るステレオ測距装置及びステレオ測距方法の実施形態（以下、「本実施形態」という）を説明する前に、本実施形態の内容に至る経緯について、図７（Ａ）及び図７（Ｂ）を参照して説明する。
【００１７】
図７（Ａ）は、従来のステレオ法において左カメラ装置ＬＣと右カメラ装置ＲＣとの各光軸が平行である場合のｘ座標値毎の視差の説明図である。図７（Ｂ）は、従来のステレオ法において左カメラ装置ＬＣと右カメラ装置ＲＣとの各光軸が平行でない場合のｘ座標値毎の視差の説明図である。
【００１８】
図７（Ａ）及び図７（Ｂ）では、左カメラ装置ＬＣ及び右カメラ装置ＲＣが並んでいる水平方向をｘ軸、ｘ軸に垂直であって左カメラ装置ＬＣ及び右カメラ装置ＲＣを鉛直下方向から鉛直上方向に見上げる方向をｙ軸、ｘ軸及びｙ軸に垂直であって左カメラ装置ＬＣ及び右カメラ装置ＲＣの光軸方向（奥行き方向）をｚ軸として説明する。
【００１９】
以下の説明において、直方体ＣＵ１，ＣＵ２，…，ＣＵＮ−１，ＣＵＮは、それぞれ左カメラ装置ＬＣ又は右カメラ装置ＲＣを基準カメラ装置とした場合の基準カメラ装置からの相対距離が同一となる位置の集合を模式的に表す指標である。従って、図７（Ａ）及び図７（Ｂ）に示す直方体ＣＵ１内の任意の位置の基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対距離は、ｘ座標値に拘わらず同一となる。
【００２０】
なお、図７（Ａ）及び図７（Ｂ）に示す直方体ＣＵ１内の任意の位置の基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対距離と、直方体ＣＵ２内の任意の位置の基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対距離とは異なる。また、図７（Ａ）では左カメラ装置ＬＣ及び右カメラ装置ＲＣの各光軸が平行となっているが、図７（Ｂ）では左カメラ装置ＬＣ及び右カメラ装置ＲＣの各光軸が平行となっていない。
【００２１】
従来のステレオ法によると、図７（Ａ）に示すように、左カメラ装置ＬＣ及び右カメラ装置ＲＣの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設置されていれば、直方体ＣＵ１内の任意の位置の基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対位置はｘ軸の値に拘わらず同一となるので、視差も一定となり、距離計算も容易である。
【００２２】
しかし、従来のステレオ法では、図７（Ｂ）に示すように、左カメラ装置ＬＣ及び右カメラ装置ＲＣの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設置されていなければ、直方体ＣＵ１内の任意の位置の基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対位置はｘ軸の値に応じて異なる値となるので、視差は一定とならず、距離計算が困難となる。
【００２３】
そこで、以下の本実施形態では、特徴点間の距離が既知の校正器を用いず、複数のカメラ装置が既に設置された状態において、カメラ装置から測距対象物までの距離を簡易に測距するステレオ測距装置及びステレオ測距方法について説明する。
【００２４】
（本実施形態の説明）
以下、本発明に係るステレオ測距装置及びステレオ測距方法の実施形態について、ステレオ測距装置の一例としての画像処理装置を例示し、図面を参照して説明する。本実施形態の画像処理装置は、例えばＰＣ（Personal Computer）、携帯電話機、スマートフォン、タブレット端末又はＰＤＡ（Personal Digital Assistant）である。
【００２５】
以下の各実施形態では、ステレオ測距装置の一例としての画像処理装置の使用形態の一例として、例えば工場又は店舗に設置された監視システムにおいて、複数（例えば２つ）のカメラ装置に接続された画像処理装置を用いるシチュエーションを説明する。但し、本実施形態のステレオ測距装置の一例としての画像処理装置の使用方法は以下の実施形態における使用形態に限定されない。なお、本発明は、ステレオ測距装置の一例としての画像処理装置が行う各動作（ステップ）を有するステレオ測距方法として表現することも可能である。
【００２６】
図１は、本実施形態の画像処理装置１の内部構成を示すブロック図である。図１に示す画像処理装置１は、例えば工場又は店舗に設置された監視システム１００において、ネットワークＮＷを介して、複数（例えば２つ）のカメラ装置、即ち、左カメラ装置ＬＣと右カメラ装置ＲＣとに接続される。
【００２７】
左カメラ装置ＬＣは、監視システム１００において、左カメラ装置ＬＣ及び右カメラ装置ＲＣにおいて共有するように予め設定された所定の撮像範囲に存在する被写体を撮像し、ネットワークＮＷを介して、左カメラ装置ＬＣにより撮像された被写体の撮像画像データ（以下、「左カメラ撮像画像データ」という）を画像処理装置１に送出する。
【００２８】
右カメラ装置ＲＣは、監視システム１００において、左カメラ装置ＬＣ及び右カメラ装置ＲＣにおいて共有するように予め設定された所定の撮像範囲に存在する被写体を撮像し、ネットワークＮＷを介して、右カメラ装置ＲＣにより撮像された被写体の撮像画像データ（以下、「右カメラ撮像画像データ」という）を画像処理装置１に送出する。即ち、左カメラ装置ＬＣと右カメラ装置ＲＣとは、所定の撮像範囲に存在する同一の被写体（測距対象物）を撮像する。
【００２９】
図１に示す画像処理装置１は、入力部２と、左カメラＩ／Ｆ３１と、右カメラＩ／Ｆ３２と、位置合わせ係数計算部３と、位置合わせ係数記憶部４Ｒを含む位置合わせ処理部４と、視差検出部５と、視差補正係数計算部６と、視差補正係数記憶部７Ｒを含む視差補正部７と、視差距離変換係数計算部８と、視差距離変換係数記憶部９Ｒを含む視差距離変換計算部９と、画像表示処理部１０と、表示部１１とを含む構成である。
【００３０】
入力部２は、画像処理装置１のユーザが画像処理装置１に対する操作を入力するためのユーザインターフェース（ＵＩ：User Interface）であり、ユーザの操作内容に応じたデータ又は情報を視差検出部５に出力する。入力部２は、例えば画像処理装置１がＰＣ、スマートフォン又はタブレット端末である場合には、表示部１１の上に配置され、ユーザの指又はスタイラスペンによる入力操作を受け付け可能なタッチパネルを用いて構成される。
【００３１】
また、入力部２は、画像処理装置１が携帯電話機である場合には、電話番号等を入力するテンキー、オンフック又はオフフックを行う通話器キー及びファンクションキー等の各種キーを用いて構成可能である。なお、入力部２は、画像処理装置１の外部に設けられても良く、例えば画像処理装置１がＰＣである場合には、ＰＣに接続されたキーボードでも良い。
【００３２】
左カメラＩ／Ｆ３１は、左カメラ装置ＬＣから送出された左カメラ撮像画像データを位置合わせ係数計算部３、位置合わせ処理部４及び画像表示処理部１０に出力する。なお、左カメラＩ／Ｆ３１は、左カメラ装置ＬＣから前回送出された画像フレームにて位置合わせ係数の計算が完了している場合には、左カメラ撮像画像データの位置合わせ係数計算部３への出力を省略しても良い。
【００３３】
これにより、位置合わせ係数計算部３は、左カメラ装置ＬＣから送出された左カメラ撮像画像データの画像フレームが前回送出された画像フレームと同一である場合には、位置合わせ係数計算部３における位置合わせ係数（後述参照）の再計算を省略でき、距離計測の高速化、画像処理装置１の消費電力を低減できる。
【００３４】
右カメラＩ／Ｆ３２は、右カメラ装置ＲＣから送出された右カメラ撮像画像データを位置合わせ係数計算部３、位置合わせ処理部４及び画像表示処理部１０に出力する。なお、右カメラＩ／Ｆ３２は、右カメラ装置ＲＣから前回送出された画像フレームにて位置合わせ係数の計算が完了している場合には、右カメラ撮像画像データの位置合わせ係数計算部３への出力を省略しても良い。
【００３５】
これにより、位置合わせ係数計算部３は、左カメラ装置ＬＣから送出された左カメラ撮像画像データの画像フレームが前回送出された画像フレームと同一である場合には、位置合わせ係数計算部３における位置合わせ係数（後述参照）の再計算を省略でき、距離計測の高速化、画像処理装置１の消費電力を低減できる。
【００３６】
位置合わせ係数計算部３は、左カメラＩ／Ｆ３１から出力された左カメラ撮像画像データと、右カメラＩ／Ｆ３２から出力された右カメラ撮像画像データとを用いて、左カメラ撮像画像データ及び右カメラ撮像画像データに共通する複数の特徴点を抽出する。位置合わせ係数計算部３は、左カメラ画像データ及び右カメラ撮像画像データにおける複数の特徴点の所定方向の座標を一致させるための位置合わせ係数を計算する。
【００３７】
位置合わせ係数計算部３は、計算により得られた位置合わせ係数のデータを位置合わせ係数記憶部４Ｒに格納して記憶させる。なお、位置合わせ係数計算部３の動作内容は、例えば下述の参考非特許文献１に示されるように公知技術であるため、位置合わせ係数計算部３の詳細な動作説明は割愛する。
【００３８】
（参考非特許文献１）富田文明，高橋裕信著、「ステレオカメラのセルフキャリブレーション」、情報処理学会誌３１巻５号、１９９０年、Ｐ６５０−Ｐ６５９
【００３９】
位置合わせ係数記憶部４Ｒは、例えばＲＡＭ（Random Access Memory）又はフラッシュメモリを用いて構成され、位置合わせ係数計算部３により計算された位置合わせ係数のデータを記憶する。
【００４０】
位置合わせ処理部４は、左カメラＩ／Ｆ３１から出力された左カメラ撮像画像データと、右カメラＩ／Ｆ３２から出力された右カメラ撮像画像データと、位置合わせ係数記憶部４Ｒから読み出した位置合わせ係数とを用いて、左カメラ画像データ及び右カメラ撮像画像データに共通する複数の特徴点の所定方向の座標を一致させる位置合わせ処理を行う（図２（Ａ）参照）。
【００４１】
図２（Ａ）は、左カメラ撮像画像データＬＰＣ１と右カメラ撮像画像データＲＰＣ１とに共通する複数の特徴点のｙ軸方向の座標の位置合わせの概念説明図である。図２（Ｂ）は、基準カメラ装置（例えば左カメラ装置ＬＣ）から、相対距離が等しい２点の視差検出と、相対距離が異なる２点の視差検出との概念説明図である。図２（Ｂ）では、例えば左カメラ装置ＬＣと右カメラ装置ＲＣとの間のベースライン長は１ｍ、右カメラ装置ＲＣの光軸方向は、左カメラ装置ＬＣの光軸方向と平行な方向から４°ずれている状態である。
【００４２】
図２（Ａ）において、ｘ軸は左カメラ装置ＬＣ及び右カメラ装置ＲＣが並んでいる水平方向を表し、ｙ軸はｘ軸に垂直であって左カメラ装置ＬＣ及び右カメラ装置ＲＣを鉛直下方向から鉛直上方向に見上げる方向を表す（図２（Ｂ）参照）。更に、図２（Ｂ）において、ｚ軸はｘ軸及びｙ軸に垂直であって左カメラ装置ＬＣ及び右カメラ装置ＲＣの光軸方向（奥行き方向）を表す。
【００４３】
例えば左カメラ装置ＬＣと右カメラ装置ＲＣとの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設置されていない場合には、図２（Ａ）に示すように、位置合わせ処理前の左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１の縮尺が一致せず、左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１に共通する特徴点の所定方向（例えばｙ軸方向）の座標が一致しない。
【００４４】
従って、ステレオ法を用いて、各特徴点への左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差を検出することができず、画像処理装置１は、例えばユーザが左カメラ撮像画像データＬＰＣ１において指定した任意の位置と左カメラ装置ＬＣとの間の距離を測距することができない。
【００４５】
そこで、本実施形態の画像処理装置１では、位置合わせ処理部４は、位置合わせ処理前の左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１に共通する複数の特徴点の所定方向（例えばｙ軸方向）の座標を一致させる位置合わせ処理を行う。これにより、位置合わせ処理部４は、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２の各ｙ軸方向の座標値を一致させることができる（図２（Ａ）参照）。
【００４６】
なお、位置合わせ処理部４の動作内容は、例えば上述した参考非特許文献１に示されるように公知技術であるため、位置合わせ処理部４の詳細な動作説明は割愛する。位置合わせ処理部４は、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２を視差検出部５に出力する。
【００４７】
視差検出部５は、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２を位置合わせ処理部４から取得し、更に、左カメラ装置ＬＣ及び右カメラ装置ＲＣのうちいずれかの基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された左カメラ撮像画像データＬＰＣ２の中で、基準カメラ装置からの相対距離が同一となる少なくとも２つの指定位置（第１指定位置、第２指定位置）の座標情報を入力部２から取得する。
【００４８】
左カメラ撮像画像データＬＰＣ２の中で基準カメラ装置からの相対距離が同一となる第１指定位置及び第２指定位置は、例えばユーザがレーザ測距器２１を用いた場合にレーザ測距器２１の測距結果として同一の相対距離が得られた位置である。左カメラ撮像画像データＬＰＣ２の中で選択された第１指定位置及び第２指定位置の各座標情報は、入力部２を介して視差検出部５に入力される。又は、視差検出部５は、左カメラ撮像画像データＬＰＣ２の中から第１指定位置及び第２指定位置の指定を入力部２から受けると、左カメラ撮像画像データＬＰＣ２の該当する第１指定位置及び第２指定位置の各座標情報を取得しても良い。
【００４９】
視差検出部５は、第１指定位置及び第２指定位置の各座標情報と、位置合わせ処理後の左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１とを用いて、第１指定位置（例えば図２（Ｂ）の直方体ＣＵ１内の左側の白丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第１視差）と、第２指定位置（例えば図２（Ｂ）の直方体ＣＵ１内の右側の白丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第２視差）とを検出して計算する。視差検出部５は、第１視差及び第２視差のデータを視差補正係数計算部６及び視差補正部７に出力する。
【００５０】
また、視差検出部５は、左カメラ装置ＬＣ及び右カメラ装置ＲＣのうちいずれかの基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された左カメラ撮像画像データＬＰＣ２の中で、基準カメラ装置からの相対距離が異なる少なくとも２つの指定位置（第３指定位置、第４指定位置）の座標情報を入力部２から取得する。
【００５１】
左カメラ撮像画像データＬＰＣ２の中で基準カメラ装置からの相対距離が異なる第３指定位置及び第４指定位置は、例えばユーザがレーザ測距器２１を用いた場合にレーザ測距器２１の測距結果として異なる相対距離が得られた位置である。左カメラ撮像画像データＬＰＣ２の中で選択された第３指定位置及び第４指定位置の各座標情報は、入力部２を介して視差検出部５に入力される。又は、視差検出部５は、左カメラ撮像画像データＬＰＣ２の中から第３指定位置及び第４指定位置の指定を入力部２から受けると、左カメラ撮像画像データＬＰＣ２の該当する第３指定位置及び第４指定位置の各座標情報を取得しても良い。
【００５２】
視差検出部５は、第３指定位置及び第４指定位置の各座標情報と、位置合わせ処理後の左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１とを用いて、第３指定位置（例えば図２（Ｂ）の直方体ＣＵ１内の黒丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第３視差）と、第４指定位置（例えば図２（Ｂ）の直方体ＣＵＮ内の黒丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第４視差）とを検出して計算する。視差検出部５は、第３視差及び第４視差のデータを視差補正係数計算部６及び視差補正部７に出力する。
【００５３】
ここで、左カメラ装置ＬＣと右カメラ装置ＲＣとの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設置されていれば、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中で、基準カメラ装置からの相対距離が同一となる第１指定位置及び第２指定位置に対応する第１視差及び第２視差は同一となる。しかし、左カメラ装置ＬＣと右カメラ装置ＲＣとの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設置されていなければ、第１視差と第２視差とは同一ではなくなる（図３（Ａ）参照）。
【００５４】
視差補正係数導出部の一例としての視差補正係数計算部６は、視差検出部５から出力された第１視差及び第２視差のデータを用いて、第１視差と第２視差とを等しくするための視差補正係数を計算（導出）し、計算により得られた視差補正係数のデータを視差補正係数記憶部７Ｒに格納して記憶させる。
【００５５】
図３（Ａ）は、基準カメラ装置（例えば左カメラ装置ＬＣ）のｙ軸方向の座標の位置合わせ処理後に検出された第１視差及び第２視差とｘ座標値との関係を示すグラフである。図３（Ａ）の各直線は、図２（Ｂ）に示す直方体ＣＵ１（仮想的に１０ｍ先に配置），ＣＵ２（仮想的に１１ｍ先に配置），…，ＣＵＮ−１（仮想的に１９ｍ先に配置），ＣＵＮ（仮想的に２０ｍ先に配置）の内部の任意の指定位置が選択された場合に、視差検出部５により計算された視差が表す軌跡である。
【００５６】
視差補正係数記憶部７Ｒは、例えばＲＡＭ又はフラッシュメモリを用いて構成され、視差補正係数計算部６により計算された視差補正係数のデータを記憶する。なお、視差補正係数記憶部７Ｒに記憶される視差補正係数は、例えば第１視差と第２視差とを等しくするための視差補正係数であるが、左カメラ撮像画像データＬＰＣ２の中で選択された任意の指定位置に対応する視差の補正に用いられる。
【００５７】
視差補正部７は、視差検出部５から出力された第３視差及び第４視差の各データと、視差補正係数記憶部７Ｒから読み出した視差補正係数とを用いて、第３視差及び第４視差の各データを補正する（図３（Ｂ）参照）。視差補正部７は、例えば第４視差から視差補正係数を減算することで、第３視差と第４視差とが等しくなるように第４視差を補正する。又は、視差補正部７は、例えば第３視差に視差補正係数を加算することで、第３視差と第４視差とが等しくなるように第４視差を補正する。図３（Ｂ）は、補正後の第３視差及び第４視差とｘ座標値との関係を示すグラフである。
【００５８】
これにより、視差補正部７は、たとえ左カメラ装置ＬＣと右カメラ装置ＲＣとの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設置されていない場合でも、左カメラ撮像画像データＬＰＣ２の中において選択された第１視差及び第２視差の各データを適正値に補正でき、例えば基準カメラ装置（例えば左カメラ装置ＬＣ）との相対距離が同一となる任意の指定位置に対応する各視差の値を等しくできる（例えば図３（Ｂ）に示す１０ｍ地点の直線参照）。視差補正部７は、補正後の第３視差及び第４視差の各データを視差距離変換係数計算部８及び視差距離変換計算部９に出力する。
【００５９】
視差距離変換係数導出部の一例としての視差距離変換係数計算部８は、視差補正部７から出力された第３視差及び第４視差の各データを基に、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の任意の指定位置に対応する視差と、基準カメラ装置と任意の指定位置との間の距離との間の視差距離変換係数を計算（導出）する。視差距離変換係数計算部８は、計算により得られた視差距離変換係数を視差距離変換係数記憶部９Ｒに格納して記憶させる。
【００６０】
ここで、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の任意の指定位置に対応する視差と、基準カメラ装置と任意の指定位置との間の距離の逆数とは、比例関係、即ち一次関数の関係を有することが知られている（図３（Ｃ）参照）。図３（Ｃ）は、補正後の第３視差及び第４視差と距離の逆数（１／距離）との関係を示すグラフである。従って、視差距離変換係数は、例えば図３（Ｃ）に示す直線の傾きと補正後視差の切片とを表す。
【００６１】
視差距離変換係数記憶部９Ｒは、例えばＲＡＭ又はフラッシュメモリを用いて構成され、視差距離変換係数計算部８により計算された視差距離変換係数のデータを記憶する。
【００６２】
視差距離変換部の一例としての視差距離変換計算部９は、視差補正部７から出力された第３視差及び第４視差の各データと、視差距離変換係数記憶部９Ｒから読み出した視差距離変換係数とを用いて、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の任意の指定位置と基準カメラ装置との間の距離を計算（導出）する。視差距離変換計算部９は、計算により得られた距離に関する距離情報を表示部１１の表示画面に表示させる（図３（Ｄ）参照）。図３（Ｄ）は、視差距離変換計算部９の計算により得られた距離とｘ座標値との関係を示すグラフである。
【００６３】
画像表示処理部１０は、左カメラＩ／Ｆ３１及び右カメラＩ／Ｆ３２から出力された左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１を表示部１１に表示させる。
【００６４】
表示部１１は、例えばＬＣＤ（Liquid Crystal Display）又は有機ＥＬ（Electroluminescence）ディスプレイを用いて構成され、画像表示処理部１０の制御の下で、画像表示処理部１０から出力された左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１を表示画面に表示する。また、表示部１１は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中でユーザにより指定された任意の指定位置と基準カメラ装置との間の距離に関する距離情報を表示画面に表示する。
【００６５】
次に、本実施形態の画像処理装置１の動作手順について、図４を参照して説明する。図４は、本実施形態の画像処理装置の動作手順を説明するフローチャートである。なお、図４に示すフローチャートの各動作は、左カメラ装置ＬＣ及び右カメラ装置ＲＣから同一の被写体を撮像した左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１が画像処理装置１に入力される度に実行される。
【００６６】
図４に示す各動作の前提として、左カメラ装置ＬＣ及び右カメラ装置ＲＣは、同一の被写体を撮像し、被写体の左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１を画像処理装置１に送出したとする。
【００６７】
図４において、位置合わせ処理部４は、左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１の中の複数の特徴点の所定方向（例えばｙ軸方向）の座標を位置合わせ処理するための位置合わせ係数が計算済みであるか否かを判定する（Ｓ１１）。
【００６８】
位置合わせ係数が計算済みでない場合には（Ｓ１１、ＮＯ）、位置合わせ係数は位置合わせ係数記憶部４Ｒに記憶されていないので、位置合わせ係数計算部３は、左カメラ画像データ及び右カメラ撮像画像データにおける複数の特徴点の所定方向の座標を一致させるための位置合わせ係数を計算する（Ｓ１２）。位置合わせ係数計算部３は、計算により得られた位置合わせ係数のデータを位置合わせ係数記憶部４Ｒに格納して記憶させる。
【００６９】
ステップＳ１２の後、又は位置合わせ係数が計算済みである場合には（Ｓ１１、ＹＥＳ）、位置合わせ処理部４は、左カメラＩ／Ｆ３１から出力された左カメラ撮像画像データと、右カメラＩ／Ｆ３２から出力された右カメラ撮像画像データと、位置合わせ係数記憶部４Ｒから読み出した位置合わせ係数とを用いて、左カメラ画像データ及び右カメラ撮像画像データに共通する複数の特徴点の所定方向の座標を一致させる位置合わせ処理を行う（Ｓ１３）。位置合わせ処理部４は、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２を視差検出部５に出力する。
【００７０】
視差検出部５は、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２を位置合わせ処理部４から取得し、更に、左カメラ装置ＬＣ及び右カメラ装置ＲＣのうちいずれかの基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された左カメラ撮像画像データＬＰＣ２の中で、基準カメラ装置からの相対距離が同一となる少なくとも２つの指定位置（第１指定位置、第２指定位置）の座標情報を入力部２から取得する。
【００７１】
視差検出部５は、第１指定位置及び第２指定位置の各座標情報と、位置合わせ処理後の左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１とを用いて、第１指定位置（例えば図２（Ｂ）の直方体ＣＵ１内の左側の白丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第１視差）と、第２指定位置（例えば図２（Ｂ）の直方体ＣＵ１内の右側の白丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第２視差）とを検出して計算する（Ｓ１４）。視差検出部５は、第１視差及び第２視差のデータを視差補正係数計算部６及び視差補正部７に出力する。
【００７２】
また、視差検出部５は、左カメラ装置ＬＣ及び右カメラ装置ＲＣのうちいずれかの基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された左カメラ撮像画像データＬＰＣ２の中で、基準カメラ装置からの相対距離が異なる少なくとも２つの指定位置（第３指定位置、第４指定位置）の座標情報を入力部２から取得する。
【００７３】
視差検出部５は、第３指定位置及び第４指定位置の各座標情報と、位置合わせ処理後の左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１とを用いて、第３指定位置（例えば図２（Ｂ）の直方体ＣＵ１内の黒丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第３視差）と、第４指定位置（例えば図２（Ｂ）の直方体ＣＵＮ内の黒丸）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差（第４視差）とを検出して計算する（Ｓ１４）。視差検出部５は、第３視差及び第４視差のデータを視差補正係数計算部６及び視差補正部７に出力する。
【００７４】
ステップＳ１４の後、視差補正部７は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された左カメラ撮像画像データＬＰＣ２の中において、基準カメラ装置からの相対距離が同一となる第１指定位置及び第２指定位置に対応する第１視差及び第２視差を等しくするための視差補正係数が計算済みであるか否かを判定する（Ｓ１５）。
【００７５】
視差補正係数が計算済みでない場合には（Ｓ１５、ＮＯ）、視差補正係数は視差補正係数記憶部７Ｒには記憶されていないので、視差補正係数計算部６は、例えば視差補正部７からの計算要求に応じて、視差検出部５から出力された第１視差及び第２視差のデータを用いて、第１視差と第２視差とを等しくするための視差補正係数を計算する（Ｓ１６）。視差補正係数計算部６は、計算により得られた視差補正係数のデータを視差補正係数記憶部７Ｒに格納して記憶させる。
【００７６】
なお、視差補正係数計算部６は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２に対応する視差補正係数を計算済みである場合には、視差補正係数の再計算を省略でき、画像処理装置１の処理の高速化と、消費電力を低減できる。
【００７７】
ステップＳ１６の後、又は視差補正係数が計算済みである場合には（Ｓ１５、ＹＥＳ）、視差補正部７は、視差検出部５から出力された第３視差及び第４視差の各データと、視差補正係数記憶部７Ｒから読み出した視差補正係数とを用いて、第３視差及び第４視差の各データを補正する（Ｓ１７）。視差補正部７は、補正後の第３視差及び第４視差の各データを視差距離変換係数計算部８及び視差距離変換計算部９に出力する。
【００７８】
ステップＳ１７の後、視差距離変換計算部９は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の任意の指定位置に対応する視差と、基準カメラ装置と任意の指定位置との間の距離との間の視差距離変換係数が計算済みであるか否かを判定する（Ｓ１８）。
【００７９】
視差距離変換係数が計算済みでない場合には（Ｓ１８、ＮＯ）、視差距離変換係数は視差距離変換係数記憶部９Ｒには記憶されていないので、視差距離変換係数計算部８は、視差補正部７から出力された第３視差及び第４視差の各データを基に、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の任意の指定位置に対応する視差と、基準カメラ装置と任意の指定位置との間の距離との間の視差距離変換係数を計算する（Ｓ１９）。視差距離変換係数計算部８は、計算により得られた視差距離変換係数を視差距離変換係数記憶部９Ｒに格納して記憶させる。
【００８０】
なお、視差距離変換係数計算部８は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２に対応する視差距離変換係数を計算済みである場合には、視差距離変換係数の再計算を省略でき、画像処理装置１の処理の高速化と、消費電力を低減できる。
【００８１】
ステップＳ１９の後、又は視差距離変換係数が計算済みである場合には（Ｓ１８、ＹＥＳ）、視差検出部５は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中で、ユーザが測距対象の位置としての指定した位置（以下、「ユーザ指定位置」と略記する）の座標情報を入力部２から受けたとする。この座標情報には、ユーザ指定位置に対応する実際の位置と基準カメラ装置（例えば左カメラ装置ＬＣ）との間の距離がレーザ測距器２１によって測距された距離の値（例えば１０ｍ）も含まれる。
【００８２】
視差検出部５は、入力部２から出力されたユーザ指定位置の座標情報と、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２とを用いて、ユーザ指定位置に対応する左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差を検出して計算する（Ｓ２０）。視差検出部５は、計算により得られた視差のデータを視差補正部７に出力する。
【００８３】
視差補正部７は、ユーザ指定位置の座標情報と、視差補正係数記憶部７Ｒから読み出した視差補正係数とを用いて、ステップＳ２０において計算された視差を補正する（Ｓ２１）。例えば視差補正部７は、ユーザ指定位置の座標情報のｘ座標値が図３（Ａ）に示す１０ｍ地点の直線の中央地点である場合には、ステップＳ２０において計算された視差から視差補正係数の１／２の値を加算又は減算することで、ステップＳ２０において計算された視差を補正する。但し、視差補正部７における視差の補正方法は、ユーザ指定位置の座標情報（たとえばｘ座標値）と視差補正係数とを用いた加算又は減算に限定されない。視差補正部７は、補正後の視差のデータを視差距離変換計算部９に出力する。
【００８４】
視差距離変換計算部９は、視差補正部７から出力された補正後の視差のデータと、視差距離変換係数記憶部９Ｒから読み出した視差距離変換係数とを用いて、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中のユーザ指定位置と基準カメラ装置との間の距離を計算する（Ｓ２２）。視差距離変換計算部９は、計算により得られた距離に関する距離情報を表示部１１の表示画面に表示させる（Ｓ２３）。
【００８５】
以上により、本実施形態の画像処理装置１は、基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対距離が異なる２つの指定位置（第１指定位置、第２指定位置）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの各視差データを用いて、視差と基準カメラ装置（例えば左カメラ装置ＬＣ）から位置合わせ処理後の左カメラ撮像画像データ中の指定位置までの距離との間の関係式を容易に導出できる。従って、画像処理装置１は、導出された関係式を用いて、基準カメラ装置が撮像した撮像画像中の任意の位置がユーザにより指定されると、このユーザ指定位置に対応する位置と基準カメラ装置との間の距離を容易に導出することができる。
【００８６】
（変形例）
上述した実施形態では、画像処理装置１は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中から、基準カメラ装置からの相対距離が同一である第１指定位置及び第２指定位置に対応する第１視差及び第２視差を検出して計算し、更に、基準カメラ装置からの相対距離が異なる第３指定位置及び第４指定位置に対応する第３視差及び第４視差を検出して計算した。
【００８７】
即ち、画像処理装置１は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中から、ユーザがレーザ測距器２１を用いて選択した一部の指定位置（例えば第１指定位置〜第４指定位置）に対応する視差をそれぞれ検出して計算した。
【００８８】
本変形例では、画像処理装置１Ａは、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の全ての画素を上述した実施形態における指定位置とみなし、左カメラ撮像画像データＬＰＣ２の全ての画素に対応する視差を検出して計算する。
【００８９】
図５は、本実施形態の変形例の画像処理装置１Ａの内部構成を示すブロック図である。図５に示す画像処理装置１Ａは、例えば工場又は店舗に設置された監視システム１００Ａにおいて、ネットワークＮＷを介して、複数（例えば２つ）のカメラ装置、即ち、左カメラ装置ＬＣと右カメラ装置ＲＣとに接続される。
【００９０】
図５に示す画像処理装置１Ａは、入力部２と、左カメラＩ／Ｆ３１と、右カメラＩ／Ｆ３２と、位置合わせ係数計算部３と、位置合わせ係数記憶部４Ｒを含む位置合わせ処理部４と、視差検出部５Ａと、視差補正係数計算部６Ａと、視差補正係数記憶部７Ｒを含む視差補正部７Ａと、視差距離変換係数計算部８Ａと、視差距離変換係数記憶部９ＲＡを含む視差距離変換計算部９Ａと、画像表示処理部１０と、表示部１１とを含む構成である。なお、図５に示す画像処理装置１Ａでは、図１に示す画像処理装置１の各部と同一の動作をするものには同一の符号を付して説明を省略又は簡略化し、異なる内容について説明する。
【００９１】
視差検出部５Ａは、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２を位置合わせ処理部４から取得し、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の全ての画素に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの全ての視差を検出して計算する。視差検出部５Ａは、計算により得られた全ての画素に対応する視差を視差補正係数計算部６Ａ及び視差補正部７Ａに出力する。
【００９２】
視差補正係数計算部６Ａは、左カメラ装置ＬＣ及び右カメラ装置ＲＣのうちいずれかの基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された左カメラ撮像画像データＬＰＣ２の中で、基準カメラ装置からの相対距離が同一となる少なくとも２つの指定位置（第１指定位置、第２指定位置）の座標情報を入力部２から取得する。即ち、本変形例では、視差補正係数計算部６Ａが、第１指定位置及び第２指定位置の各座標情報を入力部２から受ける。
【００９３】
視差補正係数計算部６Ａは、視差検出部５から出力された全ての画素に対応する視差のデータから、入力部２から出力された第１指定位置及び第２指定位置の各座標情報に対応する第１視差及び第２視差のデータを抽出して、第１視差と第２視差とを等しくするための視差補正係数を計算（導出）し、計算により得られた視差補正係数のデータを視差補正係数記憶部７Ｒに格納して記憶させる。
【００９４】
視差補正部７Ａは、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の全ての画素に対応する全ての視差のデータを視差検出部５Ａから取得し、視差補正係数記憶部７Ｒから読み出した視差補正係数を用いて、全ての画素に対応する全ての視差のデータを補正する。補正方法は、例えば上述した実施形態と同じでも良いし、他の方法でも良い。視差補正部７Ａは、補正後の全ての視差のデータを視差距離変換係数計算部８Ａ及び視差距離変換計算部９Ａに出力する。
【００９５】
視差距離変換係数計算部８Ａは、視差補正部７Ａから出力された全ての画素に対応する補正後の視差のデータから、入力部２から出力された第３指定位置及び第４指定位置の各座標情報に対応する第３視差及び第４視差の各データを抽出して、第３視差又は第４視差と、基準カメラ装置と第３指定位置又は第３指定位置との間の距離との間の視差距離変換係数を計算する。視差距離変換係数計算部８Ａは、計算により得られた視差距離変換係数を視差距離変換係数記憶部９Ｒに格納して記憶させる。
【００９６】
視差距離変換計算部９Ａは、視差補正部７から出力された全ての画素に対応する補正後の視差のデータと、視差距離変換係数記憶部９Ｒから読み出した視差距離変換係数とを用いて、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の全ての画素に対応する位置と基準カメラ装置との間の距離を計算する。更に、視差距離変換計算部９Ａは、計算により得られた距離のデータから、入力部２から出力されたユーザ指定位置の座標情報に対応する位置と基準カメラ装置との間の距離を抽出し、抽出された距離に関する距離情報を表示部１１に表示させる。
【００９７】
次に、本変形例の画像処理装置１Ａの動作手順について、図６を参照して説明する。図６は、本変形例の画像処理装置１Ａの動作手順を説明するフローチャートである。なお、図６に示すフローチャートの各動作は、左カメラ装置ＬＣ及び右カメラ装置ＲＣから同一の被写体を撮像した左カメラ撮像画像データＬＰＣ１及び右カメラ撮像画像データＲＰＣ１が画像処理装置１に入力される度に実行される。更に、図６では、図４に示す各動作と同一の動作を表すものには同一のステップ番号を付して説明を省略又は簡略化し、異なる内容について説明する。
【００９８】
図６において、ステップＳ１３の後、視差検出部５Ａは、位置合わせ処理後の左カメラ撮像画像データＬＰＣ２及び右カメラ撮像画像データＲＰＣ２を位置合わせ処理部４から取得し、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の全ての画素に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの全ての視差を検出して計算する（Ｓ１４Ａ）。視差検出部５Ａは、計算により得られた全ての画素に対応する視差を視差補正係数計算部６Ａ及び視差補正部７Ａに出力する。
【００９９】
ステップＳ１４Ａの後、視差補正部７Ａは、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された左カメラ撮像画像データＬＰＣ２の中において、基準カメラ装置からの相対距離が同一となる第１指定位置及び第２指定位置に対応する第１視差及び第２視差を等しくするための視差補正係数が計算済みであるか否かを判定する（Ｓ１５Ａ）。
【０１００】
視差補正係数が計算済みでない場合には（Ｓ１５Ａ、ＮＯ）、視差補正係数は視差補正係数記憶部７Ｒには記憶されていないので、視差補正係数計算部６Ａは、視差検出部５から出力された全ての画素に対応する視差のデータから、入力部２から出力された第１指定位置及び第２指定位置の各座標情報に対応する第１視差及び第２視差のデータを抽出して、第１視差と第２視差とを等しくするための視差補正係数を計算する（Ｓ１６Ａ）。視差補正係数計算部６Ａは、計算により得られた視差補正係数のデータを視差補正係数記憶部７Ｒに格納して記憶させる。
【０１０１】
ステップＳ１６Ａの後、又は視差補正係数が計算済みである場合には（Ｓ１５Ａ、ＹＥＳ）、視差補正部７Ａは、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の全ての画素に対応する全ての視差のデータを視差検出部５Ａから取得し、視差補正係数記憶部７Ｒから読み出した視差補正係数を用いて、全ての画素に対応する全ての視差のデータを補正する（Ｓ１７Ａ）。視差補正部７Ａは、補正後の全ての視差のデータを視差距離変換係数計算部８Ａ及び視差距離変換計算部９Ａに出力する。
【０１０２】
ステップＳ１７Ａの後、視差距離変換計算部９Ａは、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中から入力部２からの第３指定位置及び第４指定位置に対応する視差と、基準カメラ装置と第３指定位置及び第４指定位置との間の距離との間の視差距離変換係数が計算済みであるか否かを判定する（Ｓ１８Ａ）。
【０１０３】
視差距離変換係数が計算済みでない場合には（Ｓ１８Ａ、ＮＯ）、視差距離変換係数計算部８Ａは、視差補正部７Ａから出力された全ての画素に対応する補正後の視差のデータから、入力部２から出力された第３指定位置及び第４指定位置の各座標情報に対応する第３視差及び第４視差のデータを抽出して、第３視差又は第４視差と、基準カメラ装置と第３指定位置又は第３指定位置との間の距離との間の視差距離変換係数を計算する（Ｓ１９Ａ）。視差距離変換係数計算部８Ａは、計算により得られた視差距離変換係数を視差距離変換係数記憶部９Ｒに格納して記憶させる。
【０１０４】
ステップＳ１９Ａの後、又は視差距離変換係数が計算済みである場合には（Ｓ１８Ａ、ＹＥＳ）、視差距離変換計算部９Ａは、視差補正部７から出力された全ての画素に対応する補正後の視差のデータと、視差距離変換係数記憶部９Ｒから読み出した視差距離変換係数とを用いて、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の左カメラ撮像画像データＬＰＣ２の中の全ての画素に対応する位置と基準カメラ装置との間の距離を計算する（Ｓ２３Ａ）。
【０１０５】
更に、視差距離変換計算部９Ａは、計算により得られた距離のデータから、入力部２から出力されたユーザ指定位置の座標情報に対応する位置と基準カメラ装置との間の距離を抽出し、抽出された距離に関する距離情報を表示部１１に表示させる（Ｓ２３Ａ）。
【０１０６】
以上により、本変形例の画像処理装置１Ａは、上述した実施形態と同様の効果を得ることができる。
【０１０７】
以下、上述した本発明に係るステレオ測距装置の構成、作用及び効果を説明する。
【０１０８】
本発明の一実施形態は、同一の被写体を撮像する複数のカメラ装置に接続されたステレオ測距装置であって、前記カメラ装置により撮像された前記被写体の各撮像画像に共通する複数の特徴点を用いて、前記各撮像画像中の前記複数の特徴点の所定方向の座標を位置合わせする位置調整部と、前記複数のカメラ装置のうちいずれかの基準カメラ装置により撮像された前記被写体の撮像画像中の相対距離が異なる第１指定位置と第２指定位置とに対応する、前記複数のカメラ装置からの第１視差と第２視差とを検出する視差検出部と、前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を導出する視差距離変換部と、を備えるステレオ測距装置である。
【０１０９】
上述した構成では、ステレオ測距装置の一例としての画像処理装置１は、左カメラ装置ＬＣ及び右カメラ装置ＲＣにより撮像された同一被写体の各撮像画像の所定方向（例えばｙ軸方向）の座標を位置合わせ処理する。画像処理装置１は、例えば基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の撮像画像中において、左カメラ装置ＬＣからの相対位置が異なる２つの指定位置（第１指定位置、第２指定位置）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの第１視差、第２視差を検出する。また、画像処理装置１は、第１視差及び第２視差を基に、基準カメラ装置により撮像された位置合わせ処理後の撮像画像中においてユーザにより指定された任意の位置と、基準カメラ装置との間の距離を導出する。
【０１１０】
これにより、画像処理装置１は、基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対距離が異なる２つの指定位置に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの各視差情報を用いて、視差と基準カメラ装置から指定位置までの距離との間の関係式を容易に導出できる。従って、画像処理装置１は、導出された関係式を用いて、基準カメラ装置が撮像した撮像画像中の任意の位置が指定されると、この指定位置に対応する箇所と基準カメラ装置との間の距離を容易に導出することができる。なお、左カメラ装置ＬＣと右カメラ装置ＲＣとは各光軸が平行でも良いし、平行でなくても良い。
【０１１１】
即ち、画像処理装置１は、特徴点間の相対距離が既知の校正器を用いず、複数のカメラ装置が既に設置された状態において、カメラ装置から測距対象物までの距離を簡易に測距することができる。
【０１１２】
また、本発明の一実施形態は、前記被写体の撮像画像中の相対距離が同一となる第３指定位置と第４指定位置に対応する、前記複数のカメラ装置からの第３視差と第４視差とを等しくする視差補正係数を用いて、前記第３視差又は前記第４視差を補正する視差補正部、を更に備えるステレオ測距装置である。
【０１１３】
上述した構成では、画像処理装置１は、被写体の撮像画像中において基準カメラ装置からの相対距離が同一となる２つの指定位置（第３指定位置、第４指定位置）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの第３視差、第４視差を検出する。左カメラ装置ＬＣ及び右カメラ装置ＲＣの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設定されていれば、基準カメラ装置からの相対位置が同一となる２つの指定位置に対応する各視差は同一となる。
【０１１４】
画像処理装置１は、検出した第３視差と第４視差との間の差分を０にする、即ち第３視差と第４視差とを等しくするための視差補正係数を用いて、第３視差又は第４視差を補正して第３視差と第４視差とを等しくする。
【０１１５】
これにより、画像処理装置１は、たとえ左カメラ装置ＬＣ及び右カメラ装置ＲＣの各光軸が平行となるように左カメラ装置ＬＣ及び右カメラ装置ＲＣが設定されていない場合でも、被写体の撮像画像中において基準カメラ装置からの相対距離が同一となる２つの指定位置に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの第３視差、第４視差を等しくでき、高精度に補正できる。
【０１１６】
また、本発明の一実施形態は、前記複数のカメラ装置からの第３視差と第４視差とを等しくする視差補正係数を導出する視差補正係数導出部、を更に備え、前記視差補正部は、前記視差補正係数導出部により導出された前記視差補正係数を記憶する視差補正係数記憶部を含むステレオ測距装置である。
【０１１７】
上述した構成では、画像処理装置１は、被写体の撮像画像中において基準カメラ装置からの相対距離が同一となる２つの指定位置に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの第３視差及び第４視差を等しくさせる視差補正係数を導出し、視差補正部７の視差補正係数記憶部７Ｒにおいて記憶する。
【０１１８】
これにより、画像処理装置１は、例えば今回左カメラ装置ＬＣ及び右カメラ装置ＲＣにより撮像された撮像画像の画像フレームが前回撮像された撮像画像の画像フレームと同一である場合には、前回撮像された撮像画像において導出されて視差補正係数記憶部７Ｒに記憶された視差補正係数と同一の視差補正係数を用いて視差を補正できる。従って、画像処理装置１は、同一の画像フレームにおける視差補正係数を再計算する必要が無いので、視差の補正処理量を低減できる。
【０１１９】
また、本発明の一実施形態は、前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置に対応する前記複数のカメラ装置からの視差と、前記基準カメラ装置と前記任意の指定位置との間の距離との変換係数を導出する視差距離変換係数導出部、を更に備え、前記視差距離変換部は、前記視差距離変換係数導出部により導出された前記変換係数を記憶する視差距離変換係数記憶部を含むステレオ測距装置である。
【０１２０】
上述した構成では、画像処理装置１は、基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された被写体の撮像画像中の任意の指定位置に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの視差と、基準カメラ装置と任意の指定位置との間の距離との変換係数を導出し、視差距離変換計算部９の視差距離変換係数記憶部９Ｒにおいて記憶する。なお、視差と距離の逆数とは比例関係にあることが知られている。
【０１２１】
これにより、画像処理装置１は、例えば今回左カメラ装置ＬＣ及び右カメラ装置ＲＣにより撮像された撮像画像の画像フレームが前回撮像された撮像画像の画像フレームと同一である場合には、前回撮像された撮像画像において導出されて視差距離変換係数記憶部９Ｒに記憶された視差距離変換係数と同一の視差距離変換係数を用いて距離を容易に導出できる。従って、画像処理装置１は、同一の画像フレームにおける視差距離変換係数を再計算する必要が無いので、距離の導出処理量を低減できる。
【０１２２】
また、本発明の一実施形態は、前記視差距離変換部により導出された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を含む距離情報を表示する表示部と、を更に備えるステレオ測距装置である。
【０１２３】
上述した構成では、画像処理装置１は、被写体の撮像画像中の任意の指定位置と基準カメラ装置（例えば左カメラ装置ＬＣ）との間の距離を含む距離情報を表示部１１において表示することができる。
【０１２４】
また、本発明の一実施形態は、同一の被写体を撮像する複数のカメラ装置に接続されたステレオ測距装置におけるステレオ測距方法であって、前記カメラ装置により撮像された前記被写体の各撮像画像に共通する複数の特徴点を用いて、前記各撮像画像中の前記複数の特徴点の所定方向の座標を位置合わせするステップと、前記複数のカメラ装置のうちいずれかの基準カメラ装置により撮像された前記被写体の撮像画像中の相対距離が異なる第１指定位置と第２指定位置とに対応する、前記複数のカメラ装置からの第１視差と第２視差とを検出するステップと、前記第１視差及び前記第２視差を基に、前記基準カメラ装置により撮像された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を導出するステップと、導出された前記被写体の撮像画像中の任意の指定位置と前記基準カメラ装置との間の距離を含む距離情報を表示画面に表示するステップと、を有するステレオ測距方法である。
【０１２５】
上述した方法では、ステレオ測距装置の一例としての画像処理装置１は、左カメラ装置ＬＣ及び右カメラ装置ＲＣにより撮像された同一被写体の各撮像画像の所定方向（例えばｙ軸方向）の座標を位置合わせ処理する。画像処理装置１は、例えば基準カメラ装置（例えば左カメラ装置ＬＣ）により撮像された位置合わせ処理後の撮像画像中において、左カメラ装置ＬＣからの相対位置が異なる２つの指定位置（第１指定位置、第２指定位置）に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの第１視差、第２視差を検出する。また、画像処理装置１は、第１視差及び第２視差を基に、基準カメラ装置により撮像された位置合わせ処理後の撮像画像中においてユーザにより指定された任意の位置と、基準カメラ装置との間の距離を導出する。
【０１２６】
これにより、画像処理装置１は、基準カメラ装置（例えば左カメラ装置ＬＣ）からの相対距離が異なる２つの指定位置に対応する、左カメラ装置ＬＣ及び右カメラ装置ＲＣからの各視差情報を用いて、視差と基準カメラ装置から測距対象物までの距離との間の関係式を容易に導出できる。従って、画像処理装置１は、導出された関係式を用いて、基準カメラ装置が撮像した撮像画像中の任意の位置が指定されると、この指定位置に対応する箇所と基準カメラ装置との間の距離を容易に導出することができる。なお、左カメラ装置ＬＣと右カメラ装置ＲＣとは各光軸が平行でも良いし、平行でなくても良い。
【０１２７】
即ち、画像処理装置１は、特徴点間の相対距離が既知の校正器を用いず、複数のカメラ装置が既に設置された状態において、カメラ装置から測距対象物までの距離を簡易に測距することができる。更に、画像処理装置１は、被写体の撮像画像中の任意の指定位置と基準カメラ装置（例えば左カメラ装置ＬＣ）との間の距離を含む距離情報を表示部１１において表示することができる。
【０１２８】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【産業上の利用可能性】
【０１２９】
本発明は、特徴点間の相対距離が既知の校正器を用いず、複数のカメラ装置が既に設置された状態において、カメラ装置から測距対象物までの距離を簡易に測距するステレオ測距装置又はステレオ測距方法として有用であり、ステレオ測距装置としては例えばＰＣ、携帯電話機、スマートフォン又はタブレット端末が該当する。
【符号の説明】
【０１３０】
１、１Ａ  画像処理装置
２  入力部
３  位置合わせ係数計算部
４  位置合わせ処理部
４Ｒ  位置合わせ係数記憶部
５、５Ａ  視差検出部
６、６Ａ  視差補正係数計算部
７、７Ａ  視差補正部
７Ｒ、７ＲＡ  視差補正係数記憶部
８  視差距離変換係数計算部
９、９Ａ  視差距離変換計算部
９Ｒ、９ＲＡ  視差距離変換係数記憶部
１０  画像表示処理部
１１  表示部
２１  レーザ測距器
３１  左カメラＩ／Ｆ
３２  右カメラＩ／Ｆ
１００  監視システム
ＬＣ  左カメラ装置
ＲＣ  右カメラ装置
【図１】
2014238322.tif 000003
【図２】
2014238322.tif 000004
【図３】
2014238322.tif 000005
【図４】
2014238322.tif 000006
【図５】
2014238322.tif 000007
【図６】
2014238322.tif 000008
【図７】
2014238322.tif 000009