(57)【要約】【課題】撮像装置のキャリブレーションの異常を容易に認識できる情報提示装置を提供する。【解決手段】情報提示装置は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得する画像取得部と、第１の画像及び第２の画像から、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部と、順次導出されたパラメータに応じて、第１の撮像装置と第２の撮像装置との相対的な位置関係における異常の有無を判定する異常判定部と、異常があると判定された場合、異常がある旨を含む警告情報を提示する提示部と、を備える。【選択図】図２
2015226209.tif 000002
【特許請求の範囲】
【請求項１】
第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得する画像取得部と、
前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部と、
前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定する異常判定部と、
前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示する提示部と、
を備える情報提示装置。
【請求項２】
請求項１に記載の情報提示装置であって、
前記パラメータ導出部は、前記第１の画像及び前記第２の画像に含まれる特徴点を順次抽出する特徴点抽出部を備え、
前記異常判定部は、前記順次抽出された特徴点の数に基づき、前記異常の有無を判定する、情報提示装置。
【請求項３】
請求項２に記載の情報提示装置であって、
前記パラメータ導出部は、前記第１の画像に含まれる特徴点と前記第２の画像に含まれる特徴点とが対応する対応点を順次検出する対応点検出部を備え、
前記異常判定部は、前記順次検出された対応点の数に基づき、前記異常の有無を判定する、情報提示装置。
【請求項４】
請求項３に記載の情報提示装置であって、更に、
前記パラメータ導出部は、前記対応点に基づいて、前記第１の撮像装置に対する前記第２の撮像装置の位置及び姿勢の少なくとも一方を順次推定する推定部を備え、
前記異常判定部は、前記順次推定された位置及び姿勢の少なくとも一方の変化に基づき、前記異常の有無を判定する、情報提示装置。
【請求項５】
請求項４に記載の情報提示装置であって、更に、
前記順次導出されたパラメータに基づいて、前記対応点に含まれる前記第１の画像の特徴点が逆射影された対象点の３次元座標を順次導出する３次元座標導出部を備え、
前記提示部は、前記順次導出された前記対象点の３次元座標のばらつきが所定値以下である場合、前記第１の撮像装置に対する前記第２の撮像装置の位置及び姿勢の推定結果の信頼性が低い旨を含む警告情報を提示する、情報提示装置。
【請求項６】
請求項１ないし５のいずれか１項に記載の情報提示装置であって、
前記警告情報は、前記異常の要因に応じた対処方法の情報を含む、情報提示装置。
【請求項７】
第１の撮像装置、第２の撮像装置、及び情報提示装置がネットワークを介して接続されたステレオカメラシステムであって、
前記第１の撮像装置は、第１の筐体で固定され、
前記第２の撮像装置は、第２の筐体で固定され、
前記情報提示装置は、
前記第１の撮像装置により撮像された第１の画像と、前記第２の撮像装置により撮像された第２の画像とを、前記ネットワークを介して取得する画像取得部と、
前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部と、
前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定する異常判定部と、
前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示する提示部と、
を備えるステレオカメラシステム。
【請求項８】
第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得するステップと、
前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するステップと、
前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定するステップと、
前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示部により提示するステップと、
を備える情報提示方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報提示装置、ステレオカメラシステム、及び情報提示方法に関する。
【背景技術】
【０００２】
従来、左右の撮像部で同じ被写体を撮像するように、１つの筐体に２つの撮像部が固定されたステレオカメラが知られている。ステレオカメラは、被写体を異なる複数の方向から撮像し、平面方向の情報及び奥行き方向の情報（３次元情報）を記録する。
【０００３】
３次元情報を復元する装置として、例えば、画像入力部と、対応点検出部と、基本行列計算部と、平行移動計算部と、回転計算部と、距離計算部と、を備える３次元情報復元装置が知られている（例えば、特許文献１参照）。画像入力部は、３次元剛体を捉えた２画像を入力する。対応点検出部は、２画像間の対応点を検出する。基本行列計算部は、２画像間の３次元回転行列及び３次元平行移動ベクトルから基本行列を計算する。平行移動計算部は、３次元平行移動ベクトルを計算する。回転計算部は、３次元回転行列を計算する。距離計算部は、３次元空間におけるカメラと対応点との距離を計算する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０９−２３７３４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１の３次元情報復元装置では、２つの撮像装置を別々に設置してステレオカメラシステムを形成する場合、撮像装置のキャリブレーション（較正）の異常を認識することが困難であった。
【０００６】
本発明は、上記事情に鑑みてなされたものであり、撮像装置のキャリブレーションの異常を容易に認識できる情報提示装置、ステレオカメラシステム、及び情報提示方法を提供する。
【課題を解決するための手段】
【０００７】
本発明の情報提示装置は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得する画像取得部と、前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部と、前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定する異常判定部と、前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示する提示部と、を備える。
【０００８】
本発明のステレオカメラシステムは、第１の撮像装置、第２の撮像装置、及び情報提示装置がネットワークを介して接続されたステレオカメラシステムであって、前記第１の撮像装置は、第１の筐体で固定され、前記第２の撮像装置は、第２の筐体で固定され、前記情報提示装置は、前記第１の撮像装置により撮像された第１の画像と、前記第２の撮像装置により撮像された第２の画像とを、前記ネットワークを介して取得する画像取得部と、前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部と、前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定する異常判定部と、前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示する提示部と、を備える。
【０００９】
本発明の情報提示方法は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得するステップと、前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するステップと、前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定するステップと、前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示部により提示するステップと、を備える。
【発明の効果】
【００１０】
本発明によれば、撮像装置のキャリブレーションの異常を容易に認識できる。
【図面の簡単な説明】
【００１１】
【図１】第１の実施形態におけるステレオカメラシステムの概略構成例を示す模式図
【図２】第１の実施形態におけるサーバ装置の構成例を示すブロック図
【図３】（Ａ）〜（Ｃ）第１の実施形態における３次元座標を導出するためのパラメータの一例を説明する模式図
【図４】第１の実施形態におけるサーバ装置の動作手順の一例を示すフローチャート
【図５】（Ａ），（Ｂ）第１の実施形態における特徴点数又は対応点ペア数の判定状況の一例を示すグラフ
【図６】（Ａ），（Ｂ）第１の実施形態における第２カメラの位置又は姿勢の判定状況の一例を示すグラフ
【図７】第１の実施形態における特徴点数によって異常と判定される場合の画面例を示す模式図
【図８】第１の実施形態における対応点ペア数によって異常と判定される場合の画面例を示す模式図
【図９】第１の実施形態における位置又は姿勢によって異常と判定される場合の画面例を示す模式図
【図１０】第２の実施形態におけるサーバ装置の構成例を示すブロック図
【図１１】第２の実施形態におけるサーバ装置の動作手順の一例を示すフローチャート
【図１２】第２の実施形態における３次元座標の標準偏差によって３次元座標の信頼性が低いと判定される場合の画面例を示す模式図
【図１３】（Ａ），（Ｂ）第２の実施形態における３次元座標のばらつきの一例を示す模式図
【発明を実施するための形態】
【００１２】
以下、本発明の実施形態について、図面を用いて説明する。
【００１３】
（本発明の一形態を得るに至った経緯）
１つの筺体によりステレオカメラを形成する場合、２つの撮像部間の相対的な位置関係を比較的容易に定められる。しかし、固定された２つの撮像部間の距離が短いと、遠くの被写体の距離を測定することが困難である。また、２つの撮像部間の距離を離すためには、大きな筐体を用意する必要がある。
【００１４】
これに対し、配置の自由度を高めるために、２つの撮像装置を別々に設置し、ステレオカメラシステムを形成することが考えられる。このステレオカメラシステムは、２つの撮像装置により撮像されたシーンのうち、対応する観測点の３次元座標を測定する。この場合、２つの撮像装置の位置や姿勢が適正に推定できるように、例えば撮像装置の設置時又は設置後にキャリブレーションを行う必要がある。キャリブレーションが適正に行われない場合、２つの撮像装置により同じシーンを撮像し、３次元座標を測定することが困難になる。
【００１５】
また、ステレオカメラシステムでは、例えば、屋外において突風又は衝撃に起因して、２つの撮像装置のうちの少なくとも１つが、設置後に、所定位置から位置ずれする可能性がある。つまり、２つの撮像装置間のキャリブレーションに異常が生じる虞がある。
【００１６】
また、２つの撮像装置の少なくとも一方の位置や姿勢がずれた場合に、撮像された画像を確認しても、どの撮像装置の位置や姿勢がどの程度ずれたのか、遠隔地から把握することは困難である。
【００１７】
以下、撮像装置のキャリブレーションの異常を容易に認識できる情報提示装置、ステレオカメラシステム、及び情報提示方法について説明する。
【００１８】
以下の実施形態の情報提示装置は、例えば、サーバ装置、ＰＣ（Ｐｅｒｓｏｎａｌ  Ｃｏｍｐｕｔｅｒ）、携帯端末（例えばスマートフォン、タブレット端末）、監視装置に適用される。以下の実施形態のステレオカメラシステムは、例えば、監視システムに適用される。
【００１９】
（第１の実施形態）
図１は第１の実施形態におけるステレオカメラシステム５の概略構成例を示す模式図である。ステレオカメラシステム５は、第１カメラ１０、第２カメラ１１、サーバ装置２０及びタブレット端末４０を備える。第１カメラ１０、第２カメラ１１、サーバ装置２０及びタブレット端末４０は、ネットワーク７０を介して接続される。
【００２０】
第１カメラ１０及び第２カメラ１１は、撮像装置の一例である。第１カメラ１０及び第２カメラ１１は、図示しないが、例えば、被写体を含む画像を撮像する撮像部、及び、撮像された画像をサーバ装置２０へ送信する通信部を備える。撮像装置は、例えば、監視カメラ、車載カメラ、産業用カメラ、医療用カメラ、又は民生用カメラを含む。なお、第１カメラ１０及び第２カメラ１１は時間の同期をとっておく方が好ましい。
【００２１】
第１カメラ１０は、被写体を含む所定のシーンの第１の画像（例えば左側の画像）を撮像し、撮像された画像データを、ネットワーク７０を介してサーバ装置２０に転送する。
【００２２】
第２カメラ１１は、上記被写体を含む所定のシーンの第２の画像（例えば右側の画像）を撮像し、撮像された画像データを、ネットワーク７０を介してサーバ装置２０に転送する。つまり、第２カメラ１１は、第１カメラ１０とは異なる方向から同じシーン、同じ被写体を撮像する。
【００２３】
第１カメラ１０及び第２カメラ１１は、それぞれ第１の筐体１３及び第２の筐体１４を有し、例えば、天井、壁、その他の位置に固定される固定カメラである。第１カメラ１０及び第２カメラ１１は、パン、チルト、及びズーム（ＰＴＺともいう）の少なくとも１つを行うＰＴＺカメラであり、ＰＴＺの値を固定値としたカメラでもよい。
【００２４】
尚、例えば、第１カメラ１０及び第２カメラ１１の焦点距離、光軸座標、及び歪補正係数が既知であれば、焦点距離、光軸座標及び歪補正係数は、変動してもよい。第１カメラ１０及び第２カメラ１１は、例えば、撮像画像に対して歪補正係数に基づき歪補正してもよい。本実施形態では、撮像された画像には、歪補正済みの画像が含まれてもよい。
【００２５】
サーバ装置２０は、ネットワーク７０を介して第１カメラ１０及び第２カメラ１１から画像データを受信し、後述する各種画像処理（例えば、特徴点抽出、対応点抽出、カメラパラメータ推定、３次元座標計算）を行う。
【００２６】
タブレット端末４０は、例えば、ネットワーク７０及び基地局７５を介してサーバ装置２０と接続され、サーバ装置２０から画像データを受信し、サーバ装置２０と同様の画像処理を行う。尚、タブレット端末４０は、サーバ装置２０と接続されず、ネットワーク７０及び基地局７５を介して第１カメラ１０及び第２カメラ１１と直接接続され、第１カメラ１０及び第２カメラ１１から伝送された画像データに対し、画像処理してもよい。
【００２７】
図２はサーバ装置２０の構成例を示すブロック図である。サーバ装置２０は、特徴点抽出部２１、対応点検出部２２、カメラパラメータ推定部２３、３次元座標計算部２４、異常判定部２５、及び画面表示部２６を有する。
【００２８】
特徴点抽出部２１は、第１カメラ１０により撮像された第１カメラ画像及び第２カメラ１１により撮像された第２カメラ画像を順次取得し、解析する。第１カメラ１０は、例えば、２つのカメラのうちの左側に配置されたカメラである。第２カメラ１１は、例えば、２つのカメラのうちの右側に配置されたカメラである。この場合、第１カメラ画像は左カメラ画像であり、第２カメラ画像は右カメラ画像である。特徴点抽出部２１は、画像取得部としての機能を有する。
【００２９】
特徴点抽出部２１は、例えば、特徴点（例えばエッジが強い領域にある点）を順次検出する。特徴点の検出には、例えば、画像の拡大、縮小又は回転に対して不変な局所特徴量を抽出するアルゴリズムが用いられる。このアルゴリズムは、例えば、ＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ  Ｆｅａｔｕｒｅ  Ｔｒａｎｓｆｏｒｍ）、ＳＵＲＦ（Ｓｐｅｅｄ−Ｕｐ  ｒｏｂｕｓｔ  Ｆｅａｔｕｒｅｓ）、を含む。
【００３０】
図３（Ａ）〜（Ｃ）は、３次元座標を導出するためのパラメータの一例を説明するための模式図である。この３次元座標は、第１カメラ１０の位置を原点（０，０，０）とした場合の３次元空間での座標を示す。この３次元座標は、第１カメラ画像又は第２カメラ画像に含まれる所定の点が逆射影（３次元復元）された対象点の座標を示す。３次元座標を導出するためのパラメータ（単にパラメータともいう）は、例えば、特徴点、対応点ペア、カメラの位置及び姿勢、を含む。
【００３１】
特徴点抽出部２１は、例えば、図３（Ａ）に示すように、第１カメラ画像３３から特徴点ａ１〜ａ７を検出し、第２カメラ画像３６から特徴点ｂ１〜ｂ７を検出する。特徴点ａ１〜ａ７を特に区別する必要が無い場合、単に特徴点ａと称する。同様に、特徴点ｂ１〜ｂ７を特に区別する必要が無い場合、単に特徴点ｂと称する。特徴点の数は、例えばカメラの位置や姿勢を推定する場合に考慮される。特徴点の数が多い程、第１カメラ１０に対する第２カメラ１１の位置や姿勢を推定する推定精度が高まる。
【００３２】
対応点検出部２２は、例えば、図３（Ｂ）に示すように、第１カメラ画像３３及び第２カメラ画像３６に含まれる類似度の高い特徴点同士を対応点ペア（対応点の一例）として順次検出し、対応点ペア情報（画像座標ペア情報）を出力する。
【００３３】
対応点ペア情報は、例えば、対応点となる第１カメラ画像３３における特徴点と第２カメラ画像３６における特徴点とを、対応づけ（ペアリング）した情報を含む。類似度が高いとは、例えば、対応点に含まれる第１カメラ画像３３における特徴点、第２カメラ画像３６における特徴点において、窓の角度が類似しており、窓の角度の差異が所定角度未満であることを含む。
【００３４】
対応点検出部２２は、例えば、公知の技術（例えば特許文献１に記載された技術）により、対応点を検出する。
【００３５】
図３（Ｂ）では、第１カメラ画像３３に含まれる特徴点ａ１と、第２カメラ画像３６に含まれる特徴点ｂ１と、が対応点として検出され、対応点ペア情報が出力される。また、第１カメラ画像３３に含まれる特徴点ａ２と、第２カメラ画像３６に含まれる特徴点ｂ２と、が対応点として検出され、対応点ペア情報として出力される。同様に、特徴点ａ３〜ａ７と特徴点ｂ３〜ｂ７とが各対応点として検出され、各対応点ペア情報が出力される。
【００３６】
これらの対応点ペア情報は、図３（Ｂ）では、特徴点ａ１〜ａ７と特徴点ｂ１〜ｂ７とをそれぞれを結ぶ線（対応線）ｃ１〜ｃ７で対応付けられる。対応点ペアの数は、例えばカメラの位置や姿勢を推定する場合に考慮される。対応点ペアの数が多い程、第１カメラ１０に対する第２カメラ１１の位置や姿勢を推定する推定精度が高まる。
【００３７】
カメラパラメータ推定部２３は、図３（Ｃ）に示すように、例えば、対応点ペア情報、第１カメラ１０の焦点距離、第２カメラ１１の焦点距離、第１カメラ１０の光軸座標、及び第２カメラ１１の光軸座標に基づいて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を順次推定する。
【００３８】
光軸座標は、撮像画像におけるレンズの中心に対応する座標を示す。第１カメラ１０に対する第２カメラ１１の位置は、例えば並進ベクトルｔにより示される。第１カメラ１０に対する第２カメラ１１の姿勢は、例えば回転行列Ｒにより示される。
【００３９】
カメラパラメータ推定部２３は、公知の技術（例えば特許文献１に記載された技術）により、カメラパラメータ（例えば並進ベクトルｔ、回転行列Ｒ）を推定する。並進ベクトルｔは、特許文献１に記載された３次元平行移動ベクトルに相当する。回転行列Ｒは、特許文献１に記載された３次元回転行列に相当する。
【００４０】
並進ベクトルｔは、例えば（式１）で表される。
【００４１】
【数１】
2015226209.tif 000003
【００４２】
ｐｘ，ｐｙ，ｐｚは、それぞれＸ軸，Ｙ軸，Ｚ軸方向の並進ベクトル成分を表す。
【００４３】
回転行列Ｒは、例えば、（式２）で表される。
Ｒ＝Ｒ（θｚ）・Ｒ（θｙ）・Ｒ（θｘ）      ・・・（式２）
θｚ，θｙ，θｘは、それぞれＺ軸、Ｙ軸、Ｘ軸周りの回転角（ラジアン）を表し、各軸の回転角の成分（回転成分）を表す。Ｒ（θｚ），Ｒ（θｙ），Ｒ（θｘ）は、それぞれＺ軸、Ｙ軸、Ｘ軸の回転行列Ｒの成分を表す。尚、回転角θ＝０は、第１カメラ１０と第２カメラ１１とが平行である状態を示す。
【００４４】
３次元座標計算部２４は、対応点ペア情報、第１カメラ１０の内部パラメータ及び外部パラメータ、第２カメラ１１の内部パラメータ及び外部パラメータ、並びにベースライン長６２に基づいて、対象点の３次元座標（Ｘ，Ｙ，Ｚ）を順次計算する（図３（Ｃ）参照）。この対象点は、対応点ペアに含まれる第１カメラ画像３３の特徴点が逆射影された点である。
【００４５】
３次元座標計算部２４は、例えば、公知の技術（例えば特許文献１に記載された技術）により、対象点の３次元座標を計算する。
【００４６】
内部パラメータは、例えば、第１カメラ１０及び第２カメラ１１の焦点距離、光軸座標、アスペクト比、スキュー歪を含む。外部パラメータは、例えば、第１カメラ１０に対する第２カメラ１１の位置（Ｘ軸，Ｙ軸，Ｚ軸の３成分）及び姿勢（Ｘ軸，Ｙ軸，Ｚ軸に沿った３回転成分）を含む。ベースライン長６２は、第１カメラ１０及び第２カメラ１１間の距離である。内部パラメータ及び外部パラメータは、例えばカメラ毎に定まっている。
【００４７】
内部パラメータは、各カメラの図示しないメモリにより、予め保持されている。外部パラメータは、順次導出され、図示しないメモリに保持される。ベースライン長６２は、例えば、第１カメラ１０及び第２カメラ１１の少なくとも一方の図示しないメモリにより、予め保持されている。
【００４８】
特徴点抽出部２１、対応点検出部２２及びカメラパラメータ推定部２３は、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部の一例である。
【００４９】
異常判定部２５は、カメラのキャリブレーションの異常、つまり第１カメラ１０と第２カメラ１１との相対的な位置関係における異常（以下、「キャリブレーション異常」ともいう）の有無を判定する。キャリブレーション異常があるとは、例えば、第１カメラ１０及び第２カメラ１１の少なくとも一方のカメラの位置、姿勢等が変化し、キャリブレーション異常が発生したことを含む。キャリブレーションに異常があるとは、例えば、被写体が変化したために、特徴点や対応点の数が大きく変化したことを含む。
【００５０】
異常判定部２５は、例えば、特徴点抽出部２１によって抽出された特徴点の数（以下、特徴点数ともいう）を計数し、特徴点数が第１閾値を下回る場合、キャリブレーション異常があると判定する。
【００５１】
異常判定部２５は、例えば、対応点検出部２２によって検出された対応点ペアの数（以下、対応点ペア数ともいう）を計数し、対応点ペア数が第２閾値を下回る場合、キャリブレーション異常があると判定する。
【００５２】
異常判定部２５は、例えば、カメラパラメータ推定部２３によって推定された並進ベクトル成分と、過去に推定された並進ベクトル成分と、を比較する。過去に推定された並進ベクトル成分とは、例えば、直前に推定された並進ベクトル成分でもよいし、過去に推定された複数（例えば１０フレーム分）の並進ベクトル成分の平均値又は中央値でもよい。
【００５３】
比較の結果、並進ベクトル成分の少なくとも１つが大きく（例えば第１の所定値以上）変動している場合、異常判定部２５は、第１カメラ１０に対する第２カメラ１１の位置の大きな変化を検出したとして、キャリブレーション異常があると判定する。キャリブレーション異常の有無は、並進ベクトル成分毎に判定されるので、ここでは判定数は３つとなる。尚、過去に推定された並進ベクトル成分からの許容幅（変動量）を第１変動幅とも称する。尚、第１カメラ１０に対する第２カメラ１１の位置の変化は、第１カメラ１０及び第２カメラ１１の少なくとも一方の位置の変化を含む。
【００５４】
異常判定部２５は、例えば、カメラパラメータ推定部２３によって推定された回転成分と、過去に推定された回転成分と、を比較する。過去に推定された回転成分とは、例えば、直前に推定された回転成分でもよいし、過去に推定された複数（例えば１０フレーム分）の回転成分の平均値又は中央値でもよい。
【００５５】
比較の結果、回転成分の少なくとも１つが大きく（例えば第２の所定値以上）変動している場合、異常判定部２５は、第１カメラ１０に対する第２カメラ１１の姿勢の大きな変化を検出したとして、キャリブレーション異常があると判定する。キャリブレーション異常の有無は、回転成分毎に判定されるので、ここでは判定数は３つとなる。尚、過去に推定された回転成分からの許容幅（変動量）を第２変動幅とも称する。尚、第１カメラ１０に対する第２カメラ１１の姿勢の変化は、第１カメラ１０及び第２カメラ１１の少なくとも一方の姿勢の変化を含む。
【００５６】
異常判定部２５は、例えば、特徴点数が過去に計数された特徴点数より急激に（例えば第３の所定値以上）減少又は増加した場合、キャリブレーション異常があると判定してもよい。異常判定部２５は、例えば、対応点ペア数が過去に計数された対応点ペア数より急激に（例えば第４の所定値以上）減少又は増加した場合、キャリブレーション異常があると判定してもよい。
【００５７】
画面表示部２６は、各種情報を表示する。画面表示部２６は、例えば、各パラメータの時間変化を示す情報、キャリブレーション異常に伴う各種警告メッセージ、キャリブレーション異常の要因の情報、を表示する。画面表示部２６は、提示部の一例である。
【００５８】
次に、ステレオカメラシステム５の動作例について説明する。
【００５９】
図４はサーバ装置２０の動作手順の一例を示すフローチャートである。図４の処理は、例えば、第１カメラ１０及び第２カメラ１１の設置後、１日に１回、１時間に１回のタイミングで行われる。
【００６０】
まず、特徴点抽出部２１は、第１カメラ１０により撮像された第１カメラ画像３３と、第２カメラ１１により撮像された第２カメラ画像３６と、を取り込む（Ｓ１）。
【００６１】
特徴点抽出部２１は、例えば、図３（Ａ）に示したように、第１カメラ画像３３及び第２カメラ画像３６から、特徴量を用いて特徴点をそれぞれ抽出する（Ｓ２）。
【００６２】
対応点検出部２２は、例えば、図３（Ｂ）に示したように、抽出された特徴点の類似度から、第１カメラ画像３３に含まれる特徴点ａと第２カメラ画像３６に含まれる特徴点ｂとの対応関係を検出して対応点ペアを検出し、対応点ペア情報を取得する（Ｓ３）。
【００６３】
カメラパラメータ推定部２３は、例えば、対応点ペア情報、焦点距離、及び光軸座標に基づいて、第１カメラ１０に対する第２カメラ１１の位置及び姿勢を推定する（Ｓ４）。
【００６４】
３次元座標計算部２４は、対応点ペア情報、内部パラメータ、外部パラメータ、及びベースライン長６２に基づいて、特徴点ペアに含まれる第１カメラ画像３３に含まれる特徴点が逆射影された対象点の３次元座標を計算する（Ｓ５）。
【００６５】
異常判定部２５は、キャリブレーション異常の有無を判定する（Ｓ６）。異常判定部２５は、例えば、所定基準を満たす場合、キャリブレーション異常があると判定する。この所定基準は、例えば、特徴点数が第１閾値を下回る場合、対応点ペア数が第２閾値を下回る場合、第２カメラ１１の位置又は姿勢が大きく変動した場合、特徴点数が急激に変化した場合、又は対応点ペア数が急激に変化した場合を含む。
【００６６】
異常判定部２５は、キャリブレーション異常の判定状況として、例えば、各パラメータの時間変化の情報を表示するよう指示する（Ｓ７）。この時間変化の情報は、例えば、特徴点数の第１閾値に対する時間変化、対応点ペア数の第２閾値に対する時間変化、第２カメラ１１の並進ベクトル成分の第１変動幅に対する時間変化、第２カメラ１１の回転成分の第２変動幅に対する時間変化、を含む。
【００６７】
画面表示部２６は、異常判定部２５からの指示に従って、判定状況を表示する（Ｓ７）。
【００６８】
図５（Ａ），（Ｂ）は、特徴点数及び対応点ペア数の判定状況の一例を示すグラフである。
【００６９】
図５（Ａ）は、特徴点数の時間変化例を示すグラフである。図５（Ａ）では、第１閾値Ｔｈ１が、例えば値３００に設定されている。図５（Ａ）では、第１カメラ画像３３に含まれる特徴点数及び第２カメラ画像３６に含まれる特徴点数は、いずれの時刻においても第１閾値Ｔｈ１を超えているので、キャリブレーション異常がないと判定される。
【００７０】
図５（Ｂ）は、対応点ペア数の時間変化例を示すグラフである。図５（Ｂ）では、第２閾値Ｔｈ２が、例えば値２００に設定されている。図５（Ｂ）では、対応点ペア数は、いずれの時刻においても、第２閾値Ｔｈ２を超えているので、キャリブレーション異常がないと判定される。
【００７１】
図６（Ａ），（Ｂ）は、第１カメラ１０に対する第２カメラ１１の位置及び姿勢の判定状況の一例を示すグラフである。
【００７２】
図６（Ａ）は並進ベクトル成分ｐｘ，ｐｙ，ｐｚの時間変化例を示すグラフである。図６（Ａ）では、第１変動幅Ｔｈ３が、例えば、各々、並進ベクトル成分ｐｘ，ｐｙ，ｐｚの値の０．１の割合（つまり１０％）に設定されている。並進ベクトル成分ｐｘ，ｐｙ，ｐｚの変動幅は、いずれの時刻においても、第１変動幅Ｔｈ３内に収まっているので、キャリブレーション異常がないと判定される。
【００７３】
図６（Ｂ）は、回転成分の時間変化例を示すグラフである。図６（Ｂ）では、第２変動幅Ｔｈ４が、例えば、各々、１°に設定されている。回転成分θｘ，θｙ，θｚは、いずれの時刻においても、第２変動幅Ｔｈ４内に収まっているので、キャリブレーション異常がないと判定される。
【００７４】
異常判定部２５は、各パラメータに基づく判定の結果、パラメータの少なくとも１つがキャリブレーション異常と判定された否かを判別する（Ｓ８）。キャリブレーション異常と判定されたパラメータがない場合、本動作は終了する。
【００７５】
一方、キャリブレーション異常と判定されたパラメータがある場合、画面表示部２６は、例えば、パラメータの時間変化のグラフと、警告メッセージと、を表示する（Ｓ９）。警告メッセージには、例えば、キャリブレーション異常と判定された要因に応じて、ユーザにその対処方法を知らせる内容が含まれる。この後、本動作が終了する。
【００７６】
図７は特徴点数によってキャリブレーション異常と判定される場合に表示される画面表示部２６の画面例を示す模式図である。
【００７７】
特徴点数を表すグラフでは、破線ｅで示すように、特徴点数が時刻ｔ６において第１閾値Ｔｈ１を下回っている。対応点ペア数を表すグラフでは、破線ｆで示すように、対応点ペア数が時刻ｔ６において第２閾値Ｔｈ２を下回っている。
【００７８】
この場合、画面表示部２６には、例えば、キャリブレーション異常の要因として特徴点数の不足を表す画像５１、及び警告メッセージ５２が表示される。警告メッセージ５２には、例えば、特徴点数が不足し、対象点の３次元座標の信頼性が低下する旨、模様がある被写体が視野（画面）に入るようにする旨、の情報が含まれる。尚、時刻ｔ６以外の時刻において第１閾値Ｔｈ１や第２閾値Ｔｈ２を下回る場合も、同様にキャリブレーション異常と判定される。
【００７９】
特徴点数に変化が生じた要因として、例えば、視野に入っていた模様のある被写体が無くなった、又は視野外に移動したことが考えられる。特徴点数が急激に変化した場合、例えば、突風が発生し、又は衝撃が加わったことにより、カメラの位置又は姿勢が変化したことが考えられる。
【００８０】
このように、サーバ装置２０は、例えば、特徴点数に変化が生じた場合、特徴点数が不足していることを表す画像５１とともに、警告メッセージ５２を画面表示部２６により表示する。これにより、ユーザは、画面表示部２６を介して、特徴点数の不足が要因であるキャリブレーション異常に対する対処方法も指示される。ユーザは、例えば、模様のある被写体が視野に入るように、第１カメラ１０又は第２カメラ１１の視野を変更すれば良いことを認識できる。従って、図７に例示した画面表示により、ユーザは、早期にキャリブレーション異常に気づき、対処できる。
【００８１】
図８は対応点ペア数によってキャリブレーション異常と判定される場合に表示される画面表示部２６の画面例を示す模式図である。特徴点数を表すグラフでは、特徴点数が、いずれの時刻においても、第１閾値Ｔｈ１を超えている。一方、対応点ペア数を表すグラフでは、破線ｇで示すように、対応点ペア数が、時刻ｔ６において第２閾値Ｔｈ２を下回っている。
【００８２】
この場合、画面表示部２６には、例えば、キャリブレーション異常の要因として対応点ペア数の不足を表す画像５３、及び警告メッセージ５４が表示される。警告メッセージ５４には、例えば、対応点ペア数が不足し、対象点の３次元座標の信頼性が低下する旨、模様がはっきりしている被写体が視野（画面）に入るようにする旨、の情報が含まれる。模様がはっきりしている被写体は、対応点が増加可能な被写体の一例であるが、他の被写体がカメラ視野内に追加されてもよい。尚、時刻ｔ６以外の時刻で第２閾値Ｔｈ２を下回る場合も、同様にキャリブレーション異常と判定される。
【００８３】
対応点ペア数に変化が生じた要因は、特徴点数に変化が生じた要因と、例えば同様であると考えられる。
【００８４】
このように、サーバ装置２０は、例えば、対応点ペア数に変化が生じた場合、対応点ペア数が不足していることを表す画像５３とともに、警告メッセージ５４を画面表示部２６により表示する。これにより、ユーザは、画面表示部２６を介して、対応点ペア数の不足が要因であるキャリブレーション異常に対する対処方法も指示される。ユーザは、例えば、模様がはっきりしている被写体が視野に入るように、第１カメラ１０又は第２カメラ１１の視野を変更すれば良いことを認識できる。従って、図８に例示した画面表示により、ユーザは、早期にキャリブレーション異常に気づき、対処できる。
【００８５】
特徴点数や対応点ペア数が不足をユーザが認識し、ユーザが警告メッセージ５２，５４の指示に応じて対処することにより、例えばカメラの位置や姿勢又は３次元座標の導出精度の低下を抑制できる。
【００８６】
図９は位置及び姿勢によってキャリブレーション異常と判定される場合に表示される画面表示部２６の画面例を示す模式図である。並進ベクトル成分を表すグラフでは、並進ベクトル成分ｐｘ，ｐｙ，ｐｚは、第１変動幅Ｔｈ３の範囲内に収まっている。一方、回転成分を表すグラフでは、破線ｈで示すように、Ｚ軸成分の回転角を表す回転成分θｚが、時刻ｔ６において第２変動幅Ｔｈ４の範囲から外れている。
【００８７】
この場合、画面表示部２６には、例えば、警告メッセージ５５が表示される。警告メッセージ５５には、例えば、第１カメラ１０又は第２カメラ１１の少なくとも一方のカメラの向きが大きく変化した旨、第１カメラ１０又は第２カメラ１１の位置や向きを確認する旨、の情報が含まれる。尚、時刻ｔ６以外の時刻で第２変動幅Ｔｈ４の範囲から外れる場合も、同様にキャリブレーション異常と判定される。
【００８８】
第１カメラ１０に対する第２カメラ１１の位置や姿勢に変化が生じた要因として、例えば、突風が発生し、又は衝撃が加わったことが考えられる。
【００８９】
このように、サーバ装置２０は、例えば、第１カメラ１０に対する第２カメラ１１の位置や姿勢に変化が生じた場合、特徴点数や対応点ペア数に大きな変化が生じていなければ、警告メッセージ５５を画面表示部２６により表示する。これにより、ユーザは、画面表示部２６を介して、カメラの位置や姿勢の変化が要因であるキャリブレーション異常に対する対処方法も指示される。ユーザは、例えば、第１カメラ１０又は第２カメラ１１の向きを確認すれば良いことを認識できる。従って、図９に例示した画面表示により、ユーザは、早期にキャリブレーション異常に気づき、対処できる。
【００９０】
第１カメラ１０及び第２カメラ１１は、各々のカメラの位置及び向きが固定されて設置され、通常は、初期設置されてから位置ずれせず、撮像範囲が変化しない。従って、特定の事象が発生しない場合、撮像画像から得られる特徴点、対応点、第１カメラ１０に対する第２カメラ１１の位置又は姿勢は変化しない。各種要因により特徴点、対応点、カメラの位置、又は姿勢が変化した場合、サーバ装置２０は、ユーザがこの変化を認識できるように提示（例えば表示）する。
【００９１】
本実施形態のステレオカメラシステム５又はサーバ装置２０によれば、ユーザは、各パラメータの変化から、第１カメラ１０又は第２カメラ１１による撮像範囲が変化したと推定できる。従って、ユーザ（例えばサーバ管理者、カメラ設置者）は、カメラのキャリブレーションの異常を容易に認識でき、早期に異常に気付くことができる。
【００９２】
例えば、サーバ装置２０の管理者が、例えば監視センタ内でモニタを確認しながら、キャリブレーション異常を容易に認識できる。従って、例えば、サーバ装置２０の管理者は、カメラ設置者に対して、撮像装置間の位置関係を所望の状態とするように指示できる。
【００９３】
例えば、第１カメラ１０及び第２カメラ１１を所定の場所に設置する際、カメラ設置者がタブレット端末４０を参照しながら設置できる。例えば、カメラ設置者は、タブレット端末４０に表示された各パラメータ（例えば、特徴点数、対応点ペア数、カメラの位置又は姿勢の情報）、警告情報（例えば警告メッセージ）を参照して、第１カメラ１０及び第２カメラ１１を設置できる。従って、カメラ設置者は、第１カメラ１０及び第２カメラ１１の相対的な位置関係を所望の状態で容易に設置でき、初期設置時又は初期設置後の所定のタイミングにおいて位置ずれを抑制できる。
【００９４】
また、１つの筐体でなく別々の筐体に固定された第１カメラ１０及び第２カメラ１１によりステレオカメラシステム５を形成する場合でも、各カメラを所望の状態で容易に設置でき、設置の自由度が高まる。
【００９５】
本実施形態では、第１カメラ１０及び第２カメラ１１は、自装置が撮像した画像に対して、歪補正してもよい。歪補正することにより、各パラメータ（例えば、特徴点数、対応点数、カメラの位置又は姿勢）及び３次元座標の導出精度を向上できる。歪補正は、各カメラからの画像を取得したサーバ装置２０により行われてもよい。
【００９６】
尚、本実施形態では、サーバ装置２０が、３次元座標計算部２４を備えなくてもよい。ステレオカメラシステム５は、タブレット端末４０を備えなくてもよい。
【００９７】
（第２の実施形態）
第２の実施形態では、カメラ設置者が第１カメラ１０及び第２カメラ１１を設置する場合を主に想定する。第２の実施形態のステレオカメラシステムは、第１の実施形態のステレオカメラシステム５と比較すると、サーバ装置２０Ａの構成及び動作が異なる。
【００９８】
図１０は、第２の実施形態におけるサーバ装置２０Ａの構成例を示すブロック図である。図１０のサーバ装置２０Ａにおいて、図２に示したサーバ装置２０と同様の構成要素については、同一の符号を用いることで、その説明を省略又は簡略化する。
【００９９】
サーバ装置２０Ａは、サーバ装置２０と比較すると、異常判定部２５の代わりに異常判定部２５Ａを有する。
【０１００】
異常判定部２５Ａは、異常判定部２５の機能を有する。また、異常判定部２５Ａは、３次元座標計算部２４からの３次元座標の情報を順次取得し、取得された複数の３次元座標のばらつき（例えば標準偏差、分散）を計算する。異常判定部２５Ａは、３次元座標のばらつきを３次元座標の分布状態として検出する。異常判定部２５Ａは、３次元座標のばらつきが第３閾値を下回る場合、３次元座標計算部２４により計算された３次元座標の信頼性が低いと判定する。
【０１０１】
画面表示部２６は、異常判定部２５Ａにより３次元座標の信頼性が低いと判定された場合、例えば、３次元座標の信頼性が低い旨を含む警告メッセージを表示する。
【０１０２】
次に、ステレオカメラシステム５Ａの動作例について説明する。
【０１０３】
図１１はサーバ装置２０Ａの動作手順の一例を示すフローチャートである。図１１では、図４に示したサーバ装置２０の動作手順と同一の手順については、同一のステップ番号を付し、その説明を省略又は簡略化する。図１１では、３次元座標のばらつきとして、３次元座標の標準偏差を算出することを例示する。
【０１０４】
ステップＳ５において、対応点ペアに含まれる第１カメラ画像３３の特徴点が逆射影されて対象点の３次元座標が計算されると、異常判定部２５Ａは、３次元座標空間における対象点の分布状態を検出する（Ｓ６Ａ）。例えば、異常判定部２５Ａは、対象点の３次元座標の標準偏差を算出する。
【０１０５】
異常判定部２５Ａは、３次元座標の信頼性の判定状況として、画面表示部２６に対して、３次元座標の標準偏差の時間変化を表示するよう指示する（Ｓ７Ａ）。画面表示部２６は、３次元座標の標準偏差の各軸成分（Ｘ軸，Ｙ軸，Ｚ軸の成分）の時間変化を表すグラフを表示する（図１２参照）。
【０１０６】
異常判定部２５Ａは、計算された３次元座標から推定した第２カメラ１１の相対的な位置、姿勢の信頼性が低下しているか否かを判別する（Ｓ８Ａ）。
【０１０７】
３次元座標の標準偏差が第３閾値Ｔｈ５（例えば、図１２では値１０）を下回る場合、信頼性が低下していないと判定する。信頼性が低下していない場合、本動作はそのまま終了する。
【０１０８】
一方、３次元座標から推定した第２カメラ１１の相対的な位置、姿勢の信頼性が低下している場合、画面表示部２６は、例えば、３次元座標の標準偏差の各軸成分の時間変化を表すグラフと、警告メッセージと、を表示する（Ｓ９）。警告メッセージには、例えば、第２カメラ１１の相対的な位置、姿勢の信頼性の低下に対する対処方法を表す内容が含まれる。この後、本動作が終了する。
【０１０９】
尚、図１１では、図４におけるＳ６〜Ｓ８の代わりにＳ６Ａ〜Ｓ８Ａの処理が実行されることを例示したが、Ｓ６〜Ｓ８とともにＳ６Ａ〜Ｓ８Ａの処理が実行されてもよい。
【０１１０】
図１２は、第２カメラ１１の相対的な位置、姿勢の信頼性が低下した場合に表示される画面表示部２６の画面例を示す模式図である。３次元座標の標準偏差の時間変化を表すグラフでは、破線ｊで示すように、Ｚ成分の標準偏差が時刻ｔ６において第３閾値Ｔｈ５を下回っている。
【０１１１】
この場合、画面表示部２６には、第２カメラ１１の相対的な位置、姿勢の信頼性が低下している旨を含む警告メッセージ６１が表示される。警告メッセージ６１には、例えば、推定（計算）された３次元座標の標準偏差値が小さく、信頼性が低下する旨、視野内に、特定の場所に偏ることなく観測対象物が入るようする旨、の情報が含まれる。尚、時刻ｔ６以外の時刻において下回っている場合も、同様に３次元座標の信頼性が低下していると判定される。
【０１１２】
図１３（Ａ），（Ｂ）は、対象点の３次元座標のばらつきの一例を示す模式図である。
【０１１３】
図１３（Ａ），（Ｂ）では、推定（計算）された３次元座標（Ｘ，Ｙ，Ｚ）のサンプル（ここでは３個）が横軸に示されている。３次元座標で示されたサンプルとしての対象点から、第１カメラ画像３３へ射影した２次元座標（ｕ，ｖ）のサンプル（ここでは３個）が、左側の縦軸上に示されている。３次元座標で示されたサンプルとしての対象点から、第２カメラ画像３６へ射影した２次元座標（ｕ’，ｖ’）のサンプル（ここでは３個）が、右側の縦軸上に示されている。
【０１１４】
２次元座標（ｕ，ｖ）と３次元座標（Ｘ，Ｙ，Ｚ）との関係は、例えば下記の（式３）として示す射影行列式（射影行列関数）を満たす。
【０１１５】
【数２】
2015226209.tif 000004
【０１１６】
（式３）において、Ｋ及びＫ’は、カメラ内部パラメータを示す。Ｋは下記の行列により示され、Ｋ’についても同様に示される。
【０１１７】
【数３】
2015226209.tif 000005
【０１１８】
ｕ０及びｖ０は、第１カメラ１０の画像面（撮像面）での光軸座標である。α及びβは、ｘ方向、ｙ方向の焦点距離である。通常、α＝βである。γは、第１カメラ１０の画像面における座標軸の歪であり、通常０である。
【０１１９】
（式３）において、Ｒ及びｔは、前述したように、左カメラ（第１カメラ１０）の座標系に対する右カメラ（第２カメラ１１）の回転行列及び並進ベクトルを示す。
【０１２０】
回転行列Ｒは、回転行列Ｒの各軸成分（Ｒ（θｘ），Ｒ（θｙ），Ｒ（θｚ））の積により示される。
Ｒ＝Ｒ（θｘ）×Ｒ（θｙ）×Ｒ（θｚ）
【０１２１】
回転行列Ｒの各軸成分（Ｒ（θｘ），Ｒ（θｙ），Ｒ（θｚ））は、下記のように、オイラー角により表現される。
【０１２２】
【数４】
2015226209.tif 000006
【０１２３】
図１３（Ａ）のように、３次元座標計算部２４から順次出力される複数の３次元座標（ＸＹＺ座標）の標準偏差が小さい場合、異常判定部２５Ａは、射影行列式（式３）の信頼性が低いと判定する。
【０１２４】
例えば、図１３（Ａ）では、射影行列式（式３）の計算過程において、３つのサンプル間を結ぶ直線Ｌ１，Ｌ２が決定される。しかし、各サンプル間の距離が短いため、実線で示されたＬ１，Ｌ２とは傾きが多少異なる直線が符号Ａ１，Ａ２の範囲内で決定される可能性がある。
【０１２５】
よって、射影行列式（式３）が変化することとなるので、射影行列式（式３）の信頼性が低いと判定される。従って、異常判定部２５Ａは、結果的に第２カメラ１１の相対的な位置、姿勢の信頼性が低いと判定する。
【０１２６】
図１３（Ｂ）のように、３次元座標計算部２４から出力される３次元座標（ＸＹＺ座標）の標準偏差が大きい場合、異常判定部２５Ａは、射影行列式（式３）の信頼性が高いと判定する。
【０１２７】
例えば、図１３（Ｂ）では、射影行列式（式３）の計算過程において、３つのサンプル間を結ぶ直線Ｌ３，Ｌ４が決定される。この場合、各サンプル間の距離が比較的長いので、実線で示されたＬ３，Ｌ４が一意に決定される。
【０１２８】
よって、射影行列式（式３）が変化する可能性が低いので、射影行列式（式３）の信頼性が高いと判定される。従って、異常判定部２５Ａは、結果的に第２カメラ１１の相対的な位置、姿勢の信頼性が高いと判定する。
【０１２９】
本実施形態のステレオカメラシステムによれば、例えば第１カメラ１０及び第２カメラ１１が設置される際に、第１カメラ画像３３又は第２カメラ画像３６に含まれる各対象点（各観測対象点）の３次元座標の標準偏差が小さい場合、警告メッセージが表示される。つまり、第１カメラ１０又は第２カメラ１１の視野内（撮像範囲内）で、各対象点が分散していない場合、第２カメラ１１の相対的な位置、姿勢の信頼性が低いことが警告メッセージにより表示される。
【０１３０】
これにより、カメラ設置者（ユーザ）は、カメラ視野内に観測対象物が分散するように、例えば、第１カメラ１０又は第２カメラ１１の位置又は向きを調整しながら、カメラを設置できる。これにより、３次元座標計算部２４により計算される３次元座標の信頼性を向上できる。
【０１３１】
尚、サーバ装置２０は、第１の実施形態で示した警告メッセージが発せられないように、例えば特徴点数や対応点ペア数が多い状態で第１カメラ１０及び第２カメラ１１が設置されよう、ユーザを誘導してもよい。例えば、特徴点数や対応点ペア数が所定基準より少ない場合には、第１の実施形態と同様に警告メッセージが表示される。
【０１３２】
尚、本実施形態では、サーバ装置２０Ａが上述の各処理を行い、カメラ設置者がサーバ装置２０Ａの管理者から指示を受けることを想定したが、カメラ設置者がタブレット端末４０を所持し、画面を見ながら作業することも可能である。即ち、タブレット端末４０は、サーバ装置２０Ａと同様の画像処理機能を有することで、前述した処理をタブレット端末４０により実行できる。タブレット端末４０を用いることで、カメラ設置者は、第１カメラ１０及び第２カメラ１１を設置する際、３次元座標の信頼性が高いことを確認しながら、設置作業できる。従って、第１カメラ１０及び第２カメラ１１の位置や姿勢を所望の状態で設置でき、初期設置時の位置ずれを抑制できる。
【０１３３】
以上、図面を参照しながら各種の実施形態について説明したが、本発明はかかる例に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【０１３４】
上記実施形態では、画面表示部２６が、各種警告情報を表示することを例示したが、他の方法により警告情報が提示されてもよい。例えば、図示しないスピーカにより警告音が出力されてもよいし、図示しない振動部により警告を示す振動が発生されてもよい。
【０１３５】
上記実施形態では、３次元座標が計算（算出、演算）されることを例示したが、他の方法により３次元座標が導出されてもよい。例えば、サーバ装置２０，２０Ａが、３次元座標を導出するために必要な各パラメータと３次元座標との関係性を示すテーブルを保持し、テーブルを参照して３次元座標を導出してもよい。
【０１３６】
（本発明の一態様の概要）
本発明の一態様の情報提示装置は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得する画像取得部と、前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部と、前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定する異常判定部と、前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示する提示部と、を備える。
【０１３７】
この構成によれば、ユーザは、撮像装置間の相対的な位置関係（キャリブレーション）の異常を容易に認識でき、撮像装置のキャリブレーションの異常に対して早期に対処できる。
【０１３８】
本発明の一態様の情報提示装置は、前記パラメータ導出部が、前記第１の画像及び前記第２の画像に含まれる特徴点を順次抽出する特徴点抽出部を備え、前記異常判定部が、前記順次抽出された特徴点の数に基づき、前記異常の有無を判定する。
【０１３９】
この構成によれば、ユーザは、第１の画像及び第２の画像の特徴点数の変化から、撮像範囲が変化したことを推定でき、撮像装置のキャリブレーションの異常を容易に認識できる。
【０１４０】
本発明の一態様の情報提示装置は、前記パラメータ導出部が、前記第１の画像に含まれる特徴点と前記第２の画像に含まれる特徴点とが対応する対応点を順次検出する対応点検出部を備え、前記異常判定部が、前記順次検出された対応点の数に基づき、前記異常の有無を判定する。
【０１４１】
この構成によれば、ユーザは、第１の画像及び第２の画像の特徴点同士に対応関係のある対応点数の変化から、撮像範囲が変化したことを推定でき、撮像装置のキャリブレーションの異常を容易に認識できる。
【０１４２】
本発明の一態様の情報提示装置は、前記パラメータ導出部が、前記対応点に基づいて、前記第１の撮像装置に対する前記第２の撮像装置の位置及び姿勢の少なくとも一方を順次推定する推定部を備え、前記異常判定部が、前記順次推定された位置及び姿勢の少なくとも一方の変化に基づき、前記異常の有無を判定する。
【０１４３】
この構成によれば、ユーザは、撮像装置の位置及び姿勢の少なくとも一方の変化から、撮像範囲が変化したことを推定でき、撮像装置のキャリブレーションの異常を容易に認識できる。
【０１４４】
本発明の一態様の情報提示装置は、前記順次導出されたパラメータに基づいて、前記対応点に含まれる前記第１の画像の特徴点が逆射影された対象点の３次元座標を順次導出する３次元座標導出部を備え、前記提示部が、前記順次導出された前記対象点の３次元座標のばらつきが所定値以下である場合、前記第１の撮像装置に対する前記第２の撮像装置の位置及び姿勢の推定結果の信頼性が低い旨を含む警告情報を提示する。
【０１４５】
この構成によれば、ユーザは、３次元座標の信頼性が低い旨を容易に認識できる。従って、例えば撮像装置の設置者が撮像装置を設置する際に、警告情報を参照しながら設置作業することで、撮像装置を所望の位置関係で容易に設置でき、設置時の作業効率を向上できる。
【０１４６】
本発明の一態様の情報提示装置は、前記警告情報が、前記異常の要因に応じた対処方法の情報を含む。
【０１４７】
この構成によれば、ユーザは、キャリブレーションの異常の要因に合った対処方法を容易に確認でき、キャリブレーションの異常に対して早期に対処できる。
【０１４８】
本発明の一態様のステレオカメラシステムは、第１の撮像装置、第２の撮像装置、及び情報提示装置がネットワークを介して接続されたステレオカメラシステムであって、前記第１の撮像装置は、第１の筐体で固定され、前記第２の撮像装置は、第２の筐体で固定され、前記情報提示装置は、前記第１の撮像装置により撮像された第１の画像と、前記第２の撮像装置により撮像された第２の画像とを、前記ネットワークを介して取得する画像取得部と、前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するパラメータ導出部と、前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定する異常判定部と、前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示する提示部と、を備える。
【０１４９】
この構成によれば、ユーザは、撮像装置間の相対的な位置関係（キャリブレーション）の異常を容易に認識でき、撮像装置のキャリブレーションの異常に対して早期に対処できる。また、第１の撮像装置と第２の撮像装置が別筐体により固定されることで、各撮像装置の設置の自由度を向上できる。従って、撮像装置間の相対的な位置関係を容易に所望の状態にでき、様々な場所における３次元座標を導出できる。
【０１５０】
本発明の一態様の情報提示方法は、第１の撮像装置により撮像された第１の画像と、第２の撮像装置により撮像された第２の画像と、を取得するステップと、前記第１の画像及び前記第２の画像から、３次元座標を導出するためのパラメータを順次導出するステップと、前記順次導出されたパラメータに応じて、前記第１の撮像装置と前記第２の撮像装置との相対的な位置関係における異常の有無を判定するステップと、前記異常があると判定された場合、前記異常がある旨を含む警告情報を提示部により提示するステップと、を備える。
【０１５１】
この方法によれば、ユーザは、撮像装置間の相対的な位置関係（キャリブレーション）の異常を容易に認識でき、撮像装置のキャリブレーションの異常に対して早期に対処できる。
【産業上の利用可能性】
【０１５２】
本発明は、撮像装置のキャリブレーションの異常を容易に認識できる情報提示装置、ステレオカメラシステム及び情報提示方法等に有用である。
【符号の説明】
【０１５３】
５  ステレオカメラシステム
１０  第１カメラ
１１  第２カメラ
１３  第１の筐体
１４  第２の筐体
２０、２０Ａ  サーバ装置
２１  特徴点抽出部
２２  対応点検出部
２３  カメラパラメータ推定部
２４  ３次元座標計算部
２５、２５Ａ  異常判定部
２６  画面表示部
３３  第１カメラ画像
３６  第２カメラ画像
４０  タブレット端末
５１、５３  画像
５２、５４、５５、６１  警告メッセージ
６２  ベースライン長
７０  ネットワーク
７５  基地局
ａ１〜ａ７、ｂ１〜ｂ７  特徴点
ｃ１〜ｃ７  対応線
【図１】
2015226209.tif 000007
【図２】
2015226209.tif 000008
【図３】
2015226209.tif 000009
【図４】
2015226209.tif 000010
【図５】
2015226209.tif 000011
【図６】
2015226209.tif 000012
【図７】
2015226209.tif 000013
【図８】
2015226209.tif 000014
【図９】
2015226209.tif 000015
【図１０】
2015226209.tif 000016
【図１１】
2015226209.tif 000017
【図１２】
2015226209.tif 000018
【図１３】
2015226209.tif 000019