(57)【要約】【課題】複数のカメラ間の相対的な姿勢を制御する制御装置を提供する。【解決手段】基準カメラの姿勢に基づき、１つ以上の制御対象カメラの姿勢を制御する制御装置は、前記基準カメラが撮影した第１画像と、前記制御対象カメラが撮影した第２画像に基づき、前記基準カメラの姿勢を基準とした、前記制御対象カメラの姿勢パラメータを推定する姿勢推定手段と、前記姿勢パラメータに基づいて、前記基準カメラを基準とした前記制御対象カメラの目標姿勢からの誤差を推定する誤差推定手段と、前記誤差を減少させる様に前記制御対象カメラの姿勢を制御する制御手段と、を備えている。【選択図】図１
2016042639.tif 000002
【特許請求の範囲】
【請求項１】
基準カメラの姿勢に基づき、１つ以上の制御対象カメラの姿勢を制御する制御装置であって、
前記基準カメラが撮影した第１画像と、前記制御対象カメラが撮影した第２画像に基づき、前記基準カメラの姿勢を基準とした、前記制御対象カメラの姿勢パラメータを推定する姿勢推定手段と、
前記姿勢パラメータに基づいて、前記基準カメラを基準とした前記制御対象カメラの目標姿勢からの誤差を推定する誤差推定手段と、
前記誤差を減少させる様に前記制御対象カメラの姿勢を制御する制御手段と、
を備えていることを特徴とする制御装置。
【請求項２】
前記姿勢推定手段は、
前記第１画像及び前記第２画像それぞれについて、複数の特徴点を検出する検出手段と、
前記第１画像及び前記第２画像それぞれについて、各特徴点の特徴量を算出する算出手段と、
前記第１画像の複数の特徴点と前記第２画像の複数の特徴点との対応関係を、各特徴点の特徴量に基づき判定する判定手段と、
前記第１画像及び前記第２画像の対応する特徴点に基づき、前記姿勢パラメータを算出する算出手段と、
を備えていることを特徴とする請求項１に記載の制御装置。
【請求項３】
前記姿勢パラメータは、パン方向、チルト方向及びロール方向それぞれについて、前記基準カメラの姿勢を基準とした、前記制御対象カメラの角度を示す情報を含むことを特徴とする請求項１又は２に記載の制御装置。
【請求項４】
前記誤差推定手段が推定する誤差は、前記基準カメラの姿勢を基準とした、パン方向、チルト方向及びロール方向の前記制御対象カメラの角度の誤差であることを特徴とする請求項３に記載の制御装置。
【請求項５】
前記姿勢推定手段は、前記基準カメラの姿勢を基準とした、前記制御対象カメラの姿勢のずれを示す評価値を出力し、
前記制御手段は、前記評価値が閾値を超えていると前記誤差を減少させる様に前記制御対象カメラの姿勢を制御することを特徴とする請求項２から４のいずれか１項に記載の制御装置。
【請求項６】
前記評価値は、前記基準カメラの姿勢を基準とした、パン方向、チルト方向及びロール方向の前記制御対象カメラの角度の誤差であることを特徴とする請求項５に記載の制御装置。
【請求項７】
パン方向、チルト方向及びロール方向の閾値は、それぞれ、前記制御対象カメラのパン方向、チルト方向及びロール方向の最小回転角度に基づき決定されることを特徴とする請求項６に記載の制御装置。
【請求項８】
前記評価値は、前記第１画像と前記第２画像の対応する特徴点の垂直方向における位置の差に基づく値であることを特徴とする請求項５に記載の制御装置。
【請求項９】
前記評価値が前記閾値を超えていないと、前記姿勢パラメータに基づき前記第１画像と前記第２画像のすくなくとも１つの補正を行う補正手段をさらに備えていることを特徴とする請求項５から８のいずれか１項に記載の制御装置。
【請求項１０】
請求項１から９のいずれか１項に記載の制御装置としてコンピュータを機能させることを特徴とするプログラム。
【請求項１１】
基準カメラの姿勢に基づき、１つ以上の制御対象カメラの姿勢を制御する制御装置における制御方法であって、
前記基準カメラが撮影した第１画像と、前記制御対象カメラが撮影した第２画像を取得する取得ステップと、
前記第１画像及び前記第２画像に基づき、前記基準カメラの姿勢を基準とした、前記制御対象カメラの姿勢パラメータを推定する姿勢推定ステップと、
前記姿勢パラメータに基づいて、前記基準カメラを基準とした前記制御対象カメラの目標姿勢からの誤差を推定する誤差推定ステップと、
前記誤差を減少させる様に前記制御対象カメラの姿勢を制御する制御ステップと、
を含むことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、カメラ姿勢の制御技術に関する。
【背景技術】
【０００２】
複数のカメラを用いて、立体視可能な画像を撮影する場合や、立体画像を生成するための素材としての画像を撮影する場合には、これら複数のカメラの光軸の関係を適切な関係とする必要がある。具体的には、各カメラの光軸を平行とし、その垂直方向の位置を同じとし、撮影する画像の各画素の各方向の並びも平行とする必要がある。これらの条件を満たす様に、各カメラの姿勢を手作業で調整することは大変難しい。
【０００３】
このため、非特許文献１は、手作業にて大まかに各カメラの姿勢を調整し、各カメラが撮影した画像を処理することで、各カメラの姿勢のずれを補正した画像を生成する構成を開示している。また、特許文献１及び非特許文献２は、各カメラが同じ注視点を向く様に姿勢を制御する構成を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−１４６７６２号公報
【非特許文献】
【０００５】
【非特許文献１】福嶋  慶繁、他、"特徴点軌跡並行化による２次元カメラアレイレクティフィケーション"、映像情報メディア学会誌、ｖｏｌ.６１、ｎｏ．４、ｐｐ．５６４-５７１、２００８年４月
【非特許文献２】川内  直人、他、"新映像システムＥＹＥ  ＶＩＳＩＯＮ向けカメラ制御パンチルトの開発"、ロボティクス・メカトロニクス講演会、ｐ．５９、２００２年
【発明の概要】
【発明が解決しようとする課題】
【０００６】
画像処理によりカメラ姿勢を補正する構成においては、撮影した画像に対して幾何学的な操作を行うため、画像の平行移動や、長方形の画像から歪んだ四角形への変換が行われる。このため、画像処理後の画像には、その後の立体画像生成等の処理に使用できない画素が生じる。つまり、撮影した範囲の一部のみしかその後の処理に利用できなくなる。特に、非特許文献１に記載の構成では、手作業にて大まかに調整して画像の撮影を行うため、利用できない範囲が大きくなってしまう。また、特許文献１や非特許文献２に記載の構成は、ある注視点を向くようにカメラの光軸を調整するものであり、光軸が平行となる様にカメラを調整するものではない。
【０００７】
本発明は、複数のカメラ間の相対的な姿勢を制御する制御装置、制御方法及びプログラムを提供するものである。
【課題を解決するための手段】
【０００８】
本発明の一側面によると、基準カメラの姿勢に基づき、１つ以上の制御対象カメラの姿勢を制御する制御装置は、前記基準カメラが撮影した第１画像と、前記制御対象カメラが撮影した第２画像に基づき、前記基準カメラの姿勢を基準とした、前記制御対象カメラの姿勢パラメータを推定する姿勢推定手段と、前記姿勢パラメータに基づいて、前記基準カメラを基準とした前記制御対象カメラの目標姿勢からの誤差を推定する誤差推定手段と、
前記誤差を減少させる様に前記制御対象カメラの姿勢を制御する制御手段と、を備えていることを特徴とする。
【発明の効果】
【０００９】
複数のカメラ間の相対的な姿勢を制御することができる。
【図面の簡単な説明】
【００１０】
【図１】一実施形態による制御装置の構成図。
【図２】一実施形態による姿勢推定部の構成図。
【発明を実施するための形態】
【００１１】
以下、本発明の例示的な実施形態について図面を参照して説明する。なお、以下の実施形態は例示であり、本発明を実施形態の内容に限定するものではない。また、以下の各図においては、実施形態の説明に必要ではない構成要素については図から省略する。
【００１２】
図１は、一実施形態によるカメラ１−１〜１−３の姿勢を制御する制御装置２の構成図である。なお、以下の説明では、カメラの台数を３台とするが例示であり、２台以上の任意の数のカメラの姿勢制御に対して本発明を適用することができる。なお、各カメラ１−１〜１−３は、雲台に取り付けられており、所謂、パン、チルト、ロール方向においてその向きを調整可能な様に構成されている。そして、制御装置２の姿勢制御部２５は、制御信号を出力して、カメラ１−１〜１−３それぞれについて、パン、チルト、ロール方向の調整を行う。また、本実施形態においては、１台のカメラを基準カメラとし、この基準カメラの姿勢を基準として、制御対象となる他の２台のカメラの姿勢を制御する。以下の説明では、カメラ１−２を基準カメラとし、各カメラの光軸が平行、かつ、その垂直方向の位置が同じになり、各カメラが撮影する画像の画素の並びが平行となる様に、制御対象カメラ１−１及び１−３の姿勢を制御するものとする。
【００１３】
各カメラ１−１〜１−３は、撮影した画像を出力する。入力部２１は各カメラからの画像を入力とし、各カメラ１−１〜１−３が撮影した画像を同期させ、姿勢推定部２２に出力する。制御装置２での処理は、各カメラ１−１〜１−３が外部同期信号により略同時に撮影した画像を単位として行われる。図２は、姿勢推定部２２の構成図である。特徴点とは、例えば、画像に含まれるオブジェクトのコーナー部分等、画素値の変化の大きい画素である。特徴点検出部２２１は、各画像それぞれについて、複数の特徴点を検出し、画像中の特徴点の位置と、特徴点を含む画素の領域を示す尺度などを特徴量算出部２２２に出力する。特徴量算出部２２２は、特徴点及び尺度で特定される領域内の画素について、画素値に関する特徴量を算出し、方向による正規化を行い特徴点としての特徴量を算出する。特徴量は、特徴点となる位置と、その周囲の画素との画素値の差に基づく値、例えば、周囲の複数の画素と特徴点の画素の画素値の差をベクトルで表したものとすることができる。特徴点の検出及び特徴量の算出には、例えば、ＳＩＦＴ、ＯＲＢ、Ｆｅｒｎｓ等の公知の方法を使用できる。
【００１４】
対応点判定部２２３は、各画像の特徴点及び当該特徴点に関する特徴量の一致度又は類似度に基づき、基準カメラ１−２が撮影した画像と、制御対象カメラ１−１及び１−３が撮影した画像の特徴点の対応関係をそれぞれ判定する。例えば、特徴量がベクトルである場合、基準カメラ１−２が撮影した画像の各特徴点の特徴量を示すベクトルと、制御対象カメラ１−１及び１−３が撮影した画像の各特徴点の特徴量を示すベクトルの対応要素の差の２乗を積算し、積算値の最も低い特徴点のペアを、対応する特徴点と判定することができる。対応点判定部２２３は、基準カメラ１−２と制御対象カメラ１−１の特徴点のペアと、基準カメラ１−２と制御対象カメラ１−３の特徴点のペアをそれぞれ姿勢パラメータ算出部２２４に出力する。
【００１５】
姿勢パラメータ算出部２２４は、特徴点のペアに基づき基準カメラ１−２を基準としたときの、制御対象カメラ１−１及び１−３の姿勢パラメータを算出する。なお、姿勢パラメータの算出には、例えば、「島田静雄、ＣＡＤ・ＣＧのための基礎数学（インターネット時代の数学シリーズ（７））、共立出版、２０００年７月」に記載されている様な公知の方法を利用できる。一般的に、姿勢パラメータは、平行移動ベクトルｔと、回転行列Ｒにより表現される。姿勢推定部２３の姿勢パラメータ算出部２２４は、姿勢パラメータを誤差推定部２３に出力する。
【００１６】
誤差推定部２３は、姿勢パラメータに基づき、制御対象カメラ１−１及びカメラ１−３の、基準カメラ１−２に対する姿勢の誤差を求める。本実施形態において、この誤差は、回転行列Ｒの逆行列Ｒ−１に基づき求めることができる。具体的には、逆行列Ｒ−１が、
【００１７】
【数１】
2016042639.tif 000003
であるものとすると、チルト角誤差θｘ、パン角誤差θｙ、ロール角誤差θｚは、それぞれ、以下の式で求めることができる。
θｘ＝ａｒｃｓｉｎ（ｂ３）
θｙ＝ａｒｃｔａｎ（−ｂ１／ｂ２）
θｚ＝ａｒｃｔａｎ（−ａ３／ｃ３）
誤差推定部２３は、チルト角誤差θｘ、パン角誤差θｙ、ロール角誤差θｚを判定部２４に出力する。
【００１８】
判定部２４は、チルト角誤差θｘ、パン角誤差θｙ、ロール角誤差θｚのそれぞれを対応する閾値と比較する。なお、各方向の閾値は、カメラの対応する方向の制御分解能の半分の値とすることができる。これは、制御分解能の半分以下の誤差があっても、その誤差をより小さくすることはできないからである。判定部２４は、いずれかの誤差が閾値を超えていると、そのカメラについては姿勢制御が完了していないとして、当該カメラの姿勢の誤差量を姿勢制御部２５に出力する。姿勢制御部２５は、受け取ったカメラの誤差量に基づき、誤差量が小さくなる様に当該カメラを制御する。カメラの制御が完了すると、姿勢制御部２５は、姿勢推定部２２に姿勢制御の完了を通知する。姿勢制御部２２は、姿勢制御が完了していないカメラについて、既に説明した様に姿勢を推定する。この様に、総てのカメラの姿勢制御が完了するまで、姿勢制御部２５によるカメラの姿勢制御と、姿勢推定部２２による姿勢の推定と、誤差推定部２３による誤差の推定と、判定部２４による判定が繰り返される。判定部２４は、総てのカメラの姿勢制御が完了すると、補正部２６に、制御対象カメラ１−１及び１−３の姿勢パラメータを出力する。
【００１９】
補正部６は、制御対象カメラ１−１及び１−３の姿勢パラメータを受け取ると、入力部２１から入力されるカメラ１−１及び１−３が撮影した画像については、誤差を補正する様に画像処理を行い、補正後の画像を出力する。なお、例えば、カメラが２台である場合等には、基準カメラ１−２の画像を補正する構成とすることもできる。
【００２０】
以上、本実施形態においては、制御装置２が、制御対象カメラ１−１及び１−３の姿勢を基準カメラ１−２の姿勢に基づき制御する。したがって、補正部２６における画像処理後の画像において利用できなくなる画像の領域が小さくなる。
【００２１】
なお、本実施形態では、回転行列Ｒに基づき誤差を求めたが、特徴点のペアに基づき誤差量を評価することができる。例えば、基準カメラ１−２及び制御対象カメラ１−１の特徴点のペアの垂直方向の差の平均値や最大値を、誤差を評価するための評価値とすることができる。この場合、判定部２４は、制御対象カメラ１−１の姿勢制御が完了したか否かを、評価値と閾値を比較することで判定する。さらに、パン方向とチルト方向のみを姿勢制御が完了したか否かの判定に使用することもできる。さらに、各カメラを調整方向については、カメラ自体の平行移動等、パン方向、チルト方向、ロール方向以外の姿勢の調整を行うものであっても良い。
【００２２】
なお、本発明による制御装置は、コンピュータを上記制御装置として動作させるプログラムにより実現することができる。これらコンピュータプログラムは、コンピュータが読み取り可能な記憶媒体に記憶されて、又は、ネットワーク経由で配布が可能なものである。
【図１】
2016042639.tif 000004
【図２】
2016042639.tif 000005