(57)【要約】【課題】  観測環境中の固定物体の特徴点を利用することなく、姿勢変化可能な撮影手段の姿勢を高精度に推定することができる撮影システムを提供する。【解決手段】  初期校正部３１は、初期校正時におけるカメラ間のエピポール及びエピポーラホモグラフィを算出し、抽出部２１〜２ｎは、姿勢推定対象となる一のカメラの姿勢が変化したときに一のカメラ及び他のカメラにより撮影された画像からシルエット画像を抽出し、第１エピポーラ線算出部３２は、他のカメラのシルエット画像とカメラ間のエピポールとから他のカメラのエピポーラ線を算出し、第２エピポーラ線算出部３３は、他のカメラのエピポーラ線とカメラ間のエピポーラホモグラフィとから一のカメラのエピポーラ線を算出し、移動量算出部３４は、一のカメラのエピポーラ線と移動後のシルエット画像との距離が最小となる変換Ｐｉを求め、姿勢推定部３５は、変換Ｐｉから一のカメラの姿勢を推定する。【選択図】      図１
2007025863.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも一の撮影手段が姿勢変化可能に構成され且つ対象物を撮影する複数の撮影手段と、
所定時刻における前記一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得する取得手段と、
前記一の撮影手段の姿勢が変化したときに前記一の撮影手段及び前記他の撮影手段により撮影された画像から対象物のシルエットを表すシルエット画像を抽出する抽出手段と、
前記抽出手段により抽出された前記他の撮影手段のシルエット画像と、前記取得手段により取得された前記一の撮影手段と前記他の撮影手段との間のエピポールとを基に前記他の撮影手段のエピポーラ線を算出する第１の算出手段と、
前記第１の算出手段により算出された前記他の撮影手段のエピポーラ線と、前記取得手段により取得された前記一の撮影手段と前記他の撮影手段との間のエピポーラホモグラフィとを基に、前記一の撮影手段のエピポーラ線を算出する第２の算出手段と、
前記第２の算出手段により算出された前記一の撮影手段のエピポーラ線に適合するように前記抽出手段により抽出された前記一の撮影手段のシルエット画像を移動させる移動手段とを備えることを特徴とする撮影システム。
【請求項２】
前記移動手段は、前記第２の算出手段により算出された前記一の撮影手段のエピポーラ線に適合するように前記抽出手段により抽出された前記一の撮影手段のシルエット画像を移動させたときの前記一の撮影手段のシルエット画像の移動量を算出し、
前記移動手段により算出された移動量を基に前記一の撮影手段の姿勢を推定する推定手段をさらに備えることを特徴とする請求項１記載の撮影システム。
【請求項３】
前記移動手段は、前記一の撮影手段と前記他の撮影手段との間のエピポーラホモグラフィをＨｋｌ、前記他の撮影手段のエピポーラ線をｌｌｋ，１，ｌｌｋ，２、前記抽出手段により抽出された前記一の撮影手段のシルエット画像をＳｋ（ｉ）、シルエット画像Ｓｋ（ｉ）を画像上で移動させるための変換をＰとし、さらに、変換Ｐにより変換されたシルエット画像をＰ（Ｓｋ（ｉ））で表し、前記第２の算出手段により算出された前記一の撮影手段のエピポーラ線ｌと平行な接線が通るシルエット画像Ｓ上の点をｐＳ，ｌとしたときにエピポーラ線ｌと点ｐＳ，ｌとの距離をＤ（Ｓ，ｌ）で表した場合、下記式（１）を最小とする変換Ｐｉを求めることを特徴とする請求項１又は２記載の撮影システム。
【数１】
2007025863.tif 000005
【請求項４】
前記取得手段は、初期校正時における一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得することを特徴とする請求項１〜３のいずれかに記載の撮影システム。
【請求項５】
少なくとも一の撮影手段が姿勢変化可能に構成され且つ対象物を撮影する複数の撮影手段、取得手段、抽出手段、第１の算出手段、第２の算出手段及び移動手段を備える撮影システムを用いた撮影方法であって、
前記取得手段が、所定時刻における前記一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得するステップと、
前記抽出手段が、前記一の撮影手段の姿勢が変化したときに前記一の撮影手段及び前記他の撮影手段により撮影された画像から対象物のシルエットを表すシルエット画像を抽出するステップと、
前記第１の算出手段が、抽出された前記他の撮影手段のシルエット画像と、取得された前記一の撮影手段と前記他の撮影手段との間のエピポールとを基に前記他の撮影手段のエピポーラ線を決定するステップと、
前記第２の算出手段が、決定された前記他の撮影手段のエピポーラ線と、取得された前記一の撮影手段と前記他の撮影手段との間のエピポーラホモグラフィとを基に、前記一の撮影手段のエピポーラ線を算出するステップと、
前記移動手段が、算出された前記一の撮影手段のエピポーラ線に適合するように前記抽出手段により抽出された前記一の撮影手段のシルエット画像を移動させるステップとを含むことを特徴とする撮影方法。
【請求項６】
少なくとも一の撮影手段が姿勢変化可能に構成され且つ対象物を撮影する複数の撮影手段により撮影された画像を処理する画像処理プログラムであって、
所定時刻における前記一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得する取得手段と、
前記一の撮影手段の姿勢が変化したときに前記一の撮影手段及び前記他の撮影手段により撮影された画像から対象物のシルエットを表すシルエット画像を抽出する抽出手段と、
前記抽出手段により抽出された前記他の撮影手段のシルエット画像と、前記取得手段により取得された前記一の撮影手段と前記他の撮影手段との間のエピポールとを基に前記他の撮影手段のエピポーラ線を算出する第１の算出手段と、
前記第１の算出手段により算出された前記他の撮影手段のエピポーラ線と、前記取得手段により取得された前記一の撮影手段と前記他の撮影手段との間のエピポーラホモグラフィとを基に、前記一の撮影手段のエピポーラ線を算出する第２の算出手段と、
前記第２の算出手段により算出された前記一の撮影手段のエピポーラ線に適合するように前記抽出手段により抽出された前記一の撮影手段のシルエット画像を移動させる移動手段としてコンピュータを機能させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の撮影手段を用いて対象物の画像を撮影する撮影システム及び撮影方法、並びに複数の撮影手段を用いて撮影された対象物の画像を処理する画像処理プログラムに関するものである。
【背景技術】
【０００２】
複数のカメラを用いて対象物の画像を撮影する多視点撮影システムは、セキュリティシステム、非接触型インタフェースシステム、３次元形状復元システム等の様々なシステムに応用され、これまでにも数多くのシステムが提案されている。例えば、多視点による３次元モデルの生成に関して、視体積交差法を用いたシステムが多く提案され、非特許文献１には、２２台のカメラの同期観測により、視体積交差法とステレオマッチング法とを用いた３次元モデル生成手法が開示されている。
【非特許文献１】冨山他、「視体積交差法とステレオマッチング法を用いた多視点画像からの３次元動オブジェクト生成手法」、映像情報メディア学会誌、２００４年、Ｖｏｌ．５８、Ｎｏ．６、ｐ．７９７−ｐ．８０６
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、多視点撮影システムにより３次元形状情報を復元するためには、全てのカメラの位置及び姿勢を求めてカメラキャリブレーションを行う必要があるが、視体積交差法による３次元モデル生成では、シルエット抽出を容易にするために単一色の背景を用いているため、背景中に特徴点を得ることができず、観測環境中の固定物体の特徴点を利用する従来のカメラキャリブレーション手法を用いることはできない。
【０００４】
また、シルエットを用いたカメラキャリブレーション手法もいくつか提案されているが、これらの手法では、固定カメラを対象としているため、姿勢が変化する可動カメラを用いた多視点撮影システムには適用することができない。
【０００５】
本発明の目的は、観測環境中の固定物体の特徴点を利用することなく、姿勢変化可能な撮影手段の姿勢を高精度に推定することができる撮影システム、撮影方法及び画像処理プログラムを提供することである。
【課題を解決するための手段】
【０００６】
本発明に係る撮影システムは、少なくとも一の撮影手段が姿勢変化可能に構成され且つ対象物を撮影する複数の撮影手段と、所定時刻における一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得する取得手段と、一の撮影手段の姿勢が変化したときに一の撮影手段及び他の撮影手段により撮影された画像から対象物のシルエットを表すシルエット画像を抽出する抽出手段と、抽出手段により抽出された他の撮影手段のシルエット画像と、取得手段により取得された一の撮影手段と他の撮影手段との間のエピポールとを基に他の撮影手段のエピポーラ線を算出する第１の算出手段と、第１の算出手段により算出された他の撮影手段のエピポーラ線と、取得手段により取得された一の撮影手段と他の撮影手段との間のエピポーラホモグラフィとを基に、一の撮影手段のエピポーラ線を算出する第２の算出手段と、第２の算出手段により算出された一の撮影手段のエピポーラ線に適合するように抽出手段により抽出された一の撮影手段のシルエット画像を移動させる移動手段とを備えるものである。
【０００７】
本発明に係る撮影システムにおいては、所定時刻における一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィが取得され、一の撮影手段の姿勢が変化したときに一の撮影手段及び他の撮影手段により撮影された画像から対象物のシルエットを表すシルエット画像が抽出され、抽出された他の撮影手段のシルエット画像と、取得された一の撮影手段と他の撮影手段との間のエピポールとを基に他の撮影手段のエピポーラ線が算出され、算出された他の撮影手段のエピポーラ線と、取得された一の撮影手段と他の撮影手段との間のエピポーラホモグラフィとを基に一の撮影手段のエピポーラ線が算出され、算出された一の撮影手段のエピポーラ線に適合するように一の撮影手段の姿勢が変化したときに抽出された一の撮影手段のシルエット画像が移動される。
【０００８】
ここで、移動後のシルエット画像は、姿勢が変化した時刻における他の撮影手段のエピポーラ線と、一の撮影手段と他の撮影手段との間のエピポーラホモグラフィとから算出された一の撮影手段のエピポーラ線に適合しているので、姿勢が変化した時刻において姿勢変化前の姿勢で一の撮影手段が対象物を撮影したと仮定した場合のシルエット画像とみなすことができる。したがって、この移動後のシルエット画像すなわち姿勢変化前のシルエット画像に対する、姿勢が変化した時刻において抽出されたシルエット画像すなわち姿勢変化後のシルエット画像の移動量を求めることにより、一の撮影手段の姿勢を推定することができるので、観測環境中の固定物体の特徴点を利用することなく、姿勢変化可能な撮影手段の姿勢を高精度に推定することができる。
【０００９】
移動手段は、第２の算出手段により算出された一の撮影手段のエピポーラ線に適合するように抽出手段により抽出された一の撮影手段のシルエット画像を移動させたときの一の撮影手段のシルエット画像の移動量を算出し、移動手段により算出された移動量を基に一の撮影手段の姿勢を推定する推定手段をさらに備えることが好ましい。
【００１０】
この場合、算出された他の撮影手段のエピポーラ線に適合するように抽出された一の撮影手段のシルエット画像を移動させたときの一の撮影手段のシルエット画像の移動量が算出され、算出された移動量を基に一の撮影手段の姿勢を推定することができるので、簡便な処理により姿勢変化可能な撮影手段の姿勢を高精度に推定することができる。
【００１１】
移動手段は、一の撮影手段と他の撮影手段との間のエピポーラホモグラフィをＨｋｌ、他の撮影手段のエピポーラ線をｌｌｋ，１，ｌｌｋ，２、抽出手段により抽出された一の撮影手段のシルエット画像をＳｋ（ｉ）、シルエット画像Ｓｋ（ｉ）を画像上で移動させるための変換をＰとし、さらに、変換Ｐにより変換されたシルエット画像をＰ（Ｓｋ（ｉ））で表し、第２の算出手段により算出された一の撮影手段のエピポーラ線ｌと平行な接線が通るシルエット画像Ｓ上の点をｐＳ，ｌとしたときにエピポーラ線ｌと点ｐＳ，ｌとの距離をＤ（Ｓ，ｌ）で表した場合、下記式（１）を最小とする変換Ｐｉを求めることが好ましい。
【００１２】
【数１】
2007025863.tif 000003
【００１３】
この場合、求められた変換Ｐｉから一の撮影手段のシルエット画像の移動量を算出することができるので、簡略な計算式を用いてシルエット画像の移動量を高速且つ高精度に算出することができる。
【００１４】
取得手段は、初期校正時における一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得することが好ましい。
【００１５】
この場合、初期校正時における一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得しているので、初期校正時にエピポール及びエピポーラホモグラフィを一度取得するだけで、初期校正時以降においてその姿勢が種々変化する撮影手段の姿勢を連続的に推定することができる。
【００１６】
本発明に係る撮影方法は、少なくとも一の撮影手段が姿勢変化可能に構成され且つ対象物を撮影する複数の撮影手段、取得手段、抽出手段、第１の算出手段、第２の算出手段及び移動手段を備える撮影システムを用いた撮影方法であって、取得手段が、所定時刻における一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得するステップと、抽出手段が、一の撮影手段の姿勢が変化したときに一の撮影手段及び他の撮影手段により撮影された画像から対象物のシルエットを表すシルエット画像を抽出するステップと、第１の算出手段が、抽出された他の撮影手段のシルエット画像と、取得された一の撮影手段と他の撮影手段との間のエピポールとを基に他の撮影手段のエピポーラ線を決定するステップと、第２の算出手段が、決定された他の撮影手段のエピポーラ線と、取得された一の撮影手段と他の撮影手段との間のエピポーラホモグラフィとを基に、一の撮影手段のエピポーラ線を算出するステップと、移動手段が、算出された一の撮影手段のエピポーラ線に適合するように抽出手段により抽出された一の撮影手段のシルエット画像を移動させるステップとを含むものである。
【００１７】
本発明に係る画像処理プログラムは、少なくとも一の撮影手段が姿勢変化可能に構成され且つ対象物を撮影する複数の撮影手段により撮影された画像を処理する画像処理プログラムであって、所定時刻における一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィを取得する取得手段と、一の撮影手段の姿勢が変化したときに一の撮影手段及び他の撮影手段により撮影された画像から対象物のシルエットを表すシルエット画像を抽出する抽出手段と、抽出手段により抽出された他の撮影手段のシルエット画像と、取得手段により取得された一の撮影手段と他の撮影手段との間のエピポールとを基に他の撮影手段のエピポーラ線を算出する第１の算出手段と、第１の算出手段により算出された他の撮影手段のエピポーラ線と、取得手段により取得された一の撮影手段と他の撮影手段との間のエピポーラホモグラフィとを基に、一の撮影手段のエピポーラ線を算出する第２の算出手段と、第２の算出手段により算出された一の撮影手段のエピポーラ線に適合するように抽出手段により抽出された一の撮影手段のシルエット画像を移動させる移動手段としてコンピュータを機能させるものである。
【発明の効果】
【００１８】
本発明によれば、一の撮影手段と他の撮影手段との間のエピポール及びエピポーラホモグラフィ並びに姿勢変化後のシルエット画像から一の撮影手段の姿勢変化前のシルエット画像を求めることができるので、この姿勢変化前のシルエット画像に対する姿勢変化後のシルエット画像の移動量を求めることにより、観測環境中の固定物体の特徴点を利用することなく、姿勢変化可能な撮影手段の姿勢を高精度に推定することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施の形態による撮像システムについて図面を参照しながら説明する。図１は、本発明の一実施の形態による撮像システムの構成を示すブロック図である。
【００２０】
図１に示す撮像システムは、Ｎ台の可動カメラ１１〜１ｎ（Ｎは２以上の整数）及び画像処理装置２０を備える。画像処理装置２０は、複数の抽出部２１〜２ｎ、初期校正部３１、第１エピポーラ線算出部３２、第２エピポーラ線算出部３３、移動量算出部３４及び姿勢推定部３５を備える。
【００２１】
なお、画像処理装置２０としては、図示の各機能を専用のハードウエア回路により構成してもよいし、この例に特に限定されず、ＲＯＭ（リードオンリメモリ）、ＣＰＵ（中央演算処理装置）、ＲＡＭ（ランダムアクセスメモリ）、外部記憶装置、入力装置、画像インタフェース装置及び表示装置等を備える通常のコンピュータを用いてもよい。この場合、後述する姿勢推定処理を実行するための画像処理プログラムをＣＰＵ等で実行することにより上記の各機能を実現することができる。また、ソフトウエアを用いる場合、上記の各機能の一部又は全部を１台又は複数台のコンピュータを用いて実行するようにしてもよい。
【００２２】
可動カメラ１１〜１ｎは、パン方向及びチルト方向に撮影角度を変更可能なカラーカメラから構成され、例えば、ソニー株式会社製のパン  チルター一体型カラービデオカメラＥＶＩ−Ｇ２０を用いることができる。可動カメラ１１〜１ｎは、観測空間内の所定位置、例えば、部屋又は廊下等の天井又は壁等に固定され、撮影対象となる対象物を同期撮影して画像データを抽出部２１〜２ｎへ出力する。また、可動カメラ１１〜１ｎは、姿勢制御部（図示省略）により公知の対象物追尾手法を用いて対象物を自動的に追尾するようにパン方向及びチルト方向の姿勢を自動的に制御されている。なお、可動カメラが撮影する画像は、カラー画像に特に限定されず、シルエット画像を抽出することができれば、白黒画像等の他の画像を用いてもよい。
【００２３】
抽出部２１〜２ｎは、可動カメラ１１〜１ｎ毎に設けられ、接続されている可動カメラ１１〜１ｎから出力される画像データから対象物の輪郭を表すシルエット画像を１フレーム毎に抽出して初期校正部３１、第１エピポーラ線算出部３２及び移動量算出部３４へ出力する。なお、抽出部２１〜２ｎの構成は、上記の例に特に限定されず、複数の可動カメラ１１〜１ｎから出力される複数の画像データを１フレーム内で処理できる場合は、一つの抽出部により各画像データを順次処理するようにしてもよい。
【００２４】
初期校正部３１は、初期校正時に抽出部２１〜２ｎから可動カメラ１１〜１ｎのシルエット画像を取得し、これらのシルエット画像を用いて全ての可動カメラ１１〜１ｎの初期校正処理（カメラキャリブレーション処理）を実行する。この校正処理としては、種々の校正処理を用いることができ、例えば、Ｓ．Ｎ．Ｓｉｎｈａ，Ｍ．Ｐｏｌｌｅｆｅｙｓ  ａｎｄ  Ｌ．ＭｃＭｉｌｌａｎ：“Ｃａｍｅｒａ  ｎｅｔｗｏｒｋ  ｃａｌｉｂｒａｔｉｏｎ  ｆｒｏｍ  ｄｙｎａｍｉｃ  ｓｉｌｈｏｕｅｔｔｅｓ”，Ｐｒｏｃ．ｏｆ  ＣＶＰＲ２００４，Ｖｏｌ．１，ｐｐ．１９５−２０２  （２００４）に記載されるカメラキャリブレーション手法を用いることができる。
【００２５】
初期校正部３１は、上記の初期校正結果を用いて可動カメラ１１〜１ｎ間の相対関係を計算して可動カメラ１１〜１ｎ間のエピポール及びエピポーラホモグラフィを取得し、可動カメラ１１〜１ｎ間のエピポールを第１エピポーラ線算出部３２へ出力し、可動カメラ１１〜１ｎ間のエピポーラホモグラフィを第２エピポーラ線算出部３３へ出力する。
【００２６】
なお、可動カメラ１１〜１ｎ間のエピポール及びエピポーラホモグラフィを取得する方法は、上記の例に特に限定されず、別途計算した可動カメラ１１〜１ｎ間のエピポール及びエピポーラホモグラフィを直接取得する等の種々の変更が可能である。また、エピポール及びエピポーラホモグラフィの取得タイミングも、上記の例に特に限定されず、可動カメラ１１〜１ｎによる観測中の任意の時刻においてエピポール及びエピポーラホモグラフィを取得するようにしてもよい。
【００２７】
また、上記の初期校正時における各可動カメラ１１〜１ｎの姿勢は、後述する姿勢推定処理における各可動カメラ１１〜１ｎの基準姿勢となり、初期校正部３１は、初期校正時における各可動カメラ１１〜１ｎのパン方向及びチルト方向の角度を基準姿勢として姿勢推定部３５へ出力する。なお、上記の初期校正処理は、可動カメラ１１〜１ｎを設置したときに一度だけ行えばよい処理である。
【００２８】
第１エピポーラ線算出部３２は、可動カメラ１１〜１ｎのうち姿勢推定の対象となる一のカメラ以外の他のカメラのシルエット画像と、初期校正部３１から出力される可動カメラ１１〜１ｎ間のエピポールとを用いて他のカメラのエピポーラ線を算出して第２エピポーラ線算出部３３へ出力する。
【００２９】
第２エピポーラ線算出部３３は、第１エピポーラ線算出部３２から出力される他のカメラのエピポーラ線と、初期校正部３１から出力される可動カメラ１１〜１ｎ間のエピポーラホモグラフィとを用いて姿勢推定の対象となる一のカメラのエピポーラ線を算出して移動量算出部３４へ出力する。
【００３０】
移動量算出部３４は、一のカメラの姿勢が変化したときに抽出部２１〜２ｎにより抽出された一のカメラのシルエット画像を第２エピポーラ線算出部３３から出力される一のカメラのエピポーラ線に適合するように移動させ、姿勢変化前後の一のカメラのシルエット画像の移動量を算出して姿勢推定部３５へ出力する。
【００３１】
具体的には、移動量算出部３４は、一のカメラと他のカメラとの間のエピポーラホモグラフィをＨｋｌ、他のカメラのエピポーラ線をｌｌｋ，１，ｌｌｋ，２、姿勢変化時に抽出された一のカメラのシルエット画像をＳｋ（ｉ）、シルエット画像Ｓｋ（ｉ）を画像上で移動させるための変換をＰとし、変換Ｐにより変換されたシルエット画像をＰ（Ｓｋ（ｉ））で表し、第２エピポーラ線算出部３３により算出された一のカメラのエピポーラ線ｌと平行な接線が通るシルエット画像Ｓ上の点をｐＳ，ｌとしたときにエピポーラ線ｌと点ｐＳ，ｌとの距離をＤ（Ｓ，ｌ）で表した場合、下記式（１）を最小とする変換Ｐｉを求める。ここで求まった変換Ｐｉは、一のカメラの姿勢変化によるシルエット画像の移動量（移動方向情報を含む）を表す。
【００３２】
【数２】
2007025863.tif 000004
【００３３】
姿勢推定部３５は、初期校正部３１から出力される基準姿勢と、移動量算出部３４により算出された変換Ｐｉすなわちシルエット画像の姿勢変化前後の移動量とから、一のカメラの姿勢すなわちパン方向及びチルト方向の角度を推定する。上記の処理が全ての可動カメラ１１〜１ｎに対して実行され、全ての可動カメラ１１〜１ｎの姿勢が推定される。
【００３４】
本実施の形態では、可動カメラ１１〜１ｎが撮影手段の一例に相当し、初期校正部３１が取得手段の一例に相当し、抽出部２１〜２ｎが抽出手段の一例に相当し、第１エピポーラ線算出部３２が第１の算出手段の一例に相当し、第２エピポーラ線算出部３３が第２の算出手段の一例に相当し、移動量算出部３４が移動手段の一例に相当し、姿勢推定部３５が推定手段の一例に相当する。
【００３５】
次に、上記のように構成された撮像システムによる姿勢推定処理について説明する。図２は、図１に示す撮像システムによる姿勢推定処理を説明するためのフローチャートである。
【００３６】
まず、ステップＳ１において、可動カメラ１１〜１ｎは、対象物を撮影して画像データを抽出部２１〜２ｎへ出力し、抽出部２１〜２ｎは、画像データからシルエット画像を抽出し、初期のシルエット画像として初期校正部３１へ出力する。
【００３７】
ここで、本撮像システムによる姿勢推定処理の背景となるシルエット形状（シルエット画像の輪郭）とフロンティア点との関係ついて説明する。なお、以下の説明では、説明を容易にするために、可動カメラ１１〜１ｎのうち姿勢推定対象となる一のカメラをカメラＫ、他のカメラをカメラＬとして説明する。
【００３８】
図３は、シルエット形状とフロンティア点との関係を説明するための模式図である。フロンティア点とは、図３に示すように、２台のカメラＫ，Ｌで得られる両方のシルエット画像の輪郭上に投影される物体表面上の点Ｐｆであり、図３からフロンティア点Ｐｆにおけるエピポーラ線は、(それぞれ互いのエピポールを通る）シルエット形状の接線として得られることがわかる。
【００３９】
また、２枚の画像Ｉｋ，Ｉｌで得られた２本のエピポーラ線ｌｋｌ，ｌｌｋについて以下の関係が成立する。
【００４０】
ａｌｌｋ＝Ｈｋｌｌｋｌ  …（２）
ここで、ＨｋｌはカメラＫとカメラＬとの間のエピポーラホモグラフィ、ａは定数であり、エピポーラホモグラフィはカメラＫとカメラＬとの間の基礎行列Ｆｋｌ及びエピポールｅｋｌ，ｅｌｋから計算できる。本撮像システムでは、上記のシルエット画像の輪郭上に定められる２カメラＫ，Ｌ間の共通観測点であるフロンティア点Ｐｆの性質を利用して各カメラの姿勢を推定している。
【００４１】
次に、ステップＳ２において、初期校正部３１は、初期校正時において抽出部２１〜２ｎから可動カメラ１１〜１ｎのシルエット画像を取得し、取得したシルエット画像を用いて全ての可動カメラ１１〜１ｎの初期校正処理を実行する。この初期校正結果を用いて、初期校正部３１は、各可動カメラ１１〜１ｎ間の相対関係を計算して可動カメラ１１〜１ｎ間のエピポール及びエピポーラホモグラフィを算出し、可動カメラ１１〜１ｎ間のエピポールを第１エピポーラ線算出部３２へ出力し、可動カメラ１１〜１ｎ間のエピポーラホモグラフィを第２エピポーラ線算出部３３へ出力する。
【００４２】
ここで、上記の初期校正処理について上記のカメラＫ，Ｌを例に詳細に説明する。各カメラＫ，Ｌの初期校正段階では、上記のＳｉｎｈａらの提案したシルエット画像による多視点システムの校正手法を基に、各カメラＫ，Ｌの位置を推定するとともに、カメラＫ，Ｌ間の相対関係を求める。
【００４３】
まず、各カメラＫ，Ｌで得られた画像から抽出されたシルエット画像に対して、Ｘ軸に対してそれぞれ０〜３６０（ｄｅｇ）の傾きを有する接線群を計算する。それぞれの角度における接点座標を各シルエット画像の特徴量として記録すると、例えば、図４に示すシルエット画像（図中の白色領域）と接線群（図中の白線）とが得られる。
【００４４】
次に、２台のカメラＫ，Ｌで得られた対応する１組のシルエット画像の接線群の中から各カメラＫ，Ｌに対して２本ずつランダムに接線を選択し、それぞれの交点をエピポールとして仮定する。続いて、カメラＫ，Ｌの別のシルエット画像組から、上記仮定したエピポールを用いて対応する１組の接線を抽出する。ここで得られた３本の接線と２つのエピポールとを用いることにより、２台のカメラＫ，Ｌ間の基礎行列Ｆｋｌが計算できる。
【００４５】
次に、上記の処理に用いた２組の観測組以外の観測列を用いて得られた基礎行列Ｆｋｌを評価し、評価が十分に高い（２組以外の観測列について投影誤差が小さい）ものが得られるまで処理を繰り返し、基礎行列Ｆｋｌを決定する。最後に、上記の処理により計算された各カメラＫ，Ｌのキャリブレーション結果から、カメラＫ，Ｌ間のエピポールｅｋｌ，ｅｌｋとエピポーラホモグラフィＨｋｌが算出される。
【００４６】
次に、ステップＳ３において、可動カメラ１１〜１ｎは、対象物を追尾しながら、その姿勢を変化させる。なお、可動カメラ１１〜１ｎの追尾動作は、初期校正処理後の観測期間において連続的に実行されており、少なくとも１台の可動カメラの姿勢が変化するものとする。
【００４７】
次に、ステップＳ４において、可動カメラ１１〜１ｎは、対象物を撮影して画像データを抽出部２１〜２ｎへ出力し、抽出部２１〜２ｎは、上記の初期校正処理と同様に、姿勢変化後の画像データからシルエット画像を抽出して第１エピポーラ線算出部３２及び移動量算出部３４へ出力する。
【００４８】
次に、ステップＳ５において、第１エピポーラ線算出部３２は、可動カメラ１１〜１ｎのうち姿勢推定の対象となる一のカメラ以外の他のカメラのシルエット画像と、初期校正部３１から出力される可動カメラ１１〜１ｎ間のエピポールとを用いて他のカメラのエピポーラ線を算出して第２エピポーラ線算出部３３へ出力する。
【００４９】
次に、ステップＳ６において、第２エピポーラ線算出部３３は、第１エピポーラ線算出部３２から出力される他のカメラのエピポーラ線と、初期校正部３１から出力される可動カメラ１１〜１ｎ間のエピポーラホモグラフィとを用いて姿勢推定の対象となる一のカメラの基準姿勢におけるエピポーラ線を算出して移動量算出部３４へ出力する。
【００５０】
次に、ステップＳ７において、移動量算出部３４は、上記式（１）を最小とする変換Ｐｉを求め、この変換Ｐｉを一のカメラの姿勢変化によるシルエット画像の移動量として姿勢推定部３５へ出力する。
【００５１】
次に、ステップＳ８において、姿勢推定部３５は、初期校正部３１から出力される基準姿勢と、移動量算出部３４により算出されたシルエット画像の移動量とから一のカメラの姿勢すなわちパン方向及びチルト方向の角度を推定し、その後、ステップＳ３に戻って以降の処理を継続する。
【００５２】
次に、上記のステップＳ４〜Ｓ８の処理をカメラＫ，Ｌを例に詳細に説明する。まず、上記の初期校正処理と同様に各カメラＫ，Ｌで得られた画像からシルエット画像が抽出され、画像面のＸ軸に対してそれぞれ０〜３６０（ｄｅｇ）の傾きの接線群が計算され、それぞれの角度における接点座標が各シルエット画像の特徴量として記録される。
【００５３】
次に、得られたシルエット画像を用いて各カメラの姿勢を以下のようにして推定する。図５は、対象物とシルエット画像との関係を説明するための模式図であり、図６は、シルエット画像とエピポーラ幾何との関係を説明するための模式図である。なお、以下では説明を簡単にするため、カメラＫの姿勢だけが変化している場合について考える。
【００５４】
図５に示すように、２台のカメラＫ，Ｌに注目し、初期校正時の両カメラＫ，Ｌの姿勢をＲｋ（０），Ｒｌ、フレームｉにおけるカメラＫの姿勢をＲｋ（ｉ）とし、各姿勢に対応するカメラをＫ（０），Ｌ，Ｋ（ｉ）とする。カメラＫ（０），Ｋ（ｉ）間の姿勢変化量ΔＲｋ（ｉ）が小さいと仮定すると、カメラＫ（０），Ｋ（ｉ）により撮影されるシルエット画像Ｓｋ（０），Ｓｋ（ｉ）について、投影位置及び姿勢は大きく変化するが、形状の変化は微小であると仮定できる。
【００５５】
ここで、図６に示すように、フレームｉにおいて、カメラＫ（ｉ），Ｌ上でシルエット画像Ｓｋ（ｉ），Ｓｌ（ｉ）が得られたとすると、上記の初期校正処理によりカメラＫ（０），Ｌ間のエピポールｅｋｌ，ｅｌｋは既知であるため、カメラＫ（０），Ｌ間で得られるフロンティア点に関するカメラＬ上のエピポーラ線は、シルエット画像Ｓｌ（ｉ）の接線群のうちエピポールｅｌｋを通過する２本の接線ｌｌｋ，１，ｌｌｋ，２として得られる。
【００５６】
一方、カメラＫ（０）については、シルエット画像Ｓｋ（０）が既知であれば、カメラＫ（０）上でのエピポーラ線は、シルエット画像Ｓｋ（０）の接線群のうちエピポールｅｋｌを通過する２本の接線として求められるが、実際には、フレームｉでは、カメラＫの姿勢が変化しており、カメラＫ（０）によってシルエット画像Ｓｋ（０）を直接観測することはできない。
【００５７】
このため、カメラＫ（０），Ｌ間のエピポーラホモグラフィＨｋｌに注目すると、カメラＬでのエピポーラ線ｌｌｋ，１，ｌｌｋ，２とエピポーラホモグラフィＨｋｌとからカメラＫ（０）におけるエピポーラ線ｌｋｌ，１，ｌｋｌ，２を計算することができる。また、カメラＫ（ｉ）で得られたシルエット画像Ｓｋ（ｉ）に注目すると、カメラＫ（０），Ｋ（ｉ）間におけるシルエット形状の差は微小との仮定より、カメラＫ（０）で得られるシルエット画像Ｓｋ（０）は、シルエット画像Ｓｋ（ｉ）を画像上で並進及び回転させたものとして与えられる。
【００５８】
ここで、変換Ｐを定義し、変換Ｐにより変換されたシルエット画像ＳｋをＰ（Ｓｋ）で表すと、シルエット画像Ｐ（Ｓｋ）とエピポールｅｋｌとからカメラＫ（０）上のエピポーラ線ｌ’ｋｌ，１，ｌ’ｋｌ，２が求められる。同様に、エピポーラホモグラフィＨｋｌとエピポーラ線ｌｌｋ，１，ｌｌｋ，２からカメラＫ（０）上のエピポーラ線ｌｋｌ，１，ｌｋｌ，２が計算できるため、エピポーラ線ｌｋｌ，１，ｌｋｌ，２とｌ’ｋｌ，１，ｌ’ｋｌ，２とが一致するような変換Ｐｉを計算することにより、カメラＫ（０）上のシルエット投影位置を決定できる。
【００５９】
実際には、カメラＫは、カメラＬを含む複数の他のカメラと観測を共有しているため、各カメラで得られたシルエット画像の形状のみに注目し、基準姿勢のカメラ群に対して初期校正時のカメラ間の相対関係を最も良く満たすような各シルエットの投影位置及び姿勢を探索することにより、カメラＫ（０）で得られるシルエット画像Ｓｋ（０）を推定できる。この探索は、上記式（１）を最小にする変換Ｐｉを求めることにより計算される。
【００６０】
図７は、シルエット画像とエピポーラ線との距離を説明するための模式図である。上記式（１）におけるＤ（Ｓ，ｌ）は、図７に示す直線ｌと点ｐＳ，ｌとの距離であり、点ｐＳ，ｌはシルエット画像Ｓ上で直線ｌと平行な接線が通る点である。したがって、シルエット画像Ｓが変換Ｐｉにより変換されたシルエット画像すなわち移動後のシルエット画像Ｐ（Ｓｋ（ｉ））であり、直線ｌがカメラＫ（０）上のエピポーラ線ｌｋｌ，１，ｌｋｌ，２すなわちＨｋｌｌｌｋ，１、Ｈｋｌｌｌｋ，２である場合、Ｄ（Ｓ，ｌ）は、カメラＫ（０）上のエピポーラ線ｌｋｌ，１，ｌｋｌ，２と移動後のシルエット画像Ｐ（Ｓｋ（ｉ））との距離を表す。
【００６１】
このようにして求められた変換Ｐｉは、カメラＫ（０），Ｋ（ｉ）間の姿勢変化によるシルエット画像の移動量を表すので、変換ＰｉからカメラＫ（０），Ｋ（ｉ）間の姿勢変化量ΔＲｋ（ｉ）を計算することができ、フレームごとのカメラＫの姿勢すなわちパン方向及びチルト方向の角度が計算できる。
【００６２】
なお、上記の説明では、姿勢推定の対象となるカメラが１台の場合について説明したが、複数台のカメラの姿勢を推定する場合も基本的に同様であり、姿勢推定の対象となるカメラ毎に、各ステップの処理を並列的に実行したり、ステップＳ４〜Ｓ８の処理を繰り返してシーケンス的に実行したりすることにより、姿勢推定の対象となる全てのカメラの姿勢を推定することができる。
【００６３】
上記の処理により、本実施の形態では、初期校正時における可動カメラ１１〜１ｎ間のエピポール及びエピポーラホモグラフィが算出され、可動カメラ１１〜１ｎのうち姿勢推定対象となるカメラの姿勢が変化したときに姿勢推定対象のカメラ及び他のカメラにより撮影された画像からシルエット画像が抽出され、抽出された他のカメラのシルエット画像と、姿勢推定対象のカメラと他のカメラとの間のエピポールとから他のカメラのエピポーラ線が算出され、算出された他のカメラのエピポーラ線と、姿勢推定対象のカメラと他のカメラとの間のエピポーラホモグラフィとから姿勢推定対象のカメラのエピポーラ線が算出され、算出された姿勢推定対象のカメラのエピポーラ線と移動後のシルエット画像との距離が最小となるように、姿勢変化後のシルエット画像を移動するための変換Ｐｉが求められ、この変換Ｐｉから姿勢推定対象のカメラの姿勢すなわちパン方向及びチルト方向の角度が計算される。
【００６４】
したがって、観測環境中の固定物体の特徴点を利用することなく、姿勢変化可能な可動カメラ１１〜１ｎの姿勢を高速且つ高精度に推定することができる。この結果、可動カメラ１１〜１ｎの姿勢が変化する場合にも、各可動カメラ１１〜１ｎで得られるシルエット画像を用いて、姿勢変化に追従したカメラ校正処理を実行することができる。
【００６５】
次に、上記の撮影システムの姿勢推定精度について説明する。図１に示す撮影システムとして、４台の可動カメラを用い、４台の可動カメラのうち１台の可動カメラのみ姿勢を変化させ、他の３台の可動カメラは固定カメラとして使用した。図８は、撮影を行った環境を示す図であり、観測環境中の固定物体等は何ら配置することなく、青色の背景中に対象物として自走玩具を配置した。
【００６６】
上記の観測環境において、まず、４台の可動カメラの姿勢を固定し、上記の初期校正処理を行い、各可動カメラ間のエピポール及びエピポーラホモグラフィを算出した。次に、１台の可動カメラのみ姿勢を変化させながら、４台の可動カメラによりシーン中を移動する自走玩具の観測を行った。このとき、４台の可動カメラでは同期観測が行われており、約２０秒の観測期間において１３０フレームの画像列を得た。
【００６７】
図９は、観測画像列の一例を示す図であり、図中の姿勢変化カメラが姿勢を変化させた１台の可動カメラにより撮影された画像列を示し、固定カメラ１〜３が姿勢を変化させていない３台の可動カメラにより撮影された画像列を示している。姿勢変化カメラの姿勢は、コンピュータにより制御され、各フレームで得られた４枚の画像を用い、姿勢変化カメラの姿勢を推定した。
【００６８】
図１０は、姿勢変化カメラの基準姿勢におけるシルエット投影位置及び姿勢の推定結果の一例を示す図であり、図１１は、姿勢推定結果の一例を示す図であり、図１１の横軸はフレーム数、縦軸は姿勢値、実線は本観測システムによる姿勢推定値、破線はコンピュータにより与えた姿勢変化カメラの姿勢制御値を示している。図１０の左上の画像が姿勢変化カメラのシルエット投影位置及び姿勢の推定結果を示し、他の３枚の画像が固定カメラ１〜３のシルエット投影位置及び姿勢の推定結果を示している。また、図１１に示すように、推定誤差は平均０．２度であり、姿勢変化カメラの姿勢を正確に推定できていることがわかった。
【００６９】
なお、上記の説明では、可動カメラの姿勢推定までの処理について説明したが、推定した姿勢を用いて対象物の３次元形状情報を復元するようにしてもよい。この場合、３次元形状情報復元処理として、公知の視体積交差法等を用いることができ、例えば、上記の非特許文献１に記載される視体積交差法とステレオマッチング法を用いた多視点画像からの３次元動オブジェクト生成手法や、「平面間透視投影を用いた並列視体積交差法」（ウ他３名、情報処理学会論文誌：コンピュータとイメージメディア、２００１年、Ｖｏｌ．４２、ＳＩＧ（ＣＶＩＭ２）、ｐ．３３−ｐ．４３）等の手法を用いることができる。
【００７０】
また、本実施の形態では、可動カメラの姿勢を明示的に推定したが、この例に特に限定されず、可動カメラの姿勢を明示的に推定することなく、可動カメラの姿勢に対応するパラメータを推定し、このパラメータを用いて対象物の３次元形状情報を復元するようにしてもよい。また、本実施の形態では、カメラのパン方向及びチルト方向の角度を推定したが、この例に特に限定されず、本発明はカメラの姿勢すなわちすべての方向の角度を推定することができる。
【図面の簡単な説明】
【００７１】
【図１】本発明の一実施の形態による撮像システムの構成を示すブロック図である。
【図２】図１に示す撮像システムによる姿勢推定処理を説明するためのフローチャートである。
【図３】シルエット形状とフロンティア点との関係を説明するための模式図である。
【図４】シルエット画像と接線群との関係の一例を示す図である。
【図５】対象物とシルエット画像との関係を説明するための模式図である。
【図６】シルエット画像とエピポーラ幾何との関係を説明するための模式図である。
【図７】シルエット画像とエピポーラ線との距離を説明するための模式図である。
【図８】撮影を行った環境を示す図である。
【図９】観測画像列の一例を示す図である。
【図１０】姿勢変化カメラの基準姿勢におけるシルエット投影位置及び姿勢の推定結果の一例を示す図である。
【図１１】姿勢推定結果の一例を示す図である。
【符号の説明】
【００７２】
１１〜１ｎ  可動カメラ
２０  画像処理装置
２１〜２ｎ  抽出部
３１  初期校正部
３２  第１エピポーラ線算出部
３３  第２エピポーラ線算出部
３４  移動量算出部
３５  姿勢推定部
【図１】
2007025863.tif 000006
【図２】
2007025863.tif 000007
【図３】
2007025863.tif 000008
【図５】
2007025863.tif 000009
【図６】
2007025863.tif 000010
【図７】
2007025863.tif 000011
【図１１】
2007025863.tif 000012
【図４】
2007025863.tif 000013
【図８】
2007025863.tif 000014
【図９】
2007025863.tif 000015
【図１０】
2007025863.tif 000016