(57)【要約】【課題】  複数台のカメラ映像を用いて、ステレオ法と背景を推定する方法を合わせ、画像の背景領域を分離する。【解決手段】  少なくとも２台のカメラ１，２により互いに異なる視点から被写体を撮像して得られた互いに同期した入力画像をフレームメモリ３に記憶し、上記フレームメモリ３に記憶された互いに同期した入力画像について、背景領域推定処理部４において、背景領域は遠方にあり、平面であると仮定して、大局的な画像合わせ込みを行ってから、局所的類似度による背景領域を推定し、推定した背景領域以外の点について、距離画像作成処理部５によりステレオ法により距離計測を行って距離画像を作成し、作成した距離画像を参照して、背景分離画像作成処理部６により所定の距離以上の領域の画像を入力画像から除去して背景分離画像を作成する。【選択図】        図１
2006109172.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像して、互いに同期した入力画像を得る撮像ステップと、
上記撮像ステップで得られた各入力画像について、背景領域は遠方にあり、平面であると仮定して、大局的な画像合わせ込みを行ってから、局所的類似度による背景領域を推定する背景領域推定ステップと、
上記背景領域推定ステップで推定した背景領域以外の点について、ステレオ法により距離計測を行って距離画像を作成する距離画像作成ステップと、
上記距離画像作成ステップで作成した距離画像を参照して、所定の距離以上の領域の画像を入力画像から除去して背景分離画像を作成する背景分離画像作成ステップと
を有することを特徴とする画像処理方法。
【請求項２】
上記背景領域推定ステップにおいて、局所的類似度による背景領域の推定に用いる背景テンプレートを随時更新・追加することを特徴とする請求項１記載の画像処理方法。
【請求項３】
少なくとも２台のカメラにより互いに異なる視点から被写体を撮像して得られた互いに同期した入力画像を記憶する記憶手段と、
上記記憶手段に記憶された互いに同期した入力画像について、背景領域は遠方にあり、平面であると仮定して、大局的な画像合わせ込みを行ってから、局所的類似度による背景領域を推定する背景領域推定処理部と、
上記背景領域推定処理部で推定した背景領域以外の点について、ステレオ法により距離計測を行って距離画像を作成する距離画像作成処理部と、
上記距離画像作成処理部で作成した距離画像を参照して、所定の距離以上の領域の画像を入力画像から除去して背景分離画像を作成する背景分離画像作成処理部と
を備えることを特徴とする画像処理装置。
【請求項４】
上記背景領域推定処理部では、局所的類似度による背景領域の推定に用いる背景テンプレートを随時更新・追加することを特徴とする請求項３記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の背景領域を分離する画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年、カメラを備えたビジュアルコミュニケーション装置が普及し始めている。例えば、ビジネスの分野では、複数人で行うテレビ会議システムがあり、またパーソナルの分野ではWebカメラを利用したコミュニケーションシステムがある。このようなシステムでは、相手の表示像をディスプレイ上に表示するとともに、当該ディスプレイを視認するユーザを撮影対象として撮像し、得られた画像信号を公衆回線、専用回線等のネットワークを介して相手側の画像処理装置へ送信することにより、双方のユーザに対し臨場感を持たせることが可能となる。
【０００３】
しかし、これらのシステムでの共通の問題として、人物以外の領域を相手に送信したくはないという点がある。カメラで撮像される全ての情報が相手側に送信される現在のシステムでは、相手に見せてもよい場所にシステムを設置するという限定が入ることになる。
【０００４】
そこで，人物(前景)と背景を分離し、背景部になんらかの加工を施すなどの方法が考えられる。
【０００５】
すなわち、カメラシステムにおいて撮像された動画像からユーザを始めとした動物体を含む前景領域を切り出し、かかる切り出した動物体に所定の処理を施すことにより、背景の特徴に左右されにくいロバストな画像処理が可能となる。また、背景を相手へ送りたくない場合には、前景と背景を分離し、前景のみを配信することで実現させる。
【０００６】
ここで、背景と前景を分離する方法としては、例えば、熱センサを利用し、人物領域を特定し、背景領域に加工処理を施す方法（例えば、特許文献１参照）、また、背景差分、フレーム間差分、ステレオ法により、移動領域を検出し、これを前景とする方法（例えば、特許文献２参照）、あるいは、距離範囲を指定し、その範囲内に収まる映像を出力する方法（例えば、特許文献３参照）などがある。
【０００７】
【特許文献１】特開平９−２００７１４号公報
【特許文献２】特開２０００−２０７２２号公報
【特許文献３】特開２０００−２００３５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、熱センサを利用し、人物領域を特定し、背景領域に加工処理を施す特許文献１の方法では、熱センサは一般に高価であり、ビジュアルコミュニケーション装置に必要なカメラ以外のセンサをつける必要がある。また、背景差分、フレーム間差分、ステレオ法により、移動領域を検出し、これを前景とする特許文献２の方法では、背景差分のために予め人物が写っていない状態の画像を取得する必要があり、利便性の点で問題がある。また、距離範囲を指定し、その範囲内に収まる映像を出力する特許文献３の方法では、ステレオ法により距離計測を行う場合、入力シーンに繰り返しパターンやオクリュージョンが多い場合に、精度の良い距離計測を行うことが難しい。さらに、その他の技術として、撮像画像を領域分割する方法や、人物を認識する方法などがあるがロバスト性、精度の面で確立されていないのが現状である。
【０００９】
そこで、本発明の目的は、上述の如き従来の問題点に鑑み、複数台のカメラ映像を用いて、ステレオ法と背景を推定する方法を合わせ、画像の背景領域を分離する画像処理方法及び画像処理装置を提供することにある。
【００１０】
本発明の更に他の目的、本発明によって得られる具体的な利点は、以下に説明される実施の形態の説明から一層明らかにされる。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理方法は、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像して、互いに同期した入力画像を得る撮像ステップと、上記撮像ステップで得られた各入力画像について、背景領域は遠方にあり、平面であると仮定して、大局的な画像合わせ込みを行ってから、局所的類似度による背景領域を推定する背景領域推定ステップと、上記背景領域推定ステップで推定した背景領域以外の点について、ステレオ法により距離計測を行って距離画像を作成する距離画像作成ステップと、上記距離画像作成ステップで作成した距離画像を参照して、所定の距離以上の領域の画像を入力画像から除去して背景分離画像を作成する背景分離画像作成ステップとを有することを特徴とする。
【００１２】
本発明に係る画像処理方法では、例えば、上記背景領域推定ステップにおいて、局所的類似度による背景領域の推定に用いる背景テンプレートを随時更新・追加する。
【００１３】
本発明に係る画像処理装置は、少なくとも２台のカメラにより互いに異なる視点から被写体を撮像して得られた互いに同期した入力画像を記憶する記憶手段と、上記記憶手段に記憶された互いに同期した入力画像について、背景領域は遠方にあり、平面であると仮定して、大局的な画像合わせ込みを行ってから、局所的類似度による背景領域を推定する背景領域推定処理部と、上記背景領域推定処理部で推定した背景領域以外の点について、ステレオ法により距離計測を行って距離画像を作成する距離画像作成処理部と、上記距離画像作成処理部で作成した距離画像を参照して、所定の距離以上の領域の画像を入力画像から除去して背景分離画像を作成する背景分離画像作成処理部とを備えることを特徴とする。
【００１４】
本発明に係る画像処理装置において、例えば、上記背景領域推定処理部では、局所的類似度による背景領域の推定に用いる背景テンプレートを随時更新・追加する。
【発明の効果】
【００１５】
本発明では、入力画像に対し、大局的、及び局所的な背景推定を行うことで、より高精度な距離画像の生成が可能となり、前景・背景分離が可能となる。画像全体の合わせこみを使用し、大まかな背景領域を推定することにより、繰り返しパターンやオクルージョンの多いシーンに対しても、ロバストな結果を得ることができる。また、背景テンプレートスタックを随時、更新・追加することで時間経過による環境変化にロバストとなる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、本発明は以下の例に限定されるものではなく、本発明の要旨を逸脱しない範囲で、任意に変更可能であることは言うまでもない。
【００１７】
本発明は、例えば図１に示すような構成のビジュアルコミュニケーション装置１０に適用される。
【００１８】
このビジュアルコミュニケーション装置１０は、複数台のカメラを用い、得られた複数枚の画像を用い、背景領域を推定し、またステレオ法による距離計測を利用することで、背景と前景を分離する機能を有するものであって、基準カメラ１、検出カメラ２、フレームメモリ３、背景領域推定処理部４、距離画像作成処理部５及び背景分離画像作成処理部６を備えている。
【００１９】
このビジュアルコミュニケーション装置１０で用いる複数台のカメラは予めキャリブレーションが行なわれているものとする。カメラ台数は２台以上であればよいが、ここでは２台のカメラ（基準カメラ１及び検出カメラ２）として以下の説明を行なう。キャリブレーションとは、基準カメラ１の点ｍとそれに対応する検出カメラ２の点ｍ’を求め、距離計測を行うためのカメラ間の拘束条件を算出するものである。
【００２０】
このビジュアルコミュニケーション装置１０では、基準カメラ１と検出カメラ２で同時に撮像されたカラー画像はフレームメモリ３に蓄積され、背景領域推定処理部４で背景領域を推定する。続いて距離画像作成処理部５において、背景領域推定処理部４で推定した背景領域以外の点について、後述するステレオ法により距離計測を行い、背景分離画像作成処理部６で最終的な背景領域を決定し、必要に応じて加工し、背景分離画像を出力する。
【００２１】
ここで、一般的なカメラキャリブレーション及び距離計測方法について説明する。
【００２２】
ここでは、画像上の点ｍ＝［ｕ，ｖ］Ｔ、空間中の点Ｍ＝［ｘ，ｙ，ｚ］Ｔをとし，各点の斎次座標系での記述をｍ〜＝［ｕ，ｖ，１］Ｔ，Ｍ〜＝［ｘ，ｙ，ｚ，１］Ｔとする。空間中の点Ｍと画像上の点ｍの関係は次の式（１）で与えられる。
【００２３】
ｓｍ〜＝Ａ・［Ｒ  ｔ］・Ｍ〜
＝Ｐ・Ｍ〜                  ・・・（１）
ここで、sはスケール因子であり、行列［Ｒ  ｔ］は外部パラメータと呼ばれるもので、カメラの空間内での位置を表し、Ｒ，ｔはそれぞれ回転、並進行列を表す。行列Ａはカメラの内部パラメータと呼ばれるもので、次の式（２）で与えられる。
【００２４】
【数１】
2006109172.tif 000003
【００２５】
ここで（ｕ０，ｖ０）は画像中心を表し、α＝−ｆ／ｋｕ，β＝−ｆ・ｋｖ／sinθは、それぞれ、ｕ軸，ｖ軸のスケール因子、γ＝ｆ・ｋｕ・cosθは２つの軸のねじれをあらわす。また、行列Ｐ＝Ａ・［Ｒ  ｔ］は空間内の点を画像面に投影する３×４の投影行列とする。以上の説明では、レンズ歪みによる影響を考慮せず、理想的な条件のもとでの変換を示してきたが、実際には歪みによる影響を無視することはできないため、カメラパラメータとしてレンズ歪みも加えるものとする。歪み座標の点ｍｄ＝［ｕｄ，ｖｄ］Ｔと点ｍ＝［ｕ，ｖ］Ｔの関係は次の式（３）で表すことができる。
【００２６】
ｕ＝ｕｄ＋（ｕｄ−ｃｕ）・ｋ・ｒｄ２
ｖ＝ｖｄ＋（ｖｄ−ｃｖ）・ｋ・ｒｄ２    ・・・（３）
但し、ｒｄ２＝（ｕｄ−ｃｕ）２＋（ｖｄ−ｃｖ）２ｓｖ２であり、（ｃｕ，ｃｖ）は歪み中心を表し、ｓｖはアスペクト比を表す。
【００２７】
続いて、ステレオ法における距離計測方法について説明する。
【００２８】
図２に示すように基準カメラ１、検出カメラ２への投影行列をそれぞれＰ，Ｐ’とし、それぞれの画像上の点をｍ，ｍ’とする。但し、それぞれの画像上の点は、式（３）によりひずみの影響は除去されているものとする。点Ｍまでの距離を測定する場合、基準画像上の点ｍに対応する検出画像上の点ｍ’を検出する必要がある。点ｍ’は図２に示すようにエピポーララインと呼ばれる直線ｌ上に位置するため、点ｍに対応する検出画像上の点を検出するためには、この直線上の探索を行えばよいことになる。エピポーララインはカメラ中心と点ｍを結ぶ直線上の点を検出カメラ２上へ投影した点の集合となっている。例えば、空間内Ｚ方向の計測範囲をＺ０−Ｚｎとした場合、エピポーララインは、各距離に対応した点Ｍ０，Ｍｎを投影した点ｍ０’，ｍｎ’を結ぶ直線となる。実際の探索では、距離Ｚｉに位置する点を検出画像上に投影し、基準画像上の点との類似度を測り、画像間の点の対応を決定する。
【００２９】
基準カメラ１上の点ｍへ投影される距離Ｚｉの点Ｍｉを検出画像上の点ｍｉ’へ投影する手順を以下に示す。
【００３０】
式（１）から点ｍを通る視線上の点は，次の式（４）でかける。
【００３１】
Ｍ〜＝ｓＰ＋・ｍ〜＋Ｐ⊥            ・・・（４）
ここでＰ＋はＰの擬似逆行列であり、次の式（５）で定義される。
Ｐ＋＝ＰＴ（ＰＰＴ）−１              ・・・（５）
また、Ｐ⊥は次の式（６）を満たすベクトルとなり、常に原点に射影されるため実際には光学中心を示し、次の（６）式により計算できる。但し、ωは任意の４次元ベクトルである。
Ｐ・ｐ⊥＝０
Ｐ⊥＝（Ｉ−ＰＰ＋）ω              ・・・（６）
式（４）は，光学中心及び基準画像上の点ｍを通る全ての点を表しているが、距離をＺｉとすることでスケール因子を決定することができ，空間内の点Ｍｉを決定することができる。この点を投影行列Ｐ’により投影すれば，検出画像上の点ｍｉ’を算出することが可能となる。
【００３２】
以上のことから、空間内の点の距離を求めるためには、各カメラのカメラパラメータＡ，Ｒ，ｔ，Ａ’，Ｒ’，ｔ’をそれぞれ個々に求めるか、または投影行列Ｐ，Ｐ’を直接算出し、さらに各カメラの歪みパラメータκ１，ｃｕ１，ｃｖ１，ｓｖ１，κ２，ｃｕ２，ｃｖ２，ｓｖ２を算出すればよいことになり、これらのパラメータを算出することがカメラキャリブレーションとなる。
【００３３】
このビジュアルコミュニケーション装置１０における背景，前景分離処理の流れを図３に示す。
【００３４】
すなわち、このビジュアルコミュニケーション装置１０では、まず、基準カメラ１と検出カメラ２で互いに異なる視点から被写体を撮像して互いに同期した入力カラー画像を取得する（ステップＳ１）。取得した入力画像は、フレームメモリ３に記憶する。
【００３５】
続いて、フレームメモリ３に記憶した各入力画像について、背景領域推定処理部４において、前述したキャリブレーションパラメータにより、レンズ歪みの影響を除去し、さらに画像正規化を行う（ステップＳ２）。
【００３６】
すなわち、入力画像は、レンズの歪みの影響を受けているため、式（３）を用い、歪みの影響を除去する。また、画像正規化とは図４に示すように２台のカメラ１，２により互いに異なる視点ｃ１，ｃ２から被写体を撮像して得られた画像ＩＬ，ＩＲをあたかも平行カメラ（左右カメラの光軸が平行なカメラ）で撮像した画像ＩＬ’，ＩＲ’に変換するものである。これにより、もともと平行でないエピポーララインは平行化され、かつ各光学中心（視点ｃ１，ｃ２）を結ぶ直線と平行となる。キャリブレーションパラメータとして、投影行列Ｐ，Ｐ’が求まっている場合、例えば次の参考文献に開示されている方法で、図４に示す変換行列ＴＨ１，ＴＨ２を求めることができる。算出したＴＨ１，ＴＨ２を用いて、入力画像を変換し、基準カメラ画像Ｉｂ，検出カメラ画像Ｉｄを作成する。
〔参考文献：Andrea Fusiello, Emanuele Trucco and Alessandro Verri:尿 compact algorithm for rectification of stereo pairs   Machine Vision and Applications(2000) 12 : pp.16-22〕
すなわち、左右のカメラの投影行列Ｐ，Ｐ’から変換行列の算出を行う。
【００３７】
実際には、Ｐを求めた際に使用した左カメラのＸＹＺ座標系のＸ軸を各カメラの光学中心ｃ１，ｃ２を結ぶ直線と平行となるようにし、かつＹ’軸をｃ１，ｃ２を結ぶ直線（Ｘ’軸）とＺ軸とからなる平面に垂直なものとなるようにＰ，Ｐ’を修正し、修正した投影行列Ｐｎ，Ｐｎ’から変換行列を算出する。
【００３８】
以下にＰｎ，Ｐｎ’を算出する手順について説明し、更に得られたＰｎ，Ｐｎ’及びＰ，Ｐ’から変換行列ＴＨ１，ＴＨ２を算出する手順について説明する。
（ｉ）光学中心の算出
投影行列Ｐ，Ｐ’を次の式（７）で記述すると、各光学中心ｃ１＝［ｘｃ１，ｙｃ１，ｚｃ１］Ｔ，ｃ２＝［ｘｃ２，ｙｃ２，ｚｃ２］Ｔは、次の式（８）で得られる。
【００３９】
【数２】
2006109172.tif 000004
【００４０】
ｃ１＝−Ｑ−１ｑ
ｃ２＝−Ｑ’−１ｑ’            ・・・（８）
（ｉｉ）Ｘ’，Ｙ’，Ｚ’軸の算出
先述したようにＸ’軸は光学中心を結ぶベクトルであることから、Ｘ’軸のベクトルをｖ１＝［ｘ１，ｙ１，ｚ１］Ｔとすると、Ｘ’軸のベクトルｖ１は、次の式（９）で得られる。
【００４１】
ｖ１＝（ｃ１−ｃ２）          ・・・（９）
また、Ｙ’軸のベクトルｖ２＝［ｘ２，ｙ２，ｚ２］Ｔは、先述したようにＸ’軸とＺ軸に垂直なベクトルであることから、投影行列Ｐを次の式（１０）で表すと、ｖ２＝ｒ３∧ｖ１とかける。
【００４２】
【数３】
2006109172.tif 000005
【００４３】
さらに、Ｚ’軸のベクトルｖ３＝［ｘ３，ｙ３，ｚ３］Ｔは、Ｘ’軸，Ｙ’軸に垂直なベクトルとして、次の式（１１）で表される。
【００４４】
ｖ３＝ｖ１∧ｖ２            ・・・（１１）
（ｉｉｉ）投影行列Ｐｎ，Ｐｎ’の算出
投影行列Ｐｎ，Ｐｎ’は、次の式（１２）で記述する。
【００４５】
Ｐｎ  ＝Ａｎ・［Ｒｎ    ｔｎ］
Ｐｎ’＝Ａｎ・［Ｒｎ  ｔｎ’］        ・・・（１２）
新規投影行列では、内部パラメータ及び外部パラメータの回転成分は同一のものとなるため、投影行列Ｐｎ，Ｐｎ’を算出するためには、Ａｎ，Ｒｎ，ｔｎ，ｔｎ’を算出すればよいことになる。内部パラメータＡｎは投影行列Ｐ，Ｐ’の内部パラメータを用いて次の式（１３）で算出する。
【００４６】
【数４】
2006109172.tif 000006
【００４７】
また、外部パラメータＲｎは上述の如き手順で算出したＸ’Ｙ’Ｚ’軸のベクトルをｖ１，ｖ２，ｖ３を用いて次の式（１４）で算出する。
【００４８】
【数５】
2006109172.tif 000007
【００４９】
また、外部パラメータｔｎ，ｔｎ’は，式（７）からＲｎと光学中心ｃ１，ｃ２を用いて次の式（１５）で算出する。
【００５０】
ｔｎ  ＝−Ｒｎｃ１
ｔｎ’＝−Ｒｎｃ２              ・・・（１５）
以上のＡｎ，Ｒｎ，ｔｎ，ｔｎ’の算出により，式（１２）から投影行列Ｐｎ，Ｐｎ’が算出可能となる。
（ｉｖ）変換行列ＴＨ１，ＴＨ２の算出
ここでは、投影行列Ｐ，Ｐ’，Ｐｎ，Ｐｎ’を用いて変換行列ＴＨ１，ＴＨ２を算出する方法について述べる。
【００５１】
撮像画像の点ｍ〜＝［ｕ，ｖ，１］Ｔを正規化された画像上の点ｍ〜ｎ［ｕ，ｖ，１］Ｔとすると、空間内の点ｍ〜＝［ｘ，ｙ，ｚ，１］Ｔと点ｍ〜と点ｍ〜ｎの関係は次の式（１６）で記述できる。
【００５２】
ｍ〜  ＝ＰＭ〜  ＝［Ｑ｜−Ｑｃ１］Ｍ〜
ｍ〜ｎ＝ＰｎＭ〜＝［Ｑｎ｜−Ｑｎｃ１］Ｍ〜            ・・・（１６）
これから点ｍ〜と点ｍ〜ｎを通る直線は、次の式（１７）で表される。
【００５３】
Ｍ〜＝ｓＱ−１ｍ〜＋ｃ１
Ｍ〜＝ｓｎＱｎ−１ｍ〜ｎ＋ｃ１                ・・・（１７）
したがって、点ｍ〜と点ｍ〜ｎの関係は、次の式（１８）で記述できる。
【００５４】
ｍ〜ｎ＝λＱｎＱ−１ｍ〜              ・・・（１８）
変換行列は撮像画像上の点ｍを正規化された画像上の点ｍｎに射影する行列であるため、ＱｎＱ−１が変換行列となる。つまり、変換行列ＴＨ１，ＴＨ２は次の式（１９）により算出される。
【００５５】
ＴＨ１＝ＱｎＱ−１
ＴＨ２＝Ｑ’ｎＱ’−１                              ・・・（１９）
続いて、背景領域推定処理部４において、背景領域マスクＲｂｂｇ（ｕ，ｖ），Ｒｄｂｇ（ｕ，ｖ）を算出する（ステップＳ３）。
【００５６】
ここでは、背景領域は、遠方でありかつ、平面に近いと仮定する。実際の背景領域マスクＲｂｂｇ（ｕ，ｖ），Ｒｄｂｇ（ｕ，ｖ）の算出処理の流れを図５に示す。背景領域マスクＲｂｂｇ（ｕ，ｖ），Ｒｄｂｇ（ｕ，ｖ）では、背景部を「１」、その他を「０」とする。
【００５７】
例えば図６のような入力画像Ｉｂ（ｕ，ｖ）Ｉｄ（ｕ，ｖ）の場合、背景領域に繰り返しパターンなどが多く、またオクルージョン領域も大きいため、通常の局所的なエリアベースのマッチング方法では、精度のよい対応点決めを行うことができない。そこで、まず大局的な画像合わせこみ手法を用い、背景領域の推定を行う。
【００５８】
ここで、上記背景領域処理部は、図７に機能構成図を示すように、大局的シフト量算出部４１、背景画素推定部４２及び更新処理部４３からなる。
【００５９】
そして、ステップＳ３の処理では、図５に示すように、先ず最初のステップＳ３−１の処理において、フレームメモリＦＭ１に格納されている左右の入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）に対し、次の式（２０）に示すように画像全体の輝度誤差が最小となるようなシフト量ｂｇ＿ｓｈｉｆｔを求める大局的シフト量算出処理を大局的シフト量算出部４１で行い、求めたシフト量ｂｇ＿ｓｈｉｆｔをメモリＭ１に格納する。
【００６０】
【数６】
2006109172.tif 000008
【００６１】
但し、ここでは背景領域は遠方にあるとし、０≦ｂｇ＿ｓｈｉｆｔ＜ＳＨＩＦＴ＿ＴＨＲＥＳＨとする。ＳＨＩＦＴ＿ＴＨＲＥＳＨは、前景と背景の分離境界に応じて適応的に決定される閾値であり、これはある距離以降の領域を見せたくない、すなわち、背景とすることにより決まる。また、背景を平面と仮定して行うため、入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）の解像度を低下させ、式（２０）によりシフト量ｂｇ＿ｓｈｉｆｔを算出する。ステップＳ２の処理により入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）は正規化されているため、ここで求めるのはｕ軸方向のシフト量のみでよいことになる。
【００６２】
画像合わせこみの例を図８に示し、ステップＳ３−１の大局的シフト量算出処理の具体的な流れを図９に示す。
【００６３】
すなわち、ステップＳ３−１の大局的シフト量算出処理では、先ず、ｓｈｉｆｔ＝０，Ｅ＿ｍｉｎ＝ＭＡＸとする初期設定を行い（ステップＳ３−１Ａ）、さらに、Ｅ＿ｇ＝０，ｉ＝０、すなわち、変数Ｅ＿ｇ，ｉを「０」にリセットする（ステップＳ３−１Ｂ）。
【００６４】
つぎに、Ｅ＿ｇ＋＝｜Ｉｂ（ｕｉ，ｖｉ）−Ｉｄ（ｕｉ−ｓｈｉｆｔ，ｖｉ）｜すなわち、入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）について、Ｉｂ（ｕｉ，ｖｉ）とＩｄ（ｕｉ−ｓｈｉｆｔ，ｖｉ）の差分の絶対値和を求め（ステップＳ３−１Ｃ）、変数ｉをインクリメントして（ステップＳ３−１Ｄ）、インクリメントした変数ｉが画像サイズよりも大きくなったか否かを判定する（ステップＳ３−１Ｅ）。
【００６５】
このステップＳ３−１Ｅにおける判定結果がＮＯである場合には、上記ステップＳ３−１Ｂに戻って、ステップＳ３−１ＢからステップＳ３−１Ｅの処理を繰り返し行い、このステップＳ３−１Ｅにおける判定結果がＹＥＳになると、Ｉｂ（ｕｉ，ｖｉ）とＩｄ（ｕｉ−ｓｈｉｆｔ，ｖｉ）の差分の絶対値和を示す変数Ｅ＿ｇが変数Ｅ＿ｍｉｎよりも小さいか否かを判定する（ステップＳ３−１Ｆ）。
【００６６】
このステップＳ３−１Ｆにおける判定結果がＹＥＳである場合には、変数Ｅ＿ｍｉｎを上記絶対値和を示す変数Ｅ＿ｇの値とするとともに、シフト量ｂｇ＿ｓｈｉｆｔを変数ｓｈｉｆｔの値として（ステップＳ３−１Ｇ）から、変数ｓｈｉｆｔをインクリメントする（ステップＳ３−１Ｈ）。また、このステップＳ３−１Ｆにおける判定結果がＮＯである場合には、直ちに変数ｓｈｉｆｔをインクリメントする（ステップＳ３−１Ｈ）。
【００６７】
そして、ステップＳ３−１Ｈにおいてインクリメントした変数ｓｈｉｆｔが閾値ＳＨＩＦＴ＿ＴＨＲＥＳＨよりも大きいか否かを判定する（ステップＳ３−１Ｉ）。
【００６８】
このステップＳ３−１Ｉにおける判定結果がＮＯである場合には、上記ステップＳ３−１Ｂに戻って、インクリメントした変数ｓｈｉｆｔが閾値ＳＨＩＦＴ＿ＴＨＲＥＳＨよりも大きくなるまで、ステップＳ３−１ＢからステップＳ３−１Ｉの処理を繰り返し行い、このステップＳ３−１Ｉにおける判定結果がＹＥＳになると、大局的シフト量算出処理を終了する。
【００６９】
次に、処理ステップＳ３−２の処理では、ステップＳ３−１の大局的シフト量算出処理において求めたシフト量ｂｇ＿ｓｈｉｆｔを用いて、フレームメモリＦＭ１に格納されている左右の入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）について背景画素推定部４２で局所的なマッチングを行う。具体的には図１０に示すようにＮｘＭのＷｉｎｄｏｗサイズ内の輝度誤差Ｅ＿ｌを算出し、Ｅ＿ｌ＜ＴＨＲＥＳＨ＿Ｌの場合に画像Ｉｂ，Ｉｄの点（ｕｉ，ｖｉ），（ｕｉ−ｂｇ＿ｓｈｉｆｔ，ｖｉ）を背景領域とする。つまり、Ｒｂｂｇ（ｕｉ，ｖｉ）＝１，Ｒｄｂｇ（ｕｉ−ｂｇ＿ｓｈｉｆｔ，ｖｉ）＝１とする。そして、局所的なマッチングにより推定した背景領域を背景領域マスクＲｂｂｇ，ＲｄｂｇとしてフレームメモリＦＭ２及びメモリＭ２に格納する。このステップＳ３−２の処理の具体的な流れを図１１に示す。
【００７０】
すなわち、処理ステップＳ３−２の処理では、まず、ｉ＝０，Ｒｂｂｇ≦all０，Ｒｄｂｇ≦all０に初期設定して（ステップＳ３−２Ａ）、ｊ＝０，Ｅ＿ｌ＝０すなわち、変数ｊ，Ｅ＿ｌを「０」にリセットする（ステップＳ３−２Ｂ）。
【００７１】
つぎに、Ｅ＿ｌ＋＝｜Ｉｂ（ｕｉｊ，ｖｉｊ）−Ｉｄ（ｕｉｊ−ｂｇ＿ｓｈｉｆｔ，ｖｉｊ）｜、すなわち、入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）について、輝度誤差Ｅ＿ｌとしてＩｂ（ｕｉｊ，ｖｉｊ）−Ｉｄ（ｕｉｊ−ｂｇ＿ｓｈｉｆｔ，ｖｉｊ）の差分の絶対値和を求め（ステップＳ３−２Ｃ）、変数ｊをインクリメントして（ステップＳ３−２Ｄ）、インクリメントした変数ｊがＮｘＭのＷｉｎｄｏｗサイズよりも大きくなったか否かを判定する（ステップＳ３−２Ｅ）。
【００７２】
このステップＳ３−２Ｅにおける判定結果がＮＯである場合には、上記ステップＳ３−２Ｂに戻って、ステップＳ３−２ＢからステップＳ３−２Ｅの処理を繰り返し行い、このステップＳ３−２Ｅにおける判定結果がＹＥＳになると、求めたＮｘＭのＷｉｎｄｏｗサイズ内の輝度誤差Ｅ＿ｌが閾値ＴＨＲＥＳＨ＿Ｌよりも小さいか否かを判定する（ステップＳ３−２Ｆ）。
【００７３】
このステップＳ３−２Ｆにおける判定結果がＹＥＳである場合には、Ｒｂｂｇ（ｕｉ，ｖｉ）＝１，Ｒｄｂｇ（ｕｉ−ｂｇ＿ｓｈｉｆｔ，ｖｉ）＝１すなわち画像Ｉｂ，Ｉｄの点（ｕｉ，ｖｉ），（ｕｉ−ｂｇ＿ｓｈｉｆｔ，ｖｉ）を背景領域としてから（ステップＳ３−２Ｇ）、変数ｉをインクリメントする（ステップＳ３−２Ｈ）。また、このステップＳ３−２Ｆにおける判定結果がＮＯである場合には、直ちに変数ｉをインクリメントする（ステップＳ３−２Ｈ）。
【００７４】
そして、ステップＳ３−２Ｈにおいてインクリメントした変数ｉが画像サイズよりも大きいか否かを判定する（ステップＳ３−２Ｉ）。
【００７５】
このステップＳ３−２Ｉにおける判定結果がＮＯである場合には、上記ステップＳ３−２Ｂに戻って、インクリメントした変数ｉが画像サイズよりも大きくなるまで、ステップＳ３−２ＢからステップＳ３−２Ｉの処理を繰り返し行い、このステップＳ３−２Ｉにおける判定結果がＹＥＳになると、局所的類似度算出処理を終了する。
【００７６】
次に、ステップＳ３−３の処理では、背景テンプレートスタックｂｇＢｕｆｂ，ｂｇＢｕｆｄとの比較を行う。背景テンプレートスタックｂｇＢｕｆｂ，ｂｇＢｕｆｄは、時刻Ｔ−１までにフレームで背景とされた点の周辺領域（ＭｘＮ）を切り出した局所画像のスタックであり、ＭｘＮサイズの輝度情報及びその中心座標（ｕｉ，ｖｉ）を持つ。ｂｇＢｕｆｂにスタックされた各テンプレートと基準カメラ１の画像Ｉｂ（ｕｉ，ｖｉ）とのマッチングを行い、輝度誤差Ｅ＿Ｔを算出し、Ｅ＿Ｔ＜ＴＨＲＥＳＨ＿Ｔの場合、点（ｕｉ，ｖｉ）は背景領域として、Ｒｂｂｇ（ｕｉ，ｖｉ）＝１とする。検出カメラ２の画像Ｉｄに対しても背景テンプレートスタックｂｇＢｕｆｄを用い、同様の処理を行い、背景領域マスクＲｄｂｇ（ｕ，ｖ）を作成する。基準カメラ１に対するステップＳ３−３の処理の概要図を図１２に示し、処理の具体的な流れを図１３に示す。
【００７７】
すなわち、処理ステップＳ３−３の処理では、まず、ｉ＝０に初期設定して（ステップＳ３−３Ａ）、ｊ＝０すなわち変数ｊを「０」にリセットする（ステップＳ３−３Ｂ）。
【００７８】
つぎに、Ｅ＿Ｔ＝Σ｜Ｉｂｊ−ｂｇＢｕｆｂ［ｉ］｜、すなわち、入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）について、輝度誤差Ｅ＿ＴとしてＩｂｊ−ｂｇＢｕｆｂ［ｉ］の差分の絶対値和を求め（ステップＳ３−３Ｃ）、求めた輝度誤差Ｅ＿Ｔが閾値Ｅ＿Ｔ＜ＴＨＲＥＳＨ＿Ｔ縒りも小さいか否かを判定する（ステップＳ３−３Ｄ）。
【００７９】
このステップＳ３−３Ｄにおける判定結果がＹＥＳの場合はＲｂｂｇ（ｕｉ，ｖｉ）すなわち点（ｕｉ，ｖｉ）を背景領域としてから（ステップＳ３−３Ｅ）、変数ｊをインクリメントして（ステップＳ３−３Ｆ）、インクリメントした変数ｊが画像サイズよりも大きくなったか否かを判定する（ステップＳ３−３Ｇ）。
【００８０】
このステップＳ３−３Ｇにおける判定結果がＮＯである場合には、上記ステップＳ３−３Ｃに戻って、ステップＳ３−３ＢからステップＳ３−３Ｇの処理を繰り返し行い、このステップＳ３−３Ｇにおける判定結果がＹＥＳになると、変数ｉをインクリメントする（ステップＳ３−３Ｈ）。また、上記ステップＳ３−３Ｄにおける判定結果がＮＯである場合には、直ちに変数ｉをインクリメントする（ステップＳ３−３Ｈ）。
【００８１】
そして、ステップＳ３−３Ｈにおいてインクリメントした変数ｉがスタックサイズよりも大きいか否かを判定する（ステップＳ３−３Ｉ）。
【００８２】
このステップＳ３−３Ｉにおける判定結果がＮＯである場合には、上記ステップＳ３−３Ｂに戻って、インクリメントした変数ｉがスタックサイズよりも大きくなるまで、ステップＳ３−３ＢからステップＳ３−３Ｉの処理を繰り返し行い、このステップＳ３−３Ｉにおける判定結果がＹＥＳになると、テンプレートとの比較処理を終了する。
【００８３】
続いて、ステップＳ３−４の処理において、上述した処理で作成した背景領域マスクＲｂｂｇ（ｕ，ｖ），Ｒｄｂｇ（ｕ，ｖ）を用い、更新処理部４３で背景テンプレートスタックの更新を行う。具体的には、背景領域マスクの値が１、つまり背景と推定された点（ｕｉ，ｖｉ）の周辺ＭｘＮ画素の領域Ｒｎを切り取り、背景テンプレートスタックを参照する。既に、点（ｕｉ，ｖｉ）の背景テンプレートが存在する場合は、既存のテンプレートと新規テンプレートＲｎの平均をとる。逆に存在しない場合は、新規テンプレートをスタックする。図１４に基準カメラ１に対する更新処理の具体的な流れを示す。
【００８４】
すなわち、処理ステップＳ３−４の処理では、まず、ｉ＝０，ｊ＝０に初期設定する（ステップＳ３−４Ａ）。
【００８５】
次に、ｖａｌ＝Ｒｂｂｇ（ｕｉ，ｖｉ）すなわち変数ｖａｌをＲｂｂｇ（ｕｉ，ｖｉ）の値として（ステップＳ３−４Ｂ）、変数ｖａｌの値が「１」であるか否かを判定する（ステップＳ３−４Ｃ）。
【００８６】
このステップＳ３−４Ｃにおける判定結果がＹＥＳである場合にはｂｇＢｕｆｂ［ｊ］の座標（ｂｆｕｊ，ｂｆｖｊ）を参照して（ステップＳ３−４Ｄ）、座標（ｂｆｕｊ，ｂｆｖｊ）が点（ｕｊ，ｖｊ）に一致するか否かを判定する（ステップＳ３−４Ｅ）。
【００８７】
このステップＳ３−４Ｅにおける判定結果がＹＥＳである場合にはｂｇＢｕｆｂ［ｊ］のテンプレートを更新してから（ステップＳ３−４Ｆ）、変数ｊをインクリメントする（ステップＳ３−４Ｇ）。また、上記ステップＳ３−４Ｅにおける判定結果がＮＯである場合には、直ちに変数ｉをインクリメントする（ステップＳ３−４Ｇ）。
【００８８】
次に、上記ステップＳ３−４Ｇにおいてインクリメントした変数ｊがスタックサイズよりも大きくなったか否かを判定する（ステップＳ３−４Ｈ）。
【００８９】
このステップＳ３−３Ｈにおける判定結果がＮＯである場合には、上記ステップＳ３−３Ｄに戻って、ステップＳ３−４ＤからステップＳ３−２Ｈの処理を繰り返し行い、このステップＳ３−４Ｈにおける判定結果がＹＥＳになると、ｂｇＢｕｆｂに点（ｕｊ，ｖｊ）のテンプレートを追加して（ステップＳ３−４Ｉ）、変数ｉをインクリメントする（ステップＳ３−４Ｊ）。また、上記ステップＳ３−４Ｃにおける判定結果がＮＯである場合には、直ちに変数ｉをインクリメントする（ステップＳ３−４Ｊ）。
【００９０】
そして、ステップＳ３−４Ｊにおいてインクリメントした変数ｉが画像サイズよりも大きいか否かを判定する（ステップＳ３−４Ｋ）。
【００９１】
このステップＳ３−４Ｋにおける判定結果がＮＯである場合には、上記ステップＳ３−４Ｂに戻って、インクリメントした変数ｉが画像サイズよりも大きくなるまで、ステップＳ３−４ＢからステップＳ３−４Ｋの処理を繰り返し行い、このステップＳ３−４Ｋにおける判定結果がＹＥＳになると、背景テンプレートの更新処理を終了する。
【００９２】
次に、以上のステップＳ３の処理により作成した背景領域マスクＲｂｂｇ（ｕ，ｖ），Ｒｄｂｇ（ｕ，ｖ）を用い、距離画像作成処理部５において距離情報の算出を行う（ステップＳ４）。
【００９３】
ここで、ステップＳ４の処理では、ステップＳ３の処理で作成した背景領域マスクＲｂｂｇ（ｕ，ｖ），Ｒｄｂｇ（ｕ，ｖ）の情報を基に距離画像Ｄｂ（ｕ，ｖ），Ｄｄ（ｕ，ｖ）を作成する。ここでの距離画像の値は、上記ステップＳ２の処理で入力画像Ｉｂ（ｕ，ｖ）Ｉｄ（ｕ，ｖ）が正規化されていることから、ｕ方向のシフト量とする。つまり、基準カメラ画像Ｉｂ（ｕ，ｖ）上の点Ｉｂ（ｕｉ，ｖｉ）に対応する点が検出画像Ｉｄ（ｕ，ｖ）上の点Ｉｄ（ｕｉ−ｓｈｉｆｔ，ｖｉ）とした場合、Ｄｂ（ｕｉ，ｖｉ）＝ｓｈｉｆｔとする。対応点の探索方法は様々な方法があるが、基準画像Ｉｂ（ｕ，ｖ）上の各点（ｕｉ，ｖｉ）に対し、その周辺領域ＭｘＮと検出画像Ｉｄ（ｕ，ｖ）上の点（ｕｉ−ｓｈｉｆｔ，ｖｉ）の周辺領域ＭｘＮの輝度誤差が最小となる点を探索することで行う。この時、図１５に示すように、背景領域マスク情報を利用し、背景領域（背景領域マスクが１）とされる点を探索時に除外することで、通常の入力画像全体に対するエリアベースのマッチングよりも、精度のよいマッチングが行えることとなる。  
そして、背景分離画像作成処理部６において、上記ステップＳ４の処理で作成した距離画像Ｄｂ（ｕ，ｖ），Ｄｄ（ｕ，ｖ）を参照し、閾値以下の距離を持つ点（ｕｉ，ｖｉ）を入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）から除去し、背景分離画像Ｉｂ’（ｕ，ｖ），Ｉｄ’（ｕ，ｖ）を作成し（ステップＳ５）、作成した背景分離画像Ｉｂ’（ｕ，ｖ），Ｉｄ’（ｕ，ｖ）を出力する（ステップＳ６）。ここでの閾値処理は、ある距離以上のものを背景とするものである。
【００９４】
以上の処理で作成された背景分離画像Ｉｂ’（ｕ，ｖ），Ｉｄ’（ｕ，ｖ）は、入力画像Ｉｂ（ｕ，ｖ），Ｉｄ（ｕ，ｖ）に対し、大局的及び局所的な背景推定を行い、その後距離画像を生成し、分離することで、入力画像（ｕ，ｖ）Ｉｄ（ｕ，ｖ）全体に対し距離画像を生成し、分離する方法よりも高精度な背景分離が可能となる。また、背景テンプレートスタックを随時、更新，追加することで時間経過による環境変化にロバストとなる。さらに、画像全体の合わせこみを使用し、大まかな背景領域を推定することにより、繰り返しパターンやオクルージョンの多いシーンに対しても、ロバストな結果を得ることができる。
【図面の簡単な説明】
【００９５】
【図１】本発明を適用したビジュアルコミュニケーション装置の構成を示すブロック図である。
【図２】ステレオ法における距離計測方法の説明に供する図である。
【図３】上記ビジュアルコミュニケーション装置における背景，前景分離処理の流れを示すフローチャートである。
【図４】上記背景，前景分離処理におけるステップＳ２の処理で実行される画像正規化の処理の説明に供する図である。
【図５】上記背景，前景分離処理におけるステップＳ３の処理で実行される背景領域マスクの算出処理の流れを示すフローチャートである。
【図６】入力画像の例を示す図である。
【図７】上記ビジュアルコミュニケーション装置における背景推定処理部の機能構成図である。
【図８】画像合わせこみの例を示す図である。
【図９】上記背景領域マスクの算出処理におけるステップＳ３−１の大局的シフト量算出処理の流れをフローチャートである。
【図１０】上記背景領域マスクの算出処理におけるステップＳ３−２の局所的類似度算出処理の概要を示す図である。
【図１１】上記背景領域マスクの算出処理におけるステップＳ３−２の局所的類似度算出処理の流れを示すフローチャートである。
【図１２】上記背景領域マスクの算出処理におけるステップＳ３−３の背景テンプレートスタックとの比較処理の概要を示す図である。
【図１３】上記背景領域マスクの算出処理におけるステップＳ３−３の背景テンプレートスタックとの比較処理の流れを示すフローチャートである。
【図１４】上記背景領域マスクの算出処理におけるステップＳ３−４の背景テンプレート更新処理の流れを示すフローチャートである。
【図１５】入力画像と背景領域マスクと示す図である。
【符号の説明】
【００９６】
１  基準カメラ、２  検出カメラ、３  フレームメモリ、４  背景領域推定処理部、５  距離画像作成処理部、６  背景分離画像作成処理部、１０  ビジュアルコミュニケーション装置、４１  大局的シフト量算出部、４２  背景画素推定部、４３  更新処理部、ＦＭ１，ＦＭ２  フレームメモリ、Ｍ１，Ｍ２  メモリ
【図１】
2006109172.tif 000009
【図２】
2006109172.tif 000010
【図３】
2006109172.tif 000011
【図４】
2006109172.tif 000012
【図５】
2006109172.tif 000013
【図６】
2006109172.tif 000014
【図７】
2006109172.tif 000015
【図８】
2006109172.tif 000016
【図９】
2006109172.tif 000017
【図１０】
2006109172.tif 000018
【図１１】
2006109172.tif 000019
【図１２】
2006109172.tif 000020
【図１３】
2006109172.tif 000021
【図１４】
2006109172.tif 000022
【図１５】
2006109172.tif 000023