(57)【要約】【課題】  本発明は、複数の画像から、適切な背景画像を生成することを目的とする。【解決手段】  撮像対象空間を撮像装置により撮像して得られる複数の画像を取得する第一の取得手段と、前記撮像対象空間における前記撮像装置から被写体までの距離情報を取得する第二の取得手段と、前記距離情報と前記複数の画像とに基づき、前記複数の画像における背景画像を生成する生成手段と、を有することを特徴とする。【選択図】  図２
2018056906.tif 000002
【特許請求の範囲】
【請求項１】
撮像対象空間を撮像装置により撮像して得られる複数の画像を取得する第一の取得手段と、
前記撮像対象空間における前記撮像装置から被写体までの距離情報を取得する第二の取得手段と、
前記距離情報と前記複数の画像とに基づき、前記複数の画像における背景画像を生成する生成手段と、を有することを特徴とする画像処理装置。
【請求項２】
前記距離情報は、前記複数の画像それぞれに対応する複数の距離画像から構成され、
前記生成手段は、前記複数の距離画像に基づき、前記複数の画像それぞれの画像中で所定の距離よりも遠い部分の画素から前記背景画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記距離情報の信頼性を示す信頼度情報を取得する第三の取得手段を更に有し、
前記生成手段は、前記信頼度情報と前記距離情報と前記複数の画像とに基づき、前記複数の画像における背景画像を生成することを特徴とする請求項１または請求項２のいずれか１項に記載の画像処理装置。
【請求項４】
前記距離情報は、前記複数の画像それぞれに対応する複数の距離画像から構成され、
前記信頼度情報は、前記複数の距離画像それぞれを構成する画素ごとの信頼性を示すことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記信頼度情報は、前記複数の画像もしくは前記距離情報の少なくともいずれか一方から生成されることを特徴とする請求項３または請求項４のいずれか１項に記載の画像処理装置。
【請求項６】
第一の取得手段が、撮像対象空間を撮像装置により撮像して得られる複数の画像を取得する第一の取得工程と、
第二の取得手段が、前記撮像対象空間における前記撮像装置から被写体までの距離情報を取得する第二の取得工程と、
生成手段が、前記距離情報と前記複数の画像とに基づき、前記複数の画像における背景画像を生成する生成工程と、を有することを特徴とする画像処理方法。
【請求項７】
コンピュータを、
撮像対象空間を撮像装置により撮像して得られる複数の画像を取得する第一の取得手段と、
前記撮像対象空間における前記撮像装置から被写体までの距離情報を取得する第二の取得手段と、
前記距離情報と前記複数の画像とに基づき、前記複数の画像における背景画像を生成する生成手段と、を有することを特徴とする画像処理装置として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像対象空間の背景画像を処理する画像処理装置、画像処理方法及びコンピュータプログラムに関するものである。
【背景技術】
【０００２】
近年、テレビ会議等の遠距離映像通信において、臨場感向上や、伝送する情報量の抑制、コミュニケーションとプライバシー保護とのきめ細やかなバランスの実現が求められている。そのため、映像中の主被写体をより自然に抽出する目的で、距離情報の利用が提案されている。
【０００３】
距離情報の利用とはつまり、距離の前後関係を主被写体に代表される前景作成に反映させるものである。例えば、特許文献１では、デプスカメラと称する、被写体を含む空間内の奥行きデータを取得する手段と、テクスチャデータと称するカラー画像を取得するカラーカメラでなるテクスチャデータ取得手段を具備する。得られた奥行きデータにおける被写体と背景の差を利用して被写体の領域候補を特定し、さらに得られたテクスチャデータにおける画像特徴を評価して被写体の領域を特定し、この領域のテクスチャデータ（カラー画像）を抽出する。このように距離の前後関係を利用することで、あらかじめ特段の準備を要することなく適切な被写体領域を抽出することができる。得られた被写体領域のカラー画像を、遠距離映像通信を行っている相手先の映像等の別途入力される空間映像に合成し、あたかも別途入力された空間中に該被写体が存在しているかの様な臨場感の高い合成映像を得ることを開示している。
【０００４】
また、特許文献２では、撮影画像を生成するとともに、撮影画像に現れているユーザまでの距離を計測し、計測された距離に基づく、少なくとも次の二つのモードを有する映像通信が開示されている。一つ目は、背景を除くユーザの画像を生成するモードであり、二つ目は、背景を除く情報量を減らしたユーザの画像を生成するモードである。これらのいずれかの生成モードを選択する。前者のモードが選択された場合には、背景を除くユーザの画像、即ち、背景除去画像を生成する。一方、後者のモードが選択された場合には、背景を除く情報量を減らしたユーザの画像、即ち、情報量制限した背景除去画像を生成する。いずれの場合にも、背景を除いた画像が生成され、これらの映像のみを伝送することで、伝送される情報量を抑えることができる。加えて、ユーザ以外の部分、即ち、必要以上の情報を受け手側に提供することなくプライバシーの保護をはかることもできる。後者の場合には、前者以上に情報量を抑えることができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１７５８３７号公報
【特許文献２】特開２０１２−１７５５２８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一方で、監視カメラの映像を遠隔監視するような場合には、撮像される全景を見るのが前提とはいえ、なるべく伝送する情報量は減らして、伝送コストを削減したいというニーズがある。このため、常時全フレームを伝送するのではなく、予め保持する背景画像上に、合成すべき主被写体の部分画像のみを伝送し、これを違和感なく合成して監視空間の映像が生成できれば、伝送情報量の軽減が実現できる。この場合の背景画像は、別途撮像される任意の画像ではなく、前景が抽出される元画像に相当する画像である。
【０００７】
しかしながら、映像（以降、動画シーケンスとも称する）中の主被写体（以降、オブジェクトとも称する）を抽出して残る背景部分は、抽出されたオブジェクトの部分が穴開き状態となる。このため、ある動画シーケンスを構成する一枚の画像から抽出されるオブジェクト部分は、同じ動画シーケンスを構成する画像であったとしても、別の画像ではオブジェクト部分の形状や位置は変化するのが一般的である。このため、ある動画シーケンスを構成する一枚の画像からオブジェクトを抽出して残る背景画像中の穴開き状態となっている位置と、同じ動画シーケンス中の他の画像から抽出したオブジェクトの位置は、一般的には合わない。この様な穴開き状態の背景画像上に、抽出したオブジェクトを合成すると、穴置き状態の部分の残る、非常に違和感のある不自然な合成画像となってしまう。
【０００８】
このため、予め、抽出対象となるオブジェクトが存在していない状態であるときに撮像した映像から背景画像を生成して伝送しておき、その後、前記主被写体に代表される前景画像のみを伝送することにより伝送情報量を軽減することが考えられる。しかし、この方法では、事前に、背景画像を撮像しておく必要があるため、人物の往来や、車の流れが多い地点等の様に、前景となるオブジェクトの存在しない状態が捉えにくい場所での適用は難しい。
【０００９】
本発明は、上記課題を鑑みてなされたものであり、複数の画像から、適切な背景画像を生成することを目的とする。
【課題を解決するための手段】
【００１０】
本発明は、上記課題を解決するため、撮像対象空間を撮像装置により撮像して得られる複数の画像を取得する第一の取得手段と、前記撮像対象空間における前記撮像装置から被写体までの距離情報を取得する第二の取得手段と、前記距離情報と前記複数の画像とに基づき、前記複数の画像における背景画像を生成する生成手段と、を有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、複数の画像から、適切な背景画像を生成することが出来る。
【図面の簡単な説明】
【００１２】
【図１】第一の実施形態における撮像対象空間と映像データ、及び距離情報データ、並びに、背景画像と非背景画素データの一例を示す図。
【図２】第一の実施形態における機能ブロック図。
【図３】第一、及び第二の実施形態における背景画像生成部と出力部のより詳細な機能ブロック図。
【図４】第一の実施形態における処理手順を示すフローチャート。
【図５】第一の実施形態における背景画像更新部分のより詳細な処理手順を示すフローチャート。
【図６】第二の実施形態における撮像対象空間と映像データ、距離情報データ及び信頼度情報データ、並びに背景画像と非背景画素データの一例を示す図。
【図７】第二の実施形態における機能ブロック図。
【図８】第二の実施形態における処理手順を示すフローチャート。
【図９】第二の実施形態における背景画像更新部分のより詳細な処理手順を示すフローチャート。
【図１０】コンピュータシステムの一例を示す図。
【図１１】第一、および、第二の実施形態における更新処理結果出力部分のより詳細な処理手順を示す図。
【発明を実施するための形態】
【００１３】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下で説明する各実施形態は、本発明の具体的な実施形態の一つである。
【００１４】
（第一の実施形態）
図２は、第一の実施形態における画像処理装置の機能的な面からみた構成の一例を示す図である。
【００１５】
同図において、２００は撮像対象空間を撮像して得られる映像データとこれに対応する距離情報データを得る映像入力部および距離情報部を表わしている。映像入力部および距離情報入力部２００は、主カメラ２１０、副カメラ２２０、画像取得部２３０、画像処理部２４０で構成されている。主カメラ２１０と副カメラ２２０の２台のカメラで撮像対象空間を撮像する。画像取得部２３０は、主カメラ２１０、および、副カメラ２２０から出力された映像データを取得し、画像処理部２４０に出力する。画像処理部２４０では、画像取得部２３０を経由して得た、主カメラ２１０と副カメラ２２０とで撮像した映像をステレオ映像として扱う。例えば特開２０１０−２２４９１８等に開示される様な公知の方法により、それらカメラ間の位置の違いによる見えの違いを利用して距離画像を得て、主カメラ２１０からの映像によるフレーム画像列と、これに対応づけられた距離画像列とを生成する。生成された主カメラ２１０からの映像によるフレーム画像列と、これに対応づけられた距離画像列は、それぞれ映像情報データメモリ２５１と距離情報データメモリ２５２に出力される。これら撮像対象空間を撮像した映像情報であるフレーム画像列と、距離情報である距離画像列は、同公開公報に開示される様な方法で夫々を構成する画像列中の各画像毎に対応づけ、かつ、対応する画像間の各画素位置毎に対応づくように調整して用いる。かくして、画像処理部２４０で生成されたフレーム画像列は一次的に映像情報データメモリ２５１に保持され、同距離画像列は一時的に距離情報データメモリ２５２に保持される。背景画像生成部２６０では、前記距離情報データメモリ２５２に保持される距離画像列に基づき、前記映像情報データメモリ２５１に保持されるフレーム画像列から、前記撮像対象空間を撮像した映像における背景画像を生成する。背景画像は、所定の距離よりも遠い画素群から構成される。背景画像は、前記フレーム画像列を順次に処理する中で、徐々に更新され、順次生成される背景画像の更新データを背景更新バッファ２７１に出力する。また、本実施例では更に、背景画像を形成しない部分から構成される画像を非背景画像バッファ２７２に出力する。これら背景更新バッファ２７１、および、非背景画像バッファ２７２に保持されるデータは、出力部２８０により、不図示の通信回線等を通して、遠隔監視先等の外部の装置へ出力される。
【００１６】
図３は、図２における背景画像生成部２６０と出力部２８０のより詳しい構成例を示す図である。同図において、背景画像生成部２６０は、背景画像バッファ２６１、更新部２６２、更新有りフラグ２６３を具備する。背景画像生成部２６０において、後述する背景画像更新処理の結果、背景画像バッファ２６１に保持されている更新前の背景画像に対して、背景画像の更新が発生する場合には、背景更新バッファ２７１に背景画像更新データが出力される。加えて、更新有りフラグ２６３は、更新のあったことを示す状態（以降、オン状態とも称する）に設定される。また、背景画像の更新対象部以外の部分から非背景画像が生成され、非背景画像バッファ２７２に出力される。更新部２６２は、背景更新バッファ２７１に出力されたデータから、それまで背景画像バッファ２６１に保持されていた背景画像を更新することにより、背景画像バッファ２６１に保持される画像をあらたな背景画像に更新する。この際、更新部２６２は、更新有りフラグ２６３がオン状態のときのみに背景画像バッファ２６１に保持される背景画像の更新を実行する。出力部２８０では、非背景画像バッファ２７２に保持される非背景画像を符号化器２８２で符号化して出力する。さらに更新有りフラグ２６３がオン状態にある場合には、背景更新バッファ２７１に保持される背景画像更新データを符号化器２８１で符号化して出力する。
【００１７】
ここで、上述の映像入力部および距離情報入力部２００から得られる映像データとこれに対応する距離情報データに関して、図１を用いて説明を加える。
【００１８】
図１（ａ）において、１１は撮像対象空間の例を示している。また、２１０は主カメラ、２２０は副カメラである。これら２台のカメラで撮像対象空間１１を撮像することにより、図１（ｃ）の１２に示す様なフレーム画像列として構成される映像データと、１３に示す様なこれに対応づけられた距離画像列とを得る。上述の様に、フレーム画像列をなす映像データ１２は、例えば主カメラ２１０から得られる映像データを用いるものとする。また、距離画像列である距離情報データ１３は、主カメラ２１０と副カメラ２２０をステレオ映像として扱い、それらカメラ間の位置の違いによる見えの違いを利用した、前記の特開２０１０−２２４９１８等に開示される公知の方法で得られる。前記、映像データ１２と距離情報データ１３とは、前記、特開２０１０−２２４９１８等に開示される公知の方法により、夫々を構成する画像列中の各画像毎に対応づけ、かつ、対応する画像間の各画素位置毎に対応づくように調整されている。
【００１９】
尚、これまで、撮像対象空間を撮像して得られる映像情報と、これに対応する距離情報とは、主カメラ２１０と副カメラ２２０の２台のかめらで撮像した映像をステレオ映像として扱うものとして説明を進めてきたが、必ずしもこれに限らない。前記の特開２０１０−２２４９１８でも開示される、１台のカメラとレンジセンサとの組み合わせにより取得する様に構成してもよい。例えば、図１（ｂ）に示す様に、前記、映像データ１２と距離情報データ１３とを、カメラ２１０とレンジセンサ２２５を組み合わせて獲得するように構成しても良い。カメラ２１０から得られる映像を撮像対象空間１１を撮像して得られる映像データ１２とし、レンジセンサ２２５より得られる測距データからこれに対応づけられた距離情報データ１３を得るようにしても良い。
【００２０】
以上、図１（ａ）〜図１（ｃ）を用いて、映像入力部および距離情報入力部にて撮像対象空間１１を撮像して得られる映像データ１２と、これに対応する距離情報データ１３の例を説明した。これらは、それぞれ映像情報データメモリ２５１と距離情報データメモリ２５２に出力される。これらを背景画像生成部２６０で処理することで得られる背景画像１４と非背景画素による画像群１５の例を、図１（ｄ）と図１（ｅ）にそれぞれ示した。これらは、それぞれ、背景画像バッファ２６１、および、非背景画像バッファ２７２に出力されるものである。
【００２１】
以降、上記に説明した背景画像生成部２６０と出力部２８０とを、コンピュータシステム上で、ソフトウェア処理で実現した場合の例を、図１０のコンピュータシステムの構成図と図４、図５と図１１に示すフローチャートを用いて説明を加える。
【００２２】
図１０で、２００１はＣＰＵ（中央演算処理装置）、２００２はＲＡＭ（ランダムアクセスして読み書き可能なメモリ）、２００３はＲＯＭ（ランダムアクセスして読み出しのみ可能なメモリ）である。２００４はキーボード、２００５はマウス等のポインティングデバイスである。また、２００６は液晶ディスプレイに代表される表示装置、２００７は、ハードディスクに代表される外部記憶装置である。２００８は脱着可能な記憶媒体を駆動する記憶媒体ドライブ、２００９は外部装置とデータのやり取りをするインタフェース、２０１０はバスである。図４、図５、および、図１１のフローチャートで示される処理の流れを記述したコンピュータプログラムを図１０のＲＡＭ２００２、もしくは、ＲＯＭ２００３に予め記憶しておく。そして、ＣＰＵ２００１で該コンピュータプログラムを実行することで背景画像生成部２６０と出力部２８０を実現できる。
【００２３】
図４において、処理を開始すると、ステップＳ４１００で、映像情報データメモリ２５１に保持される、撮像対象空間を撮像して得られた映像データである、フレーム画像列の中の時系列的に最初のフレーム画像を入力する。入力した最初のフレーム画像は、ＲＡＭ２００２上の不図示の領域に保持される。次にステップＳ４２００では、距離情報データメモリ２５２に保持される距離画像列中で、前記ステップＳ４１００入力した最初のフレーム画像に対応する距離画像を入力する。入力した距離画像は、同じくＲＡＭ２００２上の、前記フレーム画像が保持される領域とは異なる不図示の領域に保持される。
【００２４】
ステップＳ４４００では、背景画像の初期化を行う。即ち、ステップＳ４１００で入力したフレーム画像を背景画像バッファ２６１にコピーして、初期の背景画像とする。ステップＳ４５００では、ステップＳ４２００で入力した前記距離画像を、ＲＡＭ２００２上の、前記フレーム画像や前記距離画像が保持される領域とは異なる不図示の領域にコピーし、初期の最遠距離画像とする。
【００２５】
ステップＳ４６００では、背景更新バッファ２７１をクリアして、同バッファに保持される背景画像の全画素の画素値を初期化する。ステップＳ４７００では、更新有りフラグ２６３をリセットし、同フラグをＯＦＦ状態とする。ステップＳ４８００では、映像情報データメモリ２５１に保持されるフレーム画像列中で、直前に入力されたフレーム画像に対して、時系列的に次のフレーム画像を入力し、上記フレーム画像を保持するＲＡＭ２００２上の不図示の領域に上書きする。ステップＳ４９００では、直前のステップＳ４８００で入力したフレーム画像に対応する距離画像を、距離情報データメモリ２５２に保持される距離画像列中から入力し、上記距離画像を保持するＲＡＭ２００２上の不図示の領域に上書きする。
【００２６】
次に、ステップＳ５１００では、前記距離画像と前記最遠距離画像、及び、前記フレーム画像とそれまでの前記背景画像とから、前記最遠距離画像と前記背景画像とを更新する。ステップＳ５１００の処理の内容は、図５のフローチャートを用いた、より詳細な説明を後述する。ステップＳ５２００では、ステップＳ５１００で生成された背景画像を更新するための背景画像更新データと非背景画像を出力する。ステップＳ５２００の処理については、図１１のフローチャートを用いて、その処理の手順を後述する。ステップＳ５３００では、ここまでの処理で、処理対象とすべきフレーム画像列の全てのフレーム画像を処理したか否かを判断し、まだ処理対象とすべきフレームが存在する場合には、ステップＳ４６００に戻って、一連の処理を続行する。一方、処理対象とすべきフレーム画像列の全てのフレーム画像の処理を完了したと判断される場合には、一連の処理を終了する。
【００２７】
次に、図５のフローチャートを用いて、前記ステップＳ５１００の処理内容を詳述する。同図において、処理を開始すると、ステップＳ５１１０で、前記フレーム画像、前記距離画像、前記最遠距離画像、前記背景更新バッファのそれぞれの注目画素位置を初期化する。即ち、それぞれが保持する画像データの注目位置が、処理の進行とともに、ラスター走査順に順次更新されていくものであり、ここでは、それぞれの注目位置を最初の走査線上の最初の画素位置に初期化する。ステップＳ５１２０では、最遠距離画像と距離画像のそれぞれの注目位置の画素値を比較することで、同注目画素位置におけるこれまでの最遠距離と現距離画像中での距離を比較する。ステップＳ５１３０では、ステップＳ５１２０での比較結果が、現距離画像中の画素の画素値の方が大きい、即ち、撮像装置からの距離が遠いことを意味する場合、ステップＳ５１５０に進み、そうではない場合にはステップＳ５１９０に進む。ステップＳ５１５０では、フレーム画像中の注目画素位置の画素値を背景更新バッファ中の注目画素位置に書き込む。ステップＳ５１５５では、更新有りフラグをセットし、ＯＮ状態とする。ステップＳ５１６０では、現距離画像中の注目画素位置の画素の画素値で最遠距離画像の注目画素位置の画素値を更新し（書き換え）、ステップＳ５１７０に進む。
【００２８】
尚、ステップＳ５１３０において、注目画素位置の現距離が、それまでの最遠距離よりも遠くは無い場合には、前述の様にステップＳ５１９０に進む。ステップＳ５１９０では、距離画像中の注目画素位置の画素の画素値で非背景画像バッファの注目画素位置の画素値を更新し（書き換え）、ステップＳ５１７０に進む。
【００２９】
ステップＳ５１７０では、注目画素位置がラスター走査順で最後の位置、即ち、最終走査線上の最終画素の位置にあるか否かを判定し、最後の位置である場合には、ラスター走査を完了したと判断し、ステップＳ５１８０に進む。そうではない場合には、ステップＳ５１７５に進む。ステップＳ５１７５では、前記フレーム画像、前記距離画像、前記最遠距離画像、前記背景更新バッファのそれぞれの注目画素位置をラスター走査順で次の画素位置に更新し、ステップＳ５１３０の処理に戻る。
【００３０】
ステップＳ５１８０では、更新有りフラグがＯＮ状態で有るか否かを判定し、ＯＮ状態の場合には、ステップＳ５１８５に進む。そうではない場合には、処理を終えた一フレーム中には、更新された画素がなかった場合であり、ステップＳ５１００の一連の処理を終了し、ステップＳ５２００の処理に進む。一方、ステップＳ５１８５では、ステップＳ５１５０で書き込まれた背景更新バッファ２７１中の画素の画素値で、背景画像バッファ２６１中の背景画像の対応画素位置の画素値を更新する。背景画像の更新を終えると、ステップＳ５１００の一連の処理を終了し、ステップＳ５２００の処理に進む。
【００３１】
尚、上記のステップＳ４６００での背景更新バッファの初期化時に既定の値（例えば、０）を初期値として用い、フレーム画像中の画素の画素値の変動域（ダイナミックレンジ）には、該規定の値は含まれないように画像処理部２４０で調整するものとする。この調整は、公知のγ補正やダイナミックレンジ補正、画素値のクリップ処理等の技術で容易に実現可能である。ステップＳ５１８５では、背景更新バッファ２７１中の画素の画素値が、該規定の値以外を画素値としてもつ画素に対応する背景画像バッファ２６１中の画素値をのみを更新すればよい。
【００３２】
次に、図１１を用いて、ステップＳ５２００の処理内容を詳述する。同図において、処理を開始すると、ステップＳ５２１０において、更新有りフラグがＯＮ状態で有るか否かを判定し、ＯＮ状態の場合には、ステップＳ５２２０に進む。そうではない場合には、ステップＳ５２３０に進む。ステップＳ５２２０では、背景更新バッファ２７１に保持されている、それまでの背景画像を更新するための画素値データで構成される画像データとして、公知の画像圧縮手法により圧縮して出力する。ステップＳ５２３０では、非背景画像バッファに保持される、最新の非背景画像を公知の圧縮手法により圧縮して出力する。尚、上記のステップＳ５２２０、及び、ステップＳ５３３０における出力先は、例えば、遠隔監視装置等に代表される外部の映像通信装置等であり、インタフェース２００９を介して出力される。
【００３３】
上記のステップＳ５２２０で出力される、それまでの背景画像を更新するための画素値データで構成される画像データの圧縮データは、受信先において復号され、保持されているそれまでの背景画像を更新し、最新の背景画像を得るために用いられる。また、上記ステップＳ５３３０で出力される最新の非背景画像の圧縮データは、受信先において復号され、受信先の保持する最新の背景画像上に重畳表示されることで、フレーム画像に相当する画像が生成可能である。
【００３４】
以上、説明したように、本実施形態によれば、予め背景となる画像を撮像しておくことなく背景画像を生成することが可能である。この際、本実施形態により生成される背景画像と非背景画像からは、従来に比し、違和感のない自然な合成画像を得ることができる。
【００３５】
また、背景画像が更新された時のみ、背景画像の更新に要する成分のみを送り、かつ、背景画像には含まれない成分のみを、非背景画像として送ることで、全ての映像を送信する場合に比し、格段に少ないデータ量で映像の伝送が可能となる。
【００３６】
尚、上記の第一の実施形態の説明においては、前記フレーム画像、前記距離画像、前記最遠距離画像等は、ＲＡＭ２００２上に保持されるものとして説明したが、これに限るものではない。即ち、ハードディスクに代表される外部記憶装置２００７や、記憶媒体ドライブ２００８に駆動される脱着可能な記憶媒体上等に保持される様に構成してよいのはもちろんである。
【００３７】
また、ステップＳ５２００にて出力される送信先は、遠隔監視装置等に代表される外部の映像通信装置等であり、インタフェース２００９を介して出力されるものとして説明したが、これに限るものではない。例えば、ハードディスクに代表される外部記憶装置２００７や、記憶媒体ドライブ２００８に駆動される脱着可能な記憶媒体上等に映像記録の録画として出力するように構成してもよい。
【００３８】
さらに、ステップＳ５２２０では、それまでの背景画像を更新するための画素値データで構成される画像データを圧縮出力するものとして説明したが、これに限らない。即ち、それまでの背景画像を更新するための画素値データではなく、背景画像バッファ２６１に保持される更新済みの背景画像を圧縮出力するように構成しても良い。この様に、更新済みの背景画像を出力するように構成すると、一般的に出力データ量は増加するものの、受信側、或いは、再生時にそれまでの背景画像から最新の背景画像を更新する必要がなくなり、処理負荷が減るといった特有の効果が生じる。
【００３９】
ステップＳ５２００では、更新処理の結果を圧縮して出力するものとして説明したが、必ずしも圧縮する必要はない。この場合には、出力データ量は一般的には増加するものの、出力時の符号化、再生時の復号化の処理が不要となり、処理負荷を減らすことができる。圧縮しない場合でも、背景画像がほとんど変化することがない状態であれば、ほぼ非背景画像成分のみの出力となり、全ての映像を出力する場合に比し格段に少ない出力データ量となる。
【００４０】
（第二の実施形態）
第一の実施形態では、撮像対象空間を撮像して得られる映像情報と、これに対応する距離情報を用いることで、予め背景となる画像を撮像しておくことなく背景画像を生成することが可能であることを開示した。加えて、本実施形態により生成される背景画像と非背景画像からは、従来に比し、違和感のない自然な合成画像を得られることを述べた。
【００４１】
本実施形態では、さらに距離情報に対する信頼度情報をも用いることで、より信頼性の高い背景画像を得ることを開示する。
【００４２】
本実施形態における画像処理装置の機能的な面からみた構成を図７に示す。同図において、図２に示される、第一の実施形態における機能構成との差異は、信頼度情報を保持する信頼度情報データメモリ７５３を有する点である。図７では、図２との差異である信頼度情報データメモリ７５３を除いて、その他の部分は、図２と同番号を付与してある。また、図７の背景画像生成部２６０の動作は、図８と図９に示すフローチャートで表現されている。これらも、それぞれ、第一の実施形態における背景画像生成部２６０の動作の説明に用いた図４と図５のフローチャートで示す手順と同様の部分には、同じステップ番号を付与してある。これらの差異のある部分は、前記信頼度情報に関連する部分である。図６は、撮像対象空間と映像データ、距離情報データ、および、信頼度情報データ、並びに、背景画像と非背景画素データの一例を示している。図６も、第一の実施形態における撮像対象空間と映像データ、および、距離情報データ、並びに、背景画像と非背景画素データの一例を示している図１と同様の部分には、同番号を付与してある。
【００４３】
以降、上記第一の実施例との差異部分を中心に説明を加える。
【００４４】
図７において、画像処理部２４０では、第一の実施形態と同様に画像取得部２３０より得た、主カメラ２１０、及び、副カメラ２２０とで撮像した映像をステレオ画像として扱う。前述の公知の方法により、撮像対象空間を撮像して映像情報列であるフレーム画像列と、これに対応付けられた距離画像列が生成され、それぞれ映像情報データメモリ２５１と距離情報データメモリ２５２に出力される。本実施形態においては、さらに、特開２００５−２４２４８８に開示される様な公知の方法により、前記距離画像列を構成するそれぞれの距離画像の各画素のもつ画素値で表わされる距離に対応する信頼度を求める。距離画像の全ての画素に対して前記信頼度をもとめ、距離画像に対応する順に各信頼度を画像状に配置したものを、以降、信頼度画像と称することとする。かくして、本実施形態における画像処理部２４０では、フレーム画像列と、これに対応付けられた距離画像列に加え、これらに対応付けられた信頼度画像列をも生成する。生成された信頼度画像列は、信頼度情報データメモリ７５３に出力される。上述の公開特許公報、特開２００５−２４２４８８では、信頼度（１）〜信頼度（５）として、５通りの信頼度の求め方を開示している。同公開特許公報に開示される信頼度（１）と信頼度（２）については、一枚の距離画像から、この距離画像内の各画素に対応する信頼度を求める方法が開示されている。２台のカメラから得られる映像をステレオ映像として用いて、いわゆるステレオ画像法とも称される前記特開２０１０−２２４９１８に開示される様な方法で得られた距離画像に限らず、レンジセンサから得られる距離画像に対しても適用可能の方法である。一方、信頼度（３）〜信頼度（５）に開示される方法は、ステレオ画像法に基づいて求められた距離画像であることを前提とした方法である。何れの方法であっても、信頼度は距離画像の各画素の画素値で表わされる距離を得た測距精度の信頼性を与える値であり、大きな値ほどより信頼性が高いことを意味するものである。かくして図２における映像入力部および距離情報入力部２００は、図７においては、信頼度情報を獲得する機能を有する信頼度情報獲得部でもある。
【００４５】
本実施形態における背景画像生成部２６０では、前記距離情報データメモリ２５２に保持される距離画像列のみならず、前記信頼度情報データメモリ７５３に保持される信頼度画像列にも基づき、前記フレーム画像列から背景画像を生成する。
【００４６】
上述の実施形態間での状況の差異を表現するために、図６の図６（ｃ）には、図１における図１（ｃ）の映像データ（フレーム画像列）１２と距離情報データ（距離画像列）１３に加え、信頼度情報データ（信頼度画像列）６６が付加されている。
【００４７】
本実施形態における背景画像生成部２６０の動作を説明するフローチャート図８は、第一の実施形態における背景画像生成部２６０の動作の説明に用いたフローチャート図４に比べて、ステップＳ４３００とステップＳ５０００が挿入されている点が異なる。図８においては、ステップＳ４１００で時系列的に最初のフレーム画像を、ステップＳ４２００で時系列的に最初の距離画像を入力した後、ステップＳ４３００では、これらに対応する時系列的に最初の信頼度画像を入力するものである。入力した信頼度画像は、ＲＡＭ２００２上の、前記フレーム画像や前記距離画像が保持される領域とは異なる不図示の領域に保持される。以降、ステップＳ４４００〜ステップＳ４９００は、第一の実施形態でのフローチャート図４での動作と同様である。図８のステップＳ５０００は、ステップＳ４８００で、直前に入力されたフレーム画像に対して、時系列的に次のフレーム画像を入力し、ステップＳ４９００でこれに対応する距離画像を入力した後で、これらに対応する信頼度画像を入力するものである。入力した信頼度画像は、上述の信頼度画像が保持されるＲＡＭ２００２上の不図示の領域に上書きされる。図８におけるステップＳ５１００の処理内容については、図９を用いて、図５との差異を中心に後述する。図８のステップＳ５２００とステップＳ５３００に関しては、図４の同番号のステップと同様である。
【００４８】
次に、図９のフローチャートを用いて、本実施形態における図８のステップＳ５１００の処理内容を説明する。図９において処理を開始すると、ステップＳ５１１０で、前記フレーム画像、前記距離画像、前記最遠距離画像、前記背景更新バッファに加え、前記信頼度画像のそれぞれの注目画素位置を初期化する。即ち、図５におけるステップＳ５１１０に比し、信頼度画像の注目位置についても注目画素位置を初期化する点が異なる。ステップＳ５１２０は、図５の場合と同様である。ステップＳ５１３０では、ステップＳ５１２０での比較結果が、現距離画像中の画素の画素値の方が大きい、即ち、撮像装置からの距離が遠いことを意味する場合、ステップＳ５１４０に進み、そうではない場合にはステップＳ５１９０に進む。ステップＳ５１４０では、信頼度画像中の注目画素位置の画素値と、予め定める閾値と比較し、前記画素値が前記閾値以上の場合には、十分に距離の信頼性が高いと判断して、ステップＳ５１５０に進む。一方で、前記画素値が前記閾値未満の場合には、距離の信頼性が十分ではないと判断して、ステップＳ５１９０に進む。ここで、本実施形態では、信頼度は０〜１の間の値に正規化された値として用いられているものとし、前述の予め定める閾値は、例えば、０．５として動作するものとする。以降、ステップＳ５１５０〜ステップＳ５１９０の処理は、図４のフローチャートに基づき説明したものと同様である。
【００４９】
即ち、本実施形態においては、第一の実施形態での様に、最遠距離画像と現距離画像のそれぞれの注目位置の画素値との比較結果が、現距離画像中の画素の画素値の方が大きい、場合であっても、この条件のみでは背景更新バッファへの書き込みをしない。さらに、現距離画像中の画素の画素値、即ち、撮像装置からの距離の信頼性が十分に高いか否かを判断した上で、十分に距離の信頼性が高いと判断される場合のみにステップＳ５１５０に進み、背景更新バッファにフレーム画像の画素値を書き込む。
【００５０】
この様に構成することで、第一の実施形態に比し、より信頼性の高い背景画像を得ることができる。
【００５１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018056906.tif 000003
【図２】
2018056906.tif 000004
【図３】
2018056906.tif 000005
【図４】
2018056906.tif 000006
【図５】
2018056906.tif 000007
【図６】
2018056906.tif 000008
【図７】
2018056906.tif 000009
【図８】
2018056906.tif 000010
【図９】
2018056906.tif 000011
【図１０】
2018056906.tif 000012
【図１１】
2018056906.tif 000013