(57)【要約】【課題】カメラで撮影した時系列の複数の画像から変化画素を含む領域を抽出する領域化処理機能を有する画像処理装置において、背景画像を必要とせず、汎用性並びに信頼性の高い影除去処理を実行できる。【解決手段】影除去候補抽出・影除去処理部１５は、領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、他の１つまたは２つのフレームを参照フレームとし、参照フレームを参照して基準フレームの画素あたりの輝度低減率を算出する輝度低減率算出機能部と、輝度低減率を算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定する第１の判定機能部と、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の判定機能部と、影候補の画素をもとに上記基準フレームの画像に対して影部分を除去する影除去処理機能部とを有する。【選択図】    図１
2010204941.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影したカラー画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域を抽出する領域化処理手段を備えた画像処理装置において、
所定の時間を隔てて入力され領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、他の１つのフレームを参照フレームとして、前記参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出する輝度低減率算出手段と、
前記輝度低減率を算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定する第１の判定手段と、
前記第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の判定手段と、
前記影候補の画素をもとに前記基準フレームとしたフレームの画像に対して影部分を除去する影除去処理手段と、
を具備したことを特徴とする画像処理装置。
【請求項２】
前記輝度低減率算出手段は、前記基準フレームに対して、前記参照フレームを他の１つのフレームに替えて、再度、前記参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出する算出手段を具備したことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記輝度低減率算出手段は、前記基準フレームを参照フレーム、前記参照フレームを基準フレームに差し替えて、再度、前記参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出する算出手段を具備したことを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第２の判定手段は、輝度低減率に比例して影候補と判定する輝度範囲を拡げた第２の減衰範囲をもとに前記第１の減衰範囲にあると判定した画素について影候補とするか否かを判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記第１、第２の判定手段は、前記輝度低減率を算出した画素について、前記参照フレームの対応する画素の輝度が、設定した最低閾値に達しているとき、前記判定を行う請求項２または３に記載の画像処理装置。
【請求項６】
カメラで撮影したカラー画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域について影部分を除去する影除去処理能を実現するコンピュータに、
所定の時間を隔てて入力され領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、この基準フレームより以前に入力された他の１つのフレームを参照フレームとして、当該参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第１の影候補判定処理機能と、
前記基準フレームより以後に入力された他の１つのフレームを参照フレームとして、当該参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が前記第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、前記第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の影候補判定処理機能と、
前記第１の影候補判定処理機能が判定した影候補と前記第２の影候補判定処理機能が判定した影候補とをもとに、前記基準フレームに対して影部分の画素を除去する影除去処理機能と、
を実現させることを特徴とする影除去処理プログラム。
【請求項７】
カメラで撮影したカラー画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域について影部分を除去する影除去処理能を実現するコンピュータに、
所定の時間を隔てて入力され領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、この基準フレームより以後に入力された他の１つのフレームを参照フレームとして、当該参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第１の影候補判定処理機能と、
前記基準フレームを参照フレームに、前記参照フレームを基準フレームに入れ替えて、当該入れ替えた参照フレームを参照して前記入れ替えた基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が前記第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、前記第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の影候補判定処理機能と、
前記第１の影候補判定処理機能が判定した影候補と前記第２の影候補判定処理機能が判定した影候補とをもとに、前記第１の影候補判定処理機能で基準フレームとしたフレームに対して影部分の画素を除去する影除去処理機能と、
を実現させることを特徴とする影除去処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影した時系列の複数の画像から変化画素を含む領域を抽出する領域化処理機能を有する画像処理装置、およびカメラで撮影した画像から影部分の画像を排除する影除去処理プログラムに関する。
【背景技術】
【０００２】
単眼カメラ（一つのカメラ）で撮影した時系列の複数の画像から変化画素を含む矩形の領域を抽出する領域化処理機能を有する画像処理装置においては、抽出した領域に影の領域を含んでいる。オブジェクト推定や位置推定機能では、影の出現方向や出現状況の予測が困難であり、影の領域を含んだ領域情報を利用して推定処理を行うと性能が極端に低下してしまうという問題があった。
【０００３】
この種の画像処理技術における従来の影除去技術として、「対象物領域では、背景部分のテクスチャーが失われ、影領域では、背景部分のテクスチャーが比較的良好に残存している状況下において、背景画像を用意しておき、背景部分のテクスチャーが比較的良好に残存している影の領域と、背景部分のテクスチャーが失われている対象物体の領域を、背景部分のテクスチャーによる輝度への影響として捉えて影検出と画像処理を行う」技術が存在した（特許文献１参照）。しかしながら、この影除去技術は、背景画像を事前に用意し、この背景画像（背景となるテクスチャー）を基準に、対象物体の影領域を検出する構成であることから、影検出の基準となる適正な背景画像を事前に用意しておく必要があるとともに、用途（適用範囲）が撮影エリアを固定した道路監視等に限られ、汎用性に乏しいという問題があった。また、例えば日差しの変化などにより影の濃さが極端に変化したり、背景となる道路や構造物が雨や雪に晒されて、画像の影部分やその背景部分に大きな輝度変動が生じた際に誤動作する可能性が高く、従って上記した推定機能には適用できないという汎用性並びに信頼性の面の問題があった。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開特開２００５−２５１１３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上述したように、カメラで撮影した時系列の複数の画像から変化画素を含む領域を抽出する領域化処理機能を有する画像処理装置においては、影の領域を含んだ領域情報を利用して動物体の推定処理を行った場合、処理性能に影響を及ぼすという問題があり、また、背景部分のテクスチャーによる輝度への影響を捉えて影検出を行う従来技術においては、影検出の基準となる適正な背景画像を事前に用意しておく手段が必要になるとともに、汎用性並びに信頼性の面で問題があった。
【０００６】
本発明は上記実情に鑑みなされたもので、カメラで撮影した時系列の複数の画像から変化画素を含む領域を抽出する領域化処理機能を有する画像処理装置において、背景画像を必要とせず、汎用性並びに信頼性の高い影除去処理を期待することのできる、画像処理装置および影除去処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、カメラで撮影したカラー画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域を抽出する領域化処理手段を備えた画像処理装置において、所定の時間を隔てて入力され領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、他の１つのフレームを参照フレームとして、前記参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出する輝度低減率算出手段と、前記輝度低減率を算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定する第１の判定手段と、
前記第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の判定手段と、前記影候補の画素をもとに前記基準フレームとしたフレームの画像に対して影部分を除去する影除去処理手段と、を具備したことを特徴とする。
【０００８】
また前記画像処理装置において、前記輝度低減率算出手段は、前記基準フレームに対して、前記参照フレームを他の１つのフレームに替えて、再度、前記参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出する算出手段を具備したことを特徴とする。
【０００９】
また前記画像処理装置において、前記輝度低減率算出手段は、前記基準フレームを参照フレーム、前記参照フレームを基準フレームに差し替えて、再度、前記参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出する算出手段を具備したことを特徴とする。
【００１０】
また、本発明は、カメラで撮影したカラー画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域について影部分を除去する影除去処理能を実現するコンピュータに、所定の時間を隔てて入力され領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、この基準フレームより以前に入力された他の１つのフレームを参照フレームとして、当該参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第１の影候補判定処理機能と、前記基準フレームより以後に入力された他の１つのフレームを参照フレームとして、当該参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が前記第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、前記第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の影候補判定処理機能と、前記第１の影候補判定処理機能が判定した影候補と前記第２の影候補判定処理機能が判定した影候補とをもとに、前記基準フレームに対して影部分の画素を除去する影除去処理機能と、を実現させる影除去処理プログラムを特徴とする。
【００１１】
また、本発明は、カメラで撮影したカラー画像を順次入力し、入力した現在画像と過去画像から変化画素を含む領域について影部分を除去する影除去処理能を実現するコンピュータに、所定の時間を隔てて入力され領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、この基準フレームより以後に入力された他の１つのフレームを参照フレームとして、当該参照フレームを参照して前記基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第１の影候補判定処理機能と、前記基準フレームを参照フレームに、前記参照フレームを基準フレームに入れ替えて、当該入れ替えた参照フレームを参照して前記入れ替えた基準フレームの画素あたりの輝度低減率を算出し、算出した画素について、同画素の輝度低減率が前記第１の減衰範囲にあるか否かを判定し、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、前記第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の影候補判定処理機能と、前記第１の影候補判定処理機能が判定した影候補と前記第２の影候補判定処理機能が判定した影候補とをもとに、前記第１の影候補判定処理機能で基準フレームとしたフレームに対して影部分の画素を除去する影除去処理機能と、を実現させる影除去処理プログラムを特徴とする。
【発明の効果】
【００１２】
本発明によれば、カメラで撮影した時系列の複数の画像から変化画素を含む領域を抽出する領域化処理機能を有する画像処理装置において、背景画像を必要とせず、汎用性並びに信頼性の高い影除去処理が期待できる。
【図面の簡単な説明】
【００１３】
【図１】本発明の実施形態に係る画像処理装置の構成を示すブロック図。
【図２】上記実施形態に係る画像処理装置に設けられた影除去候補抽出・影除去処理部の構成を示すブロック図。
【図３】上記実施形態に係る画像処理装置における画像処理部の処理手順を示すフローチャート。
【図４】上記実施形態に係る画像処理装置のメイン処理ルーチンを示すフローチャート。
【図５】本発明の第１実施形態に係る画像処理装置の動作概念を示す図。
【図６】上記第１実施形態に係る影除去処理の手順を示すフローチャート。
【図７】上記第１実施形態に係る影除去処理の手順を示すフローチャート。
【図８】上記第１実施形態に係る（第１実施形態で援用する）影除去処理の手順を示すフローチャート。
【図９】上記第１実施形態に係る影除去処理後の再領域化処理手順を示すフローチャート。
【図１０】上記第１実施形態に係る影除去処理後の再領域化処理手順を示すフローチャート。
【図１１】上記第１実施形態に係る影除去処理に適用される閾値の特性を示す図。
【図１２】本発明の第２実施形態に係る画像処理装置の動作概念を示す図。
【図１３】上記第２実施形態に係る影除去処理の手順を示すフローチャート。
【図１４】上記第２実施形態に係る影除去処理の手順を示すフローチャート。
【発明を実施するための形態】
【００１４】
以下図面を参照して本発明の実施形態を説明する。
【００１５】
本発明は、「影は、投影される先の色情報を含み、背景色の彩度と色相を残して、明度のみ落ちる」という特徴を利用して、処理負荷を極力抑え、時間差をもつ画像の色情報（Ｒ，Ｇ，Ｂ）と輝度（Ｙ）の特徴量を利用したアルゴリズムを構築することにより実現したもので、背景画像（テクスチャ）を用いた差分法を適用することなく、影を含んだ動きのある画像から影の画像を効率よく的確に排除する。これにより、背景画像を必要としない、汎用性並びに信頼性の高い影除去処理機能を有した画像処理装置を提供できる。
【００１６】
本発明の実施形態に係る画像処理装置全体の構成を図１に示し、本実施形態の主要な構成要素をなす画像処理部１３の機能ブロックを図２に示している。なお、この実施形態では、カメラ（単眼カメラ）から取り込んだ１フレーム（１画面）分の画像データを、単に画像若しくは画面上の画像若しくは一画面分の画像と称している。
【００１７】
本発明の実施形態に係る画像処理装置は、図１に示すように、カメラ１１と、キャプチャ部１２と、画像処理部１３と、表示部１８とを具備して構成される。
【００１８】
カメラ１１は、レンズユニットとレンズユニットの結像位置に設けられたカラー撮像素子（例えばＣＣＤカラーイメージセンサ、若しくはＣＭＯＳカラーイメージセンサ）とを具備して、屋外若しくは屋内の動きを伴う被写体（動物体）を対象に、撮像した一画面分のカラー画像を所定の画素単位（例えば１フレーム３２０×２４０画素＝ＱＶＧＡ）で出力する。
【００１９】
キャプチャ部１２は、カメラ１１が撮像したフレーム単位の画像を画像処理部１３の処理対象画像（入力画像）として取り込み、画像処理部１３の図示しないバッファに記憶する処理機能（キャプチャ機能）をもつ。
【００２０】
画像処理部１３は、検知処理部１４と、影除去候補抽出・影除去処理部１５と、再領域化処理部１６とを具備して構成される。さらに画像処理部１３には、ここでは図示しないが、キャプチャ部１２から一定の時間間隔で入力したフレーム単位のカラー画像を所定数（例えば３０フレーム）貯える画像バッファメモリ、差分処理、ノイズ除去、領域化、影除去処理等の各処理に用いられる作業用バッファ、作業用画像メモリ、外部パラメータを貯えるパラメータ設定部、影除去処理プログラムを含む画像処理プログラムを貯えるプログラム格納部等が設けられる。上記画像バッファは、図２に、符号２１で示され、作業用画像メモリとして、図２に、処理結果メモリ２２が示され、作業用バッファとして、図２に、参照画像バッファ２３、および影除去候補バッファ２４が示されている。
【００２１】
検知処理部１４は、画像処理部１３の画像バッファから過去画像と現在画像とを入力し画素単位で比較して差分領域を抽出する差分処理部と、拡散フィルタおよび収縮フィルタを有して上記差分処理した画像から動物体領域の抽出に不要なノイズを除去するノイズ除去部と、ノイズ除去した差分画像を画面上の矩形の領域に領域化する処理を行う領域化処理部とを具備して構成される。この差分処理部、ノイズ除去部、領域化処理部の各機能構は既知であり（例えば特開２００８−２５０８９２参照）、ここではこれら各構成要素の詳細な説明を省略する。なお、検知処理部１４のノイズ除去部は、図２に、符号２５で示され、影除去候補抽出・影除去処理部１５の影除去候補抽出部および影除去処理部は、それぞれ図２に、符号１５ａおよび１５ｂで示されている。また検知処理部１４、影除去候補抽出・影除去処理部１５、および再領域化処理部１６はそれぞれ図２に同一符号で示されている。
【００２２】
影除去候補抽出・影除去処理部１５は、上記領域化された複数のフレームの画像を対象に、１つのフレームを基準フレーム、他の１つまたは２つのフレームを参照フレーム（差分対象フレーム）とし、参照フレームを参照して基準フレームの画素あたりの輝度低減率を算出する輝度低減率算出機能部と、輝度低減率を算出した画素について、同画素の輝度低減率が、設定した第１の減衰範囲にあるか否かを判定する第１の判定機能部と、第１の減衰範囲にあると判定した画素について、同画素の色情報各々の輝度低減率を算出し、色情報各々の輝度低減率が一様に、設定した第２の減衰範囲にあるとき、当該画素を影候補と判定する第２の判定機能部と、影候補の画素をもとに上記基準フレームの画像に対して影部分を除去する影除去処理機能部とを有する。上記輝度低減率算出機能部と第１の判定機能部と第２の判定機能部は図２に示す影除去候補抽出部１５ａを構成し、上記影除去処理機能部は図２に示す影除去処理部１５ｂを構成する。この影除去候補抽出・影除去処理部１５の構成並びに各処理動作については図面を参照して後述する。
【００２３】
再領域化処理部１６は、影除去候補抽出・影除去処理部１５の影除去処理機能部で影除去処理された画像に対して、再度、領域化処理を行う。この再領域化処理については図面を参照して後述する。
【００２４】
図１に示した画像処理部１３の基本的な動作の処理手順を図３にフローチャートで示している。
【００２５】
画像処理部１３の検知処理部１４は、キャプチャ処理後の前処理として、処理対象となる基準画像（赤、緑、青の色情報（Ｒ，Ｇ，Ｂ）をもつカラー画像）および参照画像（輝度伸張しない輝度画像）を用意する（図３ステップＳ１）。
【００２６】
影除去候補抽出・影除去処理部１５は、参照画像を参照して基準画像の画素あたりの輝度低減率を算出し、色情報（Ｒ，Ｇ，Ｂ）が、Ｙの輝度低減率と同じように低減している画素を影画素と判定し（図３ステップＳ２）、この判定結果に従い、影と判定した（影と見做した）画素（影画素）を基準画像から排除する（図３ステップＳ３）。
【００２７】
影画素を排除した領域に対して、ノイズを除去した（図３ステップＳ３）後、残された差分画像に対して再領域化を図る（図３ステップＳ４）。
【００２８】
図２に示した画像処理部１３の処理手順を図４にフローチャートで示している。
【００２９】
検知処理部１４による差分処理、ノイズ除去、および領域化処理（図４ステップＳ１１〜Ｓ１３）は、既に説明しているため、ここではこれらの処理について割愛する。
【００３０】
影除去処理に際し、影除去候補抽出・影除去処理部１５に対して、外部より、基準画像に対する差分間隔と対象枚数（１or２）が指定される。この差分間隔と対象枚数は参照画像バッファ２３に登録される。影除去候補抽出１５ａは、画像バッファメモリ２１から基準画像をリード（Ｒ）し、参照画像バッファ２３から参照画像をリードし処理結果メモリ２２から処理対象領域データをリードして、処理対象領域の各画素について影除去候補の抽出処理を開始する。この処理では、参照画像に対して輝度低減率と色類似度チェックを実施し、画素単位で影除去候補を抽出する（図４ステップＳ１４）。処理の高速化のため抽出領域は差分領域に限定する。影除去処理部１５ｂは、影除去候補から影除去差分二値化画像を作成し、ノイズ除去部２５でノイズ除去を実施した二値化画像をリライトし、再領域化処理部１６にて再度領域化処理を実行して最終結果とし（図４ステップＳ１５）、表示部１８に影除去処理した画像を表示する。
【００３１】
本発明の第１実施形態に係る画像処理装置の動作概念を図５に示している。この第１実施形態に係る画像処理装置は、動物体を対象とした検知処理システムまたは追跡処理システムに好適な影除去処理システムを実現している。
【００３２】
この第１実施形態は、輝度が低下し、色の割合変化が無い画素を影画素として扱うもので、１フレームの基準画像に対して、２フレームの差分対象画像を用いる。
【００３３】
影除去処理に際し、キャプチャ処理後に、前処理として、２Ｎフレーム前、Ｎフレーム前の入力画像（輝度伸張しない輝度画像）と、色画像（Ｒ，Ｇ，Ｂ）をもつ最新の入力画像を準備する。Ｎフレーム前の入力画像を基準画像とする。２Ｎフレーム前の入力画像と最新の入力画像を差分対象画像とする。
【００３４】
上記入力画像を利用して、基準画像の輝度が差分対象画像の輝度よりも小さいか否かをチェックし、小さい場合は色の差を求め、チェックする。
【００３５】
最新の入力画像と、Ｎフレーム前の入力画像、２Ｎフレーム前の入力画像との差分結果のいずれかで“影”と判定された（輝度が低下し、色が近似している）画素を“影画素”として基準画像から排除する。ここでは基準画像となるＮフレーム前の入力画像と差分対象画像となる２Ｎフレーム前の入力画像との差分結果で影と判定された画素を影候補１、基準画像となるＮフレーム前の入力画像と差分対象画像となる最新の入力画像との差分結果で影と判定された画素を影候補２として、そのいずれかの影候補により、影候補と判定された画素を基準画像から排除する。
【００３６】
この上記第１実施形態に係る影除去処理の手順を図６乃至図８にフローチャートで示している。また、当該影除去処理の処理手順における処理ステップＳ２７〜Ｓ２９の処理を実現する演算式を式（１）乃至式（５）で示している。なお、影除去感度パラメータ（Ｐａｒａｍ、判定閾値）は外部パラメータとする。また、図８に示しているフローチャートの各処理ステップは、後述する第２実施形態で援用している。
【数１】
2010204941.tif 000003
【００３７】
この影除去処理では、まず処理に必要な画像を確保するため画像ポインタ（基準画像はＮフレーム前の入力画像、差分対象画像は２Ｎフレーム前の入力画像と今回の最新の入力画像）をセットし（図６ステップＳ２１）、処理対象となる領域数を取得する（図６ステップＳ２２）。
【００３８】
領域数分ループし（図６ステップＳ２３，Ｓ２４）、領域データポインタをセットして、領域サイズ分の処理を領域数分実行する（図６ステップＳ２３〜図７ステップＳ３８）。
【００３９】
この処理では、注目画素が変化画素であるか否かをチェックし、注目画素が変化画素である場合、差分対象画像（ここでは２Ｎフレーム前の入力画像）の対応画素の輝度が最低輝度値より大きいことを条件に、処理範囲（ａ）に示す影候補画素の抽出処理（図６ステップＳ２６〜Ｓ３０）を実行する（図６ステップＳ２５）。注目画素が変化画素でない場合は、処理範囲（ａ）に示す影候補画素の抽出処理および処理範囲（ｂ）に示す影候補画素の抽出処理（図７ステップＳ３１〜Ｓ３５）を実行しない。
【００４０】
この影候補画素の抽出処理では、基準画像と差分対象画像の輝度低減率（dounRatio）を算出し、輝度低減率が影除去判定範囲内であるか否かをチェックする。ここでは、差分対象画像となる２Ｎフレーム前の入力画像の対応画素を対象に輝度低減率（dounRatio）を算出し、輝度低減率が影除去判定範囲内（パラメータ範囲内）であるか否かをチェックする（図６ステップＳ２６，Ｓ２７）。この輝度低減率（dounRatio）の演算式を［式（１）］に示し、パラメータの設定例を［式（２）］に示している。
【００４１】
輝度低減率が影除去判定範囲内である場合は、基準画像（Ｎフレーム前の入力画像）と差分対象画像（２Ｎフレーム前の入力画像）の色情報（Ｒ，Ｇ，Ｂ）それぞれの類似度差を算出し、色差閾値を算出して（図６ステップＳ２８ａ，Ｓ２８ｂ）、この類似度差が閾値以下であるとき、注目画素を影候補画素１として登録する（図６ステップＳ２９，Ｓ３０）。また輝度低減率が影除去判定範囲外である場合は、上記した影候補画素１の抽出処理（図６ステップＳ２８ａ〜Ｓ３０）を実行しない。類似度差が閾値以下でない場合も上記した影候補画素１の抽出処理（図６ステップＳ２８ａ〜Ｓ３０）を実行しない。
【００４２】
上記した図６ステップＳ２８ａにおける類似度差の算出式を［式（３）］に示し、図６ステップＳ２８ｂにおける閾値の設定例を［式（４）］と、図１１に示している。ここでは、輝度の減衰率が大きい（図１１に示す０％に近い）とき（輝度値が極端に低いとき）、色情報（Ｒ，Ｇ，Ｂ）が欠落傾向にあることから、図１１に示すように、輝度の減衰率が大きくなる程（０％に近づく程）、影除去判定範囲を拡げるように、閾値に傾斜をもたせている。また、図６ステップＳ２９における影候補の判定式を［式（５）］に示している（Ｉ＝０；影）。
【００４３】
つづいて、差分対象画像（ここでは現在（最新）フレームの入力画像）の対応画素の輝度が最低輝度値より大きいことを条件に、基準画像と差分対象画像（現在の入力画像）の輝度低減率を算出し、輝度低減率が影除去判定範囲内（パラメータ範囲内）であるか否かをチェックする（図７ステップＳ３１，Ｓ３２）。
【００４４】
影除去判定範囲内である場合は、基準画像（Ｎフレーム前の入力画像）と差分対象画像（現在の入力画像）の色情報（Ｒ，Ｇ，Ｂ）それぞれの類似度差を算出し、色差閾値を算出して（図７ステップＳ３３ａ，Ｓ３３ｂ）、この類似度差が閾値以下であるとき、注目画素を影候補画素２として登録する（図７ステップＳ３４，Ｓ３５）。また輝度低減率が影除去判定範囲外である場合は、影候補画素２の抽出処理（図７ステップＳ３３ａ〜Ｓ３５）を実行しない。類似度差が閾値以下でない場合も上記した影候補画素２の抽出処理（図７ステップＳ３５）を実行しない。
【００４５】
上記候補画素１，２の抽出処理において、そのいずれかの処理で影候補画素が判定された場合、その判定された影候補画素を影画素（影の画素）として確定する（図７ステップＳ３６，Ｓ３７）。
【００４６】
上記した処理を領域サイズ分実行した後、上記処理によって作成された変化画素に対してノイズ除去処理を実施し（図７ステップＳ３８，Ｓ３９）、これらの処理を領域数分繰り返し実行した後、上記処理によって完成した差分画像をコピーし、不要領域を解放する（図８ステップＳ４１，Ｓ４２）。
【００４７】
上記した影画素の除去処理後における領域の再構成処理手順を図９および図１０にフローチャートで示している。
【００４８】
この領域の再構成処理では、領域の再構成処理対象となる現在画像要素番号を取得し、ラベル画像をセットして、領域数を取得する（図９ステップＳ５１，Ｓ５２）。
【００４９】
領域数分ループし、以下の領域再構成処理を実施する（図９ステップＳ３〜図１０ステップＳ６３）。領域再構成処理では、処理対象領域に対してラベリング処理を実施する（図９ステップＳ５４）。ここでは、処理対象領域の領域サイズ（幅、高さ）を算出し、ラベル画像ポインタをセットした後、ラベリング処理（エリア限定）を実行する。
【００５０】
このラベリング処理にてラベリングに成功した場合は、以下の領域再構成処理（図９ステップＳ５６〜図１０ステップＳ６２）を実行する。この処理では、領域化処理を実施し、この処理で再構成された領域に対し、近傍領域の結合処理を実施する（図９ステップＳ５６，Ｓ５７）。つづいて、極端に小さい不要領域（小領域）、および極端に大きい不要領域（大領域）をそれぞれ順に削除する（図９ステップＳ５８，Ｓ５９）。上記した再領域化処理による再領域化後のラベル数をチェックし、ラベルが１つ以上存在する場合は、領域（領域データ）の格納処理を実施し、ラベルが存在しない場合は、領域（領域データ）の削除処理を実施する（図１０ステップＳ６０〜Ｓ６１／Ｓ６２）。
【００５１】
この再領域化処理を領域数分実行する。
【００５２】
上記した第１実施形態によれば、背景テクスチャを用いることなく、処理負荷を極力抑えて、時間差をもつ画像の色情報（Ｒ，Ｇ，Ｂ）と輝度（Ｙ）の特徴量を利用した影除去アルゴリズムを構築したことにより、構成を簡素にして汎用性並びに信頼性の高い影除去処理を実施できる。
【００５３】
本発明の第２実施形態に係る画像処理装置の動作概念を図１２に示している。この第２実施形態に係る画像処理装置は、上記した第１実施形態が動物体を対象とした検知処理システムまたは追跡処理システムに適しているのに対して、動きのない（存在する／存在しない）停止物を対象とした検知処理システムまたは追跡処理システムに用いて好適する。
【００５４】
この第２実施形態は、輝度が低下し、色の割合変化が無い画素を影画素として扱うもので、１フレームの基準画像と、１フレームの差分対象画像を用いる。
【００５５】
この第２実施形態は、影除去処理に際し、キャプチャ処理後に、前処理として、Ｎフレーム前の入力画像と、現在入力画像（最新の入力画像）を準備する。Ｎフレーム前の入力画像を基準画像とし、現在入力画像を差分対象画像として影画素処理を実施した後、現在入力画像を基準画像とし、Ｎフレーム前の入力画像を差分対象画像として影画素処理を実施する。
【００５６】
Ｎフレーム前の入力画像を基準画像、現在入力画像を差分対象画像とした差分結果と、現在入力画像を基準画像、Ｎフレーム前の入力画像を差分対象画像とした差分結果とのいずれかで“影”と判定された画素を“影画素”として、もともとの基準画像であるＮフレーム前の入力画像から影画素を排除する。
【００５７】
この上記第２実施形態に係る影除去処理の手順を図１３および図１４と図８にフローチャートで示している。なお、図８は上記した第１実施形態と援用している。この第２実施形態は、Ｎフレーム前の入力画像を基準画像とし、現在入力画像を差分対象画像として影画素処理を実施した後、差分をとるための画像が入れ替わることを除いて、上記した第１実施形態の処理動作と同様である。
【００５８】
この第２実施形態に係る影除去処理では、まず処理に必要な画像を確保するため画像ポインタ（基準画像はＮフレーム前の入力画像、差分対象画像は現在の最新の入力画像）をセットし（図１３ステップＳ７１）、処理対象となる領域数を取得する（図１３ステップＳ７２）。
【００５９】
領域数分ループし（図１３ステップＳ７３，Ｓ７４）、領域データポインタをセットして、領域サイズ分の処理を領域数分実行する（図１３ステップＳ７３〜図１４ステップＳ８８）。
【００６０】
この処理では、注目画素が変化画素であるか否かをチェックし、注目画素が変化画素である場合、差分対象画像（ここでは現在入力画像）の対応画素の輝度が最低輝度値より大きいことを条件に、処理範囲（ｃ）に示す影候補画素の抽出処理（図１３ステップＳ７６〜Ｓ８０）を実行する（図１３ステップＳ７５）。注目画素が変化画素でない場合は、処理範囲（ｃ）に示す影候補画素の抽出処理および処理範囲（ｄ）に示す影候補画素の抽出処理（図１４ステップＳ８１〜Ｓ８５）を実行しない。
【００６１】
この影候補画素の抽出処理では、基準画像と差分対象画像の輝度低減率（dounRatio）を算出し、輝度低減率が影除去判定範囲内であるか否かをチェックする。ここでは、差分対象画像となる２Ｎフレーム前の入力画像の対応画素を対象に輝度低減率を算出し、輝度低減率が影除去判定範囲内（パラメータ範囲内）であるか否かをチェックする（図１３ステップＳ７６，Ｓ７７）。
【００６２】
輝度低減率が影除去判定範囲内である場合は、基準画像（Ｎフレーム前の入力画像）と差分対象画像（現在入力画像）の色情報（Ｒ，Ｇ，Ｂ）それぞれの類似度差を算出し、色差閾値を算出して（図１３ステップＳ７８ａ，Ｓ７８ｂ）、この類似度差が閾値以下であるとき、注目画素を影候補画素１として登録する（図１３ステップＳ７９，Ｓ８０）。また輝度低減率が影除去判定範囲外である場合は、上記した影候補画素１の抽出処理（図１３ステップＳ７８ａ〜Ｓ８０）を実行しない。類似度差が閾値以下でない場合も上記した影候補画素１の抽出処理（図１３ステップＳ８０）を実行しない。
【００６３】
次に、現在入力画像を基準画像、Ｎフレーム前の入力画像を差分対象画像として、上記同様の差分処理（図１４ステップＳ８１〜Ｓ８５）を実行する。この処理では、差分対象画像（ここではＮフレーム前の入力画像）の対応画素の輝度が最低輝度値より大きいことを条件に、基準画像と差分対象画像の輝度低減率を算出し、輝度低減率が影除去判定範囲内（パラメータ範囲内）であるか否かをチェックする（図１４ステップＳ８１，Ｓ８２）。
【００６４】
影除去判定範囲内である場合は、基準画像（現在入力画像）と差分対象画像（Ｎフレーム前の入力画像）の色情報（Ｒ，Ｇ，Ｂ）それぞれの類似度差を算出し、色差閾値を算出して（図１４ステップＳ８３ａ，Ｓ８３ｂ）、この類似度差が閾値以下であるとき、注目画素を影候補画素２として登録する（図１４ステップＳ８４，Ｓ８５）。また輝度低減率が影除去判定範囲外である場合は、影候補画素２の抽出処理（図１４ステップＳ８３ａ〜Ｓ８５）を実行しない。類似度差が閾値以下でない場合も上記した影候補画素２の抽出処理（図１４ステップＳ８５）を実行しない。
【００６５】
上記候補画素１，２の抽出処理において、そのいずれかの処理で影候補画素が判定された場合、その判定された影候補画素を影画素（影の画素）として確定する（図１４ステップＳ８６，Ｓ８７）。
【００６６】
上記した処理を領域サイズ分実行した後、上記処理によって作成された変化画素に対してノイズ除去処理を実施し（図１４ステップＳ８８，Ｓ８９）、これらの処理を領域数分繰り返し実行した後、上記処理によって完成した差分画像をコピーし、不要領域を解放する（図８ステップＳ９１，Ｓ９２）。
【００６７】
上記した第２実施形態によれば、背景テクスチャを用いることなく、処理負荷を極力抑えて、時間差をもつ画像の色情報（Ｒ，Ｇ，Ｂ）と輝度（Ｙ）の特徴量を利用した影除去アルゴリズムを構築したことにより、構成を簡素にして汎用性並びに信頼性の高い影除去処理を実施できる。この第２実施形態に係る画像処理装置は、動きのない（存在する／存在しない）停止物を対象とした検知処理システムまたは追跡処理システムに用いて好適な影除去機能を実現できる。上記した影除去候補抽出処理および影除去処理部の機能はプログラム単体で提供可能である。
【符号の説明】
【００６８】
１１…カメラ、１２…キャプチャ部、１３…画像処理部、１４…検知処理部、１５…影除去候補抽出・影除去処理部、１６…再領域化処理部、２１…画像バッファメモリ、２２…処理結果メモリ、２３…参照画像バッファ、２４…影除去候補バッファ、２５…ノイズ除去部。
【図１】
2010204941.tif 000004
【図２】
2010204941.tif 000005
【図３】
2010204941.tif 000006
【図４】
2010204941.tif 000007
【図５】
2010204941.tif 000008
【図６】
2010204941.tif 000009
【図７】
2010204941.tif 000010
【図８】
2010204941.tif 000011
【図９】
2010204941.tif 000012
【図１０】
2010204941.tif 000013
【図１１】
2010204941.tif 000014
【図１２】
2010204941.tif 000015
【図１３】
2010204941.tif 000016
【図１４】
2010204941.tif 000017