(57)【要約】【課題】携帯可能なITC端末システムの扱いやすい入力手段としてジェスチャー入力がある。これを屋内外で使え、かつ、小規模な単眼カメラで行うための手法に関する。このような方法としては背景と前景の分離を行う特徴量を抽出し、これ等の特徴量に応じた背景モデルを構築して入力特徴量と背景モデルの差で判断する方法が知られているが、影を除去するために画像強調を前処理に使う必要がある。しかし、この画像強調に多大な演算量を要する。これは、ITC端末が高消費電力で小型化しにくいことを意味しており、携帯端末、とりわけウェアラブル端末への応用を阻害する。【解決手段】１フレーム入力画像より、変換領域特徴量と色平均特徴量を準備し、背景の特徴に応じて変換領域と色平均特徴量を切り替えることで、演算量の重い画像強調前処理と同等な影除去が可能となる環境を作る。【選択図】図１
2015125513.tif 000002
【特許請求の範囲】
【請求項１】
カメラからの入力フレームを小領域に分割し、分割領域ごとにカラー信号から強度信号に変換した後、小領域内の画素に対して逆変換を持つ線形変換を行って得られる変換領域スペクトルを組み合わせて複数個の変換成分信号を要素とした第1の特徴量候補とするステップと、小領域内での色成分を平均化した色平均成分信号を要素とした第2の特徴量候補とするステップと第1または第2のステップのどちらかの特徴量候補を前景分離特徴量とするステップと、前景分離特徴量の各要素の確率的な変動に合わせて典型的な確率分布でモデル化しながら前景分離特徴量との比較により中間前景小領域を検出するステップと、前景分離特徴量と各前景分離特徴量要素の背景確率分布の平均値と分散により背景が影になった領域を特定して排除し, 真正前景領域を得るステップからなる真正前景を抽出することを特徴とする画像処理方法、画像処理装置およびプログラム。
【請求項２】
外部からコントラストの激しい背景かコントラストの小さい背景かの指示を与え、第1の特徴量候補を選択するのはコントラストの激しい場合、第2の特徴量候補を選択するのはコントラストの小さい場合に応じて第1又は第2の特徴量候補から前景分離特徴量を選択することを特徴とする請求項1記載の画像処理方法、画像処理装置およびプログラム。
【請求項３】
前景分離特徴量をモデル化する確率分布を複数の典型的な確率分布で近似し、前景をモデル化している典型的確率分布と背景をモデル化する典型的確率分布に区別して用い、前景をモデル化している複数の典型的確率分布のうちの1つが背景の典型的確率分布に変化する時点で、前景分離特徴量は第1及び第2の特徴量候補の最小要素の値を比較し、最小要素の値が大きい特徴量候補を選択して次のフレーム処理から利用するとともに、これまでの特徴量候補を異なった特徴量候補に切り替える場合は構築した確率分布を全て消去するか、第1の特徴量候補用確率分布と第2の特徴量候補用確率分布を保持する領域を切り替えることで外部からの指示なしに第1の特徴量候補と第2の特徴候補のどちらか一方前景分離特徴量とするように設定することを特徴とする請求項１記載の画像処理方法、画像処理装置およびプログラム。
【請求項４】
分割領域ごとに行う線形変換をDCT（Discrete Cosine Transform）もしくはWalsh変換で行い、その結果の強度平均成分信号、横方向の低域スペクトルを複数個集めた横方向変換領域成分信号、および縦方向の低域スペクトルを複数個集めた縦方向変換領域成分信号の3個の変換領域成分信号を用いて第1の特徴量候補とし、分割領域ごとに行う色の平均成分を色の3原色に起因した3個の色平均成分信号を用いて第2の特徴量候補とすることを特徴とする請求項１記載の画像処理方法、画像処理装置およびプログラム。
【請求項５】
フレーム画像をオーバラップしない小領域にまず分割し、次いでメッシュ状に並んだ小領域の縦横ともに複数倍ずつ拡大して先に分割した小領域を複数個含む拡大小領域で画面を覆う分割操作を行い、この拡大小領域を作成する分割を複数回繰り返すことで多重分割するステップと、各多重分割された各々の小領域で中間前景分離までを行うステップと、小さい領域分割部の中間前景分離から影除去を行なって影なし前景領域とするステップと影なし最小前景領域であって、この影なし最小前景小領域を包含する全ての拡大領域が影なし前景領域または中間前景小領域であるものを真正前景小領域することで最終的な真正前景分離を行う請求項１記載の画像処理方法、画像処理装置およびプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法、画像処理装置、およびプログラムに関する。本発明は特に、画像を用いた影に反応しない監視装置やジェスチャー入力システムに属する。つまり、屋内外環境で撮影した映像中の動く領域のうち、実体のない影を除外した領域を抽出して用いる画像処理方法、画像処理装置およびプログラムに関する。
【背景技術】
【０００２】
映像による監視やジェスチャー入力システムは影が障害になることが多い。システムにとっては影を実体のある入力対象と誤解するためである。人のジェスチャー入力を対象にした装置では、すでにマイクロソフト社は自社のゲーム機器のジェスチャー入力システムとして赤外線カメラを用いたKinectを販売している。これは赤外線カメラによる対象物の温度を感じて人物抽出しており、影による背景上の動く領域は体温より低い。このため、赤外線カメラは影に反応しない。よって、影はジェスチャーには含まれないようにできる。ただし、熱源や赤外線の多い場所での使用は考慮されていない。このため、Kinectでは屋外は使えず、窓際では使用しないように注意書きがある。また、屋内でも熱源がある台所やペット動物が室内にいないことも重要である。よって、Kinectでは影の影響を赤外線カメラで除去しているものの、利用できない環境も多い。
【０００３】
映像中の動きのある部分と動かない部分を区別して動きのある部分を抽出する技術は前景分離と言われ、監視カメラなどに使われている。単眼カメラを用いて実現できるのでウェアラブル装置などの小型のジェスチャー入力システムに向いている。しかし、映像中に動きのあるものは検出したい前景とともに、前景物体により背景に投影された影領域もある。シルエット認識や、ジェスチャー入力を行うためには影を消す必要がある。従来は前景分離と影除去は独立した技術として扱うことが多く、前景分離も影除去も多大な演算量が必要になる。しかし、前景分離に用いるパラメータを有効活用することで影除去の演算量を大幅に軽減する方法が近年登場している。この方法の詳細はT.Shiota と T.Nishitani等による 先行技術文献”Transform Domain Shadow Removal for Foreground Silhouette”, （IEICE Trans. Vol. E96-A. No.3, pp667-674, March 2013. ）に詳しい。
【０００４】
T.Shiota等の方法は前景分離に用いるパラメータを影除去に活用するため、彼らの用いている前景分離の方法から以下に述べる。なお、以降では影を含まない前景領域を真正前景領域、影を含んだ従来の前景と呼ばれる領域を中間前景領域として述べる。
【０００５】
T.Shiota等の方法は中間前景分離としてカメラからの動画像の1枚ずつのフレーム画像を小さな領域に分割し、この分割した小領域毎に中間前景か背景かを判断する技術に基づいている。判断する方法は「変換領域における混合ガウスモデルを用いた中間前景分離」（H.Tezuka and T.Nishitani, ”Multiresolutional Gaussian Mixture Model for Precise and Stable Foreground Segmentation in Trasform Domain”（IEICE Trans. Fundamentals, Vol.E92-A, No.3, pp.772-778, March 2009）を用いる。この方法は、中間前景分離を行う特徴量として、まず、分割小領域毎の画素信号をRGBカラー信号から一度白黒テレビの信号に相当する輝度（以下Yと略す)信号へ変換する。その後でY信号の小領域を2次元Walsh直交変換し、変換スペクトル係数から領域内のY信号の平均となる最低スペクトル信号と、縦方向の低スペクトル係数３個を重み付け加算したスペクトルバンド信号と、同じく横方向の低スペクトル係数３個を重み付け加算したスペクトルバンド信号の3個の変換領域信号を用いる。つまり、前景と背景の差を領域中に含まれる模様で判断する。この3個の要素を持つ特徴量は時々刻々変動するとして、要素毎に複数のガウス分布により構成される複合確率分布で表現する。
【０００６】
つまり、小領域を特徴づける特徴量とフレームごとに変化する特徴量の要素の変動を複数のガウス分布の生起確率で表したものとを比較する。複数あるガウス分布は後に述べる方法で予め背景ガウス分布と中間前景ガウス分布に分けられており、一つの特徴量の要素でも中間前景ガウス分布に包含されたら前景とする。ここでガウス分布に含まれるという表現は、あるガウス分布が平均μと分散σ^２を持つ時、このガウス分布に従う事象は平均μの周りの±３σ以内に起こる確率が99.8％となることから来ている。ここでσ^2はσの二乗を表すものである。
【０００７】
その後、次のフレーム画像を処理する準備として、特徴量の要素を含むガウス分布はより精度が上がるように平均と分散を更新する。また、そのガウス分布がどの程度の頻度で使われるかを示す重み係数は特徴量の要素を含むかどうかに従って大きさを増減する。この結果、背景は長時間現れているため、大きな重み係数を持つものは背景を示すガウス分布とし、小さな重み係数を持つものを前景ガウス分布に分ける。
【０００８】
T.Shiota等は前景分離に用いた背景ガウス分布を影除去に活用することを提案し、影除去に関しては従来法の１桁以下の演算量でよい方法を導いている。この方法では、影による中間前景は、本来はある背景ガウス分布に属していた特徴量要素であるが、影の影響でその背景ガウス分布から逸脱した結果と考える。また、特徴量の各要素は影により一様に小さくなる。よって、ある特徴量要素の減衰量が推定できると、その逆数を他の特徴要素に乗じることで、本来あるべき背景ガウスモデルに戻る。このことで影領域を見つけ中間前景領域から除く。
【０００９】
この影除去の方法は本発明の原理にもなるので、詳しく述べる。まず、減衰量を推定するには特徴量として画像データに関しては大きな値を示す最低変換スペクトル（以下f(DC)と略す）とその要素の動きを近似する役割を担った背景ガウス分布の平均から求める。ｆ(DC)を本来含むべき背景ガウス分布の平均をμDCとして、μDCからf(DC)がどれほど減衰するかを計算する。複数の背景ガウス分布があるので、それ等全てが本来特徴量要素を包含するガウス分布である可能性を考えて繰り返し処理する。
【００１０】
減衰量が求まった後、影領域を見つける方法は図8に模式的に描いている。図8は影領域検出の原理グラフ8、f(DC)の影領域グラフ801、他の特徴量要素グラフ802、影検証グラフ803から構成されている。3個のグラフはともに、横軸に特徴量要素のダイナミックレンジ内の大きさを示し、右に行くほど大きい値となる。また、縦軸はガウス分布の発生確率を示している。曲線で上に盛り上がったものは背景ガウス分布である。また、グラフに書かれた矢印は特徴量要素の値を横軸上に示すものである。ここで、図8を見やすくするため、f(DC)やf(AC)などの括弧内の変数は添え字で記している。
【００１１】
f(DC)の影領域グラフ801は影により前景となる例を示しており、特徴量f(DC)の要素は影の影響で本来包含されるべき背景ガウス分布から逸脱している。グラフの右上にAと記した量はこの場合の減衰量の逆数を示している。他の特徴量要素グラフ802はf(DC)とは異なる特徴量要素（以下f(AC)と記す）の状況を示すもので、f(AC)も影の影響で一様に減衰する。影検証グラフ803 では影領域となる検証を行う原理を示すグラフで、f(AC)に減衰量の逆数を乗じた結果を示している。つまり、修正されたf(AC)は本来包含されるべき背景ガウス分布内に戻る。よって、修正されたf(AC)がガウス分布に包含されるようになればf(DC)とf(AC)は一様に減衰していると考えて良く、影領域であると決定する。
【００１２】
この方法では影除去用の特徴量をわざわざ作らなくても、すでに算出した中間前景分離特徴量と背景ガウス分布がそのまま使える。また、影領域の検査は前景となった領域のうち、f(DC)が背景ガウスの平均より小さい方向に逸脱したものだけをチェックすればよい。このため、従来の前景分離と独立して実行する影除去に対して1桁以上の演算量低減が可能になる。
【００１３】
この先行技術文献によれば、この方法は屋外で使っている限り問題はなかった。しかし、屋内で使うようになると一旦得られた中間前景をことごとく影として消去する問題があることも述べている。この問題を解決するためには、前景分離を行う前にカメラからの入力画像自体を画像強調する。ただし、この画像強調は人の網膜と大脳皮質の反応を考慮したレティネックス画像強調処理であれば良いとしている。高い周波数成分を強調する性質があるためである。レティネックス画像強調を導入する効果はT.Shiota等の先行技術文献の671頁記載のFig.7と678頁記載のFig.8から引用した図9で示すことができる。図9は屋内環境下での変換領域真正前景分離を得る過程の写真9、廊下でのテストフレーム画像写真901、影除去前の中間前景分離結果写真902、影除去を施した処理結果写真903、レティネックス画像強調前処理回路の導入結果写真904である。このうち、テストフレーム画像写真901はグレー写真であるが、これを特許図面の都合上2値化したものであり、その他の写真は前景と判断された領域を白、背景と判断された領域を黒で表している。
【００１４】
影除去前の中間前景分離結果写真902は影により多少変形した中間前景が得られている。しかし、影除去を施した処理結果写真903では輪郭部以外は影と誤判定して削除されている。これに対し、レティネックス画像強調前処理回路の導入結果写真904では正しく影除去が行われている。影除去前の中間前景分離結果写真902の中間前景分離の処理画像では左肩後方にある影によりシルエットが盛り上がったものになっているが、レティネックス画像強調前処理回路の導入結果写真904ではこの影部分を消去でき、廊下でのテストフレーム画像写真901に対応するシルエットが入手できている。
【００１５】
レティネックス画像強調を導入すると良くなる理由は、T.Shiota等の説明では以下の通りである。飾りの少ない学校の廊下や壁だけの部屋などでは細かい模様は少ない。画像を小さな領域分割して変換係数を求める状況下では高いスペクトル係数成分が殆どなくなる。つまり、前景分離特徴量の要素となる縦または横スペクトルバンド信号成分が小さくなり、この変動に対して構築される横および縦方向の背景ガウス分布は平均がゼロ近くになる。特に、その包含領域にゼロを含む状況も起こりやすい。この状況で無地の黒いTシャツを着た人物が前景として現れると、人物の横方向と縦方向のスペクトルバンド信号はほぼゼロになる。ここで、平均スペクトル信号成分f(DC)は背景となる壁や廊下の輝度値と比べ光の吸収性の富んだ黒い服により、充分に小さくなる。つまり、前景になる。また、平均スペクトル信号f(DC)が背景ガウス分布の平均μ(DC)より小さくなるから影候補にもなる。平均スペクトル信号f(DC)から減衰量を求めるところまでは良いが、対応するスペクトルバンド成分信号f(AC)はもともと無地の黒いＴシャツから撮った映像のためゼロである。これに減衰量の逆数を乗じても、ゼロのままで背景ガウス分布に包含された状況のままとなる。つまり、背景ガウスの包含領域から脱却できない。よって、この場合は影と判断される。このため、本当の前景領域であっても除去される状況が発生する。このような状況は一般家庭でも容易に起こる。部屋内にある模様の少ない家具や壁が背景となる場合などである。
【００１６】
この状況を救うのがレティネックス画像強調である。レティネックスフィルタは高周波成分を強調する性質が強い。このため、f(AC)の背景ガウス分布の平均は高くなる。つまり、背景ガウス分布の平均がゼロ近辺より高い領域にシフトする。背景ガウス分布の平均をゼロから遠ざけるほど、入力が黒一色のTシャツなどを着ていてゼロに近いf(AC)となっても、背景ガウス分布は０を包含領域に含んでいない。よって、影かどうかを判定しやすくなる。
【００１７】
問題はレティネックス画像強調を導入すると演算量がきわめて大きくなることである。この方法では画像から画像の平均成分を引き去ることでコントラスト成分を得て、コントラスト成分を強調する。ここに網膜や大脳皮質の反応を取り込んで平均信号を得るための演算量は極めて大きく、１画素あたり43演算（T. Okuno and T.Nishitani, ”Efficient Image Enhancement Algorithm Using Multi-Rate Image Processing”, IEICE Trans. Fundamentals, Vol. E-93A, No.5 pp.958-965, May 2010.）必要となる。これは、HDTVを対象にすると、このフィルタ演算を行うだけで、デスクトップPC並みの演算能力が必要となる。この演算量は多くの従来法の影除去法において最初に行う色空間変換、特に色相環や彩度を求める変換を含む演算とほぼ同程度である。ただし、従来法の影除去は色空間に移してからが本当の処理になるので莫大な演算量が必要であることには変わりない。つまり、T.Shiota等の影除去の方法は影除去本体の処理では大幅な演算量を削減できたが、その代償としてレティネックス画像強調を導入しなければならず、全体としては従来行われていた影除去の演算量と比べると、T.Shiota等の方法は圧倒的というほどの優位性はない。
【先行技術文献】
【非特許文献】
【００１８】
【非特許文献１】T.Shiota and T.Nishitani, ”Transform Domain Shadow Removal for Foreground Silhouette”, IEICE Trans. Vol. E96-A. No.3, pp667-674, March 2013.
【発明の概要】
【発明が解決しようとする課題】
【００１９】
本発明の課題は屋内環境での真正前景分離を行うに当たり、大量の演算量を必要とするレティネックス画像強調を排除することである。
【課題を解決するための手段】
【００２０】
本発明者らは、上記課題を解消することを目的として以下の各発明を提供する。
【００２１】
１．カメラからの入力フレームを小領域に分割し、分割領域ごとにカラー信号から強度信号に移した後、小領域内の画素に対して逆変換を持つ線形変換を行って得られる変換領域スペクトルを組み合わせて複数個の変換成分信号を要素とした第1の特徴量候補とするステップと、小領域内での色成分を平均化した色平均成分信号を要素とした第2の特徴量候補とするステップと第1または第2のステップのどちらかの特徴量候補を前景分離特徴量とするステップと、前景分離特徴量の各要素の確率的な変動に合わせて典型的な確率分布でモデル化しながら前景分離特徴量との比較により中間前景小領域を検出するステップと、前景分離特徴量と各前景分離特徴量要素の背景確率分布の平均値と分散により背景が影になった領域を特定して排除し, 真正前景領域を得るステップからなる真正前景を抽出することを特徴とする画像処理方法、画像処理装置、およびプログラムである。
【００２２】
この方法では、小領域毎の輝度変換した後に、この小領域全体に亘る逆変換を持つような線形変換を行ったスペクトル信号を第1の特徴量候補とし、線形変換を行う前のカラー信号を第2の特徴量候補にしている。逆変換を持つような変換を用いる理由は変換前後の性質が大幅に異なることから来ている。つまり、逆変換を持つ変換行列では、単位行列を例外として、変換行列には非ゼロ要素が多く含まれる。ここに、ゼロ要素の多い入力信号を加えると、多くのゼロでないスペクトルを持つものになる。また、その逆も正しい。つまり、変換領域のスペクトル信号が多くのゼロを持つ場合は、基になる信号は非ゼロ要素を持つことになる。このため、図9の影除去を施した処理結果画像903は変換領域での特徴量要素がf(DC)のみが有意な値しかもたなかったことから来ているが、変換前の信号を要素として持つ特徴量を使えば各要素ともゼロ近辺の値を持たない。よって第1の特徴量候補ではゼロ近辺に平均を持つ背景ガウス分布を構築する場合であっても、第2の特徴量候補を用いるとその背景確率分布の平均はゼロから遠ざかったところに来る。つまり、正しく影除去ができる。よって、レティネックス画像強調は不要になる。大量の計算を要するレティネックス画像強調と同じ効果が特徴量を切り替えるだけで得られる。また、カラー成分ごとの平均を求める演算は各色の画素ごとに換算すると１演算でよい。レティネックス画像強調ではフィルタだけで1画素当たり43演算で、レティネックス画像強調で必要なそれ以外の処理を同程度としても、特徴量の切り替え法ではこの画像強調の必要とする演算量のわずか５％以下の演算量で同様の処理を行えることになる。
【００２３】
２．外部からコントラストの激しい背景かコントラストの小さい背景かの指示を与え、第1の特徴量候補を選択するのはコントラストの激しい場合、第2の特徴量候補を選択するのはコントラストの小さい場合に応じて第1又は第2の特徴量候補から前景分離特徴量を選択することを特徴とする請求項1記載の画像処理方法およびプログラムである。
【００２４】
ここで用いたコントラストという言葉は入力画像信号から平均信号分を引き去った成分のことで、コントラストが激しいとは画面全体にエッジや模様の多い場合である。T.Shiota等の言う屋外、屋内と対応させると、屋外はコントラストが大きく、屋内は相対的にコントラストが低い状態である。この場合は、変換領域の特徴量候補を計算するのか、色成分の特徴量を計算するのかの決定を外部から決める。よって、屋内応用では第2の特徴量候補を用意するだけであり、レティネックス画像強調が全く不要になり、直交変換の演算量も不要になる。
【００２５】
３．前景分離特徴量をモデル化する確率分布を複数の典型的な確率分布で近似し、前景をモデル化している典型的確率分布と背景をモデル化する典型的確率分布に区別して用い、前景をモデル化している複数の典型的確率分布のうちの1つが背景の典型的確率分布に変化する時点で、前景分離特徴量は第1及び第2の特徴量候補の最小要素の値を比較し、最小要素の値が大きい特徴量候補を選択して次のフレーム処理から利用するとともに、これまでの特徴量候補を異なった特徴量候補に切り替える場合は構築した確率分布を全て消去するか、第1の特徴量候補用確率分布と第2の特徴量候補用確率分布を保持する領域を切り替えることで外部からの指示なしに第1の特徴量候補と第2の特徴候補のどちらか一方前景分離特徴量とするように設定することを特徴とする上記１記載の手段で実現する画像処理方法、画像処理装置、およびプログラムである。
【００２６】
前景分離特徴量をモデル化するのに複数の典型的な確率分布を使う方法はガウス分布を用いることが多いがLaplace分布など他の分布であってもよい。以下では複数ある典型的確率分布を背景確率分布と前景確率分布に分けて使うことと、前景確率分布が背景確率分布のクラスに入る理由は以下の通りである。
【００２７】
複数の確率分布を用いる場合では、各々の確率分布は全事象が起こると各々が確率1になるため、このままではモデル化した確率分布の全事象に対する確率が１の複数倍になる。よって、全ての典型的分布に対して、使われる頻度に応じた重みを与え、重みの合計が常に１になるように正規化している。中間前景分離ではこれを特徴量の変化に応じてモデル化した確率分布を時々刻々修正する。このため、重みの大小で背景担当の複数の確率分布と前景担当の複数の確率分布の区別を行う。この時、カメラ視野に移動してきた前景が一定場所に留まる場合はこの場所に対する小領域前景確率分布が使われる確率が高まり、重み係数が増加する。このため、この前景確率分布は背景の役割に変わる。監視などの場合には走行中の自動車が停車するような場合である。この時点で第1の特徴量候補と第2の特徴量候補を切り替えが起こる可能性がある。２つの特徴量候補のうち、最小の値を持つ要素の値同志を比較し、最小値が大きい方を前景分離特徴量に選択する。これから背景確率分布を前景分離特徴量に応じて構築することになるためで、背景ガウス分布の平均を少しでもゼロより離すためである。この時点でこれまでの特徴量候補と新しい特徴量候補が異なる場合は、これまで構築してきた背景確率分布を消去するか、別メモリに退避することで新しい特徴量候補に対する背景確率分布を構築する準備を行う必要が生じる。
【００２８】
４．分割領域ごとに行う線形変換をDCT（Discrete Cosine Transform）もしくはWalsh変換で行い、その結果の強度平均成分信号、横方向の低域スペクトルを複数個集めた横方向変換領域成分信号、および縦方向の低域スペクトルを複数個集めた縦方向変換領域成分信号の3個の変換領域成分信号を用いて第1の特徴量候補とし、分割領域ごとに行う色の平均成分を色の3原色に起因した3個の色平均成分信号を用いて第2の特徴量候補とすることを特徴とする上記１記載の手段で実現する画像処理方法、画像処理装置、およびプログラムである。
【００２９】
変換領域の特徴量候補の要素数を色の3原色に合わせた色平均の特徴量候補要素数である3個に合わせたため、特徴量から前景分離を完了するまでの処理は全く同じ演算量となる。つまり、特徴量を変えても中間前景分離で必要な演算量は変わらない。また、色の3原色に起因した表色系はRGB以外にも種々のものが提案されており、それらのいずれでもよい。
【００３０】
５．フレーム画像をオーバラップしない小領域にまず分割し、次いでメッシュ状に並んだ小領域の縦横ともに複数倍ずつ拡大して先に分割した小領域を複数個含む拡大小領域で画面を覆う分割操作を行い、この拡大小領域を作成する分割を複数回繰り返すことで多重分割するステップと、各多重分割された各々の小領域で中間前景分離までを行うステップと、小さい領域分割部の中間前景分離から影除去を行なって影なし前景領域とするステップと影なし最小前景領域であって、この影なし最小前景小領域を包含する全ての拡大領域が影なし前景領域または中間前景小領域であるものを真正前景小領域することで最終的な真正前景分離を行う上記１の画像処理方法、画像処理装置、およびプログラムである。
【００３１】
この方法は前景分離特徴量として色平均を用いる場合もあり、屋外では模様を用いた場合より安定性が弱い。屋外でも色平均特徴量を用いたほうが影除去には適する場合も発生するため、色平均特徴量の安定性を増加させるために多重解像度処理を導入している。
【発明の効果】
【００３２】
本発明の画像入力システムは、T.Shiota等による簡単な影検出法の従来技術による圧倒的な優位さを引き出すため、レティネックス画像強調に代わり、特徴量候補を切り替えることで演算量の少ない真正前景分離を可能にする。よって、屋内での指さしジェスチャー入力に用いても演算量を飛躍的に削減できる。LSI化すると演算量に比例する消費電力が発生するため、本発明の効果としてこの消費電力が大幅に低下する。メガネなど身に着けるウェアラブル端末用のジェスチャー入力システムに使うと低温やけど防止や電池の長寿命化が実現できる。さらに、小型電池の採用が可能になり、システムの小型化にもつながる。
【図面の簡単な説明】
【００３３】
【図１】一実施形態に係る動画処理システムの一例を示す図である。
【図２】変換領域成分信号抽出器20の処理フローの一例を示す図である。
【図３】色平均成分信号抽出器30の一例を示す図である。
【図４】制御回路40の動作フローを示す図である。
【図５】中間前景処理部61の動作フローを示す図である。
【図６】ガウスモデル記憶部62の一例を示す図である。
【図７】影領域除去回路71の動作フローを示す図である。
【図８】影領域検出の原理を示すグラフの図である。
【図９】屋内環境下での変換領域真正前景分離を得る過程の写真の図である。
【発明を実施するための形態】
【００３４】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲の全てが発明の解決手段に必須であるとは限らない。また、以下の実施形態は特許請求の範囲にかかわる発明を限定するものではない。
【００３５】
図１は一実施形態にかかわる動画システムの一例を示すものである。この図は、本発明の動画システムを示しており、動画システム１、カメラ10、変換領域成分信号抽出器20、色平均成分信号抽出器30、制御回路40、選択回路50、中間前景小領域決定部60、真正前景分離部70、リセット端子80から構成されている。このうち、中間前景小領域決定部60は中間前景処理部61、ガウスモデル記憶部62から、また真正前景分離部70は影領域除去回路71、前景構成回路72から構成されている。また、以下の説明は典型的確率分布をT.Shiota等の先行技術文献との対比のため、ガウス分布として説明している。
【００３６】
カメラ10から入力されるフレーム画像は変換領域成分信号抽出器20に入力され、画素のカラー成分信号を一旦輝度信号に直したものを1画面に亘りオーバラップしない4ｘ4画素の小領域毎に分割してWalsh変換し、Walsh変換による3個の変換領域成分信号として最低スペクトルに対応する強度平均成分信号と、縦方向と横方向の低域スペクトル各々3個を線形結合して2個の変換領域成分信号を計算する。引き続き、処理済みの4x4画素の小領域が構成する行と列の奇数番目と偶数番目の小領域を統合して8ｘ8画素の拡大小領域とし、この拡大小領域に対してもWalsh変換を行い、上記の3個の変換領域成分信号を作成する。この拡大統合による分割とWalsh変換による変換領域成分信号を作る操作を繰り返し、4ｘ4画素から64ｘ64画素領域まで多重分割した各小領域の3個の変換領域成分信号を生成する。ここで輝度平均信号を強度平均信号と呼んでいるが、グレー信号であれば良く、T.Shiota等は輝度信号に代わりHSV表色系の強度を輝度に代えた例を示しており、両差に大差はない。このため、以下、強度平均信号と呼ぶ。ちなみに、RGB信号から輝度信号Yを求める式と強度信号Vを求める式は以下の通りである。
Y=0.299R+0.587G+0.114B.              (1)
V=(R+G+B)/3.                                (2)
【００３７】
以降の説明を簡単にするため、この多重分割した各小領域から発生する強度平均成分信号をf(DC), 横方向スペクトルの低域3個を線形結合した変換領域成分信号をf(ACH）, 縦方向スペクトルの低域3個分を線形結合した変換領域成分信号をf(ACV)とする。これ等を集めて第1の特徴量候補（f(DC),f(ACH), f(ACV)）とし、選択回路50に伝える。詳細は図2を用いて後述する。
【００３８】
カメラ10からのフレーム画像はまた色平均成分信号抽出器30に入力され、カラー画面のまま全体を変換領域成分信号抽出器20と同じ多重分割を行い、RGB画素の多重分割小領域ごとに領域内で平均化する。その後、平均信号を色成分ごとに取り出し、Ｒ平均成分、Ｂ平均成分、Ｇ平均成分を求める。各領域から発生する色平均成分信号の赤（Ｒ）成分信号をf(R),  緑（Ｇ）成分信号をf(G),  青（Ｂ）成分信号をf(B)をとして、これ等を集めて第2の特徴量候補（f(R), f(G), f(B)）とし、選択回路50に伝える。詳細は図3を用いて後述する。
【００３９】
制御回路40は中間前景処理部61により起動させられると、第1の特徴量候補（f(DC),f(ACH),f(ACV)）と第2の特徴量候補（f(R),f(G),f(B)）のどちらか一方を前景分離特徴量(f(1),f(2),f(3))として選らぶことを選択回路50へ指示する。この結果、選択回路50は次のフレームからは選択された前景分離特徴量（f(1),f(2),f(3)）を中間前景小領域決定部60内の中間前景処理部61に伝える。中間前景処理部61が制御回路40を起動するのは、現在のフレームの小領域を処理した結果である。具体的には、制御回路40を起動するのは後述するように中間前景処理部61での処理結果として前景ガウス分布と背景ガウス分布の入れ替えが起こったときである。このため、次のフレームの同一小領域から特徴量候補が変わる可能性がある。
【００４０】
それ以外の場合は、選択回路50は次のフレームでも前景分離特徴量(f(1),f(2),f(3))は現在と同じ特徴量候補を選んでいる。しかし、中間前景処理部61が制御回路40に起動信号を伝えた場合には、制御回路40は第1の特徴量候補（f(DC),f(ACH),f(ACV)）と第2の特徴量候補（f(R),f(G),f(B)）に対し、各々の要素の最小値を比べて最小値が大きい方の特徴量候補を次のフレームから前景分離特徴量とするように選択回路50へ指示する。また、この時点で、制御回路40は選択回路50の選択が現状の特徴量候補から異なった特徴量候補に変える場合は、この事をガウスモデル記憶部62へ伝える。ただし、制御回路40が選択回路50に特徴量候補を変更するように伝えるのは影領域除去に用いる4ｘ4や8ｘ8画素の小さな領域だけであり、大きな分割領域では選択回路50は常時変換領域成分信号抽出器20の出力である第1の特徴量候補を選択するようにする。大きな分割領域は影除去には使わないためである。制御回路40は後程図4の動作フローチャートを用いて説明する。
【００４１】
中間前景小領域決定部60の内容は、T.Shiota等の先行技術文献の方法とほぼ同じである。ただし、２つの特徴量候補を切り替えることが起こるため、ガウスモデル記憶部62は状況に応じて格納する内容が変化する。このため、以下では中間前景小領域決定部60を構成する中間前景処理部61とガウスモデル記憶部62に分離している。
【００４２】
中間前景処理部61 は選択回路50から入力される前景分離特徴量（f(1),f(2),f(3)）の各々の要素に対して、この小領域内の前景分離特徴量の要素毎の振る舞いを近似した複数のガウス分布の分布係数をガウスモデル記憶部62から取り込んで中間前景領域を決定する。ここでガウス分布係数とはガウス分布の重み係数、平均、分散、およびこのガウス分布が前景か背景かを示す前景背景フラグからなっており、個々のガウス分布はガウス分布係数で完全に定まる。ガウスモデル記憶部62には処理を行う小領域毎の前景分離特徴量の要素毎にM個のガウス分布係数が格納されている。以下ではある要素の振る舞いを表す第ｊ番目のガウス分布係数を重み係数ω(j)、平均μ(j)、分散σ(j)^２および前景/ 背景フラグF(j)として定義する
【００４３】
中間前景処理部61 は選択回路50から入力される前景分離特徴量（f(1),f(2),f(3)）の要素1個ずつに対し、その要素に対応するガウス分布係数を用いて包含されるガウス分布を見つける。見つかったガウス分布が前景ガウス分布に属するなら中間前景となり、中間前景フラグをセットする。また、背景ガウス分布に属するなら背景となる。どのガウス分布にも属さない場合は中間前景とする。この場合は、特徴量要素を平均として、分散と重みは初期値に設定した新規ガウス分布を生成する。この要素に対するガウス分布の数はM個と決めてあるので、既存ガウス分布のうち最少の重み係数を持つものに代わり新規ガウス分布をこの特徴量用のガウス分布の仲間に入れる。
【００４４】
現在処理中の要素に関するM個のガウス分布は前景/背景ガウス分布に関係なく、次のフレーム処理のために全てのガウス分布の分布係数を更新する。この更新方法は、前景分離特徴量要素f(i)を含むガウス分布の平均と分散を特徴量に合わせて更新する。同時に、前景分離特徴量要素を含むガウス分布の重み係数は増加させるが、逆に特徴量要素f(i)を含まなかったガウス分布は重み係数を少し小さくする。つまり、最近の使用頻度を表す係数にする。
【００４５】
この更新結果で次フレームから各ガウス分布が前景ガウスになるか背景ガウスになるかが決定され、前景/背景フラグを更新する。更新手順はまず全てのガウス分布の重み係数の和が1になるように正規化した上で、重み係数の大きい順にガウス分布係数を並び替える。すでに述べた様に背景ガウス分布は大きな重み係数を持つため、並び替えたガウス分布係数を先頭から加算して行き、あらかじめ定めた閾値、例えば0.8に達するまでのガウス分布は背景ガウス分布となり、前景/背景フラグを0にセットする。残りのガウス分布は前景ガウス分布になり前景/背景フラグを１にセットする。この時、これまで前景ガウス分布に属していたあるガウス分布の重み係数が大きくなり、背景ガウス分布に仲間入りするガウス分布が生じることがある。この時は制御回路40へ起動信号を送るための起動フラグを上げる。以上で前景分離特徴量の１要素に関する処理が終わることになる。ここまでの捜査を残りの要素に対して同様の処理を行う。注意すべきことはある前景分離特徴量の要素に関する処理では中間前景フラグはセットされないこともある。その場合はこの前景分離特徴量の要素は全て背景であったことになる。他の前景分離特徴量の要素で1回でも中間前景フラグがセットされると、この領域は中間前景であるとする。
【００４６】
全ての前景分離特徴量の要素に対する更新を終わると、要素毎のM個の更新ガウス係数結果をガウスモデル記憶部62へ転送する。制御回路40 の起動フラグがセットされている場合は制御回路40へ起動信号を送り、また、影除去部71には中間前景フラグと前景分離特徴量を送って終了する。
【００４７】
ガウスモデル記憶部62では処理する小領域ごとに構築された前景分離特徴量の要素毎の全てのガウス分布係数、つまり、平均、分散、重み係数、および前景/背景フラグを記憶しているメモリで、小領域処理の初めに中間前景処理部61に供給するデータを格納している。各小領域内の前景分離特徴量の要素毎に複数あるガウス分布は重み係数が最大のガウス分布から最小のガウス分布になるように順番づけられて記憶している。前景/背景フラグF(j)に関しては重み係数の大きい順に並んだ初めの方のガウス分布係数の前景/背景フラグF(j)は背景ガウスを示す状況側になり、ガウス分布の係数列の終わり近づくと前景/背景フラグF(j)は前景ガウスを示す状況側になる。ガウス分布係数列がこのように並ぶ理由は、前述した中間前景処理部61でガウス分布係数の更新後に前景/背景フラグを決定するために行う重み係数の大きいもの順にソートすることに依存しており、この並び替えられた順に中間前景処理部61よりガウスモデル記憶部62へ送られるためである。受け取った順にガウス分布係数を格納しているからである。また、ガウスモデル記憶部62は後述する真正前景分離部70内の影領域除去回路71にもガウス分布係数を供給するが、これは更新前の背景ガウス分布の平均値と分散だけでよい。供給するタイミングは中間前景処理部61へデータを供給する場合と同時でよい。
【００４８】
ガウスモデル記憶部62は中間前景処理部61から供給された対応する領域の更新ガウス分布係数を蓄えて次フレームの同一領域の処理時に中間前景処理部61へ伝えることが役割である。しかし、制御回路40からの信号により、次フレームからは異なった特徴量候補を前景分離特徴量として使うことが通知された場合はガウスモデル記憶部62内に蓄えられた対応する小領域のガウス分布の情報は全て消去する。前景分離特徴量が変わることで、今まで構築してきたガウス分布モデルはもはや意味がなくなるためである。このため、この小領域に関しては最初から背景モデルを構築することになる。ガウスモデル記憶部62の構造は後程その一実施例を、図6を用いて詳述する。
【００４９】
真正前景分離部70は影領域除去回路71と前景構成回路72から構成されており、影領域除去回路71はT.Shiota等の影除去回路の機能を第2の特徴量候補である色平均信号を要素とする場合にも対応できるように改造を施したものであり、前景構成回路72は多重分割した真正前景領域から前景分離画像を構築するものである。
【００５０】
影領域除去回路71は前景領域処理部61で中間前景小領域毎に与えた中間前景フラグの状態を真正前景フラグに引き継ぎ、前景領域処理部61から受け取った前景分離特徴量、および、ガウスモデル記憶部62から供給されたこのフレームの背景ガウス分布の平均と分散を用いて影領域か否かの判定を行う。対象とする小領域が影領域ではない場合は真正前景フラグがセットされたままとなり、影と判断される場合は真正前景フラグをリセットすることで現在処理中の小領域が真正中間前景領域内の小領域でないことを示す。影領域か否かを決定する原理はT.Shiota等の方法に従う。但し、T.Shiota等が使ったf(DC)のように画像特有の性質として他の特徴量候補より大きい値を持つ特徴量要素は色平均特徴量にはない。T.Shota等はf(DC)が大きな値になることで影による減衰量の推定精度を高く計算できる基準としていた。この点を第1の特徴量候補、および、第2の特徴量候補で共通して使えるようにするのが影除去回路71の役目の一つになる。
【００５１】
このため、本発明の影領域除去回路71は現状の前景分離特徴量(f(1),f(2),f(3))のうちで最大の値を持つ要素を影評価基準として選ぶ。選出された基準となる特徴量の要素（以下基準要素と呼ぶ）は、その要素に関する全ての背景ガウス分布の平均と比べ、特徴量要素が平均より小さくなり減衰している場合は、処理中の小領域が影領域候補となったとする。また、これらの背景ガウス分布の平均と影評価基準の値の比から減衰量を計算する。複数個の減衰量が現れるが、この各々の減衰量に対して以下の影領域検証処理を行う。
【００５２】
検証は基準特徴量要素以外の２つの前景分離特徴量要素を用いる。そのうちの１つの前景特徴量に、減衰量の逆数を順次乗じる。その結果で、1つでもその要素に割り当てられた背景ガウス分布に包含されるようになる場合を影であると判断する。つまり、基準要素と同じ減衰を受けたと考える。影である検証が終わった場合は真正前景フラグをリセットする。この場合には処理はここで終わる。この小領域が影であることを検証できたためである。包含するガウス分布が見つからない場合は、残りの要素のガウス分布に関しても同様の処理を行う。影候補全てが影領域でない場合のみ真正前景フラグはセットされたままであり、この小領域が最終的な真正前景を示していることになる。影領域除去回路71は図7の動作フローチャートを用いて後述する。
【００５３】
影領域除去回路71で設定した真正前景フラグは前景構成回路72へ送られ、真正の前景画像を構成する。この実施例では1フレーム中の小領域を順次処理してゆくので、前景構成回路72は真正前景フラグを受け取ると、その真正前景フラグの担当している小領域が画像中のどの部分に当たるか分かっている。小領域が4x4画素相当の場合は真正前景フラグがセットされている場合は4x4個の１を対応するフレーム位置に書き込み、真正前景フラグがリセットの場合は4x4個の0を書き込む。4x4画素相当の小領域を全て処理し終わったら1フレームの2値画ができ上がり、１が前景、0が背景部分になる。これが真正前景画像のベースになる。
【００５４】
次の8x8画素小領域以降、64x64画素小領域までの処理は以下に述べる8x8画素小領域の真正前景画像への反映方法と同じである。8x8画素小領域の場合も、真正前景フラグを受け取った時点で、先に述べた真正前景画像のベース画像となるフレーム上でどの位置に対応する場所であるかわかる。よって、その位置に対して真正前景フラグのセット/リセットに応じて8x8個の１もしくは0をデータとして準備する。ベース画像は0と１の2値画であるので、準備した8x8個のデータとベース画像の対応する領域の値との論理積（AND）を取って同じ位置へ格納する。この結果、8x8画素領域は4x4画素領域を４個含んでいるので8x8個のデータが1である場合は4個の4x4画素領域の1/0状態はそのまま残る。しかし、逆に8x8個の領域が0の場合は対応する位置は全てゼロとなる。以下、順次真正前景フラグに基づいて全ての8x8画素小領域をベース画像に書き込んだのち、16x16画素領域の真正フラグに基づいた処理に移り、順次最大小領域まで繰り返すことで多重解像度処理による真正前景分離画像が得られる。つまり、ある位置の4x4領域のデータはそれを含む全ての64x64領域でまの小領域が影除去を行った小領域の真正前景領域判定か影除去は行わない大きな小領域で中間前景判定である場合のみ生き残る。8x8領域以上の処理は、領域が大きく安定した前景分離が行えるため、4x4領域のデータが不安定となって誤判定した場合でも誤判定を消去できることになる。
【００５５】
リセット端子80はシステムが動き出す時点で、制御回路40を変換領域成分信号抽出器20の出力を選択回路50で選ぶようにすることと、ガウスモデル記憶部62の内容を全て消去するためのものである。適応処理のためどのような状況であっても時間をかければ最適な状況になるため問題は少ないが、安定動作に落ち着くまでの時間を短縮したい場合にはリセット信号が必要である。
【００５６】
以下、本発明の一実施例である図1の個々の構成手段に関する実現法と動作フローチャートを用いて詳述する。  以下の説明で用いる図面では図面の簡単化のためf(DC)などの記述は括弧内の文字が下付きの添え字として記述している。対応するのはf(DC),f(ACH),fACV),f(R),f(G),f(B),f(i),μ(j),σ(j),ω(j),F(j)などである。
【００５７】
図2は変換領域成分信号抽出器20の詳細な実施例である。図2は変換領域成分信号抽出器20、カメラからの入力端子セット200、入力端子セット200内の赤信号入力端子201、緑信号入力端子202、青信号入力端子203、RGB2YCrCb変換回路210、WPP220から構成されており、カメラからの入力端セット200は、赤信号入力端子201、緑信号入力端子202、青信号入力端子203からなっている。ここでWPPはR.Yagi等の前景分離法に関するシステムLSIの設計に関する文献”GMM foreground Segmentation Processor based on Address Free Pixel Streams”, (Proceedings of IEEE ICASSP’2012 pp.1653-1656, March 2012)に記載のWalsh Parameter Processorと呼ばれる専用プロセッサで、輝度信号画像を入力すると多重分割を行いながらWalsh変換による特徴量（f(DC),f(ACH), f(ACV)）を生成する。
【００５８】
カメラからの入力端子セット200内の赤信号入力端子201、緑信号入力端子202、青信号入力端子203の各々に入力されたR, G, B信号はRGB2YCrCb変換回路210で画素毎にRGB表色系からYCｒCb表色系に変換するものであるが、RGB2YCrCb変換回路210の出力のうち輝度信号Ｙは使うもののクロミナンス成分Cr,Cbは使わない。よって、RGB2YCrCb回路210は以下の赤信号入力端子201からの入力されるカメラ10からのR成分信号、緑信号入力端子202から入力されるG成分信号、 青信号入力端子203から入力される B成分信号に対して前述した式(1)の重み付け線形加算を行なう。また、この結果をWPP220に伝える。
【００５９】
WPP220はすでに説明したように、R.Yagi等文献が提唱するもので、1画面を4 x 4画素相当から64 x 64画素相当の階層的な小領域ごとに多重分割し、小領域ごとにWalsh変換によって変換領域に移し、そこから強度平均成分信号f(DC)、横方向の低域側の3個のスペクトルを線形結合させた横成分スペクトルバンド成分信号f(ACH)、同じく縦方向の低域側のスペクトルを3個線形結合させた縦成分スペクトルバンド成分信号f(ACV)を生成する。WPP220で小領域ごとに生成したこれ等の(f(DC),f(ACH),f(ACV)）が出力であり、図1の変換領域成分信号抽出器20の出力である。つまり、これが第1の特徴量候補となる。
【００６０】
図3は色平均成分信号抽出器30の実施例である。色平均成分信号抽出器30はカメラからの入力端子セット300および、WPP列310からなり、入力端子セット300はR入力端子301、G入力端子302、B入力端子303から構成され、また、WPP列310は3個のWPP311、WPP312、WPP303からなっている。ここでWPP311、WPP312、WPP303の各々は図2のWPP220と同じ機能である。
【００６１】
カメラからのカラー信号は入力端子セット300内のR入力端子301よりR成分信号、G入力端子302よりG成分信号、B入力端子303よりB成分信号が入力され、それぞれの端子に直結されたWPP列310内のWPP311, WPP312, WPP313に供給される。これ等のWPPでは入力信号の領域毎の平均となるf(DC)のみを使いf(ACH)とf(ACV)は使わない。このため、WPP311, WPP312, WPP313のそれぞれのf(DC)端子からはR入力端子301, G入力端子302, B入力端子303のそれぞれに入力されるカメラ10からのR成分信号画面、G成分信号画面、B成分信号画面は、それぞれR, G, B成分信号を4x4画素領域から64x64画素領域の階層的な多重小領域分割にして小領域ごとにWalsh変換によって変換処理を実行し、それぞれのWPPのf(DC)出力からはR色成分、G色成分、B色成分の小領域での平均成分信号を出力することになる。よって、これらは色平均成分信号抽出器30の出力となり、WPP311のf(DC)からはf(R)が、WPP312のf(DC)からはｆ(G)が、WPP313のf(DC)からはf(B)が得られる。これ等をまとめた(f(R),f(G),f(B))が第2の特徴量候補である。
【００６２】
図4の動作フローチャートは制御回路動作フローチャート4、処理領域判定ブロック410、選択回路指示ブロック411、一時記憶ブロック420、変換領域成分信号最小値検出ブロック430、色平均信号最小値検出ブロック440、最小成分判定ブロック450、第1の特徴量候補選出ブロック451、第2の特徴量候補選出ブロック452、選出信号通知ブロック453、選択方向反転検出ブロック460、ガウスモデル記憶部通知ブロック461から構成され、すでに述べた様に中間前景処理部61で前景ガウス分布が背景ガウス分布に変更されるときに制御回路40は起動され、図4の動作フローチャートに基づいて選択回路50とガウスモデル記憶部62を制御する。
【００６３】
制御回路40が起動され、図4の動作フローチャートの沿った処理が始まると、まず、処理領域判定ブロック410で小領域が8ｘ8画素以下であることを確認する。これ以上大きな画素領域では選択回路50は常に第1の特徴量候補を選択させるためである。よって8ｘ8画素領域以上の領域処理中であれば、選択回路指示ブロック411に分岐して選択回路50には変換領域成分信号抽出器20の出力を常時前景分離特徴量として選択するように指示して終了する。
【００６４】
小領域が8ｘ8画素領域以下の場合は一時記憶ブロック420に進み、選択回路50に現在まで指示している状態Sを一時的にTSに移す。後程選択回路50の状態を変えることになるかどうかをチェックするためである。その後、変換領域成分信号最小値検出ブロック430で第1の特徴量候補となる3個の変換領域成分信号のうち最小のものをTF1に移し、次いで色平均信号最小値検出ブロック440で第2の特徴量候補となる3個の色平均成分信号の最小のものをTF2に移す。最小成分判定ブロック450で上記のTF1とTF2を比較し、TF1の方が大きい場合は第1の特徴量候補選出ブロック451に分岐してTF1方向の選択を行う準備を行い、選出信号通知ブロック453で選択回路50に伝える信号をTF1側、つまり、変換領域成分信号である第1の特徴量候補(f(DC),f(ACH),f(ACV)）を選択するように指示する。
【００６５】
逆に最小成分判定ブロック450でTF2の方が大きい場合は第2の特徴量候補選出ブロック452に分岐し、先に述べた選出信号通知ブロック453に合流する。ただし、この場合は通知する内容は選択回路50に色平均成分信号抽出器30からの出力を前景分離特徴量として選択するように指示するものになる。
【００６６】
選出信号通知ブロック453が終了すると、引き続き選択方向反転検出ブロック460によりこの選択結果が一時記憶ブロック420で一時的に蓄えたこれまでの選択結果と同じかどうかを判断する。同じであればガウスモデル記憶部62に蓄えたガウスモデルは引き続き利用できるので、そのまま終了する。一方、選択回路50が異なった特徴量候補を前景分離特徴量としようとするときは、ガウスモデル記憶部62に今までのガウス分布は使えなくなったことを知らせる必要があり、ガウスモデル記憶部通知ブロック461を起動して終了する。以上の動作フローチャートにより、次のフレームからは選択回路50は制御回路40の指示通り、第1、第2の特徴量候補の内から特徴量候補の要素の最小値が大きい方の特徴量候補を前景分離特徴量に選択することになる。
【００６７】
図5は中間前景処理部61の動作フローチャートであり、中間前景処理部フローチャート5、特徴量要素設定ブロック601、カウンタクリアブロック602、ガウス分布番号設定ブロック603、ガウス分布包含検査ブロック604、ガウス分布係数更新増強ブロック605、前景ガウス分布検査ブロック606、中間前景フラグセットブロック607、ガウス分布ループ終了判定ブロック608および608’、重み係数減少ブロック609、カウンタ歩進ブロック610、カウント終了ブロック611、新規ガウス生成ブロック612、特徴量要素ループ終了判定ブロック613、前景/背景フラグ設定ブロック614、ガウスモデル記憶部データ転送ブロック615、前景の背景化検査ブロック616、制御回路起動ブロック617、中間前景送出ブロック618から構成されている。ガウス分布ループ終了判定ブロックは608および608’があるが、機能は同じである。ただし、フローチャート内での設置場所が異なる。
【００６８】
図5の動作フローチャートのスタート時点ではガウスモデル記憶部62から対応する小領域のガウス分布係数は中間前景処理部61に転送されているものとする。影領域除去回路71へ送るのは処理する領域が中間前景領域であるかどうかを示す中間前景フラグであるため、動作フローチャートがスタートする前にリセット、つまり中間前景フラグは下ろした状態になっているものとして説明する。
【００６９】
図5のフローチャートの処理が始まると、特徴量要素設定ブロック601で前景分離特徴量（f(1),f(2),f(3)）を順次処理するためのループ処理の設定を行う。以下では3回まわるループ処理の第i番目の特徴量要素f(i)が設定されている場合を記述している。ついで、カウンタクリアブロック602で入力された特徴量要素がどのガウス分布にも属さない場合を検出するためのカウンタを設け、そのカウンタを１に設定する。さらに、ガウス分布番号設定ブロック603では1つの特徴量要素に対して、この要素に割り当てられたM個のガウス分布との包含関係を検査するためM回のループ処理を行うためのループ処理番号を設定する。以下では第j番目のガウス分布として取り扱う。
【００７０】
ガウス分布包含検査ブロック604では特徴量要素設定ブロック601で定められた第i番目の特徴量要素f(i)が、その要素に対応するM個あるガウス分布からガウス分布番号設定ブロック603で選ばれた第j番目とガウス分布に包まれるかどうか検査する。この結果、前景分離特徴量の要素f(i)が第ｊ番目のガウス分布に含まれている場合はガウス分布係数更新増強ブロック605に進み、第ｊ番目のガウス分布の平均と分散を更新し、重み係数を増加させる。次いで、前景ガウス分布検査ブロック606で包含されたガウス分布が前景ガウスなのか背景ガウスなのかをガウス分布係数中の前景/背景フラグF(j)により判定する。判定の結果が前景ガウス分布である場合は中間前景フラグセットブロック607に進み、中間前景フラグをセットする。中間前景フラグをセットしたことで、この小領域は中間前景小領域に属すことを示す。しかし、未検査のガウス分布係数は更新されていないため、ループ処理を続行する。このため、ガウス分布ループ終了判定ブロック608に進む。一方、前景ガウス分布検査ブロック606で要素f(i)を包含する第j番目のガウス分布が背景の場合は直接ガウス分布ループ終了判定ブロック608へ進む。
【００７１】
一方、ガウス分布包含検査ブロック604で前景分離特徴量要素f(i)が第j番目のガウス分布に属さない場合は、重み係数減少ブロック609でそのガウス分布の重み係数のみを減少させる。カウンタ歩進ブロック610とカウント終了ブロック611はカウンタクリアブロック602で１に設定したカウンタを歩進させる。このため、このカウンタによりガウス分布番号設定ブロック603から始まるループ処理においてガウス分布包含検査ブロック604でガウス分布に含まれなかった回数を知ることができる。そこで、カウント終了ブロック611でカウンタがMを示した場合は特徴量の要素f(i)がM個の全てのガウス分布に属さないことを示している。よって、この場合は新規ガウス生成ブロック612へ進む。新規ガウス生成ブロック612では平均値をf(i)、分散と重み係数を初期値に設定した前景ガウス分布を構築する。この操作が終わると中間前景フラグセットブロック607に進んでこの小領域に中間前景小領域フラグを立てる。
【００７２】
ただし、カウント終了ブロック611を通過してガウス分布ループ終了判定ブロック608’に到達することもあるためガウス分布ループ終了判定ブロック608’で未処理ガウス分布があるか否かの判定を行う。分布番号ｊがMに達していない場合はｊを歩進してガウス分布番号設定ブロック603へ戻る。
【００７３】
2ヶ所にあるガウス分布ループ終了判定ブロック608と608’で未処理のガウス分布がない場合、つまり、一つの前景分離特徴量のチェックをM個のガウス分布分で終わった場合は特徴量要素ループ終了判定ブロック613に進む。ここで特徴量要素iが3以下の場合はiを歩進して新しい特徴量を設定して検査とガウス分布係数の更新を行うため、特徴量要素設定ブロック601に戻り、新しい特徴量要素に対する処理をスタートする。特徴量要素ループ終了判定ブロック613で特徴量要素iが３であれば、全ての特徴量要素に関する処理が終了するので前景/背景フラグ設定ブロック614へ進む。中間前景フラグは1個しかないので、1つの前景分離特徴量要素の処理で中間前景フラグをセットすれば、他の前景分離特徴量がどのような判定になっても、その小領域は中間前景領域となる。
【００７４】
前景/背景フラグ設定ブロック614では、全ての更新したガウス分布係数に対し、前景/背景フラグの設定を行う。この処理は特徴量要素ごとに更新されたM個のガウス分布係数の重み係数を中心に実行する。ただし、新規ガウス生成ブロック612で新規前景分布を生成して登録されている場合は、これまで使ってきたガウス分布の中で最小の重みを持つものを排除し、新規前景ガウス分布をM個のガウス分布の中に入れる。次いで、前景・背景フラグの設定を行うためにM個の更新したガウス分布の重み係数の正規化、つまり、重み係数の総和が１となるように修正して、その後、重み係数が減る方向にガウス分布係数を並び替える。この重み係数を大きさ順に最初から加算して、閾値0.8に達するまでの分布係数に対して前景/背景フラグF(j)を０として背景ガウス分布の印とする。残りは前景ガウス分布の印としてF(j)を１にする。この操作を前景分離特徴量要素ごとに行い、一つでも前景ガウス分布が背景分布に変わった場合には制御回路40へ起動信号を送出する準備のとして前景の背景化フラグをセットする。
【００７５】
次に実行されるガウスモデル記憶部データ転送ブロック615では前景/背景フラグ設定ブロック614で前景分離特徴量の要素ごとにあるM個の更新したガウス分布係数をガウスモデル記憶部62へ転送する。
【００７６】
さらに、前景の背景化検査ブロック616では前景/背景フラグ設定ブロック614において前景の背景化フラグをセットされているかどうかを検査し、セットされている場合は制御回路起動ブロック617に進み、制御回路40に起動信号を送る。前景の背景化検査ブロック616でフラグがセットされていない場合、もしくは制御回路起動ブロック617を処理した後はどちらも中間前景送出ブロック618に達する。中間前景送出ブロック618では中間前景フラグセットブロック607にて立てた中間前景フラグを前景分離特徴量とともに影領域除去回路71に送出する。図5のフローチャートを終了するまでに中間前景フラグをセットできない場合は背景領域である。よって、中間前景領域か否かは中間前景フラグの状態でわかる。
【００７７】
図6はガウスモデル記憶部62の一実施例である。図6はガウスモデル記憶部62、メモリ回路621、アドレスレジスタ622、ガウス情報選択回路623、FIFOバッファ624、中間前景処理部61への出力端子625、中間前景処理部61からの入力端子626、制御回路40からの通知入力端子627からなっている。
【００７８】
メモリ回路621は多重分割された小領域に番号付けを行ない、図6のメモリ回路621に記したようにメモリ内を小領域毎に分割する。さらに、その小領域では前景分離特徴量の要素iでまとめた重み係数最大のガウス分布係数から重み係数最小のガウス分布係数までを格納している。このガウス分布係数の並び方は図5の中間前景処理部61の動作フローチャートの前景/背景フラグ設定ブロック614で行った、更新した重み係数の大きい順に並び替えた順番である。一つの小領域aに関する前景分離特徴量の要素毎のMこのガウス分布係数を順次読み出し、また順次更新された3個の要素のM個ずつのガウス分係数を書き込むだけである。つまり、アドレスレジスタ622は全ての小領域におい3個の要素毎の第1ガウス分布係数から第Mガウス分布係数へと1方向に読み出すアドレス供給するだけでよく、また、データの更新時も同様に小領域の3個の要素のM個づつの更新ガウス分布係数を一方向に書き込むだけで良い。ガウス分布係数の並び替えなどは中間前景処理部61で実行しているためである。
【００７９】
以下、小領域番号aの処理時の動きを述べる。まず、この小領域に関して中間前景処理部61が処理を開始すると、直ちにアドレスレジスタ622は図6のメモリ回路621の内部に示されたa領域を先に述べた通りアドレスの増加する方向に動き、これ等のガウス分布係数を中間前景処理部61への出力端子625を介して中間前景処理部61へ送る。中間前景処理部61ではすでに説明したように、図5のブロック図に沿って前景分離特徴量の3個の要素とメモリ回路621から入手したガウス分布係数で中間前景領域判定を行い、その判定結果に基づいて次フレームで用いるガウス分布係数情報等を更新する。この更新された小領域番号aの全てのガウス分布係数は図５のガウスモデル記憶部データ転送ブロック615により中間前景処理部61からの入力端子626に送り返す。この更新されたガウス分布係数はFIFOバッファ624に一旦格納する。直接メモリ回路621に書き込まないのは中間前景処理部61が制御回路40を起動する可能性があり、制御回路40が起動すると図4に示す動作フローに従って動作する。この過程で図4のガウスモデル記憶部通知ブロック461により制御回路40からの通知入力端子627に信号が入力されるとメモリ回路621内の対応する小領域aのガウス分布係数を全てリセットせねばならないためである。図5で示す中間前景処理部61の動作フローチャートより、制御回路40へ起動信号を送る時刻と更新したガウス分布係数全てをガウスモデル記憶部62に転送する時刻がほぼ同時であるため、更新されたガウス分布係数は制御回路40の動作する時間だけ待ち合わせをする。このためのバッファ機能がFIFOバッファ624の役割である。制御回路40からの通知入力端子627へ制御回路40の動作時間を過ぎても信号が来ない場合は、FIFOバッファ624に蓄えられた小領域aに関する全ての更新されたガウス分布係数データはガウス情報選択回路623を介してメモリ回路621へ書き込まれる。つまり、ガウス情報選択回路623は制御回路40からの通知入力端子627に信号が来ない限り、FIFOバッファ624からのデータをメモリ回路621へ伝える。
【００８０】
しかし、制御回路40が中間前景処理部61から起動され、図4に示す制御回路40のフローチャート内のブロック461が有効になると、制御回路40からの通知入力端子627に信号が到達する。この場合、ガウス情報選択回路623は０の入力側を選択するので、メモリ回路621内の小領域番号aのガウス情報はすべて０が書き込まれ、消去された状態になる。いままで構築してきた前景分離特徴量の振舞を示すガウス分布が使えなくなるためである。
【００８１】
図7は影領域除去フローチャート7、影領域除去回路71 の動作フローチャートである。図7の動作フローチャートは入力データ整理ブロック701、真正前景フラグ検査ブロック702、影除去実行検査ブロック703、基準特徴量要素決定ブロック704、影検証要素設定ブロック705、影検証基準要素排除ブロック706、基準ガウス分布調査開始ブロック707、基準ガウス分布排除ブロック708、基準減衰量測定ブロック709、基準外ガウス分布検証開始ブロック710、影候補検証ブロック711、影決定ブロック712、基準外ガウス分布検証終了検査ブロック713 、基準ガウス分布調査終了検査ブロック714、前景分離特徴量要素変更ブロック715、前景分離要素処理処終了ブロック716からなる。
【００８２】
まず、図７のフローチャートでは、入力データ整理ブロック701でガウスモデル記憶部62からこの領域に対する更新前の3個の特徴量要素の背景ガウス分布だけを入手する。これはガウスモデル記憶部62が中間前景処理部61へガウス分布係数を送付する時点で、ガウス分布係数の前景/背景フラグF(j)が０のもののみを取り込むことで実現できる。このため、対象とするガウス分布の数はM個より少なくなる。また、中間前景処理部61から送出された中間前景フラグと伴に、前景分離特徴量を受け取る。さらに、中間前景フラグの内容を真正前景フラグに移す。つまり、入力データ整理ブロック701で真正前景フラグは中間前景フラグをコピーした状態となる。
【００８３】
ついで、真正前景フラグ検査ブロック702では真正前景フラグがセットされているかどうかを検査する。セットされていない場合は背景であるため影除去の対象にはならない。よって、この場合はそのままこのフローチャートの終了(ストップ)へ直行する。真正前景フラグはオフのままであるので、背景であることを示す。
【００８４】
続く影除去実行検査ブロック703では影除去を実行する小領域の大きさを4x4画素と8x8画素に制限する。これ以上大きな小領域では外部からの光の反射で、影により前景分離特徴量の要素が一様に減衰するとは限らないためである。影除去実行検査ブロック703内に記したSESとは4x4画素と8x8画素の領域のことである。これ以外の小領域である場合には影除去は行わないのでこのフローチャートを終了する。
【００８５】
小領域の大きさが問題なければ、基準特徴量要素決定ブロック704進む。ここでは影除去判定をするときに基準となる前景分離特徴量要素を決定するため、前景分離特徴(f(1),f(2),f(3))の中から最大のものを選択し、この値をfNとする。また、この最大要素の所属する要素番号iをNとして確定する。
【００８６】
続く影検証要素設定ブロック705では影検証を行うに当たって、基準要素とは異なる要素が必要になり、この要素を順次決定する。2つある特徴量要素に対して同じ処理を行うためのループ処理を開始するためである。図8でも述べた様に基準要素を用いて減衰量を求め、この減衰量を用いて基準以外の要素で影の検証を行うためである。フローチャートでは特徴量要素の添え字をｋとしてループ処理を行うためのｋの値を定め、最初はｋ＝１である。
【００８７】
次いで、影検証基準要素排除ブロック706に移る。影処理は基準要素とそれ以外の前景分離特徴量の要素で実行するため、以下の処理において基準要素をそれ以外の前景分離特徴量の要素から排除するためのブロックで、基準要素と第k番目の特徴量の要素が一致する場合は以下に続く処理を省略し、前景分離特徴量要素変更ブロック715に進む。ここで、次の前景分離特徴量要素を準備するためｋを1加算している。
【００８８】
影検証基準要素排除ブロック706で現在の前景分離特徴量要素が基準要素でない場合は、基準ガウス分布調査開始ブロック707に移る。これは基準要素に属するガウス分布のうち影候補となるものを探し出すためのループ処理の開始ブロックである。基準要素の背景ガウス分布はPM個あるとし、以下では第p番目の基準ガウス分布に関する処理を行う設定を行った場合を記述する。続く基準ガウス分布排除ブロック708は基準要素の第p背景ガウス分布のうち、検討しなければならない分布を見つけるもので、第p番目の背景ガウス分布の平均の値は現在の基準要素の値fNより大きいものを影候補として選ぶ。つまり、特徴量の基準要素は影により本来含まれるガウス分布より暗い方向に逸脱している筈である。よって、現在選ばれている背景ガウス分布の平均とfNを比較し、fNの方が平均より大きい場合は背景ではないため、基準ガウス分布調査終了検査ブロック714まで進み、現在のガウス分布が最終のものでない場合は引き続き基準ガウス分布調査開始ブロック707に戻り、基準要素と次の第(p+1)番目の背景ガウス分布の処理に移る。
【００８９】
基準ガウス分布排除ブロック708で排除されなかった場合は基準減衰量測定ブロック709で影の影響による減衰量を計算する。減衰量R(p)は基準要素fNと第ｐガウス分布の平均μの比率で求める。
【００９０】
ついで、基準外要素ガウス分布検証開始ブロック710では影検証要素設定ブロック705により定められた基準要素ではない第ｋ番目の特徴量要素に属する全ての背景ガウス分布をループ処理で検証するためのスタートを定めるブロックである。ここで、第k番目の特徴量要素にはQM個の背景ガウス分布があるとし以下では第q番目の背景ガウス分布の処理を述べる。
【００９１】
次の影候補検証ブロック711では第k特徴量要素に基準減衰量測定ブロック709で求めた減衰量R(p)の逆数を乗じた値が第q背景ガウス分布に含まれるかどうかを判定し、含まれる場合は影領域であると判断する。これは図8の影検証グラフ803の状態を確かめるためのものである。影領域判定ブロック711で影であると判断されれば影決定ブロック712に進み、真正前景フラグをリセットする。影領域を除くためである。この操作は、影検定で検査する基準要素以外の２つの特徴量要素での検証処理のうち、1つでも影であると判断できれば充分であるとしているため、影決定ブロック712の処理が終われば直ちにこのフローチャートの終了に進む。
【００９２】
逆に影候補検証ブロック711で現在処理中の第q背景ガウス分布は本来第ｋ特徴量要素を含むガウス分布ではないと判断された場合は、基準外ガウス分布検証終了検査ブロック713に進む。ここで、第q背景ガウス分布がまだ最終の第QM背景ガウス分布でない場合は、基準外ガウス分布検証開始ブロック710に戻り、第(q+1)背景ガウス分布を選んで影領域のチェックを行う。第k番目の前景特徴量に関する第q番目の背景ガウス分布が最後の第QM番目のガウス分布である場合は基準ガウス分布調査終了検査ブロック714へ進む。この基準特徴量要素に関する次のガウス分布がまだある場合は基準ガウス分布調査開始ブロック707に戻り、第(p+1)番目の背景ガウス分布を用いて新しい減衰量に対する影領域の検証を開始する。また、基準ガウス分布調査終了検査ブロック714で前景分離特徴量の第ｋ番目のガウス分布による減衰量を用いたチェックを全て終わっている場合は前景分離特徴量要素変更ブロック715に進みｋを歩進して第(k+1)番目の特徴量要素に対する検証の準備を行う。この結果、ｋが４以上にならないかどうかを検査する前景分離要素処理処終了ブロック716に進み、4以下の場合は影検証要素設定ブロック705に戻り第(k+1)番目の前景分離特徴量要素に対してこれまでと同じ要領で影領域を見つける操作を行う。しかし、ｋが4となると全ての基準特徴量要素以外の特徴量要素に対する処理を終えたことになるので前景分離要素処理処終了ブロック716を通過して動作フローチャートに沿った動作を終了する。つまり、この場合には真正前景フラグは立ったままであり、影ではなかったことを意味する。
【００９３】
以上、説明したように上記の実施例に従えば、T.Shiota等が導入した大量の演算量を必要とするレティネックス画像強調技術を導入しなくとも、変換領域と色領域という画像自体の表現方法の異なった２つの特徴量候補を用意することで背景ガウスモデルの平均をゼロ近辺にならないようにできる。よって、T.Shiota等の提案する簡便な影除去法をレティネックス画像強調なしで活用でき、ジェスチャー入力装置の必要演算量を大幅に減らすことができる。
【００９４】
本発明の実施例では変換領域での前景分離で最も複雑な多重分割を用いた変換と複数のガウスモデルを用いたシステムに関して述べたが、特徴量候補を手動で設定する簡易方法も本発明の内である。この場合、特徴量の要素毎に背景モデルとしてガウス分布を1個だけを準備して実行することも可能である。この場合は背景ガウス分布1個を定めるために、リセット端子80でシステムを作動させたら、直ちに背景ガウス分布を構築する。ただし、リセットした場合は、その後しばらくは前景を入れないような工夫が必要である。安定した背景ガウス分布を構築させるためである。
【００９５】
また、前景分離特徴量をユーザに判断させることが困難であれば、本実施例の制御回路40、選択回路50を用いて、トレーニング期間を設け、トレーニング以降は制御回路40の働きを止めるのも本発明の一部である
【００９６】
さらに、ガウスモデル記憶部62で制御回路40から次フレーム以降の処理の前景分離特徴量を切り替える信号をもらうと、対応する領域のメモリ回路621のガウス分布をすべて消去したが、メモリ回路をもう一個余分に設け、変換領域成分信号が前景分離特徴量の場合のメモリ回路と色平均成分信号が前景分離特徴量のメモリ回路を区別して用い、制御回路40からの切り替え信号をもらった場合には対応するメモリ回路に切り替えるのも本発明の一部である。
【００９７】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることも可能であることは当業者に明らかである。そのような変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることは、特許請求の範囲から明らかである。
【符号の説明】
【００９８】
1      動画システム
4      制御回路動作フローチャート
5      中間前景処理部フローチャート
7      影領域除去フローチャート
8      影領域検出の原理グラフ
9      屋内環境下での変換領域真正前景分離を得る過程の写真
10     カメラ
20     変換領域成分信号抽出器
30     色平均成分信号抽出器
40     制御回路
50     選択回路
60     中間前景小領域決定部
61     中間前景処理部
62     ガウスモデル記憶部
70     真正前景分離部
71     影領域除去回路
72     前景構成回路
80     リセット端子
200    カメラからの入力端子セット
201    赤信号入力端子
202    緑信号入力端子
203    青信号入力端子
210    RGB2YCrCb変換回路
220    WPP(Walsh Parameter Processor)
300    カメラからの入力端子セット、
301    R入力端子、
302    G入力端子、
303    B入力端子
310    WPP(Walsh Parameter Processor)列
311    WPP(Walsh Parameter Processor) 
312    WPP(Walsh Parameter Processor)
313    WPP(Walsh Parameter Processor) 
410    処理領域判定ブロック
411    選択回路指示ブロック
420    一時記憶ブロック、
430    変換領域成分信号最小値検出ブロック
440    色平均信号最小値検出ブロック、
450    最小成分判定ブロック
451    第1の特徴量候補選出ブロック
452    第2の特徴量候補選出ブロック
453    選出信号通知ブロック
460    選択方向反転検出ブロック
461    ガウスモデル記憶部通知ブロック
601    特徴量要素設定ブロック
602    カウンタクリアブロック
603    ガウス分布番号設定ブロック
604    ガウス分布包含検査ブロック
605    ガウス係数更新増強ブロック
606    前景ガウス分布検査ブロック
607    中間前景フラグセットブロック
608    ガウス分布ループ終了判定ブロック
608’    ガウス分布ループ終了判定ブロック
609    重み係数減少ブロック
610    カウンタ歩進ブロック
611    カウント終了ブロック
612    新規ガウス生成ブロック
613    特徴量要素ループ終了判定ブロック
614    前景/背景フラグ設定ブロック
615    ガウスモデル記憶部データ転送ブロック
616    前景の背景化検査ブロック
617    制御回路起動ブロック
618    中間前景送出ブロック
621    メモリ回路
622    アドレスレジスタ
623    ガウス情報選択回路
624    FIFOバッファ
625    中間前景処理部61への出力端子
626    中間前景処理部61からの入力端子
627    制御回路40からの通知入力端子
701    入力データ整理ブロック
702    真正前景フラグ検査ブロック
703    影除去実行検査ブロック
704    基準特徴量要素決定ブロック
705    影検証要素設定ブロック
706    影検証基準要素排除ブロック
707    基準ガウス分布調査開始ブロック
708    基準ガウス分布排除ブロック
709    基準減衰量測定ブロック
710    基準外ガウス分布検証開始ブロック
711    影候補検証ブロック
712    影決定ブロック
713    基準外ガウス分布検証終了検査ブロック 
714    基準ガウス分布調査終了検査ブロック
715    前景分離特徴量要素変更ブロック
716    前景分離要素処理処終了ブロック
801    f(DC)の影領域グラフ
802    他の特徴量要素グラフ
803    影検証グラフ
901    廊下でのテストフレーム画像写真
902    影除去前の中間前景分離結果写真
903    影除去を施した処理結果写真
904    レティネックス画像強調前処理回路の導入結果写真
【図１】
2015125513.tif 000003
【図２】
2015125513.tif 000004
【図３】
2015125513.tif 000005
【図４】
2015125513.tif 000006
【図５】
2015125513.tif 000007
【図６】
2015125513.tif 000008
【図７】
2015125513.tif 000009
【図８】
2015125513.tif 000010
【図９】
2015125513.tif 000011