(57)【要約】【課題】抽出対象の特徴を有する所望の移動体を効率的に検出することができるようにする。【解決手段】カメラ１により撮影された画像のうち、時間的に近傍の２つの画像Ａ，Ｂの差分画像を演算する差分演算部３と、差分画像演算部３により演算された差分画像を構成する各画素の画素値を１つまたは複数の差分閾値と比較して、その差分画像を構成する各画素をクラス分けするクラス分類部４とを設け、移動体検出部６がクラス分類部４によりクラス分けされた画素のうち、指定のクラスに属する画素から移動体を検出する。【選択図】図１
2009163498.tif 000002
【特許請求の範囲】
【請求項１】
移動体検出対象領域の画像を撮影するカメラと、上記カメラにより撮影された画像のうち、時間的に近傍の２つの画像の差分画像を演算する差分画像演算手段と、上記差分画像演算手段により演算された差分画像を構成する各画素の画素値を１つまたは複数の差分閾値と比較して、上記差分画像を構成する各画素をクラス分けする画素分類手段と、上記画素分類手段によりクラス分けされた画素のうち、指定のクラスに属する画素から移動体を検出する移動体検出手段とを備えた画像処理装置。
【請求項２】
差分画像演算手段は、カメラが移動している場合、時間的に近傍の２つの画像のうち、撮影時刻が前の方の画像の動きを予測して予測画像を求め、上記予測画像と撮影時刻が後の方の画像との差分画像を演算することを特徴とする請求項１記載の画像処理装置。
【請求項３】
差分画像演算手段は、予測画像を求める際、カメラの移動形態に見合う動きの予測処理を実施することを特徴とする請求項２記載の画像処理装置。
【請求項４】
カメラにより撮影された画像を構成する各画素の画素値に応じて撮影画像を複数の画像領域に分割し、上記撮影画像の分割領域毎に差分閾値を設定する閾値設定手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
【請求項５】
カメラにより撮影された画像を構成する各画素の近傍画素の画素値から各画素の画像特徴値を算出し、各画素の画像特徴値に応じて撮影画像を複数の画像領域に分割し、上記撮影画像の分割領域毎に差分閾値を設定する閾値設定手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
【請求項６】
閾値設定手段は、各画素の画像特徴値として、近傍画素の最小画素値、最大画素値、中央値又はメディアン値、あるいは、近傍画素の画素値の量子化値のメディアン値又は指定範囲値のいずれかを算出することを特徴とする請求項５記載の画像処理装置。
【請求項７】
撮影画像を分割して、上記各分割領域の画像特徴値を算出し、各分割領域の画像特徴値に応じて分割領域毎に差分閾値を設定する閾値設定手段を設けたことを特徴とする請求項１から請求項３のうちのいずれか１項記載の画像処理装置。
【請求項８】
閾値設定手段は、各分割領域の画像特徴値として、当該分割領域の最小画素値、最大画素値、中央値又はメディアン値、あるいは、当該分割領域の画素値の量子化値のメディアン値又は指定範囲値のいずれかを算出することを特徴とする請求項７記載の画像処理装置。
【請求項９】
画素分類手段により同一のクラスに分類された画素の画素値を同じ値に変換する画素値変換手段を設けたことを特徴とする請求項１から請求項８のうちのいずれか１項記載の画像処理装置。
【請求項１０】
画素値変換手段は、指定のクラスと指定以外のクラスの２種に分けて、指定のクラスに属する画素の画素値と、指定以外のクラスに属する画素の画素値とを２値のデータに変換することを特徴とする請求項９記載の画像処理装置。
【請求項１１】
移動体検出手段は、指定のクラスに属する画素から所定の条件に合致する移動体を検出することを特徴とする請求項１から請求項１０のうちのいずれか１項記載の画像処理装置。
【請求項１２】
移動体検出手段は、所定の条件として、検出対象の長さの範囲、幅の範囲、垂直との角度の範囲、動き量の範囲、あるいは、それらの条件の組み合わせを用いることを特徴とする請求項１１記載の画像処理装置。
【請求項１３】
移動体検出手段は、所定の条件として動き量の範囲を用いる場合、２つの画像のうち、１つの画像を予測画像の基準となる基準画像、他方の画像を予測画像として、指定のクラスに属する所定の範囲の画素に対して予測画像を探索して動き量を求めることを特徴とする請求項１２記載の画像処理装置。
【請求項１４】
移動体検出手段は、所定の条件として、検出対象の長さの範囲、幅の範囲又は動き量の範囲を用いる場合、これらの範囲をカメラと背景との距離から適応的に決定することを特徴とする請求項１２記載の画像処理装置。
【請求項１５】
移動体検出手段は、所定の条件として、検出対象の長さの範囲、幅の範囲又は動き量の範囲を用いる場合、これらの範囲をカメラのズームインによる画像の拡大操作又はズームアウトによる画像の縮小操作から適応的に決定することを特徴とする請求項１２記載の画像処理装置。
【請求項１６】
移動体検出手段は、所定の条件として、検出対象の長さの範囲を用いる場合、上記範囲をカメラのシャッター速度から適応的に決定することを特徴とする請求項１２記載の画像処理装置。
【請求項１７】
移動体検出手段により検出された移動体を含む画像から、当該画像の近傍の画像に基づいて当該移動体の画像を除去する移動体除去手段を設けたことを特徴とする請求項１から請求項１６のうちのいずれか１項記載の画像処理装置。
【請求項１８】
前記検出された対象画像に対し、時間的に近傍の画像で対象画像の動き量に対応する画像及びその近傍の画像に基づいて検出対象画像を除去する除去部を備えることを特徴とする請求項１から請求項１６のうちいずれか１項記載の画像処理装置。
【請求項１９】
前記検出された対象画像に対し、前記対象画像の空間的近傍の画像及び時間的に近傍の画像で対象画像の動き量に対応する画像及びその近傍の画像に基づいて検出対象画像を除去する除去部を備えることを特徴とする請求項１から請求項１６のうちいずれか１項記載の画像処理装置。
【請求項２０】
カメラが移動体検出対象領域の画像を撮影する画像撮影ステップと、差分画像演算手段が上記カメラにより撮影された画像のうち、時間的に近傍の２つの画像の差分画像を演算する差分画像演算ステップと、画素分類手段が上記差分画像演算手段により演算された差分画像を構成する各画素の画素値を１つまたは複数の差分閾値と比較して、上記差分画像を構成する各画素をクラス分けする画素分類ステップと、移動体検出手段が上記画素分類手段によりクラス分けされた画素のうち、指定のクラスに属する画素から移動体を検出する移動体検出ステップとを備えた画像処理方法。
【請求項２１】
カメラが移動体検出対象領域の画像を撮影すると、上記カメラにより撮影された画像のうち、時間的に近傍の２つの画像の差分画像を演算する差分画像演算処理手順と、上記差分画像演算処理手順により演算された差分画像を構成する各画素の画素値を１つまたは複数の差分閾値と比較して、上記差分画像を構成する各画素をクラス分けする画素分類処理手順と、上記画素分類処理手順によりクラス分けされた画素のうち、指定のクラスに属する画素から移動体を検出する移動体検出処理手順とをコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、カメラにより撮影された画像から移動体を検出する画像処理装置、画像処理方法及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
従来の画像処理装置は、例えば、以下の特許文献１に開示されており、以下の要素から構成されている。
（１）画像を入力するＴＶカメラ
（２）ローパスフィルタ部（以下、「ＬＰＦ部」と称する）
（３）Ａ／Ｄ変換器
（４）画像を切り換えるマルチプレクサ
（５）画像を記憶する２つのフレーム画像メモリ
（６）２つのフレームメモリの画像の差分演算を行う差分器
（７）撮影画像の中から同一の移動体を判別する移動体判別処理部
（８）移動体判別処理部により判別された移動体から降雨雪成分を抽出する面積閾値処理部
（９）降雨雪の強度を算出する降雨雪強度算出部
【０００３】
次に動作について説明する。
ＴＶカメラが降雨雪検出対象領域の画像を撮影すると、ＬＰＦ部がＴＶカメラにより撮影された画像に対するローパスフィルタ処理を実施した後、Ａ／Ｄ変換器が当該画像をデジタルフレーム画像に変換する。
このとき、マルチプレクサが画像を交互に切り換えることにより、時間的に隣合うデジタルフレーム画像を別々のフレーム画像メモリに格納し、差分器が２つのフレーム画像メモリに格納されたデジタルフレーム画像同士のシーケンシャル差分演算を実施する。
ここで、シーケンシャル差分とは、時間的に隣り合う２つの画像の差分のことである。
【０００４】
移動体判別処理部は、差分器によるシーケンシャル差分演算の演算結果を利用して、撮影画像の中から同一の移動体を判別する。
面積閾値処理部は、移動体判別処理部により判別された移動体の面積と所定の閾値を比較する面積閾値処理を実施して、移動体から降雨雪成分を抽出する。
降雨雪強度算出部は、面積閾値処理部により抽出された降雨雪成分の濃度二乗和又は面積比を算出し、その算出結果を降雨雪の強度検出結果として出力する。
【０００５】
このように、従来の画像処理装置では、差分器が時間的に隣り合うデジタルフレーム画像のシーケンシャル差分を演算しているので、画像に写っている物体が移動体である場合には、その物体の両端位置に、その移動距離に対応する長さの正（＋）の極性を持つ領域ｍと、負（−）の極性を持つ領域ｍ’がペアで表れる。
これにより、両極性が現れる物体が移動体であると判別されて、移動体の抽出が行われるが、差分の大きさによるクラス分けについては記載されておらず、差分の大小にかかわらず両極性が現れる物体を移動体として判別される。
このため、降雨雪以外の移動体についても検出されることから、面積閾値処理による移動体の面積の大きさによって、降雨雪以外の移動体からも降雨成分として抽出されることがある。
【０００６】
【特許文献１】特開平１１−２１１８４５号公報（段落番号［００１６］から［００２０］、図１）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来の画像処理装置は以上のように構成されているので、撮影時刻が隣り合う２つの画像の差分画像の大小にかかわらず、両極性が現れる物体が移動体として判別される。このため、降雨雪以外の移動体についても検出されてしまうなどの課題があった。
【０００８】
この発明は上記のような課題を解決するためになされたもので、抽出対象の特徴を有する所望の移動体を効率的に検出することができる画像処理装置、画像処理方法及び画像処理プログラムを得ることを目的とする。
【課題を解決するための手段】
【０００９】
この発明に係る画像処理装置は、カメラにより撮影された画像のうち、時間的に近傍の２つの画像の差分画像を演算する差分画像演算手段と、差分画像演算手段により演算された差分画像を構成する各画素の画素値を１つまたは複数の差分閾値と比較して、その差分画像を構成する各画素をクラス分けする画素分類手段とを設け、移動体検出手段が画素分類手段によりクラス分けされた画素のうち、指定のクラスに属する画素から移動体を検出するようにしたものである。また、移動体除去手段を設け、移動体検出手段により検出された移動体を含む画像から、当該画像の近傍の画像に基づいて当該移動体の画像を除去するようにしたものである。
【発明の効果】
【００１０】
この発明によれば、カメラにより撮影された画像のうち、時間的に近傍の２つの画像の差分画像を演算する差分画像演算手段と、差分画像演算手段により演算された差分画像を構成する各画素の画素値を１つまたは複数の差分閾値と比較して、その差分画像を構成する各画素をクラス分けする画素分類手段とを設け、移動体検出手段が画素分類手段によりクラス分けされた画素のうち、指定のクラスに属する画素から移動体を検出するように構成したので、抽出対象の特徴を有する所望の移動体を効率的に検出することができる効果がある。また、検出した不要な移動体を除去することで、視界の遮りが改善され被写体がより鮮明に見えるようになる効果がある。
【発明を実施するための最良の形態】
【００１１】
実施の形態１．
図１はこの発明の実施の形態１による画像処理装置を示す構成図であり、図において、カメラ１は移動体検出対象領域の画像を撮影し、撮影した画像を画像メモリ２に格納する。
画像メモリ２はカメラ１により撮影された画像を格納する。図中、画像Ａと画像Ｂはカメラ１による撮影時刻が隣り合う２つの画像（時間的に近傍の２つの画像）であり、画像Ａの撮影時刻が画像Ｂの撮影時刻より早いものとする。
【００１２】
差分演算部３は画像メモリ２から画像Ａ，画像Ｂを読み出して、画像Ａと画像Ｂの差分画像を演算し、その差分画像を構成する各画素の画素値を差分データとして出力する。なお、差分演算部３は差分画像演算手段を構成している。
クラス分類部４は差分演算部３から出力された差分データが示す各画素の画素値と、１つまたは複数の差分閾値（例えば、３つの差分閾値）とを比較して、その差分画像を構成する各画素をクラス分けする（例えば、４つのクラスに分ける）処理を実施する。なお、クラス分類部４は画素分類手段を構成している。
【００１３】
クラス選択部５は差分画像を構成する各画素が分類されている複数のクラスのうち、任意のクラスを選択する処理を実施する。
移動体検出部６はクラス選択部５により選択されたクラスに属する画素から移動体を検出し、その移動体の差分画像を出力する処理を実施する。
なお、クラス選択部５及び移動体検出部６から移動体検出手段が構成されている。
【００１４】
図１の例では、画像処理装置の構成要素である差分演算部３、クラス分類部４、クラス選択部５及び移動体検出部６がそれぞれハードウェアで構成されているものを想定しているが、画像処理装置がコンピュータで構成される場合、差分演算部３、クラス分類部４、クラス選択部５及び移動体検出部６の処理内容を記述している移動体検出プログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されている移動体検出プログラムを実行するようにしてもよい。なお、ハードウェア構成の場合、ハードワイヤードロジックのハードウェア、ＦＰＧＡのようなプログラマブルデバイスで構成してもよく、また一部処理をプロセッサによるファームウェア処理にするハードウェアとファームウェアのハイブリッド構成にするようにしてもよく、各部位の処理が実現できるハードウェア、ファームウェアあるいはソフトウェアであればよく、本願発明を制限するものではない。
図７はこの発明の実施の形態１による画像処理方法を示すフローチャートである。
【００１５】
次に動作について説明する。
カメラ１は、移動体検出対象領域の画像をフレーム単位で撮影し、フレーム単位の画像を画像メモリ２に格納する。
ここで、図２はカメラ１による撮影時刻が隣り合う画像Ａと画像Ｂの一例を示す説明図である。
図２において、縦長の長方形は建物を表しており、横長の長方形は列車などの移動体を表している。
なお、図２では、説明の都合上、分かり易くするために、横長の長方形の移動体は均一の画素値とし、その移動体は背景より画素値が大きい値であるものとする。
【００１６】
差分演算部３は、カメラ１が画像Ａ，画像Ｂを画像メモリ２に格納すると、画像メモリ２から画像Ａ，画像Ｂを読み出して、画像Ａと画像Ｂの差分画像を演算し、その差分画像を構成する各画素の画素値を差分データとして出力する（ステップＳＴ１）。
ここで、図３は画像Ａと画像Ｂの差分画像の一例を示す説明図である。
図３の例では、画像Ａから画像Ｂを差し引いた結果を示しており、図中、実線部は差分演算結果が正の値を示す領域、点線枠を含む灰色部は差分演算結果が「０」の領域、一点破線部は差分演算結果が負の値を示す領域である。
【００１７】
具体的には、画像Ａの雨及び横長の長方形の移動体の一部は差分演算結果が正、画像Ｂの雨及び横長の長方形の移動体の一部は差分演算結果が負、縦長の長方形の建物を含むその他背景は差分演算結果が「０」である。
この実施の形態１では、建物を含む背景が静止した画像であるため、画像Ａと画像Ｂの差分演算を行うと、図３に示すように、建物を含む背景の差分演算結果が「０」になる。
また、雨は、見た目に白っぽく見えることがあるが、実際に、雨は水滴であり、白色ではなく無色透明に近い。
しかし、見た目に白っぽく見えるのは、相対的に明るく知覚されるためであるといえる。
よって、画像Ａに雨がある画素位置については「画像Ａの雨−画像Ｂの背景」によって差分演算結果が「正（実線）」になり、画像Ｂに雨がある画素位置については「画像Ａの背景−画像Ｂの雨」によって差分演算結果が「負（一点破線）」になる。
【００１８】
なお、時間的に連続する画像の時間間隔によるが、一般的な実用レベルの秒３０フレーム（プログレッシブ）や秒３０フレーム（インタレース：フィールド換算では秒６０フィールド）では、雨が高速に落下するため、雨の差分演算結果である「正」と「負」が離れて、横長の長方形の移動体のように、画像Ａの雨と画像Ｂの雨が重なることはない。
実際、雨は球状又は球状に近い形状であり、撮影された雨が線状に見えるのは、シャッター速度に依存し、残像として雨の軌跡が写っているためである。
よって、対象の雨が重なるほど、画像Ａと画像Ｂの撮影時間間隔が近い場合は、雨より遅い動きのものは静止して見え、かつ、球状もしくは球状に近い雨の一部が画像Ａと画像Ｂで重なり合うことになる。
この場合は、後述する雨等の移動体の除去を考慮すると、重なり部分の全部もしくは一部がクラス分けにより除外される場合があり得るため、除去を前提とした移動体を検出するには、図３に示すように、画像Ａと画像Ｂの差分により抽出対象となる移動体が重ならないような時間間隔にするのが望ましい。
この実施の形態１では、上記の通り一般的な実用レベルの秒３０フレームで、画像Ａと画像Ｂの雨が重ならない例を図３に示している。
【００１９】
クラス分類部４は、差分演算部３から差分データを受けると、例えば、以下に示すように、その差分データが示す各画素の画素値ｘと、３つの差分閾値Ｔｈ１，Ｔｈ２，Ｔｈ３（ただし、Ｔｈ１＜Ｔｈ２＜Ｔｈ３）とを比較して、その差分画像を構成する各画素を４つのクラスに分類する（ステップＳＴ２）。
・ｘ＜Ｔｈ１          →  クラス１
・Ｔｈ１≦ｘ＜Ｔｈ２  →  クラス２
・Ｔｈ２≦ｘ＜Ｔｈ３  →  クラス３
・Ｔｈ３≦ｘ          →  クラス４
クラス分類部４は、差分画像を構成する各画素をクラスに分けすると、差分画像における当該画素の位置に、当該画素が属するクラスの値（１，２，３，４）を付加して出力する。
【００２０】
ここで、図４はクラス分類部４による閾値判定とクラスの対応関係の一例を示す説明図である。
図４の例では、Ｔｈ１＝ｐ，Ｔｈ２＝ｑ，Ｔｈ３＝ｒであり、ｐ＜ｑ＜ｒである（ｐ，ｑ，ｒが同値の場合は、４つのクラスに分類されないため、同値は含まない）。例えば、ｐ＝０，ｑ＝１０，ｒ＝２０とする。
図４のクラス１は、「ｘ＜Ｔｈ１（＝ｐ＝０）」であるので、図３の差分値が「負」となる一点破線部の領域が該当する。
クラス２は「Ｔｈ１（＝ｐ＝０）≦ｘ＜Ｔｈ２（＝ｑ＝１０）」であるので、図３の差分値が「０」となる破線部の領域が該当する。
クラス３は「Ｔｈ２（＝ｑ＝１０）≦ｘ＜Ｔｈ３（＝ｒ＝２０）」であるので、図３の差分値が「正」となる実線部の領域が全部又は一部が該当するか、もしくは該当しない。
クラス４は「Ｔｈ３（＝ｒ＝２０）≦ｘ」であるので、図３の差分値が「正」となる実線部の領域が全部又は一部が該当するか、もしくは該当しない。
【００２１】
クラス選択部５は、差分画像を構成する各画素が分類されている複数のクラスのうち、任意のクタスを選択する（ステップＳＴ３）。ただし、クラスの選択はユーザが指定するようにしてもよいし、予め設定されているクラスを選択するようにしてもよい。
例えば、クラス３を選択する場合、クラス３に属する画素が有効データであることが、移動体検出部６で認識されるようにするため、差分演算部３から出力された画像Ａと画像Ｂの差分画像を構成する画素のうち、どの画素がクラス３に属する画素であるかを示す情報を移動体検出部６に出力する。
【００２２】
上記のように、抽出対象のクラスを“３”として、ｐ＝０とする場合、クラス１は差分演算結果が「負」の領域で抽出対象ではない。
また、上述したように、雨は背景より相対的に明るく見えることがあることから、Ｔｈ２（＝ｑ＝１０）とＴｈ３（＝ｒ＝２０）を閾値として、クラス３「Ｔｈ２（＝ｑ＝１０）≦ｘ＜Ｔｈ３（＝ｒ＝２０）」を雨に該当すると推定して、クラス２「Ｔｈ１（＝ｐ＝０）≦ｘ＜Ｔｈ２（＝ｑ＝１０）」及びクラス４「Ｔｈ３（＝ｒ＝２０）≦ｘ」を抽出移動体対象から除外する。
差分閾値の値ｐ，ｑ，ｒを制御することにより、抽出対象のクラス３を選択することで、抽出対象（雨を含む対象）が抽出される。
クラス選択部５が、クラス３を抽出対象のクラスとし出力する選択クラスは、クラス３のみ「３」とし、クラス３以外は無効である「０」を設定して移動体検出部６に出力する。
【００２３】
移動体検出部６は、差分演算部３から出力された画像Ａと画像Ｂの差分画像を構成している各画素のうち、クラス選択部５により選択されたクラスに属する画素、即ち、クラス３に属する画素から、抽出対象の特徴情報を有する移動体の差分画像を検出し、その移動体の差分画像を出力する（ステップＳＴ４）。
移動体検出部６から出力される移動体の差分画像は、例えば、視界の妨げになる等の理由で除去したい特定の移動体（雨、雪、小枝等の木片、小石など）である。
【００２４】
ここで、図５は移動体検出部６により検出された移動体の一例を示す説明図である。
図５（ｂ）に示すように、クラス選択部５により選択されたクラス３には、雨の差分画像のみが抽出されて、雨以外はない場合もあるが、図５（ａ）に示すように、クラス選択部５により選択されたクラス３には、雨の差分画像の他に、横長の長方形の移動体の一部が抽出される場合もあり得る。
差分閾値の制御によって雨のみを抽出することができる場合もあるが、上記のように、雨以外の移動体も一緒に抽出される場合は、さらに、移動体検出部６で抽出対象の移動体の特徴情報に基づいて、画像Ａと画像Ｂの差分画像から移動体を抽出することで、図５（ｂ）に示すように、抽出対象の移動体（雨)のみが抽出される。
【００２５】
以上で明らかなように、この実施の形態１によれば、カメラ１により撮影された画像のうち、撮影時刻が隣り合う２つの画像Ａ，Ｂの差分画像を演算する差分演算部３と、差分画像演算部３により演算された差分画像を構成する各画素の画素値を１つまたは複数の差分閾値と比較して、その差分画像を構成する各画素をクラス分けするクラス分類部４とを設け、移動体検出部６がクラス分類部４によりクラス分けされた画素のうち、指定のクラスに属する画素から移動体を検出するように構成したので、抽出対象の特徴を有する所望の移動体を効率的に検出することができる効果を奏する。
【００２６】
この実施の形態１では、カメラ１からフレーム単位の画像が画像メモリ２に出力されるものについて示したが、これに限るものではなく、例えば、カメラ１からフィールド単位の画像が画像メモリ２に出力されるようにしてもよい。
また、この実施の形態１では、差分演算部３が画像メモリ２から時間的に連続する２つの画像Ａと画像Ｂを読み出して、画像Ａと画像Ｂの差分演算を実施するものについて示したが、これに限るものではなく、例えば、差分演算部３が画像メモリ２から時間的に連続していないが、近傍の２つの画像を読み出して、近傍の２つの画像の差分演算を実施するようにしてもよい。
【００２７】
また、この実施の形態１では、差分演算部３が画像メモリ２から時間的に連続する２つの画像Ａと画像Ｂを読み出すものについて示したが、差分演算部３が、撮影時刻が早い方の画像Ａを内部バッファに格納するようにして、画像メモリ２からは１つの画像Ｂだけを読み出すことにより、画像Ａと画像Ｂの差分演算を実施するようにしてもよい。
【００２８】
この実施の形態１では、クラス分類部４が３つの差分閾値Ｔｈ１，Ｔｈ２，Ｔｈ３と比較して、差分画像を構成する各画素を４つのクラスに分類するものについて示したが、これは一例に過ぎず、例えば、４つ以上の差分閾値と比較して、５つ以上のクラスに分類するようにしてもよい。
ただし、特定の範囲の差分値を抽出するためには差分閾値は２つ以上がよい。これは抽出したい移動体の特徴に依存するが、差分閾値が２つ以上ある場合は、「０〜∞」の範囲の中で、任意の範囲の差分値領域を選択することができる。
なお、抽出したい差分値の範囲が「０寄り」あるいは「∞寄り（実際は有効範囲上限付近）」である場合、差分閾値の一つだけ「０寄り」あるいは「∞寄り（有効範囲上限付近）」に設定することで２つのクラスに分類され、一方が抽出したいクラスになる。
【００２９】
また、この実施の形態１では、４つのクラスの値を１，２，３，４とし、そのうち、抽出対象のクラスを「３」とするものについて示したが、分類されるクラスの数は、差分閾値の数に依存し、また、抽出対象のクラスは「３」に限らず、抽出したい移動体の特徴に依存するのは明らかであり、分類されるクラスの数及び抽出対象のクラスにより、本願発明を制限するものではない。
また、この実施の形態１では、クラス選択部５で、クラスの値のうち「３」以外のクラスの値を無効値の「０」にして、選択クラスを出力するようにているが、移動体検出部６に入力する差分画像の画面内の画素位置に連動して選択クラスをクラス有効／無効フラグとして、有効フラグの立っているクラスに対応する差分画像を移動体検出部６で取り扱うようにしてもよい。
【００３０】
この実施の形態１では、移動体検出部６が画像Ａと画像Ｂの差分画像を入力するものについて示したが、図６に示すように、クラス選択部５がクラス分類部４により分類されたクラスと差分画像を入力して、移動体検出部６が差分画像を入力しないようにしてもよい。
この場合、クラス選択部５がクラス分類部４により分類されたクラスから任意のクラスを選択し、例えば、クラス３を選択する場合、クラス３に属する画素だけを有効データとして移動体検出部６に出力し、クラス３以外のクラス１，２，４に属する画素は無効データとして移動体検出部６に出力するようにしてもよい（例えば、クラス１，２，４に属する画素の画素値を「０」に置換して移動体検出部６に出力する）。
【００３１】
また、この実施の形態１では、差分演算部３が画像Ａから画像Ｂを差し引く差分演算を実施するものについて示したが、画像Ｂから画像Ａを差し引く差分演算を実施するようにしてもよい。
ただし、この場合、差分演算結果の符号が反転するので、差分閾値の符号を反転する必要がある。
なお、この実施の形態１では、差分閾値がｐ＝０，ｑ＝１０，ｒ＝２０であるものについて示したが、ｐ，ｑ，ｒの差分閾値は任意の値でよい。
【００３２】
実施の形態２．
図８はこの発明の実施の形態２による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
動き予測部７は例えばカメラ１が移動している場合、画像Ａの動きを予測して予測画像Ａ’を求める処理を実施する。ただし、画像Ａの撮影時刻が画像Ｂの撮影時刻より早いものとする。
差分演算部８は画像メモリ２から画像Ｂを読み出し、動き予測部７から出力された予測画像Ａ’と画像Ｂの差分画像を演算し、その差分画像を構成する各画素の画素値を差分データとして出力する。
なお、動き予測部７及び差分演算部８から差分画像演算手段が構成されている。
【００３３】
上記実施の形態１では、撮影時刻が隣り合う２つの画像Ａ，Ｂ、即ち、時間的に近傍の画像Ａと画像Ｂの差分画像を演算するものについて示したが、この手法は、カメラ１が固定で背景が静止している場合に有効である。
しかし、カメラ１が移動している場合など、背景が動いている場合には、画面全体が動いてしまうことになり、画面内の各所で０以外の差分値が現れる場合があり得る。
そこで、この実施の形態２では、２つの画像の差分演算で差分値を削減するために、時間的に近傍の２つの画像を用いて画像全体の動き予測を行うようにする。
【００３４】
即ち、動き予測部７は、画像メモリ２から画像Ａを読み出し、画像Ａの動きを予測して予測画像Ａ’を求め、その予測画像Ａ’を差分演算部８に出力する。
ここで、図９は画像Ａ、画像Ａの予測画像Ａ’及び画像Ｂの一例を示す説明図である。
図９の例では、縦長の長方形の建物を含む背景を画像Ｂと合わせるように画像Ａの動きを予測するため、横長の長方形の移動体については、画像Ｂと完全に一致せず、移動体が動いている分、予測画像Ａ’と画像Ｂとでずれが生じている。
また、画面に映っている雨についても同様で、画像Ａと画像Ｂで背景を合わせるように動きを予測しているため、雨についても移動の分、予測画像Ａ’と画像Ｂとでずれが生じている。
動き予測部７では、画像Ａと画像Ｂとの動き評価値により、動き予測を実施して動き予測画像Ａ’を差分演算部８に出力する。
【００３５】
差分演算部８は、動き予測部７から予測画像Ａ’を受けると、その予測画像Ａ’と画像メモリ２から読み出した画像Ｂとの差分画像を演算し、その差分画像を構成する各画素の画素値を差分データとして出力する。
以降の処理内容は上記実施の形態１と同様であるため詳細な説明を省略する。
【００３６】
以上で明らかなように、この実施の形態２によれば、カメラ１が移動することにより入力した画像の背景が動いている場合、時間的に近傍の２つの画像を用いて画像全体の動き予測を実施し、動き予測部７により予測された予測画像Ａ’と予測の基準となる他方の入力画像Ｂを用いて差分画像の演算を行うようにしたので、動き予測により背景を一致又は近い位置に合わせることができるようになり、その結果、差分画像の中から抽出対象の特徴を有する所望の移動体を効率的に検出することができる効果を奏する。
【００３７】
なお、この実施の形態２では、動き評価値により画像全体の動き予測を実施するものについて示したが、画像Ａと画像Ｂの差分絶対値和の最小となる動き予測、画像Ａと画像Ｂの差分二乗和の最小となる動き予測、画像Ａと画像Ｂの各画素差分値が“０”となる画素数が最大となる動き予測、画面内基準点あるいは基準対象（ランドマークとなる建物、人物等）が一致する（基準点又は基準対象との差分絶対値和の最小、差分二乗和の最小、基準点又は基準対象との各画素差分値が“０”となる画素数が最大となる）ような動き予測であってもよく、同様の効果を奏することができる。
【００３８】
この実施の形態２では、移動体検出部６が画像Ａと画像Ｂの差分画像を入力するものについて示したが、図１０に示すように、クラス選択部５がクラス分類部４により分類されたクラスと差分画像を入力して、移動体検出部６が差分画像を入力しないようにしてもよい。
この場合、クラス選択部５がクラス分類部４により分類されたクラスから任意のクラスを選択し、例えば、クラス３を選択する場合、クラス３に属する画素だけを有効データとして移動体検出部６に出力し、クラス３以外のクラス１，２，４に属する画素は無効データとして移動体検出部６に出力するようにしてもよい（例えば、クラス１，２，４に属する画素の画素値を「０」に置換して移動体検出部６に出力する）。
【００３９】
実施の形態３．
上記実施の形態２では、動き予測部７が画像Ａの動きを予測して予測画像Ａ’を求めるものについて示したが、動き予測部７が予測画像Ａ’を求める際、カメラ１の移動形態に見合う動きの予測処理を実施するようにしてもよい。
ここで、図１１は動き予測部７によるカメラ１の移動形態に見合う動きの予測処理を示す説明図である。
【００４０】
図１１では、カメラ１が回転や水平移動する例を示しており、特に図１１（ａ）は無限遠点を基点とするカメラ１の回転で、遠方ほど移動が少なく、カメラ１に近いほど相対的に大きな移動になる例を示している。
また、図１１（ｂ）はカメラ１を基点とする回転で、図１１（ａ）とは逆に無限遠点に近いほど相対的な移動が大きく、カメラ１に近いほど相対的な移動が小さくなる例を示している。
図１１（ｃ）はカメラ１の水平移動で、カメラ１との距離にかかわらず画面の動きは一定である例を示している。
【００４１】
よって、図１１（ｃ）のように、カメラ１の水平移動（あるいは、垂直移動又は水平移動と垂直移動の組み合せ）の場合は、画面の動きが一律であるため、その一律の動きに基づいて画像全体の動き予測を行うようにする。
また、図１１（ａ）（ｂ）においては、無限遠点とカメラ１近傍とでは、相対的な移動量が異なる。カメラ１の回転移動による３次元的な動き予測が行える場合は、カメラ１との距離により相対的な移動量を変えて動き予測を実施し、２次元的な動き予測を行う場合は、空間上の不要な移動体（雨等）を除去するという観点から背景の移動量に合わせた動き予測を実施した方が、背景以外の移動体を抽出するのに効果的である。
【００４２】
以上で明らかなように、この実施の形態３によれば、動き予測部７が予測画像Ａ’を求める際、カメラ１の移動形態に見合う動きの予測処理を実施するように構成したので、動き予測により背景を一致又は近い位置に合わせることができるようになり、その結果、差分画像の中から抽出対象の特徴を有する所望の移動体を効率的に検出することができる効果を奏する。
【００４３】
なお、この実施の形態３では、カメラの移動形態が回転や水平移動であるものについて示したが、例えば、垂直移動、水平移動と垂直移動、回転と各種移動との組も合せなどであってもよい。
【００４４】
実施の形態４．
図１２及び図１３はこの発明の実施の形態４による画像処理装置の一部を示す構成図であり、図において、領域分割部１１は画像メモリ２から読み出した画像Ａを構成する各画素の画素値に応じて撮影画像を分割し、撮影画像の分割結果を示す領域分割情報を図１３の差分閾値制御部１２に出力するとともに、画像Ａを差分演算部３に出力する処理を実施する
差分閾値制御部１２は領域分割部１１から出力された領域分割情報にしたがって撮影画像の分割領域毎に差分閾値を設定する処理を実施する。
なお、領域分割部１１及び差分閾値制御部１２から閾値設定手段が構成されている。
【００４５】
次に動作について説明する。
領域分割部１１は、画像メモリ２から画像Ａを読み出すと、画像Ａを構成する各画素の画素値の大きさに基づいて撮影画像を分割する。
ここで、図１５は領域分割部１１により分割された撮影画像を示す説明図である。
図１５の例では、背景と、縦長の長方形の建物と、横長の長方形の移動体と、抽出対象の移動体との４つに分割されている。
【００４６】
抽出対象の移動体は、雨の場合、無色透明、あるいは、それに近く、背景の画素値の影響を受け易いが、小枝等の木片や小石の場合、背景の画素値の影響は受けずに自分自身の画素値が映される。
よって、差分画像から抽出対象の移動体を検出するためには、絶対的な画素値を有する小枝や小石の場合は、背景との相対的な差分値を考慮する必要がある。
即ち、背景画像との差分をそのまま行うと、背景の各領域の画素値によって差分値がまちまちになる。
これを回避するためには、背景の各領域毎に差分閾値を制御する必要がある。
【００４７】
そこで、この実施の形態４では、領域分割部１１が背景、縦長の長方形の建物、横長の長方形の移動体、抽出対象の移動体の４つの領域に分割し、差分閾値制御部１２が入力した差分閾値をそれぞれの領域毎に更新して、領域毎に異なる差分閾値をクラス分類部４に出力するようにしている。
背景、建物、移動体の相対的な画素値の違いを考慮して、差分閾値を更新することにより、絶対的な画素値を有する小枝や小石等の抽出対象移動体のクラス分けが行える。
【００４８】
以上で明らかなように、この実施の形態４によれば、領域分割部１１が画像Ａを構成する各画素の画素値に応じて撮影画像を分割し、差分閾値制御部１２が撮影画像の分割領域毎に差分閾値を設定するように構成したので、絶対的な画素値を有する小枝や小石等の抽出対象移動体のクラス分けを効率的に行うことができる効果を奏する。
【００４９】
なお、この実施の形態４では、領域分割部１１が画像Ａを構成する各画素の画素値に応じて撮影画像を分割するものについて示したが、図１４に示すように、予測画像Ａ’を構成する各画素の画素値に応じて撮影画像を分割するようにしてもよく、同様の効果を奏することができる。
【００５０】
実施の形態５．
図１６及び図１７はこの発明の実施の形態５による画像処理装置の一部を示す構成図であり、図において、画像特徴算出部１３は画像メモリ２から読み出した画像Ａを構成する各画素の近傍画素の画素値から、各画素の画像特徴値（画像特徴値の詳細は、下記の実施の形態６で説明する）を算出し、その算出結果を示す画像特徴情報を図１７の領域分割部１４に出力する処理を実施する。
領域分割部１４は各画素の画像特徴値に応じて撮影画像を分割し、撮影画像の分割結果を示す領域分割情報を図１３の差分閾値制御部１２に出力するとともに、画像Ａを差分演算部３に出力する処理を実施する
なお、画像特徴算出部１３、領域分割部１４及び差分閾値制御部１２から閾値設定手段が構成されている。
【００５１】
上記実施の形態４では、領域分割部１１が画像Ａを構成する各画素の画素値の大きさに基づいて撮影画像を分割するものについて示したが、画像特徴算出部１３が画像Ａを構成する各画素の近傍画素の画素値から、各画素の画像特徴値を算出し、領域分割部１４が各画素の画像特徴値に応じて撮影画像を分割するようにしてもよい。
具体的には、以下の通りである。
【００５２】
画像特徴算出部１３は、画像メモリ２から画像Ａを読み出すと、画像Ａを構成する各画素の近傍画素の画素値の大きさに基づいて、各画素の画像特徴値を算出し、その算出結果を示す画像特徴情報を領域分割部１４に出力する。
領域分割部１４は、画像特徴算出部１３から画像特徴情報を受けると、各画素の画像特徴値に応じて撮影画像を分割する。
即ち、背景や特定の対象毎に領域を分割するために、近傍の画素で孤立点を排除して、主要な画素の集まりで領域を分割する。
評価対象となる画素がエッジ部の場合は、近傍の画素と比べることにより、右上や左下など、何れかの方向のエリアとグルーピングされる。近傍の画素の値は、必ずしも同値とは限らないので、適度な領域に分割できるよう画素値に幅を持たせて近傍の画素値比較を実施して領域を分割する。
【００５３】
ここで、図１９は領域分割部１４により分割された撮影画像を示す説明図である。
近傍の画素値に基づいて、孤立点ノイズや多少の画素値の変化がある場合でも、画像特徴情報を算出して領域を分割することで、図１９に示すように、背景、縦長の長方形の建物、横長の長方形の移動体、抽出対象の移動体の４つに分割することができる。
差分閾値制御部１２は、領域分割部１４から領域分割情報を受けると、上記実施の形態４と同様に、その領域分割情報にしたがって撮影画像の分割領域毎に差分閾値を設定する。
【００５４】
以上で明らかなように、この実施の形態５によれば、画像特徴算出部１３が画像Ａを構成する各画素の近傍画素の画素値から、各画素の画像特徴値を算出し、領域分割部１４が各画素の画像特徴値に応じて撮影画像を分割し、差分閾値制御部１２が撮影画像の分割領域毎に差分閾値を設定するように構成したので、孤立点ノイズや多少の画素値の変化がある場合でも、抽出対象の移動体のクラス分けを効率的に行うことができる効果を奏する。
【００５５】
なお、この実施の形態５では、画像特徴算出部１３が画像Ａを構成する各画素の近傍画素の画素値から、各画素の画像特徴値を算出するものについて示したが、図１８に示すように、予測画像Ａ’を構成する各画素の画素値の近傍画素の画素値から、各画素の画像特徴値を算出するようにしてもよく、同様の効果を奏することができる。
【００５６】
実施の形態６．
上記実施の形態５では、画像特徴算出部１３が各画素の画像特徴値を算出するものについて示したが、この実施の形態６では、各画素の画像特徴値として、近傍画素の最小画素値、最大画素値、中央値又はメディアン値、あるいは、近傍画素の画素値の量子化値のメディアン値又は指定範囲値のいずれかを算出するようにする。
例えば、自身の画素と周囲１画素ずつの近傍画素は３×３画素になるが、この場合の画像特徴値は、その３×３画素の最小値、最大値、中央値又はメディアン値となるようにする。
あるいは、３×３画素値が所定の量子化ステップで量子化された量子化代表値のメディアン値となるように、あるいは、３×３画素値が指定の範囲の値になるように変換する。
【００５７】
この実施の形態６によれば、各画素の画像特徴値として、近傍画素の最小画素値、最大画素値、中央値又はメディアン値、あるいは、近傍画素の画素値の量子化値のメディアン値又は指定範囲値のいずれかを算出するように構成したので、孤立点ノイズや多少の画素値の変化がある場合でも、抽出対象の移動体のクラス分けを効率的に行うことができる効果を奏する。
【００５８】
なお、この実施の形態６では、画像特徴算出部１３が出力する画像特徴情報が各画素の画像特徴値であるものについて示したが、３×３画素値を所定の量子化ステップで量子化された量子化代表値、閾値によりクラス分けされた各クラスの代表値や、その他の特徴情報でもよい。
【００５９】
実施の形態７．
上記実施の形態５，６では、特に画像Ａを予め複数の領域に分割することについては言及していないが、予め画像Ａをブロック単位に複数の領域に分割するブロック分割部を備えるようにしてもよい。
この場合、画像特徴算出部１３は、ブロック分割部により分割されたブロック単位で画像特徴値を算出し、領域分割部１４は、画像特徴算出部１３から出力された画像特徴情報にしたがって撮影画像を分割し、差分閾値制御部１２は、領域分割部１４から出力された領域分割情報にしたがってブロック毎に差分閾値を更新するようにする。
このように、ブロック毎に差分閾値を更新することで、ブロック単位で孤立点ノイズや多少の画素値の変化がある場合でも、抽出対象の移動体のクラス分けを効率的に行うことができる効果を奏する。
【００６０】
実施の形態８．
上記実施の形態７では、画像特徴算出部１３がブロック単位で画像特徴値を算出するものについて示したが、上記実施の形態６と同様に、各画素の画像特徴値として、近傍画素の最小画素値、最大画素値、中央値又はメディアン値、あるいは、近傍画素の画素値の量子化値のメディアン値又は指定範囲値のいずれかを算出するようにする。ただし、画素の集合がブロック単位である。
この場合、画像特徴算出部１３から出力される画像特徴情報は、画素ブロック単位の最小値、最大値、中央値又はメディアン値である。あるいは、画素ブロック単位の画素値を所定の量子化ステップで量子化された量子化代表値のメディアン値になるように変換する。あるいは、画素ブロック単位の画素値を指定の範囲の値になるように変換する。
【００６１】
以上で明らかなように、この実施の形態８によれば、画素ブロック単位の最小値、最大値、中央値又はメディアン値、あるいは、画素ブロック単位の画素値を量子化した量子化値のメディアン値又は指定範囲の値のいずれかを算出するように構成したので、孤立点ノイズや多少の画素値の変化がある場合でも、抽出対象の移動体のクラス分けを効率的に行うことができる効果を奏する。
【００６２】
なお、この実施の形態８では、画像特徴算出部１３が出力する画像特徴情報が画素ブロック単位の各画素の画像特徴値であるものについて示したが、画素ブロック単位の画素値を所定の量子化ステップで量子化された量子化代表値、閾値によりクラス分けされた各クラスの代表値や、その他の特徴情報でもよい。
【００６３】
実施の形態９．
図２０はこの発明の実施の形態９による画像処理装置を示す構成図であり、図において、画素値変換部２１は差分演算部３から出力された差分データが示す差分画像の各画素の画素値のうち、クラス分類部４により同一のクラスに分類された画素の画素値を同じ値に変換する処理を実施する。なお、画素値変換部２１は画素値変換手段を構成している。
【００６４】
上記実施の形態１〜８では、移動体検出部６が差分演算部３から出力された差分データを入力して、抽出対象の移動体の差分画像を検出するものについて示したが、画素値変換部２１が、クラス分類部４により同一のクラスに分類された画素の画素値を同じ値（例えば、クラス代表値）に変換し、画素値変換後の差分画像を示す差分データを移動体検出部６に出力し、移動体検出部６が画素値変換後の差分画像から抽出対象の移動体の差分画像を検出するようにしてもよい。
画素値変換部２１が同一クラスの画素の画素値を同じ値に変換しているのは、移動体検出部６における抽出対象の移動体の検出処理の簡易化を図るためである。
【００６５】
以上で明らかなように、この実施の形態９によれば、画素値変換部２１が差分画像の各画素の画素値のうち、クラス分類部４により同一のクラスに分類された画素の画素値を同じ値に変換するように構成したので、孤立点ノイズや多少の画素値の変化がある場合でも、移動体検出部６における抽出対象の移動体の検出処理の簡易化を図ることができるとともに、抽出対象の移動体のクラス分けを効率的に行うことができる効果を奏する。
【００６６】
実施の形態１０．
上記実施の形態１〜８では、クラス分類部４が４つのクラスに分けし、上記実施の形態９では、画素値変換部２１が同一のクラスに分類された画素の画素値を同じ値（例えば、クラス代表値）に変換するものについて示したが、さらに、クラス分類部４が抽出対象のクラスとそれ以外のクラスの２種に分けて、画素値変換部２１が指定のクラスに属する画素の画素値と、指定以外のクラスに属する画素の画素値とを２値のデータに変換するようにしてもよい。
【００６７】
この場合、クラス選択部５では、抽出対象の方の２値データのクラスを選択し、移動体検出部６では、２値のクラス代表値の領域と、抽出対象の移動体の特徴情報に基づいて抽出対象の移動体を検出する。
なお、抽出対象のクラスとそれ以外のクラスの２種に分けて２値データに変換しているのは、移動体検出部６における抽出対象の移動体の検出処理の簡易化を図るためである。
【００６８】
以上で明らかなように、この実施の形態１０によれば、クラス分類部４が抽出対象のクラスとそれ以外のクラスの２種に分けて、画素値変換部２１が指定のクラスに属する画素の画素値と、指定以外のクラスに属する画素の画素値とを２値のデータに変換するように構成したので、孤立点ノイズや多少の画素値の変化がある場合でも、移動体検出部６における抽出対象の移動体の検出処理の簡易化を図ることができるとともに、抽出対象の移動体のクラス分けを効率的に行うことができる効果を奏する。
【００６９】
実施の形態１１．
上記実施の形態１〜１０では、移動体検出部６が抽出対象の移動体の特徴情報に基づいて抽出対象の移動体を検出するものについて示したが、クラス選択部５により選択されたクラスに属する画素から所定の条件に合致する移動体を検出するようにしてもよい。
所定の条件としては、抽出対象の移動体の特徴を表す条件の他、逆に抽出対象の移動体の特徴でない条件、あるいは、複数の条件を組み合わせることにより、抽出対象の移動体の検出効率を向上させるような条件、その他の条件でもよい。
【００７０】
この実施の形態１１によれば、クラス選択部５により選択されたクラスに属する画素から所定の条件に合致する移動体を検出するように構成したので、抽出対象の移動体を効率的に検出することができる効果を奏する。
【００７１】
実施の形態１２．
上記実施の形態１１では、所定の条件としては、抽出対象の移動体の特徴を表す条件などを用いるものについて示したが、所定の条件の具体例としては、次のようなものが考えられる。
所定の条件として、例えば、検出対象の移動体の長さの範囲、幅の範囲、垂直との角度の範囲又は動き量の範囲、あるいは、それらの条件の組み合わせを用いることができる。
【００７２】
この実施の形態１２によれば、所定の条件として、検出対象の移動体の長さの範囲、幅の範囲、垂直との角度の範囲又は動き量の範囲、あるいは、それらの条件の組み合わせを用いるようにしたので、抽出対象の移動体を効率的に検出することができる効果を奏する。
【００７３】
実施の形態１３．
上記実施の形態１２では、移動体検出部６が所定の条件として、動き量の範囲を用いる場合があることを示したが、移動体検出部６が所定の条件として動き量の範囲を用いる場合、２つの画像Ａ，Ｂのうち、１つの画像を予測画像の基準となる基準画像、他方の画像を予測画像として、抽出対象のクラスに属する所定の範囲の画素に対して予測画像を探索して動き量を求めるようにしてもよい。
【００７４】
図２１は雨等の移動距離を考慮して、所定の移動範囲を定めている例を示す説明図である。
図２２（ａ）は差分画像であり、図２２（ａ）において、画像Ａに対応する雨は実線（差分値「正」)、画像Ａより時間的に後の画像Ｂに対応する雨は一点破線（差分値「負」）で表してある。
差分絶対値が同じ、あるいは、近い画素で、かつ、図２１の探索範囲（図２１の下部領域）にある抽出対象を探索すると、図２２に示すように実線の楕円内の雨が該当する。
その結果、図２２（ｂ）に示すように、実線部の雨が抽出される。
なお、横に移動する移動体や、図２２（ａ）で点線楕円内の雨のように画像Ｂには領域外で表示されない雨については抽出されないことになる。このように一部の雨は検出されないが、多くの雨については検出される。
【００７５】
この実施の形態１３によれば、移動体検出部６が所定の条件として動き量の範囲を用いる場合、２つの画像Ａ，Ｂのうち、１つの画像を予測画像の基準となる基準画像、他方の画像を予測画像として、抽出対象のクラスに属する所定の範囲の画素に対して予測画像を探索して動き量を求めるように構成したので、抽出対象の移動体を効率的に検出することができる効果を奏する。
【００７６】
実施の形態１４．
上記実施の形態１２では、移動体検出部６が所定の条件として、検出対象の移動体の長さの範囲、幅の範囲、垂直との角度の範囲又は動き量の範囲を用いるものについて示したが、所定の条件として、検出対象の長さの範囲、幅の範囲又は動き量の範囲を用いる場合、これらの範囲をカメラ１と背景の距離から適応的に決定するようにしてもよい。
【００７７】
このように、カメラ１と背景の距離から適応的に決定するのは、固定の撮影状況及び撮影条件で撮影する場合には、固定の検出判定条件でよいが、カメラ１と背景との距離が可変の場合には、検出対象画像の長さ、幅、動き量の何れも、カメラ１と背景との距離により、その大きさが変わるためである。
【００７８】
この実施の形態１４によれば、所定の条件として、検出対象の長さの範囲、幅の範囲又は動き量の範囲を用いる場合、これらの範囲をカメラ１と背景の距離から適応的に決定するように構成したので、適切な条件設定によって抽出対象の移動体を効率的に検出することができる効果を奏する。
【００７９】
実施の形態１５．
上記実施の形態１２では、移動体検出部６が所定の条件として、検出対象の移動体の長さの範囲、幅の範囲、垂直との角度の範囲又は動き量の範囲を用いるものについて示したが、所定の条件として、検出対象の長さの範囲、幅の範囲又は動き量の範囲を用いる場合、これらの範囲をカメラ１のズームインによる画像の拡大操作又はズームアウトによる画像の縮小操作から適応的に決定するようにしてもよい。
【００８０】
このように、カメラ１のズームインによる画像の拡大操作又はズームアウトによる画像の縮小操作から適応的に決定するのは、固定の撮影状況及び撮影条件で撮影する場合には、固定の検出判定条件でよいが、カメラ１のズームイン／アウトのカメラ操作を行う場合には、検出対象画像の長さ、幅、動き量の何れも、カメラ操作により、その大きさが変わるためである。
【００８１】
この実施の形態１５によれば、所定の条件として、検出対象の長さの範囲、幅の範囲又は動き量の範囲を用いる場合、これらの範囲をカメラ１のズームインによる画像の拡大操作又はズームアウトによる画像の縮小操作から適応的に決定するように構成したので、適切な条件設定によって抽出対象の移動体を効率的に検出することができる効果を奏する。
【００８２】
実施の形態１６．
上記実施の形態１２では、移動体検出部６が所定の条件として、検出対象の長さの範囲を用いる場合があることを示したが、所定の条件として、検出対象の長さの範囲を用いる場合、その範囲をカメラ１のシャッター速度から適応的に決定するようにしてもよい。
【００８３】
このように、カメラ１のシャッター速度から適応的に決定するのは、固定の撮影状況及び撮影条件で撮影する場合には、固定の検出判定条件でよいが、カメラ１のシャッター速度を更新する場合には、検出対象画像の長さは、カメラ操作により、その大きさが変わるためである。
【００８４】
この実施の形態１６によれば、所定の条件として、検出対象の長さの範囲を用いる場合、その範囲をカメラ１のシャッター速度から適応的に決定するように構成したので、適切な条件設定によって抽出対象の移動体を効率的に検出することができる効果を奏する。
【００８５】
実施の形態１７．
図２３はこの発明の実施の形態１７による画像処理装置を示す構成図であり、図において、図１と同一符号は同一または相当部分を示すので説明を省略する。
移動体除去部２２は移動体検出部６により検出された移動体を含む画像から、当該移動体の画像を除去する処理を実施する。なお、移動体除去部２２は移動体除去手段を構成している。
【００８６】
次に動作について説明する。
移動体除去部２２は、上記実施の形態１〜１６と同様にして、移動体検出部６が移動体を検出すると、その移動体の画像に対し、例えば、時間的に近傍の画像で、移動体の画像の動き量に対応する画像及びその近傍の画像に基づいて移動体の画像を除去するようにする。
具体的には、移動体の画像の時間近傍画像による置換、平均値、中央値又はフィルタ処理値の何れか、または、それらの組み合せによる。
なお、検出した除去対象の移動体自身の背景画像は推測する必要があるが、上記方法による背景画像に代わる画像データの算出を行う。
【００８７】
以上で明らかなように、この実施の形態１７によれば、移動体検出部６により検出された移動体を含む画像から、当該移動体の画像を除去するように構成したので、不要な移動体の除去によって、実際の背景画像に近い視覚的に良好な画像を生成することができる効果を奏する。
【００８８】
この実施の形態１７では、移動体の画像に対し、例えば、時間的に近傍の画像で、移動体の画像の動き量に対応する画像及びその近傍の画像に基づいて移動体の画像を除去するものについて示したが、これに限るものではなく、例えば、対象画像の空間的近傍の画像及び時間的に近傍の画像で、対象画像の動き量に対応する画像及びその近傍の画像に基づいて移動体の画像を除去するようにしてもよい。
具体的には、移動体の画像の空間近傍画像による置換、平均値、中央値、フィルタ処理値、時間近傍画像による置換、平均値、中央値、フィルタ処理値の何れか、または、それらの組み合せによる。
なお、検出した除去対象の移動体自身の背景画像は推測する必要があるが、上記方法による背景画像に代わる画像データの算出を行う。
【図面の簡単な説明】
【００８９】
【図１】この発明の実施の形態１による画像処理装置を示す構成図である。
【図２】カメラ１による撮影時刻が隣り合う画像Ａと画像Ｂの一例を示す説明図である。
【図３】画像Ａと画像Ｂの差分画像の一例を示す説明図である。
【図４】クラス分類部４による閾値判定とクラスの対応関係の一例を示す説明図である。
【図５】移動体検出部６により検出された移動体の一例を示す説明図である。
【図６】この発明の実施の形態１による他の画像処理装置を示す構成図である。
【図７】この発明の実施の形態１による画像処理方法を示すフローチャートである。
【図８】この発明の実施の形態２による画像処理装置を示す構成図である。
【図９】画像Ａ、画像Ａの予測画像Ａ’及び画像Ｂの一例を示す説明図である。
【図１０】この発明の実施の形態２による他の画像処理装置を示す構成図である。
【図１１】動き予測部７によるカメラ１の移動形態に見合う動きの予測処理を示す説明図である。
【図１２】この発明の実施の形態４による画像処理装置の一部を示す構成図である。
【図１３】この発明の実施の形態４による画像処理装置の一部を示す構成図である。
【図１４】この発明の実施の形態４による画像処理装置の一部を示す構成図である。
【図１５】領域分割部１１により分割された撮影画像を示す説明図である。
【図１６】この発明の実施の形態５による画像処理装置の一部を示す構成図である。
【図１７】この発明の実施の形態５による画像処理装置の一部を示す構成図である。
【図１８】この発明の実施の形態５による画像処理装置の一部を示す構成図である。
【図１９】領域分割部１４により分割された撮影画像を示す説明図である。
【図２０】この発明の実施の形態９による画像処理装置を示す構成図である。
【図２１】雨等の移動距離を考慮して所定の移動範囲を定めている例を示す説明図である。
【図２２】移動体の検出結果等を示す説明図である。
【図２３】この発明の実施の形態１７による画像処理装置を示す構成図である。
【符号の説明】
【００９０】
１  カメラ、２  画像メモリ、３，８  差分演算部（差分画像演算手段）、４  クラス分類部（画素分類手段）、５  クラス選択部（移動体検出手段）、６  移動体検出部（移動体検出手段）、７  動き予測部（差分画像演算手段）、１１，１４  領域分割部（閾値設定手段）、１２  差分閾値制御部（閾値設定手段）、１３  画像特徴算出部（閾値設定手段）、２１  画素値変換部（画素値変換手段）、２２  移動体除去部（移動体除去手段）。
【図１】
2009163498.tif 000003
【図２】
2009163498.tif 000004
【図３】
2009163498.tif 000005
【図４】
2009163498.tif 000006
【図５】
2009163498.tif 000007
【図６】
2009163498.tif 000008
【図７】
2009163498.tif 000009
【図８】
2009163498.tif 000010
【図９】
2009163498.tif 000011
【図１０】
2009163498.tif 000012
【図１１】
2009163498.tif 000013
【図１２】
2009163498.tif 000014
【図１３】
2009163498.tif 000015
【図１４】
2009163498.tif 000016
【図１５】
2009163498.tif 000017
【図１６】
2009163498.tif 000018
【図１７】
2009163498.tif 000019
【図１８】
2009163498.tif 000020
【図１９】
2009163498.tif 000021
【図２０】
2009163498.tif 000022
【図２１】
2009163498.tif 000023
【図２２】
2009163498.tif 000024
【図２３】
2009163498.tif 000025