(57)【要約】【課題】比較的簡単な構成でもって、動体が存在する場合でも適切な背景画像を自動的に作成できる背景画像作成技術を提供することである。【解決手段】背景画像作成方法において、背景画像の候補を２つ設定し、それぞれについて入力画像との類似度を調べ、より類似しているほうの候補画像について候補としての評価を高めていく。２つの背景画像が評価を競い、いずれかの評価値が一定の条件に達したとき、その候補画像を背景画像として採用する。【選択図】図１
2006155463.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数フレームの入力画像から動体を除いた背景画像を作成する方法であって、予め２つの画像を候補画像として記憶し、かつ各候補画像の候補としての評価を表す候補指数を初期値にリセットする初期化工程の後、
（Ａ）前記複数フレームの入力画像の１つを取得するステップ、
（Ｂ）前記２つの候補画像のうち候補指数の大きいほうを第１の候補画像、候補指数の小さいほうを第２の候補画像として、取得した入力画像と第１の候補画像との類似度を算出し、所定の値より高いか否かを判定するステップ、
（Ｃ）算出された第１の候補画像との類似度が所定の値以上と判定されたとき、第１の候補画像を前記入力画像に応じて更新して記憶し、かつ第１の候補画像の候補指数を高めて記録するステップ、
（Ｄ）算出された第１の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像と第２の候補画像との類似度を算出し、所定の値より高いか否かを判定するステップ、
（Ｅ）算出された第２の候補画像との類似度が所定の値以上と判定されたとき、第２の候補画像を前記入力画像に応じて更新して記憶し、かつ第２の候補画像の候補指数を高めて記録するステップ、
（Ｆ）算出された第２の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像を第２の候補画像として記憶し、かつ第２の候補画像の候補指数を初期値にリセットする処理か、第２の候補画像をそのままにして前記入力画像を捨てる処理を選択的に行うステップ、
（Ｇ）前記更新された第１または第２の候補画像の候補指数が所定の条件に達したか否かを判定し、達したと判定されたときに該候補画像を背景画像として記憶し、かつ該候補画像の候補指数を初期値にリセットするステップ、
のうち、（Ａ）（Ｂ）（Ｃ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｅ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｆ）の工程を前記複数フレームの入力画像の各々に対して順次繰り返すことを特徴とする背景画像作成方法。
【請求項２】
前記候補指数はそれぞれの候補画像を前記入力画像に応じて更新した回数であり、更新ごとに候補指数を１進める請求項１に記載の背景画像作成方法。
【請求項３】
前記算出された類似度に応じて、候補指数の更新の増分を所定の方式で変化させ、類似度が高ければ増分を大きくし低ければ増分を小さくする請求項１に記載の背景画像作成方法。
【請求項４】
候補指数が所定の条件を満たさない場合は、背景画像をそのままにする請求項１乃至３のいずれか１項に記載の背景画像作成方法。
【請求項５】
前記初期化工程と入力画像の各々に対して順次行う（Ａ）ないし（Ｇ）の各工程を、画像の範囲を複数の領域に分割して、各領域ごとに行う請求項１に記載の背景画像作成方法。
【請求項６】
前記領域が１画素からなる請求項５に記載の背景画像作成方法。
【請求項７】
前記領域が画像の幅及び高さをそれぞれ均等に分割する幅ｗ画素、高さｈ画素（ｗ、ｈともに１以上の整数）のブロックからなる請求項５に記載の背景画像作成方法。
【請求項８】
前記類似度が、入力画像の画素値と第１の候補画像または第２の候補画像の画素値との差の絶対値または２乗値の総和である請求項１乃至７のいずれか１項に記載の背景画像作成方法。
【請求項９】
前記第１または第２の候補画像の更新を、候補画像の画素値と入力画像の画素値とを荷重加算して更新後の候補画像とすることにより行う請求項１乃至８のいずれか１項に記載の背景画像作成方法。
【請求項１０】
前記荷重加算における一方の係数が２の整数べきの逆数である請求項９に記載の背景画像作成方法。
【請求項１１】
前記（Ｅ）のステップの後、第１と第２の候補画像の候補指数を比較し、第２の候補画像の候補指数が第１の候補画像の候補指数より高い値であるときは第１と第２の候補画像ならびに第１と第２の候補画像の候補指数を入れ替えて記憶する請求項１乃至１０のいずれか１項に記載の背景画像作成方法。
【請求項１２】
前記（Ｇ）のステップが、第１と第２の候補画像のうち、背景画像とならない候補画像の候補指数を初期値にリセットするステップを含む請求項１乃至１１のいずれか１項に記載の背景画像作成方法。
【請求項１３】
動画像を構成する複数フレームの入力画像から動体を除いた背景画像を作成する装置であって、
２つの画像を第１と第２の候補画像として記憶するメモリと、
入力画像と第１または第２の候補画像との類似度を算出する演算処理部と、
所定の手順に従って前記メモリと前記演算処理部を制御する制御部とを有し、
前記制御部が、予め２つの画像を候補画像として前記メモリに記憶させ、かつ各候補画像の候補としての評価を表す候補指数を初期値にリセットした後、
（Ａ）前記複数フレームの入力画像の１つを取得するステップ、
（Ｂ）前記２つの候補画像のうち候補指数の大きいほうを第１の候補画像、候補指数の小さいほうを第２の候補画像として、取得した入力画像と第１の候補画像との類似度を前記演算処理部に算出させ、所定の値より高いか否かを判定するステップ、
（Ｃ）算出された第１の候補画像との類似度が所定の値以上と判定されたとき、第１の候補画像を前記入力画像に応じて更新して前記メモリに記憶させ、かつ第１の候補画像の候補指数を高めて記録するステップ、
（Ｄ）算出された第１の候補画像との類似度が所定の値より低いと判定されたとき、前記演算処理部に前記入力画像と第２の候補画像との類似度を算出させ、所定の値より高いか否かを判定するステップ、
（Ｅ）算出された第２の候補画像との類似度が所定の値以上と判定されたとき、第２の候補画像を前記入力画像に応じて更新して前記メモリに記憶させ、かつ第２の候補画像の候補指数を高めて記録するステップ、
（Ｆ）算出された第２の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像を第２の候補画像として記憶し、かつ第２の候補画像の候補指数を初期値にリセットする処理か、第２の候補画像をそのままにして前記入力画像を捨てる処理を選択的に行うステップ、
（Ｇ）前記更新された第１または第２の候補画像の候補指数が所定の条件に達したか否かを判定し、達したと判定されたときに該候補画像を背景画像として出力し、かつ該候補画像の候補指数を初期値にリセットするステップ、
のうち、（Ａ）（Ｂ）（Ｃ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｅ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｆ）の工程を前記複数フレームの入力画像の各々に対して順次繰り返すことを特徴とする背景画像作成装置。
【請求項１４】
動画像を構成する複数フレームの入力画像から動体を除いた背景画像を作成するコンピュータプログラムであって、
予め２つの画像を候補画像としてメモリに記憶し、かつ各候補画像の候補としての評価を表す候補指数を初期値にリセットする初期化手順の後、前記複数フレームの入力画像のうちの１つをメモリに記録し、
（Ａ）前記複数フレームの入力画像の１つを取得するステップ、
（Ｂ）前記２つの候補画像のうち候補指数の大きいほうを第１の候補画像、候補指数の小さいほうを第２の候補画像として、取得した入力画像と第１の候補画像との類似度を演算処理部に算出させ、所定の値より高いか否かを判定するステップ、
（Ｃ）算出された第１の候補画像との類似度が所定の値以上と判定されたとき、第１の候補画像を前記入力画像に応じて更新してメモリに記憶し、かつ第１の候補画像の候補指数を高めて記録するステップ、
（Ｄ）算出された第１の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像と第２の候補画像との類似度を演算処理部に算出させ、所定の値より高いか否かを判定するステップ、
（Ｅ）算出された第２の候補画像との類似度が所定の値以上と判定されたとき、第２の候補画像を前記入力画像に応じて更新してメモリに記憶し、かつ第２の候補画像の候補指数を高めて記録するステップ、
（Ｆ）算出された第２の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像を第２の候補画像として記憶し、かつ第２の候補画像の候補指数を初期値にリセットする処理か、第２の候補画像をそのままにして前記入力画像を捨てる処理を選択的に行うステップ、
（Ｇ）前記更新された第１または第２の候補画像の候補指数が所定の条件に達したか否かを判定し、達したと判定されたときに該候補画像を背景画像として出力し、かつ該候補画像の候補指数を初期値にリセットするステップ、
のうち、（Ａ）（Ｂ）（Ｃ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｅ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｆ）の手順をコンピュータに実行させ、（Ａ）に戻って次の入力画像に対して同手順を実行させることを特徴とするコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、背景差分法と呼ばれる画像処理手法によって、撮影範囲がほぼ固定された状態で入力される動画像から移動物を自動的に抽出する際などに必要となる背景画像を自動作成する背景画像作成方法、その背景画像の自動更新方法などに関する。
【背景技術】
【０００２】
近年、セキュリティ強化の要望や遠隔モニタリングの要望の増大を受けて、監視カメラシステムやネットワークカメラシステムの市場が拡大している。監視カメラシステムの基本機能は、監視カメラで連続的に撮影した動画像を通信ケーブル経由で録画装置、モニタなどに伝送して録画、画面表示などを行うことである。ネットワークカメラシステムの基本機能もほぼ同様であり、ネットワークカメラで撮影した動画像または静止画像を圧縮してからネットワーク経由で伝送し、受信装置側で記録したり画面表示したりすることである。カメラによっては、雲台やズームレンズなどの制御機構を備えたものがあり、パン・チルト・ズームなどの制御を行うことにより撮影範囲を変更できる。しかし、こうした制御機構を備えたカメラは比較的高価であるため、制御機構を備えないカメラも多数使用されている。また、制御機構を備えたカメラを使用する場合でも、一定時間内は撮影範囲を固定しておく使い方がある。従って、撮影範囲がほぼ固定された状態で動画像を撮影する状況が多数存在する。
【０００３】
監視カメラシステムやネットワークカメラシステムが普及するにつれて、ユーザがシステムに要求する機能が徐々に高度化している。例えば、数十台以上の多数のカメラから受信した多数の動画像を１人の人が同時に監視し続けることは困難なため、ユーザが知りたい情報をシステムが画像処理により自動抽出できるようにすることが求められている。
【０００４】
現在実用化されているシステムの中には、受信装置側にパソコンなどの情報処理装置を備え、情報処理装置で画像処理プログラムを実行することにより特定の情報を自動抽出できるものがある。しかし、受信装置側で画像処理を行う方法では、同時に接続されるカメラ台数の増加に比例して、伝送路の通信容量を増大させなければならない。さらに、受信装置側で多数の動画像を同時に処理するためには、非常に高性能な情報処理装置を用意するか、または多数の情報処理装置を用意する必要があり、いずれにしても非常に高価な装置構成となる。今後、カメラの設置台数が増えていくと予想されるため、受信装置側で画像処理を行う方法は問題が多いと考えられる。従って、カメラ側で画像処理を行う方法が望まれる状況にある。
【０００５】
一部のネットワークカメラは、動体検知機能（動画像中に移動物体が存在するかどうかを判断する機能）を備えており、カメラ内部のデータ処理部で単純な画像処理を行うことにより動体の有無を判定している。
【０００６】
今後、カメラによる自動監視や統計情報の自動収集などを可能とするためには、動体の有無だけではなく、動体の数、位置、大きさ、形状、軌跡などの情報まで自動抽出できることが望まれる。そして、こうした情報を自動抽出するためには、まず動画像から動体を正確に自動抽出する必要がある。ただし、現在の監視カメラやネットワークカメラはまだ比較的大型で高価であり、今後は小型化と低廉化が必要なため、正確な動体抽出機能を備えるために現在より大型または高価なハードウェアを使用することは望ましくない。むしろ、現在、データ処理部に使用されているハードウェアよりも小型で安価なハードウェアを使用する必要がある。この様に、動画像から移動物を自動的に抽出する際などに必要となる背景画像を自動作成する背景画像作成方法として、小型かつ安価なハードウェアを使用した様な場合でも、充分な性能を達成できて比較的容易に利用できる背景画像作成方法が望まれている。
【０００７】
ところで、主な動体抽出方法には、フレーム間差分法、背景差分法及びオプティカルフロー法がある。
【０００８】
基本的なフレーム間差分法では、各画素位置ごとに現在のフレームの輝度値と１つ前のフレームの輝度値との差分の絶対値を計算し、この差分の絶対値が所定のしきい値以上になった画素の集合を動体として抽出する。しかし、この方法では動体の動きが遅い場合、動体のエッジ付近でしか大きな差分値が現れないため、動体のごく一部しか抽出することができない。また逆に、動体の動きが速すぎる場合、現在のフレームで動体が存在している位置と、１つ前のフレームで動体が存在していた位置の両方の位置で動体が存在すると判定してしまうため、実際よりも多くのまたはより大きな範囲で動体を抽出してしまう。
【０００９】
基本的なオプティカルフロー法では、各画素位置ごとにフローベクトルを求め、ほぼ同じ向きと大きさのフローベクトルを持つ画素の集合を動体として抽出する。フローベクトルの求め方には、大別すると輝度勾配法とブロックマッチング法があるが、これらの詳細説明は省略する。オプティカルフロー法は撮影範囲が変化する場合にも適用可能であるという利点があるが、フレーム間差分法や背景差分法と比べて演算量が遥かに多くなるため、非常に処理能力の高い特別なプロセッサを用意しなければリアルタイム処理ができないという欠点がある。上述した様に、カメラに搭載されるプロセッサは小型かつ安価である必要があるため、オプティカルフロー法を用いることは困難である。
【００１０】
基本的な背景差分法では、予め動体が存在しない時に撮影したフレームを背景画像として記憶しておき、各画素位置ごとに背景画像の輝度値と入力画像（現在のフレーム）の輝度値との差分の絶対値を計算し、この差分の絶対値が所定のしきい値以上になった画素の集合を動体として抽出する。この方法では、適切な背景画像が用意されている場合は正確な動体抽出が行え、また比較的小型かつ安価なプロセッサを使用してもリアルタイム処理が可能であるため、カメラに実装する動体抽出方法として優れている。
【００１１】
しかし、基本的な背景差分法では、予め適切な背景画像を用意しておかなければならないが、常に動体が存在する場合は適切な背景画像を用意することができない。また、適切な背景画像を用意できた場合でも、屋外を撮影する場合などは時間の経過とともに周囲の明るさや影の位置などが変化するため、やがて実際の背景は予め用意しておいた背景画像とは異なるものとなり、間違った背景画像に起因する誤検出が頻繁に起こるようになる。
【００１２】
こうした問題を防止するためには、常に動体が存在する場合でも適切な背景画像を自動的に作成でき、かつ常に背景画像を自動更新できる方法が求められる。
【００１３】
背景画像抽出法の１つの提案では、常に動体が存在する場合でも動体の影響を受けない背景画像を作成することを目的として、小区画ごとに時間方向の輝度値のヒストグラムを集計し、ヒストグラム上で最大頻度となる輝度値を有する小区画に属していた各画素の輝度値を背景画像の小区画の輝度値とすることを特徴とする（特許文献１参照）。
【００１４】
また、背景画像取得法の他の提案では、明るさの変化などの環境変化に追従できる方法で背景画像を作成することを目的として、まず一定フレーム数の平均画像を作成し、次に平均画像をブロック化してブロックごとに特徴量（エッジパターン）を求めて背景候補の情報として保存し、学習時には入力画像と保存背景候補から両者間の特徴量差などを考慮して複数組の背景候補の情報を作成し、背景候補ブロックの属性データとして特徴量（エッジパターン）、ブロック内の各画素の輝度値、ブロック内の輝度値の平均値に対する分散値及び重み（出現頻度）を記憶し、背景候補ブロックの更新に際しては入力画像と特徴量が似ている背景候補ブロックほどその重みを増やし、最も重みが大きい筆頭背景候補ブロックを選択することで背景画像を得ることを特徴とする（特許文献２参照）。
【特許文献１】特開昭６３−１９４４７７号公報
【特許文献２】特開２００２−１０９５４６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１５】
しかしながら、上述したいずれの提案発明においても背景画像を１度だけ作成する方法しか示されておらず、連続的に背景画像を自動更新する方法が充分明らかでないことに加えて、以下に説明する様な難点が指摘される。
【００１６】
特許文献１の方法については、撮影した動画像を予め記憶媒体にすべて記憶しておき、後から画像データを１フレームずつ読み出しながら処理することを意図した発明である。なぜなら、ヒストグラムで集計するのは小区画内の平均輝度値であるので、後から小区画内の各画素の輝度値を取得するためには全フレーム分の画像データを記憶しておかなければならないからである。以下で試算するように、これらの記憶に必要なメモリサイズは非常に大きなものとなるため、ハードウェアの小型化及び低廉化の大きな障害となってしまう。
【００１７】
ここで、特許文献１の方法で背景画像を作成する際に最低限必要となるメモリサイズを試算する。まず、試算に先立ち以下の前提条件を仮定する。なお、本明細書では乗算記号として‘＊’を用いる。
・画像サイズは６４０＊４８０画素（３０７，２００画素）
・画像の各画素は１バイト（８ｂｉｔ、２５６階調）で表現される輝度値のみを持つ
・画像フレームレートは毎秒３０フレーム
・背景画像を作成するまでの画像入力時間は６０秒（１，８００フレーム）
・頻度や回数などを計数するためのカウンタ用メモリサイズは２バイト（１６ｂｉｔ）
【００１８】
この時、最低限必要なメモリサイズは、以下の（１）〜（６）式で表現できる。（１）式の不等記号‘＞’は、計算の途中結果などを記憶しておくための作業メモリサイズが右辺にさらに上乗せされることを示す。
・最低限必要なメモリサイズ
＞ヒストグラム集計用メモリサイズ
＋全フレーム分の画像データ記憶用メモリサイズ
＋背景画像格納用メモリサイズ                        ・・・（１）
・ヒストグラム集計用メモリサイズ
＝小区画数＊輝度値の階調数＊カウンタ用メモリサイズ         ・・・（２）
・全フレーム分の画像データ記憶用メモリサイズ
＝全フレーム数＊１フレームの画素数＊輝度値記憶用メモリサイズ・・・（３）
・背景画像格納用メモリサイズ
＝１フレームの画素数＊輝度値記憶用メモリサイズ             ・・・（４）
・小区画数＝（画像の幅÷小区画の幅）＊（画像の高さ÷小区画の高さ）・・・（５）
・１フレームの画素数＝画像の幅＊画像の高さ                     ・・・（６）
【００１９】
ここで、小区画が８＊８画素から成ると仮定した場合、前述の前提条件と合わせると、以下のように、まず（５）’、（６）’式が得られ、次いで（２）’、（３）’、（４）’式が得られ、最後に（１）’式が得られる。ただし、メモリサイズはバイト単位で計算している。
・小区画数＝（６４０÷８）＊（４８０÷８）＝４，８００         ・・・（５）’
・１フレームの画素数＝６４０＊４８０＝３０７，２００           ・・・（６）’
・ヒストグラム集計用メモリサイズ
＝４，８００＊２５６＊２＝２，４５７，６００        ・・・（２）’
・全フレーム分の画像データ記憶用メモリサイズ
＝１，８００＊３０７，２００＊１＝５５２，９６０，０００   ・・・（３）’
・背景画像格納用メモリサイズ＝３０７，２００＊１＝３０７，２００・・・（４）’
・最低限必要なメモリサイズ
＞２，４５７，６００＋５５２，９６０，０００＋３０７，２００
＝５５５，７２４，８００                                   ・・・（１）’
【００２０】
従って、約５５６メガバイトものメモリサイズが必要となる。
なお、参考までに、もう一つの試算を行う。特許文献１の方法では、小区画内の平均値に対してヒストグラムを集計するため、全フレーム分の画像データ記憶用メモリサイズが必要であった。そこで、小区画が１画素から成るものとすれば、ヒストグラムの集計結果から直ちに背景画像を作成できるため、全フレーム分の画像データ記憶用メモリサイズは不要となる。ただし、この場合は小区画数が１フレームの画素数と等しくなるため、以下の（２）”式及び（１）”式が得られる。
・ヒストグラム集計用メモリサイズ
＝３０７，２００＊２５６＊２＝１５７，２８６，４００       ・・・（２）”
・最低限必要なメモリサイズ
＞１５７，２８６，４００＋０＋３０７，２００
＝１５７，５９３，６００                                   ・・・（１）”
従って、この場合でも約１５８メガバイトものメモリサイズが必要となる。
【００２１】
このように、いずれの場合においても１００メガバイトを超える非常に大きなメモリサイズが必要となる。このメモリサイズは、パソコンなどのデスクトップサイズの情報機器であればあまり問題とはならないかもしれないが、１辺が数ｃｍ以下となるような非常に小型の装置を作る際には大きな障害となってしまう。
【００２２】
また、特許文献２の方法の実施例では、特徴量としてエッジパターンしか示されておらず、背景と動体のエッジパターンが似てしまう場合（平坦な部分が多い場合など）では適切な背景画像が得られない。また、エッジパターンが数組程度に分類可能なブロックサイズしか選べないという制約や、最初に用意したエッジパターンの分類方法によって最後に得られる背景画像が異なってしまうという懸念がある。さらに、以下で試算するように、これらの演算に必要なメモリサイズも十分に小さいとは言えないため、ハードウェアの小型化及び低廉化を十分に行えない恐れがある。
【００２３】
ここで、特許文献２の方法で背景画像を作成する際に最低限必要となるメモリサイズを試算する。ただし、試算に先立つ前提条件は、特許文献１の方法に対する試算で用いた前提条件と同じである。
【００２４】
最低限必要なメモリサイズは、以下の（７）〜（１０）及び前述の（４）式で表現できる。ただし、（７）式が不等記号‘＞’で表現されている理由は、計算の途中結果などを記憶しておくための作業メモリサイズが右辺に含まれていないためである。
・最低限必要なメモリサイズ
＞ブロック数＊背景候補ブロックの属性データサイズ＊背景候補ブロックの最大数
＋背景画像格納用メモリサイズ                        ・・・（７）
・ブロック数
＝（画像の幅÷ブロックの幅）＊（画像の高さ÷ブロックの高さ）
・・・（８）
・背景候補ブロックの属性データサイズ
＝特徴量記憶用メモリサイズ
＋１ブロックに含まれる全画素の輝度値記憶用メモリサイズ
＋分散値記憶用メモリサイズ＋重み記憶用メモリサイズ         ・・・（９）
・１ブロックに含まれる全画素の輝度値記憶用メモリサイズ
＝１ブロックの画素数＊輝度値記憶用メモリサイズ             ・・・（１０）
・背景画像格納用メモリサイズ
＝１フレームの画素数＊輝度値記憶用メモリサイズ             ・・・（４）
【００２５】
ここで、１ブロックが８＊８画素（＝６４画素）から成り、背景候補ブロックの最大数を８とし、特徴量記憶用メモリサイズ、分散値記憶用メモリサイズ及び重み記憶用メモリサイズをすべて２バイトと仮定した場合、上述の前提条件と合わせると、以下のようにまず（８）’、（１０）’、（４）’式が得られ、次いで（９）’式が得られ、最後に（７）’式が得られる。ただし、メモリサイズはバイト単位で計算している。
・ブロック数＝（６４０÷８）＊（４８０÷８）＝４，８００ ・・・（８）’
・１ブロックに含まれる全画素の輝度値の記憶用メモリサイズ＝６４＊１＝６４
・・・（１０）’
・背景画像格納用メモリサイズ＝３０７，２００＊１＝３０７，２００・・・（４）’
・背景候補ブロックの属性データサイズ＝２＋６４＋２＋２＝７０   ・・・（９）’
・最低限必要なメモリサイズ
＞４，８００＊７０＊８＋３０７，２００＝２，９９５，２００ ・・・（７）’
【００２６】
従って、約３メガバイトのメモリサイズが必要となる。特許文献１の方法よりはずっと少ないものの、依然として数メガバイトのメモリサイズが必要であるため、非常に小型の装置を作る際に問題となることに変わりはない。また、特許文献２の方法では、全てのブロックに対して特徴量の計算や分散値の計算を行う必要があるが、これらの計算には画素数に比例する回数だけ乗算及び加算を行う必要があるため、演算量も比較的多くなる。演算量が多ければ多いほど、それをリアルタイム処理するためには、より高速な電子回路が必要となるため、より高価な装置となってしまう。
【課題を解決するための手段】
【００２７】
上記課題に鑑み、本発明に係る背景画像作成方法は、
動画像を構成する複数フレームの入力画像から動体を除いた背景画像を作成する方法であって、予め２つの画像を候補画像として記憶し、かつ各候補画像の候補としての評価を表す候補指数を初期値にリセットする初期化工程の後、
（Ａ）前記複数フレームの入力画像の１つを取得するステップ、
（Ｂ）前記２つの候補画像のうち候補指数の大きいほうを第１の候補画像、候補指数の小さいほうを第２の候補画像として、取得した入力画像と第１の候補画像との類似度（例えば、入力画像との直接的な比較で算出される類似度）を算出し、所定の値より高いか否かを判定するステップ、
（Ｃ）算出された第１の候補画像との類似度が所定の値以上と判定されたとき、第１の候補画像を前記入力画像に応じて更新して記憶し、かつ第１の候補画像の候補指数を高めて記録するステップ、
（Ｄ）算出された第１の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像と第２の候補画像との類似度を算出し、所定の値より高いか否かを判定するステップ、
（Ｅ）算出された第２の候補画像との類似度が所定の値以上と判定されたとき、第２の候補画像を前記入力画像に応じて更新して記憶し、かつ第２の候補画像の候補指数を高めて記録するステップ、
（Ｆ）算出された第２の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像を第２の候補画像として記憶し、かつ第２の候補画像の候補指数を初期値にリセットする処理か、第２の候補画像をそのままにして前記入力画像を捨てる処理を選択的に行うステップ、
（Ｇ）前記更新された第１または第２の候補画像の候補指数が所定の条件（背景画像にするのに充分ふさわしくなったと見なせる候補指数についての条件である）に達したか否かを判定し、達したと判定されたときに該候補画像を背景画像として記憶し、かつ該候補画像の候補指数を初期値にリセットするステップ、
のうち、（Ａ）（Ｂ）（Ｃ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｅ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｆ）の工程を前記複数フレームの入力画像の各々に対して順次繰り返すことを特徴とする。なお、上記背景画像作成方法は、画像を単位画像に分割して単位画像ごとに行ってもよいが、必ずしも分割する必要はない。
【００２８】
また、上記課題に鑑み、本発明に係る背景画像作成装置は、
動画像を構成する複数フレームの入力画像から動体を除いた背景画像を作成する装置であって、
２つの画像を第１と第２の候補画像として記憶するメモリと、
入力画像と第１または第２の候補画像との類似度を算出する演算処理部と、
所定の手順に従って前記メモリと前記演算処理部を制御する制御部とを有し、
前記制御部が、予め２つの画像を候補画像として前記メモリに記憶させ、かつ各候補画像の候補としての評価を表す候補指数を初期値にリセットした後、
（Ａ）前記複数フレームの入力画像の１つを取得するステップ、
（Ｂ）前記２つの候補画像のうち候補指数の大きいほうを第１の候補画像、候補指数の小さいほうを第２の候補画像として、取得した入力画像と第１の候補画像との類似度を前記演算処理部に算出させ、所定の値より高いか否かを判定するステップ、
（Ｃ）算出された第１の候補画像との類似度が所定の値以上と判定されたとき、第１の候補画像を前記入力画像に応じて更新して前記メモリに記憶させ、かつ第１の候補画像の候補指数を高めて記録するステップ、
（Ｄ）算出された第１の候補画像との類似度が所定の値より低いと判定されたとき、前記演算処理部に前記入力画像と第２の候補画像との類似度を算出させ、所定の値より高いか否かを判定するステップ、
（Ｅ）算出された第２の候補画像との類似度が所定の値以上と判定されたとき、第２の候補画像を前記入力画像に応じて更新して前記メモリに記憶させ、かつ第２の候補画像の候補指数を高めて記録するステップ、
（Ｆ）算出された第２の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像を第２の候補画像として記憶し、かつ第２の候補画像の候補指数を初期値にリセットする処理か、第２の候補画像をそのままにして前記入力画像を捨てる処理を選択的に行うステップ、
（Ｇ）前記更新された第１または第２の候補画像の候補指数が所定の条件に達したか否かを判定し、達したと判定されたときに該候補画像を背景画像として出力し、かつ該候補画像の候補指数を初期値にリセットするステップ、
のうち、（Ａ）（Ｂ）（Ｃ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｅ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｆ）の工程を前記複数フレームの入力画像の各々に対して順次繰り返すことを特徴とする。
【００２９】
また、上記課題に鑑み、本発明に係るコンピュータプログラムは、
動画像を構成する複数フレームの入力画像から動体を除いた背景画像を作成するコンピュータプログラムであって、
予め２つの画像を候補画像としてメモリに記憶し、かつ各候補画像の候補としての評価を表す候補指数を初期値にリセットする初期化手順の後、前記複数フレームの入力画像のうちの１つをメモリに記録し、
（Ａ）前記複数フレームの入力画像の１つを取得するステップ、
（Ｂ）前記２つの候補画像のうち候補指数の大きいほうを第１の候補画像、候補指数の小さいほうを第２の候補画像として、取得した入力画像と第１の候補画像との類似度を演算処理部に算出させ、所定の値より高いか否かを判定するステップ、
（Ｃ）算出された第１の候補画像との類似度が所定の値以上と判定されたとき、第１の候補画像を前記入力画像に応じて更新してメモリに記憶し、かつ第１の候補画像の候補指数を高めて記録するステップ、
（Ｄ）算出された第１の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像と第２の候補画像との類似度を演算処理部に算出させ、所定の値より高いか否かを判定するステップ、
（Ｅ）算出された第２の候補画像との類似度が所定の値以上と判定されたとき、第２の候補画像を前記入力画像に応じて更新してメモリに記憶し、かつ第２の候補画像の候補指数を高めて記録するステップ、
（Ｆ）算出された第２の候補画像との類似度が所定の値より低いと判定されたとき、前記入力画像を第２の候補画像として記憶し、かつ第２の候補画像の候補指数を初期値にリセットする処理か、第２の候補画像をそのままにして前記入力画像を捨てる処理を選択的に行うステップ、
（Ｇ）前記更新された第１または第２の候補画像の候補指数が所定の条件に達したか否かを判定し、達したと判定されたときに該候補画像を背景画像として出力し、かつ該候補画像の候補指数を初期値にリセットするステップ、
のうち、（Ａ）（Ｂ）（Ｃ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｅ）（Ｇ）、または（Ａ）（Ｂ）（Ｄ）（Ｆ）の手順をコンピュータに実行させ、（Ａ）に戻って次の入力画像に対して同手順を実行させることを特徴とする。
【発明の効果】
【００３０】
上記本発明によれば、２つの候補画像のみを用い、且つ入力画像との類似度という指標を用いて入力画像と候補画像間の比較を実行して候補画像を適宜更新しそして更新した候補画像を用いて背景画像を作成するという上記従来技術とは異なる作成原理に基づくので、比較的簡単な構成でもって、動体が存在する場合でも適切な背景画像を自動的に作成することができる。
【発明を実施するための最良の形態】
【００３１】
本発明の背景画像作成方法においては、背景画像の候補を２つ設定し、入力画像との類似度を調べ、より類似しているほうの候補画像について候補としての評価を高めていく。２つの背景画像が評価を競い、いずれかの評価値が一定の条件に達したとき、その候補画像を背景画像として採用する。これによって、入力画像のなかで、より頻繁に出現する画像が背景として採用されるようになる。
【００３２】
また、２つの候補画像のうち評価の低いほうは、入力画像が２つの候補画像のいずれとも類似していないと判定されたとき、適宜その時の入力画像に置き換えられる。この結果、２つの候補画像は、評価の高いほうがその時点での出現頻度のもっとも高い背景を含む画像となり、他方が新しく出現した全く別の画像となる。その後も背景があまり変化しなければ、評価の高い画像がそのまま背景画像として採用されるが、新しく出現した画像がそのまま続けて現れるようになると、その候補画像の評価が高まっていき、はじめの候補画像を追い越して新たな最有力の背景候補としての地位につく。このように、本発明の方法は、背景の切り替わりにも対応できる。
【００３３】
さらに、本発明は、類似性を判定する工程において入力画像と類似しているとして評価を上げられた背景画像は、そのときの入力画像の特徴を繰り込んで更新されていくようになっている。具体的には、入力画像と当該候補画像との加重平均をとり、それを新たな候補画像とするなどの処理を行う。これによって、入力画像の背景が少しずつ変化している場合でも、候補画像がそれにつれて変化するようになり、背景画像として採用される時点でのもっともふさわしい背景を作成することが出来る。
【００３４】
本発明においては、候補画像がどれだけ背景として適しているかを評価する指数（「候補指数」と称する）を、類似していると判定された回数をもとに定める。通常は、類似していると判定された回数自体をこの候補指数とする。その変形も種種考えられ、以下の実施例で説明する。
【００３５】
従来行われてきたヒストグラムをとる方法は、例えば、ある領域の平均輝度をとりそれを何段階かの階調に区切ってその出現頻度をヒストグラムにするものであり、ヒストグラムの横軸となるプロトタイプの数（上の例では階調数）を多くとらなければならない。この数が少ないと十分な精度で最大頻度の画像を決定できない。これに対して本発明は、２つのプロトタイプしか記憶しないにもかかわらず、高い精度で最大頻度画像を決定することが出来る。
【００３６】
また、予め特徴量を定めてその類似度を比較するのでなく、候補画像を２つに絞り、その代わり画像を直接比較するので、特徴量の算出のステップとそのためのメモリが不要であり、さらに、特徴量の選び方に左右されずどのような特徴の画像でも対応できる。
【００３７】
以下、図面を用いて本発明を具体的な実施例でもって説明する。
【実施例】
【００３８】
図１乃至図５を使用して本発明の実施例を説明する。図１は、本発明の実施例に係る背景画像作成方法の全体の処理手順を示すフローチャートである。
【００３９】
ステップＳ０１では、初期化済みフラグに０を代入し、まだ背景画像作成に先立ち必要な初期化処理が実行されていないことを記憶する。ステップＳ０２では、入力画像の取得を行う。入力画像の取得は、カメラ等の画像入力装置からリアルタイムに動画像を入力することや、予め記憶媒体に記憶しておいた動画像ファイルを読み出すことや、あるいは通信装置を介して離れた場所からリアルタイムに動画像を受信することなどによって実現できる。また、本実施例では説明を簡略にするため、入力画像として８ビットの輝度値のみを持つ輝度画像としているが、ステップＳ０２において画像フォーマット変換を行うことによりどのようなフォーマットの画像にも対応可能である。背景画像作成装置の概略構成を示す図５において、入力画像はメモリ３中の適当な場所に記憶、保存される。
【００４０】
ステップＳ０３では、ローパスフィルタを使用して入力画像のノイズ除去を行う。これは、図５において、適宜データがメモリ３から読み出されつつ、メモリ３中に実装されたプログラムを用いて制御部２による制御下で演算処理部１で実行され、その結果が再びメモリ３中の適当な場所に格納される。後述の処理では候補画像と入力画像との画素ごとの差分値を計算するため、高周波ノイズを多く含む入力画像ではノイズの影響により大きな差分値が出てきてしまい、計算結果の信頼性が下がってしまう。これを避けるため、ステップＳ０３でローパスフィルタを用いることにより、入力画像の高周波ノイズを効果的に除去できる。ローパスフィルタの実現方法には幾つかあるが、最も高速演算可能な方法として、注目画素とその４近傍画素に重みを掛けて加算する方法が挙げられる。この計算式を（１１）式に示す。ここで、記号‘＊’は乗算子として用いている。また、座標（ｘ，ｙ）にある画素の輝度値をＩ（ｘ，ｙ）で示している。さらに、ｋ１，ｋ２は（１２）式の関係を満たす０より大きく１より小さい実数である。
【００４１】
Ｉ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）＊ｋ１＋（Ｉ（ｘ，ｙ−１）＋Ｉ（ｘ−１，ｙ）
＋Ｉ（ｘ＋１，ｙ）＋Ｉ（ｘ，ｙ＋１））＊ｋ２    ・・・（１１）
ｋ１＋ｋ２＊４＝１．０                                ・・・（１２）
例えば、ｋ１＝０．５（１／２），ｋ２＝０．１２５（１／２３）とした場合、（１１）式は以下のように（１１）’式に置き換えることができ、さらに（１１）”式に置き換えることができる。ここで、記号‘＜＜’は左辺値を右辺値分だけ上位ビット方向にビットシフトする左シフト演算子として用いており、記号‘＞＞’は左辺値を右辺値分だけ下位ビット方向にビットシフトする右シフト演算子として用いている。
【００４２】
Ｉ（ｘ，ｙ）＝（Ｉ（ｘ，ｙ）＊４＋Ｉ（ｘ，ｙ−１）＋Ｉ（ｘ−１，ｙ）
＋Ｉ（ｘ＋１，ｙ）＋Ｉ（ｘ，ｙ＋１））÷８      ・・・（１１）’
Ｉ（ｘ，ｙ）＝（（Ｉ（ｘ，ｙ）＜＜２）＋Ｉ（ｘ，ｙ−１）＋Ｉ（ｘ−１，ｙ）
＋Ｉ（ｘ＋１，ｙ）＋Ｉ（ｘ，ｙ＋１））＞＞３    ・・・（１１）”
（１１）”式はシフト演算と加算のみで構成されているため、高速演算が可能である。なお、ステップＳ０３におけるノイズ除去能力を高めたい場合、（１１）”式を画像全体に渡って複数回実行するとよい。ただし、入力画像にノイズが少ない場合はステップＳ０３を省略してもよい。
【００４３】
以下のステップも、図５において、適宜データがメモリ３から読み出されながら、制御部２による制御下で、その結果が適宜メモリ３中の適当な場所に格納されつつ演算処理部１で実行される。この実行プログラムもメモリ３中に実装される。ステップＳ０４では、初期化済みフラグが１かどうかの判定を行い、１でない場合はステップＳ０５に進んで初期化処理を行い、１の場合はステップＳ０７に進んで背景画像更新処理を行う。ステップＳ０５の初期化処理を行った後はステップＳ０６において初期化済みフラグに１を代入するので、初期化処理は最初の１回しか実行されない。
【００４４】
ステップＳ０６またはステップＳ０７の後は、ステップＳ０８において背景画像作成を継続するかどうかを判断する。ユーザから終了要求が指示された場合や、画像入力装置から画像が入力されなくなった場合や、記憶媒体から読み出していた映像ファイルが終端に達した場合など、なんらかの終了条件を満たした場合は図１の処理を終了する。逆に、終了条件を満たさなかった場合は、ステップＳ０２に戻って次の画像フレームを取得する。
【００４５】
図２は、図１のステップＳ０５「初期化処理」の詳細な処理手順を示すフローチャートである。図２のステップＳ１１において、以下の４つの処理化処理を行った後、処理を終了する。
【００４６】
第１の初期化処理は、背景画像の初期化である。背景画像に入力画像をコピーすることにより、メモリ３中に最初の背景画像を得ることが出来る。この最初の背景画像には動体も含まれてしまう可能性があるが、入力画像を何フレームも処理するに従って、後述のステップＳ０７「背景画像更新処理」において動体を含まない適切な背景画像へと書き換えられていく。
【００４７】
第２の初期化処理は、第１候補画像の初期化である。第１候補画像に入力画像をコピーすることにより、メモリ３中に最初の第１候補画像を得ることが出来る。最初の背景画像と同様に、この最初の第１候補画像にも動体も含まれてしまう可能性があるが、入力画像を何フレームも処理するに従って動体を含まない第１候補画像へと書き換えられていく。
【００４８】
第３の初期化処理は、第２候補画像の初期化である。メモリ３中の第２候補画像の全画素に０を代入する。ただし、後述するように第２候補画像は単位領域ごとに１度以上更新される（つまり書き換えられる）までは使用されないため、この初期化処理は省略して構わない。
【００４９】
第４の初期化処理は、第１候補画像の全ての単位領域における更新回数（候補指数）の初期化である。本実施例では、更新回数０の単位領域に含まれる画像は使用せず、使用可能な画像を代入した直後は更新回数１とするものと決める。従って、第１の初期化処理において第１候補画像を作成したため、ここでは第１候補画像の全ての単位領域における更新回数に１を代入する。
【００５０】
第５の初期化処理は、第２候補画像の全ての単位領域における更新回数の初期化である。第２候補画像は第１候補画像とは異なる候補画像を記憶するためのものであるが、初期化処理においては入力画像以外に背景候補となるような画像が存在しないため、第２候補画像には意味のある画像を代入できない。従って、第２候補画像の全ての単位領域における更新回数に０を代入する。つまり、第２候補画像は最初は使用されない。意味のある画像によって更新し、更新回数が１以上になった単位領域だけが使用されることになる。
【００５１】
図３は、図１のステップＳ０７「背景画像更新処理」の詳細な処理手順を示すフローチャートである。図３のステップＳ２１では、ＸＹ座標のカウンタを初期化する。Ｘ座標のカウンタである変数ｘに０を代入し、Ｙ座標のカウンタである変数ｙに０を代入する。以下の説明では、座標（０，０）は画像の左上端を示し、右方向にＸ座標が＋となり、下方向にＹ座標が＋となるものとして説明する。
【００５２】
ステップＳ２２では、座標（ｘ，ｙ）を始点とする単位領域内の背景画像更新処理を行う。この処理の詳細は、図４ａ及び図４ｂを用いて説明する。
【００５３】
ステップＳ２３からＳ２６までの処理は、背景画像更新処理を行う対象となる単位領域をラスタスキャン順（左から右、上から下の順）に移動するための処理である。ステップＳ２３では、変数ｘに単位領域の幅を加算することで、処理対象の単位領域を右方向に１つ進める。ステップＳ２４では、変数ｘが画像の幅以上の値になったかどうかを判定することにより、処理対象の単位領域が画像の右端に達したかどうかを判定する。ｘが画像の幅以上の値になった場合はステップＳ２５に進み、逆の場合はステップＳ２２に戻って次の単位領域の処理に移る。
【００５４】
ステップＳ２５では、変数ｘに０を代入し、変数ｙに単位領域の高さを加算することで、処理対象の単位領域を次の行の左端に進める。ステップＳ２６では、変数ｙが画像の高さ以上の値になったかどうかを判定することにより、処理対象の単位領域が画像の終端に達したかどうかを判定する。ｙが画像の高さ以上の値になった場合は図３の処理を終了し、逆の場合はステップＳ２２に戻って次の単位領域の処理に移る。
【００５５】
図４ａ及び図４ｂは、図３のステップＳ２２「座標（ｘ，ｙ）を始点とする単位領域内の背景画像更新処理」の詳細な処理手順を示すフローチャートである。処理の前半部を図４ａに示し、処理の後半部を図４ｂに示した。
【００５６】
図４ａのステップＳ３１では、入力画像と第１候補画像との画素ごとの差分の絶対値の単位領域内での総和Ａ１を以下の（１３）式により計算する。ここで、ｗは単位領域の幅、ｈは単位領域の高さ、ｍは単位領域内の相対Ｘ座標（０以上、ｗ−１以下の整数値）、ｎは単位領域内の相対Ｙ座標（０以上、ｈ−１以下の整数値）、Ｉｂ１（ｍ，ｎ）は第１候補画像の座標（ｘ＋ｍ，ｙ＋ｎ）における輝度値、Ｉｉ（ｍ，ｎ）は入力画像の座標（ｘ＋ｍ，ｙ＋ｎ）における輝度値である。また、記号‘｜’は絶対値を計算するための演算子であり、２つの記号‘｜’で囲まれた範囲の値（計算結果）の絶対値を計算する。この差分値の絶対値は、差分値の２乗値としてもよい。いずれにせよ、簡易且つ高速に類似度を計算できる。
【００５７】
【数１３】
2006155463.tif 000003
【００５８】
ステップＳ３２ではＡ１を予め決めたしきい値Ｔａと比較し、Ａ１がしきい値Ｔａ以下の場合は入力画像と第１候補画像が似ていると判断し、ステップＳ３３に進む。逆に、Ａ１がしきい値Ｔａより大きい場合は入力画像と第１候補画像が似ていないと判断し、図４ｂに示したステップＳ３４に進む。撮影対象の性質によって、良好な背景画像を作成するのに効果があると考えられる場合には、しきい値Ｔａは可変にもできる。例えば、更新回数が小さいときは大きくし、更新回数が増すにつれて小さくする。
【００５９】
ステップＳ３３では、第１候補画像の単位領域内の全画素の輝度値を以下の（１４）式により更新する。また、座標（ｘ，ｙ）を含む単位領域における第１候補画像の更新回数Ｃ１を（１５）式により更新する。ここで、αは０より大きく１より小さい実数である。αを用いた荷重加算により、入力画像の影響が少しずつ第１候補画像に加えられるので、入力画像にフリッカノイズなどの時間変動するノイズ成分が含まれていたとしても、こうしたノイズの影響をあまり受けず、適切な第１候補画像が形成されていく。撮影対象の性質によっては、良好な背景画像を作成するのに効果があると考えられる場合には、αや更新回数の幅も可変にもできる。例えば、類似度が小さいときはαを大きくし、類似度が増すにつれて小さくする。また、類似度が大きいときは更新回数の更新の幅（候補指数の増分）を大きくし、類似度が減少するにつれて小さくする。これにより、より迅速に背景画像を良好なものに更新できることになる。
【００６０】
Ｉｂ１（ｍ，ｎ）＝Ｉｂ１（ｍ，ｎ）＊α＋Ｉｉ（ｍ，ｎ）＊（１−α）
・・・（１４）
Ｃ１＝Ｃ１＋１                                        ・・・（１５）
例えば、α＝１５÷１６＝０．９３７５とした場合、（１４）式は以下のように（１４）’式に置き換えることができ、さらに（１４）”式に置き換えることができる。前述のように、記号‘＜＜’は左シフト演算子、記号‘＞＞’は右シフト演算子である。
Ｉｂ１（ｍ，ｎ）
＝（Ｉｂ１（ｍ，ｎ）＊１５＋Ｉｉ（ｍ，ｎ）＊１）／１６
＝（Ｉｂ１（ｍ，ｎ）＊１６−Ｉｂ１（ｍ，ｎ）＋Ｉｉ（ｍ，ｎ））／１６
・・・（１４）’
Ｉｂ１（ｍ，ｎ）
＝（（Ｉｂ１（ｍ，ｎ）＜＜４）−Ｉｂ１（ｍ，ｎ）＋Ｉｉ（ｍ，ｎ））＞＞４
・・・（１４）”
（１４）”式はシフト演算と加減算のみで構成されているため、高速演算が可能である。この様に、荷重加算における一方の係数が２の整数べきの逆数であると、候補画像の輝度値の更新式がシフト演算と加減算のみで構成されて、高速演算が可能となる。
【００６１】
ステップＳ３３の実行後は、図４ｂのステップＳ４０に進む。以下、図４ｂの説明である。ステップＳ３４では、入力画像と第２候補画像との画素ごとの差分の絶対値の単位領域内での総和Ａ２を以下の（１５）式により計算する。ここで、Ｉｂ２（ｍ，ｎ）は第２候補画像の座標（ｘ＋ｍ，ｙ＋ｎ）における輝度値である。他の記号の意味はすでにステップＳ３１の説明で述べている。
【００６２】
【数１５】
2006155463.tif 000004
【００６３】
ステップＳ３５ではＡ２を予め決めたしきい値Ｔａと比較し、Ａ２がしきい値Ｔａ以下の場合は入力画像と第２候補画像が似ていると判断し、ステップＳ３６に進む。逆に、Ａ２がしきい値Ｔａより大きい場合は入力画像と第２候補画像が似ていないと判断し、ステップＳ３７に進む。ステップＳ３７では、第２候補画像を入力画像と入れ替え（すなわち、類似度が小さい入力画像でも、無視して捨てないようにする）、更新回数Ｃ２に１を加えて処理を終了する。基本的には、似ていない入力画像でも捨てないで第２候補画像として採用するが、場合によっては間引きして第２候補画像として採用する様にしてもよい。例えば、入力画像が不安定で一定時間に亘って連続或いは頻繁にステップＳ３７に来る様な場合、これを検出して、その後にステップＳ３７に来ても複数回に１回しか第２候補画像を入力画像と入れ替えないで、他の入力画像は捨て、その後こうした状態ではなくなったら再び元の更新の仕方に戻す様な選択的処理である。こうすれば、入力画像が不安定な状態が続く様な場合の処理が迅速化できることになる。ここでも、撮影対象の性質によっては、良好な背景画像を作成するのに効果があると考えられる場合には、しきい値Ｔａは可変にもできる。例えば、更新回数が小さいときは大きくし、更新回数が増すにつれて小さくする。
【００６４】
ステップＳ３６では、第２候補画像の単位領域内の全画素の輝度値を以下の（１６）式により更新する。また、座標（ｘ，ｙ）を含む単位領域における第２候補画像の更新回数Ｃ２を（１７）式により更新する。ステップＳ３３の説明で述べたとおり、αを用いた荷重加算により、入力画像に時間変動するノイズ成分が含まれていたとしても、こうしたノイズの影響をあまり受けずに第２候補画像が形成されていく。
【００６５】
Ｉｂ２（ｍ，ｎ）＝Ｉｂ２（ｍ，ｎ）＊α＋Ｉｉ（ｍ，ｎ）＊（１−α）
・・・（１６）
Ｃ２＝Ｃ２＋１                                        ・・・（１７）
また、ステップＳ３３の説明と同様にαに適当な値を選ぶことにより、（１７）式はシフト演算と加減算のみで構成される式に置き換えることができるため、高速演算が可能である。ここでも、撮影対象の性質によっては、良好な背景画像を作成するのに効果があると考えられる場合には、αや更新回数の幅も可変にもできる。例えば、類似度が小さいときはαを大きくし、類似度が増すにつれて小さくする。また、類似度が大きいときは更新回数Ｃ２の更新の幅を大きくし、類似度が減少するにつれて小さくすることができる。
【００６６】
ステップＳ３８では、Ｃ２とＣ１を比較し、Ｃ２がＣ１より大きい場合はステップＳ３９に進み、Ｃ２がＣ１以下の場合は図４ｂの処理を終了する。このステップではなく、第１候補画像の処理と同じステップとしてもよい。すなわち、第１候補画像の入力画像との類似度を優先的に測って処理を進める点を除いて、第１候補画像と第２候補画像を同格に扱って処理してもよい。
【００６７】
ステップＳ３９では、第１候補画像と第２候補画像の単位領域内の全画素値を互いに入れ替えるととともに、Ｃ１とＣ２の値を互いに入れ替える。この処理により、Ｃ１の値が常にＣ２の値以上となるため、ステップＳ４０ではＣ１と予め決められたしきい値Ｔｃとを比較するだけでよくなる。なぜなら、ステップＳ３９及び後述するステップＳ４１の処理により、Ｃ２の値は決してしきい値Ｔｃ以上にはならないためである。
【００６８】
ステップＳ４０では、Ｃ１としきい値Ｔｃとを比較し、Ｃ１がＴｃ以上の場合はステップＳ４１に進み、Ｃ１がＴｃ未満の場合は図４ｂの処理を終了する。Ｃ１がＴｃ以上となる場合とは、座標（ｘ，ｙ）を含む単位領域における第１候補画像が一定回数以上更新されたということであり、この単位領域における第１候補画像を用いて背景画像を更新することができる。そこで、ステップＳ４１では、第１候補画像の単位領域内の全画素値を背景画像の対応する位置に代入する。また、座標（ｘ，ｙ）を含む単位領域において背景画像が更新されたので、Ｃ１及びＣ２を初期化することにより、第１及び第２候補画像の作成を新たに始める。図４ｂに示した例では、Ｃ１に１を代入し、Ｃ２に０を代入する。この初期化方法により、図２に示した初期化処理後と同じ状態にすることができる。なお、Ｃ１及びＣ２の初期値はそれぞれ１及び０でなくともよく、それぞれ適切な初期値を予め決めておいてもよい。この様な再初期化手順により、背景画像の更新方法も容易に実現できる。
【００６９】
その他の初期化方法として、Ｃ１及びＣ２をそれぞれ予め決められた値によって除算し、除算結果の整数部をそれぞれＣ１及びＣ２の初期値として用いる方法も考えられる。この初期化方法を用いた場合、それ以前に作成した第１及び第２候補画像の影響がより強く残るため、図４ｂに示した初期化方法よりも背景画像の自動更新がより緩やかに（よりゆっくりと）進む傾向を持つことになる。
【００７０】
最後に、上述の方法を用いて背景画像を作成する際に最低限必要となるメモリサイズを試算する。試算に先立つ前提条件は、背景技術に対するメモリサイズの試算で用いた前提条件と同じものである。前提条件を以下に再度記述する。
・画像サイズは６４０＊４８０画素（３０７，２００画素）
・画像の各画素は１バイト（８ｂｉｔ、２５６階調）で表現される輝度値のみ持つ
・画像フレームレートは毎秒３０フレーム
・背景画像を作成するまでの画像入力時間は６０秒（１，８００フレーム）
・頻度や回数などを計数するためのカウンタ用メモリサイズは２バイト（１６ｂｉｔ）
【００７１】
最低限必要なメモリサイズは、以下の（１８）〜（２２）及び前述の（４）式で表現できる。ただし、（１８）式が不等記号‘＞’で表現されている理由は、計算の途中結果などを記憶しておくための作業メモリサイズが右辺に含まれていないためである。
・最低限必要なメモリサイズ
＞単位領域数＊単位領域ごとの候補画像及び更新回数記憶用メモリサイズ
＋背景画像格納用メモリサイズ                        ・・・（１８）
・単位領域数
＝（画像の幅÷単位領域の幅）＊（画像の高さ÷単位領域の高さ）
・・・（１９）
・単位領域ごとの候補画像及び更新回数記憶用メモリサイズ
＝第１候補画像の単位領域内の輝度値記憶用メモリサイズ
＋第２候補画像の単位領域内の輝度値記憶用メモリサイズ
＋第１候補画像の単位領域ごとの更新回数記憶用メモリサイズ
＋第２候補画像の単位領域ごとの更新回数記憶用メモリサイズ・・・（２０）
・単位領域内の輝度値記憶用メモリサイズ
＝単位領域サイズ＊輝度値記憶用メモリサイズ                 ・・・（２１）
・単位領域ごとの更新回数記憶用メモリサイズ＝カウンタ用メモリサイズ
・・・（２２）
・背景画像格納用メモリサイズ
＝１フレームの画素数＊輝度値記憶用メモリサイズ             ・・・（４）
【００７２】
ここで、単位領域の幅と高さがともに８画素、つまり単位領域サイズが８＊８＝６４画素から成るとした場合、上述の前提条件と合わせると、以下のように、まず（１９）’、（２１）’、（２２）’及び（４）’式が得られ、次いで（２０）’式が得られ、最後に（１８）’式が得られる。ただし、メモリサイズはバイト単位で計算している。
・単位領域数＝（６４０÷８）＊（４８０÷８）＝４，８００ ・・・（１９）’
・単位領域内の輝度値記憶用メモリサイズ＝６４＊１＝６４         ・・・（２１）’
・単位領域ごとの更新回数記憶用メモリサイズ＝２                 ・・・（２２）’
・背景画像格納用メモリサイズ＝３０７，２００＊１＝３０７，２００・・・（４）’
・単位領域ごとの候補画像及び更新回数記憶用メモリサイズ
＝６４＋６４＋２＋２＝１３２                        ・・・（２０）’
・最低限必要なメモリサイズ
＞４，８００＊１３２＋３０７，２００＝９４０，８００       ・・・（１８）’
【００７３】
従って、１メガバイト未満のメモリサイズとなる。前述の特許文献１の方法では約５５６メガバイトが必要であり、特許文献２の方法では約３メガバイトが必要であったことと比較すると、メモリ使用量が大きく減らせることが分かる。さらに、すでに実施例中で述べたように、本発明に係る方法では乗算や除算などのいわゆる重い演算を使用せずに、シフト演算、加算、比較演算などのいわゆる軽い演算のみで実装が可能である。従って、比較的安価で低速な電子回路を用いてもリアルタイム演算が可能であり、他の方法よりも安価な装置を実現できる。
【００７４】
以上の動画像を構成する複数フレームの入力画像から動体を除いた背景画像を作成する方法は、上記「課題を解決するための手段」のところで述べた手順をコンピュータに実行させるプログラムを図５に示す様な装置のメモリ３に実装して実現することができる。この装置は、２つの画像を第１と第２の候補画像として記憶するメモリ３と、入力画像と第１または第２の候補画像との類似度を算出する演算処理部１と、所定の手順に従ってメモリ３と演算処理部１を制御する制御部２とを有する。
【００７５】
以上に説明した実施例によれば、動体が存在する場合でも適切な背景画像を自動的に作成でき、かつ連続的に背景画像を自動更新できる比較的演算量及びメモリ使用量が少ない背景画像作成方法を提供できるようになる。これにより、小型かつ安価なハードウェアを使用した場合でも、リアルタイム処理可能でありながら、常に正確な動体抽出が行える背景差分法を実現することが可能になる。
【図面の簡単な説明】
【００７６】
【図１】本発明の実施例に係る背景画像作成方法の全体の処理手順を示すフローチャートである。
【図２】図１のステップＳ０５「初期化処理」の詳細な処理手順を示すフローチャートである。
【図３】図１のステップＳ０７「背景画像更新処理」の詳細な処理手順を示すフローチャートである。
【図４ａ】図３のステップＳ２２「座標（ｘ，ｙ）を始点とする単位領域内の背景画像更新処理」の詳細な処理手順の前半部を示すフローチャートである。
【図４ｂ】図３のステップＳ２２「座標（ｘ，ｙ）を始点とする単位領域内の背景画像更新処理」の詳細な処理手順の後半部を示すフローチャートである。
【図５】本発明による背景画像作成装置の一構成例の概略的な図である。
【符号の説明】
【００７７】
１  演算処理部
２  制御部
３  メモリ
【図１】
2006155463.tif 000005
【図２】
2006155463.tif 000006
【図３】
2006155463.tif 000007
【図４ａ】
2006155463.tif 000008
【図４ｂ】
2006155463.tif 000009
【図５】
2006155463.tif 000010