(57)【要約】      （修正有）【課題】カメラ等の撮影映像において、その映像中の物体及び背景を区別する際、物体だけでなく背景が変化する場合でも区別可能とする画像処理システム及びそれに用いる画像処理方法を提供する。【解決手段】定点において連続的に撮影される画像より、処理時における現在画像とその直前の直前画像を取得する処理と、現在画像と直前画像を比較し、差を検出した領域を動作領域とする処理と、現在画像と背景画像（処理開始時は初期値、その後、現在画像により更新）を比較し、差を検出した領域を物体領域とする処理と、動作領域と物体領域の各々に該当するタイマーに値を設定する処理と、物体領域のタイマー値を周囲の領域に伝搬させ、動作領域のタイマー値に適切な値を設定する処理と、動作領域のタイマー値がタイムアウトの状態の領域の背景画像を現在画像に更新する処理と、背景画像を利用して出力画像を合成する処理を有する。【選択図】図３
2016115093.tif 000002
【特許請求の範囲】
【請求項１】
定点において連続的に撮影される画像を取得する画像取得手段と、
前記画像取得手段によって取得される画像について、予め定めた区画を所定領域として該所定領域ごとに分割する所定領域分割手段と、
前記画像取得手段により取得された画像から静止物を検出し、該静止物による静止画像を作成する静止画像作成手段と、
連続的に取得される画像のうち、処理時における最新の画像である現在画像および該現在画像の直前に取得した直前画像を記録する画像記録手段と、
前記現在画像および前記直前画像に基づいて前記所定領域ごとに変化の有無を判断することにより動作領域を特定する動作領域特定手段と、
前記背景画像および前記現在画像に基づいて前記所定領域ごとにおける背景画像との間の差を判断することにより物体領域を特定する物体領域特定手段と、
前記物体領域中における前記動作領域の特定状態を該物体領域に属する所定領域に反映させる領域伝搬手段と、
前記動作領域を含む前記物体領域の全体画像を前記静止画像に合成しつつ出力画像を作成する出力画像作成手段とを備える
ことを特徴とする画像処理システム。
【請求項２】
さらに、前記所定領域ごとに付与されるタイマー値を管理するタイマー管理手段を備え、
前記領域伝搬手段は、
前記動作領域特定手段により特定された動作領域についてはタイマー値をセットし、さらに、前記物体領域特定手段により特定された物体領域を除く全ての領域についてはタイマーをリセットするタイマー処理手段と、
前記動作領域のタイマー値に基づいて前記物体領域のタイマー値を修正するタイマー値伝搬手段とを備え、
前記タイマー管理手段により所定のタイマー値に基づいて前記動作領域を含む前記物体領域の全体画像が作成されるものである
ことを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記タイマー管理手段は、予め設定された所定時間のタイマー値を管理するものであり、
前記背景画像作成手段は、前記タイマー管理手段の所定時間中におけるタイマー値が所定値に満たない前記所定領域を背景領域として特定し、該背景領域における画像により背景画像を作成するものである
ことを特徴とする請求項２に記載の画像処理システム。
【請求項４】
前記背景画像作成手段は、画像取得手段により取得される連続的な画像から、所定時間ごとに背景領域が更新されるものである
ことを特徴とする請求項２に記載の画像処理システム。
【請求項５】
コンピュータにより処理させる画像処理方法であって、
定点において連続的に撮影される画像を取得する画像取得ステップと、
前記画像取得ステップによって取得される画像について、予め定めた区画を所定領域として該所定領域ごとに分割する所定領域分割ステップと、
前記画像取得ステップにより取得された画像から静止物を検出し、該静止物による一時的な静止画像を作成する初期静止画像作成ステップと、
連続的に取得される画像のうち、処理時における最新の画像である現在画像および該現在画像の直前に取得した直前画像を記録する画像記録ステップと、
前記現在画像および前記直前画像に基づいて前記所定領域ごとに変化の有無を判断することにより動作領域を特定する動作領域特定ステップと、
前記背景画像および前記現在画像に基づいて前記所定領域ごとにおける背景画像との間の差を判断することにより物体領域を特定する物体領域特定ステップと、
前記動作領域特定手段により特定された動作領域についてはタイマーをセットし、さらに、前記物体領域特定手段により特定された物体領域を除く全ての領域についてはタイマーをリセットするタイマー処理ステップと、
前記動作領域のタイマー値に基づいて前記物体領域のタイマー値を修正するタイマー値伝搬ステップと、
前記タイマーの値が所定値に満たない所定領域を特定し、該所定領域を背景領域として認定する背景領域認定ステップと、
前記背景領域を前記一時的背景画像に反映させ、背景画像を更新する背景画像更新ステップと、
前記動作領域を含む前記物体領域を、更新された背景画像に合成しつつ出力画像を作成する出力画像作成ステップとを含む
ことを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラ等の撮影映像に含まれる静止物体と動く物体を区別して表示する画像処理システムとそれに用いる画像処理方法に関する。特に、授業における説明者と板書とを区別する画像処理システムに関するものである。
【背景技術】
【０００２】
授業のビデオなどにおいて、映像のなかの説明者の領域を検出するために、動く物体を特定する画像処理システムでは、背景を登録しておき、背景と色の差があるところを人物とすることがよく行われるが、授業などでは板書などによって背景が変化するので、背景の変化と人物の変化を区別する必要がある。
【０００３】
板書を特定する技術として特許文献１があり、人物に遮られない板書の映像を取得する技術として、特許文献２および非特許文献１、２がある。特許文献１は、文字に特化している方法であり、板書の書き方の場所の順番を規定しているため、これに従わない板書の使い方では対応ができない。
【０００４】
特許文献２は、板書と人物の色の差をよりどころとして、板書と人物を区別する方法である。したがって、板書に使われている字の色と同じ色の服を着ている人の場合に不具合が生じる。また、板書ではなくて図などを黒板に貼付けるような場合には対応できない。
【０００５】
非特許文献１は、板書と人物の模様の差をよりどころとして、板書と人物を区別する方法である。この方法では、文字がプリントされている服を着ている人の場合に不具合が生じる。また、人物の写真を黒板に貼付けて説明をするような場合には、対応できない。
【０００６】
非特許文献２は、板書と人物のカメラまでの距離をよりどころに、板書と人物を区別する方法である。人物の服や、板書に書かれる、あるいは掲示される情報に制限はない方法であるが、距離を測る装置が必要であり、そのような装置を利用できない場合には対応できない。
【０００７】
一方、人物を特定する技術として、非特許文献３では、温度カメラを利用して人物の体温を検出し、カラーカメラと温度カメラの２つのカメラから得られる画像を基にして人物を特定する方法が開示されている。この方法では、温度カメラという特定の装置が必要であり、そのような装置が利用できない状況では区別することができない。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開２００７−１６６２４５号公報
【特許文献２】特開２０１０−０９２２２４号公報
【非特許文献】
【０００９】
【非特許文献１】大西正輝、他2名、「講義映像における板書領域のブロック抽出とその 10 自動撮影」、電子情報通信学会技術研究報告、社団法人 電子情報通信学会、1999年11月、 Vol.99、 p.197-204．
【非特許文献２】山根恵和、岡部正幸、梅村恭司、「講義中の板書を支援する人物半透明カメラの実装」、Wiss2013、 ソフトウェア科学会、pp203-204．
【非特許文献３】西貝吉晃：温度情報と色情報を統合的に利用する映像メディアの研究、東京大学修士論文、２００６年２月．
【発明の概要】
【発明が解決しようとする課題】
【００１０】
上述したように、従来の撮影映像に含まれる静止物体（以下、静止物ということがある。）と動く物体（以下、動作物ということがある。）を区別して表示する画像処理システムおよび画像処理方法では、背景が静止している場合においては物体と背景を区別可能だが、背景の一部も変化する状況においては、その背景の一部も物体として認識し、区別できないという課題がある。
【００１１】
また、背景の一部が変化する場合には、背景の変化に追従するため、変化後に一定時間変化がなければ背景とみなす処理が必要となるが、この処理を施すと、対象物の一部が動くとしても、前記対象物の一部以外のほとんどの部分が静止していれば、対象物は静止物とみなされ、背景と認識されてしまうという問題がある。
【課題を解決するための手段】
【００１２】
本発明は、上記の課題を解決するためになされたものである。
【００１３】
請求項１に記載の画像処理システムは、
定点において連続的に撮影される画像を取得する画像取得手段と、
前記画像取得手段によって取得される画像について、予め定めた区画を所定領域として該所定領域ごとに分割する所定領域分割手段と、
前記画像取得手段により取得された画像から静止物を検出し、該静止物による静止画像を作成する静止画像作成手段と、
連続的に取得される画像のうち、処理時における最新の画像である現在画像および該現在画像の直前に取得した直前画像を記録する画像記録手段と、
前記現在画像および前記直前画像に基づいて前記所定領域ごとに変化の有無を判断することにより動作領域を特定する動作領域特定手段と、
前記背景画像および前記現在画像に基づいて前記所定領域ごとにおける背景画像との間の差を判断することにより物体領域を特定する物体領域特定手段と、
前記物体領域中における前記動作領域の特定状態を該物体領域に属する所定領域に反映させる領域伝搬手段と、
前記動作領域を含む前記物体領域の全体画像を前記静止画像に合成しつつ出力画像を作成する出力画像作成手段とを備える
ことを特徴とする。
【００１４】
請求項２に記載の画像処理システムは、請求項１に記載の画像処理システムであって、
さらに、前記所定領域ごとに付与されるタイマー値を管理するタイマー管理手段を備え、
前記領域伝搬手段は、
前記動作領域特定手段により特定された動作領域についてはタイマー値をセットし、さらに、前記物体領域特定手段により特定された物体領域を除く全ての領域についてはタイマーをリセットするタイマー処理手段と、
前記動作領域のタイマー値に基づいて前記物体領域のタイマー値を修正するタイマー値伝搬手段とを備え、
前記タイマー管理手段により所定のタイマー値に基づいて前記動作領域を含む前記物体領域の全体画像が作成されるものである
ことを特徴とする。
【００１５】
請求項３に記載の画像処理システムは、請求項２に記載の画像処理システムであって、
前記タイマー管理手段は、予め設定された所定時間のタイマー値を管理するものであり、
前記背景画像作成手段は、前記タイマー管理手段の所定時間中におけるタイマー値が所定値に満たない前記所定領域を背景領域として特定し、該背景領域における画像により背景画像を作成するものである
ことを特徴とする。
【００１６】
請求項４に記載の画像処理システムは、請求項２に記載の画像処理システムであって、
前記背景画像作成手段は、画像取得手段により取得される連続的な画像から、所定時間ごとに背景領域が更新されるものである
ことを特徴とする。
【００１７】
請求項５に記載の画像処理方法は、
コンピュータにより処理させる画像処理方法であって、
定点において連続的に撮影される画像を取得する画像取得ステップと、
前記画像取得ステップによって取得される画像について、予め定めた区画を所定領域として該所定領域ごとに分割する所定領域分割ステップと、
前記画像取得ステップにより取得された画像から静止物を検出し、該静止物による一時的な静止画像を作成する初期静止画像作成ステップと、
連続的に取得される画像のうち、処理時における最新の画像である現在画像および該現在画像の直前に取得した直前画像を記録する画像記録ステップと、
前記現在画像および前記直前画像に基づいて前記所定領域ごとに変化の有無を判断することにより動作領域を特定する動作領域特定ステップと、
前記背景画像および前記現在画像に基づいて前記所定領域ごとにおける背景画像との間の差を判断することにより物体領域を特定する物体領域特定ステップと、
前記動作領域特定手段により特定された動作領域についてはタイマーをセットし、さらに、前記物体領域特定手段により特定された物体領域を除く全ての領域についてはタイマーをリセットするタイマー処理ステップと、
前記動作領域のタイマー値に基づいて前記物体領域のタイマー値を修正するタイマー値伝搬ステップと、
前記タイマーの値が所定値に満たない所定領域を特定し、該所定領域を背景領域として認定する背景領域認定ステップと、
前記背景領域を前記一時的背景画像に反映させ、背景画像を更新する背景画像更新ステップと、
前記動作領域を含む前記物体領域を、更新された背景画像に合成しつつ出力画像を作成する出力画像作成ステップとを含む
ことを特徴とする。
【発明の効果】
【００１８】
本発明により、背景と物体の両方が変化する場合であっても、その両方の変化の区別が可能となる。さらに、背景画像と物体画像についてのモデルを構築しないので、背景や物体を限定せずに適用可能である。
【図面の簡単な説明】
【００１９】
【図１】本発明に係る画像処理システムの構成を示す図である。
【図２】本発明に係る画像処理の詳細を示す図である。
【図３】本発明に係る画像処理の流れを示す図である。
【図４】本発明の実施例に係る画像処理の初期状態を示す図である。
【図５】本発明の実施例に係る画像処理において、箱を持ち上げた直後の背景画像と現在画像を重ね合わせた結果を示す図である。
【図６】本発明の実施例に係る画像処理において、箱を持ち上げた直後から一定時間経過した後の背景画像と現在画像の重ね合わせた結果を示す図である。
【図７】本発明の実施例に係る画像処理において、背景画像を最新画像に更新開始するまでのタイマー値の伝搬処理を行わない場合の結果を示す図である。
【図８】本発明の実施例に係る画像処理において、箱を持ち上げた直後から一定時間経過した後の管理区画毎の保持情報（タイマーの値）を、各値に対応した記号で示す図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施形態について、図を参照しながら説明する。
【００２１】
本発明に係る画像処理システムの構成を図１に示す。前記画像処理システムの構成は、カメラなどの画像入力装置、画像および映像を表示するディスプレイなどの画像表示装置、本発明に係る画像処理に必要な演算を行うＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などの演算処理装置１０１、前記画像処理に必要なプログラムおよび画像情報を格納し、保持する記憶装置１０２がバス接続されている。前記画像入力装置は、定点において連続的に撮像される画像を取得する（画像取得手段として機能する）。記憶装置１０２は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、あるいはＲＡＭおよびハードディスクなどの外部記憶装置からなり、本発明に係る画像処理に必要なプログラムおよび画像情報を格納し、保持しており（画像記録手段として機能し）、必要に応じて上記バス接続された複数の装置を適切に制御し、所定の処理結果を得ることができる。
【００２２】
なお、上述の画像処理システムの構成は、実施形態の説明のための一例であって、これに限られるものでない。
【００２３】
次に、本発明に係る画像処理の詳細について図２および図３に示す。
【００２４】
図２において、前記画像処理システムの記憶装置１０２には、現在の画像、直前の画像、背景画像、ならびに、区分けされた画像の管理区画（領域）毎に背景画像を最新の画像に更新するまでのタイマー、該更新タイマーの設定に使用する物体領域のタイマーが設けられる（タイマー管理手段として機能し得る）。さらに、現在の画像と直前の画像との比較結果が保持される。
【００２５】
一方、演算処理装置１０１は、二つの画像を比較し、違いのある部分を検出する演算、管理区画毎に周囲の最大値を次の値にする伝搬演算、ビット演算、加減算、条件による値の設定を行うことができる。この演算処理装置１０１が、所定領域分割手段、静止画像作成手段、領域伝搬手段および出力画像作成手段として機能し得る。
【００２６】
本発明に係る画像処理では、まず、最新の現在画像フレーム（以下、図も含めてｃｕｒｒｅｎｔＦｒａｍｅと記す。）および、背景のほぼ静止した背景画像フレーム（以下、図も含めてｂａｃｋｇｒｏｕｎｄＦｒａｍｅと記す。）が、表示解像度と同一の解像度で保持される（画像取得ステップ、画像記録ステップ）。
【００２７】
直近の変化を検出するために、一つ前の時点での画像フレーム（以下、図も含めてｐｒｅｖｉｏｕｓＦｒａｍｅと記す。）を保持し、変化の判定が可能な範囲で解像度を低下させたり、または色を変化させたり、あるいは解像度および色を変化させて保持してもよい。前記解像度は、表示解像度とは独立であり、該表示解像度と同一であってもよいが、通常は低い解像度で使用される。
【００２８】
ｐｒｅｖｉｏｕｓＦｒａｍｅは、動作領域や物体領域などの領域管理のために情報を保持している（所定領域分割ステップ）。前記領域管理の単位は、画像上にて区画を形成するので、以下、管理区画と記す。
【００２９】
本発明に係る画像処理では、前記管理区画毎に、直近で変化した部分かどうかの判定結果（以下、図も含めてａｃｔｉｖｅＭａｐと記す。）および、ｃｕｒｒｅｎｔＦｒａｍｅと、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅとが同一かどうかの判定結果（以下、図も含めてｏｂｊｅｃｔＭａｐと記す。）を管理する。また、前記管理区画毎に、背景と判定するまでの残り時間を示したタイマーの整数値（以下、図も含めてｕｐｄａｔｅＴｉｍｅｒと記す。）および、物体領域のタイマーの整数値（以下、図も含めてＯｂｊｅｃｔＴｉｍｅｒと記す。）を管理する。
【００３０】
本発明係る画像処理の前提として、二つのケースに分けられる（初期静止画像作成ステップ）。
【００３１】
一つ目のケースは、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅには動作物がなく、ｕｐｄａｔｅＴｉｍｅｒはすべて時間切れの値となっている状態である。
【００３２】
二つ目のケースは、任意のｂａｃｋｇｒｏｕｎｄＦｒａｍｅの値とｕｐｄａｔｅＴｉｍｅｒの値からアルゴリズムを動作させ続けて、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅには静止物の映像が求まっており、ｕｐｄａｔｅＴｉｍｅｒには、動作物を覆う領域に、適切な値が設定されている状態である。前記動作物が存在するか否かの情報はｏｂｊｅｃｔＴｉｍｅｒに獲得されており、その値を該動作物の周囲の領域（覆う領域）に伝搬することにより、前記ｕｐｄａｔｅＴｉｍｅｒには、該動作物およびそれを覆う領域に適切な値が設定される。
上述した二つのケースのどちらかの状態から、現在画像と直前画像を取得した後、目的の画像を生成するために、図３に示す七つのステップを繰り返す。以下、図３に示す七つのステップの詳細について説明する。
【００３３】
ステップ１．現在画像と直前画像から動作領域を求める（図２中、２０１で示す処理、動作領域特定ステップ）。
管理区画毎に、ｃｕｒｒｅｎｔＦｒａｍｅの画素とｐｒｅｖｉｏｕｓＦｒａｍｅの画素を比べて、該ｃｕｒｒｅｎｔＦｒａｍｅの画素が変わったかを判定し、その判定結果をａｃｔｉｖｅＭａｐに格納する。そして、判定に利用したｃｕｒｒｅｎｔＦｒａｍｅの情報をｐｒｅｖｉｏｕｓＦｒａｍｅに格納する。
【００３４】
前記ａｃｔｉｖｅＭａｐの値を保持するメモリを使わなくても、ａｃｔｉｖｅＭａｐの値が必要になったときに、ｐｒｅｖｉｏｕｓＦｒａｍｅの画素と、ｃｕｒｒｅｎｔＦｒａｍｅの画素を参照して求めることもでもよい。このとき、前記ｐｒｅｖｉｏｕｓＦｒａｍｅの更新は、その値を利用し終わった後に行うことになる。
【００３５】
ｃｕｒｒｅｎｔＦｒａｍｅの画素の変化の有無を判定する方法は多数存在するが、最も簡単な方法として、閾値をもうけて、ｐｒｅｖｉｏｕｓＦｒａｍｅの画素と、該ｃｕｒｒｅｎｔＦｒａｍｅの画素の管理区画での平均的な色の変化が前記閾値よりも大きいかを判定することでもよい。物体が遮蔽しないケースで変化があったと判定することがあってもよいが、その影響が少なくなるような方法を選ぶと効果がある。あるいは、画素が変化しなくても、画素の特徴や、画素の位置から、その部分は動いていることと等価とみなして、ａｃｔｉｖｅＭａｐ情報を設定してもよい。
【００３６】
ステップ２．現在画像と背景画像から物体領域を求める（図２中、２０２で示す処理、物体領域特定ステップ）。
管理区画毎に、ｃｕｒｒｅｎｔＦｒａｍｅの画素と、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅの画素を比べて、差があるかを判定し、その結果をｏｂｊｅｃｔＭａｐに格納する。あるいはｏｂｊｅｃｔＭａｐの値が必要になったときに、ｃｕｒｒｅｎｔＦｒａｍｅの画素と、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅの画素を参照して求めても良い。
ｃｕｒｒｅｎｔＦｒａｍｅの画素と、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅの画素の差を判定する方法は多数あるが、最も簡単な方法として、閾値をもうけて、該ｃｕｒｒｅｎｔＦｒａｍｅの画素と、該ｂａｃｋｇｒｏｕｎｄＦｒａｍｅの画素の管理区画での平均的な色の変化が、前記閾値より大きいかを判定することでもよい。実際に変化がないのに変化があると判定することがあってもよいが、その影響が少なくなるような方法を選ぶと前記画素の差に関する判定の効果が上がる。その後、オブジェクトの領域を太くする。具体的には、近隣の画素の変化がある場合には、そこにオブジェクトが存在するとみなして、オブジェクトの有り、または無しの情報をｏｂｊｅｃｔＭａｐに格納する。近隣として、該当の画素のすぐ隣の画素をとってもよい。
【００３７】
ステップ３．動作領域についてタイマーをセットする（図２中、２０３で示す処理、タイマー処理ステップの一部）。
管理区画毎にａｃｔｉｖｅＭａｐが真であると判定した管理区画に対応するｕｐｄａｔｅＴｉｍｅｒに、定まった時間の値をセットする。偽であるところは、値を変化させない。定まった時間は、どのような時間でも良いが、応用毎に調整すると効果がある。
【００３８】
ステップ４．物体領域以外のタイマーをリセットする（図２中、２０４で示す処理、タイマー処理ステップの一部）。
管理区画毎にｏｂｊｅｃｔＭａｐが偽である区画に対応するｏｂｊｅｃｔＴｉｍｅｒにゼロを設定する。一方、ｏｂｊｅｃｔＭａｐが真の場合には、ｏｂｊｅｃｔＴｉｍｅｒに対応するｕｐｄａｔｅＴｉｍｅｒの値を設定する。
【００３９】
ステップ５．タイマーの値を更新する（周辺に値を伝搬させてから時間を進める）（図２中、２０５で示す処理、タイマー値伝搬ステップ）。
ｏｂｊｅｃｔＴｉｍｅｒを基にｕｐｄａｔｅＴｉｍｅｒの値を伝搬して更新することにより、該ｏｂｊｅｃｔＴｉｍｅｒの値を一斉に周囲の値に伝搬させる。具体的には、隣接する管理区画のｏｂｊｅｃｔＴｉｍｅｒの値と、該当する管理区画のｏｂｊｅｃｔＴｉｍｅｒの値から、次のｕｐｄａｔｅＴｉｍｅｒの値を求める。例えば、該当の管理区画に隣接する８つのｏｂｊｅｃｔＴｉｍｅｒと該当の管理区画のｏｂｊｅｃｔＴｉｍｅｒの合計９つの値の最大値をとってもよい。あるいは、方向を加味しながら、該当の管理区画の周囲のｏｂｊｅｃｔＴｉｍｅｒの値から減じた値を計算し、その最大値をとってもよい。前記ｕｐｄａｔｅＴｉｍｅｒの値の求めた後、管理区画毎に、該ｕｐｄａｔｅＴｉｍｅｒの値が正であれば、その値を減らす。減らす値は、どのようにしてもよい。最も簡単な方法では、１を減じることでよい。また、減ずる値は、管理区画の位置などの特徴によって変化させてもよい。
【００４０】
ステップ６．タイムアウト領域について、背景画像を現在画像に更新する（図２中、２０６で示す処理、背景領域認定ステップおよび背景画像更新ステップ）。
管理区画毎に、ｕｐｄａｔｅＴｉｍｅｒの値が適切な値以下になったとき、ｂａｃｋｇｒｏｕｎｄＦｒａｍｅを、ｃｕｒｒｅｎｔＦｒａｍｅに近づける。最も単純な方法では、対応する区画について、前記ｂａｃｋｇｒｏｕｎｄＦｒａｍｅを、前記ｃｕｒｒｅｎｔＦｒａｍｅに置き換えることでもよい。あるいは、前記ｃｕｒｒｅｎｔＦｒａｍｅに徐々に近づけるように更新してもよい。前記適切な値は、一定値であってもよい。また、オブジェクトの形状によって計算される値でもよい。
【００４１】
ステップ７．背景画像を利用して、応用に応じた画像を合成する（図２中、２０７で示す処理、出力画像作成ステップ）。
ｂａｃｋｇｒｏｕｎｄＦｒａｍｅと、ｃｕｒｒｅｎｔＦｒａｍｅの二つの画像が高解像度の画像であるので、前記二つの画像から、表示する合成画像を生成する。例えば、板書の支援のためには、二つの画像をブレンドすることでもよい。あるいは、前記ｂａｃｋｇｒｏｕｎｄＦｒａｍｅだけを表示するのでもよい。あるいは、二つの画像の差を処理するところで、精密な物体の輪郭を検出するのでもよい。あるいは、物体だけを取り出し、背景はすべて単一の色にすることでもよい。
【００４２】
上記の画像処理システムでは、説明中の人間などの「一部に動作がある」ということを利用して区別しているが、特別なマーカや、人為的に点滅するような器具を身につけているものだけを、選択的に物体とすることもできる。たとえば、点滅を繰り返す器具を身につける状況であれば、停止しているかどうかの判定までのタイマーの値を小さくすることができ、速やかに板書を更新することもできる。
【実施例】
【００４３】
図４は、机の上に単色の箱が置いてある状況を示す図である。ここで箱を手で持ち上げて保持するとき、机の上に置いてある箱は背景に属し、保持している箱は背景を覆うオブジェクトに属することになる。したがって、本実施例では、机に置いてある箱の像の変化は、速やかに背景に反映され、そのときに保持された箱の像は背景に反映されない。以下に、前記結果が得られるまでの流れを示す。
【００４４】
図５は、机の上の箱を手で持ち上げた直後の背景画像と現状画像を重ね合わせた図である。机の上の箱が半透明であるのは、机の上に箱が置いてある背景画像に、箱を手で持ち上げて、机の上からなくなった状態の現状画像が重ね合わさせた結果であり、持ち上げている腕と箱が半透明なのは、手で箱を持ち上げて保持した状態の現状画像に、箱と腕のない背景画像が重ね合わさせた結果である。
【００４５】
図６は、手で箱を持ち上げて保持した状態から、一定時間が経過した後の状態を示す図である。このとき、できるだけ箱と腕が静止するように保持した。机の上の箱の像が消えたのは、背景画像から机の上の箱の像が消えたことを意味する。一方で、手で保持された箱が半透明のままであるのは、背景画像には保持された箱の像がないことを意味する。例えば、授業風景で利用する場合、定規を使用して線を書いたり、黒板消しで字を消したりするとき、定規も黒板消しも板書を隠すオブジェクトとして扱えることを意味する。人が保持する物体を人の一部として扱えることが、この方法の特徴である。物体領域を追跡するような既存の方法では、机の上に置いた箱と手で保持された箱を区別することは難しい。あるいは、人物の特徴を利用した方法では、人が定規などを保持する場合、それが人の延長であることを識別することは難しい。
【００４６】
図７は、単色の箱を手で持ち持ち上げた状態から箱を揺らした場合、本発明に係る画像処理システムにおいて、背景画像を最新画像に更新開始するまでのタイマー値の伝搬処理を用いず、各管理区画で定められた一定時間以上経過しても変化がなかったときに、その区画を背景とする方法を用いて処理を行った結果を示した図である。箱の外側部分が半透明なのは、一定時間経過後に変化ありと判断された結果であり、箱の中心が半透明でないのは、一定時間経過後に変化なしと判断されたためである。前記方法では、箱の中心部分を除いた外側部分は物体として認識されるが、箱の中心は背景と認識され、箱全体を物体として認識することができない。これを避けるために、変化の検出時間を長くすることも考えられるが、検出時間が長くなると動かなくなったものを背景と認識するまでの時間も長くなってしまう。そこで、本実施例では、一定時間経過後に変化ありと判断された管理区画のタイマー値を、その周囲にも伝搬させる処理を用いた。
【００４７】
図８は、手で箱を持ち上げて保持した状態から一定時間が経過した後の、管理区画（縦３０×横４０の区画）毎のｕｐｄａｔｅＴｉｍｅｒの値を記号で表して示したものである。上記の手で箱を持ち上げて保持した状態（図６）の場合と同様に、箱と腕をできるだけ静止するように保持している。
【００４８】
また、図８中、動作領域（ひし形記号）は、現在の画像と直前の画像に違いがあると判定された、動作領域の部分である。本実施例では、前記動作領域（ひし形記号）は、指の部分である。指の部分は画素の空間変化が大きいことと、物を保持して力を加えているときに微妙に動きやすいことにより、大きな色の変化が検出され、動作領域と判定されている。前記動作領域（ひし形記号）の周辺部分は、腕あるいは保持している箱の部分であるが、本実施例では静止するように保持しているために、厳密には動いているとしても、それが検出の閾値以下であるので、動作領域とは判定されていない。
【００４９】
図８中、タイムアウトでない物体領域（星形記号）および、タイムアウト直前の物体領域（斜め十字記号）は、背景画像と現在画像に差があると判定された物体領域である。差があるのは、背景に属していた机上の箱の部分と、最新画像における持ち上げられた箱および腕の部分の２種類である。机の上の箱が背景から消えた現在画像には、物体（前記机上の箱）が存在しないのだが、背景画像に存在していたという意味で、両方とも物体領域とみなす。
【００５０】
前記タイムアウトでない物体領域（星形記号）と、前記タイムアウト直前の物体領域（斜め十字記号）の間には、更新されるまでの時間であるｕｐｄａｔｅＴｉｍｅｒの値に差がある。前記タイムアウトでない物体領域（星形記号）は、まだ、背景に取り込まれるまでに時間があり、前記タイムアウト直前の物体領域（斜め十字記号）は、時間切れになろうとしているところである。
前記ｕｐｄａｔｅＴｉｍｅｒの値は、上記ステップ５で示す通り、画像上で接続している物体領域で伝搬させる。すると、伝搬により前記ｕｐｄａｔｅＴｉｍｅｒの値が連続する領域の全体に広がってセットされるために、前記動作領域（ひし形記号）をどこかに持つ領域、つまり前記タイムアウトでない物体領域（星形記号）（ここでは保持された箱の領域に相当する）は、全体としてタイムアウトにならない。一方で、机上の箱がなくなったところに相当する、前記タイムアウト直前の物体領域（斜め十字記号）には、内部もしくは隣に、前記動作領域（ひし形記号）がないので、所定の時間が経過すると全体がタイムアウト状態となる。よって、前記タイムアウト直前の物体領域（斜め十字記号）は、箱が持ち上げられて机上からなくなったことにより、領域全体がタイムアウト状態になる直前の状態である。
【００５１】
図８中、タイムアウトでない非物体領域（十字記号）は、上記タイムアウトでない物体領域（星形記号）に隣接している領域である。前記タイムアウトでない物体領域（星形記号）の周囲に前記ｕｐｄａｔｅＴｉｍｅｒの値を伝搬させることによって、前記タイムアウトでない非物体領域（十字記号）と前記タイムアウトでない物体領域（星形記号）の両方の前記ｕｐｄａｔｅＴｉｍｅｒに値がセットされていることになる。上記タイムアウト直前の物体領域（斜め十字記号）の周囲に前記タイムアウトでない非物体領域（十字記号）が存在しないのは、タイムアウト直前であるため、前記ｕｐｄａｔｅＴｉｍｅｒの値が伝搬されていないことを示している。
【００５２】
図８中、タイムアウトの非物体領域（ドット記号）は、タイムアウトした状態の領域でかつ、物体領域と判定されていないところである。前記動作領域（ひし形記号）、前記タイムアウトでない物体領域（星形記号）、前記タイムアウトでない非物体領域（十字記号）は、タイムアウトした状態の領域でない。タイムアウトした状態の領域では、背景画像が現在画像で更新される。更新が完了すると、背景画像と現在画像が一致するので、その領域は物体領域と判定されなくなる。
【産業上の利用可能性】
【００５３】
本発明は、区別する動作物と静止物の対象が限定されないため、ロボット産業、医療分野（手術画像）、エンターテイメント産業などさまざまな分野の画像処理システムに利用可能である。
【符号の説明】
【００５４】
１０１  演算処理装置
１０２  記憶装置
【図１】
2016115093.tif 000003
【図２】
2016115093.tif 000004
【図３】
2016115093.tif 000005
【図８】
2016115093.tif 000006
【図４】
2016115093.tif 000007
【図５】
2016115093.tif 000008
【図６】
2016115093.tif 000009
【図７】
2016115093.tif 000010