(57)【要約】【課題】検出できなかった移動体が生じた場合に、より容易、且つ適切な対応が可能な移動体検出装置を提供する。【解決手段】画像取得部１０１は、取得した撮影画像を画像記憶部１０２に格納する。第１、及び第２の移動体検出部１０３、及び１０４は、撮影画像に被写体として撮影された移動体画像を異なる検出方法により検出するものである。検出制御部１０７は、移動体画像の検出を初めに第１の移動体検出部１０３に行わせ、表示制御部１０５により、その検出結果を表示装置１２０に表示させる。入力部１０６から移動体画像の再検出をオペレータが指示した旨の通知を受け取ると、設定に従い、移動体画像の検出条件を変更させて第１の移動体検出部１０３に検出を行わせるか、或いは第２の移動体検出部１０４に検出を行わせる。【選択図】図１
2007287093.tif 000002
【特許請求の範囲】
【請求項１】
撮影画像中に被写体として撮影された移動体を検出する移動体検出装置において、
前記撮影画像を取得する画像取得手段と、
前記画像取得手段が取得した撮影画像中に存在する移動体画像の検出を行う移動体検出手段と、
前記移動体検出手段による検出結果を前記撮影画像と併せて表示装置に表示させる表示制御手段と、
前記移動体画像の再検出の実行を指示するための指示手段と、
前記指示手段により前記再検出の実行が指示された場合に、前記移動体画像の検出条件を変更させて、前記移動体検出手段に該移動体画像の検出を再度、実行させる検出制御手段と、
を具備することを特徴とする移動体検出装置。
【請求項２】
前記移動体検出手段は、前記撮影画像と予め用意した背景画像との間の差分から前記移動体画像を検出し、
前記検出制御手段は、前記移動体画像と見なす差分の条件を変更することにより、前記検出条件を変更させる、
ことを特徴とする請求項１記載の移動体検出装置。
【請求項３】
前記指示手段による再検出の指示は、前記表示制御手段により表示されている、前記移動体検出手段が検出していない移動体画像を指定させて行わせ、
前記検出制御手段は、前記指示手段により指定された位置、及びその近傍に適用させる前記差分の条件を変更させる、
ことを特徴とする請求項２記載の移動体検出装置。
【請求項４】
前記移動体検出手段は、前記撮影画像と予め用意した背景画像との間の差分から前記移動体画像を検出し、
前記指示手段による再検出の指示は、前記表示制御手段により前記移動体画像が表示されていない部分を指定させて行わせ、
前記検出制御手段は、前記指示手段により前記部分が指定された場合に、該指定された部分を前記背景画像と比較し、該比較結果を基に該背景画像を一時的に変更することにより前記検出条件を変更させる、
ことを特徴とする請求項１記載の移動体検出装置。
【請求項５】
前記移動体検出手段として、前記撮影画像として白黒画像、及びカラー画像をそれぞれ対象とする第１、及び第２の移動体検出手段、を備え、
前記検出制御手段は、前記指示手段により前記再検出の実行が指示された場合に、前記移動体画像を検出させる対象を前記第１の移動体検出手段から第２の移動体検出手段に切り換えることにより、前記検出条件を変更させる、
ことを特徴とする請求項１記載の移動体検出装置。
【請求項６】
前記第２の移動体検出手段は、前記撮影画像として、色相情報、彩度情報、及び明度情報で表現されるカラー画像を扱うことにより、該カラー画像と予め用意した背景画像間の差分から前記移動体画像の検出を行い、
前記検出制御手段は、前記指示手段により前記再検出の実行が指示された場合に、前記カラー画像、及び背景画像のうちの一方の明度情報を他方の明度情報に変更させて、前記第２の移動体検出手段に前記移動体画像の再検出を行わせる、
ことを特徴とする請求項５記載の移動体検出装置。
【請求項７】
前記第２の移動体検出手段は、前記カラー画像として、赤、緑、及び青の３つの色情報で表現されるカラー画像を扱い、該３つの色情報をそれぞれ座標軸とする座標系を想定し、該カラー画像の３つの色情報で表される該座標系の位置を基に、前記移動体画像の検出を行う、
ことを特徴とする請求項５記載の移動体検出装置。
【請求項８】
前記第２の移動体検出手段は、前記座標系の原点と前記位置を結ぶ直線の方向、及び該直線の距離をそれぞれ特定し、該特定した方向、及び距離の差から前記移動体画像の検出を行う、
ことを特徴とする請求項７記載の移動体検出装置。
【請求項９】
前記指示手段による再検出の指示は、前記３つの色情報のうちの一つを指定させて行わせることができ、
前記検出制御手段は、前記指示手段により指定された色情報を操作させて前記第２の移動体検出手段に前記移動体画像の検出を行わせる、
ことを特徴とする請求項７記載の移動体検出装置。
【請求項１０】
前記画像取得手段は前記撮影画像として動画像を取得し、
前記検出制御手段は、前記指示手段により前記再検出の実行が指示された場合に、前記検出条件を変更させて、該指示が行われた時点で前記表示制御手段が表示させていた動画像上の表示位置より過去の分に遡って前記移動体検出手段に前記移動体画像を検出させる、
ことを特徴とする請求項１記載の移動体検出装置。
【請求項１１】
撮影画像中に被写体として撮影された移動体を検出する移動体検出装置において、
前記撮影画像として、赤、緑、及び青の３つの色情報で表現されるカラー画像を取得する画像取得手段と、
前記３つの色情報をそれぞれ座標軸とする座標系を想定して、前記画像取得手段が取得したカラー画像が有する３つの色情報で表される該座標系の位置を特定し、該特定した位置と該座標系の原点とを結ぶ直線の方向、及び該直線の距離をそれぞれ更に特定し、該特定した方向、及び距離の差から前記移動体画像の検出を行う移動体検出手段と、
を具備することを特徴とする移動体検出装置。
【請求項１２】
撮影画像中に被写体として撮影された移動体を検出するための移動体検出方法において、
前記撮影画像中に存在する移動体画像の検出を行って、該検出結果を表示させ、
前記検出結果の表示によって検出されていないことが認識される移動体画像を対象とした再検出を、該再検出の指示により検出条件を自動的に変更させて行わせる、
ことを特徴とする移動体検出方法。
【請求項１３】
撮影画像中に被写体として撮影された移動体を検出する移動体検出装置として用いるコンピュータに実行させるプログラムにおいて、
前記撮影画像を取得する画像取得機能と、
前記画像取得機能により取得した撮影画像中に存在する移動体画像の検出を行う移動体検出機能と、
前記移動体検出機能による検出結果を前記撮影画像と併せて表示装置に表示させる表示制御機能と、
前記移動体画像の再検出の実行を指示するための指示機能と、
前記指示機能により前記再検出の実行が指示された場合に、前記移動体画像の検出条件を変更させて、前記移動体検出機能による該移動体画像の検出を再度、実行させる検出制御機能と、
を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影画像中に被写体として撮影された移動体を検出する移動体検出装置に関する。
【背景技術】
【０００２】
移動体を検出する移動体検出装置は、交通事象解析、或いは高齢者・障害者の移動支援などのために利用されている。その移動体検出装置としては、例えば特許文献１に記載されているように、画像処理技術を用いたもの、つまり撮影画像中に被写体として撮影された移動体の画像（移動体画像）を検出するものが一般的である。
【０００３】
移動体検出には普通、背景差分法、或いはフレーム間差分法が用いられる。背景差分法は、予め撮影場所の背景画像（モデル）を用意し、その背景画像（モデル）と撮影画像との間の差分（画素毎に求めた画素値の差）から移動体画像を検出するものである。フレーム間差分法は、撮影画像（フレーム）間の差分から移動体画像を検出するものである。
【０００４】
図１０は、背景差分法による移動体検出を説明する図である。図中、縦軸は背景画像と撮影画像間の差分値、つまりそれらの間の画素値の差（以降「画素差分値」と呼ぶ）を示し、横軸は撮影画像におけるＸ或いはＹ軸に沿ったライン上の位置を示している。それにより図１０は、そのラインで得られた差分値の位置による変化を模式的に示している。なお、ライン上の画素差分値の変化は、実際には図１０に示すような直線的なものとはならない。
【０００５】
そのライン上に移動体Ａ、Ｂの２つの移動体が存在する場合、図１０に示すように、移動体Ａ、Ｂが存在する場所の画素差分値は大きくなる。そのため、移動体と見なすべき画素差分値の閾値を適切に設定することにより、移動体画像を検出することができる。図１０に示す例では、その閾値として、検出レベル１、及び２のなかで検出レベル２を設定することにより、移動体Ａ、Ｂを共に検出することができる。以降、その閾値は「検出レベル」と呼ぶことにする。
【０００６】
画素差分値は正負の何れの値も存在しうる。その絶対値を算出するようにした場合には、設定する検出レベルは一つとすることもできる。ここでは説明上、便宜的に特に断らない限り、画素差分値は絶対値として求めたものを想定する。
【０００７】
実際の背景画像は、天候や時間帯によって変化する。その変化に対応するために、従来の移動体検出装置のなかには、モデルとする背景画像（以降、実際の背景画像と区別するために「背景モデル」と呼ぶ）を複数、用意、或いは推定し、適用させる背景モデルを適宜、切り換えるものがある。
【０００８】
適用させる背景モデルを最適なものとすることにより、移動体画像はより高精度に検出できるようになる。しかし、移動体の状態（色や明るさ、等）は移動体によって異なり、その幅は広い。このため、全ての移動体を確実に検出できる検出レベルを設定するのは非常に困難である。また、同じ天候、同じ時間帯であっても移動体によって撮影条件が異なる場合もある。例えば移動体としての車両の検出では、バスなどの大型の車両の影に小型の車両が入ることがある。そのような状況では、大型と小型の車両では明るさが異なってしまう。その明るさの違いが大きく異なっているほど、小型の車両を検出できない可能性はより高くなる。これらのことから、移動体を全て確実に検出できるようにはなっていないのが実情となっている。それにより、移動体を検出できなかった場合に、より容易、且つ適切に対応できるようにすることも重要であると考えられる。
【特許文献１】特許第３４６１２０１号公報
【特許文献２】特開平６−２０３１５７号公報
【特許文献３】特開平１１−１３２７４０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、検出できなかった移動体が生じた場合に、より容易、且つ適切な対応が可能な移動体検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明の第１、及び第２の態様の移動体検出装置は共に、撮影画像中に被写体として撮影された移動体を検出することを前提とし、それぞれ以下の手段を具備する。
第１の態様の移動体検出装置は、撮影画像を取得する画像取得手段と、画像取得手段が取得した撮影画像中に存在する移動体画像の検出を行う移動体検出手段と、移動体検出手段による検出結果を撮影画像と併せて表示装置に表示させる表示制御手段と、移動体画像の再検出の実行を指示するための指示手段と、指示手段により再検出の実行が指示された場合に、移動体画像の検出条件を変更させて、移動体検出手段に該移動体画像の検出を再度、実行させる検出制御手段と、を具備する。
【００１１】
なお、上記移動体検出手段は、撮影画像と予め用意した背景画像との間の差分から移動体画像を検出し、検出制御手段は、移動体画像と見なす差分の条件を変更することにより、検出条件を変更させる、ことが望ましい。指示手段による再検出の指示は、表示制御手段により表示されている、移動体検出手段が検出していない移動体画像を指定させて行わせ、検出制御手段は、指示手段により指定された位置、及びその近傍に適用させる差分の条件を変更させる、ことが望ましい。
【００１２】
また、上記移動体検出手段は、撮影画像と予め用意した背景画像との間の差分から移動体画像を検出し、指示手段による再検出の指示は、表示制御手段により移動体画像が表示されていない部分を指定させて行わせ、検出制御手段は、指示手段により部分が指定された場合に、該指定された部分を背景画像と比較し、該比較結果を基に該背景画像を一時的に変更することにより検出条件を変更させる、ことが望ましい。
【００１３】
上記移動体検出手段としては、撮影画像として白黒画像、及びカラー画像をそれぞれ対象とする第１、及び第２の移動体検出手段、を備え、検出制御手段は、指示手段により再検出の実行が指示された場合に、移動体画像を検出させる対象を第１の移動体検出手段から第２の移動体検出手段に切り換えることにより、検出条件を変更させる、ことが望ましい。その第２の移動体検出手段は、撮影画像として、色相情報、彩度情報、及び明度情報で表現されるカラー画像を扱うことにより、該カラー画像と予め用意した背景画像間の差分から移動体画像の検出を行い、検出制御手段は、指示手段により再検出の実行が指示された場合に、カラー画像、及び背景画像のうちの一方の明度情報を他方の明度情報に変更させて、第２の移動体検出手段に移動体画像の再検出を行わせる、ことが望ましい。或いは、第２の移動体検出手段は、カラー画像として、赤、緑、及び青の３つの色情報で表現されるカラー画像を扱い、該３つの色情報をそれぞれ座標軸とする座標系を想定し、該カラー画像の３つの色情報で表される該座標系の位置を基に、移動体画像の検出を行う、ことが望ましい。その場合、座標系の原点と位置を結ぶ直線の方向、及び該直線の距離をそれぞれ特定し、該特定した方向、及び距離の差から移動体画像の検出を行う、ことが望ましい。更には、指示手段による再検出の指示は、３つの色情報のうちの一つを指定させて行わせることができ、検出制御手段は、指示手段により指定された色情報を操作させて第２の移動体検出手段に移動体画像の検出を行わせる、ことが望ましい。
【００１４】
また、上記画像取得手段は撮影画像として動画像を取得し、検出制御手段は、指示手段により再検出の実行が指示された場合に、検出条件を変更させて、該指示が行われた時点で表示制御手段が表示させていた動画像上の表示位置より過去の分に遡って移動体検出手段に移動体画像を検出させる、ことが望ましい。
【００１５】
第２の態様の移動体検出装置は、撮影画像として、赤、緑、及び青の３つの色情報で表現されるカラー画像を取得する画像取得手段と、３つの色情報をそれぞれ座標軸とする座標系を想定して、画像取得手段が取得したカラー画像が有する３つの色情報で表される該座標系の位置を特定し、該特定した位置と該座標系の原点とを結ぶ直線の方向、及び該直線の距離をそれぞれ更に特定し、該特定した方向、及び距離の差から移動体画像の検出を行う移動体検出手段と、を具備する。
【００１６】
本発明の移動体検出方法は、撮影画像中に被写体として撮影された移動体を検出するためのものであり、撮影画像中に存在する移動体画像の検出を行って、該検出結果を表示させ、検出結果の表示によって検出されていないことが認識される移動体画像を対象とした再検出を、該再検出の指示により検出条件を自動的に変更させて行わせる。
【００１７】
本発明のプログラムは、撮影画像中に被写体として撮影された移動体を検出する移動体検出装置として用いるコンピュータに実行させることを前提とし、撮影画像を取得する画像取得機能と、画像取得機能により取得した撮影画像中に存在する移動体画像の検出を行う移動体検出機能と、移動体検出機能による検出結果を撮影画像と併せて表示装置に表示させる表示制御機能と、移動体画像の再検出の実行を指示するための指示機能と、指示機能により再検出の実行が指示された場合に、移動体画像の検出条件を変更させて、移動体検出機能による該移動体画像の検出を再度、実行させる検出制御機能と、を実現させる。
【発明の効果】
【００１８】
本発明では、撮影画像中に存在する移動体画像の検出を行って、該検出結果を表示させ、検出結果の表示によって検出されていないことが認識される移動体画像を対象とした再検出を、オペレータによる再検出の指示により検出条件を自動的に変更させて行わせる。
【００１９】
その検出条件を変更することにより、検出できなかった移動体画像を検出することができるようになる。その検出条件を自動的に変更するために、オペレータは検出できなかった移動体画像を容易に検出させることができるようになる。これらの結果、検出できなかった移動体が生じても、より容易に適切な対応を移動体検出装置に行わせることができるようになって、高い利便性が得られることとなる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
図１は、本実施の形態による移動体検出装置の機能構成図である。その移動体検出装置は、例えば検出対象とする移動体が移動する場所を撮影場所として撮影装置で撮影することにより得られた撮影画像を取得して、その場所を移動することで被写体として撮影された移動体の検出を行うものである。図１に示すように、その撮影画像を取得する画像取得部１０１と、その取得部１０１が取得した撮影画像を記憶する画像記憶部１０２と、その記憶部１０２に記憶された撮影画像中に被写体として撮影された移動体画像を検出する第１、及び第２の移動体検出部１０３、及び１０４と、その撮影画像を第１、或いは第２の移動体検出部１０３、或いは１０４による検出結果と併せて表示装置１２０上に表示させる表示制御部１０５と、オペレータ（ユーザ）が各種入力を行うための入力部１０６と、各部１０１〜１０６の制御を行う検出制御部１０７と、を備えた構成となっている。
【００２１】
上記画像取得部１０１は、例えば撮影装置と接続された端末装置から通信ネットワークを介して撮影画像を受信するか、或いは光ディスク等の記録媒体にアクセスしてそれに記録された撮影画像を読み出すものである。上記入力部１０６は、マウス等のポインティングデバイスをオペレータが操作して指示したコマンド、或いはデータを入力するものである。表示制御部１０５が検出結果を表示させる表示装置１２０は、移動体検出装置と接続されているか、或いは搭載されたものである。上記画像記憶部１０２は、例えばハードディスク装置、或いは半導体メモリである。撮影装置により撮影が行われる撮影場所は、例えば車両が通行する道路である。
【００２２】
上記のような構成の移動体検出装置は、例えばパーソナル・コンピュータ（ＰＣ）に、後述するような動作をさせるプログラムを実行させることで実現されるものである。ＰＣ、つまりそれに搭載されたＣＰＵに実行させるそのプログラムは、搭載、或いは接続されたハードディスク装置に格納しても良いが、光ディスク、光磁気ディスク等の記録媒体に記録しても良い。或いは通信ネットワークを介して受信できるようにしても良い。
【００２３】
上記第１の移動体検出部１０３は撮影画像として白黒画像を扱い、上記第２の移動体検出部１０４はその撮影画像としてカラー画像を扱うものである。それにより、上記撮影装置がカラー画像で撮影を行う場合、つまり画像取得部１０１が撮影画像としてカラー画像を取得する場合、第１の移動体検出部１０３はカラー画像から変換された白黒画像を対象に移動体画像の検出を行う。
【００２４】
検出制御部１０７は、移動体画像の検出を第１、或いは第２の移動体検出部１０３、或いは１０４に行わせ、その検出結果を受け取り、表示制御部１０５に出力する。それにより表示制御部１０５は、画像記憶部１０２から得た撮影画像と併せて検出結果を表示装置１２０に表示させる。
【００２５】
図６は、移動体画像の検出結果の表示方法を説明するための図である。図中の６０１は撮影された被写体画像、６０２はマウスカーソルである。本実施の形態では、撮影画像中に存在する被写体画像６０１のなかで検出できたものは矩形の枠で囲むようにしている。それにより、その枠の有無により検出できたか否かをオペレータが被写体画像６０１毎に認識できるようにさせている。そのような枠を表示できるように、各移動検出部１０３、１０４は、例えば検出した移動体画像６０１毎に、その中心位置、及びＸＹ軸上の幅を検出制御部１０７に通知するようになっている。
【００２６】
撮影画像中の被写体画像６０１を常に確実に検出できるようにすることは非常に困難であるのが実情である。このことから本実施の形態では、オペレータの指示に応じて移動体画像６０１の再検出を行うようにさせている。その再検出は、検出できなかった移動体画像６０１を検出できるようにするために、検出条件を自動的に変更させて行うようにさせている。その検出条件を自動的に変更させての再検出は、予め指定された指定方法に沿って行うようにさせている。以降、図７〜図９の説明図を参照して、再検出方法について具体的に説明する。
【００２７】
計算量を抑えるために、移動体画像６０１の検出は初めに第１の移動体検出部１０３に行わせる。その第１の移動体検出部１０３は、背景差分法、つまり適用中の背景モデルと撮影画像間の差分から移動体画像６０１の検出を行うものである。再検出は、指定内容（以降、便宜的に「再検出設定内容」と呼ぶ）に応じて、第１、或いは第２の移動体検出部１０３、或いは１０４に行わせる。始めに第１の移動体検出部１０３により行わせる再検出について詳細に説明する。背景モデルは画像記憶部１０２に記憶されている。
【００２８】
図７は、第１の移動体検出部１０３により行わせる第１の再検出方法を説明する図である。図１０と同様に、縦軸は背景モデルと撮影画像間の差分値（画素差分値。図中「レベル」と表記）を示し、横軸は撮影画像におけるＸ或いはＹ軸に沿ったライン上の位置を示している。それにより図７は、そのライン上で得られた画素差分値の位置による変化を示している。なお、図１０と同様に、ライン上の画素差分値の変化は直線的なものとはならない。これは他でも同様である。
【００２９】
移動体画像６０１を構成すると見なす画素差分値の閾値である検出レベルが大きくなるほど、移動体画像６０１と見なす幅は狭くなる傾向にある。移動体画像６０１は想定する移動体に応じた範囲内の大きさであることを条件に検出を行うようになっている。このことから第１の再検出方法では、検出レベルを自動的に調整して、適切な大きさ（ＸＹ軸上共に適切な幅）の移動体画像６０１の再検出を行わせるようにしている。図１中の１１１は、その自動調整を行う自動調整部である。
【００３０】
検出レベルの自動調整は、現在、移動体画像６０１と見なす幅の大きさに応じて、その幅が適切なものとさせる方向で行う。例えば現在の検出レベルがＶであり、そのレベルＶのときの移動体画像６０１の幅が小さすぎる場合には、そのレベルＶを次に半分のレベルＶ／２にする。そのレベルＶ／２でも幅が小さすぎる場合には、そのレベルＶ／２を更に半分のレベルＶ／４にする。一方、そのレベルＶ／２で幅が大きすぎるようになる場合には、そのレベルＶ／２を次に１．５倍のレベル３Ｖ／４にする。そのようにして、幅が大きすぎればレベルを次に現在のレベルの半分にし、その幅が小さすぎればレベルを次に現在のレベルの１．５倍にする形で順次、自動調整を行う。
【００３１】
そのような自動調整（検出条件の変更）を行うことにより、検出されなかった移動体画像６０１にとって適切な検出レベルが存在すればそれを探し出すことができる。このため、検出されなかった移動体画像６０１を再検出により認識できるようになる。上述したような形で自動調整を行うのは、より迅速に適切な検出レベルを探し出すためである。検出レベルを自動調整（変更）しながらの再検出は、検出レベルの調整では移動体画像６０１を適切に検出できない可能性があることから、例えば移動体画像６０１とする幅が適切なものとなる前に、次に設定する検出レベルと過去に設定した検出レベル間の差の絶対値が所定値以下となれば終了させるようにしている。
【００３２】
上記第１の再検出方法による再検出を指示させる場合には、検出されなかった移動体画像６０１を指定させるようにしている。その指定は、マウスカーソル６０２を該当する位置に移動させてのクリック操作により行うようにさせている。そのようなクリック操作が行われた旨を入力部１０６から通知された検出制御部１０７は、そのクリック操作が行われた位置を第１の移動体検出部１０３に通知して再検出の実行を指示する。それにより第１の移動体検出部１０３は、自動調整部１１１により自動調整を行いながら移動体画像６０１の検出を行う。
【００３３】
図８は、第１の移動体検出部１０３により行わせる第２の再検出方法を説明する図である。図８において、縦軸は適用中の背景モデルを基準とした撮影画像の画素値（輝度値）、つまり画素差分値を示し、横軸は撮影画像におけるＸ或いはＹ軸に沿ったライン上の位置を示している。それにより図８は、そのライン上で得られた画素差分値の位置による変化を示している。
【００３４】
移動体画像６０１は撮影状況によって変化する。そのため、背景モデルは複数、用意するか、或いはそのモデルを適用的に推定するようになっている。背景モデルを適応させる原因としては、天候・時間帯等による背景変化、及び木の揺れなどの背景物体の変化、が代表である。
【００３５】
移動体間で撮影条件が異なる場合がある。例えばバスなどの大型の車両の影に小型の車両が入ることがある。そのような状況では、大型の車両は明るく、小型の車両は暗くなる。それによって大型、小型の車両のそれぞれにとって適切な背景モデルが異なってしまうことが考えられる。このことから第２の再検出方法では、背景モデルと撮影画像の背景部分とを比較し、その比較結果に応じて背景モデルを一時的に変更するようにしている。背景モデルを変更するのは、背景モデルを変更対象としたほうが計算量をより抑えられるためである。その変更によって背景モデルをより適切なものとすることにより、検出されなかった移動体画像６０１を検出できるようになる。
【００３６】
撮影画像中の移動体画像６０１を全て適切に検出できなければ背景部分を正確に特定することはできない。このことから、第２の再検出方法による再検出を指示させる場合、オペレータに背景部分を指定させるようにしている。そのために、上記第２の再検出方法では、検出されなかった移動体画像６０１の近傍を指定させるようにしている。その近傍を指定させるのは、背景モデルの変更をより適切に行える可能性が高いと考えられるからである。その指定は上記第１の再検出方法と同様に、マウスカーソル６０２を該当する位置に移動させてのクリック操作により行うようにさせている。
【００３７】
そのようなクリック操作が行われた旨を入力部１０６から通知された検出制御部１０７は、そのクリック操作が行われた位置を第１の移動体検出部１０３に通知して再検出の実行を指示する。このとき自動調整部１１１は、その位置、及びその近傍に限定して、背景モデルと撮影画像間の画素値を比較し、その画素値間の所定値以上の差が存在していれば、その差に応じて背景モデルの画素値を変更する。それにより第１の移動体検出部１０３は、自動調整部１１１により背景モデルを必要に応じて変更した後、移動体画像６０１の検出を行う。
【００３８】
第１の移動体検出部１０３による再検出は、再検出設定内容に応じて第１、或いは第２の再検出方法で行われる。次に第２の移動体検出部１０４による再検出について詳細に説明する。その再検出は、第３〜第５の再検出方法のうちの何れかで行われる。
【００３９】
第３の再検出方法では、撮影画像として、色相情報、彩度情報、及び明度情報で表現されるカラー画像を対象に移動体画像６０１の検出を行う。その検出は、撮影画像、及び背景モデルのうちの一方の明度情報を他方の明度情報と合わせて行う。明度情報を合わせるための変更は、例えば上記第２の再検出方法と同様に、背景モデルの明度情報を撮影画像のそれに変更することで行う。
【００４０】
そのように明度情報を変更することにより、移動体による明るさの違いを吸収する、つまりその影響を回避することができる。それにより、残った色相情報、及び彩度情報から、移動体の明るさの違いによる影響を低減した移動体画像６０１の検出を行うことができる。明度情報の変更のために、第２の再検出方法と同様の指定をオペレータに行わせるようになっている。検出制御部１０７は、入力部１０６から入力したクリック操作の位置情報を第２の移動体検出部１０４に通知して再検出の実行を指示する。
【００４１】
図９は、第２の移動体検出部１０４により行わせる第４の再検出方法を説明する図である。
この再検出方法では、撮影画像として赤、緑、及び青（ＲＧＢ）の各色情報で表現されるカラー画像を対象に移動体画像６０１の検出を行う。その検出は、ＲＧＢの各色情報をそれぞれ座標軸とする座標系を想定して行う。その座標系の原点としては、例えば完全な黒、或いは白を想定する。それにより画素毎に、その原点を基準とした各色情報を算出し、算出した各色情報によって特定される座標位置と原点を結ぶ直線の方向（色角度）、及びその直線の距離（以降「色距離」）をそれぞれ計算する。図９中に示す原点を基点とした３つの矢印ａ〜ｃはそれぞれ、異なる色の座標位置と原点を結ぶ直線を表している。このことから、それらの矢印で表される色に対応するシンボルを付して表記することにする。
【００４２】
色ａと色ｂは、色角度はほぼ同じで色距離に違いがあっても比較的に小さい範囲内となっている。同じ色でも明るさが或る程度、異なっている場合、そのようなことが生じる。このことから、それら色ａと色ｂは実際には同じか、或いは近い色と見なす。色ａと色ｃについては、それらの色距離はほぼ同じだが色角度は大きく異なっている。このため、それらは異なる色と見なす。そのようにして、色角度の差が許容範囲内であれば二つの色の間に違いは無いと見なし、その差が許容範囲外であれば、色距離の間に許容範囲外の差が更にあれば２つの色の間に違いがあると見なすようにしている。
【００４３】
このようなことから移動体画像６０１の検出は、背景モデルと撮影画像間で座標位置を比較して行う。それにより、背景モデルと撮影画像間の色角度の差に着目し、次に色距離の差に着目する形でそれらの間における色の相違を検出し、移動体画像６０１と見なすべき部分を特定するようにしている。
【００４４】
移動体は白色光以外の光で照らされる場合がある。特に暗い状況下では照らされる光の色、その光量によって移動体の撮影状態は大きな影響を受ける。このことから本実施の形態では、３つの色情報のなかで削除すべき色情報を指定できるようにしている。それにより、例えば赤色の照明が移動体の近くに存在する状況下では、赤情報を削除、或いはその情報量を削減できるようにしている。そのようにして、より適切な移動体情報６０１の検出を行えるようにしている。
【００４５】
色情報の指定は、影響の排除を望む色をオペレータに選択させることで行わせている。この第４の再検出方法による再検出は、上記第１〜第３の再検出方法とは異なり、再検出をオペレータが指示することで行われる。その指示が行われた旨を入力部１０６から通知された検出制御部１０７は、第２の移動体検出部１０４に指示して、その第４の再検出方法による再検出を行わせる。
【００４６】
上記撮影画像は静止画、或いは動画である。撮影画像が動画であった場合、検出制御部１０７は、オペレータによる再検出の指示により移動体画像６０１を新たに検出すると、その時点より過去に遡ってその移動体画像６０１の検出を行わせる。その検出は、移動体画像６０１を検出した再検出方法を用いて行わせる。それにより動画では、移動体画像６０１を検出できる期間、検出するようにしている。
【００４７】
このようにして本実施の形態では、再検出に用いる再検出方法を予めオペレータに指定させ、そのオペレータが再検出を指示すると、指定された再検出方法により移動体画像６０１の再検出を行うようになっている。その再検出方法は前に用いられた検出方法とは異なるものである。そのため、移動体画像６０１の検出条件を自動的に変更する形となり、その検出条件の変更によって、検出できなかった移動体画像６０１を検出できるようになる。その検出条件は自動的に変更されるため、オペレータにとっては、より多くの移動体画像６０１をより容易に検出させることができるようになる。これらのことから、オペレータにとっては高い利便性が得られることとなる。
【００４８】
図２は、移動体検出処理のフローチャートである。その移動体検出処理は、撮影画像として静止画を取得した場合に実行される処理である。次に図２を参照して、その検出処理について詳細に説明する。その検出処理は、上述したように、ＰＣに搭載されたＣＰＵに上記プログラムを実行させることで実現される。
【００４９】
先ず、ステップＳ１では、撮影画像上のそれぞれの位置における移動体画像６０１の大きさの範囲（長さや面積）や形状を設定する。続くステップＳ２では、画像記憶部１０２から撮影画像を読み出し、移動体画像６０１を検出する自動計測を行う。その後はステップＳ３に移行して、移動体画像６０１の検出結果を表示装置１２０に表示させる。ステップＳ２の処理を実行することにより、第１の移動体検出部１０３が実現される。
【００５０】
ステップＳ３に続くステップＳ４では、再検出の指示が行われたか否か判定する。その指示をオペレータが行った旨を入力部１０６から受け取った場合、判定はＹＥＳとなってステップＳ５に移行し、予め設定された際検出設定内容に従って移動体画像６０１を再検出する再検出処理を実行する。その後は上記ステップＳ３に戻る。一方、そうでない場合には、判定はＮＯとなってそのステップＳ３に戻る。そのようにして、オペレータが終了を指示するまでの間、再検出の指示を行える状態を維持させる。
【００５１】
上記第１〜第４の再検出方法による再検出は、再検出設定内容に応じて上記再検出処理で行われる。以降は図３〜図５に示す各種処理を参照して、その再検出を実現させる動作について詳細に説明する。
【００５２】
図３は、第１の検出処理のフローチャートである。その検出処理は、上記第１の再検出方法による再検出を実現させるために実行される処理である。次に図３を参照して、その検出処理について詳細に説明する。
【００５３】
先ず、ステップＳ１１では、入力部１０６からオペレータがクリック操作した位置を検出エラー地点として指定する。次のステップＳ１２では、前回の検出レベルを初期値に設定する。その次に移行するステップＳ１３では、今回の検出レベルを初期値の１／２に設定する。その後はステップＳ１４に移行する。
【００５４】
背景差分法では、撮影場所の微少な変化、或いは背景物体の変化（木などの揺れ）などを原因とするノイズが発生する。このことからステップＳ１４では、今回の検出レベルがノイズ領域か否か判定する。その検出レベルがノイズ領域であった場合、判定はＹＥＳとなってステップＳ１５に移行し、検出エラー地点で移動体画像６０１は検出できない旨を表示装置１２０に表示させた後、ここで一連の処理を終了する。そうでない場合には、判定はＮＯとなってステップＳ１６に移行する。そのステップＳ１４では、今回の検出レベルと過去に設定した検出レベル間の差の絶対値が所定値以下か否かの判定も併せて行うようにしている。それにより、その差の絶対値が所定値以下となった場合にはＹＥＳと判定させて、検出レベルを必要以上に細かく変化させての再検出を回避させている。
【００５５】
ステップＳ１６では、今回の検出レベルで移動体画像６０１の検出を行う。次のステップＳ１７では、その検出によって移動体画像６０１を検出したか否か判定する。その移動体画像６０１を検出できなかった場合、判定はＮＯとなってステップＳ１８に移行し、新たな今回の検出レベルとして、今回の検出レベルと前回の検出レベルの中央の値を設定し、前回の検出レベルとして今回の検出レベルを設定した後、上記ステップＳ１４に移行する。そうでない場合には、判定はＮＯとなってステップＳ１９に移行する。
【００５６】
ステップＳ１９では、検出した移動体画像６０１の大きさを基準、つまり上記ステップＳ１で設定した大きさの範囲と比較する。その大きさが大きい側の範囲外であった場合、その旨が判定されてステップＳ１８に移行する。その大きさが小さい側の範囲外であった場合には、その旨が判定されてステップＳ２０に移行し、前回の検出レベルに今回の検出レベル、新たな今回の検出レベルとして今回の検出レベルの１／２をそれぞれ設定した後、上記ステップＳ１４に戻る。その大きさが範囲内であった場合には、その旨が判定され、移動体画像６０１を新たに検出したことを表示装置１２０で表示させた後、一連の処理を終了する。
【００５７】
図４は、第２の検出処理のフローチャートである。その検出処理は、上記第２の再検出方法による再検出を実現させるために実行される処理である。次に図４を参照して、その検出処理について詳細に説明する。
【００５８】
先ず、ステップＳ３１では、入力部１０６からオペレータがクリック操作した位置を背景の部分として指定する。次のステップＳ３２では、指定した背景部分と適用中の背景モデル中の対応する部分間で対応させて画素値の相違の累算値、或いは平均値を計算する。その計算後はステップＳ３３に移行する。
【００５９】
ステップＳ３３では、計算した累算値、或いは平均値が予め定めた許容範囲内でなければ、背景モデルの画素値を撮影画像のそれに合致するように変更（調整）する。次のステップＳ３４では、その変更を行った後の背景モデルを用いて移動体画像６０１の検出を行う。その検出を行った後は、その検出結果を表示装置１２０に表示させてから一連の処理を終了する。
【００６０】
第３の再検出方法では、ステップＳ３１で背景部分を指定した後、背景モデルの明度情報を撮影画像のそれに合致するように変更を行い、移動体画像６０１の検出を行う。それにより、第２の再検出方法と同様に、移動体による明るさの違いが移動体画像６０１の検出に及ぼす影響を回避、或いは低減させている。
【００６１】
図５は、第４の検出処理のフローチャートである。その検出処理は、上記第４の再検出方法による再検出を実現させるために実行される処理である。最後に図５を参照して、その検出処理について詳細に説明する。ここでは色角度、及び色距離を計算後に実行される処理のみを示している。
【００６２】
先ず、ステップＳ４１では、背景モデルと撮影画像間の色角度の差を判定する。その差（絶対値）が許容範囲内でない画素（図２のステップＳ１で設定した大きさの範囲を満たすだけの画素群）が存在した場合、その旨が判定されてステップＳ４３に移行する。そうでない場合には、つまりその差が許容範囲内の大きさであった場合には、その旨が判定されてステップＳ４２に移行し、新たに検出した移動体画像６０１を表示装置１２０で示した後、一連の処理を終了する。
【００６３】
ステップＳ４３では、それらの間の色距離の差を判定する。その差（絶対値）が許容範囲内であった場合、その旨が判定されてステップＳ４４に移行し、移動体画像６０１を新たに検出できなかった旨を表示装置１２０により表示させた後、一連の処理を終了する。そうでない場合には、つまりその差が距両範囲外の大きさであった場合には、その旨が判定されて上記ステップＳ４２に移行する。
【００６４】
なお、本実施の形態では、移動体画像６０１の検出は初めに白黒画像の撮影画像を対象に行うようにしているが、カラー画像の撮影画像を初めから対象にその検出を行うようにしても良い。その場合、明度情報を操作する前の背景モデルを用いた移動体画像６０１の検出を初めに行い、その再検出は明度情報を操作した後の背景モデルを用いて行うようにしても良い。その再検出は、第４の再検出方法により行うようにしても良い。撮影画像として動画像を対象にする場合には、フレーム間差分法を用いても良い。このようなことから明らかなように、検出条件の変更方法は様々に変形することができる。
【００６５】
本実施の形態による移動体検出装置は、１台のＰＣにより実現したものである。複数台のＰＣによりその移動体検出装置を実現させても良い。
【図面の簡単な説明】
【００６６】
【図１】本実施の形態による移動体検出装置の機能構成図である。
【図２】移動体検出処理のフローチャートである。
【図３】第１の検出処理のフローチャートである。
【図４】第２の検出処理のフローチャートである。
【図５】第４の検出処理のフローチャートである。
【図６】移動体画像の検出結果の表示方法を説明するための図である。
【図７】第１の移動体検出部１０３により行わせる第１の再検出方法を説明する図である。
【図８】第１の移動体検出部１０３により行わせる第２の再検出方法を説明する図である。
【図９】第２の移動体検出部１０４により行わせる第４の再検出方法を説明する図である。
【図１０】背景差分法による移動体検出を説明する図である。
【符号の説明】
【００６７】
１０１    画像取得部
１０２    画像記憶部
１０３    第１の移動体検出部
１０４    第２の移動体検出部
１０５    表示制御部
１０６    入力部
１０７    検出制御部
１１１    自動調整部
１２０    表示装置
【図１】
2007287093.tif 000003
【図２】
2007287093.tif 000004
【図３】
2007287093.tif 000005
【図４】
2007287093.tif 000006
【図５】
2007287093.tif 000007
【図６】
2007287093.tif 000008
【図７】
2007287093.tif 000009
【図８】
2007287093.tif 000010
【図９】
2007287093.tif 000011
【図１０】
2007287093.tif 000012