(57)【要約】【課題】  カメラのパン・チルト・ズーム制御パラメータ値を用いなくても、検出領域内の移動物体を検出できる移動物体検出装置を提供する。【解決手段】  本発明の移動物体検出装置は、撮像装置により撮像された画像空間において静止している複数の静止点の情報を記憶する静止点情報記憶部１０２ｂと、複数の静止点の相互の位置関係に基づいて画像空間を座標変換し、撮像装置が移動することによって画像上で移動する所定の検出領域の位置を追跡する検出領域追跡部１０４と、検出領域の輝度変化に基づいて、検出領域に撮像される物体が移動物体であるか否か判断する移動物体判定部１０５とを備え、静止点を追跡して座標変換パラメータを算出することにより、カメラのパン・チルト・ズーム制御パラメータ値を用いなくても、検出領域内の移動物体を検出することが可能であり、カメラが移動しているシーンの移動物体検出を実現できる。【選択図】  図１
2007036782.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像される画像空間において静止している複数の静止点の情報を記憶する静止点情報記憶部と、
前記複数の静止点の相互の位置関係に基づいて前記画像空間を座標変換し、前記撮像装置が移動することによって画像上で移動する所定の検出領域の位置を追跡する検出領域追跡部と、
前記検出領域の輝度変化に基づいて、前記検出領域に撮像される物体が移動物体であるか否か判定する移動物体判定部と、
を備えた移動物体検出装置。
【請求項２】
前記撮像装置により撮像された画像の画素情報に基づいて、他の点と区別できる特徴的な点を前記静止点として設定する静止点設定部を更に備えた請求項１に記載の移動物体検出装置。
【請求項３】
前記静止点設定部は、前記撮像装置が固定されている状態で、前記画素情報の変化量が所定の閾値を超えるか否か判断する請求項２に記載の移動物体検出装置。
【請求項４】
前記静止点情報記憶部に記憶された前記複数の静止点の情報に基づいて、前記撮像装置が移動することによって画像上で移動する前記複数の静止点の位置を追跡する静止点追跡部を更に備えた請求項１乃至３の何れかに記載の移動物体検出装置。
【請求項５】
前記移動物体判定部は、前記検出領域の輝度変化を算出し、前記輝度変化が所定の閾値を超える場合、前記検出領域に撮像される物体は移動物体であると判断する請求項１乃至４の何れかに記載の移動物体検出装置。
【請求項６】
前記複数の静止点のうち少なくとも１つの静止点が前記撮像装置の撮像領域から外れた場合に、警告信号を出力する静止点警告部を更に備えた請求項１乃至５の何れかに記載の移動物体検出装置。
【請求項７】
前記移動体判定部により、前記検出領域に撮像される物体が移動物体であると判断された場合に、警告信号を出力する移動物体警告部を更に備えた請求項１乃至６の何れかに記載の移動物体検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は移動物体検出装置に関し、特に、所定の検出領域を追跡する移動物体検出装置に関する。
【背景技術】
【０００２】
画像処理技術の発展及びプロセッサの著しい性能改善により、近年は安価なレコーダーや監視カメラであっても、移動物体検出をはじめとする画像認識機能を具備するようになり、動きがある画像のみの取得や、既に取得した動画像の中から動きのある画像を検索等の実現に応用されている。
【０００３】
画像処理による移動物体の検出には主に、画像の背景差分やフレーム間差分を利用する方法と、動きベクトルを利用する方法がある。
【０００４】
背景差分による一般的な移動物体検出方法を説明する。背景差分による移動物体検出方法では、移動物体が存在しない状態での画像を取得して、それを背景画像とし、検出対象の画像と背景画像の輝度値の差分の算出を、移動物体の検出を行う領域（以下、「検出領域」という）の各画素に対して行う。算出された各画素の差分の合計がある閾値以上になった場合、移動物体が存在すると判定される。
【０００５】
次に、フレーム間差分による一般的な移動物体の検出方法を説明する。フレーム間差分による移動物体の検出方法では、あるフレームの画像と、その前のフレームの画像との差分の算出を検出領域内の各画素に対して行い、その差分の合計がある閾値以上になった場合、移動物体が存在すると判定される。
【０００６】
上記の背景差分による移動物体の検出方法によれば、常に同じ背景が保証されている場合は非常に安定した検出結果を得ることが出来るが、実際は、照明の変化や、背景として新たな物体が加わるなどで背景が常に一定である環境は少ない。これに対し、上記のフレーム間差分による移動物体の検出方法は、短い時間内に撮像された２枚の画像の差分を用いて移動物体の検出を判定するため、環境の変化等の影響は比較的少なくなり、また背景として新たな物体が加わった場合でも、加わった直後でなければ背景の一部として扱われ、検出され続けることはなく、環境変化の大きい場合は背景差分による検出方法より優れている。
【０００７】
しかし、上記の両手法とも、カメラがパン・チルト・ズーム動作をした場合等は、画像が大きく変わるため移動物体として検出されてしまう。また、カメラが移動することによって、画像上における移動物体を検出する検出領域の座標も変化するが、この座標を求めるためには、カメラの移動情報が必要である。
【０００８】
そこで、カメラのパン・チルト・ズーム動作が可能なカメラにおけるプライバシー保護のためのマスクキング方法に関する発明が提案されている（特許文献１参照）。特許文献１に記載された発明は、カメラのパン・チルト・ズーム制御パラメータからマスキング領域の画像上での座標値を計算し、常にマスキングしたい領域を適切にマスクする手法である。
【特許文献１】特開２００４−１５３６２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかし、特許文献１に記載の発明では、撮像装置のパン・チルト・ズームを制御するパン・チルト・ズーム制御パラメータが常に必要である。したがって、既に取得された動画像を再生した場合など、制御パラメータを取得できない場合には、特許文献１に記載の発明を適用できない。また、画像処理を用いてカメラの移動中に移動物体を検出するためには、複数のフレームの画像間で検出領域を正確に対応付ける必要があるが、パン・チルト・ズーム制御パラメータから計算した検出領域では精度が低くなる。
【００１０】
本発明は、かかる課題を鑑みてなされたものであり、カメラがパン・チルト・ズーム動作をしても、検出領域を一定に保ち、且つ演算量の少ない移動物体検出方法を提案するものである。また、既に取得された動画像でカメラの移動情報がない場合でも、移動物体検出を実現するものである。
【課題を解決するための手段】
【００１１】
本発明の移動物体検出装置は、撮像装置により撮像される画像空間において静止している複数の静止点の情報を記憶する静止点情報記憶部と、前記複数の静止点の相互の位置関係に基づいて前記画像空間を座標変換し、前記撮像装置が移動することによって画像上で移動する所定の検出領域の位置を追跡する検出領域追跡部と、前記検出領域の輝度変化に基づいて、前記検出領域に撮像される物体が移動物体であるか否か判定する移動物体判定部とを備える。
【００１２】
この構成によれば、静止点の位置関係に基づいて座標変換することにより、カメラのパン・チルト・ズーム制御パラメータ値を用いなくても、検出領域内の移動物体を検出することが可能であり、カメラが移動しているシーンの移動物体検出を実現できる。
【００１３】
また、本発明の移動物体検出装置は、前記撮像装置により撮像された画像の画素情報に基づいて、他の点と区別できる特徴的な点を前記静止点として設定する静止点設定部を備える。
【００１４】
この構成によれば、静止点が他の点と区別されるので、容易に静止点を特定することができる。
【００１５】
また、本発明の移動物体検出装置では、前記静止点設定部は、前記撮像装置が固定されている状態で、前記画素情報の変化量が所定の閾値を超えるか否か判断する。
【００１６】
この構成によれば、静止している点を検出することにより、静止点を的確に設定することができる。
【００１７】
また、本発明の移動物体検出装置は、前記静止点情報記憶部に記憶された前記複数の静止点の情報に基づいて、前記撮像装置が移動することによって画像上で移動する前記複数の静止点の位置を追跡する静止点追跡部を備える。
【００１８】
この構成によれば、静止点の位置を追跡することにより、静止点の相互の位置関係を把握し、座標変換することができる。
【００１９】
また、本発明の移動物体検出装置では、前記移動物体判定部は、前記検出領域の輝度変化を算出し、前記輝度変化が所定の閾値を超える場合、前記検出領域に撮像される物体は移動物体であると判断する。
【００２０】
この構成によれば、輝度変化に基づいて移動物体を適切に検出することができる。
【００２１】
また、本発明の移動物体検出装置は、前記複数の静止点のうち少なくとも１つの静止点が所定の領域から外れた場合に、警告信号を出力する静止点警告部を備える。
【００２２】
この構成によれば、静止点の位置情報の欠落を防止することにより、座標変換できないという事態を防止することができる。
【００２３】
また、本発明の移動物体検出装置は、前記移動物体判定部が移動物体を検出した場合に、ユーザーに警告信号を出力する移動物体警告部を備える。
【００２４】
この構成によれば、移動物体を検出した場合に、移動物体の存在をユーザーに知らせることできる。
【発明の効果】
【００２５】
本発明の移動物体検出装置は、カメラのパン・チルト・ズーム制御パラメータ値を用いなくても、少ない演算量で検出領域内の移動物体を検出することが可能であり、カメラが移動しているシーンの移動物体検出を実現できる。
【発明を実施するための最良の形態】
【００２６】
以下、本発明の移動物体検出装置の実施の形態について、図を用いて説明する。図１は、本発明の実施の形態の移動物体検出装置の構成を説明するブロック図である。移動物体検出装置は、画像取得部１０１、検出領域設定部１０２ａ、静止情報記憶部１０２ｂ、静止点設定部１０２ｃ、静止点追跡部１０３、検出領域追跡部１０４、移動物体判定部１０５、静止点警告部１０６、移動物体警告部１０７を備える。
【００２７】
画像取得部１０１は、画像を取得する手段であり、カメラなどの撮像装置として実現されてもよいし、外部に接続された撮像装置から通信ネットワークを介して符号化された画像を取得する機能を有する構成であってもよい。
【００２８】
検出領域設定部１０２ａは、表示部（図示せず）、入力部（図示せず）から構成される。表示部は、画像取得部１０１によって取得された画像を表示する。入力部は、画像上で移動体を検出する検出領域として設定された領域を情報として入力する。この場合、ユーザーが、検出領域の頂点を指定して、入力部から入力する。なお、検出領域設定部１０２ａが、所定の条件を満たす領域を検出領域として設定してもよい。例えば、以下に説明する静止点を頂点として、検出領域を設定しても良い。
【００２９】
静止点情報記憶部１０２ｂは、撮像装置により撮像された画像空間において静止している複数の静止点の情報を記憶する。つまり、画像取得部１０１によって取得された画像に映し出された空間内において静止している点を特定し、この静止点を基準に画像空間の座標を把握するために、静止点情報記憶部１０２ｂは静止点の情報を記憶する。ここで、「点」とは、１つの画素であってもよいし、周辺の画素を含む領域であってもよい。以下の「点」も同様である。また、静止点の情報には、静止点における周波数成分、輝度、色などのような、画像における各画素を特徴付ける情報（以下、「画素情報」という）が含まれる。更に、静止点の情報には、複数の静止点の相互の位置関係（座標、距離、角度など）を示す情報（以下、「位置情報」という）が含まれる。
【００３０】
静止点設定部１０２ｃは、撮像装置により撮像された画像の画素情報に基づいて、他の点と区別できる特徴的な点を前記静止点として設定する。つまり、画像取得部１０１により取得された画像から、画素情報に基づいて複数の静止点を設定して、かかる静止点の情報を静止点情報記憶部１０２ｂに記憶させる。なお、ユーザーが、静止点を選択してもよい。
【００３１】
静止点設定部１０２ｃは、画素情報が実質的に変化しない点を、画像空間において静止している静止点として設定する。つまり、静止点設定部１０２ｃは、所定の期間において画素情報を検出し、輝度などが実質的に変化しない点を、静止点として設定する。したがって、ユーザーが選択した点において輝度などが実質的に変化する場合は、静止点設定部１０２ｃは、ユーザーにより選択された点を静止点として適切でないと判断する。
【００３２】
静止点設定部１０２ｃは、撮像装置が固定されている状態で、画素情報の変化量が所定の閾値を超えるか否か判断する。つまり、静止点設定部１０２ｃは、撮像装置が固定されている状態で、所定の期間において輝度の変化量が所定の閾値を超えるか否か判断する。そして、静止点設定部１０２ｃは、所定の点または領域において、輝度の変化量が所定の閾値を超えない場合に、かかる点または領域を静止点として設定する。
【００３３】
静止点追跡部１０３は、静止点情報記憶部１０２ｂに記憶された複数の静止点の情報に基づいて、撮像装置が移動することによって画像上で移動する複数の静止点の位置を追跡する。つまり、撮像装置が移動して画像が変化した場合に、静止点追跡部１０３は、静止点情報記憶部１０２ｂに記憶された複数の静止点の情報に基づいて、変化した画像における静止点の位置を特定する。かかる特定を連続して行うことにより、静止点追跡部１０３は静止点を追跡する。静止点追跡部１０３は、画像取得部１０１によって取得された画像において静止点を追跡するが、録画などのような既に取得された動画像において静止点を追跡してもよい。すなわち、静止点追跡部１０３は、動画像の連続するフレームについて、静止点を対応付けて追跡する。対応付けは、一般的なパターンマッチング処理を用いて実現される。
【００３４】
検出領域追跡部１０４は、複数の静止点の相互の位置関係に基づいて画像空間を座標変換し、撮像装置が移動することによって画像上で移動する検出領域の位置を追跡する。例えば、検出領域１０４は、複数の静止点の相互の位置関係に基づいて、撮像装置が移動する際の画像について座標変換パラメータを算出し、座標変換パラメータに基づいて、検出領域設定部１０２ａにより設定された検出領域の位置を座標変換する。つまり、撮像装置が移動して画像が変化した場合に、検出領域追跡部１０４は、静止点追跡部１０３により特定された静止点の位置情報に基づいて、変化した画像に表される空間の座標変換パラメータを算出する。そして、検出領域追跡部１０４は、座標変換パラメータに基づいて、変化した画像に表される空間における検出領域の位置を特定する。すなわち、検出領域追跡部１０４は、動画像の連続するフレームについて、検出領域を座標変換により追跡する。なお、座標変換パラメータは、射影変換のパラメータとして表されることも可能である。
【００３５】
移動物体判定部１０５は、検出領域追跡部１０４により追跡される検出領域の輝度変化に基づいて、検出領域に撮像される物体が移動物体であるか否か判断する。移動物体判定部１０５は、検出領域の輝度変化を算出し、輝度変化が所定の閾値を超える場合、検出領域に撮像される物体は移動物体であると判断する。
【００３６】
静止点警告部１０６は、複数の静止点のうち少なくとも１つの静止点が所定の領域から外れた場合に、警告信号を出力する。
【００３７】
移動物体警告部１０７は、移動体判定部１０５により、検出領域に撮像される物体が移動物体であると判断された場合に、警告信号を出力する。つまり、移動物体警告部１０７は、移動体判定部１０５が移動物体を検出した場合に、アラームを発生させる機能を有する。このアラームの発生によって、移動物体検出装置は、管理者に電子メールを送信したり、アラームが発生した時の画像をＦＴＰサーバーに送信したりするなどの応用が考えられる。但し、本発明はこの応用方法を限定するものではない。
【００３８】
以上のような構成を有することで、本発明の移動物体検出装置はカメラのパン・チルト・ズーム制御パラメータ値が未知であっても常時一定の領域の移動物体検出を実施することが可能になる。
【００３９】
次に、本発明の実施の形態の移動物体検出装置の動作について説明する。まず、静止点を設定する動作について説明する。図２は、静止点を設定する処理の流れを表すフロー図である。
【００４０】
画像取得部１０１が画像を取得する（ステップＳ２０１）。
【００４１】
静止点設定部１０２ｃが、撮像装置により撮像された画像における所定の複数の点を選択する（ステップＳ２０２）。静止点設定部１０２ｃが、画素情報に基づいて、静止点追跡部１０３が追跡可能な点を選択する。静止点追跡部１０３が追跡可能な点とは、他の点と区別できる特徴的な点である。例えば、特徴的な点とは、所定の位置に設置されたマーカー、複数の線が交差する点、複数の面が交差する点、色彩が変化する境界点などの点である。なお、ユーザーが画像上で静止点を選択してもよい。図３は、静止点設定部１０２ｃにより選択される点の一例を示す図である。図３には、マーカーである点Ｐ５００、複数の線が交差する点である点Ｐ５０１、複数の線が交差し且つ色彩が変化する点である点Ｐ５０２、１つの線の一部の点である点Ｐ５０３が示されている。これらの点のうち、点Ｐ５００〜Ｐ５０２は、特徴的な点であるため、静止点設定部１０２ｃにより選択される。一方、点Ｐ５０３には、１つのエッジしか存在せず、撮像装置の向きが変化した場合に、点Ｐ５０３を正確に追跡するのが困難であるため、点Ｐ５０３は、静止点設定部１０２ｃにより静止点として適切でないと判断される。
【００４２】
静止点設定部１０２ｃが、選択された点のうち画素情報が実質的に変化するか否か判断する（ステップＳ２０３）。例えば、撮像装置が固定されている状態で、静止点設定部１０２ｃは、画像を複数の領域に分割して各領域でフレーム間差分の２乗和を算出し、この２乗和を一定期間で積分した場合、この積分値が所定の閾値を超えるか否か判断する。例えば図３に示すように、点Ｐ５００〜Ｐ５０２における画素情報の変化量が算出され、算出された画素情報の変化量が閾値を超えるか否か判断される。
【００４３】
そして、選択された点における画素情報の変化量が所定の閾値を超えない場合は、静止点設定部１０２ｃは、かかる点を静止点として設定し、静止点の情報を静止点情報記憶部１０２ｂに記憶させる（ステップＳ２０４）。
【００４４】
また、選択された点における画素情報の変化量が所定の閾値を超える場合は、静止点設定部１０２ｃは、他の点を選択し、選択された他の点を再入力する（ステップＳ２０５）。すなわち、撮像装置が固定されている状態でも輝度変化の大きい領域、すなわち、頻繁に動く物体上の点は、静止点として適していないと判断され、他の点の再入力を指示する。例えば図３に示すように、点Ｐ５０２はドアの一部であるため、ドアが開閉した際に輝度値が頻繁に変化してしまい、静止点として適切でないと判断される。
【００４５】
以上のような静止点を設定する処理によって、本発明の移動物体検出装置は、最適な静止点を設定することができる。
【００４６】
次に、移動物体を検出する動作について説明する。図４は、移動物体を検出する処理の流れを表すフロー図である。
【００４７】
画像取得部１０１が画像を取得する（ステップＳ３０１）。
【００４８】
静止点追跡部１０３が、静止点情報記憶部１０２ｂに記憶される静止点の情報に基づいて、撮像装置が移動する際の画像について静止点の位置を追跡する（ステップＳ３０２）。図５（ａ）、（ｂ）は、撮像装置が移動する際の画像の一例を示した図である。図５（ａ）は、撮像装置が移動する前の画像の一例を示した図である。図５（ｂ）は、撮像装置が移動した後の画像の一例を示した図である。図５（ａ）に示すように、静止点設定部１０２ｃにより静止点４０２ａ〜４０２ｄが設定される。そして、図５（ｂ）に示すように、静止点追跡部１０３は、静止点４０２ａ〜４０２ｄと一致する点４０３ａ〜４０３ｄを特定し、静止点を追跡する。
【００４９】
ステップＳ３０２において、静止点警告部１０６は、追跡される静止点の座標値が所定の領域（例えば、画像の撮像範囲）内か否か判断する（ステップＳ３０３）。図５（ａ）に示すように、静止点４０２ａ〜４０２ｄは、所定の領域４００内に存在するため、静止点の座標値が領域４００内であると判断される。一方、図５（ｂ）に示すように、静止点４０３ｄは、所定の領域４０５から外れるため、静止点の座標値が領域４０５内ではないと判断される。
【００５０】
静止点警告部１０６は、少なくとも１つの静止点が所定の領域から外れた場合に、警告信号を出力する（ステップＳ３０４）。例えば図５（ｂ）に示すように、静止点４０３ｄが領域４０５から外れるため、静止点警告部１０６は、警告信号を出力する。この時、警告を発するだけでなく、静止点が撮像範囲内に収まるように、撮像装置の移動範囲を限定することも可能である。
【００５１】
検出領域追跡部１０４は、複数の静止点の相互の位置関係に基づいて、撮像装置が移動する際の画像について座標変換パラメータを算出し、座標変換パラメータに基づいて、所定の検出領域の位置を座標変換する（ステップＳ３０５）。つまり、ステップＳ３０２で取得された各フレームで取得された画像における静止点の座標値の位置関係から、変化した画像に表される空間の座標変換パラメータを算出する。例えば、図５（ａ）に示す静止点４０２ａ〜４０２ｄと図５（ｂ）に示す静止点４０３ａ〜４０３ｄの位置関係から座標変換パラメータを算出する。座標変換パラメータは、撮像装置の移動が光学中心を中心とした回転とズーム動作に限られる場合や、検出領域として設定した領域が平面である場合は、定数倍の自由度を持つ３×３の行列で表される。レンズの光学歪みの影響を受けた画像に対しては、予め光学歪みを補正しておくことも可能である。
【００５２】
検出領域追跡部１０４は、座標変換パラメータに基づいて、変化した画像に表される空間における検出領域の位置を特定する（ステップＳ３０６）。すなわち、検出領域追跡部１０４は、座標変換パラメータに基づいて、検出領域を追跡する。
【００５３】
移動物体判定部１０５は、検出領域追跡部１０４により追跡される検出領域の輝度差分に基づいて、検出領域に撮像される物体が移動物体であるか否か判断する（ステップＳ３０７）。
【００５４】
輝度差分が予め設定された閾値を超えている場合は、移動体判定部１０５により、検出領域に撮像される物体が移動物体であると判断され、移動物体警告部１０７は、警告信号を出力する（ステップＳ３０８）。そして、ステップＳ３０１へ戻り、同様の処理を繰り返す。
【００５５】
輝度差分が予め設定された閾値を超えない場合は、移動体判定部１０５により、検出領域に撮像される物体が移動物体でないと判断され、ステップＳ３０１へ戻り、同様の処理を繰り返す。
【００５６】
以上のような移動物体を検出する処理によって、本発明の移動物体検出装置は、撮像装置のパン・チルト・ズーム制御の実行中であっても、少ない演算量で一定の領域の移動物体を検出することができる。静止点で囲まれた領域を検出領域とすれば、検出領域がカメラの撮像範囲外に出てしまうことを防ぐことにより、検出領域で移動物体を常時監視できるとともに、カメラのパン・チルト・ズーム制御を行うことができる。
【産業上の利用可能性】
【００５７】
本発明の移動物体検出装置は、カメラのパン・チルト・ズーム制御パラメータ値を用いなくても、検出領域内の移動物体を検出できるという効果を有し、所定の検出領域を追跡する移動物体検出装置などとして有用である。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施の形態の移動物体検出装置の構成を説明するブロック図
【図２】静止点を設定する処理の流れを表すフロー図
【図３】静止点設定部により選択される点の一例を示す図
【図４】移動物体を検出する処理の流れを表すフロー図
【図５】（ａ）撮像装置が移動する前の画像の一例を示した図  （ｂ）撮像装置が移動した後の画像の一例を示した図
【符号の説明】
【００５９】
１０１  画像取得部
１０２  検出領域設定部
１０２ｃ  静止点設定部
１０３  静止点追跡部
１０４  検出領域追跡部
１０５  移動物体検出部
１０６  静止点警告部
１０７  移動物体警告部
【図１】
2007036782.tif 000003
【図２】
2007036782.tif 000004
【図３】
2007036782.tif 000005
【図４】
2007036782.tif 000006
【図５】
2007036782.tif 000007