(57)【要約】【課題】  圧縮された距離画像に基づいて、動画に出現する特定の被写体を高速に検出する。【解決手段】  情報処理装置であて、監視空間において、被写体の侵入を検出する警戒空間を設定する設定手段と、画素毎の符号化と複数の画素毎の符号化を混合した符号化形式により、距離画像を符号化して得られる圧縮データを取得する取得手段と、前記圧縮データにおける復号対象の符号語が、画素毎に符号化されたか、複数の画素毎に符号化されたかを推定する推定手段と、前記推定手段が画素毎の符号化と推定した場合、前記復号対象の符号語を復号して距離情報を有する１つの画素について、前記警戒空間における距離情報の変化があるか否かを判定し、前記推定手段が複数の画素毎の符号化と推定した場合、前記復号対象の符号語を復号して距離情報を有する複数の画素について、前記警戒空間における距離情報の変化があるか否かを判定する判定手段を有することを特徴とする。【選択図】  図３
2017097815.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置により撮像することにより前記撮像装置から被写体への距離情報を得られる監視空間において、前記監視空間の初期状態における距離画像と、被写体の侵入を検出する警戒空間を設定する設定手段と、
画素毎の符号化と複数の画素毎の符号化を混在した符号化形式により、画素ごとの距離情報からなる距離画像を符号化して得られる圧縮データを取得する取得手段と、
前記圧縮データにおける復号対象の符号語が、画素毎に符号化された符号語であるか、複数の画素毎に符号化された符号語であるかを推定する推定手段と、
前記復号対象の符号語を復号して距離情報を取得し、前記推定手段により推定された結果に応じて、前記距離情報の画素位置について、前記警戒空間における前記距離情報の変化があるか否かを判定する判定手段を有し、
前記判定手段は、
前記推定手段が画素毎に符号化された符号語であると推定した場合、前記復号対象の符号語を復号して距離情報を有する１つの画素について、該距離情報と前記監視空間の初期状態とに基づいて前記警戒空間における前記距離情報の変化があるか否かを判定し、
前記推定手段が複数の画素毎に符号化された符号語であると推定した場合、前記復号対象の符号語を復号して距離情報を有する複数の画素について、該距離情報と前記監視空間の初期状態とに基づいて、前記警戒空間における前記距離情報の変化があるか否かを判定することを特徴とする情報処理装置。
【請求項２】
さらに、前記判定手段が前記警戒空間における前記距離情報の変化があると判定した場合、前記警戒空間への被写体の侵入を示すとみなし、前記警戒空間に被写体が侵入したことを警告する制御手段を有することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記複数の画素毎の符号化とは、ランレングス符号化であり、
前記判定手段は、前記推定手段が複数の画素毎に符号化された符号語であると判定した場合、ランの長さを特定し、前記ランの一部または全てが前記警戒空間内であるか否かを判定し、前記ランの一部またはすべてが前記警戒空間内である場合、前記警戒空間内にある画素の距離情報が、前記警戒空間内にある画素と同じ画素位置の前記監視空間の初期状態における距離情報と、所定の誤差以上の差分があるかどうかを判定することを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記判定手段は、前記ランの両端点の３次元空間における座標を算出し、前記ランの両端点が前記監視空間にあるか否かを判定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
さらに、前記取得手段は、撮像装置が前記監視空間を撮像した動画像をフレーム毎に取得し、
前記距離画像は、前記動画像のフレーム毎に対応する距離画像であることを特徴とする請求項１乃至４のいずれか一項に記載の情報処理装置。
【請求項６】
前記判定手段は、前記警戒空間内に位置する画素の距離情報が、前記監視空間の初期状態における距離情報とを比較し、所定の誤差以上の差分かあるかを判定することにより、被写体の侵入を検出することを特徴とする請求項１乃至５のいずれか一項に記載の情報処理装置。
【請求項７】
さらに、前記圧縮データに対応する符号化のパラメータを取得するパラメータ取得手段を有し、
前記所定の誤差は、前記パラメータに応じて設定されることを特徴とする請求項１乃至６のいずれか一項に記載の情報処理装置。
【請求項８】
コンピュータに読み込ませ実行させることで、前記コンピュータを請求項１乃至７の何れか一項に記載された情報処理装置として機能させることを特徴とするコンピュータプログラム。
【請求項９】
撮像装置により撮像することにより前記撮像装置から被写体への距離情報を得られる監視空間において、前記監視空間の初期状態の距離情報と、被写体の侵入を検出する警戒空間を設定し、
画素毎の符号化と複数の画素毎の符号化を混合した符号化形式により、画素ごとの距離情報からなる距離画像を符号化して得られる圧縮データを取得し、
前記圧縮データにおける復号対象の符号語が、画素毎に符号化された符号語であるか、複数の画素毎に符号化された符号語であるかを推定し、
前記復号対象の符号語を復号して距離情報を取得し、
画素毎に符号化された符号語であると推定された場合、前記復号対象の符号語を復号して距離情報を有する１つの画素について、該距離情報と前記監視空間の初期状態とに基づいて前記警戒空間における前記距離情報の変化があるか否かを判定し、
複数の画素毎に符号化された符号であると推定された場合、前記復号対象の符号を復号して距離情報を有する複数の画素について、該距離情報と前記監視空間の初期状態とに基づいて、前記警戒空間における前記距離情報の変化があるか否かを判定することを特徴とする情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体までの距離情報に基づいて、動画像における特定の被写体を検出する方法に関する。
【背景技術】
【０００２】
従来、ネットワークカメラと称される撮像装置を用いて、撮像した動画から、撮影対象の空間に不審者が侵入したかどうかを判定するシステムが知られている。このような特定の被写体の検出には、撮像装置から被写体までの距離を測定した距離画像を用いる方法がある。特許文献１には、撮像装置により動体監視を行う場合、検出した動体までの距離と検出すべき動体の距離とから、動体が撮像装置から所定の範囲にあるか否かを判定する方法を開示している。一方、複数のカメラから得られる映像とそれらのカメラをステレオカメラとして構成して得られる距離画像とを用いて、撮像する環境中の有意な情報を的確に認識する環境認識装置の提案もなされている（特許文献２）。
【０００３】
また、撮像により得られた動画は、ネットを介して他の情報処理装置にデータを伝送する際のデータ量の削減や、メモリに蓄積するデータ量の削減のため、圧縮された形式のデータとして取り扱われることが多い。同様の観点から、撮像装置を視点とした被写体への距離を測定した距離画像についても、圧縮データとして取り扱うことが望ましい。距離画像の符号化に関する標準技術として、３Ｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（以下、３ＤＶ）の策定が行われている。３ＤＶでは、自由視点映像合成を高画質に行うための距離画像を生成する。しかしながらＨ．２６４等のＲＧＢ画像の符号化技術と同様、周波数変換を行うため、距離画像のエッジ付近で大きな劣化が生じやすい。一部の画素に大きな劣化が発生する圧縮方式は、距離画像の利用方法によっては大きな問題となる。例えば特許文献２に開示された方法において、このような一部の画素に大きな劣化が発生する圧縮方式を用いて圧縮された距離情報を用いると、圧縮による劣化があるために、撮像する環境中の有意な情報を的確に認識することが難しくなる。そこで距離画像には、ＪＰＥＧ−ＬＳと称される公知の圧縮方式（非特許文献１）の様に、符号化による各画素値の最大歪み（誤差）を任意の値に抑えることができる符号化方式を用いることが望ましい。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１１−１９６３２０号公報
【特許文献２】特開２０１０−２２４９１８号公報
【非特許文献】
【０００５】
【非特許文献１】Ｔｈｅ  ＬＯＣＯ−Ｉ  Ｌｏｓｓｌｅｓｓ  Ｉｍａｇｅ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ａｌｇｏｒｉｔｈｍ：Ｐｒｉｎｃｉｐｌｅｓ  ａｎｄ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  ｉｎｔｏ  ＪＰＥＧ−ＬＳ，（ＩＥＥＥ  ＴＲＡＮＳＡＣＴＩＯＮ  ＯＮ  ＩＭＡＧＥ  ＰＲＯＣＥＳＳＩＮＧ，ＶＯＬ．９，ＮＯ．８，ＡＵＧＵＳＴ  ２０００）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
距離画像を符号化して得られる圧縮データを参照し、特定の被写体の検出するためには、まずは圧縮データの復号が必要である。そのあと、復号して得られた距離画像に基づいて、被写体の侵入を検出しようとすると、時間がかかってしまう。特に動画像を構成するフレーム画像が順次入力され、被写体の侵入を検出する場合、特に高速な処理が求められている。
【０００７】
そこで本発明は、圧縮された距離画像に基づいて、動画に出現する特定の被写体を高速、かつより適切に検出することを目的とする。
【課題を解決するための手段】
【０００８】
上記課題を解決するため本発明に係る情報処理装置は、撮像装置により撮像することにより前記撮像装置から被写体への距離情報を得られる監視空間において、前記監視空間の初期状態における距離画像と、被写体の侵入を検出する警戒空間を設定する設定手段と、画素毎の符号化と複数の画素毎の符号化を混合した符号化形式により、画素ごとの距離情報からなる距離画像を符号化して得られる圧縮データを取得する取得手段と、前記圧縮データに対して復号対象の符号語が、画素毎に符号化された符号語であるか、複数の画素毎に符号化された符号語であるかを推定する推定手段と、
前記復号対象の符号語を復号して距離情報を取得し、前記推定手段により推定された結果に応じて、前記距離情報の画素位置について、前記距離情報が前記警戒空間における前記距離情報の変化があるか否かを判定する判定手段を有し、前記判定手段は、前記推定手段が画素毎に符号化された符号語であると推定した場合、前記復号対象の符号語を復号して距離情報を有する１つの画素について、該距離情報と前記監視空間の初期状態とに基づいて前記警戒空間における前記距離情報の変化があるか否かを判定し、前記推定手段が複数の画素毎に符号化された符号であると推定した場合、前記復号対象の符号を復号して距離情報を有する複数の画素について、該距離情報と前記監視空間の初期状態とに基づいて、前記警戒空間における前記距離情報の変化があるか否かを判定することを特徴とする。
ことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、圧縮された距離画像に基づいて、動画に出現する特定の被写体を高速、かつ適切に検出することができる。
【図面の簡単な説明】
【００１０】
【図１】監視空間と監視対象物と撮像装置の一例を示す図。
【図２】図１の監視空間における警戒空間の例を示す図。
【図３】情報処理装置３の機能構成を示すブロック図。
【図４】動画像と距離画像を説明する図。
【図５】コンピュータシステムの構成例を示す図。
【図６】情報処理装置の機能をコンピュータシステム上で実現する場合の処理のフローチャート。
【図７】検出処理の詳細を示すフローチャート。
【図８】情報処理装置への入力となる動画像と距離画像のデータを生成する装置の構成例を示す図。
【図９】図８における距離画像符号化部８８０の構成例を示す図。
【図１０】ゴロム・ライス符号化を説明する図。
【図１１】着目画素とその周辺の画素の位置関係を示す図。
【図１２】ゴロム・ライス符号化のパラメータｋと整数値ＭＶと符号語の関係を示す図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例にすぎず、本発明は図示された構成に限定されるものではない。
【００１２】
＜第一の実施形態＞
第一の実施形態では、監視対象が配置された空間を撮像装置が撮像して得られる動画像において、監視対象物に接近する被写体があるか否か判定する情報処理装置を説明する。監視空間を撮像装置により連続時間撮像し、動画像を得る。ここで動画像とは、時系列の複数のフレーム画像からなるデータである。撮像装置は、撮像結果に対して所定の画像処理、符号化を施して、動画像の圧縮データと、対応する距離画像列の圧縮データを情報処理装置に転送する。情報処理装置は、監視空間および撮像装置からは離れた場所に存在している監視装置であり、転送された圧縮データを解析し、警戒空間への侵入物を検出する。
【００１３】
図１（ａ）において、監視空間１１に、監視対象物１２が配置されている。このような監視空間を、主カメラ１００と副カメラ１０１の２つの撮像装置により動画像を撮像する。主カメラ１００と副カメラ１０１が監視空間１１を撮像することにより、図２に示すように２つの画像列を得る。１つは、フレーム画像列からなる動画像であり、フレーム画像はＲＧＢにより表わされるカラー画像データである。動画像は、主カメラ１００から得られるデータを用いるものとする。もう１つの画像列は、距離画像列であり、動画像のフレーム画像それぞれに対応する距離画像からなる。各距離画像は、対応するフレーム画像におけるカメラ位置から被写体への距離情報を画素毎に保持する画像である。各距離画像は、主カメラ１００と副カメラ１０１の対応するフレームを視差の異なる２つのステレオ画像とし、公知の方法により算出される。以上の通り、動画像と距離画像列は、各フレーム画像と距離画像とが対応するデータであり、動画像のフレーム画像における各画素位置と距離画像における各画素位置は対応づけられている。
【００１４】
なお、図１（ｂ）に示す様に、カメラ１０２とレンジセンサ１０３とを組み合わせて距離画像を生成するように構成しても良い。この場合カメラ１０２から得られる動画を動画像とし、レンジセンサ１０３より得られる測距データを距離画像列とする。
【００１５】
各カメラにより撮像して得られた動画像および距離画像列は、それぞれ所定の圧縮形式で符号化を施され、所定の形式の圧縮データに変換される。ここで図８は、撮像装置から得られる動画像に基づいて所定の形式の圧縮データが生成される画像処理装置の論理構成を示すブロック図である。同図において、主カメラ１００および、副カメラ１０１は図１（ａ）に示したカメラである。各カメラからは、監視対象物１２を含む監視空間１１を撮像して得た動画像を出力される。画像取得部８３０は、主カメラ１００、副カメラ１０１から出力された複数のフレーム画像からなる動画像を取得し、フレーム画像毎に画像処理部８４０に出力する。画像処理部８４０では、主カメラ１００が撮像したフレーム画像と副カメラ１０１が撮像したフレーム画像とをステレオ画像とし、フレーム画像に対応する距離画像を生成する。距離画像は、フレーム毎に生成されるため、距離画像も動画像に対応した距離画像列として出力される。画像処理部８４０が生成したフレーム画像列は、一次的に動画像メモリ８５０に保持され、距離画像列は一時的に距離画像メモリ８６０に保持される。
【００１６】
動画符号化部８７０は、動画メモリ８５０に保持されるフレーム画像列を符号化し、圧縮データに変換して出力部８９０に出力する。距離画像符号化部８８０は、距離画像メモリ８６０に保持される距離画像列それぞれを符号化し、圧縮データに変換して出力部８９０に出力する。出力部８９０は、動画符号化部８７０より得られる符号化済みのフレーム画像列を、不図示の通信回線等を通して、本実施形態において侵入物を検出する情報処理装置に出力する。同様に、出力部８９０は、距離画像符号化部８８０より得られる符号化済みの距離画像列を、不図示の通信回線等を通して、情報処理装置に出力する。
【００１７】
次に、上述の距離画像符号化部８８０の構成例を、図９を用いて説明する。前述のように、圧縮によって距離情報が大きく劣化した画素値を使用すると、距離画像を用いた判定の精度が悪くなってしまう場合がある。このため圧縮による各画素値の最大歪みを任意の値に抑えることができる符号化方式を用いることが望ましい。そこで本実施形態において距離画像符号化部８８０は、距離画像については、ＪＰＥＧ−ＬＳと称される公知の符号化方式を用いて、距離画像を符号化する。ＪＰＥＧ−ＬＳは、符号化対象の各画素の画素値を予測符号化と呼ばれる手法により画素単位で符号化する方式と、同じ画素値である連続する複数の画素からなる画素列をランレングス符号化と呼ばれる手法により符号化する方式とが混合された符号化形式である。
【００１８】
図９は、距離画像符号化８８０のより詳細な論理構成を示すブロック図である。距離画像入力部９１０は、距離画像メモリ８６０に保持される距離画像列より距離画像を順次入力する。距離画像入力部９１では、距離画像を構成する各画素の画素値を、ラスタスキャン順にライン単位にモード選択部９２０に入力する。モード選択部９２０は、距離画像入力部９１０から取得したライン単位の画素値列を、ラインの先頭の画素値から順次に解析して、ランレングス符号化すべきか否かを判定する。ここで、ランレングス符号化すべきと判定した画素に関しては、画素の画素値をランレングス符号化部９４０に出力する。そうではない場合には、画素の画素値をゴロム符号化部９３０に出力する。ゴロム符号化部９３０は、モード選択部９２０の制御のもと、当該画素を画素単位にゴロム・ライス符号化した符号語を生成する。また、ランレングス符号化部９４０は、当該画素を隣接する画素を含めた同一ライン上の複数画素の集まりとして符号化した符号語を生成する。符号生成部９５０は、前記ゴロム符号化部９３０で生成された符号語とランレングス符号化部９４０で生成された符号語とを組み合わせ、一ライン分の画素値列に対する符号語列を生成して符号出力部９６０に出力する。符号出力部９６０は符号生成部９５０より出力される一ライン分の符号語列から、ラスター走査順に並ぶ複数のラインにより構成される距離画像の符号データを順次形成し、出力部８９０に出力する。
【００１９】
上記に説明した距離画像符号化部８８０を、コンピュータシステム上で、ソフトウェア処理で実現した場合の例を、図５のコンピュータシステムのハードウェア構成図と、図１０のフローチャートを用いて説明する。ＣＰＵ５０１は、中央演算処理装置として機能し、入力されたデータや後述のＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムを用いて、画像形成システム全体の動作を制御する。ＲＡＭ５０２は、外部記憶装置５０７から読み取ったコンピュータプログラムやデータ、Ｉ／Ｆ部５０９を介して外部から受信したデータを一時的に記憶する記憶領域を有する。外部記憶装置５０７から読み取ったコンピュータプログラムやデータ、Ｉ／Ｆ部５０９を介して外部から受信したデータを一時的に記憶する記憶領域を有する。ＲＯＭ５０３は、ランダムアクセスして読み出しのみ可能なメモリであり、画像形成システムにおける各部の設定を行う設定パタメータやブートプログラムなどが格納されている。キーボード５０４や、マウス５０５は、ポインティングデバイスであり、ユーザによる指示の入力を受け付ける。また、液晶ディスプレイなどに代表される表示装置５０６は、デジタル画像を表示する。ハードディスクなどに代表される外部記憶装置５０７は、大容量外部記憶装置である。記憶媒体ドライブ５０８は脱着可能な記憶媒体を駆動する。Ｉ／Ｆ部５０９は、外部装置とデータのやり取りをするためのインターフェースであり、上記の各部はいずれも、バス５１０に接続され、バス５１０を介してデータの授受を行う。
【００２０】
図１０は、距離画像の符号化を実行するフローチャートである。図１０に示される処理の流れを記述したプログラムを、ＲＡＭ５０２、もしくは、ＲＯＭ５０３に予め記憶しておきＣＰＵ５０１が該プログラムを実行することで距離情報符号化部８８０を実現することができる。図１０において、処理を開始すると、ステップＳ１０１において距離画像入力部９１０は、距離画像列のうち、時系列において最初の距離画像を先頭フレームとして特定し、先頭フレームの距離画像における最上のラインを先頭ラインとして設定する。次にステップＳ１０２において、距離画像入力９１０は処理対象である距離画像の最終ラインの処理が終了しているか否かを判定し、終了している場合にはステップＳ１０３に進む。そうではない場合にはステップＳ１０５に進む。
【００２１】
ステップＳ１０３では距離画像列のうち、時系列において最終フレームの処理が終了しているか否かを判定し、終了している場合には、一連の距離情報符号化を終了し、そうではない場合にはステップＳ１０４に進む。ステップＳ１０４において距離画像入力部９１０は、処理対象を次のフレームに対応する距離画像の先頭ラインに設定し、ステップＳ１０２へ戻る。ステップＳ１０５において距離画像入力部９１０は、処理対象のライン上の画素列の画素値列を入力し、ステップＳ１０６に進む。距離画像における画素値はライン単位に入力され、ラスタスキャン順に順次符号化される。
【００２２】
ステップＳ１０６においてモード選択部９２０は、ステップＳ１０５で入力した画素値列の内、先頭に位置する画素を着目画素として設定し、ステップＳ１０７に進む。ステップＳ１０７においてモード選択部９２０は、着目画素に対する符号化モードを選択する。符号化モードとしては、画素符号化モードとランレングス符号化モードとがある。ステップＳ１０７における符号化モードの選択の仕方を図１１を用いて説明する。図１１は、着目画素と周辺画素の位置関係を示している。ここでは、画素ｘが着目画素であり、符号化対象の画素となる。また、画素はラスタスキャン順に符号化されるため、左画素ａ、左上画素ｃ、上画素ｂ、右上画素ｄは、既に符号化済みの画素である。初期設定では、ラン長ＲＬ＝０が設定されている。ラン長ＲＬが０以外、または、周囲画素の状態がランレングス符号化条件を満たしている場合に、モード選択部９２０はランレングスモードを選択する。なおランレングス符号化条件は、左画素ａ、左上画素ｃ、上画素ｂ、右上画素ｄにおいて、それぞれの画素値がａ＝ｃ、かつｃ＝ｂ、かつｂ＝ｄとする。従って、周辺画素の画素値がａ＝ｃ、かつｃ＝ｂ、かつｂ＝ｄを満たすとき、モード選択部９２０は、ランレングス符号化条件を選択する。それ以外の場合には、モード選択部９２０は画素符号化モードを選択する。ステップＳ１０８においてモード選択部９２０は、ステップＳ１０７において符号化モードがランレングスモードに設定されたか否かを判定し、ランレングスモードに設定されているときには、ステップＳ１０９へ進む。そうではない時にはステップＳ１１０へ進む。
【００２３】
ステップＳ１０９においてランレングス符号化９４０は、ランレングス符号化を行う。図１１に示される着目画素ｘが左画素ａと同じ画素値のとき、ラン長ＲＬを１増加させ、ステップＳ１１２へ進む。また着目画素ｘが左画素ａと異なる画素値のとき、それまでのラン長ＲＬをハフマン符号化した上で、ラン長ＲＬを０に初期化して、ステップＳ１１２に進む。尚、ランレングス符号化については、公知の技術であり、例えばＪＰＥＧ−ＬＳと同様の処理のため、詳細説明は省略する。
【００２４】
ステップＳ１１０においてゴロム符号化９３０は、画素の画素値を予測変換する。予測変換にはＭＥＤ（Ｍｅｄｉａｎ  Ｅｄｇｅ  Ｄｅｔｅｃｔｉｏｎ）予測を用いる。図１１の周辺画素を用いた予測式は、式（１）に示す通りである。
【００２５】
【数１】
2017097815.tif 000003
ここで着目画素の予測誤差は式（２）である。
予測誤差（Ｄｉｆｆ）＝着目画素ｘの画素値−予測値ｐ      （２）
予測変換を終えるとステップＳ１１１へ進む。
【００２６】
ステップＳ１１１においてゴロム符号化９３０は、ステップＳ１１０において算出した着目画素の予測誤差をゴロム・ライス符号化する。まず予測誤差（Ｄｉｆｆ）を非負の整数値（ＭＶ）に変換する。変換式は式（３）に示す通りである。
【００２７】
【数２】
2017097815.tif 000004
次に、パラメータｋを用いて非負の整数値（ＭＶ）をゴロム・ライス符号化する。ゴロム・ライス符号化の手順は以下の通りである。
（１）ＭＶを２進数表現して、ＭＶをｋビット右シフトした値の０を並べ、その後に１を付加する。
（２）（１）の後ろに、ＭＶの下位ｋビットを取りだして付け加える。
【００２８】
図１２に、ゴロム・ライス符号化のパラメータｋと非負の整数値（ＭＶ）と符号語の関係を示す。ゴロム・ライス符号化の構成はこれに限定されるものではなく、例えば、０と１を反対にして符号を構成しても構わないし、上記手順で述べた（１）と（２）の順番を入れ替えて符号を構成しても良い。なお、ここでは符号化パラメータｋの決定方法については特に特定しないが、符号化側と復号側で同じパラメータを利用できれば良い。ステップＳ１１１の処理を終えるとステップＳ１１２へ進む。
【００２９】
ステップＳ１１２において、処理中のラインの最終画素まで符号化処理が完了したか否かを判断し、終了している場合にはステップＳ１１４に進み、そうではない場合にはステップＳ１１３へ進む。ステップＳ１１３では処理対象の画素を同ライン上の次の画素に設定し、ステップＳ１０７へ戻る。ステップＳ１１４において、ゴロム符号化部９３０から得た符号語とランレングス符号化部９４０から得た符号語とを合わせて、処理対象ラインの符号語列を生成する。次にステップＳ１１５において距離情報入力部９１０は、処理対象の画素を次ラインの先頭画素に設定し、ステップＳ１０２へ戻る。以上、距離情報符号化部８８０を、コンピュータシステム上で、ソフトウェア処理で実現する場合の例を説明した。
【００３０】
尚、上記に説明した距離情報符号化部８８０の構成は、動画符号化部８７０にも適用できる。本実施形態では、図８の動画符号化部８７０も、動画メモリ８５０に保持されるＲＧＢやＹＣｂＣｒ等の公知の色空間中での複数の成分で表現されるカラー画像よりなるフレーム画像列を、色成分毎にモノクロ画像として符号化する。このように符号化済の圧縮データとして出力部８９０に出力するものとする。
【００３１】
ここから、本実施形態における情報処理装置について説明する。図３は、情報処理装置３の論理構成を示すブロック図である。情報処理装置３は、動画取得部３０１、距離画像取得部３０２、初期空間算出部３０３、警戒空間設定部３０４、モード推定部３０５、座標算出部３０６、判定部３０７、警告制御部３０８を有する。動画取得部３０１は、動画（フレーム画像列）を符号化した圧縮データを、距離画像取得部３０２は、距離画像を符号化した圧縮データを順次、取得する。動画のフレーム画像と、対応する距離画像は必ず両方を取得する。初期空間算出部３０３は、監視対象の空間における通常時の距離画像を算出する。ここでは、取得した距離画像の圧縮データのうち、最初のフレームを初期状態（侵入物なし）として復号し、各画素の距離情報を初期状態として算出しておく。
【００３２】
警戒空間設定部３０５は、ユーザにより撮像された動画に撮像された監視空間において、物体の侵入を監視したい領域を指定させ、受け付ける。まず動画メモリ８５０に保持されている動画のうち初期状態のフレーム画像（ここでは最初のフレーム画像）を、表示装置５０６に表示する。次に、ユーザによりマウス等のポインティングデバイス５０５を用いて、表示画像上で警戒したい領域を指定させる。図４（ａ）は、表示画像１１を示し、指定点４１〜４４は、ユーザにより入力された監視領域を規定する４点を示している。警戒空間設定部３０５は、ユーザにより指定された領域に基づいて、３次元空間における警戒空間を設定する。図４（ｂ）は、ユーザにより指定された領域４０を底面とした四角柱で表現される空間を、警戒空間４５として設定した例を示している。警戒空間設定部３０５は、フレーム画像に対応する距離画像における点の位置とその位置の画素値（距離情報）とから生成された、警戒空間の３次元位置（３次元座標）を表現し、警戒空間情報として出力する。なお、距離画像から３次元データを得ることは、例えば特許第３８２３５５９号公報に開示される方法により算出することで実現できる。距離画像上の各画素の２次元画素位置（画像上の横方向の位置ｘと縦方向の位置ｙ）は測距点（観測点）から見た画角内での方向を表わす。また、各画素のもつ画素値は測距点（観測点）から当該画素位置の方向にある被写体までの距離を表わす奥行き値（ｚ）である。上記の公知の方法をコンピュータにより実行可能なプログラムとして記述し、図５で示されるようなコンピュータシステム上で実行する。その結果警戒空間設定部３０５は、警戒空間情報として、３次元空間における警戒空間（四角柱）の境界を規定する底面の各頂点を生成することができる。
【００３３】
モード推定部３０３は、取得した距離画像の圧縮データの符号語が、複数の画素毎に符号化するランレングスモードと、１つの画素毎に符号化する画素符号化モードのいずれにより符号化されたかを推定する。座標算出部３０４は、距離画像における画素について、実空間上の３次元座標を生成する。判定部３０６は、距離画像を参照し、距離画像が圧縮された符号化モードに応じて、監視空間の距離情報が、初期状態に対して所定の条件を超える変化があったか否かを判定する。判定部３０６は、距離情報の変化があると判定した場合、警戒空間に侵入した被写体があるとみなす。このように警戒空間設定部３０５によって指定された警戒空間に、侵入した被写体があるか否かを随時判定する。
【００３４】
図３に示した情報処理装置の機能を、図５に示されるような構成を有するコンピュータシステム上でソフトウェア処理で実現する場合の例を、図６のフローチャートを用いて説明を加える。ここでは、前述の距離画像符号化部８８０同様、図３に示した情報処理装置の機能も、図５を用いて先に説明したコンピュータシステムと同様の、もう一つのコンピュータシステム上でのソフトウェア処理で実現する。
【００３５】
図６において、処理を開始すると、ステップＳ６０１において動画取得部３０１は、監視対象を含む監視空間の初期設定を算出するために、監視空間の初期状態を撮像した画像データを取得する。ここでは動画を構成するフレーム画像列のうち最初のフレームの圧縮データを入力するとする。このとき入力される画像データは、監視空間に警戒すべき被写体は侵入していない状態を撮像したものである。
【００３６】
ステップＳ６０２において距離画像取得部３０１は、ステップ６０１において動画取得部３０１が入力したフレーム画像に対応する距離画像の圧縮データを取得する。ステップＳ６０３において初期空間算出部３０３は、ステップＳ６０１において取得した圧縮データを復号し、表示装置５０６に表示する。このときユーザは、監視空間の初期状態を確認することができる。また、初期空間算出部３０３は、ステップＳ６０２において取得した距離画像の圧縮データも復号し、初期状態における各画素の距離情報を算出する。
【００３７】
ステップＳ６０４において警戒空間設定部３０４は、ユーザの指示に応じて監視空間における警戒空間を設定する。警戒空間とは、初期状態には存在していない被写体の侵入を検出すべき空間を意味する。前述の通り本実施形態における警戒空間設定部３０４は、図４（ｂ）に示される各指定ポイント４１〜４４を底辺とする四角柱の頂点を３次元位置（３次元座標値）情報として生成する。図４の例に沿って説明すると、まず、図４（ａ）の指定ポイント４１〜４４に示される各点から、点４１と点４２、点４２と点４３、点４３と点４４、点４４と点４１というように、一巡する４本の線分で四辺形を形成する。この際、一般的に、４１〜４４の４点のそれぞれが、測定誤差や計算誤差等により必ずしもそのままでは平面を形成しない座標値となっていることがある。ここでは、指定ポイント４１〜４４は、同一平面上にあるべきものとして、必要であれば補正し、改めて４１〜４４の点の座標値とするものとして説明を続ける。補正の方法としては、特開２００７−２７１４０８等に開示される公知の方法で、距離画像から得られる３次元点群から床面を推定し、指定ポイント４１〜４４それぞれがこの床面上にある点であるものとしてそれぞれの座標値を補正するものとする。その他にも、例えば、４１から４３までの３点で規定される平面上に４４も載るように４４の座標値を補正するように構成しても良い。なお、上記の特開平２００７−２７１４０８には、３次元点群から推定した床面をＸＹ軸とし、これと直交した方向をＺ軸とした座標系に変換して表現することも開示されている。本実施形態では、距離画像から得られる３次元点群から推定する等、公知の方法により、同定した床面をＸＹ軸とし、これと直交した方向をＺ軸とした座標系に変換した表現を用いても良い。以上の通りに、警戒すべき空間を規定する境界を与える底面とこれに直交する平面群とで構成される柱体を規定する情報を、警戒空間情報として生成する。柱体の情報の表現自体は、例えば、柱体の頂点の各３次元座標値と、柱体を構成する平面と、これら平面を構成する頂点の繋がりに関する情報等を含むものである。生成した情報をＲＡＭ５０２上の不図示、かつ、その他の情報とは異なる領域に保持してステップＳ６０４の処理を終える。
【００３８】
ステップＳ６０５において動画取得部３０１は、監視空間を監視している間に撮像されている動画像をフレーム毎に順次、ＬＩＶＥ動画として入力する。動画取得部３０１は、符号化されたデータを復号してフレーム画像を生成し、ＲＡＭ５０２上の不図示、かつ、その他の情報とは異なる領域に保持する。ステップＳ６０６では、ステップＳ６０５において入力したフレーム画像に対応する距離画像列中の距離画像を１枚入力し、ＲＡＭ５０２上の不図示、かつ、その他の情報とは異なるメモリ領域に保持する。距離画像を圧縮したデータは、前述のように画素単位での符号化と、同じ画素値をもった同一ライン上に互いに連続する複数の画素からなるラン単位での符号化とが混在する圧縮法で生成されたものである。
【００３９】
ステップＳ６０７において、入力されたフレーム画像が撮像されたタイミングにおける監視空間を解析し、警戒空間への侵入物の有無を判定する。図７は、ステップＳ６０７における侵入物有無の判定処理の詳細なフローチャートを示す。
【００４０】
まずステップＳ７０１においてモード推定部３０５は、既に復号済みの領域の各画素の画素値から、現在復号対象のデータ（符号語）が、画素符号化モードとランレングス符号化モードのどちらのモードで符号化されたデータであるかを推定する。この推定は、符号化モードの選択の仕方を説明した際に用いたと同じ図１１を用いる。着目画素ｘについて、その周囲画素である左画素ａ、左上画素ｃ、上画素ｂ、右上画素ｄは、既に復号化済みの画素である。そこで、この復号化済の画素の画素値を用いて、符号化時の説明で述べた図１０のステップＳ１０７と同様の判定を行う。これにより、着目位置ｘがいずれの処理モードで符号化されたかが推定できる。
【００４１】
ステップＳ７０２において推定結果が画素符号化モードであった場合にはステップＳ７０３に進み、そうではない場合には、ステップＳ７０４に進む。ステップＳ７０４において、着目中の符号データはランレングス符号化モードで符号化されたものとして復号し、ランの線長を同定する。ステップＳ７０５において座標三算出部３０６は、ステップＳ７０４において得たランの線長と着目画素の位置とから、当該ランの両端点の距離画像における画素位置を求める。またこれら両端点に位置する画素の画素値とを合わせて、先述の公知の方法により、当該ランの両端点の３次元座標値を求める。
【００４２】
一方、ステップＳ７０３において座標算出部３０６は、着目画素位置は、画素符号化モードで符号化されたものであるとして復号化する。距離画像における着目画素の位置と復号して得た画素値とから、先述の公知の方法により、当該着目画素位置の３次元座標値を求める。
【００４３】
次に、ステップＳ７２１において判定部３０７は、画素符号化モードであると推定された場合に、画素符号化モードに応じてデータを復号した画素の侵入検出処理を行う。ステップＳ７０３において求めた着目画素の３次元座標と、ステップＳ６０４において生成した警戒空間情報とから、着目画素において侵入物があるか否かを判定する。着目画素における画素値（距離情報）が、３次元空間において、警戒空間情報が規定する空間の中に位置する場合、ステップＳ７０７へ進む。着目画素における画素値（距離情報）が、３次元空間において、警戒空間情報が規定する空間の中に位置しない場合には、ステップＳ７１６に進む。ステップＳ７０７において判定部３０７は、着目画素が警戒空間内にあることを示す情報をＲＡＭ５０２上の不図示、かつ、その他の情報とは異なる領域に保持する。
【００４４】
ステップＳ７０８以降では、ステップＳ７０１においてランレングス符号化モードで符号化されたデータであると推定されたデータに対して、侵入物の有無を判定する処理を実行する。まずステップＳ７０８において、データを復号したランの左端点について、ランの左端点の３次元座標と警戒空間情報とに基づいて、ランの左端点が３次元空間において警戒空間の中に有るか否かを判定する。ランの左端点が警戒空間内に有ると判定した場合にはステップＳ７１０に進む。一方、当該ランの左端点が警戒空間の中には無い場合には、ステップＳ７０９に進む。ステップＳ７０９において判定部３０７は、ランの右端点が警戒空間内に有るか否かを判定する。ステップＳ７０９において、当該ランの右端点が警戒空間内に無いと判定された場合には、ランの左端点および右端点いずれも警戒空間の中にはないので、処理対象のラン上の全画素は警戒空間内にはないとしてステップＳ７１６へ進む。
【００４５】
ステップＳ７０９において判定部３０７は、ランの左端点は警戒空間内にないがランの右端点は警戒空間内にあると判定された場合には、ランの右端点から左端点までの途中が部分的に警戒空間内にあるものと判定し、ステップＳ７１４へ進む。ステップＳ７１４において判定部３０７は、ランと警戒空間を規定する平面との交点を算出し、ステップＳ７１５へ進む。ステップＳ７１５では、ステップＳ７１４で求めたランと警戒空間を規定する平面との交点からランの右端点までのラン上の各画素が警戒空間内にあるものと判定する。このラン上の区間内の一連の画素が警戒空間内あるとの情報をＲＡＭ５０２上の不図示、かつ、その他の情報とは異なる領域に保持する。ステップＳ７１０において判定部３０７は、ランの左端点が警戒空間内に有る場合に、ランの右端点もまた、警戒空間内にあるか否かを判定する。ランの右端点も警戒空間内にある場合、ラン上の全画素が警戒空間の中にあると判定して、ステップＳ７１３へ進む。一方、ランの右端点は警戒空間内に無いと判定された場合には、ステップＳ７１１へ進む。ステップＳ７１３では、当該ランの左端点から右端点までのラン上の全画素が、警戒空間内にあるとの情報をＲＡＭ５０２上の不図示、かつ、その他の情報とは異なる領域に保持する。
【００４６】
ステップＳ７１１において、ランと警戒空間を規定する平面との交点を算出し、ステップＳ７１２へ進む。ステップＳ７１２において、当該ランの左端点から、ステップＳ７１１で求めた当該ランと警戒空間を規定する平面との交点までの当該ラン上の各画素が警戒空間内にあるものと判定する。このラン上の区間内の一連の画素が警戒空間内あるとの情報をＲＡＭ５０２上の不図示、かつ、その他の情報とは異なる領域に保持して、ステップＳ７１２の処理を終える。
【００４７】
ステップＳ７１６において判定部３０７は、警戒空間内にはないと判定された画素の判定結果を確定させて、警戒空間への侵入はなかったものと判定する。
【００４８】
ステップＳ７１７において判定部３０７は、警戒空間内にあると判定された画素について、距離画像における各画素の画素値（距離情報）とステップＳ６０３において生成した距離画像の同位置の画素値と比較する。ステップＳ６１３で生成した初期空間情報は、警戒空間に侵入物がいない状態での距離情報である。そこでステップＳ７１７において、初期空間情報と監視中の距離画像とにおいて、同じ画素の距離情報が、大きく異なる値か否かを判定する。ここで、距離情報は符号化により所定の誤差以内の誤差が発生している場合がある。そこで判定部３０７は、所定の誤差以上の差分があるか否かを判定する。なお所定の誤差は、距離画像を符号化する際に設定される許容される誤差に基づいて、設定されることが望ましい。距離画像を符号化する際の符号化パラメータ取得ができる場合は、符号化パラメータを参照して、符号化によって発生し得る許容誤差を、所定の誤差として設定する。ただし、符号化パラメータを取得できない場合は、距離画像を符号化する際に発生しうる誤差量を予め決めておいてもよい。
【００４９】
初期空間情報と監視中の距離画像とにおいて、警戒空間内にある同じ画素の距離情報に所定の誤差以上の差分があれば、この警戒空間内と判定された画素位置に初期状態とは異なる、被写体が侵入したと判定する。そうではない場合には、初期状態でそもそも警戒空間内に存在した状況がそのまま検出されたものと判断する。ＲＡＭ５０２上の不図示の領域に保持される警戒空間内にあると判定された画素位置の情報を、侵入があったと判断される画素のみの状態に更新する。その結果、警戒空間内にあると判定される画素が残る場合には、監視対象空間への侵入があったものと判定し、残らなかった場合には、侵入はなったと判定する。ステップＳ７１７の処理を終えると、符号化処理モードに応じた侵入検出処理を終了する。
【００５０】
なお、３次元空間中でのある一点が、同空間内での面で囲まれた閉空間の内側に有るか外側に有るかの判定方法に関しては公知の方法が存在し、例えば、特開平２−１００７７７に開示される。また、上記ステップＳ７１７において、警戒空間内にあると判定された点が初期状態とは異なること状態にあることの判定に、距離画像のみを用いて説明したが、同画素位置にあるカラー画像中の画素間の画素値の差異をも用いて判定するように構成してもよい。以上図７を用いて、ステップＳ６０７を詳述した。
【００５１】
以降、図６のフローチャートに戻り、ステップＳ６０８において警戒制御部３０８は、監視中の動画において警戒空間への侵入があったと判定された場合には、ステップＳ６０９へ進み、そうではない場合には、ステップＳ６１０へ進む。ステップＳ６０９において警戒制御部３０８は、警戒空間への侵入があった場合に設定された制御を実行する。ここではまず、監視中の監視空間を撮像したフレーム画像において、ステップＳ７１７において侵入が有ったと判断された画素の位置と同位置にある画素値を、重畳用のフレーム画像エリアの対応する画素位置にコピーする。なお、重畳用のフレーム画像エリアは、説明を省いたが、ＲＡＭ５０２上の不図示、かつ、その他の情報とは異なる領域に確保されているものとする。かつ、ステップＳ６０９の処理を開始するまでの間に、重畳される画素値を含まない状態に初期化されているものとする。この重畳用のフレーム画像エリアの画像データは、ステップＳ６０３において生成された初期状態の環境空間（警戒空間への侵入がまだ検出されていない）に、公知の方法により重畳されたデータである。警戒制御部３０８は、重畳用フレーム画像エリアの画像データを、表示装置５０６上に表示させる。
【００５２】
ステップＳ６１０において、ステップＳ６３１において獲得した監視中の監視空間の一フレーム分のフレーム画像と距離画像を、ステップＳ６４０でラスタスキャン順に処理を進めて、フレームの最終走査線の最終処理単位まで処理が終了したか否かを判断する。終了している場合には、ステップＳ６２０に進み、終了していない場合にはステップＳ６０７に戻り、ラスタスキャン順で次の位置にある処理単位の処理を開始する。ステップＳ６２０では、装置外部よりＩ／Ｆ部５０９を経由して、もしくは、操作者によりマウス等のポインティングデバイス５０５やキーボード５０４等の入力装置を用いて、一連の処理を終了指示があったか否かを判定する。終了指示がない場合には、ステップＳ６０５に戻り次のフレーム分に対する処理の開始に移る。終了指示があった場合には、一連の監視の処理を終了する。
【００５３】
以上本実施形態によれば、距離画像を符号化することで撮像装置から監視装置である情報処理装置へ転送するデータ量や情報処理装置内で保存する際に必要となるメモリ量を削減している。一方で、距離画像に基づいて侵入物を検出するために、復号するデータがいかなる符号化モードで符号化されたかに応じて侵入物を判定することで、効率的に判定できる。特にランレングスモードで符号化された圧縮データの場合、ラン上の複数の画素をまとめて判定することができる。
【００５４】
＜その他の実施形態＞
なお、第一の実施形態では、警戒空間情報は、操作者により警戒領域を規定する４点の情報を入力した。ただし必ずしも、指定する領域は４点である必要はなく、例えば、底面を長方形とし、その対角にある二頂点となる２点を入力するもので有っても良い。さらに、底面は必ずしも四角形で有る必要もなく、多角形を構成する複数の頂点を入力するものでも良い。また、初期状態の監視空間に存在する被写体のうち、被写体の接近を警戒すべき被写体を操作者に指定させ、警戒すべき被写体を含むように警戒空間を設定する構成としてもよい。
【００５５】
また、侵入発生時の対応として、警戒制御部３０８は、侵入が有ったと判断された部分画像を、監視空間初期画像（背景画像）に重畳表示するものとして説明した。しかしながら、これに限らない。真の意味での侵入が有ったと判断された画素が発生した時点で、警報音を発したり、警告表示をしたり、あるいは、警告情報を通報したり等の予め定める動作をさせるように構成しても良い。
【００５６】
また前述の実施形態では、画素単位の符号化とラン単位の符号化が混在した符号化方式により符号化された距離画像の圧縮データに基づくものとして説明した。しかしながら、これだけに限らない。即ち、例えば、画像を複数のブロックに分割し、ブロック毎に符号化するブロック符号化と称される手法において、複数の異なるサイズのブロックが混在する形式での符号化方式により符号化された圧縮データを用いてもよい。距離画像における同じ画素値をもつ画素の領域を、同画素領域の大きさに応じて、複数種類のサイズ（例えば、６４×６４、３２×３２、・・・、４×４、２×２、１×１）のうち、可能な限り大きなサイズで符号化する方式に基づくものでも良い。この場合には、例えば、前述の実施形態におけるランレングスモードでラン毎に判定したように、ブロック毎に警戒空間に含まれるか否かを判定するように構成すればよい。各ブロックの４隅の画素のそれぞれの画素位置と各画素値とにより、ブロック全体が警戒空間外に有るか否かの判定が可能である。ブロックの全体が、警戒空間外、または警戒空間内との判定がつかず、部分的に警戒空間の内外に係る場合には、ブロック内の各画素まで復号して処理をするとしても、ブロック全体で判定がつく場合に対しては、処理の高速化が図れる。部分的に警戒空間の内外にかかる場合にもさらに縦横半分のサイズのサブブロックの単位で内外判定をやり直す様に構成しても良い。この場合には、さらに、ブロック全体を復号して、画素単位に内外判定を行う場合よりも高速な処理を実現できる。
【００５７】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2017097815.tif 000005
【図２】
2017097815.tif 000006
【図３】
2017097815.tif 000007
【図４】
2017097815.tif 000008
【図５】
2017097815.tif 000009
【図６】
2017097815.tif 000010
【図７】
2017097815.tif 000011
【図８】
2017097815.tif 000012
【図９】
2017097815.tif 000013
【図１０】
2017097815.tif 000014
【図１１】
2017097815.tif 000015
【図１２】
2017097815.tif 000016