(57)【要約】      （修正有）【課題】符号量の増大を招くことなくユーザが所望するＲＯＩを精度良く検出することが可能な映像符号化装置を提供する。【解決手段】映像符号化装置Ｘ１において、ＲＯＩ設定部Ｕ１の画像解析部１０１は、解析画像信号Ｅ２に含まれるオブジェクトを検出する。画像解析部１０１は検出したオブジェクトの種別、サイズ、動き量等を表す情報を解析情報Ｄ１としてオブジェクトベースＲＯＩ情報生成部１０２及び画像イベント判定部１０３に供給する。オブジェクトベースＲＯＩ情報生成部１０２は解析情報Ｄ１に含まれるオブジェクトに関する情報に基づきＲＯＩを設定し、設定したＲＯＩに関する情報を候補として含むオブジェクトベースＲＯＩ情報Ｄ２を生成する。ＲＯＩ生成部１０８は、オブジェクトベースＲＯＩ情報Ｄ２、イベントの内容を表す画像ベースイベント信号Ｄ３及び固定ルールベースＲＯＩ情報Ｄ６に基づいてＲＯＩ情報を決定する。【選択図】図１
2018133645.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する映像符号化装置であって、
ピクチャ内にｎ個（ｎは１以上の整数）のＲＯＩ(Region Of Interest)を設定し、前記ｎ個のＲＯＩを表すｎ個のＲＯＩ情報片のうちから少なくとも１つのＲＯＩ情報片を選出するＲＯＩ設定部と、
前記入力画像信号、及び前記ＲＯＩ設定部で選出された前記少なくとも１つのＲＯＩ情報片を受け、前記入力画像信号に対して前記少なくとも１つのＲＯＩ情報片に基づく圧縮符号化処理を施してビットストリーム信号を生成するエンコーダ部と、を有し、
前記ＲＯＩ設定部は、解析画像信号を受け、前記解析画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づき、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出することを特徴とする映像符号化装置。
【請求項２】
前記ＲＯＩ設定部は、
前記解析画像信号における前記ピクチャ内からオブジェクトを検出し、検出した前記オブジェクトに対応したＲＯＩを表す情報片を前記ＲＯＩ情報片として生成する第１のＲＯＩ情報生成部を含むことを特徴とする請求項１に記載の映像符号化装置。
【請求項３】
前記第１のＲＯＩ情報生成部は、前記オブジェクトを含む領域のサイズ又は位置を変更し、変更後の領域を前記ＲＯＩとして設定することを特徴とする請求項２に記載の映像符号化装置。
【請求項４】
前記特定のオブジェクトは人の顔であり、
前記第１のＲＯＩ情報生成部は、
前記顔及び前記人の体を含む領域を前記ＲＯＩとして設定することを特徴とする請求項３に記載の映像符号化装置。
【請求項５】
前記特定のオブジェクトは人の顔であり、
前記第１のＲＯＩ情報生成部は、
前記人の手元を含む領域を前記ＲＯＩとして設定することを特徴とする請求項３に記載の映像符号化装置。
【請求項６】
前記ＲＯＩ設定部は、
所定のＲＯＩを表す情報片を前記ＲＯＩ情報片として生成する第２のＲＯＩ情報生成部を含むことを特徴とする請求項１〜５のいずれか１に記載の映像符号化装置。
【請求項７】
前記第２のＲＯＩ情報生成部は、前記所定のＲＯＩの位置を周期的に移動、或いは前記所定のＲＯＩのそのサイズを時間経過に伴い変化させることを特徴とする請求項６に記載の映像符号化装置。
【請求項８】
前記ＲＯＩ設定部は、前記ＲＯＩに含まれる情報に基づき前記特定のオブジェクトの態様を求めることを特徴とする請求項１〜７のいずれか１に記載の映像符号化装置。
【請求項９】
前記ＲＯＩ設定部は、前記ピクチャの所定領域内に、
前記特定のオブジェクトが存在するという第１のイベント、
自身のサイズが第１閾値以上であり且つ第２閾値未満となる前記特定のオブジェクトが存在するという第２のイベント、
自身の向きが所定の方向範囲内にある前記特定のオブジェクトが存在するという第３のイベント、
を含む複数のイベントのうちの１つのイベントが生じた場合には前記１つのイベントによって表される態様、少なくとも２つのイベントが生じた場合には生じたイベントの組み合わせによって表される態様に基づき、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出することを特徴とする請求項１〜８のいずれか１に記載の映像符号化装置。
【請求項１０】
前記複数のイベントは、前記ピクチャの所定領域内に、
前記ピクチャの所定領域内に動き量が所定量より大きい前記特定のオブジェクトが存在するという第４のイベント、
前記ピクチャの所定領域内に複数の前記特定のオブジェクトが存在するという第５のイベント、
前記ピクチャの所定領域内に複数の前記特定のオブジェクトが所定期間よりも長い期間に亘り存在するという第６のイベント、
前記ピクチャの所定領域内に前記特定のオブジェクトとして所定のマーカーが存在するという第７のイベント、
前記ピクチャの所定領域内に前記特定のオブジェクトとして人が異常行動を表すシーンが表れるという第８のイベントを更に含むことを特徴とする請求項９に記載の映像符号化装置。
【請求項１１】
前記ＲＯＩ設定部は、
前記解析画像信号に基づき前記複数のイベントのうちで実際に生じたイベントを判定し、判定した少なくとも１つのイベントを表す画像ベースイベント信号を生成する画像イベント判定部と、
前記画像ベースイベント信号に基づいて、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出するＲＯＩ情報生成部と、を含むことを特徴とする請求項９又は１０に記載の映像符号化装置。
【請求項１２】
前記解析画像信号は前記入力画像信号によって表される画像を表す信号であることを特徴とする請求項１〜１１のいずれか１に記載の映像符号化装置。
【請求項１３】
前記ＲＯＩ判定部は、前記解析画像信号を所定時間だけ遅延して受けることを特徴とする請求項１２に記載の映像符号化装置。
【請求項１４】
前記ＲＯＩ設定部は、
Ｎ（Ｎは１以上の整数）個のセンサが検知した検知結果を含むセンサ信号を受け、前記検知結果に基づきセンサ毎に前記センサに対応したイベントが生じたか否かを判定するセンサイベント判定部と、
予め前記センサ各々と対応付けしてＲＯＩが設定されており、前記イベントが生じていると判定された前記センサに対応付けされている前記ＲＯＩを表す情報を前記ＲＯＩ情報片として生成する第３のＲＯＩ情報生成部と、を含むことを特徴とする請求項１〜１３のいずれか１に記載の映像符号化装置。
【請求項１５】
前記センサ信号は前記Ｎ個のセンサ各々の設置位置を表すセンサ座標位置情報を含み、    前記第３のＲＯＩ情報生成部には、予め前記センサ各々の前記設置位置に対応付けして前記ＲＯＩが設定されており、前記イベントが生じていると判定された前記センサの前記設置位置に対応付けされている前記ＲＯＩを表す情報を前記ＲＯＩ情報片とすることを特徴とする請求項１４に記載の映像符号化装置。
【請求項１６】
前記ＲＯＩ設定部は、
Ｎ（Ｎは１以上の整数）個のセンサが検知した検知結果を含むセンサ信号を受け、前記検知結果に基づきセンサ毎に前記センサに対応したイベントが生じたか否かを判定するセンサイベント判定部と、
予め前記センサ各々と対応付けしてＲＯＩが設定されており、前記イベントが生じていると判定された前記センサに対応付けされている前記ＲＯＩを表す情報を前記ＲＯＩ情報片として生成する第３のＲＯＩ情報生成部と、を含み、
前記複数のイベントには、前記センサに対応した前記イベントが更に含まれることを特徴とする請求項９又は１０に記載の映像符号化装置。
【請求項１７】
前記ＲＯＩ設定部は、
前記センサのうちの少なくとも１つのセンサが正常状態にあるのか或いは異常状態にあるのかを監視し、前記異常状態にある前記センサに対応した前記イベントを前記複数のイベントのうちから省くことを特徴とする請求項１６に記載の映像符号化装置。
【請求項１８】
前記ＲＯＩ設定部は、
前記センサのうちの少なくとも１つのセンサが正常状態にあるのか或いは異常状態にあるのかを監視し、前記異常状態にある前記センサが存在する場合には前記ｎ個のＲＯＩ情報片を全て選出することを特徴とする請求項１〜１６のいずれか１に記載の映像符号化装置。
【請求項１９】
前記異常状態とは、前記センサを駆動する電池が電池切れとなる所定時間前の状態であり、
前記ＲＯＩ設定部は、前記センサが前記電池切れとなる所定時間前の時点で電池交換を促す警告信号を出力することを特徴とする請求項１７又は１８に記載の映像符号化装置。
【請求項２０】
前記ＲＯＩ設定部で選出された前記少なくとも１つのＲＯＩ情報片に基づき前記入力画像信号を生成するカメラの撮影視点を制御する視点制御部を含むことを特徴とする請求項１〜１９のいずれか１に記載の映像符号化装置。
【請求項２１】
前記ＲＯＩ情報片は、前記ピクチャ内でのＲＯＩの位置、サイズ及び向きを表し、
前記視点制御部は、前記撮影視点の制御としてパン、チルト又はズーム制御を行うことを特徴とする請求項２０に記載の映像符号化装置。
【請求項２２】
前記視点制御部は、前記ＲＯＩ設定部で選出された前記少なくとも１つのＲＯＩ情報片によって表されるＲＯＩのサイズを拡大して撮影させる前記ズーム制御を行うことを特徴とする請求項２１に記載の映像符号化装置。
【請求項２３】
前記視点制御部は、前記ＲＯＩ設定部において複数の前記ＲＯＩ情報片が選出された場合には、前記複数の前記ＲＯＩ情報片にて表される全てのＲＯＩが前記カメラの撮影フレーム内に含まれるように前記撮影視点を制御する、或いは前記全てのＲＯＩを順次、所定時間毎に前記撮影フレーム内に含まれるように前記撮影視点を制御することを特徴とする請求項２０〜２２のいずれか１に記載の映像符号化装置。
【請求項２４】
入力画像信号に圧縮符号処理を施してビットストリーム信号を生成する情報処理装置の制御部が実行する映像符号化プログラムであって、
ピクチャ内にｎ個（ｎは１以上の整数）のＲＯＩ(Region Of Interest)を設定し、前記ｎ個のＲＯＩを表すｎ個のＲＯＩ情報片のうちから少なくとも１つのＲＯＩ情報片を選出する第１のステップと、
前記入力画像信号、及び前記ＲＯＩ設定部で選出された前記少なくとも１つのＲＯＩ情報片を受け、前記入力画像信号に対して前記少なくとも１つＲＯＩ情報片に基づく圧縮符号化処理を施してビットストリーム信号を生成する第２のステップと、を含み、
前記第１のステップは、解析画像信号を受け、前記解析画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づき、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出することを特徴とする映像符号化プログラム。
【請求項２５】
入力される画像信号におけるピクチャ内にｎ個（ｎは１以上の整数）のＲＯＩ(Region Of Interest)を設定し、前記ｎ個のＲＯＩを表すｎ個のＲＯＩ情報片のうちから少なくとも１つのＲＯＩ情報片を選出するＲＯＩ設定部を有し、
当該ＲＯＩ設定部は、解析画像信号を受け、前記解析画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づき、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出し、当該選出されたＲＯＩ情報片を出力することを特徴とする情報処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号を符号化する映像符号化装置、映像符号化プログラム及び情報処理装置に関する。
【背景技術】
【０００２】
近年、監視カメラの普及は進み、さらなる高解像度化、高フレームレート化、多視点化が望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像のデータ量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。
【０００３】
この問題を緩和するため、動画像中から例えば「顔」が表示されている特定の領域をＲＯＩ（Region of Interest）として検出し、このＲＯＩに対して多くのビット数を割り当てて画像圧縮符号化処理を施すようにした画像処理装置が提案されている（例えば、特許文献１参照）。
【０００４】
当該画像処理装置では、符号量と映像品質を制御するパラメータをブロック毎に設定するという圧縮部の機能を利用して、ＲＯＩ以外の領域、つまり背景領域の情報量をＲＯＩの情報量よりも削減する。このように、かかる画像処理装置では、圧縮部に与えるパラメータを制御することにより符号量を削減している。
【０００５】
一方、例えば価格や互換性等の事情により、符号量と映像品質を制御するパラメータをブロック毎に設定するという機能を備えていない圧縮部を用いる場合には、上記したような方法で情報量の削減を図ることはできない。
【０００６】
そこで、圧縮部に依存せずに背景領域の情報量を削減する為に、背景領域に低域通過フィルタによるフィルタリング処理を施して高周波成分の情報を取り除くことで背景領域の情報量を削減するようにした画像符号化装置が提案されている（例えば、特許文献２参照）。この画像符号化装置では、低域通過フィルタによるフィルタリングにより、画像信号の情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−４９９７９号公報
【特許文献２】特開平４−２１９０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
とろこで、ユーザが所望とするＲＯＩは例えば撮影対象となるシーンやその状況に応じて多岐にわたる。よって、撮影された画像信号からＲＯＩを自動検出するにあたり、ユーザが所望とするＲＯＩが検出されない、或いは所望としていないＲＯＩが多数検出されてしまう場合があった。
【０００９】
このように、所望とするＲＯＩを安定して検出することが困難となることから画像全体を比較的高品質に圧縮符号化することが考えられるが、高品質な圧縮符号処理を行うと符号量の増大を招くという問題が生じる。
【００１０】
そこで、本発明は、符号量の増大を招くことなく、所望とするＲＯＩを精度良く検出することが可能な映像符号化装置、映像符号化プログラム及び情報処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る映像符号化装置は、入力画像信号に圧縮符号化処理を施してビットストリーム信号を生成する映像符号化装置であって、ピクチャ内にｎ個（ｎは１以上の整数）のＲＯＩ(Region Of Interest)を設定し、前記ｎ個のＲＯＩを表すｎ個のＲＯＩ情報片のうちから少なくとも１つのＲＯＩ情報片を選出するＲＯＩ設定部と、前記入力画像信号、及び前記ＲＯＩ設定部で選出された前記少なくとも１つのＲＯＩ情報片を受け、前記入力画像信号に対して前記少なくとも１つのＲＯＩ情報片に基づく圧縮符号化処理を施してビットストリーム信号を生成するエンコーダ部と、を有し、前記ＲＯＩ設定部は、解析画像信号を受け、前記解析画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づき、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出する。
【００１２】
本発明に係る映像符号化プログラムは、入力画像信号に圧縮符号処理を施してビットストリーム信号を生成する情報処理装置の制御部が実行する映像符号化プログラムであって、ピクチャ内にｎ個（ｎは１以上の整数）のＲＯＩ(Region Of Interest)を設定し、前記ｎ個のＲＯＩを表すｎ個のＲＯＩ情報片のうちから少なくとも１つのＲＯＩ情報片を選出する第１のステップと、前記入力画像信号、及び前記ＲＯＩ設定部で選出された前記少なくとも１つのＲＯＩ情報片を受け、前記入力画像信号に対して前記少なくとも１つＲＯＩ情報片に基づく圧縮符号化処理を施してビットストリーム信号を生成する第２のステップと、を含み、前記第１のステップは、解析画像信号を受け、前記解析画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づき、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出する。
【００１３】
本発明に係る情報処理装置は、入力される画像信号におけるピクチャ内にｎ個（ｎは１以上の整数）のＲＯＩ(Region Of Interest)を設定し、前記ｎ個のＲＯＩを表すｎ個のＲＯＩ情報片のうちから少なくとも１つのＲＯＩ情報片を選出するＲＯＩ設定部を有し、
当該ＲＯＩ設定部は、解析画像信号を受け、前記解析画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づき、前記ｎ個のＲＯＩ情報片のうちから前記少なくとも１つのＲＯＩ情報片を選出し、当該選出されたＲＯＩ情報片を出力する。
【発明の効果】
【００１４】
本発明では、画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づいて、複数のＲＯＩの候補のうちから有効となるＲＯＩを選出し、画像信号に対して当該選出したＲＯＩに基づく圧縮符号化処理を施す。
【００１５】
よって、本発明によれば、符号量の増大を招くことなく、ユーザが所望とするＲＯＩを精度良く検出することが可能となる。
【図面の簡単な説明】
【００１６】
【図１】第１の実施例による映像符号化装置Ｘ１の構成を示すブロック図である。
【図２】第１の実施例による映像符号化装置Ｘ１で実施される映像符号化処理を示すフロー図である。
【図３】オブジェクトベースＲＯＩ情報生成部１０２によるオブジェクトベースＲＯＩ情報Ｄ２の生成動作を説明する為の図である。
【図４】オブジェクトベースＲＯＩ情報生成部１０２によるオブジェクトベースＲＯＩ情報Ｄ２の生成動作を説明する為の図である。
【図５】ＲＯＩ情報生成部１０８の動作を説明する為の撮影シーンの一例を表す図である。
【図６】第２の実施例による映像符号化装置Ｘ１の構成を示すブロック図である。
【図７】センサ装置ＳＮを表す図である。
【図８】第２の実施例による映像符号化装置Ｘ１で実施される映像符号化処理を表すフロー図である。
【図９】ＲＯＩ情報生成部１０８ａの動作を説明する為の撮影シーンの一例を表す図である。
【図１０】第３の実施例による映像符号化装置Ｘ１の構成を示すブロック図である。
【図１１】判定条件更新処理を示すフロー図である。
【図１２】第４の実施例による映像符号化装置Ｘ１及び映像生成部Ｘ２を有する監視カメラシステムを示すブロック図である。
【図１３】視点制御処理のフロー図である。
【図１４】映像符号化処理をソフトウェアで実現する情報処理装置の構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
【実施例１】
【００１８】
図１は、本発明に係る第１の実施例による映像符号化装置Ｘ１の構成を示すブロック図である。
【００１９】
映像符号化装置Ｘ１は、入力画像信号としての符号化対象画像信号Ｅ１及び解析画像信号Ｅ２を受け、符号化対象画像信号Ｅ１に対して解析画像信号Ｅ２に基づく圧縮符号化処理を施して得られたビットストリーム信号Ｄ９を出力する。符号化対象画像信号Ｅ１及び解析画像信号Ｅ２は、ビデオカメラ等によって撮影して得られた、各画素の輝度を表す画素値の系列を含む動画像信号である。
【００２０】
尚、図１に示す構成では、符号化対象画像信号Ｅ１及び解析画像信号Ｅ２を異なる信号として表しているが、１台のビデオカメラによって撮影された動画像信号を符号化対象画像信号Ｅ１及び解析画像信号Ｅ２としても良い。すなわち、解析画像信号Ｅ２は符号化対象画像信号Ｅ１によって表される画像を表す信号であれば良い。
【００２１】
また、ビデオカメラによって撮影された動画像信号を符号化対象画像信号Ｅ１として映像符号化装置Ｘ１に供給し、このビデオカメラで撮影中の風景と同じ風景を赤外線カメラや深度センサで撮影して得た動画像信号を解析画像信号Ｅ２として映像符号化装置Ｘ１に供給しても良い。これにより、赤外線カメラや深度センサ等を用いた人物検出アルゴリズム等を画像解析に用いることが可能となる。
【００２２】
映像符号化装置Ｘ１は、図１に示すように、ＲＯＩ（Region of Interest）設定部Ｕ１及びエンコーダ部Ｕ４を含む。ＲＯＩ設定部Ｕ１は、画像処理部Ｕ２、固定ルールベースＲＯＩ情報生成部１０６、ＲＯＩ情報生成部１０８を含む。画像処理部Ｕ２は、画像解析部１０１、オブジェクトベースＲＯＩ情報生成部１０２、及び画像イベント判定部１０３を含む。エンコーダ部Ｕ４は、前処理部３０９Ａ及びエンコーダコア部３０９Ｂを含む。なお映像符号化装置Ｘ１を実現するうえで、ＲＯＩ設定部Ｕ１とエンコーダ部Ｕ４はそれぞれ独立した物品として設けられてもよい。例えば、ＲＯＩ設定部Ｕ１を構成する電子基板（あるいはモジュール等）とエンコーダ部Ｕ４を構成する電子基板（あるいはモジュール等）とが接続されることで映像符号化装置Ｘ１が実現されてもよい。
【００２３】
以下に、図２に示される映像符号化処理を表すフロー図に従って、図１に示す画像解析部１０１、オブジェクトベースＲＯＩ情報生成部１０２、画像イベント判定部１０３、固定ルールベースＲＯＩ情報生成部１０６、ＲＯＩ情報生成部１０８、及びエンコーダ部Ｕ４の動作について説明する。
【００２４】
先ず、画像解析部１０１が、解析画像信号Ｅ２を受け、当該解析画像信号Ｅ２に以下のような画像解析を施して解析情報Ｄ１を生成する（ステップＳ１０１）。
【００２５】
すなわち、画像解析部１０１は、解析画像信号Ｅ２によって表されるピクチャに含まれる、例えば、顔、頭部、車、ナンバープレート等のオブジェクトを検出する。そして、画像解析部１０１は、検出したオブジェクトの動き量(変化量) を解析する。オブジェクトの動き量(変化量)を解析するにあたり、画像解析部１０１は、ピクチャ内の例えば１６画素×１６画素からなる画像ブロック毎にオブジェクトの動き量を検出する。
【００２６】
ここで、画像解析部１０１において必要となる最小限の処理内容、並びに解析情報Ｄ１に含める最低限の情報の種類は、オブジェクトベースＲＯＩ情報生成部１０２の有無、画像イベント判定部１０３の有無によって決まる。画像解析部１０１において必要となる最小限の処理内容、並びに解析情報Ｄ１に含める最低限の情報の種類については、画像イベント判定部１０３においてどのようなイベントを検出するか等に依存する。
【００２７】
また、画像解析部１０１は、必要に応じて上記したオブジェクトに関する情報（種別、位置、サイズ、識別子、向き、動き量）と共に、解析画像信号Ｅ２や符号化対象画像信号Ｅ１等のような画像情報をも含む解析情報Ｄ１を生成しても良い。
【００２８】
画像解析部１０１は、上記のように検出したオブジェクトの種別、位置、サイズ、識別子、向き、及び当該オブジェクトの動き量(変化量)を表す情報を、解析情報Ｄ１としてオブジェクトベースＲＯＩ情報生成部１０２及び画像イベント判定部１０３に供給する。
【００２９】
次に、オブジェクトベースＲＯＩ情報生成部１０２が、解析情報Ｄ１に含まれるオブジェクトに関する情報（位置、サイズ、向き）に基づきＲＯＩを設定する。オブジェクトベースＲＯＩ情報生成部１０２は、設定したＲＯＩに関する情報（位置、サイズ、向き）を、ＲＯＩ情報の候補として含むオブジェクトベースＲＯＩ情報Ｄ２を生成する（ステップＳ１０２）。
【００３０】
例えば、オブジェクトベースＲＯＩ情報生成部１０２は、解析情報Ｄ１に含まれるオブジェクトの位置やサイズ、向きに関する情報に基づき、オブジェクトを含む領域の位置やサイズを変更する。例えば、オブジェクトの領域のサイズを所定率だけ拡大または縮小する、或いはオブジェクトの領域の位置を他の位置に移動する。そして、オブジェクトベースＲＯＩ情報生成部１０２は、この変更後の領域をＲＯＩとして設定し、その位置（座標）及びサイズを表すＲＯＩ情報片を含むオブジェクトベースＲＯＩ情報Ｄ２を生成する。
【００３１】
尚、オブジェクトベースＲＯＩ情報Ｄ２には、単一のＲＯＩ情報だけでなく、複数のＲＯＩ情報が含まれていても良い。
【００３２】
要するに、オブジェクトベースＲＯＩ情報Ｄ２は、解析画像信号Ｅ２におけるピクチャ内からオブジェクトを検出し、検出したオブジェクトに対応したＲＯＩを表す情報片を、ＲＯＩ情報片の候補として生成する。
【００３３】
以下に、図３及び図４を参照して、オブジェクトベースＲＯＩ情報生成部１０２でのオブジェクトベースＲＯＩ情報Ｄ２の生成動作について説明する。
【００３４】
図３は、検出対象とするオブジェクトを人の顔とし、その顔のサイズ及び位置に基づき人体の全体を含む領域をＲＯＩとして表すオブジェクトベースＲＯＩ情報Ｄ２を生成す際の動作を表す為の図である。
【００３５】
図３に示す一例によると、画像解析部１０１は、解析画像信号Ｅ２に基づき顔領域Ｐ４１の位置（座標）及びサイズを示す情報を少なくとも含む解析情報Ｄ１をオブジェクトベースＲＯＩ情報生成部１０２に供給する。
【００３６】
ここで、解析情報Ｄ１にて表される顔領域Ｐ４１の左上頂点Ｐ４３のｘ及びｙ座標、当該顔領域Ｐ４１の横幅及び高さを、夫々ｘｆ、ｙｆ、ｗｆ、ｈｆとする。更に、オブジェクトベースＲＯＩ情報Ｄ２によって表される画像領域Ｐ４２の左上頂点Ｐ４４のｘ及びｙ座標、当該画像領域Ｐ４２の横幅及び高さを、夫々ｘｏ、ｙｏ、ｗｏ、ｈｏとする。
【００３７】
オブジェクトベースＲＯＩ情報生成部１０２は、かかる解析情報Ｄ１に基づく以下の数式により、図３に示す画像領域Ｐ４２の位置とサイズを求める。
【００３８】
ｗｏ＝ｓ×ｗｆ
ｈｏ＝ｓ×ｈｆ
ｘｏ＝ｘｆ−（ｗｏ−ｗｆ）／２
ｙｏ＝ｙｆ−（ｈｏ−ｈｆ）／２
ｓ：スケールパラメータ
図４は、人が物の受け渡しをするシーンを想定し、且つ特定のオブジェクトを人の顔（横顔）として、その人の手元を含む上半身の領域をＲＯＩとして表すオブジェクトベースＲＯＩ情報Ｄ２を生成する際の動作を表す図である。
【００３９】
図４に示す一例によると、画像解析部１０１は、解析画像信号Ｅ２に基づき顔領域Ｐ５１の位置（座標）、サイズ、及び向きを示す情報を少なくとも含む解析情報Ｄ１を、オブジェクトベースＲＯＩ情報生成部１０２に供給する。
【００４０】
ここで、顔領域Ｐ５１の左上頂点Ｐ５４のｘ及びｙ座標、顔領域Ｐ５１の横幅、高さ及び向きを夫々ｘｆ、ｙｆ、ｗｆ、ｈｆとし、顔の向き（視線方向）Ｐ５２を表すベクトルの成分をｘｄ及びｙｄとする。更に、オブジェクトベースＲＯＩ情報Ｄ２にて表される画像領域Ｐ５３の左上頂点Ｐ５５のｘ及びｙ座標、画像領域Ｐ５３の横幅及び高さを夫々ｘｏ、ｙｏ、ｗｏ、ｈｏとする。
【００４１】
尚、上記したｘｄ及びｙｄについては、例えばｘｄ＝１のときは顔が右を向いていることを表し、ｘｄ＝−１のときは顔が左を向いていることを表す。また、ｘｄ＝０のときは左右への偏りがないことを表し、ｙｄ＝０のときは上下への偏りがないことを表す。更に、ｙｄ＝１のときには顔が下を向いていることを表し、ｙｄ＝−１のときは顔が上を向いていることを表すものとする。
【００４２】
オブジェクトベースＲＯＩ情報生成部１０２は、解析情報Ｄ１に基づく以下の数式により、図４に示す画像領域Ｐ５５の位置とサイズを求める。
【００４３】
ｗｏ＝ｓ×ｗｆ
ｈｏ＝ｓ×ｈｆ
ｘｏ＝ｘｆ＋ｘｄ×（ｗｏ−ｗｆ）／２
ｙｏ＝ｙｆ＋ｙｄ×（ｈｏ−ｈｆ）／２
ｓ：スケールパラメータ
すなわち、顔の向きを考慮することで、図４に示すように顔が左向きの場合、つまり、ｘｄ＝−１、ｙｄ＝０の場合、オブジェクトベースＲＯＩ情報Ｄ２にて表される画像領域Ｐ５３の横幅と高さが顔領域の横幅と高さよりも広がる。更に、当該画像領域Ｐ５３の左上頂点Ｐ５５の座標は、顔領域Ｐ５１の左上頂点Ｐ５４の座標よりも左側に寄ることになる。
【００４４】
これにより、オブジェクトベースＲＯＩ情報生成部１０２は、顔の向きに存在する物の受け渡しシーンを含む領域をＲＯＩとし、当該ＲＯＩの情報を表すオブジェクトベースＲＯＩ情報Ｄ２を生成する。
【００４５】
なお、上記した式は一例であり、例えば顔領域が重要ではない場合には、上式で求めた領域から顔領域を省いた領域をＲＯＩとして表すオブジェクトベースＲＯＩ情報Ｄ２を得ても良い。
【００４６】
ところで、このようにオブジェクトに関する情報から所望とするシーンを含む領域をＲＯＩとし、当該ＲＯＩに関する情報を含むオブジェクトベースＲＯＩ情報Ｄ２を生成する方法には種々のバリエーションが考えられる。この際、オブジェクトベースＲＯＩ情報Ｄ２に、ＲＯＩ算出の根拠となった情報（オブジェクトの識別子、種類、サイズ、位置、向き、画像から求めた特徴量等）を付帯情報として付加しても良い。また、オブジェクトベースＲＯＩ情報Ｄ２に、後述するＲＯＩと条件の対応付けに関する情報を付帯情報として付加しても良い。
【００４７】
オブジェクトベースＲＯＩ情報生成部１０２は、上記のように生成したオブジェクトベースＲＯＩ情報Ｄ２をＲＯＩ情報生成部１０８に供給する。
【００４８】
次に、画像イベント判定部１０３が、解析情報Ｄ１に基づき、ピクチャの所定領域内において、特定のオブジェクトが予め定義されている態様を表す少なくとも１つのイベントが生じている否かを判定する。画像イベント判定部１０３は、当該イベントが発生していると判定した場合には、このイベントの内容を表す画像ベースイベント信号Ｄ３を生成する（ステップＳ１０３）。
【００４９】
以下に、イベントの一例と、画像イベント判定部１０３によるイベントの判定方法について説明する。
【００５０】
［イベントＡ：人の異常行動の発生］
画像イベント判定部１０３は、ユーザインタフェースや作り込み等によって予め設定した所定の観察領域内で人の異常行動が生じていること（イベントＡ）を、解析情報Ｄ１に基づき、既存の異常行動検出アルゴリズムに従って判定する。
【００５１】
［イベントＢ：特定マーカーの存在］
画像イベント判定部１０３は、所定の観察領域内に特定のマーカーが存在すること（イベントＢ）を、解析情報Ｄ１に基づき、既存のマーカー検出アルゴリズムに従って判定する。
【００５２】
［イベントＣ：動き量が大きい特定オブジェクトの存在］
画像イベント判定部１０３は、所定の観察領域内に動き量が所定量よりも大きい特定のオブジェクトが存在すること（イベントＣ）を、解析情報Ｄ１に含まれる閾値を示す情報に基づき、当該閾値よりもその動き量が大きいか否かを比較することで判定する。尚、この検出方法は、オブジェクトを検出する際の簡易な検出方法の一例として用いられる。  
【００５３】
［イベントＤ：特定オブジェクトの存在］
画像イベント判定部１０３は、所定の観察領域内に特定のオブジェクトが存在すること（イベントＤ）を、解析情報Ｄ１に含まれる特定オブジェクトの位置やサイズに関する情報に基づいて判定する。
【００５４】
［イベントＥ：サイズが大きい特定オブジェクトの存在］
画像イベント判定部１０３は、所定の観察領域内にそのサイズが第１の閾値以上であり且つ第２の閾値未満となる大きなサイズの特定オブジェクトが存在すること（イベントＥ）を、解析情報Ｄ１に含まれる特定オブジェクトの位置やサイズに関する情報に基づいて判定する。
【００５５】
［イベントＦ：所定の方向範囲内の方向を向いている特定オブジェクトの存在］
画像イベント判定部１０３は、所定の観察領域内に、所定の方向範囲内の方角を向いている特定オブジェクトが存在すること（イベントＦ）を、解析情報Ｄ１に含まれる特定オブジェクトの位置やサイズ、向きに関する情報に基づいて判定する。
【００５６】
［イベントＧ：複数の特定オブジェクトの存在］
画像イベント判定部１０３は、所定の観察領域内に、特定オブジェクトが所定の閾値よりも多く存在すること（イベントＧ）を、解析情報Ｄ１に含まれる特定オブジェクトの位置やサイズに関する情報に基づいて判定する。
【００５７】
［イベントＨ：複数の特定オブジェクトが長期間に亘り存在］
画像イベント判定部１０３は、所定の観察領域内に、複数の同一の特定オブジェクトが所定期間よりも長い期間に亘り存在すること（イベントＨ）を、解析情報Ｄ１に含まれる特定オブジェクトの位置やサイズに関する情報に基づいて判定する。
【００５８】
なお、画像ベースイベント信号Ｄ３には、イベント判定の根拠となった情報として、例えばオブジェクトの識別子、種類、サイズ、位置、向き、画像から求めた特徴量、観察領域情報等が付帯情報として付加されても良い。また、観察領域は複数存在しても良いし、画像全体を含んでいても良い。
【００５９】
画像イベント判定部１０３は、例えば上記したようなイベントＡ〜Ｈのうちの少なくとも１つを表す画像ベースイベント信号Ｄ３をＲＯＩ情報生成部１０８に供給する。
【００６０】
上記した画像解析部１０１、オブジェクトベースＲＯＩ情報生成部１０２及び画像イベント判定部１０３を含む画像処理部Ｕ２は、解析画像信号Ｅ２に基づく画像を解析することにより、オブジェクトベースＲＯＩ情報Ｄ２及び画像ベースイベント信号Ｄ３を生成する。そして、画像処理部Ｕ２は、オブジェクトベースＲＯＩ情報Ｄ２及び画像ベースイベント信号Ｄ３をＲＯＩ情報生成部１０８に供給する。
【００６１】
次に、固定ルールベースＲＯＩ情報生成部１０６が、固定ルールベースＲＯＩ情報Ｄ６をＲＯＩ情報の候補として生成する（ステップＳ１０６）。尚、固定ルールベースＲＯＩ情報Ｄ６とは、例えば、所定のルールに従って設定した所定のＲＯＩの位置やサイズに関する情報である。例えば、固定ルールベースＲＯＩ情報生成部１０６は、ユーザインタフェースを介して指定された少なくとも１つのＲＯＩを保持し、この指定されたＲＯＩの位置及びサイズを表す固定ルールベースＲＯＩ情報Ｄ６を生成する。つまり、固定ルールベースＲＯＩ情報Ｄ６には、複数のＲＯＩ情報が含まれていても良い。
【００６２】
尚、固定ルールベースＲＯＩ情報生成部１０６は、固定ルールベースＲＯＩ情報Ｄ６によって表されるＲＯＩの位置を周期的に移動、或いはそのサイズを時間経過に伴い変化させても良い。なお、固定ルールベースＲＯＩ情報Ｄ６には、後述するＲＯＩと条件の対応付けに関する情報を付帯情報として付加しても良い。
【００６３】
固定ルールベースＲＯＩ情報生成部１０６は、上記のように生成した固定ルールベースＲＯＩ情報Ｄ６をＲＯＩ情報の候補としてＲＯＩ情報生成部１０８に供給する。
【００６４】
上記したように、オブジェクトベースＲＯＩ情報生成部１０２及び固定ルールベースＲＯＩ情報生成部１０６は、ｎ個（ｎは１以上の整数）のＲＯＩを設定し、これらｎ個のＲＯＩを表すｎ個のＲＯＩ情報片をＲＯＩ情報片の候補としてＲＯＩ情報生成部１０８に供給する。
【００６５】
次に、ＲＯＩ情報生成部１０８が、ＲＯＩ情報の候補としてのオブジェクトベースＲＯＩ情報Ｄ２及び固定ルールベースＲＯＩ情報Ｄ６に含まれる少なくとも１つのＲＯＩ情報片が有効であるか否かを、ＲＯＩに含まれる情報や画像ベースイベント信号Ｄ３等に基づいて判定する。そして、ＲＯＩ情報生成部１０８は、有効と判定したＲＯＩ情報片を表すＲＯＩ情報Ｄ８を生成する（ステップＳ１０８）。
【００６６】
以下に、ＲＯＩ情報生成部１０８の動作について詳細に説明する。
【００６７】
ＲＯＩ情報生成部１０８では、予め設定されている１つ又は複数の条件により、ＲＯＩ情報片に対する有効及び無効の判定が行われる。尚、各条件には夫々に対応した識別子（条件識別子）が付与されているものとする。
【００６８】
以下に条件の一例としての条件ａ〜ｄを示す。
【００６９】
条件ａは、特定の領域で互いに向かい合った人が存在する場合に両者の間の領域を有効なＲＯＩと判定する為の条件である。例えば、条件ａは、所定の観察領域内にオブジェクトが存在するというイベントと、オブジェクトのサイズが第１の閾値以上第２の閾値未満であるというイベントと、当該オブジェクトの向きが互いに向かいあった状態、つまり２つのオブジェクトの向きを表すベクトルの為す方角が所定の方向範囲内にあるというイベントと、が同時に生じることである。
【００７０】
条件ｂは、人の異常行動が生じている場合に、異常行動が発生している一帯（画面全体でも良い）を有効なＲＯＩと判定する為の条件である。例えば、条件ｂは、所定の観察領域内で人の異常行動が生じているというイベントと、当該観察領域内に着目しているＲＯＩが存在するというイベントとが同時に起こることである。また、条件ｂは、所定の観察領域内で人の異常行動が生じているというイベントと、当該観察領域内に、着目しているＲＯＩの算出根拠となるオブジェクトの識別子を有するオブジェクトが存在するというイベントと、が同時に起こることである。
【００７１】
条件ｃは、ＲＯＩが特定のサイズ以上である場合に、当該ＲＯＩを有効なＲＯＩと判定する為の条件である。例えば、条件ｃは、着目しているＲＯＩのサイズが第１の閾値以上第２の閾値未満となるイベントが生じている場合である。
【００７２】
条件ｄは、何らかの状態が発生している旨を例えばスタッフがシステムに通知し、その状態が生じている一帯（画面全体でも良い）を有効なＲＯＩと判定する為の条件である。例えば、条件ｄは、所定の観察領域内に、予め決めておいたマーカーが存在するというイベントが発生している場合である。
【００７３】
このように、オブジェクトに生じているイベント、或いはオブジェクトに生じている複数のイベントの組み合わせ（論理積、論理和）によって条件が構成される。尚、上記した条件ａ〜ｆは一例であり、例えば本例で示した条件の一部を用いても一定の効果は得られる。
【００７４】
ここで、各ＲＯＩが有効であるか否かの判定をどの条件を用いて行うのかを決定する為に、ＲＯＩと条件との対応付けが予め設定されていても良い。このＲＯＩと条件との対応付けによれば、１つ以上ある条件に対して、実際に条件を用いるのか、或いはいずれの条件を用いて判定を行うのかを特定することができる。
【００７５】
例えば、オブジェクトベースＲＯＩ情報生成部１０２や固定ルールベースＲＯＩ情報生成部１０６において、
Ａ）各ＲＯＩに判定の有無を判定するためのフラグを付与。
【００７６】
Ｂ）各ＲＯＩに条件識別子を付与。
【００７７】
Ｃ）各ＲＯＩにＲＯＩを識別するための識別子（ＲＯＩ識別子）または種別を意味するタイプ（ＲＯＩタイプ）等を付与。
【００７８】
なる対応Ａ〜Ｃのうちのいずれか１つ或いは組み合わせにより、予めＲＯＩと条件の対応付けに関する情報を設定する。この際、ＲＯＩと条件との対応付けを予め設定するにあたり、どのようにＲＯＩと条件とを対応付けするかにより、ＲＯＩ情報生成部１０８の動作が決まる。
【００７９】
以下に、ＲＯＩ情報生成部１０８の動作例を示す。尚、ＲＯＩ情報生成部１０８は、以下に示す動作例を組み合わせて実行しても良い。
【００８０】
［ＲＯＩと条件との対応付けを設定しない場合］
条件が単数である場合に限定され、ＲＯＩ情報生成部１０８は、全てのＲＯＩに対して条件に基づく判定、つまりＲＯＩが有効であるか否かの判定を行い、有効であると判定した場合に当該ＲＯＩを有効とする。
【００８１】
［対応Ａ）を採用した場合］
判定の有無を判定するためのフラグが「判定の実行」を意味しているＲＯＩについては、ＲＯＩ情報生成部１０８は、条件に基づく判定、つまりＲＯＩが有効であるか否かを判定し、有効であると判定した場合に当該ＲＯＩを有効とする。一方、「判定の実行」を意味しないＲＯＩに対しては、ＲＯＩ情報生成部１０８は、有効及び無効のいずれと判定しても良く、撮影シーンに応じて適宜、有効又は無効と判定しても良い。
【００８２】
［対応Ｂ）を採用した場合］
ＲＯＩ情報生成部１０８は、ＲＯＩに付与された条件識別子に対応する条件に基づく判定、つまりＲＯＩが有効であるか否かを判定し、有効と判定した場合に当該ＲＯＩを有効とする。尚、条件識別子が付与されていないＲＯＩを許容する場合には、この条件識別子が付与されていないＲＯＩに対しては、ＲＯＩ情報生成部１０８は、有効及び無効のいずれと判定しても良く、撮影シーンに応じて適宜、有効又は無効と判定しても良い。尚、ＲＯＩに付与する条件識別子は単一又は複数であっても良く、条件識別子が複数の場合、例えば、少なくとも１つが有効を示すときに有効と見做しても良い。
【００８３】
［対応Ｃ）を採用した場合］
予めＲＯＩ識別子又はＲＯＩタイプ等に１つ以上の条件識別子を紐づけておく。ＲＯＩ情報生成部１０８は、ＲＯＩに付与されたＲＯＩ識別子またはＲＯＩタイプに紐づけられた条件識別子に対応する条件に基づく判定、つまりＲＯＩが有効であるか否かを判定する。この際、有効であると判定した場合、ＲＯＩ情報生成部１０８は、当該ＲＯＩを有効とする。また、条件識別子が紐づいていないＲＯＩ識別子またはＲＯＩタイプの存在や、ＲＯＩ識別子やＲＯＩタイプの付与されていないＲＯＩを許容する場合、ＲＯＩ情報生成部１０８は、ＲＯＩに対しては有効及び無効のいずれと判定しても良い。
【００８４】
また、この際、ＲＯＩ情報生成部１０８は、撮影シーンに応じて適宜、有効又は無効と判定しても良い。尚、ＲＯＩ識別子またはＲＯＩタイプ等に紐づけられた条件識別子が複数の場合には、例えば、少なくとも１つの条件識別子が有効を示すとき有効と見做しても良い。
【００８５】
図５は、典型的な撮影シーンの一例を示す図である。この一例では、例えばカウンタＣＮを備えた店舗等において、このカウンタＣＮを介して店員が客と応対しているシーンを示している。ここで、監視用のビデオカメラ等により、図５に示すようにカウンタＣＮを介して互いに倚子ＣＨに座った状態で対面する２人の人物を含む領域が撮影される。ビデオカメラで撮影された動画像信号が符号化対象画像信号Ｅ１及び解析画像信号Ｅ２として、映像符号化装置Ｘ１に供給される。
【００８６】
解析画像信号Ｅ２に基づき、映像符号化装置Ｘ１の画像処理部Ｕ２は、オブジェクトとしての例えば図５に示す顔領域Ｐ６２を拡大した領域を観察領域Ｐ６１とする。そして、画像処理部Ｕ２は、当該観察領域Ｐ６１の各々と、観察領域Ｐ６１同士に挟まれた領域Ｐ６４とをＲＯＩとし、夫々の位置及びサイズを表すオブジェクトベースＲＯＩ情報Ｄ２をＲＯＩ情報生成部１０８に供給する。
【００８７】
更に、画像処理部Ｕ２は、当該解析画像信号Ｅ２に基づき、上記したイベントＤ〜Ｆが発生していると判定し、そのイベントＤ〜Ｆを表す画像ベースイベント信号Ｄ３をＲＯＩ情報生成部１０８に供給する。
【００８８】
ここで、図５に示されるシーンを監視している監視カメラシステムでは、例えば店員と客との間での物品や書類の受け渡しの場面は監視上において重要である。よって、図５に示すカウンタＣＮの上面を含む領域Ｐ６４をＲＯＩとみなして圧縮処理を行うことが望まれる。
【００８９】
この際、ＲＯＩ情報生成部１０８は、画像ベースイベント信号Ｄ３が以下に示すイベントＤ〜Ｆを示す場合、つまりイベントＤ、Ｅ及びＦが全て生じるという条件を満たすときに、図５に示す領域Ｐ６４を有効なＲＯＩとして判定する。そして、ＲＯＩ情報生成部１０８は、領域Ｐ６４をＲＯＩとし、その位置及びサイズを表すＲＯＩ情報Ｄ８をエンコーダ部Ｕ４に供給する。
【００９０】
イベントＤ：カウンタＣＮを挟む２つの椅子ＣＨの背もたれ上部の付近に夫々設定される２つの観察領域Ｐ６１の各々内に特定のオブジェクト（人の顔）が存在する。
【００９１】
イベントＥ：２つの観察領域Ｐ６１の各々内に存在する特定のオブジェクトのサイズが第１の閾値以上第２の閾値未満である。
【００９２】
イベントＦ：２つの観察領域Ｐ６１の各々内に存在する特定のオブジェクト（人の顔）の向きＰ６３が対面を表している。
【００９３】
尚、図５では、カウンタＣＮ越しの２人が対面しているシーンを一例として示すが、同様な考え方で人の数が１人の場合にも適用可能である。例えば情報端末の操作者、つまり情報端末と対面している人が存在するシーンにおいて、操作者の顔（操作者の特定）や操作者の手元（操作内容）をＲＯＩとして記録する監視カメラシステムを構築することができる。
【００９４】
ここで、ＲＯＩ情報の候補に付帯情報が付与されている場合には、ＲＯＩ情報Ｄ８にもこの付帯情報を付与しても良い。また、ＲＯＩ情報Ｄ８には、複数のＲＯＩ情報が含まれていても良い。
【００９５】
以上のように、ＲＯＩ情報生成部１０８は、解析画像信号Ｅ２に基づくピクチャ内に含まれる特定のオブジェクト（例えば人の顔）における、上記した条件によって表される態様に基づき、複数のＲＯＩ情報片の候補（Ｄ２、Ｄ６）のうちから少なくとも１つのＲＯＩ情報片を選出する。尚、特定のオブジェクトの態様とは、前述したように、例えば上記したイベントＡ〜Ｈを含む複数のイベントのうちで、特定のオブジェクトに生じている１つのイベントで表される態様、或いは同時に生じた複数のイベントの組み合わせで表される態様である。そして、ＲＯＩ情報生成部１０８は、選出した少なくとも１つのＲＯＩ情報片を表すＲＯＩ情報Ｄ８をエンコーダ部Ｕ４に供給する。
【００９６】
次に、エンコーダ部Ｕ４が、ＲＯＩ情報Ｄ８に基づき、符号化対象画像Ｅ１に対して圧縮符号化処理を施してビットストリームＤ９を生成する（ステップＳ１０９）。エンコーダ部Ｕ４は、前処理部３０９Ａ及びエンコーダコア部３０９Ｂを含む。
【００９７】
前処理部３０９Ａは、ＲＯＩ情報Ｄ８及び符号化対象画像信号Ｅ１を受ける。前処理部３０９Ａは、ＲＯＩ情報Ｄ８に基づき、符号化対象画像信号Ｅ１に対して以下のような前処理を施すことにより、その画像品質を制御する。
【００９８】
すなわち、前処理部３０９Ａは、符号化対象画像信号Ｅ１に含まれる画素値の系列に対して、ＲＯＩ情報Ｄ８に基づきＲＯＩ以外の領域（以下、背景領域又は非ＲＯＩと称する）に該当すると判定された画素値には、ＲＯＩに該当すると判定された画素値に比べて少ない符号量となるような符号化処理を施す。かかる符号化処理は、例えばガウシアンフィルタ等を用いて符号化対象画像信号Ｅ１を畳み込むことによって、この符号化対象画像信号Ｅ１の高周波成分を抑圧する処理である。
【００９９】
前処理部３０９Ａは、符号化対象画像信号Ｅ１に上記のような前処理を施して得られた前処理画像信号をエンコーダコア部３０９Ｂに供給する。前処理部３０９Ａにより、ＲＯＩを含むピクチャに対しては画像品質を抑えて符号量の削減を図るという、画像品質の制御が為される。
【０１００】
エンコーダコア部３０９Ｂは、前処理画像信号に対して圧縮符号化処理を施して得られたエレメンタリーストリーム信号を含むビットストリーム信号Ｄ９を生成する。尚、かかる圧縮符号化処理で採用する画像符号方式は、例えばＨ．２６４／ＭＰＥＧ（Moving Picture Experts Group）−４  ＡＶＣ（Advanced Video Coding）或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（High Efficiency Video Coding）などである。
【０１０１】
尚、エンコーダ部Ｕ４は、図１に示す構成に限定されない。例えば、エンコーダ部Ｕ４としては、符号量と映像品質を制御するパラメータをブロック毎に設定するもの、或いは低域通過フィルタによって高周波成分の情報を取り除くことでピクチャ内の非ＲＯＩの情報量を削減するものを採用しても良い。
【０１０２】
また、エンコーダ部Ｕ４では、非ＲＯＩに該当する全ての画像ブロックの画素値を所定の輝度値（例えば最大輝度の１／２の輝度値）に置き換えても良い。また、エンコード部Ｕ４としては、ＲＯＩ情報Ｄ８に基づき、ＲＯＩを含むピクチャに対しては高画質で画像を圧縮し、ＲＯＩを全く含まないピクチャについては、新しいピクチャに対する圧縮を実施しないようにする機能を備えたものでも良い。
【０１０３】
要するに、エンコード部Ｕ４は、ＲＯＩ情報Ｄ８に基づき、ＲＯＩを含むピクチャに対しては高画質に圧縮する一方、ＲＯＩを含まないピクチャに対しては低画質に圧縮する機能を備えたものであれば良い。
【０１０４】
また、図１の構成としては、画像処理部Ｕ２がオブジェクトベースＲＯＩ情報Ｄ２及び画像ベースイベント信号Ｄ３のうちのＤ２のみを出力し、ＲＯＩ情報生成部１０８が当該オブジェクトベースＲＯＩ情報Ｄ２をＲＯＩ情報Ｄ８として出力する構成であっても、検出が難しい領域をＲＯＩとして設定することが可能である。この場合、ＲＯＩ設定部Ｕ１に固定ルールベースＲＯＩ情報生成部１０６が含まれていなくても同様な効果が得られる。要するに、オブジェクトベースＲＯＩ情報生成部１０２で生成されたオブジェクトベースＲＯＩ情報Ｄ２が常にＲＯＩ情報Ｄ８として、エンコーダ部Ｕ４に供給される構成であっても一定の効果が得られるのである。
【０１０５】
尚、画像処理部Ｕ２がオブジェクトベースＲＯＩ情報Ｄ２を常に出力する場合には、ステップＳ１０３及びＳ１０６、つまり画像イベント判定部１０３及び固定ルールベースＲＯＩ情報生成部１０６が不要となる。
【０１０６】
同様に、画像処理部Ｕ２が画像ベースイベント信号Ｄ３のみを常に出力し、ＲＯＩ情報生成部１０８が、固定ルールベースＲＯＩ情報Ｄ６に含まれる各ＲＯＩが有効であるか否かを、画像ベースイベント信号Ｄ３に基づき判定する構成であっても、検出が難しい領域をＲＯＩにできるという効果を一定程度得ることはできる。この際、ステップＳ１０２、つまりオブジェクトベースＲＯＩ情報生成部１０２が不要となる。同様に、ＲＯＩ情報生成部１０８が、イベントに拘わらず各ＲＯＩに含まれる情報のみに基づき各ＲＯＩが有効であるか否かを判定する場合には、ステップＳ１０３、つまりは画像イベント判定部１０３が不要となる。
【０１０７】
また、上記した実施例では、ＲＯＩ情報生成部１０８は、画像ベースイベント信号Ｄ３に基づき、オブジェクトベースＲＯＩ情報Ｄ２や固定ルールベースＲＯＩ情報Ｄ６に含まれる各ＲＯＩが有効であるか否かを判定し、有効と判定されたＲＯＩの情報を示すＲＯＩ情報Ｄ８を生成するようにしている。
【０１０８】
しかしながら、上記した判定を、オブジェクトベースＲＯＩ情報Ｄ２や固定ルールベースＲＯＩ情報Ｄ６に含まれる各ＲＯＩに含まれる情報に基づいて行っても良い。つまり、ＲＯＩ情報生成部１０８は、ＲＯＩに含まれる情報により前述した特定オブジェクトの態様を求め、その態様に基づいて複数のＲＯＩ情報片のうちから少なくとも１つを有効なＲＯＩ情報片として選出し、選出したＲＯＩ情報片を表すＲＯＩ情報Ｄ８を生成するのである。
【０１０９】
尚、このような方法で、オブジェクトベースＲＯＩ情報Ｄ２や固定ルールベースＲＯＩ情報Ｄ６に含まれる各ＲＯＩが有効であるか否かを判定する場合、画像イベント判定部１０３を省いても良い。
【０１１０】
また、図２の動作例に示した処理の順序はあくまで一例であり、例えばステップＳ１０２、Ｓ１０３及びＳ１０６については並行して実施しても良い。
【０１１１】
要するに、入力画像信号としての符号対象画像信号Ｅ１に圧縮符号化処理を施してビットストリーム信号を生成する映像符号化装置Ｘ１としては、以下の動作を行うＲＯＩ設定部Ｕ１及びエンコーダ部Ｕ４を含むものであれば良い。
【０１１２】
ＲＯＩ設定部Ｕ１は、ピクチャ内にｎ個（ｎは１以上の整数）のＲＯＩを設定し、各ＲＯＩに対応したｎ個のＲＯＩ情報片（Ｄ２、Ｄ６）のうちから少なくとも１つのＲＯＩ情報片（Ｄ８）を選出する。すなわち、ＲＯＩ設定部Ｕ１は、解析画像信号Ｅ２におけるピクチャ内に含まれる特定のオブジェクトの態様（例えば上記したイベントＡ〜Ｈのうちの１つのイベント又は複数のイベントの組み合わせで表される態様）に基づき、ｎ個のＲＯＩ情報片のうちから少なくとも１つのＲＯＩ情報片を選出する。
【０１１３】
エンコーダ部Ｕ４は、ＲＯＩ設定部Ｕ１で選出されたＲＯＩ情報片（Ｄ８）を受け、入力画像信号としての符号化対象画像信号Ｅ１に対して当該ＲＯＩ情報片に基づく圧縮符号化処理を施してビットストリーム信号Ｄ９を生成する。
【０１１４】
以上のように、図１に示す映像符号化装置Ｘ１では、画像信号におけるピクチャ内に含まれる特定のオブジェクトの態様に基づいて、複数のＲＯＩの候補のうちから有効となるＲＯＩを選出している。
【０１１５】
よって、ユーザが所望とするＲＯＩを安定して自動検出が困難となるシーンに対しても確実にＲＯＩの検出ができるようになるので、ＲＯＩに対する圧縮符号化の応用範囲が広がるとともに、符号量の削減を図ることが可能となる。
【実施例２】
【０１１６】
図６は、本発明に係る第２の実施例による映像符号化装置Ｘ１の構成を示すブロック図である。尚、図６に示す構成では、センサ処理部Ｕ３を新たに加え、ＲＯＩ情報生成部１０８に代えてＲＯＩ情報生成部１０８ａを採用した点を除く他の構成は、図１に示されるものと同一である。また図１に説明される映像符号化装置Ｘ１と同様に、ＲＯＩ設定部Ｕ１とエンコーダ部Ｕ４はそれぞれ独立した物品として設けられてもよい。よって、以下に、センサ処理部Ｕ３及びＲＯＩ情報生成部１０８ａを中心に、図６に示す構成を有する映像符号化装置Ｘ１の動作を説明する。
【０１１７】
センサ処理部Ｕ３は、センサベースＲＯＩ情報生成部２０４及びセンサイベント判定部２０５を含み、図７に示すセンサ装置ＳＮから出力されたセンサ信号Ｅ３を受ける。
【０１１８】
センサ装置ＳＮは、Ｎ個（Ｎは１以上の整数）のセンサを含む。センサ装置ＳＮは、Ｎ個のセンサ各々の検知結果、及び各センサの設置位置を示す座標情報（例えばワールド座標系で定義された３次元座標）を重畳したセンサ信号Ｅ３をセンサ処理部Ｕ３に供給する。
【０１１９】
尚、各センサの設置位置を表す座標情報（以下、センサ座標情報と称する）は、例えばセンサ装置ＳＮの外部からユーザが各センサの識別子と対応付けした形態で入力する。或いは、各センサにＧＰＳセンサを付加し、この付加したＧＰＳセンサによって検出された現在位置情報を上記センサ座標情報としても良い。
【０１２０】
センサ装置ＳＮには例えば以下のセンサが含まれている。
【０１２１】
ａ．椅子に着座しているか否かを検知する着座センサ
ｂ．建築物のフロアに設置し、フロアに人が存在するか否かを検出するフロアセンサ
ｃ．人感センサ
ｄ．ドアや引き出し等の開閉検知センサ
ｅ．加速度センサ
ｆ．ジャイロセンサ
ｇ．ＧＰＳセンサや、現在位置（ワールド座標系で定義された３次元座標）を検出（手入力を含む）する位置情報源等からなる位置センサ
ｈ．温度湿度センサ
ｉ．例えば緊急時やシャッターチャンスであることを通知する為のボタン
ｊ．環境音を集音するマイク
ｋ．撮影結果から人の有無等の解析結果を通知するカメラ
ｌ．コンピュータの使用状態を監視する監視センサ
ここで、センサ装置ＳＮが２個以上のセンサを含む場合には、センサ信号Ｅ３は、センサ装置ＳＮに含まれる複数のセンサに夫々対応したＮ個の信号であっても良い。また、センサ装置ＳＮ及び映像符号化装置Ｘ１間のセンサ信号Ｅ３の伝送は有線及び無線のいずれであっても良い。この際、センサ装置ＳＮが複数のセンサを含む場合には、有線と無線が混在していても良い。例えば、センサ装置ＳＮが２つのセンサを含む場合、第１のセンサの出力を有線で映像符号化装置Ｘ１に供給し、第２のセンサの出力を無線で映像符号化装置Ｘ１に供給する。
【０１２２】
センサベースＲＯＩ情報生成部２０４は、上記したセンサ信号Ｅ３に基づき、センサベースＲＯＩ情報Ｄ４を生成する。センサベースＲＯＩ情報生成部２０４は、センサイベント判定部２０５でセンサに対応したイベントが発生していると判定されたときに、センサベースＲＯＩ情報Ｄ４をＲＯＩ情報生成部１０８ａに供給する。
【０１２３】
センサイベント判定部２０５は、センサ信号Ｅ３からセンサ毎の検知結果を抽出し、各センサの検知結果に基づき、そのセンサに対応したイベントが発生しているか否かを判定する。センサイベント判定部２０５は、イベントが発生していると判定した場合にはそのイベントの内容を表すセンサベースイベント信号Ｄ５を生成する。
【０１２４】
センサイベント判定部２０５は、センサベースイベント信号Ｄ５をＲＯＩ情報生成部１０８ａに供給する。
【０１２５】
ＲＯＩ情報生成部１０８ａは、オブジェクトベースＲＯＩ情報Ｄ２、センサベースＯＩ情報Ｄ４、固定ルールベースＲＯＩ情報Ｄ６に含まれるＲＯＩの各々が有効であるか否かを、画像ベースイベント信号Ｄ３及びセンサベースイベント信号Ｄ５に基づいて判定する。そして、ＲＯＩ情報生成部１０８ａは、有効であると判定したＲＯＩの位置及びサイズを表す情報をＲＯＩ情報Ｄ８として生成する。すなわち、図６に示す構成では、オブジェクトベースＲＯＩ情報Ｄ２、センサベースＲＯＩ情報Ｄ４、及び固定ルールベースＲＯＩ情報Ｄ６がＲＯＩ情報の候補となる。
【０１２６】
以下に、図８に示される映像符号化処理を表すフロー図に従って、図６に示す構成の内部動作について詳細に説明する。尚、図８に示すステップＳ１０１〜Ｓ１０３、Ｓ１０６５、及びＳ１０９については、図２で説明したものと同一であるのでその説明は省略する。
【０１２７】
図８に示すステップＳ１０１〜Ｓ１０３の終了後、センサ処理部Ｕ３のセンサベースＲＯＩ情報生成部２０４が、センサ信号Ｅ３に基づき以下の方法でセンサベースＲＯＩ情報Ｄ４を生成する（ステップＳ２０４）。
【０１２８】
センサベースＲＯＩ情報生成部２０４には、ユーザが所望とする少なくとも１つのＲＯＩに関するＲＯＩ情報と、上記したセンサ座標情報によって表される各センサの設置位置とが対応付けして設定される。
【０１２９】
センサベースＲＯＩ情報生成部２０４は、センサ信号Ｅ３に基づきイベントが発生していると判定したときに、センサ信号Ｅ３に含まれるセンサ座標情報中から、このイベントに対応したセンサの設置位置を抽出する。そして、センサベースＲＯＩ情報生成部２０４は、当該センサの設置位置に対応付けされているＲＯＩ情報（位置、サイズ）をセンサベースＲＯＩ情報Ｄ４として生成する。
【０１３０】
尚、センサ座標情報によって表される各センサの設置位置と、ユーザが所望とするＲＯＩ情報との対応関係は、ルックアップテーブルとして予め用意しても良いし、関数で表しても良い。関数として両者の対応関係を表す場合、例えばカメラキャリブレーションの分野で公知の内部パラメータと外部パラメータを使用した行列演算（透視投影変換）等を用いる。これにより、センサ信号Ｅ３に含まれるセンサ座標情報から、ＲＯＩ情報（画像内の位置、サイズ）を求める。
【０１３１】
ところで、ＲＯＩ情報で表される座標は画像内の位置とサイズを伴っている。これにより、１地点の座標しか取得できない例えば単一のＧＰＳセンサでセンサ座標情報が設定されていると、関数で前述の対応関係を表す為には、当該センサ座標情報を画像内の位置とサイズを伴った空間の情報に拡張する必要がある。
【０１３２】
そこで、例えばセンサ座標情報に対応する空間のサイズを予め定めておき、当該空間のサイズを有し且つ当該センサ座標情報が表す座標を所定の規則に従って含む、例えば当該座標を中心とするような空間を求める。このような方法で空間を表す情報を求めることにより情報の拡張をおこなう。
【０１３３】
そして、この空間の情報から符号化対象画像信号Ｅ１に基づくピクチャ内に表れるＲＯＩの情報（２次元座標）を、例えば前述した行列演算（透視投影変換）によって算出する。
【０１３４】
尚、本実施例では、センサベースＲＯＩ情報生成部２０４は、センサ座標情報に基づきセンサベースＲＯＩ情報Ｄ４を生成している。しかしながら、このセンサ座標情報に、例えばセンサがセンシングを行う向きや、当該センサが移動したことを想定した進行方向を表す情報を加えてＲＯＩの位置やサイズを変更し、その変更後のＲＯＩに関する情報をセンサベースＲＯＩ情報Ｄ４としても良い。
【０１３５】
つまり、図２に示すステップＳ１０２での処理と同様に、ＲＯＩのサイズを拡大または縮小、或いはＲＯＩの位置を移動してＲＯＩを変更し、その変更後のＲＯＩに関するＲＯＩ情報（位置、サイズ）を生成する。
【０１３６】
また、センサベースＲＯＩ情報Ｄ４に、ＲＯＩ算出の根拠となった情報、つまりセンサ信号Ｅ３に含まれるセンサの識別子、センサ座標情報と共に、センサ信号Ｅ３自体を、付帯情報として付加しても良い。また、センサベースＲＯＩ情報Ｄ４に、前述のＲＯＩと各条件との対応付けに関する情報を付帯情報として付加しても良い。また、センサベースＲＯＩ情報Ｄ４には、１つだけではなく複数のＲＯＩに夫々に対応したＲＯＩ情報が含まれていても良い。
【０１３７】
センサベースＲＯＩ情報生成部２０４は、上述したように生成したセンサベースＲＯＩ情報Ｄ４をＲＯＩ情報生成部１０８ａに供給する。
【０１３８】
次に、センサイベント判定部２０５が、センサ信号Ｅ３に基づき、センサ装置ＳＮに含まれているセンサ毎に、そのセンサに対応したイベントが発生したか否かを判定する。センサイベント判定部２０５、イベントが発生したと判定した場合にはそのイベントの内容を表すセンサベースイベント信号Ｄ５を生成する（ステップＳ２０５）。
【０１３９】
以下に、各センサと、そのセンサに対応したイベントの内容との対応関係の一例を示す。
［着座センサ、フロアセンサ、人感センサ、カメラ］
人の存在の検知。
［ドア又は引出の開閉検知センサ］
ドア又は引出の開扉（閉扉）、或いはドア又は引出の所定期間に亘る開扉。
［加速度センサ、ジャイロセンサ］
閾値以上（以下あるいは未満）の動きがある物体の登場。
［温湿度センサ］
閾値以上（以下あるいは未満）の温度、湿度の検出。
［ボタン］
オン（オフ）の切替え。
［マイク］
集音した音の音圧（音量）が閾値以上（以下あるいは未満）となる、又は一定時間に亘りその音圧（音量）が閾値以上（以下あるいは未満）となる状態。
［コンピュータの使用状態監視センサ］
電源オン又は電源オフ。
【０１４０】
尚、上記したイベントの検知例の他にも、例えばセンサ信号Ｅ３のレベルが一定周期で変化する場合にイベントの検知と見做すようなシステムであっても良い。また、センサベースイベント信号Ｄ５には、イベント判定の根拠となった情報、つまりセンサ信号Ｅ３に含まれるセンサ識別子、センサ座標情報、センサ信号Ｅ３自体を付帯情報として付加しても良い。
【０１４１】
センサイベント判定部２０５は、発生したイベントを表すセンサベースイベント信号Ｄ５をＲＯＩ情報生成部１０８ａに供給する。
【０１４２】
次に、前述したように、固定ルールベースＲＯＩ情報生成部１０６が固定ルールベースＲＯＩ情報Ｄ６を生成し（ステップＳ１０６）、これをＲＯＩ情報生成部１０８ａに供給する。
【０１４３】
次に、ＲＯＩ情報生成部１０８ａが、各ＲＯＩに含まれる情報や、画像ベースイベント信号Ｄ３、センサベースイベント信号Ｄ５等に基づき、オブジェクトベースＲＯＩ情報Ｄ２、センサベースＲＯＩ情報Ｄ４及び固定ルールベースＲＯＩ情報Ｄ６に含まれる各ＲＯＩが有効であるか否かを判定する。そして、ＲＯＩ情報生成部１０８ａは、有効と判定したＲＯＩに関する情報（位置、サイズ）をＲＯＩ情報Ｄ８として生成する（ステップＳ１０８）。
【０１４４】
つまり、ＲＯＩ情報生成部１０８ａは、前述したＲＯＩ情報生成部１０８においてＲＯＩ情報の候補となるオブジェクトベースＲＯＩ情報Ｄ２及び固定ルールベースＲＯＩ情報Ｄ６に、センサベースＲＯＩ情報Ｄ４を加えたものをＲＯＩ情報の候補とする。
【０１４５】
図９は、ＲＯＩ情報生成部１０８ａの動作を説明する為の撮影シーンの一例を表す図である。図９に示す一例では、カウンタＣＮを介して、互いに倚子ＣＨに座った状態で対面する２人の人物を含む領域が監視用のビデオカメラ等で撮影される。このビデオカメラで撮影された動画像信号が符号化対象画像信号Ｅ１及び解析画像信号Ｅ２として、図６に示す映像符号化装置Ｘ１に供給される。尚、図９に示すように、２つの倚子ＣＨの座面には、センサ装置ＳＮに含まれている着座センサＰ９４及びＰ９５が設置されている。
【０１４６】
よって、図９に示すように２人の人物が倚子ＣＨに着座すると、着座センサＰ９４及びＰ９５が人の存在を検知したことを表す情報と、着座センサＰ９４及びＰ９５各々の設置位置を示すセンサ座標情報と、を含むセンサ信号Ｅ３が、センサベースＲＯＩ情報生成部２０４及びセンサイベント判定部２０５に供給される。
【０１４７】
この際、センサベースＲＯＩ情報生成部２０４は、かかるセンサ信号Ｅ３に基づき、図９に示すように着座センサＰ９４及びＰ９５各々の設置位置の上方に予め設定してある観察領域Ｐ９１の各々をＲＯＩとし、当該ＲＯＩの各々を表すセンサベースＲＯＩ情報Ｄ４を、ＲＯＩ情報生成部１０８ａに供給する。
【０１４８】
センサイベント判定部２０５は、センサ信号Ｅ３に基づき、着座センサＰ９４が人の存在を検知するというイベントａ、及び着座センサＰ９５が人の存在を検知するというイベントｂを夫々表すセンサベースイベント信号Ｄ５をＲＯＩ情報生成部１０８ａに供給する。
【０１４９】
画像処理部Ｕ２は、解析画像信号Ｅ２に基づき、特定のオブジェクトとしての例えば図９に示す顔領域Ｐ９２を拡大した領域を観察領域Ｐ９１とする。そして、画像処理部Ｕ２は、当該観察領域Ｐ９１の各々と、観察領域Ｐ９１同士に挟まれた領域Ｐ９６とをＲＯＩとし、夫々の位置及びサイズを表すオブジェクトベースＲＯＩ情報Ｄ２をＲＯＩ情報生成部１０８ａに供給する。
【０１５０】
更に、画像処理部Ｕ２は、当該解析画像信号Ｅ２に基づき、上記したイベントＤ〜Ｆが発生していると判定し、そのイベントの内容を表す画像ベースイベント信号Ｄ３をＲＯＩ情報生成部１０８ａに供給する。
【０１５１】
ＲＯＩ情報生成部１０８ａは、画像ベースイベント信号Ｄ３及びセンサベースイベント信号Ｄ５が以下のイベントａ、ｂ、Ｄ〜Ｆａ〜ｅを表す場合、つまりイベントａ、ｂ、Ｄ〜Ｆが同時に生じるという条件を満たした場合に、図９に示す領域Ｐ９６を有効なＲＯＩとして判定する。そして、ＲＯＩ情報生成部１０８ａは、領域Ｐ６４をＲＯＩとし、その位置及びサイズを表すＲＯＩ情報Ｄ８をエンコーダ部Ｕ４に供給する。
【０１５２】
イベントａ：着座センサＰ９４が人の存在を検知。
【０１５３】
イベントｂ：着座センサＰ９５が人の存在を検知。
【０１５４】
イベントＤ：カウンタＣＮを挟む２つの椅子ＣＨの背もたれ上部の付近に夫々設定される２つの観察領域Ｐ９１の各々内に特定のオブジェクト（人の顔）が存在。
【０１５５】
イベントＥ：２つの観察領域Ｐ９１の各々内に存在する特定のオブジェクトのサイズが第１の閾値以上第２の閾値未満。
【０１５６】
イベントＦ：２つの観察領域Ｐ９１の各々内に存在する特定のオブジェクト（人の顔）の向きＰ９３が対面を表す。
【０１５７】
尚、上述したように定義したイベントは一例に過ぎず、また、有効と判定する条件（イベント又はイベントの組み合わせ）についても上記したものに限定されない。
【０１５８】
また、図９では、カウンタＣＮ越しの２人が対面しているシーンを一例として示すが、同様な考え方で人の数が１人の場合、例えば情報端末に一人の操作者が対面しているシーンに対しても、同様に、操作者の顔（操作者の特定）や操作者の手元（操作内容）をＲＯＩとして符号化する監視カメラシステムを構築することができる。
【０１５９】
また、ドアの開閉検知センサを更に用いることで、ドアが開いたときのみ予め定めておいたドア付近の領域をＲＯＩとして有効にする監視カメラシステムを構築することができる。
【０１６０】
また、センサ処理部Ｕ３がセンサベースＲＯＩ情報Ｄ４のみを出力し、ＲＯＩ情報生成部１０８ａが、センサベースＲＯＩ情報Ｄ４をそのままＲＯＩ情報Ｄ８としてエンコーダ部Ｕ４に供給する構成を採用しても良い。このような構成であっても、検出が難しい領域をＲＯＩとすることができる。この際、ステップＳ１０３、Ｓ１０８及びＳ２０５が不要となる。つまり、画像処理部Ｕ２、固定ルールベースＲＯＩ情報生成部１０６が不要となる。ここで、センサ処理部Ｕ３がセンサベースＲＯＩ情報Ｄ４のみを出力する場合には、センサイベント判定部２０５は不要となる。
【０１６１】
同様の考え方から、センサ処理部Ｕ３がセンサベースイベント信号Ｄ５のみを出力しても良い。この際、ＲＯＩ情報生成部１０８ａが、固定ルールベースＲＯＩ情報Ｄ６又はオブジェクトベースＲＯＩ情報Ｄ２に含まれる各ＲＯＩが有効であるか否かを、センサベースイベント信号Ｄ５、又は画像ベースイベント信号Ｄ３及びセンサベースイベント信号Ｄ５に基づき判定する。
【０１６２】
また、ＲＯＩ情報生成部１０８ａが、固定ルールベースＲＯＩ情報Ｄ６及びオブジェクトベースＲＯＩ情報Ｄ２に含まれる各ＲＯＩが有効であるか否かを、センサベースイベント信号Ｄ５、または画像ベースイベント信号Ｄ３及びセンサベースイベント信号Ｄ５に基づき判定しても良い。かかる構成によっても検出が難しい領域をＲＯＩとすることが可能である。
【０１６３】
また、ＲＯＩ情報生成部１０８ａでは、オブジェクトベースＲＯＩ情報Ｄ２やセンサベースＲＯＩ情報Ｄ４、固定ルールベースＲＯＩ情報Ｄ６に含まれる各ＲＯＩが有効であるか否かを、以下の情報に基づき判定しても良い。
【０１６４】
すなわち、ＲＯＩ情報生成部１０８ａは、オブジェクトベースＲＯＩ情報Ｄ２、センサベースＲＯＩ情報Ｄ４、固定ルールベースＲＯＩ情報Ｄ６に含まれる各ＲＯＩに含まれる情報に基づき、上記した判定を行う。この際、画像イベント判定部１０３やセンサイベント判定部１０５が構成要素として含まれていなくても良い。
【０１６５】
同様に、センサ処理部Ｕ３がセンサベースイベント信号Ｄ５のみを出力し、ＲＯＩ情報生成部１０８ａが各ＲＯＩの有効または無効の判定を、センサベースイベント信号Ｄ５、或いは画像ベースイベント信号Ｄ３及びセンサベースイベント信号Ｄ５に基づいて行う場合にも、検出が難しい領域をＲＯＩとすることができる。この場合、ステップＳ２０４は不要となる。
【０１６６】
同様に、ＲＯＩ情報生成部１０８ａが各ＲＯＩに含まれる情報のみに基づき、各ＲＯＩが有効であるか否かを判定する場合には、ステップＳ１０３及びＳ２０５が不要となる。また、センサ処理部Ｕ３のみでＲＯＩ情報Ｄ８を生成する場合であっても、検出が難しい領域をＲＯＩとすることができる、という効果を得ることができる。この場合、ステップＳ１０１、Ｓ１０２、及びＳ１０３が不要となる。また、固定ルールベースＲＯＩ情報生成部１０６を使用しない場合には、ステップＳ１０６も不要となる。
【０１６７】
ここで、図８に示した処理の順序はあくまで一例であり、たとえば、ステップＳ２０４とステップＳ２０５に関しては並列して処理することが可能である。また、同様にして画像処理部Ｕ２内の処理やセンサ処理部Ｕ３内の処理、固定ルールベースＲＯＩ情報生成部１０６の処理を並列して行うことが可能である。
【０１６８】
以上のように、図６に示す構成では、各種センサからの検出信号をも考慮して、所望のＲＯＩを有効と判定して圧縮符号化処理を施すことができる。よって、画像解析だけでは安定したＲＯＩの自動検出が困難となるシーンに対しても所望とするＲＯＩの符号化できるようになる。従って、ＲＯＩの自動検出が困難となるシーンに対しても、データ量を抑えた圧縮符号化を施すことが可能となる。
【実施例３】
【０１６９】
図１０は、本発明に係る第３の実施例による映像符号化装置Ｘ１の構成を示すブロック図である。尚、図１０に示す構成では、センサ状態監視部３０７を新たに加え、ＲＯＩ情報生成部１０８ａに代えてＲＯＩ情報生成部１０８ｂを採用した点を除く他の構成は、図６に示されるものと同一である。また図１に説明される映像符号化装置Ｘ１と同様に、ＲＯＩ設定部Ｕ１とエンコーダ部Ｕ４はそれぞれ独立した物品として設けられてもよい。
【０１７０】
よって、以下に、センサ状態監視部３０７及びＲＯＩ情報生成部１０８ｂを中心に、図１０に示す構成を有する映像符号化装置Ｘ１の動作を説明する。
【０１７１】
ＲＯＩ情報生成部１０８ｂは、前述した方法で有効となるＲＯＩを判定し、判定したＲＯＩ毎にそのＲＯＩに関する情報として、ＲＯＩの位置、サイズ及び向きを表すＲＯＩ情報Ｄ８を生成する。更に、ＲＯＩ情報生成部１０８ｂは、センサ状態監視部３０７での監視結果に応じて判定条件の更新を行う。
【０１７２】
図１１は、センサ状態監視部３０７及びＲＯＩ情報生成部１０８ｂによって実施される判定条件更新処理を示すフロー図である。尚、当該判定条件更新処理は、図８に示される映像符号化処理と並行して実施される。
【０１７３】
先ず、センサ状態監視部３０７が、センサ信号Ｅ３に基づきセンサ装置ＳＮに含まれるＮ個のセンサのうちの少なくとも１つのセンサが正常状態にあるか、或いは異常状態にあるのかを監視し、その監視結果（正常状態、異常状態）を表すセンサ状態情報Ｄ７を生成する（ステップＳ３０７）。
【０１７４】
尚、センサの異常状態とは、例えば電池で駆動されるセンサの電池切れ、電池切れの所定時間前の状態、或いはセンサ及び映像符号化装置Ｘ１間を接続するネットワークの不通、又はセンサ自体の故障を表す。
【０１７５】
次に、ＲＯＩ情報生成部１０８ｂが、センサ状態情報Ｄ７に基づき、自身に予め設定されているＲＯＩ有効判定の為の条件を、異常状態にあるセンサに対応したイベントを除外した新たな条件に更新する（ステップＳ３０８）。
【０１７６】
すなわち、ＲＯＩ情報生成部１０８ｂは、センサ状態情報Ｄ７に基づき、異常状態にあるセンサが検出された場合には、予め設定されているＲＯＩ有効判定の為の条件を、この異常状態にあるセンサに依存しない他の条件に差し替える。そして、かかるセンサが正常状態に復旧したら、ＲＯＩ情報生成部１０８ｂは元の条件に戻す。
【０１７７】
尚、センサに依存しない条件とは、予め設定されている条件から当該センサに対応したイベントを取り除いたもの、或いは常に有効の判定を下す条件などである。
【０１７８】
例えば、図９のシーンでは、センサ装置ＳＮに含まれる着座センサＰ９４及びＰ９５が正常状態にある場合に、ＲＯＩ情報生成部１０８ｂが領域Ｐ９６を有効なＲＯＩとして判定する為の条件は、以下のように、
イベントａ：着座センサＰ９４が人の存在を検知。
【０１７９】
イベントｂ：着座センサＰ９５が人の存在を検知。
【０１８０】
イベントＤ：カウンタＣＮを挟む２つの椅子ＣＨの背もたれ上部の付近に夫々設定される２つの観察領域Ｐ９１の各々内に特定のオブジェクト（例えば人の顔）が存在。
【０１８１】
イベントＥ：２つの観察領域Ｐ９１の各々内に存在する特定のオブジェクトのサイズが第１の閾値以上第２の閾値未満。
【０１８２】
イベントＦ：２つの観察領域Ｐ９１の各々内に存在する特定のオブジェクト（例えば人の顔）の向きＰ９３が対面を表す。
【０１８３】
なるイベントａ、ｂ、Ｄ〜Ｆが全て生じた場合である。
【０１８４】
よって、着座センサＰ９４及びＰ９５が異常状態にある場合には、ＲＯＩ情報生成部１０８ｂは、この条件（イベントａ、ｂ、Ｄ〜Ｆの同時発生）から、イベントａ、ｂを省いたものを新たな条件（イベントＤ〜Ｆの同時発生）として更新する。
【０１８５】
尚、ステップＳ３０７において、センサ状態監視部３０７がセンサの電池切れの所定時間前の状態を検出した時には、電池交換を促す警告信号を出力するという構成を採用しても良い。これにより、警告信号が出力された時点ではセンサは正常に動作しているので、この警告信号が出力された後、例えば店舗の営業時刻終了後に復旧作業（センサ交換、電池交換、電池充電）を行えば良い。よって、この際、所定時間を例えば２４時間とする。
【０１８６】
また、センサが異常状態にある際には常に有効の判定を下すという条件を適用して例えば図９に表されるシーンを想定すると、ＲＯＩ情報生成部１０ｂに設定される条件は、着座センサＰ９４及びＰ９５の状態（正常、異常）によって以下のようになる。
【０１８７】
つまり、着座センサＰ９４及びＰ９５が共に正常状態にある場合には、上記したように、イベントａ、ｂ、Ｄ〜Ｆが全て生じるという条件をもって、ＲＯＩ情報生成部１０ｂは、図９に示す領域Ｐ９６を有効なＲＯＩと判定する。
【０１８８】
一方、着座センサＰ９４及びＰ９５のうちの少なくとも一方が異常状態にあるというイベントが生じている場合には、ＲＯＩ情報生成部１０ｂは、オブジェクトベースＲＯＩ情報Ｄ２、センサベースＲＯＩ情報Ｄ４、固定ルールベースＲＯＩ情報Ｄ６に含まれる全てのＲＯＩを有効なＲＯＩと判定する。すなわち、この際、ＲＯＩ情報生成部１０ｂは、オブジェクトベースＲＯＩ情報Ｄ２、センサベースＲＯＩ情報Ｄ４、固定ルールベースＲＯＩ情報Ｄ６にて表されるＲＯＩ情報片の候補の全てを表すＲＯＩ情報Ｄ８を生成する。
【０１８９】
このように図１０に示される構成によれば、着座センサＰ９４及びＰ９５が正常状態にある場合には、複数のＲＯＩ情報片の候補のうちから領域Ｐ９６に対応したＲＯＩが有効となる。一方、着座センサＰ９４又はＰ９５が異常状態にある場合には全てのＲＯＩ情報片の候補が有効となる。
【０１９０】
よって、第３の実施例によれば、センサが正常に動作する状態にあるか否かを監視し、その状態に応じて条件を更新することで、センサの異常等にも誤動作することなくＲＯＩを特定して符号化することが可能となる。これにより、ＲＯＩ符号化の応用範囲が広がるとともに、データ量の削減を図ることが可能となる。
【０１９１】
特に、電池駆動のセンサを利用しているときや、センサが無線を介して接続されている場合に、センサが異常状態に到るとシステム全体に悪影響を与える可能性が高くなる。しかしながら、第３の実施例を採用することで、監視品質を落とすことなく映像を圧縮符号化する監視カメラシステム等を実現することが可能となる。
【実施例４】
【０１９２】
図１２は、本発明に係る第４の実施例による、映像符号化装置Ｘ１及び映像生成部Ｘ２を有する監視カメラシステムを示すブロック図である。尚、図１２に示す構成では、映像生成部Ｘ２及び視点制御部４１０を新たに加えた点を除く他の構成は、図１０に示されるものと同一である。また図１に説明される映像符号化装置Ｘ１と同様に、ＲＯＩ設定部Ｕ１とエンコーダ部Ｕ４はそれぞれ独立した物品として設けられてもよい。
【０１９３】
よって、以下に、映像生成部Ｘ２及び視点制御部４１０を中心に、図１２に示す監視カメラシステムの動作を説明する。尚、映像生成部Ｘ２は、撮影手段としての例えばズームの制御が可能なカメラレコーダ、又はパン、チルト、ズームの制御が可能なＰＴＺカメラ、或いは全周囲映像生成システム（全周囲カメラ、全周囲映像を記録再生可能なレコーダ）等である。すなわち、映像生成部Ｘ２は、パン、チルト、ズーム等の撮影時の撮影視点を制御することが可能なカメラからなる。
【０１９４】
図１３は、映像生成部Ｘ２及び視点制御部４１０によって実施される視点制御処理のフロー図である。尚、図１３に示す構成においても、映像符号化装置Ｘ１は、前述した第３の実施例と同様に図８及び図１１に示される処理を実行する。映像生成部Ｘ２及び視点制御部４１０は図８及び図１１に示される処理と並行して当該視点制御処理を行う。
【０１９５】
すなわち、視点制御部４１０が、ＲＯＩ情報Ｄ８（ＲＯＩの位置、サイズ、向き等）に基づき、映像生成部Ｘ２の光学ズームやデジタルズーム、パン、チルト等の撮影視点を制御する為の視点制御信号Ｄ１０を生成する（ステップＳ４１０）。
【０１９６】
例えば、視点制御部４１０は、ＲＯＩ情報Ｄ８によって表されるＲＯＩのサイズを拡大して撮影するズーム制御を映像生成部Ｘ２に施す。典型的な適用例を挙げると、建物の敷地に設置されている門に人感センサを設置し、当該人感センサが人を検知したときには、映像生成部Ｘ２で門をズーム撮影する。
【０１９７】
尚、映像生成部Ｘ２内において、撮影時のズーム、パン、チルト等の視点制御を行う視点制御部は、前述したカメラキャリブレーションの分野で公知の内部パラメータや外部パラメータの指定を受けて指定制御を行う。そこで、視点制御部４１０は、例えば当該ＲＯＩがカメラの撮影フレーム内に包含されるという条件下で、当該ＲＯＩのサイズが最大になるような内部パラメータや外部パラメータを指定する視点制御信号Ｄ１０を生成しても良い。
【０１９８】
ところで、ＲＯＩ情報Ｄ８自体又はＲＯＩ情報Ｄ８から求めたパラメータ（内部パラメータや外部パラメータ）と、視点制御信号Ｄ１０との対応関係については、映像生成部Ｘ２として何を使用するかに依存する。そこで、例えばＲＯＩの位置、サイズ、向きに対して、そのＲＯＩを拡大して撮影するための視点制御信号Ｄ１０のレベルを予め決めておく。例えば、視点制御部４１０は、ＲＯＩの位置、サイズ、向きを示す情報と、視点制御信号Ｄ１０のレベルとを例えばルックアップテーブルによって対応付けておき、当該ルックアップテーブルを用いて、ＲＯＩの位置やサイズ、向きから視点制御信号Ｄ１０を生成する。
【０１９９】
または、固定ルールベースＲＯＩ情報生成部１０６において、固定ルールベースＲＯＩ情報Ｄ６に、予め付帯情報として視点制御信号を付加しておき、ＲＯＩ情報生成部１０８ｂもこれと同じ付帯情報をＲＯＩ情報Ｄ８に含ませても良い。この際、視点制御部４１０は、付帯情報として付与された視点制御信号が存在する場合には、付帯情報として付与された視点制御信号を視点制御信号Ｄ１０として出力しても良い。
【０２００】
また、ＲＯＩ情報Ｄ８に含まれるＲＯＩが複数の場合は、視点制御部４１０は、複数のＲＯＩを全て撮影フレーム内に包含させる視点制御信号Ｄ１０を生成しても良い。また、視点制御部４１０は、複数のＲＯＩの各々を順次、所定時間毎に切り替えて撮影フレーム内に含ませる視点制御信号Ｄ１０を生成しても良い。
【０２０１】
すなわち、視点制御部４１０は、ＲＯＩ情報Ｄ８が複数のＲＯＩ情報片を表す場合には、複数のＲＯＩ情報片に対応した全てのＲＯＩがカメラの撮影フレーム内に収まるように、映像生成部Ｘ２の撮影視点を制御する。また、ＲＯＩ情報Ｄ８が複数のＲＯＩ情報片を表す場合には、視点制御部４１０は、複数のＲＯＩ情報片に夫々対応したＲＯＩの各々を順次、所定時間毎に撮影フレーム内に含ませるように映像生成部Ｘ２の撮影視点を制御する。
【０２０２】
視点制御部４１０は、上記したように撮影視点を制御する為に生成した視点制御信号Ｄ１０を映像生成部Ｘ２に供給する。
【０２０３】
映像生成部Ｘ２は、視点制御信号Ｄ１０に基づき自身の撮影視点を制御することにより撮影領域を変更する（ステップＳ４１１）。
【０２０４】
なお、図１２に示す第４の実施例においても、第１〜第３の実施例と同様にエンコーダ部Ｕ４がＲＯＩを圧縮符号化する。しかしながら、第４の実施例による監視カメラシステムでは、ＲＯＩを拡大して撮影することが主な目的となるため、エンコーダ部Ｕ４でＲＯＩに基づく圧縮符号化を行う必要はない。ただし、エンコーダ部Ｕ４が、例えば前述した行列演算（透視投影変換）等を用いて、三次元で表されるＲＯＩ情報Ｄ８に基づき、符号化対象画像信号Ｅ１に含まれるＲＯＩのＲＯＩ情報（例えば位置、サイズ）を求め、符号化対象画像信号Ｅ１に対して当該ＲＯＩ情報に基づく圧縮符号化処理を施しても良い。
【０２０５】
以上のように、第４の実施例によれば、映像解析やセンサ信号に基づきＲＯＩの有効及び無効を判定し、有効と判定したＲＯＩに基づきカメラの視点を制御する。これにより、画像解析による安定した自動検出が困難となるシーンに対しても、限られたリソースのなかで効果的かつ安定した監視がおこなえるようになる。
【０２０６】
また、映像解析のみに基づきカメラのパン、チルト、ズームを制御する場合に比べ、ある時点では撮影されていない領域もＲＯＩとして検知できる。例えば、映像解析のみに頼る場合、既に光学ズームがなされていると、光学ズームによって撮影対象から外れた場所で重要なイベントが発生したとしても、当該イベントに関連するＲＯＩを撮影することができなくなる。これに対して、本実施例のように、映像解析のみならずセンサ信号をも用いて、所望とするＲＯＩを有効なＲＯＩとして判定できるので、前述の問題は解消され、効果的な映像の撮影、記録、伝送等が可能となる。
【０２０７】
尚、上記した第１〜第４の実施例において、ＲＯＩ情報生成部１０８（１０８ａ、１０８ｂ）は、ＲＯＩ毎にそのＲＯＩを有効または無効の２値で判定しているが、有効度、無効度のような多値（有効または無効の程度）の判定をおこない、その度合いを考慮して有効なＲＯＩを判定しても良い。
【０２０８】
また、ＲＯＩ情報生成部１０８（１０８ａ、１０８ｂ）としては、最初に有効または無効の２値判定を行い、有効と判定され且つその有効度が閾値以上となる場合にだけこのＲＯＩを有効なＲＯＩとして表すＲＯＩ情報Ｄ８を生成するものであっても良い。ＲＯＩ情報生成部１０８（１０８ａ、１０８ｂ）では、例えば、前述したようなＲＯＩ有効判定に用いられる条件で組み合わされるイベントの数を、有効度または無効度とする。
【０２０９】
例えば、１つのイベントの発生だけを条件とする条件１を満たした場合は有効度１、２つのイベントの発生を条件とする条件２を満たした場合は有効度２、それ以外の場合は有効度０または無効と定義することで、有効度の多値化が図られる。
【０２１０】
この際、有効度２が有効度１よりも重要であることを表している場合、エンコーダ部Ｕ４において、例えば有効度２を伴うＲＯＩを、有効度１を伴うＲＯＩよりも高品質に符号化しても良い。また、第４の実施例における視点制御部４１０で、例えば有効度２を伴うＲＯＩを監視する時間を、有効度１を伴うＲＯＩを監視する時間よりも多くするように制御する。或いは、第４の実施例における視点制御部４１０において有効度１を伴うＲＯＩを監視対象から外してしまうという制御を行っても良い。
【０２１１】
これにより、重要な領域の映像を、効率よく撮影、記録又は伝送するシステムを構築することが可能となる。
【０２１２】
また、第１〜第４の実施例において、解析画像信号Ｅ２及びセンサ信号Ｅ３について  は、バッファを介して所定時間だけ遅延させたものを映像符号化装置Ｘ１に供給することで、符号化対象画像信号Ｅ１に対してタイムラグをもたせても良い。これにより、例えば、あるセンサがイベントを検知するよりも所定時間前の映像により、当該センサのイベント  が対応付けられているＲＯＩを有効にするという動作を行うことが可能となる。
【０２１３】
また、類似の考え方から、バッファを介して映像符号化装置Ｘ１に供給された解析画像信号Ｅ２及びセンサ信号Ｅ３は、符号化対象画像信号Ｅ１の取得時刻よりも前または後、或いは取得時刻を含む前後の時間内に取得された１個以上のデータであっても良い。この場合、画像処理部Ｕ２及びセンサ処理部Ｕ３は、必要に応じて、１個以上のデータを処理すれば良い。
【０２１４】
また、第１〜第４の実施例では、ＲＯＩを２次元画像内の一部の限定された領域として扱っている。しかしながら、ＲＯＩを２次元画像内だけではなく時間空間の一部の限定された領域と見做すこともできる。また、ＲＯＩ情報生成部が、画像ベースイベント信号Ｄ３及びセンサベースイベント信号Ｄ５に基づき、２次元画像全体を包含するＲＯＩを有効なＲＯＩと判定しても良い。
【０２１５】
これにより、２次元画像内では全体を包含し且つ時間空間の一部の限定された領域を、有効なＲＯＩとすることが可能となる。典型的なシステムの構築例及び動作としては、建物の敷地に設置されている門やドアに人感センサやドアの開閉検知センサを設置しておき、当該センサが人の存在を検知したら、門又はドアをＲＯＩとし当該ＲＯＩを画像全体で表すようにズームすることが挙げられる。
【０２１６】
また、第１〜第４の実施例では映像符号化装置Ｘ１による映像符号化処理をハードウェアで実現しているが、当該映像符号化処理をソフトウェアで実現しても良い。
【０２１７】
図１４は、この映像符号化処理をソフトウェアで実現する情報処理装置の構成の一例を示すブロック図である。当該情報処理装置は、制御部としてのＣＰＵ（Central Processing Unit）１００１、ＲＡＭ（Random Access Memory）１００２、ＲＯＭ（Read Only Memory）１００３及び入出力部１００４を含む。ＲＯＭ１００３には、図２又は図８に示される映像復号処理に従ったプログラムが記憶されている。ＣＰＵ１００１は、ＲＯＭ１００３に記憶されているプログラムを実行することにより、入出力部１００４を介して入力された符号化対象画像信号Ｅ１及び解析画像信号Ｅ２に基づきビットストリーム信号Ｄ９を生成し、これを入出力部１００４を介して出力する。
【符号の説明】
【０２１８】
１０１                        画像解析部
１０２                        オブジェクトベースＲＯＩ情報生成部
１０３                        画像イベント判定部
１０６                        固定ルールベースＲＯＩ情報生成部
１０８、１０８ａ、１０８ｂ    ＲＯＩ情報生成部
２０４                        センサベースＲＯＩ情報生成部
２０５                        センサイベント判定部
Ｕ４                          エンコーダ部
Ｘ１                          映像符号化装置
Ｘ４                          映像生成部
【図１】
2018133645.tif 000003
【図２】
2018133645.tif 000004
【図３】
2018133645.tif 000005
【図４】
2018133645.tif 000006
【図５】
2018133645.tif 000007
【図６】
2018133645.tif 000008
【図７】
2018133645.tif 000009
【図８】
2018133645.tif 000010
【図９】
2018133645.tif 000011
【図１０】
2018133645.tif 000012
【図１１】
2018133645.tif 000013
【図１２】
2018133645.tif 000014
【図１３】
2018133645.tif 000015
【図１４】
2018133645.tif 000016