(57)【要約】【目的】画像信号中の注目領域に対する認識精度の低下を防ぎつつ、画像信号の符号量を削減することが可能な画像処理システムを提供することを目的とする。【構成】入力画像信号に基づく画像内において、所望の領域として指定される注目領域を所定品質で符号化するか否かを判定し、所定品質で符号化すると判定した場合には所定品質での符号化を促す注目領域情報を生成する一方、所定品質で符号化しないと判定した場合には所定品質よりも低い低品質での符号化を促す注目領域情報を生成する注目領域判定部と、注目領域情報に従って入力画像信号中の注目領域を所定品質又は低品質で符号化した信号を含むビットストリーム信号を出力する画像符号化部と、を有する。【選択図】図１
2018093323.tif 000002
【特許請求の範囲】
【請求項１】
入力画像信号を符号化してビットストリーム信号として出力する画像処理システムであって、
前記入力画像信号に基づく画像内において、所望の領域として指定される注目領域を所定品質で符号化するか否かを判定し、前記所定品質で符号化すると判定した場合には前記所定品質での符号化を促す情報を、前記所定品質で符号化しないと判定した場合には前記所定品質よりも低い低品質での符号化を促す情報を、前記注目領域に対応付けして示す注目領域情報を生成する注目領域判定部と、
前記注目領域情報に従って前記入力画像信号中の前記注目領域を前記所定品質又は前記低品質で符号化した信号を含む前記ビットストリーム信号を出力する画像符号化部と、を有することを特徴とする画像処理システム。
【請求項２】
前記入力画像信号に基づく画像内において所定のオブジェクトが表示される領域を前記注目領域として検出及びトラッキングし、検出した前記注目領域に関する情報を前記トラッキングによって更新して注目領域初期情報を生成する注目領域トラッキング部を含み、
前記注目領域判定部は、前記注目領域初期情報にて示される前記注目領域を前記所定品質で符号化するか否かを判定することを特徴とする請求項１に記載の画像処理システム。
【請求項３】
前記注目領域判定部で生成された前記注目領域情報を蓄積し、蓄積された情報を判定記録情報として前記注目領域判定部に供給する判定記録情報蓄積部を含み、
前記注目領域判定部は、前記判定記録情報に基づき前記注目領域を前記所定品質で符号化させるのか否かを判定することを特徴とする請求項２に記載の画像処理システム。
【請求項４】
注目領域トラッキング部は、前記入力画像信号中から未検出の前記注目領域を検出する度に、検出した前記注目領域を示す注目領域識別子を前記注目領域に対応付けして付与し、
前記注目領域判定部は、前記判定記録情報を参照することで、前記注目領域識別子が示す前記注目領域を過去に前記所定品質で符号化すると判定したことがあるか否かを判定し、過去に前記所定品質で符号化すると判定したことがある前記注目領域に対しては前記所定品質で符号化しないと判定し、それ以外の前記注目領域に対しては前記所定品質で符号化すると判定することを特徴とする請求項３に記載の画像処理システム。
【請求項５】
前記判定記録情報蓄積部は、前記判定記録情報の記録データ数を所定の有限個のピクチャ分に限定することを特徴とする請求項３又は４に記載の画像処理システム。
【請求項６】
前記入力画像信号をバッファリングして所定期間遅延させたものを同期画像信号として生成し、前記同期画像信号を前記入力画像信号に代えて前記画像符号化部に供給する同期バッファと、
前記注目領域初期情報にて示される前記注目領域毎に前記注目領域の有用度を求め、前記有用度を前記注目領域初期情報に含ませた注目領域二次情報を生成する注目領域有用度付与部と、
前記注目領域二次情報を所定のピクチャ分ずつバッファリングし、バッファリングした前記注目領域二次情報のうちで先頭のピクチャに対応した分を注目領域判定対象情報として出力すると共に、前記先頭のピクチャに後続するピクチャ群に対応した分を注目領域先読情報として出力する先読バッファと、を含み、
前記注目領域判定部は、前記注目領域先読情報を参照することで、前記注目領域判定対象情報にて示される前記注目領域の各々を前記画像符号化部において前記所定品質で符号化するか否かを判定することを特徴とする請求項１〜５のいずれか１に記載の画像処理システム。
【請求項７】
前記有用度付与部は、前記有用度をＵ、前記注目領域のサイズをＬとした場合に、
Ｕ＝ｆ（Ｌ）
で表される関数ｆ（Ｌ）によって前記有用度を求めることを特徴とする請求項６に記載の画像処理システム。
【請求項８】
前記関数ｆ（Ｌ）は、前記注目領域のサイズが大きいほど前記有用度が増加する増加関数であることを特徴とする請求項７に記載の画像処理システム。
【請求項９】
前記注目領域の前記有用度を算出する際に必要となる前記注目領域のサイズの上限を示す上限サイズを指定する必要サイズ情報を受け、
前記関数ｆ（Ｌ）は、前記注目領域のサイズが前記上限サイズのときに最大値となることを特徴とする請求項７に記載の画像処理システム。
【請求項１０】
前記関数ｆ（Ｌ）は、前記注目領域のサイズが前記上限サイズよりも小さいときは前記注目領域のサイズに応じて前記有用度が増加する増加関数であり、前記注目領域のサイズが前記上限サイズよりも大きいときは前記有用度が一定となる関数であることを特徴とする請求項７に記載の画像処理システム。
【請求項１１】
前記関数ｆ（Ｌ）は、前記注目領域のサイズが前記上限サイズよりも小さい場合には前記注目領域のサイズに応じて前記有用度が増加する増加関数であり、前記注目領域のサイズが前記上限サイズ以上となる場合には前記注目領域のサイズに応じて前記有用度が低下する減少関数であることを特徴とする請求項７に記載の画像処理システム。
【請求項１２】
前記有用度付与部は、前記有用度をＵ、前記注目領域の姿勢を表すピッチ、ヨー又はロールを含む姿勢パラメータをＱとした場合に、
Ｕ＝ｇ（Ｑ）
で表される関数ｇ（Ｑ）によって前記有用度を求めることを特徴とする請求項６に記載の画像処理システム。
【請求項１３】
前記姿勢パラメータは、前記注目領域が正面を向いているときに最小となり正面からのズレ角が大きくなるほど大きくなり、
前記関数ｇ（Ｑ）は、前記姿勢パラメータが大きいほど前記有用度が小さくなる減少関数であることを特徴とする請求項１２に記載の画像処理システム。
【請求項１４】
前記有用度付与部は、
前記注目領域のサイズを変数Ｌとする関数ｆ（Ｌ）と、前記注目領域の姿勢を表すピッチ、ヨー又はロールを含む姿勢パラメータを変数Ｑとする関数ｇ（Ｑ）と、を用いた、
Ｕ＝ｈ［ｆ（Ｌ）、ｇ（Ｑ）］
Ｕ：有用度
にて表される関数ｈ［ｆ（Ｌ）、ｇ（Ｑ）］で前記有用度を求めることを特徴とする請求項６に記載の画像処理システム。
【請求項１５】
前記関数ｈ［ｆ（Ｌ）、ｇ（Ｑ）］は、前記関数ｆ（Ｌ）の値が同一であるならば、前記関数ｇ（Ｑ）の値が大きいほど前記有用度が高くなり、前記関数ｇ（Ｑ）が同一であるならば、前記関数ｆ（Ｌ）の値が大きいほど前記有用度が高くなることを特徴とする請求項１４に記載の画像処理システム。
【請求項１６】
前記先読バッファは、ＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）のキューとして動作し、前記注目領域二次情報を表すデータ片の系列中の最後尾のデータ片がエンキューされると、先頭のデータ片がデキューされるバッファであり、
前記デキューされる前記先頭のデータ片を前記注目領域判定対象情報として出力し、それ以外の前記データ片を前記注目領域先読情報として出力することを特徴とする請求項６〜１５のいずれか１に記載の画像処理システム。
【請求項１７】
前記先読バッファは、動画像を構成するピクチャの系列を複数のピクチャ毎にグループ化してバッファリングし、前記注目領域先読情報として出力する情報は、前記注目領域判定対象情報に対応するピクチャと同じグループに属することを特徴とする請求項１６に記載の画像処理システム。
【請求項１８】
前記注目領域判定部は、前記所定品質で符号化するか否かを判定する対象の前記注目領域を注目領域識別子Ｘにて表し、
前記注目領域判定対象情報に含まれており且つ前記注目領域識別子Ｘが示す前記注目領域の前記有用度よりも、前記注目領域先読情報に含まれており且つ前記注目領域識別子Ｘが示す前記注目領域の前記有用度の方が高い場合には、前記注目領域識別子Ｘが示す前記注目領域に対しては前記所定品質で符号化しないと判定し、それ以外の場合には前記所定品質で符号化すると判定することを特徴とする請求項６〜１７のいずれか１に記載の画像処理システム。
【請求項１９】
前記注目領域判定部は、前記所定品質で符号化するか否かを判定する対象の前記注目領域を注目領域識別子Ｘにて表し、
前記注目領域判定対象情報に含まれており且つ前記注目領域識別子Ｘが示す前記注目領域の前記有用度よりも、前記注目領域先読み情報に含まれており且つ前記注目領域識別子Ｘが示す前記注目領域の前記有用度の方が高い場合には、前記注目領域識別子Ｘが示す前記注目領域に対しては前記所定品質で符号化しないと判定し、それ以外の場合でも、前記判定記録情報に基づき前記注目領域識別子Ｘが示す前記注目領域を過去に前記所定品質で符号化すると判定したことがあるか否かを判定し、過去に前記所定品質で符号化すると判定したことがある前記注目領域に対しては前記所定品質で符号化しないと判定し、それ以外の場合に前記所定品質で符号化すると判定することを特徴とする請求項６〜１７のいずれか１に記載の画像処理システム。
【請求項２０】
前記注目領域判定部は、前記所定品質で符号化するか否かを判定する対象の前記注目領域を注目領域識別子Ｘにて表し、
前記注目領域判定対象情報に含まれており且つ前記注目領域識別子Ｘが示す前記注目領域の前記有用度よりも、前記注目領域先読み情報に含まれており且つ前記注目領域識別子Ｘが示す前記注目領域の前記有用度の方が高い場合には、前記注目領域識別子Ｘが示す前記注目領域に対しては前記所定品質で符号化しないと判定し、それ以外の場合でも、前記判定記録情報に基づき前記注目領域識別子Ｘが示す前記注目領域を過去に前記所定品質で符号化すると判定したことがあるか否かを判定し、過去に前記所定品質で符号化すると判定したと判定された場合で、前記注目領域判定対象情報に含まれる前記注目領域識別子Ｘの前記有用度が、過去に前記所定品質で符号化したときの前記有用度よりも低い場合に、当該注目領域に対しては前記所定品質で符号化しないと判定し、それ以外の場合に前記所定品質で符号化すると判定し、
前記判定記録情報蓄積部は、前記判定記録情報の一部としてその判定を実施したときの前記有用度を対応して蓄積して前記判定記録情報として出力することを特徴とする請求項６〜１７のいずれか１に記載の画像処理システム。
【請求項２１】
前記注目領域判定部は、前記注目領域識別子Ｘが示す前記注目領域を前記所定品質で符号化しないと判定した場合でも、前記注目領域識別子Ｘが示す前記注目領域が最初にピクチャとして表れたとき、或いは前記所定品質で符号化すると判定した時点から所定のピクチャ数の分だけ時間が経過した後は前記所定品質で符号化すると判定し、
前記判定記録情報蓄積部は、前記所定品質で符号化すると判定した時点からの経過時間を示す時間情報も蓄積することを特徴とする請求項１８〜２０のいずれか１に記載の画像処理システム。
【請求項２２】
前記ビットストリーム信号におけるビットストリーム長に基づいて符号量を監視し、監視された前記符号量を実測符号量として得る符号量監視部と、
符号化させる際の符号量を設定符号量として示す設定符号量情報を受け、前記設定符号量と前記実測符号量との大小比較結果に基づき通常モード及び抑制モードのうちの一方の動作モードを判定するモード判定部と、を含み、
前記注目領域判定部は、前記動作モードが前記通常モードを示す場合には前記所定品質よりも低い低品質での符号化を促す前記注目領域情報を生成する一方、前記動作モードが前記抑制モードを示す場合には、前記判定の結果に基づき前記所定品質又は前記低品質での符号化を促す前記注目領域情報を生成することを特徴とする請求項１〜２１のいずれか１に記載の画像処理システム。
【請求項２３】
前記モード判定部は、前記実測符号量が前記設定符号量よりも大きければ前記抑制モードと判定し、それ以外の場合には前記通常モードと判定することを特徴とする請求項２２に記載の画像処理システム。
【請求項２４】
前記モード判定部は、前記通常モード及び前記抑制モードのうちの一方を前記動作モードの初期状態とし、前記実測符号量が前記設定符号量よりも大きい場合、或いは前記実測符号量が前記設定符号量からゼロを含む所定量を差し引いた値よりも小さければ前記動作モードを前記抑制モードに移行させ、それ以外の場合は現時点での前記動作モードの状態を据え置くことを特徴とする請求項２２に記載の画像処理システム。
【請求項２５】
所定のピクチャ数のピクチャに対応する前記ビットストリーム長に対応した符号量を部分ピクチャベースの符号量とし、符号化した全ピクチャの各ピクチャに対応する前記ビットストリーム長に対応した符号量を総ピクチャベースの符号量とし、
前記モード判定部は、前記実測符号量のうちの前記部分ピクチャベースの符号量が、前記設定符号量のうちの前記部分ピクチャベースの符号量に対応する符号量よりも大きければ前記抑制モードに移行し、
前記実測符号量のうちの前記部分ピクチャベースの符号量が、前記設定符号量のうちの前記部分ピクチャベースの符号量に対応する符号量からゼロを含む所定量を差し引いた値よりも小さく且つ前記実測符号量のうちの前記総ピクチャベースの符号量が、前記設定符号量のうちの前記総ピクチャベースの符号量に対応する符号量から前記所定量を差し引いた値よりも小さい場合には前記通常モードに移行し、
それ以外の場合には、現時点での前記動作モードの状態を据え置くことを特徴とする請求項２２に記載の画像処理システム。
【請求項２６】
前記モード判定部は、映像品質パラメータを制御するモード制御機構と連携し、前記抑制モードを前記モード制御機構の一つのモードとすることを特徴とする請求項２２に記載の画像処理システム。
【請求項２７】
前記モード判定部は、所定数のピクチャ毎に前記判定を行うことを特徴とする請求項２２〜２６のいずれか１に記載の画像処理システム。
【請求項２８】
前記画像符号化部は、前記注目領域判定部が前記所定品質で符号化すると判定した前記注目領域と、前記所定品質で符号化しないと判定した前記注目領域と、前記注目領域以外の領域と、をそれぞれ異なる品質で符号化させることを特徴とする請求項１〜２７のいずれか１に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を圧縮符号化する画像処理システムに関する。
【背景技術】
【０００２】
近年、監視カメラの普及は進み、さらなる高解像度化、高フレームレート化、多視点化が望まれている。しかし、高解像度化、高フレームレート化、多視点化は、動画像のデータ量の著しい増加を引き起こし、通信コストやストレージコストの増加を招く。
【０００３】
この問題を緩和するため、動画像中から例えば「顔」が表示されている特定の領域をＲＯＩ（Region of Interest）として検出し、このＲＯＩに対して多くのビット数を割り当てて画像圧縮処理を施すようにした画像処理装置が提案されている（例えば、特許文献１参照）。
【０００４】
当該画像処理装置では、符号量と映像品質を制御するパラメータをブロック毎に設定するという圧縮部の機能を利用して、ＲＯＩ以外の領域、つまり背景領域の情報量をＲＯＩの情報量よりも削減するように、圧縮部に与えるパラメータを制御することにより、データ量を削減している。
【０００５】
しかしながら、圧縮部として、このようなパラメータの制御機能を備えていないものを用いる場合には、上記した方法でデータ量の削減を図ることができなかった。
【０００６】
そこで、圧縮部に依存せずに背景領域の情報量を削減する為に、背景領域に低域通過フィルタによるフィルタリング処理を施して高周波成分の情報を取り除くことで背景領域の情報量を削減するようにした画像符号化装置が提案されている（例えば、特許文献２参照）。この画像符号化装置では、低域通過フィルタによるフィルタリングにより、画像信号の情報量を削減しつつ、ブロック境界に発生するアーティファクトの発生を抑制している。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００９−４９９７９号公報
【特許文献２】特開平４−２１９０８９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、１ピクチャ内がＲＯＩで埋め尽くされるようなシーン、例えばアップの顔が映し出されているシーンや多数の顔で埋め尽くされているシーンが続くと、全画面を高い品質で符号化し続けている状態と同じになり、上記した方法では符号量の削減効果が得られない。よって、想定する通信容量やストレージ容量を超過する恐れがあった。
【０００９】
そこで、容量超過の対策としてピクチャ間引きを行うことが考えられるが、この場合、決定的なシーンを撮り逃す恐れもあるため、撮影画像による監視能力の低下に繋がる。
また、ＲＯＩの品質を下げることで容量超過を防ぐことも考えうるが、監視を目的としているが故に、ＲＯＩ領域の品質を落とすことは監視能力の低下に繋がる。さらに、復号側で認証処理のような何らかの後処理をおこなう場合には、決定的なシーンの撮り逃しや画質の劣化は、後処理の精度を棄損する可能性もある。例えば、ＲＯＩを顔領域として、復号側で顔領域毎に個人の認証を行う場合には、決定的なシーンの撮り逃し（例えば正面を向いているシーンの撮り逃し）や画質の劣化は、認証精度の劣化を招く可能性がある。また、ＲＯＩがナンバープレートの場合は、ナンバープレートの認識精度劣化に繋がる。
【００１０】
そこで、本発明は、復号側でのＲＯＩ（注目領域）の認識精度の低下を防ぎつつ、画像信号の符号量を削減することが可能な画像処理システムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像処理システムは、入力画像信号を符号化してビットストリーム信号として出力する画像処理システムであって、前記入力画像信号に基づく画像内において所望の領域として指定される注目領域を所定品質で符号化するか否かを判定し、前記所定品質で符号化すると判定した場合には前記所定品質での符号化を促す情報を、前記所定品質で符号化しないと判定した場合には前記所定品質よりも低い低品質での符号化を促す情報を、前記注目領域に対応付けして示す注目領域情報を生成する注目領域判定部と、前記注目領域情報に従って前記入力画像信号中の前記注目領域を前記所定品質又は前記低品質で符号化した信号を含む前記ビットストリーム信号を出力する画像符号化部と、を有する。
【発明の効果】
【００１２】
本発明では、入力画像信号に含まれるＲＯＩ（注目領域）を符号化するにあたり、所定品質で符号化するのか、或いはこの所定品質よりも低い低品質で符号化するのかを選択的に実施するようにしている。そこで、先ず、注目領域を所定品質で符号化し、その後、かかる注目領域に対しては低品質で符号化を行うようにする。これにより、注目領域に対して少なくとも１度は比較的多くのビット数を用いる所定品質での符号化が為されるので、復号側において注目領域に対する認識精度の低下が抑えられる。また、注目領域を所定品質で符号化した後は、この所定品質での符号化よりも使用するビット数が少ない低品質での符号化が為されるので、画像信号の符号量が削減される。
【００１３】
よって、本発明によれば、復号側での注目領域の認識精度の低下を防ぎつつ、画像信号の符号量を削減することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】画像処理システムＳ１の第１の実施例の構成を示すブロック図である。
【図２】ＲＯＩ検出部Ｕ１の動作を表すフローチャートである。
【図３】ＲＯＩ検出部Ｕ１の動作を表すフローチャートである。
【図４】画像処理システムＳ１の第２の実施例の構成を示すブロック図である。
【図５】ＲＯＩ検出部Ｕ１ａの動作を表すフローチャートである。
【図６】ＲＯＩ検出部Ｕ１ａの動作を表すフローチャートである。
【図７】有用度Ｕを求める関数ｆ（Ｌ）の一例を表す図である。
【図８】有用度Ｕを求める関数ｆ（Ｌ）の他の一例を表す図である。
【図９】有用度Ｕを求める関数ｆ（Ｌ）の他の一例の変形例を表す図である。
【図１０】先読バッファ２０３の動作概念図である。
【図１１】画像処理システムＳ１の第３の実施例の構成を示すブロック図である。
【図１２】ＲＯＩ検出部Ｕ１ｂ及び符号量監視部３１０で実施される動作を表すフローチャートである。
【図１３】ＲＯＩ検出部Ｕ１ｂ及び符号量監視部３１０で実施される動作を表すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施例を図面を参照しつつ詳細に説明する。
【実施例１】
【００１６】
図１は、本発明に係る画像処理システムＳ１を示すブロック図である。尚、画像処理システムＳ１は、例えば、監視カメラ等で撮影された監視画像を圧縮してデータ容量を抑制したビットストリーム信号を他の機器に伝送する為に用いられる。つまり、画像処理システムＳ１は、かかる監視画像を、画素毎の輝度レベルを表す画素値の系列を含む入力画像信号Ｄ１２として受け、この入力画像信号Ｄ１２に圧縮処理を施して得られたビットストリーム信号Ｄ０８を出力する。
【００１７】
図１に示すように、画像処理システムＳ１は、ＲＯＩ（Region of Interest）検出部Ｕ１及び画像符号化部Ｕ２を含む。
【００１８】
ＲＯＩ検出部Ｕ１は、入力画像信号Ｄ１２中から、例えば顔検出アルゴリズムを適用することで、「顔」等の特定のオブジェクトが表示される領域をＲＯＩ、つまり注目領域として検出する。そして、ＲＯＩ検出部Ｕ１は、検出したＲＯＩ毎にそのＲＯＩの画像内での位置を表す情報と、当該ＲＯＩを画像符号化部Ｕ２で符号化させるにあたり、ＲＯＩ特有の所定品質（以下、ＲＯＩ品質とも称する）で符号化させるのか、或いはＲＯＩ品質よりも低い低品質で符号化させるのかを示す情報と、を含むＲＯＩ情報Ｄ０４を生成し、画像符号化部Ｕ２に供給する。
【００１９】
画像符号化部Ｕ２は、ＲＯＩ情報Ｄ０４に基づき、入力画像信号Ｄ１２中においてＲＯＩ品質で符号化させるＲＯＩと、ＲＯＩ品質よりも低品質で符号化させるＲＯＩと、を異なる品質で圧縮して得られたビットストリーム信号Ｄ０８を出力する。具体的には画像符号化部Ｕ２は、ＲＯＩ品質で符号化させるＲＯＩに対しては、所定の符号化ビット数よりも多いビット数を割り当てて符号化を施す。一方、ＲＯＩ品質よりも低い低品質で符号化させるＲＯＩに対しては、画像符号化部Ｕ２は、当該所定の符号化ビット数よりも少ないビット数を割り当てて符号化を施す。
【００２０】
ＲＯＩ検出部Ｕ１は、図１に示すように、ＲＯＩトラッキング部１０１、ＲＯＩ判定部１０４、及び判定記録情報蓄積部１０５を含む。
【００２１】
ＲＯＩトラッキング部１０１は、例えば顔検出アルゴリズムを適用することで、入力画像信号Ｄ１２中からＲＯＩを検出及びトラッキングし、検出したＲＯＩの位置や大きさ、ＲＯＩ識別子等を表す情報をトラッキングによって更新したＲＯＩ初期情報Ｄ０１を生成する。ＲＯＩトラッキング部１０１は、ＲＯＩ初期情報Ｄ０１をＲＯＩ判定部１０４に供給する。尚、ＲＯＩ識別子とは、ピクチャ内で検出される１個以上のＲＯＩを識別するためにＲＯＩトラッキング部１０１で付与されるものであり、キャプチャ時刻が異なるピクチャに亘り同一のＲＯＩには同一のＲＯＩ識別子が付される。例えば、ＲＯＩトラッキング部１０１は、ある人物の顔領域を示すＲＯＩに”Ｉ”というＲＯＩ識別子を付与した場合、次時刻のピクチャで当該人物が移動していたとしても、当該人物の顔領域を示すＲＯＩには引き続き”Ｉ”というＲＯＩ識別子を付与するものとする。本提案では、ＲＯＩ識別子が付与されたＲＯＩを時間経過と共に追跡するという意味で、トラッキングという用語を用いている。要するに、ＲＯＩトラッキング部１０１は、入力画像信号Ｄ１２から未検出の新たなＲＯＩを検出する度に、このＲＯＩを識別するＲＯＩ識別子を当該ＲＯＩに対応付けして付与するのである。なお、上記例において、ＲＯＩトラッキング部１０１は、入力画像信号Ｄ１２を用いてＲＯＩをトラッキングするように記載しているが、それとは異なる手段でＲＯＩをトラッキングしても構わない。例えば、前述の顔検出アルゴリズムを使用する他に、手動でＲＯＩの領域を指定するユーザインタフェースを使用する、あるいは赤外線カメラで撮影した画像や深度センサで撮影した画像を使用してＲＯＩをトラッキングする方法でも構わない。この場合、入力画像信号Ｄ１２はＲＯＩトラッキング部１０１に入力されず、赤外線カメラで撮影した画像や深度センサで撮影した画像にかかる信号が入力される。
【００２２】
ＲＯＩ判定部１０４は、判定記録情報Ｄ０５に基づき、ＲＯＩ初期情報Ｄ０１にて示されるＲＯＩ毎に、そのＲＯＩを、後段の画像符号化部Ｕ２においてＲＯＩ品質で符号化させるのか否かを判定する。ここで、ＲＯＩ判定部１０４は、ＲＯＩ品質で符号化すると判定した場合には、ＲＯＩ品質での符号化を促す情報をＲＯＩに対応付けして表す情報Ｄ０４を生成する。一方、ＲＯＩ品質で符号化しないと判定された場合には、ＲＯＩ判定部１０４は、ＲＯＩ品質よりも低い低品質での符号化を促す情報をＲＯＩに対応付けして表すＲＯＩ情報Ｄ０４を生成する。ＲＯＩ判定部１０４は、このＲＯＩ情報Ｄ０４を判定記録情報蓄積部１０５及び画像符号化部Ｕ２に供給する。
【００２３】
判定記録情報蓄積部１０５は、ＲＯＩ情報Ｄ０４を蓄積し、蓄積した情報を判定記録情報Ｄ０５としてＲＯＩ判定部１０４に供給する。
【００２４】
画像符号化部Ｕ２は、図１に示すように、フィルタ部４０６、圧縮部４０７、及びビットストリーム伝送部４０８を含む。
【００２５】
フィルタ部４０６は、入力画像信号Ｄ１２及びＲＯＩ情報Ｄ０４を受け、入力画像信号Ｄ１２にて表される画素値の系列のうちで、ＲＯＩ情報Ｄ０４にて背景領域に分類される画素値に対しては、例えばガウシアンフィルタ等によって畳み込み処理を施すことにより、高周波成分を抑圧したフィルタ画像信号Ｄ０６を得る。
【００２６】
圧縮部４０７は、フィルタ画像信号Ｄ０６を、ＪＰＥＧ（Joint Photographic Experts Group）や、Ｈ．２６４／ＭＰＥＧ（Moving Picture Experts Group）−４  ＡＶＣ（Advanced Video Coding）、或いはＨ．２６５／ＭＰＥＧ−Ｈ ＨＥＶＣ（High Efficiency Video Coding）などの画像符号化方式を用いて圧縮した映像圧縮データＤ０７を生成し、これをビットストリーム伝送部４０８に供給する。
【００２７】
ビットストリーム伝送部４０８は、ＲＯＩ情報Ｄ０４及び映像圧縮データＤ０７を多重化したビットストリーム信号Ｄ０８を生成する。
【００２８】
以下に、図１に示すＲＯＩ検出部Ｕ１の内部動作を、図２及び図３に示されるフローチャートに沿って具体的に説明する。
【００２９】
先ず、ＲＯＩトラッキング部１０１が、入力画像信号Ｄ１２からＲＯＩを検出及びトラッキングすることにより、ＲＯＩの位置や大きさ、ＲＯＩ識別子等を表す情報を取得しこれをＲＯＩ初期情報Ｄ０１として生成する（ステップＰ１０）。尚、ＲＯＩには、例えば顔領域があり、顔領域の検出は例えばＨａａｒ−ｌｉｋｅ特徴量を用いた識別を領域毎に行うことにより実現することができる。
【００３０】
次に、ＲＯＩ判定部１０４が、ＲＯＩ初期情報Ｄ０１のうちから判定処理の対象とするＲＯＩ識別子を一つ選択し、選択したＲＯＩ識別子をＲＯＩ識別子Ｘとして内蔵レジスタに格納する（ステップＰ１１）。
【００３１】
次に、ＲＯＩ判定部１０４が、判定記録情報Ｄ０５に基づき、ＲＯＩ識別子Ｘが示すＲＯＩをＲＯＩ品質で符号化するか否かを判定する（ステップＰ１２）。尚、ここで、ＲＯＩ判定部１０４は、現時点よりも前に、ＲＯＩ識別子Ｘが示すＲＯＩをＲＯＩ品質で符号化すると判定したことがあるか否かを判定記録情報Ｄ０５に基づき判定し、既にＲＯＩ品質で符号化すると判定したことがあるＲＯＩに対してはＲＯＩ品質で符号化しないと判定し、それ以外の場合は、ＲＯＩ品質で符号化すると判定する。
【００３２】
次に、ＲＯＩ判定部１０４は、ＲＯＩ識別子Ｘが示すＲＯＩをＲＯＩ品質で符号化すると判定した場合には、以下のステップＰ１４の実行に移行する一方、ＲＯＩ識別子Ｘが示すＲＯＩをＲＯＩ品質で符号化しないと判定した場には，以下のステップＰ１５の実行に移行する（ステップＰ１３）。
【００３３】
ステップＰ１４では、ＲＯＩ判定部１０４は、ＲＯＩ識別子Ｘが示すＲＯＩに対しては、ＲＯＩ品質よりも低い低品質での符号化を促すＲＯＩ情報Ｄ０４を生成する。一方、ステップＰ１５では、ＲＯＩ判定部１０４は、ＲＯＩ識別子Ｘが示すＲＯＩに対しては、ＲＯＩ品質での符号化を促すＲＯＩ情報Ｄ０４を生成する。
【００３４】
ステップＰ１４又はＰ１５の実行後、ＲＯＩ判定部１０４は、ＲＯＩ初期情報Ｄ０１のうちから、上記した判定処理の対象として未だ選択されていないＲＯＩ識別子が存在するか否かを判定する（ステップＰ１６）。
【００３５】
ステップＰ１６において未だ選択されていないＲＯＩ識別子が存在すると判定された場合、ＲＯＩ判定部１０４は、この未選択のＲＯＩ識別子のうちから、次に判定処理の対象とするＲＯＩ識別子を一つ選択し、選択したＲＯＩ識別子を新たにＲＯＩ識別子Ｘとする（ステップＰ１７）。ステップＰ１７の実行後、ＲＯＩ判定部１０４は、上記したステップＰ１２の実行に戻り、再び前述したステップＰ１２〜Ｐ１６の動作を行う。
【００３６】
一方、上記ステップＰ１６において、未選択のＲＯＩ識別子が存在しないと判定された場合、ＲＯＩ判定部１０４は、ＲＯＩ情報Ｄ０４を画像符号化部Ｕ２に供給する（ステップＰ１８）。
【００３７】
そして、判定記録情報蓄積部１０５が、当該ＲＯＩ情報Ｄ０４を判定記録として蓄積する（ステップＰ１９）。
【００３８】
よって、以降、判定記録情報蓄積部１０５にて記録される過去の判定記録に基づき、ＲＯＩ判定部１０４が前述したステップＰ１２で判定処理を行うのである。なお、判定記録情報蓄積部１０５の記録データ数（記録期間）については、Ｎピクチャ（Ｎは１以上の整数）分に限定しても良い。この場合、その記録期間が過ぎると、例え過去にＲＯＩ品質で符号化されていても、再びＲＯＩ判定部１０４においてＲＯＩ品質で符号化させるように判定される。
【００３９】
以上、詳述したように、図１に示す第１の実施例では、一度高品質で符号化したＲＯＩに対しては、それ以降は、多くのビット数を用いるＲＯＩ品質に代えて、ビット数が少ない低品質での符号化に切り替えるように制御している。これにより、多数のＲＯＩやサイズが大きなＲＯＩで画面内が埋め尽くされるような画像シーンが時間的に連続したとしても、ビットストリーム信号Ｄ０８のデータ容量を抑えることが可能となる。
【実施例２】
【００４０】
図４は、画像処理システムＳ１の第２の実施例の構成を示すブロック図である。尚、  図４に示す画像処理システムＳ１では、図１に示すＲＯＩ検出部Ｕ１に代えてＲＯＩ検出部Ｕ１ａを採用し、同期バッファ２０６を新たに設けた点を除く他の構成は、図１に示されるものと同一である。つまり、図４に示される画像符号化部Ｕ２の内部構成及び動作は、図１に示される画像符号化部Ｕ２と同一である。
【００４１】
図４において、同期バッファ２０６は、入力画像信号Ｄ１２を受けてバッファリングした後に、これを所定時間だけ遅延させた信号を同期画像信号Ｄ０６として画像符号化部Ｕ２のフィルタ部４０６に供給する。尚、所定時間とは、ＲＯＩ検出部Ｕ１ａに含まれる先読バッファ２０３での遅延時間に対応した時間である。つまり、同期バッファ２０６は、ＲＯＩ検出部Ｕ１ａが画像符号化部Ｕ２に供給するＲＯＩ情報Ｄ０４と、入力画像信号Ｄ１２と、の間で画像の同期を取るために設けられたものである。
【００４２】
ＲＯＩ検出部Ｕ１ａは、図１に示されるＲＯＩ判定部１０４に代えてＲＯＩ判定部１０４ａを採用し、新たにＲＯＩ有用度付与部２０２及び先読バッファ２０３を設けたものである。尚、図４に示すＲＯＩトラッキング部１０１及び判定記録情報蓄積部１０５については、図１に示されるものと同一であるので、その説明は省略する。尚、図４に示される画像処理システムＳ１では、上記した入力画像信号Ｄ１２と共に、ＲＯＩの有用度を算出する際に必要となるＲＯＩのサイズの上限を示す上限サイズＬＱを指定する必要サイズ情報Ｄ１３を受ける。
【００４３】
ＲＯＩ有用度付与部２０２は、必要サイズ情報Ｄ１３を参照しつつ、ＲＯＩ毎に有用度を求め、各ＲＯＩに対応付けしてその有用度を付与したＲＯＩ二次情報Ｄ０２を生成し、先読バッファ２０３に供給する。
【００４４】
先読バッファ２０３は、ＲＯＩ二次情報Ｄ０２を所定のピクチャ分ずつバッファリングし、バッファリングされたＲＯＩ二次情報Ｄ０２に基づき、ＲＯＩ判定対象情報Ｄ０３Ａ及びＲＯＩ先読情報Ｄ０３Ｂを生成して、ＲＯＩ判定部１０４ａに供給する。
【００４５】
ＲＯＩ判定部１０４ａは、判定記録情報Ｄ０５とＲＯＩ先読情報Ｄ０３Ｂとに基づき、ＲＯＩ判定対象情報Ｄ０３Ａに含まれるＲＯＩ毎に、そのＲＯＩを、後段の画像符号化部Ｕ２にてＲＯＩ品質で符号化させるのか否かを判定する。ここで、ＲＯＩ判定部１０４ａは、ＲＯＩ品質で符号化させると判定した場合には、ＲＯＩ品質での符号化を促す情報をＲＯＩに対応付けして表す情報Ｄ０４を生成する。一方、ＲＯＩ品質で符号化しないと判定された場合には、ＲＯＩ判定部１０４ａは、ＲＯＩ品質よりも低い低品質での符号化を促す情報をＲＯＩに対応付けして表す情報Ｄ０４を生成する。
【００４６】
なお、本実施例では、ＲＯＩ有用度付与部２０２が、必要サイズ情報Ｄ１３を用いる場合の構成例を示しているが、当該ＲＯＩ有用度付与部２０２が必要サイズ情報Ｄ１３を考慮せずにＲＯＩの有用度を計算する場合には、必要サイズ情報Ｄ１３は不要となる。
【００４７】
以下に、図４に示すＲＯＩ検出部Ｕ１ａの動作について、図５及び図６に示されるフローチャートに沿って具体的に説明する。
【００４８】
先ず、ＲＯＩトラッキング部１０１が、入力画像信号Ｄ１２からＲＯＩを検出及びトラッキングすることにより、ＲＯＩの位置、大きさ、姿勢、及びＲＯＩ識別子等を表す情報を取得し、これをＲＯＩ初期情報Ｄ０１として出力する（ステップＰ１０）。尚、ＲＯＩ初期情報Ｄ０１は、後述するＲＯＩ有用度付与部２０２でおこなう有用度の計算に必要な情報を含むこととする。
【００４９】
次に、ＲＯＩ有用度付与部２０２が、必要サイズ情報Ｄ１３や、ＲＯＩ初期情報Ｄ０１に含まれるＲＯＩの大きさや姿勢を示す情報に基づき、ＲＯＩ識別子毎にそのＲＯＩの有用度を計算し、この有用度を示す情報をＲＯＩ初期情報Ｄ０１に加えたものを、ＲＯＩ二次情報Ｄ０２として生成する（ステップＰ２１）。
【００５０】
尚、有用度Ｕの計算としては、例えば以下の計算方法１〜３を用いる。
［計算方法１］
有用度Ｕを以下に示すようにＲＯＩのサイズＬ（Ｌは正の実数）の関数ｆとする。
【００５１】
Ｕ＝ｆ（Ｌ）
尚、ＲＯＩのサイズＬとして、例えば以下の６通りのうちの１つを用いる。
【００５２】
Ｌ＝Ｈ
Ｌ＝Ｗ
Ｌ＝ｍｉｎ（Ｈ、Ｗ）
Ｌ＝ｍａｘ（Ｈ、Ｗ）
Ｌ＝Ｈ×Ｗ
Ｌ＝Ｈ＋Ｗ
Ｈ：画面の縦方向（垂直方向）における画素数
Ｗ：画面の横方向（水平方向）における画素数
ここで、関数ｆは例えば以下の数式にて表される。
【００５３】
ｆ（Ｌ）＝α1×Ｌ＋β1
α1、β1：所定の定数
また、関数ｆとしては、任意の非線形関数を採用しても良い。例えば、サイズＬと有用度Ｕとの対応関係を表すルックアップテーブルを使用することで、任意の形状の関数ｆを定義できる。
【００５４】
この際、画像処理システムＳ１が、監視カメラで撮影された監視画像を処理対象とする場合、ＲＯＩの大きさが大きければ大きいほど有用と考えられる。よって、関数ｆとしては、ＲＯＩのサイズＬが大きいほど有用度Ｕが大きくなる関数を採用する。
【００５５】
また、画像処理システムＳ１から出力されたビットストリーム信号Ｄ０８を復号する復号側において、例えば顔認証や認識等の後処理を行うことを想定した場合、後処理で必要とする画像のサイズが予め決まっている場合がある。例えば、後処理として、上限サイズＬＱの顔画像を認証できる認証プログラムを実行することを想定した場合、自身のサイズが上限サイズＬＱ以上のＲＯＩはデータ量の増加を招くだけで、その必要性は低い。
【００５６】
このような場合、関数ｆとしては、例えば図７に示すように、ＲＯＩのサイズＬが上限サイズＬＱ未満ではサイズＬが大きいほど有用度Ｕが大きくなり、ＲＯＩのサイズＬが上限サイズＬＱ以上では有用度Ｕが定数Ｑで一定となるものを採用する。また、関数ｆとしては、図８又は図９に示すようにＲＯＩのサイズＬが上限サイズＬＱ未満ではサイズＬが大きいほど有用度Ｕが大きくなり、ＲＯＩのサイズＬが上限サイズＬＱの場合には有用度Ｕが定数Ｑよりも大きいＱＭとなり、ＲＯＩのサイズＬが上限サイズＬＱよりも大きい場合には、サイズＬが大きくなるほど有用度Ｕが低下するものを採用しても良い。尚、関数ｆとして図８に示されるものを採用した場合、ＲＯＩのサイズＬが上限サイズＬＱよりも大きいほど有用度Ｕが低下するものの、その値が定数Ｑを下回ることは無い。一方、関数ｆとして図９に示されるものを採用した場合、ＲＯＩのサイズＬが上限サイズＬＱよりも大きいほど有用度Ｕが低下し、そのサイズＬがＬＱｍを超えると有用度Ｕは定数Ｑを下回る。
【００５７】
なお、図７又は図８に示す関数ｆでは線形関数を採用しているが、同様の目的を達成可能な任意の非線形関数を採用しても良い。要するに、例えば上限サイズＬＱを境に増加関数から、減少関数または一定な関数に転じる関数であれば良いのである。
【００５８】
ここで、上限サイズＬＱは、上述したように必要サイズ情報Ｄ１３によって指定される。
［計算方法２］
有用度Ｕを以下に示すように、ＲＯＩの姿勢を数値化として表す姿勢パラメータＱの関数ｇとする。姿勢パラメータＱは、例えばＲＯＩ（例えば人の顔）の正面を最小の角度０とした場合における実際のＲＯＩの３軸方向でのズレ角、つまりピッチ、ヨー又はロールを表す。
【００５９】
Ｕ＝ｇ（Ｑ）
尚、ＲＯＩの姿勢パラメータＱとしては、例えば以下の７通りのうちの１つを用いる。
【００６０】
Ｑ＝Ｐ
Ｑ＝Ｙ
Ｑ＝Ｒ
Ｑ＝ｍｉｎ（Ｐ、Ｙ、Ｒ）
Ｑ＝ｍａｘ（Ｐ、Ｙ、Ｒ）
Ｑ＝Ｐ×Ｙ×Ｒ
Ｑ＝Ｐ＋Ｙ＋Ｒ
Ｐ：ピッチ（度）
Ｙ：ヨー（度）
Ｒ：ロール（度）
ここで、関数ｇは例えば以下の数式にて表される。
【００６１】
ｇ（Ｑ）＝（−α2）×Ｑ＋β2
α2、β2：所定の定数
また、関数ｇとしては、任意の非線形関数を採用しても良い。例えば、姿勢パラメータＱと有用度Ｕとの対応関係を表すルックアップテーブルを使用することで、任意の形状の関数ｇを定義できる。
【００６２】
この際、画像処理システムＳ１が、監視カメラで撮影された監視画像を処理対象とする場合、ＲＯＩのピッチ、ヨー又はロールが大きい、つまり真正面に対するズレが大きいほど、有用性が低下すると考えられるので、関数ｇを姿勢パラメータＱが大きいほど小さくなる減少関数を採用する。
［計算方法３］
上記した関数ｆ及び関数ｇを組み合わせて、有用度Ｕを次式に基づいて求める。
【００６３】
Ｕ＝ｈ［ｆ（Ｌ）、ｇ（Ｑ）］
尚、関数ｈとして、例えば
ｈ［ｆ（Ｌ）、ｇ（Ｑ）］＝α3×ｆ（Ｌ）＋β3×ｇ（Ｑ）
α3、β3：所定の定数
或いは、
ｈ［ｆ（Ｌ）、ｇ（Ｑ）］＝α3×ｆ（Ｌ）×β3×ｇ（Ｑ）
を採用する。
【００６４】
また、関数ｈとしては、任意の非線形関数を採用しても良い。
【００６５】
この際、画像処理システムＳ１が、監視カメラで撮影された監視画像を処理対象とする場合、ｆ（Ｌ）、ｇ（Ｑ）が大きいほど有用度が高いので、ｆ（Ｌ）で得られる値が同一であるならばｇ（Ｑ）が大きいほど有用度Ｕが大きくなるような関数を採用する。また、ｇ（Ｑ）で得られる値が同一であるならば、ｆ（Ｌ）が大きいほど有用度Ｕが大きくなる関数を採用する。
【００６６】
ステップＰ２１にて有用度Ｕの算出が終了すると、次に、先読バッファ２０３が、所定量のＲＯＩ二次情報Ｄ０２を蓄積し、蓄積したＲＯＩ二次情報Ｄ０２から、ＲＯＩ判定対象情報Ｄ０３Ａ及びＲＯＩ先読情報Ｄ０３Ｂをそれぞれ生成して出力する（ステップＰ２２）。
【００６７】
以下に、ステップＰ２２において先読バッファ２０３が行うＲＯＩ判定対象情報Ｄ０３Ａ及びＲＯＩ先読情報Ｄ０３Ｂの生成動作について、図１０に示される動作概念図を参照しつつ説明する。
【００６８】
先読バッファ２０３は、例えばＦＩＦＯ（Ｆｉｒｓｔ  Ｉｎ  Ｆｉｒｓｔ  Ｏｕｔ）の待ち行列としてのキューとして動作し、新しいデータがエンキューされると最も古いデータがデキューされる。先読バッファ２０３は、予め定められたピクチャ分のデータ片（例えば図１０では５ピクチャ分のデータ１〜５）だけＲＯＩ二次情報Ｄ０２を蓄積し、デキューされる最も古いデータ片をＲＯＩ判定対象情報Ｄ０３Ａとして生成し、それ以外のバッファ内のデータ片をＲＯＩ先読情報Ｄ０３Ｂとして生成する。この際、ＲＯＩ判定対象情報Ｄ０３Ａから眺めると、ＲＯＩ先読み情報Ｄ０３Ｂは未来の情報に相当する。尚、予め動画像を構成するピクチャのシーケンスを複数枚のピクチャ単位でグループ化し、ＲＯＩ先読情報Ｄ０３Ｂとして出力する情報としては、ＲＯＩ判定対象情報Ｄ０３Ａに対応するピクチャと同じグループに属するピクチャの情報に限定するようにしても良い。
【００６９】
ステップＰ２２にて上記したＲＯＩ判定対象情報Ｄ０３Ａ及びＲＯＩ先読情報Ｄ０３Ｂが生成されると、次に、ＲＯＩ判定部１０４ａが、ＲＯＩ判定対象情報Ｄ０３Ａから処理対象とするＲＯＩ識別子を一つ選択し、選んだＲＯＩ識別子をＲＯＩ識別子Ｘとする（ステップＰ１１ａ）。
【００７０】
次に、ＲＯＩ判定部１０４ａは、ＲＯＩ先読情報Ｄ０３Ｂ及び判定記録情報Ｄ０５に基づき、ＲＯＩ識別子Ｘが示すＲＯＩを、ＲＯＩ品質で符号化するか否かを判定する（ステップＰ１２ａ）。
【００７１】
ステップＰ１２ａで為される判定方法としては、例えば以下の判定方法１〜４がある。［判定方法１］
ＲＯＩ判定対象情報Ｄ０３Ａに含まれるＲＯＩ識別子Ｘの有用度よりも、ＲＯＩ先読情報Ｄ０３Ｂに含まれるＲＯＩ識別子Ｘの有用度が高い場合には、ＲＯＩ識別子Ｘが指すＲＯＩについてはＲＯＩ品質で符号化しないと判定する。それ以外の場合、ＲＯＩ品質で符号化すると判定する。なお、判定方法１を採用する場合、図４に示される判定記録情報蓄積部１０５及び判定記録情報蓄積部１０５は不要となる。
［判定方法２］
ＲＯＩ判定対象情報Ｄ０３Ａに含まれるＲＯＩ識別子Ｘの有用度よりも、ＲＯＩ先読情報Ｄ０３Ｂに含まれるＲＯＩ識別子Ｘの有用度が高い場合、ＲＯＩ識別子Ｘが指すＲＯＩについてはＲＯＩ品質で符号化しないと判定する。ただし、それ以外の場合でも、判定記録情報Ｄ０５に基づき、ＲＯＩ識別子Ｘが示すＲＯＩを過去にＲＯＩ品質で符号化すると判定したことがあるか否かを判定し、過去にＲＯＩ品質で符号化すると判定したことがあるＲＯＩについてはＲＯＩ品質で符号化しないと判定する。それ以外の場合、ＲＯＩ品質で符号化すると判定する。
［判定方法３］
ＲＯＩ判定対象情報Ｄ０３Ａに含まれるＲＯＩ識別子Ｘの有用度よりも、ＲＯＩ先読情報Ｄ０３Ｂに含まれるＲＯＩ識別子Ｘの有用度が高い場合、ＲＯＩ識別子Ｘが指すＲＯＩについてはＲＯＩ品質で符号化しないと判定する。ただし、それ以外の場合でも、判定記録情報Ｄ０５に基づき、ＲＯＩ識別子Ｘが示すＲＯＩを過去にＲＯＩ品質で符号化すると判定したことがあるか否かを判定し、過去にＲＯＩ品質で符号化すると判定しており且つＲＯＩ判定対象情報Ｄ０３Ａに含まれるＲＯＩ識別子Ｘの有用度が、過去にＲＯＩ品質で符号化すると判定したときの有用度よりも低い場合に、当該ＲＯＩについてはＲＯＩ品質で符号化しないと判定する。それ以外の場合は、ＲＯＩ品質で符号化すると判定する。尚、判定方法３を採用した場合、判定記録部１０５は、判定記録の一部として、その判定を実施したときの有用度も併せて蓄積し、判定記録情報Ｄ０５として出力する。
［判定方法４］
上記した判定方法１〜３のいずれかと組み合わせる。例えば判定方法１〜３においてＲＯＩ品質で符号化しないと判定される条件を満たしていたとしても、ＲＯＩ識別子Ｘが指すＲＯＩが初めてピクチャに登場したときや、ＲＯＩ品質で符号化すると判定してから所定数分の連続するピクチャに対応した時間が経過している場合にはＲＯＩ品質で符号化すると判定する。なお、判定方法４を採用する場合、図４に示す判定記録情報蓄積部１０５は、ＲＯＩ判定部１０４ａがＲＯＩ品質で符号化すると判定した時点から何ピクチャ経過したかを示す時間情報も併せて蓄積する。
【００７２】
ステップＰ１２ａにてＲＯＩをＲＯＩ品質で符号化させるか否かの判定が終了すると、ＲＯＩ判定部１０４ａは、ＲＯＩ識別子Ｘが示すＲＯＩをＲＯＩ品質で符号化すると判定した場合には、ステップＰ１４の実行に移行する一方、ＲＯＩ識別子Ｘが示すＲＯＩをＲＯＩ品質で符号化しないと判定した場には、ステップＰ１５の実行に移行する（ステップＰ１３）。
【００７３】
尚、図６に示されるステップＰ１４〜Ｐ１８にて為される動作については、これをＲＯＩ判定部１０４に代えてＲＯＩ判定部１０４ａが実行する点を除き、図３に示されるもの同一である。更に、図６に示されるステップＰ１９にて為される動作についても図３に示されるステップＰ１９と同様である。よって、図６に示されるステップＰ１４〜Ｐ１９の動作については、その説明を省略する。
【００７４】
以上、詳述したように、図４に示す第２の実施例では、ＲＯＩの有用度を計算し、有用度に基づき高品質に符号化するか否かを選択していることで、ビットストリーム信号Ｄ０８のデータ容量を抑えつつ、監視や後処理の認証や認識処理の精度向上を図ることが可能となる。
【実施例３】
【００７５】
図１１は、画像処理システムＳ１の第３の実施例の構成を示すブロック図である。尚、  図１１に示す画像処理システムＳ１では、図４に示すＲＯＩ検出部Ｕ１ａに代えてＲＯＩ検出部Ｕ１ｂを採用し、符号量監視部３１０を新たに設けた点を除く他の構成は、図４に示されるものと同一である。また、ＲＯＩ検出部Ｕ１ｂでは、先読バッファ２０３及びＲＩＯ判定部１０４ａに代えて先読バッファ２０３ａ及びＲＩＯ判定部１０４ｂを採用し、モード判定部３１１を新たに追加した点を除く他の構成は、図４に示すものと同一である。よって、以下に図４に示す構成との差分を中心に図１１に示される画像処理システムＳ１について説明する。
【００７６】
符号量監視部３１０は、ビットストリーム信号Ｄ０８を受け、そのビットストリームの長さを検出することで実際の符号量を監視し、その符号量を示す実測符号量Ｄ１０をＲＯＩ検出部Ｕ１ｂのモード判定部３１１に供給する。
【００７７】
モード判定部３１１は、実測符号量Ｄ１０と、符号量を設定する為の符号量を示す設定符号量情報Ｄ１４と、を受ける。モード判定部３１１は、これら実測符号量Ｄ１０及び設定符号量情報Ｄ１４に基づき、ＲＯＩ検出部Ｕ１ｂを動作させる動作モードとして、通常モード又は抑制モードを決定し、その動作モードを示すモード情報Ｄ１１をＲＯＩ判定部１０４ｂに供給する。
【００７８】
先読バッファ２０３ａは、予め定められたピクチャ分のデータ片（例えば図１０では５ピクチャ分のデータ１〜５）だけＲＯＩ二次情報Ｄ０２を蓄積し、デキューされる最も古いデータ片をＲＯＩ判定対象情報Ｄ０３Ａとして生成し、これをＲＯＩ判定部１０４ｂに供給する。
【００７９】
ＲＯＩ判定部１０４ｂは、モード情報Ｄ１１が通常モードを示す場合には、ＲＯＩ判定対象情報Ｄ０３Ａが示す全てのＲＯＩをＲＯＩ品質で符号化させることを表すＲＯＩ情報Ｄ０４を生成し、これを判定記録情報蓄積部１０５及び画像符号化部Ｕ２に供給する。一方、モード情報Ｄ１１が抑制モードを示す場合には、ＲＯＩ判定部１０４ｂは、ＲＯＩ判定部１０４ａと同様な方法で、判定記録情報Ｄ０５に基づき、ＲＯＩ判定対象情報Ｄ０３Ａに含まれる各ＲＯＩをＲＯＩ品質で符号化させる否かを判定する。ここで、ＲＯＩ判定部１０４ｂは、ＲＯＩ品質で符号化すると判定した場合には、ＲＯＩ品質での符号化を促す情報をＲＯＩに対応付けして表す情報Ｄ０４を生成する。一方、ＲＯＩ品質で符号化しないと判定された場合には、ＲＯＩ判定部１０４ｂは、ＲＯＩ品質よりも低い低品質での符号化を促す情報をＲＯＩに対応付けして表す情報Ｄ０４を生成する。なお、図４に示す第２の実施例に対して、図１１に示す第３の実施例で新たに追加された構成（１０４ｂ、３００、３１１）だけを図１に示す第１の実施例の構成に加えるようにしても良い。
【００８０】
以下に、図１１に示すＲＯＩ検出部Ｕ１ｂ及び符号量監視部３１０で実施される動作について、図１２及び図１３に示されるフローチャートに沿って具体的に説明する。
【００８１】
先ず、符号量監視部３１０が、画像符号化部Ｕ２から出力されたビットストリーム信号Ｄ０８に基づきビットストリームの符号量を監視し、この符号量を示す実測符号量Ｄ１０を生成してＲＯＩ検出部Ｕ１ｂのモード判定部３１１に供給する（ステップＰ３１）。
【００８２】
尚、符号量監視部３１０は、例えば、以下のような符号量算出方法１又は２によって実測符号量Ｄ１０を取得する。
［符号量算出方法１］
以下の数式に示されるように、ビットストリーム信号Ｄ０８におけるＭ個（Ｍは２以上の整数）の連続するピクチャに対応するビットストリームの長さを加算した値、又はＭ個の連続するピクチャに対応するビットストリームの長さの平均値、或いはその平均値を、定数Ｃを使って定数倍した値を符号量Ａとして算出する。
【００８３】
【数１】
2018093323.tif 000003
Ｖi：Ｍ個のピクチャのうちのｉ番目のピクチャのビットストリームの長さ
Ｃ：定数
すなわち、符号量算出方法１では、部分ピクチャベースで符号量を算出する。
［符号量算出方法２］
以下の数式に示されるように、符号化した全ピクチャ数をＫ（Ｋは２以上の整数）個とした場合に、Ｋ個のピクチャに夫々対応するビットストリームの長さを加算した値、又はＫ個のピクチャに夫々対応するビットストリームの長さの平均値、および平均値を、定数Ｃを使って定数倍した値を符号量Ｂとして算出する。
【００８４】
【数２】
2018093323.tif 000004
Ｖi：Ｋ個のピクチャのうちのｉ番目のピクチャのビットストリームの長さ
Ｃ：定数
すなわち、符号量算出方法２では、総ピクチャベースで符号量を算出する。
【００８５】
符号量監視部３１０は、上記した符号量Ａ及びＢのうちの一方、或いは双方を表す実測符号量Ｄ１０を、モード判定部３１１に供給する。ここで、実測符号量Ｄ１０をどのように算出するのかは、後述するようにモード判定部３１１でのモード判定方法に依存する。
【００８６】
ステップＰ３１にて、符号量の算出が終了すると、引き続きステップＰ１０、Ｐ２１、Ｐ２２が順に実施される。尚、ステップＰ１０、Ｐ２１、Ｐ２２での一例の動作は、図５に示すものと同一であるので、これらステップＰ１０、Ｐ２１、Ｐ２２各々での動作説明は省略する。
【００８７】
ここで、ステップＰ２２が終了すると、モード判定部３１１が、実測符号量Ｄ１０と設定符号量情報Ｄ１４とを比較することで、動作モードとして通常モード及び抑制モードのうちの一方を決定し、決定した動作モードを表すモード情報Ｄ１１を生成する（ステップＰ３２）。
【００８８】
尚、動作モードは、例えば以下の動作モード決定方法１〜３によって決定される。
［動作モード決定方法１］
実測符号量Ｄ１０が設定符号量情報Ｄ１４よりも大きければ抑制モードと判定し、それ以外の場合に通常モードと判定する。
［動作モード決定方法２］
通常モード及び抑制モードのうちの一方を初期のモードとして設定しておき、実測符号量Ｄ１０が設定符号量情報Ｄ１４よりも大きい場合、或いは実測符号量Ｄ１０が、設定符号量情報Ｄ１４からゼロを含む一定量差し引いた値よりも小さい場合に抑制モードに移行し、それ以外の場合はモードを据え置く。
［動作モード決定方法３］
通常モード及び抑制モードのうちの一方を初期の動作モードとして設定しておき、実測符号量Ｄ１０のうちで、部分ピクチャベースにて算出した符号量Ａが、部分ピクチャベースに対応する設定符号量情報Ｄ１４よりも大きければ抑制モードに移行する。また、実測符号量Ｄ１０のうちで部分ピクチャベースの符号量Ａが、部分ピクチャベースに対応する設定符号量情報Ｄ１４からゼロを含む一定量差し引いた値よりも小さく、且つ実測符号量Ｄ１０のうちで総ピクチャベースの符号量Ｂが、総ピクチャベースに対応する設定符号量情報Ｄ１４からゼロを含む一定量差し引いた値よりも小さい場合に通常モードに移行する。それ以外の場合には、モードを据え置く。
【００８９】
なお、例えばビットレートを監視し、映像品質パラメータを制御することでビットレートを一定に保とうとするレート制御等のような他のモード制御機構と連動させて、抑制モードへの移行を制御してもよい。例えば、Ｈ．２６４／ＭＰＥＧ−４  ＡＶＣに準拠したエンコーダのレート制御アルゴリズムに連動させる場合には、規格で定められている量子化パラメータの最大値（最も符号量が小さくなる値）は”５１”である。そこで、抑制モードを実施する条件を量子化パラメータ”５２”としてレート制御アルゴリズムに加えることで、抑制モードへの移行を制御する。この場合、量子化パラメータが”０”から”５１”までのときが通常モードとなる。なお、モード判定部３１１のモード判定は、ピクチャ毎に判定するのではなく、所定数のピクチャ毎に判定しても良い。
【００９０】
ステップＰ３２においてモード情報Ｄ１１の生成が終了すると、ＲＯＩ判定部１０４ｂは、モード情報Ｄ１１が抑制モードを示すか否かを判定し、抑制モードを示すと判定された場合にはステップＳ１２の実行に移行する一方、抑制モードを示さないと判定された場合には以下のステップＰ３４の実行に移行する（ステップＰ３３）。尚、ステップＳ１２及びそれ以降に実施されるステップＰ１２〜Ｐ１９各々の動作は、図３に示すものと同一であるので、これらステップＰ１２〜Ｐ１９各々での動作説明は省略する。
【００９１】
ステップＰ３４では、ＲＯＩ判定部１０４ｂは、ＲＯＩ判定対象情報Ｄ０３Ａが示す全てのＲＯＩをＲＯＩ品質での符号化を促すＲＯＩ情報Ｄ０４を生成する。ステップＰ３４の実行後、ＲＯＩ判定部１０４ｂは、ステップＰ１８の実行に移る。
【００９２】
尚、図１２及び図１３に示すフローチャートではステップＰ３１を最も初めに実行しているが、ステップＰ３２よりも前であれば、必ずしも最初に実行する必要はない。
【００９３】
詳述したように、図１１に示す第３の実施例では、設定符号量情報Ｄ１４を指標にモードを制御していることで、符号量に余裕がある場合には通常のビット配分を行い（通常モード）、符号量に余裕がない場合にのみ第１の実施例や第２の実施例で示した方法を用いて符号量の抑制を図る（抑制モード）ようにしている。これにより、符号量の超過を防ぎつつ、監視や後処理の認証や認識処理の精度向上が実現できるとともに、符号量に余裕がある限りにおいて、ＲＯＩの情報を多く伝送・蓄積することができるので、監視能力の低下防止に効果がある。
【００９４】
尚、すべての実施例において、ＲＯＩ判定部（１０４、１０４ａ、１０４ｂ）は、入力画像信号（Ｄ１２）に含まれるＲＯＩ毎にＲＯＩ品質で符号化させるか否か判定し、ＲＯＩ情報Ｄ０４を生成しているが、ＲＯＩ品質で符号化しないという判定は、必ずしも背景領域と同様なビット配分で符号化を実行することを意味するものではない。そのため、画像符号化部Ｕ２は、ＲＯＩ品質で符号化すると判定されたＲＯＩの領域と、ＲＯＩ品質で符号化しないと判定されたＲＯＩの領域と、背景領域（ＲＯＩ以外の領域）と、を夫々異なる品質で符号化しても良く、この場合でも一定の効果が期待できる。
【００９５】
要するに、入力画像信号を符号化してビットストリーム信号として出力する画像処理システム（Ｓ１）としては、以下の注目領域判定部及び画像符号化部を含むものであれば良いのである。注目領域判定部（１０４、１０４ａ、１０４ｂ）は、所望の領域として指定される注目領域注目領域を所定品質（ＲＯＩ品質）で符号化するか否かを判定し（Ｐ１３）、所定品質で符号化すると判定した場合には所定品質での符号化を促す情報を、所定品質で符号化しないと判定した場合には所定品質よりも低い低品質での符号化を促す情報を、注目領域に対応付けして表す注目領域情報（Ｄ０４）を生成する。画像符号化部（Ｕ２）は、注目領域情報に従って入力画像信号中の注目領域を所定品質又は低品質で符号化した信号を含むビットストリーム信号（Ｄ０８）を出力する。
【符号の説明】
【００９６】
１０１          ＲＯＩトラッキング部
１０４          ＲＯＩ判定部
４０６          フィルタ部
４０７          圧縮部
４０８          ビットストリーム伝送部
Ｓ１            画像処理システム
Ｕ１            ＲＯＩ検出部
Ｕ２            画像符号化部
【図１】
2018093323.tif 000005
【図２】
2018093323.tif 000006
【図３】
2018093323.tif 000007
【図４】
2018093323.tif 000008
【図５】
2018093323.tif 000009
【図６】
2018093323.tif 000010
【図７】
2018093323.tif 000011
【図８】
2018093323.tif 000012
【図９】
2018093323.tif 000013
【図１０】
2018093323.tif 000014
【図１１】
2018093323.tif 000015
【図１２】
2018093323.tif 000016
【図１３】
2018093323.tif 000017