(57)【要約】【課題】高画質化するための領域を適切に決定する。【解決手段】画像処理装置は、撮像手段により撮像された動画像の画像フレームに対して、注目領域を設定し、該画像フレームにおいて動体の領域を検出し、該検出された動体の領域の少なくとも一部が該注目領域に含まれるか否かを判定し、該判定の結果に応じて、該動画像の該注目領域の内外に対する符号化を制御する。【選択図】  図５
2019134323.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により撮像された動画像の画像フレームに対して、注目領域を設定する領域設定手段と、
前記画像フレームにおいて動体の領域を検出する検出手段と、
前記検出された動体の領域の少なくとも一部が前記注目領域に含まれるか否かを判定する判定手段と、
前記判定手段による判定の結果に応じて、前記動画像の前記注目領域の内外に対する符号化を制御する符号化手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記領域設定手段は、ユーザーによる操作に基づいて前記注目領域を設定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段により前記検出された動体の領域の少なくとも一部が前記注目領域に含まれると判定された場合、前記符号化手段は、前記注目領域が前記注目領域の外よりも高画質となるように符号化を行うことを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記判定手段により前記検出された動体の領域の少なくとも一部が前記注目領域に含まれると判定された後に、前記検出手段により前記動体の領域が検出されなくなった場合、または、前記検出された動体の領域が前記注目領域に含まれないと判定された場合、前記符号化手段は、前記注目領域に対して、所定の継続時間の間、前記注目領域の外よりも高画質となるように符号化を行うことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記検出された動体の領域が前記注目領域に含まれないと判定された場合、前記符号化手段は、前記注目領域の内外で同じ画質となるように、前記動画像の前記注目領域の内外に対して符号化を行うことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
【請求項６】
前記検出手段は、前記画像フレームと、前記画像フレームと異なる基準のフレームとで対応する部分領域において、特徴量の差分値が所定の閾値以上の場合に、前記部分領域を前記動体の領域として検出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項７】
前記画像フレームにおける複数の領域に対して異なる検出閾値を設定する第１の閾値設定手段を更に有し、
前記検出手段は、前記画像フレームと、前記画像フレームと異なる基準のフレームとで対応する部分領域において、特徴量の差分値が前記部分領域に対して前記第１の閾値設定手段により設定された検出閾値以上の場合に、前記部分領域を前記動体の領域として検出することを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
【請求項８】
前記第１の閾値設定手段は、ユーザーによる操作に基づいて前記異なる検出閾値を設定することを特徴とする請求項７に記載の画像処理装置。
【請求項９】
前記第１の閾値設定手段は、前記画像フレームと異なる１つ以上の基準のフレームにおいて検出される動体を解析することにより、前記異なる検出閾値を設定することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
前記特徴量は画素値であることを特徴とする請求項６から９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記注目領域に対して面積閾値を設定する第２の閾値設定手段を更に有し、
前記判定手段は、前記検出された領域の面積が前記面積閾値を超える場合に、前記検出された動体の領域が前記注目領域に含まれると判定することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
【請求項１２】
前記第２の閾値設定手段は、ユーザーによる操作に基づいて前記面積閾値を設定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記第２の閾値設定手段は、前記画像フレームと異なる１つ以上の基準のフレームにおいて検出される動体を解析することにより、前記面積閾値を設定することを特徴とする請求項１１に記載の画像処理装置。
【請求項１４】
前記画像フレームにおける所定の対象を検出する対象検出手段を更に有し、
前記判定手段により前記検出された対象が前記注目領域に含まれると判定された場合に、前記符号化手段は、前記注目領域が、前記注目領域の外よりも高画質となるように符号化を行うことを特徴とする請求項１から１３のいずれか１項に記載の画像処理装置。
【請求項１５】
前記画像フレームにおける所定の音を検知する音検知手段を更に有し、
前記符号化手段は、前記音検知手段により所定の音が検知された場合に、前記注目領域に対して、前記注目領域の外よりも高画質となるように符号化を行うことを特徴とする請求項１から１４のいずれか１項に記載の画像処理装置。
【請求項１６】
画像処理装置の制御方法であって、
撮像手段により撮像された動画像の画像フレームに対して、注目領域を設定する領域設定工程と、
前記画像フレームにおいて動体の領域を検出する検出工程と、
前記検出された動体の領域の少なくとも一部が前記注目領域に含まれるか否かを判定する判定工程と、
前記判定工程による判定の結果に応じて、前記動画像の前記注目領域の内外に対する符号化を制御する符号化工程と、
を有することを特徴とする画像処理装置の制御方法。
【請求項１７】
コンピュータを、請求項１から１５のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及びプログラムに関する。
【背景技術】
【０００２】
近年、スマートフォンやデジタルビデオカメラ等の普及に伴い、撮像により画像データを生成する機会が増えている。その一方、画像データを記録しておくストレージの容量や、画像データを送受信する際の通信帯域には限りがある。そのため、画像データを効率的に圧縮する技術（圧縮符号化技術）が求められている。圧縮符号化技術の規格として、Ｈ．２６４／ＡＶＣと呼ばれる標準規格が知られている。また、Ｈ．２６５/ＨＥＶＣと呼ばれる標準規格も普及し始めている。
【０００３】
圧縮符号化技術では、画像データの画質を調整するために、量子化パラメータ（Quantization Parameter）等のパラメータが用いられている。このようなパラメータを用いることにより、画質の劣化を防ぎつつ、データ量を少なくすることが可能となる。
【０００４】
量子化パラメータを用いた画像データの画質調整の手法としては、画像中の注目領域をＲＯＩ（Region of Interest）として設定し、ＲＯＩ内外で異なる量子化パラメータを適用する手法が知られている。ＲＯＩを設定する技術として、特許文献１では、複数のＲＯＩ設定手法から、ユーザーの選択やシーン分析の結果に応じて１つの手法を選択し、選択した手法を用いてＲＯＩを設定する方法が開示されている。特許文献２では、動体検出と頭部検出を組み合わせて領域抽出を行い、抽出された領域の大きさに応じて最終的なＲＯＩを設定する方法が開示されている。さらに特許文献３では、ユーザーが設定する領域と、動体が検出されている領域に対して、両者が重なる場合には双方を含む領域を合成してＲＯＩを設定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−７２６５５号公報
【特許文献２】特開２００７−８８８９７号公報
【特許文献３】特開２００６−９３７８４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、ＲＯＩが適切に設定されないと、高画質化するための処理が効率的に行われないという課題が生じる。特許文献１の方法では、ユーザーがシーンに応じてＲＯＩ設定手法を選択する必要があるため、結果として適切にＲＯＩが設定されない場合がある。また、特許文献２の方法では、抽出された領域が大きい場合には、頭部領域が優先され、服装の特徴などがＲＯＩに設定されない場合がある。さらに、特許文献３の方法では、動体領域もすべてＲＯＩと設定されるために、常に動きのある植生や水面などが  存在する場合に、ＲＯＩが必要以上に大きくなり得る。
【０００７】
本発明はこのような課題に鑑みてなされたものであり、高画質化するための領域を適切に決定することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するための一手段として、本発明の画像処理装置は以下の構成を有する。すなわち、撮像手段により撮像された動画像の画像フレームに対して、注目領域を設定する領域設定手段と、前記画像フレームにおいて動体の領域を検出する検出手段と、前記検出された動体の領域の少なくとも一部が前記注目領域に含まれるか否かを判定する判定手段と、前記判定手段による判定の結果に応じて、前記動画像の前記注目領域の内外に対する符号化を制御する符号化手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、高画質化するための領域を適切に決定することが可能となる。
【図面の簡単な説明】
【００１０】
【図１】画像処理システム１０の概略構成である。
【図２】（Ａ）は第１実施形態における画像処理装置１００の機能構成の一例を示し、（Ｂ）は画像処理装置１００のハードウェア構成の一例を示す。
【図３】静的ＲＯＩの模式図である。
【図４】動的ＲＯＩの模式図である。
【図５】第１実施形態における画像処理装置１００の処理のフローチャートである。
【図６】（Ａ）と（Ｂ）は、圧縮符号化部２１４による処理を説明するための図である。
【図７】第２実施形態における画像処理装置１００の機能構成の一例を示す。
【図８】第２実施形態における画像処理装置１００の処理のフローチャートである。
【図９】ユーザーにより設定された検出閾値を説明するための図である。
【図１０】検出閾値と判定閾値を設定する処理のフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態を、添付の図面を参照して詳細に説明する。なお、以下の実施形態において示す構成は一例であり、本発明は、以下の実施形態で説明する構成に限定されるものではない。また、各実施形態は、監視目的の撮像を例に説明するが、各実施形態は、放送目的等、種々の目的の撮像技術に適用することも可能である。
【００１２】
＜第１実施形態＞
第１の実施形態として、画像データ内で重要な領域を、注目領域であるＲＯＩ（Region of Interest）として設定し、ＲＯＩ内を高画質、ＲＯＩ外を低画質となるように符号化を行う手順について説明する。具体的には、ユーザーにより設定されたＲＯＩ（ユーザー設定のＲＯＩ）に対して動体検知を行い、ＲＯＩ内で動体が検知された場合にのみＲＯＩ内を高画質化する。このような処理を行うことで、ＲＯＩ内が常に高画質化されることによるビットレートの上昇を抑え、高画質化が必要な時のみ高画質化することで、効率的な情報圧縮を行うことが可能となる。
【００１３】
［画像処理システム１０の概略構成］
図１は、実施形態における画像処理システム１０の概略構成を示す。画像処理システム１０は、撮像装置として機能する画像処理装置１００とクライアント装置２００から構成され、画像処理装置１００とクライアント装置２００は、ネットワーク３００を介して相互に通信可能な状態に接続されている。本実施形態は、画像処理装置１００はネットワークに接続して他の装置と通信可能である装置（ネットワークカメラ等）を想定するが、ネットワークに接続可能であることは必須ではない。
【００１４】
クライアント装置２００は、ユーザーによる操作に基づいて、画像処理装置１００に対して、映像（画像）ストリームの配信を要求する配信要求コマンドや、各種パラメータやＲＯＩの情報を設定するための設定コマンドを送信する。画像処理装置１００は、配信要求コマンドに応じて、映像ストリームをクライアント装置２００に配信し、設定コマンドに応じて、種々のパラメータを記憶する。画像処理装置１００の構成については、後述する。クライアント装置２００は、パーソナルコンピュータやタブレット端末、スマートフォンなどのコンピュータに、所定のプログラムをインストールすることで実現することが可能である。
【００１５】
［第１実施形態における画像処理装置１００の構成］
続いて、図２（Ａ）と図２（Ｂ）を参照して画像処理装置１００の構成を説明する。図２（Ａ）に、画像処理装置１００の機能構成の一例を示す。図２（Ａ）において、画像処理装置１００は、機能構成として、画像取得部２１１、領域取得部２１２、動体検出部２１３、圧縮符号化部２１４、通信制御部２１５を含んで構成される。
【００１６】
画像取得部２１１は、撮像部２２１（図２（Ｂ））または外部装置（不図示）から動画像を取得し、画像データの各フレーム（画像フレーム）を生成する。画像取得部２１１は、記憶部２２２（図２（Ｂ））から取得した各種パラメータ（各種設定）を利用して、画像データの各フレームを生成し得る。
【００１７】
領域取得部２１２は、クライアント装置２００においてユーザー設定のＲＯＩの情報を取得する。領域取得部２１２は、取得したＲＯＩの情報を、記憶部２２２（図２（Ｂ））に記憶し、動体検出部２１３と圧縮符号化部２１４に出力（設定）する。動体検出部２１３や圧縮符号化部２１４は、このＲＯＩの情報に基づいて動作することとなる。つまり、領域取得部２１２は領域設定部として機能する。
【００１８】
動体検出部２１３は、画像取得部２１１により生成された画像データの各フレームに対して、動体領域を検出する処理（動体検出処理）を行う。動体検出処理のための方法（動体検出方法）は、例えば、フレーム間の差分から動き領域を検出するフレーム間差分法や、背景画像を生成しておき、その差分から背景に対する前景として動き領域を検出する背景差分法が知られている。これらの動体検出方法は、検出対象のフレームの画素値と、他の画像（例えば背景画像）の画素値との差分値に基づく検出方法である。動体検出部２１３による動体検出処理については後述する。
【００１９】
圧縮符号化部２１４は、記憶部２２２（図２（Ｂ））から取得した各種パラメータと、領域取得部２１２から取得したＲＯＩの情報と、動体検出部２１３による検出結果とに基づいて、圧縮符号化を行う。圧縮符号化部２１４の圧縮符号化処理については後述する。
【００２０】
通信制御部２１５は、圧縮符号化部２１４によって符号化された画像データを、例えば、ストリーム形式で、通信部２２４（図２（Ｂ））を介して、ネットワーク３００を通じてクライアント装置２００に送信する。
【００２１】
次に、画像処理装置１００のハードウェア構成例について説明する。図２（Ｂ）に、画像処理装置１００のハードウェア構成の一例を示す。図２（Ｂ）において、画像処理装置１００は、ハードウェア構成として、撮像部２２１、記憶部２２２、制御部２２３、通信部２２４を含んで構成される。
【００２２】
撮像部２２１は、レンズを通して結像した光を撮像素子において受光して、その受光した光を電荷に変換して、動画像を取得する。撮像素子には、例えば、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサを用いることができる。また、撮像素子にはＣＣＤ（Charge Coupled Device）イメージセンサを用いてもよい。
【００２３】
記憶部２２２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）の両方、もしくは、いずれか一方により構成され、後述する各種動作を行うためのプログラムを記憶する。また、記憶部２２２は、通信部２２４を介してクライアント装置２００等の外部装置から取得したデータ（コマンドや画像データ）や各種パラメータなどを記憶することができる。例えば、記憶部２２２は、撮像部２２１で取得された動画像に対するホワイトバランスや露出等の設定であるカメラパラメータや、圧縮符号化に関する符号化パラメータ等を記憶する。符号化パラメータには、ＲＯＩを高画質化する時間（高画質化処理の継続時間）やＲＯＩ内外それぞれの量子化パラメータ値（以下ｑＰ値）が含まれる。なお、ｑＰ値は、値が大きくなるほど、量子化ステップが大きくなることから、大きいｑＰ値で圧縮するほど、画質は低下する。また、記憶部２２２は、画像データのフレームレートや画像データのサイズ（解像度）を含む、画像データに関するパラメータも記憶し得る。
【００２４】
また、記憶部２２２は、制御部２２３が各種の処理を実行する際に用いるワークエリアを提供し得る。さらに、記憶部２２２は、フレームメモリやバッファメモリとして機能することも可能である。なお、記憶部２２２として、ＲＯＭ、ＲＡＭ等のメモリの他に、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＤＶＤなどの記憶媒体を用いてもよい。
【００２５】
制御部２２３は、ＣＰＵ（Central Processing Unit）、または、ＭＰＵ（Micro Processing Unit）により構成され、記憶部２２２に記憶されたプログラムを実行することにより画像処理装置１００全体を制御する。なお、制御部２２３は、記憶部２２２に記憶されたプログラムとＯＳ（Operating System）との協働により画像処理装置１００全体を制御するようにしてもよい。なお、制御部２２３は、ＤＳＰ（Digital Signal Processor）等のプロセッサやＡＳＩＣ（Application Specific Integrated Circuit）により構成されてもよい。
【００２６】
通信部２２４は、ネットワーク３００を介してクライアント装置２００と通信するために、有線信号または無線信号の送受信を行う。なお、図２（Ａ）に示す画像処理装置１００の機能構成は、図２（Ｂ）に示すハードウェアにより実現してもよいし、ソフトウェアにより実現することも可能である。
【００２７】
［静的ＲＯＩと動的ＲＯＩの説明］
次に、本実施形態における圧縮符号化部２１４の処理に関連して、静的ＲＯＩと動的ＲＯＩを、図３〜図４を参照して説明する。図３は、静的ＲＯＩの模式図である。図３は、オフィス内の受付カウンターにおけるシーンが撮像されて生成された画像フレーム３０を示す。画像フレーム３０には、受付カウンターにおける応対者３１０と、受付カウンターにおいて必要な手続きを行っている来客３２０が現れている。
【００２８】
このような状況で、ユーザーは、画像フレーム３０に対してＲＯＩ３３０を設定する。図３に示すようなシーンでは、来客３２０の位置は、来客が異なってもほぼ同様の位置となることから、ユーザーは、受付カウンター周辺に、位置を固定したＲＯＩ３３０を設定するものとする。「静的ＲＯＩ」は、このような位置の固定的なＲＯＩ３３０を指す。静的ＲＯＩ内のみを高画質化する圧縮符号化技術を用いる場合、図３の例では、来客３２０の有無に関わらず、ＲＯＩ３３０内では常に高画質化され得る。
【００２９】
図４は、動的ＲＯＩの模式図である。図３と同様に、図４は、オフィス内の受付カウンターにおけるシーンが撮像されて生成された画像フレーム４０を示す。「動的ＲＯＩ」とは、画像中の動体が検出された位置等に応じて設定されるＲＯＩである。図４の例では、応対者３１０の周辺で動きが検出された領域４１０と、受付カウンターに訪れた来客３２０の周辺で動きが検出された領域４２０が、動的にＲＯＩと設定されるものとする。このように動的ＲＯＩが設定されることにより、画像中の画質を高めるべき領域の位置を、状況に合わせて動的に変更することが可能となる。
【００３０】
圧縮符号化では、画像中の各領域を、それぞれ異なる量子化パラメータを用いて量子化して、符号化することが可能である。上述したように、大きいｑＰ値（量子化パラメータ値）で圧縮するほど、画質は低下する。したがって、高画質化されるＲＯＩが小さいほど圧縮効率は高くなる。よって、高画質化したいターゲット（対象）の領域以外に対しては、なるべくＲＯＩが小さくなることが望ましい。図３で示した静的ＲＯＩ（ＲＯＩ３３０）の場合、来客３２０の有無に関わらず設定領域が常にＲＯＩ３３０の領域が高画質化（低ｑＰ値）されるため、圧縮効率が悪くなる。すなわち、時間方向に不必要な高画質化が生じ得る。
【００３１】
それに対して、図４の動的ＲＯＩに対応する領域４１０と領域４２０は、来客３２０の動きがある場合のみ、その動きに対応した位置だけが高画質化されるため、不必要な高画質化が低減される。しかしながら、来客３２０の動きが少ない場合には、動きが精度よく検出されず、来客３２０とその周辺が動的ＲＯＩとして設定されず、高画質化されない場合がある。さらに、画像データにおいて、常に動きのある物体（例えば、エスカレータや風にゆれる植物、水面など）が存在する場合、そのような物体を含む領域が常にＲＯＩに設定され、不必要に高画質化される場合がある。また、画像処理装置１００が監視目的で設置され場合、通常のビデオカメラと比べて、取得される動画像に動きが少ない場合や注目すべきターゲット（対象）が限定される場合が多い。
【００３２】
このような点に鑑みて、本実施形態における画像処理装置１００は、以下のような処理を行うことを特徴とする。
【００３３】
［第１実施形態における画像処理装置１００の処理フロー］
図５を用いて、第１実施形態における画像処理装置１００の処理について説明する。図５は、第１実施形態における画像処理装置１００の処理のフローチャートである。図５に示すフローチャートは、画像処理装置１００の制御部２２３が記憶部２２２に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。
【００３４】
Ｓ５１０において、画像取得部２１１は、画像データを生成するために必要な設定を取得する。例えば、画像取得部２１１は、記憶部２２２から、画像データに関するパラメータやカメラパラメータを取得する。画像データに関するパラメータには、画像データのフレームレートや画像データのサイズ（解像度）が含まれ、カメラパラメータには、ホワイトバランスや露出等の設定が含まれる。本実施形態では、一例として、画像データのサイズは３８４０×２１６０画素、フレームレートは３０ｆｐｓとする。また、Ｓ５１０において、圧縮符号化部２１４は、記憶部２２２から、圧縮符号化に関する符号化パラメータを取得する。本実施形態における符号化パラメータには、Ｈ．２６４に準拠した符号化を行う際のｑＰ値（量子化パラメータ値）が含まれる。本実施形態では、一例として、ＲＯＩ内のｑＰ値を３５、ＲＯＩ外のｑＰ値を４３とする。
【００３５】
Ｓ５２０において、領域取得部２１２は、クライアント装置２００においてユーザー設定のＲＯＩの情報を取得する。領域取得部２１２は、取得したＲＯＩの情報を記憶部２２２に記憶し、動体検出部２１３と圧縮符号化部２１４に設定する。ＲＯＩの情報は、例えば、１フレームの領域の左上を原点とする、画素位置に基づく座標であってもよいし、ＲＯＩの位置が予め識別されているのであれば、ＲＯＩを識別するための番号であってもよい。また、ＲＯＩはマクロブロックで示されてもよい。さらに、ＲＯＩが図３に示すような矩形など多角形形状の場合には、各頂点の座標などでもよいし、円形の場合には、中心の座標と半径等でもよい。
【００３６】
Ｓ５３０において、画像取得部２１１は、Ｓ５１０で取得した各種設定に従って、画像データの各フレームを生成する。画像取得部２１１は、生成した画像データを、動体検出部２１３と圧縮符号化部２１４に出力する。
【００３７】
Ｓ５４０において、動体検出部２１３は、Ｓ５３０で生成された画像データの各フレームに対して動体検出処理を行う。動体検出部２１３は、画像データの全てのフレームに対して動体検出処理を行ってもよいし、数フレーム間隔で動体検出処理を行ってもよい。また、動体検出部２１３は、１つのフレーム全体に対して動体検出処理を行ってもよいし、領域取得部２１２により設定されたＲＯＩに対して動体検出処理を行ってもよい。動体検出方法としては、上述したように、フレーム間差分法や背景差分法が知られている。以下、それぞれの方法を用いる場合の動体検出処理について説明する。
【００３８】
（１）フレーム間差分法を用いる場合の動体検出処理
フレーム間差分法を用いる場合は、動体検出部２１３は、動体検出対象のフレーム（例えば現在のフレーム）の画素値と、そのフレームとは異なるタイミングに撮像されたフレーム（例えば１つ前のフレーム（基準のフレーム））の画素値との差分値を算出する。動体検出部２１３は、差分値が所定の閾値以上である部分領域を、動体領域として検出する。なお、画素値は一例であって、フレームの他の特徴量を用いてもよい。
【００３９】
（２）背景差分法を用いる場合の動体検出処理
背景差分法を用いる場合は、まず、動体検出部２１３は、動体が存在しないと想定される時に撮像されたフレーム（基準のフレーム）を背景画像と設定する。そして、動体検出部２１３は、背景画像の画素値と、動体検出対象のフレーム（例えば現在のフレーム）の画素値との差分値を算出する。なお、画素値は一例であって、フレームの他の特徴量を用いてもよい。動体検出部２１３は、差分値が所定の閾値以上である領域を、動体領域として検出する。なお、動体検出部２１３は、所定の閾値以上の画素の位置に基づいて、差分値が閾値よりも小さい画素を動体領域として検出してもよい。例えば、差分値が閾値よりも小さい画素の周りが、差分値が閾値以上の画素によって囲まれている場合は、動体検出部２１３は、当該差分値が閾値よりも小さい画素も動体領域として検出してもよい。
【００４０】
また、背景差分法を用いる場合は、次のようにしてもよい。すなわち、動体検出部２１３は、フレームを複数の領域（ブロック）に分割して、領域ごとに特徴量を抽出して当該特徴量と、背景画像における特徴量とを比較することにより、背景か前景（動体領域）かを判定してもよい。１つの領域のサイズは、一例として、Ｈ．２６４のマクロブロックの単位である１６×１６ピクセルとするが、画像データのサイズ等によって変更することも可能である。また、特徴量としては、領域内のピクセル輝度値をＤＣＴ（離散コサイン変換）変換した場合の、低周波数側の変換係数などを用いることができる。また、特徴量として、色情報なども用いてもよい。
【００４１】
また、背景画像の特徴量として、複数のフレームの特徴量の平均値等を用いてもよい。なお、背景画像の特徴量は、領域ごとに用意することができる。この領域ごとの特徴量は、画像が時間的に変化することに伴って、徐々に更新され得る。更新の方法としては、背景画像として参照される頻度が少なくなったものを新しい背景画像で置き換える方法を用いることができる。また、参照された際に現フレームの領域の特徴量が反映されるよう更新する方法も用いることができる。前者の更新方法は、背景自体がかわった場合に対応することができ、後者の更新方法は、日照の変化などで背景が徐々に変化していく場合に対応することが可能である。
【００４２】
動体検出部２１３は、領域ごとに、抽出した特徴量と、１つ以上の背景の特徴量とを比較をすることで、背景（非動体領域）であるか、前景（動体領域）であるかを判断する。そして、動体検出部２１３は、孤立点除去（前景と判断された画素に囲まれた背景を前景とする処理）等の後処理を施して、最終的な動体領域を決定する。
【００４３】
動体検出部２１３は、フレーム間差分法や背景差分法等を用いて動体領域を検出すると、検出した動体領域の位置を示す情報を圧縮符号化部２１４に出力する。動体領域の位置を示す情報は、例えば、フレームの左上を原点とする、画素位置に基づく座標であっても、動体領域の位置が予め識別されているのであれば、動体領域を識別するための番号であってもよい。
【００４４】
図５の説明に戻り、Ｓ５５０において、圧縮符号化部２１４は、Ｓ５２０で取得したユーザー設定のＲＯＩと、Ｓ５４０で検出した動体領域を比較し、動体領域の少なくとも一部がＲＯＩに含まれるか否かを判定する。ただし、Ｓ５４０における動体検出が、Ｓ５２０で取得したＲＯＩに対してのみ行われている場合には、圧縮符号化部２１４は、Ｓ５４０で動体領域が検出されているか否かについての判定を行ってもよい。動体領域の少なくとも一部がＲＯＩに含まれている場合には（Ｓ５５０でＹｅｓ）、処理はＳ５６０に進み、含まれていない場合には（Ｓ５５０でＮｏ）、処理はＳ５７０に進む。
【００４５】
Ｓ５６０において、圧縮符号化部２１４は、ＲＯＩ内を高画質化するための符号化の設定を行う。具体的には、圧縮符号化部２１４は、記憶部２２２から、ＲＯＩ内とＲＯＩ外のｑＰ値を取得して設定する。一例として、圧縮符号化部２１４は、ＲＯＩ内のｑＰ値として３５を取得し、ＲＯＩ外のｑＰ値として４３を設定する。Ｓ５６０では、圧縮符号化部２１４は更に、ＲＯＩを高画質化する時間（高画質化処理の継続時間）を、記憶部２２２から取得して設定してもよい。
【００４６】
ここで、高画質化処理の継続時間の意義について説明する。図３〜図４を用いて説明したように、受付カウンターでは来客３２０が受付手続きをする際に手元しか動きがないなど、動きが小さくなる状況があるが、高画質化のターゲットである来客３２０が存在する間はＲＯＩ内の高画質化を継続することが望ましい。更に、ＲＯＩ内の画質が短期間で高画質と低画質に切り替わることは、映像の視認性を下げることになり得る。そのため、本実施形態では、一度、動体領域の少なくとも一部がＲＯＩに含まれると判定されて高画質化された場合に、その後、動体が検出されなくなっても、高画質化処理の継続時間の間、高画質化処理を行う。すなわち、動体領域の少なくとも一部がＲＯＩに含まれると判定された後に、動体検出部２１３により動体が検出されなくなった場合、または、圧縮符号化部２１４により当該動体領域がＲＯＩに含まれないと判定された場合であっても、高画質化処理が行われる。高画質化処理の継続時間はシーンによっても異なり得る、ユーザーが設定できるようにしてもよい。もしくは、画像処理装置１００の制御部２２３が過去の動体検出の履歴を管理し、イベントごとの高画質化処理の継続時間を設定するようにしてもよい。
【００４７】
Ｓ５７０において、圧縮符号化部２１４は、ユーザー設定のＲＯＩ内に動体は含まれていないために、ＲＯＩ内を高画質化する処理は行わず、ＲＯＩ内外で同じ画質となるような符号化の設定を行う。一例として、圧縮符号化部２１４は、ＲＯＩ内外の共通のｑＰ値として、４３を設定する。
【００４８】
Ｓ５８０において、圧縮符号化部２１４は、Ｓ５６０やＳ５７０にて設定した圧縮符号化の方法やパラメータ（ｑＰ値）に従って、現在のフレームを圧縮符号化する。圧縮符号化された画像データは、通信部２２４によってクライアント装置２００に配信（送信）される。なお、圧縮符号化部２１４は、圧縮符号化された画像データを送信せず、記憶部２２２に記録するようにしてもよい。
【００４９】
Ｓ５９０において、制御部２２３は、圧縮符号化すべき画像データがあるか否かを判定する。圧縮符号化すべき画像データがあれば（Ｓ５９０でＹｅｓ）、処理はＳ５３０に戻り、次の画像データに対する処理を継続する。圧縮符号化すべき画像データがなければ（Ｓ５９０でＮｏ）、処理を終了する。
【００５０】
次に、図６（Ａ）と図６（Ｂ）を参照して、図５のＳ５５０〜Ｓ５７０の処理を視覚的に説明する。図６（Ａ）と図６（Ｂ）は、画像処理装置１００の圧縮符号化部２１４による処理を説明するための図である。なお、図６（Ａ）と図６（Ｂ）はそれぞれ、図３や図４と同様に、オフィス内の受付カウンターにおけるシーンが撮像されて生成された画像フレーム６０、画像フレーム６１を示す。
【００５１】
図６（Ａ）は、図５のＳ５５０において、動体領域がＲＯＩに含まれないと判定された場合（Ｓ５５０でＮｏ）に対応する図である。例えば、ユーザー設定のＲＯＩ６３０内において、応対者６１０の動きが小さく、来客もないシーンに対応する。この場合、圧縮符号化部２１４は、ＲＯＩ６３０内であっても高画質化を行わない。すなわち、圧縮符号化部２１４は、ＲＯＩ６３０内外で同じ画質となるような符号化の設定を行い（Ｓ５７０）、当該設定に従って圧縮符号化を行う（Ｓ５８０）。
【００５２】
図６（Ｂ）は、図５のＳ５５０において、動体領域がＲＯＩに含まれると判定された（Ｓ５５０でＹｅｓ）場合に対応する図である。例えば、ユーザー設定のＲＯＩ６３０内において、来客６２０が受付カウンターに向かって動き、応対者６１０が来客６２０に対して挨拶するシーンに対応する。この場合、圧縮符号化部２１４は、ＲＯＩ内を高画質化する。すなわち、圧縮符号化部２１４は、ＲＯＩ６３０内を高画質化するための設定を行い（Ｓ５６０）、当該設定に従って圧縮符号化を行う（Ｓ５８０）。また、圧縮符号化部２１４は、高画質化処理の継続時間を設定した場合、当該継続時間の間、ＲＯＩ６３０内を高画質化する。これにより、例えば、来客６２０が書類への記入などに伴い動きが小さくなる場合であっても、ＲＯＩ６３０内の高画質化が継続される。このため、来客６２０が受付カウンターでのやりとり全体を含むよう設定されたＲＯＩ６３０に対して高画質化することが可能となる。
【００５３】
以上説明したように、第１実施形態における画像処理装置１００は、ユーザー設定のＲＯＩが動体領域の少なくとも一部を含む場合にはＲＯＩ内を高画質化するが、含まない場合には、ＲＯＩ内外に関わらず高画質化せずに圧縮符号化を行う。このような処理を行うことで、ＲＯＩ内であっても何ら動きを伴うイベントが発生していない場合には、高画質化することがないため、ビットレートを低減させることができる。さらに、ＲＯＩが動体領域の少なくとも一部を含む場合には、必要な領域全体（すなわちＲＯＩ）を高画質化することにより、動体検出の精度に依存して高画質化する領域が変動することを防ぎ、結果として、情報の取りこぼしを防止することができる。
【００５４】
＜第２実施形態＞
次に、第２実施形態について説明する。なお、第１実施形態と同様な部分については、説明を省略する。第１実施形態では、ユーザーが設定したＲＯＩに対して、ＲＯＩ内で動体が検出されている場合のみ、ＲＯＩ内を高画質化する方法について説明した。第１実施形態で説明した図６（Ａ）〜図６（Ｂ）では、応対者６１０は常に存在するため、来客がない場合に応対者６１０の小さい動きが検出されたであっても、ＲＯＩ６３０が高画質化される可能性がある。そこで、本実施形態では、ターゲットが存在しない場合のシーンの動体領域の分布に基づき、動体検出のための閾値（感度）やＲＯＩ内を高画質化する継時間を制御する手順について説明する。
【００５５】
［第２実施形態における画像処理装置１００の構成］
図７に、本実施形態における画像処理装置１００の機能構成の一例を示す。図７に示す機能構成は、閾値設定部７１１以外は、第１実施形態において説明した図２（Ａ）と同様であり、説明を省略する。また、本実施形態における画像処理装置１００のハードウェア構成は、第１実施形態において説明した図２（Ｂ）と同様であり、説明を省略する。
【００５６】
閾値設定部７１１は、第１の閾値としての検出閾値（動体検出感度）と、第２の閾値としての判定閾値とを設定する。検出閾値は、動体検出部２１３が動体を検出するために、第１実施形態において説明した手法により算出した差分値と比較するための閾値である。判定閾値は、圧縮符号化部２１４が検出された動体の少なくとも一部がＲＯＩに含まれるか否かを判定するための閾値である。
【００５７】
［第２実施形態における画像処理装置１００の動作フロー］
図８を用いて、第２実施形態における画像処理装置１００の動作について説明する。図８は、第２実施形態における画像処理装置１００の動作を示すフローチャートである。図８に示すフローチャートは、画像処理装置１００の制御部２２３が記憶部２２２に記憶されている制御プログラムを実行し、情報の演算および加工並びに各ハードウェアの制御を実行することにより実現され得る。なお、Ｓ８２５、Ｓ８４０、Ｓ８５０、およびＳ８６０以外の処理は、第１実施形態において説明した図５の処理と同様のため、説明を省略する。
【００５８】
Ｓ５２０において領域取得部２１２がユーザー設定のＲＯＩの情報を取得後、Ｓ８２５において、閾値設定部７１１は、検出閾値と判定閾値とを設定する。これらの閾値は、最も単純には、ユーザーによる設定により取得して設定することができる。図９は、ユーザーにより設定された検出閾値を説明するための図である。図９は、図３や図４と同様に、オフィス内の受付カウンターにおけるシーンが撮像されて生成された画像フレーム９０を示す。ユーザーは、ＲＯＩ９３０に対して、多少の動きが想定される対応者９１０を含む領域９４０に対して検出閾値を高く設定することができる。ユーザーによる設定に応じて、閾値設定部７１１は、領域９４０と領域９４０以外に対して異なる検出閾値を設定する。ユーザーからの設定に応じて検出閾値を設定する方法は、常に動きのある領域がＲＯＩ内に含まれてしまうことが明確な場合に有効である。常に動きのある領域とは、例えば、建物の窓の外に置かれている植物を含む領域、エスカレータや噴水や水槽等を含む領域、テレビモニタが設置されている領域などである。なお、図９の例では、検出閾値を高く設定する領域９４０はＲＯＩ内としたが、ＲＯＩ内に限定されず、フレーム内で設定されるようにしてもよい。
【００５９】
また、高画質化すべきターゲットの大きさが予めわかっている場合、閾値設定部７１１は、判定閾値として、当該ターゲットが占める面積を設定することも可能である。つまり、ＲＯＩ内で検知された動体領域の大きさが該閾値よりも大きい場合にのみ、ＲＯＩ内で動体が検知されていると判断する。このように設定することで、背景を小動物が通過した場合などにＲＯＩが不必要に高画質化される可能性を低減することができる。
【００６０】
次に、動体検出部２１３による画像データの解析により検出閾値と判定閾値を設定する方法について図１０を参照して説明する。図１０は、動体検出部２１３による検出閾値と判定閾値を設定する処理のフローチャートである。前提として、動体検出部２１３は、動体が存在しないと想定される時に撮像された１つ以上のフレーム（基準フレーム）に対して解析を行うものとする。例えば、動体検出部２１３は、図３、４、６、９等で示した受付カウンターのシーンにおいて、来客がいない状態の画像データの１つ以上のフレームに対して解析を行う。
【００６１】
Ｓ１０１０において、動体検出部２１３は、Ｓ５３０で生成された画像データの各フレームに対し動体検出処理を行う。第１実施形態において説明したように、フレーム間差分法を用いる場合には、動体検出部２１３は、現フレームとそれより一つ前のフレーム間の所定の領域（ピクセルもしくは小領域）ごとに、画素値の差を算出する。また、背景差分法を用いる場合には、動体検出部２１３は、背景画像と現フレーム間の所定の領域（ピクセルもしくは小領域）ごとに、画素値の差を算出する。なお、差分値は画素値以外の特徴量の差分値であってもよい。
【００６２】
Ｓ１０２０において、閾値設定部７１１は、Ｓ１０１０で算出された各領域の画素値の差分値を蓄積し、領域ごとに平均値、分散、標準偏差などの統計量を算出する。
【００６３】
Ｓ１０３０において、閾値設定部７１１は、Ｓ１０２０で算出された統計量に基づいて、領域ごとの検出閾値を算出する。例えば、小領域ごとに、ターゲット（例えば来客）が画像データ内に存在しない場合の差分値の平均値μと標準偏差σから、式（１）により求められる値Ｚを検出閾値として算出する。ここで、係数ａは、動体検出の可能性に応じて設定される重み付けである。例えば、ターゲットが存在しない時にＲＯＩ内が高画質化されるのを防ぎたい場合には、高い値（例えば３以上）が設定され、必要な時に高画質化されないリスクを考慮して動体検出の可能性を上げたい場合には、低い値（例えば１程度）が設定される。
Ｚ＝μ＋ａσ          式（１）
【００６４】
Ｓ１０４０において、閾値設定部７１１は、判定閾値を算出する。第１実施形態では、動体領域がＲＯＩに含まれるか否かを判定する際に、ＲＯＩ内の小領域一つに動体領域が存在すれば、圧縮符号化部２１４は動体領域がＲＯＩに含まれると判定した。本実施形態では、当該判定の基準を、ＲＯＩ内の面積に応じて設定する。例えば、閾値設定部７１１は、Ｓ１０３０で算出した検出閾値に基づいて動体領域を設定した場合の、動体領域の面積の平均値を、判定閾値（面積閾値）として算出する。そして、閾値設定部７１１は、算出した検出閾値と判定閾値を記憶部２２２に設定（出力）する。
【００６５】
図８に戻り、Ｓ８４０において、動体検出部２１３は、Ｓ８２５で設定された検出閾値に基づき、動体検出処理を行う。動体検出手法としては、第１実施形態において説明した図５のＳ５４０と同様、フレーム間差分法や背景差分法などが考えられる。例えば、フレーム間差分法を用いる場合は、動体検出部２１３は、動体検出対象のフレーム（例えば現在のフレーム）の画素値と、そのフレームとは異なるタイミングに撮像されたフレーム（例えば１つ前のフレーム）の画素値との差分値を算出する。続いて、動体検出部２１３は、差分値が検出閾値以上である領域を、動体領域として検出する。また、例えば、背景差分法を用いる場合は、動体検出部２１３は、動体が存在しないと想定される時に撮像されたフレームを背景画像と設定する。そして、動体検出部２１３は、背景画像の画素値と、動体検出対象のフレーム（例えば現在のフレーム）の画素値との差分値を算出する。動体検出部２１３は、差分値が検出閾値以上である領域を、動体領域として検出する。また、動体検出部２１３は、検出した動体領域のＲＯＩにおける面積も算出する。
【００６６】
Ｓ８５０において、圧縮符号化部２１４は、Ｓ８２５で設定された判定閾値（面積閾値）に基づき、動体領域がＲＯＩに含まれるか否かを判定する。具体的には、圧縮符号化部２１４は、Ｓ８４０で算出された面積と判定閾値とを比較し、算出された面積が判定閾値より大きい場合には、動体領域の少なくとも一部はＲＯＩに含まれると判定する。動体領域の少なくとも一部がＲＯＩに含まれる場合は（Ｓ８５０でＹｅｓ）、処理はＳ８６０へ進み、含まれていない場合には（Ｓ８５０でＮｏ）、処理はＳ５７０へ進む。すなわち、Ｓ８４０において動体検出部２１３により、動体領域が検出されたとしても、当該動体領域のＲＯＩにおける面積が、判定閾値を超えない場合には、検出された動体領域はＲＯＩに含まれないと判定される。
【００６７】
Ｓ８６０において、圧縮符号化部２１４は、ＲＯＩ内を高画質化するための設定を行う。このとき、圧縮符号化部２１４は、Ｓ８４０で算出された動体領域のＲＯＩにおける面積に基づき、ＲＯＩ内に設定するｑＰ値や高画質化処理の継続時間を変化させるように設定を行ってもよい。例えば、Ｓ８４０で算出された動体領域の面積が所定の閾値より大きい場合には、圧縮符号化部２１４は、ＲＯＩ内のｑＰ値をより小さく設定し、高画質化処理の継続時間を長く設定してもよい。
【００６８】
以上説明したように、第２実施形態における画像処理装置１００では、ターゲットが存在しない場合のシーンの動体領域の分布に基づき、動体検出のための閾値（感度）やＲＯＩ内を高画質化する継時間を制御する。これにより、ＲＯＩ内に動体領域が存在する場合であっても、効率よく、必要な領域を必要なタイミングで高画質化することが可能となる。なお、上記説明では、検出閾値と判定閾値の両方を用いる例を説明したが、何れかの閾値を用いるように構成してもよい。
【００６９】
＜第３実施形態＞
第１実施形態および第２実施形態では、高画質化の判断について動体検出をトリガとしてきたが、本実施形態では、他の様々な検出を用いることについて説明する。具体的には、監視目的のネットワークカメラにおいては、監視対象となるターゲットは、例えば人や車に限定されることが多い。そのため、動体全般ではなく、顔や人体、車などがユーザー設定のＲＯＩ内で検出された場合に、画像処理装置１００はＲＯＩを高画質化するように処理してもよい。例えば、画像処理装置１００は、所定の対象（人や車等）を検出する対象検出部（不図示）を有し、当該対象検出部が当該対象を検出し、当該対象の少なくとも一部がユーザー設定のＲＯＩに含まれる場合に、圧縮符号化部２１４は、画像処理装置１００はＲＯＩを高画質化するように処理してもよい。
【００７０】
さらに、高画質化のトリガは映像からの情報に限定する必要はなく、音であってもよい。例えば、画像処理装置１００は、所定の音を検知する音検知部（不図示）を有し、当該音検知部が当該所定の音を検知した場合に、圧縮符号化部２１４は、画像処理装置１００はＲＯＩを高画質化するように処理してもよい。
【００７１】
また、画像処理装置１００は、複数のＲＯＩが設定された場合に、当該設定された複数のＲＯＩのそれぞれに対して高画質化処理を行うか否かのトリガを適宜変更してもよい。例えば、窓ガラスの割れる音が検出された場合に、画像処理装置１００は、撮像された画像データ上で、ユーザーにより窓領域に設定されたＲＯＩを高画質化してもよい。また、人の怒鳴り声が検出された場合には、撮像された画像データ上で、ユーザーにより道路や玄関前に設定されたＲＯＩを高画質化してもよい。
【００７２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを１つ以上のプロセッサが読出して実行する処理でも実現可能である。プログラムは、ネットワーク又は記憶媒体を介して、プロセッサを有するシステム又は装置に供給するようにしてもよい。また、本発明は、上述の実施形態の１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００７３】
また、本発明は以上説明した各実施形態に限定されることはなく、本発明の要旨を逸脱しない範囲において種々変更が可能である。例えば、各実施形態を組み合わせたものも本明細書の開示内容に含まれる。
【符号の説明】
【００７４】
１００  画像処理装置、２００  クライアント装置、３００  ネットワーク
【図１】
2019134323.tif 000003
【図２】
2019134323.tif 000004
【図３】
2019134323.tif 000005
【図４】
2019134323.tif 000006
【図５】
2019134323.tif 000007
【図６】
2019134323.tif 000008
【図７】
2019134323.tif 000009
【図８】
2019134323.tif 000010
【図９】
2019134323.tif 000011
【図１０】
2019134323.tif 000012