(57)【要約】【課題】着目領域の判定精度を向上させ、効率よくビットレートを削減するための技術を提供する。【解決手段】動画像符号化装置であって、動画像からブロック単位で動き情報を検出する検出手段と、映像から物体を検出する処理又はユーザによる操作によって指定される第１の領域と、前記動き情報とに基づいて、前記動画像における着目領域を判定する判定手段と、前記着目領域であると判定されたブロックの量子化値を、前記着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御手段と、前記制御手段により設定された量子化値に基づいて、前記動画像を圧縮符号化する符号化手段とを備える。【選択図】  図２
2019149722.tif 000002
【特許請求の範囲】
【請求項１】
動画像からブロック単位で動き情報を検出する検出手段と、
映像から物体を検出する処理又はユーザによる操作によって指定される第１の領域と、前記動き情報とに基づいて、前記動画像における着目領域を判定する判定手段と、
前記着目領域であると判定されたブロックの量子化値を、前記着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御手段と、
前記制御手段により設定された量子化値に基づいて、前記動画像を圧縮符号化する符号化手段と、
を備えることを特徴とする動画像符号化装置。
【請求項２】
前記判定手段は、
前記ブロックが前記第１の領域ではない場合、前記動き情報に基づいて当該ブロックを着目領域に変更するか否かを判定する
ことを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記制御手段は、前記第１の領域であり、かつ、前記動き情報によって当該第１の領域が着目領域であることが特定されたブロックについては、当該ブロックの量子化値を、一方が着目領域であることを示すブロックの量子化値よりも低い値に設定することを特徴とする請求項１又は２に記載の動画像符号化装置。
【請求項４】
前記判定手段は、前記ブロックに着目領域と非着目領域との両方が存在する場合、前記ブロックの着目領域及び非着目領域の割合に基づいて、前記ブロックが着目領域であるか否かを判定することを特徴とする請求項１乃至３の何れか１項に記載の動画像符号化装置。
【請求項５】
前記判定手段は、前記ブロックに着目領域と非着目領域との両方が存在する場合、前記第１の領域が前記着目領域であることの信頼度に基づいて、前記ブロックが着目領域であるか否かを判定することを特徴とする請求項１乃至３の何れか１項に記載の動画像符号化装置。
【請求項６】
前記制御手段は、前記ブロックに着目領域と非着目領域との両方が存在する場合、前記ブロックの着目領域及び非着目領域の割合に基づいて、前記ブロックの量子化値を設定することを特徴とする請求項４又は５に記載の動画像符号化装置。
【請求項７】
前記検出手段は、前記動き情報として動きベクトルを検出し、
前記判定手段は、前記動きベクトルの大きさが閾値を超過する場合に、前記ブロックが着目領域であると判定することを特徴とする請求項１乃至６の何れか１項に記載の動画像符号化装置。
【請求項８】
前記第１の領域に隣接する隣接ブロックの閾値は、前記隣接ブロックにさらに隣接するブロックの閾値よりも低い値であることを特徴とする請求項７に記載の動画像符号化装置。
【請求項９】
前記映像から前記物体を検出する検出手段をさらに備えることを特徴とする請求項１乃至８の何れか１項に記載の動画像符号化装置。
【請求項１０】
ユーザによる前記操作が入力される入力手段をさらに備えることを特徴とする請求項１乃至８の何れか１項に記載の動画像符号化装置。
【請求項１１】
動画像符号化装置の制御方法であって、
検出手段が、動画像からブロック単位で動き情報を検出する検出工程と、
判定手段が、映像から物体を検出する処理又はユーザによる操作によって指定される第１の領域と、前記動き情報とに基づいて、前記動画像における着目領域を判定する判定工程と、
制御手段が、前記着目領域であると判定されたブロックの量子化値を、前記着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御工程と、
符号化手段が、前記設定された量子化値に基づいて、前記動画像を圧縮符号化する符号化工程と、
を有することを特徴とする動画像符号化装置の制御方法。
【請求項１２】
請求項１乃至１０の何れか１項に記載の動画像符号化装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像符号化装置、動画像符号化装置の制御方法及びプログラムに関し、特に、動画像内の着目すべき領域である着目領域の画質を相対的に向上させ、その他の領域の符号量を抑える技術に関する。
【背景技術】
【０００２】
動画像の伝送や蓄積再生を行うために、動画像信号の符号化技術が用いられる。そのような技術として、動画像の符号化技術としてはＩＳＯ／ＩＥＣ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  １４４９６−２（ＭＰＥＧ‐４  Ｖｉｓｕａｌ）などの国際標準化符号化方式が知られている。また、他の国際標準符号化方式として  ＩＴＵ−Ｔ  と  ＩＳＯ／ＩＥＣによる、Ｈ．２６４や、その後継規格であるＨ．２６５等が知られている。本明細書においては、ＩＴＵ−Ｔ  Ｒｅｃ．  Ｈ．２６４  Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  ｜  ＩＳＯ／ＩＥＣ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  １４４９６−１０  （ＭＰＥＧ−４  ＡＶＣ）を単にＨ．２６４と呼ぶ。また、Ｈ．２６５  （ＩＳＯ／ＩＥＣ  ２３００８―２  ＨＥＶＣ）を単にＨ．２６５と呼ぶ。これらの技術はビデオカメラやレコーダ等の分野にも用いられており、特に近年では監視用ビデオカメラ（以下、監視カメラと呼ぶ）への適用が積極的に行われている。監視カメラ用途においては、長時間の録画を行う必要性から比較的低ビットレートで符号化して符号化データのサイズを抑えるケースが多い。しかし、低ビットレートで符号化することにより多くの情報が失われて画質が劣化するために、人物の顔の特定、自動車のナンバープレートの特定等本来の機能が損なわれることがある。そこで、フレーム全体を一様には符号化せず、動いている物体や人物など等重要な領域を着目領域として検出し、フレームを着目領域と非着目領域とに分けることが行われている。そして、非着目領域は符号量を抑えるように、着目領域は画質を落とさないように符号化する技術が一般的に用いられている。
【０００３】
特許文献１では、ユーザによる領域設定や監視対象の認識処理などで得られた座標情報データを使って主要部分の判別を行い、その領域を動きベクトルに基づいて動かすことにより補正を行うことが開示されている。これにより、精度の高い領域の判別が可能となり、動画像を高画質且つ低ビットレートに記録することを可能にしている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４―１８７０２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の技術では、予め着目領域と判定された領域に対して補正が行われることから、非着目領域と判定された領域に着目領域が含まれていた場合には着目領域を認識することができない。そのため、本来着目領域と判定されるべき領域が低画質となってしまうことがあるという課題がある。
【０００６】
本発明は、上記の課題に鑑みてなされたものであり、着目領域の判定精度を向上させ、効率よくビットレートを削減するための技術を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の目的を達成する本発明に係る動画像符号化装置は、
動画像からブロック単位で動き情報を検出する検出手段と、
映像から物体を検出する処理又はユーザによる操作によって指定される第１の領域と、前記動き情報とに基づいて、前記動画像における着目領域を判定する判定手段と、
前記着目領域であると判定されたブロックの量子化値を、前記着目領域ではないと判定されたブロックの量子化値よりも低い値に設定するように制御する制御手段と、
前記制御手段により設定された量子化値に基づいて、前記動画像を圧縮符号化する符号化手段と、
を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、着目領域の判定精度を向上させ、効率よくビットレートを削減することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の一実施形態に係る動画像符号化装置の機能ブロック図。
【図２】本発明の一実施形態に係る動画像符号化装置が実施する処理の手順を示すフローチャート。
【図３】本発明の一実施形態に係るブロックの動き検出を行う範囲の例を示す図。
【図４】本発明の一実施形態に係るブロックの動き検出方法と出力される動きベクトルの例を示す図。
【図５】本発明の一実施形態に係る入力動画像の例を示す図。
【図６】本発明の一実施形態に係る認識処理部によって設定された着目領域の例を示す図。
【図７】本発明の一実施形態に係る認識処理部によって設定された着目領域の輪郭を拡大した補正処理の例を示す図。
【図８】本発明の一実施形態に係る動きベクトルを用いて認識処理部によって設定された着目領域を補正した例を示す図。
【図９】本発明の一実施形態に係る動画像符号化装置の機能ブロック図。
【図１０】本発明の一実施形態に係る動画像符号化装置のハードウェア構成の一例を示す図。
【発明を実施するための形態】
【００１０】
以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【００１１】
（第１実施形態）
本実施形態では、着目領域の情報を含む領域設定データ（第１の領域）と、動き情報とに基づいて、動画像から着目領域を判定する例を説明する。より具体的には、動体検出処理に基づく領域設定データにより決定される着目領域及び／又は非着目領域の情報を、動きベクトルに基づいて補正することで、より精度の高い着目領域の判定を実現する例を説明する。なお、着目領域は、ROI（Region of interest ）とも呼ばれる領域であり、監視の際などに着目すべき領域である。例えば、着目領域は、映像解析を行う認識部や動体検出部によって、検出された物体に対応する領域である。また、ユーザによって任意の位置を着目領域として指定するようにしてもよい。
【００１２】
＜装置構成＞
図１は、本実施形態に係る動画像符号化装置の機能ブロック図である。動画像符号化装置１０はフレーム単位の入力動画像（撮像動画像）を圧縮・符号化し、Ｈ．２６５形式の符号化ストリームを出力する。なお、本実施形態では出力するストリームをＨ．２６５形式とするが、本発明はこれに限定されるものではない。例えばＨ．２６４形式やＭＰＥＧ−４形式の符号化ストリームであってもよい。動画像符号化装置１０は、符号化対象となる撮像動画像をＨ．２６５形式におけるＣｏｄｉｎｇ  Ｔｒｅｅ  Ｕｎｉｔ（以下ＣＴＵ）単位に圧縮・符号化を行う。なお、本実施形態ではＣＴＵ単位に動画像を分割するが、本発明はこれに限定されるものではなく、例えばＨ．２６４におけるマクロブロック単位に分割してもよい。また、本実施形態ではＣＴＵのサイズを６４×６４とするが、本発明はこれに限定されるものではなく、３２×３２や１６×１６であってもよい。さらに、動画像符号化装置１０は、ＣＴＵ単位に画質を調整するための画質パラメータ（量子化値）を設定することで、動画像内の非特着目領域に対しては符号量を抑えるように符号化し、着目領域に対しては画質を落とさないように符号化する。量子化値とは、量子化パラメータとも呼ばれ、量子化ステップを規定するものである。一例として、量子化値とは、その値が小さいほど、量子化ステップが小さくなり、その結果、高画質となる値である。
【００１３】
動画像符号化装置１０は、ブロック動き検出部１０１と、符号化部１０２と、認識処理部１０３と、着目領域判定部１０４と、領域別画質制御部１０５とを備えている。ブロック動き検出部１０１は、入力された動画像においてＣＴＵをＨ．２６５形式におけるＰｒｅｄｉｃｔｉｏｎ  Ｕｎｉｔ（以下、ＰＵ）に分割し、ＰＵ毎に動きベクトルを算出する。ブロック動き検出部１０１により算出された動きベクトルは符号化部１０２と着目領域判定部１０４とに出力される。
【００１４】
符号化部１０２は、ブロック動き検出部１０１から出力された動きベクトルと、後述する着目領域判定部１０４から出力された量子化値とに基づいて、動き補償、量子化、エントロピー符号化を行い、Ｈ．２６５形式の符号化ストリームを出力する。
【００１５】
認識処理部１０３は、入力された動画像から監視対象のデータを検出する認識処理を行う。本実施形態では監視対象を動体と定義し、動体検出処理を行う。しかし、本発明はこれに限定されるものではない。例えば動体検出だけではなく、人体検出や顔検出、動体追尾、車のナンバープレート、高級な商品のような特定の物体など、他の監視対象を検出する処理であってもよい。また、認識処理はパターン認識に基づくアルゴリズムで実現されたものでも、そうでないものでもよい。いずれにしても、映像を解析して、着目領域とすべき物体を検出する処理であればよい。なお、動体を検出する場合は、例えば、フレーム間差分法や背景差分法を用いる。また、人物を検出する場合は、例えば、パターンマッチングを用いる。以上のように、認識処理部１０３は映像を解析する映像解析部としての機能を有し、映像解析で検出した検出対象に対応する領域を示す情報を生成するものであればよい。
【００１６】
そして、認識処理部１０３は、検出された監視対象（検出対象）のデータに基づいて動画像内のどの座標に監視対象が存在しているかを示す、そしてその監視対象に対応する領域である着目領域の位置を示す情報を含んだ領域設定データ（第１の領域）を生成し、着目領域判定部１０４へ出力する。
【００１７】
領域設定データは、例えば、画像の左上を限定とし、画像の縦方向と横方向を軸とした座標情報を数値で示したものでもよいし、平面に領域が視覚的にマッピングされたものでもよい。一般的に、認識処理は負荷が大きいものが多く、動画像の撮像フレームレートより低いフレームレートでしか検出が行えず、遅延が発生する。そのため、認識処理部１０３が出力する領域設定データは、符号化を行う対象のフレームよりも過去の時間の監視対象の位置を示すものとなり、着目領域の欠落が発生する場合がある。言い換えると、対象のフレームにおいて実際に監視対象が存在する位置と、領域設定データによって示される監視対象の位置とがずれてしまう可能性がある。このように、対象のフレームにおいて実際に監視対象が存在するにも関わらず、領域設定データによって示されていないと考えられる領域を着目領域の「欠落」と称することとする。これに対処するために、後述する着目領域判定部１０４により領域設定データの補正処理が行われる。
【００１８】
着目領域判定部１０４は、認識処理部１０３により生成された領域設定データと、ブロック動き検出部１０１から出力された動きベクトルとに基づいて、撮像動画像内の着目領域を判定し、着目領域判定情報を出力する。この時、領域設定データの着目領域の欠落を補正するために動きベクトルの情報を用いる。本実施形態では、領域設定データにより着目領域として設定されている場合、あるいは、着目領域として設定されていない場合であっても動きベクトルの大きさがゼロではない場合に、そのＣＴＵを着目領域として判定する。これにより、本来着目領域であると判定されるべきなのに非着目領域と判定された領域についても着目領域として再度判定できることから、着目領域の判定精度を向上させることができる。
【００１９】
しかし、本発明ではこの限りではなく、領域設定データにより設定された領域であり、且つ、動きベクトルに基づいて重要であると判定された領域を着目領域として判定してもよい。この場合、認識処理部１０３の処理に基づく着目領域は着目領域とならないことがある。また、この場合、領域設定データによる着目領域の誤検出を低減することができる。
【００２０】
また、着目領域の設定を行う単位はＣＴＵでなく、より小さな範囲であってもよい。または、ＣＴＵ内に、領域設定データが示す着目領域と、動きベクトルに基づいて設定された着目領域とがどちらも存在する場合には、認識処理部１０３から認識の信頼度も取得し、信頼度に基づいてどちらの判定結果を優先するかを決定してもよい。認識の信頼度は、予め保持している監視対象のデータと、検出された監視対象のデータとの類似度であってもよい。類似度としては、例えば監視対象の領域の輝度値に基づく値など、様々な特徴量を用いることができる。
【００２１】
領域別画質制御部１０５は、着目領域判定部１０４から出力された着目領域判定情報に基づいて、符号化するブロックが着目領域と判定された場合、当該ブロックの量子化値を、着目領域でないと判定されたブロックよりも高画質になるように低い値に設定する。一方、符号化するブロックが着目領域ではないと判定された場合、当該ブロックの量子化値を、着目領域であると判定されたブロックよりも低画質になるように高い値に設定する。
【００２２】
ここで、図１０を参照して、第１実施形態に係る動画像符号化装置のハードウェア構成の一例を説明する。動画像符号化装置１０は、ＣＰＵ１００１、ＲＯＭ１００２、ＲＡＭ１００３、記憶装置１００４、バス１００５を備え、入力装置１００６及び表示装置１００７と接続されている。
【００２３】
ＣＰＵ１００１は、本実施形態に係る動画像符号化装置１０の上述の機能ブロックによる各種動作を制御する。その制御内容は、後述するＲＯＭ１００２やＲＡＭ１００３上のプログラムによって指示される。また、ＣＰＵ１００１は、複数の計算機プログラムを並列に動作させることもできる。ＲＯＭ１００２は、ＣＰＵ１００１による制御の手順を記憶させた計算機プログラムやデータを格納している。ＲＡＭ１００３は、ＣＰＵ１００１が処理するための制御プログラムを格納するとともに、ＣＰＵ１００１が各種制御を実行する際の様々なデータの作業領域を提供する。ＲＯＭ１００２やＲＡＭ１００３などの記録媒体に格納されたプログラムコードの機能は、ＣＰＵ１００１が読み出して実行することによって実現されるが、記録媒体の種類は問われない。
【００２４】
記憶装置１００４は、さまざまなデータ等を記憶することができる。記憶装置１００４は、ハードディスクやフロッピーディスク、光ディスク、磁気ディスク、光磁気ディスク、磁気テープ、不揮発性のメモリカード等の記録媒体と、当該記録媒体を駆動して情報を記録するドライブとを有する。保管された計算機プログラムやデータはキーボード等の指示や、各種計算機プログラムの指示により、必要な時にＲＡＭ１００３上に呼び出される。
【００２５】
バス１００５は、各構成要素と接続されているデータバスなどであり、各構成要素間の通信を実現し、情報のやり取りを高速に実現するためのものである。入力装置１００６は、ユーザによる各種入力環境を提供する。各種入力操作環境を提供するものとして、キーボードやマウス等が考えられるが、タッチパネル、スタイラスペン等であってもよい。表示装置１００７は、ＬＥＤディスプレイなどで構成され、各種入力操作の状態やそれに応じた計算結果などをユーザに対して表示する。なお、以上述べてきた構成は一例であり、説明した構成に限定されるものでない。
【００２６】
＜処理＞
次に、図２のフローチャートを参照して、本実施形態に係る動画像符号化装置が実施する処理の手順を説明する。
【００２７】
ステップＳ２０１において、着目領域判定部１０４は、認識処理部１０３により生成された領域設定データを読み込む。
【００２８】
ステップＳ２０２において、着目領域判定部１０４は、領域設定データにより現在符号化しようとしているＣＴＵが着目領域として設定されているか否かを判定する。着目領域として設定されている場合、ステップＳ２０５へ進む。一方、着目領域として設定されていない場合、ステップＳ２０３へ進む。
【００２９】
ステップＳ２０３において、ブロック動き検出部１０１は、ＨＥＶＣを用いて符号化する場合、例えばＣＴＵ単位で動き探索を行い、符号化対象のブロックの動き情報（動きベクトル）を算出する。なお、動きベクトルを検出する単位は任意の画像ブロック単位で検出すればよいが、符号化処理における処理単位で検出すれば、符号化処理における検出結果を用いることができるため、処理負荷を低減することができる。
【００３０】
ステップＳ２０４において、着目領域判定部１０４は、ブロック動き検出部１０１から出力された動き情報（動きベクトル）に基づいて撮像動画像内で重要な領域を判定する。すなわち、着目領域判定部１０４は、領域設定データによって動画像における符号化対象のブロックが着目領域として設定されていない場合であっても、動き情報（動きベクトル）に基づいて当該ブロックを着目領域に変更するか否かを判定する。
【００３１】
このように、ステップＳ２０２−Ｓ２０４の処理により、着目領域判定部１０４は、着目領域の情報を含む領域設定データと、動き情報（動きベクトル）とに基づいて、動画像から着目領域を判定する。
【００３２】
より具体的には、ステップＳ２０４において、着目領域判定部１０４は、動きベクトルの大きさがゼロでなかった場合、符号化するブロックを着目領域に変更するものとして判定し、ステップＳ２０５へ進む。一方、動きベクトルの大きさがゼロである場合、符号化するブロックを非着目領域として判定し、ステップＳ２０６へ進む。
【００３３】
但し、本発明はこれに限定されるものではない。例えば動きベクトルの大きさがあらかじめ設定された閾値を超過する場合にそのブロックを着目領域として判定してもよい。
【００３４】
また、閾値は、領域設定データにより着目領域と判定されたＣＴＵまでの距離に応じて適応的に設定してもよい。領域設定データにより着目領域と判定された領域に近い部分の領域は着目領域である領域の可能性が高い。そこで、例えば、領域設定データにより着目領域と判定された領域に隣接する隣接ブロックの閾値は、隣接ブロックにさらに隣接するブロックの閾値よりも低い値に設定してもよい。
【００３５】
ここで、着目領域の判定を行うブロックのサイズについて言及する。Ｈ．２６５では、Ｃｏｄｉｎｇ  Ｕｎｉｔ（以下、ＣＵ）単位で画質の制御（量子化値の変更）を行うことができる。しかし、認識処理などから得られた領域設定データの設定可能な最小のブロックはＣＵと同じ大きさとは限らない。例えば、３２×３２のＣＵに対して、領域設定データにより、その内の1／４に当たる１つの１６×１６のブロックだけが着目領域として設定されていたとする。この際、そのＣＵは着目領域又は非着目領域の何れかに判定されなければならない。本実施形態では、ＣＵの中に着目領域と判定されたブロックが１つでも存在していた場合は着目領域と判定する。
【００３６】
しかし、本発明はこの限りではなく、例えば、ＣＵの中に非着目領域と判定されたブロックが１つでも存在していた場合は非着目領域と判定してもよい。また、着目領域と非着目領域との両方が存在する場合、ＣＵ内に占める着目領域と非着目領域との割合を算出し、当該割合に基づいて着目領域であるか否かを判定してもよい。より具体的には、割合が多い方の領域を優先してもよい。例えば、６４×６４のＣＵに、３２×３２の着目領域が３つ存在していた場合は、そのＣＵは着目領域と判定してもよい。あるいは、着目領域と非着目領域との両方が存在する場合、認識処理部１０３から認識の信頼度を取得し、信頼度の情報に基づいて、信頼度が高ければそのＣＵを着目領域として判定してもよい。このような処理の結果、３２×３２の全面が着目領域と判定される場合は、着目領域が増えてビットレートが増大するものの、監視対象の未検出を抑制することができる。一方、３２×３２の全面が非着目領域と判定される場合は、監視対象の多少の未検出を許容しつつも、より高いビットレートの削減を実現することができる。
【００３７】
ステップＳ２０５において、領域別画質制御部１０５は、着目領域の画質が非着目領域より高画質になるように量子化値を低い値に設定する。逆に、着目領域と判定されなかったＣＴＵの量子化値を高く設定してもよい。また、領域設定データと動きベクトルとの両方が着目領域と判定されるべき値を示すブロックについては、当該ブロックの量子化値を、一方が着目領域であることを示すブロックの量子化値より低い値に設定してもよい。あるいは、着目領域と非着目領域との両方が存在する場合には、ＣＵ内に占める着目領域と非着目領域との割合を算出し、その割合に基づいて量子化値を設定してもよい。ＣＵ内に着目領域と非着目領域とが混在する場合は、物体の輪郭である可能性が高いが、これにより、輪郭での画質の急激な劣化による視覚的な違和感を抑制することができる。
【００３８】
ステップＳ２０６において、符号化部１０２は、ブロック動き検出部１０１から出力された動きベクトルと、領域別画質制御部１０５から出力された量子化値とに基づいて、動き補償、量子化、エントロピー符号化を行う。そして、Ｈ．２６５形式の符号化ストリームを出力する。なお、動きベクトルの大きさが０である場合（Ｓ２０４；Ｙｅｓ）、符号化するブロックは非着目領域として判定されるので、量子化値の変更は行われず、所定の量子化値が領域別画質制御部１０５から符号化部１０２へ出力されている。以上で図２の一連の処理が終了する。
【００３９】
＜動き検出処理＞
続いて、本実施形態におけるブロックの動き検出の処理について詳細に説明する。図３は、ある動画像のフレームを表しており、点線で囲まれた範囲３０１がブロックの動き検出を行う範囲である。現在のＣＴＵ３０２に類似しているブロックを当該範囲から探す。なお、本実施形態ではＣＴＵサイズで探索を行っているが、本発明はこれに限定されるものではない。例えば、フレームの解像度や画素の空間周波数によってブロックのサイズを変更してもよい。この時、図４に示すように、ＣＴＵ４０１をブロックの動き検出を行う範囲の中で移動させながら順番に画素値を比較し、ＣＴＵと同じブロックサイズ毎に絶対値誤差和を意味するＳｕｍ  ｏｆ  Ａｂｓｏｌｕｔｅ  Ｄｉｆｆｅｒｅｎｃｅ（ＳＡＤ）を算出する。ＳＡＤは以下の式で定義される。
【００４０】
【数１】
2019149722.tif 000003
【００４１】
Ｄｉｆｆ（ｘ、ｙ）は動画像内の画素の座標（ｘ、ｙ）における画素値の差を示している。図中、例えばブロック４０２〜４０６について、それぞれ対応する動きベクトル４０７〜４１０が求まる。ＳＡＤが最小となるブロックの位置を特定した結果、それがブロック４０４である場合、ブロック４０４を類似ブロックとする。そして、現在のＣＴＵと類似ブロックとの座標の関係の情報が、ブロック動き検出部１０１が出力する動きベクトル４０９となる。
【００４２】
ここで、動きベクトルを用いた補正が、領域検出により生成された領域設定データの補正に有効である理由を説明する。
【００４３】
図５は、これから圧縮符号化を行う動画像のあるフレームを示す。右に位置している自動車５０１は、右から左に移動している。左に位置している自動車５０２は右に位置している車より奥に位値し、左から右に移動している。また、図６は、領域設定データに基づいて着目領域が判定されたフレームの例を示す。動体検出処理はシステムの規模にもよるが、リアルタイム処理は難しく、数フレーム遅延し、進行方向の端部が領域からはみ出てしまうことが想定される。また、フレーム内の奥に位置し、小さく映っている物体は、検出されないことが想定される。
【００４４】
これに対処するために、図７に示すように、領域拡大を行うことで着目領域の判定結果の補正を行うことが考えられる。しかし、単純に領域拡大を行うだけでは、動体が存在しておらず重要ではない領域も着目領域として判定されてしまい、その結果、ビットレートの増大を引き起こしてしまう可能性がある。さらに、動体検出処理で検出されなかった奥の自動車は着目領域と判定することができない可能性がある。
【００４５】
そこで、図８に示すように、動きベクトルに基づいて着目領域を補正する。これにより、自動車の進行方向の端部や、奥に位置する小さい自動車など、領域設定データに基づいて着目領域と判定されなかった領域を着目領域として判定することができる。
【００４６】
また、動体の端部や、模様のない物体のような画素の空間周波数が低い物体には動きベクトルは発生しない。そのため、動きベクトルだけで着目領域の判定を行った場合、それらの領域が非着目領域と判定されてしまう。そこで、認識処理部１０３から出力された領域設定データと、動きベクトルとの両方を使用することで、高い精度で着目領域の判定を行うことが可能となる。
【００４７】
以上説明したように、本実施形態では、着目領域の情報を含む領域設定データと、動き情報とに基づいて、動画像から着目領域を判定する。より具体的には、動体検出処理に基づく領域設定データにより設定されている着目領域及び／又は非着目領域の情報を、動きベクトルに基づいて補正する。その結果、これから符号化する撮像動画像中の着目領域となるべき領域を、適切に高画質にすることが可能となる。
【００４８】
（第２実施形態）
第１実施形態では、動体検出処理に基づく領域設定データにより設定された非着目領域を、動きベクトルに基づいて補正する例を説明した。これに対して、本実施形態では、ユーザが設定した非着目領域の情報を、動きベクトルに基づいて補正する例を説明する。
【００４９】
＜装置構成＞
図９は、本実施形態に係る動画像符号化装置の機能ブロック図である。本実施形態に係る動画像符号化装置９０は、ブロック動き検出部９０１と、符号化部９０２と、ユーザ設定データ入力部９０３と、着目領域判定部９０４と、領域別画質制御部９０５とを備えている。ブロック動き検出部９０１、符号化部９０２、着目領域判定部９０４、領域別画質制御部９０５に関しては第１実施形態の対応する構成と同様であるため、詳細な説明は省略する。ユーザ設定データ入力部９０３は、ユーザが高画質にしたい座標を設定した情報（ユーザにより設定された着目領域の情報（第１の領域））を含むユーザ設定データの入力を受け付ける。ユーザ設定データは、例えば入力装置１００６を操作したユーザによって予め設定されているものとする。監視映像のような、固定視点の動画像において、人体や、自動車、特定の建造物、貴重品などを着目領域として設定し、木や空、海、重要でない背景など長時間変化のない領域を非着目領域と設定することが想定される。
【００５０】
＜処理＞
次に、第１実施形態で説明した図２のフローチャートを参照して、本実施形態に係る動画像符号化装置が実施する処理の手順を説明する。
【００５１】
ステップＳ２０１において、ユーザ設定データ入力部９０３は、ユーザ設定データを領域設定データとして読み込む。ユーザ設定データは、動画像のフレーム内で着目領域と非着目領域とが座標情報で表現されたものである。
【００５２】
ステップＳ２０２において、着目領域判定部１０４は、ユーザ設定データにより現在符号化しようとしているＣＴＵが着目領域として設定されているか否かを判定する。以降は第１実施形態で説明した処理と同様であり、ユーザ設定データにより着目領域に設定されていない領域について動きベクトルに基づいて着目領域かどうかの補正を行う。
【００５３】
以上説明したように、本実施形態では、ユーザが設定した非着目領域の情報を、動きベクトルに基づいて補正する。その結果、これから符号化する撮像動画像中の着目領域となるべき領域を、適切に高画質にすることが可能となる。
【００５４】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５５】
１０，９０：動画像符号化装置、１０１：ブロック動き検出部、１０２：符号化部、１０３：認識処理部、１０４：着目領域判定部、１０５：領域別画質制御部、９０３：ユーザ設定データ入力部
【図１】
2019149722.tif 000004
【図２】
2019149722.tif 000005
【図３】
2019149722.tif 000006
【図４】
2019149722.tif 000007
【図５】
2019149722.tif 000008
【図６】
2019149722.tif 000009
【図７】
2019149722.tif 000010
【図８】
2019149722.tif 000011
【図９】
2019149722.tif 000012
【図１０】
2019149722.tif 000013