(57)【要約】【課題】  重要な顔を高画質化しつつ、全体の符号化効率を高く維持する。【解決手段】  顔重要度判定装置（１２）は、入力画像データから顔領域を検出し、検出された顔のサイズ情報から最大サイズの一つの顔を最重要な顔として選択し、その顔サイズを顔基準サイズとする。そして、顔基準サイズとそのほかの顔のサイズとを比較し、最重要の顔に対する相対サイズによって顔重要度を算出する。最重要の顔のサイズに対する相対サイズで、ある一定以上小さいサイズの顔は、重要な顔ではないと判定して、顔検出結果から除外する。量子化制御部（１４）は、顔重要度判定装置（１２）の判定結果に従い、顔部分を高画質化するように量子化部（２４）の量子化ステップサイズを制御する。【選択図】  図１
2010278797.tif 000002
【特許請求の範囲】
【請求項１】
可変な量子化ステップを用いた量子化により画像を符号化する符号化手段と、
入力画像に対して画面内に存在する人物の顔についての顔重要度を判定する顔重要度判定手段と、
前記顔重要度に応じて前記量子化ステップを制御する量子化制御手段
とを有する画像符号化装置であって、
前記顔重要度判定手段は前記入力画像から顔を検出し、検出された顔のサイズ情報を取得する顔検出手段を有し、前記顔検出手段が複数の顔を検出した場合に、検出した複数の顔の各々について、顔のサイズ、および他の顔との相対的なサイズに基づいて顔の重要度を判定する
ことを特徴とする画像符号化装置。
【請求項２】
前記顔重要度判定手段は、前記顔検出手段が複数の顔を検出した場合に、最大サイズの顔を基準とし、この基準を除く顔の重要度を、前記基準となる顔のサイズとの相対的なサイズに基づいて判定することを特徴とする請求項１に記載の画像符号化装置。
【請求項３】
前記顔重要度判定手段は、前記顔検出手段が複数の顔を検出した場合に、前記基準となる顔のサイズに対して相対的に一定以上小さいサイズの顔を顔検出結果から除外することを特徴とする請求項２に記載の画像符号化装置。
【請求項４】
前記顔重要度判定手段は、前記顔検出手段が複数の顔を検出した場合に、前記基準となる顔のサイズとの相対的な顔のサイズが小さいほど重要度を小さくすることを特徴とする請求項２または３に記載の画像符号化装置。
【請求項５】
前記顔重要度判定手段は、前記顔検出手段が検出した顔のうち、決まったサイズより小さいものを顔検出結果から除外することを特徴とする請求項２、３または４に記載の画像符号化装置。
【請求項６】
前記量子化制御手段は、前記顔重要度が高い程、量子化ステップを小さくすることを特徴とする請求項１ないし５のいずれか１項に記載の画像符号化装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像内に存在する人物の顔について顔の重要度を考慮する画像符号化装置に関する。
【背景技術】
【０００２】
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００７−２０１９８０号公報
【０００４】
近年、撮像素子の画素数が増え、１９２０画素×１０８０画素といった高解像度映像（ＨＤ映像）を扱う製品が次々と開発されている。そういったＨＤ映像の動画像データを扱うデジタルビデオカメラが商品化されている。民生用のデジタルビデオカメラでは一般に、記録データ量を削減するために動画像データを圧縮符号化した上で、フラッシュメモリ又はハードディスク等の記録媒体に記録する。
【０００５】
動画像圧縮方式として、ＭＰＥＧ−２やＨ．２６４が広く知られている。これらの動画像圧縮方式では、視覚的に重要である画像領域に重点的に符号量を割り当てることにより、効率的で高画質化なデータ圧縮を実現している。
【０００６】
視覚的に重要である画像領域の一つとして、人物の顔が挙げられる。符号化前に顔部分を検出し、検出された顔部分に対してより多くの符号量を割り当てることで、高画質化を実現できる。
【０００７】
ただし、同じように顔として検出された領域であっても、視覚的に重要な顔と重要ではない顔があると考えられる。例えば、運動会などで自分の子供を中心に撮影を行っている場合、自分の子供の顔は非常に重要な顔であるが、その背景として映っている他人の顔はさほど重要ではない。重要な顔かどうかを判定する手法として、顔のサイズ情報、位置情報又は傾き情報などから重要度を計算する方法が知られている（特許文献１参照）。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
従来の方法は、顔の絶対的な重要度を算出するものであり、その絶対的な重要度に応じて符号の割当量を決定している。従って、従来例では、相対的に重要度が低い場合でも高画質化の対象としてしまうことがあり、その結果、全体として符号化効率を損なうことがある。
【０００９】
本発明は、このような不都合を解消し、相対的な重要度に応じて割当て符号量を決定するようにした画像符号化装置を提示することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る画像符号化装置は、可変な量子化ステップを用いた量子化により画像を符号化する符号化手段と、入力画像に対して画面内に存在する人物の顔についての顔重要度を判定する顔重要度判定手段と、前記顔重要度に応じて前記量子化ステップを制御する量子化制御手段とを有する画像符号化装置であって、前記顔重要度判定手段は前記入力画像から顔を検出し、検出された顔のサイズ情報を取得する顔検出手段を有し、前記顔検出手段が複数の顔を検出した場合に、検出した複数の顔の各々について、顔のサイズ、および他の顔との相対的なサイズに基づいて顔の重要度を判定することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、基準となる顔に対する相対的な顔のサイズで重要度を判定するので、より重要な顔に符号量を割り当てることが可能になり、符号化効率を高めることができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の一実施例の概略構成ブロック図である。
【図２】本実施例の顔重要度判定装置の概略構成ブロック図である。
【図３】本実施例の顔重要度判定処理の動作フローチャートである。
【図４】顔重要度判定の一画像例である。
【図５】顔重要度判定の別の画像例である。
【図６】顔重要度判定処理の別の動作フローチャートである。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【実施例１】
【００１４】
図１は、本発明の一実施例である画像符号化装置の概略構成ブロック図である。入力端子１０には、図示しないカメラによる撮影画像データが入力する。顔重要度判定装置１２は、入力端子からの入力画像データから人間の顔を検出し、各顔の重要度を判定する。そして、顔重要度判定装置１２は、判定した顔重要度に従い重要でない顔を除外した顔検出結果を量子化制御部１４に供給する。
【００１５】
入力端子１０からの入力画像データは、フレーム単位でフレームバッファ１６に格納される。参照フレームバッファ２０は、フレーム間予測符号化の参照画像データを記憶する。動き予測部１８は、フレームバッファ１６の入力画像データと参照フレームバッファ２０の参照画像データとの間でブロックマッチングをとり、動きベクトルを算出する。動き予測部１８は、算出した動きベクトルに従い参照画像データを画面内で移動した予測画像データを生成し、入力画像データと予測画像データとの差分（差分画像データ）を計算し、直交変換部２２に供給する。直交変換部２２は、差分画像データに対して離散コサイン変換を行い、変換係数を量子化部２４に供給する。量子化部２４は、直交変換部２２からの変換係数を量子化制御部１４により指定される量子化ステップサイズで量子化する。量子化された変換係数は、エントロピー符号化部２６に供給され、局所復号画像の作成のために逆量子化部２８に供給される。
【００１６】
エントロピー符号化部２６は、量子化された変換係数を、ジグザグスキャンまたはオルタネートスキャン等により可変長符号化して符号データを生成する。エントロピー符号化部２６はまた，動きベクトル、量子化ステップサイズ及びマクロブロック分割情報などの符号化方式情報を可変長符号化したものを符号データに付加して、符号化ストリームを生成する。エントロピー符号化部２６は更に、マクロブロックごとの発生符号量を算出し、量子化制御部１４に送る。
【００１７】
量子化制御部１４は、顔重要度判定装置１２からの顔検出情報を参照し、量子化対象のマクロブロックが顔領域であるか否かに従い，異なる符号化を適用する。具体的には、当該マクロブロックが顔領域ではない場合、量子化制御部１４は，エントロピー符号化部２６からの発生符号量に従い、目標とする符号量になる量子化ステップサイズを量子化部２４に設定する。当該マクロブロックが顔領域である場合、量子化制御部１４は，顔重要度に応じて通常の処理よりも細かい量子化ステップサイズを量子化部２４に設定する。量子化ステップサイズを細かくすることにより、顔領域に対して符号量をより多く割り当てることになり、画質の劣化を抑制できる。
【００１８】
逆量子化部２８は、量子化部２４からの量子化された変換係数を逆量子化し、ローカルデコード用の変換係数を生成し、逆直交変換部３０に供給する。逆直交変換部３０は、逆量子化部２８からの変換係数に逆離散コサイン変換を行い、差分画像データを生成して動き補償部３２に供給する。動き補償部３２は、動きベクトル位置の参照画像を参照フレームバッファ２０から読み出し、差分画像データを加算する。動き補償部３２からの画像データは、デブロッキングフィルタ３４に出力される。デブロッキングフィルタ３４では、動き補償部３２からの画像データにデブロッキングフィルタをかける。デブロッキングフィルタ後の画像データが、ローカルで復号化された画像データとして参照フレームバッファ２０に格納される。
【００１９】
図２は、顔重要度判定装置１２の概略構成ブロック図を示す。顔検出部４０は、入力画像データから顔領域を検出し、検出された顔領域の個数と各顔のサイズ情報を最重要顔判定部４２と顔重要度算出部４４に供給する。最重要顔判定部４２は、検出された顔のサイズ情報から最大サイズの一つの顔を最重要な顔として選択し、その顔サイズを顔基準サイズとして顔重要度算出部４４に供給する。顔重要度算出部４４は、顔基準サイズとそのほかの顔のサイズとを比較し、最重要の顔に対する相対サイズによって顔重要度を算出する。顔重要度算出部４４はまた、最重要の顔のサイズに対する相対サイズで、ある一定以上小さいサイズの顔は、重要な顔ではないと判定して、顔検出結果から除外する。
【００２０】
図３は、顔重要度判定装置１２の動作フローチャートを示す。まず、顔検出部４０が、入力画像から顔である領域を検出する（Ｓ１）。顔が一つも検出されない場合、又は顔が一つだけ検出された場合には、それをそのまま顔検出の結果として処理を終了する（Ｓ２）。
【００２１】
検出された顔が複数ある場合、最重要顔判定部４２が、全ての顔のサイズを比較し、最も大きいサイズの顔が最も手前に存在している顔であると考え、これを最重要の顔であると判定する。この顔のサイズを顔基準サイズとする（Ｓ３）。次に、顔重要度算出部４４が、最重要と判定された顔以外の顔のサイズ（size）を取得する（Ｓ４）。最重要以外の顔のサイズ（size）が、基準の顔基準サイズ（base_size）に対する一定割合（α）より小さい場合（Ｓ５）、重要ではない顔であると判定し、顔検出結果から除外する（Ｓ６）。
【００２２】
例えば、基準の顔サイズをbase_size、判定を行う顔のサイズをsize、除外する大きさの割合をα（＜１）とすると、
size<base_size×α
の場合、顔検出結果から除外する。他方、
size>=base_size×α
の場合、顔検出結果として維持する。
【００２３】
なお、ここでいうサイズは、顔の面積であってもよいし、顔の縦方向や横方向の長さ又は対角線の長さなど、顔の大きさを表すものであれば何を用いてもよい。
【００２４】
除外されなかった顔に対して、顔重要度算出部４４が、顔基準サイズからの相対サイズにより顔重要度を算出する（Ｓ７）。例えば、顔重要度を１〜１０（１０が最重要）で評価するとした場合、顔重要度を下記式（１）により算出する。すなわち、
顔重要度
＝［10×(size_base_size×α)/(base_size(1-α))］  （１）
ここで、［］は整数に切り上げる演算を示す。
【００２５】
全ての顔について（Ｓ８）、ステップＳ４〜Ｓ７を繰り返す。こうすることにより、顔として検出されたが、相対的に重要ではない顔を除外でき、また、残った顔について、相対的な顔重要度を算出できる。
【００２６】
図４は、顔検出部４０の顔検出結果と、顔重要度算出部４４による除外の例を示す。図４では、顔検出から除外する判定基準として、基準の顔サイズからの大きさの割合が１／２より小さい場合に、顔検出結果から除外するとする。すなわち、α＝１／２とする。
【００２７】
ステップＳ１により、入力画像の中にある顔が検出される。図４では、顔５０と顔５２の２つの顔が検出される。ここで顔５０のサイズをsize1、顔５２のサイズをsize2とし、
size1>size2×2      （２）
が成立するものとする。
【００２８】
画像の中に複数の顔が存在するので（Ｓ２）、最も大きい顔である顔５０を最重要の顔と判定し、そのサイズであるsize1を顔基準サイズとする（Ｓ３）。すなわち、base_size=size1となる。
【００２９】
次に、基準の顔以外である顔５２のサイズを取得する（Ｓ４）。すなわち、size=size2とする。顔検出結果から除外するかどうかを判定するために、sizeとbase_size×αを比較すると、
size<base_size×α
が成立する。この結果から、顔５２は相対的に重要ではないと判定され、顔検出結果から除外される。この結果、図４に示す画像例では、顔検出結果は重要度の高い顔５０のみとなる。顔５０は最重要の顔なので、顔重要度は10と評価される。
【００３０】
図５は、集合写真のような場合の顔検出判定の例を示す。顔検出から除外される条件は、図４の例の場合と同じく、α＝１／２とする。図５に示す例では、顔検出部４０は、４つの顔６０，６２，６４，６６を検出する。これらの顔６０〜６６のサイズを、それぞれsize3,size4,size5,size6とし、
size3>size4=size5=size6=size2=size3×9/10    （３）
が成立するものとする。また、顔６２，６４，６６のサイズは、図４で説明した顔５２のそれと絶対的なサイズが同じであるとする。
【００３１】
５つの顔６０〜６６の大きさを比較し、最大の顔である顔６０のサイズsize3を顔基準サイズbase_sizeとする。基準の顔以外の顔の一つである顔６２のサイズsize4を取得し、sizeに代入する。sizeとbase_size×αの大きさを比較すると、
size>=base_size×α
が成立する。この条件から、顔６２は相対的に重要であると判定され、顔検出結果から除外されない。
【００３２】
次に、式（１）に基づき、顔重要度を算出する。α＝１／２、および式（３）の関係から、size=base_size×9/10を式（１）に代入すると、
顔重要度
＝[((base_size×9/10_base_size×1/2)/(base_size(1-1/2)))×10]
＝８
という結果が得られる。
【００３３】
顔６４，６６についても同様の処理を行う。その結果、顔６４，６６は、顔検出結果からは除外されず、これらの顔重要度は８と算出される。
【００３４】
以上の結果として、顔重要度判定装置１２は、全ての顔６０，６２，６４，６６を相対的に重要な顔と判定する。
【００３５】
図４に示す例と図５に示す例を比較すると、絶対的な顔のサイズは顔５２，６２，６４，６６で同じである。しかし、相対的なサイズの違いにより、顔５２は顔検出結果から除外され、顔６２，６４，６６，６８は重要な顔として顔検出結果に残されることになる。図４に示す例では、手前の人物が重要で、後ろの人物は重要ではないという判定になる。図５に示す例では、絶対的な顔の大きさは小さいものの、全ての顔の重要度が高いという判定になる。
【００３６】
このように、絶対的な顔のサイズによらず、相対的な顔のサイズに応じて重要度判定を行うことにより、相対的に重要ではない顔を除外でき、重要な顔のみを抽出できる。そして、重要な顔領域には顔重要度に応じて量子化ステップサイズを細かくして符号化を行い、また、顔検出結果から除外された顔領域に対して他の画像部分と同じ条件で符号化を行う。これにより、符号化効率を保ちつつ、高画質化を実現できる。
【００３７】
ハードウェア構成による実施例を説明したが、本発明は、その一部又は全部をコンピュータソフトエアにより実現できることは明らかである。
【実施例２】
【００３８】
顔基準サイズに対して相対的に小さいサイズの顔を除外することに加え、絶対的に小さいサイズの顔を除外してもよい。図６は、そのように変更した、顔重要度判定装置１２の別の動作フローチャートを示す。
【００３９】
まず、顔検出部４０が、入力画像から顔である領域を検出する（Ｓ２１）。検出された顔領域に対し、最小サイズminimum_sizeより小さいものを顔検出結果から除外する（Ｓ２２）。この除外後に、顔が一つも残っていない場合、又は顔が一つだけ残る場合には、それをそのまま顔検出の結果として処理を終了する（Ｓ２３）。
【００４０】
残りの顔が複数ある場合（Ｓ２３）、最重要顔判定部４２が、残る顔の中から、最大サイズの顔を最重要の顔であると判定する。この顔のサイズを顔基準サイズとする（Ｓ２４）。
【００４１】
顔重要度算出部４４が、最重要と判定された顔以外の顔のサイズ（size）を取得する（Ｓ２５）。最重要以外の顔のサイズ（size）が顔基準サイズ（base_size）に対する一定割合（α）より小さい場合（Ｓ２６）、重要ではない顔であると判定し、顔検出結果から除外する（Ｓ２７）。最重要以外の顔のサイズ（size）が、基準の顔基準サイズ（base_size）に対する一定割合（α）以上となるものに対して（Ｓ２６）、顔基準サイズからの相対サイズにより顔重要度を算出する（Ｓ２８）。
【００４２】
全ての顔について（Ｓ２９）、ステップＳ２５〜Ｓ２８を繰り返す。
【００４３】
図６に示す処理によれば、最重要の顔のサイズからの相対的サイズと、絶対的サイズの両面から、重要ではない顔を除外するので、符号化効率と重要な顔領域の高画質化を更に改善できる。
【符号の説明】
【００４４】
１２  顔重要度判定装置
１４  量子化制御部
１６  フレームバッファ
１８  動き予測部
２２  直交変換部
２４  量子化部
２６  エントロピー符号化部
【図１】
2010278797.tif 000003
【図２】
2010278797.tif 000004
【図３】
2010278797.tif 000005
【図４】
2010278797.tif 000006
【図５】
2010278797.tif 000007
【図６】
2010278797.tif 000008