(57)【要約】  低ビットレート時に顔輪郭部でイントラ予測モードの選択を誤った場合に画質劣化が大きくなるという課題があった。  入力画像に対して顔検出を行う顔検出部と、顔検出部からの顔検出結果に基づいてイントラ予測モードの制御を行うイントラ予測モード制御部を備え、イントラ予測モードの制御は、現在処理するブロックが顔領域のどの位置に位置するかに基づいてイントラ予測モードの選択を行うことにより、顔輪郭部のイントラ予測モードを適切に選択することができるため、低ビットレート時の顔画像の画質劣化を改善することが出来る。
2009037828.tif 000002
【特許請求の範囲】
【請求項１】
面内予測を含む予測符号化を行う画像符号化装置であって、
入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、
選択された面内予測モードで前記ブロックの面内予測を行う面内予測部と
を備える画像符号化装置。
【請求項２】
前記オブジェクト検出部は、前記オブジェクト画像として顔の検出を行う
請求項１に記載の画像符号化装置。
【請求項３】
前記オブジェクト検出部は、検出された前記オブジェクト画像が占める前記入力ピクチャ内の領域を示す領域情報を生成し、
前記面内予測モード選択部は、前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
請求項１に記載の画像符号化装置。
【請求項４】
前記領域情報は、前記オブジェクト画像が占める前記領域の開始座標と前記領域の大きさを表す
請求項１に記載の画像符号化装置。
【請求項５】
前記オブジェクト画像が占める前記領域は、矩形で表され、
前記面内予測モード選択部は、前記ブロックが、
前記領域の垂直方向の輪郭を含むときは垂直予測モードを選択し、
前記領域の水平方向の輪郭を含むときは水平予測モードを選択する
請求項１に記載の画像符号化装置。
【請求項６】
前記面内予測モード選択部は、前記ブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含むときは、当該ブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する
請求項２に記載の画像符号化装置。
【請求項７】
面内予測を含む予測復号化を行う画像復号化装置であって、
入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、
選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部と
を備える画像復号化装置。
【請求項８】
前記オブジェクト検出部は、復号化済みピクチャである前記ピクチャを顔検出することにより、オブジェクト画像である顔を検出する
請求項７に記載の画像復号化装置。
【請求項９】
前記オブジェクト検出部は、検出された前記オブジェクト画像が占める前記復号化済みピクチャ内の領域を示す領域情報を生成し、
前記面内予測モード選択部は、前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
請求項８に記載の画像復号化装置。
【請求項１０】
前記領域情報は、前記オブジェクト画像が占める矩形領域の開始座標と前記領域の大きさを表し、
前記面内予測モード選択部は、前記領域情報で示される前記矩形領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
請求項９に記載の画像復号化装置。
【請求項１１】
前記面内予測モード選択部は、復号化対象のブロックが、
前記領域の垂直方向の境界を含む復号化済みブロックと同じ位置にあるときは垂直予測モードを選択し、
前記領域の水平方向の境界を含む復号化済みブロックと同じ位置にあるときは水平予測モードを選択する
請求項９に記載の画像復号化装置。
【請求項１２】
前記面内予測モード選択部は、復号化対象のブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含む復号化済みブロックと同じ位置にあるときは、前記復号化済みブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する
請求項８に記載の画像復号化装置。
【請求項１３】
前記オブジェクト検出部は、復号化対象ピクチャである前記ピクチャ内で前記オブジェクト画像が占める領域を示す領域情報を、前記符号化データのヘッダから抽出して、抽出した前記領域情報に従って前記復号化対象ピクチャ内の前記オブジェクト画像を検出し、
前記面内予測モード選択部は、検出された前記オブジェクト画像の輪郭の方向に沿った面内予測モードを選択する
請求項７に記載の画像復号化装置。
【請求項１４】
面内予測を含む予測符号化を行う集積回路であって、
入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、
選択された面内予測モードで前記ブロックの面内予測を行う面内予測部と
を備える集積回路。
【請求項１５】
面内予測を含む予測復号化を行う集積回路であって、
入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、
選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部と
を備える集積回路。
【請求項１６】
面内予測を含む予測符号化を行う画像符号化方法であって、
オブジェクト検出部が、入力ピクチャ内のオブジェクト画像を検出し、
面内予測モード選択部が、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択し、
面内予測部が、選択された面内予測モードで前記ブロックの面内予測を行う
画像符号化方法。
【請求項１７】
面内予測を含む予測復号化を行う画像復号化方法であって、
オブジェクト検出部が、入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出し、
面内予測モード選択部が、復号化対象ブロックが前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択し、
面内予測部が、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う
画像復号化方法。
【請求項１８】
コンピュータ読み取り可能な記録媒体に記録されたプログラムであって、コンピュータを、
入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、選択された面内予測モードで前記ブロックの面内予測を行う面内予測部として機能させるプログラム。
【請求項１９】
コンピュータ読み取り可能な記録媒体に記録されたプログラムであって、コンピュータを、
入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対して顔検出を行い、その検出結果を画像符号化および画像復号化に利用する画像符号化装置および画像復号化装置に関するものである。
【背景技術】
【０００２】
動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ  ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が策定した、ＭＰＥＧ−４  Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（略してＭＰＥＧ−４  ＡＶＣと言う）がある。このＭＰＥＧ−４  ＡＶＣでは、１枚のフレーム内の画素のみを参照して予測符号化を行うフレーム内符号化において、隣接画素を使って予測を行う方法（イントラ予測）を採用している。【０００３】
ＭＰＥＧ−４  ＡＶＣのイントラ予測は、輝度成分と色差成分とでは異なる方法により行う。【０００４】
輝度成分のイントラ予測方法には、１６×１６画素ブロック単位でイントラ予測を行う１６×１６イントラ予測モードと、４×４画素ブロック単位でイントラ予測を行う４×４イントラ予測モードとがある。【０００５】
また、色差成分のイントラ予測には、８×８画素ブロック単位で行う８×８イントラ予測モードのみがある。【０００６】
図１（ａ）〜（ｄ）は１６×１６イントラ予測モードのときの、隣接画素からの予測値の算出方法を示した図である。１６×１６イントラ予測モードには、図１（ａ）に示すＭｏｄｅ０：Ｖｅｒｔｉｃａｌ（垂直予測モード）、図１（ｂ）に示すＭｏｄｅ１：Ｈｏｒｉｚｏｎｔａｌ（水平予測モード）、図１（ｃ）に示すＭｏｄｅ２：ＤＣ（ＤＣ予測モード）、図１（ｄ）に示すＭｏｄｅ３：Ｐｌａｎｅ（平面予測モード）の４つの予測モードがある。【０００７】
図２（ａ）〜（ｉ）は４×４イントラ予測モードの時の、隣接画素Ａ〜Ｍからの予測値の算出方法を示した図である。４×４イントラ予測モードには、図２（ａ）〜（ｉ）で示すように９つの予測モードがある。【０００８】
符号化のときは、これらのイントラ予測モードのうち、輝度成分および色差成分のそれぞれについてどのモードを適用するかを選択しなければならない。イントラ予測モードの選択を行う方法としては、それぞれの予測モードの予測値と画像信号との差分を取った差分値を評価し、最適な結果が得られる予測モードをイントラ予測モードとして適用する方法が一般的である。【０００９】
また、イントラ予測モードの選択方法として、特許文献１や特許文献２のような方法がある。【００１０】
特許文献１では、ブロック分割されたブロックのパターンを評価してイントラ予測モードを選択する。図３は、特許文献１の画像符号化装置のイントラ予測部の構成を示す図である。特許文献１のイントラ予測部は、入力画像をブロック毎に分割するブロック分割部１０１と、ブロックの画像パターンを判定する画像パターン判定部１０２と、判定されたパターンに基づいてイントラ予測モードを制御するイントラ予測モード制御部１０３と、イントラ予測モード制御部１０３で指示されたイントラ予測モードを選択するセレクタ１０４と、垂直予測モードのイントラ予測を行う垂直イントラ予測モード部１０５と、水平予測モードのイントラ予測を行う水平イントラ予測モード部１０６と、ＤＣ予測モードのイントラ予測を行うＤＣイントラ予測モード部１０７から構成される。【００１１】
この方法では、画像パターン判定部１０２でブロックの画素データに対してアダマール変換を行い、周波数成分を評価してブロック内に含まれるエッジの方向を判定する。この判定結果に基づき、イントラ予測モード制御部１０３でイントラ予測モードの選択を行う。【００１２】
特許文献２では、フレーム／フィールド構造などのピクチャ全体の情報を利用して、選択されるイントラ予測モードを、限られたイントラ予測モードだけが選択されるように制限する方法である。図４（ａ）は、フィールド構造での３つのイントラ予測モードの予測方向を示す図である。図４（ｂ）は、インタレースの走査線を原画像にあてはめたときの図４（ａ）の３つのイントラ予測モードの予測方向の変化を示す図である。例えば、図４（ａ）に示すように、フィールド構造の場合、４×４イントラ予測のＭｏｄｅ０：ＶｅｒｔｉｃａｌとＭｏｄｅ５：Ｖｅｒｔｉｃａｌ−ＲｉｇｈｔまたはＭｏｄｅ７：Ｖｅｒｔｉｃａｌ−Ｌｅｆｔとの予測方向の角度の差は２２．５°である。しかし、インタレースにより１画素間引く前の原画像では、図４（ｂ）に示すように、Ｍｏｄｅ０とＭｏｄｅ５またはＭｏｄｅ７との予測方向のなす角が半分になる。これにより、Ｍｏｄｅ５およびＭｏｄｅ７の予測方向は垂直に近くなるため、フィールド構造ではＭｏｄｅ０とＭｏｄｅ５およびＭｏｄｅ７との予測誤差が小さいと考えられる。そこで、フィールド構造の場合、４×４イントラ予測においてＭｏｄｅ５およびＭｏｄｅ７のイントラ予測モードをイントラ予測モードの判定対象から省略するよう制限して、イントラ予測モードの判定を行う。これにより、イントラ予測装置におけるイントラ予測モード判定の処理量を、低減することができる。【００１３】
ＭＰＥＧ−４  ＡＶＣのフレーム内符号化では、ブロック分割した入力画像と、上記のような予測モードを使ったイントラ予測により得られた予測画像との差分画像を求め、その差分画像に対して、直交変換と量子化とを行い、得られた量子化係数に対してエントロピー符号化を行うことで符号化ストリームを生成する。また、復号では、符号化ストリームに対してエントロピー復号を行い、得られた量子化係数に対して逆量子化と逆直交変換を行い、差分画像を求める。得られた差分画像に対して、イントラ予測による予測画像を足すことで復号画像を求める。【００１４】
このＭＰＥＧ−４  ＡＶＣを低ビットレートが求められるネットワークカメラに適用した場合、低ビットレートでは、各ブロックの差分画像に割り当てるビット量に余裕がないため、イントラ予測による予測画像の量子化誤差が復号画像に与える影響が大きくなるということがある。【００１５】
このとき、イントラ予測モードの選択が適切でない場合、復号画像の劣化が大きくなる。特に、顔画像の輪郭で起こる劣化は主観的な画質劣化が大きいため、顔画像の輪郭部分ではイントラ予測モードの選択を適切なものにしておく必要がある。
【特許文献１】特開２００６−５６５９号公報
【特許文献２】特開２００６−１８６９７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、従来のイントラ予測モード選択方法では、顔画像の輪郭部分のイントラ予測モードを適切に選択することはできない。【００１７】
特許文献１の方法ではブロック毎の画像パターンを評価するため、評価対象のブロックが顔の輪郭を含む場合であっても、背景画像の水平エッジ成分が強い場合は背景画像のエッジに沿った水平方向のイントラ予測モードが選択され、顔画像の輪郭部分、特に頬のところに背景画像から水平に予測した予測画像による水平エッジが出てしまい、背景画像のエッジが輪郭を横切る方向に引き伸ばされるような画質劣化が起こることがある。【００１８】
また、特許文献２の方法では、ピクチャ単位でイントラ予測モードを決定しているので、顔周辺部だけのイントラ予測モードを好ましいイントラ予測モードにだけ制限することはできないため、顔画像の輪郭部での劣化を防ぐには有効ではない。【００１９】
本発明の目的は、上記課題に鑑み、画像の圧縮率を高めた場合でも主観的画質劣化が少ない画像符号化装置および画像復号化装置を提供することである。
【課題を解決するための手段】
【００２０】
前記従来の課題を解決するために、本発明の画像符号化装置は、面内予測を含む予測符号化を行う画像符号化装置であって、入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、選択された面内予測モードで前記ブロックの面内予測を行う面内予測部とを備える。【００２１】
また、本発明の画像復号化装置は、面内予測を含む予測復号化を行う画像復号化装置であって、入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部とを備える。
【発明の効果】
【００２２】
本構成によって、低ビットレート時にも顔画像の輪郭部のイントラ予測モードを適切に選択することが出来、主観的な画質劣化を抑えることが出来る。
【図面の簡単な説明】
【００２３】
【図１】図１（ａ）〜（ｄ）は１６×１６イントラ予測モードの予測方法を示す図である。
【図２】図２（ａ）〜（ｉ）は４×４イントラ予測モードの予測方法を示す図である。
【図３】図３は従来の画像符号化装置におけるイントラ予測部の構成を示すブロック図である。
【図４】図４（ａ）及び（ｂ）は従来のフィールド構造での予測方向と原画像での予測方向を示す図である。
【図５】図５は本実施の形態１における画像符号化装置の構成を示すブロック図である。
【図６】図６は本実施の形態１におけるイントラ予測部の構成を示すブロック図である。
【図７】図７は顔検出部で検出される領域を示す図である。
【図８】図８はイントラ予測モード制御部でのイントラ予測モード判定のフローチャートである。
【図９】図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックで選択されるイントラ予測モードを示す図である。
【図１０】図１０は本実施の形態２の画像復号化装置の構成を示すブロック図である。
【図１１】図１１は顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置の動作を示すフローチャートである。
【符号の説明】
【００２４】
１０１、８０１    ブロック分割部
１０２    画像パターン判定部
１０３    イントラ予測モード制御部
１０４、８１２、９０６    セレクタ
１０５    垂直イントラ予測モード部
１０６    水平イントラ予測モード部
１０７    ＤＣイントラ予測モード部
１１０、８１３、９１１    顔検出部
５０１    入力画像
５０２    顔画像の領域
７０１    ブロック
７０２    ブロック
８００    画像符号化装置
８０２    直交変換部
８０３    量子化部
８０４    エントロピー符号化部
８０５、９０２    逆量子化部
８０６、９０３    逆直交変換部
８０７、９０５    ループフィルタ
８０８    第１フレームメモリ
８０９、９０７    イントラ予測部
８１０    第２フレームメモリ
８１１、９０８    インター予測部
９００    画像復号化装置
９０１    エントロピー復号化部
９０９    第３フレームメモリ
９１０    第４フレームメモリ
【発明を実施するための最良の形態】
【００２５】
以下本発明の実施の形態について、図面を参照しながら説明する。【００２６】
（実施の形態１）
図５は、本実施の形態１における画像符号化装置８００の構成を示すブロック図である。【００２７】
実施の形態１における画像符号化装置８００は、入力画像中の顔の輪郭を検出し、検出された顔の占める領域を矩形の領域として特定し、特定した顔領域の垂直方向の境界線を含む対象ブロックでは垂直イントラ予測モードを選択し、水平方向の境界線を含む対象ブロックでは水平イントラ予測モードを選択する画像符号化装置であって、ブロック分割部８０１、直交変換部８０２、量子化部８０３、エントロピー符号化部８０４、逆量子化部８０５、逆直交変換部８０６、ループフィルタ８０７、第1フレームメモリ８０８、イントラ予測部８０９、第２フレームメモリ８１０、インター予測部８１１およびセレクタ８１２を備える。ブロック分割部８０１は、入力画像に対してブロック毎に分割を行う。直交変換部８０２は、直交変換を行う。量子化部８０３は、前記直交変換部８０２で得られた変換係数に対して量子化を行う。エントロピー符号化部８０４は、前記量子化部８０３で得られた量子化係数を符号化する。逆量子化部８０５は、前記量子化部８０３で得られた量子化係数の逆量子化を行う。逆直交変換部８０６は、前記逆量子化部８０５で得られた変換係数を逆直交変換する。第1フレームメモリ８０８は、前記逆直交変換部８０６で得られた画像と予測画像を加算した画像を記憶する。イントラ予測部８０９は、前記第1フレームメモリ８０８に記憶されたフレーム内の画素を用いてイントラ予測を行う。ここで、イントラ予測部８０９は、「選択された面内予測モードで前記ブロックの面内予測を行う面内予測部」の一例である。ループフィルタ８０７は、前記逆直交変換部８０６で得られた画像と予測画像とを加算した画像に対してデブロッキングフィルタをかける。第２フレームメモリ８１０は、前記ループフィルタ８０７でデブロッキングフィルタをかけられた画像を記憶する。インター予測部８１１は、前記第２フレームメモリ８１０に記憶された画像を参照してフレーム間予測を行う。セレクタ８１２は、前記イントラ予測部８０９で得られた予測画像と前記インター予測部８１１で得られた予測画像とを選択する。顔検出部８１３は、「入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「前記オブジェクト画像として顔の検出を行う前記オブジェクト検出部」、および「検出された前記オブジェクト画像が占める前記入力ピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、入力画像に対して顔検出を行い、検出結果を前記イントラ予測部８０９に出力する。【００２８】
以下では、画像符号化装置８００の中でイントラ予測に関するブロックについて説明を行う。【００２９】
図６は、本実施の形態１における画像符号化装置８００のイントラ予測部８０９と顔検出部８１３の構成を示すブロック図である。図６において、図３と同じ構成要素については同じ符号を用い、説明を省略する。なお、同図において、ブロック分割部１０１からセレクタ１０４までの間に、差分器、直交変換部８０２、量子化部８０３、逆量子化部８０５、逆直交変換部８０６、加算器および第1フレームメモリ８０８が省略されている。また、図６の顔検出部１１０およびブロック分割部１０１は、図５の顔検出部８１３およびブロック分割部８０１と同じものである。【００３０】
本実施の形態のイントラ予測部８０９は、内部にブロック分割部１０１、イントラ予測モード制御部１０３、セレクタ１０４、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７を備える。顔検出部１１０は、入力画像に対して顔検出を行い、顔領域情報を生成する。ブロック分割部１０１は、入力画像をイントラ予測の単位に決められた所定のサイズのブロックに分割する。イントラ予測モード制御部１０３は、顔検出部１１０から得られた顔領域情報に基づいて、対象ブロックのイントラ予測モードの選択を行う。ここで、ブロック分割部１０１およびイントラ予測モード制御部１０３は、「前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部」の一例である。また、イントラ予測モード制御部１０３は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。セレクタ１０４は、イントラ予測モード制御部１０３の指示により、イントラ予測モードを切り替える。垂直イントラ予測モード部１０５は、対象ブロックに対して垂直イントラ予測モードでイントラ予測を行う。水平イントラ予測モード部１０６は、対象ブロックに対して水平イントラ予測モードでイントラ予測を行う。ＤＣイントラ予測モード部１０７は、画素値の算術平均を用いたＤＣイントラ予測モードでイントラ予測を行う。【００３１】
図６において、顔検出部１１０は入力画像に対して顔検出処理を行い、顔領域情報をイントラ予測モード制御部１０３に出力する。顔検出の方法としては、テンプレートマッチングを用いた方法などがある。また、肌色情報を用いた方法や顔の部品に注目する方法などのように、顔に関する知識を利用する方法と訓練サンプルとして多くの顔画像と顔以外の対象の画像を用意し、学習により顔検出のための識別器を構成するExample-based 顔検出法などがある。【００３２】
図７は、顔検出部１１０で得られる顔領域情報の一例を示す図である。イントラ予測モード制御部１０３は、入力画像５０１の中で顔検出部１１０により検出された顔画像の領域５０２を示す顔領域情報に基づいて、イントラ予測モードの選択を行う。ここでは、イントラ予測モード制御部１０３は、例えば、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７、およびイントラ予測なしのいずれかを選択するものとする。図７に示すように、顔検出部１１０からの顔領域情報は、「前記オブジェクト画像が占める前記領域の開始座標と前記領域の大きさを表す前記領域情報」の一例であり、顔画像の領域５０２の開始座標（ｘ，ｙ）と顔画像の領域５０２の幅Ｗと高さＨで示される。本実施の形態では、これらの顔領域の情報を用いて、現在処理しているブロックが顔領域のどの部分に位置しているかを判定してイントラ予測モードを選択する。特に顔画像の輪郭部分において、劣化を起こすイントラ予測モードを制限することで、低ビットレートでの画質劣化を抑える。【００３３】
図８は、画像符号化装置８００による顔領域情報に基づくイントラ予測モードの選択動作を示すフローチャートである。以下、イントラ予測モードの選択方法を図８のフローチャートに従って説明する。【００３４】
ステップＳ６０１で、イントラ予測部８０９は、現在処理しているブロックが顔領域内に属しているか否かを判定する。現在処理しているブロックの位置を（curr＿ｘ、curr＿ｙ）、ブロックのサイズを幅ｂｌｋ＿ｗ、高さｂｌｋ＿ｈとすると、判定式は数１のようになる。ただし、以下の数式において、除算部分の商は小数以下切捨てとする。数１の条件を満たすとき、イントラ予測部８０９は現在処理中のブロックが顔画像の領域５０２を一部でも含む領域に属していると判定する。属している場合はステップＳ６０２に移行する。属していない場合はステップＳ６０６に移行する。【００３５】
【数１】
2009037828.tif 000003
【００３６】
ステップＳ６０２では、現在処理しているブロックが顔画像の領域５０２内で輪郭部に属しているか否かを判定する。判定式は数２のようになる。輪郭部に属している場合は、ステップＳ６０３に移行する。属していない場合はステップＳ６０６に移行する。【００３７】
【数２】
2009037828.tif 000004
【００３８】
ステップＳ６０３では、現在処理しているブロックの属している輪郭部が水平方向か、垂直方向かを判定する。水平方向の判定式は数３のようになる。垂直方向の判定式は数４のようになる。水平方向のときはステップＳ６０４に移行する。垂直方向のときはステップＳ６０５に移行する。【００３９】
【数３】
2009037828.tif 000005
【００４０】
【数４】
2009037828.tif 000006
【００４１】
ステップＳ６０４では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを水平予測モードとし、セレクタ１０４に指示し、判定を終了する。【００４２】
ステップＳ６０５では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを垂直予測モードとし、セレクタ１０４に指示し、判定を終了する。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記領域の垂直方向の輪郭を含むときは垂直予測モードを選択し、前記領域の水平方向の輪郭を含むときは水平予測モードを選択する前記面内予測モード選択部」の一例である。【００４３】
ステップＳ６０６では、イントラ予測モード制御部１０３は、全てのイントラ予測モードでの差分値を評価してイントラ予測モードを選択し、判定を終了する。【００４４】
上記の判定処理により、顔画像の輪郭部でのイントラ予測モードの選択を適切に行うことが出来、輪郭部での画像の劣化を抑えることが出来る。【００４５】
図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックに対して選択されるイントラ予測モードを示す図である。ブロック７０１はブロック７０１内に含まれる顔輪郭の方向が垂直であるため、垂直予測モードを適用する。ブロック７０２はブロック７０２内に含まれる顔輪郭の方向が水平であるため、水平予測モードを適用する。このように本実施の形態によれば、顔画像の輪郭方向に沿ったイントラ予測モードをブロック単位で選択することができるため、顔画像の輪郭部が含まれるブロックで背景画像のエッジが顔輪郭によるエッジよりも強い場合においても、背景画像のエッジが顔輪郭を横切って引き伸ばされるような画質劣化を抑えることができる。【００４６】
セレクタ１０４は、イントラ予測モード制御部１０３で選択された予測モードのイントラ予測部、すなわち、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７のいずれかを選択し、選択されたイントラ予測モード部によりイントラ予測を行う。【００４７】
なお、イントラ予測モードの選択フローの説明として、顔の輪郭の方向が垂直と水平の２方向に対して、垂直予測と水平予測の２つを選択する場合を説明したが、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含むときは、当該ブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。【００４８】
このように、実施の形態１により、顔画像の領域情報をイントラ予測モード制御に与えることで、低ビットレート時に顔画像の輪郭部で適切なイントラ予測モードを選択することが出来、顔画像の輪郭部での顕著な画質劣化を抑えることが出来る。【００４９】
（実施の形態２）
図１０は、実施の形態２の画像復号化装置９００の構成を示す図である。画像復号化装置９００は、符号化ストリームを復号化して得られる入力画像の中で、復号化対象ピクチャの１つ前の復号化画像の中で顔領域を特定する。特定した顔領域を示す顔領域情報を復号化対象ピクチャに当てはめて、顔領域の垂直方向の境界を含んでいる復号化対象ブロックには垂直方向のイントラ予測モードでイントラ予測を行い、顔領域の水平方向の境界を含む対象ブロックに対して水平方向のイントラ予測モードでイントラ予測を行うことにより、画像劣化の少ないイントラ予測画像を生成する画像復号化装置である。このとき、符号化ストリームに含まれる復号化対象ブロックのイントラ予測モードは無視される。この画像復号化装置９００は、エントロピー復号化部９０１、逆量子化部９０２、逆直交変換部９０３、加算器９０４、ループフィルタ９０５、セレクタ９０６、イントラ予測部９０７、インター予測部９０８、第３フレームメモリ９０９、第４フレームメモリ９１０および顔検出部９１１を備える。【００５０】
エントロピー復号化部９０１は、画像復号化装置９００に入力される符号化ビットストリームをエントロピー復号化する。逆量子化部９０２は、エントロピー復号化により得られた量子化係数を逆量子化することにより直交変換係数を出力する。逆直交変換部９０３は、逆量子化により得られた直交変換係数を逆直交変換することにより、差分画像を出力する。加算器９０４は、逆直交変換部９０３から出力された差分画像と、イントラ予測部９０７またはインター予測部９０８から出力された予測画像とを加算して、局部復号化画像を生成する。ループフィルタ９０５は、加算器９０４によって生成された局部復号化画像に対し、画像補間などによりデブロッキングなどの処理を行う。ループフィルタ９０５によってデブロッキングなどが行われた局部復号化画像は、面間予測が行われるピクチャである場合、第４フレームメモリ９１０に格納されるとともに、復号画像として外部に出力される。加算器９０４で生成された局部復号化画像が、面内予測が行われるピクチャであれば、そのまま第３フレームメモリ９０９に格納されるとともに、ループフィルタ９０５でデブロッキングなどの処理が行われ復号画像として外部に出力される。【００５１】
第３フレームメモリ９０９に格納されたピクチャは、イントラ予測部９０７に読み出され、顔検出部９１１によって検出された顔領域情報に基づいて、イントラ予測される。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含む場合には、強制的に垂直方向のイントラ予測モードでイントラ予測される。また、復号化対象ブロックが顔領域の水平方向の境界を含む場合には、強制的に水平方向のイントラ予測モードでイントラ予測される。顔検出部９１１は、「入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「復号化済みピクチャである前記ピクチャを顔検出することにより、オブジェクト画像である顔を検出する前記オブジェクト検出部」、「検出された前記オブジェクト画像が占める前記復号化済みピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、ループフィルタ９０５からの出力である復号画像の中で顔の領域を特定し、特定した顔領域を示す顔領域情報をイントラ予測部９０７に出力する。セレクタ９０６は、復号化対象ブロックが、面内予測が行われたブロックである場合にはイントラ予測部９０７を選択し、イントラ予測部９０７からの予測画像を加算器９０４に出力する。また、セレクタ９０６は、復号化対象ブロックが、面間予測が行われたブロックである場合にはインター予測部９０８を選択し、インター予測部９０８からの予測画像を加算器９０４に出力する。【００５２】
図１１は、顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置９００の動作を示すフローチャートである。まず、イントラ予測部９０７は、直前に復号化済みのフレームが存在するか否かを判断する（Ｓ１１０１）。存在すれば（Ｓ１１０１でＹｅｓ）、顔検出部９１１は復号化済みの直前フレームの中で顔の領域を検出および特定する（Ｓ１１０２）。さらに、顔検出部９１１は、検出された顔領域を示す顔領域情報を生成し、イントラ予測部９０７に出力する。イントラ予測部９０７は、「復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部、および選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部」の一例である。顔検出部９１１から取得した顔領域情報から、前フレームにおける顔領域の位置および領域などを判定し、顔領域の輪郭に応じたイントラ予測モードでイントラ予測を行う（Ｓ１１０３）。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含むブロックである場合には、垂直イントラ予測モード部１０５を選択してイントラ予測を行う。また、復号化対象ブロックが顔領域の水平方向の境界を含むブロックである場合には、水平イントラ予測モード部１０６を選択してイントラ予測を行う。ここで、イントラ予測部９０７は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。復号化対象ブロックが、顔領域の境界を含まない位置にある場合には、符号化ストリームに含まれる復号化対象ブロックの予測モードに従ってイントラ予測を行う。すなわち、イントラ予測モード制御部は、「前記領域情報で示される前記矩形領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」、「復号化対象のブロックが、前記領域の垂直方向の境界を含む復号化済みブロックと同じ位置にあるときは垂直予測モードを選択し、前記領域の水平方向の境界を含む復号化済みブロックと同じ位置にあるときは水平予測モードを選択する前記面内予測モード選択部」の一例である。【００５３】
なお、本実施の形態２では、画像復号化装置におけるイントラ予測モードの選択フローの説明として、垂直予測と水平予測の選択を説明したが、本実施の形態においても、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「復号化対象のブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含む復号化済みブロックと同じ位置にあるときは、前記復号化済みブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。【００５４】
また、上記実施の形態２では、１つ前の復号化ピクチャの中で顔領域を特定し、特定した顔領域を示す顔領域情報に基づいて、イントラ予測モードを決定するとしたが、本発明はこれに限定されない。例えば、画像符号化装置側で顔の輪郭を検出して顔領域情報を生成し、生成した顔領域情報を符号化ストリームのフレームヘッダにタグ情報として入れておくとしてもよい。ここで、顔検出部９１１は、「復号化対象ピクチャである前記ピクチャ内で前記オブジェクト画像が占める領域を示す領域情報を、前記符号化データのヘッダから抽出して、抽出した前記領域情報に従って前記復号化対象ピクチャ内の前記オブジェクト画像を検出する前記オブジェクト検出部」の一例である。この場合、画像復号化装置は、符号化ストリームのヘッダから顔領域情報を取得し、顔領域の輪郭を含む復号化対象ブロックでは、輪郭の方向に一致するイントラ予測モードを選択するとしてもよい。ここで、イントラ予測モード制御部１０３は、「検出された前記オブジェクト画像の輪郭の方向に沿った面内予測モードを選択する前記面内予測モード選択部」の一例である。また、例えば、符号化ストリームのヘッダ内に、顔領域の輪郭を含む復号化対象ブロックに対して、選択するべきイントラ予測モードを示す情報を入れておくとしてもよい。【００５５】
なお、画像符号化装置８００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように1チップ化されても良い。【００５６】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。【００５７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。【００５８】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【産業上の利用可能性】
【００５９】
本発明にかかる画像符号化装置は、顔検出を行い、検出結果に基づいてイントラ予測モードを制御する手段を有し、低ビットレート時の画質劣化を改善するため、ネットワークカメラや監視カメラ向けの画像符号化装置として有用である。また、低ビットレート時の顔周辺の画質劣化を改善する画像復号化装置として有用である。
【図１】
2009037828.tif 000007
【図２】
2009037828.tif 000008
【図３】
2009037828.tif 000009
【図４】
2009037828.tif 000010
【図５】
2009037828.tif 000011
【図６】
2009037828.tif 000012
【図７】
2009037828.tif 000013
【図８】
2009037828.tif 000014
【図９】
2009037828.tif 000015
【図１０】
2009037828.tif 000016
【図１１】
2009037828.tif 000017
【手続補正書】
【提出日】平成21年3月23日(2009.3.23)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に対して顔検出を行い、その検出結果を画像符号化および画像復号化に利用する画像符号化装置および画像復号化装置に関するものである。
【背景技術】
【０００２】
動画像データを符号化する標準技術として、ＩＳＯ／ＩＥＣ  ＪＴＣ１のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が策定した、ＭＰＥＧ−４  Ｐａｒｔ１０：Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ（略してＭＰＥＧ−４  ＡＶＣと言う）がある。このＭＰＥＧ−４  ＡＶＣでは、１枚のフレーム内の画素のみを参照して予測符号化を行うフレーム内符号化において、隣接画素を使って予測を行う方法（イントラ予測）を採用している。
【０００３】
ＭＰＥＧ−４  ＡＶＣのイントラ予測は、輝度成分と色差成分とでは異なる方法により行う。
【０００４】
輝度成分のイントラ予測方法には、１６×１６画素ブロック単位でイントラ予測を行う１６×１６イントラ予測モードと、４×４画素ブロック単位でイントラ予測を行う４×４イントラ予測モードとがある。
【０００５】
また、色差成分のイントラ予測には、８×８画素ブロック単位で行う８×８イントラ予測モードのみがある。
【０００６】
図１（ａ）〜（ｄ）は１６×１６イントラ予測モードのときの、隣接画素からの予測値の算出方法を示した図である。１６×１６イントラ予測モードには、図１（ａ）に示すＭｏｄｅ０：Ｖｅｒｔｉｃａｌ（垂直予測モード）、図１（ｂ）に示すＭｏｄｅ１：Ｈｏｒｉｚｏｎｔａｌ（水平予測モード）、図１（ｃ）に示すＭｏｄｅ２：ＤＣ（ＤＣ予測モード）、図１（ｄ）に示すＭｏｄｅ３：Ｐｌａｎｅ（平面予測モード）の４つの予測モードがある。
【０００７】
図２（ａ）〜（ｉ）は４×４イントラ予測モードの時の、隣接画素Ａ〜Ｍからの予測値の算出方法を示した図である。４×４イントラ予測モードには、図２（ａ）〜（ｉ）で示すように９つの予測モードがある。
【０００８】
符号化のときは、これらのイントラ予測モードのうち、輝度成分および色差成分のそれぞれについてどのモードを適用するかを選択しなければならない。イントラ予測モードの選択を行う方法としては、それぞれの予測モードの予測値と画像信号との差分を取った差分値を評価し、最適な結果が得られる予測モードをイントラ予測モードとして適用する方法が一般的である。
【０００９】
また、イントラ予測モードの選択方法として、特許文献１や特許文献２のような方法がある。
【００１０】
特許文献１では、ブロック分割されたブロックのパターンを評価してイントラ予測モードを選択する。図３は、特許文献１の画像符号化装置のイントラ予測部の構成を示す図である。特許文献１のイントラ予測部は、入力画像をブロック毎に分割するブロック分割部１０１と、ブロックの画像パターンを判定する画像パターン判定部１０２と、判定されたパターンに基づいてイントラ予測モードを制御するイントラ予測モード制御部１０３と、イントラ予測モード制御部１０３で指示されたイントラ予測モードを選択するセレクタ１０４と、垂直予測モードのイントラ予測を行う垂直イントラ予測モード部１０５と、水平予測モードのイントラ予測を行う水平イントラ予測モード部１０６と、ＤＣ予測モードのイントラ予測を行うＤＣイントラ予測モード部１０７から構成される。
【００１１】
この方法では、画像パターン判定部１０２でブロックの画素データに対してアダマール変換を行い、周波数成分を評価してブロック内に含まれるエッジの方向を判定する。この判定結果に基づき、イントラ予測モード制御部１０３でイントラ予測モードの選択を行う。
【００１２】
特許文献２では、フレーム／フィールド構造などのピクチャ全体の情報を利用して、選択されるイントラ予測モードを、限られたイントラ予測モードだけが選択されるように制限する方法である。図４（ａ）は、フィールド構造での３つのイントラ予測モードの予測方向を示す図である。図４（ｂ）は、インタレースの走査線を原画像にあてはめたときの図４（ａ）の３つのイントラ予測モードの予測方向の変化を示す図である。例えば、図４（ａ）に示すように、フィールド構造の場合、４×４イントラ予測のＭｏｄｅ０：ＶｅｒｔｉｃａｌとＭｏｄｅ５：Ｖｅｒｔｉｃａｌ−ＲｉｇｈｔまたはＭｏｄｅ７：Ｖｅｒｔｉｃａｌ−Ｌｅｆｔとの予測方向の角度の差は２２．５°である。しかし、インタレースにより１画素間引く前の原画像では、図４（ｂ）に示すように、Ｍｏｄｅ０とＭｏｄｅ５またはＭｏｄｅ７との予測方向のなす角が半分になる。これにより、Ｍｏｄｅ５およびＭｏｄｅ７の予測方向は垂直に近くなるため、フィールド構造ではＭｏｄｅ０とＭｏｄｅ５およびＭｏｄｅ７との予測誤差が小さいと考えられる。そこで、フィールド構造の場合、４×４イントラ予測においてＭｏｄｅ５およびＭｏｄｅ７のイントラ予測モードをイントラ予測モードの判定対象から省略するよう制限して、イントラ予測モードの判定を行う。これにより、イントラ予測装置におけるイントラ予測モード判定の処理量を、低減することができる。
【００１３】
ＭＰＥＧ−４  ＡＶＣのフレーム内符号化では、ブロック分割した入力画像と、上記のような予測モードを使ったイントラ予測により得られた予測画像との差分画像を求め、その差分画像に対して、直交変換と量子化とを行い、得られた量子化係数に対してエントロピー符号化を行うことで符号化ストリームを生成する。また、復号では、符号化ストリームに対してエントロピー復号を行い、得られた量子化係数に対して逆量子化と逆直交変換を行い、差分画像を求める。得られた差分画像に対して、イントラ予測による予測画像を足すことで復号画像を求める。
【００１４】
このＭＰＥＧ−４  ＡＶＣを低ビットレートが求められるネットワークカメラに適用した場合、低ビットレートでは、各ブロックの差分画像に割り当てるビット量に余裕がないため、イントラ予測による予測画像の量子化誤差が復号画像に与える影響が大きくなるということがある。
【００１５】
このとき、イントラ予測モードの選択が適切でない場合、復号画像の劣化が大きくなる。特に、顔画像の輪郭で起こる劣化は主観的な画質劣化が大きいため、顔画像の輪郭部分ではイントラ予測モードの選択を適切なものにしておく必要がある。
【特許文献１】特開２００６−５６５９号公報
【特許文献２】特開２００６−１８６９７２号公報
【発明の開示】
【発明が解決しようとする課題】
【００１６】
しかし、従来のイントラ予測モード選択方法では、顔画像の輪郭部分のイントラ予測モードを適切に選択することはできない。
【００１７】
特許文献１の方法ではブロック毎の画像パターンを評価するため、評価対象のブロックが顔の輪郭を含む場合であっても、背景画像の水平エッジ成分が強い場合は背景画像のエッジに沿った水平方向のイントラ予測モードが選択され、顔画像の輪郭部分、特に頬のところに背景画像から水平に予測した予測画像による水平エッジが出てしまい、背景画像のエッジが輪郭を横切る方向に引き伸ばされるような画質劣化が起こることがある。
【００１８】
また、特許文献２の方法では、ピクチャ単位でイントラ予測モードを決定しているので、顔周辺部だけのイントラ予測モードを好ましいイントラ予測モードにだけ制限することはできないため、顔画像の輪郭部での劣化を防ぐには有効ではない。
【００１９】
本発明の目的は、上記課題に鑑み、画像の圧縮率を高めた場合でも主観的画質劣化が少ない画像符号化装置および画像復号化装置を提供することである。
【課題を解決するための手段】
【００２０】
前記従来の課題を解決するために、本発明の画像符号化装置は、面内予測を含む予測符号化を行う画像符号化装置であって、入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、選択された面内予測モードで前記ブロックの面内予測を行う面内予測部とを備える。
【００２１】
また、本発明の画像復号化装置は、面内予測を含む予測復号化を行う画像復号化装置であって、入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部とを備える。
【発明の効果】
【００２２】
本構成によって、低ビットレート時にも顔画像の輪郭部のイントラ予測モードを適切に選択することが出来、主観的な画質劣化を抑えることが出来る。
【発明を実施するための最良の形態】
【００２３】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２４】
（実施の形態１）
図５は、本実施の形態１における画像符号化装置８００の構成を示すブロック図である。
【００２５】
実施の形態１における画像符号化装置８００は、入力画像中の顔の輪郭を検出し、検出された顔の占める領域を矩形の領域として特定し、特定した顔領域の垂直方向の境界線を含む対象ブロックでは垂直イントラ予測モードを選択し、水平方向の境界線を含む対象ブロックでは水平イントラ予測モードを選択する画像符号化装置であって、ブロック分割部８０１、直交変換部８０２、量子化部８０３、エントロピー符号化部８０４、逆量子化部８０５、逆直交変換部８０６、ループフィルタ８０７、第１フレームメモリ８０８、イントラ予測部８０９、第２フレームメモリ８１０、インター予測部８１１およびセレクタ８１２を備える。ブロック分割部８０１は、入力画像に対してブロック毎に分割を行う。直交変換部８０２は、直交変換を行う。量子化部８０３は、前記直交変換部８０２で得られた変換係数に対して量子化を行う。エントロピー符号化部８０４は、前記量子化部８０３で得られた量子化係数を符号化する。逆量子化部８０５は、前記量子化部８０３で得られた量子化係数の逆量子化を行う。逆直交変換部８０６は、前記逆量子化部８０５で得られた変換係数を逆直交変換する。第１フレームメモリ８０８は、前記逆直交変換部８０６で得られた画像と予測画像を加算した画像を記憶する。イントラ予測部８０９は、前記第１フレームメモリ８０８に記憶されたフレーム内の画素を用いてイントラ予測を行う。ここで、イントラ予測部８０９は、「選択された面内予測モードで前記ブロックの面内予測を行う面内予測部」の一例である。ループフィルタ８０７は、前記逆直交変換部８０６で得られた画像と予測画像とを加算した画像に対してデブロッキングフィルタをかける。第２フレームメモリ８１０は、前記ループフィルタ８０７でデブロッキングフィルタをかけられた画像を記憶する。インター予測部８１１は、前記第２フレームメモリ８１０に記憶された画像を参照してフレーム間予測を行う。セレクタ８１２は、前記イントラ予測部８０９で得られた予測画像と前記インター予測部８１１で得られた予測画像とを選択する。顔検出部８１３は、「入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「前記オブジェクト画像として顔の検出を行う前記オブジェクト検出部」、および「検出された前記オブジェクト画像が占める前記入力ピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、入力画像に対して顔検出を行い、検出結果を前記イントラ予測部８０９に出力する。
【００２６】
以下では、画像符号化装置８００の中でイントラ予測に関するブロックについて説明を行う。
【００２７】
図６は、本実施の形態１における画像符号化装置８００のイントラ予測部８０９と顔検出部８１３の構成を示すブロック図である。図６において、図３と同じ構成要素については同じ符号を用い、説明を省略する。なお、同図において、ブロック分割部１０１からセレクタ１０４までの間に、差分器、直交変換部８０２、量子化部８０３、逆量子化部８０５、逆直交変換部８０６、加算器および第１フレームメモリ８０８が省略されている。また、図６の顔検出部１１０およびブロック分割部１０１は、図５の顔検出部８１３およびブロック分割部８０１と同じものである。
【００２８】
本実施の形態のイントラ予測部８０９は、内部にブロック分割部１０１、イントラ予測モード制御部１０３、セレクタ１０４、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７を備える。顔検出部１１０は、入力画像に対して顔検出を行い、顔領域情報を生成する。ブロック分割部１０１は、入力画像をイントラ予測の単位に決められた所定のサイズのブロックに分割する。イントラ予測モード制御部１０３は、顔検出部１１０から得られた顔領域情報に基づいて、対象ブロックのイントラ予測モードの選択を行う。ここで、ブロック分割部１０１およびイントラ予測モード制御部１０３は、「前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部」の一例である。また、イントラ予測モード制御部１０３は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。セレクタ１０４は、イントラ予測モード制御部１０３の指示により、イントラ予測モードを切り替える。垂直イントラ予測モード部１０５は、対象ブロックに対して垂直イントラ予測モードでイントラ予測を行う。水平イントラ予測モード部１０６は、対象ブロックに対して水平イントラ予測モードでイントラ予測を行う。ＤＣイントラ予測モード部１０７は、画素値の算術平均を用いたＤＣイントラ予測モードでイントラ予測を行う。
【００２９】
図６において、顔検出部１１０は入力画像に対して顔検出処理を行い、顔領域情報をイントラ予測モード制御部１０３に出力する。顔検出の方法としては、テンプレートマッチングを用いた方法などがある。また、肌色情報を用いた方法や顔の部品に注目する方法などのように、顔に関する知識を利用する方法と訓練サンプルとして多くの顔画像と顔以外の対象の画像を用意し、学習により顔検出のための識別器を構成するExample-based顔検出法などがある。
【００３０】
図７は、顔検出部１１０で得られる顔領域情報の一例を示す図である。イントラ予測モード制御部１０３は、入力画像５０１の中で顔検出部１１０により検出された顔画像の領域５０２を示す顔領域情報に基づいて、イントラ予測モードの選択を行う。ここでは、イントラ予測モード制御部１０３は、例えば、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７、およびイントラ予測なしのいずれかを選択するものとする。図７に示すように、顔検出部１１０からの顔領域情報は、「前記オブジェクト画像が占める前記領域の開始座標と前記領域の大きさを表す前記領域情報」の一例であり、顔画像の領域５０２の開始座標（ｘ，ｙ）と顔画像の領域５０２の幅Ｗと高さＨで示される。本実施の形態では、これらの顔領域の情報を用いて、現在処理しているブロックが顔領域のどの部分に位置しているかを判定してイントラ予測モードを選択する。特に顔画像の輪郭部分において、劣化を起こすイントラ予測モードを制限することで、低ビットレートでの画質劣化を抑える。
【００３１】
図８は、画像符号化装置８００による顔領域情報に基づくイントラ予測モードの選択動作を示すフローチャートである。以下、イントラ予測モードの選択方法を図８のフローチャートに従って説明する。
【００３２】
ステップＳ６０１で、イントラ予測部８０９は、現在処理しているブロックが顔領域内に属しているか否かを判定する。現在処理しているブロックの位置を（curr＿ｘ、curr＿ｙ）、ブロックのサイズを幅ｂｌｋ＿ｗ、高さｂｌｋ＿ｈとすると、判定式は数１のようになる。ただし、以下の数式において、除算部分の商は小数以下切捨てとする。数１の条件を満たすとき、イントラ予測部８０９は現在処理中のブロックが顔画像の領域５０２を一部でも含む領域に属していると判定する。属している場合はステップＳ６０２に移行する。属していない場合はステップＳ６０６に移行する。
【００３３】
【数１】
2009037828.tif 000018
【００３４】
ステップＳ６０２では、現在処理しているブロックが顔画像の領域５０２内で輪郭部に属しているか否かを判定する。判定式は数２のようになる。輪郭部に属している場合は、ステップＳ６０３に移行する。属していない場合はステップＳ６０６に移行する。
【００３５】
【数２】
2009037828.tif 000019
【００３６】
ステップＳ６０３では、現在処理しているブロックの属している輪郭部が水平方向か、垂直方向かを判定する。水平方向の判定式は数３のようになる。垂直方向の判定式は数４のようになる。水平方向のときはステップＳ６０４に移行する。垂直方向のときはステップＳ６０５に移行する。
【００３７】
【数３】
2009037828.tif 000020
【００３８】
【数４】
2009037828.tif 000021
【００３９】
ステップＳ６０４では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを水平予測モードとし、セレクタ１０４に指示し、判定を終了する。
【００４０】
ステップＳ６０５では、イントラ予測モード制御部１０３は、現在処理しているブロックのイントラ予測モードを垂直予測モードとし、セレクタ１０４に指示し、判定を終了する。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記領域の垂直方向の輪郭を含むときは垂直予測モードを選択し、前記領域の水平方向の輪郭を含むときは水平予測モードを選択する前記面内予測モード選択部」の一例である。
【００４１】
ステップＳ６０６では、イントラ予測モード制御部１０３は、全てのイントラ予測モードでの差分値を評価してイントラ予測モードを選択し、判定を終了する。
【００４２】
上記の判定処理により、顔画像の輪郭部でのイントラ予測モードの選択を適切に行うことが出来、輪郭部での画像の劣化を抑えることが出来る。
【００４３】
図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックに対して選択されるイントラ予測モードを示す図である。ブロック７０１はブロック７０１内に含まれる顔輪郭の方向が垂直であるため、垂直予測モードを適用する。ブロック７０２はブロック７０２内に含まれる顔輪郭の方向が水平であるため、水平予測モードを適用する。このように本実施の形態によれば、顔画像の輪郭方向に沿ったイントラ予測モードをブロック単位で選択することができるため、顔画像の輪郭部が含まれるブロックで背景画像のエッジが顔輪郭によるエッジよりも強い場合においても、背景画像のエッジが顔輪郭を横切って引き伸ばされるような画質劣化を抑えることができる。
【００４４】
セレクタ１０４は、イントラ予測モード制御部１０３で選択された予測モードのイントラ予測部、すなわち、垂直イントラ予測モード部１０５、水平イントラ予測モード部１０６、ＤＣイントラ予測モード部１０７のいずれかを選択し、選択されたイントラ予測モード部によりイントラ予測を行う。
【００４５】
なお、イントラ予測モードの選択フローの説明として、顔の輪郭の方向が垂直と水平の２方向に対して、垂直予測と水平予測の２つを選択する場合を説明したが、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「前記ブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含むときは、当該ブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。
【００４６】
このように、実施の形態１により、顔画像の領域情報をイントラ予測モード制御に与えることで、低ビットレート時に顔画像の輪郭部で適切なイントラ予測モードを選択することが出来、顔画像の輪郭部での顕著な画質劣化を抑えることが出来る。
【００４７】
（実施の形態２）
図１０は、実施の形態２の画像復号化装置９００の構成を示す図である。画像復号化装置９００は、符号化ストリームを復号化して得られる入力画像の中で、復号化対象ピクチャの１つ前の復号化画像の中で顔領域を特定する。特定した顔領域を示す顔領域情報を復号化対象ピクチャに当てはめて、顔領域の垂直方向の境界を含んでいる復号化対象ブロックには垂直方向のイントラ予測モードでイントラ予測を行い、顔領域の水平方向の境界を含む対象ブロックに対して水平方向のイントラ予測モードでイントラ予測を行うことにより、画像劣化の少ないイントラ予測画像を生成する画像復号化装置である。このとき、符号化ストリームに含まれる復号化対象ブロックのイントラ予測モードは無視される。この画像復号化装置９００は、エントロピー復号化部９０１、逆量子化部９０２、逆直交変換部９０３、加算器９０４、ループフィルタ９０５、セレクタ９０６、イントラ予測部９０７、インター予測部９０８、第３フレームメモリ９０９、第４フレームメモリ９１０および顔検出部９１１を備える。
【００４８】
エントロピー復号化部９０１は、画像復号化装置９００に入力される符号化ビットストリームをエントロピー復号化する。逆量子化部９０２は、エントロピー復号化により得られた量子化係数を逆量子化することにより直交変換係数を出力する。逆直交変換部９０３は、逆量子化により得られた直交変換係数を逆直交変換することにより、差分画像を出力する。加算器９０４は、逆直交変換部９０３から出力された差分画像と、イントラ予測部９０７またはインター予測部９０８から出力された予測画像とを加算して、局部復号化画像を生成する。ループフィルタ９０５は、加算器９０４によって生成された局部復号化画像に対し、画像補間などによりデブロッキングなどの処理を行う。ループフィルタ９０５によってデブロッキングなどが行われた局部復号化画像は、面間予測が行われるピクチャである場合、第４フレームメモリ９１０に格納されるとともに、復号画像として外部に出力される。加算器９０４で生成された局部復号化画像が、面内予測が行われるピクチャであれば、そのまま第３フレームメモリ９０９に格納されるとともに、ループフィルタ９０５でデブロッキングなどの処理が行われ復号画像として外部に出力される。
【００４９】
第３フレームメモリ９０９に格納されたピクチャは、イントラ予測部９０７に読み出され、顔検出部９１１によって検出された顔領域情報に基づいて、イントラ予測される。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含む場合には、強制的に垂直方向のイントラ予測モードでイントラ予測される。また、復号化対象ブロックが顔領域の水平方向の境界を含む場合には、強制的に水平方向のイントラ予測モードでイントラ予測される。顔検出部９１１は、「入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部」、「復号化済みピクチャである前記ピクチャを顔検出することにより、オブジェクト画像である顔を検出する前記オブジェクト検出部」、「検出された前記オブジェクト画像が占める前記復号化済みピクチャ内の領域を示す領域情報を生成する前記オブジェクト検出部」の一例であり、ループフィルタ９０５からの出力である復号画像の中で顔の領域を特定し、特定した顔領域を示す顔領域情報をイントラ予測部９０７に出力する。セレクタ９０６は、復号化対象ブロックが、面内予測が行われたブロックである場合にはイントラ予測部９０７を選択し、イントラ予測部９０７からの予測画像を加算器９０４に出力する。また、セレクタ９０６は、復号化対象ブロックが、面間予測が行われたブロックである場合にはインター予測部９０８を選択し、インター予測部９０８からの予測画像を加算器９０４に出力する。
【００５０】
図１１は、顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置９００の動作を示すフローチャートである。まず、イントラ予測部９０７は、直前に復号化済みのフレームが存在するか否かを判断する（Ｓ１１０１）。存在すれば（Ｓ１１０１でＹｅｓ）、顔検出部９１１は復号化済みの直前フレームの中で顔の領域を検出および特定する（Ｓ１１０２）。さらに、顔検出部９１１は、検出された顔領域を示す顔領域情報を生成し、イントラ予測部９０７に出力する。イントラ予測部９０７は、「復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部、および選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部」の一例である。顔検出部９１１から取得した顔領域情報から、前フレームにおける顔領域の位置および領域などを判定し、顔領域の輪郭に応じたイントラ予測モードでイントラ予測を行う（Ｓ１１０３）。すなわち、復号化対象ブロックが顔領域の垂直方向の境界を含むブロックである場合には、垂直イントラ予測モード部１０５を選択してイントラ予測を行う。また、復号化対象ブロックが顔領域の水平方向の境界を含むブロックである場合には、水平イントラ予測モード部１０６を選択してイントラ予測を行う。ここで、イントラ予測部９０７は、「前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」の一例である。復号化対象ブロックが、顔領域の境界を含まない位置にある場合には、符号化ストリームに含まれる復号化対象ブロックの予測モードに従ってイントラ予測を行う。すなわち、イントラ予測モード制御部は、「前記領域情報で示される前記矩形領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する前記面内予測モード選択部」、「復号化対象のブロックが、前記領域の垂直方向の境界を含む復号化済みブロックと同じ位置にあるときは垂直予測モードを選択し、前記領域の水平方向の境界を含む復号化済みブロックと同じ位置にあるときは水平予測モードを選択する前記面内予測モード選択部」の一例である。
【００５１】
なお、本実施の形態２では、画像復号化装置におけるイントラ予測モードの選択フローの説明として、垂直予測と水平予測の選択を説明したが、本実施の形態においても、この２つの予測モードに限るものではなく、領域情報から推定される顔輪郭の方向に沿ったイントラ予測モードを選択しても良い。例えば、顔検出部により顔の輪郭を検出し、検出された顔の輪郭の曲線の方向に合わせてイントラ予測モードを選択するようにしてもよい。この場合、顔の輪郭線を含む対象ブロック内での輪郭線の角度に最も近似する角度のイントラ予測モードを選択し、選択したイントラ予測モードで対象ブロックをイントラ予測するものとする。ここで、イントラ予測モード制御部１０３は、「復号化対象のブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含む復号化済みブロックと同じ位置にあるときは、前記復号化済みブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する前記面内予測モード選択部」の一例である。
【００５２】
また、上記実施の形態２では、１つ前の復号化ピクチャの中で顔領域を特定し、特定した顔領域を示す顔領域情報に基づいて、イントラ予測モードを決定するとしたが、本発明はこれに限定されない。例えば、画像符号化装置側で顔の輪郭を検出して顔領域情報を生成し、生成した顔領域情報を符号化ストリームのフレームヘッダにタグ情報として入れておくとしてもよい。ここで、顔検出部９１１は、「復号化対象ピクチャである前記ピクチャ内で前記オブジェクト画像が占める領域を示す領域情報を、前記符号化データのヘッダから抽出して、抽出した前記領域情報に従って前記復号化対象ピクチャ内の前記オブジェクト画像を検出する前記オブジェクト検出部」の一例である。この場合、画像復号化装置は、符号化ストリームのヘッダから顔領域情報を取得し、顔領域の輪郭を含む復号化対象ブロックでは、輪郭の方向に一致するイントラ予測モードを選択するとしてもよい。ここで、イントラ予測モード制御部１０３は、「検出された前記オブジェクト画像の輪郭の方向に沿った面内予測モードを選択する前記面内予測モード選択部」の一例である。また、例えば、符号化ストリームのヘッダ内に、顔領域の輪郭を含む復号化対象ブロックに対して、選択するべきイントラ予測モードを示す情報を入れておくとしてもよい。
【００５３】
なお、画像符号化装置８００は典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されても良いし、一部または全てを含むように１チップ化されても良い。
【００５４】
ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【００５５】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００５６】
さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適用等が可能性としてあり得る。
【産業上の利用可能性】
【００５７】
本発明にかかる画像符号化装置は、顔検出を行い、検出結果に基づいてイントラ予測モードを制御する手段を有し、低ビットレート時の画質劣化を改善するため、ネットワークカメラや監視カメラ向けの画像符号化装置として有用である。また、低ビットレート時の顔周辺の画質劣化を改善する画像復号化装置として有用である。
【図面の簡単な説明】
【００５８】
【図１】図１（ａ）〜（ｄ）は１６×１６イントラ予測モードの予測方法を示す図である。
【図２】図２（ａ）〜（ｉ）は４×４イントラ予測モードの予測方法を示す図である。
【図３】図３は従来の画像符号化装置におけるイントラ予測部の構成を示すブロック図である。
【図４】図４（ａ）及び（ｂ）は従来のフィールド構造での予測方向と原画像での予測方向を示す図である。
【図５】図５は本実施の形態１における画像符号化装置の構成を示すブロック図である。
【図６】図６は本実施の形態１におけるイントラ予測部の構成を示すブロック図である。
【図７】図７は顔検出部で検出される領域を示す図である。
【図８】図８はイントラ予測モード制御部でのイントラ予測モード判定のフローチャートである。
【図９】図９は顔領域を拡大して示し、顔領域の境界線を含む対象ブロックで選択されるイントラ予測モードを示す図である。
【図１０】図１０は本実施の形態２の画像復号化装置の構成を示すブロック図である。
【図１１】図１１は顔領域の境界の向きに応じたイントラ予測を行う画像復号化装置の動作を示すフローチャートである。
【符号の説明】
【００５９】
１０１、８０１    ブロック分割部
１０２    画像パターン判定部
１０３    イントラ予測モード制御部
１０４、８１２、９０６    セレクタ
１０５    垂直イントラ予測モード部
１０６    水平イントラ予測モード部
１０７    ＤＣイントラ予測モード部
１１０、８１３、９１１    顔検出部
５０１    入力画像
５０２    顔画像の領域
７０１    ブロック
７０２    ブロック
８００    画像符号化装置
８０２    直交変換部
８０３    量子化部
８０４    エントロピー符号化部
８０５、９０２    逆量子化部
８０６、９０３    逆直交変換部
８０７、９０５    ループフィルタ
８０８    第１フレームメモリ
８０９、９０７    イントラ予測部
８１０    第２フレームメモリ
８１１、９０８    インター予測部
９００    画像復号化装置
９０１    エントロピー復号化部
９０９    第３フレームメモリ
９１０    第４フレームメモリ
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
面内予測を含む予測符号化を行う画像符号化装置であって、
入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、
選択された面内予測モードで前記ブロックの面内予測を行う面内予測部と
を備える画像符号化装置。
【請求項２】
前記オブジェクト検出部は、前記オブジェクト画像として顔の検出を行う
請求項１に記載の画像符号化装置。
【請求項３】
前記オブジェクト検出部は、検出された前記オブジェクト画像が占める前記入力ピクチャ内の領域を示す領域情報を生成し、
前記面内予測モード選択部は、前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
請求項１に記載の画像符号化装置。
【請求項４】
前記領域情報は、前記オブジェクト画像が占める前記領域の開始座標と前記領域の大きさを表す
請求項１に記載の画像符号化装置。
【請求項５】
前記オブジェクト画像が占める前記領域は、矩形で表され、
前記面内予測モード選択部は、前記ブロックが、
前記領域の垂直方向の輪郭を含むときは垂直予測モードを選択し、
前記領域の水平方向の輪郭を含むときは水平予測モードを選択する
請求項１に記載の画像符号化装置。
【請求項６】
前記面内予測モード選択部は、前記ブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含むときは、当該ブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する
請求項２に記載の画像符号化装置。
【請求項７】
面内予測を含む予測復号化を行う画像復号化装置であって、
入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、
選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部と
を備える画像復号化装置。
【請求項８】
前記オブジェクト検出部は、復号化済みピクチャである前記ピクチャを顔検出することにより、オブジェクト画像である顔を検出する
請求項７に記載の画像復号化装置。
【請求項９】
前記オブジェクト検出部は、検出された前記オブジェクト画像が占める前記復号化済みピクチャ内の領域を示す領域情報を生成し、
前記面内予測モード選択部は、前記領域情報で示される前記領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
請求項８に記載の画像復号化装置。
【請求項１０】
前記領域情報は、前記オブジェクト画像が占める矩形領域の開始座標と前記領域の大きさを表し、
前記面内予測モード選択部は、前記領域情報で示される前記矩形領域の輪郭部分を前記オブジェクト画像の輪郭と同一視して面内予測モードを選択する
請求項９に記載の画像復号化装置。
【請求項１１】
前記面内予測モード選択部は、復号化対象のブロックが、
前記領域の垂直方向の境界を含む復号化済みブロックと同じ位置にあるときは垂直予測モードを選択し、
前記領域の水平方向の境界を含む復号化済みブロックと同じ位置にあるときは水平予測モードを選択する
請求項９に記載の画像復号化装置。
【請求項１２】
前記面内予測モード選択部は、復号化対象のブロックが、前記オブジェクト検出部によって検出された顔の輪郭を含む復号化済みブロックと同じ位置にあるときは、前記復号化済みブロック内に含まれる輪郭の方向に最も近似する方向の面内予測モードを選択する
請求項８に記載の画像復号化装置。
【請求項１３】
前記オブジェクト検出部は、復号化対象ピクチャである前記ピクチャ内で前記オブジェクト画像が占める領域を示す領域情報を、前記符号化データのヘッダから抽出して、抽出した前記領域情報に従って前記復号化対象ピクチャ内の前記オブジェクト画像を検出し、
前記面内予測モード選択部は、検出された前記オブジェクト画像の輪郭の方向に沿った面内予測モードを選択する
請求項７に記載の画像復号化装置。
【請求項１４】
面内予測を含む予測符号化を行う集積回路であって、
入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、
選択された面内予測モードで前記ブロックの面内予測を行う面内予測部と
を備える集積回路。
【請求項１５】
面内予測を含む予測復号化を行う集積回路であって、
入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、
復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、
選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部と
を備える集積回路。
【請求項１６】
面内予測を含む予測符号化を行う画像符号化方法であって、
オブジェクト検出部が、入力ピクチャ内のオブジェクト画像を検出し、
面内予測モード選択部が、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択し、
面内予測部が、選択された面内予測モードで前記ブロックの面内予測を行う
画像符号化方法。
【請求項１７】
面内予測を含む予測復号化を行う画像復号化方法であって、
オブジェクト検出部が、入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出し、
面内予測モード選択部が、復号化対象ブロックが前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択し、
面内予測部が、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う
画像復号化方法。
【請求項１８】
コンピュータ読み取り可能な記録媒体に記録されたプログラムであって、コンピュータを、
入力ピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、前記入力ピクチャを複数のブロックに分割し、前記複数ブロックのいずれかが前記オブジェクト画像の輪郭部分を含む場合に、前記ブロックに含まれる前記輪郭の方向に沿った面内予測モードを、複数の面内予測モードのうちから選択する面内予測モード選択部と、選択された面内予測モードで前記ブロックの面内予測を行う面内予測部として機能させるプログラム。
【請求項１９】
コンピュータ読み取り可能な記録媒体に記録されたプログラムであって、コンピュータを、
入力された符号化データから復号化されるピクチャ内のオブジェクト画像を検出するオブジェクト検出部と、復号化対象ブロックが、前記ピクチャで検出された前記オブジェクト画像の輪郭部分を含むブロックと同じ位置にある場合に、前記復号化対象ブロックに対応する前記オブジェクト画像の前記輪郭の方向に沿った面内予測モードを選択する面内予測モード選択部と、選択された前記面内予測モードで前記復号化対象ブロックの面内予測を行う面内予測部として機能させるプログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2009037828.tif 000022
【図２】
2009037828.tif 000023
【図３】
2009037828.tif 000024
【図４】
2009037828.tif 000025
【図５】
2009037828.tif 000026
【図６】
2009037828.tif 000027
【図７】
2009037828.tif 000028
【図８】
2009037828.tif 000029
【図９】
2009037828.tif 000030
【図１０】
2009037828.tif 000031
【図１１】
2009037828.tif 000032
【国際調査報告】
2009037828.tif 000033
2009037828.tif 000034
2009037828.tif 000035
2009037828.tif 000036