(57)【特許請求の範囲】
【請求項１】
符号化量を設定する符号化パラメータに基づいて映像信号を符号化する映像符号化装置であって、
前記映像信号からなる画面内の特定領域を、入力部からの入力画像と予め記憶された画像との相関値に基づいて重要領域として検出するとともに、前記相関値である確度を算出する重要領域検出手段と、
前記重要領域検出手段による重要領域検出の確度が高い場合は、前記重要領域検出手段が検出した検出領域を切り出し領域と設定し、その切り出し領域の量子化値を下げる度合いを大きくするよう制御し、逆に前記確度が低い場合は、前記重要領域検出手段が検出した検出領域の周辺を含む大きな領域を切り出し領域と設定し、その切り出し領域の量子化値を下げる度合いを小さくするよう制御し、前記切り出し領域の量子化値と重心座標と切り出しサイズとを符号化パラメータとして算出する符号化パラメータ算出手段と、
前記符号化パラメータとして算出された切り出し領域の重心座標と切り出しサイズとに基づいて、前記映像信号による画面内の切り出し領域を切り出した後、切り出した画像を切り出し前の画像サイズに拡大する前処理手段と、
を有する映像符号化装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像信号を符号化パラメータに基づいて限られた伝送ビットレート内で符号化する映像符号化装置に関する。
【０００２】
【従来の技術】
近年、情報通信技術の発達やインフラの整備によって、伝送路を通じて映像信号の送受信を行うことや、映像信号を蓄積メディアに蓄積することが可能となった。一般に、映像信号は情報量が大きいため、伝送ビットレートの限られた伝送路を用いて映像信号を伝送する場合、あるいは蓄積容量の限られた蓄積メディアに映像信号を蓄積するためには、映像信号を圧縮符号化する技術が必要不可欠である。映像信号の圧縮符号化方式のひとつとして、ISO/IECが標準化を進めているＭＰＥＧ（Moving Picture Expert Group ）があり、これは映像信号の時間的相関、空間的相関を利用した冗長性の削減を行うことにより、映像信号の情報量を減らして、伝送路のビットレートあるいは蓄積メディアに記録するためのビットレートを満たした映像信号に符号化する技術である。
【０００３】
映像信号の圧縮符号化においては、映像信号を限られたビットレートに符号化するため、映像を構成する１枚１枚の画像に割り当てられる符号量は限られ、伝送ビットレートに応じて画像の画質は劣化したものとなる。特に画面内を均一に符号化する場合には、画質が画面内で均一、すなわち画質劣化も均一となる。
【０００４】
例えばＴＶ会議における映像符号化を考えると、本来ユーザは背景部分よりも顔部分の画質が良好となることを望んでいるのにも拘らず、画面内を均一に符号化すると、ＴＶ会議を行う上で重要な顔部分の画質と、重要でない背景部分の画質が同等のものとなってしまい、符号化後に得られる映像はユーザの意図を反映した主観的な画質を満たすものではない。
【０００５】
ここで、画面内においては、ユーザにとって重要である領域とそうでない領域が存在し、ユーザは重要な領域の視認性が高いことを望んでいる。以降、ユーザにとって重要な領域を"重要領域"と定義し、例えばＴＶ会議ではユーザが見たい顔部分が重要領域となる。
【０００６】
そこで、ユーザの意図を反映した符号化を行うことができる技術として、重要領域の画質を他の領域よりも良好にする方式が提案されている。例えば、ISO/IEC JTC1/SC29/WG11 MPEG95/030に記載されている方式では、動画像から重要領域を選択し、量子化値を変えることにより重要領域の画質を他の領域よりも良好にしている。
【０００７】
また、この方式では選択した領域が高画質化されるため、重要領域が画面上を動く場合には、重要領域の画質を高く保つために、随時重要領域の選択を行う必要がある。そこで、重要領域を自動で検出する検出手段を利用し、検出された重要領域を高画質化する方式が考えられる。
【０００８】
この方式として、特開平１０−２３４３２号公報に記載されている画像の圧縮符号化装置（以下、従来例と呼ぶ）がある。従来例では、予め記憶しているパターンと入力画像とのマッチングを行い、パターンと一致している領域を高画質化している。
【０００９】
以下に、従来例の手法について説明する。図８は、従来例のブロック図を示したものである。この図において、圧縮符号化装置5001は、動き推定部5002と、ＤＣＴ（Discrete Cosine Transform ）部5003と、量子化部5004と、可変長符号化部5005と、ヘッダ付加部5006と、復号化部5007と、優先符号化指定部5008と、符号量比較部5009と、符号化パラメータ決定部5010を有して構成されている。
【００１０】
以上のように構成される圧縮符号化装置について、その動作を説明する。入力画像の符号化は、１６×１６ピクセルで構成されるマクロブロック単位に行う。動き推定部5002は、後述する復号化部から出力される参照画像と入力画像との類似度比較を行い、類似度の高い領域との差分値を算出する。動き推定部の出力は２つのモードがある。前記差分値を出力するモード１と、入力をそのまま出力するモード２である。これらモードは、後述する符号化パラメータ決定部により決定される。
【００１１】
ＤＣＴ部5003は、動き推定部5002より出力される画像を直交変換し、変換結果を量子化部5004に出力する。量子化部5004は、ＤＣＴ部より出力される直交変換係数を、後述の符号化パラメータ決定部5010より出力される量子化値で割り算を行い、結果を可変長符号化部5005に出力する。可変長符号化部5005は、量子化部5004より出力される量子化結果を可変長符号化し、ヘッダ付加部5006に出力する。
【００１２】
ヘッダ付加部5006は、可変長符号化部5005より出力される符号に、必要なヘッダを付加し符号化映像信号として復号化部5007と外部に出力すると共に、発生した符号量を符号量比較部5009に出力する。復号化部5007は、ヘッダ付加部5006より出力される符号化映像信号を復号化し、参照画像を動き推定部5002に出力する。符号量比較部5009は、予め定められた目標符号量と、ヘッダ付加部5006より出力される発生符号量とを比較し、その差である残有符号量を符号化パラメータ決定部5010に出力する。
【００１３】
優先符号化指定部5008は、予め記憶してあるパターンと、入力画像との類似度を比較し、一致の程度がある閾値以上の場合は、優先符号化の指示を符号化パラメータ決定部5010に出力する。符号化パラメータ決定部5010は、符号量比較部5009から出力された残有符号量を用いて、量子化値及び、動き推定モードを決定し、量子化値を量子化部5004に出力し、動き推定モードを動き推定部5002に出力する。
【００１４】
例えば、残有符号量が小さい場合には、差分値を用いるモード１にする、あるいは量子化値を大きくして、発生符号量が減少するようにする。逆に、残有符号量が大きい場合は、入力画像を用いるモード２にするか、あるいは、量子化値を小さくして、発生符号量が増加するようにする。但し、優先符号化決定部5008からの優先符号化の指示が出力された場合には、入力画像を用いるモード２にする、あるいは、量子化値を小さくすることによって、優先符号化の指示があったマクロブロックに多くの符号量を割り当てるように制御を行う。このように、優先符号化の指示があったマクロブロックに対して、多くの符号量を割り当てることによって高画質化することが可能である。
【００１５】
【発明が解決しようとする課題】
しかし、重要領域の検出精度は必ずしも１００％ではないため、検出された領域が本当の重要領域と完全に一致せず、本当の領域からズレがある場合、あるいは完全に外れてしまう場合がある。この場合、検出された領域を高画質化することにより、検出領域から外れた本当の重要領域の視認性が低下してしまう。
【００１６】
また、上記した優先符号化指定部5008は重要領域とある閾値以上一致する領域を検出し、重要領域との一致の度合いに因らず一定の高画質化を行うため、高画質化の効果は閾値の設定にゆだねられる。例えば前記閾値が低い場合には、一致の度合いが低い画像、即ち重要領域である確率の低い領域であっても一定の高画質化が行われ、符号量が無駄に使われるため、本来高画質化したい重要領域に多くの符号量を割り当てて高画質化することができない。
【００１７】
逆に、前記閾値が高い場合には、パターンと完全に一致する画像のみ一定の高画質化が行われるため、重要な領域が高画質化される確率は低くなり、逆に重要領域である確率が高いが、閾値に満たない重要領域が低画質化されてしまう。
【００１８】
このように、重要領域との一致の度合いが閾値以上である領域のみに対して、一致の度合いを考慮せずに一定の高画質化を行ってしまうと、一致の度合いに応じた高画質化を行うことができず、重要領域の視認性が低下してしまう場合がある。ここで、一致の度合いに応じた高画質化とは、重量領域との一致の度合いが高いもの程、より高画質にすることを意味する。
【００１９】
以降、本稿では検出領域が本当の重要領域と一致している度合いを"確度"と定義し、確度が高いことは、検出領域が本当の重要領域である確率が高いこと、即ち検出精度が高いことを意味する。
【００２０】
本発明は、上記従来の課題を解決するためになされたものであり、映像信号を限られた伝送ビットレートで符号化する制約を破ることなく、検出領域が本来の重要領域である場合にこの領域を高画質化することは勿論、前記検出領域に本来の重要領域が含まれないような場合でも、この重要領域の画質をある程度維持できるようにして、視認性を確保できる映像符号化装置を提供することを目的とする。
【００２１】
【課題を解決するための手段】
上記目的を達成するため、本発明の映像符号化装置は、第１に、符号化量を設定する符号化パラメータに基づいて映像信号を符号化する映像符号化装置であって、前記映像信号からなる画面内の特定領域を、入力部からの入力画像と予め記憶された画像との相関値に基づいて重要領域として検出するとともに、前記相関値である確度を算出する重要領域検出手段と、前記重要領域検出手段による重要領域検出の確度が高い場合は、前記重要領域検出手段が検出した検出領域を切り出し領域と設定し、その切り出し領域の量子化値を下げる度合いを大きくするよう制御し、逆に前記確度が低い場合は、前記重要領域検出手段が検出した検出領域の周辺を含む大きな領域を切り出し領域と設定し、その切り出し領域の量子化値を下げる度合いを小さくするよう制御し、前記切り出し領域の量子化値と重心座標と切り出しサイズとを符号化パラメータとして算出する符号化パラメータ算出手段と、前記符号化パラメータとして算出された切り出し領域の重心座標と切り出しサイズとに基づいて、前記映像信号による画面内の切り出し領域を切り出した後、切り出した画像を切り出し前の画像サイズに拡大する前処理手段と、を有するものである。
【００２２】
本発明によれば、ユーザは例えば画面内の画質を向上させたい領域を選択すると、領域の符号化パラメータを例えば符号量が多くなるように設定して、選択領域の画質を良好にする。また、前記画面内の重要領域が自動的に選択され、この自動で選択された重要領域の符号化パラメータを変更して、例えば符号化量が他領域よりも多くなるように設定する。
【００２５】
本発明の映像符号化装置は、第２に、前記符号化パラメータ算出手段は、更に、検出領域外の符号化パラメータを前記確度の値に応じて段階的に算出するものとする。
【００２６】
本発明によれば、重要領域と検出されない部分の符号化パラメータも段階的に設定されるため、重要領域の検出ミスが生じても、この領域の画質が極端に劣化しないように設定する。
【００２７】
また、本発明は以下のような態様も可能である。
映像符号化装置は、前記重要領域検出手段は、前記特定領域の検出結果の精度を示す確度を算出し、前記符号化パラメータ算出手段は、前記重要領域検出手段により算出された確度の値に応じて検出領域或いは検出領域外の符号化パラメータを算出するものであってもよい。
【００２８】
これにより、検出の確度に応じて、検出領域の符号化パラメータを設定する。例えば確度が高く重要領域である場合は画質が良好になるような符号化パラメータを設定し、確度が低く重要領域でないような領域程画質が順次劣化するように符号化パラメータを設定する。
【００２９】
映像符号化装置は、前記重要領域検出手段により検出された領域に基づいて、前記映像信号による表示画像の特定領域を切り出したり、或いは前記表示画像中の切り出し領域を適切な大きさに調整する前処理手段を設けるものであってもよい。
【００３０】
これにより、重要領域などを自動的に切り出し且つその大きさを適切、例えば見やすい大きさに自動調整し、この自動調整された切り出し領域を画質が他の領域よりも良好になるように符号化する。
【００３１】
映像符号化装置は、前記重要領域検出手段により算出された確度の値に応じて算出する符号化パラメータは、量子化値であるものであってもよい。
【００３２】
これにより、重要領域である可能性が高い領域ほど、符号化パラメータである量子化値を小さくして、前記重要領域検出手段の検出領域により多くの符号量を割り当てることにより、前記検出領域の画質を良好にする。
【００３３】
映像符号化装置は、前記重要領域検出手段により算出された確度の値に応じて算出する符号化パラメータは、画面の更新レートであるものであってもよい。
【００３４】
これにより、重要領域である可能性が高い領域ほど、符号化パラメータである更新レートを大きくして、前記重要領域検出手段の検出領域により多くの符号量を割り当てることにより、前記検出領域の画質を良好にする。
【００３５】
映像符号化装置は、前記重要領域検出手段により算出された確度の値に応じて算出する符号化パラメータは、符号化を行うか否かの決定の際に使用する駒落とし閾値であるものであってもよい。
【００３６】
これにより、前記重要領域である可能性が高い領域ほど、符号化パラメータである駒落とし閾値を大きくして、前記重要領域検出手段の検出領域により多くの符号量を割り当てることにより、前記検出領域の画質を良好にする。
【００３７】
映像符号化装置は、前記重要領域検出手段により算出された確度の値に応じて算出する符号化パラメータは、前記映像信号の高周波成分を除去するプレフィルタであるものであってもよい。
【００３８】
これにより、重要領域である可能性が高い領域ほど、検出領域外に対してより強い低域通過フィルタを掛け、高周波情報を削減し符号量を節約して、検出領域により多くの符号量を割り当てて高画質化する。また、確度が低く検出領域と本当の重要領域にズレがある場合においても、前記確度対応のプレフィルタが設定されるため、本当の重要領域のうち検出ミス領域の符号化量が極端に減る方向に設定されない。
【００３９】
映像符号化装置は、前記重要領域検出手段により算出された確度の値に応じて算出する符号化パラメータは、前記映像信号により表示される画像を切り出して符号化する際の切り出しサイズであるものであってもよい。
【００４０】
これにより、前記重要領域である可能性が高い領域ほど、符号化パラメータである切り出しサイズを小さくして、前記重要領域検出手段の検出領域により多くの符号量を割り当てることにより、前記検出領域の画質を良好にする。
【００４１】
映像符号化装置は、前記重要領域検出手段により算出された確度の値に応じて算出する符号化パラメータは、この重要領域検出手段の検出領域の大きさを変更する領域補正パラメータであるものであってもよい。
【００４２】
これにより、前記重要領域である可能性が高い領域ほど、符号化パラメータである領域補正パラメータにより前記重要領域検出手段の検出領域を拡大補正して、前記検出領域により多くの符号量を割り当てることにより前記検出領域の画質を良好にする。
【００４３】
映像符号化装置は、前記重要領域検出手段により算出された確度の値に応じて算出する符号化パラメータは、量子化値、更新レート、駒落とし閾値、プレフィルタ、切り出しサイズ、領域補正パラメータの符号化パラメータのうちの、少なくとも２つ以上の組み合わせであるものであってもよい。
【００４４】
これにより、前記重要領域である可能性が高い領域ほど、符号化パラメータである例えば駒落とし閾値を大きくし且つ切り出しサイズを小さくし、或いは別の組み合わせとして、例えば駒落とし閾値を大きくし且つ切り出しサイズを小さくし且つ量子化値を小さくして、前記重要領域検出手段の検出領域により多くの符号量を割り当てることにより、前記検出領域の画質を良好にする。
【００４５】
映像符号化装置は、前記符号化パラメータ算出手段は、前記重要領域検出手段の検出結果を用いて、検出領域の符号化モードを動き優先若しくは画質優先に設定するものであってもよい。
【００４６】
これにより、前記重要領域が動きのある領域である場合、符号化モードを動き優先に、前記重要領域が動きがない場合は符号化モードを画質優先に設定して、動きのある重要領域の動きを滑らかにし、動かない重要領域の画質を良好にする。
【００４７】
本発明の映像符号化装置は、第３に、前記符号化パラメータ算出手段は、前記重要領域検出手段による重要領域検出の確度が高い場合は、この重要領域検出手段の検出領域の量子化値を下げる度合いを大きく制御し、前記確度が低い場合は、前記検出領域の量子化値を下げる度合いを小さく制御し、符号化パラメータとして量子化値を算出するものとする。
【００４８】
本発明によれば、検出の確度に応じて、確度が高く重要領域である確率が高い領域ほど、その画面劣化を大幅に低減して高画質化する。また、確度が低く重要領域である確率が低い領域ほど、画面劣化の低減度合いを小さくすることによって、検出結果と本当の重要領域にズレがある場合でも、本当の重要領域で検出ミス部分の画質が極端に劣化しないようにする。
【００４９】
本発明の映像符号化装置は、第４に、前記符号化パラメータ算出手段は、前記重要領域検出手段による重要領域検出の確度が高い場合は、この重要領域検出手段の検出領域の画面更新レートの増大度合いを大きく制御し、逆に前記確度が低い場合は、前記検出領域の画面更新レートの増大度合いを小さく制御し、符号化パラメータとして画面更新レートを算出するものとする。
【００５０】
本発明によれば、前記確度が高く重要領域である確率が高い領域ほど、画面更新レートをより大きく設定して重要領域の動きが滑らかになるように符号化する。また、逆に確度が低く重要領域である確率が低い領域ほど、画面更新レートの増大度合いを順次低くして、検出結果と本当の重要領域にズレがある場合でも本当の重要領域のうち検出ミス部分おいて動きの滑らかさが極端に低下しないようにする。
【００５１】
本発明の映像符号化装置は、第５に、前記符号化パラメータ算出手段は、前記重要領域検出手段による重要領域検出の確度が高い場合は、この重要領域検出手段の検出領域の駒落とし閾値の増大度合いを大きく制御し、逆に前記確度が低い場合は、前記検出領域の駒落とし閾値の増大度合いを小さく制御し、符号化パラメータとして駒落とし閾値を算出するものとする。
【００５２】
本発明によれば、確度が高く重要領域である確率が高い領域ほど、符号化において帯域が足りない場合においても符号化スキップしないようにして、動きの滑らかさを維持するように符号化する。また、確度が低く重要領域である確率が低い領域は、確度の高い場合に比べて符号化スキップするようにして、帯域が足りなく、且つ検出結果と本当の重要領域にズレがある場合でも本当の重要領域のうち検出ミス部分での動きの滑らかさが極端に低下しないようにする。
【００５３】
本発明の映像符号化装置は、第６に、前記符号化パラメータ算出手段は、前記重要領域検出手段による重要領域検出の確度が高い場合は、この重要領域検出手段の検出領域以外のプレフィルタを遮断周波数が低い低域通過フィルタに設定し、逆に前記確度が低い場合は、前記検出領域以外のプレフィルタを遮断周波数が高い低域通過フィルタに設定し、符号化パラメータとして、前記映像信号の高周波成分を除去するプレフィルタを算出するものとする。
【００５４】
本発明によれば、重要領域である可能性が高い領域ほど、検出領域外に対して強い低域通過フィルタを掛け、高周波情報を削減し符号量を節約することにより、検出領域により多くの符号量を割り当てて高画質化する。また、重要領域である可能性が低い領域ほど、検出領域外に対して弱い低域通過フィルタを掛けることにより、確度が低く検出領域と本当の重要領域にずれがある場合においても、本当の重要領域のうち検出ミス部分が極端にボケた画像とならないようにする。
【００５５】
本発明の映像符号化装置は、第７に、前記映像符号化装置は、さらに、前処理手段を備え、前記符号化パラメータ算出手段は、前記重要領域検出手段による重要領域検出の確度が高い場合は、前記映像信号により表示される画像から切り出す領域を検出領域と設定し、逆に前記確度が低い場合は、前記検出領域の周辺を含む大きな領域として切り出す領域を設定し、切り出す領域の切り出しサイズを符号化パラメータとして算出し、前記前処理手段は、符号化パラメータとして算出された前記切り出しサイズに基づいて、前記映像信号による表示画像の特定領域を切り出したり、或いは前記表示画像中の切り出し領域を調整するものとする。
【００５６】
本発明によれば、確度が高く重要領域である確率が高い場合ほど、重要領域を忠実に切り出して、より拡大して符号化する。また、確度が低く重要領域の検出精度が低い場合においても、検出領域の周辺も含む領域を切り出すため、本当の重要領域のうち検出ミス部分が切り出し領域からはみ出ることをなくし、重要領域を切り出し拡大して符号化する。
【００５７】
本発明の映像符号化装置は、第８に、前記符号化パラメータ算出手段は、前記重要領域検出手段による重要領域検出の確度が高い場合は、この重要領域検出手段の検出領域の大きさ補正の度合いを小さく設定し、逆に前記確度が低い場合は、前記検出領域の大きさ補正の度合いを大きく設定し、符号化パラメータとして前記検出領域の大きさを変更する領域補正パラメータを算出するものとする。
【００５８】
本発明によれば、検出領域の周辺を含む領域を高画質化するので、重要領域の検出精度が低く、本当の重要領域と検出領域にズレがある場合においても、重要領域を含む領域を高画質化する。
【００５９】
本発明の映像符号化装置は、第９に、前記符号化パラメータ算出手段は、前記重要領域検出手段による重要領域検出の確度が高い場合は、前記映像信号により表示される画像から切り出す領域を同重要領域検出手段の検出領域と設定し、且つ、前記検出領域の量子化値を小さくし、逆に前記確度の値が小さい場合は、前記画像から前記検出領域を切り出さず、前記検出領域の量子化値を小さくし、符号化パラメータとして量子化値及び切り出し領域情報を算出するものとする。
【００６０】
本発明によれば、確度が高く重要領域である確率が高い領域ほど、高画質、且つ切り出し拡大を行い、視認性を高める。また、確度が低く重要領域である確率が低く検出領域と本当の重要領域にズレがある場合は、高画質化のみを行い、切り出しによって本当の重要領域のうち検出ミス部分が切り出し領域からはみ出ないようにする。
【００６１】
本発明の映像符号化装置は、第１０に、前記符号化パラメータ算出手段は、前記重要領域検出手段により検出された特定領域のサイズが大きい場合は、前記重要領域検出手段の検出領域の符号化モードを画質優先に設定し、逆に前記特定領域のサイズが小さい場合には、前記検出領域の符号化モードを動き優先に設定し、符号化パラメータとして符号化モードを算出するものとする。
【００６２】
本発明によれば、重量領域の大きさに応じて、重要領域が小さく画質劣化が目立ちにくい場合には、画質よりも動きを優先し、動きを滑らかに符号化にする。また重要領域が大きく画質劣化が目立ちやすい場合には、動きよりも画質を優先し、重要領域の大きさに適切な視認性を高く保つように符号化する。
また、本発明は、コンピュータに、符号量を設定する符号化パラメータに基づいた映像信号の符号化を実行させるプログラムであって、前記コンピュータを、前記映像信号による表示画像の特定領域を、入力部からの入力画像と予め記憶された画像との相関値に基づいて重要領域として検出するとともに、前記相関値である確度を算出する重要領域検出手段、及び算出された確度の値に応じて、前記検出された重要領域の符号化パラメータを算出する符号化パラメータ算出手段として機能させるためのプログラムを提供する。
【００６３】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
【００６４】
［第１の実施形態］
図１は本発明の映像符号化装置の第１の実施形態に係る構成を示したブロック図である。本例の映像符号化装置１は、入力される映像に対してプレフィルタ処理及び映像を小ブロック単位で切り出す処理を施す前処理を行う前処理部１０３、前処理部１０３から入力される映像の動きを予測や動きを補償を行って３種類の動作モードを有する動き補償部１０４、動き補償部１０４から入力される差分値出力或いは映像信号そのものを直行変換（離散コサイン変換）するＤＣＴ変換部１０５、ＤＣＴ変換部１０５で直行変換された周波数領域のデータを量子化する処理を行う量子化部１０６、量子化部１０６で量子化されたデータをランレングス符号化されると同時に値の出現確率に応じて異なる長さの符号を割り当てる可変長符号化する可変長符号化部１０７、量子化部１０６で量子化されたデータを復号化する復号化部１０８、入力された映像の中の視認性を高める重要領域を検出する重要領域検出部１０９、動き補償部１０４の動き補償モード及び量子化部１０６における量子化係数を決定する符号化パラメータ算出部１１０、符号量の目標値と実際の累積値とのずれに基づいて可変長符号化部１０７の符号量を符号化パラメータ算出部１１０を介して制御する符号量制御部１１１を有して構成され、前処理部１０３と重要領域検出部１０９に映像信号を入力する入力部１０２と可変長符号化部１０７で生成された符号化映像信号を出力する出力部１１２を接続している。尚、映像符号化装置１は、映像信号を定められた伝送ビットレート内で符号化するものである。
【００６５】
図２は上記した映像符号化装置１内の映像信号に対する処理の流れを示したフローチャートである。映像符号化装置１の処理は、ステップ２０１の映像信号を入力する映像入力処理、ステップ２０２の重要領域を検出する重要領域検出処理、ステップＳ２０３の符号化パラメータを算出する符号化パラメータ算出処理、ステップＳ２０４の入力画像の前処理を行う前処理、ステップＳ２０５の映像信号の符号化を行う映像符号化処理、ステップＳ２０６の符号化された映像信号を復号化する映像復号化処理、ステップＳ２０７の終了判定処理の順番で行われ、処理が終了と判断されるまでは上記ステップ２０１〜２０７の処理が繰り返される。
【００６６】
次に本実施形態の動作について説明する。まず、ステップ２０１の映像入力処理にて、入力部１０２は映像信号から同期信号を検出して、映像信号を構成する画像を１画面毎に前処理部１０３及び重要領域検出部１０９に出力する。次にステップ２０２の重要領域検出処理にて、重要領域検出部１０９は入力部１０２より入力された1画面の画像データと例えば平均顔画像などの予め記憶してある画像データとの相関が高い領域を検出する。そして、最も相関の高い領域を重要領域として、その検出結果と相関値である確度（Reliability）を符号化パラメータ算出部１１０に出力する。
【００６７】
図３は重要領域検出部１０９の検出結果の一例を示した図である。例えば、検出結果として矩形領域を出力する場合には、重要領域の重心座標（ｃｘ，ｃｙ)と重心からの水平垂直方向の半径（ｒｘ，ｒｙ）の４つの値を出力するものとする。但し、重要領域検出部１０９における検出結果の出力方法はこれに限定されるものではなく、領域を指定できる方法であればいかなる出力方法でも良い。尚、重要領域の検出方法は画像間の相関値を用いるものに限定されるものではなく、領域検出と検出の精度を表す確度を算出できる手法であれば、いかなる方法でも良い。
【００６８】
ステップ２０３の符号化パラメータを算出する符号化パラメータ算出処理にて、符号化パラメータ算出部１１０は、重要領域検出部１０９より出力される重要領域の領域情報と確度と、後述する符号量制御部１１１より出力される割り当て符号量を用いて、符号化パラメータを算出する。まず、符号化パラメータ算出部１１０は、重要領域の検出結果を用いて１画面を高画質領域と低画質領域の２つに領域分割する。
【００６９】
図４は領域分割の一例を示した図である。小ブロック４０２は１６×１６画素の正方ブロックに対応しており、８×８画素のＤＣＴブロックが４つ集まったものであり、領域分割マップ４０１は１つのフレームに対応する。網掛け部分は、重要領域検出部１０９が検出した検出結果である。
【００７０】
そこで、検出結果を包含する小ブロック４０２の集まりを高画質化領域として設定し、それ以外の領域を低画質化領域として設定する。領域分割マップ４０１において、値が１の小ブロック４０２は高画質化領域、値が０の小ブロック４０２は低画質化領域の小ブロックとする。
【００７１】
次に、高画質化領域、低画質化領域の符号化パラメータを算出する。本実施形態では、量子化値を算出する符号化パラメータとする。
【００７２】
高画質化領域、低画質化領域量子化値の算出は３つの手順からなり、以下に詳しく述べる。
【００７３】
（１）高画質化領域、低画質化領域の小ブロック４０２への割り当て符号量の算出について述べる。後述する符号量制御部１１１より出力される画像ｉの割り当て符号量Ｂｉを用いて、高画質化領域、低画質化領域の各小ブロック４０２へ割り当て符号量ＡH，ＡLを算出する方法を式（１．１）及び（１．２）に示す。式（１．１）において、ＡHは高画質化領域の小ブロック４０２の平均割り当て符号量、Ｎは1フレーム内の小ブロック数、αは割り当て倍率であり、高画質化領域への符号量割り当てを増やすための係数である。式（１．２）において、ＮHは選択領域内の小ブロック数、ＮLは選択領域外の小ブロック数である。式（１．３）において、reliabilityは確度であり、０〜１の間の小数、βは重み係数で正の値である。
【００７４】
【数１】
0004153202.tif 000002
【００７５】
【数２】
0004153202.tif 000003
【００７６】
【数３】
0004153202.tif 000004
【００７７】
符号化パラメータ算出部１１０は、式（１．１）、（１．２）を用いて、高画質化領域、低画質化領域の小ブロック４０２に対する割り当て符号量を算出する。ここで、確度reliabilityが大きい程、割り当て倍率αが大きくなるため、高画質化領域への割り当て符号量を大きくすることができる。
【００７８】
（２）量子化値の算出について述べる。高画質化領域、低画質化領域の割り当て符号量を設定した後、それぞれの割り当て符号量に従って各小ブロック４０２の量子化値を算出する。量子化値の算出方法を式（１．９）に示す。式（１．９）において、ＱHは高画質化領域の量子化値、ＡHは高画質化領域に属する小領域の割り当て符号量、ＱLは低画質化領域の量子化値、ＡLは低画質化領域に属する小領域の割り当て符号量、ｆ（ｘ）は符号量ｘに対して量子化値を返す関数であり、符号量が大きいほど小さい量子化値を返す性質を持つ。この式（１．９）ではＱH及びＱLを代表してＱn、ＡH及びＡLを代表してＡnでそれぞれ示している。
【００７９】
【数４】
0004153202.tif 000005
【００８０】
符号化パラメータ算出部１１０は、式（１．９）に従い、高画質化領域、低画質化領域の量子化値を算出する。以上のように、符号化パラメータ算出部１１０は領域分割マップ４０１と、高、低画質化領域の各小ブロック４０２の量子化値を算出し、算出した領域分割マップ４０１と、各量子化値を量子化部１０６に出力する。
【００８１】
ステップ２０４の入力画像の前処理を行う前処理にて、前処理部１０３は、入力部１０２より出力される画像データに対して、符号化パラメータ１１０より指示があった場合に必要な前処理を行い、処理後の画像データを動き補償部１０４に出力する。前処理は下記の２つである。即ち、（１）入力画像に対して、低域通過フィルタを掛けることにより、画像の高周波成分を除去し、符号化しやすくするプレフィルタ処理と、（２）入力画像サイズが符号化画像サイズよりも大きい場合、入力画像の一部または全体領域を切り出して縮小処理を行って符号化画像サイズにあわせる切り出し処理であるが、両処理とも本実施形態では行わないが、後述する他の実施形態で行う。
【００８２】
また、このように入力画像の一部を切り出し、縮小処理を行うことにより、入力画像全体を縮小する方法に比べ、視覚的に拡大表示の効果を生むことができる。例えば、入力画像サイズが４ＣＩＦ（７０４×５７６画素)で、符号化画像サイズがＱＣＩＦ（１７６×１４４画素)の場合を想定する。このとき、入力画像全体を１／４に縮小して作成したＱＣＩＦ画像に比べて、入力画像の一部（３５２×２８８画素）を切り出して１／２に縮小したＱＣＩＦ画像は、視覚的に２倍の拡大表示の効果を持つ。
【００８３】
ステップ２０５の映像信号の符号化を行う映像符号化処理では、映像信号を８×８画素のブロックに分け、ブロック毎ＤＣＴ、逆ＤＣＴ処理を行い、２×２ブロックの集合である小ブロック４０２毎に、動き予測、動き補償処理、量子化処理、逆量子化処理、可変長符号化処理を行う。また、各処理ブロックにおいては、1フレーム内の全ブロックまたは全小ブロック４０２の処理が終了すると，次の処理ブロックへ処理結果を出力する。
【００８４】
即ち、動き補償部１０４は、前処理部１０３より入力された1フレームの画像データと、後述する復号化部１０８より出力される時間的に1つ前の復号化画像である参照画像を用いて、相関の高い領域を探索し、原画像から最も相関の高い領域の参照画像を減算することによって予測誤差を算出し、予測誤差をＤＣＴ部１０５に出力する。また、予測に用いた領域への動きベクトルを可変長符号化部１０７と復号化部１０８に出力する。但し、符号化の始まりでは、1フレーム前の復号化画像は存在しないので動き補償は行わない。
【００８５】
ＤＣＴ部１０５は、動き補償部１０４より出力される予測誤差に対して離散コサイン変換（ＤＣＴ）を施すことによりＤＣＴ係数を算出し、量子化部１０６にＤＣＴ係数を出力する。量子化部１０６はＤＣＴ部１０５より入力されるＤＣＴ係数と、符号化パラメータ算出部１１０より入力される領域分割マップ４０１と高、低画質化領域の量子化値を用いて量子化処理を行う。量子化部１０６は、領域分割マップ４０１を参照し、各小ブロック４０２の属性（高画質化、低画質化領域）を求める。そして、属性に従った量子化値を用いて、ＤＣＴ係数を割り算して商を求めることにより、量子化ＤＣＴ係数を算出し、領域分割マップ４０１、高、低画質領域の量子化値と量子化ＤＣＴ係数を可変長符号化部１０７と復号化部１０８に出力する。
【００８６】
可変長符号化部１０７は、量子化部１０６より出力される量子化値と、量子化ＤＣＴ係数、動き補償部１０４より出力される動きベクトルに対して可変長符号化を施し、可変長符号を出力部１１２に出力するとともに、発生した符号量を符号量制御部１１１に出力する。
【００８７】
符号量制御部１１１は、可変長符号化部１０７により出力された発生符号量を用いて、次フレームの割り当て符号量を算出し、符号化パラメータ算出部１１０に出力する。式（１．１０）及び（１．１１）を用いてフレームｉの割り当て符号量を算出する方法を示す。
【００８８】
但し、本実施形態では、符号量制御は予め決められたフレーム数内で行うとし、符号量制御のまとまり単位をＧＯＰと呼ぶことにする。式（１．１０）において、ＢGOPは符号量制御における１ＧＯＰの割り当て符号量、Ｔは伝送ビットレート、ＮGOPは１ＧＯＰ内のフレーム数、Framerate はフレームレートである。式（１．１１）においてＢiはフレームｉに割り当てられる符号量、ｂjはフレームｊで発生した符号量である。
【００８９】
【数５】
0004153202.tif 000006
【００９０】
【数６】
0004153202.tif 000007
【００９１】
ここで、符号化を行う映像の単位をピクチャと呼ぶ。１ピクチャは原画像の１フレーム単位または１フィールド単位で構成されている。ピクチャには画像参照方法によりＩ，Ｐ，Ｂの３種類のビクチャが存在し、ピクチャ毎の符号量が異なる。
【００９２】
ステップ２０５の映像復号化処理にて、復号化部１０８は、量子化部１０６から出力される、領域分割マップ４０１、高、低画質化領域の量子化値と量子化ＤＣＴ係数を用いて、小ブロック４０２毎に対応する属性（高、低画質化領域）の量子化値とＤＣＴ係数を掛け算することにより、逆量子化ＤＣＴ係数を算出する。次に、逆量子化ＤＣＴ係数に逆ＤＣＴ変換を施し、復号化後の予測誤差を算出する。さらに、動き補償部１０４から出力される動きベクトルを用いて、内部メモリに記憶してある参照フレームから、参照領域を算出し、参照領域と予測誤差とを加算処理し、現在の復号化画像を算出する。そして、現在の復号化画像を動き補償部1０４に出力するとともに、内部メモリを復号化画像で置き換える。
【００９３】
映像符号化装置１はステップ２０１から２０７の処理を繰り返し、映像符号化を行うが、ステップ２０７の終了判定処理にて、入力部１０２において映像信号の入力が停止した場合を符号化終了と判定し、符号化処理を終了する。
【００９４】
本実施形態の映像符号化装置によれば、画面内の重要領域を自動検出する重要領域検出部１０９を備え、検出精度を表す確度に応じて量子化値を算出する符号化パラメータ算出部１１０を備えることにより、符号化パラメータ算出部１１０は検出領域に対して検出の確度が大きい場合には、検出領域への符号量割り当てをより大きくし、量子化値をより小さくするため、自動で重要領域である確率が高い領域をその確率に合わせた度合いで、より高画質化することができる。また、確度が低く本当の重要領域と検出結果にズレがある場合においても、本当の重要領域で検出ミス領域の画質が極端に劣化することを防ぐことが可能である。
【００９５】
尚、本実施形態では、選択領域内外それぞれにおける小ブロック４０２への符号量割り当ては、各領域で均一の値を使用したが、一般的な符号量制御のように、小ブロック４０２の複雑度に応じて符号量割り当てを行うことも可能である。
【００９６】
［第２の実施形態］
次に本発明の映像符号化装置の第２の実施形態について説明する。但し、本実施形態の映像符号化装置の構成は図１に示した第１の実施形態と同様であるため、以下同一の構成を持つ各部についてはその構成説明を省略し、第１の実施形態で用いてた図面を参照する。本例の映像符号化装置１も映像信号を定められた伝送ビットレート内で映像信号を符号化し、動き補償部１０４、画面内の重要領域を自動検出する重要領域検出部１０９を備え、検出精度を表す確度に応じて画像更新レートを算出する符号化パラメータ算出部１１０を備えている。
【００９７】
次に本実施形態について説明する。本実施形態では、符号化パラメータ算出部１１０、動き補償部１０４の動作以外は第１の実施形態の動作と同一であるため、これら動作が異なる２つの機能ブロックについて以下に説明する。
【００９８】
本例の符号化パラメータ算出部１１０は、重要領域検出部１０９から出力される、検出結果と検出の確度を用いて、第１の実施形態と同様に領域分割を行い、それぞれの領域に対して画像の更新レートを算出する。
【００９９】
本例の符号化パラメータ算出部１１０における画像更新レートの算出手順は、第１の実施形態の符号化パラメータ算出部１１０における（１）高画質化領域、低画質化領域の小ブロック４０２への割り当て符号量の算出と同一の処理を経て、各割り当て符号量を算出し、この値を用いて、高，低画質化領域における画像更新レートを算出する。このため、本例の符号化パラメータ算出部１１０の画像更新レートの算出は、高、低画質化領域の割り当て符号量が決まると、割り当て符号量に従って、画面更新レートを算出する。この画面更新レートの算出の前に、式（２．１）に従い、フレームｉの量子化値を算出する。式（２．１）において、Ｑiはフレームｉの量子化値、Ｂiはフレームｉの割り当て符号量、Ｎはフレーム内の小ブロック数、ｆ（ｘ）は式（１．９）と同様に符号量に対して量子化値を返す関数である。
【０１００】
【数７】
0004153202.tif 000008
【０１０１】
ここで、高、低画質化領域の量子化値は共通の値を用いることとする。画面更新レートの算出方法の一例を式（２．２）に示す。式（２．２）において、ｆｐｓHは高画質化領域の画面更新レート、ＡHは高画質化領域の小ブロック４０２の割り当て符号量、ｆｐｓLは低画質化領域の画面更新レート、ＡLは低画質化領域の小ブロック４０２の割り当て符号量ｇ（ｘ，ｑ）は符号量ｘ、量子化値ｑに対して画面更新レートを返す関数であり、符号量ｘが大きく、量子化値ｑが大きい場合に大きな画面更新レートを返す性質を持つ。
【０１０２】
【数８】
0004153202.tif 000009
【０１０３】
式（２．２）に従い、高、低画質化領域の画面更新レートを算出すると、検出の確度が大きい領域ほど、高画質化領域の画面更新レートが大きくなる特徴を有する。
【０１０４】
以上のように、符号化パラメータ算出部１１０は領域分割マップ４０１と、高、低画質化領域の各小ブロック４０２の量子化値を算出し、算出した領域分割マップ４０１と、各量子化値を量子化部１０５に出力する。さらに、符号化パラメータ算出部１１０は、算出した画像更新レートに従い符号化するか否かの判断を行い、符号化しない場合は、符号化スキップの信号を動き補償部１０４に出力する。
【０１０５】
符号化パラメータ算出部１１０は高、低画質化領域の画面更新レートを参照し、画面更新レートが入力フレームレートと同じ領域に関しては、符号化を行うと判断する。逆に、画面更新レートが入力フレームレートと異なる時は、以下に示す式（２．３）が真の場合のみ符号化を行うと判断する。符号化を行わないと判断された領域に対しては、符号化スキップの信号と領域分割マップ４０１を動き補償部１０４に出力する。
【０１０６】
式（２．３）において、ｉはフレームカウンタの値、ｘ mod ｙ はｘをｙで割った剰余、ｆｐｓinputは入力フレームレート、ｆｐｓnは画面更新レートである。符号化パラメータ算出部１１０はデータの出力後、フレームカウンタを１つ増加させる。
【０１０７】
【数９】
0004153202.tif 000010
【０１０８】
動き補償部１０４は、符号化パラメータ算出部１１０から符号化スキップの指示があった画質領域の小ブロック４０２は、領域分割マップ４０１を参照して対応する小ブロック４０２の入力画像をゼロで初期化してＤＣＴ部１０５に出力する。これにより、符号化スキップの指示のある領域は画面が更新されない状態になる。
【０１０９】
本実施形態によれば、画面内の重要領域を自動で検出する重要領域検出部と、検出領域に対して検出の確度が大きい場合には、検出領域の画面更新レートを大きくする符号化パラメータ算出部１１０を有することにより、自動で重要領域である確率が高い領域程をその確率に合わせた度合いで、画面更新レートを高く、動きの滑らかな画像とすることができる。また、確度が低く検出結果と本当の重要領域にズレがある場合でも本当の重要領域のうち検出ミス部分おいて動きの滑らかさが極端に低下することを防ぐことができる。
【０１１０】
なお、本実施形態では、高、低画質化領域の割り当て符号量から、それぞれの画面更新レートを算出する例を示したが、これは割り当て符号量を用いることに限定されるものではない。特に低ビットレートでの映像符号化においては、一般に符号化中の仮想バッファの残有量と駒落とし閾値と用いて、小ブロック４０２またはフレームを符号化せずに符号化スキップ処理を行うことがある。このように、映像符号化装置１は、駒落とし閾値を設定し、符号化スキップ処理を行うことにより、結果的に画面更新レートを変えることができる。これを利用し、高、低画質化領域それぞれに対して駒落とし閾値を求め、領域毎に発生符号量と比較し、領域毎に符号化スキップ処理を行う。
【０１１１】
図５に駒落とし判定の概念図を示す。仮想バッファとは、映像符号化装置１内にあり、映像符号化装置１内の符号量の時間的推移を測定するためのものである。映像符号化装置１内の符号量は、映像が入力されて符号化する毎に増加し、単位時間あたり一定の割合で映像符号化装置１から伝送路等に符号が出力されることにより減少する。
【０１１２】
図５のグラフは仮想バッファの残有量の時間的推移を表しており、映像が入力され符号化される毎（以下符号化タイミングと呼ぶ）、符号量が増えるために残有量が減り、一定の割合でバッファから符号が出力されるために一定の割合で残有量が増加している。ここで、各符号化タイミング時には仮想バッファの残有量の大小により、符号化を行うかしないかの判定（駒落とし判定）を行う。この駒落とし判定に使用する値が駒落とし閾値である。図５においては、符号化タイミングｄにおいて、仮想バッファの残有量が駒落とし閾値以下であるため、符号化を行わないと判定している。そのため、符号化タイミングｄにおいては残有量減少していない。
【０１１３】
［第３の実施形態］
次に本発明の映像符号化装置の第３の実施形態について説明する。但し、本実施形態の映像符号化装置の構成は図１に示した第１の実施形態と同様であるため、以下同一の構成を持つ各部についてはその構成説明を省略し、第１の実施形態で用いた図面を参照する。本例の映像符号化装置１も映像信号を定められた伝送ビットレート内で映像信号を符号化し、入力映像信号の前処理を行う前処理部１０３、画面内の重要領域を自動検出する重要領域検出部１０９を備え、検出精度を表す確度に応じて重要領域外に掛ける前処理部１０３のプレフィルタの強度を算出する符号化パラメータ算出部１１０を備えている。
【０１１４】
次に本実施形態の動作について説明する。本例では、前処理部１０３と符号化パラメータ算出部１１０以外の動作は第１の実施形態と同一であるため、これら動作が異なる２つの機能ブロックについて以下に説明する。
【０１１５】
本例の符号化パラメータ算出部１１０は、重要領域検出部１０９から出力される検出結果と検出の確度を用いて、第１の実施形態で述べたのと同様に領域分割マップ４０１を作成し、確度に応じて高画質化領域、低画質化領域の量子化値を算出し、それぞれを量子化部１０６に出力する。さらに符号化パラメータ算出部１１０は、検出の確度を用いて、低画質化領域に掛けるプレフィルタの強度を算出し、領域分割マップ４０１とプレフィルタ強度を前処理部１０３に出力する。
【０１１６】
本例の前処理部１０３ではプレフィルタに平滑化フィルタを用いることにし、フィルタの強度は平滑化フィルタのタップ数とする。すなわちタップ数Ｍのプレフィルタは（２Ｍ＋１）×（２Ｍ＋１）画素の中央の画素値を（２Ｍ＋１）×（２Ｍ＋１）画素の平均値により置き換えるフィルタを示すこととする。但し、プレフィルタは平滑化フィルタに限定されるものではなく、いかなるフィルタでも使用可能である。
【０１１７】
以下に示した式（３．１）にプレフィルタ強度の算出方法を示す。式（３．１）において、Ｔnは小ブロックｎに対するプレフィルタのタップ数、ＡLは低画質化領域の割り当て符号量、ｈ（ｘ）は符号量ｘに対してタップ数を返す関数であり、符号量が大きいほど小さなタップ数を返す関数である。式（３．１）に従い、プレフィルタ強度であるタップ数を算出し、プレフィルタ強度として、前処理部１０３に出力する。
【０１１８】
【数１０】
0004153202.tif 000011
【０１１９】
前処理部１０３は、符号化パラメータ算出部１１０より出力される領域分割マップ４０１と各種強度のプレフィルタを用いて、入力部１０２から出力される入力画像のフィルタリング処理を行う。
【０１２０】
前述のように、本実施形態の前処理部１０３のフィルタリング処理は平滑化フィルタを用いる事とする。前処理部１０３は、低画質化領域の画素に対して、フィルタ強度＝タップ数をＭとすると、（２Ｍ＋１）×（２Ｍ＋１）画素の平均値を中央画素に置き換える処理を行い、フィルタリング後の画像データを動き補償部１０４に出力する。
【０１２１】
このように、前処理部１０３のフィルタリング処理では、タップ数が大きい平滑化フィルタを用いる程、フィルタリングによって削減される画像の高周波成分は大きくなり、符号化後に発生する符号量も小さく、ボケた画像となる。また、符号化パラメータ算出部１１０では、検出の確度が高いほど、低画質化領域への割り当て符号量は小さくなるため、式（３．１）からプレフィルタ強度は強く設定され、低画質化領域はより高周波成分が除去され、符号量を削減できる。
【０１２２】
本実施形態によれば、符号化パラメータ算出部１１０は、重要領域検出部１０９による重要領域の検出の確度が高いほど、前処理部１０３に周辺の低画質化領域に強いプレフィルタを設定することにより、前記重要領域である確率が高いほど、重要領域以外の領域をよりボケた画質とし、符号量を削減できるため、重要領域である確率の高い領域に符号量の割り当てを集中的に行って画質を向上させることができる。また、確度が低く、前記検出領域と本当の重要領域にズレがある場合においても、本当の重要領域のうち検出ミス部分（この部分も確度がある程度高いため）が極端にボケた画像となることを防ぎ、重要領域外の画質劣化を抑えることができる。
【０１２３】
［第４の実施形態］
次に本発明の映像符号化装置の第４の実施形態について説明する。但し、本実施形態の映像符号化装置の構成は図１に示した第１の実施形態と同様であるため、以下同一の構成を持つ各部についてはその構成説明を省略し、第１の実施形態で用いた図面を参照する。本例の映像符号化装置１も映像信号を定められた伝送ビットレート内で映像信号を符号化し、前処理部１０３、画面内の重要領域を自動検出する重要領域検出部１０９を備え、検出精度を表す確度に応じて入力画像から重要領域の切り出しサイズを算出する符号化パラメータ算出部１１０を備えている。
【０１２４】
次に本実施形態の動作について説明する。本例の符号化パラメータ算出部１１０、前処理部１０３の動作以外は第１の実施形態に示した動作と同一であるため、これら動作が異なる２つの機能ブロックについて説明する。
【０１２５】
また、本実施形態においては、入力部１０２から入力される入力画像のサイズが４ＣＩＦ（７０４×５７６画素）、符号化サイズがＱＣＩＦ（１７６×１４４画素)と想定し、前処理部１０３が、入力画像の一部を切り出して、必要ならば符号化サイズに縮小処理を行う。
【０１２６】
図６は前処理部１０３における縮小処理の概念図を示した図である。この図では、入力画像サイズが４ＣＩＦ、符号化サイズがＱＣＩＦを想定する。縮小画像６０１は、入力画像６１０から全体を切り出して縮小した画像、縮小画像６０２は入力画像６１０から領域１の部分を切り出して縮小した画像、縮小画像６０３は入力画像６１０から領域２の部分を切り出して縮小した画像である。これら縮小画像６０１〜６０３を比較すると、切り出しサイズが一番小さい縮小画像６０３が最も拡大されていることになる。
【０１２７】
本例の符号化パラメータ算出部１１０は、重要領域検出部１０９から出力される、検出結果と検出の確度を用いて、入力画像の切り出し領域を算出し、切り出し領域情報を前処理部１０３に出力する。
【０１２８】
図７に切り出し領域算出の概念図を示す。図７において、入力画像７１０はｗin＝７０４，Ｈin＝７５６の画像、重要領域７０１は、重要領域検出部１０９から出力される検出領域、切り出し領域７０２は符号化パラメータ算出部１１０により算出される切り出し領域で、サイズは、Ｈcut×Ｗcut画素であり、縦横比を保つため式（４．１）を満たすものとする。
【０１２９】
【数１１】
0004153202.tif 000012
【０１３０】
さらに、以下に示した式（４．２）〜（４．５）に確度に応じた切り出しサイズの算出方法を示す。式（４．２）は、重要領域７０１を入力画像７１０の縦横比に合わせるための計算式である。式（４．２）において、ｒｘは重要領域７０１の横方向半径、ｒｙは重要領域７０１の縦方向の半径、Ｗinは入力画像７１０の横サイズ、Ｈinは入力画像７１０の縦サイズ、Ｗorigは、重要領域７０１の縦横比を補正した横サイズ、Ｈorigは重要領域７０１の縦横比を補正した縦サイズである。式（４．３）において、γは重要領域７０１の拡大率、αは重み係数で、正の値を持ち、Reliability は検出の確度で１以下の正の値を持つ。式（４．３）に従い、確度Reliabilityが低いほど、拡大率γは大きくなることになる。
【０１３１】
式（４．４）において、γmaxは拡大率の上限値を定めており、式（４．４）により算出したγはγmaxを超えないものとする。式（４．５）において、Ｗcutは切り出し領域７０２の横サイズ、Ｈcutは切り出し領域７０２の縦サイズであり、それぞれ検出領域のサイズに拡大率を掛けたものである。
【０１３２】
【数１２】
0004153202.tif 000013
【０１３３】
【数１３】
0004153202.tif 000014
【０１３４】
【数１４】
0004153202.tif 000015
【０１３５】
【数１５】
0004153202.tif 000016
【０１３６】
以上のように本例の符号化パラメータ算出部１１０は、検出の確度が低い程、検出結果である重要領域７０１よりも大き目の領域を切り出し領域７０２として算出し、重心座標（ｃｘ，ｃｙ）と、縦横サイズＨcut，Ｗcutを前処理部１０３に出力する。また、符号化パラメータ算出部１１０は、第１の実施形態と同様に、高画質化領域の量子化値を算出し、値が全て１である領域分割マップ４０１、すなわち画面全体が高画質化領域である領域分割マップ４０１と、量子化値を量子化部１０６に出力する。
【０１３７】
前処理部１０３は、符号化パラメータ算出部１１０より出力される切り出し領域７０２の重心座標（ｃｘ，ｃｙ）と、縦横サイズＨcut，Ｗcutの領域を入力部１０２から出力される入力画像７１０から切り出される符号化サイズになるように縮小処理を施し、縮小画像を動き補償部１０４に出力する。
【０１３８】
本実施形態によれば、符号化パラメータ算出部１１０は、重要領域検出部１０９による重要領域７０１の検出の確度が高いほど、入力画像７１０から重要領域７０１を切り出すサイズを小さく設定するため、符号化パラメータ算出部１１０ではより拡大率を高くして符号化を行うことができる。また、検出の確度が低い場合には、入力画像７１０から切り出す領域を検出された重要領域７０１よりも大きく設定する。これにより、検出率が低い場合、例えば検出結果と本当の重要領域７０１にズレがある場合においても、本当の重要領域７０１が切り出し領域７０２から漏れる可能性を低減することができ、検出率に影響されること無い拡大効果を得ることができる。
【０１３９】
［第５の実施形態］
次に本発明の映像符号化装置の第５の実施形態について説明する。但し、本実施形態の映像符号化装置の構成は図１に示した第１の実施形態と同様であるため、以下同一の構成を持つ各部についてはその構成説明を省略し、第１の実施形態で用いた図面を参照する。本例の映像符号化装置１も映像信号を定められた伝送ビットレート内で映像信号を符号化し、入力映像の前処理を行う前処理部１０３、画面内の重要領域７０１を自動検出する重要領域検出部１０９を備え、検出精度を表す確度に応じて入力画像７１０から重要領域７０１の拡大補正率を算出する符号化パラメータ算出部１１０を備えている。
【０１４０】
次に本実施形態の動作について説明する。本例の映像符号化装置１では、符号化パラメータ算出部１１０、前処理部１０３の動作以外は図１に示した第１の実施形態の動作と同一であるため、これら動作が異なる２つの機能ブロックについて説明する。
【０１４１】
本例の符号化パラメータ算出部１１０は、重要領域検出部１０９より出力される検出領域と、検出の確度を用いて、確度の値に応じて重要領域７０１の大きさを補正し、高画質化領域を算出する。重要領域７０１の大きさを補正する理由は、確度が低い場合、本当の重要領域と検出された重要領域間にズレがある可能性があるためである。この時、前記検出領域を高画質化領域と設定すると、本当の重要領域が低画質化領域に設定され、本当の重要領域を高画質化できないからである。本実施形態では、確度の値が低い場合には、その値に応じて検出領域を拡大することにより領域補正を行うこととする。
【０１４２】
以下に式（５．１）に領域補正の拡大率算出方法を示す。式（５．１）において、γは領域の拡大率、αは拡大重み係数で正の値を持ち、Reliabilityは確度である。式（５．１）に従い、確度が低い程、領域の拡大率が大きく設定される。式（５．２）において、γmaxは拡大率の上限値であり、Ｗinは入力画像７１０の横サイズ、ｒｘは検出された重要領域７０１の横方向半径であり、拡大率γはγmaxを超えないこととする。式（５．３）において、ｒｘ´は拡大補正後の重要領域７０１の横方向半径であり、ｒｙ´は拡大補正後の重要領域７０１の縦方向半径であり、ｒｙは検出された重要領域７０１の縦方向半径である。
【０１４３】
【数１６】
0004153202.tif 000017
【０１４４】
【数１７】
0004153202.tif 000018
【０１４５】
【数１８】
0004153202.tif 000019
【０１４６】
符号化パラメータ算出部１１０は、式（５．１）〜（５．３）に従い、検出された重要領域７０１を拡大補正したのち、第１の実施形態と同様に、補正後の重要領域７０１を包含する小ブロック４０２で構成される高画質化領域を設定し、領域分割マップ４０１を作成する。さらに、符号化パラメータ算出部１１０は、高、低画質化領域それぞれについて、第１の実施形態と同様に量子化値を算出し、領域分割マップ４０１と、高、低画質化領域の量子化値を量子化部１０６に出力する。前処理部１０３は、符号化パラメータ算出部１１０より出力される切り出し領域情報に基づいて入力画像７１０に縮小処理を施し、縮小画像を動き補償部１０４に出力する。
【０１４７】
本実施形態によれば、符号化パラメータ算出部１１０は、検出の確度が低い程、検出された重要領域７０１をより大きく拡大補正することにより、検出の精度が低い場合でも、検出の精度に因らず本当の重要領域７０１を高画質化することが可能である。従って、重要領域７０１である確率が低い場合においても、本当の重要領域７０１が誤って低画質化されることなく、高画質化することでができる。
【０１４８】
［第６の実施形態］
次に本発明の映像符号化装置の第６の実施形態について説明する。但し、本実施形態の映像符号化装置の構成は図１に示した第１の実施形態と同様であるため、以下同一の構成を持つ各部についてはその構成説明を省略し、第１の実施形態で用いた図面を参照する。本例の映像符号化装置１も映像信号を定められた伝送ビットレート内で映像信号を符号化し、画面内の重要領域７０１を自動検出する重要領域検出部１０９を備え、検出精度を表す確度に応じて、入力画像７１０から重要領域７０１の切り出すか、量子化値に重みをつけて算出するか、或いはその組み合わせかを判断する符号化パラメータ算出部１１０を備えている。
【０１４９】
次に本実施形態の動作について説明する。本実施形態の映像符号化装置の符号化パラメータ算出部１１０の動作以外は第４の実施形態に示す動作と同一であるため、この動作が異なる機能ブロックについて説明する。また、本実施形態においては、入力画像７１０のサイズが４ＣＩＦ（７０４×５７６画素）、符号化サイズがＱＣＩＦ（１７６×１４４画素）と想定し、前処理部１０３が、入力画像７１０の一部を切り出して、必要ならば符号化サイズに縮小処理を行う。
【０１５０】
符号化パラメータ算出部１１０は、重要領域検出部１０９から出力される検出結果と、確度を用いて、重要領域７０１を切り出すか高、低画質化領域間で異なる量子化値を算出するかを判断し、算出した切り出し領域情報を前処理部１０３に出力すると共に、領域分割マップ４０１と、高低画質化領域の量子化値を量子化部１０６に出力する。
【０１５１】
符号化パラメータ算出部１１０は、確度の高低を判断基準とし、確度がある閾値以上であれば、重要領域７０１を切り出して符号化すると同時に、この重要領域を高画質化領域に設定し、量子化値を低画質化領域よりも小さく設定する。逆に、確度が閾値以下である場合には、重要領域７０１の切り出しは行わず、この重要領域を高画質化領域に設定し、量子化値を低画質化領域よりも小さく設定する。
【０１５２】
本実施形態において、重要領域７０１の切り出し、すなわち切り出し領域７０２の算出方法は、第４の実施形態と同一であるとし、確度が低い程、重要領域７０１よりも大きな領域を切り出し領域７０２とする。また、高画質化領域の設定方法、高低画質化領域の量子化値の算出方法は、第１の実施形態と同一であるとし、確度が高いほど、小さな量子化値を設定するものとする。
【０１５３】
以上のように本実施形態によれば、符号化パラメータ算出部１１０は検出の確度がある閾値よりも高い場合には、重要領域７０１を切り出し、かつ高画質化を行い、より重要領域７０１を拡大して高画質化することができる。逆に確度が低い場合には、切り出しは行わず、高画質化のみ行うことにより、検出精度が低い場合においても、重要領域７０１の視認性を高く保ち、符号化を行うことができる。したがって、検出精度の影響を受けることなく、重要領域７０１の視認性を高く保つことができる。
【０１５４】
［第７の実施形態］
次に本発明の映像符号化装置の第７の実施形態について説明する。但し、本実施形態の映像符号化装置の構成は図１に示した第１の実施形態と同様であるため、以下同一の構成を持つ各部についてはその構成説明を省略し、第１の実施形態で用いた図面を参照する。本例の映像符号化装置１も映像信号を定められた伝送ビットレート内で映像信号を符号化し、画面内の重要領域７０１を自動検出する重要領域検出部１０９を備え、検出領域の大きさに応じて、符号化の優先モードを変更する符号化パラメータ算出部１１０を備える。
【０１５５】
次に本実施形態の動作について説明する。本実施形態では、第３の実施形態における符号化パラメータ算出部１１０の動作以外は第２の実施形態に示した動作と同一であるため、この動作が異なる機能ブロック１１０について説明する。本例の符号化パラメータ算出部１１０は、重要領域検出部１０９から出力される検出結果と確度を用いて、符号化の優先モードを選択し、優先モードに従い符号化パラメータを算出する。
【０１５６】
本実施形態では、符号化の優先モードは（１）動き優先モード，即ち、画質を高めることよりも画面更新間隔を小さく設定することを優先し、動きの滑らかさを優先する符号化モードと、（２）画質優先モード、即ち、画面更新間隔を小さくすることよりも、画質を高めることを優先し、画面の画質を優先する符号化モードを想定する。
【０１５７】
符号化パラメータ算出部１１０における上記優先モードの判断は、重要領域７０１の大きさと入力画像７１０の大きさの比率を用いて行う。重要領域７０１の大きさが、入力画像７１０の大きさに比べて小さい場合には、小さい領域の画質劣化は目立ち難いため、画質を優先するよりも、動きの滑らかさを優先するほうが画像の視認性を上げることに効果的である。逆に、重要領域７０１の大きさが、入力画像７１０の大きさと比較して大きい場合には、大きい領域の画質劣化は目立つため、動きを優先するよりも画質を優先する方が、画像の視認性を上げることに効果的である。
【０１５８】
したがって、符号化パラメータ算出部１１０は、重要領域７０１の大きさがある閾値以上の場合には、画質優先モードとし、逆に重要領域７０１の大きさがある閾値未満である場合には、動き優先モードとして符号化パラメータを算出する。ここで、符号化モード判定に用いる閾値は、例えば入力画像７１０の１／２の大きさとするが、これに限定されるものではなく、いかなる値でも良い。
【０１５９】
優先モードの判断に先立ち、符号化パラメータ算出部１１０は重要領域検出部１０９により出力される検出結果を用いて、第１の実施形態と同様に高画質化領域を設定し、領域分割マップ４０１を算出する。
【０１６０】
以下に、それぞれの符号化モードにおける符号化パラメータ算出方法について説明する。
【０１６１】
（１）画質優先モードでは、符号化パラメータ算出部１１０は、重要領域７０１の大きさが入力画像７１０の大きさの１／２以上の場合には、画質優先モードと判断する。そして、重要領域７０１の大きさが大きいほど、重要領域７０１の量子化値を小さく設定し、かつ、全体の画面更新間隔を大きく設定する。本実施形態において、重要領域７０１の大きさとして、横のサイズを用いるが、これに限定されるものでなく、大きさを表すものであれば、いかなる値でも使用可能である。
【０１６２】
以下に示した式（７．1）に重要領域７０１の量子化値と画面更新間隔の算出方法を示す。式（７．1）において、ｒｘは重要領域７０１の横方向半径、Ｗinは入力画像７１０の横サイズ、δは重要領域７０１の入力画像７１０に対する横サイズの比率であり、重要領域７０１のサイズが大きい程大きな値となる最大１．０の値を持つ。式（７．２）において、ＡHは式（１．１）より算出する高画質化領域への割り当て符号量、ｆ（ｘ）は式（１．９）と同一の関数で、ｘが大きい場合に小さい値を返す特徴を持ち、ＱHは高画質化領域の量子化値であり、重要領域７０１のサイズ比率δが大きい場合に小さく設定される。式（７．３）において、ＡLは式（１．２）により算出する低画質化領域への割り当て符号量であり、ＱLは低画質化領域の量子化値である。式（７．４）において、ｇ（ａ，ｑ）は式（２．２）と同一の関数であり、ａが大きく、ｑが大きいほど大きな値を返す特徴を持つ、ｆｐｓは高、低画質化領域共通の画面更新レートである。
【０１６３】
【数１９】
0004153202.tif 000020
【０１６４】
【数２０】
0004153202.tif 000021
【０１６５】
【数２１】
0004153202.tif 000022
【０１６６】
【数２２】
0004153202.tif 000023
【０１６７】
式（７．１）から式（７．４）を用いて、高、低画質化領域の量子化値及び、共通の画面更新レートを算出する。すなわち、重要領域７０１のサイズが大きいほど、式（７．２）より高画質化領域の量子化値が小さく設定され画質を高く保つことができる。また、量子化値が小さく設定されるため、式（７．４）に従って、画面更新レートはその分小さく設定される。
【０１６８】
（２）動き優先モードでは、符号化パラメータ算出部１１０は、重要領域７０１の大きさが入力画像７１０の大きさの１／２未満の場合には、動き優先モードと判断する。そして、重要領域７０１の大きさが大きいほど、重要領域７０１の画像更新レートを大きく設定し、かつ、全体の量子化値を小さく設定する。本実施形態において、重要領域７０１の大きさとして、横のサイズを用いるが、これに限定されるものでなく、大きさを表すものであれば、いかなる値でも使用可能である。
【０１６９】
以下に示した式（７．１０）に重要領域７０１の量子化値と画面更新間隔の算出方法を示す。式（７．１０）において、δは式（７．１）で算出する重要領域７０１のサイズの比率で、サイズが小さい場合に小さくなる特徴を持ち、ＡHは式（１．１）より算出する高画質化領域への割り当て符号量、ｆ（ｘ）は式（１．９）と同一の関数でｘが大きい場合に小さい値を返す特徴を持ち、Ｑは高、低画質化領域共通の量子化値であり、重要領域７０１のサイズ比率δが小さい場合に大きく設定される。式（７．１１）において、ｇ（ａ，ｑ）は式（２．２）と同一の関数であり、ａが大きく、ｑが大きいほど大きな値を返す特徴を持つ、ｆｐｓHは高画質化領域の画面更新レートである。式（７．１２）において、ＡLは式（１．２）により算出する低画質化領域への割り当て符号量であり、ｆｐｓLは低画質化領域の画面更新レートである。
【０１７０】
【数２３】
0004153202.tif 000024
【０１７１】
【数２４】
0004153202.tif 000025
【０１７２】
【数２５】
0004153202.tif 000026
【０１７３】
式（７．１０）から式（７．１２）を用いて、高、低画質化領域共通の量子化値及び、高/低画質化領域それぞれの画面更新レートを算出する。すなわち、重要領域７０１のサイズが小さいほど、式（７．１０）より高、低画質化領域共通の量子化値が大きく設定される。また、量子化値が大きく設定されるため、式（７．１１）に従って、高画質化領域の画面更新レートはその分大きく設定される。
【０１７４】
以上のように、符号化パラメータ算出部１１０は重要領域７０１の大きさに従って符号化の優先モードを判定し、優先モードに従って領域分割マップ４０１と、高、低画質化領域の各小ブロック４０２の量子化値と、画面更新レートを算出し、算出した領域分割マップ４０１と、各量子化値を量子化部１０５に出力する。
【０１７５】
さらに、符号化パラメータ算出部１１０は、第２の実施形態と同様に、算出した画像更新レートに従い符号化するか否かの判断を行い、符号化しない場合は、符号化スキップの信号を動き補償部１０４に出力する。符号化パラメータ算出部１１０はデータの出力後、フレームカウンタを１つ増加させる。
【０１７６】
動き補償部１０４は、符号化パラメータ算出部１１０から符号化スキップの指示があった画質領域の小ブロック４０２は、領域分割マップ４０１を参照して対応する小ブロック４０２の入力画像７１０をゼロで初期化してＤＣＴ部１０５に出力する。これにより、符号化スキップの指示のある領域は画面が更新されない状態になる。
【０１７７】
本実施形態によれば、符号化パラメータ算出部１１０は、検出された重要領域７０１のサイズが大きく画質劣化が目立つ場合には、重要領域７０１の量子化値を小さく設定することにより、画質を優先する符号化を行うことができる。逆に、重要領域７０１のサイズが小さく画質劣化が目立ちにくい場合には、重要領域７０１の画面更新レートを大きく設定することにより、動きの滑らかさを優先する符号化を行うことができる。
【０１７８】
従って、重要領域７０１の大きさに応じて視認性を高く保ち符号化を行うことができる。
【０１７９】
尚、本発明は上記実施形態に限定されることなく、その要旨を逸脱しない範囲で、具体的な構成、機能、作用、効果において、他の種々の形態によっても実施することができ、たとえば、符号化パラメータは量子化値、更新レート、駒落とし閾値、プレフィルタ、切り出しサイズ、領域補正パラメータのうちの、少なくとも２つ以上の組み合わせてとすることもできる。
【０１８０】
以上詳細に説明したように、第１の発明によれば、ユーザが画面内の任意の領域を選択することができる領域選択手段を有し、符号化制御手段はユーザの選択領域に対して符号化パラメータを変更ですることにより、ユーザは映像に対して画面内の画質を向上させたい領域を選択することが可能となる。
【０１８１】
第２の発明によれば、画面内で画質を向上させたい領域を自動で選択することができる重要領域検出手段を有し、この検出領域に対して符号化パラメータ算出手段により符号化パラメータを算出して設定することにより、ユーザが映像に対して画面内の重要領域を手動で選択する必要がなくなり、映像符号化装置は自動で重要領域の符号化パラメータを変更して、その画質を他領域と区別して良好にすることができ、この領域の視認性を向上させることができる。
【０１８２】
第３の発明によれば、画面内で画質を向上させたい領域を自動で選択することができる重要領域検出手段を有し、この検出領域の検出結果に対して符号化パラメータ算出手段により段階的に符号化パラメータを算出して設定することにより、重要領域なのに検出領域にならない場合でも極端に画質が落ちて、視認できなくなることを防止することができる。
【０１８３】
第４の発明によれば、前記重要領域検出手段は、検出結果の精度を示す確度を算出し、前記符号化パラメータ算出手段は、前記重要領域検出手段により算出された確度の値に応じて検出領域、或いは検出領域外の符号化パラメータを算出することにより、確度が高く重要領域である確率が高い領域ほど視認性が高くなるように符号化パラメータを設定でき、重要領域であっても検出領域にならない領域の画質が極端に落ちて、この領域の視認性が極端に悪化することを防止することができる。
【０１８４】
第５の発明によれば、重要領域検出手段の検出結果を用いて、入力画像から検出領域の切り出し、または見やすい大きさに自動調整処理を行う前処理部を有することにより、ユーザは入力画像中の重要領域を選択する必要が無く、自動で重要領域が見やすい大きさに調整された符号化画像を見ることができる。
【０１８５】
第６の発明によれば、前記符号化パラメータ算出手段により算出された符号化パラメータである量子化値を用い、重要領域検出手段の検出領域の確度に応じて、この検出領域の符号化量を設定することができる。
【０１８６】
第７の発明によれば、前記符号化パラメータ算出手段により算出された符号化パラメータである更新レートを用い、重要領域検出手段の検出領域の確度に応じて、この検出領域の符号化量を設定することができる。
【０１８７】
第８の発明によれば、前記符号化パラメータ算出手段により算出された符号化パラメータである駒落とし閾値を用い、重要領域検出手段の検出領域の確度に応じて、この検出領域の符号化量を設定することができる。
【０１８８】
第９の発明によれば、前記符号化パラメータ算出手段により算出された符号化パラメータである各種強度のプレフィルタを用い、重要領域検出手段の検出領域の確度に応じて、この検出領域の符号化量を設定することができる。
【０１８９】
第１０の発明によれば、前記符号化パラメータ算出手段により算出された符号化パラメータである切り出しサイズを用い、重要領域検出手段の検出領域の確度に応じて、この検出領域の符号化量を設定することができる。
【０１９０】
第１１の発明によれば、前記符号化パラメータ算出手段により算出された符号化パラメータである領域補正パラメータを用い、重要領域検出手段の検出領域の確度に応じて、この検出領域の符号化量を設定することができる。
【０１９１】
第１２の発明によれば、前記重要領域検出手段により確度の値に応じて算出する符号化パラメータは、プレフィルタと更新レートなど少なくとも２つ以上の組み合わせとすることにより、重要領域とそうでない領域との各種態様に応じて、符号化パラメータの選択肢を増大させ、重要領域の画質をより適切に高めることができる。
【０１９２】
第１３の発明によれば、前記符号化パラメータ算出手段は、前記重要領域検出手段の検出結果を用いて、検出領域の符号化モードを動き優先若しくは、画質優先に決定することにより、動きがある重要領域は動きが滑らかになるように符号化することができ、重要領域に動きがない場合は画質を向上させるように符号化して、視認性を高めることができる。
【０１９３】
第１４の発明によれば、符号化パラメータ算出手段は、特定領域検出の確度の値が高い場合は、検出領域の量子化値の下げ度合いを大きく制御し、確度が低い場合は、検出領域の量子化値の下げ度合いを小さく制御することにより、検出の確度に応じて、確度が高く重要領域である確率が高い領域ほど、その画質劣化を大幅に低減し、高画質化することができる。また、確度が低く重要領域である確率が低い領域ほど、画質劣化の低減度合いを小さくすることによって、検出結果と本当の重要領域にズレがある場合でも、本当の重要領域で検出ミス部分の画質が極端に劣化することを防ぐことができる。
【０１９４】
第１５の発明によれば、符号化パラメータ算出手段は、特定領域検出の確度が高い場合は、検出領域の画面更新レートの増大度合いを大きく制御し、逆に確度が低い場合は、検出領域の画面更新レートの増大度合いを小さく制御することにより、確度が高く重要領域である確率が高い領域ほど、画面更新レートをより大きく設定でき、自動で重量領域の動きが滑らかになるように符号化することができる。また、逆に確度が低く重要領域である確率が低い領域ほど、画面更新レートの増大度合いを低くできるため、検出結果と本当の重要領域にズレがある場合でも本当の重要領域のうち検出ミス部分おいて動きの滑らかさが極端に低下することを防ぐことができる。
【０１９５】
第１６の発明によれば、符号化パラメータ算出手段は、特定領域検出の確度が高い場合は、検出領域の駒落とし閾値の増大度合いを大きく制御し符号化スキップが行われにくくし、逆に確度の値が小さい場合は、検出領域の駒落とし閾値の増大度合いを小さく制御し確度が高い場合に比べて符号化スキップが行われやすくすることにより、確度が高く重要領域である確率が高い領域ほど、符号化において帯域が足りない場合においても符号化スキップされる可能性が低くなるため、動きの滑らかさを維持して符号化を行うことができる。また、確度が低く重要領域である確率が低い領域は、確度の高い場合に比べて符号化スキップされる可能性が高くなるため、帯域が足りなく、且つ検出結果と本当の重要領域にズレがある場合でも、本当の重要領域のうち検出ミス部分での動きの滑らかさが極端に低下することを防ぐことができる。
【０１９６】
第１７の発明によれば、符号化パラメータ算出手段は、重要領域検出の確度に応じて、確度が高く重要領域である確率が高いほど、特定領域の検出領域以外のプレフィルタを遮断周波数が低い低域通過フィルタに設定し、逆に確度が低い場合は、検出領域以外のプレフィルタを遮断周波数が高い低域通過フィルタに設定することにより、重要領域である可能性が高い領域ほど、検出領域外に対して遮断周波数が高い低域通過フィルタを掛け、高周波情報を削減して符号量を節約することで、検出領域により多くの符号量を割り当てて高画質化することができる。また、確度が低く検出領域と本当の重要領域にズレがある場合においても、本当の重要領域のうち検出ミス部分が極端にボケた画像となることを防ぐことができる。
【０１９７】
第１８の発明によれば、符号化パラメータ算出手段は、重要領域検出の確度が高い場合は、入力画像からの切り出す領域を検出領域と設定し、逆に確度の値が小さい場合は、入力画像からの切り出しサイズを検出領域の周辺を含む大きな領域とすることにより、確度が高く重要領域である確率が高い場合ほど、重要領域を忠実に切り出して、より拡大して符号化することができる。また、確度が低く重要領域の検出精度が低い場合においても、検出領域の周辺も含む領域を切り出すため、本当の重要領域のうち検出ミス部分が切り出し領域からはみ出るという問題を起こすことなく、自動で重要領域を切り出し拡大して符号化することができる。
【０１９８】
第１９の発明によれば、符号化パラメータ算出手段は、特定領域検出の確度が高い場合は、検出領域の大きさ補正を小さく設定し、逆に確度が低い場合は、検出領域の大きさ補正を大きく設定することにより、重要領域の検出精度が低く、本当の重要領域と検出領域にズレがある場合においても、検出領域の周辺も含む領域を高画質化するため、自動で本当の重要領域を高画質化することができ。
【０１９９】
第２０の発明によれば、符号化パラメータ算出手段は、特定領域検出の確度が高い場合は、入力画像から切り出す領域を検出領域と設定し、且つ、検出領域の量子化値を小さくし、逆に確度が低い場合は、入力画像から検出領域の切り出しは行わず、検出領域の量子化値を小さくすることにより、確度が高く重要領域である確率が高い領域ほど、自動で高画質、且つ切り出し拡大を行い、視認性を高めることができる。また、確度が低く重要領域である確率が低く検出領域と本当の重要領域にズレがある場合は、高画質化のみを行い、切り出しによって本当の重要領域のうち検出ミス部分が切り出し領域からはみ出ることを防ぐことができ、確度に合わせて視認性向上の種類を自動的に変えることができる。
【０２００】
第２１の発明によれば、符号化パラメータ算出手段は、検出された重要領域のサイズが大きい場合には、検出領域の符号化モードを画質優先に設定し、逆にサイズが小さい場合には、検出領域の符号化モードを動き優先に設定することにより、重量領域の大きさに応じて、重要領域が小さく画質劣化が目立ちにくい場合には、自動で画質よりも動きを優先することにより、動きを滑らかに符号化にすることができる。また重要領域が大きく画質劣化が目立ちやすい場合には、自動で動きよりも画質を優先することにより、重要領域の大きさに適切な視認性を高く保つように符号化することができる。
【０２０１】
【発明の効果】
以上説明したように本発明によれば、映像信号を限られた伝送ビットレートで符号化する制約を破ることなく、検出領域が本来の重要領域である場合にこの領域を高画質化することは勿論、前記検出領域に本来の重要領域が含まれないような場合でも、この重要領域の画質をある程度維持できるようにして、視認性を確保できる映像符号化装置を提供することが可能となる。
【図面の簡単な説明】
【図１】本発明の映像符号化装置の第１の実施形態に係わる構成例を示したブロック図である。
【図２】本発明の第１の実施形態における映像符号化処理の流れを示すフローチャートである。
【図３】本発明の第１の実施形態における重要領域の検出結果の一例を示した図である。
【図４】本発明の第１の実施形態における領域分割マップの一例を示した図である。
【図５】本発明の第２の実施形態における駒落とし判定を説明する概念図である。
【図６】本発明の第４の実施形態における切り出し縮小処理を説明する概念図である。
【図７】本発明の第４の実施形態における切り出し領域算出例を示した概念図である。
【図８】従来の映像符号化装置の構成例を示したブロック図である。
【符号の説明】
１  映像符号化装置
１０２  入力部
１０３  前処理部
１０４  動き補償部
１０５  ＤＣＴ部
１０６  量子化部
１０７  可変長符号化部
１０８  復号化部
１０９  重要領域検出部
１１０  符号化パラメータ算出部
１１１  符号量制御部
４０１  領域分割マップ
４０２  小ブロック
６０１  縮小画像１
６０２  縮小画像２
６０３  縮小画像３
７０１  重要領域
７０２  切り出し領域
７１０  入力画像
【図１】
0004153202.tif 000027
【図２】
0004153202.tif 000028
【図３】
0004153202.tif 000029
【図４】
0004153202.tif 000030
【図５】
0004153202.tif 000031
【図６】
0004153202.tif 000032
【図７】
0004153202.tif 000033
【図８】
0004153202.tif 000034