(57)【要約】  画像処理装置は、例えば地上波デジタル放送のワンセグ受信機などに好適に適用される。具体的には、画質判定手段は、フレーム毎に画質を判定し、画質調整手段は、判定された画質に基づいて画質調整強度を制御する。これにより、画像の劣化状況などを適切に把握することができるため、判定された画質に基づいて画質調整強度を制御することにより、符号化劣化などを強調することで画質劣化が助長されてしまうことを適切に抑制することができる。したがって、劣化要因を目立たなくしつつ、最適に画質改善を行うことが可能となる。
2010021039.tif 000002
【特許請求の範囲】
【請求項１】
入力された画像に対して、フレーム毎に画質を判定する画質判定手段と、
前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記画質判定手段は、ピクチャタイプに応じて前記画質の判定方法を変えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質判定手段は、
前記ピクチャタイプがＩピクチャである場合には、ビット量に基づいて前記画質の判定を行い、
前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数に基づいて前記画質の判定を行うことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画質判定手段は、
前記Ｉピクチャである場合には、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、
前記Ｉピクチャ以外である場合には、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記画質判定手段は、前記Ｉピクチャ以外である場合には、更に、マクロブロックにおけるサイズが所定サイズ未満であるブロック数に基づいて前記画質の判定を行うことを特徴とする請求項３又は４に記載の画像処理装置。
【請求項６】
前記画質判定手段は、前記マクロブロックのサイズが前記所定サイズ未満であるブロック数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画質判定手段は、前記Ｉピクチャである場合及び前記Ｉピクチャ以外である場合の両方について、更に、エッジ状況に基づいて前記画質の判定を行うことを特徴とする請求項３乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記画質調整手段は、画像におけるエリア毎に、適応的に前記画質調整強度を制御することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記画質調整手段は、画像において特定のエリアについては、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行わないことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記画質調整手段は、シーンチェンジが起こった際に、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行うことを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記画質調整手段は、前記画質調整強度として鮮鋭化のレベルを制御することを特徴とする請求項１乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記鮮鋭化のレベルを小さくすることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画質調整手段は、前記画質調整強度としてノイズ除去のレベルを制御することを特徴とする請求項１乃至１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記ノイズ除去のレベルを大きくすることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
入力された画像に対して、フレーム毎に画質を判定する画質判定工程と、
前記画質判定工程によって判定された画質に基づいて、画質調整強度を制御する画質調整工程と、を備えることを特徴とする画像処理方法。
【請求項１６】
コンピュータによって実行される画像処理プログラムであって、
前記コンピュータを、
入力された画像に対して、フレーム毎に画質を判定する画質判定手段、
前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段、として機能させることを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の画質を判定し、これに基づいて画像処理を行う技術分野に関する。
【背景技術】
【０００２】
この種の技術が、例えば特許文献１に提案されている。具体的には、特許文献１には、デジタル圧縮された映像データについて、そのデータレート（ビットレート）に応じて鮮鋭度補正における強調度を制御する技術が提案されている。【０００３】
【特許文献１】特開２００４−１８００４３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記した特許文献１に記載された技術では、シーケンスヘッダに記載されているビットレートの情報を利用するため、同一シーケンスのコンテンツでは固定したビットレートの情報を用いていた（言い換えると、鮮鋭度補正において同じ強調度を用いていた）。そのため、他の画質に関わる情報を加味しても、フレーム毎の画質を正しく判定できない場合があった。また、例えば地デジなどのデジタル放送では、動きの大きいシーンやシーンチェンジが頻繁に起きる画像において単位フレーム当たりのビットレートが少なくなる傾向にあるが、この場合に鮮鋭度補正において同じ強調度を用いると、画質劣化を助長させてしまう場合があった。一方、符号化画像においては、同じビットレートでも、エッジが多く含まれる画像の方が画質の劣化を招くといった傾向があり、また、同様に物体変形を伴った場合なども画質の劣化を招くといった傾向があるため、上記のようにビットレートのみに基づいて鮮鋭度補正の強調度を制御することは適切でないものと考えられる。【０００５】
本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、フレーム毎に画質を判定することで、画質調整強度を適切に制御することが可能な画像処理装置、画像処理方法、及び画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
請求項１に記載の発明は、画像処理装置は、入力された画像に対して、フレーム毎に画質を判定する画質判定手段と、前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段と、を備える。【０００７】
請求項１５に記載の発明は、画像処理方法は、入力された画像に対して、フレーム毎に画質を判定する画質判定工程と、前記画質判定工程によって判定された画質に基づいて、画質調整強度を制御する画質調整工程と、を備える。【０００８】
請求項１６に記載の発明は、コンピュータによって実行される画像処理プログラムは、前記コンピュータを、入力された画像に対して、フレーム毎に画質を判定する画質判定手段、前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段、として機能させる。
【図面の簡単な説明】
【０００９】
【図１】本実施例に係る画像処理装置が適用されたシステムの概略構成図である。
【図２】適応画像鮮鋭化処理部の概略構成図である。
【図３】マクロブロックにおけるブロックサイズを説明するための図である。
【図４】他の例における画像処理方法を説明するための図である。
【図５】本実施例における全体処理を示すフローチャートである。
【図６】Ｉピクチャ用処理を示すフローチャートである。
【図７】Ｉピクチャ時のビットレート判定状況確認処理を示すフローチャートである。
【図８】Ｐピクチャ用処理を示すフローチャートである。
【図９】Ｐピクチャ用処理において、イントラブロックの数が所定以上でない場合などに実行される処理を示すフローチャートである。
【図１０】Ｐピクチャ時のビットレート判定状況確認処理を示すフローチャートである。
【符号の説明】
【００１０】
１１  チューナ部
１２  復調部
２２  ビデオデコーダ
２４  適応画像鮮鋭化処理部
２４ａ  ビット量判定部
２４ｂ  エッジ検出部
２４ｃ  エッジ状況判定部
２４ｄ  シンタックス要素取得部
２４ｅ  鮮鋭化レベル判定部
２４ｆ  画質鮮鋭化処理部
２４ｘ  画質判定部
２５  信号処理部
【発明を実施するための最良の形態】
【００１１】
本発明の１つの観点では、画像処理装置は、入力された画像に対して、フレーム毎に画質を判定する画質判定手段と、前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段と、を備える。【００１２】
上記の画像処理装置は、例えば地上波デジタル放送のワンセグ（１ｓｅｇ）受信機などに好適に適用される。具体的には、画質判定手段は、フレーム毎に画質を判定し、画質調整手段は、判定された画質に基づいて画質調整強度を制御する。これにより、画像の劣化状況などを適切に把握することができるため、判定された画質に基づいて画質調整強度を制御することにより、符号化劣化などを強調することで画質劣化が助長されてしまうことを適切に抑制することができる。したがって、劣化要因を目立たなくしつつ、最適に画質改善を行うことが可能となる。【００１３】
上記の画像処理装置の一態様では、前記画質判定手段は、ピクチャタイプに応じて前記画質の判定方法を変える。具体的には、画質判定手段は、圧縮画像データがどのピクチャタイプであるかに応じて、画質の判定方法を変える。例えば、ピクチャタイプとしては、Ｉ（Ｉｎｔｒａ）ピクチャ、Ｐ（Ｐｒｅｄｉｃｔｉｖｅ）ピクチャ、Ｂ（Ｂｉｄｉｒｅｃｔｉｏｎａｌｌｙ ｐｒｅｄｉｃｔｉｖｅ）ピクチャなどがある。こうすることにより、画像の劣化状況などを正確に把握することが可能となる。【００１４】
上記の画像処理装置の他の一態様では、前記画質判定手段は、前記ピクチャタイプがＩピクチャである場合には、ビット量に基づいて前記画質の判定を行い、前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数に基づいて前記画質の判定を行う。この場合、前記画質判定手段は、前記Ｉピクチャである場合には、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、前記Ｉピクチャ以外である場合には、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定することができる。【００１５】
上記の画像処理装置の他の一態様では、前記画質判定手段は、前記Ｉピクチャ以外である場合には、更に、マクロブロックにおけるサイズが所定サイズ未満であるブロック数に基づいて前記画質の判定を行う。この場合、前記画質判定手段は、前記マクロブロックのサイズが前記所定サイズ未満であるブロック数が多い場合には少ない場合よりも画質が低下していると判定することができる。【００１６】
上記の画像処理装置の他の一態様では、前記画質判定手段は、前記Ｉピクチャである場合及び前記Ｉピクチャ以外である場合の両方について、更に、エッジ状況に基づいて前記画質の判定を行う。これにより、画像の複雑度を適切に考慮して、画質を判定することができる。【００１７】
上記の画像処理装置において好適には、前記画質調整手段は、画像におけるエリア毎に、適応的に前記画質調整強度を制御する。好ましくは、前記画質調整手段は、画像において特定のエリアについては、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行わない。これにより、画質調整強度の制御に起因する処理の負担を軽減することができる。【００１８】
また、上記の画像処理装置において好適には、前記画質調整手段は、シーンチェンジが起こった際に、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行う。これによっても、処理の負担を軽減することができる。【００１９】
好適な例では、前記画質調整手段は、前記画質調整強度として鮮鋭化のレベルを制御する。この場合、前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記鮮鋭化のレベルを小さくする。これにより、劣化要因を適切に目立たなくさせることができ、画質改善を最適に行うことが可能となる。【００２０】
また好適には、前記画質調整手段は、前記画質調整強度としてノイズ除去のレベルを制御する。この場合、前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記ノイズ除去のレベルを大きくする。これにより、劣化要因を適切に目立たなくさせることができ、画質改善を最適に行うことが可能となる。【００２１】
本発明の他の観点では、入力された画像に対して、フレーム毎に画質を判定する画質判定工程と、前記画質判定工程によって判定された画質に基づいて、画質調整強度を制御する画質調整工程と、を備える。【００２２】
また、本発明の他の観点では、画像処理方法は、入力された画像に対して、フレーム毎に画質を判定する画質判定工程と、前記画質判定工程によって判定された画質に基づいて、画質調整強度を制御する画質調整工程と、を備える。【００２３】
上記した画像処理方法及び画像処理プログラムによっても、画像の劣化状況などを適切に把握することができるため、判定された画質に基づいて画質調整強度を制御することにより、符号化劣化などを強調することで画質劣化が助長されてしまうことを適切に抑制することができる。なお、画像処理プログラムは、記録媒体に記録した状態で好適に取り扱うことができる。
【実施例】
【００２４】
以下、図面を参照して本発明の好適な実施例について説明する。【００２５】
［装置構成］
図１は、本実施例に係る画像処理装置が適用されたシステムの概略構成図を示す。当該システムは、主に、前段処理部１及び後段処理部２を有し、例えば地上波デジタル放送のワンセグ（１ｓｅｇ）受信機に適用される。一例としては、携帯電話や車両用のナビゲーション装置などに適用される。なお、ワンセグ放送で使用される画像データ圧縮フォーマットはＨ．２６４符号化方式であり、以下では、Ｈ．２６４符号化方式のデータを扱う場合を例に挙げて説明する。【００２６】
前段処理部１は、主に、チューナ部１１と復調部１２とを備える。チューナ部１１は、アンテナ１１ａを介して、変調された電波を受信し、これを信号Ｓ１１として復調部１２に供給する。復調部１２は、チューナ部１１から供給された信号Ｓ１１を復調し、復調後の信号Ｓ１２を後段処理部２に供給する。具体的には、復調部１２は、ＭＰＥＧ−ＴＳ（例えばＭＰＥＧ２−ＴＳ）への変換処理を行う。【００２７】
後段処理部２は、主に、Ｄｅｍｕｘ部２１と、ビデオデコーダ２２と、フレームバッファメモリ２３と、適応画像鮮鋭化処理部２４と、信号処理部２５と、を備える。Ｄｅｍｕｘ部２１は、前段処理部１の復調部１２から信号Ｓ１２（ＭＰＥＧ−ＴＳに相当する）を取得し、これをオーディオとビデオ、データ放送などのＥＳデータ毎に分離する処理を行う。より具体的には、Ｄｅｍｕｘ部２１は、ＭＰＥＧ２−ＴＳヘッダ解析や、ＰＥＳヘッダ解析や、ＥＳデータ抽出などを行う。そして、Ｄｅｍｕｘ部２１は、分離されたデータの中でビデオに相当する信号Ｓ２１をビデオデコーダ２２に供給する。【００２８】
ビデオデコーダ２２は、Ｄｅｍｕｘ部２１から信号Ｓ２１を取得して、符号化された情報を復号化して画像データに変換する処理を行う。具体的には、ビデオデコーダ２２は、復号化して得られた画像データを信号Ｓ２２ａとしてフレームバッファメモリ２３に供給する。更に、ビデオデコーダ２２は、フレームごとのビット量に対応する情報（例えばＨ．２６４符号化方式におけるデコーダではＮＡＬユニットのバイト数など）を信号Ｓ２２ｂとして適応画像鮮鋭化処理部２４に供給すると共に、復号化の途中で得られる、Ｈ．２６４符号化方式におけるマクロブロックタイプやピクチャタイプやベクトルなどの情報（以下、「シンタックス要素」と呼ぶ。）を信号Ｓ２２ｃとして適応画像鮮鋭化処理部２４に供給する。【００２９】
フレームバッファメモリ２３は、ビデオデコーダ２２から画像データに相当する信号Ｓ２２ａを取得し、これを一時的に蓄える。このように蓄えられたデータは、参照フレームなどとして利用される。【００３０】
適応画像鮮鋭化処理部２４は、フレームバッファメモリ２３から画像データに相当する信号Ｓ２３を取得すると共に、ビデオデコーダ２２からフレームごとのビット量に相当する信号Ｓ２２ｂ及びシンタックス要素に相当する信号Ｓ２２ｃを取得する。そして、適応画像鮮鋭化処理部２４は、これらの取得した信号に基づいてフレーム毎に画質の良否を判定し、この判定結果に基づいて画像に対する画質調整強度の制御を行う、具体的には鮮鋭化する際の強調レベル（以下、単に「鮮鋭化レベル」と呼ぶ。）を制御する。この場合、適応画像鮮鋭化処理部２４は、比較的低画質であると判定した場合には鮮鋭化レベルを低く設定して鮮鋭化の処理を行い、比較的高画質であると判定した場合には鮮鋭化レベルを高く設定して鮮鋭化の処理を行う。または、適応画像鮮鋭化処理部２４は、比較的低画質であると判定した場合にはノイズ除去レベルを高く設定して鮮鋭化の処理を行い、比較的高画質であると判定した場合にはノイズ除去のレベルを低く設定して鮮鋭化の処理を行う。そして、適応画像鮮鋭化処理部２４は、このように鮮鋭化の処理を行った後の画像データを、信号Ｓ２４として信号処理部２５に供給する。このように、適応画像鮮鋭化処理部２４は、本発明における画像処理装置に相当し、画質判定手段及び画質調整手段として機能する。なお、適応画像鮮鋭化処理部２４が行う処理の詳細は後述する。【００３１】
信号処理部２５は、適応画像鮮鋭化処理部２４から信号Ｓ２４を取得し、ビデオのコンポジット信号等のように出力先に適したデータに変換して、これを信号Ｓ２５として出力する。【００３２】
ここで、上記したＨ．２６４符号化方式におけるシンタックス要素（符号化情報）の具体例について説明する。シンタックス要素としては、例えば、ピクチャタイプや、マクロブロックタイプや、「ｍｖ（動きベクトル）」や、「ｐｍｖ（動きベクトル予測値）」や、「ｔｏｔａｌ＿ｃｏｅｆｆ」や、「ｎＣ」などが挙げられる。ピクチャタイプは、Ｈ．２６４符号化方式においてはＩピクチャ及びＰピクチャのいずれかに相当し、「ｔｏｔａｌ＿ｃｏｅｆｆ」は、４×４サイズの画素ブロック内においてｒｅｓｉｕａｌ成分（差分値）の数を示す値であり、「ｎＣ」は、周辺のブロックがｒｅｓｉｕａｌ成分を多く与えていた場合に大きくなる値であり、この場合には周辺ブロックでは複雑な画像が存在している傾向にある。なお、「ｔｏｔａｌ＿ｃｏｅｆｆ」及び「ｎＣ」については、「ｃｏｅｆｆ＿ｔｏｋｅｎ」若しくは「ＣＢＰ（Ｃｏｄｅ＿Ｂｌｏｃｋ＿Ｐａｔｔｅｒｎ）」から判断することも可能である。また、「ＣＢＰ」は、Ｈ．２６４符号化方式におけるマクロブロックレイヤーに存在する値であり、該当マクロブロック中の８×８ブロックに差分値が存在する場合はビットが立っており、下位４ビットが「ｌｕｍａ」のブロックを示し、上位２ビットが「ｃｈｒｏｍａ」のブロックの状況を示している（「ＣＢＰ」は、例えば計６ビット）。【００３３】
次に、図２を参照して、適応画像鮮鋭化処理部２４について詳細に説明する。図２は、適応画像鮮鋭化処理部２４の概略構成図を示す。図示のように、適応画像鮮鋭化処理部２４は、画質判定部２４ｘ及び画質鮮鋭化処理部２４ｆを備える。基本的には、画質判定部２４ｘは、フレーム毎に画質の評価を行い、これに基づいて鮮鋭化における強調レベル（鮮鋭化レベル）を決定する。そして、画質鮮鋭化処理部２４ｆは、画質判定部２４ｘで決定された鮮鋭化レベルに応じて画像を鮮鋭化する処理を行う。このように、適応画像鮮鋭化処理部２４においては、画質判定部２４ｘが本発明における画質判定手段として機能し、画質鮮鋭化処理部２４ｆが本発明における画質調整手段として機能する。【００３４】
具体的には、画質判定部２４ｘは、ビット量判定部２４ａと、エッジ検出部２４ｂと、エッジ状況判定部２４ｃと、シンタックス要素取得部２４ｄと、鮮鋭化レベル判定部２４ｅと、を有する。ビット量判定部２４ａは、ビデオデコーダ２２からフレーム当たりのビット量（言い換えるとビットレート）に相当する信号Ｓ２２ｂを取得し、当該ビット量に基づいて、鮮鋭化レベルについての大まかな判定を行う。そして、ビット量判定部２４ａは、この判定結果を鮮鋭化レベル判定部２４ｅに供給する。【００３５】
エッジ検出部２４ｂは、フレームバッファメモリ２３から画像データに相当する信号Ｓ２３を取得し、これに対して「ｓｏｂｅｌ  ｆｉｌｔｅｒ」などのエッジ抽出で用いられる一般的なフィルタを用いることでエッジ検出を行う（具体的には、閾値以上の場合にエッジ検出する）。また、エッジ検出部２４ｂは、エッジ検出された個所の情報を保持しており、この情報がいくつあるかをカウントする。エッジ状況判定部２４ｃは、エッジ検出部２４ｂからエッジ検出情報を取得し、これを基にエッジ領域の割合などを算出し、画像の複雑度を判定する。そして、エッジ状況判定部２４ｃは、このような画像の複雑度に基づいて、エッジ画像から鮮鋭化レベルについての大まかな判定を行い、この判定結果を鮮鋭化レベル判定部２４ｅに供給する。【００３６】
シンタックス要素取得部２４ｄは、ビデオデコーダ２２からシンタックス要素に相当する信号Ｓ２２ｃを取得し、鮮鋭化レベル判定部２４ｅにおける鮮鋭化レベルの判定に必要なマクロブロックレイヤー以下の情報を取り出す。具体的には、シンタックス要素取得部２４ｄは、前述したようなピクチャタイプや、マクロブロックタイプや、「ｍｖ」や、「ｐｍｖ」や、「ｔｏｔａｌ＿ｃｏｅｆｆ」や、「ｎＣ」などを取り出して、これらを鮮鋭化レベル判定部２４ｅに供給する。このようなシンタックス要素を用いることによって、例えばフレーム当たりのビット量が概ね同一であっても、画質の良否を適切に判定することが可能となる。【００３７】
鮮鋭化レベル判定部２４ｅは、上記したビット量判定部２４ａ、エッジ状況判定部２４ｃ、及びシンタックス要素取得部２４ｄから供給される情報を総合的に考慮することで鮮鋭化レベルを決定して、決定された鋭化レベルを画質鮮鋭化処理部２４ｆに供給する。具体的には、鮮鋭化レベル判定部２４ｅは、比較的高画質である場合と判断される場合には鮮鋭化レベルを高く設定し、比較的低画質であると判定される場合には鮮鋭化レベルを低く設定する。【００３８】
画質鮮鋭化処理部２４ｆは、フレームバッファメモリ２３から画像データに相当する信号Ｓ２３を取得し、当該画像データに対して、鮮鋭化レベル判定部２４ｅから取得された鮮鋭化レベルに応じて画像を鮮鋭化する処理を行う。具体的には、画質鮮鋭化処理部２４ｆは、鮮鋭化レベルが高い場合には鮮鋭強度を高くして処理を行い、鮮鋭化レベルが低い場合には鮮鋭強度を低くして処理を行う。例えば、画質鮮鋭化処理部２４ｆは、ラプラシアンフィルタなどのエッジ強調フィルタなどを用いて鮮鋭化を行う。この場合、鮮鋭化レベル判定部２４ｅで決定された鮮鋭化レベルに応じてフィルタのオペレータ係数などを変えることにより、鮮鋭化の処理を行う。【００３９】
ここで、図３を参照して、シンタックス要素の１つであるマクロブロックにおけるブロックサイズについて、具体的に説明する。Ｈ．２６４符号化方式では、可変ブロックサイズという仕組みが用いられ、１６ｘ１６画素のマクロブロックに７種類のブロックサイズが用意される。マクロブロックタイプは、どのブロックサイズなのかを示している。具体的には、図３に示すように、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８×４、４×８、４×４の７種類のブロックサイズが用いられる。【００４０】
［画質判定方法］
次に、本実施例に係る画質判定方法（言い換えると、鮮鋭化レベルを判定する方法）について説明する。【００４１】
本実施例では、前述したように、画質判定部２４ｘにおいて、主に、フレーム毎のビット量の情報、シンタックス要素、及びエッジ検出後におけるエッジ状況の３つの観点を総合的に考慮して、画質の判定を行う。具体的には、画質判定部２４ｘは、ピクチャタイプに応じて画質の判定方法を変える。詳しくは、画質判定部２４ｘは、ピクチャタイプがＩピクチャである場合には、主に、ビット量及びエッジ状況（エッジを持つ画素数など）に基づいて画質を判定する。これに対し、ピクチャタイプがＩピクチャ以外である場合、具体的にはＰピクチャである場合には、画質判定部２４ｘは、ビット量だけでなく、イントラブロックの数や、マクロブロックのサイズが所定サイズ未満であるブロック数などにも基づいて画質を判定する。なお、イントラブロックは、ベクトル（動きベクトル）を持たず、差分値（ｒｅｓｉｕａｌ成分）のみか、周辺のブロックから予測して画像を作り出すブロックに該当し、上記したシンタックス要素の１つであるマクロブロックタイプから把握することができる。また、マクロブロックのサイズも、マクロブロックタイプから把握することができる。【００４２】
上記のような画質の判定を行う理由は、以下の通りである。まず、Ｐピクチャである場合におけるシンタックス要素の確認について説明する。ワンセグ放送のような低ビットレートの画像の場合、画像を符号化する際にビットレートの制限のため、やむを得ず平均的な画質よりも落とすケースがある。この場合、フレーム当たりのビット量のみを観測するだけでは、画質の良否を適切に判定することができないと言える。なぜならば、Ｉピクチャの方がＰピクチャよりもフレーム間予測がないために同じ画質の映像を作る際に必要なデータレートは大きくなる傾向にあるからである。また、Ｐピクチャにおいては、たとえフレーム当たりのビット量が少なくても、画像の動きによっては、画質が落ちない場合があるからである。例えばパンシーンのように動きベクトル情報だけで画像が作れる場合は少ないビット量で十分な場合がある。逆に、「ｔｏｔａｌ＿ｃｏｅｆｆ」が多く（または「ｎＣ」が大きい値を持つブロックが多く）、マクロブロックタイプも小さなサイズ（例えば８ｘ８など）ならば、変形物体が存在する可能性が高く、本来多くのビット量が必要な可能性が高いと言える。以上より、本実施例では、Ｐピクチャについては、マクロブロックタイプの情報やｒｅｓｉｕａｌ成分を示す「ｔｏｔａｌ＿ｃｏｅｆｆ」及び「ｎＣ」の情報などを総合的に判断して、画質の判定を行う。【００４３】
一方、画質の劣化が起こりそうな場合には、イントラブロックが多く存在するＰピクチャの出現傾向がみられる。なぜならば、シーンチェンジの場合、フレーム当たりのビット量が十分であれば、Ｉピクチャを用いて、全てイントラブロックで構成したほうが画質の劣化が少ないからである。しかしながら、シーンチェンジが多く続くシーンなどでは、フレーム当たりのビット量が不足してくる状況になる。その場合には、前フレームと相関性が本来高くないが、偶然相関性が同じようなブロックについては、ベクトルを用いて画像を生成しようとする。全く相関性がないブロックについては、イントラブロックを使用する。ベクトルを用いて作ったブロックについても、相関性が高くないので、画質が低下していることが多い。以上より、本実施例では、ピクチャタイプとマクロブロックタイプの両方の状況に基づいて、画質の判定を行う。【００４４】
次に、エッジ状況の確認について説明する。エッジ状況の確認は、基本的には、画像の複雑度を見るために行い、Ｉピクチャの画質の判定に使用する。ここで、Ｉピクチャにおいては、フレーム当たりのビット量がある程度低い場合でも、画像が平坦な場合には、さほど画質の低下が起きていないと考えられるが、画像が複雑である場合は画質の低下が起きていると考えられるので、その基準の参考としてエッジ状況を確認する。これに対して、Ｐピクチャの場合は、動きベクトルで画像を生成することができるので、エッジ状況の確認をする際には、イントラブロックの多さ比例で考える必要があると言える。Ｐピクチャにおいては、人物などの変形物体が大きく動くとベクトルで予測しづらくなるので、ｒｅｓｉｕａｌ成分を必要とし、比較的多くのビット量を必要とする。低ビットレートのストリームでは、十分にビット量を与えられない可能性があるので、画質の劣化を招く。「ｔｏｔａｌ＿ｃｏｅｆｆ」が多くマクロブロックタイプも小さなサイズ（例えば８ｘ８など）ならば、変形物体が存在する可能性が高く、本来多くのビット量が必要な可能性が高い。したがって、このようなブロックもイントラブロックに準じた扱い（以下、「準イントラブロック」とも呼ぶ。）にすべきであると言える。以上より、本実施例では、Ｐピクチャについては、イントラブロックの多さや、準イントラブロックの多さとフレーム当たりのビット量の両方の要素から画質の判定を行う。【００４５】
以上のような本実施例に係る画質判定方法によれば、画像の劣化状況を適切に把握することができる。したがって、判定された画質に基づいて鮮鋭化の処理を行うことにより、符号化劣化などを強調することで画質劣化が助長されてしまうことを適切に抑制することができ、劣化要因を目立たなくしつつ、最適に画質改善を行うことが可能となる。特に、ワンセグ放送のような低ビットレートの画像ではシーンチェンジなどが頻発した際に劣化（符号化劣化ノイズなど）が激しい画像が出現する場合があるが、このようなワンセグ放送の画像に対して本実施例を適用することで、符号化劣化ノイズなどを効果的に抑制することができると言える。【００４６】
なお、全画面について、上記のように判定された画質に応じて鮮鋭化レベルを変えることに限定はされない。他の例では、適応的に鮮鋭化レベルを変えるエリアを画面内で限定することができる。例えば、テロップなどの文字が表示されている特定のエリアは、固定の鮮鋭化レベルを用いることとし、その他のエリアについては、本実施例に係る方法によって画質に応じて鮮鋭化レベルを変えることができる。【００４７】
図４は、このような他の例における画像処理方法を説明するための図である。具体的には、図４は、画像の一例を示しており、破線領域Ｔ１、Ｔ２がテロップを含むエリアを示している。このようなテロップなどの固定的な画像エリアは、１フレーム当たりのビット量が変わっても、ほとんど画質が変化しないと言える。なぜならば、テロップ部分については前のフレームの画像をそのまま参照することができるため、当該テロップ部分の必要ビット量が少なくても、画質の変化の影響を受けにくいと言えるからである。よって、他の例では、テロップなどを含む特定のエリアについては、画質に応じた鮮鋭化レベルの変更を行わない。つまり、鮮鋭化レベルを固定する。一方、テロップ以外の画像エリアについては画像劣化を起こしている可能性があるので、前述したような手順にて、画質に応じた鮮鋭化レベルの変更を行う。【００４８】
更に他の例では、画像中のエリアを複数に分け、それぞれのエリア毎に画像状況によって適応的に鮮鋭化レベルを変えることも可能である。具体的には、画像中の物体などに応じて鮮鋭化レベルを変えることができる。一例としては、画像における顔の部分は鮮鋭化レベルを低くし、画像における襟の部分などは鮮鋭化レベルを高く設定することができる。なお、このようにして鮮鋭化レベルを変える場合、例えば、エッジの密度（エッジ状況判定部２４ｃによって判定される）などを用いてエリアについての判定を行うことができ、また、画像中の物体は画像解析することで認識することができる。【００４９】
［実施例に係る処理］
次に、図５乃至図１０を参照して、本実施例において適応画像鮮鋭化処理部２４（より具体的には画質判定部２４ｘ）が行う処理について説明する。当該処理においては、画質判定部２４ｘが、前述したように、フレーム毎のビット量の情報、シンタックス要素、及びエッジ検出後におけるエッジ状況などを総合的に考慮して画質の判定を行う、具体的には鮮鋭化レベルを決定する。ここでは、４段階の鮮鋭化レベルに設定する場合、詳しくは「鮮鋭化を行わない」、「鮮鋭化レベル１」、「鮮鋭化レベル２」、「鮮鋭化レベル３」の４段階のいずれかに設定する場合を例に挙げる。なお、「鮮鋭化を行わない」→「鮮鋭化レベル１」→「鮮鋭化レベル２」→「鮮鋭化レベル３」の順に、鮮鋭強度が高くなるものとする。【００５０】
図５は、本実施例における全体処理を示すフローチャートである。当該処理は、画質判定部２４ｘにより、繰り返し実行される。【００５１】
まず、ステップＳ１０１では、画質判定部２４ｘは、処理の対象がテロップ以外のエリアであるか否かを判定する。このような判定を行うのは、画面においてテロップのエリアとテロップ以外のエリアとで分けて、鮮鋭化レベルの扱いを変えるためである。具体的には、画質判定部２４ｘは、画像解析などすることによって、テロップ以外のエリアであるか否かの判定を行う。テロップ以外である場合（ステップＳ１０１；Ｙｅｓ）、処理はステップＳ１０２に進む。この場合には、ステップＳ１０２以降の処理で、画質に応じた鮮鋭化レベルの変更を行う。これに対して、テロップ以外のエリアでない場合（ステップＳ１０１；Ｎｏ）、処理はステップＳ１０６に進む。この場合には、前述したような理由から、予め決められた鮮鋭化レベルに固定する（ステップＳ１０６）。つまり、画質に応じた鮮鋭化レベルの変更を行わない。そして、処理は終了する。【００５２】
ステップＳ１０２では、画質判定部２４ｘは、ピクチャタイプの情報を取得する。具体的には、画質判定部２４ｘは、ビデオデコーダ２２からＨ．２６４符号化方式におけるピクチャタイプ（シンタックス要素に含まれる）を取得する。そして、処理はステップＳ１０３に進む。ステップＳ１０３では、画質判定部２４ｘは、ピクチャタイプがＩピクチャであるか又はＰピクチャであるかを判定する。Ｉピクチャである場合には処理はステップＳ１０４に進み、画質判定部２４ｘは、後述するＩピクチャ用処理を実行することで鮮鋭化レベルを決定する。この後、処理は終了する。これに対して、Ｐピクチャである場合には処理はステップＳ１０５に進み、画質判定部２４ｘは、後述するＰピクチャ用処理を実行することで鮮鋭化レベルを決定する。この後、処理は終了する。【００５３】
このような処理の後に、適応画像鮮鋭化処理部２４内の適応画像鮮鋭化処理部２４が、ラプラシアンフィルタなどの一般的なエッジ強調フィルタなどを用いて、決定された鮮鋭化レベルに応じてフィルタのオペレータ係数などを変えることにより、鮮鋭化の処理を行う。【００５４】
図６は、図５のステップＳ１０４で行われるＩピクチャ用処理を示すフローチャートである。この処理では、まずビット量に基づいて大まかに画質の判定を行い、この後に、エッジ状況（エッジを持つ画素数）に基づいて細かく画質を判定することで、鮮鋭化レベルを決定する。なお、Ｉピクチャ用処理も、画質判定部２４ｘにより実行される。【００５５】
ステップＳ２０１では、画質判定部２４ｘは、フレーム当たりのビットレートに基づいてフレームを分類する処理、詳しくはＮａｌユニットのバイト数に基づいてフレームを分類する処理（以下、「Ｉピクチャ時のビットレート判定状況確認処理」と呼ぶ。）を実行する。そして、処理はステップＳ２０２に進む。【００５６】
ここで、図７を参照して、図６のステップＳ２０１で行われるＩピクチャ時のビットレート判定状況確認処理について説明する。まず、ステップＳ３０１では、画質判定部２４ｘは、ビデオデコーダ２２からＮａｌユニットのバイト数を取得する。そして、処理はステップＳ３０２に進む。ステップＳ３０２では、画質判定部２４ｘは、Ｎａｌユニットのバイト数に基づいて判定を行う。具体的には、画質判定部２４ｘは、Ｘ１、Ｘ２、Ｘ３、Ｘ４の４つのバイト数を用いることで、処理対象となっているフレームを４段階に分類する（Ｘ１＜Ｘ２＜Ｘ３＜Ｘ４）。【００５７】
Ｎａｌユニットのバイト数がＸ１バイト未満である場合、処理はステップＳ３０３に進み、画質判定部２４ｘは、超低ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。一方、Ｎａｌユニットのバイト数がＸ１バイト以上且つＸ２バイト未満である場合、処理はステップＳ３０４に進み、画質判定部２４ｘは、低ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。一方、Ｎａｌユニットのバイト数がＸ２バイト以上且つＸ３バイト未満である場合、処理はステップＳ３０５に進み、画質判定部２４ｘは、中ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。一方、Ｎａｌユニットのバイト数がＸ３バイト以上且つＸ４バイト未満である場合、処理はステップＳ３０６に進み、画質判定部２４ｘは、高ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。【００５８】
図６に戻って、ステップＳ２０２以降の処理について説明を行う。ステップＳ２０２では、画質判定部２４ｘは、ビットレート判定状況についての判定を行う。具体的には、画質判定部２４ｘは、図７に示す処理で分類された結果に基づいて判定を行う。【００５９】
なお、以降のステップＳ２０３〜Ｓ２１０の処理では、ビットレート判定状況に応じて（具体的には、Ｎａｌユニットのバイト数にて分類されたフレームに応じて）、鮮鋭化レベルを決定する処理が行われる。この場合、基本的には、Ｎａｌユニットのバイト数に応じて鮮鋭化レベルが決定される。つまり、基本的には、超低ビットレート割り当てフレーム→低ビットレート割り当てフレーム→中ビットレート割り当てフレーム→高ビットレート割り当てフレームの順に、鮮鋭化レベルが高く設定される。また、この場合、Ｎａｌユニットのバイト数だけでなく、エッジ状況も考慮に入れて、鮮鋭化レベルの調整が行われる。即ち、本実施例では、Ｎａｌユニットのバイト数及びエッジ状況の両方を考慮に入れて、鮮鋭化レベルを決定する。例えば、Ｎａｌユニットのバイト数がある程度大きくても、エッジを持つ画素数が多い場合には、鮮鋭化レベルが比較的低めに設定される。【００６０】
まず、超低ビットレート割り当てフレームである場合には、処理はステップＳ２０３に進む。ステップＳ２０３では、画質判定部２４ｘは、鮮鋭化を行わないと決定する。この場合には、ビット量がかなり少ないため、画質がかなり低下しているものと考えられるからである。そして、処理は終了する。【００６１】
一方、低ビットレート割り当てフレームである場合には、処理はステップＳ２０４に進む。ステップＳ２０４では、画質判定部２４ｘは、エッジ状況を確認する処理を行う。具体的には、画質判定部２４ｘ（詳しくは、画質判定部２４ｘ内のエッジ検出部２４ｂ）は、１フレーム中のエッジを持つ画素をカウントする。つまり、エッジ検出された個所の情報を保持して、この情報がいくつあるかをカウントする。そして、処理はステップＳ２０５に進む。【００６２】
ステップＳ２０５では、画質判定部２４ｘは、カウントされたエッジを持つ画素数が所定値α１以下であるか否かを判定する。エッジを持つ画素数が所定値α１以下である場合（ステップＳ２０５；Ｙｅｓ）、鮮鋭化レベル２に設定する（ステップＳ２０９）。これに対して、エッジを持つ画素数が所定値α１より大きい場合（ステップＳ２０５；Ｎｏ）、鮮鋭化レベル１に設定する（ステップＳ２０６）。つまり、エッジを持つ画素数が所定値α１以下である場合よりも、鮮鋭化レベルを１つ下げる。こうしているのは、エッジを持つ画素数が所定値α１より大きい場合には、所定値α１以下である場合よりも、画像が複雑であり、画質が低下している可能性があるからである。以上のステップＳ２０６、Ｓ２０９の処理後、処理は終了する。【００６３】
一方、中ビットレート割り当てフレームである場合には、処理はステップＳ２０７に進む。ステップＳ２０７では、画質判定部２４ｘは、エッジ状況を確認する処理を行う。具体的には、画質判定部２４ｘ（詳しくは、画質判定部２４ｘ内のエッジ検出部２４ｂ）は、１フレーム中のエッジを持つ画素をカウントする。そして、処理はステップＳ２０８に進む。【００６４】
ステップＳ２０８では、画質判定部２４ｘは、カウントされたエッジを持つ画素数が所定値α２以下であるか否かを判定する。エッジを持つ画素数が所定値α２以下である場合（ステップＳ２０８；Ｙｅｓ）、鮮鋭化レベル３に設定する（ステップＳ２１０）。これに対して、エッジを持つ画素数が所定値α２より大きい場合（ステップＳ２０８；Ｎｏ）、鮮鋭化レベル２に設定する（ステップＳ２０９）。つまり、エッジを持つ画素数が所定値α２以下である場合よりも、鮮鋭化レベルを１つ下げる。こうしているのは、エッジを持つ画素数が所定値α２より大きい場合には、所定値α２以下である場合よりも、画像が複雑であり、画質が低下している可能性があるからである。以上のステップＳ２０９、Ｓ２１０の処理後、処理は終了する。なお、ステップＳ２０８の判定で用いる所定値α２は、ステップＳ２０５の判定で用いた所定値α１よりも大きな値を用いても良いし、同じ値を用いても良い。【００６５】
一方、高ビットレート割り当てフレームである場合には、処理はステップＳ２１０に進む。ステップＳ２１０では、画質判定部２４ｘは、鮮鋭化レベル３に設定する。つまり、最大の鮮鋭化レベルに設定する。この場合には、ビット量が多いため、画質が基準を超えている可能性が高いからである。そして、処理は終了する。【００６６】
次に、図８は、図５のステップＳ１０５で行われるＰピクチャ用処理を示すフローチャートである。この処理では、ビット量の他に、イントラブロックの数や、マクロブロックのサイズなどに基づいて画質を判定して、鮮鋭化レベルを決定する。なお、Ｐピクチャ用処理も、画質判定部２４ｘにより実行される。【００６７】
まず、ステップＳ４０１では、画質判定部２４ｘは、イントラブロック状況を確認する処理を行う。具体的には、画質判定部２４ｘは、ビデオデコーダ２２からマクロブロックタイプの情報（シンタックス要素に含まれる）を取得することで、イントラブロックのブロック数をカウントする。そして、処理はステップＳ４０２に進む。【００６８】
ステップＳ４０２では、画質判定部２４ｘは、イントラブロックの数が所定以上であるか否かを判定する。イントラブロックの数が所定以上である場合（ステップＳ４０２；Ｙｅｓ）、処理はステップＳ４０３に進む。この場合には、シーンチェンジなどが起こったことにより画質が劣化している可能性が考えられるため、ステップＳ４０３以降で、さらに画質を判定するための処理を行う。一方、イントラブロックの数が所定以上でない場合（ステップＳ４０２；Ｎｏ）、後述する図９に示す処理を実行する。【００６９】
ステップＳ４０３では、画質判定部２４ｘは、イントラブロックでのエッジ状況を確認する処理を行う。具体的には、画質判定部２４ｘは、イントラブロックである領域（イントラブロック領域）についてエッジ検出を行い、エッジを持つ画素をカウントする。そして、処理はステップＳ４０４に進む。【００７０】
ステップＳ４０４では、画質判定部２４ｘは、イントラブロックでのエッジを持つ画素の割合がイントラブロック領域の所定値以上であるか否かを判定する。エッジを持つ画素の割合がイントラブロック領域の所定値以上である場合（ステップＳ４０４；Ｙｅｓ）、処理はステップＳ４０５に進む。この場合には、イントラブロック領域にエッジが多いため、画質が劣化している可能性が高いと考えられる。一方、エッジを持つ画素の割合がイントラブロック領域の所定値以上でない場合（ステップＳ４０４；Ｎｏ）、後述する図９に示す処理を実行する。【００７１】
ステップＳ４０５では、画質判定部２４ｘは、マクロブロックのサイズが所定サイズ未満であるブロック数を確認する処理を行う。具体的には、画質判定部２４ｘは、ビデオデコーダ２２からマクロブロックタイプの情報（シンタックス要素に含まれる）を取得することで、マクロブロックのサイズが所定サイズ未満であるブロックの数を求める。例えば、当該判定で用いられる所定サイズは、「１６ｘ１６」や「８ｘ８」など種々のサイズに設定することができる。そして、処理はステップＳ４０６に進む。ステップＳ４０６では、画質判定部２４ｘは、マクロブロックのサイズが所定サイズ未満であるブロック数が所定以上であるか否かを判定する。【００７２】
マクロブロックのサイズが所定サイズ未満であるブロック数が所定以上である場合（ステップＳ４０６；Ｙｅｓ）、処理はステップＳ４０７に進む。ステップＳ４０７では、画質判定部２４ｘは、鮮鋭化を行わないと決定する。この場合は、イントラブロック領域にエッジが多く存在するので複雑な画像であると言えると共に、マクロブロックのサイズが小さいものが多いと言えるため、物体の移動や変形が起きている可能性があると考えられる。よって、フレーム当たりのビット量が十分でない可能性が高いと考えられるので、鮮鋭化を行わない。そして、処理は終了する。【００７３】
一方、マクロブロックのサイズが所定サイズ未満であるブロック数が所定以上でない場合（ステップＳ４０６；Ｎｏ）、処理はステップＳ４０８に進む。ステップＳ４０８では、画質判定部２４ｘは、鮮鋭化レベル１に設定する。この場合には、上記のステップＳ４０７に進んだ状況と比較して、マクロブロックのサイズが小さいものが少ないと言えるため、鮮鋭化レベルを１つ上げて、鮮鋭化レベル１に設定する。そして、処理は終了する。【００７４】
次に、図９を参照して、イントラブロックの数が所定以上でない場合（ステップＳ４０２；Ｎｏ）、及びエッジを持つ画素の割合がイントラブロック領域の所定値以上でない場合（ステップＳ４０４；Ｎｏ）に実行される処理について説明する。当該処理では、基本的には前述した図６に示した処理（Ｉピクチャ用処理）と同様に、ビット量とエッジ状況とに基づいて画質を判定して、鮮鋭化レベルが決定される。なお、この処理も、画質判定部２４ｘにより実行される。【００７５】
ステップＳ５０１では、画質判定部２４ｘは、フレーム当たりのビットレートに基づいてフレームを分類する処理、詳しくはＮａｌユニットのバイト数に基づいてフレームを分類する処理（以下、「Ｐピクチャ時のビットレート判定状況確認処理」と呼ぶ。）を実行する。そして、処理はステップＳ５０２に進む。【００７６】
ここで、図１０を参照して、図９のステップＳ５０１で行われるＰピクチャ時のビットレート判定状況確認処理について説明する。まず、ステップＳ６０１では、画質判定部２４ｘは、ビデオデコーダ２２からＮａｌユニットのバイト数を取得する。そして、処理はステップＳ６０２に進む。ステップＳ６０２では、画質判定部２４ｘは、Ｎａｌユニットのバイト数に基づいて判定を行う。具体的には、画質判定部２４ｘは、Ｙ１、Ｙ２、Ｙ３、Ｙ４の４つのバイト数を用いることで、処理対象となっているフレームを４段階に分類する（Ｙ１＜Ｙ２＜Ｙ３＜Ｙ４）。【００７７】
なお、Ｐピクチャは動きベクトルを持つことができるので、図１０に示すビットレート判定状況確認処理においてＮａｌユニットのバイト数に対して用いる閾値は、図７に示したＩピクチャ時のビットレート判定状況確認処理で用いた閾値と比較して、小さな値に設定される。具体的には、「Ｙ１＜Ｘ１」、「Ｙ２＜Ｘ２」、「Ｙ３＜Ｘ３」、「Ｙ４＜Ｘ４」といった具合に設定される。【００７８】
Ｎａｌユニットのバイト数がＹ１バイト未満である場合、処理はステップＳ６０３に進み、画質判定部２４ｘは、超低ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。一方、Ｎａｌユニットのバイト数がＹ１バイト以上且つＹ２バイト未満である場合、処理はステップＳ６０４に進み、画質判定部２４ｘは、低ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。一方、Ｎａｌユニットのバイト数がＹ２バイト以上且つＹ３バイト未満である場合、処理はステップＳ６０５に進み、画質判定部２４ｘは、中ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。一方、Ｎａｌユニットのバイト数がＹ３バイト以上且つＹ４バイト未満である場合、処理はステップＳ６０６に進み、画質判定部２４ｘは、高ビットレート割り当てフレームとの判定を行う。そして、処理は終了する。【００７９】
図９に戻って、ステップＳ５０２以降の処理について説明を行う。ステップＳ５０２では、画質判定部２４ｘは、ビットレート判定状況についての判定を行う。具体的には、画質判定部２４ｘは、図１０に示す処理で分類された結果に基づいて判定を行う。【００８０】
なお、以降のステップＳ５０３〜Ｓ５１０の処理では、ビットレート判定状況に応じて（具体的には、Ｎａｌユニットのバイト数にて分類されたフレームに応じて）、鮮鋭化レベルを決定する処理が行われる。この場合、基本的には、Ｎａｌユニットのバイト数に応じて鮮鋭化レベルが決定される。つまり、基本的には、超低ビットレート割り当てフレーム→低ビットレート割り当てフレーム→中ビットレート割り当てフレーム→高ビットレート割り当てフレームの順に、鮮鋭化レベルが高く設定される。また、この場合、Ｎａｌユニットのバイト数だけでなく、エッジ状況も考慮に入れて、鮮鋭化レベルの調整が行われる。即ち、本実施例では、Ｎａｌユニットのバイト数及びエッジ状況の両方を考慮に入れて、鮮鋭化レベルを決定する。例えば、Ｎａｌユニットのバイト数がある程度大きくても、エッジを持つ画素数が多い場合には、鮮鋭化レベルが比較的低めに設定される。【００８１】
まず、超低ビットレート割り当てフレームである場合には、処理はステップＳ５０３に進む。ステップＳ５０３では、画質判定部２４ｘは、鮮鋭化を行わないと決定する。この場合には、ビット量がかなり少ないため、画質がかなり低下しているものと考えられるからである。そして、処理は終了する。【００８２】
一方、低ビットレート割り当てフレームである場合には、処理はステップＳ５０４に進む。ステップＳ５０４では、画質判定部２４ｘは、エッジ状況を確認する処理を行う。具体的には、画質判定部２４ｘ（詳しくは、画質判定部２４ｘ内のエッジ検出部２４ｂ）は、１フレーム中のエッジを持つ画素をカウントする。つまり、エッジ検出された個所の情報を保持して、この情報がいくつあるかをカウントする。そして、処理はステップＳ５０５に進む。【００８３】
ステップＳ５０５では、画質判定部２４ｘは、カウントされたエッジを持つ画素数が所定値β１以下であるか否かを判定する。エッジを持つ画素数が所定値β１以下である場合（ステップＳ５０５；Ｙｅｓ）、鮮鋭化レベル２に設定する（ステップＳ５０９）。これに対して、エッジを持つ画素数が所定値β１より大きい場合（ステップＳ５０５；Ｎｏ）、鮮鋭化レベル１に設定する（ステップＳ５０６）。つまり、エッジを持つ画素数が所定値β１以下である場合よりも、鮮鋭化レベルを１つ下げる。こうしているのは、エッジを持つ画素数が所定値β１より大きい場合には、所定値β１以下である場合よりも、画像が複雑であり、画質が低下している可能性があるからである。以上のステップＳ５０６、Ｓ５０９の処理後、処理は終了する。なお、ステップＳ５０５の判定で用いる所定値β１は、例えば、図６のステップＳ２０５の判定で用いた所定値α１と同一の値を用いることができる。【００８４】
一方、中ビットレート割り当てフレームである場合には、処理はステップＳ５０７に進む。ステップＳ５０７では、画質判定部２４ｘは、エッジ状況を確認する処理を行う。具体的には、画質判定部２４ｘ（詳しくは、画質判定部２４ｘ内のエッジ検出部２４ｂ）は、１フレーム中のエッジを持つ画素をカウントする。そして、処理はステップＳ５０８に進む。【００８５】
ステップＳ５０８では、画質判定部２４ｘは、カウントされたエッジを持つ画素数が所定値β２以下であるか否かを判定する。エッジを持つ画素数が所定値β２以下である場合（ステップＳ５０８；Ｙｅｓ）、鮮鋭化レベル３に設定する（ステップＳ５１０）。これに対して、エッジを持つ画素数が所定値β２より大きい場合（ステップＳ５０８；Ｎｏ）、鮮鋭化レベル２に設定する（ステップＳ５０９）。つまり、エッジを持つ画素数が所定値β２以下である場合よりも、鮮鋭化レベルを１つ下げる。こうしているのは、エッジを持つ画素数が所定値β２より大きい場合には、所定値β２以下である場合よりも、画像が複雑であり、画質が低下している可能性があるからである。以上のステップＳ５０９、Ｓ５１０の処理後、処理は終了する。なお、ステップＳ５０８の判定で用いる所定値β２は、ステップＳ５０５の判定で用いた所定値β１よりも大きな値を用いても良いし、同じ値を用いても良い。また、所定値β２は、例えば、図６のステップＳ２０８の判定で用いた所定値α２と同一の値を用いることができる。【００８６】
一方、高ビットレート割り当てフレームである場合には、処理はステップＳ５１０に進む。ステップＳ５１０では、画質判定部２４ｘは、鮮鋭化レベル３に設定する。つまり、最大の鮮鋭化レベルに設定する。この場合には、ビット量が多いため、画質が基準を超えている可能性が高いからである。そして、処理は終了する。【００８７】
以上説明した処理によれば、画像の劣化状況を適切に把握することができる。したがって、判定された画質に基づいて鮮鋭化の処理を行うことにより、符号化劣化などを強調することで画質劣化が助長されてしまうことを適切に抑制することができ、劣化要因を目立たなくしつつ、最適に画質改善を行うことが可能となる。【００８８】
なお、上記では鮮鋭化レベルを４段階に分ける例（言い換えるとＮａｌユニットのバイト数に応じて、フレームを４つに分類する例）を示したが、これに限定はされず、鮮鋭化レベルを種々の段階に分けることができる。【００８９】
［変形例］
なお、上記では、ピクチャタイプとしてＩピクチャとＰピクチャとを用いて、Ｉピクチャであるか又はＰピクチャであるかに応じて画質の判定方法を変える例を示したが、これに限定はされない。つまり、Ｉピクチャ以外のピクチャタイプとして、Ｐピクチャを用いることに限定はされない。他の例では、ピクチャタイプとして、Ｉピクチャ及びＰピクチャの他にＢピクチャが存在する場合には、Ｉピクチャ、Ｐピクチャ、及びＢピクチャのいずれであるかに応じて、画質の判定方法を変えることができる。なお、Ｂピクチャについては、Ｐピクチャに対して用いた画質の判定方法と同様の方法を用いて、画質の判定を行うことができる。【００９０】
また、決定された鮮鋭化レベルに応じた鮮鋭化の処理を、フレーム毎に実行することに限定はされない。つまり、フレーム毎に画質の判定が行われて鮮鋭化レベルが決定されるが、鮮鋭化の処理はフレーム毎に実行しなくても良い。例えば、シーンチェンジなどが起こった際にのみ、鮮鋭化の処理を実行することとしても良い。更に、画質の判定もフレーム毎に行うことに限定はされず、例えばシーンチェンジなどが起こった際にのみ、画質の判定を行って鮮鋭化レベルを決定することとしても良い。【００９１】
更に、上記では、画質調整強度として鮮鋭化レベルを制御する例を示したが、これに限定はされない。他の例では、画質調整強度としてノイズ除去のレベルを制御することができる。つまり、判定された画質に応じて、ノイズ除去のレベルなどを制御することも可能である。
【産業上の利用可能性】
【００９２】
本発明は、画像符号化方式を用いたデジタル放送受信機やインターネット放送受信機などに利用することができる。
【図１】
2010021039.tif 000003
【図２】
2010021039.tif 000004
【図３】
2010021039.tif 000005
【図４】
2010021039.tif 000006
【図５】
2010021039.tif 000007
【図６】
2010021039.tif 000008
【図７】
2010021039.tif 000009
【図８】
2010021039.tif 000010
【図９】
2010021039.tif 000011
【図１０】
2010021039.tif 000012
【手続補正書】
【提出日】平成21年9月4日(2009.9.4)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された画像に対して、フレーム毎に画質を判定する画質判定手段と、
前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段と、を備え、
前記画質判定手段は、
前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、
前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量に基づいて前記画質の判定を行い、
前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数に基づいて前記画質の判定を行うことを特徴とする画像処理装置。
【請求項２】
（削除）
【請求項３】
（削除）
【請求項４】
前記画質判定手段は、
前記Ｉピクチャである場合には、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、
前記Ｉピクチャ以外である場合には、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記画質判定手段は、前記Ｉピクチャ以外である場合には、更に、マクロブロックにおけるサイズが所定サイズ未満であるブロック数に基づいて前記画質の判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項６】
前記画質判定手段は、前記マクロブロックのサイズが前記所定サイズ未満であるブロック数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画質判定手段は、前記Ｉピクチャである場合及び前記Ｉピクチャ以外である場合の両方について、更に、エッジ状況に基づいて前記画質の判定を行うことを特徴とする請求項４乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記画質調整手段は、画像におけるエリア毎に、適応的に前記画質調整強度を制御することを特徴とする請求項１及び請求項４乃至６のいずれか一項に記載の画像処理装置。
【請求項９】
前記画質調整手段は、画像において特定のエリアについては、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行わないことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記画質調整手段は、シーンチェンジが起こった際に、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行うことを特徴とする請求項１及び請求項４乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記画質調整手段は、前記画質調整強度として鮮鋭化のレベルを制御することを特徴とする請求項１及び請求項４乃至１０のいずれか一項に記載の画像処理装置。
【請求項１２】
前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記鮮鋭化のレベルを小さくすることを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記画質調整手段は、前記画質調整強度としてノイズ除去のレベルを制御することを特徴とする請求項１及び請求項４乃至１２のいずれか一項に記載の画像処理装置。
【請求項１４】
前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記ノイズ除去のレベルを大きくすることを特徴とする請求項１３に記載の画像処理装置。
【請求項１５】
入力された画像に対して、フレーム毎に画質を判定する画質判定工程と、
前記画質判定工程によって判定された画質に基づいて、画質調整強度を制御する画質調整工程と、を備え、
前記画質判定工程は、
前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、
前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量に基づいて前記画質の判定を行い、
前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数に基づいて前記画質の判定を行うことを特徴とする画像処理方法。
【請求項１６】
コンピュータによって実行される画像処理プログラムであって、
前記コンピュータを、
入力された画像に対して、フレーム毎に画質を判定する画質判定手段、
前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段、として機能させ、
前記画質判定手段は、
前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、
前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量に基づいて前記画質の判定を行い、
前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数に基づいて前記画質の判定を行うことを特徴とする画像処理プログラム。
【請求項１７】
請求項１６に記載の画像処理プログラムを記録したことを特徴とする記録媒体。
【手続補正書】
【提出日】平成23年2月8日(2011.2.8)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
入力された画像に対して、フレーム毎に画質を判定する画質判定手段と、
前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段と、を備え、
前記画質判定手段は、
前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、
前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、
前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする画像処理装置。
【請求項２】
前記画質判定手段は、前記Ｉピクチャ以外である場合には、更に、マクロブロックにおけるサイズが所定サイズ未満であるブロック数に基づいて前記画質の判定を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画質判定手段は、前記マクロブロックのサイズが前記所定サイズ未満であるブロック数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画質判定手段は、前記Ｉピクチャである場合及び前記Ｉピクチャ以外である場合の両方について、更に、エッジ状況に基づいて前記画質の判定を行うことを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記画質調整手段は、画像におけるエリア毎に、適応的に前記画質調整強度を制御することを特徴とする請求項１乃至４のいずれか一項に記載の画像処理装置。
【請求項６】
前記画質調整手段は、画像において特定のエリアについては、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行わないことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記画質調整手段は、シーンチェンジが起こった際に、前記画質判定手段によって判定された画質に基づいた前記画質調整強度の制御を行うことを特徴とする請求項１乃至６のいずれか一項に記載の画像処理装置。
【請求項８】
前記画質調整手段は、前記画質調整強度として鮮鋭化のレベルを制御することを特徴とする請求項１乃至７のいずれか一項に記載の画像処理装置。
【請求項９】
前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記鮮鋭化のレベルを小さくすることを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記画質調整手段は、前記画質調整強度としてノイズ除去のレベルを制御することを特徴とする請求項１乃至９のいずれか一項に記載の画像処理装置。
【請求項１１】
前記画質調整手段は、前記画質判定手段によって画質が低下していると判定された場合には、前記画質の低下レベルに応じて前記ノイズ除去のレベルを大きくすることを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
入力された画像に対して、フレーム毎に画質を判定する画質判定工程と、
前記画質判定工程によって判定された画質に基づいて、画質調整強度を制御する画質調整工程と、を備え、
前記画質判定工程は、
前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、
前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、
前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする画像処理方法。
【請求項１３】
コンピュータによって実行される画像処理プログラムであって、
前記コンピュータを、
入力された画像に対して、フレーム毎に画質を判定する画質判定手段、
前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段、として機能させ、
前記画質判定手段は、
前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、
前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、
前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定することを特徴とする画像処理プログラム。
【請求項１４】
請求項１３に記載の画像処理プログラムを記録したことを特徴とする記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
請求項１に記載の発明は、画像処理装置は、入力された画像に対して、フレーム毎に画質を判定する画質判定手段と、前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段と、を備え、前記画質判定手段は、前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定する。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】変更
【補正の内容】
【０００７】
請求項１２に記載の発明は、画像処理方法は、入力された画像に対して、フレーム毎に画質を判定する画質判定工程と、前記画質判定工程によって判定された画質に基づいて、画質調整強度を制御する画質調整工程と、を備え、前記画質判定工程は、前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
請求項１３に記載の発明は、コンピュータによって実行される画像処理プログラムは、前記コンピュータを、入力された画像に対して、フレーム毎に画質を判定する画質判定手段、前記画質判定手段によって判定された画質に基づいて、画質調整強度を制御する画質調整手段、として機能させ、前記画質判定手段は、前記ピクチャタイプに応じて、前記画質を判定する場合にイントラブロックの数を用いるか否かを判定し、前記ピクチャタイプがＩピクチャである場合には、イントラブロックの数を用いずに、ビット量を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定し、前記ピクチャタイプが前記Ｉピクチャ以外である場合には、ビット量及びイントラブロックの数を用いて前記画質の判定を行い、前記ビット量が少ない場合には多い場合よりも画質が低下していると判定すると共に、前記イントラブロックの数が多い場合には少ない場合よりも画質が低下していると判定する。
【国際調査報告】
2010021039.tif 000013
2010021039.tif 000014
2010021039.tif 000015
2010021039.tif 000016