(57)【要約】【課題】バンディングの発生を防止することが可能で、グラフィックス画像に対して階調性能を良くすることができる画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】画像処理装置１００は、元画像に対して処理を施す処理系１１０，１２０と、グラフィックス画像を生成する画像生成部１４０と、処理系による元画像とグラフィックス画像を混合する画像混合部１５０と、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換機能を有し、この階調変換機能を変更可能で、混合画像に対する変換処理を行う階調変換部１６０と、少なくともグラフィックス画像情報に応じて上記階調変換部のオン、オフ、並びに、階調変換機能の変更制御を行う制御部１７０とを有する。【選択図】図１
2010108064.tif 000002
【特許請求の範囲】
【請求項１】
元画像に対して処理を施す処理系と、
グラフィックス画像を生成する画像生成部と、
上記処理系による元画像と上記グラフィックス画像を混合する画像混合部と、
ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換機能を有し、当該階調変換機能を変更可能で、上記混合画像に対する変換処理を行う階調変換部と、
少なくともグラフィックス画像情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う制御部と
を有する画像処理装置。
【請求項２】
上記元画像の特徴解析を行う特徴解析部を有し、
上記制御部は、
上記特徴解析部の解析結果に応じて上記階調変換機能のオン、オフ、並びに、上記階調変換機能の変更制御を行う
請求項１記載の画像処理装置。
【請求項３】
上記特徴解析部は、
元画像の平坦度を検出可能で、
上記制御部は、
上記特徴解析部の解析により元画像が規定する基準範囲にある平坦度を有する場合に、上記階調変換機能のオン、オフ、並びに、上記階調変換機能の変更制御を行う
請求項２記載の画像処理装置。
【請求項４】
上記グラフィックス画像は、画像ごとにそれぞれ階調の勾配に対応してバンディングの発生度合いがあらかじめ設定されており、
上記制御部は、
上記あらかじめ設定されている発生度合いと上記画像混合部の混合係数の大きさに応じて上記階調変換機能のオン、オフ、並びに、上記階調変換機能の変更制御を行う
請求項１から３のいずれか一に記載の画像処理装置。
【請求項５】
上記グラフィックス画像は、画像ごとにそれぞれ階調の勾配に対応してバンディングの発生度合いがあらかじめ設定されており、
上記制御部は、
上記あらかじめ設定されている発生度合いと上記画像混合部の混合係数の大きさに応じて、上記元画像の平坦な部分に対して、上記階調変換機能のオン、オフ、並びに、上記階調変換機能の変更制御を行う
請求項３記載の画像処理装置。
【請求項６】
上記制御部は、
上記階調の勾配が小さく、上記混合係数が大きいほど階調変換機能を強くし、上記階調の勾配が大きく、上記混合係数が小さいほど階調変換機能を弱くするように制御する
請求項４または５記載の画像処理装置。
【請求項７】
上記制御部は、
混合するグラフィックス画像が平坦な場合には、上記階調変換機能をオフにする
請求項６記載の画像処理装置。
【請求項８】
上記階調変換部は、
設定されるフィルタ係数に応じて発生されるランダムノイズをフィルタリングするフィルタを有し、
上記制御部は、
上記情報に応じて上記フィルタのフィルタ係数を変更する
請求項１から７のいずれか一に記載の画像処理装置。
【請求項９】
上記処理系は、
オリジナルソースをビデオ信号に変換するデコーダと、
デコードされたビデオ信号の画質を調整する画質調整部と、を含む
請求項１から８のいずれか一に記載の画像処理装置。
【請求項１０】
処理系により元画像に対して処理を施すステップと、
画像生成部によりグラフィックス画像を生成するステップと、
画像混合部により上記処理系による元画像と上記グラフィックス画像を混合するステップと、
制御部が、グラフィックス画像情報に応じて、階調変換部のオン、オフ、並びに、階調変換部の階調変換機能の変更制御を行うステップと、
上記階調変換部がオフに制御されると上記階調変換機能を発現させないステップと、
上記階調変換部がオンに制御された場合、混合画像に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を変更制御に応じて行うステップと
を有する画像処理方法。
【請求項１１】
処理系により元画像に対して処理を施す処理と、
画像生成部によりグラフィックス画像を生成する処理と、
画像混合部により上記処理系による元画像と上記グラフィックス画像を混合する処理と、
制御部が、グラフィックス画像情報に応じて、階調変換部のオン、オフ、並びに、階調変換部の階調変換機能の変更制御を行う処理と、
上記階調変換部がオフに制御されると上記階調変換機能を発現させない処理と、
上記階調変換部がオンに制御された場合、混合画像に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を変更制御に応じて行う処理と
を有する画像処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビット数を変換する階調変換処理機能を有する画像処理装置、画像処理方法、およびプログラムに関するものである。
【背景技術】
【０００２】
たとえば、Ｎビットの画素値の画像を、Ｎビットよりも小さいＭビットの画素値の画像を表示する表示装置で表示するには、Ｎビットの画像をＭビットの画像に変換すること、つまり画像階調を変換する階調変換を行う必要がある。
【０００３】
Ｎビットの画像をＭビットの画像に階調変換する方法としては、たとえばＮビットの画素値の下位Ｎ−Ｍビットを単に切り捨ててＭビット画素値に量子化する方法が知られている。
【０００４】
この量子化する階調変換において、たとえば８ビットでは２５６（＝２８）階調を表現することができるが、４ビットでは１６（＝２４）階調しか表現することができない。
このため、８ビットのグレースケール画像の下位ビットを切り捨てて上位４ビットに量子化する階調変換では、階調の変化が帯のように見えるバンディング（ｂａｎｄｉｎｇ）が生じる。
【０００５】
このようなバンディングが生じることを防止し、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換方法として、たとえば誤差拡散法が知られている。
この誤差拡散法によれば、たとえば２５６階調の画像を階調変換して得られる１６階調の画像において、人が見たときに、視覚的に１６階調で、２５６階調を表現する。
【０００６】
すなわち、下位ビットを単純に切り捨てただけでは、表示された画像において量子化誤差が目立ってしまい、画像品質を保つことが困難である。
そこで、このような量子化誤差を、人間の視覚特性を考慮して高域に変調する画像のΔΣ変調を行う方法が誤差拡散法として知られている。
一般的には、誤差拡散では、量子化誤差をフィルタリングする２次元フィルタが用いられる。
この２次元フィルタとしては、Ｊａｒｖｉｓ，Ｊｕｄｉｃｅ＆Ｎｉｎｋｅのフィルタや
Ｆｌｏｙｄ＆Ｓｔｅｉｎｂｅｒｇのフィルタが知られている（たとえば非特許文献１参照）。
【非特許文献１】貴家仁志著，「よくわかるディジタル画像処理」，第６版，ＣＱ出版株式会社，２０００年１月，ｐ．１９６−２１３
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ところで、２次元ではなく、１次元ΔΣ変調を行うことも考えられる。
そして、多ビット信号処理結果をあるビットに丸め込む際に、人間の視覚特性に合わせて高域にノイズを加えることにより、多ビット成分を落とすことなく伝送可能とする１次元のスーパーマッピング（ＳＢＭ：Super Bit Mapping）処理機能を採用可能である。
【０００８】
また、一般的には、データ再生時に、ノイズリダクション、ガンマ、ブライトネス等の画質調整処理を行った後、最終出力段に近いところでグラフィックス画像（またはＵＩ（ユーザインタフェース））画像が重畳される。
なお、グラフィックス（ＵＩ）画像には、記録再生装置の動作設定や動作状況を示す表示データや、字幕などを生成し、これらの表示データや字幕などが含まれる。
【０００９】
この場合、グラフィックス画像に画質調整処理を行うことができないため、たとえ画質調整ブロック内にＳＢＭ処理機能を持たせたとしてもグラフィックス画像にＳＢＭ処理を施すことができない。
伝送路および表示装置に合わせて階調変換を行うとグラフィックス画像にバンディングが発生することがある。
【００１０】
本発明は、バンディングの発生を防止することが可能で、グラフィックス画像に対して階調性能を良くすることができる画像処理装置、画像処理方法、およびプログラムを提供することにある。
【課題を解決するための手段】
【００１１】
本発明の第１の観点の画像処理装置は、元画像に対して処理を施す処理系と、グラフィックス画像を生成する画像生成部と、上記処理系による元画像と上記グラフィックス画像を混合する画像混合部と、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換機能を有し、当該階調変換機能を変更可能で、上記混合画像に対する変換処理を行う階調変換部と、少なくともグラフィックス画像情報に応じて上記階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う制御部とを有する。
【００１２】
本発明の第２の観点の画像処理方法は、処理系により元画像に対して処理を施すステップと、画像生成部によりグラフィックス画像を生成するステップと、画像混合部により上記処理系による元画像と上記グラフィックス画像を混合するステップと、制御部が、グラフィックス画像情報に応じて、階調変換部のオン、オフ、並びに、階調変換部の階調変換機能の変更制御を行うステップと、上記階調変換部がオフに制御されると上記階調変換機能を発現させないステップと、上記階調変換部がオンに制御された場合、混合画像に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を変更制御に応じて行うステップとを有する。
【００１３】
本発明の第３の観点は、処理系により元画像に対して処理を施す処理と、画像生成部によりグラフィックス画像を生成する処理と、画像混合部により上記処理系による元画像と上記グラフィックス画像を混合する処理と、制御部が、グラフィックス画像情報に応じて、階調変換部のオン、オフ、並びに、階調変換部の階調変換機能の変更制御を行う処理と、上記階調変換部がオフに制御されると上記階調変換機能を発現させない処理と、上記階調変換部がオンに制御された場合、混合画像に対して、ビット数を変換する階調変換機能であって、階調変換後の画像において階調変換前の階調を擬似的に表現する階調変換を変更制御に応じて行う処理とを有する画像処理をコンピュータに実行させるプログラムである。
【００１４】
本発明によれば、処理系により元画像に対して処理を施され、この元画像と画像生成部で生成された上記グラフィックス画像が混合され、階調変換部に供給される。
この階調変換部の処理に際し、制御部は、グラフィックス画像情報に応じて階調変換部のオン、オフ、並びに、上記階調変換機能の変更制御を行う。
【発明の効果】
【００１５】
本発明によれば、バンディングの発生を防止することが可能で、グラフィックス画像に対して階調性能を良くすることができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施形態を図面に関連付けて説明する。
なお、説明は以下の順番で行う。
１．第１の実施形態（画像処理装置の基本構成例）
２．第２の実施形態（画像処理装置が適用される記録再生装置の構成例）
【００１７】
＜１．第１の実施形態＞
図１は、本発明の実施形態に係る１次元ＳＢＭ処理機能を有するビデオ系画像処理装置の基本構成例を示すブロック図である。
【００１８】
本実施形態に係る映像信号の画像処理装置１００は、１次元のスーパーマッピング（ＳＢＭ：Super Bit Mapping）処理機能を採用している。
ここで、ＳＢＭ処理とは、多ビット信号処理結果をあるビットに丸め込む際に、人間の視覚特性に合わせて高域にノイズを加えることにより、多ビット成分を落とすことなく伝送可能とする技術である。
【００１９】
そして、本実施形態の画像処理装置１００は、ＳＢＭ処理を、画質調整された画像に対してグラフィックス（ＵＩ）画像を重畳した後に行う。
画像処理装置１００は、グラフィックス画像（ＵＩ画像）の位置やその画像の階調の勾配に応じた適応的なＳＢＭ処理を行うことで、グラフィックス画像のバンディングの発生を防止し、階調性能を改善可能に構成される。
すなわち、本実施形態においては、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、グラフィックス画像の絵柄、位置情報などに応じてＳＢＭ処理の強度、オン／オフを適応的に変化させる。ＳＢＭ処理の強度とは、たとえばノイズシェイピングのゲインである。
たとえば、ＳＢＭ処理をＯＦＦにする、あるいはＳＢＭ処理を行うが、グラフィックス画像の平坦度等に応じて後で説明するハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う等の制御を行う。
【００２０】
図１の画像処理装置１００は、ＡＶデコーダ１１０、画質調整部１２０、特徴解析ブロック１３０、グラフィックス画像生成部１４０、画像混合部１５０、ＳＢＭ処理部１６０、および制御部としてのＳＢＭ強度決定部１７０を有する。
【００２１】
ＡＶデコーダ１１０は、入力された映像および音声の圧縮データを所定の圧縮符号化方式で復号（圧縮データの伸張）する。
換言すれば、ＡＶデコーダ１１０は、オリジナルソースをビデオ信号に変換する。
【００２２】
画質調整部１２０は、ＡＶデコーダ１１０でデコードされたビデオ信号の画質を調整する機能を有する。
なお、本画像処理装置１００は、Ｉ（インターレース）／Ｐ（プログレッシブ）変換を行う機能を有するが、ここではその構成を省略してある。
【００２３】
特徴解析ブロック１３０は、ビデオ信号の特徴点情報を取得する。
特徴解析ブロック１３０は、画素単位で、たとえば平坦部、グレーンノイズ部、モスキートノイズ部、ディテール部を取得することができる。
また、特徴解析ブロック１３０は、対象画素に対しての情報である、黒の暗部、エッジ強度情報、平坦度情報、クロマレベル（Ｃｈｒｏｍａ  Ｌｅｖｅｌ）情報を取得する。
特徴解析ブロック１３０は、たとえば取得した平坦度情報ＦをＳＢＭ強度決定部１７０に供給する。
また、特徴解析ブロック１３０は、画質調整されている元画像を画像混合部１５０に出力する。
【００２４】
図２は、本実施形態に係る平坦度検出の基本的な処理を説明するための図である。
図３は、本実施形態に係る水平（Ｈ）方向の平坦度検出処理を説明するための図である。
図４は、本実施形態に係る垂直（Ｖ）方向の平坦度検出処理を説明するための図である。
【００２５】
本実施形態における平坦度検出は、図２に示すように、水平（Ｈ）方向の水平検出領域ＨＤＡ、垂直（Ｖ）方向の垂直検出領域ＶＤＡ、もしくは両領域で平坦度を検出した場合に、対象画素ＰＸＬに対して処理を行う。
たとえば、複数の画素にわたる輝度値Ｙの変化度を所定の閾値との比較で平坦の度合いを判断する。特徴解析ブロック１３０は、あらかじめ設定した基準範囲に平坦度が収まっていれば元画像が平坦な画像として判断する。
【００２６】
水平（Ｈ）方向の平坦度検出は、次式に基づく間数値が下記に示す条件１、条件２、条件３の全条件を満たしたときに水平平坦度検出とする。
【００２７】
［数１］
d(n)=Y(n,2)-Y(n+1,2)
【００２８】
【数２】
2010108064.tif 000003
【００２９】
ここで、閾値flat_h_th1、flat_h_th2、flat_h_th3 は次のように設定される。
【００３０】
［数３］
flat_h_th1 = 15@8bit
flat_h_th2 = 3@8bit
flat_h_th3 = 3@8bit
【００３１】
垂直（Ｖ）方向の平坦度検出は、次式に基づく間数値が下記に示す条件１Ｖ、条件２Ｖ、条件３Ｖの全条件を満たしたときに水平平坦度検出とする。
【００３２】
［数４］
d(n)=Y(11,n)-Y(11,n+1)
【００３３】
【数５】
2010108064.tif 000004
【００３４】
ここで、閾値flat_v_th1、flat_v_th2、flat_v_th3 は次のように設定される。
【００３５】
［数６］
flat_v_th1 = 4@8bit
flat_v_th2 = 3@8bit
flat_v_th3 = 1@8bit
【００３６】
グラフィックス画像生成部１４０は、記録再生装置等の動作設定や動作状況を示す表示データや、字幕、絵情報などのグラフィックス画像（ＵＩ画像）を生成し、これらの表示データや字幕を画像混合部１５０に出力する。
グラフィックス画像生成部１４０は、生成したグラフィックス画像のバンディングの発生度合いを示す情報ＭをＳＢＭ強度決定部１７０に出力する。
【００３７】
画像混合部１５０は、画質が調整された元画像とグラフィックス画像とを、ブレンディング係数αを用いて混合処理し、混合された画像をＳＢＭ処理部１６０に出力する。
【００３８】
ＳＢＭ処理部１６０は、ＳＢＭ処理をＯＦＦにする、あるいは処理強度を変えてＳＢＭ処理を行うが、ＳＢＭ強度決定部１７０で決定された強度情報に応じて後で説明するハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う。
【００３９】
図５は、本実施形態に係るＳＢＭ処理部の要部である階調変換部の構成例を示すブロック図である。
【００４０】
階調変換部２００は、たとえばノイズリダクション処理により８ビットの画像が１４ビットの画像に拡張されたビデオ信号を、表示デバイスが処理可能で表示することができるビット数、たとえば８ビット、１０ビット、１２ビットに変換する階調変換機能を有する。
【００４１】
階調変換部２００は、ディザ加算部２１０および１次元ΔΣ変調部２２０を有する。
【００４２】
ディザ加算部２１０は、対象画像を形成する画素値ＩＮ（ｘ，ｙ）にランダムノイズを加算することにより、対象画像にディザを施し、１次元ΔΣ変調部２２０に出力する。
【００４３】
１次元ΔΣ変調部２２０は、ディザ加算部２１０からのディザが施された対象画像に、１次元のΔΣ変調を施し、その結果得られた画素値ＯＵＴ（ｘ，ｙ）により形成される階調変換部２００の画像として出力する。
【００４４】
図６は、図５のディザ加算部２１０の構成例を示す図である。
【００４５】
ディザ加算部２１０は、図６に示すように、演算部２１１、ハイパスフィルタ（ＨＰＦ：Ｈｉｇｈ  Ｐａｓｓ  Ｆｉｌｔｅｒ）２１２、ランダムノイズ出力部２１３、および係数設定部２１４を有する。
【００４６】
演算部２１１は、対象画像の画素値ＩＮ（ｘ，ｙ）が、図７に示すように、ラスタスキャン順に供給される。
また、演算部２１１には、ＨＰＦ２１２の出力が供給される。
演算部２１１は、対象画像の画素値ＩＮ（ｘ，ｙ）に、ＨＰＦ２１２の出力を加算し、その結果得られる加算値を、ディザが施された画素値Ｆ（ｘ，ｙ）として１次元ΔΣ変調部２２０に供給する。
【００４７】
ＨＰＦ２１２は、係数設定部２１４によって設定されるフィルタ係数に基づき、ランダムノイズ出力部２１３が出力するランダムノイズをフィルタリングし、そのフィルタリングの結果得られるランダムノイズの高域成分を演算部２１１に供給する。
【００４８】
ランダムノイズ出力部２１３は、たとえばガウス分布等に従うランダムノイズを発生し、ＨＰＦ２１２に出力する。
【００４９】
係数設定部２１４は、基本的に、人の視覚の空間周波数特性、および表示デバイスの解像度に基づいてフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３を決定し、ＨＰＦ２１２に設定する。
本実施形態において、係数設定部２１４は、ＳＢＭ強度決定部１７０の制御指示に従ってフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３のいずれかを選択する。
【００５０】
以上のように、ディザ加算部２１０では、係数設定部２１４が、ＳＢＭ強度決定部１７０の指示に従ってＨＰＦ２１２のフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３のいずれかを選択する。
そして、ＨＰＦ２１２が、係数設定部６４によって設定されたフィルタ係数と、ランダムノイズ出力部２１３が出力するランダムノイズとの積和演算等を行うことによって、ランダムノイズ出力部２１３が出力するランダムノイズをフィルタリングする。
これにより、ＨＰＦ２１２は、ランダムノイズの高域成分を演算部２１１に供給する。
演算部２１１は、対象画像の１４ビットの画素値ＩＮ（ｘ，ｙ）と、ＨＰＦ２１２からのランダムノイズの高域成分とを加算する。
演算部２１１は、その結果得られる、たとえば対象画像と同一のビット数である１４ビットの加算値、あるいはそれ以上のビット数の加算値を、ディザが施された画素値Ｆ（ｘ，ｙ）として、１次元ΔΣ変調部２２０に出力する。
【００５１】
ＳＢＭ強度決定部１７０は、全体の制御を行うとともに、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、グラフィックス画像の絵柄、位置情報などに応じてＳＢＭ処理の強度、オン／オフを適応的に変化させる。
ＳＢＭ強度決定部１７０は、ＳＢＭ処理をＯＦＦにする、あるいはＳＢＭ処理を行うが、グラフィックス画像の平坦度等に応じて後で説明するハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う等の制御を行う。
【００５２】
ＳＢＭ強度決定部１７０は、グラフィックス画像生成部１４０による生成したグラフィックス画像のバンディングの発生度合いを示す情報Ｍ、および特徴解析ブロック１３０の平坦度情報Ｆに応じＳＢＭ処理の強度を決定し、決定に応じてＳＢＭ処理を制御する。
【００５３】
本実施形態において、ＳＢＭ処理を適応的に制御する具体的な方法について説明する。
【００５４】
本実施形態においては、グラフィックス画像（ＵＩ画像）の絵柄、位置情報などに応じてＳＢＭの強度、オン（ＯＮ）／オフ（ＯＦＦ）を適応的に変化させる。
本実施形態においては、元画像が平坦な部分に対して、ブレンディング係数αが大きくかつ階調の傾きが小さければＳＢＭ処理を強くかけ、ブレンディング係数αが小さくかつ傾きが大きければＳＢＭ処理を弱くかける。
【００５５】
図８は、本実施形態に係るＳＢＭ強度決定部における強度決定処理の一例を示す図である。
【００５６】
本実施形態において、具体的には、グラフィックス画像（ＵＩ画像）の特徴をあらかじめ抽出してＳＢＭの強度に対して関連付けておく。
平坦かどうか、階調の傾き具合などからバンディング（ｂａｎｄｉｎｇ）の発生度合い（Ｍ）を数値化して各ＵＩパーツに関連付けておく。
一般に階調の傾きが小さいほどバンディングの発生度合いは大きくなる。また、グラフィックス画像（ＵＩ画像）が平坦であればバンディングは発生しないため、Ｍは最小（０）となり、ＳＢＭはＯＦＦとなる。
本実施系形態においては、図８に示すように、ブレンディングを行う際のα値とＭを用いてＳＢＭの強度を決定し、該当ピクセルに対してＳＢＭ処理を行う。
【００５７】
図８のブレンディング係数αにおいて、「大」とは、たとえばαが０．６以上であり、「中」とは、たとえばαが０．４以上０．６以下であり、「小」とは、たとえばαが０．４以下である。
また、Ｍの値が「０」とはグラフィックス画像（ＵＩ画像）が平坦であることを示す。
Ｍの値が「１」とはグラフィックス画像（ＵＩ画像）の変化が大きいことを示す。
Ｍの値が「２」とはグラフィックス画像（ＵＩ画像）画像の傾き（勾配）がある程度緩やかであることを示す。
Ｍの値が「３」とはグラフィックス画像（ＵＩ画像）画像の傾き（勾配）が緩やかであることを示す。
【００５８】
図８の例では、Ｍの値が「０」の場合、グラフィックス画像（ＵＩ画像）が平坦であることから、ブレンディング係数αの大きさにかかわらずＳＢＭ処理はＯＦＦとなる。
Ｍの値が「１」の場合で、ブレンディング係数αが「大」である場合には、ＳＢＭ処理の強度を中程度とする。
Ｍの値が「１」の場合で、ブレンディング係数αが「中」および「小」である場合には、ＳＢＭ処理の強度を弱くする。
【００５９】
Ｍの値が「２」の場合で、ブレンディング係数αが「大」である場合には、ＳＢＭ処理の強度を強くする。
Ｍの値が「２」の場合で、ブレンディング係数αが「中」である場合には、ＳＢＭ処理の強度を中程度とする。
Ｍの値が「２」の場合で、ブレンディング係数αが「小」である場合には、ＳＢＭ処理の強度を弱くする。
【００６０】
Ｍの値が「３」の場合で、ブレンディング係数αが「大」および「中」である場合には、ＳＢＭ処理の強度を強くする。
Ｍの値が「２」の場合で、ブレンディング係数αが「小」である場合には、ＳＢＭ処理の強度を中程度とする。
【００６１】
ＳＢＭ強度決定部１７０は、たとえば上記処理を特徴解析ブロック１３０により元画像が平坦であるという検出結果を受けた場合に行う。
【００６２】
なお、ＳＢＭ処理の強度については、たとえばフィルタ係数ＨＰＦ−ＣＥ１、ＨＰＦ−ＣＥ２、ＨＰＦ−ＣＥ３が次のように選択される。
ＳＢＭ処理を「強」とした場合、フィルタ係数ＨＰＦ−ＣＥ１が選択される。
ＳＢＭ処理を「中」とした場合、フィルタ係数ＨＰＦ−ＣＥ２が選択される。
ＳＢＭ処理を「小」とした場合、フィルタ係数ＨＰＦ−ＣＥ３が選択される。
【００６３】
より具体的には、ＳＭＢ強度としてノイズシェイピング強度が違う複数のフィルタを用意する。例として図９にフィルタの周波数特性を示す。
【００６４】
ここで、図８のバンディング（ｂａｎｄｉｎｇ）の発生度合い（Ｍ）の設定処理の具体的な例について説明する。
【００６５】
（Ｍ＝０の場合）
図１０は、バンディングの発生度合いＭを０の場合を説明するための第１図である。図１０（Ａ）は単色のグラフィックス画像（ＵＩ画像）を示し、図１０（Ｂ）は図１０（Ａ）のグラフィックス画像（ＵＩ画像）に対して、ｙの中心をｘ方向にプロットして示す図である。
この場合、グラフィックス画像（ＵＩ画像）は、単色画像であるので、係数αでブレンディングされた時、バンディングが発生しない。そのため、Ｍは「０」に設定される。
【００６６】
図１１は、バンディングの発生度合いＭを０の場合を説明するための第２図である。図１１（Ａ）は緩やかな勾配が存在しないグラフィックス画像（ＵＩ画像）を示し、図１１（Ｂ）は図１１（Ａ）のグラフィックス画像（ＵＩ画像）に対して、ｙの中心をｘ方向にプロットして示す図である。
この場合、グラフィックス画像（ＵＩ画像）は、単色画像でないが、緩やかな勾配が存在しないので、α係数でブレンディングされた時、バンディングが発生しない。そのため、Ｍは「０」に設定される。
【００６７】
（Ｍ＝１の場合）
図１２は、バンディングの発生度合いＭを１の場合を説明するための図である。図１２（Ａ）は緩やかな勾配がほとんど存在しないグラフィックス画像（ＵＩ画像）を示し、図１２（Ｂ）は図１２（Ａ）のグラフィックス画像（ＵＩ画像）に対して、ｙの中心をｘ方向にプロットして示す図である。
この場合、グラフィックス画像（ＵＩ画像）は、緩やかな勾配がほとんどないので、α係数でブレンディングされた時、バンディングが発生しにくい。そのため、Ｍを「１」に設定される。
【００６８】
（Ｍ＝２の場合）
図１３は、バンディングの発生度合いＭを２の場合を説明するための図であって、図１３（Ａ）はある程度緩やかな勾配が存在するＵＩ画像を示し、図１３（Ｂ）は図１３（Ａ）のＵＩ画像に対して、ｙの中心をｘ方向にプロットして示す図である。
この場合、ＵＩ画像は、緩やかな勾配があるので、α係数でブレンディングされた時、バンディングが発生する可能性がある。そのため、Ｍを「２」に設定される。
【００６９】
（Ｍ＝３の場合）
図１４は、バンディングの発生度合いＭを３の場合を説明するための図である。図１４（Ａ）は非常に緩やかな勾配が存在するグラフィックス画像（ＵＩ画像）を示し、図１４（Ｂ）は図１４（Ａ）のグラフィックス画像（ＵＩ画像）に対して、ｙの中心をｘ方向にプロットして示す図である。
この場合、グラフィックス画像（ＵＩ画像）は、緩やかな勾配の面積が大きく、勾配も非常に緩やかなので、α係数でブレンディングされた時、バンディングが非常に発生しやすい。そのため、Ｍは「３」に設定される。
【００７０】
以上のように、本実施形態においては、グラフィックス画像（ＵＩ画像）の情報を利用し、細かくＳＢＭを制御することでより効果的にＳＢＭ処理を行うことが可能となる。
これにより、バンディングの発生を防止することが可能で、グラフィックス画像に対して階調性能を良くすることができる。
【００７１】
以上、第１の実施形態として、本実施形態の特徴的な機能であるＳＭＢ処理機能に関する構成、機能について説明した。
以下、図１の画像処理装置が適用可能な記録再生装置に構成、機能を第２の実施形態として説明する。
【００７２】
＜２．第２の実施形態＞
図１５は、本発明の実施形態に係る画像処理装置が適用される記録再生装置の構成例を示すブロック図である。
【００７３】
本実施形態に係る記録再生装置１０は、外部から提供された映像コンテンツを、ハードディスクドライブ（ＨＤＤ）、光ディスク等の記録媒体に記録し、かつ、当該記録媒体に記録された映像コンテンツを再生可能な装置として構成されている。
この記録再生装置１０は、たとえば、光ディスクを記録媒体とする光ディスクレコーダと、ハードディスクを記録媒体とするＨＤＤレコーダとの複合機として構成される。
【００７４】
映像コンテンツは、たとえば放送局から受信したテレビジョン放送の番組コンテンツや、外部入力されたビデオプログラム、セルＤＶＤ、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（登録商標））等から読み出したビデオプログラムなどを含む。
【００７５】
なお、テレビジョン放送は、たとえば、地上波デジタル／アナログ放送、ＢＳ（Ｂｒｏａｄｃａｓｔｉｎｇ  Ｓａｔｅｌｌｉｔｅ）放送、ＣＳ（Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｓａｔｅｌｌｉｔｅ）放送など、放送電波を介して番組コンテンツを放送するものを含む。
さらに、テレビジョン放送は、ケーブルテレビ放送、ＩＰＴＶ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ  ＴＶ）又はＶＯＤ（Ｖｉｄｅｏ  Ｏｎ  Ｄｅｍａｎｄ）など、ネットワークを介して番組コンテンツを配信するものも含む。
【００７６】
［記録再生装置の概略］
次に、本実施形態にかかる記録再生装置１０の特徴を概略的に説明する。
【００７７】
本実施形態に係る記録再生装置１０は、映像コンテンツの録画時或いは再生時に、映像コンテンツの映像全体を解析して、コンテンツの特徴的な部分を表す特徴点情報を予め取得しておく。
記録再生装置１０は、その映像コンテンツの次回再生時に、特徴点情報を再生映像の画質調整に適用することを特徴としている。
【００７８】
すなわち、本実施形態に係る記録再生装置１０は、番組コンテンツの記録時等に、その番組の内容を解析して、その番組の映像の特徴を表す情報（特徴点情報）を記録しておく。
そして、記録再生装置１０は、番組コンテンツを次回再生するときに、特徴点情報を用いて、その番組コンテンツの出力画質調整機能を動的に制御することにより、出力映像の画質を向上させることができる。
【００７９】
より具体的に説明すると、記録再生装置１０は、テレビジョン放送番組や映画等の映像コンテンツの記録時に、映像コンテンツの映像全体を解析する。
そして、記録再生装置１０は、たとえば、番組コンテンツのシーンチェンジ、フェード、クロスフェード、人物の登場シーン、テロップが大きいシーンなどを検出し、これらを特徴点情報として記録しておく。
そして、記録再生装置１０は、映像コンテンツの再生時において出力画質調整機能を制御する際に、通常の画質調整処理の制御パラメータに、特徴点情報でフィードバックをかけて、映像の特徴に応じて出力画質調整を動的に制御する。
この際、ユーザは、解放された設定項目を切り替えることで、特徴点情報を画質調整にどの程度反映させるかを、選択することが可能となっている。
以下に、このような特徴を実現するための、本実施形態に係る記録再生装置１０の構成について詳細に説明する。
【００８０】
［記録再生装置のハードウェア構成］
次に、図１５に関連付けて、本実施形態に係る記録再生装置１０のハードウェア構成について説明する。
【００８１】
図１５は、本実施形態に係る記録再生装置１０の構成を示すブロック図である。なお、図中の「Ａ」は音声信号を、「Ｖ」は映像信号を示す。
【００８２】
図１５に示すように、記録再生装置１０は、アナログチューナー１１と、Ａ／Ｄ変換器１２と、アナログ入力端子１３と、ＤＶ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ）入力端子１４と、ＤＶデコーダ１５と、デジタルチューナー１６と、を有する。
記録再生装置１０は、ｉ．ＬＩＮＫ端子１７と、ＵＳＢ端子１８と、通信部１９と、ＡＶエンコーダ２０と、ストリームプロセッサ３０と、ＡＶデコーダ４０と、スケーラ（ｓｃａｌｅｒ）４２と、オーディオプロセッサ４４と、を有する。
記録再生装置１０は、ＨＤＤ５２と、光ディスクドライブ５４と、特徴点抽出ブロック６０と、出力画質調整ブロック７０と、グラフィック処理部８０と、ディスプレイ処理部８２と、Ｄ／Ａ変換器８４と、を有する。
記録再生装置１０は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９４と、ユーザインタフェース９６と、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１８０と、を有する。
【００８３】
そして、図１５の記録再生装置１０において、ＡＶデコーダ４０、出力画質調整ブロック７０、グラフィック処理部８０、ディスプレイ処理部８２、およびＣＰＵ１８０のビデオ処理系が図１の画像処理装置と同様の機能を有している。
グラフィック処理部８０は、グラフィックス画像生成部１４０としての機能を有する。
ディスプレイ処理部８２が、特徴解析ブロック１３０、ＳＢＭ処理部１６０、ＳＢＭ強度決定部１７０に相当する機能ブロックを持つように形成することが可能である。
特徴解析ブロック１３０の機能は、ディスプレイ処理部８２ではなく特徴点抽出ブロック６０が持つように形成することも可能である。
ＳＢＭ処理およびその制御については図１〜図１４に関連付けて詳述したことから、その詳細な説明は省略する。
以下では、記録再生装置１０の各部の構成、機能について説明する。
【００８４】
アナログチューナー１１は、アナログ放送用のアンテナ１で受信した放送電波から、目的のチャンネルを選局し、そのチャンネルの電波の復調処理を行って、番組コンテンツの受信信号（映像および音声アナログ信号）を生成する。
さらに、アナログチューナー１１は、この受信信号に対して、たとえば中間周波の増幅処理、色信号の分離、色差信号の生成、同期信号の抽出などといった所定の映像信号処理を行って、映像信号を出力する。
【００８５】
Ａ／Ｄ変換器１２は、上記アナログチューナー１１やアナログ入力端子１３等から入力された映像および音声のアナログ信号を所定のサンプリング周波数でデジタル信号に変換して、ＡＶエンコーダ２０に出力する。
【００８６】
アナログ入力端子１３には、外部機器２から、映像および音声のアナログ信号が入力される。
【００８７】
また、ＤＶ入力端子１４には、ＤＶ方式のデジタルビデオカメラ等の外部機器３から、映像および音声のＤＶ信号が入力される。
【００８８】
ＤＶデコーダ１５は、このＤＶ信号をデコードしてＡＶエンコーダ２０に出力する。
【００８９】
デジタルチューナー１６は、衛星放送または地上波デジタル放送用のアンテナ４で受信した放送電波から、目的のチャンネルを選局し、そのチャンネルの番組コンテンツの映像および音声デジタルデータ（ビットストリーム）をストリームプロセッサ３０に出力する。
【００９０】
また、ｉ．ＬＩＮＫ端子１７、ＵＳＢ端子１８等の外部入力端子には、ＨＤＶ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｖｉｄｅｏ）方式のデジタルビデオカメラ等の外部機器５、６が接続される。
この外部機器５からＩＥＥＥ１３９４方式で転送された映像および音声のＨＤＶ信号（ストリーム）が、ｉ．ＬＩＮＫ端子１７を介してストリームプロセッサ３０に入力される。
【００９１】
通信部１９は、イーサネット（登録商標）７等のＩＰネットワークを介して、外部装置（図示せず）との間で各種データを送受信する。
たとえば、通信部１９は、イーサネット（登録商標）７等を介して配信されるＩＰＴＶの番組コンテンツの映像および音声信号を受信して、ストリームプロセッサ３０に出力する。
【００９２】
ＡＶエンコーダ２０は、映像および音声信号をエンコード（圧縮符号化）するエンコード部の一例として構成されたハードウェアである。
このＡＶエンコーダ２０は、上述のＡ／Ｄ変換器１２、ＤＶデコーダ１５、後述のスケーラ４２、オーディオプロセッサ４４等から入力された映像および音声デジタル信号を、所定の圧縮符号化形式で圧縮符号化する。
このＡＶエンコーダ２０は、ＨＤ（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ）映像およびＳＤ（Ｓｔａｎｄａｒｄ  Ｄｅｆｉｎｉｔｉｏｎ）映像に対応可能な高性能のエンコーダであり、ＳＤ解像度の映像信号のみならず、ＨＤ解像度の映像信号もエンコード可能である。
また、このＡＶエンコーダ２０は、ステレオ音声およびマルチチャンネル音声に対応可能なエンコーダであり、２チャンネルの音声信号のみならず、マルチチャンネルの音声信号もエンコード可能である。
ＡＶエンコーダ２０は、記録対象のコンテンツの映像信号又は音声信号を、ＣＰＵ１８０により決定された記録モードに対応するビットレートでエンコードする。
さらに、ＡＶエンコーダ２０は、このようにエンコードした映像／音声信号の圧縮データ（ビットストリーム）を、ストリームプロセッサ３０に出力する。
【００９３】
ストリームプロセッサ３０は、記録媒体に対するデータの記録時又は再生時に、記録対象又は再生対象のデータ（ストリーム）に対して所定のデータ処理を行う。
たとえば、データ記録時には、ストリームプロセッサ３０は、ＡＶエンコーダ２０でエンコードされた圧縮データを多重化（Ｍｕｌｔｉｐｌｅｘ）および暗号化して、バッファ制御しつつ、記録部５０の記録媒体に記録する。
記録部５０は、ＨＤＤ５２や光ディスクドライブ５４を含む。
また、データ再生時には、ストリームプロセッサ３０は、記録部５０の記録媒体から読み出された圧縮データを、暗号解読および分離化（ＤｅＭｕｌｔｉｐｌｅｘ）してＡＶデコーダ４０に出力する。
【００９４】
ＡＶデコーダ４０は、圧縮された映像および音声信号をデコード（復号）するデコード部の一例として構成されたハードウェアである。
このＡＶデコーダ４０は、ストリームプロセッサ３０から入力された映像および音声の圧縮データを所定の圧縮符号化方式で復号（圧縮データの伸張）する。
【００９５】
上記のようなＡＶエンコーダ２０およびＡＶデコーダ４０で用いる圧縮符号化方式（コーデックタイプ）としては、映像については、たとえば、ＭＰＥＧ２、Ｈ．２６４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）、ＶＣ１等を使用できる。
また、音声については、たとえば、Ｄｏｌｂｙ  ＡＣ３、ＭＰＥＧ２  ＡＡＣ（Ａｄｖａｎｃｅｄ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）、ＬＰＣＭ（Ｌｉｎｅａｒ  Ｐｕｌｓｅ  Ｃｏｄｅ  Ｍｏｄｕｌａｔｉｏｎ）等を使用できる。
【００９６】
また、上記のように、記録再生装置１０には、外部から多様な形式の映像／音声信号が入力される。この映像信号の形式（画サイズ）としては、映像の品質に応じて、たとえば、「４８０ｉ」、「４８０ｐ」、「７２０ｐ」、「１０８０ｉ」、「１０８０ｐ」等がある。
たとえば、「１０８０ｉ」は、垂直方向の有効走査線が１０８０本（総走査線が１１２５本）であり、飛び越し走査(インターレーススキャン)方式で、フレームレートが「３０フレーム／秒」で送信される映像信号を表す。
「１０８０ｉ」における解像度は「１９２０×１０８０」若しくは「１４４０×１０８０」ピクセルである。
また、「７２０ｐ」は、垂直方向の有効走査線が７２０本(総走査線が７５０本)であり、順次走査(プログレッシブスキャン）方式で、フレームレートが「６０フレーム／秒」で送信される映像信号を表す。
「７２０ｐ」における解像度は「１２８０×７２０」若しくは「９６０×１０８０」ピクセルである。
これらの映像信号の形式のうち、「４８０ｉ」および「４８０ｐ」等の映像信号は、走査線本数が少なく低解像度のＳＤ映像のカテゴリ（以下「ＳＤカテゴリ」という。）に分類される。
一方、「７２０ｐ」、「１０８０ｉ」および「１０８０ｐ」等の映像信号は、走査線本数が多く高解像度のＨＤ映像のカテゴリ（以下「ＨＤカテゴリ」という。）に分類される。
【００９７】
また、音声信号の形式（チャンネル数）としては、たとえば、「１ＣＨ」、「２ＣＨ」、「５．１ＣＨ」、「６．１ＣＨ」、「７．１ＣＨ」、「４ＣＨ」、「５ＣＨ」、「６ＣＨ」等がある。
たとえば、「５．１ＣＨ」は、視聴者の正面、右前方、左前方、右後方、左後方に配されるスピーカと、低音出力用サブウーファースピーカ（ＬＦＥ：Ｌｏｗ  Ｆｒｅｑｕｅｎｃｙ  Ｅｆｆｅｃｔ）との６スピーカから出力されるマルチチャンネルの音声信号を表す。
これらの音声信号形式のうち、「１ＣＨ（モノラル）」および「２ＣＨ（ステレオ）」等の音声信号は、チャンネル数が比較的少ない低音質のステレオ音声のカテゴリ（以下「ステレオカテゴリ」という。）に分類される。
一方、「５．１ＣＨ」、「６．１ＣＨ」、「７．１ＣＨ」、「４ＣＨ」、「５ＣＨ」および「６ＣＨ」等の音声信号は、チャンネル数が比較的多く高音質のマルチチャンネル音声のカテゴリ（以下「マルチチャンネルカテゴリ」という。）に分類される。
【００９８】
また、記録再生装置１０は、上記のように入力された各種の映像／音声信号の形式を、記録媒体に対応した所定の記録形式に変換するための形式変換部を有している。
この形式変換部は、スケーラ４２（映像形式変換部）とオーディオプロセッサ４４（音声形式変換部）とを含む。
【００９９】
スケーラ４２は、ＣＰＵ１８０からの指示に基づいて、ＡＶデコーダ４０から入力された映像信号の形式を所定の記録形式に変換（すなわち、画サイズを調整）する。
たとえば、ＨＤカテゴリに属する「７２０ｐ」、「１０８０ｐ」等の形式の映像信号が入力された場合には、スケーラ４２は、これらの映像信号を、記録媒体が対応可能な所定の記録形式「１０８０ｉ」に変換する。
スケーラ４２は、画サイズを変換した映像信号をＡＶエンコーダ２０に出力する。
このようにスケーラ４２は、一般的なスケーラのようにＨＤ映像とＳＤ映像との間での画サイズ変換機能のみならず、同一の映像形式カテゴリ内に属する多様な形式間での画サイズ変換機能をも有する。なお、画サイズ変換機能には、たとえば、ＨＤカテゴリ内で「７２０ｐ」から「１０８０ｉ」に変換する機能を含む。
【０１００】
オーディオプロセッサ４４は、ＣＰＵ１８０からの指示に基づいて、ＡＶデコーダ４０から入力された音声信号の形式を所定の記録形式に変換（すなわち、チャンネル数を変更）する。
たとえば、マルチチャンネルカテゴリに属する「７．１ＣＨ」、「４ＣＨ」、「５ＣＨ」等の形式の映像信号が入力された場合には、オーディオプロセッサ４４は次のチャンネル数変換処理を行う。
すなわち、オーディオプロセッサ４４は、これらの音声信号を、記録再生装置１０が対応可能なマルチチャンネルカテゴリの所定の記録形式「５．１ＣＨ」に変換する。
オーディオプロセッサ４４は、チャンネル数を変換した音声信号をＡＶエンコーダ２０に出力する。
このように、オーディオプロセッサ４４は、異なる音声形式カテゴリ間でのチャンネル数変換機能のみならず、同一の音声形式カテゴリ内に属する多様な形式間でのチャンネル数変換機能をも有する。なお、このチャンネル数変換機能には、たとえば、マルチチャンネルカテゴリ内で「５ＣＨ」から「５．１ＣＨ」に変換する機能を含む。
【０１０１】
また、記録再生装置１０は、コンテンツの映像および音声データ等を記録媒体に記録する記録部５０を有している。
本実施形態に係る記録再生装置１０の記録部５０は、たとえば、ハードディスクドライブ（ＨＤＤ）５２と、光ディスクドライブ５４とを含む。
【０１０２】
ＨＤＤ５２は、記録媒体であるハードディスクに対して、各種の情報を書き込み／読み出しする。
たとえば、ＨＤＤ５２は、ストリームプロセッサ３０から入力された映像／音声信号のストリームを、ハードディスクに記録する。
また、ＨＤＤ５２は、ハードディスクに記録されているデータを読み出して、ストリームプロセッサ３０に出力する。
同様に、光ディスクドライブ５４も、記録媒体である光ディスクに対して、各種の情報を書き込み／読み出しする。
たとえば、映像コンテンツが記録された市販のリムーバブル記録媒体（セルＤＶＤ、ＢＤ等）を光ディスクドライブ５４にロードすることで、当該リムーバブル記録媒体から映像コンテンツを読み出して再生できる。
【０１０３】
このように、本実施形態にかかる記録再生装置１０は、２つの記録部５０、すなわち、ＨＤＤ５２と光ディスクドライブ５４とを有している。
これにより、ＨＤＤ５２に記録されたコンテンツを、光ディスクドライブ５４に記録したり、その逆を行ったりできる。
なお、記録媒体としては、たとえば、ハードディスク等の磁気ディスク、または、次世代ＤＶＤ（Ｂｌｕ−Ｒａｙディスク等）、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等の任意の記録媒体を使用可能である。
若しくは、記録媒体として、光磁気ディスク等の光ディスク、または、フラッシュメモリ等の各種の半導体メモリなど、任意の記録媒体を使用できる。
また、記録媒体は、記録再生装置１０内に固定される記録媒体であってもよいし、記録再生装置１０に着脱可能なリムーバブル記録媒体であってもよい。
【０１０４】
特徴点抽出ブロック６０は、たとえば、映像信号を解析してコンテンツの映像の特徴点に関する情報を抽出する機能を有するハードウェアで構成される。
特徴点抽出ブロック６０は、外部から入力されたコンテンツを記録部５０の記録媒体に記録するとき、あるいは、記録媒体に記録されたコンテンツ再生するときに、ＣＰＵ１８０による指示に応じて、コンテンツの映像信号を解析する。
そして、特徴点抽出ブロック６０は、この映像信号から、コンテンツの映像の特徴点を表す情報を抽出して、ＣＰＵ１８０に出力する。
【０１０５】
出力画質調整ブロック７０は、たとえば、出力画質の調整機能を有するハードウェアで構成される。
出力画質調整ブロック７０は、上記記録部５０の記録媒体に記録されたコンテンツを再生するときに、ＣＰＵ１８０による指示に応じて、再生対象のコンテンツの出力画質を調整する。
このとき、ＣＰＵ１８０は、再生対象のコンテンツに関する特徴点情報に基づいて、出力画質調整ブロック７０の動作をコンテンツごとに動的に制御する。
【０１０６】
グラフィック処理部８０は、データ再生時に、記録再生装置１０の動作設定や動作状況を示す表示データや、字幕などを生成し、これらの表示データや字幕を、出力画像調整ブロックから出力された再生映像に重畳（オーバレイ）する。
【０１０７】
ディスプレイ処理部８２は、グラフィック処理部８０で生成された混合映像に対して、出力形式に応じて画サイズなどを整形する処理を施す。
ディスプレイ処理部８２は、上述したＳＢＭ処理機能を有する。
ディスプレイ処理部８２は、ＣＰＵ１８０の制御の下、グラフィックス画像（ＵＩ画像）の位置やその画像の階調の勾配に応じた適応的なＳＢＭ処理を行うことで、グラフィックス画像のバンディングの発生を防止し、階調性能を改善可能に構成されている。
すなわち、ディスプレイ処理部８２は、ＣＰＵ１８０により、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、オリジナルソースの情報と最終出力までの情報を基にＳＢＭ処理が適応的に制御される。
たとえば、ディスプレイ処理部８２は、ＳＢＭ処理がＯＦＦにされる、あるいはＳＢＭ処理を行うが、グラフィックス画像の平坦度等に応じてハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行うように制御される。
【０１０８】
さらに、Ｄ／Ａ変換器８４は、ディスプレイ処理部８２から入力された映像のデジタル信号、ＡＶデコーダ４０から入力された音声のデジタル信号を、アナログ信号に変換して、モニタ８またはスピーカ９に出力する。
【０１０９】
ＣＰＵ１８０は、演算処理装置および制御装置として機能し、記録再生装置１０内の各装置を制御する。
ＣＰＵ１８０は、ＲＯＭ９２に記憶されているプログラム、或いは、記録部５０からＲＡＭ９４にロードされたプログラムに従って、ＲＡＭ９４を使用しながら、各種の処理を実行する。
ＲＯＭ９２は、ＣＰＵ１８０が使用するプログラムや演算パラメータ等を記憶するとともに、ＣＰＵ１８０から記録部５０へのアクセスを軽減するためのバッファとしても機能する。
ＲＡＭ９４は、ＣＰＵ１８０の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。
また、ＣＰＵ１８０は、属性情報取得部、解析部、制御ルーチン作成部、画質調整制御部などとしても機能する。
【０１１０】
ユーザインタフェース９６は、ユーザが記録再生装置１０に対して各種の指示を入力するための入力部として機能する。
ユーザインタフェース９６は、たとえばボタン、スイッチ、レバー等の操作キーや、タッチパネル、リモートコントローラなどの操作手段と、この操作手段に対する入力操作に応じて入力信号を生成してＣＰＵ１８０に出力する入力制御回路などから構成される。
記録再生装置１０のユーザは、このユーザインタフェース９６を操作することにより、記録再生装置１０に対して各種のデータを入力したり、処理動作を指示したりすることができる。
ＣＰＵ１８０は、ユーザインタフェース９６に対するユーザ入力を受け付けると、このユーザ入力に基づいて、コンテンツの記録処理や再生処理を制御したり、放送番組の予約録画の設定を行ったりする。
【０１１１】
次に、図１に示す構成の記録再生装置１０の記録動作について説明する。
この記録動作は、たとえば、録画予約された番組コンテンツを録画する場合や、ユーザ指示に応じて番組コンテンツをダイレクト録画する場合などに実行される。
また、この記録動作は、外部入力されたコンテンツを記録する場合、ＨＤＤ５２と光ディスクドライブ５４との間でコンテンツをダビングする場合などに実行される。
【０１１２】
まず、外部から入力されたアナログ信号をエンコードして記録媒体に記録する場合の手順を説明する。
【０１１３】
たとえば、アナログテレビジョン放送をアンテナ１で受信した場合、アナログチューナー１１から出力されたアナログ映像信号およびアナログ音声信号は、Ａ／Ｄ変換器１２でデジタル化される。
次いで、デジタル映像信号および音声信号は、ＡＶエンコーダ２０でエンコード処理されて、ビットストリームに変換される。
さらに、デジタル映像信号および音声信号は、ストリームプロセッサ３０で多重化および暗号化されて、バッファ制御されながら、ＨＤＤ５２または光ディスクドライブ５４の記録媒体に記録される。
【０１１４】
なお、ここでは、入力信号としてアナログチューナー１１から出力されたアナログ信号を記録する例を挙げて説明したが、その他にも記録する例を挙げることができる。
たとえば、（１）入力信号が外部機器２からアナログ入力端子１３を介して入力された外部アナログ入力信号を記録する場合である。（２）ＤＶ方式のデジタルビデオカメラ等の外部機器３からＤＶ入力端子１４を介して入力されたＤＶ信号を、ＤＶデコーダ１５でデコードして取り込む場合である。これらの場合なども、同様の手順となる。
【０１１５】
次に、外部から入力されたデジタル信号(ビットストリーム)を、デコードした後に、記録媒体が対応するデジタル記録フォーマットに合わせて再エンコードして記録する場合の手順を説明する。
【０１１６】
たとえばデジタルテレビジョン放送をアンテナ４で受信した場合、デジタルチューナー１６から出力されたビットストリームは、ストリームプロセッサ３０によりスクランブル解除された後に映像信号と音声信号とに分離化されて、ＡＶデコーダ４０に入力される。
次いで、ＡＶデコーダ４０にて、デジタル映像信号およびデジタル音声信号はデコードされる。
さらに、デコードされたデジタル映像信号は、必要に応じて、スケーラ４２で所定の画サイズにリサイズされて、ＡＶエンコーダ２０に入力される。
一方、デコードされたデジタル音声信号は、必要に応じて、オーディオプロセッサ４４で所定のチャンネル数に変換されて、ＡＶエンコーダ２０に入力される。
その後、この形式変換後のデジタル映像／音声信号は、上述したアナログ信号の場合と同様に、ＡＶエンコーダ２０でエンコード処理（再エンコード処理）される。
次いで、形式変換後のデジタル映像／音声信号は、ストリームプロセッサ３０で多重化および暗号化されて、バッファ制御されつつ、ＨＤＤ５２又は光ディスクドライブ５４の記録媒体に記録される。
【０１１７】
このように、記録対象の入力信号が、圧縮符号化されたデジタル信号（ストリーム）である場合には、必要に応じて、再エンコード処理を行う。
すなわち、圧縮符号化されたデジタル信号をＡＶデコーダ４０でストリームデータに一旦デコードして、スケーラ４２やオーディオプロセッサ４４で形式変換した後に、ＡＶエンコーダ２０で、記録媒体が対応可能な所定の記録形式に再エンコードして記録する。
なお、入力されたデジタル信号の形式が元々、記録媒体が対応可能な所定の記録形式である場合には、上記再エンコード処理は不要である。
【０１１８】
なお、ここでは、デジタルチューナー１６から出力されたデジタル放送の映像／音声信号を記録する例を挙げて説明したが、その他にも記録する例を挙げることができる。
たとえば、（１）入力信号が、ＨＤＶビデオカメラ等の外部機器５からｉ．ＬＩＮＫ端子１７を介して入力されたストリーム（ＨＤＶ信号）を記録する場合である。
（２）イーサネット（登録商標）７および通信部１９を介して受信したＩＰＴＶの入力ストリームを記録する場合である。
（３）外部からＨＤＤ５２等にダイレクト記録されたストリームを読み出した場合である。ここでダイレクト記録とは、たとえばＵＳＢ端子１８を介して接続された外部機器６からの入力ストリームや、受信したデジタル放送のＨＤ映像ストリームをＨＤＤ５２の記録媒体にダイレクト記録（そのまま記録）した場合である。
（４）光ディスクドライブ５４の光ディスクから読み出されたストリームをＨＤＤ５２に記録する場合である。これらの場合なども、同様の手順となる。
【０１１９】
さらに、本実施形態にかかる記録再生装置１０では、上記のように外部から提供された各種のコンテンツを記録部５０に記録するときには、当該記録対象のコンテンツについて特徴点情報の抽出処理、制御ルーチンの作成処理が行われる。
詳細には、コンテンツの記録時には、ストリームプロセッサ３０から特徴点抽出ブロック６０に、記録対象のコンテンツの映像信号が入力される。そして、特徴点抽出ブロック６０とＣＰＵ１８０により、映像信号を解析することで、記録対象のコンテンツの映像全体の特徴を表す特徴点情報が抽出される。
さらに、この特徴点情報に基づいて、次回再生時の画質調整時に出力画質調整ブロック７０を制御するための制御ルーチンが生成され、この制御ルーチンを記録部５０のＨＤＤ５２等に格納される。
このように、本実施形態に係る記録再生装置１０では、記録部５０に対するコンテンツの記録時に、コンテンツの映像の特徴点情報に応じた制御ルーチンを、コンテンツごとに作成して記録しておく。
【０１２０】
次に、図１５に示す構成の記録再生装置１０の再生動作について説明する。
この再生動作は、過去に録画されたコンテンツを再生する場合や、現在録画中のコンテンツを先頭から再生する追いかけ再生を行う場合などに実行される
【０１２１】
まず、記録部５０のＨＤＤ５２または光ディスクドライブ５４によって、記録媒体に記録されている再生対象のコンテンツのデータ（映像、音声、字幕等のデータ）が読み出される。
読み出されたデータストリームは、ストリームプロセッサ３０により、暗号解除されて、映像ストリームと音声ストリームとに分離化される。
次いで、この映像ストリームと音声ストリーム（圧縮データ）はそれぞれ、ＡＶデコーダ４０にてデコードされた後に、デコードされた映像ストリーム（再生映像信号）は、出力画質調整ブロック７０に入力されて、画質調整処理される。
このとき、ＣＰＵ１８０は、上記特徴点情報に基づいてコンテンツごとに予め作成しておいた制御ルーチンに従って、出力画質調整ブロックを制御する。
これにより、再生対象のコンテンツの映像の適切な箇所に適切な画質調整が施される。
【０１２２】
その後、画質調整された映像ストリームは、グラフィック処理部８０により、コンテンツの映像にＯＳＤ（オン・スクリーン・ディスプレイ）や字幕などが付加される。
さらに、この映像ストリームは、ディスプレイ処理部８２で出力形式に応じて画サイズなどが整形されて、デジタル出力され、あるいはＤ／Ａ変換器８４に入力される。
また、ディスプレイ処理部８２は、ＣＰＵ１８０により、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、グラフィックス画像の平坦度等に応じてハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行うように制御される。
一方、ＡＶデコーダ４０から出力された音声ストリームは、必要に応じて所定の音声処理を施された後に、Ｄ／Ａ変換器８４に入力される。
この結果、Ｄ／Ａ変換器８４にて映像ストリーム音声ストリームのデジタル信号がそれぞれ、アナログ信号に変換されて、モニタ８やスピーカ９等の外部機器に出力される。
この結果、モニタ８は、再生されたコンテンツの映像を表示し、スピーカ９は、再生されたコンテンツの音声を出力する。
【０１２３】
また、本実施形態に係る記録再生装置１０では、以上のようなコンテンツの再生時にも、この再生対象のコンテンツについて特徴点情報の抽出および解析処理を実行することができる。
たとえば、セルＤＶＤ、ＢＤなどのリムーバブル記録媒体により、記録再生装置１０にコンテンツが提供された場合などには、当該リムーバブル記録媒体に記録されたコンテンツについては、特徴点情報の抽出処理等を行っていない。
そこで、かかる場合には、コンテンツの再生時（たとえば初回再生時）に、特徴点情報の抽出処理等を実行し、コンテンツの画質調整に適した制御ルーチンを作成しておく。
詳細には、コンテンツの再生時に、記録部５０から読み出された再生対象のコンテンツの映像信号を、ストリームプロセッサ３０から特徴点抽出ブロック６０に入力する。
そして、上記記録時と同様にして、映像信号の解析結果に基づいて、再生対象のコンテンツの特徴点情報を抽出し、この特徴点情報等に基づき制御ルーチンを作成して、記録部５０に記録しておく。
これにより、コンテンツの次回再生時には、制御ルーチンに基づいて、再生対象のコンテンツの画質を好適に調整できる。
【０１２４】
以上説明したように、本実施形態の画像処理装置１００は、ＳＢＭ処理を、画質調整された画像に対してグラフィックス（ＵＩ）画像を重畳した後に行う。
画像処理装置１００は、グラフィックス画像（ＵＩ画像）の位置やその画像の階調の勾配に応じた適応的なＳＢＭ処理を行うことで、グラフィックス画像のバンディングの発生を防止し、階調性能を改善可能に構成される。
すなわち、本実施形態においては、入力されたビデオ信号に１次元ＳＢＭ処理をそのまま適応するだけではなく、グラフィックス画像の絵柄、位置情報などに応じてＳＢＭ処理の強度、オン／オフを適応的に変化させる。
たとえば、ＳＢＭ処理をＯＦＦにする、あるいはＳＢＭ処理を行うが、グラフィックス画像の平坦度等に応じて後で説明するハイパスフィルタ（ＨＰＦ）の係数を切り替えてＳＢＭ処理を行う等の制御を行う。
したがって、本実施形態によれば、以下の効果を得ることができる。
【０１２５】
本実施形態によれば、ＵＩ画像の情報を利用し、細かくＳＢＭを制御することでより効果的にＳＢＭ処理を行うことが可能となる。
これにより、バンディングの発生を防止することが可能で、グラフィックス画像に対して階調性能を良くすることができる。
すなわち、ＳＢＭ処理の効果を適応的に発現させることが可能となる。
【０１２６】
なお、以上詳細に説明した方法は、上記手順に応じたプログラムとして形成し、ＣＰＵ等のコンピュータで実行するように構成することも可能である。
また、このようなプログラムは、半導体メモリ、磁気ディスク、光ディスク、フロッピー（登録商標）ディスク等の記録媒体、この記録媒体をセットしたコンピュータによりアクセスし上記プログラムを実行するように構成可能である。
【図面の簡単な説明】
【０１２７】
【図１】本発明の実施形態に係る１次元ＳＢＭ処理機能を有するビデオ系画像処理装置の基本構成例を示すブロック図である。
【図２】本実施形態に係る平坦度検出の基本的な処理を説明するための図である。
【図３】本実施形態に係る水平（Ｈ）方向の平坦度検出処理を説明するための図である。
【図４】本実施形態に係る垂直（Ｖ）方向の平坦度検出処理を説明するための図である。
【図５】本実施形態に係るＳＢＭ処理部の要部である階調変換部の構成例を示すブロック図である。
【図６】図５のディザ加算部の構成例を示す図である。
【図７】階調変換処理の対象となる画素の順番を示す図である。
【図８】本実施形態に係るＳＢＭ強度決定部における強度決定処理の一例を示す図である。
【図９】フィルタの周波数特性を示す図である。
【図１０】バンディングの発生度合いＭを０の場合を説明するための第１図である。
【図１１】バンディングの発生度合いＭを０の場合を説明するための第２図である。
【図１２】バンディングの発生度合いＭを１の場合を説明するための図である。
【図１３】バンディングの発生度合いＭを２の場合を説明するための図である。
【図１４】バンディングの発生度合いＭを３の場合を説明するための図である。
【図１５】本発明の実施形態に係る画像処理装置が適用される記録再生装置の構成例を示すブロック図である。
【符号の説明】
【０１２８】
１００・・・画像処理装置、１１０・・・ＡＶデコーダ、１２０・・・画質調整部、１３０・・・特徴解析ブロック、１４０・・・グラフィックス画像生成部、１５０・・・画像混合部、１６０・・・ＳＢＭ処理部、１７０・・・ＳＢＭ強度決定部（制御部）。
【図１】
2010108064.tif 000005
【図２】
2010108064.tif 000006
【図３】
2010108064.tif 000007
【図４】
2010108064.tif 000008
【図５】
2010108064.tif 000009
【図６】
2010108064.tif 000010
【図７】
2010108064.tif 000011
【図８】
2010108064.tif 000012
【図９】
2010108064.tif 000013
【図１５】
2010108064.tif 000014
【図１０】
2010108064.tif 000015
【図１１】
2010108064.tif 000016
【図１２】
2010108064.tif 000017
【図１３】
2010108064.tif 000018
【図１４】
2010108064.tif 000019