(57)【要約】【課題】本発明は、画質を向上することができる。【解決手段】画像処理装置１における画像符号化部４は、放送番組コンテンツの画像データＳ４及び放送番組コンテンツに関するジャンル情報を受け取り、ジャンル情報をブロックサイズに反映させるためのサイズ選択パラメータを選択する。画像符号化部４は、当該サイズ選択パラメータに対応するサイズ選択閾値ＤＣＴ＿ＴＨを選択することにより、当該サイズ選択パラメータに基づいて直交変換に使用されるブロックサイズを決定する。画像符号化部４は、決定されたブロックサイズで、画像データＳ４に基づく処理対象データである差分データＤ１を直交変換する。【選択図】図５
2010288080.tif 000002
【特許請求の範囲】
【請求項１】
番組コンテンツの画像データ及び上記番組コンテンツに関するジャンル情報を受け取る受取部と、
上記受取部によって受け取られた上記ジャンル情報をブロックサイズに反映させるサイズ選択パラメータを選択する選択部と、
上記選択部によって選択された上記サイズ選択パラメータに基づいて直交変換に使用されるブロックサイズを決定する決定部と、
上記決定部によって決定された上記ブロックサイズで、上記受取部によって受け取られた画像データを直交変換する直交変換部と
を有する画像処理装置。
【請求項２】
上記決定部は、
上記画像データ受取部によって受け取られた画像データの画素値の特徴を表す指標値と上記サイズ選択パラメータに応じて選択されたブロック選択閾値とを比較し、上記ブロックサイズを選択することにより、上記ジャンル情報を直交変換に使用されるブロックサイズに反映させる
請求項１に記載の画像処理装置。
【請求項３】
上記指標値は、
符号化単位の分散を表す分散値である
請求項２に記載の画像処理装置。
【請求項４】
上記決定部は、
予め定められた第１のブロックサイズ及び当該第１のブロックサイズよりも大きなサイズでなる第２のブロックサイズのうち、ノイズの低減を優先すべき場合には、上記ブロック選択閾値を小さくすることにより、上記第１のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇し、
符号化効率を優先すべき場合には、上記ブロック選択閾値を大きくすることにより、上記第２のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項３に記載の画像処理装置。
【請求項５】
上記決定部は、
グラデーションを重要視すべき場合には、上記ブロック選択閾値を大きくすることにより、上記第２のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項２に記載の画像処理装置。
【請求項６】
上記決定部は、
上記ジャンル情報がスポーツを表していた場合に、上記ブロック選択閾値を小さくすることにより、上記第１のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項４に記載の画像処理装置。
【請求項７】
上記決定部は、
上記ジャンル情報がアニメ／特撮を表していた場合に、上記ブロック選択閾値を小さくすることにより、上記第１のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項６に記載の画像処理装置。
【請求項８】
上記決定部は、
上記ジャンル情報が音楽を表していた場合に、上記ブロック選択閾値を小さくすることにより、上記第１のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項７に記載の画像処理装置。
【請求項９】
上記決定部は、
上記ジャンル情報がバラエティを表していた場合に、上記ブロック選択閾値を小さくすることにより、上記第１のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項８に記載の画像処理装置。
【請求項１０】
上記決定部は、
上記ジャンル情報がドキュメンタリー／教養を表していた場合に、上記ブロック選択閾値を大きくすることにより、上記第２のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項９に記載の画像処理装置。
【請求項１１】
上記決定部は、
上記ジャンル情報が趣味／教養を表していた場合に、上記ブロック選択閾値を大きくすることにより、上記第２のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項１０に記載の画像処理装置。
【請求項１２】
上記画像処理装置は、
Ｈ．２６４／ＡＶＣ方式に従って上記画像データを符号化し、
上記直交変換部は、
画素値の差分でなる差分データを直交変換の対象となる画像データとし、
直交変換としてＤＣＴ処理を実行する
請求項１０に記載の画像処理装置。
【請求項１３】
上記ジャンル情報受取部は、
上記番組コンテンツの内容を説明するイベント情報を受け取り、
上記決定部は、
上記イベント情報に上記画像データのノイズの出現確率を表す特徴キーワードが含まれていた場合には、上記特徴キーワードを上記ブロックサイズの決定に反映させる
請求項３に記載の画像処理装置。
【請求項１４】
上記ジャンル情報受取部は、
上記番組コンテンツが配信された放送局を表す放送局情報を受け取り、
上記決定部は、
上記番組コンテンツが配信された放送局を上記ブロックサイズの決定に反映させる
請求項１３に記載の画像処理装置。
【請求項１５】
上記決定部は、
上記番組コンテンツが属する大分類のジャンルに応じて上記ブロックサイズ選択閾値を決定し、
上記番組コンテンツが属する中分類のジャンルが、上記大分類のジャンルの示すノイズの出現確率に対して例外的な場合には、上記大分類のジャンルに対応するサイズ選択閾値に拘らず、例外中分類のジャンルを上記ブロックサイズの決定に反映させる
請求項１４に記載の画像処理装置。
【請求項１６】
上記決定部は、
上記ジャンル情報が示す上記番組コンテンツが属する中分類のジャンルを、上記ブロックサイズの決定に反映させる
請求項１４に記載の画像処理装置。
【請求項１７】
上記ジャンル情報受取部は、
現在の時刻を表す時刻情報を受け取り、
上記決定部は、
上記時刻情報を上記ブロックサイズの決定に反映させる
請求項１３に記載の画像処理装置。
【請求項１８】
上記決定部は、
上記時刻情報が予め定められた指定時間に属する場合には、時刻が表示される時刻表示領域に対して、上記第１のブロックサイズを上記直交変換に使用されるブロックサイズとして優遇する
請求項１７に記載の画像処理装置。
【請求項１９】
上記番組コンテンツを含む放送信号を受信して上記画像データを生成するチューナ部と、
上記符号部によって符号化された画像データを記憶する記憶部と
を有する請求項９に記載の画像処理装置。
【請求項２０】
番組コンテンツの画像データ及び上記番組コンテンツに関するジャンル情報を受け取る受取ステップと、
上記受取ステップにおいて受け取られた上記ジャンル情報をブロックサイズに反映させるサイズ選択パラメータを選択する選択ステップと、
上記選択ステップにおいて選択された上記サイズ選択パラメータに基づいて直交変換に使用されるブロックサイズを決定する決定部と、
上記決定ステップにおいて決定された上記ブロックサイズで、上記受取ステップにおいて受け取られた画像データを直交変換する直交変換部と
を実行させる画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置及び画像処理方法に関し、例えば地上デジタル放送によって配信される画像データを符号化する符号化装置に適用して好適なものである。
【背景技術】
【０００２】
従来、地上デジタル放送などによって配信される放送番組コンテンツを符号化してハードディスクや光ディスクなどに記憶する画像処理装置が広く知られている。ハードディスクレコーダやブルーレイ（Blu-ray Disc、登録商標）ディスクレコーダなどがその一例である。
【０００３】
地上デジタル放送では、視聴者に視聴させる放送番組コンテンツと共に、当該放送番組コンテンツに関する情報（以下、これをＥＰＧ情報と呼ぶ）が配信される。このＥＰＧ情報は、放送番組コンテンツの内容やキーワード、今後の放送予定などの他に、放送番組コンテンツのジャンルを表すジャンル情報が含まれている。
【０００４】
この画像処理装置として、当該画像処理装置に記憶済みの放送番組コンテンツのうち、一定期間再生されないものについて圧縮率を上げて再記憶するようになされたものがある（例えば、特許文献１参照）。この画像処理装置では、ジャンル情報に応じて圧縮率及び当該圧縮率を上げるタイミングを選択するようになされている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１０６０３公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところでかかるジャンル情報は、放送番組コンテンツの内容に応じて分類されたものである。また、画像データは、放送番組コンテンツの内容に応じてその特徴が変化する場合がある。このため、画像処理装置は、画像データを符号化する際に、ジャンル情報をより有益に利用できると考えられる。
【０００７】
本発明は以上の点を考慮してなされたもので、画質を向上し得る画像処理装置及び画像処理方法を提案しようとするものである。
【課題を解決するための手段】
【０００８】
かかる課題を解決するため本発明の画像処理装置においては、  番組コンテンツの画像データ及び番組コンテンツに関するジャンル情報を受け取る受取部と、受取部によって受け取られたジャンル情報をブロックサイズに反映させるサイズ選択パラメータを選択する選択部と、選択部によって選択されたサイズ選択パラメータに基づいて直交変換に使用されるブロックサイズを決定する決定部と、決定部によって決定されたブロックサイズで、受取部によって受け取られた画像データを直交変換する直交変換部とを設けるようにした。
【０００９】
これにより、画像処理装置は、放送番組コンテンツの内容をブロックサイズに反映することができるため、ブロックサイズを適切に設定し得る。
【００１０】
本発明の画像処理方法では番組コンテンツの画像データ及び番組コンテンツに関するジャンル情報を受け取る受取ステップと、受取ステップにおいて受け取られたジャンル情報をブロックサイズに反映させるサイズ選択パラメータを選択する選択ステップと、選択ステップにおいて選択されたサイズ選択パラメータに基づいて直交変換に使用されるブロックサイズを決定する決定部と、決定ステップにおいて決定されたブロックサイズで、受取ステップにおいて受け取られた画像データを直交変換する直交変換部とを設けるようにした。
【００１１】
これにより、画像処理方法では、放送番組コンテンツの内容をブロックサイズに反映することができるため、ブロックサイズを適切に設定し得る。
【発明の効果】
【００１２】
本発明によれば、放送番組コンテンツの内容をブロックサイズに反映することができるため、ブロックサイズを適切に設定し得、かくして画質を向上し得る画像処理装置及び画像処理方法を実現できる。
【図面の簡単な説明】
【００１３】
【図１】画像処理装置の構成を示す略線図である。
【図２】画像符号化部の構成を示す略線図である。
【図３】分散値とテクスチャの説明に供する略線図である。
【図４】サイズ選択パラメータの決定の説明に供する略線図である。
【図５】設定テーブルを示す略線図である。
【図６】ブロックサイズ設定処理手順の説明に供する略線図である。
【図７】付加係数テーブルを示す略線図である。
【図８】他の実施の形態による例外的なサイズ選択パラメータの説明に供する略線図である。
【図９】時刻情報を用いたフィルタ特性変更処理の例を示す略線図である。
【発明を実施するための形態】
【００１４】
以下、図面について、本発明の一実施の形態を詳述する。なお、説明は以下の順序で行う。
１．第１の実施の形態（画像の特性に応じたＤＣＴブロックサイズの変更）
２．第２の実施の形態（他の情報の利用）
３．他の実施の形態
【００１５】
＜１．第１の実施の形態＞
[１−１．画像処理装置の構成]
図１は、全体として画像処理装置を示している。画像処理装置１は、番組コンテンツとしての放送番組コンテンツを受信して記憶するハードディスクレコーダやパーソナルコンピュータなどでなる。
【００１６】
デジタル放送受信部２は、例えばアンテナやインターネットなどのネットワークに接続されており、地上デジタル放送などの放送信号Ｓ１を受信する外部インターフェースでなる。この放送信号Ｓ１は、例えばＭＰＥＧ（Moving Picture Experts Group）−２規格に従って符号化されている。
【００１７】
デジタル放送受信部２は、放送番組コンテンツを表す放送信号Ｓ１を受信すると、これを放送信号Ｓ２としてデジタルチューナ部３へ供給する。デジタルチューナ部３は、放送信号Ｓ２を復号化し、ＥＰＧ（Electric Program Guide）情報Ｓ３、画像データＳ４及び音声データＳ５をそれぞれ生成し、例えばテレビジョン装置などの表示装置（図示しない）に供給する。なお、ＥＰＧ情報は、放送番組コンテンツの内容やキーワード、今後の放送予定、放送局情報、イベント情報、時刻情報及びジャンル情報などを含んでいる。
【００１８】
この結果、表示装置には、画像データＳ４に基づく画像が表示されると共に、音声データＳ５に基づく音声が出力される。また、ユーザの要求に応じてＥＰＧ情報における各種情報が表示される。
【００１９】
このとき、デジタルチューナ部３は、ＥＰＧ情報Ｓ３及び画像データＳ４を画像符号化部４に供給し、音声データＳ５を音声符号化部５に供給する。画像符号化部４は、後述する画像符号化処理によりＨ．２６４／ＡＶＣ（Advanced Video Coding）方式に従って画像データＳ４を符号化してビットストリームＳ６を生成し、これを記憶部６に供給する。
【００２０】
音声符号化部５は、所定の符号化方式に従って音声データＳ５を符号化して音声符号データＳ７を生成し、これを記憶部６に供給する。記憶部６は、例えばハードディスクやブルーレイディスク（Blu-ray Disc、登録商標）などの光学ディスクドライブ、フラッシュメモリなどでなる。記憶部６は、供給されるビットストリームＳ６及び音声符号データＳ７を対応付けて記憶する。
【００２１】
この結果、記憶部６には、放送番組コンテンツが符号化された状態で記憶される。画像処理装置１は、ユーザの要求に応じて、記憶部６に記憶された放送番組コンテンツを読み出し、図示しない復号部によって復号し、画像データＳ４及び音声データＳ５を再生する。復号部は、画像データＳ４及び音声データＳ５を表示装置に供給する。この結果、表示装置には、画像データＳ４に基づく画像が表示されると共に、音声データＳ５に基づく音声が出力されるようになされている。
【００２２】
[１−２．画像符号化部の構成]
図２に示すように、画像符号化部４は、入力端子１０を介してデジタルチューナ部３からＥＰＧ情報Ｓ３及び画像データＳ４が供給されると、ＥＰＧ情報Ｓ３をＥＰＧ情報取得部３１へ、画像データＳ４を画面並べ替えバッファ１１へそれぞれ供給する。
【００２３】
画面並べ替えバッファ１１は、画像データＳ４におけるＧＯＰ（Group Of Picture）構造に応じて画像データＳ４を並べ替え、当該並べ替えられた画像データＳ４を分散値算出部１２に供給する。分散値算出部１２は、マクロブロックごとの分散値ＭＢ＿Ｖａｒを算出し、ブロックサイズ設定部３４に供給する。分散値算出部１２は、供給された画像データＳ４を演算器１３、動き予測・補償部１４及びイントラ予測部１５にそれぞれ供給する。
【００２４】
演算器１３は、画像データＳ４をインター符号化すべき場合には、動き予測・補償部１４から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。演算器１３は、画像データＳ４をイントラ符号化すべき場合には、イントラ予測部１５から供給される予測値Ｌ５を画像データＳ４から減算し、これを差分データＤ１として直交変換部１７に供給する。
【００２５】
直交変換部１７は、ＤＣＴ（Discrete Cosine Transform）変換処理により、差分データＤ１を直交変換し、ＤＣＴ係数Ｄ２を量子化部１８に供給する。
【００２６】
量子化部１８は、レート制御部１９の制御により決定された量子化パラメータＱＰを用いてＤＣＴ係数Ｄ２を量子化し、量子化係数Ｄ３を逆量子化部２３及び可逆符号化部２０に供給する。可逆符号化部２０は、ＣＡＶＬＣ（Context-based Adaptive Variable Length Code）及びＣＡＢＡＣ（Context Adaptive Binary Arithmetic Coding）などのエントロピー符号化方式に従って量子化係数Ｄ３を可逆符号化し、可逆符号化データＤ５を蓄積バッファ２１に供給する。
【００２７】
また、可逆符号化部２０は、イントラ符号化及びインター符号化に関する情報を動き予測・補償部１４及びイントラ予測部１５から取得しこれらの情報を可逆符号化データＤ５のヘッダ情報に設定する。
【００２８】
蓄積バッファ２１は、可逆符号化データＤ５を蓄積すると共に、当該可逆符号化データＤ５を所定の伝送速度でビットストリームＳ６として出力する。レート制御部１９は、蓄積バッファ２１を監視し、可逆符号化データＤ５の発生符号量が所定の制御単位（例えばフレームやＧＯＰなど）ごとに一定の符号量に近づくよう、量子化パラメータＱＰを決定する。
【００２９】
逆量子化部２３は、量子化係数Ｄ３を逆量子化して再生ＤＣＴ係数Ｌ１を生成し、これを逆直交変換部２４に供給する。逆直交変換部２４は、再生ＤＣＴ係数Ｌ１を逆直交変換して再生差分データＬ２を生成し、これを演算器２５に供給する。
【００３０】
演算器２５は、動き予測・補償部１４又はイントラ予測部１５から供給される予測値Ｌ５と再生差分データＬ２とを加算して処理対象ブロックのローカルデコード画像Ｌ３を生成し、これをデブロックフィルタ２６及びフレームメモリ２７に供給する。
【００３１】
デブロックフィルタ２６は、処理対象ブロックに対してデブロックフィルタ処理を実行し、これをフレームメモリ２７に供給する。この結果、フレームメモリ２７には、デブロックフィルタ処理されたローカルデコード画像Ｌ４が記憶される。
【００３２】
フレームメモリ２７は、デブロックフィルタ処理されたローカルデコード画像Ｌ４のうち、参照対象ブロックに対応するローカルデコード画像Ｌ４を、動き予測・補償部１４又はイントラ予測部１５に対してそれぞれ供給する。動き予測・補償部１４は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対する動き予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３及び２５に供給する。イントラ予測部１５は、ローカルデコード画像Ｌ４を参照して画像データＳ４に対するイントラ予測により処理対象ブロックの予測値Ｌ５を生成し、演算器１３及び２５に供給する。
【００３３】
このように、画像符号化部４は、画像データＳ４を符号化してビットストリームＳ６を生成するようになされている。
【００３４】
[１−３．ブロックサイズ設定処理]
次に、ブロックサイズ設定処理について説明する。
【００３５】
ＭＰＥＧ−２方式では、８×８画素のＤＣＴブロックを用いてＤＣＴ処理が行われている。これに対して、ＡＶＣ／Ｈ．２６４方式では、モスキートノイズやブロックノイズを低減するため、４×４画素のＤＣＴブロックが採用されている。一方で、４×４画素のＤＣＴブロックによるＤＣＴ処理は、符号化効率を低下させることが知られている。
【００３６】
ＡＶＣ／Ｈ．２６４方式では、高解像度用のプロファイルとして２００５年２月に標準化されたＦＲＥｘｔ（Fidelity Range Extension）により、８×８画素のＤＣＴブロックと４×４画素のＤＣＴブロックとをマクロブロック単位で切り換えることが可能となった。これにより、ＡＶＣ／Ｈ．２６４方式において、符号化効率を極力低下させずにモスキートノイズやブロックノイズを低減することが可能となった。
【００３７】
具体的に、画像符号化部４は、マクロブロック内の画素値（例えば輝度値）の分散値ＭＢ＿Ｖａｒに基づいて、ノイズの低減及び符号化効率を比較考量の上、４×４画素のＤＣＴブロック又は８×８画素のＤＣＴブロックのいずれかを選択する。
【００３８】
すなわち、画像符号化部４は、分散値ＭＢ＿Ｖａｒがサイズ選択閾値ＤＣＴ＿ＴＨより大きい場合には、画像が複雑でありノイズの出現確率が高いため、ノイズの低減を優先し、４×４画素のＤＣＴブロックを選択する。
【００３９】
画像符号化部４は、分散値ＭＢ＿Ｖａｒがサイズ選択閾値ＤＣＴ＿ＴＨ以下でなり、モスキートノイズやブロックノイズの出現し難い画像データＳ４に対して符号化効率を優先し、８×８画素のＤＣＴブロックを選択する。
【００４０】
これにより、画像符号化部４は、符号化効率を極力低下させずにモスキートノイズやブロックノイズを低減することができる。
【００４１】
しかしながら、分散値ＭＢ＿Ｖａｒがモスキートノイズやブロックノイズの出現確率を完全に表しているわけではない。例えば、図３に示すように、合計の輝度値の出現数が同一であっても、図３（Ａ）は画像が低周波であり、モスキートノイズやブロックノイズが比較的出現し難い。これに対して図３（Ｂ）は画像が高周波であり、モスキートノイズやブロックノイズが比較的出現しやすい。
【００４２】
また、動きの大きい画像は、差分データＤ１の符号量が大きくなり易く、大きな量子化パラメータＱＰが使用されることから、モスキートノイズやブロックノイズが比較的出現しやすい。しかしながら、かかる傾向は分散値ＭＢ＿Ｖａｒからは認識し得ない。
【００４３】
ところで、上述したように、地上デジタル放送では、放送番組コンテンツと共にＥＰＧ情報を配信している。このＥＰＧ情報には、放送予定情報や放送番組コンテンツの内容を表す情報に加えて、放送番組コンテンツがその内容に応じて分類されたジャンル情報が含まれている。
【００４４】
このジャンル情報は、放送番組コンテンツごとの画像データＳ４の特徴を表している場合がある。そこで、本実施の形態による画像符号化部４は、ジャンル情報に応じてサイズ選択閾値ＤＣＴ＿ＴＨを変更することにより、放送番組コンテンツの内容に応じてノイズの低減又は符号化効率の優先度を変更するようになされている。
【００４５】
すなわち、画像符号化部４は、ノイズの出現しやすいテクスチャ（絵柄）を有する放送番組コンテンツに対してノイズの低減を優先し、４×４画素のＤＣＴブロックを優遇する。画像符号化部４は、ノイズの出現し難いテクスチャを有する放送番組コンテンツに対して符号化効率を優先し、８×８画素のＤＣＴブロックを優遇する。
【００４６】
画像符号化部４は、ノイズが出現し易い、動きの大きいジャンル情報に対してノイズの低減を優先し、４×４画素のＤＣＴブロックを優遇する。画像符号化部４は、ノイズが出現し難い、動きの小さいジャンル情報に対して符号化効率を優先し、８×８画素のＤＣＴブロックを優遇する。
【００４７】
また、８×８画素のＤＣＴブロックを用いることにより、グラデーションに対する画質を向上させ得ることが知られている。画像符号化部４は、グラデーションを重要視するジャンル情報に属する放送番組コンテンツに対して画質を優先し、８×８画素のＤＣＴブロックを優遇する。
【００４８】
上述したように、画像符号化部４は、分散値ＭＢ＿Ｖａｒがサイズ選択閾値ＤＣＴ＿ＴＨよりも大きい場合、４×４画素のＤＣＴブロックを選択し、分散値ＭＢ＿Ｖａｒがサイズ選択閾値ＤＣＴ＿ＴＨ以下の場合、８×８画素のＤＣＴブロックを選択する。
【００４９】
画像符号化部４は、４×４画素のＤＣＴブロックを優遇する場合、サイズ選択閾値ＤＣＴ＿ＴＨのデフォルト値（例えば「２０００」）に負のオフセットＯＦ（例えば「−１０００」）を付加する。これにより、画像符号化部４は、サイズ選択閾値ＤＣＴ＿ＴＨが小さくなるため、４×４画素のＤＣＴブロックが選択される頻度を向上させることができる。
【００５０】
画像符号化部４は、８×８画素のＤＣＴブロックを優遇する場合、サイズ選択閾値ＤＣＴ＿ＴＨのデフォルト値（例えば「２０００」）に正のオフセットＯＦ（例えば「＋１０００」）を付加する。これにより、画像符号化部４は、サイズ選択閾値ＤＣＴ＿ＴＨが大きくなるため、８×８画素のＤＣＴブロックが選択される頻度を向上させることができる。
【００５１】
図４に、ジャンル情報及び当該ジャンル情報に対応するサイズ選択パラメータの一覧を示している。地上デジタル放送では、放送番組コンテンツを１２のジャンル（いわゆる大分類）に分類している。本実施の形態では、上述した法則に従い、４×４画素のＤＣＴブロックの優先度を表す４×４優先要素を点数化し、総合点に応じてオフセットＯＦを決定する。本実施の形態では、４×４優先要素として、「テクスチャ」、「動き」、「グラデーション」を有しており、点数が高いほどノイズ低減を優先し、４×４画素のＤＣＴブロックを優先する。
【００５２】
すなわち、「テクスチャ」は、絵柄に応じたノイズの出現し易さを表す４×４優先要素であり、ノイズの出現確率が高いと点数が高くなる。「動き」が大きい放送番組コンテンツが属するジャンルは、ノイズが出現し易いため、点数が高くなる。「グラデーション」は入力される画像データＳ４におけるグラデーションの重要性を示す４×４優先要素であり、グラデーションの重要性が高いほど点数が低くなる。８×８画素のＤＣＴブロックを優遇すべきだからである。
【００５３】
各４×４優先要素は、それぞれ最高点（カッコで示す）が相違している。すなわち、ノイズ優先要素は、その重要性に応じて重み付けがなされている。
【００５４】
各４×４優先要素の値が加算された総合点が高いことは、符号化効率よりもノイズの低減が優先されるべきであり、４×４画素のＤＣＴブロックが優遇されるべきであることを表している。一方、総合点が低いことは、ノイズの低減よりも符号化効率が優先されるべきであり、８×８画素のＤＣＴブロックが優遇されるべきであることを表している。
【００５５】
本実施の形態では、総合点が「１１」のときに中間値をとり、「１０」〜「１２」のときにサイズ選択パラメータとしてが「デフォルト」が選択され、オフセットＯＦ＝「０」に設定される。また、総合点が「１３」以上のときにサイズ選択パラメータとして「４×４優遇」が選択され、オフセットＯＦ＝「−１０００」に設定される。総合点が「９」以下のときにサイズ選択パラメータ「８×８優遇」が選択され、オフセットＯＦ＝「＋１０００」に設定される。
【００５６】
具体的に、ニュース／報道では、スタジオ撮影された画像から、事件現場など室外で撮影された画像など、様々なテクスチャの画像を包含する。このため、ニュース／報道では、「テクスチャ」について、中間の「４」に評価されている。ニュース／報道では、スポーツなどの動きの大きい画像から、キャスターがニュースを伝達するときの静止画像に近い画像をも包含するため、「動き」についても中間の「４」に評価されている。ニュース／報道では、グラデーションが特に重要ではないため、中間の「３」に評価されている。この結果、総合点は「１１」となり、サイズ選択パラメータとして「デフォルト」が選択され、オフセットＯＦ＝「０」に設定される。
【００５７】
スポーツでは、大きな特徴はないため、「テクスチャ」が中間の「４」に評価されている。スポーツでは、動きがかなり激しいため、「動き」が最大の「７」に評価されている。スポーツは、グラデーションが特に重要ではないため、中間の「３」に評価され、この結果、総合点は「１４」となり、サイズ選択パラメータとして「４×４優遇」が選択され、オフセットＯＦ＝「−１０００」に設定される。
【００５８】
情報／ワイドショーでは、ニュース／報道と同様に様々な画像データＳ４が供給されるため、「テクスチャ」、「動き」、「グラデーション」が中間の「４」、「４」、「３」に評価されている。この結果、情報／ワイドショーでは、総合点は「１１」となり、サイズ選択パラメータとして「デフォルト」が選択され、オフセットＯＦ＝「０」に設定される。
【００５９】
ドラマでは、例えば恋愛ドラマのような比較的動きの小さいものから、アクションドラマ、スポーツドラマのような動きの大きいものまで様々である。また、テクスチャに大きな特徴はなく、グラデーションも重要でない。このため、ドラマでは、ニュース／報道と同様に「テクスチャ」、「動き」、「グラデーション」が中間の「４」、「４」、「３」に評価されている。この結果、ドラマでは、総合点は「１１」となり、サイズ選択パラメータとして「デフォルト」が選択され、オフセットＯＦ＝「０」に設定される。
【００６０】
音楽では、カメラワークやフラッシュ照明、点滅する電飾などにより、「動き」が大きく「７」に評価されている。音楽では、テクスチャに大きな特徴はなく、グラデーションも重要でないため、「テクスチャ」、「グラデーション」が中間の「４」、「３」に評価されている。この結果、音楽では、総合点は「１４」となり、サイズ選択パラメータとして「４×４優遇」が選択され、オフセットＯＦ＝「−１０００」に設定される。
【００６１】
バラエティでは、アクションゲームなど出演者の動きが比較的大きく、またカメラワークも大きいことから、「動き」が「６」に評価されている。テクスチャに大きな特徴はなく、グラデーションも重要でないため、「テクスチャ」、「グラデーション」が中間の「４」、「３」に評価されている。この結果、バラエティでは、総合点が「１３」となり、サイズ選択パラメータとして「４×４優遇」が選択され、オフセットＯＦ＝「−１０００」に設定される。
【００６２】
映画では、ドラマと同様、恋愛映画のような比較的動きの小さいものから、アクション映画、スポーツ映画のような動きの大きいものまで様々である。テクスチャについても同様である。このため、映画では、ニュース／報道及びドラマと同様に「動き」、「テクスチャ」が中間の「４」、「４」に評価される。映画では、グラデーションが非常に重要視されることから、「グラデーション」が最小の「１」に評価されている。この結果、映画では、総合点は「９」となり、サイズ選択パラメータとして「８×８優遇」が選択され、オフセットＯＦ＝「＋１０００」に設定される。
【００６３】
アニメ／特撮は、線画が多く、アニメと特撮との混合である。アニメは、急激に色調が変化するいわゆる線画が中心であり、色彩が急激に変化するため、ブロックノイズやモスキートノイズが生じ易いという特徴を有している。これに対して、特撮は実写であり、カメラワークが大きくないため動きも少なく、アニメとは特徴が大きく相違する。本実施の形態では、アニメにおける画質の向上を優先し、アニメを基準にサイズ選択パラメータを選択する。アニメ／特撮では、「テクスチャ」が最大の「７」に評価され、「動き」及び「グラデーション」が中間の「４」、「３」に評価される。この結果、アニメ／特撮では、総合点が「１４」となり、サイズ選択パラメータとして「４×４優遇」が選択され、オフセットＯＦ＝「−１０００」に設定される。
【００６４】
ドキュメンタリー／教養は、自然や風景など、色彩の変化が緩やかである場合が多いため、テクスチャが「１」に評価され、出演者よりも風景などを中心に撮影される場合が多いため、動きが小さく、「動き」が「３」に評価されている。ドキュメンタリー／教養は、風景の画像が多く、夕焼けや空の色などグラデーションの重要性が比較的大きく、「グラデーション」が「２」に評価されている。ドキュメンタリー／教養では、総合点が「６」となり、サイズ選択パラメータとして「８×８優遇」が選択され、オフセットＯＦ＝「＋１０００」に設定される。
【００６５】
劇場／公演では、落語のような比較的動きの小さいものから、ダンス、バレエのような動き及びカメラワークの大きいものまで様々である。このため、劇場／公演では、「テクスチャ」、「動き」、「グラデーション」が中間の「４」、「４」、「３」に評価されている。この結果、劇場／公演では、総合点は「１１」となり、サイズ選択パラメータとして「デフォルト」が選択され、オフセットＯＦ＝「０」に設定される。
【００６６】
趣味／教養では、園芸の方法や囲碁・将棋の方法を紹介する番組のような比較的動きの小さいものが多く、静止画を用いた説明も多い。また、比較的地味な映像が用いられることが多い。このため、趣味／教養では、「動き」が「２」に評価され、「テクスチャ」が中間よりやや小さい「３」、「グラデーション」が中間の「３」に評価されている。この結果、趣味／教養では、総合点は「８」となり、サイズ選択パラメータとして「８×８優遇」が選択され、オフセットＯＦ＝「＋１０００」に設定される。
【００６７】
福祉では、福祉問題を紹介する番組のような比較的動きの小さいものから、文字放送を含む時代劇のような動きの大きい番組まで様々である。このため、福祉では、ニュース／報道及びドラマと同様に「テクスチャ」、「動き」、「グラデーション」が中間の「４」、「４」、「３」に評価される。この結果、福祉では、総合点は「１１」、サイズ選択パラメータとして「デフォルト」が選択され、オフセットＯＦ＝「０」に設定される。
【００６８】
具体的に、画像符号化部４のＥＰＧ情報取得部３１（図２）は、デジタルチューナ部３（図１）から供給されるＥＰＧ情報Ｓ３を取得すると、これをジャンル情報取得部３２に供給する。ジャンル情報取得部３２は、ＥＰＧ情報Ｓ３から録画対象となる放送番組コンテンツに対応するジャンル情報を抽出し、これをパラメータ決定部３３に供給する。
【００６９】
パラメータ決定部３３は、ジャンル情報とサイズ選択閾値ＤＴＣ＿ＴＨとを対応付けた設定テーブルを記憶している。図５では、デフォルトのサイズ選択閾値ＤＣＴ＿ＴＨ＝「２０００」の場合を示している。すなわち、ジャンル情報に対応するサイズ選択閾値ＤＴＣ＿ＴＨが選択されると、デフォルトのサイズ選択閾値ＤＣＴ＿ＴＨに対してサイズ選択パラメータに対応するオフセットＯＦが自動的に付加された値が選択されるようになされている。パラメータ決定部３３は、ジャンル情報に対応するサイズ選択閾値ＤＴＣ＿ＴＨを選択すると、これをブロックサイズ設定部３４に供給する。
【００７０】
さらに、ブロックサイズ設定部３４には、分散値算出部１２からマクロブロックごとの分散値ＭＢ＿Ｖａｒが供給される。ブロックサイズ設定部３４は、分散値ＭＢ＿Ｖａｒとサイズ選択閾値ＤＴＣ＿ＴＨとを比較する。
【００７１】
ブロックサイズ設定部３４は、分散値ＭＢ＿Ｖａｒがサイズ選択閾値ＤＴＣ＿ＴＨよりも大きい場合には、４×４画素のＤＣＴブロックを選択し、その旨を表すサイズ信号を直交変換部１７に供給する。ブロックサイズ設定部３４は、分散値ＭＢ＿Ｖａｒがサイズ選択閾値ＤＴＣ＿ＴＨ以下である場合には、８×８画素のＤＣＴブロックを選択し、その旨を表すサイズ信号を直交変換部１７に供給する。
【００７２】
直交変換部１７は、差分データＤ１に対し、ブロックサイズ設定部３４から供給されるサイズ信号が表すブロックサイズでＤＣＴ処理を実行する。
【００７３】
このように、画像符号化部４は、放送番組コンテンツのジャンルごとに有する画像データＳ４のノイズの出現確率に応じて、４×４画素のＤＣＴブロックの優先度を表す４×４優先要素を評価する。画像符号化部４は、４×４優先要素の評価をＤＣＴ処理におけるブロックサイズに反映させる。
【００７４】
これにより、画像符号化部４は、画像データＳ４の分散値ＭＢ＿Ｖａｒだけでなく、当該分散値ＭＢ＿Ｖａｒからは分かり得ないノイズの出現確率をＤＣＴブロックのブロックサイズに反映させることができる。このため、画像符号化部４は、画像データＳ４に合わせた適切なブロックサイズを設定することができ、ビットストリームＳ６の画質を向上させ得る。
【００７５】
なお、上述した一連の符号化処理及びブロックサイズ設定処理は、ハードウェアにより実行させることもでき、また、ソフトウェアにより実行させることも可能である。符号化処理及びブロックサイズ設定処理をソフトウェアによって実現する場合、ＣＰＵ及びＲＡＭに仮想的に画像符号化部４が形成される。そして、ＲＯＭに格納されたブロックサイズ設定プログラムをＲＡＭに展開することにより、符号化処理が実行される。
【００７６】
[１−４．ブロックサイズ設定処理手順]
次に、ブロックサイズ設定処理プログラムに従って実行されるブロックサイズ設定処理手順ＲＴ１について、図６のフローチャートを用いて説明する。
【００７７】
画像符号化部４は、ブロックサイズ設定処理手順ＲＴ１を開始し、ステップＳＰ１において、ＥＰＧ情報Ｓ３及び画像データＳ４が供給されると、次のステップＳＰ２へ移る。
【００７８】
ステップＳＰ２において、画像符号化部４は、ＥＰＧ情報からジャンル情報を取得すると、次のステップＳＰ３へ移る。
【００７９】
ステップＳ３において、画像符号化部４は、ジャンル情報に対応するサイズ選択パラメータを選択する。このとき画像符号化部４は、４×４画素優遇を選択した場合には、ステップＳＰ４へ、デフォルトを選択した場合には、ステップＳＰ５へ、８×８を選択した場合には、ステップＳＰ６へ移る。なお、第１の実施の形態では、サイズ選択パラメータに対応付けられたサイズ選択閾値ＤＣＴ＿ＴＨを選択することにより、間接的にサイズ選択パラメータを選択している。
【００８０】
ステップＳＰ４において、画像符号化部４は、サイズ選択閾値ＤＣＴ＿ＴＨ＝「１０００」に設定すると、次のステップＳＰ７へ移る。
【００８１】
ステップＳＰ５において、画像符号化部４は、サイズ選択閾値ＤＣＴ＿ＴＨ＝「２０００」に設定すると、次のステップＳＰ７へ移る。
【００８２】
ステップＳＰ６において、画像符号化部４は、サイズ選択閾値ＤＣＴ＿ＴＨ＝「３０００」に設定すると、次のステップＳＰ７へ移る。
【００８３】
ステップＳＰ７において、画像符号化部４は、ステップＳＰ４〜６において設定されたサイズ選択閾値ＤＨＣ＿ＴＨとマクロブロックの分散値ＭＢ＿Ｖａｒとを比較することにより、ブロックサイズを決定すると、次のステップＳＰ８へ移る。
【００８４】
ステップＳＰ８において、画像符号化部４は、ステップＳＰ７において決定されたブロックサイズで差分データＤ１に対してＤＣＴ処理を実行すると、終了ステップへ移って処理を終了する。
【００８５】
[１−５．動作及び効果]
以上の構成において、画像処理装置１における画像符号化部４は、番組コンテンツである放送番組コンテンツの画像データＳ４及び放送番組コンテンツに関するジャンル情報を受け取り、ジャンル情報をブロックサイズに反映させるためのサイズ選択パラメータを選択する。画像符号化部４は、当該サイズ選択パラメータに対応するサイズ選択閾値ＤＣＴ＿ＴＨを選択することにより、当該サイズ選択パラメータに基づいて直交変換に使用されるブロックサイズを決定する。画像符号化部４は、決定されたブロックサイズで、画像データＳ４に基づく処理対象データである差分データＤ１を直交変換する。
【００８６】
これにより、画像符号化部４は、ジャンル情報が表す放送番組コンテンツの内容に応じた画像データＳ４の特徴をブロックサイズの決定に反映させることができるため、適切なブロックサイズを用いて直交変換処理であるＤＣＴ処理を実行することができる。
【００８７】
画像符号化部４は、画像データＳ４の画素値の特徴を表す指標値とサイズ選択パラメータに応じて選択されたブロック選択閾値ＤＨＣ＿ＴＨとを比較し、ＤＣＴ変換に使用されるブロックサイズを選択することにより、ジャンル情報をブロックサイズに反映させる。
【００８８】
これにより、画像符号化部４は、放送番組コンテンツの内容に応じた画像データＳ４の特徴に加えて、画素値の特徴をブロックサイズの決定に反映させることができる。すなわち、画像符号化部４は、画像データＳ４の分析により認識可能な画素値の特徴をブロックサイズの決定に反映させた上で、さらに当該画像データＳ４の分析では分かり得ない放送番組コンテンツの内容に応じた画像データＳ４の特徴をブロックサイズの決定に反映させることができる。この結果、画像符号化部４は、一段と適切なブロックサイズを選択することができる。
【００８９】
画像符号化部４は、画素値の特徴として、符号化単位であるマクロブロックごとの分散を表す分散値ＭＢ＿Ｖａｒを用いる。
【００９０】
これにより、画像符号化部４は、画像データＳ４の分析により認識し得るノイズの出現確率をブロックサイズの決定に反映させることができるため、一段と適切なブロックサイズを選択することができる。
【００９１】
画像符号化部４は、予め定められた第１のブロックサイズである４×４画素のＤＣＴブロック及び当該４×４画素のＤＣＴブロックよりも大きなサイズでなる第２のブロックサイズである８×８画素のＤＣＴブロックから一のブロックサイズを決定する。画像符号化部４は、ノイズの低減を優先すべき場合には、ブロック選択閾値ＤＣＴ＿ＴＨを小さくすることにより、４×４画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。画像符号化部４は、符号化効率を優先すべき場合には、ブロック選択閾値ＤＣＴ＿ＴＨを大きくすることにより、８×８画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【００９２】
これにより、画像符号化部４は、ノイズを低減する必要がない場合には、符号化効率を優先して８×８画素のＤＣＴブロックを優遇できるため、画質を低下させることなく、符号化効率を向上させ得る。
【００９３】
画像符号化部４は、グラデーションを重要視すべき場合には、ブロック選択閾値ＤＣＴ＿ＴＨを大きくすることにより、８×８画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【００９４】
これにより、画像符号化部４は、映画など、グラデーションが重要なシーンを担うような放送番組コンテンツにおいて、グラデーションに対する画質を向上させることができる。
【００９５】
画像符号化部４は、ジャンル情報がスポーツを表していた場合に、ブロック選択閾値ＤＣＴ＿ＴＨを小さくすることにより、４×４画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【００９６】
これにより、画像符号化部４は、動きが大きく、ノイズの出現確率が高いスポーツに属する放送番組コンテンツについて、ノイズの低減を優先して画質を向上し得る。
【００９７】
画像符号化部４は、ジャンル情報がアニメ／特撮を表していた場合に、ブロック選択閾値ＤＣＴ＿ＴＨを小さくすることにより、４×４画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【００９８】
これにより、画像符号化部４は、線画が中心でなり、ノイズの出現確率が高いアニメについての放送番組コンテンツについて、ノイズの低減を優先して画質を向上させ得る。
【００９９】
画像符号化部４は、ジャンル情報が音楽を表していた場合に、ブロック選択閾値ＤＣＴ＿ＴＨを小さくすることにより、４×４画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【０１００】
これにより、画像符号化部４は、フラッシュ照明や電飾により動きが大きい音楽に属する放送番組コンテンツについて、ノイズの低減を優先して画質を向上させ得る。
【０１０１】
ジャンル情報がバラエティを表していた場合に、ブロック選択閾値ＤＣＴ＿ＴＨを小さくすることにより、４×４画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【０１０２】
これにより、画像符号化部４は、動きが大きく、ノイズの出現確率が高いバラエティに属する放送番組コンテンツについて、ノイズの低減を優先して画質を向上させ得る。
【０１０３】
画像符号化部４は、ジャンル情報がドキュメンタリー／教養を表していた場合に、ブロック選択閾値ＤＣＴ＿ＴＨを大きくすることにより、８×８画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【０１０４】
これにより、画像符号化部４は、周波数の低い画像が多く、ノイズの出現確率が低いドキュメンタリー／教養に属する放送番組コンテンツについて、画質を維持したまま符号化効率を向上させ得る。
【０１０５】
画像符号化部４は、ジャンル情報が趣味／教養を表していた場合に、ブロック選択閾値ＤＣＴ＿ＴＨを大きくすることにより、８×８画素のＤＣＴブロックをＤＣＴ変換に使用されるブロックサイズとして優遇する。
【０１０６】
これにより、画像符号化部４は、動きが小さく、ノイズの出現確率が低い趣味／教養に属する放送番組コンテンツについて、画質を維持したまま符号化効率を向上させ得る。
【０１０７】
画像符号化部４は、Ｈ．２６４／ＡＶＣ方式に従って画像データを符号化する。直交変換部１７は、画素値の差分でなる差分データＤ１をＤＣＴ処理の対象となる画像データとし、直交変換としてＤＣＴ処理を実行する。
【０１０８】
これにより、画像符号化部４は、高い圧縮率で放送番組コンテンツの画像データＳ４を符号化できる。
【０１０９】
画像符号化部４は、画像データＳ４のノイズの出現確率を表す複数の優先要素である４×４優先要素に基づいて、ノイズの低減及び符号化効率のいずれを優先させるかを評価する。この４×４優先要素は、当該４×４優先要素ごとに重み付けされている。
【０１１０】
これにより、画像符号化部４は、複数の因子を基に、かつ当該複数の因子の重要性を加味した上でノイズの出現確率を適切に評価できる。
【０１１１】
以上の構成によれば、画像符号化部４は、ジャンル情報が示す放送番組コンテンツの内容に応じた画像データＳ４の特徴から、ブロックサイズに反映させるべきサイズ選択パラメータを選択する。画像符号化部４は、サイズ選択パラメータをＤＣＴ処理に使用されるブロックサイズに反映させる。
【０１１２】
これにより、画像符号化部４は、画像データＳ４を解析しただけでは認識し得ない放送番組コンテンツの内容をブロックサイズに反映することができ、ノイズの低減又は符号化効率の優先度を適切に判断し得る。かくして本発明は、画質を向上し得る画像処理装置及び画像処理方法を実現することができる。
【０１１３】
＜２．第２の実施の形態＞
［２−１．ジャンル情報以外の情報を用いたブロックサイズ設定処理］
図７に示す第２の実施の形態においては、図１〜図６に示す第１の実施の形態と対応する箇所に同一符号を附して示し、同一部分についての説明を省略する。第２の実施の形態では、ジャンル情報だけでなくＥＰＧ情報Ｓ３に含まれるジャンル情報以外の情報を利用してブロックサイズを変更する点が、第１の実施の形態と異なっている。
【０１１４】
ＥＰＧ情報Ｓ３には、ジャンル情報の他にも、放送番組コンテンツを配信している放送局を表す放送局情報や、放送番組コンテンツの内容を説明するイベント情報などが含まれている。
【０１１５】
放送番組コンテンツは、配信元となる放送局によって撮影及び編集される場合が多く、使用する機材や技術力の差異により、放送局によって画像データＳ４に含まれるノイズの程度が相違する傾向がある。ノイズが少ない放送番組コンテンツを配信する傾向が大きい放送局から配信された放送信号Ｓ１に基づく画像データＳ４については、符号化効率を優先すべきである。逆にノイズの多い放送番組コンテンツを配信する傾向が大きい放送局から配信された放送信号Ｓ１に基づく画像データＳ４については、ノイズの低減を優先すべきである。
【０１１６】
そこで第２の実施の形態における画像符号化部１０４（図示せず）は、放送局情報をサイズ選択パラメータに反映させる。
【０１１７】
イベント情報は、放送番組コンテンツの内容を直接的に表している。例えばこのイベント情報に「生放送」や「実況」、「生中継」などが含まれていた場合、当該放送番組コンテンツのうち、少なくとも主要な部分が生放送である可能性が高い。
【０１１８】
一般的に、収録された放送番組コンテンツは、何らかの画像処理が施され、予めノイズが低減された状態で配信される場合が多い。これに対して、生放送では、かかる時間を確保することができないため、比較的ノイズを多く含んでいる。このため、生放送が主要となる放送番組コンテンツについては、ノイズの出現確率が大きいため、ノイズの低減が優先されることが望ましい。
【０１１９】
また、映画やドラマ、趣味／教養などスポーツ以外のジャンルに属する放送番組コンテンツに対応するイベント情報において、「スポーツの名称」が含まれていた場合、少なくとも主要な部分にスポーツのシーンが含まれている可能性が高い。この場合、ノイズの出現確率が大きいため、ノイズの低減を優先させるべきである。
【０１２０】
ドキュメンタリー／教養のジャンルに属する放送番組コンテンツのイベント情報において、大自然や歴史的建造物を有する地名、あるいは大自然や歴史的建造物を表す名称を有する場合、少なくとも主要な部分に大自然や歴史的建造物のシーンが含まれている可能性が高い。大自然や歴史的建造物を有する地名とは、「グランドキャニオン」、「グレートバリアリーフ」などであり、大自然や歴史的建造物を表す名称とは、「珊瑚礁」、「ブナ原生林」、「ジャングル」、「世界遺産」、「古都」などである。この場合、ノイズの出現確率が小さいため、符号化効率を優先させるべきである。
【０１２１】
そこで画像符号化装置１０４は、イベント情報に画像データＳ４の視覚的な特徴を表すこれらのキーワード（以下、これを特徴キーワードと呼ぶ）が含まれていた場合には、当該特徴キーワードをサイズ選択パラメータに反映させる。
【０１２２】
ジャンル情報取得部３２に対応するジャンル情報取得部１３２（図示せず）は、ＥＰＧ情報取得部からＥＰＧ情報Ｓ３が供給されると、当該ＥＰＧ情報から録画中の放送番組コンテンツに対応するジャンル情報及び放送局情報を抽出し、パラメータ決定部３３に対応するパラメータ決定部１３３（図示せず）に供給する。
【０１２３】
ジャンル情報取得部１３２は、画像データＳ４の視覚的特徴を表す特徴キーワードのリストを記憶している。ジャンル情報取得部１３２は、ＥＰＧ情報Ｓ３のうち、録画中の放送番組コンテンツに対応するイベント情報から、特徴キーワードを検索する。ジャンル情報取得部１３２は、イベント情報に特徴キーワードが含まれていた場合、当該特徴キーワードをジャンル情報及び放送局情報と共にパラメータ決定部１３３に供給する。
【０１２４】
パラメータ決定部１３３は、サイズ選択閾値ＤＣＴ＿ＴＨ（図５）とジャンル情報とが対応付けられた設定テーブルの代りに、総合点とジャンル情報とが対応付けられた点数テーブルを記憶している。また、パラメータ決定部１３３は、図７に示すように、放送局情報及び特徴キーワードと付加係数とが対応付けられた付加係数テーブルを記憶している。
【０１２５】
パラメータ決定部１３３は、点数テーブルに従って、ジャンル情報に対応する総合点を選択する。さらに、パラメータ決定部１３３は、付加係数テーブルに従ってジャンル情報取得部１３２から供給された放送局情報及び特徴キーワードに対応する付加係数を選択する。
【０１２６】
なお、ジャンル情報がスポーツの場合には、既にスポーツのシーンが含まれていることを想定して総合点が決定されているため適用除外となっている。パラメータ決定部１３３は、スポーツの名称が供給されると、ジャンル情報を確認し、当該ジャンル情報がスポーツでない場合のみ、付加係数を選択する。
【０１２７】
また、自然の名称についても同様である。パラメータ決定部１３３は、自然及び歴史的建造物の地名あるいは名称が供給されると、ジャンル情報を確認し、当該ジャンル情報がドキュメンタリー／教養でない場合のみ、付加係数を選択する。
【０１２８】
パラメータ決定部１３３は、選択された総合点に対して付加係数を乗算し、乗算点数を算出する。例えばジャンル情報がドキュメンタリー／教養であり、放送局情報が「Ｈ」を表し、特徴キーワードとして「生放送」が供給された場合、「Ｈ」に対応する０．９と、「生放送」に対応する「１．２」を総合点「６」に乗算する。この結果、乗算点数は、６×０．９×１．２＝６．４８となる。また、パラメータ決定部１３３は、特徴キーワードが供給されない場合には、ジャンル情報に対応する総合点に対し、放送局情報に対応する付加係数のみを乗算する。
【０１２９】
パラメータ決定部１３３は、５段階のオフセットＯＦ「−２０００、−１０００、０、＋１０００、＋２０００」を有しており、乗算点数に応じて一のオフセットＯＦを選択する。本実施の形態において、オフセットＯＦは、サイズ選択パラメータを数値として表すものである。
【０１３０】
パラメータ決定部１３３は、乗算点数が「７．０未満」の場合、オフセットＯＦとして「−２０００」を選択する。パラメータ決定部１３３は、乗算点数が「７．０以上、１０．０以下」の場合、オフセットＯＦとして「−１０００」を選択する。パラメータ決定部１３３は、乗算点数が「１０．０以上、１３．０以下」の場合、オフセットＯＦとして「０」を選択する。パラメータ決定部１３３は、乗算点数が「１３．０超、１５．０未満」の場合、オフセットＯＦとして「＋１０００」を選択する。パラメータ決定部１３３は、乗算点数が「１５．０以上」の場合、オフセットＯＦとして「＋２０００」を選択する。
【０１３１】
パラメータ決定部１３３は、選択されたオフセットＯＦをブロックサイズ設定部３４に対応するブロックサイズ設定部１３４（図示せず）に供給する。パラメータ設定部１３４は、供給されたオフセットＯＦをデフォルト値「２０００」に付加することにより、サイズ選択閾値ＤＣＴ＿ＴＨを算出する。パラメータ設定部１３４は、当該サイズ選択閾値ＤＣＴ＿ＴＨと分散値算出部１２から供給される分散値ＭＢ＿Ｖａｒとを比較する。
【０１３２】
このように、画像符号化部１０４は、乗算点数を算出することにより、ジャンル情報に加えて、放送局情報及び特徴キーワードを用いて画像データＳ４におけるノイズの低減及び解像度の維持についての優先度を決定するようにした。
【０１３３】
これにより、画像符号化部１０４は、ジャンル情報のみからでは分かり得ないような画像データＳ４のノイズの出現確率を用いてノイズの低減及び符号化効率についての優先度を決定し、一段と適切にブロックサイズを設定することができる。
【０１３４】
［２−２．動作及び効果］
以上の構成において、画像符号化部１０４は、ＥＰＧ情報Ｓ３に含まれる放送番組コンテンツの内容を説明するイベント情報を受け取る。画像符号化部１０４は、イベント情報に画像データのノイズの出現確率を表す特徴キーワードが含まれていた場合には、特徴キーワードをブロックサイズの決定に反映させる。
【０１３５】
これにより、画像符号化部１０４は、放送番組コンテンツの内容を直接的に表す特徴キーワードをブロックサイズの決定に用いることができるため、一段と適切にブロックサイズを設定することができる。
【０１３６】
画像符号化部１０４は、放送番組コンテンツが配信された放送局を表す放送局情報を受け取り、放送番組コンテンツが配信された放送局をブロックサイズの決定に反映させる。
【０１３７】
これにより、画像符号化部１０４は、放送局ごとのノイズの出現確率をブロックサイズの決定に反映させることができるため、一段と適切にブロックサイズを設定することができる。
【０１３８】
画像符号化部１０４は、放送番組コンテンツが属する大分類のジャンルに応じてブロックサイズ選択閾値ＤＣＴ＿ＴＨを決定する。画像符号化部１０４は、放送番組コンテンツが属する中分類のジャンルが、大分類のジャンルの示すノイズの出現確率に対して例外的な場合には、大分類のジャンルに対応するサイズ選択閾値ＤＣＴ＿ＴＨに拘らず、例外中分類のジャンルをブロックサイズの決定に反映させる。
【０１３９】
これにより、画像符号化部１０４は、放送番組コンテンツの内容を適切にブロックサイズの決定に反映させることができ、一段と適切にブロックサイズを設定することができる。
【０１４０】
以上の構成によれば、画像符号化部１０４は、イベント情報に含まれる特徴キーワードをブロックサイズの決定に反映させることにより、ブロックサイズに対して画像データＳ４におけるノイズの出現確率を一段と適切に反映させることができる。この結果、画像符号化部１０４は、ノイズの低減及び符号化効率のバランスを適切に調整して、ビットストリームＳ６における画質を向上し得る。
【０１４１】
＜３．他の実施の形態＞
なお上述した実施した第１及び第２の形態においては、画像符号化部は、放送番組コンテンツが属する大分類のジャンルに応じてサイズ選択パラメータを決定するようにした場合について述べた。本発明はこれに限らず、例えばジャンル情報が示す放送番組コンテンツが属する中分類のジャンルに従って、サイズ選択パラメータを決定するようにしても良い。この場合、画像符号化部は、中分類のジャンルとサイズ選択パラメータとが対応付けられた設定テーブルを記憶しており、中分類のジャンルに応じてサイズ選択パラメータを選択する。そして画像符号化部は、例えばサイズ選択パラメータに対応するサイズ選択閾値ＤＣＴ＿ＴＨを用いる。
【０１４２】
これにより、画像符号化部は、放送番組コンテンツをより詳細に分類することができるため、サイズ選択パラメータを一段と適切に選択することができる。
【０１４３】
また、画像符号化部は、放送番組コンテンツが属する中分類のジャンルが、大分類のジャンルの示すノイズの出現確率に対して例外的な例外中分類とサイズ選択パラメータとを対応付けた設定テーブル（図８）を有していても良い。画像符号化部は、放送番組コンテンツが属する中分類が例外中分類であった場合には、大分類のジャンルに対応するサイズ選択パラメータに拘らず、例外中分類のジャンルに対応するサイズ選択パラメータを放送番組コンテンツのサイズ選択パラメータとして決定する。
【０１４４】
画像符号化部は、中分類が政治・国会及び討論・会談（ニュース／報道）、暮らし・住まい、グルメ・料理、健康・医療（情報／ワイドショー）、クラシック・オペラ（音楽）、旅バラエティ（バラエティ）、特撮（アニメ／特撮）、歴史・紀行、インタビュー・討論（ドキュメンタリー／教養）、落語・演芸（劇場／公演）であった場合には、８×８画素のブロックサイズを優遇する。一方、画像符号化部は、中分類がアニメ（映画）、スポーツ（ドキュメンタリー／教養）、ダンス・バレエ（劇場／公演）であった場合には、４×４画素のブロックサイズを優遇する。なおカッコ内は、中分類のジャンルが属する大分類のジャンルを示している。
【０１４５】
これにより、画像符号化部は、大分類のジャンルの傾向とは相違する傾向を有する例外中分類に属する放送番組コンテンツについて、適切なブロックサイズでＤＣＴ処理を実行できる。
【０１４６】
また上述した第１の実施の形態においては、ジャンル情報に応じてサイズ選択パラメータを選択するようにした場合について述べた。本発明はこれに限らず、さらに現在の時刻を表す時刻情報を受け取り、当該時刻情報をブロックサイズの決定に反映させるようにしても良い。例えば画質の低い映像が多く配信される夜中の時間帯においては、画質が悪い傾向があるため、ノイズの低減を優先し、４×４画素のＤＣＴブロックを優遇する。
【０１４７】
また、図９に示すように、画像符号化部は、時刻情報が予め定められた指定時間（例えば朝５：００〜８：５９）に属する場合には、時刻が表示される時刻表示領域ＴＭに対して、４×４画素のＤＣＴブロックを優遇する。このとき、画像符号化部は、時刻表示領域ＴＭ以外の領域については、第１の実施の形態と同様にサイズ選択パラメータを決定する。
【０１４８】
これにより、画像符号化部は、フレーム画像５０において文字情報が表示される時刻表示領域ＴＭに対して、ノイズを低減できるため、当該文字情報の周囲に出現し易いノイズを適切に除去できる。これにより、画像符号化部は、ノイズの影響で文字情報が不鮮明であるために全体的な画質が低いという印象をユーザに与えずに済む。
【０１４９】
また、図９に示した以外にも、例えばバラエティなどでテロップが多用されるジャンルに対し、テロップが多く表示されるテロップ領域に対して、又はフレーム画像の全域に対して４×４画素のＤＣＴブロックを優遇しても良い。
【０１５０】
さらに上述した第１及び第２の実施の形態においては、直交変換部１７において、４×４画素又は８×８画素のＤＣＴブロックを切換えるようにした場合について述べた。本発明はこれに限らず、切換え可能なＤＣＴブロックのサイズに制限はない。例えば、１６×１６画素や３２×３２画素のＤＣＴブロックを用いることも可能である。また、ブロックサイズとして、３以上のサイズを準備し、複数の選択閾値に応じてブロックサイズを選択しても良い。
【０１５１】
さらに上述した第１及び第２の実施の形態においては、直交変換としてＤＣＴ処理を用いるようにした場合について述べた。本発明はこれに限らず、ウェーブレット変換など、種々の直交変換を用いることが可能である。
【０１５２】
さらに上述した第１及び第２の実施の形態においては、画素の特徴を表す指標として分散値ＭＢ＿Ｖａｒを用いるようにした場合について述べた。本発明はこれに限らず、種々の指標を用いることができる。また、この指標は、符号化単位としてマクロブロックごとに算出される必要はなく、例えば８×８画素や３２×３２画素単位など、種々のサイズごとに算出されることができる。本発明では、デフォルト値に制限はなく、任意の値に設定できる。オフセットＯＦの数、値及び算出方法に制限はない。例えばサイズ選択パラメータとしての総合点に対して所定の係数を乗算することにより、オフセットＯＦを算出しても良い。
【０１５３】
さらに上述した第１及び第２の実施の形態においては、地上デジタル放送が配信される場合に本発明を適用するようにした場合について述べた。本発明はこれに限らず、例えばインターネットを用いたストリーム配信及びオンデマンド配信などの各種番組コンテンツに対して本発明を適用するようにしても良い。また、ＥＰＧ情報は必ずしも放送信号Ｓ１と同時に取得する必要はなく、例えばインターネットなどのネットワークを介して別途取得しても良い。この場合、より詳細なジャンル情報を入手できる可能性がある。この場合、当該ジャンル情報に応じた設定テーブル又は点数テーブルを記憶することにより、一段と詳細な分類に応じてブロックサイズを設定することが可能である。
【０１５４】
さらに上述した第１及び第２の実施の形態においては、ＡＶＣ／Ｈ．２６４方式に従って符号化処理を実行するようにした場合について述べた。本発明はこれに限らず、符号化によって生じたノイズを低減できるフィルタを使用するいずれの符号化方式にも本発明を適用することができる。
【０１５５】
さらに上述した第１の実施の形態においては、優先要素として４×４優先要素を評価することによりノイズ低減の優先度を評価するようにした場合について述べた。本発明はこれに限らず、符号化効率の優先度を評価するようにしても良い。また、優先要素の数に制限はなく、１以上でなる任意の優先要素を用いることができる。
【０１５６】
さらに上述した第２の実施の形態においては、ジャンル情報に応じて選択されたサイズ選択パラメータに対し、放送局情報及び特徴キーワードに応じて選択された付加係数を乗算するようにした場合について述べた。本発明はこれに限らず、要は、放送局情報及び特徴キーワード、若しくはどちらか一方がブロックサイズの決定に反映されればよい。例えば、放送局情報及び特徴キーワードに応じて選択された付加点数を加算するようにしても良い。また、放送局情報及び特徴キーワードのいずれか一方のみに応じて付加係数が選択されても良い。さらに、本発明は、ジャンル情報を使用せず、放送局情報及び特徴キーワード、若しくはどちらか一方のみをブロックサイズの決定に反映させても良い。この場合、放送局情報及び特徴キーワード、若しくはどちらか一方のみとサイズ選択パラメータとを対応付けた設定テーブルから、サイズ選択パラメータ又はこれに対応するサイズ選択閾値ＤＴＣ＿ＴＨなどを選択する。また、図５におけるサイズ選択閾値ＤＣＴ＿ＴＨをサイズ選択パラメータとして選択し、これに付加係数を乗算して実際に使用する選択閾値ＤＣＴ＿ＴＨを決定することも可能である。
【０１５７】
さらに、上述した実施の形態においては、符号化プログラム、ブロックサイズ設定プログラム等をＲＯＭ又はハードディスクドライブなどに予め格納するようにした場合について述べた。本発明はこれに限らず、メモリースティック（ソニー株式会社の登録商標）などの外部記憶媒体からフラッシュメモリなどにインストールするようにしても良い。また、ブロックサイズ設定プログラムなどをＵＳＢ（Universal Serial Bus）やＥｔｈｅｒｎｅｔ（登録商標）（Institute of Electrical and Electronics Engineers）８０２．１１ａ／ｂ／ｇなどの無線ＬＡＮ（Local Area Network）を介して外部から取得し、さらに、は地上ディジタルテレビジョン放送やＢＳディジタルテレビジョン放送により配信されるようにしても良い。
【０１５８】
さらに上述した実施の形態においては、受取部としての画面入替バッファ１１及びＥＰＧ情報取得部３１と、選択部及び決定部としてのパラメータ決定部３３と、直交変換部としての直交変換部１７とによって符号化装置としての画像符号化部４を構成するようにした場合について述べた。本発明の画像処理装置は、受取部と、選択部と、決定部と、直交変換部とを少なくとも有していればよく、例えば画像符号化部４のみから構成されていても良い。さらに本発明は、その他種々の構成による受取部と、選択部と、決定部と、直交変換部とによって本発明の符号化装置を構成するようにしても良い。
【産業上の利用可能性】
【０１５９】
本発明の符号化装置は、例えば公に配信されるコンテンツを符号化する機能を有する各種電子機器に利用することができる。
【符号の説明】
【０１６０】
１……画像処理装置、４……画像符号化部、１０……入力端子、１１……並べ替えバッファ、１２……分散値算出部、１３、２４……演算器、１４……動き予測・補償部、１５……イントラ予測部、１７……直交変換部、１８……量子化部、１９……レート制御部、２０……可逆符号化部、２１……蓄積バッファ、２３……逆量子化部、２４……逆直交変換部、２６……デブロックフィルタ、２７……フレームメモリ、Ｓ４……画像データ、Ｓ６……ビットストリーム、Ｄ１……差分データ、Ｌ３……ローカルデコード画像。
【図１】
2010288080.tif 000003
【図２】
2010288080.tif 000004
【図３】
2010288080.tif 000005
【図４】
2010288080.tif 000006
【図５】
2010288080.tif 000007
【図６】
2010288080.tif 000008
【図７】
2010288080.tif 000009
【図８】
2010288080.tif 000010
【図９】
2010288080.tif 000011