(57)【要約】【課題】画像パターンを判定する特殊な回路ブロックを追加することなく、演算量を低減することが可能な画面内予測モードを選択できるようにする。【解決手段】符号化対象画像の輝度信号に対して、各イントラ予測モードに対応する予測画像との差分値をそれぞれ記憶しておき、差分値が最も小さい予測モードを輝度信号のイントラ予測モードとして選択するとともに、各イントラ予測モードに対する輝度信号の差分値のうち、１６×１６画素のブロックサイズに対する差分値に、あらかじめ統計的に求められた係数を加えて、色差信号のイントラ予測モードに対するコスト値として算出し、前記コスト値が最も小さい予測モードを色差信号のイントラ予測モードとして選択する。【選択図】  図１
2009049513.tif 000002
【特許請求の範囲】
【請求項１】
複数の構成要素で構成される画像信号を、符号化単位である符号化ブロックに分割するとともに、前記分割された符号化ブロックを予測単位である予測ブロックに分割する分割手段と、
前記分割手段により分割された予測ブロック毎に、予測ブロック近傍の画素値を用いて予測画像を生成する予測画像生成手段と、
前記予測画像生成手段により生成された予測画像と画面内予測画像との差分値を算出する差分値算出手段と、
前記差分値算出手段により生成された差分情報を符号化する符号化手段と、
前記画像信号を構成する構成要素、及び前記予測ブロックの大きさの組み合わせに応じて予測モードを決定する予測モード決定手段とを備え、
前記予測モード決定手段は、第１の構成要素の画像信号から第１の予測モードを決定するとともに、前記第１の構成要素の画像信号から前記第１の構成要素以外の構成要素に対する予測モードを決定することを特徴とする動画像符号化装置。
【請求項２】
前記予測画像生成手段は、前記第１の構成要素に対しては、第１の構成要素の予測モードとして使用可能な各々の予測モードについて予測画像を生成し、
前記予測モード決定手段は、前記予測画像生成手段が生成した予測画像と符号化対象ブロックとの差分値を算出し、前記算出した差分値と、各々の予測モードに対してあらかじめ定めた定数とを演算した値を、各々の予測モードのコスト値として算出し、前記コスト値に応じて符号化の際に使用する予測モードを決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項３】
前記予測モード決定手段は、前記第１の構成要素以外の構成要素に対しては、前記第１の構成要素に対して算出した各々の予測モードのうち、第１の構成要素以外の構成要素の予測モードとして使用可能な予測モードに対する差分値と、前記第１の構成要素のコスト値を算出する際に使用した定数とは異なる、当該構成要素の予測モードに対してあらかじめ定めた定数とを演算したコスト値を新たに算出し、前記新たに算出したコスト値に応じて当該構成要素を符号化する際に使用する予測モードを決定することを特徴とする請求項１に記載の動画像符号化装置。
【請求項４】
前記予測モードに対してあらかじめ定めた定数は、各々の構成要素の各々の予測モードついて、統計的に求めた発生頻度に基づいた値であることを特徴とする請求項３に記載の動画像符号化装置。
【請求項５】
前記画像信号の第１の構成要素は輝度信号であり、前記第１の構成要素以外の構成要素は色差信号であることを特徴とする請求項１〜４の何れか１項に記載の動画像符号化装置。
【請求項６】
複数の構成要素で構成される画像信号を、符号化単位である符号化ブロックに分割するとともに、前記分割された符号化ブロックを予測単位である予測ブロックに分割する分割工程と、
前記分割工程において分割された予測ブロック毎に、予測ブロック近傍の画素値を用いて予測画像を生成する予測画像生成工程と、
前記予測画像生成工程において生成された予測画像と画面内予測画像との差分値を算出する差分値算出工程と、
前記差分値算出工程において生成された差分情報を符号化する符号化工程と、
前記画像信号を構成する構成要素、及び前記予測ブロックの大きさの組み合わせに応じて予測モードを決定する予測モード決定工程とを備え、
前記予測モード決定工程においては、第１の構成要素の画像信号から第１の予測モードを決定するとともに、前記第１の構成要素の画像信号から前記第１の構成要素以外の構成要素に対する予測モードを決定することを特徴とする動画像符号化方法。
【請求項７】
前記予測画像生成工程においては、前記第１の構成要素に対しては、第１の構成要素の予測モードとして使用可能な各々の予測モードについて予測画像を生成し、
前記予測モード決定工程においては、前記予測画像生成工程が生成した予測画像と符号化対象ブロックとの差分値を算出し、前記算出した差分値と、各々の予測モードに対してあらかじめ定めた定数とを演算した値を、各々の予測モードのコスト値として算出し、前記コスト値に応じて符号化の際に使用する予測モードを決定することを特徴とする請求項６に記載の動画像符号化方法。
【請求項８】
前記予測モード決定工程においては、前記第１の構成要素以外の構成要素に対しては、前記第１の構成要素に対して算出した各々の予測モードのうち、第１の構成要素以外の構成要素の予測モードとして使用可能な予測モードに対する差分値と、前記第１の構成要素のコスト値を算出する際に使用した定数とは異なる、当該構成要素の予測モードに対してあらかじめ定めた定数とを演算したコスト値を新たに算出し、前記新たに算出したコスト値に応じて当該構成要素を符号化する際に使用する予測モードを決定することを特徴とする請求項６に記載の動画像符号化方法。
【請求項９】
前記予測モードに対してあらかじめ定めた定数は、各々の構成要素の各々の予測モードついて、統計的に求めた発生頻度に基づいた値であることを特徴とする請求項８に記載の動画像符号化方法。
【請求項１０】
前記画像信号の第１の構成要素は輝度信号であり、前記第１の構成要素以外の構成要素は色差信号であることを特徴とする請求項６〜９の何れか１項に記載の動画像符号化方法。
【請求項１１】
複数の構成要素で構成される画像信号を、符号化単位である符号化ブロックに分割するとともに、前記分割された符号化ブロックを予測単位である予測ブロックに分割する分割工程と、
前記分割工程において分割された予測ブロック毎に、予測ブロック近傍の画素値を用いて予測画像を生成する予測画像生成工程と、
前記予測画像生成工程において生成された予測画像と画面内予測画像との差分値を算出する差分値算出工程と、
前記差分値算出工程において生成された差分情報を符号化する符号化工程と、
前記画像信号を構成する構成要素、及び前記予測ブロックの大きさの組み合わせに応じて予測モードを決定する予測モード決定工程とをコンピュータに実行させ、
前記予測モード決定工程においては、第１の構成要素の画像信号から第１の予測モードを決定するとともに、前記第１の構成要素の画像信号から前記第１の構成要素以外の構成要素に対する予測モードを決定することをコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
請求項１１に記載のプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像符号化装置及び動画像符号化方法に関し、特に、動画像の符号化をリアルタイムに行なうために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、例えば被写体を撮影して得られた動画像を圧縮符号化して記録するカメラ一体型動画像記録装置として、デジタルビデオカメラがよく知られている。近年は、ランダムアクセス性などの利便性が高いため、デジタルビデオカメラにおいては、使用する記録媒体として従来の磁気テープからディスク媒体や半導体メモリなどに移り変わってきている。しかし、一般にディスク媒体などは記憶容量が少なく、より高能率に圧縮符号化する必要がある。
【０００３】
また、高画質への期待から、より情報量の多いハイビジョン映像を扱うデジタルビデオカメラの開発が行われており、このように別の観点からも、より高能率な圧縮符号化が望まれており、現在はMPEGが標準方式としてよく用いられている。
【０００４】
さらに近年では、記録媒体への記録可能時間のさらなる向上や、携帯端末向けにより低ビットレートでの符号化の必要性などから、さらに高能率な符号化が研究されている。そのなかの１つがＨ．２６４（別名ＡＶＣ）であり、ＭＰＥＧ２やＭＰＥＧ４などの従来の符号化方式に比べ、符号化や復号化に、より多くの演算量が必要となるが、より高い符号化効率が実現されることが知られている。
【０００５】
Ｈ．２６４では、符号化効率を上げるために、様々な工夫がなされている。その一例として画面内予測がある。画面内予測においては、符号化対象ブロック近傍の画面内の画素値を用いて生成される予測画像との差分情報を符号化することによって、効果的に符号量を抑えることを可能にしている。画面内予測のモードは複数種類あり、好適な予測モードを選択する必要がある。
【０００６】
特許文献１に記載された「画像符号化装置」によると、入力した画像データを複数画素で構成されるブロックに分割して、入力画像データの画像パターンを判定する判定部が設けられている。また、判定された画像パターンに基づいて、フレーム内の画素値を用いて同一フレーム内の画素値を予測して予測画素値を生成する予測方式を選択する選択部を設け、最適なイントラ予測モードを容易に選択できるようにしている。
【０００７】
【特許文献１】特開２００６−００５６５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
以上説明したように、画面内予測のモードは複数あり、その中から好適なモードを選択するためには膨大な演算が必要である。特許文献１によって提案された方法によれば、好適な画面内予測モードを選択することに貢献するものの、画像パターンを判定する特殊な回路ブロックを組み込むことが必要であった。
【０００９】
また、符号化対象ブロックを構成する輝度信号と色差信号のそれぞれに対して画面内予測のモードを決定する必要があった。特に、リアルタイムで符号化処理をする場合などでは、非常に高速なプロセッサが必要になり、消費電力が大きくなるという課題がある。
本発明は前述の問題点に鑑み、画像パターンを判定する特殊な回路ブロックを追加することなく、演算量を低減することが可能な画面内予測モードを選択できるようにすることを目的としている。
【課題を解決するための手段】
【００１０】
本発明の動画像符号化装置は、複数の構成要素で構成される画像信号を、符号化単位である符号化ブロックに分割するとともに、前記分割された符号化ブロックを予測単位である予測ブロックに分割する分割手段と、前記分割手段により分割された予測ブロック毎に、予測ブロック近傍の画素値を用いて予測画像を生成する予測画像生成手段と、前記予測画像生成手段により生成された予測画像と画面内予測画像との差分値を算出する差分値算出手段と、前記差分値算出手段により生成された差分情報を符号化する符号化手段と、前記画像信号を構成する構成要素、及び前記予測ブロックの大きさの組み合わせに応じて予測モードを決定する予測モード決定手段とを備え、前記予測モード決定手段は、第１の構成要素の画像信号から第１の予測モードを決定するとともに、前記第１の構成要素の画像信号から前記第１の構成要素以外の構成要素に対する予測モードを決定することを特徴とする。
【００１１】
本発明の動画像符号化方法は、複数の構成要素で構成される画像信号を、符号化単位である符号化ブロックに分割するとともに、前記分割された符号化ブロックを予測単位である予測ブロックに分割する分割工程と、前記分割工程において分割された予測ブロック毎に、予測ブロック近傍の画素値を用いて予測画像を生成する予測画像生成工程と、前記予測画像生成工程において生成された予測画像と画面内予測画像との差分値を算出する差分値算出工程と、前記差分値算出工程において生成された差分情報を符号化する符号化工程と、前記画像信号を構成する構成要素、及び前記予測ブロックの大きさの組み合わせに応じて予測モードを決定する予測モード決定工程とを備え、前記予測モード決定工程においては、第１の構成要素の画像信号から第１の予測モードを決定するとともに、前記第１の構成要素の画像信号から前記第１の構成要素以外の構成要素に対する予測モードを決定することを特徴とする。
【００１２】
本発明のプログラムは、複数の構成要素で構成される画像信号を、符号化単位である符号化ブロックに分割するとともに、前記分割された符号化ブロックを予測単位である予測ブロックに分割する分割工程と、前記分割工程において分割された予測ブロック毎に、予測ブロック近傍の画素値を用いて予測画像を生成する予測画像生成工程と、前記予測画像生成工程において生成された予測画像と画面内予測画像との差分値を算出する差分値算出工程と、前記差分値算出工程において生成された差分情報を符号化する符号化工程と、前記画像信号を構成する構成要素、及び前記予測ブロックの大きさの組み合わせに応じて予測モードを決定する予測モード決定工程とをコンピュータに実行させ、前記予測モード決定工程においては、第１の構成要素の画像信号から第１の予測モードを決定するとともに、前記第１の構成要素の画像信号から前記第１の構成要素以外の構成要素に対する予測モードを決定することをコンピュータに実行させることを特徴とする。
【発明の効果】
【００１３】
本発明によれば、画面内予測モードを決定するための演算量を低減しながらも、好適な画面内予測モードを選択することが可能となり、消費電力を抑えた高能率な動画像符号化装置を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の第１の実施形態を、図面を参照して説明する。
図１は、第１の実施形態に係るＨ．２６４符号化方式に対応した動画像符号化装置の構成例を示すブロック図である。
【００１５】
図１に示したように、本実施形態の動画像符号化装置は、レンズやCCD等のカメラ部を含む撮像部１０１、フレームメモリ１０２、動きベクトル探索部１０３、フレーム間動き補償部１０４、画面内予測モード決定部１０５を備えている。また、画面内予測部１２０、スイッチ１０６、減算器１０７、整数変換部１０８、量子化部１０９、逆量子化部１１０、逆整数変換部１１１を備えている。更に、加算器１１２、ループ内フィルタ１１３、エントロピー符号化部１１５、符号量制御部１１６、記録部１１７、記録媒体１１８を備えている。
【００１６】
そして、符号量制御部１１６をはじめとする各構成部の動作は、システムコントローラ１００によって制御される。すなわち、システムコントローラは１００は、制御命令１００ａを図示しないバスを介して装置全体の各部に出力し、装置全体の動作制御を司る。このような構成により、ユーザが操作部１１を操作することによって出力されるユーザの指示に応じて、システムコントローラ１００が装置全体の動作制御を行なう。
【００１７】
次に、図１及び図５のフローチャートを用いて、本実施形態の動画像符号化装置において行なわれる処理手順の一例について説明する。
撮像部１０１を操作して撮像することによって画像信号が生成される（ステップＳ５０１）と、第１フレーム、第２フレーム、第３フレーム、・・・の順で、フレームメモリ１０２に順次格納されていく（ステップＳ５０２）。
【００１８】
次に、ステップＳ５０３において、フレームメモリ１０２に格納された画像データを読み出す。この読み出しは、例えば、第３フレーム、第１フレーム、第２フレーム、・・・などの、符号化を行なうフレームの順序で画像データを取り出していく。
【００１９】
次に、フレームメモリ１０２から取り出した画像データの符号化を行なう。符号化方式としては、フレーム内の画像データのみで符号化する"イントラ符号化"と、フレーム間予測も含めて符号化する"インター符号化"とがある。本実施形態においては、動画データの圧縮符号化方式の標準の一つであるＨ．２６４を採用している。
【００２０】
Ｈ．２６４では、符号化効率を上げるために、様々な工夫がなされており、その一例として画面内予測がある。画面内予測においては、符号化対象ブロック近傍の画面内の画素値を用いて生成される予測画像と符号化対象ブロックとの差分情報を符号化することによって、符号量を抑えるようにしている。
【００２１】
また、動きベクトルの符号化は、処理対象となる動き補償ブロック（処理単位）に対して、既に符号化済みとなっている周囲の動き補償ブロックの動きベクトルを用いて算出される予測ベクトルを生成する（ステップＳ５０４）。次に、符号化対象の動きベクトルと予測ベクトルとの差分ベクトルを符号化する。
【００２２】
インター符号化は、動き補償の単位（ＭＣ：Motion Compensation、動き補償ブロック）に対して１枚の参照フレームとの予測を行なうＰピクチャと、動き補償ブロックに対して２枚までの参照フレームとの予測を行なうＢピクチャとがある。なお、イントラ符号化を行なうピクチャをIピクチャという。なお、符号化するフレームの順番が入力されたフレームの順番と異なるのは、時間的に未来のフレームとの予測（後方予測）を可能にするためである。
【００２３】
イントラ符号化がなされる場合、フレームメモリ１０２から符号化単位である符号化ブロックに分割されて画像データが読み出され、画面内予測モード決定部１０５へ入力される。画面内予測モード決定部１０５は、符号化対象ブロックと、後述の既に符号化済みの同一フレーム内の符号化対象ブロック近傍に位置する再構成画像とから生成される、複数の予測画像とのブロックマッチングをそれぞれに対して行なう（ステップＳ５０５）。そして、最も相関の高い画面内予測モードを選択して画面内予測部１２０へ出力する（ステップＳ５０６）。
【００２４】
画面内予測部１２０は、画面内予測モード決定部１０５が選択した画面内予測モードに応じて予測画像を生成し、スイッチ１０６へ出力する（ステップＳ５０７）。イントラ符号化がなされる場合、スイッチ１０６は画面内予測部１２０（画面内予測画像）の側へ切り替えられ、減算器１０７へは前記画面内予測画像が入力される。減算器１０７は、フレームメモリ１０２から入力される符号化対象ブロックと、スイッチ１０６から入力される画面内予測画像との画素値の差分情報を計算して整数変換部１０８へ出力する（ステップＳ５０８）。
【００２５】
量子化部１０９における量子化係数は、エントロピー符号化部１１５が発生した符号量のフィードバックなどから符号量制御部１１６が計算（算出）する（ステップＳ５０９）。また、量子化部１０９の出力である量子化された変換係数は、逆量子化部１１０において逆量子化される(ステップＳ５１０)。更に、逆整数変換部１１１において逆整数変換処理が施されて、復号されて再構成画像が生成される（ステップＳ５１１）。そして、前述した画面内予測部１２０、及び画面内予測モード決定部１０５の入力となってイントラ予測画像の生成に用いられる。
【００２６】
また、前記再構成画像は、ループ内フィルタ１１３によって符号化歪の軽減処理が施された後、後述するインター符号化の際に用いる参照画像としてフレームメモリ１０２に記憶される（ステップＳ５１２）。
【００２７】
一方、インター符号化が行われる場合、符号化単位となるブロックの画像データはフレームメモリ１０２から読み出されて、動きベクトル探索部１０３へ入力される。同時に、動きベクトル探索部１０３は、参照画像をフレームメモリ１０２から読み出し、符号化画像と参照画像とから動きベクトルを検出する。フレーム間動き補償部１０４は、前記動きベクトルに従って動き補償を行い、予測画像を生成する。
【００２８】
インター符号化が行われる場合、スイッチ１０６はフレーム間動き補償部１０４側（インター予測画像の側）へ切り替えられ、符号化画像と予測画像との差分は減算器１０７によって計算されて差分画像が生成される。減算器１０７によって計算された差分画像は、整数変換部１０８に出力される。その他の処理は前述のイントラ符号化の場合と同様である。
【００２９】
以下、画面内予測モード決定部１０５の動作を、図２を用いて詳細に説明する。
図２は、本発明の第１の実施形態に係る画面内予測モード決定部１０５の概略構成を示すブロック図である。
【００３０】
図２に示すように、画面内予測モード決定部１０５は、予測画像生成部２０１ａ、２０１ｂ、・・・、２０１ｍ、スイッチ２０２、２０４、差分値算出部２０３、輝度差分値記憶部２０５ａ、２０５ｂ、・・・、２０５ｍを備える。また、輝度予測モード決定部２０６、色差予測モード決定部２０７等を備えている。
【００３１】
画像信号は、輝度信号と色差信号とで構成されていて、輝度信号の水平１６画素、垂直１６画素に対応する色差信号は水平８画素、垂直８画素という関係になっている。画面内予測のモードは、画像信号の構成要素（輝度信号と色差信号）と、予測ブロックの大きさとの組み合わせによって複数の画面内予測モードが定められている。複数の画面内予測モードを図示して表すと、「図４−１」、「図４−２」のようになる。
【００３２】
「図４−１」、「図４−２」中において、白い四角は予測画像の１画素を表し、ハッチがかかった四角は前記予測画像を生成するために必要な周辺画像の１画素を表している。「図４−１」、「図４−２」中の矢印はそれぞれの予測モードの予測の方向を概略的に示していて、矢印がないものは、予測画像の各画素は周辺画像の画素値の平均値であることを示している。
【００３３】
「図４−１」は、「輝度信号の４×４予測ブロック」の「モード０」〜「モード８」を表している。また、「図４−２」は、「輝度信号の１６×１６予測ブロック」の「モード０」〜「モード３」と、「色差信号の８×８予測ブロック」の「モード０」〜「モード３」とを表している。
【００３４】
予測画像生成部２０１ａは、「輝度信号の１６×１６予測ブロック」の「モード０」に対応する予測画像を生成し、スイッチ２０２へ出力する。スイッチ２０２は、予測画像生成部２０１ａ側へ切り替えられていて、予測画像生成部２０１ａが生成した予測画像を差分値算出部２０３へ出力する。
【００３５】
差分値算出部２０３は、入力された符号化対象画像（符号化ブロック）と、前記予測画像の対応する各画素値の差分値とを算出する。そして、前記算出した各画素の差分値を積算して符号化対象画像と予測画像との相関を表す差分値を算出し、スイッチ２０４へ出力する。スイッチ２０４は、輝度差分値記憶部２０５ａ側へ切り替えられていて、前記差分値は輝度差分値記憶部２０５ａに記憶される。
【００３６】
次に、スイッチ２０２は、予測画像生成部２０１ｂ側へ切り替えられる。また、スイッチ２０４は輝度差分値記憶部２０５ｂ側へ切り替えられて、「輝度信号の１６×１６予測ブロック」の「モード１」に対応する差分値が算出されて輝度差分値記憶部２０５ｂに記憶される。
【００３７】
前述の動作をスイッチ２０２、スイッチ２０４を切り替えながら繰り返し行い、輝度信号に対する画面内予測モードのすべてに対する差分値を算出し、各予測モードに対応する輝度差分値記憶部に記憶する。
【００３８】
各予測モードに対応する差分値は輝度予測モード決定部２０６に入力され、輝度予測モード決定部２０６は各予測モードに対応する差分値のうち最も値が小さいものを検出する。そして、前記最も値が小さい差分値に対応する予測モードを、輝度信号の符号化で使用可能な画面内予測モードとして画面内予測部１２０へ新たに出力する。
【００３９】
また、輝度予測モード決定部２０６は、「輝度信号の１６×１６予測ブロック」に対する差分値のうち最も値が小さいものを検出し、それに対応する予測モードを色差予測モード決定部２０７へ出力する。
【００４０】
色差予測モード決定部２０７は、輝度予測モード決定部２０６から入力された予測モードを、色差信号の符号化で用いる画面内予測モードとして画面内予測部１２０へ出力する。
【００４１】
次に、図６のフローチャートを参照しながら色差信号の符号化で用いる画面内予測モードを決定する処理手順の一例を説明する。
先ず、ステップ６０１において、予測画像生成部２０１ａ〜２０１ｍにより周辺画像から予測画像を生成する。予測画像の生成は、前述したように、はじめに、予測画像生成部２０１ａにおいて「輝度信号の１６×１６予測ブロック」の「モード０」に対応する、予測単位である予測ブロックを、予測ブロック近傍の画素値を用いて生成する。
【００４２】
次に、ステップＳ６０２に進み、生成した予測画像と符号化対象画像との差分値を差分値算出部２０３により新たに算出する。
次に、ステップＳ６０３に進み、新たに算出した差分値を記憶部に記憶する。
【００４３】
次に、ステップＳ６０４において、全てのモードで予測画像を生成したか否かを判断する。この判断の結果、「ＹＥＳ」ならばステップＳ６０６に進み、「ＮＯ」ならばステップＳ６０５に進み、次のモードの予測画像を生成するようにする。具体的には、差分値算出部２０３は予測画像生成部２０１ｂを選択するようにスイッチ２０２を切り換えるとともに、輝度差分値記憶部２０５ｂを選択するようにスイッチ２０４を切り換える。
【００４４】
次に、ステップＳ６０１に戻り、前述したように予測画像の生成〜ステップＳ６０４の差分値の記憶処理を繰り返し行なう。ステップＳ６０１〜ステップＳ６０４の処理を繰り返し行なうことにより、「輝度信号の１６×１６予測ブロック」の「モード０」〜「モード３」に対応する、予測ブロック毎に予測画像を生成することができる。これにより、全ての予測画像を生成できるとともに、全ての予測画像と符号化対象画像との差分値を算出して輝度差分値記憶部２０５ａ〜２０５ｍに記憶することができる。
【００４５】
ステップＳ６０６においては、輝度予測モード決定部２０６により、各予測モードに対応する差分値のうち最も値が小さいものを検出する。そして、検出した最も値が小さい差分値に対応する予測モードを、輝度信号の符号化で用いる画面内予測モードとして画面内予測部１２０へ出力する。また、輝度予測モード決定部２０６は、「輝度信号の１６×１６予測ブロック」に対する差分値のうち最も値が小さいものを検出し、それに対応する予測モードを色差予測モード決定部２０７へ出力する（ステップＳ６０７）。
【００４６】
色差予測モード決定部２０７は、輝度予測モード決定部２０６から入力された予測モードを、色差信号の符号化で用いる画面内予測モードとして画面内予測部１２０へ出力する（ステップＳ６０８）。
【００４７】
以上のような処理を行うことにより、画像信号の構成要素のうち、第１の構成要素である輝度信号から第１の予測モードを決定することができる。また、前記第１の構成要素の画像信号から、前記第１の構成要素以外の構成要素である色差信号に対する予測モードを決定することができる。
【００４８】
（第２の実施形態）
以下、本発明の第２の実施形態を、図面を参照して説明する。
第２の実施形態に係る動画像符号化装置の全体的な構成は、前述の第１の実施形態に係る動画像符号化装置の構成と同等であり、全体的な動作も同等である。
以下、画面内予測モード決定部１０５の動作を、図３を用いて詳細に説明する。
図３は、本発明の第２の実施形態に係る画面内予測モード決定部１０５の概略構成を示すブロック図である。
【００４９】
図３に示すように、画面内予測モード決定部１０５は、予測画像生成部２０１ａ、２０１ｂ、・・・、２０１ｍ、スイッチ２０２、２０４、差分値算出部２０３、輝度差分値記憶部２０５ａ、２０５ｂ、・・・、２０５ｍを有している。また、輝度予測モード決定部２０６、色差予測モード決定部２０７、加算器２１０ａ、２１０ｂ、・・・、２１０ｍ、２１１ａ、２１１ｂ、・・・、２１１ｍを有している。さらに、輝度コスト値記憶部２０８ａ、２０８ｂ、・・・、２０８ｍ、色差コスト値記憶部２０９ａ、２０９ｂ、・・・、２０９ｄによって構成されている。
【００５０】
予測画像生成部２０１ａは、「輝度信号の１６×１６予測ブロック」の「モード０」に対応する予測画像を生成し、スイッチ２０２へ出力する。画面内予測を開始した直後においては、スイッチ２０２は予測画像生成部２０１ａ側へ切り替えられていて、予測画像生成部２０１ａが生成した予測画像を差分値算出部２０３へ出力する。
【００５１】
差分値算出部２０３は入力された符号化対象画像と、前記予測画像の対応する各画素値の差分値を算出し、さらに前記算出した各画素の差分値を積算して符号化対象画像と予測画像との相関を表す差分値を算出し、スイッチ２０４へ出力する。スイッチ２０４は、輝度差分値記憶部２０５ａ側へ切り替えられていて、前記差分値は輝度差分値記憶部２０５ａに記憶される。
【００５２】
次に、スイッチ２０２は予測画像生成部２０１ｂ側へ切り替えられる。また、スイッチ２０４は輝度差分値記憶部２０５ｂ側へ切り替えられて、「輝度信号の１６×１６予測ブロック」の「モード１」に対応する差分値が算出されて輝度差分値記憶部２０５ｂに記憶される。
前述の動作をスイッチ２０２、及びスイッチ２０４を切り替えながら繰り返し行ない、輝度信号に対する画面内予測モードのすべてに対する差分値を算出し、各予測モードに対応する輝度差分値記憶部２０５ａ〜２０５ｍに記憶される。
【００５３】
各差分値は、加算器２１０ａ、２１０ｂ、・・・によって、それぞれの予測モードに対応した重み係数ＫＹａ、ＫＹｂ、・・・と加算演算されて、それぞれの予測モードに対応したコスト値として算出される。そして、輝度コスト値記憶部２０８ａ、２０８ｂ、・・・に記憶される。ここでは、前記重み係数ＫＹａ、ＫＹｂ、・・・はすべて零としている。
【００５４】
また、輝度差分値記憶部２０５ａ、２０５ｂ、・・・、２０５ｍに記録されている差分値のうち、「輝度信号の１６×１６予測ブロック」に対する差分値は、引用刊行物のように処理される。即ち、加算器２１１ａ、２１１ｂによって色差信号のそれぞれの予測モードに対応する重み係数ＫＣａ、ＫＣｂ、・・・と加算される。そして、それぞれの予測モードに対応したコスト値として、色差コスト値記憶部２０９ａ、２０９ｂ、・・・に記憶される。ここでは、前記重み係数ＫＣａ、ＫＣｂ、・・・は、統計的に求めた色差信号の各画面内予測モードの発生頻度に応じてあらかじめ定めた定数を与えている。
【００５５】
輝度信号の各予測モードに対応するコスト値は輝度予測モード決定部２０６に入力される。輝度予測モード決定部２０６は各予測モードに対応するコスト値のうち最も値が小さいものを検出し、前記最も値が小さいコスト値に対応する予測モードを、輝度信号の符号化で用いる画面内予測モードとして画面内予測部１２０へ出力する。
【００５６】
色差信号の各予測モードに対応するコスト値は色差予測モード決定部２０７に入力される。色差予測モード決定部２０７は各予測モードに対応するコスト値のうち最も値が小さいものを検出し、前記最も値が小さいコスト値に対応する予測モードを、色差信号の符号化で用いる画面内予測モードとして画面内予測部１２０へ出力する。
なお、重み係数の定め方は本実施形態で用いたものに限られず、他の方法で定めた係数でもよい。
【００５７】
（本発明に係る他の実施形態）
前述した本発明の実施形態における動画像符号化装置を構成する各手段は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録したコンピュータ読み取り可能な記録媒体は本発明に含まれる。
【００５８】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００５９】
なお、本発明は、前述した動画像符号化方法における各工程を実行するソフトウェアのプログラム（実施形態では図５、図６に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接、あるいは遠隔から供給する。そして、そのシステムあるいは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００６０】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００６１】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００６２】
プログラムを供給するための記録媒体としては種々の記録媒体を使用することができる。例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。
【００６３】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体にダウンロードすることによっても供給できる。
【００６４】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００６５】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００６６】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行なうことによっても前述した実施形態の機能が実現され得る。
【００６７】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００６８】
【図１】本発明の第１の実施形態に係る動画像符号化装置の構成例を示すブロック図である。
【図２】本発明の第１の実施形態に係る動画像符号化装置が備える画面内予測モード決定部の構成例を示すブロック図である。
【図３】本発明の第２の実施形態に係る動画像符号化装置が備える画面内予測モード決定部の構成例を示すブロック図である。
【図４−１】画面内予測モードを説明するための図であり、「輝度信号の４×４予測ブロック」の「モード０」〜「モード８」を表している図である。
【図４−２】画面内予測モードを説明するための図であり、「輝度信号の１６×１６予測ブロック」の「モード０」〜「モード３」と、「色差信号の８×８予測ブロック」の「モード０」〜「モード３」とを表している図である。
【図５】実施形態の動画像符号化装置において行なわれる処理手順の一例について説明するフローチャートである。
【図６】色差信号の符号化で用いる画面内予測モードを決定する処理手順の一例を説明するフローチャートである
【符号の説明】
【００６９】
１１  操作部
１００  システムコントローラ
１０１  撮像部
１０２  フレームメモリ
１０３  動きベクトル探索部
１０４  フレーム間動き補償部
１０５  画面内予測モード決定部
１２０  画面内予測部
１０６  スイッチ
１０７  減算器
１０８  整数変換部
１０９  量子化部
１１０  逆量子化部
１１１  逆整数変換部
１１２  加算器
１１３  ループ内フィルタ
１１５  エントロピー符号化部
１１６  符号量制御部
１１７  記録部
１１８  記録媒体
２０１ａ〜２０１ｍ  予測画像生成部
２０２、２０４  スイッチ
２０３  差分値算出部
２０５ａ〜２０５ｍ  輝度差分値記憶部
２１０ａ〜２１０ｍ、２１１ａ〜２１１ｍ  加算器
２０８ａ〜２０８ｍ  輝度コスト値記憶部
【図１】
2009049513.tif 000003
【図２】
2009049513.tif 000004
【図３】
2009049513.tif 000005
【図４−１】
2009049513.tif 000006
【図４−２】
2009049513.tif 000007
【図５】
2009049513.tif 000008
【図６】
2009049513.tif 000009