(57)【特許請求の範囲】
【請求項１】
符号化済みの複数の第１のサブブロックの画素値を用いて、符号化対象となる第２のサブブロックの画像予測を行うイントラ予測を有した画像データの生成方法であって、
前記イントラ予測に先立って、
前記第１のサブブロックの符号化が完了していない場合に、前記第１のサブブロックの符号化前の前記画素値を第１の予測値とし、該第１の予測値を用いて前記第２のサブブロックに対して複数の予測モードごとに補間を実行し、
前記複数の予測モードごとの補間の結果に基づいて、前記複数の予測モードから少なくとも１つを選択して最適予測モード候補とする簡易イントラ予測を有し、
前記イントラ予測は、前記少なくとも１つの最適予測モード候補を用いて前記画像予測を行い、
前記イントラ予測は、前記第１のサブブロックの全てについて符号化が完了した後に実行され、
符号化が完了した前記第１のサブブロックの符号化後の前記画素値を第２の予測値とし、該第２の予測値を用いて前記第２のサブブロックに対して前記少なくとも１つの最適予測モード候補ごとに補間を実行し、
前記少なくとも１つの最適予測モード候補ごとの補間の結果に基づいて、前記少なくとも１つの最適予測モード候補の中から最適予測モードを決定して前記画像予測を行い、
前記簡易イントラ予測において、
符号化が完了している前記第１のサブブロックについては、前記第１のサブブロックの符号化後の前記画素値または符号化前の前記画素値を前記第１の予測値として用いる、画像データの生成方法。
【請求項２】
前記簡易イントラ予測においては、
前記複数の予測モードごとの補間の結果得られた前記第２のサブブロックの第１の予測画像と、前記第２のサブブロックの補間が実行される前の画素値との差分の絶対値和を、前記複数の予測モードごとに取得し、前記絶対値和の小さいものから順に選択することで、前記少なくとも１つの最適予測モード候補を選択する、請求項１記載の画像データの生成方法。
【請求項３】
前記イントラ予測は、
前記少なくとも１つの最適予測モード候補ごとの補間の結果得られた前記第２のサブブロックの第２の予測画像と、前記第２のサブブロックの補間が実行される前の画素値との差分の絶対値和を、前記少なくとも１つの最適予測モード候補ごとに取得し、前記絶対値和の最も小さいものを選択することで、前記最適予測モードを決定する、請求項１記載の画像データの生成方法。
【請求項４】
前記簡易イントラ予測および前記イントラ予測はパイプライン処理によって実行され、
前記パイプライン処理は、
ｎ番のサブブロックに対して前記簡易イントラ予測を実行しているｎ番の処理サイクルにおいて、ｎ−１番の処理サイクルで前記簡易イントラ予測が実行されたｎ−１番のサブブロックに対しての前記イントラ予測が実行されるとともに、前記イントラ予測により決定した前記最適予測モードを使用して、前記ｎ−１番のサブブロックに対してのローカルデコードを実行する、請求項１記載の画像データの生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像データの生成方法に関し、特に予測モードの決定を簡易に行うイントラ予測を含んだ画像データの生成方法に関する。
【背景技術】
【０００２】
電気通信に関する国際標準化機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）のＶＣＥＧ（Video Coding Experts Group）とＩＳＯ／ＩＥＣのＭＰＥＧ（Moving Picture Expetrts Group）によって、動画像符号化の最新国際標準としてＨ．２６４が開発され、実用化されている。
【０００３】
Ｈ．２６４は、ＭＰＥＧ−２やＭＰＥＧ−４に比べて、同程度の画質で２倍の圧縮を行うことができ、低ビットレートのテレビ会議からＨＤＴＶ（High Definition Television）までの幅広い用途に適用可能である。
【０００４】
Ｈ．２６４の特徴の１つに、フレーム内予測（イントラ予測）と呼称される方式が挙げられる。これは、画素相関を利用して圧縮率を向上させるための方式であり、サブブロック間でのデータの補間により予測画像を生成する方式であり、符号化対象サブブロックに隣接する符号化済みサブブロックを参照して、画素レベルでの比較により予測を行うものである。
【０００５】
イントラ予測は、ＭＰＥＧ−４においても採用されているが、ＭＰＥＧ−４が符号化対象サブブロックの左側、上側および左上側のサブブロックを参照するのに対し、Ｈ．２６４の場合は、左側、上側、左上側および右上側のサブブロックを参照するので、より精度の高い予測画像を得ることができる。
【０００６】
また、ＭＰＥＧ−４においては８×８画素単位で予測を行うのに対し、Ｈ．２６４では、複雑な画像は４×４画素単位で予測を行い、単純な画像は１６×１６画素単位で予測を行うので、効率の良い予測が可能となる。
【０００７】
このような、Ｈ．２６４におけるイントラ予測においては、１６×１６画素単位での予測では４通りの予測方法（予測モード）を使用して最適な予測モードを決定し、４×４画素単位での予測では９通りの予測モードを使用して最適な予測モードを決定するので、膨大な計算処理を要し、予測結果が得られるまでに時間がかかるという問題がある。
【０００８】
例えば特許文献１においては、イントラ予測を、同時に複数の符号化対象サブブロックに対して行うことで、イントラ予測の時間短縮を達成する技術が開示されている。
【０００９】
【特許文献１】特開２００５−１３０５０９号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
以上説明したように、イントラ予測に費やす時間をできるだけ短縮することがＨ．２６４に求められており、特許文献１にはその解決法の１つが提案されているが、イントラ予測を行うための計算器を複数設けることで総合的な時間を短縮するものであり、個々のサブブロックのイントラ予測に費やす時間を短縮するものはなかった。
【００１１】
本発明は上記のような問題点を解消するためになされたもので、個々のサブブロックのイントラ予測を効率化して、イントラ予測に費やす時間を短縮した画像データの生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明に係る請求項１記載の画像データの生成方法は、符号化済みの複数の第１のサブブロックの画素値を用いて、符号化対象となる第２のサブブロックの画像予測を行うイントラ予測を有した画像データの生成方法であって、前記イントラ予測に先立って、前記第１のサブブロックの符号化が完了していない場合に、前記第１のサブブロックの符号化前の前記画素値を第１の予測値とし、該第１の予測値を用いて前記第２のサブブロックに対して複数の予測モードごとに補間を実行し、前記複数の予測モードごとの補間の結果に基づいて、前記複数の予測モードから少なくとも１つを選択して最適予測モード候補とする簡易イントラ予測を有し、前記イントラ予測は、前記少なくとも１つの最適予測モード候補を用いて前記画像予測を行い、前記イントラ予測は、前記第１のサブブロックの全てについて符号化が完了した後に実行され、符号化が完了した前記第１のサブブロックの符号化後の前記画素値を第２の予測値とし、該第２の予測値を用いて前記第２のサブブロックに対して前記少なくとも１つの最適予測モード候補ごとに補間を実行し、前記少なくとも１つの最適予測モード候補ごとの補間の結果に基づいて、前記少なくとも１つの最適予測モード候補の中から最適予測モードを決定して前記画像予測を行い、前記簡易イントラ予測において、符号化が完了している前記第１のサブブロックについては、前記第１のサブブロックの符号化後の前記画素値または符号化前の前記画素値を前記第１の予測値として用いる。
【００１４】
本発明に係る請求項２記載の画像データの生成方法は、前記簡易イントラ予測においては、前記複数の予測モードごとの補間の結果得られた前記第２のサブブロックの第１の予測画像と、前記第２のサブブロックの補間が実行される前の画素値との差分の絶対値和を、前記複数の予測モードごとに取得し、前記絶対値和の小さいものから順に選択することで、前記少なくとも１つの最適予測モード候補を選択する。
【００１６】
本発明に係る請求項３記載の画像データの生成方法は、前記イントラ予測が、前記少なくとも１つの最適予測モード候補ごとの補間の結果得られた前記第２のサブブロックの第２の予測画像と、前記第２のサブブロックの補間が実行される前の画素値との差分の絶対値和を、前記少なくとも１つの最適予測モード候補ごとに取得し、前記絶対値和の最も小さいものを選択することで、前記最適予測モードを決定する。
【００１７】
本発明に係る請求項４記載の画像データの生成方法は、前記簡易イントラ予測および前記イントラ予測がパイプライン処理によって実行され、前記パイプライン処理は、ｎ番のサブブロックに対して前記簡易イントラ予測を実行しているｎ番の処理サイクルにおいて、ｎ−１番の処理サイクルで前記簡易イントラ予測が実行されたｎ−１番のサブブロックに対しての前記イントラ予測が実行されるとともに、前記イントラ予測により決定した前記最適予測モードを使用して、前記ｎ−１番のサブブロックに対してのローカルデコードを実行する。
【発明の効果】
【００１８】
本発明に係る請求項１記載の画像データの生成方法によれば、第１のサブブロックの符号化が完了していない場合に、第１のサブブロックの符号化前の画素値を第１の予測値とし、該第１の予測値を用いて第２のサブブロックに対して複数の予測モードごとに補間を実行し、複数の予測モードごとの補間の結果に基づいて、複数の予測モードから少なくとも１つを選択して最適予測モード候補とする簡易イントラ予測を有するので、参照対象のサブブロックである第１のサブブロックの全てについて符号化が終わっていない段階でも画像予測を始めることができ、個々のサブブロックのイントラ予測を効率化を図ることができる。また、イントラ予測に費やす時間を短縮でき、また、第１のサブブロックにおいて符号化が完了しているものと完了していないものとが存在する場合でも、適切に最適予測モード候補の選択をすることができる。
【００２０】
本発明に係る請求項２記載の画像データの生成方法によれば、簡易イントラ予測において適切に最適予測モード候補の選択をすることができる。
【００２２】
本発明に係る請求項３記載の画像データの生成方法によれば、イントラ予測において適切に最適予測モードの決定をすることができる。
【００２３】
本発明に係る請求項４記載の画像データの生成方法によれば、簡易イントラ予測およびイントラ予測をパイプライン処理によって実行することで、画像データの符号化処理を効率的に行うことができる。
【発明を実施するための最良の形態】
【００２４】
＜イントラ予測モードについて＞
発明の実施の形態の説明に先立って、Ｈ．２６４におけるイントラ予測において、４×４画素単位での予測に使用される９通りの予測モードについて説明する。
【００２５】
図１は、１６×１６画素で構成されるマクロブロックＭＢを模式的に表す図であり、マクロブロックＭＢは１６個のサブブロックＳＢで構成されている。
【００２６】
各サブブロックＳＢは４×４画素で構成され、サブブロック単位でイントラ予測および符号化が実行される。図１において各サブブロックＳＢに割り当てられた数字は符号化の順番を表し、左上隅のサブブロックを０番とし、その右隣りが１番、０番の下が２番というようにジグザグに割り当てられている。
【００２７】
また、４個のサブブロックＳＢで８×８画素単位のブロックＢＬを構成し、０番〜３番のサブブロックＳＢ、４番〜７番のサブブロックＳＢ、８番〜１１番のサブブロックＳＢおよび１２番〜１５番のサブブロックＳＢで、それぞれ１つのブロックＢＬを構成している。
【００２８】
以下、１２番のサブブロックＳＢに対してイントラ予測を行う場合を想定して、図２〜図１１を用いて、９通りの予測モードについて説明する。
【００２９】
図２は、上述した１２番のサブブロックＳＢを構成する１６個の符号化対象画素ＵＰのそれぞれに、便宜的にａ〜ｐの記号を割り当てた図であり、左上隅の画素をａ番とし、その右隣りをｂ番とし、以後、ｃ番、ｄ番と連続して割り当て、ａ番の下の画素をｅ番とし、以後、同様の規則でｐ番まで割り当てられている。
【００３０】
また、１２番のサブブロックＳＢに隣接する、符号化済みのサブブロック内の符号化済み画素ＥＰのうち、イントラ予測において参照画素として使用される画素には、便宜的にＡ〜Ｍの記号を割り当てている。
【００３１】
すなわち、図１に示す６番のサブブロックＳＢ（上側ブロック）における符号化済み画素ＥＰには、左から順にＡ〜Ｄを割り当て、７番のサブブロックＳＢ（右上側ブロック）における符号化済み画素ＥＰには、左から順にＥ〜Ｈを割り当て、９番のサブブロックＳＢ（左側ブロック）における符号化済み画素ＥＰには、上から順にＩ〜Ｌを割り当て、３番のサブブロックＳＢ（左上側ブロック）における符号化済み画素ＥＰには、Ｍを割り当てている。
【００３２】
図３は、予測モード０と呼称される予測方法を模式的に表す図であり、矢印で示されるように、Ａ〜Ｄ番の符号化済み画素ＥＰのそれぞれの画素値を、Ａ〜Ｄ番の符号化済み画素ＥＰのそれぞれの垂直方向に存在する符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値（補間が実行される前の画素値）との差分を算出し、それらの絶対値和の大小によって判断する。
【００３３】
図４は、予測モード１と呼称される予測方法を模式的に表す図であり、矢印で示されるように、Ｉ〜Ｌ番の符号化済み画素ＥＰのそれぞれの画素値を、Ｉ〜Ｌ番の符号化済み画素ＥＰのそれぞれの水平方向に存在する符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００３４】
図５は、予測モード２と呼称される予測方法を模式的に表す図であり、Ａ〜Ｄ番およびＩ〜Ｌ番の符号化済み画素ＥＰのそれぞれの画素値の平均値を、全ての符号化対象画素ＵＰの予測値として用いて補間を実行することで、予測画像を得るものであり、ＤＣ（直流）モードとも呼称される。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００３５】
図６は、予測モード３と呼称される予測方法を模式的に表す図であり、矢印で示されるように、Ｂ〜Ｈ番の符号化済み画素ＥＰのそれぞれの画素値を、Ｂ〜Ｈ番の符号化済み画素ＥＰのそれぞれの対角線左下がり方向の位置に存在する符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００３６】
図７は、予測モード４と呼称される予測方法を模式的に表す図であり、矢印で示されるように、Ａ〜Ｃ、Ｍ、ＩおよびＪ番の符号化済み画素ＥＰのそれぞれの画素値を、Ａ〜Ｃ、Ｍ、ＩおよびＪ番の符号化済み画素ＥＰのそれぞれの対角線右下がり方向の位置に存在する符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００３７】
図８は、予測モード５と呼称される予測方法を模式的に表す図であり、矢印で示されるように、Ｍ、ＪおよびＡ〜Ｃ番の符号化済み画素ＥＰのそれぞれの画素値を、Ｍ、ＪおよびＡ〜Ｃ番の符号化済み画素ＥＰのそれぞれの垂直方向よりも右側の位置に存在する符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００３８】
図９は、予測モード６と呼称される予測方法を模式的に表す図であり、矢印で示されるように、ＭおよびＩ〜Ｋ番の符号化済み画素ＥＰのそれぞれの画素値を、ＭおよびＩ〜Ｋ番の符号化済み画素ＥＰのそれぞれの水平方向よりも下側の位置に存在する符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００３９】
図１０は、予測モード７と呼称される予測方法を模式的に表す図であり、矢印で示されるように、Ｂ〜Ｅ番の符号化済み画素ＥＰのそれぞれの画素値を、Ｂ〜Ｅ番の符号化済み画素ＥＰのそれぞれの垂直方向よりも左側の位置に存在する、符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００４０】
図１１は、予測モード８と呼称される予測方法を模式的に表す図であり、矢印で示されるように、Ｊ〜Ｌ番の符号化済み画素ＥＰのそれぞれの画素値を、Ｊ〜Ｌ番の符号化済み画素ＥＰのそれぞれの水平方向よりも上側の位置に存在する符号化対象画素ＵＰの予測値として用いて補間を実行することで予測画像を得る。なお、当該予測画像の適否については、符号化対象画素ＵＰの当初の画素値との差分を算出し、それらの絶対値和の大小によって判断する。
【００４１】
Ｈ．２６４におけるイントラ予測においては、上述した９通りの予測モードを用いて予測を行い、各モードで得られた差分の絶対値和の最も小さい予測モードが、最適の予測モードであるものと決定し、当該モードを用いて符号化対象画素ＵＰの符号化を行うことになる。
【００４２】
また、図３〜図１１を用いて説明したように、イントラ予測を行うには、符号化対象サブブロックの左側、上側、左上側および右上側のサブブロックを参照し、それらに含まれる符号化済み画素ＥＰの画素値を予測値として使用するので、これらのサブブロックの全てが符号化されていることが必要である。
【００４３】
ところが、符号化にあたっては、後に説明するように、変換、量子化、逆量子化および逆変換という処理を順に施す必要があり、１つのサブブロックＳＢの全て符号化対象画素ＵＰを符号化するには多大な処理時間が必要となる。これは、動画像の品位が高まるにつれて増大し、ＨＤＴＶではさらに長時間化することが予想される。
【００４４】
また、図１を参照して、例えば１２番のサブブロックＳＢに対してイントラ予測を行う場合には、先に説明したように、３番、６番、７番および９番のサブブロックＳＢを参照するが、これらは１２番のサブブロックＳＢのイントラ予測を行う時点では符号化されており、１２番のサブブロックＳＢのイントラ予測に支障は生じないが、例えば１３番のサブブロックＳＢに対してイントラ予測を行う場合、１２番のサブブロックＳＢの符号化が終わらないと、９通りの予測モードを全て実行することができない。
【００４５】
また、１４番のサブブロックＳＢについては、１３番のサブブロックＳＢの符号化が終わっていないと、当該サブブロックＳＢを参照するモード、すなわち予測モード３および７が実行できないことになる。
【００４６】
また、０番および１番のサブブロックＳＢにおいては、マクロブロックＭＢが画面内のどの位置にあるかによって状況が異なる。
【００４７】
すなわち、マクロブロックＭＢが画面の一番左上の部分を構成する場合、０番のサブブロックＳＢでは、一切の参照可能なサブブロックが存在しないので、参照値を例えば１２８として、予測モード２により画像予測を行うことになる。
【００４８】
また、１番のサブブロックＳＢでは、上側、左上側および右上側のサブブロックが存在しないので、左側、すなわち０番のサブブロックＳＢのみを参照した予測モード１および８と、平均値（０番のサブブロックＳＢの右端の４つの画素の平均値）を用いる予測モード２だけが使用可能であり、０番のサブブロックＳＢの符号化が終わらないと、何れの予測モードも使用できない。これは、５番のサブブロックＳＢについても同様である。
【００４９】
しかし、マクロブロックＭＢが、画面の一番左上の右隣りの部分を構成する場合は、０番のサブブロックＳＢは、画面の一番左上のマクロブロックＭＢを構成する５番のサブブロックＳＢを参照することができるようになる。
【００５０】
また、マクロブロックＭＢが、画面の一番左上の下隣りの部分を構成する場合は、０番のサブブロックＳＢは、画面の一番左上のマクロブロックＭＢを構成する９番、１１番のサブブロックＳＢを参照することができ、１番のサブブロックＳＢは、画面の一番左上のマクロブロックＭＢを構成する９番、１１番および１４番のサブブロックＳＢを参照することができる。
【００５１】
このように、イントラ予測においては、参照対象となるサブブロックＳＢの符号化が終わっていないと、９通りの予測モードを全て実行することができない、あるいは使用可能な予測モードの全てを実行することができないので、参照対象となる全てのサブブロックＳＢの符号化が終わってからでないと、符号化対象となるサブブロックＳＢに対してイントラ予測を始めることができず、効率的でないという問題がある。
【００５２】
そこで、発明者達は、直前のサブブロックＳＢに対する符号化が終わっていない段階でイントラ予測を行うことができれば効率化できるものと考え、最適な予測モードを決定するまでの過程を２段階に分け、第１段階では符号化済みの画素値だけでなく、簡易的に符号化前の画素値（未符号化状態の画素値）も予測値として使用するイントラ予測（以後、簡易イントラ予測と呼称）により予測モードの絞り込みを行い、第２段階では、絞り込まれた予測モードについての通常のイントラ予測を行って、最適な予測モードの決定を行うという技術思想に到達した。
【００５３】
＜簡易イントラ予測を有した画像データの生成方法＞
以下、本発明に係る実施の形態として、簡易イントラ予測を有した画像データの生成方法について説明する。
【００５４】
＜エンコーダの構成および動作＞
図１２は、簡易イントラ予測を有した画像データの生成を実行するＨ．２６４のエンコーダ１００の構成を示すブロック図である。
【００５５】
図１２に示すようにエンコーダ１００は、簡易イントラ予測部１、イントラ予測部２、変換部３、量子化部４、エントロピー符号化部５、逆量子化部６、逆変換部７、ループフィルタ８、フレームメモリ９、フレーム間予測部１０および動き予測部１１を備えている。
【００５６】
エンコーダ１００に入力された入力画像信号は、簡易イントラ予測部１および動き予測部１１に与えられるとともに、フレーム間予測部１０から出力される予測画像との差分を取るためにも使用される。
【００５７】
簡易イントラ予測部１では、参照対象のサブブロック（第１のサブブロック）の符号化済みの画素値だけでなく、符号化前の画素値も予測値（第１の予測値）として使用して、最大で９通りの予測モードを実行し、各予測モードにおける予測画像（第１の予測画像）を得るとともに、符号化対象のサブブロック（第２のサブブロック）の符号化対象画素の画素値との差分の絶対値和を取得する。そして、それらの絶対値和の中から、値の小さなものから順に幾つかを選択することで、予測モードの絞り込みを行って最適予測モード候補を選択する。
【００５８】
なお、使用可能な予測モードが少ない場合には、結果的に１つの予測モードだけを最適予測モード候補として選択することもある。
【００５９】
簡易イントラ予測部１での絞り込みの結果は、入力画像信号とともにイントラ予測部１に与えられ、イントラ予測部１においては、絞り込みによって得られた最適予測モード候補について、通常のイントラ予測を実行し、最適予測モードを決定する。
【００６０】
ここで、通常のイントラ予測とは、符号化済みの画素値を予測値（第２の予測値）として用いて予測を行うものであり、この段階では、直前のサブブロックに対する符号化が終わっているので、通常のイントラ予測を行うのに不都合は生じない。なお、簡易イントラ予測およびイントラ予測については、後にさらに説明する。
【００６１】
イントラ予測部２において決定された最適予測モードによって得られた、各符号化対象画素と予測画像（第２の予測画像）との差分データは、変換部３に与えられる。なお、変換部３には、上述したフレーム内予測を行うフレーム内モードで得られる差分データと、フレーム間予測を行うフレーム間モードで得られる差分データとが、モードによって切り換えて与えられる構成となっている。
【００６２】
変換部３では、与えられた差分データに対して離散コサイン変換（ＤＣＴ）を施し、変換係数を出力するが、Ｈ．２６４では、浮動小数点計算を整数化した整数変換（Integer Transform）を用いる。なお、変換の単位は、４×４画素単位である。
【００６３】
量子化部４では、変換部３から与えられるＤＣＴ変換係数に対して量子化を行い、量子化された変換係数を出力する。
【００６４】
量子化された変換係数はエントロピー符号化部５に与えられ、エントロピー符号化部５では、ベースライン・プロフアイルおよびＸプロファイルでは、指数ゴロム符号（Exponential Golomb Coding）と、それを応用したＣＡＶＬＣ（Context−based Adaptive Variable Length Coding）を使用し、また、メイン・プロファイルおよびハイ・プロファイルではＣＡＢＡＣ（Context−based Adaptive Binary Arithmetic Coding）という算術符号を用いて、量子化された変換係数に対するエントロピー符号化を行って、圧縮された画像データをビットストリームとして出力する。
【００６５】
なお、量子化された変換係数は逆量子化部６にも与えられ、さらに逆変換部７を経て差分データに戻される。
【００６６】
フレーム間モードにおいては、スイッチＳＷ１が入って、フレーム間予測部１０で作成された直前のフレームの画素値に上記差分データがそれぞれ加えられた後に、ループフィルタ８を介してフレームメモリ９に蓄積される。このフレームのデータはデコーダ側で再生される符号化済み画像と同じであり、直前のフレームとして、次のフレームを作成するときに使用される。
【００６７】
一方、フレーム内モードの場合は、スイッチＳＷ２が入って、イントラ予測部２において決定された最適の予測モードによって得られた予測画像の画素値に、逆変換後の差分データがそれぞれ加えられて、符号化済み画像データとして、簡易イントラ予測部１およびイントラ予測部２に与えられ、簡易イントラ予測およびイントラ予測に使用される。なお、この符号化済み画像データはデコーダ側で再生される画像データと同じである。
【００６８】
ここで、変換部３、量子化部４、逆量子化部６および逆変換部７における、変換処理、量子化処理、逆変換処理および逆量子化処理によって、デコーダ側で再生される画像データと同じ画像データを得る処理をローカルデコードと呼称する。
【００６９】
ループフィルタ８は、整数変換のブロック境界のみを平滑化してブロックノイズの発生を抑制するデブロッキングフィルタである。
【００７０】
フレーム間予測部１０では、フレームメモリ９に蓄積された、直前のフレームの画像データを使用して、画面の動きを考慮して次のフレームの予測画像を作成する動き補償が実行される。ここで作成された予測画像は、フレーム間モードにおいて、入力画像との間で差分を取るために使用される。
【００７１】
また、動き予測部１１においては、入力画像信号から動きベクトルを検出して画面の動き予測を行い、その結果をフレーム間予測部１０に与える。
【００７２】
＜パイプライン処理＞
次に、図１２を参照しつつ、パイプライン処理を模式的に示す図１３を用いて、簡易イントラ予測およびイントラ予測について説明する。
【００７３】
図１３においては横軸に時間の経過を示し、１連の処理サイクルをブロック処理サイクルとして示しており、図１３では（ｎ−１）、（ｎ）および（ｎ＋１）の３つのブロック処理サイクルを示している。
【００７４】
ここで、ｎ番のサブブロックが符号化対象のサブブロックであるとすると、ｎ番のサブブロックに対して、簡易イントラ予測部１において、図３〜図１１を用いて説明した予測モード０〜８の９通りの予測モードを実行する。
【００７５】
簡易イントラ予測においては、参照対象となるサブブロックの符号化が終わっていない場合には、入力画像信号の画素値を予測値として使用する。
【００７６】
例えば、図１に示す１３番のサブブロックＳＢをｎ番のサブブロックとした場合、通常のイントラ予測では１２番のサブブロックＳＢの符号化が終わらないと、９通りの予測モードを全て実行することができないが、簡易イントラ予測では１２番のサブブロックＳＢの未符号化の状態にある画素、すなわち符号化対象画素の画素値を用いることで、９通りの予測モードを全て実行することができる。
【００７７】
また、図１における１番のサブブロックＳＢについては、０番のサブブロックＳＢの符号化対象画素の画素値を用いることで、０番のサブブロックＳＢの符号化が終わらない状態で、予測モード１、２および８を実行することができる。
【００７８】
図１３に示すように、ｎ番のサブブロックに対する簡易イントラ予測をブロック処理サイクル（ｎ）において行うが、９通りの予測モードを全て実行するには時間が必要であり、ブロック処理サイクル（ｎ）のほぼ全期間を費やして簡易イントラ予測を実行する。
【００７９】
そして、各モードにおいて得られた、予測画像と符号化対象画素ＵＰの当初の画素値との差分の絶対値和の中から、値の小さなもの順に幾つかを選択することで、予測モードの絞り込みを行う。
【００８０】
このように、予測モードを１つに決定するのではなく、幾通りかの最適予測モード候補に絞り込むのは、簡易イントラ予測が、通常のイントラ予測ほど精度の高いものではないからである。
【００８１】
また、ブロック処理サイクル（ｎ）では、簡易イントラ予測と平行して、ｎ−１番のサブブロックに対して、イントラ予測部２において通常のイントラ予測を実行する。
【００８２】
ｎ−１番のサブブロックに関しては、ブロック処理サイクル（ｎ−１）において簡易イントラ予測を実行して予測モードの絞り込みを行っているので、当該絞り込みの結果を反映させて、ブロック処理サイクル（ｎ）において通常のイントラ予測を実行することで、当該処理サイクル期間内で最適予測モードを決定することができる。
【００８３】
すなわち、ここで実行されるイントラ予測では、簡易イントラ予測で幾通りかに絞り込まれた最適予測モード候補についてのみ、再度、予測を実行すれば良く、簡易イントラ予測よりも短い時間で最適予測モードを決定することができる。また、ここで実行されるイントラ予測では、参照対象画素は全て符号化されているので、精度の高い予測が可能となる。
【００８４】
なお、ブロック処理サイクル（ｎ−１）においては、ｎ−２番のサブブロックに対するローカルデコードが終わっているので、ｎ−１番のサブブロックに対して、通常のイントラ予測を実行することについて支障は生じない。
【００８５】
ｎ−１番のサブブロックに対して、通常のイントラ予測を実行して最適予測モードを決定した後は、ブロック処理サイクル（ｎ−１）において、当該最適予測モードを使用して、ｎ−１番のサブブロックのローカルデコードを実行する。
【００８６】
ローカルデコードによって符号化された、ｎ−１番のサブブロックの画素データはイントラ予測部２内のメモリに記憶され、ｎ番のサブブロックに対する通常のイントラ予測において使用される。
【００８７】
同様に、ブロック処理サイクル（ｎ＋１）においては、ｎ＋１番のサブブロックに関しての簡易イントラ予測を実行するとともに、ｎ番のサブブロックに対して、通常のイントラ予測を実行して最適予測モードを決定し、その後は、当該最適予測モードで得られた差分データを使用して、ｎ番のサブブロックのローカルデコードを実行する。
【００８８】
図１４には、符号化対象サブブロックに対して実行する、簡易イントラ予測、通常のイントラ予測およびローカルデコードの流れをフローチャートで示す。
【００８９】
図１４において、エンコーダ１００に符号化対象画像のデータが入力されると、簡易イントラ予測部１において簡易イントラ予測が実行され（ステップＳ１）、その後、各モードにおいて得られた予測画像と、符号化対象画素の当初の画素値との差分の絶対値和の中から、値の小さなもの順に幾つかを選択することで、予測モードが絞り込まれる（ステップＳ２）。なお、イントラ予測部２にも符号化対象画素のデータが与えられる。
【００９０】
そして、イントラ予測部２において、ステップＳ２で絞り込まれた最適予測モード候補に対して、符号化された画素値を用いてイントラ予測を実行し（ステップＳ３）、その後、各モードにおいて得られた、予測画像（第１の予測画像）と、符号化対象画素の当初の画素値との差分の絶対値和の中から、値の最も小さなものを１つ選択することで、最適予測モードを決定する（ステップＳ４）。
【００９１】
次に、決定した最適予測モードによって得られた予測画像（第２の予測画像）と各符号化対象画素の当初の画素値との差分データに対して、変換部３において直交変換（例えばＤＣＴ）を施し（ステップＳ５）、続いて、量子化部４における量子化（ステップＳ６）、逆量子化部６における逆量子化（ステップＳ７）、逆変換部７における逆変換を施す（ステップＳ８）。
【００９２】
そして、最適予測モードによって得られた予測画像に逆変換後のデータ（差分データ）を加えることで、符号化済み画像データを生成し（ステップＳＴ９）、イントラ予測部２にフィードバックする。
【００９３】
＜効果＞
以上説明したように、エンコーダ１００においては、符号化前の画素値も予測値として使用してイントラ予測を行う簡易イントラ予測部１を設け、直前のサブブロックに対する符号化が終わっていない段階でも画像予測を始めることができ、イントラ予測に費やす時間を短縮して、イントラ予測の効率化を図ることができる。
【００９４】
また、同じ符号化対象サブブロックに対する簡易イントラ予測と、通常のイントラ予測とを、パイプライン処理により異なる処理サイクルで処理するものとし、ローカルデコードは通常のイントラ予測の後に行うようにしたので、画像データの符号化処理を効率的に行うことができる。
【図面の簡単な説明】
【００９５】
【図１】１６×１６画素で構成されるマクロブロックを模式的に表す図である。
【図２】サブブロックを構成する１６個の符号化対象画素と、イントラ予測において使用される参照画素を模式的に表す図である。
【図３】予測モード０を模式的に表す図である。
【図４】予測モード１を模式的に表す図である。
【図５】予測モード２を模式的に表す図である。
【図６】予測モード３を模式的に表す図である。
【図７】予測モード４を模式的に表す図である。
【図８】予測モード５を模式的に表す図である。
【図９】予測モード６を模式的に表す図である。
【図１０】予測モード７を模式的に表す図である。
【図１１】予測モード８を模式的に表す図である。
【図１２】本発明に係る簡易イントラ予測を有した画像データの生成方法を実行するＨ．２６４のエンコーダの構成を示すブロック図である。
【図１３】パイプライン処理を模式的に示す図である。
【図１４】本発明に係る簡易イントラ予測を有した画像データの生成方法を説明するフローチャートである。
【符号の説明】
【００９６】
ＭＢ  マクロブロック
ＳＢ  サブブロック
ＥＰ  符号化済み画素
ＵＰ  符号化対象画素
ＢＬ  ブロック
【図１】
0005219062.tif 000002
【図２】
0005219062.tif 000003
【図３】
0005219062.tif 000004
【図４】
0005219062.tif 000005
【図５】
0005219062.tif 000006
【図６】
0005219062.tif 000007
【図７】
0005219062.tif 000008
【図８】
0005219062.tif 000009
【図９】
0005219062.tif 000010
【図１０】
0005219062.tif 000011
【図１１】
0005219062.tif 000012
【図１２】
0005219062.tif 000013
【図１３】
0005219062.tif 000014
【図１４】
0005219062.tif 000015