(57)【特許請求の範囲】
【請求項１】
１つ以上のブロックに分割されて符号化された画像符号化信号の復号化を行う画像復号化装置であって、
対象ブロックが複数のイントラ予測モードの中でどのイントラ予測モードを用いてイントラ符号化されているかを示すイントラ予測モード情報を、前記画像符号化信号から抽出する抽出手段と、
前記イントラ予測モード情報で示されるイントラ予測モードに必要な参照ブロックが当該ピクチャ内又は当該スライス内に存在するか否かを判定する参照画素判定手段と、
前記参照画素判定手段において前記必要な参照ブロックが前記ピクチャ内又は前記スライス内に存在しないと判断された場合に、前記イントラ予測モードを他のイントラ予測モードに切り替え、当該切り替え後のイントラ予測モードを用いて復号化画像を生成するイントラ画像復号化代替手段と
を備えることを特徴とする画像復号化装置。
【請求項２】
前記イントラ画像復号化代替手段は、
前記イントラ予測モード情報で示されるイントラ予測モードを他のイントラ予測モードに切り替え、当該切り替え後のイントラ予測モードを用いてイントラ予測画像を生成する代替イントラ予測画像生成部と、
生成された前記イントラ予測画像を用いて復号化画像を生成する復号化画像生成部と
を備えることを特徴とする請求項１に記載の画像復号化装置。
【請求項３】
前記代替イントラ予測画像生成部は、
前記参照画素判定手段において前記必要な参照ブロックが前記ピクチャ内又は前記スライス内に存在しないと判断された場合に、前記イントラ予測モード情報で示されるイントラ予測モードを他のイントラ予測モードに切り替えるイントラ予測モード切替部と、
前記切り替え後のイントラ予測モードを用いて、イントラ予測画像を生成するイントラ予測画像生成部と
を備えることを特徴とする請求項２に記載の画像復号化装置。
【請求項４】
前記イントラ予測モード切替部は、切り替え後の前記イントラ予測モードが平均値予測モードになるように切り替える
ことを特徴とする請求項３に記載の画像復号化装置。
【請求項５】
前記イントラ予測モード切替部は、前記対象ブロックの左隣接ブロックが使用不可能な場合、前記対象ブロックの前記左隣接ブロック以外のブロックを参照する予測モードになるように切り替える、または、前記対象ブロックの上隣接ブロックが使用不可能な場合、前記対象ブロックの前記上隣接ブロック以外のブロックを参照する予測モードになるように切り替える
ことを特徴とする請求項３に記載の画像復号化装置。
【請求項６】
１つ以上のブロックに分割されて符号化された画像符号化信号の復号化を行う画像復号化方法であって、
対象ブロックが複数のイントラ予測モードの中でどのイントラ予測モードを用いてイントラ符号化されているかを示すイントラ予測モード情報を、前記画像符号化信号から抽出し、
前記イントラ予測モード情報で示されるイントラ予測モードに必要な参照ブロックが当該ピクチャ内又は当該スライス内に存在するか否かを判定し、
前記必要な参照ブロックが前記ピクチャ内又は前記スライス内に存在しないと判断された場合に、前記イントラ予測モードを他のイントラ予測モードに切り替え、当該切り替え後のイントラ予測モードを用いて復号化画像を生成する
ことを特徴とする画像復号化方法。
【請求項７】
１つ以上のブロックに分割されて符号化された画像符号化信号の復号化を行う画像復号化装置に用いられる、コンピュータに実行させるためのプログラムであって、
前記プログラムは、
対象ブロックが複数のイントラ予測モードの中でどのイントラ予測モードを用いてイントラ符号化されているかを示すイントラ予測モード情報を、前記画像符号化信号から抽出する抽出ステップと、
前記イントラ予測モード情報で示されるイントラ予測モードに必要な参照ブロックが当該ピクチャ内又は当該スライス内に存在するか否かを判定する参照画素判定ステップと、
前記参照画素判定ステップにおいて前記必要な参照ブロックが前記ピクチャ内又は前記スライス内に存在しないと判断された場合に、前記イントラ予測モードを他のイントラ予測モードに切り替え、当該切り替え後のイントラ予測モードを用いて復号化画像を生成するイントラ画像復号化代替ステップと
を含むことを特徴とするプログラム。
【請求項８】
１つ以上のブロックに分割されて符号化された画像符号化信号の復号化を行うための集積回路であって、
対象ブロックが複数のイントラ予測モードの中でどのイントラ予測モードを用いてイントラ符号化されているかを示すイントラ予測モード情報を、前記画像符号化信号から抽出する抽出手段と、
前記イントラ予測モード情報で示されるイントラ予測モードに必要な参照ブロックが当該ピクチャ内又は当該スライス内に存在するか否かを判定する参照画素判定手段と、
前記参照画素判定手段において前記必要な参照ブロックが前記ピクチャ内又は前記スライス内に存在しないと判断された場合に、前記イントラ予測モードを他のイントラ予測モードに切り替え、当該切り替え後のイントラ予測モードを用いて復号化画像を生成するイントラ画像復号化代替手段と
を備えることを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、１つ以上のブロックに分割されて符号化された静止画像信号または動画像信号を復号化する画像復号化装置及び画像復号化方法、並びにそれをソフトウェアで実施するためのプログラムに関する。
【背景技術】
【０００２】
ディジタル画像を効率よく記憶し又は伝送するには、圧縮符号化する必要がある。ディジタル画像を効率よく圧縮するための方法として、静止画像ではＪＰＥＧ、動画像ではＨ．２６１、Ｈ．２６３、ＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）―１、ＭＰＥＧ―２、ＭＰＥＧ―４などが開発されている。また、このＭＰＥＧ−１〜４などの技術を継承しつつさらに性能の向上を図ったＭＰＥＧ−４ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）がＩＳＯ（国際標準化機構）によって２００３年に標準規格化されている。
【０００３】
動画に対する画像データの符号化は、イントラ予測符号化とインター予測符号化から成り立っており、例えばＭＰＥＧ−４ＡＶＣでは、連続するピクチャ内の分割されたブロック（マクロブロック）は、符号化方法の違いによって、イントラマクロブロック、インターマクロブロックに分類される（例えば、非特許文献１参照。）。
【０００４】
イントラ予測符号化とは、１枚の閉じたピクチャの中で、周辺に位置するブロックの画素情報を基に符号化対象ブロックの予測画像（イントラ予測画像）を生成し、実際の現画像との差分を送信する手法である。また、インター予測符号化とは、片方向もしくは前後両方向のピクチャを参照ピクチャとして指定し、参照ピクチャより符号化対象ブロックの予測画像を生成し、実際の現画像との差分を送信する手法である。
【０００５】
図１は従来の画像復号化装置の機能構成を示すブロック図である。同図に示されるように、１つ以上のブロックに分割されて符号化された画像符号化信号を復号化するものであって、イントラ予測画像を復号化するための、可変長復号化／逆量子化部１０１と、イントラ予測モード抽出部１０２と、イントラ予測画像生成部１０３と、ラインメモリ１０４と、加算器１０５とを備えている。
【０００６】
画像復号化装置にはさらに、インター予測画像を復号化するための機能が備わっているが、本発明の本質と直接関係しないので、混乱することを避けるため図では省略している。
【０００７】
このように構成された画像復号化装置において、ブロック単位に分割処理されて符号化された符号化信号は、可変長復号化／逆量子化部１０１によって空間領域の差分ブロック画像に変換され、加算器１０５に出力される。
【０００８】
また、イントラ予測モード抽出部１０２により、符号化信号に含まれるイントラ予測モード情報がブロック単位に抽出され、イントラ予測画像生成部１０３に出力される。イントラ予測画像生成部１０３では、抽出されたイントラ予測モードに従い、必要な参照ブロックの参照画素をラインメモリ１０４から取得し、イントラ予測画像をブロック単位に生成し、加算器１０５に出力する。
【０００９】
加算器１０５では、イントラ予測画像生成部１０３より出力されたイントラ予測画像と、可変長復号化／逆量子化部１０１より出力された差分ブロック画像を加算することで復号化画像を生成する。
【００１０】
加算結果の復号化画像は、出力端子より復号化信号として出力されると同時に、次のイントラ予測画像生成のための参照ブロック画像としてラインメモリ１０４に格納される。
【００１１】
ここで、イントラ予測モードについて、ＭＰＥＧ−４ＡＶＣのベースラインプロファイルを例に挙げて説明する。
【００１２】
ＭＰＥＧ−４ＡＶＣの輝度信号におけるイントラ予測画像生成方法では、予測ブロック単位として、縦横１６画素ブロック単位のＩｎｔｒａ１６×１６と、縦横４画素ブロック単位のＩｎｔｒａ４×４があり、それぞれにイントラ予測モードが定義されている。
【００１３】
図２は、ＭＰＥＧ−４ＡＶＣのＩｎｔｒａ４×４におけるイントラ予測モードを示している。図３は図２の各イントラ予測モードが使用する参照画素及び予測方向を示している。
【００１４】
参照ブロックとは、ストリーム（画像符号化信号）中で指定されたイントラ予測モードにおいて、イントラ予測画像生成に必要な画素を含むブロックであり、符号化対象ブロックの左、上、右上及び左上のいずれかに隣接する既に復号化されたブロックである。
【００１５】
図３におけるＤＣ（平均値）モードは、上に隣接する参照ブロックと左に隣接する参照ブロックに含まれる参照画素の平均値よりイントラ予測画像を生成するモードである。ただし、上に隣接する参照ブロックもしくは左に隣接する参照ブロックのどちらか片方が使用することができない場合は、もう一方の使用可能な参照ブロックの画素のみを用いてイントラ予測画像を生成する。さらに、上に隣接する参照ブロックと左に隣接する参照ブロックの両方が参照できない場合には、全ての画素値が１２８の一定な値で構成されたイントラ予測画像を生成する。
【００１６】
なお、隣接ブロックの参照可否の判断基準として、ＭＰＥＧ−４ＡＶＣにおける規格では、以下に挙げる３つの条件のいずれかが該当するブロックは参照ブロックとして使用できないブロックと定義されている。すなわち、（ａ）ピクチャ内に存在しないブロック、（ｂ）復号化対象ブロックとは異なるスライスに属しているブロック、（ｃ）ストリーム中のイントラ予測制限フラグによってインター予測符号化されたブロックの参照が禁止されている場合における、インター予測符号化されたブロックである。
【非特許文献１】ITU-T Rec.H264 | ISO/IEC 14496-10 version 1 “Information technology - Coding of audio-visual objects - Part 10:Advanced video coding”
【発明の開示】
【発明が解決しようとする課題】
【００１７】
しかしながら、伝送誤りや符号化方法の誤りによって、ストリーム中に指定されたイントラ予測モードが規格上使用することができないブロックの画素を参照画素として必要としている場合には、画像復号化処理を継続することができない。
【００１８】
そこで、本発明は、上記の事情に鑑みてなされたものであり、ストリーム中に指定されたイントラ予測モードが規格上使用することができないブロックの画素を参照画素として必要としている場合であっても、復号化画像を生成することができる画像復号化装置および画像復号化方法を提供することを目的とする。
【課題を解決するための手段】
【００１９】
上記目的を達成するため、本発明に係る画像復号化装置は、１つ以上のブロックに分割されて符号化された画像符号化信号の復号化を行う画像復号化装置であって、対象ブロックが複数のイントラ予測モードの中でどのイントラ予測モードを用いてイントラ符号化されているかを示すイントラ予測モード情報を前記画像符号化信号から抽出する抽出手段と、前記イントラ予測モード情報で示されるイントラ予測モードに必要な参照ブロックの使用可能の可否を判定する参照画素判定手段と、前記参照画素判定手段において前記参照ブロックが使用不可能と判断された場合に、復号化画像を生成するイントラ画像復号化代替手段とを備えることを特徴とする。
【００２０】
これによって、例えば符号化時における誤りまた伝送中における誤り等によって、画像符号化信号中に指定されたイントラ予測モードが規格上使用することができないブロックの画素を参照画素として必要としている場合であっても、復号化画像を生成することができる。
【００２１】
ここで、前記イントラ画像復号化代替手段は、代替イントラ予測画像を生成する代替イントラ予測画像生成部と、前記代替イントラ予測画像生成部によって生成された前記代替イントラ予測画像を用いて前記復号化画像を生成する復号化画像生成部とを備えてもよい。
【００２２】
また、前記代替イントラ予測画像生成部は、前記対象ブロックのイントラ予測モードを、前記イントラ予測モード情報で示されるイントラ予測モードから使用不可能なブロックを参照しないイントラ予測モードに切り替えるイントラ予測モード切替部と、前記イントラ予測モード切替部により切り替えられたイントラ予測モードを用いて前記代替イントラ予測画像を生成するイントラ予測画像生成部とを備えてもよい。
【００２３】
また、前記代替イントラ予測画像生成部は、特定の画素値を参照画素として記憶する代替参照画素記憶部と、前記イントラ予測モード情報で示されるイントラ予測モードを用いて、前記代替参照画素記憶部から参照画素を取得して前記代替イントラ予測画像を生成するイントラ予測画像生成部とを備えてもよい。
【００２４】
また、前記代替イントラ予測画像生成部は、特定の画素値で構成されたブロック画像を記憶する代替イントラ予測画像記憶部を備え、前記代替イントラ予測画像記憶部に記憶された前記ブロック画像を前記代替イントラ予測画像として生成してもよい。
【００２５】
また、前記代替イントラ予測画像生成部は、前記参照画素判定手段において使用不可能と判断された前記参照ブロックの画素を参照画素として取得する参照画素強制取得部と、前記イントラ予測モード情報で示されるイントラ予測モードを用いて、前記参照画素強制取得部によって取得された参照画素を使用して前記代替イントラ予測画像を生成するイントラ予測画像生成部とを備えてもよい。
【００２６】
これによって、例えば符号化時における誤りまた伝送中における誤り等によって、符号化信号中で指定されたイントラ予測モードが、使用することができないブロック画像の画素を参照画素として必要としている場合においても、イントラ予測画像を生成することができ、復号化を継続することができる。
【００２７】
また、前記イントラ画像復号化代替手段は、特定の画素値で構成されたブロック画像を記憶する代替復号化画像記憶部を備え、前記代替復号化画像記憶部に記憶されたブロック画像を復号化画像として出力してもよい。
【００２８】
これによって、例えば符号化時における誤りまたは伝送中における誤りによって、使用することのできない画素を参照用画素として必要とするイントラ予測モードが指定された場合においても、復号化信号を生成することができ、復号化処理を継続することが可能となる。
【００２９】
前記画像復号化装置は、さらに、複数の前記イントラ画像復号化代替手段と、複数の前記イントラ画像復号化代替手段の中から１つを選択し、選択した前記イントラ画像復号化代替手段に切り替える代替切替手段とを備えてもよい。
【００３０】
これによって、画像符号化信号中に誤ったイントラ予測モードが指定された場合でも、例えば、状況に応じて外部入力を与えること、または内部の判定により、複数の前記イントラ画像復号化代替手段の中から最適な１つを選択することが可能となり、最適な復号化画像を生成することができる。
【００３１】
なお、本発明は、このような画像復号化装置として実現することができるだけでなく、このような画像復号化装置が備える特徴的な手段をステップとする画像復号化方法として実現したり、それらのステップをコンピュータに実行させるプログラムとして実現したりすることもできる。そして、そのようなプログラムは、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の伝送媒体を介して配信することができるのは言うまでもない。
【発明の効果】
【００３２】
本発明に係る画像復号化装置および画像復号化方法によれば、１つ以上のブロックに分割処理され符号化された画像符号化信号において、符号化時の誤りや伝送時に発生する伝送誤りなどが原因となり、符号化信号中で指定されているイントラ予測モードが、規格上使用することができない参照ブロックの画素を使用するモードであった場合であっても、代替イントラ予測画像もしくは代替復号化画像を生成することにより、イントラ予測で符号化されたブロック画像を復号化することを可能にしている。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態について、図面を参照しながら説明する。
【００３４】
（実施の形態１）
図４は本発明に係る実施の形態１である画像復号化装置２００の構成を示すブロック図である。
【００３５】
図４で示される画像復号化装置２００は、１つ以上のブロックに分割されて符号化された画像符号化信号の復号化を行うための装置であって、その機能として可変長復号化／逆量子化部１０１と、イントラ予測モード抽出部１０２と、イントラ予測画像生成部１０３と、加算器１０５と、ラインメモリ１０４と、参照画素判定部２０１と、スイッチ部２０２と、代替イントラ予測画像生成部２０３とを備えている。なお、図４において図１と同じ構成要素については同じ符号を用い、説明を省略する。
【００３６】
参照画素判定部２０１は、イントラ予測モード抽出部１０２によって抽出されたイントラ予測モード情報と、ラインメモリ１０４に格納されている周辺ブロック画素情報から、指定されたイントラ予測モードに必要な参照ブロックが使用可能かどうかの判断を行うと共に、スイッチ部２０２の制御を行う。参照画素判定部２０１は、イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能であると判断した場合、スイッチ部２０２をスイッチ端Ａ０２に接続する。また、指定されたイントラ予測モードに必要な参照ブロックが１つ以上使用不可能であると判断した場合、スイッチ部２０２をスイッチ端Ａ０１に接続する。
【００３７】
スイッチ部２０２がスイッチ端Ａ０１に接続された場合、代替イントラ予測画像生成部２０３が動作し、代替イントラ予測画像を生成する。
【００３８】
生成された代替イントラ予測画像は、加算器１０５に出力され、差分ブロック画像と加算され、復号化信号として出力される。
【００３９】
代替イントラ予測画像生成部２０３における代替イントラ予測画像を生成するための構成としては、以下の（ａ）から（ｄ）の場合がある。（ａ）イントラ予測モードを切り替える場合、（ｂ）代替参照画素メモリを使用する場合、（ｃ）代替イントラ予測画像メモリを使用する場合、（ｄ）強制的に参照画素を取得する場合、それぞれの場合の詳細について以下に説明する。
【００４０】
（ａ）イントラ予測モードを切り替える場合
図５は代替イントラ予測画像生成部２０３の構成が（ａ）イントラ予測モードを切り替える構成である場合の画像復号化装置３００の構成を示すブロック図である。
【００４１】
代替イントラ予測画像生成部２０３−ａは、イントラ予測モード切替部３０１とイントラ予測画像生成部１０３−ａを備えている。
【００４２】
イントラ予測モード切替部３０１は、参照画素判定部２０１で使用不可であると判定された参照画素を使用しないイントラ予測モードに切り替える。ここでは、イントラ予測モード切替部３０１は、使用不可であると判定された画素を使用しないイントラ予測モードとして、ＭＰＥＧ−４ＡＶＣ規格で符号化された符号化信号である場合には、ＤＣ（平均値）予測モードを選択し、これに切り替える。このＤＣ（平均値）予測モードは、前述した通り、上隣接及び左隣接ブロックの中から、使用可能なブロックの画素のみを参照して、イントラ予測画像を生成することのできるモードである。
【００４３】
イントラ予測画像生成部１０３−ａは、イントラ予測モード切替部によって指定されたイントラ予測モードと、ラインメモリ１０４から取得した参照ブロックの画素値を用いて、代替イントラ予測画像を生成する。生成した代替イントラ予測画像は加算器１０５に出力される。
【００４４】
次に、上記のように構成された画像復号化装置３００の動作について説明する。図６は画像復号化装置３００の動作の流れを示すフローチャートである。
【００４５】
イントラ予測モード抽出部１０２は、符号化信号に含まれるイントラ予測モード情報をブロック単位に抽出する（ステップＳ１０１）。次に、参照画素判定部２０１は、イントラ予測モード抽出部１０２によって抽出されたイントラ予測モード情報と、ラインメモリ１０４に格納されている周辺ブロック画素情報から、イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能か否かの判断を行う（ステップＳ１０２）。イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能である場合（ステップＳ１０２でＹｅｓ）には、参照画素判定部２０１がスイッチ部２０２をスイッチ端Ａ０２に接続することにより、イントラ予測画像生成部１０３が動作する。そして、イントラ予測画像生成部１０３では、イントラ予測モード情報で指定されたイントラ予測モードに従い、必要な参照ブロックの参照画素をラインメモリ１０４から取得し、イントラ予測画像をブロック単位に生成し、生成したイントラ予測画像を加算器１０５に出力する（ステップＳ１０３）。次に、加算器１０５では、イントラ予測画像生成部１０３より出力されたイントラ予測画像と、可変長復号化／逆量子化部１０１よって符号化信号から変換された差分ブロック画像とを加算することで復号化画像を生成する（ステップＳ１０４）。ここで、加算結果の復号化画像は、出力端子より復号化信号として出力されると同時に、次のイントラ予測画像生成のための参照ブロック画像としてラインメモリ１０４に格納される。
【００４６】
一方、イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能でない場合（ステップＳ１０２でＮｏ）には、参照画素判定部２０１がスイッチ部２０２をスイッチ端Ａ０１に接続することにより、代替イントラ予測画像生成部２０３−ａが動作する。そして、イントラ予測モード切替部３０１は、参照画素を使用しないイントラ予測モードに切り替える（ステップＳ１０５）。次に、イントラ予測画像生成部１０３−ａは、イントラ予測モード切替部３０１によって切り替えられたイントラ予測モードと、ラインメモリ１０４にから取得した参照ブロックの画素値を用いて、代替イントラ予測画像を生成し、生成した代替イントラ予測画像を加算器１０５に出力する（ステップＳ１０６）。次に、加算器１０５では、イントラ予測画像生成部１０３−ａより出力された代替イントラ予測画像と、可変長復号化／逆量子化部１０１よって符号化信号から変換された差分ブロック画像とを加算することで復号化画像を生成する（ステップＳ１０４）。
【００４７】
なお、図５においてイントラ予測画像生成部１０３とイントラ予測画像生成部１０３−ａは同一であっても構わない。
【００４８】
また、上記では、イントラ予測モード切替部３０１は、使用不可であると判定された画素を使用しないイントラ予測モードとして、ＤＣ（平均値）予測モードを選択し、これに切り替えているが、これに限られるものではない。例えば、ＤＣ（平均値）予測モード以外の選択方法としては、上隣接ブロックの参照画素が使用不可能な場合は、上隣接ブロック以外のブロックの参照画素を使用するイントラ予測モードへ切り替える方法、及び、左隣接ブロックの参照画素が使用不可能な場合は、左隣接ブロック以外のブロックの参照画素を用いるイントラ予測モードへ切り替える方法も有効である。ここで、代用可能なイントラ予測モードが複数存在するような場合には、例えば、対象ブロック以前で最後に指定されたイントラ予測モードを使用したり、対象ブロック以前で指定された回数が最も多いイントラ予測モードを使用したりしても構わない。
【００４９】
また、参照できないパターン毎に予め代用するイントラ予測モードを決めておいて、そのイントラ予測モードを使用しても構わない。また、図２に示すようなイントラ予測モードに割当てられた番号の最小のイントラ予測モード、または、最大のイントラ予測モードを使用しても構わない。
【００５０】
さらに符号化信号のエラーもしくは符号化方法の誤りなどが原因で、イントラ予測モード抽出部１０２によってイントラ予測モードを抽出することができなかった場合においても、スイッチ部２０２をスイッチ端Ａ０１に接続し、イントラ予測モード切替部３０１が使用可能なイントラ予測モードを生成する方法も有効である。いずれもこの実施形態に限定されるものではない。
【００５１】
（ｂ）代替参照画素メモリを使用する場合
図７は代替イントラ予測画像生成部２０３の構成が（ｂ）代替参照画素メモリを使用する構成である場合の画像復号化装置４００の構成を示すブロック図である。なお、図７において図４と同じ構成要素については同じ符号を用い、説明を省略する。
【００５２】
代替イントラ予測画像生成部２０３−ｂは、代替参照画素メモリ４０１とイントラ予測画像生成部１０３−ａを備えている。代替参照画素メモリ４０１には、一定値の画素値が記憶されており、この画素値を参照不可と判定された参照画素の代替参照用画素としてイントラ予測画像生成部１０３−ａに出力する。イントラ予測画像生成部１０３−ａは、イントラ予測モード情報で指定されたイントラ予測モードと、代替参照画素メモリ４０１から取得した参照画素の画素値を用いて、代替イントラ予測画像を生成する。
【００５３】
次に、上記のように構成された画像復号化装置４００の動作について説明する。図８は画像復号化装置４００の動作の流れを示すフローチャートである。なお、図６と同様の動作については同じ符号を用い、説明を省略する。
【００５４】
イントラ予測モード情報の抽出処理（ステップＳ１０１）からイントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能である場合の復号化画像の生成処理（ステップＳ１０４）までは、図６と同様である。
【００５５】
一方、イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能でない場合（ステップＳ１０２でＮｏ）には、参照画素判定部２０１がスイッチ部２０２をスイッチ端Ａ０１に接続することにより、代替イントラ予測画像生成部２０３−ｂが動作する。そして、イントラ予測画像生成部１０３−ａは、イントラ予測モード情報で指定されたイントラ予測モードと、代替参照画素メモリ４０１から取得した参照画素の画素値を用いて、代替イントラ予測画像を生成し、生成した代替イントラ予測画像を加算器１０５に出力する（ステップＳ２０１）。次に、加算器１０５では、イントラ予測画像生成部１０３−ａより出力された代替イントラ予測画像と、可変長復号化／逆量子化部１０１よって符号化信号から変換された差分ブロック画像とを加算することで復号化画像を生成する（ステップＳ１０４）。
【００５６】
なお、代替参照画素メモリ４０１に記録されている代替参照用画素値として、図９に示すように、加算器１０５の出力先が代替参照画素メモリ４０１に接続されることで、復号化された他のピクチャの画素値や、同一ピクチャ内の復号化された他のブロックの画素値が記憶されていても構わない。いずれもこの実施形態に限定されるものではない。
【００５７】
さらに、図７および図９において、イントラ予測画像生成部１０３とイントラ予測画像生成部１０３−ａは同一であっても構わない。
【００５８】
（ｃ）代替イントラ予測画像メモリを使用する場合
図１０は代替イントラ予測画像生成部２０３の構成が（ｃ）代替イントラ予測画像メモリを使用する構成である場合の画像復号化装置５００の構成を示すブロック図である。
【００５９】
代替イントラ予測画像生成部２０３−ｃは、代替イントラ予測画像メモリ５０１を備えている。代替イントラ予測画像メモリ５０１には、一定値の画素値が記憶されており、この画素値を代替イントラ予測画像として加算器１０５に出力する。
【００６０】
次に、上記のように構成された画像復号化装置５００の動作について説明する。図１１は画像復号化装置５００の動作の流れを示すフローチャートである。なお、図６と同様の動作については同じ符号を用い、説明を省略する。
【００６１】
イントラ予測モード情報の抽出処理（ステップＳ１０１）からイントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能である場合の復号化画像の生成処理（ステップＳ１０４）までは、図６と同様である。
【００６２】
一方、イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能でない場合（ステップＳ１０２でＮｏ）には、参照画素判定部２０１がスイッチ部２０２をスイッチ端Ａ０１に接続することにより、代替イントラ予測画像生成部２０３−ｃが動作する。そして、代替イントラ予測画像メモリ５０１は、記憶している画素値を代替イントラ予測画像として加算器１０５に出力する（ステップＳ３０１）。次に、加算器１０５では、代替イントラ予測画像メモリ５０１より出力された代替イントラ予測画像と、可変長復号化／逆量子化部１０１よって符号化信号から変換された差分ブロック画像とを加算することで復号化画像を生成する（ステップＳ１０４）。
【００６３】
なお、代替イントラ予測画像メモリ５０１に記録されている画素値として、図１２に示すように、加算器１０５の出力先が代替イントラ予測画像メモリ５０１に接続されており、既に復号化された他のピクチャの画素値や、同一ピクチャ内の既に復号化された他のブロックの画素値が記録されていても構わない。いずれもこの実施形態に限定されるものではない。
【００６４】
（ｄ）強制的に参照画素を取得する場合
図１３は代替イントラ予測画像生成部２０３の構成が（ｄ）強制的に参照画素を取得する構成である場合の画像復号化装置６００の構成を示すブロック図である。
【００６５】
代替イントラ予測画像生成部２０３−ｄは、参照画素強制取得部６０１とイントラ予測画像生成部１０３−ａを備えている。参照画素強制取得部６０１は、規格上参照することができないブロックの画素であっても、参照画素としてメモリから画素情報を取得する。
【００６６】
例えばＭＰＥＧ−４ＡＶＣでは、規格上参照することができないブロックとは、以下の３通り定義されている。
（ア）ピクチャ上に存在しないブロック、（イ）復号化対象ブロックとは異なるスライスに属しているブロック、（ウ）符号化信号中のイントラ予測制限フラグによってインター符号化されたブロックの参照が禁止されている場合の、インター予測で符号化されたブロックである。
【００６７】
参照画素強制取得部６０１は、上記の（イ）及び（ウ）の定義に当てはまるブロックの画素であっても、ラインメモリ１０４から強制的に取得し、イントラ予測画像生成部１０３−ａに参照用画素として出力する。これにより、規格上使用することができないと定義されている画素であっても、参照画素として使用し、イントラ予測画像を生成することができる。
【００６８】
次に、上記のように構成された画像復号化装置６００の動作について説明する。図１４は画像復号化装置６００の動作の流れを示すフローチャートである。なお、図６と同様の動作については同じ符号を用い、説明を省略する。
【００６９】
イントラ予測モード情報の抽出処理（ステップＳ１０１）からイントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能である場合の復号化画像の生成処理（ステップＳ１０４）までは、図６と同様である。
【００７０】
一方、イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能でない場合（ステップＳ１０２でＮｏ）には、参照画素判定部２０１がスイッチ部２０２をスイッチ端Ａ０１に接続することにより、代替イントラ予測画像生成部２０３−ｄが動作する。そして、参照画素強制取得部６０１は、上記の（イ）及び（ウ）の定義に当てはまるブロックの画素であっても、ラインメモリ１０４から強制的に取得し、イントラ予測画像生成部１０３−ａに参照用画素として出力する（ステップＳ４０１）。そして、イントラ予測画像生成部１０３−ａは、イントラ予測モード情報で指定されたイントラ予測モードと、参照画素強制取得部６０１によって取得された参照画素の画素値を用いて、代替イントラ予測画像を生成し、生成した代替イントラ予測画像を加算器１０５に出力する（ステップＳ４０２）。次に、加算器１０５では、イントラ予測画像生成部１０３−ａより出力された代替イントラ予測画像と、可変長復号化／逆量子化部１０１よって符号化信号から変換された差分ブロック画像とを加算することで復号化画像を生成する（ステップＳ１０４）。
【００７１】
なお、参照画素強制取得部６０１が取得する画素が格納されているメモリは、ラインメモリに限定するものではなく、対象とする規格もＭＰＥＧ−４ＡＶＣに限定するものではない。
【００７２】
また、図１３において、イントラ予測画像生成部１０３とイントラ予測画像生成部１０３−ａは同一であっても構わない。
【００７３】
さらに、上記（ア）及び（イ）に当てはまる場合であっても、スイッチ部２０２をスイッチ端Ａ０２に接続し、通常と同様にイントラ予測画像生成部１０３がラインメモリ１０４から参照画素を取得してイントラ予測画像を生成する方法であっても、代替イントラ予測画像生成部２０３−ｄを用いた場合と同等の効果を得ることができる。
【００７４】
これにより、符号化時における誤りもしくは伝送中における誤りによって、符号化信号中で指定されたイントラ予測モードが、使用することができないブロック画像の画素を参照画素として必要としている場合においても、前記（ａ）から（ｄ）までのいずれかの構成を備えた代替イントラ予測画像生成部２０３によってイントラ予測画像を生成することができ、復号化を継続することができる。
【００７５】
（実施の形態２）
図１５は本発明に係る実施の形態２である画像復号化装置７００の構成を示すブロック図である。図１５において、図４から図１３と同じ構成については同じ符号を用いて、説明を省略する。
【００７６】
本実施の形態２では、画像復号化装置７００は、図１５に示すようにスイッチ端Ａ０１の側に代替復号化画像生成部７０１を備えており、その内部には代替復号化画像メモリ７０２が備えられている。
【００７７】
代替復号化画像メモリ７０２には、一定の画素値で構成されたブロック画像が記憶されている。参照画素判定部２０１によってスイッチ部２０２がスイッチ端Ａ０１に接続された場合、代替復号化画像生成部７０１が動作し、内部の代替復号化画像メモリ７０２に格納されているブロック画像が、復号化画像として画像復号化装置７００から出力される。また同時に、生成された代替復号化画像は、次のブロックの参照用画像としてラインメモリ１０４に記録される。
【００７８】
次に、上記のように構成された画像復号化装置７００の動作について説明する。図１６は画像復号化装置７００の動作の流れを示すフローチャートである。なお、図６と同様の動作については同じ符号を用い、説明を省略する。
【００７９】
イントラ予測モード情報の抽出処理（ステップＳ１０１）からイントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能である場合の復号化画像の生成処理（ステップＳ１０４）までは、図６と同様である。
【００８０】
一方、イントラ予測モード情報で指定されたイントラ予測モードに必要な参照ブロックが使用可能でない場合（ステップＳ１０２でＮｏ）には、参照画素判定部２０１がスイッチ部２０２をスイッチ端Ａ０１に接続することにより、代替復号化画像生成部７０１が動作する。そして、代替復号化画像メモリ７０２は、記憶しているブロック画像を復号化画像として出力する（ステップＳ５０１）。
【００８１】
なお、代替復号化画像メモリ７０２に格納されるブロック画像は、図１７で示す画像復号化装置７００−ａのように、加算器１０５の出力が代替復号化画像メモリ７０２に接続されており、既に生成された、同一のピクチャ内のブロック画像、もしくは他のピクチャのブロック画像が記録されていてもよい。
【００８２】
また、本実施の形態では、代替復号化画像を代替復号化画像メモリに記憶されている画像として示しているが、計算によって算出した画像でも構わない。
【００８３】
これにより、符号化時における誤り、もしくは伝送中における誤りによって、使用することのできない画素を参照用画素として必要とするイントラ予測モードが指定された場合においても、代替復号化画像メモリ７０２に記憶されている画像を復号化信号として出力することによって、復号化処理を継続することが可能となる。
【００８４】
何れも、この実施の形態に限定されるものではない。
【００８５】
（実施の形態３）
図１８は本発明に係る実施の形態３である画像復号化装置８００の構成を示すブロック図である。図１８において、図４から図１７と同じ構成については同じ符号を用いて、説明を省略する。
【００８６】
本実施の形態３では、画像復号化装置８００は、図１８に示すようにスイッチ端Ａ０１の側に代替切替部８０１を備えている。さらに、代替切替部８０１には、実施の形態１で説明した代替イントラ予測画像生成部２０３−ａから２０３−ｄおよび、実施の形態２で説明した代替復号化画像生成部７０１と７０１−ａの何れかが複数接続されている。
【００８７】
参照画素判定部２０１が、ストリーム中で指定されたイントラ予測モードに必要な参照画素が使用できないと判定した場合、スイッチ部２０２がスイッチ端Ａ０１に接続され、代替切替部８０１が動作する。
【００８８】
代替切替部８０１は、接続されている複数の代替イントラ予測画像生成部または代替復号化画像メモリの中から、外部入力に従い１つを選択し切り替える。
【００８９】
これより、ストリーム中に誤ったイントラ予測モードが指定された場合でも、状況に応じて外部入力を与えることにより、代替イントラ予測画像生成部及び代替復号化画像生成部の中から最適な１つを選択することが可能となる。
【００９０】
また、図１９に示す画像復号化装置８００−ａは、スイッチ端Ａ０１の側に１つ以上の複数の代替イントラ予測画像生成部及び代替復号化画像生成部が接続されている。さらにこれらの複数の代替イントラ予測画像生成部及び代替復号化画像生成部の出力先には、代替切替部８０１が接続されている。代替切替部８０１では、複数の入力された代替イントラ予測画像及び代替復号化画像より、外部入力によって決定された１つをイントラ予測画像もしくは復号化画像として出力する。ここで、外部入力は、複数の代替イントラ予測画像及び代替復号化画像の結果から１つを選択することができる。このような画像復号化装置であっても、複数の代替イントラ予測画像及び代替復号化画像の結果の中から最良の結果を外部入力より選択して出力することができるため、有効である。
【００９１】
さらに、代替切替部８０１の選択方法として、外部入力ではなく、内部の判定によって選択して切替を実施することも可能である。その際の判定手法としては、一度全ての代替イントラ予測画像生成部及び代替復号化画像生成部を実施させて復号化画像を生成し、その全ての結果を既に復号化した複数のピクチャと比較し、代替イントラ予測画像生成部及び代替復号化画像生成部の中から最良の結果が得られた１つに切り替える手法などがある。
【００９２】
何れも、この実施の形態に限定されるものではない。
【００９３】
なお、上記各実施の形態に記載されているメモリは、“メモリ”に限定されること無く、記憶素子であればよい。また、ラインメモリ１０４は加算器１０５から直接接続されていなくても、復号済みのピクチャを記憶するフレームメモリ等を介して接続されていてもよい。
【００９４】
また、上記各実施の形態で説明した参照画素判定部２０１、代替イントラ予測画像生成部２０３、代替切替部８０１などの各機能ブロックは典型的には集積回路であるＬＳＩとして実現される。これらは一部または全てを含むように１チップ化されてもよい。
【００９５】
ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと称されることもある。
【００９６】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【００９７】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩなどに置き換わる集積回路の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【産業上の利用可能性】
【００９８】
以上のように、本発明に係る画像復号化方法及び画像復号化装置は、例えばＤＶＤ装置、テレビ電話、パーソナルコンピュータ、及び携帯電話等で、静止画像もしくは動画像を復号化するための方法として有用である。
【図面の簡単な説明】
【００９９】
【図１】図１は、従来の画像復号化装置の構成を示すブロック図である。
【図２】図２は、ＭＰＥＧ−４ＡＶＣ規格におけるイントラ予測モードの種類を表した図である。
【図３】図３は、ＭＰＥＧ−４ＡＶＣ規格におけるイントラ４×４の各予測モードの予測方向と参照画素を表した図である。
【図４】図４は、本発明の実施の形態１における画像復号化装置の構成を示すブロック図である。
【図５】図５は、本発明の実施の形態１における代替イントラ予測画像生成部がイントラ予測モードを切り替える構成である場合のブロック図である。
【図６】図６は、本発明の実施の形態１における代替イントラ予測画像生成部がイントラ予測モードを切り替える構成である場合の動作の流れを示すフローチャートである。
【図７】図７は、本発明の実施の形態１における代替イントラ予測画像生成部が代替参照画素メモリを使用する構成である場合のブロック図である。
【図８】図８は、本発明の実施の形態１における代替イントラ予測画像生成部が代替参照画素メモリを使用する構成である場合の動作の流れを示すフローチャートである。
【図９】図９は、代替参照画素メモリが復号化された他のブロック画像を記録する構成である場合のブロック図である。
【図１０】図１０は、本発明の実施の形態１における代替イントラ予測画像生成部が代替イントラ予測画像メモリを使用する構成である場合のブロック図である。
【図１１】図１１は、本発明の実施の形態１における代替イントラ予測画像生成部が代替イントラ予測画像メモリを使用する構成である場合の動作の流れを示すフローチャートである。
【図１２】図１２は、代替イントラ予測画像メモリが復号化された他のブロック画像を記録する構成である場合のブロック図である。
【図１３】図１３は、本発明の実施の形態１における代替イントラ予測画像生成部が強制的に参照画素を取得する構成である場合のブロック図である。
【図１４】図１４は、本発明の実施の形態１における代替イントラ予測画像生成部が強制的に参照画素を取得する構成である場合の動作の流れを示すフローチャートである。
【図１５】図１５は、本発明の実施の形態２における画像復号化装置の構成を示すブロック図である。
【図１６】図１６は、本発明の実施の形態２における画像復号化装置の動作の流れを示すフローチャートである。
【図１７】図１７は、本発明の実施の形態２における代替復号化画像メモリが復号化された他のブロック画像を記憶する構成である場合のブロック図である。
【図１８】図１８は、本発明の実施の形態３における画像復号化装置の構成を示すブロック図である。
【図１９】図１９は、本発明の実施の形態３における代替切替部が、代替イントラ予測画像及び代替復号化画像の結果から選択する構成である場合のブロック図である。
【符号の説明】
【０１００】
１００  画像復号化装置
１０１  可変長復号化／逆量子化部
１０２  イントラ予測モード抽出部
１０３、１０３−ａ  イントラ予測画像生成部
１０４  ラインメモリ
１０５  加算器
２００  画像復号化装置
２０１  参照画素判定部
２０２  スイッチ部
２０３  代替イントラ予測画像生成部
Ａ０１、Ａ０２        スイッチ端
３００  画像復号化装置
３０１  イントラ予測モード切替部
４００  画像復号化装置
４０１  代替参照画素メモリ
５００  画像復号化装置
５０１  代替イントラ予測画像メモリ
６００  画像復号化装置
６０１  参照画素強制取得部
７００  画像復号化装置
７０１  代替復号化画像生成部
７０２  代替復号化画像メモリ
８００  画像復号化装置
８０１  代替切替部
【図１】
0004722125.tif 000002
【図２】
0004722125.tif 000003
【図３】
0004722125.tif 000004
【図４】
0004722125.tif 000005
【図５】
0004722125.tif 000006
【図６】
0004722125.tif 000007
【図７】
0004722125.tif 000008
【図８】
0004722125.tif 000009
【図９】
0004722125.tif 000010
【図１０】
0004722125.tif 000011
【図１１】
0004722125.tif 000012
【図１２】
0004722125.tif 000013
【図１３】
0004722125.tif 000014
【図１４】
0004722125.tif 000015
【図１５】
0004722125.tif 000016
【図１６】
0004722125.tif 000017
【図１７】
0004722125.tif 000018
【図１８】
0004722125.tif 000019
【図１９】
0004722125.tif 000020