(57)【要約】  動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる動画像復号化装置を提供する。動画像復号化装置は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部（１００１）と、フィルタ係数のエラーを検出するエラー検出部（１００２）と、エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、動きベクトルまたはフィルタ係数を補正する補正部（１０１０）と、エラーが検出された場合、補正された動きベクトル、または、補正されたフィルタ係数を用いて、画素位置の画素値を特定することにより、動き補償を行う動き補償部（１００７）とを備える。
2011004551.tif 000002
【特許請求の範囲】
【請求項１】
動き補償を行う動画像復号化装置であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
動画像復号化装置。
【請求項２】
前記補正部は、前記エラーが検出された場合、前記動きベクトルを、整数画素位置を指し示す動きベクトルに補正し、
前記動き補償部は、前記エラーが検出された場合、補正された前記動きベクトルによって指し示される前記整数画素位置の画素値を特定することにより、動き補償を行う
請求項１に記載の動画像復号化装置。
【請求項３】
前記補正部は、前記エラーが検出された場合、前記動きベクトルの小数部分の切り捨て、切り上げまたは四捨五入により、前記動きベクトルを補正する
請求項２に記載の動画像復号化装置。
【請求項４】
前記補正部は、前記エラーが検出された場合、前記動きベクトルを０に補正する
請求項２に記載の動画像復号化装置。
【請求項５】
前記補正部は、前記エラーが検出された場合、前記動きベクトルによって指し示される前記小数画素位置の画素値が特定されるように、前記フィルタ係数を補正し、
前記動き補償部は、前記エラーが検出された場合、補正された前記フィルタ係数を用いて、前記動きベクトルによって指し示される前記小数画素位置の画素値を特定することにより、動き補償を行う
請求項１に記載の動画像復号化装置。
【請求項６】
前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、予め定められた値に補正する
請求項５に記載の動画像復号化装置。
【請求項７】
前記補正部は、前記エラーが検出された場合、前記小数画素位置の画素値が前記小数画素位置を囲む複数の整数画素位置における複数の画素値の平均になるように、前記フィルタ係数を補正する
請求項５に記載の動画像復号化装置。
【請求項８】
前記復号化部は、前記フィルタ係数を復号化する前に、１以上のフィルタ係数を復号化し、
前記動画像復号化装置は、さらに、復号化された前記１以上のフィルタ係数を記憶するフィルタ係数記憶部を備え、
前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記フィルタ係数記憶部に記憶された前記１以上のフィルタ係数のいずれかに補正する
請求項５に記載の動画像復号化装置。
【請求項９】
前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、復号化順で復号化対象画像に最も近い画像のフィルタ係数に補正する
請求項８に記載の動画像復号化装置。
【請求項１０】
前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、表示順で復号化対象画像に最も近い画像のフィルタ係数に補正する
請求項８に記載の動画像復号化装置。
【請求項１１】
前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、復号化対象画像内で空間的に最も近いブロックのフィルタ係数に補正する
請求項８に記載の動画像復号化装置。
【請求項１２】
前記動画像復号化装置は、さらに、前記動きベクトルによって指し示される前記小数画素位置の画素値を特定するための新たなフィルタ係数を生成するフィルタ係数生成部を備え、
前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、生成された前記新たなフィルタ係数に補正する
請求項５に記載の動画像復号化装置。
【請求項１３】
前記フィルタ係数生成部は、予め定められた範囲で、前記新たなフィルタ係数を生成する
請求項１２に記載の動画像復号化装置。
【請求項１４】
前記フィルタ係数生成部は、前記動きベクトルによって指し示される前記小数画素位置の画素値が予め定められた範囲になるように、前記新たなフィルタ係数を生成する
請求項１２に記載の動画像復号化装置。
【請求項１５】
前記フィルタ係数生成部は、符号化時におけるフィルタ係数の生成方法と同じ生成方法で、前記新たなフィルタ係数を生成する
請求項１２に記載の動画像復号化装置。
【請求項１６】
前記フィルタ係数生成部は、前記符号化ストリームを先読みすることにより得られるエラーのないフィルタ係数を前記新たなフィルタ係数として生成する
請求項１２に記載の動画像復号化装置。
【請求項１７】
動き補償を行う集積回路であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
集積回路。
【請求項１８】
動き補償を行う動画像復号化方法であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化ステップと、
前記フィルタ係数のエラーを検出するエラー検出ステップと、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正ステップと、
前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償ステップとを含む
動画像復号化方法。
【請求項１９】
動き補償を行う動画像復号化システムであって、
動き補償を行う集積回路と、
参照画像を記憶するメモリとを備え、
前記集積回路は、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記メモリに記憶された前記参照画像における前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
動画像復号化システム。
【請求項２０】
請求項１８に記載の動画像復号化方法に含まれるステップをコンピュータに実行させるための
プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償を行う動画像復号化装置および動画像復号化方法に関する。
【背景技術】
【０００２】
近年、広く利用されている動画像圧縮技術の標準規格として、例えば、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）によるＨ．２６１およびＨ．２６３がある。他に、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）によるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２およびＭＰＥＧ−４などがある。【０００３】
また、他に、ＩＴＵ−ＴとＭＰＥＧの合同であるＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）によるＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などもある。さらに、次世代の動画像圧縮技術が、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣなどで検討されている。【０００４】
一般に、動画像圧縮技術の重要な要素のひとつに、動画像を構成する連続した複数の画面の時間方向の冗長性を削減することにより、情報量を圧縮する動き補償画面間予測（以下、「動き補償」ともいう）がある。【０００５】
動き補償画面間予測とは、符号化対象画面内のマクロブロック、または、サブマクロブロック（以下、「マクロブロック等」ともいう）が、符号化対象画面の前方または後方に位置する参照画面内のどの方向にどの程度動いたかを検出して、予測画像を作成し、得られた予測画像と符号化対象画面との差分値を符号化する手法である。【０００６】
符号化対象画面内のマクロブロック等が符号化対象画面の前方または後方に位置する参照画面内のどの方向にどの程度動いたかを示す情報は、動きベクトルとして示される。つまり、動きベクトルによって、参照画面内の画素位置が指し示される。参照画面は、符号化対象画面から参照される画面である。【０００７】
整数画素以下の予測画像を生成するため、整数画素にフィルタリング処理が施される。例えば、Ｈ．２６４では、まず、規格で定義された固定のフィルタ係数である６タップのＦＩＲフィルタ（フィルタ係数：１、−５、２０、２０、−５、１）を用いて、１／２画素精度の予測画像が生成される。次に、規格で定義された固定のフィルタ係数である２タップの平均値フィルタ（フィルタ係数：１／２、１／２）により、１／４画素精度の予測画像が生成される。【０００８】
ここで、Ｈ．２６４では、整数画素以下の予測画像を生成するためのフィルタ係数は、画像の特性によらず常に同じ値である。動きベクトルが小数精度の画素位置を指し示している場合、上述のように生成された小数精度の予測画像が用いられる。【０００９】
一方、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣなどにおいて、次世代の動画像圧縮技術として提案されている技術のひとつに、整数画素以下の予測画像を生成するためのフィルタ係数を画像の特性などに応じて適応的に変化させる動き補償技術（以下、「可変係数動き補償」ともいう）がある（非特許文献１、非特許文献２、および、非特許文献３）。可変係数動き補償では、復号化時に使用されるフィルタ係数の情報が、符号化ストリームに含まれる。【００１０】
可変係数動き補償により、画像の特性に応じて予測画像が生成されるため、符号化効率がより向上される。【００１１】
ところで、動画像圧縮技術で符号化された符号化ストリームの復号化において、受信した符号化ストリームにエラーが含まれている場合が存在する。エラーが含まれている場合、動画像を復号化する動画像復号化装置は、エラーを検出して復号化を停止してもよい。しかし、復号化が停止された場合、動画像を視聴しているユーザは、一部のみにエラーが含まれる動画像を見ることができない。【００１２】
そこで、動画像復号化装置は、エラーをできるだけ目立たせず、復号化の停止を避けながら、復号化を続行するエラーコンシールメントと呼ばれる処理を行う。代表的なエラーコンシールメントの例として、符号化対象マクロブロックの動きベクトルにエラーが検出された場合、符号化対象マクロブロックの動きベクトルの代わりに、近傍のマクロブロックの動きベクトルを用いる方法がある（例えば、特許文献１および特許文献２参照）。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第３４９６３７８号公報
【特許文献２】特許第３８５２５９４号公報
【非特許文献】
【００１４】
【非特許文献１】Ｔｈｏｍａｓ  Ｗｅｄｉ著「ＡＤＡＰＴＩＶＥ  ＩＮＴＥＲＰＯＬＡＴＩＯＮ  ＦＩＬＴＥＲ  ＦＯＲ  ＭＯＴＩＯＮ  ＣＯＭＰＥＮＳＡＴＥＤ  ＨＹＢＬＩＤ  ＶＩＤＥＯ  ＣＯＤＩＮＧ」  Ｐｒｏｃ．  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ２００１）、Ｓｅｏｕｌ、Ｋｏｒｅａ、Ａｐｒｉｌ  ２００１
【非特許文献２】Ｙ．Ｖａｔｉｓ  ｅｔ  ａｌ著「Ｔｗｏ  Ｄｉｍｅｎｓｉｏｎａｌ  ｎｏ―ｓｅｐａｒａｔａｂｌｅ  Ａｄａｐｔｉｖｅ  Ｗｉｅｎｅｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｈ．２６４／ＡＶＣ」  ＩＴＵ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ  ＳＴＵＤＹ  ＧＲＯＵＰ  １６  Ｑｕｅｓｔｉｏｎ  ６  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）  ｄｏｃｕｍｅｎｔ  ＶＣＥＧ−Ｚ１７、１６  Ａｐｒ  ２００５
【非特許文献３】Ｋａｉ  Ｚｈａｎｇ  ｅｔ  ａｌ著「Ｓｉｎｇｌｅ−Ｐａｓｓ  Ｅｎｃｏｄｉｎｇ  Ｕｓｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ａｄａｐｔｉｖｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｆｉｌｔｅｒｓ」  ＩＴＵ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ  ＳＴＵＤＹ  ＧＲＯＵＰ  １６  Ｑｕｅｓｔｉｏｎ  ６  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）  ｄｏｃｕｍｅｎｔ  ＶＣＥＧ−ＡＫ２６、１５−１８  Ａｐｒ  ２００９
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、従来技術では、次世代の動画像圧縮技術として提案されている可変係数動き補償画面間予測において使用されるフィルタ係数にエラーがあった場合が考慮されていない。したがって、動きベクトルのエラーが隠蔽されても、フィルタ係数にエラーがあった場合、動き補償処理が停止し、結果として、動画像の復号化処理が停止する可能性がある。この場合、動画像を視聴しているユーザは、一部のみにエラーが含まれる動画像を見ることができない。【００１６】
そこで、本発明は、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、本発明に係る動画像復号化装置は、動き補償を行う動画像復号化装置であって、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、前記フィルタ係数のエラーを検出するエラー検出部と、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える。【００１８】
これにより、本発明に係る動画像復号化装置は、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。【００１９】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルを、整数画素位置を指し示す動きベクトルに補正し、前記動き補償部は、前記エラーが検出された場合、補正された前記動きベクトルによって指し示される前記整数画素位置の画素値を特定することにより、動き補償を行ってもよい。【００２０】
これにより、動きベクトルにより指し示される画素位置が、整数画素位置に補正される。したがって、本発明に係る動画像復号化装置は、エラーのフィルタ係数を用いることなく、動き補償処理を継続できる。【００２１】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルの小数部分の切り捨て、切り上げまたは四捨五入により、前記動きベクトルを補正してもよい。【００２２】
これにより、動きベクトルにより指し示される画素位置が、近傍の整数画素位置に補正される。したがって、画質の劣化が抑制される。【００２３】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルを０に補正してもよい。【００２４】
これにより、より確実に、動き補償に用いられる画素位置の画素値が特定される。【００２５】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルによって指し示される前記小数画素位置の画素値が特定されるように、前記フィルタ係数を補正し、前記動き補償部は、前記エラーが検出された場合、補正された前記フィルタ係数を用いて、前記動きベクトルによって指し示される前記小数画素位置の画素値を特定することにより、動き補償を行ってもよい。【００２６】
これにより、本発明に係る動画像復号化装置は、動き補償に用いられる画素位置の画素値を特定できる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。【００２７】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、予め定められた値に補正してもよい。【００２８】
これにより、フィルタ係数にエラーがある場合、予め定められた値がフィルタ係数として用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。【００２９】
また、前記補正部は、前記エラーが検出された場合、前記小数画素位置の画素値が前記小数画素位置を囲む複数の整数画素位置における複数の画素値の平均になるように、前記フィルタ係数を補正してもよい。【００３０】
これにより、動き補償に近傍の画素値が用いられる。したがって、画質の劣化が抑制される。【００３１】
また、前記復号化部は、前記フィルタ係数を復号化する前に、１以上のフィルタ係数を復号化し、前記動画像復号化装置は、さらに、復号化された前記１以上のフィルタ係数を記憶するフィルタ係数記憶部を備え、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記フィルタ係数記憶部に記憶された前記１以上のフィルタ係数のいずれかに補正してもよい。【００３２】
これにより、フィルタ係数にエラーがある場合、以前に復号化されたフィルタ係数が用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。【００３３】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、復号化順で復号化対象画像に最も近い画像のフィルタ係数に補正してもよい。【００３４】
これにより、処理の複雑化が軽減される。【００３５】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、表示順で復号化対象画像に最も近い画像のフィルタ係数に補正してもよい。【００３６】
これにより、時間的に近いフィルタ係数が用いられる。したがって、画質の劣化が抑制される。【００３７】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、復号化対象画像内で空間的に最も近いブロックのフィルタ係数に補正してもよい。【００３８】
これにより、空間的に近いフィルタ係数が用いられる。したがって、画質の劣化が抑制される。【００３９】
また、前記動画像復号化装置は、さらに、前記動きベクトルによって指し示される前記小数画素位置の画素値を特定するための新たなフィルタ係数を生成するフィルタ係数生成部を備え、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、生成された前記新たなフィルタ係数に補正してもよい。【００４０】
これにより、フィルタ係数にエラーがある場合、新たなフィルタ係数が用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。【００４１】
また、前記フィルタ係数生成部は、予め定められた範囲で、前記新たなフィルタ係数を生成してもよい。【００４２】
これにより、新たなフィルタ係数が、異常値にならないように、生成される。【００４３】
また、前記フィルタ係数生成部は、前記動きベクトルによって指し示される前記小数画素位置の画素値が予め定められた範囲になるように、前記新たなフィルタ係数を生成してもよい。【００４４】
これにより、動き補償に用いられる画素位置の画素値が異常値にならないように、新たなフィルタ係数が生成される。【００４５】
また、前記フィルタ係数生成部は、符号化時におけるフィルタ係数の生成方法と同じ生成方法で、前記新たなフィルタ係数を生成してもよい。【００４６】
これにより、本発明に係る動画像復号化装置は、符号化時と同様のフィルタ係数を用いて、動き補償を行える。したがって、画質の劣化が軽減される。【００４７】
また、前記フィルタ係数生成部は、前記符号化ストリームを先読みすることにより得られるエラーのないフィルタ係数を前記新たなフィルタ係数として生成してもよい。【００４８】
これにより、フィルタ係数にエラーがある場合、将来用いられる予定のフィルタ係数が用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。【００４９】
また、本発明に係る集積回路は、動き補償を行う集積回路であって、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、前記フィルタ係数のエラーを検出するエラー検出部と、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える集積回路でもよい。【００５０】
これにより、本発明に係る動画像復号化装置が、集積回路として実現される。【００５１】
また、本発明に係る動画像復号化方法は、動き補償を行う動画像復号化方法であって、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化ステップと、前記フィルタ係数のエラーを検出するエラー検出ステップと、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正ステップと、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償ステップとを含む動画像復号化方法でもよい。【００５２】
これにより、本発明に係る動画像復号化装置が、動画像復号化方法として実現される。【００５３】
また、本発明に係る動画像復号化システムは、動き補償を行う動画像復号化システムであって、動き補償を行う集積回路と、参照画像を記憶するメモリとを備え、前記集積回路は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、前記フィルタ係数のエラーを検出するエラー検出部と、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記メモリに記憶された前記参照画像における前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える動画像復号化システムでもよい。【００５４】
これにより、本発明に係る動画像復号化装置が、一体化された動画像復号化システムとして実現される。【００５５】
また、本発明に係るプログラムは、前記動画像復号化方法に含まれるステップをコンピュータに実行させるためのプログラムでもよい。【００５６】
これにより、本発明に係る動画像復号化方法が、プログラムとして実現される。
【発明の効果】
【００５７】
本発明により、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償を継続できる。
【図面の簡単な説明】
【００５８】
【図１】図１は、実施の形態１に係る動画像復号化装置の構成を示す構成図である。
【図２】図２は、実施の形態１に係る動画像復号化装置の処理を示すフローチャートである。
【図３】図３は、実施の形態１に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図４】図４は、実施の形態２に係る動画像復号化装置の構成を示す構成図である。
【図５】図５は、実施の形態２に係る動画像復号化装置の処理を示すフローチャートである。
【図６】図６は、実施の形態２に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図７】図７は、実施の形態３に係る動画像復号化装置の構成を示す構成図である。
【図８】図８は、実施の形態３に係る動画像復号化装置の処理を示すフローチャートである。
【図９】図９は、実施の形態３に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図１０】図１０は、実施の形態４に係る動画像復号化装置の構成を示す構成図である。
【図１１】図１１は、実施の形態４に係る動画像復号化装置の処理を示すフローチャートである。
【図１２】図１２は、実施の形態４に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図１３】図１３は、実施の形態５に係る動画像復号化装置の構成を示す構成図である。
【図１４】図１４は、実施の形態５に係る動画像復号化装置の処理を示すフローチャートである。
【図１５】図１５は、実施の形態６に係る動画像復号化装置の構成を示す構成図である。
【図１６】図１６は、実施の形態６に係る動画像復号化装置の処理を示すフローチャートである。
【図１７】図１７は、実施の形態７に係る動画像復号化システムの特徴的な構成を示す構成図である。
【図１８】図１８は、実施の形態８に係る動画像復号化装置の構成を示す構成図である。
【図１９】図１９は、実施の形態９に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。
【図２０】図２０は、実施の形態９に係るデジタル放送用システムの全体構成図である。
【図２１】図２１は、実施の形態９に係るテレビの構成例を示すブロック図である。
【図２２】図２２は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。
【図２３】図２３は、光ディスクである記録メディアの構造例を示す図である。
【図２４】図２４は、動画像復号化処理を実現する集積回路を示す構成図である。
【図２５】図２５は、動画像符号化処理および動画像復号化処理を実現する集積回路の構成例を示す構成図である。
【発明を実施するための形態】
【００５９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００６０】
（実施の形態１）
図１は、実施の形態１に係る動画像復号化装置の構成を示す構成図である。
【００６１】
図１に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８および補正部１０１０を備える。
【００６２】
復号化部１００１は、動画像圧縮技術の標準規格に準じて符号化されたストリームの復号化を行い、ヘッダ情報と予測誤差信号を出力する機能を有する。
【００６３】
ヘッダ情報には、少なくとも動き補償に用いるフィルタ係数に関する情報（以下、「動き補償フィルタ係数情報」、または、単に「フィルタ係数」ともいう）、および、動き補償に用いる動きベクトルが含まれる。
【００６４】
動き補償フィルタ係数情報とは、小数画素位置の画素値を特定するための情報である。動き補償フィルタ係数情報は、ピクチャ単位で定められてもよいし、スライス単位で定められてもよいし、ブロック単位で定められてもよい。動きベクトルとは、画素位置を指し示す情報である。
【００６５】
エラー検出部１００２は、符号化ストリーム中に定義されている動き補償フィルタ係数情報が動画像圧縮技術の標準規格に準じていない場合、エラーとして検出する機能を有する。動き補償フィルタ係数情報のエラーとして、例えば、符号化ストリームに必要な動き補償フィルタ係数情報が存在していない場合、または、動き補償フィルタ係数情報の形式が予め定められた形式と異なる場合等がある。
【００６６】
補正部１０１０は、エラー検出部１００２がエラーを検出した場合、かつ、復号化部１００１が復号化した動きベクトルが小数精度の動きベクトルの場合、その動きベクトルを整数精度の動きベクトルに補正する機能を有する。言い換えれば、補正部１０１０は、小数画素位置を指し示す動きベクトルを、整数画素位置を指し示す動きベクトルに補正する。
【００６７】
フレームメモリ１００６は、動き補償部１００７が参照する参照画像を保持する機能を有する。
【００６８】
動き補償部１００７は、動きベクトルに基づいて、フレームメモリ１００６から参照画像を取得して、動き補償処理を行う機能を有する。
【００６９】
例えば、エラー検出部１００２がエラーを検出しなかった場合、動き補償部１００７は、フレームメモリ１００６から取得した参照画像と、復号化された動き補償フィルタ係数情報と、復号化された動きベクトルとを用いて動き補償処理を行う。
【００７０】
一方、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、フレームメモリ１００６から取得した参照画像と、復号化された動き補償フィルタ係数情報と、補正された動きベクトルとを用いて動き補償処理を行う。
【００７１】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。さらに、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【００７２】
加算部１００８は、予測誤差信号と予測画像とを加算する機能を有する。
【００７３】
次に、図１に示された動画像復号化装置の復号化処理動作について説明する。
【００７４】
図２は、図１に示された動画像復号化装置の処理を示すフローチャートである。
【００７５】
まず、復号化部１００１は、符号化ストリームを読み取り、符号化ストリームを構成するヘッダ情報と予測誤差信号とを復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ１０１）。
【００７６】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２は、エラーを検出する（Ｓ１０２）。
【００７７】
エラー検出部１００２がエラーを検出した場合（Ｓ１０２でＹｅｓ）、補正部１０１０は、復号化部１００１が復号化した動きベクトル情報が、整数精度の動きベクトルか小数精度の動きベクトルかを判定する（Ｓ１０３）。その判定の結果、動きベクトルが小数精度の場合（Ｓ１０３でＹｅｓ）、補正部１０１０は、動きベクトルを整数精度に補正する（Ｓ１０４）。
【００７８】
一方、エラーが検出されなかった場合（Ｓ１０２でＮｏ）、または、エラーが検出されたが動きベクトルが整数精度の場合（Ｓ１０３でＮｏ）、補正部１０１０は、補正処理（Ｓ１０４）を行わない。
【００７９】
次に、動き補償部１００７は、動きベクトルに基づいて、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ１０５）。
【００８０】
ここで、エラー検出部１００２がエラーを検出しなかった場合、動き補償部１００７は、復号化された動き補償フィルタ係数情報、および、復号化された動きベクトルを用いて、復号化された動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う。
【００８１】
動き補償部１００７は、エラーが検出されなかった場合、復号化された動き補償フィルタ係数情報を用いて、小数画素位置の画素値を特定することができる。したがって、動き補償部１００７は、復号化された動きベクトルが小数画素位置を指し示している場合であっても、小数画素位置の画素値を特定することにより、動き補償処理を行うことができる。
【００８２】
一方、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、補正された動きベクトルを用いて、補正された動きベクトルが指し示す整数画素位置の画素値を特定することにより、動き補償処理を行う。補正された動きベクトルは、整数画素位置を指し示しているため、動き補償部１００７は、動き補償フィルタ係数情報を用いることなく、動き補償処理に用いられる画素位置の画素値を特定することができる。
【００８３】
また、エラー検出部１００２がエラーを検出した場合でも、復号化された動きベクトルが整数画素位置を指し示していれば、動き補償部１００７は、復号化された動きベクトルが指し示す整数画素位置の画素値を特定することにより、動き補償処理を行う。この場合も、動き補償部１００７は、動き補償フィルタ係数情報を用いることなく、動き補償処理に用いられる画素位置の画素値を特定することができる。
【００８４】
そして、動き補償部１００７は、動き補償処理を行うことにより予測画像を生成し、生成された予測画像を加算部１００８へ出力する。
【００８５】
加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ１０６）。そして、加算部１００８は、生成された画像を出力する。
【００８６】
図３は、図１に示された動画像復号化装置の特徴的な構成を示す構成図である。図３に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。図３に示された各構成要素は、図１に示された各構成要素と同様の機能を有する。
【００８７】
図３に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【００８８】
図３に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【００８９】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、かつ、復号化部１００１が出力した動きベクトルが小数精度の場合、動きベクトルが整数精度に補正される。したがって、小数精度画素の補間が不要となり、動き補償フィルタ係数情報は不要となる。これにより、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【００９０】
また、エラー検出部１００２がエラーを検出した場合、かつ、復号化部１００１が出力した動きベクトルが整数精度の場合、動き補償部１００７は、そもそも動き補償フィルタ係数情報を利用しないため動き補償処理を行うことができる。
【００９１】
なお、本実施の形態では、エラーが検出された場合、動き補償部１００７は、動き補償フィルタ係数情報を用いない。しかし、動き補償部１００７は、任意の値を動き補償フィルタ係数情報として用いてもよい。
【００９２】
また、補正部１０１０は、動きベクトルを小数精度から整数精度に補正する時、動きベクトルの小数部を切り捨ててもよいし、切り上げてもよいし、四捨五入してもよい。これにより、動きベクトルによって指し示される画素位置が、近傍の画素位置に補正されるため、画質の劣化が抑制される。
【００９３】
また、補正部１０１０は、動きベクトルを小数精度から整数精度に補正する時、動きベクトルを任意の整数値に補正してもよい。例えば、補正部１０１０は、動きベクトルを０に補正してもよい。これにより、補正部１０１０は、動きベクトルを小数精度から整数精度に補正することができる。
【００９４】
（実施の形態２）
図４は、実施の形態２に係る動画像復号化装置の構成を示す構成図である。図４において、図１と同じ符号が割り当てられた構成要素は、図１に示された構成要素と同様の機能を有する。
【００９５】
図４に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８および補正部１０１０を備える。
【００９６】
補正部１０１０は、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報を固定値等の予め定められた値に補正する機能を有する。つまり、補正部１０１０は、実施の形態１における補正部１０１０と異なり、動きベクトルではなく、動き補償フィルタ係数情報を補正する。補正に用いられる予め定められた値は、動き補償フィルタ係数情報として、正常な値であればよい。
【００９７】
動き補償部１００７は、実施の形態１と同様に、動きベクトルに基づいて、フレームメモリ１００６から参照画像を取得して、動き補償処理を行う機能を有する。ただし、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、フレームメモリ１００６から取得した参照画像と、補正された動き補償フィルタ係数情報と、復号化された動きベクトルとを用いて動き補償処理を行う。
【００９８】
次に、図４に示された動画像復号化装置の復号化処理動作について説明する。
【００９９】
図５は、図４に示された動画像復号化装置の処理を示すフローチャートである。
【０１００】
図５に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ２０１）。
【０１０１】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ２０２）。
【０１０２】
ここで、エラー検出部１００２がエラーを検出した場合（Ｓ２０２でＹｅｓ）、補正部１０１０は、動き補償フィルタ係数情報を固定値等の予め定められた値に補正する（Ｓ２０３）。
【０１０３】
一方、エラー検出部１００２がエラーを検出しなかった場合（Ｓ２０２でＮｏ）、補正部１０１０は、補正処理（Ｓ２０３）を行わない。
【０１０４】
動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ２０４）。
【０１０５】
ここで、エラー検出部１００２がエラーを検出しなかった場合、動き補償部１００７は、実施の形態１と同様に、動き補償処理を行う。
【０１０６】
一方、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、補正された動き補償フィルタ係数情報を用いて、復号化された動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う。この時、動き補償フィルタ係数情報は、正常な動き補償フィルタ係数情報に補正されているため、動き補償部１００７は、小数画素位置の画素値を特定することができる。
【０１０７】
したがって、動き補償部１００７は、動きベクトルが小数画素位置を指し示している場合であっても、動き補償を行うことができる。
【０１０８】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１０９】
次に、加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ２０５）。そして、加算部１００８は、生成された画像を出力する。
【０１１０】
図６は、図４に示された動画像復号化装置の特徴的な構成を示す構成図である。図６に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。各構成要素は、図４に示された各構成要素と同様の機能を有する。
【０１１１】
図６に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【０１１２】
図６に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【０１１３】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報が、固定値等の予め定められたに補正される。したがって、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１１４】
なお、本実施の形態では、エラーが検出された場合、補正部１０１０は、動き補償フィルタ係数情報を、予め定められた値に補正している。しかし、補正部１０１０は、復号化された動きベクトルによって指し示される小数画素位置の画素値が特定されるように、フィルタ係数を任意の値に補正してもよい。
【０１１５】
また、補正部１０１０は、動き補償フィルタ係数情報を、動画像圧縮技術の方式で定められたデフォルト値に補正してもよいし、動きベクトルが指し示す位置の近傍の画素位置の画素値に掛け合わせる値のみが有効である動き補償フィルタ係数に補正してもよい。
【０１１６】
例えば、補正部１０１０は、動きベクトルによって指し示される小数画素位置の画素値が、その小数画素位置を囲む複数の整数画素位置における複数の画素値の平均になるように、フィルタ係数を補正してもよい。これにより、動きベクトルによって指し示される小数画素位置に近い画素位置の画素値が用いられ、画質の劣化が抑制される。
【０１１７】
また、補正部１０１０は、実施の形態１と同様に、動きベクトルが小数精度である場合のみ、補正処理を実行してもよい。
【０１１８】
（実施の形態３）
図７は、実施の形態３に係る動画像復号化装置の構成を示す構成図である。図７において、図４と同じ符号が割り当てられた構成要素は、図４に示された構成要素と同様の機能を有する。
【０１１９】
図７に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フィルタ係数記憶部３００３、フレームメモリ１００６、動き補償部１００７、加算部１００８および補正部１０１０を備える。
【０１２０】
フィルタ係数記憶部３００３は、過去に復号化された動き補償フィルタ係数情報を保持する機能を有する。例えば、復号化部１００１は、エラーが検出されなかった動き補償フィルタ係数情報をフィルタ係数記憶部３００３に格納する。これにより、１以上の動き補償フィルタ係数情報がフィルタ係数記憶部３００３に記憶される。
【０１２１】
補正部１０１０は、実施の形態２と同様に、動き補償フィルタ係数情報を補正する機能を有する。実施の形態３の補正部１０１０は、エラー検出部１００２がエラーを検出した場合、フィルタ係数記憶部３００３が保持している動き補償フィルタ係数情報を読み出す。そして、補正部１０１０は、読み出された動き補償フィルタ係数情報に、動き補償フィルタ係数情報を補正する。
【０１２２】
次に、図７に示された動画像復号化装置の復号化処理動作について説明する。
【０１２３】
図８は、図７に示された動画像復号化装置の処理を示すフローチャートである。
【０１２４】
図８に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ３０１）。
【０１２５】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ３０２）。
【０１２６】
ここで、エラー検出部１００２がエラーを検出した場合（Ｓ３０２でＹｅｓ）、補正部１０１０は、フィルタ係数記憶部３００３から過去に復号化された動き補償フィルタ係数情報を読み出す。そして、補正部１０１０は、動き補償フィルタ係数情報を、読み出された動き補償フィルタ係数情報に補正する（Ｓ３０３）。
【０１２７】
一方、エラー検出部１００２がエラーを検出しなかった場合（Ｓ３０２でＮｏ）、補正部１０１０は、補正処理（Ｓ３０３）を行わない。
【０１２８】
次に、動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ３０４）。ここで、動き補償部１００７は、実施の形態２と同様の動作（Ｓ２０４）で、動き補償処理を行うことができる。
【０１２９】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１３０】
次に、加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ３０５）。そして、加算部１００８は、生成された画像を出力する。
【０１３１】
図９は、図７に示された動画像復号化装置の特徴的な構成を示す構成図である。図９に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７、補正部１０１０およびフィルタ係数記憶部３００３を備える。各構成要素は、図７に示された各構成要素と同様の機能を有する。
【０１３２】
図９に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【０１３３】
図９に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【０１３４】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報が、過去に正しく復号化された動き補償フィルタ係数情報に補正される。したがって、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１３５】
なお、本実施の形態では、エラーが検出された場合、補正部１０１０は、動き補償フィルタ係数情報を過去に正しく復号化された動き補償フィルタ係数情報で補正する。ここで、補正部１０１０は、動き補償フィルタ係数情報を、最も後に復号化された動き補償フィルタ係数情報に補正してもよい。つまり、補正部１０１０は、動き補償フィルタ係数情報を、復号化順で復号化対象画像に最も近い画像のフィルタ係数に補正してもよい。これにより、実装が容易になる。
【０１３６】
また、補正部１０１０は、動き補償フィルタ係数情報を、表示順で最も近い動き補償フィルタ情報に補正してもよい。これにより、動き補償フィルタ係数情報は、特性が似ている画像に用いられた動き補償フィルタ係数情報に補正される。したがって、画質の劣化が抑制される。
【０１３７】
また、補正部１０１０は、動き補償フィルタ係数情報を、空間的に最も近い位置の動き補償フィルタ係数情報に補正してもよい。例えば、ブロック単位で動き補償フィルタ係数情報が定められる場合、空間的に近い位置の複数の動き補償フィルタ係数情報は、同じような値であると考えられる。したがって、動き補償フィルタ係数情報が、空間的に近い位置の動き補償フィルタ係数情報に補正されることにより、画質の劣化が抑制される。
【０１３８】
また、補正部１０１０は、動き補償フィルタ係数情報を、時間的に最も近い位置の動き補償フィルタ係数情報に補正してもよい。例えば、フィールド単位で動き補償フィルタ係数情報が定められる場合、同じピクチャの別のフィールドの動き補償フィルタ係数情報が、補正に用いられてもよい。補正部１０１０は、時間的に最も近い位置の動き補償フィルタ係数情報として、復号化順で最も近い動き補償フィルタ係数情報を用いてもよい。
【０１３９】
また、フィルタ係数記憶部３００３には、事前に、動き補償フィルタ係数情報が記憶されていてもよい。この場合、フィルタ係数記憶部３００３に記憶された動き補償フィルタ係数情報は、過去に復号化された動き補償フィルタ係数情報でなくてもよい。
【０１４０】
（実施の形態４）
図１０は、実施の形態４に係る動画像復号化装置の構成を示す構成図である。図１０において、図４と同じ符号が割り当てられた構成要素は、図４に示された構成要素と同様の機能を有する。
【０１４１】
図１０に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８、補正部１０１０およびフィルタ係数生成部４００３を備える。
【０１４２】
フィルタ係数生成部４００３は、動きベクトルによって指し示される小数画素位置の画素値を特定するための新たな動き補償フィルタ係数情報を生成する機能を有する。
【０１４３】
補正部１０１０は、実施の形態２と同様に、動き補償フィルタ係数情報を補正する機能を有する。実施の形態４の補正部１０１０は、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報を、フィルタ係数生成部４００３が生成した新たな動き補償フィルタ係数情報に補正する。
【０１４４】
次に、図１０に示された動画像復号化装置の復号化処理動作について説明する。
【０１４５】
図１１は、図１０に示された動画像復号化装置の処理を示すフローチャートである。
【０１４６】
図１１に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、予測誤差信号を出力する（Ｓ４０１）。
【０１４７】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ４０２）。
【０１４８】
エラー検出部１００２がエラーを検出しなかった場合（Ｓ４０２でＹｅｓ）、フィルタ係数生成部４００３は、新たな動き補償フィルタ係数情報を生成する（Ｓ４０３）。フィルタ係数生成部４００３は、エラーの検出の有無に関わらず、事前に、新たな動き補償フィルタ係数情報を生成してもよい。
【０１４９】
そして、補正部１０１０は、動き補償フィルタ係数情報を、生成された新たな動き補償フィルタ係数に補正する（Ｓ４０４）。
【０１５０】
一方、エラー検出部１００２がエラーを検出しなかった場合（Ｓ４０２でＮｏ）、補正部１０１０は、補正処理（Ｓ４０４）を行わない。
【０１５１】
動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ４０５）。ここで、動き補償部１００７は、実施の形態２と同様の動作（Ｓ２０４）で、動き補償処理を行うことができる。
【０１５２】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１５３】
加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ４０６）。そして、加算部１００８は、生成された画像を出力する。
【０１５４】
図１２は、図１０に示された動画像復号化装置の特徴的な構成を示す構成図である。図１２に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７、補正部１０１０およびフィルタ係数生成部４００３を備える。図１２に示された各構成要素は、図１０に示された各構成要素と同様の機能を有する。
【０１５５】
図１２に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【０１５６】
図１２に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【０１５７】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合は、動き補償フィルタ係数情報が生成される。したがって、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１５８】
なお、本実施の形態では、フィルタ係数生成部４００３は、動きベクトルによって指し示される小数画素位置の画素値を特定するための新たな動き補償フィルタ係数情報を生成する。フィルタ係数生成部４００３は、動き補償フィルタ係数情報を動画像圧縮方式に違反しない方法で生成してもよいし、動画像圧縮技術の方式に違反する方法で生成してもよい。例えば、新たな動き補償フィルタ係数情報は、動画像圧縮方式に従った形式でもよいし、異なる形式であってもよい。
【０１５９】
また、フィルタ係数生成部４００３は、予め定められた範囲で新たな動き補償フィルタ係数情報を生成してもよい。これにより、フィルタ係数生成部４００３は、異常な値を新たな動き補償フィルタ係数情報として生成することを回避できる。
【０１６０】
また、フィルタ係数生成部４００３は、動きベクトルによって指し示される小数画素位置の画素値が予め定められた範囲になるように、新たな動き補償フィルタ係数情報を生成してもよい。これにより、フィルタ係数生成部４００３は、小数画素位置の画素値が異常な値になるような新たな動き補償フィルタ係数情報を生成することを回避できる。
【０１６１】
また、フィルタ係数生成部４００３は、符号化時に利用する動き補償フィルタ係数の生成方法と同じ生成方法で、新たな動き補償フィルタ係数情報を生成してもよい。これにより、符号化時と同様の動き補償フィルタ係数情報が、復号化時に用いられる。したがって、画質の劣化が抑制される。
【０１６２】
あるいは、フィルタ係数生成部４００３は、符号化ストリームをエラーがない箇所まで先読みして動き補償フィルタ係数情報を復号化することにより、新たな動き補償フィルタ係数情報を生成してもよい。これにより、エラーのない動き補償フィルタ係数情報が、動き補償に用いられる。
【０１６３】
（実施の形態５）
図１３は、実施の形態５に係る動画像復号化装置の構成を示す構成図である。図１３において、図１と同じ符号が割り当てられた構成要素は、図１に示された構成要素と同様の機能を有する。
【０１６４】
図１３に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８、補正部１０１０および動きベクトルエラー隠蔽部５００９を備える。
【０１６５】
エラー検出部１００２は、符号化ストリームが動画像圧縮技術の標準規格に準じていない場合、エラーとして検出する機能を有する。実施の形態５のエラー検出部１００２は、動き補償フィルタ係数情報のエラーのみではなく、動きベクトルのエラーを検出する。
【０１６６】
動きベクトルエラー隠蔽部５００９は、エラー検出部１００２がエラーを検出した場合に従来技術と同様の方法で動きベクトルのエラーを隠蔽する機能を有する。
【０１６７】
補正部１０１０は、実施の形態１と同様に、動きベクトルを整数精度の動きベクトルに補正する機能を有する。実施の形態５の補正部１０１０は、動きベクトルエラー隠蔽部５００９によって生成された動きベクトルを整数精度の動きベクトルに補正する。
【０１６８】
次に、図１３に示された動画像復号化装置の復号化処理動作について説明する。
【０１６９】
図１４は、図１３に示された動画像復号化装置の処理を示すフローチャートである。
【０１７０】
図１４に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ５０１）。
【０１７１】
符号化ストリームにエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ５０２）。
【０１７２】
エラー検出部１００２がエラーを検出した場合（Ｓ５０２でＹｅｓ）、動きベクトルエラー隠蔽部５００９は、例えば、特許文献１に記載の方法でエラー隠蔽処理に用いる動きベクトルを生成する（Ｓ５０３）。
【０１７３】
補正部１０１０は、動きベクトルエラー隠蔽部５００９が生成した動きベクトル情報が整数精度の動きベクトルか小数精度の動きベクトルかを判定する（Ｓ５０４）。その判定の結果、動きベクトルが小数精度の場合は（Ｓ５０４でＹｅｓ）、動きベクトルを整数精度に補正する（Ｓ５０５）。エラーが検出されなかった場合（Ｓ５０２でＮｏ）、または、エラーが検出されたが動きベクトルが整数精度の場合（Ｓ５０４でＮｏ）、動きベクトルエラー隠蔽部５００９が生成した動きベクトル情報をそのまま動き補償部１００７へ出力する。
【０１７４】
動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ５０６）。ここで、動き補償部１００７は、実施の形態１と同様の動作（Ｓ１０５）で、動き補償処理を行うことができる。
【０１７５】
ただし、エラー検出部１００２がエラーを検出した場合、かつ、動きベクトルエラー隠蔽部５００９が生成した動きベクトルが整数精度の場合、動きベクトルエラー隠蔽部５００９が生成した動きベクトルを用いて、動き補償処理を行う。
【０１７６】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１７７】
加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ５０７）。そして、加算部１００８は、生成された画像を出力する。
【０１７８】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、かつ、動きベクトルエラー隠蔽部５００９が出力した動きベクトルが小数精度の場合、動きベクトルが整数精度に補正される。したがって、小数精度画素の補間が不要となり、動き補償フィルタ係数情報は不要となる。これにより、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１７９】
また、エラー検出部１００２がエラーを検出した場合、かつ、動きベクトルエラー隠蔽部５００９が出力した動きベクトルが整数精度の場合、動き補償部１００７は、そもそも動き補償フィルタ係数情報を利用しないため、動き補償処理を行うことができる。
【０１８０】
なお、本実施の形態では、補正処理が、特許文献１のエラー隠蔽処理と組み合わされた例が示された。しかし、補正処理が、特許文献２のエラー隠蔽処理と組み合わされてもよいし、あるいは、その他の従来技術と組み合わされてもよい。
【０１８１】
また、本実施の形態では、従来技術と実施の形態１の構成とを組み合わした例が示されている。しかし、従来技術に組み合わされる構成は、実施の形態２の構成でもよいし、実施の形態３の構成でもよいし、あるいは、実施の形態４の構成でもよい。
【０１８２】
（実施の形態６）
実施の形態６の動画像復号化装置は、上述の複数の実施の形態で示された構成要素と同様の構成要素を主な構成要素として備える。
【０１８３】
図１５は、実施の形態６に係る動画像復号化装置の構成を示す構成図である。
【０１８４】
図１５に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。
【０１８５】
復号化部１００１は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、小数画素位置の画素値を特定するためのフィルタ係数を復号化する。
【０１８６】
エラー検出部１００２は、フィルタ係数のエラーを検出する。
【０１８７】
補正部１０１０は、エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、動きベクトルまたはフィルタ係数を補正する。実施の形態６の補正部１０１０は、実施の形態１または実施の形態２等に示された補正部１０１０によって、実現されてもよい。
【０１８８】
動き補償部１００７は、エラーが検出された場合、補正された動きベクトル、または、補正されたフィルタ係数を用いて、画素位置の画素値を特定することにより、動き補償を行う。
【０１８９】
図１６は、実施の形態６に係る動画像復号化装置の処理を示すフローチャートである。
【０１９０】
まず、復号化部１００１は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、小数画素位置の画素値を特定するためのフィルタ係数を復号化する（Ｓ８０１）。
【０１９１】
次に、エラー検出部１００２は、フィルタ係数のエラーを検出する（Ｓ８０２）。
【０１９２】
ここで、エラー検出部１００２がエラーを検出した場合（Ｓ８０２でＹｅｓ）、補正部１０１０は、動き補償に用いられる画素位置の画素値が特定されるように、動きベクトルまたはフィルタ係数を補正する（Ｓ８０３）。
【０１９３】
次に、動き補償部１００７は、動き補償を行う（Ｓ８０４）。エラー検出部１００２がエラーを検出していた場合、動き補償部１００７は、補正された動きベクトル、または、補正されたフィルタ係数を用いて、画素位置の画素値を特定することにより、動き補償を行う。
【０１９４】
これにより、本実施の形態に係る動画像復号化装置は、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【０１９５】
（実施の形態７）
図１７は、実施の形態７に係る動画像復号化システムの特徴的な構成を示す構成図である。
【０１９６】
図１７に示された動画像復号化システムは、動き補償処理を行うＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）１０１１、および、参照画像を記憶するメモリ１０１２を備える。ＬＳＩ１０１１は、集積回路であって、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。
【０１９７】
復号化部１００１は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、小数画素位置の画素値を特定するためのフィルタ係数を復号化する。
【０１９８】
エラー検出部１００２は、フィルタ係数のエラーを検出する。
【０１９９】
補正部１０１０は、エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、動きベクトルまたはフィルタ係数を補正する。
【０２００】
動き補償部１００７は、エラーが検出された場合、補正された動きベクトル、または、補正されたフィルタ係数を用いて、メモリ１０１２に記憶された参照画像における画素位置の画素値を特定することにより、動き補償を行う。
【０２０１】
これにより、本実施の形態に係る動画像復号化システムは、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【０２０２】
なお、上記では、メモリ１０１２がＬＳＩ１０１１の外部の構成として説明したが、ＬＳＩ１０１１の内部に含まれる構成であってもよい。また、ＬＳＩ１０１１は１チップ化されてもよいし、複数チップ化されてもよい。
【０２０３】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２０４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２０５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０２０６】
（実施の形態８）
さらに、実施の形態１、実施の形態２、実施の形態３、実施の形態４、実施の形態５または実施の形態６の動画像復号化装置の応用例として、動画像符号化復号化システムを説明する。
【０２０７】
図１８は、動画像レコーダを実現するＡＶ（Ａｕｄｉｏ  Ｖｉｓｕａｌ）処理部の構成図である。
【０２０８】
同図において、ＡＶ処理部６００６は、デジタル圧縮された音声および画像を再生する処理部であって、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）レコーダ、または、ハードディスクレコーダなどである。
【０２０９】
ストリームデータ６００１は、音声と画像のストリームデータである。画像信号６０１２は、画像データである。音声信号６０１３は、音声データである。
【０２１０】
転送バス６００７は、音声または画像の復号化データ、および、ストリームデータなどのデータを転送するバスである。
【０２１１】
ストリーム入出力部６００２は、前述のストリームデータ６００１を入出力するストリーム入出力部であって、転送バス６００７に接続している。また、ストリーム入出力部６００２は、大容量蓄積デバイスに接続しており、ストリームデータ６００１を大容量蓄積デバイスに出力する。また、ストリーム入出力部６００２は、ストリームデータ６００１を入力として、受け付ける。
【０２１２】
画像符号化復号化部６００８は、画像の符号化および復号化を行う画像符号化復号化部であり、転送バス６００７に接続している。
【０２１３】
メモリ６００３は、ストリームデータ、符号化データおよび復号化データなどのデータを格納するメモリであり、転送バス６００７に接続している。
【０２１４】
ここで、画像符号化復号化部６００８は、図１、図４、図７、図１０、図１３または図１５に示された動画像復号化装置を復号化回路として含む。ストリームデータ６００１は、符号化ストリームを含んでおり、さらに、メモリ６００３とＡＶ処理部６００６の間の信号は、復号化画像を含む。画像信号６０１２には、復号化画像が含まれてもよい。
【０２１５】
画像処理部６０１０は、画像信号に対してプレ処理およびポスト処理を行う画像処理部であり、転送バス６００７に接続している。
【０２１６】
画像入出力部６０１１は、画像処理部６０１０で処理された、もしくは、画像処理部６０１０で処理せれずに通過した、画像データ信号を外部に画像信号６０１２として出力する、または、外部からの画像信号６０１２を取り込むための画像入出力部である。
【０２１７】
音声処理部６０１５は、音声信号に対してプレ処理およびポスト処理を行う音声処理部であり、転送バス６００７に接続している。
【０２１８】
音声入出力部６０１４は、音声処理部６０１５で処理した、もしくは、音声処理部で処理されずに通過した、音声データ信号を外部に音声信号６０１３として出力する、または、外部からの音声信号６０１３を取り込むための音声入出力部である。
【０２１９】
また、ＡＶ制御部６００５は、ＡＶ処理部６００６の全体制御を行うＡＶ制御部である。
【０２２０】
符号化処理では、以下のような動作を行う。
【０２２１】
符号化処理においては、最初に、画像信号６０１２が、画像入出力部６０１１に入力される。また、音声信号６０１３が、音声入出力部６０１４に入力される。
【０２２２】
次に、画像処理部６０１０は、画像入出力部６０１１に入力された画像信号６０１２を用いて、フィルタ処理および符号化のための特徴量抽出などを行う。そして、画像処理部６０１０は、メモリ入出力部６００４を介して、メモリ６００３に画像信号６０１２を原画像として格納する。
【０２２３】
次に、再びメモリ入出力部６００４を介して、メモリ６００３から画像符号化復号化部６００８には、原画像データと参照画像データが、転送される。逆に、画像符号化復号化部６００８は、メモリ６００３に、画像符号化復号化部６００８で符号化した画像ストリームデータと局所復元データを転送する。
【０２２４】
一方、音声処理部６０１５は、音声入出力部６０１４に入力された音声信号６０１３を用いて、フィルタ処理および符号化のための特徴量抽出などを行う。そして、音声処理部６０１５は、メモリ入出力部６００４を介してメモリ６００３に音声信号６０１３を原音声データとして格納する。
【０２２５】
次に、音声処理部６０１５は、再びメモリ入出力部６００４を介してメモリ６００３から原音声データを取り出して符号化し、再度音声ストリームデータとしてメモリ６００３に格納する。
【０２２６】
符号化処理の最後に、ＡＶ制御部６００５は、画像ストリーム、音声ストリーム、および、その他のストリーム情報を、一つのストリームデータとして処理し、ストリーム入出力部６００２を介して、ストリームデータ６００１を出力する。ストリームデータ６００１は、光ディスク（ＤＶＤ）またはハードディスク（ＨＤＤ）などの大容量蓄積デバイスに書き込まれる。
【０２２７】
次に、復号化処理では、以下のような動作を行う。
【０２２８】
まず、光ディスク、ハードディスクおよび半導体メモリなどの大容量蓄積デバイスから、記録処理により蓄積されたデータが、読み出される。これにより、音声および画像のストリームデータ６００１が、ストリーム入出力部６００２を介して入力される。ストリームデータ６００１のうち画像ストリームは、画像符号化復号化部６００８に入力され、ストリームデータ６００１のうち音声ストリームは、音声符号化復号化部６００９に入力される。
【０２２９】
画像符号化復号化部６００８は、画像ストリームから画像データを復号化する。画像符号化復号化部６００８は、復号化された画像データを、メモリ入出力部６００４を介して、一時的に、メモリ６００３に格納する。画像処理部６０１０は、メモリ６００３に格納されたデータに対して、ノイズ除去などの加工処理を行う。また、メモリ６００３に格納された画像データは、再び画像符号化復号化部６００８によって、画面間動き補償予測の参照ピクチャとして使用されることもある。
【０２３０】
また、音声符号化復号化部６００９は、音声ストリームから音声データを復号化する。音声符号化復号化部６００９は、復号化された音声データを、メモリ入出力部６００４を介して、一時的に、メモリ６００３に格納する。音声処理部６０１５は、メモリ６００３に格納されたデータに対して、音響などの加工処理を行う。
【０２３１】
最後に、ＡＶ制御部６００５は、音声と画像の時間的な同期をとりながら、画像処理部６０１０で加工処理したデータを、画像入出力部６０１１を介して画像信号６０１２として出力し、音声処理部６０１５で加工処理したデータを、音声入出力部６０１４を介して音声信号６０１３として出力する。出力された画像信号６０１２は、テレビ画面などに画像として表示される。出力された音声信号６０１３は、スピーカなどから音声として出力される。
【０２３２】
（実施の形態９）
上記各実施の形態で示した動画像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【０２３３】
さらに、ここで、上記各実施の形態で示した動画像復号化方法の応用例とそれを用いたシステムを説明する。
【０２３４】
図１９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。
【０２３５】
このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。
【０２３６】
しかし、コンテンツ供給システムｅｘ１００は、図１９のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【０２３７】
カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０２３８】
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
【０２３９】
なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【０２４０】
また、これら符号化処理および復号化処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化用のソフトウェアまたは動画像復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０２４１】
また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０２４２】
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。
【０２４３】
なお、コンテンツ供給システムｅｘ１００の例に限らず、図２０に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の動画像復号化装置を組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した動画像復号化方法に対応する動画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。
【０２４４】
また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号化する再生装置ｅｘ２１２にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。
【０２４５】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号化する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
【０２４６】
図２１は、上記各実施の形態で説明した動画像復号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。
【０２４７】
また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。
【０２４８】
インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。
【０２４９】
テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。
【０２５０】
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した動画像復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。
【０２５１】
次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した動画像復号化方法に対応する動画像符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。
【０２５２】
なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【０２５３】
また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
【０２５４】
また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。
【０２５５】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２２に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。
【０２５６】
光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。
【０２５７】
システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【０２５８】
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【０２５９】
図２３に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。
【０２６０】
情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。
【０２６１】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【０２６２】
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２１に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。
【０２６３】
このように、上記各実施の形態で示した動画像復号化方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【０２６４】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０２６５】
（実施の形態１０）
本実施の形態では、実施の形態６に示した動画像復号化装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図２４に示す。動画像復号化装置の各構成要素は、図２４に示されたＬＳＩ上に構成される。
【０２６６】
これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２６７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０２６８】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。
【０２６９】
さらに加えて、本実施の形態の動画像復号化装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。
【０２７０】
また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号化処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ  ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携してもかまわない。
【０２７１】
なお、本実施の形態では、実施の形態６に示した動画像復号化装置が、ＬＳＩとして実現されている。同様に、実施の形態１、実施の形態２、実施の形態３、実施の形態４または実施の形態５に記載の動画像復号化装置が、ＬＳＩとして実現されてもよい。
【０２７２】
（実施の形態１１）
上記各実施の形態で示した動画像復号化装置および動画像復号化方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図２５に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【０２７３】
例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ  Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した復号化処理に対応する符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。
【０２７４】
また、例えば、復号化処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号化および／または映像データの復号化が行われる。ここで映像信号の復号化処理は上記各実施の形態で説明した復号化処理である。さらに、場合により復号化された音声信号と復号化された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号化された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。
【０２７５】
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
【０２７６】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２７７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２７８】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０２７９】
以上、各実施の形態における動画像復号化装置は、フィルタ係数にエラーが検出された場合、動きベクトルまたはフィルタ係数を補正する。したがって、動画像復号化装置は、動き補償を継続できる。
【０２８０】
なお、本発明に係る動画像復号化装置について、複数の実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。各実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。また、複数の実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
【０２８１】
また、本発明は、動画像復号化装置として実現できるだけでなく、動画像復号装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記憶媒体として実現できる。
【産業上の利用可能性】
【０２８２】
以上のように、本発明に係る動画像復号化装置は、例えば、携帯電話、ＤＶＤ装置、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）装置、パソコン、テレビ電話、セットトップボックス、デジタルテレビ、自動車、および、セキュリティシステムなど、動画像を復号化する機器、あるいは、動画像を表示する機器において有用である。
【符号の説明】
【０２８３】
１００１    復号化部
１００２    エラー検出部
１００６    フレームメモリ
１００７    動き補償部
１００８    加算部
１０１０    補正部
１０１１、ｅｘ５００    ＬＳＩ（集積回路）
１０１２、６００３、ｅｘ５１１    メモリ
３００３    フィルタ係数記憶部
４００３    フィルタ係数生成部
５００９    動きベクトルエラー隠蔽部
６００１    ストリームデータ
６００２    ストリーム入出力部
６００４    メモリ入出力部
６００５    ＡＶ制御部
６００６    ＡＶ処理部
６００７    転送バス
６００８    画像符号化復号化部
６００９    音声符号化復号化部
６０１０    画像処理部
６０１１    画像入出力部
６０１２    画像信号
６０１３    音声信号
６０１４    音声入出力部
６０１５    音声処理部
ｅｘ１００    コンテンツ供給システム
ｅｘ１０１    インターネット
ｅｘ１０２    インターネットサービスプロバイダ
ｅｘ１０３    ストリーミングサーバ
ｅｘ１０４    電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０    基地局
ｅｘ１１１    コンピュータ
ｅｘ１１２    ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６    カメラ
ｅｘ１１４    携帯電話
ｅｘ１１５    ゲーム機
ｅｘ１１７    マイク
ｅｘ２００    デジタル放送用システム
ｅｘ２０１    放送局
ｅｘ２０２    放送衛星（衛星）
ｅｘ２０３    ケーブル
ｅｘ２０４、ｅｘ２０５    アンテナ
ｅｘ２１０    車
ｅｘ２１１    カーナビゲーション（カーナビ）
ｅｘ２１２    再生装置
ｅｘ２１３、ｅｘ２１９    モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６    記録メディア
ｅｘ２１７    セットトップボックス（ＳＴＢ）
ｅｘ２１８    リーダ／レコーダ
ｅｘ２２０    リモートコントローラ
ｅｘ２３０    情報トラック
ｅｘ２３１    記録ブロック
ｅｘ２３２    内周領域
ｅｘ２３３    データ記録領域
ｅｘ２３４    外周領域
ｅｘ３００    テレビ（受信機）
ｅｘ３０１    チューナ
ｅｘ３０２    変調／復調部
ｅｘ３０３    多重／分離部
ｅｘ３０４    音声信号処理部
ｅｘ３０５    映像信号処理部
ｅｘ３０６、ｅｘ５０７    信号処理部
ｅｘ３０７    スピーカ
ｅｘ３０８    表示部
ｅｘ３０９    出力部
ｅｘ３１０    制御部
ｅｘ３１１、ｅｘ５０５    電源回路部
ｅｘ３１２    操作入力部
ｅｘ３１３    ブリッジ
ｅｘ３１４    スロット部
ｅｘ３１５    ドライバ
ｅｘ３１６    モデム
ｅｘ３１７    インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４    バッファ
ｅｘ４００    情報再生／記録部
ｅｘ４０１    光ヘッド
ｅｘ４０２    変調記録部
ｅｘ４０３    再生復調部
ｅｘ４０５    ディスクモータ
ｅｘ４０６    サーボ制御部
ｅｘ４０７    システム制御部
ｅｘ５０２    マイコン（マイクロコンピュータ）
ｅｘ５０３    メモリコントローラ
ｅｘ５０４    ストリームＩ／Ｏ
ｅｘ５０９    ＡＶ  Ｉ／Ｏ
ｅｘ５１０    バス
【図１】
2011004551.tif 000003
【図２】
2011004551.tif 000004
【図３】
2011004551.tif 000005
【図４】
2011004551.tif 000006
【図５】
2011004551.tif 000007
【図６】
2011004551.tif 000008
【図７】
2011004551.tif 000009
【図８】
2011004551.tif 000010
【図９】
2011004551.tif 000011
【図１０】
2011004551.tif 000012
【図１１】
2011004551.tif 000013
【図１２】
2011004551.tif 000014
【図１３】
2011004551.tif 000015
【図１４】
2011004551.tif 000016
【図１５】
2011004551.tif 000017
【図１６】
2011004551.tif 000018
【図１７】
2011004551.tif 000019
【図１８】
2011004551.tif 000020
【図１９】
2011004551.tif 000021
【図２０】
2011004551.tif 000022
【図２１】
2011004551.tif 000023
【図２２】
2011004551.tif 000024
【図２３】
2011004551.tif 000025
【図２４】
2011004551.tif 000026
【図２５】
2011004551.tif 000027
【手続補正書】
【提出日】平成22年10月25日(2010.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動き補償を行う動画像復号化装置であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
動画像復号化装置。
【請求項２】
前記補正部は、前記エラーが検出された場合、前記動きベクトルを、整数画素位置を指し示す動きベクトルに補正し、
前記動き補償部は、前記エラーが検出された場合、補正された前記動きベクトルによって指し示される前記整数画素位置の画素値を特定することにより、動き補償を行う
請求項１に記載の動画像復号化装置。
【請求項３】
前記補正部は、前記エラーが検出された場合、前記動きベクトルの小数部分の切り捨て、切り上げまたは四捨五入により、前記動きベクトルを補正する
請求項２に記載の動画像復号化装置。
【請求項４】
前記補正部は、前記エラーが検出された場合、前記動きベクトルを０に補正する
請求項２に記載の動画像復号化装置。
【請求項５】
（削除）
【請求項６】
（削除）
【請求項７】
（削除）
【請求項８】
（削除）
【請求項９】
（削除）
【請求項１０】
（削除）
【請求項１１】
（削除）
【請求項１２】
（削除）
【請求項１３】
（削除）
【請求項１４】
（削除）
【請求項１５】
（削除）
【請求項１６】
（削除）
【請求項１７】
動き補償を行う集積回路であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
集積回路。
【請求項１８】
動き補償を行う動画像復号化方法であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化ステップと、
前記フィルタ係数のエラーを検出するエラー検出ステップと、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正ステップと、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償ステップとを含む
動画像復号化方法。
【請求項１９】
動き補償を行う動画像復号化システムであって、
動き補償を行う集積回路と、
参照画像を記憶するメモリとを備え、
前記集積回路は、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記メモリに記憶された前記参照画像における前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
動画像復号化システム。
【請求項２０】
請求項１８に記載の動画像復号化方法に含まれるステップをコンピュータに実行させるための
プログラム。
【手続補正書】
【提出日】平成23年4月25日(2011.4.25)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動き補償を行う動画像復号化装置および動画像復号化方法に関する。
【背景技術】
【０００２】
近年、広く利用されている動画像圧縮技術の標準規格として、例えば、ＩＴＵ−Ｔ（国際電気通信連合  電気通信標準化部門）によるＨ．２６１およびＨ．２６３がある。他に、ＩＳＯ／ＩＥＣ（国際標準化機構  国際電気標準会議）によるＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）−１、ＭＰＥＧ−２およびＭＰＥＧ−４などがある。
【０００３】
また、他に、ＩＴＵ−ＴとＭＰＥＧの合同であるＪＶＴ（Ｊｏｉｎｔ  Ｖｉｄｅｏ  Ｔｅａｍ）によるＨ．２６４／ＭＰＥＧ−４  ＡＶＣ（Ａｄｖａｎｃｅｄ  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ）などもある。さらに、次世代の動画像圧縮技術が、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣなどで検討されている。
【０００４】
一般に、動画像圧縮技術の重要な要素のひとつに、動画像を構成する連続した複数の画面の時間方向の冗長性を削減することにより、情報量を圧縮する動き補償画面間予測（以下、「動き補償」ともいう）がある。
【０００５】
動き補償画面間予測とは、符号化対象画面内のマクロブロック、または、サブマクロブロック（以下、「マクロブロック等」ともいう）が、符号化対象画面の前方または後方に位置する参照画面内のどの方向にどの程度動いたかを検出して、予測画像を作成し、得られた予測画像と符号化対象画面との差分値を符号化する手法である。
【０００６】
符号化対象画面内のマクロブロック等が符号化対象画面の前方または後方に位置する参照画面内のどの方向にどの程度動いたかを示す情報は、動きベクトルとして示される。つまり、動きベクトルによって、参照画面内の画素位置が指し示される。参照画面は、符号化対象画面から参照される画面である。
【０００７】
整数画素以下の予測画像を生成するため、整数画素にフィルタリング処理が施される。例えば、Ｈ．２６４では、まず、規格で定義された固定のフィルタ係数である６タップのＦＩＲフィルタ（フィルタ係数：１、−５、２０、２０、−５、１）を用いて、１／２画素精度の予測画像が生成される。次に、規格で定義された固定のフィルタ係数である２タップの平均値フィルタ（フィルタ係数：１／２、１／２）により、１／４画素精度の予測画像が生成される。
【０００８】
ここで、Ｈ．２６４では、整数画素以下の予測画像を生成するためのフィルタ係数は、画像の特性によらず常に同じ値である。動きベクトルが小数精度の画素位置を指し示している場合、上述のように生成された小数精度の予測画像が用いられる。
【０００９】
一方、ＩＴＵ−ＴおよびＩＳＯ／ＩＥＣなどにおいて、次世代の動画像圧縮技術として提案されている技術のひとつに、整数画素以下の予測画像を生成するためのフィルタ係数を画像の特性などに応じて適応的に変化させる動き補償技術（以下、「可変係数動き補償」ともいう）がある（非特許文献１、非特許文献２、および、非特許文献３）。可変係数動き補償では、復号化時に使用されるフィルタ係数の情報が、符号化ストリームに含まれる。
【００１０】
可変係数動き補償により、画像の特性に応じて予測画像が生成されるため、符号化効率がより向上される。
【００１１】
ところで、動画像圧縮技術で符号化された符号化ストリームの復号化において、受信した符号化ストリームにエラーが含まれている場合が存在する。エラーが含まれている場合、動画像を復号化する動画像復号化装置は、エラーを検出して復号化を停止してもよい。しかし、復号化が停止された場合、動画像を視聴しているユーザは、一部のみにエラーが含まれる動画像を見ることができない。
【００１２】
そこで、動画像復号化装置は、エラーをできるだけ目立たせず、復号化の停止を避けながら、復号化を続行するエラーコンシールメントと呼ばれる処理を行う。代表的なエラーコンシールメントの例として、符号化対象マクロブロックの動きベクトルにエラーが検出された場合、符号化対象マクロブロックの動きベクトルの代わりに、近傍のマクロブロックの動きベクトルを用いる方法がある（例えば、特許文献１および特許文献２参照）。
【先行技術文献】
【特許文献】
【００１３】
【特許文献１】特許第３４９６３７８号公報
【特許文献２】特許第３８５２５９４号公報
【非特許文献】
【００１４】
【非特許文献１】Ｔｈｏｍａｓ  Ｗｅｄｉ著「ＡＤＡＰＴＩＶＥ  ＩＮＴＥＲＰＯＬＡＴＩＯＮ  ＦＩＬＴＥＲ  ＦＯＲ  ＭＯＴＩＯＮ  ＣＯＭＰＥＮＳＡＴＥＤ  ＨＹＢＬＩＤ  ＶＩＤＥＯ  ＣＯＤＩＮＧ」  Ｐｒｏｃ．  Ｐｉｃｔｕｒｅ  Ｃｏｄｉｎｇ  Ｓｙｍｐｏｓｉｕｍ（ＰＣＳ２００１）、Ｓｅｏｕｌ、Ｋｏｒｅａ、Ａｐｒｉｌ  ２００１
【非特許文献２】Ｙ．Ｖａｔｉｓ  ｅｔ  ａｌ著「Ｔｗｏ  Ｄｉｍｅｎｓｉｏｎａｌ  ｎｏ―ｓｅｐａｒａｔａｂｌｅ  Ａｄａｐｔｉｖｅ  Ｗｉｅｎｅｒ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｆｉｌｔｅｒ  ｆｏｒ  Ｈ．２６４／ＡＶＣ」  ＩＴＵ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ  ＳＴＵＤＹ  ＧＲＯＵＰ  １６  Ｑｕｅｓｔｉｏｎ  ６  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）  ｄｏｃｕｍｅｎｔ  ＶＣＥＧ−Ｚ１７、１６  Ａｐｒ  ２００５
【非特許文献３】Ｋａｉ  Ｚｈａｎｇ  ｅｔ  ａｌ著「Ｓｉｎｇｌｅ−Ｐａｓｓ  Ｅｎｃｏｄｉｎｇ  Ｕｓｉｎｇ  Ｍｕｌｔｉｐｌｅ  Ａｄａｐｔｉｖｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ  Ｆｉｌｔｅｒｓ」  ＩＴＵ−Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ  Ｓｅｃｔｏｒ  ＳＴＵＤＹ  ＧＲＯＵＰ  １６  Ｑｕｅｓｔｉｏｎ  ６  Ｖｉｄｅｏ  Ｃｏｄｉｎｇ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ（ＶＣＥＧ）  ｄｏｃｕｍｅｎｔ  ＶＣＥＧ−ＡＫ２６、１５−１８  Ａｐｒ  ２００９
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、従来技術では、次世代の動画像圧縮技術として提案されている可変係数動き補償画面間予測において使用されるフィルタ係数にエラーがあった場合が考慮されていない。したがって、動きベクトルのエラーが隠蔽されても、フィルタ係数にエラーがあった場合、動き補償処理が停止し、結果として、動画像の復号化処理が停止する可能性がある。この場合、動画像を視聴しているユーザは、一部のみにエラーが含まれる動画像を見ることができない。
【００１６】
そこで、本発明は、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる動画像復号化装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記課題を解決するため、本発明に係る動画像復号化装置は、動き補償を行う動画像復号化装置であって、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、前記フィルタ係数のエラーを検出するエラー検出部と、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える。
【００１８】
これにより、本発明に係る動画像復号化装置は、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【００１９】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルを、整数画素位置を指し示す動きベクトルに補正し、前記動き補償部は、前記エラーが検出された場合、補正された前記動きベクトルによって指し示される前記整数画素位置の画素値を特定することにより、動き補償を行ってもよい。
【００２０】
これにより、動きベクトルにより指し示される画素位置が、整数画素位置に補正される。したがって、本発明に係る動画像復号化装置は、エラーのフィルタ係数を用いることなく、動き補償処理を継続できる。
【００２１】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルの小数部分の切り捨て、切り上げまたは四捨五入により、前記動きベクトルを補正してもよい。
【００２２】
これにより、動きベクトルにより指し示される画素位置が、近傍の整数画素位置に補正される。したがって、画質の劣化が抑制される。
【００２３】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルを０に補正してもよい。
【００２４】
これにより、より確実に、動き補償に用いられる画素位置の画素値が特定される。
【００２５】
また、前記補正部は、前記エラーが検出された場合、前記動きベクトルによって指し示される前記小数画素位置の画素値が特定されるように、前記フィルタ係数を補正し、前記動き補償部は、前記エラーが検出された場合、補正された前記フィルタ係数を用いて、前記動きベクトルによって指し示される前記小数画素位置の画素値を特定することにより、動き補償を行ってもよい。
【００２６】
これにより、本発明に係る動画像復号化装置は、動き補償に用いられる画素位置の画素値を特定できる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【００２７】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、予め定められた値に補正してもよい。
【００２８】
これにより、フィルタ係数にエラーがある場合、予め定められた値がフィルタ係数として用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【００２９】
また、前記補正部は、前記エラーが検出された場合、前記小数画素位置の画素値が前記小数画素位置を囲む複数の整数画素位置における複数の画素値の平均になるように、前記フィルタ係数を補正してもよい。
【００３０】
これにより、動き補償に近傍の画素値が用いられる。したがって、画質の劣化が抑制される。
【００３１】
また、前記復号化部は、前記フィルタ係数を復号化する前に、１以上のフィルタ係数を復号化し、前記動画像復号化装置は、さらに、復号化された前記１以上のフィルタ係数を記憶するフィルタ係数記憶部を備え、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記フィルタ係数記憶部に記憶された前記１以上のフィルタ係数のいずれかに補正してもよい。
【００３２】
これにより、フィルタ係数にエラーがある場合、以前に復号化されたフィルタ係数が用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【００３３】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、復号化順で復号化対象画像に最も近い画像のフィルタ係数に補正してもよい。
【００３４】
これにより、処理の複雑化が軽減される。
【００３５】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、表示順で復号化対象画像に最も近い画像のフィルタ係数に補正してもよい。
【００３６】
これにより、時間的に近いフィルタ係数が用いられる。したがって、画質の劣化が抑制される。
【００３７】
また、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、前記１以上のフィルタ係数のうち、復号化対象画像内で空間的に最も近いブロックのフィルタ係数に補正してもよい。
【００３８】
これにより、空間的に近いフィルタ係数が用いられる。したがって、画質の劣化が抑制される。
【００３９】
また、前記動画像復号化装置は、さらに、前記動きベクトルによって指し示される前記小数画素位置の画素値を特定するための新たなフィルタ係数を生成するフィルタ係数生成部を備え、前記補正部は、前記エラーが検出された場合、前記フィルタ係数を、生成された前記新たなフィルタ係数に補正してもよい。
【００４０】
これにより、フィルタ係数にエラーがある場合、新たなフィルタ係数が用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【００４１】
また、前記フィルタ係数生成部は、予め定められた範囲で、前記新たなフィルタ係数を生成してもよい。
【００４２】
これにより、新たなフィルタ係数が、異常値にならないように、生成される。
【００４３】
また、前記フィルタ係数生成部は、前記動きベクトルによって指し示される前記小数画素位置の画素値が予め定められた範囲になるように、前記新たなフィルタ係数を生成してもよい。
【００４４】
これにより、動き補償に用いられる画素位置の画素値が異常値にならないように、新たなフィルタ係数が生成される。
【００４５】
また、前記フィルタ係数生成部は、符号化時におけるフィルタ係数の生成方法と同じ生成方法で、前記新たなフィルタ係数を生成してもよい。
【００４６】
これにより、本発明に係る動画像復号化装置は、符号化時と同様のフィルタ係数を用いて、動き補償を行える。したがって、画質の劣化が軽減される。
【００４７】
また、前記フィルタ係数生成部は、前記符号化ストリームを先読みすることにより得られるエラーのないフィルタ係数を前記新たなフィルタ係数として生成してもよい。
【００４８】
これにより、フィルタ係数にエラーがある場合、将来用いられる予定のフィルタ係数が用いられる。したがって、本発明に係る動画像復号化装置は、フィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【００４９】
また、本発明に係る集積回路は、動き補償を行う集積回路であって、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、前記フィルタ係数のエラーを検出するエラー検出部と、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える集積回路でもよい。
【００５０】
これにより、本発明に係る動画像復号化装置が、集積回路として実現される。
【００５１】
また、本発明に係る動画像復号化方法は、動き補償を行う動画像復号化方法であって、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化ステップと、前記フィルタ係数のエラーを検出するエラー検出ステップと、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正ステップと、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償ステップとを含む動画像復号化方法でもよい。
【００５２】
これにより、本発明に係る動画像復号化装置が、動画像復号化方法として実現される。
【００５３】
また、本発明に係る動画像復号化システムは、動き補償を行う動画像復号化システムであって、動き補償を行う集積回路と、参照画像を記憶するメモリとを備え、前記集積回路は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、前記フィルタ係数のエラーを検出するエラー検出部と、前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルまたは前記フィルタ係数を補正する補正部と、前記エラーが検出された場合、補正された前記動きベクトル、または、補正された前記フィルタ係数を用いて、前記メモリに記憶された前記参照画像における前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える動画像復号化システムでもよい。
【００５４】
これにより、本発明に係る動画像復号化装置が、一体化された動画像復号化システムとして実現される。
【００５５】
また、本発明に係るプログラムは、前記動画像復号化方法に含まれるステップをコンピュータに実行させるためのプログラムでもよい。
【００５６】
これにより、本発明に係る動画像復号化方法が、プログラムとして実現される。
【発明の効果】
【００５７】
本発明により、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償を継続できる。
【図面の簡単な説明】
【００５８】
【図１】図１は、実施の形態１に係る動画像復号化装置の構成を示す構成図である。
【図２】図２は、実施の形態１に係る動画像復号化装置の処理を示すフローチャートである。
【図３】図３は、実施の形態１に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図４】図４は、実施の形態２に係る動画像復号化装置の構成を示す構成図である。
【図５】図５は、実施の形態２に係る動画像復号化装置の処理を示すフローチャートである。
【図６】図６は、実施の形態２に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図７】図７は、実施の形態３に係る動画像復号化装置の構成を示す構成図である。
【図８】図８は、実施の形態３に係る動画像復号化装置の処理を示すフローチャートである。
【図９】図９は、実施の形態３に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図１０】図１０は、実施の形態４に係る動画像復号化装置の構成を示す構成図である。
【図１１】図１１は、実施の形態４に係る動画像復号化装置の処理を示すフローチャートである。
【図１２】図１２は、実施の形態４に係る動画像復号化装置の特徴的な構成を示す構成図である。
【図１３】図１３は、実施の形態５に係る動画像復号化装置の構成を示す構成図である。
【図１４】図１４は、実施の形態５に係る動画像復号化装置の処理を示すフローチャートである。
【図１５】図１５は、実施の形態６に係る動画像復号化装置の構成を示す構成図である。
【図１６】図１６は、実施の形態６に係る動画像復号化装置の処理を示すフローチャートである。
【図１７】図１７は、実施の形態７に係る動画像復号化システムの特徴的な構成を示す構成図である。
【図１８】図１８は、実施の形態８に係る動画像復号化装置の構成を示す構成図である。
【図１９】図１９は、実施の形態９に係るコンテンツ配信サービスを実現するコンテンツ供給システムの全体構成図である。
【図２０】図２０は、実施の形態９に係るデジタル放送用システムの全体構成図である。
【図２１】図２１は、実施の形態９に係るテレビの構成例を示すブロック図である。
【図２２】図２２は、光ディスクである記録メディアに情報の読み書きを行う情報再生／記録部の構成例を示すブロック図である。
【図２３】図２３は、光ディスクである記録メディアの構造例を示す図である。
【図２４】図２４は、動画像復号化処理を実現する集積回路を示す構成図である。
【図２５】図２５は、動画像符号化処理および動画像復号化処理を実現する集積回路の構成例を示す構成図である。
【発明を実施するための形態】
【００５９】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００６０】
（実施の形態１）
図１は、実施の形態１に係る動画像復号化装置の構成を示す構成図である。
【００６１】
図１に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８および補正部１０１０を備える。
【００６２】
復号化部１００１は、動画像圧縮技術の標準規格に準じて符号化されたストリームの復号化を行い、ヘッダ情報と予測誤差信号を出力する機能を有する。
【００６３】
ヘッダ情報には、少なくとも動き補償に用いるフィルタ係数に関する情報（以下、「動き補償フィルタ係数情報」、または、単に「フィルタ係数」ともいう）、および、動き補償に用いる動きベクトルが含まれる。
【００６４】
動き補償フィルタ係数情報とは、小数画素位置の画素値を特定するための情報である。動き補償フィルタ係数情報は、ピクチャ単位で定められてもよいし、スライス単位で定められてもよいし、ブロック単位で定められてもよい。動きベクトルとは、画素位置を指し示す情報である。
【００６５】
エラー検出部１００２は、符号化ストリーム中に定義されている動き補償フィルタ係数情報が動画像圧縮技術の標準規格に準じていない場合、エラーとして検出する機能を有する。動き補償フィルタ係数情報のエラーとして、例えば、符号化ストリームに必要な動き補償フィルタ係数情報が存在していない場合、または、動き補償フィルタ係数情報の形式が予め定められた形式と異なる場合等がある。
【００６６】
補正部１０１０は、エラー検出部１００２がエラーを検出した場合、かつ、復号化部１００１が復号化した動きベクトルが小数精度の動きベクトルの場合、その動きベクトルを整数精度の動きベクトルに補正する機能を有する。言い換えれば、補正部１０１０は、小数画素位置を指し示す動きベクトルを、整数画素位置を指し示す動きベクトルに補正する。
【００６７】
フレームメモリ１００６は、動き補償部１００７が参照する参照画像を保持する機能を有する。
【００６８】
動き補償部１００７は、動きベクトルに基づいて、フレームメモリ１００６から参照画像を取得して、動き補償処理を行う機能を有する。
【００６９】
例えば、エラー検出部１００２がエラーを検出しなかった場合、動き補償部１００７は、フレームメモリ１００６から取得した参照画像と、復号化された動き補償フィルタ係数情報と、復号化された動きベクトルとを用いて動き補償処理を行う。
【００７０】
一方、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、フレームメモリ１００６から取得した参照画像と、復号化された動き補償フィルタ係数情報と、補正された動きベクトルとを用いて動き補償処理を行う。
【００７１】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。さらに、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【００７２】
加算部１００８は、予測誤差信号と予測画像とを加算する機能を有する。
【００７３】
次に、図１に示された動画像復号化装置の復号化処理動作について説明する。
【００７４】
図２は、図１に示された動画像復号化装置の処理を示すフローチャートである。
【００７５】
まず、復号化部１００１は、符号化ストリームを読み取り、符号化ストリームを構成するヘッダ情報と予測誤差信号とを復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ１０１）。
【００７６】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２は、エラーを検出する（Ｓ１０２）。
【００７７】
エラー検出部１００２がエラーを検出した場合（Ｓ１０２でＹｅｓ）、補正部１０１０は、復号化部１００１が復号化した動きベクトル情報が、整数精度の動きベクトルか小数精度の動きベクトルかを判定する（Ｓ１０３）。その判定の結果、動きベクトルが小数精度の場合（Ｓ１０３でＹｅｓ）、補正部１０１０は、動きベクトルを整数精度に補正する（Ｓ１０４）。
【００７８】
一方、エラーが検出されなかった場合（Ｓ１０２でＮｏ）、または、エラーが検出されたが動きベクトルが整数精度の場合（Ｓ１０３でＮｏ）、補正部１０１０は、補正処理（Ｓ１０４）を行わない。
【００７９】
次に、動き補償部１００７は、動きベクトルに基づいて、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ１０５）。
【００８０】
ここで、エラー検出部１００２がエラーを検出しなかった場合、動き補償部１００７は、復号化された動き補償フィルタ係数情報、および、復号化された動きベクトルを用いて、復号化された動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う。
【００８１】
動き補償部１００７は、エラーが検出されなかった場合、復号化された動き補償フィルタ係数情報を用いて、小数画素位置の画素値を特定することができる。したがって、動き補償部１００７は、復号化された動きベクトルが小数画素位置を指し示している場合であっても、小数画素位置の画素値を特定することにより、動き補償処理を行うことができる。
【００８２】
一方、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、補正された動きベクトルを用いて、補正された動きベクトルが指し示す整数画素位置の画素値を特定することにより、動き補償処理を行う。補正された動きベクトルは、整数画素位置を指し示しているため、動き補償部１００７は、動き補償フィルタ係数情報を用いることなく、動き補償処理に用いられる画素位置の画素値を特定することができる。
【００８３】
また、エラー検出部１００２がエラーを検出した場合でも、復号化された動きベクトルが整数画素位置を指し示していれば、動き補償部１００７は、復号化された動きベクトルが指し示す整数画素位置の画素値を特定することにより、動き補償処理を行う。この場合も、動き補償部１００７は、動き補償フィルタ係数情報を用いることなく、動き補償処理に用いられる画素位置の画素値を特定することができる。
【００８４】
そして、動き補償部１００７は、動き補償処理を行うことにより予測画像を生成し、生成された予測画像を加算部１００８へ出力する。
【００８５】
加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ１０６）。そして、加算部１００８は、生成された画像を出力する。
【００８６】
図３は、図１に示された動画像復号化装置の特徴的な構成を示す構成図である。図３に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。図３に示された各構成要素は、図１に示された各構成要素と同様の機能を有する。
【００８７】
図３に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【００８８】
図３に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【００８９】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、かつ、復号化部１００１が出力した動きベクトルが小数精度の場合、動きベクトルが整数精度に補正される。したがって、小数精度画素の補間が不要となり、動き補償フィルタ係数情報は不要となる。これにより、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【００９０】
また、エラー検出部１００２がエラーを検出した場合、かつ、復号化部１００１が出力した動きベクトルが整数精度の場合、動き補償部１００７は、そもそも動き補償フィルタ係数情報を利用しないため動き補償処理を行うことができる。
【００９１】
なお、本実施の形態では、エラーが検出された場合、動き補償部１００７は、動き補償フィルタ係数情報を用いない。しかし、動き補償部１００７は、任意の値を動き補償フィルタ係数情報として用いてもよい。
【００９２】
また、補正部１０１０は、動きベクトルを小数精度から整数精度に補正する時、動きベクトルの小数部を切り捨ててもよいし、切り上げてもよいし、四捨五入してもよい。これにより、動きベクトルによって指し示される画素位置が、近傍の画素位置に補正されるため、画質の劣化が抑制される。
【００９３】
また、補正部１０１０は、動きベクトルを小数精度から整数精度に補正する時、動きベクトルを任意の整数値に補正してもよい。例えば、補正部１０１０は、動きベクトルを０に補正してもよい。これにより、補正部１０１０は、動きベクトルを小数精度から整数精度に補正することができる。
【００９４】
（実施の形態２）
図４は、実施の形態２に係る動画像復号化装置の構成を示す構成図である。図４において、図１と同じ符号が割り当てられた構成要素は、図１に示された構成要素と同様の機能を有する。
【００９５】
図４に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８および補正部１０１０を備える。
【００９６】
補正部１０１０は、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報を固定値等の予め定められた値に補正する機能を有する。つまり、補正部１０１０は、実施の形態１における補正部１０１０と異なり、動きベクトルではなく、動き補償フィルタ係数情報を補正する。補正に用いられる予め定められた値は、動き補償フィルタ係数情報として、正常な値であればよい。
【００９７】
動き補償部１００７は、実施の形態１と同様に、動きベクトルに基づいて、フレームメモリ１００６から参照画像を取得して、動き補償処理を行う機能を有する。ただし、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、フレームメモリ１００６から取得した参照画像と、補正された動き補償フィルタ係数情報と、復号化された動きベクトルとを用いて動き補償処理を行う。
【００９８】
次に、図４に示された動画像復号化装置の復号化処理動作について説明する。
【００９９】
図５は、図４に示された動画像復号化装置の処理を示すフローチャートである。
【０１００】
図５に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ２０１）。
【０１０１】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ２０２）。
【０１０２】
ここで、エラー検出部１００２がエラーを検出した場合（Ｓ２０２でＹｅｓ）、補正部１０１０は、動き補償フィルタ係数情報を固定値等の予め定められた値に補正する（Ｓ２０３）。
【０１０３】
一方、エラー検出部１００２がエラーを検出しなかった場合（Ｓ２０２でＮｏ）、補正部１０１０は、補正処理（Ｓ２０３）を行わない。
【０１０４】
動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ２０４）。
【０１０５】
ここで、エラー検出部１００２がエラーを検出しなかった場合、動き補償部１００７は、実施の形態１と同様に、動き補償処理を行う。
【０１０６】
一方、エラー検出部１００２がエラーを検出した場合、動き補償部１００７は、補正された動き補償フィルタ係数情報を用いて、復号化された動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う。この時、動き補償フィルタ係数情報は、正常な動き補償フィルタ係数情報に補正されているため、動き補償部１００７は、小数画素位置の画素値を特定することができる。
【０１０７】
したがって、動き補償部１００７は、動きベクトルが小数画素位置を指し示している場合であっても、動き補償を行うことができる。
【０１０８】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１０９】
次に、加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ２０５）。そして、加算部１００８は、生成された画像を出力する。
【０１１０】
図６は、図４に示された動画像復号化装置の特徴的な構成を示す構成図である。図６に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。各構成要素は、図４に示された各構成要素と同様の機能を有する。
【０１１１】
図６に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【０１１２】
図６に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【０１１３】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報が、固定値等の予め定められたに補正される。したがって、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１１４】
なお、本実施の形態では、エラーが検出された場合、補正部１０１０は、動き補償フィルタ係数情報を、予め定められた値に補正している。しかし、補正部１０１０は、復号化された動きベクトルによって指し示される小数画素位置の画素値が特定されるように、フィルタ係数を任意の値に補正してもよい。
【０１１５】
また、補正部１０１０は、動き補償フィルタ係数情報を、動画像圧縮技術の方式で定められたデフォルト値に補正してもよいし、動きベクトルが指し示す位置の近傍の画素位置の画素値に掛け合わせる値のみが有効である動き補償フィルタ係数に補正してもよい。
【０１１６】
例えば、補正部１０１０は、動きベクトルによって指し示される小数画素位置の画素値が、その小数画素位置を囲む複数の整数画素位置における複数の画素値の平均になるように、フィルタ係数を補正してもよい。これにより、動きベクトルによって指し示される小数画素位置に近い画素位置の画素値が用いられ、画質の劣化が抑制される。
【０１１７】
また、補正部１０１０は、実施の形態１と同様に、動きベクトルが小数精度である場合のみ、補正処理を実行してもよい。
【０１１８】
（実施の形態３）
図７は、実施の形態３に係る動画像復号化装置の構成を示す構成図である。図７において、図４と同じ符号が割り当てられた構成要素は、図４に示された構成要素と同様の機能を有する。
【０１１９】
図７に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フィルタ係数記憶部３００３、フレームメモリ１００６、動き補償部１００７、加算部１００８および補正部１０１０を備える。
【０１２０】
フィルタ係数記憶部３００３は、過去に復号化された動き補償フィルタ係数情報を保持する機能を有する。例えば、復号化部１００１は、エラーが検出されなかった動き補償フィルタ係数情報をフィルタ係数記憶部３００３に格納する。これにより、１以上の動き補償フィルタ係数情報がフィルタ係数記憶部３００３に記憶される。
【０１２１】
補正部１０１０は、実施の形態２と同様に、動き補償フィルタ係数情報を補正する機能を有する。実施の形態３の補正部１０１０は、エラー検出部１００２がエラーを検出した場合、フィルタ係数記憶部３００３が保持している動き補償フィルタ係数情報を読み出す。そして、補正部１０１０は、読み出された動き補償フィルタ係数情報に、動き補償フィルタ係数情報を補正する。
【０１２２】
次に、図７に示された動画像復号化装置の復号化処理動作について説明する。
【０１２３】
図８は、図７に示された動画像復号化装置の処理を示すフローチャートである。
【０１２４】
図８に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ３０１）。
【０１２５】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ３０２）。
【０１２６】
ここで、エラー検出部１００２がエラーを検出した場合（Ｓ３０２でＹｅｓ）、補正部１０１０は、フィルタ係数記憶部３００３から過去に復号化された動き補償フィルタ係数情報を読み出す。そして、補正部１０１０は、動き補償フィルタ係数情報を、読み出された動き補償フィルタ係数情報に補正する（Ｓ３０３）。
【０１２７】
一方、エラー検出部１００２がエラーを検出しなかった場合（Ｓ３０２でＮｏ）、補正部１０１０は、補正処理（Ｓ３０３）を行わない。
【０１２８】
次に、動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ３０４）。ここで、動き補償部１００７は、実施の形態２と同様の動作（Ｓ２０４）で、動き補償処理を行うことができる。
【０１２９】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１３０】
次に、加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ３０５）。そして、加算部１００８は、生成された画像を出力する。
【０１３１】
図９は、図７に示された動画像復号化装置の特徴的な構成を示す構成図である。図９に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７、補正部１０１０およびフィルタ係数記憶部３００３を備える。各構成要素は、図７に示された各構成要素と同様の機能を有する。
【０１３２】
図９に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【０１３３】
図９に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【０１３４】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報が、過去に正しく復号化された動き補償フィルタ係数情報に補正される。したがって、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１３５】
なお、本実施の形態では、エラーが検出された場合、補正部１０１０は、動き補償フィルタ係数情報を過去に正しく復号化された動き補償フィルタ係数情報で補正する。ここで、補正部１０１０は、動き補償フィルタ係数情報を、最も後に復号化された動き補償フィルタ係数情報に補正してもよい。つまり、補正部１０１０は、動き補償フィルタ係数情報を、復号化順で復号化対象画像に最も近い画像のフィルタ係数に補正してもよい。これにより、実装が容易になる。
【０１３６】
また、補正部１０１０は、動き補償フィルタ係数情報を、表示順で最も近い動き補償フィルタ情報に補正してもよい。これにより、動き補償フィルタ係数情報は、特性が似ている画像に用いられた動き補償フィルタ係数情報に補正される。したがって、画質の劣化が抑制される。
【０１３７】
また、補正部１０１０は、動き補償フィルタ係数情報を、空間的に最も近い位置の動き補償フィルタ係数情報に補正してもよい。例えば、ブロック単位で動き補償フィルタ係数情報が定められる場合、空間的に近い位置の複数の動き補償フィルタ係数情報は、同じような値であると考えられる。したがって、動き補償フィルタ係数情報が、空間的に近い位置の動き補償フィルタ係数情報に補正されることにより、画質の劣化が抑制される。
【０１３８】
また、補正部１０１０は、動き補償フィルタ係数情報を、時間的に最も近い位置の動き補償フィルタ係数情報に補正してもよい。例えば、フィールド単位で動き補償フィルタ係数情報が定められる場合、同じピクチャの別のフィールドの動き補償フィルタ係数情報が、補正に用いられてもよい。補正部１０１０は、時間的に最も近い位置の動き補償フィルタ係数情報として、復号化順で最も近い動き補償フィルタ係数情報を用いてもよい。
【０１３９】
また、フィルタ係数記憶部３００３には、事前に、動き補償フィルタ係数情報が記憶されていてもよい。この場合、フィルタ係数記憶部３００３に記憶された動き補償フィルタ係数情報は、過去に復号化された動き補償フィルタ係数情報でなくてもよい。
【０１４０】
（実施の形態４）
図１０は、実施の形態４に係る動画像復号化装置の構成を示す構成図である。図１０において、図４と同じ符号が割り当てられた構成要素は、図４に示された構成要素と同様の機能を有する。
【０１４１】
図１０に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８、補正部１０１０およびフィルタ係数生成部４００３を備える。
【０１４２】
フィルタ係数生成部４００３は、動きベクトルによって指し示される小数画素位置の画素値を特定するための新たな動き補償フィルタ係数情報を生成する機能を有する。
【０１４３】
補正部１０１０は、実施の形態２と同様に、動き補償フィルタ係数情報を補正する機能を有する。実施の形態４の補正部１０１０は、エラー検出部１００２がエラーを検出した場合、動き補償フィルタ係数情報を、フィルタ係数生成部４００３が生成した新たな動き補償フィルタ係数情報に補正する。
【０１４４】
次に、図１０に示された動画像復号化装置の復号化処理動作について説明する。
【０１４５】
図１１は、図１０に示された動画像復号化装置の処理を示すフローチャートである。
【０１４６】
図１１に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、予測誤差信号を出力する（Ｓ４０１）。
【０１４７】
符号化ストリームの動き補償フィルタ係数情報にエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ４０２）。
【０１４８】
エラー検出部１００２がエラーを検出しなかった場合（Ｓ４０２でＹｅｓ）、フィルタ係数生成部４００３は、新たな動き補償フィルタ係数情報を生成する（Ｓ４０３）。フィルタ係数生成部４００３は、エラーの検出の有無に関わらず、事前に、新たな動き補償フィルタ係数情報を生成してもよい。
【０１４９】
そして、補正部１０１０は、動き補償フィルタ係数情報を、生成された新たな動き補償フィルタ係数に補正する（Ｓ４０４）。
【０１５０】
一方、エラー検出部１００２がエラーを検出しなかった場合（Ｓ４０２でＮｏ）、補正部１０１０は、補正処理（Ｓ４０４）を行わない。
【０１５１】
動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ４０５）。ここで、動き補償部１００７は、実施の形態２と同様の動作（Ｓ２０４）で、動き補償処理を行うことができる。
【０１５２】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１５３】
加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ４０６）。そして、加算部１００８は、生成された画像を出力する。
【０１５４】
図１２は、図１０に示された動画像復号化装置の特徴的な構成を示す構成図である。図１２に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７、補正部１０１０およびフィルタ係数生成部４００３を備える。図１２に示された各構成要素は、図１０に示された各構成要素と同様の機能を有する。
【０１５５】
図１２に示された動画像復号化装置は、フレームメモリ１００６および加算部１００８を備えていない。例えば、これらの構成要素は、動画像復号化装置の外部にあってもよい。動き補償部１００７は、外部メモリから参照画像を取得し、動き補償を行い、外部の加算器へ予測画像を出力してもよい。外部の加算器は、復号化部１００１によって復号化された予測誤差信号と、動き補償部によって生成された予測画像とを加算することにより、画像を生成する。
【０１５６】
図１２に示された構成により、動き補償フィルタ係数情報にエラーがある場合であっても、動き補償処理は、停止しない。したがって、動き補償に用いられる動き補償フィルタ係数情報にエラーがあった場合でも、動き補償処理が継続される。
【０１５７】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合は、動き補償フィルタ係数情報が生成される。したがって、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１５８】
なお、本実施の形態では、フィルタ係数生成部４００３は、動きベクトルによって指し示される小数画素位置の画素値を特定するための新たな動き補償フィルタ係数情報を生成する。フィルタ係数生成部４００３は、動き補償フィルタ係数情報を動画像圧縮方式に違反しない方法で生成してもよいし、動画像圧縮技術の方式に違反する方法で生成してもよい。例えば、新たな動き補償フィルタ係数情報は、動画像圧縮方式に従った形式でもよいし、異なる形式であってもよい。
【０１５９】
また、フィルタ係数生成部４００３は、予め定められた範囲で新たな動き補償フィルタ係数情報を生成してもよい。これにより、フィルタ係数生成部４００３は、異常な値を新たな動き補償フィルタ係数情報として生成することを回避できる。
【０１６０】
また、フィルタ係数生成部４００３は、動きベクトルによって指し示される小数画素位置の画素値が予め定められた範囲になるように、新たな動き補償フィルタ係数情報を生成してもよい。これにより、フィルタ係数生成部４００３は、小数画素位置の画素値が異常な値になるような新たな動き補償フィルタ係数情報を生成することを回避できる。
【０１６１】
また、フィルタ係数生成部４００３は、符号化時に利用する動き補償フィルタ係数の生成方法と同じ生成方法で、新たな動き補償フィルタ係数情報を生成してもよい。これにより、符号化時と同様の動き補償フィルタ係数情報が、復号化時に用いられる。したがって、画質の劣化が抑制される。
【０１６２】
あるいは、フィルタ係数生成部４００３は、符号化ストリームをエラーがない箇所まで先読みして動き補償フィルタ係数情報を復号化することにより、新たな動き補償フィルタ係数情報を生成してもよい。これにより、エラーのない動き補償フィルタ係数情報が、動き補償に用いられる。
【０１６３】
（実施の形態５）
図１３は、実施の形態５に係る動画像復号化装置の構成を示す構成図である。図１３において、図１と同じ符号が割り当てられた構成要素は、図１に示された構成要素と同様の機能を有する。
【０１６４】
図１３に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、フレームメモリ１００６、動き補償部１００７、加算部１００８、補正部１０１０および動きベクトルエラー隠蔽部５００９を備える。
【０１６５】
エラー検出部１００２は、符号化ストリームが動画像圧縮技術の標準規格に準じていない場合、エラーとして検出する機能を有する。実施の形態５のエラー検出部１００２は、動き補償フィルタ係数情報のエラーのみではなく、動きベクトルのエラーを検出する。
【０１６６】
動きベクトルエラー隠蔽部５００９は、エラー検出部１００２がエラーを検出した場合に従来技術と同様の方法で動きベクトルのエラーを隠蔽する機能を有する。
【０１６７】
補正部１０１０は、実施の形態１と同様に、動きベクトルを整数精度の動きベクトルに補正する機能を有する。実施の形態５の補正部１０１０は、動きベクトルエラー隠蔽部５００９によって生成された動きベクトルを整数精度の動きベクトルに補正する。
【０１６８】
次に、図１３に示された動画像復号化装置の復号化処理動作について説明する。
【０１６９】
図１４は、図１３に示された動画像復号化装置の処理を示すフローチャートである。
【０１７０】
図１４に示すように、動画像復号化装置において、まず、符号化ストリームを受けた復号化部１００１は、符号化ストリームを構成するヘッダ情報と予測誤差信号を復号化する。そして、復号化部１００１は、ヘッダ情報として復号化された、動き補償フィルタ係数情報および動きベクトル情報を出力する。また、復号化部１００１は、復号化された予測誤差信号を出力する（Ｓ５０１）。
【０１７１】
符号化ストリームにエラーがある場合、エラー検出部１００２はエラーを検出する（Ｓ５０２）。
【０１７２】
エラー検出部１００２がエラーを検出した場合（Ｓ５０２でＹｅｓ）、動きベクトルエラー隠蔽部５００９は、例えば、特許文献１に記載の方法でエラー隠蔽処理に用いる動きベクトルを生成する（Ｓ５０３）。
【０１７３】
補正部１０１０は、動きベクトルエラー隠蔽部５００９が生成した動きベクトル情報が整数精度の動きベクトルか小数精度の動きベクトルかを判定する（Ｓ５０４）。その判定の結果、動きベクトルが小数精度の場合は（Ｓ５０４でＹｅｓ）、動きベクトルを整数精度に補正する（Ｓ５０５）。エラーが検出されなかった場合（Ｓ５０２でＮｏ）、または、エラーが検出されたが動きベクトルが整数精度の場合（Ｓ５０４でＮｏ）、動きベクトルエラー隠蔽部５００９が生成した動きベクトル情報をそのまま動き補償部１００７へ出力する。
【０１７４】
動き補償部１００７は、フレームメモリ１００６から動き補償処理に利用する参照画像を取得し、動きベクトルが指し示す画素位置の画素値を特定することにより、動き補償処理を行う（Ｓ５０６）。ここで、動き補償部１００７は、実施の形態１と同様の動作（Ｓ１０５）で、動き補償処理を行うことができる。
【０１７５】
ただし、エラー検出部１００２がエラーを検出した場合、かつ、動きベクトルエラー隠蔽部５００９が生成した動きベクトルが整数精度の場合、動きベクトルエラー隠蔽部５００９が生成した動きベクトルを用いて、動き補償処理を行う。
【０１７６】
そして、動き補償部１００７は、動き補償処理を行うことにより、予測画像を生成する。そして、動き補償部１００７は、生成された予測画像を加算部１００８へ出力する。
【０１７７】
加算部１００８は、動き補償部１００７が出力した予測画像と、復号化部１００１が出力した予測誤差信号を加算することにより、画像を生成する（Ｓ５０７）。そして、加算部１００８は、生成された画像を出力する。
【０１７８】
以上、本実施の形態によれば、エラー検出部１００２がエラーを検出した場合、かつ、動きベクトルエラー隠蔽部５００９が出力した動きベクトルが小数精度の場合、動きベクトルが整数精度に補正される。したがって、小数精度画素の補間が不要となり、動き補償フィルタ係数情報は不要となる。これにより、動き補償フィルタ係数情報にエラーがあった場合でも、動き補償部１００７は、動き補償処理を行うことができる。
【０１７９】
また、エラー検出部１００２がエラーを検出した場合、かつ、動きベクトルエラー隠蔽部５００９が出力した動きベクトルが整数精度の場合、動き補償部１００７は、そもそも動き補償フィルタ係数情報を利用しないため、動き補償処理を行うことができる。
【０１８０】
なお、本実施の形態では、補正処理が、特許文献１のエラー隠蔽処理と組み合わされた例が示された。しかし、補正処理が、特許文献２のエラー隠蔽処理と組み合わされてもよいし、あるいは、その他の従来技術と組み合わされてもよい。
【０１８１】
また、本実施の形態では、従来技術と実施の形態１の構成とを組み合わした例が示されている。しかし、従来技術に組み合わされる構成は、実施の形態２の構成でもよいし、実施の形態３の構成でもよいし、あるいは、実施の形態４の構成でもよい。
【０１８２】
（実施の形態６）
実施の形態６の動画像復号化装置は、上述の複数の実施の形態で示された構成要素と同様の構成要素を主な構成要素として備える。
【０１８３】
図１５は、実施の形態６に係る動画像復号化装置の構成を示す構成図である。
【０１８４】
図１５に示された動画像復号化装置は、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。
【０１８５】
復号化部１００１は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、小数画素位置の画素値を特定するためのフィルタ係数を復号化する。
【０１８６】
エラー検出部１００２は、フィルタ係数のエラーを検出する。
【０１８７】
補正部１０１０は、エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、動きベクトルまたはフィルタ係数を補正する。実施の形態６の補正部１０１０は、実施の形態１または実施の形態２等に示された補正部１０１０によって、実現されてもよい。
【０１８８】
動き補償部１００７は、エラーが検出された場合、補正された動きベクトル、または、補正されたフィルタ係数を用いて、画素位置の画素値を特定することにより、動き補償を行う。
【０１８９】
図１６は、実施の形態６に係る動画像復号化装置の処理を示すフローチャートである。
【０１９０】
まず、復号化部１００１は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、小数画素位置の画素値を特定するためのフィルタ係数を復号化する（Ｓ８０１）。
【０１９１】
次に、エラー検出部１００２は、フィルタ係数のエラーを検出する（Ｓ８０２）。
【０１９２】
ここで、エラー検出部１００２がエラーを検出した場合（Ｓ８０２でＹｅｓ）、補正部１０１０は、動き補償に用いられる画素位置の画素値が特定されるように、動きベクトルまたはフィルタ係数を補正する（Ｓ８０３）。
【０１９３】
次に、動き補償部１００７は、動き補償を行う（Ｓ８０４）。エラー検出部１００２がエラーを検出していた場合、動き補償部１００７は、補正された動きベクトル、または、補正されたフィルタ係数を用いて、画素位置の画素値を特定することにより、動き補償を行う。
【０１９４】
これにより、本実施の形態に係る動画像復号化装置は、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【０１９５】
（実施の形態７）
図１７は、実施の形態７に係る動画像復号化システムの特徴的な構成を示す構成図である。
【０１９６】
図１７に示された動画像復号化システムは、動き補償処理を行うＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）１０１１、および、参照画像を記憶するメモリ１０１２を備える。ＬＳＩ１０１１は、集積回路であって、復号化部１００１、エラー検出部１００２、動き補償部１００７および補正部１０１０を備える。
【０１９７】
復号化部１００１は、符号化ストリームから、小数画素位置を指し示す動きベクトル、および、小数画素位置の画素値を特定するためのフィルタ係数を復号化する。
【０１９８】
エラー検出部１００２は、フィルタ係数のエラーを検出する。
【０１９９】
補正部１０１０は、エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、動きベクトルまたはフィルタ係数を補正する。
【０２００】
動き補償部１００７は、エラーが検出された場合、補正された動きベクトル、または、補正されたフィルタ係数を用いて、メモリ１０１２に記憶された参照画像における画素位置の画素値を特定することにより、動き補償を行う。
【０２０１】
これにより、本実施の形態に係る動画像復号化システムは、動き補償に用いられるフィルタ係数にエラーがあった場合でも、動き補償処理を継続できる。
【０２０２】
なお、上記では、メモリ１０１２がＬＳＩ１０１１の外部の構成として説明したが、ＬＳＩ１０１１の内部に含まれる構成であってもよい。また、ＬＳＩ１０１１は１チップ化されてもよいし、複数チップ化されてもよい。
【０２０３】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２０４】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２０５】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０２０６】
（実施の形態８）
さらに、実施の形態１、実施の形態２、実施の形態３、実施の形態４、実施の形態５または実施の形態６の動画像復号化装置の応用例として、動画像符号化復号化システムを説明する。
【０２０７】
図１８は、動画像レコーダを実現するＡＶ（Ａｕｄｉｏ  Ｖｉｓｕａｌ）処理部の構成図である。
【０２０８】
同図において、ＡＶ処理部６００６は、デジタル圧縮された音声および画像を再生する処理部であって、例えば、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）レコーダ、または、ハードディスクレコーダなどである。
【０２０９】
ストリームデータ６００１は、音声と画像のストリームデータである。画像信号６０１２は、画像データである。音声信号６０１３は、音声データである。
【０２１０】
転送バス６００７は、音声または画像の復号化データ、および、ストリームデータなどのデータを転送するバスである。
【０２１１】
ストリーム入出力部６００２は、前述のストリームデータ６００１を入出力するストリーム入出力部であって、転送バス６００７に接続している。また、ストリーム入出力部６００２は、大容量蓄積デバイスに接続しており、ストリームデータ６００１を大容量蓄積デバイスに出力する。また、ストリーム入出力部６００２は、ストリームデータ６００１を入力として、受け付ける。
【０２１２】
画像符号化復号化部６００８は、画像の符号化および復号化を行う画像符号化復号化部であり、転送バス６００７に接続している。
【０２１３】
メモリ６００３は、ストリームデータ、符号化データおよび復号化データなどのデータを格納するメモリであり、転送バス６００７に接続している。
【０２１４】
ここで、画像符号化復号化部６００８は、図１、図４、図７、図１０、図１３または図１５に示された動画像復号化装置を復号化回路として含む。ストリームデータ６００１は、符号化ストリームを含んでおり、さらに、メモリ６００３とＡＶ処理部６００６の間の信号は、復号化画像を含む。画像信号６０１２には、復号化画像が含まれてもよい。
【０２１５】
画像処理部６０１０は、画像信号に対してプレ処理およびポスト処理を行う画像処理部であり、転送バス６００７に接続している。
【０２１６】
画像入出力部６０１１は、画像処理部６０１０で処理された、もしくは、画像処理部６０１０で処理せれずに通過した、画像データ信号を外部に画像信号６０１２として出力する、または、外部からの画像信号６０１２を取り込むための画像入出力部である。
【０２１７】
音声処理部６０１５は、音声信号に対してプレ処理およびポスト処理を行う音声処理部であり、転送バス６００７に接続している。
【０２１８】
音声入出力部６０１４は、音声処理部６０１５で処理した、もしくは、音声処理部で処理されずに通過した、音声データ信号を外部に音声信号６０１３として出力する、または、外部からの音声信号６０１３を取り込むための音声入出力部である。
【０２１９】
また、ＡＶ制御部６００５は、ＡＶ処理部６００６の全体制御を行うＡＶ制御部である。
【０２２０】
符号化処理では、以下のような動作を行う。
【０２２１】
符号化処理においては、最初に、画像信号６０１２が、画像入出力部６０１１に入力される。また、音声信号６０１３が、音声入出力部６０１４に入力される。
【０２２２】
次に、画像処理部６０１０は、画像入出力部６０１１に入力された画像信号６０１２を用いて、フィルタ処理および符号化のための特徴量抽出などを行う。そして、画像処理部６０１０は、メモリ入出力部６００４を介して、メモリ６００３に画像信号６０１２を原画像として格納する。
【０２２３】
次に、再びメモリ入出力部６００４を介して、メモリ６００３から画像符号化復号化部６００８には、原画像データと参照画像データが、転送される。逆に、画像符号化復号化部６００８は、メモリ６００３に、画像符号化復号化部６００８で符号化した画像ストリームデータと局所復元データを転送する。
【０２２４】
一方、音声処理部６０１５は、音声入出力部６０１４に入力された音声信号６０１３を用いて、フィルタ処理および符号化のための特徴量抽出などを行う。そして、音声処理部６０１５は、メモリ入出力部６００４を介してメモリ６００３に音声信号６０１３を原音声データとして格納する。
【０２２５】
次に、音声処理部６０１５は、再びメモリ入出力部６００４を介してメモリ６００３から原音声データを取り出して符号化し、再度音声ストリームデータとしてメモリ６００３に格納する。
【０２２６】
符号化処理の最後に、ＡＶ制御部６００５は、画像ストリーム、音声ストリーム、および、その他のストリーム情報を、一つのストリームデータとして処理し、ストリーム入出力部６００２を介して、ストリームデータ６００１を出力する。ストリームデータ６００１は、光ディスク（ＤＶＤ）またはハードディスク（ＨＤＤ）などの大容量蓄積デバイスに書き込まれる。
【０２２７】
次に、復号化処理では、以下のような動作を行う。
【０２２８】
まず、光ディスク、ハードディスクおよび半導体メモリなどの大容量蓄積デバイスから、記録処理により蓄積されたデータが、読み出される。これにより、音声および画像のストリームデータ６００１が、ストリーム入出力部６００２を介して入力される。ストリームデータ６００１のうち画像ストリームは、画像符号化復号化部６００８に入力され、ストリームデータ６００１のうち音声ストリームは、音声符号化復号化部６００９に入力される。
【０２２９】
画像符号化復号化部６００８は、画像ストリームから画像データを復号化する。画像符号化復号化部６００８は、復号化された画像データを、メモリ入出力部６００４を介して、一時的に、メモリ６００３に格納する。画像処理部６０１０は、メモリ６００３に格納されたデータに対して、ノイズ除去などの加工処理を行う。また、メモリ６００３に格納された画像データは、再び画像符号化復号化部６００８によって、画面間動き補償予測の参照ピクチャとして使用されることもある。
【０２３０】
また、音声符号化復号化部６００９は、音声ストリームから音声データを復号化する。音声符号化復号化部６００９は、復号化された音声データを、メモリ入出力部６００４を介して、一時的に、メモリ６００３に格納する。音声処理部６０１５は、メモリ６００３に格納されたデータに対して、音響などの加工処理を行う。
【０２３１】
最後に、ＡＶ制御部６００５は、音声と画像の時間的な同期をとりながら、画像処理部６０１０で加工処理したデータを、画像入出力部６０１１を介して画像信号６０１２として出力し、音声処理部６０１５で加工処理したデータを、音声入出力部６０１４を介して音声信号６０１３として出力する。出力された画像信号６０１２は、テレビ画面などに画像として表示される。出力された音声信号６０１３は、スピーカなどから音声として出力される。
【０２３２】
（実施の形態９）
上記各実施の形態で示した動画像復号化方法の構成を実現するためのプログラムを記憶メディアに記録することにより、上記各実施の形態で示した処理を独立したコンピュータシステムにおいて簡単に実施することが可能となる。記憶メディアは、磁気ディスク、光ディスク、光磁気ディスク、ＩＣカード、半導体メモリ等、プログラムを記録できるものであればよい。
【０２３３】
さらに、ここで、上記各実施の形態で示した動画像復号化方法の応用例とそれを用いたシステムを説明する。
【０２３４】
図１９は、コンテンツ配信サービスを実現するコンテンツ供給システムｅｘ１００の全体構成を示す図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局ｅｘ１０６〜ｅｘ１１０が設置されている。
【０２３５】
このコンテンツ供給システムｅｘ１００では、電話網ｅｘ１０４、および、基地局ｅｘ１０６〜ｅｘ１１０を介して、コンピュータｅｘ１１１、ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）ｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５などの各機器が相互に接続される。また、各機器が、インターネットサービスプロバイダｅｘ１０２を介して、インターネットｅｘ１０１に接続されている。
【０２３６】
しかし、コンテンツ供給システムｅｘ１００は、図１９のような構成に限定されず、いずれかの要素を組み合せて接続するようにしてもよい。また、固定無線局である基地局ｅｘ１０６〜ｅｘ１１０を介さずに、各機器が電話網ｅｘ１０４に直接接続されてもよい。また、各機器が近距離無線等を介して直接相互に接続されていてもよい。
【０２３７】
カメラｅｘ１１３は、デジタルビデオカメラ等の動画撮影が可能な機器であり、カメラｅｘ１１６は、デジタルカメラ等の静止画撮影、動画撮影が可能な機器である。また、携帯電話ｅｘ１１４は、ＧＳＭ（Ｇｌｏｂａｌ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍｏｂｉｌｅ  Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ）方式、ＣＤＭＡ（Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、Ｗ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ−Ｃｏｄｅ  Ｄｉｖｉｓｉｏｎ  Ｍｕｌｔｉｐｌｅ  Ａｃｃｅｓｓ）方式、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）方式、若しくは、ＨＳＰＡ（Ｈｉｇｈ  Ｓｐｅｅｄ  Ｐａｃｋｅｔ  Ａｃｃｅｓｓ）方式の携帯電話、または、ＰＨＳ（Ｐｅｒｓｏｎａｌ  Ｈａｎｄｙｐｈｏｎｅ  Ｓｙｓｔｅｍ）等であり、いずれでも構わない。
【０２３８】
コンテンツ供給システムｅｘ１００では、カメラｅｘ１１３等が基地局ｅｘ１０９、電話網ｅｘ１０４を通じてストリーミングサーバｅｘ１０３に接続されることで、ライブ配信等が可能になる。ライブ配信では、ユーザがカメラｅｘ１１３を用いて撮影するコンテンツ（例えば、音楽ライブの映像等）に対して、符号化処理を行い、ストリーミングサーバｅｘ１０３に送信する。一方、ストリーミングサーバｅｘ１０３は、要求のあったクライアントに対して、送信されたコンテンツデータをストリーム配信する。クライアントとしては、上記符号化処理されたデータを復号化することが可能な、コンピュータｅｘ１１１、ＰＤＡｅｘ１１２、カメラｅｘ１１３、携帯電話ｅｘ１１４、ゲーム機ｅｘ１１５等がある。配信されたデータを受信した各機器では、受信したデータを復号化処理して再生する。
【０２３９】
なお、撮影したデータの符号化処理は、カメラｅｘ１１３で行っても、データの送信処理をするストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。同様に配信されたデータの復号化処理は、クライアントで行っても、ストリーミングサーバｅｘ１０３で行ってもよいし、互いに分担して行ってもよい。また、カメラｅｘ１１３に限らず、カメラｅｘ１１６で撮影した静止画像および／または動画像データを、コンピュータｅｘ１１１を介してストリーミングサーバｅｘ１０３に送信してもよい。この場合の符号化処理は、カメラｅｘ１１６、コンピュータｅｘ１１１およびストリーミングサーバｅｘ１０３のいずれで行ってもよいし、互いに分担して行ってもよい。
【０２４０】
また、これら符号化処理および復号化処理は、一般的にコンピュータｅｘ１１１および各機器が有するＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）ｅｘ５００において実行される。ＬＳＩｅｘ５００は、ワンチップであっても複数チップからなる構成であってもよい。なお、動画像符号化用のソフトウェアまたは動画像復号化用のソフトウェアをコンピュータｅｘ１１１等で読み取り可能な何らかの記録メディア（ＣＤ−ＲＯＭ、フレキシブルディスク、ハードディスクなど）に組み込み、そのソフトウェアを用いて符号化処理または復号化処理を行ってもよい。さらに、携帯電話ｅｘ１１４がカメラ付きである場合には、そのカメラで取得した動画像データを送信してもよい。このときの動画像データは、携帯電話ｅｘ１１４が有するＬＳＩｅｘ５００で符号化処理されたデータである。
【０２４１】
また、ストリーミングサーバｅｘ１０３は、複数のサーバまたは複数のコンピュータであって、データを分散して処理したり記録したり配信するものであってもよい。
【０２４２】
以上のようにして、コンテンツ供給システムｅｘ１００では、符号化されたデータをクライアントが受信して再生することができる。このようにコンテンツ供給システムｅｘ１００では、ユーザが送信した情報をリアルタイムでクライアントが受信して復号化し、再生することができ、特別な権利および設備を有さないユーザでも個人放送を実現できる。
【０２４３】
なお、コンテンツ供給システムｅｘ１００の例に限らず、図２０に示すように、デジタル放送用システムｅｘ２００にも、上記各実施の形態の動画像復号化装置を組み込むことができる。具体的には、放送局ｅｘ２０１では映像情報のビットストリームが電波を介して通信または衛星ｅｘ２０２に伝送される。このビットストリームは、上記各実施の形態で説明した動画像復号化方法に対応する動画像符号化方法により符号化された符号化ビットストリームである。これを受けた放送衛星ｅｘ２０２は、放送用の電波を発信し、この電波を衛星放送の受信が可能な家庭のアンテナｅｘ２０４が受信する。受信したビットストリームを、テレビ（受信機）ｅｘ３００またはセットトップボックス（ＳＴＢ）ｅｘ２１７等の装置が復号化して再生する。
【０２４４】
また、記録媒体であるＣＤおよびＤＶＤ等の記録メディアｅｘ２１４に記録したビットストリームを読み取り、復号化する再生装置ｅｘ２１２にも上記実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１３に表示される。
【０２４５】
また、ＤＶＤ、ＢＤ等の記録メディアｅｘ２１５に記録した符号化ビットストリームを読み取り復号化する、または、記録メディアｅｘ２１５に映像信号を符号化し書き込むリーダ／レコーダｅｘ２１８にも上記各実施の形態で示した動画像復号化装置を実装することが可能である。この場合、再生された映像信号はモニタｅｘ２１９に表示され、符号化ビットストリームが記録された記録メディアｅｘ２１５により他の装置およびシステムにおいて映像信号を再生することができる。また、ケーブルテレビ用のケーブルｅｘ２０３または衛星／地上波放送のアンテナｅｘ２０４に接続されたセットトップボックスｅｘ２１７内に動画像復号化装置を実装し、これをテレビのモニタｅｘ２１９で表示してもよい。このときセットトップボックスではなく、テレビ内に動画像復号化装置を組み込んでもよい。
【０２４６】
図２１は、上記各実施の形態で説明した動画像復号化方法を用いたテレビ（受信機）ｅｘ３００を示す図である。テレビｅｘ３００は、上記放送を受信するアンテナｅｘ２０４またはケーブルｅｘ２０３等を介して映像情報のビットストリームを取得または出力するチューナｅｘ３０１と、受信した符号化データを復調する、または外部に送信する符号化データに変調する変調／復調部ｅｘ３０２と、復調した映像データ、音声データを分離する、または符号化された映像データ、音声データを多重化する多重／分離部ｅｘ３０３を備える。
【０２４７】
また、テレビｅｘ３００は、音声データ、映像データそれぞれを復号化する、またはそれぞれの情報を符号化する音声信号処理部ｅｘ３０４、映像信号処理部ｅｘ３０５を有する信号処理部ｅｘ３０６と、復号化した音声信号を出力するスピーカｅｘ３０７、復号化した映像信号を表示するディスプレイ等の表示部ｅｘ３０８を有する出力部ｅｘ３０９とを有する。さらに、テレビｅｘ３００は、ユーザ操作の入力を受け付ける操作入力部ｅｘ３１２等を有するインタフェース部ｅｘ３１７を有する。さらに、テレビｅｘ３００は、各部を統括的に制御する制御部ｅｘ３１０、各部に電力を供給する電源回路部ｅｘ３１１を有する。
【０２４８】
インタフェース部ｅｘ３１７は、操作入力部ｅｘ３１２以外に、リーダ／レコーダｅｘ２１８等の外部機器と接続されるブリッジｅｘ３１３、ＳＤカード等の記録メディアｅｘ２１６を装着可能とするためのスロット部ｅｘ３１４、ハードディスク等の外部記録メディアと接続するためのドライバｅｘ３１５、電話網と接続するモデムｅｘ３１６等を有していてもよい。なお、記録メディアｅｘ２１６は、格納する不揮発性／揮発性の半導体メモリ素子により電気的に情報の記録を可能としたものである。
【０２４９】
テレビｅｘ３００の各部は、同期バスを介して互いに接続されている。
【０２５０】
まず、テレビｅｘ３００がアンテナｅｘ２０４等により外部から取得したデータを復号化し、再生する構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、ＣＰＵ等を有する制御部ｅｘ３１０の制御に基づいて、変調／復調部ｅｘ３０２で復調した映像データ、音声データを多重／分離部ｅｘ３０３で分離する。さらにテレビｅｘ３００は、分離した音声データを音声信号処理部ｅｘ３０４で復号化し、分離した映像データを映像信号処理部ｅｘ３０５で上記各実施の形態で説明した動画像復号化方法を用いて復号化する。復号化した音声信号、映像信号は、それぞれ出力部ｅｘ３０９から外部に向けて出力される。出力する際には、音声信号と映像信号が同期して再生するよう、バッファｅｘ３１８、ｅｘ３１９等に一旦これらの信号を蓄積するとよい。また、テレビｅｘ３００は、放送等からではなく、磁気／光ディスク、ＳＤカード等の記録メディアｅｘ２１５、ｅｘ２１６から符号化された符号化ビットストリームを読み出してもよい。
【０２５１】
次に、テレビｅｘ３００が音声信号および映像信号を符号化し、外部に送信または記録メディア等に書き込む構成について説明する。テレビｅｘ３００は、リモートコントローラｅｘ２２０等からのユーザ操作を受け、制御部ｅｘ３１０の制御に基づいて、音声信号処理部ｅｘ３０４で音声信号を符号化し、映像信号処理部ｅｘ３０５で映像信号を上記各実施の形態で説明した動画像復号化方法に対応する動画像符号化方法を用いて符号化する。符号化した音声信号、映像信号は多重／分離部ｅｘ３０３で多重化され外部に出力される。多重化する際には、音声信号と映像信号が同期するように、バッファｅｘ３２０、ｅｘ３２１等に一旦これらの信号を蓄積するとよい。
【０２５２】
なお、バッファｅｘ３１８〜ｅｘ３２１は図示しているように複数備えていてもよいし、１つ以上のバッファを共有する構成であってもよい。さらに、図示している以外に、例えば変調／復調部ｅｘ３０２および多重／分離部ｅｘ３０３の間等でもシステムのオーバフロー、アンダーフローを避ける緩衝材としてバッファにデータを蓄積することとしてもよい。
【０２５３】
また、テレビｅｘ３００は、放送および記録メディア等から音声データおよび映像データを取得する以外に、マイクおよびカメラのＡＶ入力を受け付ける構成を備え、それらから取得したデータに対して符号化処理を行ってもよい。なお、ここではテレビｅｘ３００は上記の符号化処理、多重化、および外部出力ができる構成として説明したが、これらの処理を行うことはできず、上記受信、復号化処理、外部出力のみが可能な構成であってもよい。
【０２５４】
また、リーダ／レコーダｅｘ２１８で記録メディアから符号化ビットストリームを読み出す、または、書き込む場合には、上記復号化処理または符号化処理はテレビｅｘ３００とリーダ／レコーダｅｘ２１８とのいずれで行ってもよいし、テレビｅｘ３００とリーダ／レコーダｅｘ２１８とが互いに分担して行ってもよい。
【０２５５】
一例として、光ディスクからデータの読み込みまたは書き込みをする場合の情報再生／記録部ｅｘ４００の構成を図２２に示す。情報再生／記録部ｅｘ４００は、以下に説明する要素ｅｘ４０１〜ｅｘ４０７を備える。
【０２５６】
光ヘッドｅｘ４０１は、光ディスクである記録メディアｅｘ２１５の記録面にレーザスポットを照射して情報を書き込み、記録メディアｅｘ２１５の記録面からの反射光を検出して情報を読み込む。変調記録部ｅｘ４０２は、光ヘッドｅｘ４０１に内蔵された半導体レーザを電気的に駆動し記録データに応じてレーザ光の変調を行う。再生復調部ｅｘ４０３は、光ヘッドｅｘ４０１に内蔵されたフォトディテクタにより記録面からの反射光を電気的に検出した再生信号を増幅し、記録メディアｅｘ２１５に記録された信号成分を分離して復調し、必要な情報を再生する。バッファｅｘ４０４は、記録メディアｅｘ２１５に記録するための情報および記録メディアｅｘ２１５から再生した情報を一時的に保持する。ディスクモータｅｘ４０５は、記録メディアｅｘ２１５を回転させる。サーボ制御部ｅｘ４０６は、ディスクモータｅｘ４０５の回転駆動を制御しながら光ヘッドｅｘ４０１を所定の情報トラックに移動させ、レーザスポットの追従処理を行う。
【０２５７】
システム制御部ｅｘ４０７は、情報再生／記録部ｅｘ４００全体の制御を行う。上記の読み出しおよび書き込みの処理はシステム制御部ｅｘ４０７が、バッファｅｘ４０４に保持された各種情報を利用し、また必要に応じて新たな情報の生成および追加を行うと共に、変調記録部ｅｘ４０２、再生復調部ｅｘ４０３、サーボ制御部ｅｘ４０６を協調動作させながら、光ヘッドｅｘ４０１を通して、情報の記録再生を行うことにより実現される。システム制御部ｅｘ４０７は、例えばマイクロプロセッサで構成され、読み出し書き込みのプログラムを実行することでそれらの処理を実行する。
【０２５８】
以上では、光ヘッドｅｘ４０１はレーザスポットを照射するとして説明したが、近接場光を用いてより高密度な記録を行う構成であってもよい。
【０２５９】
図２３に光ディスクである記録メディアｅｘ２１５の模式図を示す。記録メディアｅｘ２１５の記録面には案内溝（グルーブ）がスパイラル状に形成され、情報トラックｅｘ２３０には、予めグルーブの形状の変化によってディスク上の絶対位置を示す番地情報が記録されている。この番地情報はデータを記録する単位である記録ブロックｅｘ２３１の位置を特定するための情報を含み、記録および再生を行う装置において情報トラックｅｘ２３０を再生し番地情報を読み取ることで記録ブロックを特定することができる。また、記録メディアｅｘ２１５は、データ記録領域ｅｘ２３３、内周領域ｅｘ２３２、外周領域ｅｘ２３４を含んでいる。ユーザデータを記録するために用いる領域がデータ記録領域ｅｘ２３３であり、データ記録領域ｅｘ２３３より内周または外周に配置されている内周領域ｅｘ２３２と外周領域ｅｘ２３４は、ユーザデータの記録以外の特定用途に用いられる。
【０２６０】
情報再生／記録部ｅｘ４００は、このような記録メディアｅｘ２１５のデータ記録領域ｅｘ２３３に対して、符号化された音声データ、映像データまたはそれらのデータを多重化した符号化データの読み書きを行う。
【０２６１】
以上では、１層のＤＶＤ、ＢＤ等の光ディスクを例に挙げ説明したが、これらに限ったものではなく、多層構造であって表面以外にも記録可能な光ディスクであってもよい。また、ディスクの同じ場所にさまざまな異なる波長の色の光を用いて情報を記録したり、さまざまな角度から異なる情報の層を記録したりするなど、多次元的な記録／再生を行う構造の光ディスクであってもよい。
【０２６２】
また、デジタル放送用システムｅｘ２００において、アンテナｅｘ２０５を有する車ｅｘ２１０で衛星ｅｘ２０２等からデータを受信し、車ｅｘ２１０が有するカーナビゲーションｅｘ２１１等の表示装置に動画を再生することも可能である。なお、カーナビゲーションｅｘ２１１の構成は例えば図２１に示す構成のうち、ＧＰＳ受信部を加えた構成が考えられ、同様なことがコンピュータｅｘ１１１および携帯電話ｅｘ１１４等でも考えられる。また、上記携帯電話ｅｘ１１４等の端末は、テレビｅｘ３００と同様に、符号化器および復号化器を両方持つ送受信型端末の他に、符号化器のみの送信端末、復号化器のみの受信端末という３通りの実装形式が考えられる。
【０２６３】
このように、上記各実施の形態で示した動画像復号化方法を上述したいずれの機器またはシステムに用いることは可能であり、そうすることで、上記各実施の形態で説明した効果を得ることができる。
【０２６４】
また、本発明はかかる上記実施の形態に限定されるものではなく、本発明の範囲を逸脱することなく種々の変形または修正が可能である。
【０２６５】
（実施の形態１０）
本実施の形態では、実施の形態６に示した動画像復号化装置を、典型的には半導体集積回路であるＬＳＩとして実現する。実現した形態を図２４に示す。動画像復号化装置の各構成要素は、図２４に示されたＬＳＩ上に構成される。
【０２６６】
これらは個別に１チップ化されてもよいし、一部またはすべてを含むように１チップ化されても良い。ここではＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２６７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現しても良い。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用しても良い。
【０２６８】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行っても良い。バイオ技術の適応などが可能性として有り得る。
【０２６９】
さらに加えて、本実施の形態の動画像復号化装置を集積化した半導体チップと、画像を描画するためのディスプレイとを組み合せて、様々な用途に応じた描画機器を構成することができる。携帯電話、テレビ、デジタルビデオレコーダー、デジタルビデオカメラおよびカーナビゲーション等における情報描画手段として、本発明を利用することが可能である。ディスプレイとしては、ブラウン管（ＣＲＴ）の他、液晶、ＰＤＰ（プラズマディスプレイパネル）および有機ＥＬなどのフラットディスプレイ、プロジェクターを代表とする投射型ディスプレイなどと組み合わせることが可能である。
【０２７０】
また、本実施の形態におけるＬＳＩは、符号化ストリームを蓄積するビットストリームバッファ、および、画像を蓄積するフレームメモリ等を備えるＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）と連携することにより、符号化処理または復号化処理を行ってもよい。また、本実施の形態におけるＬＳＩは、ＤＲＡＭではなく、ｅＤＲＡＭ（ｅｍｂｅｄｅｄ  ＤＲＡＭ）、ＳＲＡＭ（Ｓｔａｔｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）、または、ハードディスクなど他の記憶装置と連携してもかまわない。
【０２７１】
なお、本実施の形態では、実施の形態６に示した動画像復号化装置が、ＬＳＩとして実現されている。同様に、実施の形態１、実施の形態２、実施の形態３、実施の形態４または実施の形態５に記載の動画像復号化装置が、ＬＳＩとして実現されてもよい。
【０２７２】
（実施の形態１１）
上記各実施の形態で示した動画像復号化装置および動画像復号化方法は、典型的には集積回路であるＬＳＩで実現される。一例として、図２５に１チップ化されたＬＳＩｅｘ５００の構成を示す。ＬＳＩｅｘ５００は、以下に説明する要素ｅｘ５０２〜ｅｘ５０９を備え、各要素はバスｅｘ５１０を介して接続している。電源回路部ｅｘ５０５は電源がオン状態の場合に各部に対して電力を供給することで動作可能な状態に起動する。
【０２７３】
例えば、符号化処理を行う場合には、ＬＳＩｅｘ５００は、ＡＶ  Ｉ／Ｏｅｘ５０９によりマイクｅｘ１１７およびカメラｅｘ１１３等からＡＶ信号の入力を受け付ける。入力されたＡＶ信号は、一旦ＳＤＲＡＭ等の外部のメモリｅｘ５１１に蓄積される。蓄積したデータは、処理量および処理速度に応じて適宜複数回に分けるなどされ、信号処理部ｅｘ５０７に送られる。信号処理部ｅｘ５０７は、音声信号の符号化および／または映像信号の符号化を行う。ここで映像信号の符号化処理は、上記実施の形態で説明した復号化処理に対応する符号化処理である。信号処理部ｅｘ５０７では、さらに、場合により符号化された音声データと符号化された映像データを多重化するなどの処理を行い、ストリームＩ／Ｏｅｘ５０４から外部に出力する。この出力されたビットストリームは、基地局ｅｘ１０７に向けて送信されたり、または、記録メディアｅｘ２１５に書き込まれたりする。
【０２７４】
また、例えば、復号化処理を行う場合には、ＬＳＩｅｘ５００は、マイコン（マイクロコンピュータ）ｅｘ５０２の制御に基づいて、ストリームＩ／Ｏｅｘ５０４によって、基地局ｅｘ１０７から得られた符号化データ、または、記録メディアｅｘ２１５から読み出して得た符号化データを一旦メモリｅｘ５１１等に蓄積する。マイコンｅｘ５０２の制御に基づいて、蓄積したデータは処理量および処理速度に応じて適宜複数回に分けるなどされ信号処理部ｅｘ５０７に送られ、信号処理部ｅｘ５０７において音声データの復号化および／または映像データの復号化が行われる。ここで映像信号の復号化処理は上記各実施の形態で説明した復号化処理である。さらに、場合により復号化された音声信号と復号化された映像信号を同期して再生できるようそれぞれの信号を一旦メモリｅｘ５１１等に蓄積するとよい。復号化された出力信号はメモリｅｘ５１１等を適宜介しながら、ＡＶＩ／Ｏｅｘ５０９からモニタｅｘ２１９等に出力される。メモリｅｘ５１１にアクセスする際にはメモリコントローラｅｘ５０３を介する構成である。
【０２７５】
なお、上記では、メモリｅｘ５１１がＬＳＩｅｘ５００の外部の構成として説明したが、ＬＳＩｅｘ５００の内部に含まれる構成であってもよい。また、ＬＳＩｅｘ５００は１チップ化されてもよいし、複数チップ化されてもよい。
【０２７６】
なお、ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
【０２７７】
また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、または、ＬＳＩ内部の回路セルの接続および設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０２７８】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適応等が可能性としてありえる。
【０２７９】
以上、各実施の形態における動画像復号化装置は、フィルタ係数にエラーが検出された場合、動きベクトルまたはフィルタ係数を補正する。したがって、動画像復号化装置は、動き補償を継続できる。
【０２８０】
なお、本発明に係る動画像復号化装置について、複数の実施の形態に基づいて説明したが、本発明はこれらの実施の形態に限定されるものではない。各実施の形態に対して当業者が思いつく変形を施して得られる形態も本発明に含まれる。また、複数の実施の形態における構成要素を任意に組み合わせて実現される別の形態も本発明に含まれる。
【０２８１】
また、本発明は、動画像復号化装置として実現できるだけでなく、動画像復号装置を構成する処理手段をステップとする方法として実現できる。そして、本発明は、それらステップをコンピュータに実行させるプログラムとして実現できる。さらに、本発明は、そのプログラムを記憶したコンピュータ読み取り可能なＣＤ−ＲＯＭ等の記憶媒体として実現できる。
【産業上の利用可能性】
【０２８２】
以上のように、本発明に係る動画像復号化装置は、例えば、携帯電話、ＤＶＤ装置、ＢＤ（Ｂｌｕ−ｒａｙ  Ｄｉｓｃ）装置、パソコン、テレビ電話、セットトップボックス、デジタルテレビ、自動車、および、セキュリティシステムなど、動画像を復号化する機器、あるいは、動画像を表示する機器において有用である。
【符号の説明】
【０２８３】
１００１    復号化部
１００２    エラー検出部
１００６    フレームメモリ
１００７    動き補償部
１００８    加算部
１０１０    補正部
１０１１、ｅｘ５００    ＬＳＩ（集積回路）
１０１２、６００３、ｅｘ５１１    メモリ
３００３    フィルタ係数記憶部
４００３    フィルタ係数生成部
５００９    動きベクトルエラー隠蔽部
６００１    ストリームデータ
６００２    ストリーム入出力部
６００４    メモリ入出力部
６００５    ＡＶ制御部
６００６    ＡＶ処理部
６００７    転送バス
６００８    画像符号化復号化部
６００９    音声符号化復号化部
６０１０    画像処理部
６０１１    画像入出力部
６０１２    画像信号
６０１３    音声信号
６０１４    音声入出力部
６０１５    音声処理部
ｅｘ１００    コンテンツ供給システム
ｅｘ１０１    インターネット
ｅｘ１０２    インターネットサービスプロバイダ
ｅｘ１０３    ストリーミングサーバ
ｅｘ１０４    電話網
ｅｘ１０６、ｅｘ１０７、ｅｘ１０８、ｅｘ１０９、ｅｘ１１０    基地局
ｅｘ１１１    コンピュータ
ｅｘ１１２    ＰＤＡ（Ｐｅｒｓｏｎａｌ  Ｄｉｇｉｔａｌ  Ａｓｓｉｓｔａｎｔ）
ｅｘ１１３、ｅｘ１１６    カメラ
ｅｘ１１４    携帯電話
ｅｘ１１５    ゲーム機
ｅｘ１１７    マイク
ｅｘ２００    デジタル放送用システム
ｅｘ２０１    放送局
ｅｘ２０２    放送衛星（衛星）
ｅｘ２０３    ケーブル
ｅｘ２０４、ｅｘ２０５    アンテナ
ｅｘ２１０    車
ｅｘ２１１    カーナビゲーション（カーナビ）
ｅｘ２１２    再生装置
ｅｘ２１３、ｅｘ２１９    モニタ
ｅｘ２１４、ｅｘ２１５、ｅｘ２１６    記録メディア
ｅｘ２１７    セットトップボックス（ＳＴＢ）
ｅｘ２１８    リーダ／レコーダ
ｅｘ２２０    リモートコントローラ
ｅｘ２３０    情報トラック
ｅｘ２３１    記録ブロック
ｅｘ２３２    内周領域
ｅｘ２３３    データ記録領域
ｅｘ２３４    外周領域
ｅｘ３００    テレビ（受信機）
ｅｘ３０１    チューナ
ｅｘ３０２    変調／復調部
ｅｘ３０３    多重／分離部
ｅｘ３０４    音声信号処理部
ｅｘ３０５    映像信号処理部
ｅｘ３０６、ｅｘ５０７    信号処理部
ｅｘ３０７    スピーカ
ｅｘ３０８    表示部
ｅｘ３０９    出力部
ｅｘ３１０    制御部
ｅｘ３１１、ｅｘ５０５    電源回路部
ｅｘ３１２    操作入力部
ｅｘ３１３    ブリッジ
ｅｘ３１４    スロット部
ｅｘ３１５    ドライバ
ｅｘ３１６    モデム
ｅｘ３１７    インタフェース部
ｅｘ３１８、ｅｘ３１９、ｅｘ３２０、ｅｘ３２１、ｅｘ４０４    バッファ
ｅｘ４００    情報再生／記録部
ｅｘ４０１    光ヘッド
ｅｘ４０２    変調記録部
ｅｘ４０３    再生復調部
ｅｘ４０５    ディスクモータ
ｅｘ４０６    サーボ制御部
ｅｘ４０７    システム制御部
ｅｘ５０２    マイコン（マイクロコンピュータ）
ｅｘ５０３    メモリコントローラ
ｅｘ５０４    ストリームＩ／Ｏ
ｅｘ５０９    ＡＶ  Ｉ／Ｏ
ｅｘ５１０    バス
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
動き補償を行う動画像復号化装置であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
動画像復号化装置。
【請求項２】
前記補正部は、前記エラーが検出された場合、前記動きベクトルを、整数画素位置を指し示す動きベクトルに補正し、
前記動き補償部は、前記エラーが検出された場合、補正された前記動きベクトルによって指し示される前記整数画素位置の画素値を特定することにより、動き補償を行う
請求項１に記載の動画像復号化装置。
【請求項３】
前記補正部は、前記エラーが検出された場合、前記動きベクトルの小数部分の切り捨て、切り上げまたは四捨五入により、前記動きベクトルを補正する
請求項２に記載の動画像復号化装置。
【請求項４】
前記補正部は、前記エラーが検出された場合、前記動きベクトルを０に補正する
請求項２に記載の動画像復号化装置。
【請求項５】
動き補償を行う集積回路であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
集積回路。
【請求項６】
動き補償を行う動画像復号化方法であって、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化ステップと、
前記フィルタ係数のエラーを検出するエラー検出ステップと、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正ステップと、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記画素位置の画素値を特定することにより、動き補償を行う動き補償ステップとを含む
動画像復号化方法。
【請求項７】
動き補償を行う動画像復号化システムであって、
動き補償を行う集積回路と、
参照画像を記憶するメモリとを備え、
前記集積回路は、
符号化ストリームから、小数画素位置を指し示す動きベクトル、および、前記小数画素位置の画素値を特定するためのフィルタ係数を復号化する復号化部と、
前記フィルタ係数のエラーを検出するエラー検出部と、
前記エラーが検出された場合、動き補償に用いられる画素位置の画素値が特定されるように、前記動きベクトルを補正する補正部と、
前記エラーが検出された場合、補正された前記動きベクトルを用いて、前記メモリに記憶された前記参照画像における前記画素位置の画素値を特定することにより、動き補償を行う動き補償部とを備える
動画像復号化システム。
【請求項８】
請求項６に記載の動画像復号化方法に含まれるステップをコンピュータに実行させるための
プログラム。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2011004551.tif 000028
【図２】
2011004551.tif 000029
【図３】
2011004551.tif 000030
【図４】
2011004551.tif 000031
【図５】
2011004551.tif 000032
【図６】
2011004551.tif 000033
【図７】
2011004551.tif 000034
【図８】
2011004551.tif 000035
【図９】
2011004551.tif 000036
【図１０】
2011004551.tif 000037
【図１１】
2011004551.tif 000038
【図１２】
2011004551.tif 000039
【図１３】
2011004551.tif 000040
【図１４】
2011004551.tif 000041
【図１５】
2011004551.tif 000042
【図１６】
2011004551.tif 000043
【図１７】
2011004551.tif 000044
【図１８】
2011004551.tif 000045
【図１９】
2011004551.tif 000046
【図２０】
2011004551.tif 000047
【図２１】
2011004551.tif 000048
【図２２】
2011004551.tif 000049
【図２３】
2011004551.tif 000050
【図２４】
2011004551.tif 000051
【図２５】
2011004551.tif 000052
【国際調査報告】
2011004551.tif 000053
2011004551.tif 000054
2011004551.tif 000055