(57)【要約】【課題】Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像などの、スケーラビリティを有する符号化データから動画像を再生する。全符号を復号できないフレームを強制的に駒落ちさせ、あるいは、画質劣化が許容される程度ならば、部分的復号によりフレームを再生させる。【解決手段】リモート画像ソース２００やハードディスク装置１１４などから入力する、スケーラビリティを有する動画像の符号化データがデコーダ１２０で復号される。制御部１２６は、所定時間内におけるエントロピー復号の進行度合が基準に達したフレームでは、それまでに復号された結果を用いて画像を再生させ、エントロピー復号の進行度合が基準に達しないフレームでは画像を再生させるようにエンコーダ１２０を制御する。【選択図】        図１
2004215021.tif 000002
【特許請求の範囲】
【請求項１】
動画像の符号化データからその動画像を再生する画像処理装置であって、
符号化データを復号する復号手段と、この復号手段の復号動作を制御する制御手段とを有し、
前記制御手段は、スケーラビリティを有する動画像の符号化データに関し、前記復号手段における部分的復号による画像再生を抑止することを特徴とする画像処理装置。
【請求項２】
動画像の符号化データからその動画像を再生する画像処理装置であって、
符号化データを復号する復号手段と、この復号手段の復号動作を制御する制御手段とを有し、
前記制御手段は、スケーラビリティを有する動画像の符号化データに関し、前記復号手段による各フレームのエントロピー復号の実行状況を監視し、所定時間内にエントロピー復号の進行度合が基準に達したフレームでは前記復号手段により画像再生を行わせ、エントロピー復号の進行度合が基準に達しないフレームでは前記復号手段による画像再生を抑止することを特徴とする画像処理装置。
【請求項３】
前記進行度合の基準をユーザが指定するための手段を有することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
請求項２に記載の画像処理装置において、前記進行度合の基準は、フレームの全符号量に対するエントロピー復号済みの符号量の割合であることを特徴とする画像処理装置。
【請求項５】
請求項２に記載の画像処理装置において、前記進行度合の基準は、フレームの全レイヤ数に対するエントロピー復号済みのレイヤ数の割合であることを特徴とする画像処理装置。
【請求項６】
請求項２に記載の画像処理装置において、前記進行度合の基準は、フレームの全解像度レベル数に対するエントロピー復号済みの解像度レベル数の割合であることを特徴とする画像処理装置。
【請求項７】
請求項１乃至６のいずれか１項に記載の画像処理装置において、動画像の符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データであることを特徴とする画像処理装置。
【請求項８】
動画像の符号化データからその動画像を再生する画像処理方法であって、
符号化データの復号処理を行い、
スケーラビリティを有する動画像の符号化データに関し、前記復号処理における部分的復号による画像再生を抑止することを特徴とする画像処理方法。
【請求項９】
動画像の符号化データからその動画像を再生する画像処理方法であって、
符号化データの復号処理を行い、
スケーラビリティを有する動画像の符号化データに関し、前記復号処理におけるエントロピー復号の実行状況を監視し、所定時間内にエントロピー復号の進行度合が基準に達しないフレームでは前記復号処理による画像の再生を抑止することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法において、前記進行度合の基準がユーザにより指定可能であることを特徴とする画像処理方法。
【請求項１１】
請求項９に記載の画像処理方法において、前記進行度合の基準は、フレームの全符号量に対するエントロピー復号済みの符号量の割合であることを特徴とする画像処理方法。
【請求項１２】
請求項９に記載の画像処理方法において、前記進行度合の基準は、フレームの全レイヤ数に対するエントロピー復号済みのレイヤ数の割合であることを特徴とする画像処理方法。
【請求項１３】
請求項９に記載の画像処理方法において、前記進行度合の基準は、フレームの全解像度レベル数に対するエントロピー復号済みの解像度レベル数の割合であることを特徴とする画像処理方法。
【請求項１４】
請求項８乃至１３のいずれか１項に記載の画像処理方法において、動画像の符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データであることを特徴とする画像処理方法。
【請求項１５】
請求項８乃至１４のいずれか１項に記載の画像処理方法のための処理をコンピュータに実行させるプログラム。
【請求項１６】
請求項１５に記載のプログラムが記録されたコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像の符号化データからその動画像を再生する技術に係り、特に、スケーラビリティを有する符号化データから動画像を再生する画像処理方法及び装置に関する。
【０００２】
【従来の技術】
画像は、記録又は伝送に先立って符号化（圧縮）されるのが一般的である。この符号化方式としては、静止画にはＪＰＥＧが、動画像にはＭＰＥＧが広く利用されている（例えば非特許文献１参照）
近年、インターネットなどのネットワークを経由した動画像のストリーミングの利用が増加している。このストリーミングでは、通信路の渋滞や障害等によって、受信側でフレームの全符号を所定時間内に受信できない場合がある。ＭＰＥＧの動画像は、各フレームの符号化データにスケーラビリティがないため、例えば毎秒３０フレームの場合に、１／３０秒以内にフレームの全符号の受信と復号を完了できないときには、そのフレームは駒落ちとなる。ＭＰＥＧの動画像は、独立して符号化されたフレームと、フレーム間予測により符号化されたフレームとがあり、独立して符号化されたフレームで駒落ちが起きると、そのフレームを予測に利用したフレームも駒落ちとなることがあり、その場合には動画像の動きの滑らかさが大きく損なわれる。ローカルな画像ソースから符号化データを読み込みながら動画像を再生する場合においても、復号処理が間に合わないフレームで同様の駒落ちが生じる。
【０００３】
なお、ＭＰＥＧにおいても、各フレームを基本レイヤと高位レイヤとに分けて送信することが可能である。この場合には、高位レイヤが受信できないフレームでは基本レイヤのみ復号して最悪駒落ちを防ぐことができるが、そのフレームの画質は大幅に悪化してしまう（例えば非特許文献１参照）。
【０００４】
ＭＰＥＧやＪＰＥＧに代わる符号化方式として、ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  ＦＣＤ  １５４４４−１）と、その拡張方式であるＭｏｔｉｏｎ−ＪＰＥＧ２０００（ＩＳＯ／ＩＥＣ  ＦＣＤ  １５４４４−３）が注目されている（例えば非特許文献２参照）。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、時間的に連続する複数の静止画像それぞれをフレームとして動画像を扱い、各フレームは前後のフレームとは独立にＪＰＥＧ２０００のアルゴリズムにより符号化する。したがって、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の各フレームは、ＪＰＥＧ２０００により符号化された静止画像と同様に扱うことができる。
【０００５】
【非特許文献１】
藤原洋監修、「ポイント図解式  最新ＭＰＥＧ教科書」
株式会社アスキー、２００２年７月１日
【非特許文献２】
野水泰之著、「次世代画像符号化方式  ＪＰＥＧ２０００」、
株式会社トリケップス、２００１年２月１３日
【０００６】
【発明が解決しようとする課題】
詳細は後述するが、ＪＰＥＧ２０００の符号化データはスケーラビリティを有する。例えば、ＬＲＣＰプログレッションの符号化データは、同じ解像度で画質を上下できる画質スケーラビリティを有し、上位レイヤの符号から順に復号していくことにより、たとえ最下位レイヤまで復号できなくとも画像を再生することができる。つまり、全符号を復号できなくとも、一部符号だけの復号（本明細書では部分的復号と記す）により、画質は悪化するものの、画像の再生が可能である。
【０００７】
Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像においても、各フレームの符号化データにスケーラビリティを持たせることができ、各フレームの部分的復号による画像再生が可能である。したがって、例えばストリーミングにおいて、送信側でＬＲＣＰプログレッションの符号を上位レイヤのものから順に送信し、受信側で全レイヤの符号の受信及び復号を所定時間内に完了できないフレームを部分的復号により再生し、駒落ちを回避することができる。しかし、部分的復号により再生されるフレームは、全符号の復号により再生されるフレームに比べ画質が低下する。このような画質の悪いフレームの混在した動画像は強い違和感を感じさせる場合がある。すなわち、画質の悪いフレームを駒落ちさせたほうが違和感が少ない場合がある。駒落ちにより動きの滑らかさは損なわれるが、各フレームが独立して符号化されているＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の場合、画質の悪いフレームを駒落ちさせても、その前後のフレームまで駒落ちさせる必要がないため、その影響は少ない。
【０００８】
よって、本発明の１つの目的は、スケーラビリティを有するＭｏｔｉｏｎ−ＪＰＥＧの動画像などを再生する場合に、部分的復号による画質の悪いフレームの混在を回避できる画像処理方法及び画像処理装置を提供することにある。
【０００９】
しかしながら、部分的復号によるフレームは画質が悪化するといっても、その画質悪化を許容できるか否かは、動画像を観る人の好みや動画像の内容に依存する。また、動画像を観る人の好みや動画像の内容によっては、多少の違和感があっても動きの滑らかさを優先したい場合もある。
【００１０】
よって、本発明のもう１つの目的は、スケーラビリティを有するＭｏｔｉｏｎ−ＪＰＥＧの動画像などを再生する場合に、全符号を復号できないフレームを再生させるか駒落ちさせるかを制御できる画像処理方法及び装置を提供することにある。
【００１１】
【課題を解決するための手段】
本発明の画像処理装置は、請求項１に記載されるように、動画像の符号化データからその動画像を再生する画像処理装置であって、符号化データを復号する復号手段と、この復号手段の復号動作を制御する制御手段とを有し、前記制御手段は、スケーラビリティを有する動画像の符号化データに関し、前記復号手段における部分的復号による画像再生を抑止することを特徴とする。
【００１２】
本発明の画像処理装置は、請求項２に記載されるように、動画像の符号化データからその動画像を再生する画像処理装置であって、符号化データを復号する復号手段と、この復号手段の復号動作を制御する制御手段とを有し、前記制御手段は、スケーラビリティを有する動画像の符号化データに関し、前記復号手段による各フレームのエントロピー復号の実行状況を監視し、所定時間内にエントロピー復号の進行度合が基準に達したフレームでは前記復号手段により画像再生を行わせ、エントロピー復号の進行度合が基準に達しないフレームでは前記復号手段による画像再生を抑止することを特徴とする。
【００１３】
本発明の画像処理装置のもう１つの特徴は、請求項３に記載されるように、請求項２に記載の構成に加え、前記進行度合の基準をユーザが指定するための手段を有することにある。
【００１４】
本発明の画像処理装置のもう１つの特徴は、請求項４に記載されるように、請求項２に記載の構成において、前記進行度合の基準は、フレームの全符号量に対するエントロピー復号済みの符号量の割合であることにある。
【００１５】
本発明の画像処理装置のもう１つの特徴は、請求項５に記載されるように、請求項２に記載の構成において、前記進行度合の基準は、フレームの全レイヤ数に対するエントロピー復号済みのレイヤ数の割合であることにある。
【００１６】
本発明の画像処理装置のもう１つの特徴は、請求項６に記載されるように、請求項２に記載の構成において、前記進行度合の基準は、フレームの全解像度レベル数に対するエントロピー復号済みの解像度レベル数の割合であることにある。
【００１７】
本発明の画像処理装置のもう１つの特徴は、請求項７に記載のように、請求項１乃至６のいずれか１項に記載の構成において、動画像の符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データであることにある。
【００１８】
本発明の画像処理方法は、請求項８に記載されるように、動画像の符号化データからその動画像を再生する画像処理方法であって、符号化データの復号処理を行い、スケーラビリティを有する動画像の符号化データに関し、前記復号処理における部分的復号による画像再生を抑止することを特徴とする。
【００１９】
本発明の画像処理方法は、請求項９に記載されるように、動画像の符号化データからその動画像を再生する画像処理方法であって、符号化データの復号処理を行い、スケーラビリティを有する動画像の符号化データに関し、前記復号処理におけるエントロピー復号の実行状況を監視し、所定時間内にエントロピー復号の進行度合が基準に達しないフレームでは前記復号処理による画像の再生を抑止することを特徴とする。
【００２０】
本発明の画像処理方法のもう１つの特徴は、請求項１０に記載されるように、請求項９に記載の構成に加え、前記進行度合の基準がユーザにより指定可能であることにある。
【００２１】
本発明の画像処理方法のもう１つの特徴は、請求項１１に記載されるように、請求項９に記載の構成において、前記進行度合の基準は、フレームの全符号量に対するエントロピー復号済みの符号量の割合であることにある。
【００２２】
本発明の画像処理方法のもう１つの特徴は、請求項１２に記載されるように、請求項９に記載の構成において、前記進行度合の基準は、フレームの全レイヤ数に対するエントロピー復号済みのレイヤ数の割合であることにある。
【００２３】
本発明の画像処理方法のもう１つの特徴は、請求項１３に記載されるように、請求項９に記載の構成において、前記進行度合の基準は、フレームの全解像度レベル数に対するエントロピー復号済みの解像度レベル数の割合であることにある。
【００２４】
本発明の画像処理方法のもう１つの特徴は、請求項１４に記載されるように、請求項８乃至１３のいずれか１項に記載の構成において、動画像の符号化データはＭｏｔｉｏｎ−ＪＰＥＧ２０００の符号化データであることにある。
【００２５】
【発明の実施の形態】
本発明の実施の形態の説明に先立ち、その理解に必要な範囲でＪＰＥＧ２０００とＭｏｔｉｏｎ−ＪＰＥＧ２０００について概説する。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００では、連続する複数の静止画像それぞれをフレームとして動画像を扱い、各フレームは独立してＪＰＥＧ２０００のアルゴリズムにより符号化される。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００とＪＰＥＧ２０００の違いはファイル・フォーマットにある。
【００２６】
図７は、ＪＰＥＧ２０００の基本的な符号化（圧縮）と復号（伸長）のアルゴリズムを説明するための簡略化したブロック図である。
【００２７】
符号化について説明する。処理の対象となる画像データは、各コンポーネント毎に、重複しない矩形領域（タイル）に分割され、各コンポーネント毎にタイル単位で処理される。ただし、画像全体を１つのタイルとして（タイル分割しないで）処理することも可能である。
【００２８】
各コンポーネントの各タイル画像は、色空間変換／逆変換部１で、圧縮率の向上を目的として、ＲＧＢデータやＣＭＹデータからＹＣｒＣｂデータへの色空間変換を施される。この色空間変換が省かれる場合もある。
【００２９】
色空間変換後のタイル画像は、ウェーブレット変換／逆変換部２により、２次元ウェーブレット変換（離散ウェーブレット変換）を施され、複数のサブバンドに分解される。
【００３０】
図８はデコンポジション・レベル数が３の場合のウェーブレット変換の説明図である。図８（ａ）に示すタイル画像（デコンポジションレベル０）に対する２次元ウェーブレット変換により、図８（ｂ）に示すような１ＬＬ，１ＨＬ，１ＬＨ，１ＨＨの各サブバンドに分割される。１ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図８（ｃ）に示すような２ＬＬ，２ＨＬ，２ＬＨ，２ＨＨのサブバンドに分割される。２ＬＬサブバンドの係数に対し２次元ウェーブレット変換が適用されることにより、図８（ｄ）に示すような３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨのサブバンドに分割される。デコンポジションレベルと解像度レベルとの関係であるが、図８（ｄ）の各サブバンドに括弧で囲んで示した数字が解像度レベルを示している。
【００３１】
このような低周波成分（ＬＬサブバンド係数）の再帰的分割（オクターブ分割）により得られたウェーブレット係数は、サブバンド毎に量子化／逆量子化部３によって量子化される。ＪＰＥＧ２０００は可逆符号化（ロスレス符号化）と非可逆符号化（ロシィ符号化）のいずれも可能であり、可逆符号化の場合には量子化ステップ幅は常に１であり、この段階では実質的に量子化されない。
【００３２】
量子化後の各サブバンド係数は、エントロピー符号化／復号化部４でエントロピー符号化される。このエントロピー符号化には、ブロック分割、係数モデリング及び２値算術符号化からなるＥＢＣＯＴ（Ｅｍｂｅｄｄｅｄ  Ｂｌｏｃｋ  Ｃｏｄｉｎｇ  ｗｉｔｈ
Ｏｐｔｉｍｉｚｅｄ  Ｔｒｕｎｃａｔｉｏｎ）と呼ばれるブロックベースのビットプレーン符号化方式が用いられる。量子化後の各サブバンド係数のビットプレーンが、上位ビットから下位ビットへ向かって、コードブロックと呼ばれるブロック毎に符号化される。
【００３３】
タグ処理部５において、エントロピー符号化／復号化部４で生成されたコードブロックの符号がまとめられパケットが作成され、次に、パケットがプログレッション順序に従って並べられるとともに必要なタグ情報が付加されることにより、所定のフォーマットの符号化データが作成される。ＪＰＥＧ２０００では、符号順序制御に関して、解像度レベル、位置（プリシンクト）、レイヤ、コンポーネント（色成分）の組み合わせによる５種類のプログレッション順序が定義されている。
【００３４】
このようにして生成されるＪＰＥＧ２０００の符号化データのフォーマットを図９に示す。図９に見られるように、符号化データはその始まりを示すＳＯＣマーカと呼ばれるタグで始まり、その後に符号化パラメータや量子化パラメータ等を記述したメインヘッダ（Ｍａｉｎ  Ｈｅａｄｅｒ）と呼ばれるタグ情報が続き、その後に各タイル毎の符号データが続く。各タイル毎の符号データは、ＳＯＴマーカと呼ばれるタグで始まり、タイルヘッダ（Ｔｉｌｅ  Ｈｅａｄｅｒ）と呼ばれるタグ情報、ＳＯＤマーカと呼ばれるタグ、各タイルの符号列を内容とするタイルデータ（Ｔｉｌｅ  Ｄａｔａ）で構成される。最後のタイルデータの後に、終了を示すＥＯＣマーカと呼ばれるタグが置かれる。
【００３５】
図１１にメインヘッダの構成を示す。ＳＩＺ，ＣＯＤ，ＱＣＤの各マーカセグメントは必須であるが、他のマーカセグメントはオプションである。
【００３６】
復号処理は符号化処理と逆の処理となる。符号化データはタグ処理部５で各コンポーネントの各タイルの符号列に分解される。この符号列はエントロピー符号化／復号化部４によってエントロピー復号される。復号されたウェーブレット係数は量子化／逆量子化部３で逆量子化されたのち、ウェーブレット変換／逆変換部２で２次元の逆ウェーブレット変換を施されることにより、各コンポーネントの各タイルの画像が再生される。各コンポーネントの各タイル画像は色空間変換／逆変換部１で逆色変換処理を施されてＲＧＢなどのコンポーネントから構成されるタイル画像に戻される。
【００３７】
ここで、ＪＰＥＧ２０００におけるプリシンクト、コードブロック、パケット、レイヤについて説明する。画像≧タイル≧サブバンド≧プリシンクト≧コードブロックの大きさ関係がある。
【００３８】
プリシンクトとは、サブバンドの矩形領域で、同じデコンポジションレベルのＨＬ，ＬＨ，ＨＨサブバンドの空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。ただし、ＬＬサブバンドでは、１つの領域が１つのプリシンクトとして扱われる。プリシンクトのサイズをサブバンドと同じサイズにすることも可能である。また、プリシンクトを分割した矩形領域がコードブロックである。図１０にデコンポジションレベル１における１つのプリシンクトとコードブロックを例示した。図中のプリシンクトと記された空間的に同じ位置にある３つの領域の組が１つのプリシンクトとして扱われる。
【００３９】
プリシンクトに含まれる全てのコードブロックの符号の一部（例えば最上位から３ビット目までの３枚のビットプレーンの符号）を取り出して集めたものがパケットである。符号が空（から）のパケットも許される。コードブロックの符号をまとめてパケットを生成し、所望のプログレッション順序に従ってパケットを並べることにより符号化データを形成する。図９の各タイルに関するＳＯＤ以下の部分がパケットの集合である。
【００４０】
全てのプリシンクト（つまり、全てのコードブロック、全てのサブバンド）のパケットを集めると、画像全域の符号の一部（例えば、画像全域のウェーブレット係数の最上位のビットプレーンから３枚目までのビットプレーンの符号）ができるが、これがレイヤである。したがって、復号されるレイヤ数が多いほど再生画像の画質は向上する。つまり、レイヤは画質の単位と言える。全てのレイヤを集めると、画像全域の全てのビットプレーンの符号になる。
【００４１】
ＪＰＥＧ２０００においてはＬＲＣＰ、ＲＬＣＰ、ＲＰＣＬ、ＰＣＲＬ、ＣＰＲＬの５つのプログレッション順序が定義されている。ここで、Ｌはレイヤ、Ｒは解像度レベル、Ｃはコンポーネント、Ｐはプリシンクト（位置）である。
【００４２】
ＬＲＣＰプログレッションの場合、Ｌ，Ｒ，Ｃ，Ｐの順にネストされた次のようなｆｏｒループ
ｆｏｒ（レイヤ）｛
ｆｏｒ（解像度レベル）｛
ｆｏｒ（コンポーネント）｛
ｆｏｒ（プリシンクト）｛
パケットを配置：符号化時
パケットを解釈：復号時
｝
｝
｝
｝
の順でパケットのハンドリング（符号化時にはパケットの配置、復号時にはパケットの解釈）が行われる。その具体例を図１２に示す。
【００４３】
このようなＬＲＣＰプログレッションの符号化コードは、解像度はそのままで画質を上下できる画質スケーラビリティを有し、前述のように、全レイヤの符号を復号しなくとも、上位側のレイヤの符号のみの部分的復号で画像を再生可能である。プログレッション順序とレイヤ数は、メインヘッダのＣＯＤマーカセグメントに記述されている。
【００４４】
なお、空間的解像度のスケーラビリティを有するＲＬＣＰプログレッションやＲＰＣＬプログレッションの符号化データも部分的復号が可能である。
【００４５】
図１は、本発明の画像処理方法及び画像処理装置の実施の形態を説明するためのブロック図である。
【００４６】
図１において、画像処理装置１００は、ローカルな画像ソースとして、ハードディスク装置１１４と、各種メモリカードなどの記録媒体１１８の読み取りを行う媒体読取部１１６を有する。
【００４７】
この画像処理装置１００は、インターネットやイントラネットなどのネットワークとの通信のための通信部１１０を有し、そのようなネットワーク上の画像ソース２００（サーバ）を送信側とした動画像のストリーミングも可能である。ストリーミングの場合、通信部１１０で受信された符号化データはバッファ記憶部１１２に一時的に記憶されて順次復号処理されるが、必要に応じてハードディスク装置１１４もバッファ記憶域として利用される。
【００４８】
この画像処理装置１００は、符号化データの復号処理のためのデコーダ１２０と、ユーザが後述の基準の指定などを行うためのユーザ入力部１２４、画像などの表示のための表示部１２２、デコーダ１２０の復号動作の制御やその他各部の制御を行うための制御部１２６を備える。デコーダ１２０における部分的復号による画像再生の抑止／許可の制御は制御部１２６によって行われる。
【００４９】
図示しないが、この画像処理装置１００は、パソコンなどの汎用コンピュータを利用しプログラムにより実現することも可能である。この場合、デコーダ１２０をハードウェアとして装備することも、プログラムによりデコーダ１２０を実現することも可能である。このようなコンピュータを利用する態様も当然に本発明に包含される。また、そのためのプログラムと、それを記録した各種記録（記憶）媒体も本発明に包含される。
【００５０】
次に、ローカル画像ソース又はリモート画像ソース２００からスケーラビリティを有するＭｏｔｉｏｎ−ＪＰＥＧ２０００の動画像の符号化データ（例えばＬＲＣＰプログレッションの符号化データ）を入力し、それをデコーダ１２０で復号して動画像を再生し表示部１２２に表示する動作について説明する。図２と図３は、その説明のためのフローチャートとタイミング図である。
【００５１】
制御部１２６は、現在のフレームの期間の先頭より、エンコーダ１２０に次フレームの符号化データのエントロピー復号を開始させる（ステップＳ２００）。制御部１２６は、所定時間を経過するまでエントロピー復号の進行状況を監視する（ステップＳ２０２）。そして、所定時間を経過すると（ステップＳ２０４，Ｙｅｓ）、その時点でのエントロピー復号の進行度合がユーザにより指定された基準又はデフォルトの基準に達したか判定する（ステップＳ２０６）。
【００５２】
基準に達しているときには（ステップＳ２０６，Ｙｅｓ）、これまでのエントロピー復号の結果を用いた画像再生の処理、すなわち逆ウェーブレット変換、逆量子化、逆色空間変換をデコーダ１２０に実行させ、再生された画像のデータを表示部１２２へ出力させる（ステップＳ２０８）。後述のように、どのような基準が設定されるかによって、部分的復号による画像再生は完全に抑止され、あるいは制限付きで許可される。
【００５３】
エントロピー復号の進行度合が基準に達していないときには（ステップＳ２０６，Ｎｏ）、制御部１２６はデコーダ１２０に逆ウェーブレット変換以降の動作を実行させない。したがって、次フレームの画像の再生、出力は行われず、現在フレームの画像がそのまま次フレーム期間でも表示部１２２で表示される。すなわち、部分的復号による画像再生は抑止され、次フレームは駒落ちとなる。
【００５４】
図３を参照すると、現在のフレーム（ｎ）期間の先頭から所定期間Ｔａ内で次フレーム（ｎ＋１）のエントロピー復号が実行される（もちろん、所定期間Ｔａが経過する前に全符号のエントロピー復号が完了する場合もある）。この所定期間Ｔａ内でのエントロピー復号の進行度合が基準に達したときには、次フレーム（ｎ＋１）の開始までの期間Ｔｂで逆ウェーブレット変換以降の復号動作が実行されて画像が再生され、その画像のデータが表示部１２２へ出力され、次フレーム（ｎ＋１）期間に表示される。エントロピー復号の進行度合が基準に達しないときには、期間Ｔｂでは逆ウェーブレット変換以降の復号動作は行われず、次フレームは駒落ちとなり、現フレームと同じ画像がそのまま次フレーム期間に表示される。
【００５５】
エントロピー復号の進行度合の基準は、例えば、全符号量に対する復号済み符号量の割合、全レイヤ数に対する復号済みのレイヤ数の割合、全解像度レベル数に対する復号済み解像度レベル数などとして、ユーザにより指定することができ、ユーザによって指定されない場合にはデフォルトの基準が用いられる。
【００５６】
メインヘッダのＰＬＭマーカセグメント（あるいはタイルヘッダのＰＬＴマーカセグメント）などを参照することにより、各レイヤの符号量や各パケットの符号量などを求めることができるため、全符号量に対する復号済み符号量の割合の確認は容易である。前述のように、メインヘッダのＣＯＤマーカセグメントから全レイヤ数を認識できるため、全レイヤ数に対する復号済みレイヤ数の割合の確認はさらに容易である。各レイヤの符号量が均等になるように符号化データが作成されている場合には、この復号済みレイヤ数の割合は、全符号量に対する復号済み符号量の割合とほぼ一致する。また、メインヘッダのＣＯＤマーカセグメントから解像度レベル数（デコンポジション・レベル数）を認識できるため、全解像度レベル数に対する復号済み解像度レベル数の割合も容易に確認できる。
【００５７】
ユーザは、部分的復号による画質の悪いフレームの混在を回避したい場合には、基準（例えば、全符号量に対する復号済み符号量の割合）を１００％に設定すれば、部分的復号による画像再生を抑止することができる。駒落ちを少なくしたいユーザは、基準を１００％未満に設定し、その基準に達したフレームでは、例え部分的復号となっても画像を再生させることができる。
【００５８】
図４、図５及び図６は同じ動画像の３フレームの再生画像を示す。図４は、３フレーム全てにおいて全符号を復号できた場合を示す。図５と図６は、２番目のフレームで全符号量の１５％だけ復号できた場合と７０％たけ復号できた場合を示す（つまり２番目のフレームは部分的復号による再生画像である）。ストリーミングでは符号の受信遅れにより、図５や図６のように所定時間内に全符号の復号を終了できないケースが発生しやすい。ストリーミング以外であっても、符号量の多いフレームで復号を完了できないケースが発生することがある。
【００５９】
図５のケースでは、２番目のフレームは、もやもやした木の枝などが目に付き、表示させると強い違和感がある。したがって、このフレームは駒落ちさせたほうが自然な動画像となる。図６のケースでは、２番目のフレームは画質がそれほど悪くないため、そのまま表示させてもそれほど違和感はない。したがって、動きの滑らかさを優先したいユーザは２番目のフレームを表示させることを好むであろうし、画質のばらつきによる違和感を嫌うユーザならば２番目のフレームを駒落ちさせることを好むであろう。
【００６０】
例えば、動きの滑らかさを多少犠牲にしても、画質が少しでも低下したフレームの混在を避けたいと望むユーザならば、例えば「全符号量に対する復号済み符号量の割合１００％」を基準として指定することにより、部分的復号となるフレームを全て駒落ちさせることができる。この場合、図４のような全符号を復号できるケースでは３フレームの画像が全て再生表示されるが、図５と図６のケースでは２番目のフレームが駒落ちとなる。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像は、各フレームが独立して符号化されるため、そのような駒落ちによる影響は少なく、動画像が不自然になることはない。
【００６１】
動きの滑らかさを優先し駒落ちの発生を嫌うユーザならば、例えば「全符号量に対する復号済み符号量の割合７０％以上」を基準として指定することができる。この場合、図５のようなケースでは２番目のフレームが駒落ちとなるが、図６のようなケースでは２番目のフレームは駒落ちとならず、部分的復号により再生される。
【００６２】
画質低下をより厳しく制限したいと望むならば、ユーザは例えば「全符号量に対する復号済み符号量の割合８０％以上」を基準として指定することができる。この場合、図５と図６のようなケースでは２番目のフレームが駒落ちとなる。
【００６３】
このように、ユーザは基準の選び方によって、部分的復号によるフレーム再生を許容し駒落ちの少ない動きの滑らかな動画像を再生させたり、部分的復号によるフレーム再生を制限し、動きの滑らかさが多少損なわれても一部フレームの画質低下による違和感の少ない動画像を再生させたりすることができる。
【００６４】
なお、スケーラビリティのない動画像の場合、部分的復号の余地はないので、所定時間内に全符号を復号できないフレームは全て駒落ちとなる。
【００６５】
以上に説明した画像処理方法のための処理を、パソコンなどのコンピュータ上でプログラムにより実行することも可能であることは明白である。そのためのプログラムと、同プログラムが記録された各種の記録（記憶）媒体も本発明に包含される。
【００６６】
以上、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像を例に本発明を説明したが、他の符号化方式により符号化された動画像に対しても本発明を適用し得ることは明らかである。
【００６７】
【発明の効果】
以上に説明したように、本発明によれば、画質又は解像度スケーラビリティを有する符号化データから動画像を再生する場合に、部分的復号によるフレーム再生を抑止し、全符号を復号できないフレームは全て駒落ちさせて、画質の悪いフレームの混入による違和感を排除することができる。Ｍｏｔｉｏｎ−ＪＰＥＧ２０００の動画像のように、各フレームが独立して符号化された動画像では、そのような駒落ちによる影響は少なく、動画像が不自然になることはない。ユーザの嗜好や動画像の内容に応じて、部分的復号によるフレーム再生の制限を緩やかにし、駒落ちの少ない動きの滑らかな動画像を再生させ、あるいは、動きの滑らかさが多少損なわれても、部分的復号によるフレーム再生の制限を厳しくして、違和感の少ない動画像を再生させることができる等の効果を得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態を説明するためのブロック図である。
【図２】スケーラビリティを有する動画像の各フレームの再生動作を説明するためのフローチャートである。
【図３】動画像の再生動作を説明するためのタイミング図である。
【図４】ある動画像の３フレームの全符号を復号できた場合の再生画像を示す図である。
【図５】図４と同じ動画像の２番目のフレームの符号を１５％しか復号できない場合の再生画像を示す図である。
【図６】図４と同じ動画像の２番目のフレームの符号を７０％しか復号できない場合の再生画像を示す図である。
【図７】ＪＰＥＧ２０００のアルゴリズムを説明するためのブロック図である。
【図８】２次元ウェーブレット変換の説明のための図である。
【図９】ＪＰＥＧ２０００の符号化データのフォーマットを示す図である。
【図１０】プリシンクトとコードブロックを説明するための図である。
【図１１】メインヘッダの構造を示す図である。
【図１２】ＬＲＣＰプログレッションの符号化コードにおけるパケットの配置順及び解釈順を説明するための図である。
【符号の説明】
１００  画像処理装置
１１０  通信部
１１２  バッファ記憶部
１１４  ハードディスク装置
１１６  媒体読取部
１１８  記録媒体
１２０  デコーダ
１２２  表示部
１２４  ユーザ入力部
１２６  制御部
２００  リモート画像ソース
【図１】
2004215021.tif 000003
【図２】
2004215021.tif 000004
【図３】
2004215021.tif 000005
【図４】
2004215021.tif 000006
【図５】
2004215021.tif 000007
【図６】
2004215021.tif 000008
【図７】
2004215021.tif 000009
【図８】
2004215021.tif 000010
【図９】
2004215021.tif 000011
【図１０】
2004215021.tif 000012
【図１１】
2004215021.tif 000013
【図１２】
2004215021.tif 000014