(57)【要約】【課題】ＰＣのディスプレイのような複数の表示周波数を持つディスプレイに、デジタル動画像データの高速再生時に、再生した画像を滑らかに表示すること。【解決手段】デジタル動画像データの画像再生装置であって、通常再生により画像を再生するように指示する通常再生指示部（２００７）と、高速再生により画像を再生するように指示する高速再生指示部（２００８）と、高速再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の一部を選択する復号対象タイル決定部（２１０２）と、復号対象タイル決定部により選択された一部に対応するデジタル動画像データを表示用に再生処理する処理手段（２１０３〜２１０５）と、処理手段で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる復号フレーム出力部（２００４）とを有する。【選択図】　図２０
2004056761.tif 000002
【特許請求の範囲】
【請求項１】
デジタル動画像データの画像再生装置であって、
第１のフレームレートで画像を再生するように指示する第１の指示手段と、
前記第１のフレームレートよりも高い第２のフレームレートで画像を再生するように指示する第２の指示手段と、
前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の一部を選択する選択手段と、
前記選択手段により選択された一部に対応するデジタル動画像データを表示用に再生処理する処理手段と、
前記処理手段で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理手段と
を有することを特徴とする画像再生装置。
【請求項２】
デジタル動画像データの画像再生装置であって、
第１のフレームレートで画像を再生するように指示する第１の指示手段と、
前記第１のフレームレートよりも高い第２のフレームレートで画像を再生するように指示する第２の指示手段と、
前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像について、表示用に再生処理するか否かを判断する判断手段と、
前記判断手段により再生処理すると判断されたフレーム画像の一部を選択する選択手段と、
前記選択手段により選択された一部に対応するデジタル動画像データを表示用に再生処理する処理手段と、
前記処理手段で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理手段と
を有することを特徴とする画像再生装置。
【請求項３】
前記選択手段は、所定周期で選択する部分を変更することを特徴とする請求項１又は２に記載の画像再生装置。
【請求項４】
前記選択手段は、前記第１のフレームレートに対する前記第２のフレームレートの倍率の略逆数となる割合で、各フレーム画像から画像の一部を選択することを特徴とする請求項１に記載の画像再生装置。
【請求項５】
前記判断手段は、前記ディスプレイの表示周波数情報に応じて、前記デジタル動画像データが示す各フレーム画像の内、再生処理するフレーム画像を判断することを特徴とする請求項２に記載の画像再生装置。
【請求項６】
前記判断手段は、前記第２のフレームレートに対する、再生した画像を表示する前記ディスプレイの最大表示可能フレームレートの率と略同一の率となるように、デジタル動画像データが示すフレーム画像の内、再生処理するフレーム画像を判断することを特徴とする請求項５に記載の画像再生装置。
【請求項７】
前記選択手段は、前記第１のフレームレートに対する前記ディスプレイの最大表示可能フレームレートの倍率の略逆数となる割合で、前記再生処理するフレーム画像から画像の一部を選択することを特徴とする請求項６に記載の画像再生装置。
【請求項８】
前記デジタル動画像データは、画像を複数領域に分割した各分割領域毎のデータであって、前記選択手段は、各フレーム画像について選択する分割領域を決定することを特徴とする請求項１乃至７のいずれかに記載の画像再生装置。
【請求項９】
前記デジタル動画像データは、画像の周波数帯域を複数領域に分割した各分割領域毎のデータであって、前記選択手段は、各フレーム画像について選択する分割領域を決定することを特徴とする請求項１乃至７のいずれかに記載の画像再生装置。
【請求項１０】
前記デジタル動画像データは、画像の周波数帯域を複数領域に分割し、得られた分割領域を寄せ集めた領域毎のデータであって、前記選択手段は、各フレーム画像について選択する領域を決定することを特徴とする請求項１乃至７のいずれかに記載の画像再生装置。
【請求項１１】
前記第１のフレームレートは、前記画像再生装置が処理可能な最大処理フレームレートであることを特徴とする請求項１乃至１０のいずれかに記載の画像再生装置。
【請求項１２】
前記第１のフレームレートは、通常の再生を行う場合のフレームレートであることを特徴とする請求項１乃至１０のいずれかに記載の画像再生装置。
【請求項１３】
前記処理手段は、前記第１のフレームレートのときは画像と音声を再生処理し、前記第２のフレームレートのときは画像のみを再生処理することを特徴とする請求項１乃至１２のいずれかに記載の画像再生装置。
【請求項１４】
前記第１のフレームレートまたは前記第２のフレームレートで再生された画像の出力手段を更に有し、
前記出力手段から出力される出力画像のフレームレートに従って、前記表示処理手段は前記ディスプレイの表示周波数を設定させることを特徴とする請求項１乃至１３のいずれかに記載の画像再生装置。
【請求項１５】
デジタル動画像データの画像再生装置であって、
第１のフレームレートで画像を再生するように指示する第１の指示手段と、
前記第１のフレームレートよりも高い第２のフレームレートで画像を再生するように指示する第２の指示手段と、
前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の符号化データの一部を選択する選択手段と、
前記選択手段により選択された一部に対応するデジタル動画像データを表示用に再生処理する処理手段と
を有することを特徴とする画像再生装置。
【請求項１６】
前記選択手段は、コードブロック単位で前記符号化されたデータの一部を選択することを特徴とする請求項１５に記載の画像再生装置。
【請求項１７】
前記選択手段は、プリシンクト単位で前記符号化されたデータの一部を選択することを特徴とする請求項１５に記載の画像再生装置。
【請求項１８】
前記選択手段は、レイヤー単位で前記符号化されたデータの一部を選択することを特徴とする請求項１５に記載の画像再生装置。
【請求項１９】
デジタル動画像データの画像再生方法であって、
第１のフレームレートまたは前記第１のフレームレートよりも高い第２のフレームレートで画像を再生する指示を受ける指示工程と、
前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の一部を選択する選択工程と、
前記選択工程で選択された一部に対応するデジタル動画像データを表示用に再生処理する処理工程と、
前記処理工程で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理工程と
を有することを特徴とする画像再生方法。
【請求項２０】
デジタル動画像データの画像再生方法であって、
第１のフレームレートまたは前記第１のフレームレートよりも高い第２のフレームレートで画像を再生する指示を受ける指示工程と、
前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像について、表示用に再生処理するか否かを判断する判断工程と、
前記判断工程で再生処理すると判断されたフレーム画像の一部を選択する選択工程と、
前記選択工程で選択された一部に対応するデジタル動画像データを表示用に再生処理する処理工程と、
前記処理工程で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理工程と
を有することを特徴とする画像再生方法。
【請求項２１】
前記選択工程では、所定周期で選択する部分を変更することを特徴とする請求項１９又は２０に記載の画像再生方法。
【請求項２２】
前記選択工程では、前記第１のフレームレートに対する前記第２のフレームレートの倍率の略逆数となる割合で、各フレーム画像から画像の一部を選択することを特徴とする請求項１９に記載の画像再生方法。
【請求項２３】
前記判断工程では、前記ディスプレイの表示周波数情報に応じて、前記デジタル動画像データが示す各フレーム画像の内、再生処理するフレーム画像を判断することを特徴とする請求項２０に記載の画像再生方法。
【請求項２４】
前記判断工程では、前記第２のフレームレートに対する、再生した画像を表示する前記ディスプレイの最大表示可能フレームレートの率と略同一の率となるように、デジタル動画像データが示すフレーム画像の内、再生処理するフレーム画像を判断することを特徴とする請求項２３に記載の画像再生方法。
【請求項２５】
前記選択工程では、前記第１のフレームレートに対する前記ディスプレイの最大表示可能フレームレートの倍率の略逆数となる割合で、前記再生処理するフレーム画像から画像の一部を選択することを特徴とする請求項２４に記載の画像再生方法。
【請求項２６】
前記デジタル動画像データは、画像を複数領域に分割した各分割領域毎のデータであって、前記選択工程では、各フレーム画像について選択する分割領域を決定することを特徴とする請求項１９乃至２５のいずれかに記載の画像再生方法。
【請求項２７】
前記デジタル動画像データは、画像の周波数帯域を複数領域に分割した各分割領域毎のデータであって、前記選択工程では、各フレーム画像について選択する分割領域を決定することを特徴とする請求項１９乃至２５のいずれかに記載の画像再生方法。
【請求項２８】
前記デジタル動画像データは、画像の周波数帯域を複数領域に分割し、得られた分割領域を寄せ集めた領域毎のデータであって、前記選択工程では、各フレーム画像について選択する領域を決定することを特徴とする請求項１９乃至２５のいずれかに記載の画像再生方法。
【請求項２９】
前記第１のフレームレートは、前記画像再生装置が処理可能な最大処理フレームレートであることを特徴とする請求項１９乃至２８のいずれかに記載の画像再生方法。
【請求項３０】
前記第１のフレームレートは、通常の再生を行う場合のフレームレートであることを特徴とする請求項１９乃至２８のいずれかに記載の画像再生方法。
【請求項３１】
前記処理工程では、前記第１のフレームレートのときは画像と音声を再生処理し、前記第２のフレームレートのときは画像のみを再生処理することを特徴とする請求項１９乃至３０のいずれかに記載の画像再生方法。
【請求項３２】
前記第１のフレームレートまたは前記第２のフレームレートで再生された画像を出力する出力工程を更に有し、
前記出力工程で出力される出力画像のフレームレートに従って、前記表示処理工程では前記ディスプレイの表示周波数を設定させることを特徴とする請求項１９乃至３１のいずれかに記載の画像再生方法。
【請求項３３】
デジタル動画像データの画像再生方法であって、
第１のフレームレートまたは前記第１のフレームレートよりも高い第２のフレームレートで画像を再生する指示を受ける指示工程と、
前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の符号化データの一部を選択する選択工程と、
前記選択工程で選択された一部に対応するデジタル動画像データを表示用に再生処理する処理工程と
を有することを特徴とする画像再生方法。
【請求項３４】
前記選択工程では、コードブロック単位で前記符号化されたデータの一部を選択することを特徴とする請求項３３に記載の画像再生方法。
【請求項３５】
前記選択工程では、プリシンクト単位で前記符号化されたデータの一部を選択することを特徴とする請求項３３に記載の画像再生方法。
【請求項３６】
前記選択工程では、レイヤー単位で前記符号化されたデータの一部を選択することを特徴とする請求項３３に記載の画像再生方法。
【請求項３７】
情報処理装置が実行可能なプログラムであって、前記プログラムを実行した情報処理装置を、請求項１乃至１８のいずれかに記載の画像再生装置として機能させることを特徴とするプログラム。
【請求項３８】
請求項１９乃至３６のいずれかに記載の画像再生方法を実現するためのプログラムコードを有する情報処理装置が実行可能なプログラム。
【請求項３９】
請求項３７又は３８に記載のプログラムを記憶した記憶媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像再生装置及び方法に関し、更に詳しくは、異なるレートでデジタル動画像データを再生する画像再生装置及び方法に関する。
【０００２】
【従来の技術】
現在、様々な場面で動画像が取り扱われている。この動画像のデータ（動画像データ）は、アナログデータとして記録される場合とデジタルデータとして記録される場合がある。この動画像データがアナログデータである場合、再生画像を表示するのにＮＴＳＣ方式のモニタがしばしば用いられてきた。一方、動画像データがデジタルデータである場合、その再生画像は、ＰＣに接続されているディスプレイのような、複数の垂直表示周波数を持つディスプレイに表示されることもある。
【０００３】
動画像の再生の方式に、所望とする画像を見つけてから再生を開始することを可能とする、高速再生という方式がある。アナログ動画像データを、ＮＴＳＣ方式のディスプレイに高速再生表示させる方法として、記録媒体である磁気テープを高速走行させて、図２７に示すように、再生する領域を変化させる方式を用いることが多い。また、デジタル動画像データを、高速再生表示させる場合は、図２８に示すように、所定数ずつフレームをスキップしながら再生を行う方法を用いることが多い。また、デジタル動画像データを構成する各フレームを分割し、複数フレーム毎に１枚のフレームを合成してこれを高速再生用画像とし、アナログ動画像の如く高速再生表示する方法も知られている（例えば、特許文献１参照）。
【０００４】
【特許文献１】
特開平８−１６３４９４号公報
【発明が解決しようとする課題】
上記のようなデジタル動画像データの高速再生は、表示される再生画像がぎこちないという問題がある。また、デジタル動画像データを高速再生する場合でも、従来からのアナログ動画像データにおける高速再生の表示方法を望むユーザーがいると考えられるが、上記特許文献１の構成では高速再生用のデータを別に作成するという煩わしさがあった。
【０００５】
本発明は上記問題点を鑑みてなされたものであり、ＰＣのディスプレイのような複数の表示周波数を持つディスプレイに、デジタル動画像データの高速再生時に、再生した画像を滑らかに表示することを目的とする。更に、本発明は、アナログ動画像データを高速再生表示したような、デジタルの動画像データの高速再生表示を可能とすることを別の目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するために、本発明のデジタル動画像データの画像再生装置は、第１のフレームレートで画像を再生するように指示する第１の指示手段と、前記第１のフレームレートよりも高い第２のフレームレートで画像を再生するように指示する第２の指示手段と、前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の一部を選択する選択手段と、前記選択手段により選択された一部に対応するデジタル動画像データを表示用に再生処理する処理手段と、前記処理手段で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理手段とを有する。
【０００７】
また、本発明のデジタル動画像データの画像再生方法は、第１のフレームレートまたは前記第１のフレームレートよりも高い第２のフレームレートで画像を再生する指示を受ける指示工程と、前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の一部を選択する選択工程と、前記選択工程で選択された一部に対応するデジタル動画像データを表示用に再生処理する処理工程と、前記処理工程で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理工程とを有する。
【０００８】
また、好適な別の一様態によれば、デジタル動画像データの画像再生装置であって、第１のフレームレートで画像を再生するように指示する第１の指示手段と、前記第１のフレームレートよりも高い第２のフレームレートで画像を再生するように指示する第２の指示手段と、前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像について、表示用に再生処理するか否かを判断する判断手段と、前記判断手段により再生処理すると判断されたフレーム画像の一部を選択する選択手段と、前記選択手段により選択された一部に対応するデジタル動画像データを表示用に再生処理する処理手段と、前記処理手段で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理手段とを有する。
【０００９】
また、本発明のデジタル動画像データの画像再生方法は、デジタル動画像データの画像再生方法であって、第１のフレームレートまたは前記第１のフレームレートよりも高い第２のフレームレートで画像を再生する指示を受ける指示工程と、前記第２のフレームレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像について、表示用に再生処理するか否かを判断する判断工程と、前記判断工程で再生処理すると判断されたフレーム画像の一部を選択する選択工程と、前記選択工程で選択された一部に対応するデジタル動画像データを表示用に再生処理する処理工程と、前記処理工程で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる表示処理工程とを有する。
【００１０】
また、好適な別の一様態によれば、本発明のデジタル動画像データの画像再生装置は、第１のレートで画像を再生するように指示する第１の指示手段と、前記第１のレートよりも高い第２のレートで画像を再生するように指示する第２の指示手段と、前記第２のレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の符号化データの一部を選択する選択手段と、前記選択手段により選択された一部に対応するデジタル動画像データを表示用に再生処理する処理手段とを有する。
【００１１】
また、本発明のデジタル動画像データの画像再生方法は、第１のレートまたは前記第１のレートよりも高い第２のレートで画像を再生する指示を受ける指示工程と、前記第２のレートによる再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の符号化データの一部を選択する選択工程と、前記選択工程で選択された一部に対応するデジタル動画像データを表示用に再生処理する処理工程とを有する。
【００１２】
また、上記別の目的を達成するために、前記選択手段及び前記選択工程では、所定周期で選択する部分を変更する。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して本発明の好適な実施の形態を詳細に説明する。
【００１４】
（第１の実施形態）
図１は、本発明の動画像再生装置が使用される再生システムの一例を示す概略図であり、１はパーソナルコンピュータなどの情報処理装置（以下「ＰＣ」）、２はＤＶＤ−ＲＯＭ等の記憶媒体からデータを読み出すドライブである。第１の実施形態では、ＰＣ１が備え付けられたＨＤＤやＤＶＤ−ＲＯＭなどのメディアに記録されている動画像符号化データを読み出して復号し、ディスプレイに再生画像を表示する。なお、本第１の実施形態では、ＰＣ１は、所定サイズからなる画像の符号化データの全データを最大３０ｆｐｓ（フレーム／秒）で復号する処理能力を有するものとして説明する。また、ディスプレイの表示周波数は３０Ｈｚ及び６０Ｈｚに対応しているものとする。更に、本第１の実施形態の再生システムは、通常再生を３０ｆｐｓにより行うものとする。
【００１５】
上記再生システムにおいて２倍速再生を行う場合、ＰＣ１の処理能力が問題となり、６０ｆｐｓで各フレーム符号化データの全データを復号して２倍速再生（３０ｆｐｓ×２倍）を実現することはできない。また、１フレームおきにスキップしながら復号対象のフレーム符号化データを選択し、３０ｆｐｓで選択した（つまり１フレームおきに）フレームを復号することにより２倍速再生を行うことは、ＰＣ１の処理能力上可能である。しかし、この再生方法では、再生される動画像がスキップによってぎこちないという問題点がある。
【００１６】
そこで、本実施形態では、ＰＣ１が滑らかな再生画像を表示するために、２倍速再生では各画像の１／２の面積に相当するデータを復号して実質的に６０ｆｐｓとなるように表示する。以下にその方法について説明するが、まず、本発明を実施可能とする動画像符号化データを生成する動画像符号化装置について説明し、その後、本発明を実施する動画像再生装置について説明する。また、以下の説明において、音声データの再生方法は本発明の本質から外れるので、本明細書では音声の符号化方法と再生方法の詳細には触れない。
【００１７】
＜動画像符号化装置＞
図２は本実施形態における動画像符号化装置２００の構成を示すブロック図であり、図２のフレームデータ符号化部２０２の構成を図３に示す。また、動画像符号化装置２００の処理のフローチャートを図４に示す。
【００１８】
まず、画像データと音声データが、画像データ取得部２０１と音声データ取得部２０３から入力される（ステップＳ４０１）。この画像データ取得部２０１と音声データ取得部２０３には、例えばデジタルビデオカメラ、デジタルスチルカメラ、スキャナ等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。更に、画像データ取得部２０１と音声データ取得部２０３はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。図５は、画像データ取得部２０１及び音声データ取得部２０３から得られる画像データ及び音声データの概念を、時間に対応して示した図である。
【００１９】
ステップＳ４０２において、画像データ取得部２０１から取得した画像データは、フレームデータ毎（図５（ａ）のフレーム毎のデータ）に、フレームデータ符号化部２０２に入力される。フレームデータ符号化部２０２に入力されたフレームデータは、圧縮処理されてフレーム符号化データとなる。また、生成された複数のフレーム符号化データは、順次、データ統合部２０５に入力される。
【００２０】
一方、音声データ取得部２０３から取得された音声データは、音声データ符号化部２０４に入力され、後述の処理により符号化が行われ、音声符号化データとなる（ステップＳ４０２）。
【００２１】
生成された音声符号化データは、データ統合部２０５に入力される。なお、以下の説明において音声データの符号化方法については触れないが、音声データの符号化方法として、例えば、ＭＰ３（ＭＰＥＧ　Ａｕｄｉｏ　Ｌａｙｅｒ　ＩＩＩ）やＡＡＣ（Ａｄｖａｎｃｅ　Ａｕｄｉｏ　Ｃｏｄｉｎｇ）等が考えられるがこれに限るものではない。また、符号化を行わなくてもよい。
【００２２】
データ統合部２０５に音声符号化データとフレーム符号化データが入力されると、図５（ｂ）に示すように、フレーム符号化データと音声符号化データを所定の規則に基づいて並べる。図５（ｂ）に示す例では、４フレーム分のフレーム符号化データ毎に、これらのフレームに対応する音声符号化データを挿入している。さらに、図６に示すように、ヘッダ等の復号に必要となるデータが所定の個所に挿入されて、動画像符号化データが生成される（ステップＳ４０３）。
【００２３】
その後、生成された動画像符号化データは、動画像符号化データ出力部２０６から外部へ出力される（ステップＳ４０４）。この動画像符号化データ出力部２０６としては、例えば、公衆の電話回線、Ｂｌｕｅｔｏｏｔｈ等の無線回線、ＬＡＮ、ＵＳＢやＩＥＥＥ１３９４などの有線回線等のインターフェースを用いることができる。また、動画像符号化装置２００が例えばＰＣ１等の他の装置の内部に構成されている場合には、その装置の内部メモリに出力するインターフェースであっても良い。
【００２４】
次に、フレームデータ符号化部２０２におけるフレームデータの符号化処理について、図３に示すフレームデータ符号部２０２の構成および図７のフローチャートを参照して説明する。
【００２５】
以下の説明では、符号化対象となるフレームデータが８ビットのモノクロフレームデータであるものとして説明をする。しかしながら、フレームデータの形態はこれに限るものではなく、各画素４ビット、１０ビット、１２ビットと言った具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００２６】
まず、画像データ取得部２０１からフレームデータ入力部３０１へ、符号化対象となる画像のフレームデータがラスタースキャン順に入力され、タイル分割部３０２に出力される。
【００２７】
タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像を図８に示すようなＮ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するために、本第１の実施形態ではラスタースキャン順にタイル番号０，　１，　２，　．．．，Ｎ−１を割り振る。以下、各タイルを表すデータをタイルデータと呼ぶ。なお、図８では画像を横８縦６の４８枚のタイルに分割した例を示しているが、分割タイル数は適宜変更可能であることは言うまでもない。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。離散ウェーブレット変換部３０３以降の処理においては、タイルデータ毎に符号化される。
【００２８】
ステップＳ５０２において、フレームデータ符号化部２０２が処理しているタイルを認識するためのカウンタをｉ＝０に設定する。
【００２９】
離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１フレーム画像のフレームデータ中の各タイルデータ毎に複数の画素（参照画素）のデータ（以下、「参照画素データ」）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００３０】
ここで、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
Ｙ（２ｎ）　＝　Ｘ（２ｎ）＋ｆｌｏｏｒ｛　（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４　｝
Ｙ（２ｎ＋１）　＝　Ｘ（２ｎ＋１）−ｆｌｏｏｒ｛　（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２　｝　　　…（１）
【００３１】
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上記変換式（１）においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図９である。
【００３２】
上記変換式（１）は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図１０（ａ）に示す様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様にして４つのサブバンドに分け（図１０（ｂ））、その中のＬＬサブバンドを更に４つのサブバンドに分ける（図１０（ｃ））。このようにして合計１０のサブバンドを作る。１０個のサブバンドそれぞれを、図１０（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶ。ここで、各サブバンドの名称における数字は、それぞれのサブバンドのレベルを示す。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２、レベル３のサブバンドは、ＨＬ３，ＨＨ３，ＬＨ３である。なおＬＬサブバンドは、レベル０のサブバンドである。ＬＬサブバンドは一つしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００３３】
１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。
【００３４】
係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとすると、量子化後の係数値Ｑ（Ｘ）は次式（２）によって求めるものとする。
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝　　　…（２）
【００３５】
本第１の実施形態における各周波数成分と量子化ステップとの対応を図１１に示す。同図に示すように、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。
【００３６】
エントロピー符号化部３０６は、入力された係数量子化値をエントロピー符号化する（ステップＳ５０５）。ここでは、まず、図１２に示すように、入力された係数量子化値の集まりである各サブバンドは矩形（「コードブロック」と呼ぶ。）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックを、図１３に示すように、ビットプレーンに分割する。その上で、各ビットプレーンにおける各ビットは、図１４に示すように所定分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００３７】
なお、エントロピー符号化は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、更にそのコードブロックのあるビットプレーンに注目すると、図１４に示す３種類のパスを上から順に符号化するようになっている。
【００３８】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。
【００３９】
タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてタイル符号化データを生成する（ステップＳ５０６）。以下にレイヤーの構成に関する説明を行う。
【００４０】
タイル符号化データ生成部３０７は、図１５に示すように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。図１５は５枚のレイヤーを生成する場合を示している。なお、任意のコードブロックからコーディングパスを取得する際には、図１６に示すように、常にそのコードブロックにおいて最上位に存在するコーディングパスから順に選択する。その後、タイル符号化データ生成部３０７は、図１７に示すように、生成したレイヤーを上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。
【００４１】
次に、ステップＳ５０７で符号化すべきタイルデータが残っているかどうかをカウンタｉの値とタイル番号とを比較することにより判断する。符号化すべきタイルデータが残っている場合（つまりｉ＜Ｎ−１）は、ステップＳ５０８でカウンタｉを１増やし、ステップＳ５０３に戻って次のタイルに対してステップＳ５０７までの処理を繰り返す。符号化すべきタイルデータが残っていない場合（つまりｉ＝Ｎ−１）は、ステップＳ５０９に進む。
【００４２】
フレーム符号化データ生成部３０８では、図１７に示すようなタイル符号化データを、図１８に示すように所定の順番（例えば、タイル番号順）に並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０９）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９からデータ統合部２０５に出力される。
【００４３】
＜動画像再生装置＞
図１９は本実施形態における動画像再生装置１０００の構成を示すブロック図であり、図１９におけるフレームデータ復号部２００３の構成を図２０に示す。また、この動画像再生装置１０００における処理のフローチャートを図２１に示す。
【００４４】
まず、動画像再生装置１０００がユーザーから通常再生指示部２００７または高速再生指示部２００８を介して通常再生もしくは高速再生の指示を受けると（ステップＳ２２０１）、動画像符号化データ取得部２００１は、蓄積部２００９から動画像符号化データを読み出し、分離部２００２へ送信する（ステップＳ２２０２）。
【００４５】
動画像符号化データを受け取った分離部２００２は、該動画像符号化データをフレーム符号化データと音声符号化データに分離する（ステップＳ２２０３）。ここで生成されたフレーム符号化データはフレームデータ復号部２００３へ、音声符号化データは音声データ復号部２００５へ出力される。また、フレームデータ復号部２００３には、フレーム符号化データと共に、ユーザーから指定された再生方法（通常再生／高速再生）の情報が伝達される。なお、音声データの再生方法は本発明の主旨から外れるので、以下の記述において音声符号化データの説明は省略する。
【００４６】
分離されたフレーム符号化データの復号処理の開始にあたり、まず、ユーザーから指定された再生方法を判断する（ステップＳ２２０４）。ユーザーから通常再生が指示されている場合、フレームデータ復号部２００３はフレーム符号化データを通常復号し、復号フレームデータを生成する（ステップＳ２２０５）。また、音声データ復号部２００５は音声符号化データを復号し、復号音声データを生成する（ステップＳ２２０５）。
【００４７】
一方、ユーザーから指示された再生方法が通常再生以外のとき（すなわち高速再生が指示された場合）、フレームデータ復号部２００３はフレーム符号化データを高速復号し、復号フレームデータを生成する（ステップＳ２２０７）。なお、高速再生時には音声符号化データの復号は行わない。このときの再生速度は、ユーザーによって指定された任意の速度、あるいは表示するディスプレイの表示周波数に応じて決定する。
【００４８】
ステップＳ２２０５で生成された復号フレームデータ及び復号音声データ、並びにステップＳ２２０７で高速復号された復号フレームデータは、復号フレーム出力部２００４及び復号音声出力部２００６からディスプレイへ出力される（ステップＳ２２０６，Ｓ２２０８）が、このとき高速再生したことによって表示するディスプレイの表示周波数に合致しないときは、ディスプレイの表示周波数を出力データが表示可能である最適な表示周波数に設定する（Ｓ２２０９）。
【００４９】
次に図１９のフレームデータ復号部２００３で行う処理について、図２０にフレームデータ復号部２００３の詳細な構成を示し、図２２のフローチャートを参照して説明する。
【００５０】
フレーム符号化データ入力部２１０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部２１０２に出力される。復号対象タイル決定部２１０２は、再生方法が通常再生であれば図２３（ａ）に示すフレーム中の全てのタイルを復号対象タイルと決定する（ステップＳ２５０１）。一方で、再生方法が高速再生であれば、図２３（ｂ）の太線で示すように、フレーム中の一部のタイルを復号対象タイルと決定する（ステップＳ２５０１）。この復号すべきタイルの決定には、メインヘッダやタイルヘッダにある情報を利用する。なお、高速再生時の図２３（ｂ）では、縦６横８の全４８タイルの内、内側にある縦４横６の２４タイルを処理の対象としているがこれに限るものではなく、処理部の速度に応じて、処理可能な数の任意のタイルを選択すれば良い。
【００５１】
また、ここで決定される復号対象のタイルの枚数をＭとし、各復号対象であるタイルを識別するために、各復号対象タイルに対して番号０〜Ｍ−１を割り振る。この番号の割り振り方は、図２４に示すように、左上に存在するタイルから右に向かって、さらに上から下に向かって番号が増えるようにする。
【００５２】
復号対象タイルを決定した後、フレームデータ復号部２００３が処理しているタイルを認識するためのカウンタをｉ＝０に設定する（ステップＳ２５０２）。
【００５３】
次に、復号対象であるタイル符号化データは、エントロピー復号部２１０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ２５０３）。そして復元された量子化値は逆量子化部２１０４に出力される。逆量子化部２１０４は入力した量子化値を逆量子化することにより、離散ウェーブレット変換係数を復元して後続の逆離散ウェーブレット変換部２１０５に出力する（ステップＳ２５０４）。逆量子化は以下の式により行われる。
Ｘｒ＝Ｑ×ｑ
【００５４】
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。逆離散ウェーブレット変換部２１０５では、以下に記述する式に基づいて、逆離散ウェーブレット変換を行う（ステップＳ２５０５）。
Ｘ（２ｎ）＝Ｙ（２ｎ）−ｆｌｏｏｒ｛（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４｝
Ｘ（２ｎ＋１）＝Ｙ（２ｎ＋１）＋ｆｌｏｏｒ｛（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２｝
【００５５】
ここで、低周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ）、高周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ＋１）とする。また、Ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部２１０６に出力される（ステップＳ２５０６）。
【００５６】
次に、ステップＳ２５０７で復号対象タイルが残っているかどうかをカウンタｉとタイル番号とを比較することにより判断する。復号化すべきタイルが残っている場合（つまりｉ＜Ｍ−１）は、ステップＳ２５０８でカウンタｉを１増やし、ステップＳ２５０３に戻って次のタイルに対してステップＳ２５０７までの処理を繰り返す。一方、ステップＳ２５０７で復号すべきタイルが残っていない場合（つまりｉ＝Ｍ−１）は、ステップＳ２５０９に進む。
【００５７】
復号フレームデータ出力部２１０６は、復号タイルデータをｉ＝０，．．．，Ｍ−１の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部２００４に出力する。（ステップＳ２５０８）。
【００５８】
本第１の実施形態では、通常再生（３０ｆｐｓ）のときと２倍速再生（６０ｆｐｓ）のときで異なる表示周波数で復号フレームデータが外部のディスプレイに出力されることになるが、出力したフレームデータの表示周波数に従ってディスプレイに表示周波数を切換えさせて表示させる。
【００５９】
以上、本第１の実施形態によれば、高速再生時に各フレームの一部を再生することで、ＰＣの処理性能を超えることなく、滑らかな再生画像を表示することが可能となる。
【００６０】
なお、上記第１の実施形態においては、高速再生時には各フレームのブロックの内、半分の数のブロックを各フレームで再生することにより、通常再生時の２倍の速度で再生する場合について説明したが、本発明はこれに限るものではなく、例えば、各フレームの１／３，１／４の数のブロックを再生することで、３倍速、４倍速で滑らかに画像を再生することが可能である。このように、任意の割合のブロック数の画像を再生することで、所望の倍率で再生を行うようにすることができる。
【００６１】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。
【００６２】
第１の実施形態においては、各フレームの一部を再生することで、ＰＣの処理能力を超えることなく、滑らかな再生画像を表示する方法を示した。
【００６３】
しかし、ディスプレイが対応している垂直表示周波数によっては、第１の実施形態の方法では所望とする倍率で高速再生を実現できないこともある。例えば、第１の実施形態と同様な方法で３倍速を実現するには、ディスプレイの垂直表示周波数が９０Ｈｚに設定される必要があるが、ディスプレイが対応している垂直表示周波数が３０，６０，７５Ｈｚであると、この方法での３倍速は実現できない。
【００６４】
しかし、各フレームの一部を復号対象とし、且つ６枚のフレームにつき１枚のフレームをスキップして復号し、復号したフレームを７５Ｈｚで表示することで、３倍速を実現することが可能となる。また、この再生方法は、垂直表示周波数３０Ｈｚで３枚に１枚を再生する方法と比較して、なめらかな動画像を表示することができる。
【００６５】
このように、本第２の実施形態では、通常再生で使用する垂直表示周波数より大きい垂直周波数と、フレームをスキップしながら復号する復号方法（スキップ復号）を組み合わせて高速再生を実現する。なお、本第２の実施形態では、３０，６０，７５Ｈｚの垂直表示周波数に対応したディスプレイに復号画像を表示するものとして説明する。なお、このような表示を可能とする動画像符号化データは、第１の実施形態における動画像符号化装置により生成されたものを用いることが可能である。従って、本第２の実施形態の説明においては、動画像符号化装置の構成及び処理動作についての説明は省略する。
【００６６】
＜動画像再生装置＞
本第２の実施形態における動画像再生装置の構成は図１９に示すものと同様であるが、分離部２００２とフレームデータ復号部２００３の動作が上記第１の実施形態と異なる。以下、本第２の実施形態における動画像再生装置の動作について図２５のフローチャートを参照しながら説明する。なお、図２５において図２１に示す処理と同様の処理は同じステップ番号を付し、詳細説明は省略する。
【００６７】
ステップＳ２２０２において、分離部２００２は動画像符号化データ取得部２００１から動画像符号化データを受け取ると、ステップＳ２６００において高速再生が指示されているかどうかを判断する。高速再生が指示された場合、再生画像を表示するディスプレイで設定されている表示周波数及び該ディスプレイが対応可能な表示周波数に関する情報（以下、表示周波数情報）を受信し（ステップＳ２６０１）、その後ステップＳ２６０２に進み、受け取った動画像符号化データがスキップ対象のフレームのデータかどうかを判断する。例えば、通常再生時に３０ｆｐｓで表示を行うディスプレイが７５ｆｐｓでの表示が可能な場合、７５／３０＝５／２倍速が実現される。この場合に３倍速を実現するためには、６枚に１枚のフレーム符号化データをスキップし、スキップするフレームの動画像符号化データをフレームデータ復号部２００３及び音声データ復号部２００５に送信しないようにする。従って、ステップＳ２６０２でスキップ対象のフレームであると判断すると、その動画像符号化データに対するそれ以上の処理を行わずに、処理を終了する。
【００６８】
一方、高速再生ではない場合（ステップＳ２６０１でＮＯ）及び、高速再生であってもスキップ対象のフレームでない場合（ステップＳ２６０２でＮＯ）には、ステップＳ２２０３に進み、分離部２００２は、該動画像符号化データをフレーム符号化データと音声符号化データに分離する。
【００６９】
また、ステップＳ２２０７においては基本的に図２２に示す処理を行うが、本第２の実施形態においては、ステップＳ２５０１で決定される復号対象タイルが図２３（ｂ）に示すものと異なる。
【００７０】
フレームデータ復号部２００３における復号対象タイル決定部２１０２は、本第２の実施形態においては、３０ｆｐｓの通常再生が限度であるＰＣが７５ｆｐｓで復号できるように復号対象タイルを決定する。この復号を実現するには、通常再生より７５／３０＝５／２倍の速さで復号しなければならないため、各フレームは２／５の領域のみを復号する必要がある。そこで本第２の実施形態においては、図２６に示すように、全タイル数４８×２／５＝約２０枚のタイルを復号対象タイルとして決定する。なお、２０枚のタイルの位置は、図２６に示すものに限るものではなく、適宜変更可能である。
【００７１】
上記のようにして復号対象タイルを決定した後、ステップＳ２５０２以降の処理は上記第１の実施形態と同様である。
【００７２】
本実施の形態では、高速再生のとき再生速度に応じて異なる表示周波数で復号フレームデータが外部のディスプレイに出力されることになるが、出力したフレームデータの表示周波数に従ってディスプレイに対応する表示周波数を切換えさせて表示させる（図２５のＳ２２０９）。ディスプレイの表示可能な周波数をあらかじめ知っているので、表示がエラーになることはない。
【００７３】
なお、本第２の実施形態では、ディスプレイの表示周波数が３０，６０，７５Ｈｚである場合について説明したが、本発明はこれに限るものではなく、各フレームで復号するデータ部分の割合及び間引くフレームの割合を変更することにより、ディスプレイ及びＰＣの能力に合わせて再生速度を適宜調整することが可能であることは言うまでもない。
【００７４】
上記の通り本第２の実施形態によれば、高速再生を行うために、各フレームの一部の復号だけでなく、所定フレーム毎にフレームをスキップする方法と組み合わせることにより、最適な倍率で高速再生を行うことが可能となる。
【００７５】
（第３の実施形態）
次に、本発明の第３の実施形態について説明する。
【００７６】
一般的に、タイル単位の符号化方法で得られた画像符号化データを復号した場合、得られた復号画像にはブロック歪が生じる。この歪は、再生画像の画質低減の大きな原因である。また、低ビットレートで生成された画像符号化データの復号画像においては、このノイズの程度が顕著となる。したがって、このブロック歪を出さないように画像を圧縮することは、非常に重要なことである。そこで、本第３の実施形態では、再生画像にブロック歪が出ないように、符号化時にタイル分割を実施しない符号化方法、及び、そのような方法で得られた動画像符号化データを滑らかに高速再生する方法について説明する。
【００７７】
本第３の実施形態における再生システムは、基本的に第１の実施形態で図１を参照して説明したものと同様であり、ＰＣ１は、所定サイズからなる動画像符号化データの全データを最大３０ｆｐｓ（フレーム／秒）で復号する処理能力を有し、ディスプレイの表示周波数は３０Ｈｚ及び６０Ｈｚに対応しているものとする。更に、本第３の実施形態の再生システムは、通常再生を３０ｆｐｓで行うものとする。
【００７８】
また、ＰＣ１が滑らかな再生画像を表示するために、２倍速再生では各画像の１／２の面積に相当するデータを復号して実質的に６０ｆｐｓとなるように表示する。
【００７９】
まず、本第３の実施形態における動画像符号化装置について説明する。
【００８０】
＜動画像符号化装置＞
本第３の実施形態における動画像符号化装置は、図２乃至図１８を参照して説明した第１の実施形態の動画像符号化装置と基本的に同様であるが、タイル分割を行わない所が第１の実施形態と異なる。以下、第３の実施形態において特徴的な処理について説明を行う。
【００８１】
まず、本第３の実施形態ではタイル分割部３０２でタイルの枚数をＮ＝１として処理を行う。従って、タイル分割部３０２においてフレームデータ入力部３０２から入力される各フレーム画像に対して図８に示すような分割はなされず、離散ウェーブレット変換部３０３以降による処理は、各フレーム画像毎に行われる。従って、符号化によって得られる図１８に示すフレーム符号化データは、タイル数１（即ち、タイル０のみ）のデータとなる。
【００８２】
また、第１の実施形態における動画像再生装置は高速再生時、各画像の１／２の面積に相当するタイルを復号したが、本第３の実施形態ではタイル分割を行わないため、動画像再生装置は高速再生時、各画像の１／２の面積に相当する各サブサンドのコードブロックを復号する。そこで、本第３の実施形態における動画像符号化装置は、各フレームの動画像符号化データ中に、各コードブロックへアクセスする上で必要となる情報を埋め込む。その情報の埋め込み方法の一つとして、メインヘッダ内に、各コードブロックの位置（画像符号化データの先頭からのオフセット）を記す方法がある（方法１）。また別の方法として、以下に示すように、画像符号化データに対してデータの構成を持たせ、そのデータ構成に合わせた情報の埋め込みを行う方法がある（方法２）。
【００８３】
・データの構成
本第３の実施形態における動画像符号化装置は、同じ解像度レベル、同じレイヤーに所属するコードブロックのデータを寄せ集めてパケットを構成し、各パケットの先頭にパケットヘッダを付加する。さらに、画像符号化装置は、所定の順序でパケットを並べ、先頭のパケットの直前にメインヘッダを配置する。
【００８４】
・情報の埋め込み
各パケットヘッダには、対応するパケット内の各コードブロックの符号長が書き込まれる。さらに、メインヘッダに、パケットの並び方、解像度レベルの数、レイヤーの数、各パケット内に存在するコードブロックの数に相当するデータ等を書き込む。
【００８５】
図２９（ａ）は、離散ウェーブレット変換を１回行い、レイヤーを２枚生成した場合の概念図であり、図２９（ｂ）は、各サブバンドを８×６の４８個のコードブロックに分割した符号化方法の概念図である。図３０は上述した符号化方法により生成される画像符号化データの構成を示す概念図である。
【００８６】
＜動画像再生装置＞
本第３の実施形態では、図３０に示すようなデータ構成を有する画像符号化データを用いて、図２３（ｂ）に示されているような、原画像の１／２の面積の領域に相当するコードブロックを部分復号する。なお、本第３の実施形態における動画像再生装置の構成は図１９に示すものと同様であるが、フレームデータ復号部２００３の構成及び動作が上記第１の実施形態と異なる。図３１は、本第３の実施形態におけるフレームデータ復号部２００３の構成を示す図であり、図２０に示す構成とは、復号対象タイル決定部の代わりに復号対象コードブロック決定部２１０２’を有するところが異なる。
【００８７】
まず、高速再生に対応した、ＰＣ１上で動作する動画像ビューアーを説明する。その後、動画像符号化データの復号方法について説明する。なお動画像符号化データの復号方法については、第１の実施形態における復号方法と異なる部分について説明し、同様な動作である詳細な画像符号化データの復号方法について説明しない。
【００８８】
・動画像ビューアー
図３２は、ＰＣ１のディスプレイに表示される操作画面を示したものである。３２００は、不図示の表示用メモリに格納された画像を実際に表示する表示領域である。本第３の実施形態では、ディスプレイの画面全体ではなく、領域３２００に表示される。
【００８９】
３２０１と３２０２は、通常の時間軸方向への再生を指示するボタンであり、３２０１が通常速度の再生を指示するボタン、３２０２が２倍速再生を指示するボタン、３２０３は停止ボタンである。なお、不図示ではあるが、一時停止ボタンも存在する。
【００９０】
３２０４と３２０５は、通常の時間軸方向とは逆方向への再生（逆転再生）を指示するボタンであり、３２０５が通常速度の逆転再生を指示するボタン、３２０４が２倍速逆転再生を指示するボタンである。なお、本第３の実施形態では、動画像を構成する各フレームは独立して符号化されているので、それら各フレームを逆順で復号化し表示することで、容易に逆転再生を行うことが可能である。
【００９１】
・高速再生
ユーザーがボタン３２０２を押すことで、動画像再生装置１０００は２倍速再生を実施する。ここで、「押す」とは、マウスなどのポインティングデバイスにより、ボタン３２０２をクリックすることを意味する。なお、以下の動作は、図２１のステップＳ２２０７で行われる処理であり、その他の処理は図２１を参照して説明したものと同様である。
【００９２】
２倍速再生を指示された動画像再生装置１０００は、図２３（ｂ）に示されているように、画像の中心で、かつ面積にして１／２の領域をコードブロック単位で復号し、さらに１／６０秒のタイミングでディスプレイに１フレーム分の復号データを送信する。
【００９３】
動画像再生装置１０００がコードブロック単位で復号する際、動画像符号化データ中に埋め込まれている情報を利用して、必要となるコードブロックにアクセスする。例えば、動画像符号化装置が方法１で情報を埋め込んだ場合、動画像再生装置１０００は、必要となるコードブロックのオフセットをメインヘッダから読み取り、その上でコードブロックを取得する。また、動画像符号化装置が方法２で情報を埋め込んだ場合、動画像再生装置１０００は、図３３のフローチャートに示された処理により、必要なコードブロックにアクセスし、復号する。以下、図３３に示す方法２で情報を埋め込んだ場合のアクセス方法を示す。なお、ここで再生される動画像符号化データは、図２９及び図３０に示されている構成を有する。
【００９４】
まず、復号対象コードブロック決定部２１０２’は、フレーム符号化データのメインヘッダから、パケットの並び方、解像度レベルの数、レイヤーの数、各パケット内に存在するコードブロックの数を取得する（ステップＳ３３０１）。次いで、取得した解像度レベルの数とレイヤーの数から、フレーム符号化データ中に存在するパケットの数Ｍを算出する（ステップＳ３３０２）。さらに、メインヘッダから取得したパケットの並び方から、各パケット内における、必要となるコードブロック（必要コードブロック）の順番（位置）を導出する（ステップＳ３３０３）。図３４は、各パケット内における必要コードブロックの位置の概念図を示す。例えば、図３４に示すパケットにＨＬ、ＬＨ、ＨＨのデータが入っている場合、必要コードブロックは３カ所に分散して存在している。
【００９５】
次に、処理したパケットの数を示すカウンタ（ｃｏｕｎｔｅｒ）を０にセットし（ステップＳ３３０４）、先頭のパケットのパケットヘッダの解析を行う（ステップＳ３３０５）。このパケットヘッダの解析では、パケット内における各コードブロックの符号長を取得し、パケットヘッダの先頭に対する必要コードブロックの位置、並びにパケットヘッダの先頭に対する次のパケットの先頭の位置を求める。この求めた情報から、必要コードブロックの先頭にアクセスし、必要コードブロックを取得し（ステップＳ３３０６）、エントロピー復号部２００３より後段の各処理部により復号する（ステップＳ３３０７）。
【００９６】
続いて、ステップＳ３３０８でカウンタの数を評価し、もしその数がＭ−１より小さければ（ステップＳ３３０８でＮＯ）、処理するパケットがまだ存在するので、カウンタ値を１増加させた上で（ステップＳ３３０９）、処理をステップＳ３３０５に戻す。一方、カウンタの数がＭ−１と等しければ（ステップＳ３３０８でＹＥＳ）、復号フレームデータ出力部２１０６は、復号したコードブロック単位のデータを連結させることで復号画像を構成し（ステップＳ３３１０）、復号フレーム出力部２００４（図１９）へ出力する（ステップＳ３３１１）。次に、動画像再生装置１０００は、ユーザーがボタン３２０１、３２０３等を押すなどして高速再生の終了の指示があるか否かを判断し（ステップＳ３３１２）、もし終了の指示がなければ（ステップＳ３３１２でＮＯ）、次のフレームの処理を開始する（ステップＳ３３０１）。一方終了の指示があれば（ステップＳ３３１２でＹＥＳ）、高速再生を終了させる。
【００９７】
以上の通り、本第３の実施形態によれば、タイル単位で符号化されていない動画像符号化データを使って、滑らかに高速再生表示を実行することができる。
【００９８】
（第４の実施形態）
上記第３の実施形態においては、タイル分割を行わずに符号化した動画像符号化データに対し、高速再生時、コードブロック単位で部分アクセスし、復号、表示する方法を示した。本第４の実施形態においては、符号化時に、部分復号を容易に実施するために、複数のコードブロックを集めたプリシンクトを定義し、その上で画像符号化データを生成する。さらに、そのようにして生成された動画像符号化データを用いて、滑らかな高速再生表示を行う方法について説明する。
【００９９】
なお、本第４の実施形態における再生システムも、基本的に第１の実施形態で図１を参照して説明したものと同様であり、ＰＣ１は、所定サイズからなる動画像符号化データの全データを最大３０ｆｐｓ（フレーム／秒）で復号する処理能力を有し、ディスプレイの表示周波数は３０Ｈｚ及び６０Ｈｚに対応しているものとする。更に、本第４の実施形態の再生システムは、通常再生を３０ｆｐｓにより行うものとする。
【０１００】
また、ＰＣ１が滑らかな再生画像を表示するために、２倍速再生では各画像の１／２の面積に相当するデータを復号して実質的に６０ｆｐｓとなるように表示する。ただし、図３５に示すように、本第４の実施形態においては、両横１／４の面積を切り捨てた領域を高速再生に用いるものとする。
【０１０１】
まず、本第４の実施形態における動画像符号化装置について説明する。
【０１０２】
＜動画像符号化装置＞
本第４の実施形態における動画像符号化装置は、図２乃至図１８を参照して説明した第１の実施形態の動画像符号化装置と基本的に同様であるが、第３の実施形態と同様にタイル分割を行わない所が第１の実施形態と異なり、また、動画像符号化データの構成は、第３の実施形態と異なる。以下、第４の実施形態において特徴的な処理について説明を行う。
【０１０３】
本第４の実施形態における動画像符号化装置はタイル分割をしないので、タイル分割部でタイルの枚数はＮ＝１として処理を行う。また、原画像上で対応する、各サブバンドにおけるコードブロックを寄せ集めてプリシンクトデータを構成する。図３６はプリシンクトデータの概念を示す図である。プリシンクトデータの構成を分かりやすく示すために、図３６（ａ）に示す３つのレベル（レベル０、１、２）からなるサブバンドのコードブロックから、図３６（ｂ）に示す４つのプリシンクトを構成した例を示す。図３６において、ＬＬ、ＨＬ、ＬＨ、ＨＨはサブバンドの種類を示し、その後の数字はサブバンドのレベルを、更にその後の数字はコードブロックの番号を示す。なお、図３５に示す再生を行う場合には図２６（ｂ）に示すように各サブバンドを４８（＝８×６）のコードブロックに分割し、各コードブロックについて４８のプリシンクトデータを構成するか、少なくとも１２（＝４×３）のコードブロックに分割して、１２のプリシンクトデータを構成することが好ましい。また、サブバンドのレベル数は適宜変更可能である。
【０１０４】
第１の実施形態における動画像再生装置は高速再生時、各画像の１／２の面積に相当するタイルを復号したが、本第４の実施形態における動画像再生装置は上述したプリシンクト構成を有する動画像符号化データを再生するために、高速再生時、各画像の１／２の面積に相当するプリシンクトデータを復号する。そこで、本第４の実施形態における動画像符号化装置は、各フレームの動画像符号化データ中に各プリシンクトデータへアクセスする上で必要となる情報を埋め込む。その情報の埋め込み方法のひとつとして、メインヘッダ内に、各プリシンクトデータの位置（画像符号化データの先頭からのオフセット）を記す方法がある（方法３）。また別の方法として、以下に示すように、画像符号化データに対してデータの構成を持たせ、そのデータ構成に合わせた情報の埋め込みを行う方法がある（方法４）。
【０１０５】
・データの構成
本第４の実施形態における動画像符号化装置は、同じ解像度レベル、同じレイヤー、同じプリシンクトに所属するコードブロックのデータを寄せ集めてパケットを構成し、各パケットの先頭にパケットヘッダを付加する。さらに、画像符号化装置は、所定の順序でパケットを並べ、先頭のパケットの直前にメインヘッダを配置する。
【０１０６】
・情報の埋め込み
各パケットヘッダには、対応するパケット内の各コードブロックの符号長が書き込まれる。さらに、メインヘッダに、パケットの並び方、解像度レベルの数、レイヤーの数、プリシンクトの数、各パケット内に存在するコードブロックの数に相当するデータ等を書き込む。
【０１０７】
＜動画像再生装置＞
本第４の実施形態における動画像再生装置の構成は図１９及び図３１に示すものと同様であるが、フレームデータ復号部２００３の動作が第３の実施形態と異なる。以下、本第４の実施形態における動画像再生装置の動作について図３７のフローチャートを参照しながら説明する。なお、図３７において図３３に示す処理と同様の処理には同じステップ番号を付し、詳細説明は省略する。
【０１０８】
本第４の実施形態では、図３５に示すように、画像における太枠内の１／２の面積の領域に相当するコードブロックを部分復号するものとする。
【０１０９】
図３７は方法４により符号化されたフレーム符号化データの復号処理を示すフローチャートである。この図３７は、第３の実施形態における図３３の処理に対して、ステップＳ３３０２とＳ３３０３との間にステップＳ３７０１の処理が追加されていることと、ステップＳ３３０４とＳ３３０５の間にステップＳ３７０２が追加されたものである。
【０１１０】
図３７において、ステップＳ３７０１は、フレーム符号化データを構成するＭ個のパケットの内、高速再生に必要となるパケット（必要パケット）を決定する。ここで、必要パケットとは、図３８において網掛けで示すプリシンクトに属するパケットのことである。ステップＳ３７０２では、処理対象のパケットが、ステップＳ３７０１で決定された必要パケットであるか否かを判断する。必要パケットである場合（ステップＳ３７０２でＹＥＳ）、ステップＳ３３０５に進んで、以下第３の実施形態で説明した処理を行う。一方、必要パケットでない場合（ステップＳ３７０２でＮＯ）、ステップＳ３３０８に進んでパケットの番号を示すカウンタ値をＭ−１と比較して、Ｍ−１より小さければステップＳ３３０９にでカウンタ値を１増加させた上でステップＳ３７０２に戻り、Ｍ−１異常であれば、ステップＳ３３１０に進む。
【０１１１】
以上の通り、本第４の実施形態によれば、プリシンクトデータを利用して、滑らかに高速再生表示を実行することができる。
【０１１２】
なお、上記第４の実施形態では、画像の左右１／２を復号しない場合について説明したが、復号するプリシンクトは任意に設定可能であり、所望の領域について高速復号可能であることは言うまでもない。
【０１１３】
（第５の実施形態）
上記第１〜第４の実施形態では、高速再生を行う上で、空間的な一部分に相当するデータを復号することで高速再生を行う場合について説明した。本第５の実施形態においては、復号するデータをレイヤー単位で決定し、復号対象となったレイヤーについては、空間的位置によらず全データが復号される。以下にその方法を説明する。
【０１１４】
本第５の実施形態における動画像符号化装置は、第１の実施形態で説明したものと同じような方法で、動画像を構成するフレームを符号化する。ただし、本第５の実施形態における動画像符号化装置は、フレームを符号化する上で、２枚のレイヤー構成を取り、さらに２枚のレイヤーはほぼ同じ符号量となるようにする。
【０１１５】
本第５の実施形態における動画像再生装置は、高速再生する際、各フレームの最上位レイヤーを取得し、復号表示する。
【０１１６】
以上の通り、本第５の実施形態においては、レイヤーを利用して、滑らかに高速再生表示を実行することができる。
【０１１７】
【他の実施形態】
なお、上記第１〜第５の実施形態では、フレームデータの系列変換に離散ウェーブレット変換を使用したが、本発明はこれに限定されるわけではなく、例えば系列変換に離散コサイン変換等を使用しても構わない。
【０１１８】
また、上記第１乃至第５の実施形態で説明したタイル、コードブロック、プリシンクト、レイヤーの内、複数のデータ単位を使用して高速再生を実現しても構わない。
【０１１９】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、リーダ、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器（例えば、複写機、デジタルカメラなど）からなる装置の一部に適用してもよい。
【０１２０】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【０１２１】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１２２】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した図２１又は図２５および図２２及び／又は図３３、図３７のいずれかに示すフローチャートに対応するプログラムコードが格納されることになる。
【０１２３】
【発明の効果】
上記の通り本発明によれば、ＰＣのディスプレイのような複数の表示周波数を持つディスプレイに、デジタル動画像データの高速再生時に、再生した画像を滑らかに表示することが可能となる。
【０１２４】
また、アナログ動画像データを高速再生表示したような、デジタルの動画像データの高速再生表示が可能となる。
【図面の簡単な説明】
【図１】本発明の動画像再生装置が使用されるシステムの一形態を示す概略外観図である。
【図２】本発明の第１の実施形態における動画像符号化装置の概略構成を示すブロック図である。
【図３】本発明の第１の実施形態におけるフレームデータ符号化部の概略構成を示すブロック図である。
【図４】本発明の第１の実施形態における動画像符号化装置が行う動画像データの符号化処理のフローチャートである。
【図５】動画像符号化データ構成の説明図である。
【図６】動画像符号化データ構成の説明図である。
【図７】本発明の第１の実施形態におけるフレームデータ符号化部が行うフレームデータの符号化処理のフローチャートである。
【図８】タイル分割の説明図である。
【図９】１次元離散ウェーブレット変換の説明図である。
【図１０】（ａ）は４つのサブバンドに分解した図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解した図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解した図である。
【図１１】量子化ステップの表を示す図である。
【図１２】コードブロック分割の説明図である。
【図１３】ビットプレーン分割の説明図である。
【図１４】コーディングパスの説明図である。
【図１５】レイヤー生成の説明図である。
【図１６】レイヤー生成の説明図である。
【図１７】タイル符号化データの構成の説明図である。
【図１８】フレーム符号化データの構成の説明図である。
【図１９】本発明の第１の実施形態における動画像再生装置の概略構成を示すブロック図である。
【図２０】本発明の第１の実施形態におけるフレームデータ復号部の概略構成を示すブロック図である。
【図２１】本発明の第１の実施形態における動画像再生装置が行う動画像データの復号処理のフローチャートである。
【図２２】本発明の第１の実施形態における高速再生時のフレームデータの復号処理を示すフローチャートである。
【図２３】本発明の第１の実施形態における復号対象タイル符号化データの決定に関する説明図である。
【図２４】タイル符号化データに関する識別番号の割り振りの説明図である。
【図２５】本発明の第２の実施形態における動画像再生装置が行う動画像データの復号処理のフローチャートである。
【図２６】本発明の第２の実施形態における復号対象タイル符号化データの決定に関する説明図である。
【図２７】従来のアナログ動画像データの高速再生の再生方法の一例を示す説明図である。
【図２８】従来のデジタル動画像データの高速再生方法の一例を示す説明図である。
【図２９】本発明の第３の実施形態におけるにおける符号化方法の概念図である。
【図３０】本発明の第３の実施形態における画像符号化データの構成を示す図である。
【図３１】本発明の第３の実施形態におけるフレームデータ復号部の概略構成を示すブロック図である。
【図３２】本発明の第３の実施形態における動画ビューアーを示す説明図である。
【図３３】本発明の第３の実施形態における高速再生時のフレームデータの復号処理を示すフローチャートである。
【図３４】本発明の第３の実施形態における復号化するコードブロック（必要コードブロック）を示す説明図である。
【図３５】本発明の第４の実施形態における復号化するコードブロック（必要コードブロック）を示す説明図である。
【図３６】プリシンクトを説明する図である。
【図３７】本発明の第４の実施形態における高速再生時のフレームデータの復号処理を示すフローチャートである。
【図３８】本発明の第４の実施形態における必要パケットを示す説明図である。
【符号の説明】
１　情報処理装置
２　ドライブ
２００　動画像符号化装置
２０１　画像データ取得部
２０２　フレームデータ符号化部
２０３　音声データ取得部
２０４　音声データ符号化部
２０５　データ統合部
２０６　動画像符号化データ出力部
３０１　フレームデータ入力部
３０２　タイル分割部
３０３　離散ウェーブレット変換部
３０４　バッファ
３０５　係数量子化部
３０６　エントロピー符号化部
３０７　タイル符号化データ生成部
３０８　フレーム符号化データ生成部
３０９　フレーム符号化データ出力部
１０００　動画像再生装置
２００１　動画像符号化データ取得部
２００２　分離部
２００３　フレームデータ復号部
２００４　復号フレーム出力部
２００５　音声データ復号部
２００６　復号音声出力部
２００７　通常再生指示部
２００８　高速再生指示部
２００９　蓄積部
２１０１　フレーム符号化データ入力部
２１０２　復号対象タイル決定部
２１０２’　復号対象コードブロック決定部
２１０３　エントロピー復号部
２１０４　逆量子化部
２１０５　逆離散ウェーブレット変換部
２１０６　復号フレームデータ出力部
【図１】
2004056761.tif 000003
【図２】
2004056761.tif 000004
【図３】
2004056761.tif 000005
【図４】
2004056761.tif 000006
【図５】
2004056761.tif 000007
【図６】
2004056761.tif 000008
【図７】
2004056761.tif 000009
【図８】
2004056761.tif 000010
【図９】
2004056761.tif 000011
【図１０】
2004056761.tif 000012
【図１１】
2004056761.tif 000013
【図１２】
2004056761.tif 000014
【図１３】
2004056761.tif 000015
【図１４】
2004056761.tif 000016
【図１５】
2004056761.tif 000017
【図１６】
2004056761.tif 000018
【図１７】
2004056761.tif 000019
【図１８】
2004056761.tif 000020
【図１９】
2004056761.tif 000021
【図２０】
2004056761.tif 000022
【図２１】
2004056761.tif 000023
【図２２】
2004056761.tif 000024
【図２３】
2004056761.tif 000025
【図２４】
2004056761.tif 000026
【図２５】
2004056761.tif 000027
【図２６】
2004056761.tif 000028
【図２７】
2004056761.tif 000029
【図２８】
2004056761.tif 000030
【図２９】
2004056761.tif 000031
【図３０】
2004056761.tif 000032
【図３１】
2004056761.tif 000033
【図３２】
2004056761.tif 000034
【図３３】
2004056761.tif 000035
【図３４】
2004056761.tif 000036
【図３５】
2004056761.tif 000037
【図３６】
2004056761.tif 000038
【図３７】
2004056761.tif 000039
【図３８】
2004056761.tif 000040