(57)【要約】【課題】  ＰＣのディスプレイのような複数の表示周波数を持つディスプレイに、デジタル動画像データの高速再生時に、再生した画像を滑らかに表示すること。【解決手段】  デジタル動画像データの画像再生装置であって、通常再生により画像を再生するように指示する通常再生指示部（２００７）と、高速再生により画像を再生するように指示する高速再生指示部（２００８）と、高速再生が指示されている場合に、前記デジタル動画像データが示す各フレーム画像の一部を指定する復号対象タイル決定部（２１０２）と、復号対象タイル決定部により選択された一部に対応するデジタル動画像データとその他の範囲のデジタル動画像データとをそれぞれ表示用に再生処理する処理手段（２１０３〜２１０５）と、処理手段で再生処理された表示画像データを、表示周波数が変更可能なディスプレイ上で表示させる復号フレーム出力部（２００４）とを有する。【選択図】  図１９
2005252454.tif 000002
【特許請求の範囲】
【請求項１】
デジタル動画像データの画像再生装置であって、画像中の一部領域を選択する選択手段と、前記選択手段により選択された領域について、第１のレートで再生するように指示する第１の指示手段と、前記選択手段によって選択されていない領域について、前記第１のレートよりも低い第２のレートで画像を再生するように指示する第２の指示手段とを有することを特徴とする画像再生装置。
【請求項２】
前記第２のレートは、前記画像再生装置の処理能力によって決定されることを特徴とする請求項１に記載の画像再生装置。
【請求項３】
前記第２のレートは、前記画像再生装置で実行中の処理に応じて変化することを特徴とする請求項１に記載の画像再生装置。
【請求項４】
前記選択されていない領域を複数の領域に分割する分割手段と、前記複数の領域のうち、一部の領域について同時に表示を更新する更新手段とを有することを特徴とする前記請求項１に記載の画像再生装置。
【請求項５】
前記分割手段によって分割された複数の領域のうち、一部の領域については前記第２のレートで画像を再生し、その他の領域については前記第２のレートよりさらに低い第３のレートで画像を再生することを特徴とする前記請求項４に記載の画像再生装置。
【請求項６】
前記選択手段により選択された領域は、変更可能であることを特徴とする前記請求項１に記載の画像再生装置。
【請求項７】
前記選択手段により選択された領域と選択されていない領域とを切り替え可能であることを特徴とする前記請求項１に記載の画像再生装置。
【請求項８】
デジタル動画像データの画像再生方法であって、画像中の一部領域を選択する選択工程と、前記選択工程で選択された領域について、第１のレートで再生するように指示する第１の指示工程と、前記選択工程によって選択されていない領域について、前記第１のレートよりも低い第２のレートで画像を再生するように指示する第２の指示工程とを有することを特徴とする画像再生方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像再生装置及び方法に関し、更に詳しくは、異なるレートでデジタル動画像データを再生する画像再生装置及び方法に関する。
【背景技術】
【０００２】
ＭｏｔｉｏｎＪＰＥＧやＭＰＥＧといった動画像を符号化する方式が確立されている。また、メーカーはこれらの符号化方式を利用して、デジタルカメラやデジタルビデオカメラ等の撮像装置、並びに動画ビューアーやＤＶＤレコーダーを開発し、実用化しており、パーソナルコンピュータ（以下、ＰＣ）やＤＶＤプレーヤなどでも簡単に動画像を再生することが可能となってきている。
【０００３】
また、近年規格化された符号化方式にＪＰＥＧ２０００方式がある。そしてその仕様の一つに、高解像度な動画を扱えるＭｏｔｉｏｎ−ＪＰＥＧ２０００方式があり、次世代の動画像圧縮符号化方式として注目されている（非特許文献１）。
【０００４】
ところで、現在、上記したような装置によって、動画像は様々な形態で取り扱われている。動画像は、アナログ信号として記録される場合とデジタルデータとして記録される場合とがある。動画像がアナログ信号である場合、再生画像を表示するのにＮＴＳＣ方式のモニタがしばしば用いられてきた。一方、動画像がデジタルデータである場合、その再生画像は、ＰＣに接続されているディスプレイのような、複数の垂直表示周波数を持つディスプレイに表示されることもある。
また、動画像の再生の方式に、所望とする画像を見つけてから再生を開始することを可能とする、高速再生という方式がある。アナログ動画像信号を、ＮＴＳＣ方式のモニタに高速再生表示させる方法としては、例えば記録媒体である磁気テープを高速走行させて、複数の記録トラックから再生した時間差のある映像情報を同時に表示する方法がある。また、デジタル動画像データを高速再生表示させる方法としては、所定間隔ずつフレームをスキップしながら再生を行う方法が知られている。また、デジタル動画像データを構成する各フレームを分割し、複数フレーム毎に１枚のフレームを合成してこれを高速再生用画像とし、アナログ動画像の如く高速再生表示する方法も知られている（例えば、特許文献１参照）。
【０００５】
また、ＰＣ上で動画像を高速再生する方法として、本出願人により例えば特願２００３−１１６０４９が提案されている。
【特許文献１】特開平８−１６３４９４号公報
【非特許文献１】ＩＳＯ／ＩＥＣ−１５４４４−１：ＪＰＥＧ２０００規格書  ｐａｒｔ−３
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、デジタル動画像データの高速再生を行うにあたり、上述したようなフレームをスキップする方式のデジタル動画像データの高速再生は、表示される再生画像がパラパラとぎこちなくなるという問題があった。
【０００７】
また、高速再生時に画面の一部範囲のみを再生表示する従来の方法では、その範囲外に視聴したい映像があった場合には高速再生では観ることができないという問題があった。
【０００８】
本発明は上記問題点を鑑みてなされたものであり、ＰＣのディスプレイのような複数の表示周波数を持つディスプレイで、デジタル動画像データを高速再生する際、再生画像の主たる部分は詳細な表示を実現するとともに、それ以外の部分も表示を可能とすることを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明のデジタル動画像データの画像再生装置は、画像中の一部領域を選択する選択手段と、前記選択手段により選択された領域について、第１のレートで再生するように指示する第１の指示手段と、前記選択手段によって選択されていない領域について、前記第１のレートよりも低い第２のレートで画像を再生するように指示する第２の指示手段とを有することを特徴とする。
【００１０】
また、本発明のデジタル動画像データの画像再生方法は、画像中の一部領域を選択する選択工程と、前記選択工程により選択された領域について、第１のレートで再生するように指示する第１の指示工程と、前記選択工程によって選択されていない領域について、前記第１のレートよりも低い第２のレートで画像を再生するように指示する第２の指示工程とを有することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、デジタル動画像データを高速再生する際は、再生画像の主たる部分は詳細な表示が可能となるとともに、それ以外の部分も表示が可能となり、高速再生中であっても動画像の全体を視聴できる。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照しながら本発明の好適な実施の形態を説明する。
【００１３】
（第１の実施形態）
図１は、本発明の動画像再生装置が使用される再生システムの一例を示す概略図であり、１はディスプレイが接続されたパーソナルコンピュータなどの情報処理装置（以下「ＰＣ」）、２はＤＶＤ−ＲＡＭ等の記憶媒体からデータを読み出すドライブである。第１の実施形態では、ＰＣ１が備え付けられたＨＤＤやＤＶＤ−ＲＡＭなどのメディアに記録されている動画像符号化データを再生して復号し、ディスプレイに再生画像を表示する。
【００１４】
なお、本実施形態では、ＰＣ１は、所定サイズからなる画像の符号化データの全データを通常３０ｆｐｓ（フレーム／秒）で復号する処理能力を有する場合について説明する。また、ディスプレイの表示周波数は３０Ｈｚ及び６０Ｈｚに対応しているものとする。更に、本実施形態の動画像再生装置（ＰＣ１及び／又はドライブ２から構成される）は、通常再生を３０ｆｐｓにより行うものとする。
【００１５】
まず、本発明を実施可能とするＰＣ１又はその他のデバイスによって動画像符号化データを生成する動画像符号化装置について説明し、その後、本発明を実施する動画像再生装置について説明する。また、以下の説明において、音声データの再生方法は本発明の本質から外れるので、本明細書では音声の符号化方法と再生方法の詳細には触れない。
【００１６】
＜動画像符号化装置＞
図２は本実施形態における動画像符号化装置２００の構成を示すブロック図であり、図２のフレームデータ符号化部２０２の構成を図３に示す。また、動画像符号化装置２００の処理のフローチャートを図４に示す。
【００１７】
まず、画像データと音声データが、画像データ取得部２０１と音声データ取得部２０３から入力される（ステップＳ４０１）。この画像データ取得部２０１と音声データ取得部２０３には、例えばデジタルビデオカメラ、デジタルスチルカメラ、スキャナ等の撮像装置、或いはＣＣＤなどの撮像デバイス、或いはネットワーク回線のインターフェース等が用いられる。更に、画像データ取得部２０１と音声データ取得部２０３はＲＡＭ、ＲＯＭ、ハードディスク、ＣＤ−ＲＯＭ等の記録媒体であっても良い。図５は、画像データ取得部２０１及び音声データ取得部２０３から得られる画像データ及び音声データの概念を、時間に対応して示した図である。
【００１８】
ステップＳ４０２において、画像データ取得部２０１から取得した画像データは、フレームデータ毎（図５（ａ）のフレーム毎のデータ）に、フレームデータ符号化部２０２に入力される。フレームデータ符号化部２０２に入力されたフレームデータは、圧縮処理されてフレーム符号化データとなる。また、生成された複数のフレーム符号化データは、順次、データ統合部２０５に入力される。
【００１９】
一方、音声データ取得部２０３から取得された音声データは、音声データ符号化部２０４に入力され、後述の処理により符号化が行われ、音声符号化データとなる（ステップＳ４０２）。
【００２０】
生成された音声符号化データは、データ統合部２０５に入力される。なお、以下の説明において音声データの符号化方法については触れないが、音声データの符号化方法として、例えば、ＭＰ３（ＭＰＥＧ  Ａｕｄｉｏ  Ｌａｙｅｒ  ＩＩＩ）やＡＡＣ（Ａｄｖａｎｃｅ  Ａｕｄｉｏ  Ｃｏｄｉｎｇ）等が考えられるがこれに限るものではない。また、符号化を行わなくてもよい。
【００２１】
データ統合部２０５に音声符号化データとフレーム符号化データが入力されると、図５（ｂ）に示すように、フレーム符号化データと音声符号化データを所定の規則に基づいて並べる。図５（ｂ）に示す例では、４フレーム分のフレーム符号化データ毎に、これらのフレームに対応する音声符号化データを挿入している。さらに、図６に示すように、ヘッダ等の復号に必要となるデータが所定の個所に挿入されて、動画像符号化データが生成される（ステップＳ４０３）。
【００２２】
その後、生成された動画像符号化データは、動画像符号化データ出力部２０６から外部へ出力される（ステップＳ４０４）。この動画像符号化データ出力部２０６としては、例えば、公衆の電話回線、Ｂｌｕｅｔｏｏｔｈ等の無線回線、ＬＡＮ、ＵＳＢやＩＥＥＥ１３９４などの有線回線等のインターフェースを用いることができる。また、動画像符号化装置２００が例えばＰＣ１等の他の装置の内部に構成されている場合には、その装置の内部メモリに出力するインターフェースであっても良い。
【００２３】
次に、フレームデータ符号化部２０２におけるフレームデータの符号化処理について、図３に示すフレームデータ符号部２０２の構成および図７のフローチャートを参照して説明する。
【００２４】
以下の説明では、符号化対象となるフレームデータが８ビットのモノクロフレームデータであるものとして説明をする。しかしながら、フレームデータの形態はこれに限るものではなく、各画素４ビット、１０ビット、１２ビットと言った具合に８ビット以外のビット数で表すモノクロ画像、或いは各画素における各色成分（ＲＧＢ／Ｌａｂ／ＹＣｒＣｂ）を８ビットで表現するカラーの多値フレームデータである場合に適用することも可能である。また、画像を構成する各画素の状態等を表す多値情報である場合、例えば各画素の色を表す多値のインデックス値である場合にも適用できる。これらに応用する場合には、各種類の多値情報を後述するモノクロフレームデータとすればよい。
【００２５】
まず、画像データ取得部２０１からフレームデータ入力部３０１へ、符号化対象となる画像のフレームデータがラスタースキャン順に入力され、タイル分割部３０２に出力される。
【００２６】
タイル分割部３０２は、フレームデータ入力部３０１から入力される１枚の画像を図８に示すようなＮ枚のタイルに分割し（ステップＳ５０１）、各タイルを識別するために、本第１の実施形態ではラスタースキャン順にタイル番号０，１，２，．．．，Ｎ−１を割り振る。以下、各タイルを表すデータをタイルデータと呼ぶ。なお、図８では画像を横８縦６の４８枚のタイルに分割した例を示しているが、分割タイル数は適宜変更可能であることは言うまでもない。これら生成されたタイルデータは、順に離散ウェーブレット変換部３０３に送られる。離散ウェーブレット変換部３０３以降の処理においては、タイルデータ毎に符号化される。
【００２７】
ステップＳ５０２において、フレームデータ符号化部２０２が処理しているタイルを認識するためのカウンタをｉ＝０に設定する。
【００２８】
離散ウェーブレット変換部３０３は、タイル分割部３０２から入力される、１フレーム画像のフレームデータ中の１つのタイルデータにおける複数の画素（参照画素）のデータ（以下、「参照画素データ」）を用いて離散ウェーブレット変換を行う（ステップＳ５０３）。
【００２９】
ここで、離散ウェーブレット変換後のフレームデータ（離散ウェーブレット変換係数）を示す。
【００３０】
Ｙ（２ｎ）＝Ｘ（２ｎ）＋ｆｌｏｏｒ｛（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４｝
Ｙ（２ｎ＋１）＝Ｘ（２ｎ＋１）−ｆｌｏｏｒ｛（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２｝      …（１）
Ｙ（２ｎ），Ｙ（２ｎ＋１）は離散ウェーブレット変換係数列であり、Ｙ（２ｎ）は低周波サブバンド、Ｙ（２ｎ＋１）は高周波サブバンドである。また、上記変換式（１）においてｆｌｏｏｒ｛Ｘ｝はＸを超えない最大の整数値を表す。この離散ウェーブレット変換を模式的に表わしたのが図９である。
【００３１】
上記変換式（１）は一次元のデータに対するものであるが、この変換を水平方向、垂直方向の順に適用して二次元の変換を行うことにより、図１０（ａ）に示す様なＬＬ，ＨＬ，ＬＨ，ＨＨの４つのサブバンドに分割することができる。ここで、Ｌは低周波サブバンド、Ｈは高周波サブバンドを示している。次にＬＬサブバンドを、同じ様にして４つのサブバンドに分け（図１０（ｂ））、その中のＬＬサブバンドを更に４つのサブバンドに分ける（図１０（ｃ））。このようにして合計１０のサブバンドを作る。１０個のサブバンドそれぞれを、図１０（ｃ）の様にＨＨ１，ＨＬ１，…と呼ぶ。ここで、各サブバンドの名称における数字は、それぞれのサブバンドのレベルを示す。つまり、レベル１のサブバンドは、ＨＬ１，ＨＨ１，ＬＨ１、レベル２のサブバンドは、ＨＬ２，ＨＨ２，ＬＨ２、レベル３のサブバンドは、ＨＬ３，ＨＨ３，ＬＨ３である。なおＬＬサブバンドは、レベル０のサブバンドである。ＬＬサブバンドは一つしかないので添字を付けない。またレベル０からレベルｎまでのサブバンドを復号することで得られる復号画像を、レベルｎの復号画像と呼ぶ。復号画像は、そのレベルが高い程解像度は高い。
【００３２】
１０個のサブバンドの変換係数は、一旦バッファ３０４に格納され、ＬＬ，ＨＬ１，ＬＨ１，ＨＨ１，ＨＬ２，ＬＨ２，ＨＨ２，ＨＬ３，ＬＨ３，ＨＨ３の順に、つまり、レベルが低いサブバンドからレベルが高いサブバンドの順に、係数量子化部３０５へ出力される。
【００３３】
係数量子化部３０５では、バッファ３０４から出力される各サブバンドの変換係数を各周波数成分毎に定めた量子化ステップで量子化し、量子化後の値（係数量子化値）をエントロピー符号化部３０６へ出力する（ステップＳ５０４）。係数値をＸ、この係数の属する周波数成分に対する量子化ステップの値をｑとすると、量子化後の係数値Ｑ（Ｘ）は次式（２）によって求めるものとする。
【００３４】
Ｑ（Ｘ）＝ｆｌｏｏｒ｛（Ｘ／ｑ）＋０．５｝      …（２）
本実施形態における各周波数成分と量子化ステップとの対応を図１１に示す。同図に示すように、よりレベルが高いサブバンドの方に、大きい量子化ステップを与えている。なお、各サブバンド毎の量子化ステップは予め不図示のＲＡＭやＲＯＭなどのメモリに格納されているものとする。そして、一つのサブバンドにおける全ての変換係数を量子化した後、それら係数量子化値をエントロピー符号化部３０６へ出力する。
【００３５】
エントロピー符号化部３０６は、入力された係数量子化値をエントロピー符号化する（ステップＳ５０５）。ここでは、まず、図１２に示すように、入力された係数量子化値の集まりである各サブバンドが矩形（「コードブロック」と呼ぶ。）に分割される。なお、このコードブロックの大きさには、２ｍ×２ｎ（ｍ、ｎは２以上の整数）等が設定される。さらにこのコードブロックを、図１３に示すように、ビットプレーンに分割する。その上で、各ビットプレーンにおける各ビットは、図１４に示すように所定分類規則に基づいて３種類に分けられて、同じ種類のビットを集めたコーディングパスが３種類生成される。入力された係数量子化値は、ここで得られたコーディングパスを単位として、エントロピー符号化である二値算術符号化が行われ、エントロピー符号化値が生成される。
【００３６】
なお、エントロピー符号化は、１つのコードブロックに注目すると上位ビットプレーンから下位ビットプレーンの順に符号化され、更にそのコードブロックのあるビットプレーンに注目すると、図１４に示す３種類のパスを上から順に符号化するようになっている。
【００３７】
エントロピー符号化されたコーディングパスは、タイル符号化データ生成部３０７に出力される。
【００３８】
タイル符号化データ生成部３０７では、入力された複数のコーディングパスから、単一もしくは複数のレイヤーを構成し、それらレイヤーをデータの単位としてタイル符号化データを生成する（ステップＳ５０６）。以下にレイヤーの構成に関する説明を行う。
【００３９】
タイル符号化データ生成部３０７は、図１５に示すように、複数のサブバンドにおける複数のコードブロックから、エントロピー符号化されたコーディングパスを集めた上で、レイヤーを構成する。図１５は５枚のレイヤーを生成する場合を示している。なお、任意のコードブロックからコーディングパスを取得する際には、図１６に示すように、常にそのコードブロックにおいて最上位に存在するコーディングパスから順に選択する。その後、タイル符号化データ生成部３０７は、図１７に示すように、生成したレイヤーを上位に位置するレイヤーから順に並べた上で、その先頭にタイルヘッダを付加してタイル符号化データを生成する。このヘッダには、タイルを識別する情報や、当該タイル符号化データの符号長や、圧縮に使用した様々なパラメータ等が格納される。このように生成されたタイル符号化データは、フレーム符号化データ生成部３０８に出力される。
【００４０】
次に、ステップＳ５０７で符号化すべきタイルデータが残っているかどうかをカウンタｉの値とタイル番号とを比較することにより判断する。符号化すべきタイルデータが残っている場合（つまりｉ＜Ｎ−１）は、ステップＳ５０８でカウンタｉを１増やし、ステップＳ５０３に戻って次のタイルに対してステップＳ５０７までの処理を繰り返す。符号化すべきタイルデータが残っていない場合（つまりｉ＝Ｎ−１）は、ステップＳ５０９に進む。
【００４１】
フレーム符号化データ生成部３０８では、図１７に示すようなタイル符号化データを、図１８に示すように所定の順番（例えば、タイル番号順）に並べた上で、先頭にヘッダを付加してフレーム符号化データを生成する（ステップＳ５０９）。このヘッダには、入力画像やタイルの縦横のサイズ、圧縮に使用した様々なパラメータ等が格納される。このように生成されたフレーム符号化データは、フレーム符号化データ出力部３０９からデータ統合部２０５に出力される。
【００４２】
＜動画像再生装置＞
図１９は本実施形態における動画像再生装置１０００の構成を示すブロック図であり、図１９におけるフレームデータ復号部２００３の構成を図２０に示す。また、この動画像再生装置１０００における処理のフローチャートを図２１に示す。
【００４３】
ここで、高速再生動作について説明する。例えば高速再生として、２倍速再生を行う場合、たとえ画像データは６０ｆｐｓに対応していたとしても、ＰＣ１の処理能力が問題となり、６０ｆｐｓで各フレーム符号化データを復号することによる２倍速再生（３０ｆｐｓ×２倍）を実現することはできない。また、１フレームおきにスキップしながら復号対象のフレーム符号化データを選択し、３０ｆｐｓで選択したフレームを復号することにより２倍速再生を行うことは、ＰＣ１の処理能力上可能である。しかし、この再生方法では、再生される動画像が従来技術と同様にスキップされてぎこちないという問題点がある。
【００４４】
そこで、本実施形態では、ＰＣ１が滑らかな再生画像を表示するために、２倍速再生では各画像の１／２の面積に相当するデータを復号して実質的に６０ｆｐｓとなるように表示する。以下にその方法について説明するが
まず、動画像再生装置１０００がユーザーから通常再生指示部２００７または高速再生指示部２００８を介して通常再生もしくは高速再生の指示を受けると（ステップＳ２２０１）、動画像符号化データ取得部２００１は、蓄積部２００９から動画像符号化データを読み出し、分離部２００２へ送信する（ステップＳ２２０２）。
【００４５】
動画像符号化データを受け取った分離部２００２は、該動画像符号化データをフレーム符号化データと音声符号化データに分離する（ステップＳ２２０３）。ここで生成されたフレーム符号化データはフレームデータ復号部２００３へ、音声符号化データは音声データ復号部２００５へ出力される。また、フレームデータ復号部には、フレーム符号化データと共に、ユーザーから指定された再生方法（通常再生／高速再生）の情報が伝達される。なお、音声データの再生方法は本発明の主旨から外れるので、以下の記述において音声符号化データの説明は省略する。
【００４６】
分離された動画像符号化データの復号処理の開始にあたり、まず、ユーザーから指定された再生方法を判断する（ステップＳ２２０４）。ユーザーから通常再生が指示されている場合、フレームデータ復号部２００３はフレーム符号化データを通常復号し、復号フレームデータを生成する（ステップＳ２２０５）。また、音声データ復号部２００５は音声符号化データを復号し、復号音声データを生成する（ステップＳ２２０５）。
【００４７】
一方、ユーザーから指示された再生方法が通常再生以外のとき（すなわち高速再生が指示された場合）、フレームデータ復号部２００３はフレーム符号化データを高速復号し、復号フレームデータを生成する（ステップＳ２２０７）。なお、高速再生時には音声符号化データの復号は行わない。
【００４８】
ステップＳ２２０５で生成された復号フレームデータ及び復号音声データ、並びにステップＳ２２０７で高速復号された復号フレームデータは、復号フレーム出力部２００４または復号音声出力部２００６から表示デバイスへ出力される（ステップＳ２２０６，Ｓ２２０８）。
【００４９】
次に図１９のフレームデータ復号部２００３で行う処理について、図２０にフレームデータ復号部２００３の詳細な構成を示し、図２２のフローチャートを参照して説明する。
【００５０】
フレーム符号化データ入力部２１０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部２１０２に出力される。復号対象タイル決定部２１０２は、再生方法が通常再生であれば図２３（ａ）に示すフレーム中の全てのタイルを復号対象タイルと決定する（ステップＳ２５０１）。一方で、再生方法が高速再生であれば、図２３（ｂ）の太線で示すように、フレーム中の一部のタイルを復号対象タイルと決定する（ステップＳ２５０１）。この復号すべきタイルの決定には、メインヘッダやタイルヘッダにある情報を利用する。なお、高速再生時の図２３（ｂ）では、縦６横８の全４８タイルの内、内側にある縦４横６の２４タイルを処理の対象としているがこれに限るものではなく、処理部の速度に応じて、処理可能な数の任意のタイルを選択すれば良い。
【００５１】
また、ここで決定される復号対象のタイルの枚数をＭとし、各復号対象であるタイルを識別するために、各復号対象タイルに対して番号０〜Ｍ−１を割り振る。この番号の割り振り方は、図２４に示すように、左上に存在するタイルから右に向かって、さらに上から下に向かって番号が増えるようにする。
【００５２】
復号対象タイルを決定した後、フレームデータ復号部２００３が処理しているタイルを認識するためのカウンタをｉ＝０に設定する（ステップＳ２５０２）。
【００５３】
次に、復号対象であるタイル符号化データは、エントロピー復号部２１０３に入力されて、エントロピー復号が行われ、量子化値が復元される（ステップＳ２５０３）。そして復元された量子化値は逆量子化部２１０４に出力される。逆量子化部２１０４は入力した量子化値を逆量子化することにより、離散ウェーブレット変換係数を復元して後続の逆離散ウェーブレット変換部２１０５に出力する
（ステップＳ２５０４）。逆量子化は以下の式により行われる。
【００５４】
Ｘｒ＝Ｑ×ｑ
ただし、Ｑは量子化値、ｑは量子化ステップ、Ｘｒは復元された離散ウェーブレット変換係数である。逆離散ウェーブレット変換部２１０５では、以下に記述する式に基づいて、逆離散ウェーブレット変換を行う（ステップＳ２５０５）。
【００５５】
Ｘ（２ｎ）＝Ｙ（２ｎ）−ｆｌｏｏｒ｛（Ｙ（２ｎ−１）＋Ｙ（２ｎ＋１）＋２）／４｝
Ｘ（２ｎ＋１）＝Ｙ（２ｎ＋１）＋ｆｌｏｏｒ｛（Ｘ（２ｎ）＋Ｘ（２ｎ＋２））／２｝
ここで、低周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ）、高周波サブバンドの離散ウェーブレット変換係数をＹ（２ｎ＋１）とする。また、ｘ（ｎ）は復号データである。本変換式は一次元のデ−タに対するものであるが、この変換を水平方向、垂直方向の順に適用することで二次元の変換を行う。そして復号タイルデータが生成され、復号フレームデータ出力部２１０６に出力される（ステップＳ２５０６）。
【００５６】
次に、ステップＳ２５０７で復号対象タイルが残っているかどうかをカウンタｉとタイル番号とを比較することにより判断する。復号化すべきタイルが残っている場合（つまりｉ＜Ｍ−１）は、ステップＳ２５０８でカウンタｉを１増やし、ステップＳ２５０３に戻って次のタイルに対してステップＳ２５０７までの処理を繰り返す。一方、ステップＳ２５０７で復号すべきタイルが残っていない場合（つまりｉ＝Ｍ−１）は、ステップＳ２５０９に進む。
【００５７】
復号フレームデータ出力部２１０６は、復号タイルデータをｉ＝０，．．．，Ｍ−１の順番で並べた上で復号フレームデータを生成し、復号フレーム出力部２００４に出力する。（ステップＳ２５０８）。
【００５８】
本実施の形態では、通常再生（３０ｆｐｓ）のときと２倍速再生（６０ｆｐｓ）のときで異なる表示周波数で復号フレームデータが外部のディスプレイに出力されることになるが、出力したフレームデータの表示周波数に従ってディスプレイに表示周波数を切り替えさせて表示させる。
【００５９】
ところで、上記した実施形態では、復号対象となった画面の１／２の範囲は問題ないが、その他の範囲を観ることができないという不都合があったので、以下にこの点を改善した変形例を例示する。
【００６０】
なお、以下に説明する変形例においては、デスクトップ等のＰＣと比較して、製品設計上消費電力を低く抑えなければならないモバイルＰＣやビデオカメラ等のモバイル製品への適用が最適である。
【００６１】
先述した図２０のフレームデータ復号部２００３の構成を用いて、図２５のフローチャートを参照して説明する。このフローチャートは、先述した図２２のフローチャートに復号レート決定ステップ（Ｓ２５１０）を付加したものである。
【００６２】
フレーム符号化データ入力部２１０１に入力されたフレーム符号化データと再生方法の情報は、復号対象タイル決定部２１０２に出力される。
【００６３】
再生方法が２倍速の高速再生であれば、図２３（ｂ）の太線で示すように、フレーム中の一部のタイルを円滑再生対象タイルと決定し、それ以外のタイルを非円滑再生タイルとする（ステップＳ２５０１）。
【００６４】
なお、高速再生時の図２３（ｂ）では、縦６横８の全４８タイルの内、内側にある縦４横６の２４タイルを処理の対象としているがこれに限るものではなく、処理部の速度に応じて、処理可能な数の任意のタイルを選択すれば良い。
【００６５】
復号レート決定ステップ（Ｓ２５１０）では、通常再生時では全タイルを３０ｆｐｓで復号表示することを決定する。また、２倍速の高速再生時では、円滑表示タイルについては６０ｆｐｓで復号表示する。そして、非円滑タイルについては、図２６に示したように、ＰＣやビデオカメラに残された処理能力を利用して、可能なレートで復号表示する。本実施の形態においては、このレートを平均５ｆｐｓとする。
【００６６】
図２５におけるＳ２５０２以下のステップは、図２２と同様なので、説明を割愛する。
【００６７】
以上、本第１の実施形態によれば、高速再生時には各フレームの一部領域を高フレームレートで滑らかに表示することができ、またそれ以外の領域も可能な限りのフレームレートで表示させることで、映像領域全体の表示を可能とし、ユーザーにとって使い勝手のよい高速再生を提供できる。
【００６８】
（第２の実施形態）
第１の実施形態においては、システムが最低限復号表示できるレートにより、非円滑表示領域を復号表示する例を説明した。本実施形態においては、非円滑表示領域の復号レートを、システムが利用していない処理能力の時間推移に合わせてリアルタイムに変動させる例を説明する。これにより、ユーザーは、システムが表示できるレートで非円滑表示領域の映像を、常に楽しむことが可能となる。
【００６９】
本実施の形態における動画像の符号化方法，復号方法は、第１の実施形態で説明した内容と変わらないので、以下の説明では本実施の形態における特徴となる部分のみ抽出して説明する。
【００７０】
図２７は、本実施の形態におけるフローチャートであり、第１の実施の形態における図２５の復号レート決定ステップ（Ｓ２５１０）を、復号レート決定ステップ（Ｓ２７０１）に置き換えたものである。
【００７１】
この復号レート決定ステップＳ２７０１として、ＰＣやビデオカメラ等のシステムは残存している処理能力に応じて復号フレームレートを変更する。例えば、図２８において時刻Ｔａでは、１０ｆｐｓで復号を行い、時刻Ｔｂでは３ｆｐｓで復号を行う。
【００７２】
以上、本第２の実施形態によれば、非円滑表示領域の復号レートを、システムが利用していない処理能力の時間推移に合わせて変動させる。これにより、ユーザーは、システムが表示できるレートで、常に非円滑表示領域の映像を楽しむことが可能となる。
【００７３】
（第３の実施形態）
第１の実施形態においては、システムが最低限復号表示できるレートにより、非円滑表示領域を復号表示した。しかし、システムが保有する残存処理能力の最低値が非常に小さい場合、非円滑表示タイルの全てを復号できない場合もあると考えられる。本実施の形態では、最も少ない残存処理能力が非常に小さい場合における非円滑表示領域の復号方法を示す。
【００７４】
本実施の形態における動画像の符号化方法，復号方法は、第１の実施形態で説明した内容と変わらないので、以下の説明では本実施の形態における特徴となる部分のみ抽出して説明する。
【００７５】
図２９は、本実施の形態におけるフローチャートであり、第１の実施の形態における図２５の復号レート決定ステップ（Ｓ２５１０）を、復号レート決定ステップ（ＳＸ５０１）に置き換えたものである。
【００７６】
この復号レート決定ステップＳＸ５０１において、ＰＣやビデオカメラといったシステムは残存する処理能力の最低値に基づいて、復号レートと復号する非円滑表示タイルを決定する。なお、復号する非円滑表示タイルの決定は、図３０に示すように、ある復号時刻にはグループＡ，次の復号時刻にはグループＢ，その次の復号時刻にはグループＣ，そのまた次の復号時刻にはグループＤを復号する。
【００７７】
以上、本第３の実施形態によれば、非円滑表示タイルの一部を低レートで復号することで、残存処理能力が非常に低いときでも、常に非円滑表示領域の映像を楽しむことが可能となる。
【００７８】
（第４の実施形態）
一般的に、ビデオカメラ等で撮影する際、比較的画面の中心近くに撮影者の興味の対象が存在することが多い。そのため、なるべく中央に近い領域については高フレームレートで復号し、円滑な映像を表示することが望ましい。そのため、第１の実施例では、画面を円滑表示領域と非円滑表示領域に分けて、異なるフレームレートで高速再生する方法を示した。本実施の形態においては、その考えを一歩進めて、非円滑表示領域を、画面の中心から外側の方向に向かって、さらに２つに分離して、第１非円滑表示領域，第２非円滑表示領域を定義する。そして、第１非円滑表示領域を第２非円滑表示領域より高フレームレートで復号する。このようにして、ユーザーの興味の対象となる領域を、より高フレームレートで表示できるようにする。
【００７９】
本実施の形態における動画像の符号化方法，復号方法は、第１の実施形態で説明した内容と変わらないので、以下の説明では本実施の形態における特徴となる部分のみ抽出して説明する。
【００８０】
図３１は、本実施の形態におけるフローチャートであり、第１の実施の形態における図２５の復号レート決定ステップ（Ｓ２５１０）を、復号レート決定ステップ（ＳＸ７０１）に置き換えたものである。
この復号レート決定ステップＳＸ７０１において、ＰＣやビデオカメラといったシステムは残存する処理能力の最低値に基づいて、非円滑表示領域の復号レートを決定する。例えば、図３２に示すように、第１非円滑表示領域については１０ｆｐｓを復号レートとし、第２非円滑表示領域については５ｆｐｓを復号レートと決定する。
【００８１】
なお、１フレーム毎に第１非円滑表示領域のみを復号することになるが、これは各タイル中のコードブロック単位の復号により達成可能である。詳細については、本発明の本質ではないので割愛する。
【００８２】
以上、本第４の実施形態によれば、非円滑表示タイルの一部を低レートで復号することで、第１非円滑表示領域を第２非円滑表示領域より高フレームレートで復号する。このようにして、ユーザーの興味の対象となる領域を、より高フレームレートで表示できるようになる。
【００８３】
（第５の実施形態）
第１の実施例では、画面を円滑表示領域と非円滑表示領域に分けて、異なるフレームレートで高速再生する方法を示した。この方法は、画面の中心部に撮影者の興味対象がある場合には有効であるが、画面の枠付近に興味の対象がある場合、適当ではない。そこで、本実施の形態においては、閲覧者が円滑表示領域を移動できるようにする。このようにして、常に閲覧者の興味の対象が円滑表示領域内に表示されるようになる。
【００８４】
本実施の形態における動画像の符号化方法，復号方法は、第１の実施形態で説明した内容と変わらないので、以下の説明では本実施の形態における特徴となる部分のみ抽出して説明する。
【００８５】
図３４は、本実施の形態における画像再生装置である。同図において、高速再生中、ユーザーが領域指定部２０１０により表示領域の変更を指示した場合、図３３の太線で示すように、その指定された領域を包含するコードブロックを復号対象タイルと決定する（ステップＳ２５０１）。なお、領域指定部２０１０として、マウス，カーソルキーなどが考えられる。
【００８６】
また、このような再生方法は再生装置の付加を増やすので、図３３に示されているように、移動方向とは逆の方向の領域を低画質で表示する。ここで低画質化させる領域として移動方向とは逆方向の領域を選んだ理由は、一般的にユーザーの注目は移動方向の領域にあり、移動方向とは反対方向の領域にはないと考えられることである。以下に、その具体的な復号方法について記す。
【００８７】
表示領域が移動していて、かつ表示領域がコードブロック境界に接している場合、動画像再生装置は、メインヘッダやタイルヘッダにあるコードブロックの先頭情報を利用して、復号対象のコードブロックの先頭にアクセスして復号する。
【００８８】
もし、表示領域がコードブロック境界に接していない場合、移動方向とは反対方向の領域のコードブロックは上位レイヤー（例えば、レイヤー０，１，２）のみを復号する。こうすることで、処理量を抑制することが可能となる。
【００８９】
以上、第５の実施形態によれば、ユーザーが円滑表示領域を移動できるようになるので、興味の対象がデフォルトの円滑表示領域から外れても、ユーザーは興味の対象を円滑な表示で閲覧できるようになる。
【００９０】
（第６の実施形態）
第１の実施例では、画面を円滑表示領域と非円滑表示領域に分けて、異なるフレームレートで高速再生する方法を示した。この方法は、画面の中心部に撮影者の興味対象がある場合には有効であるが、画面の枠付近に興味の対象がある場合、適当ではない。そこで、本実施の形態においては、閲覧者が円滑表示領域と非円滑表示領域を切り替えられるようにする。
【００９１】
本実施の形態における動画像の符号化方法，復号方法は、第１の実施形態で説明した内容と変わらないので、以下の説明では本実施の形態における特徴となる部分のみ抽出して説明する。
【００９２】
図３５は本実施形態における動画像再生装置のブロック図である。これは、図１９のブロック図に対して、表示切り替え指示部２００９を追加したものである。
【００９３】
動画像再生装置が高速再生を行っている間に、ユーザーが表示切り替え指示部２００９を押すと、図２３（ｂ）に示した円滑表示領域と非円滑表示領域が切り替わる。
【００９４】
以上、第６の実施形態によれば、ユーザーが円滑表示領域と非円滑表示領域を切り替えられるので、興味の対象が円滑表示領域から外れても、ユーザーは興味の対象を円滑な表示で閲覧できるようになる。
【００９５】
（他の実施形態）
なお、上記第１〜第６の実施形態では、フレームデータの系列変換に離散ウェーブレット変換を使用したが、本発明はこれに限定されるわけではなく、例えば系列変換に離散コサイン変換等を使用しても構わない。
【００９６】
上記第１〜第６の実施形態では、タイル，コードブロックを復号の単位としたが、本発明はそれに限られない。例えば、符号化の際に、原画像上で対応するコードブロックを集めることで得られるデータ（プリシンクト）を復号の単位としても構わない。
【００９７】
また、本発明は、複数の機器（例えばホストコンピュータ、インターフェイス機器、リーダ、スキャナ、カメラヘッドなど）から構成されるシステムに適用しても、一つの機器（例えば、複写機、デジタルカメラなど）からなる装置の一部に適用してもよい。
【００９８】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。ここでプログラムコードを記憶する記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、ＲＯＭ、ＲＡＭ、磁気テープ、不揮発性のメモリカード、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ、光ディスク、光磁気ディスク、ＭＯなどが考えられる。
【００９９】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【０１００】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した各フローチャート図に対応するプログラムコードが格納されることになる。
【図面の簡単な説明】
【０１０１】
【図１】本発明の動画像再生装置が使用されるシステムの一形態を示す概略外観図である。
【図２】動画像符号化装置の概略構成を示すブロック図である。
【図３】フレームデータ符号化部の概略構成を示すブロック図である。
【図４】動画像符号化装置が行う動画像データの符号化処理のフローチャートである。
【図５】動画像符号化データ構成の説明図である。
【図６】動画像符号化データ構成の説明図である。
【図７】フレームデータ符号化部が行うフレームデータの符号化処理のフローチャートである。
【図８】タイル分割の説明図である。
【図９】１次元離散ウェーブレット変換の説明図である。
【図１０】（ａ）は４つのサブバンドに分解した図、（ｂ）は（ａ）のＬＬサブバンドを更に４つのサブバンドに分解した図、（ｃ）は（ｂ）のＬＬサブバンドを更に４つのサブバンドに分解した図である。
【図１１】量子化ステップの表を示す図である。
【図１２】コードブロック分割の説明図である。
【図１３】ビットプレーン分割の説明図である。
【図１４】コーディングパスの説明図である。
【図１５】レイヤー生成の説明図である。
【図１６】レイヤー生成の説明図である。
【図１７】タイル符号化データの構成の説明図である。
【図１８】フレーム符号化データの構成の説明図である。
【図１９】動画像再生装置の概略構成を示すブロック図である。
【図２０】フレームデータ復号部の概略構成を示すブロック図である。
【図２１】動画像再生装置が行う動画像データの復号処理のフローチャートである。
【図２２】フレームデータ復号部が行うフレームデータの復号処理のフローチャートである。
【図２３】復号対象タイル符号化データの決定に関する説明図である。
【図２４】タイル符号化データに関する識別番号の割り振りの説明図である。
【図２５】本発明の第１の実施形態における動画像再生装置が行う動画像データの符号化処理のフローチャートである。
【図２６】非円滑表示領域の表示レートの説明図である。
【図２７】本発明の第２の実施形態における動画像再生装置が行う動画像データの符号化処理のフローチャートである。
【図２８】非円滑表示領域の表示レートの説明図である。
【図２９】本発明の第３の実施形態における動画像再生装置が行う動画像データの符号化処理のフローチャートである。
【図３０】非円滑表示領域の表示方法の説明図である。
【図３１】本発明の第４の実施形態における動画像再生装置が行う動画像データの符号化処理のフローチャートである。
【図３２】非円滑表示領域の表示方法の説明図である。
【図３３】円滑表示領域の移動、並びに移動時の表示方法の説明図である。
【図３４】本発明の第５の実施形態における動画像再生装置のブロック図である。
【図３５】本発明の第６の実施形態における動画像再生装置のブロック図である。
【符号の説明】
【０１０２】
１  情報処理装置
２  ドライブ
２００  動画像符号化装置
２０１  画像データ取得部
２０２  フレームデータ符号化部
２０３  音声データ取得部
２０４  音声データ符号化部
２０５  データ統合部
２０６  動画像符号化データ出力部
３０１  フレームデータ入力部
３０２  タイル分割部
３０３  離散ウェーブレット変換部
３０４  バッファ
３０５  係数量子化部
３０６  エントロピー符号化部
３０７  タイル符号化データ生成部
３０８  フレーム符号化データ生成部
３０９  フレーム符号化データ出力部
１０００  動画像再生装置
２００１  動画像符号化データ取得部
２００２  分離部
２００３  フレームデータ復号部
２００４  復号フレーム出力部
２００５  音声データ復号部
２００６  復号音声出力部
２００７  通常再生指示部
２００８  高速再生指示部
２００９  蓄積部
２１０１  フレーム符号化データ入力部
２１０２  復号対象タイル決定部
２１０３  エントロピー復号部
２１０４  逆量子化部
２１０５  逆離散ウェーブレット変換部
２１０６  復号フレームデータ出力部
【図１】
2005252454.tif 000003
【図２】
2005252454.tif 000004
【図３】
2005252454.tif 000005
【図４】
2005252454.tif 000006
【図５】
2005252454.tif 000007
【図６】
2005252454.tif 000008
【図７】
2005252454.tif 000009
【図８】
2005252454.tif 000010
【図９】
2005252454.tif 000011
【図１０】
2005252454.tif 000012
【図１１】
2005252454.tif 000013
【図１２】
2005252454.tif 000014
【図１３】
2005252454.tif 000015
【図１４】
2005252454.tif 000016
【図１５】
2005252454.tif 000017
【図１６】
2005252454.tif 000018
【図１７】
2005252454.tif 000019
【図１８】
2005252454.tif 000020
【図１９】
2005252454.tif 000021
【図２０】
2005252454.tif 000022
【図２１】
2005252454.tif 000023
【図２２】
2005252454.tif 000024
【図２３】
2005252454.tif 000025
【図２４】
2005252454.tif 000026
【図２５】
2005252454.tif 000027
【図２６】
2005252454.tif 000028
【図２７】
2005252454.tif 000029
【図２８】
2005252454.tif 000030
【図２９】
2005252454.tif 000031
【図３０】
2005252454.tif 000032
【図３１】
2005252454.tif 000033
【図３２】
2005252454.tif 000034
【図３３】
2005252454.tif 000035
【図３４】
2005252454.tif 000036
【図３５】
2005252454.tif 000037