(57)【要約】【課題】簡便な処理で、動きのある画像であってもなめらかな高速再生が可能な画像再生装置を提供すること。【解決手段】複数の周波数帯域成分に分割して記録された画像データを帯域合成して出力する画像再生装置において、高速再生を行う場合、複数の画像（図７（ａ））の周波数成分を合成して得られた画像データ（図７（ｂ））を復号、再生する。【選択図】  図７
2004242250.tif 000002
【特許請求の範囲】
【請求項１】
複数の周波数帯域成分に分割して記録された画像データを帯域合成して出力する画像再生装置であって、
前記画像データを取得するデータ取得手段と、
前記取得した画像データを帯域合成して出力する再生出力手段と、
再生条件に応じて前記データ取得手段及び前記再生出力手段を制御する制御手段を有し、
前記制御手段は、連続するｍ（ｍは２以上の整数）枚の画像を構成する画像データから１枚の画像を帯域合成して再生出力する場合、
前記データ取得手段によって、（ｍー１）枚の画像を構成する画像データの各々からは、前記複数の周波数帯域成分のうち一部の周波数帯域成分のデータを、残りの１枚の画像を構成する画像データからは、前記複数の周波数帯域成分の少なくとも一部の周波数帯域成分のデータをそれぞれ取得させ、
前記再生出力手段が、当該取得したデータに基づいて、前記１枚の画像を帯域合成し、出力するように制御することを特徴とする画像再生装置。
【請求項２】
前記制御手段が、前記連続するｍ（ｍは２以上の整数）枚の画像を構成する画像データから１枚の画像を帯域合成して再生出力する場合、
前記データ取得手段によって、前記（ｍ−１）枚の画像を構成する画像データの各々からは同一の周波数帯域成分のデータを、前記残りの１枚の画像を構成する画像データからは、前記複数の周波数帯域成分の全ての周波数帯域成分のデータを取得させることを特徴とする請求項１記載の画像再生装置。
【請求項３】
前記同一の周波数帯域成分が、もっとも低い周波数帯域成分であることを特徴とする請求項２記載の画像再生装置。
【請求項４】
前記同一の周波数帯域成分が、もっとも低い周波数帯域成分を含む複数の周波数帯域成分であることを特徴とする請求項２記載の画像再生装置。
【請求項５】
前記再生出力手段が、前記同一の周波数帯域成分のデータの各々と、前記残りの１枚の画像の画像データに含まれる前記同一の周波数帯域成分と等しい周波数帯域成分のデータに対して、所定の演算を行って合成した上で前記１枚の画像を帯域合成し、出力することを特徴とする請求項２乃至請求項４のいずれか１項に記載の画像再生装置。
【請求項６】
前記所定の演算が、加重平均演算であることを特徴とする請求項５記載の画像再生装置。
【請求項７】
前記（ｍ−１）枚の画像を構成する画像データの各々から取得する周波数帯域成分のデータと、前記残りの１枚の画像を構成する画像データから取得する周波数帯域成分のデータとが、全て異なる周波数帯域成分のデータであり、かつ取得した周波数帯域成分のデータの組み合わせが、前記複数の周波数帯域成分の全ての周波数帯域成分のデータであることを特徴とする請求項１記載の画像再生装置。
【請求項８】
前記画像データが複数レベルの２次元離散ウェーブレット変換によって前記複数の周波数帯域成分に分割されていることを特徴とする請求項１乃至請求項７のいずれか１項に記載の画像再生装置。
【請求項９】
さらに、画像を撮影する手段と、
前記撮影した画像を複数の周波数成分に分割して記録する変換手段とを有することを特徴とする請求項１乃至請求項８のいずれか１項に記載の画像再生装置。
【請求項１０】
前記制御手段は、前記再生条件が通常の再生速度よりも速い速度での再生である場合に、前記連続するｍ（ｍは２以上の整数）枚の画像を構成する画像データから１枚の画像を帯域合成して再生出力するように前記データ取得手段と前記再生出力手段を制御することを特徴とする請求項１乃至請求項９に記載の画像再生装置。
【請求項１１】
前記再生条件が、ユーザによって操作可能な操作手段によって入力されることを特徴とする請求項１０記載の画像再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は画像再生技術に関し、特には画像を高速に再生可能な画像再生技術に関する。
【０００２】
【従来の技術】
従来、例えば動画データのように時間的に連続した画像データを再生する際、所望の内容を短時間で探したり、全体の流れを大まかに把握する等の目的で、実記録時間よりも高速な再生を行うことに対する要求がある。
【０００３】
そして、このような高速再生機能を有する画像再生装置も実現されている。一般に、動画はフレームと呼ばれる１画面分の画像の集合であるため、記録されているフレームを数フレームおきに再生するなど、間引き再生することにより高速再生機能を実現することが可能である。
【０００４】
しかしながら、このような間引き再生を行った場合、再生速度を上げるに従って（すなわち、間引くフレームを多くするにつれて）、再生される動画はぎくしゃくしたものになり、視覚特性が良好とは言えない。
【０００５】
視覚特性を改良した高速再生方法として、例えば、特許文献１には、１つのイントラ符号化フレームと複数のインター符号化フレームとが交互に現れる符号化画像データのうち、イントラ符号化フレームのみを再生する高速再生方法が開示されている。また、特許文献１には、イントラ符号化フレームを水平方向に分割したスライスと呼ばれる部分画像に分解し、１スライス／フレームの再生を行うことで、さらに高速な再生を行うことが記載されている（図１〜図３）。
【０００６】
また、特許文献２には、ＭＰＥＧ形式で符号化された動画像を高速再生する際、連続する複数のフレームの部分画像から１フレームの合成画像を生成し、この合成画像を再生する方法が提案されている（図６）。
【０００７】
【特許文献１】
特開平７−１６２８５１号公報
【特許文献２】
特開２００１−３５２５２４号公報
【０００８】
【発明が解決しようとする課題】
これら特許文献で提案されているような高速再生方法は、単純なフレーム間引きに比べ、高速再生時にも画像の動きを視覚的に滑らかに表示させる事ができる。しかしこれらの提案ではいずれも複数のフレーム画像を矩形状にスライス（分割）し、各画像のスライス画像を組み合わせて１フレーム分の合成画像を構成しているため、合成画像には異なる時間に撮影された画像が混在することになる。
【０００９】
そのため、図１２のようにフレーム間で動きのある４フレームの画像から合成画像を生成すると、図１３に示すようなずれを有する合成画像となり、再生される画像は視覚的に好ましくなくなってしまう。
【００１０】
また、このような合成画像を生成しながら高速再生するためには、通常の１フレーム分の再生処理時間内に複数の画像を読み出して合成し、再生する必要があるため、装置の処理負荷が増大したり、メモリ等の資源を大量に必要とする場合があった。例えば特許文献２の提案する方法では、２倍速再生時には２倍の速さでデータを読み出す必要がある。
【００１１】
本発明はこのような従来技術の問題点に鑑みなされたものであり、その目的は、簡便な処理で、動きの大きさに係わらず、高速再生時にも滑らかな表示が可能な画像再生装置を提供することである。
【００１２】
【課題を解決するための手段】
上述の目的を達成するため、本発明による画像再生装置は、複数の周波数帯域成分に分割して記録された画像データを帯域合成して出力する画像再生装置であって、画像データを取得するデータ取得手段と、取得した画像データを帯域合成して出力する再生出力手段と、再生条件に応じてデータ取得手段及び再生出力手段を制御する制御手段を有し、制御手段は、連続するｍ（ｍは２以上の整数）枚の画像を構成する画像データから１枚の画像を帯域合成して再生出力する場合、データ取得手段によって、（ｍー１）枚の画像を構成する画像データの各々からは、複数の周波数帯域成分のうち一部の周波数帯域成分のデータを、残りの１枚の画像を構成する画像データからは、複数の周波数帯域成分の少なくとも一部の周波数帯域成分のデータをそれぞれ取得させ、再生出力手段が、当取得したデータに基づいて、１枚の画像を帯域合成し、出力するように制御することを特徴とする。
【００１３】
【発明の実施の形態】
以下、添付図面を参照して、本発明をその好適な実施形態に基づき詳細に説明する。
■（第１の実施形態）
図１は、本発明の画像再生装置の一例としての記録再生装置における、記録系１００の構成例を示すブロック図であり、図４は同装置の再生系４００の構成例を示すブロック図である。
【００１４】
■（記録系１００の構成）
まず、図１を参照して記録系１００の構成及び動作について説明する。図において、１０１はレンズや絞り等で構成されるレンズ部、１０２はＣＣＤ、ＣＭＯＳセンサ等の撮像素子で構成される撮像部である。１０３は撮像部１０２から出力されるデータを一時記憶するメモリ部である。１０４はメモリ部１０３に一時記憶された画像データに所定の処理を行う画像データ作成部である。１０５はレンズ部１０１〜画像データ作成部１０４を統合的に制御するカメラ制御部である。
【００１５】
■（記録系１００の動作）
レンズ部１０１を通じて入射する光は、撮像部１０２の撮像素子上に結像される。そして、撮像部１０２ではカメラ制御部１０５からの駆動制御信号により、撮像素子が駆動される。撮像素子の出力信号は撮像部１０２内でＡ／Ｄ変換された後、メモリ部１０３に記憶される。記憶された画像データはカメラ制御部１０５からのメモリ読み出し制御信号によって画像データ作成部１０４に入力される。
【００１６】
画像データ作成部１０４では、画素補間処理、色演算処理、ガンマ処理等の処理を行い、１画面分のベースバンド画像データを作成する。画像データ作成部１０４で作成された画像データは後述する画像圧縮部１２０に入力される。
【００１７】
本実施形態では、画像圧縮部１２０が行う画像圧縮符号化処理として、画像データを複数の帯域に分割し、圧縮伸長を行う所謂ＪＰＥＧ２０００方式に準拠した圧縮符号化処理を行うものとして説明する。なお、ＪＰＥＧ２０００方式の圧縮符号化方式に関しては、ＩＳＯ／ＩＥＣ１５４４４において詳細に説明されているので、ここでは本実施形態の理解に必要な部分についてのみ説明する。
【００１８】
画像データ作成部１０４で作成された画像データは、画像圧縮部１２０の離散ウェーブレット変換部１０６に入力され、２次元の離散ウェーブレット変換が施される。
【００１９】
図２（ａ）は入力信号を帯域分割する離散ウェーブレット変換部１０６の構成例を示す図である。同図においてＨ０およびＨ１はＦＩＲフィルタであり、Ｈ０はローパス、Ｈ１はハイパス特性を持っている。また、下向き矢印記号を有する円形部分は、ダウンサンプラを表している。入力される多値画像信号はフィルタＨ０およびＨ１で処理されて異なる周波数帯域の信号に分割された後、２：１にダウンサンプリングされる。この構成は２チャンネルのフィルタバンクと等価であり既に周知であるため、ここでは詳細な説明は省略する。
【００２０】
図２（ａ）において入力されたベースバンドの多値画像信号について水平方向および垂直方向の変換処理を１つの組として処理を行っている。さらに、最初の１組の処理終了後、さらに最も周波数帯域の低い信号（ＬＬ１）に対して同じ処理を繰り返し行うことにより最終的には７つの異なる周波数帯域に属する一連のデータが出力される。
【００２１】
図２（ｂ）は、図２（ａ）に示す構成からなる離散ウェーブレット変換部１０６において変換処理を行った結果、入力された多値画像信号が異なる周波数帯域（サブバンド）に分割された様子を表したものであり、各周波数帯域に対してＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬ２のようにラベル付けを行った例を示す。以降の説明においては、水平方向および垂直方向への１組の変換処理を分解の１レベルと考え、各周波数帯域ＨＨ１，ＨＬ１，ＬＨ１，…，ＬＬ２をサブバンド変換係数と称する。
【００２２】
これら離散ウェーブレット変換部１０６から出力されたサブバンド変換係数は図１の量子化部１０７に出力される。量子化部１０７は離散ウェーブレット変換部１０６から出力されたサブバンド変換係数を量子化するものである。図３は、量子化部１０７における入力値と出力値の関係を示す図である。このように、量子化部１０７はサブバンド変換係数を線形量子化し、量子化インデックスに変換して後続のエントロピ符号化部１０８に出力する。
【００２３】
エントロピ符号化部１０８は入力された量子化インデックスをビットプレーンに分解し、ピットプレーンを単位としてエントロピ符号化を行ってコードストリームとして出力する。コードストリームは画像符号化データ出力部１０９によりヘッダ情報等が付加され所定のファイル形式に加工された後、記録装置１１０に出力される。記録装置１１０はメモリーカードや光ディスク、磁気ディスク等で構成される。また記録装置１１０としてネットワークを介して接続されたコンピュータやサーバーを用いても良い。
【００２４】
■（再生系４００の構成）
次に、本実施形態に係る記録再生装置の再生系４００について説明する。図４は図１に示した記録系１００で符号化された画像データの伸張、再生を行う再生系４００の構成例を示すブロック図である。
【００２５】
図４において、１１０は図１に示した記録装置、４０１は符号読み出し部、４０２はエントロピ復号化部、４０３は逆量子化部、４０４は復号用バッファメモリ部、４０５は逆離散ウェーブレット変換部であり、４０２〜４０５が圧縮された画像データを伸長する画像伸長部４１０を構成する。４０６は表示用バッファメモリ部、４０７はＬＣＤ、ＣＲＴ等の画像出力部、４０８は再生系４００を総合的に制御する再生制御部である。再生制御部４０８には各種再生動作をユーザが指定するための操作スイッチ４０９が接続されている。
【００２６】
■（通常再生時の動作）
まず、通常再生（等速再生）時の動作について説明する。上述した記録系１００によって圧縮符号化され、記録装置１１０に記録された画像データは、符号読み出し部４０１によって読み出される。符号読み出し部４０１はデータストリームに含まれるヘッダを解析し、後続の復号化処理に必要なパラメータを抽出する。
【００２７】
その後、エントロピ復号化部４０２はエントロピ符号化部１０８と逆の復号化処理を行い、量子化された係数値を復号する。復号された係数値は後続の逆量子化部４０３に出力される。逆量子化部４０３は、入力された係数値を量子化部１０７と同じ量子化特性を用いて逆量子化し、結果として得られる離散ウェーブレット変換係数を復号用バッファメモリ部４０４に格納する。
【００２８】
次に、逆離散ウェーブレット変換部４０５の詳細構成例を示す図５を参照して、逆離散ウェーブレット変換部４０５において、復号用メモリ４０４に格納された変換係数を逆離散ウェーブレット変換する手順について説明する。
【００２９】
逆離散ウェーブレット変換部４０５は、図２で説明した離散ウェーブレット変換部１０６と対称的な構成を有し、１：２のアップサンプラとフィルタＧ０及びＧ１とから構成され、逆変換処理を行う。すなわち、アップサンプラはダウンサンプラの、フィルタＧ０はフィルタＨ０の、フィルタＧ１はフィルタＨ１のそれぞれ逆の処理を行う。
【００３０】
逆離散ウェーブレット変換部４０５はまず、復号用バッファメモリ部４０４に格納されたＬＬ２およびＬＨ２のサブバンド変換係数を垂直方向に読み出して１：２にアップサンプリングした後、ＬＬ２に対してはＧ０、ＬＨ２に対してはＧ１によるフィルタ処理を施して加算する。また同様の処理をＨＬ２，ＨＨ２に対しても行う。次に、以上の処理結果を水平方向に読み出し、先程ＬＬ２およびＬＨ２から得られた結果に対してはアップサンプリング後Ｇ０を、ＨＬ２およびＨＨ２から得られた結果に対してはアップサンプリング後Ｇ１を施して加算する。以上の処理により、１レベルの合成が終了する。
【００３１】
以上の処理を全てのレベルで行うことによりベースバンドの画像データを復号する事ができる。逆離散ウェーブレット変換部４０５で複合されたベースバンド画像データは表示用バッファメモリ部４０６に入力される。画像出力部４０７は表示用バッファメモリ部４０６からのデータを可視画像としてＬＣＤやＣＲＴモニタ等の表示装置に出力する。
【００３２】
このように、再生制御部４０８は通常再生時には、図６（ａ）に示すような各フレームの全てのサブバンド変換係数を復号し、図６（ｂ）に示すように時間順に復号し表示させる制御を行う。図６においてｎ、ｎ＋１、・・・とは連続したフレーム画像の順序を示すものであり、この例では第ｎフレームの画像から１／３０秒の間隔をおいて第（ｎ＋１）フレームの画像が表示される。
【００３３】
■（高速再生時の動作）
次に、図４の再生系４００を用いて高速再生（サーチ）を行う際の動作について説明する。
例えば、操作スイッチ４０９から高速再生（ここでは２倍速再生とする）の指示があると、再生制御部４０８は符号読み出し部４０１に対し、２倍速再生を行うことを通知する。符号読み出し部４０１は、通知された再生速度と予め定められた高速再生時のフレーム読み出し方法との対応に従い、記録装置１１０から各フレームについてのサブバンド変換係数を読み出す。
【００３４】
すなわち、通常再生時には、各フレームについて全サブバンドの変換係数を読み出し、復調再生したが、高速再生時には、全サブバンドについてサブバンド変換係数を読み出すフレームと、一部のサブバンドのサブバンド変換係数のみを読み出すフレームが存在する。本実施形態においては、ｍ倍速の再生（ｍは２以上の整数）が指示されると、ｍフレーム毎に１フレームのみ全サブバンドのサブバンド変換係数を読み出し、残りの（ｍ−１）フレームについては最下位レベルのＬＬサブバンド（本実施形態では２レベルの離散ウェーブレット変換を行っているため、ＬＬ２サブバンド）のサブバンド変換係数のみを読み出す。
【００３５】
今は２倍速再生であるから、図７（ａ）に示すように、ＬＬ２サブバンド変換係数のみを読み出すフレーム（ｎ，ｎ＋２，ｎ＋４）と、全サブバンド変換係数を読み出すフレーム（ｎ＋１，ｎ＋３，ｎ＋５）とが交互に存在する。ＬＬ２サブバンド変換係数のみを読み出すのに必要な時間は全サブバンドの変換係数を読み出す場合に比べて十分短いため、特許文献２に記載されるような、ｍ倍速再生では通常再生時のｍ倍の速さで読み込むと言ったような高速読み出しは不要であり、符号読み出し部４０１は高速再生時であっても、通常再生時より少し早い速度で読み出しを行えばよい。
【００３６】
ＬＬ２サブバンド変換係数のみを読み出すには、記録されている画像データのヘッダを解析して図７（ａ）のＬＬ２サブバンド以外のサブバンド（斜線部）のサブバンド変換係数データについては記録装置１１０から読み出さない処理を行う。
【００３７】
読み出された各サブバンド変換係数のデータはエントロピ復号化部４０２により量子化された係数値を復号する。復号された係数値は後続の逆量子化部４０３に出力される。逆量子化部４０３は、入力された係数値を逆量子化し、得られる離散ウェーブレット変換係数を復号用バッファメモリ部４０４に格納する。
【００３８】
その後、再生制御部４０８は復号用バッファメモリ部４０４内で、連続するｍフレームを合成し、１つの合成フレームを生成する。すなわち、ＬＬ２サブバンドの変換係数のみを読み出した（ｍ−１）フレームと、全サブバンドの変換係数を読み出した１フレームを合成し、１つの合成フレームを生成する。
【００３９】
本実施形態において合成フレームは、全サブバンドの変換係数を読み出したフレームのＬＬ２サブバンド変換係数と、残りの（ｍ−１）フレームのＬＬ２サブバンド変換係数を加重平均することによって生成される。
【００４０】
すなわち、図７（ｂ）に示すように、第（ｎ＋１）フレームのＬＬ２成分ＬＬ２（ｎ＋１）と第ｎフレームのＬＬ２成分ＬＬ２（ｎ）に、それぞれ所定の重み係数α、βを乗算して加算させ、合成後のＬＬサブバンド変換係数であるＬＬ（ｎ＋１）’を演算する。すなわち、
ＬＬ（ｎ＋１）’＝α×ＬＬ（ｎ＋１）＋β×ＬＬ（ｎ）
という加重平均演算を行う。
【００４１】
本実施形態において、係数α、βはα＋β＝１．０なる関係を満たすものとする。従って、例えば単純な平均値を取ることで合成を行う場合にはα＝０．５、β＝０．５となり、第（ｎ＋１）フレームのＬＬ成分を強調させたい場合には例えばα＝０．７、β＝０．３のようにα＞βとなるように係数値を定めて加重平均演算を行う。このようにＬＬサブバンド変換係数が加重平均された１フレーム分の各サブバンド変換係数値は逆離散ウェーブレット変換部４０５によりベースバンドの画像データに変換される。その後、画像データは表示用バッファメモリ部４０６に入力され画像出力部４０７に可視画像として図７（ｃ）のごとく出力される。
【００４２】
このように、再生系４００は、再生制御部４０８の制御に従って、２倍速再生においては図７（ａ）に示すように、特定のサブバンドの変換係数（本実施形態ではＬＬサブバンド）のみを読み出すフレームと、全サブバンドの変換係数を読み出すフレームとを交互に設け、図７（ｂ）に示すように連続する２フレームのサブバンド変換係数をサブバンド単位で加重平均して１つの合成フレームを生成する。そして、この合成フレームをベースバンドの画像信号に復号し表示させる。連続する２フレームに対するこれらサブバンド係数の読み出し、合成及び復号処理を１フレーム区間（１／３０）で行うことにより、図７（ｃ）に示すように２倍速再生が実現できる。
【００４３】
図７（ｃ）に示すように、本実施形態における高速再生で表示される画像は、単純なフレーム間引き方法では完全に情報が欠落してしまう第ｎフレームや第（ｎ＋２）フレームの画像成分がそれぞれ第（ｎ＋１）フレーム、第（ｎ＋３）フレームの再生画像に残像のように表示されるので、２倍速再生を表示させた場合にも自然な表示効果を得る事ができる。
【００４４】
また上述したように、本実施形態では記録装置に記録されているサブバンド変換係数を読み出す場合に、ｍ倍速再生時には記録された連続画像のうちｍフレームに１枚は全てのサブバンドのサブバンド変換係数を読み出し、その他の間引かれた（ｍ−１）フレームについては一部のサブバンド変換係数（本実施形態ではＬＬ２サブバンド変換係数）のみを読み出せば良いので、ｍ倍の速さでｍフレームの全てについて全変換係数を読み出す必要がなく、使用するメモリ容量や消費電力を低減させる効果も有する。
【００４５】
このような高速再生方法は、２倍速再生に限らず、ｍ倍速（ｍは２以上の整数）再生に適用可能であることは明らかである。
例えば、３倍速再生を行う場合には、図８に示すように処理を行えばよい。図７に示した２倍速再生時の処理と比較するとわかるように、３倍速再生時には、連続する３フレーム中２フレームがＬＬ２サブバンド変換係数のみを読み出すフレームになり、３フレーム分のＬＬ２サブバンド変換係数が加重平均される点を除いて共通の処理が行われる。
【００４６】
復号用バッファメモリ部４０４内での加重平均動作は、図８（ｂ）に示すように第（ｎ＋２）フレームのＬＬ２成分ＬＬ２（ｎ＋２）と第（ｎ＋１）フレームのＬＬ２成分ＬＬ２（ｎ＋１）と第ｎフレームのＬＬ２成分ＬＬ２（ｎ）とをそれぞれ所定の係数α、係数β、係数γを乗算して加算する処理となる。すなわち、合成後のＬＬ２サブバンド係数ＬＬ２（ｎ＋２）’は、
ＬＬ２（ｎ＋２）’＝α×ＬＬ２（ｎ＋２）＋β×ＬＬ２（ｎ＋１）＋γ×ＬＬ２（ｎ）
で求められる。
【００４７】
この場合、α＋β＋γ＝１．０なる関係にある。例えば単純な平均値を演算する場合はα＝０．３３、β＝０．３３、γ＝０．３３となり、第（ｎ＋２）フレームのＬＬ成分を強調させたい場合には例えばα＝０．５、β＝０．３、γ＝０．２として加重平均の演算を行わせる。このように加重平均された各サブバンド変換係数値は逆離散ウェーブレット変換部４０５によりベースバンドの画像データに変換される。その後、画像データは表示用バッファメモリ部４０６に入力され画像出力部４０７に可視画像として図８（ｃ）のごとく出力される。
【００４８】
連続する３フレームに対するこれらサブバンド係数の読み出し、合成及び復号処理を１フレーム区間（１／３０）で行うことにより、３倍速再生が実現できる。
【００４９】
図８（ｃ）に示す表示画像においても従来の単純なフレーム間引き方法では完全に情報が欠落してしまっていた第ｎフレームや第（ｎ＋１）フレームの画像成分が第（ｎ＋２）フレームの復号画像に残像のように表示され、３倍速再生を表示させた場合にも自然な感じで再生表示をさせる事が可能となる。
【００５０】
以降ｍ倍速再生の場合も同様にして、加重平均の係数をｍ個用いてｍフレーム分のＬＬ成分の加重平均演算を行い、得られたサブバンド係数を逆離散ウェーブレット変換部４０５によりベースバンドの画像データに変換する事によって残像効果が得られ、フレーム間の動きが大きくても視覚的な違和感の少ないｍ倍速再生を行う事ができる。
【００５１】
■（第１の実施形態の変形例）
上述の例では、一部のサブバンド変換係数のみを読み出すフレーム（間引きフレーム）に対しては、ＬＬ２サブバンド変換係数のみを読み出し、ＬＬ２サブバンド変換係数を加重平均した合成フレームを生成していた。
しかし、間引きフレームについて読み出すサブバンド変換係数の種類及び数は、それが全てのサブバンド係数とならない範囲で任意に設定することが可能である。
【００５２】
すなわち、図９（ａ）、（ｂ）に示すように、ＬＬ２サブバンド変換係数の他に、ＨＬ２，ＬＨ２、ＨＨ２のサブバンド変換係数についても読み出しを行い、これらのサブバンド変換係数を加重平均して合成フレームを生成、再生するようにしてもよい。
この場合、加重平均演算はサブバンド単位で行う。また、図９は２倍速再生時について示しているが、３倍速以上の高速再生においても同様に処理すればよい。
【００５３】
以上説明したように、本実施形態によれば、複数の周波数帯域成分毎に圧縮符号化された画像を高速再生する際に、再生する１フレーム分の画像を表すサブバンド変換係数の一部を、複数の連続するフレームのサブバンド変換係数から生成することにより、簡便な処理で、かつフレーム間の動きによらず、視覚的に違和感の少ないなめらかな高速再生が可能になる。
【００５４】
■（第２の実施形態）
第１の実施形態においては、合成対象となる各フレームで共通したサブバンド変換係数を加重平均して合成フレームを生成していた。これに対し本実施形態は、合成対象となる各フレームから互いに異なるサブバンド変換係数を読み出し、１つの合成フレームを生成することを特徴とする。
【００５５】
なお、本実施形態で説明する高速再生方法も、第１の実施形態で説明した記録再生装置で実施することが可能であるため、記録再生装置の構成に関する説明は省略する。また、当倍速の再生時の処理についても第１の実施形態と共通であるため、以下高速再生時の動作についてのみ説明する。
【００５６】
第１の実施形態と同様、まず２倍速再生について説明する。例えば、図４における操作スイッチ４０９から２倍速再生の指示があると、再生制御部４０８は符号読み出し部に対し、２倍速再生を行うことを通知する。符号読み出し部４０１は、通知された再生速度と予め定められた高速再生時のフレーム読み出し方法との対応に従い、記録装置１１０から各フレームについてのサブバンド変換係数を読み出す。
【００５７】
すなわち、通常再生時には、各フレームについて全サブバンドの変換係数を読み出し、復調再生したが、高速再生時には、合成対象となるフレームで互いに異なるサブバンドについてサブバンド変換係数を読み出す。本実施形態においては、ｍ倍速の再生（ｍは２以上の整数）が指示されると、連続するｍフレームから互いに異なるサブバンドのサブバンド変換係数であって、かつこれらｍフレームから読み出したサブバンド変換係数によって全種類のサブバンドについてのサブバンド変換係数が得られるように読み出しを行う。
【００５８】
従って、２倍速再生時には、例えば図１０（ａ）、（ｂ）に示すように、連続する２フレームの符号化画像データの一方のフレームからは第２レベル（ＬＬ２、ＨＬ２、ＨＨ２、ＬＨ２）のサブバンド変換係数を、他方のフレームからは第１レベル（ＨＬ１、ＨＨ１、ＬＨ１）のサブバンド変換係数を読み出すことにより、連続する２フレーム分の画像データから、１つのフレームを合成するために必要な全サブバンドのサブバンド変換係数を得る。
【００５９】
すなわち、第ｎフレームと第（ｎ＋１）フレームについて言えば、第ｎフレームの画像データについてはＨＬ１（ｎ）、ＨＨ１（ｎ）、ＬＨ１（ｎ）のサブバンド変換係数データを読み出し、続く第（ｎ＋１）フレームの画像データについてはＬＬ２（ｎ＋１）、ＨＬ２（ｎ＋１）、ＨＨ２（ｎ＋１）、ＬＨ２（ｎ＋１）のサブバンド変換係数データを読み出す。
【００６０】
このように、ある連続した２フレームの画像データから、図１０（ｂ）に示すように１画面分の全てのサブバンド変換係数が組み合わされるよう、互いに異なるサブバンド変換係数のデータを読み出す。
【００６１】
読み出された各サブバンド変換係数のデータはエントロピ復号化部４０２により量子化された係数値を復号する。復号された係数値は後続の逆量子化部４０３に出力される。逆量子化部４０３は、入力された係数値を逆量子化し、得られる離散ウェーブレット変換係数を復号用バッファメモリ部４０４に格納する。
【００６２】
その後、図１０（ｂ）に示すように組み合わされた１画面分のサブバンド変換係数値は逆離散ウェーブレット変換部４０５によりベースバンドの画像データに変換される。そして、ベースバンド画像データは表示用バッファメモリ部４０６に入力され、画像出力部４０７に可視画像として図１０（ｃ）に示すように出力される。
【００６３】
このように、再生系４００は、再生制御部４０８の制御に従い、２倍速再生においては図１０（ａ）に示す各フレームの連続する２フレームから、図１０（ｂ）に示すように全サブバンドのサブバンド変換係数が得られ、かつ各フレームからは異なるサブバンドのサブバンド変換係数を読み出す。そして、図１０（ｂ）に示す合成フレームを作成し、ベースバンドの画像信号に復号し表示させる。連続する２フレームに対するこれらサブバンド係数の読み出し、合成及び復号処理を１フレーム区間（１／３０）で行うことにより、図１０（ｃ）に示すように２倍速再生が実現できる。
【００６４】
図１０（ｃ）に示すように、本実施形態における高速再生で表示される画像は、単純なフレーム間引き方法では完全に情報が欠落してしまう第ｎフレームや第（ｎ＋２）フレームの画像成分がそれぞれ第（ｎ＋１）フレーム、第（ｎ＋３）フレームの再生画像に残像のように表示されるので、２倍速再生を表示させた場合にも自然な表示効果を得る事ができる。
【００６５】
また本実施形態ではｍ倍速再生時、記録装置に記録されているサブバンド変換係数を読み出す際に、データのヘッダを解析し、連続したｍフレームの画像データの中からフレーム毎に互いに異なるサブバンド変換係数であって、かつｍフレームから読み出した互いに異なるサブバンド変換係数を組み合わせて１フレーム分の全サブバンドのサブバンド変換係数が構成されるように読み出す。従って、各フレームに対しては一部のサブバンド変換係数のみを読み出せばよいため、従来技術で示されるようにｍ倍の速さでｍフレームの全てについて全変換係数を読み出す必要がなく、第１の実施形態と同様、使用するメモリ容量や消費電力を低減させる効果も有する。
【００６６】
本実施形態の方法も第１の実施形態と同様、２倍速再生に限らず、ｍ倍速（ｍは２以上の整数）再生に適用可能であることは明らかである。
例えば、３倍速再生を行う場合には、図１１に示すように処理を行えばよい。図１０に示した２倍速再生時の処理と比較するとわかるように、３倍速再生時には、連続する３フレームの画像データの中からフレーム毎に互いに異なるサブバンド変換係数であって、かつ３フレームの各々から読み出したサブバンド変換係数を組み合わせて１フレーム分の全サブバンドのサブバンド変換係数が構成されるように読み出す点を除いて共通の処理が行われる。
【００６７】
この例では、図１１（ａ）に示すように、第１レベル（ＨＬ１、ＨＨ１、ＬＨ１）のサブバンド変換係数のサブバンド変換係数を読み出すフレームと、ＬＬ２を除く第２レベル（ＨＬ２、ＨＨ２、ＬＨ２）のサブバンド変換係数を読み出すフレームと、ＬＬ２サブバンド変換係数のみを読み出すフレームとを順次繰り返している。これにより、連続する３フレームから読み出したサブバンド変換係数から、一組の全サブバンドのサブバンド変換係数を得ることができる。
【００６８】
各フレームから読み出されたサブバンド変換係数のデータ（図１１（ａ））はエントロピ復号化部４０２により量子化された係数値に復号され、後続の逆量子化部４０３に出力される。逆量子化部４０３は、入力された係数値を逆量子化し、得られる離散ウェーブレット変換係数を復号用バッファメモリ部４０４に格納する。その後、図１１（ｂ）に示すように組み合わされた１画面分のサブバンド変換係数値は逆離散ウェーブレット変換部４０５によりベースバンドの画像データに変換される。その後、画像データは表示用バッファメモリ部４０６に入力され画像出力部４０７に可視画像として図１１（ｃ）のごとく出力される。
【００６９】
このように、再生系４００は、再生制御部４０８の制御に従い、３倍速再生においては図１１（ａ）に示す各フレームの連続する３フレームから、図１１（ｂ）に示すように全サブバンドのサブバンド変換係数が得られ、かつ各フレームからは異なるサブバンドのサブバンド変換係数を読み出す。そして、図１１（ｂ）に示す合成フレームを作成し、ベースバンドの画像信号に復号し表示させる。連続する３フレームに対するこれらサブバンド係数の読み出し、合成及び復号処理を１フレーム区間（１／３０）で行うことにより、図１１（ｃ）に示すように３倍速再生が実現できる。
【００７０】
図１１（ｃ）に示すように、本実施形態における高速再生で表示される画像は、単純なフレーム間引き方法では完全に情報が欠落してしまう第ｎフレームや第（ｎ＋１）フレームの画像成分が第（ｎ＋２）フレームの再生画像に残像のように表示されるので、３倍速再生を表示させた場合にも自然な表示効果を得る事ができる。
【００７１】
以降ｍ倍速再生の場合も同様にして、ｍフレームの画像データからフレーム毎に異なるサブバンド変換係数のデータを読み出す制御を行う。そして、得られたサブバンド係数を逆離散ウェーブレット変換部４０５によりベースバンドの画像データに変換する事によって高周波成分の残像効果が得られ、フレーム間の動きが大きくても視覚的な違和感の少ないｍ倍速再生を行う事ができる。
【００７２】
以上説明したように、本実施形態によれば、複数の周波数帯域成分毎に圧縮符号化された画像を高速再生する際に、再生する１フレーム分の画像を表すサブバンド変換係数を、複数の連続するフレームのサブバンド変換係数から重複無く生成することにより、簡便な処理で、かつフレーム間の動きによらず、視覚的に違和感の少ないなめらかな高速再生が可能になる。
【００７３】
【他の実施形態】
上述の第１及び第２の実施形態を組み合わせることも可能である。この場合、例えば第２の実施形態において、ｍ倍速再生時に連続するｍフレームのデータから読み出すサブバンド変換係数の一部が重複するように読み出し制御を行い、復号用メモリバッファ部４０４内での合成／組立処理において、重複したサブバンド変換係数に対して第１の実施形態で行った加重平均処理を行うことで、１つの合成フレームを生成すればよい。
【００７４】
また本実施形態では画像を複数の周波数帯域に分割して画像を圧縮する処理として離散ウェーブレット変換を用いたＪＰＥＧ２０００方式を例に説明したが、画像信号を複数の周波数帯域に分割して圧縮を行う圧縮方法であれば本発明を適用することが可能であり、圧縮方式自体に特に制限は無い。
【００７５】
さらに、上述の実施形態においては、説明及び本発明の理解を容易にするため、２レベルの２次元離散ウェーブレット変換を用いて圧縮符号化された画像データを例にして説明したが、３レベル以上の変換がなされていても構わない。
【００７６】
上述の実施形態においては、１つの機器から構成される画像再生装置についてのみ説明したが、同等の機能を複数の機器から構成されるシステムによって実現しても良い。
【００７７】
尚、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのシステム或いは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【００７８】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【００７９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【００８０】
プログラムを供給するための記録媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記憶媒体、不揮発性の半導体メモリなどがある。
【００８１】
有線／無線通信を用いたプログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイル等、クライアントコンピュータ上で本発明を形成するコンピュータプログラムとなりうるデータファイル（プログラムデータファイル）を記憶し、接続のあったクライアントコンピュータにプログラムデータファイルをダウンロードする方法などが挙げられる。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能である。
【００８２】
つまり、本発明の機能処理をコンピュータで実現するためのプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【００８３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給し、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８５】
さらに、記録媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００８６】
【発明の効果】
以上説明したように本発明によれば、複数の周波数帯域に分割されて記録された画像を高速に再生する際に、少なくとも１部のフレームについては、一部のサブバンド変換係数のみを読み出すようにすることで、情報の欠落するフレームなく高速再生を行うことが可能となり、フレーム間で動きのある画像を高速再生する場合あっても視覚的に違和感の少ないなめらかな再生出力が可能となる。
【図面の簡単な説明】
【図１】本発明の実施形態に係る記録再生装置の記録系構成例を示すブロック図である。
【図２】図１における離散ウェーブレット変換部１０６の構成例を示す図である。
【図３】図１における量子化部１０７の入出力特性例を示す図である。
【図４】本発明の実施形態に係る記録再生装置の再生系構成例を示すブロック図である。
【図５】図４における逆離散ウェーブレット変換部４０５の構成例を示す図である。
【図６】本発明の実施形態における通常再生時の各フレームのサブバンド変換係数と復号・再生される画像との関係を説明する図である。
【図７】第１の実施形態において、２倍速再生時に各フレームから読み出されるサブバンド変換係数と、復号・再生される画像との関係を説明する図である。
【図８】第１の実施形態において、３倍速再生時に各フレームから読み出されるサブバンド変換係数と、復号・再生される画像との関係を説明する図である。
【図９】第１の実施形態の変形例において、２倍速再生時に各フレームから読み出されるサブバンド変換係数と、復号・再生される画像との関係を説明する図である。
【図１０】第２の実施形態において、２倍速再生時に各フレームから読み出されるサブバンド変換係数と、復号・再生される画像との関係を説明する図である。
【図１１】第２の実施形態において、３倍速再生時に各フレームから読み出されるサブバンド変換係数と、復号・再生される画像との関係を説明する図である。
【図１２】フレーム間で動きのある画像の例を示す図である。
【図１３】従来の方法によって図１２の画像を高速再生した状態を模式的に示す図である。
【符号の説明】
１０１：レンズ部
１０２：撮像換
１０３：メモリ部
１０４：画像データ作成部
１０５：カメラ制御部
１０６：離散ウェーブレット変換部
１０７：量子化部
１０８：エントロピ符号化部
１０９：画像符号化データ出力部
１１０：記録装置
４０１：符号読み出し部
４０２：エントロピ複合化部
４０３：逆量子化部
４０４：復号用バッファメモリ部
４０５：逆離散ウェーブレット変換部
４０６：表示用バッファメモリ部
４０７：画像出力部
４０８：再生制御部
４０９：操作スイッチ
【図１】
2004242250.tif 000003
【図２】
2004242250.tif 000004
【図３】
2004242250.tif 000005
【図４】
2004242250.tif 000006
【図５】
2004242250.tif 000007
【図６】
2004242250.tif 000008
【図７】
2004242250.tif 000009
【図８】
2004242250.tif 000010
【図９】
2004242250.tif 000011
【図１０】
2004242250.tif 000012
【図１１】
2004242250.tif 000013
【図１２】
2004242250.tif 000014
【図１３】
2004242250.tif 000015