(57)【要約】【課題】  記憶装置からのデータ読み出し速度に応じた動画フレームデータの読み出しを可能とする。【解決手段】  動画像データを格納する記憶装置と、前記記憶装置から前記動画像データを読み出すデータ読出手段と、前記記憶装置からの前記動画像データの読出速度を検出する速度検出手段と、前記動画像データの再生時のデータレートを検出するデータレート検出手段と、前記動画像データの再生速度の指定を受け付ける再生速度指定受付手段と、前記読出速度と、前記データレートと、指定された前記再生速度に基づいて、前記データ読出手段による前記動画像データの読み出しを制御する制御手段とを備える。【選択図】図１
2006109419.tif 000002
【特許請求の範囲】
【請求項１】
動画像データが格納された記憶装置から前記動画像データを読み出すデータ読出手段と、
前記記憶装置からの前記動画像データの読出速度を検出する速度検出手段と、
前記動画像データの再生時のデータレートを検出するデータレート検出手段と、
前記動画像データの再生速度の指定を受け付ける再生速度指定受付手段と、
前記読出速度と、前記データレートと、指定された前記再生速度に基づいて、前記データ読出手段による前記動画像データの読み出しを制御する制御手段と
を備えることを特徴とするデータ再生装置。
【請求項２】
前記制御手段は、前記読出速度と、前記データレートと、前記再生速度とに基づいて、前記動画像データを構成するフレームの読み出し間隔を決定する読出間隔決定手段を備え、
前記制御手段は、前記読み出し間隔に基づいて前記記装置体よりの前記動画像データの読み出しを制御することを特徴とする請求項１に記載のデータ再生装置。
【請求項３】
前記読出間隔決定手段は、
前記データレートと前記再生速度とにより決定される単位時間内に読み出されるべきデータ量が、前記読出速度より決定される単位時間内で前記記憶装置から読み出し可能なデータ量よりも小さい場合に、前記読み出し間隔を前記動画像データを構成する全フレームについて設定することを特徴とする請求項２に記載のデータ再生装置。
【請求項４】
前記読出間隔決定手段は、
前記再生速度において単位時間内に読み出されるべき前記動画像データに含まれる所定のフレームの枚数が、前記読出速度において前記所定のフレームを単位時間内に読み出せる枚数よりも少ない場合に、前記読み出し間隔を前記動画像データを構成するフレームのうち前記所定のフレームについて設定することを特徴とする請求項２に記載のデータ再生装置。
【請求項５】
前記読出間隔決定手段は、
前記再生速度において単位時間内に読み出されるべき前記動画像データに含まれる所定のフレームの枚数が、前記読出速度において前記所定のフレームを単位時間内に読み出せる枚数よりも多い場合に、前記読み出し間隔を、前記再生速度において単位時間内に読み出されるべき前記所定のフレームのうち所定数のフレームについて設定することを特徴とする請求項２又は４に記載のデータ再生装置。
【請求項６】
前記所定のフレームは、前記動画像データに含まれるフレームのうち、フレーム単体での復号が可能なフレームであることを特徴とする請求項４又は５に記載のデータ再生装置。
【請求項７】
前記記憶装置は、前記データ読出手段に対して着脱可能な記憶媒体であることを特徴とする請求項１乃至６のいずれか１項に記載のデータ再生装置。
【請求項８】
前記速度検出手段は、前記記憶装置に書き込んだ所定容量のデータを前記記憶装置から読み出すのに要した時間を計測することにより、前記読出速度を検出することを特徴とする請求項１乃至７のいずれか１項に記載のデータ再生装置。
【請求項９】
前記速度検出手段は、前記記憶装置に格納された前記読出速度を識別するための情報を利用して前記読出速度を検出することを特徴とする請求項１乃至７のいずれか１項に記載のデータ再生装置。
【請求項１０】
前記速度検出手段は、前記再生速度指定受付手段において、通常の再生速度よりも高い再生速度の指定を受け付けた場合に、前記読出速度の検出を行うことを特徴とする請求項１乃至９のいずれか１項に記載のデータ再生装置。
【請求項１１】
前記データレート検出手段は、前記動画像データに添付された該動画像データに関する情報に基づいて、前記データレートを算出し、
前記制御手段は、前記データレートと所定の閾値とを比較して、前記動画像データを構成するフレームの読み出し間隔を決定する読出間隔決定手段を備え、前記読み出し間隔に基づいて前記記憶媒体よりの前記動画像データの読み出しを制御することを特徴とする請求項１に記載のデータ再生装置。
【請求項１２】
前記読出間隔決定手段は、前記データレートが前記所定の閾値よりも小さい場合に、前記読み出し間隔を前記動画像データを構成するフレームのうち前記所定のフレームについて設定することを特徴とする請求項１１に記載のデータ再生装置。
【請求項１３】
前記読出間隔決定手段は、前記データレートが前記所定の閾値よりも大きい場合に、前記読み出し間隔を前記再生速度において単位時間内に読み出されるべき前記所定のフレームのうち所定数のフレームについて設定することを特徴とする請求項１１又は１２に記載のデータ再生装置。
【請求項１４】
動画像データを格納する記憶装置を備えるデータ再生装置の制御方法であって、
前記記憶装置から前記動画像データを読み出すデータ読出工程と、
前記記憶装置からの前記動画像データの読出速度を検出する速度検出工程と、
前記動画像データの再生時のデータレートを検出するデータレート検出工程と、
前記動画像データの再生速度の指定を受け付ける再生速度指定受付工程と、
前記読出速度と、前記データレートと、指定された前記再生速度に基づいて、前記データ読出工程における前記動画像データの読み出しを制御する制御工程と
を備えることを特徴とするデータ再生装置の制御方法。
【請求項１５】
前記制御工程は、前記読出速度と、前記データレートと、前記再生速度とに基づいて、前記動画像データを構成するフレームの読み出し間隔を決定する読出間隔決定工程を備え、
前記制御工程では、前記読み出し間隔に基づいて前記記憶装置よりの前記動画像データの読み出しを制御することを特徴とする請求項１４に記載のデータ再生装置の制御方法。
【請求項１６】
前記読出間隔決定工程では、
前記データレートと前記再生速度とにより決定される単位時間内に読み出されるべきデータ量が、前記読出速度より決定される単位時間内で前記記憶装置から読み出し可能なデータ量よりも小さい場合に、前記読み出し間隔が前記動画像データを構成する全フレームについて設定されることを特徴とする請求項１５に記載のデータ再生装置の制御方法。
【請求項１７】
前記読出間隔決定工程では、
前記再生速度において単位時間内に読み出されるべき前記動画像データに含まれる所定のフレームの枚数が、前記読出速度において前記所定のフレームを単位時間内に読み出せる枚数よりも少ない場合に、前記読み出し間隔が前記動画像データを構成するフレームのうち前記所定のフレームについて設定されることを特徴とする請求項１５に記載のデータ再生装置の制御方法。
【請求項１８】
前記読出間隔決定工程では、
前記再生速度において単位時間内に読み出されるべき前記動画像データに含まれる所定のフレームの枚数が、前記読出速度において前記所定のフレームを単位時間内に読み出せる枚数よりも多い場合に、前記読み出し間隔が、前記再生速度において単位時間内に読み出されるべき前記所定のフレームのうち所定数のフレームについて設定されることを特徴とする請求項１５又は１７に記載のデータ再生装置の制御方法。
【請求項１９】
前記所定のフレームは、前記動画像データに含まれるフレームのうち、フレーム単体での復号が可能なフレームであることを特徴とする請求項１７又は１８に記載のデータ再生装置の制御方法。
【請求項２０】
前記記憶装置は、着脱可能な記憶媒体であることを特徴とする請求項１４乃至１９のいずれか１項に記載のデータ再生装置の制御方法。
【請求項２１】
前記速度検出工程では、前記記憶装置に書き込んだ所定容量のデータを前記記憶装置から読み出すのに要した時間を計測することにより、前記読出速度が検出されることを特徴とする請求項１４乃至２０のいずれか１項に記載のデータ再生装置の制御方法。
【請求項２２】
前記速度検出工程では、前記記憶装置に格納された前記読出速度を識別するための情報を利用して前記読出速度が検出されることを特徴とする請求項１４乃至２０のいずれか１項に記載のデータ再生装置の制御方法。
【請求項２３】
前記速度検出工程では、前記再生速度指定受付工程において、通常の再生速度よりも高い再生速度の指定を受け付けた場合に、前記読出速度の検出が行われることを特徴とする請求項１４乃至２３のいずれか１項に記載のデータ再生装置の制御方法。
【請求項２４】
前記データレート検出工程では、前記動画像データに添付された該動画像データに関する情報に基づいて、前記データレートが算出され、
前記制御工程は、前記データレートと所定の閾値とを比較して、前記動画像データを構成するフレームの読み出し間隔を決定する読出間隔決定工程を備え、前記読み出し間隔に基づいて前記記憶媒体よりの前記動画像データの読み出しが制御されることを特徴とする請求項１４に記載のデータ再生装置の制御方法。
【請求項２５】
前記読出間隔決定工程では、前記データレートが前記所定の閾値よりも小さい場合に、前記読み出し間隔が前記動画像データを構成するフレームのうち前記所定のフレームについて設定されることを特徴とする請求項２４に記載のデータ再生装置の制御方法。
【請求項２６】
前記読出間隔決定工程では、前記データレートが前記所定の閾値よりも大きい場合に、前記読み出し間隔が前記再生速度において単位時間内に読み出されるべき前記所定のフレームのうち所定数のフレームについて設定されることを特徴とする請求項２４又は２５に記載のデータ再生装置の制御方法。
【請求項２７】
請求項１４乃至請求項２６のいずれかに記載のデータ再生装置の制御方法をコンピュータに実行させるためのコンピュータプログラム。
【請求項２８】
請求項２７に記載のコンピュータプログラムを格納した、コンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はデータ再生装置及びその制御方法、コンピュータプログラム、並びに記録媒体に関する。
【背景技術】
【０００２】
近年では、コンテンツデータ（動画像、静止画像及び音声データ等）を高圧縮な符号化技術を用いてデジタル化し、メモリカード等のメモリ媒体に記録するハードウェア（例えば、デジタルカメラ、デジタルカムコーダ等）が市場に出てきている。
【０００３】
これらハードウェアでは、映像・音声のデジタル符号化機能として、圧縮効率やエラー耐性の高さなどが優れ、限られたリソースで比較的長時間のデータ記録が可能な符号化形式が採用されていることが多い。
【０００４】
符号化形式の典型例としては、例えば、国際標準規格化団体ＩＳＯ（International Organization for Standardization）によって標準規格化されているＭＰＥＧ−１（非特許文献１及び非特許文献２を参照。）がある。また、ＭＰＥＧ−２（非特許文献３及び非特許文献４を参照。）、ＭＰＥＧ−４（非特許文献５及び非特許文献６を参照。）などもあげられる。
【０００５】
これらハードウェアでは、メモリカード等に記録した符号化データを読み出して再生処理を行なう際、特に動画像データの再生処理において、早送り再生などの特殊再生を行なうことができる。このとき、フレーム単体での復号が可能なイントラ圧縮フレーム（以後、Ｉフレームと記載する）のみを読み出して表示する場合がある。
【０００６】
一般にメモリカードの読み出し速度は製品により区々であるが、この様な特殊再生を行なう際、メモリカードのデータ読み出し速度がボトルネックとなり、再生に使用したいＩフレームの読み出しが間に合わないメモリカードが存在する場合がある。
【非特許文献１】ISO/IEC １１１７２-２  International Standard MPEG-１ Video (１９９３)
【非特許文献２】ISO/IEC １１１７２-３  International Standard MPEG-１ Audio (１９９３)
【非特許文献３】ISO/IEC １３８１８-２ International Standard MPEG-２ Video (Nov. １９９４)
【非特許文献４】ISO/IEC １３８１８-３ International Standard MPEG-２ Audio (Nov. １９９４)
【非特許文献５】ISO/IEC １４４９６-２  「Information technology -- Coding of audio-visual objects -- Part ２: Visual」; International Organization for Standardization、２００３年７月
【非特許文献６】ISO/IEC １４４９６-３  「Information technology -- Coding of audio-visual objects -- Part ３: Audio」; International Organization for Standardization、２００１年１２月
【発明の開示】
【発明が解決しようとする課題】
【０００７】
このような場合、使用される可能性があるメモリカードのうち、最も読み出し速度が遅い製品の速度に合わせて、一定間隔のＩフレームを間引いて再生せざるを得ないケースが一般的ある。そのような場合、読み出し速度が早いメモリカードを使用しても遅いメモリカードと再生品質が変わらないという問題がある。
【０００８】
また、複数の記憶装置を切り替えて使用する場合も同様に、読み出し速度が一番遅い記憶装置に合わせてフレームの読み出し頻度を設定する場合が一般的である。よって、読み出し速度が速い記憶装置に切り替えても、再生画像の品質が向上しないという問題がある。
【０００９】
本発明は上記の課題に鑑みてなされたものであり、記憶装置からのデータ読み出し速度に応じた動画フレームデータの読み出しを可能とすることを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するための本発明は、動画像データを格納する記憶装置と、前記記憶装置から前記動画像データを読み出すデータ読出手段と、前記記憶装置からの前記動画像データの読出速度を検出する速度検出手段と、前記動画像データの再生時のデータレートを検出するデータレート検出手段と、前記動画像データの再生速度の指定を受け付ける再生速度指定受付手段と、前記読出速度と、前記データレートと、指定された前記再生速度に基づいて、前記データ読出手段による前記動画像データの読み出しを制御する制御手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明によれば、記憶装置からのデータ読み出し速度に応じた動画フレームデータの読み出しが可能となる。
【発明を実施するための最良の形態】
【００１２】
以下、本発明の実施の形態について図面を用いて詳細に説明する。
【００１３】
尚、以下の実施形態では、動画像データの符号化方法として、MPEG-１、２、或いは４の符号化形式を中心に説明する。但し、MPEG符号化のようなフレーム間圧縮がある符号化方式に限らず、フレーム内圧縮のみで形成されるMotion-JPEGのような符号化方法を用いる場合に対しても、本発明を適用可能である。
【００１４】
即ち、記憶媒体の交換或いは着脱、乃至は切り替えが可能で、該記憶媒体に記憶されたデータを再生可能なデータ再生装置において、記憶媒体から符号化された動画像データ及び音声データを読み出す場合に、本発明を適用することができる。
【００１５】
［第１の実施形態］
図１は本発明に関わる動画像及び音声のデータ再生装置の信号処理及びデータ転送に関する基本構成例を示す図である。
【００１６】
図１のデータ再生装置１００において、１０１ａ又は１０１ｂは、符号化された動画像データ及び音声データを記録しておく記憶媒体である（以下、記憶媒体１０１ａ、１０１ｂを総称して記憶媒体１０１という。）。また、この記憶媒体１０１を挿抜自在に装着可能であるとともに、記録されているデータを読み出したり、データを記録したりするインターフェイス１０２ａ、１０２ｂが各々設けられている。
【００１７】
データ再生装置１００において、このインターフェイス１０２ａ又は１０２ｂはデータの記録先、読み出し先として任意に切り換えが可能である。また、図１では２組の記憶媒体インターフェイスが記載されているが、本発明を実施する場合には、記憶媒体インターフェイスの数は１以上であればいくつ存在しても良い。
【００１８】
１０３は、記憶媒体１０１からのデータ読み出し速度を検出する速度検出部である。１０４は、記憶媒体１０１に記録されている動画像データのデータレート（一般には、１秒毎のビット数或いはバイト数で示される）を測定するレート測定部である。１０９は、記憶媒体１０１に記録されている動画像データの単位時間内のフレーム数を示すフレームレート、或いはフレームの中でもキーとなる所定フレームの単位時間内のフレーム数を検出するフレームレート検出部である。ここで、上記所定フレームにつき本願ではキーフレームと称するが、一般的にはイントラ圧縮されたフレーム（フレーム単体での復号が可能なフレーム）で、Ｉフレームと呼ばれる。
【００１９】
１０５は、記憶媒体１０１から読み出した動画像のフレームデータ及び音声データを復号する際に、データを一旦格納するためのバッファメモリである。バッファメモリ１０５に一旦格納された動画像のフレームデータ及び音声データは、復号部１１１によって復号され、表示装置１０６にて表示される。
【００２０】
また、１０８は、速度検出部１０３、レート測定部１０４、フレームレート検出部１０９によって得られたデータに応じて記憶媒体１０１からの動画フレームデータの読み出し方法を制御するためのフレーム読み出し制御部である。これらはシステムコントローラ１０７によって動作を制御される。
【００２１】
また、システムコントローラ１０７は、動画再生処理を行なう上で、図１で示されたシステムの統括的な制御を行ない、メインメモリ１１０はその制御を行なう上で必要に応じて記憶領域を提供する。１１２は、ユーザインターフェイスとしての入力部である。この入力部１１２によれば、データの再生指示、再生速度指示、指示された再生速度による早送りや巻き戻しなどの特殊再生の指示を含む、データ再生装置１００のユーザからの指示を受け付けることができる。
【００２２】
次に、本実施形態のデータ再生装置１００が実行する、早送りや巻き戻しなどの特殊再生を含む再生処理における処理について、図２を参照して説明する。図２は、本実施形態に対応する、データ再生装置１００の早送りや巻き戻し等の特殊再生を含む再生処理の一例を示すフローチャートである。
【００２３】
まず、ステップＳ２０１で、記憶媒体１０１がデータ再生装置１００のインターフェイス１０２に装着されると、ステップＳ２０２において、初期化処理が実行される。本実施形態における初期化処理とは、インターフェイス１０２に装着された記憶媒体１０１のデータ読み出し速度を検出し、その読み出し速度に応じてランク分けを行ない、識別ランクの情報を所定の場所に記録する一連の処理をいう。
【００２４】
次に、ステップＳ２０３において、入力部１１２を介してユーザからの再生指示を受け付けるなどして動画再生処理を開始すべきと判定されると、ステップＳ２０４に移行する。ステップＳ２０４では、レート測定部１０４は動画データの再生時のデータレートを測定して、データレートをメインメモリ１１０上に保存する。また、フレームレート検出部１０９は動画データのフレームレートを検出し、検出したフレームレートを同様にメインメモリ１１０へ格納する。このとき、データレート及びフレームレートは、ステップＳ２０２における記憶媒体初期化処理において既にメインメモリ１１０上に書き込まれているデータ読み出し速度のランクと共に、メインメモリ１１０上に保存される。
【００２５】
なお、本実施形態では、記憶媒体１０１のデータ読み出し速度のランクと、動画データの再生時のデータレートと、動画データのフレームレート、の３つを合わせて、以後特殊再生用パラメータと記載することとする。
【００２６】
ステップＳ２０４にて特殊再生用パラメータをメインメモリ１１０上に保持すると、ステップＳ２０５にて動画再生処理を開始する。ステップＳ２０６では、システムコントローラ１０７が開始した動画の再生が終了したか否かを判定し、終了した場合には、本フローにおける処理を終了する。
【００２７】
一方、動画像再生が終了していない場合にはステップＳ２０７へ移行して、システムコントローラ１０７は、入力部１１２を介して動画再生処理中に早送りや巻き戻しなどの特殊再生の指示を受け付けたか否かを判定する。ここで、特殊再生の指示を受け付けていないと判定された場合には、ステップＳ２０５へ移行して動画像再生の処理を継続する。
【００２８】
一方、特殊再生の指示を受け付けた場合、併せて特殊再生における再生速度の指定（例えば、２倍、４倍、８倍など）を受け付け、ステップＳ２０８へ移行する。ステップＳ２０８では、フレーム読み出し制御部１０８が、メインメモリ１１０上に保持されている特殊再生用パラメータと、受け付けた再生速度とを利用して、フレーム読み出し間隔の設定・制御のための処理を行なう。ステップＳ２０８におけるフレーム読み出し間隔の設定、又は制御の方法については、図５を参照して後述する。
【００２９】
続いてステップＳ２０９において、フレーム読み出し制御部１０８が、ステップＳ２０８において決定されたフレーム読み出し間隔に従って、記憶媒体１０１から動画フレームデータをバッファメモリ１０５へ読み出す。読み出されたデータは、随時、復号部１１１により復号処理が行われ、表示装置１０６に表示させる。これにより、早送り又は巻き戻し再生を行うことができる。
【００３０】
ステップＳ２１０では、システムコントローラ１０７は早送り又は巻き戻し再生が終了したか否かを判定する。早送りなどの再生が終了したと判定された場合には、ステップＳ２０５に戻って通常の再生処理を継続する。一方、早送りなどの特殊再生が終了していないと判定された場合には、ステップＳ２０９に戻って特殊再生の処理を継続する。
【００３１】
次に図２のステップＳ２０２における初期化処理の詳細について、図３を参照して説明する。図３は、データ再生装置１００における処理か処理の一例に対応するフローチャートである。
【００３２】
データ再生装置１００の記憶媒体インターフェイスに記憶媒体１０１が装着されると、ステップＳ３０１において、システムコントローラ１０７は識別ランクの有無を判定する。この識別ランクとは、記憶媒体１０１からのデータ読み出し速度に応じてランク分けされたランク情報であって、所定の場所に格納されている。
【００３３】
識別ランクを格納する場所、及び識別ランクの確認方法は以下の通りである。
【００３４】
まず、データ再生装置１００のメインメモリ１１０に識別ランクが格納されている場合を考える。この場合、記憶媒体１０１が交換、若しくは取り外されたり、メインメモリ１１０に記録されている識別ランク情報が消去されない限りは、メインメモリ１１０を参照することによって、識別ランクの有無を判定することができる。
【００３５】
次に、動画像データ及び音声データが格納されている記憶媒体１０１に識別ランクが格納されている場合を考える。この場合、識別ランクのデータが記憶媒体１０１に格納されているかを判定することにより、識別ランクの有無を確認することができる。
【００３６】
このように、ステップＳ３０１では、メインメモリ１１０を参照して、識別ランクが格納されていれば、識別ランクが格納されていると判定することができる。仮にメインメモリ１１０に格納されていなくとも、記憶媒体１０１を参照して識別ランクが格納されていれば、やはり識別ランクが格納されていると判定することができる。これに対し、メインメモリ１１０及び記憶媒体１０１のどちらにも識別ランクが格納されていない場合には、識別ランクが格納されていないと判定されることになる。
【００３７】
以上により、ステップＳ３０１において識別ランクが有ると判定された場合には、ステップＳ３０２へ移行して、システムコントローラ１０７は、識別ランクを所定の格納場所から読み出してメインメモリ１１０に格納する。
【００３８】
一方、識別ランクが無いと判定された場合には、ステップＳ３０３へ移行して記憶媒体初期化処理が実行される。まず、ステップＳ３０４において、速度検出部１０３が記憶媒体１０１からのデータ読み出し速度を計測する。ステップＳ３０４における計測は、例えば、所定のサイズのダミーデータを実際に記憶媒体１０１に記録し、そのデータを読み出す際に費やされた時間を計測することにより行うことができる。計測終了後には、記憶媒体１０１に記録したダミーデータは削除される。
【００３９】
次にステップＳ３０５において、システムコントローラ１０７は、ステップＳ３０４で計測されたデータ読み出し速度を用いてデータ読み出し速度のランクを算出する。これは、予め図４のような、データ読み出し速度のランク分けを行なうためのテーブルを用意しておき、そのテーブルを参照することで行うことができる。図４のテーブルに記載された数値は、ランク識別を行なう際の一例であり、データ再生装置１００の構成に応じて環境により、各ランクに属する速度を任意に変更することができる。
【００４０】
続いてステップＳ３０７において、システムコントローラ１０７は、識別ランクを所定の各場所に格納する。ここでの格納場所は、記憶媒体１０１内でもよいし、記憶媒体１０１がインターフェイス１０２に装着されている間はメインメモリ１１０内でもよい。また、格納するデータは識別ランクでなくても、実際に測定された結果の速度データでもよい。測定された速度データが格納される場合には、図２のステップＳ２０８においてフレーム読み出し間隔を決定する際に、ランク分けの処理が実行される。
【００４１】
ステップＳ３０６の処理が終了すると、初期化処理で使用したメインメモリ１１０の開放などを行ない、記憶媒体の初期化処理を終了する。
【００４２】
次に、特殊再生用パラメータを用いて、フレーム読み出し制御部１０８が、図２のフローチャートのステップＳ２０８において実行する処理の詳細について図５を参照して説明する。なお、この特殊再生用パラメータには、記憶媒体のデータ読み出し速度又は識別ランク、動画データの再生時のデータレート、及び、動画データのフレームレートが含まれる。
【００４３】
図５は、データ再生装置１００において、記憶媒体１０１のデータ読み出し速度の違いに応じた各フレームの表示の制御を説明するための図である。
【００４４】
図５では、具体的な制御方法の一例として、MPEG符号化された動画のストリームデータを８倍速表示する場合に、記憶媒体１０１のデータ読み出し速度の違いに応じた、各フレームの表示制御の一例を示している。
【００４５】
図５の動画ストリームデータの ・・・Ｉ・・Ｉ・・Ｉ・・・ は、ある間隔をおいてＩフレームがストリームデータ中に存在することを示している。図１のフレームレート検出部１０９は、このストリームデータのようにフレーム中にＩフレームが存在する場合は、通常のフレームレートに加えてＩフレームの時間軸上のレートも測定する。また、これらの測定において、レートが固定ではない場合は、平均値を検出或いは算出しても良い。
【００４６】
また、図５ではデータ読み出し速度が異なる３つの記憶媒体を想定しており、３つの記憶媒体のデータ読み出し速度はそれぞれ、図４のランク識別テーブルのランクＡ、ランクＢ、ランクＣに相当するものである。
【００４７】
更に図５においてストリームデータの下に分数で示されている数値は、３つの記憶媒体各々においてＩフレームを連続的に表示する時間を示している。例えば、動画ストリームデータ中のＩフレームが、最大で６４ｋバイトのサイズを持ち、Ｉフレームが１秒間に１枚登場する場合を想定すると、８倍速の再生時には最大８枚のＩフレームを読み出すことになる。
【００４８】
ここでランクＡの記憶媒体のようにＩフレームを１秒間に８回読み出すには、
６４ｋバイト × ８ ビット ／ ( １／８秒) ＝ ４０９６kbps ＝ ４Mbps
となり、４Mbps程度のデータ読み出し速度が必要となる。同様にランクＢ、ランクＣの記憶媒体のＩフレーム表示時間についても、図５の表示間隔を満たすには、各々図４のランク識別テーブルに相当する速度が必要となる。
【００４９】
即ち、図１のフレーム読み出し制御部１０８及び図２のステップＳ２０８では、記憶媒体１０１のデータ読み出し速度のランクの違いによって、倍速速度が同じ特殊再生を行なう場合でも、使用するフレームの読み出し間隔を違えて設定している。これにより、データ読み出し速度が速い記憶媒体１０１では、記憶媒体１０１の読み出し速度に応じて、より多くのフレーム数読み出すことができるので、よりきめの細かい再生画像を得ることが可能となる。
【００５０】
また、このフレーム読み出し間隔の設定制御には、動画データの再生時のデータレートと読み出すフレームのサイズ、及びフレームレートが影響することはいうまでもない。つまり、読み出し速度が同じ記憶媒体１０１に記録されている動画データであるならば、データレートが低い動画データの方が読み出すフレーム間隔をより狭くすることが可能である。また、フレームレートがより低い動画データでは、特殊再生の際に表示されないフレームは相対的に少なくなる。
【００５１】
ここで更に、図６を用いて、図１のフレーム読み出し制御部１０８及び、図２のフレーム読み出し間隔設定ステップＳ２０８の制御内容についてより詳細に説明する。
【００５２】
図６は、データ再生装置１００のフレーム読み出し制御の処理に対応するフローチャートである。
【００５３】
まず、ステップＳ６０１において、動画像データのデータレートと再生速度とにより決定される単位時間内に読み出されるべきデータ量と、記録媒体１０１からのデータの読出速度より決定される単位時間内に読み出し可能なデータ量とを比較する。より具体的には、Ｎ倍速の再生処理を行なう動画像データのデータレート（Ｄｒ）と、記憶媒体１０１からのデータ読み出し速度（Ｖｒ）とを比較する。この結果、Ｖｒ＞Ｄｒ・Ｎ、即ちデータ読み出し速度の方が大きいと判定されれば（ステップＳ６０１で「ＹＥＳ」）、ステップＳ６０２へ移行して、全てのフレームを記憶媒体１０１から読み出すためのフレーム読み出し間隔を設定する。
【００５４】
この場合、復号処理など、再生表示に追随する他の処理の負荷などに問題が無ければ、全てのフレームを復号し、表示することが可能となる。但し、フレーム間圧縮された符号化データを含むストリームデータを持つ動画像データの場合、全てのフレームを復号して再生表示を行なうのは、一般には順方向の再生処理に関してのみである。一方、逆方向の再生処理では、フレーム内圧縮されたキーフレームのみが用いられる。
【００５５】
一方、Ｖｒ≦Ｄｒ・Ｎ、即ち、データ読み出し速度の方が小さいと判定されれば（ステップＳ６０１において「ＮＯ」）、全てのフレームをＮ倍速再生時において記憶媒体１０１から読み出すことはできない。そこで、ステップＳ６０３へ移行して、記憶媒体１０１からのデータ読み出し速度Ｖｒを、動画データのデータレートＤｒ等から予想されるキーフレームのサイズ（Ｓｋ）で除算した値、Ｖｒ／Ｓｋを算出する。これにより、記憶媒体１０１からキーフレームのみを連続的に読み出す場合のフレームレート（単位時間当たりに読み出し可能なフレーム枚数：Ｆｒｋ）を求めることができる。更にＦｒｋと、Ｎ倍速時の動画データのキーフレーム間隔（Ｄｋ）（Ｎ倍速時に単位時間当たりに読み出すべきキーフレームの枚数：キーフレームのみのフレームレート）とを比較する。ここでＦｒｋ＞Ｄｋの場合（ステップＳ６０３において「ＹＥＳ」）、全てのキーフレームを読み出すためのフレーム間隔を設定する。
【００５６】
Ｖｒ／Ｓｋ＞Ｄｋが成立すれば、Ｎ倍速再生時の単位時間内（例えば、１秒間）に読み出すべきキーフレームの枚数が、記憶媒体１０１から単位時間内（例えば、１秒間）に読み出し可能なキーフレームの枚数よりも少ないことを意味する。よって、当該読み出し速度によりキーフレームを全て読み出すことが可能となる。
【００５７】
ここで、計算式にキーフレームサイズを使用しているが、これは簡単には動画像データのデータレートから算出が可能である。例えば、ＭＰＥＧ符号化データのようにキーフレームがその他の差分圧縮されたフレームよりも４〜５倍のサイズを持つ場合、キーフレームサイズは以下の式（１）により算出できる。ここではそのサイズを５倍と仮定し、更に１秒毎にキーフレームが存在するとし、フレームレートの単位をfps（frame per second）としている。
{動画データレート ／ (フレームレート ＋(５−１)) } × ５・・・（１）
ここでは、概算ではあるが、キーフレームのサイズを算出することができる。
【００５８】
上記の式の意味は、以下の通りである。まず、（フレームレート＋(５−１))によりキーフレームを差分圧縮されたフレームに置き換えた場合のフレームレートが求めることができる。ここで得られたフレームレートにより動画データレートを除することで、差分圧縮されたフレームの各フレームサイズを求めることができる。キーフレームのサイズは差分圧縮されたフレームのサイズの５倍に設定されているので、「× ５」により、キーフレームのサイズを求めることができる。
【００５９】
一方、ステップＳ６０３においてＦｒｋ≦Ｄｋの場合（ステップＳ６０３において「ＮＯ」）、全てのキーフレームを所望の倍速表示で読み出すことはできない。そこで、ステップＳ６０５に移行して、記憶媒体１０１からデータを読み出す速度Ｖｒ、キーフレームのフレームレートＤｋ、及び、キーフレームのサイズＳｋに応じて、倍速時に読み出すべきフレーム数のトータルから、読み出し可能な枚数まで間引く。このようにして、適宜キーフレームを間引いてフレームの読み出しを行なうことになる。
【００６０】
このように、Ｎ倍速の再生速度において単位時間内に読み出されるべき動画像データに含まれるキーフレームの枚数が、データの読み出し速度においてキーフレームを単位時間内に読み出せる枚数よりも多くなる場合がある。その場合には、Ｎ倍速の再生速度において単位時間内に読み出されるべきキーフレームのうち、間引き処理を行って選択された所定数のフレームについてフレームの読み出し間隔が設定される。
【００６１】
以上のように、本発明によれば、その記憶媒体或いは記憶装置のデータ読み出し速度を最大限に生かした動画像データ及び音声データの再生処理を行なうことが可能となる。よって、製品毎にデータ読み出し速度にばらつきがある記憶媒体を用いた記憶装置や、切り換え可能で装置毎にデータ読み出し速度に違いがある記憶装置であっても、効率的に動画像及び音声の符号化データを読み出し、特殊再生を行なうことができる。
【００６２】
即ち、データの読み出し速度が早い記憶媒体が接続された場合には、当該速度に対応して動画像データの全フレームや全キーフレームを読み出して、早送りや巻き戻しなどの所定の倍速による特殊再生を行うことができる。よって、特殊再生時にも高品質の再生画像を提供することが可能となる。
【００６３】
また、データの読み出し速度が遅い記憶媒体が接続された場合には、当該速度に対応して特殊再生時に読み出すべきフレームを選択して、適宜特殊再生を行うことができる。
【００６４】
［第２の実施形態］
次に、本発明の第２の実施形態について説明する。上記の第１の実施形態は、早送りや巻き戻しなどの特殊再生を行なう前に、予め記憶媒体のデータ読み出し速度を測定しておくものであった。これに対し第２の実施形態では、特殊再生処理を行ないながら、データ読み出し速度を計測して、再生に使用するフレームの読み出し間隔を設定するものである。
【００６５】
図７を参照して、本実施形態に対応する処理の一例を説明する。
【００６６】
入力部１１２を介してユーザからの再生指示を受け付けると、以下の動画再生処理が開始される。まず、ステップＳ７０１において、レート測定部１０４は動画データの再生時のデータレートを測定して、データレートをメインメモリ１１０上に保存する。併せて、フレームレート検出部１０９は動画データのフレームレートを検出し、検出したフレームレートを同様にメインメモリ１１０へ格納する。
【００６７】
次に、ステップＳ７０２にて動画再生処理を開始する。ステップＳ７０３では、システムコントローラ１０７が開始した動画の再生が終了したか否かを判定し、終了した場合には、本フローにおける処理を終了する。
【００６８】
一方、動画像再生が終了していない場合には、ステップＳ７０４へ移行して、システムコントローラ１０７は、入力部１１２を介して動画再生処理中に早送りや巻き戻しなどの特殊再生の指示を受け付けたか否かを判定する。ここで、特殊再生の指示を受け付けていないと判定された場合には、ステップＳ７０２へ移行して動画像再生の処理を継続する。
【００６９】
一方、特殊再生の指示を受け付けた場合（ステップＳ７０４で「ＹＥＳ」）には、併せて特殊再生における再生速度の指定（例えば、２倍、４倍、８倍など）を受け付ける。続いてステップＳ７０５へ移行して、フレーム読み出し制御部１０８が、動画フレームデータをバッファメモリ１０５へ読み出す。ステップＳ７０６では、ステップＳ７０５において読み出された動画フレームデータが、早送り／巻き戻し再生開始後の最初のフレームであるか否かを判定する。もし、最初のフレームの場合には、ステップＳ７０７に移行する。
【００７０】
ステップＳ７０７では、速度検出部１０３が記憶媒体１０１からのデータ読み出し速度を計測し、得られたデータ読み出し速度を用いてシステムコントローラ１０７が、データ読み出し速度のランクを算出する。ここでの計測は、実際に再生対象となる動画フレームデータを読み出す際に費やされた時間を計測することにより行うことができる。ランクの算出については、第１の実施形態における図３のステップＳ３０５における処理と同様に行うことができる。なお、算出された識別ランクは、第１の実施形態と同様にしてシステムコントローラ１０７により、例えばメインメモリ１１０に格納される。
【００７１】
続いてステップＳ７０８では、メインメモリ１１０上に保持されているデータレート、フレームレート及び、ステップＳ７０４で受け付けた再生速度とを利用して、フレーム読み出し間隔の設定・制御のための処理を行なう。この処理は、図５を参照して第１の実施形態において説明したものと同様に行うことができる。
【００７２】
続くステップＳ７０９では、フレーム読み出し制御部１０８が、ステップＳ７０８において決定されたフレーム読み出し間隔に従って、記憶媒体１０１から動画フレームデータをバッファメモリ１０５へ読み出す。読み出されたデータは、随時、復号部１１１により復号処理が行われ、表示装置１０６に表示させる。これにより、早送り又は巻き戻し再生を行うことができる。
【００７３】
ステップＳ７１０では、システムコントローラ１０７は早送り又は巻き戻し再生が終了したか否かを判定する。早送りなどの再生が終了したと判定された場合には（ステップＳ７１０において「ＹＥＳ」）、ステップＳ７０２に戻って通常の再生処理を継続する。一方、早送りなどの特殊再生が終了していないと判定された場合には（ステップＳ７１０において「ＮＯ」）、ステップＳ７０５に戻って特殊再生の処理を継続する。
【００７４】
なお、上記においては、ステップＳ７０６において最初のフレームと判定された場合に、ステップＳ７０８においてフレーム読み出し間隔を設定する処理を行った。しかしながら、早送りや巻き戻しのような特殊再生を実行する場合、できるだけ多くのフレーム読み出し速度を参考にフレーム読み出し間隔を設定・補正した方が正確であることは言うまでもない。その一方、全てのフレームについて計測を行ない、毎回フレーム読み出し間隔を設定・補正することは、冗長な処理ともなり得る。
【００７５】
よって、ステップＳ７０８を含むルートで処理を行なうのは、必要最低限で良い。この「必要最低限」について図７の場合は最初の１フレームとしたが、１フレームに限定されることなく、例えば、最初の数フレームについて読み出し間隔を設定し、その平均値をとってもよい。
【００７６】
以上のように、本実施形態においては、早送りや巻き戻しといった特殊再生処理を行ないながら、データ読み出し速度を計測して、再生に使用するフレームの読み出し間隔を設定することができる。
【００７７】
［第３の実施形態］
特殊再生を実行する場合、記憶媒体１０１からより多くのフレームを読み出して、画像を表示した方がより滑らかな再生画像を得ることができる。よって、データレートが変動する場合、データレートが低い場面では、記憶媒体１０１の読み出し速度の範囲内で、より多くのフレームを読み出して表示した方が、滑らかな再生画像を得ることができる。
【００７８】
ここで、ＭＰＥＧ−４のファイルフォーマットとしてISOにおいて定義された、ISO Base Media File Format（ISO/IEC １４４９６ Part１２）がある。これによれば、動画データには、該動画データのフレーム毎のサイズ情報とデコード時間及び表示時間が保持されている。よって、このサイズ情報と時間情報を取得すれば、一定時間当りのフレームのデータレートを計算することができる。更に、記憶媒体１０１の読み出し速度に応じた閾値を設定すれば、場面ごとのレートに応じてフレームの読み出し間隔を制御することが可能となる。
【００７９】
そこで、図８を参照してこのような制御動作の一例を説明する。図８において、横軸は時間を表し、縦軸は動画のデータレートを示している。８０１は、再生対象の動画データであり、図８では所定の時点におけるデータレートが表現されている。８０２及び８０３はデータレートにおける閾値である。閾値１（８０２）は、データレートの低い側における閾値であって、これよりもデータレートが低い場合には、特殊再生に使用する全てのキーフレームが読み出し可能となるように設定される。また、閾値１（８０２）よりもデータレートが高い場合には、特殊再生に使用する全てのキーフレームから所定数のフレームを間引いて読み出しが行われることになる。特に、閾値２（８０３）は、データレートの高い側における閾値であって、これよりもデータレートが高い場合には、特殊再生に使用する全てのキーフレームからの間引き数を更に多くして読み出しが行われることになる。
【００８０】
図８では、動画データ８０１のデータレートが閾値１（８０２）以下の場合に、フレーム読み出し間隔をランクＡに分類している。また、閾値１（８０２）より大きく、閾値２（８０３）以下のデータレートの場合には、フレーム読み出し間隔をランクＢに分類している。更に閾値２（８０３）より大きいの場合にはフレーム読み出し間隔をランクＣに分類している。これらのランクＡ乃至Ｃは、第１の実施形態の図５における示したものと同様である。
【００８１】
ここで、閾値１（８０２）の値について具体例を考える。第１の実施形態と同様にして、Ｎ倍速の再生処理を行なう動画像データのデータレートをＤｒとし、記憶媒体１０１からのデータ読み出し速度をＶｒとする。また、動画像データのフレームレートをＦｒとし、キーフレームのデータサイズをＳｋとする。また、ここでは説明の簡単のために、キーフレームが１秒間に１枚のみ含まれるものとする。これらを第１の実施形態における計算式（１）に適用すれば、（１）は以下のように記載することができる。
【００８２】
Ｓｋ＝｛Ｄｒ／（Ｆｒ＋４）｝・５      ・・・（１）’
また、Ｎ倍速の再生処理において全てのキーフレームを読み出す場合には、Ｖｒ＞Ｓｋ・Ｎ      ・・・（２）が成立することとなる。式（１）’及び（２）に基づいて、Ｖｒ＞５Ｎ｛Ｄｒ／（Ｆｒ＋４）｝となる。これを解くと、Ｖｒ（Ｆｒ＋４）／５Ｎ＞Ｄｒとなる。即ち、閾値１（８０２）は、Ｖｒ（Ｆｒ＋４）／５Ｎとなる。
【００８３】
また、閾値２（８０３）は、Ｎ→Ｎ／２として求めることができる。
【００８４】
以上のように、記憶媒体１０１からのデータ読み出し速度、動画像データのフレームレート及び再生速度が分かれば、閾値を予め設定しておくことができる。
【００８５】
このようにして、動画データ８０１のうち、ランクＡに分類されたデータについて特殊再生を行う場合、使用するＩフレームを間引くことなく読み出すことで全てのＩフレームを表示する。また、ランクＢに分類されたデータについて特殊再生を行う場合には、Ｉフレームを１/２の間隔で間引いて表示する。更に、ランクＣに分類されたデータについて特殊再生を行う場合、Ｉフレームを１/４の間隔で間引いて表示する。
【００８６】
以上のように、本実施形態では、場面ごとのデータレートに応じて、読み出すフレームの間隔を調整して特殊再生を行うことができる。
【００８７】
［その他の実施形態］
以上、発明を実施するための形態を詳述した。本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施態様をとることが可能であり、具体的には、複数の機器から構成されるシステムに適用しても良いし、また、一つの機器からなる装置に適用しても良い。
【００８８】
尚、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図に示すフローチャートに対応したプログラム）を、システムあるいは装置に直接あるいは遠隔から供給し、そのシステムあるいは装置のコンピュータが該供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００８９】
従って、本発明の機能処理をコンピュータで実現するために、該コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００９０】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であっても良い。
【００９１】
プログラムを供給するための記憶媒体としては、例えば、フロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ，ＤＶＤ−Ｒ）などがある。その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続し、該ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。
【００９２】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００９３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせ、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００９４】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される他、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現され得る。
【００９５】
更に、記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行ない、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００９６】
【図１】本発明の実施形態に対応するデータ再生装置１００の構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に対応するデータ再生装置１００における特殊再生を含む再生処理の一例に対応するフローチャートである。
【図３】本発明の第１の実施形態に対応する初期化処理の一例に対応するフローチャートである。
【図４】本発明の実施形態に対応するデータ読み出し速度のランク分けを行なうためのテーブルの一例を示す図である。
【図５】本発明の実施形態に対応するデータ読み出し速度と、選択するフレームとの関係を説明するための図である。
【図６】本発明の第１の実施形態に対応するフレーム読み出し間隔を設定する処理のフローチャートである。
【図７】本発明の第２の実施形態に対応するデータ再生装置１００における特殊再生を含む再生処理の一例に対応するフローチャートである。
【図８】本発明の第３の実施形態に対応する、動画像データのデータレートに基づく識別ランクの設定について説明するための図である。
【図１】
2006109419.tif 000003
【図２】
2006109419.tif 000004
【図３】
2006109419.tif 000005
【図４】
2006109419.tif 000006
【図５】
2006109419.tif 000007
【図６】
2006109419.tif 000008
【図７】
2006109419.tif 000009
【図８】
2006109419.tif 000010