(57)【要約】【課題】動画像の符号化の単位に関係付けられたピクチャを迅速に再生することができる。【解決手段】  抽出部５１は、それぞれＧＯＰから、１つのピクチャを抽出する。画素数変換部４０は、画素を間引くことにより、抽出されたピクチャの情報量を削減する。静止画像圧縮部４１は、情報量が削減されたピクチャをＪＰＥＧ方式で符号化する。マイクロコンピュータ３１は、ピクチャが抽出されたＧＯＰに、符号化されたピクチャを関係付けて、動画像を記録するディスク４５への、ＧＯＰに関係付けられたピクチャの記録を制御する。本発明は、データ記録媒体に動画像を記録する記録装置に適用できる。【選択図】図３
2006074690.tif 000002
【特許請求の範囲】
【請求項１】
動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出手段と、
抽出された前記画像の情報量を削減する削減手段と、
前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化手段と、
前記抽出手段において前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付け手段と、
前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御手段と
を備えることを特徴とする記録装置。
【請求項２】
前記関係付け手段は、前記動画像のトラックに関係付けられるトラックであって、所定のファイル方式におけるトラックに符号化された前記画像を配置することにより、前記単位に符号化された前記画像を関係付ける
ことを特徴とする請求項１に記載の記録装置。
【請求項３】
前記関係付け手段は、前記動画像の前記単位の再生における時刻の範囲と、符号化された前記画像とを対応させることにより、前記単位に符号化された前記画像を関係付ける
ことを特徴とする請求項１に記載の記録装置。
【請求項４】
前記記録制御手段は、
再生における予め定めた時間の前記動画像を、前記データ記録媒体の連続する第１の領域に記録するように、前記データ記録媒体への前記動画像の記録を制御すると共に、
前記データ記録媒体の前記第１の領域への前記動画像の記録が終了した場合、符号化された前記画像のデータ量が所定の閾値を超えたとき、前記データ記録媒体の連続する第２の領域に前記画像を記録するように、前記データ記録媒体への前記画像の記録を制御する
ことを特徴とする請求項１に記載の記録装置。
【請求項５】
前記符号化手段は、前記画像を静止画像の圧縮符号化方式で符号化する
ことを特徴とする請求項１に記載の記録装置。
【請求項６】
前記符号化手段は、その前記画像のみで復号ができるように、動画像の圧縮符号化方式で前記画像を符号化する
ことを特徴とする請求項１に記載の記録装置。
【請求項７】
前記削減手段は、前記画像の画素を間引くことにより、前記画像の情報量を削減する
ことを特徴とする請求項１に記載の記録装置。
【請求項８】
前記削減手段は、前記画像の高周波成分を除去することにより、前記画像の情報量を削減する
ことを特徴とする請求項１に記載の記録装置。
【請求項９】
動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出ステップと、
抽出された前記画像の情報量を削減する削減ステップと、
前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステップと、
前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付けステップと、
前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御ステップと
を含むことを特徴とする記録方法。
【請求項１０】
動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出ステップと、
抽出された前記画像の情報量を削減する削減ステップと、
前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステップと、
前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付けステップと、
前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御ステップと
を含むことを特徴とする記録処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項１１】
動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの前記画像を抽出する抽出ステップと、
抽出された前記画像の情報量を削減する削減ステップと、
前記情報量が削減された前記画像を所定の符号化方式で符号化する符号化ステップと、
前記抽出ステップにおいて前記画像が抽出された前記単位に、符号化された前記画像を関係付ける関係付けステップと、
前記動画像を記録するデータ記録媒体への、前記単位に関係付けられた前記画像の記録を制御する記録制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【請求項１２】
動画像が記録されると共に、前記動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、前記単位のそれぞれに関係付けられている前記画像が記録されているデータ記録媒体からの、ユーザからの指令および前記動画像の前記単位との関係に基づく、前記画像の読み出しを制御する読み出し制御手段と、
読み出された前記画像を復号する復号手段と、
復号された前記画像の表示を制御する表示制御手段と
を備えることを特徴とする再生装置。
【請求項１３】
前記読み出し制御手段は、前記ユーザから早送りまたは巻き戻しが指令された場合、前記画像のみを読み出しするように、前記データ記録媒体からの前記画像の読み出しを制御する
ことを特徴とする請求項１２に記載の再生装置。
【請求項１４】
前記復号手段は、静止画像の圧縮符号化方式で符号化されている前記画像を復号する
ことを特徴とする請求項１２に記載の再生装置。
【請求項１５】
前記復号手段は、その前記画像のみで復号ができるように、動画像の圧縮符号化方式で符号化されている前記画像を復号する
ことを特徴とする請求項１２に記載の再生装置。
【請求項１６】
動画像が記録されると共に、前記動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、前記単位のそれぞれに関係付けられている前記画像が記録されているデータ記録媒体からの、ユーザからの指令および前記単位との関係に基づく、前記画像の読み出しを制御する読み出し制御ステップと、
読み出された前記画像を復号する復号ステップと、
復号された前記画像の表示を制御する表示制御ステップと
を含むことを特徴とする再生方法。
【請求項１７】
動画像が記録されると共に、前記動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、前記単位のそれぞれに関係付けられている前記画像が記録されているデータ記録媒体からの、ユーザからの指令および前記単位との関係に基づく、前記画像の読み出しを制御する読み出し制御ステップと、
読み出された前記画像を復号する復号ステップと、
復号された前記画像の表示を制御する表示制御ステップと
を含むことを特徴とする再生処理をコンピュータに実行させるプログラムが記録されている記録媒体。
【請求項１８】
動画像が記録されると共に、前記動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、前記単位のそれぞれに関係付けられている前記画像が記録されているデータ記録媒体からの、ユーザからの指令および前記単位との関係に基づく、前記画像の読み出しを制御する読み出し制御ステップと、
読み出された前記画像を復号する復号ステップと、
復号された前記画像の表示を制御する表示制御ステップと
をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は記録装置および方法、再生装置および方法、記録媒体、並びにプログラムに関し、特に、動画像をデータ記録媒体に記録するか、データ記録媒体に記録されている動画像を再生する記録装置および方法、再生装置および方法、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
動画像をデジタル記録するコンスーマ機器が一般に利用されるようになって久しいが、近年、その動画像を記録するデータ記録媒体の主流が、テープからディスクに代わりつつある。ディスクであるデータ記録媒体を利用することにより、動画像（のデータ）へのランダムアクセスが可能となり、動画像の再生時間における時間軸上の位置が離れてる画像であっても素早く再生することができるようになる。すなわち、より迅速に、いわゆる頭出し再生を行ったり、つまみ食いのように、動画像の所望の部分をつなぎ合わせた、いわゆる非破壊編集コンテンツを作ることも簡単になってきた。
【０００３】
頭出しや編集のポイントを探すためには、記録されている動画像を再生しなければならず、動画像が符号化されている場合、復号しなければ動画像を表示することはできない。
【０００４】
ところが、MPEG（Moving Pictures Experts Group）２方式のプログラムストリームとして符号化されている動画像を復号する場合、GOP（Group of Pictures）を単位として動画像が符号化されているので、データストリームから復号したい部分を探して、抜き出して、復号しなければならない。この場合に要求される制御は、複雑で、処理に時間がかかる。
【０００５】
このように、符号化されている動画像の、所望のポイントの画像を迅速に行うことは困難である。
【０００６】
一方、符号化されている動画像のデータ記録媒体への記録方式も各種提案されている。
【０００７】
図１は、動画像の再生における予め定めた時間を単位として、データ記録媒体の連続する領域に動画像を記録する記録方式を説明する図である。
【０００８】
ストリームユニット１１−１乃至ストリームユニット１１−６は、動画像の再生における予め定めた時間に分割された動画像のデータである。ストリームユニット１１−１乃至ストリームユニット１１−６のそれぞれは、データ記録媒体の連続した領域に記録される。
【０００９】
図１で示される記録方式により記録されている動画像をデータ記録媒体から読み出す場合、ストリームユニット１１−１乃至ストリームユニット１１−６のそれぞれは、連続して読み出される。ストリームユニット１１−１乃至ストリームユニット１１−６のうちの１つを読み出してから、ストリームユニット１１−１乃至ストリームユニット１１−６のうちの他を読み出す場合には、その間に、シーク時間または回転待ち時間が必要となる。
【００１０】
図２は、従来の編集ポイントの検索表示の処理を説明するフローチャートである。ステップＳ１１において、データ記録媒体上の動画像の記録位置を示す管理情報が格納されている管理情報ファイルが読み出される。ステップＳ１２において、読み出された管理情報ファイルを基に、最初のフレームのストリームデータが、データ記録媒体であるディスクから読み出される。
【００１１】
ステップＳ１３において、読み出されたストリームデータがバッファに記憶される。ステップＳ１４において、符号化されているストリームデータが伸張される（復号される）。ステップＳ１５において、ストリームデータの伸張により得られた動画像データおよび音声データが後段のバッファに記憶される。ステップＳ１６において、後段のバッファから動画像データおよび音声データが順次読み出されて、動画像データを基に、動画像が表示されると共に、音声データを基に、音声が出力される。
【００１２】
ステップＳ１７において、ユーザから次のポイントへの移動が指示されたか否かが判定される。ステップＳ１７において、次のポイントへの移動が指示されていないと判定された場合、動画像の表示および音声の出力が継続されたまま、ステップＳ１７に戻り、判定の処理が繰り返される。
【００１３】
ステップＳ１７において、次のポイントへの移動が指示されたと判定された場合、ステップＳ１８に進み、読み出された管理情報ファイルを基に、指示されたポイントのフレームのストリームデータが、データ記録媒体であるディスクから読み出される。
【００１４】
ステップＳ１９において、読み出されたストリームデータがバッファに記憶される。ステップＳ２０において、符号化されているストリームデータが伸張される（復号される）。ステップＳ２１において、ストリームデータの伸張により得られた動画像データおよび音声データが後段のバッファに記憶される。ステップＳ２２において、後段のバッファから動画像データおよび音声データが順次読み出されて、動画像データを基に、指示されたポイントの動画像が表示されると共に、音声データを基に、指示されたポイントの音声が出力される。
【００１５】
手続きは、ステップＳ１７に戻り、ユーザからの指示に応じて、データ記録媒体であるディスクから指示されたポイントのフレームのストリームデータが読み出されて、復号されて、動画像を表示させて、音声を出力する処理が繰り返される。
【００１６】
また、入力されたＡＶストリームから抽出された特徴的な画像を指し示すマークで構成されるClipMarkを、ＡＶストリームを管理するための管理情報として生成するとともに、ＡＶストリーム中の所定の区間の組み合わせを定義するPlayListに対応する再生区間の中から、ユーザが任意に指定した画像を指し示すマークから構成されるPlayListMarkを生成し、ClipMark、およびPlayListMarkを各々独立したテーブルとして記録媒体に記録するようにしているものもある（例えば、特許文献１参照）。
【００１７】
【特許文献１】特開２００２−１５８９６５号公報
【発明の開示】
【発明が解決しようとする課題】
【００１８】
このように、頭出しや編集のポイントを探す場合、符号化されている動画像をいちいち復号して表示しなければならず、迅速に、表示することは困難であった。その結果、頭出しや編集のポイントの探索に時間がかかるという問題があった。
【００１９】
本願発明はこのような状況に鑑みてなされたものであり、動画像の符号化の単位であって、画像からなる単位に関係付けられた画像を迅速に再生することができるようにし、その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができるようにするものである。
【課題を解決するための手段】
【００２０】
本発明の記録装置は、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出手段と、抽出された画像の情報量を削減する削減手段と、情報量が削減された画像を所定の符号化方式で符号化する符号化手段と、抽出手段において画像が抽出された単位に、符号化された画像を関係付ける関係付け手段と、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御手段とを備えることを特徴とする。
【００２１】
関係付け手段は、動画像のトラックに関係付けられるトラックであって、所定のファイル方式におけるトラックに符号化された画像を配置することにより、単位に符号化された画像を関係付けるようにすることができる。
【００２２】
関係付け手段は、動画像の単位の再生における時刻の範囲と、符号化された画像とを対応させることにより、単位に符号化された画像を関係付けるようにすることができる。
【００２３】
記録制御手段は、再生における予め定めた時間の動画像を、データ記録媒体の連続する第１の領域に記録するように、データ記録媒体への動画像の記録を制御すると共に、データ記録媒体の第１の領域への動画像の記録が終了した場合、符号化された画像のデータ量が所定の閾値を超えたとき、データ記録媒体の連続する第２の領域に画像を記録するように、データ記録媒体への画像の記録を制御するようにすることができる。
【００２４】
符号化手段は、画像を静止画像の圧縮符号化方式で符号化するようにすることができる。
【００２５】
符号化手段は、その画像のみで復号ができるように、動画像の圧縮符号化方式で画像を符号化するようにすることができる。
【００２６】
削減手段は、画像の画素を間引くことにより、画像の情報量を削減するようにすることができる。
【００２７】
削減手段は、画像の高周波成分を除去することにより、画像の情報量を削減するようにすることができる。
【００２８】
本発明の記録方法は、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出ステップと、抽出された画像の情報量を削減する削減ステップと、情報量が削減された画像を所定の符号化方式で符号化する符号化ステップと、抽出ステップにおいて画像が抽出された単位に、符号化された画像を関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御ステップとを含むことを特徴とする。
【００２９】
本発明の第１の記録媒体のプログラムは、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出ステップと、抽出された画像の情報量を削減する削減ステップと、情報量が削減された画像を所定の符号化方式で符号化する符号化ステップと、抽出ステップにおいて画像が抽出された単位に、符号化された画像を関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御ステップとを含むことを特徴とする。
【００３０】
本発明の第１のプログラムは、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像を抽出する抽出ステップと、抽出された画像の情報量を削減する削減ステップと、情報量が削減された画像を所定の符号化方式で符号化する符号化ステップと、抽出ステップにおいて画像が抽出された単位に、符号化された画像を関係付ける関係付けステップと、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録を制御する記録制御ステップとをコンピュータに実行させることを特徴とする。
【００３１】
本発明の再生装置は、動画像が記録されると共に、動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられている画像が記録されているデータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づく、画像の読み出しを制御する読み出し制御手段と、読み出された画像を復号する復号手段と、復号された画像の表示を制御する表示制御手段とを備えることを特徴とする。
【００３２】
読み出し制御手段は、ユーザから早送りまたは巻き戻しが指令された場合、画像のみを読み出しするように、データ記録媒体からの画像の読み出しを制御するようにすることができる。
【００３３】
復号手段は、静止画像の圧縮符号化方式で符号化されている画像を復号するようにすることができる。
【００３４】
復号手段は、その画像のみで復号ができるように、動画像の圧縮符号化方式で符号化されている画像を復号するようにすることができる。
【００３５】
本発明の再生方法は、動画像が記録されると共に、動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられている画像が記録されているデータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づく、画像の読み出しを制御する読み出し制御ステップと、読み出された画像を復号する復号ステップと、復号された画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００３６】
本発明の第２の記録媒体のプログラムは、動画像が記録されると共に、動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられている画像が記録されているデータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づく、画像の読み出しを制御する読み出し制御ステップと、読み出された画像を復号する復号ステップと、復号された画像の表示を制御する表示制御ステップとを含むことを特徴とする。
【００３７】
本発明の第２のプログラムは、動画像が記録されると共に、動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられている画像が記録されているデータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づく、画像の読み出しを制御する読み出し制御ステップと、読み出された画像を復号する復号ステップと、復号された画像の表示を制御する表示制御ステップとをコンピュータに実行させることを特徴とする。
【００３８】
記録装置は、独立した装置であっても良いし、記録再生装置の記録処理を行うブロックであっても良い。再生装置は、独立した装置であっても良いし、記録再生装置の再生処理を行うブロックであっても良い。
【００３９】
本発明の記録装置および方法、第１の記録媒体、並びに第１のプログラムにおいては、動画像の符号化の単位であって、一定の数の画像からなる単位から、１つの画像が抽出され、抽出された画像の情報量が削減され、情報量が削減された画像が所定の符号化方式で符号化され、画像が抽出された単位に、符号化された画像が関係付けられ、動画像を記録するデータ記録媒体への、単位に関係付けられた画像の記録が制御される。
【００４０】
本発明の記録装置および方法、第２の記録媒体、並びに第２のプログラムにおいては、動画像が記録されると共に、動画像の符号化の単位であって、一定の数の画像からなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられている画像が記録されているデータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づく、画像の読み出しが制御され、読み出された画像が復号され、復号された画像の表示が制御される。
【発明の効果】
【００４１】
以上のように、第１の本発明によれば、動画像に応じた画像をデータ記録媒体に記録させることができる。
【００４２】
また、第１の本発明によれば、動画像を再生する場合に、単位に関係付けられた画像を迅速に再生することができるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができる。
【００４３】
第２の本発明によれば、動画像に応じた画像を再生することができる。
【００４４】
また、第２の本発明によれば、単位に関係付けられた画像を迅速に再生することができるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができる。
【発明を実施するための最良の形態】
【００４５】
以下に本発明の実施の形態を説明するが、請求項に記載の構成要件と、発明の実施の形態における具体例との対応関係を例示すると、次のようになる。この記載は、請求項に記載されている発明をサポートする具体例が、発明の実施の形態に記載されていることを確認するためのものである。従って、発明の実施の形態中には記載されているが、構成要件に対応するものとして、ここには記載されていない具体例があったとしても、そのことは、その具体例が、その構成要件に対応するものではないことを意味するものではない。逆に、具体例が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その具体例が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００４６】
さらに、この記載は、発明の実施の形態に記載されている具体例に対応する発明が、請求項に全て記載されていることを意味するものではない。換言すれば、この記載は、発明の実施の形態に記載されている具体例に対応する発明であって、この出願の請求項には記載されていない発明の存在、すなわち、将来、分割出願されたり、補正により追加される発明の存在を否定するものではない。
【００４７】
請求項１に記載の記録装置は、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から、１つのピクチャを抽出する抽出手段（例えば、図３の抽出部５１）と、抽出されたピクチャの情報量を削減する削減手段（例えば、図３の画素数変換部４０）と、情報量が削減されたピクチャを所定の符号化方式で符号化する符号化手段（例えば、図３の静止画像圧縮部４１）と、抽出手段においてピクチャが抽出された単位に、符号化されたピクチャを関係付ける関係付け手段（例えば、図１８のステップＳ５６の処理を実行する図３のマイクロコンピュータ３１）と、動画像を記録するデータ記録媒体（例えば、図３のディスク４５）への、単位に関係付けられたピクチャの記録を制御する記録制御手段（例えば、図１９のステップＳ７７の処理を実行する図３のマイクロコンピュータ３１）とを備えることを特徴とする。
【００４８】
請求項９に記載の記録方法は、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から、１つのピクチャを抽出する抽出ステップ（例えば、図１８のステップＳ５３の処理）と、抽出されたピクチャの情報量を削減する削減ステップ（例えば、図１８のステップＳ５４の処理）と、情報量が削減されたピクチャを所定の符号化方式で符号化する符号化ステップ（例えば、図１８のステップＳ５５の処理）と、抽出ステップにおいてピクチャが抽出された単位に、符号化されたピクチャを関係付ける関係付けステップ（例えば、図１８のステップＳ５６の処理）と、動画像を記録するデータ記録媒体（例えば、図３のディスク４５）への、単位に関係付けられたピクチャの記録を制御する記録制御ステップ（例えば、図１９のステップＳ７７の処理）とを含むことを特徴とする。
【００４９】
請求項１１に記載のプログラムは、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から、１つのピクチャを抽出する抽出ステップ（例えば、図１８のステップＳ５３の処理）と、抽出されたピクチャの情報量を削減する削減ステップ（例えば、図１８のステップＳ５４の処理）と、情報量が削減されたピクチャを所定の符号化方式で符号化する符号化ステップ（例えば、図１８のステップＳ５５の処理）と、抽出ステップにおいてピクチャが抽出された単位に、符号化されたピクチャを関係付ける関係付けステップ（例えば、図１８のステップＳ５６の処理）と、動画像を記録するデータ記録媒体（例えば、図３のディスク４５）への、単位に関係付けられたピクチャの記録を制御する記録制御ステップ（例えば、図１９のステップＳ７７の処理）とをコンピュータに実行させることを特徴とする。
【００５０】
このプログラムは記録媒体（例えば、図３のディスク４８）に記録することができる。
【００５１】
請求項１２に記載の再生装置は、動画像が記録されると共に、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられているピクチャが記録されているデータ記録媒体（例えば、図２０のディスク４５）からの、ユーザからの指令および動画像の単位との関係に基づく、ピクチャの読み出しを制御する読み出し制御手段（例えば、図２０のマイクロコンピュータ３１）と、読み出されたピクチャを復号する復号手段（例えば、図２０の静止画像伸張部２０４）と、復号されたピクチャの表示を制御する表示制御手段（例えば、図２０の画像出力インターフェース２０６）とを備えることを特徴とする。
【００５２】
請求項１６に記載の再生方法は、動画像が記録されると共に、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられているピクチャが記録されているデータ記録媒体（例えば、図２０のディスク４５）からの、ユーザからの指令および動画像の単位との関係に基づく、ピクチャの読み出しを制御する読み出し制御ステップ（例えば、図２１のステップＳ１１０の処理）と、読み出されたピクチャを復号する復号ステップ（例えば、図２１のステップＳ１１２の処理）と、復号されたピクチャの表示を制御する表示制御ステップ（例えば、図２１のステップＳ１１４の処理）とを含むことを特徴とする。
【００５３】
請求項１８に記載のプログラムは、動画像が記録されると共に、動画像の符号化の単位であって、一定の数のピクチャからなる単位（例えば、図４のGOP）から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられているピクチャが記録されているデータ記録媒体（例えば、図２０のディスク４５）からの、ユーザからの指令および動画像の単位との関係に基づく、ピクチャの読み出しを制御する読み出し制御ステップ（例えば、図２１のステップＳ１１０の処理）と、読み出されたピクチャを復号する復号ステップ（例えば、図２１のステップＳ１１２の処理）と、復号されたピクチャの表示を制御する表示制御ステップ（例えば、図２１のステップＳ１１４の処理）とをコンピュータに実行させることを特徴とする。
【００５４】
このプログラムは記録媒体（例えば、図２０のディスク４８）に記録することができる。
【００５５】
図３は、本発明の係る記録装置の一実施の形態の構成を示すブロック図である。図３で示される記録装置は、マイクロコンピュータ３１乃至モードダイアル４６を含むように構成される。
【００５６】
マイクロコンピュータ３１は、例えば、ROM（Read Only Memory）、RAM（Random Access Memory）、シリアルインターフェース、またはパラレルインターフェースなどを内蔵する、いわゆる組み込み型のマイクロコンピュータである。マイクロコンピュータ３１は、所定の制御プログラムを実行して、記録装置の全体を制御する。マイクロコンピュータ３１は、所定の制御プログラムを実行して、ユーザの操作に応じた記録開始停止ボタン３２からの信号を基に、記録装置の各部に動作を指示する。マイクロコンピュータ３１は、所定の制御プログラムを実行して、バッファ４３に記憶されているデータのファイル方式を整える。
【００５７】
撮影部３３は、レンズや絞りなどの光学系およびCCD（Charge Coupled Device）またはCMOS（Complementary Metal-Oxide Semiconductor）センサなどの撮像素子からなり、動画像である被写体の画像を撮影して、撮影の結果得られた動画像の画像信号を動画像入力インターフェース３４に供給する。動画像入力インターフェース３４は、撮影部３３とバッファメモリ３５とのインターフェースであり、例えば、撮影部３３から供給された画像信号をアナログデジタル変換したり、シリアルパラレル変換するなど、画像信号を所定の方式の動画像の画像データに変換して、その画像データをバッファメモリ３５に供給する。
【００５８】
音声変換部３６は、例えば、マイクロフォンなどからなり、被写体からの音声またはその周囲の音声を取得して、取得した音声に対応する音声信号を音声入力インターフェース３７に供給する。音声変換部３６から出力される音声信号は、撮影部３３から出力される画像信号に同期している。音声入力インターフェース３７は、音声変換部３６とバッファメモリ３５とのインターフェースであり、例えば、音声変換部３６から供給された音声信号をアナログデジタル変換したり、シリアルパラレル変換するなど、音声信号を所定の方式の音声データに変換して、その音声データをバッファメモリ３５に供給する。
【００５９】
バッファメモリ３５は、例えば、半導体メモリからなり、動画像入力インターフェース３４から供給された画像データ、および音声入力インターフェース３７から供給された音声データを一時的に記憶する。バッファメモリ３５は、記憶している画像データを動画像圧縮部３８および画素数変換部４０に供給する。また、バッファメモリ３５は、記憶している音声データを音声圧縮部４２に供給する。
【００６０】
動画像圧縮部３８は、マイクロコンピュータ３１の制御の基に、バッファメモリ３５から供給された、動画像の画像データを所定の方式で圧縮符号化して、圧縮符号化された画像データをマルチプレクサ３９に供給する。例えば、動画像圧縮部３８は、バッファメモリ３５から供給された、動画像の画像データをMPEG２方式で圧縮符号化して、圧縮符号化された画像データをマルチプレクサ３９に供給する。
【００６１】
画素数変換部４０は、マイクロコンピュータ３１の制御の基に、動画像の画像データから所定のピクチャ（フレームまたはフィールド）を抽出し、抽出したピクチャの画素数を変換する。例えば、画素数変換部４０は、抽出したピクチャから画素を間引くことにより、ピクチャの画素数を変換する。
【００６２】
画素数変換部４０には、抽出部５１が設けられている。抽出部５１は、例えば、図４で示されるように、動画像圧縮部３８においてMPEG２方式で圧縮符号化される動画像の画像データのうち、１つのGOPから１つのフレーム（ピクチャ）を抽出する。
【００６３】
より具体的には、例えば、動画像圧縮部３８が、１秒あたり３０フレームの動画像を、連続する１５フレームからなるGOPを単位として圧縮符号化する場合、抽出部５１は、それぞれのGOPを構成する１５のフレームから１つのフレームを抽出する。
【００６４】
例えば、画素数変換部４０は、それぞれのGOPから抽出されたフレームから画素を間引いて画素数を変換する。
【００６５】
画像数変換部４０は、画素数を変換した画像データを静止画像圧縮部４１に供給する。静止画像圧縮部４１は、マイクロコンピュータ３１の制御の基に、画素数変換部４０から供給された画像データを、静止画像を圧縮する圧縮符号化方式で符号化する。例えば、静止画像圧縮部４１は、画素数変換部４０から供給された画像データを、JPEG（Joint Photographic Experts Group）方式で符号化する。静止画像圧縮部４１は、符号化した画像データをサムネイルデータとしてバッファメモリ４３に供給する。
【００６６】
音声圧縮部４２は、マイクロコンピュータ３１の制御の基に、バッファメモリ３５から供給された、音声データを所定の方式で圧縮符号化して、圧縮符号化された音声データをマルチプレクサ３９に供給する。音声圧縮部４２から出力される音声データは、動画像圧縮部３８から出力される画像データに同期している。例えば、音声圧縮部４２は、バッファメモリ３５から供給された、音声データをAC3（Audio Code Number 3（Dolby Digital（商標））方式で圧縮符号化して、圧縮符号化された音声データをマルチプレクサ３９に供給する。
【００６７】
マルチプレクサ３９は、動画像圧縮部３８から供給された画像データ、および音声圧縮部４２から供給された音声データを多重化して、多重化された画像データおよび音声データをバッファメモリ４３に供給する。例えば、マルチプレクサ３９は、画像データおよび音声データをMPEG２のシステムストリーム方式として多重化して、多重化により生成された、画像データおよび音声データからなるMPEG２のシステムストリーム方式のデータをバッファメモリ４３に供給する。
【００６８】
バッファメモリ４３は、マルチプレクサ３９から供給された多重化された画像データおよび音声データ、並びに静止画像圧縮部４１から供給されたサムネイルデータを一時的に記憶する。
【００６９】
マイクロコンピュータ３１は、バッファメモリ４３に記憶されているサムネイルデータの方式を整えて、所定のファイル方式とする。サムネイルデータのファイル方式については、図７乃至図１３を参照して後述する。
【００７０】
ドライブ４４は、バッファメモリ４３から、多重化された画像データおよび音声データ、並びに所定のファイル方式とされたサムネイルデータを読み出して、データ記録媒体の一例であるディスク４５に記録する。ディスク４５は、磁気ディスク、光ディスク、または光磁気ディスクなどである。
【００７１】
図５は、ディスク４５に記録されたサムネイルデータの一例を示す図である。サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１つのサムネイルを表示させるためのデータである。ディスク４５において、ECC（Error Correction Coding）によりエラー訂正される単位が１２キロバイトであるとした場合、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１２キロバイト以下に圧縮される。
【００７２】
ここで、例えば、ECC（Error Correction Coding）によりエラー訂正されるデータの単位は、データの記録が管理される単位である、１つのクラスタに記録される。
【００７３】
サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録される。この場合、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのいずれかが、１２キロバイト未満であるとき、１２キロバイト未満であるサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのいずれかには、１２キロバイトとなるように任意にデータ列が付加される。任意のデータ列の付加により１２キロバイトとされたサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれは、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録される。
【００７４】
例えば、図５で示す例において、サムネイルデータ８１−１は、１２キロバイト未満なので、１２キロバイトとなるように任意にデータ列が付加され、１２キロバイトとされたサムネイルデータ８１−１が、１つのクラスタに記録される。
【００７５】
例えば、図５で示す例において、サムネイルデータ８１−ｎは、１２キロバイトなので、任意にデータ列は付加されることなく、そのまま、１つのクラスタに記録される。
【００７６】
このようにすると、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのうちの１つを読み出す場合、１つのクラスタからデータを読み出せば良いので、より迅速にディスク４５からサムネイルデータ８１−１乃至サムネイルデータ８１−ｎを読み出すことができる。
【００７７】
以下、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎを個々に区別する必要がない場合、単にサムネイルデータ８１と称する。
【００７８】
モードダイアル４６は、ユーザの操作に応じて、記録装置の動作モードを指示する信号をマイクロコンピュータ３１に供給する。例えば、動作モードを変更することによって、記録される画像データの１つのフレーム（ピクチャ）の画素数を変化させたり、サムネイルデータを記録するか否かを変更させることができる。
【００７９】
ドライブ４７は、必要に応じて記録装置に装着される。ドライブ４７は、制御プログラムを記録しているディスク４８からプログラムを読み出して、マイクロコンピュータ３１に供給する。マイクロコンピュータ３１は、内蔵している書き換え可能なROMまたはRAMに、ディスク４８から読み出されたプログラムを記憶させて、そのプログラムを実行する。ドライブ４７およびディスク４８の機能をドライブ４４およびディスク４５で置き換えることも可能である。
【００８０】
図６は、多重化されている動画像データおよび音声データと、サムネイルデータとの同期を説明する図である。図６において、MPEGトラックは、動画像データおよび音声データからなり、サムネイルトラックは、サムネイルデータからなる。図６において、１つの四角は、１つの画像を示す。ここで、トラックとは、一連の画像または音声の系列である。
【００８１】
例えば、MPEG２のシステムストリーム方式のデータを構成する動画像データが、１５のフレームからなるGOPを単位として符号化され、サムネイルデータが、それぞれのGOPのフレームのうちの１つのフレームから生成される場合、MPEG２のシステムストリームにおける１つのＧＯＰと、１つのサムネイルデータとが対応することになる。この場合、１つのサムネイルデータは、動画像の再生における、０．５秒の時間に対応することになる。
【００８２】
図７乃至図１３を参照して、１つのＧＯＰに対応付けられたサムネイルデータ８１のファイル方式を説明する。
【００８３】
サムネイルデータ８１のファイル方式として、Quick Time（商標）ファイルフォーマットを利用することができる。以下、Quick Time（商標）ファイルフォーマットをQTファイルフォーマットと称する。
【００８４】
QTファイルフォーマットにおいて、動画像データ、音声データ、または静止画像データなどがまとめられて、それぞれブロック化され、また、ブロック化された動画像データ、音声データ、または静止画像データなどを管理するための管理情報も、それぞれまとめてブロック化される。このようなブロックは、基本的なデータの単位であり、アトムと称される。ブロック化された動画像データ、音声データ、または静止画像データなどは、トラックごとに管理され、その情報はトラックアトムと称される。また、複数のトラックをまとめて１つの動画データとして管理する情報は、ムービーアトムと称される。
【００８５】
なお、１つのムービーデータアトムは、１つのトラックに対応する。
【００８６】
図７は、サムネイルデータ８１を格納する、QTファイルフォーマットの一例であるPlaylist File（PLF）方式のファイルの例を説明する図である。サムネイルデータ８１を格納する、PLF方式ファイル１０１の先頭には、ファイルのタイプを記述するデータ（図中のファイルタイプデータ）が配置され、ファイルのタイプを記述するデータの次に、ファイルプロファイルを記述するデータ（図中のプロファイルデータ）が配置される。
【００８７】
例えば、ファイルのタイプを記述するデータは、ISO（International Organization for Standardization）のBaseMediaFileFormat(ISO14496-12)のMP4拡張(ISO14496-14)に準拠した方式とすることができる。また、例えば、ファイルのプロファイルを記述するデータには、PLF方式であることを示す値が設定される。
【００８８】
PLF方式ファイル１０１において、ファイルプロファイルを記述するデータに続いて、ムービーアトム（図中のmoovで示すデータ）が配置される。図７のムービーアトムに配置されるビデオトラックのトラックアトム（図中のtrak（vide）で示すデータ）は、サムネイルデータ８１の管理情報である。図７のムービーアトムに配置されるMPEG２のシステムストリーム（MPEG２プログラムストリーム）トラックのトラックアトム（図中のtrak（MPEG２プログラムストリーム）で示すデータ）は、動画像データおよび音声データが多重化されているMPEG２のシステムストリームの管理情報である。
【００８９】
トラックアトムのメディアアトム（図中のmdiaで示すデータ）には、対応するムービーデータアトムの圧縮方式、格納場所、表示時間などを管理する管理情報が格納される。メディアアトムにおけるメディア情報アトム（図中のminfで示すデータ）には、最小の管理単位であるサンプルに関係する各種の情報が配置される。例えば、MPEG２のシステムストリーム（MPEG２プログラムストリーム）トラックにおいて、サンプルは、１つのフレームであり、サムネイルデータ８１のビデオトラックにおいて、サンプルは、１つのサムネイルデータ８１である。
【００９０】
メディア情報アトムにおけるサンプルテーブルアトム（図中のstblで示すデータ）には、個々のサンプルに関係する各種の情報が配置される。サンプルテーブルアトムにおける時間サンプルアトム（図中のsttsで示すデータ）には、各サンプルと再生における時刻との関係が記述される。サンプルテーブルアトムにおけるサンプルチャンクアトム（図中のstscで示すデータ）には、サンプルと、そのサンプルから構成されるチャンクとの関係が記述される。
【００９１】
ここで、チャンクとは、複数のサンプルの集合よりなるトラックにおけるデータの単位である。
【００９２】
また、サンプルテーブルアトムにおけるサンプルサイズアトム（図中のstszで示すデータ）には、各サンプルのデータ量が記述される。サンプルテーブルアトムにおけるチャンクオフセットアトム（図中のstcoで示すデータ）には、ファイルの先頭を基準にした各チャンクの位置情報が記述される。
【００９３】
さらに、PLF方式ファイル１０１には、ムービーデータアトム（図中のmdatで示すデータ）として、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎが格納されている。PLF方式ファイル１０１において、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎは、順に配置される。
【００９４】
すなわち、図７のムービーアトムのトラックアトムの時間サンプルテーブルアトムには、ムービーデータアトムとしてのサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれの、再生における時刻が記述される。
【００９５】
これにより、図６で示されるように、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、MPEG２のシステムストリームの１つのGOPに対応させて、再生することができるようになる。
【００９６】
このようにサムネイルデータ８１−１乃至サムネイルデータ８１−ｎをPLF方式ファイル１０１に格納するようにした場合、ディスク４５に記録されるファイルの数をより少なくすることができる。
【００９７】
図８は、PLF方式ファイル１０１とは別に、サムネイルデータ８１を格納したファイルを説明する図である。図８で示されるファイル１１１は、PLF方式ファイル１０１から参照される、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎを格納するファイルである。ファイル１１１には、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎが順に配置される。
【００９８】
この場合、PLF方式ファイル１０１のトラックアトムのメディアインフォメーションアトム（図中のminfで示すデータ）には、例えば、ファイル１１１の格納場所（パスおよびファイル名）など、ファイル１１１を参照するための管理情報が格納される。
【００９９】
これにより、PLF方式ファイル１０１に、ムービーデータアトムとしてサムネイルデータ８１を格納せずに、サムネイルデータ８１を外部の参照される独自の方式のファイル１１１として記録し、PLF方式ファイル１０１を基に、サムネイルデータ８１を再生することができる。この場合においても、PLF方式ファイル１０１には、ファイル１１１に格納されているサムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれの、再生における時刻が記述されるので、図６で示されるように、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、MPEG２のシステムストリームの１つのGOPに対応させて、再生することができる。
【０１００】
また、PLF方式のファイル１０１によって参照されるファイルとして、静止画像パッケージ方式のファイルにサムネイルデータ８１を格納することもできる。
【０１０１】
図９は、サムネイルデータ８１を格納する、静止画像パッケージ方式のファイルの例を説明する図である。静止画像パッケージ方式のファイルである静止画像パッケージ方式ファイル１２１は、PLF方式のファイル１０１と同様のデータ構造であり、図９において、図７に示す場合と同様のデータには、同様の名前を記載しているので、その説明は省略する。
【０１０２】
静止画像パッケージ方式ファイル１２１のファイルのプロファイルを記述するデータには、静止画像パッケージ方式であることを示す値が設定される。
【０１０３】
静止画像パッケージ方式ファイル１２１には、サムネイルデータ８１の管理情報である、トラックアトム（図中のtrak（vide）で示すデータ）が格納される。静止画像パッケージ方式ファイル１２１は、PLF方式のファイル１０１によって参照されるファイルなので、静止画像パッケージ方式ファイル１２１には、MPEG２のシステムストリームのトラックアトムは格納されない。
【０１０４】
静止画像パッケージ方式ファイル１２１におけるトラックアトムは、PLF方式のファイル１０１におけるトラックアトムと同様に記述される。また、静止画像パッケージ方式ファイル１２１には、ムービーデータアトム（図中のmdatで示すデータ）として、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎが格納されている。
【０１０５】
さらに、動画像における時間の範囲であるロケーションのそれぞれに、個々に対応させた複数のメタデータまたは画像データを格納するファイル方式である、ロケーション関係データファイル方式のファイルにサムネイルデータ８１−１乃至サムネイルデータ８１−ｎを格納し、トラックに関係する管理情報を格納するトラック管理ファイル方式のファイルによって、再生における時刻を記述するようにしてもよい。
【０１０６】
図１０は、この場合のトラック管理ファイル方式のファイルの例を示す図であり、図１１は、この場合のロケーション関係データファイル方式のファイルの例を示す図である。
【０１０７】
トラック管理ファイル１３１においてビデオトラックを利用することはできないので、図１０で示されるように、トラック管理ファイル１３１における最初のトラックアトム（図中のtrak（タイムロケーションデータ）で示すデータ）は、図１１で示されるロケーション関係データファイル１４１の管理情報とされ、トラック管理ファイル１３１における次のトラックアトム（図中のtrak（MPEG２プログラムストリーム）で示すデータ）は、動画像データおよび音声データが多重化されているMPEG２のシステムストリームの管理情報とされる。
【０１０８】
ロケーション関係データファイル１４１に対するトラックアトムにおいて、サンプルは、ロケーション関係データファイル１４１格納されている、複数のロケーションに対するデータのそれぞれである。すなわち、ロケーション関係データファイル１４１に対するトラックアトムにおける、メディア情報アトム（図中のminfで示すデータ）には、ロケーション関係データファイル１４１における複数のロケーションに対する各データに関する情報が格納される。ロケーション関係データファイル１４１に対するトラックアトムにおける、メディア情報アトムのサンプルテーブルアトムにおける時間サンプルアトム（図中のsttsで示すデータ）には、サンプルである、ロケーション関係データファイル１４１における複数のロケーションに対するデータのそれぞれと再生における時刻との関係が記述される。
【０１０９】
図１１で示されるように、ロケーション関係データファイル１４１には、ロケーション毎にデータが格納される。
【０１１０】
ここで、ロケーションとは、図１２で示されるように、動画像における時間の範囲であり、複数のロケーションのそれぞれは、他のロケーションと重複することなく、また、隙間があくことなく、順に連続するように配置される。すなわち、ロケーションを順に指定することによって、経過する時間の範囲を順に指定することができる。
【０１１１】
トラック管理ファイル１３１およびロケーション関係データファイル１４１を利用する場合、１つのロケーションに、１つのサムネイル（サムネイルデータ８１）が対応付けられる。
【０１１２】
例えば、図１２で示されるように、最初のロケーション１には、サムネイル１（例えば、サムネイルデータ８１−１）が対応付けられ、ロケーション１の次のロケーション２には、サムネイル２（例えば、サムネイルデータ８１−２）が対応付けられ、ロケーション２の次のロケーション３には、サムネイル３（例えば、サムネイルデータ８１−３）が対応付けられ、同様に、ｎ番目のロケーションｎには、サムネイルｎ（例えば、サムネイルデータ８１−ｎ）が対応付けられる。
【０１１３】
図１１で示されるように、ロケーション関係データファイル１４１において、それぞれのロケーションに対するデータとして、データの順番を示すデータ番号および単位メタデータ（メタデータユニット）が配置されている。単位メタデータには、単位メタデータのデータ量、記述に利用される言語、メタデータの符号化方式、メタデータのタイプを識別するデータタイプ識別番号、メタデータとしてのサムネイルデータ８１、およびサムネイルデータ８１以外のデータが順に配置される。なお、サムネイルデータ８１の次に配置される、サムネイルデータ８１以外のデータは、単位メタデータに格納しても、格納しなくともよい。
【０１１４】
従って、トラック管理ファイル方式のトラック管理ファイル１３１のトラックアトムのメディアアトム（図１０中のmdiaで示すデータ）に、例えば、ロケーション関係データファイル１４１の格納場所（パスおよびファイル名）など、ロケーション関係データファイル１４１を参照するための管理情報を格納するようにし、サンプルテーブルアトム（図１０中のstblで示すデータ）に、ロケーション関係データファイル１４１における、ロケーションに対するデータのそれぞれについての情報（例えば、データの番号およびデータの番号と再生における時刻との関係を示す情報など）を配置するようにすれば、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、ロケーションに対応させて再生することができるようになる。
【０１１５】
ロケーションをMPEG２のシステムストリームのGOPのそれぞれが再生される時間とすれば、図６で示されるように、サムネイルデータ８１−１乃至サムネイルデータ８１−ｎのそれぞれを、MPEG２のシステムストリームの１つのGOPに対応させて、再生することができる。
【０１１６】
なお、ロケーション関係データファイル方式のファイルにサムネイルデータ８１を格納しないで、ロケーション関係データファイル方式のファイルから、外部のファイルに格納されたサムネイルデータ８１をさらに参照するようにしてもよい。
【０１１７】
図１３は、サムネイルデータ８１を格納しないで、外部のファイルに格納されたサムネイルデータ８１をさらに参照するロケーション関係データファイル１５１、およびサムネイルデータ８１を格納した参照されるファイル１１１の例を示す図である。
【０１１８】
ロケーション関係データファイル１５１において、それぞれのロケーションに対するデータとして、データ番号および単位メタデータ（メタデータユニット）が配置されている。単位メタデータには、単位メタデータのデータ量、記述に利用される言語、メタデータの符号化方式、メタデータのタイプを識別するデータタイプ識別番号、メタデータが順に配置される。ロケーション関係データファイル１５１のメタデータは、ファイル１１１のファイル名（パスを含む）、ファイル１１１におけるサムネイルデータ８１のそれぞれのオフセット、およびファイル１１１におけるサムネイルデータ８１のそれぞれのデータサイズからなる。
【０１１９】
メタデータにおけるオフセットは、ファイル１１１の先頭から、そのメタデータで参照されるサムネイルデータ８１の先頭までのデータ量を示す。メタデータにおけるデータサイズは、そのメタデータで参照されるサムネイルデータ８１のデータ量を示す。
【０１２０】
次に、ディスク４５に記録されるMPEG２のシステムストリームおよびサムネイルデータ８１の、ディスク４５上の配置について説明する。
【０１２１】
MPEG２のシステムストリームの動画像の再生における予め定めた時間を単位として、ディスク４５上の連続する領域にMPEG２のシステムストリームが記録される。
【０１２２】
図１４のストリームユニット１６１−１乃至ストリームユニット１６１−６は、動画像の再生における予め定めた１０秒乃至２０秒の時間のMPEG２のシステムストリームの記録単位である。MPEG２のシステムストリームは、動画像の再生における予め定めた時間ごとに、１つの記録単位（例えば、ストリームユニット１６１−１乃至ストリームユニット１６１−６のいずれか）とされ、ディスク４５に記録される。ストリームユニット１６１−１乃至ストリームユニット１６１−６は、動画像の再生における予め定めた時間に分割された動画像のデータであるとも言える。
【０１２３】
以下、ストリームユニット１６１−１乃至ストリームユニット１６１−６を個々に区別する必要がないとき、単にストリームユニット１６１と称する。
【０１２４】
なお、ストリームユニット１６１は、ディスク４５において、１つの連続した領域に記録される。
【０１２５】
図１４で示されるように、ストリームユニット１６１に連続する領域であるサムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２にサムネイルデータ８１が記録される。例えば、サムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２は、ディスク４５の物理アドレスにおいて、ストリームユニット１６１の前側に、ストリームユニット１６１に隣接して設けられる。
【０１２６】
このようにすることで、サムネイルデータ８１を読み出してから、ストリームユニット１６１を読み出す場合、サムネイルデータ８１を読み出した後に、シーク時間やディスク回転待ち時間を必要とせずに、即座に、ストリームユニット１６１を読み出すことができる。サムネイルデータ８１を記録する場合のシークの回数または回転待ちの回数を、サムネイルデータ８１を記録しない場合のシークの回数または回転待ちの回数と同じとすることができ、この方式は、ディスク４５がアクセス時間（シークまたは回転待ちの時間）の比較的長い光ディスクなどである場合に適した記録方式であると言える。
【０１２７】
以下、サムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２を個々に区別する必要がないとき、単に、サムネイルデータ記録領域１６２と称する。
【０１２８】
図１５は、ストリームユニット１６１にサムネイルデータ８１を隣接して記録する場合の、ディスク４５への記録の処理を説明する図である。
【０１２９】
バッファメモリ４３には、MPEG２のシステムストリームを記憶するバッファおよびサムネイルデータ８１を記憶するバッファが個々に設けられる。例えば、バッファメモリ４３における２つのバッファは、ハードウェアとして個々に設けるようにしてもよいが、１つのハードウェアとしてのバッファメモリ４３上のアドレスを基に、所定のアドレスで領域を２つに分割することにより論理的に設けるようにしてもよい。
【０１３０】
図１５の上側は、バッファリングされている、MPEG２のシステムストリームのデータ量の時間に対する変化を示し、図１５の下側は、バッファリングされている、サムネイルデータ８１のデータ量の時間に対する変化を示す。図１５の縦方向は、データ量を示し、図１５の横方向は、時間を示す。
【０１３１】
記録を開始してから所定の時間が経過し、時刻t1になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、バッファリングされている、MPEG２のシステムストリームのディスク４５へのストリームユニット１６１−１としての記録が開始される。時刻t2において、ストリームユニット１６１−１の最後までMPEG２のシステムストリームが記録されたので、時刻t2から時刻t3の期間において、シークするかまたはディスクの回転を待機し、時刻t3において、次のストリームユニット１６１−２への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１３２】
ストリームユニット１６１−２にMPEG２のシステムストリームが記録されている期間の最中である、時刻t4において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームをディスク４５に記録している間、サムネイルデータ８１のデータ量を監視しない。
【０１３３】
時刻t5において、ストリームユニット１６１−２の最後までMPEG２のシステムストリームが記録されたので、時刻t5において、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。
【０１３４】
時刻t5において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t5から時刻t6の期間において、シークされるかまたはディスクの回転が待機され、時刻t6において、サムネイルデータ記録領域１６２−１への、バッファリングされているサムネイルデータ８１の記録が開始される。
【０１３５】
なお、図５を参照して説明したように、サムネイルデータ８１は、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録される。この場合、サムネイルデータ８１が、１２キロバイト未満であるとき、１２キロバイト未満であるサムネイルデータ８１には、１２キロバイトとなるように任意にデータ列が付加される。
【０１３６】
サムネイルデータ記録領域１６２−１は、１または複数のクラスタからなる、連続した領域であり、サムネイルデータ記録領域１６２−１には、１または複数のサムネイルデータ８１が記録される。
【０１３７】
時刻t7において、サムネイルデータ記録領域１６２−１へのサムネイルデータ８１の記録が終了したので、サムネイルデータ記録領域１６２−１に続くストリームユニット１６１−３への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１３８】
時刻t8において、ストリームユニット１６１−３の最後までMPEG２のシステムストリームが記録されたので、時刻t8から時刻t9の期間において、シークするかまたはディスクの回転を待機し、時刻t9において、次のストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１３９】
時刻t10において、バッファリングされている、MPEG２のシステムストリームのデータ量が１クラスタ以下になったので、ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断され、バッファにMPEG２のシステムストリームがたまるまで待機される。
【０１４０】
ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断されている期間の最中である、時刻t11において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームの記録を中断している間、サムネイルデータ８１のデータ量を監視しない。
【０１４１】
時刻t12になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、記録が中断されていたストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が再開される。
【０１４２】
時刻t13において、ストリームユニット１６１−４の最後までMPEG２のシステムストリームが記録されたとき、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。
【０１４３】
時刻t13において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t13から時刻t14の期間において、シークされるかまたはディスクの回転が待機され、時刻t14において、サムネイルデータ記録領域１６２−２への、バッファリングされているサムネイルデータ８１の記録が開始される。
【０１４４】
時刻t15において、サムネイルデータ記録領域１６２−２へのサムネイルデータ８１の記録が終了したので、サムネイルデータ記録領域１６２−２に続くストリームユニット１６１−５への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１４５】
サムネイルデータ記録領域１６２−２にサムネイルデータ８１を記録する場合、サムネイルデータ記録領域１６２−１の場合と同様に、１２キロバイト未満であるサムネイルデータ８１には、１２キロバイトとなるように任意にデータ列がパディングされて、サムネイルデータ８１のそれぞれが１つのクラスタに記録される。サムネイルデータ記録領域１６２−２は、１または複数のクラスタからなる、連続した領域であり、サムネイルデータ記録領域１６２−２には、１または複数のサムネイルデータ８１が記録される。
【０１４６】
時刻t16において、ストリームユニット１６１−５の最後までMPEG２のシステムストリームが記録されたので、時刻t16から時刻t17の期間において、シークするかまたはディスクの回転を待機し、時刻t17において、次のストリームユニット１６１−６への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１４７】
ストリームユニット１６１と離れた位置に、サムネイルデータ記録領域１６２同士を隣接して記録することもできる。
【０１４８】
図１６は、隣接して記録されているサムネイルデータ記録領域１６２の例を示す図である。サムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４は、ストリームユニット１６１−１乃至ストリームユニット１６１−（ｎ＋１）とは離れた位置に、相互に隣接して設けられる。
【０１４９】
このようにすることで、多数のサムネイルデータ８１をディスク４５から読み出す場合であっても、シーク時間やディスク回転待ち時間を必要とせずに、即座に、ディスク４５から多数のサムネイルデータ８１を読み出すことができる。サムネイルデータ８１を記録する場合のシークの回数または回転待ちの回数が、サムネイルデータ８１を記録しない場合のシークの回数または回転待ちの回数に比較して増加するが、サムネイルデータ８１を読み出す場合には、複数のサムネイルデータ記録領域１６２を連続して読み出すことができるので、ディスク４５がアクセス時間（シークまたは回転待ちの時間）の比較的短いハードディスクなどである場合に適した記録方式であると言える。
【０１５０】
図１７は、ストリームユニット１６１とは離れた位置に、サムネイルデータ８１をまとめて記録する場合の、ディスク４５への記録の処理を説明する図である。この場合においても、バッファメモリ４３には、MPEG２のシステムストリームを記憶するバッファおよびサムネイルデータ８１を記憶するバッファが個々に設けられる。
【０１５１】
図１７の上側は、バッファリングされている、MPEG２のシステムストリームのデータ量の時間に対する変化を示し、図１５の下側は、バッファリングされている、サムネイルデータ８１のデータ量の時間に対する変化を示す。図１７の縦方向は、データ量を示し、図１７の横方向は、時間を示す。
【０１５２】
記録を開始してから所定の時間が経過し、時刻t31になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、バッファリングされている、MPEG２のシステムストリームのディスク４５へのストリームユニット１６１−１としての記録が開始される。時刻t32において、ストリームユニット１６１−１の最後までMPEG２のシステムストリームが記録されたので、時刻t32から時刻t33の期間において、シークするかまたはディスクの回転を待機し、時刻t33において、次のストリームユニット１６１−２への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１５３】
ストリームユニット１６１−２にMPEG２のシステムストリームが記録されている期間の最中である、時刻t34において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームをディスク４５に記録している間、サムネイルデータ８１のデータ量を監視しない。
【０１５４】
時刻t35において、ストリームユニット１６１−２の最後までMPEG２のシステムストリームが記録されたので、時刻t35において、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。
【０１５５】
時刻t35において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t35から時刻t36の期間において、シークされ、時刻t36において、サムネイルデータ記録領域１６２−１への、バッファリングされているサムネイルデータ８１の記録が開始される。
【０１５６】
なお、この場合も、図５を参照して説明したように、サムネイルデータ８１は、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録され、クラスタがパディングされる。サムネイルデータ記録領域１６２−１は、１または複数のクラスタからなる、連続した領域であり、サムネイルデータ記録領域１６２−１には、１または複数のサムネイルデータ８１が記録される。
【０１５７】
時刻t37において、サムネイルデータ記録領域１６２−１へのサムネイルデータ８１の記録が終了したので、時刻t37から時刻t38の期間において、シークされ、時刻t38において、サムネイルデータ記録領域１６２−１と離れた位置のストリームユニット１６１−３への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１５８】
時刻t39において、ストリームユニット１６１−３の最後までMPEG２のシステムストリームが記録されたので、時刻t39から時刻t40の期間において、シークするかまたはディスクの回転を待機し、時刻t40において、次のストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１５９】
時刻t41において、バッファリングされている、MPEG２のシステムストリームのデータ量が１クラスタ以下になったので、ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断され、バッファにMPEG２のシステムストリームがたまるまで待機される。
【０１６０】
ストリームユニット１６１−４へのMPEG２のシステムストリームの記録が中断されている期間の最中である、時刻t42において、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったとする。記録装置は、MPEG２のシステムストリームの記録を中断している間、サムネイルデータ８１のデータ量を監視しない。
【０１６１】
時刻t43になったとき、バッファリングされている、MPEG２のシステムストリームのデータ量が、システムストリーム記録開始閾値以上となったので、記録が中断されていたストリームユニット１６１−４への、バッファリングされている、MPEG２のシステムストリームの記録が再開される。
【０１６２】
時刻t44において、ストリームユニット１６１−４の最後までMPEG２のシステムストリームが記録されたとき、記録装置は、バッファリングされている、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となったか否かを判定する。
【０１６３】
時刻t44において、サムネイルデータ８１のデータ量が、サムネイルデータ記録開始閾値以上となっているので、判定の結果を基に、時刻t44から時刻t45の期間においてシークされ、時刻t45において、サムネイルデータ記録領域１６２−２への、バッファリングされているサムネイルデータ８１の記録が開始される。
【０１６４】
時刻t46において、サムネイルデータ記録領域１６２−２へのサムネイルデータ８１の記録が終了したので、時刻t46から時刻t47の期間においてシークされ、時刻t47において、サムネイルデータ記録領域１６２−２と離れた位置のストリームユニット１６１−５への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１６５】
時刻t48において、ストリームユニット１６１−５の最後までMPEG２のシステムストリームが記録されたので、時刻t48から時刻t49の期間において、シークするかまたはディスクの回転を待機し、時刻t49において、次のストリームユニット１６１−６への、バッファリングされている、MPEG２のシステムストリームの記録が開始される。
【０１６６】
次に、フローチャートを参照して、記録装置による処理を説明する。
【０１６７】
図１８は、記録装置によるデータの変換の処理を説明するフローチャートである。ステップＳ５１において、動画像圧縮部３８は、MPEG２方式によって、取得した動画像を圧縮する。ステップＳ５２において、音声圧縮部４２は、AC3方式によって、取得した音声を圧縮する。
【０１６８】
ステップＳ５３において、画素数変換部４０の抽出部５１は、バッファメモリ３５に記憶されている動画像データから、動画像圧縮部３８において圧縮される動画像の１つのGOPから１つのピクチャ（フレーム）を抽出する。例えば、動画像圧縮部３８において、GOPを構成するピクチャ（フレーム）の数が予め定まっている場合、その数のピクチャ（フレーム）毎に１つのピクチャ（フレーム）を抽出する。また、例えば、抽出部５１は、動画像圧縮部３８からのGOPの境界を示す信号を基に、動画像の１つのGOPから１つのピクチャ（フレーム）を抽出するようにしてもよい。
【０１６９】
ステップＳ５４において、画素数変換部４０は、抽出したフレームの画素数を変換する。例えば、ステップＳ５４において、画素数変換部４０は、抽出したフレームの画素のうち、フレームの対して所定の位置の画素を間引くことにより、フレームの画素数を変換する。より具体的には、ステップＳ５４において、画素数変換部４０は、抽出したフレームの画素のうち、縦２×横２の相互に隣接する４つの画素の画素値の平均値を算出して、算出した平均値を４つの画素に代わる１つの画素に設定して、４つの画素から３つの画素を間引くことにより、フレームの画素数を変換する。
【０１７０】
なお、ステップＳ５４において、画素数変換部４０は、任意の数の画素数からなるフレームに変換することができ、変換されたフレームの画素数そのものは、本発明を限定するものではない。
【０１７１】
ステップＳ５５において、静止画像圧縮部４１は、画素数を変換したフレームを、JPEG方式により静止画像として圧縮して、サムネイルデータを生成する。静止画像圧縮部４１は、生成したサムネイルデータをバッファメモリ４３に記憶させる。
【０１７２】
ステップＳ５６において、マイクロコンピュータ３１は、圧縮して得られたサムネイルデータのファイル方式を整える。例えば、ステップＳ５６において、マイクロコンピュータ３１は、圧縮して得られたサムネイルデータのファイル方式を、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、またはトラック管理ファイル１３１から参照されるロケーション関係データファイル１４１とすることができる。
【０１７３】
なお、サムネイルデータが他のファイルから参照されるファイル方式とされた場合には、マイクロコンピュータ３１は、サムネイルデータを参照するファイルを生成し、生成したファイルもサムネイルデータとして、ディスク４５に記録される。
【０１７４】
なお、ステップＳ５１乃至ステップＳ５５の処理は、動画像圧縮部３８乃至音声圧縮部４２および抽出部５１により実行されると説明したが、制御プログラムを実行するマイクロコンピュータ３１が、ステップＳ５１乃至ステップＳ５５の処理を実行するようにしてもよい。
【０１７５】
図１９は、制御プログラムを実行するマイクロコンピュータ３１による、データの記録の処理を説明するフローチャートである。ステップＳ７１において、制御プログラムは、バッファメモリ４３から記憶しているMPEG２システムストリームのデータ量を取得して、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、予め定めたシステムストリーム記録開始閾値以上になったか否かを判定する。
【０１７６】
ステップＳ７１において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量がシステムストリーム記録開始閾値以上になっていないと判定された場合、手続きは、ステップＳ７１に戻り、MPEG２システムストリームのデータ量がシステムストリーム記録開始閾値以上になるまで、判定の処理を繰り返す。
【０１７７】
ステップＳ７１において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量がシステムストリーム記録開始閾値以上になったと判定された場合、ステップＳ７２に進み、制御プログラムは、ドライブ４４に、バッファメモリ４３に記憶されているMPEG２システムストリームを１クラスタ分ディスク４５に記録させる。
【０１７８】
ステップＳ７３において、制御プログラムは、ストリームユニットの終端までMPEG２システムストリームを記録したか否かを判定し、ストリームユニットの終端までMPEG２システムストリームを記録していないと判定された場合、ステップＳ７４に進む。ステップＳ７４において、制御プログラムは、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、１クラスタ未満になったか否かを判定する。
【０１７９】
ステップＳ７４において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、１クラスタ未満になっていないと判定された場合、さらにそのストリームユニットにMPEG２システムストリームを記録することができるので、ステップＳ７２に戻り、クラスタへのMPEG２システムストリームの記録の処理を繰り返す。
【０１８０】
ステップＳ７２乃至ステップＳ７４の処理が繰り返されることにより、ストリームユニットの終端までMPEG２システムストリームが記録されることになる。
【０１８１】
ステップＳ７４において、バッファメモリ４３に記憶されているMPEG２システムストリームのデータ量が、１クラスタ未満になったと判定された場合、さらにそのストリームユニットにMPEG２システムストリームを記録することができないので、バッファメモリ４３にMPEG２システムストリームがたまるまで待機するために、ステップＳ７１に戻り、上述した処理を繰り返す。
【０１８２】
なお、ストリームユニットの途中までMPEG２システムストリームが記録されて、ステップＳ７４の判定のよって、手続きがステップＳ７１に戻った場合、次に実行されるステップＳ７２の処理においては、途中までMPEG２システムストリームが記録されたストリームユニットに続いて、MPEG２システムストリームが記録される。
【０１８３】
一方、ステップＳ７３において、ストリームユニットの終端までMPEG２システムストリームを記録したと判定された場合、ステップＳ７５に進み、制御プログラムは、サムネイルデータのデータ量が、予め定めたサムネイルデータ記録開始閾値以上になったか否かを判定する。ステップＳ７５において、サムネイルデータのデータ量がサムネイルデータ記録開始閾値以上になったと判定された場合、ステップＳ７６に進み、制御プログラムは、１つのサムネイルデータが、ECCによりエラー訂正される単位のデータ量と同じ、例えば１２キロバイトとなるように、サムネイルデータにパディングする。
【０１８４】
ステップＳ７７において、制御プログラムは、ドライブ４４に、パディングされた１つのサムネイルデータをディスク４５の１つのクラスタに記録させる。
【０１８５】
ステップＳ７８において、制御プログラムは、バッファメモリ４３に記憶されているサムネイルデータがなくなったか否かを判定し、バッファメモリ４３に記憶されているサムネイルデータがなくなっていないと判定された場合、さらにサムネイルデータを連続している領域であるサムネイルデータ記録領域１６２に記録させるために、ステップＳ７６に戻り、サムネイルデータの記録の処理を繰り返す。
【０１８６】
ステップＳ７８において、バッファメモリ４３に記憶されているサムネイルデータがなくなったと判定された場合、サムネイルデータを記録することはできないので、ステップＳ７４に進み、ディスク４５に記録できるMPEG２システムストリームがバッファメモリ４３に記憶されているか否かの判定の処理が実行され、上述した処理が繰り返される。
【０１８７】
ステップＳ７５において、サムネイルデータのデータ量がサムネイルデータ記録開始閾値以上になっていないと判定された場合、サムネイルデータをディスク４５に記録させる必要はないので、ステップＳ７４に進み、ディスク４５に記録できるMPEG２システムストリームがバッファメモリ４３に記憶されているか否かの判定の処理が実行され、上述した処理が繰り返される。
【０１８８】
以上のように、記録装置によって、ディスク４５に、動画像の符号化の単位であって、複数のフレーム（ピクチャ）からなる単位から抽出されたフレームに対応するサムネイルデータが、抽出された単位に関係付けて記録される。
【０１８９】
次に、動画像の符号化の単位であって、複数のフレーム（ピクチャ）からなる単位から抽出されたフレームに対応するサムネイルデータが、抽出された単位に関係付けて記録されているディスク４５から、サムネイルデータを読み出す再生装置について説明する。
【０１９０】
ディスク４５からサムネイルデータを読み出す再生装置は、図３を参照して構成を説明した記録装置に対応する機能を含む記録再生装置として実現することができる。
【０１９１】
図２０は、図３を参照して構成を説明した記録装置に対応する機能を含む、本発明に係る記録再生装置における再生ブロックの一実施の形態の構成を示すブロック図である。図３に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。
【０１９２】
マイクロコンピュータ３１は、所定の制御プログラムを実行して、ユーザの操作に応じた再生開始停止ボタン２０１からの信号を基に、記録再生装置における再生ブロックの各部に動作を指示する。
【０１９３】
ドライブ４４は、マイクロコンピュータ３１の制御の基に、装着されたディスク４５から、MPEG２システムストリームおよびサムネイルデータを読み出す。ドライブ４４は、読み出したMPEG２システムストリームおよびサムネイルデータをバッファメモリ４３に記憶させる。
【０１９４】
デマルチプレクサ２０２は、バッファメモリ４３に記憶されているMPEG２システムストリームにおいて多重化されている動画像データと音声データとを分離して、分離した動画像データを動画像伸張部２０３に供給すると共に、分離した音声データを音声伸張部２０５に供給する。
【０１９５】
動画像伸張部２０３は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２から供給された、動画像データを圧縮符号化する所定の方式で圧縮符号化されている動画像データを復号することにより、伸張して、復号した動画像データをバッファメモリ３５に供給する。例えば、動画像伸張部２０３は、MPEG２方式により圧縮符号化されている動画像データを復号し、復号した動画像データ（いわゆる、ベースバンド動画像データ）をバッファメモリ３５に供給する。
【０１９６】
静止画像伸張部２０４は、マイクロコンピュータ３１の制御の基に、サムネイルデータを記憶しているバッファメモリ４３からサムネイルデータを取得して、静止画像データを圧縮符号化する所定の方式で圧縮符号化されているサムネイルデータを復号することにより、伸張して、復号したサムネイルデータをバッファメモリ３５に供給する。例えば、静止画像伸張部２０４は、JPEG方式により圧縮符号化されているサムネイルデータを復号して、復号したサムネイルデータをバッファメモリ３５に供給する。
【０１９７】
音声伸張部２０５は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２から供給された、音声データを圧縮符号化する所定の方式で圧縮符号化されている音声データを復号することにより、伸張して、復号した音声データをバッファメモリ３５に供給する。例えば、音声伸張部２０５は、AC3方式により圧縮符号化されている音声データを復号し、復号した音声データをバッファメモリ３５に供給する。
【０１９８】
画像出力インターフェース２０６は、バッファメモリ３５と表示部２０７とのインターフェースであり、例えば、バッファメモリ３５から供給された画像データをパラレルシリアル変換するなど、画像データを表示部２０７が利用することができる所定の方式の画像データ（画像信号）に変換して、その画像データを表示部２０７に供給する。画像出力インターフェース２０６は、表示部２０７における画像の表示を制御する。
【０１９９】
表示部２０７は、液晶表示装置または有機EL（Electro Luminescence）表示装置などからなり、画像出力インターフェース２０６を介して供給された画像データに基づいて、動画像および静止画像を表示する。
【０２００】
音声出力インターフェース２０８は、バッファメモリ３５と音声出力部２０９とのインターフェースであり、例えば、バッファメモリ３５から供給された音声データをパラレルシリアル変換するか、またはデジタルアナログ変換するなど、音声データを音声出力部２０９が利用することができる所定の方式の音声データ（音声信号）に変換して、その音声データ（音声信号）を音声出力部２０９に供給する。
【０２０１】
音声出力部２０９は、オーディオ増幅器またはラウドスピーカなどからなり、音声出力インターフェース２０８を介して供給された音声データ（音声信号）に基づいて、音声を出力する。
【０２０２】
図２１は、制御プログラムを実行するマイクロコンピュータ３１、静止画像伸張部２０４、および表示部２０７による、編集ポイントの検索表示の処理を説明するフローチャートである。
【０２０３】
ステップＳ１０１において、制御プログラムは、ドライブ４４にディスク４５から管理情報ファイルを読み出させる。例えば、ステップＳ１０１において、制御プログラムは、ドライブ４４に、ディスク４５から、外部のファイルに格納されるサムネイルデータ８１を参照するPLF方式ファイル１０１、または図１０の管理情報ファイルであるトラック管理ファイル１３１を読み出させる。ドライブ４４は、読み出した管理情報ファイルをバッファメモリ４３に記憶させる。
【０２０４】
ステップＳ１０２において、制御プログラムは、バッファメモリ４３から取得した管理情報ファイルを基に、ドライブ４４に、ディスク４５から最初のサムネイルデータ８１から順にバッファメモリ４３に記憶できるデータ量のサムネイルデータ８１を読み出させる。
【０２０５】
ステップＳ１０３において、制御プログラムは、ドライブ４４に、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。ステップＳ１０４において、静止画像伸張部２０４は、サムネイルデータ８１を記憶しているバッファメモリ４３からサムネイルデータ８１を取得して、取得したサムネイルデータ８１を伸張する。例えば、静止画像伸張部２０４は、JPEG方式で圧縮符号化されているサムネイルデータ８１を復号することにより、伸張する。
【０２０６】
ステップＳ１０５において、静止画像伸張部２０４は、伸張したサムネイルデータ８１をバッファメモリ３５に記憶させる。ステップＳ１０６において、画像出力インターフェース２０６は、バッファメモリ３５から取得したサムネイルデータ８１を基に、表示部２０７に画像を表示させるように、表示部２０７における画像の表示を制御する。
【０２０７】
ステップＳ１０７において、制御プログラムは、ユーザの操作に応じた再生開始停止ボタン２０１からの信号を基に、次のポイントへの移動が指示されたか否かを判定する。ステップＳ１０７において、次のポイントへの移動が指示されていないと判定された場合、画像の表示が継続されたまま、ステップＳ１０７に戻り、判定の処理が繰り返される。
【０２０８】
ステップＳ１０７において、次のポイントへの移動が指示されたと判定された場合、ステップＳ１０８に進み、制御プログラムは、読み出された管理情報ファイルを基に、指示されたポイントのGOPに対応するサムネイルデータ８１を特定する。
【０２０９】
ステップＳ１０９において、制御プログラムは、特定されたサムネイルデータ８１がバッファメモリ４３に記憶されているか否かを判定する。ステップＳ１０９において、特定されたサムネイルデータ８１がバッファメモリ４３に記憶されていないと判定された場合、ステップＳ１１０に進み、制御プログラムは、バッファメモリ４３から取得した管理情報ファイルを基に、ドライブ４４に、ディスク４５から特定されたサムネイルデータ８１から順にバッファメモリ４３に記憶できるデータ量のサムネイルデータ８１を読み出させる。
【０２１０】
ステップＳ１１０において、制御プログラムは、ドライブ４４に、ディスク４５の１つのサムネイルデータ記録領域１６２から、複数のサムネイルデータ８１を１回の処理でまとめて読み出させることができる。
【０２１１】
なお、図５を参照して説明したように、任意のデータ列の付加により１２キロバイトとされたサムネイルデータ８１は、１つのクラスタに、ECCによりエラー訂正される単位として、ディスク４５に記録されているので、制御プログラムは、次に読み出そうとするサムネイルデータ８１が記録されているクラスタの物理アドレスを簡単な演算で算出することができる。これにより、より迅速に、サムネイルデータ８１を読み出すことができるようになる。
【０２１２】
ステップＳ１１１において、制御プログラムは、ドライブ４４に、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させ、手続きは、ステップＳ１１２に進む。
【０２１３】
ステップＳ１０９において、特定されたサムネイルデータ８１がバッファメモリ４３に記憶されていると判定された場合、ディスク４５からサムネイルデータ８１を読み出す必要はないので、ステップＳ１１０およびステップＳ１１１の処理はスキップされて、手続きは、ステップＳ１１２に進む。
【０２１４】
ステップＳ１１２において、静止画像伸張部２０４は、サムネイルデータ８１を記憶しているバッファメモリ４３からサムネイルデータ８１を取得して、取得したサムネイルデータ８１を伸張する。例えば、静止画像伸張部２０４は、JPEG方式で圧縮符号化されているサムネイルデータ８１を復号することにより、伸張する。
【０２１５】
ステップＳ１１３において、静止画像伸張部２０４は、伸張したサムネイルデータ８１をバッファメモリ３５に記憶させる。ステップＳ１１４において、表示部２０７は、画像出力インターフェース２０６を介してバッファメモリ３５から取得したサムネイルデータ８１を基に、画像を表示させる。
【０２１６】
手続きは、ステップＳ１０７に戻り、ユーザからの指示に応じて、ディスク４５から指示されたポイントのGOPに対応するサムネイルデータ８１が読み出されて、復号されて、画像を表示する処理が繰り返される。
【０２１７】
以上のように、ディスク４５からサムネイルデータ８１だけを読み出すようにした場合、より迅速に所望のサムネイルを表示させることができる。また、ディスク４５からMPEG２システムストリームと共にサムネイルデータ８１を読み出すようにすることができる。
【０２１８】
例えば、ステップＳ１１４の処理において、図２２に示すように、表示部２０７は、画面全体に動画像２３１を表示すると共に、画面の一部の領域にサムネイル２３２を表示するようにしてもよい。この場合、例えば、ステップＳ１１４の処理において、表示部２０７は、通常の速度で再生されるように動画像２３１を表示すると共に、画面の一部の領域に、指示されたポイントのGOPに対応するサムネイル２３２を表示する。
【０２１９】
例えば、早送りまたは巻き戻しがユーザから指示された場合には、表示部２０７は、通常の速度で再生されるように動画像２３１を表示すると共に、画面の一部の領域に、早送りまたは巻き戻しされたサムネイル２３２を表示する。
【０２２０】
ユーザの指示によって、再生装置は、表示されているサムネイル２３２に対応するGOPから動画像２３１を表示部２０７に表示させることができる。
【０２２１】
このようにすることで、ユーザは、指示されたポイントのGOPに対応するサムネイル２３２により、動画像の概要を迅速に知ることができると共に、表示されている動画像により、動画像の詳細な内容を知ることができるようになる。これにより、所望の位置の動画像の頭出しまたは編集ポイントの位置決めを迅速にすることができる。
【０２２２】
なお、制御プログラムを実行するマイクロコンピュータ３１による、ディスク４５に記録されているサムネイルデータ８１と動画像データとを同時に読み出す処理を説明すると次のようになる。
【０２２３】
制御プログラムは、ドライブ４４に、ディスク４５から、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル１３１、およびファイルシステムのファイル管理情報を読み出させる。制御プログラムは、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル１３１およびファイルシステムのファイル管理情報を基に、ドライブ４４に、ディスク４５から、ストリームユニット１６１を単位として、MPEG２のシステムストリームを読み出させる。
【０２２４】
この場合、制御プログラムは、１つのストリームユニット１６１からのMPEG２のシステムストリームの読み出しが終了するまで、ドライブ４４に、MPEG２のシステムストリームの読み出しを継続させ、１つのストリームユニット１６１からのMPEG２のシステムストリームの読み出しが終了した場合、バッファメモリ４３に記憶されているMPEG２のシステムストリームのデータ量を算出する。
【０２２５】
制御プログラムは、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル方式のファイルおよびファイルシステムのファイル管理情報を基に、次に読み出そうとするMPEG２のシステムストリームのデータ量および動画像の再生時間を取得する。制御プログラムは、MPEG２のシステムストリームの管理情報ファイルであるトラック管理ファイル１３１、およびファイルシステムのファイル管理情報を基に、次に読み出そうとするMPEG２のシステムストリームが記録されているストリームユニット１６１の物理アドレス、および次に読み出そうとするサムネイルデータ８１が記録されているサムネイルデータ記録領域１６２の物理アドレスを求める。
【０２２６】
制御プログラムは、現在のバッファメモリ４３に記憶されているMPEG２のシステムストリームのデータ量、トラック管理ファイル１３１、およびファイルシステムのファイル管理情報を基に、次のストリームユニット１６１からMPEG２のシステムストリームを読み出して、バッファメモリ４３に記憶させた場合の、次のストリームユニット１６１からMPEG２のシステムストリームを読み出した時点における、バッファメモリ４３に記憶されると予測されるMPEG２のシステムストリームのデータ量を算出する。制御プログラムは、算出された予測されるMPEG２のシステムストリームのデータ量が、バッファメモリ４３の容量の上限値を超えるか否かを判定する。
【０２２７】
予測されるMPEG２のシステムストリームのデータ量が、バッファメモリ４３の容量の上限値を超えると判定された場合、制御プログラムは、ドライブ４４に、ディスク４５のストリームユニット１６１からのMPEG２のシステムストリームを読み出しを休止させ、ドライブ４４に、ディスク４５のサムネイルデータ記録領域１６２からサムネイルデータ８１を読み出させる。そして、サムネイルデータ記録領域１６２からのサムネイルデータ８１の読み出しが終了した場合、制御プログラムは、ドライブ４４に、ディスク４５のストリームユニット１６１からMPEG２のシステムストリームを読み出させる。
【０２２８】
一方、予測されるMPEG２のシステムストリームのデータ量が、バッファメモリ４３の容量の上限値を超えないと判定された場合、制御プログラムは、ドライブ４４に、ディスク４５のストリームユニット１６１からMPEG２のシステムストリームを読み出させる。
【０２２９】
このように、ストリームユニット１６１が終了する時点で、次に読み出すＡMPEG２のシステムストリームのストリームユニット１６１の読み出しが終了する時点における、バッファメモリ４３に記憶されると予測されるMPEG２のシステムストリームのデータ量を求め、予測されるデータ量に応じて、次に読み出しを行うデータを決めるようにしたので、ドライブ４４のアクセス回数が減り、ディスク４５からの単位時間あたりのデータ読み出し量が増え、データ読み出しの効率アップを図ることができる。
【０２３０】
図１４で示すように、ディスク４５において、ストリームユニット１６１−１乃至ストリームユニット１６１−６並びにサムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２が記録され、サムネイルデータ記録領域１６２−１がストリームユニット１６１−３に隣接し、サムネイルデータ記録領域１６２−２がストリームユニット１６１−６に隣接している場合、サムネイルデータ記録領域１６２−１およびサムネイルデータ記録領域１６２−２に記録されているサムネイルデータ８１を読み出すとき、図２３で示されるように、連続した領域であるサムネイルデータ記録領域１６２−１に記録されているサムネイルデータ８１が順に読み出されたのち、シークまたはディスク４５の回転待ちにより、再生装置の図示せぬヘッドがサムネイルデータ記録領域１６２−２に移動して、連続した領域であるサムネイルデータ記録領域１６２−２に記録されているサムネイルデータ８１が順に読み出される。
【０２３１】
従って、ストリームユニット１６１−１乃至ストリームユニット１６１−６を順に読み出す場合に比較して、極めて迅速に、サムネイルデータ８１をディスク４５から読み出すことができる。
【０２３２】
さらに、図１６で示すように、ディスク４５において、ストリームユニット１６１−１乃至ストリームユニット１６１−（ｎ＋１）およびサムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４が記録され、ストリームユニット１６１−１乃至ストリームユニット１６１−（ｎ＋１）とは離れた位置に、サムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４が隣接して記録されている場合、サムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４に記録されているサムネイルデータ８１を読み出すとき、図２４で示されるように、シークまたはディスク４５の回転待ちが発生することなく、連続した領域であるサムネイルデータ記録領域１６２−１乃至サムネイルデータ記録領域１６２−４に記録されているサムネイルデータ８１が順に読み出される。
【０２３３】
従って、さらに迅速に、サムネイルデータ８１をディスク４５から読み出すことができる。
【０２３４】
図２５は、サムネイルの早送りをする場合の、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量の変化を説明する図である。図２５の縦方向は、データ量を示し、図２５の横方向は、時間を示す。
【０２３５】
ここで、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は、現在表示されているサムネイルの次のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も後の（遅い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。
【０２３６】
早送りの処理が開始された場合、ドライブ４４は、ディスク４５からサムネイルデータ８１を読み出して、バッファメモリ４３に記憶させる。バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量がサムネイル表示開始閾値以上となった場合、サムネイルの表示の処理が開始され、バッファメモリ４３からサムネイルデータ８１が順に読み出される。
【０２３７】
１つのサムネイルを表示させるためのサムネイルデータ８１のデータ量は、動画像のデータ量に比較して、少ない。また、１つのサムネイルが１つのGOPに対応しているので、画像上の時間あたりのサムネイルデータ８１のデータ量は、より少ない。サムネイルの表示の処理が開始されても、表示に使用されるサムネイルデータ８１のデータ量に比較して、ディスク４５から読み出されて記憶されるサムネイルデータ８１のデータ量は多い。
【０２３８】
従って、サムネイルの表示の処理が開始されても、ディスク４５からサムネイルデータ８１を読み出していれば、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量は時間とともに増加する。
【０２３９】
例えば、時刻t101において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、時刻t101において、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。
【０２４０】
ドライブ４４が、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）と、サムネイルの表示の処理に応じて、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は減少する。
【０２４１】
例えば、時刻t103から時刻t104までの期間において、サムネイルの表示を一時停止すると、この期間において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。
【０２４２】
時刻t104において、より高速な早送りの処理が指示されると、時間当たりに使用されるサムネイルデータ８１のデータ量が増加するので、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量はより早く減少する。
【０２４３】
時刻t105において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、サムネイルデータ読み出し再開閾値以下になると、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを開始する。時刻t105から時刻t106までの期間において、シークされ、ディスク４５の回転が待機されて、時刻t106において、図示せぬヘッドが読み出そうとするサムネイルデータ８１が記録されている位置に到達すると、ドライブ４４は、ディスク４５からサムネイルデータ８１の読み出しを開始して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。
【０２４４】
例えば、時刻t107において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。
【０２４５】
例えば、時刻t108から、サムネイルの表示を一時停止すると、これ以後、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。
【０２４６】
図２６は、サムネイルの巻き戻しをする場合の、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量の変化を説明する図である。図２６の縦方向は、データ量を示し、図２６の横方向は、時間を示す。
【０２４７】
ここで、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は、現在表示されているサムネイルの前のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も前の（早い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。
【０２４８】
巻き戻しの処理が開始された場合、ドライブ４４は、ディスク４５からサムネイルデータ８１を読み出して、バッファメモリ４３に記憶させる。バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量がサムネイル表示開始閾値以上となった場合、サムネイルの表示の処理が開始され、バッファメモリ４３からサムネイルデータ８１が順に読み出される。
【０２４９】
ここで、巻き戻しをする場合、画像上の時刻の進行に対して逆の順にサムネイルが表示され、画像上の時刻の進行に対して逆の順にサムネイルデータ８１が必要とされる。
【０２５０】
図２７で示されるように、画像上の時刻において最も前のサムネイルのサムネイルデータ８１がサムネイルデータ記録領域１６２−１に記録され、画像上の時刻において、サムネイルデータ記録領域１６２−１に記録されているサムネイルデータ８１のサムネイルの次のサムネイルのサムネイルデータ８１がサムネイルデータ記録領域１６２−２に記録され、画像上の時刻において、サムネイルデータ記録領域１６２−２に記録されているサムネイルデータ８１のサムネイルの次のサムネイルのサムネイルデータ８１がサムネイルデータ記録領域１６２−３に記録されている場合、ドライブ４４は、ディスク４５のサムネイルデータ記録領域１６２−３からサムネイルデータ８１を読み出して、次に、サムネイルデータ記録領域１６２−２まで、シークし、ヘッドがサムネイルデータ記録領域１６２−２まで到達したとき、サムネイルデータ記録領域１６２−２からサムネイルデータ８１を読み出す。さらに、ドライブ４４は、サムネイルデータ記録領域１６２−１まで、シークし、ヘッドがサムネイルデータ記録領域１６２−１まで到達したとき、サムネイルデータ記録領域１６２−１からサムネイルデータ８１を読み出す。
【０２５１】
従って、図２８で示されるように、時刻t141から時刻t142までの期間において、サムネイルデータ記録領域１６２−３からサムネイルデータ８１が読み出されて、時刻t142において、読み出されたサムネイルデータ８１がバッファメモリ４３に供給されると、時刻t142において、読み出された一定のデータ量のサムネイルデータ８１がバッファメモリ４３に記憶されることになる。時刻t142から時刻t143までの期間において、サムネイルデータ記録領域１６２−２からサムネイルデータ８１が読み出されて、時刻t143において、読み出されたサムネイルデータ８１がバッファメモリ４３に供給されると、時刻t143において、読み出された一定のデータ量のサムネイルデータ８１がバッファメモリ４３に記憶される。同様に、時刻t143から時刻t144までの期間において、サムネイルデータ記録領域１６２−１からサムネイルデータ８１が読み出されて、時刻t144において、読み出されたサムネイルデータ８１がバッファメモリ４３に供給されると、時刻t144において、読み出された一定のデータ量のサムネイルデータ８１がバッファメモリ４３に記憶される。
【０２５２】
このように、巻き戻しをする場合、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は、時間の経過に対して、階段状に増加することになる。
【０２５３】
巻き戻しにおいても、表示に使用されるサムネイルデータ８１のデータ量に比較して、ディスク４５から読み出されるサムネイルデータ８１のデータ量が多い。
【０２５４】
従って、サムネイルの表示の処理が開始されても、ディスク４５からサムネイルデータ８１を読み出していれば、バッファメモリ４３に記憶されるサムネイルデータ８１のデータ量は時間とともに増加する。
【０２５５】
例えば、時刻t121において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、時刻t121において、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。
【０２５６】
ドライブ４４が、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）と、サムネイルの表示の処理に応じて、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は減少する。
【０２５７】
例えば、時刻t123から時刻t124までの期間において、サムネイルの表示を一時停止すると、この期間において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。
【０２５８】
時刻t124において、より高速な巻き戻しの処理が指示されると、時間当たりに使用されるサムネイルデータ８１のデータ量が増加するので、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量はより早く減少する。
【０２５９】
時刻t125において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、サムネイルデータ読み出し再開閾値以下になると、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを開始する。時刻t125から時刻t126までの期間において、シークされ、ディスク４５の回転が待機されて、時刻t126において、図示せぬヘッドが読み出そうとするサムネイルデータ８１が記録されている位置に到達すると、ドライブ４４は、ディスク４５からサムネイルデータ８１の読み出しを開始して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。
【０２６０】
例えば、時刻t127において、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量が、バッファメモリ４３に記憶可能なデータ量を示すバッファ上限値に等しくなった場合、ドライブ４４は、ディスク４５からのサムネイルデータ８１の読み出しを休止する（停止する）。
【０２６１】
例えば、時刻t128から、サムネイルの表示を一時停止すると、これ以後、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量は変化しない。
【０２６２】
図２９は、制御プログラムを実行するマイクロコンピュータ３１による、サムネイルデータの読み出しの処理を説明するフローチャートである。ステップＳ１４１において、制御プログラムは、ドライブ４４に、ディスク４５からサムネイルデータ８１を読み出させる。ドライブ４４は、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。
【０２６３】
ステップＳ１４２において、制御プログラムは、バッファメモリ４３に記憶されたサムネイルデータ８１のデータ量が、サムネイル表示開始閾値以上になったか否かを判定する。
【０２６４】
ここで、早送りまたは通常再生の場合、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量とは、現在表示されているサムネイルの次のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も後の（遅い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。また、巻き戻しの場合、バッファメモリ４３に記憶されているサムネイルデータ８１のデータ量とは、現在表示されているサムネイルの前のサムネイルを表示させるためのサムネイルデータ８１から、画像上の時刻において最も前の（早い）サムネイルを表示させるためのサムネイルデータ８１までのデータの量をいう。
【０２６５】
ステップＳ１４２において、バッファメモリ４３に記憶されたサムネイルデータ８１のデータ量が、サムネイル表示開始閾値以上になっていないと判定された場合、ステップＳ１４１に戻り、サムネイルデータの読み出しの処理が繰り返される。
【０２６６】
ステップＳ１４２において、バッファメモリ４３に記憶されたサムネイルデータのデータ量が、サムネイル表示開始閾値以上になったと判定された場合、静止画像伸張部２０４は、バッファメモリ４３に記憶されているサムネイルデータ８１を復号して、伸張し、表示部２０７にサムネイルを表示させる。
【０２６７】
ステップＳ１４４において、制御プログラムは、ドライブ４４に、ディスク４５からサムネイルデータ８１を読み出させる。ドライブ４４は、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。
【０２６８】
ステップＳ１４５において、制御プログラムは、バッファメモリ４３がいっぱいになったか否かを判定する。すなわち、ステップＳ１４５において、制御プログラムは、バッファメモリ４３に記憶されたサムネイルデータ８１のデータ量が、バッファメモリ上限値に到達したか（等しくなったか）否かを判定する。
【０２６９】
ステップＳ１４５において、バッファメモリ４３がいっぱいになっていないと判定された場合、手続きは、ステップＳ１４４に戻り、サムネイルデータ８１の読み出しの処理が繰り返される。
【０２７０】
ステップＳ１４５において、バッファメモリ４３がいっぱいになったと判定された場合、これ以上、バッファメモリ４３にサムネイルデータ８１を記憶させることはできないので、サムネイルデータ８１の読み出しを行わずに、ステップＳ１４６に進み、制御プログラムは、動画像の再生の順にサムネイルが表示されているか否か、すなわち、早送りまたは通常再生であるか否かを判定する。
【０２７１】
ステップＳ１４６において、動画像の再生の順にサムネイルが表示されていると判定された場合、すなわち、早送りまたは通常再生なので、ステップＳ１４７に進み、制御プログラムは、バッファメモリ４３に記憶されているサムネイルデータ８１のうち、現在表示されているサムネイルの次のサムネイルから、画像上の時刻において最も後の（遅い）サムネイルまでの、サムネイルデータ８１のデータの量を計算し、ステップＳ１４９に進む。
【０２７２】
ステップＳ１４６において、動画像の再生の順にサムネイルが表示されていないと判定された場合、すなわち、巻き戻しなので、ステップＳ１４８に進み、制御プログラムは、バッファメモリ４３に記憶されているサムネイルデータ８１のうち、画像上の時刻において最も前のサムネイルから、現在表示されているサムネイルの前のサムネイルまでの、サムネイルデータ８１のデータの量を計算し、ステップＳ１４９に進む。
【０２７３】
ステップＳ１４９において、制御プログラムは、算出されたデータ量がサムネイルデータ読み出し再開閾値以下であるか否かを判定する。ステップＳ１４９において、算出されたデータ量がサムネイルデータ読み出し再開閾値以下でないと判定された場合、まだ、サムネイルデータ８１を読み出す必要はないので、ステップＳ１４６に戻り、上述した処理を繰り返す。
【０２７４】
ステップＳ１４９において、算出されたデータ量がサムネイルデータ読み出し再開閾値以下であると判定された場合、サムネイルデータ８１を読み出す必要があるので、ステップＳ１４４に戻り、サムネイルデータ８１の読み出しの処理を実行する。
【０２７５】
以上の処理を図３０乃至図３４を参照して説明する。早送りにおいて、画像上の時刻t0におけるサムネイルの表示が指示された場合、制御プログラムは、ドライブ４４に、画像上において、時刻t0から所定の時間T1だけ遡った時刻（t0-T1）におけるサムネイルデータ８１から読み出しを開始するように指示する。
【０２７６】
以下、適宜、時刻tにおけるサムネイルデータ８１をサムネイルデータtと称する。
【０２７７】
時刻t0から時間T1だけ遡った時刻（t0-T1）におけるサムネイルデータ（t0-T1）から読み出すようにしたのは、巻き戻しの指示があった場合に、即座に、巻き戻しができるようにするためである。
【０２７８】
ドライブ４４は、ディスク４５から、サムネイルデータ（t0-T1）から画像上の時刻t0におけるサムネイルデータt0までを読み出して、リングバッファであるバッファメモリ４３に記憶させるとともに、サムネイルデータt0から、時刻t0から所定の時間T1だけ進んだ時刻（t0+T1）までのサムネイルデータ（t0+T1）を読み出して、リングバッファであるバッファメモリ４３に記憶させる。図３０中のＡは、バッファメモリ４３に記憶されている、画像上の時刻（t0-T1）から画像上の時刻t0までに対応するサムネイルデータ８１を便宜的に示す。図３０中のＢは、バッファメモリ４３に記憶されている、画像上の時刻t0から画像上の時刻（t0+T1）までに対応するサムネイルデータ８１を便宜的に示す。
【０２７９】
そして、ドライブ４４は、リングバッファであるバッファメモリ４３がいっぱいになるまで、ディスク４５から、サムネイルデータ８１を読み出して、サムネイルデータ８１をバッファメモリ４３に記憶させる。図３０中のＣは、バッファメモリ４３に記憶されている、画像上の時刻（t0+T1）から画像上の時刻（t0+Tn）までに対応するサムネイルデータ８１を便宜的に示す。
【０２８０】
早送りが実行されて、画像上の時刻tnのサムネイルが表示されると、図３１で示されるように、画像上の時刻t0から画像上の時刻tnまでに対応するサムネイルデータ８１が使用されてしまったので（この後の早送りの処理で使用することはできないので）、バッファメモリ４３に記憶されている、今後早送りの処理で使用することができるサムネイルデータ８１は、例えば、サムネイルデータ（t（n+1））乃至サムネイルデータ（tn+T1）だけになってしまう。図３０中のDは、バッファメモリ４３に記憶されている、画像上の時刻tnから画像上の時刻（tn+T1）までに対応するサムネイルデータ８１を便宜的に示す。
【０２８１】
今後早送りの処理で使用することができるサムネイルデータ８１のデータ量がサムネイルデータ読み出し再開閾値以下になると、図３２で示すように、ドライブ４４は、画像上の時刻（tn-T1）から画像上の時刻（tn+T1）までに対応するサムネイルデータ８１には上書きしないように、リングバッファであるバッファメモリ４３がいっぱいになるまで、ディスク４５から、サムネイルデータ（tn+T1）の次のサムネイルデータ８１を順に読み出して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。図３０中のＥは、バッファメモリ４３に記憶されている、画像上の時刻（tn+T1+1）からの画像上の時刻に対応するサムネイルデータ８１を便宜的に示す。
【０２８２】
一方、巻き戻しにおいて、画像上の時刻tｍのサムネイルが表示され、図３３で示されるように、画像上の時刻tmまでに対応するサムネイルデータ８１が使用されてしまった場合、バッファメモリ４３に記憶されている、今後巻き戻しの処理で使用することができるサムネイルデータ８１は、例えば、サムネイルデータ（t（m-1））乃至サムネイルデータ（tm-T1）だけになってしまう。図３０中のEは、バッファメモリ４３に記憶されている、画像上の時刻tmから画像上の時刻（tm-T1）までに対応するサムネイルデータ８１を便宜的に示す。
【０２８３】
今後巻き戻しの処理で使用することができるサムネイルデータ８１のデータ量がサムネイルデータ読み出し再開閾値以下になると、図３４で示すように、ドライブ４４は、画像上の時刻（tm+T1）から画像上の時刻（tm-T1）までに対応するサムネイルデータ８１には上書きしないように、リングバッファであるバッファメモリ４３がいっぱいになるまで、ディスク４５から、サムネイルデータ（tm-T1-1）からサムネイルデータ８１を逆に読み出して、読み出したサムネイルデータ８１をバッファメモリ４３に記憶させる。
【０２８４】
この場合、１つのサムネイル記録領域１６２毎にサムネイルデータ８１が読み出されるので、図３４中の太い矢印で示す順に、サムネイルデータ（tm-T1-1）を含む、図３０中のＦで示されるサムネイルデータ８１がバッファメモリ４３に記憶され、次に、図３０中のＦで示されるサムネイルデータ８１の前のＧで示されるサムネイルデータ８１がバッファメモリ４３に記憶される。同様に、画像上の時刻を遡るようにサムネイルデータ８１がディスク４５から読み出されて、バッファメモリ４３に記憶される。
【０２８５】
次に、ディスク４５に動画像データが記録されている場合に、その動画像データに対応するサムネイルを生成してディスク４５に記録するときの記録装置について説明する。
【０２８６】
図３５は、MPEG2プログラムストリームが記録されているディスク４５からMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応するサムネイルデータを生成してディスク４５に記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。図２０に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。
【０２８７】
マイクロコンピュータ３１は、所定の制御プログラムを実行して、ユーザの操作に応じた開始停止ボタン３０１からの信号を基に、記録再生装置の各部に動作を指示する。
【０２８８】
ドライブ４４は、ディスク４５からMPEG2方式のプログラムストリームを読み出し、読み出したMPEG2方式のプログラムストリームをバッファメモリ４３に記憶させる。デマルチプレクサ２０２は、バッファメモリ４３に記憶されているMPEG2方式のプログラムストリームから、MPEG2方式の画像データであるMPEG2ビデオエレメンタリストリームと音声データとを分離する。
【０２８９】
Iピクチャ選択復号部３０２は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２において分離されたMPEG2ビデオエレメンタリストリームのうち、I（イントラ）ピクチャを選択して、選択したIピクチャを復号する。Iピクチャ選択復号部３０２は、復号したピクチャを解像度変換部３０３に供給する。
【０２９０】
解像度変換部３０３は、画素数変換部４０と同様に、マイクロコンピュータ３１の制御の基に、復号されたピクチャの解像度を変換する。例えば、解像度変換部３０３は、抽出したピクチャから画素を間引くことにより、ピクチャの解像度を変換する。
【０２９１】
解像度変換部３０３は、画素数を変換した画像データをJPEG符号化部３０４に供給する。JPEG符号化部３０４は、マイクロコンピュータ３１の制御の基に、解像度変換部３０３から供給された画像データを、JPEG方式で符号化する。JPEG符号化部３０４は、JPEG方式で符号化した画像データをサムネイルデータとして、ファイルフォーマット変換部３０５に供給する。
【０２９２】
ファイルフォーマット変換部３０５は、サムネイルデータのファイル方式を、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、またはトラック管理ファイル１３１から参照されるロケーション関係データファイル方式に変換する。ファイルフォーマット変換部３０５は、ファイル方式を変換したサムネイルデータをバッファメモリ４３に供給する。
【０２９３】
ここで、ファイルフォーマット変換部３０５は、サムネイルの生成が指示された動画像データの総てのGOPについて、解像度変換部３０３からサムネイルデータが供給されてから、総てのサムネイルデータについて、一時に、１または所定の数のファイルとなるように、そのサムネイルデータのファイル方式をまとめて変換するようにしてもよい。
【０２９４】
ドライブ４４は、バッファメモリ４３に記憶されている、所定のファイル方式に変換されたサムネイルデータをディスク４５に記録する。ファイルフォーマット変換部３０５が、サムネイルの生成が指示された動画像データの総てのGOPについて、解像度変換部３０３からサムネイルデータが供給されてから、総てのサムネイルデータについて、一時に、１または所定の数のファイルとなるように、そのサムネイルデータのファイル方式をまとめて変換する場合、ドライブ４４は、まとめてファイル方式が変換されているサムネイルデータをディスク４５に記録する。
【０２９５】
図３６は、Iピクチャ選択復号部３０２の構成を示すブロック図である。バッファ３２１は、デマルチプレクサ２０２から供給された、MPEG2ビデオエレメンタリストリームであるMPEG2方式の動画像データを一時的に記憶する。Iピクチャ判定部３２２は、バッファ３２１に記憶されている、MPEG2方式の動画像データを構成するそれぞれのピクチャについて、例えば、ピクチャヘッダのpicture coding typeを参照することにより、Iピクチャであるか否かを判定する。
【０２９６】
セレクタ３２３は、Iピクチャ判定部３２２から供給される、ピクチャがIピクチャであるか否かを示す信号を基に、バッファ３２１に記憶されているピクチャのデータを可変長符号デコーダ３２４に供給させるか、またはバッファ３２１に記憶されているピクチャのデータの可変長符号デコーダ３２４への供給を抑制する。具体的には、セレクタ３２３は、Iピクチャ判定部３２２から、ピクチャがIピクチャであることを示す信号が供給された場合、バッファ３２１に記憶されているIピクチャであるピクチャのデータを可変長符号デコーダ３２４に供給させる。セレクタ３２３は、Iピクチャ判定部３２２から、ピクチャがIピクチャでないことを示す信号が供給された場合、バッファ３２１に記憶されているBピクチャまたはPピクチャであるピクチャのデータの可変長符号デコーダ３２４への供給を抑制する。
【０２９７】
可変長符号デコーダ３２４は、セレクタ３２３を介して、バッファ３２１から供給された、可変長符号化されているIピクチャのデータを復号して、復号したIピクチャのデータを逆量子化部３２５に供給する。逆量子化部３２５は、復号したIピクチャのデータの含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、Iピクチャのデータを逆量子化する。逆量子化部３２５は、逆量子化して得られたIピクチャのデータ、すなわちDCT（Discrete Cosine Transform）係数を逆DCT処理部３２６に供給する。
【０２９８】
逆DCT処理部３２６は、逆量子化部３２５から供給されたDCT係数を逆DCT変換することにより、圧縮されていない画像データである、いわゆるベースバンド画像データを生成して、ベースバンド画像データを出力する。
【０２９９】
図３７は、解像度変換部３０３の構成を示すブロック図である。ローパスフィルタ３４１は、Iピクチャ選択復号部３０２から供給された、ベースバンド画像データから画像の高周波成分を除去して（帯域を制限して）、画像の高周波成分を除去したベースバンド画像データを画素間引部３４２に供給する。例えば、ローパスフィルタ３４１は、縦２×横２の４画素について、画素値の平均値を算出して、算出された平均値をその４画素の画素値に設定することにより、画像の高周波成分を除去する。
【０３００】
画素間引部３４２は、画像の高周波成分が除去されたベースバンド画像データから、画素を間引いて、画素を間引いたベースバンド画像データをサムネイルデータとして出力する。例えば、画素間引部３４２は、ベースバンド画像データの画素を、縦２×横２の４画素の組に分けて、それぞれの４画素から３つの画素を除去することにより、ベースバンド画像データから、画素を間引く。
【０３０１】
図３８は、JPEG符号化部３０４の構成を示すブロック図である。DCT処理部３６１は、解像度変換部３０３から供給されたサムネイルデータをDCT変換し、DCT変換の結果得られたDCT係数を量子化部３６２に供給する。量子化部３６２は、DCT処理部３６１から供給されたDCT係数を所定の量子化係数により除算することにより、DCT係数を量子化し、量子化されたDCT係数を可変長符号化部３６３に供給する。可変長符号化部３６３は、量子化されたDCT係数を可変長符号に符号化することにより、JPEG方式により圧縮されているサムネイルデータを生成して、生成したJPEG方式により圧縮されているサムネイルデータを出力する。
【０３０２】
図３９は、サムネイルデータの生成の処理を説明するフローチャートである。ステップＳ３０１において、Iピクチャ選択復号部３０２は、ドライブ４４によって、ディスク４５から読み出されたMPEG2プログラムストリームである動画像データのそれぞれのGOPからIピクチャを抽出する（選択する）。ステップＳ３０２において、Iピクチャ選択復号部３０２は、抽出したIピクチャを復号する。
【０３０３】
ステップＳ３０３において、解像度変換部３０３は、復号したIピクチャの解像度を解像度を下げるように変換する。ステップＳ３０４において、JPEG符号化部３０４は、解像度を変換したIピクチャをJPEG方式で圧縮する。ステップＳ３０５において、ファイルフォーマット変換部３０５は、IピクチャをJPEG方式で圧縮して得られたサムネイルデータのファイル方式を整えて、ステップＳ３０１に戻り、上述した処理を繰り返す。
【０３０４】
サムネイルデータをIピクチャのストリームとして生成することもできる。
【０３０５】
図４０は、MPEG2プログラムストリームが記録されているディスク４５からMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスク４５に記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。図３５に示す場合と同様の部分に同一の符号を付してあり、その説明は省略する。
【０３０６】
Iピクチャ符号化部３８１は、解像度変換部３０３から供給された、解像度が変換されたベースバンド画像データであるサムネイルデータをIピクチャとして圧縮符号化する。Iピクチャ符号化部３８１は、Iピクチャとして圧縮符号化されたサムネイルデータをファイルフォーマット変換部３０５に供給する。
【０３０７】
図４１は、Iピクチャ符号化部３８１の構成を示すブロック図である。バッファ４０１は、解像度変換部３０３から供給された、解像度が変換されたベースバンド画像データであるサムネイルデータを一時的に記憶する。バッファ４０１は、記憶しているサムネイルデータを視覚パラメータ検出部４０２およびDCT処理部４０３に供給する。
【０３０８】
視覚パラメータ検出部４０２は、バッファ４０１に記憶されているサムネイルデータの画像の特徴を示す視覚パラメータを検出して、検出した視覚パラメータを制御部４０４に供給する。視覚パラメータは、例えば、MPEG2 TM（Test Model）5に規定されている、画素値の空間方向の変化を示すアクティビティとすることができる。
【０３０９】
DCT処理部４０３は、バッファ４０１から供給されたサムネイルデータをDCT変換し、DCT変換の結果得られたDCT係数を量子化部４０５に供給する。
【０３１０】
制御部４０４は、視覚パラメータ検出部４０２から供給された視覚パラメータおよびバッファ４０７に記憶されている圧縮サムネイルデータのデータ量を基に、量子化値を決定して、量子化値を量子化部４０５に供給する。例えば、制御部４０４は、MPEG2 TM5の規定と同様に、視覚パラメータを基に、高周波成分をより多く含む場合、より粗く量子化し、高周波成分がより少ない場合、より細かく量子化するように量子化値を決定する。また、制御部４０４は、バッファ４０７に記憶されている圧縮サムネイルデータのデータ量を基に、Iピクチャとして圧縮符号化されているサムネイルデータのデータ量が所定の上限を超えないように、量子化値を決定する。
【０３１１】
量子化部４０５は、DCT処理部４０３から供給されたDCT係数を、制御部４０４から供給された量子化値により除算することにより、DCT係数を量子化し、量子化されたDCT係数を可変長符号化部４０６に供給する。可変長符号化部４０６は、量子化されたDCT係数を可変長符号に符号化することにより、Iピクチャとして圧縮符号化されたサムネイルデータを生成して、生成したIピクチャとして圧縮符号化されたサムネイルデータをバッファ４０７に供給する。
【０３１２】
バッファ４０７は、Iピクチャとして圧縮符号化されているサムネイルデータを一時的に記憶する。バッファ４０７は、記憶しているIピクチャとして圧縮符号化されているサムネイルデータを出力する。
【０３１３】
図４２は、１つのIピクチャ毎の制御部４０４による符号量の制御の処理を説明するフローチャートである。ステップＳ３２１において、制御部４０４は、ピクチャに符号の量を割り当てる。例えば、ステップＳ３２１において、制御部４０４は、ピクチャに対する符号量の目標値ではなく、ピクチャに対する符号量の上限と所定のマージンとを考慮した符号量をピクチャに割り当てる。より具体的には、ステップＳ３２１において、制御部４０４は、符号量の上限からマージンを差し引いた値の符号量をピクチャに割り当てる。
【０３１４】
これは、Iピクチャとして圧縮符号化されたサムネイルデータのデータ量がステップＳ３２１における設定値を結果として超えてしまうことがあるので、後述するサムネイルの連続再生におけるVBVで示される制約を保証するためである。
【０３１５】
ステップＳ３２２において、制御部４０４は、ピクチャに割り当てられた符号の量を各マクロブロックに割り振るように、ピクチャに割り当てられた符号の量を基に、マクロブロックに符号の量を割り当てる。
【０３１６】
ステップＳ３２３において、制御部４０４は、視覚パラメータを用いて、最終的な量子化値を決定し、処理は終了する。
【０３１７】
このように、サムネイルデータは、所定の上限値以下のデータ量となるようにIピクチャとして圧縮符号化される。このようにすることで、サムネイルデータを早送り若しくは巻き戻しなどの特殊再生を行っても、復号においてアンダーフローを生じることなく、迅速にサムネイルを再生して、表示することができるようになる。
【０３１８】
この効果を、VBV（Video Buffering Verifier）のモデルを使用して説明する。VBVは、ISO13818-2 Annex Cに規定される、エンコーダの出力に接続される仮想的なデコーダのモデルであり、このモデルに含まれるVBVバッファに格納されるデータ量に対する拘束条件によって、ビットストリームに対する制限を規定するものである。VBVは、通常、復号側の制約を規定するものであるが、以下、符号化側に置き換えて説明する。
【０３１９】
図４３は、VBVのモデルの構成を示すブロック図である。符号化器４２１は、ピクチャに対応する符号をVBVバッファ４２２に出力する。VBVバッファ４２２は、符号化器４２１から供給された符号を一時的に記憶し、記憶している符号を出力する。
【０３２０】
ここで、符号化器４２１からVBVバッファ４２２へは、符号が瞬時に転送されると仮定する。また、VBVバッファ４２２に符号が記憶されていない場合、VBVバッファ４２２から符号は出力されず、VBVバッファ４２２に符号が記憶されている場合、VBVバッファ４２２から、最大転送レートで符号が出力されると仮定する。
【０３２１】
図４４は、サムネイルのデータ量に制限を設けない場合のVBVのモデルの動きを説明する図である。図４４において、縦方向は、VBVバッファ４２２に記憶される符号のデータ量を示し、横方向は、時間を示す。
【０３２２】
図４４において、時間Tは、フレームの期間［秒］を示し、フレームレートの逆数に等しい。
【０３２３】
VBVバッファ４２２が空の状態から符号化の処理が開始された時刻t=0において、符号化器４２１からデータ量P0の符号がVBVバッファ４２２に転送されるので、時刻t=0において、VBVバッファ４２２に記憶される符号のデータ量は、P0となる。VBVバッファ４２２から、最大の転送レートで符号が出力されるので、VBVバッファ４２２に記憶される符号のデータ量は、時間の経過とともに減少し、時刻t=Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、B1となる。同時に、時刻t=Tにおいて、P0に比較してより少ないデータ量であるデータ量P1の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、B1＋P1まで瞬時に増加する。
【０３２４】
同様に、時刻t=2Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、B2となる。同時に、時刻t=Tにおいて、P1とほぼ同じデータ量であるデータ量P2の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、B2＋P2まで瞬時に増加する。
【０３２５】
時刻t=Txにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となる。VBVバッファ４２２に記憶される符号のデータ量が0になると、VBVバッファ４２２は符号を出力しない。
【０３２６】
時刻t=3Tにおいて、P0に比較してより少なく、P1に比較してより多いデータ量であるデータ量P3の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P3まで瞬時に増加する。時刻t=4Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、P1とほぼ同じデータ量であるデータ量P4の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P4まで瞬時に増加する。
【０３２７】
このように、符号化器４２１から出力される１つのピクチャに対する符号の量が変化すると、アンダーフローまたはオーバーフローが生じる場合がある。
【０３２８】
例えば、時刻t=Tおよび時刻t=2Tにおいて、P1とほぼ同じデータ量であるデータ量P4の符号が符号化器４２１からVBVバッファ４２２に転送された場合、オーバーフローが発生してしまう。
【０３２９】
符号化側では、アンダーフローが発生しても、書き込みの待機をさせることができるので、アンダーフローの発生は許容されるが、オーバーフローが発生すると符号が欠落してしまうので、オーバーフローの発生は許容されない。
【０３３０】
このため、符号化において符号化されたデータのデータ量を監視し、符号の量を変化させるパラメータを用いて、符号化の処理をフィードバック制御して、オーバーフローを生じさせないようにしなければならない。
【０３３１】
ここで、符号化器４２１からVBVバッファ４２２に、フレームの期間Tにおいて、最大転送レートで出力できるデータ量の符号が常に転送される場合を考える。これは、例えば、ステップＳ３２１において、制御部４０４が、フレームの期間Tにおいて、最大転送レートで出力できるデータ量をピクチャに対する符号量の上限として、符号量をピクチャに割り当てることに相当する。
【０３３２】
VBVバッファ４２２から出力される符号の最大転送レートをRmax[bit/sec]とし、フレームレートをframe_rate[frameの数/sec]とすると、１フレーム（ピクチャ）当たりのサムネイルについて許容されるデータ量である許容最大符号量fb［bit/frame］は、Rmax/frame_rateで算出することができる。ここで、frame_rateは、NTSC（National Television System Committee）方式またはPAL（Phase Alternating （by） Line）方式などテレビジョン放送の方式により異なる。
【０３３３】
図４５は、各サムネイルのデータ量が、このように算出された許容最大符号量fbに等しい場合の、VBVのモデルの動きを説明する図である。図４５において、縦方向は、VBVバッファ４２２に記憶される符号のデータ量を示し、横方向は、時間を示す。
【０３３４】
図４５において、時間Tは、フレームの期間［秒］を示し、フレームレートの逆数に等しい。
【０３３５】
VBVバッファ４２２が空の状態から符号化の処理が開始された時刻t=0において、符号化器４２１からデータ量P0の符号がVBVバッファ４２２に転送されるので、時刻t=0において、VBVバッファ４２２に記憶される符号のデータ量は、P0（=許容最大符号量fb）となる。VBVバッファ４２２から、最大の転送レートで符号が出力されるので、VBVバッファ４２２に記憶される符号のデータ量は、時間の経過とともに減少し、時刻t=Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、時刻t=Tにおいて、P0と同じデータ量であるデータ量P1の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P1まで瞬時に増加する。
【０３３６】
VBVバッファ４２２から、最大の転送レートで符号が出力されるので、VBVバッファ４２２に記憶される符号のデータ量は、時間の経過とともに減少し、時刻t=2Tにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、時刻t=2Tにおいて、P0と同じデータ量であるデータ量P2の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P2まで瞬時に増加する。
【０３３７】
同様に、時刻t=3T乃至時刻t=nTにおいて、VBVバッファ４２２に記憶される符号のデータ量は、0となり、同時に、P0と同じデータ量の符号が符号化器４２１からVBVバッファ４２２に転送されるので、VBVバッファ４２２に記憶される符号のデータ量は、P0と同じデータ量まで瞬時に増加する。
【０３３８】
すなわち、符号化器４２１からVBVバッファ４２２に転送される時刻において、VBVバッファ４２２に記憶される符号のデータ量は、最大となり、そのデータ量は、許容最大符号量fbに等しい。
【０３３９】
図４０で構成が示される記録再生装置においては、許容最大符号量fb以下になるようにサムネイルのデータ量が制限されるので、図４５で示される場合よりも、オーバーフローがより起きにくいと言える。すなわち、図４５は、バッファの占有率が最も高い状態を示していると言える。
【０３４０】
ここで、再生側について、サムネイルを変速再生する場合のVBVについて説明する。変速再生においては、任意のサムネイル（ピクチャ）が、任意の順に再生されることになる。従って、それぞれのサムネイルのデータ量が変化する場合、大きなデータ量のサムネイルの再生が連続して要求されるときがある。このような場合には、VBVバッファの占有率が下がり、ときには、VBVバッファが枯渇して、アンダーフローが生じてしまう恐れがある。その結果、サムネイルの再生が間に合わなくなり、サムネイルの表示の切り替えがユーザの指示通りに行われなくなってしまう。
【０３４１】
しかしながら、総てのサムネイルのデータ量を許容最大符号量fb以下とすることによって、どのサムネイルが、どの順序で再生されても、VBVバッファの占有率が一定以下になることがなく、アンダーフローが生じるおそれがなくなる。その結果、サムネイルの表示の切り替えが、常に、ユーザの指示通りに行われることが保証される。
【０３４２】
図４６は、MPEG2のシステムストリームが記録されているディスク４５からMPEG2のシステムストリームを読み出して、MPEG2のシステムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスク４５に記録する、本発明に係る記録再生装置の一実施の形態の他の構成を示すブロック図である。図４０に示す場合と同様の部分に同一の符号を付してあり、その説明は省略する。
【０３４３】
Iピクチャ選択復号部４５１は、マイクロコンピュータ３１の制御の基に、デマルチプレクサ２０２において分離されたMPEG2ビデオエレメンタリストリームのうち、I（イントラ）ピクチャを選択して、選択したIピクチャをDCT係数まで復号する。Iピクチャ選択復号部４５１は、復号したDCT係数を周波数特性変換部４５２に供給する。
【０３４４】
周波数特性変換部４５２は、マイクロコンピュータ３１の制御の基に、復号されたDCT係数の周波数特性を変換する。例えば、周波数特性変換部４５２は、DCT係数のうち、画像の高周波に対応する成分を除去するか、減衰させることによりDCT係数の周波数特性を変換する。
【０３４５】
周波数特性変換部４５２は、周波数特性を変換したDCT係数をIピクチャ符号化部４５３に供給する。Iピクチャ符号化部４５３は、周波数特性変換部４５２から供給された、周波数特性を変換したDCT係数をIピクチャとして圧縮符号化する。Iピクチャ符号化部４５３は、DCT係数をIピクチャとして圧縮符号化して得られたサムネイルデータをファイルフォーマット変換部３０５に供給する。
【０３４６】
図４７は、Iピクチャ選択復号部４５１の構成を示すブロック図である。バッファ４７１は、デマルチプレクサ２０２から供給された、MPEG2ビデオエレメンタリストリームであるMPEG2方式の動画像データを一時的に記憶する。Iピクチャ判定部４７２は、バッファ４７１に記憶されている、MPEG2方式の動画像データを構成するそれぞれのピクチャについて、例えば、ピクチャヘッダのpicture coding typeを参照することにより、Iピクチャであるか否かを判定する。
【０３４７】
セレクタ４７３は、Iピクチャ判定部４７２から供給される、ピクチャがIピクチャであるか否かを示す信号を基に、バッファ４７１に記憶されているピクチャのデータを可変長符号デコーダ４７４に供給させるか、またはバッファ４７１に記憶されているピクチャのデータの可変長符号デコーダ４７４への供給を抑制する。具体的には、セレクタ４７３は、Iピクチャ判定部４７２から、ピクチャがIピクチャであることを示す信号が供給された場合、バッファ４７１に記憶されているIピクチャであるピクチャのデータを可変長符号デコーダ４７４に供給させる。セレクタ４７３は、Iピクチャ判定部４７２から、ピクチャがIピクチャでないことを示す信号が供給された場合、バッファ４７１に記憶されているBピクチャまたはPピクチャであるピクチャのデータの可変長符号デコーダ４７４への供給を抑制する。
【０３４８】
可変長符号デコーダ４７４は、セレクタ４７３を介して、バッファ４７１から供給された、可変長符号化されているIピクチャのデータを復号して、復号したIピクチャのデータを逆量子化部４７５に供給する。逆量子化部４７５は、復号したIピクチャのデータの含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、Iピクチャのデータを逆量子化する。逆量子化部４７５は、逆量子化して得られたIピクチャのデータ、すなわちDCT係数および量子化スケールを出力する。
【０３４９】
図４８は、周波数特性変換部４５２の構成を示すブロック図である。水平方向フィルタ４９１は、DCT係数のうち、水平方向に並ぶDCT係数について、高周波成分を除去するか、減衰させる。
【０３５０】
図４９で示されるように、DCT係数は、２次元に配置され、水平方向の次数（ｎ）は、０乃至７とされ、垂直方向の次数（ｍ）は、０乃至７とされる。水平方向の次数（ｎ）のより大きいDCT係数は、画像のより高い周波数の成分に対応し、垂直方向の次数（ｍ）のより大きいDCT係数は、画像のより高い周波数の成分に対応する。
【０３５１】
図５０は、水平方向フィルタ４９１の伝達関数H（n）および垂直方向フィルタ４９２の伝達関数V（m）を示す図である。例えば、水平方向フィルタ４９１は、図５０で示される伝達関数H（n）を基に、水平方向の次数（ｎ）のより大きいDCT係数を０とするか、またはその値を小さくして、DCT係数のうち、水平方向に並ぶDCT係数について、高周波成分を除去するか、減衰させる。
【０３５２】
水平方向フィルタ４９１は、水平方向に並ぶDCT係数について、高周波成分を除去したか、減衰させたDCT係数を垂直方向フィルタ４９２に供給する。
【０３５３】
垂直方向フィルタ４９２は、水平方向フィルタ４９１から供給されたDCT係数のうち、垂直方向に並ぶDCT係数について、高周波成分を除去するか、減衰させて、出力する。例えば、垂直方向フィルタ４９２は、図５０で示される伝達関数V（m）を基に、水平方向フィルタ４９１から供給された垂直方向の次数（m）のより大きいDCT係数を０とするか、またはその値を小さくして、DCT係数のうち、垂直方向に並ぶDCT係数について、高周波成分を除去するか、減衰させる。
【０３５４】
すなわち、周波数特性変換部４５２に入力されるDCT係数をd(n,m)とした場合、d(n,m)×H（n）×V（m）で算出されるDCT係数d'(n,m)が、図４８で構成が示される周波数特性変換部４５２から出力される。これは、DCT係数が周波数領域の値であるので、上述した伝達関数を乗算することにより、フィルタリングの処理が可能となるものである。
【０３５５】
換言すれば、８×８のDCT係数に、上述した伝達関数H（n）および伝達関数V（m）を乗算することにより、縦８画素×横８画素のブロックに、画像の周波数領域の制限をかけることができる。
【０３５６】
なお、Iピクチャ選択復号部４５１から出力された量子化スケールは、周波数特性変換部４５２をそのまま通過して、Iピクチャ符号化部４５３に入力される。
【０３５７】
図５１は、Iピクチャ符号化部４５３の構成を示すブロック図である。制御部５０１は、周波数特性変換部４５２を介してIピクチャ選択復号部４５１から供給された量子化スケールおよびバッファ５０４に記憶されている圧縮サムネイルデータのデータ量を基に、量子化値を決定して、量子化値を量子化部５０２に供給する。例えば、制御部５０１は、バッファ５０４に記憶されている圧縮サムネイルデータのデータ量を基に、Iピクチャとして圧縮符号化されているサムネイルデータのデータ量が所定の上限を超えないように、量子化値を決定する。
【０３５８】
量子化部５０２は、周波数特性変換部４５２から供給されたDCT係数を、制御部５０１から供給された量子化値により除算することにより、DCT係数を量子化し、量子化されたDCT係数を可変長符号化部５０３に供給する。Iピクチャ符号化部４５３に入力されるDCT係数は、高周波成分が除去されるか、減衰させられているので、周波数特性が変換される前のDCT係数に比較してより小さい値なので、量子化部５０２における再量子化において、その値が０となるDCT係数が増加し、打ち切り次数も低くなる。
【０３５９】
可変長符号化部５０３は、量子化されたDCT係数を可変長符号に符号化することにより、Iピクチャとして圧縮符号化されたサムネイルデータを生成して、生成したIピクチャとして圧縮符号化されたサムネイルデータをバッファ５０４に供給する。
【０３６０】
バッファ５０４は、Iピクチャとして圧縮符号化されているサムネイルデータを一時的に記憶する。バッファ５０４は、記憶している、Iピクチャとして圧縮符号化されているサムネイルデータを出力する。
【０３６１】
Iピクチャ符号化部４５３に入力されるDCT係数は、高周波成分が除去されるか、減衰させられているので、Iピクチャ符号化部４５３は、より少ないデータ量のサムネイルデータを出力することができる。
【０３６２】
図５２は、サムネイルデータの生成の他の処理を説明するフローチャートである。ステップＳ３６１において、Iピクチャ選択復号部４５１は、ドライブ４４によって、ディスク４５から読み出されたMPEG2プログラムストリームである動画像データのそれぞれのGOPからIピクチャを抽出する（選択する）。ステップＳ３６２において、Iピクチャ選択復号部４５１は、抽出したIピクチャをDCT係数に復号する。
【０３６３】
ステップＳ３６３において、周波数特性変換部４５２は、復号されたDCT係数の高次の成分を除去して、DCT係数の周波数特性を変換する。ステップＳ３６４において、Iピクチャ符号化部４５３は、周波数特性を変換したDCT係数をIピクチャとして圧縮符号化する。ステップＳ３６５において、ファイルフォーマット変換部３０５は、Iピクチャとして圧縮符号化されたサムネイルデータのファイル方式を整えて、ステップＳ３６１に戻り、上述した処理を繰り返す。
【０３６４】
図５３は、１つのIピクチャ毎の制御部５０１による符号量の制御の処理を説明するフローチャートである。ステップＳ３８１において、制御部５０１は、ピクチャに符号の量を割り当てる。例えば、ステップＳ３８１において、制御部５０１は、ピクチャに対する符号量の目標値ではなく、ピクチャに対する符号量の上限と所定のマージンとを考慮した符号量をピクチャに割り当てる。より具体的には、ステップＳ３８１において、制御部５０１は、符号量の上限からマージンを差し引いた値の符号量をピクチャに割り当てる。
【０３６５】
これは、Iピクチャとして圧縮符号化されたサムネイルデータのデータ量がステップＳ３２１における設定値を結果として超えてしまうことがあるので、上述したようにサムネイルの連続再生におけるVBVで示される制約を保証するためである。
【０３６６】
ステップＳ３８２において、制御部５０１は、ピクチャに割り当てられた符号の量を基に、最終的な量子化値を決定し、マクロブロックに符号の量を割り当て、処理は終了する。
【０３６７】
次に、MPEG2のシステムストリームが記録されているディスク４５からMPEG2のシステムストリームを読み出して、MPEG2のシステムストリームに対応するサムネイルデータを生成してディスク４５に記録したディスク４５からサムネイルデータを読み出して、サムネイルを再生する記録再生装置について説明する。
【０３６８】
図５４は、JPEG方式により圧縮符号化されているサムネイルデータ８１を基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。図２０に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。
【０３６９】
ファイルフォーマット変換部５２１は、マイクロコンピュータ３１の制御の基に、ドライブ４４によってディスク４５から読み出され、バッファメモリ４３に記憶された、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１を読み出す。
【０３７０】
ファイルフォーマット変換部５２１は、読み出したサムネイルデータ８１のファイル方式を変換し、ファイル方式を変換したサムネイルデータ８１をJPEG復号部５２２に供給する。例えば、ファイルフォーマット変換部５２１は、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１から、JPEG方式で圧縮符号化されているサムネイルデータ８１を抽出することにより、サムネイルデータ８１のファイル方式を変換する。
【０３７１】
JPEG復号部５２２は、マイクロコンピュータ３１の制御の基に、ファイルフォーマット変換部５２１から供給された、JPEG方式で圧縮符号化されているサムネイルデータ８１を復号して、復号して得られたベースバンド画像であるサムネイルデータ８１をバッファメモリ３５に記憶させる。
【０３７２】
図５５は、JPEG復号部５２２の構成を示すブロック図である。可変長符号デコーダ５４１は、ファイルフォーマット変換部５２１から供給された、可変長符号化されているサムネイルデータ８１を復号して、復号したサムネイルデータ８１を逆量子化部５４２に供給する。逆量子化部５４２は、復号したサムネイルデータ８１に含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、サムネイルデータ８１を逆量子化する。逆量子化部５４２は、逆量子化して得られたサムネイルデータ８１、すなわちDCT係数を逆DCT処理部５４３に供給する。
【０３７３】
逆DCT処理部５４３は、逆量子化部５４２から供給されたDCT係数を逆DCT変換することにより、圧縮されていない画像データである、いわゆるベースバンド画像データを生成して、ベースバンド画像データを出力する。
【０３７４】
図５６は、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。図２０に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。
【０３７５】
ファイルフォーマット変換部５６１は、マイクロコンピュータ３１の制御の基に、ドライブ４４によってディスク４５から読み出され、バッファメモリ４３に記憶された、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１を読み出す。
【０３７６】
ファイルフォーマット変換部５６１は、読み出したサムネイルデータ８１のファイル方式を変換し、ファイル方式を変換したサムネイルデータ８１をIピクチャ復号部５６２に供給する。例えば、ファイルフォーマット変換部５６１は、PLF方式、PLF方式のファイル１０１から参照されるファイル方式、静止画像パッケージ方式、トラック管理ファイル１３１から参照されるロケーション関係データファイル方式、またはロケーション関係データファイル１４１から参照されるファイル方式のサムネイルデータ８１から、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を抽出することにより、サムネイルデータ８１のファイル方式を変換する。
【０３７７】
Iピクチャ復号部５６２は、マイクロコンピュータ３１の制御の基に、ファイルフォーマット変換部５６１から供給された、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を復号して、復号して得られたベースバンド画像であるサムネイルデータ８１をバッファメモリ３５に記憶させる。
【０３７８】
図５７は、Iピクチャ復号部５６２の構成を示すブロック図である。可変長符号デコーダ５８１は、ファイルフォーマット変換部５６１から供給された、可変長符号化されているIピクチャのデータを復号して、復号したIピクチャのデータを逆量子化部５８２に供給する。逆量子化部５８２は、復号したIピクチャのデータの含まれる係数毎に、所定の値の逆量子化係数を乗算することにより、Iピクチャのデータを逆量子化する。逆量子化部５８２は、逆量子化して得られたIピクチャのデータ、すなわちDCT係数を逆DCT処理部５８３に供給する。
【０３７９】
逆DCT処理部５８３は、逆量子化部５８２から供給されたDCT係数を逆DCT変換することにより、圧縮されていない画像データである、いわゆるベースバンド画像データを生成して、ベースバンド画像データを出力する。
【０３８０】
サムネイルデータ８１が、例えば、画像の高周波成分を除去するように周波数特性が変換され、Iピクチャのストリームとして圧縮符号化されている場合、サムネイルの画素を間引いて表示するようにしてもよい。
【０３８１】
図５８は、Iピクチャのストリームとして圧縮符号化されているサムネイルデータ８１を基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態のさらに他の構成を示すブロック図である。図５６に示す場合と同様の部分に同一の符号を付してあり、その説明は適宜省略する。
【０３８２】
画素間引部５９１は、Iピクチャ復号部５６２から供給された、ベースバンド画像データとしてのサムネイルデータ８１において、サムネイルデータ８１の画素のうち、所定の位置の画素を間引いて、画素を間引いたサムネイルデータ８１をバッファメモリ３５に記憶させる。例えば、画素間引部５９１は、サムネイルデータ８１の画素を、縦２×横２の４画素の組に分けて、それぞれの４画素から３つの画素を除去することにより、サムネイルデータ８１から、画素を間引く。
【０３８３】
サムネイルデータ８１が、画像の高周波成分を除去するように周波数特性が変換され、Iピクチャのストリームとして圧縮符号化されている場合、画像のサイズは縮小されていないので、画素間引部５９１が画素を間引くことにより、画像のサイズを小さくすることができる。
【０３８４】
なお、画像の高周波成分を除去するように周波数特性が変換されているサムネイルデータ８１において、折り返しが問題にならない場合には、画素間引部５９１は、単純に画素を間引くだけでよい。折り返しが問題になる場合には、画素間引部５９１は、画素を間引く前に、ローパスフィルタを通して帯域を制限した画像データから、画素を間引くようにするのが好ましい。
【０３８５】
このように、動画像に応じたピクチャを生成するようにした場合には、動画像に応じたピクチャをデータ記録媒体に記録することができる。また、動画像の符号化の単位であって、一定の数のピクチャからなる単位から、１つのピクチャを抽出し、抽出されたピクチャの情報量を削減し、情報量が削減されたピクチャを所定の符号化方式で符号化し、ピクチャが抽出された単位に、符号化されたピクチャを関係付け、動画像を記録するデータ記録媒体への、単位に関係付けられたピクチャの記録を制御するようにした場合には、動画像を再生する場合に、単位に関係付けられたピクチャを迅速に再生することができるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができる。
【０３８６】
また、データ記録媒体に記録されているピクチャであって、動画像に応じたピクチャを読み出しするようにした場合には、動画像に応じたピクチャを再生することができる。また、動画像が記録されると共に、動画像の符号化の単位であって、一定の数のピクチャからなる単位から抽出され、情報量が削減され、所定の符号化方式で符号化され、単位のそれぞれに関係付けられているピクチャが記録されているデータ記録媒体からの、ユーザからの指令および動画像の単位との関係に基づく、ピクチャの読み出しを制御し、読み出されたピクチャを復号し、復号されたピクチャの表示を制御するようにした場合には、単位に関係付けられたピクチャを迅速に再生することができるようになる。その結果、ユーザが、動画像の再生における所望の時刻の内容を迅速に知ることができる。
【０３８７】
なお、サムネイルを圧縮符号化する方式は、JPEG方式、Iピクチャとしての符号化に限らず、JPEG2000またはモーションJPEGなど、個々のサムネイルのデータ量を制御できる符号化方式であればよい。また、動画像の符号化方式は、MPEG２であると説明したが、これに限らず、MPEG４、MPEG７など他の符号化方式であってもよい。
【０３８８】
上述した一連の処理は、ハードウェアにより実行させることもできるが、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、記録媒体からインストールされる。
【０３８９】
この記録媒体は、図３、図２０、図３５、図４０、図４６、図５４、図５６、または図５８に示すように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory)、ＤＶＤ(Digital Versatile Disc)を含む）、光磁気ディスク（ＭＤ(Mini-Disc)（商標）を含む）、若しくは半導体メモリなどよりなるパッケージメディアであるディスク４８により構成されるだけでなく、コンピュータに予め組み込まれた状態でユーザに提供される、プログラムが記録されているマイクロコンピュータに内蔵されている図示せぬROMや、図示せぬハードディスクなどで構成される。
【０３９０】
なお、上述した一連の処理を実行させるプログラムは、必要に応じてルータ、モデムなどのインタフェースを介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を介してコンピュータにインストールされるようにしてもよい。
【０３９１】
また、本明細書において、記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【図面の簡単な説明】
【０３９２】
【図１】従来の記録方式を説明する図である。
【図２】従来の編集ポイントの検索表示の処理を説明するフローチャートである。
【図３】本発明の係る記録装置の一実施の形態の構成を示すブロック図である。
【図４】１つのGOPからの１つのフレーム（ピクチャ）の抽出を説明する図である。
【図５】ディスクに記録されたサムネイルデータの一例を示す図である。
【図６】多重化されている動画像データおよび音声データと、サムネイルデータとの同期を説明する図である。
【図７】PLF方式のファイルの例を説明する図である。
【図８】PLF方式ファイルとは別に、サムネイルデータを格納したファイルを説明する図である。
【図９】静止画像パッケージ方式のファイルの例を説明する図である。
【図１０】トラック管理ファイル方式のファイルの例を示す図である。
【図１１】ロケーション関係データファイルの例を示す図である。
【図１２】ロケーションを説明する図である。
【図１３】外部のファイルに格納されたサムネイルデータをさらに参照するロケーション関係データファイル、およびサムネイルデータを格納した参照されるファイルの例を示す図である。
【図１４】サムネイルデータが記録されるサムネイルデータ記録領域を説明する図である。
【図１５】ストリームユニットにサムネイルデータ８１を隣接して記録する場合の、ディスクへの記録の処理を説明する図である。
【図１６】サムネイルデータが記録されるサムネイルデータ記録領域を説明する図である。
【図１７】ストリームユニットとは離れた位置に、サムネイルデータをまとめて記録する場合の、ディスクへの記録の処理を説明する図である。
【図１８】データの変換の処理を説明するフローチャートである。
【図１９】データの記録の処理を説明するフローチャートである。
【図２０】本発明に係る記録再生装置における再生ブロックの一実施の形態の構成を示すブロック図である。
【図２１】編集ポイントの検索表示の処理を説明するフローチャートである。
【図２２】サムネイルの表示の例を説明する図である。
【図２３】サムネイルデータの読み出しを説明する図である。
【図２４】サムネイルデータの読み出しを説明する図である。
【図２５】早送りをする場合の、バッファメモリに記憶されるサムネイルデータのデータ量の変化を説明する図である。
【図２６】巻き戻しをする場合の、バッファメモリに記憶されるサムネイルデータのデータ量の変化を説明する図である。
【図２７】巻き戻しをする場合の、サムネイルデータの読み出しを説明する図である。
【図２８】巻き戻しをする場合の、バッファメモリに記憶されるサムネイルデータのデータ量の変化の詳細を説明する図である。
【図２９】サムネイルデータの読み出しの処理を説明するフローチャートである。
【図３０】バッファメモリへのサムネイルデータの記憶を説明する図である。
【図３１】バッファメモリへのサムネイルデータの記憶を説明する図である。
【図３２】バッファメモリへのサムネイルデータの記憶を説明する図である。
【図３３】バッファメモリへのサムネイルデータの記憶を説明する図である。
【図３４】バッファメモリへのサムネイルデータの記憶を説明する図である。
【図３５】MPEG2プログラムストリームが記録されているディスクからMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応するサムネイルデータを生成してディスクに記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。
【図３６】Iピクチャ選択復号部の構成を示すブロック図である。
【図３７】解像度変換部の構成を示すブロック図である。
【図３８】JPEG符号化部の構成を示すブロック図である。
【図３９】サムネイルデータの生成の処理を説明するフローチャートである。
【図４０】MPEG2プログラムストリームが記録されているディスクからMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスクに記録する、本発明に係る記録再生装置の一実施の形態の構成を示すブロック図である。
【図４１】Iピクチャ符号化部の構成を示すブロック図である。
【図４２】符号量の制御の処理を説明するフローチャートである。
【図４３】VBVのモデルの構成を示すブロック図である。
【図４４】サムネイルのデータ量に制限を設けない場合のVBVのモデルの動きを説明する図である。
【図４５】サムネイルのデータ量が制限されている場合のVBVのモデルの動きを説明する図である。
【図４６】MPEG2プログラムストリームが記録されているディスクからMPEG2プログラムストリームを読み出して、MPEG2プログラムストリームに対応する、Iピクチャのストリームであるサムネイルを生成してディスクに記録する、本発明に係る記録再生装置の一実施の形態の他の構成を示すブロック図である。
【図４７】Iピクチャ選択復号部の構成を示すブロック図である。
【図４８】周波数特性変換部の構成を示すブロック図である。
【図４９】DCT係数を説明する図である。
【図５０】水平方向フィルタの伝達関数H（n）および垂直方向フィルタの伝達関数V（m）を示す図である。
【図５１】Iピクチャ符号化部の構成を示すブロック図である。
【図５２】サムネイルデータの生成の他の処理を説明するフローチャートである。
【図５３】符号量の制御の他の処理を説明するフローチャートである。
【図５４】JPEG方式により圧縮符号化されているサムネイルデータを基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。
【図５５】JPEG復号部の構成を示すブロック図である。
【図５６】Iピクチャのストリームとして圧縮符号化されているサムネイルデータを基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態の他の構成を示すブロック図である。
【図５７】Iピクチャ復号部の構成を示すブロック図である。
【図５８】Iピクチャのストリームとして圧縮符号化されているサムネイルデータを基に、サムネイルを再生して表示する、本発明に係る記録再生装置における再生ブロックの一実施の形態のさらに他の構成を示すブロック図である。
【符号の説明】
【０３９３】
３１  マイクロコンピュータ，  ３５  バッファメモリ，  ３８  動画像圧縮部，  ４０  画素数変換部，  ４１  静止画像圧縮部，  ４２  音声圧縮部，  ４３  バッファメモリ，  ４４  ドライブ，  ４５  ディスク，  ４８  ディスク，  ５１  抽出部，  ８１  サムネイルデータ，  １０１  PLF方式ファイル，  １１１  ファイル，  １２１  静止画像パッケージ方式ファイル，  １３１  トラック管理ファイル，  １４１  ロケーション関係データファイル，  １５１  ロケーション関係データファイル，  １６２  サムネイルデータ記録領域，  ２０３  動画像伸張部，  ２０４  静止画像伸張部，  ２０５  音声伸張部，  ２０６  画像出力インターフェース，  ３０２  Iピクチャ選択復号部，  ３０３  解像度変換部，  ３０４  JPEG符号化部，  ３０５  ファイルフォーマット変換部，  ３２２  Iピクチャ判定部，  ３２３  セレクタ，  ３２４  可変長符号デコーダ，  ３２５  逆量子化部，  ３２６  逆DCT処理部，  ３４１  ローパスフィルタ，  ３４２  画素間引部，  ３８１  Iピクチャ符号化部，  ４０２  視覚パラメータ検出部，  ４０３  DCT処理部，  ４０４  制御部，  ４０５  量子化部，  ４０６  可変長符号化部，  ４０７  バッファ，  ４５１  Iピクチャ選択復号部，  ４５２  周波数特性変換部，  ４５３  Iピクチャ符号化部，  ４７２  Iピクチャ判定部，  ４７３  セレクタ，  ４７４  可変長符号デコーダ，  ４７５  逆量子化部，  ４９１  水平方向フィルタ，  ４９２  垂直方向フィルタ，  ５０１  制御部，  ５０２  量子化部，  ５０３  可変長符号化部，  ５０４  バッファ，  ５２１  ファイルフォーマット変換部，  ５２２  JPEG復号部，  ５６１  ファイルフォーマット変換部，  ５６２  Iピクチャ復号部，  ５９１  画素間引部
【図１】
2006074690.tif 000003
【図２】
2006074690.tif 000004
【図３】
2006074690.tif 000005
【図４】
2006074690.tif 000006
【図５】
2006074690.tif 000007
【図６】
2006074690.tif 000008
【図７】
2006074690.tif 000009
【図８】
2006074690.tif 000010
【図９】
2006074690.tif 000011
【図１０】
2006074690.tif 000012
【図１１】
2006074690.tif 000013
【図１２】
2006074690.tif 000014
【図１３】
2006074690.tif 000015
【図１４】
2006074690.tif 000016
【図１５】
2006074690.tif 000017
【図１６】
2006074690.tif 000018
【図１７】
2006074690.tif 000019
【図１８】
2006074690.tif 000020
【図１９】
2006074690.tif 000021
【図２０】
2006074690.tif 000022
【図２１】
2006074690.tif 000023
【図２２】
2006074690.tif 000024
【図２３】
2006074690.tif 000025
【図２４】
2006074690.tif 000026
【図２５】
2006074690.tif 000027
【図２６】
2006074690.tif 000028
【図２７】
2006074690.tif 000029
【図２８】
2006074690.tif 000030
【図２９】
2006074690.tif 000031
【図３０】
2006074690.tif 000032
【図３１】
2006074690.tif 000033
【図３２】
2006074690.tif 000034
【図３３】
2006074690.tif 000035
【図３４】
2006074690.tif 000036
【図３５】
2006074690.tif 000037
【図３６】
2006074690.tif 000038
【図３７】
2006074690.tif 000039
【図３８】
2006074690.tif 000040
【図３９】
2006074690.tif 000041
【図４０】
2006074690.tif 000042
【図４１】
2006074690.tif 000043
【図４２】
2006074690.tif 000044
【図４３】
2006074690.tif 000045
【図４４】
2006074690.tif 000046
【図４５】
2006074690.tif 000047
【図４６】
2006074690.tif 000048
【図４７】
2006074690.tif 000049
【図４８】
2006074690.tif 000050
【図４９】
2006074690.tif 000051
【図５０】
2006074690.tif 000052
【図５１】
2006074690.tif 000053
【図５２】
2006074690.tif 000054
【図５３】
2006074690.tif 000055
【図５４】
2006074690.tif 000056
【図５５】
2006074690.tif 000057
【図５６】
2006074690.tif 000058
【図５７】
2006074690.tif 000059
【図５８】
2006074690.tif 000060