(57)【特許請求の範囲】
【請求項１】
記録媒体（１０１）上に格納された動画像ファイル（１１１、１１３）から再生して出力する動画像データを編集する動画像編集方法であって、前記動画像データは、時間順に並べられた複数のパケットを含む動画像データ本体を有し、各前記パケットは、時間管理情報および前記時間管理情報に対応した動画像データを有し、
動画像ファイル（１１１、１１３）における少なくとも１以上の再生範囲およびその再生時刻を予め指定し、
指定された再生範囲および各前記再生範囲に対応する再生時刻を管理するための再生時刻管理情報を編集情報（１１２）として前記記録媒体（１０１）上における前記動画像データ本体以外の領域に付加し、
前記時間管理情報および前記編集情報に含まれる前記再生時刻管理情報とに基づいて、前記再生範囲ごとに再生開始時刻を調整し、
前記動画像ファイル（１１１、１１３）における前記指定された再生範囲の動画像データを前記指定された再生時刻に出力する、動画像編集方法。
【請求項２】
前記出力された動画像データにおける時間管理情報を、前記編集情報（１１２）に基づいて変更し、新たな動画像ファイルを作成する、請求項１に記載の動画像編集方法。
【請求項３】
前記出力された動画像データに対して、その再生時刻を管理するための再生時刻管理情報を含む編集情報を、前記記録媒体上における動画像データ本体以外の領域に付加し、新たな動画像ファイルを作成する、請求項１に記載の動画像編集方法。
【請求項４】
記録媒体（１０１）上に格納され、時間管理情報および前記時間管理情報に対応した動画像データが時間順に並べられてなる動画像データ本体を有する動画像ファイル（１１１、１１３）から再生して出力する動画像データを編集する動画像編集方法であって、
前記動画像ファイル（１１１、１１３）における少なくとも１以上の再生範囲およびその再生時刻を予め指定し、
指定された再生範囲およびその再生時刻を管理するための第１の再生時刻管理情報を、第１の編集情報として前記記録媒体（１０１）上における前記動画像データ本体以外の領域に付加し、
前記時間管理情報および前記第１編集情報に含まれる前記第１の再生時刻管理情報に基づいて、前記動画像ファイルにおける編集結果を定義し、
さらに、前記編集結果における少なくとも１以上の再生範囲およびその再生時刻を指定し、
指定された再生範囲およびその再生時刻を管理するための第２の再生時刻管理情報を、第２の編集情報として前記記録媒体（１０１）上における前記動画像データ本体以外の領域に付加し、
前記編集結果における時間管理情報および前記第２編集情報に含まれる前記第２の再生時刻管理情報に基づいて、前記動画像ファイルにおける指定範囲の動画像データを指定時刻に出力する、動画像編集方法。
【請求項５】
記録媒体（１０１）上に格納された動画像ファイル（１１１、１１３）から再生して出力する動画像データを編集する動画像編集装置であって、前記動画像データは、時間順に並べられた複数のパケットを含む動画像データ本体を有し、各前記パケットは、時間管理情報および前記時間管理情報に対応した動画像データを有し、
所望の再生範囲およびその再生時刻を指定する手段（１２１）と、
前記指定された再生範囲の特定情報と前記再生時刻に対応する再生時刻管理情報とを抽出する手段と、
前記抽出された特定情報と前記再生時刻管理情報とに基づいて編集情報を作成し、前記編集情報を前記記録媒体（１０１）上における前記動画像データ本体以外の領域に記録する手段（１２２、１２３）と、
前記時間管理情報および前記編集情報に含まれる前記再生時刻管理情報とに基づいて、前記再生範囲ごとに再生開始時刻を調整する再生時刻調整手段（１３）と、
前記指定された時刻に前記再生範囲を再生する再生手段とを含む、動画像編集装置。
【請求項６】
前記指定手段（１２１）は、前記再生範囲を複数指定し、
前記再生手段は、前記複数の再生範囲を連続的に再生する、請求項５に記載の動画像編集装置。
【請求項７】
前記再生手段は、
動画像ファイルにおける少なくとも１以上の再生範囲およびその再生時刻を管理するための前記再生時刻管理情報を読取る編集情報読取手段（１１）と、
前記編集情報読取手段（１１）にて読取られた再生範囲を管理するための情報に基づいて、所定の動画像ファイルを抽出する再生対象ファイル抽出手段（１２）と、
前記再生対象ファイル抽出手段（１２）で抽出された動画像ファイルに含まれる動画像データにおける時間管理情報を読取る時間管理情報読取手段（１）と、
前記再生時刻調整手段（１３）にて算出された再生指定時刻と、再生タイマ（２）による計時時刻とを比較する比較手段（３）と、
前記比較手段（３）の比較結果に基づいて、前記動画像ファイルにおける指定範囲の動画像データを指定時刻に出力する制御手段（４）とを含み、
前記再生時刻調整手段（１３）は、前記編集情報読取手段（１１）にて読取られた再生時刻を管理するための前記再生時刻管理情報に基づき、前記時間管理情報読取手段（１）にて読取られた前記時間管理情報に対して所定の演算を施し、再生指定時刻を算出する、請求項５または６に記載の動画像編集装置。
【請求項８】
前記制御手段（４）から出力された動画像データにおける時間管理情報を、前記再生時刻調整手段（１３）で算出された再生時刻に変更する時間管理情報変更手段（１５）を設けた、請求項７に記載の動画像編集装置。
【請求項９】
前記制御手段（４）から出力された動画像データに対して、その再生時刻を管理するための前記再生時刻管理情報を含む編集情報を、前記記録媒体上における動画像データ本体以外の領域に付加する編集情報付加手段（１６）を設けた、請求項７に記載の動画像編集装置。
【請求項１０】
前記動画像データと、前記動画像データに付加された編集情報とを含む、新たな動画像ファイルを作成する、請求項９に記載の動画像編集装置。
【請求項１１】
記録媒体上に格納された動画像ファイルから再生して出力する動画像データを編集する動画像再生装置であって、前記動画像データは、時間順に並べられた複数のパケットを含む動画像データ本体を有し、各前記パケットは、時間管理情報および前記時間管理情報に対応した動画像データを有し、
前記記録媒体（１０１）上における前記動画像データ本体以外の領域に付加され、前記動画像データの再生時刻を管理するための再生時刻管理情報を含む編集情報を読取る編集情報読取手段（１１）と、
前記動画像データにおける前記時間管理情報を読取る時間管理情報読取手段（１）と、
前記編集情報読取手段（１１）にて読取られた再生時刻を管理するための前記再生時刻管理情報に基づき、前記時間管理情報読取手段（１）にて読取られた時間管理情報に対して所定の演算を施し、再生指定時刻を算出する再生時刻調整手段（１３）と、
前記再生時刻調整手段（１３）にて算出された再生時指定時刻と、再生タイマによる計時時刻とを比較する比較手段（３）と、
前記比較手段（３）の比較結果に基づいて、前記動画像ファイルにおける動画像データを指定時刻に出力する制御手段（４）とを含む、動画像再生装置。
【請求項１２】
前記編集情報には、前記動画像ファイルにおける少なくとも１以上の再生範囲およびその再生時刻を管理するための前記再生時刻管理情報が含まれる、請求項１１に記載の動画像再生装置。
【請求項１３】
前記制御手段（４）から出力された動画像データにおける時間管理情報を、前記再生時刻調整手段（１３）にて算出された再生時刻に変更する時間管理情報変更手段（１５）を設けた、請求項１１または１２に記載の動画像再生装置。
【請求項１４】
前記制御手段（４）から出力された動画像データに対して、その再生時刻を管理するための前記再生時刻管理情報を含む編集情報を、前記記録媒体（１０１）上における動画像データ本体以外の領域に付加する編集情報付加手段（１６）を設けた、請求項１１または１２に記載の動画像再生装置。
【請求項１５】
前記動画像データと前記動画像データに付加された編集情報とを含む、新たな動画像ファイルを作成する、請求項１４に記載の動画像再生装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、記録媒体上に格納され、時間管理情報とともに時間順に並べられた動画像データ本体を有する、少なくとも１以上の動画像ファイルから、再生出力する動画像データを編集する動画像編集方法および動画像編集装置に関する。
【０００２】
【従来の技術】
データを受信しながら再生する、いわゆるストリーミング再生に用いるマルチメディア情報について図２３を参照して説明する。マルチメディア情報は、ある単位ごとに１つの完結したファイルとして、それぞれ独立して格納されており、当該ファイルに含まれるマルチメディア情報全体の属性、性質などを示すヘッダ制御情報と、マルチメディアデータ本体とから構成されている。
【０００３】
ヘッダ制御情報の中には、ファイルを特定するためのファイル識別子（ファイルＩＤ）、マルチメディアデータ本体の長さ、ファイル全体の再生にかかる時間、平均／最大ビットレート、マルチメディアデータ本体に含まれるメディアの種別と数、メディア間の依存関係（階層化された情報の上位レイヤと下位レイヤ、オーディオの右チャネルと左チャネルとセンターとサラウンド、など）、メディア間の対応関係（映像と音声の日本語／英語／仏語／音声ガイドと字幕／クローズキャプションの日本語／英語、など）などの、ファイルに格納されているマルチメディア情報全体に関する制御情報が含まれる。
また、ヘッダ制御情報には、映像の画面サイズ／解像度、符号化方法（たとえば、ＩＴＵ−勧告Ｈ．２６１，Ｈ．２６２，Ｈ．２６３，Ｈ２６Ｌ，ＩＳＯ標準１１１７２（ＭＰＥＧ−１）、１３８１８−２（ＭＰＥＧ−２）、１４４９６−２（ＭＰＥＧ−４）の識別など）、符号化方式におけるパラメータ（プロファイル、レベル、オプションモードの選択など）などの、マルチメディア情報に含まれる一部のメディアにしか関係しないが、ファイルを再生するために必要なシステム的な制御に関する情報も含まれている。
【０００４】
さらに、ヘッダ制御情報として、ランダムアクセス可能な位置を指定するインデックス情報や、時間的に連続するマルチメディア情報の適当な位置や記憶しておくマーカ情報などの、マルチメディア情報の位置を記憶しておくための情報も含まれる。
【０００５】
インデックス情報は、マルチメディア情報の途中でのアクセス位置の決定、または高速再生などのように情報を飛び飛びに再生するときの再生対象情報の決定などに利用される。具体的には、符号化された動画像データを参照する場合、インデックス情報として、フレーム／フィールド内符号化画面（イントラ符号化フレーム／フィールド）などが指定される。
【０００６】
これは、フレーム／フィールド内符号化画面は前後の情報（画面）からの補足などを用いずに、独立して符号化されているため、単独で復号して再生することが可能であり、また、これを基点として後続する動画像情報を順次復号して再生することができるので、アクセスポイントとして適当なためである。
【０００７】
たとえば、ＭＰＥＧ−１やＭＰＥＧ−２の符号化方式におけるＧＯＰ（Group of Pictures）構造のように、フレーム内符号化画面が周期的に挿入される場合、インデックス情報がこの周期的なフレーム内符号化画面（ＧＯＰの先頭）をそれぞれ指定することができる。また、２つのＧＯＰに対して１つ、３つのＧＯＰに対して１つというように、飛び飛びのフレーム内符号化画面を指定するインデックスのみを持たせることにより、インデックス情報の情報量を減らすことも可能である。
【０００８】
このように、インデックス情報が周期的なフレーム内符号化画面だけを指定する場合は、高速再生時にインデックス情報を辿るだけで定速の高速再生を簡単に実現することが可能となる。
【０００９】
一方、シーンチェンジや大きな動き／変化を検出出力、フレーム内符号化画面を自動的に挿入して符号化する場合、インデックス情報が上記の周期的なフレーム内符号化画面に加えて、自動挿入されたフレーム内符号化画面も指定するようにしてもよい。この場合、インデックス情報の指定位置が周期的であることの保証は失われるが、ランダムアクセス可能位置をよりきめ細かく設定することが可能となる。
【００１０】
また、マルチメディア情報のデータ本体は、動画像、音声／オーディオなどの各種のメディアが混在した状態で、再生時間順に並べて格納されている。ここでは、メディアの種別に依存せず、時間だけを基準として格納順序が決められている。
【００１１】
このように再生時間順での記憶を実現するためには、撮影／記録時の順序に従ってデータを格納しておけばよいが、このとき、情報を読出してから出力するまでの処理（復号化）遅延がメディアによって異なることを考慮して、格納順序を決定する。つまり、同時に撮影／記録されたため同時に再生するべき動画像と音声の場合、動画像の方が復号化遅延が大きいので、該遅延時間の分だけ動画像を先に格納しておく。
【００１２】
以上のように、データ本体は時間順で格納されているため、再生する際にはデータをファイルの先頭から順次読出し、復号化処理した後出力するだけでよい。このような特徴は、たとえばマルチメディア情報を格納したファイルをサーバに置いておき、ユーザからのアクセスによりファイルのデータをインターネット経由で送信するような場合、サーバはデータ本体を順次読出して送出するだけでよいため、サーバの負担を軽減することができ非常に有効である。
【００１３】
ここで、後述するように、データ本体には、読出、再生のタイミングを制御するため、パケットごとに読出／再生時刻を示すタイムスタンプが付加されている。サーバにおいて必要な処理は、読出したデータ本体パケットのタイムスタンプ値に従って、その時刻に送出するように制御することである。
【００１４】
なお、このようなマルチメディア情報のアクセス形態は、ストリーミング転送（ストリーミングサービス）と呼ばれている。
【００１５】
また、マルチメディア情報のデータ本体は、入力された情報をそのまま格納してもよいし、前述したような符号化方式によって圧縮符号化した情報であってもよい。さらに、データ本体は、適当な大きさのパケットに分割されて、パケット化された情報として格納されている。したがって、ファイルの中のマルチメディア情報のデータ本体は、各メディアの情報のパケット列から構成される。
【００１６】
このデータ本体のパケットは、各メディアの情報ごとに作成されて格納されており、１つのパケットには１つのメディアのデータだけしか含まれないことが基本である。パケットの長さは、固定長でもよいし、可変長でもよい。また、パケットの長さ（可変長の場合の最大長もしくは平均的な長さ）は、メディアごとに全く異なっていてもよいし、メディアの種別に依存せずにほぼ同様の長さとしてもよい。
【００１７】
固定長の場合、パケットの長さは、たとえば記録メディアのセクタ長、レコード長、トラック長などのシステム的な条件に応じて決定される。あるいは、メディアのデータに対する時間当たりの情報量（ビットレート）が一定の場合、情報量は時間間隔と合致するため、時間的な条件に応じてパケット長を定めることもできる。
【００１８】
一方、可変長の場合、パケット化の単位はメディアのデータ（符号化された情報）の性質に応じて決めることができる。最も簡単な単位は、音声の場合には１符号化単位フレーム、動画像の場合は１フレーム／フィールドなど、符号化／復号化／再生出力処理の単位に一致させることである。
【００１９】
ただし、上述の例では、音声では情報量が小さすぎる、逆に動画像では情報量が大きすぎるなどが問題になる。そこで、音声では符号化単位フレームを複数まとめる、動画像では１フレーム／フィールドの符号化情報をさらに分割する、などの処理によってパケット化を行なう。
【００２０】
動画像の符号化情報を分割する単位として、たとえば、符号化方式がＩＴＵ−勧告Ｈ．２６１の場合のＧＯＢ（Group Of Blocks）、勧告Ｈ．２６３のＧＯＢまたは適応スライス、勧告Ｈ．２６２｜ＩＳＯ標準１３８１８−２（ＭＰＥＧ−２）のスライス、標準１４４９６−２（ＭＰＥＧ−４）のスライス（ビデオパケット）などの符号化データ構造中の区切りと一致させることが考えられる。
【００２１】
さらに、各パケットにはパケットの属性を示すパケットヘッダが付けられる。パケットヘッダには、パケット長、ランダムアクセス可能な位置かどうかを示すフラグ、時間管理のためのタイムスタンプなどが含まれる。ここでタイムスタンプとはそのパケットがクライアントに送られるべき時刻、すなわち、そのパケットに対する処理が開始されるべき時刻を示すものである。
【００２２】
なお、図２３に示したマルチメディア情報ファイルＸのフォーマットにおいては、先頭からヘッダ制御情報が、続いてマルチメディアデータ本体が配置格納されている。再生時にファイルの先頭から読出せば、まずヘッダ制御情報が得られるので、データ本体の全体の様子の把握、再生に必要なシステムの設定／初期化、動作モード設定などを行なうことができる。
【００２３】
これとは逆に、データ本体を先頭から後ろにヘッダ制御情報を格納した場合は、たとえば簡易な再生システムにおいて、システム制御、モード設定が不要（制御パラメータが不要、予めモードがわかっている、など）なときに、すぐにデータ本体にアクセスして読出すことが可能である。
【００２４】
さらに、ヘッダ制御情報の一部を先頭から、続いてデータ本体、後ろに残りにヘッダ制御情報を格納してもよい。この場合、インデックス情報、マーカ情報等を利用しないときに、これらをデータ本体の後ろに配置しておけば、再生時に不必要な情報を完全に無視することができるというメリットがある。
【００２５】
次に、上述したようなマルチメディア情報の再生装置について、図２４および図２５を参照して説明する。ここで、図２４は従来のマルチメディア情報の再生装置を示す機能ブロック図、図２５は従来のマルチメディア情報の再生装置における再生動作を示すフローチャートである。
【００２６】
図２４を参照して、従来の再生装置は、所望のマルチメディア情報ファイルから各パケットヘッダに含まれるタイムスタンプを読取るタイムスタンプ読取部１と、ユーザの再生指示に基づいてタイマ時刻の計時を開始する再生タイマ２と、タイムスタンプ読取部１で読取ったタイムスタンプと、再生タイマ２によるタイマ時刻（再生基準時刻）とを比較する比較部３と、比較部３での比較の結果、タイマ時刻の方がタイムスタンプと同一かあるいは進んでいた場合、マルチメディア情報ファイルの出力を行なう再生制御部４とを含む。
【００２７】
次にこの再生装置の動作を図２５のフローチャートを参照して説明する。再生装置においては、ユーザがマルチメディア情報ファイルの再生指示を行なうと、再生タイマ２はタイマ時刻の計時を開始する。また、再生指示されたマルチメディア情報ファイルから各パケットヘッダに含まれるタイムスタンプを読取り（ステップ２１）、このときのタイマ時刻を取得する（ステップ２２）。
【００２８】
そして、比較部３にてステップ２１で読取られたタイムスタンプと、ステップ２２で取得したタイマ時刻とを比較し（ステップ２３）、タイマ時刻がタイムスタンプと同一かあるいは大きいときは、再生制御部４にてマルチメディア情報データの再生出力を開始する（ステップ２４）。タイマ時刻がタイムスタンプより小さいときは、ステップ２に戻り、上記動作を繰返す。
【００２９】
すなわち、タイムスタンプ読取部１で読取られたタイムスタンプが、再生タイマ２で計時されているタイマ時刻と同一かあるいは小さい場合にのみ、タイムスタンプが付加されたパケット部分の再生出力を許可するように動作するので、タイマ時刻に従って、ファイルの先頭から格納順にデータの出力を行なわせることができる。
【００３０】
しかしながら、上述した従来のマルチメディア情報の再生装置においては、ファイル内で再生時間順に付加されているタイムスタンプとタイマ時刻との比較結果に基づいて、マルチメディアデータ本体を再生出力しているので、マルチメディアデータ本体に対して、抽出、分割、結合などの時間的な切貼りによる編集を行なう場合、編集前のマルチメディアデータ本体とは別に、新たな編集後のマルチメディアデータ本体を作成・格納する必要がある。そのため、編集時の作業領域および編集結果の記憶領域として非常に大きな領域が必要になるという問題があった。
【００３１】
また、動画ファイルから新たな動画データを作成することなく、簡単に動画データの編集、変更を行なう方法として以下のような方法が考えられる。
【００３２】
図２３に示したマルチメディア情報ファイルＸにおけるＡ部分とＢ部分のみを抽出して再生出力しようとした場合、Ａ部分（開始タイムスタンプ１、終了タイムスタンプ２）の次に、Ｂ部分（開始タイムスタンプ６、終了タイムスタンプ８）を再生するという指示を与える。しかしながら、この指示に基づいてタイムスタンプを読取りながら動画データを再生する場合、図２６に示すように、再生タイマの再生時刻が１になったときに初めてＡ部分の再生表示が開始され、タイマ時刻が３〜６の間は何も表示されず、タイマ時刻が６になったときにＢ部分の再生表示が開始されることになり、再生指示の直後にＡ部分とＢ部分とを連続して再生することができない。
【００３３】
すなわち、任意に抽出された部分データの再生時間は、再生タイマのタイマ時刻（再生基準時刻）によって決定され、このタイマ時刻に対する再生時刻を変更することができないため、抽出、分割、結合などを用いた時間的な切貼りによる編集ができないという問題があった。
【００３４】
【発明が解決しようとする課題】
この発明は、上記のような点に鑑みてなされたものであり、タイムスタンプとともに時間順に並べられたマルチメディアデータ本体に対して、抽出、分割、結合などを用いた時間的な切貼りによる編集を簡単に行なうことができる動画像編集方法および動画像編集装置を提供することである。
【００３５】
【課題を解決するための手段】
この発明に係る動画像編集方法は、記録媒体上に格納された動画像ファイルから再生して出力する動画像データを編集する。動画像データは、時間順に並べられた複数のパケットを含む動画像データ本体を有し、各パケットは、時間管理情報および時間管理情報に対応した動画像データを有する。
【００３６】
動画像編集方法は、動画像ファイルにおける少なくとも１以上の再生範囲およびその再生時刻を予め指定し、指定された再生範囲および各再生範囲に対応する再生時刻を管理するための再生時刻管理情報を編集情報として記録媒体上における動画像データ本体以外の領域に付加し、時間管理情報および再生時刻管理を含む編集情報とに基づいて、再生範囲ごとに再生開始時刻を調整し、動画像ファイルにおける指定された再生範囲の動画像データを指定された再生時刻に出力する。
【００３７】
ここで、再生範囲を指定するためには、たとえば動画像データ本体に含まれる時間管理情報（タイムスタンプ）、動画像ファイル内での物理的格納位置、パケット番号、インデックス情報のシリアル番号、フレーム／フィールド番号や、任意の再生時刻などを用いることができる。
【００３８】
好ましくは、動画像編集方法は出力された動画像データにおける時間管理情報を編集情報に基づいて変更し、新たな動画像ファイルを作成する。
【００３９】
さらに好ましくは、動画像編集方法は、出力された動画像データに対して、その再生時刻を管理するための情報を含む編集情報を、記録媒体上における動画像データ本体以外の領域に付加し、新たな動画像ファイルを作成する。
【００４０】
この発明の他の局面においては、動画像編集方法は、記録媒体上に格納され、時間管理情報および時間管理情報に対応した動画像データが時間順に並べられてなる動画像データ本体を有する動画像ファイルから再生して出力する動画像データを編集する動画像編集方法であって、動画像ファイルにおける少なくとも１以上の再生範囲およびその再生時刻を予め指定し、指定された再生範囲およびその再生時刻を管理するための第１の再生時刻管理情報を、第１の編集情報として記録媒体上における動画像データ本体以外の領域に付加し、時間管理情報および第１編集情報に含まれる第１の再生時刻管理情報に基づいて、動画像ファイルにおける編集結果を定義し、さらに、編集結果における少なくとも１以上の再生範囲およびその再生時刻を指定し、指定された再生範囲およびその再生時刻を管理するための第２の再生時刻管理情報を、第２の編集情報として記録媒体上における動画像データ本体以外の領域に付加し、編集結果における時間管理情報および第２編集情報に含まれる第２の再生時刻管理情報に基づいて、動画像ファイルにおける指定範囲の動画像データを指定時刻に出力する。
【００４１】
この発明のさらに他の局面においては、動画像編集装置は、記録媒体上に格納された動画像ファイルから再生して出力する動画像データを編集する動画像編集装置であって、動画像データは、時間順に並べられた複数のパケットを含む動画像データ本体を有し、各パケットは、時間管理情報および時間管理情報に対応した動画像データを有し、所望の再生範囲およびその再生時刻を指定する手段と、指定された再生範囲の特定情報と再生時刻に対応する再生時刻管理情報とを抽出する手段と、抽出された特定情報と再生時刻管理情報とに基づいて編集情報を作成し、編集情報を記録媒体上における動画像データ本体以外の領域に記録する手段と、時間管理情報および編集情報に含まれる再生時刻管理情報とに基づいて、再生範囲ごとに再生開始時刻を調整する再生時刻調整手段と、指定された時刻に再生範囲を再生する再生手段とを含む。
この発明のさらに他の局面においては、動画像再生装置は、記録媒体上に格納された動画像ファイルから再生して出力する動画像データを編集する動画像再生装置であって、動画像データは、時間順に並べられた複数のパケットを含む動画像データ本体を有し、各パケットは、時間管理情報および時間管理情報に対応した動画像データを有し、記録媒体上における動画像データ本体以外の領域に付加され、動画像データの再生時刻を管理するための再生時刻管理情報を含む編集情報を読取る編集情報読取手段と、動画像データにおける時間管理情報を読取る時間管理情報読取手段と、編集情報読取手段にて読取られた再生時刻を管理するための再生時刻管理情報に基づき、時間管理情報読取手段にて読取られた時間管理情報に対して所定の演算を施し、再生指定時刻を算出する再生時刻調整手段と、再生時刻調整手段にて算出された再生時指定時刻と、再生タイマによる計時時刻とを比較する比較手段と、比較手段の比較結果に基づいて、動画像ファイルにおける動画像データを指定時刻に出力する制御手段とを含む。
【００４２】
【発明の実施の形態】
以下この発明の一実施例を、マルチメディア情報ファイル内における任意の部分を抽出して連続的に再生して出力する場合について図面を参照して説明する。上記従来例と同一部分には同一符号を付してその説明を省略する。
【００４３】
（１）第１実施例
図１を参照して、この発明が適用される動画像編集装置１００は、マルチメディア情報が記録された記録媒体１０１を挿入して再生する部分と、記録媒体１０１上のデータを用いて所望の再生を行なうための編集データを入力する編集データ入力部１０２とを含む。
【００４４】
図１〜図１２Ｄを参照して、この実施例においては、時間的に連続して格納されたマルチメディア情報のデータ本体における特定の部分だけを指定するための編集情報（部分再生指定情報）を新たに記録媒体上に付加している。この編集情報は、図２に示すように、再生対象ファイルＩＤ、再生開始位置、再生終了位置、再生時刻管理情報などを含む。
【００４５】
図３を参照して、動画像編集装置１００の編集情報を記録する部分は、編集データ入力部１２１と、入力された編集データによって編集情報を作成する編集情報作成部１２２と、編集された編集情報を記録媒体１０１に記録する記録部１２３とを含む。編集データ入力部１２１は図１における編集データ入力部１０２と同一であり、編集に必要な情報（編集データ）を出力する。編集情報作成部１２２は編集データから図２で示した編集情報を作成する。記録媒体１０１上には、マルチメディア情報とファイル情報が記録される。
【００４６】
図４Ａは記録媒体１０１に記録されている制御情報および編集情報の模式図である。図４Ａを参照して、マルチメディア情報ファイル１１１に対応する編集情報は、マルチメディア情報ファイル１１１とは別の独立した編集情報ファイル１１２として記録されている。マルチメディア情報ファイル１１３は編集情報が同一ファイル中に記録されている場合を示す図である。この図はあくまでも概念図であって、物理的な記録状況を表現するものではない。
【００４７】
図４Ｂは制御情報や編集情報の記録状況を示す模式図である。図４Ｂを参照して、ファイルの記録状況には、ファイルが物理的に連続したアドレスに一固まりとして記録されている場合（Ａ）と、飛び飛びの場所にファイルが細切れに記録されている場合（Ｂ）とがあり得る。ファイルは必ずしもＡのように記録される必要はなく、Ｂのように記録されている場合であっても、それぞれのアドレスおよびそれらを繋ぐ順序を別の場所（たとえばファイルアロケーションテーブル）に記録しておくことにより、Ａと同様に１つのファイルとして扱うことができる。
【００４８】
図２に示した編集情報においては、複数の部分を抽出することができるように、第１再生開始位置、第１再生終了位置、第２再生開始位置、…、第Ｎ再生開始位置、第Ｎ再生終了位置まで、Ｎ個（Ｎ：任意の整数）の部分を指定することが可能となっている。これは、再生開始点と再生終了点との組を所望の数（Ｎ個）羅列できるような情報の記述構造とすることにより実現する。なおここで、Ｎ個は図２における編集要素数に対応する。
【００４９】
このように、複数の再生開始点、再生終了点を指定した場合には、この編集情報に基づいてマルチメディア情報データを再生するときに、Ｎ個の部分を１つに連結して再生すべきことを意味する。
【００５０】
再生開始位置と再生終了位置の指定方法としては、データ本体を直接指定する方法と、インデックス情報を指定し、インデックス情報から間接的にデータ本体を指定する方法とが考えられる。
【００５１】
データ本体を直接指定する場合には、指定するデータ本体パケットのファイル内での物理的格納位置（たとえば、ファイル先頭からのオフセット値、データ本体の先頭からのオフセット値）を示すか、データ本体パケットに番号（先頭からのシリアル番号）を付与しておき、パケットの番号を指定するようにすればよい。
【００５２】
このように、ファイル内での物理的格納位置を用いて指定する場合、読出時のファイルのシーク動作などにより、ファイル内部の構造、データ本体パケットの構成、形式とは無関係に、目的にデータパケットを読出せるという利点がある。また、パケットの番号を指定する場合、パケットを単位としている他のデータ本体の管理および処理との整合性がよく、パケットの途中などの誤った位置を指定してしまうことを防止することができるという利点が得られる。
【００５３】
一方、インデックス情報から間接的にデータ本体を指定する場合には、指定するインデックス情報のファイル内での物理的格納位置（たとえば、ファイル先頭からのオフセット値、インデックス情報先頭からのオフセット値）を示すか、インデックス情報に番号（先頭からのシリアル番号）を付与しておき、このインデックス情報の番号を指定するようにすればよい。
【００５４】
この場合、図５に示すように、インデックス情報で示されるランダムアクセス可能な位置（フレーム内符号化画面）のみを指定することが暗黙に実現される。また、後述するような編集情報に従い編集対象位置を抽出する処理において、ランダムアクセスなどを実現するため既に存在するインデックス情報を流用して、再生開始位置を決定することが可能となる。
【００５５】
なお、間接的な参照先は、インデックス情報に限らず、データ本体の位置を特定できる情報（たとえば、マーカ情報）であれば、他の情報でもよい。また、データ本体パケット、インデックス情報を番号で管理する場合、番号は各メディアごとに一連となっていてもよい。
【００５６】
このとき、編集情報には、どのメディアの情報を基準にして再生開始点、再生終了点を表わすかを表わすメディア識別情報要素を付加する。再生開始点、再生終了点の情報自体は、メディア識別情報で指定されるメディアのパケット番号のみを示すものとしたり、再生開始点、再生終了点の情報自体の中に、メディアを特定できるような記述形式（たとえば、Ｖｉｄｅｏ−８，Ａｕｄｉｏ１−６のようにメディアと番号の組合せがわかるようにする）とするような方法が考えられる。
【００５７】
前者においては、メディアの構成が複雑な場合（たとえば、動画像が２つと音声が４つなど）でも、メディアを特定しやすいというメリットがある。後者においては、再生開始点と再生終了点とで異なるメディアを指定できるというメリットがある。
【００５８】
特に、後者においては、再生単位（動画像の１フレームなど）の継続時間が比較的長い動画像に代えて、音声を用いて再生開始位置、再生終了位置を指定すれば、位置をより細かく指定することができるだけでなく、音声が不適切な位置で開始／終了することによる違和感を防止することが可能になる。
【００５９】
さらに、上述した位置指定方法を併用、混在させて、いずれを用いるかを適宜に選択、指定できるようにしてもよい。このとき、いずれの指定方法を用いているかを識別するために、上述のメディアと番号との対応づけの場合と同様、編集情報に格納位置で指定するか、番号で指定するかを表わす指定方法識別情報要素を付加する。
【００６０】
そして、再生開始点、再生終了点としては、指定方法に従った情報を記述する方法と、再生開始点、再生終了点の情報自体の記述形式を、指定方法が識別できるようにする（たとえば、Ｏｆｆｓｅｔ．１２０，Ｉｎｄｅｘ．５のように方法識別と指定先の情報とを組合せる）方法とを用いることができる。
【００６１】
さらに、マルチメディア情報のデータ本体が再生時間で管理されているため、編集情報としては、時間の情報だけを含むようにすることもできる。このとき、編集情報に含まれる内容は、データ本体への直接あるいは間接の参照を含まず、再生時刻の情報のみを含めばよい。この場合、データ本体の直接あるいは間接の参照を含まず、再生時刻の情報のみを含めばよい。この場合、データ本体の内容、形式には関わらず、時間だけを基準にして再生のための制御を実行することができるため、処理を簡素化することが可能になるという利点がある。
【００６２】
ただし、データ本体を参照しない（自由に適当な時刻を指定できる）ため、指定された再生開始位置および再生終了位置とデータ本体のタイムスタンプとの間で齟齬が生じる可能性がある。そのため、編集情報の内容（再生開始位置および再生終了位置）をデータ本体のタイムスタンプ（たとえば、直近、直前、直後など）に解釈するルールを設ける必要がある。
【００６３】
さらに、ランダムアクセス可能位置としてフレーム内符号化画面のみを用いる場合、フレーム内符号化画面を再生開始位置としなければならない。
【００６４】
上述のように、インデックス情報から間接的にデータ本体を参照する場合には、これを自動的に実現することができるが、それ以外の場合には、再生開始位置をデータ本体の直前、直後あるいは直近のフレーム内符号化画面に解釈するルールを設ける必要がある。
【００６５】
たとえば、図５に示すように、パケット化の単位が１フレームであって、マルチメディア情報ファイルのデータ本体がフレーム内符号化画面（Ｉ０，Ｉ４，Ｉ８）と、フレーム間符号化画面（Ｐ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，Ｐ９）とから構成される場合、再生開始位置としてＰ３を指定したとき（図中、破線矢印１）、実際には直前のフレーム内符号化画面であるＩ０を指す（図中実線矢印２）か、直後あるいは直近のフレーム内符号化画面であるＩ４を指す（図中、実線矢印３）ようにする。
【００６６】
また、再生対象ファイルＩＤの指定方法として、外部の別ファイルを指定する場合は、ヘッダ制御情報に含まれるファイルＩＤなど、マルチメディア情報を格納したファイルに対してユニークな情報を用いるか、記録メディア上での管理を行なうためにファイルごとに付与されたファイル名などの情報を利用する方法がある。
【００６７】
さらに、上記のファイル名などにおける拡張子など、ファイルの命名方法自体に規則を設け、編集情報と再生対象ファイルとの対応関係がわかるようにすることが考えられる。たとえば、再生対象ファイルの名前がｆｏｏ．ｍｐｇであるとき、編集情報のファイル名をｆｏｏ．ｅｄｔとする。
【００６８】
ｆｏｏ．ｅｄｔおよびｆｏｏ．ｍｐｇ以外に、ｆｏｏ．＊（＊は任意の拡張子とする）というファイルがない場合には、ｆｏｏ．ｅｄｔの編集対象はｆｏｏ．ｍｐｇとするという規則を設けることにより、編集情報内に参照先のファイル名を明示的に指定する必要はなく、ファイルの内容を解読しなくても、ファイルの対応関係が明確になるという利点がある。
【００６９】
ファイル名の指定方法としては、単純なファイル名、記録メディアのファイル構造におけるディレクトリなどを含めた相対／絶対パス名を含むファイル名、マルチユーザシステムでのユーザ名および指定されたユーザのディレクトリから相対パスあるいは絶対パスを含むファイル名、ネットワーク上に接続された機器名称を含むパス＋ファイル名、ＵＲＬなどアクセス先およびアクセス方法に関する情報を含むパス名＋ファイル名などが考えられ、いずれかを用いるか、これらを併用することができる。
【００７０】
これらのように、一般のファイルシステムにおけるファイルの指定方法と同様の手法を利用することによって、ファイルの存在位置によらない柔軟かつ自由な指定が可能になる。
【００７１】
さらに、編集情報によって、元のマルチメディア情報から一部分のみを抽出すると、抽出されたデータに対してはヘッダ制御情報の内容を変更する必要が生じる。たとえば、データ本体の各パケットに対していつ再生するかを示す時間管理情報（タイムスタンプ）を変更しなければならない場合がある。
【００７２】
これは、元々再生時間順に並んでいるデータ本体の一部分のみを抽出するためで、特に再生開始点がデータ本体の途中を指す場合、再生開始時刻の初期値を正しく変更する必要がある。
【００７３】
すなわち、マルチメディア情報を再生するときに、再生開始時刻の初期値が予め定められた値（たとえば、時刻０）でなければならない場合、再生開始点で指定される時刻と初期値との差分（オフセット）を求めて、再生開始時刻を調整する必要があるため、これを再生時刻管理情報として編集情報に含める。
【００７４】
このとき、再生時刻管理情報は、Ｎ個の各抽出部分ごとに保持する必要がある。これは、時間的に連続したデータ本体の並びから、複数の部分をばらばらに抜き出して連結させるため、それぞれの部分で再生時刻を調整して、再生時刻の一貫性を保証するためである。
【００７５】
なお、上述の編集情報の格納位置は、元のマルチメディア情報のデータ本体自体を加工せずそのまま残すため、データ本体以外の部分とする。たとえばファイルの先頭から配置されるヘッダ制御情報や、ファイルの終り（データ本体の後）に配置するヘッダ制御情報に含めるか、あるいは、データ本体を格納したファイルとは別のファイルとして格納することが考えられる。
【００７６】
また、これらを併用する場合、編集情報に再生開始点、再生終了点の指定先が同一のファイル内か、外部の別ファイルかを表わすファイル位置識別情報要素を付加するか、再生開始点、再生終了点の情報自体の記述ファイルまたは外部ファイルを示せるようにする。
【００７７】
次に、本実施例における編集装置の概略構成を図６を参照して説明する。図６を参照して、この実施例に係る編集装置は、上述した編集情報を読取る編集情報読取部１１と、編集情報読取部１１で読取られた再生対象ファイルＩＤに基づいて、記録媒体（図示せず）に格納されているマルチメディア情報ファイル群から再生対象のマルチメディア情報ファイルを抽出し、タイムスタンプ読取部１へ送出する再生対象ファイル抽出部１２と、編集情報読取部１１で読取られた再生開始位置とタイムスタンプ読取部１で読取ったタイムスタンプとの比較を行ない、タイムスタンプが再生開始位置以上になった場合、編集情報読取部１１で読取られた再生時刻管理情報に続いて上記タイムスタンプの値に対し所定の演算を施すことにより、再生指定時刻を算出して比較部３の一方に出力する再生時刻調整部１３とを含む。編集装置はさらに、タイムスタンプ１で読取ったタイムスタンプと編集情報読取部１１で読取られた再生終了位置とを比較し、比較結果を再生制御部４へ出力する比較部１４を含む。編集装置はさらに、再生制御部４から再生出力されたマルチメディア情報データにおけるタイムスタンプの値を、再生時刻調整部１３にて算出された再生指定時刻に変更するタイムスタンプ変更部１５と、タイムスタンプ変更部１５でタイムスタンプが変更されたマルチメディア情報データに、ヘッダ制御情報を付加するヘッダ付加部１６とを含む。タイムスタンプ変更部１５とヘッダ付加部１６とによりファイル作成部１７を構成している。
【００７８】
上記のようにして構成された編集装置における再生出力の処理手順を図７のフローチャートを参照して説明する。まず、編集情報読取部１１で編集情報を読取り（ステップ１）、読取られた再生対象ファイルＩＤに対応する再生対象ファイルのマルチメディア情報データを再生対象ファイル抽出部１２にて取得し（ステップ２）、取得したマルチメディア情報データに含まれるタイムスタンプをタイムスタンプ読取部１で読取る（ステップ３）。
【００７９】
タイムスタンプ読取部１で読取ったタイムスタンプと編集情報読取部１１で読取られた再生開始位置との比較を行ない（ステップ４）、タイムスタンプが再生開始位置になったとき、編集情報読取部１１で読取られた再生時刻管理情報に基づき、タイムスタンプの値に対し所定の演算を施し、再生指定時刻を算出する（ステップ５）とともに、このときの再生タイマ２のタイマ時刻（再生基準時刻）を取得する（ステップ６）。また、タイムスタンプが再生開始位置より小さいときは、ステップ３に戻り上記動作を繰返す。
【００８０】
そして、再生時刻調整部１３で求めた再生指定時刻と再生タイマ２によりタイマ時刻とを比較部３で比較し（ステップ７）、タイマ時刻が再生指定時刻と同一かあるいは大きいときは、再生制御部４にてマルチメディア情報で他の再生出力を行なう（ステップ８）。また、タイマ時刻が再生指定時刻より小さいときは、ステップ６に戻り、上記動作を繰返す。
【００８１】
さらに、次のマルチメディア情報データを取得し、これに含まれるタイムスタンプを読取る（ステップ９）。このタイムスタンプと編集情報読取部１１で読取られた再生終了位置とを比較部１４で比較し（ステップ１０）、タイムスタンプが再生終了位置より大きい場合は、再生制御部４にて再生出力を停止させる（ステップ１１）。また、タイムスタンプが再生終了位置を同一かあるいは小さい場合は、ステップ５に戻り、上記動作を繰返す。
【００８２】
ここで、図２３に示したマルチメディア情報ファイルＸから、Ａ部分（タイムスタンプ１〜２）とＢ部分（タイムスタンプ６〜８）とを抽出・結合して、図８に示すタイミングで再生する場合について具体的に説明する。このとき、たとえば図９に示すような編集情報が予め設定される。
【００８３】
すなわち、１つ目の再生開始位置としてタイムスタンプ１と記述されているので、これに基づいてＡ部分の再生が行なわれる。ここで、再生時刻管理情報としてオフセット１と記述されていることから、再生時刻調整部１３ではタイムスタンプ読取部１で読取ったタイムスタンプからオフセット分だけ減算して再生指定時刻を求め、これを再生タイマ２のタイマ時刻と比較する。
【００８４】
したがって、タイムスタンプ１のパケットに対する再生指定時刻は１−１＝０となり、タイマ時刻が０のときにＡ部分の再生出力が開始されることになる。同様に、タイムスタンプが２のパケットの再生指定時刻は２−１＝１となり、タイマ時刻が１のときに再生出力される。
【００８５】
また、再生終了位置としてはタイムスタンプ２と記述されているので、２よりも大きなタイムスタンプが付いたパケットを受取ったときに、比較部１４がこれを検出して、再生制御部４はこの部分の再生出力を終了する。
【００８６】
さらに、編集情報中の２つ目の再生開始位置としてタイムスタンプ６と記述されているので、これに基づいてＢ部分の再生が行なわれる。このとき、再生時刻管理情報としてオフセット４と記述されていることから、再生時刻調整部１３にてタイムスタンプからオフセット分だけ減算して再生指定時刻を求め、再生タイマ２のタイマ時刻と比較する。
【００８７】
したがって、タイムスタンプが６のパケットに対する再生指定時刻は６−４＝２となり、タイマ時刻が２のときにＢ部分の再生出力が開始される。同様に、タイムスタンプが８のパケットの再生指定時刻は８−４＝４となり、タイマ時刻が４のときに再生出力される。
【００８８】
また、再生終了位置としてタイムスタンプ８と記述されているので、８よりも大きなタイムスタンプが付いたパケットを受取ったときに再生制御部４はこの部分の再生出力を終了する。
【００８９】
なお、マルチメディア情報データが終わったときには、再生終了位置で示されたものよりも大きなタイムスタンプが付いたパケットがくることはないが、入力されるデータそのものがない場合には、当然再生出力が終了することになる。
【００９０】
また、上述した編集情報の一例では、再生指定範囲の記述として、再生開始位置、再生終了位置を用いたが、これに限らず、たとえば図１０に示すように、再生終了位置の代わりに再生持続期間を用いることができる。この場合は、再生開始位置と再生持続期間とから再生終了位置を計算で求めて比較部１４に入力すればよい。
【００９１】
また、再生時刻管理情報としてオフセットの代わりに、タイマ時刻そのものを記述することができる。この場合は、再生時刻調整部１３にてタイムスタンプの値を再生時刻管理情報（タイマ時刻）に置き換えるだけでよい。
【００９２】
以上のように、本実施例によれば、編集情報として再生指定範囲とともにその再生時刻管理情報を指定しておくことにより、この再生時刻管理情報に基づいてデータ本体に対して何らの変更を行なうことなく、当該再生指定範囲のタイマ時刻（再生基準時刻）に対する再生時刻を任意に調整することが可能となり、簡単にマルチメディア情報ファイル内における任意の部分を抽出して連続的に出力することができる。
【００９３】
さらに、元のマルチメディア情報ファイルと編集情報とから編集結果として新たなマルチメディア情報ファイルを作成する場合について図１１Ａ−１１Ｃを参照して説明する。上述したように、マルチメディア情報ファイルＸからＡ部分（タイムスタンプ１〜２）とＢ部分（タイムスタンプ６〜８）とを抽出し、単純に結合して１つの新たなファイルにした場合には、上記従来例と同様、タイムスタンプが原因でＡ部分とＢ部分とを連続的に再生することができなくなる。
【００９４】
そこで、この実施例においては、編集情報中の再生時刻管理情報を用いてタイムスタンプ変更部１５にて編集結果に対しタイムスタンプを付け直した上で、ヘッダ付加部１６でヘッダ制御情報を付加し、１つの新たなマルチメディア情報ファイルを作成している。
【００９５】
すなわち、図１１Ａに示すように、Ａ部分に対しては再生時刻管理情報がオフセット１であるので、元のタイムスタンプから１を減算したものを新たなタイムスタンプとして付加する。同様に、Ｂ部分に対しては再生時刻管理情報がオフセット４であるので、元のタイムスタンプから４を減算したものを新たなタイムスタンプとして付加する。
【００９６】
以上のように、マルチメディア情報ファイルＸから抽出・結合したＡ部分およびＢ部分に、編集情報に含まれる再生時刻管理情報から求めたタイムスタンプを付け直して作成された新たなマルチメディア情報ファイルＹ（図１１Ｃ）は、そのタイムスタンプの値から明らかなとおり、図８に示したように、Ａ部分とＢ部分とを連続的に再生出力することが可能となる。
【００９７】
ここで、通常マルチメディア情報ファイルは、ある決まった長さを管理単位として管理されるため、新たなマルチメディア情報ファイルＹ（図１１Ｃ）においても、任意の長さのマルチメディア情報データを所定の管理単位の整数倍に合わせるために、図１２Ａ−１２Ｄに示すように、動画像、音声／オーディオ以外にダミーデータを付加してもよい。
【００９８】
すなわち、ダミーデータを付加する方法として、ビデオ、オーディオ等のメディアデータを符号化する時点でダミーデータを付加する場合、図１２Ａに示すように、生成される符号化データ自体に直接ダミーデータを埋込むことでデータ本体を構成する。
【００９９】
また、ビデオ、オーディオ等のメディアデータをパケット化して多重化する際にダミーデータを付加する場合、図１２Ｂに示すように、ダミーデータで構成されるパケット（ダミーデータパケット）をメディアデータを含む他のパケットと同様に多重化して付加する。この場合、ダミーデータパケット自体がパケット長に関する情報を持ち、この情報に基づいてダミーデータパケットの読み飛ばしを行なう。
【０１００】
さらに、ファイル作成時にダミーデータを付加する場合、図１２Ｃ、図１２Ｄに示すように、ヘッダ制御情報のうち、インデックス情報のみを取出して、データ本体の後に配置する。これは、インデックス情報がストリーミング再生には不要なため、このような配置にすることにより、ストリーミング再生を行なう際に再生開始を早くすることができるためである。
【０１０１】
図１２Ｃはヘッダ制御情報とデータ本体との間、あるいはデータ本体とインデックス情報との間を、ダミーデータでスタッフィングする場合を示している。この場合、挿入されるダミーデータは、たとえばデータ本体あるいはインデックス情報の先頭として無効な“０”の系列をスタッフしておき、ダミーデータ部分では次の先頭を検出するまでシークさせる方法や、ダミーデータ領域の先頭部分にダミー領域のサイズを明示することにより、ダミーデータ領域をスキップさせる方法を用いることができる。
【０１０２】
図１２Ｄはヘッダ制御情報、データ本体各々の内部の最後尾位置にダミーデータを付加し、スタッフィングする場合を示している。この場合、ダミーデータを含めたヘッダ制御情報あるいはデータ本体の実サイズと、ダミーデータを含まないヘッダ制御情報、データ本体の有効サイズとをともにダミーデータ領域以外の領域に記録しておき、ダミーデータの読み飛ばしに利用する方法や、または、図１２Ｃとともに上述したように、ダミーデータ領域自体にサイズ情報を持たせる方法を用いることができる。
【０１０３】
なお、上記第１実施例の編集装置においては、編集情報読取部１１で読取られた再生対象ファイルＩＤに基づいて、再生対象ファイル抽出部１２にて所望のマルチメディア情報ファイルを抽出し、タイムスタンプ読取部１へ出力している。これに対し、編集情報読取部１１で読取られた再生対象ファイルＩＤ、再生開始位置、再生終了位置に応じて、再生対象ファイル抽出部１２では所望のマルチメディア情報ファイルの再生範囲のみを抽出し、タイムスタンプ読取部１へ出力するようにしてもよい。
【０１０４】
（２）  第２実施例
次に、本発明の動画像編集方法および動画像編集装置の第２実施例を、複数のマルチメディア情報ファイルを結合して再生する場合について、図１３〜図１８Ｃを参照して説明する。ここで、第１実施例と同一部分については同一符号を付してその説明は省略する。
【０１０５】
図１３を参照して、上述した第１実施例の編集装置と異なるのは、ファイル作成部２７として、再生制御部４から再生出力されたマルチメディア情報データに、編集情報読取部１１で読取られた編集情報の内容に基づいて求めた新たな編集情報を含むヘッダ制御情報を付加するヘッダ付加部２６を設けた点である。
【０１０６】
本実施例においては、図１４Ａ、図１４Ｂに示すように、ファイルＡとファイルＢとの２つのマルチメディア情報ファイルを結合して再生するが、上記第１実施例と同様、元のデータ本体自体に対しては加工しない。このときの編集情報αには、図１４Ｂに示すように、各再生対象ファイルごとに再生開始位置、再生終了位置および再生時刻管理情報が記述されている。
【０１０７】
なお、再生開始位置、再生終了位置の指定は、上述したように、時間情報（タイムスタンプ、再生時刻）、物理的格納位置、パケット番号などを用いることができる。また、再生時刻管理情報としてはオフセット値を用いる。
【０１０８】
すなわち、ファイルＡに関しては、タイムスタンプ通りに再生出力すればよいので、再生時刻管理情報のオフセット値は０である。また、再生対象ファイルＩＤをＡ、再生開始位置を０、再生終了位置をｔａとすることにより、ファイルＡのデータ全体を再生範囲として指している。
【０１０９】
一方、ファイルＢに関しては、時刻ｔｃ１（＝ｔａ）のときに再生を始めるようにするため、再生時刻管理情報オフセット値−ｔａとしている。また、再生対象ファイルＩＤをＢ、再生開始位置を０、再生終了位置をｔｂとすることにより、ファイルＢのデータ全体を再生範囲としている。
【０１１０】
この編集情報αに従って再生を行なうと、タイマ時刻０からｔｃ１まではファイルＡのデータを再生し、タイマ時刻ｔｃ１からｔｃ２（＝ｔａ＋ｔｂ）まではファイルＢのデータを再生出力することができる。
【０１１１】
以上のように、本実施例によれば、編集情報として複数の再生対象ファイルごとにそれぞれの再生指定範囲およびその再生時刻管理情報を指定しておくことにより、データ本体に対して何らの変更を行なうことなく、簡単に複数のマルチメディア情報ファイルを結合して再生出力することができる。
【０１１２】
なお、図１４Ｂに示した編集情報αにおいては、再生対象がデータ本体の初めから終りまでの全体を指している。このように、再生対象ファイル中のデータ本体全体が再生対象である場合は、図１５Ａに示すように、編集情報α内で再生開始位置、再生終了位置あるいは持続期間の記述を省略してもよい。
【０１１３】
すなわち、編集情報α内で再生範囲が明示されていないときは、再生対象ファイル中のデータ本体全体が再生対象であると解釈する。この場合、図１３における編集情報読取部１１では、省略されている再生範囲の情報を補完して出力する。
【０１１４】
また、編集情報中の最初の要素であり、かつ再生時刻管理情報が０の場合に限り、図１５Ｂに示すように、最初の再生時刻管理情報を省略することができる。この場合、図１３における編集情報読取部１１では、省略されている再生時刻管理情報を補完して出力する。さらに、編集要素の数を明示する必要がない場合には、編集要素数を省略してもよい。
【０１１５】
さらに、元のマルチメディア情報ファイルと編集情報とから編集結果として新たなマルチメディア情報ファイルを作成する場合について図１６Ａ，１６Ｂを参照して説明する。
【０１１６】
図１６Ａ，１６Ｂに示すように、ファイルＡとファイルＢとを結合して、ヘッダ制御情報を付加した新たな１つのファイルＣを作成する場合、ファイルＣ中において、ファイルＡからコピーする部分のタイムスタンプはそのままでよいが、ファイルＢからコピーする部分のタイムスタンプは、元のタイムスタンプにｔａを加えたものに付け直す必要がある。
【０１１７】
そこで、本実施例においては、ヘッダ付加部２６でファイルＢからコピーした部分に対する再生時刻管理情報としてオフセット−ｔａが指定された編集情報α３を作成し、新たなファイルＣのヘッダ制御情報中に格納することにより、再生時にこの部分のタイムスタンプにｔａを加算して、タイムスタンプを付け直すのと同様の作用を実現している。
【０１１８】
このように、新たなマルチメディア情報ファイルのヘッダ制御情報の一部として編集情報を格納しておき、再生開始位置、再生終了位置として、新たなマルチメディア情報ファイルのデータ本体（元のマルチメディア情報ファイルから抽出されたデータ本体）の先頭と末尾とをそれぞれ指すとともに、再生時刻管理情報として、データ本体先頭の再生時刻に対応する情報を設定する。
【０１１９】
すなわち、新たなマルチメディア情報ファイルのヘッダ制御情報として格納される編集情報には、再生時刻管理情報として、再生を開始すべき時刻とデータ本体先頭の再生時刻（タイムスタンプ値）との差分（オフセット）が指定されることになる。
【０１２０】
これによって、あるファイルのデータ本体の一部から新たなファイルを作成する場合に、データ本体先頭の再生時刻を再生を開始すべき時刻に合わせるために必要となるデータ本体全体にわたるタイムスタンプ値の書替え処理が不要となり、大量の情報を含むデータ本体は単なるコピーやファイル内での組替えなどの処理ですむため、処理を非常に簡単なものとすることができる。
【０１２１】
なお図１６Ｂに示した編集情報α３のように、編集情報がマルチメディア情報ファイルの中に含まれ、かつその編集情報が含まれているマルチメディア情報ファイルを再生対象とする場合は、図１７に示すように、編集情報α３内で再生対象ファイルＩＤの記述を省略してもよい。
【０１２２】
すなわち、編集情報α３内で再生対象ファイルＩＤが明示されていないときは、編集情報α３を含むマルチメディア情報ファイルが再生対象ファイルであると解釈する。この場合、図１３における編集情報読取部１１では、省略されている再生対象ファイルＩＤを補完して出力する。
【０１２３】
（３）第３実施例
本発明の動画像編集方法および動画像編集装置の第３実施例を単一のマルチメディア情報ファイルから複数に分割して再生する場合について図１８Ａ〜図２０を参照して説明する。ここで、上記第２実施例と同一部分には同一符号を付してその説明は省略する。
【０１２４】
第３実施例においては、図１８Ａに示すように、ファイルＡから２つのマルチメディア情報データを分割して再生するが、第１実施例と同様、元のデータ本体自体に対しては加工しない。
【０１２５】
ここでは、図１８Ｂおよび図１８Ｃに示すように、分割後の前半部分（タイムスタンプ０〜ｔａ１）に対応する編集情報αと、分割後の後半部分（タイムスタンプｔａ１〜ｔａ２）に対応する編集情報βとを設定し、各々の再生開始位置、再生終了位置、再生時刻管理情報が記述されている。なお、再生時刻管理情報としては、オフセット値を用いる。
【０１２６】
編集情報αが抽出する部分（分割後の前半部分）のタイムスタンプは０から始まっているので、編集情報αにおける再生時刻管理情報はオフセット値０でよい。したがって、この編集情報αに従って再生を行なうと、タイマ時刻０からｔｂ（＝ｔａ１）までの間に、分割後の前半部分のデータを再生出力することができる。
【０１２７】
一方、編集情報βが抽出する部分（分割後の後半部分）のタイムスタンプはｔａ１から始まっているので、編集情報βにおける再生時刻管理情報はオフセット値ｔａ１としている。したがって、この編集情報βに従って再生を行なうと、タイマ時刻０からｔｃ（＝ｔａ２−ｔａ１）までの間に、分割後の後半部分のデータを再生出力することができる。
【０１２８】
以上のように、本実施例によれば、分割後のデータ部分に対応する複数の編集情報を設定しておくことにより、データ本体に対して何らの変更を行なうことなく、単一のマルチメディア情報ファイルを分割し、いずれの分割後のデータも時刻０から再生出力することができる。
【０１２９】
さらに、元のマルチメディア情報ファイルと編集情報とから編集結果として新たなマルチメディア情報ファイルを作成する場合について図１９を参照して説明する。
【０１３０】
この場合も、上述した第２実施例と同様、分割後の新たなマルチメディア情報ファイルに再生開始時刻初期値とデータ本体先頭の再生時刻（タイムスタンプ１）との差分（オフセット）が記述された再生時刻管理情報を含む新たな編集情報を格納すればよい。
【０１３１】
たとえばファイルＡを分割してファイルＢとファイルＣとを作成する場合、図１９に示すように、ファイルＢの中のタイムスタンプを付け直す必要はないが、ファイルＣ中のタイムスタンプは付け直さなければならない。
【０１３２】
そこで、ファイルＣのヘッダ制御情報中に編集情報α２を持たせることによって、ファイルＣの再生時に編集情報α２中の再生時刻管理情報に基づき、タイムスタンプの値を調整し、タイムスタンプを付け直すのと同様の作用を実現している。
【０１３３】
なお、図１９における編集情報α２のように、編集情報がマルチメディア情報ファイルの中に含まれ、かつ再生対象がデータ本体の初めから終りまでの全体である場合は、図２０に示すように、編集情報α内で再生対象ファイルＩＤおよび再生範囲の両方の記述を省略してもよい。
【０１３４】
すなわち、編集情報α２内で再生対象ファイルＩＤおよび再生範囲が明示されていないときは、編集情報α２を含むマルチメディア情報ファイル中のデータ本体全体が再生対象であると解釈する。この場合、図１３における編集情報読取部１１では、省略されている再生対象ファイルＩＤおよび再生範囲を補完して出力する。
【０１３５】
（４）第４実施例
本発明の動画像編集方法および動画像編集装置の第４実施例を、複数のマルチメディア情報ファイルの一部分を抽出、結合して再生する場合について図２１を参照して説明する。ここで、上記第１〜第３実施例と同一部分には同一符号を付けてその説明は省略する。
【０１３６】
本実施例においては、図２１に示すように、編集情報αによってファイルＡ、ファイルＢから抽出・結合された編集結果と、編集情報βによってファイルＣから抽出・結合された編集結果とから、さらにそれぞれの一部分を抽出・結合して再生出力するが、上記第１実施例と同様、元のデータ本体自体に対しては加工しない。
【０１３７】
ここで、図２１中に示すように、編集情報αには、ファイルＡからタイムスタンプｔａ１〜ｔａ２の部分を抽出したものと、ファイルＢからタイムスタンプｔｂ１〜ｔｂ２の部分を抽出したものとを結合するための情報が記述されている。編集情報βには、ファイルＣからタイムスタンプｔｃ１〜ｔｃ２の部分を抽出するための情報が記述されている。ここでは、既に編集情報α、βが元のマルチメディア情報ファイルＡ、Ｂ、Ｃとは別のファイルとして存在しているものとする。
【０１３８】
さらに、編集情報αに従って定義される編集結果の一部分（タイムスタンプｔｄ１〜ｔｄ２）を抽出したものと、編集情報βに従って定義される編集結果の一部分（タイムスタンプｔｅ１〜ｔｅ２）を抽出したものを結合する場合、このときの編集情報における再生対象ファイルとして、この編集情報α、βを指定することができる。
【０１３９】
すなわち、編集情報γ１においては、再生対象ファイルＩＤをα、βとし、それぞれの再生開始位置、再生終了位置、および再生時刻管理情報を、編集情報α、βによる編集結果上での時刻を用いて、ｔｄ１、ｔｄ２、ｔｄ１、ｔｅ１、ｔｅ２、ｔｅ１−ｔｅ２＋ｔｄ１とすることにより、複雑な編集内容を簡潔な記述にすることが可能となる。
【０１４０】
なお、編集情報αは元のファイルＡ、Ｂを、編集情報βは元のファイルＣを参照していることから、上記の編集情報γ１と同様の内容を、編集情報γ２としてファイルＡ、Ｂ、Ｃを参照する形で記述することも可能である。この編集情報γ２では、再生対象ファイルとして元のファイルＡ、Ｂ、Ｃを指定し、それに伴って再生開始位置、再生終了位置、および再生時刻管理情報も以下のとおり記述される。
【０１４１】
すなわち、ファイルＡにおける再生範囲はタイムスタンプｔａ３（＝ｔｄ１＋ｔａ１）〜ｔａ２、再生時刻管理情報はオフセットｔｄ１＋ｔａ１、ファイルＢにおける再生範囲はｔｂ１〜ｔｂ３（ｔｄ２＋ｔｂ１−ｔａ２＋ｔａ１）、再生時刻管理情報はオフセットｔｂ１−ｔａ２＋ｔｄ１＋ｔａ１、ファイルＣにおける再生範囲はｔｃ３（＝ｔｅ１＋ｔｃ１）〜ｔｃ４（＝ｔｅ２＋ｔｃ１）、再生時刻管理情報はオフセットｔｅ１＋ｔｃ１−ｔｄ２＋ｔｄ１とする。
【０１４２】
このように、ある編集結果に対してさらに編集するような場合であっても、編集情報γ１のように、再生対象として編集情報α、βを参照せずに、編集情報γ２のように、元のマルチメディア情報ファイルＡ、Ｂ、Ｃを参照するような記述とすることにより、仮に後で編集情報α、βが消去されたとしても、編集情報γ２による編集結果は影響を受けない。
【０１４３】
また、編集情報が元のマルチメディア情報ファイル内に埋込まれて格納されている場合、再生対象ファイルＩＤだけからでは、再生対象として編集情報を指しているのか、データ本体を指しているのかがわからないが、この場合には、再生開始位置や再生終了位置の記述として、たとえばＥｄｉｔ−１０、Ｖｉｄｅｏ−８のように、編集情報なのかデータ本体中のメディアなのかを特定できるような記述形式を用いればよい。
【０１４４】
以上のように、本実施例によれば、編集情報の再生対象ファイルとして、既存の編集情報を指定しておくことにより、データ本体に対して何らの変更を伴うことなく、非常に簡単に複数のマルチメディア情報ファイルに対して複雑な編集を行ない、再生出力することができる。
【０１４５】
（５）第５実施例
本発明の動画像編集方法および動画像編集装置の第５実施例を、ファイル内に編集情報を含む複数のマルチメディア情報ファイルを結合して再生する場合について図２２Ａ−２２Ｇを参照して説明する。ここで、上記第１〜第４実施例と同一部分については同一符号を付し、その説明は省略する。
【０１４６】
本実施例においては、図２２Ａ−２２Ｃに示すように、ファイルＡとファイルＢとを、編集情報βを用いて結合して再生出力する。第１実施例と同様に、元のデータ本体自体に加工はしない。なお、ファイルＢはタイムスタンプがｔｂ１から始まってｔｂ２で終わっており、ファイル内に再生時刻管理情報としてｔｂ１が記述されている編集情報αを含んでいる。
【０１４７】
このとき、編集情報αの存在を考慮しなければ、編集情報βは図２２Ｄに示すような記述がされていればよい。すなわち、編集対象のファイルＡ、Ｂと別ファイルとして存在する編集情報βがファイルＢ内の編集情報αよりも優先するという規則を設けることによって、編集情報βは、ファイルＢ内の編集情報αの存在しない記述とすることができる。
【０１４８】
逆に、ファイルβ内に編集情報αが存在することを活用すれば、編集情報βは図２２Ｅに示すような記述とすることができる。すなわち、編集結果としての最終的な再生時刻管理情報は図２２Ｄに示すようにｔｂ１−ｔａとなるべきであるが、編集情報α中に再生時刻管理情報としてｔｂ１が既に記述されているので、編集情報βには−ｔａだけを記述すればよい。両者を合計したものがｔｂ１−ｔａとなる。
【０１４９】
この場合、ファイルＢの再生時刻の管理は、編集情報αに任せることができるため、編集情報βを生成する際には、ファイルＢのタイムスタンプを見る必要はなく、編集情報αだけを見ればよい。なお、図２２Ｅに示した編集情報βにおいては、図１５とともに第１実施例で説明したとおり、省略可能な再生開始位置、再生終了位置などを省略している。
【０１５０】
さらに、このような場合に、既にファイルＢ中に存在する編集情報αを書直すことも考えられる。すなわち、図２２Ｄにおいては編集情報β中に記述したファイルＢに対する再生時刻管理情報ｔｂ１−ｔａを、図２２Ｇに示すように、編集情報α中に記述する。また、編集情報βには、図２２Ｆに示すように、再生時刻管理情報を記述せず、再生対象ファイルＩＤのみを記述する。これによって、編集結果として新たなマルチメディア情報ファイルを作成する際に、処理を簡単にすることができる。
産業上の利用可能性
以上のように、この発明に係る動画像編集方法および動画像編集装置は、記録媒体上の動画像データのうち、所望の再生範囲を選択してその再生情報を再生時間情報とともに抽出し、抽出した再生情報と再生時間情報に基づいて抽出した範囲を再生するための編集情報を記録媒体に付加するため、元の再生情報を変更することなく、編集情報を用いて所望の動画像の編集が可能になる。
【図面の簡単な説明】
【図１】  この発明が適用される動画像編集装置の外観を示す模式図である。
【図２】  本発明の一実施例の動画像編集方法および動画像編集装置における編集情報ファイルの構造を示す図である。
【図３】  動画像編集装置の編集情報を記録する部分を示すブロック図である。
【図４Ａ〜４Ｂ】  記録媒体に記録されている情報の内容を示す模式図である。
【図５】  本発明の一実施例の動画像編集方法および動画像編集装置における編集対象のマルチメディア情報ファイルの一例を示す図である。
【図６】  本発明の一実施例の動画像編集装置の概略構成を示す機能ブロック図である。
【図７】  本発明の一実施例に係る動画像編集方法を示すフローチャートである。
【図８】  本発明の一実施例の動画像編集方法および動画像編集装置における再生出力例を示す図である。
【図９】  本発明の一実施例の動画像編集方法および動画像編集装置における編集情報の一例を示す図である。
【図１０】  本発明の一実施例の動画像編集方法および動画像編集装置における編集情報の他の例を示す図である。
【図１１Ａ〜１１Ｃ】  再生出力から作成した新たなマルチメディア情報ファイルの一例を示す図である。
【図１２Ａ〜１２Ｄ】  再生出力から作成した新たなマルチメディア情報ファイルにダミーデータを付加した例を示す図である。
【図１３】  この発明の第２実施例に係る動画像編集装置の概略構成を示す機能ブロック図である。
【図１４Ａ〜１４Ｂ】  第２実施例における再生出力およびそのための編集情報の一例を示す図である。
【図１５Ａ〜１５Ｂ】  第２実施例における編集情報の他の例を示す図である。
【図１６Ａ〜１６Ｂ】  第２実施例における再生出力から作成した新たなマルチメディア情報ファイルおよびそのマルチメディア情報ファイルに含まれる編集情報の一例を示す図である。
【図１７】  第２実施例における再生出力から作成した新たなマルチメディア情報ファイルに含まれる編集情報の他の例を示す図である。
【図１８Ａ〜１８Ｃ】  本発明の第３実施例における動画像編集方法および動画像編集装置による再生出力およびそのための編集情報の一例を示す図である。
【図１９】  第３実施例における再生出力から作成した新たなマルチメディア情報ファイルの一例を示す図である。
【図２０】  第３実施例における再生出力から作成した新たなマルチメディア情報ファイルに含まれる編集情報の一例を示す図である。
【図２１】  この発明の第４実施例に係る動画像編集方法および動画像編集装置による再生出力およびそのための編集情報の一例を示す図である。
【図２２Ａ〜２２Ｇ】  本発明の第５実施例に係る動画像編集方法および動画像編集装置における編集情報の例を示す図である。
【図２３】  マルチメディア情報ファイルの概略構成を示す図である。
【図２４】  従来のマルチメディア情報の再生装置の概略構成を示すブロック図である。
【図２５】  従来のマルチメディア情報の再生方法を示すフローチャートである。
【図２６】  従来のマルチメディア情報の再生装置を用いて、任意に抽出された部分データのみを再生した場合を示す図である。
【図１】
0004093722.tif 000002
【図２】
0004093722.tif 000003
【図３】
0004093722.tif 000004
【図４Ａ】
0004093722.tif 000005
【図４Ｂ】
0004093722.tif 000006
【図５】
0004093722.tif 000007
【図６】
0004093722.tif 000008
【図７】
0004093722.tif 000009
【図８】
0004093722.tif 000010
【図９】
0004093722.tif 000011
【図１０】
0004093722.tif 000012
【図１１Ａ】
0004093722.tif 000013
【図１１Ｂ】
0004093722.tif 000014
【図１１Ｃ】
0004093722.tif 000015
【図１２Ａ】
0004093722.tif 000016
【図１２Ｂ】
0004093722.tif 000017
【図１２Ｃ】
0004093722.tif 000018
【図１２Ｄ】
0004093722.tif 000019
【図１３】
0004093722.tif 000020
【図１４Ａ】
0004093722.tif 000021
【図１４Ｂ】
0004093722.tif 000022
【図１５Ａ】
0004093722.tif 000023
【図１５Ｂ】
0004093722.tif 000024
【図１７】
0004093722.tif 000025
【図２０】
0004093722.tif 000026
【図１６Ａ】
0004093722.tif 000027
【図１６Ｂ】
0004093722.tif 000028
【図１８Ａ】
0004093722.tif 000029
【図１８Ｂ】
0004093722.tif 000030
【図１８Ｃ】
0004093722.tif 000031
【図１９】
0004093722.tif 000032
【図２１】
0004093722.tif 000033
【図２２Ａ】
0004093722.tif 000034
【図２２Ｂ】
0004093722.tif 000035
【図２２Ｃ】
0004093722.tif 000036
【図２２Ｄ】
0004093722.tif 000037
【図２２Ｅ】
0004093722.tif 000038
【図２２Ｆ】
0004093722.tif 000039
【図２２Ｇ】
0004093722.tif 000040
【図２３】
0004093722.tif 000041
【図２４】
0004093722.tif 000042
【図２５】
0004093722.tif 000043
【図２６】
0004093722.tif 000044