(57)【要約】【課題】動画データの編集を行うことができるデータ編集装置およびデータ編集方法を提供する。【解決手段】制御部１０はデータ１およびデータ２をＲＯＭ８から読み出し、ＲＡＭ９に格納する。続いて制御部１０はデータ１のエンドコードを検出し、このエンドコードとデータ２のヘッダをデータから除き、２つのデータをＲＡＭ９上の連続した領域に格納する。このとき制御部１０は、データ２のヘッダ内のタイムテーブルに関して、データ２の最初のフレームに関するデコード間隔時間と、データ２のフレームに関するフレーム判別情報とを変更する。制御部１０は、データ２に含まれていた先頭のフレームから順番にタイムベースおよびタイムインクリメントを書き換え、書き換えた動画データをＲＯＭ８に格納する。【選択図】    図１
2005051307.tif 000002
【特許請求の範囲】
【請求項１】
複数のフレームからなる第１および第２の画像データをそれぞれ記憶する第１の記憶手段と、
前記第１の画像データの先頭に付加される１フレーム当たりの再生時間情報を削除し、当該再生時間情報の内容を前記第２の画像データの先頭に付加される１フレーム当たりの再生時間情報に追加する第１の追加手段と、
前記第１の画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、
前記第１および第２の画像データを、前記第２の画像データを先頭として連結して第３の画像データを生成する第１の連結手段と、
前記第１の連結手段によって生成された前記第３の画像データを前記第１の記憶手段に格納する第１の格納手段と、
を具備することを特徴とするデータ編集装置。
【請求項２】
前記第１および第２の画像データに対応し、複数のフレームからなる第１および第２の音声データを記憶する第２の記憶手段と、
前記第１の音声データの先頭に付加される１フレーム当たりの再生時間情報を削除し、当該再生時間情報の内容を前記第２の音声データの先頭に付加される１フレーム当たりの再生時間情報に追加する第２の追加手段と、
前記第２の画像データの再生時間と前記第２の音声データの再生時間との差が前記第２の音声データの１フレームの再生時間を超える場合に、前記第２の音声データの末尾に無音データを挿入する挿入手段と、
前記第１および第２の音声データを、前記第２の音声データを先頭として連結して第３の音声データを生成する第２の連結手段と、
前記第２の画像データの最後のフレームに関する再生時間情報を書き換える第２の書換手段と、
前記第２の連結手段によって生成された前記第３の音声データを前記第２の記憶手段に格納する第２の格納手段と、
をさらに具備することを特徴とする請求項１に記載のデータ編集装置。
【請求項３】
前記第３の画像データを当該第３の画像データの再生時間情報に基づいて再生する再生手段をさらに具備することを特徴とする請求項１に記載のデータ編集装置。
【請求項４】
前記第３の画像データおよび前記第３の音声データを前記第３の画像データの再生時間情報と前記第３の音声データの再生時間情報とに基づいて再生する再生手段をさらに具備することを特徴とする請求項２に記載のデータ編集装置。
【請求項５】
複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、
前記画像データの切り出し位置を指定する指定手段と、
前記指定手段によって指定された位置に最も近い基準フレームを検索する第１の検索手段と、
前記第１の検索手段によって検索された基準フレームから末尾までのデータを前記画像データから抽出する第１の抽出手段と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、
前記第１の抽出手段によって抽出された画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、
前記第１の書換手段によって書き換えられた前記画像データを前記第１の記憶手段に格納する第１の格納手段と、
を具備することを特徴とするデータ編集装置。
【請求項６】
前記画像データに対応する音声データを記憶する第２の記憶手段と、
前記第１の検索手段によって検索された基準フレームに対応する前記第２の音声データのフレームを検索する第２の検索手段と、
前記第２の検索手段によって検索されたフレームから末尾までのデータを前記音声データから抽出する第２の抽出手段と、
音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された前記音声データの先頭に付加する第２の付加手段と、
前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、
前記算出手段によって算出された前記再生時間の差に応じて前記画像データの先頭のフレームに関する再生時間情報を書き換える第２の書換手段と、
前記第２の付加手段によって変更された音声データを前記第２の記憶手段に格納する第２の格納手段と、
をさらに具備することを特徴とする請求項５に記載のデータ編集装置。
【請求項７】
複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、
前記画像データの切り出し位置を指定する指定手段と、
前記指定手段によって指定された位置に最も近い基準フレームを検索する第１の検索手段と、
先頭から、前記第１の検索手段によって検索された基準フレームの直前までのデータを前記画像データから抽出する第１の抽出手段と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち、前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、
前記第１の抽出手段によって抽出された画像データに付加される各フレームの経過時間に関する時間情報を書き換える第１の書換手段と、
前記第１の書換手段によって書き換えられた前記画像データを前記第１の記憶手段に格納する格納手段と、
を具備することを特徴とするデータ編集装置。
【請求項８】
前記画像データに対応する音声データを記憶する第２の記憶手段と、
前記第１の検索手段によって検索された基準フレームの直前の差分フレームに対応する前記音声データのフレームを検索する第２の検索手段と、
先頭から、前記第２の検索手段によって検索されたフレームまでのデータを前記音声データから抽出する第２の抽出手段と、
前記音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された前記音声データの先頭に付加する第２の付加手段と、
前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、
前記算出手段によって算出された再生時間の差に応じて前記画像データの最後のフレームに関する再生時間情報を書き換える第２の書換手段と、
前記第２の付加手段によって変更された前記音声データを前記第２の記憶手段に格納する第２の格納手段と、
をさらに具備することを特徴とする請求項７に記載のデータ編集装置。
【請求項９】
複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、
前記画像データの切り出し位置を指定する指定手段と、
前記指定手段によって指定された位置に最も近い基準フレームを検索する第１の検索手段と、
前記画像データの先頭に付加される１フレームあたりの再生時間情報を参照し、前記第１の検索手段によって検索された基準フレーム以後の前記再生時間情報を加算する加算手段と、
前記加算手段によって加算される前記再生時間情報の和が特定の時間を超えた場合に、前記第１の検索手段によって検索された基準フレームから、最後に加算された再生時間情報に関するフレームの直前の基準フレームの一つ前の差分フレームまでの前記画像データを抽出する第１の抽出手段と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、
前記第１の抽出手段によって抽出された画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、
前記第１の書換手段によって書き換えられた前記画像データを前記第１の記憶手段に格納する第１の格納手段と、
を具備することを特徴とするデータ編集装置。
【請求項１０】
前記画像データに対応する音声データを記憶する第２の記憶手段と、
前記第１の検索手段によって検索された基準フレームから、最後に加算された前記再生時間情報に関するフレームの直前の基準フレームの一つ前のフレームに対応する前記音声データのフレームを検索する第２の検索手段と、
先頭から、前記第２の検索手段によって検索されたフレームまでのデータを前記音声データから抽出する第２の抽出手段と、
前記音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された音声データの先頭に付加する第２の付加手段と、
前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、
前記算出手段によって算出された前記再生時間の差に応じて前記画像データの先頭のフレームに関する再生時間情報を書き換える第２の書換手段と、
前記音声データを前記第２の記憶手段に格納する第２の格納手段と、
をさらに具備することを特徴とする請求項９に記載のデータ編集装置。
【請求項１１】
複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、
前記画像データの先頭および末尾の切り出し位置を指定する指定手段と、
前記指定手段によって指定された先頭の切り出し位置に最も近い基準フレームおよび末尾の切り出し位置に最も近い基準フレームを検索する第１の検索手段と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報を参照し、前記先頭の切り出し位置に最も近い基準フレームから前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでのフレームに関する再生時間情報を加算する第１の加算手段と、
前記第１の加算手段によって加算される再生時間情報の和が特定の時間を超えない場合に、前記第１の検索手段によって検索された前記先頭の切り出し位置に最も近い基準フレームから、前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでの前記画像データを抽出する第１の抽出手段と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、
前記第１の抽出手段によって抽出された画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、
前記書換手段によって書き換えられた画像データを前記第１の記憶手段に格納する第１の格納手段と、
を具備することを特徴とするデータ編集装置。
【請求項１２】
複数のフレームからなる音声データを記憶する第２の記憶手段と、
前記第１の検索手段によって検索された、先頭の切り出し位置に最も近い基準フレームに対応する前記音声データの先頭フレームおよび前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームに対応する前記音声データの末尾フレームを検索する第２の検索手段と、
前記音声データの先頭に付加される１フレーム当たりの再生時間情報を参照し、前記先頭フレームから前記末尾フレームまでのフレームに関する再生時間情報を加算する第２の加算手段と、
前記第２の加算手段によって加算される再生時間情報の和が特定の時間を超えない場合に、前記第２の検索手段によって検索された前記先頭フレームから、前記末尾フレームまでの前記音声データを抽出する第２の抽出手段と、
前記音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された音声データの先頭に付加する第２の付加手段と、
前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、
前記算出手段によって算出された再生時間の差に応じて前記画像データの先頭のフレームに関する再生時間情報を書き換える第２の書換手段と、
前記音声データを前記第２の記憶手段に格納する第２の格納手段と、
をさらに具備することを特徴とする請求項１１に記載のデータ編集装置。
【請求項１３】
前記第１の付加手段によって変更された画像データを前記抽出された画像データの再生時間情報に基づいて再生する再生手段をさらに具備することを特徴とする請求項５、請求項７、請求項９、または請求項１１に記載のデータ編集装置。
【請求項１４】
前記第２の書換手段によって書き換えられた前記画像データおよび前記第２の付加手段によって変更された前記音声データを前記抽出された画像データの再生時間情報および前記抽出された音声データの再生時間情報に基づいて再生する再生手段をさらに具備することを特徴とする請求項６、請求項８、請求項１０、または請求項１２に記載のデータ編集装置。
【請求項１５】
複数のフレームからなる第１の画像データの先頭に付加される１フレーム当たりの再生時間情報を削除し、当該再生時間情報の内容を複数のフレームからなる第２の画像データの先頭に付加される１フレーム当たりの再生時間情報に追加する過程と、
前記第１および第２の画像データを、前記第２の画像データを先頭として連結して第３の画像データを生成する過程と、
生成された前記第３の画像データを当該第３の画像データの再生時間情報に基づいて再生する過程と、
前記第３の画像データ中の前記第１の画像データの各フレームに付加される経過時間情報を書き換える過程と、
書き換えられた前記第３の画像データを記憶手段に格納する過程と、
を具備することを特徴とするデータ編集方法。
【請求項１６】
複数の基準フレームおよび差分フレームからなる画像データの切り出し位置を指定する過程と、
指定された位置に最も近い基準フレームを検索する過程と、
検索された基準フレームから末尾までのデータを前記画像データから抽出する過程と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち抽出される部分の内容を抽出された画像データの先頭に付加する過程と、
前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、
再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、
書き換えられた前記画像データを記憶手段に格納する過程と、
を具備することを特徴とするデータ編集方法。
【請求項１７】
複数の基準フレームおよび差分フレームからなる画像データの切り出し位置を指定する過程と、
指定された位置に最も近い基準フレームを検索する過程と、
先頭から、検索された基準フレームの直前までのデータを前記画像データから抽出する過程と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち、抽出される部分の内容を抽出された画像データの先頭に付加する過程と、
前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、
再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、
書き換えられた前記画像データを記憶手段に格納する過程と、
を具備することを特徴とするデータ編集方法。
【請求項１８】
複数の基準フレームおよび差分フレームからなる画像データの切り出し位置を指定する過程と、
指定された位置に最も近い基準フレームを検索する過程と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報を参照し、検索された基準フレーム以後の前記再生時間情報を加算する過程と、
加算される前記再生時間情報の和が特定の時間を超えた場合に、検索された基準フレームから、最後に加算された前記再生時間情報に関するフレームの直前の基準フレームの一つ前の差分フレームまでの前記画像データを抽出する過程と、
前記画像データの先頭に付加される１フレームあたりの再生時間情報のうち抽出される部分の内容を抽出された画像データの先頭に付加する過程と、
前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、
再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、
書き換えられた前記画像データを記憶手段に格納する過程と、
を具備することを特徴とするデータ編集方法。
【請求項１９】
複数の基準フレームおよび差分フレームからなる画像データの先頭および末尾の切り出し位置を指定する過程と、
指定された先頭の切り出し位置に最も近い基準フレームおよび末尾の切り出し位置に最も近い基準フレームを検索する過程と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報を参照し、前記先頭の切り出し位置に最も近い基準フレームから前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでのフレームに関する前記再生時間情報を加算する過程と、
加算される前記再生時間情報の和が特定の時間を超えない場合に、検索された前記先頭の切り出し位置に最も近い基準フレームから、前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでの前記画像データを抽出する過程と、
前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち抽出される部分の内容を抽出された画像データの先頭に付加する過程と、
前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、
再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、
書き換えられた前記画像データを記憶手段に格納する過程と、
を具備することを特徴とするデータ編集方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、携帯電話等の携帯用電子機器に格納され、動画データをユーザの好みに合わせて編集するデータ編集装置およびデータ編集方法に関する。
【０００２】
【従来の技術】
近年、ユーザが携帯電話等を用いてユーザ間で様々な情報交換を行えるようになってきている。例えば、特許文献１には電子メールに画像および音声を送信することによって、文字だけでは伝達しきれない情報を相手方に視覚的に把握させる携帯テレビ電話端末が記載されている。近年、静止画像データのみならず、動画データを他の機器へ送信することができる携帯用電子機器が登場した。このような携帯用電子機器は、動画データの再生を行うことができると共に、最大再生時間が１５秒の動画データを電子メールに添付して他の機器へ送信することができる。なお、送信可能な動画データの再生時間が１５秒に制限されているのは、データを伝送する無線のトラヒックラインに過大な負荷が発生しないようにするためである。
【０００３】
【特許文献１】
特開２０００−３３２９０４号公報
【０００４】
【発明が解決しようとする課題】
しかし、従来の携帯用電子機器は、ユーザの撮影による動画データの作成やその再生、他の機器との動画データの送受信、Ｗｅｂサイトからの動画データのダウンロード等を行うことはできたものの、動画データの編集を行うことはできなかった。ユーザは、１５秒を超える動画データを再生することはできるが、その編集を行うことができないため、１５秒を超える動画データを他の機器へ送信することができず、自分の携帯用電子機器上で再生させて楽しむだけであった。
【０００５】
携帯電話において動画データの編集を行うには、動画データを一旦デコードし、表示用データに変換してから画面上に表示し、この表示用データに対して様々な編集操作を行ったものをエンコードして保存することが必要であると一般的に考えられている。編集中に動画データのデコードおよびエンコードを繰り返すのでは、このデータの変換に時間がかかり、ユーザにとって使いづらいため、動画データの編集機能を有する携帯電話は存在しなかった。
【０００６】
本発明は、上述した問題点に鑑みてなされたものであって、動画データの編集を行うことができるデータ編集装置およびデータ編集方法を提供することを目的とする。
【０００７】
【課題を解決するための手段】
本発明は上記の課題を解決するためになされたもので、複数のフレームからなる第１および第２の画像データをそれぞれ記憶する第１の記憶手段と、前記第１の画像データの先頭に付加される１フレーム当たりの再生時間情報を削除し、当該再生時間情報の内容を前記第２の画像データの先頭に付加される１フレーム当たりの再生時間情報に追加する第１の追加手段と、前記第１の画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、前記第１および第２の画像データを、前記第２の画像データを先頭として連結して第３の画像データを生成する第１の連結手段と、前記第１の連結手段によって生成された前記第３の画像データを前記第１の記憶手段に格納する第１の格納手段とを具備することを特徴とする。
【０００８】
また、前記第１および第２の画像データに対応し、複数のフレームからなる第１および第２の音声データを記憶する第２の記憶手段と、前記第１の音声データの先頭に付加される１フレーム当たりの再生時間情報を削除し、当該再生時間情報の内容を前記第２の音声データの先頭に付加される１フレーム当たりの再生時間情報に追加する第２の追加手段と、前記第２の画像データの再生時間と前記第２の音声データの再生時間との差が前記第２の音声データの１フレームの再生時間を超える場合に、前記第２の音声データの末尾に無音データを挿入する挿入手段と、前記第１および第２の音声データを、前記第２の音声データを先頭として連結して第３の音声データを生成する第２の連結手段と、前記第２の画像データの最後のフレームに関する再生時間情報を書き換える第２の書換手段と、前記第２の連結手段によって生成された前記第３の音声データを前記第２の記憶手段に格納する第２の格納手段とをさらに具備することが好ましい。
【０００９】
また、前記第３の画像データを当該第３の画像データの再生時間情報に基づいて再生する再生手段をさらに具備することが好ましい。
【００１０】
また、前記第３の画像データおよび前記第３の音声データを前記第３の画像データの再生時間情報と前記第３の音声データの再生時間情報とに基づいて再生する再生手段をさらに具備することが好ましい。
【００１１】
本発明は、複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、前記画像データの切り出し位置を指定する指定手段と、前記指定手段によって指定された位置に最も近い基準フレームを検索する第１の検索手段と、前記第１の検索手段によって検索された基準フレームから末尾までのデータを前記画像データから抽出する第１の抽出手段と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、前記第１の抽出手段によって抽出された画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、前記第１の書換手段によって書き換えられた前記画像データを前記第１の記憶手段に格納する第１の格納手段とを具備することを特徴とする。
【００１２】
また、前記画像データに対応する音声データを記憶する第２の記憶手段と、前記第１の検索手段によって検索された基準フレームに対応する前記第２の音声データのフレームを検索する第２の検索手段と、前記第２の検索手段によって検索されたフレームから末尾までのデータを前記音声データから抽出する第２の抽出手段と、前記音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された音声データの先頭に付加する第２の付加手段と、前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、前記算出手段によって算出された前記再生時間の差に応じて前記画像データの先頭のフレームに関する再生時間情報を書き換える第２の書換手段と、前記第２の付加手段によって変更された音声データを前記第２の記憶手段に格納する第２の格納手段とをさらに具備することが好ましい。
【００１３】
本発明は、複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、前記画像データの切り出し位置を指定する指定手段と、前記指定手段によって指定された位置に最も近い基準フレームを検索する第１の検索手段と、先頭から、前記第１の検索手段によって検索された基準フレームの直前までのデータを前記画像データから抽出する第１の抽出手段と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち、前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、前記第１の抽出手段によって抽出された画像データに付加される各フレームの経過時間に関する時間情報を書き換える第１の書換手段と、前記第１の書換手段によって書き換えられた前記画像データを前記第１の記憶手段に格納する格納手段とを具備することを特徴とする。
【００１４】
また、前記画像データに対応する音声データを記憶する第２の記憶手段と、前記第１の検索手段によって検索された基準フレームの直前の差分フレームに対応する前記音声データのフレームを検索する第２の検索手段と、先頭から、前記第２の検索手段によって検索されたフレームまでのデータを前記音声データから抽出する第２の抽出手段と、前記音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された前記音声データの先頭に付加する第２の付加手段と、前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、前記算出手段によって算出された再生時間の差に応じて前記画像データの最後のフレームに関する再生時間情報を書き換える第２の書換手段と、前記第２の付加手段によって変更された前記音声データを前記第２の記憶手段に格納する第２の格納手段とをさらに具備することが好ましい。
【００１５】
本発明は、複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、前記画像データの切り出し位置を指定する指定手段と、前記指定手段によって指定された位置に最も近い基準フレームを検索する第１の検索手段と、前記画像データの先頭に付加される１フレームあたりの再生時間情報を参照し、前記第１の検索手段によって検索された基準フレーム以後の前記再生時間情報を加算する加算手段と、前記加算手段によって加算される前記再生時間情報の和が特定の時間を超えた場合に、前記第１の検索手段によって検索された基準フレームから、最後に加算された前記再生時間情報に関するフレームの直前の基準フレームの一つ前の差分フレームまでの前記画像データを抽出する第１の抽出手段と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、前記第１の抽出手段によって抽出された画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、前記第１の書換手段によって書き換えられた前記画像データを前記第１の記憶手段に格納する第１の格納手段とを具備することを特徴とする。
【００１６】
また、前記画像データに対応する音声データを記憶する第２の記憶手段と、前記第１の検索手段によって検索された基準フレームから、最後に加算された前記再生時間情報に関するフレームの直前の基準フレームの一つ前のフレームに対応する前記音声データのフレームを検索する第２の検索手段と、先頭から、前記第２の検索手段によって検索されたフレームまでのデータを前記音声データから抽出する第２の抽出手段と、前記音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された音声データの先頭に付加する第２の付加手段と、前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、前記算出手段によって算出された前記再生時間の差に応じて前記画像データの先頭のフレームに関する再生時間情報を書き換える第２の書換手段と、前記音声データを前記第２の記憶手段に格納する第２の格納手段とをさらに具備することが好ましい。
【００１７】
本発明は、複数の基準フレームおよび差分フレームからなる画像データを記憶する第１の記憶手段と、前記画像データの先頭および末尾の切り出し位置を指定する指定手段と、前記指定手段によって指定された先頭の切り出し位置に最も近い基準フレームおよび末尾の切り出し位置に最も近い基準フレームを検索する第１の検索手段と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報を参照し、前記先頭の切り出し位置に最も近い基準フレームから前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでのフレームに関する再生時間情報を加算する第１の加算手段と、前記第１の加算手段によって加算される再生時間情報の和が特定の時間を超えない場合に、前記第１の検索手段によって検索された前記先頭の切り出し位置に最も近い基準フレームから、前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでの前記画像データを抽出する第１の抽出手段と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第１の抽出手段によって抽出される部分の内容を前記第１の抽出手段によって抽出された画像データの先頭に付加する第１の付加手段と、前記第１の抽出手段によって抽出された画像データの各フレームに付加される経過時間情報を書き換える第１の書換手段と、前記書換手段によって書き換えられた画像データを前記第１の記憶手段に格納する第１の格納手段とを具備することを特徴とする。
【００１８】
また、複数のフレームからなる音声データを記憶する第２の記憶手段と、前記第１の検索手段によって検索された、先頭の切り出し位置に最も近い基準フレームに対応する前記音声データの先頭フレームおよび前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームに対応する前記音声データの末尾フレームを検索する第２の検索手段と、前記音声データの先頭に付加される１フレーム当たりの再生時間情報を参照し、前記先頭フレームから前記末尾フレームまでのフレームに関する再生時間情報を加算する第２の加算手段と、前記第２の加算手段によって加算される再生時間情報の和が特定の時間を超えない場合に、前記第２の検索手段によって検索された前記先頭フレームから、前記末尾フレームまでの前記音声データを抽出する第２の抽出手段と、前記音声データの先頭に付加される１フレーム当たりの再生時間情報のうち前記第２の抽出手段によって抽出される部分の内容を前記第２の抽出手段によって抽出された音声データの先頭に付加する第２の付加手段と、前記再生時間情報に基づいて前記画像データの再生時間と前記音声データの再生時間との差を算出する算出手段と、前記算出手段によって算出された再生時間の差に応じて前記画像データの先頭のフレームに関する再生時間情報を書き換える第２の書換手段と、前記音声データを前記第２の記憶手段に格納する第２の格納手段とをさらに具備することが好ましい。
【００１９】
また、前記第１の付加手段によって変更された画像データを前記抽出された画像データの再生時間情報に基づいて再生する再生手段をさらに具備することが好ましい。
【００２０】
また、前記第２の書換手段によって書き換えられた前記画像データおよび前記第２の付加手段によって変更された前記音声データを前記抽出された画像データの再生時間情報および前記抽出された音声データの再生時間情報に基づいて再生する再生手段をさらに具備することが好ましい。
【００２１】
本発明は、複数のフレームからなる第１の画像データの先頭に付加される１フレーム当たりの再生時間情報を削除し、当該再生時間情報の内容を複数のフレームからなる第２の画像データの先頭に付加される１フレーム当たりの再生時間情報に追加する過程と、前記第１および第２の画像データを、前記第２の画像データを先頭として連結して第３の画像データを生成する過程と、生成された前記第３の画像データを当該第３の画像データの再生時間情報に基づいて再生する過程と、前記第３の画像データ中の前記第１の画像データの各フレームに付加される経過時間情報を書き換える過程と、書き換えられた前記第３の画像データを記憶手段に格納する過程とを具備することを特徴とする。
【００２２】
本発明は、複数の基準フレームおよび差分フレームからなる画像データの切り出し位置を指定する過程と、指定された位置に最も近い基準フレームを検索する過程と、検索された基準フレームから末尾までのデータを前記画像データから抽出する過程と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち抽出される部分の内容を抽出された画像データの先頭に付加する過程と、前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、書き換えられた前記画像データを記憶手段に格納する過程とを具備することを特徴とする。
【００２３】
本発明は、複数の基準フレームおよび差分フレームからなる画像データの切り出し位置を指定する過程と、指定された位置に最も近い基準フレームを検索する過程と、先頭から、検索された基準フレームの直前までのデータを前記画像データから抽出する過程と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち、抽出される部分の内容を抽出された画像データの先頭に付加する過程と、前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、書き換えられた前記画像データを記憶手段に格納する過程とを具備することを特徴とする。
【００２４】
本発明は、複数の基準フレームおよび差分フレームからなる画像データの切り出し位置を指定する過程と、指定された位置に最も近い基準フレームを検索する過程と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報を参照し、検索された基準フレーム以後の前記再生時間情報を加算する過程と、加算される前記再生時間情報の和が特定の時間を超えた場合に、検索された基準フレームから、最後に加算された前記再生時間情報に関するフレームの直前の基準フレームの一つ前の差分フレームまでの前記画像データを抽出する過程と、前記画像データの先頭に付加される１フレームあたりの再生時間情報のうち抽出される部分の内容を抽出された画像データの先頭に付加する過程と、前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、書き換えられた前記画像データを記憶手段に格納する過程とを具備することを特徴とする。
【００２５】
本発明は、複数の基準フレームおよび差分フレームからなる画像データの先頭および末尾の切り出し位置を指定する過程と、指定された先頭の切り出し位置に最も近い基準フレームおよび末尾の切り出し位置に最も近い基準フレームを検索する過程と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報を参照し、前記先頭の切り出し位置に最も近い基準フレームから前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでのフレームに関する前記再生時間情報を加算する過程と、加算される前記再生時間情報の和が特定の時間を超えない場合に、検索された前記先頭の切り出し位置に最も近い基準フレームから、前記末尾の切り出し位置に最も近い基準フレームの一つ前の差分フレームまでの前記画像データを抽出する過程と、前記画像データの先頭に付加される１フレーム当たりの再生時間情報のうち抽出される部分の内容を抽出された画像データの先頭に付加する過程と、前記画像データを前記抽出された画像データの再生時間情報に基づいて再生する過程と、再生された前記画像データの各フレームに付加される経過時間情報を書き換える過程と、書き換えられた前記画像データを記憶手段に格納する過程とを具備することを特徴とする。
【００２６】
【発明の実施の形態】
以下、図面を参照し、この発明の実施形態について説明する。図１は、この発明の一実施形態によるデータ編集装置の構成を示す図である。図において、１は撮像部であり、撮影したアナログ画像データを画像制御部３へ出力する。２は表示部であり、画像制御部３から出力される表示用データに基づいて動画像を表示する。画像制御部３は撮像部１から出力されたアナログ画像データをエンコードし、ＭＰＥＧ−４形式の３ｇｐ２フォーマットの画像データを生成して制御部１０へ出力する。また、画像制御部３は制御部１０から出力される画像データをデコードして表示用データを生成し、表示部２へ出力する。４は操作部であり、ユーザによって操作されるテンキー、文字入力用キー、ファンクションキーなどの各種のキーが設けられている。
【００２７】
５はスピーカであり、音声制御部７から出力される音声信号に基づいて音声を発生する。６はマイクであり、外部の音声を音声信号に変換し、音声制御部７へ出力する。音声制御部７は制御部１０から出力されるＱＣＥＬＰ（Ｑｕａｌｃｏｍｍ  Ｃｏｄｅ  Ｅｘｃｉｔｅｄ  Ｌｉｎｅａｒ  Ｐｒｅｄｉｃｔｉｏｎ）形式の音声データをデコードし、音声信号を生成してスピーカ５へ出力する。また、音声制御部７はマイク６から出力される音声信号をエンコードして音声データを生成し、制御部１０へ出力する。８はＥＰＲＯＭやＥＥＰＲＯＭなどのデータの消去および書き込みが可能であり、一定時間以上データを保持することが可能なＲＯＭである。ＲＯＭ８は制御部１０によって格納される画像データおよび音声データを保存する。９はＲＡＭであり、制御部１０によってＲＯＭ８から取り出された画像データおよび音声データが一時的に格納され、データの編集処理が行われる。１０は各部を制御する制御部である。１１はデータ送受信用のアンテナである。１２は無線通信部であり、無線通信網と無線により通信を行い、通話時の音声データやメール通信時のメールや各種データの送受信を行う。
【００２８】
次に、本実施形態における動画データの構造を図２を用いて説明する。動画データの先頭にはヘッダが付加され、ヘッダに続いて画像データと音声データが交互に並び、末尾にデータの終了を示すエンドコードが付加されている。画像データはフレームから構成され、個々の装置の設計にもよるが、例えば１秒間の動画データは１５フレームの画像データから構成される。また、フレームはＩフレームとＰフレームの２種類から構成される。Ｉフレームは画像を構成する基準となるフレームであり、完全な一つの静止画像を符号化したものである。Ｐフレームは直前のＩフレームまたはＰフレームと実際の静止画像の差分のみを符号化したものである。画像データは図２に示すように、Ｉフレームの後に複数のＰフレームが続いており、例えば１秒１５フレームで構成される動画データの場合には、１秒間の画像データは１個のＩフレームと１４個のＰフレームで構成される。一方、音声データのフレームには画像データのようなＩフレームやＰフレームという概念はない。
【００２９】
画像データの各フレームには経過時間情報を示すタイムベースとタイムインクリメントが含まれている。タイムベースおよびタイムインクリメントはＭＰＥＧ規格で定められており、動画データ再生の際に再生間隔を示す情報として用いられる。タイムインクリメントはフレーム再生時の経過時間を示しており、タイムベースは補助的に用いられ、０または１の値をとる。図３にタイムベースおよびタイムインクリメントの使用例を示す。これは１秒７．５フレーム（１秒１５フレームのハーフレート）で構成される画像データの例であり、最初のフレームの先頭のＩフレームを基準としてフレームごとにタイムインクリメントに値が加算される。なお、１÷７．５＝０．１３３３・・・、１÷１５＝０．０６６６・・・であるが、ここでは説明のため端数を切り捨て、１秒７．５フレーム（ハーフレート）の場合は１フレームごとの経過時間が１３３ミリ秒、１秒１５フレーム（フルレート）の場合は１フレームごとの経過時間が６６ミリ秒としている。
【００３０】
タイムインクリメントのみに時間情報を持たせると、タイムインクリメントのデータ量が膨大となってしまうため、１秒経過するごとにタイムインクリメントを変更する。例えば、図３では６６ミリ秒が経過するごとにタイムインクリメントが１増加する。なお、この例は１秒が７．５フレームで構成されるハーフレートの場合であり、１フレームは１３３ミリ秒となり、１フレームごとにタイムインクリメントは２ずつ上昇することとなる。９番目のフレームで経過時間が１秒となるので、タイムインクリメントを更新し、タイムインクリメントの値は、１秒から６６ミリ秒経過したことを示す１となる。（この例はハーフレートの例であるため、７．５フレームで１秒が経過する）また、１秒が経過するごとに、タイムベースは０から１へ反転し、次のＰフレームでは再び０に戻る。以下同様に、１秒が経過するごとにタイムインクリメントが変更され、タイムベースが１秒経過のフラグとなる。なお、図３はタイムベースおよびタイムインクリメントの説明のために用意したに過ぎず、図中の数値は動画データの仕様に基づいて設計時に決定される。
【００３１】
図２の動画データ先頭のヘッダにはフレームの情報を有するタイムテーブルが格納されている。タイムテーブルは、各フレームのフレームサイズ（ｓｔｓｚ）・フレーム判別情報（ｓｔｓｓ）・デコード間隔時間（ｓｔｔｓ）に関する情報を有している。フレームサイズは各フレームのサイズを示している。フレームサイズはＩフレームとＰフレームで顕著に異なっている。フレーム判別情報はＩフレームの判別に用いられ、Ｉフレームの番号を情報として有している。すなわち、どのフレームが基準画像を格納するＩフレームであるのかが把握しやすくなっており、このフレーム判別情報は動画データの早送り再生時にＩフレームのみをコマ送り再生するなどの手法に用いられる。
【００３２】
フレームは画像制御部３でデコードされた後、一時的に画像制御部３内のバッファに蓄積され、一つ前のフレームの画像表示が完了した時点で表示部２へ出力される。デコード間隔時間は再生開始から再生終了までの時間を、各フレームのデータサイズに応じて分割し、各フレームに割り当てたものである。すなわち、デコード間隔時間は、これに指定されるフレームのデコードおよび再生を行う時間である。そして、割り当てられたデコード間隔時間内に画像制御部３においてフレームのデコードが終了した場合、このフレームの画像が表示部２に表示されるが、デコード間隔時間内にフレームのデコードが終了しなかった場合は、このフレームの画像は表示されず、次のフレームのデコードが行われる。このタイムテーブルは、画像制御部３においてアナログ画像データがエンコードされる際に生成される。なお、音声データに関しても、フレームサイズおよびデコード間隔時間に相当するものがヘッダに格納されている。
【００３３】
また、動画データの各フレームにはフレームの先頭を示すフレーム先頭情報も格納されている。制御部１０は各フレームのデータを参照する場合に、このフレーム先頭情報に基づいてフレームの先頭を検索し、続けてフレーム判別情報に基づいて、そのフレームがＩフレームとＰフレームのどちらのフレームであるのか判断したり、タイムベース・タイムインクリメントに基づいて時間情報の取得を行ったりすることができる。
【００３４】
次に、上述した構造の２つの動画データのつなぎ合わせについて説明する。まず、ユーザが操作部４を用いて、表示部２に表示される動画データのタイトル等を見ながら、つなぎ合わせたい２つの動画データを指定する。図４のように２つの動画データ（データ１とデータ２）をつなぎ合わせる場合、まず、データ１およびデータ２が制御部１０によってＲＯＭ８から読み出され、ＲＡＭ９に格納される。制御部１０はデータ１のエンドコードを検出し、このエンドコードとデータ２のヘッダをデータから除き、図４右に示すように２つのデータをＲＡＭ９上の連続した領域に格納する。このとき、データ２のヘッダ内の情報がデータ１のヘッダ内のタイムテーブルに付加されるが、データ１の画像データの最後のフレームに関するデコード間隔時間と、データ２のフレームに関するフレーム判別情報とが変更される。
【００３５】
データ１の画像データの最後のフレームに関するデコード間隔時間が変更されるのは、画像データと音声データの同期を取るためであり、これについては後述する。なお、画像データのみからなる動画データどうしをつなぎ合わせる場合は、音声データとの同期を取る必要が無いので、タイムテーブル中のデコード間隔時間の変更は必要ない。また、フレーム判別情報に関しては、データ１にデータ２を追加したことによりデータ１の後ろに増えたフレーム列に関するフレーム判別情報を元のフレーム判別情報に追加する。このとき、追加されたデータ２に関しては、フレーム判別情報中のＩフレームの番号がデータ１のフレーム数だけ繰り下げられて書き換えられる。
【００３６】
つなぎ合わせたデータをＲＯＭ８に保存するには、各フレームのタイムベースおよびタイムインクリメントの変更が必要である。制御部１０はデータのつなぎ合わせの後、データ２に含まれていた先頭のフレームから順番にタイムベースおよびタイムインクリメントを書き換え、書き換えた動画データをＲＯＭ８に格納する。しかし、ユーザが動画データの編集を行い、編集が望みどおりに行えたかどうかを確認する場合に、編集した動画データを一旦保存してから再生すると保存に時間がかかるため、手軽に編集確認を行うことができない。
【００３７】
そこで、編集した動画データを保存する前に、新たに作成したヘッダ内のタイムテーブルを用いて動画を再生し（プレビュー動作）、ユーザに動画データの編集結果の確認を行わせる。このプレビュー動作は以下のように行われる。制御部１０はつなぎ合わせた動画データからフレームを読み出すごとにタイムテーブル中のデコード間隔時間を読み出す。動画データ中の画像データは画像制御部３においてデコードされ、画像制御部３内のバッファに蓄積される。画像制御部３におけるデコードが当該フレームのデコード間隔時間内に終了した場合、制御部１０は画像制御部３へ出力指示を出力し、画像制御部３は出力指示を受けた表示用データを表示部２へ出力する。この表示用データを受け取った表示部２は表示用データに基づいて画像を表示する。この動作が連続的に行われることにより、動画像が再生される。
【００３８】
なお、データ１の最後のフレームが再生されたとき、このフレームの後に挿入されていたデータ１のエンドコードが削除されているため、そのままデコードが続行され、データ２のフレームのデコードが行われる。以上のように、制御部１０がタイムテーブルで管理される時間情報に基づいて各フレームの画像の表示を制御するため、ＲＡＭ９上に一時的に生成される動画データを用いて動画の再生を行うことができる。さらに、ヘッダ内のフレーム判別情報についても更新が行われているため、プレビューを行っている状態においても動画データの早送り再生等を行うことができる。これは、長い動画データを編集した場合に、編集後の動画データを素早く確認することができるので有用である。
【００３９】
音声データに関しても上述した動作と同様の動作が行われ、スピーカ５から音声が発生する。しかし、例えばユーザがアフレコ編集で音声データを削除した場合などに生成されるような、音声データが含まれず画像データのみからなる動画データもあり、その場合には以下のような動作が行われる。図５（ａ）のように画像データ１のみからなるデータ１と、画像データ２および音声データ２からなるデータ２とをつなぎ合わせるとする。なお、図においてはデータ構造を簡略化しており、データの配置などは必ずしも実際のＲＡＭ９上の位置を示す訳ではない。データ１には音声データが無いため、データ１のヘッダは画像データ１のみに関する情報を有している。
【００４０】
データ１およびデータ２をつなぎ合わせた場合、画像データについては画像データ２に関するデータ２のヘッダの情報がデータ１のヘッダに追加され、音声データについては音声データ２に関するデータ２のヘッダの情報がデータ１のヘッダに新たに書き込まれる。制御部１０がヘッダ中のタイムテーブルを参照しながらデータ再生の制御を行う場合、音声データ２に関する時間情報がそのままヘッダ中に書き込まれているため、音声データ２は画像データ１と共に再生され、動画像と音声が一致しないことになってしまう。
【００４１】
そこで、制御部１０はデータ１とデータ２をつなぎ合わせる場合に、タイムテーブル中のデコード間隔時間を参照し、画像データ１の再生時間を算出する。そして、制御部１０はこの時間に最も近い再生時間となるように、１つあるいは複数の無音の音声フレームで音声データ１を構成し、この音声データ１を音声データ２の前に挿入し、音声データ１に関するデコード間隔時間をタイムテーブル中に追加する。また、画像データに関しては、画像データ２のフレームに関するフレーム判別情報を変更すると共に、後述するように、画像データと音声データの同期を取るため、画像データ１の最後のフレームのデコード間隔時間を変更する。この音声データ１用の無音データとしては、例えば制御部１０がホワイトノイズを生成し、これを使用してもよい。以上のようにして、図５（ｂ）のように画像データ１に音声データ１が対応し、動画データの再生が画像と音声が正しく対応するように行われる。
【００４２】
上記のようにしてつなぎ合わせた動画データをＲＯＭ８に保存する場合、前述した通り、制御部１０は画像データ中のフレームの先頭からタイムベースおよびタイムインクリメントを参照し、最初のデータの後ろにつなぎ合わされたデータのタイムベースおよびタイムインクリメントを全て書き換える。続いて制御部１０は動画データをＲＡＭ９から読み出して、ＲＯＭ８に格納する。
【００４３】
なお、ユーザがアフレコ編集によって音声データ中の途中から音声データ末尾までの音声データを削除した動画データに別の動画データをつなぎ合わせる場合も、上記と同様の動作によって、画像データを基準とした長さの無音データが挿入され、ヘッダが書き換えられる。これにより、データのつなぎ合わせが可能である。また、音声データが削除された動画データどうしをつなぎ合わせる場合には、音声データと同期を取る必要がないため、画像データに関するデコード間隔時間は変更されない。
【００４４】
次に、動画データから一部のデータを切り出し、新たな動画データを生成する動画データの切り出しについて図６を用いて説明する。データを切り出す場合、ユーザは動画を再生し、希望する先頭切り出し位置および末尾切り出し位置におおいて再生をストップし、切り出し位置を指定する。図６（ａ）のユーザ指定位置のＰフレームが切り出しの先頭としてユーザによって指定された場合、制御部１０はタイムテーブル中のフレーム判別情報を参照し、このＰフレームに最も近いＩフレームを検索し、このＩフレームをデータの先頭切り出し位置とする。これは、画像データの先頭がＰフレームであると、画像データのデコードの際に、差分情報のみから表示用データを作成することができないからである。
【００４５】
また、図６（ｂ）のユーザ指定位置のＰフレームが切り出しの末尾としてユーザによって指定された場合、制御部１０はこのＰフレームに最も近いＩフレームを検索し、その直前のＰフレームをデータの末尾切り出し位置とする。末尾切り出し位置のフレームがＩフレームであると、切り出したデータの後ろにさらに別の動画データをつなぎ合わせる場合に、つなぎ目を境にしてＩフレームが続いてしまう。すると、この２つのＩフレームが画像制御部３においてデコードされるときに、サイズの大きなデータのデコードが続くことになってしまう。Ｉフレームはデータサイズが大きいので、Ｉフレームが連続するとビデオビットレートが大きくなり、規格外データとなる可能性がある。これを防ぐため、末尾切り出し位置はＩフレームの直前のＰフレームとしている。
【００４６】
なお、データの先頭切り出し位置および末尾切り出し位置の検索において、制御部１０はユーザによって指定されたフレームに最も近いＩフレームを検索しているが、これに限らず、ユーザによって指定されたフレームの直前または直後のフレームを検索するようにしてもよい。
【００４７】
上述した動画データの切り出しによって、図７（ａ）に示すように、動画データの一部を切り出して、新たな動画データを生成することができる。また、図７（ｂ）に示すように、動画データ中の不要な部分をカットし、カットした部分を除いてつなぎ合わせることもできる。いずれの場合も、切り出されたデータの先頭にはタイムテーブルを含むヘッダが付加され、このタイムテーブル中のデコード間隔時間が変更される。データの編集が終了したら、前述したプレビュー動作を行うことによって、ユーザは好みの編集を行うことができたかどうか確認することができる。さらに、各フレームのタイムベースおよびタイムインクリメントを変更し、データを保存することもできる。
【００４８】
動画データの切り出し・カット・つなぎ合わせなどの編集が行われると、画像と音声の同期に誤差が生じるので、両者を同期させるための補正が必要である。例えば、図８に示すように、画像フレーム１および画像フレーム２の間でデータが分割される場合、画像フレームと音声フレームの再生時間が異なることから、必ずしも両者の再生開始が一致した位置で切り出しが行われるとは限らない。音声フレームは画像フレームよりも時間が短く、さらに、その時間は互いに約数・倍数の関係にはなっていない。また、データの分割が行われる際には、フレーム単位で分割が行われるので、約数・倍数の関係にない画像フレームでの分割が指定されると、音声フレームの分割位置と画像フレームの分割位置とにわずかなずれが生じることになってしまう。
【００４９】
図８において、音声データについては音声フレーム７と音声フレーム８の間でデータが分割されるとする。画像フレーム２の再生開始時刻と音声フレーム８の再生開始時刻は９ミリ秒異なっており、切り出したデータの補正を行わずに再生を行うと、音声フレーム８の音声は画像フレーム２の画像の出力よりも９ｍｓ遅れて出力されなければ音声と画像が同期しないにもかかわらず、それぞれのフレームの先頭から同時に出力されてしまう。つまり、音声フレーム８の音声は画像に同期した位置よりも９ｍｓ早く出力されてしまうので、補正が必要である。
【００５０】
この場合、制御部１０はタイムテーブル中のデコード間隔時間を参照し、先頭のフレームから切り出し位置直前のフレームまでのデコード間隔時間を画像データおよび音声データのそれぞれについて加算し、比較することにより、画像フレーム２と音声フレーム８の再生開始の時間差が９ｍｓであることを認識する。そして、制御部１０は画像フレーム２に関するデコード間隔時間を９ｍｓ短縮するように書き換える。これにより、画像フレーム２の次の画像フレーム３からについては、画像データと音声データが完全に同期が取れた形で再生できる。
【００５１】
また、データをつなぎ合わせる場合にも、画像データと音声データの再生時間が異なることから、つなぎ目における画像データと音声データの同期が必要である。例えば、図８のように切り出された画像フレーム１および音声フレーム１〜音声フレーム７からなる動画データの後ろに他の動画データをつなぎ合わせる場合、画像フレーム１の再生終了位置と音声フレーム７の再生終了位置の間に９ｍｓの差があるため、タイムテーブルの画像フレーム１に関するデコード間隔時間が９ｍｓ延長するように書き換えられる。これにより、つなぎ目の後に続く画像フレームと音声データとが同期の取れた形でデータをつなぎ合わせることができる。
【００５２】
さらに、データをカットした場合の切り出し位置での同期補正についても同様である。例えば、図７（ａ）のようにデータが切り出された場合、切り出された画像データの先頭のフレームのデコード間隔時間が変更される。また、図７（ｂ）のようにデータが切り出され、つなぎ合わされた場合、図に向かって左側の画像データの右端のフレームのデコード間隔時間が変更される。以上のように、タイムテーブル中のデコード間隔時間の書き換えだけで画像データおよび音声データの同期のずれを補正することができる。
【００５３】
なお、画像データおよび音声データの再生時間の差が音声データの１フレーム長を超える場合には、音声データに無音データが挿入され、音声データの１フレーム長以内である場合には、画像データに関するデコード間隔時間が書き換えられる。また、ユーザによるアフレコ編集によって音声データが削除され、画像データのみからなる動画データの場合には、上述したデコード間隔時間の変更を行う必要はない。
【００５４】
次に、図９に示すようなデータの入れ替えを説明する。例えば、図中のデータＣとデータＢの順番を入れ替える場合、まずユーザはデータＣを切り出す両端の位置を指定し、続いてデータＣを挿入する位置（ここではデータＡおよびデータＢの境目の位置）を指定する。この場合、データＢおよびデータＣのＲＡＭ９上での格納位置が交換されると共にフレーム判別情報が書き換えられ、さらに画像データと音声データの同期を取るために、データＡ、データＢおよびデータＣの画像データについてタイムテーブル中のデコード間隔時間の変更が行われる。これにより、ユーザはデータの順番が入れ替えられた動画データのプレビュー動作を行うことができる。
【００５５】
次に、ユーザが動画データの編集を行う場合に、動画データの長さ（再生時間）を指定する方法を説明する。例えば、図７（ａ）のように動画データを切り出す場合、ユーザは動画データの先頭切り出し位置および動画データを切り出す長さを指定する。例えば、動画データの長さとして１５秒が指定された場合、動画データの切り出しは以下のように行われる。まず、ユーザの指定によって動画データの先頭切り出し位置が図７（ａ）で示した方法に従って決定される。続いて制御部１０はタイムテーブル中の、データの先頭切り出し位置のＩフレームに関するデコード間隔時間を読み出し、この値に、このＩフレームの後に続くフレームのデコード間隔時間を次々と加算していく。
【００５６】
制御部１０はこの加算される時間が１５秒を超えるかどうか監視する。この時間が初めて１５秒を超えたとき、制御部１０は１つ前のフレームが動画データの末尾切り出し位置であると判断する。前述したように、末尾切り出し位置はＩフレームの直前のＰフレームでなければならないため、制御部１０は末尾切り出し位置であると判断したフレームの直前のＩフレームを検索し、そのＩフレームの１つ前のＰフレームを動画データの末尾切り出し位置に決定する。これ以後の動作は前述した通りである。
【００５７】
また、ユーザが特定の時間以内であるような好みの長さの動画データを編集できるようにしてもよい。例えば、ユーザは図６（ａ）および（ｂ）で示した方法に従って動画データの先頭切り出し位置と末尾切り出し位置を指定する。制御部１０は上述した方法と同様にタイムテーブル中のデコード間隔時間を参照し、先頭切り出し位置のＩフレームから末尾切り出し位置のＰフレームまでのデコード間隔時間を加算することにより動画データの再生時間を算出する。この再生時間が特定の時間（例えば１５秒）を超えている場合、ユーザに対してもう一度編集を行うよう、表示部２からメッセージが出力される。再生時間が特定の時間を超えていなければ、制御部１０は末尾切り出し位置であると判断したフレームの直前のＩフレームを検索し、そのＩフレームの１つ前のＰフレームを動画データの末尾切り出し位置に決定する。
【００５８】
さらに続けて、ユーザはプレビュー再生や動画データの保存などを行うことができる。これにより、メールに添付して送付する動画データに対して、動画データの長さの面で通信事業者等により規定がある場合にも、ユーザが真に必要なデータのみを素早く切り出して送付することが可能となる。また、前述の規定がデータ量に関する規定であった場合には、先頭切り出し位置以後の各フレームのフレームサイズを加算することにより末尾切り出し位置を決定するように構成すればよい。
【００５９】
なお、携帯電話等の通信機能および動画撮影による動画データ生成機能を有する携帯用電子機器の内部に、上述したデータ編集装置が格納されていてもよい。その場合、撮像部１〜無線通信部１２の各構成は、携帯用電子機器と共用する形態であってもよい。携帯用電子機器が具備する通信機能により、ユーザが編集した動画データをメールに添付して他の携帯用電子機器へ送信したり、ユーザが撮影した動画データにＷｅｂサイトからダウンロードした画像データをつなぎ合わせたりする（例えば、ユーザが撮影した動画データに、オープニング映像およびエンディング映像をつなぎ合わせて映画やドラマのような動画データを作成する）など様々な編集が可能となり、ユーザの利便性が向上する。
【００６０】
特に、携帯電話においては、送信できる動画データは例えば再生時間が１５秒以内のものというように限られている場合が大半であり、ユーザが撮影した動画データの再生時間が１５秒よりも長い場合でも、ユーザは様々な編集を行って１５秒以内の動画データを作成することにより、これを他の携帯電話に送信することができる。さらに、意図的に長く撮影を行ってから必要なところだけを切り出すことを容易に実施することができるため、ユーザは落ち着いて撮影を行うことができる。また、プレビュー再生によって、データ編集の確認処理スピードが向上するため、ユーザが非常に快適に利用できる編集機能を持つ携帯用電子機器を提供することができる。
【００６１】
【発明の効果】
以上説明したように、この発明によれば、動画データ中のヘッダに含まれる時間情報が変更されるようにしたので、ユーザは動画データのつなぎ合わせや一部分の切り出し、不要な部分のカット、データの部分的な順番の入れ替えなど様々な動画データの編集を行うことができるという効果が得られる。また、動画データ中のヘッダに含まれる時間情報を変更し、この時間情報に基づいて動画データのプレビュー再生を行うようにしたので、ユーザは編集した動画データを容易に確認することができるという効果も得られる。
【図面の簡単な説明】
【図１】この発明の一実施形態によるデータ編集装置の構成を示すブロック図である。
【図２】同実施形態における動画データの構造を示す図である。
【図３】同実施形態におけるタイムベースおよびタイムインクリメントの機能を説明するための図である。
【図４】同実施形態において、２つの動画データをつなぎ合わせる場合のデータ構造を示す図である。
【図５】同実施形態における無音データの挿入を説明するための図である。
【図６】同実施形態における動画データの切り出しを説明するための図である。
【図７】同実施形態における動画データの切り出しおよびカットを概念的に示す図である。
【図８】同実施形態における動画データの切り出しの際の画像データおよび音声データの同期を説明するための図である。
【図９】同実施形態における動画データの入れ替えを概念的に示す図である。
【符号の説明】
１・・・撮像部、２・・・表示部、３・・・画像制御部、４・・・操作部、５・・・スピーカ、６・・・マイク、７・・・音声制御部、８・・・ＲＯＭ、９・・・ＲＡＭ、１０・・・制御部、１１・・・アンテナ、１２・・・無線通信部
【図１】
2005051307.tif 000003
【図２】
2005051307.tif 000004
【図３】
2005051307.tif 000005
【図４】
2005051307.tif 000006
【図５】
2005051307.tif 000007
【図６】
2005051307.tif 000008
【図７】
2005051307.tif 000009
【図８】
2005051307.tif 000010
【図９】
2005051307.tif 000011