(57)【特許請求の範囲】
【請求項１】
符号化された画像データ及び音声データからなるマルチメディアデータを用いて編集を行い、新たな符号化データを作成するマルチメディアデータ編集装置において、
符号化されたマルチメディアデータを符号化画像データと符号化音声データに分離し、それぞれの符号化データを復号した復号データに関して任意の位置で切り取り編集するための編集点を指示する編集指示手段と、
前記編集指示手段により指示された編集点における画像フレームの画像復号データを再符号化する画像再符号化手段と、
前記画像再符号化手段において再符号化された画像符号化データに適合するように画像符号化データに予め付加されている編集点の画像フレームに関するヘッダ情報の変更を行うヘッダ情報付加変更手段と、
編集前の当該フレームの符号化画像データを、前記ヘッダ情報変更手段によって編集された編集点の画像フレーム符号化データに置換する符号化画像データビットストリーム置換手段と、
前記編集指示手段により指示された編集点に基づいて、その編集点が音声符号化単位のフレーム内に位置する場合、そのフレーム内おいて編集点以前の音声データを無音データに置換する無音データ置換手段と、
前記無音データ置換手段により編集された復号音声フレームデータを再符号化する音声再符号化手段と、
編集前の当該フレームの符号化音声データを、前記音声再符号化手段によって編集された編集点の音声フレーム符号化データに置換する符号化音声データビットストリーム置換手段と、
画像復号開始が音声データとの時間差分だけ遅延するとともに、編集後の符号化画像データと符号化音声データの時間軸における同期を取るため、前記無音データ置換手段により置換された無音データに基づいて、前記編集後の符号化画像データの先頭部分に無効画像データを付加する無効画像データ付加手段とを備えたことを特徴とするマルチメディアデータ編集装置。
【請求項２】
画像データの復号再生を行いながら、途中切り出し編集を行いたい編集点を指示する編集指示手段と、
前記編集指示手段によって指示された編集点画像フレームを再符号化するための再符号化指示手段と、
前記編集指示手段によって指示された編集点画像フレームに時間的に対応する音声データの位置を特定する同期位置特定手段と、
前記同期位置特定手段によって特定された時間位置情報に基づいて、当該音声フレームのデータに対して無音データとの置換を指示する置換指示手段とからなる編集制御部を備えたことを特徴とする請求項１記載のマルチメディアデータ編集装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、符号化された画像データあるいは音声データから任意部分のデータを切り出し、新たな符号化データを作成するためのマルチメディアデータ編集装置に関する。
【０００２】
【従来の技術】
従来より、情報機器で取り扱われているマルチメディアデータとは、情報量を圧縮するための符号化が施された画像データあるいは音声データなどからなる。このような高能率符号化により符号化される動画像データは、フレーム間あるいはフィールド間における予測符号化を行い符号量の削減を図っている。また、音声データに関しては、サンプリングされたデータを所定のフレーム単位に分割し、当該フレーム単位で符号化を行い符号量の削減を図っている。
【０００３】
ところで、符号化された動画像符号化データから任意の画像を切り出すような編集を行う場合には、フレーム間あるいはフィールド間の予測符号化を行っているため、編集点の先頭部分における画像フレームに関して、新たな予測符号化を行わなければならない。
また、音声データに関しては、画像データの編集点との不一致が生じないように切り出す必要がある。
【０００４】
このような画像データの編集を行うための予測符号化手段が、特許第２８５８６３１号公報に開示されている。また、画像データと音声データの同期手段が、特許第２６４３７６９号公報に開示されている。
特許第２８５８６３１号公報に開示されている編集装置を図６に示し、復号装置を図７に示す。
【０００５】
従来の予測符号化手段は、図６に示すように、多重分離器５１、可変長復号器５２、予測情報変更器５３、可変長符号化器５４、多重化器５５、バッファ５６、記録器５７、書き込み制御器５８、読み取り書き込み制御器５９、読み出し制御器６０、再生器６１を備えて構成されている。
【０００６】
また、復号装置は、図７に示すように、多重分離器７１、可変長復号器７２、逆量子化器７３、ＤＣＴ部（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ）７４、可変長復号器７５、予測情報変更器７６、画像間予測器７７、フレームメモリ７８を備えて構成されている。
【０００７】
予測符号化手段では、図６に示すように、予測情報変更器５３により、読み取り書き込み制御器５９からの編集点情報に基づいて編集点フレームの予測情報を変更し、可変長符号化器５４により、その編集点情報を符号化画像データおよび予測情報とともに可変長符号化する。
可変長符号化されたデータは、図７に示す復号装置により復号される。すなわち、この復号装置では、可変長復号された編集点情報に基づき画像データが復号される。
また、特許第２６４３７６９号公報には、編集する画像符号化データあるいは音声符号化データに付加するヘッダ情報の変更を行うことにより、画像データと音声データの同期を取る技術が開示されている。
【０００８】
【発明が解決しようとする課題】
上述したデータ編集装置により符号化されたデータを復号する場合に、その復号装置には編集点情報を解読するための機能が必要である。このため、図５に示すような従来から用いられている復号装置では復号することができない。
【０００９】
なお、従来の復号装置は、図５に示すように、多重分離部１０、画像復号化部１２′、音声復号化部２０′を備えている。また、画像復号化部１２′は、可変長復号化部１２０、逆量子化部１２１、逆ＤＣＴ部１２２、加算器１２３、動き補償部１２４、フレームメモリ１２５を備えて構成されている。また、音声復号化部２０′は、可変長復号化部２００、逆量子化部２０１、エイリアシング除去部２０２、逆ＭＤＣＴ部２０３、サブバンド合成フィルタ処理部２０４を備えて構成されている。
【００１０】
また、音声データについは、サンプリングされたデータを所定のフレーム単位に分割し、当該フレーム単位で符号化を行っており、画像の編集点がその音声符号化のフレームに合致しているとは限らない。したがって、符号化データのヘッダ情報のみに基づいて画像データと音声データの同期を取った場合に、編集された音声データにおける最初のフレームと最後のフレームには、編集された画像データに合致しない音声データが含まれることになる。
【００１１】
本発明は、上述した事情に鑑み提案されたもので、編集を行って新たな符号化データを作成した場合であっても、従来の復号装置を用いて復号可能なデータ編集を行うことができるとともに、不要な音声を削除し、画像編集点に合致した音声符号化データを作成し、画像データと音声データの同期を取ることができるマルチメディアデータ編集装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明のマルチメディアデータ編集装置は、上述した目的を達成するため、以下の特徴点を備えている。
【００１３】
すなわち、本発明のマルチメディアデータ編集装置は、符号化された画像データ及び音声データからなるマルチメディアデータを用いて編集を行い、新たな符号化データを作成するマルチメディアデータ編集装置において、符号化されたマルチメディアデータを符号化画像データと符号化音声データに分離し、それぞれの符号化データを復号した復号データに関して任意の位置で切り取り編集するための編集点を指示する編集指示手段と、前記編集指示手段により指示された編集点における画像フレームの画像復号データを再符号化する画像再符号化手段と、前記画像再符号化手段において再符号化された画像符号化データに適合するように画像符号化データに予め付加されている編集点の画像フレームに関するヘッダ情報の変更を行うヘッダ情報付加変更手段と、編集前の当該フレームの符号化画像データを、前記ヘッダ情報変更手段によって編集された編集点の画像フレーム符号化データに置換する符号化画像データビットストリーム置換手段と、前記編集指示手段により指示された編集点に基づいて、その編集点が音声符号化単位のフレーム内に位置する場合、そのフレーム内おいて編集点以前の音声データを無音データに置換する無音データ置換手段と、前記無音データ置換手段により編集された復号音声フレームデータを再符号化する音声再符号化手段と、編集前の当該フレームの符号化音声データを、前記音声再符号化手段によって編集された編集点の音声フレーム符号化データに置換する符号化音声データビットストリーム置換手段と、画像復号開始が音声データとの時間差分だけ遅延するとともに、編集後の符号化画像データと符号化音声データの時間軸における同期を取るため、前記無音データ置換手段により置換された無音データに基づいて、前記編集後の符号化画像データの先頭部分に無効画像データを付加する無効画像データ付加手段とを備えたことを特徴とするものである。
【００１５】
この場合、画像データの復号再生を行いながら、途中切り出し編集を行いたい編集点を指示する編集指示手段と、
前記編集指示手段によって指示された編集点画像フレームを再符号化するための再符号化指示手段と、
前記編集指示手段によって指示された編集点画像フレームに時間的に対応する音声データの位置を特定する同期位置特定手段と、
前記同期位置特定手段によって特定された時間位置情報に基づいて、当該音声フレームのデータに対して無音データとの置換を指示する置換指示手段とからなる編集制御部を備えることが可能である。
【００１８】
【発明の実施の形態】
以下、図面に基づいて、本発明に係るマルチメディア編集装置の実施形態を説明する。
図１は、本発明の実施形態に係るマルチメディアデータ編集装置の画像編集部の概略構成を示すブロック図である。
本発明の実施形態に係るマルチメディアデータ編集装置の画像編集部では、図１に示すように、編集前の符号化データは、多重分離部１０により画像符号化データと音声符号化データに分離される。画像符号化データは、図５に示す従来の復号装置における処理と同様にして、可変長復号化部１２０において画像データとヘッダ情報に分離される。そして、画像データは、逆量子化部１２１および逆ＤＣＴ部１２２で演算され、加算器１２３において、ヘッダ情報に含まれる動きベクトル値に基づき、動き補償部１２４によりフレームメモリ１２５から読み出された前フレームのデータと加算され、再生画像を得ることができる。
【００１９】
画像再生において、ユーザにより、切り出しを開始したいフレームの指定が行われると、編集制御部１１は、ＤＣＴ部１２６に対して、切り出しを開始する最初の画像フレームのデータをフレームメモリ１２５から読み出してＤＣＴ処理を行うように指示する。
【００２０】
画像の符号化では、上述したように、前フレームとの予測符号化が施されているが、フレームメモリ１２５には再構築された画像データが蓄積されており、切り出し開始フレームの符号化では、フレームメモリ１２５に蓄積されている再構築された当該フレームのデータを用いて、フレーム内符号化が行われる。ＤＣＴ部１２６および量子化部１２７によりフレーム内符号化された編集点フレームの画像データは、可変長符号化部１２８により可変長符号化が施される。したがって、ＤＣＴ部１２６、量子化部１２７および可変長符号化部１２８は、すべてフレーム内符号化を行うための回路部として動作する。
【００２１】
量子化部１２７における量子化ステップの値は、編集制御部１１により制御される。すなわち、編集制御部１１において、編集点の画像フレームの画質を編集前の当該フレームと同等に維持する場合には、細かい量子化ステップとなるような制御を行う。一方、ある程度の劣化を許容する場合には、粗い量子化ステップとなるような制御を行う。
【００２２】
可変長符号化された画像符号化データは、ヘッダ情報付加変更部１３において、当該フレームがフレーム内符号化により再符号化されたことに伴うヘッダ情報（フレーム符号化方法、量子化ステップを指し示す情報）の変更を行い、後述する無効画像データ付加部１４により、音声データとの間で遅延補償を行うためのデータを付加して、画像ビットストリーム置換部１５へ送られる。
【００２３】
ヘッダ情報付加変更部１３における情報変更では、従来の復号装置により復号できるように、ヘッダ情報のフォーマットの変更は一切行わず、上述したフレーム符号化方法、量子化ステップ等の属性情報のみの変更あるいは追加を行う。
【００２４】
画像ビットストリーム置換部１５では、多重分離部１０より送られてくる画像符号化データを画像フレーム単位で管理しており、切り出し編集が指示された画像フレームの符号化データに対して、前記無効画像データ付加部１４から送られてきた当該フレームの符号化データと置換する。当該フレーム以降のフレームの符号化データについては、多重分離部１０からのデータをそのまま用いて編集済み画像符号化データを形成し、多重化部１６へ送出する。
【００２５】
図２は、本発明の実施形態に係るマルチメディアデータ編集装置の音声編集部の概略構成を示すブロック図である。
なお、図２においては、音声符号化方式としてＭＰ３（ＭＰＥＧ  Ａｕｄｅｉｏ  Ｌａｙｅｒ−３）を用いた場合を示しているが、Ｇ．７２３．１等のような他の符号化方式を用いる場合においても、同様な構成とすることができる。
【００２６】
本発明の実施形態に係るマルチメディアデータ編集装置の音声編集部では、図２に示すように、編集前の符号化データは、多重分離部１０により、画像符号化データと音声符号化データに分離される。音声符号化データは、可変長復号化部２００、逆量子化部２０１、エイリアシング除去部２０２、逆ＭＤＣＴ部２０３およびサブバンド合成フィルタ処理部２０４により、音声データに復号される。
【００２７】
音声データは、符号化される際に、所定のサンプル数からなるフレーム単位で符号化されている。ＭＰ３では、サンプル数が１１５２点であり、サンプリング周波数が４８ＫＨｚの場合に、符号化単位フレームは２４ｍｓ間のデータとなる。
バッファ２１では、再生された音声データを上述した符号化単位フレーム毎に蓄積し、符号化単位フレームの更新に応じて蓄積の更新を行う。
【００２８】
画像再生において、ユーザにより、切り出しを開始したいフレームの指定が行われると、編集制御部１１は、上述した画像切り出し開始指示と同時に、後述する無音データ置換部２２に対して音声切り出し開始を指示する。
無音データ置換部２２では、音声の符号化単位フレーム内で、フレーム開始から所定時間のサンプルデータ、あるいはフレーム終了前の所定時間のサンプルデータを無音データに置換する。
符号化単位フレームの一部が無音データに置換された当該音声フレームデータは、従来の音声符号化方法に従い、サブバンドフィルタ２０５、ＦＦＴ／エントロピー評価部２０６、ＭＤＣＴ部２０７、非線型量子化部２０８、可変長符号化部２０９により再符号化される。
【００２９】
音声ビットストリーム置換部２３では、多重分離部１０より送られてくる音声符号化データを音声符号化フレーム単位で管理しており、切り出し編集が指示された音声フレームの符号化データを、再符号化された当該音声符号化フレームの符号化データと置換する。当該フレーム以降のフレームの符号化データについては、多重分離部１０からのデータをそのまま用いて編集済み音声符号化データを形成し、多重化部１６へ送出する。
多重化部１６では、編集された画像符号化データと音声符号化データの多重化処理を行い、編集済みマルチメディアデータの作成を行う。
【００３０】
図３および図４に、本発明の実施形態に係るマルチメディアデータ編集装置における画像フレームと音声フレームの時間関係を示す。
上述したように、音声データの符号化は、所定のサンプル数からなるフレーム単位で行われる。ＭＰ３では、サンプル数が１１５２点であり、サンプリング周波数が４８ＫＨｚの場合に、符号化単位フレームは２４ｍｓ間のデータとなる。一方、画像符号化の符号化単位は３０フレーム／秒で約３３ｍｓであり、１５フレーム／秒となった場合には約６６ｍｓである。
【００３１】
また、図３に示すように、編集点における画像符号化フレームの切れ目と音声符号化フレームの切れ目とが一致するとは限らず、ほとんどの場合、それぞれのフレームの切れ目の位置にずれが生じる。
すなわち、図３に示すように、画像のフレームの切れ目に順じた編集点を設定し、その編集点近傍の音声符号化フレームを選択する場合に、“ｍ−１”番フレームを採用すると、編集点以前の音声データを含むこととなり、編集されたデータの先頭部分に不要な音声が再生されることになる。また、“ｍ”番フレームを採用すると、編集点時の音声符号化データの欠落を生じ、編集されたデータの先頭部分に音欠けを生じる。また、編集点に合致するように、新たに音声符号化フレームをすべて再構築するには、処理量が膨大となりまた非効率的である。
【００３２】
同様に、図４に示すように、編集終了点においては、“ｎ＋１”番フレームを採用すると、編集点以降の音声データを含むこととなり、編集されたデータの最後に不要な音声が再生されることになる。また、“ｎ”番フレームを採用すると、編集点時の音声符号化データの欠落を生じ、編集されたデータの最後に音欠けを生じてしまう。
【００３３】
このような不都合を解消するために、図２に示す無音データ置換部２２により、編集点に対応する音声符号化フレームに対して、不要部分の音声データを無音データに置換する。以下に、編集開始点における無音データ置換部２２およびバッファ２１の動作を説明する。
【００３４】
バッファ２１には、音声符号化フレーム単位で再生された音声データが蓄積されていく。無音データ置換部２２は、編集制御部１１より編集点の指示があると、それまでにバッファ２１に蓄積された音声データをバッファ２１から読み込み、読み込んだデータ数（サンプル点）を計数し、さらに、そのデータ数分だけの無音データの作成を行う。一般的な無音データの作成方法としては、データ値を「０」とすることにより無音データを作成することができるが、使用する音声用ＡＤ変換器等の仕様に応じて、置換する無音データを変更することが可能である。
【００３５】
このように、必要サンプル数のデータを無音データに置換し、編集指示以降の当該音声フレームの音声データをバッファ２１から読み込み、無音データと合成することにより、１つの音声符号化フレームを再構築する。そして、再構築された音声符号化フレームのみを、以降のサブバンドフイルタ２０５等に送り、符号化を行う。
【００３６】
次に、編集終了点における無音データ置換部２２およびバッファ２１の動作を説明する。
バッファ２１には、音声符号化フレーム単位で再生された音声データが蓄積されていく。無音データ置換部２２は、編集制御部１１より編集点の指示があると、それまでにバッファ２１に蓄積された音声データをバッファ２１から読み込み、読み込んだデータ数（サンプル点）を計数する。そして、採用している音声符号化方式に応じて、音声符号化フレームのサンプル数が規定できることから、その規定サンプル数から読み込んだデータのデータ数を差し引き、残りのデータ数分だけの無音データの作成を行う。
【００３７】
このように、読み込んだデータと、無音データに置換した編集指示以降の当該音声フレームの音声データとを合成することにより、１つの音声符号化フレームを再構築する。そして、再構築された音声符号化フレームのみを、以降のサブバンドフィルタ２０５等に送り、符号化を行う。
【００３８】
次に、図１における無効画像データ付加部１４および無効画像データ付加部１４に付随する編集制御部１１の動作について説明する。
上述したように、編集開始点における音声符号化データに対して、雑音の原因となる不要部分を除去するための無音データ置換処理を行っている。しかしながら、図３に示すように、音声の符号は符号化フレーム単位で行われるため、編集後の画像符号化データが“Ｍ”番から復号が開始されると、図３の時間差分に示すように、同時に復号化開始された音声データとのずれを生じる。
【００３９】
このようなずれを補正するために、以下の処理を行う。
図２に示すように、無音データ置換部２２から編集制御部１１に対して、無音データに置換したサンプル数が送られる。編集制御部１１では、そのサンプル数に従い、図３に示す時間差分を算出し、無効画像データ付加部１４に対して送出する。無効画像データ付加部１４では、その時間差分だけ画像復号開始が遅延するように、再符号化された画像符号化データの先頭部分に無効データを付加する。無効データとは、従来の復号装置において読み捨てられるようなアイドルフレーム情報などのことである。
【００４０】
【発明の効果】
以上説明したように、本発明のマルチメディアデータ編集装置によれば、符号化されたデータを符号化画像データと符号化音声データに分離し、それぞれの符号化データを復号した復号データに関して任意の位置で切り取り編集するための編集点を指示し、その指示された編集点における画像フレームの画像復号データを再符号化し、その再符号化された画像符号化データに適合するように画像符号化データに予め付加されている編集点の画像フレームに関するヘッダ情報の変更を行い、編集前の当該フレームの符号化画像データを、その変更された編集点の画像フレーム符号化データに置換し、新たな符号化画像データビットストリームを作成することにより、従来の復号装置において復号することのできる編集データを作成することができる。
【００４１】
また、本発明のマルチメディアデータ編集装置によれば、符号化されたデータを符号化画像データあるいは符号化音声データに分離し、それぞれの符号化データを復号した復号データに関して任意の位置で切り取り編集するための編集点を指示し、その指示された編集点に従って、その編集点が音声符号化単位のフレーム内に位置する場合、そのフレーム内おいて編集点以前の音声データを無音データに置換し、その置換編集された復号音声フレームデータの再符号化を行い、編集前の当該フレームの符号化音声データを、その再符号化された音声フレーム符号化データに置換し、新たな符号化音声データビットストリームを作成することにより、従来の復号装置において復号することのできる編集データを作成することができる。
【００４２】
また、本発明のマルチメディアデータ編集装置によれば、画像データの復号再生を行いながら、途中切り出し編集を行いたい編集点をユーザインタフェースからの情報で検知し、その編集点情報から編集点画像フレームを再符号化するための再符号化指示を行い、またその編集点情報から編集点画像ラレームに時間的に対応する音声データの位置を特定し、特定された時間位置情報に基づいて当該音声フレームのデータに対して無音データとの置換を指示することにより、画像編集開始点および終了点に合致した音声データに編集することができる。
【００４３】
また、本発明のマルチメディアデータ編集装置によれば、画像符号化データに遅延を付加し、編集後の符号化画像データと符号化音声データの時間軸での同期を取るため、符号化画像データに無効画像データを付加することにより、画像と音声の正確な同期を取ることができる。
【図面の簡単な説明】
【図１】本発明の実施形態に係るマルチメディアデータ編集装置の画像編集部の概略構成を示すブロック図である。
【図２】本発明の実施形態に係るマルチメディアデータ編集装置の音声編集部の概略構成を示すブロック図である。
【図３】本発明の実施形態に係るマルチメディアデータ編集装置における画像および音声データの編集点（開始）を示す説明図である。
【図４】本発明の実施形態に係るマルチメディアデータ編集装置における画像および音声データの編集点（終了）を示す説明図である。
【図５】従来の画像/音声復号装置の構成を示すブロック図である。
【図６】従来の編集装置の構成を示すブロック図である。
【図７】従来の編集装置における復号装置の構成を示すブロック図である。
【符号の説明】
１０  多重分離部
１１  編集制御部
１２  画像復号化/符号化部
１２′  画像復号化部
１３  ヘッダ情報付加変更部
１４  無効画像データ付加部
１５  画像ビットストリーム置換部
１６  多重化部
１２０  可変長復号化部
１２１  逆量子化部
１２２  逆ＤＣＴ部
１２３  加算器
１２４  動き補償部
１２５  フレームメモリ
１２６  ＤＣＴ部
１２７  量子化部
１２８  可変長符号化部
２０  音声復号化/符号化部
２０′  音声復号化部
２１  バッファ
２２  無音データ置換部
２３  音声ビットストリーム置換部
２００  可変長復号化部
２０１  逆量子化部
２０２  エイリアシング除去部
２０３  逆ＭＤＣＴ部
２０４  サブバンド合成フィルタ処理部
２０５  サブバンドフィルタ
２０６  ＦＦＴ/エントロピー評価部
２０７  ＭＤＣＴ部
２０８  非線型量子化部
２０９  可変長符号化部
５１、７１  多重分離器
５２、７２、７５  可変長復号器
５３、７６  予測情報変更器
５４  可変長符号化器
５５  多重化器
５６  バッファ
５７  記録器
５８  書き込み制御器
５９  読み取り書き込み制御器
６０  読み出し制御器
６１  再生器
７３  逆量子化器
７４  ＤＣＴ部
７７  画像間予測器
７８  フレームメモリ
【図１】
0003859432.tif 000002
【図２】
0003859432.tif 000003
【図３】
0003859432.tif 000004
【図４】
0003859432.tif 000005
【図５】
0003859432.tif 000006
【図６】
0003859432.tif 000007
【図７】
0003859432.tif 000008