(57)【要約】  【課題】相互に同期している音響データと動画データで構成される一対のデータを圧縮伸長しても、自然な映像として同期再生する。  【解決手段】音響データと動画データを複数の区間に分割し、分割された区間ごとに音響データと動画データの圧縮伸長の度合いを決定するパラメータ時系列を決定し、分割された音響データを等間隔の入力フレームに分割し、パラメータ時系列に基づいて出力フレーム長を決定することで、音響データに関して圧縮伸長前の音響データと圧縮伸長後の音響データの間での同期ポイントの対応表を出力し、対応表に基づいて音響データを圧縮伸長し、対応表に基づいて動画データを圧縮伸長する。【選択図】図２
2006187013.tif 000002
【特許請求の範囲】
【請求項１】
相互に同期している音響データと動画データで構成される一対のデータを圧縮伸長する音響データ・動画データの同期再構築装置であって、
一連の音響データと一連の動画データを複数の区間に分割するデータ区間分割部と、
前記データ区間分割部で分割された区間ごとの音響データと動画データの圧縮伸長の度合いを決定するパラメータ時系列を指示するパラメータ時系列指示部と、
前記データ区間分割部で分割された前記音響データを、さらに等間隔の入力フレームに分割する入力フレーム分割部と、
前記入力フレーム分割部で等間隔に分割された入力フレームの長さに、前記パラメータ時系列指示部で決定した前記パラメータ時系列の比例定数を乗ずることにより、音響データの出力フレーム長を決定する出力フレーム長決定部と、
前記パラメータ時系列指示部で決定した前記パラメータ時系列に基づいて圧縮伸長する前記音響データに関して、圧縮伸長前の前記音響データと圧縮伸長後の前記音響データの間での同期ポイントの対応表を出力する音響動画同期データ出力部と、
前記各入力フレームから前記出力フレーム長だけの前記音響データを切り出して接続する音響データ再構築部と、
前記対応表に基づいて前記動画データを圧縮伸長する動画データ再構築部を含むことを特徴とした音響データ・動画データの同期再構築装置。
【請求項２】
前記パラメータ時系列指示部において、使用者の手によって前記パラメータ時系列を入力する、請求項１記載の音響データ・動画データの同期再構築装置。
【請求項３】
前記パラメータ時系列指示部において、前記音響データから前記区間ごとの重要度を推定することにより前記パラメータ時系列を抽出する、請求項１記載の音響データ・動画データの同期再構築装置。
【請求項４】
前記パラメータ時系列指示部において、前記動画データから前記区間ごとの重要度を推定することにより前記パラメータ時系列を抽出する、請求項１記載の音響データ・動画データの同期再構築装置。
【請求項５】
前記データ区間分割部が、前記動画データをその内容に従って区間に分割する、請求項１記載の音響データ・動画データの同期再構築装置。
【請求項６】
相互に同期している音響データと動画データで構成される一対のデータを圧縮伸長する音響データ・動画データの同期再構築方法であって、
音響データと動画データを複数の区間に分割する工程と、
分割された区間ごとに、前記音響データと前記動画データの圧縮伸長の度合いを決定するパラメータ時系列を指示する工程と、
分割された前記音響データを、さらに等間隔の入力フレームに分割する工程と、
分割された入力フレームの長さに、前記パラメータ時系列の比例定数を乗ずることにより、出力フレーム長を決定する工程と、
決定した前記パラメータ時系列に基づいて圧縮伸長する前記音響データに関して、圧縮伸長前の前記音響データと圧縮伸長後の前記音響データの間での同期ポイントの対応表を出力する工程と、
前記各入力フレームから前記出力フレーム長だけの前記音響データを切り出して接続する工程と、
前記対応表に基づいて前記動画データを圧縮伸長する工程を含むことを特徴とする音響データ・動画データの同期再構築方法。
【請求項７】
相互に同期している音響データと動画データで構成される一対のデータを圧縮伸長する処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、
前記プログラムは、
前記音響データと前記動画データを複数の区間に分割する工程と、
分割された区間ごとに、前記音響データと前記動画データの圧縮伸長の度合いを決定するパラメータ時系列を指示する工程と、
分割された前記音響データを、さらに等間隔の入力フレームに分割する工程と、
分割された入力フレームの長さに、前記パラメータ時系列の比例定数を乗ずることにより、出力フレーム長を決定する工程と、
決定した前記パラメータ時系列に基づいて圧縮伸長する前記音響データに関して、圧縮伸長前の前記音響データと圧縮伸長後の前記音響データの間での同期ポイントの対応表を出力する工程と、
前記各入力フレームから前記出力フレーム長だけの前記音響データを切り出して接続する工程と、
前記対応表に基づいて前記動画データを圧縮伸長する工程をコンピュータに実行させることを特徴とする、コンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声と動画が一体となっているデータについて、音声と動画の同期を取りながら圧縮伸長して再生する技術に関する。
【背景技術】
【０００２】
昨今の動画や音声に関するコンピュータ処理技術の急速な発展に伴って、デジタルビデオ等の音声と動画を取り扱うマルチメディア機器が急速に普及している。特に、音声と動画を同時に取り扱うストーリー性を有するアニメーション等の分野においては、その編集等にコンピュータを用いた処理が積極的に行われており、音声と動画の編集機能にも高度な技術が要求されつつある。例えば、あるキャラクタの動きを収めた動画データと別個に編集した音声データとを連携させて、映像データを作成する場合において、２つのデータ間の同期を取りつつ、いかに自然な映像となるようにするのかは重要な課題の一つとなっている。ここで映像とは、音声と動画を含んだマルチメディア情報の総称とし、アニメーションや実写によるストーリー性を有する映像等を含むものとする。
【０００３】
また、一つのシナリオとして完成されている映像データの一部を他の作品に流用したい場合等において、流用すべき部分の映像データを圧縮伸長させる必要が生じる場合も多い。この場合には、映像データを圧縮伸長させた場合に、音声データと動画データの同期を壊さないように圧縮伸長させることが重要となる。
【０００４】
しかし、従来の映像データにおいては、各キャラクタについて時系列に音声データと動画データを独立して生成しているものが多く、各々のデータの記録時間長さも相違している場合もあって、どちらかのデータ、もしくは双方のデータを圧縮伸長等して同期を取る必要も生じている。
【０００５】
映像データを圧縮伸長した場合においても、音声データと動画データの同期を保持すべく、種々の方法が考えられている。例えば、特開平５−３５６１号公報においては、音声と動画により構成されるストーリーの編集・再生等において、音声データと動画データを別個独立に編集してから、同期を取りつつ一つのストーリーとして再構成する方法が開示されている。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかし、かかる方法では、音声データと動画データを別個独立に圧縮・伸長して同期を取っているため、同期点の始点と終点を除けば、動画の内容と音声とが正確に同期が取れていることの保証はない。特に精緻な映像が要求される傾向にある昨今では、口の動きにあわせて音声を出す等の細かい調整も要求されることが多いが、例えばキャラクタの口の動きに合致していない音声が出力される、キャラクタの口が動いていないのに音声を発している等の不具合点が生じる可能性があるという問題点があった。
【０００７】
本発明は、上記弊害を排除し、きめ細かい同期処理を簡便な方法で実現するとともに、音響データと動画データの間で同期が取られている映像データを圧縮伸長した場合においても、自然な映像として再生できる音響データ・動画データの同期再構築方法及び装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するために本発明にかかる音響データ・動画データの同期再構築装置は、相互に同期している音響データと動画データで構成される一対のデータを圧縮伸長する音響データ・動画データの同期再構築装置であって、一連の音響データと一連の動画データを複数の区間に分割するデータ区間分割部と、データ区間分割部で分割された区間ごとの音響データと動画データの圧縮伸長の度合いを決定するパラメータ時系列を指示するパラメータ時系列指示部と、データ区間分割部で分割された音響データを、さらに等間隔の入力フレームに分割する入力フレーム分割部と、パラメータ時系列指示部で決定したパラメータ時系列に基づいて音響データの出力フレーム長を決定する出力フレーム長決定部と、パラメータ時系列指示部で決定したパラメータ時系列に基づいて圧縮伸長する音響データに関して、圧縮伸長前の音響データと圧縮伸長後の音響データの間での同期ポイントの対応表を出力する音響動画同期データ出力部と、出力フレーム長に基づいて音響データを圧縮伸長する音響データ再構築部と、対応表に基づいて動画データを圧縮伸長する動画データ再構築部を含むことを特徴とする。
【０００９】
かかる構成により、あらかじめ同期をとるべきポイントごとにデータ区間を分割しておくことで、音響データについてのみ圧縮伸長しさえすれば、それに伴って動画データも同期を取りながら圧縮伸長することができ、映像データの圧縮伸長を容易かつ確実に行うことが可能となる。
【００１０】
また、本発明にかかる音響データ・動画データの同期再構築装置は、パラメータ時系列指示部において、音響データのみに基づいてパラメータ時系列を抽出することが好ましい。音の出ている箇所は、キャラクタが話しをしている等の、映像上で同期を取るには重要な場面であることが多いからである。
【００１１】
また、本発明にかかる音響データ・動画データの同期再構築装置は、パラメータ時系列指示部において、動画データのみに基づいてパラメータ時系列を抽出することが好ましい。キャラクタの動きの変化に応じても、同期ポイントは容易に抽出することができるからである。
【００１２】
また、本発明にかかる音響データ・動画データの同期再構築装置は、パラメータ時系列指示部において、音響データ及び動画データの双方に基づいてパラメータ時系列を抽出することが好ましい。双方を組み合わせて、重み付けをすることで、よりきめ細かい同期ポイントを設定することが可能となるからである。
【００１３】
また、本発明にかかる音響データ・動画データの同期再構築装置は、パラメータ時系列指示部において、使用者の手によってパラメータ時系列を入力することが好ましい。人間の目によって、違和感を感じることを極力少なくするために微調整をすることができるようにするためである。
【００１４】
次に、上記目的を達成するために本発明にかかる音響データ・動画データの同期再構築方法は、相互に同期している音響データと動画データで構成される一対のデータを圧縮伸長する音響データ・動画データの同期再構築方法であって、音響データと動画データを複数の区間に分割する工程と、分割された区間ごとに、音響データと動画データの圧縮伸長の度合いを決定するパラメータ時系列を指示する工程と、分割された音響データを、さらに等間隔の入力フレームに分割する工程と、決定したパラメータ時系列に基づいて出力フレーム長を決定する工程と、決定したパラメータ時系列に基づいて圧縮伸長する音響データに関して、圧縮伸長前の音響データと圧縮伸長後の音響データの間での同期ポイントの対応表を出力する工程と、対応表に基づいて前記音響データを圧縮伸長する工程と、対応表に基づいて動画データを圧縮伸長する工程を含むことを特徴とする。
【００１５】
かかる構成により、あらかじめ同期をとるべきポイントごとにデータ区間を分割しておくことで、音響データについてのみ圧縮伸長しさえすれば、それに伴って動画データも同期を取りながら圧縮伸長することができ、映像データの圧縮伸長を容易かつ確実に行うことが可能となる。
【００１６】
また、本発明にかかる音響データ・動画データの同期再構築方法は、パラメータを指示する工程において、音響データのみに基づいてパラメータ時系列を抽出することが好ましい。音の出ている箇所は、キャラクタが話しをしている等の、映像上で同期を取るには重要な場面であることが多いからである。
【００１７】
また、本発明にかかる音響データ・動画データの同期再構築方法は、パラメータを指示する工程において、動画データのみに基づいてパラメータ時系列を抽出することが好ましい。キャラクタの動きの変化に応じても、同期ポイントは容易に抽出することができるからである。
【００１８】
また、本発明にかかる音響データ・動画データの同期再構築方法は、パラメータを指示する工程において、音響データ及び動画データの双方に基づいてパラメータ時系列を抽出することが好ましい。双方を組み合わせて、重み付けをすることで、よりきめ細かい同期ポイントを設定することが可能となるからである。
【００１９】
また、本発明にかかる音響データ・動画データの同期再構築方法は、パラメータを指示する工程において、使用者の手によってパラメータ時系列を入力することが好ましい。人間の目によって、違和感を感じることを極力少なくするために微調整をすることができるようにするためである。
【００２０】
次に、本発明にかかるコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体は、相互に同期している音響データと動画データで構成される一対のデータを圧縮伸長するコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体であって、音響データと動画データを複数の区間に分割する工程と、分割された区間ごとに、音響データと動画データの圧縮伸長の度合いを決定するパラメータを指示する工程と、分割された音響データを、さらに等間隔の入力フレームに分割する工程と、決定したパラメータ時系列に基づいて出力フレーム長を決定する工程と、決定したパラメータ時系列に基づいて圧縮伸長する音響データに関して、圧縮伸長前の音響データと圧縮伸長後の音響データの間での同期ポイントの対応表を出力する工程と、対応表に基づいて音響データを圧縮伸長する工程と、対応表に基づいて動画データを圧縮伸長する工程を含むことを特徴とする。
【００２１】
かかる構成により、コンピュータ上へ当該プログラムをロードさせ実行することで、あらかじめ同期をとるべきポイントごとにデータ区間を分割しておくことで、音響データについてのみ圧縮伸長しさえすれば、それに伴って動画データも同期を取りながら圧縮伸長することができ、映像データの圧縮伸長を容易かつ確実に行うことが可能となる音響データ・動画データの同期再構築装置が実現できる。
【発明の効果】
【００２２】
以上のように本発明にかかる音響データ・動画データの同期再構築装置によれば、あらかじめ同期をとるべきポイントごとにデータ区間を分割しておくことで、音響データについてのみ圧縮伸長しさえすれば、それに伴って動画データも同期を取りながら圧縮伸長することができ、映像データの圧縮伸長を容易かつ確実に行うことが可能となる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明の実施の形態にかかる動画データ・音響データの同期再生装置について、図面を参照しながら説明する。図１は本発明の実施の形態にかかる音響データ・動画データの同期再生装置の概略構成図である。
【００２４】
図１において、１１は音響データ入力部を、１２は動画データ入力部を、１３はデータ区間分割部を、１４はパラメータ時系列指示部を、１５は話速変換部を、１６は音響データ出力部を、１７は音響動画同期データ出力部を、１８は動画データ再構築部を、１９は動画データ出力部を、それぞれ示す。
【００２５】
音声と動画が一体となった映像データが音響データ入力部１１及び動画データ入力部１２から与えられると、音響データ及び動画データの双方のデータが、データ区間分割部１３において、一定の基準に基づいて分割される。分割方法として、最も単純な方法としては等間隔に分割する方法が考えられるが、これに限定されるものではなく、映像におけるシーンの切れ目や、特定キャラクタの登場・退場等、様々な基準を用いて分割することができる。
【００２６】
また、パラメータ時系列指示部１４では、与えられた音響データ及び動画データから、パラメータ時系列を抽出するか、もしくは使用者がパラメータ時系列を入力することで、音響データ及び動画データの双方のデータをどのように同期させるかを決定するパラメータ時系列を設定する。
【００２７】
次に、パラメータ時系列指示部１４で設定されたパラメータ時系列に基づいて、データ区間分割部１３で分割された区間ごとに話速変換部１５で話速を変換し、音響動画同期データ出力部１７において、その速度変化に対応した音響動画同期データを出力する。
【００２８】
話速変換部１５では、話速は変換されるが、音声の高さは変化しない。すなわち、音のピッチは変換されない。さらに、話速は同一区間内で常に同一である必要はなく、同一区間内でも伸長圧縮が可能である。
【００２９】
また、音響動画同期データとしては、話速が変換された音響データの各時刻のデータが元の音響データにおいてはどの時刻のデータであったのかを示す対応表を出力する。かかる対応が明らかになることで、元の音響データの時刻に対応した動画データと同期をとるように、動画データを圧縮伸長することが可能となる。
【００３０】
そして、動画データ再構築部１８において、上記対応表に基づいて、動画フレームを間引いたり、逆に動画フレームを重複させる等の圧縮伸長処理を行って、音響データと同期した動画データを作成する。
【００３１】
音響データは、話速変換部１５で変換された状態で新たな音響データとして音響データ出力部１６から出力され、これと同期が取れている状態で、動画データ再構築部１８で再構築された動画データが動画データ出力部１９から出力される。
【００３２】
次に、図２は本発明の実施の形態にかかる音響データ・動画データの同期再生装置の一実施例である。図２において、２１は入力フレーム分割部を、２２は出力フレーム長決定部を、２３は音響データ再構築部を、それぞれ示す。
【００３３】
図２において、音声と動画が一体となった映像データが与えられると、音響データ、動画データともに、データ区間分割部１３において、一定の基準に基づいて分割される。分割方法として、最も単純な方法としては等間隔に分割する方法が考えられるが、これに限定されるものではなく、映像におけるシーンの切れ目や、特定キャラクタの登場・退場等、様々な基準を用いて分割することができる。
【００３４】
区間分割の一基準として、シーンチェンジポイントを検出して、一つのシーンチェンジポイントから次のシーンチェンジポイントまでを一区間としてデータを分割する方法が考えられる。シーンチェンジポイントとは、動画フレーム間のつながりが大きく失われたところを意味する。以下、ＭＰＥＧ１データストリームを例にとって、シーンチェンジポイントの検出方法について説明する。ただし、動画データはＭＰＥＧ１データストリームに限定されるものではなく、シーンチェンジポイントの検出方法も以下の方法に限定されるものではない。
【００３５】
ＭＰＥＧ１データストリームでは、圧縮効率を高めるためにフレーム内符号化フレーム（I-Picture）、フレーム間符号化フレーム（P-Picture）、フレーム内挿フレーム（B-Picture）で構成されるＧＯＰ（Group Of Pictures）レイヤが設けられている。それぞれのフレームは、８ｘ８のマクロブロックごとに圧縮される。
【００３６】
マクロブロックには種々のタイプのマクロブロックが存在するが、イントラ符号化されるイントラマクロブロック（以下、「Ｉ−ＭＢ」という。）、前方予測に用いられる前方予測マクロブロック（以下、「Ｐ−ＭＢ」という。）、後方予測に用いられる後方予測マクロブロック（以下、「Ｂ−ＭＢ」という。）、双方向予測に用いられる双方向予測マクロブロック（以下、「Ｄ−ＭＢ」という。）の４つのマクロブロックのフレーム内における総数をシーンチェンジポイントの検出に利用する。
【００３７】
さらに、各予測マクロブロックから得られる動きベクトルのフレーム内の平均値も利用する。ここで、「動きベクトル」とは、あるシーンからあるシーンへの差分ベクトルを意味する。
【００３８】
具体的には、シーンチェンジポイントを、フレーム間のつながりが大きく失われたポイントであるものと考えると、シーンチェンジポイント前後のフレームにおいては動きベクトルを求めることが困難になることが予想できるので、必然的にＩ−ＭＢの急激な増加、及びＤ−ＭＢの急激な減少が発生すると考えられる。また、シーンチェンジポイント直前のフレームでは、Ｐ−ＭＢの増加、Ｂ−ＭＢの減少が予想され、シーンチェンジポイント直後のフレームでは、Ｐ−ＭＢの減少、Ｂ−ＭＢの増加が予想される。これらの特徴を考慮した評価関数を定義することで、シーンチェンジポイントを推定する。
【００３９】
次に、パラメータ時系列指示部１４では、与えられた音響データ、動画データに基づいてパラメータ時系列を抽出するか、もしくは使用者がパラメータ時系列を入力することで、音響データ及び動画データの双方をどのように同期させるかを決定するパラメータ時系列を設定する。
【００４０】
パラメータ時系列の抽出方法についても、種々の方法が考えられる。ここでは、音響データのみから抽出する方法、動画データのみから抽出する方法、音響データ・動画データの双方を用いて抽出する方法の３つに分けて説明する。
【００４１】
まず、音響データのみからパラメータ時系列を抽出する方法としては、音響のパワーの強弱によって抽出する方法が考えられる。これは、音の大きな箇所には重要な情報が含まれ、音の小さな箇所にはあまり重要な情報は含まれていない、等の判断基準に従って、パラメータ時系列を決定する方法である。映像において、キャラクタの話し声の音響パワーを大きく設定しておくことで、キャラクタが話している言葉に従って、音響データと動画データの同期を取る場合等に有効な方法となる。同様に、音の高さ（ピッチ）の大小によってパラメータ時系列を抽出する方法も考えられる。
【００４２】
さらに、音源を区別するために、音のスペクトルに基づいてパラメータ時系列を抽出する方法も考えられる。音のスペクトルとしては、ＦＦＴ（Fast Fourier Transform）スペクトルやＬＰＣ（Linear Predictive Coding）スペクトル等が考えられるが、特にこれに限定するものではなく、音源の種類を特定できる可能性のあるものであれば良い。かかる方法により、例えば主役であるキャラクタが話している区間の重要度を高く、他の脇役のキャラクタが話している区間の重要度を低く評価する等の基準に基づいて、パラメータ時系列を決定することができる。
【００４３】
次に、動画データのみからパラメータ時系列を抽出する方法として、動きベクトル（差分ベクトル）に基づいて抽出する方法が考えられる。これは、動きベクトルの変化の度合いによって、シーンチェンジポイントを求め、シーンチェンジ間隔を時系列に並べることでパラメータ時系列を決定するものである。
【００４４】
最後に、音響データ・動画データの双方を用いてパラメータ時系列を抽出する方法としては、音響データのみから抽出する方法と動画データのみから抽出する方法の双方により求まったパラメータ時系列に重み付けを加算して、最適なパラメータ時系列を抽出する方法が考えられる。重み付けは、プログラム等によって事前に設定しておいても良いし、使用者が映像データの特質に応じて入力しても良い。
【００４５】
また、パラメータ時系列を、使用者がキーボード等の入力媒体を通じて入力しても良い。この場合、パラメータ時系列自体は、ステップ関数として入力される形になるため、パラメータ変化を滑らかにするスムージングを行う。図３に示すように、入力されたステップ関数を緩やかな変化に変更することで、全くの無音領域を作らないで、音声データのつなぎをスムーズにする効果が期待できる。
【００４６】
次に、入力フレーム分割部２１では、音響データを等間隔の入力フレームに分割する。入力フレームの間隔は、データ区間分割部１３で定められたデータ区間よりも短い。
【００４７】
そして、出力フレーム長決定部２２では、各データ区間において出力フレーム長の和が（元のデータ区間長）＊（圧縮伸長率）となるように、パラメータ時系列の値に基づいて各出力フレーム長を決定する。最も簡便な方法としては、出力フレーム長をパラメータ時系列に比例させる方法が考えられる。
【００４８】
図４は、出力フレーム長をパラメータ時系列に比例させて求める方法の典型例を示す図である。図４において、４１は音響データの入力フレーム長を、４２は音響データを遅く再生する場合の出力フレーム長を、４３は音響データを速く再生する場合の出力フレーム長を、それぞれ示す。
【００４９】
図４において、（ａ）は入力フレーム分割部２１で等間隔に分割された音響データを示す。まず、音響データをパラメータ時系列に比例させて、さらに遅く再生する場合には、（ｂ）に示すように等間隔に分割されているフレーム長４１にパラメータ時系列の比例定数を乗ずることで、出力フレーム長４２を求める。したがって、各フレームごとに出力フレーム長への伸長が行われ、求まった新出力フレーム長へと、動画データも伸長される。したがって、伸長前の各フレーム内で音声と動画の同期が取れていさえすれば、伸長後も音声と動画の同期が取れていることになる。
【００５０】
同様に、音響データをパラメータ時系列に比例させて、さらに速く再生する場合には、（ｃ）に示すように等間隔に分割されているフレーム長４１にパラメータ時系列の比例定数を乗ずることで、出力フレーム長４３を求める。したがって、各フレームごとに出力フレーム長への圧縮が行われ、求まった新出力フレーム長へと、動画データも伸長される。したがって、圧縮前の各フレーム内で音声と動画の同期が取れていさえすれば、圧縮後も音声と動画の同期が取れていることになる。
【００５１】
そして、音響データ再構築部２３では、各入力フレームから出力フレーム長だけの音響データを切り出し、つなぎ目がスムーズになるように位置をずらせてから接続する。つなぎ目がスムーズになる位置を求める方法としては、相互相関性の最も強い位置を求める等の種々の方法が考えられる。ただし、これに限定されるものではなく、音がスムーズにつながって聞こえる方法であれば良い。
【００５２】
また、音響動画同期データは、話速が変換された音響データの各時刻のデータが元の音響データにおけるどの時刻のデータであったのかを示す対応表を出力する。かかる対応が明らかになることで、元の音響データの時刻に対応した動画データと同期をとるように、動画データを圧縮伸長することが可能となる。
【００５３】
図５に、音響動画同期データとして出力される対応表の例を示す。図５では、圧縮伸長前の音響データのタイムスタンプと、圧縮伸長後の音響データのタイムスタンプを対応表に記録している。したがって、例えば分割区分「１」では音響データが伸長されていることがわかり、区分終了タイムスタンプが１５秒延びている。同様に分割区分「２」では音響データが圧縮されていることがわかり、区分終了タイムスタンプが２０秒早まっている。
【００５４】
これらのタイムスタンプの増減に合わせて、動画データを圧縮伸長させることで、分割区分ごとに音響データと動画データの同期を取ることができる。したがって、音響データと動画データの同期必須時刻を区分の分割点とすることで、同期が取れていることが必要な時刻においては、必ず同期が取れている状態で映像を圧縮伸長させることが可能となる。
【００５５】
すなわち、動画データ再構築部１８において、上記対応表に基づいて、動画フレームを間引いたり、逆に動画フレームを重複させる等の処理を行って、音響データと同期した動画データを作成することになる。
【００５６】
動画データの伸長・圧縮方法については、キャラクタの動きが比較的緩やかな場面の動画フレームを重複させたり、削除したりすることで調整することも考えられるし、一定割合で動画フレームを重複させたり、間引いたりする方法でも良い。なお、これらの方法に限定されるものではない。
【００５７】
以上のように本実施の形態によれば、同期の取れている音声データと動画データによって構成されている映像データを圧縮伸長する場合において、精緻な同期を取ることが要求される場合においても、確実かつ容易に同期を取ることができ、また見る者の目に自然な映像として再生することが可能となる。
【００５８】
次に、本発明の実施の形態にかかる音響データ・動画データの同期再構築装置を実現するプログラムの処理の流れについて説明する。図６に本発明の実施の形態にかかる音響データ・動画データの同期再構築装置を実現するプログラムの処理の流れ図を示す。
【００５９】
図６において、まず圧縮伸長の対象となる音響データ・動画データを入力する（ステップＳ６１）。次に、入力されたデータについて、シーンチェンジポイントごと等の一定の基準に基づいて区間分割を行う（ステップＳ６２）。
【００６０】
さらに、入力された音響データ・動画データに基づいてパラメータ時系列を抽出するか、もしくは使用者の手によってパラメータ時系列を入力する（ステップＳ６３）。
【００６１】
そして、音響データを分割した区分ごとに等間隔にフレーム分割した後（ステップＳ６４）、決定したパラメータ時系列に基づいて、各入力フレームに対する出力フレーム長を求める（ステップＳ６５）。かかる出力フレーム長に合わせて、音響データ・動画データ双方のデータの同期を取るために、音響動画同期データ出力として、圧縮伸長された音響データの各時刻のデータが元の音響データにおけるどの時刻のデータであったのかを示す対応表を出力する（ステップＳ６６）。
【００６２】
そして、かかる対応表に基づいて音響データ・動画データ双方のデータを再構築して（ステップＳ６７）、音響データ・動画データ一体となった映像データとして出力する（ステップＳ６８）。
【００６３】
本発明の実施の形態にかかる音響データ・動画データの同期再構築装置を実現するプログラムを記憶した記録媒体は、図７に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでも良く、プログラム実行時には、プログラムはローディングされ、主メモリ上で実行される。
【００６４】
また、本発明の実施の形態にかかる音響データ・動画データの同期再構築装置により生成された音響動画同期データ等を記録した記録媒体も、図７に示す記録媒体の例に示すように、ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体だけでなく、通信回線の先に備えられた他の記憶装置や、コンピュータのハードディスクやＲＡＭ等の記録媒体のいずれでも良く、例えば本発明にかかる音響データ・動画データの同期再構築装置を利用する際にコンピュータにより読み取られる。
【図面の簡単な説明】
【００６５】
【図１】本発明の実施の形態にかかる音響データ・動画データの同期再構築装置の原理図
【図２】本発明の実施の形態にかかる音響データ・動画データの同期再構築装置の概略構成図
【図３】ステップ入力のスムージング例示図
【図４】出力フレーム長を求める方法の説明図
【図５】音響動画同期データ出力である対応表の例示図
【図６】本発明の実施の形態にかかる音響データ・動画データの同期再構築装置における処理の流れ図
【図７】記録媒体の例示図
【符号の説明】
【００６６】
１１  音響データ入力部
１２  動画データ入力部
１３  データ区間分割部
１４  パラメータ時系列指示部
１５  話速変換部
１６  音響データ出力部
１７  音響動画同期データ出力部
１８  動画データ再構築部
１９  動画データ出力部
２１  入力フレーム分割部
２２  出力フレーム長決定部
２３  音響データ再構築部
３１  ステップ入力
３２  スムージングされたステップ入力
４１  入力フレーム
４２  出力フレーム長（長）
４３  出力フレーム長（短）
７１  回線先の記憶装置
７２  ＣＤ−ＲＯＭやフロッピーディスク等の可搬型記録媒体
７２−１  ＣＤ−ＲＯＭ
７２−２  フロッピーディスク
７３  コンピュータ
７４  コンピュータ上のＲＡＭ／ハードディスク等の記録媒体
【図１】
2006187013.tif 000003
【図２】
2006187013.tif 000004
【図３】
2006187013.tif 000005
【図４】
2006187013.tif 000006
【図５】
2006187013.tif 000007
【図６】
2006187013.tif 000008
【図７】
2006187013.tif 000009