(57)【要約】【課題】  映像フレームに音響データブロックが同期して添付された形式の音付映像ファイルを複数再生させる場合でも、正確なタイミングで同期して再生することが可能な音付映像の再生装置を提供する。【解決手段】  映像フレームに音響データブロックが同期して添付された形式の音付映像ファイルを複数、読み込んで、各ファイルから映像フレームを取り出して合成して合成映像フレームを得る。一方、各映像フレームに対応した音響データブロックを合成して合成音響データブロックを得る。このようにして得られた合成映像フレームを表示出力し、合成音響データブロックを音として出力することにより、元のファイルに含まれていた映像間および音響データ間において、互いにタイミングがずれることなく出力される。【選択図】  図７
2005318210.tif 000002
【特許請求の範囲】
【請求項１】
複数の映像フレームを有し、各映像フレームに音響データブロックが対応付けて添付された音付映像ファイルを複数蓄積した音付映像ファイル記憶手段と、
前記音付映像ファイル記憶手段から合成再生の対象とする複数の音付映像ファイルを選択するファイル選択手段と、
前記選択された複数の音付映像ファイルから各々対応する映像フレームを抽出し、１つの合成映像フレームに合成する映像フレーム合成手段と、
前記選択された複数の音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成する音響データブロック合成手段と、
前記合成映像フレームをディスプレイのメモリに書き込み画面表示させる映像フレーム表示手段と、
前記合成音響データブロックをサウンドデバイスに書き込み音響再生させる音響出力手段と、
前記映像フレーム合成手段、前記音響データブロック合成手段、前記映像フレーム表示手段、前記音響出力手段における各処理を、前記選択された音付映像ファイルに収納されている全映像フレームに対して、所定の時間間隔で順次実行するよう制御する再生タイミング制御手段と、
を備えていることを特徴とする音付映像の再生装置。
【請求項２】
請求項１において、
前記ファイル選択手段は、前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルのうち、所定の音付映像ファイルから抽出した映像フレームを合成して作成されたメニュー用合成フレームをディスプレイのメモリに書き込み画面に表示させ、当該画面上で映像区画を選択させることにより、合成再生の対象とする音付映像ファイルを選択するものであることを特徴とする音付映像の再生装置。
【請求項３】
請求項２において、
あらかじめ音付映像ファイルから音響データだけを抽出したデモ再生用音響ファイルを準備しておき、前記画面上で選択された映像区画に対応するデモ再生用音響ファイルを再生させる機能を有することを特徴とする音付映像の再生装置。
【請求項４】
請求項１において、
前記選択された音付映像ファイルの各映像フレームの画像サイズおよび合成する映像フレームの数は、合成された際に、ディスプレイのメモリに納まるように設定されており、前記映像フレーム合成手段は、前記選択された音付映像ファイルの映像フレームに対して所定の画素アドレスだけオフセットをかけて一つの合成映像フレームに合成するものであることを特徴とする音付映像の再生装置。
【請求項５】
請求項１において、
前記映像フレーム合成手段は、前記合成映像フレームを合成する際、背景用の映像ファイルである背景映像ファイルに収納されている背景映像フレームを初期画像として取り込んだ後、前記選択された音付映像ファイルの映像フレームを、一つの合成映像フレームに順次重ねて合成するものであることを特徴とする音付映像の再生装置。
【請求項６】
請求項１において、
前記選択された音付映像ファイルの映像フレームには、画素ごとに上書きをするか否かを識別するためのマスクデータが添付されており、映像フレーム合成手段は、前記合成映像フレームを合成する際、前記選択された音付映像ファイルの映像フレームの一部の画素に対しては、前記マスクデータに基づいて、合成映像フレームに合成しない制御を行うものであることを特徴とする音付映像の再生装置。
【請求項７】
請求項１において、
前記音響データブロック合成手段は、前記選択された複数の音付映像ファイルの映像フレームに添付されている音響データブロックに対して、音響データブロック同士の対応する値の総和を算出することにより、１つの合成音響データブロックを作成するものであることを特徴とする音付映像の再生装置。
【請求項８】
請求項１において、
前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルの映像フレームは、所定の方法により圧縮符号化された状態で記録されたものであり、前記映像フレーム合成手段は、選択された音付映像ファイルから映像フレームを抽出した後に復号を行い、合成映像フレームに合成するものであることを特徴とする音付映像の再生装置。
【請求項９】
請求項１において、
前記音付映像ファイル記憶手段に蓄積されている音付映像ファイルに記録された音響データブロックは、所定の方法により圧縮符号化された状態で記録されたものであり、前記音響データブロック合成手段は、前記選択された複数の音付映像ファイルの映像フレームに添付されている音響データブロックを抽出した後に復号を行い、１つの合成音響データブロックを作成するものであることを特徴とする音付映像の再生装置。
【請求項１０】
請求項１から請求項９に記載の再生装置としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ映像・音楽再生分野、放送事業者・公共施設の事業者等が商業目的で配信する環境映像・環境音楽分野において好適な音声信号および映像信号の再生技術に関する。
【背景技術】
【０００２】
従来より、複数の映像を同一画面上に表示させる技術が利用されている。このような技術は、特に、監視カメラ、マルチアングル映像、テレビ番組の多重化放送等でよく用いられている（例えば、特許文献１〜３参照）。しかし、これら従来の技術は、複数のモニターを設置するスペースを節約し、１台のモニターで複数の映像を同時に見られるようにしたものであり、複数の画面を同期させて再生することは行われておらず、オーディオ信号は再生しないか、再生してもどれか１つのチャンネルを再生するかのいずれかであった。
【特許文献１】特開平６−６８０４号公報
【特許文献２】特開平８−１２５９７３号公報
【特許文献３】特開平１１−３４１４４３号公報
【０００３】
一方、コンピュータの発達により汎用のパーソナルコンピュータ等で映像信号を扱うことが可能になってきている。近年では、映像データと音響データを統合したファイル形式も開発されており、１つのファイルを再生するだけで映像と音声を再生することが可能になっている。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、このようなファイル形式の映像信号を合成して再生する場合、音響信号の再生タイミングを正確に合わせて再生しないと、正しい音が再生できない。汎用の映像ファイル形式では、映像データの各映像フレームと音響データブロックが対応づけて記録されているため、音響データの再生タイミングを合わせるためには、映像データの再生タイミングも正確に合わせなければならない。ところが、映像データはデータ量が多いため、処理側のＣＰＵの能力が低いと、処理しきれず、再生タイミングがずれ、これに合わせて音響データの再生タイミングもずれてしまうという問題がある。
【０００５】
そこで、本発明は、映像フレームに音響データブロックが同期して添付された形式の音付映像ファイルを複数再生させる場合でも、正確なタイミングで同期して再生することが可能な音付映像の再生装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明では、音付映像の再生装置を、複数の映像フレームを有し、各映像フレームに音響データブロックが対応付けて添付された音付映像ファイルを複数蓄積した音付映像ファイル記憶手段と、前記音付映像ファイル記憶手段から合成再生の対象とする複数の音付映像ファイルを選択するファイル選択手段と、前記選択された複数の音付映像ファイルから各々対応する映像フレームを抽出し、１つの合成映像フレームに合成する映像フレーム合成手段と、前記選択された複数の音付映像ファイルから各々対応する映像フレームに添付された音響データブロックを抽出し、１つの合成音響データブロックに合成する音響データブロック合成手段と、前記合成映像フレームをディスプレイのメモリに書き込み画面表示させる映像フレーム表示手段と、前記合成音響データブロックをサウンドデバイスに書き込み音響再生させる音響出力手段と、前記映像フレーム合成手段、前記音響データブロック合成手段、前記映像フレーム表示手段、前記音響出力手段における各処理を、前記選択された音付映像ファイルに収納されている全映像フレームに対して、所定の時間間隔で順次実行するよう制御する再生タイミング制御手段を有する構成としたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、音付映像ファイルを複数同時に再生する際、音付映像ファイルから映像フレームを抽出して合成映像フレームを生成し、各映像フレームに対応する音響データブロックを合成して合成音響データブロックを生成し、合成映像フレームを表示するとともに、合成音響データブロックを再生するようにしたので、再生する機器のＣＰＵの処理能力が低い場合であっても、正確なタイミングで同期して再生することが可能となる。
【発明を実施するための最良の形態】
【０００８】
（１．音付映像ファイルの構造）
以下、本発明の実施形態について図面を参照して詳細に説明する。まず、本発明に係る音付映像の再生装置で再生の対象とする音付動画ファイルの構造について説明する。図１に、汎用的な音付映像ファイルの構造を模式的に表現した図を示す。図１において、Ｖは映像フレーム、Ａは音響データブロックを示しており、Ｆ１〜ＦＫは、映像フレームに対応したフレーム番号を示している。汎用フォーマットでは、１秒間３０フレームで構成されており、例えば、３分の動画データであれば、５４００フレームで構成されることになる。また、映像フレームＶは、圧縮されているのが通常であり、圧縮方式により、１つの映像フレームＶから静止画像を復元できる場合もあり、他の映像フレームＶを利用しなければ静止画像を復元できない場合もある。音響データは、フレーム単位、すなわち１／３０秒単位で区分され、音響データブロックＡとして記録される。例えば、サンプリング周波数４８ｋＨｚでステレオ音響信号をサンプリングした場合は、１つの音響データブロックには、１／３０秒に相当する３２００サンプルが記録されることになる。
【０００９】
図１に示したような音付映像ファイルは、公知の手法により作成することができる。すなわち、ビデオカメラ等で撮影することにより得られる互いに対応付けられた映像データと音響データを音付映像ファイル形式に変換しても良いし、別々に得られた映像データと音響データを対応付けて記録するようにしても良い。本実施形態では、別々に得られた映像データと音響データを対応付けて記録することにより作成している。
【００１０】
（２．音付映像ファイルの作成）
続いて、本実施形態における音付映像ファイルの作成について説明する。本実施形態では、本システムを、音付映像ファイルに素材として記録された音響データを合成して再生する装置に利用する場合を想定して説明する。本システムにおいては、合成する音付映像ファイルの数を適宜変更することができるが、本実施形態では、最大５つまで選択可能とした場合について説明する。この場合、音響データは、５つのトラックに設定されて再生されることになるが、各トラックについて例えば５つの楽曲を選択可能となるようにすると、全部で２５の音響データが必要となる。そのため、まず、録音等により得られたアナログの音響データをデジタル化して２５個のデジタルの音響データを得る。アナログの音響信号のデジタル化は、従来の一般的なＰＣＭの手法を用いて行う。具体的には、所定のサンプリング周波数でアナログ音響信号をサンプリングし、振幅を所定の量子化ビット数を用いてデジタルデータに変換する処理を行う。このようにしてデジタル化した音響データは、量子化ビット数に応じた値をもつサンプルの時系列の集合となる。例えば、サンプリング周波数を４８ｋＨｚ、量子化ビット数を１６ビットとした場合、１秒間のアナログ音響信号は、−３２７６８〜３２７６７の値をとるサンプル４８０００個からなるデジタル音響データに変換されることになる。
【００１１】
複数の音響データを合成して１つの再生音響データとして再生するためには、合成対象とする音響データの各再生時間が同一となるように加工する必要がある。これは、１つの音響データを基準として、他の音響データの各サンプル（各時刻において所定のビット数で量子化したもの）が、基準とした素材音響信号に時間的かつ音楽的に同期するように調整する処理を行う。また、本実施形態では、再生する利用者が、自由に音楽の構成を変化させることが可能なように、各音響データをメロディ、コード、リズム等のパートに分けて作成している。各音響データは、上述のようにアナログの音響信号をＰＣＭ等の手法でデジタルデータ化したものである。
【００１２】
ここで、５つのトラックとして設定する各音響データについて説明する。図２は、各トラックの音響データの信号波形を模式的に示したものである。図２の例では、各音響データが左右（Ｌ・Ｒ）２チャンネルで構成されるステレオ音響データの場合を示している。図２においては、説明の簡略化のため、信号の振幅値がある程度以上のレベルを有する部分、すなわち非無音部については同一の振幅で波形を示し、無音部は波形が無い状態で示している。複数のトラックの楽曲を合成して再生し、なおかつ各トラックについての楽曲を複数から選択可能とする場合、どのような組合せになっても、合成後の楽曲がまともなものとなるようにするために、各音響データは所定の規則に従って作成される必要がある。したがって、各トラックにおいては、どの楽曲を選択しても非無音部と無音部の時間的位置が原則同じになるように構成されている。すなわち、例えばトラック１用として準備される５つの各音響データは、原則同一位置に非無音部（有音部）、無音部を有するものとなるが、音楽的な変化が乏しくなることを避けるため、音楽規則上支障がない範囲で、非無音部と無音部の長さを多少変化させることも行われる。
【００１３】
図２に示したような波形の各音響データを合成して再生すると、まず、最初にトラック１とトラック５からの音が聞こえ、次に、トラック５からの音が消えてトラック３からの音が聞こえ、次に、トラック１とトラック３からの音が消えてトラック２とトラック４からの音が聞こえ、次に、トラック２とトラック４からの音が消えてトラック１とトラック３からの音が聞こえ、次に、トラック３からの音が消えてトラック５からの音が聞こえ、最後にトラック１とトラック５からの音が消えるということになる。
【００１４】
一方、映像データは、上記音響データに記録された音の内容に合わせたものを撮影し、撮影したデータを所定の方式で圧縮符号化する。例えば、各トラックに各国を代表するような楽器の音響データを設定する場合、その国の風景を撮影した映像を映像データとして撮影する。続いて、別々に得られた映像データと音響データを統合して１つの音付映像ファイルとすることになるが、これは、映像データの各フレームに対して、対応する時間相当の音響データブロックを記録することにより行われる。例えば、映像データが３０フレーム／秒、音響データが、４８ｋＨｚステレオでサンプリングされている場合、３２００サンプルを１つの音響データブロックとして１つの映像フレームと対応付けて記録される。すなわち、図１に示したような形態で記録されることになる。
【００１５】
本実施形態においては、さらに、メニュー画面用にデータを加工し、記録している。具体的には、上記２５個の音付映像ファイルから先頭の１０秒を取り出し、メニュー用映像ファイルとデモ再生用音響ファイルを作成している。メニュー用映像ファイルは、上記音付映像ファイルから取り出した１０秒分の映像データを、各映像フレーム単位で２５個合成してメニュー用合成フレームを生成する。これにより、３００枚のメニュー用合成フレームから構成されるメニュー用映像ファイルが得られる。一方、デモ再生用音響ファイルは、上記音付映像ファイルから取り出した１０秒分の音響データブロックを連続して記録することにより得られる。また、映像を合成して再生する際に、その背景とする場合には、別途背景映像用の映像データである背景映像ファイルを用意しておく。背景映像ファイルは、構造的には、１秒３０フレームの通常の映像ファイルである。
【００１６】
（３．システム構成）
図３は、本発明に係る映像信号再生装置の一実施形態を示すシステム構成図である。図３において、１０は音付映像ファイル記憶手段、１１はメニュー用映像ファイル記憶手段、１２はデモ再生用音響ファイル記憶手段、１３は背景映像ファイル記憶手段、２０はファイル選択手段、３０は映像フレーム合成手段、４０は音響データブロック合成手段、５０は再生タイミング制御手段、６０は映像フレーム表示手段、７０は音響出力手段である。
【００１７】
図３において、音付映像ファイル記憶手段１０は、音付映像ファイルを記憶するための記憶装置である。メニュー用映像ファイル記憶手段１１は、メニュー用の映像ファイルを記録した記憶装置である。デモ再生用音響ファイル記憶手段１２は、デモ再生用音響ファイルを記録した記憶装置である。背景映像ファイル記憶手段１３は、背景映像ファイルを記録した記憶装置である。映像フレーム合成手段３０は、音付映像ファイルから映像フレームを抽出して合成する機能を有している。音響データブロック合成手段４０は、音付映像ファイルから音響データブロックを抽出して合成する機能を有している。再生タイミング制御手段５０は、合成された映像フレームおよび音響データブロックの再生タイミングを制御する機能を有している。映像フレーム表示手段６０は、再生タイミング制御手段５０の指示タイミングにしたがって合成された映像フレームをディスプレイのメモリに書き込み画面表示させる機能を有している。音響出力手段７０は、再生タイミング制御手段５０の指示タイミングにしたがって、合成された音響データブロックを音として出力する機能を有している。具体的には、コンピュータに装着された合成音響データブロックをサウンドデバイスに書き込み音響再生させる処理を行う。図３に示したシステムは、現実には、コンピュータおよびその周辺機器等のハードウェア、コンピュータに搭載する専用のソフトウェアにより実現される。
【００１８】
（４．処理動作）
続いて、図３に示したシステムの処理動作について説明する。まず、システムを起動すると、図４に示すようなメニュー画面が表示される。図４において、Ｅは映像を表示するための映像表示領域であり、映像区画Ｅ１１〜映像区画Ｅ５５の２５の区画に分けられて映像が表示されている。Ｃ１〜Ｃ５は映像区画を選択していることを示すカーソルであり、１行に１つ用意されている。すなわち、映像は１行につき１つ選択可能となっており、初期状態では、図４に示すように左端の映像区画が選択されている。このメニュー画面では、図４に示すように２５個の映像が表示されているように見えるが、システムとしては、メニュー用映像ファイルを再生する処理を行っているだけであり、実際には、ディスプレイには１つの映像が１秒３０フレームのペースで表示されている。ただし、もともと異なる２５個の映像フレームを合成したものであるため、見る側から見ると、映像区画ごとに映像の内容が異なっている。この表示処理は、具体的には、映像フレーム表示手段６０が、メニュー用映像ファイル記憶手段１１からメニュー用映像ファイルを抽出し、再生することにより行われる。
【００１９】
このようなメニュー画面上で、利用者は合成再生の対象とする音付映像ファイルを選択することになる。具体的には、利用者が、表示されている映像区画をクリックすることにより行われる。利用者は、各行につき１つの映像区画を選択し、全部で５つの映像区画が選択されることになる。利用者が他の映像区画をクリックすると、クリックされた映像上にカーソルが移動すると共に、その映像区画に対応するデモ再生用音響ファイルが、デモ再生用音響ファイル記憶手段１２から抽出され、音響出力手段７０により再生出力される。すなわち、利用者にしてみると、クリックした映像区画に対応した音を、その場で聴くことができる。上述のように、デモ再生用音響ファイルは１０秒程度の長さであり、利用者が合成再生する対象となる演奏等の内容を確認するために用いられる。このようにして、利用者は、各行につき、１つの映像区画を選択していく。利用者が選択した後の画面の状態を図５に示す。図５の例では、１行目では映像区画Ｅ１２、２行目では映像区画Ｅ２３、３行目では映像区画Ｅ３５、４行目では映像区画Ｅ４１、５行目では映像区画Ｅ５３がそれぞれ選択されたことを示している。
【００２０】
ここで、このようなメニュー画面の構造について説明しておく。メニュー画面は、図６に示すような素材選択ボタン群、メニュー用映像フレーム、カーソル用オーバレイウィンドウの３つのレイヤーで構成されている。そして、素材選択ボタン群の上にメニュー用映像フレームを重ね、さらにその上にカーソル用オーバレイウィンドウを重ねることにより図４、図５に示した映像表示領域における表示が行われることになる。そして、利用者が映像区画上をクリックすると、その下の素材選択ボタンが反応し、カーソルレイヤー上の対応する行に配置されたカーソルが移動することになる。例えば、利用者がメニュー画面上で、図６（ｄ）に示すような３行３列目の映像区画をクリックすると、図６（ｅ）に示すように３行目のカーソルが１列目から３列目に移動することになる。この際、選択された映像区画に対応したデモ再生用音響ファイルが再生されることになる。５つの映像区画が選択された状態で、再生ボタンをクリックすると、選択された映像区画に対応する音付映像ファイルが合成されて再生されることになる。
【００２１】
以下、選択された音付映像ファイルの合成再生について説明する。合成再生指示が行われると、映像フレーム合成手段３０は、背景映像ファイル記憶手段１３に記憶された背景映像ファイルから背景映像フレームを抽出するとともに、選択された５つの各音付映像ファイルから先頭の映像フレームを抽出し、背景映像フレームの上に重ねて合成映像フレームを生成する。この際、映像フレームが圧縮されている場合には、映像フレームを抽出した後に復号を行い、合成映像フレームに合成する処理を行う。合成された映像フレームは、映像フレーム表示手段６０により画面上に表示されることになる。このときの合成映像表示画面の様子を図７に示す。図７に示すように、選択された映像が合成されて表示されることになる。この際、映像フレーム合成手段３０は、前記選択された各音付映像ファイルの映像フレームに対して所定の画素アドレスだけオフセットをかけて一つの合成映像フレームに合成する処理を行い、選択された５つの映像フレームが互いに重ならないようにして合成映像フレームを作成している。
【００２２】
一方、音響データブロック合成手段４０は、選択された５つの各音付映像ファイルから、先頭の映像フレームに対応する音響データブロックを抽出し、合成する。具体的には、音付映像ファイルの映像フレームに添付されている音響データブロックに対して、同一時刻に対応する値の総和を算出することにより、１つの合成音響データブロックを作成する。そして、再生タイミング制御手段５０による指示にしたがって、合成音響データブロックを音響出力手段７０が音として再生する。以上のような映像フレーム合成手段３０、映像フレーム表示手段６０、音響データブロック合成手段４０、音響出力手段７０による処理が、再生タイミング制御手段５０の指示にしたがって、音付映像ファイルの全フレームが処理されるまで繰り返し行われる。これにより、図７に示した合成映像表示画面には、合成映像が変化して表示され、対応する音響データが音として再生されることになる。再生タイミング制御手段５０は、映像フレームの間隔に対応した１／３０秒間隔で映像フレームの合成、表示処理、音響データブロックの合成、出力処理を実行するよう制御することになる。上記のように、選択された音付映像ファイルの映像を合成して表示させるようにするため、ＣＰＵの処理能力が低い場合であっても、各音付映像ファイル間において、ある音付映像ファイルが他の音付映像ファイルに比べて表示処理が遅れるということがなくなる。したがって、各音付映像ファイルにフレームと対応づけて記録された音響データブロックについても、各音付映像ファイル間でずれることなく、同時に再生されることになる。そのため、各音付映像ファイルに合奏を構成する各楽器による演奏が記録されている場合に、特に効果がある。
【００２３】
また、本システムでは、映像フレームに音響データブロックを対応づけて記録した音付映像ファイルを対象として処理を行っているため、利用者は、コンピュータで汎用的に扱われているフォーマットの音付映像ファイルさえ用意して、本システムの音付映像ファイル記憶手段１０に記憶させておけば、本システムで利用することが可能となる。すなわち、利用者としては、素材として音付映像ファイルを準備するだけで、合成再生する複数の音付映像ファイルを随時入れ替えることにより、再生する映像および音楽コンテンツにバリエーションを与えることが可能になり、長時間にわたって変化する環境映像およびＢＧＭを提供することも可能になる。
【００２４】
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限定されず、種々の変形が可能である。例えば、上記実施形態では、選択された映像を合成して表示する際、背景映像とともに合成するようにしたが、背景映像を用いないようにしても良い。また、上記実施形態では、音付映像ファイル選択用のメニュー画面を表示する際、複数の映像を合成したメニュー用映像フレームファイルを作成しておき、これを表示するようにしたが、各映像フレームをそのまま表示させるようにしても良い。例えば、上記の例では、２５個の映像が独立して処理されて表示されることになるので、ＣＰＵの処理能力によっては、最後の方で処理される映像については、処理が間に合わなくなり、先頭の方で処理される映像とのズレが生じる場合がある。しかし、メニューの表示の際には、デモ再生用音響データの再生は、映像フレームと同期させることなく独立して行っているので、表示されている映像間のズレは問題がないためである。
【００２５】
また、上記実施形態では、音響データについては、圧縮を行わない方式としたが、圧縮を行ったものを音付映像ファイルに各映像フレームと対応付けて記録するようにしても良い。この場合、音響出力手段７０は、圧縮符号化方式に対応して、復号して、再生する機能が必要となる。ただし、音響データは、映像データに比べてデータ量が小さいため、大量の映像フレームを扱う本システムにおいては、あまり問題にならない。
【００２６】
また、上記実施形態では、映像フレームを合成して再生する際、合成以外は特に加工をせず、図７に示すようにそのまま並べて表示したが、各映像についてマスクする等の加工を行うようにしても良い。この場合、音付映像ファイルの映像フレームには、画素ごとに上書きをするか否かを識別するためのマスクデータを添付しておく。そして、映像フレーム合成手段３０は、合成映像フレームを合成する際、選択された各音付映像ファイルの映像フレームの一部の画素に対しては、そのマスクデータに基づいて、合成映像フレームに合成しない制御を行うようにする。
【図面の簡単な説明】
【００２７】
【図１】本発明で合成再生の対象とする音付動画ファイルの構造を示す図である。
【図２】合成対象とする各音響信号の信号波形を示す図である。
【図３】本発明に係る音付動画再生システムの一実施形態を示す機能ブロック図である。
【図４】本システムにおいて、合成再生する対象を選択するためのメニュー画面の初期状態を示す図である。
【図５】利用者により合成再生の対象が選択された状態のメニュー画面の状態を示す図である。
【図６】メニュー画面の映像表示領域を構成する各レイヤーの構造を示す図である。
【図７】選択された動画を合成して表示した状態を示す図である。
【符号の説明】
【００２８】
１０・・・音付映像ファイル記憶手段
１１・・・メニュー用映像ファイル記憶手段
１２・・・デモ再生用音響ファイル記憶手段
１３・・・背景映像ファイル記憶手段
２０・・・ファイル選択手段
３０・・・映像フレーム合成手段
４０・・・音響データブロック合成手段
５０・・・再生タイミング制御手段
６０・・・映像フレーム表示手段
７０・・・音響出力手段
【図１】
2005318210.tif 000003
【図２】
2005318210.tif 000004
【図３】
2005318210.tif 000005
【図４】
2005318210.tif 000006
【図５】
2005318210.tif 000007
【図６】
2005318210.tif 000008
【図７】
2005318210.tif 000009