(57)【特許請求の範囲】
【請求項１】
複数の情報ファイルからなるマルチメディア番組の進行を記述するプログラムシーケンスファイルを生成するシステムにおいて、
主たる再生ファイル及び、前記主たる再生ファイルと共に再生する副再生ファイルをそれぞれ指定する指定手段と、
前記指定手段により指定された副再生ファイルのうち再生時間が最も長いものを選択し、この選択された副再生ファイルの再生時間を前記主たる再生ファイルの再生時間として設定する設定手段と、
前記指定手段により指定された主たる再生ファイルと副再生ファイル及び、前記設定手段により設定された再生時間とに基づいて前記プログラムシーケンスファイルを作成する手段と、
前記指定手段により指定された副再生ファイルのうち再生時間が最も長いものを選択し、この選択された副再生ファイルの再生時間を報知する報知手段とを有するマルチメディア番組編集システム。
【請求項２】
前記主たる再生ファイルの再生時間をアニュアル指定する手段を備え、前記設定手段は、前記選択された副再生ファイルの再生時間の代わりに前記マニュアル指定された時間を前記主たる再生ファイルの再生時間として設定することを特徴とする請求項１記載のマルチメディア番組編集システム。
【請求項３】
前記設定手段は自動設定の入力に応じて、前記選択された副再生ファイルの再生時間を前記主たる再生ファイルの再生時間として設定することを特徴とする請求項１記載のマルチメディア番組編集システム。
【請求項４】
前記主たる再生ファイルが静止画ファイルであり、前記副再生ファイルとして動画像情報ファイル及び音声情報ファイルを指定可能であることを特徴とする請求項１〜３のいずれかに記載マルチメディア番組編集システム。
【請求項５】
前記報知手段は前記選択された副再生ファイルの再生時間の情報をディスプレイ上に表示することを特徴とする請求項１〜４のいずれかに記載のマルチメディア番組編集システム。
【請求項６】
複数の情報ファイルからなるマルチメディア番組の進行を記述するプログラムシーケンスファイルを生成するシステムにおいて、
主たる再生ファイル及び、前記主たる再生ファイルと共に再生する副再生ファイルをそれぞれ指定する指定手段と、
前記指定手段により指定された副再生ファイルのうち再生時間が最も長いものを選択し、前記主たる再生ファイルの自動設定の入力に応じて、この選択された副再生ファイルの再生時間を前記主たる再生ファイルの再生時間として設定する設定手段と、
前記指定手段により指定された主たる再生ファイルと副再生ファイル及び、前記設定手段により設定された再生時間とに基づいて前記プログラムシーケンスファイルを作成する手段とを備えるマルチメディア番組編集システム。
【請求項７】
複数の情報ファイルからなるマルチメディア番組の進行を記述するプログラムシーケンスファイルを生成する方法において、
主たる再生ファイル及び、前記主たる再生ファイルと共に再生する副再生ファイルをそれぞれ指定し、
前記指定された副再生ファイルのうち再生時間が最も長いものを選択し、この選択された副再生ファイルの再生時間を前記主たる再生ファイルの再生時間として設定し、
前記指定された主たる再生ファイルと副再生ファイル及び、前記設定された再生時間とに基づいて前記プログラムシーケンスファイルを作成すると共に、
前記指定された副再生ファイルのうち再生時間が最も長いものを選択し、この選択された副再生ファイルの再生時間を報知することを特徴とするマルチメディア番組編集方法。
【請求項８】
複数の情報ファイルからなるマルチメディア番組の進行を記述するプログラムシーケンスファイルを生成する方法において、
主たる再生ファイル及び、前記主たる再生ファイルと共に再生する副再生ファイルをそれぞれ指定し、
前記指定された副再生ファイルのうち再生時間が最も長いものを選択し、前記主たる再生ファイルの自動設定の入力に応じて、この選択された副再生ファイルの再生時間を前記主たる再生ファイルの再生時間として設定し、
前記指定された主たる再生ファイルと副再生ファイル及び、前記設定された再生時間とに基づいて前記プログラムシーケンスファイルを作成することを特徴とするマルチメディア番組編集方法。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は静止画、文字、動画、音声などの複数の意志伝達媒体を構成要素とするファイルを用いてマルチメディア番組を作成するマルチメディア番組編集システム及び方法に関するものである。
【０００２】
【従来の技術】
以下、一般的なマルチメディア番組の作成方法について順を追って説明する。
【０００３】
（１）素材の作成・収集
静止画、文字、動画、ナレーション音声、ＢＧＭ（バック・グランド・ミュージック）などの素材が、スキャナー、キーボード、ビデオカメラ、マイクロホンや音声用Ａ／Ｄ変換器等から入力され、これらを大容量記憶体、特に一般的にはハードディスクに個別に蓄積する。
【０００４】
（２）コンテの作成
上述（１）の工程において入手した素材（ファイル）を組み合わせて、例えば、どの画像にどのナレーションを組み合わせ、どのような順番にて提示するかを考え、この考えを１つの番組（プログラム）として絵コンテ風にまとめて、各番組の開始時点からのラップタイムと共に記載しておく。
【０００５】
（３）プログラムシーケンスファイル（シナリオファイル）の作成
工程（２）において完成した絵コンテを見ながら、番組の進行を制御するプログラムシーケンスをコーディングし、プログラムシーケンスファイルを作成する。このプログラムシーケンスファイルはこのマルチメディア番組の再生時において、マルチメディア再生システムのシーケンサにより読み込まれ、番組の再生を司ることになる。
【０００６】
即ち、このプログラムシーケンスファイルは再生時に、例えばどの順番でどの画像を表示するか、どの音声を再生するか等を認識して各番組を再生する際に用いられることになる。
【０００７】
（４）パッケージング
最終的に目的とする番組が完成し、実際にハードディスクから再生して確認しした後、上記プログラムシーケンスファイル及びこのプログラムシーケンスファイルで使用している静止画、文字、動画、音声等の素材のファイルのみパケットやセクター等のブロック単位でインターリーブしながら、ハードディスクに書き込み、最終的に目的とする番組が完成し、実際にハードディスクから再生して確認した後、この番組をＭＯＤ，ＣＤＲＯＭ等の小容量記憶体に書き込む。特に、ＣＤＲＯＭにプレスする場合には費用も時間もかかるので、一度別の記憶体、例えばライトワンスのプルーフディスクを作成し、この記憶体を用いて実際に番組の再生を行い、ＣＤＲＯＭからも確実に番組が再生できることを確認した後、実際にＣＤＲＯＭへのプレスを行うことになる。
【０００８】
【発明が解決しようとしている課題】
上述の如きシステムにおいてパッケージメディアの作成を行おうとした場合には、上述した作成手順のうち、（２）のコンテの作成と、（３）のプログラムシーケンスファイル（シナリオファイル）の作成であるものと認められる。ここで、このような編集作業を短時間で実行していく場合には、静止画、文字、動画、ナレーション音声、ＢＧＭ等の一つ一つの素材ファイルの時間的な長さを明確にしておくことが必要となる。例えば、上述の手順（２）におけるコンテの作成時には編集者は視覚的な効果を含めた全体のシナリオを考慮しながら、夫々の素材ファイルの再生時間を一つ一つの素材ファイルの時間的な長さを元に決定していく必要がある。この作業には大変な熟練が必要であることは言うまでもない。
【０００９】
また、例えば一枚の静止画像の解説のためのナレーションとして五か国の言語が用意されている場合には、夫々の言語のナレーション時間を基準にその静止画像の再生時間を決定した場合、最終的な番組としては各言語毎に違った５本の番組が必要になっていた。同様に、主たる再生情報たる静止画像を解説するためのハメコミ動画として３つの動画が用意されている場合には各動画毎に違った３本の番組が必要になっていた。これは編集作業が各言語本数分、または、各ハメコミ動画本数分必要であるということになり、その作業量は膨大となっていた。
【００１０】
斯かる背景下において、本件発明の目的はマルチメディア番組を作成・編集するに際し、その手間を大幅に削減することのできるマルチメディア番組編集システム及び方法を提供する処にある。
【００１１】
【課題を解決するための手段】
前述の如き目的下において、本発明においては、複数の情報ファイルからなるマルチメディア番組の進行を記述するプログラムシーケンスファイルを生成するシステムにおいて、主たる再生ファイル及び、前記主たる再生ファイルと共に再生する副再生ファイルをそれぞれ指定する指定手段と、前記指定手段により指定された副再生ファイルのうち再生時間が最も長いものを選択し、この選択された副再生ファイルの再生時間を前記主たる再生ファイルの再生時間として設定する設定手段と、前記指定手段により指定された主たる再生ファイルと副再生ファイル及び、前記設定手段により設定された再生時間とに基づいて前記プログラムシーケンスファイルを作成する手段と、前記指定手段により指定された副再生ファイルのうち再生時間が最も長いものを選択し、この選択された副再生ファイルの再生時間を報知する報知手段とを有する構成とした。
【００１２】
【実施例】
以下、本件発明の実施例について、図面を参照して説明する。
【００１３】
図２は本発明の実施例におけるシステムの全体構成を示すブロック図、図１はパッケージメディアの作成（編集）を行う際の図２のシステムの動作を説明するためのフローチャートである。
【００１４】
図１に於て、３９はパッケージングされた番組をそのシナリオ（プログラムシーケンスファイル）と共に保存するＭＯ，ＣＤＲＯＭ等のパッケージメディア、４０は主ファイルとしてのメイン静止画像、文字、副ファイルととしてのハメコミ静止画像、ハメコミ動画、ナレーション音声、ＢＧＭ等のマルチメディア番組構成要素ファイルが記憶されているハードディスク等の記憶体、４１はデータバス６０及びコントロールバス６１と記憶体４０との間でデータの交換を行うＳＣＳＩインターフェース、４２はデータバス６０に接続され、圧縮蓄積されていた静止画像データをデコードする静止画デコーダ、４３は同じく文字情報をデコードする文字デコーダ、４４は同じく動画信号をデコードする動画デコーダ、４５は各デコーダ４２，４３，４４にて再生された画像情報を合成したりモニタ５７に繰り返し表示するためのフレームメモリ、４６はフレームメモリ４５の出力をアナログ信号に変換するＤ／Ａ変換器、４７はシステム全体のデータの流れを制御するマイクロプロセッシングユニット（ＭＰＵ）、４８はＢＧＭ音声用Ｄ／Ａ変換器、４９はナレーション音声用Ｄ／Ａ変換器、５０はＲＳ２３２Ｃインターフェース、５１は各Ｄ／Ａ変換器４８，４９の出力する音声信号を合成するミキサー、５５はオーデイオアンプ、５６はスピーカ、５７はモニタ、５８はオペレータからシステムへの入力端末としてのキーボード、５９は同様に入力端末としてのマウスである。
【００１５】
以下、図１のフローチャートを参照して、図２のシステムにおいて、プログラムシーケンスファイル（シナリオ）を作成するための動作について説明する。
【００１６】
本例の説明のために、まず、ハードディスク４０ないに表１に示すようなマルチメディア番組構成要素ファイルが予め記憶されているものと仮定する。この表１から明らかなようにマルチメディア構成要素ファイルの種類はファイル名の頭から数文字で決まっており、一つ一つのファイルの中身の違いは１，２などの添字にて区別している。また、各ファイルの再生に要する時間（再生時間）は「；」に続いて秒単位で示されている。
【００１７】
尚、図２のシステムにおいてオペレータからシステムへのコミュニケーションは、図２におけるキーボード５８もしくはマウス５９によって入力し、ＲＳ２３２インターフェース５０を介してＭＰＵ４７に入力情報が伝達されることによって達成される。また、システムからオペレータへはＭＰＵ４７から各復号回路４２，４３，４４を制御し、かつ再生する画像をフレームメモリ４５、画像用Ｄ／Ａ変換器４６を介してモニタ５７によって表示することにより、オペレータによって動作の確認ができるようにしている。
【００１８】
【表１】
0003554021.tif 000002
【００１９】
図１のステップＳ１は主たる表示画像を選択するステップであり、まず、ＭＰＵ４７はＳＣＳＩインターフェース４１に画像ファイルの出力要求を出し、ハードディスク４０に記憶されている複数の画像ファイルをＳＣＳＩインターフェースを介し、一旦、ＭＰＵ４７へ読み込む。このＭＰＵ４７内においては縮小処理、アドレス処理が行われて、複数の画像ファイルに対応する画像のマルチ画面として静止画デコーダ４２に入力され、復号された静止画信号はフレームメモリ４５に記憶される。このフレームメモリ４５から読み出された信号は画像用Ｄ／Ａ変換器４６を介してモニタ５７に供給され、ハードディスク４０内に蓄積されている複数の静止画像ファイルの内容を示す上記マルチ画面が表示される。
【００２０】
オペレータはモニタ５７上のマルチ画面から、最初に出力したい画像をマウス５９にて選択する。選択された画像ファイル名はＭＰＵ４７ないのプログラムシーケンスファイルに書き込まれる。ここでは、『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  １  』なる素材ファイルが選択されたものとする。
【００２１】
次に、図１のステップＳ２において、上記ステップＳ１において選択したメイン画像と同時に再生したいマルチメディア構成要素ファイルがＳＣＳＩインターフェース４１を介して、一旦、ＭＰＵ４７へ読み込まれる。このＭＰＵ４７内にてマルチメディア構成要素ファイルのリストがテキストとして作成された後、文字デコーダ４３へ出力され、フレームメモリ４５、画像用Ｄ／Ａ変換器４６を介してモニタ５７上にマルチメディア番組構成要素の選択用リストとして出力される。オペレータはキーボード５８から、マルチメディア番組構成要素ファイルの名称を入力する。ここで、ナレーションや文字など、解説として二か国語以上の言語が別々のナレーションファイル、文字ファイルとして存在している場合は、プログラムシーケンスファイル上では併記させておき、再生時にオペレータに選択させる手法をとる。従って、ここでは、メイン画像と組み合わせられるべきであるすべての言語のナレーションファイル名、文字ファイル名を入力する。即ち、ステップＳ３にて全ての選択されるべきファイル名が入力されたか否かを見て、未入力のファイルがある場合にはステップＳ２に戻る。
【００２２】
選択されたマルチメディア構成要素ファイル名はＭＰＵ４７内のプログラムシーケンスファイルの１行目へカンマ「，」をつけて追加される。ここでは『ＢＧＭ  ；２５．００』が選択されたものとする。従って、この時点でのプログラムシーケンスファイルは表２のようになる。
【００２３】
【表２】
0003554021.tif 000003
【００２４】
次に、番組上、次に再生されるメイン画像開始時間の編集を行う。まず、図１のステップＳ４にて先のＳ２，Ｓ３において選択したマルチメディア構成要素が存在するか否かを調べる。つまり、ステップＳ２，Ｓ３の処理で、オペレータが何らかのマルチメディア構成要素を選択していれば、図２のＭＰＵ４７が『正』の判断をし、図１のステップＳ２にてメイン画像と同時に再生したいマルチメディア構成要素はない旨の入力をしていれば『否』の判断がなされる。
【００２５】
この実施例では「ＢＧＭ  ；２５．００」を同時に再生したいマルチメディア要素として入力しているため、『正』の判断がなされ、ステップＳ５に移行する。このステップＳ５においては、ＭＰＵ４７が同時に再生するマルチメディア構成要素が複数存在する場合、各マルチメディア構成要素ファイルの；で区切られた左側に記述されているファイルの再生時間をチェックしていき、一つのメイン画像再生中に同時に再生するマルチメディア構成要素ファイルのうち、最も再生時間の長いファイルを抽出する。
【００２６】
ここでは、同時に再生するマルチメディア番組構成要素ファイルが存在せず、「ＢＧＭ  ；２５．００」というファイル一つのみであるため、２５秒という時間がそのまま抽出される。次に、図１のＳ６の処理へ移行する。ステップＳ６においてはＭＰＵ４７が上記ステップＳ５にて抽出したマルチメディア番組構成要素の最大時間を推奨メイン画像表示時間として記憶する。次に、ステップＳ８においてＭＰＵ４７から文字デコーダ４３へこの情報を文字情報として供給し、この情報はフレームメモリ４５、画像用Ｄ／Ａ変換器４６を介してモニタ５７へ供給され、モニタ５７において上述の推奨画像表示時間が表示される。
【００２７】
ここで、オペレータはこの表示時間を確認し、推奨画像表示時間に対して満足しない場合にはキーボード５８から、マニュアルで表示時間を指定する旨の入力を行う。ここでは、マニュアルで入力する場合を例にとって説明し、この場合にはステップＳ１１に進み、メイン画像の表示時間をキーボード５８から入力する。ここでは、ＢＧＭは番組の最初から最後まで再生し続ける必要があることから、ＢＧＭのファイルの長さを無視し、「ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  １  」の再生時間を優先させるため、５秒を入力する。従って、この時点でのＭＰＵ４７内のプログラムシーケンスファイルの内容は表３の様になっている。
【００２８】
次に、ステップＳ１２において、同様にモニタ５７に追加したいメイン画像があるか否かの問いかけを表示し、オペレータに確認する。ここで、ステップＳ１２において、オペレータが追加したいメイン画像がある旨のの入力をしたとすると、再びステップＳ１に戻る。また、追加したいメイン画像がない旨の入力をすると処理を終了する。
【００２９】
【表３】
0003554021.tif 000004
【００３０】
ステップＳ１において次のメイン画像を選択する。ここで、オペレータは上述のマウス５９により『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ２  』なる静止画ファイルを選択したものとする。次に、オペレータはこの『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ２  』なる静止画ファイルと同時に再生するマルチメディア番組構成要素として、『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ２  』なる静止画の解説が納められているナレーションファイル『ｎａｒａｔｉｏｎ  ２．Ｊａｐａｎｅｓｅ  ；  ４．００』及び『ｎａｒａｔｉｏｎ  ２．Ｅｎｇｌｉｓｈ  ；  ５．００  』をキーボード５８により選択したものとする。この時点での、ＭＰＵ４７ないのプログラムシーケンスファイルを表４に示す。
【００３１】
【表４】
0003554021.tif 000005
【００３２】
この場合も、ステップＳ４にてメイン画像と同時に再生すべきマルチメディア番組構成要素が存在すると判断され、ステップＳ５にて上記２つのマルチメディア番組構成要素『ｎａｒａｔｉｏｎ  ２．Ｊａｐａｎｅｓｅ  ；  ４．００』及び『ｎａｒａｔｉｏｎ  ２．Ｅｎｇｌｉｓｈ  ；  ５．００  』中の再生時間の長い方が推奨メイン画像表示時間として選択し、即ち、５秒が選択され、この時間を推奨メイン画像表示時間として表示する。
【００３３】
次に、ここではオペレータがこの表示時間でよい意志を入力したとすると、ステップＳ１０に進み、自動的に上記５秒がＭＰＵ４７中のプログラムシーケンスファイルの表示継続時間として登録される。この時のプログラムシーケンスファイルは表５に示す通りである。
【００３４】
【表５】
0003554021.tif 000006
【００３５】
次に、図１のフローチャートにおけるステップＳ７に関する動作について説明する。表５に示すプログラムシーケンスファイルの形成後、ステップＳ１に戻り、更に表示したいメイン画像が存在することを入力し、『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ３  』なる静止画ファイルを選択したとする。次に、ステップＳ２，Ｓ３においては、この『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ３  』なる静止画ファイルと共に表示したいマルチメディア番組構成要素は存在しないことを入力し他とする。この時点でのプログラムシーケンスファイルの状態は表６に示す通りである。
【００３６】
ここで、ステップＳ４では、同時に再生するマルチメディア番組構成要素が存在しないことを確認し、ステップＳ７に移行する。
【００３７】
【表６】
0003554021.tif 000007
【００３８】
ステップＳ７においては、推奨するメイン画像の表示時間の決定の元になるマルチメディア番組構成要素が存在しないので、デフォルト値（最小表示時間）の３秒を推奨メイン画像表示時間とする。次に、ステップＳ８でこの推奨時間を表示し、ステップＳ９にて手動を選択し、更に、ステップＳ１１にてキーボード５８により５秒を入力したものとする。
【００３９】
そして、次に再生するメイン画像ファイルとして、『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ４  』を選択し、更に、この静止画ファイル『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ４  』と共に表示するマルチメディア番組構成要素として、この静止画に係わる動画ファイル『ｖｉｄｅｏ  ４  』を選択し、この動画ファイルの再生時間５秒をもって、上記静止画『ｓｔｉｌｌ  ｐｉｃｔｕｒｅ  ４  』の再生時間とし、処理を終了するものとする。この時のＭＰＵ４７内のプログラムシーケンスファイルは表７の通りである。
【００４０】
本実施例においては、上述の様に、メインとなる静止画ファイルと同時に再生するサブファイルの再生時間中の最大の再生時間を推奨再生時間として表示するので、プログラムシーケンスファイルを決定する際のラップ時間の設定作業が容易となった。また、必要に応じて、このラップ時間を自動的に決定し得る構成としたので、この点でも作業の能率化を図ることができた。
【００４１】
なお、上述の実施例においては静止画ファイルをメイン再生ファイルとし、動画及び音声ファイルをサブ再生ファイルとしたが、動画をメインファイル、音声や静止画をサブファイルとすることも勿論可能で、同様に本件発明を適用して作業の能率化を図ることができる。
【００４２】
【表７】
0003554021.tif 000008
【００４３】
【発明の効果】
以上説明したように、本発明においては、前記主たる再生ファイルと共に再生する副再生ファイルをそれぞれ指定すると共に、指定された副再生ファイルのうち再生時間が最も長いものを選択し、この選択された副再生ファイルの再生時間を報知するので、編集者の負荷を大幅に削減することができる。また、本願の他の発明においては、指定手段により指定された副再生ファイルのうち再生時間が最も長いものを選択し、主たる再生ファイルの自動設定の入力に応じて、この選択された副再生ファイルの再生時間を主たる再生ファイルの再生時間として設定するので、同様に、編集者の負荷を削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施例としての、マルチメディア編集システムの動作例を示すフローチャートである。
【図２】本発明の実施例に係る、マルチメディア蓄積システムの全体構成を示すブロック図である。
【符号の説明】
３９  ＭＯ，ＣＤＲＯＭ（パッケージメディア）
４０  ハードディスク
４１  ＳＣＳＩインターフェース
４２  静止画デコーダ
４３  文字デコーダ
４４  動画デコーダ
４５  フレームメモリ
４６  画像用Ｄ／Ａ変換器
４７  マイクロプロセッシングユニット（ＭＰＵ）
４８  ＢＧＭ用Ｄ／Ａ変換器
４９  ナレーション音声用Ｄ／Ａ変換器
５０  ＲＳ２３２Ｃ  インターフェース
５１  ミキサー
５５  オーデイオアンプ
５６  スピーカ
５７  モニター
５８  キー
５９  マウス
【図１】
0003554021.tif 000009
【図２】
0003554021.tif 000010