(57)【特許請求の範囲】
【請求項１】
映像や音声のメディア情報を複数保持する情報保持手段と、
プレゼンテーションで提示するメディア情報、メディア情報の提示位置、および提示時間を記述したシナリオファイルを保持するシナリオ保持手段と、
前記シナリオファイルに記述された所定の音声のメディア情報から文字列を認識して、当該文字列のテキストデータを作成する音声認識手段と、
前記文字列が発せられる時間領域を検出する時間領域検出手段と、
前記テキストデータと、前記時間領域とを対応付けて保持するマルチメディア関連情報保持手段と、
前記テキストデータを表示する表示手段と、
編集範囲を特定する前記テキストデータを指示する指示手段と、
前記時間領域において再生される所定の編集評価対象となるメディア情報について時間変化に関する属性情報を判定するマルチメディア属性判定手段と、
前記指示されたテキストデータに対応する前記時間領域について、当該時間領域に再生される前記編集評価対象となるメディア情報についての前記属性情報に基づいてシナリオファイルを編集するシナリオ編集手段と
を有することを特徴とするマルチメディア編集装置。
【請求項２】
請求項１記載のマルチメディア編集装置において、
前記マルチメディア関連情報保持手段は、前記時間領域に対して、当該時間領域において再生される前記編集評価対象となるメディア情報についての前記属性情報を対応付けて保持することを特徴とするマルチメディア編集装置。
【請求項３】
請求項１または２に記載のマルチメディア編集装置において、
前記マルチメディア属性判定手段は、映像のメディア情報について、一定時間毎の映像の変化を検知することにより、動画であるか静止画であるかの属性情報を判定することを特徴とするマルチメディア編集装置。
【請求項４】
請求項１または２に記載のマルチメディア編集装置において、
前記シナリオファイルには、前記メディア情報に関する前記属性情報が含まれており、
前記マルチメディア属性判定手段は、前記シナリオファイルに基づいて前記メディア情報の属性情報を判定することを特徴とするマルチメディア編集装置。
【請求項５】
請求項１乃至４のいずれかに記載のマルチメディア編集装置において、
前記音声認識手段は、音声のメディア情報中の連続した有音部分を単位としてテキストデータに変換し、
前記マルチメディア関連情報保持手段は、前記テキストデータを単位として前記時間領域と対応付けることを特徴とするマルチメディア編集装置。
【請求項６】
請求項１乃至５のいずれかに記載のマルチメディア編集装置において、
前記シナリオ編集手段は、前記編集評価対象となるメディア情報のすべてが時間変化しない属性情報を有していれば、すべてのメディア情報の前記時間領域の部分を再生しないようにシナリオファイルを編集することを特徴とするマルチメディア編集装置。
【請求項７】
請求項１乃至５のいずれかに記載のマルチメディア編集装置において、
前記シナリオ編集手段は、前記編集評価対象となるメディア情報の少なくとも一つが時間変化するという属性情報を有していれば、前記テキストデータに対応する音声部分のみについて再生しないようにシナリオファイルを編集することを特徴とするマルチメディア編集装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、マルチメディアを用いたプレゼンテーションの編集、加工を支援するマルチメディア編集装置に関する。
【０００２】
【従来の技術】
従来、マルチメディアを用いたプレゼンテーションを編集、加工する際には、すでに作成したプレゼンテーションを時系列に再生して、編集、加工の必要のある部分を検出し、その部分と同時に並行して再生されているマルチメディア情報が静止画であるか動画であるかなどの属性を考慮しながら編集を行っていた。
マルチメディアに関連する発明として、特開平６−１７６５４２号公報には、台本と音声をテキストに変換したものとの対応付けを行い、台本と映像とを関係づけることにより所定の映像部分を検索する方法が記載されている。
【０００３】
また、特開平５−６７１８４号公報には、セグメントで管理されているマルチメディアを削除する際に、あらかじめユーザがメディア同士の関連付けおよび属性（時刻シフト可否、切断可否、圧縮可否）の設定を行った情報を参照して、削除するマルチメディアに関連するメディアの属性を調べ、その属性に応じた編集処理を行う装置が記載されている。さらに、特開平７−１８２３６５号公報には、音声認識により会議中の会話からキーワードを抽出ておき、重要なシーンをキーワードで検索して会議録を作成する方法が記載されている。
【０００４】
【発明が解決しようとする課題】
マルチメディアを用いたプレゼンテーションを編集、加工するために編集個所を特定する場合には、作成したプレゼンテーションを時系列に再生して、編集、加工の必要のある部分を検出し、その部分の開始点と終了点とをマルチメディアデータの巻き戻し、早送り等を繰り返しながら特定するために、非常に長い時間を要してしまうという問題が生じる。また、編集部分を特定した後の編集作業も編集部分における複数のマルチメディア情報の属性を考慮しながら編集者が編集する必要があるために、編集者に非常に大きな負担をかけるという問題が生じる。
【０００５】
これに対して、特開平６−１７６５４２号公報に記載された方法によると、所定の映像部分を容易に検索できる。しかしながら、この公報には、映像を検索した後の編集処理に関してはまったく記述がなく、編集者の手間を軽減することができないという問題が生じる。また、検索できる映像部分は、台本と対応付けられている部分だけなので、台本に記載されていない発話に関する部分については検索することができないという問題が生じる。
【０００６】
また、特開平５−６７１８４号公報に記載された装置によると、編集段階において編集者に手間はかからないが、この装置により編集を行うためには、編集の前に、ユーザが映像などのメディアを再生しながら他のメディアと関連付けし、さらにメディアの属性を設定するということを行わなければならず現実的ではない。また、特開平７−１８２３６５号公報に記載された方法によると、キーワードによってシーンの検索を容易に行うことができるが、その後の編集には何ら寄与しないので、編集者の手間を軽減することができない。また、キーワードとなった部分以外については、検索することができないという問題が生じる。
【０００７】
本発明の目的は、プレゼンテーションの編集を短時間に、容易に、且つ適切に行うことのできるマルチメディア編集装置を提供することにある。
【０００８】
【課題を解決するための手段】
上記目的は、映像や音声のメディア情報を複数保持する情報保持手段と、プレゼンテーションで提示するメディア情報、メディア情報の提示位置、および提示時間を記述したシナリオファイルを保持するシナリオ保持手段と、シナリオファイルに記述された所定の音声のメディア情報から文字列を認識して、当該文字列のテキストデータを作成する音声認識手段と、文字列が発せられる時間領域を検出する時間領域検出手段と、テキストデータと、時間領域とを対応付けて保持するマルチメディア関連情報保持手段と、テキストデータを表示する表示手段と、編集範囲を特定する前記テキストデータを指示する指示手段と、時間領域において再生される所定の編集評価対象となるメディア情報について時間変化に関する属性情報を判定するマルチメディア属性判定手段と、指示されたテキストデータに対応する時間領域について、当該時間領域に再生される編集評価対象となるメディア情報についての属性情報に基づいてシナリオファイルを編集するシナリオ編集手段とを有することを特徴とするマルチメディア編集装置によって達成される。
【０００９】
【発明の実施の形態】
本発明の一実施の形態によるマルチメディア編集装置について説明する前に、マルチメディアを使用したプレゼンテーションについて簡単に説明する。図１は、マルチメディアを使用したプレゼンテーションの例を示している。
このプレゼンテーションにおいては、ディスプレイ画面１に、プレゼンテーションを行っている人（プレゼンター）の様子を表わしている動画像２や、プレゼンテーションにおいて説明される商品の動画４や、商品に関するグラフの静止画３が表示され、これ共に、スピーカ５からプレゼンターの説明の音声６が出力される。このように、マルチメディアを使用したプレゼンテーションによると、あたかも実際の会議室などでプレゼンテーションを聞いているかのような効果が得られる。
【００１０】
このようなマルチメディアを使用したプレゼンテーションにおいては、再生される映像２、映像３、映像４や音声６等はそれぞれマルチメディアデータ（メディア情報）として記憶され、これらメディア情報は、再生するメディア情報、メディア情報の再生位置、再生するタイミング、再生時の効果などが記述されたシナリオファイルに基づいて再生される。
シナリオファイルはプレゼンターにより予め作成され、たとえば、ネットワークなどを介した通信手段により各視聴者の情報処理装置に配布される。
【００１１】
本発明に係るマルチメディア編集装置は、上記のようなシナリオファイルを編集するための装置である。以下、本発明の一実施の形態によるマルチメディア編集装置を図２乃至図６を用いて説明する。まず、本発明の一実施の形態によるマルチメディア編集装置の概略の構成を図２を用いて説明する。
【００１２】
図２において、マルチメディア情報蓄積部１３は、映像、音声等の複数のメディア情報を蓄積する。シナリオ保持部１１は、プレゼンテーションに用いるメディア情報、そのメディア情報の再生時の位置、再生のタイミング（時刻、時間等）、再生時の効果等が記述されたシナリオファイル１１ａを保持する。
シナリオ解析部６は、シナリオファイル１１ａに記述された内容を解釈して、シナリオファイル１１ａに記述されたメディア情報をマルチメディア情報蓄積部１３から取り出して、記述されたタイミングおよび記述された処理方法等にしたがって、メディア情報が所定の音声のメディア情報であれば音声認識部１５に出力し、メディア情報が前記音声以外の編集評価対象のメディア情報であれば、マルチメディア属性判定部１４に出力する。ここで、所定の音声のメディア情報とは、後述するように編集範囲を特定するための基準となるテキストデータを抽出する音声のメディア情報であり、シナリオファイルに記述されている任意の音声のメディア情報であってもよく、ユーザにより指定された音声のメディア情報であってもよい。
【００１３】
音声認識部１５は、マルチメディア情報蓄積部１３から入力された音声のメディア情報中の音声データから文字列のテキストデータを作成し、当該テキストデータをマルチメディア関連情報保持部１６に出力する。また、音声認識部１５は、作成されたテキストデータに対応する音声データが再生される時間領域を検出して、マルチメディア関連情報保持部１６に出力する。本実施の形態では、音声認識部１５は、音声データの音節の区切り毎、すなわち、連続した有音部分毎にテキストデータを作成しており、各テキストデータを単位としてマルチメディア関連情報保持部１６に出力する。
【００１４】
マルチメディア属性判定部１４は、マルチメディア情報蓄積部１３から入力されたメディア情報に基づいて、音声認識部１５によって作成されたテキストデータに対応する音声データと同時に再生されるメディア情報の中の編集評価対象のメディア情報の属性情報を判定して、マルチメディア関連情報保持部１６に出力する。
ここで、編集評価対象のメディア情報とは、後述するように属性情報に応じて編集を考慮すべきメディア情報のことをいい、前記音声のメディア情報以外のメディア情報であってもよく、ユーザによって直接的に指定されたメディア情報であってもよく、あるいは、特定のメディア情報以外のメディア情報といったようにユーザに間接的に指定されたメディア情報であってもよい。
【００１５】
また、属性情報とは、メディア情報が時間と共に変化するものであるか否かに関する情報であり、たとえば、映像のメディア情報であれば、静止画像であるか、あるいは動画像であるかといった情報である。属性情報を判定する方法としては、たとえば、シナリオファイル１１ａ中にマルチメディア情報の属性情報が記述されている場合には、当該シナリオファイル１１ａの記述により判定する方法や、映像のメディア情報の場合には、一定時間毎に映像を取り出して、前出の映像との差分比較を行うことによって静止画であるか動画であるかを判定する方法等がある。
【００１６】
マルチメディア関連情報保持部１６は、音声認識部１５から入力されたテキストデータと、それに対応する音声データが再生される時間範囲と、マルチメディア属性判定部１４から入力された当該音声データと同時に再生される編集評価対象のメディア情報に関する属性情報と、を対応付けたマルチメディア関連情報を保持する。
表示・指示部１１は、マルチメディア関連情報保持部１６に保持されたテキストデータをディスプレイ装置１７ａに表示して、ペン型ポインタ１７ｂあるいはマウス装置１７ｃ等によりユーザから編集範囲としてテキストデータに対する選択指示を受け付け、シナリオ編集部１８に当該指示されたテキストデータに対応する編集範囲の編集処理を指示する。シナリオ編集部１２は、表示・指示部１１によって指示されたテキストデータに対応するマルチメディア関連情報保持部１６のマルチメディア関連情報に基づいてシナリオファイル１１ａを編集して新しいシナリオファイル１９を作成する。
【００１７】
ここで、特許請求の範囲にいう情報保持手段は、マルチメディア情報蓄積部１３によって構成され、シナリオ保持手段は、シナリオ保持部１１によって構成され、音声認識手段および時間領域検出手段は、音声認識部１５によって構成され、マルチメディア関連情報保持手段は、マルチメディア関連情報保持部１６によって構成され、表示手段および指示手段は、表示・指示部１７によって構成され、マルチメディア属性判定手段は、マルチメディア属性判定部１４によって構成され、シナリオ編集手段は、シナリオ編集部１８によって構成される。
【００１８】
次に、本マルチメディア編集装置によるマルチメディア関連情報を作成する処理動作を図３を用いて説明する。
処理が開始される（ステップＳ１０１）と、シナリオ解析部１２はシナリオ保持部１１からシナリオファイル１１ａを取り出して解析し、複数のメディア情報の再生時の位置、再生タイミング、表示効果などの情報を取り出す（ステップＳ１０２）。次いで、シナリオ解析部１２は取り出した情報に基づいて、所定の音声のメディア情報を音声認識部１５へ出力し、他のメディア情報のうち編集評価対象のメディア情報をマルチメディア属性判定部１４へ出力する（ステップＳ１０３）。
【００１９】
この後、音声認識部１５は音声のメディア情報が最後まで入力されたか否かを判定し（ステップＳ１０４）、最後まで入力されていないときには、現在入力されているメディア情報の部分の音節の開始点の時刻情報：ｔ１を獲得し（ステップＳ１０５）、当該部分が有音部であるか、あるいは無音部であるかを評価する（ステップＳ１０６）。
現在入力されている部分が有音部であれば、まだ次の音節に達していないと判断して、入力されている部分が無音部になるまで上記処理ステップＳ１０３〜Ｓ１０６を繰り返し行う。
【００２０】
一方、現在入力されている部分が無音部であれば、音節に達したと判断して、音声認識部１５は当該部分の終了点の時刻情報：ｔ２を獲得し（ステップＳ１０７）、当該音節によって区切られた有音部分の音声データに関して文字列を認識して、当該文字列のテキストデータを作成し、当該テキストデータと時刻情報ｔ１およびｔ２（時間領域）をマルチメディア関連情報保持部１６へ出力する（ステップＳ１０８）。次いで、マルチメディア属性判定部１４は、時刻ｔ１およびｔ２の間に再生される編集評価対象のメディア情報の属性の判定を行い、判定した結果の属性情報をマルチメディア関連情報保持部１６へ出力する（ステップＳ１０９）。例えば、編集評価対象のメディア情報のすべてが時間変化しないメディア情報（たとえば、静止画）であると判定した場合には、属性情報”０”を出力し、編集評価対象のメディア情報の少なくとも一つが時間変化するメディア情報（たとえば動画像）であると判定した場合には、属性情報”１”を出力する。
【００２１】
次いで、マルチメディア関連情報保持部１６は、音声認識部１５から入力されたテキストデータと、時刻情報ｔ１およびｔ２と、マルチメディア属性判定部１４から入力されたメディア情報の属性情報とを対応付けてマルチメディア関連情報として保持する（ステップＳ１１０）。そして、上記した処理（ステップＳ１０３〜Ｓ１１０）を繰り返し行い、ステップＳ１０４において音声のメディア情報が最後まで入力されていると判断された場合に処理を終了する（ステップＳ１１１）。
【００２２】
図４は、上記のマルチメディア関連情報を作成する処理動作を具体的に説明する図である。同図は、２つの属性評価対象（編集評価対象）となる映像データａおよび映像データｂと、属性評価対象（編集評価対象）とならないプレゼンターの映像が入っている映像データｃおよび編集の基準とするプレゼンターの音声データとから構成されているプレゼンテーションについて処理を行った例を示している。
【００２３】
上記の動作によると、領域１、領域２、領域３・・のように、音声データの有音部Ｐに対応するプレゼンテーションの時間領域が検出され、この領域における音声のテキストデータが作成される。また、これらの時間領域のうち編集評価対象となる映像データａおよび映像データｂが静止画の領域２および領域４は、削除することが可能な領域であることを表わす属性値”０”と判定され、その他の領域１、３、５は削除することができない領域を表わす属性値”１”と判定される。そして、これらの結果は図５に示すように、テキストデータと、テキストデータに対応する時間領域を示す開始時間および終了時間と、その時間領域における編集評価対象のメディア情報の属性情報とが対応付けられてマルチメディア関連情報保持部１６に保持される。
【００２４】
次に、本マルチメディア編集装置によるマルチメディアプレゼンテーションのシナリオファイルを編集する処理動作を図６を用いて説明する。
処理が開始される（ステップＳ２０１）と、表示・指示部１７は、マルチメディア関連情報保持部１６からテキストデータを取り出してディスプレイ１７ａに表示し（ステップＳ２０２、Ｓ２０３）、ペン型ポインタ１７ｂ、マウス１７ｃ等によるユーザから編集処理を終了する指示イベントや、編集する範囲の基準となるテキストデータの選択指示イベント（ステップＳ２０５）を受け付ける（ステップＳ２０４）。
編集を行わない指示イベントが選択された場合には、処理を終了する（ステップＳ２０６）。一方、テキストデータの選択指示イベントが選択された場合には、
シナリオ編集部１８がマルチメディア関連情報保持部１６に保持されたマルチメディア関連情報を参照し、選択されたテキストデータに対応付けられた属性情報をチェックする（ステップＳ２０７）。
【００２５】
属性情報が時間変化しないメディア情報（たとえば、静止画）を表している（本実施の形態では”０”）場合には、これらメディア情報は全て時間変化しないメディア情報であり、これらメディア情報を再生しなくてもプレゼンテーションの自然さは保たれるので、シナリオ編集部１８は、対応する時間領域におけるすべてメディア情報を再生しないようにシナリオファイルを編集する（ステップＳ２０８）。一方、属性情報が時間変化するメディア情報（たとえば、動画）を表している（本実施の形態では”１”）場合には、メディア情報を再生しないと前後のつながりが悪くなりプレゼンテーションが不自然になるので、シナリオ編集部１８は、テキストデータに対応する音声データのみについて再生しないようにシナリオファイルを編集する（ステップＳ２０９）。そして、上記の処理ステップＳ２０２〜Ｓ２０９をユーザにより終了のイベントが選択されるまで実行する。
【００２６】
このように、ユーザはマルチメディアプレゼンテーションを再生することなく、編集したい個所を容易且つ短時間に特定でき、編集したい個所におけるメディア情報を考慮しなくてもプレゼンテーションに支障を与えることがないようにシナリオファイルを編集することができる。
【００２７】
本発明は、上記実施の形態に限らず種々の変形が可能である。
例えば、上記実施の形態では、ユーザにより編集範囲の基準となるテキストデータが指定される前に、予めテキストデータに対応する時間領域の編集評価対象のメディア情報の属性情報を判定するようにして、ユーザによりテキストデータが選択された場合に短時間でシナリオファイルを編集できるようにしていたが、本発明はこれらに限られず、ユーザによりテキストデータが指定された後に、対応する時間領域のメディア情報の属性情報を判定して、シナリオファイルを編集するようにしてもよい。
【００２８】
また、上記実施の形態では、編集評価対象の複数のメディア情報をまとめた属性情報を検出し、当該属性情報に基づいて複数のメディアに関してシナリオファイルを編集するようにしていたが、本発明はこれに限られず、編集評価対象の各メディア情報ごとに属性情報を検出し、各属性情報に基づいて各メディア情報に関してシナリオファイルを編集するようにしてもよい。
【００２９】
【発明の効果】
以上の通り、本発明によれば、プレゼンテーションのシナリオファイルの編集を短時間に、容易に、且つ適切に行うことができる。
【００３０】
【図面の簡単な説明】
【図１】マルチメディアを使用したプレゼンテーションを説明する図である。
【図２】本発明の一実施の形態によるマルチメディア編集装置の構成を示す図である。
【図３】本発明の一実施の形態によるマルチメディア編集装置のマルチメディア関連情報を作成する処理動作のフローチャートである。
【図４】本発明の一実施の形態によるマルチメディア編集装置のマルチメディア関連情報を作成する過程を説明する図である。
【図５】本発明の一実施の形態によるマルチメディア編集装置のマルチメディア関連情報の一例を示す図である。
【図６】本発明の一実施の形態によるマルチメディア編集装置のマルチメディアプレゼンテーションのシナリオファイルを編集する処理動作のフローチャートである。
【符号の説明】
１１  シナリオ保持部
１２  シナリオ解析部
１３  マルチメディア情報蓄積部
１４  マルチメディア属性判定部
１５  音声認識部
１６  マルチメディア関連情報保持部
１７  表示・入力部
１８  シナリオ編集部
【図１】
0003704968.tif 000002
【図２】
0003704968.tif 000003
【図３】
0003704968.tif 000004
【図４】
0003704968.tif 000005
【図５】
0003704968.tif 000006
【図６】
0003704968.tif 000007