(57)【要約】【課題】  視聴覚データ及びテキスト・データを構造化して蓄積する。【解決手段】  マルチメディア記録装置は、視聴覚データ入力手段と、視聴覚データ記録手段と、視聴覚データ検索手段と、視聴覚データ提示手段と、テキスト・データ入力手段と、テキスト・データ記録手段と、テキスト・データ検索手段と、テキスト提示手段と、視聴覚データ抽出手段と、テキスト・データ抽出手段と、索引付加手段と、索引記録手段と、索引検索手段と、索引提示手段と、索引関連付け規則入力手段と、索引関連付け規則記憶手段と、索引関連付け手段を備え、視聴覚データ及びテキスト・データを構造化して蓄積する。【選択図】  図１４
2005267278.tif 000002
【特許請求の範囲】
【請求項１】
複数の型のメディア・データを管理する情報処理システムであって、
入力されたメディア・データを記録するメディア・データ記録手段と、
前記メディア・データ記録手段に記録されているメディア・データを検索するメディア・データ検索手段と、
メディア・データに対して索引を付加する索引付加手段と、
メディア・データに対して付加された索引データを保持する索引記憶手段と、
各メディア・データに対して付加された索引を相互に関連付ける索引関連付け手段と、
メディア・データ並びにメディア・データに対して付加された索引を提示する提示手段と、
を具備することを特徴とする情報処理システム。
【請求項２】
前記索引関連付け手段は、所定の索引関連付け規則に基づいて、同一の型のメディア・データに対する索引データ同士、及び異なる方のメディア・データに対する索引データ同士を相互に関連付けて索引データとして表現する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項３】
メディア・データの要約を生成するメディア・データ要約生成手段と、
メディア・データに対して生成された要約を保持するメディア・データ要約記憶手段と、
をさらに備えることを特徴とする請求項１に記載の情報処理システム。
【請求項４】
前記メディア・データ要約生成手段は、メディア・データの型毎の要約規則に基づいて要約を生成する、
ことを特徴とする請求項３に記載の情報処理システム。
【請求項５】
前記索引関連付け手段は、元のメディア・データとその要約、同一の型のメディア・データの要約同士、異なる型のメディア・データの要約同士、異なる型のメディアと要約とを関連付けして索引データとして表現する、
ことを特徴とする請求項３に記載の情報処理システム。
【請求項６】
メディア・データとして視聴覚データ及びテキスト・データを構造化して取り扱い、
前記メディア・データ記録手段として、視聴覚データ記録手段及びテキスト・データ記録手段を備え、
前記メディア・データ検索手段として、視聴覚データ検索手段及びテキスト・データ検索手段を備え、
前記提示手段として、視聴覚データ提示手段、テキスト・データ提示手段、及び索引提示手段を備え、
抽出された視聴覚データの内容を参照し、当該視聴覚データの内容に応じて索引を付加し、一方、抽出されたテキスト・データの内容を参照し、当該テキスト・データの内容に応じて索引を付加する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項７】
視聴覚データ要約規則記録手段と、要約視聴覚データ生成手段と、要約視聴覚データ記録手段をさらに備え、
視聴覚データに対して付加された索引を参照し、視聴覚データから要約視聴覚データを生成し、提示又は蓄積する、
ことを特徴とする請求項６に記載の情報処理システム。
【請求項８】
テキスト・データ要約規則記録手段と、要約テキスト・データ生成手段と、要約テキスト・データ記録手段をさらに備え、
テキスト・データに対して付加された索引を参照し、テキスト・データから要約テキスト・データを生成し、提示又は蓄積する、
ことを特徴とする請求項６に記載の情報処理システム。
【請求項９】
前記索引関連付け手段は、生成された要約視聴覚データに関する索引と生成された要約テキスト・データに関する索引を関連付け、生成された要約視聴覚データと生成されたテキスト・データの相互参照を行なう、
ことを特徴とする請求項６に記載の情報処理システム。
【請求項１０】
前記索引関連付け手段は、視聴覚データに関する索引、視聴覚データ要約規則、テキスト・データに関する索引、テキスト・データ要約規則の少なくとも一部に基づいた索引関連付け規則に基づいて、視聴覚データ同士、テキスト・データ同士、要約視聴覚データ同士、要約テキスト・データ同士、視聴覚データと要約視聴覚データ、視聴覚データと要約テキスト・データとを関連付ける、
ことを特徴とする請求項６に記載の情報処理システム。
【請求項１１】
組織活動の状態乃至属性、人の行為乃至行動乃至振る舞い、人の属性、物体の動作、物体の属性、日付あるいは時刻のうち少なくとも１つに基づいて視聴覚データの少なくとも一部が構造化されたデータを索引として扱う、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項１２】
テキストの品詞情報、構文情報、意味情報、談話情報、重要度のうち少なくとも１つに基づいてテキスト・データの少なくとも一部が構造化されたデータを索引として扱う、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項１３】
同期手段をさらに備え、１つ以上の視聴覚データ及びテキスト・データを同期して記録、蓄積、提示及び索引付けし、同期した視聴覚データ同士、同期したテキスト・データ同士、同期した視聴覚データ及びテキスト・データのうち少なくとも１つを、利用者の指定に応じて提示時に視聴覚データあるいはテキスト・データの内容とともにそれらの関係性を強調表現する、
ことを特徴とする請求項１に記載の情報処理システム。
【請求項１４】
前記索引付加手段、前記視聴覚データ提示手段、前記テキスト・データ提示手段及び前記索引提示手段は、グラフィカル・ユーザ・インタフェースを有し、２次元若しくは３次元のタイム・ライン形式及び表形式のうち少なくとも一方によって視聴覚データ、テキスト・データ及び索引を表現し、視聴覚データ同士の関連、テキスト・データ同士の関連及び視聴覚データとテキスト・データとの関連のうち少なくとも一方を、当該関連の属性に応じて図形要素、テキスト形式のラベル若しくは音声データとして表現し、提示する、
ことを特徴とする請求項６に記載の情報処理システム。
【請求項１５】
複数の型のメディア・データを管理する情報処理方法であって、
メディア・データに対して索引を付加する索引付加ステップと、
各メディア・データに対して付加された索引を相互に関連付ける索引関連付けステップと、
メディア・データ並びにメディア・データに対して付加された索引を提示する提示ステップと、
を具備することを特徴とする情報処理方法。
【請求項１６】
前記索引関連付けステップでは、所定の索引関連付け規則に基づいて、同一の型のメディア・データに対する索引データ同士、及び異なる方のメディア・データに対する索引データ同士を相互に関連付けて索引データとして表現する、
ことを特徴とする請求項１５に記載の情報処理方法。
【請求項１７】
メディア・データの型毎の要約規則に基づいて要約を生成するメディア・データ要約生成ステップをさらに備える、
ことを特徴とする請求項１５に記載の情報処理方法。
【請求項１８】
前記索引関連付けステップでは、元のメディア・データとその要約、同一の型のメディア・データの要約同士、異なる型のメディア・データの要約同士、異なる型のメディアと要約とを関連付けして索引データとして表現する、
ことを特徴とする請求項１７に記載の情報処理方法。
【請求項１９】
メディア・データとして視聴覚データ及びテキスト・データを構造化して取り扱い、抽出された視聴覚データの内容を参照し、当該視聴覚データの内容に応じて索引を付加し、一方、抽出されたテキスト・データの内容を参照し、当該テキスト・データの内容に応じて索引を付加する、
ことを特徴とする請求項１５に記載の情報処理方法。
【請求項２０】
視聴覚データ要約規則に基づいて視聴覚データの要約を生成する要約視聴覚データ生成ステップをさらに備え、視聴覚データに対して付加された索引を参照し、視聴覚データから要約視聴覚データを生成し、提示又は蓄積する、
ことを特徴とする請求項１９に記載の情報処理方法。
【請求項２１】
テキスト・データ要約規則に基づいてテキスト・データの要約を生成する要約テキスト・データ生成ステップをさらに備え、テキスト・データに対して付加された索引を参照し、テキスト・データから要約テキスト・データを生成し、提示又は蓄積する、
ことを特徴とする請求項１９に記載の情報処理方法。
【請求項２２】
前記索引関連付けステップでは、生成された要約視聴覚データに関する索引と生成された要約テキスト・データに関する索引を関連付け、生成された要約視聴覚データと生成されたテキスト・データの相互参照を行なう、
ことを特徴とする請求項１９に記載の情報処理方法。
【請求項２３】
前記索引関連付けステップでは、視聴覚データに関する索引、視聴覚データ要約規則、テキスト・データに関する索引、テキスト・データ要約規則の少なくとも一部に基づいた索引関連付け規則に基づいて、視聴覚データ同士、テキスト・データ同士、要約視聴覚データ同士、要約テキスト・データ同士、視聴覚データと要約視聴覚データ、視聴覚データと要約テキスト・データとを関連付ける、
ことを特徴とする請求項１９に記載の情報処理方法。
【請求項２４】
組織活動の状態乃至属性、人の行為乃至行動乃至振る舞い、人の属性、物体の動作、物体の属性、日付あるいは時刻うちい少なくとも１つに基づいて視聴覚データの少なくとも一部が構造化されたデータを索引として扱う、
ことを特徴とする請求項１５に記載の情報処理方法。
【請求項２５】
テキストの品詞情報、構文情報、意味情報、談話情報、重要度のうち少なくとも１つに基づいてテキスト・データの少なくとも一部が構造化されたデータを索引として扱う、
ことを特徴とする請求項１５に記載の情報処理方法。
【請求項２６】
同期ステップをさらに備え、１つ以上の視聴覚データ及びテキスト・データを同期して記録、蓄積、提示及び索引付けし、同期した視聴覚データ同士、同期したテキスト・データ同士、同期した視聴覚データ及びテキスト・データのうち少なくと１つを、利用者の指定に応じて提示時に視聴覚データあるいはテキスト・データの内容とともにそれらの関係性を強調表現する、
ことを特徴とする請求項１５に記載の情報処理方法。
【請求項２７】
グラフィカル・ユーザ・インタフェースを有し、２次元若しくは３次元のタイム・ライン形式及び表形式のうち少なくとも１つによって視聴覚データ、テキスト・データ及び索引を表現し、視聴覚データ同士の関連、テキスト・データ同士の関連、視聴覚データとテキスト・データとの関連のうち少なくとも１つを、当該関連の属性に応じて図形要素、テキスト形式のラベル若しくは音声データとして表現し、提示する提示ステップをさらに備える、
ことを特徴とする請求項１９に記載の情報処理方法。
【請求項２８】
複数の型のメディア・データを管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、
メディア・データに対して索引を付加する索引付加ステップと、
各メディア・データに対して付加された索引を相互に関連付ける索引関連付けステップと、
メディア・データ並びにメディア・データに対して付加された索引を提示する提示ステップと、
を具備することを特徴とするコンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のメディア・データを記録・管理する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、複数のメディア・データを構造化して記録・管理する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。
【０００２】
さらに詳しくは、本発明は、会議などを収録した動画データ、映像データ、ビデオ・データ、視聴覚データあるいはオーディオ・ビジュアル・データとテキスト・データを利用する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに係り、特に、これら複数のメディア・データの要約をとり、索引を利用する情報処理システム及び情報処理方法、並びにコンピュータ・プログラムに関する。
【背景技術】
【０００３】
昨今のコンピューティング技術の発展に伴い、コンピュータがオフィスや一般家庭内に深く浸透してきている。これと相俟って、さまざまな適用業務はコンピュータの支援を受けることができるようになってきている。例えば、企業における産業活動やその他のさまざまに日常生活において、会議が頻繁に行なわれているが、会議室にコンピュータを取り込むことで、会議の運用を支援することができる。
【０００４】
会議支援システムの一例として、遠隔会議システムを取り上げることができる。遠隔会議システムによれば、遠隔に位置する複数の会議室において、カメラやマイクなどの画像・音声入力装置や、モニターやスピーカーなどの画像・音声出力装置を設置し、通信回線を利用して、各会議室において行なわれる発言や質疑応答などのイベントを共有し、遠隔地間で議事を同期して進行させることができる。
【０００５】
また、会議の進行上、会議の参加者を撮影した映像や、参加者の初全内容などの音声だけでなく、会議で使用されるホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまな資料を会議室間で共有し、保管することができる。
【０００６】
さらに、会議システムでは、映像や音声などの会議の進行上で発生するさまざまなデータをデジタル化して保存し、さらに、ホワイトボードや、スライドその他のプレゼンテーション資料など、会議に関連するさまざまなメディア・データを、映像や音声すなわち会議の進行と同期させて保管することができる。このように会議に関連するデータを保存しておくことにより、これらを次回の会議において再利用することが可能となる。
【０００７】
例えば、プレゼンテーションを収録したビデオ・データと、その場で使用された資料画像データとを実際のプレゼンテーション行為を反映させて対応付け、これによってプレゼンテーションを収録したコンテンツの品質を高めることができる（例えば、非特許文献１を参照のこと）。この場合、カメラ収録されたビデオ・データを入力し、プレゼンテーションで使用される資料画像データ、並びにプレゼンテーションにおいてプレゼンテータが行なった資料画像の切換指示をそれぞれ入力し、ビデオ・データを基準とした時間軸に対して切換指示の入力タイミングを当該切り換えられる資料画像データの表示開始タイミングとして設定する処理を行ない、複数の資料画像を切り換え表示しながら行なうプレゼンテーションを収録したビデオ・データに対して、プレゼンテーションで使用された資料画像のデータを対応付ける。これによって、ビデオ・データの再生時には、ビデオ・データと資料画像データとを実際の使用状態を反映して対応付けることができ、プレゼンテーションを忠実に再現することができるコンテンツを作成することが可能となる。
【０００８】
会議は、ほぼ毎日、複数の会議において時間毎に開催される。このため、会議毎に捕捉され、蓄積された会議データは膨大であり、その数は日々増加していく。ここで、会議での決定事項を見返すなど、会議データを再利用したいときに、所望の会議の所望の箇所を探し出す手間が煩わしくなる、あるいは探し出すことが困難若しくは不可能である、という問題が浮上する。
【０００９】
ここで、会議の内容を収録したビデオ・データを音声認識して、テキスト・ベースの会議資料を作成することができる。さらに会議資料や議事録などからキーワードや文を抽出して、会議を収録したビデオ・データの検索や要約など再利用を行なうための索引を付与することが可能である。このような索引を用いれば、会議データへのアクセスが容易となり、有効な再利用を図ることができる・
【００１０】
これまで、動画データ、映像データ、ビデオ・データ、視聴覚データあるいはオーディオ・ビジュアル・データ、テキスト・データに対して要約する技術について数多の提案がなされている。
【００１１】
例えば、早送り時にも映像や自然であり、視聴が短時間でもその情報内容を理解することができる情報を配信できるビデオ・サーバー装置について提案がなされている（例えば、特許文献１を参照のこと）。この場合、ビデオ・サーバー装置は詳細情報のデータベースと概要情報のデータベースを持ち、概要情報のデータベースは詳細情報のダイジェスト版として特別に編集された概要情報を持つ。また、ビデオ・サーバー装置は、概要情報と詳細情報との時間的な関連付けを行なうマッピング・データを備えている。また、ビデオ・サーバー装置は、概要情報と詳細情報の視聴区間を任意に設定する視聴区間設定手段を備えている。そして、ビデオ・サーバー装置は、情報を時間的に区切り、その内容を簡潔にまとめた要約テキストのデータベースを備え、利用者が情報の視聴を開始する際に、提示された要約テキストを参照することで、視聴区間を詳細情報か概要情報のいずれかを選択し視聴することをができる。
【００１２】
また、映像と台本から挿絵付き台本を生成する際に有効な映像の要約方法について提案がなされている（例えば、特許文献２を参照のこと）。この場合、テキストから時刻情報を抜き出し、話題となる言葉を抽出する。そして、話題となる言葉が固有名詞のときに、登場する時刻を求め、その時刻の静止画像を求め、静止画像を話題となる言葉の近くに挿入する。ここで、抽出した静止画像で前記連続する映像を要約することができる。
【００１３】
また、より少ない数の画像で映像を要約することができる映像の自動要約方法及び装置について提案がなされている（例えば、特許文献３を参照のこと）。この場合、字幕情報から話題転換語辞書に基づき話題転換語を特定し、話題の変わり目毎の画像を集めることで、より少ない数の画像で映像の要約を生成することができる。
【００１４】
また、記憶手段に記憶されている所望のメディア・コンテンツを効率的に削除することができるメディア・コンテンツ管理装置について提案がなされている（例えば、特許文献４を参照のこと）。この場合、メディア・コンテンツ管理装置は、メディア・コンテンツのセグメントに含まれる動画像情報又は音声情報を要約したスキム情報を生成するスキミング手段と、スキム情報を再生するスキム再生手段を有する。また、メディア・コンテンツ管理装置は、ＥＰＧ（Ｅｌｅｃｔｒｉｃ  Ｐｒｏｇｒａｍｍｉｎｇ  Ｇｕｉｄｅ）情報に基づいてメディア・コンテンツのセグメント毎のインデックス情報を生成する。また、メディア・コンテンツ管理装置は、メディア・コンテンツのセグメントを基に画像情報、音声情報、クローズド・キャプション情報、画像認識により得られるテキスト情報、又は音声認識により得られるテキスト情報をインデックス情報として生成するインデックス生成手段を備えている。
【００１５】
また、文書配置情報、テキスト情報、メディア情報およびプログラムを単一のカプセル化文書とし、プラットホームに独立してテキスト情報等の表示などのプログラムの実行を可能にする、またプログラムのインストールを不要とする情報処理装置に対提案がなされている（例えば、特許文献５を参照のこと）。ここでプログラムは、デジタル情報ファイルの一部を要約表示するための要約プログラムを含む。
【００１６】
また、ビデオ・ストリームを効率よくブラウジングするために、ビデオ・ストリーム間の意味的連結情報を記述する方法及びブラウジング方法について提案がなされている（例えば、特許文献６を参照のこと）。ビデオ・ストリーム内又はビデオ・ストリーム間のセグメント、事件インターバル(イベント・インターバル)、場面、ショットなどの間の意味的連結関係を決め、これをビデオ・ストリームに対する内容ベースのデータ領域に記述する。この記述方法は、マルチメディア・ストリームの内容ベースのデータ領域にセグメント指定情報と指定されるセグメント間の関係記述情報とを含むセグメント間の意味的連結情報を記述して、ストリーム情報を構成することを特徴とする。ここで、セグメント間の意味的連結情報は原因／結果関係情報又は要約／詳細関係情報であることを特徴とする。また、各セグメントはノードとして表現され、セグメント間の関係はリンクとして表現され、ノード及びリンクをグラフ形式に表現することを特徴とする。
【００１７】
また、動画データ、映像データ、ビデオ・データ、視聴覚データあるいはオーディオ・ビジュアル・データとテキスト・データに対してインデキシングを付与し、要約することができる。
【００１８】
例えば、音声認識システムを用いて、録音された音声に対してテキスト索引を付与する技術について提案がなされている（例えば、特許文献７を参照のこと）。この場合、テキスト要約に基づいて、関連する記録済み会議の内容を聴取することにより再生することができる。
【００１９】
また、ビデオに索引付けし、その索引付けられたビデオを利用したり、視聴覚データを分析したり、ビデオを要約したり、あるいは規則やルールに基づいて会議ビデオを要約してマルチメディア記録を行なうことができる。
【００２０】
例えば、１つあるいは複数のデータ処理装置を動作させてデータにインデックスを付けるための方法として、データ源から一連のワードからなる原データを受け取る工程、原データから、各々が前記一連のワードのうち少なくとも１ワードであり、メモリに記憶される複数のエピソード・データを描写する工程、エピソード・データと対応する複数のメディア提示を生成する工程を含み、また、使用者が選択した入力値を用いると共に補助データの固有値を用いることによって、補助データを分類する工程を含み、さらに、数のエピソード・データのうちの対応するものに付加された補助データの各々を分類することにより、エピソード・データを分類する工程を含み、複数のエピソード・データのうちの特定のものに半自動的に注釈を付ける工程を含み、音声データ源、視覚データ源、視聴覚データ源、原文データ源、使用者入力データ源及びそれらの組み合せからなる群から選択されるデータ源をセグメント化し、サムネイルを生成する目次インデキシング装置について提案がなされている（例えば、特許文献８を参照のこと）。この装置を例えばマルチメディア会議装置として適用し、エピソード・サーバーは実時間の複数のメディア提示と実時間の目次を生成することができる。また、生の、音声データ及びビデオ・データ又は他のデータからアイコン的目次を実時間生成することが可能である。
【００２１】
また、ビデオ場面内の高レベルのオブジェクトを利用し、ビデオ・レコードの内容ベースの索引付けを実現する方法として、ラベルからなるアイコン・サマリーを生成することができる（例えば、特許文献９を参照のこと）。この索引生成方法及び索引生成装置では、１つのフレームの内容と複数のアイコン中の１つのアイコンの内容との間の類似度を測定し、索引生成方法において、類似度はフレームの映像内容に基づくことを特徴とする。さらに、フレームの音声内容をテキストに変換するステップ、及び該テキストをニュース・アイコンのテキスト内容と比較して類似度の音声成分を決定するステップを含み、類似度はフレームのテキスト内容にも基づき、プロセッサ・ロジックがラベルからなるアイコン・サマリーを作る。また、１人以上の人間を描写する映像内容を持つレコードを索引付けする方法であって、レコードは複数のフレームからなり、そのフレーム中の若干数のフレームはそれぞれ少なくとも１人の人間に関する複数の情動中の１つの情動を含み、どのフレームがある情動を含むか判定するステップ、複数のフレーム中で、ある情動を描写する各フレーム、複数のラベル中の１つのラベルとして、但し１フレームにつき１ラベルとして、記憶するステップ、及び複数のフレーム中で、ある情動を描写する各フレームについて、該情動を描写するフレームに対応する他のフレームそれぞれを、該情動を描写するフレームから生成されたラベルに索引付けするステップを含む索引付け方法を提供する。また、複数の情動は少なくとも１人の人間による複数の有意な動きを含むことを特徴とする。ここで、レコードはさらに音声内容を含み、レコードの各フレームは音声レベルを持ち、複数の情動に複数のフレーム中の１つのフレームの音声レベルの有意な変化が含まれる。また、有意な動きが参加者の２人以上の同調した動きであることを特徴とするビデオ議事録生成方法が提供される。参加者の１人の動きをそれぞれ示す複数の動きベクトルを計算するステップ、この動きベクトル中の２以上のベクトル間の類似度を測定するステップを含む。さらに、ビデオ・モニターはタッチ・スクリーンを持ち、編集記号はタッチ・スクリーンにドロー・ツールを物理的に当てることによりタッチ・スクリーン上に描かれることを特徴とし、フレーム・ディスプレイ上に描かれた編集記号を認識し、編集記号の表に基づいてフレーム・ディスプレイ上に描かれた編集記号それぞを複数の編集コマンド中の１つの編集コマンドに関連付け、フレーム・ディスプレイ上に描かれた編集記号に関連付けられた編集コマンドに従ってビデオ・レコードのフレームを修正することができる。
【００２２】
また、会議中に捕らえられた画像を会議参加者が発する音声の録音とマッチさせることによって会議内容の索引付けを行なうための方法とシステムについて提案がなされている（例えば、特許文献１０を参照のこと）。この方法は、会議参加者の補足、静止画像の補足、音声部分に対応するセグメントと相互関連付け、会議参加者の位置を示す少なくとも１つを識別し、少なくとも１人の参加者からなる会議の内容の索引付けを行なう方法であって、該会議の音声を録音を行なうステップと、音声を発する会議参加者を識別するステップと該識別された会議参加者の静止画像を捕らえるステップと該会議参加者の静止画像を音声録音の少なくとも１つの音声部分のセグメント部分と相互に関連付けるステップであって、少なくとも１つのセグメントが識別された会議参加者によって発せられた音声に対応するようになっている該関連付けステップと相互関係のある静止画像とそれに関連する少なくとも１つの音声部分のセグメントを表す少なくとも１つの音声存在セグメントを生成することによってタイム・インを作成するステップとを備えている。この発明は、会議参加者の識別がマイクロホン・アレーの利用を含み、無言でいる他の任意の参加者の提示を含み、会議参加者の位置を識別するための少なくとも１つのソース・ロケーターであって、該会議参加者の位置に対応する信号を生成する該ソース・ロケーターと、カメラと、前記ソース・ロケーターによって生成された信号に応答して会議参加者に向けられるカメラを動かすカメラ動作指示装置を含むカメラ組み立て部品から構成される参加者位置によるカメラ制御を可能としている。
【００２３】
【特許文献１】特開平１０−０２３３６２号公報
【特許文献２】特開平１１−３３１７６０号公報
【特許文献３】特開平１１−３３１７６１号公報
【特許文献４】特開２００１−２８３５７０号公報
【特許文献５】特開２００３−０９９４４７号公報
【特許文献６】特開２００１−１５７１６５号公報
【特許文献７】特開２００２−３６６５５２号公報
【特許文献８】特開平７−２１９９７１号公報
【特許文献９】特開平９−９２０２号公報
【特許文献１０】特開２０００−１２５２７４号公報
【非特許文献１】特願２００３−２０１６７３号
【発明の開示】
【発明が解決しようとする課題】
【００２４】
上述したように、映像データあるいはテキスト・データに索引付けし、その索引付けられたビデオの利用を可能にするものあるいは映像データあるいはテキスト・データの要約を行なうことができる。しかしながら、映像やビデオの視聴覚データとテキスト・データのマルチメディア・データを対象とした場合、上述の従来技術のいずれを用いても、視聴覚データとテキスト・データの双方の要約を生成し、要約された視聴覚データ及び要約されたテキスト・データ及びそれらの要約テキスト・データの元となったソースのテキスト・データ又は要約視聴覚データの元となったソースの視聴覚データを相互に利用することはできない。また、各データの内容的乃至意味的な関連付けができないという問題がある。
【００２５】
本発明は上述したような技術的課題を鑑みたものであり、その主な目的は、会議などを収録した動画データ、映像データ、ビデオ・データ、視聴覚データあるいはオーディオ・ビジュアル・データとテキスト・データを好適に利用することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【００２６】
本発明のさらなる目的は、これら複数のメディア・データの要約をとり、索引を利用することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することにある。
【課題を解決するための手段】
【００２７】
本発明は、上記課題を参酌してなされたものであり、その第１の側面は、複数の型のメディア・データを管理する情報処理システムであって、入力されたメディア・データを記録するメディア・データ記録手段と、前記メディア・データ記録手段に記録されているメディア・データを検索するメディア・データ検索手段と、メディア・データに対して索引を付加する索引付加手段と、メディア・データに対して付加された索引データを保持する索引記憶手段と、各メディア・データに対して付加された索引を相互に関連付ける索引関連付け手段と、メディア・データ並びにメディア・データに対して付加された索引を提示する提示手段とを具備することを特徴とする情報処理システムである。
【００２８】
ここで、前記索引関連付け手段は、所定の索引関連付け規則に基づいて、同一の型のメディア・データに対する索引データ同士、及び異なる方のメディア・データに対する索引データ同士を相互に関連付けて索引データとして表現することができる。
【００２９】
また、本発明に係る情報処理システムは、メディア・データの型毎の要約規則に基づいてメディア・データの要約を生成するメディア・データ要約生成手段と、メディア・データに対して生成された要約を保持するメディア・データ要約記憶手段とをさらに備えることができる。この場合、前記索引関連付け手段は、元のメディア・データとその要約、同一の型のメディア・データの要約同士、異なる型のメディア・データの要約同士、異なる型のメディアと要約とをさらに関連付けして、索引データとして表現することができる。
【００３０】
本発明を視聴覚データ及びテキスト・データを構造化して蓄積するマルチメディア記録装置に適用した場合、視聴覚データ入力手段、視聴覚データ記録手段、視聴覚データ検索手段、視聴覚データ提示手段、テキスト・データ入力手段、テキスト・データ記録手段、テキスト・データ検索手段、テキスト提示手段、視聴覚データ抽出手段、テキスト・データ抽出手段、索引付加手段、索引記録手段、索引検索手段、索引提示手段、索引関連付け規則入力手段、索引関連付け規則記憶手段、索引関連付け手段とで構成され、抽出された視聴覚データの内容を参照し、当該視聴覚データの内容に応じて索引を付加し、一方、抽出されたテキストデータの内容を参照し、当該テキスト・データの内容に応じて索引を付加することができる。
【００３１】
本発明に係るマルチメディア記録装置は、視聴覚データ要約規則生成手段、視聴覚データ要約規則記録手段、視聴覚データ要約規則提示手段、要約視聴覚データ生成手段、及び要約視聴覚データ記録手段をさらに備えることができる。
【００３２】
また、本発明に係るマルチメディア記録装置は、テキスト要約規則生成手段、テキスト要約規則記録手段、テキスト要約規則提示手段、要約テキスト生成手段、及び要約テキスト・データ記録手段をさらに備えることができる。
【００３３】
このようなマルチメディア記録装置によれば、視聴覚データ、テキスト・データ、要約視聴覚データ及び要約テキスト・データは、それぞれ同一の型、例えば視聴覚データ同士、テキスト・データ同士、要約視聴覚データ同士、あるいは要約テキスト・データ同士との関連付けを行なうことができるとともに、それぞれ異なる型同士で相互に関連付けを行なうことができる。例えば、視聴覚データと要約視聴覚データとを関連付けることができるし、視聴覚データと要約テキスト・データとを関連付けることもできる。これらの同一若しくは異なる型のデータ間の関連付けを上述のように索引データとして表現することができる。すなわち、視聴覚データの内容を参照し、対応する視聴覚データの内容に応じて索引を付加し、一方、抽出されたテキスト・データの内容を参照し、対応するテキスト・データの内容に応じて索引を付加することが可能となる。
【００３４】
したがって、本発明によれば、付加された索引を参照し、視聴覚データから要約視聴覚データを生成し、提示又は蓄積することが可能となる。同様に、付加された索引を参照し、テキスト・データから要約テキスト・データを生成し、提示又は蓄積することが可能となる。
【００３５】
また、本発明によれば、生成された要約視聴覚データに関する索引と生成された要約テキスト・データに関する索引を関連付けることによって、生成された要約視聴覚データと生成されたテキスト・データの相互参照をすることが可能となる。
【００３６】
また、本発明の第２の側面は、複数の型のメディア・データを管理するための処理をコンピュータ・システム上で実行するようにコンピュータ可読形式で記述されたコンピュータ・プログラムであって、メディア・データに対して索引を付加する索引付加ステップと、各メディア・データに対して付加された索引を相互に関連付ける索引関連付けステップと、メディア・データ並びにメディア・データに対して付加された索引を提示する提示ステップとを具備することを特徴とするコンピュータ・プログラムである。
【００３７】
本発明の第２の側面に係るコンピュータ・プログラムは、コンピュータ・システム上で所定の処理を実現するようにコンピュータ可読形式で記述されたコンピュータ・プログラムを定義したものである。換言すれば、本発明の第２の側面に係るコンピュータ・プログラムをコンピュータ・システムにインストールすることによって、コンピュータ・システム上では協働的作用が発揮され、本発明の第１の側面に係る情報処理システムと同様の作用効果を得ることができる。
【発明の効果】
【００３８】
本発明によれば、会議などを収録した動画データ、映像データ、ビデオ・データ、視聴覚データあるいはオーディオ・ビジュアル・データとテキスト・データを好適に利用することができる、優れた情報処理システム及び情報処理方法、並びにコンピュータ・プログラムを提供することができる。
【００３９】
本発明によれば、視聴覚データ及びテキスト・データを構造化して蓄積するマルチメディア記録装置において、視聴覚データの内容を参照し、対応する視聴覚データの内容に応じて索引を付加し、一方、抽出されたテキスト・データの内容を参照し、対応するテキスト・データの内容に応じて索引を付加することが可能となる。
【００４０】
ここで、マルチメディア記録装置は、１つ以上のビデオ・カメラ又は１つ以上のマイクを通して捕捉された動画データ若しくは音声データ又は動画データ及び音声データから構成される１つ以上の視聴覚データを記録、蓄積及び提示することが可能となる。また、マルチメディア記録装置は、１つ以上のテキスト入力手段を通して捕捉された１つ以上のテキスト・データを記録、蓄積及び提示することが可能となる。
【００４１】
また、本発明によれば、付加された索引を参照し、視聴覚データから要約視聴覚データを生成し、提示又は蓄積することが可能となる。同様に、付加された索引を参照し、テキスト・データから要約テキスト・データを生成し、提示又は蓄積することが可能となる。
【００４２】
また、本発明によれば、生成された要約視聴覚データに関する索引と生成された要約テキスト・データに関する索引を関連付けることによって、生成された要約視聴覚データと生成されたテキスト・データの相互参照をすることが可能となる。
【００４３】
また、本発明によれば、視聴覚データに関する索引、視聴覚データ要約規則、テキスト・データに関する索引、テキスト・データ要約規則の一部又は全部に基づいた索引関連付け規則を入力することが可能となる。
【００４４】
また、本発明によれば、視聴覚データの索引は、組織活動の状態乃至属性、人の行為乃至行動乃至振る舞い又は属性、物体の動作又は属性、日付あるいは時刻などに基づいて視聴覚データの一部又はすべてが構造化されたデータとなり、利用者の指定する組織活動の状態乃至属性、人の行為乃至行動乃至振る舞い又は属性、物体の動作又は属性、日付あるいは時刻などに応じて、視聴覚データを視聴することが可能となる。
【００４５】
また、本発明によれば、視聴覚データの索引は、テキストの品詞情報、構文情報、意味情報、談話情報又は重要度などに基づいてテキスト・データの一部又はすべてが構造化されたデータとなり、テキストの品詞情報、構文情報、意味情報、談話情報又は重要度などを使って自然言語文による検索や柔軟なテキスト要約が可能となる。
【００４６】
また、本発明によれば、視聴覚データに対する索引に視聴覚データ要約生成規則を適用することにより、要約視聴覚データを生成することが可能となる。同様に、テキスト・データに対する索引にテキスト・データ要約生成規則を適用することにより、要約テキスト・データを生成することが可能となる。
【００４７】
また、本発明によれば、視聴覚データに対する索引およびテキスト・データに対する索引に索引関連付け規則を適用することにより、視聴覚データに対する索引とテキスト・データに対する索引を関連付ける索引、視聴覚データに対する索引と要約テキスト・データを関連付ける索引、テキスト・データに対する索引と要約視聴覚データとを関連付ける索引及び要約視聴覚データと要約テキスト・データを関連付ける索引を生成することが可能となる。
【００４８】
また、本発明によれば、１つ以上の視聴覚データ及びテキスト・データを同期して記録、蓄積、提示及び索引付けし、同期した視聴覚データ同士又は同期したテキスト・データ同士又は同期した視聴覚データ及びテキスト・データを、ユーザの指定に応じて提示時に視聴覚データあるいはテキスト・データの内容とともにそれらの関係性を強調表現することが可能となる。
【００４９】
また、本発明によれば、２次元又は３次元のタイム・ライン形式又は表形式によって視聴覚データ、テキスト・データ及び索引を表現し、視聴覚データ同士の関連又はテキスト・データ同士の関連又は視聴覚データとテキスト・データとの関連を、当該関連の属性に応じて図形要素、テキスト形式のラベル若しくは音声データとして表現し、提示することが可能となる。
【００５０】
すなわち、本発明によれば、映像やビデオの視聴覚データとテキスト・データのマルチメディア・データを対象とした場合、視聴覚データに対して独立したテキスト・データ、逆に、テキスト・データに対して独立した視聴覚データをそれぞれ相互に関連付けるとともに、それらを要約し、要約した視聴覚データ及びテキスト・データを相互に利用することができる。
【００５１】
例えば、特許文献２では、映像の要約を行なうに際し、台本であるテキストに連続する映像に付随させる言葉を発音すべき時刻情報を記載していることが前提となっているが、本発明では映像に対応する台本を前提としない。すなわち、本発明によれば、視聴覚データに対して独立したテキスト・データ、逆に、テキスト・データに対して独立した視聴覚データをそれぞれ相互に関連付けるとともに、それらを要約し、要約した視聴覚データ及びテキスト・データを相互に利用することができる。
【００５２】
また、特許文献５は、マルチメディア文書あるいはマルチメディア・ファイルとプログラムとのカプセル化に関するものであるが、テキストと画像を含む要約は表示できるものの、型の異なるメディア（例えば、視聴覚データとテキスト・データ）の要約を相互に連携して利用することができない。これに対し、本発明によれば、型の異なるメディアの要約を相互に連携して利用することができる。すなわち、（要約）プログラムを視聴覚データ又はテキスト・データとカプセル化する必要はなく、（要約）プログラムと視聴覚データ又はテキスト・データは分離して保持し、利用することができるという点で、本発明は特許文献５とは明らかに相違する。
【００５３】
本発明のさらに他の目的、特徴や利点は、後述する本発明の実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。
【発明を実施するための最良の形態】
【００５４】
以下、図面を参照しながら本発明の実施形態について詳解する。
【００５５】
第１の実施形態：
図１には、本発明の一実施形態に係るマルチメディア記録装置１の機能構成を模式的に示している。同図に示すマルチメディア記録装置１は、視聴覚データ入力部２、視聴覚データ記憶部３、視聴覚データ検索部４、視聴覚データ提示部５、テキスト・データ入力部６、テキスト・データ記憶部７、テキスト・データ検索部８、テキスト・データ提示部９、視聴覚データ抽出部１０、テキスト・データ抽出部１１、索引付加部１２、索引記憶部１３、索引検索部１４、索引提示部１５、索引関連付け規則入力部１６、索引関連付け規則記憶部１７、索引関連付け部１８、視聴覚データ要約規則入力部１９、視聴覚データ要約規則記憶部２０、視聴覚データ要約規則提示部２１、要約視聴覚データ要約生成部２２、要約視聴覚データ記憶部２３、テキスト・データ要約規則入力部２４、テキスト・データ要約規則記憶部２５、テキスト・データ要約規則提示部２６、要約テキスト・データ生成部２７、要約テキスト・データ記憶部２８、及び同期部２９を備えている。これらの各機能モジュールは、マルチメディア記録装置１の内部のネットワーク又はデータ回線及び制御回線乃至回路を介して相互に接続されている。
【００５６】
視聴覚データ入力部２は、１台以上のビデオ・カメラあるいは１台以上のマイク・システム（集音システム）又はそれらの組み合わせで構成されており、１つ以上の動画像データあるいは１つ以上の音声データ又はそれらを組み合わせた視聴覚データを捕捉し、視聴覚データ記憶部３に出力する。
【００５７】
視聴覚データ記憶部３は、メモリ又はハード・ディスクなどの記録媒体及び記録装置によって構成され、視聴覚データ入力部２で捕捉された視聴覚データを入力し、内部のメモリ又はハード・ディスクの記録媒体に記録し、さらに記録された視聴覚データを視聴覚データ検索部４、視聴覚データ抽出部１０、視聴覚データ要約生成部２２に出力する。
【００５８】
視聴覚データ検索部４は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ＵＮｉｔ）及びメモリなどで構成され、ユーザの指定によって視聴覚データ記憶部３に保持されている視聴覚データを検索し、検索結果である視聴覚データを視聴覚データ記憶部３から入力し、視聴覚データ提示部５に出力する。また、視聴覚データ検索部４は、索引記憶部１３に保持されている索引を検索し、索引に対応する視聴覚データを視聴覚データ記憶部３から入力し、一方、索引に対応する要約視聴覚データを要約視聴覚データ記憶部２３から入力し、索引に対応する視聴覚データ及び索引に対応する要約視聴覚データを視聴覚データ提示部５に出力する。また、視聴覚データ検索部４は、要約視聴覚データ記憶部２３に保持されている要約視聴覚データを検索し、要約視聴覚データ記憶部２３に保持されている要約視聴覚データを視聴覚データ提示部５に出力する。
【００５９】
視聴覚データ提示部５は、一般的なディスプレイ乃至モニターやスピーカーなどで構成され、視聴覚データ検索部４から出力される視聴覚データ又は要約視聴覚データを利用者に提示する。
【００６０】
テキスト・データ入力部６は、キーボードなどで構成され、ユーザから入力されたテキスト・データをテキスト・データ記憶部７に出力する。
【００６１】
テキスト・データ記憶部７は、メモリ又はハードディスクなど記録媒体及び記録装置によって構成され、テキスト・データ入力部６から入力したテキスト・データを保持し、保持したテキスト・データをテキスト・データ検索部８、テキスト・データ抽出部１１又は要約テキスト・データ生成部２７に出力する。
【００６２】
テキスト・データ検索部８は、ＣＰＵ及びメモリなどで構成され、ユーザの指定によって、テキスト・データ記憶部７に保持されているテキスト・データを検索し、検索結果であるテキスト・データをテキスト・データ記憶部７から入力し、テキスト・データ提示部９に出力する。また、テキスト・データ検索部８は、索引記憶部１３に保持されている索引を検索し、索引に対応するテキスト・データをテキスト・データ記憶部７から入力し、一方、索引に対応する要約テキスト・データを要約テキスト・データ記憶部２８から入力し、索引に対応するテキスト・データ及び索引に対応する要約テキスト・データをテキスト・データ提示部９に出力する。また、テキスト・データ検索部８は、要約テキスト・データ記憶部２８に保持されている要約テキスト・データを検索し、要約テキスト・データ記憶部２８に保持されている要約テキスト・データをテキスト・データ提示部９に出力する。
【００６３】
テキスト・データ提示部９は、一般的なディスプレイ乃至モニターなどで構成され、テキスト・データ検索部８から出力されるテキスト・データ又は要約テキスト・データをユーザに提示する。
【００６４】
視聴覚データ抽出部１０は、ＣＰＵ及びメモリなどで構成され、視聴覚データ記憶部３に保持されている視聴覚データを入力し、当該視聴覚データを分析し、分析結果である視聴覚分析データを索引付加部１２に出力する。ここで、視聴覚データ抽出部１０は、視聴覚データを分析するために、画像認識装置など画像処理装置乃至映像処理装置（動画像データ処理装置若しくは視聴覚データ処理装置）又は音声認識装置など音声処理装置を備えることもできる。
【００６５】
テキスト・データ抽出部１１は、ＣＰＵ及びメモリなどで構成され、テキスト・データ記憶部７に保持されているテキスト・データを入力し、当該テキスト・データを分析し、分析結果であるテキスト分析データを索引付加部１２に出力する。ここで、テキスト・データ抽出部１１は、テキスト・データを分析するために、形態素解析装置、構文解析装置、構文意味解析装置、談話解析装置又は重要語抽出装置などを備えることもできる。
【００６６】
索引付加部１２は、ＣＰＵやメモリなどで構成され、視聴覚データやテキスト・データなど各メディア・データに対して索引を付加する処理を行なう。すなわち、索引付加部１２は、視聴覚データ抽出部１０から入力した視聴覚分析データに基づき、視聴覚データに対応する索引データを生成し、生成した当該索引データを索引記憶部６に出力するとともに、テキスト・データ抽出部１１から入力したテキスト分析データに基づき、テキスト・データに対応する索引データを生成し、生成した当該索引データを索引記憶部６に出力する。また、ユーザの手動によって索引付けされる場合には、索引付加部１２は、ユーザからの入力によって索引データを入力するために、いわゆるマウスなどの座標指示入力装置、キーボード及びディスプレイなどのグラフィカル・ユーザ・インタフェース（ＧＵＩ）を備える。一方、半自動又は全自動によって索引データを生成する場合には、索引付加部１２は、視聴覚データ抽出部１０から入力される視聴覚分析データ又はテキスト・データ抽出部１１から入力されるテキスト分析データに基づいて索引データを生成する。
【００６７】
索引記憶部１３は、メモリ又はハード・ディスクなど記録媒体及び記録装置によって構成され、視聴覚データやテキスト・データなど各メディア・データに対して付加された索引データを索引付加部１２から入力して保持し、索引検索部１３、視聴覚データ検索部４、テキスト・データ検索部８、要約視聴覚データ生成部２２及び要約テキスト・データ生成部２７に出力する。
【００６８】
索引提示部１５は、一般的なディスプレイ乃至モニターなどで構成され、索引検索部１４から入力される索引データを利用者に提示する。
【００６９】
索引関連付け規則入力部１６は、一般的なキーボードなどで構成され、視聴覚データに対応する索引、テキスト・データに対応する索引、要約視聴覚データに対応する索引、及び要約テキスト・データに対応する索引を関連付けるための索引関連付け規則をユーザから入力し、入力した索引関連付け規則を索引関連付け規則記憶部１７に出力する。
【００７０】
索引関連付け規則記憶部１７は、メモリ又はハード・ディスクなどの記録媒体及び記録装置によって構成され、索引関連付け規則入力部１６から入力した索引関連付け規則データを保持し、保持した索引関連付け規則データを索引関連付け部１８に出力する。
【００７１】
索引関連付け部１８は、一般的なＣＰＵ及びメモリなどで構成され、索引関連付け規則記憶部１７から入力した索引関連付け規則データに基づき、索引記憶部１３に保持されている索引データを参照し、視聴覚データに対応する索引、テキスト・データに対応する索引、要約視聴覚データに対応する索引、及び要約テキスト・データに対応する索引などの索引データを相互に関連付ける。ここで、関連付けられた索引データは、索引データとして表現される。
【００７２】
視聴覚データ要約規則入力部１９は、一般的なキーボードなどで構成され、視聴覚データ記憶部３に保持されている視聴覚データを要約するための視聴覚データ要約規則データを入力し、入力した視聴覚データ要約規則データを要約規則記憶部２０に出力する。
【００７３】
視聴覚データ要約規則記憶部１９は、一般的なメモリ又はハード・ディスクなど記録媒体及び記録装置によって構成され、視聴覚データ要約規則入力部１９から入力した視聴覚データ要約規則データを内部のメモリ又はハード・ディスクなどの記録媒体に保持し、保持した視聴覚データ要約規則データを視聴覚データ要約規則提示部２１及び要約視聴覚データ生成部２２に出力する。
【００７４】
視聴覚データ要約規則提示部２１は、一般的なディスプレイ乃至モニターなどで構成され、視聴覚データ要約規則記憶部２０から入力した視聴覚データ要約規則データを利用者に提示する。
【００７５】
要約視聴覚データ生成部２２は、一般的なＣＰＵ及びメモリなどで構成され、視聴覚データ記憶部３から視聴覚データを入力するとともに、視聴覚データ要約規則記憶部２０から視聴覚データ要約規則データを入力し、さらに索引記憶部１３から索引データを入力し、視聴覚データ要約規則データ及び索引データに応じて、視聴覚データを要約する。そして、要約された当該要約視聴覚データを要約視聴覚データ記憶部２３に出力する。
【００７６】
視聴覚データ要約記憶部２３は、一般的なメモリ又はハード・ディスクなど記録媒体及び記録装置によって構成され、要約視聴覚データ生成部２２から入力した要約視聴覚データを内部の記録媒体に保持し、保持した当該要約視聴覚データを視聴覚データ検索部４に出力する。
【００７７】
テキスト・データ要約規則入力部２４は、一般的なキーボードなどで構成され、テキスト・データ記憶部７に保持されているテキスト・データを要約するためのテキスト・データ要約規則データを入力し、入力したテキスト・データ要約規則データをテキスト・データ要約規則記憶部２５に出力する。
【００７８】
テキスト・データ要約規則記憶部２５は、一般的なメモリ又はハード・ディスクなど記憶媒体及び記憶装置によって構成され、テキスト・データ要約規則入力部２４から入力したテキスト・データ要約規則データを内部のメモリ又はハード・ディスクなどの記憶媒体に保持し、保持したテキスト・データ要約規則データをテキスト・データ要約規則提示部２６及び要約テキスト・データ生成部２７に出力する。
【００７９】
要約テキスト・データ生成部２７は、一般的なＣＰＵ及びメモリなどで構成され、テキスト・データ記憶部７からテキスト・データを入力するとともに、テキスト・データ要約規則記憶部２５からテキスト・データ要約規則データを入力し、索引記憶部１３から索引データを入力し、テキスト・データ要約規則データ及び索引データに応じて、テキスト・データを要約し、要約された当該要約テキスト・データを要約テキスト・データ記憶部２８に出力する。
【００８０】
要約テキスト・データ記憶部２８は、一般的なメモリ又はハード・ディスクなど記憶媒体及び記憶装置によって構成され、要約テキスト・データ生成部２７から入力した要約テキスト・データを内部の記憶媒体に保持し、保持した当該要約テキスト・データをテキスト・データ検索部８に出力する。
【００８１】
同期部２９は、視聴覚データ入力部２が複数の視聴覚データを入力する場合あるいはテキスト・データ入力部２４が複数のテキスト・データを入力する場合、各視聴覚データ及びテキスト・データを相互に同期化する。ここで、同期化するためのパラメータである遅延時間データは、各視聴覚データに対する属性情報又は各テキスト・データに対する属性情報としてそれぞれ視聴覚データ記憶部３又はテキスト・データ記憶部７に保持される。
【００８２】
続いて、視聴覚データ及びテキスト・データに対して、それぞれ索引データを付加するとともに、これらのデータをそれぞれの要約規則に基づいて要約して要約視聴覚データ及び要約テキスト・データを生成し、さらに生成された要約視聴覚データ及び要約テキスト・データを索引関連付け規則に基づいて相互に関連付けるための処理手順について説明する。
【００８３】
図２には、本実施形態に係るマルチメディア記録手続きの処理手順をフローチャートの形式で示している。
【００８４】
まず、視聴覚データ入力部２により視聴覚データを捕捉して、これを視聴覚データ記憶部３に保持するとともに（ステップＳ１）、テキスト・データ入力部６によりテキスト・データを捕捉し、これをテキスト・データ記憶部７に保持する（ステップＳ２）。
【００８５】
そして、視聴覚データ記憶部３から取り出した視聴覚データを、要約視聴覚データ生成部２２により視聴覚データ要約規則に基づいて要約する（ステップＳ３）。また同様に、テキスト・データ記憶部２５から取り出したテキスト・データを、要約テキスト・データ生成部２７によりテキスト・データ要約規則に基づいて要約する（ステップＳ４）。さらに、これら生成された要約視聴覚データ及び要約テキスト・データの関連付けを行なう（ステップＳ５）。
【００８６】
図２に示すように、視聴覚データ捕捉ステップＳ１は、視聴覚データ捕捉ステップＳ１は、視聴覚データ入力ステップＳ６、視聴覚データ抽出ステップＳ７、及び視聴覚データ索引付加ステップＳ８の各手続きで構成される。
【００８７】
視聴覚データ入力ステップＳ６においては、視聴覚データ、すなわち視聴覚データ入力部２のビデオ・カメラから捕捉された動画データと同じく視聴覚データ入力部２のマイク・システムから捕捉された音声データを入力し、入力した視聴覚データを視聴覚データ記憶部３に保持する。
【００８８】
ここで、ユーザは、必要に応じて捕捉した視聴覚データを、視聴覚データ提示部５を通して視聴することができる。また、視聴覚データ記憶部３は、視聴覚データ入力部２によって捕捉された視聴覚データを入力し、内部のメモリ乃至ハード・ディスクの記録媒体に記録し、さらに記録された視聴覚データを視聴覚データ検索部４、視聴覚データ抽出部１０、視聴覚データ要約生成部２２に出力する。
【００８９】
視聴覚データ抽出ステップＳ７においては、視聴覚データ抽出部８は、視聴覚データ記憶部３から入力した視聴覚データからその特徴を表現する特徴量データを抽出し、抽出した特徴量データに基づいて係る視聴覚データに対して時間的空間的又は意味的なセグメント化を行なう。
【００９０】
視聴覚データ索引付加ステップＳ８においては、索引付加部１２は、視聴覚データ抽出部８によって抽出された特徴量データとセグメント化された視聴覚データに基づいて、索引データを生成し、すなわち視聴覚データに対して索引付けを行ない、生成した索引データを索引記憶部１３に出力する。
【００９１】
また、図２に示すように、テキスト・データ捕捉ステップＳ２は、テキスト・データ捕捉ステップＳ２は、テキスト・データ入力ステップＳ９、テキスト・データ抽出ステップＳ１０、及びテキスト・データ索引付加ステップＳ１１の各手続きで構成される。
【００９２】
テキスト・データ入力ステップＳ９においては、テキスト・データ入力部６は、キーボードなどからテキスト・データを入力し、入力したテキスト・データをテキスト・データ記憶部７に出力する。
【００９３】
テキスト・データ抽出ステップＳ１０においては、テキスト・データ抽出部１１は、テキスト・データ記憶部７から入力したテキスト・データに基づいて、対象とするテキスト・データの文中に疑問詞又は疑問を表現する助詞乃至助動詞などが含まれているか否かを検出する。そして、文中に疑問詞又は疑問を表現する助詞乃至助動詞などが含まれている場合には、対象とする文、すなわちテキスト・データを疑問文と特定し、さらに疑問詞が含まれている場合は、疑問詞の種類によって疑問文の型を表現する“Ｗｈａｔ”などの疑問文型データを特定する。本実施形態では、図３に示すような疑問詞と疑問文の型の対応表を用いて疑問文型データを特定する。
【００９４】
テキスト・データ索引付加ステップＳ１１においては、索引付加部１２は、疑問文として特定された文に対しては、ＱＵＥＳＴＩＯＮという索引を付与してデータを構造化する。
【００９５】
さらに、索引付加部１２は、疑問文に対しては、テキスト・データ抽出ステップＳ１０で特定された疑問文型データを索引として付与する。
【００９６】
また、図２に示すように、視聴覚データ要約ステップＳ３は、視聴覚データ要約ステップＳ３は、視聴覚データ要約規則入力ステップＳ１２及び要約視聴覚データ生成ステップＳ１３で構成される。
【００９７】
視聴覚データ要約規則入力ステップＳ１２においては、視聴覚データ要約規則入力部１９は、視聴覚データ記憶部３に保持されている視聴覚データを要約するための視聴覚データ要約規則データを入力し、入力した視聴覚データ要約規則データを要約規則記憶部２０に出力する。また、視聴覚データ要約規則記憶部２０は、視聴覚データ要約規則入力部１９から入力した視聴覚データ要約規則データを内部のメモリ又はハードディスクなどの記録媒体に保持し、保持した視聴覚データ要約規則データを視聴覚データ要約規則提示部２１及び要約視聴覚データ生成部２２に出力する。
【００９８】
要約視聴覚データ生成ステップＳ１３においては、要約視聴覚データ生成部２２は、視聴覚データ記憶部３から視聴覚データを入力するとともに、視聴覚データ要約規則記憶部２０から視聴覚データ要約規則データを入力し、索引記憶部１３から索引データを入力する。そして、視聴覚データ要約規則データ及び索引データに応じて視聴覚データを要約し、要約された当該要約視聴覚データを要約視聴覚データ記憶部２３に出力する。また、視聴覚データ要約記憶部２３は、要約視聴覚データ生成部２２から入力した要約視聴覚データを内部の記録媒体に保持し、保持した当該要約視聴覚データを視聴覚データ検索部４に出力する。
【００９９】
また、図２に示すように、テキスト・データ要約ステップＳ４は、テキスト・データ要約ステップＳ４は、テキスト・データ要約規則入力ステップＳ１４及び要約テキスト・データ生成ステップＳ１５で構成される。
【０１００】
テキスト・データ要約規則入力ステップＳ１４においては、テキスト・データ要約規則入力部２４は、疑問文の型が“Ｗｈａｔ”である疑問文のみを抽出するなどのテキスト・データ要約規則データをキーボードなどから入力し、入力したテキスト・データ要約規則データをテキスト・データ要約規則記憶部２５に出力する。
【０１０１】
要約テキスト・データ生成ステップＳ１５においては、要約テキスト・データ生成部２７は、テキスト・データ要約規則記憶部２５に保持されているテキスト・データ要約規則データを用いて、テキスト・データ記憶部７に保持されているテキスト・データを要約し、要約した要約テキスト・データを要約テキスト・データ記憶部２８に出力する。
【０１０２】
疑問視と疑問文の方の対応表は、図３に示した通りである。ここで、図４に示したようなテキスト・データ例を、図５に示したように索引付けした後、索引を利用して要約を行なった例を図６に示している。
【０１０３】
また、図２に示すように、要約関連付けステップＳ５は、要約関連付けステップＳ５は、索引関連付け規則入力ステップＳ１６及び索引関連付けステップＳ１７で構成される。
【０１０４】
索引関連付け規則入力ステップＳ１６においては、索引関連付け規則入力部１６は、視聴覚データに対応する索引、テキスト・データに対応する索引、要約視聴覚データに対応する索引、及び要約テキスト・データに対応する索引を関連付けるための索引関連付け規則をユーザから入力し、入力した索引関連付け規則を索引関連付け規則記憶部１７に出力する。また、索引関連付け規則記憶部１７は、索引関連付け規則入力部１６から入力した索引関連付け規則データを保持し、保持した索引関連付け規則データを索引関連付け部１８に出力する。
【０１０５】
索引関連付けステップＳ１７においては、索引関連付け部１８は、索引関連付け規則記憶部１７から入力した索引関連付け規則データに基づき、索引記憶部１３に保持されている索引データを参照し、索引データを相互に関連付ける。ここで関連付けられた索引データは、索引データとして表現される。
【０１０６】
ここで、視聴覚データ抽出ステップＳ７における視聴覚データからの特徴量抽出とセグメント化について説明する。
【０１０７】
Ｒａｉｎｅｒ Ｌｉｅｎｈａｒｔらは、“ＶＩＤＥＯ  ＡＢＳＴＲＡＣＴＩＮＧ”（Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｏｆ ｔｈｅ ＡＣＭ Ｄｅｃ １９９７，Ｖｏｌ．４０，Ｎｏ．１２，ｐｐ．５４−６３，１９９７）において、エッジ変化率パラメータ（ｅｄｉｇｅ−ｃｈａｎｇｅ−ｒａｔｉｏ ｐａｒａｍｅｔｅｒ）を用いたカット検出を行なっており、カット検出によりゼグメント化された隣接ショットはクラスタリングによってより大きな単位を構築するために利用される。このようなカット検出を用いて視聴覚データをショット、すなわちフレームのまとまりとしてセグメント化することができる。
【０１０８】
また、Ｄｒｅｗらは、“Ｖｉｄｅｏ  Ｋｅｙｆｒａｍｅ Ｐｒｏｄｕｃｔｉｏｎ ｂｙ Ｅｆｆｉｃｉｅｎｔ Ｃｌｕｓｔｅｒｉｎｇ ｏｆ ｃｏｍｐｒｅｓｓｅｄ  Ｃｈｒｏｍａｔｉｃｉｔｙ Ｓｉｇｎａｔｕｒｅｓ”（ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＡＣＭ Ｍｕｌｔｉｍｅｄｉａ ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｄｉｇｉｔａｌ ｌｉｂｒａｒｉｅｓ，ｐｐ２１−２９，１９９７）において、映像中の明るさの変化によるビデオ・フレーム特徴量を抽出する技術を開発した。このようなビデオ・フレームに対応する特徴量などを視聴覚データに対する索引付けのための特徴量データとすることができる。
【０１０９】
また、上記索引データは、いわゆるＭＰＥＧ−７として規定されているようなＸＭＬ形式のデータとして表現することが可能である。このようなＸＭＬ形式のデータとして索引データを表現した場合、視聴覚データの特徴量を、視聴覚データの特徴量を内容とする要素のテキスト・データ又はバイナリ・データとしてエンコードされた埋め込み型のデータあるいは外部リンクとしての参照データとして表現することができる。
【０１１０】
次に、要約視聴覚データ生成ステップＳ１３における視聴覚データの索引データを利用した視聴覚データの要約生成について説明する。
【０１１１】
視聴覚データの各ビデオ・フレームに対応して、当該ビデオ・フレームの特徴量を前述のようにＸＭＬなどの形式で表現することができる。このように表現された視聴覚データの特徴量に対して、任意の特徴量に対する閾値を設定し、当該閾値と各ビデオ・フレームの特徴量を比較することにより、特定のビデオ・フレームを選択することができる。選択したビデオ・フレームを要約視聴覚データとすることができる。
【０１１２】
第２の実施形態：
続いて、視聴覚データ抽出部１０において抽出した視聴覚データから特徴量を抽出するための処理手順について説明する。
【０１１３】
図７には、マルチメディア記録装置１における索引付加部１２に関連する部分を詳細に図解している。本実施形態に係るマルチメディア記録装置１は、図１に示した装置構成に加えて、外部データベース部３０、ログ・データ抽出部３１、センサー部３２、及びイベント抽出部３３をさらに備えている。
【０１１４】
外部データベース部３０には、組織活動を記録したデータベースを利用することができる。例えば、外部データベース部３０として、富士ゼロックス社製の組織活動のタスクを管理するＡｒｃＳｕｉｔｅデータベースを利用することができる。また、個人のスケジュールを管理するサイボウズ社製のサイボウズ・データベースを利用することもできる。
【０１１５】
ログ・データ抽出部３１は、外部データベース部３０からデータベースに記録されているログあるいは内容を抽出し索引付加部１２に出力する。
【０１１６】
センサー部３２は、会議室などのドアの開閉を検知するいわゆるセキュリティ・カードや赤外線センサーや照明のスイッチなどで構成され、人の存在を検知する。
【０１１７】
イベント抽出部３３は、センサー部３２の出力結果を入力し、会議室などのドアの開閉、人の滞在、あるいは照明のオン・オフなどのイベントの時間、あるいは時刻や場所などのイベント・データを特定し、特定したイベント・データを索引付加部１２にイベント・データとして出力する。
【０１１８】
続いて、外部データベース部３０及びセンサー部３２から抽出されたログ・データやイベント・データに基づいて索引データを生成するための処理手順について説明する。
【０１１９】
ここでは、外部データベース部３０として、サイボウズ・データベースなどのスケジュールをＨＴＭＬとして表現するデータ・ベースを用い、スケジュール欄に会議開催の時間帯を登録した場合を想定する。この場合、ログ・データ抽出部３１は、ＨＴＭＬファイルとしてスケジュール欄を表現するウェブ・ページをパース（解析）し、例えば、「会議」という文字列の含まれるスケジュール・データを特定することができる。さらに、「会議」という文字列を含む文字列を内容とするＨＴＭＬ要素中の時間を表現する文字列を特定することにより、登録した会議開催に対応する会議開催の時間帯を特定することができる。ログ・データ抽出部３１は、特定した会議開催の時間帯と「会議」を含む文字列をログ・データとして索引付加部１２に出力することができる。
【０１２０】
索引付加部１２は、ログ・データ抽出部３１から入力した時刻情報、あるいは時間情報及び場所情報などのログ・データに基づいて、会議などの組織活動に関する索引データを生成する。また、索引付加部１２は、さらに生成した索引データと視聴覚データに基づく索引データから、組織活動に関連した視聴覚データの索引データを新たに生成することができる。例えば、会議時間に対応して、視聴覚データをセグメンテーションし、索引データを生成することができる。
【０１２１】
また、センサー部３２に会議室の入出を管理するセキュリティ・カードと当該会議室と当該会議室の照明スイッチを使った場合を想定すると、セキュリティー・カードの使用時刻によって会議室の利用開始時間を推定することが可能であり、会議室の照明スイッチのオン・オフの時間によって会議開催時間を推定することが可能である。これらのセキュリティー・カードの使用時刻と照明スイッチのオン・オフ間の時間をイベント抽出部３３で検知し、会議開催時間を表現する会議イベント・データを生成し、生成した会議イベントを索引付加部１２に出力する。
【０１２２】
索引付加部１２は、イベント抽出部３３から入力した会議イベントに基づいて索引データを生成することができる。ログ・データからの索引生成と同様に、索引データと視聴覚データに基づく索引データから、組織活動に関連した視聴覚データの索引データを新たに生成することができる。例えば、会議時間に対応して、視聴覚データをセグメンテーションし、索引データを生成することができる。
【０１２３】
ここで、組織活動の単位は、数日から数ヶ月に及ぶプロジェクトやタスク、日々の会議やプレゼンテーションあるいは、任意の会議やインフォーマルな談話での会話などを単位とすることができる。
【０１２４】
第３の実施形態：
続いて、視聴覚データに対する索引データとテキスト・データに対する索引データを関連付けるための処理手順について説明する。
【０１２５】
図８には、視聴覚データに対する索引データとテキスト・データに対する索引データを関連付けられた索引データの例を示している。図示のでは、索引データは、いわゆるＸＭＬ形式で表現され、視聴覚データに対する索引データがｖｉｄｅｏ要素で表現され、テキスト・データに対する索引データがｔｅｘｔ要素で表現され、要約視聴覚データがｖｉｄｅｏ−ｓｕｍｍａｒｙ要素で表現され、要約視聴覚データがｔｅｘｔ−ｓｕｍｍａｒｙ要素で表現されているものとする。ｖｉｄｅｏ要素、ｔｅｘｔ要素、ｖｉｄｅｏ−ｓｕｍｍａｒｙ要素及びｔｅｘｔ−ｓｕｍｍａｒｙ要素は、それぞれｉｄ属性を持ち各要素を識別することが可能である。
【０１２６】
視聴覚データに対する索引データとテキスト・データに対する索引データとの関連は、ｒｅｌａｔｉｏｎｓ要素中のｒｅｌａｔｉｏｎ要素で表現することができる。ｒｅｌａｔｉｏｎ要素は、ｓｏｕｒｃｅ−ｔｙｐｅ属性、ｓｏｕｒｃｅ−ｉｄ属性、ｄｅｓｔｉｎａｔｉｏｎ−ｔｙｐｅ属性、ｄｅｓｔｉｎａｔｉｏｎ−ｉｄ属性を持つ。ここで、ｓｏｕｒｃｅ−ｔｙｐｅ属性は関連付けられる対象の一方の要素の型を表現し、ｓｏｕｒｃｅ−ｉｄ属性は、要素の識別子を表現し、ｄｅｓｔｉｎａｔｉｏｎ−ｔｙｐｅ属性は関連付けられる対象の他の一方の要素の型を表現し、ｄｅｓｔｉｎａｔｉｏｎ−ｉｄ属性は、要素の識別子を表現する。
【０１２７】
図８に示す例のように、一つの要約視聴覚データと２つの要約テキスト・データをそれぞれｒｅｌａｔｉｏｎ要素として関連を表現することができる。
【０１２８】
また、索引データ間の相互の関連性は、ｒｅｌａｔｉｏｎ要素のｒｅｌａｔｉｏｎ−ｔｙｐｅ属性で表現することもできる。例えば、抽象具体の関係をｒｅｌａｔｉｏｎ−ｔｙｐｅ属性のａｂｓｔｒａｃｔ−ｃｏｎｃｒｅｔｅの値で表現し、前後関係を同じくｒｅｌａｔｉｏｎ−ｔｙｐｅ属性のｐｒｅｖｉｏｕｓ−ｎｅｘｔの値で表現することができる。
【０１２９】
索引データ間の相互の関連性が抽象具体の関係の場合、利用者に対するグラフィカル・ユーザ・インタフェースにおいて、抽象具体の関係をいわゆるベン図の包含関係として図的に強調表現し、利用者に提示することによって、視聴覚データあるいはテキスト・データ相互の関係性を明瞭にすることができる。
【０１３０】
また、索引データ間の関係が前後関係の場合、利用者に対するグラフィカル・ユーザ・インタフェースにおいて、前後関係を矢印などの図形要素として強調表現し、利用者に提示することによって視聴覚データあるいはテキスト・データ相互の関係性を明瞭にすることができる。
【０１３１】
なお、索引データの関連付けは、ＸＭＬ要素に含まれる属性を参照し、その属性の関連性に基づいて、相異なる索引データ乃至ＸＭＬ要素を関連付けることができる。
【０１３２】
図９には、関連付けのパターンを示している。視聴覚データ、テキスト・データ、要約視聴覚データ及び要約テキスト・データは、それぞれ同一の型、例えば視聴覚データ同士、テキスト・データ同士、要約視聴覚データ同士、あるいは要約テキスト・データ同士との関連付けを行なうことができるとともに、それぞれ異なる型同士で相互に関連付けを行なうことができる。例えば、視聴覚データと要約視聴覚データとを関連付けることができるし、視聴覚データと要約テキスト・データとを関連付けることもできる。これらの同一若しくは異なる型のデータ間の関連付けを上述のように索引データとして表現することができる。
【０１３３】
ここで、ＸＭＬデータによるデータ表現について説明する。まず、視聴覚データと要約視聴覚データのそれぞれのデータに対するＸＭＬ表現について説明する。
【０１３４】
図１０には、視聴覚データのＸＭＬ表現の例を示している。また、図１１には、要約視聴覚データのＸＭＬ表現の例を示している。
【０１３５】
ここで、図１０に示すように、視聴覚データは、ｕｒｌ要素で示すように対応するＵＲＬが“ｒｓｔｐ：／／ｖｉｄｅｏｓｅｒｖｅｒ／ｖｉｄｅｏ１．ｍｐｇ"であり、そのＵＲＬで示されている場所に実データが格納され、ｎａｍｅ要素で示すように名前が“ｓａｍｐｌｅ ｖｉｄｅｏ"であり、ｓｔａｒｔ−ｔｉｍｅ要素で示すように再生開始時刻が２００３年１０月１５日１０時であり、ｄｕｒａｔｉｏｎ要素で示すように所要時間が３６００秒であるとする。
【０１３６】
これに対し、視聴覚データ要約規則に基づいて視聴覚データから生成された要約視聴覚データは、図１１に示す通りとなる。すなわち、ｖｉｄｅｏ−ｓｕｍｍａｒｙ要素中のｓｔａｒｔ−ｔｉｍｅ要素で示すように再生開始時刻が２００３年１０月１５日の１０時５５分であり、同じくｖｉｄｅｏ−ｓｕｍｍａｒｙ要素中のｄｕｒａｔｉｏｎ要素で示すように所要時間が３００秒であるとする。このように要約視聴覚データは、元のソースとなる視聴覚データに対応するＸＭＬ表現に埋め込まれる形式で表現することができる。
【０１３７】
次に、テキスト・データと要約テキスト・データのそれぞれのデータに対するＸＭＬ表現について説明する。
【０１３８】
図１２には、テキスト・データのＸＭＬ表現の例を示している。また、図１３には、要約テキスト・データのＸＭＬ表現の例を示している。
【０１３９】
ここで、図１２に示すように、テキスト・データは、ｕｒｌ要素で示すように対応するＵＲＬが“ｈｔｔｐ：／／ｔｅｘｔｄａｔａ／ｔｅｘｔ．ｔｘｔ"であり、そのＵＲＬに示されているところに実データが格納されているとする。これに対し、テキスト・データ要約規則に基づいて生成された要約テキスト・データは、図１３に示す通りとなる。すなわちｔｅｘｔ−ｓｕｍｍａｒｙ要素で示すように、識別属性（ｉｄ属性）が“１"である要約テキスト・データと識別属性が“２"である要約テキスト・データであるとする。このように要約テキスト・データは元のソースとなるテキスト・データに対応するＸＭＬ表現に埋め込まれる形式で表現することができる。
【０１４０】
図１４には、図１０に示した視聴覚データと図１２に示したテキスト・データが関連付けられた場合のＸＭＬデータ表現の例を示している。同図に示すように、関係付けられる視聴覚データとテキスト・データをｖｉｄｅｏ要素とｔｅｘｔ要素とを記述することによって対応関係を明示することが可能となる。
【０１４１】
ここで、テキスト・データについては、テキスト・データの各文字、各文、若しくは各節など言語表現の単位毎に時間属性を特定して表現することも可能である。例えば、図１５に示すように、ｕｒｌ要素で示される“ｈｔｔｐ：／／ｔｅｘｔｄａｔａ／ｔｅｘｔ．ｔｘｔ"のテキストの内容からｐａｒａｇｒａｐｈ要素で示す３つの節が抽出されたとし、それらの節がそれぞれｓｔａｒｔ−ｔｉｍｅ及びｄｕｒａｔｉｏｎで特定される時間に関係付けることができる。
【０１４２】
テキスト・データの各文字や各文乃至各節などの言語表現単位の時間の特定は、例えば、それらを利用者が利用した時間として特定することができる。
【０１４３】
図１６には、図１０に示した視聴覚データと図１３に示した要約テキスト・データが関連付けられた場合のＸＭＬ表現の例を示している。また、図１７に示すように、要約テキスト・データの元になったデータを特定する時間情報をｔｅｘｔ−ｓｕｍｍａｒｙ要素のｓｔａｒｔ−ｔｉｍｅ属性及びｄｕｒａｔｉｏｎ属性で表現することによって、視聴覚データと要約テキスト・データを関連付けることもできる。
【０１４４】
また、図１８には、図１２に示したテキスト・データと図１１に示した要約視聴覚データが関連付けられた場合のＸＭＬ表現の例を示している。また、図１９には、テキスト・データの節の時間が特定されている場合のテキスト・データと要約視聴覚データとの関連付けを示している。
【０１４５】
次に、本実施形態に係るマルチメディア記録装置１において、視聴覚データ、テキスト・データ、要約視聴覚データ、並びに要約テキスト・データを取り扱うためのグラフィカル・ユーザ・インタフェースについて説明する。
【０１４６】
図２０には、グラフィカル・ユーザ・インタフェースの例を示している。このグラフィカル・ユーザ・インタフェースは、視聴覚データ・ビュー３４、テキスト・データ・ビュー３９、要約視聴覚データ・ビュー４４、及び要約テキスト・データ・ビュー４９を備えている。
【０１４７】
視聴覚データ・ビュー３４は、視聴覚データを操作するためのグラフィカル・ユーザ・インタフェースである。テキスト・データ・ビュー３９は、テキスト・データを操作するためのグラフィカル・ユーザ・インタフェースである。要約視聴覚データ・ビュー４４は、要約視聴覚データを操作するためのグラフィカル・ユーザ・インタフェースである。また、要約テキスト・データ・ビュー４９は、要約テキスト・データを操作するためのグラフィカル・ユーザ・インタフェースである。それぞれ対応する各データの時刻情報に基づいて同期して、若しくは非同期的にユーザは各データを操作することが可能である。
【０１４８】
視聴覚データ・ビュー３４は、視聴覚データ・ディスプレイ３５及び視聴覚データ制御パネル３６で構成される。さらに、視聴覚データ制御パネル３６は、再生位置を指定するスライダー・バー３７、及び再生動作を指示する制御ボタン群３８を備えている。制御ボタン群３８は、再生ボタン、停止ボタン、いわゆる早送りボタン、いわゆる巻き戻しボタンなどで構成される。ここで、視聴覚データ・ディスプレイ35は、利用者による視聴覚データ制御パネル３６のスライダー・バー３７又は制御ボタン群３８の操作に応じた視聴覚データを表示する。
【０１４９】
なお、視聴覚データを構成する動画データは、視聴覚データ・ディスプレイ３５に表示され、一方、視聴覚データを構成する音声データは、別途用意するスピーカーなどから出力されるものとする。
【０１５０】
テキスト・データ・ビュー３９は、テキスト・データ・ディスプレイ４０及びテキスト・データ制御パネル４１を備えている。さらに、テキスト・データ制御パネル４１は、テキストの表示位置を指定するスライダー・バー４２、及びテキストの再生動作を制御する制御ボタン群４３を備えている。制御ボタン群４３は、再生ボタン、停止ボタン、いわゆる早送りボタン、いわゆる巻き戻しボタンなどで構成される。
【０１５１】
ここで、テキスト・データ・ディスプレイ４０は、ユーザによるテキスト・データ制御パネル４１のスライダー・バー４２又は制御ボタン群４３の操作に応じてテキスト・データを表示する。
【０１５２】
要約視聴覚データ・ビュー４４は、要約視聴覚データ・ディスプレイ４５及び要約視聴覚データ制御パネル４６を備えている。さらに、要約視聴覚データ制御パネル４６は、再生位置を指定するためのスライダー・バー４７、及び再生動作を指示するための制御ボタン群４８を備えている。制御ボタン群４８は、再生ボタン、停止ボタン、いわゆる早送りボタン、いわゆる巻き戻しボタンなどで構成される。
【０１５３】
ここで、要約視聴覚データ・ディスプレイ４５は、ユーザによる要約視聴覚データ制御パネル４６のスライダー・バー４７又は制御ボタン群４８の操作に応じた要約視聴覚データを表示する。
【０１５４】
なお、要約視聴覚データを構成する動画データは、要約視聴覚データ・ディスプレイ４５に表示され、一方、要約視聴覚データを構成する音声データは、別途用意するスピーカーなどから出力されるものとする。
【０１５５】
要約テキスト・データ・ビュー４９は、要約テキスト・データ・ディスプレイ５０及び要約テキスト・データ制御パネル５１で構成される。さらに、要約テキスト・データ制御パネル５１は、再生位置を指定するためのスライダー・バー５２、及び再生動作を指示するための制御ボタン群５３を備えている。制御ボタン群５３は、再生ボタン、停止ボタン、いわゆる早送りボタン、いわゆる巻き戻しボタンなどで構成される。
【０１５６】
ここで、要約テキスト・データ・ディスプレイ５０は、ユーザによる要約テキスト・データ制御パネル５１のスライダー・バー５２又は制御ボタン群５３の操作に応じた要約テキスト・データを表示する。
【０１５７】
また、ユーザが視聴覚データ・ビュー３４、テキスト・データ・ビュー３９、要約視聴覚データ・ディスプレイ４４、及び要約テキスト・データ・ビュー４９のいずれか若しくはすべてを同期して操作する場合、同期したデータに対するスライダー・バー３７、スライダー・バー４２、スライダー・バー４７及びスライダー・バー５２のいずれか若しくはすべては連動し、また同期したデータに対する制御ボタン群３８、制御ボタン群４３、制御ボタン群４８及び制御ボタン群５３のいずれか若しくはすべては、スライダー・バーと同様に連動し、ユーザは各データを操作できる。
【０１５８】
また、例えば、視聴覚データ・ビュー３４において提示されている視聴覚データと要約テキスト・データ・ビュー４９において提示されている要約テキスト・データが同期している場合、それぞれのメディアで対応している部分を利用者に視覚的にフィードバックするために視聴覚データ制御パネル３６のスライダー・バー３７の時間的に対応する区間の色を赤などの色で強調表示し、あるいは既定のアイコンを提示することによって強調表示し、一方、対応する要約テキスト・データを要約テキスト・データ・ディスプレイ５０内でフォントの色を赤などの色で強調表示することによって、利用者に対して視覚的に同期していることを通知することができる。また、要約テキスト・データに対応する視聴覚データの再生時にブザー音など聴覚的なデータを音響的にミキシング再生することによって利用者に要約テキスト・データと視聴覚データが対応していることを通知することもできる。
【０１５９】
また、図２１には、グラフィカル・ユーザ・インタフェースについての他の構成例を示している。この場合、要約視聴覚データが視聴覚データから部分的に選択乃至抽出され要約データとして再構成乃至生成された場合、視聴覚データのタイムライン５４及び要約視聴覚データのタイムライン５５を、同図に示すように表現することができる。
【０１６０】
ここで、視聴覚データのタイムライン５４は、視聴覚データ全体を表現するとともに、どの部分が要約視聴覚データとして選択乃至抽出されたかを同図に示すようなハッチで強調した長方形などの図形として表現することができる。
【０１６１】
また、要約視聴覚データのタイムライン５５は、どのように要約視聴覚データが構成されているかを示す。
【０１６２】
また、同図に示すように、現在表示位置を示すバー５６及び５７を表示することによって、ユーザに対して、どの時刻の視聴覚データ又は要約視聴覚データを表示しているのかを提示することが可能である。
【０１６３】
このように本発明によれば、１つ以上の視聴覚データ及びテキスト・データを同期して記録、蓄積、提示及び索引付けし、同期した視聴覚データ同士又は同期したテキスト・データ同士又は同期した視聴覚データ及びテキスト・データを、ユーザの指定に応じて提示時に視聴覚データあるいはテキスト・データの内容とともにそれらの関係性を強調表現することが可能である。
【０１６４】
また、図２０に示したように、視聴覚データ、テキスト・データ、並びにこれらの索引を２次元又は３次元のタイム・ライン形式又は表形式によって表現し、視聴覚データ同士の関連又はテキスト・データ同士の関連、あるいは視聴覚データとテキスト・データとの関連を、当該関連の属性に応じて図形要素、テキスト形式のラベル若しくは音声データとして表現し、提示することができる。
【０１６５】
すなわち、本実施形態のように映像やビデオの視聴覚データとテキスト・データのマルチメディア・データを対象とした場合、視聴覚データに対して独立したテキスト・データ、逆に、テキスト・データに対して独立した視聴覚データをそれぞれ相互に関連付けるとともに、それらを要約し、要約した視聴覚データ及びテキスト・データを相互に利用することができる。
【産業上の利用可能性】
【０１６６】
以上、特定の実施形態を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本発明の要旨を判断するためには、冒頭に記載した特許請求の範囲の欄を参酌すべきである。
【図面の簡単な説明】
【０１６７】
【図１】図１は、本発明の一実施形態に係るマルチメディア記録装置１の機能構成を示したブロック図である。
【図２】図２は、マルチメディア記録手続きの処理手順を示したフローチャートである。
【図３】図３は、疑問詞と疑問文の型の対応表を示した図である。
【図４】図４は、テキスト・データ例を示した図である。
【図５】図５は、図４に示したテキスト・データ例に関して索引付けを行なった索引月テキスト・データ例である。
【図６】図６は、図５に示した索引月テキスト・データを利用したテキスト・データの要約例を示した図である。
【図７】図７は、マルチメディア記録装置１の索引付加部１２に関連する部分を示したブロック図である。
【図８】図８は、視聴覚データに対する索引データとテキスト・データに対する索引データを関連付けられた索引データの例を示した図である。
【図９】図９は、関連付けのパターンを示した図である。
【図１０】図１０は、視聴覚データのＸＭＬ表現の例を示した図である。
【図１１】図１１は、要約視聴覚データのＸＭＬ表現の例を示した図である。
【図１２】図１２は、テキスト・データのＸＭＬ表現の例を示した図である。
【図１３】図１３は、要約テキスト・データのＸＭＬ表現の例を示した図である。
【図１４】図１４は、図１０に示した視聴覚データと図１２に示したテキスト・データが関連付けられた場合のＸＭＬデータ表現の例を示した図である。
【図１５】図１５は、図１０に示した視聴覚データと図１２に示したテキスト・データが関連付けられた場合のＸＭＬデータ表現についての他の例を示した図である。
【図１６】図１６は、図１０に示した視聴覚データと図１３に示した要約テキスト・データが関連付けられた場合のＸＭＬ表現の例を示した図である。
【図１７】図１７は、図１０に示した視聴覚データと図１３に示した要約テキスト・データが関連付けられた場合のＸＭＬ表現についての他の例を示した図である。
【図１８】図１８は、図１２に示したテキスト・データと図１１に示した要約視聴覚データが関連付けられた場合のＸＭＬ表現の例を示した図である。
【図１９】図１９は、テキスト・データの節の時間が特定されている場合の、図１２に示したテキスト・データと図１１に示した要約視聴覚データが関連付けられた場合のＸＭＬ表現の例を示した図である。
【図２０】図２０は、視聴覚データ、テキスト・データ、要約視聴覚データ、並びに要約テキスト・データを取り扱うためのグラフィカル・ユーザ・インタフェースの構成例を示した図である。
【図２１】図２１は、グラフィカル・ユーザ・インタフェースについての他の構成例を示した図である。
【符号の説明】
【０１６８】
１…マルチメディア記録装置
２…視聴覚データ入力部
３…視聴覚データ記憶部
４…視聴覚データ検索部
５…視聴覚データ提示部
６…テキスト・データ入力部
７…テキスト・データ記憶部
８…テキスト・データ検索部
９…テキスト・データ提示部
１０…視聴覚データ抽出部
１１…テキスト・データ抽出
１２…索引付加部
１３…索引記憶部
１４…索引検索部
１５…索引提示部
１６…索引関連付け規則入力部
１７…索引関連付け規則記憶部
１８…索引関連付け部
１９…視聴覚データ要約規則入力部
２０…視聴覚データ要約規則記憶部
２１…視聴覚データ要約規則提示部
２２…要約視聴覚データ生成部
２３…要約視聴覚データ記憶部
２４…テキスト・データ要約規則入力部
２５…テキスト・データ要約規則記憶部
２６…テキスト・データ要約規則提示部
２７…要約テキスト・データ生成部
２８…要約テキスト・データ記憶部
２９…同期部
３０…外部データベース
３１…ログ・データ抽出部
３２…センサー部
３３…イベント抽出部
３４…視聴覚データ・ビュー
３５…視聴覚データ・ディスプレイ
３６…視聴覚データ制御パネル
３７…スライダー・バー
３８…制御ボタン群
３９…テキスト・データ・ビュー
４０…テキスト・データ・ディスプレイ
４１…テキスト・データ制御パネル
４２…スライダー・バー
４３…制御ボタン群
４４…要約視聴覚データ・ビュー
４５…要約視聴覚データ・ディスプレイ
４６…要約視聴覚データ制御パネル
４７…スライダー・バー
４８…制御ボタン群
４９…要約テキスト・データ・ビュー
５０…要約テキスト・データ・ディスプレイ
５１…要約テキスト・データ制御パネル
５２…スライダー・バー
５３…制御ボタン群
５４…視聴覚データのタイムライン
５５…要約視聴覚データのタイムライン
５６…現在表示位置を示すバー
５７…現在表示位置を示すバー
【図１】
2005267278.tif 000003
【図２】
2005267278.tif 000004
【図３】
2005267278.tif 000005
【図４】
2005267278.tif 000006
【図５】
2005267278.tif 000007
【図６】
2005267278.tif 000008
【図７】
2005267278.tif 000009
【図８】
2005267278.tif 000010
【図９】
2005267278.tif 000011
【図１０】
2005267278.tif 000012
【図１１】
2005267278.tif 000013
【図１２】
2005267278.tif 000014
【図１３】
2005267278.tif 000015
【図１４】
2005267278.tif 000016
【図１５】
2005267278.tif 000017
【図１６】
2005267278.tif 000018
【図１７】
2005267278.tif 000019
【図１８】
2005267278.tif 000020
【図１９】
2005267278.tif 000021
【図２０】
2005267278.tif 000022
【図２１】
2005267278.tif 000023