(57)【要約】マルチメデイア信号のコンテンツを分析するマルチメデイア信号分析システムに用いられる、マルチメデイア記録データのコンテンツ・テーブルを作成する装置及び方法が開示されている。好ましい実施形態として、当該装置は、マルチメデイア記録データにおける映像信号、音声信号及び文字信号を受信し、当該映像信号、音声信号及び文字信号の部分を結合してマルチメデイア記録データのコンテンツ・テーブルを作成することができるマルチメデイア・コンテンツ・テーブル・コントローラを有する。当該コントローラは、粗分割工程及びファイン分割工程により映像信号をセグメントに分割する。また、当該コントローラは、マルチメデイア記録データにおける要素の境界を特定する。当該コントローラは、コンテンツ・テーブルの要素を、音声、映像及び文字のデータの組み合わせと関連付けするインデックス・モジュールを有する。当該コントローラは、ユーザの要求に応じてコンテンツ・テーブルを読み出して表示させる読み出しモジュールを有する。
2004533756.tif 000002
【特許請求の範囲】
【請求項１】
マルチメデイア信号のコンテンツを分析することができるマルチメデイア信号分析システムに用いられる、記録データのマルチメデイア・コンテンツ・テーブルを作成する装置であって；
前記記録データにおける映像信号、音声信号及び文字信号を受信するマルチメデイア・コンテンツ・テーブル・コントローラを有し、
前記マルチメデイア・コンテンツ・テーブル・コントローラは、前記記録データにおける前記映像信号、前記音声信号及び前記文字信号の各部分を結合し、前記記録データのコンテンツ・テーブルを作成する、
装置。
【請求項２】
前記マルチメデイア・コンテンツ・テーブル・コントローラは、前記記録データの要素と関連する映像セグメントを選択し、前記映像セグメントを前記コンテンツ・テーブルに加えることにより、前記記録データの前記コンテンツ・テーブルを作成する、
請求項１に記載の装置。
【請求項３】
前記マルチメデイア・コンテンツ・テーブル・コントローラは、メモリ・ユニットと結合された、前記メモリ・ユニットにおけるコンピュータ・ソフトウエア命令を実行することができるコントローラを含み、
前記コントローラは、粗コンテンツ・テーブル分割アプリケーションを用い前記記録データの映像信号を複数の要素に分割すること及び、粗映像境界検出アプリケーションを用い前記記録データの前記要素の映像境界を定めることにより、前記記録データの前記コンテンツ・テーブルを作成する、
請求項２に記載の装置。
【請求項４】
前記コントローラは、結合された前記メモリ・ユニットにおけるコンピュータ・ソフトウエア命令を実行し、ファイン・コンテンツ・テーブル分割アプリケーションを用い前記記録データの映像信号を複数の要素に分割すること及びファイン映像境界検出アプリケーションを用い前記記録データの前記要素の映像境界を定めることにより、前記記録データの前記コンテンツ・テーブルを作成する、
請求項３に記載の装置。
【請求項５】
前記コントローラは、前記コンテンツ・テーブルについて選択された前記記録データの要素とリンクし、前記要素を、音声、映像及び文字のデータの組み合わせとリンクするインデックス・モジュールをさらに有する、
請求項３に記載の装置。
【請求項６】
前記コントローラは、ユーザの要求に応じて前記メモリ・ユニットに記録されたコンテンツ・テーブルを読み出し、前記コンテンツ・テーブルを表示させる読み出しモジュールを有する、
請求項５に記載の装置。
【請求項７】
前記マルチメデイア・コンテンツ・テーブル・コントローラは、前記記録データにおける前記映像信号、前記音声信号及び前記文字信号の各部分を結合し、前記記録データのマルチメデイア・インデックスを作成する、
請求項１に記載の装置。
【請求項８】
前記記録データのマルチメデイア・インデックスは、特殊なトピックマルチメデイア・インデックス、マルチメデイア参考文献及びマルチメデイア用語集の一つを含む、
請求項７に記載の装置。
【請求項９】
マルチメデイア信号のコンテンツを分析するマルチメデイア信号分析システムであって；
記録データのマルチメデイア・コンテンツ・テーブルを作成する装置を含み、
前記装置は、前記記録データにおける映像信号、音声信号及び文字信号を受信するマルチメデイア・コンテンツ・テーブル・コントローラを有し、
前記マルチメデイア・コンテンツ・テーブル・コントローラは、前記記録データにおける前記映像信号、前記音声信号及び前記文字信号の各部分を結合し、前記記録データのコンテンツ・テーブルを作成する、
マルチメデイア信号分析システム。
【請求項１０】
マルチメデイア信号のコンテンツを分析するマルチメデイア信号分析システムに用いられる、記録データのマルチメデイア・コンテンツ・テーブルを作成する方法であって；
マルチメデイア・コンテンツ・テーブル・コントローラにおいて、前記記録データにおける映像信号、音声信号及び文字信号を受信する工程；及び
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて、前記記録データにおける前記映像信号、前記音声信号及び前記文字信号の各部分を結合し、前記記録データの前記マルチメデイア・コンテンツ・テーブルを作成する工程；
を有する方法。
【請求項１１】
マルチメデイア信号のコンテンツを分析するマルチメデイア信号分析システムに用いられる、記録データのマルチメデイア・コンテンツ・テーブルを作成するためのコンピュータ読み取り可能な記録媒体に記録されたコンピュータ実行可能な命令であって；
マルチメデイア・コンテンツ・テーブル・コントローラにおいて、前記記録データにおける映像信号、音声信号及び文字信号を受信する工程；及び
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて、前記記録データにおける前記映像信号、前記音声信号及び前記文字信号の各部分を結合し、前記記録データの前記マルチメデイア・コンテンツ・テーブルを作成する工程；
を有するコンピュータ読み取り可能な記録媒体に記録されたコンピュータ実行可能な命令。
【請求項１２】
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて、前記記録データにおける前記映像信号、前記音声信号及び前記文字信号の各部分を結合し、前記記録データの前記マルチメデイア・コンテンツ・テーブルを作成する工程は、
前記記録データの要素と関連する映像セグメントを選択する工程；及び
前記映像セグメントを前記コンテンツ・テーブルに加える工程；
を有する請求項２５に記載のコンピュータ読み取り可能な記録媒体に記録されたコンピュータ実行可能な命令。
【請求項１３】
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて、前記マルチメデイア・コンテンツ・テーブル・コントローラと結合されるメモリ・ユニットにおけるコンピュータ・ソフトウエア命令を受信する工程；
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて前記命令を実行し、粗コンテンツ・テーブル分割アプリケーションを用い前記記録データの映像信号を複数の要素に分割する工程；及び
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて前記命令を実行し、粗映像境界検出アプリケーションを用い前記記録データの前記要素の映像境界を定める工程；
をさらに有する請求項２６に記載のコンピュータ読み取り可能な記録媒体に記録されたコンピュータ実行可能な命令。
【請求項１４】
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて前記命令を実行し、ファイン・コンテンツ・テーブル分割アプリケーションを用い前記記録データの映像信号を複数の要素に分割する工程；及び
前記マルチメデイア・コンテンツ・テーブル・コントローラにおいて前記命令を実行し、ファイン映像境界検出アプリケーションを用い前記記録データの前記要素の映像境界を定める工程；
をさらに有する請求項２７に記載のコンピュータ読み取り可能な記録媒体に記録されたコンピュータ実行可能な命令。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、マルチメデイア・プレゼンテーションのコンテンツの自動分析に関し、具体的に、記録されたマルチメデイア・プレゼンテーションについてのコンテンツ・テーブル及びインデックスを作成するシステム及び方法に関する。
［関連発明］
【０００２】
本発明は、N.Dimitrova等が１９９８年１月１３日に出願した、米国特許公開公報第０９／００６６５７号において開示されている、名称が“ストーリー分割可能なマルチメデイア・コンピュータ・システム及び有限オ−トマトン・ビデオ解析器を有する操作プログラム”（Multimedia  Computer  System  with  Story  Segmentation  Capacity  and  Operating  Program  Therefor  Including  Finite  Automaton  Video  Parser）となる発明に関連する。
【０００３】
また、本発明は、N.Dimitrovaが１９９９年１１月１８日に出願した、米国特許公開公報第０９／４４２９６０号において開示されている、名称が“音声・データ・映像情報選択方法及び装置”（Method  and  Apparatus  for  Audio/Data/Visual  Information  Selection）となる発明に関連する。
【０００４】
また、本発明は、R.Jasinschiが２００１年３月９日に出願した、米国特許公開公報（掲示番号７０１１６８）において開示されている、名称が“マルチメデイア分割及びインデックスに用いるコンテクスト並びにコンテンツ情報処理”（Context  and  Content  Based  Information  Processing  for  Multimedia  Segmentation  and  Indexing）となる発明に関連する。
【０００５】
これら関連出願はその同一の出願人から本願発明の譲受人に譲渡される。これら関連出願の開示内容はこの参照により本願に含まれるものとする。
【背景技術】
【０００６】
様々なビデオ・レコーダが市場において存在する。多くの人々はビデオ・カセット・レコーダ（VCR:  Video  Cassette  Recorder）（ビデオテープ・レコーダ（VTR:  Video  Tape  Recorder）とも呼ばれている）を所有し若しくは良く知っている。
【０００７】
ビデオ・カセット・レコーダは、磁気カセット・テープに映像を記録する。最近、磁気カセット・テープの代わりにコンピュータの磁気ハード・ディスクを用いて映像を記録するビデオ・カセット・レコーダも市場に出現している。例えば、ReplayTVTMレコーダとTiVOTMレコーダは、例えば、MPEG画像圧縮規格に従ってハード・ディスク・ドライブにディジタル・テレビ番組を記録する。また、磁気ディスクの代わりに、読取／書込み可能なディジタル多用途ディスク(DVD:  Digital  Versatile  Disk）に記録するビデオ・レコーダもある。
【０００８】
広く普及されたビデオ・レコーダは、ビデオ記録データを大量に生成している。ビデオ・レコーダは映像信号と音声信号両方を受信するので、ビデオ記録データはマルチメデイア・データである。このようなマルチメデイア・ビデオ記録データを分析しインデックス化し、読み出すために、幾つか種類の自動式コンピュータ化システム及び方法がすでに開発された。
【０００９】
マルチメデイア・ビデオ記録データを分析するための自動式コンピュータ化システム及び方法は、一般に、ユーザにより認識可能な複数のトピックからなる映像番組の各セグメントを識別することができる。通常、ユーザよりシステムに提供されたキーワードを検索し、所望のセグメントを特定する。
【００１０】
自動式コンピュータ化マルチメデイア読み出しシステムは、ユーザによりマルチメデイア・ビデオ記録データの一部を識別して選択することを可能にする。自動式コンピュータ化マルチメデイア読み出しシステムについて、通常次の３つの要件に満たすことが要求される。まず、ビデオ信号を映像成分、音声成分及び文字成分に分解する手段及び方法を具備する。次に、ユーザより入力された条件について、マルチメデイア・ビデオ記録データの信号における映像成分、音声成分及び文字成分を分析し、ビデオ記録データの内容に基づいてこれらの成分をセグメントに分割する手段及び方法を具備する。次に、ユーザの検索条件に合致したセグメントを結合し記録する手段及び方法を具備する。
【００１１】
米国特許公開公報第０９／００６６５７号において開示されているシステムは以上３つの要件に満している。当該出願は、１９９８年１月１３日にN.Dimitrova等によりなされ、名称が“ストーリー分割可能なマルチメデイア・コンピュータ・システム及び有限オ−トマトン・ビデオ解析器を有する操作プログラム”（Multimedia  Computer  System  with  Story  Segmentation  Capacity  and  Operating  Program  Therefor  Including  Finite  Automaton  Video  Parser）である。米国特許公開公報第０９／００６６５７号は、この参照により本明細書に含まれるものとする。
【００１２】
米国特許公開公報第０９／００６６５７号において、シンボル系列を認知する一セットのモデル、所望の選択条件を特定するマッチング・モデル及びこの選択条件に基づき、複数の映像ストーリー・セグメント(Video  Story  Segment)若しくは映像ストーリー系列を選択し読み出す手順を提供するシステム及び方法は開示されている。
【００１３】
米国特許公開公報第０９／４４２９６０号において開示されているシステムも、以上３つの要件に満している。当該出願は、１９９９年１１月１８日にN.Dimitrovaによりなされ、名称が“音声・データ・映像情報選択方法及び装置”（Method  and  Apparatus  for  Audio/Data/Visual  Information  Selection）である。米国特許公開公報第０９／４４２９６０号はこの参照により本明細書に含まれるものとする。
【００１４】
自動的にマルチメデイア・プレゼンテーションのビデオ記録データの内容（コンテンツ）を分析するシステム及び方法について、更なる改良が要請されている。特に、マルチメデイア・プレゼンテーションのビデオ記録データの内容に関するテーブルを作成できることが要請されている。
【発明の開示】
【発明が解決しようとする課題】
【００１５】
本発明の目的は、マルチメデイア・プレゼンテーションの記録データを自動的に分析することができるシステム及び方法を提供することにある。
【００１６】
また、本発明の他の目的は、マルチメデイア・プレゼンテーションの記録データの内容に関するテーブルを作成することができるシステム及び方法を提供することにある。
【００１７】
また、本発明の他の目的は、マルチメデイア・プレゼンテーションの記録データの一般的なマルチメデイア・インデックスを作成することができるシステム及び方法を提供することにある。
【００１８】
さらに、本発明の他の目的は、マルチメデイア・プレゼンテーションの記録データの具体的なトピックのマルチメデイア・インデックスを作成することができるシステム及び方法を提供することにある。
【課題を解決するための手段】
【００１９】
本発明の好ましい実施形態として、本発明の装置は、マルチメデイア記録データにおける映像信号、音声信号及び文字信号を受信することができるマルチメデイア・コンテンツ・テーブル・コントローラを有する。当該マルチメデイア・コンテンツ・テーブル・コントローラは、映像信号、音声信号及び文字信号の各部分を結合し、マルチメデイア記録データのコンテンツ・テーブルを作成する。当該マルチメデイア・コンテンツ・テーブル・コントローラは、粗分割工程、そして、ファイン分割工程を経て、映像信号をセグメントに分割する。
【００２０】
また、当該マルチメデイア・コンテンツ・テーブル・コントローラは、マルチメデイア記録データにおける各要素の境界を特定することができる。当該マルチメデイア・コンテンツ・テーブル・コントローラは、粗境界検出工程、そして、ファイン境界検出工程を行う。当該マルチメデイア・コンテンツ・テーブル・コントローラは、コンテンツ・テーブルの要素を、音声、映像及び文字データの組み合わせと関連付けをするインデックス・モジュールを有する。当該マルチメデイア・コンテンツ・テーブル・コントローラは、ユーザの要求に応じてコンテンツ・テーブルを読み出して表示させる読み出しモジュールを有する。
【００２１】
以上に、当業者が後に行われる本発明の詳細な説明をよく理解するために、本発明の主要な特徴及び技術的な利点を概略的に述べた。本発明の特許請求の範囲を構成する本発明の他の特徴及び利点を以下に説明する。当業者により、ここで開示された概念及び実施の形態を基礎として、本発明に変更を加えて、若しくは、他の構成を設計して,  本発明と同様の目標を容易に達成することができる明らかである。また、当業者は、このような構成が本発明の最も広い特許請求の範囲から逸脱するものではないことも明らかである。
【発明の効果】
【００２２】
本発明はマルチメデイア・プレゼンテーションの記録データを自動的に分析することができるシステム及び方法を提供する。また、本発明によれば、マルチメデイア・プレゼンテーションの記録データのコンテンツ・テーブルを作成することができる。また、本発明によれば、マルチメデイア・プレゼンテーションの記録データの一般的なマルチメデイア・インデックスを作成することができる。さらに、本発明によれば、マルチメデイア・プレゼンテーションの記録データの具体的なトピックのマルチメデイア・インデックスを作成することができる。
【発明を実施するための最良の形態】
【００２３】
発明の詳細な説明を行う前に、本願を通して使用する用語を定義する。
【００２４】
“コントローラ”、“プロセッサ”、又は、“装置”は、少なくとも一の動作を制御するデバイス、システム、若しくはその一部を意味する。このようなデバイスは、ハードウエア、ファームウエア、若しくは、ソフトウエア、又は、その内少なくとも２つの組み合わせにより実現することができる。なお、具体的なコントローラに関する機能は、局所的に、又は、遠隔的に集中されても分散されても良い。特に、コントローラは、複数のアプリケーション・プログラム又はオペレーティリング・システム・プログラムを実行する複数のデータ・プロセッサを含んでも良い、また、関連する入力／出力装置とメモリを含んでも良い。
以下に説明する図１から図６及び本発明の原理を説明するのに用いる多数の実施形態は、本発明を例示するものであり、本発明の特許請求の範囲を限定するものではない。以下の実施形態の説明において、本発明はマルチメデイア・プロセッサに具体化され、若しくは、マルチメデイア・プロセッサと関連して使用されるが、当業者は容易にその実施形態の例に変更を加えて他のマルチメデイア信号分析システムに用いることができることは明らかである。
【００２５】
図１は、マルチメデイア記録信号を分析するマルチメデイア信号分析システム１００の一例を示すブロック図である。
【００２６】
マルチメデイア信号分析システム１００は、マルチメデイア・プロセッサ１１０を有する。マルチメデイア・プロセッサ１１０は、マルチメデイア記録データの信号を受信し、当該信号を映像成分、音声成分及び文字成分に分解する。
【００２７】
マルチメデイア・プロセッサ１１０は、マルチメデイア記録データの信号における映像成分、音声成分及び文字成分を分析し、これらの成分を識別し、内容に基づいてこれらの成分をセグメントに分割する。マルチメデイア・プロセッサ１１０は、これらの信号成分及び信号セグメントをメモリ・ユニット１２０に記録する。好ましくは、マルチメデイア・プロセッサ１１０は、米国特許公開公報第０９／００６６５７号において開示されたマルチメデイア・プロセッサを有する。さらに、好ましくは、マルチメデイア・プロセッサ１１０は、米国特許公開公報第０９／４４２９６０号において開示されたマルチメデイア・プロセッサを有する。
【００２８】
メモリ・ユニット１２０は、例えば、ランダム・アクセス・メモリ（RAM:  Random  Access  Memory）、若しくは、ランダム・アクセス・メモリと読み出し専用メモリ（ROM:  Read  Only  Memory）の組み合わせを含む。また、メモリ・ユニット１２０は不揮発性メモリ、例えば、フラッシュ・メモリを含んでも良い。また、メモリ・ユニット１２０は大容量記憶装置、例えば、ハード・ディスク（図示せず）を含んでも良い。メモリ・ユニット１２０は、読取／書込み可能なDVD、又は、書き換え可能なＣＤ−ＲＯＭを読み取るための外付け周辺機器、若しくは、取り外し可能なディスク・ドライブ（内蔵型、又は、外付け型）を含んでも良い。図１に示すように、この種の取り外し可能なディスク・ドライブは、書き換え可能なＣＤ−ＲＯＭ１２５を受け入れ、かつ、読み取る。
【００２９】
マルチメデイア・プロセッサ１１０は、マルチメデイア記録データにおける映像成分、音声成分及び文字成分を、本発明のコントローラ１３０に提供する。コントローラ１３０は、マルチメデイア・プロセッサ１１０から制御信号を受信し、また、マルチメデイア・プロセッサ１１０へ制御信号を送信する。コントローラ１３０は、メモリ・ユニット１２０を介してマルチメデイア・プロセッサ１１０と結合する。後程詳細に説明するように、コントローラ１３０は、マルチメデイア・プロセッサ１１０から受信した映像信号、音声信号及び文字信号より、コンテンツ・テーブルを作成する。コントローラ１３０は、該コンテンツ・テーブルをメモリ・ユニット１２０に記録する。マルチメデイア・プロセッサ１１０は、ユーザの要求に応じてメモリ・ユニット１２０に記録されたコンテンツ・テーブルにアクセスし、該テーブルをユーザが観察しているディスプレイ（図示せず）に出力する。
【００３０】
コントローラ１３０は、マルチメデイア記録データの内容（コンテンツ）を要約する情報を表示するコンテンツ・テーブルを作成する。一般には、このコンテンツ・テーブルは、映像信号、音声信号と文字信号の組み合わせを含む。このコンテンツ・テーブルにより表示可能な内容は、文字、一つの映像フレームからなる映像イメージ、１シリーズの映像フレームからなる動画（映像クリップ(video  clip)、若しくは、映像セグメント(video  segment)と呼ぶ）、音声信号から清書した文書、又は、これらの組み合わせを含む。
【００３１】
図１に示すように、コントローラ１３０は、抽出モジュール(Extraction  Module)１４０と読み出しモジュール(Retrieval  Module)１５０を含む。抽出モジュール１４０は、コンテンツ・テーブル・モジュール（Table  of  Contents  Module）１６０とインデックス・モジュール１７０を含む。後程より詳細に説明するように、コンテンツ・テーブル・モジュール（ＴＯＣモジュールと記す）１６０は、マルチメデイア記録データの内容を分析する。ＴＯＣモジュール１６０は、マルチメデイア記録データにおけるトピックを識別し、これらトピックのコンテンツ・テーブルを作成する。インデックス・モジュール１７０は、コンテンツ・テーブルを構成する異なる映像セグメントとのリンクを樹立する。また、インデックス・モジュール１７０は、コンテンツ・テーブルにおける映像セグメントを構成する異なるサブ・セグメントとのリンクを樹立する。
【００３２】
読み出しモジュール１５０は、マルチメデイア・プロセッサ１１０を介して受信したユーザのリクエストに応じて、コンテンツ・テーブルにおいて、ユーザのリクエストに適合した要素にサクセスする。このような要素を見つけると、読み出しモジュール１５０は、このコンテンツ・テーブルをマルチメデイア・プロセッサ１１０に入力する。そして、マルチメデイア・プロセッサ１１０は、該コンテンツ・テーブルをディスプレイ（図示せず）に出力し、ユーザに表示する。
【００３３】
コントローラ１３０は、マルチメデイア・コンテンツ・テーブルの作成に用いられる適切な映像イメージを識別する必要がある。本発明の一つの好ましい実施形態は、マルチメデイア・コンテンツ・テーブルの作成に用いられる適切な映像イメージを識別することができるコンピュータ・ソフトウエア２００を含む。
【００３４】
図２は、本発明のコンピュータ・ソフトウエア２００を含むメモリ・ユニット１２０の一部を示す図である。
【００３５】
メモリ・ユニット１２０は、オペレーティング・システム・インターフェース・プログラム２１０、粗コンテンツ・テーブル（ＴＯＣ）分割アプリケーション２２０、ファイン・コンテンツ・テーブル（ＴＯＣ）分割アプリケーション２３０、粗映像境界検出アプリケーション２４０、ファイン映像境界検出アプリケーション２５０及びコンテンツ・テーブル記録領域２６０を含む。
【００３６】
コントローラ１３０とコンピュータ・ソフトウエア２００は、本発明を実施するマルチメデイア・コンテンツ・テーブル・コントローラを構成する。メモリ・ユニット１２０に記録されたコンピュータ・ソフトウエア２００に含まれる命令に従って、コントローラ１３０は、マルチメデイア記録データのコンテンツ・テーブルを作成し、コンテンツ・テーブル記録領域２６０に記録し、ユーザのリクエストに応じて該記録されたコンテンツ・テーブルを再生する。オペレーティング・システム・インターフェース・プログラム２１０は、コンピュータ・ソフトウエア２００の動作とコントローラ１３０の動作を調和する。
【００３７】
コンテンツ・テーブルを作成するために、コントローラ１３０とコンピュータ・ソフトウエア２００からなる本発明のマルチメデイア・コンテンツ・テーブル・コントローラは、まず、マルチメデイア記録データによる映像信号をセグメントに分割する。ここで、マルチメデイア信号の映像部分は、コンテンツ・テーブルを作成するための主な情報源であるとする。
【００３８】
コンピュータ・ソフトウエア２００とコントローラ１３０の動作を説明するために、マルチメデイア記録データは、スライドを用いた講演の録画データからなるとする。スライドを用いた典型的な講演においては、講演の名称、講演者及び所属を提示するタイトルページのスライド、講演内容の要点を概略的に提示する要約ページのスライド（これが詳細なコンテンツ・テーブルではない）、係る活動の目的、方法及び結果を提示する前書きページのスライド、使用された方法を詳細に説明する方法ページのスライド、上記の方法による結果を説明する結果ページのスライド、講演者の結論をまとめるまとめページのスライドなどが使われる。
【００３９】
講演の録画データには、一般的に、話をしている講演者の画面、スライドの画面、静止画（例えば、一つの映像フレーム）、映像クリップ、音声クリップ及び聴衆の画面の映像クリップなど、多様な情報がある。即ち、情報が画像ドメイン、音声ドメイン及び文字ドメインにおいて提供される。主流のテレビ放送番組と異なって、講演によるプレゼンテ−ションにおいて、字幕をつけることができない。そのため、講演の音声部分を、音声―文書変換技術により、文書に変換する必要がある。その変換を行うために、音声情報について、音声認識を行い、また、音声認識処理の出力について、音声―文書変換を行う。
【００４０】
コントローラ１３０は、ソフトウエア２００における粗コンテンツ・テーブル分割アプリケーション２２０を実行し、映像信号を分割する。これによって、講演者の映像（例えば、講演者の頭と肩を含む映像）、プレゼンテ−ション用スライドの映像、静止画、説明映像クリップ、聴衆の画面が生成される。スライドの画面と静止画には、ノイズによる影響を除き、動的な情報が含まれていない。説明映像クリップは講演の構成部分であり、これを用いて、講演者はあるスライド、又は、講演のあるトピックを説明する。
【００４１】
ソフトウエア２００における粗コンテンツ・テーブル分割アプリケーション２２０の動作は４つのステージに分けられる。第１ステージにおいて、プレゼンテ−ション用スライドはセグメント化される。スライドは黒の背景に文書を重ねた画像からなる映像系列として表示される。通常、スライドの上部にあるスライドのタイトルは、スライドの全体的な内容を定める。スライドに含まれる画像としての文書は、光学文字認識（OCR:  Optical  Character  Recognition）装置により処理され、文書の内容を文字として識別する。例えば、タイトルの文字内容をコンテンツ・テーブルの一つの要素として使用することができる。すべてのプレゼンテ−ション用スライドに係る映像系列について、以上のスライドセグメント化処理が行われる。
【００４２】
第２ステージにおいて、講演者顔の映像系列はセグメント化される。これらの映像系列において、通常講演者が映像面の中心に現れる。講演者のイメージを背景からセグメント化する必要がある。例えば、プレゼンテ−ション用スライドを背景として用いる場合がある。また、講演者のイメージを、顔検出技術又は顔認識技術によってセグメント化する。
【００４３】
第３ステージにおいて、静止画はセグメント化される。静止画はプレゼンテ−ション用スライドのイメージと異なり、通常文字を含まない。場合によって、静止画はプレゼンテ−ション用スライドのイメージにおける文章と異なるフォーマットのものを含む場合がある。
【００４４】
第４ステージにおいて、講演の一部となる映像クリップ（講演映像クリップ）はセグメント化される。講演映像クリップは、プレゼンテ−ション用スライドの映像系列との比較により、講演者の頭肩画面と静止画に分割される。
【００４５】
本発明の他の好ましい実施形態として、粗コンテンツ・テーブル分割処理において、さらに第５ステージを行う。該第５ステージにおいて、“複合画像”がセグメント化される。ここで、“複合画像”は、２つ以上タイプの画像からなるものである。一例として、複合画像は静止画と該静止画の一部に重ねられた映像クリップを含む。第２の例として、複合画像は映像クリップと該映像クリップの一部に重ねられた静止画を含む。第３の例として、複合画像は映像クリップと該映像クリップの一部に重ねられたプレゼンテ−ション用スライドの画像を含む。他の方法により複合画像を構成しても良い。複合画像が存在しない場合は、ここで述べられた粗コンテンツ・テーブル分割処理の第５ステージを省略しても良い。
【００４６】
本発明のコンテンツ・テーブルの各エントリーは、個々の記述的要素、例えば、映像、文書及び音声の抜粋などを含む。正確なコンテンツ・テーブルを得るために、本発明において、コンテンツ・テーブルの様々なエントリーの始まりと終わりの時間の正確な情報が必要である。すなわち、コンテンツ・テーブルの様々なエントリーの境界を正確に定める必要がある。
【００４７】
特に、粗コンテンツ・テーブル分割処理の第４ステージを行った後に、４セットの画像の間の境界を正確に定める必要がある。即ち、プレゼンテ−ション用スライドの画像、講演者の頭肩画面、静止画及び講演映像クリップの間の境界を正確に定める必要がある。
【００４８】
映像の境界を正確に定めるために、コントローラ１３０は、粗映像境界検出アプリケーション２４０を実行する。粗映像境界検出アプリケーション２４０は映像境界を定める手法を複数持っている。このような手法の具体例は、米国特許公開公報（開示番号７０１１６８）において開示されている。当該出願は２００１年３月９日にR.Jasinschiによりなされ、名称が“マルチメデイア分割及びインデックスに用いるコンテクスト並びにコンテンツ情報処理”（Context  and  Content  Based  Information  Processing  for  Multimedia  Segmentation  and  Indexing）である。
【００４９】
第１の境界検出方法において、境界検出は音声信号と映像信号を用いて達成される。この方法において、個々の画像カット・ポイント（cut  point）及び音声カット・ポイントが利用される。画像カット・ポイントはカット検出により得られる。音声カット・ポイントは、音声レベルの簡単な閾値を用いて、若しくは、音声セグメント化及び音声分類（即ち、音声を言語、沈黙、音楽、ノイズ、又は、これらの結合に分類する）を用いて得られる。一例として、ある時間窓内に音声カットの時間コードと画像カットの時間コードが共に発生することに基づいて、簡単な結合を行うことができる。より複雑な結合は、上記の米国特許公開公報（開示番号７０１１６８）において開示されているように、複合結合(multimodal  integration)を表す確率論の理論を用いて行うことができる。
【００５０】
第２の境界検出方法において、境界検出は文書情報を用いて達成される。この方法において、ある文書の個々の文（sentence）及び画像カットと音声カットが利用される。これらの文は、文の最後に現れる句読点、例えば、ピリオド、感嘆符、疑問符に基づいて文書から分離される。文の始まりと終わりの時間コードは、最も近い音声カット或いは画像カットにマッチングされる。始まり時間を定めるために、小さめの音声カット或いは画像カットを用いる。終わり時間を定めるために、最も近い小さい（或いは同じ）音声沈黙ポイントを用いる。
【００５１】
第３の境界検出方法において、境界検出は文書情報及び画像カット並びに音声カットを用いて達成される。従来技術において、個々の段落の境界を識別する方法が多くある。例えば、M.  Hearstによる文献“Text  Tiling:  Segmenting  Text  Into  Multi-Paragraph  Subtopic  Passages”,  Computational  Linguistics（コンピュータ言語）,  Volume  23(1),  page33-64,  1997に参照する。文書の各段落について、始まりと終わりの時間が抽出される。始まり時間は、先行する音声カットにマッチングされる。所定の範囲内（例えば、５秒）に、先行する画像カットが存在する場合は、始まりの時間は、先行する画像カットに各自のカットに調整される。文章の終わり時間は、次の音声カットに、或いは、より長い沈黙にマッチングされる。直後に画像カットが続いている場合は、例えば、この画像カットの時間コードを終わり時間にする。
【００５２】
第４の境界検出方法において、境界検出は（音声セグメントに対して）音声連続性を用い、マクロレベルでの画像連続性（画像セグメントに対して）及びトピック連続性を補助として併用して達成される。この技術において、大きいマクロレベルのセグメントを“メガ・セグメント”(Mega  Segment)と呼び、それを構成する小さいセグメントを“組成セグメント”と呼ぶ。例えば、連続する音声セグメントと散在する音声セグメントのそれぞれの類別から見た音声連続性の場合、この２種類の特殊な音声をそれぞれ言語（speech）セグメントと沈黙(silence)セグメント（組成セグメント）とすれば、マクロレベルにおいて、この２種類の特殊な音声を単一のメガ・セグメントに結合し、音声連続性を確保することができる。同じように、この２種類の特殊な音声をそれぞれ話者Ａと話者Ｂ（組成セグメント）とすれば、マクロレベルにおいて、話者Ａと話者Ｂの会話を単一のメガ・セグメントに結合し、音声連続性を確保できる。
【００５３】
あるメガ・セグメントに対応する複数の画像ショットは類似する連続性を持つ場合は、例えば、これらの画像ショットは同様な色彩の配合を有し、且つ、類似する一組のショットを構成する場合は、このメガ・セグメントをストーリー・セグメントと記す。これらの画像ショットは複数の組のショットになる場合は、この大きいメガ・セグメントを、複数の状況に対応する複数のセグメントに分解することができる。
【００５４】
音楽セグメントの場合（例えば、音楽の歴史に関する講演に）、検出された音声音楽セグメントの全体を、始まり時間と終わり時間を有するストーリー・セグメントとする。このストーリー・セグメントは沈黙がなく、数分間続く音楽セグメントになる。音楽映像には、例えば、歌は沈黙期間により分離される。したがって、２つの沈黙セグメントの間の各セグメントはストーリー・セグメント（即ち、音楽セグメント）となる。
【００５５】
第５の境界検出方法において、境界検出は画像連続性を用い、音声連続性及びトピック連続性を補助として併用して達成される。ある制限された時間内（例えば、５秒、若しくは、番組の指定された部分）の画像連続性は各ショットがその次のｎ個のショットとの類似性に基づいて判断される。連続する２つのショットの比較を避けるために、ｎの値は１より大きいとする必要がある。このショット類似性は、ヒストグラム、対象物（例えば、顔のサイズ）、シーンの構成、テクスチャー組成、又は、これらの組み合わせに関するものとする。例えば、ある住宅室内の複数のショットの後に、都会戸外のあるシーンの複数のショットが続く場合がある。室内のショットは、例えば、特殊なヒストグラム（例えば、暖色）、シーンの構成及びテクスチャーを有する。戸外のショットは、例えば、より灰色とより多くの直線縁（例えば、建物）を有するヒストグラムを持っている。音声分類又は文書のトピックセグメント化処理を用いて、画像連続性から得られた大きなストーリー・セグメントを分解してもよい。
【００５６】
以上に説明した各境界検出方法において、セグメント化しようとするコンテンツの種類（即ち、コンテンツ情報）により、メタ・レベル経験則を利用してもよい。同様に、視覚的な側面から、２つの類似するシーンが散在する場合は、例えば、人Ａの次に人Ｂ、人Ｂの次に人Ａとなる場合、各ショットを一つのストーリーに統合する。
【００５７】
粗映像境界検出アプリケーション２４０は、４つの要素、即ち、プレゼンテ−ション用スライドの画像、講演者の頭肩画面、静止画及び講演映像クリップの間の境界を定める。そして、この４つの要素の境界の間隔は、要素のタイプ、スライド、又は、タイトル文を用いてインデックス化される。
【００５８】
次に、コントローラ１３０は、ソフトウエア２００におけるファイン・コンテンツ・テーブル分割アプリケーション２３０を実行し、以上の４つの要素の各々をさらにセグメントに分割する。ファイン・コンテンツ・テーブル分割アプリケーション２３０は、粗コンテンツ・テーブル分割アプリケーション２２０について既に説明した手法と同様な手法でセグメント化を行う。そして、コントローラ１３０はファイン映像境界検出アプリケーション２５０を実行し、ファイン・コンテンツ・テーブル分割アプリケーション２３０を実行することによって得られた４つの要素内の各セグメントの境界を定める。
【００５９】
続いて、コントローラ１３０はインデックス・モジュール１７０にアクセスし、コンテンツ・テーブルの要素として選択されたエントリーとのリンクを樹立する。具体的に、インデックス・モジュール１７０は、選択された映像セグメント（例えば、プレゼンテ−ション用スライドの画像、講演者の画像、静止画、又は講演映像クリップなど）、選択された文章並びに選択された文章が現れる時間コード及び選択された音声エントリーとのリンクを樹立する。また、インデックス・モジュール１７０は、音声、映像及び文字のデータの組み合わせとのリンクを樹立する。インデックス・モジュール１７０は、音声信号を処理し、音声データ、例えば、言葉、音楽、沈黙、ノイズなどを得る。
【００６０】
また、インデックス・モジュール１７０は音声認識処理を行う。一般に、講演は言葉の音声情報、例えば、講演者の声などを含んでいる。時には、バックグラウンド・ミュージックとして、又は、講演の一部として（たとえば音声クリップ若しくは映像クリップの場合）、音楽を講演に加えることもある。インデックス・モジュール１７０による音声認識処理の出力は、入力として音声―文書変換処理に供給される。音声―文書変換処理は、講演の音声内容を記録文書(transcript)として出力する。構文及び意味の文字上の情報を得るために、変換された文書は入力として自然言語処理(Natural  Language  Processing)に供給される。
【００６１】
この変換された文書に、プレゼンテ−ション用スライドにある文書についてのより詳細な説明が含まれている。例えば、講演者は最初にプレゼンテ−ション用スライドにある文書を読み、そして、この内容についてコメントする。例えば、講演者が付加したコメントはトピック上の関係や干渉性などがある。即ち、講演の音声内容の文書はプレゼンテ−ション用スライドにある文書より広範であり、プレゼンテ−ション用スライドにある文書は講演者のプレゼンテ−ションの要約又はガイドを示す。
【００６２】
インデックス・モジュール１７０が必要な操作を完了した後に、コントローラ１３０は得られたコンテンツ・テーブルをメモリ・ユニット１２０におけるコンテンツ・テーブル記録領域２６０に記録する。読み出しモジュール１５０はメモリ・ユニット１２０に記録されたコンテンツ・テーブルを読み出し、また、以前に説明した方法で読み出されたコンテンツ・テーブルを表示させる。
【００６３】
図３は、本発明の好ましい実施形態に係るマルチメデイア・プレゼンテ−ション記録データのコンテンツ・テーブルを作成する方法を説明するフローチャートである。この方法の全体を参照番号３００で表す。
【００６４】
コントローラ１３０はマルチメデイア・プロセッサ１１０から映像信号、音声信号及び文字信号を受信する（ステップ３０５）。
【００６５】
続いて、コントローラ１３０は粗コンテンツ・テーブル分割アプリケーション２２０を実行し、映像信号を分割する（ステップ３１０）。
【００６６】
続いて、コントローラ１３０は粗映像境界検出アプリケーション２４０を実行し、４つの要素、即ち、プレゼンテ−ション用スライドの画像、講演者の頭肩画面、静止画及び講演映像クリップの間の境界を定める（ステップ３１５）。
【００６７】
次に、コントローラ１３０はファイン・コンテンツ・テーブル分割アプリケーション２３０を実行し、以上の４つの要素の各々をさらにセグメントに分割する（ステップ３２０）。
【００６８】
そして、コントローラ１３０はファイン映像境界検出アプリケーション２５０を実行し、４つの要素内の各セグメントの境界を定める（ステップ３２５）。
インデックス・モジュール１７０は様々な要素（即ち、選択された映像セグメント、選択された文章並びに選択された文章が現れる時間コード及び選択された音声エントリー）とのリンクを樹立し、コンテンツ・テーブルを形成する（ステップ３３０）。
【００６９】
続いて、コントローラ１３０はコンテンツ・テーブルをメモリ・ユニット１２０におけるコンテンツ・テーブル記録領域２６０に記録する（ステップ３３５）。
【００７０】
ユーザにリクエストされると、読み出しモジュール１５０はメモリ・ユニット１２０からコンテンツ・テーブルを読み出して表示させる（ステップ３４０）。
【００７１】
図４は、本発明のマルチメデイア信号分析システムの好ましい実施形態により作成されたコンテンツ・テーブル４００の一例を示すブロック図である。図４は、コンテンツ・テーブル４００の代表的な構造を示している。コンテンツ・テーブル４００において、“時間”欄４１０は講演で取り上げたトピック（トピック１、トピック２、…、トピックＮ）のリストを示しており、これらのトピックは講演において取り上げられた時間順で羅列されている。“コンテンツ・テーブル”欄４２０は、各プレゼンテ−ション用スライドのタイトル（タイトル１、…、タイトルＮ）を示している。“プレゼンテ−ション用スライド”欄４３０は、各プレゼンテ−ション用スライドのイメージ（スライド１、…、スライドＮ）を示している。各プレゼンテ−ション用スライドのタイトルと本文は示されている。
【００７２】
以上、マルチメデイア・プレゼンテ−ション記録データのマルチメデイア・コンテンツ・テーブルを作成する装置及び方法を例として本発明を説明した。さらに、マルチメデイア・プレゼンテ−ション記録データのマルチメデイア・インデックスを作成する装置及び方法も本発明の範囲に含まれている。
【００７３】
コンテンツ・テーブルとマルチメデイア・インデックスのいずれに、マルチメデイア・プレゼンテ−ション記録データに関して集約された情報が収容されている。しかし、コンテンツ・テーブルとマルチメデイア・インデックスの構造と機能は著しく異なっている。コンテンツ・テーブルは、マルチメデイア・プレゼンテ−ションの統合的な概要、或いは、ロードマップを示している。コンテンツ・テーブルにより、ユーザはマルチメデイア・プレゼンテ−ションにおける各トピックと各サブ・トピックの所在及び各トピックと各サブ・トピックの概略的な内容を知ることができる。
【００７４】
一方、マルチメデイア・インデックスは、プレゼンテ−ションにおいて取り上げられた具体的な項目の所在を特定する。マルチメデイア・インデックスで表示された項目は、例えば、個人の氏名、地名、概念名、用語の省略と定義、頭文字、履歴資料、参照文献、文献の引用など、他にあらゆる事項を含むことができる。典型的に、マルチメデイア・インデックスはインデックスされた項目の取り上げられた各ページをリストする。また、マルチメデイア・インデックスに、インデックスされた項目に関わる静止画、映像クリップ及び音声クリップが収容される。
【００７５】
マルチメデイア・インデックスは詳細なトピックスへのアクセス方法を提供し、検索能力を高める。具体的に、キーワードを使用してマルチメデイア・インデックスを検索し、プレゼンテ−ションにおいてキーワードが現れたすべての箇所を特定する。
【００７６】
一般化されたマルチメデイア・インデックスを作成する以外に、本発明の装置及び方法は特殊なマルチメデイア・インデックスを作成することもできる。特殊なマルチメデイア・インデックスは、たとえば、所定のトピックスと関連する参照インデックスのリストからなる。例えば、特殊なマルチメデイア・インデックスは、マルチメデイア・プレゼンテ−ションに取り上げられた刊行物のリスト、即ち、マルチメデイア参考文献からなる。このマルチメデイア参考文献に、例えば、各エントリーに関わる静止画、映像クリップ及び音声クリップが収容されている。
【００７７】
もう一例として、特殊なマルチメデイア・インデックスは、所定のトピックスと関連する参照インデックスのリストからなる。例えば、特殊なマルチメデイア・インデックスは、マルチメデイア・プレゼンテ−ションに使われた特殊な用語の解説を含むマルチメデイア用語集からなる。このマルチメデイア用語集には、同じように、各エントリーに関わる静止画、映像クリップ及び音声クリップが収容されている。他の特殊なマルチメデイア・インデックスを作成しても良い。
【００７８】
図５は本発明の好ましい実施形態に係るマルチメデイア・プレゼンテ−ション記録データのマルチメデイア・インデックスを作成する方法を説明するフローチャートである。この方法の全体を参照番号５００で表す。
【００７９】
コントローラ１３０はマルチメデイア・プロセッサ１１０から映像信号、音声信号及び文字信号を受信する（ステップ５０５）。
【００８０】
続いて、コントローラ１３０は粗コンテンツ・テーブル分割アプリケーション２２０を実行し、映像信号を分割する（ステップ５１０）。
【００８１】
続いて、コントローラ１３０は粗映像境界検出アプリケーション２４０を実行し、４つの要素、即ち、プレゼンテ−ション用スライドの画像、講演者の頭肩画面、静止画及び講演映像クリップの間の境界を定める（ステップ５１５）。
【００８２】
次に、コントローラ１３０はファイン・コンテンツ・テーブル分割アプリケーション２３０を実行し、以上の４つの要素の各々をさらにセグメントに分割する（ステップ５２０）。
【００８３】
そして、コントローラ１３０はファイン映像境界検出アプリケーション２５０を実行し、４つの要素内の各セグメントの境界を定める（ステップ５２５）。
【００８４】
インデックス・モジュール１７０は様々な要素（即ち、選択された映像セグメント、選択された文章並びに選択された文章の現れる時間コード及び選択された音声エントリー）とのリンクを樹立し、マルチメデイア・インデックスを形成する（ステップ５３０）。
【００８５】
続いて、コントローラ１３０はマルチメデイア・インデックスをメモリ・ユニット１２０におけるコンテンツ・テーブル記録領域２６０に記録する（ステップ５３５）。
【００８６】
ユーザにリクエストされると、読み出しモジュール１５０はメモリ・ユニット１２０からマルチメデイア・インデックスを読み出して表示させる（ステップ５４０）。
【００８７】
図６は、本発明のマルチメデイア信号分析システムの好ましい実施形態により作成されたマルチメデイア・インデックス６００の一例を示すブロック図である。図６はマルチメデイア・インデックス６００の代表的な構造を示している。マルチメデイア・インデックス６００において、欄６１０は講演で取り上げたエントリー（エントリー１、エントリー２、…、エントリーＮ）のリストを示している。好ましくは、これらのエントリーはアルファベット順で羅列される。欄６２０は講演において各インデックス・エントリーが取り上げられた場所（エントリー１の場所、エントリー２の場所、…、エントリーＮの場所）を示している。欄６３０は、インデックス・エントリーに関連するプレゼンテ−ション用スライドのイメージ（エントリー１に関連するスライド、…、エントリーＮに関連するスライド）を示している。
【００８８】
以上、マルチメデイア・プロセッサ１１０を有するマルチメデイア信号分析システム１００に使用されるシステム及び方法を例として本発明を説明した。マルチメデイア信号分析システム１００を複数の異なるタイプのマルチメデイア通信設備に設置することができる。例えば、マルチメデイア信号分析システム１００をテレビ受信機、或いは、テレビ受信機に用いられるセットトップボックス、或いは、インターネットからマルチメデイア信号を受信可能インターネット設備に設置することができる。
【００８９】
以上に、具体的な実施形態を用いて本発明を説明したが、本発明の特許請求の範囲を逸脱せずに、当業者により本発明に種々の変更、修正、置き換え、改変を加えることが可能である。
【図面の簡単な説明】
【００９０】
【図１】本発明の好ましい実施形態に係るマルチメデイア信号分析システムの一例を示すブロック図である。
【図２】本発明の好ましい実施形態に用いられるコンピュータ・ソフトウエアを示す図である。
【図３】本発明の好ましい実施形態に係るマルチメデイア・プレゼンテ−ション記録データのコンテンツ・テーブルを作成する方法を説明するフローチャートである。
【図４】本発明の好ましい実施形態により作成されえるコンテンツ・テーブルの一例を示すブロック図である。
【図５】本発明の好ましい実施形態に係るマルチメデイア・プレゼンテ−ション記録データのマルチメデイア・インデックスを作成する方法を説明するフローチャートである。
【図６】本発明の好ましい実施形態により作成されえるマルチメデイア・インデックスの一例を示すブロック図である。
【図１】
2004533756.tif 000003
【図２】
2004533756.tif 000004
【図３】
2004533756.tif 000005
【図４】
2004533756.tif 000006
【図５】
2004533756.tif 000007
【図６】
2004533756.tif 000008
【国際公開パンフレット】
2004533756.tif 000009
2004533756.tif 000010
2004533756.tif 000011
2004533756.tif 000012
2004533756.tif 000013
2004533756.tif 000014
2004533756.tif 000015
2004533756.tif 000016
2004533756.tif 000017
2004533756.tif 000018
2004533756.tif 000019
2004533756.tif 000020
2004533756.tif 000021
2004533756.tif 000022
2004533756.tif 000023
2004533756.tif 000024
2004533756.tif 000025
2004533756.tif 000026
2004533756.tif 000027
2004533756.tif 000028
2004533756.tif 000029
2004533756.tif 000030
2004533756.tif 000031
2004533756.tif 000032
2004533756.tif 000033
2004533756.tif 000034
2004533756.tif 000035
【国際公開パンフレット（コレクトバージョン）】
2004533756.tif 000036
【国際調査報告】
2004533756.tif 000037
2004533756.tif 000038
2004533756.tif 000039