(57)【特許請求の範囲】
【請求項１】
マルチメディア・コンテンツに注釈付けをするための装置であって、
記憶媒体に格納されたマルチメディア・コンテンツを作業メモリに供給するための構成と、
前記供給されたマルチメディア・コンテンツに関連付けられた下記モード、すなわち、
ビデオを含む音声部分、ここで該音声部分はセグメントに区切られている、
音声を含むビデオ部分、ここで該ビデオ部分はショットにセグメント化されている、
ビデオ部分のみ、ここで該ビデオ部分はショットにセグメント化されている、
音声部分のみ、ここで該音声部分はセグメントに区切られている、
のうちの少なくとも１つの選択を可能にするための入力インターフェースと、
前記選択されたモードに注釈付けすることを可能にするための構成であって、該注釈付けが、前記セグメント又前記ショット毎に、注釈のためのリストボックス内にあり且つ前記選択されたモードによって表示される項目に対応するボックスをクリックすることにより行われる、前記構成と
を含む、前記装置。
【請求項２】
前記ビデオ部分の各セグメントへの注釈付けが、イベント、静止シーン又はキーオブジェクトのリストボックス内にある項目に対応するボックスをクリックすることにより行われる、請求項１に記載の装置。
【請求項３】
前記ビデオ部分の各セグメントへの注釈付けが、キーワード・テキスト・ボックスに注記することによりさらに行われる、請求項２に記載の装置。
【請求項４】
前記音声部分の各セグメントへの注釈付けが、前景サウンド又は背景サウンドのリストボックス内にある項目に対応するボックスをクリックすることにより行われる、請求項１に記載の装置。
【請求項５】
前記音声部分の各セグメントへの注釈付けが、キーワード・テキスト・ボックスに注記することによりさらに行われる、請求項４に記載の装置。
【請求項６】
前記選択モードの注釈が付けられた観察結果を保存するための作業メモリをさらに含む、請求項１に記載の装置
【請求項７】
前記入力インターフェースが、
マルチメディア・コンテンツのビデオのみの選択を可能にするための構成と、
ビデオのみに音声を選択的に追加することを可能にするための構成と
を含む、請求項１に記載の装置。
【請求項８】
マルチメディア・コンテンツに注釈付けをするための方法であって、
記憶媒体に格納されたマルチメディア・コンテンツを作業メモリに供給するステップと、
前記供給されたマルチメディア・コンテンツに関連付けられた下記モード、すなわち、
ビデオを含む音声部分、ここで該音声部分はセグメントに区切られている、
音声を含むビデオ部分、ここで該ビデオ部分はショットにセグメント化されている、
ビデオ部分のみ、ここで該ビデオ部分はショットにセグメント化されている、
音声部分のみ、ここで該音声部分はセグメントに区切られている、
のうちの少なくとも１つの選択を可能にするステップと、
前記選択されたモードに注釈付けを可能にするステップであって、該注釈付けが、前記セグメント又前記ショット毎に、注釈のためのリストボックス内にあり且つ前記選択されたモードによって表示される項目に対応するボックスをクリックすることにより行われる、前記注釈付けを可能にするステップと
を含む、前記方法。
【請求項９】
前記注釈付けを可能にするステップが、前記ビデオ部分の各セグメントへの注釈付けである場合に、イベント、静止シーン又はキーオブジェクトのリストボックス内にある項目に対応するボックスをクリックすることを可能にするステップをさらに含む、請求項８に記載の方法。
【請求項１０】
前記ビデオ部分の各セグメントへの注釈付けを可能にするステップが、キーワード・テキスト・ボックスに注記することを可能にするステップをさらに含む、請求項９に記載の方法。
【請求項１１】
前記注釈付けを可能にするステップが、前記音声部分の各セグメントへの注釈付けである場合に、前景サウンド又は背景サウンドのリストボックス内にある項目に対応するボックスをクリックすることを可能にするステップをさらに含む、請求項８に記載の方法。
【請求項１２】
前記音声部分の各セグメントへの注釈付けを可能にするステップが、キーワード・テキスト・ボックスに注記することを可能にするステップをさらに含む、請求項１１に記載の方法。
【請求項１３】
前記選択を可能にするステップが、
マルチメディア・コンテンツのビデオ・モードの選択を可能にするステップと、
ビデオ・モードに音声を選択的に追加することを可能にするステップと
を含む、請求項８に記載の方法。
【請求項１４】
コンピュータに、請求項８〜１３のいずれか一項に記載の方法の各ステップを実行させる、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、マルチメディア・ファイルのコンピュータ処理に関する。より具体的に言えば、本発明は、マルチメディア・ファイルで発生する多モードのイベント、オブジェクト、シーン、および音声に手動で注釈を付けることに関する。
【背景技術】
【０００２】
マルチメディア・コンテンツは、ワールド・ワイド・ウェブおよびローカル・コンピュータの両方において、ますます一般的になりつつある。マルチメディア・コンテンツのコーパスが増加するにつれて、コンテンツ内の機能に索引付けすることもますます重要になる。音声とビデオの両方を同時に観察すること、およびその観察結果（ｏｂｓｅｒｖａｔｉｏｎｓ）に注釈を付けることにより、結果として信頼レベルが高くなる。
【０００３】
既存のマルチメディア・ツールは、全体としてではなく音声またはビデオのいずれかに別々に注釈を付ける機能を提供する。（ビデオ専用注釈付けツールの一例は、[http://]www.alphaworks.ibm.com/tech/videoannexから入手可能な発明者Ｊ．Ｓｍｉｔｈ等によるＩＢＭ  ＭＰＥＧ７注釈付けツールである。他の従来の配置構成については、Ｐａｒｋ等による２００１年１１月北朝鮮での帰納的モデリングに関する国際会議（ＩＣＩＭ）の議事録「ｉＭＥＤＩＡ−ＣＡＴ：インテリジェント・メディア・コンテンツ注釈付けツール」、およびＭｉｎｋａ等によるＴＲ＃３４９、１９９７年、パターン認識第３０巻、５６５ページ「モデル社会を使用した対話型学習」に記載されている。）
【０００４】
ビデオまたは音声機能に分離して注釈付けすると、結果としてその機能の識別に対する信頼性レベルが低くなることがわかっている。
【非特許文献１】Ｐａｒｋ等による２００１年１１月北朝鮮での帰納的モデリングに関する国際会議（ＩＣＩＭ）の議事録「ｉＭＥＤＩＡ−ＣＡＴ：インテリジェント・メディア・コンテンツ注釈付けツール」
【非特許文献２】Ｍｉｎｋａ等によるＴＲ＃３４９、１９９７年、パターン認識第３０巻、５６５ページ「モデル社会を使用した対話型学習」
【発明の開示】
【発明が解決しようとする課題】
【０００５】
前述の内容を考えると、マルチメディア・ファイル内で生じる多モードのイベント、オブジェクト、シーン、および音声を観察および注釈付けするための改良されたシステムおよび方法を提供することが求められている。
【課題を解決するための手段】
【０００６】
本発明の現時点で好ましい少なくとも１つの実施形態に従って、ユーザがビデオ単独、音声付きビデオ、音声単独、またはビデオ付き音声を観察すること、ならびに観察された内容に注釈を付けることを可能にする、マルチメディア注釈付けシステムおよび方法が広く企図されている。
【０００７】
一実施形態では、１つまたは複数のマルチメディア・ファイルが作業メモリに格納されたコンピュータ・システムが提供される。多モード注釈付けプロセスでは、ユーザが選択したマルチメディア・ファイルを表示し、ファイル・コンテンツを観察するために１つまたは複数モードの選択を可能にし、観察結果に注釈付けを行い、注釈付けした内容を作業メモリに保存する（ＭＰＥＧ−７  ＸＭＬファイルなど）。
【０００８】
要約すると、本発明の一態様はマルチメディア・コンテンツを管理するための装置を提供し、この装置は、マルチメディア・コンテンツを供給するための配置構成と、観察のためにマルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするための入力インターフェースと、選択されたモードの観察結果に注釈付けするための配置構成とを有する。
【０００９】
本発明の他の態様は、マルチメディア・コンテンツを管理する方法を提供し、この方法は、マルチメディア・コンテンツを供給するステップと、観察のためにマルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするステップと、選択されたモードの観察結果に注釈付けするステップとを有する。
【００１０】
さらに本発明の他の態様は、マルチメディア・コンテンツを管理するための方法をコンピュータに実行させるためのプログラムを記録したコンピュータによる読取りが可能なプログラム記憶デバイスを提供し、この方法は、マルチメディア・コンテンツを供給するステップと、観察のためにマルチメディア・コンテンツに関連付けられたビデオを含む音声部分モードおよび音声を含むビデオ部分モードのうちの少なくとも１つの選択を可能にするステップと、選択されたモードの観察結果に注釈付けするステップとを有する。
【００１１】
本発明ならびにその機能および利点をより良く理解するために、添付の図面と併せて以下の説明が参照され、本発明の範囲は添付の特許請求の範囲で指摘される。
【発明を実施するための最良の形態】
【００１２】
図１は、本発明に従った多モード注釈付けシステムの好ましい一実施形態を示すブロック図である。マルチメディア・コンテンツおよび以前の注釈は記憶媒体１００に格納される。ユーザ１３０が注釈付けツールを介して記憶媒体１００からマルチメディア・ファイルを選択すると、これは作業メモリ１１０にロードされ、その一部が注釈付けツール１２０に表示される。ユーザ１３０はいつでも、現在の多モード・ファイルに関連付けられた以前に保存された注釈を、記憶媒体１００から作業メモリ１１０へロードするように要求することもできる。ユーザ１３０は、注釈付けツール１２０を介して要求することによってマルチメディア・データを表示する。その後ユーザ１３０は自分の観察結果に注釈を付け、注釈付けツール１２０はこれらの注釈内容を作業メモリ１１０に保存する。ユーザはいつでも、記憶媒体１００上に注釈を保存するよう注釈付けツール１２０に要求することができる。
【００１３】
図２は、ビデオ・シーン、オブジェクト、およびイベントに注釈付けするシステムを示す図である。（図１も同時に参照されたい。）マルチメディア・データが記憶媒体１００から作業メモリ１１０へとロードされている。ビデオ・タブ２９０が選択されている。マルチメディア・ビデオが、変更シーン検出を使用してショットにセグメント化されている。ショット・リスト・ウィンドウ２００は、マルチメディア内のショットの一部を表示する。ここでユーザ１３０は、ショット・リスト・ウィンドウ２００でハイライト表示されているショット２１０を選択した。好ましくは、ショットのフレーム内で代表的ショットであるキー・フレーム２２０が表示される。加えて、再生コントロール２４０を使用してショットのフレームをビデオ・ウィンドウ２３０に表示することもできる。ビデオは、ミュート・ボタン２５０の選択に応じて、音声付きまたは音声なしで表示することができる。ユーザ１３０は、イベント２６０、静止シーン２７０、またはキー・オブジェクト２８０のリスト・ボックス内にあるボックスをクリックすることによって、このショットに関する注釈付けを選択することができる。チェック・ボックスに含まれていない重要な観察結果があれば、キーワード・テキスト・ボックス３００に注記することができる。
【００１４】
図３は、ビデオ付き音声に注釈付けするシステムを示す図である。（図１も同時に参照されたい。）マルチメディア・データが記憶媒体１００から作業メモリ１１０へとロードされている。ビデオ付き音声タブ３７０が選択されている。マルチメディア・ビデオが、変更シーン検出を使用してショットにセグメント化されている。ショット・リスト・ウィンドウ２００は、マルチメディア内のショットの一部を表示する。現在の音声ポジションに関連付けられたショット２１０が、ショット・リスト・ウィンドウ２００でハイライト表示される。音声データがウィンドウ３９０に表示される。音声のセグメント３４０が注釈付けのために区切られており、すなわちその後の注釈付けのために音声の限界または境界が固定されている。音声に関連付けられたビデオは２３０に表示される。ユーザ１３０が再生コントロール３６０を使用すると、音声データ表示３９０は現在の音声データを表示するように更新され、ビデオ・ウィンドウ２３０は現在のビデオ・フレームを反映するように変更される。このようにして、ユーザ１３０は音声に注釈付けをしながら、ビデオを観察すると同時に音声を聞くことができる。好ましくは、ユーザ１３０はボタン３５０を使用して音声セグメントを区切る。前景サウンド（３２０）（セグメント内で最も顕著なサウンド）および背景サウンド（３３０）（存在するが他のサウンドに対して２次的なサウンド）に応じてチェック・ボックスにチェックを入れて、音声セグメント３４０内で聞こえるサウンドを指示することができる。チェック・ボックスに含まれていない重要な観察結果があれば、キーワード・テキスト・ボックス３００に注記することができる。
【００１５】
図４は、ビデオなし音声に注釈付けするシステムを示す図である。（図１も同時に参照されたい。）マルチメディア・データが記憶媒体１００から作業メモリ１１０へとロードされている。ビデオなし音声タブ４００が選択されている。音声データがウィンドウ３９０に表示される。音声のセグメント３４０が注釈付けのために区切られている。ユーザ１３０が再生コントロール３６０を使用すると、音声データ表示３９０は現在の音声データを表示するように更新される。このようにしてユーザ１３０は、音声に注釈を付けながら音声を聞くだけにすることができる。ユーザ１３０はボタン３５０を使用して音声セグメントを区切る。前景サウンド用３２０および背景サウンド用３３０のチェック・ボックスにチェックを入れて、音声セグメント３４０内で聞こえるサウンドを指示することができる。チェック・ボックスに含まれていない重要な観察結果があれば、キーワード・テキスト・ボックス３００に注記することができる。
【００１６】
本発明は、現時点で好ましい少なくとも１つの実施形態に従って、マルチメディア・コンテンツを供給するための配置構成と、観察のためにマルチメディア・コンテンツに関連付けられたモードの選択を可能にするための入力インターフェースと、選択されたモードの観察結果に注釈付けするための配置構成とを含むことが理解されよう。これらの要素は、好適なソフトウェア・プログラムを実行している少なくとも１つの汎用コンピュータでまとめて実施することができる。これらは、少なくとも１つの集積回路または少なくとも１つの集積回路の一部でも実施可能である。したがって本発明は、ハードウェア、ソフトウェア、またはその両方の組合せで実施可能であることを理解されよう。
【００１７】
本明細書で特に記載のない限り、本明細書で言及および記載したすべての特許、特許明細書、特許出版物、および他の出版物（ウェブ・ベースの出版物を含む）は、それらの全文が本明細書に記載されているかのように、参照により本明細書に完全に組み込まれていると想定される。
【００１８】
以上、本明細書の例示的な実施形態について添付の図面を参照しながら説明してきたが、本発明はそれらの精密な実施形態に限定されるものではないこと、ならびに、本発明の趣旨または精神を逸脱することなく当業者によって様々な他の変更および修正が実行可能であることを理解されよう。
【図面の簡単な説明】
【００１９】
【図１】多モード注釈付けシステムを示すブロック図である。
【図２】ビデオ・シーン、オブジェクト、およびイベントに注釈付けするシステムを示す図である。
【図３】ビデオ付き音声に注釈付けするシステムを示す図である。
【図４】ビデオなし音声に注釈付けするシステムを示す図である。
【図１】
0004347223.tif 000002
【図２】
0004347223.tif 000003
【図３】
0004347223.tif 000004
【図４】
0004347223.tif 000005