(57)【要約】【課題】  音声タグ付けシステムを提供する。【解決手段】  音声タグ付けシステムは、メディア・オブジェクト・キャプチャ・デバイスと音声キャプチャ・デバイスとを含み、メディア・オブジェクトを音声サンプルに関連付けるクライアント・アプリケーションを実行するクライアント・コンピューティング・デバイスを含む。また、このシステムは、クライアント・コンピューティング・デバイスに結合された通信ネットワークと、通信ネットワークに結合され、第１のメディア・オブジェクトと第１の音声サンプルとの少なくとも１つの関連を受信する音声タグ付けシステムと、音声タグ付けシステムに結合され、それぞれの音声タグが１つまたは複数の音声サンプルに結合される１つまたは複数の音声タグを含むデータベースも含む。【選択図】  図５
2013521567.tif 000002
【特許請求の範囲】
【請求項１】
メディア・オブジェクト・キャプチャ・デバイスと音声キャプチャ・デバイスとを含み、メディア・オブジェクトを音声サンプルに関連付けるクライアント・アプリケーションを実行するクライアント・コンピューティング・デバイスと、
前記クライアント・コンピューティング・デバイスに結合された通信ネットワークと、
前記通信ネットワークに結合され、第１のメディア・オブジェクトと第１の音声サンプルとの少なくとも１つの関連を受信する音声タグ付けシステムと、
前記音声タグ付けシステムに結合され、それぞれの音声タグが１つまたは複数の音声サンプルに結合される１つまたは複数の音声タグを含むデータベースと
を含む、システム。
【請求項２】
前記データベースに保管された少なくとも１つの音声サンプルが音素表現を有する、請求項１記載のシステム。
【請求項３】
前記少なくとも１つの音声サンプルが話者識別子にリンクされる、請求項２記載のシステム。
【請求項４】
前記クライアント・コンピューティング・デバイスが携帯電話である、請求項１記載のシステム。
【請求項５】
同様の音素表現を有する複数の音声サンプルが１つの音声タグにリンクされる、請求項１記載のシステム。
【請求項６】
前記第１のメディア・オブジェクトが画像である、請求項１記載のシステム。
【請求項７】
メディア・オブジェクトにタグ付けする方法であって、前記方法が、
第１の音声サンプルと第１のメディア・オブジェクトとの関連をサーバ側で受信することと、
前記第１の音声サンプルを１つまたは複数の他の音声サンプルと比較することと、
前記第１の音声サンプルを第１の音声タグにリンクすることと、
前記第１の音声タグを前記第１のメディア・オブジェクトにリンクすることと、
前記第１の音声サンプル、前記第１の音声タグ、前記第１のメディア・オブジェクト、およびこれらの間の任意のリンクを前記サーバに結合されたデータベースに保管すること
を含む、方法。
【請求項８】
前記関連が携帯電話から受信される、請求項７記載の方法。
【請求項９】
前記第１のメディア・オブジェクトが前記携帯電話で作成される、請求項８記載の方法。
【請求項１０】
前記第１のメディア・オブジェクトが前記データベースから取り出され、前記携帯電話上で提示される、請求項８記載の方法。
【請求項１１】
比較することが、
前記第１の音声サンプルに関する第１の音素表現を形成することと、
前記第１の音素表現を、前記１つまたは複数の他の音声サンプルにリンクされた他の音素表現と比較すること
を含む、請求項７記載の方法。
【請求項１２】
前記第１の音素表現が前記１つまたは複数の他の音声サンプルのうちの１つと一致する場合に、前記第１の音声サンプルが前記第１の音声タグにリンクされ、前記第１の音声タグが前記１つまたは複数の他の音声サンプルのうちの前記１つに前にリンクされている、請求項１１記載の方法。
【請求項１３】
前記第１の音素表現が前記１つまたは複数の他の音声サンプルのうちの１つと一致しない場合に、前記第１の音声サンプルを前記第１の音声タグにリンクすることが、
前記第１の音素表現が前記１つまたは複数の他の音声サンプルのうちの１つと一致しないことが判断された後に前記第１のタグを作成すること
をさらに含む、請求項１１記載の方法。
【請求項１４】
前記第１のメディア・オブジェクトを前記データベースに保管すること
をさらに含む、請求項８記載の方法。
【請求項１５】
前記第１の音声タグを第２のメディア・オブジェクトにリンクすること
をさらに含む、請求項８記載の方法。
【請求項１６】
音声タグ付きメディア・オブジェクトを含むデジタル・データベースをサーチする方法であって、前記方法が、
第１のオーディオ・サーチをサーバ側で受信することと、
前記第１のオーディオ・サーチを前記デジタル・データベースに保管された音声タグのデジタル表現と比較することと、
前記第１のオーディオ・サーチと一致する音声タグにリンクされた１つまたは複数のメディア・オブジェクトを返すこと
を含む、方法。
【請求項１７】
前記第１のオーディオ・サーチが携帯電話から受信される、請求項１６記載の方法。
【請求項１８】
比較することが、
前記第１のオーディオ・サーチを第１の音素表現に変換することと、
前記第１の音素表現と前記音声タグにリンクされた他の音素表現との類似性スコアを計算すること
を含む、請求項１６記載の方法。
【請求項１９】
前記類似性スコアが前記第１の音素表現の先頭部分に基づくものである、請求項１８記載の方法。
【請求項２０】
返すことが、
前記第１のオーディオ・サーチの前記少なくとも一部分を再生すること
を含む、請求項１６記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メディアの特徴付けに関し、より具体的には、音声タグ（ｖｏｉｃｅ  ｔａｇ）によるデジタル・メディアの特徴付けに関する。
【背景技術】
【０００２】
電子図書館、写真共用サイト、画像サーチ・エンジン、オンライン・エンサイクロペディア、およびその他のコンピュータ・システムはいずれも、ファイル・システムまたはデータベース内に多数の画像を保持している。文書とは異なり、画像（およびその他のデジタル・メディア）は索引付けが可能な単語または語句を含まないので、このようなサイトにアクセスするユーザは、所望の画像を見つけるのに苦労する可能性がある。
【０００３】
所望の画像を見つける問題に対する解決策の１つは画像認識であるが、この手法はユーザ生成コンテンツについては法外な費用がかかり、しかもあまり正確ではない。もう１つの既知の方法は、名前付きカテゴリ（フォルダなど）に画像をグループ化してアクセスを容易にすることである。しかし、これは手作業による手間を必要とし、前もって画像を把握していなければならない。
【０００４】
コレクション、セット、および階層を含み、これらの画像を編成する多くの方法がある。コレクションを編成するための一般的な方法の１つはタグ付け（ｔａｇｇｉｎｇ）である。ユーザが画像を見る場合、ユーザは、その画像について「タグ付けする」（記述する）ための単語または語句をタイプ入力することができる。複数のユーザが同じ画像に１つまたは複数のタグを追加することができる。他のユーザがそのサイトにアクセスする場合、特定のタグによって表示された画像までナビゲートすることができる。
【０００５】
タグを使用して画像ナビゲーションを実施できる様々な方法がある。たとえば、ユーザは、１つまたは複数の画像からなるセットに関する既存のタグである単語または語句をタイプ入力することができる。代わって、ユーザは、様々な方法で（アルファベット順、人気順など）配列されたタグを見て、画像（複数も可）を記述するタグを選択することができる。ソーシャル・ナビゲーションのためのテキスト・タグ付けの効力は広く使用されており、十分理解されている。
【０００６】
また、ユーザが項目をスキャンし識別できるようにデジタル・メディアを提示する方法（コラージュ、グリッド、可視化）もある。これらの手法の主な欠点は、スケーラブルではないことであり、すなわち、ディスプレイが散乱状態になり、画面は、特にモバイル・デバイス上などの小さい画面上では、ピクセルを使い切る可能性がある。
【０００７】
また、後でサーチに使用可能なメタデータを導出するためにデジタル・メディアを「自動的に」処理する方法もある。メタデータ（位置、時間）は、画像取得時に取り込み、その後、ビジュアル・デジタル・メディアにナビゲートするために使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかし、テキスト・タグの作成または使用が不可能であるかまたは不都合である多くの状況がある。例としては、ユーザが携帯電話を使用している場合（単語または語句をタイプ入力するために長い時間を要するかまたは視対象から注意がそれる）、身体障害者である場合（単語または語句を入力できない）、限られた教育のために文盲またはやや文盲である場合（読み書きの能力が限られている）、あるいは視力に問題がある（単語または語句が見えない）、もしくはこれらの状況の組み合わせを含む。
【課題を解決するための手段】
【０００９】
本発明の一実施形態により、メディア・オブジェクト・キャプチャ・デバイスと音声キャプチャ・デバイスとを含み、メディア・オブジェクトを音声サンプルに関連付けるクライアント・アプリケーションを実行するクライアント・コンピューティング・デバイスを含むシステムが提供される。また、この実施形態のシステムは、クライアント・コンピューティング・デバイスに結合された通信ネットワークと、通信ネットワークに結合され、第１のメディア・オブジェクトと第１の音声サンプルとの少なくとも１つの関連を受信する音声タグ付けシステムと、音声タグ付けシステムに結合され、それぞれの音声タグが１つまたは複数の音声サンプルに結合される１つまたは複数の音声タグを含むデータベースも含む。
【００１０】
本発明の他の実施形態により、メディア・オブジェクトにタグ付けする方法が開示される。この実施形態の方法は、第１の音声サンプルと第１のメディア・オブジェクトとの関連をサーバ側で受信することと、第１の音声サンプルを１つまたは複数の他の音声サンプルと比較することと、第１の音声サンプルを第１の音声タグにリンクすることと、第１の音声タグを第１のメディア・オブジェクトにリンクすることと、第１の音声サンプル、第１の音声タグ、第１のメディア・オブジェクト、およびこれらの間の任意のリンクをサーバに結合されたデータベースに保管することを含む。
【００１１】
本発明の他の実施形態により、音声タグ付きメディア・オブジェクトを含むデジタル・データベースをサーチする方法が開示される。この方法は、第１のオーディオ・サーチをサーバ側で受信することと、第１のオーディオ・サーチをデジタル・データベースに保管された音声タグのデジタル表現と比較することと、第１のオーディオ・サーチと一致する音声タグにリンクされた１つまたは複数のメディア・オブジェクトを返すことを含む。
【００１２】
追加の特徴および利点は本発明の技法により認識される。本発明のその他の実施形態および態様は、本明細書に詳細に記載されており、請求された発明の一部と見なされる。これらの利点および特徴を有する本発明をさらに理解するために、以下の説明および図面を参照されたい。
【００１３】
本発明と見なされる主題は、本明細書の末尾にある特許請求の範囲において詳細に指摘され、明確に請求されている。本発明の上記その他の特徴および利点は、添付図面に併せて示されている以下の詳細の説明から明らかである。
【図面の簡単な説明】
【００１４】
【図１】本発明の諸実施形態を実現可能なコンピューティング・システムの一例を示す図である。
【図２】本発明の一実施形態によるシステムの一例を示す図である。
【図３】図２に示されているシステムで使用可能なデータベースの一実施形態のブロック図である。
【図４】図２に示されているシステムで使用可能なデータベースの一実施形態のブロック図である。
【図５】図３に示されているデータベースのより詳細な描写である。
【図６】本発明によりメディア・オブジェクトにタグ付けすることができる方法を示す流れ図である。
【図７】本発明の一実施形態によりデータベースを形成する方法を示す流れ図である。
【図８】本発明の一実施形態により音声タグ付きメディア・オブジェクトをサーチして取り出す方法を示す流れ図である。
【発明を実施するための形態】
【００１５】
本発明の諸実施形態は、上記の諸問題または言及されていないその他の問題の一部または全部に対処することができる。本発明のシステムおよび方法は、場合によっては、ユーザがオーディオ識別子でメディア・オブジェクトにタグ付けできるようにすることができる。このようなオーディオ識別子は、本明細書では「音声サンプル」と呼ぶことができる。加えて、本発明は、「音声照会（ｖｏｉｃｅ  ｑｕｅｒｙ）」に基づいてデータベース内の音声サンプルにリンクされたメディア・オブジェクトをサーチするためのシステムおよび方法を含む。音声照会とは、それぞれの単語が一連の音素（ｐｈｏｎｅｍｅ）からなる、人間の言語における一連の単語である。音声照会が１つまたは複数の音声サンプルのように聞こえる場合、これらの音声サンプルにリンクされたタグはメディア・オブジェクトを取り出すために使用されるであろう。
【００１６】
一実施形態では、ユーザが単語または語句を話す自分の音声のオーディオ記録でデジタル・メディアにタグ付けするための方法と、ユーザがこれらの音声タグを使用してデジタル・メディアをサーチしてブラウズするためのもう１つの方法が提供される。「ユーザ」とは、単語または語句を話す人であって、必ずしも音声タグが提供されるデバイスの所有者ではないことを理解されたい。
【００１７】
具体的には、いくつかの実施形態は、話した音声（たとえば、単語および語句）で画像およびその他のデジタル・メディアにタグ付けするためのシステムおよび方法を提供する。本明細書に開示されたシステムおよび方法は、音声サンプル内の一連の音素をタグとして認識する能力を含むことができる。その後、同じかまたは他のユーザが厳密に一致する一連の音素を話した場合、本明細書に開示されたシステムおよび方法はそのデジタル・メディアを取り出すことができる。
【００１８】
また、ユーザが音声タグを傾聴してそのタグのうちの１つを選択し、その後、関連のデジタル・メディアを取り出すための方法も提供される。タグは、アルファベット順、人気順、階層、またはその他の方法で配列することができる。階層では、より具体的なタグの前により一般的なタグを提示することができ、タグは、そのタグの特異性または類似性のレベルに対するユーザ判断によって決定されるように、同義語を有する可能性がある。所与のレベルでタグが選択された場合、すぐ下のレベルのより具体的なタグが提示される可能性があるか、または選択されたタグに関する新しい同義語を記録することができる。所与のレベルでいかなるタグも選択されない場合、このレベルでタグを記録し、その階層に追加することができる。ユーザが音声タグを傾聴する場合、好みに応じてタグまたはタグの特定の音声サンプルを選択するためにスピーカを使用できる場合に、リンクされた音声サンプルのオーディオ特性（たとえば、音の大きさ）を使用して、タグのセット全体に対するそのタグの人気またはその他の特性とアイデンティティを示すことができる。たとえば、人は、他のユーザの音声の前にタグ用の自分自身の音声を聞くことを選ぶことができる。
【００１９】
図１は、本発明の諸実施形態を実現可能なコンピューティング・システムの一例を示している。この実施形態では、システム１００は、１つまたは複数の中央処理装置（プロセッサ）１０１ａ、１０１ｂ、１０１ｃなど（ひとまとめにしてまたは総称的にプロセッサ（複数も可）１０１という）を有する。一実施形態では、各プロセッサ１０１は、縮小命令セット・コンピュータ（ＲＩＳＣ）マイクロプロセッサを含むことができる。プロセッサ１０１は、システム・バス１１３を介してシステム・メモリ１１４および様々なその他のコンポーネントに結合される。読み取り専用メモリ（ＲＯＭ）１０２は、システム・バス１１３に結合され、システム１００の特定の基本機能を制御する基本入出力システム（ＢＩＯＳ）を含むことができる。
【００２０】
図１は、システム・バス１１３に結合された入出力（Ｉ／Ｏ）アダプタ１０７およびネットワーク・アダプタ１０６をさらに描写している。Ｉ／Ｏアダプタ１０７は、ハード・ディスク１０３あるいはテープ記憶装置１０５またはその両方もしくは任意のその他の同様のコンポーネントと通信する小型コンピュータ・システム・インターフェース（ＳＣＳＩ）アダプタにすることができる。Ｉ／Ｏアダプタ１０７、ハード・ディスク１０３、およびテープ記憶装置１０５は本明細書ではひとまとめにして大容量記憶装置１０４という。ネットワーク・アダプタ１０６はバス１１３と外部ネットワーク１１６を相互接続し、データ処理システム１００が他のこのようなシステムと通信できるようにする。画面（たとえば、ディスプレイ・モニター）１１５はディスプレイ・アダプタ１１２によってシステム・バス１１３に接続され、ディスプレイ・アダプタ１１２は、グラフィックス集約アプリケーションの性能を改善するためのグラフィックス・アダプタとビデオ・コントローラを含むことができる。一実施形態では、アダプタ１０７、１０６、および１１２は、中間バス・ブリッジ（図示せず）を介してシステム・バス１１３に接続される１つまたは複数のＩ／Ｏバスに接続することができる。ハード・ディスク・コントローラ、ネットワーク・アダプタ、およびグラフィックス・アダプタなどの周辺装置を接続するための適切なＩ／Ｏバスは、典型的に、周辺コンポーネント・インターフェース（ＰＣＩ）などの一般的なプロトコルを含む。追加の入出力装置は、ユーザ・インターフェース・アダプタ１０８およびディスプレイ・アダプタ１１２を介してシステム・バス１１３に接続された状態で示されている。キーボード１０９、マウス１１０、およびスピーカ１１１はいずれもユーザ・インターフェース・アダプタ１０８を介してバス１１３に相互接続され、ユーザ・インターフェース・アダプタ１０８は、たとえば、複数のデバイス・アダプタを単一の集積回路に統合するスーパーＩ／Ｏチップを含むことができる。当然のことながら、デジタル・カメラまたはデジタル・ビデオ・カメラ（あるいは１つまたは複数の画像をデジタル・フォーマットで供給するその他の手段）およびマイクロホンなどのその他の入力は追加の入力装置として含むことができる。
【００２１】
したがって、図１に構成されているように、システム１００は、プロセッサ１０１の形の処理手段と、システム・メモリ１１４および大容量記憶装置１０４を含む記憶手段と、キーボード１０９およびマウス１１０などの入力手段と、スピーカ１１１およびディスプレイ１１５を含む出力手段とを含む。一実施形態では、システム・メモリ１１４および大容量記憶装置１０４の一部分は共同で、ＩＢＭ社によるＡＩＸ（Ｒ）オペレーティング・システムなどのオペレーティング・システムを保管し、図１に示されている様々なコンポーネントの機能を調整する。
【００２２】
システム１００が任意の適切なコンピュータまたはコンピューティング・プラットフォームにすることができ、端末、ワイヤレス・デバイス、情報家電、デバイス、ワークステーション、ミニコンピュータ、メインフレーム・コンピュータ、携帯情報端末（ＰＤＡ）、またはその他のコンピューティング・デバイスを含むことできることは認識されるであろう。システム１００が通信ネットワークによってまとめてリンクされた複数のコンピューティング・デバイスを含むことができることを理解されたい。たとえば、２つのシステム間にはクライアント・サーバ関係が存在する可能性があり、その２つの間で処理を分割することができる。
【００２３】
システム１００によってサポート可能なオペレーティング・システムの例としては、Ｗｉｎｄｏｗｓ  ９５、Ｗｉｎｄｏｗｓ  ９８、Ｗｉｎｄｏｗｓ  ＮＴ４．０、Ｗｉｎｄｏｗｓ  ＸＰ、Ｗｉｎｄｏｗｓ  ２０００、Ｗｉｎｄｏｗｓ  ＣＥ、Ｗｉｎｄｏｗｓ  Ｖｉｓｔａ、Ｍａｃ  ＯＳ、Ｊａｖａ、ＡＩＸ、ＬＩＮＵＸ、およびＵＮＩＸ、あるいは任意のその他の適切なオペレーティング・システムを含む。また、システム１００は、ネットワーク１１６により通信するためのネットワーク・インターフェース１０６も含む。ネットワーク１１６は、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロエリア・ネットアーク（ＭＡＮ）、あるいは、インターネットまたはワールド・ワイド・ウェブなどの広域ネットワーク（ＷＡＮ）にすることができる。
【００２４】
システム１００のユーザは、標準的な電話回線、デジタル加入者線、ＬＡＮまたはＷＡＮリンク（たとえば、Ｔ１、Ｔ３）、ブロードバンド接続（フレーム・リレー、ＡＴＭ）、ならびにワイヤレス接続（たとえば、８０２．１１（ａ）、８０２．１１（ｂ）、８０２．１１（ｇ））などの任意の適切なネットワーク・インターフェース１１６接続により、ネットワークに接続することができる。
【００２５】
本明細書に開示されているように、システム１００は、ユーザの画面１１５上に示されている情報の取り込みおよび対話式表示のために機械可読媒体（たとえば、ハード・ディスク１０４）上に保管された機械可読命令を含む。本明細書で論ずるように、命令は「ソフトウェア」１２０という。ソフトウェア１２０は、当技術分野で知られているようにソフトウェア開発ツールを使用して生産することができる。ソフトウェア１２０は、当技術分野で知られているようにユーザ対話機能を提供するための様々なツールおよび特徴を含むことができる。
【００２６】
実施形態によっては、ソフトウェア１２０は、他のプログラムへのオーバレイとして提供される。たとえば、ソフトウェア１２０は、アプリケーション（またはオペレーティング・システム）への「アドイン」として提供することができる。「アドイン」という用語は一般に、当技術分野で知られているように補足プログラム・コードを指すことに留意されたい。このような実施形態では、ソフトウェア１２０は、それが協力するアプリケーションまたはオペレーティング・システムの構造体またはオブジェクトに取って代わることができる。
【００２７】
一実施形態では、本発明のシステムは特定の方法で構成することができ、複数のコンピューティング・デバイスを含むことができることを理解されたい。そのために、図２は、本発明の一実施形態によるシステム２００の一例を示している。システム２００は、本明細書に開示された方法を実現するために使用することができる。
【００２８】
システム２００は１つまたは複数のクライアント・コンピューティング・デバイス２０２を含む。クライアント・コンピューティング・デバイス２０２は、任意のタイプのコンピューティング・デバイスにすることができる。一実施形態では、クライアント・コンピューティング・デバイス２０２はマイクロホンとスピーカとを含む。一実施形態では、図２に示されているように、クライアント・コンピューティング・デバイス２０２は、携帯電話または「スマート」ホン、ＰＤＡ、またはマイクロホン２０４とスピーカ２０６を含むその他のハンドヘルド通信（コンピューティング）デバイスにすることができる。完全にするために、クライアント・コンピューティング・デバイス２０２のその他のコンポーネントとしては、デジタル・カメラ２０８、ディスプレイ画面２１０、および入力キーパッド２１２を含むことができる。クライアント・コンピューティング・デバイス２０２のコンポーネントのうちのいくつかは一緒に組み合わせることができることを理解されたい。たとえば、ディスプレイ画面２１０は入力機能を含むことができ、したがって、たとえば、画像を表示するだけでなく、情報を入力するための手段を含むことができる。一実施形態では、クライアント・コンピューティング・デバイス２０２は、クライアント・アプリケーションを実行し、ワイヤレス・データ・ネットワークに接続し、１つまたは複数の画像を取り込み、画像を表示し、オーディオを取り込み、オーディオをブロードキャストするための能力を含むことができる。
【００２９】
クライアント・コンピューティング・デバイス２０２は通信ネットワーク２１４に結合することができる。通信ネットワーク２１４は一実施形態ではセルラー・ネットワークにすることができる。たとえば、通信ネットワーク２１４は、ＧＳＭ、ＴＤＭＡ、２Ｇ、３Ｇ、または４Ｇのワイヤレス・ネットワークにすることができる。また、通信ネットワーク２１４は、ＷＩＭＡＸまたは８０２．１１などのワイヤレス・データ・ネットワークにすることもできる。当然のことながら、通信リンク２１６はワイヤレスまたは物理的なものにすることができる。一実施形態では、通信ネットワークはイントラネットまたはインターネットにすることができる。
【００３０】
また、システム２００は、音声タグ付けシステム２１８も含むことができる。音声タグ付けシステム２１８は通信ネットワーク２１４に結合される。したがって、音声タグ付けシステム２１８は通信ネットワーク２１４によりクライアント・コンピューティング・デバイス２０２と通信することができる。一実施形態では、音声タグ付けシステム２１８はサーバ上に埋め込むことができる。実施形態によっては、音声タグ付けシステム２１８は、メディア・オブジェクトおよび音声タグに関する要求を処理し、音声タグの突き合わせを実行するＷｅｂアプリケーションを実行するように構成することができる。一実施形態では、音声タグ付けシステム２１８は、音声サンプルの場合に、最も厳密に一致する一連の音素を返す、人間の言語に関する音素レベルの音声モデルを有する音声処理装置を含むことができる。当然のことながら、音声処理装置は、個別のユニットに含まれる場合もあれば、個別のユニット上に実現される場合もある。
【００３１】
また、システム２００は、音声タグ付けシステム２１８に結合されたデータベース２２０も含むことができる。データベース２００は音声タグ付けシステム２１８によって使用された情報を保管することができる。一実施形態では、音声タグ付けシステム２１８はその内部にデータベース２２０を含むことができる。
【００３２】
図３は、データベース２２０に保管可能な情報の一例を示している。一実施形態では、データベース２２０は、音声タグ・ストア３０２と、デジタル・メディア３０４と、話者レジストリ（ｓｐｅａｋｅｒ  ｒｅｇｉｓｔｒｙ）３０６とを含むことができる。当然のことながら、データベース２２０はこの特定の方法で分割する必要はない。
【００３３】
デジタル・メディア・ストア３０４はデジタル・メディア・オブジェクトを含むことができる。デジタル・メディア・オブジェクトとしては、画像、文書、アニメーション、およびビデオを含むがこれらに限定されない、視覚再生可能な任意のタイプのメディアを含むことができる。一実施形態では、音声タグ付けシステム２１８（図２）に使用可能なデジタル・メディアのすべてが単一位置に保管されるわけではない場合があり、複数のデータベース２２０に分散される場合があることを理解されたい。
【００３４】
話者レジストリ３０６は特定の話者に関連する音声クリップを含むことができる。一実施形態では、音声クリップの一部または全部をそれぞれの音声クリップの１つの音素表現に関連付けることができる。これは、音声タグ付けに必要ではない場合もあるが、以下に論ずる話者識別検証（ＳＩＶ：ｓｐｅａｋｅｒ  ｉｄｅｎｔｉｆｙ  ｖｅｒｉｆｉｃａｔｉｏｎ）で使用することができる。
【００３５】
音声タグは、１つまたは複数の音声クリップと１つまたは複数のデジタル・メディア・オブジェクトとの関連を保管するオブジェクトであり、音声タグ・ストア３０２に保管される。一実施形態では、「タグ付け」とは、メディア・オブジェクトと音声サンプルとの関連を作成することを指すものとする。対照的に、音声タグ・ストア３０２内の音声タグは少なくとも１つのメディア・オブジェクトおよび１つの音声サンプルへのリンクを含む。
【００３６】
図４は、話者レジストリ３０６のより詳細なバージョンを示している。話者レジストリは、音声タグ付けシステムのユーザを明確に識別する。話者は、タッチ・スクリーンを使用して自分の名前または特殊コードをタイプ入力すること、突き合わせるための音声クリップ（「ｂａｇｇａｇｅ（手荷物）」という単語を話す）、発信者ＩＤからの電話番号、または音声クリップが記録されたときに話していた話者を識別するために音声クリップにリンクすることができる固有の話者識別子を思い付く任意のその他の方法など、それぞれ異なる識別方法を有する可能性がある。
【００３７】
図５は、デジタル・メディア・ストア３０４と話者レジストリ３０６との間のリンクを有するデータベース２２０の一例を示している。より詳細には、図５は、音声クリップ４０２、４０４、４０６、および４０８と、デジタル・メディア・オブジェクト４３０および４３２との間で可能な接続のうちのいくつかの例を示している。第１の音声クリップ４０２は、「ｗｈｅａｔ（小麦）」という単語を話す特定の話者のクリップを表している。第１の音声クリップ４０２は、第１の音声クリップ４０２の話者識別子４１０および音素表現４１２にリンクされる。
【００３８】
音素表現４１２（ならびにその他の音声クリップに関する任意のその他の音素表現）は、いつかの異なる方法で形成することができる。一実施形態では、オーディオ・クリップを音声セグメントと非音声セグメントに分けることができ、音声部分に関する音素は既知の技法または今後開発される技法を使用して認識することができる。図示の通り、一例として、第１の音声クリップ４０２は、「ｗｈｅｅｔ」という文字として描写された音素「ｈｗｅｔ」を表現することができる。
【００３９】
また、第１の音声タグ４２６は、第２の話者識別子４１４および音素表現４１６に結合される第２の音声クリップ４０４にリンクすることもできる。この実施形態では、第２の音声クリップ４０４は、「ｗｅｅｔ」という文字によって描写された音素「ｗｅｔ」を表現している。異なる人によって話されたが、第１の音声クリップ４０２と第２の音声クリップ４０４はどちらも実際には同じ単語であることを推論するために、音素突き合わせアルゴリズムを実現することができる。このような突き合わせは、たとえば、単語の始まり、したがって、１つの単語に関する一連の音素の先頭に基づいて同じように分類される複数の音声クリップを含むことができる。したがって、たとえば、各音声クリップ内の最初のＮ＝３個の音素が認識され、他のものと比較される。当然のことながら、２つのシーケンスを同一のものにするために必要な追加、削除、および移動の回数を表す「編集距離」など、その他の分類技法を使用できるであろう。それにもかかわらず、第１の音声タグ４２６は第１のデジタル・メディア・オブジェクト４３０に関連付けられる。
【００４０】
第２の音声タグ４２８は、第１のデジタル・メディア・オブジェクト４３０および第２のデジタル・メディア・オブジェクト４３２の両方に関連付けられる。これは本発明の原理を例示しており、画像およびビデオなどの異なるタイプのデジタル・メディア・オブジェクトを含む１つまたは複数のデジタル・メディア・オブジェクトに１つの音声タグをリンクすることができる。第１の音声タグ４２６と同様に、第２の音声タグ４２８は１つまたは複数の音声クリップにリンクすることができる。この例では、第２の音声タグ４２８は第３の音声クリップ４０６および第４の音声クリップ４０８にリンクされる。第３の音声クリップ４０６は話者識別子４１８および音素表現４２０にリンクされる。同様に、第４の音声クリップ４０８は話者識別子４２２および音素表現４２４にリンクされる。当然のことながら、一実施形態では複数の話者識別子を組み合わせることができるであろう。
【００４１】
ユーザは、音声クリップとメディア・オブジェクトとの関連を作成することができる。これらの関連を使用して、音声タグを作成し、図５に示されているように音声タグとデジタル・メディア・オブジェクトと音声クリップとの間のリンクを作成することができる。これらのリンクは、たとえば、音声タグ付けシステム２１８（図１）によって作成することができる。話者識別子と音声クリップとの間のリンクは、音声クリップが記録されたときに作成することができる。各音声クリップに関連する音素表現も、音声タグ付けシステム２１８によって作成し、音声クリップにリンクすることができる。図示の通り、話者１（ブロック４２２）は音声クリップ４０６および４０８の両方を話した。タグ４２８を傾聴する場合、明瞭性、発話時間（ｔｉｍｅ  ｏｆ  ｓｐｅｅｃｈ）、音量などを含む、いくつかの構成可能な理由のために、音声クリップ４０６が好まれる可能性がある。
【００４２】
画像のタグ付け
本発明により画像にタグ付け可能ないくつかの方法がある。１つの方法は図６に関して開示される。ブロック５０２では、メディア・オブジェクトが取得され、ユーザに提示される。メディア・オブジェクトは種々の方法で取得することができる。たとえば、ユーザの携帯電話に組み込まれたデジタル・カメラでユーザが写真を撮ることにより、メディア・オブジェクトを取得することができる。他の実施形態では、データベースからユーザの携帯電話の画面にメディア・オブジェクトをダウンロードすることができる。当然のことながら、本発明を逸脱せずに、画像を取得する他の方法を実行することができる。一実施形態では、画像にタグ付けするために、メディア・オブジェクトはユーザにとって見えるものでなければならない。当然のことながら、これは必須ではない。
【００４３】
ブロック５０４では、音声タグ付けアプリケーションが使用可能になる。音声タグ付けアプリケーションは、たとえば、音声サンプルを受信し、表示される画像にそれを関連付けることが可能なクライアント・アプリケーションにすることができる。一実施形態では、音声タグ付けアプリケーションは携帯電話上のクライアント・アプリケーションである。
【００４４】
ブロック５０６では、音声サンプルがユーザから受信される。一実施形態では、画像またはその他のメディア・オブジェクトがユーザに提示されている間に、音声サンプルを受信することができる。
【００４５】
ブロック５０７では、音声サンプルを分析して、話者のアイデンティティを決定することができる。いずれの話者も識別できない場合、音声タグ付けシステムは匿名話者で動作することができる。発信者ＩＤ（電話番号）、話者識別検証（ＳＩＶ）、および電話のキーパッドで名前をタイプ入力することを含むがこれらに限定されない様々な情報を使用して、話者のアイデンティティを決定することができる。また、話者レジストリに保管された１つまたは複数の音声サンプルも使用して、ユーザによって提供され、話者レジストリに保管された音声サンプルと突き合わせることができる。任意選択で、ブロック５０７でいかなる一致も見つからない場合、話者レジストリに新しい話者識別子を作成することができる。このような場合、音声クリップ、名前、電話番号、またはその他の識別情報を記録するためにユーザとの対話が必要になる可能性がある。
【００４６】
ブロック５０８では、音声サンプルとメディア・オブジェクトとの関連が作成される。この関連は、音声サンプルと、ダウンロードされたメディア・ファイル、すでにデバイス上にロードされたメディア、またはユーザによって作成されたメディア・オブジェクトとの関連にすることができる。それにもかかわらず、この関連は、音声クリップの位置、メディア・オブジェクトの位置、この関連が作成された時間を記述することができる。
【００４７】
ブロック５１０では、この関連を音声タグ付けシステムに伝送することができる。当然のことながら、音声サンプルまたはメディア・オブジェクトが前にデータベースに保管されなかった場合、それらをこの関連とともに伝送することができる。たとえば、ユーザがデータベース２２０（図２）から画像をダウンロードし、音声サンプルでそれにタグ付けする場合、音声サンプルとこの関連のみを伝送する必要がある可能性がある。この関連に加えてどのデータが伝送されるかは、システム固有かつ構成可能なものにすることができ、特定の状況に依存する可能性がある。
【００４８】
タグ付き画像のデータベースの作成
上述の通り、個々のユーザは音声サンプルとメディア・オブジェクトとの関連を作成することができる。これらの関連は図５に示されているリンクの基礎を形成する。図７は、本発明の一実施形態によりデータベースを形成する方法を示す流れ図である。
【００４９】
ブロック６０２では、関連が受信される。この関連は音声サンプルとメディア・オブジェクトを関連付けるものである。この関連は、たとえば、音声サンプルの記録と画像の表示を同時に行うことによるものである場合がある。代わって、この関連は、画像を表示せずに関連付けを可能にするシステムによるものである場合もある。一実施形態では、たとえば、メディア・オブジェクトまたは音声サンプルのうちの一方または両方がデータベース内にまだ存在しない場合に、そのメディア・オブジェクトおよび音声サンプルのうちの一方または両方をこの関連とともに受信することができる。この関連は、たとえば、音声タグ付けシステム２１８（図２）によって受信することができる。
【００５０】
ブロック６０４では、音声サンプルが音素表現に変換される。音素表現は既知の技法によって作成することができる。音素表現は音声サンプルにリンクされる。加えて、音声サンプルの話者が分かっている場合、これは話者レジストリ内で音声サンプルの作成者にリンクすることができる。このリンクは、すべての音声サンプルを少なくとも１つの話者識別子にリンクすることができる。たとえば、固有の話者を識別できない場合、または話者識別が使用されず、したがって、すべての音声サンプルがその匿名話者識別子にリンクされる場合、話者識別子は固有の匿名ユーザを識別することができる。当然のことながら、複数のサンプルを単一の識別子にリンクできるであろう。
【００５１】
ブロック６０６では、データベース内の既存の音声サンプルの音素表現が新たに受信された音声サンプルの音素表現と比較される。このような突き合わせを実行するための多くの方法がある。一例は、単語の始まりに基づいて同様に聞こえる複数の単語を突き合わせる（したがって、分類する）ことを含む。このような突き合わせは、これらのＮ個の音素のそれぞれについて音声サンプルで認識された最初のＭ個の音素を抽出することを含むことができる。状況によっては、Ｍ＝３程度の少ない電話機を使用する場合がある。それぞれの音声タグについて、音素を順次比較する。タグは、それぞれのＭ番目の音素に対する一致のレベルに基づくスコアを受け取る。Ｍ−１番目の音素に対する一致にはＭ番目の音素より高い重みを付けることができる。一実施形態では、一致のレベルは、有声子音および無声子音など、音素の一致する特徴の数に基づくものであり、一致なし（ｎｏ  ｍａｔｃｈ）は−１というスコアを受け取る。音素あたり５つの特徴があり、したがって、最良スコアは１５であり、最悪は−３である。
【００５２】
ブロック６０８では、新しい音声サンプルと既存の音声サンプルとの一致が存在するかどうかが判断される。既存の音声サンプルのデータベースから複数の既存の音声サンプルが取り出され、これらが一致する場合、ユーザは最良のものを選択することができる。単一の音声サンプルに対する一致が存在する場合、ブロック６１０で、既存の音声サンプルがリンクされる音声タグに対して新しい音声サンプルがリンクされる。たとえば、もう一度、図５を参照すると、第１の音声クリップ４０２と第２の音声クリップ４０４の両方が音声タグ４２６にリンクされる。これは、第１の音声クリップ４０２が前に音声タグ４２６にリンクされていたために発生する可能性がある。第２の音声クリップ４０４がシステム内に置かれると、第２の音素表現４１６は第１の音素表現４１２と一致する。したがって、どちらの音素表現も同じ音声タグ（音声タグ４２６）に割り当てられる。
【００５３】
次に図７に戻って参照すると、上述の通り、それぞれの音声タグは少なくとも１つのメディア・オブジェクトと少なくとも１つの音声サンプルにリンクされる。ブロック６１２では、既存の音声タグにリンクされたメディア・オブジェクトが新しい音声サンプルに関連するメディア・オブジェクトと一致するかどうかが判断される。一致する場合、タグ付けプロセスに関する情報を記録することができ、プロセスは終了することができる。たとえば、ある画像がタグ付けされた回数をデータベース２２０（図２）に記録することができる。一致しない場合、ブロック６１４で、音声タグが新しい音声サンプルに関連するメディア・オブジェクトにリンクされる。このように、単一の音声タグを複数のメディア・オブジェクトに関連付けることができる。
【００５４】
新しい音声サンプルと既存の音声サンプルとの一致が見つからない（すなわち、これが前に話されていない単語の音声サンプルである）場合、ブロック６１６で新しい音声タグが作成される。次に、ブロック６１８で、新たに作成された音声タグが新しい音声サンプルにリンクされる。新たに作成された音声タグは、すでに説明したブロック６１２から始まる処理に使用される。したがって、これが一致するメディア・オブジェクトに対する関連付けである場合、その音声サンプルが前に関連付けられたメディア・オブジェクトに対して新しい音声タグがリンクされる。これが一致しない新しいメディア・オブジェクトである場合、新たに作成されたタグが新しいメディア・オブジェクトにリンクされることになる。したがって、音声サンプルが既存のどのタグとも一致しない場合、新たに記録された音声サンプルを使用して新たに取り込まれた画像に音声タグを付けることが可能である。
【００５５】
上述の通り、話者レジストリ３０６を使用して音声タグ付けシステムのユーザを明確に識別することができる。話者に関する情報は上記のように収集することができる。
【００５６】
タグ付き画像のデータベースのサーチ
上記の説明ではデータベースをどのように作成し変更できるかについて詳述した。以下の説明では一実施形態においてデータベースをどのようにサーチできるかについて説明する。
【００５７】
図８は、音声タグ付きメディア・オブジェクトをサーチして取り出す方法を示す流れ図である。ブロック７０２では、音声タグ付けシステムのユーザが自分のクライアント・コンピューティング・デバイス上でシステムを使用可能にする。一実施形態では、クライアント・コンピューティング・デバイスは携帯電話にすることができる。他の実施形態では、写真を撮り、音声を記録して再生し、ＷｉＦｉネットワークで動作することが可能なタッチ・スクリーン・デバイスにより、クライアント・コンピューティング・デバイスを形成することができる。
【００５８】
ブロック７０４では、音声検索語を使用するサーチが作成される。これは、ユーザがマイクロホンに向かって単語を話すことを含むことができる。次に、ブロック７０６でこのサーチがサーバにサブミットされる。
【００５９】
ブロック７０８では、サーバ（たとえば、図２の音声タグ付けシステム２１８）が音声検索語（複数も可）を既存の音声タグと突き合わせる。この突き合わせは、検索語（複数も可）を音声セグメントと非音声セグメントに分けることを含むことができる。次に、それぞれの音声セグメントについて、１つの音素表現を形成することができる。これらの音素表現は音声タグにリンクされた既存の音素表現と比較することができ、音声タグとともに保管された既存の音声サンプルの音素表現の一致スコアに基づいて、それぞれの音声タグについて「一致スコア」が作成される。上記の一致スコアを使用して、それぞれの音声タグについて最良一致を決定することができる。
【００６０】
ブロック７１０では、結果がサーチャに返される。複数の音声タグが十分高いスコアを有する場合、これらのタグが返される。いかなるタグも見つからない場合、サーチャに対してこのように示すことができる。一致が存在すると想定して、関連がユーザに提示される。選択されたタグにリンクされた１つまたは複数の一致するメディア・オブジェクトがサーチャに対して表示される。タッチ・スクリーン・デバイス上で一致するメディア・オブジェクトを選択すると、最良スコアを有する関連の音声サンプルを再生することにより、それぞれのメディア・オブジェクトに関連する音声タグを再生することができる。
【００６１】
代替実施形態では、ＭＭＳ（マルチメディア・メッセージング・サービス）を介して画像が取り込まれて送信され、システムは音声入力の階層分類を実行する。この実施形態では、システムは、それ自体がユーザの電話を（公衆交換電話網またはＰＳＴＮを介して）コンピュータ・システムに接続する複数コンポーネントの組み立て品である「音声ゲートウェイ」を含むことができる。
【００６２】
次に図２に戻って参照すると、この実施形態では、音声タグ付けシステム２１８は、対話式音声応答システム（ＩＶＲ）を操作するように構成することができる。ＩＶＲシステムは、ユーザのキーパッド入力を処理し、オーディオ・ストリーム（オーディオ・クリップまたは音声クリップともいう）を再生するかあるいは記録するかまたはその両方を行うように音声ゲートウェイに指示することができる。また、このシステムは、画像を記録して表示することができ、音声タグ付けシステム２１８へのワイヤレス・データ接続を有するワイヤレス・ハンドヘルドホンも含むことできる。以前のように、画像（またはその他のデジタル・メディア）はデータベース２２０に保管し、リンクすることができる。また、システムは、他のユーザに新しいブックマークを通知するために使用される外部（サブジェクトＩＶＲ）サービスへの１つまたは複数のインターフェースも含むことができる。例としては、パブリック・ドメイン電子メール・ネットワーク、無線通信事業者（サービス・プロバイダ）によって所有され運営されるＳＭＳ（ショート・メッセージ・サービス）およびＭＭＳ（マルチメディア・メッセージ・サービス）ネットワーク、ならびに公衆交換電話網（ＰＳＴＮ）である。
【００６３】
この実施形態では、ユーザは、ＰＳＴＮに接続された任意のカメラ付き携帯電話（ｍｏｂｉｌｅ  ｃａｍｅｒａ  ｐｈｏｎｅ）上でＩＶＲシステムを呼び出し、以下のステップを実行して写真を階層的に分類する。すなわち、１．ユーザが自分のカメラ付き携帯電話で写真を撮る。２．ユーザが（電子メールまたはＭＭＳを使用して）自分の携帯電話からＩＶＲサービスに写真を送信する。３．ＩＶＲサービスがデータベースに写真を保管し、タグ付けされていない写真の待ち行列に写真を追加する。４．ユーザがＩＶＲサービスにログオンする。ユーザの電話または明示ログオンの発信者ＩＤもユーザを識別するために使用される。５．それぞれのタグ付けされていない写真に関連するメタデータのテキスト音声（ＴＴＳ）生成を傾聴することにより、ユーザがＩＶＲメニューを使用して写真を選択する。６．この実施形態では、待ち行列内のそれぞれのタグ付けされていない写真のアップロード時間が使用される。７．次にユーザは、写真にタグ付けしたいかどうかを入力するようＩＶＲによって指示され、タグ付けしたい場合、前に記録された階層の音声タグからＩＶＲメニュー・ツリーが構築される。８．ＩＶＲメニュー・ツリーの各レベルＮで、前記ユーザが、ａ）適切なタグを選択するか、ｂ）新しいタグを作成するか、あるいはｃ）タグを削除するよう指示される。９．ユーザが適切なタグを選択した場合、レベルＮ＋１の音声タグが取り出される。１０．他のいかなる特定のタグも使用可能ではない場合、写真とともに音声タグが保管される。
【００６４】
本明細書で使用する用語は、特定の諸実施形態のみを記述するためのものであり、本発明を制限するためのものではない。本明細書で使用するように、「ａ」、「ａｎ」、および「ｔｈｅ」という単数形は、文脈が明らかに他の指示を示さない限り、複数形も含むためのものである。「ｃｏｍｐｒｉｓｅｓ」あるいは「ｃｏｍｐｒｉｓｉｎｇ」またはその両方の用語は、本明細書で使用される場合、所定の特徴、整数、ステップ、動作、要素、あるいはコンポーネント、またはこれらの組み合わせの存在を指定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素コンポーネント、あるいはそのグループ、またはこれらの組み合わせの存在または追加を排除するものではないことはさらに理解されるであろう。
【００６５】
以下の特許請求の範囲におけるすべての手段またはステップならびに機能要素の対応する構造、材料、行為、および同等のものは、具体的に請求されているようにその他の請求要素と組み合わせてその機能を実行するための任意の構造、材料、または行為を含むためのものである。本発明の説明は例示および解説のために提示されたものであるが、網羅するためまたは開示された形式に本発明を限定するためのものではない。多くの変更および変形は、本発明の範囲および精神を逸脱せずに当業者にとって明らかになるであろう。この実施形態は、本発明の原理および実用的な適用例を最も良く説明するため、ならびにその他の当業者が企図された特定の用途に適した様々な変更を含む様々な実施形態について本発明を理解できるようにするために、選択され記載されたものである。
【００６６】
本明細書に描写された流れ図は一例に過ぎない。本発明の精神を逸脱せずに、この図またはそこに記載されたステップ（または動作）に対する多くの変形が可能である。たとえば、諸ステップは異なる順序で実行することができ、あるいは諸ステップを追加、削除、または変更することができる。これらの変形はいずれも請求された本発明の一部と見なされる。
【００６７】
本発明の好ましい実施形態について説明してきたが、当業者であれば、現在および今後のいずれでも、以下の特許請求の範囲内に入る様々な改良および機能強化を行うことができることが理解されるであろう。このような特許請求の範囲は、最初に記載した本発明に関する適切な保護を維持するものと解釈されなければならない。
【図１】
2013521567.tif 000003
【図２】
2013521567.tif 000004
【図３】
2013521567.tif 000005
【図４】
2013521567.tif 000006
【図５】
2013521567.tif 000007
【図６】
2013521567.tif 000008
【図７】
2013521567.tif 000009
【図８】
2013521567.tif 000010
2013521567.tif 000011
2013521567.tif 000012
2013521567.tif 000013
2013521567.tif 000014
2013521567.tif 000015
2013521567.tif 000016
2013521567.tif 000017
2013521567.tif 000018
【国際調査報告】
2013521567.tif 000019