(57)【要約】【課題】取込メディアの検索および再生を容易にする。【解決手段】メディア取込装置は、メディア取込アクティビティとの密接な時間的関係においてメディア取込アクティビティに関係する音声入力を有する。各々がメディア取込アクティビティに関連する複数の集中的音声認識辞書は装置に格納され、音声認識部は集中的音声認識辞書のうち選択されたものに基づいてユーザ音声を認識する。メディアタグ付加部は生成された認識テキストを用いて取込メディアにタグ付加し、メディア注釈付加部は音声認識部への入力に適しているユーザ音声のサンプルを用いて取込メディアに注釈付加する。タグ付加および注釈付加は、ユーザ音声の受け取りと取込メディアの取込との密接な時間的関係に基づく。注釈は、取込メディアを検索するために文字から音声への変換規則，スペル単語入力，または音声への直接一致を使用して辞書の編集に適用される後処理中にタグに変換されても良い。【選択図】図１
2007507746.tif 000002
【特許請求の範囲】
【請求項１】
メディア取込機構と、
メディア取込アクティビティとの密接した時間的関係においてメディア取込アクティビティに関連するユーザ音声を受け取る音声入力と、
各々がメディア取込アクティビティに関係する複数の集中的音声認識辞書と、
前記集中的音声認識辞書の中から選択された集中的音声認識辞書に基づいて前記ユーザ音声を認識するために適合された音声認識部と、
認識されたユーザ音声の受け取りと前記取込メディアの取込との間の密接した時間的関係に基づいて前記音声認識部によって生成されたテキストを用いて取込メディアに対してタグ付加するために適合されるメディアタグ付加部と、
前記ユーザ音声の受け取りと前記取込メディアの取込との密接した時間的関係に基づいて音声認識部への入力に適している前記ユーザ音声のサンプルを用いて前記取込メディアに対して注釈付加するために適合されたメディア注釈付加部とを備える
メディア取込装置。
【請求項２】
請求項１に記載のメディア取込装置において、
ユーザ同一性を受け取る入力をさらに備え、
前記音声認識部は、前記ユーザ同一性に基づいてユーザ音声を認識するために適合される
メディア取込装置。
【請求項３】
請求項２に記載のメディア取込装置において、
前記音声認識部は、前記ユーザ同一性に基づいて集中的辞書を使用するために適合される
メディア取込装置。
【請求項４】
請求項１に記載のメディア取込装置において、
前記音声認識部は、前記ユーザ音声と前記辞書に関連する音声タグに関係する所定ヒューリスティックとに基づいて辞書を選択するために適合される
メディア取込装置。
【請求項５】
請求項１に記載のメディア取込装置において、
ユーザが誘導して辞書を選択することを可能にするために適合されたユーザインターフェイスをさらに備える
メディア取込装置。
【請求項６】
請求項１に記載のメディア取込装置において、
前記装置の検索モード中に受け取られて認識されたユーザ音声から生成された認識テキストに前記取込メディアのタグを一致させることによって、前記装置のメモリから取込メディアを検索するために適合されたメディア検索機構をさらに備える
メディア取込装置。
【請求項７】
請求項１に記載のメディア取込装置において、
注釈を口頭の質問に合わせるための音声類似測定基準を使用して前記装置の検索モード中に受け取られたユーザ音声に前記取込メディアの注釈を一致させることによって、前記装置のメモリから取込メディアを検索するために適合されたメディア検索機構をさらに備える
メディア取込装置。
【請求項８】
請求項１に記載のメディア取込装置において、
前記装置の辞書編集モード中に受け取られて認識された注釈，文字から音声への変換規則，および綴られた単語入力に対応するユーザ音声に基づいて辞書を補完するために適合された辞書編集部をさらに備える
メディア取込装置。
【請求項９】
請求項１に記載のメディア取込装置において、
前記装置よりも優れた音声認識能力を有するポストプロセッサへ注釈を転送するために適合された外部データインターフェイスをさらに備える
メディア取込装置。
【請求項１０】
請求項１に記載のメディア取込装置において、
辞書コンテンツを受け取る外部データインターフェイスと、
前記辞書コンテンツを装置メモリに格納するために適合された辞書編集部とをさらに備える
メディア取込装置。
【請求項１１】
メディアを取り込み、メディア取込アクティビティとの密接な時間的関係においてユーザ音声を受け取るために適合され、且つ、前記ユーザ音声の受け取りと前記取込メディアの取込との間の密接な時間的関係に基づいて音声認識部への入力に適している前記ユーザ音声のサンプルを用いて取込メディアに対して注釈付加するために適合される携帯可能なメディア取込装置と、
前記装置から注釈を受け取り、注釈において音声認識を実行し、且つ、前記注釈において実行された音声認識中に生成されたテキストを用いて関連する取込メディアに対してタグ付加するために適合されたポストプロセッサとを備える
メディアタグ付加システム。
【請求項１２】
請求項１１に記載のシステムにおいて、
メディア取込アクティビティに関係する所定の集中的辞書の供給源であり、且つ、装置のタイプに応じて通信ネットワークを介して前記メディア取込装置へ集中的辞書を伝達するために適合された供給源を備える
メディアタグ付加システム。
【請求項１３】
請求項１１に記載のシステムにおいて、
メディア取込アクティビティに関係する所定の集中的辞書の供給源であり、且つ、通信ネットワークを介して前記ポストプロセッサへ集中的辞書を伝達するために適合された供給源を備える
メディアタグ付加システム。
【請求項１４】
請求項１１に記載のシステムにおいて、
前記装置および前記ポストプロセッサのうち少なくとも１つに供給され、且つ、前記装置のユーザのための集中的辞書をカスタマイズするために適合された辞書編集部を備える
メディアタグ付加システム。
【請求項１５】
請求項１１に記載のシステムにおいて、
メディア取込アクティビティに関係する所定の基準に基づいて取込メディアに関連するテキストタグを選択的なテキストタグに変換するために適合されたマッピングモジュールを備える
メディアタグ付加システム。
【請求項１６】
請求項１１に記載のシステムにおいて、
前記装置は、前記ポストプロセッサによって実行される音声認識の量に比べて比較的制限された量の音声認識を前記注釈において実行し、前記比較的制限された量は比較的低い処理能力および比較的低いメモリ容量のうち少なくとも一方のために時間および検索空間のうち少なくとも１つにおいて制限されており、比較的制限された量の音声認識の間に生成された認識タグを用いて関連する取込メディアに対してタグ付加するために適合される
メディアタグ付加システム。
【請求項１７】
請求項１１に記載のシステムにおいて、
前記ポストプロセッサは、前記装置から取込メディアを受け取り、且つ、前記取込メディアに関連する注釈およびテキストタグのうち少なくとも一方に従って前記取込メディアを体系化するために適合され、音声類似基準および意味的類似基準のうち少なくとも一方におけるクラスタリングを含む
メディアタグ付加システム。
【請求項１８】
メディア取込装置を用いて使用するためのメディアタグ付加方法であって、
前記装置のユーザによってメディア取込アクティビティが導かれている間に前記メディア取込装置を用いてメディアを取り込む工程と、
前記メディア取込アクティビティとの密接な時間的関係において前記装置の音声入力を介してユーザ音声を受け取る工程と、
音声認識部への入力に適している前記ユーザ音声のサンプルに関連して前記取込メディアを前記装置のメモリに格納することによって取込メディアに対して注釈付加する工程と、
前記メディア取込アクティビティに関係する集中的音声認識辞書を使用する前記装置の音声認識部を用いて前記ユーザ音声を認識する工程と、
認識テキストに関連して取込メディアを前記装置に格納することによって、前記ユーザ音声の認識中に生成された前記認識テキストを用いて取込メディアに対してタグ付加する工程とを備える
メディアタグ付加方法。
【請求項１９】
請求項１８に記載の方法において、
前記装置のメモリに格納されたメディア取込アクティビティに関連する複数の集中的辞書から前記メディア取込アクティビティに関係する集中的音声認識辞書を選択する工程をさらに備える
メディアタグ付加方法。
【請求項２０】
請求項１９に記載の方法において、
前記集中的音声認識辞書を選択する工程は、前記ユーザ音声と前記辞書に関連する音声タグに関係する所定ヒューリスティックとに基づいている
メディアタグ付加方法。
【請求項２１】
請求項１９に記載の方法において、
前記集中的音声認識辞書を選択する工程は、前記装置のユーザインターフェイスを介したユーザによる前記辞書の誘導に基づいている
メディアタグ付加方法。
【請求項２２】
請求項１８に記載の方法において、
ユーザ同一性を受け取る工程をさらに備え、
前記ユーザ音声を認識する工程は、前記ユーザ同一性に基づいている
メディアタグ付加方法。
【請求項２３】
請求項２２に記載の方法において、
前記ユーザ同一性に基づいて前記装置のメモリに格納されたメディア取込アクティビティに関係する複数の集中的辞書から前記メディア取込アクティビティに関係する集中的音声認識辞書を選択する工程をさらに備える
メディアタグ付加方法。
【請求項２４】
請求項１８に記載の方法において、
前記装置の検索モード中に受け取られて認識されたユーザ音声から生成された認識テキストに前記取込メディアのタグを一致させることによって、前記装置のメモリから取込メディアを検索する工程をさらに備える
メディアタグ付加方法。
【請求項２５】
請求項１８に記載の方法において、
口頭の質問に注釈を合わせるための音声類似測定基準を用いて前記装置の検索モード中に受け取られたユーザ音声に前記取込メディアの注釈を一致させることによって、前記装置のメモリから取込メディアを検索する工程をさらに備える
メディアタグ付加方法。
【請求項２６】
請求項１８に記載の方法において、
前記装置の辞書編集モード中に受け取られて認識された注釈，文字から音声への変換規則，および綴られた単語入力に対応するユーザ音声に基づいて装置メモリに格納された辞書を補完する工程をさらに備える
メディアタグ付加方法。
【請求項２７】
請求項１８に記載の方法において、
辞書コンテンツを受け取り、前記辞書コンテンツを装置メモリに格納する工程をさらに備える
メディアタグ付加方法。
【請求項２８】
請求項１８に記載の方法において、
前記装置よりも優れた音声認識能力を有するポストプロセッサへ前記装置からの注釈を転送する工程をさらに備える
メディアタグ付加方法。
【請求項２９】
請求項２８に記載の方法において、
前記装置から受け取った注釈において音声認識を実行する工程と、
前記注釈において音声認識が実行されている間に生成されたテキストを用いて関係する取込メディアに対してタグ付加する工程とをさらに備える
メディアタグ付加方法。
【請求項３０】
請求項２８に記載の方法において、
所定の集中的辞書の供給源からの集中的辞書を前記ポストプロセッサへ転送する工程を備える
メディアタグ付加方法。
【請求項３１】
請求項１８に記載の方法において、
所定の集中的辞書の供給源からの集中的辞書を前記装置へ転送する工程を備える
メディアタグ付加方法。
【請求項３２】
請求項１８に記載の方法において、
前記装置のユーザのために集中的辞書をカスタマイズする工程を備える
メディアタグ付加方法。
【請求項３３】
請求項１８に記載の方法において、
メディア取込アクティビティに関係する所定の基準に基づいて取込メディアに関連するテキストタグを選択的なテキストタグに変換する工程を備える
メディアタグ付加方法。
【請求項３４】
請求項１８に記載の方法において、
前記取込メディアに関連するテキストタグに従って前記取込メディアを体系化し、意味的類似基準に基づいてテキストタグをクラスタリングする工程を含む工程をさらに備える
メディアタグ付加方法。
【請求項３５】
請求項１８に記載の方法において、
前記取込メディアに関連する注釈に従って前記取込メディアを体系化し、音響類似基準に基づいて注釈をクラスタリングする工程を含む工程をさらに備える
メディアタグ付加方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、一般に、検索（retrieval），索引（indexing），および採掘（mining）を容易にするための取込メディア（captured media）のタギングに関連し、さらに詳しくは、携帯可能なメディア取込装置（media capture device）に対してオンボードされ（コンピュータに直接搭載され）、その後に（subsequently）使用されるタギング（タグ付加）およびアノテーション（注釈付加）の実例に関連する。
【背景技術】
【０００２】
メディアの生成（特に、マルチメディアストリームの生成）に関連する現在の課題について、メディア（特に、メディアクリップ）のテキスト標識化技術（text labeling）が有効である。このテキスト標準化技術は、メディアの生成に関連する再生および／または編集処理に対してメディアおよびメディアクリップの体系化および検索を容易にしている。この容易化は、マルチメディアストリーム（例えば、多数のメディアクリップ，静止フレームイメージ，および他のメディア記録からなるニュース放送）の生産において、特に、普及している。
【０００３】
従来、そのようなタグは専門家によって挿入されており、携帯可能なメディア取込装置を用いてメディアを取り込んだ後、取り込んだメディアをかなりの時間をかけてブース内で検査していた。この処理は、メディアの取込とマルチメディアの生成との間に実行されており、多大な費用と時間を必要としていた。したがって、音声認識を使用してこのステップを除外し、メディア取込アクティビティ（media capture activity）の直前，最中，および／または直後においてメディア取込装置のユーザの音声によってタグ付加することが有効であろう。
【０００４】
音声認識を使用してメディア取込アクティビティの直前，最中，および／または直後においてメディア取込装置のユーザ音声によってタグを挿入するという解決策は、スチールカメラについて部分的に取り込まれており、そのスチールカメラは静止画像にタグ付加するために音声認識を使用している。しかしながら、携帯可能なメディア装置に一般的に利用可能である制限された音声認識能力は疑わしいので、高品質且つ意味のあるタグを確実に生成されない可能性がある。また、マルチメディアストリームについて関連部分にタグ付加するための解決策は、十分に取り組まれていない。その結果、マルチメディアストリームにおける使用に適している制限された音声認識能力を備えたメディア取込装置に搭載された状態で取り込まれたメディアに高品質且つ意味のあるタグを付加することについての問題を解決することが、未だに必要とされている。本発明は、そのような解決策を提供する。
【発明の開示】
【課題を解決するための手段】
【０００５】
本発明に従うと、メディア取込装置は、メディア取込アクティビティとの密接な時間的関係においてメディア取込アクティビティに関係するユーザ音声を受け取ることができる音声入力を有する。各々がメディア取込アクティビティに関連する複数の集中的音声認識辞書（focused speech recognition lexica）は装置で格納され、音声認識部（speech recognizer）は、集中的音声認識辞書の中から選択された音声認識辞書に基づいてユーザ音声を認識する。メディアタグ付加部（media tagger）は音声認識部によって生成されたテキストを用いて取込メディア（captured media）に対してタグ付加し、タグ付加は認識されたユーザ音声の受け取りと取込メディアの取込との密接な時間的関係（close tempral relation）に基づいて生じる。メディア注釈付加部（media annotator）は、音声認識部への入力に適しているユーザ音声のサンプルを用いて取込メディアに対して注釈付加し、注釈付加は認識されたユーザ音声の受け取りと取込メディアの取込との間の密接な時間的関係に基づく。
【０００６】
本発明の適応可能な範囲は、以下に提示される詳細な説明から明確になるだろう。詳細な説明や具体例は、本発明の好ましい実施形態を示すものであるが、説明のために意図されているだけであり、本発明の範囲を限定するようには意図されないと理解されるべきである。
【発明を実施するための最良の形態】
【０００７】
本発明は、詳細な説明と添付図面とから、より十分に理解されるだろう。
【０００８】
好ましい実施例に関する以下の説明は、本質的には例示的なものに過ぎず、決して、本発明，本発明の有用性，または用途を制限するようには意図されていない。
【０００９】
本発明のシステムおよび方法によれば、メディアの取込工程に続く専門家によるタグの挿入（多大な費用と時間を必要とする工程）を除外することができるという効果を奏する。この効果を達成すべく、本発明は、メディア取込アクティビティの直前，最中，および／または直前においてメディア取込装置のユーザ音声によってタグを挿入することを可能にすることに焦点を当てる。選択自由な自動化した後処理手順（post-processing procedure）は、タグ生成のために指定された記録済みのユーザ音声の認識を向上させる。
【００１０】
装置特有のメディア取込アクティビティに関連する集中的辞書は携帯可能な装置において生成されたタグの品質および関連性を向上させ、予め定義された集中的辞書はオンラインで（恐らくは装置のプロバイダーのサービスとして）装置へ提供されても良い。
【００１１】
語彙集の範囲外にある単語（out-of-vocabulary word）は、さらに、音声認識部への入力に適している注釈をもたらす。その結果として、メディアを取り込んだユーザは、注釈（annotations）を口頭の質問（spoken queries）に合わせるための音声類似測定基準（sound similarity metrics）を使用してメディアコンテンツを検索するために注釈を使用することができる。もう１つの結果として、ユーザは、メディア取込装置（media capture device）に搭載された状態で辞書を編集するために綴られた単語入力（spelled word input）および文字から音声への規則（letter-to-sound）を備えた注釈を使用することができ、同時にテキストタグ（textual tag）を生成することができる。さらなる結果として、注釈は、取込メディア（capture media）のためのテキストタグを自動的に生成するために、携帯可能な装置よりも優れた音声認識能力を有するポストプロセッサ（post-processor）によって使用されても良い。このポストプロセッサは、さらに、メディア取込アクティビティに関係する所定基準に基づいて、取込メディアに関連するテキストタグを選択的なテキストタグに変換することが可能である。取込メディアの自動体系化（automated organzation）は、さらに、意味的知識（semantic knowledge）に基づいてタグに従ってメディアをクラスタリングおよびインデックス付加（indexing）することによって達成することが可能である。その結果として、多大な費用と時間を必要とする工程（専門家による取込後のタグ挿入）を上手く除外することが可能である。意味的類似指標（semantic similarity measures）に基づいてクラスタリングされたテキストタグによって、取込メディアが体系化またはインデックス付加されても良いことが想定される。また、音響類似指標（acoustic similarity measures）に基づいてクラスタリングされた注釈によって、取込メディアが体系化またはインデックス付加されても良いことが想定される。さらに、装置への搭載方法またはポストプロセッサのうちいずれかにおいてクラスタリング工程を達成可能であることが想定される。
【００１２】
図１のエンティティ関係図は、通信ネットワーク（例えば、インターネット）１６を介して所定の集中的辞書１２をメディア取込装置１４へ配信する辞書供給源１０を含む本発明の実施形態を示す。１以上のタイプのメディア取込装置１４についての製造業者（manufacture），販売業者（distributor），および小売業者（retailer）は、装置１４の購入者（purchasers）にサービスとして供給源１０を提供するために選択しても良く、供給源１０は、装置１４のタイプと異なるタイプの装置を用いて実行されるメディア取込アクティビティの関連タイプとに基づいて、辞書１２をそのような装置へ配信しても良い。例えば、記録済みの音楽に関係する辞書をスチールカメラではなくデジタルサウンドレコーダおよびプレーヤに提供しても良い。同様に、野生生物の特殊形態（例えば、バードウォッチングアクティビティ）の記録に関係する辞書をデジタルレコーダおよびプレーヤではなくスチールカメラに提供しても良い。さらに、両方のタイプの辞書をビデオカメラに供給しても良い。容易に理解されるように、装置１４を用いて実行され得るメディア取込アクティビティのタイプが装置１４の能力によって制限されるので、辞書１２は対応する装置１４の能力による装置タイプによって体系化されても良い。
【００１３】
装置１４は、通信ネットワーク１６に接続されたポストプロセッサ１８を介して辞書１２を取得しても構わない。しかしながら、装置１４が選択的または付加的に（恐らくは無線で）通信ネットワーク１６に接続され、供給源１０から直接的に辞書１２を取得しても良いことが想定される。さらに、装置１４が通信ネットワーク１６を介してポストプロセッサ１８にアクセスしても良く、さらに、装置１４の製造業者，販売業者，および／または小売業者によってポストプロセッサ１８をサービスとして装置１４の購入者に提供しても良いことが予想される。したがって、供給源１０およびポストプロセッサ１８は、同一であっても構わない。
【００１４】
図２は、ビデオカメラに対応する装置１４の実施形態を示す。したがって、定義済みおよび／または編集済みの集中的辞書は、外部データ入力／出力２２として、装置１４の外部データインターフェイス２０に到達する。辞書編集部２４は、辞書データ格納部２６に辞書を格納する。好ましくは、辞書は、図３に示されたディレクトリ階層構造（directory tree structure）の移動先フォルダ（destination folder）に関連する集中的辞書の各々を用いて、取込メディアを格納するための誘導可能なディレクトリ構造（navigable directory structure）をユーザに提供する。例えば、特定ユーザについてのメディアを格納するためのユーザフォルダ２８は、特定のメディア取込アクティビティに関係する様々なサブフォルダ３０Ａおよび３０Ｂを含む。好ましくは、フォルダの各々は、システムヒューリステック（system heuristic）を採用する音声によってユーザにフォルダを誘導させるためにタグ付加された音声である。そのシステムヒューリスティックは、音声モデルに対応する記述的テキストタグ（descriptive text tag）を用いて題名が付けられたフォルダおよびサブフォルダに対して整合された音声モデル（matched speech models）を関連付ける。
【００１５】
脈略（treads）は、整合された音声モデルを音声モデルのグループに関連付ける。例えば、「ユーザＡ」として指定されたユーザは、現在のユーザとして自分自身を指定するために装置の音声入力に対して語句「ユーザＡ」を話す。それに応じて、次に、装置は、ユーザフォルダ２８のための音声タグ３４の一致に基づいて、「ユーザＡ」のためのフォルダ辞書３２を使用する。したがって、ユーザが次に「仕事」と話し、装置が音声入力をサブフォルダ３０Ｂのための音声タグ３６に一致させると、２つのことが起こる。第一に、取込メディアを格納するためのフォルダとしてサブフォルダ３０Ｂが選択される。第二に、現在の音声認識辞書として集中的辞書３８が選択される。さらに、音声タグ３４および他のユーザのための他の音声タグを含むユーザ辞書もアクティブであるので、新規ユーザは、いつでもユーザを切り替えることができる。したがって、ユーザの切替は、現在のフォルダから新規ユーザのサブフォルダのための辞書への変更をもたらす。
【００１６】
図２に返ると、ユーザインターフェイス４０Ａも、ボタンやノブのようなユーザが操作可能なスイッチ（user manipulable switches）を含む装置１４に提供される。スイッチは、ユーザ同一性（user identify）を指定するために選択的または付加的に使用可能であるか、さもなくば、集中的辞書を誘導して選択することができる。インターフェイス出力４０Ｂも、記録済みのメディアを見たり聞いたりするためのアクティブなディスプレイおよび／またはスピーカの形式で提供され、映像入力４２Ａおよび音声入力４２Ｂへの入力を監視する。運転中において、ユーザが記録済みのメディアに音声タグを追加したいときにはいつでも、ユーザは集中的辞書を選択してインターフェイス４０Ａのボタンを押すことができる。例えば、ユーザは記録モード４４をアクティブにすることによって記録開始を選択して、ユーザが記録を開始したことについて関係する音声タグを追加しても良い。音声入力４６および映像入力４８はメディアクリップ生成部によって組み合わされて、メディアクリップ５２になる。さらに、ボタンを押している間に生じた音声入力４６の一部は、音声クリップ５６として音声認識部５４に送られる。この動作は、ボタンが押されている間にメディアクリップのオーディオ部分において音声認識が実行されることに相当する。
【００１７】
音声認識部５４は、データ格納部２６のうち現在選択中の集中的辞書を使用して、音声クリップ５６に含まれるユーザ音声から認識タグ５８を生成する。次に、メディアクリップタグ付加部６０は、テキスト５８を使用して、メディア取込アクティビティとタグ付加アクティビティとの時間的関係（temporal relation）に基づいて、メディアクリップ５２にタグ付加する。例えば、タグ付加部６０は、撮影開始の直前または直後に生じたユーザ音声から生成されるテキスト５８に基づいてテキスト５８を用いて全体としてクリップ５２にタグを付加しても良い。この動作は、クリップ５２のヘッダにテキスト５８を取り付けることに相当する。あるいは、ポインタが、タグが話されるメディアクリップにおいてテキストと特定位置との間に作成されても良い。さらに、メディアクリップ注釈付加部６２は、装置メモリにおいて音声認識部への入力に適しているユーザ音声のサンプルを含む音声クリップ５６を格納することによって、タグ付加されたメディアクリップ６４に注釈を付加し、注釈から全体としてのクリップに対して注釈からのポインタを例示化（instantiating）する。この動作は、ヘッダにおいてヘッダまたはテキストへのポインタを作成することに相当する。さらに、この動作は、音声サンプルを含む音声クリップの一部に対しての一般的な注釈ポインタ（annotation pointer）を作成することに相当する。
【００１８】
本発明によるマルチメディアストリームの注釈アクティビティにタグを付加することによる結果は、図４に示される。この例は、フットボールの試合のようなスポーツイベントの撮影中においてタグ付加が生じた時刻に基づいて、取込メディアにおいてテキストタグと位置との間のポインタを使用する。さらに、アクティビティのユーザ識別子６６および時刻／日付６８は、ストリーム７０が開始するときにヘッダ形式としてメディアストリーム７０に関係して記録される。さらに、ユーザは、スポーツイベントを記録するために準備された集中的辞書を選択して、メディアストリーム７０が開始するときに、スポーツイベントのタイプ，競技者，および場所を識別しても良い。その結果として、テキストタグ７２Ａ〜７２Ｃは、それぞれの認識処理（recognition attempt）の各々についての信頼レベル７４Ａ〜７４Ｃに関係する情報を用いて、メディアストリームが開始するときに関係して記録される。ポインタからの既定オフセットは、タグ７２Ａ〜７２Ｃのための注釈７６が含まれたメディアストリーム７０の一部を識別する。次のタグ付加処理（tagging attempts）は同様のタグをもたらし、失敗した認識処理もまた記録されるので、ポインタおよびオフセットの効力（virtue）によって関連注釈が作成される。特に、瞬間的に取り込まれたメディアの場合，音声成分を持たない取込メディアの場合，および／または複合的な専用音声入力を用いて取り込まれたメディアの場合において、選択的なタグ付加技術が使用されても良いことが想定される。例えば、スチールカメラは、注釈と、ユーザ音声の記録からの全体的なポインタとデジタル処理で記録された画像に関係するテキストとを用いて上手く生成された任意のタグ（any successfully generated tags）とを記録しても良い。さらに、ビデオカセットレコーダは、ケーブルで受信されたマルチメディア放送を記録しても良いし、遠隔制御装置のマイクロフォンを介してユーザ音声を追加的に受信してそれを分けて記録しても良い。したがって、ユーザ注釈は、メディアストリームへ結合される必要ない。
【００１９】
図２へ返ると、集中的辞書によって提供されたディレクトリに記録されたタグ付加および／または注釈付加された取込メディア８０は、クリップ検索部８２を使用するユーザによって検索されても良い。したがって、ユーザは、検索モード８４を入力し、音声質問を発する。音声認識部５４は、データ格納部２６の集中的辞書の集成（corpus）を使用して音声質問を認識するために適合され、認識テキスト（recognition text）を取込メディアのタグに一致させる。したがって、一致したクリップ（matching clip）のリストは、インターフェイス出力４０Ｂ（検索されたクリップ８６をユーザに伝達するインターフェイス）を介して最終的な選択のためにユーザに選択および提示される。さらに、音声認識部５４は、発せられた質問に注釈を合わせるための音声類似測定基準（sound similarity metrics）を使用するために適合され、この技術は注釈を作成したユーザのためのクリップを正確に検索する。したがって、音声認識部は、この技術を使用するときに、クリップを検索するためにユーザが処理（attempting）していることを考慮しても良い。
【００２０】
失敗した認識処理（failed recognition attempts）または低信頼タグ（low confidence tags）に関係する注釈は、編集のためにそれらの注釈を作成したユーザに提示されても良い。低信頼タグについては、ユーザは、タグを承認（confirm）または否定（deny）しても良い。さらに、ユーザは、辞書編集モードを入力して、音声認識部５４への綴られた単語入力（spelled word input）と文字から音声への規則（letter to sound rules）とを使用して注釈に基づく辞書を編集しても良い。音声認識部５４は、さらに、質問において注釈から音声モデルを作成し、辞書編集部２４は、認識部５４のテキスト出力からタグを構築して、音声モデルに関連付けてそれ（タグ）を現在の辞書に追加する。最後に、取込メディア８０は、外部データインターフェイス２０を介してポストプロセッサへ伝達されても良い。
【００２１】
図１に返って、ポストプロセッサ１８は、装置１４の音声認識に比べて強化された音声認識部８９を有する。１つの観点では、強化（enhancement）は、装置１４の集中的辞書１４よりも多くの語彙を有する完全音声認識辞書（full speech recognition lexicon）９０を使用することに由来する。したがって、ポストプロセッサ１８は、外部データ入力／出力２２の形式で装置１４から少なくとも注釈を受け取り、受け取った注釈において音声認識を実行して関連する取込メディアのためのテキストタグを生成する。１つの実施形態では、ポストプロセッサ１８は、失敗した認識処理（recognition attemps）および／または低信頼度のタグを作り出した認識処理に関連する注釈のためのタグを生成するために適合される。ポストプロセッサ１８が、関係する取込メディアとの関連のための外部データ入力／出力２２として、生成されたタグを装置１４へ伝達しても良いことが想定される。さらに、ポストプロセッサ１８が、外部データ入力／出力２２として関連する（恐らくはタグ付加された）取込メディアを受け取り、タグ付加および／または注釈付加されたメディアをデータ格納部９２に格納しても良いことが、想定される。そのような場合、ポストプロセッサ１８は、関係する注釈に基づいて取込メディアにタグを追加することによって、データ格納部９２の注釈付加されたメディアを補完（supplement）しても良い。さらに、ポストプロセッサ１８は、意味的知識（semantic knowledge），クラスタリング技術，および／またはマッピングモジュール（mapping module）９６を使用して、データ格納部９２または装置１４に格納された取込メディアのためのインデックス９４を自動的に生成しても良い。
【００２２】
意味的知識は、一般的にはメディア取込アクティビティについてのコンテンツ，メディア取込装置の形式についてのコンテンツ，または特定のメディア取込アクティビティについてのコンテンツに適しているテキストタグの同義語を生成することによってインデックス９４を構築するときに使用されても良い。さらに、画像特徴認識（image feature recognition）はタグを生成するために使用されて、認識された画像特徴および／または生成されたタグはメディア取込アクティビティ，装置，および／またはユーザに関係するコンテンツに対して集中されても良い。例えば、スチールカメラ画像は、縦長書式（portrait）や横長書式（landscape）として認識されて良いし、そのようなものとしてタグ付加されても良い。
【００２３】
クラスタリング技術は、分類するために、さもなければ、一般的に取込メディアと同様の形式にインデックスを付加するために使用されても良く、この技術は、メディア取込アクティビティ，装置、および／またはユーザに関係するコンテンツに対して集中されても良い。例えば、インデックスは、マルチメディアストリームについて「スポーツ」，「ドラマ」，「コメディ」，および「その他」の分類を有する一方、スチールカメラについて「縦長書式」，「横長書式」，および「その他」の分類を有しても良い。さらに、サブカテゴリーは、「横長書式」カテゴリーの下で、スチールカメラについて「山脈」，「海岸」，および「都市風景」のようなカテゴリーに対応しても良い。
【００２４】
マッピングモジュールは、メディア取込アクティビティに関係する所定の基準に基づいて、取込メディアに関連するテキストタグを選択的なテキストタグ（alternative textual tags）に変換するために適合される。例えば、スポーツチームの選手の名前や番号は、マクロに記録され、後処理中（during post-processing）において選手番号を指定するタグを選手名を指定するタグへ変換するために使用されても良い。そのようなマクロは、装置の製造業者，販売業者，および／または小売業者によって提供されても良く、さらに、メディア取込アクティビティ，装置，および／またはユーザに関係する事情（context）に対して集中されても良い。ポストプロセッサ１８によって開発されたインデックス９４は、装置１４に格納された取込メディアに基づいて開発されても良く、さらに装置１４に転送されても良い。したがって、ポストプロセッサ１８は、装置に格納された注釈の認識を周期的に改善し、それに応じて装置においてインデックスを更新することによって装置１４の機能性を強化するために使用されても良い。これらのサービスが、装置１４の製造業者，販売業者，および／または小売業者によって供給されても良く、受信料（subscription fee）が必要とされても良いことが想定される。さらに、取込メディアについての保管サービス（storage servise）が、付加的に提供されても良い。
【００２５】
マッピング（mapping），意味的知識（semantics），および／またはクラスタリング（clustering）のうちいずれかがユーザによって要望としてカスタマイズされても良く、このカスタマイズ能力（customization ability）は、さらに集中的辞書に対して拡張される。例えば、ユーザは、供給源１０から初期の集中的辞書（initial focused lexica）１２をダウンロードし、装置１４における綴られた単語入力（spell word input）を使用した編集処理に比べて編集処理を容易にする優れた音声認識能力を使用する編集部９８を用いて辞書を編集しても良い。これらのカスタマイズされた辞書は、ユーザが選択する適切に配備された任意の装置（any suitably equipped device）１４へ転送するためにデータ格納部１００に格納されても良い。その結果として、追加の装置１４および／または装置１４の新モデルを購入する場合でも、ユーザは、以前のカスタマイズの利益を享受することができる。また、装置１４において編集された集中的辞書は、データ格納部１００および／または別の装置１４へ転送されても良い。
【００２６】
本発明による方法は、図５に示され、ステップ１０２において、メディア取込装置に集中的辞書を格納する工程を含む。辞書は、装置への転送の前に編集されても良いことが描かれている。さらに、方法は、装置の動作モードを指定するユーザ入力を受け取る工程であるステップ１０４を含む。手動のユーザインターフェイスの切替機構（switting mechanism）の操作および／または音声入力とキーワード認識（keyword recognition）によってモードが指定されても良いことが描かれている。さらに、ステップ１０４は、切替機構，音声認識，および／または声紋認識（voice print recognition）によってユーザ同一性（user identity）を指定する工程を含む。ステップ１０６は、装置の音声入力を介してユーザ音声入力を受け取る工程を含み、この音声入力は、すでに指定された動作モード中において装置を操作するために指定される。したがって、ステップ１０８において、音声入力は、現在指定された辞書に基づいて認識される。その辞書は、特定のメディア取込アクティビティに関係しても良い。好ましくは、メディア取込アクティビティの名前に対応するフォルダの名称を含む辞書は、現在の辞書を補完するために開いたままである。
【００２７】
したがって、ステップ１１０のように、認識された音声入力がメディア取込アクティビティの１つに対応する場合、ステップ１１２において、そのアクティブティのためのフォルダがアクティブにされる。このフォルダのアクティブ化によってそのフォルダの辞書は現在の辞書として指定され、処理は、ステップ１０８へ戻る。装置操作のモードが音声によって同様に認識されても良いことおよび／またはフォルダがユーザインターフェイスからの手動入力によって選択されても良いことが描かれている。
【００２８】
新たなモードまたはアクティビティ分類（activitiy category）を指定しない音声入力は、指定されてモードに従って装置を操作するために使用される。例えば、装置がタグ付加モードである場合、ステップ１０８におけるフォルダ辞書を使用して音声入力において認識処理（recognaition attempt）中に生成された任意のテキストは、ステップ１１６において、取込メディアにタグ付加するために使用される。音声サンプルは、ステップ１１８において、取込メディアに注釈を付加するために使用され、ステップ１２０において、取込メディア，タグ，および注釈は、互いに関連して装置メモリに格納される。さらに、装置が辞書編集モードである場合、現在の辞書は、音声規則に対する文字（letter to sound rules）を使用して、選択された注釈のための入力音声からテキストを生成し、ステップ１２２において、テキストは注釈の音声モデルに関連付けて現在の辞書に追加される。さらに、装置が検索モードである場合、処理（attempt）は、取込メディアのタグまたは注釈のいずれかに入力音声を一致させ、ステップ１２４において、再生のために一致した取込メディアを検索するように実行される。外部のポストプロセッサと情報をやりとりするために、追加工程が続いても良い。
【００２９】
本発明が様々な実施形態において使用されても良く、たとえ本発明が携帯可能なメディア取込装置の限られた音声認識能力を取り扱うために部分的に開発されていても、冒頭のメディア取込に限定されないことが容易に理解されるべきである。例えば、本発明は、デジタル形式で受け取られたすでに記録済みの音楽を実質的に瞬間的に記録するポータブルＭＰ３プレーヤに適用されても良い。そのような実施形態において、本発明の応用例は、ユーザ音声が音声入力を介して受け取られ、圧縮された音楽ファイルにタグ付加および注釈付加をするために使用されるようなデジタルスチールカメラでの使用例と同類であっても良い。選択的または付加的に、本発明は、ダウンロードされた音楽を作成している間にユーザ音声を受け取って、圧縮された音声ファイルにおいて一時的に対応する位置にタグ付加および／または注釈付加しても良い。その結果、ＭＰ３プレーヤの限られた音声認識能力は、圧縮された音楽ファイルのダウンロードおよび／または再生に関係する集中的辞書を使用することによって強化される。したがって、すでに取り込まれたメディアのダウンロードおよび／または再生は、特にタグおよび／または注釈が再度取り込まれたメディア（recapture media）に追加される場合には、メディアの再取込（recapture）として解釈されても良い。
【００３０】
また、本発明が選択的および／または付加的な方法で使用されても良く、携帯可能なメディア取込装置に限定されないことが容易に理解されるべきである。例えば、本発明は、たとえ比較的制限のない音声認識能力が利用可能であっても、集中的辞書に基づいて取り込まれたメディアにタグ付加または注釈付加するために携帯不可能な写真または音楽スタジオにおいて使用されても良い。さらに、本発明は、実行可能なコードのダウンロード，ウェブページのダウンロード，および／またはメディア放送の受信を実行する携帯情報端末（personal degital assistant），ラップトップコンピュータ（lap top computer），携帯電話，および／または等価な携帯可能な装置において使用されても良い。さらに、本発明は、前述の装置（例えば、デスクトップコンピュータ（desk top computer），テレビ，ビデオカセットレコーダ，および／または等価な携帯不可能な装置）の携帯不可能な相当物においてに対して使用されても良い。本発明の詳細な説明は、本質的には例示的なものに過ぎず、したがって、本発明の要旨からはずれない変形例は、本発明の範囲内であることを意図される。そのような変形例は、本発明の趣旨や範囲から逸脱しているとはみなされない。
【図面の簡単な説明】
【００３１】
【図１】本発明によるメディアタグ付加システムを示すエンティティ関係図である。
【図２】本発明によるメディア取込装置を示すブロック図である。
【図３】本発明による集中的辞書を示すブロック図である。
【図４】本発明によるタグ付加および注釈付加されたメディアを示すブロック図である。
【図５】本発明によるメディア取込装置で使用するためのメディアタグ付加方法を示すフロー図である。
【図１】
2007507746.tif 000003
【図２】
2007507746.tif 000004
【図３】
2007507746.tif 000005
【図４】
2007507746.tif 000006
【図５】
2007507746.tif 000007
【国際調査報告】
2007507746.tif 000008