(57)【要約】日記アノテーションを受領し、前記日記アノテーションからメタデータを導出し、前記日記アノテーションおよび前記導出されたメタデータを保存する電子日記帳。本電子日記帳は、前記電子アノテーションを受領するのに応答してユーザー・フィードバックを提供してもよい。本電子日記帳は、受領された日記アノテーションとの相関に基づいて以前に保存された日記アノテーションをレンダリングしうる。
2009514086.tif 000002
【特許請求の範囲】
【請求項１】
ユーザーが電子日記帳への日記アノテーションを作成できるようにする方法であって：
日記アノテーションを生成し、
前記アノテーションからメタデータを導出し、
前記日記アノテーションおよび前記導出されたメタデータを前記電子日記帳に記憶する、
工程を有する方法。
【請求項２】
ユーザーからの聴覚的入力を前記日記アノテーションとして受領し、
発話の項を認識するよう受領された聴覚的入力を処理する、
工程をさらに有する、請求項１記載の方法。
【請求項３】
前記導出されたメタデータが前記の認識された発話の項から導出される、請求項２記載の方法。
【請求項４】
ユーザーが、専用ボタンおよび声に出されたキーワード・トリガーのうちの一つを通じて、声に出された日記アノテーションの生成を開始する工程をさらに有する、請求項２記載の方法。
【請求項５】
ユーザーが前記声に出された日記アノテーションの生成を開始するのに応答してユーザー・フィードバックを提供する工程をさらに有する、請求項４記載の方法。
【請求項６】
前記日記アノテーションを生成する工程がさらに：
ユーザーからビデオ入力を受領し、
前記ビデオ入力に描かれているオブジェクトを識別するよう受領されたビデオ入力を処理する、
工程を有する、請求項１記載の方法。
【請求項７】
前記導出されたメタデータが前記の識別されたオブジェクトから導出される、請求項６記載の方法。
【請求項８】
ユーザーが、専用ボタンおよび声に出されたキーワード・トリガーのうちの一つを通じて、前記のビデオ日記アノテーションを生成する所望を開始する工程をさらに有する、請求項６記載の方法。
【請求項９】
ユーザーが前記のビデオ日記アノテーションの生成を開始するのに応答してユーザー・フィードバックを提供する工程をさらに有する、請求項８記載の方法。
【請求項１０】
関連付けられた非導出メタデータを前記電子日記帳に記憶する工程をさらに有する、請求項１記載の方法。
【請求項１１】
前記非導出メタデータは、アノテーションの日付、アノテーション・エントリーの時刻およびユーザー識別子のうちの少なくとも一つを有する、請求項１０記載の方法。
【請求項１２】
以前に記憶された日記アノテーションをユーザーに対してレンダリングする工程をさらに有する、請求項１記載の方法。
【請求項１３】
前記以前に記憶された日記アノテーションがユーザー要求とは独立してレンダリングされる、請求項１２記載の方法。
【請求項１４】
生成されたアノテーションと以前に記憶されたアノテーションとの間の相関を判別する工程をさらに有しており、該相関に基づいて前記以前に記憶された日記アノテーションが選択される、請求項１３記載の方法。
【請求項１５】
日記アノテーションを受領する手段と、
前記日記アノテーションからメタデータを導出する手段と、
前記日記アノテーションおよび前記導出されたメタデータを日記貯蔵部に記憶する手段、
とを有する電子日記帳。
【請求項１６】
前記日記アノテーションを受領する手段に応答してユーザー・フィードバックを提供する手段をさらに有する、請求項１５記載の電子日記帳。
【請求項１７】
以前に記憶された日記アノテーションをレンダリングする手段をさらに有する、請求項１７記載の電子日記帳。
【請求項１８】
以前に記憶されたビデオ日記アノテーションが、受領された日記アノテーションとの判別された相関に基づいてレンダリングされる、請求項１７記載の電子日記帳。
【請求項１９】
電子日記帳とともに使う処理命令をエンコードされたコンピュータ可読媒体であって、該処理命令は：
電子的なアノテーションの受領を制御するプログラム部分と、
前記電子的なアノテーションからメタデータを導出するプログラム部分と、
前記電子的なアノテーションおよび前記の導出されたメタデータを前記電子日記帳に記憶することを制御するプログラム部分とを有する、
コンピュータ可読媒体。
【請求項２０】
前記処理命令が：
以前に記憶された日記アノテーションと前記の受領された日記アノテーションとの間の相関を判別するプログラム部分と、
前記相関に応答して前記以前に記憶された日記アノテーションをレンダリングすることを制御するプログラム部分
とを有する、請求項１９記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、声および統合されたビデオカメラを介して個人的な日記に情報を加えることを可能にするシステム及び方法に関する。本システムおよび方法はさらに、声を使って、あるいはシステムを閲覧装置に接続することによって前記情報を検索することを可能にする。
【背景技術】
【０００２】
何百年にもわたってあらゆる種類の人々が日記をつけてきた。ストレスのある出来事について書くことは、健康および心理的な安寧に改善をもたらすことは古くから知られてきた。近年の研究は、感情書き出し（expressive  writing）は、否定的な出来事についての侵入してくる回避性の考えを減らし、作動記憶（working  memory）を改善することを示している。研究者は、これらの改善は、より効果的にストレスに対処する我々の能力を含め、我々の認知資源を他の精神活動のために解放しうると信じている。
【０００３】
歴史を通じて、日記は一般に冊子体の帳面において、相続くページに手書きされてきた。日付は前もって記録されていることもあれば、日記作者が項目を作る際に書き入れることもある。日記をつける伝統的な方法に関連する一つの欠点は、たとえば特定の日に特定の人物について何が言われたかといった特定の内容を検索することができないことである。日記作者は、簡単に戻って何がいつ書かれたかをみつけることはできない。伝統的な日記作成に関連するさらなる欠点は、のちの時点において挿入できるテキスト量が比較的少量のみであるということであり、このことは可能性としてはインクの変化または筆跡の微妙な変化によって、あるいは追加が余白に書き込まれているという事実によって検出できる。
【０００４】
より最近は、伝統的な日記に関連する上述の欠点のいくつかを克服する電子日記帳が導入されている。紙の日記帳の外観および感触を提供する電子日記帳が知られている。たとえば、米国ミネソタ州イーデン・プレーリーのRegnow/Digital  RiverからのStar  Message  Diary（商標）といったものである。電子日記帳は伝統的な日記帳に対して格別の利点を提供する。それには、たとえば、高いセキュリティおよびパスワード保護、家族の各メンバーのための別個の日記、RTFへのエクスポート機能、1900年から2100年までの任意のところでの無制限の数の日記項目ならびにテキストおよびグラフィックについてのユーザー選択可能なフォント、色、大きさおよびスタイルが含まれる。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、そのような電子日記帳に関連する一つの欠点は、日記のデータをパーソナル・コンピュータまたはモバイル・デバイスに入力するのは、該装置に組み込まれたキーボードを使うか電子ペン入力を使うかして行う必要があるということである。これは時間がかかり、誤りも起きやすい。
【課題を解決するための手段】
【０００６】
したがって、従来技術のこれらの制限および／または他の制限を克服する日記アノテーションを作成および検索する方法を提供することが本システムの目的である。
【発明の効果】
【０００７】
第一の側面では、本発明は、声および声入力の組み合わせを介して日記アノテーションを追加するための日記機能手段を含む電子日記帳を提供する。該日記機能手段はさらに、声およびビデオの組み合わせを使って日記アノテーションを検索する手段を有する。
【０００８】
第二の側面では、前記電子日記帳は好ましくはすべてのアノテーションを日付および時刻といった追加的なメタデータとともに記憶する。該メタデータは、アノテーションが電子日記帳に追加される際にリアルタイムで導出されうる。
【０００９】
もう一つの側面では、ユーザーおよび／または電子日記帳が、内容検索のプロセスを開始しうる。ユーザーが電子日記帳に明示的に以前に記憶された日記アノテーションを表示または再生することを求めることができる。ある実施形態では、電子日記帳がたとえば声により同様の主題事項が日記に入力されるのを検出するときには常に、電子日記帳は以前に記憶された日記アノテーションを検索することを示唆してもよい。
【００１０】
以下は、図面と一緒に参照すると上記の特徴および利点ならびにさらなる特徴および利点を例証する例示的な実施形態の記載である。以下の記載では、限定ではなく説明の目的のため、特定のアーキテクチャ、インターフェース、技法などといった個別的な詳細が例示のために述べられる。しかしながら、当業者には、これらの個別的な詳細から外れた他の実施形態でも付属の請求項の範囲内と理解されるであろうことは明白であろう。さらに、明確の目的のため、周知の装置、回路および方法の詳細な記述は、本発明の記述をかすませないよう、省略されている。
【００１１】
図面は例示的な目的のために含められており、本発明の範囲を表すものではないことははっきりと理解しておくべきである。
【発明を実施するための最良の形態】
【００１２】
以下の記述は例示の目的のために数多くの個別事項を含んでいるが、当業者は以下の記述に対する多くの変形および変更が特許請求されるシステムの範囲内であることを理解するであろう。本システムおよび方法について、以下で、例示的なシステムを参照しつつ述べる。たとえば、本システムは、ビデオおよび声のアノテーションといった、具体的な種別の日記への入力アノテーション／日記からの出力アノテーションに関して記載される。明らかに、本日記帳は数多くのアノテーション種別に適用可能である。それにはこれに限られないが、ビデオ・アノテーション、オーディオ・アノテーション、画像／ビデオ・アノテーション、テキスト・アノテーションおよびそれらの組み合わせが含まれる。例示の目的のため、そして以下の議論を単純化するため、本システムは以下ではビデオおよび声のアノテーションに関して記載される。さらに、各種別のアノテーションはユーザーがそれを入力し、観察する諸方法を有する。たとえば、オーディオ／ビジュアル・アノテーションは、可聴および／または視覚信号の形でユーザーに提供されうる。テキスト・アノテーションは視覚信号として提供されうる。簡潔のため、以下の議論は、アノテーションが入力および検索される具体的な方法を論じるが、アノテーションの種別に基づいておよび／またはユーザーの嗜好に基づいて、アノテーションがユーザーによって好適に入力および検索されうる他の方法をも包含することが意図されている。本システムは、当業者が容易に思いつく数多くの代替的な実施形態に適用可能である。そうした代替的なシステムは付属の請求項によって包含される。したがって、以下の実施形態の記載は、特許請求される発明に対して全く一般性を失わせるものではなく、特許請求される発明に対して制限を課すものでもない。
【００１３】
本発明は、装置のユーザーに関連する個人的な日記帳であってもよい。これは、日記を実装する当該装置が、PDAなどのように個人的な性質のものであるときにそうでありうる。しかしながら、日記帳は、複数ユーザーがその日記にアクセスでき、アクセスがたとえば個々のユーザー識別情報およびパスワードによってコントロールされるようセットアップされる、複数ユーザー環境に対応していてもよい。ある実施形態に基づく日記は、家庭用コンピュータ上で、あるいはネットワーク環境内のサーバー上で実装される家族日記であって、家族の各メンバーが個別のアクセスを有するものでもよい。
【００１４】
本発明の日記１００によって実行される典型的な動作は、たとえば、ユーザーから日記アノテーションを受領し、受領された日記アノテーションを記憶し、以前に記憶された日記アノテーションに対するユーザー要求に応答して以前に記憶された日記アノテーションを検索することを含みうる。さらに、日記１００は、アノテーションを検索するユーザーの具体的な要求とは独立して、ユーザーの日記１００との対話に応答して以前に記憶されたアノテーションを示唆してもよい。これらの動作および他の動作について、以下でより詳細に論じる。
【００１５】
本日記の動作の以下の議論は、例示的に日記１００の機能モジュールに関する。容易に明白であろうように、これらのモジュールのいくつかは、プロセッサによって動作させられるコンピュータ・プログラムの一部として実装されてもよい。プロセッサは、本日記に基づく動作のための専用プロセッサであってもよいし、あるいは複数の他の動作のうちのほんの一つとして本日記に基づいて動作する汎用プロセッサであってもよい。プロセッサはまた、本日記に基づく動作のために構成された専用集積回路であってもよい。ここで議論されるモジュールは、これらの実装およびモジュールの機能性をサポートしうる他の装置を含む他の実装を包含すると理解するべきである。
【００１６】
ここで、本システムの動作について、図１および図３を参照して述べる。
【００１７】
図１に例示的に示されるように、日記帳１００は入力モジュール２０、内容管理モジュール３０、ダイアログ管理モジュール４０、発話合成モジュール３８および非言語連絡のためのレンダラー（RNVC:  renderer  for  non-verbal  communications）４２を含む。
【００１８】
声およびビデオ日記帳装置１００は、工程３１０の間に入力モジュール２０を通じて日記入力を受領することによって動作する。入力モジュール２０は、声認識モジュール２２、ビデオ／画像取り込みモジュール２４およびタッチ／感応入力モジュール２６を含む。
【００１９】
声入力は、入力モジュール２０の声認識モジュール２２において処理され、ビデオ入力のような画像入力は、ビデオ／画像取り込みモジュール２４において処理される。タイプされる、スタイラスなどといった他の種別の入力はタッチ／感応入力モジュール２６を通じて処理されうる。日記帳１００の入力は、内容管理モジュール３０に供給される。数多くの種別のその他の入力／出力が当業者には思いつくであろう。そうした種別の入力／出力のそれぞれは、本システムによって容易に利用されうる。以下の議論の多くはビデオおよび声の入力／出力に関して例示的に論じられるが、他の種別の入力／出力が同様に作用することは明らかである。これらの他の入力／出力のそれぞれは、付属の請求項の範囲内であると理解されるべきである。
【００２０】
図１に示されるように、内容管理モジュール３０は内容検索管理（CRM:  content  retrieval  management）モジュール３２、内容理解およびメタデータ生成（CUMG:  content  understanding  and  metadata  generation）モジュール３４および記憶モジュール３６の三つのモジュールを有する。
【００２１】
CUMGモジュール３４は入力モジュール２０から入力を受領し、工程３２０の間に該入力を解析して、どの種別の入力が提供されているかを判定する。たとえば、これに限られないが、入力は、工程３７０の間に示されるような、以前に記憶されたアノテーションの検索のユーザー要求の形でありうる。入力はまた、工程３３０の間に示されるような、ユーザーが日記帳１００に記憶することを望んでいるアノテーションの形であってもよい。CUMGモジュール３４はまた、アノテーションの記憶および検索を容易にするために受領された入力を解析してもよい。CUMGモジュール３４は、管理、識別、記憶および検索において支援するためにメタデータを決定し、該メタデータを入力と関連付けてもよい。メタデータが決定され、アノテーションを含む入力に関連付けられるのは工程３４０の間であり、該工程は例示的に、入力がアノテーションであると判定されたあとに示されている（たとえば工程３２０および３３０を参照）。該メタデータは、入力についての説明情報または入力ファイルの名前、入力の長さ（たとえばバイト数）、入力のデータ種別（たとえば視覚的または聴覚的）などといった入力の属性を含みうる。メタデータは、リモート記憶装置から提供されるアノテーションの一部（たとえば添付された写真）のようなある入力と、すでに関連付けられていてもよい。メタデータは、該入力を取り込んだ／作成した装置によって関連付けられてもよい。該装置はたとえば、取り込んだ画像についてのメタデータを生成するデジタルカメラ（たとえばビデオ画像取り込みモジュール２４）といったもので、該メタデータはたとえば、カメラ設定、撮影時などといったものである。メタデータは日記帳１００のユーザーによって入力と関連付けられてもよい。
【００２２】
このように、メタデータは導出メタデータ（処理された入力からリアルタイムで得られる）および上記のように入力エントリーの日付および時刻を含む非導出データの組み合わせからなっていてもよい。たとえば、ビデオ／画像入力は、顔、建物、モニュメントおよび入力内に描かれている他のオブジェクトといった該入力の特徴を識別するために、特徴抽出技術を使って解析されてもよい。処理された声入力の句を識別することによって、声に関係するメタデータが導出されてもよい。他の種別の入力が同様に解析されて、関連付けられたメタデータが決定されてもよい。
【００２３】
ビデオおよび声メタデータを含むメタデータは、それぞれの処理される入力とともに、工程３６０においてのちの検索のために記憶モジュール３６に記憶されうる。これはたとえば、CUMGモジュール３４が入力種別が記憶するためのアノテーションであると判定する場合である。ここでの用法では、アノテーション（annotation）は、日記帳１００によって受領される任意の形であってよく、ビデオおよび／または声のアノテーションおよび任意の関連付けられたメタデータ（導出および非導出）を含みうる。
【００２４】
記憶されたアノテーションは、工程３２０の間の判定の結果としてのユーザー要求に応答して記憶モジュール３６から検索されてもよいし、および／またはユーザー要求とは独立して他の仕方で検索されてもよい（工程３４０参照）。ある種の実施形態では、ユーザーが日記帳１００内にアノテーションを作成するとき、日記帳１００は工程４１０（図４参照）の間にそのアノテーションから導出されたメタデータを解析し、工程４３０の間にユーザーに、現在作成されているアノテーションとある程度の相関をもつ（工程４２０）記憶されているアノテーションを示唆しうる。検索されたアノテーションは、工程４４０の間にユーザーに呈示されうる。これはたとえば、テレビまたはパーソナル・ディスプレイのようなレンダリング装置１１０上に表示されることによる。たとえば、記憶されている、声アノテーションのような聴覚的アノテーションは、記憶モジュール３６からユーザー要求に応答して検索されうるし、あるいはユーザー要求とは独立して当該システムによって検索されてユーザーに提供されうる。その際、検索された聴覚的アノテーションは発話合成モジュール３８によってユーザーにレンダリングされうる。
【００２５】
アノテーションの記憶および検索といったユーザーによる日記帳１００の使用は、好適なユーザー・インターフェースを通じてサポートされる。ユーザー・インターフェースは、テキスト要素、グラフィック要素、オーディオ要素、ビデオ要素、自律的（autonomic）要素およびアニメーション要素のうち少なくとも一つを含む。ユーザーは任意の好適な入力装置を使ってユーザー・インターフェースと、そしてそれにより日記帳１００と、対話しうる。たとえば、これに限られないが、ユーザーが日記帳１００と対話するのは、コンピュータ・マウス、コンピュータ・キーボード、リモコン装置、汎用または専用のスタイラス装置、入力ボタン、ジョイスティック、ジョグダイアル、タッチパッド、ナビゲーション・ボタンおよび／またはさらにユーザーの指または他のプローブの使用を通じてでありうる。限定なしの例示として、ユーザーは、前記RNVC４２および前記発話合成モジュール３８の一つまたは複数を通じてユーザー・インターフェースを呈示され、該ユーザー・インターフェースと入力モジュール２０を通じて対話する。もちろん、図１に表示されている複数のモジュールのいずれも、実際には入力および出力動作の両方のための単一のモジュールからなっていてもよい。たとえば、表示装置（たとえばRNVC４２）は、現在または以前に入力されたアノテーションといった出力をユーザーに対して表示するよう動作する表示面を有しうる。該ディスプレイはまた、ユーザーからの入力の受領をもサポートしうるようタッチ感応であってもよい。これらの動作のそれぞれは、好適なユーザー・インターフェースの使用を通じてサポートされうる。
【００２６】
本発明の一つの特徴は、ユーザーが日記アノテーションを入力および／または検索しうる仕方である。具体的には、日記帳１００は日記アノテーションを、ビデオおよび声を含むいかなるフォーマットで受領／検索してもよい。例示的に、ビデオおよび声のアノテーションについてそれぞれ以下においてより十全に記載する。
【００２７】
声アノテーションを作成するため、工程３０５の間に、ユーザーが日記帳１００に対して、後続のアノテーションが一般的に意図されている（たとえば、任意の種別のアノテーション）ことを指示するさまざまな初期化動作が考えられる。あるいは初期化は、後続のアノテーションの種別（たとえば声アノテーション）を指示してもよい。初期化動作はたとえば、ユーザーによるアノテーション開始ボタンのようなボタンの押下；ユーザーが「声アノテーションを開始」と述べるといった声に出したキーワード・トリガーを含みうる。日記帳１００は、声に出したキーワード・トリガーでありかつアノテーションの一部である入力を受領してもよい。たとえば、ユーザーが句「親愛なる日記帳…」を使うといった場合である。この場合、CUMGモジュールが入力を受領して、それを声に出したキーワード・トリガーでありかつ記憶するためのアノテーションの冒頭であるとして解釈しうる。
【００２８】
もちろん、ユーザーが日記帳１００への入力を開始しうる任意の他の方法も本システムによって考えられている。ユーザーが上記の仕方で、あるいは他の手段によって声アノテーションを開始するとき、日記帳１００は工程３３５の間に、声アノテーションの入力が開始されたことを示す何らかの形のフィードバックを提供しうる。このフィードバックはたとえば：LED、言葉によるフィードバック情報（たとえば「私は聞いています…」）および／またはロボット環境の場合は感情的応答（たとえば頷きまたは微小）を含みうる。
【００２９】
ロボット環境の場合、RNVCモジュール４２はダイアログ管理モジュール４０から、声アノテーションを開始するユーザーの希望を示す入力を受領する。RNVCモジュール４２は、ユーザーに声アノテーションが開始されていることを示すために、たとえばウインク、眉のつり上げおよび／または手のジェスチャー（たとえば「OK」ジェスチャー）といったいくつかの事前プログラムされた非言語応答を含みうる。
【００３０】
日記帳１００への声入力の使用を有効にして、ユーザーが日記の声アノテーション（声による日記エントリー）を作成し、あるいはそうでなければ以前に記憶された日記アノテーション（たとえばビデオおよび／または声）を検索するというユーザーの聴覚的な要求を満足させることを可能にするなどするため、日記帳１００は、日記帳１００へのユーザーの聴覚的入力を処理するための声認識インターフェース・モジュール２２を含みうる。声認識インターフェース・モジュール２２によって処理されたのち、認識された声入力はCUMGモジュール３４に提供される。CUMGモジュール３４は認識された声入力についてメタデータを決定する。当然ながら、声認識は、入力された声に対してCUMGモジュール３４によって直接実行されてもよい。その場合、入力モジュール２０はマイクロホンのような聴覚的取り込み装置のみを有していてもよい。
【００３１】
たとえば、CUMGモジュール３４が声入力からメタデータを決定するのは、数多くの方法で行いうる。それには、認識されたユーザー声入力に関連するトピック情報を抽出するために文法規則を適用することが含まれる。以下の文（左列）は、例示的な認識された声入力を表している。文法規則の適用は右側に示されている。
【００３２】
文                ……文法規則
「マークってほんとにかわいい男だわ」……マークが主題（subject）
「私、彼は私のこと好きだと思うわ」……「私」は装置のユーザー自身を指し、「彼」は直前の文のマークを指しているので、マークが主題
「少なくとも私は彼のことがとても好き」……再びマークが主題
CUMGモジュール３４の動作に基づき、メタデータは文法規則（右側）を、処理される声入力（すなわち、上記の文）に適用することから導出（決定）されうる。導出メタデータ（たとえば「SUBJECT＝マーク」）は、リアルタイムで導出されてもよく、処理されたユーザー声入力に関連付けて記憶モジュール３６に記憶されてもよい。日付および時刻といった非導出の形のメタデータも導出メタデータおよび処理されたユーザー声入力と一緒に記憶モジュール３６に記憶されてもよい。一般に、メタデータは、ユーザーによる検索およびアクセスを容易にするための、ユーザー声入力のような記憶されているアノテーションへのインデックスを提供する。
【００３３】
本発明は、アノテーションに関連付けられているメタデータを確認する他の技法を考えている。たとえば、画像アノテーションに関連する位置特徴を識別するために画像処理技術が利用されてもよい。識別された位置特徴は導出メタデータとして利用されうる。Dongge  Li  et  al.への、2002年11月15日に出願され、“Content  Retrieval  Based  On  Semantic  Association”という名称の米国特許出願第10/295,668は、識別可能なオブジェクトについてマルチメディア・コンテンツを解析し、複数のモダリティ（たとえばテキスト、画像、音響）からのマルチメディア・コンテンツをインデックス付けおよび検索する方法を開示している。この文献は、あたかも全体において記載されているかのようにここに参照によって組み込まれる。Nelson  et  al.への、2001年6月5日に発行された  “Multimedia  Document  Retrieval  by  Application  of  Multimedia  Queries  to  a  Unified  Index  of  Multimedia  Data  For  a  Plurality  of  Multimedia  Data  Types”という名称の米国特許第6,243,713号は、テキスト、画像、オーディオまたはビデオ・コンポーネントといったマルチメディア・コンポーネントを含む複合文書をインデックス付けして統一された共通インデックスを生成し、文書検索を容易にすることによる、マルチメディア文書検索のためのシステムおよび方法を開示している。この文献は、あたかも全体において記載されているかのようにここに参照によって組み込まれる。
【００３４】
いずれにせよ、メタデータがどのように導出されるかに関わりなく、処理された声入力および関連付けられたメタデータは、上記のようにのちの検索のために、工程３６０の間に記憶モジュール３６に記憶される。
【００３５】
図２を参照すると、テーブルの諸エントリーが、本発明のある実施形態に基づく、日記帳１００の記憶モジュール３６に記憶されたアノテーションおよび関連付けられたメタデータを表している。このテーブルはまた、各アノテーションについてフィールド２０２、２０４、２０６、２０８、２１０、２１２および２１４をも含んでいる。フィールドは：エントリーの日記日付２０２、エントリーの日記時刻２０４、ユーザー識別子２０６、日記アノテーション識別子２０８、アノテーション・ファイル名２１０、ファイル種別２１２およびその他のメタデータ２１４を指定している。
【００３６】
エントリーの日記日付フィールド２０２、エントリーの時刻２０４、ユーザーID２０６、ファイル種別フィールド２１０ならびにプライバシー設定（たとえばPRIVACY=1）、画像取得設定（たとえばSETTTINGS=S500  F2.8）などといったフィールド２１４の要素はまとめて非導出メタデータをなしうる。アノテーション２０８はユーザーによってそのエントリーに与えられる名前である。アノテーション名２１０は、たとえばファイル・アロケーション・テーブル（FAT）に記憶されうるような、日記帳１００によってそのエントリーに帰された実際のファイル名を含む。ファイル種別２１２は、所与のアノテーションに関連付けられたファイル（単数または複数）の種別を示す。示されるように、各アノテーションは、別個のオーディオおよび画像ファイルのような、一つまたは複数のエントリーおよびエントリー種別を含みうる。たとえば、1:20PMという時刻を有する2005年4月2日付けのアノテーションは画像エントリー（IMAGE1.BMP）およびオーディオ・エントリー（MP31.MP3）の両方を含む。
【００３７】
その他のメタデータ・フィールド２１２は、上で論じた他の非導出メタデータとともに日記アノテーション２０８から導出されたメタデータを含みうる。3:30PMという時刻を有する2005年5月7日付けの例については、フィールド２１０からのMP33.3ファイルは「私の」「卒業」「来週」といったキーフレーズを含みうる。これがCUMGモジュール３４の動作を通じて、日記帳１００に、その他メタデータ・フィールド２１４に入れるための、ABOUT=アン  卒業  を含む、メタデータを導出することを許容することになる。
【００３８】
CUMGモジュール３４は入力から他のコンテキストをも導出しうる。他のコンテキストとは、ビデオまたは声セグメントのような入力の感情コンテキストといったものである。たとえば、声セグメントから、CUMGモジュール３４は、特定的には話者が感情的である、刺激されている、興奮しているなど（たとえば幸せ、悲しい、怒っている、恋している）かどうかを、および／またはより一般的には入力の高い／低い感情コンテキストを判定し、コンテキスト識別メタデータを前記声セグメント（またビデオ入力などのセグメント）に関連付けうる。
【００３９】
その他メタデータ・フィールド２１４は、複数ユーザー環境においてどのユーザーが所与のエントリーにアクセスしてよいかをコントロールしうるPRIVACＹ項目をも含みうる。たとえば、9:55AMという時刻を有する2005年4月1日付けのアノテーションは、PRIVACY=0という関連付けられたメタデータを有する。USER  ID=2（父）によって入力されたこのメタデータは、日記帳１００の任意のユーザーによって検索されうる。一方、8:02AMという時刻を有する2005年4月1日付けのアノテーションはPRIVACY=1という関連付けられたメタデータを有し、よってそのエントリーを作成したユーザー（USER  ID=1、アン）によってのみ検索されうる。所与のアノテーションについてのプライバシー・メタデータは、ユーザー・インターフェースによってサポートされるように、ユーザーによって、アノテーション入力の時刻において設定されてもよい。注目すべきもう一つの点は、所与のアノテーションは、所与のメタデータ種別について複数のメタデータを有することがありうるということである。たとえば、9:55AMという時刻を有する2005年4月1日付けのアノテーションは、旅行およびジェフ想い出という値を有するSUBJECTというメタデータ種別を含んでいる。これらの値のそれぞれは、のちに論じるようにアノテーション検索のために利用されうる。
【００４０】
ビデオ・アノテーションを作成するため、さまざまな初期化動作が考えられる。それには上で論じた一般初期化動作のほか、ユーザーによってビデオ・アノテーションが意図されていることを日記帳１００に特定的に示す他の初期化動作が含まれる。それらの特定的な初期化動作はたとえば、ビデオ・アノテーション・ボタンおよび声に出したキーワード・トリガー（「ここを見よ」）などを含みうる。
【００４１】
ユーザーが上記した仕方で、あるいは他の手段によってビデオ・アノテーションを開始すると、日記帳１００は好ましくは、ビデオ・アノテーションが開始されたことを示すために、何らかの形のフィードバックを提供する。このフィードバックはたとえば：LED、システムによる言葉によるフィードバック情報（たとえば「見せてください…」）の提供および／またはロボット環境の場合は感情的応答（たとえば装置がブリンクするか頷く）の提供を含みうる。
【００４２】
ビデオ日記アノテーションを作成するために、日記帳１００は、日記帳１００へのビデオ入力を処理するための、図１に示されるビデオ／画像取り込みモジュール２４を含みうる。ユーザーが作成したビデオ日記アノテーションには、声日記アノテーションのような他のアノテーション種別が伴っていてもよい。しかしながら、ビデオ日記アノテーションは、付随する声日記アノテーションを含めることなく作成できる。
【００４３】
ビデオ／画像取り込みモジュール２４によって処理されたビデオ入力は、CUMGモジュール３４に入力として提供される。CUMGモジュール３４は、処理されたビデオ入力から、テキスト声入力に関して上で論じたのと同様に、画像内の識別可能なオブジェクトを求めて画像を調べることによって、メタデータを導出する。処理されたビデオ入力から導出されたメタデータは記憶され、記憶モジュール３６内でその処理されたビデオ入力と関連付けられる。たとえば、8:02AMという時刻を有する2005年4月1日付けのアノテーションはビデオ・エントリー（VID1.mov）およびSUBJECT=マーク、LOCATION=家といった関連付けられたメタデータの両方を含む。
【００４４】
日記アノテーションは、ユーザーが開始した検索によって、あるいはユーザーの検索要求とは独立して日記帳１００によって検索されうる。ユーザーが日記アノテーション（たとえばビデオおよび／または声）のアノテーション検索を開始する場合、以前に記録されたビデオ日記アノテーションおよび／または以前に記録されたオーディオ日記アノテーションのような以前の日記アノテーションを検索するために、ユーザーは日記帳１００への明示的な検索要求をしてもよい。ある実施形態では、日記アノテーション（たとえばビデオおよび／または声）を検索するユーザー要求が、声にされた要求として、声認識インターフェース２２に供給されうる。この実施形態または他の実施形態において、ユーザーは、キーボード、マウス、スタイラスによるなど、他の入力システムを利用することによって日記アノテーションを検索するよう要求してもよい。
【００４５】
例として、ユーザーは、「昨日私はマークについて何を言ったか」といった、日記アノテーションを検索する要求を声に出しうる。このユーザー要求は声認識インターフェース２２によって処理され、処理された声入力からメタデータを生成するために、処理された出力がCUMGモジュール３４に提供される。生成されたメタデータ（たとえば「マーク」および「昨日」のような項［term］）はCRMモジュール３２に回送される。CRMモジュール３２は、記憶モジュール３６内に関係するメタデータを見出すためにこのメタデータを使う。ここでの用法では、記憶モジュール３６内の関係するメタデータとは、検索要求の間に生成されたメタデータと同じ（たとえばマーク＝マーク）または似ている（たとえばマーク≒マークの）ものでありうる。CRMモジュール３２はまた、最も有意な保存されている日記アノテーションを検索するために、メタデータの組み合わせを使ってもよい。たとえば、日記帳１００は、マークという関連付けられたメタデータをもつアノテーションを多数有することがありうる。しかしながら、これらのアノテーションのうち何らかのサブセットのみが昨日の日付というさらなるメタデータを有するということがありうる。したがって、上記の要求に応答して、マークおよび昨日の日付の両方をメタデータとしてもつアノテーションのサブセットのみがCRMモジュール３２によって検索されることになる。
【００４６】
アノテーションは、感情コンテキストが高いアノテーションの要求といった、コンテキスト・メタデータに関して検索されてもよい。これは、特定のユーザーが日記帳を感情的な経験に対処するために感情書き出しのために利用することがあるので、望ましい。いずれにせよ、ユーザーはある特定のコンテキストに関係したアノテーションを見直したいことがありうる。たとえば、ユーザーは、悲しかったときのアノテーションを検索することを望むことがありうる。コンテキスト・メタデータは、他のメタデータと同様に、この種別のアノテーション検索要求において支援しうる。
【００４７】
記憶モジュール３６からの適切な日記アノテーション（単数または複数）を位置特定すると、アノテーションが取り出され、ダイアログ管理モジュール４０に回送される。ダイアログ管理モジュール４０は取得された日記アノテーションを解析して、各アノテーションの種別（ビデオ・アノテーションか、声アノテーションか、など）を決定し、検索された日記アノテーションを適切なレンダリング装置に向かわせる。たとえば、検索された声アノテーションは、ユーザーに対する発話レンダリングのために発話合成モジュール３８に向かわされてもよい。当然ながら、検索されたアノテーションが記録されている声アノテーション（たとえばwavファイル）である場合、発話合成モジュール３８は単に、検索された声アノテーションを可聴的に再生するためのスピーカーであってもよい。他の検索されたエントリーは、ユーザーに対するテキスト、ビデオなどの表示のような非言語的なレンダリングのためにRNVCモジュール４２に向かわされうる。ダイアログ管理モジュール４０はまた、検索されたアノテーションを対応するコンテキストをもってレンダリングするよう発話合成モジュール３８に指令するために、コンテキスト・メタデータを使ってもよい。たとえば、検索された高い感情コンテキストのアノテーションは、それにマッチするコンテキストをもってレンダリングされうる。
【００４８】
日記帳１００がアノテーション検索を開始する場合、CRMモジュール３２は、CUMGモジュール３４からの、記憶するための現在のアノテーションから導出された（上で論じたように）メタデータ出力を解析する。現在のアノテーションにある程度の相関を有しうる以前に記憶されたアノテーションを見る機会をユーザーに示唆するためである。このようにして、ユーザーのアノテーション検索要求とは独立して、日記帳１００は、記憶されている同様の（たとえば同様の主題、オブジェクト、時間など）アノテーションを検索し、見るおよび／または聞くなどする機会をユーザーに提供しうる。日記帳１００は、以前に記憶された同様なアノテーションを識別するために、メタデータ・キーワード・マッチングまたは視覚的特徴類似性技術といったマッチング技術を利用してもよい。
【００４９】
たとえば、日記帳１００が1:40PMに2005年4月2日のアノテーションを受領するとき、CRMモジュール３２はフィールド２１４に示される関連付けられたメタデータを受領しうる。CRMモジュールは記憶モジュール３６に問い合わせをして、同じまたは同様の関連付けられたメタデータを有する他のアノテーションを同定しうる。この場合では、日記帳１００は、ユーザー・インターフェースの使用を通じて、アンに、2005年4月1日8:02AMに入力されたアノテーションを見直す機会を提供しうる。現在のアノテーションと記憶されているアノテーションとの間の類似性（たとえばSUBJECT＝マーク、ORIG＝アン）のためである。追加的な記憶されているアノテーション、たとえば2005年4月2日1:40PMに入力されたアノテーションも、見直しのためにアンに示唆されてもよい。
【００５０】
日記帳１００は、以前に記憶されたアノテーションを同定するために、コンテキスト・メタデータ・マッチング／対照のようなマッチング技術をも利用してもよい。アノテーションのコンテキストとは、ユーザーの検出された気分、アノテーション入力／検索の環境ならびにアノテーション入力／検索のその他の周囲の条件を含みうる。
【００５１】
たとえば、ユーザーの気分を検出できる諸システムが知られている。Antonio  Colmenarez  et  al.への、2005年8月16日に発行され、“Mood  Based  Virtual  Photo  Album”という名称の米国特許第6,931,147号は、画像パターン認識によってユーザーの気分を判定する諸方法を開示している。この文献は、あたかも全体において記載されているかのようにここに参照によって組み込まれる。この判定は、顔の表情を、複数の以前に記憶された表情の画像と比較することによって行われる。該複数の以前に記憶された画像は、それぞれの気分を示す感情識別子が関連付けられている。Hugo  Strubbe  et  al.への2004年9月21日に発行され、“User  Interface/Entertainment  Device  That  Simulates  Personal  Interaction  And  Charges  External  Database  With  Relevant  Data”という名称の米国特許第6,795,808号は、ユーザーのオーディオおよび画像信号を解析することによってユーザーの気分を判定する諸方法を開示している。この文献は、あたかも全体において記載されているかのようにここに参照によって組み込まれる。
【００５２】
これらのシステムおよび他のシステムが本システムに基づいて利用されうる。たとえば、日記帳１００が1:40PMに2005年4月2日のアノテーションを受領しているとき、CRMモジュール３２はコンテキスト・メタデータを受領しうる。それはたとえば、アノテーション入力の間にユーザーの寂しいコンテキストを検出するといったことによる。CRMモジュールは、同じ、同様または対照的な関連付けられたコンテキスト・メタデータをもつ他のアノテーションを同定するために記憶モジュール３６に問い合わせをする。この場合、日記帳１００は、ユーザー・インターフェースの使用を通じて、アンに、2005年4月1日8:02AMに入力されたアノテーションを見直す機会を提供しうる。それは、現在のアノテーションと記憶されているアノテーションとのコンテキスト・メタデータ間の類似性または対照性（たとえば対照的なメタデータ、恋していると対照される寂しい）ゆえである。このようにして、マッチするまたは対照的なアノテーションが検索されうる。
【００５３】
以上に記載された本発明の実施形態は例示のみの目的のために意図されており、付属の特許請求をいかなる特定の実施形態または実施形態群に限定するものとも解釈すべきではない。付属の特許請求の精神および範囲から外れることなく数多くの代替的な実施形態が当業者によって考案されうる。
【００５４】
付属の請求項を解釈する際、次のことを理解しておくべきである。
ａ）「有する」の語は所与の請求項に挙げられている以外の要素または工程の存在を排除しない。
ｂ）要素の単数形の表現はそのような要素の複数の存在を排除しない。
ｃ）請求項におけるいかなる参照符号もその範囲を限定しない。
ｄ）いくつかの「手段」が同じ項目またはハードウェアまたはソフトウェア実装される構造または機能によって表されてもよい。
ｅ）開示されている要素のいずれも、ハードウェア部分（たとえば離散的電子回路および集積電子回路を含む）、ソフトウェア部分（たとえば、コンピュータ・プログラミング）およびそれらの任意の組み合わせを有しうる。
ｆ）ハードウェア部分はアナログ部分およびデジタル部分の一方または両方を有しうる。
ｇ）開示される装置またはその部分のいずれも、明示的にそうでないと述べられていない限り、一緒に組み合わされたり、あるいはさらなる部分に分離されたりしてもよい。
ｈ）工程またはステップのいかなる特定のシーケンスも、明示的に示されていない限り、必須であるとは意図されていない。
【図面の簡単な説明】
【００５５】
【図１】本システムのある実施形態に基づく電子日記帳をなす諸要素の例示的なブロック図である。
【図２】本システムのある実施形態に基づく電子日記帳の記憶モジュールを表す例示的なテーブルである。
【図３】本システムのある実施形態に基づく例示的なアノテーション記憶動作を表す流れ図である。
【図４】本システムのある実施形態に基づく例示的なアノテーション検索動作を表す流れ図である。
【図１】
2009514086.tif 000003
【図２】
2009514086.tif 000004
【図３】
2009514086.tif 000005
【図４】
2009514086.tif 000006
【国際調査報告】
2009514086.tif 000007
2009514086.tif 000008
2009514086.tif 000009