(57)【要約】メッセージングシステム及び方法が記載される。システムは、例えば、マイクロホン及びカメラであるオーディオ及び／又はビデオデータを捕捉する捕捉手段を有する。システムは更に、データベース（１６）を有する。データベース内には、状況情報（３２ａ、３４ａ、３６ａ）と関連付けられるメッセージング情報（３２ｂ、３４ｂ、３６ｂ）のセット（３２、３４、３６）が格納される。処理手段は、オーディオ／ビデオデータを格納された状況情報にマッチングさせるよう試みる。マッチがある場合、関連付けられるメッセージング情報が、表現手段（１８、７５ａ、７５ｂ）を使用して提示される。この装置及び方法は、捕捉手段によって観察された所定の状況を認識し、認識された状況に関連付けられる所定のメッセージを提示することを可能にする。このことは、現在発生している状況に適応された広告メッセージを提示するよう有利に使用することが可能である。
2007520736.tif 000002
【特許請求の範囲】
【請求項１】
オーディオ及び／又はビデオデータを捕捉する捕捉手段と、
状況情報とメッセージング情報を格納するデータベース手段と、
前記データを、前記状況情報のセットのうちの１つとマッチングさせ、前記マッチングされた状況情報に応じてメッセージング情報を選択及び／又は構成するよう構成される、前記データを処理する処理手段と、
前記選択又は構成されたメッセージング情報を提示する表現手段と、
を有するメッセージングシステム。
【請求項２】
前記データベース手段は、状況情報と関連付けられるメッセージング情報とのセットを格納するよう構成され、
前記表現手段は、前記マッチングされた状況情報のセットに関連付けられる前記メッセージング情報を提示する請求項１記載のシステム。
【請求項３】
前記捕捉手段、前記処理手段、及び前記表現手段を含む装置を有し、
前記装置は更に、遠隔サーバに接続するインタフェース手段を含み、
前記遠隔サーバは、前記データベース手段を含む請求項１又は２記載のシステム。
【請求項４】
前記捕捉手段及び前記表現手段を含む装置を有し、
前記装置は更に、遠隔サーバに接続するインタフェース手段を含み、
前記遠隔サーバは、前記データベース手段及び前記処理手段を含む請求項１又は２記載のシステム。
【請求項５】
前記処理手段は、前記オーディオデータをテキストデータに変換する音声認識手段を含む請求項１乃至４のうちいずれか一項記載のシステム。
【請求項６】
前記状況情報データベース手段は、キーワードを含み、
前記処理手段は、前記キーワードを見つけるべく前記テキストデータを走査するよう構成される請求項４記載のシステム。
【請求項７】
前記データベース手段は、少なくとも１人の人の人識別情報のセットを含み、
前記処理手段は、前記データ及び前記人識別情報を使用して人を識別する人識別手段を含む請求項１乃至６のうちいずれか一項記載のシステム。
【請求項８】
前記データベース手段は、少なくとも１つの人のプロファイルを含み、
前記処理手段は、前記識別された人に関連付けられるメッセージング情報を決定するよう前記プロファイルを使用する請求項７記載のシステム。
【請求項９】
前記処理手段は、前記ビデオデータをオブジェクトデータに変換するオブジェクト認識手段を含む請求項１乃至８のうちいずれか一項記載のシステム。
【請求項１０】
前記データベース手段内に格納された前記状況情報は、オブジェクト情報を含み、
前記処理手段は、前記オブジェクトデータと前記オブジェクト情報とを比較するよう構成される請求項９記載のシステム。
【請求項１１】
オーディオ及び／又はビデオデータを捕捉する段階と、
状況情報と関連付けられるメッセージング情報とのセットを格納するデータベースにアクセスする段階と、
前記データを、前記状況情報のセットのうちの１つにマッチングさせるよう処理する段階と、
前記マッチングされた状況情報に関連付けられる前記メッセージング情報を提示する段階と、
を有するメッセージング方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、メッセージングシステム及び方法に係る。
【背景技術】
【０００２】
本願において、「メッセージング」という用語は、人に対して一部の情報を伝えることを意味するものであることを理解する。メッセージング装置及びシステムは、産業、オフィス、家庭、及び移動式装置の適用において一般的に知られている。例としては、１つの受信器しかアドレス指定されないユニキャスト通信（例えば、電話、電子メール）及び多数の受信器に１つのメッセージが届けられるマルチキャスト通信（例えば、ＴＶ伝送）が挙げられる。
【０００３】
特定のタイプのメッセージングは、広告である。ここでは、メッセージコンテンツは、製品又はサービスについての情報を含む。一般的に、広告メッセージを、その製品に関心があるであろう１人の人に又は選択された人のグループに送るのが望ましい。例えば、ＴＶ番組については、広告コンテンツの特定の分配は、適切なコンテンツを選択することによって達成しうる（例えば、カーレースの間には、車に関する広告コンテンツが、関心を持つであろう人のグループに届けられるよう分配されることが可能である）。特定の人（ユニキャスト）又は特定の人のグループ（マルチキャスト）に届けられることも、全ての他のタイプのメッセージングシステムにおいて中心となる課題である。
【０００４】
広告コンテンツを分配するメッセージングシステムの例は、特許文献１に与えられる。ここでは、メッセージシステムは、人間の存在があることによって始動される。システムは、ディスプレイと、スピーカと、人間の存在を感知するセンサと、処理ユニットを有する。人が感知されると、ディスプレイを照明する命令と、広告メッセージを表示する命令が実行される。任意選択的に、オーディオメッセージが再生される。更に、特定の香りが得られるようシステムに芳香ユニットが取り付けられる。
【０００５】
しかし、このタイプのメッセージングシステムは、メッセージを与える特定の人又は人のグループを個別に選択するのにはあまり適していない。更に、この従来技術のシステムは、検出されたオブジェクト又は状況に応じて個別のメッセージを提示するようオブジェクト又は特定の状況を検出することができない。
【特許文献１】米国特許出願公開番号第２００３／００６６０７３号
【発明の開示】
【発明が解決しようとする課題】
【０００６】
従って、本発明は、選択的に、特に広告メッセージであるメッセージを供給するのにより適しているメッセージングシステムを提供することを目的とする。
【課題を解決するための手段】
【０００７】
この目的は、請求項１に記載されるメッセージングシステム及び請求項１１に記載されるメッセージング方法によって達成される。従属項は、本発明の好適な実施例に関連する。
【０００８】
本発明のシステムは、メッセージを提示するための表現手段を有する。可能な例としては、オーディオ又はビデオ表現手段、例えば、光学ディスプレイ又はスピーカが挙げられる。更に、表現手段は、インタラクティブ会話を可能にする手段、例えば、キーボード又はタッチスクリーンディスプレイを有してもよい。
【０００９】
特定の個人及び／又は特定の状況を検出及び認識するために、本発明のシステムは、オーディオ及び／又はビデオデータを捕捉する捕捉手段を有する。これは、例えば、ビデオデータ又は写真を捕捉するビデオカメラ又はデジタルスチールカメラや、オーディオデータを捕捉するマイクロホンでありうる。更に、本発明のシステムは、複数のビデオカメラ及びマイクロホンといったように複数の捕捉装置を有してもよい。
【００１０】
更に、本発明は、データベース手段を有し、これは、情報を失うことなく情報を格納及び読出しすることのできる任意のタイプの記憶手段でありうる。データベース手段は、以下に限定されないが、パーソナルコンピュータ内の光学、電子、又は磁気記憶手段でありうる。データベース手段は、状況情報とメッセージング情報を格納する。状況情報の各セットは、特定の所定の状況に対応する。状況情報は、状況を識別するのに役に立つ。
【００１１】
識別された状況情報は、提示すべき適切なメッセージング情報を決定するために使用される。単純な場合では、特定な状況が認識されたとき、ぴったりと１つの所定のメッセージング情報が提示される。しかし、認識された状況は、提示すべきメッセージング情報を決定するよう作用する複数の要素のうちの１つにしか過ぎないことも可能である。別の要素は、提示履歴（即ち、どのメッセージが既に提示されたか、繰り返しを回避するため）でありうる。更に他の要素は、一日のうちの現在時刻、認識された状況の流れ（例えば、２つの特定の状況が次々と認識される）、又はユーザプロファイル（以下に説明）でありうる。
【００１２】
メッセージング情報は広告コンテンツであり、状況情報は、対応する状況において、メッセージ受信者はその広告メッセージに関心を示す可能性が高いよう選択される。状況情報は、特定の所定の状況があるのかないのかシステムが認識することを可能にすることを意図する。格納される対応セットの例としては、一杯のワインを飲んでいる人に対応する状況情報と、特別なワインの広告である状況情報に関連付けられるメッセージング情報でありうる。
【００１３】
１つの好適な実施例では、データベース手段は、状況情報と関連付けられるメッセージング情報をセットで格納する。状況情報に対応する状況が検出されると、関連付けられるメッセージング情報が提示される。このようにして、状況に適応した所定のメッセージを提示することが可能である。例えば、状況情報のセットは、室内の特定の人の存在を記述し、また、対応するメッセージ情報は、その人への新しい電子メールでありうる。
【００１４】
システムの中心部は、処理手段であり、これは、例えば、対応プログラムを実行するマイクロプロセッサユニットでありうる。処理手段は、オーディオ及び／又はビデオデータを入手するよう捕捉手段に接続される。処理手段は更に、状況情報を入手するようデータベース手段にアクセス可能であり、また、そのデータを、データベースから入手した１つ以上の状況情報のセットにマッチングさせるよう構成される。
【００１５】
処理手段は更に、メッセージング情報を選択又は構成するよう作用する。データベースは、認識された状況に対して複数の固定のメッセージング情報のセットを含み得、そこから、１つが表示の為に選択される。しかし、最終的に提示されるメッセージが動的に構成されることも可能である。テンプレート、即ち、メッセージ構造は、認識された状況に関連付けられうる。テンプレートを埋める為の情報が、例えば、認識された人の名前、又は、特別なサーバから入手した現在の情報といった複数のソースから追加されうる。
【００１６】
表現手段は、マッチングされた状況情報のセットに応じて処理手段によって選択又は構成されたメッセージング情報を提示するよう構成される。
【００１７】
従って、表現手段は、処理手段からマッチングされたメッセージング情報を入手する。
【００１８】
１つの好適な実施例では、処理手段は更に、音声認識手段を含む。この手段は、捕捉したオーディオデータをテキストデータに変換する。１つの好適な実施例では、テキストデータの状況情報へのマッチングは、データベース手段内に状況情報として格納されるキーワードを見つけるべくテキストデータを走査することによって達成される。
【００１９】
別の好適な実施例では、処理手段は、人認識手段を含み、データベース手段は、人認識情報のセットを含む。この人認識情報は、例えば、当該の人の写真情報及び／又はその人の音声パターンを含みうる。好適な実施例の処理手段は、人認識情報を用いて捕捉したオーディオ及び／又はビデオデータから人を識別することが可能である。更に、データベース手段は、少なくとも１つの人のプロファイルを含むことが可能である。このプロファイルは、識別された人に対して適しているメッセージ情報を決定するよう使用されることが可能であり、また、興味、趣味、又は、他のタイプの個人情報を含むことが可能である。
【００２０】
実施例によるシステムを使用することによって、上述したように、特定の人に対して個人的な情報、例えば、その識別された人への新着メールを提示することが可能である。好適な適用では、本発明のシステムは、認識された状況及び／又は人に対して特に適した広告コンテンツを提示するよう使用される。
【００２１】
本発明の１つの展開では、処理手段は、ビデオデータをオブジェクトデータに変換するオブジェクト認識手段を含む。データベースは、状況情報の各セットと共に格納されるオブジェクト情報を含む。処理手段は、オブジェクトデータを、データベースから入手したオブジェクト情報にマッチングさせるよう構成される。オブジェクト情報の使用の一例は、上述したように、ワイングラスを持っている人であり、従って、ワインの広告メッセージが、メッセージング情報として識別可能である。
【発明を実施するための最良の形態】
【００２２】
以下において、本発明のメッセージングシステムの例を図面に関連して説明する。
【００２３】
図１は、本発明の第１の実施例のメッセージングシステム１０の構造を示す。ここでは、ビデオカメラ１２が、中心ユニット１４に接続される。中心ユニットは、カメラ１２からビデオデータを入手する。中心ユニット１４は更に、データベース１６に接続される。中心ユニットは、データベースに格納された情報を取出しするようアクセス可能である。
【００２４】
システム１０は、カメラ１２を使用して、観察されるべき空間の現在のビデオデータを入手する。中心ユニット１４は、マイクロプロセッサを有する。このマイクロプロセッサ上でプログラムが実行され、それによりビデオデータが処理される。データは、データベース１６内に格納された多数の状況のうちの１つの状況があるか否かを認識するよう処理される。特定の状況を表すデータは、状況情報としてデータベース１６内に格納されている。
【００２５】
中心ユニット１４は、ビデオデータと格納された状況情報との間のマッチを見つけようと試みる。
【００２６】
マッチが見つかった場合は、中心ユニット１４は、データベース１６から状況情報のマッチしたセットに関連付けられるメッセージング情報を入手し、そのメッセージング情報を、接続されたディスプレイ１８に送信する。
【００２７】
図２は、部屋２００内に設置されたメッセージングシステム１００を示す。ビデオカメラ１２は、室内のビデオデータを捕捉する。或いは、システムは、部屋の大きさ及び幾何学に依存して複数のカメラを有してもよい（図示せず）。図２では、部屋は、ワインボトル２４があるテーブル２２を含む。更に、しかし、ここでは図示しないが、テーブルの周りに何人か人が座っていてもよい。
【００２８】
図３は、本発明のデータベース１６の１つの可能な構造を示す。データベース１６は、状況情報３２ａ、３４ａ、３６ａと関連付けられるメッセージング情報３２ｂ、３４ｂ、３６ｂからなるセット３２、３４、３６を格納する。
【００２９】
この実施例では、状況情報は、特定の状況内にあるオブジェクトに関連するオブジェクトデータを有する。メッセージング情報は、状況情報によって識別された状況に関連付けられる広告メッセージである。
【００３０】
例えば、データの第１のセット３２は、部屋２０内の人がワインボトル２４からワインを飲んでいる状況に対応する。状況データ３２ａは、ワインボトルに関するオブジェクト識別情報（例えば、ワインボトルの可能な形状、サイズ）を有する。データ３２ａは、更に、テーブル２２及びテーブル２２の周りに座っている人についてのグラフィック情報を有する。更に、データ３２ａは、提示される状況のオブジェクトの可能な特有の向き及び動作を決定するオブジェクト向き及び動作情報（例えば、あけられたワインボトルの特有の向き、これは一般的に垂直に立っている）を有する。このデータは、カメラ１２によって観察される部屋２０内の現在の状況が、提示される情報（人がワインを飲んでいる）に対応するか否かを決定することを可能にする。
【００３１】
データの第１のセット３２は更に、メッセージデータ３２ｂを有し、これは、特別なワインを伝える広告メッセージである。
【００３２】
更なるセット３４、３６は、異なる所定の状況用の状況情報３４ａ、３６ａと、関連付けられる広告メッセージ３４ｂ、３６ｂを有する。
【００３３】
ビデオカメラ１２は、捕捉したビデオデータを、近くの部屋内に設置されうる中心ユニット１４（図２では図示せず）に送信する。中心ユニット１４は、捕捉ビデオデータと、データベースから得られた状況情報のセットを比較する。
【００３４】
中心ユニット１４は、ビデオデータを処理して、オブジェクト情報を抽出する。これに対応する画像及びビデオ処理技術は、当該技術において周知である。図２の例では、部屋２０内にあるオブジェクトは以下のように識別される。即ち、ワインボトル２４を有するテーブル２２と、テーブル２２の周りに座っている人。このオブジェクト識別及びオブジェクト動作データは、データセット３２、３４、３６からの状況データ３２ａ、３４ａ、３６ａとマッチングされる。
【００３５】
このマッチングは、分類問題であり、オブジェクトデータ（識別及び向き／動作）が、セット３２、３４、３６のうちの１つに対応するか、又は、格納された状況のいずれにもマッチングしないかが判断される。フォルトトレラントマッチングを可能にする周知の分類方法が利用可能である。
【００３６】
図２の例では、部屋２０内の現在の状況とデータセット３２とのマッチが見つかるであろう。従って、システムは、部屋２０内では、人々がテーブルの周りに座り、ワインを飲んでいることを認識する。
【００３７】
中心ユニット１４は、データベース１６から対応する広告メッセージ３２ｂを取出しし、そのメッセージをディスプレイ１８に送信する。ディスプレイ１８は、メッセージを表示する。このようにして、部屋２０内の人々に、この現在の状況に特別に適応された広告メッセージ（例えば、ワインの特別オファー）が提示され、従って、これらの人々は、このメッセージに関心も持つ可能性がある。
【００３８】
任意選択的には、システムは、人識別手段と、データベース内の人のプロファイルを有してもよい。これは、より固有のメッセージを提示するのに有利でありうる。例えば、部屋２０内における人のグループが、うまく識別されうる。中心ユニット１４は、データベース１６にアクセスして、識別された人の個別のプロファイルを入手しうる。マッチングは、これらの人々が共有するプロファイルにおける関心を見つけることによって実現されうる。マッチした情報は、前に得たオブジェクト情報と組み合わされて、より固有のメッセージを得ることができる。例えば、状況は、「人々はワインを飲んでいる」と決定されうる。次に、そこにいる人々の利用可能な関心プロファイルは、フランスに共通の関心を有することを示すことが決定される。これらの情報部は組み合わされて、フランス産ワインの広告メッセージが提示されうる。当然ながら、人識別の前に状況情報を得る必要はなく、人識別のみを使用するシステムも想到可能である。
【００３９】
図４は、メッセージングシステムの第２の実施例４０を示す。この実施例では、幾つかのマイクロホン４２が、捕捉手段として機能する。中心ユニット１４及びディスプレイ１８は、ローカル構内４４、例えば、家又は部屋内に配置される。データベース１６は、遠隔位置に配置される。これは、例えば、コンテンツプロバイダ、又は広告会社でありうる。データベース１６は、中心ユニット１４にネットワーク接続４６を介して接続される。
【００４０】
図５に示すように、部屋５０内に、図４のメッセージングシステム４０のマイクロホン４２及びディスプレイ１８が配置される。中心ユニット１４及びデータベース１６は、図示しない。マイクロホン４２は、部屋４４内の音を拾い上げ、対応信号を中心ユニット１４に送信する。中心ユニット１４は、音声認識を行って、オーディオデータをテキストデータに変換する。ユニット１４は次に、遠隔にあるデータベース１６にネットワーク４６を介してアクセスし、状況情報のセットを入手し、それに対してテキストデータをマッチングさせる。
【００４１】
この第２の実施例では、状況情報は、キーワードとして与えられる。データベース１６内の１つのデータセットは、休暇及び旅行に関するキーワードを含みうる。例えば、「休暇」、「旅行」、「ホテル」、「フライト」等。関連付けられるメッセージは、ホテル又は休暇旅行に対する広告でありうる。部屋５０における会話において、格納されたキーワードが頻繁に使用される場合、中心ユニット１４は、マッチを見つけて、データベース１６から取出しした広告メッセージをディスプレイ１８上に表示する。
【００４２】
マッチングは、他のキーワードと比較して特定のキーワードが使用された回数を数えることによって達成されうる。更に、話された語句の意味解析も実施しうる。
【００４３】
提示される広告メッセージは、「人々は休暇について話をしている」という認識された状況に対して固定且つ予め決定されることが可能である。或いは、メッセージは、複数のメッセージから動的に構成される又は選択されることも可能である。別の実施例では、データベース１６は、休暇旅行の異なるオファーが入手可能である別の遠隔サーバ（図示せず）へのポインタを含む。メッセージングシステム４０は、これらのオファーのうち、そこにいる人々が興味を持つ可能性がある１つのオファー、即ち、そこにいる人々に対応するオファーを選択する。
【００４４】
更なる実施例では、システムは、オーディオ人認識を使用する。データベース内に格納された識別された人のプロファイルに基づいて、特定のメッセージングが可能である。例えば、その人への新着メールの提示が可能であるが、その人の特別な関心に関するメッセージも提示可能である。
【００４５】
１つ以上のマイクロホン４２の使用は、部屋の大きさ及び幾何学に依存する。更に、１つ以上のビデオカメラ１２と組み合わされたマイクロホン４２の使用も可能である。このようなシステムを使用することは、特定の状況に対するメッセージング情報の一層近いマッチングに有利でありうる。例えば、ビデオデータを用いたオブジェクト認識を、音声認識オーディオを用いたキーワード認識と組み合わせることは有用でありうる。例えば、写真を見て外国の話をしている人のグループの状況では、これらの人々が休暇に関心がありうるという情報は、ビデオデータから得られたオブジェクト情報とオーディオデータから得られたキーワードに加えられる。
【００４６】
図６は、本発明の第３の実施例によるシステム３０を示す。ここでは、ビデオカメラ１２とディスプレイ１８のみがローカル構内４４に配置される。この実施例では、中心ユニット１４及びデータベース１６は、遠隔位置に配置される。プロセッサ手段は、アプリケーションプロバイダのサイト上に配置され、また、データベース１６は、例えば、アプリケーションプロバイダから離れたコンテンツプロバイダに配置されうる。当然ながら、プロセッサユニット１４及びデータベース１６が、単一の遠隔位置に配置されることも可能である。この実施例は、中心ユニット１４及びデータベースユニット１６が、コンテンツプロバイダによってサービスのために容易にアクセスされることが可能であるので有利でありうる。更に、このシステムは、複数のデータベースにアクセスするよう拡張されうる。例えば、このことは、複数のコンテンツプロバイダがメッセージングシステムに参加するか又は新しいコンテンツプロバイダがシステムに参入したい場合に有用でありうる。更に、１つの中心ユニット１４が複数のローカルシステムに対して機能するシステムも想到可能である。
【００４７】
図７は、本発明の第４の実施例を示す。メッセージングシステム７０は、基部７１と、基部７１上に回転可能に取り付けられたヘッドユニット７２を有する。ヘッドユニット７２は、カメラ７３と２つのマイクロホン７４ａ、７４ｂを有する。基部ユニット７１は、ヘッドユニットが所望の方向に向くようヘッドユニット７２を回転させるモータ（図示せず）を有する。
【００４８】
装置７０は、メッセージング装置として作用する。マイクロホン７４ａ、７４ｂ及びカメラ７３は、環境のオーディオデータ及びビデオデータを捕捉する捕捉手段として機能する。上述したような中心ユニットは、基部７１内に含まれる（図示せず）。装置７０は、装置７０をデータネットワーク７７に接続するネットワークインタフェース７６を有する。上述したようなデータベース（図示せず）は、ネットワーク７７を介してアクセス可能である。装置７０の基部ユニット７１は更に、表現手段として機能するスピーカ７５ａ、７５ｂを有する。
【００４９】
装置７０は、部屋内に配置されうる。室内において、装置７０は、周りの状況を観察する。中心ユニットは、ヘッドユニット７２を回転させて、カメラ７３で室内にあるオブジェクトを捕捉し、マイクロホン７４ａ、７４ｂで音声を記録するようにする。次に、オーディオ及びビデオデータは、外部のデータベースから取出しされた状況データとマッチングされ、対応する格納オーディオ広告メッセージがスピーカ７５ａ、７５ｂを介して再生される。
【００５０】
上述した実施例は、本発明のシステム及び方法の可能な実施の例を与えているに過ぎないことは明らかであるべきである。ローカル又は遠隔の構成要素の配置（図１、４、及び６）と、オーディオ及びビデオ捕捉（図２、５）の所与の組合せは、例に過ぎない。別の実施例では、これらの面は、異なるように組み合わせられうる。
【図面の簡単な説明】
【００５１】
【図１】本発明の第１の実施例によるメッセージングシステムを示す図である。
【図２】室内にてビデオデータを捕捉する装置を象徴的に示す図である。
【図３】データベースの構造を示す図である。
【図４】本発明の第２の実施例によるメッセージングシステムを示す図である。
【図５】室内にてオーディオデータを捕捉する装置を象徴的に示す図である。
【図６】本発明の第３の実施例によるメッセージングシステムを示す図である。
【図７】本発明の第４の実施例によるメッセージングシステムを示す図である。
【図１】
2007520736.tif 000003
【図２】
2007520736.tif 000004
【図３】
2007520736.tif 000005
【図４】
2007520736.tif 000006
【図５】
2007520736.tif 000007
【図６】
2007520736.tif 000008
【図７】
2007520736.tif 000009