(57)【要約】ユーザ行動を監視し、所定のイベントに応答してメディアプレーヤーを自動調整するメディアプレーヤーコントローラが開示される。開示されたメディアプレーヤーコントローラは、１人以上のユーザに向けられた１つ以上のオーディオ/ビジュアル画像キャプチャー装置を備える。捉えられた音声及び映像情報は、１つ以上の所定のイベントを認識するため、メディアプレーヤーコントローラにより処理される。多数のルールが、例えば、ユーザが部屋から出たとき、電話中であるか、そうでなければメディアプレーヤーに注意を払っているというような、様々なユーザイベントを定義するため利用されうる。各ルールは、１つ以上の条件と、随意的に、ルールが満たされるとき実行される対応アクションアイテムとを備える。所定のイベントが検出されると、もしあれば、対応アクションがメディアプレーヤーコントローラにより実行される。
2004526374.tif 000002
【特許請求の範囲】
【請求項１】
メディアプレーヤーを制御する方法であって：
少なくとも１つの所定のユーザ行動を認識するために、ユーザを対象とした音声情報及び映像情報の少なくとも１つを分析するステップ；及び
該ユーザ行動が認識されたとき、該メディアプレーヤーを自動的に調整するための所定のアクションアイテムを実行するステップ；
からなることを特徴とする方法。
【請求項２】
請求項１記載の方法は、さらに、前記所定のユーザ行動を定義する少なくとも１つのルールを確立するステップを備え、該ルールは、少なくとも１つの条件と、該ルールが満たされたとき前記メディアプレーヤーを自動的に調整するために実行される前記アクションアイテムからなり、音声情報及び映像情報の少なくとも１つを分析するステップは、該条件を認識するためにユーザを対象とすることを特徴とする方法。
【請求項３】
請求項１または２記載の方法であって、前記ユーザ行動は、前記ユーザが前記メディアプレーヤーに注目していないということを示唆し、前記アクションアイテムは、前記メディアプレーヤーを一時停止するためのコマンド、記録を開始するためのコマンド、あるいはパワーセーブモードに入るためのコマンドの少なくとも１つを発することであることを特徴とする方法。
【請求項４】
請求項１または２記載の方法であって、前記ユーザ行動は、所定のジェスチャーコマンドであり、前記アクションアイテムは、前記メディアプレーヤーに対応するコマンドを発することであることを特徴とする方法。
【請求項５】
メディアプレーヤーを制御するシステムであって：
コンピュータが読み出し可能なコードを記憶するためのメモリ；及び
該メモリに操作可能なよう接続されたプロセッサ；
からなり、
該プロセッサは、少なくとも１つの所定のユーザ行動を認識するために、ユーザを対象とする音声情報及び映像情報の少なくとも１つを分析し、該ユーザ行動が認識されたとき、該メディアプレーヤーを自動的に調整するための所定のアクションアイテムを実行するよう構成されていることを特徴とするシステム。
【請求項６】
請求項５記載のシステムであって、前記プロセッサは、さらに、前記ユーザ行動を定義する少なくとも１つのルールを確立し、該ルールは、少なくとも１つの条件と、該ルールが満たされたとき前記メディアプレーヤーを自動的に調整するために実行される前記アクションアイテムからなり、該条件を認識するために、ユーザを対象とする音声情報及び映像情報の少なくとも１つを分析するよう構成されていることを特徴とするシステム。
【請求項７】
請求項５または６記載のシステムであって、前記ユーザ行動は、前記ユーザが前記メディアプレーヤーに注目していないということ示唆し、前記アクションアイテムは、前記メディアプレーヤーを一時停止するためのコマンド、記録を開始するためのコマンド、あるいはパワーセーブモードに入るためのコマンドの少なくとも１つを発することであることを特徴とするシステム。
【請求項８】
請求項５または６記載のシステムであって、前記ユーザ行動は、所定のジェスチャーコマンドであり、前記アクションアイテムは、前記メディアプレーヤーに対応するコマンドを発することであることを特徴とするシステム。
【請求項９】
請求項５乃至８何れか１項記載のメディアプレーヤーを制御するシステムと同様に、プログラム可能なデバイスが機能することを可能とするコンピュータプログラムプロダクト。
【発明の詳細な説明】
【背景技術】
【０００１】
本発明は、メディアプレーヤー（media player）を制御する方法及び装置に関し、特に、ユーザ行動に基づきメディアプレーヤーを自動的に制御する方法及び装置に関する。
【０００２】
消費者マーケットは、テレビ、ステレオシステム、パーソナルコンピュータなどの多様な電子デバイスを提供しており、これら電子デバイスには、その装置の利便性や能力の向上を意図した膨大な数の機能が備わっている。大部分のエンターテイメントデバイスは、例えば、ユーザが数多くの装置の設定を遠隔調整することを可能とする遠隔制御デバイスを備えている。ユーザは既存の方法でリモコンを使って、例えば、テレビの番組チャンネル、ボリューム及び他の設定を調整することができる。
【０００３】
リモコンや他の機能が、そのようなエンターテイメントデバイスの利便性を大いに向上させてきた一方、依然として特定のデバイス設定の調整のためには、リモコン（あるいはデバイスに付属の他の入力機構）を操作するというユーザの積極的な行動が必要とされる。したがって、もし、リモコンが直ちに利用可能でなかったり、あるいはデバイス自体に接近したくなかったりする場合、ユーザは所望の方法では、１つ以上の設定を手軽に調整できないかもしれない。
【０００４】
特定のユーザ行動と電子デバイスの設定変更に対応する方法との間には予測可能な関係がしばしば存在するということが観察されてきた。例えば、ユーザがテレビを見ている最中に電話が鳴ったとき、ユーザは手動で音量を調整したり、あるいはテレビのミュート（mute）機能を働かせることによって、しばしば応答する。現時点では、しかしながら、そのようなユーザ行動の兆候を電子デバイスに与える機構は存在しない。したがって、ユーザ行動を監視し、所定のイベントに応答してメディアプレーヤーを自動調整するメディアプレーヤーコントローラの必要性がある。さらに、デバイス設定の調節に実行される対応する応答だけでなく、ルールを利用しユーザ行動及びイベントを定義するメディアプレーヤーコントローラの必要性がある。
【０００５】
一般に、ユーザ行動を監視し、所定のイベントに応答してメディアプレーヤーを自動制御するための方法及び装置が開示される。開示されるメディアプレーヤーコントローラは、１人以上のユーザに向けられた１つ以上のオーディオ/ビジュアルキャプチャーデバイス（audio/visual capture device）を備える。得られた音声情報及び映像情報は、１つ以上の所定のイベントを特定するため、メディアプレーヤーコントローラにより処理される。
【０００６】
本発明の特徴によると、多くのルールが、例えば、ユーザが部屋を出たとき、電話に出ているか、そうでなければメディアプレーヤーに注目していないか、というような様々なユーザ行動あるいはイベントを定義する。各ルールは、１つ以上の条件及び、随意的に、メディアプレーヤーの１つ以上の設定を変更する
ルールが満たされたとき実行されるべき対応するアクションアイテム（action-item）とからなる。所定のイベントが検出されると、もしあれば、対応するアクションがメディアプレーヤーコントローラにより実行される。
【０００７】
本発明のより完全な理解が、本発明のさらなる特徴及び利点とともに、以下の詳細な説明及び図面を参照することにより得られるであろう。
【０００８】
図１は、本発明によるメディアプレーヤーコントローラ１００を示す。図１に示されるように、メディアプレーヤーコントローラ１００は、メディアプレーヤー１６０の１人以上のユーザ１４０に向けられた１つ以上のオーディオ/ビジュアルキャプチャーデバイス１５０−１〜１５０−N（以下、まとめてオーディオ/ビジュアルキャプチャーデバイス１５０と呼ぶ）を備える。
【０００９】
各オーディオ/ビジュアルキャプチャーデバイス１５０は、例えば、画像あるいは映像情報を捉えるための固定あるいはPTZ（Pan-Tilt-Zoom）カメラとして、あるいは（及び）、音声情報を捉えるための１つ以上のマイクロフォンとして、実現されうる。オーディオ/ビジュアルキャプチャーデバイス１５０により生成された音声及び映像情報は、図４に関連して以下で説明される方法で、１つ以上の所定のユーザ行動あるいはイベントを特定するために、メディアプレーヤーコントローラ１００により処理される。一例として、本発明では、図２および３に関連して以下で説明される、多数のユーザ選好及びルールがそれぞれ記録されるユーザプロファイル２００及びイベントルールデータベース３００が利用される。これらのルールは、メディアプレーヤー１６０の１つ以上の設定調節を始動させる様々なイベントを定義している。
【００１０】
各ルールにより定義されたユーザ行動は、本発明によるメディアプレーヤーコントローラ１００により検出されうる。以下で述べるように、各ルールは、当該ルールが始動するために満たさねばならない１つ以上の基準と、当該ルールを始動させるためのあらかじめ決められた基準が満たされたときに、メディアプレーヤー１６０の１つ以上の設定を変更するために、メディアプレーヤーコントローラ１００により実行される随意的な対応するアクションアイテムとからなる。各ルールの少なくとも１つの基準は、音声及び映像に基づく技術を使い、本発明によるオーディオ/ビジュアルキャプチャーデバイス１５０により生成される音声あるいは映像情報において検出された条件である。
【００１１】
そのような所定のユーザ行動あるいはイベントの検出により、もしあれば、対応するアクションがメディアプレーヤーコントローラ１００により実行される。典型的には、この対応するアクションは、１つ以上の設定を変更するためのメディアプレーヤー１６０へのコマンドの発行である。このコマンドには、例えば、ミュート、記録、音量調節、番組チャンネル変更、パワーセーブモード及び一時停止などが含まれる。
【００１２】
図２及び３に関連して以下で説明されるように、ユーザプロファイル２００とイベントルールデータベース３００に記録されたユーザ選好及びルールは、オプション電子番組ガイド１３０や発信者番号通知デバイス（caller id device）１７０からの情報のような、外部情報に依存した１つ以上の基準を含んでいるかもしれない。例えば、所与のユーザ行動に応答して、メディアプレーヤーコントローラ１００により実行される対応アクションアイテムは、電子プログラムガイド１３０に示されるような番組の特徴に依存するものかもしれない。同様に、電話が鳴っているのを検出し、メディアプレーヤーコントローラ１００により応答され実行される対応アクションアイテムは、発信者番号通知デバイス１７０により示されるような、発信者の番号に依存しているかもしれない。
【００１３】
図１に示され、図４に関連して以下で説明されるように、メディアプレーヤーコントローラ１００は、またユーザイベント監視プロセス４００を有する。一般に、ユーザイベント監視プロセス４００は、オーディオ/ビジュアルキャプチャーデバイス１５０により得られた音声情報や画像を処理し、イベントルールデータベース３００で定義されている１つ以上のイベントを検出する。
【００１４】
メディアプレーヤーコントローラ１００は、中央演算処理装置（CPU）のようなプロセッサ１２０と、RAM（Random Access Memory）及び（または）ROM（Read Only Memory）のようなメモリ１１０を備えるパーソナルコンピュータやワークステーションのような任意の計算装置として実現されうる。また、メディアプレーヤーコントローラ１００は、例えば、テレビ、セットトップターミナルあるいは電子デバイスに含まれる（図示されない）特定用途向け集積回路（ASIC）として実現されてもよい。
【００１５】
図２は、各ユーザの様々な選好を記録したユーザプロファイル２００の一例となるテーブルを示している。図２に示されるように、ユーザプロファイル２００は、それぞれが異なるユーザに関するレコード２０５〜２０８のような複数のレコードから構成される。各ユーザに対して、ユーザプロファイル２００は、フィールド２５０においてユーザを認識し、もしあれば、フィールド２６０の対応する当該ユーザのメディア選好を特定する。
【００１６】
例えば、John Smithというユーザに対するレコード２５０に記録されているユーザ選好は、電話が鳴ったらメディアプレーヤー１６０を一時停止し、もしその電話が特定の電話番号からのものでなければ、メディアプレーヤー１６０の音量を下げることを望んでいるということを示している。同様に、Jane Smithというユーザに対するレコード２０６に記録されているユーザ選好は、電話が鳴ったらメディアプレーヤー１６０の音量を下げ、もしその現在選択されている番組が上位５つの番組に入っていなければ、記録コマンドがメディアプレーヤー１６０に送られる。したがって、レコード２０５の選好は、発信者番号通知デバイス１７０からの情報に依存し、レコード２０６の選好は、電子番組ガイド１３０からの情報に依存する。
【００１７】
一般に、ユーザプロファイル２００に記録されたユーザ選好は、調査反応から明示的に得られうるものであるか、あるいは、所与のユーザが与えられた情況セットに対してどのように反応するかを監視することにより間接的に得られる。その後、この状況セットと実行される対応アクションアイテムを定義したルールが確立される。
【００１８】
図３は、様々なユーザ行動またはイベントを定義するルールのそれぞれを記録したイベントルールデータベース３００の一例となるテーブルを示している。イベントルールデータベース３００の各ルールは、当該ルールが始動される条件を特定した所定の基準と、随意的に与えられる、当該ルールに関する基準が満たされたとき始動される対応アクションアイテムとを有する。典型的には、アクションアイテムは、ルールが始動されるとき実行されるメディアプレーヤー１６０の設定に対する１つ以上の調整を定義している。
【００１９】
図３に示されるように、一例となるイベントルールデータベース３００は、それぞれが異なるルールに関連したレコード３０５〜３１１のような複数のレコードを維持している。各レコードに対して、イベントルールデータベース３００は、フィールド３５０でルールの基準を、もしあれば、フィールド３６０で対応アクションアイテムを特定している。例えば、レコード３０６に記録されているルールは、部屋の外にとどまっている（またはメディアプレーヤー１６０の傍から離れた）ユーザに対応したイベントである。フィールド３５０に示されるように、レコード３０６のルールは、ユーザが所定の時間以上部屋の外にいるとき、始動される。フィールド３６０に示されるように、対応アクションは、メディアプレーヤー１６０をパワーセーブモードにするコマンドを送ることからなる。
【００２０】
図４は、一例となるユーザイベント監視プロセス４００を説明するフローチャートである。ユーザイベント監視プロセス４００は、オーディオ/ビジュアルキャプチャーデバイス１５０から得られる音声あるいは（及び）映像情報を処理し、イベントルールデータベース３００に定義された１つ以上のイベントを検出する。この一例となるユーザイベント監視プロセス４００は、本発明の広い概念を示す一般的なプロセスである。図４に示されるように、ユーザイベント監視プロセス４００は、ステップ４０５でオーディオ/ビジュアルキャプチャーデバイス１５０からの１つ以上の入力を初期的に得ている。その後、ユーザイベント監視プロセス４００は、ステップ４１０で、例えば、オーディオ/ビジュアルキャプチャーデバイス１５０から得られた音声または映像情報のバイオメトリック（biometric）評価を利用して、与えられたユーザを随意的に特定する。メディアプレーヤーコントローラ１００が、ユーザプロファイル２００にあるユーザに特有のメディア選好が、イベントルールデータベース３００にある一般的なルールより優先されることを可能とするなら、ユーザの特定は特に有益である。
【００２１】
その後、音声/映像情報が、音声及び/または映像コンテンツ分析（VCA）技術を利用しステップ４２０にて分析される。適切な音声コンテンツ分析技術のより詳細な説明には、例えば、「自動音声コンテンツ分析（Automatic Audio Contents Analysis）」Silvia Pfeiffer et al., Proc. ACM Multimedia 96, 21-30, Boston, MA.（Nov. 1996）を参照されたい。適切なVCA技術のより詳細な説明には、例えば、「ビジュアル監視のための映像シーケンス解釈（Video Sequence Interpretation for Visual Surveillance）」Nathanael Rota and Monique Thonnat, Proc. of the 3rd IEEE Int’l Workshop on Visual Surveillance, 77-83, Dublin, Ireland（July 1, 2000）を参照されたい。一般的に、音声コンテンツ分析技術及びVCA技術は、オーディオ/ビジュアルキャプチャーデバイス１５０により得られる信号の中の様々な特徴を認識するために使われる。
【００２２】
音声/映像コンテンツ分析が、イベントルールデータベース３００に定義されるような所定のイベントを検出するかどうか判定するためのテストが、ステップ４３０で実行される。ステップ４３０で分析されるような、イベントルールデータベース３００にある一般的ルールは、ユーザプロファイル２００にある特定のユーザ選好に従って修正されてもよい。ステップ４３０で、音声/映像コンテンツ分析により所定のイベントは検出されなかったと判断されれば、プログラムコントロールはステップ４１０に戻り、上述した方法でユーザ行動の監視を継続する。
【００２３】
一方、もし、ステップ４３０で音声/映像コンテンツ分析により所定のイベントが検出されれば、ステップ４４０でユーザプロファイル２００のフィールド２６０に示されるように検出されたイベントは、もしあれば、特定されたユーザあるいはイベントルールデータベース３００のフィールド３６０に対して、処理される。その後、プログラムコントロールは終了する（またはステップ４１０に戻り、上述した方法でユーザ行動の監視を継続する）。
【００２４】
さらなる変形として、本発明により記録された所与の番組の保存スケジュールが、例えば、ユーザにより当該番組に割り当てられたウェイトあるいは番組推薦者により割り当てられた推奨スコアにより、決定される。
【００２５】
「コンピュータプログラム」は、フロッピー（登録商標）ディスクのようなコンピュータが読み出し可能な媒体に記録されたもの、インターネットのようなネットワークを通じてダウンロード可能なもの、あるいはその他の方法で入手可能な任意のソフトウェアプロダクトを意味する。
【００２６】
ここで示され説明された実施例及び変形は、単に本発明の基本原理を示したものであり、発明の範囲及び精神から逸脱することなく、当業者により様々な変形がなされうる。
【図面の簡単な説明】
【００２７】
【図１】図１は、本発明によるメディアプレーヤーコントローラを示す図である。
【図２】図２は、本発明による図１に示したユーザプロファイルからのサンプルテーブルを示す図である。
【図３】図３は、図１に示されたユーザイベントデータベースからのサンプルテーブルを示す図である。
【図４】図４は、本発明の基本原理を実現する一例となるユーザイベント監視プロセスを説明するためのフローチャートである。
【図１】
2004526374.tif 000003
【図２】
2004526374.tif 000004
【図３】
2004526374.tif 000005
【図４】
2004526374.tif 000006
【国際公開パンフレット】
2004526374.tif 000007
2004526374.tif 000008
2004526374.tif 000009
2004526374.tif 000010
2004526374.tif 000011
2004526374.tif 000012
2004526374.tif 000013
2004526374.tif 000014
2004526374.tif 000015
2004526374.tif 000016
2004526374.tif 000017
2004526374.tif 000018
【国際公開パンフレット（コレクトバージョン）】
2004526374.tif 000019
2004526374.tif 000020
【国際調査報告】
2004526374.tif 000021
2004526374.tif 000022
2004526374.tif 000023