(57)【特許請求の範囲】
【請求項１】
受信されたコンテンツのストリームを出力されるべき表現に変換するためのユーザインタフェース装置において、表現が出力される位置に近い対話領域内に位置されるユーザによって為された動きを検出する少なくとも１つのセンサであって、ユーザによって為された事実上大きな動きを検出するためにユーザの方向に向けられた前記センサを有し、
前記検出された動きに対応する動きのタイプが、前記少なくとも１つのセンサからの検出信号を分析することにより決定され、
前記動きのタイプが、ユーザによって為される手のジェスチャ、異なる顔の表情、装置若しくはツールの利用を模倣するジェスチャ、又はユーザがジェスチャを為した力の量若しくは速度であり、
前記表現が決定された動きのタイプに基づいて一つ以上のコンテンツのストリームを操作することにより制御され、受信されたコンテンツのストリームが、決定された動きのタイプに基づいて前記表現において起動又は停止され、コンテンツの各ストリームが、当該ストリームを特定のジェスチャとリンクさせる制御データを含むことを特徴とする、ユーザインタフェース装置。
【請求項２】
コンテンツの操作されたストリームが物語の一部に対応する、請求項１に記載のユーザインタフェース装置。
【請求項３】
前記少なくとも１つのセンサは複数のセンサを含み、
前記複数のセンサからの検出信号は、前記検出された動きが生じた前記対話領域内の位置を決定するために分析される、請求項１に記載のユーザインタフェース装置。
【請求項４】
受信されたコンテンツのストリームは、前記決定された位置に基づいて前記表現において起動又は停止される、請求項３に記載のユーザインタフェース装置。
【請求項５】
前記少なくとも１つのセンサのそれぞれは、動きセンサ及び音声検出センサを含む、請求項１に記載のユーザインタフェース装置。
【請求項６】
前記表現は物語を含む、請求項１に記載のユーザインタフェース装置。
【請求項７】
コンテンツのストリームを出力されるべき表現に変換するシステムにおける方法であって、
表現が出力される位置に近い対話領域内に位置されるユーザによって為された動きを少なくとも１つのセンサによって検出するステップを有し、前記センサがユーザによって為された事実上大きな動きを検出するためにユーザの方向に向けられ、
前記検出された動きに対応する動きのタイプが、検出信号を分析することにより決定され、
前記表現が決定された動きに基づいて一つ以上のコンテンツのストリームを操作することにより制御され、受信されたコンテンツのストリームが、決定された動きのタイプに基づいて前記表現において起動又は停止され、コンテンツの各ストリームが、当該ストリームを特定のジェスチャとリンクさせる制御データを含むことを特徴とする、方法。
【請求項８】
コンテンツの操作されたストリームが物語の一部に対応する、請求項７に記載の方法。
【請求項９】
コンテンツのストリームを受信し、表現に変換するエンドユーザ装置と、前記表現を出力する出力装置とを有するシステムにおいて、当該システムは、更に、
前記出力装置に近い対話領域内に位置されるユーザによって為された動きを検出する少なくとも１つのセンサを含むユーザインタフェースを有し、前記センサがユーザによって為された事実上大きな動きを検出するためにユーザの方向に向けられ、
前記検出された動きに対応する動きのタイプが、前記センサからの検出信号を分析することにより決定され、
前記エンドユーザ装置は、決定された動きのタイプに基づいて変換されたコンテンツのストリームを操作し、これにより前記表現を制御し、受信されたコンテンツのストリームが、決定された動きのタイプに基づいて前記表現において起動又は停止され、コンテンツの各ストリームが、当該ストリームを特定のジェスチャとリンクさせる制御データを含むことを特徴とする、システム。
【請求項１０】
コンテンツの操作されたストリームが物語の一部に対応する、請求項９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、リアルタイムのコンテンツのストリームを受信し表示するシステム及び方法に関する。特に本発明は、ユーザが表示されたリアルタイムのコンテンツのストリームと対話（interact）しパーソナライズ（personalize）することを可能とする。
【背景技術】
【０００２】
ストーリ提示（storytelling）、及び他の形態のナレーションは、常に娯楽及び教育の普及した形態である。これらの初期の形態の中には、口述のナレーション、歌、書面でのコミュニケーション、劇及び印刷された出版物がある。１９世紀及び２０世紀の技術進歩の結果、今や物語は異なる場所に居る多くの人々に放送されることができる。ラジオ及びテレビジョンのような放送メディアは、エンドユーザの装置にコンテンツ又はデータのストリームを同時に送信することにより、ストーリ提示者が該ストーリ提示者の思想を聴衆に表現することを可能とする。前記装置は、前記ストリームをオーディオ及び／又はビジュアル出力に変換する。
【発明の開示】
【発明が解決しようとする課題】
【０００３】
かような放送メディアは、エンドユーザの装置にコンテンツの単一のストリームを送信し、それ故予め決められたシーケンスから逸脱し得ないストーリを伝達するという点で制約されている。これらの装置のユーザは単なる観客であって、該ストーリの結果に影響を与えることはできない。ユーザがテレビジョン又はラジオによって放送されるリアルタイムのコンテンツのストリームと為し得る唯一の対話は、コンテンツのストリーム間の切り換え、即ちチャネルの切り換えによるものである。ユーザにストーリを提示するプロセスとの対話をより提供してユーザを創造力のあるものとし、該ユーザの好みに従って筋（plot）がどのように展開するかを決定することを援助し、それ故体験をより楽しいものにすることは有利となるであろう。
【０００４】
現在のところ、コンピュータはユーザにリアルタイムのコンテンツのストリームと対話するための媒体を提供する。例えば、ユーザが洞窟又は城といった仮想環境におかれたキャラクタの動作を制御することを可能とするコンピュータゲームがつくられてきた。プレイヤは、他のキャラクタと対話し、障害を切り抜け、前記仮想環境内でとるべき経路を選択するために、前記プレイヤのキャラクタを制御する必要がある。オンラインのコンピュータゲームにおいては、リアルタイムなコンテンツのストリームは、サーバからネットワークによって多くのパーソナルコンピュータに放送され、そのため多くのプレイヤが同じキャラクタ、障害及び環境と対話することができる。かようなコンピュータゲームはストーリがどのように展開するか（該キャラクタに何が起こるか）を決定するための幾らかの自由度をユーザに与えるが、前記ストーリは非常にくどく、ドラマ的な価値を欠く傾向がある。なぜなら、前記キャラクタは、ゲームの時間の大部分の間、同じ動作（例えば銃を撃つこと）を繰り返すことを要求され、同じ結果に帰着するからである。
【０００５】
コンピュータにおいて子供がストーリ提示環境と対話することを可能にする、様々なタイプの子供向け教育ソフトウェアも開発されてきた。例えば、LivingBooks（登録商標）は、ストーリを幾つかの場面に分割し、各場面について短い動画化されたクリップを再生した後、短い動画又はギャグ（gag）を再生するために、子供が該場面において様々な要素を操作する（例えばマウスで「ポイント−クリックする」）ことを可能にする、あるタイプの「対話型の本」を発展させた。他のタイプのソフトウェアは子供に、該子供自身のストーリを創造することによって該子供自身の感情を表現するためのツールを提供する。娯楽的な価値を持つことに加え、対話型のストーリ提示は、幼い子供の言語、社会及び認識の能力を発達させるための強力なツールであることがわかっている。
【０００６】
しかしながら、かようなソフトウェアに関連する１つの問題は、対話のために通常子供がキーボード又はマウスのいずれかを使うことが必要とされることである。かような入力装置は独特な方法で保持される必要があり、かつある程度の手と目との協調を必要とするため、幼い子供には使うことが非常に難しいものであり得る。更に、初期の子供の認識の発達の非常に重要な要素は、身体的な環境に対処することである。「遊ぶ」ことにより子供に対話することを促すインタフェースは、従来のキーボード及びマウスのインタフェースに比べて有利である。なぜなら、教育の観点からより有益であり、より直感的で使うのに易しく、また遊ぶことは学習プロセスに参加することに対するより大きな動機付けを子供に与えるからである。また、プレイ領域（子供が対話できる領域）を拡張するインタフェース及び子供が通常遊ぶ物体と対話することを可能にすることは、より楽しい対話を促進することができる。
【０００７】
ActiMates（TM）Barney（TM）は、生き物のように動くフラシ天製の人形に埋め込まれた小さなコンピュータから成る、Microsoft（Ｒ）社によってつくられた対話型の学習製品である。この製品のより詳細な説明は、CHI'98のプロシーディング中のE.Strommenによる「When the Interface is a Talking Dinosaur: Learning Across Media with
ActiMates Barney」（288-295頁）と題された論文において提供されている。ゲームを遊ぶために該人形の手を握る、歌を聴くために該人形の足を握る、及び「いないいないばあ」を遊ぶために該人形の目を覆い隠すことにより、子供はこのおもちゃと対話する。ActiMates Barneyはまた、パーソナルコンピュータからの無線信号を受信し、子供がActiMatesソフトウェアによって提供される教育ゲームを遊んでいる間該子供を指導することができる。この独特な製品は子供の間の対話を育成するが、該対話は指示に従うこと以上のものは含まない。前記人形は、発育上の学習において非常に重要である、創造性又は協調を教えるものではない。なぜなら該人形は子供に動作のいずれをも制御することを可能とするものではないからである。
【０００８】
CARESS（Creating Aesthetically
Resonant Environments in Sound）は、身体的な身振りを音声に変換するコンピュータインタフェースを利用することにより、創造性及びコミュニケーション能力を発達させる動機付けを子供に与えるツールを設計するプロジェクトである。前記インタフェースは、筋肉の活動を検出し、意図された動きを検出するのに十分に感度の高い、装着可能なセンサを含む。これらのセンサはとりわけ、身体的な障害を持った子供が、自分を表現し他者とコミュニケートすることを可能にし、これによって学習プロセスに参加させる動機付けを該子供に与える点でとりわけ有用である。しかしながら、CARESSプロジェクトは、コンテンツのストリームとのいずれのタイプの対話をもユーザに許容するインタフェースを企図するものではない。
【課題を解決するための手段】
【０００９】
本発明の目的は、ユーザがエンドユーザ装置において受信されたリアルタイムのコンテンツのストリームと対話することを可能とすることにある。本目的は請求項１に記載されたシステムによって達成される。リアルタイムのコンテンツのストリームは、テレビジョン又はコンピュータディスプレイのような出力装置によってユーザに出力される表現に変換される。前記表現は、前記変換されたリアルタイムのコンテンツのストリームに従って筋が展開する物語を伝達し、これらのコンテンツのストリームとのユーザの対話は、コンテンツのストリームを起動若しくは停止することにより、又はこれらのストリームに伝送される情報を変更することにより、ストーリの結果を決定することを援助する。前記ユーザインタフェースは、単純で、直接的で、直感的な方法によって、ユーザがリアルタイムのコンテンツのストリームと対話することを可能にする。前記インタフェースは、リアルタイムのコンテンツのストリームとの対話の間、ユーザに精神的な刺激と同様に身体的な刺激を提供する。
【００１０】
本発明の一実施例では、リアルタイムのコンテンツのストリームを出力されるべき表現に変換し、ユーザがユーザインタフェースを介して前記表現内のコンテンツのストリームを起動又は停止させる。
【００１１】
本発明の他の実施例においては、前記ユーザインタフェースは、ユーザによって為された動き又はジェスチャを検出する少なくとも１つの動き検出器を含む。この実施例においては、前記検出された動きは、どのコンテンツのストリームが起動又は停止されるかを決定する。
【００１２】
他の実施例においては、前記ユーザインタフェースは、３次元空間内の異なる位置において１以上のユーザによって為された動きを検出し、該動き間を識別するように配置された複数の動きセンサを含む。
【００１３】
本発明の他の実施例においては、特定の動き又は特定の動きの組み合わせが、特定のコンテンツのストリームに関連付けられる。前記ユーザインタフェースの前記動きセンサが前記ユーザによる特定の動き又は特定の動きの組み合わせを検出した場合、対応するコンテンツのストリームが起動されるか又は停止される。
【００１４】
本発明の他の実施例においては、前記ユーザインタフェースは、音声を検出する複数のセンサを含む。この実施例においては、前記検出された音声は、どのコンテンツのストリームが起動又は停止されたかを決定する。
【００１５】
本発明の他の実施例においては、前記ユーザインタフェースは、３次元空間内の異なる位置における１以上のユーザによって為された特定の音声を検出し、該音声間を識別するように配置された複数の音声検出センサを含む。
【００１６】
他の実施例においては、前記ユーザインタフェースは、動きセンサと音声検出センサとの組み合わせを含む。この実施例においては、コンテンツのストリームは、検出されたユーザによって為された動き若しくは音声、又は検出された動きと音声との組み合わせに従って起動される。
【００１７】
本発明のこれらの及び他の実施例は、付随する図と共に考慮される以下の詳細な説明から明らかとなり、この説明を参照しながら説明されるであろう。これらの図は説明の目的のみのために意図されたものであって、本発明の制限の規定として意図されたものではなく、これらの図について添付する請求項へ参照が為されるべきであることは理解されるべきである。
【発明を実施するための最良の形態】
【００１８】
図を参照すると、図１は、本発明の一実施例による、リアルタイムのコンテンツのストリームを表現に変換するシステムの構成を示す。エンドユーザ装置１０は、リアルタイムのデータ又はコンテンツのストリームを受信し、前記ストリームを出力装置１５においてユーザに出力するために適切な形に変換する。エンドユーザ装置１０はハードウェア、マイクロプロセッサ上で実行されるソフトウェア、又はこれら２つの組み合わせのいずれかとして構成されることができる。本発明のエンドユーザ装置１０及び出力装置１５の１つの採り得る実装は、テレビジョンセットに送信されるべきデータのストリームをデコードするセットトップボックスとしてのものである。エンドユーザ装置１０は、コンピュータのＣＲＴディスプレイ及びスピーカに出力されるべきデータストリームをデコードし処理するパーソナル・コンピュータ・システムに実装されることもできる。当業者には知られているような多くの異なる構成が可能である。
【００１９】
前記リアルタイムのコンテンツのストリームは、例えば動画専門家グループ（ＭＰＥＧ、Moving Picture
Experts Group）シリーズの規格のような、マルチメディアデータを圧縮し送信するために適切な規格に従ってエンコードされたデータストリームであっても良い。しかしながら、前記リアルタイムのコンテンツのストリームは、いずれの特定のデータフォーマット又はエンコード方式に制限されるものではない。図１に示されるように、前記リアルタイムのコンテンツのストリームは、テレビジョン放送局５０又はコンピュータネットワークサーバのような、幾つかの異なる外部の送信源の１つから、有線又は無線ネットワークによって前記エンドユーザ装置に送信されることができる。代わりに前記リアルタイムのデータのストリームは、例えばＣＤ−ＲＯＭ、フロッピー（登録商標）ディスク、又はデジタル・バーサタイル・ディスク（ＤＶＤ）のような、前記エンドユーザ装置に接続されたデータ記憶装置７０から取得されることもできる。
【００２０】
上述したように、前記リアルタイムのコンテンツのストリームは、出力装置１５を介してユーザに伝達されるべき表現に変換される。本発明の一実施例においては、前記表現はユーザにストーリ即ち物語を伝達する。単に前記リアルタイムのコンテンツのストリームによって筋が予め決定されるストーリを伝達する先行技術のシステムとは異なり、本発明は前記表現に関連するコンテンツのストリームを起動又は停止することによって、ユーザが物語の前記表現と対話し該物語の結果を決定することを補助することを可能にするユーザインタフェース３０を含む。例えば、コンテンツの各ストリームは、前記物語を特定の筋書きに従うようにさせ、ユーザは特定のストリーム又は筋書きを起動することにより筋がどのように展開するかを決定する。それ故本発明は、ユーザが該ユーザ自身の希望に従って、創造性を働かせ、前記物語をパーソナライズすることを可能とする。しかしながら、本発明は、リアルタイムのコンテンツのストリームをユーザに提示されるべき物語に変換することに限定されるものではない。本発明の他の実施例によれば、前記リアルタイムなストリームは、歌、詩、楽曲、ゲーム、仮想環境、改作可能な画像、又はユーザが該ユーザの個人的な希望に従って適応させることができるいずれの他のタイプのコンテンツを伝達するために利用されても良い。
【００２１】
図２は本発明の一実施例によるユーザインタフェース３０を詳細に示す。上述したように、ユーザインタフェース３０は、ユーザが対話する３次元の領域中に配置された複数のセンサ３２を含む。対話領域３６は通常、出力装置１５に近接する。一実施例においては、各センサ３２は、ユーザの動き若しくはジャスチャを検出する動きセンサ３４、ユーザによって発せられた音声を検出する音声検出センサ３３（例えばマイクロフォン）、又は動きセンサ３４と音声検出センサ３３との両方の組み合わせ（図２はかような組み合わせを含むセンサ３２を示す）のいずれかを含む。
【００２２】
動きセンサ３４は、動きによって引き起こされる変化を検出するために、環境にエネルギーを射出するアクティブセンサを有しても良い。アクティブ動きセンサの一例は、フォトセンサによって感知される光ビームを有する。前記フォトセンサは、感知される光の量の変化を検出することにより、前記光ビームを横切りそれによって前記光ビームを遮断する人物又は物体を検出することができる。他のタイプのアクティブ動きセンサは、レーダの形式を利用する。このタイプのセンサは、マイクロ波エネルギーのバーストを送出し、跳ね返された反射エネルギーを待つ。人物が前記マイクロ波エネルギーの領域に入ってきた場合、前記センサは反射されたエネルギーの量又は到着するために費やした時間の変化を検出する。他のアクティブ動きセンサは同様に、動きを検出するために反射された超音波を利用する。
【００２３】
代わりに動きセンサ３４は、ユーザから放射される赤外線エネルギーを検出するパッシブセンサを有しても良い。かような装置はＰＩＲ（Passive InfraRed）検出器として知られ、９マイクロメートルと１０マイクロメートルとの間の波長を持つ赤外線エネルギーを検出するように設計される。この範囲の波長は、人間によって放射される赤外線エネルギーに相当する。検出領域に進入する又は該検出領域から出ていく人物によって引き起こされる、感知される赤外線エネルギーの変化によって動きが検出される。ＰＩＲセンサは典型的に、非常に大きな（１７５度にも及ぶ、又は１７５度を超える）検出角を持つ。
【００２４】
勿論、着用可能な動きセンサ及びビデオ動き検出器を含む、他のタイプの動きセンサがユーザインタフェース３０において利用されても良い。着用可能な動きセンサは、仮想現実グローブ（glove）、筋肉における電気的な活動を検出するセンサ、及び体の関節部の動きを検出するセンサを含んでも良い。ビデオ動き検出器は、ビデオカメラによって撮られた画像における動きを検出する。あるタイプのビデオ動き検出器は、動きを検出するために、前記画像の選択された領域の光レベルの急激な変化を検出する。より精巧なビデオ動き検出器は、コンピュータが動作させる画像分析ソフトウェアを利用する。かようなソフトウェアは、ユーザによって為される異なる顔の表情又は手のジェスチャを識別することが可能であっても良い。
【００２５】
ユーザインタフェース３０は、上述したもの及び当分野で知られた動きを検出する他のいずれのタイプのセンサのような、１以上の動きセンサを組み入れても良い。
【００２６】
音声検出センサ３３は、音波を電気信号に変換するいずれのタイプの変換器（マイクロフォンのような）を含んでも良い。音声センサによって受信された前記電気信号は、ユーザによって発せられた音声と周囲のノイズとを識別するため、閾値信号と比較されることができる。更に前記信号は、特定の周波数パターンを持つ音声を検出するため、アナログ装置又はコンピュータ上で実行されるソフトウェアによって増幅及び処理されても良い。それ故、音声検出センサ３４は、足の踏み鳴らし及び拍手のような異なるタイプの音声を識別し得る。
【００２７】
音声検出センサ３３はユーザによって話される特定の言葉を認識するスピーチ認識システムを含んでも良い。前記音波は、限られたボキャブラリの言葉を認識することができるアナログスピーチ認識システムによって処理される増幅された電気信号に変換されても良い。そうでなければ前記音波は、デジタル化され、より多くのボキャブラリの言葉を認識することができるスピーチ認識ソフトウェアによって処理されても良い。
【００２８】
音声検出センサ３３は、当業者には良く知られるように、種々の実施例及び変更の１つを有しても良い。一実施例によれば、ユーザインタフェース３０は、１以上の異なる実施例を採る１以上の音声検出センサ３４を組み入れても良い。
【００２９】
図３Ａ及び図３Ｂは、ユーザインタフェース３０の一実施例を示す。本実施例においては、複数のセンサ３２ａ乃至ｆが、ユーザが対話する対話領域３６の周囲に配置される。センサ３２ａ乃至ｆは、ユーザインタフェース３０が対話領域３６内でユーザによって動きが為された又は音声が発せられたか否か検出するだけでなく、前記動きが為された又は音声が発せられた対話領域３６における特定の位置をも決定するように配置される。図３Ａ及び３Ｂに示されるように、対話領域３６は３次元空間における複数の領域に分割されることができる。具体的には、図３Ａはユーザインタフェース３０の上面図を示し、ここでは対話領域３６の２次元平面が四半分３６ａ乃至ｄに分割される。図３Ｂは、ユーザインタフェース３０の側面図を示し、ここでは前記対話領域が更に３つ目の次元に従って（垂直方向に）、領域３６Ｕと３６Ｌとに分割される。図３Ａ及び３Ｂに示された実施例においては、対話領域３６は８個の３次元領域：（３６ａ，３６Ｕ）、（３６ａ，３６Ｌ）、（３６ｂ，３６Ｕ）、（３６ｂ，３６Ｌ）、（３６ｃ，３６Ｕ）、（３６ｃ，３６Ｌ）、（３６ｄ，３６Ｕ）及び（３６ｄ，３６Ｌ）に分割されることができる。
【００３０】
本実施例によれば、複数のセンサ３２ａ乃至ｆが対話領域３６の周囲に配置されているため、ユーザインタフェース３０は動き又は音声が検出された３次元の位置を決定することができる。図３Ａは、四半分３６ａ又は３６ｃにおいて為された動き又は発せられた音声が、センサ３２ｃ、３２ｄ及び３２ｅにおいてよりも、３２ａ、３２ｂ及び３２ｆにおいて強い検出信号を生成するように、センサ３２ａ乃至ｆが配置されることを示す。同様に、四半分３６ｃ及び３６ｄにおいて為された運動又は発せられた音声は、センサ３２ｂ及び３２ｃにおいてよりも、３２ｆ及び３２ｅにおいて強い検出信号を生成する。
【００３１】
図３Ｂは、センサ３２ａ乃至ｆが種々の高さにおいて配置されることをも示す。例えば、センサ３２ｂ、３２ｆ及び３２ｄは、センサ３２ａ、３２ｃ及び３２ｅよりも、地面近くで為された運動又は発せられたノイズを強く検出する。
【００３２】
ユーザインタフェース３０はそれ故、各センサの位置、及び前記センサによって生成された信号の強度に基づいて、どの３次元の領域で前記運動が為された又は音声が発せられたかを決定することができる。例として、センサ３２ａ乃至ｆがそれぞれＰＩＲセンサを含む実施例が図３Ａ及び３Ｂと関連して以下に説明される。
【００３３】
ユーザが位置（３６ｂ，３６Ｕ）において該ユーザの手を振った場合、センサ３２ａ乃至ｆの各ＰＩＲセンサは、感知される赤外線のエネルギーのある程度の変化を検出しても良い。しかしながら、センサ３２ｃのＰＩＲセンサは、前記動きとの近さのため、最も大きな変化の量を感知する。それ故、センサ３２ｃは最も強い検出信号を出力し、前記ユーザインタフェースは、どの３次元の位置がセンサ３２ｃに最も近いかを決定することにより、前記動きが為された３次元の位置を決定することができる。
【００３４】
同様に、対話領域３６においてユーザによって発せられた音声の位置は、センサ３２ａ乃至ｆにおける音声検出センサ３３によって出力される検出信号のそれぞれの位置及び強度に従って決定されることができる。
【００３５】
図３Ａ及び３Ｂは実施例を示すが、本発明を限定するものとして解釈されるべきではない。他の実施例によれば、ユーザインタフェース３０は、対話領域３６内の動きのタイプ及び位置を決定するためビデオ画像を分析する画像処理ソフトウェアを含むビデオ動き検出器を含んでも良い。他の実施例においては、前記ユーザインタフェースは、ユーザによって為される足踏みの位置及び強さを感知する、対話領域３６の床を被覆する圧電ケーブルのグリッドを有しても良い。
【００３６】
本発明の一実施例によれば、エンドユーザ装置１０は、ユーザインタフェース３０によって検出された動き及び／又は音声のタイプに基づき、前記表現においてどのコンテンツのストリームが起動又は停止されるべきかを決定する。本実施例において、エンドユーザ装置によって受信されたコンテンツの各ストリームは、前記ストリームを特定のジェスチャ又は動きに関連付ける制御データを含んでも良い。例えば、足を踏み鳴らすことは、前記物語中のキャラクタに歩行又は走行を開始させるコンテンツのストリームと関連付けられていても良い。同様に、装置又はツールの利用を模倣するジェスチャ（例えばシャベルですくう動き）は、前記キャラクタに該装置又はツールを利用させるストリームに関連付けられていても良い。
【００３７】
更なる実施例においては、ユーザは特定の起動されたコンテンツのストリームと関連して出力されている動き又は音声を、前記ストリームを停止するために模倣することができる。逆に前記ユーザは、特定のコンテンツのストリームの動き又は音声を、該ユーザによる更なる操作のために該ストリームを選択するために模倣することができる。
【００３８】
他の実施例においては、特定のコンテンツのストリームは、１以上のユーザによって話された特定の言葉、又は１以上のユーザによって発せられた特定のタイプの音声に従って起動されることができる。上述した実施例と同様に、各受信されたコンテンツのストリームは、該ストリームを特定の言葉又は音声と関連付けるための制御データを含んでも良い。例えば、動作の言葉（例えば「走る」）を話すことにより、ユーザは物語のキャラクタに、対応する動作を実行させることができる。オブジェクトに通常関連する音を発することにより、ユーザは該オブジェクトを画面上に出現させる又はキャラクタに使用させても良い。例えば、「ブタ」又は「ブーブー」と言うことにより、ユーザはブタを出現させることができる。
【００３９】
他の実施例においては、前記コンテンツのストリームは、動きが為された又は音声が発せられた特定の位置に前記ストリームを関連付ける制御データを含んでも良い。例えば、ユーザがキャラクタを特定の方向に移動したい場合、該ユーザは特定の方向を指すことができる。ユーザインタフェース３０は、ユーザが該ユーザの手を動かした場所を決定し、位置情報をエンドユーザ装置１０に送信する。このことは、前記キャラクタを対応する方向に移動させる前記コンテンツのストリームを起動する。
【００４０】
他の実施例においては、前記コンテンツのストリームは、前記ストリームを特定の動き又は音声に関連付ける制御データを含んでも良く、エンドユーザ装置１０は、前記ストリームを前記ユーザが動きを為した又は音声を発した場所に対応する画面上の位置において表示させても良い。例えば、ユーザがダンスのステップを練習している場合、ユーザによって為された各ステップは、前記対話領域内の実際のステップの位置に対応する画面の位置に足跡を表示させても良い。
【００４１】
他の実施例によれば、ユーザインタフェース３０は、前記ユーザによって為された動き又は発せられた音声のタイプだけでなく、動きが為された又は音声が発せられた方法を決定する。例えば、前記ユーザインタフェースは、検出された音波の強度を分析することにより、口頭の指令をどの程度大きくユーザが発したのかを決定することができる。また、ユーザインタフェース３０はユーザがジェスチャを為した力の量又は速度を決定しても良い。例えば、反射されたエネルギーを測定するアクティブ動きセンサ（例えばレーダ）は、動きの速度を検出することができる。加えて、圧電ケーブルのグリッドのような圧力ベースのセンサは、特定の動きの強さを検出するために利用されることができる。
【００４２】
上述の実施例において、コンテンツのストリームが出力される方法は、ユーザが該ストリームを起動する動きを為した又は音声を発した方法に依存する。例えば、ユーザの歌の大きさはストリームがどのくらいの長さ画面で見えるように維持されるかを決定するために利用されることができる。同様に、ユーザが該ユーザの足を踏み鳴らす力は、ストリームが前記画面をどれだけ高速に移動するかを決定するために利用されることができる。
【００４３】
本発明の他の実施例においては、コンテンツのストリームは動き及び／又は音声の連続又は組み合わせに従って起動又は停止される。本実施例は、受信されたストリーム中に、動き及び／又は音声のグループに前記ストリームを関連付ける制御データを含むことにより構成することができる。本実施例の可能な構成は、特定のシーケンス中又は一定の期間内に動き及び／又は音声のセットをセンサ３２が検出した場合に、ストリームを起動又は停止することを含む。
【００４４】
他の実施例によれば、制御データは、特定のコンテンツのストリームを自動的に起動又は停止する、エンドユーザ装置１０において受信されたリアルタイムのコンテンツのストリームを備える。このことは、前記リアルタイムなストリームの生成者が、どのコンテンツのストリームが起動又は停止されるかを幾分か制御することを可能とする。本実施例において、物語の作者は、送信されたリアルタイムのコンテンツのストリーム内の制御データに従って、特定のコンテンツのストリームを起動又は停止することにより、どのように筋が展開するかをある程度制御することができる。
【００４５】
本発明の他の実施例においては、多数のユーザが同時に本発明と対話する場合、ユーザインタフェース３０は、各ユーザによって発せられた音声又は為された動きを識別することができる。それ故各ユーザは、前記エンドユーザ装置によって異なるコンテンツのストリームを起動又は停止する権限を与えられても良い。音声検出センサ３３は、前記ユーザインタフェースがどのユーザが特定の命令を話したかを決定することを可能とする音声認識ハードウェア又はソフトウェアを装備する。ユーザインタフェース３０は各ユーザに対話領域３６の個々のセクションを割り当てることにより、異なるユーザの動きを識別しても良い。対話領域３６の特定の位置において動きが検出されるといつでも、前記ユーザインタフェースは、前記動きを前記割り当てられたユーザに帰する。更に、ビデオ動き検出器は、特定の動きを為したユーザを特定することが可能な画像分析ソフトウェアを含んでも良い。
【００４６】
上述の実施例において、各ユーザは対話型の物語表現における異なるキャラクタを制御しても良い。コンテンツのストリーム内の制御データは、該ストリームを起動又は停止し得る特定のユーザに該ストリームを関連付けても良い。それ故、特定のキャラクタを制御するユーザのみが、該キャラクタに関連するコンテンツのストリームを起動又は停止することができる。
【００４７】
他の実施例において、２以上の異なるユーザによって起動された２以上のコンテンツのストリームは、単一のコンテンツのストリームに結合されても良い。例えば、各ユーザがコンテンツのストリームを起動した後、該ユーザは口頭の命令（例えば「結合せよ」）を発することにより、又は特定の動き（例えばお互いの方向に動くこと）を為すことにより、前記起動されたストリームを結合することができる。
【００４８】
他の実施例によれば、ユーザインタフェース３０は、ストリームを起動又は停止するためにユーザが操作するための１以上のオブジェクトを含んでも良い。本実施例においては、ユーザは前記オブジェクトを動かし、又は前記オブジェクトに特定の音声を出させ、センサ３２は該動き又は音声を検出する。例えば、ユーザはボールを蹴る又は投げることができ、ユーザインタフェース３０は距離、方向及び／又は前記ボールが移動する速度を決定する。代わりに、ユーザは楽器を演奏しても良く、前記ユーザインタフェースは前記ユーザによって演奏された音を検出することができる。かような実施例は、スポーツのシミュレーションゲームにおいて、又はユーザに楽器の演奏のしかたを教えるプログラムにおいて、コンテンツのストリームを起動するために利用されることができる。
【００４９】
上述したように、本発明の一実施例は、リアルタイムのコンテンツのストリームを、出力装置１５を通してユーザに提示される物語に変換するエンドユーザ装置に向けたものである。この実施例の可能な実装は、対話型のテレビジョンシステムである。エンドユーザ装置１０はセットトップボックスとして実装されることができ、出力装置１５はテレビジョンセットである。ユーザがかようなシステムと対話するために用いる方法が、図４のフローチャート１００と関連して以下に説明される。
【００５０】
ステップ１１０において、エンドユーザ装置１０は物語の新たな場面に対応するデータのストリームを受信し、場面データを抽出するために即座に前記データのストリームを処理する。各物語表現は一連の場面を含む。各場面は、あるタイプの動作が行われる設定を有する。更に各場面は、該場面に関連する複数のコンテンツのストリームを持ち、各コンテンツのストリームは筋に影響を与える要素を導入する。
【００５１】
例えば、コンテンツのストリームの起動は、キャラクタに特定の動作を実行させ（例えば王子が特定の方向に歩き出す）、設定に影響を与えるイベントを起こさせ（例えば雷雨、地震）、又は前記物語に新たなキャラクタ（例えば蛙）を導入する。逆にコンテンツのストリームの停止は、キャラクタに特定の動作を停止させ（例えば王子が歩くのを止める）、イベントを終了させ（例えば雷雨又は地震が終わる）、又はキャラクタをストーリから離れさせる（例えば蛙が跳び去る）。
【００５２】
コンテンツのストリームの起動又は停止は、前記表現におけるオブジェクトの内部属性又は特性を変化させても良い。例えば、特定のストリームの起動が、王子のようなキャラクタの気持ちを、楽しいから悲しいに変化させても良い。かような変化は前記表現において即座に明らかになっても良いし（例えば前記王子の笑顔が渋い顔になる）、又は前記表現における後まで明らかにならなくても良い。かような内部の変化はキャラクタに限定されるものではなく、変化させられることができる幾つかの特性又はパラメータを含む、前記表現の一部であるいずれのオブジェクトに適用しても良い。
【００５３】
ステップ１２０において、前記セットトップボックスは、前記抽出された場面データをデコードする。前記設定は、ユーザインタフェース３０と対話することにより前記物語がどのように進行するかを前記ユーザが決定しなければならないとの前記ユーザに対する指示と共に、テレビジョン画面上に表示される。その結果、ステップ１３０に示されるように、前記ユーザは対話領域３６において動きを為す又は音声を発する。
【００５４】
ステップ１４０において、センサ３２は前記ユーザによって為された動き又は発せられた音声を検出し、為された動き又は発せられた音声のタイプについて決定を為す。このステップは、多数のユーザが対話領域３６に居る場合、どのユーザが前記音声を発したか又は動きを為したかを決定するステップを含んでも良い。ステップ１５０において、前記セットトップボックスは、どのコンテンツのストリームが前記決定された動き又は音声と関連付けられているかを決定する。このステップは、各コンテンツのストリームの制御データを、前記検出された動き又は音声が前記ストリームに関連付けられているか否かを決定するために検査するステップを含んでも良い。
【００５５】
ステップ１６０において、前記起動／停止されたコンテンツのストリームに従って、新たな筋書きが前記テレビジョンに再生される。この特定の例においては、各コンテンツのストリームは、起動されている間前記テレビジョンに再生されるＭＰＥＧファイルである。
【００５６】
ステップ１７０において、前記セットトップボックスは、前記起動されたコンテンツのストリームが必ず前記筋書きを新たな場面へ進行させるか否かを決定する。そうであるならば、前記新たな場面に対応するコンテンツのストリームを受信するため、処理はステップ１１０に戻る。しかしながら、新たな場面が前記筋書きによって必要とされない場合、ステップ１８０において前記セットトップボックスは、前記物語が適切な終結点に到達したか否かを決定する。そうでない場合は、前記ユーザはコンテンツのストリームを起動又は停止するためにユーザインタフェース３０を利用するように指示され、それによって前記物語を継続する。図４のフローチャート及び対応する上述の説明は、実施例を説明することを意図しており、決して限定することを意味するものではない。
【００５７】
本発明は、子供の発育教育において多くの用途を持つシステムを提供する。本発明は、ストーリのような表現と対話し適応することによって子供が自己を表現することを可能にすることにより、創造性及びコミュニケーション能力の発達を促進させる。本発明は、キーボード及びマウスのような、幼い子供にとって使用が困難であり得るユーザインタフェースを含まない。その代わり本発明は、特定のコンテンツのストリームに関連付けられるべき基本的でありふれた音声及び動きを考慮したユーザインタフェース３０を利用する。それ故、ユーザインタフェース３０との子供の対話は非常に「楽しい」ものとなり得、子供に対話へのより大きな動機を与える。更に、コンテンツのストリームは該ストリームとの論理的な関係を持つ動き又は音声と関連付けられることができ、それによって対話を子供にとってより直感的なものとする。
【００５８】
しかしながら、本発明の入力装置３０は、決して子供への利用に限定されるものではなく、教育的な応用に限定されるものでもないことは留意されるべきである。本発明は、全ての年齢のユーザに適合された多くの異なる種類の表現と対話するための直感的で刺激的なインタフェースを提供する。
【００５９】
本発明を利用することにより、ユーザは前記表現との種々の異なるタイプの対話をすることができる。上述したようにユーザは、キャラクタに特定のタイプの行動を実行させることにより、又は設定及びそこに居る全てのキャラクタに影響を与える自然災害や嵐のような特定のイベントを開始することによって、ストーリの結果に影響を与えることができる。ユーザインタフェース３０は、ビルディングの色又は森の中の木の数を変更するといった、設定内での詳細を単に変更するために利用されることもできる。しかしながらユーザは、本来物語である表現との対話に限定されるものではない。ユーザインタフェース３０は、画面に表示されるべき要素を選択するために、歌又は詩において利用されるべき歌詞を決定するために、ゲームをプレイするために、コンピュータ・シミュレーションと対話するために、又は表現内でユーザの自己表現を許容するいずれのタイプの対話を実行するために利用されることができる。更に前記表現は、身体的な能力を習得（例えば踊り方又はゴルフクラブのスイングのしかたを習得）する、又は言葉の能力を習得（例えば外国語の話し方又は歌い方を習得）するための指導プログラムを有しても良い。ここではユーザは、これらの能力を練習し、前記プログラムからフィードバックを受けることができる。
【００６０】
加えて、本発明のユーザインタフェース３０は、特定の領域を囲み、該特定の領域内の動きを検出する動き及び音声検出センサ３２を有する実施例に限定されるものではない。本発明は、感知されたユーザ又は物体の動きがコンテンツのストリームの起動又は停止を引き起こす、いずれのタイプのユーザインタフェースをも包含する。例えば、ユーザインタフェース３０は、前記物体のいずれのタイプの動き又はユーザの操作を検出するセンサを含む前記物体を含んでも良い。前記センサの信号は、有線又は無線信号によって前記物体からエンドユーザ装置１０に送信され、結果として前記装置がコンテンツのストリームを起動又は停止しても良い。
【００６１】
更に本発明は、特定の対話領域３６においてユーザによって為された動き又は発せられた音声の検出に限定されるものではない。本発明は、自身の動きを追跡する全地球測位システム（ＧＰＳ）受信器のようなセンサを有しても良い。この実施例においては、本発明は、現在の位置に対応する交通ニュース、天気予報等のようなリアルタイムのデータを表示するために、受信されたコンテンツのストリームを起動する、携帯型のエンドユーザ装置１０を有しても良い。
【００６２】
本発明は実施例を参照しながら説明された。当業者には明らかなように、請求項の範囲から逸脱することなく、本発明の種々の変形が上述の開示内容に照らして為される又は模倣されることができる。
【図面の簡単な説明】
【００６３】
【図１】リアルタイムのコンテンツのストリームを表現に変換するシステムの構成を説明するブロック図である。
【図２】実施例による本発明のユーザインタフェースを示す。
【図３Ａ】前記ユーザインタフェースの上面図を示す。
【図３Ｂ】前記ユーザインタフェースの側面図を示す。
【図４】リアルタイムのコンテンツのストリームが物語に変換されることができるようにする方法を示すフローチャートである。
【図１】
0005743954.tif 000002
【図２】
0005743954.tif 000003
【図３Ａ】
0005743954.tif 000004
【図３Ｂ】
0005743954.tif 000005
【図４】
0005743954.tif 000006