(57)【要約】      （修正有）【課題】コンテンツの視聴中に視聴者が相互作用して参加できるようにする技術を実装するシステム及び方法を提供する。【解決手段】ソフトウェアアプリケーションを実行するコンピュータシステム１０が、ユーザにビデオコンテンツを提示し、提示中の選択された相互作用点においてユーザ入力を受け取る。システムは、受け取った入力とビデオコンテンツに関連する情報とに従ってユーザにフィードバックを与える。この提示、入力及びフィードバックが、ユーザのゲーム体験を形成する。【選択図】図１
2018085715.tif 000002
【特許請求の範囲】
【請求項１】
主要コンテンツアイテムに基づく相互作用体験の動作方法において、前記相互作用体験内のユーザインタラクションに基づく、ユーザに関連する１又は２以上のデータベースエントリが効果的かつ正確に追加される、方法であって、
１又は２以上のコンテンツサブセットを含む主要コンテンツアイテムをユーザコンテンツ再生装置上で再生するステップであって、前記コンテンツサブセットの１又は２以上がクエリを示してユーザによる応答を誘う、ステップと、
前記主要コンテンツアイテムの前記再生中に、前記主要コンテンツアイテムの前記サブセットによって示されたクエリへの応答を含むユーザ入力データをユーザコンピュータから受け取るステップと、
前記受け取ったユーザ入力データを前記クエリに対する予め定められた応答と比較するステップと、
前記比較の結果に基づいてユーザスコアを決定し、該決定されたユーザスコアを、前記ユーザに関連する、データベース内のエントリとして記憶されている合計スコアに加算するステップと、
前記合計スコアを表示するステップと、
クエリを示して前記ユーザによる応答を誘う前記サブセットのうちの１つ又は２つ以上について、前記受け取り、比較、決定、加算及び表示を繰り返すステップと、
を含むことを特徴とする方法。
【請求項２】
前記主要ビデオコンテンツアイテムの再生を開始すべき旨の指示をユーザから受け取り、前記指示の受け取りにより前記再生を開始するステップをさらに含む、
請求項１に記載の方法。
【請求項３】
前記レンダリングを引き起こすステップは、ライブのビデオコンテンツアイテムをストリーミングするステップを含む、
請求項１に記載の方法。
【請求項４】
前記レンダリングを引き起こすステップは、録画されたビデオコンテンツアイテムを再生するステップを含む、
請求項１に記載の方法。
【請求項５】
前記ユーザコンピュータは、モバイル装置、ラップトップ又は携帯情報端末である、
請求項１に記載の方法。
【請求項６】
前記ユーザコンピュータは、前記ユーザコンテンツ再生装置に一体化される、
請求項１に記載の方法。
【請求項７】
前記ユーザ入力データは、音声データ又は文字起こしされた音声データである、
請求項１に記載の方法。
【請求項８】
前記ユーザ入力データに音声認識を実行して、前記ユーザ入力データを第１のテキストデータに変換するステップをさらに含み、前記予め定められた応答は、前記主要コンテンツアイテム内に第２のテキストデータとして符号化されており、前記比較は、前記第１のテキストデータと前記第２のテキストデータとの比較である、
請求項７に記載の方法。
【請求項９】
前記主要コンテンツアイテムの前記再生中に、前記主要コンテンツアイテムの前記サブセットによって示される前記クエリへの別の応答を含む別のユーザ入力データを別のユーザコンピュータから受け取るステップと、
前記受け取った別のユーザ入力データを、前記クエリに対する前記予め定められた応答と比較するステップと、
前記比較の結果に基づいて前記別のユーザコンピュータのユーザスコアを決定し、該決定されたユーザスコアを、前記別のユーザに関連するデータベース内のエントリとして記憶されている合計スコアに加算するステップと、
前記合計スコアを表示するステップと、
クエリを示して前記別のユーザによる応答を誘う複数の前記サブセットについて、前記受け取り、比較、決定及び表示を繰り返すステップと、
をさらに含む請求項１に記載の方法。
【請求項１０】
前記サブセットの前記再生中の所定の時点で前記主要コンテンツアイテムの前記再生を一時停止し、ユーザスコアを決定する前記ステップ後に前記再生の一時停止を解除するステップをさらに含む、
請求項１に記載の方法。
【請求項１１】
前記一時停止後の所定の時間内に前記ユーザから応答が受け取られなかった場合、前記所定の時間の満了後に前記主要コンテンツアイテムの前記再生の一時停止を解除する、
請求項１０に記載の方法。
【請求項１２】
主要コンテンツアイテムを再生する前記ステップは、前記主要コンテンツアイテムに対応するデータを受け取ってレンダリングするステップを含み、前記受け取ったデータには、前記予め定められた応答を示す一連のデータが含まれる、
請求項１に記載の方法。
【請求項１３】
前記予め定められた応答を示す前記一連のデータは、関連するサブセット内にメタデータとして符号化される、
請求項１２に記載の方法。
【請求項１４】
前記予め定められた応答を示す前記一連のデータは、前記主要コンテンツアイテムの前記再生を引き起こす送信とは別個の送信の一部として受け取られる、
請求項１２に記載の方法。
【請求項１５】
前記サブセットによって示される、応答を誘う前記クエリ、及び前記表示は、前記主要コンテンツアイテムの前記再生上にオーバーレイとしてレンダリングされる、
請求項１に記載の方法。
【請求項１６】
前記主要コンテンツアイテムの前記再生中に、別のユーザに対応する、前記主要コンテンツアイテムの前記サブセットによって示された前記クエリに対する別の応答を含む、過去に入力されたユーザ入力データを取り出すステップと、
前記過去に入力されたユーザ入力データと、前記クエリに対する前記予め定められた応答とを比較するステップと、
前記比較の結果に基づいて前記別のユーザのユーザスコアを決定し、該決定されたユーザスコアを、前記別のユーザに関連するデータベースのエントリとして記憶されている合計スコアに加算するステップと、
前記合計スコアを表示するステップと、
クエリを示して前記別のユーザによる応答を誘う複数の前記サブセットについて、前記受け取り、比較、決定及び表示を繰り返すステップと、
をさらに含む請求項１に記載の方法。
【請求項１７】
前記別のユーザは、前記ユーザによって選択される、
請求項１６に記載の方法。
【請求項１８】
前記別のユーザは、前記ユーザのためにランダムに選択される、
請求項１６に記載の方法。
【請求項１９】
前記主要コンテンツアイテムはコンテンツデータとして具体化され、前記主要コンテンツアイテムの前記再生は、適切なオーディオコーデック及び／又はビデオコーデックを用いた前記コンテンツデータのレンダリングを構成する、
請求項１に記載の方法。
【請求項２０】
前記相互作用体験に関連するメタデータを、それぞれが前記コンテンツデータ内の位置を示す相互作用点の集合又はリストを含む相互作用マップとして記憶するステップをさらに含む、
請求項１９に記載の方法。
【請求項２１】
各サブセットは、相互作用点に対応する、
請求項２０に記載の方法。
【請求項２２】
前記コンテンツデータ内の前記位置は、時間、ビデオフレーム、可視的又は可聴的な透かし又はフィンガープリント、ビデオタグ、メタデータタグ又はデータパターンからなる群から選択された要素を用いて表される、
請求項２０に記載の方法。
【請求項２３】
各相互作用点を、該相互作用点の処理方法を示す少なくとも１つの関連イベント情報に関連付けるステップをさらに含む、
請求項２２に記載の方法。
【請求項２４】
前記関連イベント情報は、プロンプト、質問、通知、更新、条件及び分岐からなる群から選択される、
請求項２３に記載の方法。
【請求項２５】
前記関連イベント情報は、二次情報をさらに含み、該二次情報は、質問に対する答え、答えの値、応答の影響、条件、及び応答に基づいて進むべき分岐の指示からなる群から選択される、
請求項２４に記載の方法。
【請求項２６】
前記二次情報は条件であり、該条件は、該条件の発生に基づいて前記関連イベントが発生する又は発生しないというものである、
請求項２５に記載の方法。
【請求項２７】
各相互作用点は、イベントのツリーに関連し、各イベントは、少なくとも１つの関連する条件と、該条件の発生に基づいて実行すべき１つの関連する行動とを有する、
請求項２０に記載の方法。
【請求項２８】
行われる前記関連する行動は、前記相互作用体験の状態とユーザ入力とにさらに基づく、
請求項２７に記載の方法。
【請求項２９】
主要コンテンツアイテムに基づく相互作用体験を動作させるシステムにおいて、前記相互作用体験内のユーザインタラクションに基づく、ユーザに関連する１又は２以上のデータベースエントリが効果的かつ正確に追加されるシステムであって、
クエリを示してユーザによる応答を誘う１又は２以上のコンテンツサブセットを含む主要コンテンツアイテムをユーザコンテンツ再生装置上で再生するように構成されたコンテンツプレーヤと、
相互作用体験を動作させるように構成されたプログラムドプロセッサと、
前記主要コンテンツアイテムの前記サブセットによって示されたクエリへの応答を含むユーザ入力データをユーザコンピュータから受け取るように構成され、前記ユーザ入力データを前記プログラムドプロセッサに送信するようにさらに構成されたユーザＡＰＩと、
を備え、
前記プログラムドプロセッサは、前記受け取ったユーザ入力データを前記クエリに対する予め定められた応答と比較し、該比較の結果に基づいてユーザスコアを決定し、該決定されたユーザスコアを、前記ユーザに関連する、データベース内のエントリとして記憶されている合計スコアに加算するようにさらに構成され、
前記プログラムドプロセッサは、前記相互作用体験のためのユーザインターフェイスを動作させ、前記合計スコアを前記ユーザインターフェイスの一部として表示するようにさらに構成される、
ことを特徴とするシステム。
【請求項３０】
前記システムは、分散される、
請求項２９に記載のシステム。
【請求項３１】
前記コンテンツプレーヤ、前記プログラムドプロセッサ及び前記ユーザＡＰＩは、ローカルネットワーク内の１又は２以上のコンピュータ上に存在し、前記主要コンテンツアイテムは、コンテンツサーバからストリーミングされる、
請求項３０に記載のシステム。
【請求項３２】
前記ユーザＡＰＩは、ボイスＡＰＩである、
請求項２９に記載のシステム。
【請求項３３】
前記ボイスＡＰＩは、ユーザ入力音声データを音声認識のためにクラウドサーバに送信するようにさらに構成される、
請求項３２に記載のシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
〔関連出願との相互参照〕
本出願は、その譲受人が所有する、２０１６年９月２日に出願された「ビデオゲーム参加（ＶＩＤＥＯＧＡＭＥ  ＰＡＲＴＩＣＩＰＡＴＩＯＮ）」という名称の米国仮特許出願第６２／３８２，９６７号に対する優先権の利益を主張するものであり、この文献はその全体が引用により本出願に組み入れられる。
【０００２】
本発明は、対話型アプリケーションの処理速度及び処理効率に関する。
【背景技術】
【０００３】
従来の対話型アプリケーションは、とりわけ通信経路が全く異なることによって、場合によっては通信経路が全く存在しないことによって妨げられていた。例えば、ユーザが効果的に「自身のＴＶと共にプレイ」できるようにすること、すなわち単純な受動体験ではなく画面上に表示されているものに何らかの形で関与できるようにすることは未達の目標である。
【０００４】
このような試みは、この分野の技術的進歩の欠如によって妨げられていた。１つの初期の試みとして、例えばユーザがＪｅｏｐａｒｄｙ（登録商標）というゲームをプレイしながら自分のスコアを記録し続けられるようにする小型のハンドヘルド装置が開発された。このような試みは、通信経路が存在しない例であり、ユーザが様々な答え及び質問を記録し続ける速度、並びにユーザが自己モニタリングする際の固有の不正確さによる限界がある。
【０００５】
さらに進んだ試みでは、いわゆる「第二画面」が採用された。しかしながら、これらの試みも、ユーザがボタンを押す速度に関する限界、異なる通信経路によって妨げられ、批評家は、レベルの低い「視線切り替え」方式、すなわち非シームレスな体験と見なすことが多かった。
【０００６】
他の関連する試みとしては、特定のタウンホールミーティングのテレビ中継及びリアリティー番組において、ユーザが第二画面を用いて投票又はユーザ選択を入力することによって投票を行い、これらを集計して表示するようなポーリングに関するものが挙げられる。このような試みの意図及び結果は情報収集にすぎず、完全な相互作用体験の側面に欠ける。
【０００７】
一般に、このような試みには多くの技術的障害が伴うと理解することができる。これらの障害としては、レベルの低い音声認識技術、従来の高度な遠隔制御の欠如、及びコンテンツ配信への制限が挙げられる。
【０００８】
この背景技術は、以下の概要及び詳細な説明の簡単な文脈を紹介するために示すものである。この背景技術は、特許請求する主題の範囲の特定に役立つことを意図するものではなく、特許請求する主題を、上述した不利点又は問題点の一部又は全部を解決する実装に限定するものとして見なされることを意図するものでもない。
【発明の概要】
【課題を解決するための手段】
【０００９】
本原理によるシステム及び方法は、上記のニーズを複数の方法で満たす。１つには、システム及び方法が、音声認識技術の進歩と、特に入力源としてのスマートフォンなどの利用可能な遠隔制御装置の進歩と、ストリーミング技術及び無線技術の進歩とを利用して、技術的に最適化された相互作用体験を生み出す。例えば、ユーザは、ＷｉＦｉネットワークに接続されたスマートフォンなどの「ユーザコンピュータ」と、やはりＷｉＦｉネットワークに接続されたＩＰＴＶなどの「コンテンツ再生装置」とを有することができ、このような接続システムを使用して、ゲームＵＩ要素、視聴ＵＩ要素、ボイスＵＩ要素及びその他のＵＩ要素に関連するアプリケーションを技術的に最適化された単一の相互作用体験にレイヤ化することによって、本原理によるシステム及び方法を効果的に動作させることができる。
【００１０】
特定の実装では、コンテンツの視聴中に視聴者が相互作用して参加できるようにする技術を実装するシステム及び方法を開示する。１つの実装では、ソフトウェアアプリケーションを実行するコンピュータシステムが、ユーザにビデオコンテンツを提示し、提示中の選択された相互作用点においてユーザ入力を受け取る。システムは、受け取った入力とビデオコンテンツに関連する情報とに従ってユーザにフィードバックを与える。１つの例では、この提示、入力及びフィードバックが、ユーザのゲーム体験を形成する。
【００１１】
さらに具体的な実装では、ユーザが、マルチプレーヤ体験又はマルチプレーヤゲームの一部として互いに「プレイ」し、中央サーバアーキテクチャ又はピアツーピアネットワークを用いて相互作用を行うことができる。１つの形態では、ユーザが、自分の音声を用いて質問に対する答えなどの入力を行う。この形態では、ユーザが、標準的なネットワークを使用する、どこかに存在する他者と、音声を用いてストリーミングビデオを介して固有の独立した相互作用体験をプレイする。
【００１２】
実装において提供する特徴は、以下に限定されるわけではないが、タグを含む録画ビデオを用いたボイスＵＩとの双方向的「協力」ゲームプレイ、ビデオの一時停止及び再開、並びにゲームインタラクションのためのビデオタグ付け、のうちの１つ又は２つ以上を含むことができる。
【００１３】
１つの態様では、本発明は、主要コンテンツアイテムに基づく相互作用体験の動作方法において、相互作用体験内のユーザインタラクションに基づく、ユーザに関連する１又は２以上のデータベースエントリが効果的かつ正確に追加される方法であって、クエリを示してユーザによる応答を誘う１又は２以上のコンテンツサブセットを含む主要コンテンツアイテムをユーザコンテンツ再生装置上で再生するステップと、主要コンテンツアイテムの再生中に、主要コンテンツアイテムのサブセットによって示されたクエリへの応答を含むユーザ入力データをユーザコンピュータから受け取るステップと、受け取ったユーザ入力データをクエリに対する予め定められた応答と比較するステップと、比較の結果に基づいてユーザスコアを決定し、決定されたユーザスコアを、ユーザに関連する、データベース内のエントリとして記憶されている合計スコアに加算するステップと、合計スコアを表示するステップと、クエリを示してユーザによる応答を誘うサブセットのうちの１つ又は２つ以上について、受け取り、比較、決定、加算及び表示を繰り返すステップと、を含む方法に関する。
【００１４】
本発明の実装は、以下のうちの１つ又は２つ以上を含むことができる。方法は、主要ビデオコンテンツアイテムの再生を開始すべき旨の指示をユーザから受け取り、指示の受け取り時に再生を開始するステップをさらに含むことができる。レンダリングを引き起こすステップは、ライブのビデオコンテンツアイテムをストリーミングするステップを含むことができる。レンダリングを引き起こすステップは、録画されたビデオコンテンツアイテムを再生するステップを含むことができる。ユーザコンピュータは、モバイル装置、ラップトップ又は携帯情報端末とすることができる。ユーザコンピュータは、ユーザコンテンツ再生装置に一体化することができる。ユーザ入力データは、音声データ又は文字起こしされた音声データとすることができる。方法は、ユーザ入力データに音声認識を実行して、ユーザ入力データを第１のテキストデータに変換するステップをさらに含むことができ、予め定められた応答は、主要コンテンツアイテム内に第２のテキストデータとして符号化されており、比較は、第１のテキストデータと第２のテキストデータとの比較である。
【００１５】
方法は、主要コンテンツアイテムの再生中に、主要コンテンツアイテムのサブセットによって示されるクエリへの別の応答を含む別のユーザ入力データを別のユーザコンピュータから受け取るステップと、受け取った別のユーザ入力データを、クエリに対する予め定められた応答と比較するステップと、比較の結果に基づいて別のユーザコンピュータのユーザスコアを決定し、決定されたユーザスコアを、別のユーザに関連するデータベース内にエントリとして記憶されている合計スコアに加算するステップと、合計スコアを表示するステップと、クエリを示して別のユーザによる応答を誘う複数のサブセットについて、受け取り、比較、決定及び表示を繰り返すステップと、をさらに含むことができる。方法は、サブセットの再生中の所定の時点で主要コンテンツアイテムの再生を一時停止し、ユーザスコアを決定するステップ後に再生の一時停止を解除するステップをさらに含むことができる。一時停止後の所定の時間内にユーザから応答が受け取られなかった場合、方法は、所定の時間の満了後に主要コンテンツアイテムの再生の一時停止を解除するステップをさらに含むことができる。主要コンテンツアイテムを再生するステップは、主要コンテンツアイテムに対応するデータを受け取ってレンダリングするステップを含むことができ、受け取ったデータには、予め定められた応答を示す一連のデータが含まれる。予め定められた応答を示す一連のデータは、関連するサブセット内にメタデータとして符号化することができる。予め定められた応答を示す一連のデータは、主要コンテンツアイテムの再生を引き起こす送信とは別個の送信の一部として受け取ることができる。サブセットによって示される、応答を誘うクエリ、及び表示は、主要コンテンツアイテムの再生上にオーバーレイとしてレンダリングすることができる。
【００１６】
方法は、主要コンテンツアイテムの再生中に、別のユーザに対応する、主要コンテンツアイテムのサブセットによって示されたクエリに対する別の応答を含む、過去に入力されたユーザ入力データを取り出すステップと、過去に入力されたユーザ入力データと、クエリに対する予め定められた応答とを比較するステップと、比較の結果に基づいて別のユーザのユーザスコアを決定し、決定されたユーザスコアを、別のユーザに関連するデータベースにエントリとして記憶されている合計スコアに加算するステップと、合計スコアを表示するステップと、クエリを示して別のユーザによる応答を誘う複数のサブセットについて、受け取り、比較、決定及び表示を繰り返すステップと、をさらに含むことができる。別のユーザは、ユーザが選択することも、或いはユーザのためにランダムに選択することもできる。主要コンテンツアイテムはコンテンツデータとして具体化することができ、主要コンテンツアイテムの再生は、適切なオーディオコーデック及び／又はビデオコーデックを用いたコンテンツデータのレンダリングを構成することができる。方法は、相互作用体験に関連するメタデータを、それぞれがコンテンツデータ内の位置を示す相互作用点の集合又はリストを含む相互作用マップとして記憶するステップをさらに含むことができる。各サブセットは、相互作用点に対応することができる。コンテンツデータ内の位置は、時間、ビデオフレーム、可視的又は可聴的透かし又はフィンガープリント、ビデオタグ、メタデータタグ又はデータパターンからなる群から選択された要素を用いて表すことができる。方法は、各相互作用点を、相互作用点の処理方法を示す少なくとも１つの関連イベント情報に関連付けるステップをさらに含むことができる。関連イベント情報は、プロンプト、質問、通知、更新、条件及び分岐からなる群から選択することができる。関連イベント情報は、二次情報をさらに含むことができ、二次情報は、質問に対する答え、答えの値、応答の影響、条件、及び応答に基づいて進むべき分岐の指示からなる群から選択することができる。二次情報は条件とすることができ、この条件は、条件の発生に基づいて関連イベントが発生する又は発生しないものとすることができる。各相互作用点は、イベントのツリーに関連することができ、各イベントは、少なくとも１つの関連する条件と、この条件の発生に基づいて実行すべき１つの関連する行動とを有することができる。関連する行動は、相互作用体験の状態とユーザ入力とにさらに基づくことができる。
【００１７】
別の態様では、本発明は、主要コンテンツアイテムに基づく相互作用体験を動作させるシステムにおいて、相互作用体験内のユーザインタラクションに基づく、ユーザに関連する１又は２以上のデータベースエントリが効果的かつ正確に追加されるシステムであって、クエリを示してユーザによる応答を誘う１又は２以上のコンテンツサブセットを含む主要コンテンツアイテムをユーザコンテンツ再生装置上で再生するように構成されたコンテンツプレーヤと、相互作用体験を動作させるように構成されたプログラムドプロセッサと、主要コンテンツアイテムのサブセットによって示されたクエリへの応答を含むユーザ入力データをユーザコンピュータから受け取るように構成され、ユーザ入力データをプログラムドプロセッサに送信するようにさらに構成されたユーザＡＰＩと、を備え、プログラムドプロセッサは、受け取ったユーザ入力データをクエリに対する予め定められた応答と比較し、比較の結果に基づいてユーザスコアを決定し、決定されたユーザスコアを、ユーザに関連する、データベース内のエントリとして記憶されている合計スコアに加算するようにさらに構成され、プログラムドプロセッサは、相互作用体験のためのユーザインターフェイスを動作させ、合計スコアをユーザインターフェイスの一部として表示するようにさらに構成される、システムに関する。
【００１８】
本発明の実装は、以下のうちの１つ又は２つ以上を含むことができる。システムは、分散することができる。コンテンツプレーヤ、プログラムドプロセッサ及びユーザＡＰＩは、ローカルネットワーク内の１又は２以上のコンピュータ上に存在することができ、主要コンテンツアイテムは、コンテンツサーバからストリーミングすることができる。ユーザＡＰＩは、ボイスＡＰＩとすることができ、ボイスＡＰＩは、ユーザ入力音声データを音声認識のためにクラウドサーバに送信するようにさらに構成することができる。
【００１９】
いくつかの実装における本原理によるシステム及び方法は、一般にユーザ入力データが予め定められた答えに関連するかどうか、例えばユーザが正しい答えを行ったかどうかを判断することに関する。このような判断は、例えば情報は収集されるものの、ユーザの答えを予め定められた応答と、すなわち複数の予め定められた応答のうちの予め定められた応答と比較するステップ、又はユーザ入力データを予め定められた正しい答えと比較するステップが存在しない、オンライン投票などの従来の試みと比較することができる。たとえ本原理によるシステム及び方法を多肢選択式の答えが与えられるクエリに適用した場合でも、ユーザ入力データが多肢選択式の答えのうちの１つに関連するかどうかを判断するステップが使用され、比較の結果に基づいてデータベース内のエントリが修正される。
【００２０】
いくつかの実施形態では、本発明の利点が、以下のうちの１つ又は２つ以上を含むことができる。本原理によるシステム及び方法は、クエリに対するユーザ応答をさらに迅速かつ効率的に処理することにより、ユーザの成績に関するデータベースエントリをさらに正確なものにして効率的に計算できるようにする。図及び特許請求の範囲を含む以下の説明からは、他の利点が理解されるであろう。
【００２１】
この概要は、概念の選択を単純な形で紹介するために示したものである。詳細な説明の節では、これらの概念をさらに詳細に説明する。この概要で説明した以外の要素及びステップも可能であり、要素又はステップが必ず必要なわけでもない。この概要は、特許請求する主題の重要な又は不可欠な特徴を示すことを意図するものではなく、特許請求する主題の範囲の特定に役立つものとしての使用を意図するものでもない。特許請求する主題は、本開示のいずれかの部分に示す一部又は全部の不利点を解決する実装に限定されるものではない。
【図面の簡単な説明】
【００２２】
【図１】本原理の１つの実装によるシステムを示す例示的な概略図である。
【図２】相互作用点を識別するメタデータタグを含むことができる複数のサブセットを示す、主要コンテンツアイテムのデータ構造を示す図である。
【図３】ユーザの相互作用体験に関与する装置のさらなる詳細と、様々なステップを実行する論理ユニットと、コンテンツサーバと、主要コンテンツアイテムにオーバーレイ表示された相互作用体験のためのＵＩとを示す別の例示的な概略図である。
【図４】本原理による方法のフローチャートである。
【図５】本原理による相互作用点マップを示す図である。
【図６】本原理による方法のフローチャートの別の実装を示す図である。
【発明を実施するための形態】
【００２３】
全体を通じて、同じ要素は同じ参照番号によって示す。別途示していない限り、要素は縮尺通りではない。
【００２４】
図１に、本原理によるシステム及び方法の１つの実装の概観を、ここでは視聴者参加システム１０として示す。システム１０は、ユーザコンテンツ再生装置２０とユーザコンピュータ３０とを含む。ユーザコンピュータ３０は、例えば、スマート装置、タブレット、ラップトップ、或いは多くの場合にユーザが入力した音声データ、すなわちユーザが発した会話又は発声であるユーザ入力データを受け取ることができる他の装置とすることができる。ユーザコンピュータは、多くの場合スマートフォンによって具体化されるが、この用語は、スマートリモコン又はその他の音声対応装置を含むこともできる。
【００２５】
いくつかの例では、ユーザコンピュータ３０を、ユーザコンテンツ再生装置２０内にユーザ入力機能として実装することもできる。具体的に言えば、ユーザコンテンツ再生装置、例えばＩＰＴＶなどのテレビは、音声入力機能のための内蔵又は付属マイクを含むことができる。ユーザコンテンツ再生装置２０及びユーザコンピュータ３０は、インターネット４０を介してコンテンツサーバ４６に接続される。コンテンツサーバ４６は、コンテンツ再生装置２０上で再生する主要コンテンツアイテムをストリーミング又はダウンロードすることができる。コンテンツ再生装置２０及びユーザコンピュータ３０を使用するユーザは、マルチユーザ相互作用体験を可能にするように他のユーザシステム２５と信号通信することもできる。コンテンツサーバ４６は、相互作用体験の実行、及び主要コンテンツアイテムのストリーミングに使用することができる。いくつかの例では、相互作用体験の実行が、記録され記憶された過去の入力データ５０を用いて、ユーザが別の対戦相手と非同期的にプレイできるようにすることをさらに含むことができる。
【００２６】
図２に、主要コンテンツアイテム７０を示す。主要コンテンツアイテム７０は、複数のサブセットで構成することができ、そのうちの１つをサブセット１又は要素１２Ａとして示す。各サブセットは、ユーザからの応答を誘うクエリを含むことができる。多くの場合、クエリは質問であるが、質問よりも複雑なもの、或いは単純に子供が名前を言い当てるように促す色などの最低限のものとすることもできる。一般に、サブセットは論理ユニットである。サブセットは、主要コンテンツアイテムの一部を含むビデオデータ及び／又はオーディオデータを含むことができ、それぞれのメタデータ１４Ａに関連する（又は共に符号化する）ことができる。メタデータ１４Ａは、正しい答えなどの予め定められた応答（又はそこへのポインタ）、適切な一時停止点２２Ａを示すＸＭＬタグなどのタグ、及び別の正しい応答（又はそこへのポインタ）などのデータを含むことができる。ユーザによる応答が時間内に得られなければ、その応答がユーザによる正しい又は誤った応答としてカウントされなくなる応答時間１８Ａを定めることもできる。応答時間１８Ａは、例えばクエリの複雑さに依存して、各サブセットで同じとすることも、又はサブセット間で異なることもできる。多くの場合、一時停止点はＸＭＬタグによって定められるが、状況によって決まる他の方法で定めることもできる。例えば、一時停止点は、ユーザが答えを示すための「ブザーの早押し」などの応答欲求を示した時に存在するフレームとして定めることができる。後述するように、一時停止点は、ユーザがこのような応答欲求を示した時に存在する最も近いヒントフレーム、例えばヒント又はクエリが存在することを示すメタデータをタグ付けされた最も近いフレームとして定めることができる。具体的に言えば、多くの場合には対戦者の写真が表示されるフレームなどの非クエリフレーム上ではなくクエリフレーム上で一時停止することが望ましいので、各フレームには、そのフレームがクエリフレームであるか、それとも非クエリフレームであるかを示すメタデータタグを提供することができる。
【００２７】
この点、いくつかの実装では、主要コンテンツアイテムを、録画済みのゲーム番組などの、既に録画されているコンテンツアイテムとすることができる。このため、一般的には、本システム及び方法のユーザが録画されている対戦者よりも先に答えを示すことができるように一時停止が必要とされる。また、録画されているプレーヤがどれほど早くブザーを押したかに依存して、一時停止点を示すＸＭＬタグを各サブセットの固有の位置に配置することが必要になることもある。換言すれば、録画されている対戦者は、クエリによって素早くブザーを押すこともあれば、より遅くブザーを押すことも、又は押さないこともあるので、一時停止点を示すＸＭＬタグの配置は、たとえ同じコンテンツアイテム内であってもサブセット毎に異なり得る。
【００２８】
図３に、本システム及び方法のさらに詳細な実装を示す。相互作用体験を含むシステム３２は、テレビディスプレイ及びオーディオを通じてコンテンツ及びユーザインターフェイスを提示する、ＩＰＴＶ又はその他のテレビなどのコンテンツ再生装置に記憶されて動作する、例えばＡｎｄｒｏｉｄ（登録商標）アプリなどのソフトウェアアプリケーションであるストリーミングビデオプレーヤとすることができるコンテンツプレーヤ３６を含むことができる。ビデオコンテンツなどの主要コンテンツアイテム上には、ゲームＵＩ又は参加ＵＩなどの相互作用体験ＵＩ３４を生成して提示することができる。テレビは、例えばインターネットを介したコンテンツサーバ４６へのアクセスを提供する有線又は無線のネットワーク接続を有することができる。コンテンツサーバ４６は、ストリーミングコンテンツ及びメタデータを提供し、システム３２から入力及びフィードバックデータを受け取ることができる。システム３２は、ボイスＡＰＩ３８と、ソーシャルＡＰＩ４２と、プレーヤデータＡＰＩ４４とを有し、又はこれらにアクセスすることができる。
【００２９】
ボイスＡＰＩ３８は、音声認識及び音声−テキスト変換処理を行う。ソーシャルＡＰＩ４２は、情報の提供及び記憶を行うとともに、ユーザのソーシャルデータ、例えば識別、好み、活動及び推奨などの友人情報、並びに通信中のソーシャルネットワークサービスデータとの相互作用を可能にする。プレーヤデータＡＰＩ４４は、プレーヤなどのユーザの情報、及び過去の成績、スコア、質問などの、参加型相互作用ユーザ体験システムを用いたユーザの体験についての情報の提供及び記憶を行う。テレビ及び／又はその他のディスプレイを含むシステム３２も、モバイル装置などのユーザコンピュータにＷｉＦｉなどを介して無線接続することができる。ユーザコンピュータは、スマートフォン、タブレット、又はユーザによって操作されるその他の装置として具体化することができる。テレビとモバイル装置は、情報を交換して、例えば質問プロンプト又はクエリとユーザの答えなどの、ユーザ入力及びフィードバックを提供する。
【００３０】
一般に、システム３２によって実行される上述のステップは、プログラムドプロセッサ３９を通じた適切な動作によって実行される。
【００３１】
再び図２を参照すると、上述したように、主要コンテンツアイテムは、ＸＭＬデータなどの関連するメタデータ１４を有する。１つの実装では、メタデータが、タイムスタンプ又はフレーム番号などによって、ビデオコンテンツ内の相互作用点１６Ａなどの相互作用点１６又はタグを示す。ビデオプレーヤは、コンテンツの再生時にメタデータを用いて相互作用点を特定する。例えば、ビデオプレーヤは、例えばビデオ内の質問が出された時点などの、プレーヤ内のタイマがタグを表すタイムスタンプに到達した時などのタグに到達した時にビデオ再生を一時停止して、例えば質問に対する答えなどのユーザ入力の機会を与えることができる。ビデオプレーヤは、ユーザ入力を分析して、例えば答えが正しかったかどうかなどの適切なフィードバックを決定するとともに、後述するようなユーザスコアへの影響をさらに決定する。
【００３２】
図４は、本原理による例示的な方法のフローチャート４０である。第１のステップにおいて、主要コンテンツアイテムを再生する（ステップ３１）。再生中に、ユーザ入力データを受け取る（ステップ３３）。次に、このユーザ入力データを予め定められた応答と比較する（ステップ３５）。比較に基づいてユーザスコアを決定し（ステップ３７）、スコアを表示する。
【００３３】
例えば、「Ｊｅｏｐａｒｄｙ！」（商標）などのテレビゲーム番組のような質問と答えのゲーム番組の録画を使用する例では、対戦者が質問を提示されて、限られた時間内に答えを示す。ゲームをプレイする対戦者のライブイベントを記録したビデオデータを記憶し、例えばタイムスタンプ及び正しい答えなどの各質問と答えについてのメタデータをタグ付けする。家庭内プレーヤは、サーバ及びスマートフォンに接続されたテレビで、例えば放送中又は録画中に、或いはストリーミング又はダウンロードによってゲームを見ることができる。ゲームプレイ中、家庭内プレーヤは、メタデータに基づいて各質問に答えるように促され、スマートフォンに話し掛けることによって答えを示すことができる。従って、ユーザは、苦労して答えを打ち込む必要がなく、実際にはリアルタイム又はほぼリアルタイムでプレイすることができる。ビデオ再生は、プレーヤのタイミングに合うように調整することができる。家庭内プレーヤの答えが正しいかどうかが処理されてスコアが評価される。画面上には、ライブのゲームプレイのビデオと共に、家庭内プレーヤの現在のスコア及び結果が表示される。
【００３４】
図５に、本明細書では相互作用マップ８０と呼ぶ、さらに詳細な一連の相互作用点を示す。相互作用マップ８０は、異なるタイプのコンテンツ、メタデータ、ユーザインタラクション、並びにシステム動作、ネットワーク動作及びユーザ体験に影響を与えるその他の変動を提供する。この実装では、コンテンツデータのメタデータが、図５では対応する相互作用点１６Ａ、１６Ｂ、．．．、１６Ｎを含むＮ個のサブセットに分割されるコンテンツデータの相互作用マップ８０として記憶される。相互作用マップ８０は、これらの相互作用点の集合又はリストである。各相互作用点は、時間、ビデオフレーム、可視的又は可聴的透かし又はフィンガープリント、ビデオタグ、その他のメタデータタグ又はデータパターンなどの、コンテンツデータ内の位置２４Ａ、２４Ｂ、．．．、２４Ｎとして示す位置を示す。各相互作用点１６は、相互作用点の処理方法を示す関連するイベント情報２６Ａ、２６Ｂ、．．．、２６Ｎも有する。イベントの例としては、必ずしも以下に限定されるわけではないが、プロンプト、質問、通知、更新及び分岐が挙げられる。イベントは、質問の答え、答えの値、応答の影響、及び応答に基づいてどの分岐を選択すべきかについての指示などの二次情報を有することもできる。イベントは、他の情報に依存して発生することも又はしないこともあるように、条件付きとすることができる。例えば、ユーザが一定のスコアに達していない場合にはイベントが発生しないようにすることができる。図示のように、相互作用点は、複数の関連するイベント又は一連のイベントを有することができ、例えば、相互作用点４は、二次情報４Ａ’に関連するイベント情報４Ａ、及び二次情報４Ｂ’に関連するイベント情報４Ｂを含む。１つの例では、相互作用点が、それぞれが独自の条件と、参加システムの状態及びユーザ入力に依存して実行すべきアクションとを有するイベントのツリーを有することができ、この可能性を位置データ３に関連して示す。別の例では、イベント情報の条件又は値を録画データ内のデータに照らして評価することができる。１つのこのような例では、１つの録画データの組について相互作用マップを作成した後に、録画データの条件及び評価を適切に使用することによって別のデータの組と共に再使用することができる。
【００３５】
図６に、例示的な実装のフローチャートを示す。最初のステップにおいて、ユーザは、プレイするエピソードをリストなどから選択し、或いは特定の番組及びエピソード、又は友人からユーザに推奨できるものなどを検索することができる（ステップ７２）。１つの実装では、ユーザが、モバイル装置などのユーザコンピュータを用いて、プレイするビデオを選択する。別の例では、システムがゲーム番組のエピソードのリスト又は集合物を提示して、ユーザがエピソードを選択する。システムは、識別情報及び概要情報を提示して選択を支援する。システムは、例えば、日付、名前及びキーワードなどによってコンテンツアイテムを特定するための検索機能を提供することができる。システムは、例えば過去の経験、又は友人の推奨及び友人の活動などの社会情報に基づいて推奨を行うこともできる。テレビ上、モバイルディスプレイ上、又はこれらの組み合わせ上にＵＩ相互作用を提示して制御することができる。
【００３６】
次のステップにおいて、ユーザは、プレイする友人を選択し、又はランダムな対戦相手とプレイすることもできる（ステップ７４）。とりわけユーザがランダムな対戦相手を選択した場合には、このランダムな対戦相手が過去にこのゲームをプレイした可能性もあり、これらの対戦相手の応答及び応答時間が記憶されていることもある。ユーザは、１人でプレイしてどちらのプレーヤの方が高スコアを達成したかを判断することにより、或いはさらに複雑な実装では、２人が同時にプレイしていたとしたらどちらのプレーヤが勝っていたかをより正確に示すランダムな対戦相手の応答時間を用いて、記録されている対戦相手よりも現在のユーザの方が先に「早押し」を行うかどうかを判断することにより、敢えて過去に記録された対戦相手とプレイすることもできる。いくつかの例では、このような状況の場合、一方又は他方の対戦相手にハンディキャップを与えるように時間遅延を設けることもできる。
【００３７】
再びステップ７４において、ユーザは、モバイル装置を用いて対戦相手を選択することができる。システムは、ユーザの友人、最近のユーザ又は他の既知のユーザなどの、人々のリストを提示することができる。システムは、サーバとの間でデータの要求及び受け取りを行うことによって利用可能な対戦相手を決定することができる。システムは、過去の成績又はその他のプロフィール情報を比較して、例えばスキルレベルを等しくすることによって、提示又は推奨すべきプレーヤを選択することもできる。ユーザは、特定の名前又はその他の特徴を検索することもできる。システムは、例えばランダムな選択又はプロフィール照合の使用によってゲームを成立させる１人又は２人以上の対戦相手をユーザが要求できるようにする「ランダムな対戦相手」ボタンをさらに提供することができる。
【００３８】
上述したように、他のプレーヤとのゲームプレイは非同期的とすることができる。従って、他のプレーヤは、対戦相手として選択される前に、既に最後までゲームをプレイし終えている可能性もある。ゲームプレイ中には、ユーザのゲーム活動の結果を記憶して、収集した結果を他の人々との将来的なプレイに使用することもできる。一例として、ユーザは、所与のエピソードで最高スコアを出したいずれかのプレーヤとプレイしたいと望むこともできる。いずれにせよ、システムは、各選択された対戦相手について、例えばプレーヤデータＡＰＩを用いて、現在のユーザとの現在のプレイ中に使用するその対戦相手のプレイデータをサーバから取り出す。しかしながら、別の実装では、同期ゲームプレイを使用して、複数のライブユーザが同時にプレイすることも、又はライブの対戦相手と記録されている対戦相手とを組み合わせることもできる。
【００３９】
再び図６を参照すると、主要コンテンツアイテムの再生を開始することができる（ステップ７６）。従って、ある実装では、ゲームが始まってシステムがビデオコンテンツを提示しても、再生は、タグ又は相互作用点に到達するまでは、通常の視聴中、すなわち参加していないものと同じ再生になり得る。コンテンツプレーヤは、ビデオコンテンツ上に、例えば相互作用体験のユーザのアイコン及びスコアなどのゲームＵＩを提示する。
【００４０】
ある時点で、応答を誘うクエリと共に主要コンテンツアイテムのサブセットが表示される（ステップ７８）。コンテンツデータのサブセット内で遭遇又は到達したＸＭＬタグなどのメタデータに基づいて、ビデオを一時停止することができる（ステップ８２）。従って、システムは、タグに到達した時点で再生を一時停止し、ユーザにクエリへの応答を促すことができる。このゲームの例では、ビデオ内で一連の質問が尋ねられて提示され、対戦者が回答するゲームをプレイする。メタデータタグは、ビデオコンテンツ及びメタデータが準備された時にビデオ内の各質問箇所に挿入することができる。このタグは、ビデオコンテンツ内のフレーム又はタイムスタンプを識別し、再生がこのフレーム又は時間に到達すると、システムは再生を一時停止して、コンテンツ上にオーバーレイ表示されたゲームＵＩを通じてユーザにプロンプトを示す（ステップ８４）。１つの例では、このプロンプトが、テレビ上の視覚キュー及び可聴キュー、並びにモバイル装置上の視覚キューである。ユーザは、プロンプトに応答して質問に答える意思を示すことができ、例えば「早押し」を行うことができる（ステップ８６）。いくつかの実装では、ユーザが、例えば早押しなどの別の動作を個別に行う必要なくボイスＡＰＩを用いて単純に答えることもできる。
【００４１】
いくつかの実装では、プレーヤが、他の対戦相手が早押しを行ったかどうかを確認することができる（ステップ８８）。この早押しは、他のユーザが同時にプレイしている場合には、ユーザが質問に答えたい旨の実際の指示とすることができ、或いは番組がライブであった時にプレーヤがブザーを早押しした時点（又は設計者が指定した別の時点）における記録されているプレーヤの早押しを表すこともできる。
【００４２】
複数のプレーヤが早押しを行った場合、システムは、どのプレーヤが最初に応答できるか（ステップ９２）、従ってどのプレーヤが最初の得点機会を有するかを決定することができる。多くの場合、そのプレーヤは、最初に早押しを行ったプレーヤである。このようにして、ユーザは、プロンプト又はクエリに応答する。モバイル装置又は他のこのようなユーザコンピュータは、装置の画面上のボタンなどの視覚的プロンプトを提示することができ、ユーザは、ボタンのタップなどによってボタンを作動させてプロンプトに応答し、早押しを行うことができる。別の例では、ユーザが、「はい」ボタン及び「いいえ」ボタンを使用してその時点でゲームに参加する意思があるかどうかを示すことなどによる複数の方法で応答することができる。ユーザは、符号語又は符号表現を発話して「答え」などの「早押し」を開始することも、或いは単純に答えを言うこともできる。いずれにせよ、プレーヤは応答を示す（ステップ９４）。
【００４３】
ビデオプレーヤは、ユーザの応答を記録してユーザのプレイデータに追加する。システムは、ゲーム内の対戦相手の情報も提示し、上述したように対戦相手が最初にゲームをプレイした時にその質問に応答したか否かを質問毎に示すこれらの対戦相手のプレイデータに基づいて、対戦相手がその時点で応答する意思があるかどうかを示すアイコンをゲームＵＩ内に提示する。
【００４４】
上述したように、多くの実装では、ユーザが音声によって質問に答える。従って、音声を認識するステップを実行することができる（ステップ９６）。いくつかの実装では、ユーザの確認のために、画面上に文字起こしされた回答を表示することができる。しかしながら、ペースの速いゲームでは、一般にこのようなステップを省略することができる。
【００４５】
本原理によるシステム及び方法の共通の実装では、相互作用体験が、質問と答えのフォーマットを使用するゲームになり、一時停止中のビデオが、テレビのディスプレイ上に現在の質問を表示することができる。ユーザが発話した答えは、モバイル装置のマイクによって録音され、このマイクが、ユーザが発話した音声を処理し、又は処理のためにオーディオファイルをクラウド又はその他のサービスに送信することができる。ローカル処理を使用する場合には、モバイル装置がオーディオデータをビデオプレーヤに提供し、ビデオプレーヤが、ボイスＡＰＩなどを用いてオーディオデータを分析して、ユーザがどのような答えを示したかを特定することができる。別の例では、モバイル装置が音声処理を行い、結果として得られた回答データをビデオプレーヤに提供する。この答えは、テレビと、任意にモバイル装置とに提示され、例えばメタデータ内の、その質問に対する予め定められた応答に照らして評価される。ビデオプレーヤは、ユーザの答えを記録してユーザのプレイデータに追加することができる。別の例では、タイピング、多肢選択及びジェスチャーなどを含む他の回答機構を使用することもできる。
【００４６】
ユーザによって示された回答は、所定の結果と比較（ステップ９８）されて評価される。ある実装では、ビデオプレーヤが、場合によってはコンテンツの一時停止を解除することなどによって質問の結果をビデオ内に提示し（ステップ９３）、正しい答えを提示することもできる（ステップ９５）。対戦者が正しい答えを出した場合には、対戦者が番組内で正解を提示することができる。対戦者の答えが正しくなかった場合には、主催者が正解を提示することもできる。
【００４７】
ビデオプレーヤは、正しい答えの場合にはユーザスコアを上げ、誤った答えの場合にはユーザスコアを下げることなどによって、ユーザの答えの影響を決定することもできる（ステップ９７）。ゲームＵＩは、ユーザのスコアの変化を反映するように更新を行う。ビデオプレーヤは、このスコアを記録してユーザのプレイデータに追加することができる。また、ビデオプレーヤは、相互作用体験などの参加ゲームにおける対戦相手のプレイデータを評価して、対戦相手が答えたかどうか、その答えが正しかったかどうか、及び対戦相手のスコアへの影響を決定し、やはり更新された情報をゲームＵＩ内に表示することができる。
【００４８】
いくつかの例では、ゲームの最後に全てのサブセットが表示されて応答が行われた後に、全てのプレーヤの最終スコアを表示して勝者を示すことができる（ステップ９９）。ビデオがゲームの最後に達すると、メタデータは、ゲームが終了した旨を示すことができ、ビデオプレーヤは、ゲームデータを評価して最終結果の決定及び提示を行うことができる。ユーザは、ゲーム全体を通じて様々な質問に答え、アレイ又はデータベースの一部であるデータベースエントリとして記憶されているユーザのスコアが更新される。ユーザの最終スコアと、対戦相手が存在する場合には各対戦相手の最終スコアとを表示し、これらを比較してゲームの最終的な勝者を決定する。ビデオプレーヤは、ユーザの最終スコア及び勝ち負けを記憶し、これらのデータをユーザのプレイデータに追加することができる。ユーザのプレイデータをまとめ、同じ又は他のユーザとの将来的なゲームで使用できるようにサーバに返送する。
【００４９】
次に、上記のシステム及び方法の変形及び詳細について説明する。
【００５０】
いくつかの例では、システムが、ユーザが賭けを行う機会を提示することができる。メタデータは、このような再生中の時点に、ユーザが質問に答えることに加えて、ユーザスコアから特定の点数を賭けることなどの賭けを行える旨を示すことができる。この時、ビデオプレーヤは、ゲームＵＩ内及びモバイル装置上でユーザにプロンプトを提示し、ユーザは、この機会を承諾するか否かを応答することができる。ユーザが承諾して賭けを行いたいと望む場合、ビデオプレーヤがユーザに金額を促し、ユーザは、賭け金を発話することができる。この賭け金は、上記の回答処理と同様に処理され、その後に再生が継続し、質問、及びユーザ回答を求める別のプロンプトに移行する。
【００５１】
別の変形例では、システムが、質問の一部としてビデオ画像を提示することができる。メタデータは、使用するビデオ画像を、例えばフレーム番号によって示すことができ、システムは、再生を一時停止して画像を提示することができる。ビデオプレーヤは、他の質問の場合と同様にユーザを促し、上記のように応答及び答えを処理することができる。
【００５２】
一般に、上述した一時停止及びその解除は、システム及び方法が特定のフレーム上で一時停止できるように大幅なフレーム制御を必要とする。完全なフレーム制御を行わないと、特定のフレーム上での一時停止に問題が生じる恐れがある。これまで、従来のシステムはこの問題に対処しておらず、従ってたとえユーザ入力が提供された場合でも、フレーム精度は重要でなかった。例えば、ビデオゲームの場合、一般に一時停止時のフレーム精度は目立たない。しかしながら、このシステム及び方法では、フレーム精度が大幅に目立つようになり得る。例えば、１つのフレームにヒントが示されており、所定のＸＭＬタグの存在に基づいて表示を一時停止させたものの、ヒントではなく対戦者のフレーム上で表示が一時停止した場合、家庭内ユーザによる応答の提供が妨げられる恐れがある。このように、上述したメタデータを用いて少なくとも部分的にフレームの一時停止を通知することはできるが、それでもやはり不正確であることが分かった。１つの例示的な解決策では、例えば自動的に又はユーザの早押しによって主要コンテンツアイテムが一時停止した後に、潜在的一時停止フレームからのメタデータを（メタデータを用いて）精査して、そのフレームが適切な一時停止フレームであるかどうか、例えば対戦者ではなくヒントを示しているかどうかを判断することができる。潜在的一時停止フレームが対戦者を示す場合には、この潜在的な一時停止を無効にして、再びヒントフレームが表示されるまでさらなる数フレームにわたって主要コンテンツアイテムを再生し、その時点で一時停止を有効にすることができる。
【００５３】
音声処理及び音声認識は、クラウド内で実行することができるが、これは厳密に必要なわけではない。音声処理及び音声認識は、ユーザコンピュータ又はコンテンツ再生装置などのいずれかのユーザ装置上で実行することも、或いはローカルネットワーク上などでアクセス可能な他のシステム上で実行することもできる。ビデオ及びオーディオの入力及び出力を使用するものを含む、Ｇｏｏｇｌｅ  Ｈｏｍｅ（登録商標）、Ａｍａｚｏｎ  Ｅｃｈｏ（登録商標）、又はＭｉｃｒｏｓｏｆｔ  Ｃｏｒｔａｎａ（登録商標）、或いはＩｎｖｏｋｅ（商標）などのスマートスピーカを使用することもできる。しかしながら、クラウド内での音声認識は、システムが変動及び回答、アクセント及び方言によって引き起こされる多様性などに対応しようと試みる場合、並びに規模を拡大して動作が生じている場合に著しく高い能力を発揮するので、包含性が高く、例えば誤った発音の単語への寛容性又は許容性が高いものとなり得る。いくつかの例では、クラウドベースの音声認識を一次の又はデフォルトの方法とし、クラウドベースの認識を利用できない場合にローカル処理を実行することができる。
【００５４】
音声認識を実行する１つの例示的な最適方法は、クエリを精査して発声された何かを受け入るべきかどうかを判断又は評価する認知サービス又はＡＩを通じたものである。このようなＡＩは、別の答えもやはり適切な又は正しい答えであるかどうかを判断する高度なシステムで使用することができる。発声などのユーザ入力データを分析して、正しい又は予め定められた答えであるものの適切な派生語であるかどうかを判断することができる。認知サービス、ＡＩ又はその他のサービスは、例えば異形同音異義語を含む辞書に素早くアクセスして、調整できる所与の許容範囲内で単語が正しい答えのように聞こえるかどうかなどを判断することができる。ゲーム番組という特定の例では、ライターが変形例を書き込んで、コンテンツサーバ又はゲームを運営する他のサーバにアップロードすることができる。この場合のゲームなどの主要コンテンツアイテムでは、ユーザ装置に処理アプリケーションをダウンロードする必要がないので、処理が高速かつ効率的になる。換言すれば、主要コンテンツアイテムをストリーミングし、ユーザ応答をクラウドで分析して、結果をユーザにストリーミングで戻すことができる。このような方法を用いて、アップロード又は修正をリアルタイムで行うこともできる。例えば、エラーチェック又はエラー処理によって、ユーザコンピュータが単語を誤って解釈していると判断された場合、コンテンツサーバは、特定のユーザ応答が誤りではなく許容可能と見なされるように、判断されたものを正しい答えとして自動的に修正することができる。
【００５５】
音声認識機能は、個々のユーザの音声を学習し、音声認識システムは、異なるプレーヤを認識することができ、従って別個のマイク又は他の別個のプレーヤベースの音声入力装置によって曖昧性の除去を行わずに複数の参加者がプレイできるので、たとえコンテンツ再生装置ベースのマイクが１つしか存在しない場合でも室内マルチプレーヤゲームの状況を実現することができる。
【００５６】
本システム及び方法の実装が取り組む別の重要な技術課題は、ユーザ入力データが曖昧な時、例えばユーザが発言を訂正したり、口ごもったり、又は複数の連続する代替応答を口にしたりした時に発生する。一般に、本原理によるシステム及び方法は、発言された単語が予め定められた応答として記憶されているものに対応するか否かしか判断することができない。解決策としては、時間的に最後のものを使用すること、予め定められた応答と比べた時に完全な応答のみを使用すること、又はこれらの組み合わせを使用することが挙げられる。
【００５７】
本システム及び方法は、コンテンツのメタデータを作成して記憶し、提示し、動作させ、コンテンツ及びメタデータを体験してこれらと相互作用するアプリケーション及びツールのためのユーザインターフェイスを提供するようなあらゆる数のコンピュータ装置に完全に実装することができる。通常は、一般に非一時的なコンピュータ可読媒体上に命令が配置され、これらの命令は、コンピュータ装置のプロセッサによる本発明の方法の実行を可能にするのに十分なものである。コンピュータ可読媒体は、実行時にランダムアクセスメモリにロードされる命令を有するハードドライブ又は固体ストレージとすることができる。例えば複数のユーザ又はいずれか１人のユーザからのアプリケーションへの入力は、あらゆる数の適切なコンピュータ入力装置によって行うことができるが、音声入力源が好ましい。挿入メモリチップ、ハードドライブ、フラッシュドライブ、フラッシュメモリ、光媒体、磁気媒体、又は他のいずれかのタイプのファイル記憶媒体を用いてデータを入力することもでき、このような媒体は、一般に以前のゲーム及び以前のユーザからの記憶データを使用する場合に使用することができる。ユーザが見ることができるディスプレイに結合されたビデオグラフィックカード又は内蔵グラフィックチップセットを用いてユーザに出力を送出することもできる。本教示を所与とすれば、本発明では他のあらゆる数の有形出力も検討されると理解されるであろう。例えば、出力は、メモリチップ、ハードドライブ、フラッシュドライブ、フラッシュメモリ、光媒体、磁気媒体、又は他のいずれかのタイプの出力に記憶することができる。また、本発明は、例えばゲーム機、パーソナルコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、ネットブックコンピュータ、ハンドヘルドコンピュータ、携帯情報端末、携帯電話機、スマートフォン、スマート装置、ウェアラブル装置、スマートウォッチ、タブレットコンピュータなどのあらゆる数の異なるタイプのコンピュータ装置に実装することができ、これらの目的のために特別に設計された装置に実装することもできる。１つの実装では、スマートフォン又はＷｉＦｉ接続装置のユーザが、無線インターネット接続を用いてアプリケーションのコピーをサーバから自身の装置にダウンロードする。適切な認証手順及びセキュアなトランザクションプロセスが、販売者への支払いを可能にすることができる。アプリケーションは、モバイル接続、ＷｉＦｉ、又はその他の無線ネットワーク接続を介してダウンロードすることができる。その後、ユーザはアプリケーションを実行することができる。このようなネットワークシステムは、複数のユーザがシステム及び方法に別個の入力を提供する実装に適したコンピュータ環境をもたらすことができる。相互作用体験を検討する上述のシステムでは、複数の入力部が、複数のユーザによる関連データの同時入力を可能にすることができる。
【００５８】
本明細書で開示した発明は、上述した目的を達成することができるが、本開示は、現在のところ好ましい本発明の実施形態を示すものにすぎず、添付の特許請求の範囲に記載する以外の限定は意図していないと理解されたい。
【００５９】
例えば、本明細書では、ゲーム番組の設定について説明したが、本発明は、様々な設定で使用することができる。例えば子供番組、特に教育番組は、とりわけ恩恵を受けることができる。例えば、クエリ及びプロンプトを使用して、子供達の発話及び相互作用を促すことができる。ユーザが堂々と意見を述べて体験に参加しようと試みることができる、例えば犯罪の解決を手助けし、又はストーリー展開の分岐を知らせようと試みることができる犯罪ドラマも、別のジャンルとすることができる。
【００６０】
スマートリモコンを使用して拡張現実又は仮想現実を用いたシステム及び方法を使用することもでき、この場合、入力機構としてジェスチャーなどを使用することもできる。
【００６１】
システム及び方法は、同じ室内で複数のユーザが共にプレイするマルチプレーヤ体験の一部として有利に使用することもできる。各ユーザがモバイル装置を有し、各モバイル装置をテレビ及びビデオプレーヤアプリケーションに接続することができる。質問が提示されると、ユーザは、応答するか否かを選択し、例えば「早押し」を行うことができるが、質問には最初に応答したユーザしか答えることができない。
【００６２】
別の変形例では、提示される質問が、ゲーム番組内の質問と常に同じであるとは限らない。代わりに、いくつかの質問は、例えば正しい答え又はスコア、対戦者、例えば豆知識、対戦者の出身、対戦者の次の発言、或いはゲーム内に話題に上るコンテンツに関する予測などの、ゲームに関するものである。
【００６３】
さらに別の実装では、ビデオコンテンツが必ずしもゲーム番組でなく、代わりに映画、テレビ番組、ウェブ番組、スポーツの試合、演説及び講演などのライブイベントの録画とすることができる。１つの例では、映画のメタデータが、関心点に、質問への回答、又は現在のシーンの一部の発話などの、相互作用のためのタグを含む。ゲーム番組での質問と同様に、再生がタグに到達するとビデオプレーヤが再生を一時停止し、プレーヤＵＩ内に質問を提示することなどによってユーザに相互作用を促す。例えば、次に何が起きるか、殺人者は誰であるかなどのあらすじに関する質問、これは誰であるか、次の出演映画は何であったかなどの俳優に関する質問、監督は誰であったか、この効果はどの会社が作製したかなどの制作に関する質問、又はこのレストランが登場した他の映画などのその他の豆知識に答えるようにユーザを促すことができる。ユーザは、音声で回答することができ、この回答を処理して、予め定められた応答のメタデータ又はその他のソースに照らして正確さを分析することができる。別の例では、ビデオプレーヤが、例えばこの登場人物が何を言おうとしているかなどの台詞の一文を喋るようにユーザを促し、ユーザの発話の正確さ及び出来栄えを分析する。別の例では、質問の提示及び回答が行われている時にビデオ再生が一時停止されない。例えば、ストリーミングビデオにおいてユーザがリアルタイムで入力を行う「リアルタイム」モードが提供される。特定の実装では、「運命の輪（Ｗｈｅｅｌ  ｏｆ  Ｆｏｒｔｕｎｅ）」に基づいて、ボーナスラウンドで実際の対戦者が答えると同時にユーザが考えられる答えを大声で叫び、例えば実際の対戦者が答える前に家庭内のユーザが答えを推測しようと試みることができる。
【００６４】
別の実装では、録画コンテンツがビデオではなく、ラジオゲーム番組、ポッドキャスト、ラジオ番組などのオーディオである。１つの例では、インターフェイスを提示して、例えばビデオディスプレイが利用できず又は都合が悪い時などにのみ使用するオーディオと共に使用することができる。
【００６５】
別の実装では、ビデオコンテンツが、コンピュータ又はビデオゲームに記録されたゲームプレイのビデオであり、例えばビデオゲームストリーマである「ｌｅｔ’ｓ  ｐｌａｙ」ビデオ、又はゲーム機からのビデオキャプチャである。ビデオゲームのメタデータは、例えばどの経路を進むか、どの装備を使用するか、どの薬を飲むかなどの、ゲーム内の決定点などの相互作用点を示す。再生がこれらの地点に到達すると、ユーザは、何をすべきかについて自分の予測又は示唆を提供し、システムは、結果についてのフィードバックを与えることができる。例えば、システムは、ユーザの選択が行われていたら何が起きていたかをテキスト又はビデオで示し、例えば、特にプレイ中の同じゲームの記録が複数存在する場合には分岐ビデオで示す。別の例では、ゲームプレイビデオがチュートリアル又はガイドであり、ユーザの応答をガイド内で実際に行われたことと比較して、ユーザがどれほど上手くガイドに従ってゲームをプレイしているかを判断する。１つの例では、ビデオゲームプレーヤがゲームアプリケーションと相互作用して、ユーザ選択の影響を表す新たなビデオを作成し、一定期間にわたって録画ビデオの代わりに新たなビデオを提示し、又は録画ビデオと共に、例えばオーバーレイ表示又は混合表示することができる。別の例では、ビデオ再生が一時停止又は変化しない。このような１つの例では、メタデータが、例えばゲームコントローラ上のどのボタンをいつ押したかなどの、記録されたゲームプレイからのユーザ入力を含み、ビデオプレーヤが、再生中に現在のユーザ入力を記録する。ビデオプレーヤは、メタデータと現在のユーザ入力とを比較して、例えばトレーニングのために、現在のユーザが記録されている入力とどれほど一致するかを判断する。
【００６６】
別の実装では、コンテンツデータの一部又は全部が記録されるのではなく生成される。この生成データは、再生前又は再生中に作成することができる。この生成データを条件付きイベントと共に使用して、動的参加体験を提供することができる。
【００６７】
別の実装では、録画データを仮想現実環境と共に使用する。録画ビデオ及び／又は生成ビデオを使用して環境の一部を示すことができる。環境のいくつかの部分を増強することも、メタデータ、対戦相手の情報、画像などからのプレイデータ、又はカメラ、マイク、センサなどのユーザシステムからのデータと置き換えることもできる。
【００６８】
別の変形例では、ユーザが、実際にローカルにではなくサーバ対サーバなどのクラウドを通じてプレイするようにアーキテクチャを修正することによって装置を同期させ、従ってＷｉＦｉネットワークを越えたプレイに使用することができる。例えば、各ユーザ装置又はユーザコンピュータがサーバにアクセスし、アクセスを受けたサーバが互いに通信して、たとえユーザが同じ室内に存在し、或いは１又は２以上のＷｉＦｉネットワークに接続されている場合でも、複数のユーザが互いにプレイするという目標を達成することができる。この技術改善は、複数の入力装置、ネットワークプロバイダ及びルータ間のファイアウォール及び非互換性の問題という大きな技術的困難を克服する。
【００６９】
別の変形例では、適切な技術の積み重ねによって複数タイプのプラットフォームにわたってシステムをプレイし、異種の装置を有するプレーヤ同士によるプレイを可能にすることができる。
【００７０】
図及び特許請求の範囲を含む本明細書の開示を考慮すれば、他の変形例も理解されるであろう。
【図１】
2018085715.tif 000003
【図２】
2018085715.tif 000004
【図３】
2018085715.tif 000005
【図４】
2018085715.tif 000006
【図５】
2018085715.tif 000007
【図６】
2018085715.tif 000008
【外国語明細書】
2018085715000001.pdf