(57)【要約】  様々な実施形態は、遠隔の場所からストーリーを経験することができる、対話型の共有されたストーリーリーディングエクスペリエンスをもたらす。様々な実施形態は、ストーリーリーディングエクスペリエンスに関連するオーディオおよび／またはビデオの増強または変更を可能にする。これはストーリーが読まれるのに従って、読み手の音声、顔、および／またはストーリーに関連する他のコンテンツを増強および変更することを含むことができる。
2016511837.tif 000002
【特許請求の範囲】
【請求項１】
１人または複数の遠隔参加者と共有されている電子ストーリーの読み手に関連するオーディオデータを受信する工程と、
前記読み手の音声をモーフィングするように前記オーディオデータを増強する工程と、
前記１人または複数の遠隔参加者が、増強されたオーディオデータを消費することを可能にする工程と
を含む、コンピュータによって実施される方法。
【請求項２】
前記増強する工程が、前記電子ストーリーの中のキャラクタに類似して聞こえるように、前記読み手の前記音声をモーフィングすることである、請求項１に記載の方法。
【請求項３】
前記増強する工程が、前記読み手のコンピューティングデバイスにおいて生じる、請求項１に記載の方法。
【請求項４】
前記増強する工程が、前記読み手の前記コンピューティングデバイス以外のコンピューティングデバイスにおいて生じる、請求項１に記載の方法。
【請求項５】
前記可能にする工程が、少なくとも部分的にピアツーピアネットワークを用いて行われる、請求項１に記載の方法。
【請求項６】
前記可能にする工程が、少なくとも部分的にピアツーピアネットワーク以外のネットワークを用いて行われる、請求項１に記載の方法。
【請求項７】
コンピュータ可読命令を具現化する１つまたは複数のコンピュータ可読記憶媒体であって、前記コンピュータ可読命令が、実行されたときに、
複数の参加者の間の通信接続を確立して前記参加者が、前記参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にする工程と、
共有されている前記電子ストーリーの読み手に関連するオーディオデータを受信する工程と、
前記読み手の音声をモーフィングするように前記オーディオデータを増強する工程と、
前記１人または複数の遠隔参加者が、増強されたオーディオデータを消費することを可能にする工程と
を含む方法を実施する、１つまたは複数のコンピュータ可読記憶媒体。
【請求項８】
前記増強する工程が、前記電子ストーリーの中のキャラクタに類似して聞こえるように、前記読み手の前記音声をモーフィングする、請求項７に記載の１つまたは複数のコンピュータ可読記憶媒体。
【請求項９】
前記増強する工程が、前記読み手のコンピューティングデバイスにおいて生じる、請求項７に記載の１つまたは複数のコンピュータ可読記憶媒体。
【請求項１０】
前記増強する工程が、前記読み手の前記コンピューティングデバイス以外のコンピューティングデバイスにおいて生じる、請求項７に記載の１つまたは複数のコンピュータ可読記憶媒体。
【発明の詳細な説明】
【背景技術】
【０００１】
[0001]  コンピュータネットワークを通してなど、ストーリーを遠隔で読むことは、非常に個人的なエクスペリエンスとなる可能性を有する。例えば出張している親は、自分の子供を寝具でくるむ機会を逃さないように、自分の子供のお気に入りの就寝時のおとぎ話を、自分の子供に読み聞かせることができる。しかし今日まで、遠隔でこれが行われるときは、エクスペリエンスは、共有されるのがストーリーだけである、またはせいぜいピアツーピアコールでのようにストーリーにビデオが追加されるだけであるという事実によって限定されてきた。加えて、共有されるエクスペリエンスは主として、読み手から聞き手への一方向であり、読み手はストーリーとは別に感情を伝える。
【発明の概要】
【０００２】
[0002]  この概要は、発明を実施するための形態において以下でさらに述べられる、選ばれた概念を簡略化した形で紹介するために示される。この概要は、特許請求される主題の主要な特徴または本質的な特徴を特定するものではない。
【０００３】
[0003]  様々な実施形態は、遠隔の場所からストーリーを経験することができる、対話型の共有されたストーリーリーディングエクスペリエンスをもたらす。様々な実施形態は、ストーリーリーディングエクスペリエンスに関連するオーディオおよび／またはビデオの増強または変更を可能にする。これはストーリーが読まれるのに従って、読み手の音声、顔、および／またはストーリーに関連する他のコンテンツを増強および変更することを含むことができる。
【０００４】
[0004]  このようにして２人以上の遠隔参加者は、ストーリーベースの共有された対話型コンテンツとリアルタイムで通信および対話することができる。代わりにまたは追加としてストーリーベースの共有された対話型コンテンツは、増強または変更し、その後の再生のために記録および／またはアーカイブすることができる。
【０００５】
[0005]  詳細な説明は添付の図面を参照して述べられる。図では参照番号の最も左の１つまたは複数の数字は、参照番号が最初に現れる図を識別する。説明および図における異なる場合での同じ参照番号の使用は、同様または同一の項目を表し得る。
【図面の簡単な説明】
【０００６】
【図１】[0006]１つまたは複数の実施形態による例示の実装における環境を示す図である。
【図２】[0007]１つまたは複数の実施形態による例示の実装における環境を示す図である。
【図３】[0008]１つまたは複数の実施形態による例示の増強効果モジュールを示す図である。
【図４】[0009]１つまたは複数の実施形態によるフロー図である。
【図５】[0010]１つまたは複数の実施形態によるフロー図である。
【図６】[0011]１つまたは複数の実施形態によるフロー図である。
【図７】[0012]１つまたは複数の実施形態による例示のユーザインターフェースを示す図である。
【図８】[0013]１つまたは複数の実施形態による例示のユーザインターフェースを示す図である。
【図９】[0014]１つまたは複数の実施形態によるフロー図である。
【図１０】[0015]１つまたは複数の実施形態によるフロー図である。
【図１１】[0016]１つまたは複数の実施形態によるフロー図である。
【図１２】[0017]１つまたは複数の実施形態によるフロー図である。
【図１３】[0018]１つまたは複数の実施形態によるフロー図である。
【図１４】[0019]１つまたは複数の実施形態による例示のシステムを示す図である。
【図１５】[0020]１つまたは複数の実施形態による例示のシステムを示す図である。
【図１６】[0021]１つまたは複数の実施形態の態様を示す図である。
【図１７】[0022]１つまたは複数の実施形態の態様を示す図である。
【図１８】[0023]１つまたは複数の実施形態の態様を示す図である。
【図１９】[0024]１つまたは複数の実施形態の態様を示す図である。
【図２０】[0025]１つまたは複数の実施形態によるフロー図である。
【図２１】[0026]本明細書で述べられる様々な実施形態を実装するために利用することができる例示のコンピューティングデバイスを示す図である。
【発明を実施するための形態】
【０００７】
[0027]  概説
様々な実施形態は、遠隔の場所からストーリーを経験することができる、対話型の共有されたストーリーリーディングエクスペリエンスをもたらす。様々な実施形態は、ストーリーリーディングエクスペリエンスに関連するオーディオおよび／またはビデオの増強または変更を可能にする。これはストーリーが読まれるのに従って、読み手の音声、顔、および／またはストーリーに関連する他のコンテンツを増強および変更することを含むことができる。述べられる実施形態は、「ｅブック」と呼ばれる電子ブックなどの電子コンテンツまたはデジタルコンテンツと共に利用することができる。ｅブックは、テキスト、画像または両方を含むデジタルの形での本の長さの出版物であり、コンピュータまたは他の電子デバイス上で制作され、それらを通して発行され、それらの上で読み出し可能である。ｅブックは、通常は専用のｅブックリーダ、または汎用タブレットコンピュータ上で読まれる。パーソナルコンピュータおよび携帯電話も、ｅブックを読むために用いることができる。
【０００８】
[0028]  このようにして２人以上の遠隔参加者は、ストーリーベースの共有された対話型コンテンツとリアルタイムで通信および対話することができる。代わりにまたは追加としてストーリーベースの共有された対話型コンテンツは、増強または変更し、その後の再生のために記録および／またはアーカイブすることができる。様々な実施形態では参加者は、ストーリーコンテンツとのユーザ対話も含む共有された視聴を楽しむことができ、例えば１人のユーザが絵に触れるまたはコンテンツ内の単語をなぞった場合は、それらのアクションは他の参加者に見えるようにすることができる。
【０００９】
[0029]  以下の論述では、「例示の動作環境」と題するセクションがもたらされ、１つまたは複数の実施形態を使用することができる１つの環境について述べる。これに続いて、「例示の増強効果モジュール」と題するセクションは、１つまたは複数の実施形態による増強効果モジュールについて述べる。次に「分散型ストーリーリーディングのための音声変更」と題するセクションは、ストーリーを読む状況において音声を変更することができる、様々な実施形態について述べる。これに続いて「いつ音声を増強するかを決定するためのキューの使用」と題するセクションは、１つまたは複数の実施形態による、音声増強のために用いることができる様々なキューについて述べる。次に「いつ音声を増強するかを決定するためのタッチの使用」と題するセクションは、１つまたは複数の実施形態による、音声増強を行うためにどのようにタッチベースの入力を利用できるかについて述べる。これに続いて、「いつ音声を増強するかを決定するためのユーザインターフェース要素の使用」と題するセクションは、１つまたは複数の実施形態による、音声増強を行うためにどのように様々なユーザインターフェース要素が用いられ得るかについて述べる。次に「増強を適用するためのジェスチャの使用」と題するセクションは、１つまたは複数の実施形態による増強プロセスにおいて、どのように様々なジェスチャが利用され得るかについて述べる。これに続いて、「増強を適用するためのストーリーコンテンツの使用」と題するセクションは、１つまたは複数の実施形態による増強プロセスにおいて、どのように特定のストーリーのコンテンツが使用され得るかについて述べる。次に「増強を適用するためのストーリーメタデータの使用」と題するセクションは、１つまたは複数の実施形態による増強プロセスにおいて、どのようにストーリーに関連するメタデータが利用され得るかについて述べる。これに続いて、「増強を適用するためのページ番号および他のストーリー構造の使用」と題するセクションは、１つまたは複数の実施形態による増強プロセスにおいて、どのようにページ番号および他のストーリー構造が利用され得るかについて述べる。次に「実装例および考察」と題するセクションは、１つまたは複数の実施形態による様々な実装例について述べる。これに続いて「後の共有のための共有ストーリーエクスペリエンスのキャプチャ」と題するセクションは、１つまたは複数の実施形態による、リアルタイム以外にどのようにストーリーが共有され得るかについて述べる。次に「メディアストリーム操作」と題するセクションは、１つまたは複数の実施形態による、増強効果を用いてどのようにメディアストリームが操作され得るかについて述べる。これに続いて「例示の使用シナリオ」と題するセクションは、１つまたは複数の実施形態による様々な使用シナリオについて述べる。最後に「例示のデバイス」と題するセクションは、１つまたは複数の実施形態を実施するために利用することができる例示のデバイスについて述べる。
【００１０】
[0030]  以下で述べられる様々な実施形態の概要を示したので、次に１つまたは複数の実施形態を実施することができるいくつかの例示の動作環境について考察する。
【００１１】
[0031]  例示の動作環境
本明細書で述べられる様々な実施形態は、多様な異なる環境において実施することができる。図１および２は、実施形態を実施することができる２つの例示の環境を示す。特許請求される主題の趣旨および範囲から逸脱せずに、他の環境を利用できることが認識され理解されるべきである。
【００１２】
[0032]  図１は、ここでは複数の相互接続された要素を備える、インターネットの形での通信クラウド１１０によって表される、パケットベースのネットワークを通して実施される通信システム１００の概略図を示す。様々な実施形態の態様について通信システム１００を参照して述べられるが、これらの論述は単に例示の目的のためであり、特許請求される主題の範囲を限定するものではないことが認識されるべきである。各ネットワーク要素は、インターネットの残りの部分に接続され、インターネットプロトコル（IP）パケットの形でデータを送信および受信することによって、インターネットを通して他のこのような要素とデータを通信するように構成される。各要素はまた、インターネット内でのその位置を示す関連するＩＰアドレスを有し、各パケットはそのヘッダ内に、送信元ＩＰアドレスおよび１つまたは複数の宛先ＩＰアドレスを含む。図１に示される要素は、複数のエンドユーザ端末１０２（ａ）から１０２（ｃ）（デスクトップまたはラップトップPCまたはインターネット対応携帯電話など）、１つまたは複数のサーバ１０４（インターネットベースの通信システムのピアツーピアサーバなど）、および他のタイプのネットワーク１０８への（従来型の公衆交換電話網（PSTN）または他の回線交換網への、および／またはモバイルセルラネットワークなどへの）ゲートウェイ１０６を含む。しかしもちろん、明示されるもの以外に、多くのさらなる要素がインターネットを構成することが認識されるであろう。これは図１では、通常は多くの他のエンドユーザ端末 、サーバおよびゲートウェイ、ならびにインターネットサービスプロバイダ（ISP）のルータおよびインターネットバックボーンルータを含む、通信クラウド１１０によって概略的に表される。加えて図１のシステムはまた、電子ブックの１つまたは複数の供給元を含み、その例は以下に示される。
【００１３】
[0033]  図に示され述べられる実施形態では、エンドユーザ端末１０２（ａ）から１０２（ｃ）は、任意の適した技法を用いて、通信クラウドによって互いにおよび他のエンティティと通信することができる。したがってエンドユーザ端末は、通信クラウド１１０を通して、および／または例えばボイスオーバインターネットプロトコル（VoIP）を用いて通信クラウド１１０、ゲートウェイ１０６、およびネットワーク１０８を通して１つまたは複数のエンティティと通信することができる。別のエンドユーザ端末と通信するために、開始エンドユーザ端末上で実行するクライアントは、別のクライアントがインストールされた端末のＩＰアドレスを取得する。これは通常はアドレスルックアップを用いて行われる。
【００１４】
[0034]  いくつかのインターネットベースの通信システムは、それらがアドレスルックアップのために１つまたは複数の集中化された、オペレータによって運営されるサーバ（図示せず）に依存するという点で、オペレータによって管理される。この場合、１つのクライアントがもう１つと通信するときは、開始クライアントは呼ばれる側のＩＰアドレスを得るために、システムオペレータによって運営される集中化されたサーバとコンタクトする。
【００１５】
[0035]  これらのオペレータにより管理されるシステムとは異なり、別のタイプのインターネットベースの通信システムは「ピアツーピア」（P2P）システムとして知られる。ピアツーピア（P2P）システムは、通常は責任を、集中化されたオペレータサーバからエンドユーザ自身の端末に委譲する。これは、アドレスルックアップに対する責任が、１０２（ａ）から１０２（ｃ）と名前が付けられたもののようなエンドユーザ端末に委譲されることを意味する。各エンドユーザ端末はＰ２Ｐクライアントアプリケーションを稼働させることができ、このような各端末はＰ２Ｐシステムのノードを形成する。Ｐ２Ｐアドレスルックアップは、ＩＰアドレスのデータベースをエンドユーザノードのいくつかの間で分配することによって動作する。データベースは、すべてのオンラインの、または最近のオンラインのユーザのユーザ名を、ユーザ名を与えられた場合にＩＰアドレスが決定できるように、関係するＩＰアドレスにマップするリストである。
【００１６】
[0036]  既知となった後に、アドレスはユーザが、音声コールまたはビデオコールを確立すること、またはＩＭチャットメッセージを送出すること、またはファイルを転送することなどを可能にする。しかしさらにアドレスはまた、クライアント自体が自律的に別のクライアントと情報を通信する必要があるときに使用することができる。
【００１７】
[0037]  サーバ１０４は、通信システム１００に接続された１つまたは複数のサーバを表し、その例は上記および以下に示される。例えばサーバ１０４は、同じ機能を達成するために一致して動作する、サーバのバンクを含むことができる。代わりにまたは追加として、サーバ１０４は、他のサーバから専門化された機能をもたらすように構成された複数の独立のサーバを含むことができる。サーバは典型的には、以下でより詳しく述べられるようにＵＲＬを通してアクセス可能な電子ライブラリ内に維持される、ｅブックのための保管場所として働くことができる。
【００１８】
[0038]  １つまたは複数の実施形態では、個々のエンドユーザ端末１０２（ａ）〜（ｃ）は、ｅブックリーダの形でのソフトウェア、またはウェブブラウザなどの、ｅブックを読むことを可能にする適切に構成された他のアプリケーションを含む。エンドユーザ端末はまた、１人または複数の他の遠隔参加者の間で共有されるｅブックを読むことに関連して、効果を増強するために用いることができる増強効果モジュール１１２を含む。さらに少なくともいくつかの実施形態では、サーバ１０４は、上記および以下に述べられるように動作することができる増強効果モジュール１１２を含むことができる。
【００１９】
[0039]  動作時に増強効果モジュール１１２は、ストーリーリーディングエクスペリエンスに関連するオーディオおよび／またはビデオを増強または変更するように構成される。これは、ストーリーが読まれるのに従って、読み手の音声、顔、および／またはストーリーに関連する他のコンテンツ、例えばストーリーの視覚的コンテンツを、増強および変更することを含むことができる。
【００２０】
[0040]  本発明の原理を利用することができる１つの例示のシステムについて考察したので、次に本発明の原理を利用することができる異なる例示のシステムについて考察する。
【００２１】
[0041]  図２は、複数のデバイスが中央コンピューティングデバイスを通して相互接続された環境において実装される、サーバ１０４およびエンドユーザ端末１０２を全体的に示す例示のシステム２００を示す。エンドユーザ端末は、上記および以下に述べられるように増強効果モジュール１１２を含む。中央コンピューティングデバイスは、複数のデバイスにローカルなものとすることができ、または複数のデバイスから遠隔に位置してもよい。一実施形態では中央コンピューティングデバイスは、ネットワークまたはインターネットまたは他の手段を通して複数のデバイスに接続された、１つまたは複数のサーバコンピュータを備える「クラウド」サーバファームである。
【００２２】
[0042]  一実施形態では、この相互接続アーキテクチャは、複数のデバイスのユーザに、共通の途切れのないエクスペリエンスをもたらすように、機能が複数のデバイスにわたって届けられることを可能にする。複数のデバイスのそれぞれは、異なる物理的要件および能力を有することができ、中央コンピューティングデバイスは、デバイスに適合されると共にすべてのデバイスに共通である、デバイスにエクスペリエンスを届けることを可能にするプラットフォームを用いる。一実施形態では、目標デバイスの「クラス」が生成され、エクスペリエンスはデバイスの総称的クラスに適合される。デバイスのクラスは、物理的特徴または使用または他の共通特性、例えばデバイスのＣＰＵ性能によって、定義することができる。例えば前述のように、エンドユーザ端末１０２は、モバイル２０２、コンピュータ２０４、およびテレビ２０６の使用のためなど、多様な異なる方法で構成することができる。これらの構成のそれぞれは、一般に対応するスクリーンサイズを有し、したがってエンドユーザ端末１０２は、この例示のシステム２００におけるこれらのデバイスクラスの１つとして構成され得る。例えばエンドユーザ端末１０２は、携帯電話、音楽プレイヤ、ゲームデバイスなどを含む、デバイスのモバイル２０２クラスを呈することができる。エンドユーザ端末１０２はまた、パーソナルコンピュータ、ラップトップコンピュータ、ネットブック、タブレットコンピュータなどを含む、デバイスのコンピュータ２０４クラスを呈することができる。テレビ２０６構成は、カジュアルな環境でのディスプレイ、例えばテレビ、セットトップボックス、ゲームコンソールなどに関わるデバイスの構成を含む。したがって本明細書で述べられる技法は、エンドユーザ端末１０２のこれらの様々な構成によってサポートすることができ、以下のセクションで述べられる特定の例に限定されない。
【００２３】
[0043]  いくつかの実施形態では、サーバ１０４は「クラウド」機能を含む。ここでクラウド２０８は、ウェブサービス２１２のためのプラットフォーム２１０を含むように示される。プラットフォーム２１０は、基礎をなす、クラウド２０８のハードウェア（例えばサーバ）およびソフトウェアリソースの機能を抽象化し、したがって「クラウドオペレーティングシステム」として動作することができる。例えばプラットフォーム２１０は、エンドユーザ端末１０２を他のコンピューティングデバイスと接続するためのリソースを抽象化することができる。プラットフォーム２１０はまた、プラットフォーム２１０を通じて実施されるウェブサービス２１２に対する、遭遇した需要に応じた対応するスケールのレベルもたらすために、リソースのスケーリングを抽象化するように働くことができる。サーバファームにおけるサーバの負荷バランス、悪意のある当事者（例えばスパム、ウイルス、および他のマルウェア）に対する保護などの、多様な他の例も企図される。したがってクラウド２０８は、インターネットまたは他のネットワークを通じてエンドユーザ端末１０２で利用可能となるソフトウェアおよびハードウェアのリソースに関する方策の一部として含まれる。
【００２４】
[0044]  代わりにまたは追加として、サーバ１０４は、上記および以下に述べられるように増強効果モジュール１１２を含む。いくつかの実施形態では、プラットフォーム２１０および増強効果モジュール１１２は、同じサーバの組に位置することができ、他の実施形態ではそれらは別々のサーバ上に位置することができる。ここで増強効果モジュール１１２は、エンドユーザ端末１０２との相互接続性のために、クラウド２０８によってもたらされる機能を利用するように示される。
【００２５】
[0045]  一般に、本明細書で述べられる機能のいずれも、ソフトウェア、ファームウェア、ハードウェア（例えば固定論理回路など）、手動の処理、またはこれらの実装形態の組み合わせを用いて実施することができる。本明細書で用いられる「モジュール」、「機能」、および「論理」という用語は一般に、ソフトウェア、ファームウェア、ハードウェア、またはそれらの組み合わせを表す。ソフトウェア実装の場合は、モジュール、機能、または論理は、プロセッサ（例えば１つまたは複数のCPU）上でまたはそれらによって実行されたときに、指定されたタスクを行うプログラムコードを表す。プログラムコードは、１つまたは複数のコンピュータ可読メモリデバイスに記憶することができる。以下で述べられる特徴は、プラットフォーム依存であり、技法が、多様なプロセッサを有する多様な商用コンピューティングプラットフォーム上で実施され得ることを意味する。
【００２６】
[0046]  様々な実施形態を利用できる例示の動作環境について述べたので、次に１つまたは複数の実施形態による例示の増強効果モジュールの論述を考察する。
【００２７】
[0047]  例示の増強効果モジュール
図３は、１つまたは複数の実施形態による例示の増強効果モジュール１１２を示す。この特定の例では、増強効果モジュール１１２は、オーディオ増強モジュール３００、ビデオ増強モジュール３０２、および増強キューモジュール３０４を含む。
【００２８】
[0048]  １つまたは複数の実施形態では、オーディオ増強モジュール３００は、読み手の音声、または他のオーディオの態様、例えば読まれているストーリーの背景音効果に、オーディオ効果を適用することを可能にするように構成される。このような効果は、例として非限定的に、ストーリーが読まれるのに従って音声モーフィングすること、および／またはストーリーが読まれるのに従ってオーディオストーリーコンテンツを増強することを含むことができる。
【００２９】
[0049]  １つまたは複数の実施形態では、ビデオ増強モジュール３０２は、ストーリーに関連するビデオの操作を可能にするように構成される。具体的にはストーリーは、それ自体の関連するコンテンツを有する電子ブックの形で存在することができる。ストーリーが読まれるのに従って、ストーリーのコンテンツに様々な増強効果を適用することができる。例えば、顔認識技術を利用して読み手の顔画像をキャプチャし、キャプチャした顔画像をストーリーの中のキャラクタに重畳させることができる。代わりにまたは追加として、キャプチャした画像は、以下でより詳しく述べられるように、モーフィングおよび／またはロトスコープすることができる。オーディオ増強モジュール３００およびビデオ増強モジュール３０２は、個々にまたは一緒に用いることができる。一緒に用いるときは、電子ストーリーは、そのオーディオおよびビデオすなわち視覚的コンテンツの両方を同時に増強させることができる。
【００３０】
[0050]  １つまたは複数の実施形態では、増強キューモジュール３０４は、ストーリーが読まれるのに従って、増強効果にキューが出されることを可能にするように構成される。増強キューモジュール３０４は、その機能を多様な異なる方法で行うことができる。例えば増強キューモジュール３０４は、読まれている特定のストーリー内の読み手の場所を確定する様々な手段を用いることができる。読み手の場所を知ることによって、様々な増強効果を適切な時点でトリガすることができる。読み手の場所を確定する様々な手段は、例として非限定的に、音声認識および追跡、読み手が指またはスタイラスを用いて、読んでいるテキストをたどるなどのタッチ入力、様々な増強効果をトリガするおよび／またはその選択を可能にする、ストーリー内に現れるユーザインターフェース要素、増強効果をトリガするように読み手によってもたらされる様々なジェスチャなどのナチュラルユーザインターフェース（NUI）入力、特定のストーリー内に現れる句読点に関連して増強効果を適用するなどのコンテンツ駆動型の機構、一定の増強効果をトリガするストーリー内の埋め込みタグまたはメタデータ、増強効果をトリガするためのページ番号の使用などを含むことができる。
【００３１】
[0051]  １つまたは複数の実施形態による例示の増強効果モジュールについて考察したので、次にオーディオ増強モジュール３００によってもたらされ得る音声変更の様々な態様について考察する。
【００３２】
[0052]  分散型ストーリーリーディングのための音声変更
図示され述べられる実施形態では、互いに遠隔の１人または複数の読み手は、電子ブックまたはデジタルブックなどに現れるものなどの、対話型ストーリーを読むことができ、ストーリーが読まれるのに従って読み手の音声を変更またはモーフィングすることができる。少なくともいくつかの実施形態では、遠隔で読まれる対話型ストーリーに参加する読み手は、デジタルストーリーコンテンツの共通の視聴を共有する。この共通の視聴は、上述のようなコンピューティングデバイスの１つまたは複数などの、読み手のコンピューティングデバイスのディスプレイ上にレンダリングすることができ、通常そうする。これらの場合、読み手は、少なくとも各読み手の顔をキャプチャするビデオカメラによってもたらされるビデオ通信によって接続され、それにより顔が他の読み手に表示され得る。加えて、マイクは各読み手の場所において、オーディオすなわち読み手の音声をキャプチャする。したがって各読み手のコンピューティングデバイスにおいて検知されるビデオ、オーディオなどの入力、および／または共有されたデジタルストーリーとの対話は、他の参加している読み手と共有することができる。
【００３３】
[0053]  音声またはオーディオのモーフィングは、読み手またはコール参加者の音声を様々な方法でわざと他の誰かまたはものに類似して聞こえるように操作することを指す。１つまたは複数の実施形態では、目的は、様々な方法でこれらの操作またはモーフィングが、楽しく愉快なものとなるようにすることである。例えば電子ストーリーを読む間に、読み手の音声は、ストーリーの中のシマリス、怪物、または何らかの他のタイプのキャラクタに類似して聞こえるようにモーフィングすることができる。意図した効果を達成するために、任意の適したタイプのオーディオモーフィングソフトウェアを利用することができる。一部のオーディオモーフィングソフトウェアは話し声を操作するように設計され、他のソフトウェアは人の歌声を操作するように設計される。さらに別のソフトウェアは、広い範囲の一般的なおよび／または特定のオーディオ効果を適用することができる。少なくともいくつかの場合は、オーディオモーフィングは、ユーザの音声を楽器で増強すること、さらには自動チューニングのためにピッチを補正することを含むことができる。すなわち参加者が歌うのに従って、背景音楽として音楽的増強を追加することができる。さらに歌い手が音程外れの場合は、ピッチ補正を使用することができる。音楽的増強は、歌い手が速くなったり遅くなったりするのに従って、速くしたり遅くしたりするように、歌い手の音声に自動的に追従するように構成することができる。ピッチ補正のシナリオでは、最初に歌い手のピッチを決定することができる。これはピッチ追跡アルゴリズムを利用して行うことができる。次にピッチは、確定された「正しい」ピッチに一致するように変更することができる。これは様々なピッチシフトアルゴリズムを用いて行うことができる。
【００３４】
[0054]  １つまたは複数の実施形態では、モーフィングソフトウェアはスタンドアロンモーフィングプラットフォームとして動作することができる。代わりにまたは追加として、モーフィングソフトウェアはプラグインとしてパッケージされ、後に適切に構成されたアプリケーションにロードされ得る。典型的にはモーフィングソフトウェアは、例えばモーフィング効果の程度に影響を与える様々な制御パラメータを含む。さらに他のモーフィングソフトウェアは、ボイスオーバＩＰ（VoIP）アプリケーションなどの適切に構成された通信アプリケーションによってロードすることができ、それによりコール参加者のオーディオは、ＶｏＩＰコール時に直接操作され得る。話し声を操作するいくつかの例示のソフトウェアアドオンは、ＣｌｏｗｎＦｉｓｈ、ＭｏｒｐｈＶｏｘ、およびＶｏｉｃｅ  Ｃａｎｄｙを含む。
【００３５】
[0055]  原理的には、音声操作またはモーフィングを行うために利用される、基礎をなす信号処理技法は、当業者によってよく知られ、理解されている。これらの処理技法は、例として非限定的に、重畳加算合成、ピッチ同期重畳加算、フェーズボコーダ（およびその変形）、時間領域フィルタリング、周波数領域フィルタリング、再帰的遅延線処理、振幅（リング）変調、従来型（時間領域、アナログモデル）ボコーダ技法、交差合成、線形予測符号化などを含むことができる。
【００３６】
[0056]  上記のように、ここでの状況における音声操作またはモーフィングの特定の使用は、読み手が共有ストーリーを遠隔の人に読むのに従って、読み手の音声を操作するためのものである。用いられる、基礎をなすオーディオ信号処理アルゴリズムは、所望の特定の効果に依存する。例えば、シマリスに類似して聞こえるように読み手の音声をモーフィングするためには、ピッチシフトアルゴリズム（SOLA）が適したアルゴリズムの選択となり、そこではアルゴリズムに供給される制御パラメータは、それが読み手の音声のピッチを劇的に高い方向にシフトさせるようになる。同様に、しかし低い方向には、制御パラメータは、ダースベーダまたは怪物などのよく知られたキャラクタを模倣するように、読み手の音声をずっと低いピッチにするために利用することができる。
【００３７】
[0057]  この状況において適用され得る効果の他の例は、男性から女性へのモーフィング、女性から男性へのモーフィング、ピッチ輪郭を誇張すること（ヒステリー的効果、ビブラート効果、老婦人効果など）、ピッチ輪郭を除去すること（ロボット的効果）、ささやき声にすること（ピッチ情報はノイズ源によって置き換えられる）、および人の音声が特定の他の人に類似して聞こえるように変更されるいわゆる音声変換を含む。
【００３８】
[0058]  上記のように、オーディオおよび音声モーフィングなどの増強は、異なる場所で生じることができる。例えば増強は、送出者または読み手のコンピューティングデバイスにおいて、サーバなどの介在するコンピューティングデバイスにおいて（例えばクラウドベースの手法）、および／または受信者のコンピューティングデバイスにおいて生じることができる。
【００３９】
[0059]  送出者または読み手のコンピューティングデバイスにおいて生じる増強に関連して、以下を考察する。読み手の音声がキャプチャされたときは、増強効果モジュール１１２は、関連するマイクから受信したオーディオデータを、あるタイプの異なる特徴をそれに与えるように処理し、その例は上記に示される。次いで、増強されたオーディオデータは符号化され圧縮され、次いで１人または複数の他の参加者に転送するためにサーバに、またはピアツーピアネットワーク内のものなどの１つまたは複数の他のクライアントデバイスに直接送信される。読み手のコンピューティングデバイスに対して増強を行うことによって、読み手には、最小量の遅延で、どのように読み手の音声が聞こえるかについてのフィードバックがもたらされ得る。この場合の読み手のエクスペリエンスは、音響フィードバックを低減することができるヘッドセットまたは他のオーディオフィードバック制御機構を用いることによって改善することができる。
【００４０】
[0060]  クラウドベースの手法に関して以下を考察する。クラウドベース／サーバ手法は、読み手または聞き手のデバイスの制約に関係なく、より高い処理能力を利用可能にすることができる。この手法では、読み手のコンピューティングデバイスによって生成されたオーディオデータは、さらなる処理のために、適切に構成されたサーバに送出することができる。この場合、サーバは、上述のようにオーディオデータを処理するための増強効果モジュール１１２を含む。このシナリオではオーディオデータは、サーバに送出される前に圧縮することができ、または圧縮しなくてもよい。オーディオデータがサーバに送出される前に圧縮される場合は、サーバはオーディオデータを解凍し、増強効果モジュール１１２を用いてそれを処理し、増強されたオーディオデータを符号化および圧縮し、それを他の参加者に配信する。オーディオデータが未圧縮フォーマットでサーバに送出される場合は、サーバは増強効果モジュール１１２を用いてそれを処理し、他の参加者への配信のために、増強されたオーディオデータを符号化および圧縮する。
【００４１】
[0061]  受信者のコンピューティングデバイスにおいて生じる増強に関して以下を考察する。この場合は、読み手のオーディオデータは他の参加者に配信される。他の参加者のコンピューティングデバイスが、圧縮または未圧縮に拘わらずオーディオデータを受信したときは、増強をもたらすために上述のように、参加者のコンピューティングデバイス上の増強効果モジュール１１２は、オーディオデータ（これは必要に応じて最初に解凍される）を処理する。この手法は読み手に、読み手の音声がどのように変更されるかについて、より低い支配力を提供することができる。それに対応し、各参加者は参加者によって選択されるやり方で、読み手の音声を変更することができる。
【００４２】
[0062]  図４は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、適切に構成されたソフトウェアモジュールによって実施することができる。
【００４３】
[0063]  工程４００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【００４４】
[0064]  工程４０２は、１人または複数の他の遠隔参加者と共有されている電子ストーリーの読み手に関連するオーディオデータを受信する。この工程は任意の適した方法で行うことができる。例えば、読み手がマイクに向かって電子ストーリーを読むのに従って、関連するオーディオは、さらなる処理のためにオーディオデータに変換することができる。
【００４５】
[0065]  工程４０４はオーディオデータを増強する。オーディオデータは任意の適した方法で増強することができ、その例は上記および以下に示される。さらにこの工程は、任意の適した場所において行うことができる。例えば少なくともいくつかの実施形態では、この工程は、読み手のコンピューティングデバイスにおいてまたはそれによって行うことができる。代わりにまたは追加として、この工程は、工程４０２のオーディオデータを受信したサーバによって行うことができる。代わりにまたは追加として、この工程は、遠隔参加者のそれぞれに関連するコンピューティングデバイスによって行うことができる。これがどのように行われ得るかの例は上記に示される。
【００４６】
[0066]  工程４０６は、遠隔参加者が増強されたオーディオデータを消費することを可能にする。工程は任意の適した方法で行うことができる。例えば、オーディオデータが読み手のコンピューティングデバイス上で増強される実施形態では、工程４０６は、増強されたオーディオデータを、遠隔参加者のそれぞれに関連するコンピューティングデバイスに送信するあるいは伝えることによって行うことができる。オーディオデータがサーバによって増強される実施形態では、工程は、サーバが増強されたオーディオデータを、遠隔参加者のそれぞれに関連するコンピューティングデバイスに配信することによって行うことができる。オーディオデータが遠隔参加者に関連するコンピューティングデバイスによって増強される実施形態では、工程は適切に構成されたアプリケーションを通じて、遠隔参加者が増強されたオーディオデータを消費することを可能にすることによって行うことができる。
【００４７】
[0067]  共有ストーリーシナリオにおいて音声を増強することができる様々な方法について考察したので、次に、いつ音声増強を行うかを決定するための決定を行うことができる様々な方法の論述を考察する。
【００４８】
[0068]  いつ音声を増強するかを決定するためのキューの使用
上記のように、増強キューモジュール３０４（図３）は、ストーリーが読まれるのに従って増強効果にキューを出すことを可能にするように構成される。増強キューモジュール３０４は、その機能を多様な異なる方法で行うことができる。例えば増強キューモジュール３０４は、読まれている特定のストーリー内の読み手の場所を確定する様々な手段を用いることができる。読み手の場所を知ることによって、適切な時点で様々な増強効果をトリガすることができる。特許請求される主題の趣旨および範囲から逸脱せずに、特定のストーリー内の読み手の場所を確定する任意の適した手段を利用することができる。これがどのように行われ得るかの様々な非限定的な例はすぐ下に示される。
【００４９】
[0069]  音声認識
１つまたは複数の実施形態では、特定の物語において読み手がどこを読んでいるかを認識し、この情報を用いて適切な時点で様々な増強効果をトリガするために、自動音声認識を利用することができる。これらの場合、増強キューモジュール３０４は、適切に構成されたマイクによってキャプチャされたオーディオ信号データの分析を通して、読み手がストーリー内のどこを読んでいるかを追跡する音声認識構成要素を含む。次いで増強キューモジュール３０４は、増強イベントを適切にトリガすることができる。例えば参加者がエルモについてのストーリーを共有していると仮定する。読み手が、エルモによって話される単語に到達したときは、読み手の音声は、エルモに類似して聞こえるようにモーフィングすることができる。エルモのフレーズが完了したときは、読み手の音声はその正常な音に戻すことができる。代わりにまたは追加として増強効果は、読み手によって読まれる特定の単語に対して適用することができる。例えば読み手が「風」、「雷鳴」、「雨」などの単語を読んだときは、背景音または背景効果をトリガすることができる。
【００５０】
[0070]  １つまたは複数の実施形態では、音声認識は他の形の増強効果を可能にするために用いることができる。例えば特定の参加者が、電子ページ上に現れる画像またはオブジェクトに対応する単語を言った場合に、増強効果を適用することができる。例えば参加者の１人が子供であり、その子供が、電子ページ上に現れるトラックの画像に応答して「トラック」という単語を言ったと仮定する。結果として、例えばトラックの車輪を回転させる、および／またはトラックのエンジンのオーディオクリップを再生するなど、トラックの短いアニメーションを開始することができる。これらの場合は、これらの面白いアニメーションおよび音が、ページ上のオブジェクトに対応する単語を学習するための子供の意欲を強めることができる。
【００５１】
[0071]  述べられる実施形態を実施するために、任意の適したタイプの音声認識技術を用いることができる。例えばいくつかの手法は、何らかの形の自動音声認識（ASR）を利用することができる。ＡＳＲは、電話、コンピュータゲームおよびシミュレーションなどの分野内に多種多様な用途を有する。これらおよび他の分野で利用されるものと同じまたは同様な技法を、上述のように音声を認識するために利用することができる。１つのこのような技法は、完全連続ＡＳＲとして知られる。
【００５２】
[0072]  完全連続ＡＳＲは、読み手の音声に対応するオーディオデータを取得し、言われているものに対応する一連の単語、この場合は読まれている特定のストーリーのテキストを出力する。位置決定は、ＡＳＲから出力される一連の単語と、読まれているテキスト内の単語との簡単な突き合わせ動作を行うことによって達成することができる。これは、当業者には理解されるように、各ページに対するハッシュテーブルまたはマルチマップなどの標準のコンテナを用いて実施することができる。これらの場合、認識された単語はキーとして利用され、関連するマップはページ上のこの単語の位置を返す。１つまたは複数の実施形態では、読み手が１つまたは複数の単語をスキップする可能性がある場合に先読みするために、および／または読み手がいくつかの単語を繰り返す可能性がある場合に後読みするために利用することができる。これは、音声認識アルゴリズムのロバスト性を増すことができる。位置が決定されたときは、増強キューモジュール３０４は、以下で述べられるように効果または増強のテーブルへのインデックスとして、この位置を用いることができる。
【００５３】
[0073]  他の音声認識手法も利用することができる。例えば、限定語彙音声認識と一般に呼ばれる簡略化された形のＡＳＲを使用する計算コストが低減された手法を利用することができる。ここで可能性のある単語の探索空間は、最後の知られた位置（読み手が最初から読み始めた場合は、始めに０）の近傍における単語に限定される。任意の所与の時点において、アルゴリズムは恐らく５〜１０語を区別することだけが必要であり、したがって認識問題を非常に簡略化する。所与の単語の複数のインスタンスが存在する場合は、例えばマルチマップは２つ以上のインデックスを返し、重複がなくなるまで範囲を縮小することができる。代わりにまたは追加として、重複する単語が検出された１回目は、第１の発生のものとして位置が採取され、それが検出された２回目には、第２の発生のものとして位置が採取されるなどのように、カウントを維持することができる。上記の手法のように、アルゴリズムのロバスト性を改善するために、いくつかの先読みおよび後読みの技法を含めることができる。
【００５４】
[0074]  これらのいずれかおよび他の手法も、音声認識プロセスは、現在表示されているページ番号またはページ番号のペアを知ることによって容易にすることができる。このようにして探索空間は、それらの特定のページに現れる単語に限定される。この場合は、これは電子ブックの次のページまたは諸ページを示すためにいつ表示を変化させるかを決定するために使用される機構であるので、システムにはすでにページまたページ番号が分かっている。
【００５５】
[0075]  様々な増強をトリガするために、上述の技法を用いて抽出された位置データがどのように利用されるかの例として、以下のテーブルを考察する。
【００５６】
【表１】
2016511837.tif 000003
【００５７】
[0076]  テーブル１は、テーブルが結び付けられているページ上で特定の単語に到達したときに特定の増強をトリガするための効果のテーブルへのインデックスとして、適切に構成された位置追跡器からの位置情報がどのように用いられ得るかの例である。１つまたは複数の実施形態では、ブック内の各ページに対する増強効果をトリガするために単一のテーブルを利用することができる。代わりにブック全体に対して単一のテーブルを利用することができる。この場合、テーブルはページ内の位置ではなく、ブック全体内の位置によってインデックス付けされ得る。
【００５８】
[0077]  加えて、いつ背景オーディオ音、例えばジャングルの音、雷鳴、喝采などをトリガするかを決定するために、１つまたは複数のテーブルを利用することができる。１つのテーブルしかない場合は、テーブルは以下の例のようにページ番号でインデックス付けすることができる。
【００５９】
【表２】
2016511837.tif 000004
【００６０】
[0078]  ここでテーブル２は、ページ番号によってインデックス付けされた、グローバルな背景オーディオ効果を含む。これらの背景音がいつトリガされるかに対する、よりきめ細かい制御が望ましい場合は、例えばページごとに１つずつ、ページ内の位置によってインデックス付けされた複数のメタデータのテーブルを含めることができる。この場合、テーブルはテーブル１のものと同様なフォーマットを有し、「音声効果」の列は「背景音」で置き換えられる。
【００６１】
[0079]  図５は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの適切に構成されたソフトウェアモジュールによって実施することができる。
【００６２】
[0080]  工程５００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【００６３】
[0081]  工程５０２は、１人または複数の他の遠隔参加者と共有されている電子ストーリーの読み手に関連するオーディオデータを受信する。この工程は任意の適した方法で行うことができる。例えば、読み手がマイクに向かって電子ストーリーを読むのに従って、関連するオーディオは、さらなる処理のためにオーディオデータに変換することができる。
【００６４】
[0082]  工程５０４は、オーディオデータから電子ストーリー内の場所を確定する。これがどのように行われ得るかの例は上記に示される。工程５０６は、電子ストーリー内の場所の確定に応答して、オーディオデータを増強する。オーディオデータは任意の適した方法で増強することができ、その例は上記および以下に示される。さらにこの工程は、任意の適した場所において行うことができる。例えば少なくともいくつかの実施形態では、この工程は、読み手のコンピューティングデバイスにおいてまたはそれによって行うことができる。代わりにまたは追加として、この工程は、工程５０２のオーディオデータを受信したサーバによって行うことができる。代わりにまたは追加として、この工程は、遠隔参加者のそれぞれに関連するコンピューティングデバイスによって行うことができる。これがどのように行われ得るかの例は上記に示される。
【００６５】
[0083]  工程５０８は、遠隔参加者が増強されたオーディオデータを消費することを可能にする。工程は任意の方法で行うことができる。例えば、オーディオデータが読み手のコンピューティングデバイス上で増強される実施形態では、工程５０８は、増強されたオーディオデータを、遠隔参加者のそれぞれに関連するコンピューティングデバイスに送信するあるいは伝えることによって行うことができる。オーディオデータがサーバによって増強される実施形態では、工程は、サーバが増強されたオーディオデータを、遠隔参加者のそれぞれに関連するコンピューティングデバイスに配信することによって行うことができる。オーディオデータが遠隔参加者に関連するコンピューティングデバイスによって増強される実施形態では、工程は適切に構成されたアプリケーションを用いてそれをローカルに処理することによって、遠隔参加者のデバイスがオーディオデータを増強することを可能にすることによって行うことができる。
【００６６】
[0084]  増強効果にキューを出すために音声認識を利用する例示の実施形態について考察したので、次に様々なタッチベースの手法を考察する。
【００６７】
[0085]  いつ音声を増強するかを決定するためのタッチの使用
１つまたは複数の実施形態では、電子ストーリーを読むことに関連していつ音声を増強するかを決定するためにタッチを利用することができる。例として以下を考察する。読み手がタッチ対応デバイスを用いて共有ストーリーエクスペリエンスに参加している場合は、読み手が読むのに従って、単語が読まれるのに従ってそれらを指またはスタイラスでなぞることができる。増強は、単語およびストーリー内のそれらの位置に基づいてトリガすることができる。この手法を用いて、上述の音声認識手法よりも多くの制御を提供することができる。例えばユーザが、増強された音声を結果として生じる、特定の位置に指を維持した場合は、ユーザはアドリブを行い、ストーリーに含まれない単語を、それらの単語を増強させながら話すことができる。
【００６８】
[0086]  この手法を用いて、ページ上の一群の単語のどれが指し示されているかを決定するために、バウンディングボックス法を用いてタッチベースのインデックスを生成することができる。この手法によれば個々の単語は、関連するバウンディングボックスを有する。タッチ場所が単語のバウンディングボックス内に包含されるときは、その対応するインデックスが生成される。このインデックスは、適用する増強効果を確定するために、上述されたものなどの１つまたは複数のテーブルと共に用いることができる。
【００６９】
[0087]  図６は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、適切に構成されたソフトウェアモジュールによって実施することができる。
【００７０】
[0088]  工程６００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【００７１】
[0089]  工程６０２は、電子ストーリーを共有する参加者に関連するタッチ入力を受け取る。参加者は、ストーリーの読み手、または他の遠隔参加者の１人とすることができる。この工程は任意の適した方法で行うことができる。例えば読み手がマイクに向かって電子ストーリーを読むのに従い、読み手が指でストーリーのテキストをたどるのに従って関連するタッチ入力を受け取ることができる。
【００７２】
[0090]  工程６０４は、タッチ入力から電子ストーリー内の場所を確定する。これがどのように行われ得るかの例は上記に示される。工程６０６は、電子ストーリー内の場所の確定に応答して、オーディオデータを増強する。オーディオデータは任意の適した方法で増強することができ、その例は上記および以下に示される。さらにこの工程は、任意の適した場所において行うことができ、その例は上記に示される。
【００７３】
[0091]  工程６０８は、遠隔参加者が増強されたオーディオデータを消費することを可能にする。工程は任意の適した方法で行うことができ、その例は上記に示される。
【００７４】
[0092]  増強効果を適用するためにタッチ入力を利用する例示の実施形態について考察したので、次に増強を適用するために、どのようにストーリーのコンテンツ内のユーザインターフェース要素を利用することができるかについて考察する。
【００７５】
[0093]  いつ音声を増強するかを決定するためのユーザインターフェース要素の使用
１つまたは複数の実施形態では、いつ音声を増強するかを決定するために、ユーザインターフェース要素を利用することができる。ユーザインターフェース要素は、ストーリーのコンテンツの一部ではない要素を備えることができる。代わりにまたは追加として、ユーザインターフェース要素はストーリーのコンテンツの一部である要素を備えることができる。
【００７６】
[0094]  １つまたは複数の実施形態では、電子ストーリーがディスプレイデバイス上に提示されたときに、オーディオ増強または他の増強効果を可能にするために、様々なコントロールボタンまたはコントロールウィジェットも提示することができる。これらの実施形態では、コントロールボタンまたはウィジェットは、ストーリーのコンテンツの一部を構成しない。むしろボタンまたはウィジェットは、ユーザが特定のストーリーと対話することができるようにするための手段を構成する。例として図７を考察する。そこでは電子ストーリーの態様を示すユーザインターフェースが、全体として７００で示される。この特定の電子ストーリーでは、２人の役者マックスおよびグレースと、２つの効果、雨および雷鳴が存在する。この例では、４つのコントロールボタン７０２、７０４、７０６、および７０８が設けられることが分かる。コントロールボタン７０２および７０４はストーリーの役者に関連し、コントロールボタン７０６および７０８はストーリー内で生じる効果に関連する。ストーリーの役者に関連する特定のコントロールボタン、例えば７０２が選択されている間は、読み手の音声は役者に類似して聞こえるようにモーフィングされる。代わりに、ストーリー内で生じる効果に関連する特定のコントロールボタンが選択されている間は、特定の効果に関連するオーディオがレンダリングされる。この特定の例では、雨のコントロールボタン７０６を選択することにより、ストーリーの参加者のために雨の音がレンダリングされる。ボタンは参加者のいずれによっても選択され得る。
【００７７】
[0095]  この手法はまた、読み手が「台本からそれて」ストーリー内に種々の効果を、コンテンツ開発者によって意図されなかった可能性がある場所で生じることができるように、ある程度のアドリブを可能にする。例えば読み手は、その場限りのまたはユーモラスな時点で特定のコントロールボタンを押すことによって、ランダムに効果を適用することを選ぶことができる。加えてこの手法は、特定のストーリーの事前処理の使用を減らし、（またはこれを使用しない）。例えばキャラクタの音声、背景音などの固定された１組の増強がストーリー全体に提供され、いつ特定の増強を活動化するかは読み手に任される。
【００７８】
[0096]  代わりにまたは追加として、ストーリーのコンテンツの一部を構成するユーザインターフェース要素を、増強を適用するための基準として利用することができる。例として、図７と同様な、電子ストーリーの態様が全体として８００で示されるユーザインターフェースを示す図８を考察する。しかし、ここではコントロールボタンおよびウィジェットは取り除かれている。これらの実施形態では読み手は、図に示される稲妻などのストーリー内のオブジェクトにタッチして、効果を適用させることができる。同様に特定の役者にタッチすることによって、読み手の音声は役者に類似して聞こえるようにモーフィングすることができる。同様に特定のフレーズ、例えばストーリーのテキスト内に現れ得る「消防車のサイレン」をタッチすることによって、消防車のサイレン効果が適用され得る。したがってこのようにして、ストーリー内のオブジェクトが、増強効果をトリガする「暗黙の」ボタンとして利用される。
【００７９】
[0097]  これらの実施形態では読み手の楽しみは、特定のページ上のどのオブジェクトがどの効果をトリガするかを探究する能力がもたらされることによって強化され得る。代わりにこれらの「暗黙の」ボタンは、増強効果を活動化するためにそれらがタッチされ得ることを示すハイライト、リンク、または輪郭を用いて視覚的に示すことができる。
【００８０】
[0098]  教育的な観点からは、増強効果を活動化するためのこれらの「暗黙の」ボタンの使用は、孫などが、祖父母などの別の人が何を言ったかまたは指し示したかを正しく識別したことへの褒美として用いることができる。例えば祖父母が「木をクリックして森の音を聞いてごらん」と言った場合は、孫がブック内の木を正しくクリックしたときは、子供への褒美として森の背景音を再生することができる。別の例として祖父母は、「リスをクリックして、私がリスみたいに聞こえるようにしてごらん」と言うことができる。子供は、間違った推測ではなく、リスをクリックしたときは、リスに類似して聞こえるようにモーフィングされた祖父母の音声を聞くことになる。
【００８１】
[0099]  読み手の音声に対する増強効果に加えて、特定のオブジェクトにタッチすることで、何らかのやり方でオブジェクトを変形させることができる。例えば読み手がストーリー内の特定の役者にタッチした場合は、読み手の音声が役者に類似して聞こえるようにモーフィングされるだけでなく、役者も口および顔が読み手の音声を反映して動くようにアニメーションすることができる。これは、電子ブック内での役者の表示を駆動するために用いることができるモデルを生成するために、関連するビデオカメラによってキャプチャされるのに従って、読み手のビデオ信号を処理することによって達成される。例えば３次元メッシュを読み手の顔にアルゴリズム的にフィットさせて、リアルタイムで読み手の顔立ちおよび位置を追跡することができる。次いでこの情報は、電子ブック内での役者の表示を駆動するためのモデルとして用いることができる。この手法は、ＭｉｃｒｏｓｏｆｔのＷｉｎｄｏｗｓ用Ｋｉｎｅｃｔで用いられるものと同じまたは同様とすることができる。
【００８２】
[0100]  図９は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、適切に構成されたソフトウェアモジュールによって実施することができる。
【００８３】
[0101]  工程９００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【００８４】
[0102]  工程９０２は、１人または複数の他の遠隔参加者と共有されている電子ストーリーに関連するユーザインターフェース要素のタッチ入力を受け取る。ユーザインターフェース要素は、上記のようにストーリーのコンテンツの一部を備えることができ、または備えなくてもよい。タッチ入力は、いずれの参加者からも受け取ることができる。
【００８５】
[0103]  タッチ入力の受け取りに応答して、工程９０４はストーリーの１つまたは複数の特性または特徴を増強する。例えば上述のように、読み手の音声を増強することができる。代わりにまたは追加として、上述のように１つまたは複数の効果を適用することができる。さらにストーリーのコンテンツ自体を増強または変更することができる。例えば増強はさらに、ストーリーに関連するビデオを増強すること、例えば上記および以下に述べられるように、ストーリー内の１つまたは複数のオブジェクトを操作することを含むことができる。さらに、この工程は任意の適した場所において行うことができ、その例は上記に示される。
【００８６】
[0104]  工程９０６は、遠隔参加者が増強されたように電子ストーリーを消費することを可能にする。工程は任意の方法で行うことができ、その例は上記に示される。
【００８７】
[0105]  増強効果を適用するためにタッチ入力を利用する例示の実施形態について考察したので、次に、増強を適用するためにどのようにジェスチャを利用できるかについて考察する。
【００８８】
[0106]  増強を適用するためのジェスチャの使用
１つまたは複数の実施形態では、増強を適用するためにジェスチャを利用することができる。ジェスチャは、ナチュラルユーザインターフェース（NUI）によってもたらされるものなどの、タッチベースのジェスチャおよびタッチベースでないジェスチャを含むことができる。いずれの場合も、特定のジェスチャを様々な増強にマップすることができる。例として、ジェスチャがＭｉｃｒｏｓｏｆｔのＫｉｎｅｃｔ技術によってキャプチャされ、分析されるのとほぼ同じやり方で、ビデオカメラによってキャプチャされ、分析され得るタッチベースでないジェスチャを考察する。
【００８９】
[0107]  この特定の場合において読み手は、他の参加者と共有されたストーリーを読んでいると仮定する。前向きカメラは読み手の画像をキャプチャする。読み手がストーリーの特定の部分に到達したときは、読み手はストーリーのキャラクタの１つの上でスワイプジェスチャを行う。次いでスワイプジェスチャは、読み手の音声をスワイプジェスチャが生じたキャラクタの音声にモーフィングする、音声効果にマップされる。同様にこの特定のストーリーにおいて、いくつかの背景音が利用可能であると仮定する。読み手がストーリーの中を進むのに従って、読み手は雨雲の上のスペース内でタップジェスチャを行い、これは前向きカメラによってキャプチャされ、雷鳴の形での背景音にマップされる。
【００９０】
[0108]  図１０は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、適切に構成されたソフトウェアモジュールによって実施することができる。
【００９１】
[0109]  工程１０００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【００９２】
[0110]  工程１００２は、１人または複数の他の遠隔参加者と共有されている電子ストーリーに関連するジェスチャ入力をキャプチャする。ジェスチャ入力は、上記のようにタッチベースの入力またはタッチベースでない入力とすることができる。
【００９３】
[0111]  ジェスチャ入力のキャプチャに応答して、工程１００４はジェスチャ入力を増強効果にマップし、工程１００６は増強効果を用いて、ストーリーの１つまたは複数の特性または特徴を増強する。例えば上述のように、読み手の音声を増強することができる。代わりにまたは追加として、上述のように１つまたは複数の効果を適用することができる。さらにストーリーのコンテンツ自体を増強または変更することができる。例えば増強はさらに、ストーリーに関連するビデオを増強すること、例えば上記および以下に述べられるように、ストーリー内の１つまたは複数のオブジェクトを操作することを含むことができる。さらに、この工程は任意の適した場所において行うことができ、その例は上記に示される。
【００９４】
[0112]  工程１００８は、遠隔参加者が増強されたように電子ストーリーを消費することを可能にする。工程は任意の方法で行うことができ、その例は上記に示される。
【００９５】
[0113]  増強効果を適用するためにジェスチャ入力を利用する例示の実施形態について考察したので、次に、増強を適用するためにどのようにストーリーコンテンツ自体を利用することができるかを考察する。
【００９６】
[0114]  増強を適用するためのストーリーコンテンツの使用
１つまたは複数の実施形態では、ストーリーのコンテンツは、いつ増強を適用するかについてのキューをもたらすことができる。例えば増強効果モジュール１１２は、増強が適用されるべき場所を探すためにコンテンツを解析するコンテンツパーサを含むことができる。コンテンツパーサは、一定の単語、例えば「消防車」を識別することができ、次いでこれは増強、例えば消防車の音を適用すする場所の表示として用いられる。同様にコンテンツパーサは、増強を適用するために一定の句読点キューを探すことができる。例えばコンテンツパーサは、引用符を探し、引用符の位置を、増強効果テーブルへのインデックスとして用いることができる。以下の例を考察する。
ネズミのサディは「私がそのチーズを動かす」と言いました。
［前の文は引用領域１である］
ネズミのビリーは「あの人たちが見ていると思うから、速く動かした方がいいよ」と言いました。
［前の文は引用領域２内である］
【００９７】
[0115]  図１１は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、適切に構成されたソフトウェアモジュールによって実施することができる。
【００９８】
[0116]  工程１１００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【００９９】
[0117]  工程１１０２は、ストーリーのコンテンツから、増強が生じるべき場所を識別するために、ストーリーのコンテンツを解析する。工程１１０４は、ストーリーのコンテンツの解析から識別された場所に基づいて、ストーリーの１つまたは複数の特性または特徴を増強する。例えば上述のように、読み手の音声を増強することができる。代わりにまたは追加として、上述のように１つまたは複数の効果を適用することができる。さらにストーリーのコンテンツ自体を増強または変更することができる。例えば増強はさらに、ストーリーに関連するビデオを増強すること、例えば上記および以下に述べられるように、ストーリー内の１つまたは複数のオブジェクトを操作することを含むことができる。さらに、この工程は任意の適した場所において行うことができ、その例は上記に示される。
【０１００】
[0118]  工程１１０６は、遠隔参加者が増強されたように電子ストーリーを消費することを可能にする。工程は任意の方法で行うことができ、その例は上記に示される。
【０１０１】
[0119]  増強効果を適用するためにストーリーコンテンツを利用する例示の実施形態について考察したので、次にどのようにしてストーリーコンテンツが、いつ増強が適用されるべきかを示すためのタグなどのメタデータを含むことができるかについて考察する。
【０１０２】
[0120]  増強を適用するためのストーリーメタデータの使用
１つまたは複数の実施形態では、増強を適用するために、電子ストーリーのコンテンツの一部を定式化するメタデータを利用することができる。例えばストーリーのファイル内のヘッダ情報は、増強が生じるべきストーリー内の様々な場所を識別するメタデータタグを含むことができる。同様にストーリーのコンテンツの本体内のメタデータタグは、増強が生じるべき場所を識別することができる。このようなメタデータタグは、増強が生じるべき場所だけではなく、生じるべき増強のタイプも識別することができ、例えば「＜ｍｏｒｐｈ．ｒｅａｄｅｒ．ｖｏｉｃｅ  ｍｏｒｐｈ＝ｃｈａｒａｃｔｅｒ＿１／＞」。この例ではストーリーのコンテンツ内のタグの場所は、どこで読み手の音声がモーフィングされるべきか、ならびに生じるべきモーフィング動作、すなわち読み手の音声が「ｃｈａｒａｃｔｅｒ＿１」の音声になるようにモーフィングすることを示す。
【０１０３】
[0121]  図１２は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、適切に構成されたソフトウェアモジュールによって実施することができる。
【０１０４】
[0122]  工程１２００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【０１０５】
[0123]  工程１２０２は、ストーリーを読む間に、増強が生じるべき場所を識別する、ストーリーに関連するメタデータを検出する。これはメタデータ、およびしたがって増強が生じ得る場所を識別するために、コンテンツを解析することによって行うことができる。メタデータの例は上記に示される。工程１２０４は、メタデータから識別される場所に基づいて、ストーリーの１つまたは複数の特性または特徴を増強する。例えば読み手の音声を上述のように増強することができる。代わりにまたは追加として、上述のように１つまたは複数の効果を適用することができる。さらに、ストーリーのコンテンツ自体を増強または変更することができる。さらにこの工程は任意の適した場所において行うことができ、その例は上記に示される。
【０１０６】
[0124]  工程１２０６は、遠隔参加者が増強されたように電子ストーリーを消費することを可能にする。この工程は任意の方法で行うことができ、その例は上記に示される。
【０１０７】
[0125]  増強効果を適用するためにメタデータを利用する例示の実施形態について考察したので、次に、いつ増強が適用されるべきかを示すために、どのようにページ番号および電子ストーリーの他の構造を利用できるかについて考察する。
【０１０８】
[0126]  増強を適用するためのページ番号および他のストーリー構造の使用
１つまたは複数の実施形態では、増強を適用するためにストーリーのページ番号または他のストーリー構造を利用することができる。例えばストーリーが読まれるのに従って、読み手が一定のページまたはパラグラフに到達したときに、増強を適用することができる。例えば、ストーリーが読まれており、ストーリーの３ページでは、ページ全体が１つのキャラクタの会話を含むと仮定する。この場合、読み手が３ページに進んだときは、音声モーフィングおよび／または他の効果を適用することができる。読み手が４ページに進んだときは、音声モーフィングおよび／または他の効果は終了することができる。代わりにまたは追加として、増強は開始された後に、ページまたはパラグラフが終わる前に自然に終了することができる。
【０１０９】
[0127]  動作時には、増強を適用するためにページ番号または他のストーリー構造は、ストーリーに付随するメタデータを通して使用することができる。このメタデータは、増強のために利用されるべきページ、パラグラフ、および／または他のストーリー構造、ならびに適用されるべき増強のタイプを識別することができる。これは一般に、読み手がストーリーを通して読むのに従って、増強の自動トリガを可能にする。
【０１１０】
[0128]  図１３は、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせと共に実施することができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、適切に構成されたソフトウェアモジュールによって実施することができる。
【０１１１】
[0129]  工程１３００は、複数の参加者の間の通信接続を確立する。通信接続は、参加者が、参加者の間で電子ストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にするように確立される。任意の適したタイプの通信接続を確立することができ、その例は上記に示される。
【０１１２】
[0130]  工程１３０２は、ストーリーを読む間に、増強が生じるべき場所を識別する１つまたは複数のページ番号または他のストーリー構造を検出する。工程１３０４は、ページ番号または他のストーリー構造から識別される場所に基づいて、ストーリーの１つまたは複数の特性または特徴を増強する。例えば上述のように、読み手の音声を増強することができる。代わりにまたは追加として、上述のように１つまたは複数の効果を適用することができる。さらに、ストーリーのコンテンツ自体を増強または変更することができる。例えば増強はさらに、ストーリーに関連するビデオを増強すること、例えば上記および以下に述べられるように、ストーリー内の１つまたは複数のオブジェクトを操作することを含むことができる。さらに、この工程は任意の適した場所において行うことができ、その例は上記に示される。
【０１１３】
[0131]  工程１３０６は、遠隔参加者が増強されたように電子ストーリーを消費することを可能にする。この工程は任意の方法で行うことができ、その例は上記に示される。
【０１１４】
[0132]  いつ増強が適用されるべきかを示すために、ページ番号および電子ストーリーの他の構造を利用する例示の実施形態について考察したので、次にいくつかの実装例を考察する。
【０１１５】
[0133]  実装例および考察
図１４は、１つまたは複数の実施形態によるデバイス１４００の実装の態様を示す。デバイス１４００は、図示のようにマイク、カメラ、およびスピーカを含む。加えてデバイスは、ボイスオーバＩＰ（VoIP）アプリケーション１４０２、音声認識器１４０４、位置検出器１４０６、プリセットのテーブル１４０８、音声モーフィングモジュール１４１０、電子ブックファイル１４１２（すなわちeブック）、およびレンダラまたはウェブブラウザ１４１４を含む。ネットワーク１４１６は、デバイス１４００が、対話型ストーリーを共有するために他の遠隔デバイスに接続することを可能にする。少なくともいくつかの実施形態では、他の遠隔デバイスのそれぞれは、上記および以下に述べられるように動作する同じまたは同様な構成要素を含む。図示され述べられる例では、ＶｏＩＰアプリケーション１４０２は、インターネット１４１６を通じてオーディオビジュアルストリームを送出および受信する。ＶｏＩＰアプリケーション１４０２から生じるストリームは、上述のように、適切に構成された音声認識器１４０４、位置検出器１４０６、およびプリセットのテーブル１４０８によって処理することができる。
【０１１６】
[0134]  １つまたは複数の実施形態では、ＶｏＩＰアプリケーション１４０２は、同じデバイス上で稼働するウェブブラウザ１４１４などのウェブブラウザを含むまたはそれと一体となる。この例では電子ブックファイル１４１２は、関連するコンテンツが、いくつかの標準のｅブックフォーマットのいずれかにおいて、サーバからデバイスにダウンロードされるようにするウェブ上のＵＲＬを通じてアクセスされる。ダウンロードされた後にコンテンツは、レンダラまたはウェブブラウザ１４１４に専用化されたデバイスの画面領域内に、ローカルにレンダリングされる。ＶｏＩＰアプリケーションが起動されたときは、通常のやり方でコールが設定される。両当事者または各当事者がブックを共有することに合意したときは、レンダラまたはウェブブラウザ１４１４は、ブックのライブラリに対応するＵＲＬに導かれる。同じＵＲＬはまた、コール開始デバイスから他の参加者のデバイスに送信される。次いで各デバイスまたはアプリケーションは、参加者が同じライブラリを視聴することができるように同じＵＲＬを開く。参加者が選択に合意し、参加者が特定のブックのＵＲＬを選択した後に、ブックのＵＲＬは、他の参加者が同じブックを開くことができるように他の参加者のそれぞれに送信される。選択されたブックのＵＲＬがアクセスされたときは、サーバからの制御データおよびコンテンツはデバイスに送信され、ブックはそれに従ってレンダリングされる。基礎をなすコンテンツは、例として非限定的にＨＴＭＬ  ５、および／または任意の様々なＥＰＵＢバージョンまたは他の独自開発フォーマットを含む任意の数のフォーマットで表すことができる。
【０１１７】
[0135]  他の実施形態では電子ブックは、標準のウェブブラウザを使用せずにレンダリングすることができる。この場合は、電子ブックをレンダリングするために専用のレンダラを用いることができる。サーバ上のコンテンツは、やはり上記に列挙されたフォーマットのいずれかにおいて存在することができる。しかし１つの違いは、これらの実装形態では、ウェブブラウザの完全な機能が存在する必要はないことである。その代わりに、どのような電子フォーマットが選択されても専用のレンダリングエンジンを用いることができる。データは、例として非限定的にＴＣＰ／ＩＰなどの標準の接続を通して、サーバから参加者デバイスに直接送信することができる。次いでレンダリングエンジンは制御データを読み出し、ブックのページをそれらが受信されるのに従ってレンダリングする。
【０１１８】
[0136]  さらに他の実施形態では電子ブックは、上記の技法のいずれかを用いてレンダリングし、次いで例えばビデオストリームまたは一連の静止画像として、他の参加者に直接送信することができる。これは通常のスクリーン共有セットアップを用いて行うことができる。これはブラウザもレンダリングエンジンも利用する必要がないので、遠端アプリケーションの実施を簡略化することができる。
【０１１９】
[0137]  さらに他の実施形態では、電子ブックはサーバ上でレンダリングし、接続されたデバイスのすべてにダウンロードすることができる。この場合は、エンドポイントは、それらが行う必要があるのが、受信したオーディオおよびビデオストリームを再生することだけであるので、能力の低いプラットフォームである場合もある。例えばこれは、例えばエンドポイントがいわゆる「シンクライアント」を表す場合に機能する。サーバはブックのページをレンダリングし、コール参加者から受信したオーディオおよびビデオストリームにすべての増強を適用し、入力デバイスのそれぞれに対して、適切な参加者のビデオストリームが重ね合わされたブックページなどの、合成画像を生成する。既存のＶｏＩＰフレームワークとの適合性のために、コールオーディオは話者のデバイス上で符号化され、次いで増強効果を適用する前にサーバ上で復号される。次いでサーバは変更されたオーディオを再符号化し、それを他のエンドポイントに送出する。また少なくともいくつかの場合には、未加工かつ未圧縮のオーディオおよびビデオをサーバに送出することが可能である。これは符号化／復号の往復を節約できるが、未圧縮のストリームが送出されるので、利用するネットワークの帯域幅はかなり大きくなり得る。ビデオ増強も同じ方法で行うことができ、この場合、サーバはすべての参加者に対するビデオストリームを復号し、任意の選択された効果を適用し、次いでストリームを再符号化し、それらを他の参加者に送出する。
【０１２０】
[0138]  後の共有のための共有ストーリーエクスペリエンスのキャプチャ
１つまたは複数の実施形態では、共有ストーリーエクスペリエンスは、後の共有のためにキャプチャすることができる。これらの場合は、ストーリーが読まれるのに従って、共有コールのいずれかの末端部におけるソフトウェアは、任意の関連する効果と共に、提示されているビデオおよびオーディオストリームをキャプチャすることができる。キャプチャされたビデオおよびオーディオストリームは、ＭＰＥＧ−４などの任意の数の標準ビデオフォーマットを用いて、デバイスのディスク、例えば不揮発性メモリ上のファイルに記憶することができる。ストーリーが完了した後に、ブックを閉じることなどによって、ユーザは、いま楽しんだエクスペリエンスのビデオを共有したいかどうかについて回答が要求され得る。そのように選択された場合は、オーディオ／ビデオファイルは、サーバ、例えばＹｏｕＴｕｂｅ、ＳｋｙＤｒｉｖｅなどにアップロードされ、後にユーザの家族および／またはコミュニティの他のメンバと共有され得る。これは、コールに直接参加していない他者に楽しみおよびつながりをもたらし、またストーリーの、実際には対話型ストーリーアプリケーション自体の、人気度を増すように役立つことができる。ファイルはまた、元の参加者による後の楽しみのために保持することができる。
【０１２１】
[0139]  後の共有のために共有ストーリーをキャプチャすることについて考察したので、次に遠隔クライアントの間で同期を維持することの論述を考察する。
【０１２２】
[0140]  遠隔クライアントの間の同期
１つまたは複数の実施形態では、共有されている電子ブックの個々のインスタンスは、すべての参加者のコンピュータの間で同期することができる。参加者の１人がブックと対話したときは常に、この対話に対応する制御情報は、すべての他の参加者に送信される。対話の例は、次の／前のページに早送りまたは巻き戻す、ページ内のオブジェクトにタッチする、ブックを終了する、最後までスキップする、ブックマークを設定する、既存のブックマークを選択するなどを含むが、それらに限定されない。
【０１２３】
[0141]  この対話制御データが受信されたときは、これは他のアプリケーションに、対応するデバイス上で同じアクション（例えば次のページ、前のページ、「オブジェクトがタッチされる」など）を開始させる。これらの制御は、所定のプロトコル、例えば、ＴＣＰ／ＩＰを通して以下などのＡＳＣＩＩ文字列を送出することを通じて実施することができる。
ＮＥＸＴＰＡＧＥ
ＰＲＥＶＰＡＧＥ
ＥＸＩＴＢＯＯＫ
ＳＥＴＢＯＯＫＭＡＲＫ  ｎ
ＯＰＥＮＢＯＯＫＭＡＲＫ  ｎ
ＦＩＲＳＴＰＡＧＥ
ＬＡＳＴＰＡＧＥ
ＴＯＵＣＨＯＮ｛ｘ，ｙ｝
ＴＯＵＣＨＯＦＦ｛ｘ，ｙ｝
ＳＥＬＥＣＴＯＢＪＥＣＴ  ｎ
【０１２４】
[0142]  上記のアクションのいくつか（例えばNEXTPAGE）は、参加者のいずれかによって開始され得る。フィルタ／インターロック機構は、様々なユーザのデバイスが同期から外れることを防止する。ページ変更がローカルに要求されたときは、コマンドは直ちにすべての他の参加者にブロードキャストされる。遠隔デバイスはこのコマンドを受信したときは、開始デバイスからＰＡＧＥＣＨＡＮＧＥＣＯＭＰＬＥＴＥメッセージを受信するまで、ローカルに（そのデバイスへと）生成されるいかなるページ変更要求をも一時的にロックアウトする。次いで遠隔デバイスは、コマンドを実行に移し（例えば次のページに進む）、次いで肯定応答（PAGECHANGEACKNOWLEDGE）メッセージを開始デバイスに返す。ローカル（開始）デバイス上のページは、すべての遠隔デバイスがページめくりコマンドの受信に肯定応答するまで変更されない。ローカルのページがめくられ、ＰＡＧＥＣＨＡＮＧＥＣＯＭＰＬＥＴＥメッセージがブロードキャストされる。遠隔デバイスはこのメッセージを受信したときは、ローカルに生成されたコマンドに対して再び自由に応答する。
【０１２５】
[0143]  対応するメッセージ（例えばPAGECHANGECOMPLETE）を受信していないために妨げられた、ローカルに生成されたコマンド（例えばNEXTPAGE）を、遠隔デバイスが受信した場合は、そのデバイスは、例えばページを破るなどの音、または視覚的閃光、振動などの何らかの他の知覚可能なイベントをトリガして、ユーザの要求が潜在的な競合により無視されたことを示すことができる。これは、ユーザインターフェースが一時的に反応しないという当惑させるような影響を低減する。
【０１２６】
[0144]  メディアストリーム操作
上述のように、互いに遠隔の１人または複数の読み手は、電子ブックおよび／またはデジタルブックを通してなど、一緒に対話型ストーリーを読むことに参加することができる。いくつかの実施形態では、この対話型エクスペリエンスは、ストーリーに関連するビデオを変更する、処理する、および／または増強すること、ならびに以下でさらに述べられるように、処理されたビデオをストーリー内に組み込むことを含むことができる。ストーリーを、関連するビデオキャプチャに部分的に基づかせることによって、対話型ストーリーの参加者はリーディングエクスペリエンスを強化することができる。
【０１２７】
[0145]  様々な実施形態は、ビデオを処理して、ビデオ内に含まれた顔、顔立ち、および／または部位を検出する。顔、顔立ち、および／または部位の検出に応答して、いくつかの実施形態は、検出された顔、顔立ち、および／または部位に少なくとも部分的に基づいてビデオを増強する。いくつかの場合には、増強されたビデオはストーリー内に埋め込むことができる。代わりにまたは追加としてビデオは、ビデオ内に含まれたジェスチャおよび／または動きを検出するために処理することができる。ストーリーに関連する視覚的キューおよび／またはオーディオキューは、検出されたジェスチャおよび／または動きに少なくとも部分的に基づくことができる。
【０１２８】
[0146]  対話型ストーリーエクスペリエンスの一部として、いくつかの実施形態は、ユーザがストーリーエクスペリエンス内にビデオおよび／または静止画像を埋め込むことを可能にする。上述のようにユーザには、変更および／または個人化され得るストーリー内の様々な箇所および／または画像の、キューまたは表示を与えることができる。例えばいくつかの実施形態では、選択可能な画像のユーザにキューを与えることができる。画像を選択することで、追加のビデオキャプチャおよび／または画像処理をトリガすることができ、これはその後に、以下でさらに述べられるように画像を置き換えるまたは変更するために用いることができる。いくつかの場合には、ユーザのビデオは、関連するストーリー画像を直接置き換えることができる。他の場合にはユーザのビデオは、ストーリー内のキャラクタを反映するように増強および／またはフィルタリングすることができる。
【０１２９】
[0147]  ビデオキャプチャプロセスの一部として、ここでは図１のエンドユーザ端末１０２として示される例示の実施形態を示す図１５を考察する。前に図示され上述されたように、エンドユーザ端末１０２は、中でもオーディオ増強モジュール３００、ビデオ増強モジュール３０２、および増強キューモジュール３０４を含む、増強効果モジュール１１２を含む。この論述のために、エンドユーザ端末１０２およびその関連する要素および環境は簡略化されている。しかしこの簡略化は、特許請求される主題の範囲を限定するものではないことが認識され理解されるべきである。
【０１３０】
[0148]  中でも、エンドユーザ端末１０２はカメラ１５０２からビデオ入力を受信する。カメラ１５０２は、動いている一連の画像を電子的にキャプチャ、記録、および／または処理することができる機能を表す。さらに電子的にキャプチャされた画像は、任意の適したタイプの記憶デバイスに記憶することができ、その例は以下に示される。ここではカメラ１５０２は、キャプチャされたビデオを有線接続を通して送出するエンドユーザ端末の外部のデバイスとして示される。しかし無線接続など、任意の適したタイプの接続を使用することができる。いくつかの実施形態では、カメラ１５０２およびユーザ端末１０２は、同じハードウェアプラットフォーム上で互いに一体化される（スマートフォン上に一体化されたビデオカメラなど）。代わりにまたは追加として、エンドユーザ端末１０２に接続されたディスプレイデバイス上に一体化されたカメラなど、カメラ１５０２はエンドユーザ端末１０２の周辺装置と一体化され得る。したがってカメラ１５０２は、それらが一体化されているか別個であるかに拘わらず、電子的にビデオをキャプチャし、および／またはビデオをエンドユーザ端末１０２に送出することができる任意の形のデバイスを表す。
【０１３１】
[0149]  ビデオキャプチャ１５０４は、エンドユーザ端末１０２によって受信されたビデオ画像を表す。この例ではビデオキャプチャ１５０４は、カメラ１５０２によって生成され、エンドユーザ端末１０２上にローカルに記憶される。しかしビデオキャプチャ１５０４はまた、特許請求される主題の範囲から逸脱せずに、エンドユーザ端末１０２の遠隔に記憶され得ることが認識されるべきである。したがってエンドユーザ端末１０２は、エンドユーザ端末１０２に直接接続されたカメラを通して（ここに示されるように）、または遠隔接続を通してなど、任意の適したやり方でビデオキャプチャを取得することができる。いくつかの実施形態ではビデオキャプチャは、共有ストーリーエクスペリエンスの１人または複数の参加者および／または読み手など、１人または複数の画像を含むことができる。ここでビデオキャプチャ画像１５０６は、ビデオキャプチャ１５０４を構成する複数の静止画像の１つを表す。簡単にするために、論述はビデオキャプチャ画像１５０６を参照して行われる。しかしビデオキャプチャ画像１５０６を参照して述べられる機能は、ビデオキャプチャ１５０４および／または複数の画像にも等しく当てはまることが認識されるべきである。
【０１３２】
[0150]  複数ユーザ通信セッションに参加しているときは、しばしばビデオはプレーンテキストよりも効果的に、ユーザに関連する感情を伝える。例えばテキストのフレーズ「おお」は、驚き、失望、好奇心、興奮、怒り、不快などの数多くの感情の１つと解釈され得る。文脈が分からないと、このフレーズを読んでいるユーザは、意図されたようにそれを解釈できず、結果としていくらか「単調」で誤解されやすいエクスペリエンスとなる。しかしこのフレーズを言っている第２のユーザのビデオを見ているユーザは、フレーズを言っているときの第２のユーザの顔がどのように変化するかの視覚的キューから、意図された感情をよりよく解釈することができる。同様にして、これらの視覚的キューおよび／またはジェスチャを共有ストーリー内にキャプチャすることで、ストーリーエクスペリエンスを強化することができる。
【０１３３】
[0151]  いくつかの実施形態では、顔検出アルゴリズムは、ビデオキャプチャ内の顔および／または顔の部位を自動的に検出することができる。これらのアルゴリズムは、画像内の他のオブジェクトを無視および／または軽視しながら、ビデオおよび／または静止画像内の顔立ちを識別することができる。例えば、図１５のビデオキャプチャ画像１５０６に適用された、顔検出アルゴリズム１６０２ａ、１６０２ｂ、および１６０２ｃの態様を示す図１６を考察する。顔検出アルゴリズム１６０２ａは、顔を全体的に検出し、ボックスを用いて顔の場所をマークするアルゴリズムを表す。この例では、検出された顔がどこにあるかを識別するように部位１６０４を定義するために矩形のボックスが用いられる。正方形ボックス、楕円ボックス、円形ボックスなどの任意の適したサイズおよび形状を用いることができる。代わりにまたは追加として、部位のサイズは、画像のうちのどれだけが検出された顔を含んでいるかに基づいて変化し得る。いくつかの場合には、この全体的な識別は、利用可能な処理能力が低い環境において適切となり得る。
【０１３４】
[0152]  顔検出アルゴリズム１６０２ｂは、顔検出アルゴリズム１６０２ａより精緻化された識別を有する顔検出アルゴリズムを表す。ここでは、顔検出に関連する２つの部位、内側部位１６０６および外側部位１６０８が識別される。いくつかの実施形態では、内側部位１６０６と外側部位１６０８との間のエリアは、用いられる顔検出アルゴリズムによって、「ブレンド」エリアおよび／または平滑化エリアとして識別される部位を表す。例えばブレンドエリアは、識別された顔および／またはビデオを、ストーリー内の第２の画像に遷移させるために用いることができる。部位１６０８の外側では、ビデオキャプチャ画像１５０６に関連する画素および／またはコンテンツは、ストーリー内の第２の画像にコピーされない。逆に、部位１６０６によって囲まれた画素および／またはコンテンツは、コピーおよび／または転送される。部位１６０６と１６０８との間の部位は、別々の画像の間を平滑に遷移するために、ビデオキャプチャ画像１５０６と第２の画像との間のブレンドを結果として生じ得る。アルファブレンドアルゴリズムなどの任意の適したブレンドアルゴリズムを用いることができる。いくつかの場合にはブレンドアルゴリズムは、選択された画像（ビデオキャプチャ画像１５０６など）の透明度を０（透明度なし、１００％可視）から１（完全な透明度、０％可視）に遷移させるように、部位１６０６と部位１６０８との間の空間などの、空間を用いる。このようにして、ストーリーにおける参加者に関連するビデオ画像は、ストーリー内の１つまたは複数のキャラクタ上に重畳させることができ、それによりエクスペリエンスを個人化する。
【０１３５】
[0153]  別の例として、顔検出アルゴリズム１６０２ｃは、ここでは全体的に部位１６１０として示される、顔に関連する特定の細部を識別する。ここで目、鼻、および口は別々に捜し出され、互いに識別される。上記の場合のようにこれらの特徴は、ストーリー内の漫画キャラクタの目、鼻、および口を置き換えるなど、ストーリー内に含まれた１つまたは複数の画像に重畳させることができる。代わりにまたは追加として、これらの特徴は、ウインク、キス、くしゃみ、口笛、会話、叫び、まばたき、うなずき、首振りなどのジェスチャを識別するために、時間をかけて監視することができる。そして識別されたジェスチャは、ストーリー内の漫画キャラクタのアニメーションを駆動することができる。例えばいくつかの実施形態では、ビデオ内でのウインクを検出することで、関連する漫画キャラクタにウインクさせることができる。顔検出の状況において論じられたが、特許請求される主題の範囲から逸脱せずに、任意の適したジェスチャが監視および／または検出され得ることが認識され理解されるべきである。
【０１３６】
[0154]  いくつかの実施形態では、ユーザは、共有ストーリーエクスペリエンスに組み込むために、ビデオおよび／または静止画像の１つまたは複数の部位を手動で識別することができる。例示のユーザインターフェース１７０２を示す図１７を考察する。ユーザインターフェース１７０２は、ユーザおよび／または参加者が、ビデオおよび／または静止画像のどの部分が増強されるかをカスタマイズすることを可能にする。この例では、ユーザインターフェース１７０２は、カスタマイズプロセスの一部として、図１５のビデオキャプチャ画像１５０６をユーザに表示する。この表示は、ビデオキャプチャ画像１５０６に変更が行われるおよび／または適用されるのに従って、変更を反映するために更新するように構成される。例えばコントロール１７０４は、ユーザがズームおよび回転の変更を通じて画像内の関連する頭を位置決めすることを可能にする。ユーザがズームコントローラバーを左または右にスライドするのに従って、ユーザインターフェース１７０２は、関連するズーム倍率を反映するようにビデオキャプチャ画像１５０６の表示を更新することができる。同様に、ユーザが回転コントローラバーを左または右にスライドするのに従って、ユーザインターフェース１７０２は、ビデオキャプチャ画像１５０６の表示を時計方向および／または反時計方向に回転させることができる。これらの更新は、ユーザが活発にコントロールに関わるのに従っておよび／またはユーザが変更を適用するように選択したときに生じることができる。代わりにまたは追加として、画像の位置決めをアンカするために、１つまたは複数の基準点を用いることができる。ここでアンカ１７０６は、ビデオキャプチャ画像１５０６に含まれた目に関連する位置決めを示す。これらのアンカは固定または調整可能とすることができる。いくつかの実施形態では、ユーザインターフェース１７０２は、ユーザがアンカ１７０６をドラッグおよび／または移動することを可能にするように構成され得る。他の実施形態ではアンカ１７０６は適所に固定することができ、ユーザはビデオキャプチャ画像１５０６を、アンカに対して所望の位置にドラッグおよび／または移動することができる。ユーザインターフェース１７０２は、ユーザが、ビデオキャプチャ画像１５０６に行われる協調変更を見つけること、口のアンカを位置決めすること、および変更を保存することを可能にするための追加のコントロール１７０８を含む。しかしクロッピング、彩度の変更、色付けの変更、鼻の位置の識別などに関連するコントロールなど、特許請求される主題の範囲から逸脱せずに、任意の適したコントロールの組み合わせおよび／またはタイプが、ユーザインターフェース１７０２に含まれ得ることが認識され理解されるべきである。さらにこれらの手動の識別は、ビデオキャプチャに関連する静止画像、ビデオキャプチャに関連する一連の画像、またはそれらの任意の組み合わせに対して行うことができる。例えば静止画像に対して行われた識別は、さらにその後に、同様な顔配置および／またはアスペクト比を用いて一連の他の画像に適用することができる。
【０１３７】
[0155]  上記の論述は、ビデオキャプチャおよび静止画像に関連する手動および自動の検出技法について述べている。顔、顔立ち、および／または表情を識別することの状況において述べられているが、これらの技法は任意の適したやり方で変更および／または適用され得ることが認識されるべきである。例えば顔認識および／またはウインクの識別の代わりに、ビデオは手振り、手話ジェスチャなどを識別するように処理することができる。上記で論じられたように、次いでこれらの識別されたジェスチャは、アニメーションおよび／または共有ストーリーエクスペリエンスの挙動に影響を与えるために用いることができる。代わりにまたは追加として、様々な特徴が識別された後に（顔検出など）、ビデオはストーリーを話すプロセスの一部として増強および／または強化され得る。
【０１３８】
[0156]  いくつかの実施形態は、共有ストーリーエクスペリエンスの一部として、ビデオキャプチャデータを増強および／または変更する。読み手および／または参加者は、ビデオをアップロードし、ビデオキャプチャデータの変更されたバージョンをストーリー内に組み込むことができる。いくつかの場合には、ハイパスフィルタ、ローパスフィルタ（画像をぼかすため）、エッジ強調技法、着色フィルタ（例えばソース画像の輝度チャネルを用いた任意のRGBテーブルのインデックス付け）、歪みフィルタ（リップル、レンズ、垂直波、水平波など）、セピア調フィルタリングなど、その外観を変更するために１つまたは複数のフィルタをビデオに適用することができる。例えば「ロトスコーピング」フィルタは、「実世界」画像の外観を、「漫画の世界」画像に変更することができる。ロトスコーピングは、いくつかのフィルタの組み合わせを用いて達成することができる（例えばコントラスト強調を適用し、次いでRGB色空間からHSV色空間に変換し、次いでＶ座標を非常に粗く量子化する）。職業用ロトスコーピングの１つの段階は通常、ロトスコープされるべき各顔の輪郭をレンダリングし、次いでロトスコーピングアルゴリズムを適用する。代わりにまたは追加として、ストーリーの視覚的背景は、参加者になじみのあるものに個人化することができる。例えば背景は、参加者の寝室、家、または近所の絵とすることができる。それによりストーリー内の画像および／またはオブジェクトは、ビデオキャプチャおよび／または静止画像の少なくとも一部と組み合わせることができる。例えば電子ストーリーは、寝室に座っている漫画キャラクタを表示する画像および／またはオブジェクトを含むことができる。いくつかの実施形態では、別の寝室の画像をアップロードし、結果としての画像および／またはオブジェクトが別の寝室に座っている漫画キャラクタを表示するように、漫画キャラクタと組み合わせることができる。さらに少なくともいくつかの実施形態では、Ｋｉｎｅｃｔタイプのシナリオと同様に、読み手の身体の動きをキャプチャし、ストーリーの中のキャラクタのアニメーションを駆動するために用いることができる。
【０１３９】
[0157]  ロトスコーピングフィルタの前および後の例を示す図１８を考察する。画像１８０２は男の静止画像を示す。この画像は、図１５のカメラ１５０２などのカメラによって撮られた実世界の画像を表す。ここで画像は男の頭に中心が置かれている。いくつかの実施形態では、画像１８０２は、顔を取り囲む他の要素および／またはオブジェクトを除去するために、上述のように顔検出アルゴリズムを用いて前もって処理されている。この画像は、上述のロトスコープフィルタなどの１つまたは複数のフィルタへの入力として用いることができる。画像１８０４は、ロトスコープフィルタを適用した後に、画像１８０２がどのように見えるかを示す。フィルタリングの後では画像１８０４は、画像１８０２の描画されたバージョンまたは漫画バージョンによく似ている。静止画像の状況において論じられたが、特許請求される主題の範囲から逸脱せずに、フィルタはビデオキャプチャに適用され得ることが認識されるべきである。
【０１４０】
[0158]  前述のように、様々なイベントの検出は、いつストーリーの態様が個人化、変更、および／またはカスタマイズされ得るかについてユーザにキューを出すことができる。これらのキューに応じて、ユーザは中でも、ビデオキャプチャを変更し、変更されたビデオをストーリー内に埋め込むことを通して、ストーリーを個人化することができる。いくつかの場合にはビデオキャプチャは、ストーリーを話すことに関係する様々な特徴および／またはジェスチャのために、自動的に分析され、および／または手動でマークすることができる。例えば、強化された対話型ストーリー１９０２を示す図１９を考察する。この例では、ビデオキャプチャ画像１５０６は、２つの別々の方法で、増強され、強化された対話型ストーリー１９０２に埋め込まれる。増強されたビデオ１９０４は、ビデオキャプチャ画像１５０６に関連するロトスコープされた画像を表す。ここで、ビデオキャプチャ画像１５０６は、上述のように関連する顔を「漫画の世界」に移すために、ロトスコープフィルタ効果によってフィルタリングされている。増強プロセスとしてロトスコープフィルタを適用することに加えて、変更された画像は花の漫画本体上に重畳される。いくつかの実施形態では、増強されたビデオ１９０４は、ビデオに関連する静止画像とすることができ、他の実施形態では増強されたビデオ１９０４は一連の画像とすることができる。代わりにまたは追加として、ビデオキャプチャ画像１５０６において検出された顔立ちは、ストーリー内に含まれた漫画に関連する顔を変化させることができる。
【０１４１】
[0159]  増強されたビデオ１９０４を組み込むことに加えて、強化された対話型ストーリー１９０２は、画像１９０６上に重畳された、ビデオキャプチャ画像１５０６の顔に関連する静止画像を含む。上記で論じられたように、顔は自動および／または手動の顔検出プロセスを用いて抽出することができる。ここで顔立ちは、単に切り取られ、画像１９０６にペーストされる。しかし他の実施形態では、上述のアルファブレンドアルゴリズムなどの他の増強フィルタを適用することができる。
【０１４２】
[0160]  ユーザは、いくつかの方法でビデオをストーリーエクスペリエンスに組み込むように選択することができる。いくつかの実施形態は、読むプロセスの前、間または後に、ユーザにビデオの挿入および／または増強の可能性のある機会について、通知しおよび／またはキューを出し、その例は上記に示される。いくつかの場合にはユーザは、ストーリー内の利用可能なキャラクタのリストからキャラクタを選択して、ビデオキャプチャを補完し、増強し、またはビデオキャプチャと置き換えることができる。これはまた自動的に行うことができる。例えば読み手がエルモからの引用文を読むときはいつも、読み手の音声はエルモに類似して聞こえるようにモーフィングされ、電子ストーリー内のエルモの絵は読み手の表情に従ってアニメーションされる。代わりにまたは追加として、ユーザによるキャラクタの選択またはキューの通知は、カメラおよび／またはビデオキャプチャプロセスを活動化することができる。可能性のある増強の機会をユーザに通知することに加えて、いくつかの実施形態はユーザが、どのようにビデオキャプチャが処理され、フィルタリングされ、分析されるかなどを選択することを可能にする。他の実施形態では、ビデオ挿入および／または増強の機会が検出されたときは、ビデオ挿入および／または増強は自動的に生じることができる。例えば上記のエルモの例を用いると、読まれるのに従ってエルモの音声が検出されたときは、ビデオキャプチャはジェスチャについて分析することができ、これは後に電子ストーリー内のエルモの画像を自動的にアニメーションするために用いることができる。このようにしてストーリーエクスペリエンスは、ストーリーに関連するすべての参加者によって個人化することができる。さらにビデオの処理および／または増強は、ビデオのキャプチャに関連するデバイス、合成ストーリーエクスペリエンスを記憶するように構成されたサーバデバイス、および／または受信デバイスなど、システム内の任意の適したデバイスにおいて生じ得ることが分かる。
【０１４３】
[0161]  さらに実証するために、１つまたは複数の実施形態による方法における工程を記述するフロー図を示す図２０を考察する。方法は、任意の適したハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせによって行うことができる。少なくともいくつかの実施形態では、方法の態様は、図１〜３の増強効果モジュール１１２などの、１つまたは複数のコンピューティングデバイス上で実行する１つまたは複数の適切に構成されたソフトウェアモジュールによって実施することができる。
【０１４４】
[0162]  工程２０００は、１人または複数の遠隔参加者と共有されるように構成された電子ストーリーの読み手に関連するビデオデータを受信する。いくつかの実施形態ではビデオデータは、読み手に関連するコンピューティングデバイスから受信される。他の実施形態ではビデオデータは、読み手に関連するコンピューティングデバイスの外部のサーバの場所から取得される。代わりにまたは追加としてビデオデータは、遠隔参加者である読み手から、またはコンピューティングデバイスにローカルにおよび／またはその外部に記憶された、予め記録されたビデオから取得され得る。時にはビデオデータは、さらに上記で述べられたように、電子ストーリーに関連するプロンプトおよび／またはキューに関連する入力の受信に応答して、取得および／または受信することができる。
【０１４５】
[0163]  ビデオデータの受信に応答して、工程２００２は少なくとも１つの新しい画像を生成するように、ビデオデータを増強する。例えばビデオデータは、顔検出アルゴリズム、ジェスチャ検出アルゴリズムなどの様々なアルゴリズムを用いて分析することができる。検出アルゴリズムは、時には、関心のある部位および／または画像を保持し、関連性が低いと判断される部位および／または画像を除去するように、ビデオデータを改変および／または増強することができる。いくつかの場合には、ロトスコープフィルタ効果を適用してビデオデータの「漫画の世界」バージョンを生成する、またはビデオデータを他の画像とブレンドするなど、ビデオデータの改変されたバージョンを生成するためにビデオデータにフィルタを適用することができる。他の場合にはビデオデータは、ビデオデータ内でキャプチャされた１つまたは複数のジェスチャを識別するために分析することができる。次いでこれらのジェスチャは、電子ストーリーに関連する画像および／またはビデオデータの挙動を行うために利用することができる。例えば電子ストーリー内の関連する漫画キャラクタの画像は、ビデオデータ内で識別されたジェスチャを真似ることができる。さらにこの工程は任意の適した場所において行うことができる。少なくともいくつかの実施形態では、この工程は読み手のコンピューティングデバイスにおいて、またはそれによって行うことができる。代わりにまたは追加として、この工程は、工程２０００のビデオデータを受信するサーバによって行うことができる。代わりにまたは追加として、遠隔参加者のそれぞれに関連するコンピューティングデバイスが、この工程を行うことができる。これがどのように行われ得るかの例は上記に示される。「画像」という用語を用いて一般的に述べられるが、特許請求される主題の範囲から逸脱せずに、ベクトル図形、ビットマップ図形、メタファイルフォーマット、線グラフ、画像交換フォーマット（GIF）、交換ファイルフォーマット（IFF）、共同写真専門家グループ（JPEG）、タグイメージファイルフォーマット（TIF）などの、任意の図形／視覚的データの表現が用いられ得ることが認識され理解されるべきである。
【０１４６】
[0164]  少なくとも１つの新しい画像を生成するようにビデオデータを増強することに応答して、工程２００４は、１人または複数の遠隔参加者が、増強されたビデオデータを消費することを可能にする。例えば、ビデオデータが読み手のコンピューティングデバイス上で増強される実施形態では、工程２００４は、増強されたビデオデータを、遠隔参加者のそれぞれに関連するコンピューティングデバイスに送信するあるいは伝えることによって行うことができる。ビデオデータがサーバによって増強される実施形態では、工程は、サーバが増強されたビデオデータを遠隔参加者のそれぞれに関連するコンピューティングデバイスに配信することによって行うことができる。ビデオデータが遠隔参加者に関連するコンピューティングデバイスによって増強される実施形態では、工程は適切に構成されたアプリケーションを通じて、遠隔参加者が増強されたビデオデータを消費することを可能にすることによって行うことができる。
【０１４７】
[0165]  次に、上述の実施形態を使用することができる、いくつかの使用シナリオについて考察する。
【０１４８】
[0166]  例示の使用シナリオ
「ビリー」および「ジョーおじさん」の２人が遠隔で電子ブックを読んでいると仮定する。ブックはなじみのある子供の歌「バスの車輪がぐるぐる回る」の挿絵入りバージョンである。ブックは、スクールバス、バス運転手、ドア、車輪、およびワイパを示すページが開かれている。ビリーが、運転手の顔、または何らかの埋め込みコントロールに触れることによって増強効果を開始したときは、ジョーおじさんの顔が漫画バージョンに操作され、バス運転手の頭の上に重ね合わされるように、顔検出およびロトスコーピングが適用される。ＡＳＲによる追跡、オブジェクト相互作用、ユーザインターフェース入力の受信などを通して、ストーリー内で様々なアクションが示されるのに従って、それらはデジタルストーリー表示において実行に移される（例えばワイパがヒュッと動く、ドアが開く、および閉じる、赤ん坊が泣くなど）。ジョーおじさんとビリーは共にこれらの効果を、それらが適用されるのに従って彼等のデバイス上で見る。
【０１４９】
[0167]  別の使用例は、他者がストーリーリーディングに参加するためのプレースホルダを利用することを含む。これらのプレースホルダは、ストーリーに組み込むことができ、ストーリーが読まれている時点で、それらの人々がオンラインである場合に活動化することができる。これは、一緒に読む相手を発見することを可能にする。例えば子供は読むブックのライブラリをブラウズし、またオンラインである家族のリストを見ることができる。次いで彼等は、ストーリーを共有するように１人または複数の家族を選択することができる。代わりに子供は自分でブックを読み、４ページを見ると祖母がオンラインであり一緒に読めることを発見できる。これは、ビデオチャットに応対できる人を示す、ストーリー内の埋め込みコントロールまたはウィジェットによって示すことができる。ウィジェットまたはコントロールをクリックすることによって、ビデオチャットセッションを開始することができる。代わりにまたは追加としてウィジェットは、読まれているページに拘わらずそれが利用可能となるように、ブックの外側（例えば右側）に位置決めすることができる。代わりにまたは追加として、祖母はビデオコールを開始していて、すでに４ページのプレースホルダの場所に居てもよい。代わりにまたは追加として、祖母と子供は一緒に読んでいて、４ページに到達すると、木の図形が振動していること（または何らかの他の視覚的キュー）に気付く。次いで子供と祖母は木に触れることができ、第３の人、例えばダンおじさんは、リスの訳を演じ、恐らく短い会話をするのに十分な間だけビデオコールに参加し、その後ダンはコールから去り、祖母と子供はストーリーを読むのを再開する。
【０１５０】
[0168]  別の使用例は、読み手または別の参加者が、ストーリーを遠隔参加者に読む直前に、短いコンテンツをブックに導入することを可能にする。これは、例えばストーリーは同じままであるが、コンテンツを新鮮で魅力のあるものに保つことができ、ストーリーのある一節に到達したときに驚きを用意しておくことができる。導入されるコンテンツは、デバイス上に直接記録することができ、または別の参加者からの場合は、デバイス上に存在するビデオファイルからインポートすることができる。これを実施するために、電子ブックのためのメタデータは、外部ファイルのためのコンテナ（スロット）を含むように拡張することができる。最も簡単な場合では、ファイル名を「ｅｘｔｅｒｎａｌＶｉｄｅｏ１．ｍｐ４」、「ｅｘｔｅｒｎａｌＶｉｄｅｏ２．ｍｐ４」などと固定することができる。電子ブックがレンダリングされるのに従って、メタデータは、これらのビデオが下記のように、メタデータタグ内に供給されたページ上の座標にストリーミングされるように指示する。
＜ＩｎｊｅｃｔｅｄＶｉｄｅｏ  ｗｉｄｔｈ＝６４０  ｈｅｉｇｈｔ＝４８０  ｘＰｏｓ＝６４０  ｙＰｏｓ＝４８０  ｖｉｄｅｏＣｏｎｔａｉｎｅｒ＝”ｅｘｔｅｒｎａｌＶｉｄｅｏ１．ｍｐ４”  ｔｒｉｇｇｅｒＡｃｔｉｏｎ＝”ｂｕｔｔｏｎｌＰｒｅｓｓｅｄ”／＞
【０１５１】
[0169]  追加のメタデータタグ（例えば上記のtriggerAction）は、ビデオの再生をトリガするアクションを指定することができる。ビデオストリームがページ上の特定のオブジェクトの一部として埋め込まれるときは、他のメタデータタグがより適切となり得る。例はすぐ下に示される。
＜ＯｖｅｒｌａｉｄＶｉｄｅｏ  ｏｂｊｅｃｔＡｎｃｈｏｒ＝”Ｓｃｈｏｏｌｂｕｓ”  ｏｆｆｓｅｔＸ＝１０  ｏｆｆｓｅｔＹ＝２０  ｖｉｄｅｏＣｏｎｔａｉｎｅｒ＝”ｅｘｔｅｒｎａｌＶｉｄｅｏ２．ｍｐ４”  ｔｒａｎｓｐａｒｅｎｔＣｏｌｏｒ＝０ｘ００８０ＦＦ／＞
【０１５２】
[0170]  上記のタグでは、Ｓｃｈｏｏｌｂｕｓオブジェクトは、指名されたファイルから重ね合わされたビデオストリームを受信する。これは、Ｓｃｈｏｏｌｂｕｓ図形のバウンディングボックスの左上に対して｛１０，２０｝のオフセットにて位置決めされる。ビデオは、色０ｘ００８０ＦＦを有する到来ビデオ内のすべての画素が透明になるように、彩度キーイングを用いることができる。ビデオ内のすべての他の画素は、ｅブックページの対応する画素上の画素を置き換える。これは、例えば人のビデオ記録の頭および肩だけを重ね合わせるために、従来型のブルースクリーン技法を用いることを可能にする。背景除去などの他の技法も利用することができる。
【０１５３】
[0171]  別のユーザシナリオは、参加者が一緒に座って、同じデバイス上でストーリーを楽しむことができる、いわゆる共同配置シナリオを含むことができる。例えば祖母と彼女の孫は、一緒にストーリーを楽しんでおり、ストーリーのキャラクタ上にモーフィングされた顔を有することができる。オーディオ増強は、例えば記録して再生という手法において実施することができる。例えば、ストーリーが洞窟に関するもので、電子ストーリーは、記録ボタンの形でユーザインターフェース要素を有すると仮定する。祖母は記録ボタンを押して、「助けて、洞窟にはまってしまった」と記録する。次いで彼女の孫は、祖母に関連付けられたキャラクタに触れて、残響が適用されたそのキャラクタの音声でそのフレーズを聞くことができる。
【０１５４】
[0172]  上記の例で、典型的にはすべての参加者が同じエクスペリエンスを楽しむ（読み手からの埋め込みビデオ、第三者からのもの、第３の参加者の存在を示す図形要素など）。
【０１５５】
[0173]  例示の使用シナリオについて考察したので、次に１つまたは複数の実施形態を実施するために利用することができる例示のデバイスの論述を考察する。
【０１５６】
[0174]  例示のデバイス
図２１は、本明細書で述べられるデータヒューリスティックスエンジンの実施形態を実装するために、図１および２に関連して述べられたような、任意のタイプのポータブルデバイスおよび／またはコンピュータデバイスとして実装することができる、例示のデバイス２１００の様々な構成要素を示す。デバイス２１００は、デバイスデータ２１０４（例えば受信されたデータ、受信されつつあるデータ、ブロードキャストするようにスケジュールされたデータ、データのデータパケットなど）の有線通信および／または無線通信を可能にする通信デバイス２１０２を含む。デバイスデータ２１０４および他のデバイスコンテンツは、デバイスの構成設定、デバイス上に記憶されたメディアコンテンツ、および／またはデバイスのユーザに関連する情報を含むことができる。デバイス２１００上に記憶されたメディアコンテンツは、任意のタイプのオーディオ、ビデオ、および／または画像データを含むことができる。デバイス２１００は、ユーザが選択可能な入力、メッセージ、音楽、テレビメディアコンテンツ、記録されたビデオコンテンツ、および任意のコンテンツおよび／またはデータ供給源から受信された任意の他のタイプのオーディオ、ビデオ、および／または画像データなどの、任意のタイプのデータ、メディアコンテンツ、および／または入力を受信することができるようにする１つまたは複数のデータ入力２１０６を含む。
【０１５７】
[0175]  デバイス２１００はまた、シリアルインターフェースおよび／またはパラレルインターフェース、無線インターフェース、任意のタイプのネットワークインターフェース、モデムの任意の１つまたは複数として、および任意の他のタイプの通信インターフェースとして実装することができる通信インターフェース２１０８を含む。通信インターフェース２１０８は、他の電子デバイス、コンピューティングデバイス、および通信デバイスがデバイス２１００とデータを通信するようにする、デバイス２１００と通信ネットワークとの間の接続および／または通信リンクをもたらす。
【０１５８】
[0176]  デバイス２１００は、コンピュータで実行可能なまたはコンピュータで可読の様々な命令を処理してデバイス２１００の動作を制御し、上述の実施形態を実現する１つまたは複数のプロセッサ２１１０（例えばマイクロプロセッサ、コントローラなどのいずれか）を含む。代替としてまたは加えて、デバイス２１００は、全体として２１１２として識別される処理および制御回路に関連して実装される、ハードウェア，ファームウェア、または固定論理回路の任意の１つまたは組み合わせによって実装することができる。図に示されないがデバイス２１００は、デバイス内の様々な構成要素を結合する、システムバスまたはデータ転送システムを含むことができる。システムバスは、メモリバスまたはメモリコントローラ、ペリフェラルバス、ユニバーサルシリアルバス、および／または多様なバスアーキテクチャのいずれかを利用したプロセッサまたはローカルバスなどの、種々のバス構造の１つまたは組み合わせを含むことができる。
【０１５９】
[0177]  デバイス２１００はまた、その例がランダムアクセスメモリ（RAM）、不揮発性メモリ（例えば、リードオンリメモリ（ROM）、フラッシュメモリ、EPROM、EEPROMなどの１つまたは複数）、およびディスク記憶装置を含む、１つまたは複数のメモリ構成要素などのコンピュータ可読記憶媒体２１１４を含む。ディスク記憶装置は、ハードディスクドライブ、記録可能および／または書き換え可能なコンパクトディスク（CD）、任意のタイプのデジタル多用途ディスク（DVD）などの、任意のタイプの磁気記憶装置または光記憶装置として実装され得る。デバイス２１００はまた大容量記憶媒体装置２１１６を含むことができる。コンピュータ可読記憶媒体は、法定の形の媒体を指すものである。したがってコンピュータ可読記憶媒体は、搬送波または信号自体を記述するものではない。
【０１６０】
[0178]  コンピュータ可読記憶媒体２１１４は、デバイスデータ２１０４、ならびに様々なデバイスアプリケーション２１１８、およびデバイス２１００の動作態様に関する任意の他のタイプの情報および／またはデータを記憶するためのデータ記憶機構をもたらす。例えばオペレーティングシステム２１２０は、コンピュータ可読記憶媒体２１１４を用いてコンピュータアプリケーションとして維持することができ、プロセッサ２１１０上で実行することができる。デバイスアプリケーション２１１８は、デバイスマネージャ（例えば制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定のデバイスに固有のコード、特定のデバイスのためのハードウェア抽象化レイヤなど）、ならびにウェブブラウザ、画像処理アプリケーション、インスタントメッセージアプリケーションなどの通信アプリケーション、ワードプロセッシングアプリケーションおよび多様な他の異なるアプリケーションを含むことができる、他のアプリケーションを含むことができる。デバイスアプリケーション２１１８はまた、本明細書で述べられる技法の実施形態を実装するためのシステム構成要素またはモジュールを含む。この例ではデバイスアプリケーション２１１８は、ソフトウェアモジュールおよび／またはコンピュータアプリケーションとして示される、増強効果モジュール２１２２を含む。増強効果モジュール２１２２は、上述のように動作するソフトウェアを表す。代替としてまたは加えて、増強効果モジュール２１２２は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組み合わせとして実装することができる。
【０１６１】
[0179]  デバイス２１００はまた、オーディオデータをオーディオシステム２１２６に供給する、および／またはビデオデータをディスプレイシステム２１２８に供給する、オーディオおよび／またはビデオの入力−出力システム２１２４を含む。オーディオシステム２１２６および／またはディスプレイシステム２１２８は、オーディオ、ビデオ、および画像データを処理、表示、および／またはレンダリングする任意のデバイスを含むことができる。ビデオ信号およびオーディオ信号は、デバイス２１００からオーディオデバイスおよび／またはディスプレイデバイスに、ＲＦ（無線周波数）リンク、Ｓ−ビデオリンク、複合ビデオリンク、コンポーネントビデオリンク、ＤＶＩ（デジタルビデオインターフェース）、アナログオーディオ接続、または他の同様な通信リンクを通じて通信することができる。一実施形態では、オーディオシステム２１２６および／またはディスプレイシステム２１２８は、デバイス２１００に外部構成要素として実装される。代替としてオーディオシステム２１２６および／またはディスプレイシステム２１２８は、例示のデバイス２１００の一体化された構成要素として実装される。
【０１６２】
[0180]  結論
様々な実施形態は、遠隔の場所からストーリーを経験することができる、対話型の共有されたストーリーリーディングエクスペリエンスをもたらす。様々な実施形態は、ストーリーリーディングエクスペリエンスに関連するオーディオおよび／またはビデオの増強または変更を可能にする。これはストーリーが読まれるのに従って、読み手の音声、顔、および／またはストーリーに関連する他のコンテンツを増強および変更することを含むことができる。
【０１６３】
[0181]  このようにして２人以上の遠隔参加者は、ストーリーベースの共有された対話型コンテンツとリアルタイムで通信および対話することができる。代わりにまたは追加としてストーリーベースの共有された対話型コンテンツは、増強または変更し、その後の再生のために記録および／またはアーカイブすることができる。
【０１６４】
[0182]  実施形態について構造的特徴および／または方法論的動作に固有の用語で述べてきたが、添付の特許請求の範囲において定義される実施形態は、必ずしも述べられた特定の特徴または動作に限定されないことが理解されるべきである。むしろ、特定の特徴および動作は、特許請求された実施形態を実現する例示の形として開示される。
【図１】
2016511837.tif 000005
【図２】
2016511837.tif 000006
【図３】
2016511837.tif 000007
【図４】
2016511837.tif 000008
【図５】
2016511837.tif 000009
【図６】
2016511837.tif 000010
【図７】
2016511837.tif 000011
【図８】
2016511837.tif 000012
【図９】
2016511837.tif 000013
【図１０】
2016511837.tif 000014
【図１１】
2016511837.tif 000015
【図１２】
2016511837.tif 000016
【図１３】
2016511837.tif 000017
【図１４】
2016511837.tif 000018
【図１５】
2016511837.tif 000019
【図１６】
2016511837.tif 000020
【図１７】
2016511837.tif 000021
【図１８】
2016511837.tif 000022
【図１９】
2016511837.tif 000023
【図２０】
2016511837.tif 000024
【図２１】
2016511837.tif 000025
【手続補正書】
【提出日】平成26年11月27日(2014.11.27)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
１人または複数の遠隔参加者と共有されている電子ブック内のストーリーの読み手の音声のオーディオデータを受信する工程と、
前記ストーリーが読まれるのに従って、前記読み手の前記音声をモーフィングするように前記オーディオデータを増強する工程と、
前記１人または複数の遠隔参加者が、増強されたオーディオデータを消費することを可能にする工程と
を含む、コンピュータによって実施される方法。
【請求項２】
前記増強する工程が、前記ストーリーの中のキャラクタに類似して聞こえるように、前記読み手の前記音声をモーフィングすることである、請求項１に記載の方法。
【請求項３】
前記増強する工程が、前記読み手のコンピューティングデバイスにおいて生じる、請求項１に記載の方法。
【請求項４】
前記増強する工程が、前記読み手の前記コンピューティングデバイス以外のコンピューティングデバイスにおいて生じる、請求項１に記載の方法。
【請求項５】
前記可能にする工程が、少なくとも部分的にピアツーピアネットワークを用いて行われる、請求項１に記載の方法。
【請求項６】
前記可能にする工程が、少なくとも部分的にピアツーピアネットワーク以外のネットワークを用いて行われる、請求項１に記載の方法。
【請求項７】
コンピュータ可読命令を具現化する１つまたは複数のコンピュータ可読記憶媒体であって、前記コンピュータ可読命令が、実行されたときに、
複数の参加者の間の通信接続を確立して前記参加者が、前記参加者の間で電子ブック内のストーリーが共有される対話型リーディングエクスペリエンスを共有することを可能にする工程と、
共有されている前記ストーリーの読み手の音声のオーディオデータを受信する工程と、
前記ストーリーが読まれるのに従って、前記読み手の前記音声をモーフィングするように前記オーディオデータを増強する工程と、
前記１人または複数の遠隔参加者が、増強されたオーディオデータを消費することを可能にする工程と
を含む方法を実施する、１つまたは複数のコンピュータ可読記憶媒体。
【請求項８】
前記増強する工程が、前記ストーリーの中のキャラクタに類似して聞こえるように、前記読み手の前記音声をモーフィングする、請求項７に記載の１つまたは複数のコンピュータ可読記憶媒体。
【請求項９】
前記増強する工程が、前記読み手のコンピューティングデバイスにおいて生じる、請求項７に記載の１つまたは複数のコンピュータ可読記憶媒体。
【請求項１０】
前記増強する工程が、前記読み手の前記コンピューティングデバイス以外のコンピューティングデバイスにおいて生じる、請求項７に記載の１つまたは複数のコンピュータ可読記憶媒体。
【国際調査報告】
2016511837.tif 000026
2016511837.tif 000027
2016511837.tif 000028