(57)【要約】  デジタルワークブックと対話するためのシステムおよび方法を開示する。物理的なワークブックを識別する識別子が受信される。物理的なワークブックは、デジタルブックに関連付けられ、コンピュータシステムの表示画面上に表示させることができる。スマートペンとワークブックの書き込み面との間のキャプチャされた対話が、受信される。ワークブックの１つまたは複数の完了した領域が、１つまたは複数のキャプチャされた対話に基づき識別される。ワークブックの１つまたは複数の完了した領域に基づき、デジタルブックの一部が選択されて表示される。
2015533004.tif 000002
【特許請求の範囲】
【請求項１】
デジタルワークブックと対話するための方法であって、
スマートペン装置により、物理的なワークブックを識別する識別子を受信するステップと、
非一時的なコンピュータ可読媒体上に記憶され、前記物理的なワークブックの識別子に関連付けられる、デジタルブックを識別するステップと、
前記スマートペン装置と前記ワークブックの書き込み面との間の、１つまたは複数のキャプチャされた対話を受信するステップと、
前記１つまたは複数のキャプチャされた対話に基づき、前記ワークブックの、１つまたは複数の完了した領域を識別するステップと、
コンピュータシステムにより、前記ワークブックの１つまたは複数の完了した領域に基づき、表示すべきデジタルブックの一部を選択するステップと、
前記選択したデジタルブックの一部を、前記コンピュータシステムのディスプレイ上に表示するステップと
を含むことを特徴とする方法。
【請求項２】
前記１つまたは複数のキャプチャされた対話に基づき、首尾よく完了されない前記ワークブックの１つまたは複数の領域を識別するステップと、
前記識別された領域に基づき、前記デジタルワークブックに関連付けられたデジタルブックの、表示させるコンテンツを調整するステップと
さらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記首尾よく完了されないワークブックの識別された領域に基づき、カスタマイズされたワークブックのページを生成するステップ
をさらに含むことを特徴とする請求項２に記載の方法。
【請求項４】
前記スマートペン装置と前記ワークブックの書き込み面との間の前記キャプチャされた対話を分析して、前記スマートペン装置により書き込まれた複数の文字を識別するステップと、
前記複数の文字を解釈して、前記複数の文字が、前記ワークブック内に書き込まれた方程式を構成するかどうか、を判定するステップと、
前記方程式をエンコードするステップと、
前記エンコードされた方程式を、求解機を使用して評価するステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項５】
前記キャプチャされた対話を分析して、前記スマートペン装置により書き込まれた複数の解答を判定するステップと、
前記複数の解答のそれぞれをパースするステップと、
前記パースされた解答を評価して、前記複数の解答のそれぞれが正しいかどうかを判定するステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項６】
リンクされた媒体のアイテムを再生するステップ
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記ワークブックのタスクが完了したかどうかを判定するステップと、
前記タスクが完了したことに応答して、前記タスクの完了に関連する前記デジタルブックの、以前アクセス不可能だったコンテンツへのアクセスを可能にするステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
前記デジタルブックの対応する一部に関連付けて、前記スマートペン装置と前記ワークブックとの対話を記憶するステップ
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項９】
前記ワークブック内のキャプチャされた対話の場所を判定するステップと、
前記判定された場所に関連する単語を判定するステップと、
前記単語の意味の表示、前記単語の記録された発音の再生、および、前記単語の翻訳、のうちの１つを実行するステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１０】
前記ワークブックの質問に対する発話の回答の記録を取得するステップと、
前記発話の回答を、前記質問に関連付けて記憶媒体に記憶するステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１１】
前記対話が略リアルタイム受信されることを特徴とする請求項１に記載の方法。
【請求項１２】
前記ワークブックを識別するステップが、
前記ワークブックの一意的な特徴を認識するステップであって、前記一意的な特徴が、ドットパターンおよびバーコードから成るリストから選択される、ステップ
を含むことを特徴とする請求項１に記載の方法。
【請求項１３】
スマートペン装置と
非一時的なコンピュータ可読媒体と
を含むシステムであって、
前記非一時的なコンピュータ可読媒体は命令を記憶するべく構成され、前記命令は、コンピュータシステムのプロセッサにより実行されると、前記プロセッサに、
物理的なワークブックを識別する識別子を受け取ることと、
前記物理的なワークブックの識別子に関連付けられるデジタルブックを識別することと、
前記スマートペン装置と前記ワークブックの書き込み面との間の、１つまたは複数のキャプチャされた対話を受信することと、
前記１つまたは複数のキャプチャされた対話に基づき、前記ワークブックの、１つまたは複数の完了した領域を識別することと、
前記ワークブックの１つまたは複数の完了した領域に基づき、表示すべきデジタルブックの一部を選択することと、
前記選択したデジタルブックの一部を、前記コンピュータシステムのディスプレイ上に表示することと
を行わせる
ことを特徴とするシステム。
【請求項１４】
前記命令が、前記プロセッサに、
前記１つまたは複数のキャプチャされた対話に基づき、首尾よく完了されない前記ワークブックの１つまたは複数の領域を識別することと、
前記識別された領域に基づき、前記デジタルワークブックに関連付けられたデジタルブックの、表示させるコンテンツを調整することと
をさらに行わせることを特徴とする請求項１３に記載のシステム。
【請求項１５】
前記命令が、前記プロセッサに、
前記スマートペン装置と前記ワークブックの書き込み面との間の前記キャプチャされた対話を分析して、前記スマートペン装置により書き込まれた複数の文字を識別することと、
前記複数の文字を解釈して、前記複数の文字が、前記ワークブック内に書き込まれた方程式を構成するかどうか、を判定することと、
前記方程式をエンコードすることと、
前記エンコードされた方程式を、求解機を使用して評価することと
をさらに行わせることを特徴とする請求項１３に記載のシステム。
【請求項１６】
前記命令が、前記プロセッサに、
前記キャプチャされた対話を分析して、前記スマートペン装置により書き込まれた複数の解答を判定することと、
前記複数の解答のそれぞれをパースすることと、
前記パースされた解答を評価して、前記複数の解答のそれぞれが正しいかどうかを判定することと
をさらに行わせることを特徴とする請求項１３に記載のシステム。
【請求項１７】
デジタルワークブックと対話するための命令を記憶するべく構成される非一時的なコンピュータ可読媒体であって、前記命令は、コンピュータシステムのプロセッサにより実行されると、前記プロセッサに、
物理的なワークブックを識別する識別子を受け取ることと、
前記物理的なワークブックの識別子に関連付けられるデジタルブックを識別することと、
前記スマートペン装置と前記ワークブックの書き込み面との間の、１つまたは複数のキャプチャされた対話を受信することと、
前記１つまたは複数のキャプチャされた対話に基づき、前記ワークブックの、１つまたは複数の完了した領域を識別することと、
前記ワークブックの１つまたは複数の完了した領域に基づき、表示すべきデジタルブックの一部を選択することと、
前記選択したデジタルブックの一部を、前記コンピュータシステムのディスプレイ上に表示することと
を行わせることを特徴とするコンピュータ可読媒体。
【請求項１８】
前記命令が、前記プロセッサに、
前記１つまたは複数のキャプチャされた対話に基づき、首尾よく完了されない前記ワークブックの１つまたは複数の領域を識別することと、
前記識別された領域に基づき、前記デジタルワークブックに関連付けられたデジタルブックの、表示させるコンテンツを調整することと
をさらに行わせることを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項１９】
前記命令が、前記プロセッサに、
前記スマートペン装置と前記ワークブックの書き込み面との間の前記キャプチャされた対話を分析して、前記スマートペン装置により書き込まれた複数の文字を識別することと、
前記複数の文字を解釈して、前記複数の文字が、前記ワークブック内に書き込まれた方程式を構成するかどうか、を判定することと、
前記方程式をエンコードすることと、
前記エンコードされた方程式を、求解機を使用して評価することと
をさらに行わせることを特徴とする請求項１７に記載のコンピュータ可読媒体。
【請求項２０】
前記命令が、前記プロセッサに、
前記キャプチャされた対話を分析して、前記スマートペン装置により書き込まれた複数の解答を判定することと、
前記複数の解答のそれぞれをパースすることと、
前記パースされた解答を評価して、前記複数の解答のそれぞれが正しいかどうかを判定することと
をさらに行わせることを特徴とする請求項１７に記載のコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、「スマートペンを使用した対話型デジタルワークブック」と題する、２０１２年１０月２６日に出願された、デイビット  ロバート  ブラック、ブレット  リード  ハレ、およびアンドリュー  Ｊ．ヴァン  シャークに対する米国仮特許出願第６１／７１９，２９２号の利益を主張するものであり、その内容は、参照により本明細書に組み込まれる。
【０００２】
本発明は、ペンベースのコンピュータシステムに関し、特に、記録された書き込み、音声、およびデジタルコンテンツをスマートペン環境において同期させることに関する。
【背景技術】
【０００３】
スマートペンは、ユーザの書き込みジェスチャをデジタル処理でキャプチャして、キャプチャしたジェスチャを、様々なアプリケーションで利用可能なデジタル情報に変換する電子機器である。例えば、光学ベースのスマートペンでは、当該スマートペンが、デジタル処理でエンコードされる表面（例えば、ドットパターン）に対する書き込みの間に、ペンの座標を検出し、かつ記録する光学センサを含む。加えて、従来のスマートペンには、埋め込みマイクを含み、当該スマートペンが、書き込みジェスチャのキャプチャと同期して音声をキャプチャすることを可能にするものがある。そして、同期された音声とジェスチャのデータを、再現（replay）することができる。従って、スマートペンは、紙の領域での操作の利便性と、デジタル環境に関連する機能性および柔軟性との両方を提供することにより、豊かなノート取り経験（note taking experience）をユーザに提供することができる。
【発明の概要】
【０００４】
本発明の実施形態は、コンピュータシステムに基づくスマートペンを使用した、デジタルワークブックと対話するための方策を提示する。
【０００５】
一実施形態において、デジタルブックに関連付けられるワークブックの識別が受け取られる。デジタルブックは、例えば、コンピュータシステムの表示画面上に表示されるようにすることができる。ワークブックは、ドットパターンまたはバーコードなどの一意的な特徴により、識別されるようにすることができる。スマートペンによりキャプチャされた対話は、コンピュータシステムによって受信される。例えば、スマートペンによりキャプチャされた対話は、スマートペンのユーザによりワークブックの書き込み面上に書き込まれたジェスチャであってよい。キャプチャされた対話に基づき、ワークブックの１つまたは複数の完了した領域が識別される。ワークブックの１つまたは複数の完了した領域に基づき、デジタルブックの一部が選択されて表示される。キャプチャされた対話に基づき、ワークブック内の回答された問題の追跡、ワークブック内に書き込まれた方程式の分析、ワークブック内の解答されたテストの等級付け、音声および／または映像の再生などの追加的な動作が、実行されるようにすることができる。
【図面の簡単な説明】
【０００６】
【図１】スマートペンベースのコンピュータ環境の一実施形態の概略図である。
【図２】ペンベースのコンピュータシステムにおいて使用するためのスマートペン装置の一実施形態を示す図である。
【図３】スマートペン装置の一実施形態によりキャプチャされた、同期させた書き込み、音声、およびデジタルコンテンツのデータフィードの一例を示すタイムライン図である。
【図４】スマートペンを使用してデジタルワークブックと対話するための処理の一実施形態を示すフローチャートである。
【０００７】
図面は種々の実施形態を説明のみの目的で示す。当業者は、本明細書において説明される構造および方法の代替実施形態が、本明細書に記載される原理から逸脱することなく採用されてよいことを、以下の説明から容易に認識するであろう。
【発明を実施するための形態】
【０００８】
（ペンベースのコンピュータ環境の概要）
図１は、ペンベースのコンピュータ環境１００の一実施形態を示す。ペンベースのコンピュータ環境は、音声源１０２、書き込み面１０５、スマートペン１１０、コンピュータ装置１１５、ネットワーク１２０、およびクラウドサーバ１２５を備える。代替実施形態では、異なるまたは追加的な装置、例えば、追加的なスマートペン１１０、書き込み面１０５、およびコンピュータ装置１１５などがあってよい（または、１つまたは複数の装置が無くてもよい）。
【０００９】
スマートペン１１０は、書き込み面１０５との対話（例えば、書き込みジェスチャおよび／またはコントロール入力）をデジタル処理でキャプチャし、同時に音声源１０２から音声をキャプチャする電子機器である。スマートペン１１０は、直接またはネットワーク１２０を介して、コンピュータ装置１１５と通信可能に連結される。キャプチャされた書き込みジェスチャ、コントロール入力、および／または音声は、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションでの使用のために、スマートペン１１０からコンピュータ装置１１５に（例えば、リアルタイムで、またはその後に）転送されてよい。さらに、デジタルデータおよび／またはコントロール入力は、スマートペン１１０上で実行されるアプリケーションでの使用のために、コンピュータ装置１１５からスマートペン１１０に（リアルタイム、またはオフライン処理で）通信されてよい。クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５による利用が可能な、リモート記憶装置および／またはアプリケーションサービスを提供する。従って、コンピュータ環境１００は、紙およびデジタルの両領域におけるユーザ対話を結びつける多様なアプリケーションを可能にする。
【００１０】
一実施形態において、スマートペン１１０は、ペン（例えば、インクベースのボールペン、インク不使用のスタイラス装置、ディスプレイ上に「デジタルインク」を残留させるスタイラス装置、フェルトペン、鉛筆、または他の書き込み装置）を、埋め込まれたコンピュータ構成要素および種々の入力／出力機能と共に、備える。ユーザは、ユーザが従来のペンで行う様に、スマートペン１１０を用いて書き込み面１０５上に書き込むことができる。操作の間、スマートペン１１０は、書き込み面１０５上になされる書き込みジェスチャをデジタル処理でキャプチャし、書き込みジェスチャの電子的表現を記憶する。キャプチャされた書き込みジェスチャは、空間成分と時間成分の両方を有する。例えば、一実施形態において、スマートペン１１０は、種々のサンプル時間でのスマートペン１１０の書き込み面１０５に対する位置のサンプル（例えば、座標情報）をキャプチャし、キャプチャした位置情報を、各サンプルのタイミング情報と共に記憶する。キャプチャした書き込みジェスチャには、異なる書き込み面１０５でキャプチャしたデータ間を区別するために、特定の書き込み面１０５に関連する識別情報、例えば、特定のノートの特定のページの識別情報などが、さらに含まれてよい。一実施形態において、スマートペン１１０はまた、ユーザにより選択される、書き込みジェスチャの他の属性をキャプチャする。例えば、インクの色は、スマートペン１１０上の物理的なキーを押下すること、書き込み面上のプリントされたアイコンをタップすること、コンピュータディスプレイ上のアイコンを選択すること、などにより選択することができる。このインク情報（色、線の幅、線のスタイルなど）はまた、キャプチャしたデータ内にエンコードされてよい。
【００１１】
スマートペン１１０は、加えて、書き込みジェスチャをキャプチャしながら同時に、音声源１０２（例えば、環境音）から音声をキャプチャすることができる。スマートペン１１０は、キャプチャした音声データを、キャプチャした書き込みジェスチャと同期させて記憶する（すなわち、キャプチャしたジェスチャとキャプチャした音声間の相対的タイミングが保存される）。さらに、スマートペン１１０は、加えて、書き込みジェスチャおよび／または音声をキャプチャしながら同時に、デジタルコンテンツをコンピュータ装置１１５からキャプチャすることができる。デジタルコンテンツには、例えば、コンピュータ装置１１５とのユーザ対話、または、コンピュータ装置１１５上で閲覧されている時間ベースのコンテンツ（例えば、映像）に関連する同期情報（例えば、キューポイント）、が含まれてよい。スマートペン１１０は、キャプチャした書き込みジェスチャおよび／またはキャプチャした音声データと時間的に同期させた、デジタルコンテンツを記憶する（すなわち、キャプチャしたジェスチャ、音声、およびデジタルコンテンツ間の相対的タイミング情報が保存される）。
【００１２】
同期は、様々な異なる方法で確保されてよい。例えば、一実施形態において、ユニバーサルクロックが異なる装置間の同期に使用される。別の実施形態において、ローカルの装置間の同期が、２つまたはそれ以上の装置間で行われてよい。別の実施形態において、外部のコンテンツを、最初にキャプチャしたデータと結びつけること、また、特定のセッション中にキャプチャされたコンテンツに同期させること、ができる。
【００１３】
一代替実施形態において、音声および／またはデジタルコンテンツは、スマートペン１１０によってキャプチャされることに代えて、または加えて、代わりにコンピュータ装置１１５によってキャプチャされてよい。キャプチャした書き込みジェスチャ、音声データ、および／またはデジタルデータの同期は、スマートペン１１０、コンピュータ装置１１５、リモートサーバ（例えば、クラウドサーバ１２５）、または、装置の組み合わせにより行うことができる。さらに、一代替実施形態において、書き込みジェスチャのキャプチャは、スマートペン１１０の代わりに書き込み面１０５によって行うことができる。
【００１４】
一実施形態において、スマートペン１１０は、視覚および／または音声の情報を出力することが可能である。スマートペン１１０はさらに、異なる入力に応答して種々の出力およびスマートペン１１０の操作をコントロールする、１つまたは複数のソフトウェアアプリケーションを実行することができる。
【００１５】
一実施形態において、スマートペン１１０は、さらに、書き込み面１０５上のテキストまたは他の事前にプリントされたコンテンツを検出することができる。例えば、スマートペン１１０は、書き込み面１０５上の特定の単語または画像をタップすることができ、また、次に、スマートペン１１０は、コンテンツの認識に応じて他の動作を行うことができ、例えば、サウンドを再生する、または、何らかの他の機能を実行することができる。例えば、スマートペン１１０は、ページ上の単語の翻訳を、翻訳を画面上に表示すること、または、その音声記録を再生することにより、行うことができる（例えば、中国語文字を英語の単語に翻訳する）。
【００１６】
一実施形態において、書き込み面１０５は、用紙（または、書き込み可能な任意の他の適切な材料）を備え、スマートペン１１０によって読み込み可能なパターン（例えば、ドットパターン）を用いてエンコードされる。パターンは、書き込み面１０５に対するスマートペン１１０の相対的な位置決め（例えば、相対的または絶対的）を、スマートペン１１０が判定可能であるべく十分に一意的である。別の実施形態において、書き込み面１０５は、電子ペーパすなわちｅ−ペーパを備え、または、電子機器（例えば、タブレット）の表示画面を備えてよい。これらの実施形態において、検知は、書き込み面１０５によって、または、スマートペン１１０と連動して、全体的に行われてよい。スマートペン１１０の動きは、例えば、スマートペン装置の光学的検知を介して、スマートペン装置の動き検知を介して、書き込み面１０５の接触検知を介して、音響検知を介して、基準マーキングを介して、または他の適切な手段により、検知することができる。
【００１７】
ネットワーク１２０により、スマートペン１１０、コンピュータ装置１１５、およびクラウドサーバ１２５間の通信が可能とされる。ネットワーク１２０により、スマートペン１１０は、例えば、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、キャプチャしたデジタルコンテンツを転送すること、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、制御信号を通信すること、および／または、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、種々の他のデータ信号を通信することが可能となり、種々のアプリケーションを有効にされる。ネットワーク１２０には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ、セルラーネットワーク、赤外線通信、音波通信、またはカスタムプロトコルなどの無線通信プロトコルが含まれてよく、および／または、ＵＳＢまたはＥｔｈｅｒｎｅｔ（登録商標）などの有線通信プロトコルが含まれてよい。あるいはまたは加えて、スマートペン１１０およびコンピュータ装置１１５は、ネットワーク１２０を必要としない有線または無線の接続を介して直接通信することができる。
【００１８】
コンピュータ装置１１５には、例えば、タブレットコンピュータ装置、携帯電話、ラップトップもしくはデスクトップ型のコンピュータ、または他の電子機器（例えば、別のスマートペン１１０）が含まれてよい。コンピュータ装置１１５は、スマートペン１１０と連動して使用可能な１つまたは複数のアプリケーションを実行することができる。例えば、スマートペン１１０によってキャプチャされたコンテンツは、記憶、再生、編集、および／またはさらなる処理のために、コンピュータシステム１１５に転送されてよい。加えて、コンピュータ装置１１５上で利用可能なデータおよび制御信号は、スマートペン１１０に転送されてよい。さらに、スマートペン１１０およびコンピュータ装置１１５上で同時に実行されるアプリケーションは、スマートペン１１０とコンピュータ装置１１５との間の、様々な異なるリアルタイムの対話を有効にすることができる。例えば、スマートペン１１０と書き込み面１０５との間の対話を使用して、コンピュータ装置１１５上で実行されるアプリケーションに、入力を与えることができる（または、逆も同様である）。
【００１９】
スマートペン１１０とコンピュータ装置１１５との間の通信を有効にするために、スマートペン１１０およびコンピュータ装置は、お互いに「ペアリング」を確立することができる。ペアリングにより、装置は、お互いを認識し、２つの装置間のデータ転送を承認することができる。一度ペアリングされると、データおよび／または制御信号を、有線または無線手段を通じて、スマートペン１１０とコンピュータ装置１１５との間を送信させることができる。
【００２０】
一実施形態において、スマートペン１１０とコンピュータ装置１１５の両方は、そのそれぞれのネットワークアダプタにリンクされるＴＣＰ／ＩＰネットワークスタックを持つ。装置１１０、１１５は従って、直接（ＴＣＰ）およびブロードキャスト（ＵＤＰ）のソケットを使用する通信であって、これらのソケットを使用した通信が可能なスマートペン１１０およびコンピュータ装置１１５のそれぞれで実行されるアプリケーションとの通信、をサポートする。
【００２１】
クラウドサーバ１２５には、スマートペン１１０および／またはコンピュータ装置１１５にネットワーク１２０を介して連結されるリモートコンピュータシステムが含まれる。例えば、一実施形態において、クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５によってキャプチャされたデータのためのリモート記憶装置を提供する。さらに、クラウドサーバ１２５上に記憶されるデータは、種々のアプリケーションとの関係で、スマートペン１１０および／またはコンピュータ装置１１５によりアクセスまたは使用が可能である。
【００２２】
（スマートペンシステムの概要）
図２は、スマートペン１１０の一実施形態を示す。例示の実施形態において、スマートペン１１０は、マーカ２０５、撮像システム（imaging system）２１０、ペンダウンセンサ２１５、１つまたは複数のマイクロフォン２２０、スピーカ２２５、音声ジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、および電池２５５を備える。スマートペン１１０にはまた、電源ボタンまたは音声記録ボタン、および／または、ステータス表示ライト、などのボタンが含まれてよい。代替実施形態において、スマートペン１１０は、図２に示すものより少ないもしくは追加的な、または異なる構成要素を有することができる。
【００２３】
マーカ２０５は、任意のインクベースもしくはグラファイトベースのマーキング装置、または、書き込みに使用可能な任意の他の装置を含む、任意の適切なマーキング機構を備える。マーカ２０５は、感圧素子などのペンダウンセンサ２１５に連結される。ペンダウンセンサ２１５は、マーカ２０５が面に対して押される際に出力を生み出し、それにより、スマートペン１１０が使用されて面に書き込みがされている時、または、書き込み面１０５上でのコントロールまたはボタン（例えば、タッピング）と対話している時を検出する。一代替実施形態において、異なるタイプの「マーキング」センサを使用して、ペンがマークをマーキングしている時、または、書き込み面１１０と対話している時を判定することができる。例えば、ペンアップセンサを使用して、スマートペン１１０が書き込み面１０５と対話していない時を検出してもよい。あるいは、スマートペン１１０は、書き込み面１０５上のパターンが焦点にある時を（例えば、キャプチャされた画像の高速フーリエ変換に基づき）判定することができ、そして、それに従って、スマートペンが書き込み面１０５の範囲内にある時を判定することができる。別の代替実施形態において、スマートペン１１０は、ペンが書き込みしている時、または、書き込み面１０５上のコントロールと対話している時を示す振動を検出することが可能である。
【００２４】
撮像システム２１０は、マーカ２０５近辺の面の領域を撮像するための十分な光学装置およびセンサを備える。撮像システム２１０を使用して、スマートペン１１０でなされる手書きおよびジェスチャをキャプチャすることができる。例えば、撮像システム２１０には、マーカ２０５の近く全体の書き込み面１０５を照らす赤外光源が含まれてよく、それにおいて、書き込み面１０５にはエンコードされたパターンが含まれる。エンコードされたパターンの画像を処理することにより、スマートペン１１０は、マーカ２０５が、書き込み面１０５に関連してどこにあるのかを判定することができる。そして、撮像システム２１０の撮像アレイにより、マーカ２０５近辺の面が撮像され、その視野内にある符号化されたパターンの部分がキャプチャされる。
【００２５】
スマートペン１１０の他の実施形態において、書き込みジェスチャをキャプチャするための適切な代替機構が使用されてよい。例えば、一実施形態において、単語または写真もしくは他の画像の一部などの事前にプリントされたマークを使用して、ページ上の位置が判定される。検出されたマークをデジタル版の文書に相関させることにより、スマートペン１１０の位置を判定することができる。例えば、一実施形態において、プリントされた新聞に対するスマートペンの位置は、スマートペン１１０の撮像システム２１０によってキャプチャされた画像を、クラウドベースのデジタル版の新聞と比較することにより判定することができる。本実施形態において、書き込み面１０５上のエンコードされたパターンは、必ずしも必要ではなく、なぜなら、ページ上の他のコンテンツを基準点として使用することができるからである。
【００２６】
一実施形態において、撮像システム２１０によってキャプチャされたデータは、続いて処理され、文字認識などの１つまたは複数のコンテンツ認識アルゴリズムを、受信データに適用することができる。別の実施形態において、撮像システム２１０を使用して、既に書き込み面１０５上に存在する書き込まれたコンテンツをスキャンかつキャプチャすることができる。これは、例えば、書き込み面１０５上の手書きもしくはプリントされたテキスト、画像、またはコントロールを認識するために使用することができる。さらに、撮像システム２１０をペンダウンセンサ２１５と組み合わせて使用して、マーカ２０５が書き込み面１０５に接触している時を判定してもよい。例えば、スマートペン１１０は、ユーザが、書き込み面１０５の特定の場所にあるマーカ２０５をタップする時を検知することができる。
【００２７】
スマートペン１１０はさらに、音声をキャプチャするための１つまたは複数のマイクロフォン２２０を備える。一実施形態において、１つまたは複数のマイクロフォン２２０は、プロセッサ２４５、または、信号プロセッサ（不図示）により実行される信号処理ソフトウェアに連結され、これは、マーカ２０５が書き込み面上を移動する際に発生するノイズ、および／または、スマートペン１１０が書き込み面に接触するまたは書き込み面から離れる際に発生するノイズを除去するものである。上記で説明したように、キャプチャした音声データは、音声データとキャプチャしたジェスチャとの間の相対的なタイミングを保存する様式で記憶されてよい。
【００２８】
入力／出力（Ｉ／Ｏ）装置２４０により、スマートペン１１０とネットワーク１２０および／またはコンピュータ装置１１５との間の通信が可能となる。Ｉ／Ｏ装置２４０には、有線および／または無線の通信インターフェース、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、赤外線、または超音波のインターフェースなど、が含まれてよい。
【００２９】
スピーカ２２５、音声ジャック２３０、およびディスプレイ２３５は、データ提示のためにスマートペン１１０のユーザに対して出力を提供する出力装置である。音声ジャック２３０は、イヤホンに連結され、スピーカ２２５とは異なり、ユーザの周囲の人の邪魔をせずにユーザが音声出力を聴くことができるようにする。一実施形態において、音声ジャック２３０はまた、各イヤピースにスピーカとマイクロフォンの両方が含まれる両耳用のヘッドセットの場合は、マイクロフォンジャックとしても機能する。両耳用のヘッドセットを使用することにより、より現実的な音声をキャプチャすることが可能とされ、なぜなら、マイクロフォンがユーザの耳の近辺に配置されるからであり、従って、ユーザが室内で聴いているような音声がキャプチャされる。
【００３０】
ディスプレイ２３５は、視覚フィードバックを提供するための、有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの、任意の適切なディスプレイシステムを備えてよく、スマートペン１１０は視覚的な出力を提供することができる。使用時、スマートペン１１０は、これらの出力構成要素のいずれか使用して、音声または視覚フィードバックを通信することができ、データは複数の出力様式を使用して提供される。例えば、スピーカ２２５および音声ジャック２３０は、スマートペン１１０上で実行中のアプリケーションに従って、音声フィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を通信することができ、また、ディスプレイ２３５は、そのようなアプリケーションによる指示の通りに、語句、静的もしくは動的な画像、またはプロンプトを表示することができる。加えて、スピーカ２２５および音声ジャック２３０を使用して、マイクロフォン２２０を使用して記録してある音声データを再生することもできる。スマートペン１１０はまた、ユーザに触覚フィードバックを与えてもよい。触覚フィードバックには、例えば、単純な振動通知、または、仮想ボタンもしくは他のプリント／表示されたコントロールと対話する感覚を提供する、スマートペン１１０のさらに洗練された動き、が含まれてよい。例えば、プリントされたボタン上をタップすることにより、「クリック」音およびボタンが押下されたという感覚を生み出してもよい。
【００３１】
プロセッサ２４５、オンボードメモリ２５０（例えば、非一時的なコンピュータ可読記憶媒体）、および電池２５５（または、任意の他の適切な電源）は、コンピューティング機能がスマートペン１１０上の少なくとも一部において実行されることを可能にする。プロセッサ２４５は、入力装置および出力装置、ならびに、上述の他の構成要素に連結され、それにより、スマートペン１１０上で実行中のアプリケーションがそれらの構成要素を使用できるようにする。その結果、実行可能なアプリケーションは、オンボードメモリ２５０の非一時的なコンピュータ可読記憶媒体に記憶され、かつ、プロセッサ２４５により実行されて、本明細書において記載されるスマートペン１１０に起因する種々の機能を行うことが可能となる。メモリ２５０はさらに、記録された音声、手書き、およびデジタルコンテンツを、無期限に、またはスマートペン１１０からコンピュータシステム１１５またはクラウドサーバ１２５にオフロードされるまで、記憶することができる。
【００３２】
一実施形態において、プロセッサ２４５およびオンボードメモリ２５０には、ファイルシステムまたはアプリケーションメニューを通じてメニュー構造およびナビゲーションをサポートかつ有効にする、１つまたは複数の実行可能アプリケーションが含まれ、アプリケーションまたはアプリケーションの機能を起動することができる。例えば、メニュー項目間のナビゲーションには、ユーザによる発話されたおよび／または書き込まれたコマンドおよび／またはジェスチャ、ならびに、スマートペンコンピュータシステムからの音声および／または視覚フィードバックに関与する、ユーザとスマートペン１１０との間の対話が含まれる。一実施形態において、ペンコマンドは、「起動ライン」を使用してアクティブにすることができる。例えば、ドットペーパ上で、ユーザは水平な線を右から左に描き、次に、最初の線分上を戻り、この時、ペンはユーザにプロンプトしてコマンドを求める。そして、ユーザは、ラインの上にアクセス対象の所望のコマンドまたはメニュー（例えば、Ｗｉ−Ｆｉ設定、再生記録、など）を（例えば、ブロック文字を使用して）プリントする。統合文字認識（ＩＣＲ）を使用して、ペンは、書き込まれたジェスチャを、コマンドまたはデータの入力用のテキストに変換することができる。代替実施形態において、異なるタイプのジェスチャを認識して、起動ラインを有効にすることができる。従って、スマートペン１１０は、入力を受け取り、様々な様式からメニュー構造をナビゲートすることができる。
【００３３】
（書き込み、音声、およびデジタルのデータストリームの同期）
図３は、スマートペン環境１００におけるスマートペン１１０の操作中に存在する（および、選択的にキャプチャされる）、種々のデータフィードの一例を示す。例えば、一実施形態において、書き込みデータフィード３００、音声データフィード３０５、およびデジタルコンテンツデータフィード３１５が全て、共通の時間インデックス３１５に同期している。書き込みデータフィード３０２は、例えば、特定の書き込み面１０５に対するスマートペンの位置の座標情報（例えば、「Ｘ」および「Ｙ」座標）をエンコードしたデジタルサンプルのシーケンスを表す。加えて、一実施形態において、座標情報には、ペンの角度、ペンの回転、ペンの速度、ペンの加速度、またはスマートペン１１０の位置、角度、もしくは動きについての他の特徴が含まれてよい。書き込み面１０５は、時間と共に変化してよく（例えば、ユーザがノートのページを変える、またはノードを切り替える時に）、従って、書き込み面の識別情報も、（例えば、ページ要素「Ｐ」として）キャプチャされる。書き込みデータフィード３０２にはまた、ユーザが書き込みしているか否かを識別する（例えば、ペンアップ／ペンダウンセンサ情報）、または、スマートペン１１０との他のタイプの対話を識別する、スマートペン１１０によってキャプチャされる他の情報が含まれてよい。
【００３４】
音声データフィード３０５は、例えば、特定のサンプル時間においてキャプチャされたデジタル音声サンプルのシーケンスを表す。いくつかの実施形態において、音声データフィード３０５には、多重音声信号（例えば、ステレオ音声データ）が含まれてよい。デジタルコンテンツデータフィード３１０は、例えば、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションに関連する状態のシーケンスを示す。例えば、デジタルコンテンツデータフィード３１０には、特定のサンプル時間におけるコンピュータ装置１１５の状態をそれぞれが表すデジタルサンプルのシーケンスが含まれてよい。状態情報は、例えば、所与の時間においてコンピュータ装置１１５により表示されているデジタル文書の特定の部分、コンピュータ装置１１５により再生されている映像の現在の再生フレーム、所与の時間においてコンピュータ装置１１５により記憶されている入力のセット、などを表すことができる。コンピュータ装置１１５の状態は、コンピュータ装置１１５とのユーザ対話に基づき、および／または、書き込みデータフィード３０２からのコマンドもしくは入力（例えば、ジェスチャコマンド）または音声データフィード３０５からのコマンドもしくは入力（例えば、音声コマンド）に応答して、時間と共に変化してよい。例えば、書き込みデータフィード３０２により、コンピュータ装置１１５の状態に対してリアルタイムの更新を行ってよく、例えば、キャプチャしたままの書き込みデータフィード３０２をリアルタイムで表示すること、または、書き込みデータフィード３０２のキャプチャしたジェスチャにより表される入力に基づきコンピュータ装置１１５の表示を変更することなどができる。図３は１つの代表的な例を提供するが、他の実施形態には、例示するものよりも少ないもしくは追加的なデータフィード（異なるタイプのデータフィードが含まれる）が含まれてよい。
【００３５】
既に述べようたように、データフィード３０２、３０５、３１０のうちの１つまたは複数が、時間インデックス３１５と相関して、スマートペン１１０、コンピュータ装置１１５、クラウドサーバ１２０、または装置の組み合わせによってキャプチャされてよい。そして、データフィード３０２、３０５、３１０のうちの１つまたは複数は、同期して再現することが可能である。例えば、書き込みデータフィード３０２は、例えば、キャプチャした書き込みジェスチャの「動画」としてコンピュータ装置１１５のディスプレイ上に、音声データフィード３０５と共に再現させることができる。さらに、デジタルコンテンツデータフィード３１０は、以前記録した状態のシーケンス間をキャプチャしたタイミングに従って、コンピュータ装置１１５を遷移させる「動画」として、再現させることができる。
【００３６】
別の実施形態においては、ユーザは、様々な異なる方法で、記録データと対話することが可能である。例えば、一実施形態において、ユーザは、以前キャプチャした書き込みに対応する書き込み面１０５上の特定の場所と対話する（例えば、タップする）ことができる。そして、その特定の場所での書き込みが発生した時に対応する時刻位置を、判定することができる。あるいは、コンピュータ装置１１５上のスライダナビゲーションツールを使用することにより、または、デジタルコンテンツデータフィード２１０内の特定の時刻位置に対して一意的な状態に、コンピュータ装置１１５を置くことにより時刻位置を識別することができる。音声データフィード３０５、デジタルコンテンツデータフィード３１０、およびまたは書き込みデータフィードは、識別された時刻位置から開始して再現させることができる。加えて、ユーザは、データフィード３０２、３０５、３１０の内の１つまたは複数を、識別された時刻位置において、修正するべく追加することができる。
【００３７】
（デジタルワークブックとの対話）
一実施形態において、上述のスマートペンコンピュータシステムを「ワークブック」と共に使用して、様々なスマートペンのアプリケーションを可能にすることができる。ワークブックの書き込み面１０５には、スマートペン１１０により認識可能なエンコードされたパターンを用いて、事前にプリントされたコンテンツが重なり合わせられている。ワークブックは、コンピュータ装置１１５上で見ることができるデジタルブックに関連付けられてよく、また、概して、補足的な対話型の題材を提供して、教科の学習を支援する。
【００３８】
デジタルテキストブックと併せてワークブックを製造・販売することは、テキストブックの出版会社にとって、重要な収益化のモデルに可能性を与える。従来の紙ベースのテキストブックは、通常高価であり、その価格は、数１０ドルから数千ドルの範囲に及び得る。このため、学生は、普通、新品のテキストブックを購入する代わりに、手頃な値段の代替品を見つけようとする。多くの学生が、テキストブックの新品本を購入する代わりに、使用済み、すなわち中古のテキストブックを購入する。他の学生は、テキストブックのデジタル版を購入またはダウンロードする。さらに別の学生は、テキストブックを図書館から単に借りるだけである。これら全ての場合、出版会社は、テキストブック新しい本を売ることができないため、損失を出すこととなる。
【００３９】
テキストブック（デジタルまたは他）を補うワークブックは、出版会社の収入源の代替を提供する。例えば、出版会社は、ワークブックに直接解答できる課題および練習問題を、ワークブックが有するようにできる。ワークブックは、授業の過程で（または、学生がその中の問題を解答するのにつれて）購入されているため、各学生が、ワークブックの新品本を購入する可能性がより高くなる。ワークブックを、学生および教師にとってさらに魅力あるものにするために、対話型の要素および拡張したコンテンツを、それらのワークブックの所有と結び付けることができる。透かしのドットパターンを、ワークブックのページに重ね合わせることができ、また、コンピュータ装置１１５に（直接または間接的に）接続されるスマートペン１１０を使用して、ワークブックと対話することが可能となる。ワークブックと併せてスマートペンシステムを使用することにより、例えば、ワークブック内の回答された問題のデジタル追跡、方程式の解答の分析、質問またはテストの管理および等級付け、リンクされた音声のスマートペン１１０またはコンピュータ装置１１５を介した再生、コンピュータ装置１１５上での映像の再生、などの活動を可能にすることができる。
【００４０】
図４は、スマートペン１１０を使用してデジタルワークブックと対話するための処理の一実施形態を示すフローチャートである。デジタルワークブックとの対話を可能にするために、スマートペン１１０はまず、デジタルブックに関連するワークブックを識別する４０１。該デジタルブックは同時にコンピュータ装置１１５上で閲覧されてよい。一実施形態において、各ワークブックは、スマートペン１１０によって認識でき、かつ、現在のワークブックを他のワークブックと区別するために使用することができる、一意的な特徴（例えば、ドットパターン、バーコードなど）を含む。別の実施形態において、ユーザは、ワークブックを識別して、どのワークブックが現在使用中なのかをスマートペン１１０に伝える（例えば、スマートペン１１０において直接利用可能な入力方法、または、スマートペン１１０に接続されたコンピュータ装置、のどちらかを介して）。スマートペン１１０がワークブックを識別後、スマートペン１１０は選択的に、ワークブックに関連するデジタルブックを識別することができる。別の実施形態において、スマートペン１１０は、必ずしもデジタルブックを識別しない。
【００４１】
スマートペン１１０は、ワークブックを識別した後、スマートペン１１０とワークブックとの対話（例えば、書きこみジェスチャまたは制御入力）のキャプチャ４０３を開始することができる。スマートペン１１０は次に、キャプチャされた対話をコンピュータ装置１１５に送信する４０５。いくつかの実施形態において、スマートペン１１０、コンピュータ装置１１５または両方は、キャプチャされた対話を非一時的なコンピュータ可読記憶媒体にセーブすることもできる。キャプチャされた対話の送信は、略リアルタイム（すなわち、ユーザがワークブックに書き込んでいるとき）に、またはその後（例えば、ユーザがワークブックの特定のセクションでの作業を終えた後）に、行うことができる。
【００４２】
最後に、キャプチャされた対話がコンピュータ装置１１５によって受信された４０７後、ユーザとワークブックとの対話に対する補足、強化、または応答を行う動作が、コンピュータ装置１１５においてトリガされる４０９。
【００４３】
異なるタイプのスマートペン１１０とワークブックとの対話に応答して、多くの異なるタイプの動作をコンピュータ装置１１５によりトリガすることができる。例示の一実施形態において、デジタルテキストブックは、ワークブックとの所定の対話が実行された後にのみ見られる「隠れた」コンテンツまたは「ボーナス」コンテンツを含んでよい。例えば、ワークブックには、選択されると、隠れたまたはボーナスのコンテンツを有効にすることができるボタンとして動作することが可能な特別区域を含むことができる。別の実施形態において、課題または１組の課題を正確に完了した後に、ボーナスコンテンツを有効にすることができる。隠れたまたはボーナスのコンテンツには、例えば、学習中の題材を補足する、コンピュータ装置１１５上で再生される映像、学習中の題材を強化する、コンピュータ装置１１５上で利用可能なさらなる読み物セクション、などを含むことができる。
【００４４】
別の例示の実施形態において、ワークブックには、質問およびテストを含むことができる。ユーザが、スマートペン１１０を使用して、デジタルワークブック内で質問またはテストを完了し、回答がコンピュータ装置１１５に転送される。次に、コンピュータ装置１１５が、ワークブックのページに書き込まれた解答を分析して、学生の作業が正しいかどうかを判定することができる。質問およびテストは、コンピュータ装置１１５上のアプリケーションにより自動的に等級付けされるようにすることができ、また、方程式および図面は、パースされかつ正解性が評価されるようにすることができる。コンピュータ装置１１５ではまた、デジタルテキストブックに関連するアプリケーションを使用すること、または、個人のウェブサイトまたはウェブサーバにアクセスして学生の進捗を追跡することができる。さらに、コンピュータ装置１１５では、学生の作業を、他の学生による作業と比較することができる（例えば、同じ授業の他の学生、全国順位、などと比較する）。これらのサービスは、コンピュータ装置１１５またはクラウドサーバ１２５上のアプリケーションによって実施されてよい。
【００４５】
別の例示の実施形態では、学生が、ワークブックでノートを取り、取ったノートをデジタルテキストブックに転送ことが可能とされる。例えば、ワークブック内の特別区域に、ノートを取ることができる。取ったノートには、書き込みと同期した音声情報を含むことができる。取ったノート（および、選択的には同期した音声）は、テキストブックの特定のページに添付すること、および、該ページに関連付けてセーブすることができる。これにより、学生は、より効果的な試験準備が可能となる。
【００４６】
さらに別の例示の実施形態において、コンピュータ装置１１５は、学生が対話したワークブックの領域を追跡する。そして、デジタルテキストブック（または、別個のアプリケーション）に関連するアプリケーションにより、デジタルテキストブックに提示させるコンテンツの、推奨される順番と深さを調整することができる。学生が広範囲には調査しない領域または題目、または、練習問題または課題の完成において、学生が困難を示した領域を、復習および追加の学習で優先させることができる。別の実施形態において、カスタマイズしたワークブックのページを、以前の課題に対する学生の応答の質に基づいて、コンピュータ装置１１５により生成することができる。これらのページは、従来のインクジェットプリンタまたはレーザプリンタを使用して印刷することができる。
【００４７】
一実施形態において、多肢選択問題、または単純な手書き認識（ＨＷＲ）が十分ではないとき、コンピュータ装置１１５は、ユーザが入力するジェスチャを分析して、ユーザが練習問題を首尾よく完了したかどうかを、より良好に判定することができる。例えば、ユーザが方程式または式を入力している場合、ＨＷＲにより、等式内の文字を認識できるが、その方程式を正確にパースすることができないかもしれない。デジタルブックに関連する特別なアプリケーション（または、コンピュータ装置１１５もしくはクラウドサーバ１２５上で実行される比較ソフトウェア）を使用することにより、ユーザが入力するジェスチャの、分析、解釈、および適切な形式へのエンコードを行い、さらに処理できるようにすることができる。例えば、コンピュータ装置１１５が、ユーザが入力するジェスチャは方程式を形成する、と判定する場合、コンピュータ装置１１５は、その方程式を解釈し、適切にエンコードし、求解機に送って評価させることができる。別の例示的な使用においては、ユーザがスマートペン１１０を使用して図を描く場合、コンピュータ装置１１５（または、クラウドサーバ１２５）上のアプリケーションが、異なる構成要素を認識して、適切な要素が存在するかどうかを判定することができる。
【００４８】
例示の一実施形態において、ワークブックのページが終了されたとき、それらのページを、単独型のＰＤＦファイルまたは何らかの他の形式として、教師または指導者に再考用に送信することができる。教師または指導者は、手書きまたは発話のフィードバックを学生に提供することができる。一実施形態において、教師に送られたデジタルコピーに、フィードバックまたはコメントを追加することができる。別の実施形態において、教師に送られた文書の印刷版に、フィードバックまたはコメントを追加することができる。教師がフィードバックおよびコメントを追加した後、フィードバックおよびコメントを含む、ワークブックのデジタルコピーまたは印刷したコピーは、学生に転送して返すことができる。
【００４９】
別の例示の実施形態において、学生は、ワークブック内の語句または画像を単純にタップすることにより、様々な参照題材にアクセスすることができる。単語をタップすることにより、その意味、発音（音声記録）、第二言語への翻訳、などを提起させることができる
【００５０】
別の例示の実施形態において、ユーザは、マイクロフォン２２０を使用して、発話の回答を記録することができる。記録された応答は、スマートペン１１０内に記憶され、また、コンピュータ装置１１５またはクラウド１２５に転送されて、後で（例えば、教師が）アクセスできるようにすることができる。これは、外国語の授業において特に有益であろう。従来の課程は、概して、読み書きを伴う課題に限られるが、ワークブックおよびスマートペン１１０の使用により、リスニングおよび会話が課題の一部となることが可能とされ、これは、概して言語の習熟のための訓練には望ましい。
【００５１】
別の例示の実施形態において、ワークブック無くしてしまったとしても、そのデジタル版がその学生の最新の全部の作業と共に、コンピュータ装置１１５またはクラウド１２５内にデジタルで記憶されている。
【００５２】
別の例示の実施形態において、学生がコンピュータ装置１１５上でナビゲートするページは、ワークブックのページ上に識別タグを書き込むことによりリンクさせることができる。例えば、教師が、学生に３つの動物の映像を見つけるよう求める。学生は、コンピュータ装置１１５を使用してスカンクの映像にナビゲートし、「スカンク」という単語をワークブックに書き込む。学生が、その後に「スカンク」という単語をタップした場合、コンピュータ装置１１５は、スカンクの映像にジャンプする。また、学生が、宿題をＰＤＦファイルとして教師に送った場合、教師がリンクをクリックすると、新しいウィンドウがポップアップしてスカンクの映像を示す。一実施形態において、ウェブベースのコンテンツへのリンクが、ワークブックのページのデジタル表象上に異なる色で現れるようにすることができる。
【００５３】
別の例示の実施形態において、ワークブックのページ内の語句または画像をタップすることにより、デジタルテキストブックの対応するページをトリガして、コンピュータ装置１１５上に表示されるようにすることができる。例えば、用語集または作業した解答をユーザに対して表示して、ワークブックの問題を解く学生を支援することができる。また、ワークブックのページ上にプリントされたアイコンをタップすることにより、音声（音楽、外国語会話、第二言語教育、など）を再生すること、または、映像をトリガしてコンピュータ装置１１５に提示させること、ができる。学生にとっての益は、学生が、非学問的なコンテンツより、方向性を見失ったり気が散ったりすることを心配することなく、ウェブベースのマルチメディアコンテンツに素早くナビゲートできることである。
【００５４】
（追加の実施形態）
実施形態についての上記の説明は、例示の目的で提示されたものであり、包括的であることも、開示される正確な形式に本発明を限定することも意図されない。当該技術を有する者は、上記の開示に照らして、多くの修正および変更が可能であることを理解することができる。
【００５５】
本説明のある部分では、情報に対する操作のアルゴリズムおよび象徴的な表現の観点から、実施形態を説明する。これらのアルゴリズム的な説明および表現は、データ処理技術を有する者により共通に使用されて、彼らの作業の内容が他の技術を有する者に効果的に伝達される。これらの操作は、機能的、コンピュータ的、または論理的に説明されるが、コンピュータプログラムもしくは等価の電気回路、またはマイクロコード、などにより実装されることが理解される。さらに、操作についてのこれらの構成を、普遍性を失うことなくモジュールとして、言及することは、時には好都合であることも証明された。説明した操作および関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせにおいて具現化されてよい。
【００５６】
本明細書に記載されるステップ、操作、または処理のいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他の装置との組み合わせで、実行または実装することができる。一実施形態において、ソフトウェアモジュールは、記載されるステップ、操作、または処理のいずれかまたは全てを実行するための、コンピュータプロセッサにより実行可能であるコンピュータプログラム命令を含有する、非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。
【００５７】
実施形態はまた、本明細書に記載される操作を実行するための装置にも関係してよい。この装置は、必要とされる目的のために特別に構築されてよく、および／または、コンピュータ内に記憶されるコンピュータプログラムにより選択的に起動または再構成される汎用コンピュータ装置を備えてよい。かかるコンピュータプログラムは、電子的な命令を記憶するのに適した、かつ、コンピュータシステムバスに連結される任意のタイプの有形の媒体を含む、有形のコンピュータ可読記憶媒体に記憶されてよい。さらに、明細書において言及される任意のコンピュータシステムは、単一のプロセッサを含んでよく、または、増大する計算能力のためのマルチプロセッサ設計を採用するアーキテクチャであってよい。
【００５８】
最後に、明細書内で使用される言語は、主に読みやすさおよび教示の目的で選択されたものであり、発明の主題の輪郭を描くことまたは境界線を描くことのために選択されてはいないものとする。従って、本発明の範囲は、本詳細な説明によって制限されるのではなく、むしろ、本明細書に基づく応用に由来する任意の請求項により制限されることが意図される。従って、本発明の実施形態の開示では、以下の請求項において記載される本発明の範囲を、非制限的に、例証することが意図される。
【図１】
2015533004.tif 000003
【図２】
2015533004.tif 000004
【図３】
2015533004.tif 000005
【図４】
2015533004.tif 000006
【国際調査報告】
2015533004.tif 000007
2015533004.tif 000008