(57)【要約】  中央装置が、複数のスマートペン装置から手書きジェスチャを同時に受信する。各組の手書きジェスチャには、対応するスマートペン装置の、書き込み面に対する空間位置のシーケンスが含まれる。手書きジェスチャの表現は、表示画面上に表示され、表現は、異なる組の手書きジェスチャ間の相対的なタイミングを示す。一実施形態において、受信した手書きジェスチャの一部が、表示用に出力される。
2015533003.tif 000002
【特許請求の範囲】
【請求項１】
中央装置により、第１のスマートペン装置から第１の手書きジェスチャを無線で受信するステップであって、前記第１の手書きジェスチャには、第１の書き込み面に対する、前記第１のスマートペン装置の空間位置のシーケンスが含まれる、ステップと、
前記中央装置により、第２のスマートペン装置から第２の手書きジェスチャを無線で受信するステップであって、前記第２の手書きジェスチャには、第２の書き込み面に対する、前記第２のスマートペン装置の空間位置のシーケンスが含まれ、前記第２の手書きジェスチャの少なくとも一部が第１の手書きジェスチャ前記と同時に受信される、ステップと、
前記第１および第２のスマートペン装置から受信したメタデータを認識することにより、前記第１および第２のスマートペン装置を識別するステップと、
前記第１および第２の手書きジェスチャの表現を表示画面上に同時に表示するステップであって、前記表示するステップには、前記第１および第２の手書きジェスチャが、前記第１および第２のスマートペン装置によりキャプチャされたまま、略リアルタイムで表現再現するステップが含まれる、ステップと、
を含むことを特徴とするコンピュータに実装される方法。
【請求項２】
前記中央装置により、前記第１のスマートペン装置から音声データを受信するステップであって、前記音声データが、第１のスマートペン装置の音声キャプチャシステムによりキャプチャされる、ステップと、
前記中央装置からの音声データの表現を再現するステップと、
をさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
【請求項３】
前記音声データは、前記音声データと同時に生成される対応する手書きジェスチャと、時間的に同期されることを特徴とする請求項２に記載のコンピュータに実装される方法。
【請求項４】
前記受信した手書きジェスチャの一部を選択して、前記受信した手書きジェスチャの一部を表示用に出力するステップをさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
【請求項５】
各表示される表現をフィルタリングして、対応するスマートペン装置を識別するステップをさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
【請求項６】
前記識別されたスマートペン装置からの前記第１および第２の手書きジェスチャの表現を、表示画面上の別個の表示ウィンドウに表示するステップをさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
【請求項７】
各識別されたスマートペン装置からの各表現を異なる色で表示するステップをさらに含むことを特徴とする請求項６に記載のコンピュータに実装される方法。
【請求項８】
前記第１および第２の手書きジェスチャの表現を表示画面上に同時に表示するステップが、前記表示する表現を互いに重なり合わせるステップをさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
【請求項９】
前記中央装置において、前記第１および第２の手書きジェスチャのうちの１つの選択されたものを受け取るステップと、
前記第１および第２の手書きジェスチャのうちの前記１つの選択されたものを表示画面上に表示するステップと、
をさらに含むことを特徴とする請求項１に記載のコンピュータに実装される方法。
【請求項１０】
複数のスマートペンからの手書きジェスチャの表現を表示するためのコンピュータ実行可能命令を記憶する、非一時的コンピュータ可読記憶媒体であって、前記命令は、実行されるとプロセッサに、
中央装置により、第１のスマートペン装置から第１の手書きジェスチャを無線で受信するステップであって、前記第１の手書きジェスチャには、第１の書き込み面に対する、前記第１のスマートペン装置の空間位置のシーケンスが含まれる、ステップと、
前記中央装置により、第２のスマートペン装置から第２の手書きジェスチャを無線で受信するステップであって、前記第２の手書きジェスチャには、第２の書き込み面に対する、前記第２のスマートペン装置の空間位置のシーケンスが含まれ、前記第２の手書きジェスチャの少なくとも一部が第１の手書きジェスチャ前記と同時に受信される、ステップと、
前記第１および第２のスマートペン装置から受信したメタデータを認識することにより、前記第１および第２のスマートペン装置を識別するステップと、
前記第１および第２の手書きジェスチャの表現を表示画面上に同時に表示するステップであって、前記表示するステップには、前記第１および第２の手書きジェスチャが、前記第１および第２のスマートペン装置によりキャプチャされたまま、略リアルタイムで表現再現するステップが含まれる、ステップと、
を実行させることを特徴とする非一時的コンピュータ可読記憶媒体。
【請求項１１】
前記命令は、実行されると前記プロセッサに、
前記中央装置により、前記第１のスマートペン装置から音声データを受信するステップであって、前記音声データが、第１のスマートペン装置の音声キャプチャシステムによりキャプチャされる、ステップと、
前記中央装置からの音声データの表現を再現するステップと、
をさらに実行させることを特徴とする請求項１０に記載の非一時的コンピュータ可読記憶媒体。
【請求項１２】
前記音声データは、前記音声データと同時に生成される対応する手書きジェスチャと、時間的に同期されることを特徴とする請求項１１に記載の非一時的コンピュータ可読記憶媒体。
【請求項１３】
前記命令は、実行されると前記プロセッサに、
前記受信した手書きジェスチャの一部を選択して、前記受信した手書きジェスチャの一部を表示用に出力するステップをさらに実行させることを特徴とする請求項１０に記載の非一時的コンピュータ可読記憶媒体。
【請求項１４】
前記命令は、実行されると前記プロセッサに、
各表示される表現をフィルタリングして、対応するスマートペン装置を識別するステップをさらに実行させることを特徴とする請求項１０に記載の非一時的コンピュータ可読記憶媒体。
【請求項１５】
前記命令は、実行されると前記プロセッサに、
前記識別されたスマートペン装置からの前記第１および第２の手書きジェスチャの表現を、表示画面上の別個の表示ウィンドウに表示するステップをさらに実行させることを特徴とする請求項１０に記載の非一時的コンピュータ可読記憶媒体。
【請求項１６】
前記命令は、実行されると前記プロセッサに、
各識別されたスマートペン装置からの各表現を異なる色で表示するステップをさらに実行させることを特徴とする請求項１５に記載の非一時的コンピュータ可読記憶媒体。
【請求項１７】
前記第１および第２の手書きジェスチャの表現を表示画面上に同時に表示するステップが、前記表示する表現を互いに重なり合わせるステップをさらに含むことを特徴とする請求項１０に記載の非一時的コンピュータ可読記憶媒体。
【請求項１８】
前記命令は、実行されると前記プロセッサに、
前記中央装置において、前記第１および第２の手書きジェスチャのうちの１つの選択されたものを受け取るステップと、
前記第１および第２の手書きジェスチャのうちの前記１つの選択されたものを表示画面上に表示するステップと、
をさらに実行させることを特徴とする請求項１０に記載の非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、２０１２年１０月２６日に出願された米国仮特許出願第６１／７１９，２９８号の利益を主張するものであり、その開示は全体が参照により本明細書に組み込まれる。
【０００２】
本発明は、ペンベースのコンピュータシステムに関し、特に、記録された書き込み、音声、およびデジタルコンテンツをスマートペン環境において同期させることに関する。
【背景技術】
【０００３】
スマートペンは、ユーザの書き込みジェスチャをデジタル処理でキャプチャして、キャプチャしたジェスチャを、様々なアプリケーションで利用可能なデジタル情報に変換する電子機器である。例えば、光学ベースのスマートペンでは、当該スマートペンが、デジタル処理でエンコードされる表面（例えば、ドットパターン）に対する書き込みの間に、ペンの座標を検出し、かつ記録する光学センサを含む。加えて、従来のスマートペンには、埋め込みマイクを含み、当該スマートペンが、書き込みジェスチャのキャプチャと同期して音声をキャプチャすることを可能にするものがある。そして、同期された音声とジェスチャのデータを、再現（replay）することができる。従って、スマートペンは、紙の領域での操作の利便性と、デジタル環境に関連する機能性および柔軟性との両方を提供することにより、豊かなノート取り経験（note taking experience）をユーザに提供することができる。
【発明の概要】
【０００４】
本発明の実施形態は、中央装置により、複数のスマートペン装置から手書きジェスチャを同時に受信するための方法および非一時的コンピュータ可読記憶媒体を提供する。各組の手書きジェスチャには、対応するスマートペン装置の、書き込み面に対する空間位置のシーケンスが含まれる。手書きジェスチャの表現（representations）が、表示画面上に表示され、表現は、異なる組の手書きジェスチャ間の相対的タイミングを示す。一実施形態において、第１および第２の手書きジェスチャの表示された表現は、互いに重なり合う。別の実施形態において、受信した手書きジェスチャの一部が、表示用に出力される。
【０００５】
一実施形態において、中央装置はまた、１つまたは複数のスマートペン装置から音声データを受信し、音声データの表現を再現する。いくつかの実施形態において、スマートペン装置は、スマートペン装置からのメタデータを認識することにより識別され、識別されたスマートペン装置からの手書きジェスチャの表現が、表示画面上の別個の表示ウィンドウに表示される。
【図面の簡単な説明】
【０００６】
【図１】スマートペンベースのコンピュータ環境の一実施形態の概略図である。
【図２】ペンベースのコンピュータシステムにおいて使用するためのスマートペン装置の一実施形態を示す図である。
【図３】スマートペン装置の一実施形態によりキャプチャされた、同期させた書き込み、音声、およびデジタルコンテンツのデータフィードの一例を示すタイムライン図である。
【図４】スマートペンベースのコンピュータ環境において異なるスマートペン装置を使用している、複数のユーザ間で情報共有する方法の一実施形態のブロック図である。
【図５】複数のユーザからデータを選択して共有画面に出力するためのインターフェースの一例を示す図である。
【０００７】
図面は種々の実施形態を説明のみの目的で示す。当業者は、本明細書において説明される構造および方法の代替実施形態が、本明細書に記載される原理から逸脱することなく採用されてよいことを、以下の説明から容易に認識するであろう。
【発明を実施するための形態】
【０００８】
（ペンベースのコンピュータ環境の概要）
図１は、ペンベースのコンピュータ環境１００の一実施形態を示す。ペンベースのコンピュータ環境は、音声源１０２、書き込み面１０５、スマートペン１１０、コンピュータ装置１１５、ネットワーク１２０、およびクラウドサーバ１２５を備える。代替実施形態では、異なるまたは追加的な装置、例えば、追加的なスマートペン１１０、書き込み面１０５、およびコンピュータ装置１１５などがあってよい（または、１つまたは複数の装置が無くてもよい）。
【０００９】
スマートペン１１０は、書き込み面１０５との対話（例えば、書き込みジェスチャおよび／またはコントロール入力）をデジタル処理でキャプチャし、同時に音声源１０２から音声をキャプチャする電子機器である。スマートペン１１０は、直接またはネットワーク１２０を介して、コンピュータ装置１１５と通信可能に連結される。キャプチャされた書き込みジェスチャ、コントロール入力、および／または音声は、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションでの使用のために、スマートペン１１０からコンピュータ装置１１５に（例えば、リアルタイムで、またはその後に）転送されてよい。さらに、デジタルデータおよび／またはコントロール入力は、スマートペン１１０上で実行されるアプリケーションでの使用のために、コンピュータ装置１１５からスマートペン１１０に（リアルタイム、またはオフライン処理で）通信されてよい。クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５による利用が可能な、リモート記憶装置および／またはアプリケーションサービスを提供する。従って、コンピュータ環境１００は、紙およびデジタルの両領域におけるユーザ対話を結びつける多様なアプリケーションを可能にする。
【００１０】
一実施形態において、スマートペン１１０は、ペン（例えば、インクベースのボールペン、インク不使用のスタイラス装置、ディスプレイ上に「デジタルインク」を残留させるスタイラス装置、フェルトペン、鉛筆、または他の書き込み装置）を、埋め込まれたコンピュータ構成要素および種々の入力／出力機能と共に、備える。ユーザは、ユーザが従来のペンで行う様に、スマートペン１１０を用いて書き込み面１０５上に書き込むことができる。操作の間、スマートペン１１０は、書き込み面１０５上になされる書き込みジェスチャをデジタル処理でキャプチャし、書き込みジェスチャの電子的表現を記憶する。キャプチャされた書き込みジェスチャは、空間成分と時間成分の両方を有する。例えば、一実施形態において、スマートペン１１０は、種々のサンプル時間でのスマートペン１１０の書き込み面１０５に対する位置のサンプル（例えば、座標情報）をキャプチャし、キャプチャした位置情報を、各サンプルのタイミング情報と共に記憶する。キャプチャした書き込みジェスチャには、異なる書き込み面１０５でキャプチャしたデータ間を区別するために、特定の書き込み面１０５に関連する識別情報、例えば、特定のノートの特定のページの識別情報などが、さらに含まれてよい。一実施形態において、スマートペン１１０はまた、ユーザにより選択される、書き込みジェスチャの他の属性をキャプチャする。例えば、インクの色は、スマートペン１１０上の物理的なキーを押下すること、書き込み面上のプリントされたアイコンをタップすること、コンピュータディスプレイ上のアイコンを選択すること、などにより選択することができる。このインク情報（色、線の幅、線のスタイルなど）はまた、キャプチャしたデータ内にエンコードされてよい。
【００１１】
スマートペン１１０は、加えて、書き込みジェスチャをキャプチャしながら同時に、音声源１０２（例えば、環境音）から音声をキャプチャすることができる。スマートペン１１０は、キャプチャした音声データを、キャプチャした書き込みジェスチャと同期させて記憶する（すなわち、キャプチャしたジェスチャとキャプチャした音声間の相対的タイミングが保存される）。さらに、スマートペン１１０は、加えて、書き込みジェスチャおよび／または音声をキャプチャしながら同時に、デジタルコンテンツをコンピュータ装置１１５からキャプチャすることができる。デジタルコンテンツには、例えば、コンピュータ装置１１５とのユーザ対話、または、コンピュータ装置１１５上で閲覧されている時間ベースのコンテンツ（例えば、映像）に関連する同期情報（例えば、キューポイント）、が含まれてよい。スマートペン１１０は、キャプチャした書き込みジェスチャおよび／またはキャプチャした音声データと時間的に同期させた、デジタルコンテンツを記憶する（すなわち、キャプチャしたジェスチャ、音声、およびデジタルコンテンツ間の相対的タイミング情報が保存される）。
【００１２】
同期は、様々な異なる方法で確保されてよい。例えば、一実施形態において、ユニバーサルクロックが異なる装置間の同期に使用される。別の実施形態において、ローカルの装置間の同期が、２つまたはそれ以上の装置間で行われてよい。別の実施形態において、外部のコンテンツを、最初にキャプチャしたデータと結びつけること、また、特定のセッション中にキャプチャされたコンテンツに同期させること、ができる。
【００１３】
一代替実施形態において、音声および／またはデジタルコンテンツは、スマートペン１１０によってキャプチャされることに代えて、または加えて、代わりにコンピュータ装置１１５によってキャプチャされてよい。キャプチャした書き込みジェスチャ、音声データ、および／またはデジタルデータの同期は、スマートペン１１０、コンピュータ装置１１５、リモートサーバ（例えば、クラウドサーバ１２５）、または、装置の組み合わせにより行うことができる。さらに、一代替実施形態において、書き込みジェスチャのキャプチャは、スマートペン１１０の代わりに書き込み面１０５によって行うことができる。
【００１４】
一実施形態において、スマートペン１１０は、視覚および／または音声の情報を出力することが可能である。スマートペン１１０はさらに、異なる入力に応答して種々の出力およびスマートペン１１０の操作をコントロールする、１つまたは複数のソフトウェアアプリケーションを実行することができる。
【００１５】
一実施形態において、スマートペン１１０は、さらに、書き込み面１０５上のテキストまたは他の事前にプリントされたコンテンツを検出することができる。例えば、スマートペン１１０は、書き込み面１０５上の特定の単語または画像をタップすることができ、また、次に、スマートペン１１０は、コンテンツの認識に応じて他の動作を行うことができ、例えば、サウンドを再生する、または、何らかの他の機能を実行することができる。例えば、スマートペン１１０は、ページ上の単語の翻訳を、翻訳を画面上に表示すること、または、その音声記録を再生することにより、行うことができる（例えば、中国語文字を英語の単語に翻訳する）。
【００１６】
一実施形態において、書き込み面１０５は、用紙（または、書き込み可能な任意の他の適切な材料）を備え、スマートペン１１０によって読み込み可能なパターン（例えば、ドットパターン）を用いてエンコードされる。パターンは、書き込み面１０５に対するスマートペン１１０の相対的な位置決め（例えば、相対的または絶対的）を、スマートペン１１０が判定可能であるべく十分に一意的である。別の実施形態において、書き込み面１０５は、電子ペーパすなわちｅ−ペーパを備え、または、電子機器（例えば、タブレット）の表示画面を備えてよい。これらの実施形態において、検知は、書き込み面１０５によって、または、スマートペン１１０と連動して、全体的に行われてよい。スマートペン１１０の動きは、例えば、スマートペン装置の光学的検知を介して、スマートペン装置の動き検知を介して、書き込み面１０５の接触検知を介して、音響検知を介して、基準マーキングを介して、または他の適切な手段により、検知することができる。
【００１７】
ネットワーク１２０により、スマートペン１１０、コンピュータ装置１１５、およびクラウドサーバ１２５間の通信が可能とされる。ネットワーク１２０により、スマートペン１１０は、例えば、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、キャプチャしたデジタルコンテンツを転送すること、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、制御信号を通信すること、および／または、スマートペン１１０、コンピュータ装置１１５、および／またはクラウドサーバ１２５間で、種々の他のデータ信号を通信することが可能となり、種々のアプリケーションを有効にされる。ネットワーク１２０には、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｆｉ、セルラーネットワーク、赤外線通信、音波通信、またはカスタムプロトコルなどの無線通信プロトコルが含まれてよく、および／または、ＵＳＢまたはＥｔｈｅｒｎｅｔ（登録商標）などの有線通信プロトコルが含まれてよい。あるいはまたは加えて、スマートペン１１０およびコンピュータ装置１１５は、ネットワーク１２０を必要としない有線または無線の接続を介して直接通信することができる。
【００１８】
コンピュータ装置１１５には、例えば、タブレットコンピュータ装置、携帯電話、ラップトップもしくはデスクトップ型のコンピュータ、または他の電子機器（例えば、別のスマートペン１１０）が含まれてよい。コンピュータ装置１１５は、スマートペン１１０と連動して使用可能な１つまたは複数のアプリケーションを実行することができる。例えば、スマートペン１１０によってキャプチャされたコンテンツは、記憶、再生、編集、および／またはさらなる処理のために、コンピュータシステム１１５に転送されてよい。加えて、コンピュータ装置１１５上で利用可能なデータおよび制御信号は、スマートペン１１０に転送されてよい。さらに、スマートペン１１０およびコンピュータ装置１１５上で同時に実行されるアプリケーションは、スマートペン１１０とコンピュータ装置１１５との間の、様々な異なるリアルタイムの対話を有効にすることができる。例えば、スマートペン１１０と書き込み面１０５との間の対話を使用して、コンピュータ装置１１５上で実行されるアプリケーションに、入力を与えることができる（または、逆も同様である）。
【００１９】
スマートペン１１０とコンピュータ装置１１５との間の通信を有効にするために、スマートペン１１０およびコンピュータ装置は、お互いに「ペアリング」を確立することができる。ペアリングにより、装置は、お互いを認識し、２つの装置間のデータ転送を承認することができる。一度ペアリングされると、データおよび／または制御信号を、有線または無線手段を通じて、スマートペン１１０とコンピュータ装置１１５との間を送信させることができる。
【００２０】
一実施形態において、スマートペン１１０とコンピュータ装置１１５の両方は、そのそれぞれのネットワークアダプタにリンクされるＴＣＰ／ＩＰネットワークスタックを持つ。装置１１０、１１５は従って、直接（ＴＣＰ）およびブロードキャスト（ＵＤＰ）のソケットを使用する通信であって、これらのソケットを使用した通信が可能なスマートペン１１０およびコンピュータ装置１１５のそれぞれで実行されるアプリケーションとの通信、をサポートする。
【００２１】
クラウドサーバ１２５には、スマートペン１１０および／またはコンピュータ装置１１５にネットワーク１２０を介して連結されるリモートコンピュータシステムが含まれる。例えば、一実施形態において、クラウドサーバ１２５は、スマートペン１１０および／またはコンピュータ装置１１５によってキャプチャされたデータのためのリモート記憶装置を提供する。さらに、クラウドサーバ１２５上に記憶されるデータは、種々のアプリケーションとの関係で、スマートペン１１０および／またはコンピュータ装置１１５によりアクセスまたは使用が可能である。
【００２２】
（スマートペンシステムの概要）
図２は、スマートペン１１０の一実施形態を示す。例示の実施形態において、スマートペン１１０は、マーカ２０５、撮像システム（imaging system）２１０、ペンダウンセンサ２１５、１つまたは複数のマイクロフォン２２０、スピーカ２２５、音声ジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、および電池２５５を備える。スマートペン１１０にはまた、電源ボタンまたは音声記録ボタン、および／または、ステータス表示ライト、などのボタンが含まれてよい。代替実施形態において、スマートペン１１０は、図２に示すものより少ないもしくは追加的な、または異なる構成要素を有することができる。
【００２３】
マーカ２０５は、任意のインクベースもしくはグラファイトベースのマーキング装置、または、書き込みに使用可能な任意の他の装置を含む、任意の適切なマーキング機構を備える。マーカ２０５は、感圧素子などのペンダウンセンサ２１５に連結される。ペンダウンセンサ２１５は、マーカ２０５が面に対して押される際に出力を生み出し、それにより、スマートペン１１０が使用されて面に書き込みがされている時、または、書き込み面１０５上でのコントロールまたはボタン（例えば、タッピング）と対話している時を検出する。一代替実施形態において、異なるタイプの「マーキング」センサを使用して、ペンがマークをマーキングしている時、または、書き込み面１１０と対話している時を判定することができる。例えば、ペンアップセンサを使用して、スマートペン１１０が書き込み面１０５と対話していない時を検出してもよい。あるいは、スマートペン１１０は、書き込み面１０５上のパターンが焦点にある時を（例えば、キャプチャされた画像の高速フーリエ変換に基づき）判定することができ、そして、それに従って、スマートペンが書き込み面１０５の範囲内にある時を判定することができる。別の代替実施形態において、スマートペン１１０は、ペンが書き込みしている時、または、書き込み面１０５上のコントロールと対話している時を示す振動を検出することが可能である。
【００２４】
撮像システム２１０は、マーカ２０５近辺の面の領域を撮像するための十分な光学装置およびセンサを備える。撮像システム２１０を使用して、スマートペン１１０でなされる手書きおよびジェスチャをキャプチャすることができる。例えば、撮像システム２１０には、マーカ２０５の近く全体の書き込み面１０５を照らす赤外光源が含まれてよく、それにおいて、書き込み面１０５にはエンコードされたパターンが含まれる。エンコードされたパターンの画像を処理することにより、スマートペン１１０は、マーカ２０５が、書き込み面１０５に関連してどこにあるのかを判定することができる。そして、撮像システム２１０の撮像アレイにより、マーカ２０５近辺の面が撮像され、その視野内にある符号化されたパターンの部分がキャプチャされる。
【００２５】
スマートペン１１０の他の実施形態において、書き込みジェスチャをキャプチャするための適切な代替機構が使用されてよい。例えば、一実施形態において、単語または写真もしくは他の画像の一部などの事前にプリントされたマークを使用して、ページ上の位置が判定される。検出されたマークをデジタル版の文書に相関させることにより、スマートペン１１０の位置を判定することができる。例えば、一実施形態において、プリントされた新聞に対するスマートペンの位置は、スマートペン１１０の撮像システム２１０によってキャプチャされた画像を、クラウドベースのデジタル版の新聞と比較することにより判定することができる。本実施形態において、書き込み面１０５上のエンコードされたパターンは、必ずしも必要ではなく、なぜなら、ページ上の他のコンテンツを基準点として使用することができるからである。
【００２６】
一実施形態において、撮像システム２１０によってキャプチャされたデータは、続いて処理され、文字認識などの１つまたは複数のコンテンツ認識アルゴリズムを、受信データに適用することができる。別の実施形態において、撮像システム２１０を使用して、既に書き込み面１０５上に存在する書き込まれたコンテンツをスキャンかつキャプチャすることができる。これは、例えば、書き込み面１０５上の手書きもしくはプリントされたテキスト、画像、またはコントロールを認識するために使用することができる。さらに、撮像システム２１０をペンダウンセンサ２１５と組み合わせて使用して、マーカ２０５が書き込み面１０５に接触している時を判定してもよい。例えば、スマートペン１１０は、ユーザが、書き込み面１０５の特定の場所にあるマーカ２０５をタップする時を検知することができる。
【００２７】
スマートペン１１０はさらに、音声をキャプチャするための１つまたは複数のマイクロフォン２２０を備える。一実施形態において、１つまたは複数のマイクロフォン２２０は、プロセッサ２４５、または、信号プロセッサ（不図示）により実行される信号処理ソフトウェアに連結され、これは、マーカ２０５が書き込み面上を移動する際に発生するノイズ、および／または、スマートペン１１０が書き込み面に接触するまたは書き込み面から離れる際に発生するノイズを除去するものである。上記で説明したように、キャプチャした音声データは、音声データとキャプチャしたジェスチャとの間の相対的なタイミングを保存する様式で記憶されてよい。
【００２８】
入力／出力（Ｉ／Ｏ）装置２４０により、スマートペン１１０とネットワーク１２０および／またはコンピュータ装置１１５との間の通信が可能となる。Ｉ／Ｏ装置２４０には、有線および／または無線の通信インターフェース、例えば、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ、赤外線、または超音波のインターフェースなど、が含まれてよい。
【００２９】
スピーカ２２５、音声ジャック２３０、およびディスプレイ２３５は、データ提示のためにスマートペン１１０のユーザに対して出力を提供する出力装置である。音声ジャック２３０は、イヤホンに連結され、スピーカ２２５とは異なり、ユーザの周囲の人の邪魔をせずにユーザが音声出力を聴くことができるようにする。一実施形態において、音声ジャック２３０はまた、各イヤピースにスピーカとマイクロフォンの両方が含まれる両耳用のヘッドセットの場合は、マイクロフォンジャックとしても機能する。両耳用のヘッドセットを使用することにより、より現実的な音声をキャプチャすることが可能とされ、なぜなら、マイクロフォンがユーザの耳の近辺に配置されるからであり、従って、ユーザが室内で聴いているような音声がキャプチャされる。
【００３０】
ディスプレイ２３５は、視覚フィードバックを提供するための、有機発光ダイオード（ＯＬＥＤ）ディスプレイなどの、任意の適切なディスプレイシステムを備えてよく、スマートペン１１０は視覚的な出力を提供することができる。使用時、スマートペン１１０は、これらの出力構成要素のいずれか使用して、音声または視覚フィードバックを通信することができ、データは複数の出力様式を使用して提供される。例えば、スピーカ２２５および音声ジャック２３０は、スマートペン１１０上で実行中のアプリケーションに従って、音声フィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を通信することができ、また、ディスプレイ２３５は、そのようなアプリケーションによる指示の通りに、語句、静的もしくは動的な画像、またはプロンプトを表示することができる。加えて、スピーカ２２５および音声ジャック２３０を使用して、マイクロフォン２２０を使用して記録してある音声データを再生することもできる。スマートペン１１０はまた、ユーザに触覚フィードバックを与えてもよい。触覚フィードバックには、例えば、単純な振動通知、または、仮想ボタンもしくは他のプリント／表示されたコントロールと対話する感覚を提供する、スマートペン１１０のさらに洗練された動き、が含まれてよい。例えば、プリントされたボタン上をタップすることにより、「クリック」音およびボタンが押下されたという感覚を生み出してもよい。
【００３１】
プロセッサ２４５、オンボードメモリ２５０（例えば、非一時的なコンピュータ可読記憶媒体）、および電池２５５（または、任意の他の適切な電源）は、コンピューティング機能がスマートペン１１０上の少なくとも一部において実行されることを可能にする。プロセッサ２４５は、入力装置および出力装置、ならびに、上述の他の構成要素に連結され、それにより、スマートペン１１０上で実行中のアプリケーションがそれらの構成要素を使用できるようにする。その結果、実行可能なアプリケーションは、オンボードメモリ２５０の非一時的なコンピュータ可読記憶媒体に記憶され、かつ、プロセッサ２４５により実行されて、本明細書において記載されるスマートペン１１０に起因する種々の機能を行うことが可能となる。メモリ２５０はさらに、記録された音声、手書き、およびデジタルコンテンツを、無期限に、またはスマートペン１１０からコンピュータシステム１１５またはクラウドサーバ１２５にオフロードされるまで、記憶することができる。
【００３２】
一実施形態において、プロセッサ２４５およびオンボードメモリ２５０には、ファイルシステムまたはアプリケーションメニューを通じてメニュー構造およびナビゲーションをサポートかつ有効にする、１つまたは複数の実行可能アプリケーションが含まれ、アプリケーションまたはアプリケーションの機能を起動することができる。例えば、メニュー項目間のナビゲーションには、ユーザによる発話されたおよび／または書き込まれたコマンドおよび／またはジェスチャ、ならびに、スマートペンコンピュータシステムからの音声および／または視覚フィードバックに関与する、ユーザとスマートペン１１０との間の対話が含まれる。一実施形態において、ペンコマンドは、「起動ライン」を使用してアクティブにすることができる。例えば、ドットペーパ上で、ユーザは水平な線を右から左に描き、次に、最初の線分上を戻り、この時、ペンはユーザにプロンプトしてコマンドを求める。そして、ユーザは、ラインの上にアクセス対象の所望のコマンドまたはメニュー（例えば、Ｗｉ−Ｆｉ設定、再生記録、など）を（例えば、ブロック文字を使用して）プリントする。統合文字認識（ＩＣＲ）を使用して、ペンは、書き込まれたジェスチャを、コマンドまたはデータの入力用のテキストに変換することができる。代替実施形態において、異なるタイプのジェスチャを認識して、起動ラインを有効にすることができる。従って、スマートペン１１０は、入力を受け取り、様々な様式からメニュー構造をナビゲートすることができる。
【００３３】
（書き込み、音声、およびデジタルのデータストリームの同期）
図３は、スマートペン環境１００におけるスマートペン１１０の操作中に存在する（および、選択的にキャプチャされる）、種々のデータフィードの一例を示す。例えば、一実施形態において、書き込みデータフィード３００、音声データフィード３０５、およびデジタルコンテンツデータフィード３１５が全て、共通の時間インデックス３１５に同期している。書き込みデータフィード３０２は、例えば、特定の書き込み面１０５に対するスマートペンの位置の座標情報（例えば、「Ｘ」および「Ｙ」座標）をエンコードしたデジタルサンプルのシーケンスを表す。加えて、一実施形態において、座標情報には、ペンの角度、ペンの回転、ペンの速度、ペンの加速度、またはスマートペン１１０の位置、角度、もしくは動きについての他の特徴が含まれてよい。書き込み面１０５は、時間と共に変化してよく（例えば、ユーザがノートのページを変える、またはノードを切り替える時に）、従って、書き込み面の識別情報も、（例えば、ページ要素「Ｐ」として）キャプチャされる。書き込みデータフィード３０２にはまた、ユーザが書き込みしているか否かを識別する（例えば、ペンアップ／ペンダウンセンサ情報）、または、スマートペン１１０との他のタイプの対話を識別する、スマートペン１１０によってキャプチャされる他の情報が含まれてよい。
【００３４】
音声データフィード３０５は、例えば、特定のサンプル時間においてキャプチャされたデジタル音声サンプルのシーケンスを表す。いくつかの実施形態において、音声データフィード３０５には、多重音声信号（例えば、ステレオ音声データ）が含まれてよい。デジタルコンテンツデータフィード３１０は、例えば、コンピュータ装置１１５上で実行される１つまたは複数のアプリケーションに関連する状態のシーケンスを示す。例えば、デジタルコンテンツデータフィード３１０には、特定のサンプル時間におけるコンピュータ装置１１５の状態をそれぞれが表すデジタルサンプルのシーケンスが含まれてよい。状態情報は、例えば、所与の時間においてコンピュータ装置１１５により表示されているデジタル文書の特定の部分、コンピュータ装置１１５により再生されている映像の現在の再生フレーム、所与の時間においてコンピュータ装置１１５により記憶されている入力のセット、などを表すことができる。コンピュータ装置１１５の状態は、コンピュータ装置１１５とのユーザ対話に基づき、および／または、書き込みデータフィード３０２からのコマンドもしくは入力（例えば、ジェスチャコマンド）または音声データフィード３０５からのコマンドもしくは入力（例えば、音声コマンド）に応答して、時間と共に変化してよい。例えば、書き込みデータフィード３０２により、コンピュータ装置１１５の状態に対してリアルタイムの更新を行ってよく、例えば、キャプチャしたままの書き込みデータフィード３０２をリアルタイムで表示すること、または、書き込みデータフィード３０２のキャプチャしたジェスチャにより表される入力に基づきコンピュータ装置１１５の表示を変更することなどができる。図３は１つの代表的な例を提供するが、他の実施形態には、例示するものよりも少ないもしくは追加的なデータフィード（異なるタイプのデータフィードが含まれる）が含まれてよい。
【００３５】
既に述べようたように、データフィード３０２、３０５、３１０のうちの１つまたは複数が、時間インデックス３１５と相関して、スマートペン１１０、コンピュータ装置１１５、クラウドサーバ１２０、または装置の組み合わせによってキャプチャされてよい。そして、データフィード３０２、３０５、３１０のうちの１つまたは複数は、同期して再現することが可能である。例えば、書き込みデータフィード３０２は、例えば、キャプチャした書き込みジェスチャの「動画」としてコンピュータ装置１１５のディスプレイ上に、音声データフィード３０５と共に再現させることができる。さらに、デジタルコンテンツデータフィード３１０は、以前記録した状態のシーケンス間をキャプチャしたタイミングに従って、コンピュータ装置１１５を遷移させる「動画」として、再現させることができる。
【００３６】
別の実施形態においては、ユーザは、様々な異なる方法で、記録データと対話することが可能である。例えば、一実施形態において、ユーザは、以前キャプチャした書き込みに対応する書き込み面１０５上の特定の場所と対話する（例えば、タップする）ことができる。そして、その特定の場所での書き込みが発生した時に対応する時刻位置を、判定することができる。あるいは、コンピュータ装置１１５上のスライダナビゲーションツールを使用することにより、または、デジタルコンテンツデータフィード２１０内の特定の時刻位置に対して一意的な状態に、コンピュータ装置１１５を置くことにより時刻位置を識別することができる。音声データフィード３０５、デジタルコンテンツデータフィード３１０、およびまたは書き込みデータフィードは、識別された時刻位置から開始して再現させることができる。加えて、ユーザは、データフィード３０２、３０５、３１０の内の１つまたは複数を、識別された時刻位置において、修正するべく追加することができる。
（スマートペンベースのコンピュータ環境内における複数ユーザコラボレーション）
【００３７】
一実施形態において、スマートペンシステムでは、共通の仮想ワークスペースにおいて、個人のグループが情報を便利に共有することが可能とされる。例えば、複数のスマートペン１１０（および、対応する書き込み面１０５）を用いた環境において、個々のスマートペン１１０のうちの１つまたは複数によりキャプチャされた書き込みジェスチャを、共有／仮想ホワイトボードに表示するために、および／または、その後のために保持するために、中央装置に送信することができる。グループに対して表示されるジェスチャデータに対しては、個々のユーザを識別するためにフィルタリングおよび／または調整を行うことができる（例えば、ユーザごとに異なる色を用いる）。さらに、スマートペンのうちの１つまたは複数からキャプチャされたデータは、何らかの様式で制限を加えてから、それらのユーザのサブセットごとに、個々のディスプレイに送ってもよい。加えて、ジェスチャデータ内にあるタイミング情報を利用して、１つまたは複数のユーザにより入力を再現することができ、最初にジェスチャデータがキャプチャされた順番と速度で示される。
【００３８】
図４は、スマートペンベースのコンピュータ環境における、共通の仮想空間内の複数のスマートペンユーザ間で、情報を共有するための方法の一例を示す。一実施形態において、スマートペンベースのコンピュータ環境には、複数のスマートペン１１０（例えば、スマートペン１１０−１、．．．、１１０−Ｎ）、複数の書き込み面１０５、および、任意で１つまたは複数のコンピュータ装置１１５が含まれる。例えば、スマートペンベースのコンピュータ環境には、各学生がスマートペン１１０／書き込み面１０５を持ち、指導者がコンピュータ装置１１５を持つ、という教室の設定が含まれてよい。
【００３９】
コラボレーティブ（collaborative）セッションの過程において、個々のスマートペン１１０（例えば、スマートペン１１０−１、．．．、１１０−Ｎ）それぞれが、それぞれのジェスチャデータをキャプチャし４０１、キャプチャしたデータを中央装置（例えば、コンピュータ装置１１５）に送信する４０２。例えば、教室環境においては、提示者が、参加者は何のためにいつ書き込みするべきかについての指示を与えることができ、学生の作業が、学生のスマートペン１１０を介してキャプチャされる。コンピュータ装置１１５は、１つまたは複数のスマートペン１１０から送信されたデータを受信する４０３。メタデータは、どのスマートペン１１０またはユーザが、特定の１組のデータに対応するのかを示すことができる。例えば、ペン１１０を区別するために、ユーザが設定可能なラベルを、各ペン１１０に割り当てることができ、該ラベルには、例えば、ユーザを識別するラベル（例えば、デイブのペン）または汎用のラベル（例えば、教室のペン＃２３）が含まれてよい。異なるペン１１０はまた、シリアル番号情報を内部的に持って、設定可能なラベルとは無関係に、各ペン１１０を一意的に識別することができる。
【００４０】
コンピュータ装置１１５は次に、受信したデータの表現を表示する４０４。一実施形態において、キャプチャ４０１、送信４０２、受信４０３、および表示４０４のステップは、略リアルタイムで発生するため、コンピュータ装置１１５の閲覧者は、各スマートペン１１０からのジェスチャを、それらが書き込まれているまま、見ることができる。教室の設定においては、これにより、例えば、指導者が各学生の作業を閲覧することができる。一実施形態において、複数組のデータを、コンピュータ装置１１５上で個々に閲覧して、ユーザまたはペン１１０により分類することができる。例えば、コンピュータ装置１１５には、異なるユーザからのコンテンツを画面の別々の部分に示す画面分割インターフェースが含まれてよい。あるいは、コンピュータ装置１１５には、異なるスマートペンユーザからのデータに対応する別々のウィンドウをユーザがフリップすることを可能とする、インターフェースが含まれてよい。
【００４１】
追加の実施形態において、複数のユーザからキャプチャした書き込みジェスチャが単一の表示面上に重なり合うように、複数組のデータが表示される。例えば、指導者が、複数の学生に課題について指示し、それにおいて各学生の書き込み面１０５は共通のドットパターンを有する。あるいは、異なるドットパターンが別々の書き込み面１０５に対して使用されて、別々の学生からのジェスチャを後処理工程で並べることができる。学生が作業を完了した後、指導者は、単一の表示面上で重なり合う、学生からの複数組のデータを閲覧することができ、表示面では、ドットパターンにより、キャプチャされた書き込みジェスチャを簡単に並べること可能とされる。これにより、指導者が、別々の学生の作業の共通点または相違点を見つけることが可能となる。いくつかの実施形態において、個々のユーザを識別するために、キャプチャされた書き込みジェスチャに、異なる色を割り当てることができる。ユーザは他の方法でもフィルタリングされてよい。
【００４２】
さらに、複数の書き込みデータフィード３００、音声データフィード３０５、および／またはデジタルコンテンツデータフィード３１５を、一斉または連続して、コンピュータ装置１１５で再現させることが可能である。これは、例えば、指導者が作業の順番とタイミングを見ることができるため、指導者は個々の学生の思考過程を洞察可能となり、有益である。
【００４３】
コンピュータ装置１１５は、受信したデータを後で使用するためにセーブすることができる。あるいは、データは、中央サーバ１２５によりセーブされ、要求がある時にコンピュータ装置１１５へダウンロードされてもよい。コンピュータ装置１１５のユーザはまた、１組または複数組の受信したデータを選択して、他の参加者と共有することもできる。ここで、コンピュータ装置１１５は、受信したデータの組のうちの１つまたは複数の選択を受け取る４０６。この１組または複数組のデータは次に、表示用に出力される４０８。いくつかの実施形態において、データを、異なる参加者に関連する個々のディスプレイに対して出力することができる。あるいは、データを、単一の共有表示面（例えば、部屋の最前にある大画面またはプロジェクタ）に対して出力することができる。一実施形態において、共有される前に、データに、フィルタリングまたは制限をかけることができる。例えば、識別情報を削除して、データを匿名で共有できるようにしてもよい。さらに、データのうちの他の選択部分をディスプレイから隠したり、または、種々の状況において見えるようにしたりしてよい。例えば、共有表示面を、特定の問題に関連する作業のみについて設定し、他の問題の関する作業を隠すことができる。
【００４４】
図５は、複数のスマートペン１１０からのジェスチャデータを閲覧するためのインターフェースを提示して、かつ、１組または複数組のデータを選択して他のユーザと共有することを可能にする、コンピュータ装置１１５上のディスプレイ５０２の一実施形態を示す。ここで、複数組のジェスチャデータ５０４が（例えば、４つの異なるスマートペン１１０から）受信され、個々にディスプレイ５０２上に表示される。コンピュータ装置１１５を制御するユーザが、１組のデータを選択して、他のユーザと単一の表示面５０６上で共有する。表示面５０６は、大画面でもよく、または、壁に投影されてもよく、または、表示に適した任意の面であってもよい。
【００４５】
この特定の例において、異なるデータ５０４は、指導者が提示した数学の問題に応答して、別々の学生が行った作業を表してよい。一実施形態において、ディスプレイ５０２により、指導者は、学生の書き込みをリアルタイムで、学生が問題を解くままに、閲覧することができる。そして、指導者は、学生の作業のうちの１つを教室で共有することができる（例えば、リアルタイムでまたは作業完了後）。別の実施形態において、指導者は、ディスプレイ５０２上でスマートペン１１０を用いて、学生の作業と対話することができる。例えば、指導者は、新しいジェスチャデータをその作業に加えることができる。
【００４６】
別の実施形態において、デジタルコンテンツを共有することにより、１個人の作業をプリントアウトして、異なるユーザと共有することが可能となる。例えば、指導者は、特定の問題の解答をプリントアウトし、１つまたは複数の学生に配布することができる一方、中央装置に、解答に関連するデジタルデータを学生のペンに対して送信させることもできる。そして、学生は、自分個人のペンを使用して、プリントされたページと対話することができる。例えば、学生は、特定の区域をタップして、解答についての音声の説明を聴くことができる。あるいは、学生は、コンピュータ装置１１５上のジェスチャを再現してもよく、何故なら、ジェスチャの順番とタイミングが、その問題にどのように取り組むのかを理解するのに役立つからでからである。
【００４７】
他の実施形態において、仮想ワークスペース環境では、別の設定のコラボレーティブアプリケーションを有効にすることができる。例えば、仕事または技術的な会議において、異なる参加者からのアイディアを共通のディスプレイで共有することができ、または、複数の個人で問題を協調的に（コラボレーティブに）解決することができる。
【００４８】
（追加の実施形態）
実施形態についての上記の説明は、例示の目的で提示されたものであり、包括的であることも、開示される正確な形式に本発明を限定することも意図されない。当該技術を有する者は、上記の開示に照らして、多くの修正および変更が可能であることを理解することができる。
【００４９】
本説明のある部分では、情報に対する操作のアルゴリズムおよび象徴的な表現の観点から、実施形態を説明する。これらのアルゴリズム的な説明および表現は、データ処理技術を有する者により共通に使用されて、彼らの作業の内容が他の技術を有する者に効果的に伝達される。これらの操作は、機能的、コンピュータ的、または論理的に説明されるが、コンピュータプログラムもしくは等価の電気回路、またはマイクロコード、などにより実装されることが理解される。さらに、操作についてのこれらの構成を、普遍性を失うことなくモジュールとして、言及することは、時には好都合であることも証明された。説明した操作および関連するモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせにおいて具現化されてよい。
【００５０】
本明細書に記載されるステップ、操作、または処理のいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールを用いて、単独で、または他の装置との組み合わせで、実行または実装することができる。一実施形態において、ソフトウェアモジュールは、記載されるステップ、操作、または処理のいずれかまたは全てを実行するための、コンピュータプロセッサにより実行可能であるコンピュータプログラム命令を含有する、非一時的コンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。
【００５１】
実施形態はまた、本明細書に記載される操作を実行するための装置にも関係してよい。この装置は、必要とされる目的のために特別に構築されてよく、および／または、コンピュータ内に記憶されるコンピュータプログラムにより選択的に起動または再構成される汎用コンピュータ装置を備えてよい。かかるコンピュータプログラムは、電子的な命令を記憶するのに適した、かつ、コンピュータシステムバスに連結される任意のタイプの有形の媒体を含む、有形のコンピュータ可読記憶媒体に記憶されてよい。さらに、明細書において言及される任意のコンピュータシステムは、単一のプロセッサを含んでよく、または、増大する計算能力のためのマルチプロセッサ設計を採用するアーキテクチャであってよい。
【００５２】
最後に、明細書内で使用される言語は、主に読みやすさおよび教示の目的で選択されたものであり、発明の主題の輪郭を描くことまたは境界線を描くことのために選択されてはいないものとする。従って、本発明の範囲は、本詳細な説明によって制限されるのではなく、むしろ、本明細書に基づく応用に由来する任意の請求項により制限されることが意図される。従って、本発明の実施形態の開示では、以下の請求項において記載される本発明の範囲を、非制限的に、例証することが意図される。
【図１】
2015533003.tif 000003
【図２】
2015533003.tif 000004
【図３】
2015533003.tif 000005
【図４】
2015533003.tif 000006
【図５】
2015533003.tif 000007
【国際調査報告】
2015533003.tif 000008
2015533003.tif 000009