(57)【特許請求の範囲】
【請求項１】
複数のモーダリティを使用してユーザとやりとりするスマートペンデバイスであって、システムは、
プロセッサと、
プロセッサに結合され、手書きデータをキャプチャするように構成されたジェスチャキャプチャシステムと、
プロセッサに結合され、オーディオデータをキャプチャするように構成された１または２以上のマイクロホンと、
プロセッサに結合され、キャプチャされた手書きデータまたはキャプチャされたオーディオデータを、プロセッサが入力を特定したことに応答してストアするように構成され、記憶された発音および記憶された言語の表記を含む言語学習アプリケーションをさらにストアしたオンボードメモリと、
プロセッサに結合され、オンボードメモリにストアされたディスプレイデータを、プロセッサがキャプチャされた手書きデータまたはキャプチャされたオーディオデータに関連する出力を特定したことに応答して出力するように構成されたディスプレイシステムと、
プロセッサに結合され、ストアされたオーディオデータを、プロセッサがキャプチャされた手書きデータまたはキャプチャされたオーディオデータに関連する出力を特定したことに応答してプレイするように構成されたオーディオ出力システムと、
メモリにストアされ、プロセッサによって実行されるように構成されたコンピュータプログラムコードであって、
キャプチャされた手書きデータまたはキャプチャされたオーディオデータに関連する入力を特定するための命令、
前記命令はディスプレイシステムに対してはディスプレイデータとして、オーディオ出力システムに対してはオーディオデータとして出力を提供するための命令、
ディスプレイデータの表示とオーディオデータの配信を同期するための命令、
第１の比較として、前記キャプチャされたオーディオデータの発音と前記記憶された発音とを比較するための命令、
前記第１の比較に基づき、前記キャプチャされたオーディオデータの発音に関して指導するための命令、
第２の比較として、前記キャプチャされた手書きデータを前記記憶された言語の表記と比較するための命令、
前記第２の比較に基づき、前記キャプチャされた手書きデータに関して指導するための命令、
を含むコンピュータプログラムコードと、
を備えたことを特徴とするスマートペンデバイス。
【請求項２】
オンボードメモリは、持続性メモリに結合されたランダムアクセスメモリを含むことを特徴とする請求項１に記載のスマートペンデバイス。
【請求項３】
持続性メモリはフラッシュメモリは含むことを特徴とする請求項１に記載のスマートペンデバイス。
【請求項４】
コンピュータプログラムコードは、さらに、ディスプレイデータをディスプレイシステムに、およびオーディオデータをオーディオ出力システムに提供するための命令を含み、その場合に、ディプレイデータとオーディオデータは関係があることを特徴とする請求項１に記載のスマートペンデバイス。
【請求項５】
ディスプレイは有機発光ダイオード（ＯＬＥＤ）ディスプレイを含んでいることを特徴とする請求項１に記載のスマートペンデバイス。
【請求項６】
ディスプレイはコンピューティングシステムを含んでいることを特徴とする請求項１に記載のスマートペンデバイス。
【請求項７】
ペンベースコンピューティングシステムが複数のモーダリティを使用してユーザとやりとりするための方法であって、前記方法は、
ユーザへの命令を提示するステップと、
前記命令に対する応答としてユーザからやりとりを受信するステップと、
コマンドを前記やりとりと関連付けるステップと、
音声キャプチャコマンドを前記やりとりと関連付けたことに応答して、第１の発音を含むオーディオデータを記録し、前記第１の発音をスマートペンに記憶されたオーディオデータが含む第２の発音と比較し、前記第１の発音に関して前記ユーザに指導するステップと、
テキストキャプチャコマンドを前記やりとりと関連付けたことに応答して、スマートペンの前後の手書きデータまたはテキストデータをキャプチャし、前記キャプチャした手書きデータまたはテキストデータと前記スマートペンにストアされた記憶された手書きデータまたはテキストデータとを比較し、前記キャプチャされた手書きデータまたはテキストデータに関して前記ユーザに指導するステップと、
オーディオプレイバックコマンドを前記やりとりと関連付けたことを応答して、データをオーラルにユーザに提供するステップと、
ビジュアルプレイバックコマンドを前記やりとりと関連付けたことに応答して、データをビジュアルにユーザに提供するステップと、
を含むことを特徴とする方法。
【請求項８】
オーラルに提示されるデータおよびビジュアルに提示されるデータは関係があることを特徴とする請求項７に記載の方法。
【請求項９】
データをオーラルにユーザに提示することは、
スマートペンを使用してオーディオデータをプレイすることを含むことを特徴とする請求項７に記載の方法。
【請求項１０】
データをビジュアルにユーザに提示することは、
ビジュアルにデータを出力モジュールから表示することを含むことを特徴とする請求項７に記載の方法。
【請求項１１】
前記キャプチャされたオーディオデータの発音に関して指導するステップは、前記記憶されたオーディオデータを再生して前記ユーザに提供するステップを含むことを特徴とする請求項７に記載の方法。
【請求項１２】
前記キャプチャされたオーディオデータの発音に関して指導するステップは、記憶されたビジュアルデータを提供することを含むことを特徴とする請求項７に記載の方法。
【請求項１３】
前記キャプチャされた手書きデータまたはテキストデータに関して指導するステップは、記憶されたビジュアルデータを提供することを含むことを特徴とする請求項７に記載の方法。
【請求項１４】
前記命令は単語又は文字を書く命令を含み、前記受信したやりとりは手書きデータ又はテキストデータを含むことを特徴とする請求項７に記載の方法。
【請求項１５】
前記命令は単語を話す命令を含み、前記受信したやりとりはオーディオデータを含むことを特徴とする請求項７に記載の方法。
【請求項１６】
オーディオプレイバックコマンドおよびビジュアルプレイバックコマンドの両方を前記やりとりと関連付けたことに応答して、同期されたオーラルおよびビジュアルデータを前記ユーザに提供するステップをさらに含むことを特徴とする請求項７に記載の方法。
【請求項１７】
前記ディスプレイシステムに対するディスプレイデータとして出力を提供するための命令は、単語又は文字の書き順をアニメ化することを含むことを特徴とする請求項１に記載のスマートペンデバイス。
【請求項１８】
前記ユーザに命令を提示するステップの後に、単語又は文字の書き順のアニメーションを表示するステップをさらに含むことを特徴とする請求項１４に記載の方法。
【発明の詳細な説明】
【背景技術】
【０００１】
本出願は、２００７年５月２９日に出願された米国仮特許出願第60/940,665号の利益を主張するものである。
【０００２】
本発明は、一般的には、ペンベースのコンピューティングシステムに関し、さらに具体的には、ペンベースのマルチモーダルコンピューティングシステムに関する。
【０００３】
マルチモーダルシステムは、読む、書く、話す、聴くといったヒューマン入力と出力の基本的モードと係わりをもち、これらを機能強化している。広範囲にわたるマルチモーダルシステムは、ヒューマンコミュニケーション、学習、思想、問題解決、リコール(recall)、パーソナル生産性、エンターテインメント、コマースなどを機能強化している。ヒューマン入力と出力を結合し、シーケンス化し、および変換するモードは、コミュニケーション、学習、思想、問題解決、リコール、パーソナル生産性、エンターテインメント、コマース、などにおけるタスクおよびアクティビティを実質的に容易化し、向上することを可能にしている。
【０００４】
しかし、混成モーダリティ(mixed modalities)をサポートする既存システムは、スクリーンをベースとし、高価および大規模で、ポータビリティが制限されているのが代表的であり、非直観的(non-intuitive)であることがしばしばである。このようなシステムの例としては、パーソナルコンピュータ（ＰＣ）、パーソナルデジタルアシスタント（ＰＤＡ）、その他にスクリーンをベースとする専用デバイスがある。従来のマルチモーダルシステムは、ビジュアルフィードバック(visual feedback)のためにシングルディスプレイに制約されているのが代表的である。例えば、ＰＣベースのシステムでは、ディスプレイは大きく、大量の電力を消費しているのが通常である。セルフォンとＰＤＡシステムでは、スクリーンは比較的小さいが、得られるビジュアル情報は限られている。書き込まれた入力をマルチモーダルディスプレイに行なう方法も非常に制限されている。例えば、標準のＰＣでは、個別の書き込み入力デバイスが必要であり、タブレットＰＣではガラス片に書くことが必要で、高価であり、セルフォンとＰＤＡではまだ応答性が十分でなく、および／または書き込みスペースが限られている。さらに、スクリーンベースのデバイスと共に使用される筆記具(writing utensil)は、スクリーンベースのデバイス上でポインティングを行い、書くことだけに制限されているのが代表的である。このようなディスプレイとペーパの両方に書き込みを行なう目的が相互に矛盾しているような珍しいケースでは、デバイスがペーパ上に書くために使用されるとき、このデバイスはインテリジェンスに欠け、インクの跡をペーパ上に残すだけである。
【０００５】
マルチモーダルシステムは、モーダリティのサブセット（例えば、読む、書く、話す、および聴く、のすべてではなく、その一部）と共に使用されることを主目的とした汎用コンピューティングシステムまたはコミュニケーションツール上に作られているのが代表的である。ＰＣは、書き込まれた入力を主な用途として受け入れる設計になっていない。最もよくあることであるが、書き込みによる入力でなく、キーによる入力が使用されている。小型セルフォンやＰＤＡスクリーン上に書き込みを行なうことは非常に制約されており、オーディオキャプチャ(audio capture)ハードウェアおよびソフトウェアは、システムの設計にシームレスに組み込まれていないことがしばしばである。ヒューマンコミュニケーションの４つの基本モードである、読む、書く、話す、聴く、をサポートし、機能強化しているデバイスも、スタイラスがスクリーン面上を移動するとき、デジタルインクを作成するためのスクリーンを必要としているのが代表的である。これらのデバイスは事前印刷のペーパドキュメントとやりとりすることも、新規に手書きしたペーパドキュメントを作成し、それとやりとりすることも可能になっていない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第7,175,095号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従って、ヒューマンコミュニケーション、読む、書く、話すおよび聴く、といった複数の入力モードと出力モードを、直観的およびより効果的な方法で使用し、機能強化すると共に、前記モーダリティを機能強化することを明示的に目的とした設計から利点が得られるようなコンピューティングプラットフォームが要望されている。プラットフォーム側から見たとき、このプラットフォームは、１）自立型(self-contained)ディスプレイから情報を表示し、および／または他のどこかに表示された情報（ペーパ、プラスティック、アクティブディスプレイ、エレクトロニックペーパ）とやりとりすること、２）ペーパ上にインク、ホワイトボード上にインクといったように、種々のスクリーン上に書き込むことを可能にし、および／またはディスプレイ上を移動することによりアクティブディスプレイとやりとりすること、３）自立型または接続型スピーカからオーディオをプレイすること、４）自立型または接続型マイクロホンを使用してオーディオをキャプチャまたは記録すること、５）読む、書く、話す、聴く、を独立または同時並行のモーダリティとしてサポートし、機能強化すること、および６）独立または同時並行のモーダリティ間の変更をシームレスに行なうこと、を可能にしているはずである。
【課題を解決するための手段】
【０００８】
本発明の実施形態は、ユーザが複数の異なるモーダリティでシステムとやりとりするのを可能にするマルチモーダルスマートペンコンピューティングシステムを提供している。これらのモーダリティは、一般的に、入力（またはコマンドとキャプチャ）モーダリティおよび出力（またはフィードバックとアクセス）モーダリティに類別することができる。スマートペンコンピューティングシステムの入力モーダリティとしては、書き込まれた入力を得るためにペン形状の道具で書くこと、および／またはオーディオ入力をシステムに与えるために話すことまたは他の方法でサウンドを与えること、またはスマートペンを使用して入力をジェスチャ(gesture)すること、などがある。スマートペンコンピューティングシステムの出力モーダリティとしては、システムによっておよび／またはペーパまたはその他のディスプレイ上の外部表示情報を選択するためにスマートペンをポインティングまたはスマートペンとやりとりすることによって表示されたビジュアル情報を読むこと、および／またはシステムによってプレイされたサウンドを聴くこと、などがある。
【０００９】
システムは、同時に書かれたまたは話された情報の形で同時並行入力もサポートしているはずであり、そこでは、２形式の入力のタイミングによって意味のある情報がスマートペンに与えられることがある。システムは、同時に表示された情報およびオーディオ情報の形で同時並行出力をサポートしているはずであり、そこでは、２形式の出力のタイミングによって意味のある情報がユーザに与えられることがある。
【００１０】
スマートペン上のディスプレイの近接性(proximity)とは、ユーザがディスプレイからの読み取り状態と表面上の書き込み状態との間のビジュアル移行にシームレスに関与できるほどにスマートペンの書き込みチップに十分に近づいていて、最小限の目の動きと焦点のシフトでもって、ビジュアル焦点を小さなエリアに保つことである。これは、ユーザがスマートペン上のスクリーンを容易に見てから、表面上の書き込みで応答し、コンテキストを失うことなくユーザの目をスクリーンから表面に、そして逆に容易に移動することをサポートしている。
【００１１】
スピーカ、マイクロホンおよびディスプレイが物理的書き込みチップと共にペン形式ファクタ(pen form factor)で存在し、いずれの入力モードまたは出力モードでも独立にまたは同時並行にアクチベートすることが可能であって、独立または同時並行の入力モードと出力モードの間でシームレスにスイッチングできるソフトウェア、メモリおよびバッテリによって、これらが管理されていることは、完全なマルチモデルの自立型コンピューティングプラットフォームを可能にするのに必要である包括的セットのコンポーネントのサイズ、重さ、能力、ポータビリティおよび使い易さの面で新しいしきい値を表している。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施形態によるペンベースのコンピューティングシステムを示す概略図である。
【図２】本発明の実施形態によるペンベースのコンピューティングシステムで使用されるスマートペンを示す図である。
【図３】本発明の実施形態によるペンベースのコンピューティングシステムにおいて複数のモーダリティを提供するフローチャートを示す図である。
【００１３】
これらの図は、単なる例示を目的とした本発明の種々の実施形態を示している。この分野の精通者ならば以下の説明から容易に認識されるように、本明細書に記載されている本発明の原理から逸脱しない限り、本明細書に例示の構造および方法の代替的実施形態が採用されることもある。
【発明を実施するための形態】
【００１４】
ペンベースのコンピューティングシステムの概要
本発明の実施形態は、ペンベースのコンピューティングシステムの種々の実施形態で実現されることがあり、その一例は図１に示されている。この実施形態では、ペンベースのコンピューティングシステムは書き込み面５０、スマートペン１００、ドッキングステーション１１０、クライアントシステム１２０、ネットワーク１３０、およびＷｅｂサービスシステム１４０を含んでいる。スマートペン１００は、オンボード処理能力を入力／出力機能と共に含み、ペンベースのコンピューティングシステムは、従来のコンピューティングシステムのスクリーンベースのやりとり(screen-based interactions)を、ユーザがそこに書くことができる他の表面に拡張することを可能にしている。例えば、スマートペン１００は、書き込みを電子的に表現したものをキャプチャ(capture)するためだけでなく、書き込み期間中にオーディオを記録するためにも使用されることもある。また、スマートペン１００はビジュアル情報とオーディオ情報をユーザに返すために出力する能力を備えていることもある。種々のアプリケーション用の該当ソフトウェアがスマートペン１００にあれば、ペンベースのコンピューティングシステムは、エレクトロニックペーパを含むエレクトロニックドメインとペーパドメインの両方で、ユーザがソフトウェアプログラムおよびコンピューティングサービスとやりとりするための新規プラットフォームを提供している。
【００１５】
ペンベースのコンピューティングシステムでは、スマートペン１００はコンピューティングシステムのための入出力能力を備え、システムのコンピューティング機能の一部または全部を実行する。従って、スマートペン１００は、複数のモーダリティ(modality)を使用してユーザがペンベースのコンピューティングシステムとやりとりするのを可能にしている。一実施形態では、スマートペン１００は、ユーザの書き込みをキャプチャする、または他方ではオーディオをジェスチャまたは記録する、といった複数のモーダリティを使用して入力をユーザから受信し、ビジュアル情報を表示し、オーディオをプレイし、または他の既存ビジュアル情報をタッピング(tapping)し、トレーシングし、または選択する、といった物理的やりとりに対しコンテキストの中で応答する、といった種々のモーダリティを使用して出力をユーザに提供している。他の実施形態では、スマートペン１００は、動き感知またはジェスチャキャプチャといった追加の入力モーダリティおよび／または振動フィードバックといった追加の出力モーダリティを備えている。
【００１６】
スマートペン１００の特定の実施形態のコンポーネントは図２に示され、以下の説明の中で詳しく説明されている。スマートペン１００は、好ましくは、ほぼペンまたは他の筆記具の形状に似たフォームファクタ(form factor)を有しているが、ペンの他の機能を受け入れるために一般的形状をある種の変形したものが存在することもあれば、対話式マルチモーダルの非筆記具であることもある。例えば、スマートペン１００は、追加コンポーネントを収容できるように標準的ペンよりも若干太いこともあれば、スマートペン１００は、フォームファクタ形状のペンを形成する構造上の特徴のほかに、追加の構造上の特徴（例えば、フラットディスプレイスクリーン）を備えていることもある。さらに、スマートペン１００は、ユーザが入力またはコマンドをスマートペンのコンピューティングシステムに提供するのを可能にするメカニズムを備えていることもあれば、ユーザがスマートペンのコンピューティングシステムから情報を受信し、さもなければ監視するのを可能にするメカニズムを備えていることもある。例えば、ボタン、ロッカパネル(rocker panel)、容量性センサ、ハートセンサ、圧力センサ、寿命測定センサまたはその他のセンシングデバイスを含む種々タイプのスイッチを追加することが可能になっている。
【００１７】
スマートペン１００は、書き込み面５０と併用して動作する設計になっているのでスマートペン１００は書き込み面５０上に行なわれた書き込みをキャプチャすることができる。一実施形態では、書き込み面５０は一枚のペーパ（またはそこに書くことができる他の適当な材料）を含み、スマートペン１００によって読み取り可能なパターンで符号化されている。このような書き込み面５０の例は、Anoto Group AB of Sweden（Waltham, MAの地方支社Anoto, Inc）提供の「ドット対応ペーパ(dot-enabled paper)」と呼ばれるもので、特許文献１に説明されている。なお、この特許文献１は引用により本明細書の一部になっている。このドット対応ペーパ(dot-enabled paper)はペーパ上に符号化されたドットのパターンを有している。このドット対応ペーパと共に働く設計になったスマートペン１００は、イメージングシステムと、符号化されたドットパターンに対するスマートペンの書き込みチップの位置を判断できるプロセッサとを含んでいる。スマートペン１００のこの位置は、事前に定義された「ドットスペース」において座標を使用すると呼ばれることもあり、これらの座標は局所的（つまり、書き込み面５０のページ内のロケーション）であるか、あるいは絶対的（つまり、書き込み面５０の複数ページにまたがるユニークなロケーション）になっている。
【００１８】
他の実施形態では、書き込み面５０は、スマートペン１００がジェスチャおよび他の書き込み入力をキャプチャできるように、符号化ペーパ以外のメカニズムを使用して実現されることもある。例えば、書き込み面は、スマートペン１００によって行なわれた書き込みを感知するタブレットまたは他の電子的媒体を含んでいることがある。別の実施形態では、書き込み面５０はエレクトロニックペーパ、つまり、ｅペーパを含んでいる。この感知は、全体が書き込み面５０によって行なわれることもあれば、全体がスマートペン１００によって行なわれることもあれば、スマートペン１００と関連して行なわれることもある。書き込み面５０の役割が単に受動的であっても（符号化ペーパのケースと同じように）、以上から理解されるように、スマートペン１００の設計は、ペンベースのコンピューティングシステムが設計の対象となっている書き込み面５０のタイプに左右されるのが一般的である。さらに、書き込みコンテンツは書き込み面５０上に機械的に（例えば、スマートペン１００を使用してインクをペーパ上に残しておく）表示されることも、電子的に（例えば、書き込み面５０上に表示される）表示されることも、まったく表示されないこともある（例えば、単にメモリにセーブしておく）。別の実施形態では、スマートペン１００は、スマートペン１００のチップの動きを感知するセンサを備え、書き込み面５０をまったく不要として書き込みジェスチャを感知している。上記テクノロジのいずれも、スマートペン１００に内蔵されたジェスチャキャプチャシステムで使用されることがある。
【００１９】
種々の実施形態において、スマートペン１００は、ペンベースのコンピューティングシステムの種々の有用アプリケーションのために、パーソナルコンピュータのような汎用コンピューティングシステム１２０と通信することができる。例えば、スマートペン１００によってキャプチャされたコンテンツはコンピューティングシステム１２０に転送され、そのシステム１２０によってさらなる使い方がされることがある。例えば、コンピューティングシステム１２０は、スマートペン１００によって取得された情報を、ユーザがストアし、アクセスし、レビューし、削除し、さもなければ管理するのを可能にする管理ソフトウェアを備えていることがある。取得したデータをスマートペン１００からコンピューティングシステム１２０にダウンロードすると、スマートペン１００のリソースが空きになるので追加データの取得が可能になる。逆に、コンテンツはコンピューティングシステム１２０からスマートペン１００に戻されるように転送されることもある。データのほかに、コンピューティングシステム１２０からスマートペン１００に与えられるコンテンツは、スマートペン１００によって実行可能なソフトウェアアプリケーションを含んでいることがある。
【００２０】
スマートペン１００は、いくつかの公知通信メカニズムのいずれかを通してコンピューティングシステム１２０と通信することがあり、その中には、Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、ＲＦ、赤外線、超音波音声などのワイヤード通信とワイヤレス通信が含まれている。一実施形態では、ペンベースのコンピューティングシステムはコンピューティングシステムに結合されたドッキングステーション(docking station)１１０を含んでいる。ドッキングステーション１１０はスマートペン１００を受け入れるように機械的および電気的に構成され、スマートペン１００がドッキングされたとき、ステーションステーション１１０はコンピューティングシステム１２０とスマートペン１００の間で電子的通信を可能にすることがある。ドッキングステーション１１０はスマートペン１１０におけるバッテリを再充電するように電力を供給することもある。
【００２１】
図２は、上述した実施形態のように、ペンベースのコンピューティングシステムで使用されるスマートペン１００の実施形態を示す図である。図２に図示の実施形態では、スマートペン１００はマーカ(marker)２０５、イメージングシステム２１０、ペンダウンセンサ(pen down sensor)２１５、１または２以上のマイクロホン２２０、スピーカ２２５、オーディオジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、およびバッテリ２５５を備えている。なお、以上から理解されるように、スマートペン１００では上記コンポーネントのすべてが必要になるわけではなく、これは、スマートペン１００のすべての実施形態のコンポーネントを網羅的にリストしたものでもなく、上記コンポーネントの可能な限りの変形を網羅的にリストしたものでもない。例えば、スマートペン１００は、パワーボタンやオーディオ録音ボタンおよび／またはステータスインジケータライトなどの、ボタンを採用していることもある。さらに、本明細書本文および請求項の中で用いられている「スマートペン」という用語は、明示的に列挙されている特徴を除き、ペンデバイスが特定の実施形態に関して本明細書に記載の、なんらかの特定の特徴または機能を有していることを意味するものではなく、従って、スマートペンは本明細書に記載の機能およびサブシステムのすべてはなく、そのいくつかを組み合わせたものを備えていることがある。
【００２２】
マーカ２０５は、スマートペンがいずれかの適当な表面上に書くための従来の書き込み装置として使用されることを可能にしている。従って、マーカ２０５はいずれかの適当なマーキングメカニズムを含んでいることがあり、その中にはインクベースまたはグラフィックベースのマーキングデバイスまたは書き込みに使用できる他のデバイスが含まれている。一実施形態では、マーカ２０５は交換可能なボールポイントペン要素(ballpoint pen element)を含んでいる。マーカ２０５は、圧力感知要素(pressure sensitive element)のようなペンダウンセンサ２１５に結合されている。以上のように、ペンダウンセンサ２１５はマーカ２０５が表面に対して押されたとき出力を発生し、スマートペン１００が表面上に書くためにいつ使用されるかを知らせている。
【００２３】
イメージングシステム２１０は、マーカ２０５付近の表面のエリアをイメージ化するための十分な光学系(optics)とセンサを備えている。イメージングシステム２１０は、スマートペン１００を使用して行なわれた手書き(handwriting)および／またはジェスチャをキャプチャするために使用されることがある。例えば、イメージングシステム２１０は、マーカ２０５の大体の近くで書き込み面５０を照らす赤外線光源を含んでいることがあり、そこでは書き込み面５０は符号化パターンを含んでいる。符号化パターンのイメージを処理することにより、スマートペン１００は、マーカ２０５と書き込み面５０との相対位置を判断することができる。そのあと、イメージングシステム２１０のイメージングアレイ(imaging array)はマーカ２０５近くの表面をイメージ化し、その視野(field of view)内の符号化パターンの一部をキャプチャする。従って、イメージングシステム２１０は、書き込み入力の受信といったように、少なくとも１つの入力モーダリティを使用して、スマートペン１００がデータを受信することを可能にしている。書き込み面５０の一部を見るための光学系とエレクトロニクスを内蔵したイメージングシステム２１０は、ペンを使用して行なわれた書き込みジェスチャを電子的にキャプチャするためにスマートペン１００に組み込むことができるジェスチャキャプチャシステムの１つのタイプにすぎず、スマートペン１００の他の実施形態では、同一機能を達成するための他の適当な手段が使用されることもある。
【００２４】
一実施形態では、イメージングシステム２１０によってキャプチャされたデータはそのあとで処理され、文字認識といった１または２以上のコンテンツ認識アルゴリズムが受信データに適用されることを可能にしている。別の実施形態では、イメージングシステム２１０は、書き込み面５０上にすでに存在する書き込みコンテンツ（例えば、およびスマートペン１００を使用して書かれていないコンテンツ）をスキャンし、キャプチャするために使用することができる。
【００２５】
イメージングシステム２１０は、さらに、マーカ２０５が書き込面５０にいつ接触するかを判断するためにペンダウンセンサ２１５と併用されることもある。マーカ２０５が表面上を移動すると、イメージングアレイによってキャプチャされたパターンが変化するので、ユーザの書き込みは、スマートペン１００によって判断され、キャプチャされることが可能になる。この手法は、ユーザが書き込み面５０の特定のロケーションでマーカ２０５にいつタップしたか、といったように、ジェスチャをキャプチャするために使用されることもあるので、動きセンサまたはジェスチャキャプチャの別の入力モーダリティを使用したデータキャプチャが可能になる。
【００２６】
スマートペン１００上の別のデータキャプチャデバイスは１または２以上のマイクロホン２２０であり、スマートペン１００が別の入力モーダリティであるオーディオキャプチャを使用してデータを受信することを可能にしている。マイクロホン２２０は、オーディオを記録するために使用されることがあり、オーディオは上述した手書きキャプチャと同期がとられることがある。一実施形態では、１または２以上のマイクロホン２２０はプロセッサ２４５によって、または信号プロセッサ（図示せず）によって実行される信号処理ソフトウェアに結合され、マーカ２０５が書き込み面上を移動したとき発生するノイズまたはスマートペン１００が書き込み面にタッチダウンまたは書き込み面から離れるようにリフトしたとき発生するノイズを除去している。一実施形態では、プロセッサ２４５は、キャプチャされた書き込みデータをキャプチャされたオーディオデータと同期をとっている。例えば、ミーティングにおける会話は、スマートペン１００によって同じくキャプチャされているノートをユーザがとっている間にマイクロホンを使用して記録されることがある。記録されたオーディオとキャプチャされた手書きとの同期にとると、スマートペン１００は、以前にキャプチャされたデータのユーザリクエストに対して統合的レスポンスを与えることができる。例えば、書き込みコマンド、コマンドに対するパラメータ、スマートペン１００によるジェスチャ、話しコマンドまたは書き込みコマンドと話しコマンドの組み合わせ、といったユーザリクエストに応答して、スマートペン１００は、オーディオ出力とビジュアル出力の両方をユーザに提供する。スマートペン１００は、触覚的フィードバック(haptic feedback)をユーザに与えることもある。
【００２７】
スピーカ２２５、オーディオジャック２３０、およびディスプレイ２３５はスマートペン１００のユーザに出力を提供し、データが１または２以上の出力モーダリティを通してユーザに提示されることを可能にしている。オーディオジャック２３０は、スピーカ２２５による場合と異なり、ユーザが自分の周囲のオーディオ出力に惑わされることなくオーディオ出力を聴くことができるように、イヤホンに結合されていることがある。イヤホンは、ユーザが空間的特性(spatial characteristics)で機能強化されたステレオまたは完全三次元オーディオを聴くことを可能にすることもある。従って、スピーカ２２５とオーディオジャック２３０は、スピーカ２２５またはオーディオジャック２３０によってプレイされたオーディオを聴くことにより、ユーザは、第１のタイプの出力モーダリティを使用してスマートペンからデータを受信することを可能にしている。
【００２８】
ディスプレイ２３５は、有機発光ダイオード（ＯＬＥＤ）ディスプレイのように、ビジュアルフィードバックを提供するためのいずれかの適当なディスプレイシステムを備えていることがあり、情報をビジュアルに表示することによって、スマートペン１００が第２の出力モーダリティを使用して出力を提供することを可能にしている。使用中には、スマートペン１００は、オーディオまたはビジュアルフィードバックを伝えるためにこれらの出力コンポーネントのいずれかを使用することがあり、データが複数の出力モーダリティを使用して提供されるのを可能にしている。例えば、スピーカ２２５とオーディオジャック２３０は、スマートペン１００上で稼動しているアプリケーションに従ってオーディオフィードバック（例えば、プロンプト、コマンド、およびシステムステータス）を伝えることがあり、ディスプレイ２３５は、ワードフレーズ(word phrase)、スタティックまたはダイナミックイメージ、またはプロンプトを、上記のようなアプリケーションの指示に従って表示することがある。さらに、スピーカ２２５とオーディオジャック２３０は、マイクロホンを使用して記録されているオーディオデータをプレイバックするために使用されることもある。
【００２９】
入出力（Ｉ／Ｏ）ポート２４０は上述したようにスマートペン１００とコンピューティングシステム１２０の間の通信を可能にしている。一実施形態では、Ｉ／Ｏポート２４０はドッキングステーション１１０上の電気的接点に対応する電気的接点を備え、スマートペン１００がドッキングステーション１１０に置かれたときデータ転送の電気的接続が行なわれる。別の実施形態では、Ｉ／Ｏポート２４０はデータケーブル（例：ミニＵＳＢまたはマクロＵＳＢ）を受け入れるためのジャックを備えているだけである。代替的に、Ｉ／Ｏポート２４０は、スマートペン１００内のワイヤレス通信回路によって置き換えられて、コンピューティングシステム１２０とのワイヤレス通信を可能にしていることがある（Ｂｌｕｅｔｏｏｔｈ、ＷｉＦｉ、赤外線または超音波により）。
【００３０】
プロセッサ２４５、オンボードメモリ２５０およびバッテリ２５５（または他の適当なパワーソース（電源））は、スマートペン１００上で少なくとも部分的にコンピューティング機能が実行されるのを可能にしている。プロセッサ２４５は上述した入力デバイスと出力デバイスおよびその他のコンポーネントに結合され、スマートペン１００上で実行されるアプリケーションがこれらのコンポーネントを使用するのを可能にしている。一実施形態では、プロセッサ２４５はＡＲＭＰ９プロセッサを備え、オンボードメモリ２５０は少量のランダムアクセスメモリ（ＲＡＭ）および大量のフラッシュメモリまたは他の持続性メモリを備えている。その結果として、実行可能アプリケーションはスマートペン１００にストアして実行させることができ、記録されたオーディオおよび手書きは、無限にストアしておくことも、スマートペン１００からコンピューティングシステム１２０にオフロードされるまでストアしておくこともできる。例えば、スマートペン１００は、文字認識や音声認識のような、１または２以上のコンテンツ認識アルゴリズムをローカルにストアしておくことがあり、スマートペン１００がスマートペン１００によって受信された１または２以上の入力モーダリティから入力をローカルに特定するのを可能にしている。
【００３１】
実施形態では、スマートペン１００は、手書きキャプチャやオーディオキャプチャ、ジェスチャキャプチャといった１または２以上の入力モーダリティ、またはオーディオプレイバックやビジュアルデータのディスプレイといった出力モーダリティをサポートするオペレーティングシステムまたは他のソフトウェアも含んでいる。オペレーティングシステムまたは他のソフトウェアは、入力モーダリティと出力モーダリティの組み合わせをサポートすることがあり、その組み合わせ、順序付け(sequencing)、および入力モーダリティ（例えば、書かれたおよび／または話されたデータを入力としてキャプチャする）と出力モーダリティ（例えば、オーディオまたはビジュアルデータを出力としてユーザに提示する）の間の変換(transition)を管理している。例えば、入力モーダリティと出力モーダリティの間のこの変換は、スマートペン１００によってプレイされたオーディオを聴いている間に、ユーザがペーパまたは別の表面上に同時に書くことを可能することもあれば、ユーザがスマートペン１００で書いている間にも、スマートペン１００が話されたオーディオをユーザからキャプチャすることもある。
【００３２】
実施形態では、オペレーティングシステムとアプリケーションは、独立のおよび／または同時並行の入力モーダリティと出力モーダリティのシーケンスおよびこれらのモーダリティ間のシームレスな変換をサポートし、言語学習(language learning)が得られるようにしている。例えば、モーダリティの独立性、同時実行性および順序付けをサポートするオペレーティングシステム上で実行される言語学習（ＬＬ）アプリケーションは、今日は中国語を書き、読み、話し、および聴くレッスンであるとアナウンスするレッスンを開始することがある。そのあと、スマートペン１００は、標準中国語(Mandarin)文字の作成をアニメ化し、その文字の字画(stroke)を正しい順序でディスプレイ２３５上に描き、その間にその文字の発音をスピーカ２２５から同時にアナウンスすることがある。この場合、オペレーティングシステムは同時ディスプレイとオーディオの同期化配信を可能にすることになる。そのあと、ＬＬアプリケーションは、各字画をアニメ化してディスプレイ２２５から表示したあと、文字の各字画を描くことをユーザにプロンプトで指示するので、スマートペン１００上に表示された情報のビジュアル出力のモーダリティ間の変換が、ユーザによる字画データの入力と共に、同期化された方法で順序付けされる。ユーザが文字作成に慣れてきて、表示される字画よりも先に進んでより早く読むこと、おそらくは書くことを始めると、ＯＳは字画のリアルタイムなキャプチャと解釈を可能にし、正しい表示とオーディオのいずれかで応答して、ユーザがマルチモーダルダイアローグ（会話）に参加できるようにする。ユーザが書くことに慣れたことを示し、スマートペン１００がユーザによってリードされ始めて、字画でリードするのではなく、レスポンスの中で字画を表示すると、スマートペン１００は口頭でユーザに敬意を表し、ユーザが字画を書いている間またはその後で、文字のサウンドを話すように要求することがある。ユーザが文字のサウンドを話すと、スマートペン１００はそのサウンドを記録し、それを例と比較することができる。スマートペン１００は、そのあと、例の発音とユーザの発音をプレイバックしてユーザにプロンプトで指示し、発音の正しさに関して注釈および／またはビジュアルガイダンスを与えることがある。そのあと、スマートペン１００は、ユーザが聴くこと、書くこと、および話すことをプロンプトで指示し、一連のワードを１ワードごとに発音し、ユーザがワードを書き、話すのを待ち、その間に入力されたサウンドと書き込みを例と比較し、ユーザが必要に応じて書くことまたは話すことを繰り返すように再指示することがある。
【００３３】
この例を延長したものにおいて、スマートペン１００は、事前印刷の言語学習(Language Learning)テキストまたはワークブックとやりとりするようにプロンプトでユーザに指示することがある。スマートペン１００は、複数のディスプレイの間でユーザの注目がテキストからワークブックに、つまり、ユーザのノートブックに移動し、その間にスマートペン１００が独立にまたは同時並行に話すこと、および表示することに関係するダイアログ(dialogue)を続け、ユーザが独立にまたは同時並行に情報を話し、書き、および見ることを指示することがある。入力モーダリティと出力モーダリティおよび順序付けは他にも、種々の組み合わせが可能である。
【００３４】
実施形態において、プロセッサ２４５およびオンボードメモリ２５０は、メニュー構造およびファイルシステムまたはアプリケーションメニューを通るナビゲーションをサポートして、可能にする１または２以上の実行可能アプリケーションを含み、アプリケーションの立ち上げ(launch)またはアプリケーションの機能の立ち上げを可能にしている。例えば、メニューアイテム間のナビゲーションはユーザとスマートペン１００間のダイアログを含んでおり、そのダイアログは、ユーザによる話された(spoken)および／または書かれた(written)コマンドおよび／またはジェスチャおよび／またはスマートペンのコンピューティングシステムからのビジュアルフィードバックを伴っている。従って、スマートペン１００は、メニュー構造をナビゲートするための入力を種々のモーダリティから受信することがある。
【００３５】
例えば、書き込みジェスチャ、話されるキーワードまたは物理的動きは、そのあとに続く入力が１または２以上のアプリケーションコマンドと関係があることを示していることがある。空間的および／時間的コンポーネントをもつ入力は後続のデータを示すために使用されることもある。空間的コンポーネントをもつ入力の例としては、サイドバイサイドの２ドットがある。時間的コンポーネントをもつ入力の例としては、一方が他方のすぐ後に書かれた２ドットがある。例えば、ユーザは、表面に対して急速に連続して２回スマートペン１００をたたいたあと、「解決」、「送信」、「変換」、「ｅメール」、「音声メール」といったワードやフレーズまたは別の事前定義ワードやフレーズを書いて、書かれたワードまたはフレーズに関連するコマンドを立ち上げ(launch)たり、事前定義ワードまたはフレーズに関連するコマンドと関係付けられた追加のパラメータを受信したりすることがある。これらの急速立ち上げ(quick-launch)コマンドは異なるフォーマットで提供できるので、メニューのナビゲーションまたはアプリケーションの立ち上げが単純化されている。「急速立ち上げ」コマンド（１つまたは複数）は好ましくは、従来の書き込みおよび／または話し中の期間に容易に区別可能になっている。
【００３６】
代替例として、スマートペン１００は、小型ジョイスティック、スライドコントロール、ロッカパネル(rocker panel)、容量性（または他の非機械的）表面などの物理的コントローラを含んでいるか、あるいはアプリケーションのメニューをナビゲートするための入力やスマートペン１００によって実行されるアプリケーションコマンドを受け取る別の入力メカニズムも含んでいる。
【００３７】
システムオペレーションの例
図３は、本発明の実施形態によるペンベースのコンピューティングシステムにおいて複数のモーダリティを提供するフローチャートを示す図である。この分野の精通者ならば認識されるように、他の実施形態においては、図３に示すステップは異なる順序で実行することが可能である。さらに、他の実施形態では、本明細書に記述されているステップとは別のステップおよび／または追加のステップを含むことが可能である。
【００３８】
最初に、スマートペン１００は、ユーザのやりとりに関連するモーダリティを特定（３１０）する。実施形態では、ユーザは。スマートペン１００で書き込む、スマートペン１００を移動する、またはスマートペン１００に話しかける、といった方法でスマートペン１００とやりとりする。次に、スマートペン１００はユーザのやりとりの１つまたは２つ以上に関連するモーダリティを特定する（３１０）。例えば、ユーザがスマートペン１００で書いているとき、イメージングシステム２１０は書かれたデータをキャプチャし、このデータはそのあとプロセッサ２４５によって処理され、書かれたデータのサブセットが入力モーダリティに関連しているか、出力モーダリティに関連しているかが判断される。同様に、１または２以上のマイクロホン２２０によってキャプチャされたオーディオデータが処理されて、キャプチャされたオーディオデータのサブセットが入力モーダリティに関連しているか、出力モーダリティに関連しているかが判断される。スマートペン１００は話し始め、ユーザによる割り込みを許可して、スマートペン１００の行動を再指示し、スマートペン１００がオーディオをリプレイし、プレイバックのスピードを上げたり、スピードを下げたりするのをプロンプトで指示し、オーディオ情報の価値を強化するためにオーディオと同期された表示情報、ブックマークまたはオーディオ−タグ情報が、ユーザの入力に応答してスマートペン１００またはアクトによって他の方法で通知されている。これにより、スマートペン１００は、種々のモーダリティを通して提供される入力または出力に対するコマンドまたはリクエストを特定し、スマートペン１００とのユーザのやりとりをより直観的かつ効果的にすることができる。
【００３９】
ユーザのやりとりが入力モーダリティに関連すると判断したことに応答して、入力タイプが特定（３１５）される。入力タイプが特定（３１５）されると、スマートペン１００は、入力データがどのようにキャプチャされるかを判断する。書き込みデータはイメージングシステム２１０でキャプチャ（３２５）され、オンボードメモリ２５０にイメージまたはテキストデータとしてストアされる。同様に、オーディオデータは１または２以上のマイクロホン２３０を使用して記録（３２７）され、そのあとオンボードメモリ２５０にストアされる。以上のように、ユーザのやりとりと関連する入力モーダリティを特定したあと、スマートペン１００は、書かれたまたは話されたコミュニケーションのように、スマートペン１００とのやりとりから追加データをキャプチャする。
【００４０】
特定された入力タイプは、付加的にモーダリティを特定（３１０）するユーザのやりとりとは異なることがある。例えば、ユーザは、話されたコマンドをスマートペン１００に与えて、入力モーダリティを特定（３１０）したあと、スマートペン１００で書き込みを始め、書かれたデータをキャプチャ（３２５）させることがある。同様に、ユーザは、書き込み「レコード」のように、入力モーダリティを特定（３１０）する書き込みコマンドを与えて、後続のオーディオデータをスマートペン１００に記録（３２７）させることがある。
【００４１】
ユーザのやりとりが出力モーダリティに関連するとの判断に応答して、出力タイプが特定（３１７）される。出力タイプが特定（３１７）されると、スマートペン１００は情報をどうようにユーザに伝えるかを判断する。テキストデータはディスプレイ２３５またはコンピューティングシステム１２０を通して表示（３３５）される。同様に、オーディオデータは、スピーカ２２５、オーディオジャック２３０またはコンピューティングシステム１２０を使用してプレイ（３３７）される。このようにして、ユーザのやりとりと関連する出力モーダリティを特定したあと、スマートペン１００は、ビジュアルデータを表示し、またはオーディオデータをプレイする、といった方法で情報またはデータをユーザに提示する。
【００４２】
特定された出力タイプは、最初にモーダリティを特定（３１０）したユーザのやりとりのタイプと異なっていることがある。例えば、ユーザは話し(spoken)コマンドをスマートペン１００に与えて、スマートペン１００にビジュアルデータを表示（３３５）させる出力モーダリティを特定（３１０）することがある。同様に、ユーザは、書き込み「プレイバック」のように、スマートペン１００が以前にキャプチャしたオーディオデータをプレイしている個所で出力モーダリティを特定（３１０）する書き込みコマンドを与えることがある。
【００４３】
特定された出力モーダリティは、代替入力ソースとのやりとりを通してコンテキスト化されたオーディオまたはビジュアルフィードバックの形体になっていることもある。例えば、ユーザは、「スペイン語への翻訳(Translate to Spanish)」と言うことも、書くこともあり得るし、「スペイン語への翻訳」で印刷された印刷可能表面をタップすることもあり得る。その場合、ユーザはテキストに印刷された英語のワードをタップしたり、以前にペーパ上に書かれたワードをタップしたりして、スマートペン１００のスピーカからスペイン語で話されたワードを聴いたり、あるいはディスプレイ２３５上にスペイン語で表示されたワードを見ることもある。そのあと、ユーザは、「標準中国語に翻訳」と言ったり、書いたり、あるいは「標準中国語に翻訳」と書かれた（事前印刷のボタン）をタップしたり、同じワードをタップしたりして、標準中国語でそのワードを聴いたり、および／または見たりすることがある。スマートペン１００は、ストアし、そのあとでワードを使用するためにタップしたワードを、ワードに対するユーザの知識をテストすることにより、またはそのワードをリモートロギングソースに送信することにより、キャプチャすることもある。
【００４４】
まとめ
上述した本発明の実施形態の説明は、例示を目的に提示されたものである。この説明は網羅的でもなく、開示した正確な形態に本発明を限定するものでもない。関連分野の精通者ならば理解されるように、上述した開示事項に照らして多くの改良および変更が可能である。
【００４５】
上記説明の一部は、情報に対するオペレーションのアルゴリズムおよび記号的表現からとらえて本発明の実施形態を説明している。これらのアルゴリズムの説明および表現は、データ処理分野の精通者によって一般に使用され、その作業の本質をこの分野の他の精通者に効果的に伝えている。これらのオペレーションは、機能的に、計算的に、または論理的に説明されているが、コンピュータプログラムまたは同等電気回路、マイクロコードなどによって実現されるものと解されている。さらに、これらのオペレーションの配置をモジュールということが、一般性を失うことなく、時には好都合であることも実証されている。上述したオペレーションおよびその関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせで具現化されることもある。
【００４６】
本明細書に説明したステップ、オペレーションまたはプロセスのいずれも、１または２以上のハードウェアまたはソフトウェアモジュールと共に、単独でまたは他のデバイスと併用して実行または実現されることがある。一実施形態では、ソフトウェアモジュールは、を収めているコンピュータ可読媒体を含むコンピュータプログラムプロダクトと共に実現されており、コンピュータプログラムコードは、上述したステップ、オペレーション、またはプロセスのいずれかまたはすべてを実行するためのコンピュータプロセッサによって実行可能になっている。
【００４７】
本発明の実施形態は、本明細書におけるオペレーションを実行するための装置に関係する場合もある。この装置は、必要とする目的のために特に構築されていることも、および／またはコンピュータにストアされたコンピュータプログラムによって選択的にアクチベートまたは再構築される汎用コンピューティングデバイスを含んでいることもある。このようなコンピュータプログラムは、有形的なコンピュータ可読記憶媒体にストアされていることがあり、その中には電子的命令をストアするのに適した任意タイプの有形的媒体が含まれ、コンピュータシステムバスに結合されている。さらに、本明細書においてコンピューティングシステムと呼ばれるものには、シングルプロセッサが含まれていることもあり、あるいはコンピューティング能力向上のためにマルチプロセッサ設計を採用したアーキテクチャであることもある。
【００４８】
本発明の実施形態は、搬送波(carrier wave)で具現化されたコンピュータデータ信号に関係していることもあり、そこではデータ信号には、本明細書に説明したコンピュータプログラムプロダクトのいずれかの実施形態またはその他の組み合わせが含まれている。コンピュータデータ信号は、有形的媒体または搬送波で提示され、変調または他の方法で搬送波に符号化されているプロダクトであり、搬送波は有形的で、なんらかの適当な伝送方法に従って伝送されている。
【００４９】
最後に、本明細書の中で用いられている言語は、主に読み易さと指示上の目的に選択されたものであり、これは本発明に係る主題を限定またはその範囲を限定するために選択されたものではない。従って、本発明の範囲が詳細説明によって限定されるものではなく、むしろ、請求項に基づくアプリケーションに由来する請求項によって限定されることを意図している。従って、本発明の実施形態の開示事項は、請求項に記載された本発明の範囲を例示したものであり、限定するものではない。
【符号の説明】
【００５０】
５０    書き込み面
１００  スマートペン
１００  ドッキングステーション
１２０  クライアントシステム（汎用コンピューティングシステム）
１３０  ネットワーク
１４０  Ｗｅｂサービスシステム
２０５  マーカ
２１０  イメージングシステム
２１５  ペンダウンセンサ
２２０  マイクロホン
２２５  スピーカ
２３０  オーディオジャック
２３５  ディスプレイ
２４０  Ｉ／Ｏポート
２４５  プロセッサ
２５０  オンボードメモリ
２５５  バッテリ
【図１】
0005451599.tif 000002
【図２】
0005451599.tif 000003
【図３】
0005451599.tif 000004