(57)【要約】  目標ジェスチャを行うための指導がユーザに提示される。目標ジェスチャは、例示またはモデル記号の一部分でよい。指導は、書込み面への印刷やスマートペン装置のスピーカによるオーディオ形式での再生など、様々なやり方で提示することができる。ユーザによって書込み面上で行われた書込みジェスチャは、スマートペン装置を使ってデジタルに取り込まれる。取り込まれた書込みジェスチャは、目標ジェスチャと比較され、この比較に基づいてフィードバックが決定される。このフィードバックは、ユーザの書込みジェスチャの正しさを示すことができる。フィードバックは、スマートペン装置を含む様々な手段によりユーザに提示することができる。比較は、ユーザが従うべき次の指導を決定するのに用いることもできる。
2011516924.tif 000002
【特許請求の範囲】
【請求項１】
指導方法であって、
目標ジェスチャを行う指導をユーザに提示するステップと、
スマートペン装置を使って、ドット印字可能面上で行われたジェスチャをデジタルに取り込むステップと、
前記ジェスチャと前記目標ジェスチャの比較に基づいてフィードバックを決定するステップと、
前記フィードバックを前記ユーザに提示するステップと
を含むことを特徴とする方法。
【請求項２】
指導モジュールを受け取るステップであって、前記指導モジュールは、複数の指導および複数の目標ジェスチャを備え、各指導は目標ジェスチャに対応し、前記指導は、定義されたシーケンスを有する、ステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項３】
前記ジェスチャと前記目標ジェスチャの前記比較に基づいて、前記ユーザに提示するための次の指導を決定するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項４】
前記フィードバックは、前記スマートペン装置のディスプレイに提示されることを特徴とする請求項１に記載の方法。
【請求項５】
前記フィードバックは、前記スマートペン装置のスピーカを介して提示されることを特徴とする請求項１に記載の方法。
【請求項６】
前記フィードバックは、前記スマートペン装置を介して触角により提示されることを特徴とする請求項１に記載の方法。
【請求項７】
前記フィードバックは、前記ジェスチャが取り込まれるとほぼリアルタイムで提示されることを特徴とする請求項１に記載の方法。
【請求項８】
前記ジェスチャは、スマートペン内の撮像システムを使ってデジタルに取り込まれることを特徴とする請求項１に記載の方法。
【請求項９】
前記ドット印字可能面は、前記スマートペンによって可読である、エンコードされた座標系を備えることを特徴とする請求項１に記載の方法。
【請求項１０】
スマートペン装置を使って、第２のユーザによってドット印字可能面上で行われた目標ジェスチャをデジタルに取り込むステップと、
前記目標ジェスチャに対応する指導を、第２のユーザから前記スマートペン装置のスピーカを介してデジタルに取り込むステップと
をさらに含むことを特徴とする請求項１に記載の方法。
【請求項１１】
スマートペンを使う指導用のコンピュータプログラム製品であって、
スマートペン装置を使って、ドット印字可能面上で行われたジェスチャをデジタルに取り込み、
前記ジェスチャと目標ジェスチャの比較に基づいてフィードバックを決定し、
前記フィードバックをユーザに提示する
コンピュータプログラムコードを含むコンピュータ可読記憶媒体を備えることを特徴とするコンピュータプログラム製品。
【請求項１２】
前記目標ジェスチャを行う書面による指導は、ユーザに与えられることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【請求項１３】
前記コンピュータプログラムコードは、前記目標ジェスチャを行う指導をユーザに提示するようにさらに構成されることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【請求項１４】
前記コンピュータプログラムコードは、前記ジェスチャと前記目標ジェスチャの前記比較に基づいて、ユーザに提示するための次の指導を決定するようにさらに構成されることを特徴とする請求項１３に記載のコンピュータプログラム製品。
【請求項１５】
前記コンピュータプログラムコードは、指導モジュールを受け取り、前記指導モジュールは、複数の指導および複数の目標ジェスチャを備え、各指導は目標ジェスチャに対応し、前記指導は、定義されたシーケンスを有するようにさらに構成されることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【請求項１６】
前記コンピュータプログラムコードは、前記スマートペン装置のディスプレイに前記フィードバックを提示するように構成されることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【請求項１７】
前記コンピュータプログラムコードは、前記ジェスチャが取り込まれるとほぼリアルタイムで前記フィードバックを提示するように構成されることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【請求項１８】
前記ジェスチャは、スマートペン内の撮像システムを使ってデジタルに取り込まれることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【請求項１９】
前記ドット印字可能面は、前記スマートペンによって可読であるエンコードされた座標系を備えることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【請求項２０】
前記コンピュータプログラムコードは、
スマートペン装置を使って、第２のユーザによってドット印字可能面上で行われた目標ジェスチャをデジタルに取り込み、
前記目標ジェスチャに対応する指導を、第２のユーザから前記スマートペン装置のスピーカを介してデジタルに取り込む
ようにさらに構成されることを特徴とする請求項１１に記載のコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
（関連出願の相互参照）
本出願は、参照によってその全体が組み込まれている、２００８年４月３日に出願した米国特許仮出願第６１／０４２２３６号の利益を主張する。
【０００２】
本発明は概して、ペン入力コンピューティングシステムに関し、より詳細には、ペン入力コンピューティングシステムの指導または教育への使用に関する。
【背景技術】
【０００３】
語学の読み書き、数学、科学、音楽、芸術、および他の科目において使用するために、記号の書取りおよび認識を教えることが望ましい。記号は、字、図形、形状、および他の絵文字を含み得る。例として、標準中国語漢字、状態の形状、分子構造、および数学の公式が挙げられる。記号の書取りおよび認識を学習することに焦点を当てる教授法はしばしば、（たとえば、教科書にある）手本を観察し写すことによる書取りの反復練習を必要とする。学習者が記号を正確に再現できたことに関する、学習者への直接的なフィードバックまたは動機づけはほとんどない。記号の許容される相違を学習者に教えることは困難であり、通常、記号の許容される代替事例セットを学習者に与えることによって遂行される。
【０００４】
いくつかの事例では、記号の正しい書き順も学習されなければならない。こうした事例では、印刷図面による筆順の伝達はうまくいかず、混乱を招く。繰り返しになるが、学習者が正しい筆順で記号を書くのを練習する際にフィードバックがないことは、効率的でなく、学習者のやる気を起こさせることができない。
【０００５】
通常、記号の書取りを学習することは、記号の意味または用法を学習するコンテキストとは時間的または空間的に切り離される。たとえば、数式中に記号を書くことは、ギリシャ文字およびその分野に特有の多くの記号を伴う。記号の形態および式のシンタクスに関する即時的または有意義なフィードバックがないことにより、学習が遅れ、より多くの練習が必要とされる。
【０００６】
ユーザの視覚的焦点の軌跡はしばしば、典型的な学習システムではとても大きい。たとえば、ユーザが、記号を描くことを学習するための教科書または他の印刷物から学習している場合、ユーザは、テキストの中の例を見て、次いでユーザが書きこんでいる紙に視覚焦点を移さなければならない。ユーザが一部を描いた記号の正しさを確かめるために、ユーザは、紙とテキストとの間を往復して見なければならない。これは効率的でなく、最適でもない。
【０００７】
ユーザが、記号を描きながら手本を見るために書込みエリアの非常に近くを見ることができる場合、ユーザは、手本のコンテキストをより理解しておくことができる。２０画の複雑な北京語漢字を描くことに挑んでいるとき、教科書の中の字と紙の上の部分的に描かれた字との間を往復して見る場合を考えていただきたい。このような状況において、多くの学習者は、可能な限り、字を描いている場所の近くに教科書を引き寄せようとするだろう。さらに、字全体が描かれたとしても、その正しさを検証するために、描いたものの近くに手本を置いておくことはやはり大切である。
【０００８】
消費品である紙の練習帳では、ユーザは手本のすぐ近くで書くことができ、ユーザの焦点の軌跡を狭めはするが、練習帳は消耗品であり、しばしば高価である。また、練習帳は、動的フィードバックもコンテキストフィードバックも提供しない。
【０００９】
タブレットＰＣ（タブレットパーソナルコンピュータ）または同様のシステムは、変化し、動的でもある視覚表示を用いて、情報の進行中のストリームをユーザに提示することが可能である。このシステムは、聴覚的または視覚的な多様モダリティでコンテキスト解説および即時フィードバックを提供することができ、視覚焦点が当たる場所を制限することができる。ただし、タブレットＰＣは高価であり、かさばり、かなりの電力を消費し、頻繁な充電を必要とする場合もある。タブレットＰＣはまた、ガラスの画面に書く際に、分かりにくく望ましくない可能性のある触覚フィードバックをユーザに与える。さらに、タブレットＰＣまたは透明な保護物質を有する任意の表示装置の場合、タブレットＰＣ用の多くのペン追跡技術の限られた絶対解像度に伴う、ディスプレイから一定の距離だけ離れたスクリーン面に書く際の視差の問題が存在する。
【００１０】
したがって、記号の関連コンテキストにおいて記号の書取りおよび認識をより効果的に教えるための技法が必要とされている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】米国特許第７１７５０９５号明細書
【発明の概要】
【００１２】
本発明の実施形態は、ペン入力コンピューティングシステムの使用による、ユーザへの記号書取りの新しい指導法を提示する。目標ジェスチャを行うための指導がユーザに提示される。目標ジェスチャは、ユーザに対して教えられている例示またはモデル記号の一部分でよい。指導は、書込み面への印刷やデジタルペン装置のスピーカを通したオーディオ形式での再生など、様々なやり方で提示することができる。ユーザによって書込み面上で行われた書込みジェスチャは、デジタルペン装置を使ってデジタルに取り込まれる。取り込まれた書込みジェスチャは、目標ジェスチャと比較され、この比較に基づいてフィードバックが決定される。このフィードバックは、ユーザの書込みジェスチャの正しさを示すことができる。フィードバックは、デジタルペン装置を含む様々な手段によりユーザに提示することができる。比較は、ユーザが従うべき次の指導を決定するのに用いることもできる（たとえば、目標ジェスチャと取り込まれた書込みジェスチャが十分に似ている場合、ユーザには、より高度な記号を描くための指導が提示され得る）。複数の指導および目標ジェスチャを含む指導モジュールを作成することができ、ここで各指導は、目標ジェスチャに対応し、指導は、定義されたシーケンスを有する。こうした指導モジュールは、デジタルペン装置を使って指導者から目標ジェスチャを取り込むことによって、また目標ジェスチャに対応する指導を取り込むことによって作成することができる。
【００１３】
図面は、本発明の様々な実施形態を例示のためにのみ示す。本明細書に示す構造および方法の代替的実施形態は、本明細書に記載する本発明の原理から逸脱することなく利用され得ることが、以下の説明から当業者には容易に理解されよう。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態によるペン入力コンピューティングシステムを示す概略図である。
【図２】本発明の実施形態による、ペン入力コンピューティングシステムにおいて使用するためのスマートペンを示す図である。
【図３】ペン入力コンピューティングシステムを使って指導を与えるプロセスの実施形態を示す図である。
【図４】ペン入力コンピューティングシステムを使って指導モジュールを作成するプロセスの実施形態を示す図である。
【発明を実施するための形態】
【００１５】
（ペン入力コンピューティングシステムの概要）
本発明の実施形態は、ペン入力コンピューティングシステム、ならびに他のコンピューティングおよび／または記録システムの様々な実施形態で実装することができる。ペン入力コンピューティングシステムの一実施形態を、図１に示す。本実施形態では、ペン入力コンピューティングシステムは、書込み面５０、スマートペン１００、ドッキングステーション１１０、クライアントシステム１２０、ネットワーク１３０、およびウェブサービスシステム１４０を備える。スマートペン１００は、オンボード処理能力ならびに入出力機能を含み、ペン入力コンピューティングシステムに、従来のコンピューティングシステムの画面による対話を、ユーザが書き込むことができる他の面にまで拡張させる。たとえば、スマートペン１００は、電子的な書込み表現を取り込み、かつこの書込みの間にオーディオ記録をするのに使うことができ、スマートペン１００は、視覚および聴覚情報を出力してユーザに戻すことも可能であり得る。様々なアプリケーション用にスマートペン１００に適切なソフトウェアをもたせることにより、ペン入力コンピューティングシステムは、電子および紙領域両方においてソフトウェアプログラムおよびコンピューティングサービスとユーザが対話するための新しいプラットフォームを提供する。
【００１６】
ペン入力コンピューティングシステムにおいて、スマートペン１００は、コンピューティングシステムに入出力能力を提供し、システムのコンピューティング機能の一部または全部を実施する。したがって、スマートペン１００は、多様なモダリティを用いて、ペン入力コンピューティングシステムとのユーザ対話を可能にする。一実施形態では、スマートペン１００は、ユーザの書取りもしくは他の手振りの取り込みまたはオーディオ記録など、多様なモダリティを用いてユーザから入力を受け取り、視覚情報の表示やオーディオ再生など、様々なモダリティを用いてユーザに出力を提供する。他の実施形態では、スマートペン１００は、動作検知やジェスチャ取込みなどの追加入力モダリティ、および／または振動フィードバックなどの追加出力モダリティを含む。
【００１７】
スマートペン１００のある特定の実施形態の構成要素を、図２に示し、添付の本文においてより詳しく記載する。スマートペン１００は好ましくは、ほぼペンまたは他の筆記用具のような形状のフォームファクタをもつが、一般形状に対する一定の変形が、ペンの他のファンクションを併せもつために存在してよく、筆記用具以外の対話型マルチモードのものであってもよい。たとえば、スマートペン１００は、追加構成要素を含み得るために標準的なペンよりわずかに太くてもよく、スマートペン１００は、ペン形状のフォームファクタを形成する構造特徴に加え、追加構造特徴（たとえば、平らな表示画面）をもってもよい。さらに、スマートペン１００は、ユーザがスマートペンコンピューティングシステムに入力またはコマンドを与えるためのどの機構を含んでもよく、ユーザがスマートペンコンピューティングシステムから情報を受け取り、またはそうでなければ観察するためのどの機構を含んでもよい。
【００１８】
スマートペン１００は、書込み面５０と連動するように設計され、そうすることによって、スマートペン１００は、書込み面５０上で行われる書込みを取り込むことができる。一実施形態では、書込み面５０は、１枚の紙（またはその上に書くことができる他の適切な任意の物質）を含み、スマートペン１００によって読み取ることができるパターンでエンコードされる。このような書込み面５０の例が、スウェーデンのＡｎｏｔｏ  Ｇｒｏｕｐ  ＡＢ（現地子会社、マサチューセッツ州ウォルサム市のＡｎｏｔｏ，Ｉｎｃ．）から販売されており、参照によって本明細書に組み込まれている特許文献１に記載されている、いわゆる「ドット印字可能紙」である。このドット印字可能紙は、紙の上にエンコードされたドットのパターンをもつ。このドット印字可能紙と連携するように設計されたスマートペン１００は、撮像システムと、エンコードされたドットパターンを参照してスマートペンのペン先の位置を判定することができるプロセッサとを含む。このスマートペン１００の位置は、予め定義された「ドット空間」内の座標を用いて参照することができ、座標は、局所（すなわち、書込み面５０のページ中の場所）でも絶対（すなわち、書込み面５０の複数のページにおいて一意の場所）でもよい。
【００１９】
他の実施形態では、書込み面５０は、スマートペン１００にジェスチャおよび他の書込み入力を取り込ませるために、エンコードされた紙以外の機構を用いて実装することができる。たとえば、書込み面は、スマートペン１００によって行われた書込みを検知するタブレットまたは他の電子媒体を含み得る。別の実施形態では、書込み面５０は、電子ペーパー、すなわちｅペーパーを含む。この検知は、完全に書込み面５０によって、またはスマートペン１００と連動して実施することができる。書込み面５０の役割が、（エンコードされた紙の場合のように）単に受動的であっても、スマートペン１００の設計は通常、ペン入力コンピューティングシステムがそれに合わせて設計される書込み面５０のタイプに依存することが理解されよう。さらに、書込み内容は、書込み面５０上に機械的に表示されることもでき（たとえば、スマートペン１００を使って紙の上にインクをのせる）、電子的に表示することもでき（たとえば、書込み面５０上に表示する）、全く表示しなくてもよい（たとえば、単にメモリに保存する）。別の実施形態では、スマートペン１００は、ペン先の動きを検知するためのセンサを装備し、そうすることによって、書込み面５０を全く必要とせずに書込みジェスチャを検知する。こうした技術はいずれも、スマートペン１００に組み込まれたジェスチャ取込みシステムにおいて用いることができる。
【００２０】
様々な実施形態において、スマートペン１００は、ペン入力コンピューティングシステムを様々なやり方で有用に応用するために、パーソナルコンピュータなどの汎用コンピューティングシステム１２０と通信することができる。たとえば、スマートペン１００によって取り込まれた内容は、コンピューティングシステム１２０に転送されて、そのシステム１２０によってさらに使用することができる。たとえば、コンピューティングシステム１２０は、スマートペン１００によって獲得された情報をユーザに格納させ、アクセスさせ、見直させ、削除させ、そうでなければ管理させる管理ソフトウェアを含み得る。スマートペン１００からコンピューティングシステム１２０に獲得データをダウンロードすることにより、スマートペン１００の資源が解放され、その結果ペン１００はより多くのデータを獲得することができる。逆に、内容は、コンピューティングシステム１２０からスマートペン１００に転送して戻してもよい。データに加え、コンピューティングシステム１２０からスマートペン１００に与えられる内容は、スマートペン１００によって実行することができるソフトウェアアプリケーションを含み得る。
【００２１】
スマートペン１００は、有線および無線通信両方を含む、公知のいくつかの通信機構のどれを介してもコンピューティングシステム１２０と通信することができる。一実施形態では、ペン入力コンピューティングシステムは、コンピューティングシステムに結合されたドッキングステーション１１０を含む。ドッキングステーション１１０は、スマートペン１００を受けるように機械的、電気的に構成され、スマートペン１００がドッキングされると、ドッキングステーション１１０は、コンピューティングシステム１２０とスマートペン１００との間の電子通信を可能にし得る。ドッキングステーション１１０は、スマートペン１００内のバッテリを再充電するための電力も提供し得る。
【００２２】
図２は、上述した実施形態など、ペン入力コンピューティングシステムにおいて使用するためのスマートペン１００の実施形態を示す。図２に示す実施形態において、スマートペン１００は、マーカ２０５、撮像システム２１０、ペン下降センサ２１５、１つまたは複数のマイクロホン２２０、スピーカ２２５、オーディオジャック２３０、ディスプレイ２３５、Ｉ／Ｏポート２４０、プロセッサ２４５、オンボードメモリ２５０、およびバッテリ２５５を備える。ただし、上記構成要素のすべてが、スマートペン１００に対して必要とされるわけではなく、上に挙げたものは、スマートペン１００のすべての実施形態向けの構成要素の網羅的リストでも、上記構成要素の可能なすべての変形形態の網羅的リストでもないことを理解されたい。たとえば、スマートペン１００は、電源ボタンやオーディオ記録ボタンなどのボタン、および／または状況インジケータライトも含み得る。さらに、本明細書および特許請求の範囲で使用する「スマートペン」という用語は、ペン装置が、明示的に列挙する特徴以外の、ある特定の実施形態向けに本明細書で記載するいかなる特定の特徴または機能を有することも含意していない。スマートペンは、本明細書に記載する能力およびサブシステム全部よりも少ないものからなるどの組合せも有し得る。
【００２３】
マーカ２０５は、適切な、どの面の上にも書くための従来の筆記器具としてスマートペンが使われることを可能にする。マーカ２０５はしたがって、あらゆるインク式もしくは黒鉛式マーキングデバイスまたは書くのに使うことができる他のあらゆるデバイスを含む、適切などのマーキング機構も備え得る。一実施形態では、マーカ２０５は、交換可能なボールペン部品を備える。マーカ２０５は、圧力検知要素などのペン下降センサ２１５に結合される。ペン下降センサ２１５はしたがって、面に対してマーカ２０５が押しつけられると出力を生じ、そうすることによって、スマートペン１００が面の上で書くのに使われているときを示す。
【００２４】
撮像システム２１０は、マーカ２０５に近い面のエリアを撮像するのに十分な光学機械およびセンサを備える。撮像システム２１０は、スマートペン１００を使って行われた手書きおよびジェスチャを取り込むのに使うことができる。たとえば、撮像システム２１０は、マーカ２０５の大体の近傍にある書込み面５０を照射する赤外線光源を含んでよく、ここで書込み面５０は、エンコードされたパターンを含む。エンコードされたパターンの画像を処理することによって、スマートペン１００は、マーカ２０５が書込み面５０と関わる所を判定することができる。撮像システム２１０の撮像アレイは次いで、マーカ２０５に近い面を撮像し、その視野内の符号化されたパターンの一部分を取り込む。したがって、撮像システム２１０は、スマートペン１００に、書込み入力の受取りなど、少なくとも１つの入力モダリティを用いてデータを受け取らせる。書込み面５０の一部分を閲覧する光学機械および電子装置を組み込む撮像システム２１０は、ペンを使って行われたどの書込みジェスチャも電子的に取り込むスマートペン１００に組み込むことができるジェスチャ取込みシステムの一タイプに過ぎず、スマートペン１００の他の実施形態は、同じ機能を得るために、他の適切ないかなる手段も用いることができる。
【００２５】
ある実施形態では、撮像システム２１０によって取り込まれたデータが続いて処理され、キャラクタ認識など、１つまたは複数の内容認識アルゴリズムを、受け取ったデータに適用させる。別の実施形態では、撮像システム２１０は、書込み面５０の上に既に存在する（たとえば、スマートペン１００を使って書かれたものではない）書込み内容を走査し取り込むのに使うことができる。撮像システム２１０はさらに、ペン下降センサ２１５と組み合わせて、マーカ２０５が書込み面５０に触れているときを判定するのに使うことができる。マーカ２０５が面の上を動かされると、撮像アレイによって取り込まれるパターンが変わるので、ユーザの手書きを、スマートペン１００内のジェスチャ取込みシステム（たとえば、図２の撮像システム２１０）によって判定し取り込むことができる。この技法は、ユーザが書込み面５０のある特定の場所をマーカ２０５でたたいたときなどに、ジェスチャを取り込むのに用いることもでき、動作検知またはジェスチャ取込みの別の入力モダリティを用いるデータ取込みを可能にする。
【００２６】
スマートペン１００上の別のデータ取込み装置は、１つまたは複数のマイクロホン２２０であり、これは、スマートペン１００に別の入力モダリティ、すなわちオーディオ取込みを用いてデータを受け取らせる。マイクロホン２２０は、上述した手書き取込みと同期させることができるオーディオ記録に使うことができる。ある実施形態では、１つまたは複数のマイクロホン２２０は、プロセッサ２４５によって、あるいはマーカ２０５が書込み面を移動する際に起こるノイズおよび／またはスマートペン１００が書込み面に触れ、もしくは面から離れる際に起こるノイズを除去する信号プロセッサ（図示せず）によって実行される信号処理ソフトウェアに結合される。ある実施形態では、プロセッサ２４５は、取り込まれた書込みデータを、取り込まれたオーディオデータと同期させる。たとえば、会議中の会話を、スマートペン１００によっても取り込まれているメモをユーザがとっている間に、マイクロホン２２０を使って記録することができる。記録された音響と取り込まれた手書きを同期させることにより、スマートペン１００は、予め取り込まれたデータを求めるユーザ要求に調整応答を与えることができる。たとえば、書込みコマンド、コマンド用パラメータ、スマートペン１００を使ったジェスチャ、発声コマンドまたは書込みコマンドと発声コマンドの組合せなどのユーザ要求に応答して、スマートペン１００は、聴覚出力および視覚出力両方をユーザに与える。スマートペン１００は、ユーザに触角フィードバックも与えることができる。
【００２７】
スピーカ２２５、オーディオジャック２３０、およびディスプレイ２３５は、スマートペン１００のユーザに出力を与え、１つまたは複数の出力モダリティによりユーザにデータを提示させる。オーディオジャック２３０は、イヤホンに結合することができ、このことによって、ユーザは、スピーカ２２５とは異なり、ユーザの周りを妨げることなく、聴覚出力を聴き取ることができる。イヤホンはまた、ユーザに、空間特性が向上したステレオまたはフル３次元オーディオで聴覚出力を聞かせる。したがって、スピーカ２２５およびオーディオジャック２３０は、スピーカ２２５またはオーディオジャック２３０によって聞かせられる音響を聴き取ることにより、第１のタイプの出力モダリティを用いて、ユーザにスマートペンからデータを受け取らせる。
【００２８】
ディスプレイ２３５は、ＯＬＥＤ（有機発光ダイオード）ディスプレイなど、視覚フィードバックを与える適切などのディスプレイシステムを備えてもよく、情報を視覚的に表示することによって、スマートペン１００に、第２の出力モダリティを用いて出力を与えさせる。使用中、スマートペン１００は、こうした出力構成要素のどれを使って聴覚または視覚フィードバックを伝達してもよく、多様な出力モダリティを用いてデータを与えさせる。たとえば、スピーカ２２５およびオーディオジャック２３０は、スマートペン１００上で稼動するアプリケーションに従って聴覚フィードバック（たとえば、プロンプト、コマンド、およびシステム状況）を伝達することができ、ディスプレイ２３５は、語句、静止画もしくは動画、またはこのようなアプリケーションによって指示されるプロンプトを表示することができる。さらに、スピーカ２２５およびオーディオジャック２３０は、マイクロホン２２０を使って記録されたオーディオデータを再生するのに使うこともできる。
【００２９】
Ｉ／Ｏ（入出力）ポート２４０は、上述したように、スマートペン１００とコンピューティングシステム１２０との間の通信を可能にする。一実施形態では、Ｉ／Ｏポート２４０は、ドッキングステーション１１０上の電気接点に対応する電気接点を備えるので、スマートペン１００がドッキングステーション１１０に置かれたときにデータ転送のための電気接続を行う。別の実施形態では、Ｉ／Ｏポート２４０は単に、データケーブル（たとえば、ミニＵＳＢやマイクロＵＳＢ）を受けるジャックを備える。あるいは、Ｉ／Ｏポート２４０は、コンピューティングシステム１２０との無線通信を（たとえば、ブルートゥース、ＷｉＦｉ、赤外線、または超音波を介して）可能にするために、スマートペン１００内の無線通信回路で置き換えてもよい。
【００３０】
プロセッサ２４５、オンボードメモリ２５０、およびバッテリ２５５（または他の適切な任意の電力源）は、コンピューティング機能が、スマートペン１００上で少なくとも部分的に実施されることを可能にする。プロセッサ２４５は、入出力装置および上述した他の構成要素に結合され、このことによって、スマートペン１００上で稼動するアプリケーションが、こうした構成要素を使うことを可能にする。一実施形態では、プロセッサ２４５は、ＡＲＭ９プロセッサを備え、オンボードメモリ２５０は、小容量のＲＡＭ（ランダムアクセスメモリ）およびより大容量のフラッシュまたは他の永続メモリを備える。その結果、実行可能アプリケーションを、スマートペン１００上で格納し実行することができ、記録された音響および手書きは、無期限に、またはスマートペン１００からコンピューティングシステム１２０にオフロードされるまで、スマートペン１００に格納することができる。たとえば、スマートペン１００は、キャラクタ認識や音声認識など、１つまたは複数の内容認識アルゴリズムをローカルに格納することができ、スマートペン１００によって受け取られる、１つまたは複数の入力モダリティからの入力を、スマートペン１００にローカルに識別させる。
【００３１】
ある実施形態では、スマートペン１００は、手書き取込み、オーディオ取込みやジェスチャ取込みなど、１つもしくは複数の入力モダリティ、またはオーディオ再生もしくは視覚データの表示などの出力モダリティをサポートするオペレーティングシステムまたは他のソフトウェアも含む。オペレーティングシステムまたは他のソフトウェアは、入力モダリティと出力モダリティの組合せをサポートすることができ、入力モダリティ（たとえば、入力としての書込みおよび／または発声データの取込み）と出力モダリティ（たとえば、ユーザへの出力としての聴覚または視覚データの提示）との組合せ、その間の順序づけおよび遷移を管理する。たとえば、入力モダリティと出力モダリティとの間のこの遷移により、ユーザは、スマートペン１００によって聞かせられる音を聴き取りながら、同時に紙または別の面に書き込むこともでき、スマートペン１００は、ユーザがスマートペン１００で書いている間にユーザから発声される音響を取り込むことができる。入力モダリティと出力モダリティとの他の様々な組合せも可能である。
【００３２】
ある実施形態では、プロセッサ２４５およびオンボードメモリ２５０は、ファイルシステムまたはアプリケーションメニューにより、メニュー構造およびナビゲーションをサポートし可能にする１つまたは複数の実行可能アプリケーションを含み、アプリケーションまたはアプリケーションの機能を起動させる。たとえば、メニュー項目の間のナビゲーションは、発声および／もしくは書込みコマンドならびに／またはユーザによるジェスチャを伴う、ユーザとスマートペン１００との間のダイアログならびにスマートペンコンピューティングシステムからの聴覚および／または視覚フィードバックを含む。したがって、スマートペン１００は、様々なモダリティからのメニュー構造をナビゲートするための入力を受け取ることができる。
【００３３】
たとえば、書込みジェスチャ、発声キーワード、または身体動作は、後続入力が１つまたは複数のアプリケーションコマンドに関連していることを示し得る。たとえば、ユーザは、面に対してスマートペン１００を素早く続けて二度押し下げ、次いで、「解く」、「送る」、「解説」、「ｅメール」、「音声ｅメール」などの単語もしくはフレーズまたは予め定義された別の単語もしくはフレーズを書いて、書込み単語もしくはフレーズに関連したコマンドを呼び出し、または予め定義された単語もしくはフレーズに関連したコマンドに関連した追加パラメータを受け取る場合がある。この入力は、空間的（たとえば、横に並んだドット）および／または時間的構成要素（たとえば、１つのドットの後に他のドットが続く）を有し得る。こうした「クイック起動」コマンドは、様々な形式で提供することができるので、メニューのナビゲーションまたはアプリケーションの起動が簡略化される。１つまたは複数の「クイック起動」コマンドは好ましくは、従来の書込みおよび／または発声中に簡単に区別がつく。
【００３４】
あるいは、スマートペン１００は、小型ジョイスティック、スライド制御、ロッカーパネル、容量性（もしくは他の非機械的）面またはアプリケーションのメニューをナビゲートする入力もしくはスマートペン１００によって実行されるアプリケーションコマンドを受け取る他の入力機構などの物理コントローラも含む。
【００３５】
（学習システムの概要）
本発明の実施形態は、ユーザへの様々なタイプのフィードバックを含む、ペン入力コンピューティングシステムを使用して記号の書取りをユーザに指導する新しいやり方を提示する。記号の描き方を説明する指導がユーザに提示される。最初の指導は、記号の最初の部分を描く指導を含み得る。ユーザは、ドット印字可能紙５０の上にスマートペン１００で書込みジェスチャを行うことによって、指導に従うことを試みる。ジェスチャは、スマートペン１００によって受け取られ、指導による所望の記号とジェスチャがどの程度合致したかに基づいて、フィードバックがユーザに与えられる。指導およびフィードバックは、様々な手段により、たとえばスマートペン１００もしくは付加コンピューティングシステム１２０上の表示により、またはスマートペンもしくは付加コンピューティングシステム上のスピーカ２２５により（たとえば、聴覚指導のために）与えることができる。指導は、ドット印字可能紙５０に予め印刷されたものなど、書面の形で与えることもできる。指導は、所望の記号の視覚表現を含み得る。
【００３６】
指導シーケンスおよびユーザフィードバックは、記号の書取りをユーザに指導する指導モジュールにまとめることができる。この指導モジュールは、指導および例示記号（または記号を含むジェスチャ）を記録し、こうした指導および記号を格納するアプリケーションによって作成することができる。
【００３７】
本発明の様々な実施形態の以下の説明は、図面を参照して提示される。図１は、ペン入力コンピューティングシステムを使って指導を与えるアーキテクチャ例のブロック図である。図１は、１枚のドット印字可能紙５０および紙５０とともに使うことができるスマートペン１００を示す。後で説明する操作は、ペン１００のプロセッサ上で稼動するアプリケーションによって、付加コンピューティングシステム１２０上で稼動するアプリケーション、またはこの２つの組合せによって実施することができる。
【００３８】
図３は、ペン入力コンピューティングシステムを使って指導を与えるプロセスの実施形態を示す。このプロセスにおいて、スマートペン１００のユーザに、指導が３０２で提示される。こうした指導は、記号または記号の一部分の描き方を指定することができる。後でさらに説明するように、指導は、グラフィックコンテンツまたはアニメーションコンテンツを含んでよく、様々なインタフェース（たとえば、スマートペンディスプレイ２３５もしくはスピーカ２２５、または紙５０の一部分に予め印刷されたもの）により与えることができる。
【００３９】
スマートペン１００は、ユーザが指導に従うことを試みると、ユーザからジェスチャを３０４で受け取る。ジェスチャは、ドット印字可能紙５０の上にスマートペン１００でユーザによって行われる筆使い、筆使いの速さ、筆順、紙の上でのペンの圧力（スマートペン上の圧力センサから）または他のタイプの情報を含み得る。ユーザによって行われたジェスチャの結果、マーカ２０５で実際に紙に書かれても書かれなくてもよい。いずれのケースでも、スマートペン１００の撮像システム２１０は、ジェスチャを取り込むことができる。一実施形態では、ジェスチャは、予め印刷された記号を透写することを試みるユーザから受け取られる。
【００４０】
スマートペン１００は、受け取ったジェスチャに基づいて、フィードバックを３０６で決定する。一実施形態では、スマートペンは、ジェスチャを分析して、提示された指導に正確に従っているかどうか、また、指導が与えられている記号を正確に描写しているかどうか判定する。１つまたは複数の例示的なジェスチャ（モデルジェスチャまたは目標ジェスチャとも呼ばれる）は、ユーザから受け取られたジェスチャとの比較のために、スマートペン１００に格納することができ、例示的なジェスチャからの逸脱の程度が判定され得る。
【００４１】
決定されたフィードバックは、後で説明する様々な手段（たとえば、視覚、聴覚、触角）により、ユーザに３０８で提示される。フィードバックは、ジェスチャの正しさをユーザに指示することができ、改良点を提案することができる。スマートペン１００は、受け取ったジェスチャおよび決定されたフィードバックに基づいて、次の指導を３１０で決定する。次の指導は、たとえば、ユーザが現在の指導を再試行することでも、記号を描く次のステップにユーザが進むことでもよい。スマートペン１００は、ユーザのスキルレベルを３１２で判定することもできる。一実施形態では、この判定は、書き上げられた記号を含む一連のジェスチャをユーザが完了した後で行われる。スキルレベルは、ユーザのジェスチャが例示的なジェスチャとどの程度合致したか、ユーザが必要とした再試行回数、または他の要因に基づき得る。スキルレベルは、ユーザに対して表示することができ、ユーザが次の記号に進むべきか、それとも現在の記号の練習を続けるべきか決めるのに用いることができる。
【００４２】
図３に関連して上述した、指導を与えるプロセスは、指導モジュールを読み込むスマートペン１００または付加コンピューティングシステム１２０上のアプリケーションによって実装することができ、指導モジュールは、スマートペンまたは付加コンピューティングシステム上に格納される。この指導モジュールは、様々な指導および対応する例示的なジェスチャを含み得る。図４は、ペン入力コンピューティングシステムを使う指導モジュールを作成するプロセスの実施形態を示す。このプロセスは、スマートペンまたは付加コンピューティング装置上に指導モジュールを作成するアプリケーションによって実施することができる。一実施形態では、アプリケーションは、ユーザに対して表示することを意図した指導を、４０２で受け取る。たとえば、指導者は、スマートペンのマイクロホンに向かって指導を話すことができる。スマートペンは、指導者によってドット印字可能紙の上で行われた指導に対応するジェスチャを、４０４で受け取る。こうしたジェスチャは、例示的ジェスチャとして格納されることができ、後で、学習中のユーザから受け取られるジェスチャと比較して、フィードバックを３０６で決定することができる。アプリケーションは、指導シーケンスおよび対応する例示的ジェスチャを受け取り、このシーケンスをスマートペンまたは付加コンピューティングシステム上の指導モジュールに４０６で格納することができる。
【００４３】
一実施形態では、指導モジュールの難易度が、（たとえば、１から１０までの段階で）４０８で決定される。この難易度は、ステップ４０４で受け取られるジェスチャの複雑さの分析に基づき得る。様々な指導モジュールの難易度は、ユーザに対して表示して、適切な難易度のモジュールをユーザが選択することを可能にし得る。難易度測定は、ユーザに指導モジュールを提示する適切な順序を自動的に決定するのに用いることもできる。指導モジュールは、ステップ４０８で決定された指導モジュールの難易度と、ステップ３１２でのユーザのスキルレベルの判定との比較に基づいて、ユーザに対して表示するために選ぶことができる。
【００４４】
（指導用システム例）
一実施形態では、スマートペン１００は、記号のシンタクス、セマンティクスおよび用法をユーザに教えながら、ユーザに記号を描く練習をさせる。ユーザは、スマートペンスピーカ２２５から聴覚指導を受け取ることができる。スマートペン１００は、ユーザが実際に何を描いているかを認識するので、スマートペン１００は、ユーザにフィードバックを提供し、ユーザの準備が整うと、ユーザに次のステップを提示することもできる（たとえば、図３に関連して記載するように）。ユーザは、スマートペン１００のディスプレイ２３５から視覚フィードバックを受け取ることもできる。ディスプレイは、たとえば、ユーザが描く学習をしているアニメーション化された手本記号を示すことができ、アニメーションは、記号を描くのに必要とされる一連の動作を示す。その結果、ユーザの焦点エリアは、６インチ（１５．２４ｃｍ）未満の幅に限られ得る。ユーザは、記号の描き方におけるユーザの進歩と同期した解説フィードバックを受け取ることができるので、印象に残り、効率的な、気持ちの上で満足できる学習経験を提供する。
【００４５】
一実施形態では、ユーザは、たとえばドット印字可能透写紙を使って、記号を透写し、後に続く練習のために記録する。透写する間に行われるジェスチャは、（たとえば、図４に記載するように）指導モジュールに記録することができる。ユーザは次いで、指導モジュールを使って透写することなく、記号を描くことを学習することができる。ユーザ（または指導者）は、透写する間に、または透写に続いて指導用の音響を記録することができ、この音響は、上述したように、ユーザが後で記号を描くことを試みる際に再生することができる。
【００４６】
手本記号は、スマートペン１００のディスプレイ２３５に合うようにスケーリングすることができる。スマートペン１００は、ディスプレイにおいて記号をパニングしズームするユーザ制御を提供することができる。たとえば、ユーザは、スマートペンの上のボタンを押し、または認められた一定の順序でペンをたたき、もしくはドラッグして、記号をパニングし、またはズームする。記号は、たとえばユーザによって現在描かれている記号部分にズームインすることによって、知的にスケーリングすることもできる。
【００４７】
付加コンピューティングシステム１２０は、ユーザに指導を提示し、フィードバックを提示する両方の目的で使うことができる。付加コンピューティングシステムは、スマートペン上のディスプレイより大きいディスプレイをもち得るので、付加コンピューティングシステム上に複雑な手本記号を表示することが有用であり得る。ユーザは、別のスマートペン、ＰＣタブレット、スマートフォン、またはｅＢｏｏｋなど、他の装置と同様に対話することができる。
【００４８】
ユーザに与えられるフィードバックは、ジェスチャの最中であっても、ほぼリアルタイムで与えることができる。たとえば、ユーザが、ドット印字可能紙の上に記号を描くことを試みると、ユーザの記号描画は、スマートペンまたは付加コンピューティング装置のディスプレイ上にリアルタイムで表示することができる。ユーザの描画は、ディスプレイにユーザの記号の正確さをリアルタイムで示すように、手本記号の上に重ねることができる。聴覚または触角フィードバックなど、他のタイプのフィードバックも、ほぼリアルタイムで与えることができる。たとえば、ユーザが正しい筆使いから逸脱すると直ちに、スマートペンスピーカ２２５から音を放出することができ、この音は、ユーザがとるべき特定の矯正アクションを示すことができる（たとえば、ある一定のピッチは、ユーザがペンを左に動かすべきであることを示す）。触角フィードバックは、ユーザが正しい筆使いから逸脱したとき、ペンを振動させることを伴い得る。ユーザは次いで、筆使いを考え直し、適切な訂正を行うことができる。
【００４９】
（指導モジュール）
上述したように、指導モジュールは、指導者、学習者仲間、または学習者自身によって学習者向けに作成することができる。記号の記述に加え、指導モジュールは、記号のシンタクスまたは使用についての情報を含み、この情報を学習者／ユーザに提示することができる。指導モジュールは、現在のコンテキストおよびその前に描かれた記号に基づいて、ある特定の記号が次に描かれることを提案し、または指定することができる。指導モジュールは、格納し、複数の学習者に配布することができる。
【００５０】
指導用シーケンスはユーザに提示することができ、ユーザは、多様な記号を描くことを学習する。一実施形態では、システムは、ある特定の記号の描き方におけるユーザのスキルを判定し、あるスキルレベルに達するまでユーザにその記号を練習させ続ける。ある一定のスキルレベルに達する（たとえば、ステップ３１２で判定されるように）と、システムは、ユーザに次の記号を提示する。スマートペンは、新たに記入された記号を自動的に分析し（たとえば、ステップ４０８）、指導モジュールシーケンスにおける記号の適切な配置を決定することができる。
【００５１】
記号の認識、書取り、発声、および聴取りを含む言語学習システムを作成することができる。たとえば、北京語を学習するシステムは、上述したように、スマートペンディスプレイ上でユーザに対して北京語漢字を提示すること、およびフィードバックを与えてユーザに字を描かせることを伴い得る。字および単語は、スマートペンスピーカからユーザに対して聞かせることもでき、字および単語は、スマートペンマイクロホンによって記録することができる。記録された書込みおよび音響は、後で指導者によって見直すために格納することができ、スマートペンまたはリモート装置の計算機資源によって直ちに分析することもできる。システムは、言語の様々な側面を統合する。たとえば、字が表示され、ユーザは、マイクロホンに向かってその字を読み上げるよう要求される。あるいは、スマートペン１００は、単語の音響を（北京語で、または英語で）聞かせ、ユーザに単語を（北京語で）書くよう要求する。言語学習システムは、読み、書き、発声、および聴取りの間の、科学的根拠のある間隔を空けた表出（exposure）および遷移を含み得る。
【００５２】
システムは、ユーザが様々なタイプのフィードバックで記号の組合せ（書き言葉を含む）を学習することを可能にする対話型指導モジュールを作成するために、上述した要素を様々な組合せで含み得る。
【００５３】
付加情報を含む記号
歴史的に、記号で伝えられる情報は、記号自体の視覚表現（すなわち、印刷されたページまたはコンピュータディスプレイへの記号の出現）に限られている。ただし、符号化された紙とともにスマートペンを使って、記号についてはるかに多くの情報を記録することが可能である。可能な情報は、様々な記号部分を作成するときに印加される圧力、記号を作成するのに使われる筆順、筆使いの速さ、ペンの角度、およびペンの回転を含む。記号に関連したこの付加情報は、指導用に、または可変表記目的のために、外見が同じ記号を区別するのに用いることができる。
【００５４】
記号を学習する際、ユーザは、見た目は正しいが非効率に描かれた記号を書く場合がある。上述した付加情報を記録することによって、より効率的な、運動感覚で記号を作成することをユーザに教えることができる。たとえば、記号を書くときのユーザの筆順、筆使いの速さ、およびペンの角度を、指導モジュールで提供される手本の筆順、筆使いの速さ、およびペンの角度と比較すればよく、ユーザは、適切な修正を行うよう指導される。上述したフィードバック方法のいずれにも加えて、筆使いを速くすることにより、音声合成エンジンが駆動されて、可変の語尾変化、韻律および速度を、ユーザへの指導用の音響など、スマートペンによって聞かせられる音響に適用することができる。圧力の増大により、合成ボリュームが駆動し得る。
【００５５】
また、筆順または他の付加情報（筆使いの方向や圧力など）により、同じ記号の可変表記が可能になる。同一の記号が、記号を作成するのに用いられる筆順または方向に依存して、異なる意味をもつ場合がある。たとえば、クロス記号「＋」は、以下のように、筆順および方向に基づいて少なくとも４通りの意味をもつ場合がある：
筆順：垂直画が最初に、上から下に向かって、水平画が２番目に左から右に向かって描かれる。解説：「プラスサイン」
筆順：垂直画が最初に、上から下に向かって、水平画が２番目に右から左に向かって描かれる。解説：単語「ｔｈｅ」
筆順：水平画が最初に左から右に向かって描かれ、垂直画が２番目に上から下に向かって描かれる。解説：前の文を声に出して話すよう、ＰＣに告げるためのコマンド。
筆順：水平画が最初に右から左に向かって描かれ、垂直画が２番目に下から上に向かって描かれる。解説：次に続くｅメールアドレスにすべての書込みテキストを送るよう、ＰＣに告げるためのコマンド。
【００５６】
その結果、１つの視覚表現が、複数の意味をもつ複数の記号に対応し得る。これは、記号の多重定義とも呼ばれる。上に挙げた例では、クロス記号「＋」は、４つの意味で多重定義される。概して、記号は、上に挙げた例よりも論理的な関係をもつ意味で多重定義されることになるが、いかなる関係も必要とされるわけではない。システムは、システムの視覚表現とともに付加情報を格納することができ、そうすることによって、記号の意味は、後で検討する際に決定すればよい。システムは、記号の意味を直ちに拡張し、拡張記号を格納することもできる。
【００５７】
（要約）
本発明の実施形態の上記説明は、例示目的で提示した。網羅的であることも、本発明を開示した厳密な形に限定することも意図していない。上記開示を鑑みて、多くの修正形態および変形形態が可能であることが、当業者には理解できよう。
【００５８】
本説明のいくつかの部分は、情報操作のアルゴリズムおよび象徴的表現という観点で本発明の実施形態を記載している。こうしたアルゴリズム記述および表現は一般に、データ処理分野の当業者によって、専門分野の本質を他の当業者に効果的に伝えるのに使われる。こうした操作は、機能的、計算的、または論理的に記載しているが、コンピュータプログラムまたは等価な電気回路、マイクロコードなどによって実装されるものと理解される。さらに、こうした操作の仕方を、一般性を失わずにモジュールと呼ぶことがときには好都合であることも分かっている。記載した操作およびその関連モジュールは、ソフトウェア、ファームウェア、ハードウェア、またはこれらのどの組合せでも実施することができる。
【００５９】
本明細書に記載したステップ、操作、またはプロセスのいずれも、１つもしくは複数のハードウェアもしくはソフトウェアモジュールを用いて単独で、または他の装置と組み合わせて実施し、または実装することができる。一実施形態では、ソフトウェアモジュールが、記載したステップ、操作、またはプロセスのいずれかまたはすべてを実施するコンピュータプロセッサによって実行することができるコンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品を用いて実装される。
【００６０】
本発明の実施形態は、本明細書における操作を実施する機器にも関し得る。この機器は、必要とされる目的のために特別に組み立てることができ、かつ／またはコンピュータに格納されたコンピュータプログラムによって選択的に活動化され、もしくは構成し直される汎用コンピューティング装置を備えることができる。このようなコンピュータプログラムは、電子指導の格納に適したどのタイプの有形な媒体も含む、有形なコンピュータ可読記憶媒体に格納し、コンピュータシステムバスに結合することができる。さらに、本明細書において言及したどのコンピューティングシステムも、単一プロセッサを含んでもよく、コンピューティング能力の向上のために複数プロセッサ設計を利用するアーキテクチャでもよい。
【００６１】
本発明の実施形態は、担体で実施されるコンピュータデータ信号にも関する可能性があり、この場合、コンピュータデータ信号は、本明細書に記載したコンピュータプログラム製品または他のデータ組合せのどの実施形態も含む。コンピュータデータ信号は、有形な媒体または担体において提示され、担体において変調され、またはそうでなければエンコードされる製品であり、担体は有形であり、適切な任意の伝送方法により伝送される。
【００６２】
最後に、本明細書において使われる言葉は主に、読み易さおよび教示目的のために選択されており、本発明の主題を制限し、または定めるために選択されたものではない。したがって、この詳細な説明によってではなく、むしろ本明細書に基づくアプリケーションに対して生じる任意の請求項によって本発明の範囲が限定されることを意図している。したがって、本発明の実施形態の開示は、添付の請求項に記載される本発明の範囲を限定することではなく例示することを意図している。
【図１】
2011516924.tif 000003
【図２】
2011516924.tif 000004
【図３】
2011516924.tif 000005
【図４】
2011516924.tif 000006
【国際調査報告】
2011516924.tif 000007