(57)【要約】  本発明の実施形態の一つは電子ペンによって媒体上の手書きストロークがデジタル化される第１のペンデータを時系列で再現するための電子機器に関する。電子機器は、通信モジュールと、制御モジュールと、第１の手書き情報、電子機器によって写真撮影又は記録された第１の画像又はオーディオ情報及びイベント情報を時系列で再現又は出力するための出力モジュールと、第１の手書き情報、第１の画像又はオーディオ情報及びイベント情報を含むコンテンツを格納するためメモリモジュールとを備え、コンテンツがメモリモジュールに格納された後に第１の手書き情報が出力モジュール上に保持された状態で通信モジュールがさらに第２のペンデータを受信した場合に、第２のペンデータに対応する第２の手書き情報が第１の手書き情報に加えられ、そして再現される。
2021509496.tif 000002
【特許請求の範囲】
【請求項１】
電子ペンで媒体上に作成された筆跡をデジタル化することによって取得された第１のペンデータを時系列で再現するための電子機器であって、
前記第１のペンデータを受信するよう構成された通信モジュールと、
前記第１のペンデータを第１の手書き情報に変換するよう構成された制御モジュールと、
前記第１の手書き情報、前記電子機器によって取り込まれ又は記録された第１の画像情報又は第１のオーディオ情報、及びメニュー媒体から選択されたメニューのイベント情報を時系列で再現又は出力するよう構成された出力モジュールと、
前記第１の手書き情報、前記第１の画像情報又は前記第１のオーディオ情報及び前記イベント情報を含むコンテンツを格納するよう構成されたメモリモジュールと
を備え、
前記第１の手書き情報が前記出力モジュールに保持されている間に前記通信モジュールが前記媒体上で作成された第２のペンデータを追加的に受信した場合、前記コンテンツが前記メモリモジュールに格納された後に、前記第２のペンデータに対応する第２の手書き情報が、前記第１の手書き情報に加えて再現される電子機器。
【請求項２】
前記媒体は前記電子ペンによって検出されるパターンコードを含み、前記通信モジュールは、前記電子ペンによって検出された前記パターンコードをデジタル化することによって取得された前記第１のペンデータ又は前記第２のペンデータを受信する請求項１に記載の電子機器。
【請求項３】
前記媒体はブランク媒体又はグラフィック媒体を含み、前記ブランク媒体及び前記グラフィック媒体の各々は前記電子ペンによって検出されるパターンコードを含む請求項１又は２に記載の電子機器。
【請求項４】
前記制御モジュールは、前記メモリモジュールに格納されたファイルをグラフィック媒体ファイルに変換するような及び前記グラフィック媒体ファイルが前記グラフィック媒体に印刷されるような制御を実行する請求項３に記載の電子機器。
【請求項５】
前記グラフィック媒体ファイルはグラフィック媒体画像として前記出力モジュールに出力され、前記グラフィック媒体画像は前記媒体を較正するためのマークを含む請求項４に記載の電子機器。
【請求項６】
前記グラフィック媒体は、その上に前記グラフィック媒体ファイルが印刷されるところの前記ブランク媒体である請求項４に記載の電子機器。
【請求項７】
前記ブランク媒体及び前記グラフィック媒体の一方の画像は、前記コンテンツが再現されるように前記出力モジュールに出力される請求項３に記載の電子機器。
【請求項８】
前記メニュー媒体はシステムメニュー、手書きメニュー又はイベントメニューを含む請求項１から７のいずれか１項に記載の電子機器。
【請求項９】
前記メニュー媒体は複数のメニューを含み、各メニューは前記電子ペンによって検出されるパターンコードを有し、前記通信モジュールが前記メニュー媒体に含まれる前記複数のメニューの一つの選択を受信した場合、前記選択されたメニューのイベントが前記出力モジュールに再現される請求項１から８のいずれか１項に記載の電子機器。
【請求項１０】
前記メニュー媒体は一時停止メニューを含み、前記通信モジュールが一時停止イベントの発生を受信した場合、前記第１の画像情報又は前記第１のオーディオ情報の前記出力が停止している間、前記第１の手書き情報又は前記第２の手書き情報が編集される請求項１から９のいずれか１項に記載の電子機器。
【請求項１１】
前記通信モジュールが前記イベントメニューに含まれる複数のメニューの一つの選択を受信した場合、視覚効果又は音響効果が前記出力モジュールを通じて提供される請求項８に記載の電子機器。
【請求項１２】
前記通信モジュールが前記手書きメニューに含まれる複数のメニューの一つの選択を受信した場合、前記第１の手書き情報又は前記第２の手書き情報に含まれるストロークは、前記第１のペンデータ又は前記第２のペンデータがそれぞれ前記第１の手書き情報又は前記第２の手書き情報に変換された場合に変更される色又は太さを有する請求項８に記載の電子機器。
【請求項１３】
前記出力モジュールは前記第１の手書き情報又は前記第２の手書き情報を再現するための第１のウィンドウ、及び、前記第１の画像情報を表示するための第２のウィンドウを含む請求項１から１２のいずれか１項に記載の電子機器。
【請求項１４】
前記コンテンツはさらに、前記電子機器から選択された第２の画像情報又は第２のオーディオ情報を備える請求項１から１３のいずれか１項に記載の電子機器。
【請求項１５】
前記出力モジュールは前記第２の画像情報を表示するための第３のウィンドウを含む請求項１４に記載の電子機器。
【請求項１６】
前記第１の画像情報は前記電子機器に形成されたカメラによって取り込まれる請求項１から１５のいずれか１項に記載の電子機器。
【請求項１７】
前記媒体は第１の領域及び前記第１の領域とは異なる第２の領域を含み、前記第１のペンデータ又は前記第２のペンデータが前記第１の領域及び前記第２の領域で作成された筆跡の位置情報を含む場合、前記第１の手書き情報又は前記第２の手書き情報は前記位置情報に基づいて前記第１の領域又は前記第２の領域に対応させるよう前記出力モジュール上でシフトされる請求項１から１６のいずれか１項に記載の電子機器。
【請求項１８】
電子ペンを用いることによってブランク媒体又はグラフィック媒体を含む媒体上に作成された筆跡をデジタル化することによって取得されたペンデータを再現及び格納するための電子機器を駆動する方法であって、
前記電子機器に格納されたファイルをグラフィック媒体ファイルに変換する段階と、
前記グラフィック媒体ファイルが前記グラフィック媒体に印刷されるよう制御を実行する段階と、
前記ブランク媒体又は前記グラフィック媒体の画像を前記電子機器に表示する段階と、
電子ペンから前記ペンデータを受信する段階と、前記ペンデータに対応する手書き情報と、前記電子機器によって取り込まれ及び前記電子機器の入力モジュールに入力されたユーザの画像情報と、オーディオ情報及びメニュー媒体から選択されたメニューのイベント情報とを、時系列で再現又は出力する段階と
を含む方法。
【請求項１９】
電子ペンで作成された筆跡を時系列で再現するようにコンテンツを記録及び格納するためのデータ記録アプリケーションを制御する方法であって、
前記筆跡が作成されるべきところの媒体の画像を電子機器のディスプレイに表示する段階と、
前記媒体上で作成された前記筆跡を変換することによって取得された手書き情報と、前記電子機器によって取り込まれ又は記録された画像又はオーディオ情報と、メニュー媒体から選択されたメニューのイベント情報とを、時系列で配置又は出力する段階と、
前記電子機器に格納された画像ファイル又はオーディオファイル、及び、前記コンテンツと共にウェブサイトの画像ファイル又はオーディオファイル、の少なくとも一つを再生する段階と
を含む方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、電子機器、電子機器を駆動する方法、及び、データ記録アプリケーションを制御する方法に関し、より具体的には、電子ペンで書き込まれた手書き情報、並びに、ユーザ関連画像情報及び音声情報を含むコンテンツを作成する方法に関する。
【背景技術】
【０００２】
近年、電子ペンを用いたユーザの手書きを認識し、手書きメモをデジタル化して格納するための技術及び製品が商業化されてきている。しかしながら、意味のあるやり方で、電子ペンなどを用いて認識されかつデジタル化される手書きメモをユーザに提供する方法は、満足のいくように発展してはいなかった。従って、デジタル化されたメモをユーザが効果的に利用することを可能にする方法を発展させる必要性が存在する。
【０００３】
特に、電子ペンを用いたビデオを含む講義資料を制作する試みはなされてきているが、その試みのほとんどは、依然としてタッチスクリーンを提供するコンピュータ上で実行される。コンピュータ上の直接の手書きによって制作されたコンテンツは、依然として紙を用いることに慣れているユーザに、デジタルデバイス上でコンテンツを作成させることに疲労を感させ、また、ハードコピーを通じて作成されたオリジナルコンテンツを保持することを望むユーザに提供することは困難である。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明の目的は、ユーザが制作することを望むコンテンツの作成を効率的かつ容易にするのを可能にする電子機器及びデータ記録アプリケーションを提供することである。
【課題を解決するための手段】
【０００５】
本発明の一態様によれば、電子ペンで媒体上に作成された筆跡をデジタル化することによって取得された第１のペンデータを時系列で再現するための電子機器であって、第１のペンデータを受信するよう構成された通信モジュールと、第１のペンデータを第１の手書き情報に変換するよう構成された制御モジュールと、第１の手書き情報、電子機器によって取り込まれ又は記録された第１の画像情報又は第１のオーディオ情報及びメニュー媒体から選択されたメニューのイベント情報を時系列で再現又は出力するよう構成された出力モジュールと、第１の手書き情報、第１の画像又はオーディオ情報及びイベント情報を含むコンテンツを格納するよう構成されたメモリモジュールとを含み、第１の手書き情報が出力モジュールに保持されている間に通信モジュールが媒体上で作成された第２のペンデータを追加的に受信した場合、コンテンツがメモリモジュールに格納された後に、第２のペンデータに対応する第２の手書き情報が、第１の手書き情報に加えて再現される電子機器が提供される。
【０００６】
本願発明の別の実施形態によれば、電子ペンで媒体上に作成された筆跡をデジタル化することによって取得されたペンデータを再現及び格納するための電子機器を駆動する方法であって、電子機器上に媒体の画像を表示する段階と、ペンデータに対応する手書き情報と、電子機器の入力モジュールに入力されたユーザの画像情報及びオーディオ情報と、メニュー媒体から選択されたメニューのイベント情報とを、時系列で再現又は出力する段階と、電子機器上に媒体の画像の全体的領域又は部分的領域を選択的に表示する段階と、電子機器上に部分的領域が表示されている場合にのみ、媒体上で作成された筆跡が部分的領域内に再現できないと電子機器が判断した場合、手書き情報を再現すべく当該部分的領域以外の領域に媒体画像をシフトする段階とを含む方法が提供される。
【０００７】
本発明の別の態様によると、電子ペンで作成された筆跡を時系列で再現するようにコンテンツを記録及び格納するためのデータ記録アプリケーションを制御する方法であって、筆跡が作成されるべきところの媒体の画像を電子機器のディスプレイに表示する段階と、媒体上で作成された筆跡を変換することによって取得された手書き情報と、電子機器によって取り込まれ又は記録された画像又はオーディオ情報と、メニュー媒体から選択されたメニューのイベント情報とを、時系列で配置又は出力する段階と、電子機器に格納された画像ファイル又はオーディオファイル、及び、コンテンツと共にウェブサイトの画像ファイル又はオーディオファイル、の少なくとも一つを再生する段階とを含む方法が提供される。
［有利な効果］
【０００８】
本発明によれば、講義又は説明のためのコンテンツを制作する時に制作者の利便を増大し、コンテンツ制作の機能性を向上させることが可能である。
【０００９】
本発明によれば、コンテンツが格納された後に予め記憶されたコンテンツに新たなコンテンツを追加することを通じた制作の実行によってコンテンツの更新を向上することが可能となる。
【００１０】
本発明によれば、文字又は絵などのグラフィック情報を含むドキュメント内にコンテンツを制作することによって、コンテンツがブランク状態で制作される場合と比較してコンテンツの制作の効率を向上することが可能である。
【００１１】
本発明によれば、電子機器を制御し、手書きの外観を変化させ、又は、エキサイトするイベントを追加することによって、コンテンツ制作時のコンテンツ制作の利便及び楽しみを向上させることが可能である。
【００１２】
本発明によれば、コンテンツ制作が停止したまま手書き情報を編集でき、従ってユーザの利便を向上することが可能である。
【００１３】
本発明によれば、コンテンツに関する情報が自動で認識されかつ抽出された後に、タグ情報が生成され得、又は、コンテンツとして情報が格納され得、従って検索機能を高めることが可能である。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施形態に関連する、電子ペン、電子ペンと協働する電子機器等を含むシステムを例示する概略図である。
【図２】本発明の実施形態に関連する媒体を示す図である。
【図３】本発明の実施形態による電子ペンの例示的な外観を示す図である。
【図４】本発明の実施形態による電子ペンの要素を例示するブロック図である。
【図５】本発明の実施形態による電子機器の要素を例示するブロック図である。
【図６】本発明の実施形態による電子機器上にデータ記録アプリケーションが表示されるスクリーンを例示する図である。
【図７】本発明の実施形態による電子機器上で動作するデータ記録アプリケーションのフローチャートである。
【図８】本発明の実施形態によるデータ記録アプリケーションが実行された場合に現れるスクリーンである。
【図９】本発明の実施形態による、ブランク媒体が選択された場合に現われるデータ記録アプリケーションのスクリーンである。
【図１０】本発明の実施形態による、電子ペンと電子機器との間の通信を確立するためのスクリーンである。
【図１１】本発明の実施形態による、電子ペンと電子機器との間の通信を確立するためのスクリーンである。
【図１２】本発明の実施形態による、データ記録アプリケーションが記録を開始する段階を示すスクリーンである。
【図１３】本発明の実施形態による、データ記録アプリケーションが記録を開始する段階を示すスクリーンである。
【図１４】本発明の実施形態による、ブランク媒体内のコンテンツを制作する処理を示す図である。
【図１５】本発明の実施形態による、ブランク媒体内のコンテンツを制作する処理を示す図である。
【図１６】本発明の実施形態による、ブランク媒体内のコンテンツを制作する処理を示す図である。
【図１７】本発明の実施形態による、ブランク媒体内のコンテンツを制作する処理を示す図である。
【図１８】本願発明の別の実施形態による、追加的な手書き情報が再現されたスクリーンである。
【図１９】本願発明の別の実施形態による、追加的な手書き情報が再現されたスクリーンである。
【図２０】本発明の更に別の実施形態による、データ記録アプリケーションでコンテンツが制作されるスクリーンである。
【図２１】本発明の実施形態によるメニュー媒体を示す図である。
【図２２】グラフィック媒体が選択された後のデータ記録アプリケーションの進行を例示するスクリーンである。
【図２３】グラフィック媒体が選択された後のデータ記録アプリケーションの進行を例示するスクリーンである。
【図２４】グラフィック媒体が選択された後のデータ記録アプリケーションの進行を例示するスクリーンである。
【図２５】グラフィック媒体が選択された後のデータ記録アプリケーションの進行を例示するスクリーンである。
【図２６】グラフィック媒体が選択された後のデータ記録アプリケーションの進行を例示するスクリーンである。
【図２７】本発明の実施形態による、グラフィック媒体画像上でコンテンツが再現された態様を示す図である。
【図２８】本発明の実施形態による、グラフィック媒体上で作成された筆跡を示す図である。
【図２９】本発明の実施形態による、グラフィック媒体上でコンテンツが作成される図である。
【図３０】本願発明の別の実施形態による、コンテンツが制作された態様を示す図である。
【発明を実施するための形態】
【００１５】
［本発明を実施するためのベストモード］
本明細書で説明される実施形態は、当分野の通常の知識を有する者に対して発明の範囲を明らかに説明するためのものであり、本発明を限定することを意図したものではない。本発明は、本発明の技術的範囲内での置換及び変更を含み得ると解釈されるべきである。
【００１６】
本明細書で使用される用語は、本発明の機能に基づいて汎用的な用語から選択されており、それらは現在広く使用されているものであり、当業者の意図、当技術分野の習慣、又は、新しい技術の進展に従って変わる、様々な意味を有してよい。もし特定のの用語が特定の意味に使用されている場合には、その用語のその意味は特に説明されるであろう。従って、本明細書で使用される用語は、コンポーネントの単純な名前として定義されるべきではなく、その用語の実際の意味及び本明細書全体にわたっての文脈に基づいて定義されるべきである。
【００１７】
添付図面は本発明の説明を容易にするものであり、図面内の形状は説明の都合のため誇張され得、そして、本発明は図面に限定されるべきでない。
【００１８】
また、一般的な既知の機能及び構造の詳細は、本発明の主題を不明確にするものであって、省略されるであろう。
【００１９】
本明細書で説明される電子ペンと協働する電子機器は、セルラーフォン、スマートフォン、ラップトップコンピュータ、デジタルブロードキャスト端末、パーソナルデジタルアシスタント（ＰＤＡ）、ポータブルマルチメディアプレイヤ（ＰＭＰ）及び経路案内装置などの移動端末を含み得、デジタルテレビ及びデスクトップコンピュータなどの固定端末もまた含み得る。
【００２０】
本発明の一態様によれば、電子ペンで媒体上に作成された筆跡をデジタル化することによって取得された第１のペンデータを時系列で再現するための電子機器であって、第１のペンデータを受信するよう構成された通信モジュールと、第１のペンデータを第１の手書き情報に変換するよう構成された制御モジュールと、第１の手書き情報、電子機器によって取り込まれ又は記録された第１の画像又はオーディオ情報、及びメニュー媒体から選択されたメニューのイベント情報を時系列で再現又は出力するよう構成された出力モジュールと、第１の手書き情報、第１の画像又はオーディオ情報及びイベント情報を含むコンテンツを格納するよう構成されたメモリモジュールとを含み、第１の手書き情報が出力モジュールに保持されている間に通信モジュールが媒体上で作成された第２のペンデータを追加的に受信した場合、コンテンツがメモリモジュールに格納された後に、第２のペンデータに対応する第２の手書き情報が、第１の手書き情報に加えて再現される電子機器が提供される。
【００２１】
出力モジュールはディスプレイ又はスピーカーを含み得る。
【００２２】
媒体は電子ペンによって検出されるパターンコードを含み得、通信モジュールは、電子ペンによって検出されたパターンコードをデジタル化することによって取得された第１のペンデータ又は第２のペンデータを受信し得る。
【００２３】
媒体はブランク媒体又はグラフィック媒体を含み得、ブランク媒体及びグラフィック媒体の各々は電子ペンによって検出されるパターンコードを含み得る。
【００２４】
制御モジュールは、メモリモジュールに格納されたファイルをグラフィック媒体ファイルに変換するような及びグラフィック媒体ファイルがグラフィック媒体に印刷されるような制御を実行し得る。
【００２５】
グラフィック媒体ファイルはグラフィック媒体画像として出力モジュールに出力され得、グラフィック媒体画像は媒体を較正するためのマークを含み得る。
【００２６】
グラフィック媒体は、その上にグラフィック媒体ファイルが印刷されるところのブランク媒体であり得る。
【００２７】
ブランク媒体及びグラフィック媒体の一方の画像は、コンテンツが再現されるように出力モジュールに出力され得る。
【００２８】
メニュー媒体はシステムメニュー、手書きメニュー又はイベントメニューを含み得る。
【００２９】
メニュー媒体は複数のメニューを含み得、各メニューは電子ペンによって検出されるパターンコードを有し得、通信モジュールがメニュー媒体に含まれる複数のメニューの一つの選択を受信した場合、選択されたメニューのイベントが出力モジュールで再現され得る。
【００３０】
メニュー媒体は一時停止メニューを含み得、通信モジュールが一時停止イベントの発生を受信した場合、第１の画像又はオーディオ情報の出力が停止している間、第１の手書き情報又は第２の手書き情報が編集され得る。
【００３１】
通信モジュールがイベントメニューに含まれる複数のメニューの一つの選択を受信した場合、視覚効果又は音響効果が出力モジュールを通じて提供され得る。
【００３２】
通信モジュールが手書きメニューに含まれる複数のメニューの一つの選択を受信した場合、第１の手書き情報又は第２の手書き情報に含まれるストロークは、第１のペンデータ又は第２のペンデータがそれぞれ第１の手書き情報又は第２の手書き情報に変換された場合に変更される色又は太さを有し得る。
【００３３】
出力モジュールは第１の手書き情報又は第２の手書き情報を再現するための第１のウィンドウ、及び、第１の画像情報を表示するための第２のウィンドウを含み得る。
【００３４】
コンテンツはさらに、電子機器から選択された第２の画像又はオーディオ情報を含み得る。
【００３５】
出力モジュールは第２の画像情報を表示するための第３のウィンドウを含み得る。
【００３６】
第２のウィンドウ又は第３のウィンドウは出力モジュール上の位置を調節され得る。
【００３７】
第１の画像情報は電子機器に形成されたカメラによって取り込まれ得る。
【００３８】
カメラは電子機器の正面及び裏面にそれぞれ配置された第１のカメラ及び第２のカメラを含み得、第１の画像情報は第１のカメラ及び第２のカメラの一方によって選択的に取り込まれ得る。
【００３９】
媒体は第１の領域及び第１の領域から区別される第２の領域を含み得、第１のペンデータ又は第２のペンデータが第１の領域及び第２の領域で作成された筆跡の位置情報を含む場合、第１の手書き情報又は第２の手書き情報は出力モジュール上で位置情報に基づいて第１の領域又は第２の領域に対応させるようディスプレイ上でシフトされる。
【００４０】
本発明の別の態様によると、電子ペンで媒体上に作成された筆跡をデジタル化することによって取得されたペンデータを再現及び格納するための電子機器を駆動する方法であって、電子機器上に媒体の画像を表示し、ペンデータに対応する手書き情報、電子機器の入力モジュールに入力されたユーザの画像情報及びオーディオ情報、メニュー媒体から選択されたメニューのイベント情報を、時系列で再現又は出力し、電子機器上に媒体の画像の全体的領域又は部分的領域を選択的に表示し、電子デバイス上に部分的領域が表示されている場合にのみ、媒体上で作成された筆跡が部分的領域内に再現できないと電子機器が判断した場合、手書き情報を再現すべく当該部分的領域以外の領域に媒体画像をシフトすることを含む方法が提供される。
【００４１】
媒体はブランク媒体又はグラフィック媒体を含み得、ブランク画像及びグラフィック媒体の一方の画像が電子機器上に表示され得る。
【００４２】
ブランク媒体、グラフィック媒体又はメニュー媒体は電子ペンによって検出されるパターンコードを含み得、通信モジュールは電子ペンによって検出されたパターンコードをデジタル化することによって取得されたペンデータを受信し得る。
【００４３】
電子機器に格納されたファイルをグラフィック媒体ファイルに変換するような及びグラフィック媒体ファイルがグラフィック媒体に印刷されるような制御が実行され得る。
【００４４】
グラフィック媒体は、その上にグラフィック媒体ファイルが印刷されるところのブランク媒体であり得る。
【００４５】
メニュー媒体はシステムメニュー、手書きメニュー又はイベントメニューを含み得る。
【００４６】
メニュー媒体は複数のメニューを含み得、各メニューは電子ペンによって検出されるパターンコードを有し得、通信モジュールがメニュー媒体に含まれる複数のメニューの一つの選択を受信した場合、選択されたメニューのイベントが出力モジュールで再現され得る。
【００４７】
メニュー媒体は一時停止メニューを含み得、通信モジュールが一時停止イベントの発生を受信した場合、画像情報又はオーディオ情報の出力が停止している間、手書き情報が編集され得る。
【００４８】
通信モジュールがイベントメニューに含まれる複数のメニューの一つの選択を受信した場合、視覚効果又は音響効果が出力モジュールを通じて提供され得る。
【００４９】
通信モジュールが手書きメニューに含まれる複数のメニューの一つの選択を受信した場合、手書き情報に含まれるストロークの色及び太さは、ペンデータが手書き情報に変換された場合に変更され得る。
【００５０】
手書き情報を再現するための第１のウィンドウ、及び、画像情報を表示するための第２のウィンドウが含まれ得る。
【００５１】
電子機器に格納された画像ファイル又はオーディオファイルが実行された場合、画像ファイル又は音声ファイルに対応する画像情報又はオーディオ情報が追加的に電子機器に出力され得る。
【００５２】
画像ファイルに対応する画像情報は第３のウィンドウ内に再現され得る。
【００５３】
第２のウィンドウ又は第３のウィンドウは電子機器のディスプレイ上の位置を調節され得る。
【００５４】
画像情報は電子機器に形成されたカメラによって取り込まれ得る。
【００５５】
カメラは電子機器の正面及び裏面にそれぞれ配置された第１のカメラ及び第２のカメラを含み得、画像情報は第１のカメラ及び第２のカメラの一方によって選択的に取り込まれ得る。
【００５６】
グラフィック媒体の画像は電子機器のディスプレイ上で較正され得る。
【００５７】
本発明の別の態様によると、電子ペンで作成された筆跡を時系列で再現するようにコンテンツを記録及び格納するためのデータ記録アプリケーションを制御する方法であって、筆跡が作成されるべきところの媒体の画像を電子機器のディスプレイに表示し、媒体上で作成された筆跡を変換することによって取得された手書き情報、電子機器によって取り込まれ又は記録された画像又はオーディオ情報、及びメニュー媒体から選択されたメニューのイベント情報を、時系列で配置又は出力し、電子機器に格納された画像ファイル又はオーディオファイル、及び、コンテンツと共にウェブサイトの画像ファイル又はオーディオファイル、の少なくとも一つを再生することを含む方法が提供される。
【００５８】
媒体はブランク媒体又はグラフィック媒体を含み得る。
【００５９】
グラフィック媒体の画像は、電子機器に格納され、グラフィック媒体ファイルに変換され、そしてディスプレイに表示されるドキュメントファイルであり得る。
【００６０】
ブランク媒体又はグラフィック媒体は電子ペンによって検出されるパターンコードを含み得る。
【００６１】
グラフィック媒体はブランク媒体に印刷されたグラフィック媒体ファイルによって制作され得る。
【００６２】
グラフィック媒体画像はグラフィック媒体で較正するためのマークを含み得る。
【００６３】
メニュー媒体はシステムメニュー、手書きメニュー又はイベントメニューを含み得る。
【００６４】
メニュー媒体は複数のメニューを含み得、各メニューは電子ペンによって検出されるパターンコードを有し得、電子機器がメニュー媒体に含まれる複数のメニューの一つの選択を検出した場合、選択されたメニューのイベントが出力モジュールに再現され得る。
【００６５】
メニュー媒体は一時停止メニューを含み得、電子機器が一時停止イベントの発生を検出した場合、画像情報又はオーディオ情報の再現が停止している間、手書き情報が編集され得る。
【００６６】
電子機器がイベントメニューに含まれる複数のメニューの一つの選択を検出した場合、視覚効果又は音響効果が出力モジュールを通じて提供され得る。
【００６７】
電子機器が手書きメニューに含まれる複数のメニューの一つの選択を検出した場合、手書き情報に含まれるストロークの色及び太さは変更され得る。
【００６８】
手書き情報は電子機器の第１のウィンドウに再現され得、画像情報は電子機器の第２のウィンドウに表示され得る。
【００６９】
追加的に再生される画像ファイルは電子機器の第３のウィンドウに表示され得る。
【００７０】
第２のウィンドウ又は第３のウィンドウは出力モジュール上の位置を調節され得る。
【００７１】
画像情報は、電子機器の正面及び裏面にそれぞれ形成された第１のカメラ及び第２のカメラの一方によって取り込まれ得る。
【００７２】
媒体の画像の全体的領域又は部分的領域は電子機器上に選択的に表示され得、電子機器上に部分的領域のみが表示されかつ媒体上で作成された筆跡が部分的領域内で再現できないと電子機器が判断した場合、媒体画像は部分的領域以外の領域にシフトされ得、従って手書き情報が表現され得る。
【００７３】
＜システム構成＞
【００７４】
図１は、本発明の実施形態に関連する、電子ペン、電子ペンと協働する電子機器を含むシステムを例示する概略図である。
【００７５】
システムは、少なくとも一つの媒体１０００、少なくとも一つのメニュー媒体１５００、少なくとも一つの電子ペン２０００、少なくとも一つの電子機器３０００、少なくとも一つのサーバ４０００及びデータ記録アプリケーション５０００を含み得る。
【００７６】
媒体１０００は、本発明の実施形態による電子ペンでユーザよって所望のメモを手書きするための面を提供する。
【００７７】
媒体１０００は紙、プラスチック及び金属などの材料で作られ得、本発明による媒体１０００の材料はそれらに限定されない。
【００７８】
本発明の実施形態による電子ペンがカメラモジュール又はそれと同様なものを含む光学要素に実装された電子ペンである場合、媒体１０００は、電子ペンよって認識され得るパターンコードを含み得る。パターンコードが媒体１０００に含まれる場合に、パターンコードは、印刷などの方法を通じて媒体１０００に提供され得る。
【００７９】
ユーザによって媒体１０００上に手書きされたメモが格納又は電子機器のディスプレイ上に再現される場合、メニュー媒体１５００は、電子機器又はデータ記録アプリケーション５０００のシステム設定、手書きメモに含まれるストロークの色及び太さ、音響効果又は視覚効果を提供し得る。
【００８０】
メニュー媒体１５００もまた、上記説明した媒体とそれと同じである紙などの材料で作られてよいが、本発明はそれらに限定されない。メニュー媒体１５００は、電子ペンによって認識得るパターンコードを含み得る。パターンコードは、印刷などの方法を通じてメニュー媒体１５００に提供され得る。
【００８１】
電子ペン２０００は、ユーザの手書きに関する情報を検出し、ペンデータを生成し得る。ペンデータは、ユーザの手書き上のストロークデータを生成するのに使用され得る。電子機器３０００は、電子ペン２０００からペンデータを受信し、受信したペンデータを解釈し得る。ストロークデータは、ペンデータの解釈に基いて生成され得る。
【００８２】
電子機器３０００は、ユーザの手書きを再現するために解釈されたストロークデータをリアルタイムで適切に処理し得、又は、ストロークデータに依存して、電子機器３０００に含まれるディスプレイを通じてユーザの手書きを後で再生し得る。
【００８３】
また、電子機器３０００は、ペンデータ及び／又はペンデータの解釈に基いて生成されたストロークデータを電子機器３０００に含まれるメモリ又はこれと同様なものに格納し得、ユーザの要求に従ってペンデータ及び／又はストロークデータを適切に処理し得る。
【００８４】
電子機器３０００はネットワーク越しにサーバ４０００に接続し得、ネットワークを通じて必要な情報を送信又は受信する。
【００８５】
サーバ４０００はネットワーク越しに電子機器３０００に接続し得、必要な情報を受信又は送信する。
【００８６】
サーバ４０００は複数の電子機器３０００と接続し得、電子機器３０００から受信したペンデータ（又はストロークデータ）のデータベースを構築する。
【００８７】
サーバ４０００は、複数の電子機器３０００からの要求又はユーザの要求によりデータベースに格納されたペンデータ（又はストロークデータ）を適切に処理し得る。
【００８８】
サーバ４０００は、上記で説明した電子機器３０００のいくつか又は全ての機能を実行し得る。例えば、電子機器３０００は電子ペン２０００からペンデータを受信し、ペンデータに対して特別な処理手順を実行することなく、直ぐにペンデータをサーバ４０００へ送信し得る。この場合、上記で説明したように、サーバ４０００は、ペンデータを受信しストロークデータを生成する動作及びストロークデータを格納し、追加的にストロークデータを処理する動作、を実行し得る。
【００８９】
データ記録アプリケーション５０００は、講義資料を作成する、又は、電子ペンを用いて観察者にコンテンツを説明するための資料を制作するオーサリングツールである。
【００９０】
データ記録アプリケーション５０００は、ユーザよって媒体上に作成された文字又は絵（筆跡）などの手書き情報に加えて、電子機器によって取り込まれたユーザの画像情報及びオーディオ情報を再現、表示又は格納し得る。また、データ記録アプリケーション５０００は、電子機器に格納された他の画像情報又はオーディオ情報を出力し、そして必要に応じて手書き情報に加えて、出力された画像情報又はオーディオ情報を再現、再生又は格納し得る。
【００９１】
図１において、一つの媒体１０００−１に一つの電子ペン２０００−１が対応することが示されている。しかしながら、媒体１０００と電子ペン２０００との間の対応は、１：Ｎ又はＮ：１であり得る。
【００９２】
また、図１は、一つの電子ペン２０００−１が一つの電子機器３０００−１に対応することを示している。しかしながら、電子ペン２０００と電子機器３０００との間の対応もまた、１：Ｎ又はＮ：１であり得る。
【００９３】
さらに、図１は、複数の電子機器３０００が一つのサーバ４０００に接続されていることが示されている。しかしながら、本発明の実施形態によるシステムは２又はそれより多いサーバを含み得る。
【００９４】
一方で図１は、電子ペン２０００が電子機器３０００と通信すること、及び、電子機器３０００が電子ペン２０００及びサーバ４０００と通信すること、を示している。しかしながら、電子ペン２０００は必要に応じてサーバ４０００と直接通信し得る。
【００９５】
＜媒体＞
【００９６】
続いて、本発明の実施形態に関連した媒体１０００が説明されるであろう。
【００９７】
図２は、本発明の実施形態に関連する媒体を示す図である。
【００９８】
図２を参照すると、媒体１０００は、ブランク媒体１２００及びグラフィック媒体１４００に分類され得る。ブランク媒体１２００は、筆記帳など、手書きが可能な殆ど空白から成る媒体を指し得る。図２の上部に示されるように、ブランク媒体１２００は、筆記帳など、複数のシートから成る媒体であり得、一枚のシートから成る媒体であり得る。複数のシートから成るブランク媒体１２００の一枚のシートは、サブ媒体と称され得る。電子ペン２０００が光学的電子ペンとして実装される場合、筆記帳に含まれる少なくともいくつか又は全てのページは、各々、本発明の実施形態によるパターンコードを有し得る。
【００９９】
筆記帳に含まれるページ全面の少なくとも部分的領域のみが、本発明の実施形態による媒体１０００として実装されてもよい。例えば、電子ペン２０００が光学的電子ペンとして実装される場合、パターンコードは、筆記帳に含まれるページの全面に渡ってではなく、その部分的領域内に提供され得る。
【０１００】
図２の下部に示されるように、グラフィック媒体１４００は、文字又は絵で構成される特定のグラフィックを含む媒体であり得る。グラフィック媒体１４００は、ユーザよって所望のドキュメントファイルをブランク媒体１２００に印刷することによって生成され得る。グラフィック媒体１４００はまた、単一の媒体であり得るし、複数のサブメディアを含み得る。ユーザによって印刷されるドキュメントファイルが複数のシートを有する場合、グラフィック媒体１４００は複数のサブメディアを含み得る。パターンコードはグラフィック媒体１４００の面上にさえ提供され得る。グラフィック媒体１４００は以下で詳細に説明されるであろう。
【０１０１】
図示されていないが、本発明の実施形態による媒体１０００は、黒板又はそれと同様のものの形で実装され得る。すなわち、本発明の実施形態による媒体１０００は、パターンコードを含む黒板（電子黒板）の形で実装され得る。
【０１０２】
＜電子ペン＞
【０１０３】
続いて、本発明の実施形態による電子ペンが説明されるであろう。
【０１０４】
図３は本発明の実施形態による電子ペンの例示的な外観を示す図であり、図４は本発明の実施形態による電子ペンの要素を例示するブロック図である。
【０１０５】
図３を参照すると、電子ペン２０００は主に、媒体１０００上にメモを手書きすることを可能にする先端部分を固定するよう構成された本体部分２０２０、電子ペン２０００が不使用状態の間に先端部分を防護するよう構成されたキャップ部２０３０、等を含み得る。
【０１０６】
ここで、不使用状態は、本発明の実施形態による電子ペン２０００が保持されている状態を指し得る。この状態において、先端部分は外に露出しておらず、従って媒体上にメモを手書きできないであろう。
【０１０７】
先端部分は媒体上にメモを手書き可能な要素であり、ボールを含み得るし、インクを含有しえる。この場合、インクは、油性、水性及び中性インクなどの様々な形式を含み得る。
【０１０８】
また、先端部分は鉛筆に使用されるグラファイトリードであり得、又は、汎用の筆記具に使用される先端部であり得る。
【０１０９】
本体部分２０２０は、先端部分の一部が露出するよう先端部分の挿入を可能にし、そして先端部分を固定するよう構成された要素であり、ユーザの手によって挟持され得るある種のグリップ部分を指し得る。
【０１１０】
キャップ部２０３０は、先端部分を防護するため不使用状態で本体部分２０２０の一方側が挿入可能であるところの所定の内部空間を有し得、キャップ部２０３０が本体部分２０２０の他方の側に挿入される場合に先端部分の一部を外に露出することによって手書きを可能にし得る。
【０１１１】
しかしながら、キャップ部２０３０が先端部分２０１０でメモが書き込まれることを可能にする場合、キャップ部２０３０は本体部分２０２０の他方の側に挿入される必要は必ずしもなく、本体部分２０２０から分離されて所定の空間に置かれ得る。
【０１１２】
図４を参照すると、本発明の実施形態による電子ペン２０００は、入力ユニット２１００、出力ユニット２２００、パターン検出ユニット２３００、通信ユニット２４００、センサユニット２５００、メモリ２６００、電源供給ユニット２７００、制御ユニット２８００等を含み得る。しかしながら、図４に示された要素は不可欠なものではなく、従って電子ペンは、図４に示されたそれらよりもより多くの要素又はより少ない要素を有するよう実装し得る。
【０１１３】
電子ペン２０００の要素は以下に逐次的に説明されるであろう。
【０１１４】
入力ユニット２１００は、ユーザからのユーザ入力を受信し得る。ユーザ入力は、ボタン入力、キー入力、タッチ入力及び音声入力を含む、様々な形式で達成され得る。例えば、電子ペン２０００はユーザからボタン入力を受信して、電子ペン２０００の電力オン／オフを制御する。
【０１１５】
一例として、入力ユニット２１００は、ユーザのタッチを検出するよう構成されたタッチセンサ、音声信号を受信するよう構成されたマイク、画像認識を通じてジェスチャー又はそれと同様なものを認識するよう構成されたカメラ、ユーザの接近を検出するための照射センサ又は赤外線センサで構成された近接センサ、加速度センサ、ジャイロセンサ又はこれと同様なものを通じてユーザの動きを認識するよう構成された動きセンサ、及び、典型的なボタン、典型的なジョグダイヤル等に加えて様々なユーザ入力を検出又は受信するよう構成された様々な他の入力ユニットを含む、包括的な概念である。
【０１１６】
出力ユニット２２００は、ユーザに様々な種類の情報を出力及び提供する。出力ユニット２２００は、ユーザの視覚を通じて認識可能な可視光を出力するよう構成されたディスプレイ、ユーザの聴覚を通じて認識可能な音声を出力するよう構成されたスピーカー、ユーザの触覚を通じて認識可能な振動を生成するよう構成された振動デバイス、及び、様々な他の出力ユニットを含む包括的な概念と解釈されるべきである。例えば、電子ペン２０００は、電子ペン２０００が電源オン状態から電源オフ状態へ切り替えられたかどうか、電子ペン２０００が電源オフ状態から電源オン状態へ切り替えられたかどうか等に関する情報をユーザに提供すべく、電子ペン２０００に含まれるブザー又はこれと同様のものを通じて所定の特定の音を出力し得る。他の例として、電子ペン２０００は、電子ペン２０００の動作状態に関する情報をユーザに提供すべく、ＬＥＤ灯などのディスプレイを通じて所定の可視光を出力し得る。
【０１１７】
パターン検出ユニット２３００は、媒体１０００に対する電子ペン２０００の位置を判断するための位置情報が符号化されているところのパターンコードを検出するよう構成されており、カメラモジュール２３２０及び照明モジュール２３４０を含む。
【０１１８】
カメラモジュール２３２０は、媒体１０００に提供されたパターンコード画像の画像を取得するよう構成されている。カメラモジュール２３２０は、電子ペン２０００がユーザの手書きに応じて媒体１０００上を動く間に、所定の時間の間隔（例えば、１／６０秒、１／２４０秒又はこれと同様なもの）に従って、媒体１０００に提供されたパターンコードの部分的領域の画像を取得する。従って、電子ペン２０００は、パターンコードの解釈方法に従って取得画像に含まれる単位セルに関する情報を解釈し、座標の形で媒体１０００に対する電子ペン２０００の位置を解釈し得る。
【０１１９】
照明モジュール２３４０は、パターンコードの画像がカメラモジュール２３２０を通じて取得できるよう、所定の特定の周波数の光を媒体１０００へ放射する。本発明の実施形態による媒体１０００に提供されたパターンコードは、赤外線を吸収することが可能なインクを用いて印刷され得る。この場合、照明モジュール２３４０は、媒体１０００へ、インクよってよく吸収され得る波長の光を放射し得る。この場合、カメラモジュール２３２０は、赤外帯域に対する画像をキャプチャするよう構成され得る。この目的で、カメラモジュール２３２０は赤外帯域のみを選択的に通す赤外線フィルタを含み得る。
【０１２０】
通信ユニット２４００は外部機器と通信し得る。例えば、電子ペン２０００は、通信ユニット２４００を通じて、電子機器３０００、サーバ４０００又はこれと同様のものと通信し得る。従って、電子ペン２０００は、外部機器へ又はから様々な種類の情報を送信又は受信し得る。例えば、電子ペン２０００は、電子ペン２０００によって生成されたペンデータ又はこれと同様のものを、通信ユニット２４００を通じて電子機器３０００又はサーバ４０００に送信し得、電子ペン２０００の動作を制御するため又は電子ペン２０００に必要な情報を提供するための命令及び／又はデータを、通信ユニット２４００を通じて電子機器３０００又はサーバ４０００から受信し得る。
【０１２１】
通信ユニット２４００は、有線モジュール２４２０及び無線モジュール２４４０を含み得る。
【０１２２】
有線モジュール２４２０は、有線の様式で外部機器へ又はからデータを送信又は受信するためのモジュールであり、ＵＳＢポート、ＰＳ／２ポート、パラレルポート、シリアルポート等などの、外部機器へ又はからデータを送信又は受信する要素を含み得、さらにローカルエリアネットワーク（ＬＡＮ）を通じてインターネットにアクセスするためのイーサネット（登録商標）ポートを含み得る。
【０１２３】
無線モジュール２４４０は、データを送信又は受信するために移動通信基地局を介して移動通信ネットワークにアクセスする移動通信モジュール、Ｗｉ−Ｆｉなどの無線ローカルエリアネットワーク（ＷＬＡＮ）ベースの通信スキーム、又は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＺｉｇｂｅｅ（登録商標）などの無線パーソナルエリアネットワーク（ＷＰＡＮ）ベースの通信スキームを用いる短距離通信モジュール等を含み得る。
【０１２４】
センサユニット２５００は様々な情報を感知し得る。ここで、様々な情報は電子ペン２０００の動作を制御するための制御信号を生成するのに利用され得、電子ペン２０００によって生成されるペンデータを生成するのに用いられ得る。センサユニット２５００を通じて感知された様々な情報は電子機器３０００又はサーバ４０００に提供され得る。
【０１２５】
センサユニット２５００は、圧力センサ２５２０、ペン芯センサ２５４０、スリープセンサ２５６０等を含み得る。
【０１２６】
圧力センサ２５２０はユーザが手で書き込んでいる場合に生成される圧力を感知する。例えば、ユーザが電子ペン２０００を用いてメモを手書きする場合、電子ペン２０００は手書き面に接触し、この点で生成される圧力が圧力センサ２５２０によって感知され得る。特に、圧力センサ２５２０は、電子ペン２０００に設けられたペン芯の後端（すなわち、ペン芯の両端の一方であって、ペン先とは反対の端部）に提供され得、圧力を感知するよう構成され得る。電子ペン２０００は、ペンデータを生成するために圧力センサ２５２０を通じて感知された圧力値を用い得る。この場合、ペンデータに含まれる圧力値は、ユーザの手書きに応じて媒体１０００に適用された筆圧に関する筆圧情報として処理され得、そしてユーザによって手書きされたメモを再現するのに用いられ得る。代替的に、オフ状態にあった電子ペン２０００は、圧力センサ２５２０を通じた信号出力を電子ペン２０００をオンにするトリガ信号として用い得る。
【０１２７】
ペン芯センサ２５４０は、電子ペン２０００に設けられたペン芯（先端部分）のタイプを示すペン芯識別子を検出し得る。例えば、ペン芯（先端部分）の色を示すペン芯識別子が、電子ペン２０００に設けられたペン芯（先端部分）の外に提供され得る。この場合、ペン芯センサ２５４０は、ペン芯識別子を、光学的方法、磁気的方法及び様々な他の利用可能な方法を通じて検出し得る。ペン芯センサ２５４０によって感知された値又は感知された値を用いて解釈されたペン芯（先端部分）に関する情報は、電子機器３０００へ提供され得る。電子機器３０００は、提供された情報をユーザによって手書きされたメモを再現するのに用い得る。
【０１２８】
スリープセンサ２５６０は電子ペン２０００の状態を検出し得、それは、オン状態にあった電子ペン２０００を自動でオフ状態に切り替えるどうか判断するのに使用される。例えば、スリープセンサ２５６０は加速度センサ又は同様のものを含み得る。電子ペン２０００が動いたかどうかは、加速度センサ又は同様のものを通じて検出し得る。スリープセンサ２５６０を通じて感知された値に基づいて、電子ペン２０００が所定の時間動いていなかったと判断された場合、電子ペン２０００は自動でオフ状態に切り替わり得る。
【０１２９】
本発明の幾つかの実施形態によれば、電子ペン２０００がオン状態にある場合に、電力は電子ペン２０００に含まれる要素に正常に供給され、要素は必要に応じて正常に操作し得、電子ペン２０００がオフ状態にある場合に、電力は電子ペン２０００に含まれるいくつか又は全ての要素に対して遮断され、電子ペン２０００に含まれるいくつか又は全ての要素は正常に操作できない。特に、本発明の幾つかの実施形態によれば、電子ペン２０００がオフ状態にあるが、電力は、圧力センサ２５２０及び／又は圧力センサ２５２０からの信号出力を解釈するための解釈モジュール等に正常に供給され得る。従って、オフ状態にあった電子ペン２０００は、圧力センサ２５２０から出力された感知値に基づいてオン状態に自動で切り替わり得る。
【０１３０】
メモリ２６００は様々な種類の情報を格納し得る。メモリ２６００は一時的又は半永久的にデータを格納し得る。電子ペン２０００を駆動するためのファームウェアなどの動作プログラムはメモリ２６００に格納され得る。必要に応じて、電子ペン２０００によって生成されたペンデータ及びセンサユニット２５００によって出力された感知値などの、電子ペン２０００の駆動に必要な情報、命令及びデータが格納され得る。
【０１３１】
メモリ２６００の例は、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）等を含み得る。
【０１３２】
電源供給ユニット２７００は電子ペン２０００の要素の操作に必要な電力を提供し得る。電源供給ユニット２７００は再充電可能バッテリで実装し得る。電子ペン２０００の通信ユニット２４００は充電ポート（例えばＵＳＢポート）を含むことが仮定されている。電子ペン２０００が充電ポートを通じて電子機器３０００に接続されている場合、電力は電子機器３０００から供給され得、従ってバッテリは充電され得る。
【０１３３】
制御ユニット２８００は電子ペン２０００の動作全体を制御する。この目的で、制御ユニット２８００は様々な種類の情報を計算及び処理し得、電子ペン２０００の要素の動作を制御し得る。
【０１３４】
また、制御ユニット２８００はパターン検出ユニット２３００によって取得されたパターンコードの画像を分析し得、取得されたパターンコードの画像に含まれた単位セルに符号化された情報を復号し、さらに、復号された情報から、電子ペン２０００の媒体１０００の位置座標、および媒体１０００の識別情報（例えば書籍情報又はページ情報）を取得する。
【０１３５】
制御ユニット２８００は、単位セルに符号化され情報を復号化することよって取得された情報に基づいてペンデータを生成し得る。上記で説明したように、生成されたペンデータは、メモリ２６００に格納され得、又は、通信ユニット２４００を通じて電子機器３０００及び／又はサーバ４０００へ送信され得る。ペンデータの生成は、以下で詳細に説明されるであろう。
【０１３６】
制御ユニット２８００は、電子ペン２０００の全般的な動作を制御するための第１制御ユニット、及び、パターン検出ユニット２３００によって取得された画像を分析し、単位セルに符号化された情報を復号化し、及び、上記で説明したペンデータを生成する第２制御ユニットに分類され得る。制御ユニット２８００は論理的に第１制御ユニットと第２制御ユニットとに分割され得る。しかしながら、第１制御ユニット及び第２制御ユニットは互いから物理的に分離され得る。
【０１３７】
制御ユニット２８００は、ハードウェア、ソフトウェア又はその組み合わせでコンピュータ又はそれと同様なものに実装され得る。ハードウェアに実装される制御モジュールは、制御機能を実行する電気信号を処理するための電子回路の形で提供され得るし、ソフトウェアに実装される制御ユニットはハードウェアに実装された制御モジュールを駆動するためのプログラムの形で提供され得る。
【０１３８】
以下の説明において、特にそうでないとしない限り、電子ペン２０００の動作は制御ユニット２８００の制御によって実行されると解釈され得る。
【０１３９】
＜電子機器＞
【０１４０】
続いて、本発明の実施形態による電子機器３０００が説明されるであろう。
【０１４１】
図５は、本発明の実施形態による電子機器の要素を例示するブロック図である。
【０１４２】
図５を参照すると、電子機器３０００は、入力モジュール３１００、出力モジュール３２００、通信モジュール３３００、メモリモジュール３４００及び制御モジュール３５００を含み得る。しかしながら、図５に示された要素が不可欠なものではなく、従って電子機器は図５に示されたそれらより多くの要素又はより少ない要素を実装し得る。
【０１４３】
電子機器３０００の要素は以下で順次説明されるであろう。
【０１４４】
入力モジュール３１００は、ユーザからのユーザ入力を受信する。ユーザ入力は、キー入力、タッチ入力及び音声入力を含む、様々な形式で達成し得る。例えば、ユーザ入力などを受信するための入力モジュール３１００は、ユーザのタッチを検出するよう構成されたタッチセンサ、音声信号を受信するよう構成されたマイク、画像認識を通じてジェスチャー又はそれと同様なものを認識するよう構成されたカメラ、ユーザの接近を検出するための照射センサ又は赤外線センサで構成された近接センサ、加速度センサ、ジャイロセンサ又はそれと同様なものを通じてユーザの動きを認識するよう構成された動きセンサ、及び、典型的なボタン、典型的なジョグダイヤル等に加えて、様々なユーザ入力を検出又は受信するよう構成された様々な他の入力ユニットを含む包括的な概念である。ここでタッチセンサは、ディスプレイパネルに取り付けられたタッチパネル又はタッチ膜を通してタッチを検出するための抵抗又は容量型タッチセンサ、光学的な方式でタッチを検出するための光学タッチセンサ等で実装され得る。
【０１４５】
出力モジュール３２００は、様々な種類の情報をユーザに出力及び提供し得る。出力モジュール３２００は、ユーザの視覚を通じて認識可能な可視光を出力するよう構成されたディスプレイ、ユーザの聴覚を通じて認識可能な音声を出力するよう構成されたスピーカー、ユーザの触覚を通じて認識可能な振動を生成するよう構成された触覚デバイス、及び、様々な他の出力ユニットを含む包括的な概念である。
【０１４６】
ディスプレイは、本発明の実施形態による電子ペン２０００及び／又は電子機器３０００でユーザによって手書きされたメモを再現するための画像を出力し得る。
【０１４７】
また、ディスプレイは、液晶表示装置（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、フラットパネルディスプレイ（ＦＰＤ）、透明ディスプレイ、湾曲ディスプレイ、フレキシブルディスプレイ、３次元（３Ｄ）ディスプレイ、ホログラフィックディスプレイ、プロジェクタ及び画像出力機能を実行するための様々な他のデバイスを含む、画像表示デバイスの広い概念である。ディスプレイは、入力モジュール３１００のタッチセンサと一体に形成されたタッチディスプレイであり得る。
【０１４８】
通信モジュール３３００は外部機器と通信し得る。例えば、電子機器３０００は、通信モジュール３３００を通じて、電子機器３０００又はサーバ４０００と通信し得る。従って、電子機器３０００は、様々な種類の情報を外部機器へ又はから送信又は受信し得る。例えば、通信モジュール３３００を通じて、電子機器３０００は電子ペン２０００によって生成されたペンデータ又はこれと同様のものを受信し得、必要な情報を電子ペン２０００へ送信し得る。また、通信モジュール３３００を通じて、電子機器３０００は電子ペン２０００から受信したペンデータ又はペンデータを解釈することによって取得したストロークデータをサーバ４０００へ送信し得、サーバ４０００から必要な情報を受信し得る。
【０１４９】
通信モジュール３３００は、ローカルエリアネットワーク（ＬＡＮ）ポート、ＵＳＢポート、ＰＳ／２ポート、パラレルポート、シリアルポートを含む、ＬＡＮを通じてインターネット又はそれと同様のものにアクセスするよう構成された有線通信モジュール、データを送信又は受信するために移動通信基地局を介して移動通信ネットワークにアクセスするよう構成された移動通信モジュール、Ｗｉ−Ｆｉなどの無線ローカルエリアネットワーク（ＷＬＡＮ）ベースの通信スキーム、又は、Ｂｌｕｅｔｏｏｔｈ（登録商標）及びＺｉｇｂｅｅ（登録商標）などの無線パーソナルエリアネットワーク（ＷＰＡＮ）ベースの通信スキームを用いる短距離通信モジュール、全地球測位システム（ＧＰＳ）などの全球測位衛星システム（ＧＮＳＳ）を用いた衛星通信モジュール、又は、それらの組み合わせで構成され得る。
【０１５０】
メモリモジュール３４００は様々な種類の情報を格納し得る。メモリモジュール３４００は一時的又は半永久的にデータを格納し得る。電子機器３０００を駆動するオペレーティングシステム（ＯＳ）がメモリモジュール３４００に格納され得、電子ペン２０００から受信された様々な種類のデータ、電子ペン２０００から受信された様々な種類のデータを処理するためのアプリケーションプログラム等が必要ならばメモリモジュール３４００に格納され得る。
【０１５１】
メモリモジュール３４００の例は、ハードディスクドライブ（ＨＤＤ）、ソリッドステートドライブ（ＳＳＤ）、フラッシュメモリ、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）等を含み得る。
【０１５２】
制御モジュール３５００は電子機器３０００の動作全体を制御する。この目的で、制御モジュール３５００は、様々な種類の情報を計算及び処理し得、電子機器３０００の要素の動作を制御し得る。
【０１５３】
制御モジュール３５００は、ハードウェア、ソフトウェア又はその組み合わせでコンピュータ又はそれと同様なものに実装され得る。ハードウェアに実装される制御モジュールは、制御機能を実行する電気信号を処理するための電子回路の形で提供され得るし、ソフトウェアに実装される制御ユニットはハードウェアに実装された制御モジュールを駆動するためのプログラムの形で提供され得る。
【０１５４】
以下の説明において、特にそうでないとしない限り、電子機器３０００の動作は制御モジュール３５００の制御によって実行されると解釈され得る。
【０１５５】
＜電子機器の駆動の説明＞
【０１５６】
図６は本発明の実施形態による電子機器上にデータ記録アプリケーションが表示されるところのスクリーンを例示する図である。
【０１５７】
図６を参照すると、本発明の実施形態によるデータ記録アプリケーション５０００は、講義資料を作成する、又は、電子ペン２０００を用いて観察者にコンテンツを説明するための資料を制作するオーサリングツールである。
【０１５８】
データ記録アプリケーション５０００はソフトウェアであり得る。従って、データ記録アプリケーション５０００はアプリケーションの形で電子機器３０００にインストールされ動作され得る。データ記録アプリケーションは、ソフトウェアの形で記録媒体に格納されたまま電子機器内にインストールされ動作され得る。データ記録アプリケーションは特定のサーバに格納されてデータ記録アプリケーションを用いることを望むユーザによってダウンロードされ得る。
【０１５９】
データ記録アプリケーション５０００は、電子機器３０００上で特定の機能を実行するプログラムコードを含み得る。データ記録アプリケーション５０００は、メモリモジュールに格納され得、データ記録アプリケーションが実行している場合に電子機器３０００のオペレーティングシステム又は制御モジュール３５００によって電子機器３０００に必要な機能を提供し得る。従って、データ記録アプリケーション５０００によって提供される機能は、電子機器３０００の入力モジュール３１００、出力モジュール３２００、通信モジュール３３００、メモリモジュール３４００及び制御モジュール３５００と通信する電子機器３０００に実装され得る。
【０１６０】
データ記録アプリケーション５０００と電子機器３０００は、それぞれソフトウェアとハードウェアに対応する別個の要素である。しかしながらデータ記録アプリケーション５０００は電子機器３０００内で駆動されるので、それらの間を厳密に区分する必要は存在しない。本発明の実施形態による以下の説明は、データ記録アプリケーション５０００及び電子機器３０００の両方に適用され得る。すなわち、本発明の以下の説明がデータ記録アプリケーション５０００に基づく場合さえも、データ記録アプリケーション５０００は電子機器３０００上で動作するので、当該説明は、電子機器３０００についてのものであるとみなされ得る。従って、以下の説明はデータ記録アプリケーション５０００に焦点を合わせるが、データ記録アプリケーション５０００が電子機器３０００内に実装されていると仮定されている。
【０１６１】
データ記録アプリケーション５０００は、ユーザによって媒体１０００上に作成された文字又は絵などの筆跡、又は、電子機器３０００によって取り込まれ又は記録されたユーザの画像情報又はオーディオ情報を電子機器の出力モジュール上に再現し得、再現された筆跡、又は、画像又はオーディオ情報をメモリモジュールに格納し得る。本明細書において、ユーザによって媒体上に作成された文字又は絵などの筆跡は、筆跡が電子機器の出力モジュール上に再現された場合に、手書き情報と称される。
【０１６２】
また、データ記録アプリケーション５０００は、電子機器３０００に格納された他の画像情報又はオーディオ情報を出力し、そして必要に応じて手書き情報に加えて、出力された画像情報又はオーディオ情報を再現、再生又は格納し得る。
【０１６３】
データ記録アプリケーション５０００は、ブランク媒体１２００及びグラフィック媒体１４００のうちの一つを選択するための選択肢を提供し得、電子機器３０００のディスプレイ上に選択された媒体の画像を表示し得る。
【０１６４】
ドキュメントファイルがデータ記録アプリケーション５０００によって使用できるように、データ記録アプリケーション５０００は電子機器３０００に格納されているドキュメントファイルをグラフィック媒体１４００に対するファイルに変換し、ファイルをグラフィック媒体１４００に出力する機能をユーザに提供する。この場合、グラフィック媒体ファイルは、パターンコードが印刷されているところのブランク媒体１２００上に印刷されることによってグラフィック媒体１４００として制作され得る。
【０１６５】
電子ペン２０００は、媒体１０００に含まれるパターンコードの少なくとも部分的領域の画像を取得し得、取得画像に含まれる単位セルに符号化された情報を解釈して位置情報を取得し得る。
【０１６６】
ユーザがメモを手書きしている間、電子ペン２０００はパターンコードの画像及び画像の解釈を通じて取得した位置情報を継続的に取得し、処理し、及び、格納する。結果として、電子ペン２０００はデータ記録アプリケーション５０００上で対応する手書き情報を再現し得る。電子ペン２０００によって媒体上に作成された筆跡はデジタル化されてペンデータに処理され、ペンデータは、データ記録アプリケーション５０００が実行しているところの電子機器３０００上の手書き情報として再現され得る。
【０１６７】
電子機器３０００上で実行するデータ記録アプリケーション５０００の方法の詳細は以下に説明されるであろう。
【０１６８】
図７は、本発明の実施形態による電子機器上で動作するデータ記録アプリケーションのフローチャートである。
【０１６９】
図７を参照すると、当該方法は、データ記録アプリケーション５０００を実行することと、媒体を選択することと、ディスプレイ上に媒体画像を出力することと、電子ペン２０００と電子機器３０００との間の通信を確立することと、コンテンツの記録を開始することと、コンテンツを制作することと、記録を終了してコンテンツを格納することとの段階を含む。
【０１７０】
媒体１０００を選択する段階は、ブランク媒体１２００を選択すること及びグラフィック媒体１４００を選択することを含み得る。ブランク媒体１２００が選択された場合、ブランク媒体画像は電子機器３０００のディスプレイに出力され得る。グラフィック媒体１４００が選択された場合、ドキュメントファイルを選択すること、グラフィック媒体ファイルを生成すること、グラフィック媒体ファイルを共有又は印刷すること、グラフィック媒体画像をディスプレイに出力すること、グラフィック媒体１４００を調整することの付加的な段階が逐次的に実行され得る。次に、電子ペン２０００と電子機器３０００との間のペアリングが実行され得る。
【０１７１】
ここで、コンテンツは、データ記録アプリケーション５０００に出力できる全ての情報を意味するよう使用されている。コンテンツは、電子ペン２０００によって媒体１０００上に作成され電子機器３０００のディスプレイ上に再現された手書き情報、電子機器３０００の入力モジュール３１００よって取り込まれ又は記録された画像情報又はオーディオ情報、メニュー媒体１５００から選択されたメニューによって生成されたイベント音響効果又はイベント視覚効果、電子機器３０００に格納された画像ファイル又はオーディオファイルが実行された場合に電子機器上に表示される画像情報又はオーディオ情報、ウェブアドレスにリンクされた画像ファイル又はオーディオファイルが実行された場合に電子機器３０００の出力モジュール３２００に現れる画像情報又はオーディオ情報、又は、それと同様のもの、を指し得る。狭い意味において、コンテンツは、データ記録アプリケーション５０００でビデオ又は音の記録が開始された後に、ディスプレイに現れる全ての情報及び記録を指し得る。「記録」という用語は、画像情報の記録／格納のみを意味しておらず、オーディオ情報の記録／格納もまた意味し得る。従って、「記録」という用語はまた録音を意味し得る。
【０１７２】
図８は、本発明の実施形態による、データ記録アプリケーションが実行される場合に現われるスクリーンである。
【０１７３】
図８を図７と共に参照し、データ記録アプリケーション５０００を実行した後に媒体が選択される段階が説明されるであろう。データ記録アプリケーション５０００は媒体１０００を選択するようユーザをガイドし得る。グラフィック媒体１４００に対するファイルは、電子機器の出力モジュール３２００であるところのディスプレイからブランク媒体１２００をユーザが選択すること、（図面中の「ブランクノートブックを用いる」）又は、電子機器３０００に格納されているドキュメントファイルを選択すること（図面中の「自身の資料を用いる」）によって生成され得る。
【０１７４】
ブランク媒体及びグラフィック媒体は、媒体のタイプであって、上記で説明されており、従ってその詳細な説明は省略されるであろう。
【０１７５】
以下、ブランク媒体１２００が選択された場合のデータ記録アプリケーションの動作が最初に説明され、次にグラフィック媒体１４００を選択する段階が後で説明されるであろう。
【０１７６】
図９は、本発明の実施形態による、ブランク媒体が選択された場合に現れるデータ記録アプリケーションのスクリーンである。
【０１７７】
図９を参照すると、ブランク媒体１２００が選択された場合、ブランク媒体画像１２１０が電子機器３０００のディスプレイに出力される。データ記録アプリケーションに現れる画像は、実際のブランク媒体から異なり得る。データ記録アプリケーション５０００において、ブランク媒体画像１２１０は黒に設定されているが、画像の色は白を含むいかなる色であり得る。ブランク媒体１２００は文字又は絵などのいかなる要素も含まないので、ブランク媒体１２００がデータ記録アプリケーション５０００を通して画像化された場合にブランク媒体１２００は空白画像で構成され得る。
【０１７８】
図１０および図１１は、本発明の実施形態による、電子ペンと電子機器との間の通信を確立するためのスクリーンである。
【０１７９】
図１０および図１１を参照すると、データ記録アプリケーション５０００は、電子ペン２０００との接続を要求するためのスクリーン１２２０を生成して、スクリーン１２２０を電子機器３０００のディスプレイに出力し得る。データ記録アプリケーション５０００は電子ペン２０００と電子機器３０００との間の通信のためのチャンネルを確立する。通信チャネルは、有線または無線通信方法を用いてデータを交換すべく電子ペン２０００の通信ユニット２４００及び電子機器３０００の通信モジュール３３００に対して固定され、通信チャネルの固定はペアリングと称され得る。Ｂｌｕｅｔｏｏｔｈ（登録商標）無線通信方法がペアリングとして採用され得る。しかしながら、本発明はそれらに限定されず、いかなる有線または無線の方法が使用され得る。
【０１８０】
従って、電子ペン２０００と電子機器３０００との間のペアリングがユーザのペアリングの実行よって完了した後に、ペアリングが完了したことを示す表示１２３０が現われ得る。
【０１８１】
電子ペン２０００が電子機器３０００とペアにされた場合、記録がまだ開始されてさえいなくてもデータ記録アプリケーション５０００は電子ペン２０００を通じた手書き情報及びユーザの画像情報を再現又は表示し得る。
【０１８２】
図１２および図１３は、本発明の実施形態による、データ記録アプリケーションの記録開始段階を示すスクリーンである。
【０１８３】
図１２および図１３を参照すると、データ記録アプリケーション５０００は、記録ボタン１２４０の実行によってコンテンツの再現及び記録を開始し得る。記録が開始した場合、記録ボタン１２４０の表示は、赤から青へ変化し得、この変化が記録が開始されていることを示し得る。記録ボタンの色は、ＰＣＴ出願に対する白黒図面を用いるという要求に起因して、図面には表われていない。しかしながら、図１２の記録ボタンの円は、ボタンがユーザによってクリックされた後に正方形に変化している。記録開始前後のボタンの色及び形状は、データ記録アプリケーションがどのように制作されたかに依存して変わり得る。記録の開始及び終了でさえメニュー媒体１５００を通じて実行され得、それは以下に説明されるであろう。
【０１８４】
ユーザの画像又はオーディオ情報及び電子ペン２０００で作成された書き込情報を再現、再生及び記録する処理は、以下に説明されるであろう。
【０１８５】
図１４から図１７は、本発明の実施形態による、ブランク媒体内のコンテンツを制作する処理を示す図である。
【０１８６】
図１４から図１７を参照すると、図面中の女性がブランク媒体を用いたコンテンツを制作している。
【０１８７】
媒体１０００上で作成された絵及び文字などの手書きメモ（以下筆跡と称される）はペンデータとして電子ペン２０００に形成されたメモリユニットに格納され得る。ペンデータは、電子機器３０００においてユーザの筆跡をストロークデータに変換するのに使用される情報を参照し得る。媒体上で作成された筆跡は、デジタル化され第１のペンデータに変換され得る。ストロークデータは、電子ペン２０００からペンデータを受信する電子機器３０００によって使用される情報であり、電子機器３０００の媒体上で作成された筆跡を示し得る。電子機器３０００は、電子ペン２０００からペンデータを受信し、受信したペンデータを解釈し、そしてストロークデータを生成し得る。手書き情報は、ストロークデータの最小ユニット片又は最小ユニット片より大きいストロークデータの片の合計として定義され得、媒体に現われた筆跡のタイプが電子機器３０００のディスプレイに実装されたことを意味し得る。
【０１８８】
すなわち、媒体上の筆跡はペンデータとして電子ペンに格納され得、ペンデータは電子機器によって受信され、解釈され、そしてストロークデータに変換され得る。ストロークデータは、ストロークデータが電子機器上に再現される場合に手書き情報１２６０と称され得る。
【０１８９】
絵又は文字などの、媒体１０００上で作成された筆跡は、リアルタイムの手書き情報１２６０として、データ記録アプリケーションの媒体画像１２１０内に再現され得る。図１４から図１７は、熊の絵及び文字の筆跡が図面の順序で手書き情報として再現されていることを示す。
【０１９０】
また、メモを手書きしているユーザの画像情報１２７０及び音声情報（図示せず）は、電子機器３０００に形成されたカメラ又はマイクを通じて取り込まれ又は記録され得、そしてディスプレイに表示され得る。ユーザの画像情報１２７０及び音声情報は、電子機器３０００のメモリモジュール３４００に格納され得る。
【０１９１】
電子機器３０００は、正面に設けられた第１のカメラ及び裏面に設けられた第２のカメラを含み得、画像情報１２７０は第１のカメラ又は第２のカメラによって取り込まれ得る。手書き情報１２６０を入力しているユーザが彼／彼女自身を撮影することを望む場合、第１のカメラが、ディスプレイ側に配置されていて、それを使用し得る。ユーザが彼／彼女自身を撮影することを望まない場合、裏面に配置された背景又は対象を第２のカメラを通じて取り込み得る。写真撮影機能はメニュー媒体１５００又はデータ記録アプリケーション５０００によって提供されるメニューを通じてオフにされ得る。
【０１９２】
手書き情報１２６０が再現されるところの電子機器３０００のディスプレイの領域は第１のウィンドウ１３１０と称され得、ユーザの外観が表示されるところの別の領域は第２のウィンドウ１３２０と称され得る。第１のウィンドウは、第２のウィンドウの領域を包含するよう第２のウィンドウより広くなり得る。第１のウィンドウ内で、第２のウィンドウの位置はユーザのタッチ及びドラッグによって調節され得る。図面において、第２のウィンドウがディスプレイの右下に配置される例が示されているが、第２のウィンドウは第１のウィンドウ内の任意の位置に配置され得る。
【０１９３】
図１５および図１７を参照すると、ディスプレイ上に熊のような形の図について、熊の頭の位置はディスプレイの下部からディスプレイの上部に変更されていることが分かる。
【０１９４】
これは、データ記録アプリケーション５０００によって提供されたブランク媒体画像１２１０が、筆跡が現在作成されているところのブランク媒体１２００の全面に表示されず、部分的領域のみに拡大して表示しているからである。
【０１９５】
従って、ブランク媒体１２００上に作成された筆跡が一定の領域から逸脱して別の領域に移動する場合、データ記録アプリケーション５０００は、ペンデータに基づいて、手書き情報が再現されているところの第１のウィンドウ内のブランク媒体画像１２１０を、ブランク媒体１２００の他の領域に対応するようシフトし得る。
【０１９６】
詳細には、媒体が第１の領域と第１の領域から区別される第２の領域に分割される場合、各領域で生成されるペンデータは対応する領域の筆跡に対する異なる位置情報を有し得る。
【０１９７】
電子機器３０００は、媒体の位置情報を含むペンデータに基づいて筆跡が作成されところの領域を読み、媒体上に作成された筆跡に従い、手書き情報が再現されるところの電子機器３０００の領域を自動でシフトする。
【０１９８】
また、ユーザは、ディスプレイのタッチ及びドラッグによってブランク媒体画像１２１０の領域を、変化、拡大又は縮小し得る。
【０１９９】
もし拡大された表示スクリーンを用いる代わりにブランク媒体１２００の表面全体が表示されたままユーザが筆跡を作成する場合、表面全体を示すブランク媒体画像１２１０がディスプレイに出力され得る。この場合、ブランク媒体画像１２１０はディスプレイ上でブランク媒体１２００の各領域に対してシフトされてさえいないが、ブランク媒体１２００の表面全体上に作成された全筆跡が再現され得る。
【０２００】
手書き情報、画像情報及びオーディオ情報を含むコンテンツの作成が完了した場合、ユーザは記録を改めて終了し、従ってこれまでのところ縮小、再生又は記録された情報は電子機器３０００のメモリモジュール３４００に格納され得る。
【０２０１】
図１８および図１９は本願発明の別の実施形態による、付加的な手書き情報が再現されたスクリーンを示す。
【０２０２】
図１８および図１９を参照すると、すでに格納されていた全ての手書き情報をブランク媒体画像内に保持したままユーザは新しい手書き情報を入力し得る。データ記録アプリケーション５０００で再現及び格納されたコンテンツは継時的に記録されたビデオファイル（オーディオを含む）であり得る。従って、ビデオとしてすでに格納されたコンテンツに手書き情報を新たに入力することは不可能である。ビデオ編集を通じてビデオに新しく文字を作成する技術は別個の課題である。
【０２０３】
従って、まだ完了していないコンテンツが格納される場合、格納前に再現及び記録された手書き情報に加えてコンテンツを制作することは容易ではない。
【０２０４】
そのような状況の場合、画像情報及び音声情報を含む、何れか１種類のコンテンツをマルチメディアファイルの形で格納される場合でさえ、データ記録アプリケーション５０００は手書きメモのみ保持する別個のファイルを生成し得る。
【０２０５】
すでに格納されたコンテンツに含まれる手書き情報が第１の手書き情報として定義され、すでに格納されたコンテンツに含まれる画像又はオーディオ情報が第１の画像又はオーディオ情報として定義される場合、ユーザはそこにのみ格納された第１の手書き情報１２６０を有するファイルを改めて電子機器に出力し得、第２の手書き情報１２８０を再現し得る。この場合、第２の手書き情報として、新しい媒体が使用され得、又は、第１の手書き情報の制作に以前使用された媒体が再利用され得る。この場合、第２の手書き情報に対応するペンデータは第２のペンデータとして定義され得る。
【０２０６】
従って、ユーザは、データ記録アプリケーション５０００を通じて各時間に異なるコンテンツを制作し得るが、以前に作成されたコンテンツに基づいて、手書き情報が加えらるところの更新されたコンテンツも作成し得る。コンテンツが更新される場合、コンテンツの作成は時間に基いて作成されるので、以前作成されたコンテンツに含まれる第１の画像又はオーディオ情報は更新されたコンテンツに含まれない。
【０２０７】
データ記録アプリケーション５０００は、コンテンツに含まれる情報を認識し得る。データ記録アプリケーション５０００は、コンテンツに含まれる手書き情報、画像情報及びオーディオ情報を認識し得、コンテンツが電子機器３０００に格納される場合に、対応するコンテンツに含まれるタグ情報の１つまたはそれ以上の片を自動で生成し得る。
【０２０８】
例えば、データ記録アプリケーション５０００は、テキスト認識機能及びオーディオ認識機能を含み得る。コンテンツが格納される場合、データ記録アプリケーション５０００は、格納されるコンテンツに含まれる手書き情報及びオーディオ情報を認識し、最も頻繁に使用される用語を抽出し、コンテンツにタグ情報を添付する。
【０２０９】
一つのタグのみが生成され得るが、複数のタグもまた生成され得る。
【０２１０】
コンテンツに対して生成されたタグは、コンテンツの名称に加え、タイプによってコンテンツを分類し、並べ替え又は見つけるのに使用され得る。
【０２１１】
図２０は、本発明の更に別の実施形態による、データ記録アプリケーション上にコンテンツが制作されるスクリーンである。
【０２１２】
図２０を参照すると、ユーザは、データ記録アプリケーション５０００に対する手書き情報が再現される場合に手書き情報に美的感覚を追加することが可能なツールを用いたコンテンツを制作し得る。この場合、手書き情報に基づくストロークデータが手書き情報として表された場合、各ストロークの色、太さ及びそれらと同様のものは、美的感覚が加えられるところの手書き情報を再現するために変更され得る。
【０２１３】
手書き情報の色及び太さ、詳細には、手書き情報を構成するストロークの色及び太さは、電子機器３０００に再現されているメニュー媒体１５００から選択されたメニューのイベント情報によって再現され得る。
【０２１４】
図２１は、本発明の実施形態による、メニュー媒体を示す図である。
【０２１５】
図２１を参照すると、メニュー媒体１５００は主に、システムメニュー１５１０、手書きメニュー１５２０及びイベントメニュー１５３０を含み得る。データ記録アプリケーション５０００が駆動されている間は必要な機能が実行されると仮定されている。この場合、メニュー媒体１５００に含まれる特定のメニューが電子ペン２０００で選択された場合、選択されたメニューの効果は、電子機器３０００の出力モジュール３２００に供給され得、ディスプレイ上に実行され得る。
【０２１６】
メニュー媒体１５００は、紙、プラスチック及び金属など特定の材料で作成され得、そこには上記で説明した媒体のように、パターンコードが印刷される。しかしながら、メニュー媒体１５００は、データ記録アプリケーション５０００内にコード化され、電子機器３０００内に実装され得る。メニュー媒体１５００がデータ記録アプリケーション５０００内にコード化され、電子機器３０００内に実装されている場合、ユーザは、コンテンツ作成時に電子機器３０００のディスプレイから特定のメニューを選択し得る。メニュー媒体１５００が電子機器３０００以外の、紙などの記録媒体を含む場合、ユーザは電子ペン２０００を用いてメニュー媒体１５００に含まれるメニューを選択し得、従ってメニューの効果はディスプレイで達成し得る。
【０２１７】
メニュー媒体１５００は、電子ペン２０００によって各メニューに対して検出され得るパターンコードを含み得る。この場合、メニュー媒体１５００に含まれるメニューを電子ペン２０００が検出する方法は、ペンデータ（電子機器のディスプレイに実装された手書き情報）を生成すべく、媒体のパターンコードを電子ペン２０００が認識する方法と同一であり、従ってその詳細な説明は省略されるであろう。
【０２１８】
電子機器３０００の通信モジュールは、メニュー媒体１５００に含まれるメニューが電子ペン２０００で選択されたことを受信し得る。電子ペン２０００によって選択されているメニュー媒体１５００に含まれる各メニューは、イベントとして定義され得る。イベントは、出力モジュール３２００であるところのディスプレイ又はスピーカーによって出力され得る。
【０２１９】
メニュー媒体１５００に含まれるサブメニューは以下に詳細が説明されるであろう。本発明のこの実施形態において、各メニューはメニューを記述すべく名称を付けられているが、メニューは、本明細書で説明されている名称からは異なるように名称を付けられ得る。
【０２２０】
システムメニューは、データ記録アプリケーション５０００が駆動されている場合、記録の開始及び終了、スクリーンの構成、情報の編集及びそれと同様なものの機能を提供し得る。システムメニューは、「記録」メニュー、「完了」メニュー、「スクリーン」メニュー、「カメラ」メニュー、「ズームイン」メニュー、「ズームアウト」メニュー、「適合」メニュー、「完全」メニュー、「実行取り消し」メニュー、「再実行」メニュー又は「全消去」メニューを含み得る。
【０２２１】
「記録」メニューは、手書き情報、画像情報及び音声情報を含むコンテンツが格納されるのを開始するのを可能にする。
【０２２２】
「完了」メニューは、コンテンツが制作されるのが停止され、そしてコンテンツの制作が完了した場合に格納されることを可能にする。
【０２２３】
手書き情報を表示するためのディスプレイ（第１のウィンドウ）及びユーザの画像情報を表示するためのディスプレイ（第２のウィンドウ）が存在すると仮定した場合、「スクリーン」メニューは、第１のウィンドウと第２のウィンドウの両方が表示された表示状態を第２のウィンドウのみが表示される表示状態又は反転表示状態へ変化することを可能にし得る。
【０２２４】
「カメラ」メニューは、ユーザの画像情報を表示するディスプレイ（第２のウィンドウ）がオン又はオフに切り替えられることを可能にし得る。
【０２２５】
「ズームイン」メニューは、手書き情報を表示するための、ディスプレイ上の、領域である媒体画像を拡大及びズームインすることによって手書き情報をより大きく見えることを可能にし得る。
【０２２６】
「ズームアウト」メニューは、手書き情報を表示するための、ディスプレイ上の、領域である媒体画像を縮小及びズームアウトすることによって手書き情報をより小さく見えることを可能にし得る。
【０２２７】
「適合」メニューは、媒体画像を幅方向に拡大することを可能にし得る。
【０２２８】
「完全」メニューは媒体画像の全体をディスプレイ上に表示することを可能にし得る。媒体が複数のサブメディアを含む場合、ユーザによって作成されているサブ媒体の領域の全体が表示され得る。
【０２２９】
「実行取り消し」メニューは、手書き情報の以前の再現が削除されることを可能にし得る。
【０２３０】
「再実行」メニューは、以前削除された手書き情報が改めて再現されることを可能にし得る。
【０２３１】
「全消去」メニューはディスプレイ上に再現された全ての手書き情報が削除されることを可能にし得る。
【０２３２】
システムメニューは「一時停止」メニュー（図示せず）を含み得る。「一時停止」メニューは、一時停止前に再現された手書き情報を変更又は削除し、又は、ユーザの画像情報又はオーディオ情報のキャプチャを停止することよって追加的な手書き情報を追加し、そしてコンテンツの再現の間、手書き情報を再現するディスプレイ（第１のウィンドウ）のみ作動させる編集機能を提供し得る。
【０２３３】
コンテンツの作成は継時的に成し得る。コンテンツの修正及び編集は、メニュー媒体の「実行取り消し」、「再実行」及び「全消去」などの機能を用いて実行し得、また、継時的に進展する処理である。
【０２３４】
従って、コンテンツ制作の間に手書き情報を訂正するのに時間を取ることが必要な場合、時間の中断なくデータ記録アプリケーションの他のマルチメディアファイルを実行することが必要な場合、又は、電子機器上の他のタスクを実行する必要がある場合、「一時停止」メニューは、コンテンツの編集を容易にするために又はコンテンツを継続的に制作するために使用され得る。
【０２３５】
手書きメニューは、ユーザが媒体上に手書き情報を作成する場合に電子機器３０００のディスプレイ上に再現される手書き情報に視覚効果を提供し得る。手書きメニューは、「ペン」メニュー、「ハイライト」メニュー、「ストロークサイズ」メニュー又は「色」メニュー（赤、黄、緑、水色、黒、白）を含み得る。手書きメニューに含まれるメニューは手書き情報に含れるストロークの色又は太さを変化し得る。
【０２３６】
「ペン」メニューは、手書き情報が電子ペン２０００で媒体に入力された場合に電子機器３０００のディスプレイ上に表示されるようはじめに設定される値を示し得、通常は文字又は絵を細い線で再現することを可能し得る。
【０２３７】
「ハイライト」メニューは、媒体の特定の領域が強調表示されることを可能にし得、又は、文字又は絵が太い線で再現されることを可能し得る。「ハイライト」メニューは、ユーザが「ストロークサイズ」メニューを選択することによって、文字又は絵が再現される場合に、線の太さが変わることを可能にし得る。「ハイライト」メニューから選択され得るストロークサイズは、「ペン」メニューが選択された場合に適用されるストロークサイズより大きくなり得る。
【０２３８】
「色」メニュー（赤、黄、緑、水色、黒、白）は、手書き情報がディスプレイ上に再現される場合に文字又は絵の色を変更することを可能にする。「色」メニューは、「ペン」メニューと「ハイライト」メニューとの両方に適用され得る。
【０２３９】
イベントメニューからメニューとして選択されたイベントは、視覚効果又は音響効果が電子機器３０００の出力モジュールを通じて提供されることを可能にし得る。
【０２４０】
イベントメニューは、音響効果を生成するための「拍手」メニュー、「星」メニュー、「正答」メニュー、「誤答」メニュー、「失敗」メニュー、「ドラム」メニュー及びそれらと同様のものを含み得る。例えば、手書き情報がディスプレイに再現されており、「拍手」メニューが電子ペン２０００で選択された場合、電子機器３０００のメモリモジュール３４００に予め記憶された拍手音が電子機器３０００のスピーカーを通じて出力され得る。
【０２４１】
イベントメニューは画像効果を生成すべく、「マスク」メニューを含み得る。データ記録アプリケーション５０００のデフォルト設定は、ユーザの画像情報及び音声情報、並びに、媒体上で作成された手書き情報の再現を示す。コンテンツ内にユーザの顔が現われることを防ぐよう「マスク」メニューが選択された場合、ユーザの顔がマスクされ得る。ユーザの画像情報がディスプレイに表示されるのをブロックすべく、データ記録アプリケーション５０００がメニュー媒体１５００を通じて画像情報をオフにし得ることが理解されよう。しかしながら、これはユーザの取り込を根本的にブロックし、従って、ユーザが自身の顔のみをブロックすることを望む場合に適切ではない。
【０２４２】
電子機器３０００に格納されたドキュメントファイルの選択によってグラフィック媒体１４００上にユーザがコンテンツを作成する方法は以下に説明されるであろう。ブランク媒体１２００の上記の説明は、そのままグラフィック媒体１４００に適用され得る。
【０２４３】
図２２から図２６は、グラフィック媒体が選択された後のデータ記録アプリケーションの進展を例示するスクリーンである。
【０２４４】
図７および図２２から図２６を参照すると、ユーザは、データ記録アプリケーション５０００からグラフィック媒体１４００を選択する段階を実行し得る。
【０２４５】
グラフィック媒体１４００を生成すべく、ユーザはデータ記録アプリケーション５０００を通じて直接写真を撮ってファイルを生成するか、又は、電子機器３０００のメモリモジュール３４００に予め記憶されて絵又は文字が含まれたドキュメントファイルを選択し得る。
【０２４６】
電子機器３０００に格納されたドキュメントファイルがロードされ、グラフィック媒体１４００として使用されるファイル１４１０が選択された場合、データ記録アプリケーション５０００は、図２３に示されるように、対応するファイルをデータ記録アプリケーション５０００によって利用可能な形を有するグラフィック媒体画像１４２０に変換する。グラフィック媒体画像１４２０はグラフィック媒体ファイルとして生成され得、電子機器３０００に接続された出力モジュール、例えばプリンタ、を通じてグラフィック媒体１４００に出力され得る。図２５は、グラフィック媒体ファイルが実際に出力された態様を示す。
【０２４７】
電子機器３０００に格納されたファイルが複数のシートを含む場合、グラフィック媒体画像１４２０もまた複数のシートを含み得る。複数のシートを含むグラフィック媒体画像１４２０を含むグラフィック媒体ファイルがグラフィック媒体１４００に出力される場合、グラフィック媒体１４００もまた複数のサブメディアを含み得る。
【０２４８】
また、グラフィック媒体ファイルは電子メールによって又は共有機能を用いることによって他の送信媒体を通じて送信され得、グラフィック媒体ファイルを受信する電子機器に接続されるさらに他の出力モジュールを通じてグラフィック媒体に出力され得る。
【０２４９】
グラフィック媒体ファイルがグラフィック媒体１４００に出力される場合、グラフィック媒体ファイルはその内に形成されたパターンコードを有するブランク媒体１２００上に印刷され得る。グラフィック媒体１４００に対するファイルがパターンコードを有さない媒体に印刷されるべき場合、データ記録アプリケーションはグラフィック媒体ファイルにパターンコードも追加すべきである。この場合、グラフィック媒体１４００に対するファイル内のグラフィック及びパターンコードは共に印刷されるべきであり、従って出力の速度が低下する。しかしながら、本発明の実施形態によると、その上にパターンコードがすでに印刷されているところのブランク媒体１２００上のグラフィック媒体ファイルを印刷することによって、グラフィック媒体１４００に対するファイル内のグラフィック及びパターンコードがパターンコードを有さない媒体上に共に印刷される場合と比較して、出力の速度向上が可能である。パターンコードを含む印刷がカラープリンタで印刷される場合、パターンコードを除外した印刷される対象は、黒以外の色で印刷されるべきである。これは、電子ペンが赤外線を媒体に照射し、赤外線センサを用いて無反射の領域を認識することによってパターンコードを検出できるからである。もしグラフィック媒体ファイルが黒で表わされた対象を含み得るなら、グラフィック媒体ファイルと共に媒体上にパターンコードが印刷される場合、対象は媒体上に印刷される間、炭素を含む黒色印刷材料で印刷され、従ってパターンコードを認識することは困難であろう。この限定を克服すべく、グラフィック媒体１４００に対するファイルは、図２５に示されるように、特定の系列の色（例えば、青系統の色）に変更され、変更されたグラフィック媒体ファイルは、パターンコードがすでに印刷されているところのブランク媒体１２００上に印刷される。しかしながら、グラフィック媒体は印刷上でのみ変更された色で表されており、グラフィック媒体の画像はデータ記録アプリケーション５０００内でオリジナルの色で表される。図２４および図２６の図面は、このＰＣＴ出願に対するパリ条約優先権の基礎となっている韓国特許出願１０−２０１７−０１８２５０３の図面では青で示されていることに留意されたい。ＰＣＴ出願の図面の規則に起因してこのＰＣＴ出願の図面は白黒で描かれているが、図２４および２６の図面は黒以外の色で描かれるべきである。
【０２５０】
図２６を参照すると、グラフィック媒体画像１４２０は、電子機器３０００のディスプレイに出力され得、そして較正プロセスを受け得る。ユーザが出力されたグラフィック媒体１４００の上端及び下端に表示されたマーカである交差マーク１４３０を電子ペン２０００でタップし、グラフィック媒体１４００と電子機器３０００のディスプレイスクリーンに出力されるグラフィック媒体１４００の画像との間の較正を実行する。グラフィック媒体１４００が複数のサブメディアを含む場合、較正プロセスは各サブ媒体上で実行され得る。本発明のこの実施形態において、較正を実行する処理は、グラフィック媒体１４００に表示された交差マークを電子ペン２０００でタップすることによって実行されるよう説明されている。しかしながら、本発明はそれらに限定されず、較正プロセスは様々なやり方で実行され得る。
【０２５１】
図２７および図２８は、本発明の実施形態による、グラフィック媒体上のコンテンツを制作する態様を示す図である。図２７は電子機器上でコンテンツが再現される態様を示し、図２８はグラフィック媒体上で作成された筆跡を示す。
【０２５２】
図２７および図２８を参照すると、グラフィック媒体画像が電子機器３０００のディスプレイに出力される場合、ユーザは、印刷されたグラフィック媒体１４００上に絵又は文字を書き込むと同時にコンテンツを作成し得る。グラフィック媒体１４００上で作成されたコンテンツは、電子機器３０００のディスプレイ上で再現し得る。
【０２５３】
電子ペン２０００に組み込まれたインクは黒なので、グラフィック媒体１４００上に表示される筆跡は黒のみで現れる。しかしながら、所望の色又は所望のストロークサイズがコンテンツの作成の間に電子ペン２０００を用いてメニュー媒体１５００に設定された手書きメニューから選択される場合、選択されたメニューのイベントが発生し得、変更された色及びサイズを有するストロークがディスプレイ上に再現され得る。
【０２５４】
電子ペン２０００の先端部分は様々なインクを有することが仮定されている。電子ペン２０００がグラフィック媒体１４００又はブランク媒体１２００上で異なる色で書き込んだ場合、電子ペン２０００内のデータに変換されるペンデータは色情報を含み得る。ペンデータが電子機器３０００によって受信される場合、手書き情報はペンデータが解釈された後にペンデータに含まれる色情報に従ってディスプレイ上に再現され得る。従ってこの場合、メニュー媒体１５００が存在しない場合でさえ、手書き情報の色はディスプレイ上に再現され得る。
【０２５５】
図２９は、本発明の実施形態による、グラフィック媒体上にコンテンツを作成する図である。
【０２５６】
図２９を参照すると、ユーザは、ディスプレイ上にタイのある地域を示す地図をグラフィック媒体１４００の画像として出力し、そして対応する領域を説明している。
【０２５７】
図面に示された丸括弧、円及び湾曲した直線は、グラフィック媒体１４００に対する画像上に電子ペン２０００でユーザによって描かれた筆跡がディスプレイに出力されたグラフィック媒体１４００に対する画像上に再現されていることを表している。
【０２５８】
図３０は、本願発明の別の実施形態による、コンテンツが制作された態様を示す図である。
【０２５９】
図３０を参照すると、データ記録アプリケーション５０００は電子機器３０００に含れる他の画像情報又はオーディオ情報をさらに含み得る。
【０２６０】
データ記録アプリケーション５０００を用いる場合、ユーザは、画像ファイル、オーディオファイル、又は、電子機器３０００に格納された（マルチメディアファイルと称され得る）ものと共に記録された画像及びオーディオを有するファイル、の全てを、電子機器３０００において、実行することによって、コンテンツを制作し得る。
【０２６１】
代替的に、ユーザはデータ記録アプリケーション５０００にウェブアドレスを入力し得、ウェブサイトからロードされたマルチメディアファイルを実行してコンテンツを制作し得る。
【０２６２】
図３０において、スクリーンの下部に示された女性はコンテンツを作成するユーザを示し、ユーザスクリーンは第１の画像情報１２７０又は第１のオーディオ情報として定義され得る。左上の一部に示されたスクリーンは電子機器３０００に含まれるビデオ（画像及びオーディオ情報を含む）を示す第２の画像情報１２９０又は第２のオーディオ情報として定義され得る。
【０２６３】
手書き情報１２６０が再現されているところの電子機器３０００のディスプレイの領域は、第１のウィンドウ１３１０と称され得、ユーザの外観が表示されているところの別の領域は第２のウィンドウ１３２０と称され得る。また、第２の画像情報１２９０が表示されている領域は第３のウィンドウ１３３０と称され得る。第１のウィンドウ１３１０は第２のウィンドウ１３２０又は第３のウィンドウ１３３０より広くてよく、第２のウィンドウ１３２０又は第３のウィンドウ１３３０の領域を包含し得る。第１のウィンドウ内で、第２のウィンドウ又は第３のウィンドウの位置は、ユーザのタッチ及びドラッグによって調節され得る。
【０２６４】
本発明は上記で説明したが、本発明のの技術的意図から逸脱することなく当業者によって様々に代替、修正及び変更されることでき、従って上記実施形態及び添付図面によって限定されない。また、本明細書で説明された実施形態は厳密に適用可能になっていなくてよく、実施形態のうち一部又は全てが、様々な変更を達成すべく選択にまとめられ及び構成され得る。さらに、実施形態の各段階は、他の実施形態の段階から別々に又はこれと組み合わせて使用され得る。
【０２６５】
［本発明を実施するためのモード］
上記で説明したように、本発明を実施するためのベストモードについて関連した事柄が説明された。
【図１】
2021509496.tif 000003
【図２（ａ）】
2021509496.tif 000004
【図２（ｂ）】
2021509496.tif 000005
【図３】
2021509496.tif 000006
【図４】
2021509496.tif 000007
【図５】
2021509496.tif 000008
【図６】
2021509496.tif 000009
【図７】
2021509496.tif 000010
【図８】
2021509496.tif 000011
【図９】
2021509496.tif 000012
【図１０】
2021509496.tif 000013
【図１１】
2021509496.tif 000014
【図１２】
2021509496.tif 000015
【図１３】
2021509496.tif 000016
【図１４】
2021509496.tif 000017
【図１５】
2021509496.tif 000018
【図１６】
2021509496.tif 000019
【図１７】
2021509496.tif 000020
【図１８】
2021509496.tif 000021
【図１９】
2021509496.tif 000022
【図２０】
2021509496.tif 000023
【図２１】
2021509496.tif 000024
【図２２】
2021509496.tif 000025
【図２３】
2021509496.tif 000026
【図２４】
2021509496.tif 000027
【図２５】
2021509496.tif 000028
【図２６】
2021509496.tif 000029
【図２７】
2021509496.tif 000030
【図２８】
2021509496.tif 000031
【図２９】
2021509496.tif 000032
【図３０】
2021509496.tif 000033
【国際調査報告】
2021509496.tif 000034
2021509496.tif 000035
2021509496.tif 000036
2021509496.tif 000037