(57)【要約】【課題】筆記部材の移動履歴を特定して電子化する際における制約が低減される情報処理装置を提供する。【解決手段】画像取得部３２は、撮像部により順次撮像される画像を取得する。比較画像内位置特定部３４は、画像取得部３２により取得される複数の画像のうちの基準画像と、基準画像とは異なる比較画像と、に基づいて、基準画像に含まれる位置特定画像に対応する比較画像内の位置を特定する。位置関係特定部３８は、比較画像内位置特定部３４により特定される比較画像内の位置と、位置特定画像の基準画像内における位置と、の関係に基づいて、基準画像の撮像時点における撮像部の位置と、比較画像の撮像時点における撮像部の位置と、の関係を特定する。移動履歴情報生成部４０は、位置関係特定部３８により特定される関係に基づいて、筆記部の筆跡を示す筆跡情報を生成する。【選択図】図２
2010049310.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により順次撮像される画像を取得する画像取得手段と、
前記画像取得手段により取得される複数の画像のうちの基準画像と、前記複数の画像のうちの前記基準画像とは異なる比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定する比較画像内位置特定手段と、
前記比較画像内位置特定手段により特定される前記比較画像内の位置と、前記位置特定画像の前記基準画像内における位置と、の関係に基づいて、前記基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する位置関係特定手段と、
前記位置関係特定手段により特定される関係に基づいて、筆記部材の移動履歴を示す移動履歴情報を生成する移動履歴情報生成手段と、
を含むことを特徴とする情報処理装置。
【請求項２】
前記位置特定画像の前記基準画像内における位置が予め定められている、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記比較画像内位置特定手段が、互いに異なる複数の前記基準画像と、前記比較画像と、に基づいて、前記各基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定し、
前記位置関係特定手段が、前記各基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記比較画像内位置特定手段が、前記基準画像と、互いに異なる複数の前記比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記各比較画像内の位置を特定し、
前記位置関係特定手段が、前記基準画像の撮像時点における前記撮像手段の位置と、前記各比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する、
ことを特徴とする請求項１から３のうちのいずれか一項に記載の情報処理装置。
【請求項５】
筆記部材と、
画像を順次撮像する撮像手段と、
前記撮像手段により順次撮像される画像を取得する画像取得手段と、
前記画像取得手段により取得される複数の画像のうちの基準画像と、前記複数の画像のうちの前記基準画像とは異なる比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定する比較画像内位置特定手段と、
前記比較画像内位置特定手段により特定される前記比較画像内の位置と、前記位置特定画像の前記基準画像内における位置と、の関係に基づいて、前記基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する位置関係特定手段と、
前記位置関係特定手段により特定される関係に基づいて、前記筆記部材の移動履歴を示す移動履歴情報を生成する移動履歴情報生成手段と、
を含むことを特徴とする情報処理システム。
【請求項６】
撮像手段により順次撮像される画像を取得する画像取得手段、
前記画像取得手段により取得される複数の画像のうちの基準画像と、前記複数の画像のうちの前記基準画像とは異なる比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定する比較画像内位置特定手段、
前記比較画像内位置特定手段により特定される前記比較画像内の位置と、前記位置特定画像の前記基準画像内における位置と、の関係に基づいて、前記基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する位置関係特定手段、
前記位置関係特定手段により特定される関係に基づいて、筆記部材の移動履歴を示す移動履歴情報を生成する移動履歴情報生成手段、
としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
筆記部材の筆跡を特定して電子化する技術が知られている。特許文献１には、筆記具で記録する面の近傍を所定の周期で撮像される画像に含まれる筆跡部分を重ねあわせて筆跡を再現する技術が開示されている。
【０００３】
また、筆記部材の位置を特定して電子化する技術も知られている。特許文献２には、紙に位置を表すパターンを形成し、ペンに設けられたセンサによりこのパターンを読み取ることでペンの位置を特定する技術が開示されている。特許文献３及び特許文献４には、予め記憶されている大きな画像と、カメラで取り込んだ画像とを比較して、ペンの位置を特定する技術が開示されている。
【特許文献１】特開平８−１２９４４３公報
【特許文献２】特表２００３−５１１７６１号公報
【特許文献３】特開２００４−１５２２７２号公報
【特許文献４】特開２００４−１５２２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、筆記部材の移動履歴を特定して電子化する際における制約が低減される情報処理装置、情報処理システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、情報処理装置であって、撮像手段により順次撮像される画像を取得する画像取得手段と、前記画像取得手段により取得される複数の画像のうちの基準画像と、前記複数の画像のうちの前記基準画像とは異なる比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定する比較画像内位置特定手段と、前記比較画像内位置特定手段により特定される前記比較画像内の位置と、前記位置特定画像の前記基準画像内における位置と、の関係に基づいて、前記基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する位置関係特定手段と、前記位置関係特定手段により特定される関係に基づいて、筆記部材の移動履歴を示す移動履歴情報を生成する移動履歴情報生成手段と、を含むこととしたものである。
【０００６】
請求項２に記載の発明は、請求項１に記載の情報処理装置であって、前記位置特定画像の前記基準画像内における位置が予め定められていることとしたものである。
【０００７】
請求項３に記載の発明は、請求項１又は２に記載の情報処理装置であって、前記比較画像内位置特定手段が、互いに異なる複数の前記基準画像と、前記比較画像と、に基づいて、前記各基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定し、前記位置関係特定手段が、前記各基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定することとしたものである。
【０００８】
請求項４に記載の発明は、請求項１から３のうちのいずれか一項に記載の情報処理装置であって、前記比較画像内位置特定手段が、前記基準画像と、互いに異なる複数の前記比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記各比較画像内の位置を特定し、前記位置関係特定手段が、前記基準画像の撮像時点における前記撮像手段の位置と、前記各比較画像の撮像時点における前記撮像手段の位置と、の関係を特定することとしたものである。
【０００９】
請求項５に記載の発明は、情報処理システムであって、筆記部材と、画像を順次撮像する撮像手段と、前記撮像手段により順次撮像される画像を取得する画像取得手段と、前記画像取得手段により取得される複数の画像のうちの基準画像と、前記複数の画像のうちの前記基準画像とは異なる比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定する比較画像内位置特定手段と、前記比較画像内位置特定手段により特定される前記比較画像内の位置と、前記位置特定画像の前記基準画像内における位置と、の関係に基づいて、前記基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する位置関係特定手段と、前記位置関係特定手段により特定される関係に基づいて、前記筆記部材の移動履歴を示す移動履歴情報を生成する移動履歴情報生成手段と、を含むこととしたものである。
【００１０】
請求項６に記載の発明は、プログラムであって、撮像手段により順次撮像される画像を取得する画像取得手段、前記画像取得手段により取得される複数の画像のうちの基準画像と、前記複数の画像のうちの前記基準画像とは異なる比較画像と、に基づいて、前記基準画像に含まれる位置特定画像に対応する前記比較画像内の位置を特定する比較画像内位置特定手段、前記比較画像内位置特定手段により特定される前記比較画像内の位置と、前記位置特定画像の前記基準画像内における位置と、の関係に基づいて、前記基準画像の撮像時点における前記撮像手段の位置と、前記比較画像の撮像時点における前記撮像手段の位置と、の関係を特定する位置関係特定手段、前記位置関係特定手段により特定される関係に基づいて、筆記部材の移動履歴を示す移動履歴情報を生成する移動履歴情報生成手段、としてコンピュータを機能させることとしたものである。
【発明の効果】
【００１１】
請求項１，５，６に記載の発明によれば、筆記部材の移動履歴を特定して電子化する際における制約が、本構成を有していない場合に比較して、低減される。
【００１２】
請求項２に記載の発明によれば、基準画像の撮像時点における撮像手段の位置と比較画像の撮像時点における撮像手段の位置との関係を特定する際の処理負荷が、本構成を有していない場合に比較して、軽減される。
【００１３】
請求項３に記載の発明によれば、比較画像の撮像時点における撮像手段の位置の特定精度が、本構成を有していない場合に比較して、向上する。
【００１４】
請求項４に記載の発明によれば、位置特定画像の利用度が、本構成を有していない場合に比較して、向上する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【００１６】
図１のシステム構成図に例示するように、本実施形態における情報処理システム１は、ペン２と、利用者端末（クライアント）３と、を含んで構成される。
【００１７】
図１に例示するように、ペン２は、制御部２０、記憶部２１、入出力部２２、筆記部２３、感圧部２４、撮像部２５、を含んで構成される。そして、本実施形態では、制御部２０、記憶部２１、入出力部２２、筆記部２３、感圧部２４、撮像部２５は一体的に形成されている。
【００１８】
制御部２０は、例えば、ＣＰＵ等のプログラム制御デバイスであり、ペン２にインストールされるプログラムに従って動作する。
【００１９】
記憶部２１は、例えば、ＲＡＭ等の記憶素子やハードディスクなどである。記憶部２１には、制御部２０によって実行されるプログラムなどが記憶される。また、記憶部２１は、制御部２０のワークメモリとしても動作する。
【００２０】
入出力部２２は、例えば、ＵＳＢ（Universal Service Bus）インタフェースや、ネットワークインタフェースなどであり、制御部２０から入力される指示に従って、ネットワーク（図示せず）やバス（図示せず）を介して、クライアント３などへ情報を送信する。また、この入出力部２２は、ネットワークやバスを介して受信される情報を制御部２０に出力する。
【００２１】
筆記部２３は、例えば、インクペンなどであり、その先端がペン２から露呈している。なお、筆記部２３は、例えば、スタイラスなどでもよく、先端からインクが出力されなくても構わない。
【００２２】
感圧部２４は、例えば、感圧センサなどであり、筆記部２３により筆記される物品（本実施形態では、例えば、紙面）への接触、非接触の有無を検出する。本実施形態では、感圧部２４は、例えば、筆記部２３が紙面へ接触する際に接触信号を、筆記部２３が紙面から離れる際に非接触信号を制御部２０に出力する。
【００２３】
撮像部２５は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。本実施形態では、撮像部２５は、例えば、筆記部２３が接触する紙面の画像を順次生成する。なお、撮像部２５が、制御部２０が感圧部２４から接触信号を受け付けてから非接触信号を受け付けるまでの間に画像を撮像するようにしてもよい。なお、本実施形態では、撮像部２５が筆記部２３（より具体的には、例えば、筆記部２３の先端）を撮像している必要はない。
【００２４】
図１に例示するクライアント３は、例えば、ＣＰＵ等の制御装置、ハードディスク等の記憶装置、ディスプレイ等の出力装置、キーボード、マウス等の入力装置、ＵＳＢ（Universal Service Bus）インタフェースやネットワークボード等の入出力装置を備えた公知のパーソナルコンピュータにより構成されている。また、クライアント３には後述する筆跡表示プログラムがインストールされている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介してクライアント３に供給される。
【００２５】
ペン２が備える入出力部２２と、クライアント３が備える入出力装置と、の間で情報のやりとりが行われる。
【００２６】
図２は、本実施形態に係るペン２により実現される機能の一例を示す機能ブロック図である。
【００２７】
図２に例示するように、本実施形態に係るペン２は、機能的には、接触判定部３０、画像取得部３２、比較画像内位置特定部３４、基準画像保持部３６、位置関係特定部３８、移動履歴情報生成部４０、移動履歴情報記憶部４２、を含むものとして機能する。これらの要素のうち、基準画像保持部３６、移動履歴情報記憶部４２、は記憶部２１を主として実現される。また、これらの要素のうち、接触判定部３０、画像取得部３２、比較画像内位置特定部３４、位置関係特定部３８、移動履歴情報生成部４０、は制御部２０を主として実現される。また、これらの要素は、コンピュータであるペン２にインストールされたプログラムを、ペン２のＣＰＵ等の制御部２０で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介してペン２に供給される。
【００２８】
接触判定部３０は、感圧部２４が出力する信号を受け付けて、筆記部２３が紙面に接触しているか否かを判定する。具体的には、例えば、筆記部２３が紙面に接触する際に接触信号を、筆記部２３が紙面から離れる際に非接触信号を、感圧部２４から受け付けて、これらの信号に基づいて、筆記部２３が紙面に接触しているか否かを判定する。以下、接触判定部３０によって、筆記部２３が紙面に接触していると判定される時間をストローク時間と呼ぶこととする。そして、利用者がペン２を用いて一連の筆跡を形成する際における、ストローク時間を時間の流れに沿ってそれぞれ、第１ストローク時間、第２ストローク時間、・・・第ｎストローク時間と呼ぶこととする。
【００２９】
画像取得部３２は、撮像部２５により順次撮像される画像を取得する。本実施形態では、画像取得部３２は、例えば、撮像部２５により所定時間（例えば１／６０秒）ごとに生成される画像（例えば、１０ｍｍ四方の大きさの画像）を、順次取得する。なお、画像取得部３２は、各ストローク時間内に撮像部２５によって撮像される画像を取得するようにしてもよい。なお、画像取得部３２は、撮像部２５により生成される画像を予め定められた時間間隔でまとめて取得するようにしてもよい。
【００３０】
比較画像内位置特定部３４は、画像取得部３２により取得される複数の画像のうちの基準画像と、基準画像とは異なる比較画像と、に基づいて、基準画像に含まれる位置特定画像４４に対応する比較画像内の位置を特定する（図３Ａ〜図３Ｆ参照）。なお、位置特定画像４４の基準画像内における位置が予め定められていてもよい。
【００３１】
本実施形態では、比較画像内位置特定部３４は、例えば、画像取得部３２により取得される各画像（以降、撮像画像４６と呼ぶ。）内の中心点（画像中心点４８）を中心とした予め定められた大きさ（例えば、１．４ｍｍ四方）の位置特定画像４４を認識する（図３Ａ〜図３Ｆ参照）。比較画像内位置特定部３４は、例えば、位置特定画像４４に表されている紙繊維のパターンを認識する。
【００３２】
図３Ａは、第１ストローク時間内において、撮像部２５により撮像される最初の撮像画像４６（第１ストローク時間内の第１撮像画像４６−１−１）の一例を示す図である。そして、図３Ｂは、図３Ａに例示する、第１撮像画像４６−１−１の次に、撮像部２５により撮像される撮像画像４６（第１ストローク時間内の第２撮像画像４６−１−２）の一例を示す図である。図３Ｃは、図３Ｂに例示する、第２撮像画像４６−１−２の次に、撮像部２５により撮像される撮像画像４６（第１ストローク時間内の第３撮像画像４６−１−３）の一例を示す図である。
【００３３】
図３Ｄは、第２ストローク時間内において、撮像部２５により撮像される最初の撮像画像４６（第２ストローク時間内の第１撮像画像４６−２−１）の一例を示す図である。そして、図３Ｅは、図３Ｄに例示する、第１撮像画像４６−２−１の次に、撮像部２５により撮像される撮像画像４６（第２ストローク時間内の第２撮像画像４６−２−２）の一例を示す図である。図３Ｆは、図３Ｅに例示する、第２撮像画像４６−２−２の次に、撮像部２５により撮像される撮像画像４６（第２ストローク時間内の第３撮像画像４６−２−３）の一例を示す図である。
【００３４】
なお、本実施形態では、第１ストローク時間内において、撮像部２５は、５つの撮像画像４６（４６−１−１〜４６−１−５）を生成する。また、第２ストローク時間内においても、撮像部２５は、５つの撮像画像４６（４６−２−１〜４６−２−５）を生成する。
【００３５】
本実施形態では、比較画像内位置特定部３４は、例えば、図３Ａ及び図３Ｂに例示するように、第１撮像画像４６−１−１内の位置特定画像４４−１−１と、第２撮像画像４６−１−２と、を照合して、第２撮像画像４６−１−２内において、位置特定画像４４−１−１に表されている紙繊維のパターンに対応するパターンが表されている対応領域５０（図３Ｂの例では、対応領域５０−１−１）を特定する。
【００３６】
紙は木材パルプを原料とした細かい繊維が絡み合って作られている。そして、紙繊維の絡み具合はランダムであるため、上述の方法により、高い精度で対応領域５０が特定される。なお、対応領域５０を特定する方法は上述の方法に限定されない。
【００３７】
そして、比較画像内位置特定部３４は、対応領域５０内の中心点の位置座標（対応位置座標（Ｘ，Ｙ））を特定する。具体的には、図３Ｂの例では、比較画像内位置特定部３４は、第２撮像画像４６−１−２の画像中心点４８−１−２を原点とした際の、対応位置座標（Ｘ１，Ｙ１）を特定する。
【００３８】
なお、比較画像内位置特定部３４は、撮像画像４６（例えば、第１撮像画像４６−１−１）を基準画像保持部３６に出力するようにしてもよい。そして、基準画像保持部３６が、撮像画像４６を保持するようにしてもよい。そして、比較画像内位置特定部３４は、対応位置座標（Ｘ，Ｙ）を特定する際に、基準画像保持部３６に保持されている撮像画像４６を削除するようにしてもよい。例えば、比較画像内位置特定部３４は、対応位置座標（Ｘ１，Ｙ１）を特定する際に、基準画像保持部３６に保持されている第１撮像画像４６−１−１を削除するようにしてもよい。
【００３９】
本実施形態では、図３Ｂに例示するように、比較画像内位置特定部３４は、第２撮像画像４６−１−２内の位置特定画像４４−１−２も特定している。そして、図３Ｂ及び図３Ｃに例示するように、第２撮像画像４６−１−２内の位置特定画像４４−１−２と、第３撮像画像４６−１−３と、を照合して、第３撮像画像４６−１−３内の対応領域５０−１−２を特定し、対応位置座標（Ｘ２，Ｙ２）を特定する。
【００４０】
このように、本実施形態では、第２撮像画像４６−１−２は、第１撮像画像４６−１−１との関係では比較画像としての役割を担い、第３撮像画像４６−１−３との関係では、基準画像としての役割を担う。このように、比較画像として用いられる画像が、基準画像として用いられてもよい。
【００４１】
比較画像内位置特定部３４は、図３Ｃに例示するように、第１撮像画像４６−１−１内の位置特定画像４４−１−１と、第３撮像画像４６−１−３と、を照合して、第３撮像画像４６−１−３内において、第１撮像画像４６−１−１内の位置特定画像４４−１−１に表されている紙繊維のパターンに対応するパターンが表されている対応領域５０−１−１を特定するようにしてもよい。そして、比較画像内位置特定部３４が、この対応領域５０−１−１の対応位置座標（Ｘ３，Ｙ３）を特定するようにしてもよい。
【００４２】
本実施形態では、図３Ｄ及び図３Ｅに例示するように、上述と同様の方法により、例えば、第２ストローク時間内の第１撮像画像４６−２−１内の位置特定画像４４−２−１と、第２撮像画像４６−２−２と、を照合して、第２撮像画像４６−２−２内において、位置特定画像４４−２−１に表されている紙繊維のパターンに対応するパターンが表されている対応領域５０（図３Ｅの例では、対応領域５０−２−１）を特定し、対応領域５０−２−１内の、対応位置座標（Ｘ４，Ｙ４）を特定する。
【００４３】
そして、本実施形態では、比較画像内位置特定部３４は、第２ストローク時間内の第３撮像画像４６−２−３については、例えば、第１ストローク時間内の第１撮像画像４６−１−１内の位置特定画像４４−１−１（図３Ａ参照）と、第２ストローク時間内の第２撮像画像４６−２−２内の位置特定画像４４−２−２と（図３Ｅ参照）、第２ストローク時間内の第３撮像画像４６−２−３と、を照合して、第２ストローク時間内の第３撮像画像４６−２−３内の２つの対応領域５０（５０−１−１，５０−２−２）を特定し、それぞれの対応領域５０内の、対応位置座標（Ｘ５，Ｙ５）及び（Ｘ６，Ｙ６）を特定する（図３Ｆ参照）。このように、比較画像内位置特定部３４は、互いに異なる複数の基準画像と、比較画像と、に基づいて、複数の対応位置座標（Ｘ，Ｙ）を特定してもよい。
【００４４】
位置関係特定部３８は、比較画像内位置特定部３４により特定される比較画像内の位置と、位置特定画像４４の基準画像内における位置と、の関係に基づいて、基準画像の撮像時点における撮像部２５の位置と、比較画像の撮像時点における撮像部２５の位置と、の関係を特定する。本実施形態では、撮像部２５と筆記部２３とが一体的に形成されているので、位置関係特定部３８により、結果的に、基準画像の撮像時点における筆記部２３の位置と、比較画像の撮像時点における筆記部２３の位置と、の関係が特定される。
【００４５】
位置関係特定部３８は、例えば、図３Ｂに例示する対応位置座標（Ｘ１，Ｙ１）に基づいて、第１撮像画像４６−１−１の撮像時点における筆記部２３の紙面における位置に対する、第２撮像画像４６−１−２の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ１，−Ｙ１）と特定する。
【００４６】
位置関係特定部３８は、図３Ｃに例示する対応位置座標（Ｘ２，Ｙ２）に基づいて、第２撮像画像４６−１−２の撮像時点における筆記部２３の紙面における位置に対する、第３撮像画像４６−１−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ２，−Ｙ２）と特定する。なお、位置関係特定部３８は、図３Ｃに例示する対応位置座標（Ｘ３，Ｙ３）に基づいて、第１撮像画像４６−１−１の撮像時点における筆記部２３の紙面における位置に対する、第３撮像画像４６−１−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ３，−Ｙ３）と特定してもよい。
【００４７】
本実施形態では、位置関係特定部３８は、例えば、図３Ｆに例示する対応位置座標（Ｘ５，Ｙ５）に基づいて、第１ストローク時間内の第１撮像画像４６−１−１の撮像時点における筆記部２３の紙面における位置に対する、第２ストローク時間内の第３撮像画像４６−２−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ５，−Ｙ５）と特定する。また、位置関係特定部３８は、例えば、図３Ｆに例示する対応位置座標（Ｘ６，Ｙ６）に基づいて、第２ストローク時間内の第２撮像画像４６−２−２の撮像時点における筆記部２３の紙面における位置に対する、第２ストローク時間内の第３撮像画像４６−２−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ６，−Ｙ６）と特定する。
【００４８】
移動履歴情報生成部４０は、位置関係特定部３８により特定される、基準画像の撮像時点における撮像部２５の位置と、比較画像の撮像時点における撮像部２５の位置と、の関係（本実施形態では、基準画像の撮像時点における筆記部２３の位置と、比較画像の撮像時点における筆記部２３の位置と、の関係）に基づいて、筆記部２３の移動履歴（例えば、筆跡）を示す移動履歴情報５２を複数生成する（図４参照）。
【００４９】
本実施形態では、移動履歴情報生成部４０は、具体的には、例えば、図４に例示する移動履歴情報５２を生成する。図４は、移動履歴情報５２のデータ構造の一例を示す図である。図４に例示するように、本実施形態では、移動履歴情報５２は、例えば、筆跡点ＩＤ５４、ストローク番号５６、筆跡点座標値５８、を含む。
【００５０】
筆跡点ＩＤ５４は、例えば、各撮像画像４６の撮像時点における筆記部２３の位置に対応する点の識別子である。このように、本実施形態では、撮像画像４６と移動履歴情報５２とは対応している。本実施形態では、例えば、筆跡点ＩＤ５４が示す値の順は、各撮像画像４６の撮像される時点の順に対応している。
【００５１】
ストローク番号５６は、例えば、各ストローク時間内における筆記部２３の筆画（ストローク）の識別子である。以下、第ｍストローク時間に対応するストロークを第ｍストロークと呼ぶこととする（ｍ＝１，２，・・・ｎ）。そして、１つのストロークに含まれる点の座標を示す各移動履歴情報５２のストローク番号５６は共通する。
【００５２】
筆跡点座標値５８は、各撮像画像４６の撮像時点における筆記部２３の位置に対応する点の座標値を示している。なお、各ストロークについて、最初の撮像画像４６（例えば、第１ストローク時間内の第１撮像画像４６−１−１や、第２ストローク時間内の第１撮像画像４６−２−１や）の撮像時点に対応する筆跡点座標値５８は、予め定められた値（例えば、原点の座標値（０，０））であってもよい。
【００５３】
本実施形態では、例えば、移動履歴情報生成部４０は、第１ストローク時間内の第１撮像画像４６−１−１の撮像時点に対応する筆跡点座標値５８の値（ｘ１１，ｙ１１）と、位置関係特定部３８により特定される相対的な位置座標の値（−Ｘ１，−Ｙ１）に基づいて、第１ストローク時間内の第２撮像画像４６−１−２の撮像時点に対応する筆跡点座標値５８の値（ｘ１２，ｙ１２）を算出する。本実施形態では、例えば、（ｘ１２，ｙ１２）＝（ｘ１１，ｙ１１）＋（−Ｘ１，−Ｙ１）という関係にある。このようにして、移動履歴情報生成部４０は、第１ストローク時間内の第ｎ撮像画像４６−１−ｎの撮像時点に対応する筆跡点座標値５８の値（ｘ１ｎ，ｙ１ｎ）を算出する（本実施形態では、ｎ＝１，２，３，４，５）。
【００５４】
そして、本実施形態では、例えば、位置関係特定部３８により、第１ストローク時間内の第１撮像画像４６−１−１の撮像時点における筆記部２３の紙面における位置に対する、第２ストローク時間内の第３撮像画像４６−２−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値が（−Ｘ４，−Ｙ４）と特定された際に、移動履歴情報生成部４０は、それまでに算出された、ストローク番号５６の値が「２」である移動履歴情報５２に含まれる筆跡点座標値５８の値（例えば、（ｘ２１，ｙ２１）、（ｘ２２，ｙ２２）、（ｘ２３，ｙ２３）の値）のそれぞれについて、Ｘ座標値にＸ４を、Ｙ座標値にＹ４を加算する。このように、移動履歴情報生成部４０は、他のストロークの移動履歴情報５２の生成の基礎となった撮像画像４６に基づいて、移動履歴情報５２（例えば、筆跡点座標値５８）を更新するようにしてもよい。
【００５５】
そして、移動履歴情報生成部４０は、算出される筆跡点座標値５８に基づいて移動履歴情報５２を生成する。そして、移動履歴情報生成部４０は、移動履歴情報５２を移動履歴情報記憶部４２に出力する。そして、移動履歴情報記憶部４２は、移動履歴情報５２を記憶する。
【００５６】
クライアント３が、インストールされている筆跡表示プログラムを実行すると、クライアント３が備える制御装置が、移動履歴情報記憶部４２に記憶されている移動履歴情報５２を、入出力部２２を経由して取得する。そして、クライアント３が備える制御装置が、クライアント３が備えるディスプレイなどの出力装置に、移動履歴情報５２に基づく画像（例えば、各ストロークについて筆跡点座標値５８が示す座標を筆跡点ＩＤ５４の順につなぐことによって表現される線分を組み合わせて表現される文字列などの図形を示す画像）を表示出力する。図５に、図４に例示する移動履歴情報５２に基づく２つの線分が、クライアント３が備えるディスプレイなどの出力装置に表示出力される様子の一例を示す。
【００５７】
なお、移動履歴情報生成部４０は、接触判定部３０により、筆記部２３が紙面に接触していないと判定されている間における筆記部２３の移動履歴を示す移動履歴情報５２を生成してもよい。
【００５８】
次に、本実施形態に係る情報処理システム１において、第１ストローク時間内における第１撮像画像４６−１−１が基準画像保持部３６に保持されている場合において、第１ストローク時間内における第２撮像画像４６−１−２に基づいて移動履歴情報５２を生成する処理の流れの一例を、図６に例示するフロー図を参照しながら説明する。なお、本処理例において、ストローク番号５６の値が「１」であり、筆跡点ＩＤ５４の値が「１」であり、筆跡点座標値５８の値が（ｘ１１，ｙ１１）である移動履歴情報５２が移動履歴情報記憶部４２に予め記憶されていることとする。
【００５９】
まず、画像取得部３２が、第２撮像画像４６−１−２を取得する（Ｓ１０１）。そして、比較画像内位置特定部３４が、基準画像保持部３６に保持されている第１撮像画像４６−１−１内の位置特定画像４４−１−１と、第２撮像画像４６−１−２と、を照合して、第２撮像画像４６−１−２内の対応領域５０−１−１を特定する（Ｓ１０２）。そして、比較画像内位置特定部３４が、第２撮像画像４６−１−２内の画像中心点４８−１−２を原点とした際の、対応位置座標（Ｘ１，Ｙ１）を特定する（Ｓ１０３）。
【００６０】
そして、位置関係特定部３８が、第１撮像画像４６−１−１の撮像時点における筆記部２３の紙面上の位置座標に対する、第２撮像画像４６−１−２の撮像時点における筆記部２３の紙面上の位置座標の値（−Ｘ１，−Ｙ１）を特定する（Ｓ１０４）。そして、移動履歴情報生成部４０が、Ｓ１０４に例示する処理で特定される位置座標（−Ｘ１，−Ｙ１）と、移動履歴情報記憶部４２に記憶されている、第１撮像画像４６−１−１に基づいて生成された移動履歴情報５２に含まれる筆跡点座標値５８の値（ｘ１１，ｙ１１）と、に基づいて、新たな移動履歴情報５２に含まれる筆跡点座標値５８の値（ｘ１２，ｙ１２）を算出する（Ｓ１０５）。そして、移動履歴情報生成部４０が、値が「１」であるストローク番号５６と、値が「２」である筆跡点ＩＤ５４と、この筆跡点座標値５８と、を含む移動履歴情報５２を生成する（Ｓ１０６）。
【００６１】
そして、比較画像内位置特定部３４は、第２撮像画像４６−１−２内の位置特定画像４４を認識する（Ｓ１０７）。そして、比較画像内位置特定部３４は、基準画像保持部３６に保持されている第１撮像画像４６−１−１を削除し、第２撮像画像４６−１−２を基準画像保持部３６に出力する（Ｓ１０８）。
【００６２】
なお、本発明は上記実施形態に限定されるものではない。
【００６３】
例えば、情報処理システム１が、ペン２と、ペン２に接続される情報処理装置と、を備え、この情報処理装置が備える制御部２０が、上述の、接触判定部３０、画像取得部３２、比較画像内位置特定部３４、位置関係特定部３８、移動履歴情報生成部４０、として機能し、この情報処理装置が備える記憶部２１が、上述の、基準画像保持部３６、移動履歴情報記憶部４２、として機能するようにしてもよい。なお、ペン２と、ペン２に接続される情報処理装置との役割分担は上述の実施形態には限定されない。
【００６４】
なお、上記実施形態では、各種情報のデータ構造は表形式により表現しているが、この表現はあくまでも一例であり、他のデータ構造により実装してももちろん構わない。
【００６５】
なお、本明細書中に記載された具体的な数値や文字列は例示であり、これらの数値や文字列に限定されない。
【図面の簡単な説明】
【００６６】
【図１】本発明の一実施形態に係る情報処理システムのネットワーク構成の一例を示す図である。
【図２】本発明の一実施形態に係るペンにより実現される機能の一例を示す機能ブロック図である。
【図３Ａ】撮像画像の一例を示す図である。
【図３Ｂ】撮像画像の一例を示す図である。
【図３Ｃ】撮像画像の一例を示す図である。
【図３Ｄ】撮像画像の一例を示す図である。
【図３Ｅ】撮像画像の一例を示す図である。
【図３Ｆ】撮像画像の一例を示す図である。
【図４】移動履歴情報のデータ構造の一例を示す図である。
【図５】クライアントが備えるディスプレイなどの出力装置に、移動履歴情報に基づく線分が表示出力される様子の一例を示す図である。
【図６】本実施形態に係る情報処理システムで行われる処理の流れの一例を示すフロー図である。
【符号の説明】
【００６７】
１  情報処理システム、２  ペン、３  利用者端末（クライアント）、２０  制御部、２１  記憶部、２２  入出力部、２３  筆記部、２４  感圧部、２５  撮像部、３０  接触判定部、３２  画像取得部、３４  比較画像内位置特定部、３６  基準画像保持部、３８  位置関係特定部、４０  移動履歴情報生成部、４２  移動履歴情報記憶部、４４  位置特定画像、４６  撮像画像、４８  画像中心点、５０  対応領域、５２  移動履歴情報、５４  筆跡点ＩＤ、５６  ストローク番号、５８  筆跡点座標値。
【図１】
2010049310.tif 000003
【図２】
2010049310.tif 000004
【図３Ａ】
2010049310.tif 000005
【図３Ｂ】
2010049310.tif 000006
【図３Ｃ】
2010049310.tif 000007
【図３Ｄ】
2010049310.tif 000008
【図３Ｅ】
2010049310.tif 000009
【図３Ｆ】
2010049310.tif 000010
【図４】
2010049310.tif 000011
【図５】
2010049310.tif 000012
【図６】
2010049310.tif 000013