(57)【要約】【課題】筆記部材の移動履歴が特定される精度を保ちつつ、筆記部材の移動履歴を特定して電子化する際における制約が低減される情報処理装置、情報処理システム及びプログラムを提供する。【解決手段】画像取得部３２は、撮像手段により順次撮像される画像を取得する。移動履歴情報生成部４２は、複数の画像に基づいて、筆記部材の移動履歴を示す移動履歴情報を複数生成する。位置関係特定部４０は、撮像手段とは異なる、筆記部材の動きを測定する測定手段による測定結果に基づいて、各移動履歴情報に対応する位置間の関係を特定する。【選択図】図２
2010061310.tif 000002
【特許請求の範囲】
【請求項１】
撮像手段により順次撮像される画像を取得する画像取得手段と、
複数の前記画像に基づいて、筆記部材の移動履歴を示す移動履歴情報を複数生成する移動履歴情報生成手段と、
前記撮像手段とは異なる、前記筆記部材の動きを測定する測定手段による測定結果に基づいて、前記各移動履歴情報に対応する位置間の関係を特定する位置関係特定手段と、
を含むことを特徴とする情報処理装置。
【請求項２】
予め定められた規則に基づいて、前記複数の移動履歴情報を分類する分類手段、をさらに含む、
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記位置関係特定手段が、前記各移動履歴情報に対応する位置の配置方向を特定する、
ことを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記移動履歴情報生成手段が、受け付ける信号に基づく撮像期間に前記撮像手段により撮像される画像に基づいて前記移動履歴情報を生成し、
前記位置関係特定手段が、受け付ける信号に基づく測定期間における前記測定手段による測定結果に基づいて前記位置関係を特定する、
ことを特徴とする請求項１から３のいずれか一項に記載の情報処理装置。
【請求項５】
筆記部材と、
順次画像を撮像する撮像手段と、
前記撮像手段とは異なる、前記筆記部材の動きを測定する測定手段と、
前記撮像手段により順次撮像される画像を取得する画像取得手段と、
複数の前記画像に基づいて、前記筆記部材の移動履歴を示す移動履歴情報を複数生成する移動履歴情報生成手段と、
前記測定手段による測定結果に基づいて、前記各移動履歴情報に対応する位置間の関係を特定する位置関係特定手段と、
を含むことを特徴とする情報処理システム。
【請求項６】
撮像手段により順次撮像される画像を取得する画像取得手段、
複数の前記画像に基づいて、筆記部材の移動履歴を示す移動履歴情報を複数生成する移動履歴情報生成手段、
前記撮像手段とは異なる、前記筆記部材の動きを測定する測定手段による測定結果に基づいて、前記各移動履歴情報に対応する位置間の関係を特定する位置関係特定手段、
としてコンピュータを機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
筆記部材の筆跡を特定して電子化する技術が知られている。特許文献１には、筆記具で記録する面の近傍を所定の周期で撮像される画像に含まれる筆跡部分を重ねあわせて筆跡を再現する技術が開示されている。特許文献２には、筆記具が備える加速度センサから受け付ける信号に基づいて筆跡情報を生成する技術が開示されている。
【０００３】
また、筆記部材の位置を特定して電子化する技術も知られている。特許文献３には、紙に位置を表すパターンを形成し、ペンに設けられたセンサによりこのパターンを読み取ることでペンの位置を特定する技術が開示されている。特許文献４及び特許文献５には、予め記憶されている大きな画像と、カメラで取り込んだ画像とを比較して、ペンの位置を特定する技術が開示されている。
【特許文献１】特開平８−１２９４４３公報
【特許文献２】特開平９−２８８５３９号公報
【特許文献３】特表２００３−５１１７６１号公報
【特許文献４】特開２００４−１５２２７２号公報
【特許文献５】特開２００４−１５２２７３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、筆記部材の移動履歴を特定して電子化する際における制約が低減される情報処理装置、情報処理システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
請求項１に記載の発明は、情報処理装置であって、撮像手段により順次撮像される画像を取得する画像取得手段と、複数の前記画像に基づいて、筆記部材の移動履歴を示す移動履歴情報を複数生成する移動履歴情報生成手段と、前記撮像手段とは異なる、前記筆記部材の動きを測定する測定手段による測定結果に基づいて、前記各移動履歴情報に対応する位置間の関係を特定する位置関係特定手段と、を含むこととしたものである。
【０００６】
請求項２に記載の発明は、請求項１に記載の情報処理装置であって、予め定められた規則に基づいて、前記複数の移動履歴情報を分類する分類手段、をさらに含むこととしたものである。
【０００７】
請求項３に記載の発明は、請求項１又は２に記載の情報処理装置であって、前記位置関係特定手段が、前記各移動履歴情報に対応する位置の配置方向を特定することとしたものである。
【０００８】
請求項４に記載の発明は、請求項１から３のいずれか一項に記載の情報処理装置であって、前記移動履歴情報生成手段が、受け付ける信号に基づく撮像期間に前記撮像手段により撮像される画像に基づいて前記移動履歴情報を生成し、前記位置関係特定手段が、受け付ける信号に基づく測定期間における前記測定手段による測定結果に基づいて前記位置関係を特定することとしたものである。
【０００９】
請求項５に記載の発明は、情報処理システムであって、筆記部材と、順次画像を撮像する撮像手段と、前記撮像手段とは異なる、前記筆記部材の動きを測定する測定手段と、前記撮像手段により順次撮像される画像を取得する画像取得手段と、複数の前記画像に基づいて、前記筆記部材の移動履歴を示す移動履歴情報を複数生成する移動履歴情報生成手段と、前記測定手段による測定結果に基づいて、前記各移動履歴情報に対応する位置間の関係を特定する位置関係特定手段と、を含むこととしたものである。
【００１０】
請求項６に記載の発明は、プログラムであって、撮像手段により順次撮像される画像を取得する画像取得手段、複数の前記画像に基づいて、筆記部材の移動履歴を示す移動履歴情報を複数生成する移動履歴情報生成手段、前記撮像手段とは異なる、前記筆記部材の動きを測定する測定手段による測定結果に基づいて、前記各移動履歴情報に対応する位置間の関係を特定する位置関係特定手段、としてコンピュータを機能させることとしたものである。
【発明の効果】
【００１１】
請求項１，５，６に記載の発明によれば、筆記部材の移動履歴を特定して電子化する際における制約が、本構成を有していない場合に比較して、低減される。
【００１２】
請求項２に記載の発明によれば、複数の移動履歴情報が容易に分類される。
【００１３】
請求項３に記載の発明によれば、測定手段による測定結果に基づく位置関係情報の生成が容易になる。
【００１４】
請求項４に記載の発明によれば、利用者によって、移動履歴情報の生成の基礎となる画像の生成時機や、位置関係情報の生成の基礎となる測定結果の生成時機が制御される。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施形態について図面に基づき詳細に説明する。
【００１６】
図１のシステム構成図に例示するように、本実施形態における情報処理システム１は、ペン２と、利用者端末（クライアント）３と、を含んで構成される。
【００１７】
図１に例示するように、ペン２は、制御部２０、記憶部２１、入出力部２２、筆記部２３、感圧部２４、撮像部２５、測定部２６を含んで構成される。そして、本実施形態では、制御部２０、記憶部２１、入出力部２２、筆記部２３、感圧部２４、撮像部２５、測定部２６は一体的に形成されている。
【００１８】
制御部２０は、例えば、ＣＰＵ等のプログラム制御デバイスであり、ペン２にインストールされるプログラムに従って動作する。
【００１９】
記憶部２１は、例えば、ＲＡＭ等の記憶素子やハードディスクなどである。記憶部２１には、制御部２０によって実行されるプログラムなどが記憶される。また、記憶部２１は、制御部２０のワークメモリとしても動作する。
【００２０】
入出力部２２は、例えば、ＵＳＢ（Universal Service Bus）インタフェースや、ネットワークインタフェースなどであり、制御部２０から入力される指示に従って、ネットワーク（図示せず）やバス（図示せず）を介して、クライアント３などへ情報を送信する。また、この入出力部２２は、ネットワークやバスを介して受信される情報を制御部２０に出力する。
【００２１】
筆記部２３は、例えば、インクペンなどであり、その先端がペン２から露呈している。なお、筆記部２３は、例えば、スタイラスなどでもよく、先端からインクが出力されなくても構わない。
【００２２】
感圧部２４は、例えば、感圧センサなどであり、筆記部２３により筆記される物品（本実施形態では、例えば、紙面）への接触、非接触の有無を検出する。本実施形態では、感圧部２４は、例えば、筆記部２３が紙面へ接触する際に接触信号を、筆記部２３が紙面から離れる際に非接触信号を制御部２０に出力する。
【００２３】
撮像部２５は、例えば、公知のデジタルカメラを含んで構成され、所定時間（例えば１／６０秒）ごとに、白黒、グレイスケール又はカラーの画像（例えば、ＪＰＥＧ形式の画像）を生成する。本実施形態では、撮像部２５は、例えば、筆記部２３が接触する紙面の画像を順次生成する。なお、撮像部２５が、制御部２０が感圧部２４から接触信号を受け付けてから非接触信号を受け付けるまでの間に画像を撮像するようにしてもよい。なお、本実施形態では、撮像部２５が筆記部２３（より具体的には、例えば、筆記部２３の先端）を撮像している必要はない。
【００２４】
測定部２６は、筆記部２３の動きを測定する部材であり、例えば、加速度センサである。本実施形態では、測定部２６は、撮像部２５により画像が撮像されるタイミングに対応するタイミングで所定時間（例えば１／６０秒）ごとに、筆記部２３の加速度を測定する。なお、測定部２６は、予め定められた方向に限定して加速度を測定してもよい。また、測定部２６は、筆記部２３の動きが測定できればよく、例えば、電磁気や超音波を用いて筆記部２３の動きを測定する部材であっても構わない。
【００２５】
図１に例示するクライアント３は、例えば、ＣＰＵ等の制御装置、ハードディスク等の記憶装置、ディスプレイ等の出力装置、キーボード、マウス等の入力装置、ＵＳＢ（Universal Service Bus）インタフェースやネットワークボード等の入出力装置を備えた公知のパーソナルコンピュータにより構成されている。また、クライアント３には後述する筆跡表示プログラムがインストールされている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介してクライアント３に供給される。
【００２６】
ペン２が備える入出力部２２と、クライアント３が備える入出力装置と、の間で情報のやりとりが行われる。
【００２７】
図２は、本実施形態に係るペン２により実現される機能の一例を示す機能ブロック図である。
【００２８】
図２に例示するように、本実施形態に係るペン２は、機能的には、接触判定部３０、画像取得部３２、測定結果取得部３４、比較画像内位置特定部３６、基準画像保持部３８、位置関係特定部４０、移動履歴情報生成部４２、分類部４４、移動履歴情報記憶部４６、を含むものとして機能する。これらの要素のうち、基準画像保持部３８、移動履歴情報記憶部４６、は記憶部２１を主として実現される。また、これらの要素のうち、接触判定部３０、画像取得部３２、測定結果取得部３４、比較画像内位置特定部３６、位置関係特定部４０、移動履歴情報生成部４２、分類部４４、は制御部２０を主として実現される。また、これらの要素は、コンピュータであるペン２にインストールされたプログラムを、ペン２のＣＰＵ等の制御部２０で実行することにより実現されている。なお、このプログラムは、例えば、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどのコンピュータ可読な情報伝達媒体を介して、あるいは、インターネットなどの通信ネットワークを介してペン２に供給される。
【００２９】
接触判定部３０は、感圧部２４が出力する信号を受け付けて、筆記部２３が紙面に接触しているか否かを判定する。具体的には、例えば、筆記部２３が紙面に接触する際に接触信号を、筆記部２３が紙面から離れる際に非接触信号を、感圧部２４から受け付けて、これらの信号に基づいて、筆記部２３が紙面に接触しているか否かを判定する。以下、接触判定部３０によって、筆記部２３が紙面に接触していると判定される時間をストローク時間と呼ぶこととする。そして、利用者がペン２を用いて一連の筆跡を形成する際における、ストローク時間を時間の流れに沿ってそれぞれ、第１ストローク時間、第２ストローク時間、・・・第ｎストローク時間と呼ぶこととする。
【００３０】
画像取得部３２は、撮像部２５により順次撮像される画像を取得する。本実施形態では、画像取得部３２は、例えば、撮像部２５により所定時間（例えば１／６０秒）ごとに生成される画像（例えば、１０ｍｍ四方の大きさの画像）を、順次取得する。なお、画像取得部３２は、各ストローク時間内に撮像部２５により撮像される画像を取得するようにしてもよい。なお、画像取得部３２は、撮像部２５により生成される画像を予め定められた時間間隔でまとめて取得するようにしてもよい。
【００３１】
測定結果取得部３４は、測定部２６による筆記部２３の動きの測定結果を取得する。本実施形態では、測定結果取得部３４は、例えば、測定部２６により所定時間（例えば１／６０秒）ごとに測定される筆記部２３の加速度を示す加速度データを順次取得する。なお、測定結果取得部３４は、測定部２６による筆記部２３の動きの測定結果を予め定められた時間間隔でまとめて取得するようにしてもよい。
【００３２】
比較画像内位置特定部３６は、画像取得部３２により取得される複数の画像のうちの基準画像と、基準画像とは異なる比較画像と、に基づいて、基準画像に含まれる位置特定画像４８に対応する比較画像内の位置を特定する（図３Ａ〜図３Ｆ参照）。なお、位置特定画像４８の基準画像内における位置が予め定められていてもよい。
【００３３】
本実施形態では、比較画像内位置特定部３６は、例えば、画像取得部３２により取得される各画像（以降、撮像画像５０と呼ぶ。）内の中心点（画像中心点５２）を中心とした予め定められた大きさ（例えば、１．４ｍｍ四方）の位置特定画像４８を認識する（図３Ａ〜図３Ｆ参照）。比較画像内位置特定部３６は、例えば、位置特定画像４８に表されている紙繊維のパターンを認識する。
【００３４】
図３Ａは、第１ストローク時間内において、撮像部２５により撮像される最初の撮像画像５０（第１ストローク時間内の第１撮像画像５０−１−１）の一例を示す図である。そして、図３Ｂは、図３Ａに例示する、第１撮像画像５０−１−１の次に、撮像部２５により撮像される撮像画像５０（第１ストローク時間内の第２撮像画像５０−１−２）の一例を示す図である。図３Ｃは、図３Ｂに例示する、第２撮像画像５０−１−２の次に、撮像部２５により撮像される撮像画像５０（第１ストローク時間内の第３撮像画像５０−１−３）の一例を示す図である。
【００３５】
図３Ｄは、第２ストローク時間内において、撮像部２５により撮像される最初の撮像画像５０（第２ストローク時間内の第１撮像画像５０−２−１）の一例を示す図である。そして、図３Ｅは、図３Ｄに例示する、第１撮像画像５０−２−１の次に、撮像部２５により撮像される撮像画像５０（第２ストローク時間内の第２撮像画像５０−２−２）の一例を示す図である。図３Ｆは、図３Ｅに例示する、第２撮像画像５０−２−２の次に、撮像部２５により撮像される撮像画像５０（第２ストローク時間内の第３撮像画像５０−２−３）の一例を示す図である。
【００３６】
なお、本実施形態では、第１ストローク時間内において、撮像部２５は、５つの撮像画像５０（５０−１−１〜５０−１−５）を生成する。また、第２ストローク時間内においても、撮像部２５は、５つの撮像画像５０（５０−２−１〜５０−２−５）を生成する。
【００３７】
本実施形態では、比較画像内位置特定部３６は、例えば、図３Ａ及び図３Ｂに例示するように、第１撮像画像５０−１−１内の位置特定画像４８−１−１と、第２撮像画像５０−１−２と、を照合して、第２撮像画像５０−１−２内において、位置特定画像４８−１−１に表されている紙繊維のパターンに対応するパターンが表されている対応領域５４（図３Ｂの例では、対応領域５４−１−１）を特定する。
【００３８】
紙は木材パルプを原料とした細かい繊維が絡み合って作られている。そして、紙繊維の絡み具合はランダムであるため、上述の方法により、高い精度で対応領域５４が特定される。なお、対応領域５４を特定する方法は上述の方法に限定されない。
【００３９】
そして、比較画像内位置特定部３６は、対応領域５４内の中心点の位置座標（対応位置座標（Ｘ，Ｙ））を特定する。具体的には、図３Ｂの例では、比較画像内位置特定部３６は、第２撮像画像５０−１−２の画像中心点５２−１−２を原点とした際の、対応位置座標（Ｘ１，Ｙ１）を特定する。
【００４０】
なお、比較画像内位置特定部３６は、撮像画像５０（例えば、第１撮像画像５０−１−１）を基準画像保持部３８に出力するようにしてもよい。そして、基準画像保持部３８が、撮像画像５０を保持するようにしてもよい。そして、比較画像内位置特定部３６は、対応位置座標（Ｘ，Ｙ）を特定する際に、基準画像保持部３８に保持されている撮像画像５０を削除するようにしてもよい。例えば、比較画像内位置特定部３６は、対応位置座標（Ｘ１，Ｙ１）を特定する際に、基準画像保持部３８に保持されている第１撮像画像５０−１−１を削除するようにしてもよい。
【００４１】
本実施形態では、図３Ｂに例示するように、比較画像内位置特定部３６は、第２撮像画像５０−１−２内の位置特定画像４８−１−２も特定している。そして、図３Ｂ及び図３Ｃに例示するように、第２撮像画像５０−１−２内の位置特定画像４８−１−２と、第３撮像画像５０−１−３と、を照合して、第３撮像画像５０−１−３内の対応領域５４−１−２を特定し、対応位置座標（Ｘ２，Ｙ２）を特定する。
【００４２】
このように、本実施形態では、第２撮像画像５０−１−２は、第１撮像画像５０−１−１との関係では比較画像としての役割を担い、第３撮像画像との関係では、基準画像としての役割を担う。このように、比較画像として用いられる画像が、基準画像として用いられてもよい。
【００４３】
比較画像内位置特定部３６は、図３Ｃに例示するように、第１撮像画像５０−１−１内の位置特定画像４８−１−１と、第３撮像画像５０−１−３と、を照合して、第３撮像画像５０−１−３内において、第１撮像画像５０−１−１内の位置特定画像４８−１−１に表されている紙繊維のパターンに対応するパターンが表されている対応領域５４−１−１を特定するようにしてもよい。そして、比較画像内位置特定部３６が、この対応領域５４−１−１の対応位置座標（Ｘ３，Ｙ３）を特定するようにしてもよい。
【００４４】
本実施形態では、図３Ｄ及び図３Ｅに例示するように、上述と同様の方法により、例えば、第２ストローク時間内の第１撮像画像５０−２−１内の位置特定画像４８−２−１と、第２撮像画像５０−２−２と、を照合して、第２撮像画像５０−２−２内において、位置特定画像４８−２−１に表されている紙繊維のパターンに対応するパターンが表されている対応領域５４（図３Ｅの例では、対応領域５４−２−１）を特定し、対応領域５４−２−１内の、対応位置座標（Ｘ４，Ｙ４）を特定する。
【００４５】
そして、本実施形態では、比較画像内位置特定部３６は、第２ストローク時間内の第３撮像画像５０−２−３については、例えば、第１ストローク時間内の第１撮像画像５０−１−１内の位置特定画像４８−１−１（図３Ａ参照）と、第２ストローク時間内の第２撮像画像５０−２−２内の位置特定画像４８−２−２と（図３Ｅ参照）、第２ストローク時間内の第３撮像画像５０−２−３と、を照合して、第２ストローク時間内の第３撮像画像５０−２−３内の２つの対応領域５４（５４−１−１，５４−２−２）を特定し、それぞれの対応領域５４内の、対応位置座標（Ｘ５，Ｙ５）及び（Ｘ６，Ｙ６）を特定する（図３Ｆ参照）。このように、比較画像内位置特定部３６は、互いに異なる複数の基準画像と、比較画像と、に基づいて、複数の対応位置座標（Ｘ，Ｙ）を特定してもよい。
【００４６】
位置関係特定部４０は、比較画像内位置特定部３６により特定される比較画像内の位置と、位置特定画像４８の基準画像内における位置と、の関係に基づいて、基準画像の撮像時点における撮像部２５の位置と、比較画像の撮像時点における撮像部２５の位置と、の関係を特定する。本実施形態では、撮像部２５と筆記部２３とが一体的に形成されているので、位置関係特定部４０により、結果的に、基準画像の撮像時点における筆記部２３の位置と、比較画像の撮像時点における筆記部２３の位置と、の関係が特定される。
【００４７】
位置関係特定部４０は、例えば、図３Ｂに例示する対応位置座標（Ｘ１，Ｙ１）に基づいて、第１撮像画像５０−１−１の撮像時点における筆記部２３の紙面における位置に対する、第２撮像画像５０−１−２の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ１，−Ｙ１）と特定する。
【００４８】
位置関係特定部４０は、図３Ｃに例示する対応位置座標（Ｘ２，Ｙ２）に基づいて、第２撮像画像５０−１−２の撮像時点における筆記部２３の紙面における位置に対する、第３撮像画像５０−１−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ２，−Ｙ２）と特定する。なお、位置関係特定部４０は、図３Ｃに例示する対応位置座標（Ｘ３，Ｙ３）に基づいて、第１撮像画像５０−１−１の撮像時点における筆記部２３の紙面における位置に対する、第３撮像画像５０−１−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ３，−Ｙ３）と特定してもよい。
【００４９】
本実施形態では、位置関係特定部４０は、例えば、図３Ｆに例示する対応位置座標（Ｘ５，Ｙ５）に基づいて、第１ストローク時間内の第１撮像画像５０−１−１の撮像時点における筆記部２３の紙面における位置に対する、第２ストローク時間内の第３撮像画像５０−２−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ５，−Ｙ５）と特定する。また、位置関係特定部４０は、例えば、図３Ｆに例示する対応位置座標（Ｘ６，Ｙ６）に基づいて、第２ストローク時間内の第２撮像画像５０−２−２の撮像時点における筆記部２３の紙面における位置に対する、第２ストローク時間内の第３撮像画像５０−２−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値を（−Ｘ６，−Ｙ６）と特定する。
【００５０】
移動履歴情報生成部４２は、位置関係特定部４０により特定される、基準画像の撮像時点における撮像部２５の位置と、比較画像の撮像時点における撮像部２５の位置と、の関係（本実施形態では、基準画像の撮像時点における筆記部２３の位置と、比較画像の撮像時点における筆記部２３の位置と、の関係）に基づいて、筆記部２３の移動履歴（例えば、筆跡）を示す移動履歴情報５６を複数生成する（図４参照）。
【００５１】
本実施形態では、移動履歴情報生成部４２は、具体的には、例えば、図４に例示する移動履歴情報５６を生成する。図４は、移動履歴情報５６のデータ構造の一例を示す図である。図４に例示するように、本実施形態では、移動履歴情報５６は、例えば、筆跡点ＩＤ５８、ストローク番号６０、筆跡塊番号６２、筆跡点座標値６４、を含む。
【００５２】
筆跡点ＩＤ５８は、例えば、各撮像画像５０の撮像時点における筆記部２３の位置に対応する点の識別子である。このように、本実施形態では、撮像画像５０と移動履歴情報５６とは対応している。本実施形態では、例えば、筆跡点ＩＤ５８が示す値の順は、各撮像画像５０の撮像される時点の順に対応している。
【００５３】
ストローク番号６０は、例えば、各ストローク時間内における筆記部２３の筆画（ストローク）の識別子である。以下、第ｍストローク時間に対応するストロークを第ｍストロークと呼ぶこととする（ｍ＝１，２，・・・ｎ）。そして、１つのストロークに含まれる点の座標を示す各移動履歴情報５６のストローク番号６０は共通する。
【００５４】
筆跡塊番号６２の詳細については後述する。
【００５５】
筆跡点座標値６４は、各撮像画像５０の撮像時点における筆記部２３の位置に対応する点の座標値を示している。なお、各ストロークについて、最初の撮像画像５０（例えば、第１ストローク時間内の第１撮像画像５０−１−１や、第２ストローク時間内の第１撮像画像５０−２−１や）の撮像時点に対応する筆跡点座標値６４は、予め定められた値（例えば、原点の座標値（０，０））であってもよい。
【００５６】
本実施形態では、例えば、移動履歴情報生成部４２は、第１ストローク時間内の第１撮像画像５０−１−１の撮像時点に対応する筆跡点座標値６４の値（ｘ１１，ｙ１１）と、位置関係特定部４０により特定される相対的な位置座標の値（−Ｘ１，−Ｙ１）に基づいて、第１ストローク時間内の第２撮像画像５０−１−２の撮像時点に対応する筆跡点座標値６４の値（ｘ１２，ｙ１２）を算出する。本実施形態では、例えば、（ｘ１２，ｙ１２）＝（ｘ１１，ｙ１１）＋（−Ｘ１，−Ｙ１）という関係にある。このようにして、移動履歴情報生成部４２は、第１ストローク時間内の第ｎ撮像画像５０−１−ｎの撮像時点に対応する筆跡点座標値６４の値（ｘ１ｎ，ｙ１ｎ）を算出する（本実施形態では、ｎ＝１，２，３，４，５）。
【００５７】
そして、本実施形態では、例えば、位置関係特定部４０により、第１ストローク時間内の第１撮像画像５０−１−１の撮像時点における筆記部２３の紙面における位置に対する、第２ストローク時間内の第３撮像画像５０−２−３の撮像時点における筆記部２３の紙面における相対的な位置座標の値が（−Ｘ４，−Ｙ４）と特定された際に、移動履歴情報生成部４２は、それまでに算出された、ストローク番号６０の値が「２」である移動履歴情報５６に含まれる筆跡点座標値６４の値（例えば、（ｘ２１，ｙ２１）、（ｘ２２，ｙ２２）、（ｘ２３，ｙ２３）の値）のそれぞれについて、Ｘ座標値にＸ４を、Ｙ座標値にＹ４を加算する。
【００５８】
そして、移動履歴情報生成部４２は、算出される筆跡点座標値６４に基づいて移動履歴情報５６を生成する。その際に、移動履歴情報生成部４２は、上述の処理により位置関係が特定される複数のストロークについては、共通の番号を、各ストロークを構成する移動履歴情報５６に含まれる筆跡塊番号６２の値として割り当てる。本実施形態では、移動履歴情報生成部４２は、割り当てられる筆跡塊番号６２は、移動履歴情報５６に対応する撮像画像５０の撮像順に対応する。
【００５９】
そして、移動履歴情報生成部４２は、移動履歴情報５６を移動履歴情報記憶部４６に出力する。そして、移動履歴情報記憶部４６は、移動履歴情報５６を記憶する。
【００６０】
移動履歴情報生成部４２は、接触判定部３０により、筆記部２３が紙面に接触していると判断されている期間に撮像部２５により撮像される画像に基づいて、移動履歴情報５６を生成してもよい。また、移動履歴情報生成部４２は、接触判定部３０により、筆記部２３が紙面に接触していないと判定されている間における筆記部２３の移動履歴を示す移動履歴情報５６を生成してもよい。
【００６１】
上述のように、位置関係特定部４０は、複数のストローク間の位置関係を特定する。しかし、例えば、利用者が筆記部２３で紙面に一連の文字列などを筆記する途中で筆記部２３を傾けるなどして、撮像部２５に紙面の画像が撮像されない時間が存在すると、この時間をまたぐ複数のストローク間の位置関係は、上述の処理では特定されない。そこで、本実施形態では、位置関係特定部４０は、測定部２６による測定結果に基づいて、各移動履歴情報５６に対応する位置間の関係を特定する。本実施形態では、位置関係特定部４０は、筆跡塊番号６２が共通する移動履歴情報５６群に対応する位置間の関係を示す位置関係情報６６を生成する（図５参照）。図５は、位置関係情報６６のデータ構造の一例を示す図である。
【００６２】
位置関係特定部４０は、本実施形態では、具体的には、例えば、筆跡塊番号６２の値が「１」である移動履歴情報５６群（第１移動履歴情報群）を構成する各移動履歴情報５６に対応する撮像画像５０のうち、最後に撮像された撮像画像５０が撮像される時点（第１時点）から、筆跡塊番号６２の値が「２」である移動履歴情報５６群（第２移動履歴情報群）を構成する各移動履歴情報５６に対応する撮像画像５０のうち、最初の撮像画像５０が撮像される時点（第２時点）までに、測定部２６により測定された筆記部２３の加速度に基づいて、第１時点における筆記部２３の位置に対する、第２時点における筆記部２３の位置の相対座標を示す位置関係情報６６を生成する。より具体的には、測定部２６により測定された筆記部２３の加速度に対して、時間積分を２回行うことによって、位置関係情報６６を生成する。
【００６３】
なお、例えば、測定部２６が予め定められた方向に限定して加速度を測定している場合には、位置関係特定部４０は、その方向についての相対座標を示す位置関係情報６６を生成してもよい。また、位置関係特定部４０は、接触判定部３０により、筆記部２３が紙面に接触していないと判断されている期間における、測定部２６による測定結果に基づいて、筆跡塊７０間の位置関係を特定してもよい。
【００６４】
図５に例示するように、位置関係情報６６は、第１筆跡塊番号６２−１、第２筆跡塊番号６２−２、筆跡塊間相対座標値６８、を含む。第１筆跡塊番号６２−１は、上述の第１移動履歴情報群を構成する移動履歴情報５６に含まれる筆跡塊番号６２に対応する。第２筆跡塊番号６２−２は、上述の第２移動履歴情報群を構成する移動履歴情報５６に含まれる筆跡塊番号６２に対応する。筆跡塊間相対座標値６８は、上述の、第１時点における筆記部２３の位置に対する、第２時点における筆記部２３の位置の相対的な座標値を示す。
【００６５】
位置関係特定部４０は、測定部２６の測定結果に基づいて算出される相対位置の座標値を修正した筆跡塊間相対座標値６８を設定してもよい。また、位置関係特定部４０は、測定部２６の測定結果に基づいて算出される複数の相対位置に基づいて、それぞれの相対位置の座標値を修正した筆跡塊間相対座標値６８を設定するようにしてもよい。
【００６６】
例えば、位置関係特定部４０は、図６Ａ（あるいは、図６Ｂ）に例示するように、測定部２６の測定結果に基づいて、５つの筆跡塊７０（各筆跡塊７０は、筆跡塊番号６２が共通する移動履歴情報５６群に対応する）が横（あるいは、縦）に並んでいるような相対位置の座標値が算出された場合に、それぞれの筆跡塊７０の上辺が揃う（あるいは、左辺が揃う）ような、筆跡塊間相対座標値６８を設定してもよい。図６Ｃは、図６Ａに例示する筆跡塊７０の上辺が揃っている様子の一例を示す図である。図６Ｄは、図６Ｂに例示する筆跡塊７０の左辺が揃っている様子の一例を示す図である。
【００６７】
また、上述の場合に位置関係特定部４０は、各筆跡塊７０の上下方向や左右方向の中心線が揃うような筆跡塊間相対座標値６８を設定してもよい。
【００６８】
より具体的には、位置関係特定部４０は、例えば、はじめの２つの筆跡塊７０間について算出される相対位置のＸ座標（あるいは、Ｙ座標）の絶対値が、測定部２６の測定結果に基づいて算出される相対位置のＹ座標（あるいは、Ｘ座標）の絶対値より大きい場合に、筆跡塊間相対座標値６８に設定されるＹ座標（あるいは、Ｘ座標）の値を０に設定するようにしてもよい。位置関係特定部４０は、例えば、それぞれの筆跡塊７０間について算出される相対位置のＸ座標（あるいは、Ｙ座標）の絶対値の平均が、測定部２６の測定結果に基づいて算出される相対位置のＹ座標（あるいは、Ｘ座標）の絶対値の平均より大きい場合に、各位置関係情報６６に含まれる筆跡塊間相対座標値６８に設定されるＹ座標（あるいは、Ｘ座標）の値を０に設定するようにしてもよい。このように、位置関係特定部４０は、各移動履歴情報５６に対応する位置の配置方向を特定してもよい。
【００６９】
また、位置関係特定部４０は、例えば、それぞれの筆跡塊７０間について算出される相対位置のＸ座標（あるいは、Ｙ座標）の絶対値の平均と、算出される相対位置のＹ座標（あるいは、Ｘ座標）の絶対値の平均と、の差が予め定められた値の範囲より小さい場合には、測定部２６の測定結果に基づいて算出される相対座標の値をそのまま筆跡塊間相対座標値６８として設定するようにしてもよい。
【００７０】
そして、位置関係特定部４０は、位置関係情報６６を移動履歴情報記憶部４６に出力する。そして、移動履歴情報記憶部４６は、位置関係情報６６を記憶する。
【００７１】
分類部４４は、予め定められた規則に基づいて複数の移動履歴情報５６を分類する。本実施形態では、分類部４４は、例えば、筆跡塊７０を分類して、図７に例示する分類情報７２を生成する。図７は、分類情報７２のデータ構造の一例を示す図である。分類情報７２は、分類ＩＤ７４と、筆跡塊番号６２と、を含む。分類ＩＤ７４は、移動履歴情報５６に関連付けられる分類の識別子であり、筆跡塊番号６２は、この分類に関連付けられる筆跡塊７０に対応する筆跡塊番号６２に対応する。このように、分類部４４は、複数の筆跡塊７０のそれぞれが、複数の筆跡塊群のいずれかに属するように分類するようにしてもよい。
【００７２】
図８は、分類部４４による筆跡塊７０の分類の一例を示す図である。分類部４４は、本実施形態では、具体的には、例えば、図８に例示するように、値が「１」である分類ＩＤ７４と、予め定められた形状の筆跡塊７０であるチェックマーク７０ａより左に存在する筆跡塊７０に対応する筆跡塊番号６２と、を含む分類情報７２、及び、値が「２」である分類ＩＤ７４と、予め定められたチェックマーク７０ａより右に存在する筆跡塊７０に対応する筆跡塊番号６２と、を含む分類情報７２を生成する。なお、チェックマーク７０ａは、分類部４４が、公知の画像認識技術などを用いて認識される。
【００７３】
なお、分類部４４が複数の筆跡塊７０を分類する規則は上述のものに限定されない。例えば、分類部４４は、筆跡塊間相対座標値６８に対応するベクトルのノルムが予め定められた値よりも大きい場合に、その筆跡塊間相対座標値６８を含む位置関係情報６６に含まれる第１筆跡塊番号６２−１以下の筆跡塊番号６２に対応する筆跡塊７０と、その筆跡塊間相対座標値６８を含む位置関係情報６６に含まれる第２筆跡塊番号６２−２以上の筆跡塊番号６２に対応する筆跡塊７０とを分類してもよい。
【００７４】
また、分類部４４は、移動履歴情報５６を分類してもよい。具体的には、例えば、分類部４４は、測定部２６の測定結果に基づいて算出される筆記部２３の移動距離と、その動きが開始された位置と、終了された位置との間の直線距離と、の差に基づいて（例えば、差が予め定められた値より大きいか否かに基づいて）、その筆記部２３の動きの開始以前の撮像画像５０に対応する移動履歴情報５６と、その筆記部２３の動きの終了以降の撮像画像５０に対応する移動履歴情報５６と、を分類してもよい。
【００７５】
また、分類部４４は、接触判定部３０により、筆記部２３が紙面に接触していないと判定されている時間が予め定められた時間（例えば、３分）より長い場合に、その時間以前に撮像された撮像画像５０に対応する移動履歴情報５６と、その時間以後に撮像された撮像画像５０に対応する移動履歴情報５６と、を分類してもよい。また、分類部４４は、予め定められた時間以上、測定部２６により測定される加速度の値が予め定められた範囲内にある場合に、その時間以前に撮像された撮像画像５０に対応する移動履歴情報５６と、その時間以後に撮像された撮像画像５０に対応する移動履歴情報５６とを分類してもよい。また、ペン２がスイッチ（あるいは、キャップ）を備えている場合は、分類部４４は、そのスイッチが利用者により押下された（あるいは、キャップが利用者により操作された）時点以前に撮像された撮像画像５０に対応する移動履歴情報５６と、その時点以後に撮像された撮像画像５０に対応する移動履歴情報５６と、を分類してもよい。
【００７６】
そして、分類部４４は、分類情報７２を移動履歴情報記憶部４６に出力する。そして、移動履歴情報記憶部４６は、分類情報７２を記憶する。分類部４４は、各分類情報７２を、例えば、分類情報７２の生成日時などのメタデータと関連付けて移動履歴情報記憶部４６に出力してもよい。
【００７７】
クライアント３が、インストールされている筆跡表示プログラムを実行すると、クライアント３が備える制御装置が、移動履歴情報記憶部４６に記憶されている、移動履歴情報５６や、位置関係情報６６や、分類情報７２を、入出力部２２を経由して取得する。そして、クライアント３が備える制御装置が、クライアント３が備えるディスプレイなどの出力装置に、移動履歴情報５６などに基づく画像（例えば、各ストロークについて筆跡点座標値６４が示す座標を筆跡点ＩＤ５８の順につなぐことによって表現される線分を組み合わせて表現される文字列などの図形を示す画像）を表示出力する。図９に、移動履歴情報５６などに基づく画像が、クライアント３が備えるディスプレイなどの出力装置に出力されている様子の一例を示す。上述の分類部４４により分類された分類単位で、その分類に関連付けられている移動履歴情報５６に基づく画像がまとめて表示されるようにしてもよい。そして、上述の分類部４４により分類された分類単位で、表示される画像が切り替えられるようにしてもよい。
【００７８】
次に、本実施形態に係る情報処理システム１において、位置関係情報６６を生成して、移動履歴情報記憶部４６に出力する処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。
【００７９】
まず、位置関係特定部４０が、筆跡塊番号６２の値が「１」である移動履歴情報５６群（第１移動履歴情報群）を構成する各移動履歴情報５６、及び、筆跡塊番号６２の値が「２」である移動履歴情報５６群（第２移動履歴情報群）を構成する各移動履歴情報５６を取得する（Ｓ１０１）。そして、位置関係特定部４０が、第１移動履歴情報群を構成する各移動履歴情報５６のうちから、最も筆跡点ＩＤ５８の値が大きな移動履歴情報５６（第１移動履歴情報５６−１）を特定する（Ｓ１０２）。そして、位置関係特定部４０が、第２移動履歴情報群を構成する各移動履歴情報５６のうちから、最も筆跡点ＩＤ５８の値が小さな移動履歴情報５６（第２移動履歴情報５６−２）を特定する（Ｓ１０３）。
【００８０】
そして、位置関係特定部４０が、第１移動履歴情報５６−１に対応する撮像画像５０の撮像時点（第１時点）から、第２移動履歴情報５６−２に対応する撮像画像５０の撮像時間（第２時点）までに、測定部２６によって測定された加速度の測定結果を取得する（Ｓ１０４）。
【００８１】
そして、位置関係特定部４０が、Ｓ１０４に例示する処理で取得する測定結果に基づいて、第１時点における筆記部２３の位置に対する、第２時点における筆記部２３の位置の相対座標を算出する（Ｓ１０５）。
【００８２】
そして、位置関係特定部４０が、第１移動履歴情報５６−１に含まれる筆跡塊番号６２に対応する第１筆跡塊番号６２−１、第２移動履歴情報５６−２に含まれる筆跡塊番号６２に対応する第２筆跡塊番号６２−２、Ｓ１０５に例示する処理で算出される相対座標の値を示す筆跡塊間相対座標値６８、を含む位置関係情報６６を生成する（Ｓ１０６）。
【００８３】
そして、位置関係特定部４０が、Ｓ１０６に例示する処理で生成した位置関係情報６６を移動履歴情報記憶部４６に出力する（Ｓ１０７）。
【００８４】
本実施形態を応用することで、例えば、図１１に例示するように、二次元バーコード７６が印刷されている紙面７８上に記載された、文字列８０が書かれている位置の二次元バーコード７６の位置に対する相対座標が算出される。二次元バーコード７６上に利用者によりペン２が移動された際に、撮像部２５が二次元バーコード７６の画像を撮像して、制御部２０が、二次元バーコード７６の画像に基づいて、この二次元バーコード７６が示す情報を生成するようにしてもよい。なお、二次元バーコード７６は小さい（例えば、５ｍｍ四方以下）ほうが望ましい。
【００８５】
上述の応用例では、クライアント３が備える制御装置が、クライアント３が備えるディスプレイなどの表示装置に、文字列８０に対応する画像を表示出力する。このとき、クライアント３が備える制御装置が、画像の表示位置を、二次元バーコード７６の中心の位置と、上述の特定される相対座標と、に基づいて決定してもよく、紙面７８に記載された、二次元バーコード７６の画像が印刷されている領域内に書かれているチェックマーク７０ａの終点の位置と、上述の特定される相対座標と、に基づいて決定してもよい。
【００８６】
なお、本発明は上記実施形態に限定されるものではない。
【００８７】
例えば、位置関係特定部４０が複数のストローク間の位置関係を特定する処理は、上述の実施形態で示す処理に限定されない。例えば、特許文献１に記載の方法などにより、複数のストローク間の位置関係を特定してもよい。
【００８８】
また、例えば、情報処理システム１は、分類部４４を含まない構成としてもよい。
【００８９】
また、例えば、情報処理システム１が、ペン２と、ペン２に接続される情報処理装置と、を備え、この情報処理装置が備える制御部２０が、上述の、接触判定部３０、画像取得部３２、測定結果取得部３４、比較画像内位置特定部３６、位置関係特定部４０、移動履歴情報生成部４２、分類部４４、として機能し、この情報処理装置が備える記憶部２１が、上述の基準画像保持部３８、移動履歴情報記憶部４６として機能するようにしてもよい。
【００９０】
なお、上記実施形態では、各種情報のデータ構造は表形式により表現しているが、この表現はあくまでも一例であり、他のデータ構造により実装してももちろん構わない。
【００９１】
なお、本明細書中に記載された具体的な数値や文字列は例示であり、これらの数値や文字列に限定されない。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態に係る情報処理システムのネットワーク構成の一例を示す図である。
【図２】本発明の一実施形態に係るペンにより実現される機能の一例を示す機能ブロック図である。
【図３Ａ】撮像画像の一例を示す図である。
【図３Ｂ】撮像画像の一例を示す図である。
【図３Ｃ】撮像画像の一例を示す図である。
【図３Ｄ】撮像画像の一例を示す図である。
【図３Ｅ】撮像画像の一例を示す図である。
【図３Ｆ】撮像画像の一例を示す図である。
【図４】移動履歴情報のデータ構造の一例を示す図である。
【図５】位置関係情報のデータ構造の一例を示す図である。
【図６Ａ】筆跡塊の一例を示す図である。
【図６Ｂ】筆跡塊の一例を示す図である。
【図６Ｃ】筆跡塊の一例を示す図である。
【図６Ｄ】筆跡塊の一例を示す図である。
【図７】分類情報のデータ構造の一例を示す図である。
【図８】筆跡塊の分類の一例を示す図である。
【図９】クライアントが備えるディスプレイなどの出力装置に、筆跡情報に基づく線分が表示出力される様子の一例を示す図である。
【図１０】本実施形態に係る情報処理システムで行われる処理の流れの一例を示すフロー図である。
【図１１】二次元バーコードが印刷されている紙面の一例を示す図である。
【符号の説明】
【００９３】
１  情報処理システム、２  ペン、３  利用者端末（クライアント）、２０  制御部、２１  記憶部、２２  入出力部、２３  筆記部、２４  感圧部、２５  撮像部、２６  測定部、３０  接触判定部、３２  画像取得部、３４  測定結果取得部、３６  比較画像内位置特定部、３８  基準画像保持部、４０  位置関係特定部、４２  移動履歴情報生成部、４４  分類部、４６  移動履歴情報記憶部、４８  位置特定画像、５０  撮像画像、５２  画像中心点、５４  対応領域、５６  移動履歴情報、５８  筆跡点ＩＤ、６０  ストローク番号、６２  筆跡塊番号、６４  筆跡点座標値、６６  位置関係情報、６８  筆跡塊間相対座標値、７０  筆跡塊、７０ａ  チェックマーク、７２  分類情報、７４  分類ＩＤ、７６  二次元バーコード、７８  紙面、８０  文字列。
【図１】
2010061310.tif 000003
【図２】
2010061310.tif 000004
【図３Ａ】
2010061310.tif 000005
【図３Ｂ】
2010061310.tif 000006
【図３Ｃ】
2010061310.tif 000007
【図３Ｄ】
2010061310.tif 000008
【図３Ｅ】
2010061310.tif 000009
【図３Ｆ】
2010061310.tif 000010
【図４】
2010061310.tif 000011
【図５】
2010061310.tif 000012
【図６Ａ】
2010061310.tif 000013
【図６Ｂ】
2010061310.tif 000014
【図６Ｃ】
2010061310.tif 000015
【図６Ｄ】
2010061310.tif 000016
【図７】
2010061310.tif 000017
【図８】
2010061310.tif 000018
【図９】
2010061310.tif 000019
【図１０】
2010061310.tif 000020
【図１１】
2010061310.tif 000021