(57)【要約】【課題】コストを抑制しつつ、高画質なスキャン結果を得ることができる。【解決手段】本発明に係るスキャンシステム９は、紙書籍に記載された文章の一部の文字列をスキャンし、スキャンした文字列に基づいて文章画像データを生成して送信するペン型スキャナ９１と、文章画像データよりも高画質で、紙書籍に記載された文章が電子画像化された書籍画像データが格納される記憶部９２と、書籍画像データと、ペン型スキャナ９１が送信した文章画像データとを比較し、書籍画像データから、前記文章画像データと一致すると判定した部分画像データを抽出するマッチング部９３とを備える。【選択図】図２７
2017054285.tif 000002
【特許請求の範囲】
【請求項１】
紙書籍に記載された文章の一部の文字列をスキャンし、スキャンした文字列に基づいて文章画像データを生成して送信するペン型スキャナと、
前記文章画像データよりも高画質で、前記紙書籍に記載された文章が電子画像化された書籍画像データが格納される記憶部と、
前記書籍画像データと、前記ペン型スキャナが送信した文章画像データとを比較し、前記書籍画像データから、前記文章画像データと一致すると判定した部分画像データを抽出するマッチング部と、
を備えたスキャンシステム。
【請求項２】
前記ペン型スキャナは、ユーザーが前記紙書籍に記載された文章の一部の文字列をスキャンするときに押すための第１のスイッチを有し、前記第１のスイッチが押下されている間にスキャンした文字列が電子画像化された画像データを、前記文章画像データとして生成する、
請求項１に記載のスキャンシステム。
【請求項３】
前記記憶部は、さらに、前記紙書籍に記載された文章が電子テキスト化された書籍テキストデータが格納され、
前記マッチング部は、前記書籍テキストデータから、前記書籍画像データにおける前記文章画像データと一致すると判定した部分画像データに対応する部分テキストデータを抽出する、
請求項１に記載のスキャンシステム。
【請求項４】
前記記憶部は、複数の前記紙書籍の各ページに対応する複数の前記書籍画像データが格納されており、
前記ペン型スキャナは、ユーザーが前記紙書籍に記載されたＩＳＢＮ番号の文字列をスキャンするときに押すための第２のスイッチを有し、前記第２のスイッチが押下されている間にスキャンしたＩＳＢＮ番号の文字列が電子画像化されたＩＳＢＮ番号画像データを生成して送信し、
前記スキャンシステムは、さらに、前記ペン型スキャナから送信されたＩＳＢＮ番号画像データに対して、ＯＣＲ（Optical Character Recognition）を実施して、ＩＳＢＮ番号の文字列が電子テキスト化された第１のテキストデータを生成する光学文字認識部と、
前記複数の書籍画像データのうち、前記第１のテキストデータが示すＩＳＢＮ番号の紙書籍に対応する書籍画像データを選択する選択部と、を備え、
前記マッチング部は、前記選択部が選択した書籍画像データと、前記文章画像データとを比較する、
請求項２に記載のスキャンシステム。
【請求項５】
前記第２のスイッチは、ユーザーが前記文章の一部の文字列をスキャンするページに記載されたページ数の文字列をスキャンするときに押すものでもあり、
前記ペン型スキャナは、さらに、前記第２のスイッチが押下されている間にスキャンしたページ数の文字列が電子画像化されたページ数画像データを生成して送信し、
前記光学文字認識部は、さらに、前記ペン型スキャナから送信されたページ数画像データに対して、ＯＣＲを実施して、ページ数の文字列が電子テキスト化された第２のテキストデータを生成し、
前記選択部は、前記ＩＳＢＮ番号の紙書籍に対応する書籍画像データから、さらに、前記第２のテキストデータが示すページ番号に対応する書籍画像データを選択する、
請求項４に記載のスキャンシステム。
【請求項６】
前記ペン型スキャナは、さらに、
ユーザーが前記紙書籍の１ページ内において前記ページ数が記述された位置から前記文章の一部の文字列をスキャンする位置まで前記ペン型スキャナを移動するときに押すための第３のスイッチと、
ユーザーが前記ペン型スキャナで前記文字列をなぞった場合に、所定時間間隔で前記文字列を異なる位置で複数回スキャンし、前記異なる位置における前記文字列の一部が電子画像化された複数の文字画像データを、前記文章画像データとして生成するとともに、時間的に隣接する文字画像データに基づいて、前記ペン型スキャナの移動量を示す移動量データを生成するイメージセンサと、を有し、
前記第３のスイッチが押されている間に前記イメージセンサによって生成される移動量データが示す移動量に基づいて、前記第３のスイッチが押されたときにおける前記ペン型スキャナの位置座標を基準として、前記第３のスイッチを押すのが止められたときにおける前記ペン型スキャナの位置座標を算出し、算出した位置座標を示す位置座標データを送信し、
前記マッチング部は、前記ペン型スキャナから送信された位置座標データが示す前記ペン型スキャナの位置座標に基づいて、前記選択部が選択した書籍画像データにおいて、前記ペン型スキャナが前記文章の一部の文字列のスキャンを開始した位置を特定し、特定した位置を基準とした所定範囲と、前記文章画像データとを比較する、
請求項５に記載のスキャンシステム。
【請求項７】
前記ペン型スキャナは、ユーザーが前記ペン型スキャナで前記文字列をなぞった場合に、所定時間間隔で前記文字列を異なる位置で複数回スキャンし、前記異なる位置における前記文字列の一部が電子画像化された複数の文字画像データを、前記文章画像データとして生成するイメージセンサを有し、
前記マッチング部は、前記書籍画像データと比較する文章画像データとして、前記複数の文字画像データが示す複数の画像の重複部分を重ね合わせるように、前記複数の文字画像データを結合したスキャン結果画像データを生成する、
請求項１に記載のスキャンシステム。
【請求項８】
前記イメージセンサは、時間的に隣接する文字画像データに基づいて、前記ペン型スキャナの移動量を示す移動量データを生成し、
前記ペン型スキャナは、前記複数の文字画像データに関して生成される移動量データに基づいて、前記複数の文字画像データのそれぞれについて、スキャンした位置座標を算出し、算出した位置座標を示す位置座標データを生成して送信し、
前記マッチング部は、前記ペン型スキャナが送信した複数の位置座標データに基づいて、前記スキャン結果画像データが示す画像に含まれる各文字の位置を、より直線的に並ぶように補正する、
請求項７に記載のスキャンシステム。
【請求項９】
前記記憶部は、さらに、前記紙書籍に記載された文章が電子テキスト化された書籍テキストデータが格納され、
前記スキャンシステムは、さらに、前記ペン型スキャナが送信した文章画像データに対して、ＯＣＲ（Optical Character Recognition）を実施して、前記文章画像データが示す画像の文字列のうち、判定率が所定閾値以上である文字が電子テキスト化されたテキストデータを生成する光学文字認識部を備え、
前記マッチング部は、
前記書籍画像データと、前記文章画像データとを比較し、前記書籍画像データから、前記文章画像データと一致すると判定した部分画像データを抽出する動作と、
前記書籍テキストデータと、前記光学文字認識部が生成したテキストデータとを比較し、前記書籍テキストデータから、前記テキストデータと一致すると判定した範囲、及び、前記判定率が所定閾値以上でない文字に対応する範囲を含む部分テキストデータを抽出する動作と、に切り替え可能である、
請求項１に記載のスキャンシステム。
【請求項１０】
前記ペン型スキャナは、ユーザーが前記ペン型スキャナで前記文字列をなぞった場合に、所定時間間隔で前記文字列を異なる位置で複数回スキャンし、前記異なる位置における前記文字列の一部が電子画像化された複数の文字画像データを、前記文章画像データとして生成するイメージセンサを有し、
前記マッチング部は、前記書籍画像データから、前記複数の文字画像データのそれぞれと一致すると判定したデータが示す文字のそれぞれが、前記複数の文字画像データが生成された順に一列に並ぶ範囲を、前記部分画像データとして抽出する、
請求項１に記載のスキャンシステム。
【請求項１１】
前記スキャンシステムは、さらに、
前記記憶部を有するサーバーと、
前記マッチング部を有する端末装置と、を備えた
請求項１に記載のスキャンシステム。
【請求項１２】
紙書籍に記載された文章の一部の文字列をスキャンし、スキャンした文字列に基づいて文章画像データを生成して送信するペン型スキャナから、前記文章画像データを受信する受信部と、
前記文章画像データよりも高画質で、前記紙書籍に記載された文章が電子画像化された書籍画像データが格納される記憶部と、
前記書籍画像データと、前記ペン型スキャナが送信した文章画像データとを比較し、前記書籍画像データから、前記文章画像データと一致すると判定した部分画像データを抽出するマッチング部と、
を備えた端末装置。
【請求項１３】
紙書籍に記載された文章の一部の文字列をスキャンし、スキャンした文字列に基づいて文章画像データを生成して送信するペン型スキャナから、前記文章画像データを受信するステップと、
前記文章画像データよりも高画質で、前記紙書籍に記載された文章が電子画像化された書籍画像データが格納される記憶部から、前記書籍画像データを取得するステップと、
前記書籍画像データと、前記ペン型スキャナが送信した文章画像データとを比較し、前記書籍画像データから、前記文章画像データと一致すると判定した部分画像データを抽出するステップと、
を備えたスキャン方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、スキャンシステム、端末装置及びスキャン方法に関し、例えば紙書籍に記載された文章の一部の文字列をスキャンする技術に関する。
【背景技術】
【０００２】
昨今、スマートフォンが普及している。そのため、紙の書籍の内容を電子データとして保存する方法として、スマートフォンに搭載された高分解能のカメラで書籍の紙面を撮影する方法が一般的に使用される。しかし、紙面の文章中の特定の一文のみを抜き出して保存するという目的に対しては、上記のカメラを使用した方法では、撮影の際に、特定の一文の周りの文章も同時に写り込んでしまう。そのため、撮影後に撮影画像において不要な範囲を除去する作業（トリミング処理）が必要になる。
【０００３】
例えば文章中の特定の一文に感銘を受けたことを理由として、特定の一文を電子データとして保存しておきたいというニーズは強く存在する。このニーズに応える技術として、特許文献１に開示の技術が存在する。
【０００４】
特許文献１には、簡単なシステムを用いて文書と電子化文書との間でのデータの変換を可能にすることを目的とした技術が開示されている。特許文献１に開示のペン装置と親機で構成されている。このペン装置は、３つの光学センサ（ＣＣＤアレイ）を有している。１つ目の光学センサは、ペン装置の長さに沿って直線的な側面に取り付けられている。２つ目の光学センサは、ペン装置のペン先又はペン先の一側面に取り付けられている。３つ目の光学センサは、ペン装置の後方端部に取り付けられている。例えば、ページの大きい部分を走査するためには、１つ目の光学センサが用いられる。例えば、予め印刷してあるマークを認識することにより文書の局部的内容を識別するためには、２つ目の光学センサが用いられる。
【０００５】
これらの光学センサは、少なくとも光学文字認識（ＯＣＲ：Optical Character Recognition）を可能とするものである。光センサの出力は、ペン装置の送信機によってセンサ信号として親機に送信される。親機は、ペン装置と通信し、センサ信号を受信する。親機は、補助プロセッサを使用して手書きメッセージ認識アルゴリズムを実行することができる。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００４−３０３２５４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１に開示の技術は、ＯＣＲを実行するために、高画質な画像を取得することが要求される。よって、高分解能の光学センサや高性能な処理系（ＭＣＵ（Micro Control Unit）及びメモリ等）をペン装置に実装する必要がある。そのため、ペン装置が文字を書くために一般的に使用されるペンに比べて、太くなるとともに、非常に高価になってしまうという課題がある。
【０００８】
ペン装置の小型化及び低価格化のためには安価な光学センサを使用することが有効であるが、光学センサによって取得できる画像が低画質となってしまう。そのため、ＯＣＲの認識率が低下し、所望のサービス品質を達成することができないという課題がある。
【０００９】
その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
【課題を解決するための手段】
【００１０】
一実施の形態によれば、スキャンシステムは、紙書籍に記載された文章の一部の文字列をスキャンして得た文章画像データよりも高画質で、紙書籍に記載された文章が電子画像化された書籍画像データから、文章画像データと一致すると判定した部分画像データを抽出するものである。
【発明の効果】
【００１１】
前記一実施の形態によれば、コストを抑制しつつ、高画質なスキャン結果を得ることができる。
【図面の簡単な説明】
【００１２】
【図１】実施の形態１に係るスキャンシステムの構成図である。
【図２】実施の形態１に係るペン型スキャナの構成図である。
【図３】実施の形態１に係るユーザー端末及びサーバーの構成図である。
【図４】実施の形態１に係るスキャンシステムの動作を示すフローチャートである。
【図５】実施の形態１に係るパターンマッチング処理のイメージ図である。
【図６】実施の形態１に係るペン型スキャナの動作を示すフローチャートである。
【図７】実施の形態１に係るペン型スキャナが送信するデータの一例を示す図である。
【図８】実施の形態２に係るユーザー端末及びサーバーの構成図である。
【図９】実施の形態２に係るスキャンシステムの動作を示すフローチャートである。
【図１０】イメージセンサの分解能とＯＣＲ処理能力の関係を示す図である。
【図１１】パターンマッチング処理の手間と非効率性を示す図である。
【図１２】実施の形態３に係るペン型スキャナの構成図である。
【図１３】実施の形態３に係るユーザー端末及びサーバーの構成図である。
【図１４】書籍画像データベースから所望の書籍画像データを特定する動作のイメージ図である。
【図１５】実施の形態３に係るスキャンシステムの動作を示すフローチャートである。
【図１６】実施の形態３に係るパターンマッチング処理のイメージ図である。
【図１７】実施の形態３に係るペン型スキャナの動作を示すフローチャートである。
【図１８】実施の形態４に係るペン型スキャナの構成図である。
【図１９】実施の形態４に係るスキャンシステムの動作を示すフローチャートである。
【図２０】各実施の形態における動作の大きな区分を示す図である。
【図２１】実施の形態５に係るユーザー端末及びサーバーの構成図である。
【図２２】実施の形態５に係る第１のパターンマッチング手法を示す図である。
【図２３】実施の形態５に係る第２のパターンマッチング手法を示す図である。
【図２４】実施の形態５に係る第３のパターンマッチング手法を示す図である。
【図２５】実施の形態５に係るスキャンシステムの動作を示すフローチャートである。
【図２６】実施の形態５に係るパターンマッチング結果の表示例を示す図である。
【図２７】実施の形態に係るスキャンシステムの概略構成図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照しながら、好適な実施の形態について説明する。以下の実施の形態に示す具体的な数値などは、実施の形態の理解を容易とするための例示にすぎず、特に断る場合を除き、それに限定されるものではない。また、以下の記載及び図面では、説明の明確化のため、当業者にとって自明な事項などについては、適宜、省略及び簡略化がなされている。
【００１４】
＜実施の形態１＞
まず、図１を参照して、実施の形態１に係るスキャンシステム１の構成について説明する。図１に示すように、スキャンシステム１は、複数のペン型スキャナ２と、複数のユーザー端末３と、サーバー４とを有する。
【００１５】
典型的には、ユーザー毎に、１つのペン型スキャナ２と、１つ又は複数のユーザー端末３とを利用する。例えば、図１に示すように、１つのユーザー端末を利用するユーザーが存在してもよく、２つのユーザー端末を利用するユーザーが存在してもよい。サーバー４は、複数のユーザーによって共用される。
【００１６】
ペン型スキャナ２は、紙書籍に記載された文章中の任意の文字列をスキャンする装置である。ペン型スキャナ２は、ユーザーからの操作に応じて、紙書籍に記載された文章中の文字列をスキャンし、スキャンした文字列が画像化された画像データを生成する。ペン型スキャナ２は、生成した画像データをユーザー端末３に送信する。
【００１７】
ユーザー端末３は、ペン型スキャナ２から送信された画像データに基づいて、ペン型スキャナ２でスキャンした紙書籍に対応する電子書籍において、ペン型スキャナ２でスキャンした文字列の範囲を特定する。ユーザー端末３は、電子書籍において特定された範囲を表示・保存する。すなわち、ペン型スキャナ２でスキャンした文字列を示す画像（厳密には電子書籍においてペン型スキャナ２でスキャンされた文字列と同じ文字列を示す画像）が表示・保存される。
【００１８】
ユーザー端末３は、例えば、ＰＣ（Personal Computer）又はタブレット等の端末装置である。図１に示すように、１人のユーザーは、ユーザー端末３としてＰＣ及びタブレットのいずれか１つを有していてもよく、ＰＣ及びタブレットの両方を有していてもよい。ユーザーは、ＰＣ及びタブレットの両方を有している場合、その時々に応じて、ＰＣ及びタブレットのいずれかを任意に選択して利用してよい。
【００１９】
サーバー４は、複数の紙書籍が電子画像化された複数の電子書籍が予め格納されている情報処理装置である。これらの電子書籍は、紙書籍の全ページのそれぞれの文章が電子画像化された複数の書籍画像データが含まれる。この書籍画像データは、ペン型スキャナ２が生成する画像データよりも高画質である。ユーザー端末３は、サーバー４から電子書籍を取得して、取得した電子書籍を上述のペン型スキャナ２でスキャンした文字列の範囲の特定に利用する。
【００２０】
続いて、図２を参照して、実施の形態１に係るペン型スキャナ２の構成について説明する。図２に示すように、ペン型スキャナ２は、光源２０と、レンズ２１と、イメージセンサ２２と、ＭＣＵ２３と、メモリ２４と、送受信機２５と、バッテリー２６と、スイッチ２７とを有する。
【００２１】
ペン型スキャナ２は、大きく分けて、画像スキャン部（光源２０、レンズ２１及びイメージセンサ２２）と、画像処理部（ＭＣＵ２３及びメモリ２４）と、画像送信インターフェイス部（送受信機２５）と、他の部分（バッテリー２６及びスイッチ２７）とに区分される。
【００２２】
光源２０は、発光して紙書籍の紙面を照らす装置である。光源２０は、例えば、ＬＥＤ（Light Emitting Diode）である。レンズ２１は、光源２０によって照らされた紙面の一部の像をイメージセンサ２２上に結像する。イメージセンサ２２は、レンズ２１によって結像された像を光電変換（スキャン）し、画像データを生成する。言い換えると、イメージセンサ２２は、紙書籍の紙面の一部を撮像し、その紙面の一部を画像として示す画像データを生成する。この画像は、ほとんどの場合において、紙書籍に記載された文章中の一部の文字（例えば、１文字もしくは１文字の一部）を示す画像となる。
【００２３】
イメージセンサ２２は、所定時間間隔毎にスキャンをし、スキャンした内容の画像を示す画像データを生成する装置である。単位時間当たりのスキャン回数（フレームレート）は、例えば、数十ｆｐｓ（Frame Per Second）である。
【００２４】
ここで、イメージセンサ２２として、高画質なイメージセンサ（例えばスマートフォンと同程度の数百万ｐｉｘｅｌ）を使用するのではなく、低画質のイメージセンサを用いる。イメージセンサ２２は、例えば、光学マウス用のイメージセンサ（例えば５００ｐｉｘｅｌ程度）である。これによれば、画像処理部の処理負担も軽減されるとともに、ペン型スキャナ２の小型化（例えば従来の１／２以下）及び低価格化（例えば従来の１／１０以下）を実現することができる。
【００２５】
ＭＣＵ２３は、ペン型スキャナ２を制御する装置である。例えば、ＭＣＵ２３は、イメージセンサ２２が生成した画像データを取得し、メモリ２４に格納する。メモリ２４は、各種データが格納される記憶回路である。
【００２６】
送受信機２５は、ユーザー端末３との間で、無線によって各種データを送受信する回路である。例えば、送受信機２５は、メモリ２４に格納された画像データを、電気信号から無線信号に変換し、ユーザー端末３に送信する。
【００２７】
バッテリー２６は、ペン型スキャナ２の各部２０〜２５に電力を供給する。すなわち、ペン型スキャナ２の各部２０〜２５は、バッテリー２６から供給される電力に基づいて動作する。
【００２８】
スイッチ２７は、ユーザーによって紙書籍の紙面をスキャンしている否かが入力される入力装置である。ユーザーは、紙書籍の紙面をスキャンする場合、スイッチ２７を押下してスキャン操作を行う。一方、ユーザーは、紙書籍の紙面をスキャンしない場合、スイッチ２７を押下しない。
【００２９】
より具体的には、スイッチ２７は、押されている場合、押されていることを示す信号をＭＣＵ２３に出力する。一方、スイッチ２７は、押されていない場合、押されていないことを示す信号をＭＣＵ２３に出力する。ＭＣＵ２３は、スイッチ２７から出力された信号に基づいて、スイッチ２７が押されている場合には、イメージセンサ２２が生成した画像データをメモリ２４に格納する。一方、ＭＣＵ２３は、スイッチ２７から出力された信号に基づいて、スイッチ２７が押されていない場合には、イメージセンサ２２が生成した画像データをメモリ２４に格納しない。
【００３０】
よって、ユーザーは、紙書籍に記載された文章中で所望の文字列（例えば一文）をスキャンする場合には、スイッチ２７を押しながらそのスキャン対象の文字列をペン型スキャナ２の画像スキャン部でなぞる。これにより、スイッチ２７を押して一文をなぞっている間にイメージセンサ２２によって随時生成される複数の画像データがメモリ２４に格納されていく。よって、このように一文をなぞっている間に生成された複数の画像データが示す複数の画像の重複部分（内容が一致する部分）を重ね合わせるように、当該複数の画像データを結合することで、ペン型スキャナ２でなぞった文字列が電子画像化された画像データが生成される。以下、この画像データを「スキャン結果画像データ」とも呼び、その画像データが示す画像（ペン型スキャナ２でなぞった文字列を示す画像）を「スキャン結果画像」とも呼ぶ。
【００３１】
続いて、図３を参照して、実施の形態１に係るユーザー端末３及びサーバー４の構成について説明する。図３に示すように、ユーザー端末３は、送受信手段３１と、制御手段３２と、電子書籍ダウンロード手段３３と、パターンマッチング手段３４と、表示手段３５とを有する。
【００３２】
送受信手段３１は、ペン型スキャナ２との間で、無線通信によって各種データを送受信する。例えば、送受信手段３１は、ペン型スキャナ２から送信された画像データを受信する。送受信手段３１は、受信した画像データを、無線信号から電気信号に変換し、制御手段３２に出力する。
【００３３】
また、送受信手段３１は、サーバー４との間で、有線通信又は無線通信によって各種データを送受信する。例えば、送受信手段３１は、サーバー４から送信された電子書籍を受信する。この際に、送受信手段３１は、有線及び無線のうち、採用した通信規格に応じて電子書籍の信号変換を行えばよい。よって、送受信手段３１は、信号変換を行う回路を含む。
【００３４】
制御手段３２は、ユーザー端末３を制御する。制御手段３２は、ペン型スキャナ２及びサーバー４からのデータの受信に応じて、電子書籍ダウンロード手段３３及びパターンマッチング手段３４を動作させる。
【００３５】
電子書籍ダウンロード手段３３は、サーバー４から複数の電子書籍をダウンロードする。より具体的には、制御手段３２は、送受信手段３１がペン型スキャナ２からの画像データを受信した場合、電子書籍ダウンロード手段３３を動作させる。電子書籍ダウンロード手段３３は、送受信手段３１を介して、電子書籍の送信を要求する要求データをサーバー４に送信する。
【００３６】
パターンマッチング手段３４は、ペン型スキャナ２から受信した複数の画像データを結合したスキャン結果画像データと、電子書籍ダウンロード手段３３による要求データに応じてサーバー４からダウンロードされた複数の電子書籍のそれぞれとを比較する。より具体的には、制御手段３２は、送受信手段３１がサーバー４からの複数の電子書籍を受信した場合、パターンマッチング手段３４を動作させる。パターンマッチング手段３４は、ペン型スキャナ２から受信した複数の画像データが示す複数の画像の重複部分を重ね合わせるように、当該複数の画像データを結合することで、ユーザーがペン型スキャナ２によってスキャンした紙書籍に記載された文章中の文字列を画像として示すスキャン結果画像データを得る。パターンマッチング手段３４は、スキャン結果画像データと、サーバー４から受信した複数の電子書籍とを比較する。パターンマッチング手段３４は、この比較で、複数の電子書籍から、スキャン結果画像データと一致する範囲を特定する。言い換えると、複数の電子書籍が示す画像から、スキャン結果画像と一致する範囲を特定する。パターンマッチング手段３４は、特定した範囲を当該電子書籍から切り出す。
【００３７】
これにより、当該電子書籍から切り出された範囲となる部分画像データが生成される。すなわち、この部分画像データは、当該電子書籍において、ユーザーがペン型スキャナ２でスキャンした文字列と同じ文字列を示す範囲のデータとなる。制御手段３２は、部分画像データを記憶手段（図示せず）に格納する。記憶手段は、例えば、ユーザー端末３が有する揮発性メモリ、ハードディスク、又は、フラッシュメモリ等の記憶装置のうち、少なくとも１つを含む。
【００３８】
表示手段３５は、ユーザー端末３に接続された又はユーザー端末３が有する表示装置に、任意の画像を表示する。表示装置は、例えば、液晶ディスプレイ、有機ＥＬディスプレイ又はプラズマディスプレイ等である。表示手段３５は、パターンマッチング手段３４が生成した部分画像データが示す画像を表示装置に表示する。すなわち、この画像は、複数の電子書籍が示す画像のうち、ユーザーがペン型スキャナ２でスキャンした文字列と同じ文字列を含む範囲の画像となる。また、制御手段３２は、パターンマッチング手段３４が生成した画像データを、ユーザー端末３が有する記憶手段に格納する。
【００３９】
ここで、例えば、ユーザー端末３が有するＣＰＵ（Central Processing Unit）が、ユーザー端末３が有する記憶手段に格納されたプログラムを実行することで、そのＣＰＵが、送受信手段３１、制御手段３２、電子書籍ダウンロード手段３３、パターンマッチング手段３４及び表示手段３５として動作する。すなわち、このプログラムは、送受信手段３１、制御手段３２、電子書籍ダウンロード手段３３、パターンマッチング手段３４及び表示手段３５としての処理をＣＰＵに実行させる複数の命令を含んでいる。
【００４０】
サーバー４は、書籍画像データベース４１と、電子書籍送信手段４２とを有する。
【００４１】
書籍画像データベース４１は、サーバー４が有する記憶手段（図示せず）に格納される。記憶手段は、例えば、メモリ及びハードディスク等の記憶装置のうち、少なくとも１つを含む。書籍画像データベース４１は、サービス対象の複数の紙書籍に対応する複数の電子書籍を含む。電子書籍の保存形式として、任意の保存形式を採用してよい。例えば、データ互換性などを考えて、例えば、ＥＰＵＢ（Electronic PUBlication）形式を採用してもよい。
【００４２】
書籍画像データベース４１を準備する方法については、任意の方法を利用してよい。例えば、スキャンシステム１を提供する会社が、大手出版社との協業によりその大手出版社が出版する紙書籍が電子画像化された電子書籍をサーバー４にアップロードしてもよく、各サービス利用者が紙書籍を電子画像化する作業を行って得られた電子書籍をサーバー４にアップロードしてもよい。
【００４３】
電子書籍送信手段４２は、電子書籍の送信を要求する要求データを、ユーザー端末３から受信すると、書籍画像データベース４１の複数の電子書籍をユーザー端末３に送信する。
【００４４】
ここで、例えば、サーバー４が有するＣＰＵが、ユーザー端末３が有する記憶手段に格納されたプログラムを実行することで、そのＣＰＵが電子書籍送信手段４２として動作する。すなわち、このプログラムは、電子書籍送信手段４２としての処理をＣＰＵに実行させる複数の命令を含んでいる。なお、電子書籍を送信する際に、サーバー４が通信規格に応じて信号変換を行うことは自明であるため、詳細な説明は省略する。
【００４５】
ここで、書籍画像データベース４１の複数の電子書籍に含まれる複数の書籍画像データのそれぞれは、ペン型スキャナ２が生成する画像データが示す低画質な画像と比較して、高画質である。よって、ペン型スキャナ２のイメージセンサ２２として低画質な画像が得られる小型及び低価格のイメージセンサを利用したとしても、ユーザーがスキャン操作により、電子書籍から切り出された高画質な画像データを、最終的なスキャン結果画像データとして取得することができる。
【００４６】
続いて、図４を参照して、実施の形態１に係るスキャンシステム１の動作について説明する。
【００４７】
ユーザーは、紙書籍に記載された文章の中から任意の文字列（例えば一文）を、ペン型スキャナ２を用いてスキャンする（Ｓ１）。すなわち、ペン型スキャナ２のＭＣＵ２３は、ユーザーがスイッチ２７を押してスキャン操作を行うことにより、イメージセンサ２２によって生成される複数の画像データをメモリ２４に格納する。
【００４８】
文字列のスキャンが終了した場合、ペン型スキャナ２の送受信機２５は、メモリ２４に格納された複数の画像データを、スキャン画像データとしてユーザー端末３に送信する（Ｓ２）。この画像データは、上述したように、サーバー４が保持する電子書籍と比較して低画質である。
【００４９】
ユーザー端末３の電子書籍ダウンロード手段３３は、ペン型スキャナ２からのスキャン画像データの受信に応じて、サーバー４から高画質である複数の電子書籍をダウンロードする（Ｓ３）。
【００５０】
ユーザー端末３のパターンマッチング手段３４は、スキャン画像データとして受信した複数の画像データを結合したスキャン結果画像データと、サーバー４からダウンロードした複数の電子書籍とのパターンマッチング処理を行う（Ｓ４）。パターンマッチング処理として、任意の方法を採用してよい。例えば、インテル社が開発・公開しているオープンソースの画像処理・画像解析ライブラリＯｐｅｎＣＶ（登録商標）を利用する方法を採用してもよい。この方法では、画像のパターンマッチングを行うためのサンプルコードも一般公開されている。
【００５１】
ここで、ステップＳ１〜Ｓ４までの処理の概念図を図５に示す。例えば、図５に示すように、ペン型スキャナ２によって、紙書籍から「薔薇が好き」という文字列がスキャンされたものとする。この場合、ペン型スキャナ２が生成した複数の画像データを結合したスキャン結果画像データとして、「薔薇が好き」という文字列を低画質な画像として示す画像データが得られる。一方で、書籍画像データベース４１のうち、その紙書籍が電子画像化された電子書籍が示す画像に含まれる文章に「駅前の花屋を見つけたときに、彼女は薔薇が好きだったことを思い出して」という文字列が含まれているものとする。この場合、パターンマッチング処理によって、スキャン画像に基づく「薔薇が好き」という文字列を示す低画質な画像と一致する画像として、高画質な電子書籍が示す画像から「薔薇が好き」という文字列を示す範囲の画像が抽出される。パターンマッチング手段３４は、抽出した画像を示す部分画像データを生成する。
【００５２】
ユーザー端末３の表示手段３５は、パターンマッチング処理によって生成された部分画像データが示す画像を表示装置に表示する（Ｓ５）。また、制御手段３２は、パターンマッチング処理によって生成された部分画像データを記憶手段に保存する。なお、この表示及び保存は、いずれか一方のみを実施するようにしてもよい。
【００５３】
また、表示手段３５は、パターンマッチング処理によって生成された部分画像データが複数ある場合（すなわち、候補が複数ある場合）には、それらの部分画像データが示す画像を表示し、ユーザーに保存する部分画像データを選択させるようにしてもよい。この場合、制御手段３２は、ユーザーがユーザー端末３の入力装置を介して選択した部分画像データを記憶手段に保存する。入力装置は、例えば、マウス、キーボート又はタッチパネル等である。
【００５４】
続いて、図６を参照して、ステップＳ１の詳細な動作について説明する。
【００５５】
ペン型スキャナ２のＭＣＵ２３は、スイッチ２７から出力される信号に基づいて、ユーザーがスイッチ２７を押しているか否かを判定する（Ｓ１１）。ユーザーがスイッチ２７を押していると判定した場合（Ｓ１１：Ｙｅｓ）、ＭＣＵ２３は、紙書籍に記載された文章の一部をスキャンして得られた画像データをメモリ２４に格納する（Ｓ１２、Ｓ１３）。
【００５６】
ＭＣＵ２３は、スイッチ２７から出力される信号に基づいて、ユーザーがスイッチ２７を押しているか否かを判定する（Ｓ１４）。ユーザーがスイッチ２７を押していると判定した場合（Ｓ１４：Ｎｏ）、ＭＣＵ２３は、引き続き、紙書籍に記載された文章の一部をスキャンして得られた画像データをメモリ２４に格納する（Ｓ１２、Ｓ１３）。すなわち、ユーザーによってスイッチ２７が押されている間、ＭＣＵ２３は、随時、イメージセンサ２２が生成する画像データをメモリ２４に格納する。これにより、スイッチ２７が押されている間に得られる複数の画像データがメモリ２４に格納される。
【００５７】
ユーザーがスキャン操作を行った後にスイッチ２７を押していないと判定した場合（Ｓ１４：Ｙｅｓ）、ＭＣＵ２３は、文章のスキャンが終了したか否かを判定する（Ｓ１５）。この判定条件として、例えば、以下の（１）、（２）のいずれかを採用する。
【００５８】
（１）ユーザーがスイッチ２７を押しているか否かで、文章のスキャンが終了したか否かを判定する
（２）ペン型スキャナ２にさらに送信スイッチ（図示せず）を設け、送信スイッチが押されたか否かで文章のスキャンが終了したか否かを判定する
【００５９】
すなわち、（１）の判定条件の場合は、ユーザーがスイッチ２７を押していないと判定した場合（Ｓ１４：Ｙｅｓ）、ＭＣＵ２３は、文章のスキャンが終了したと判定する（Ｓ１５：Ｙｅｓ）。一方、（２）の判定条件の場合は、ユーザーがスイッチ２７を押していないと判定した後（Ｓ１４：Ｙｅｓ）、送信スイッチが押された場合に、文章のスキャンが終了したと判定する（Ｓ１５：Ｙｅｓ）。
【００６０】
文章のスキャンが終了したと判定した場合（Ｓ１５：Ｙｅｓ）、ＭＣＵ２３は、メモリ２４に格納された画像データの送信を、送受信機２５に指示する。送受信機２５は、ＭＣＵ２３からの指示に応じて、メモリ２４に格納された複数の画像データをユーザー端末３に送信する。
【００６１】
続いて、図７を参照して、文字のスキャンの一例について説明する。図７は、アルファベット「Ａ」の文字を左側から右方向にスキャンした場合の例を示している。
【００６２】
より具体的には、上述した画像データは、フレーム画像データ、スキャン時間データ、及び、位置座標データが含まれる。フレーム画像データは、イメージセンサ２２がスキャンした内容を画像として示す画像データである。フレーム画像データのフォーマットは、例えば、図７に示すようにｊｐｇであるが、他のフォーマットを利用してもよい。
【００６３】
スキャン時間データは、イメージセンサ２２がスキャンによりフレーム画像データを生成した時間であるスキャン時間を示す。例えば、ペン型スキャナ２が計時する現在時間は、ユーザー端末３から無線通信によって、ペン型スキャナ２のＭＣＵ２３に設定（例えば、正確な現在時間からのズレを修正）することができる。すなわち、ＭＣＵ２３は、時間を計時するタイマ（図示せず）を有しており、そのタイマから現在時間を取得可能である。ＭＣＵ２３は、イメージセンサ２２から画像データを取得した現在時間を、スキャン時間として示すスキャン時間データを生成する。なお、スキャン時間データは、画像データのタグ付けを目的に記録されるデータである。
【００６４】
位置座標データは、イメージセンサ２２がフレーム画像データの生成においてスキャンした紙書籍の紙面における位置座標を示すデータである。通常のマウス用のイメージセンサは、スキャンによって生成した時間的に隣接する画像における特徴点の変化方向を算出し、スキャンをしている位置座標の変化量を算出するＤＳＰ（Digital Signal Processor）が内蔵されている。上述したように、本実施の形態１のイメージセンサ２２は、このマウス用のイメージセンサを流用している。そのため、ＭＣＵ２３は、イメージセンサ２２からフレーム画像データを取得したときに、イメージセンサ２２からＤＳＰが生成した位置座標の変化量のデータも同時に取得することができる。よって、ＭＣＵ２３は、このデータが示す位置座標の変化量に基づいて、スイッチ２７が押されて文字列のスキャンを開始した位置座標を基準とし、スキャン位置（フレーム画像データの生成においてスキャンした位置座標）を算出し、算出した位置座標を示す位置座標データを生成することができる。位置情報は、取得した複数の画像データをつなぎ合わせる際における参考情報の一つとして利用される。
【００６５】
ＭＣＵ２３は、フレーム画像データ、スキャン時間データ及び位置座標データを含むデータを、画像データとしてユーザー端末３に送信する。
【００６６】
以上に説明したように、本実施の形態１は、図２７に概要として示すように、ペン型スキャナ９１（ペン型スキャナ２に対応）と、記憶部９２（書籍画像データベース４１に対応）と、マッチング部９３（パターンマッチング手段３４に対応）とを有する。
【００６７】
ペン型スキャナ９１は、紙書籍に記載された文章の一部の文字列をスキャンし、スキャンした文字列に基づいて文章画像データを生成して送信する。記憶部９２は、文章画像データよりも高画質で、紙書籍に記載された文章が電子画像化された書籍画像データが格納される。マッチング部９３は、記憶部９２に格納された書籍画像データと、ペン型スキャナ２が送信した文章画像データとを比較し、書籍画像データから、文章画像データと一致すると判定した部分画像データを抽出する。
【００６８】
これによれば、低価格であるが低画質なイメージセンサ２２を実装したペン型スキャナ２を用いた場合であっても、最終的なスキャン結果として、高画質な画像を得ることができる。すなわち、本実施の形態１によれば、コストを抑制しつつ、高画質なスキャン結果を得ることができる。
【００６９】
ユーザーが高画質な画像を受取る目的については、本実施の形態１では特に制限しないが、例えば、スキャン対象が文章であれば、ＯＣＲによるテキスト化などを行うことができる。
【００７０】
＜実施の形態２＞
続いて、実施の形態２について説明する。以下の実施の形態２の説明では、上述した実施の形態１と同様の内容については、同一の符号を付す等して、適宜、その説明を省略する。実施の形態２に係るスキャンシステム１の構成、ペン型スキャナ２の構成については、実施の形態１と同様であるため、その説明を省略する。
【００７１】
続いて、図８を参照して、実施の形態２に係るユーザー端末３及びサーバー４の構成について説明する。図８に示すように、本実施の形態２に係るサーバー４は、実施の形態１に係るサーバー４と比較して、さらに、書籍テキストデータベース４３を有する。
【００７２】
書籍テキストデータベース４３は、サーバー４が有する記憶手段に格納される。書籍テキストデータベース４３は、サービス対象の複数の紙書籍に対応する複数の電子書籍を含む。この複数の電子書籍は、書籍画像データベース４１に格納される複数の電子書籍と異なり、複数の紙書籍が電子テキスト化された複数の電子書籍である。これらの電子書籍は、紙書籍の全ページのそれぞれの文章をテキストで示す複数の書籍テキストデータが含まれる。すなわち、書籍画像データベース４１に格納される複数の電子書籍のそれぞれと、書籍テキストデータベース４３に格納される複数の電子書籍のそれぞれは、同一の複数の紙書籍に対応する。以下、紙書籍が電子画像化された電子書籍を「画像型電子書籍」とも呼び、紙書籍が電子テキスト化された電子書籍を「テキスト型電子書籍」とも呼ぶ。
【００７３】
実施の形態２に係る電子書籍送信手段４２は、実施の形態１に係る電子書籍送信手段４２と比較して、書籍画像データベース４１に格納された複数の画像型電子書籍を送信する場合に、書籍テキストデータベース４３に格納された複数のテキスト型電子書籍も取得し、ユーザー端末３に送信する点が異なる。
【００７４】
実施の形態２に係るパターンマッチング手段３４は、実施の形態１に係るパターンマッチング手段３４と比較して、パターンマッチング処理によって画像型電子書籍において特定した範囲の切り出しに加えて、その画像型電子書籍に対応するテキスト型電子書籍において、その画像型電子書籍において特定した範囲に対応する範囲の切り出しも行う。これにより、書籍テキストデータから切り出された範囲となる部分テキストデータが生成される。よって、この部分テキストデータが示す文字列は、画像型電子書籍から切り出された部分画像データが画像として示す文字列と同じとなる。
【００７５】
ここで、画像型電子書籍とテキスト型電子書籍との間で、相互に対応する位置を特定する方法として、任意の方法を採用するようにしてよい。例えば、サーバー４の記憶手段に、画像型電子書籍が示す文章の各文字の位置と、テキスト型電子書籍が示す文章の各文字の位置とを対応付けたデータを予め格納しておくようにする。サーバー４の電子書籍送信手段４２は、画像型電子書籍とテキスト型電子書籍を送信するときに、そのデータもユーザー端末３に送信するようにする。そして、ユーザー端末３のパターンマッチング手段３４は、サーバー４から送信されたそのデータに基づいて、画像型電子書籍において特定した範囲に対応する範囲をテキスト型電子書籍から特定すればよい。
【００７６】
実施の形態２に係る表示手段３５は、実施の形態１に係る表示手段３５と比較して、パターンマッチング手段３４が生成した部分画像データが示す画像に加えて、パターンマッチング手段３４が生成した部分テキストデータが示すテキストの画像も表示装置に表示する点が異なる。
【００７７】
実施の形態２に係る制御手段３２は、実施の形態１に係る制御手段３２と比較して、パターンマッチング手段３４が生成した部分画像データが示す画像に加えて、パターンマッチング手段３４が生成した部分テキストデータも記憶装置に格納する点が異なる。
【００７８】
続いて、図９を参照して、実施の形態２に係るスキャンシステム１の動作について説明する。なお、ステップＳ１、Ｓ２は、図４を参照して説明した実施の形態１に係るスキャンシステム１の動作におけるステップＳ１、Ｓ２と同様であるため、その説明を省略する。
【００７９】
ユーザー端末３の電子書籍ダウンロード手段３３は、ペン型スキャナ２からのスキャン結果の受信に応じて、サーバー４から高画質である複数の画像型電子書籍及び複数のテキスト型テキストデータをダウンロードする（Ｓ６）。
【００８０】
ユーザー端末３のパターンマッチング手段３４は、スキャン画像として受信した複数の画像データを結合したスキャン結果画像データと、サーバー４からダウンロードした複数の画像の画像型電子書籍とのパターンマッチング処理を行う（Ｓ７）。すなわち、パターンマッチング手段３４は、パターンマッチング処理によって、高画質な画像型電子書籍から、スキャン結果画像データと一致する範囲を抽出し、抽出した範囲のデータとして、部分画像データを生成する。また、パターンマッチング手段３４は、テキスト型電子書籍から、その画像型電子書籍から抽出した範囲に対応する範囲を抽出し、抽出した範囲のデータとして、部分テキストデータを生成する。
【００８１】
ユーザー端末３の表示手段３５は、パターンマッチング処理によって、画像型電子書籍から得られた部分画像データが示す画像と、テキスト型電子書籍から得られた部分テキストデータが示すテキストとを表示装置に表示する（Ｓ８）。また、制御手段３２は、パターンマッチング処理によって画像型電子書籍及びテキスト型電子書籍から抽出された部分画像データ及び部分テキストデータを記憶手段に保存する。
【００８２】
以上に説明したように、本実施の形態２では、書籍テキストデータベース４３に対応は、紙書籍に記載された文章が電子テキスト化された書籍テキストデータが格納される。パターンマッチング手段３４は、書籍テキストデータにおいて、書籍画像データにおける文章画像データ（スキャン結果画像データに対応）と一致すると判定した部分画像データに対応する部分テキストデータを抽出する。
【００８３】
これによれば、スキャン結果からテキストを抽出する際に、ＯＣＲを実施する必要が無くなるという利点がある。ＯＣＲによる文字認識の精度は高いが１００％でなく、誤認識をする可能性もある。それに対して、本実施の形態２では、書籍テキストデータベース４３内の書籍テキストデータを選択して、スキャン結果の文字列のテキストを取得するようにしている。このように、ＯＣＲを実施しないため、ＯＣＲによる誤認識の問題を回避することができる。
【００８４】
＜実施の形態３＞
続いて、実施の形態３について説明する。以下の実施の形態３の説明では、上述した実施の形態１と同様の内容については、同一の符号を付す等して、適宜、その説明を省略する。
【００８５】
ここで、実施の形態３について説明する前に、イメージセンサの分解能と、ＯＣＲ処理能力の関係について説明する。図１０は、イメージセンサの分解能（ｐｉｘｅｌ数）と、ＯＣＲ処理の可否の目安を示している。図１０に示すように、本願の各実施の形態で利用するマウス用のイメージセンサ２２は、３００〜９００ｐｉｘｅｌの分解能を有する。図１０は、ｐｉｘｅｌ数が２５６の場合と１０２４の場合のそれぞれにおける、数字の「３９」のスキャン結果を示している。図１０に示すように、ｐｉｘｅｌ数を２５６まで下げても、まだスキャン結果を数字の「３９」として認識できることが分かる。すなわち、本願の各実施の形態で利用するマウス用のイメージセンサ２２の分解能（３００〜９００ｐｉｘｅｌ数）であっても、英数字及び平仮名のように簡易な文字であれば、十分にＯＣＲによる文字認識が可能であることが分かる。
【００８６】
続いて、図１１を参照して、パターンマッチング処理の手間と非効率性について説明する。例えば、図１１に示すように、紙の書籍から「薔薇が好き」という文字列のスキャンを行ったとする。安価なイメージセンサ２２でのスキャンのため、複雑な漢字の「薔薇」は文字が読み取れず、パターンマッチングの処理でも「薔薇」という文字の識別精度は非常に低くなる。これに対して、起こりうる手間や非効率性の例を、図１１において（１）〜（３）として示している。
【００８７】
すなわち、スキャンで得たスキャン結果画像データと、書籍画像データベース４１内の全ての電子書籍の書籍画像データとをパターンマッチングしてしまうと、パターンマッチングの処理時間が長くなってしまい非効率である。また、マッチング候補が複数検出されてしまうといったように精度が落ちてしまう可能性がある。よって、これを回避するためにスキャンする文字列を長くしなければならない、又は、複数のマッチング候補からスキャン結果として適切なものを選択しなければならないといった手間も発生する。
【００８８】
これらの手間や非効率性の改善策として、パターンマッチングを行う際にスキャン結果画像と比較するデータのデータ量を減らすことが有効である。そこで、以降の実施の形態３、４では、パターンマッチング処理の手間と非効率性を改善する方法について説明する。まず、本実施の形態３では、パターンマッチングを行う際にスキャン結果画像と比較するデータのデータ量を減らす方法として、スキャンを行った紙書籍及びその文章の属性情報を利用して、データの絞り込みを行う。
【００８９】
以下、パターンマッチングで比較するデータの絞り込みを行う文章の属性情報として、ＩＳＢＮ番号及びページ番号を利用する例について説明する。すなわち、図１０を参照して説明したように、マウス用のイメージセンサ２２（分解能が３００〜９００ｐｉｘｅｌ数）であっても、英数字及び平仮名のように簡易な文字であれば、十分にＯＣＲによる文字認識が可能であるということを利用し、英数字で記述されるＩＳＢＮ番号及びページ数を利用してデータの絞り込みを行う。
【００９０】
したがって、図１０に示すように、属性情報をＯＣＲする実施の形態３、４では、イメージセンサ２２の分解能は、上述の３００〜９００ｐｉｘｅｌの範囲内のみに限らず、例えば２５６〜１０２４ｐｉｘｅｌの範囲内であってもよい。実施の形態１、２では、属性情報をＯＣＲする必要がないため、イメージセンサ２２の分解能は、２５６ｐｉｘｅｌ以下であってもよい。
【００９１】
実施の形態３に係るスキャンシステム１の構成については、実施の形態１と同様であるため、その説明を省略する。続いて、図１２を参照して、実施の形態３に係るペン型スキャナ２の構成について説明する。図１２に示すように、実施の形態３に係るペン型スキャナ２は、実施の形態１に係るペン型スキャナ２と比較して、さらに、スイッチ２８を有する。
【００９２】
スイッチ２８は、ユーザーによって、紙書籍のＩＳＢＮ番号、及び、その紙書籍においてスキャン対象のページのページ数をスキャンしているか否かが入力される入力装置である。ユーザーは、ＩＳＢＮ番号及びページ数をスキャンしている場合、スイッチ２８を押下する。一方、ユーザーは、ＩＳＢＮ番号及びページ数をスキャンしていない場合、スイッチ２８を押下しない。
【００９３】
より具体的には、スイッチ２８は、押されている場合、押されていることを示す信号をＭＣＵ２３に出力する。一方、スイッチ２８は、押されていない場合、押されていないことを示す信号をＭＣＵ２３に出力する。ＭＣＵ２３は、スイッチ２８から出力された信号に基づいて、スイッチ２８が押されている場合には、イメージセンサ２２が生成した画像データをメモリ２４に格納する。一方、ＭＣＵ２３は、スイッチ２８から出力された信号に基づいて、スイッチ２８が押されていない場合には、イメージセンサ２２が生成した画像データをメモリ２４に格納しない。
【００９４】
よって、スイッチ２８が押されている間のスキャンによって生成されてメモリ２４に格納される画像データは、後述するように、ＯＣＲ処理によってＩＳＢＮ番号及びページ数を取得するための画像データとして利用される。以下、この画像データを「ＯＣＲ画像データ」とも呼ぶ。
【００９５】
一方で、これまでに説明したように、スイッチ２７が押されている間のスキャンによって生成されてメモリ２４に格納される画像データは、紙書籍の文章中の任意の文字をスキャンした画像データとして利用される。以下、この画像データを「文字画像データ」とも呼ぶ。
【００９６】
よって、本実施の形態３に係るペン型スキャナ２の送受信機２５は、本実施の形態３に係る送受信機２５と比較し、メモリ２４に格納された複数の文字画像データに加えて、さらに、メモリ２４に格納された複数のＯＣＲ画像データもユーザー端末３に送信する。
【００９７】
続いて、図１３を参照して、実施の形態３に係るユーザー端末３及びサーバー４の構成について説明する。図１３に示すように、実施の形態３に係るユーザー端末３は、実施の形態１に係るユーザー端末３と比較して、さらに、光学文字認識（ＯＣＲ）手段３６を有する。
【００９８】
光学文字認識手段３６は、ペン型スキャナ２から送受信手段３１を介して受信した複数のＯＣＲ画像データのうち、ＩＳＢＮ番号をスキャンした際に生成された複数のＯＣＲ画像データが示す複数の画像の重複部分を重ね合わせるように、当該複数の画像データを結合することで、ユーザーがペン型スキャナ２によってスキャンした紙書籍のＩＳＢＮ番号の文字列を画像として示す画像データを得る。光学文字認識手段３６は、得られた画像データにＯＣＲを施して、ＩＳＢＮ番号のテキストを取得する。
【００９９】
また、光学文字認識手段３６は、ペン型スキャナ２から送受信手段３１を介して受信した複数のＯＣＲ画像データのうち、ページ数をスキャンした際に生成された複数のＯＣＲ画像データが示す複数の画像の重複部分を重ね合わせるように、当該複数の画像データを結合することで、ユーザーがペン型スキャナ２によってスキャンしたページ数の文字列を画像として示す画像データを得る。光学文字認識手段３６は、得られた画像データにＯＣＲを施して、ページ数のテキストを取得する。
【０１００】
ここで、ＩＳＢＮ番号とページ数は異なるタイミングでスキャンされるため、光学文字認識手段３６は、ＯＣＲ画像データに含まれるスキャン時間データが示すスキャン時間に基づいて、それぞれに対応する２つのＯＣＲ画像データ群を判定すればよい。例えば、２つのＯＣＲ画像データのそれぞれのスキャン時間が所定時間未満である場合、その２つのＯＣＲ画像データは、同一のＯＣＲ画像データ群に含まれ、２つのＯＣＲ画像データのそれぞれのスキャン時間が所定時間以上である場合、その２つのＯＣＲ画像データのそれぞれは、異なるＯＣＲ画像データ群に含まれると判定すればよい。これによれば、２つのＯＣＲ画像データ群のそれぞれにおいて、複数のＯＣＲ画像データを結合することで、ＩＳＢＮ番号及びページ数のそれぞれを示す２つの画像データが得られる。しかしながら、この段階では、どちらの画像データがＩＳＢＮ番号を示すかページ数を示すかまでは分からない。
【０１０１】
そこで、光学文字認識手段３６は、ＯＣＲの結果、テキストとして得られた文字列に「ＩＳＢＮ」という文字列が含まれている場合、そのＯＣＲの結果に得られた文字列がＩＳＢＮ番号であると判定する。一方、光学文字認識手段３６は、ＯＣＲ処理の結果、テキストとして得られた文字列に「ＩＳＢＮ」という文字列が含まれていない場合、そのＯＣＲ処理の結果に得られた文字列がページ数であると判定する。
【０１０２】
そして、実施の形態３に係る電子書籍ダウンロード手段３３は、電子書籍の送信を要求する要求データとして、光学文字認識手段３６が取得したＩＳＢＮ番号とページ数を示すデータを、サーバー４に送信する。
【０１０３】
実施の形態３に係るサーバー４の電子書籍送信手段４２は、ユーザー端末３から受信した要求データが示すＩＳＢＮとページ数とに基づいて、ユーザー端末３に送信するデータの絞り込みを行う。
【０１０４】
ここで、図１４を参照して、電子書籍送信手段４２によって行われるデータの絞り込みについて説明する。
【０１０５】
電子書籍送信手段４２は、まず、最初に、書籍画像データベース４１に含まれる複数の電子書籍から、要求データが示すＩＳＢＮ番号の電子書籍を選択する（図１４の選択（１））。これは、例えば、サーバー４の記憶手段に、電子書籍と、その電子書籍のＩＳＢＮ番号とを対応付けた情報を予め格納しておき、その情報に基づいて、電子書籍送信手段４２が、要求データが示すＩＳＢＮ番号に対応する電子書籍を特定すればよい。
【０１０６】
次に、電子書籍送信手段４２は、選択した電子書籍から、要求データが示すページ数のページの書籍画像データを選択する（図１４の選択（２））。これは、例えば、サーバー４の記憶手段に、ページ数と、そのページ数のページの書籍画像データとを対応付けた情報を予め格納しておき、その情報に基づいて、電子書籍送信手段４２が、要求データが示すページ数に対応する書籍画像データを特定すればよい。
【０１０７】
これにより、ユーザーがペン型スキャナ２によってスキャンしたＩＳＢＮ番号に対応する電子書籍のうち、ユーザーがペン型スキャナ２によってスキャンしたページ数のページの書籍画像データのみが選択される。そして、電子書籍送信手段４２は、電子書籍として、選択された書籍画像データをユーザー端末３に送信する。
【０１０８】
これによれば、ユーザー端末３のパターンマッチング手段３４は、サーバー４に保持される全ての電子書籍の全てのページの書籍画像データと、スキャン結果画像データとを比較しなくて済む。すなわち、パターンマッチング手段３４は、サーバー４から送信された１ページ分の書籍画像データと、スキャン結果画像データとを比較するだけで済む。よって、パターンマッチングを行う際に比較するデータのデータ量を減らすことができる。そのため、パターンマッチングの処理時間は短縮されると共に、処理結果の精度向上が期待される。
【０１０９】
続いて、図１５を参照して、本実施の形態３に係るスキャンシステム１の動作について説明する。
【０１１０】
ユーザーは、紙書籍からＩＳＢＮ番号の文字列を、ペン型スキャナ２を用いてスキャンする。すなわち、ペン型スキャナ２のＭＣＵ２３は、スイッチ２８が押されている間にイメージセンサ２２によって生成される複数のＯＣＲ画像データをメモリ２４に格納する（Ｓ２１：取得、Ｓ２２）。この複数のＯＣＲ画像データを結合した画像データが示す文字列は、ＩＳＢＮ番号となる。
【０１１１】
ユーザーは、紙書籍の文章の中から任意の文字列（例えば一文）をスキャンすると決めたページに記載されたページ数を、ペン型スキャナ２を用いてスキャンする。すなわち、ペン型スキャナ２のＭＣＵ２３は、スイッチ２８が押されている間にイメージセンサ２２によって生成される複数のＯＣＲ画像データをメモリ２４に格納する（Ｓ２４：取得、Ｓ２５）。この複数のＯＣＲ画像データを結合した画像データが示す文字列は、ユーザーがスキャンする文字列が含まれる文章が記載されたページのページ数となる。
【０１１２】
一方、スイッチ２８を利用したＩＳＢＮ番号のスキャンが行われなかった場合（Ｓ２１：未取得）、前回に取得したＩＳＢＮ番号を利用する（Ｓ２３）。また、スイッチ２８を利用したページ数のスキャンが行われなかった場合（Ｓ２４：未取得）、前回に取得したページ数を利用する（Ｓ２６）。これは、例えば、ユーザー端末３において、ペン型スキャナ２から文字画像データは取得できたが、ＯＣＲ画像データは取得できなかった場合（ペン型スキャナ２によって文章中の文字列のみスキャンされた場合）に、ユーザー端末３の電子書籍ダウンロード手段３３が、前回に光学文字認識手段３６が取得したＩＳＢＮ番号又はページ数を利用するようにすればよい。
【０１１３】
ユーザーは、紙書籍の文章の中から任意の文字列（例えば一文）を、ペン型スキャナ２を用いてスキャンする。より詳細には、ペン型スキャナ２のＭＣＵ２３は、スイッチ２７が押されている間にイメージセンサ２２によって生成される複数の画像データをメモリ２４に格納する（Ｓ２７）。
【０１１４】
ペン型スキャナ２の送受信機２５は、メモリ２４に格納された複数の文字画像データ及び複数のＯＣＲ画像データをユーザー端末３に送信する（Ｓ２８）。
【０１１５】
光学文字認識手段３６は、ペン型スキャナ２から受信した複数のＯＣＲ画像データが示す複数の画像を、重複部分を重ね合わせて結合することで得られた画像にＯＣＲを施して、ＩＳＢＮ番号のテキスト及びページ数のテキストを取得する。そして、電子書籍ダウンロード手段３３は、書籍画像データベース４１の中から比較対象となるデータを絞り込むために、光学文字認識手段３６によって取得したＩＳＢＮ番号及びページ数を示す要求データをサーバー４に送信する（Ｓ２９）。
【０１１６】
サーバー４の電子書籍送信手段４２は、電子書籍として、ユーザー端末３から受信した要求情報が示すＩＳＢＮ番号及びページ数で絞り込んだページの書籍画像データをユーザー端末３に送信する（Ｓ３０）。
【０１１７】
ユーザー端末３のパターンマッチング手段３４は、サーバー４から受信した書籍画像データと、ペン型スキャナ２から受信した複数の文字画像データを結合したスキャン結果画像データとを比較し、書籍画像データから、スキャン結果画像データと一致する部分画像データを特定する（Ｓ３１）。
【０１１８】
光学文字認識手段３６は、書籍画像データから特定した部分画像データに対してＯＣＲを実施し、その画像内の文字列をテキスト化する（Ｓ３２）。
【０１１９】
ここで、図１６に、ステップＳ２１〜Ｓ３１までの処理の概念図を示す。図５に示した実施の形態１に係る処理と異なる点は、ペン型スキャナ２で文章中の文字列をスキャンすることで得られたスキャン結果画像と、比較する画像が１つの書籍の１ページまで絞り込まれている点である。すなわち、書籍画像データベース４１に格納される複数の書籍画像データを、ＩＳＢＮ番号によって１つの書籍を構成する複数の書籍画像データまで絞り込み、さらに、ページ数によってその複数の書籍画像データを１ページの書籍画像データまで絞り込む。
【０１２０】
続いて、図１７を参照して、ステップＳ２１〜Ｓ２５、Ｓ２７の詳細な動作について説明する。ステップＳ２１〜Ｓ２５は、ステップＳ１６〜Ｓ２０に対応し、ステップＳ２７は、ステップＳ１１〜１５に対応する。
【０１２１】
ペン型スキャナ２のＭＣＵ２３は、スイッチ２８から出力される信号に基づいて、ユーザーがスイッチ２８を押しているか否かを判定する（Ｓ１６）。ユーザーがスイッチ２８を押していると判定した場合（Ｓ１８：Ｙｅｓ）、ＭＣＵ２３は、ＩＳＢＮ番号又はページ数の一部をスキャンして得られたＯＣＲ画像データをメモリ２４に格納する（Ｓ１７、Ｓ１８）。
【０１２２】
ＭＣＵ２３は、スイッチ２８から出力される信号に基づいて、ユーザーがスイッチ２８を押しているか否かを判定する（Ｓ１９）。ユーザーがスイッチ２８を押していると判定した場合（Ｓ１９：Ｎｏ）、ＭＣＵ２３は、引き続き、ＩＳＢＮ番号又はページ数の一部をスキャンして得られた画像データをメモリ２４に格納する（Ｓ１７、Ｓ１８）。すなわち、ユーザーによってスイッチ２８が押されている間、ＭＣＵ２３は、随時、イメージセンサ２２が生成するＯＣＲ画像データをメモリ２４に可能する。これにより、スイッチ２８が押されている間に得られる複数のＯＣＲ画像データがメモリ２４に格納される。
【０１２３】
ユーザーがスキャン操作を行った後にスイッチ２８を押していないと判定した場合（Ｓ１９：Ｙｅｓ）、ＭＣＵ２３は、ＩＳＢＮ番号及びページ数のスキャンが終了したか否かを判定する（Ｓ２０）。この判定条件として、例えば、以下の（１）、（２）のいずれかを採用する。
【０１２４】
（１）ユーザーがスイッチ２８を押した後にスイッチ２８を押すのを止めた動作が２回繰り返されたか否かで、文章のスキャンが終了したか否かを判定する
（２）ペン型スキャナ２にさらに終了スイッチ（図示せず）を設け、終了スイッチが押されたか否かでＩＳＢＮ番号及びページ数のスキャンが終了したか否かを判定する
【０１２５】
すなわち、（１）の判定条件の場合は、ユーザーがスイッチ２８を押していないとの判定（Ｓ１９：Ｙｅｓ）が２回目となった場合、ＭＣＵ２３は、ＩＳＢＮ番号及びページ数のスキャンが終了したと判定する（Ｓ２０：Ｙｅｓ）。（１）の判定条件を採用した場合、例えば、ステップＳ１５までの処理の終了後に、ユーザーがスイッチ２８を押すのを止めた回数のカウントを初期化すればよい。一方、（２）の判定条件の場合は、ユーザーがスイッチ２８を押していないと判定した後（Ｓ１９：Ｙｅｓ）、終了スイッチが押された場合に、ＩＳＢＮ番号及びページ数のスキャンが終了したと判定する（Ｓ２０：Ｙｅｓ）。
【０１２６】
なお、本実施の形態３では、属性情報として、ＩＳＢＮ番号とページ数をスキャンし、パターンマッチング処理で比較対象とする書籍画像データを、１ページ辺りのデータ（１つの書籍画像データ）まで絞り込む例について説明したが、これに限られない。例えば、属性情報として、ＩＳＢＮ番号をスキャンし、パターンマッチング処理で比較対象とする書籍画像データとして、スキャンしたＩＳＢＮ番号に対応する電子書籍に含まれる複数の書籍画像データまで絞り込むようにしてもよい。
【０１２７】
以上に説明したように、本実施の形態３では、ペン型スキャナ２は、ユーザーが紙書籍に記載されたＩＳＢＮ番号の文字列をスキャンするときに押すためのスイッチ２８を有し、スイッチ２８が押下されている間にスキャンしたＩＳＢＮ番号の文字列が電子画像化されたＩＳＢＮ番号画像データを生成して送信する。光学文字認識手段３６は、ペン型スキャナ２から送信されたＩＳＢＮ番号画像データに対して、ＯＣＲを実施して、ＩＳＢＮ番号の文字列が電子テキスト化されたテキストデータを生成する。電子書籍送信手段４２は、書籍画像データベース４１に格納された複数の書籍画像データのうち、光学文字認識手段３６が生成したテキストデータが示すＩＳＢＮ番号の紙書籍に対応する書籍画像データを選択する。
【０１２８】
さらに、スイッチ２８は、ユーザーが文章の一部の文字列をスキャンするページに記載されたページ数の文字列をスキャンするときに押すものでもある。ペン型スキャナ２は、スイッチ２８が押下されている間にスキャンしたページ数の文字列が電子画像化されたページ数画像データを生成して送信する。光学文字認識手段３６は、ペン型スキャナ２から送信されたページ数画像データに対して、ＯＣＲを実施して、ページ数の文字列が電子テキスト化されたテキストデータを生成する。電子書籍送信手段４２は、ＩＳＢＮ番号に対応する紙書籍の書籍画像データから、さらに、光学文字認識部３６が生成したテキストデータが示すページ番号に対応する書籍画像データを選択する。
【０１２９】
そして、パターンマッチング手段３４は、電子書籍送信手段４２が選択した書籍画像データと、文章画像データとを比較する。
【０１３０】
これによれば、書籍画像データベース４１内で、属性情報によって絞り込まれた書籍画像データのみに対してパターンマッチングを行うため、処理の高速化と文字認識精度の向上を実現することができる。
【０１３１】
＜実施の形態４＞
続いて、実施の形態４について説明する。本実施の形態４でも、パターンマッチング処理の手間と非効率性を改善する方法について説明する。実施の形態３では、パターンマッチングを行う際に比較するデータのデータ量を減らす方法として、スキャンを行った書籍及びその文章の属性情報を利用してデータの絞り込みを行う例について説明したが、実施の形態４では、さらに、ページ内のどの辺りの文章をスキャンしたかまで絞り込むことで、パターンマッチング処理の手間と非効率性をより改善する。
【０１３２】
実施の形態４に係るスキャンシステム１の構成については、実施の形態３と同様であるため、その説明を省略する。続いて、図１８を参照して、実施の形態４に係るペン型スキャナ２の構成について説明する。図１８に示すように、実施の形態４に係るペン型スキャナ２は、実施の形態３に係るペン型スキャナ２と比較して、さらに、スイッチ２９を有する。
【０１３３】
スイッチ２９は、ユーザーによって、紙書籍におけるスキャン対象のページのページ数をスキャンした位置から、文章中のスキャンする文字列までペン型スキャナ２を移動させているか否かが入力される入力装置である。ユーザーは、ページ数をスキャンした位置から文章をスキャンする文字列までペン型スキャナ２を移動させている間、スイッチ２９を押下する。一方、ユーザーは、ページ数をスキャンした位置から文章をスキャンする文字列までペン型スキャナ２を移動させていない場合、スイッチ２９を押下しない。
【０１３４】
より具体的には、スイッチ２９は、押されている場合、押されていることを示す信号をＭＣＵ２３に出力する。一方、スイッチ２９は、押されていない場合、押されていないことを示す信号をＭＣＵ２３に出力する。ＭＣＵ２３は、スイッチ２９から出力された信号に基づいて、スイッチ２９が押されている場合には、イメージセンサ２２から随時取得される複数の位置座標の変化量（移動量）に基づいて、スイッチ２９が押されたときからのペン型スキャナ２の総移動量（移動距離及び移動方向）を算出する。ＭＣＵ２３は、ページ数をスキャンした位置からのペン型スキャナ２の総移動量に基づいて、スイッチ２９が押されたときおけるペン型スキャナ２の位置座標を基準として、スイッチ２９を押すのが止められたときにおけるペン型スキャナ２の位置座標を算出し、その位置座標を示す位置座標データを生成する。一方、ＭＣＵ２３は、スイッチ２８から出力された信号に基づいて、スイッチ２９が押されていない場合には、ペン型スキャナ２の位置座標の算出は行わない。
【０１３５】
続いて、図１９を参照して、本実施の形態４に係るスキャンシステム１の動作について説明する。
【０１３６】
ユーザーは、紙の書籍の文章の中から任意の文字列（例えば一文）をスキャンすると決めたページに記載されたページ数を、ペン型スキャナ２を用いてスキャンする（Ｓ４１）。
【０１３７】
ユーザーは、スイッチ２９を押しながら、紙書籍においてページ数が記述された位置から、文章中のスキャンしたい文字列までペン型スキャナ２をなぞらせる。すなわち、ペン型スキャナ２のＭＣＵ２３は、スイッチ２９が押されている間にイメージセンサ２２によって生成される複数の位置座標の変化量を示すデータに基づいて、スイッチ２９を押すのが止められたときにおけるペン型スキャナ２の位置座標（文章中のスキャンしたい文字列が記述された位置）を示す位置座標データを生成する（Ｓ４２：取得、Ｓ４３）。
【０１３８】
ユーザーは、その文章中のスキャンしたい文字列（例えば一文）を、ペン型スキャナ２を用いてスキャンする。より詳細には、ペン型スキャナ２のＭＣＵ２３は、スイッチ２７が押されている間にイメージセンサ２２によって生成される複数の画像データをメモリ２４に格納する（Ｓ４４）。
【０１３９】
ペン型スキャナ２の送受信機２５は、メモリ２４に格納された複数の文字画像データ、複数のＯＣＲ画像データ、及び、位置座標データをユーザー端末３に送信する（Ｓ４５）。なお、ステップＳ４６、Ｓ４７は、図１５を参照して説明したステップＳ２９、Ｓ３０と同様であるため、説明を省略する。
【０１４０】
ユーザー端末３のパターンマッチング手段３４は、ペン型スキャナ２から受信した位置座標データに基づいて、サーバー４から受信した書籍画像データ（書籍の１ページ分の書籍画像データ）から、ペン型スキャナ２から受信した複数の文字画像データを結合したスキャン結果画像と比較する範囲を絞り込む。そして、パターンマッチング手段３４は、書籍画像データから絞り込んだ範囲と、スキャン結果画像とを比較し、書籍画像データから絞り込んだ範囲から、スキャン結果画像データと一致する部分画像データを特定する（Ｓ４７）。なお、ユーザーがスイッチ２９を押してペン型スキャナ２を操作しなかったことにより位置座標データを取得できなかった場合（Ｓ４２：未取得）、パターンマッチング手段３４は、実施の形態３で説明した動作と同様に、１ページ分の書籍画像データとスキャン結果画像データとをパターンマッチングすればよい。
【０１４１】
ここで、範囲の絞り込みは、例えば、１ページ分の画像のうち、位置座標データが示す文章中の文字列のスキャン開始時のペン型スキャナ２の位置座標を中心とした所定行数分の範囲（例えば、１行分又はそれに加えて前後１行分など）としてもよい。また、範囲の絞り込みは、例えば、１ページ分の画像のうち、位置座標データが示す文章中の文字列のスキャン開始時のペン型スキャナ２の位置座標を中心として、１ページ分の画像の全体に対して所定割合（例えば、１／２又は１／４等）の範囲としてもよい。この場合は、文章が横書きなら上下方向に所定割合の範囲とし、文章が縦書きなら左右方向に所定割合の範囲とすればよい。
【０１４２】
光学文字認識手段３６は、書籍画像データから絞り込んだ範囲の画像内から特定した部分画像データに対してＯＣＲ処理を実施し、その部分画像データが示す画像内の文字列をテキスト化する（Ｓ４８）。
【０１４３】
以上に説明したように、本実施の形態４では、ペン型スキャナ２は、ユーザーが紙書籍の１ページ内においてページ数が記述された位置から文章の一部の文字列をスキャンする位置までペン型スキャナ２を移動するときに押すためのスイッチ２９を有している。イメージセンサ２２は、時間的に隣接する文字画像データに基づいて、ペン型スキャナ２の移動量を示す移動量データを生成する。ペン型スキャナ２は、スイッチ２９が押されている間にイメージセンサ２２によって生成される移動量データが示す移動量に基づいて、スイッチ２９が押されたときにおけるペン型スキャナ２の位置座標を基準として、スイッチ２９を押すのが止められたときにおけるペン型スキャナ２の位置座標を算出し、算出した位置座標を示す位置座標データを送信する。パターンマッチング手段３４は、ペン型スキャナ２から送信された位置座標データが示すペン型スキャナ２の位置座標に基づいて、書籍画像データにおいて、ペン型スキャナ２が文章の一部の文字列のスキャンを開始した位置を特定し、特定した位置を基準とした所定範囲と、文章画像データとを比較する。
【０１４４】
これによれば、スキャンする文章がページ内のどの位置にあるかを絞り込むことができ、書籍画像データベース４１内で、属性情報によって絞り込まれた書籍画像データにおいて、さらに絞り込まれた範囲内のみに対してパターンマッチングを行うため、処理の高速化と文字認識精度の向上を実現することができる。
【０１４５】
＜実施の形態５＞
続いて、実施の形態５について説明する。以下の実施の形態５の説明では、上述した実施の形態４と同様の内容については、同一の符号を付す等して、適宜、その説明を省略する。実施の形態５に係るスキャンシステム１の構成、ペン型スキャナ２の構成については、実施の形態４と同様であるため、その説明を省略する。
【０１４６】
本願の各実施の形態における動作を大きく分けると、図２０に示すように、（１）スキャン、（２）パターンマッチング、（３）スキャン結果の表示の３つの動作に区分できる。本実施の形態５では、このうち、（２）パターンマッチングにおける具体的な処理内容について提案を行うものである。
【０１４７】
本願の各実施の形態では、低分解能なマウス用のイメージセンサ２２を使用しているため、主に、次の２点について、パターンマッチング精度が悪くなることが懸念される。
（ｉ）  ユーザーがペン型スキャナ２で文章をなぞる際に発生するブレや画像合成の精度限界により、スキャン結果画像が示す文字列が歪んでしまう
（ｉｉ）  ペン型スキャナの分解能が低いため、スキャン結果画像が示す文字列が実物よりも粗くなる
【０１４８】
本実施の形態５では、上述の（ｉ）、（ｉｉ）の問題を解決するために、３つのパターンマッチング手法を提案する。本実施の形態５では、ユーザーが、３つのパターンマッチング手法から、所望のパターンマッチング手法を選択することを可能とする。
【０１４９】
続いて、図２１を参照して、実施の形態５に係るユーザー端末３及びサーバー４の構成について説明する。図２１に示すように、本実施の形態２に係るサーバー４は、実施の形態４に係るサーバー４と比較して、さらに、書籍テキストデータベース４３を有する。
【０１５０】
書籍テキストデータベース４３については、実施の形態２の説明において、図８を参照して説明した通りであるため、説明を省略する。
【０１５１】
（第１のパターンマッチング手法）
続いて、図２２を参照して、第１のパターンマッチング手法について説明する。図２２に示すように、第１のパターンマッチング手法では、書籍内の文章は横書きか縦書きであること、及び、ペン型スキャナ２のユーザーは文章に沿ってスキャンすることを利用し、複数の文字画像データを結合することで得られるスキャン結果画像データが示す文字列における各文字が、横一列あるいは縦一列に並ぶように、それら複数の文字画像データが示す画像（図２２の「スキャン画像」）のそれぞれの位置を、位置座標データが示す位置座標から補正する。
【０１５２】
例えば、パターンマッチング手段３４は、文章が横書きである場合は、各文字の上下方向における中心位置（例えば、文字重心位置）が横一列に揃うように補正してもよく、各文字の上端が横一列に揃うように補正してもよく、各文字の下端が横一列に揃うように補正してもよい。
【０１５３】
例えば、パターンマッチング手段３４は、文章が縦書きである場合は、各文字の左右方向における中心位置が縦一列に揃うように補正してもよく、各文字の左端が縦一列に揃うように補正してもよく、各文字の右端が縦一列に揃うように補正してもよい。
【０１５４】
なお、文章が横書きであるか縦書きであるかは、例えば、パターンマッチング手段３４が、各文字画像データに含まれる位置座標データに基づいて、各文字画像データが示す画像の位置座標が縦方向よりも横方向に大きく変化している場合には横書きであると判定し、各文字画像データが示す画像の位置座標が横方向よりも縦方向に大きく変化している場合には縦書きであると判定する。
【０１５５】
このように、複数の文字画像データが示す画像の位置を補正することにより、それら複数の文字画像データを相互に結合したスキャン結果画像データが画像で示す文字列の歪みを低減することができる。
【０１５６】
（第２のパターンマッチング手法）
続いて、図２３を参照して、第２のパターンマッチング手法について説明する。図２３に示すように、第２のパターンマッチング手法では、電子書籍ダウンロード手段３３は、サーバー４から書籍画像データに代えて、書籍テキストデータをダウンロードする。
【０１５７】
パターンマッチング手段３４は、ペン型スキャナ２から受信した複数の文章画像データを結合して得られたスキャン結果画像データに対してＯＣＲを施し、そのスキャン結果画像データが画像で示す文字列に含まれる複数の文字のうち、ＯＣＲが可能な文字のみをテキスト化する。
【０１５８】
ＯＣＲの可否については、判定率が所定の閾値を超える候補が存在するか否かで判断する。ここで、判定率は、ＯＣＲにおいて事前に用意されている文字のテンプレートとの一致度合いを示すものであるが、一般的な技術であるため、詳細な説明を省略する。
【０１５９】
ここでは、閾値が７０％であるものとして説明する。例えば、文字「あ」のＯＣＲを実施した結果、文字「あ」であるとする判定率が７５％であり、判定率が１５％である候補「お」と、判定率が１０％である候補「ね」が得られたものとする。この場合、判定率が７０％以上である候補「あ」が存在するため、パターンマッチング手段３４は、候補「あ」はＯＣＲが可能な文字である判断し、ＯＣＲの結果として候補「あ」を取得する。一方、例えば、文字「間」のＯＣＲを実施した結果、判定率が４５％である候補「間」と、判定率が３５％である候補「問」と、判定率が２０％である候補「閘」が得られたものとする。この場合には、パターンマッチング手段３４は、全ての候補が７０％未満であるため、文字「間」はＯＣＲが不可能な文字である判断する。
【０１６０】
パターンマッチング手段３４は、電子書籍ダウンロード手段３３がダウンロードした書籍テキストデータが示すテキストと、スキャン結果画像データに対してＯＣＲを施すことで得られた文字列のうち、ＯＣＲが可能と判定した文字をテキスト化したテキストとのパターンマッチングを行う。すなわち、書籍テキストデータに対して、ＯＣＲが可能と判定した文字をテキスト化したテキストを検索語とした部分一致検索を行う。
【０１６１】
第２のパターンマッチング手法の利点は、サーバー４上の書籍画像データベース４１の書籍画像データが不要になることである。すなわち、サーバー４上の書籍テキストデータベース４３の書籍テキストデータさえあれば実現することができる。ただし、ＯＣＲが可能な文字数に、テキストのパターンマッチング精度が依存するため、好ましくは、ペン型スキャナ２のイメージセンサ２２に、ある程度の分解能があるとよい。
【０１６２】
（第３のパターンマッチング手法）
続いて、図２４を参照して、第３のパターンマッチング手法について説明する。図２４に示すように、第３のパターンマッチング手法では、複数の文字画像データの結合は行わず、複数の文字画像データが示す画像（図２４の「スキャン画像」）毎にパターンマッチング処理を行う。
【０１６３】
図２４では、説明の簡略化のため、ペン型スキャナ２が１フレームで１文字分の画像を取得できる場合について説明する。１フレームで１文字分の画像を取得できない場合は、各フレームで取得した画像が示す文字の一部分でパターンマッチングを行う。
【０１６４】
パターンマッチング手段３４は、文章画像データに含まれるスキャン時間データが示すスキャン時間に基づいて、ペン型スキャナ２から取得した複数の文章画像データが示す複数の画像のそれぞれを、時系列順に、サーバー４からダウンロードした書籍画像データが示す画像とマッチングしていく。このときに、書籍画像データが示す画像において、複数の文章画像データが示す画像とマッチングする画像の範囲のそれぞれが、時系列順に、一方向に向けて一列に並ぶ範囲を特定する。
【０１６５】
この第３のパターンマッチング手法の利点は、複数の文字画像データを結合して、その際にそれら複数の文字画像データが示す画像の位置を補正する必要がないため、文字画像データの結合が上手くいかずにマッチング精度が悪くなっている場合に有効である。
【０１６６】
続いて、図２５を参照して、実施の形態５に係るスキャンシステム１の動作について説明する。
【０１６７】
まず、第１のパターンマッチング手法における動作について説明する。ユーザーは、紙の書籍の文章の中から任意の文字列（例えば一文）を、ペン型スキャナ２を用いてスキャンする（Ｓ５１）。すなわち、ペン型スキャナ２のＭＣＵ２３は、スイッチ２７が押されている間にイメージセンサ２２によって生成される複数の文字画像データをメモリ２４に格納する。文字列のスキャンが終了した場合、ペン型スキャナ２の送受信機２５は、メモリ２４に格納された複数の文字画像データを、スキャン画像データとしてユーザー端末３に送信する。
【０１６８】
ユーザー端末３のパターンマッチング手段３４は、ペン型スキャナ２から送信された複数の文字画像データが示す複数の画像における各文字が一列に並ぶように文字の位置を補正し、複数の文字画像データを結合する（Ｓ５２）。パターンマッチング手段３４は、複数の文字画像データを結合したスキャン結果画像データと、サーバー４からダウンロードした書籍画像データとのパターンマッチング処理を行う（Ｓ５３）。これにより、パターンマッチング手段３４は、書籍画像データが示す画像から、スキャン結果画像データが示す画像と一致する範囲を、ペン型スキャナ２によってスキャンした文字列と一致する文字列が含まれる範囲として特定する（Ｓ５４）。この特定された範囲におけるデータは、上述の部分画像データとして抽出される。
【０１６９】
続いて、第２のパターンマッチング手法における動作について説明する。なお、ステップＳ５１、Ｓ５２については、上述した通りであるため、説明を省略する。光学文字認識手段３６は、スキャン結果画像データに対して、ＯＣＲを実行する（Ｓ５５）。光学文字認識手段３６は、スキャン結果画像データが示す文字列を構成する複数の文字のうち、所定の閾値以上の文字のみをテキスト化したテキストを示すテキストデータを生成し、パターンマッチング手段３４に出力する（Ｓ５６）。ここで、少なくとも１つの文字について、判定率が閾値以上の候補が複数存在する場合には、それらの候補の全ての組み合わせについて、複数のテキストデータを生成し、パターンマッチング手段３４に出力する。
【０１７０】
パターンマッチング手段３４は、サーバー４からダウンロードした書籍テキストデータが示すテキストと、光学文字認識手段３６から出力されたテキストデータが示すテキストとのパターンマッチングを行う（Ｓ５７）。これにより、パターンマッチング手段３４は、書籍テキストデータが示すテキストから、ＯＣＲが可能な文字であるとして取得したテキストと一致するテキスト、及び、それらのテキストの関係に基づいてＯＣＲが可能でない文字に対応するテキストの範囲を、ペン型スキャナ２によってスキャンした文字列と一致する文字列が含まれる範囲として特定する（Ｓ５４）。この特定された範囲におけるデータは、上述の部分テキストデータとして抽出される。
【０１７１】
ここで、テキストの関係に基づいてＯＣＲが可能でない文字に対応するテキストの範囲とは、例えば、ＯＣＲが可能な２つの文字の間にＯＣＲが可能でないＮ個の文字が含まれている場合（Ｎは、任意の正整数）、書籍テキストデータにおいて、ＯＣＲが可能な文字のそれぞれに対応する２つの文字を示す範囲に加えて、その２つの文字の間に存在するＮ個の文字を示す範囲も、スキャン結果画像データと一致する範囲として特定する。
【０１７２】
続いて、第３のパターンマッチング手法における動作について説明する。なお、ステップＳ５１については、上述した通りであるため、説明を省略する。ユーザー端末３のパターンマッチング手段３４は、ペン型スキャナ２から送信された複数の文章画像データが示す複数の画像のそれぞれと、サーバー４からダウンロードした書籍画像データが示す画像とのパターンマッチング処理を行う（Ｓ５８）。パターンマッチング手段３４は、書籍画像データが示す画像において、複数の文章画像データが示す複数の画像のそれぞれと一致する画像が一列に並んでいる範囲を抽出する（Ｓ５９）。これにより、パターンマッチング手段３４は、抽出した範囲を、ペン型スキャナ２によってスキャンした文字列と一致する文字列が含まれる範囲として特定する（Ｓ５４）。この特定された範囲におけるデータは、上述の部分画像データとして抽出される。
【０１７３】
続いて、図２６を参照して、実施の形態５に係るパターンマッチング結果の表示例を示す。
【０１７４】
図２６に示すように、第１のパターンマッチング手法〜第３のパターンマッチング手法のいずれかの手法で、最終的なスキャン結果となる文字列を表示・保存した際に、表示手段３５は、スキャン結果画像と、第１のパターンマッチング手法〜第３のパターンマッチング手法のそれぞれにおいて、所定数の上位の変換候補の文字列と、それらの文字列の判定率とを表示装置に表示する。図１６では、上位３つの変換候補の文字列と、それらの文字列の判定率と表示した例について示している。
【０１７５】
ユーザーは、この表示画面において、ユーザー端末３の入力装置を介して、第１のパターンマッチング手法〜第３のパターンマッチング手法のいずれかを選択することにより、以降に利用するパターンマッチング手法の切り替えが可能である。スキャンする文章の文字サイズ、文字の複雑さ、文字量によって、どのパターンマッチング手法の精度が高くなるか変わってくるため、ユーザーがユーザー端末３を操作することでパターンマッチング手法を切り替えられるようにする。
【０１７６】
例えば、第１のパターンマッチング手法であれば、複数の文章画像データを結合したスキャン結果画像データが示すスキャン結果画像と、書籍画像データが示す画像において変換候補となった文字列が含まれる範囲の画像のそれぞれとの一致度合いが、パターンマッチング手段３４によって判定率として算出される。
【０１７７】
例えば、第２のパターンマッチング手法であれば、複数の文章画像データを結合したスキャン結果画像データからＯＣＲによって得たテキストと、書籍テキストデータが示すテキストにおいて変換候補となった文字列のテキストのそれぞれとの一致度合いが、パターンマッチング手段３４によって判定率として算出される。なお、この判定率の算出に関しては、ＯＣＲ可能でない文字に対応するテキストについては、一致度合いの算出対象外とすればよい。
【０１７８】
例えば、第３のパターンマッチング手法であれば、変換候補のそれぞれについて、複数の文章画像データが示す複数の画像のそれぞれと、書籍画像データが示す画像において変換候補となった文字列が含まれる範囲の画像の対応する部分のそれぞれとの一致度合いを平均化等した値が、パターンマッチング手段３４によって判定率として算出される。
【０１７９】
なお、以上の説明では、第１のパターンマッチング手法〜第３のパターンマッチング手法のいずれかを選択可能として説明したが、これに限られない。第１のパターンマッチング手法〜第３のパターンマッチング手法のうち、任意の２つを選択可能とした形態としてもよい。また、第１のパターンマッチング手法〜第３のパターンマッチング手法のうち、任意の１つのみを実施する形態としてもよい。
【０１８０】
また、以上の説明では、実施の形態４に対して、第１のパターンマッチング手法〜第３のパターンマッチング手法を適用したものを、実施の形態５として説明したが、これに限られない。例えば、実施の形態１〜３のいずれかに対して、第１のパターンマッチング手法〜第３のパターンマッチング手法を適用してもよい。
【０１８１】
以上に説明したように、本実施の形態５の第１のパターンマッチング手法では、ペン型スキャナ２は、複数の文字画像データに関してイメージセンサ２２によって生成される移動量データ（座標位置の変化量のデータ）に基づいて、複数の文字画像データのそれぞれについて、スキャンした位置座標を算出し、算出した位置座標を示す位置座標データを生成して送信する。パターンマッチング手段３４は、ペン型スキャナ２が送信した複数の位置座標データに基づいて、スキャン結果画像データが示す画像に含まれる各文字の位置を、より直線的に並ぶように補正する。
【０１８２】
これによれば、スキャン結果画像における文字列の歪みを低減することができるため、パターンマッチングの精度を向上することができる。
【０１８３】
また、以上に説明したように、本実施の形態５の第２のパターンマッチング手法では、光学文字認識手段３６は、ペン型スキャナ２が送信した文章画像データに対して、ＯＣＲを実施して、文章画像データが示す画像の文字列のうち、判定率が所定閾値以上である文字が電子テキスト化されたテキストデータを生成する。パターンマッチング手段３４は、書籍テキストデータベース４３に格納された書籍テキストデータと、光学文字認識手段３６が生成したテキストデータとを比較し、書籍テキストデータから、テキストデータと一致すると判定した範囲、及び、前記判定率が所定閾値以上でない文字に対応する範囲を含む部分テキストデータを抽出する。
【０１８４】
これによれば、スキャン画像の歪みなどにより認識精度の悪い文字は考慮から除外してパターンマッチングを行っているため、パターンマッチングの精度を向上することができる。
【０１８５】
また、以上に説明したように、本実施の形態５の第３のパターンマッチング手法では、パターンマッチング手段３４は、書籍画像データから、複数の文字画像データのそれぞれと一致すると判定したデータが示す文字のそれぞれが、複数の文字画像データが生成された順に一列に並ぶ範囲を、前記部分画像データとして抽出するようにしている。
【０１８６】
これによれば、複数の文字画像データを結合して、書籍画像データと比較する必要がない。よって、文字画像データの結合が上手くいかずにマッチング精度が低下してしまうという事態を回避することができるため、パターンマッチングの精度を向上することができる。
【０１８７】
また、上述したプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）を用いて格納され、コンピュータ（ユーザー端末３、サーバー４）に供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ  ｓｔｏｒａｇｅ  ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ  ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ  ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ  ｃｏｍｐｕｔｅｒ  ｒｅａｄａｂｌｅ  ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【０１８８】
以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。
【０１８９】
上述の実施の形態では、スキャン対象が紙書籍に記載された文章である場合について説明したが、これに限られない。例えば、スキャン対象は、絵画であってもよい。絵画の特定部分をクローズアップして保存したい場合に利用することができる。この場合、サーバー４には、絵画の画像を示す画像データを保持するようにすればよい。
【０１９０】
上述の実施の形態では、サーバー４が書籍画像データベース４１及び書籍テキストデータベース４３を有し、ユーザー端末３がパターンマッチング、光学文字認識、及び、最終的なスキャン結果の表示・保存を行う例について説明したが、これに限られない。これらの要素が、１つの情報処理装置（例えば、ＰＣ、タブレット、又は、サーバー４等）に含まれる形態としてもよい。例えば、サーバー４が、上述の実施の形態における各手段３１〜３５、４１〜４３を有するようにし、ペン型スキャナ２が、スキャンにより生成した画像データをサーバー４に直接送信するようにしてもよい。
【０１９１】
上述の実施の形態３、４では、パターンマッチングの範囲を、電子書籍の１ページ分の書籍画像データまで絞り込みを行う例について説明したが、これに限られない。例えば、ユーザーがユーザー端末３の入力装置から行数を指定する入力を行った場合には、パターンマッチング手段３４は、さらに、パターンマッチングの範囲を、その入力で指定された行数まで絞り込んでもよい。
【０１９２】
上記実施の形態１〜５の一部又は全部は、以下の付記のようにも記載され得る。
【０１９３】
（付記１）
紙書籍に記載された文章の一部の文字列をスキャンし、スキャンした文字列に基づいて文章画像データを生成して送信するペン型スキャナから、前記文章画像データを受信する処理と、
前記文章画像データよりも高画質で、前記紙書籍に記載された文章が電子画像化された書籍画像データが格納される記憶部から、前記書籍画像データを取得する処理と、
前記書籍画像データと、前記ペン型スキャナが送信した文章画像データとを比較し、前記書籍画像データから、前記文章画像データと一致すると判定した部分画像データを抽出する処理と、
をコンピュータに実行させるプログラム。
【符号の説明】
【０１９４】
１、９  スキャンシステム
２、９１  ペン型スキャナ
３  ユーザー端末
４  サーバー
２０  光源
２１  レンズ
２２  イメージセンサ
２３  ＭＣＵ
２４  メモリ
２５  送受信機
２６  バッテリー
２７、２８、２９  スイッチ
３１  送受信手段
３２  制御手段
３３  電子書籍ダウンロード手段
３４  パターンマッチング手段
３５  表示手段
３６  光学文字認識手段
４１  書籍画像データベース
４２  電子書籍送信手段
４３  書籍テキストデータベース
９２  記憶部
９３  マッチング部
【図１】
2017054285.tif 000003
【図２】
2017054285.tif 000004
【図３】
2017054285.tif 000005
【図４】
2017054285.tif 000006
【図５】
2017054285.tif 000007
【図６】
2017054285.tif 000008
【図７】
2017054285.tif 000009
【図８】
2017054285.tif 000010
【図９】
2017054285.tif 000011
【図１０】
2017054285.tif 000012
【図１１】
2017054285.tif 000013
【図１２】
2017054285.tif 000014
【図１３】
2017054285.tif 000015
【図１４】
2017054285.tif 000016
【図１５】
2017054285.tif 000017
【図１６】
2017054285.tif 000018
【図１７】
2017054285.tif 000019
【図１８】
2017054285.tif 000020
【図１９】
2017054285.tif 000021
【図２０】
2017054285.tif 000022
【図２１】
2017054285.tif 000023
【図２２】
2017054285.tif 000024
【図２３】
2017054285.tif 000025
【図２４】
2017054285.tif 000026
【図２５】
2017054285.tif 000027
【図２６】
2017054285.tif 000028
【図２７】
2017054285.tif 000029