(57)【要約】      （修正有）【課題】タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能な文字読取範囲指定システム等を提供する。【解決手段】ユーザは初回アクセス時、端末１３ｂ上で画像データを選択するための３点指定の特徴を抽出し、ユーザＤＢ１１に登録する。ログイン処理後、ユーザは、端末１３ｂに表示されたチラシ画像データを閲覧し、指で３点タッチすることにより文字読取範囲を指定する。端末１３ｂはユーザによりタッチされた３点の座標をサーバ３に送信する。サーバ３は、チラシ画像データ内で指定された３点の座標により定義される文字読取範囲を特定し、ユーザの３点指定の特徴に基づいて文字読取範囲を調整し、文字読取範囲内の画像データを切り取り、切り抜いた画像データ内に含まれる文字を認識し、テキストデータを生成、登録する。【選択図】図１
2013206131.tif 000002
【特許請求の範囲】
【請求項１】
端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムであって、
前記端末は、
前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、
前記文字読取範囲の指定情報を前記サーバに送信する送信手段と、
を具備し、
前記サーバは、
前記文字読取範囲の指定情報を受信し、前記文字読取範囲を特定する範囲特定手段と、
前記文字読取範囲を調整する範囲調整手段と、
前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、
前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、
前記画像切り抜き手段によって切り抜かれる前記画像データと、前記文字認識手段によって生成される前記テキストデータを保持する保持手段と、
を具備することを特徴とする文字読取範囲指定システム。
【請求項２】
前記文字読取範囲の指定情報は３点の座標であり、
前記範囲特定手段は、前記３点によって矩形が定義できる場合には、前記３点のＸ座標の最大値と最小値の差を前記矩形の高さ、及び、前記３点のＹ座標の最大値と最小値の差を前記矩形の幅とし、前記矩形の内部を前記文字読取範囲として特定することを特徴とする請求項１に記載の文字読取範囲指定システム。
【請求項３】
前記文字認識手段は、前記画像切り抜き手段によって切り抜かれる前記画像データを、前記端末に送信し、前記端末において表示させるとともに、前記端末からの実行指示を受け付けて文字の認識を開始することを特徴とする請求項１又は請求項２に記載の文字読取範囲指定システム。
【請求項４】
前記範囲調整手段は、予めユーザごとにキャリブレーション情報を保持し、前記キャリブレーション情報に基づいて、前記範囲特定手段によって特定される前記文字読取範囲を調整することを特徴とする請求項１乃至請求項３のいずれかに記載の文字読取範囲指定システム。
【請求項５】
端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムであって、
前記端末は、
前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、
前記文字読取範囲の指定情報から、前記文字読取範囲を特定する範囲特定手段と、
前記文字読取範囲を調整する範囲調整手段と、
前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、
前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、
前記テキストデータを前記サーバに送信する送信手段と、
を具備し、
前記サーバは、
前記テキストデータを受信し、前記テキストデータを保持する保持手段、
を具備することを特徴とする文字読取範囲指定システム。
【請求項６】
端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムにおける文字読取範囲指定方法であって、
前記端末が、前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付ステップと、
前記端末が、前記文字読取範囲の指定情報を前記サーバに送信する送信ステップと、
前記サーバが、前記文字読取範囲の指定情報を受信し、前記文字読取範囲を特定する範囲特定ステップと、
前記サーバが、前記文字読取範囲を調整する範囲調整ステップと、
前記サーバが、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜きステップと、
前記サーバが、前記画像切り抜きステップによって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識ステップと、
前記サーバが、前記画像切り抜きステップによって切り抜かれる前記画像データと、前記文字認識ステップによって生成される前記テキストデータを保持する保持ステップと、
を実行することを特徴とする文字読取範囲指定方法。
【請求項７】
端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムにおける文字読取範囲指定方法であって、
前記端末が、前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付ステップと、
前記端末が、前記文字読取範囲の指定情報から、前記文字読取範囲を特定する範囲特定ステップと、
前記端末が、前記文字読取範囲を調整する範囲調整ステップと、
前記端末が、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜きステップと、
前記端末が、前記画像切り抜きステップによって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識ステップと、
前記端末が、前記テキストデータを前記サーバに送信する送信ステップと、
前記サーバが、前記テキストデータを受信し、前記テキストデータを保持する保持ステップと、
を実行することを特徴とする文字読取範囲指定方法。
【請求項８】
第１のコンピュータを、
第２のコンピュータから画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、
前記文字読取範囲の指定情報を前記第２のコンピュータに送信する送信手段
として機能させ、
前記第２のコンピュータを、
前記文字読取範囲の指定情報を受信し、前記文字読取範囲を特定する範囲特定手段と、
前記文字読取範囲を調整する範囲調整手段と、
前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、
前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、
前記画像切り抜き手段によって切り抜かれる前記画像データと、前記文字認識手段によって生成される前記テキストデータを保持する保持手段
として機能させるためのプログラム。
【請求項９】
第１のコンピュータを、
第２のコンピュータから画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、
前記文字読取範囲の指定情報から、前記文字読取範囲を特定する範囲特定手段と、
前記文字読取範囲を調整する範囲調整手段と、
前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、
前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、
前記テキストデータを前記第２のコンピュータに送信する送信手段、
として機能させ、
前記第２のコンピュータを、
前記テキストデータを受信し、前記テキストデータを保持する保持手段
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、端末上に表示された画像データから文字を読み取る範囲を指定する文字読取範囲指定システム等に関する。
【背景技術】
【０００２】
従来、チラシや雑誌、新聞、書籍等、紙面用に作成された画像データをデータベースでテキストとして管理する場合、人が手作業によりテキスト入力を行う必要があり、非常に負荷が高かった。近年、紙面をスキャナ等で読み取り、パソコンや携帯端末のような端末の画面上に表示された画像データの表示範囲内で、所望の範囲を指定し、ＯＣＲ（Ｏｐｔｉｃａｌ  Ｃｈａｒａｃｔｅｒ  Ｒｅａｄａｒ）等により指定した範囲の文字認識を行い、得られたテキストデータをデータベースとして管理するという技術が普及している。
特許文献１に記載の指定装置は、スキャナで読み取った画像データを表示領域に表示し、ユーザは表示領域内で２点を指定し、２点を結ぶ直線が対角線となる矩形の範囲を文字認識するという方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３８０５１１０号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、近年普及しているタッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定するシステムは存在しない。例えば、タッチパネルディスプレイを入力手段とする端末では、通常、画面上での２点の指定は画面表示の拡大縮小の操作として認識されるため、特許文献１の指定装置における文字認識の範囲の操作との区別が難しい。また、画面上で文字認識範囲を指定するために該当する文字上を指でなぞる場合などもドラッグの操作として認識され、予め範囲指定を行うモードに切り替えてから操作しない限り、範囲指定のための操作と区別することが難しい。
【０００５】
本発明は、このような問題に鑑みてなされたもので、その目的とするところは、タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能な文字読取範囲指定システム等を提供することである。これにより、ユーザによる商品選択行為を通じて、データベースに商品単位のデータを生成することができ、ユーザによる商品選択行為を契機として生成される商品単位のデータは、ユーザにとって有意義な様々なサービス（例えば、買い物リストのクリップサービスなど）に利用できる。
【課題を解決するための手段】
【０００６】
前述した目的を達成するために、第１の発明は、端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムであって、前記端末は、前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、前記文字読取範囲の指定情報を前記サーバに送信する送信手段と、を具備し、前記サーバは、前記文字読取範囲の指定情報を受信し、前記文字読取範囲を特定する範囲特定手段と、前記文字読取範囲を調整する範囲調整手段と、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、前記画像切り抜き手段によって切り抜かれる前記画像データと、前記文字認識手段によって生成される前記テキストデータを保持する保持手段と、を具備することを特徴とする文字読取範囲指定システムである。
第１の発明によって、タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能となる。特に、画像データのテキスト化と、画像データとテキストデータの関連付けが容易に可能となり、人手による入力の負荷がなくなる。
【０００７】
前記文字読取範囲の指定情報は３点の座標であり、前記範囲特定手段は、前記３点によって矩形が定義できる場合には、前記３点のＸ座標の最大値と最小値の差を前記矩形の高さ、及び、前記３点のＹ座標の最大値と最小値の差を前記矩形の幅とし、前記矩形の内部を前記文字読取範囲として特定する。
これによって、指定された３点により、Ｘ軸に平行な２辺、Ｙ軸と平行な２辺から成る矩形を一意に定義することができる。３点による文字読取範囲の指定は端末の画面上における一般的な操作と差別化しやすいので、ユーザは容易に文字読取範囲を指定できる。
【０００８】
前記文字認識手段は、前記画像切り抜き手段によって切り抜かれる前記画像データを、前記端末に送信し、前記端末において表示させるとともに、前記端末からの実行指示を受け付けて文字の認識を開始する。
これによって、ユーザは最終的にサーバに保持される画像データを事前に確認することができる。
【０００９】
前記範囲調整手段は、予めユーザごとにキャリブレーション情報を保持し、前記キャリブレーション情報に基づいて、前記範囲特定手段によって特定される前記文字読取範囲を調整する。
これによって、ユーザの指定の特徴（例えば、文字読取範囲の指定が一定の方向にずれやすいなど。）に合わせて、適切な文字読取範囲を指定することができる。
【００１０】
第２の発明は、端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムであって、前記端末は、前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、前記文字読取範囲の指定情報から、前記文字読取範囲を特定する範囲特定手段と、前記文字読取範囲を調整する範囲調整手段と、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、前記テキストデータを前記サーバに送信する送信手段と、を具備し、前記サーバは、前記テキストデータを受信し、前記テキストデータを保持する保持手段、を具備することを特徴とする文字読取範囲指定システムである。
第２の発明によって、タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能となる。特に、画像データのテキスト化と、画像データとテキストデータの関連付けが容易に可能となり、人手による入力の負荷がなくなる。
【００１１】
第３の発明は、端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムにおける文字読取範囲指定方法であって、前記端末が、前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付ステップと、前記端末が、前記文字読取範囲の指定情報を前記サーバに送信する送信ステップと、前記サーバが、前記文字読取範囲の指定情報を受信し、前記文字読取範囲を特定する範囲特定ステップと、前記サーバが、前記文字読取範囲を調整する範囲調整ステップと、前記サーバが、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜きステップと、前記サーバが、前記画像切り抜きステップによって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識ステップと、前記サーバが、前記画像切り抜きステップによって切り抜かれる前記画像データと、前記文字認識ステップによって生成される前記テキストデータを保持する保持ステップと、を実行することを特徴とする文字読取範囲指定方法である。
第３の発明によって、タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能となる。特に、画像データのテキスト化と、画像データとテキストデータの関連付けが容易に可能となり、人手による入力の負荷がなくなる。
【００１２】
第４の発明は、端末と、画像データを保持するサーバがネットワークを介して接続される文字読取範囲指定システムにおける文字読取範囲指定方法であって、前記端末が、前記サーバから前記画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付ステップと、前記端末が、前記文字読取範囲の指定情報から、前記文字読取範囲を特定する範囲特定ステップと、前記端末が、前記文字読取範囲を調整する範囲調整ステップと、前記端末が、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜きステップと、前記端末が、前記画像切り抜きステップによって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識ステップと、前記端末が、前記テキストデータを前記サーバに送信する送信ステップと、前記サーバが、前記テキストデータを受信し、前記テキストデータを保持する保持ステップと、を実行することを特徴とする文字読取範囲指定方法である。
第４の発明によって、タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能となる。特に、画像データのテキスト化と、画像データとテキストデータの関連付けが容易に可能となり、人手による入力の負荷がなくなる。
【００１３】
第５の発明は、第１のコンピュータを、第２のコンピュータから画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、前記文字読取範囲の指定情報を前記第２のコンピュータに送信する送信手段として機能させ、前記第２のコンピュータを、前記文字読取範囲の指定情報を受信し、前記文字読取範囲を特定する範囲特定手段と、前記文字読取範囲を調整する範囲調整手段と、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、前記画像切り抜き手段によって切り抜かれる前記画像データと、前記文字認識手段によって生成される前記テキストデータを保持する保持手段として機能させるためのプログラムである。
第５の発明を汎用的なコンピュータにインストールすることによって、文字読取範囲指定システムを構築することができる。
【００１４】
第６の発明は、第１のコンピュータを、第２のコンピュータから画像データを受信し、前記画像データに対して文字読取範囲を指定するための画面を表示し、前記文字読取範囲の指定情報を受け付ける範囲指定受付手段と、前記文字読取範囲の指定情報から、前記文字読取範囲を特定する範囲特定手段と、前記文字読取範囲を調整する範囲調整手段と、前記文字読取範囲に基づいて前記画像データを切り抜く画像切り抜き手段と、前記画像切り抜き手段によって切り抜かれる前記画像データに含まれる文字を認識してテキストデータを生成する文字認識手段と、前記テキストデータを前記第２のコンピュータに送信する送信手段、として機能させ、前記第２のコンピュータを、前記テキストデータを受信し、前記テキストデータを保持する保持手段として機能させるためのプログラムである。
第６の発明を汎用的なコンピュータにインストールすることによって、文字読取範囲指定システムを構築することができる。
【発明の効果】
【００１５】
本発明により、タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能な文字読取範囲指定システム等を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の実施の形態に係る文字読取範囲指定システム１の概要を示す図
【図２】サーバ３、端末１３ａ，１３ｂを実現するコンピュータのハードウエア構成図
【図３】チラシ情報ＤＢ５が保持するチラシ情報データ５０の一例を示す図
【図４】端末１３ｂの画面上における文字読取範囲の指定の一例を示す図
【図５】文字読取範囲を定義する３点の例を示す図
【図６】サーバ３による文字読取範囲４５の調整の一例を示す図
【図７】サーバ３の文字認識手段による文字読取範囲４５内の文字のテキストデータ化の一例を示す図
【図８】コマ情報ＤＢ７が保持するコマ情報データ６０の一例を示す図
【図９】商品情報ＤＢ９が保持する商品情報データ７０の一例を示す図
【図１０】ユーザＤＢ１１が保持するユーザデータ８０の一例を示す図
【図１１】文字読取範囲指定システム１における処理の流れを示すフローチャート
【図１２】端末１３ｂの表示部２４上でのチラシの画像４１と買い物リスト４２を表示した一例を示す図
【図１３】コマ情報データ６０、商品情報データ７０のデータの一例を示す図
【発明を実施するための形態】
【００１７】
以下、添付図面を参照しながら、本発明の実施の形態について詳細に説明する。尚、以下の説明および添付図面において、略同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略することにする。
【００１８】
最初に、図１を参照しながら、本発明の実施の形態に係る文字読取範囲指定システム１の概要について説明する。
図１は、本発明の実施の形態に係る文字読取範囲指定システム１の概要を示す図である。
文字読取範囲指定システム１は、サーバ３と、チラシ情報データを制作する端末１３ａと、ユーザが所有する端末１３ｂがネットワーク１５を介して接続される。
文字読取範囲指定システム１は、サーバ３のチラシ情報ＤＢ（データベース）５が保持するチラシ情報データを、ユーザが所有する端末１３ｂのタッチパネルディスプレイのような画面上に表示し、ユーザが端末１３ｂの画面上で気になる商品をクリップすると、サーバ３はユーザが端末１３ｂの画面上で定義した範囲の画像データに含まれる文字を認識し、テキストデータを生成する。
【００１９】
サーバ３は、チラシ情報ＤＢ５、コマ情報ＤＢ７、商品情報ＤＢ９、ユーザＤＢ１１等を有する。
サーバ３は、チラシ情報ＤＢ５に保持するチラシ画像データを、ユーザが所有する端末１３ｂに送信し、端末１３ｂでユーザにより入力された文字読取範囲の指定情報を端末１３ｂから受信し、チラシ画像データ内の文字読取範囲を特定する。サーバ３は、ユーザの登録処理時、ユーザの文字読取範囲における点指定の特徴をキャリブレーション情報としてユーザＤＢ１１に登録し、登録されたキャリブレーション情報を用いて、文字読取範囲を調整し、調整後の文字読取範囲内の画像データを切り抜く。サーバ３は、切り抜いた画像データに含まれる文字を認識してテキストデータを生成し、切り抜いた画像データをコマ情報ＤＢ７に、生成したテキストデータを商品情報ＤＢ９に登録する。
サーバ３の機能の詳細は後述する。
【００２０】
端末１３ａは、印刷会社や広告制作会社等の企業に設置され、チラシ情報データを制作するコンピュータである。端末１３ａは、チラシ情報データに掲載する商品等の情報を管理する。
端末１３ｂは、ユーザが所有するタッチパネルディスプレイを備えた端末であり、スマートフォン、タブレット型端末等の携帯端末、あるいは、パーソナルコンピュータ等である。ユーザは、タッチパネルディスプレイ上に表示されるチラシ画像データ内で３点をタッチすることにより、文字を読み取りたい範囲を指定する。
尚、端末１３ａ及び端末１３ｂは、同じ端末であっても良い。
【００２１】
図２は、サーバ３、端末１３ａ，１３ｂを実現するコンピュータのハードウエア構成図である。尚、図２のハードウエア構成は一例であり、用途、目的に応じて様々な構成を採ることが可能である。
コンピュータは、制御部２１、記憶部２２、入力部２３、表示部２４、通信部２５等が、バス２６を介して接続される。
【００２２】
制御部２１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成される。
ＣＰＵは、記憶部２２、ＲＯＭ、記録媒体等に格納されるプログラムをＲＡＭ上のワークメモリ領域に呼び出して実行し、バス２６を介して接続された各装置を駆動制御し、コンピュータが行う後述する処理を実現する。
ＲＯＭは、不揮発性メモリであり、プログラムやデータ等を恒久的に保持している。
ＲＡＭは、揮発性メモリであり、記憶部２２、ＲＯＭ、記録媒体等からロードしたプログラム、データ等を一時的に保持するとともに、制御部２１が各種処理を行う為に使用するワークエリアを備える。
【００２３】
記憶部２２は、フラッシュメモリ等であり、制御部２１が実行するプログラム、プログラム実行に必要なデータ等が格納される。これらの各プログラムコードは、制御部２１のＣＰＵにより必要に応じて読み出されてＲＡＭに移され、各種の手段として実行される。
【００２４】
入力部２３は、データの入力を行い、例えば、タッチパネル、キー等の入力装置を有する。入力部２３を介して、コンピュータに対して、操作指示、動作指示、データ入力等を行うことができる。
表示部２４は、液晶パネル等のディスプレイ装置と連携してコンピュータのビデオ機能を実現するための論理回路等（ビデオアダプタ等）を有する。尚、入力部２３及び表示部２４は、タッチパネルディスプレイのように、一体となっていても良い。
通信部２５は、コンピュータとネットワーク１５間の通信を媒介する通信インタフェースであり、ネットワーク１５を介して、他のコンピュータ等と通信を行う。ネットワーク１５は、有線、無線を問わない。
バス２６は、各装置間の制御信号、データ信号等の授受を媒介する経路である。
【００２５】
チラシ情報ＤＢ５は、印刷会社等の企業に設置される端末１３ａを介して登録されるチラシ情報データに関する情報、チラシ画像データ等を保持する。
図３は、チラシ情報ＤＢ５が保持するチラシ情報データ５０の一例を示す図である。
チラシ情報データ５０は、チラシＩＤ５１、流通名５２、掲載チラシ５３、有効期限５４、チラシ画像データ５５等を有する。
【００２６】
チラシＩＤ５１は、チラシ情報データ５０を一意に識別する識別子である。
流通名５２は、チラシ情報データ５０を発行したスーパー、コンビニエンスストア等の小売／流通店舗等の名称である。
掲載チラシ５３は、チラシ情報データ５０の種類を示す名称であり、例えば、「１１／２５全店版」、「１１／２４Ｃ地区版」のように、チラシ情報データ５０が掲載された日付、チラシ情報データに掲載された情報の対象となる地域を組み合わせた名称である。
有効期限５４は、チラシ情報データ５０に掲載されている内容の有効期限である。
チラシ画像データ５５は、商品の画像、商品に関するテキスト情報を含むデジタル画像データである。
【００２７】
次に、図４〜図１０を参照しながら、サーバ３の機能について説明する。
サーバ３は、端末１３ｂの表示部２４上に表示されるチラシ画像データ５５内でユーザが指定した範囲を特定する範囲特定手段と、ユーザにより指定された範囲をユーザの点指定の特徴に基づくキャリブレーション情報により調整する範囲調整手段と、調整後の文字読取範囲内の画像データを切り抜く画像切り抜き手段と、調整後の文字読取範囲内に含まれる文字を認識してテキストデータを生成する文字認識手段を有する。
【００２８】
サーバ３の範囲特定手段は、端末１３ｂから指定されたチラシ画像データ５５を送信し、端末１３ｂの表示部２４上でユーザにより指定された座標等、文字読取範囲に関する情報を端末１３ｂから受信し、チラシ画像データ５５内の文字読取範囲を特定する。文字読取範囲は、矩形が望ましい。
【００２９】
図４は、端末１３ｂの画面上における文字読取範囲の指定の一例を示す図である。
ユーザは、表示部２４上に表示されるチラシ画像データ５５である画像４１の中で、気になる商品がある範囲を指定する。範囲の指定は、幅、高さに当たる３点を指等でタッチする。タッチする指はどの指を使ってもよく、両手の指を使ってタッチしてもよい。
【００３０】
図５は、文字読取範囲を定義する３点の例を示す図である。
文字読取範囲となる矩形を３点で定義するには、四隅のうちの２点と対辺１点を指定する、四隅のうちの１点と対辺２点を指定する、四隅のうちの２点を指定するという３通りが考えられる。この場合、サーバ３の範囲特定手段は、３点の中のＸ軸の最大値と最小値の差分を矩形の高さ、３点の中のＹ軸の最大値と最小値の差分を矩形の幅とし、矩形の内部を文字読取範囲として特定する。
図５（ａ）〜図５（ｄ）は、矩形の四隅のうちの２点と、その２点を結ぶ辺の対辺上の１点を指定した例である。
図５（ｅ）〜図５（ｈ）は、矩形の四隅のうちの１点と、その１点を含む辺の対辺上の２点を指定した例である。
図５（ｉ）〜図５（ｒ）は、矩形の四隅のうちの向かい合う２点を指定した例である。他の１点は矩形の定義に関与しない。
図５（ｓ）、図５（ｔ）のように３点がＸ軸あるいはＹ軸に平行に並んでいる場合、矩形を定義することができないため、端末１３ｂはユーザに対してエラーを返す。
【００３１】
サーバ３の画像切り抜き手段は、範囲特定手段により特定したチラシ画像データ５５内の文字読取範囲を切り抜き、切り抜いた文字読取範囲を端末１３ｂに送信する。端末１３ｂの表示部２４は、サーバ３から受信した文字読取範囲の画像データを表示し、ユーザに対して文字読取範囲が妥当かどうか判断を仰ぐ。
【００３２】
サーバ３の範囲調整手段は、ユーザの点指定の特徴に基づくキャリブレーション情報を保持し、キャリブレーション情報に基づいて文字読取範囲の調整を行う。
【００３３】
図６は、サーバ３による文字読取範囲４５の調整の一例を示す図である。
ユーザが初めて文字読取範囲指定システム１を利用する時のユーザ登録処理において、文字読取範囲の調整のためのユーザの点指定の特徴を測定する。
図６（ａ）に示すように、サーバ３は端末１３ｂの表示部２４上にキャリブレーション用の画像４１を表示する。キャリブレーション用の画像４１に含まれる文字読取範囲４５は、図６に示すように文字や絵柄があるものではなく、単なる矩形の枠のみであっても良い。いずれにしても、サーバ３は、ユーザに指定させる文字読取範囲４５の位置を予め記憶しておく。端末１３ｂは、ユーザに対して文字読取範囲４５を３点で指定するように要求する。ユーザは、端末１３ｂ上で文字読取範囲４５を指定するため、点４３ａ、４３ｂ、４３ｃにタッチする。端末１３ｂは、点４３ａ、４３ｂ、４３ｃの座標をサーバ３に送信する。
サーバ３は、受信した点４３ａ、４３ｂ、４３ｃの座標と、予め記憶している文字読取範囲４５の位置との誤差をユーザの点指定の特徴とし、ユーザＤＢ１１に登録する。例えば、ユーザが予め記憶している文字読取範囲４５よりも少し下の点を指定する傾向がある場合、サーバ３の範囲調整手段は、ユーザがタッチした点４３ａ、４３ｂ、４３ｃにより定義される矩形の範囲を上方向に修正することになる。
【００３４】
図１０は、ユーザＤＢ１１が保持するユーザデータ８０の一例を示す図である。
ユーザデータ８０は、ユーザＩＤ８１、ｘキャリブレーション値８２、ｙキャリブレーション値８３等を有する。また、タッチパネルの性能に左右する可能性が高い為、ユーザデータ８０は、キャリブレーションのために必要なデータとして、端末１３ｂの機種名（端末を識別する情報）を持つことが望ましい。また、ユーザデータ８０は、この他にユーザ名、ユーザが居住、生活する地域、性別や嗜好等の情報を持つようにしてもよい。
ユーザＩＤ８１は、ユーザを一意に識別する識別子である。
ｘキャリブレーション値８２は、例えば、ユーザが端末１３ｂ上で文字読取範囲４５を指定するためにタッチした点４３ａ、４３ｂ、４３ｃのＸ座標と、キャリブレーション用に予め記憶している文字読取範囲４５のＸ座標との誤差の平均値である。
ｙキャリブレーション値８３は、ユーザが端末１３ｂ上で文字読取範囲４５を指定するためにタッチした点４３ａ、４３ｂ、４３ｃのＹ座標と、キャリブレーション用に予め記憶している文字読取範囲４５のＹ座標との誤差の平均値である。
つまり、ｘキャリブレーション値８２、ｙキャリブレーション値８３は、サーバ３の範囲調整手段により複数回、ユーザの点指定の特徴を測定し、その平均値とする。
【００３５】
図６（ｂ）に示すように、ユーザが端末１３ｂの表示部２４上に表示された画像４１内で点４３ａ、４３ｂ、４３ｃにタッチした場合、サーバ３の範囲調整手段は、図６（ｃ）に示すように、点４３ａ、４３ｂ、４３ｃをユーザＤＢ１１のｘキャリブレーション値８２、ｙキャリブレーション値８３で上方向に修正した矩形を文字読取範囲４５とする。
尚、サーバ３の範囲調整手段は、範囲特定手段により特定した文字読取範囲を端末１３ｂの表示部２４上に表示させ、ユーザに対して文字読取範囲が妥当か判断を仰ぐ前に、ユーザＤＢ１１に登録したｘキャリブレーション値８２、ｙキャリブレーション値８３を用いて調整してもよい。つまり、サーバ３は、範囲調整後の文字読取範囲を端末１３ｂの表示部２４上に表示させ、ユーザに対して文字読取範囲が妥当か判断を仰いでもよい。
【００３６】
図７は、サーバ３の文字認識手段による文字読取範囲４５内の文字のテキストデータ化の一例を示す図である。
サーバ３の文字認識手段は、範囲特定手段により特定し、範囲調整手段により修正した文字読取範囲４５内に含まれる「北海道産白菜  １／４カット  ８８円」という文字を認識し、テキストデータ４７を生成する。
テキストデータ４７を修正後、サーバ３の文字認識手段は端末１３ｂの表示部２４にテキストデータ４７を表示し、ユーザに対してテキストデータ４７に過不足がないかの判断を仰ぎ、必要に応じて修正するようにしてもよい。
【００３７】
サーバ３は、画像切り抜き手段、文字認識手段により得られた情報をコマ情報ＤＢ７、商品情報ＤＢ９に登録する。
図８は、コマ情報ＤＢ７が保持するコマ情報データ６０の一例を示す図である。
コマ情報データ６０は、コマＩＤ６１、チラシＩＤ５１、掲載位置６２、商品画像６３、クリップ数６４等を有する。
【００３８】
コマＩＤ６１は、特定、修正した文字読取範囲４５をコマとして、一意に識別する識別子である。
チラシＩＤ５１は、特定、修正した文字読取範囲４５を掲載していたチラシ情報データ５０を一意に識別する識別子で、チラシ情報ＤＢ５のチラシ情報データ５０のチラシＩＤ５１と同じである。
掲載位置６２は、チラシＩＤ５１が識別するチラシ情報データ５０のチラシ画像データ５５内における文字読取範囲４５の位置を示すデータであり、例えば、チラシ画像データ５５内での文字読取範囲４５の左上のＸ座標、Ｙ座標である。
商品画像６３は、チラシ画像データ５５内から文字読取範囲４５で切り取った画像データである。
【００３９】
クリップ数６４は、コマＩＤ６１で識別されるコマがユーザにより３点指定によりクリップされた回数を示す。
サーバ３は、今回特定した文字読取範囲をコマとしてコマ情報ＤＢ７に登録するが、既にコマ情報ＤＢ７に登録されている場合はクリップ数６４のみを更新する。
【００４０】
通常、チラシ画像データ５５は、１辺が数千ピクセル単位であるため、商品情報データが同じであっても、掲載位置（座標）が一致する可能性は稀と思われる。そこで、コマ登録時に新たに登録されようとしているコマの掲載位置と、既に登録されているコマの掲載位置を比較し、掲載位置が重複している範囲が一定の値（例えば、０．７）以上のときにはコマを登録せず、クリップ数を更新する、という処理を行うことが望ましい。
【００４１】
図９は、商品情報ＤＢ９が保持する商品情報データ７０の一例を示す図である。
商品情報データ７０は、コマＩＤ６１、商品名７１、分量７２、価格７３等を有する。
コマＩＤ６１は、特定、修正した文字読取範囲４５をコマとして、一意に識別する識別子であり、コマ情報ＤＢ７のコマ情報データ６０のコマＩＤと同一である。
商品名７１は、コマＩＤ６１で識別されるコマに含まれる商品の名称であり、サーバ３の文字認識手段により生成したテキストデータ４７の中の商品名にあたる部分を抽出したテキストデータである。
分量７２は、コマＩＤ６１で識別されるコマに含まれる商品の分量であり、サーバ３の文字認識手段により生成したテキストデータ４７の中の分量にあたる部分を抽出したテキストデータである。例えば、「１／４カット」、「１玉」、「１００ｇ」等である。
価格７３は、コマＩＤ６１で識別されるコマに含まれる商品の価格であり、サーバ３の文字認識手段により生成したテキストデータ４７の中の価格にあたる部分を抽出したテキストデータである。
【００４２】
尚、文字認識を行い、テキストデータ化した時点で、人手を介さずに「商品名」、「分量」、「価格」を切り分けることは難しい。「価格」は、「数字」＋「円」なので、特定可能な場合があるものの、少なくとも「商品名」と「分量」は、１つのテキストデータとしてデータベースに登録されることになる。そこで、例えば、サーバ３は、端末１３ｂから、テキストデータの変更指示を受け付けて、後から「商品名」、「分量」、「価格」を切り分ける機能を提供しても良い。
【００４３】
次に、図１１を参照しながら、文字読取範囲指定システム１における処理の流れについて説明する。
図１１は、文字読取範囲指定システム１における処理の流れを示すフローチャートである。
ユーザが端末１３ｂからサーバ３にアクセスすると、サーバ３の制御部２１は端末１３ｂを介してユーザにユーザＩＤを登録済みであるか問い合わせ、登録済みならば（ステップＳ１０１のＮｏ）、ログイン処理に進む。
【００４４】
ユーザがユーザＩＤを未登録である場合（ステップＳ１０１のＹｅｓ）、サーバ３の制御部２１は、ユーザが端末１３ｂの表示部２４上で画像データを選択するための３点指定の特徴を抽出し（ステップＳ１０２）、抽出した３点指定の特徴をキャリブレーション情報としてユーザＤＢ１１に登録する（ステップＳ１０３）。キャリブレーション情報の算出方法は前述の通りである。
【００４５】
サーバ３の制御部２１は、ユーザのログイン処理を行い、チラシ情報ＤＢ５からユーザが閲覧可能なチラシ情報データ５０のリストを生成し、端末１３ｂに送信する。端末１３ｂの制御部２１は、表示部２４に閲覧可能なチラシ情報データ５０のリストを表示する（ステップＳ１０４）。
ユーザが閲覧可能なチラシ情報データ５０は、チラシ情報ＤＢ５の中から有効期限５４を経過していないものを選択する。また、ユーザの居住、生活地域等を考慮してもよい。
閲覧可能なチラシ情報データ５０のリストは、チラシ情報データ５０を発行した流通名５２や、掲載日や地域を示す掲載チラシ５３等の情報を有する。
【００４６】
端末１３ｂの制御部２１は、表示部２４に表示した閲覧可能なチラシ情報データ５０のリストの中からユーザが選択したチラシ情報データ５０をサーバ３に通知する。サーバ３の制御部２１は、該当するチラシ情報データ５０のチラシ画像データ５５を端末１３ｂに送信し、端末１３ｂの制御部２１は受信したチラシ画像データ５５を表示部２４に表示する（ステップＳ１０５）。
【００４７】
ユーザは、端末１３ｂの表示部２４に表示されたチラシ画像データ５５を閲覧し、気になる商品、買いたい商品が表示されている範囲を指で３点タッチすることにより指定する。
端末１３ｂの制御部２１は、ユーザによりタッチされた３点の座標をサーバ３に送信する。サーバ３の制御部２１は、チラシ画像データ５５内で指定された３点の座標により定義される文字読取範囲４５を特定して、切り抜いた画像データを端末１３ｂに送信する。端末１３ｂの制御部２１は、受信した画像データを表示部２４に表示する（ステップＳ１０６）。
ユーザが文字読取範囲４５は妥当ではないと判断した場合（ステップＳ１０７のＮｏ）、ステップＳ１０６に戻り、ユーザは範囲の指定をやり直す。あるいは、ユーザが端末１３ｂの表示部２４上に表示された文字読取範囲４５の範囲を修正するようにしてもよい。
【００４８】
ユーザが文字読取範囲４５は妥当であると判断した場合（ステップＳ１０７のＹｅｓ）、端末１３ｂの制御部２１は、ユーザが指定した３点の座標をサーバ３に送信し、サーバ３の制御部２１は指定された３点の座標を受信する（ステップＳ１０８）。
サーバ３の制御部２１は、ユーザＤＢ１１のユーザデータのｘキャリブレーション値８２、ｙキャリブレーション値８３に基づいて、３点の座標を調整する(ステップＳ１０９)。例えば、調整後Ｘ座標＝Ｘ座標＋ｘキャリブレーション値、調整後Ｙ座標＝Ｙ座標＋ｙキャリブレーション値とする。
サーバ３の制御部２１は、ステップＳ１０６におけるチラシ画像データ５５から特定した文字読取範囲４５を切り抜く前に、ユーザＤＢ１１のユーザデータのｘキャリブレーション値８２、ｙキャリブレーション値８３に基づいて、特定した文字読取範囲４５を調整するようにしてもよい。
【００４９】
サーバ３の制御部２１は、調整後の３点のＸ座標、Ｙ座標で定義される範囲をチラシ画像データ５５から切り抜き、切り抜いた画像データ内に含まれる文字を認識し、テキストデータを生成する（ステップＳ１１０）。
サーバ３の制御部２１は、切り抜いた画像データをコマとしてコマ情報ＤＢ７に登録し、生成したテキストデータを商品情報ＤＢ９に登録する（ステップＳ１１１）。
切り抜いた画像データが既にコマとして登録されている場合、サーバ３の制御部２１は、コマ情報ＤＢ７のコマ情報データ６０のクリップ数６４のみを１増分する。
サーバ３は、今回特定した文字読取範囲をコマとしてコマ情報ＤＢ７に登録する。
【００５０】
尚、図１１に示す例では、ステップＳ１０８〜ステップＳ１１０を、端末１３ｂ及びサーバ３の対話処理によって実現しているが、本発明は、この例に限定されない。例えば、端末１３ｂが、ステップＳ１０８〜ステップＳ１１０と同等の処理を全て実行しても良い。具体的には、端末１３ｂの制御部２１は、ステップＳ１０８を実行せず、ステップＳ１０９に代えて、サーバ３から送信される或いは端末１３ｂの記憶部２２に記憶される、ユーザＤＢ１１のユーザデータのｘキャリブレーション値８２、ｙキャリブレーション値８３に基づいて、３点の座標を調整する。次に、端末１３ｂの制御部２１は、ステップＳ１１０に代えて、調整後の３点のＸ座標、Ｙ座標で定義される範囲をチラシ画像データ５５から切り抜き、切り抜いた画像データ内に含まれる文字を認識し、テキストデータを生成する。そして、端末１３ｂの制御部２１は、生成されるテキストデータをサーバ３に送信する。サーバ３は、ステップＳ１１１において、端末１３ｂから送信されるテキストデータを受信し、商品情報ＤＢ９に登録する。
【００５１】
文字読取範囲指定システム１では、サーバ３の制御部２１が、生成したテキストデータを買い物リストとして、端末１３ｂの表示部２４上にチラシ画像データ５５と共に表示してもよい。
図１２は、端末１３ｂの表示部２４上でのチラシの画像４１と買い物リスト４２を表示した一例を示す図である。
サーバ３の制御部２１は、端末１３ｂの表示部２４上に表示された画像４１の中でユーザにより指定された文字読取範囲４５から生成した商品に関するテキストデータである商品情報データ７０の商品名７１、分量７２、価格７３を用いて、買い物リスト４２を生成し、端末１３ｂに送信する。端末１３ｂの制御部２１は、受信した買い物リスト４２を表示部２４に表示する。
買い物リスト４２には、ユーザが端末１３ｂの表示部２４上でクリップした商品に関する情報が表示される。
画像４１内で、ユーザがクリップした文字読取範囲４５については他の箇所と色を変えることにより、ユーザがクリップした商品が容易にわかるようにしてもよい。
【００５２】
文字読取範囲指定システム１では、コマ情報ＤＢ７に保持されているコマ情報データ６０のクリップ数６４を用いて、ユーザによる閲覧状況を分析することができる。
図１３は、コマ情報データ６０、商品情報データ７０のデータの一例を示す図である。
コマ情報ＤＢ７のコマ情報データ６０と、商品情報ＤＢ９の商品情報データ７０はコマＩＤ６１により関連付けられている。また、チラシ情報ＤＢ５のチラシ情報データ５０と、コマ情報ＤＢ７のコマ情報データ６０はチラシＩＤ５１で関連付けられている。
例えば、コマ毎にチラシ情報データの流通名５２、掲載チラシ５３、商品情報データの商品名７１、分量、価格７３、コマ情報データ６０のクリップ数６４を抽出し、クリップ数６４が多い順に並べることにより、どのチラシのどの商品がユーザの興味を引いているのか、あるいは、どの店でいくらで売った商品が注目されたのか等を分析することができる。
また、一つのチラシ画像データ５５内でコマ毎のクリップ数６４を比較し、チラシ画像データ５５の中のどの部分が注目されたのかを分析することができる。
【００５３】
以上説明したように、本発明に係る文字読取範囲指定システム１では、ユーザは端末１３ｂのタッチパネルディスプレイのような表示部２４上で３点を指定することにより、チラシに掲載されている商品の中から買いたい商品、気になる商品等をクリップすると、サーバ３はコマ情報データ６０、商品情報データ７０として保存する。チラシ情報データ５０のチラシ画像データ５５内での文字読取範囲４５から切り取った商品画像６３と、文字読取範囲４５に含まれるテキストデータ４７から抽出した商品名７１、分量７２、価格７３は関連付けられている。
【００５４】
ユーザが画像データ内の文字読取範囲を指定し、サーバが文字読取範囲に含まれる文字を認識してテキストデータを生成することにより、タッチパネルディスプレイを入力手段とする端末において、ユーザが効率的に文字読取範囲を指定することが可能となる。特に、画像データのテキスト化と、画像データとテキストデータの関連付けが容易に可能となり、人手による入力の負荷がなくなる。
３点による文字読取範囲の指定は、ユーザにとって容易な操作であり、また、端末の画面上における一般的な操作と差別化しやすい。本発明に係る文字読取範囲指定システムでは、指定された３点により、Ｘ軸に平行な２辺、Ｙ軸と平行な２辺から成る矩形を一意に定義することができる。
また、予め、ユーザ毎に文字読取範囲における点指定の特徴を登録し、点指定の特徴を用いて文字読取範囲を調整することにより、ユーザの指定の特徴（例えば、文字読取範囲の指定が一定の方向にずれやすいなど。）に合わせて、適切な文字読取範囲を指定することができる。
【００５５】
チラシ画像データをテキスト化することにより、ユーザはチラシ画像データから買い物リスト４２の作成することができる。また、ユーザがクリップした商品に関する情報をテキストデータとして表示することにより、ユーザは、スマートフォンのように画面が小さい端末では見えづらい細かい字も容易に読むことができる。
また、流通／小売側では、クリップ数を分析することにより、チラシ掲載商品の注目度の調査が可能となる。
また、ユーザは、自分以外の他のユーザがどのような商品に注目しているのかについても知ることができる。
【００５６】
文字読取範囲指定システム１では、チラシ画像データに限らず、任意の画像データを用いて同様の処理が可能である。
例えば、雑誌や新聞の記事をテキスト化することにより、ユーザはスクラップブックの作成が容易となる。また出版社、新聞社では、クリップ数を分析することにより、読者の関心の把握することが可能となる。
【００５７】
以上、添付図面を参照しながら、本発明に係る文字読取範囲指定システム等の好適な実施形態について説明したが、本発明は係る例に限定されない。当業者であれば、本願で開示した技術的思想の範疇内において、各種の変更例又は修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５８】
１………文字読取範囲指定システム
３………サーバ
５………チラシ情報ＤＢ
７………コマ情報ＤＢ
９………商品情報ＤＢ
１１………ユーザＤＢ
１３ａ、１３ｂ………端末
２１………制御部
２２………記憶部
２３………入力部
２４………表示部
２５………通信部
２６………バス
４１………画像
４３ａ，４３ｂ，４３ｃ………点
４５………文字読取範囲
４７………テキストデータ
５０………チラシ情報データ
５１………チラシＩＤ
５２………流通名
５３………掲載チラシ
５４………有効期限
５５………チラシ画像データ
６０………コマ情報データ
６１………コマＩＤ
６２………掲載位置
６３………商品画像
６４………クリップ数
７０………商品情報データ
７１………商品名
７２………分量
７３………価格
８０………ユーザデータ
８１………ユーザＩＤ
８２………ｘキャリブレーション値
８３………ｙキャリブレーション値
【図１】
2013206131.tif 000003
【図２】
2013206131.tif 000004
【図３】
2013206131.tif 000005
【図４】
2013206131.tif 000006
【図５】
2013206131.tif 000007
【図６】
2013206131.tif 000008
【図７】
2013206131.tif 000009
【図８】
2013206131.tif 000010
【図９】
2013206131.tif 000011
【図１０】
2013206131.tif 000012
【図１１】
2013206131.tif 000013
【図１２】
2013206131.tif 000014
【図１３】
2013206131.tif 000015