(57)【要約】【課題】紙媒体が読取可能範囲に収まりきらないときにも、そこに含まれる所定の項目の文字を的確に取得できるようにする。【解決手段】画像処理装置１０２は、読取装置１０１で紙媒体を読み取ることにより生成されるスキャン画像の処理を行う。制御部１０９は、例えば読取装置１０１で読み取った紙媒体が読取装置１０１の読取可能範囲を超えている場合、読取装置１０１で読み取った紙媒体に関する情報を一時保存装置１１５に保存するよう制御する。第２の判定部１１２は、読取装置１０１で読み取った紙媒体が、一時保存装置１１５の保存対象の紙媒体と同一であるか否かを判定する。管理部１１４は、第２の判定部１１２で同一であると判定した複数の紙媒体の画像から抽出した所定の項目の文字をマージして、情報管理装置１０３に情報を登録する。【選択図】図１
2020137049.tif 000002
【特許請求の範囲】
【請求項１】
読取装置で紙媒体を読み取ることにより生成される画像の処理を行う画像処理装置であって、
前記読取装置で読み取った紙媒体の画像から文字を抽出する文字抽出手段と、
所定の条件に応じて、前記読取装置で読み取った紙媒体に関する情報を保存手段に保存するよう制御する制御手段と、
前記読取装置で読み取った紙媒体が、前記保存手段の保存対象の紙媒体と同一であるか否かを判定する同一判定手段と、
前記同一判定手段で同一であると判定した複数の紙媒体の画像から前記文字抽出手段により抽出した所定の項目の文字をマージするマージ手段とを備えたことを特徴とする画像処理装置。
【請求項２】
前記同一判定手段は、前記読取装置で読み取った紙媒体の画像と、前記保存手段の保存対象の紙媒体の画像とを比較して、紙媒体領域の辺の長さに基づいて、同一であると判定することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記読取装置で読み取った紙媒体が、前記読取装置の読取可能範囲を超えているか否かを判定する読取可能範囲判定手段を備え、
前記制御手段は、前記読取可能範囲判定手段の判定結果に応じて、前記読取装置で読み取った紙媒体に関する情報を保存手段に保存するよう制御することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記読取可能範囲判定手段は、前記読取装置で読み取った紙媒体の画像の外接の画素値に白とみなせる画素が存在し、かつ、当該紙媒体の画像の最も外側に接する紙媒体領域の辺長さが当該紙媒体の固定長に相当する場合、読取可能範囲を超えていると判定することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記制御手段は、前記読取装置で読み取った紙媒体の画像から前記文字抽出手段により前記所定の項目すべての文字の抽出に成功した場合、前記保存手段の保存対象としないことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記制御手段は、前記読取装置で読み取った紙媒体に関する情報を前記保存手段に保存するときに、ユーザに確認することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記制御手段は、前記マージ手段でマージが完了した、前記保存手段の保存対象の紙媒体に関する情報を前記保存手段から削除することを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
【請求項８】
前記読取装置で読み取った紙媒体の画像を紙媒体領域毎に分割する分割手段を備えたことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
読取装置で紙媒体を読み取ることにより生成される画像の処理を行う画像処理装置の制御方法であって、
所定の条件に応じて、前記読取装置で読み取った紙媒体に関する情報を保存手段に保存するステップと、
前記読取装置で読み取った紙媒体が、前記保存手段の保存対象の紙媒体と同一であるか否かを判定する同一判定処理を行うステップと、
前記同一判定処理で同一であると判定した複数の紙媒体の画像から抽出した所定の項目の文字をマージするステップとを有することを特徴とする画像処理装置の制御方法。
【請求項１０】
読取装置で紙媒体を読み取ることにより生成される画像の処理を行うためのプログラムであって、
前記読取装置で読み取った紙媒体の画像から文字を抽出する文字抽出手段と、
所定の条件に応じて、前記読取装置で読み取った紙媒体に関する情報を保存手段に保存するよう制御する制御手段と、
前記読取装置で読み取った紙媒体が、前記保存手段の保存対象の紙媒体と同一であるか否かを判定する同一判定手段と、
前記同一判定手段で同一であると判定した複数の紙媒体の画像から前記文字抽出手段により抽出した所定の項目の文字をマージするマージ手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、その制御方法及びプログラムに関する。
【背景技術】
【０００２】
紙媒体の画像や文字をデジタル静止画像情報化し、パーソナルコンピュータ等に取り込む際に使用する機器として、イメージングスキャナや複合機等の読取装置が知られている。これらの読取装置では、文字原稿等のモノクロ画像や、雑誌等のカラー画像、現像された写真等、多くの種類の紙媒体を読み取ることができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２８８７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
読取装置を使用したユースケースの一つとして、例えば経費精算作業を簡易化するために、精算対象のレシートや領収書を読取装置で読み取り、そこに含まれる日付や合計金額等の文字列を抽出して、情報管理装置に登録するようなものがある。
ところが、例えばレシートは、店舗や購入した品数等によって長さが異なる。そのため、レシートを読取装置の原稿台に置いたときに、レシートが長尺であるために読取可能範囲に収まらなかったり、他のレシートや領収書と並べて配置する上でやむを得ず読取可能範囲に収まらなかったりする場合がある。この場合、１回でレシートを読み取ることができないため、複数回に分けて読み取る必要がある。しかしながら、複数回に分けて読み取ることで、それぞれが独立したレシートとして扱われてしまうため、読み取った結果の結合や修正をユーザが手動で行う必要があり、ユーザにとって煩雑な処理となる。
【０００５】
特許文献１には、原稿面が最大スキャン可能範囲よりも大きい原稿を複数回に分割して読み取り、連続性が確認されると、該分割読取画像をその連続性に応じた状態で結合する技術が開示されている。
しかしながら、特許文献１では、分割読取画像を結合する構成が開示されているが、そこに含まれる文字を取得することについては言及されていない。上述したユースケースでは、特許文献１のように分割読取画像を結合することよりも、紙媒体に含まれる所定の項目の文字を的確に取得できるようにすることが重要である。
【０００６】
本発明は上記問題点に鑑みてなされたものであり、紙媒体が読取可能範囲に収まりきらないときにも、そこに含まれる所定の項目の文字を的確に取得できるようにすることを目的とする。
【課題を解決するための手段】
【０００７】
本発明の画像処理装置は、読取装置で紙媒体を読み取ることにより生成される画像の処理を行う画像処理装置であって、前記読取装置で読み取った紙媒体の画像から文字を抽出する文字抽出手段と、所定の条件に応じて、前記読取装置で読み取った紙媒体に関する情報を保存手段に保存するよう制御する制御手段と、前記読取装置で読み取った紙媒体が、前記保存手段の保存対象の紙媒体と同一であるか否かを判定する同一判定手段と、前記同一判定手段で同一であると判定した複数の紙媒体の画像から前記文字抽出手段により抽出した所定の項目の文字をマージするマージ手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、紙媒体が読取可能範囲に収まりきらないときにも、そこに含まれる所定の項目の文字を的確に取得することができる。
【図面の簡単な説明】
【０００９】
【図１】第１の実施形態に係る情報管理システムの構成例を示すブロック図である。
【図２】画像処理装置のハードウェア構成例を示すブロック図である。
【図３】ユースケースを説明するための図である。
【図４】一時保存装置で保存する情報の例を示す図である。
【図５】第１の実施形態において画像処理装置が実行する処理を示すフローチャートである。
【図６】第１の実施形態における長尺帳票の判定処理を示すフローチャートである。
【図７】第１の実施形態における一時保存処理を示すフローチャートである。
【図８】一時保存の確認画面及び続きスキャンの指示画面の例を示す図である。
【図９】第１の実施形態における同一判定処理を示すフローチャートである。
【図１０】第１の実施形態におけるマージ処理の概要を説明するための図である。
【図１１】第２の実施形態における一時保存処理を示すフローチャートである。
【図１２】これ以上のスキャンを必要としないケースを説明するための図である。
【図１３】失敗通知画面の例を示す図である。
【図１４】第３の実施形態における一時保存処理を示すフローチャートである。
【図１５】一時保存の確認画面及び続きスキャンの指示画面の例を示す図である。
【発明を実施するための形態】
【００１０】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
［第１の実施形態］
図１は、第１の実施形態に係る情報管理システムの構成例を示すブロック図である。
情報管理システムは、読取装置１０１と、画像処理装置１０２と、情報管理装置１０３とを備える。
【００１１】
読取装置１０１は、紙媒体を読み取り（以下、スキャンともいう）、画像形式の電子データを生成する。本実施形態では、紙媒体のことを帳票と呼ぶ。
読取装置１０１は、原稿読取部１０４と、画像形成部１０５と、ユーザインタフェース１０６とを備える。
原稿読取部１０４は、帳票をスキャンする。
画像形成部１０５は、原稿読取部１０４でスキャンした帳票の画像（以下、スキャン画像と呼ぶ）のデータを生成する。
ユーザインタフェース１０６は、スキャン時の各種設定、スキャン画像のプレビュー表示等が可能なグラフィカルなインタフェースである。
本実施形態では、読取装置１０１として複合機を想定し、複合機の原稿台から帳票をスキャンすることを想定して説明を行うが、本発明はこれに限定されるものではない。また、一台の読取装置１０１を図示するが、読取装置１０１は複数台存在してもよい。
【００１２】
画像処理装置１０２は、読取装置１０１で生成したスキャン画像のデータを受信し、情報管理装置１０３に情報を登録するまでの一連の処理を行う。画像処理装置１０２は、受信部１０７と、画像分割部１０８と、制御部１０９と、ユーザインタフェース１１０と、第１の判定部１１１と、第２の判定部１１２と、文字抽出部１１３と、管理部１１４と、一時保存装置１１５とを備える。
受信部１０７は、読取装置１０１で生成したスキャン画像のデータを受信する。
画像分割部１０８は、受信部１０７で受信したスキャン画像を、帳票領域毎に分割する。これは、図３を用いて後述するように、複数枚の帳票を一度にスキャンすることが可能なユースケースを想定しているためである。以下、分割後の画像を、帳票画像と呼ぶ。
制御部１０９は、各部を制御する。
【００１３】
第１の判定部１１１は、帳票画像の帳票、すなわち読取装置１０１でスキャンした帳票が、読取装置１０１の読取可能範囲を超えているか否かを判定する。第１の判定部１１１の処理の詳細は後述する。なお、本実施形態では、第１の判定部１１１が、本発明でいう読取可能範囲判定手段として機能する。
第２の判定部１１２は、帳票画像の帳票が、一時保存装置１１５の保存対象の帳票と同一であるか否かを判定する。第２の判定部１１２の処理の詳細は後述する。なお、本実施形態では、第２の判定部１１２が、本発明でいう同一判定手段として機能する。
【００１４】
文字抽出部１１３は、帳票画像から文字を抽出する。
管理部１１４は、情報管理装置１０３を管理し、そこから選ばれた情報管理装置１０３に対して登録したい情報を送信する等の処理を行う。また、管理部１１４は、詳細は後述するが、情報管理装置１０３に情報を登録する際に、帳票画像から文字抽出部１１３により抽出した文字をマージする機能を有する。
一時保存装置１１５は、所定の条件に応じて、本実施形態では第１の判定部１１１での判定結果に応じて、読取装置１０１でスキャンした帳票に関する情報として帳票画像の情報を保存する。以下、一時保存装置１１５の保存対象の帳票を、一時保存帳票と呼ぶ。一時保存装置１１５で保存する情報の詳細は後述する。
【００１５】
情報管理装置１０３は、画像処理装置１０２で処理した画像や、スキャン画像から抽出した文字を格納し、管理する。情報管理装置１０３は、例えば経費精算の情報を管理するものや、名刺情報を管理するものが挙げられる。このように管理する情報の種類に応じて複数の情報管理装置１０３を存在することもある。
【００１６】
なお、図１では、読取装置１０１、画像処理装置１０２、情報管理装置１０３を別々の装置として説明したが、本発明はこの構成に限定されるものではない。例えば画像処理装置１０２の機能を読取装置１０１に搭載するような構成としても、本発明を実現することは可能である。このように本発明の機能が実現されるのであれば、単体の機器であっても、ＬＡＮやＷＡＮ等のネットワークを介して相互に接続される複数の機器からなるシステムであってもよい。
【００１７】
図２は、画像処理装置１０２のハードウェア構成例を示すブロック図である。
画像処理装置１０２は、ＣＰＵ２０１、ＲＡＭ２０２、ハードディスク２０３、ディスプレイコントローラ２０４、ＲＯＭ２０５、外部記憶ドライブ２０６、メディア２０７、キーボードコントローラ２０８を備える。ＣＰＵ２０１は、ＲＯＭ２０５のプログラム用ＲＯＭ或いはハードディスク２０３に記憶されたプログラム等に基づいて処理を実行する。ＲＯＭ２０５のプログラム用ＲＯＭ或いはハードディスク２０３は、ＣＰＵ２０１の制御プログラムであるＯＳ等を記憶する。また、ＣＰＵ２０１は、システムバスに接続される各デバイスを総括的に制御する。また、ＣＰＵ２０１は、ディスプレイ上のマウスカーソル等で指示されたコマンドに基づいて登録された種々のウインドウを開き、種々のデータ処理を実行する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ハードディスク２０３には、ブートプログラム、各種のアプリケーション、ユーザファイル、画像ファイル等が記憶される。ディスプレイコントローラ２０４は、ディスプレイの表示を制御する。外部記憶ドライブ２０６は、ＣＤ、ＤＶＤ等のメディア２０７とのアクセスを制御する。キーボードコントローラ２０８は、キーボードやポインティングデバイスからのキー入力を制御する。
ここでは、画像処理装置１０２のハードウェア構成を説明したが、読取装置１０１及び情報管理装置１０３も同様のハードウェア構成を有する。
【００１８】
図３は、本実施形態において想定するユースケースを説明するための図である。ここで述べるユースケースは、「読取装置１０１で複数枚のレシートをスキャンし、レシートに含まれる所定の項目の文字を、画像処理装置１０２を介して情報管理装置１０３に登録する」というものである。
図３（ａ）は、読取装置１０１の原稿台３０１に２枚のレシート３０２を置いてスキャンする様子を示す。Ａ４サイズ等の原稿をスキャンする場合は、原稿台３０１に１枚の原稿を置いて読み取りを行うのが一般的である。一方で、レシート３０２のように１枚あたりのサイズが小さく、複数枚配置可能な場合は、「マルチクロップ」も可能である。「マルチクロップ」とは、原稿台３０１に複数枚の帳票を置いた後にプレビューを行い、枚数と位置を自動的に検出し、一度のスキャンによって複数枚の帳票を、互いに独立の画像として自動的に読み取る機能である。
ここで、例えば図中の左側のレシート３０２のように、読取可能範囲に収まりきらない長尺のもの（以下、長尺帳票と呼ぶ）が存在することがある。
【００１９】
図３（ｂ）は、図３（ａ）に示すように２枚のレシート３０２をスキャンすることにより生成されるスキャン画像３０３を示す。図３（ｂ）に示すように、１回のスキャンにより１つのスキャン画像３０３が生成され、そのスキャン画像３０３に２枚のレシート３０２が含まれている。スキャン画像３０３の背景は、黒となっているのが一般的である。これは、次に述べるように、各レシート３０２の画像を切り出すときに、この処理を精度よく行うのに望ましいからである。なお、黒背景に限定されるものではなく、切り出し処理を行えるものであればよい。図３（ｂ）では、スキャン画像３０３に２枚のレシート３０２が含まれており、以降の処理を帳票単位で実施するために、スキャン画像３０３を帳票領域毎に分割して、帳票画像を生成する。
【００２０】
図３（ｃ）は、スキャン画像３０３を帳票領域毎に分割して生成した帳票画像３０４を示す。スキャン画像３０３には２枚のレシート３０２が含まれており、以降の処理を帳票単位で実施するために、スキャン画像３０３を帳票領域毎に分割して、帳票画像３０４を生成する。図３（ｃ）に示すように、スキャン画像３０３から背景部分が削除され、２枚のレシート３０２に対応する、２つの帳票画像３０４が生成される。
【００２１】
図３（ｄ）は、帳票画像３０４から、所定の項目の文字を抽出する様子を示す。ここでは、「店舗名」、「発行日時」、「合計」の３項目の文字列を抽出するようになっている。このようにして抽出した文字を情報管理装置１０３に自動登録して終了となる。図３（ｄ）は、図３（ａ）〜（ｂ）の右側のレシート３０２の帳票画像３０４を示し、「店舗名」、「発行日時」、「合計」の３項目の文字列を抽出できる。一方、図３（ａ）〜（ｂ）の左側のレシート３０２の帳票画像３０４では、長尺のため読取可能範囲を超えており、「合計」の文字列を抽出できない。
なお、本実施形態では、「店舗名」、「発行日時」、「合計」の３項目を挙げたが、これに限定されるものではなく、所定の項目は、帳票の種類やユースケースによって異なる。例えばレシート等による経費精算を行うユースケースであれば、「店舗名」、「発行日時」、「合計」が必要になる一方、名刺の管理を行うユースケースであれば、例えば「会社名」、「氏名」、「連絡先」が必要になる。所定の項目は、帳票の種類に応じて予め決められており、ユーザが変更することはできない。
【００２２】
図４は、画像処理装置１０２の一時保存装置１１５で保存する情報の例を示す図である。一時保存装置１１５には、第１の判定部１１１での判定結果に応じて、保存対象となった帳票画像３０４の情報が保存される。詳細には、ＩＤ４０１、帳票の種類４０２、画像ＵＲＬ４０３、項目４０４及び文字列４０５が保存される。
ＩＤ４０１は、帳票画像３０４を一意に識別する識別子である。
種類４０２は、帳票画像３０４の帳票の種類を示す。帳票の種類としては、例えばレシート、健康診断書、名刺等があり、帳票画像３０４から文字を抽出する際、帳票の特徴に応じていずれかの種類に関連付けられる。なお、サポートする帳票の種類は、事前に登録されているものとする。
画像ＵＲＬ４０３は、帳票画像３０４の画像ファイルの位置を一意に表すＵＲＬである。ここでは、画像ファイルをハードディスク２０３に保存する前提とするが、例えばファイルではなくメモリ内にストリームデータとして保持していてもよい。
項目４０４及び文字列４０５は、２つで１セットであり、帳票画像３０４から抽出した文字列が含まれる。例えばＩＤ「０００１」では、種類が「レシート」であり、項目が「店舗名」、「発行日時」、「合計」の３項目である。なお、「店舗名」、「発行日時」の文字列は抽出できているが、「合計」の文字列は抽出できていない。また、ＩＤ「０００３」では、ＩＤ「０００１」と異なり、種類が「健康診断書」であり、項目が「氏名」、「身長」、「体重」の３項目である。
【００２３】
図５のフローチャートを参照して、第１の実施形態において画像処理装置１０２が実行する処理を説明する。図５のフローチャートの処理は、例えばＣＰＵ２０１が、ハードディスク２０３に記憶されたプログラムをＲＡＭ２０２に読み出して実行することにより実現される。
ステップＳ５０１で、制御部１０９の制御下、受信部１０７は、読取装置１０１で生成したスキャン画像３０３のデータを受信する。
ステップＳ５０２で、制御部１０９の制御下、画像分割部１０８は、ステップＳ５０１において受信したスキャン画像３０３を帳票領域毎に分割して、帳票画像３０４を生成する。
【００２４】
ステップＳ５０３で、制御部１０９は、一時保存装置１１５で保存する情報の有無を参照することで、一時保存帳票が存在するか否かを判定する。一時保存帳票が存在しない場合、ステップＳ５０４に進み、一時保存帳票が存在する場合、ステップＳ５０７に進む。
【００２５】
ステップＳ５０４で、第１の判定部１１１は、長尺帳票の判定処理を実行し、処理対象の帳票画像３０４の帳票が、読取装置１０１の読取可能範囲を超えているか否かを判定する。この長尺帳票の判定処理の詳細は、図６を用いて後述する。
ステップＳ５０５で、文字抽出部１１３は、処理対象の帳票画像３０４から文字を抽出する。
ステップＳ５０６で、制御部１０９は、一時保存処理を実行し、ステップＳ５０４の長尺帳票の判定処理の判定結果に応じて、処理対象の帳票画像３０４の情報を一時保存装置１１５に保存する。この一時保存処理の詳細は、図７を用いて後述する。
【００２６】
ステップＳ５０７で、第２の判定部１１２は、同一判定処理を実行し、処理対象の帳票画像３０４の帳票が、一時保存帳票と同一であるか否かを判定する。この同一判定処理の詳細は、図９を用いて後述する。
ステップＳ５０８で、制御部１０９は、ステップＳ５０７の同一判定処理の判定結果を受けて、同一でないと判定した場合、処理対象の帳票画像３０４は、一時保存帳票画像３０４の続きではないとして、ステップＳ５０４に進む。一方、制御部１０９は、ステップＳ５０７の同一判定処理の結果を受けて、同一であると判定した場合、処理対象の帳票画像３０４は、一時保存帳票画像３０４の続きであるとして、ステップＳ５０９に進む。
【００２７】
ステップＳ５０９で、制御部１０９の制御下、管理部１１４は、処理対象の帳票画像３０４及びそこから抽出した所定の項目の文字と、一時保存帳票画像３０４及びそこから抽出した所定の項目の文字とをマージし、情報管理装置１０３への登録を行う。
ステップＳ５１０で、制御部１０９は、ステップＳ５０９においてマージが完了した一時保存帳票画像３０４の情報を一時保存装置１１５から削除し、本フローを終了する。
【００２８】
次に、図６を参照して、図５のステップＳ５０４の長尺帳票の判定処理を説明する。
ステップＳ６０１で、第１の判定部１１１は、スキャン画像３０３の外接の画素値を取得する。
ステップＳ６０２で、第１の判定部１１１は、スキャン画像３０３の外接の画素値に白画素が存在するか否かを判定する。白画素が存在しない場合、帳票は読取装置１０１の読取可能範囲に収まっているとして、本フローを終了する。白画素が存在する場合、ステップＳ６０３に進む。図３（ｂ）に示すように、長尺帳票は、読取可能範囲を超えており、帳票領域がスキャン画像３０３の最も外側（スキャン画像３０３の辺）に接する。したがって、スキャン画像３０３の外接の画素値を参照することにより、長尺帳票が存在するか否かを判定することができる。なお、白画素が存在するか否かを判定すると表現したが、実際は判定のための閾値を設定し、閾値以上の画素値、すなわち白画素とみなされる画素であれば長尺帳票が含まれていると判定する。
【００２９】
ステップＳ６０３で、第１の判定部１１１は、スキャン画像３０３の辺に接する帳票領域を抽出する。
ステップＳ６０４で、第１の判定部１１１は、スキャン画像３０３の辺に接する帳票領域の辺長さが、当該帳票の固定長に相当するか否かを判定する。固定長に相当する場合、ステップＳ６０５に進み、長尺帳票であると判定して、本フローを終了する。一方、固定長に相当しない場合、本フローを終了する。例えばレシートは、幅は一定であるが、長さが可変の帳票である。スキャン画像３０３の辺に接する帳票領域の辺長さが可変長（レシートの長さ）に相当する場合は、そもそも帳票が原稿台３０１に正しく置かれていないということになるため、長尺帳票であるとの判定は行わない。逆に、スキャン画像３０３の辺に接する帳票領域の辺長さが固定長（レシートの幅）に相当する場合は、図３（ｂ）に示すように、帳票の一部が読取可能範囲を超えて配置されているということになるため、長尺帳票であると判定する。
【００３０】
次に、図７を参照して、図５のステップＳ５０６の一時保存処理を説明する。
ステップＳ７０１で、制御部１０９は、処理対象の帳票画像３０４の帳票が長尺帳票であるか否かを判定する。すなわち、図５のステップＳ５０４において長尺帳票であると判定されたか否かを確認する。長尺帳票でないと判定された場合、読取可能範囲に収まっている帳票であり、その帳票のスキャンは完了しているため、ステップＳ７０２に進み、管理部１１４は、帳票画像３０４及びそこから抽出した所定の項目の文字を情報管理装置１０３に登録する。長尺帳票であると判定された場合、ステップＳ７０３に進む。
【００３１】
ステップＳ７０３で、制御部１０９は、例えば読取装置１０１のユーザインタフェース１０６を経由して、ユーザに一時保存の確認をとる。
ここで、図８（ａ）に、ステップＳ７０３においてユーザインタフェース１０６に表示する一時保存の確認画面の例を示す。表示領域８０１に、長尺帳票がスキャンされたことにより一時保存する旨を表示し、「ＯＫ」ボタン及び「キャンセル」ボタンを表示する。また、スキャン画像のプレビュー表示８０２も同時に表示する。プレビュー表示８０２では、スキャン画像における長尺帳票領域をハイライト表示することで長尺帳票を視認できるようにする。ユーザは、一時保存を許可する場合は「ＯＫ」ボタンを押下し、許可しない場合は「キャンセル」ボタンを押下すればよい。
【００３２】
ステップＳ７０４で、制御部１０９は、一時保存の確認画面において「ＯＫ」ボタンが押下されたか否かを判定する。「ＯＫ」ボタンが押下された場合、ステップＳ７０５に進む。「キャンセル」ボタンが押下された場合、一時保存せずに本フローを終了する。
ステップＳ７０５で、制御部１０９は、処理対象の帳票画像３０４の情報を一時保存装置１１５に保存する。
ステップＳ７０６で、制御部１０９は、例えば読取装置１０１のユーザインタフェース１０６を経由して、ユーザに、長尺帳票の続き（残りの部分）を読み取るための続きスキャンを指示し、本フローを終了する。
ここで、図８（ｂ）に、ステップＳ７０６においてユーザインタフェース１０６に表示する続きスキャンの指示画面の例を示す。表示領域８０３に、長尺帳票の続きが読み取れるように原稿台に配置する旨のメッセージを表示し、「スキャン開始」ボタン及び「キャンセル」ボタンを表示する。ユーザが原稿台３０１に長尺帳票を置いた後、「スキャン開始」ボタンを押下することにより、続きスキャンが開始される。
【００３３】
以上のように、長尺帳票がスキャンされたことによりその情報を一時保存することをユーザに確認したり、続きスキャンをユーザに促したりする。これにより、続きスキャンが必要であることをユーザに認識させ、続きスキャンを実行し忘れることを防止することが可能となる。
なお、長尺帳票をスキャンした直後に、続きスキャンを行わせるようにしているが、この構成に限定されるものではない。例えば他の帳票のスキャンを行った後等、任意のタイミングで続きスキャンを行わせるようにしてもよい。
【００３４】
次に、図９を参照して、図５のステップＳ５０７の同一判定処理を説明する。
ステップＳ９０１で、第２の判定部１１２は、一時保存帳票画像３０４を取得する。
ステップＳ９０２で、第２の判定部１１２は、処理対象の帳票画像３０４と、ステップＳ９０１において取得した一時保存帳票画像３０４とを比較し、短辺又は長辺の長さが同じであるか否かを判定する。短辺又は長辺の長さが同じである場合、２つの帳票画像３０４は同一の帳票のものであるとし、ステップＳ９０５に進み、そうでない場合、２つの帳票画像３０４は異なる帳票のものであるとし、ステップＳ９０６に進む。
ステップＳ９０５で、第２の判定部１１２は、ステップＳ９０１において取得した一時保存帳票画像３０４のＩＤを取得し、呼び出し側に返却する。
【００３５】
ステップＳ９０６で、第２の判定部１１２は、次の一時保存帳票画像３０４が存在するか否かを判定する。次の一時保存帳票画像３０４が存在する場合、ステップＳ９０８に進み、存在しない場合、ステップＳ９０７に進む。
ステップＳ９０７で、第２の判定部１１２は、対応する帳票がない旨をユーザに通知する。
ステップＳ９０８で、第２の判定部１１２は、次の一時保存帳票画像３０４を取得し、ステップＳ９０２に戻る。
図８で説明したように、長尺帳票をスキャンして、その情報が一時保存装置１１５に保存された直後に、続きスキャンを行わせるのが前提である。そのため、本フローにおいて今スキャンされた帳票画像３０４の帳票と同一の一時保存帳票が一時保存装置１１５に存在しないのは前提を満たさない例外ケースである。以上の理由でユーザに通知を行っている。
【００３６】
次に、図１０を参照して、図５のステップＳ５０９のマージ処理の概要を説明する。
図１０（ａ）〜（ｃ）の例において、図１０（ａ）は、一時保存装置１１５の保存対象のレシートの帳票画像（一時保存帳票画像）を表す。また、図１０（ｂ）は、図１０（ａ）のレシートが一時保存された後にスキャンされたレシートの帳票画像（続きスキャンの帳票画像）を表す。これらは同一の帳票であると判定される。図１０（ａ）の一時保存帳票画像からは、「店舗名」、「発行日時」、「合計」の３項目のうち、「店舗名」、「発行日時」の文字列を抽出できている。また、図１０（ｂ）の続きスキャンの帳票画像からは、「店舗名」、「発行日時」、「合計」の３項目のうち、「発行日時」、「合計」の文字列を抽出できている。
【００３７】
図１０（ｃ）に、この場合のマージ処理の結果を示す。例えば「店舗名」の項目については、図１０（ａ）でのみ文字列「○○ストア××店」を抽出できており、この文字列を本レシートの「店舗名」に関する情報として登録を行う。また、「合計」の項目については、図１０（ｂ）でのみ文字列「３４７円」を抽出できており、同様に、この文字列を本レシートの「合計」に関する情報として登録を行う。一方、「発行日時」の項目のように双方のレシートから同一の文字列「○○年××月△△日１２：００」を抽出できる場合も、この文字列を本レシートの「発行日時」に関する情報として登録を行う。
【００３８】
次に、図１０（ｄ）〜（ｆ）の例において、図１０（ｄ）は、一時保存装置１１５の保存対象のレシートの帳票画像（一時保存帳票画像）を表す。また、図１０（ｅ）は、図１０（ｄ）のレシートが一時保存された後にスキャンされたレシートの帳票画像（続きスキャンの帳票画像）を表す。これらは同一の帳票であると判定される。ここで、図１０（ａ）〜（ｃ）の例では、レシートが比較的短く、図１０（ａ）、（ｂ）の帳票画像で重複領域があり、文字が重複する。それに対して、図１０（ｄ）〜（ｆ）の例では、レシートが比較的長く、図１０（ｄ）、（ｅ）の帳票画像で重複領域がなく、文字が重複していない。図１０（ｄ）の一時保存帳票画像からは、「店舗名」、「発行日時」、「合計」の３項目のうち、「店舗名」、「発行日時」の文字列を抽出できている。また、図１０（ｅ）の続きスキャンの帳票画像からは、「店舗名」、「発行日時」、「合計」の３項目のうち、「合計」の文字列を抽出できている。
【００３９】
図１０（ｆ）に、この場合のマージ処理の結果を示す。本例では、いずれの項目の文字列もいずれか一方の帳票画像から抽出できるので、これら文字列を本レシートの「店舗名」、「発行日時」、「合計」に関する情報として登録を行う。
【００４０】
なお、マージに際して、一時保存帳票画像（図１０（ａ）、（ｄ））と、続きスキャンの帳票画像（図１０（ｂ）、（ｅ））とは、結合する必要はなく、一まとめにすればよい。これら帳票画像の内容を確認できれば十分だからである。
また、双方のレシートから同一の項目で異なる文字列が抽出された場合や、いずれも抽出に失敗した場合、同一の帳票であると判定されていても、文字が不正又は不足しているためマージ失敗の旨をユーザに通知する。
【００４１】
以上のように、スキャン画像３０３から生成した帳票画像３０４の帳票が、長尺帳票であると判定した場合に、続きが存在するとして、帳票画像３０４の情報を一時保存する。そして、次のスキャン画像３０３から生成した帳票画像３０４と一時保存帳票画像３０４とを比較し、同一の帳票であると判定した場合に、続きスキャンが行われたとして、両画像及びこれら画像から抽出した所定の項目の文字をマージする。このように、帳票が読取可能範囲に収まりきらないときにも、そこに含まれる所定の項目の文字を的確に取得することができる。これにより、長尺帳票のスキャン処理から情報管理装置１０３への登録までの一連の処理を、自動かつ簡易的に行うことができ、作業の手間を軽減することが可能となる。
【００４２】
［第２の実施形態］
次に、第２の実施形態を説明する。なお、読取装置１０１、画像処理装置１０２、及び情報管理装置１０３の構成及び基本的な処理は第１の実施形態と同様であり、以下では、第１の実施形態と共通する点の説明を省略し、相違点を中心に説明する。
第１の実施形態では、図７に示すように、長尺帳票であると判定した場合、一律に、処理対象の帳票画像３０４の情報を一時保存装置１１５に保存し、続きスキャンを指示するようにしている。
【００４３】
しかしながら、所定の項目の文字（レシートであれば「店舗名」、「発行日時」、「合計」の文字列）を的確に取得できるようにするという観点からいえば、「長尺帳票である可能性はあるが、これ以上のスキャンを必要としない」ケースもありえる。
図１２（ａ）は、読取装置１０１の原稿台３０１にレシート３０２を置いてスキャンする様子を示す。このレシート３０２は長尺帳票であり、第１の実施形態では、一時保存処理が実行される。ところが、レシート３０２のうち「店舗名」、「発行日時」、「合計」の文字列が読取可能範囲に収まっており、図１２（ｂ）に示すように、レシート３０２の帳票画像３０４から「店舗名」、「発行日時」、「合計」すべての文字列を抽出できる。なお、読取可能範囲に収まっていないのは「クーポン券」に関する文字列であるが、ユースケースを鑑みると、「クーポン券」に関する文字列は不要である。したがって、図１２の例のレシート３０２については、「これ以上のスキャンを必要としない」ということができる。
【００４４】
次に、図１１を参照して、第２の実施形態におけるステップＳ５０６の一時保存処理を説明する。なお、図７の第１の実施形態におけるステップＳ５０６の一時保存処理と同じ処理には同じ符号を付して、その説明を省略し、異なる処理について説明する。
ステップＳ１１０１で、制御部１０９は、所定の項目すべての文字の抽出に成功したか否かを判定する。ステップＳ５０６の前段のステップＳ５０５において文字抽出処理が実行されているので、その結果に基づいて判定することが可能である。
ステップＳ１１０１において所定の項目すべての文字の抽出に成功した場合、ステップＳ７０２に進み、管理部１１４は、帳票画像３０４及びそこから抽出した所定の項目の文字を情報管理装置１０３に登録する。これにより、長尺帳票であるか否かにかかわらず、必要な情報（所定の項目すべての文字）が取得できた時点で情報管理装置１０３に登録することが可能になる。
【００４５】
ステップＳ１１０１において所定の項目すべての文字の抽出に成功しなかった場合、ステップＳ７０１に進む。ステップＳ７０１の処理は第１の実施形態で述べたとおりであるが、文字抽出に成功せずかつ長尺帳票でない場合、抽出したい文字は帳票画像３０４に含まれているにもかかわらず、文字が抽出できなかったとみなすことができる。そこで、ステップＳ１１０２に進み、制御部１０９は、例えば読取装置１０１のユーザインタフェース１０６を経由して、失敗通知を行う。
ここで、図１３に、ステップＳ１１０２においてユーザインタフェース１０６に表示する失敗通知画面の例を示す。表示領域１３０１に、文字抽出に失敗したため、再度のスキャンが必要である旨を表示し、「ＯＫ」ボタンを表示する。その際、「帳票の一部が折れ曲がっていないか」や「文字にかすれなどはないか」のように、文字抽出の失敗として考えられる理由も表示し、ユーザに状態確認を促す。また、スキャン画像のプレビュー表示１３０２も同時に表示する。
【００４６】
第２の実施形態では、必要な情報が取得できた時点で、一時保存装置１１５の保存対象とせず、続きスキャンを行わせることをしないので、不必要なスキャンを減らすことができ、ユーザの手間を軽減することが可能となる。また、一時保存処理や同一判定処理等、本システムの処理パフォーマンスを向上させる効果もある。
なお、第２の実施形態では、まず所定の項目すべての文字の抽出に成功したかを判定し、次に長尺帳票であるか否かを判定するようにしたが、これに限定されるものではない。例えばまず長尺帳票であるか否かを判定し、長尺帳票である場合、次に所定の項目すべての文字の抽出に成功したかを判定するようにしてもよい。長尺帳票である場合でも、所定の項目すべての文字の抽出に成功できていれば、「長尺帳票であるが、これ以上のスキャンを必要としない」といえ、同様に不必要なスキャンを減らすことができる。
【００４７】
［第３の実施形態］
次に、第３の実施形態を説明する。なお、読取装置１０１、画像処理装置１０２、及び情報管理装置１０３の構成及び基本的な処理は第１の実施形態と同様であり、以下では、第１の実施形態と共通する点の説明を省略し、相違点を中心に説明する。
第１の実施形態では、図３や図８に示すように、スキャン画像に１枚の長尺帳票だけが含まれる場合を説明した。第３の実施形態では、図１５に示すように、スキャン画像に複数枚の長尺帳票が含まれる場合を説明する。図１５（ａ）に示すように、読取装置１０１の原稿台３０１に３枚のレシート３０２を置いてスキャンする。３枚のレシート３０２のうち、左側及び中央のレシート３０２は長尺帳票である。
【００４８】
次に、図１４を参照して、第３の実施形態におけるステップＳ５０６の一時保存処理を説明する。なお、図７の第１の実施形態におけるステップＳ５０６の一時保存処理と同じ処理には同じ符号を付して、その説明を省略し、異なる処理について説明する。
ステップＳ７０１において長尺帳票であると判定された場合、ステップＳ１４０１に進み、制御部１０９は、例えば読取装置１０１のユーザインタフェース１０６を経由して、ユーザに一時保存の確認をとる。
ここで、図１５（ｂ）に、ステップＳ１４０１においてユーザインタフェース１０６に表示する一時保存の確認画面の例を示す。表示領域１５０１に、長尺帳票がスキャンされたことにより一時保存する旨を表示するとともに、何枚の長尺帳票があるかを表示し、「ＯＫ」ボタン及び「キャンセル」ボタンを表示する。また、スキャン画像のプレビュー表示１５０２も同時に表示する。プレビュー表示１５０２では、スキャン画像における長尺帳票領域をハイライト表示することで長尺帳票を視認できるようにし、複数枚の長尺帳票を区別するために「帳票１」、「帳票２」というように識別子を付与する。ユーザは、一時保存を許可する場合は「ＯＫ」ボタンを押下し、許可しない場合は「キャンセル」ボタンを押下すればよい。
【００４９】
ステップＳ７０４で、制御部１０９は、一時保存の確認画面において「ＯＫ」ボタンが押下されたか否かを判定する。「ＯＫ」ボタンが押下された場合、ステップＳ７０５に進む。「キャンセル」ボタンが押下された場合、一時保存せずに本フローを終了する。
ステップＳ７０５で、制御部１０９は、処理対象の帳票画像３０４の情報、本実施形態の場合は「帳票１」、「帳票２」の帳票画像３０４の情報を一時保存装置１１５に保存する。
ステップＳ７０６で、制御部１０９は、例えば読取装置１０１のユーザインタフェース１０６を経由して、ユーザに続きスキャンを指示する。本実施形態では、「帳票１」、「帳票２」の順番で続きスキャンを指示するようになっている。
ここで、図１５（ｃ）に、１回目のステップＳ７０６においてユーザインタフェース１０６に表示する続きスキャンの指示画面の例を示す。「帳票１」、「帳票２」の順番で続きスキャンを指示するので、まず、表示領域１５０３に、「帳票１」の長尺帳票の続きが読み取れるように原稿台に配置する旨のメッセージを表示し、「スキャン開始」ボタン及び「キャンセル」ボタンを表示する。ユーザが原稿台３０１に「帳票１」の長尺帳票を置いた後、「スキャン開始」ボタンを押下することにより、続きスキャンが開始される。
【００５０】
ステップＳ１４０２で、制御部１０９は、スキャンが正常に完了するまで待機する。本実施形態では、別の長尺帳票の続きスキャンを促す必要がある可能性があることから、続きスキャンが正常に完了するまで待機する。
ステップＳ１４０３で、制御部１０９は、続きスキャンを行う別の帳票が存在するか否かを判定する。別の帳票が存在する場合、ステップＳ７０６に戻り、別の帳票の指示画面を通知する。別の帳票が存在しない場合、本フローを終了する。
ここで、図１５（ｄ）に、２回目のステップＳ７０６においてユーザインタフェース１０６に表示する続きスキャンの指示画面の例を示す。表示領域１５０３に、「帳票２」の長尺帳票の続きが読み取れるように原稿台に配置する旨のメッセージを表示し、「スキャン開始」ボタン及び「キャンセル」ボタンを表示する。ユーザが原稿台３０１に「帳票２」の長尺帳票を置いた後、「スキャン開始」ボタンを押下することにより、続きスキャンが開始される。
【００５１】
以上のように、長尺帳票がスキャンされたことによりその情報を一時保存することをユーザに確認したり、続きスキャンをユーザに促したりする。この場合に、複数枚の長尺帳票が一度にスキャンされたときでも、どれが長尺帳票であるか、また、複数枚の長尺帳票のうちどの長尺帳票の続きスキャンを行うかを指示することができる。これにより、続きスキャンが必要であることをユーザに認識させ、続きスキャンを実行し忘れることを防止することが可能となる。
【００５２】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５３】
１０１：読取装置、１０２：画像処理装置、１０８：画像分割部、１０９：制御部、１１１：第１の判定部、１１２：第２の判定部、１１３：文字抽出部、１１４：管理部、１１５：一時保存装置
【図１】
2020137049.tif 000003
【図２】
2020137049.tif 000004
【図３】
2020137049.tif 000005
【図４】
2020137049.tif 000006
【図５】
2020137049.tif 000007
【図６】
2020137049.tif 000008
【図７】
2020137049.tif 000009
【図８】
2020137049.tif 000010
【図９】
2020137049.tif 000011
【図１０】
2020137049.tif 000012
【図１１】
2020137049.tif 000013
【図１２】
2020137049.tif 000014
【図１３】
2020137049.tif 000015
【図１４】
2020137049.tif 000016
【図１５】
2020137049.tif 000017