(57)【要約】【課題】レシート等の画像を読み取って会計処理を行なう場合に、過去に読み取った画像と重複していないかどうかを判定し、誤って重複入力することを防止し、適切な会計データの作成を支援する会計処理システムを提供する。【解決手段】  レシート等の画像を読み取って、会計処理を行なうためのシステムであって、日付、金額を含む文字をテキストとして文字認識する文字認識手段と、日付、金額、店名を含む会計処理に有用な情報の画像のパターンを、所定の領域毎に抽出する画像の特徴パターン抽出手段とを備え、文字認識の結果の比較と、画像の特徴パターンの比較とを組み合わせて、当該新たなレシート等の画像と、過去に読み取ったレシート等の画像とが、重複している可能性を判定する重複可能性判定手段を備える。【選択図】図２−１
2018190064.tif 000002
【特許請求の範囲】
【請求項１】
証ひょう画像を読み取って、会計処理を行なうためのシステムであって、
読み取った証ひょう画像から、
日付、金額を含む文字をテキストとして文字認識する文字認識手段と、
日付、金額、店名を含む会計処理に有用な情報の画像の特徴パターンを、所定の領域毎に抽出する画像の特徴パターン抽出手段とを備え、
前記文字認識手段で取得した文字認識結果を記憶部に登録する
文字認識結果登録手段と、
前記の画像の特徴パターン抽出手段で抽出した画像の特徴パターンを前記記憶部に登録する画像の特徴パターン登録手段とを備え、
新たに読み取った当該証ひょう画像について、
前記文字認識手段によって、日付、金額を含む文字をテキストとして文字認識し、
前記の画像の特徴パターン抽出手段によって画像の特徴パターンを抽出すると共に、
前記記憶部から、登録済みの証ひょう画像の文字認識結果と画像の特徴パターンを読出し、
当該新たな読み取った証ひょう画像の文字認識結果と前記登録済み証ひょう画像の文字認識結果とを比較する文字認識結果比較手段と、当該新たな読み取った証ひょう画像について抽出した画像の特徴パターンと前記登録済み証ひょう画像の画像の特徴パターンとを比較する画像の特徴パターン比較手段とを備え、
前記文字認識結果比較手段による比較結果と前記画像の特徴パターン比較手段による比較結果と組み合わせて、
当該新たな証ひょう画像と、前記登録済みの証ひょう画像とが、重複している可能性を判定する重複可能性判定手段、
を備えたことにより、
前記重複可能性判定手段により重複する可能性があると判定された新たな証ひょう画像の取り込みを防止することを特徴とする会計処理システム。
【請求項２】
前記画像の特徴パターン抽出手段において、日付、金額、店名を含む会計処理に有用な情報の画像のパターンを、所定の領域毎に抽出する際に、領域毎の画像の特徴パターンとして、少なくとも、画素のある領域の位置と範囲のパターンまたはビットマップパターンの態様を含み、
前記画像の特徴パターン比較手段において、所定の領域毎に、画像の特徴パターンの態様を比較することで、仮に文字認識結果に誤りがある場合や文字認識結果を取得できない場合にも、画素のある領域の位置と範囲のパターンまたはビットマップパターンの比較により、日付、金額、店名を含む会計処理に有用な情報が一致している可能性を判定することで、
前記重複可能性判定手段が、前記文字認識結果比較手段による比較結果と前記画像の特徴パターン比較手段による比較結果とを総合して、重複している可能性を判定すること、
を特徴とする  請求項１に記載の会計処理システム。
【請求項３】
証ひょう画像を複数枚まとめて読み取ったときに、証ひょう画像の１つ１つの重複可能性を判定すると共に、当該複数枚の証ひょう画像の纏まりについて、前記登録済みの証ひょう画像の、日単位、週単位を含む所定の単位の纏まりと重複している可能性を判定して出力すること、
を特徴とする請求項１又は２のいずれか１つに記載の会計処理システム。
【請求項４】
証ひょう画像を読み取って、その証ひょう画像に関する取引の内容を、会計データとして入力を受け付け、取得した会計データのうち、少なくとも摘要情報または科目情報と、証ひょう画像の画像の特徴パターンとを関連付けて登録し、次回の会計データの入力の際に、前記文字認識結果の比較手段および前記画像の特徴パターンとの比較手段による比較処理に加えて、当該証ひょう画像に対応付けられた摘要情報または科目情報と、入力した摘要情報又は科目との比較処理を行い、会計データの入力の精度を向上させること、
を特徴とする請求項１から３のいずれか１つに記載の会計処理システム。
【請求項５】
前記重複可能性判定手段によって、重複する可能性が閾値を超えた場合に、
当該新たな証ひょう画像と重複する可能性のある前記登録済みの証ひょう画像を、対比して表示することにより、
重複する可能性があると判定された新たな証ひょう画像の取り込みを防止することを特徴とする、請求項１から４のいずれか１つに記載の会計処理システム。
【請求項６】
新たに読み取った証ひょう画像と重複する可能性のある前記登録済みの証ひょう画像を、対比して表示する場合において、
一方の証ひょう画像を拡大した場合に、他方を同率で拡大表示すると共に、
一方の証ひょう画像をスクロールした場合に、他方のスクロールを追従させること、
を特徴とする請求項５に記載の会計処理システム。
【請求項７】
新たに証ひょう画像を複数枚まとめて読み取ったとき、または連続して読み取ったときに、証ひょう画像の１つ１つの重複可能性を判定し、前記登録済みの証ひょう画像と重複している可能性のある新たに読み取った証ひょう画像が存在した場合は、      複数枚まとめて、または連続して読み取った証ひょう画像を、少なくとも２以上、同時に表示させると共に、前記登録済みの証ひょう画像と重複している可能性のある新たに読み取った証ひょう画像を、他と区別して表示すること、
を特徴とする請求項１から４のいずれか１つに記載の会計処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レシート等の証ひょう画像（以下、「レシート等の画像」と略す）を読み取って、会計処理を行なう場合に、過去に読み取った登録済みのレシート等の画像と重複していないかどうかを判定し、ユーザーに対し、重複しているかどうかを確認するための画面表示を行ない、誤って重複入力することを防止すると共に、２重の仕訳の発生と本当に２つの取引が発生したことを峻別しつつ適切な会計データの作成を支援することで、会計処理の効率化、確実化を図ることに関する。
【背景技術】
【０００２】
従来より、例えば、特許文献１に記載の発明のように、レシート等の画像から経費データを入力する際に、画像をテキストに変換して、経費データを取り出して、データ入力するためのシステムがあった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００６−５１１８９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
レシートや伝票などの証ひょうは、会計処理のために重要な資料であって、企業や個人事業主が自ら管理して、会計税務処理の基礎資料として用いるほか、会計税務処理を専門家である会計事務所等に依頼する際には、会計事務所の職員等が顧問先を訪問して証ひょうを読み取るほか、顧問先から会計事務所の職員等に手渡し、または郵送等して、会計事務所で会計データ入力の際に参照した後、顧問先に返却するという運用がされている。
その際、顧問先などでレシート等の管理が不十分な場合には、同じレシート等を重複して読み取ってしまう可能性があった。
【０００５】
そこで、従来、レシート等の画像を読み取って、システムの画面に表示して、会計処理に関するデータ入力を行なう際に、過去に読み取ったレシート等の画像と重複しているかどうかを判定する処理として、レシート等の画像に印字された情報について文字認識処理を行ない、テキスト文字化して、過去に読み取ったレシート等の画像のテキスト文字と比較する手法が用いられていた。
しかし、レシート等の画像のテキスト文字は、発行する店舗や業種によって、その態様は千差万別であり、かつ印字される文字の大きさもかなり小さいものが含まれるため、印字文字等について確実に文字認識処理を行なって、全てをテキスト化することは困難であった。
【０００６】
この点、特許文献１に記載のシステムでは、複数の印字情報について文字認識処理することにより、それらの情報が複数合致していることを条件に、レシート等の画像の重複判定を行なうことが記載されているが、もし文字認識処理で、複数の印字情報をうまくテキスト化できない場合には、過去に読み取ったレシート等の画像との重複判定を行なうことができなかった。
【０００７】
また、文字認識処理で取得したテキスト文字に、誤認識した結果が含まれる場合もあり、そのような場合には、重複するレシート等の画像を取りこぼす可能性もあった。
この点、誤認識していた場合に、たまたま文字列が一致していたような場合には、そのレシート等の画像を、端末等の操作者であるユーザーに提示することで、ユーザーの判定を待つことができるが、誤認識の結果、テキスト文字が過去に読み取ったレシート等の画像のテキスト文字と一致しない場合には、そもそも、ユーザーに提示することもできず、誤って重複入力してしまう可能性があった。
【課題を解決するための手段】
【０００８】
上記課題を解決すべく、本発明の第１の発明は、証ひょう画像を読み取って、会計処理を行なうためのシステムであって、読み取った証ひょう画像から、日付、金額を含む文字をテキストとして文字認識する文字認識手段と、日付、金額、店名を含む会計処理に有用な情報の画像の特徴パターンを、所定の領域毎に抽出する画像の特徴パターン抽出手段とを備え、前記文字認識手段で取得した文字認識結果を記憶部に登録する文字認識結果登録手段と、前記の画像の特徴パターン抽出手段で抽出した画像の特徴パターンを前記記憶部に登録する画像の特徴パターン登録手段とを備え、新たに読み取った当該証ひょう画像について、前記文字認識手段によって、日付、金額を含む文字をテキストとして文字認識し、前記の画像の特徴パターン抽出手段によって画像の特徴パターンを抽出すると共に、前記記憶部から、登録済みの証ひょう画像の文字認識結果と画像の特徴パターンを読出し、当該新たな読み取った証ひょう画像の文字認識結果と前記登録済み証ひょう画像の文字認識結果とを比較する文字認識結果比較手段と、当該新たな読み取った証ひょう画像について抽出した画像の特徴パターンと前記登録済み証ひょう画像の画像の特徴パターンとを比較する画像の特徴パターン比較手段とを備え、文字認識結果比較手段による比較結果と画像の特徴パターン比較手段による比較結果と組み合わせて、当該新たな証ひょう画像と、前記登録済みの証ひょう画像とが、重複している可能性を判定する重複可能性判定手段、を備えたことにより、重複する可能性があると判定された新たな証ひょう画像の取り込みを防止することを特徴とする。
また、本発明の第２の発明は、前記画像の特徴パターン抽出手段において、日付、金額、店名を含む会計処理に有用な情報の画像のパターンを、所定の領域毎に抽出する際に、領域毎の画像の特徴パターンとして、少なくとも、画素のある領域の位置と範囲のパターンまたはビットマップパターンの態様を含み、前記画像の特徴パターン比較手段において、所定の領域毎に、画像の特徴パターンの態様を比較することで、仮に文字認識結果に誤りがある場合や文字認識結果を取得できない場合にも、画素のある領域の位置と範囲のパターンまたはビットマップパターンの比較により、日付、金額、店名を含む会計処理に有用な情報が一致している可能性を判定することで、重複可能性判定手段が、文字認識結果比較手段による比較結果と画像の特徴パターン比較手段による比較結果とを総合して、重複している可能性を判定すること、を特徴とする。
また、本発明の第３の発明は、証ひょう画像を複数枚まとめて読み取ったときに、証ひょう画像の１つ１つの重複可能性を判定すると共に、当該複数枚の証ひょう画像の纏まりについて、前記登録済みの証ひょう画像の、日単位、週単位を含む所定の単位の纏まりと重複している可能性を判定して出力すること、を特徴とする。
また、本発明の第４の発明は、証ひょう画像を読み取って、その証ひょう画像に関する取引の内容を、会計データとして入力を受け付け、取得した会計データのうち、少なくとも摘要情報または科目情報と、証ひょう画像の画像の特徴パターンとを関連付けて登録し、次回の会計データの入力の際に、文字認識結果の比較手段および画像の特徴パターンとの比較手段による比較処理に加えて、当該証ひょう画像に対応付けられた摘要情報または科目情報と入力した摘要情報又は科目との比較を行い、会計データの入力の精度を向上させること、を特徴とする。
また、本発明の第５の発明は、前記重複可能性判定手段によって、重複する可能性が閾値を超えた場合に、当該新たな証ひょう画像と重複する可能性のある前記登録済みの証ひょう画像を、対比して表示することにより、重複する可能性があると判定された新たな証ひょう画像の取り込みを防止することを特徴とする。
また、本発明の第６の発明は、新たに読み取った証ひょう画像と重複する可能性のある前記登録済みの証ひょう画像を、対比して表示する場合において、一方の証ひょう画像を拡大した場合に、他方を同率で拡大表示すると共に、一方の証ひょう画像をスクロールした場合に、他方のスクロールを追従させること、を特徴とする。
また、本発明の第７の発明は、新たに証ひょう画像を複数枚まとめて読み取ったとき、または連続して読み取ったときに、証ひょう画像の１つ１つの重複可能性を判定し、前記登録済みの証ひょう画像と重複している可能性のある新たに読み取った証ひょう画像が存在した場合は、複数枚まとめて、または連続して読み取った証ひょう画像を、少なくとも２以上、同時に表示させると共に、前記登録済みの証ひょう画像と重複している可能性のある新たに読み取った証ひょう画像を、他と区別して表示すること、を特徴とする。
【発明の効果】
【０００９】
過去に読み取ったレシート等の画像について、文字認識結果と、領域毎に区別した画像の特徴パターンとを保存しておき、新たに読み取ったレシート等の画像の文字認識結果と画像の特徴パターンとを比較し、両方の比較結果を組み合わせて判断することで、重複する可能性を段階的に判断することができる。
これにより、日付や金額等の文字認識結果が一致していることに加え、画像の特徴パターンどうしが一致していることも加味して、重複している可能性が高いことを判定することができ、たまたま日付や金額等の文字認識結果が一致していただけで重複しているとしてユーザーに提示することはないので、ユーザーに無用な負担を掛けないで済むという効果がある。
【００１０】
また、日付や金額等の文字認識結果に誤認識が含まれている場合や、文字認識に失敗してテキスト文字の全部又は一部を取得できない場合でも、日付や金額や店舗名等の画像の特徴パターンとの比較結果も併用することで、重複している可能性の判定の漏れなく行なうことができるので、重複入力することを防止する精度を向上させることができる。
【００１１】
また、１枚１枚のレシート等の画像の重複可能性を判定することに加え、複数枚を連続または纏めて読み取った際に、全体として重複している可能性を判定することができるので、１枚１枚の読取りの際にかすれたりして重複判定の精度が不十分な場合でも、全体として、過去に読み取ったものと重複している可能性を判定することができるので、会計事務所と顧問先の間で、レシート等の管理に漏れがあって重複読取りをしてしまったような場合に、いち早くレシート等の管理の不備による、日単位や週単位などの所定の単位毎のレシート等の重複可能性を効果的に判定することができる。
【図面の簡単な説明】
【００１２】
図１−１は、本発明のシステム構成を示す図であり、端末装置１０と画像取込装置５０のセットを示す例である。
図１−２は、本発明のシステム構成を示す図であり、本発明の端末装置１０と画像取込装置５０のセットが、ＬＡＮ６０を介して相互に接続される場合を示す図である。
図１−３は、本発明のシステム構成を示す図であり、本発明の端末装置１０と画像取込装置５０のセットが、ＬＡＮ６０を介して、サーバー１００に接続される場合を示す図である。
図１−４は、本発明のシステム構成を示す図であり、本発明の端末装置１０と画像取込装置５０のセットが、ＬＡＮやルーター６０を介して、ＷＡＮ（ワイドエリアネットワーク）７０の先にあるサーバー１００に接続される場合を示す図である。
図１−５は、会計事務所と顧問先の間で、レシート等の画像をやりとりする際のシステム構成を示す図である。
図１−６は、会計事務所と在宅ワーカーとの間で、レシート等の画像をやりとりする際のシステム構成を示す図である。
図１−７は、企業の本店（本社）と支店等の間で、レシート等の画像をやりとりする際のシステム構成を示す図である。
図２−１は、端末装置１０の機能ブロック図である。
図２−２は、サーバー１００の機能ブロック図である。
図３Ａは、本発明の会計処理システムの、処理内容の全体を示すフローチャートである。
図３Ｂは、全体処理フローのステップＳ３Ａ−５の処理内容を詳細に記載した、過去に取り込んだレシート等との重複判定処理サブルーチンの処理フローを示す図である。
図３Ｃは、図３Ｂの重複判定処理サブルーチンの変形例を示す図である。
図３Ｄと図３Ｅは、図３Ｂの文字認識結果の比較処理と、画像の特徴パターンの比較処理をそれぞれ独立のサブルーチンにした場合の図である。
図４は、サーバー１００と端末装置１０が接続された状態から、端末装置１０を持ち出して運用する携帯処理の処理フローを示す図である。
図５−１は、イメージ管理テーブルであり、顧問先毎や会社毎に、あるいは会社内の本店や支店や営業所等の組織毎に読み取ったレシート等の画像にイメージＩＤを割り当てて、そのレシート等の画像の文字認識の結果や画像の特徴パターンおよび会計データなどを対応付けて管理している様子を示す図である。
図５−２は、会計入力アプリなどを用いて生成されたデータであって、仕訳データなどの会計データのデータ構成を示す図である。
図５−３は、新たに読み込んだレシート等の画像１枚ごとに、過去に読み取ったレシート等の画像と重複している可能性を判定するためのテーブルであって、文字認識結果の比較結果と画像の特徴パターンの比較結果とを総合して判定するための重複総合判定テーブルの一例を示す図である。（１）デフォルトパターンと、（２）閾値（パラメータ）を変更した例、及び（３）顧問先毎や、会社の組織毎あるいは会社の業種毎に用意したテーブルがある。「重複：大」とは重複可能性が大であることを示すが、重複可能性が大とすることに代えて、重複している可能性を確率などの数値で表しても良く、重複している可能性が大の場合は０．９（９０％）、中の場合は０．６（６０％）、小の場合は０．２（２０％）などの数値が割り当てられる。
図５−４は、１枚ごとの重複可能性を判定した後、複数枚まとめて、または連続で読み取ったとき、過去に読み取ったレシート等の画像の束（一定の期間あるいはある店舗での取引に関する複数のレシート等）と重複している可能性を総合的に判定するためのテーブル例を示す図である。（１）デフォルトパターンと（２）顧問先毎、会社の組織毎、あるいは業種毎に閾値（パラメータ）を変更した例を示す。
複数枚まとめて読む場合とは、フラットベットスキャナやカメラなどで１０枚くらい一度に読み取る場合、あるいは１枚のシート（紙など）にレシート等を１０枚くらい貼り付けてあるものを読み取る場合などがある（図８参照）。
あるいは１枚のシート（紙など）にレシート等を１０枚くらい貼り付けてあるものを読み取る場合には、レシート等の画像を、それぞれ１枚ずつ切り出して、レシート等のサイズなども取得して、１枚ずつ別々に登録する。
図５−５は、会計事務所の顧問先毎や、会社の組織毎に管理するための会社マスタの一実施例を示すテーブルで、図５−５（Ａ）は、会計事務所と顧問先間でシステムを運用する場合を示し、図５−５（Ｂ）は、本店と支店等の間で運用する場合の例を示している。
図５−６は、図３Ｃ用の重複総合判定テーブル（１枚ごとの判定用）であり、顧問先毎あるいは会社の業種毎に、判定結果イ、ロ、ハ、ニの重複可能性の数値に対し、それぞれ一定の重み付けをした、複数の判定パターンのテーブルである。
図６−１は、重複可能性が一定の閾値以上の場合のユーザーの確認画面であって、過去に読み取ったレシート等の画像と新たに読み込んだレシート等の画像とを左右に対比して確認するための画面の一例である。
左右対比は、あくまで一例であって、上下で対比したりするほか、新たに読み込んだレシート等の画像に対し、重複する可能性のあるレシート等の画像をポップアップ表示で対比できるように表示しても構わない。
図６−２は、重複可能性が一定の閾値以上の場合のユーザーの確認画面であって、いずれかのレシート等の画像を拡大表示した場合において、もう一方の画像を同じ拡大率で表示すると共に、一方の画像をスクロールすると、他方の画像も同様に自動スクロールされる様子を示す図である。
図６−３は、重複可能性が一定の閾値以上の場合のユーザーの確認画面であって、重複する可能性のある取り込み済みのレシート等が複数ある場合の例である。
図６−４は、今回新たに読み込んだ複数のレシート等の画像のうち、複数枚が、過去に読み取ったレシート等の画像と重複する場合の区別表示の例を示している。また、重複候補が多い場合は、操作者が簡易的に選別できるように重複候補をリスト形式で表示してもよい。
図６−５は、カメラやスキャナなど、どの画像取込装置を使用するかの設定、および重複判定処理を行なうか否か、および重複判定を行なう場合に、今行なうか、それとも画像を読み込んで仮登録した後に行なうかの設定を行なう画面である。
図７は、イメージ管理テーブル（図５−１）で管理しているレシート等の画像について、レシート等の画像に対する処理（テキスト等の認識処理、レシート等の画像の特徴パターンの抽出処理の内容）、および、これらの情報と、会計データ入力によって取得したデータに基づいて、品名辞書や店名辞書などを別途用意して、品名や店舗名などの情報や、勘定科目との対応付けを行なう処理の概要を示す図である。
図８は、１枚のシート（紙）に複数枚のレシート等を貼り付けて管理し、纏めて読み取る場合の例である。
【００１３】
［用語の説明］
証ひょうとは、レシート、領収書、領収書や伝票、クレジットカードの利用明細、通帳のコピーなど、取引の内容及び取引があった事実を証明する資料であり、原始証憑などと呼ばれることもある。紙媒体のほか、イメージで取得する場合を含む。
会計データとは、取引の情報、取引の情報から勘定科目などを確定させた仕訳データ、その他の会計処理に用いられる情報をいう。取引の日付や金額、品名や数量、店名のほか、どういう経緯や内容の取引であるかを示す摘要、勘定科目などを含む概念である。
会計データＤＢとは、会計データを格納しておくデータベースである。
会計事務所とは、税理士や会計士および職員によって運営され、会計専門知識を持つ専門家が所属する会計事務処理を行う会計専門家組織をいう。
顧問先とは、会計事務所との契約又は業務委託などにより、会計税務処理や会計税務処理にかかわる指導やサービスを受ける個人や個人事業主をいう。
本店等とは、一企業内の本社や本店のほかグループ企業内の親会社を含む概念である。
支店等とは、一企業内の支社や支店のほかグループ企業内の子会社を含む。支店等には事業所、営業所を含む概念である。また、企業の各部門などの概念も含み、要するに企業の各組織を示す用語である。なお、本支店間の会計処理においては、本店等では、会計知識を有する経理部門等に所属する者による会計データ入力などの会計処理が行なわれ、支店等では会計知識を有しない者による取引データの入力などが行なわれることが多い。
在宅ワーカー（在宅者）とは、自宅等の会計事務所外の場所で会計処理等の業務を行う会計事務所の先生や職員が、会計処理業務のうちの一部を委託された場合の外部の業者ないし個人事業主等をいう。
監査とは、会計事務所が顧問先の会計データを月次（月毎）あるいは４半期ないし半期ないし１会計期間ごとに、会計基準や税法に則しているかどうかを確認して、適宜修正等することをいう。会計事務所の税理士や会計士等の先生や職員の場合は、会計監査として、会計システムで表示された会計データに対し、検証（チェック）を行い、検証の結果、必要に応じて会計データの修正等を行ないながら、会計システムに表示されている会計データ（日付、科目、金額、取引情報等）の適切性を確認する。
イメージ管理ＤＢとは、レシート等の画像にＩＤを割り振って、顧問先毎や会社毎に、あるいは会社内の本店や支店や営業所等の組織毎に管理し、レシート等の画像の文字認識結果や特徴パターンおよび会計データ入力によって取得したデータとの対応付けを行なうデータベースである。その内容は図５−１のイメージ管理テーブルに記載する。
１枚ごとの重複可能性の閾値とは、図５−３に示すように、文字認識の比較結果と画像の特徴パターンの比較結果との組み合わせによって、重複している可能性が「高い、中程度、低い、殆ど無い」などと、段階的に区別できる場合において、例えば、重複して可能性が「中程度」を閾値として、これを超える場合に、図６−１〜図６−４のように重複する可能性のあるレシート等の画像をユーザーに提示する。
複数枚まとめての判定するための重複可能性の閾値とは、図５−４に示すように、複数枚まとめて、または連続で読み取ったとき、読み込んだレシート等の画像について、全体として、過去に登録したレシート等の画像と重複している可能性が高いかどうかを判定するための閾値であって、例えば、新たにレシート等の画像を１０枚読み込んだ中で、重複している可能性が中程度以上のものが２枚以上あった場合には、そういうことは希であるはずなので、この「２枚以上（あるいは２割以上など）」を閾値とし、この閾値を超える場合に、全体として、重複している可能性が高いと判定する。
実際には重複していないのに重複していると誤判定する場合には、日付や金額等の文字認識結果について誤認識した場合に、金額や日付等の桁数が合致していることにより画像の特徴パターンが同じであると判定されたような場合がある。具体的には、出先で同じタクシー会社を利用して、移動をくり返し、かつ金額の桁数が同じ場合や、同じ店舗で同じ品物を複数回購入した場合には、日付や金額や店名などの画像の特徴パターンが似ていることにより、文字認識結果に誤認識した場合は、重複している可能性があると判定される。
レシート等の画像の文字認識結果を取得できない場合や、誤認識する場合には、印刷状態が悪く、文字や店名などがかすれている場合のほか、スキャナで紙詰まりを起こしてレシート等の用紙が折れたりシワができたり破れてしまった場合などがある。
このような利用環境で重複の有無を正確に判断するため、１枚ごとの重複可能性の閾値及び、複数枚まとめての判定するための重複可能性の閾値を調整することもできる（図３Ａ及び図３Ｃ  後述）。
【発明を実施するための形態】
【００１４】
［会計処理システムの一実施例の構成］
図１−１は、本発明の端末装置１０と画像取込装置５０のセットを示す例であり、画像取込装置５０は、モバイル機器などの端末装置１０内に構成されたカメラであってもよい。
この態様は、主に、会計事務所の職員や企業等の経理担当者などが、スタンドアローンとしての端末装置を用いて、会計データ入力する場合を想定している。
例えば、会計事務所の職員顧問先企業のレシート等を預かって、会計データ入力する場合や、顧問先企業に端末装置（ノートタイプやモバイル）を持ち込んで、顧問先で会計データ入力する場合や、企業の経理担当者が、自社の取引で発生したレシートや伝票などを、会計データ入力する場合である。
【００１５】
図１−２は、本発明の端末装置１０と画像取込装置５０（図１−１を参照）のセットが、ＬＡＮ６０を介して相互に接続され、読み取ったレシート等の画像などを共有するような場合を示す図である。
図１−３は、本発明の端末装置１０と画像取込装置５０のセットが、ＬＡＮ６０を介して、サーバー１００に接続され、読み取ったレシート等の画像などをサーバー１００の記憶部内で管理するような場合を示す図である。サーバー１００は実サーバーの他、仮想サーバーなどを含むものとする。
図１−３の場合において、端末装置１０は、ＬＡＮ６０やサーバー１００に接続したまま、レシート等を読み取るほか、ＬＡＮ６０やサーバー１００から切り離して、顧問先企業や支店等に持ち込んで、レシート等を読み取ることがあるものとする。
なお、サーバー１００に無線ＬＡＮやＷＡＮなどのインターフェースを介して、画像取込装置５０を接続して、レシート等の画像をアップロードするようにしても良い。
【００１６】
図１−４は、本発明の端末装置１０と画像取込装置５０のセットが、ＬＡＮやルーター６０を介して、ＷＡＮ（ワイドエリアネットワーク）７０の先にあるサーバー１００に接続され、読み取ったレシート等の画像などをサーバー１００の記憶部内で管理するような場合を想定している。また、サーバー１００に、端末装置１０および画像取込装置５０を接続して、読み取ったレシート等の画像の重複判定と、レシート等の画像の登録を行なうようにしても良い。
この構成では、ＬＡＮシステム構成の側が、会計事務所のシステムの場合の他、会計事務所の職員が、顧問先企業に出向いていた場合において、持ち込んだ端末装置１０をＷＡＮ７０の先のサーバー１００に接続して、サーバー１００の記憶部内でレシート等の画像を管理することができる。
なお、図示はしないが、ＬＡＮシステム内の端末装置１０は、さらにサーバー装置に接続され、サーバー装置を介して、ネットワーク（ＷＡＮ７０）の先にあるサーバー１００に接続されるようにしてもよい。
【００１７】
あるいは、ＬＡＮシステム構成の側が、顧問先企業のシステムであって、レシート等を読み取って、ＷＡＮ７０の先の会計事務所のサーバー１００にレシート等の画像を登録するようにしても良い。このほか、ＬＡＮシステム構成の側が、在宅ワーカーや外注業者あるいは企業内の各組織のシステムであってもよい。
サーバー１００は、会計事務所内のサーバーであってもよく、クラウドやＩＤＣ（インターネットデータセンター）の実サーバーであってもよいし、仮想サーバーであってもよい。この場合において、会計事務所の職員は、サーバー１００に接続された端末装置１０を用いて、顧問先企業から送付されたレシート等の画像を表示しながら、会計データ入力することができる。
【００１８】
あるいは、ＬＡＮシステム構成の側が、企業の支店等のシステムであってＷＡＮ７０の先のサーバー１００が本店等に設置されたサーバーであってもよい。この場合、支店等の担当者がレシート等を端末装置１０で読み取って、サーバー１００の記憶部に保存する。そして、企業の本店等の経理担当者が本店側のサーバー１００に接続された端末装置１０を用いて、会計データ入力する。
【００１９】
図１−５は、会計事務所と顧問先の間で、ＷＡＮ７０を介して、レシート等の画像をやりとりする際のシステム構成を示す図である。この場合において、レシート等の画像を読み込んでサーバー１００の記憶部に格納するのは、顧問先の端末装置１０の場合の他、会計事務所の端末装置１０をサーバー１００から切り離して、顧問先に持ち込んで読み取った後、会計事務所に戻ってから、再び、サーバー１００に接続して、サーバー１００の記憶部に格納するようにしても良い。
【００２０】
図１−６は、会計事務所と在宅ワーカーとの間で、ＷＡＮ７０を介して、レシート等の画像をやりとりする際のシステム構成を示す図である。在宅ワーカーは、会計事務所の職員の他、外部の業者ないし個人事業主等の場合がある。外部の業者ないし個人事業主等の場合、会計事務所側で顧問先毎のレシート等の画像について重複判定しない状態でサーバーに暫定的に格納して、重複判定および会計データ入力を在宅ワーカーの端末で行なう。
【００２１】
図１−７は、企業の本店（本社）と支店等の間で、ＷＡＮ７０を介して、レシート等の画像をやりとりする際のシステム構成を示す図である。この場合において、レシート等の画像を読み込んでサーバー１００の記憶部に格納するのは、支店等の端末装置１０の場合の他、本店（本社）の端末装置１０をサーバー１００から切り離して、支店等に持ち込んで読み取った後、本店に戻ってから、再び、サーバー１００に接続して、サーバー１００の記憶部に格納するようにしても良い。
【００２２】
図２−１は、端末装置１０の機能ブロック図である。
端末装置１０では、通信部１６を介して接続された画像取込装置５０又は、内蔵のカメラなどの画像取込部１２により、レシート等の画像を読み込んで、制御部１４のＯＣＲ処理部で抽出されたテキスト文字について文字認識処理を行なうと共に、画像の特徴パターン抽出部により、レシート等の領域毎に、画像の特徴パターンを抽出する。
そして、文字認識処理で取得した文字認識結果と、画像の特徴パターン抽出部で取得した画像の特徴パターンをレシート等の画像と関連付けて、記憶部１５に登録すると共に、重複可能性判定部により、過去に取り込んだレシート等の画像の文字認識結果および画像の特徴パターンと比較して、新たに読み取ったレシート等の画像が、過去に登録したレシート等の画像と重複している可能性を判定して、表示画像制御部により出力部１３を介して、ユーザーに提示する。
【００２３】
制御部の各機能を実行するそれぞれの処理部は、ＣＰＵ（中央処理装置）が、ＨＤＤなどの記憶部に記憶されたプログラムを、ＤＲＡＭやＳＲＡＭなどで構成されたメインメモリにロードして、ＣＰＵ（中央処理装置）がプログラムの各ステップを実行することで実現される。
【００２４】
図２−２は、サーバー１００の機能ブロック図である。
サーバー１００は、実サーバーのほか仮想サーバーその他のクラウドであってもよい。
サーバー１００では、端末装置１０で読み取ったレシート等の画像を、通信部１６０を介して受信して、記憶部１５０に保存すると共に、端末装置１０の操作に応じて、制御部１４０のＯＣＲ処理部で抽出されたテキスト文字について文字認識処理を行なうと共に、画像の特徴パターン抽出部により、レシート等の領域毎に、画像の特徴パターンを抽出する。
そして、文字認識処理で取得した文字認識結果と、画像の特徴パターン抽出部で取得した画像の特徴パターンをレシート等の画像と関連付けて、記憶部１５０に登録すると共に、重複可能性判定部により、過去に取り込んだレシート等の画像の文字認識結果および画像の特徴パターンと比較して、新たに読み取ったレシート等の画像が、過去に登録したレシート等の画像と重複している可能性を判定し、重複している可能性の判定結果を記憶部１５０に保存する。
重複している可能性の判定結果は、ＷＡＮ７０やＬＡＮ６０のネットワークを介して、端末装置１０の表示部で表示される。
［全体処理フロー］
【００２５】
図３Ａは、本発明の会計処理システムの、処理内容の全体を示すフローチャートである。
レシート等の画像は、会計事務所にとっての顧問先毎、あるいは本店にとっての支店毎に管理されており、その管理のために会社マスタが用意されている。
以下、主に、会計事務所が顧問先の会計専門サービスを行なう場合を例に説明するが、本店と支店の関係に置き換えても同様である。
【００２６】
図３Ａにおいて、まず、処理対象の顧問先を選択し（ステップＳ３Ａ−１）、所定の枚数のレシート等を読み込む（ステップＳ３Ａ−２）。
所定の枚数のレシート等の読み込みを終えると（ステップＳ３Ａ−３）、レシート等に印字されている文字列をテキストとして把握するための文字認識処理（ＯＣＲ処理）を行なうと共に、印字されているロゴなどの店名や、品名、数量、金額、年月日などの画像の特徴パターンを、ビットマップ画像ないし始点と終点の座標や矩形領域の位置や範囲の情報（以下、画像の特徴パターン）として抽出する処理を行なう（ステップＳ３Ａ−４）。
【００２７】
なお、ステップＳ３Ａ−２からステップＳ３Ａ−３のレシート等の画像の読取り処理およびステップＳ３Ａ−４のテキスト等の文字認識処理と画像の特徴パターンの抽出処理は、それぞれ独立して行なうことにしても構わないし、レシート等の画像の読み込みと文字認識結果及び抽出した画像の特徴パターンの登録処理と、重複判定処理は連続して行なってもよいし、レシート等の画像や文字認識結果及び抽出した画像の特徴パターンの登録処理後に重複判定処理を行なうようにしても良い。
この重複判定処理を適用するかどうか、いつ適用するかの設定画面の様子を、図６−５に示す。
図６−５によれば、端末装置１０で使用する画像取込装置５０の種類（内蔵カメラ、外付けのスキャナなど）の設定、および、重複判定処理を行なうかどうか、重複判定処理を行なう場合に、新たなレシート等の画像を読み取っている「今行なう」か、それともレシート等の画像を読み取って、一時、記憶部に仮登録した「後に（別途）行なうか」などの設定を行なうことができる。
この重複判定処理の設定を「後に（別途）行なうか」と設定した場合は、図５−１のイメージ管理テーブルに、重複判定を後で行なうフラグを立てて、レシート等の画像を本登録する際に、当該フラグで重複判定処理を自動実行したり、あるいは重複判定処理の実行を促す画面表示を行なう（図示せず）。
【００２８】
図７に示すように、画像の特徴パターンの一具体例としては、レシート等の上部から順に、会社名などのロゴ領域、店舗名や電話番号、担当者、取引の年月日、品名、数量、金額、バーコードなどが、各段落ないし領域毎に印刷されているのを、それぞれビットマップ画像ないし始点と終点の座標や矩形領域の位置や範囲の情報として取得したものである。なお、取引内容として会社名、電話番号、担当者、取引の年月日、品名、数量、金額や店舗名の他に他部署名や取引先名、支社や営業所等の名前も含まれる。
ここで、例えば、年月日や金額の画像の特徴パターンは、その幅に日付や金額の桁数などが反映された特徴を有しており、画像の特徴パターンの比較において、このような特徴を比較することで、同一の取引内容であるかどうかの判断指標とすることができる。
なお、画像の特徴パターンとしては、領域毎の部分的な画像の特徴パターンのほか、レシート等の全体を把握した特徴パターンがあり、図７の右側に、特徴パターン（全体）のように一例を示している。
【００２９】
ここで、画像の特徴パターンの抽出処理は、ロゴなどの店名や、品名、数量、金額、年月日などの属性を把握した上で行なうようにしても良いし、特に個々の画像の特徴パターンの属性を把握せずに、おおまかに、上段は何、中段は何、という大まかな把握の他、何らかの店名ないし品名等の会計処理に有用な情報のいずれかであるという把握の仕方で個々の画像の特徴パターンの属性を問わずに画像の特徴パターンを抽出するようにしても良い。
個々のロゴなどの店名や、品名、数量、金額、年月日などの属性を正確に把握して重複判定できるのが理想的ではあるが、文字のカスレ等により文字認識に失敗したり文字認識の精度が低い場合には、逆に重複判定ができないことになるので、本発明では、文字認識に失敗したり文字認識の精度が低く、店名や、品名、数量、金額、年月日などの属性を把握できないようなケースを想定して、重複判定ができる範囲を広げる趣旨である。
また、画像の特徴パターンとしては、カラー情報も利用することができる。
【００３０】
なお、画像の特徴パターンは、上記及び図５−１のイメージ管理テーブルで例示したものに限られず、画像の特徴を表すものであれば何でも構わない。もちろん、レシート等の外形サイズも含まれる。外形サイズは、品数が増えるとそれに対応して増大するほか、店舗や取引先毎にユニークなサイズを採用しているので、特徴を良く表現しているからである。
また、画像の特徴パターンは、例示した中の、いずれか１つ以上を使用すれば良く、複数を組み合わせることで判定の精度が向上していく。
【００３１】
図３ＡのステップＳ３Ａ−４の文字認識処理、画像の特徴パターンの抽出処理を終えると、過去に読み取ったレシート等の画像との重複判定処理のサブルーチンをコールして実行（ステップＳ３Ａ−５）。
重複判定処理のサブルーチンの詳細は後述する。
【００３２】
読み込んだ所定の枚数のレシート等について、重複判定処理が終了すると、ユーザーに、重複している可能性が一定の閾値を超えたものを提示して、読み込んだレシート等の画像を、記憶部に正式に登録するか、あるいは削除するかの操作を求める画面表示を行なう（ステップＳ３Ａ−６）。
確認表示の特徴については後述する。
【００３３】
ユーザーによる確認の結果、重複していない場合には（ステップＳ３Ａ−７：重複なし）、新たに読み込んだレシート等の画像を、認識結果や画像の特徴パターンの情報と関連付けて記憶部に正式に登録（学習）する（ステップＳ３Ａ−８）。
記憶部に登録されたレシート等の画像は、以後、過去に読み取ったレシート画像として管理され、重複判定時に使用される。
他方、重複していると判定される場合には（ステップＳ３Ａ−７：重複あり）、ユーザーの操作により、当該新たに読み込んだレシート等の画像を削除する処理を行なうと共に、重複判定の結果を記憶部に登録する（ステップＳ３Ａ−９）。
【００３４】
図３ＡのステップＳ３Ａ−９のレシート等の画像の重複判定の処理を終えると、会計データ入力の処理を行なう（ステップＳ３Ａ−１０）。
会計データ入力の処理では、例えば、仕訳データを入力するアプリを起動したり、現金の取引を入力する出納帳アプリを起動して行なう（ステップＳ３Ａ−１０）。
入力した情報のうち、摘要の情報については、さらに予め店舗名辞書や、品名辞書などを登録しておいて、摘要の情報から店舗名や品名の情報を抽出し、文字認識結果や画像の特徴パターンの情報と関連付けて学習、登録して再利用することができる（ステップＳ３Ａ−１１）。
【００３５】
例えば、イメージ管理テーブル（図５−１）で、店舗名と他の情報との紐付けを行ない、店舗毎にソートすることで、イメージ管理テーブルを辞書として用い、店舗毎のイメージ管理ができ、ある店舗では、日用品、ある店舗では、飲食費といった勘定科目との対応付けも可能となり、これらと異なる勘定科目を入力しようとすると注意表示を行なったり、あるいは自動的によく使う推奨科目を提示することができる。
また、イメージ管理テーブル（図５−１）では、レシート等の画像に対し、仕訳などの会計データとの紐付けもされているので、推奨科目を提示すると共に、そのレシート等の店名や科目に関連する仕訳データを提示することもできる。
また、あるレシート等の画像に対し、関連するレシート等の画像を検索して提示することもできる。その際の検索処理では、ユーザーが検索条件を入力するためのＵＩ（ユーザーインターフェース）により検索項目を選択したり入力を受付けるようにしたり、そのレシート等の画像に関連付けられた科目や摘要あるいは店名などの情報に基づいて、登録済みのレシート画像を検索する。
あるいは、そのレシート等の画像に対し、登録済みのレシート等の文字認識結果や画像の特徴パターンの比較で一致する項目が多い順などにソートして、一致する項目が多い順に列挙することもできる。
【００３６】
図７に示すように、レシート等の画像から、文字認識処理および画像の特徴パターン抽出処理を経て取得した、文字認識結果と、領域毎の画像の特徴パターン（部分）が、最終的に会計データ入力によって取得したデータ（日付、金額、摘要、店名、品名、勘定科目）などと対応付けられて、イメージ管理テーブル（図５−１）に登録される。
［過去に取り込んだ登録済みのレシート等との重複判定処理サブルーチン］
【００３７】
図３Ｂは、図３Ａの全体処理フローのステップＳ３Ａ−５の処理内容を詳細に記載した、過去に取り込んだ登録済みのレシート等との重複判定処理サブルーチンの処理フローを示す図である。
このサブルーチンでは、文字認識処理で取得した日付や金額等のテキスト文字を利用した比較処理と、画像の特徴パターンの情報を利用した比較処理を組み合わせて、新たに読み込んだレシート等の画像が、過去に読み取ったレシート等の画像と重複している可能性を判定する処理を行なう。
ここで記載の「Ｉ」は文字認識の結果が「あり（結果が取得できた）」かつ文字認識の比較結果「一致」、「Ｊ」は文字認識の結果が「あり（結果が取得できた）」かつ文字認識の比較結果が「一部でも不一致（部分的に一致）」、「Ｋ」は文字認識結果が「なし（結果を取得できない）」、および「Ｌ」は画像の特徴パターンの比較結果が「一致」かつ画像全体の比較結果が「一致」、「Ｍ」は画像の特徴パターンの比較結果が「一致」かつ画像全体の比較結果が「不一致」、「Ｎ」は画像の特徴パターンが「不一致」、といったそれぞれの比較結果の状況を表すものとしてあくまで簡易的に付した符号である。
【００３８】
図３Ｂにおいて、まず、必要に応じて処理を高速化するために、過去に読み取ったレシート等の画像の文字認識結果のテキスト文字や画像の特徴パターンの情報をメインメモリなどにロードするが（ステップＳ３Ｂ−１）、ＨＤＤやＳＳＤ、フラッシュメモリその他の長期記憶媒体に記憶したものと比較しても構わない。
重複元として参照するレシート等の画像は、図５−１のイメージ管理テーブルのように、会社ＩＤ毎（つまり顧問先毎や企業の支店などの部門毎）に管理されたものが対象となる。
また、時期的な範囲としては、「会計年度の初日の取引についての登録済みレシート等から」あるいは、「当月の初日の取引についての登録済みレシート等から」といった、ユーザー設定あるいは、システムのデフォルトで設定された範囲が対象とされる。
システムのデフォルトの設定としては、会計年度の初日、例えば３月末決算であれば、４月１日以降のレシート等を対象範囲とする設定が考えられる。
あるいは、顧問先等の企業等において、レシート等の管理が厳密であり、前月分までは確実に混じり合うことがないのであれば、ユーザー設定により、当月の初日からのレシート等の画像を対象範囲とする設定に変更できるようにしても良い。対象範囲を狭めることで、重複判定の処理を高速化することができるからである。
これらの設定は、図５−５（会社マスタ）などに反映され保存されている。
【００３９】
次に、重複判定処理に移行するが、当期の初日からのレシート等の画像を対象範囲とする場合において、１社あたり、１ヶ月で１，０００枚のレシート等の画像がある場合、１２月に参照するレシート等の画像の枚数は、４月から１２月までの９ヶ月分、つまり９，０００枚にも及ぶため、重複判定処理の処理内容や処理順序に工夫が必要となる。
この処理の高速化のため、例えば、文字認識結果の比較処理と画像の特徴パターンの比較処理を並列処理として起動する（ステップＳ３Ｂ−２）。
そして、文字認識結果の比較処理では、新たに読み込んだレシート等の画像の文字認識結果を取得できたかを確認し（ステップＳ３Ｂ−３）、カスレ等でそもそも文字認識結果を取得できないような場合には（ステップＳ３Ｂ−３の「なし」）、その比較結果の状況を「Ｋ」として記録し（ステップＳ３Ｂ−７）、文字認識結果を取得できた場合には（ステップＳ３Ｂ−３の「あり」）、テキスト文字を比較して、全てが一致する場合、一部でも不一致になる場合（部分的に一致する場合）などに場合分けして、それぞれの文字認識結果の状況を、「Ｉ」、「Ｊ」、・・・などとして記録する（ステップＳ３Ｂ−４、Ｓ３Ｂ−７）。
【００４０】
また、図３ＢのステップＳ３Ｂ−２からの文字認識処理と並行する処理として、画像の特徴パターンどうしを比較する処理を行なう（ステップＳ３Ｂ−５、Ｓ３Ｂ−６）。
具体的には、画像の領域毎の特徴パターン同士を比較し（ステップＳ３Ｂ−５）、いくつか画像の特徴パターンに不一致が含まれる場合には（ステップＳ３Ｂ−５の「不一致あり」）、比較結果の状況を「Ｎ」として記録し（ステップＳ３Ｂ−８）、画像の領域毎の特徴パターン同士が全て一致している場合には（ステップＳ３Ｂ−５の「一致」）、画像全体の画像の特徴パターンどうしの比較を行い（ステップＳ３Ｂ−６）、一致している場合には（ステップＳ３Ｂ−６の「一致」）、比較結果の状況を「Ｌ」として記録し（ステップＳ３Ｂ−８）、不一致の場合には（ステップＳ３Ｂ−６の「不一致」）、比較結果の状況を「Ｍ」として記録する（ステップＳ３Ｂ−８）。
【００４１】
なお、この場合において、画像の特徴パターンの比較処理で、領域毎あるいは画像全体の比較の順番は前後しても構わない。
また、本願実施例の図３Ｂでは並行処理した例を記載したが、文字認識結果の比較処理と、画像の特徴パターンの比較処理は、いずれか一方が他方に前後した処理としても構わない。
そして、文字認識結果の比較処理と、画像の特徴パターンの比較処理の両方が終了するようにタイミングを調整する等の同期処理を行なう（ステップＳ３Ｂ−９）。
なお、文字認識結果の比較処理は、テキスト文字の比較なので比較的軽い処理であるのに対し、画像の特徴パターンの比較処理は、比較的重い処理なので、システムの初期設定では、文字認識結果の比較処理を先に行なって重複可能性のある登録済みのレシート等の画像をできるだけ絞り込んだ上で、その後に画像の特徴パターンの比較処理を行なう処理を行い、処理時間の高速化を図るようにしても良い。
【００４２】
以上の文字認識処理で取得した日付や金額等のテキスト文字を利用した比較処理と、画像の特徴パターンの情報を利用した比較処理を組み合わせた処理により、文字認識結果は不一致だが、画像の特徴パターンの比較では一致しているというような場合（例えば、金額は一致しているが、年月日は文字が込み入っていて誤認識したような場合である）を含む、様々な態様の比較結果を得る。
このような比較結果を得て、当該１枚の新たに読み込んだレシート等の画像が、過去に読み取ったレシート等の画像と重複している可能性を総合的に判定する総合判定処理を行ない（ステップＳ３Ｂ−１０）、判定結果を主記憶やＨＤＤなどの記憶部に保存する（ステップＳ３Ｂ−１１）。
【００４３】
１枚ごとの判定結果は、ステップＳ３Ｂ−１３の複数枚まとめての判定で読み出して利用するほか、重複レシート等の重複確認画面（図６−１〜図６−４）で表示する際に用いられる。
なお、上記の文字認識結果の比較処理と、画像の特徴パターンの比較処理は、画像の特徴パターンの比較処理の方が処理量が多くなる傾向があり、並行して処理するか、いずれか一方を先に行なうかなどの判定を行なって決定することができる。
【００４４】
１枚ごとの総合判定処理は、図５−３に示すような重複総合判定テーブルを用いて行なうことができるが、これに限られず、場合分けの組み合わせた処理フローの形で実施することもできる。
図５−３の重複総合判定テーブルでは、文字認識結果が一致していて（文字認識の比較結果の状況がＩ）、画像の特徴パターンの比較結果も領域毎の部分的な画像の特徴パターンの比較結果も一致し、画像全体での画像の特徴パターンの比較結果も一致しているような場合には（画像の特徴パターンの比較結果の状況がＬ）、重複している可能性が高いと判定される。
【００４５】
他方、文字認識結果が一致していて（比較結果の状況がＩ）、画像の特徴パターンの比較結果において、領域毎の部分的な画像の特徴パターンの比較結果に不一致な領域が含まれる場合には（画像の特徴パターンの比較結果の状況がＮ）、日付や金額などの桁数が違うと推測されるので、文字認識に誤認識があったなどと推定され、重複している可能性は低いと判定される。
【００４６】
同様に、文字認識結果が取得できない場合でも（文字認識の状況がＫ）、画像の特徴パターンの比較結果が、領域毎の部分的な画像の特徴パターンどうしが一致し、かつ全体の画像の特徴パターンどうしが一致するような場合には、日付や金額の桁数も同じであると推定され、品名や個数なども同じであると推定され、さらに発行した店舗も同じと推定されるので、カスレ等でたまたま文字認識がうまくいかなかったと推定し、重複している可能性を中くらいと判定した上で、重複判定の漏れを防止し、ユーザーに念のために提示することができるように調整して判定する。
そして、今回読み込んだ、所定の枚数のレシート等の全てについて、それぞれの重複可能性を判定する（図３ＢのステップＳ３Ｂ−１２）。
【００４７】
それぞれ、１枚ごとの重複可能性の判定処理を終えると、複数枚まとめての重複判定の処理を行なう（ステップＳ３Ｂ−１３）。
ここでは、後述の図５−４の重複総合判定テーブル（複数枚まとめての判定用）を使った処理を行なうものであるが、複数枚まとめての重複判定では、読み込んだ中で複数枚の重複可能性が中程度以上のものが含まれているような場合に、その一連のレシート等は、過去に読み取ったレシート等の画像等と重複する可能性が類型的に高いことを示すもので、１枚１枚の重複判定では、必ずしも高い精度で重複可能性を判定できない場合があるのを補完し、総合的に見て、今回新たに読み込んだレシート等は、管理が不十分で、過去に読み取ったレシート等と重複している可能性が高いという情報を、タイムリーにユーザーに提示でき、ユーザーは残りの数十枚、数百枚のレシート等の読取りを中断して、袋などに入っている残りのレシート等を再確認でき、無駄な読み込み作業をしないで済む点で、実務上有用である。
【００４８】
なお、複数枚まとめての重複判定により、過去の読み取ったレシート等の画像と完全に一致する場合はユーザーが同じレシート等の再度読取りを行ったものと、一部のみ一致する場合は取引内容が同じレシート等が含まれた新しいレシート等の読取を行ったものと判断してもよい。
以上の処理を終えると、サブルーチンを終了して、全体処理フローのステップＳ３Ａ−６の確認表示に移行する。
【００４９】
［過去に取り込んだ登録済みのレシート等との重複判定処理サブルーチンの変形例］
過去に取り込んだ登録済みのレシート等との重複判定処理サブルーチンの変形例を、図３Ｃ、図３Ｄ、図３Ｅにより説明する。
図３Ｂとの相違は、文字認識結果の比較処理と、画像の特徴パターンの比較処理をそれぞれ図３Ｄおよび図３Ｅのようにサブルーチン化し、文字認識結果の比較処理と、画像の特徴パターンの比較処理について、それぞれ、比較するための重複判定の閾値などのパラメータを変更して、複数回ループさせる処理を追加したことである。
【００５０】
また、取引先や店舗などによって、発行するレシート等には、文字の大きさが小さいとか、ロゴや図形のようなものが含まれるなど一定の傾向があり、文字認識結果の比較処理や画像の特徴パターンの比較処理との相性がある。
このため、文字認識結果の比較処理と、画像の特徴パターンの比較処理を、それぞれ相互に前後させることで、文字認識結果の比較処理で合致するレシート等の画像を絞り込むのか、あるいは画像の特徴パターンの比較処理で合致するレシート等の画像を絞り込むのか、あるいは両方の比較処理を並行して動作させ、いずれか一方で絞り込むのではなく両方の比較処理をマージしてから絞り込むのか、といった複数の処理パターンを走らせて、それぞれ相性の良い比較方法を選択したり、それぞれを重み付けしたり、重み付けの数値を学習によって最適化することができる。
【００５１】
図３Ｃにおいて、例えば、印字されている文字が大きく、画像が鮮明で文字認識結果の信頼度が高い場合には、まず、ステップＳ３Ｃ−３で文字認識結果の比較処理を行ない過去に読み取ったレシート等の画像で重複しそうなものをある程度絞り込んだ上で、引き続いて、文字認識結果の比較で重複が疑われるものについてステップＳ３Ｃ−４で画像の特徴パターンの比較処理を行ない、さらに閾値などのパラメータを変えて（ステップＳ３Ｃ−５）、文字認識結果の比較処理と画像の特徴パターンの比較処理を再度行なうこともできる。
あるいは、印字されている文字が小さかったり、レシート等の画像においてカスレ等が多い場合には、文字認識結果の信頼度が低いので、まず画像の特徴パターンの比較処理を先に実行し、画像の特徴パターンどうしが似ているものをピックアップし、その上で文字認識結果の比較処理を後に実行して、さらに絞込み、さらに閾値などのパラメータを変えて（ステップＳ３Ｃ−５）、文字認識結果の比較処理と画像の特徴パターンの比較処理を再度行なうこともできる。
【００５２】
なお、図３Ｂで、イ、ロの重複判定処理、およびハと二を合わせた重複判定処理においては、図５−３の（１）デフォルトパターン、あるいは顧問先毎や会社の業種毎にカスタマイズした判定テーブルを用いて、閾値（パラメータ）を変えて、各重複判定処理を繰り返し行なうこともできる。
各重複判定処理が終了するように同期処理が行なわれ（ステップＳ３Ｃ−７）、重複判定処理の判定結果として、それぞれイ、ロ、ハ、二の４つの重複判定結果（１枚ごと）が得られる。
なお、ハとニの結果は、図５―５の重複判定テーブルに当てはめられて、文字認識結果の比較と、画像の特徴パターンの比較結果とを総合した重複可能性を出力する。
各判定結果は、重複可能性が大、中、小などで出力される他、重複可能性が大の場合は０．９（９０％）、中の場合は０．６（６０％）、小の場合は０．２（２０％）などの重複している確率などの数値を用いてもよい。
【００５３】
そして、イ、ロ、ハ、二の４つの重複判定結果（１枚ごと）が得られたのち、これらのうち、それぞれの重複判定処理の結果に対して、相性に応じて重み付けをして、重複可能性の総合判定を行なう（Ｓ３Ｃ−８）。
総合判定は、図５−６重複総合判定テーブル（１枚ごとの判定用）（図３Ｃ用）に当てはめて出力される。
その際、顧問先毎あるいは会社の業種毎に、各判定結果に対する重み付け（ａ、ｂ、ｃの数値）をして、それぞれの業態に則した重複判定に最適化することができる。
なお、顧問先毎あるいは会社の業種毎に、重み付けを調整するのは、顧問先毎や、業種毎に、その取引先が一定の範囲になることが多く、その結果、レシート等にも一定の傾向が生じることになるため、顧問先毎や、業種毎に、レシート等の画像の重複判定処理において、文字認識結果の判定処理と画像の特徴パターンの比較処理それぞれの順番や閾値（パラメータ）の設定との間に相性が生じるからである。
【００５４】
また、文字認識結果の比較処理は、テキスト文字の比較なので比較的軽い処理であるのに対し、画像の特徴パターンの比較処理は、比較的重い処理なので、システムの初期設定では、文字認識結果の比較処理を先に行なって重複可能性のあるレシート等の画像をできるだけ絞り込んだ上で、その後に画像の特徴パターンの比較処理を行なう処理（つまり図３Ｃの「イ」までの処理）の重み付けを（画像の特徴パターンの比較を先に行なう図３Ｃの「ロ」までの処理よりも）高くして、処理時間の高速化を図るようにしても良い。
【００５５】
図５−６の重複判定テーブルは、判定パターン１、２、３・・・のように判定パターン毎に用意された例を示したが、各判定パターンの重み付け（ａ、ｂ、ｃ）は、重複している可能性が一定レベル以上（例えば、中（０．６）以上）の場合に、ユーザーに提示して、実際に重複しているかどうかを確認し、その確認結果を得て、重複可能性の判定結果と、ユーザーの確認結果の誤差を、二乗平均誤差などの誤差関数で換算して、誤差関数が最小になるように、各判定パターンの重み付けの数値（ａ、ｂ、ｃ）を更新する機械学習を行ない、判定パターンの精度を向上させていくことができる。
【００５６】
［携帯処理フロー］
図１−５などの場合のように、会計事務所のサーバー１００と職員の端末装置１０とがクライアントサーバーシステムを構成している場合において、端末装置１０をサーバー１００から切り離して、顧問先に持ち込んで、顧問先でレシート等の画像を読み込む場合には、顧問先に端末装置１０を携帯することから、携帯処理と呼ぶことにする。
このような携帯処理の処理フローを図４に示す。
図４において、対象となる顧問先を決定した上で（ステップＳ４Ｔ−１）、端末装置１０を持ち込む顧問先のデータ（レシート等の画像データ、それに対応付けられた文字認識結果、画像の特徴パターンの情報など）を、会計事務所のサーバー１０から（ステップＳ４ＳＶ−１）、端末装置１０の記憶部に一時的に格納し（ステップＳ４Ｔ−２）、出先の顧問先での重複判定に備えることができる。
【００５７】
そして、この場合に、処理対象となる顧問先のデータを全てロックして、その顧問先のデータを一切追加したり更新したりできないようにする処理を行なうこともできるし（ステップＳ４ＳＶ−２の「ロックする」）、ロックしないで、会計事務所の別の職員が別の端末装置１０を用いて、レシート等の画像の取り込み処理を続行したり、あるいは、顧問先が直接に、会計事務所のサーバー１００にアクセスして、レシート等の画像をアップロードできるようにする場合がある（ステップＳ４ＳＶ−２の「ロックしない」）。
【００５８】
＜サーバー側で顧問先のデータをロックする場合とロックしない場合の共通の処理＞
図４において、顧問先に持ち込んだ端末装置１０で、レシート等の画像を読み込み（ステップＳ４Ｔ−３）、端末装置１０の記憶部に記憶したレシート等の画像や画像に関連付けられた文字認識結果や画像の特徴パターンとの比較を行ない、顧問先で重複判定処理を行ないながら、レシート等の画像の取り込みを行なう（ステップＳ４Ｔ−４）。
【００５９】
＜サーバー側で顧問先のデータをロックする場合＞
そして、会計事務所のサーバー１００において、その顧問先のデータをロックしていた場合には、会計事務所に戻った後、再度、サーバー１００と接続して、そのまま顧問先で読み込んだレシート等の画像を追加登録する（ステップＳ４Ｔ−８、ステップＳ４ＳＶ−５）。
＜サーバー側で顧問先のデータをロックしない場合＞
他方、会計事務所のサーバー１００において、その顧問先のデータをロックしていない場合には、携帯処理中に他の職員や顧問先から追加されたレシート等の画像との重複判定をさらに行ない（ステップＳ４Ｔ−６）、その上で、重複していないものについて、追加登録を行なう（ステップＳ４Ｔ−７、ステップＳ４ＳＶ−４）。
【００６０】
［テーブル］
図５−１は、イメージ管理テーブルであり、顧問先毎や会社毎に、あるいは会社内の本店や支店や営業所等の組織毎に、読み取ったレシート等の画像にイメージＩＤを割り当てて、そのレシート等の画像の文字認識の結果や画像の特徴パターンの情報を、領域毎の部分的な画像の特徴パターン、ないし、全体の画像の特徴パターンの情報、および、ユーザーがそのレシート等の画像に関する取引の内容を仕訳データなどの会計データとして入力して得た店名や取引先名、品名、摘要や勘定科目の情報とが関連付けられて登録され、管理されている。
ここで、例えば、会社ＩＤがＫ０００１はＢ社（顧問先Ｂ）を示している。
画像全体の特徴パターンは、印刷領域全体の画像の特徴パターンのほか、レシート等の画像の外枠のサイズの特徴パターンなども含まれる。
また、図６−５の読取り設定画面で、重複判定処理を行なうかどうか、行なう場合に、今行なうか、後で行なうかの設定を保存しておくフラグ、および重複判定処理を実行したかどうかのフラグを備えている。
【００６１】
ここで、図５−１の特徴パターン（特徴ＰＴＮと略す）は、ドットのある領域の矩形の幅や高さ、ビットマップのほか、ヒストグラム形式で量子化した情報（Ｘ、Ｙ方向から投影する等して得た情報）、数学的処理でベクトル化した情報などを含む特徴量をいうものとする。
特徴ＰＴＮは、何らかの会計に関する画像なので、個々の領域の会計処理上の属性（個数、品名、日付、金額など）を有するので、位置や範囲、幅や高さなどが重要な意味を持つ。
特徴パターン（部分）は領域毎の画像の特徴パターンであり、(特徴１（店名等の特徴ＰＴＮ）、特徴２（位置、特徴ＰＴＮ）、特徴３（位置、特徴ＰＴＮ）、・・・)のように記述することができる。
【００６２】
図５−２は、会計入力アプリなどを用いて生成されたデータであって、仕訳データなどの会計データのデータ構成を示す図であり、顧問先毎に、仕訳データＩＤなどが割り付けられ、科目や摘要、金額や日付などの情報が対応付けられており、さらに、イメージ管理テーブルにより、どのレシート等の画像に関する会計データであるかも対応付けられている。
【００６３】
図５−３．重複総合判定テーブル（１枚ごとの判定用）と図５−４．重複総合判定テーブル（複数枚まとめての判定用）は、前述したので、詳細は省略するが、図５−４．重複総合判定テーブル（複数枚まとめての判定用）では、判定条件として、読みこんだ中で２枚以上と記載しているが、複数枚が重複している場合や、２割以上の割合で重複している等の一定の閾値に代えることができる。
【００６４】
要するに、１０枚読み込んで、１枚が重複可能性があるというのであれば、その１０枚は、１週前とか、前月とか、前年同月とか、同一店舗とかという範囲で、管理が不十分で、過去に読み取ったレシート等の画像と重複している可能性が低いと言えるが、２枚とか３枚が重複している可能性が高いと判定されたような場合は、偶然ではなく、全体の１０枚およびその後に続けて読み込もうとしている多数のレシート等の画像が、類型的に過去に読み取ったレシート等の画像と重複している可能性が高く、ユーザーにいち早く、全てのレシート等の画像を読み込む前に、注意深く確認するようなオペレーションを行なうことができ、無駄のない会計処理を行なうことができる。
【００６５】
［重複している可能性があると判定した場合の画面表示の特徴］
次に、全体処理フロー図（図３Ａ）のステップＳ３Ａ−６で表示される、重複する可能性が一定レベル以上（可能性が中以上）あると判定された場合のレシート等の確認画面について説明する。
図６−１は、重複する可能性が一定レベル以上（可能性が中以上）あると判定された場合のレシート等の確認画面  （左右対比）である。この画面例では、右側に今回新たに読み込んだレシート等の画像のうち、過去に読み取ったレシート等の画像と重複する可能性のあるものが３枚列挙されており、そのうち、レシート番号でＩＤ００６５のものを選択した場合に、そのレシート等の画像が表示されると同時に、左側の画面で、過去に読み取ったレシート等の画像のうち重複する可能性のある重複元のレシート等の画像が表示されている様子を示している。
この画面例では、左右に重複する可能性のあるレシート等の画像を見比べながら確認できるので、作業効率が向上する。
なお、左右対比で確認する画面は一例であり、上下に対比したり、新たに読み取ったレシート等の画像だけを表示し、レシート等の画像にマウスカーソルなどをフォーカスすると、過去に読み取った登録済みのレシート等の画像で重複する可能性のあるものをポップアップ表示するようにしても良い（図６−２、図６−３も同様）。
【００６６】
図６−２は、図６−１の重複する可能性が一定レベル以上（可能性が中以上）あると判定された場合のレシート等の確認画面  （左右対比）に対し、いずれかのレシート画像を拡大表示した場合において、もう一方の画像を同じ拡大率で表示すると共に、一方の画像をスクロールすると、他方の画像も同様に自動スクロールされる様子を示している。画像のスクロール量の値を、他方に適用することで、同じ箇所を拡大して確認することができ、重複しているかどうかを確実に視認することを支援する。
【００６７】
図６−３は、重複レシート等の確認画面で、重複する可能性のある取り込み済みのレシート等が複数ある場合の例である。
図６−１および図６−２が、新たに読み込んだレシート等の画像１枚に対し、重複している可能性のある取り込み済みのレシート等の画像が１枚ある場合を例示しているのに対し、図６−３では、新たに読み込んだレシート等の画像１枚に対し、重複可能性のある取り込み済みのレシート等の画像が複数枚ある場合であるという相違がある。
図６−３では、新たに読み込んだレシート等の画像１枚に対し、重複している可能性のある取り込み済みの重複元レシート等の画像が２枚ある場合に、重複している可能性が高い順にレシート番号が列挙されており、選択した画像が左側に表示され、右側に表示された、今回新たに読み込んだレシート等の画像と対比して確認できることが示されている。
重複している可能性のレベルは、図５−３の重複総合判定テーブルに示すように、高い、中程度といった区別でも良いし、ユーザーが最終的に確認して重複判定した結果を学習したうえで、確率で表現されたレベルを用いても良い。
【００６８】
図６−４は、今回新たに読み込んだ複数のレシート等の画像のうち、複数枚が、過去に読み取ったレシート等の画像と重複する場合の区別表示の例を示している。
右側には、今回新たに読み込んだレシート等の画像が５枚表示され、そのうち、過去に読み取ったレシート等の画像と重複している可能性が一定レベル以上のものについて、背景が区別表示されている例が示されている。
この場合において、右側の重複している可能性のあるレシート等の画像にマウスのカーソルを当てたり、モバイル端末の場合には画面上のタッチパネル上で、そのレシート等の画像に触れた場合には、左側の画面で、重複の可能性がある取り込み済みの重複元のレシート等の画像が次々と切り換えられて表示され、重複しているかどうかを確認することができる。
【００６９】
そして、この例では、５枚中２枚ものレシート等の画像が重複している可能性があることが示されており、こういう場合は、レシート等の管理が不十分で、これから読み込もうとしているレシート等の画像が、全体として、類型的に重複している可能性があるので、画面の上部に、「この一群のレシート等は、以前に取り込んだレシート等と重複している可能性が高いので注意してください！」といった警告表示を行なうことで、ユーザーは直ちにレシート等の画像の読み込みを中断して、袋等に保管したレシート等の画像の管理状況を確認し、既に取り込み済みのレシート等であるかどうかを確認することができ、無駄な読み込み作業を行なわないようにすることができる。
なお、図示はしないが、取り込み済みの重複元レシート等が複数ある場合も想定され、その場合は、重複している重複元レシート等を図６−３の左側のように表示しても良い。
【００７０】
また、上記の重複判定処理を行なう／行なわないに関わらず、レシート等の文字認識結果と画像の特徴パターンおよび、勘定科目や摘要あるいは店名などの情報を登録しているので、あるレシート等の画像に対し、これらの情報を検索キーとして、ヒットする項目が多いものを検索することができる。
あるレシート等の画像に対し、勘定科目や摘要あるいは店名などの情報を検索キーにして、関連するレシート等の画像を検索して列挙したり、列挙したレシート等の画像に紐付いている勘定科目や摘要あるいは仕訳等の会計データを参照することもできる。
【００７１】
あるいは、あるレシート等の画像に対し、文字認識結果や画像の特徴パターンの情報を検索キーとして、似たようなレシート等の画像を検索して、ヒットした項目の多い順に列挙したり、列挙したレシート等の画像に紐付いている勘定科目や摘要あるいは仕訳等の会計データを参照することもできる。この場合、文字認識結果と画像の特徴パターンの比較のいずれか一方を使用したり、重複判定と同様に両方の比較処理を組み合わせることができる。文字認識結果や画像の特徴パターンの比較で一致する項目が多い順などにソートして、一致する項目の多い順に列挙したり、上位のものだけを１０枚列挙するといった提示の仕方が可能である。
以上の検索処理や列挙表示は、新たにレシート等の画像を読み取った場合や、既に読み取って登録済みのレシートのうち任意のレシート等の画像に対し、検索する場合のいずれに対しても適用可能である。
【００７２】
以上のように、文字認識結果の比較と、画像の特徴パターンの比較を組み合わせて、重複する可能性の判定を行なうことで、カスレ等や文字が小さい等により正確に文字認識ができない場合でも、重複している可能性を精度良く判定することができる。
また、重複している可能性が一定レベル以上の場合に、ユーザーに対し、重複しているかどうか確認しやすい画面を表示することで、重複したレシート等の画像を登録することを防止することによって、重複した会計データを作成することを防止すると共に、似たようなレシート等の画像であるが、本当に２つの異なる取引があったことを確認した上で、会計データを入力することができるので、２重の仕訳の発生と本当に２つの取引が発生したことを峻別しつつ適切な会計データの作成を支援することで、会計処理の効率化、確実化を図ることができる。
そして、本システムによれば、会計事務所や企業内の本店などの監査する側で、顧問先や企業の支店など、サービスを受ける側に対する監査の段階でも、レシート等の証ひょう画像まで遡った上での正確な指導がし易くなり、業務効率化につなげることができる。
【符号の説明】
【００７３】
１０    端末装置
１１    入力部
１２    画像取込部
１３    出力部（表示、印刷）
１４    制御部
１５    記憶部（ＲＡＭ等の主記憶、ＳＲＡＭやＨＤＤ等の長期記憶）
１６    通信部
５０    画像取込装置（カメラ、スキャナ）
６０    ＬＡＮ（ローカルエリアネットワーク）
７０    ＷＡＮ（ワイドエリアネットワーク、インターネット等）
１００  サーバー（仮想サーバー含む）
１３０  出力部
１４０  制御部
１５０  記憶部
１６０  通信部
【図１−１】
2018190064.tif 000003
【図１−２】
2018190064.tif 000004
【図１−３】
2018190064.tif 000005
【図１−４】
2018190064.tif 000006
【図１−５】
2018190064.tif 000007
【図１−６】
2018190064.tif 000008
【図１−７】
2018190064.tif 000009
【図２−１】
2018190064.tif 000010
【図２−２】
2018190064.tif 000011
【図３Ａ】
2018190064.tif 000012
【図３Ｂ】
2018190064.tif 000013
【図３Ｃ】
2018190064.tif 000014
【図３Ｄ】
2018190064.tif 000015
【図３Ｅ】
2018190064.tif 000016
【図４】
2018190064.tif 000017
【図５−１】
2018190064.tif 000018
【図５−２】
2018190064.tif 000019
【図５−３（１）】
2018190064.tif 000020
【図５−３（２）】
2018190064.tif 000021
【図５−３（３）】
2018190064.tif 000022
【図５−４（１）】
2018190064.tif 000023
【図５−４（２）】
2018190064.tif 000024
【図５−５（Ａ）】
2018190064.tif 000025
【図５−５（Ｂ）】
2018190064.tif 000026
【図５−６】
2018190064.tif 000027
【図６−１】
2018190064.tif 000028
【図６−２】
2018190064.tif 000029
【図６−３】
2018190064.tif 000030
【図６−４】
2018190064.tif 000031
【図６−５】
2018190064.tif 000032
【図７】
2018190064.tif 000033
【図８】
2018190064.tif 000034