(57)【要約】【課題】撮影した複数のフレーム画像の各々が、帳票のどの位置を撮影したかを検出し、帳票全体の画像の復元を容易にする端末装置を提供する。【解決手段】一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得部と、フレーム画像における文字画像の文字認識を行なう文字認識部と、文字認識により文字情報が得られた前記フレーム画像である重畳対象画像の特徴情報と、帳票を重畳対象画像より先に撮影したフレーム画像である基準画像の特徴情報とにより、前記重畳対象画像を前記基準画像に重畳させる処理を繰り返し、前記帳票の画像の少なくとも一部を復元した状態の画像とする画像処理部と、を備える。【選択図】図１
2020098429.tif 000002
【特許請求の範囲】
【請求項１】
一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得部と、
前記フレーム画像における文字画像の文字認識を行なう文字認識部と、
文字認識により文字情報が得られた前記フレーム画像である重畳対象画像の特徴情報と、帳票を重畳対象画像より先に撮影したフレーム画像である基準画像の特徴情報とにより、前記重畳対象画像を前記基準画像に重畳させる処理を繰り返し、前記帳票の画像の少なくとも一部を復元した状態の画像とする画像処理部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記画像処理部は、
前記基準画像及び前記重畳対象画像において重複領域が存在しない場合、前記基準画像と前記フレーム画像との間に撮影された、前記文字認識において文字情報が得られなかった他のフレーム画像を前記基準画像の背面に背景画像として重ねる
ることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像処理部は、
前記基準画像に前記重畳対象画像を重ねる際、前記基準画像と前記重畳対象画像に含まれる前記文字情報が重複する場合、前記基準画像と前記フレーム画像とのいずれを上にして重ねるかを選択する
ことを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
フレーム画像取得部が、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得過程と、
文字認識部が、前記フレーム画像における文字画像の文字認識を行なう文字認識過程と、
画像処理部が、文字認識により文字情報が得られた前記フレーム画像である重畳対象画像の特徴情報と、帳票を重畳対象画像より先に撮影したフレーム画像である基準画像の特徴情報とにより、前記重畳対象画像を前記基準画像に重畳させる処理を繰り返し、前記帳票の画像の少なくとも一部を復元した状態の画像とする画像処理過程と、
を含むことを特徴とする画像管理方法。
【請求項５】
コンピュータを、
一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得手段、
前記フレーム画像における文字画像の文字認識を行なう文字認識手段、
文字認識により文字情報が得られた前記フレーム画像である重畳対象画像の特徴情報と、帳票を重畳対象画像より先に撮影したフレーム画像である基準画像の特徴情報とにより、前記重畳対象画像を前記基準画像に重畳させる処理を繰り返し、前記帳票の画像の少なくとも一部を復元した状態の画像とする画像処理部手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像管理方法、プログラムに関する。
【背景技術】
【０００２】
携帯電話やスマートフォンなどの端末装置によって運転免許証などの各種証明書を撮影して得られた画像データと、当該画像データを文字認識することで得られる文字情報とを用いることにより、各種申し込み手続が電子的に行われるようになってきている。端末装置のカメラで撮影して文字認識するものとしては、例えば、特許文献１に記載された携帯端末装置がある。
【０００３】
特許文献１に開示される技術では、例えば、読み取り対象の文書を連続して撮影する間に得られる複数の文書画像について文字認識を行い、文書画像に含まれる文字や値などの文字情報を検出する。さらに、特許文献１に開示される技術では、検出した文字情報の中から予め定められている項目名を示す文字情報を検出し、また、当該項目名に対応して記録されている、例えば、個人ごとに異なる氏名や住所などの文字情報を読み出して取得している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第６３６４０５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、運転免許証などよりも大きな帳票の場合、文字を認識するために必要となる解像度の画像を得るためには、スマートフォンなどのカメラでは帳票の全体を一度に撮影
できない場合がある。このような帳票についても、特許文献１に開示される技術を利用すれば、帳票を複数の領域に区切って連続して撮影していくことで、帳票に記録されている全ての文字情報を取得が可能となる。ただし、このように、領域毎に区切ってフレーム画像として撮影した場合、得られた複数のフレーム画像によって１枚の帳票の復元を行なう。
しかしながら、撮影した複数のフレーム画像の各々が帳票のどの位置に対応するのかが判らないため、帳票全体の復元が困難である。
【０００６】
本発明は、このような事情に鑑みてなされたものであり、その目的は、撮影した複数のフレーム画像の各々が、帳票のどの位置を撮影したかを検出し、帳票全体の画像の復元を容易にする画像処理装置、画像管理方法、プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するために、本発明の画像処理装置は、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得部と、前記フレーム画像における文字画像の文字認識を行なう文字認識部と、文字認識により文字情報が得られた前記フレーム画像である重畳対象画像の特徴情報と、帳票を重畳対象画像より先に撮影したフレーム画像である基準画像の特徴情報とにより、前記重畳対象画像を前記基準画像に重畳させる処理を繰り返し、前記帳票の画像の少なくとも一部を復元した状態の画像とする画像処理部と、を備えることを特徴とする。
【０００８】
本発明の画像処理装置において、前記画像処理部は、前記基準画像及び前記重畳対象画像において重複領域が存在しない場合、前記基準画像と前記重畳対象画像との間に撮影された、前記文字認識において文字情報が得られなかった他のフレーム画像を前記基準画像の背面に背景画像として重ねることを特徴とする。
【０００９】
本発明の画像処理装置において、前記画像処理部が、前記基準画像に前記重畳対象画像を重ねる際、前記基準画像と前記重畳対象画像に含まれる前記文字情報が重複する場合、前記基準画像と前記フレーム画像とのいずれを上にして重ねるかを選択することを特徴とする。
【００１０】
本発明の画像管理方法は、フレーム画像取得部が、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得過程と、文字認識部が、前記フレーム画像における文字画像の文字認識を行なう文字認識過程と、画像処理部が、文字認識により文字情報が得られた前記フレーム画像である重畳対象画像の特徴情報と、帳票を重畳対象画像より先に撮影したフレーム画像である基準画像の特徴情報とにより、前記重畳対象画像を前記基準画像に重畳させる処理を繰り返し、前記帳票の画像の少なくとも一部を復元した状態の画像とする画像処理過程と、を含むことを特徴とする。
【００１１】
本発明のプログラムは、コンピュータを、一つの帳票を部分的に連続して撮影したフレーム画像を取得するフレーム画像取得手段、前記フレーム画像における文字画像の文字認識を行なう文字認識手段、文字認識により文字情報が得られた前記フレーム画像である重畳対象画像の特徴情報と、帳票を重畳対象画像より先に撮影したフレーム画像である基準画像の特徴情報とにより、前記重畳対象画像を前記基準画像に重畳させる処理を繰り返し、前記帳票の画像の少なくとも一部を復元した状態の画像とする画像処理部手段、として機能させるためのプログラムである。
【発明の効果】
【００１２】
この発明によれば、撮影した複数のフレーム画像の各々が、帳票のどの位置を撮影したかを検出し、帳票全体の画像の復元を容易にする画像処理装置、画像管理方法、プログラムを提供することができる。
【図面の簡単な説明】
【００１３】
【図１】一実施形態の帳票データ管理システムの構成を示す概略ブロック図である。
【図２】同実施形態における帳票のテンプレートの一例を示す図である。
【図３】同実施形態における帳票の一例を示す図である。
【図４】同実施形態において撮影されたフレーム画像の一例（その１）である。
【図５】同実施形態において撮影されたフレーム画像の一例（その２）である。
【図６】同実施形態における帳票定義テーブルを示す図である。
【図７】同実施形態における帳票情報テーブルを示す図（その１）である。
【図８】同実施形態における重畳状態テーブルを示す図である。
【図９】同実施形態における帳票情報集計テーブルを示す図である。
【図１０】同実施形態における端末装置による帳票の撮影処理の流れを示すフローチャートである。
【図１１】同実施形態における帳票情報テーブルを示す図（その２）である。
【図１２】同実施形態において撮影されたフレーム画像の一例（その３）である。
【図１３】同実施形態における帳票情報テーブルを示す図（その３）である。
【図１４】同実施形態における端末装置による保存対象の帳票情報テーブルの選択処理流れを示すフローチャートである。
【図１５】同実施形態における端末装置によるフレーム画像同士を重ねて重畳画像を生成する処理の流れを示すフローチャートである。
【図１６】同実施形態における端末装置による背景画像の検出処理の流れを示すフローチャートである。
【図１７】同実施形態におけるマッチング処理部による処理の一例を示す図である。
【図１８】同実施形態における重畳画像の構成を示す図（その１）である。
【図１９】同実施形態において撮影されたフレーム画像の一例（その４）である。
【図２０】同実施形態における重畳画像の構成を示す図（その２）である。
【図２１】同実施形態の他の構成例において撮影されたフレーム画像の一例である。
【図２２】同実施形態の他の構成例における帳票情報テーブルを示す図である。
【図２３】同実施形態の他の構成例において２個のフレーム画像が重ねられた状態を示す図である。
【図２４】同実施形態の他の構成例における重畳状態テーブルを示す図である。
【発明を実施するための形態】
【００１４】
以下、本発明の一実施形態による端末装置１を備える帳票データ管理システムＳについて図面を参照して説明する。図１は、帳票データ管理システムＳの構成を示す概略ブロック図である。帳票データ管理システムＳは、端末装置１、帳票データ管理装置３、及び端末装置１と帳票データ管理装置３とを接続する通信ネットワーク４を備える。
【００１５】
端末装置１は、例えば、カメラを内蔵したスマートフォン、携帯電話、携帯情報端末（ＰＤＡ(Personal Digital Assistant)）、タブレットＰＣ(Personal Computer)などの装置である。端末装置１は、帳票データ管理装置３、または他のサーバ装置から通信ネットワーク４を通じてダウンロードした所定のアプリケーションプログラム（以下、ＡＰ）を実行し、例えば、通信装置として機能したり、以下に説明する帳票撮影用の装置として機能したりする。
【００１６】
端末装置１は、操作部１０、撮影部１１、表示部１２、フレーム画像取得部１３、記憶部１４、文字認識部１５、選択部１６、認識データ管理部１７、通信部１８、及び画像処理部２０を備える。
【００１７】
一実施形態において、端末装置１の撮影の対象となる帳票には、例えば、図２に示すようなタイトル（健康診断個人票）、項目名（例えば、事業所名、所在地、氏名など）、及び罫線からなるテンプレートが予め印刷されており、図２に示すテンプレートに文字や数字の情報が記録されると、例えば、図３に示すような帳票となる。なお、帳票の大きさは、文字認識部１５による文字認識処理を行うのに必要な解像度で撮影する場合、１回の撮影で全体を写すことができない程度の大きさであるとする。
【００１８】
撮影部１１は、例えば、ＣＣＤ(Charge Coupled Device)カメラであり、操作部１０から撮影開始の指示情報が供給された場合、１秒間に１０〜３０フレームのフレームレートでの撮影を連続して行い、フレームレートの周期毎にフレーム画像のデータを取得する。また、撮影部１１は、操作部１０から撮影終了の指示情報が供給された場合に撮影を終了する。例えば、図４及び図５は、図３に示す帳票を上から順に連続して撮影して得られたフレーム画像６１，６２の例である。
【００１９】
表示部１２は、例えば、タッチパッドのような入力装置が画面上に配置されたタッチパネルなどであり、撮影部１１が撮影したフレーム画像、または、記憶部１４が記憶する画像のデータを画面に表示する。
通信部１８は、端末装置１の外部の機器、例えば、帳票データ管理装置３と通信ネットワーク４を通じて通信を行う。
記憶部１４は、フレーム画像記憶部１４１、アプリケーション記憶部１４２、帳票定義情報記憶部１４４、帳票情報記憶部１４５、及び重畳画像記憶部１４７を備える。
【００２０】
フレーム画像記憶部１４１は、フレーム画像取得部１３が撮影部１１から取得したフレーム画像のデータを、各々のフレーム画像に対応付けられているフレーム識別情報と共に記憶する。アプリケーション記憶部１４２は、帳票データ管理装置３、または他のサーバ装置から通信ネットワーク４を通じてダウンロードした所定のＡＰを記憶する。
【００２１】
帳票定義情報記憶部１４４は、例えば、図６に示す帳票定義テーブル１４４１を予め記憶する。帳票定義テーブル１４４１は、「帳票識別情報」、「項目名」、「項目番号」、「定義情報」の項目を有している。「帳票識別情報」の項目には、テンプレートの種類、例えば、欄の形式や項目名の異なるテンプレートを一意に識別可能な情報であって、テンプレートの種類ごとに予め付与されている帳票識別情報が書き込まれる。「項目名」の項目には、帳票識別情報に対応する帳票に含まれる項目名の情報が書き込まれる。
【００２２】
「項目番号」の項目には、項目名ごとに予め付与されている項目番号が書き込まれる。なお、１つの項目に、複数の情報が記録される場合、その数に応じた項目番号が書き込まれる。例えば、図６において、「既往歴」の項目は、情報を記録する箇所が上下の二行になっているため、２つの項目番号「項目００８」、「項目００９」が書き込まれる。
【００２３】
「定義情報」の項目には、項目名や、その項目名に対応して記録される情報（以下、項目記録情報という）が横書きであるか、または縦書きであるかを示す情報や、項目名、及び項目記録情報の位置関係を示す情報が書き込まれる。ここで、項目名及び項目記録情報の位置関係を示す情報とは、例えば、図６に示すように、項目名及び項目記録情報が横一行、または縦一行に位置する情報や、項目名の位置に対して項目記録情報が上下左右のいずれかの行、または列に位置する情報などである。
【００２４】
なお、帳票定義情報記憶部１４４は、予めユーザによって指定された帳票の種類のテンプレートに対応する帳票定義テーブル１４４１を記憶する。他の種類のテンプレート、すなわち帳票識別情報の異なるテンプレートが用いられる帳票の撮影を行う場合、帳票定義情報記憶部１４４に、当該他のテンプレートに対応する帳票定義テーブル１４４１を書き込む必要がある。
【００２５】
帳票情報記憶部１４５は、フレーム画像ごとに生成される同一のデータ形式を有する帳票情報テーブルを記憶する。例えば、図７に示す帳票情報テーブル１４５１−１は、図４に示したフレーム画像６１に対応して生成されるテーブルである。帳票情報テーブル１４５１−１は、「フレーム識別情報」、「項目番号」、「取得情報」の項目を有している。「フレーム識別情報」には、当該テーブルに対応するフレーム画像に対応付けられているフレーム識別情報が書き込まれる。「項目番号」の項目には項目名の情報に対応する項目番号が書き込まれる。「取得情報」の項目には、項目記録情報が書き込まれる。
【００２６】
なお、文字認識部１５が、項目名は取得しているが、当該項目名に対応する項目記録情報を取得していない項目名の項目番号に対応する「取得情報」の項目は空欄となる。また、以下の説明において、帳票情報記憶部１４５が記憶するいずれか１つのテーブルを示す場合、符号の枝番号を付けずに帳票情報テーブル１４５１として示す。
【００２７】
重畳画像記憶部１４７は、重畳画像のデータと、図８に示す重畳状態テーブル１４７１を記憶する。ここで、重畳画像とは、初期画像として、１つのフレーム画像を定めておき、１つ前のフレーム画像の大きさや、項目及び罫線の位置に合うように画像処理部２０が画像変換した次のフレーム画像を、１つ前のフレーム画像に対して重ねることを繰り返して生成される画像である。
【００２８】
重畳状態テーブル１４７１は、図８に示すように、「フレーム識別情報」、「配置状態」の項目を有している。「フレーム識別情報」の項目には、重畳画像に重畳されているフレーム画像のフレーム識別情報が重ねられた順に書き込まれる。図８に示す例では、フレーム識別情報「１」のフレーム画像が、重畳画像の初期画像として選択されたフレーム画像になっており、その後、フレーム識別情報「２」のフレーム画像、フレーム識別情報「３」のフレーム画像が重ねられたことを示している。
【００２９】
「配置状態」の項目には、フレーム画像が重複領域を有して重ねた場合、前後のフレーム画像との関係で、どちらのフレーム画像が上または下の配置であるかを示す情報が書き込まれる。例えば、図８の例では、フレーム識別情報が「１」のフレーム画像が最初にテンプレート画像に重ねられており、前にフレーム画像が存在しないため、「配置状態」の項目の上欄には、存在しないことを示す「−」が書き込まれる。本実施形態では、後から重ねるフレーム画像を上として重ねるため、次に重ねられたフレーム識別情報「２」のフレーム画像との関係では、フレーム識別情報「１」のフレーム画像は下の位置になる。そのため、フレーム識別情報「１」の「配置状態」の項目の下欄には、「下」が書き込まれ、フレーム識別情報「２」の「配置状態」の項目の上欄には、「上」が書き込まれる。なお、図８は、フレーム画像を３枚重ねた場合の例であり、重ねるフレーム画像の枚数に応じたレコード（行）が生成される。
【００３０】
これに対して、記憶部１４のうちアプリケーション記憶部１４２は、端末装置１の電源がＯＦＦにされても記憶領域に保持されている必要があるため、例えば、不揮発性（フラッシュメモリなど）の記憶領域に予め割り当てられる。
また、記憶部１４のうち帳票定義情報記憶部１４４が記憶する情報は、帳票撮影用のＡＰが終了、あるいは端末装置１の電源がＯＦＦされても記憶領域に保持しておいても良く、例えば、不揮発性の記憶領域に予め構成される。なお、帳票撮影用のＡＰを起動するごとに、帳票定義テーブル１４４１を登録し直す構成でもよい。
【００３１】
操作部１０は、例えば、表示部１２の画面上の備えられるタッチパッドに接続しており、ユーザが指を使って画面上に触れた場合、タッチパッドが出力する触れた画面上の位置を示す情報に応じた処理を行う。例えば、帳票撮影用のＡＰは、起動すると、表示部１２の画面上に、撮影処理の開始を指示する撮影開始ボタン、撮影処理の終了を指示する撮影終了ボタンを表示する。
【００３２】
操作部１０は、タッチパッドが出力する位置情報が撮影開始ボタンの位置である場合、フレーム画像記憶部１４１、帳票情報記憶部１４５、重畳画像記憶部１４７の初期化を行う。操作部１０は、当該初期化を行った後、撮影部１１に対して帳票を連続して撮影する処理を開始することを示す撮影開始の指示情報を撮影部１１に出力する。また、操作部１０は、タッチパッドが出力する位置情報が撮影終了ボタンの位置である場合、撮影部１１と文字認識部１５と選択部１６に対して撮影する処理を終了することを示す撮影終了の指示情報を出力する。
【００３３】
フレーム画像取得部１３は、撮影部１１が生成して出力するフレーム画像を取得する。フレーム画像取得部１３は、フレーム画像を取得すると新たなフレーム識別情報を生成し、取得したフレーム画像と生成したフレーム識別情報とを対応付けてフレーム画像記憶部１４１に書き込んで記憶させる。フレーム識別情報は、例えば、フレーム画像の時系列順がわかるように、フレーム画像取得部１３が若い番号、例えば、「１」から順に値を増加させて生成する。
【００３４】
文字認識部１５は、ＯＣＲ(Optical Character Recognition)処理により、フレーム画像から文字や数字の画像（文字画像）を抽出して切り出し、パターン辞書、フォント辞書等を用いて文字認識を行ない、文字や数字を示す文字情報を取得する。ここで、文字認識することにより得られる情報は、例えば、文字や数字を示す文字情報であり、例えば、テキストデータでもよい。また、文字認識部１５は、文字認識の際に、文字や数字の各々の外接矩形の座標を取得する。
【００３５】
また、文字認識部１５は、文字情報と座標情報を出力する際、文字認識処理を行ったフレーム画像に対応付けられたフレーム識別情報を、出力する文字情報及び座標情報に対応付ける。なお、文字認識部１５は、文字認識処理を行った場合、フレーム画像に含まれる全ての文字情報と座標情報の組み合わせを一度に検出するが、フレーム画像から文字情報及び座標情報の組み合わせを取得できない場合、文字認識処理が不成功として、当該フレーム画像に対応するフレーム識別情報を情報しない。
【００３６】
文字認識部１５は、フレーム識別情報と、文字情報と、座標情報とを取り込む。文字認識部１５は、帳票定義情報記憶部１４４に予め記憶されている帳票定義テーブル１４４１の情報と、取り込んだ座標情報とに基づいて、取り込んだ文字情報の中から、特定の座標の範囲に含まれている文字情報を検出する。
【００３７】
例えば、特定の座標の範囲とは、横書きであれば、一行に並んでいて、各文字の間隔が一定になっている文字列に含まれる各文字の座標情報によって特定される範囲である。文字認識部１５は、検出した特定の座標の範囲に含まれている文字情報の中から項目名の文字、または文字列を特定する。文字認識部１５は、特定した項目名の文字、または文字列を含む特定の座標の範囲に含まれる文字情報を、項目名の情報と、対応する項目記録情報とに分離して取得する。
【００３８】
例えば、図３に示す帳票の場合、文字認識部１５は、「氏名」の項目名について、「氏名」の項目名の情報と、「特許太郎」の項目記録情報を取得する。なお、文字認識部１５は、項目名の情報と、対応する項目記録情報の両方を常に取得するわけではなく、項目名の情報のみを取得する場合もある。例えば、図４に示すフレーム画像６１の場合、「年齢」の項目については、対応する項目記録情報がフレーム画像６１に含まれていない。そのため、文字認識部１５は、項目名の情報のみを取得する。例えば、項目記録情報が、撮影対象に含まれていない場合、最初から帳票に記載されていない場合、また、不鮮明で文字認識ができない場合などである。したがって、帳票情報テーブル１４５１が生成されても、項目記録情報が、記録されない場合もある。これに対し、文字認識部１５は、項目名の情報がなければ、項目記録情報を分離できず、項目記録情報のみを取得することはない。したがって、帳票情報テーブル１４５１が生成されていても、項目記録情報が、１つも記録されていない場合もある。
【００３９】
文字認識部１５は、取得した全ての項目名に対応する項目番号を帳票定義テーブル１４４１から読み出し、読み出した項目番号と取得した項目記録情報とを対応付ける。文字認識部１５は、１つのフレーム画像について項目名の情報と項目記録情報の取得を終了した場合、帳票情報記憶部１４５に新たな帳票情報テーブル１４５１を生成し、生成した帳票情報テーブル１４５１に項目番号と、項目番号に対応する項目記録情報と、フレーム識別情報とを書き込んで記憶させる。
【００４０】
なお、上述したように、文字認識部１５は、フレーム画像から文字情報及び座標情報が取得できい場合、当該フレーム画像に対応するフレーム識別情報を取得しない。そのため、帳票情報記憶部１４５に当該フレーム画像に対応する帳票情報テーブル１４５１は生成されない。
【００４１】
選択部１６は、操作部１０から撮影終了の指示情報を受けると、帳票情報記憶部１４５が記憶する帳票情報テーブル１４５１の中から保存対象の帳票情報テーブル１４５１を選択する。
保存対象とする帳票情報テーブル１４５１をどのように選択するかは、任意に定められるものであるが、ここでは、例えば、帳票情報テーブル１４５１間の重複ができるだけ少ない状態で、項目記録情報を漏れなく保存しておくように保存対象を選択するように定めるとする。この場合、例えば、選択部１６は、以下のような処理を行う。
【００４２】
選択部１６は、項目記録情報が記録されていない帳票情報テーブル１４５１を帳票情報記憶部１４５から削除する。また、選択部１６は、例えば、いずれか１つの帳票情報テーブル１４５１を選択し、選択した帳票情報テーブル１４５１に含まれている全ての項目記録情報が、他の帳票情報テーブル１４５１のいずれかに記録されている場合、読み出した帳票情報テーブル１４５１を重複情報として削除することを全ての帳票情報テーブル１４５１について行う。これらの削除処理を行って、帳票情報テーブル１４５１間の項目記録情報の重複を少なくしつつ、項目記録情報を漏れなく保存しておくことができる。
【００４３】
選択部１６は、最後に帳票情報記憶部１４５に残っている帳票情報テーブル１４５１を保存対象として選択する。選択部１６は、保存対象の選択が終了すると、画像処理開始の指示情報を画像処理部２０に出力する。
【００４４】
画像処理部２０は、帳票情報記憶部１４５が記憶する帳票情報テーブル１４５１の中で最初に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１を読み出す。画像処理部２０は、読み出した帳票情報テーブル１４５１の「フレーム識別情報」の項目に示されているフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１４１から読み出し、読み出したフレーム画像を最初の基準画像とする。
【００４５】
また、画像処理部２０は、基準画像のフレーム識別情報に基づいて、時系列に並べた場合に、基準画像の次の順番になる帳票情報テーブル１４５１を帳票情報記憶部１４５から検索して読み出す。画像処理部２０は、読み出した帳票情報テーブル１４５１の「フレーム識別情報」の項目に示されているフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１４１から読み出し、重畳対象画像とする。
【００４６】
また、画像処理部２０は、基準画像及び重畳対象画像の各々の特徴点の特徴を示す特徴情報を算出する。また、特徴点とは、対象とする画像におけるコーナー（角）などの特徴的な個所を示す情報であり、特徴量とは、対象とする画像の特徴点にどのような特徴があるかを示す情報である。特徴情報を算出するアルゴリズムとしては、例えば、ＫＡＺＥ（画像特徴量の抽出アルゴリズムの一例）などが適用される。
【００４７】
また、画像処理部２０は、背景画像の検出処理において、基準画像のフレーム識別情報に基づいて、時系列に並べた場合に、基準画像の次の順番になるフレーム画像をフレーム画像記憶部１４１から検索する。画像処理部２０は、検索したフレーム画像と当該フレーム画像に対応するフレーム識別情報をフレーム画像記憶部１４１から読み出し、読み出したフレーム画像を背景画像とする。
【００４８】
ここで、背景画像の検出処理とは、基準画像と重畳対象画像の間に重複領域がない場合、帳票情報記憶部１４５に帳票情報テーブル１４５１が存在しないフレーム画像、すなわち保存対象ではないフレーム画像の中から、基準画像と重畳対象画像の間を埋める背景となるフレーム画像を検出する処理である。
また、画像処理部２０は、基準画像及び背景画像の各々の特徴を示す特徴情報を算出する。
【００４９】
また、画像処理部２０は、基準画像の前面に重畳対象画像を重ねる処理が終了した後、帳票情報記憶部１４５に未処理の帳票情報テーブル１４５１が存在する場合、変換された重畳対象画像を次の基準画像とする。また、画像処理部２０は、背景画像の検出処理において、基準画像の背面に背景画像を重ねる処理が終了した後、変換された背景画像を次の基準画像とする。また、画像処理部２０は、帳票情報記憶部１４５において、処理対象の帳票情報テーブル１４５１がなくなると、認識データ管理部１７に送信処理を開始する指示情報を出力する。
【００５０】
画像処理部２０は、基準画像の特徴情報と、重畳対象画像の特徴情報とに基づいて形状などが類似する箇所をペアとして検出するマッチング処理を行う。
また、画像処理部２０は、基準画像と重畳対象画像において、ペアを所定の数以上検出できない場合、基準画像と重畳対象画像の間に重複領域がないものとして、基準画像と、基準画像に対応するフレーム識別情報及び特徴情報とを含む背景画像の検出を行なう。ここで、所定の数は、例えば、２以上の数であるとする。
【００５１】
また、画像処理部２０は、背景画像の検出処理において、基準画像の特徴情報と、背景画像の特徴情報とに基づいて形状などが類似する箇所をペアとして検出するマッチング処理を行う。
画像処理部２０は、マッチング結果に基づいて、基準画像の大きさや、項目及び罫線の位置に合うように重畳対象画像、または、背景画像を変換する処理を行う。画像処理部２０は、変換した重畳対象画像及びこれに対応するフレーム識別情報、または、変換した背景画像及びこれに対応するフレーム識別情報を算出する。ここで、変換する処理は、例えば、以下のようにマッチング結果から射影変換（ホモグラフィー）行列を算出し、算出した射影変換行列により重畳対象画像、または、背景画像を変換する透視変換を行う。
【００５２】
本実施形態において、フレーム画像の射影変換行列は、マッチング処理によりペアにされた箇所の座標情報に基づいて算出される行列であり、透視変換を行うためのパラメータに相当する行列である。
そのため、透視変換は、撮影の際に歪んだり拡大または縮小されていたりするフレーム画像の座標変換を行ない、正面からみたときに見えるテンプレート画像の座標に対応させる。したがって、透視変換後のフレーム画像の座標系と、テンプレート画像の座標系とは一致する。
【００５３】
また、画像処理部２０は、最初の基準画像のデータを受けて、最初の基準画像のデータを重畳画像の初期画像データとして重畳画像記憶部１４７に書き込み、重畳状態テーブル１４７１を生成する。また、画像処理部２０は、透視変換された重畳対象画像及び重畳対象画像に対応するフレーム識別情報、または、透視変換された背景画像及び背景画像に対応するフレーム識別情報を受けると、重畳画像記憶部１４７から重畳画像を読み出す。
【００５４】
画像処理部２０は、重畳対象画像の場合、読み出した重畳画像に座標が一致するように、透視変換された重畳対象画像を重畳画像の前面に重ねて新たな重畳画像を生成し、生成した重畳画像を重畳画像記憶部１４７に上書きする。画像処理部２０は、背景画像の場合、読み出した重畳画像に座標が一致するように、透視変換された背景画像を重畳画像の背面に重ねて新たな重畳画像を生成し、この重畳画像を重畳画像記憶部１４７に上書きする。
【００５５】
また、画像処理部２０は、重畳画像記憶部１４７が記憶する重畳状態テーブル１４７１に対して重ねた重畳対象画像、または、背景画像に対応するフレーム識別情報を「フレーム識別情報」の項目に書き込み、「配置状態」の項目に、新たに追加したフレーム画像と、１つ前のフレーム画像との位置関係に基づいて「−」、または「上」、または「下」のいずれかの情報を書き込む。
【００５６】
認識データ管理部１７は、画像処理部２０から送信処理を開始する指示情報を受けると、帳票定義情報記憶部１４４が記憶する帳票定義テーブル１４４１の「帳票識別情報」の項目に示されている帳票識別情報と、重畳画像記憶部１４７が記憶する重畳画像及び重畳状態テーブル１４７１を読み出す。また、認識データ管理部１７は、帳票情報記憶部１４５が記憶する全ての帳票情報テーブル１４５１を読み出す。認識データ管理部１７は、読み出した重畳状態テーブル１４７１の「フレーム識別情報」の項目に示されているフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１４１から読み出す。
【００５７】
また、認識データ管理部１７は、読み出した全ての情報に対して端末装置１に予め付与されているユーザ識別情報を対応付けて通信部１８を通じて帳票データ管理装置３に送信する。ここで、ユーザ識別情報とは、ユーザを個別に識別する情報であり、例えば、端末装置１の電話番号、端末装置１の個体識別番号などでもよいし、端末装置１を用いて帳票データ管理装置３にログインをしている場合には、ログインする際のユーザＩＤ(IDentification)でもよい。
【００５８】
帳票データ管理装置３は、例えば、Ｗｅｂサーバ装置として通信ネットワーク４に接続されており、記録処理部３１と記憶部３２を備える。記録処理部３１は、通信ネットワーク４を通じて端末装置１の認識データ管理部１７が送信する情報を受信し、受信した情報を記憶部３２に書き込む。
【００５９】
記憶部３２は、図９に示す帳票情報集計テーブル３２１を記憶する。帳票情報集計テーブル３２１は、「ユーザ識別情報」、「帳票識別情報」、「重畳画像情報」、「重畳画像構成情報（フレーム識別情報）」、「変換前フレーム画像情報」、「項目番号」、「取得情報」、「表示状態」の項目を有する。
【００６０】
「ユーザ識別情報」、「帳票識別情報」「重畳画像情報」の項目には、それぞれ認識データ管理部１７から受信するユーザ識別情報、帳票識別情報、重畳画像のデータが記録処理部３１によって書き込まれる。「重畳画像構成情報（フレーム識別情報）」の項目には、認識データ管理部１７から受信する重畳状態テーブル１４７１の「フレーム識別情報」の項目のフレーム識別情報が、当該項目に記録されている順にしたがって記録処理部３１によって書き込まれる。「変換前フレーム画像情報」の項目には、「重畳画像構成情報（フレーム識別情報）」に記録されているフレーム識別情報に対応する透視変換前のフレーム画像のデータが記録処理部３１によって書き込まれる。
【００６１】
「項目番号」及び「取得情報」の項目には、「重畳画像構成情報（フレーム識別情報）」に記録されているフレーム識別情報に対応する帳票情報テーブル１４５１の「項目番号」の項目と「取得情報」の項目の情報が記録処理部３１によって書き込まれる。「表示状態」の項目には、「取得情報」の項目に記録されている項目記録情報の中で重畳画像に表示されている項目記録情報を「○」で示し、表示されていない項目記録情報を「×」示す表示状態の情報が書き込まれる。これにより、例えば、ユーザが、後からどの項目記録情報が保存対象になっているかを、重畳画像を参照しつつ確認することができる。
【００６２】
なお、背景画像の場合、対応する帳票情報テーブル１４５１が存在しないため「項目番号」、「取得情報」、「表示状態」の項目は空欄となる。
【００６３】
（端末装置による画像管理処理）
次に、図１０から図１８を参照しつつ、帳票を撮影して得られるフレーム画像、及びフレーム画像から得られる文字情報を、フレーム画像を時系列に並べつつ帳票データ管理装置３の記憶部３２に記憶させる画像管理処理について説明する。
【００６４】
端末装置１のアプリケーション記憶部１４２は、予めダウンロードされた帳票撮影用のＡＰを記憶している。また、帳票定義情報記憶部１４４は、これから撮影する帳票のテンプレートの種類に対応する帳票定義テーブル１４４１を予め記憶している。ユーザによる帳票撮影用のＡＰの起動指示を受けて案末装置１は、アプリケーション記憶部１４２に記憶されている帳票撮影用のＡＰを起動する。
【００６５】
起動した帳票撮影用のＡＰは、撮影部１１と表示部１２を起動し、表示部１２の画面に、撮影開始ボタン、撮影終了ボタンを表示する。表示部１２は、画面に撮影部１１の撮像素子に結像されている画像を表示するプレビュー表示を開始する。
【００６６】
図１０は、画像管理処理のうち端末装置１による帳票の撮影処理の流れを示すフローチャートである。ユーザは、表示部１２のプレビュー表示を参照しながら、例えば、撮影部１１のレンズを図３に示す帳票の用紙の先頭の領域に向けて、撮影開始ボタンを選択する（ステップＳａ１）。
【００６７】
操作部１０は、撮影開始ボタンが選択されると、フレーム画像記憶部１４１、帳票情報記憶部１４５、重畳画像記憶部１４７の初期化を行い、撮影部１１に対して撮影開始の指示情報を出力する。撮影部１１は、操作部１０から撮影開始の指示情報を受けると、１秒間に１０〜３０フレームのフレームレートでの撮影を連続して行う処理を開始し、撮影ごとに生成するフレーム画像をフレーム画像取得部１３に出力する。
【００６８】
ユーザは、端末装置１において、表示部１２のプレビュー表示を参照しながら、帳票の一部を撮影対象として、帳票の先頭から末端まで端末装置１を移動させていく。これにより、ユーザは、シャッターボタンを押すなどの操作を行うことなく、撮影部１１は、毎秒１０〜３０フレームで、帳票の先頭から末端にわたって、帳票の一部を撮影したフレーム画像を撮影する。この場合、ユーザは、シャッターボタンを押下するなど特別な操作を行う必要がないため、動画を撮影している感覚で撮影を行う。例えば、撮影部１１は、最初に、図４に示すフレーム画像６１を出力する。
【００６９】
フレーム画像取得部１３は、撮影部１１が出力するフレーム画像を取得すると、新たなフレーム識別情報を生成し、取得したフレーム画像に生成したフレーム識別情報を対応付けてフレーム画像記憶部１４１に書き込んで記憶させる（ステップＳａ２）。ここでは、フレーム画像６１に対して、フレーム識別情報として「１」を生成して対応付けたとする。
【００７０】
文字認識部１５は、フレーム画像記憶部１４１に新たなフレーム画像が書き込まれると、書き込まれたフレーム画像に対して文字認識処理を行い、フレーム画像から文字情報と、当該文字情報に対応する座標情報を検出する（ステップＳａ３）。
【００７１】
文字認識部１５は、１つのフレーム画像から１つ以上の文字情報と座標情報の組み合わせを検出したか否かにより、ＯＣＲ処理が成功あるいは非成功かを判定する（ステップＳａ４）。文字認識部１５は、１つのフレーム画像か１つ以上の文字情報と座標情報の組み合わせを検出しない場合、ＯＣＲ処理が成功しないと判定し（ステップＳａ４、Ｎｏ）、処理をステップＳａ２に進めて、フレーム画像取得部１３が次のフレーム画像の取得を行う。
【００７２】
一方、文字認識部１５は、１つのフレーム画像から１つ以上の文字情報と座標情報の組み合わせを検出した場合、ＯＣＲ処理が成功したと判定し（ステップＳａ４、Ｙｅｓ）、検出した全ての文字情報と座標情報の組み合わせにフレーム画像のフレーム識別情報を対応付ける。
【００７３】
文字認識部１５は、フレーム識別情報に対応する全ての文字情報と座標情報と、帳票定義情報記憶部１４４が記憶する帳票定義テーブル１４４１とに基づき、文字情報の中から項目名及び項目記録情報を検出して取得する。文字認識部１５は、帳票定義テーブル１４４１に基づき、取得した項目記録情報に対して項目番号を対応付ける（ステップＳａ５）。
【００７４】
文字認識部１５は、帳票情報記憶部１４５に新たな帳票情報テーブル１４５１を生成し、生成した帳票情報テーブル１４５１の「フレーム識別情報」の項目にフレーム識別情報を書き込む。文字認識部１５は、「項目番号」の項目に取得した項目番号を書き込み、項目番号に対応する項目記録情報を「取得情報」の項目に書き込んで記憶させる（ステップＳａ６）。例えば、図４に示すフレーム画像６１の場合、文字認識部１５は、図７に示す帳票情報テーブル１４５１−１を生成する。図７において、項目番号「００７」は、「年齢」の項目であり、図４に示すように「年齢」の項目名に対応する項目記録情報はフレーム画像６１に含まれておらず、帳票情報テーブル１４５１−１に項目番号のみが書き込まれる。
【００７５】
文字認識部１５は、操作部１０から撮影終了の指示情報が供給されている否かを判定する（ステップＳａ７）。文字認識部１５は、撮影終了の指示情報が供給されていると判定した場合（ステップＳａ７、Ｙｅｓ）、処理を終了する。一方、文字認識部１５は、撮影終了の指示情報が供給されていないと判定した場合（ステップＳａ７、Ｎｏ）、処理をステップＳａ２に進めて、フレーム画像取得部１３が次のフレーム画像の取得を行う。
【００７６】
例えば、次に、図５に示すフレーム画像６２がフレーム画像取得部１３によって取得されると、図１１に示す帳票情報テーブル１４５１−２が帳票情報記憶部１４５に生成される。また、図１２に示すフレーム画像６３がフレーム画像取得部１３によって取得されると、図１３に示す帳票情報テーブル１４５１−３が帳票情報記憶部１４５に生成される。
【００７７】
図１４は、画像管理処理のうち端末装置１による保存対象の帳票情報テーブルの選択処理の流れを示すフローチャートである。選択部１６は、操作部１０から撮影終了の指示情報を受けると、帳票情報記憶部１４５を参照し、項目記録情報が存在しない帳票情報テーブル１４５１を全て削除する（ステップＳｂ１）。
【００７８】
次に、選択部１６は、未処理、すなわち未だ処理対象としていない帳票情報テーブル１４５１の中で最後に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１を読み出す（ステップＳｂ２）。すなわち、選択部１６は、未処理の帳票情報テーブル１４５１を帳票情報記憶部１４５に書き込まれた順番に並べた場合に一番遅い時刻に書き込まれた帳票情報テーブル１４５１を読み出す。
【００７９】
選択部１６は、読み出した帳票情報テーブル１４５１の「取得情報」の項目に記録されている項目記録情報の各々が、帳票情報記憶部１４５に記憶されている他の帳票情報テーブル１４５１のいずれかに記録されているか否かを判定することにより、保存対象であるか否かを判定する（ステップＳｂ３）。なお、項目記録情報は、ＯＣＲ処理により文字認識された文字情報であるため、正確に読み取れない場合もある。そのため、ステップＳｂ３における判定は、項目記録情報の文字情報が一致するか否かを判定するのではなく、他の帳票情報テーブル１４５１において、判定対象の項目記録情報に対応する項目名と同一の項目名に、何らかの項目記録情報が記録されているか否かを判定する処理となる。
【００８０】
選択部１６は、当該帳票情報テーブル１４５１の「取得情報」の項目に記録されている項目記録情報の各々が、帳票情報記憶部１４５に記憶されている他の帳票情報テーブル１４５１のいずれかに記録されている場合、保存対象ではないと判定し（ステップＳｂ３、Ｎｏ）、読み出した帳票情報テーブル１４５１を帳票情報記憶部１４５から削除する。
【００８１】
一方、選択部１６は、当該帳票情報テーブル１４５１の「取得情報」の項目に記録されている項目記録情報の各々が、帳票情報記憶部１４５に記憶されている他の帳票情報テーブル１４５１のいずれにも記録されていない場合、保存対象であると判定する（ステップＳｂ３、Ｙｅｓ）。当該帳票情報テーブル１４５１を削除すると失われる項目記録情報が存在するためである。選択部１６は、未処理の帳票情報テーブル１４５１が帳票情報記憶部１４５に存在するか否かを判定する（ステップＳｂ５）。
【００８２】
選択部１６は、未処理の帳票情報テーブル１４５１が帳票情報記憶部１４５に存在すると判定した場合（ステップＳｂ５、Ｙｅｓ）、処理をステップＳｂ２に進める。一方、選択部１６は、未処理の帳票情報テーブル１４５１が帳票情報記憶部１４５に存在しないと判定した場合（ステップＳｂ５、Ｎｏ）、画像処理開始の指示情報を画像処理部２０に出力して（ステップＳｂ６）、処理を終了する。
【００８３】
なお、ステップＳｂ３の判定は、項目記録情報の文字情報が同一であるか否かを判定してもよいが、ＯＣＲ処理により文字認識された文字情報であるため、正確に読み取れていない場合もある。そのため、ステップＳｂ３における判定として、項目記録情報の文字情報が一致するか否かを判定するのではなく、他の帳票情報テーブル１４５１において、判定対象の項目記録情報に対応する項目名と同一の項目名に、何らかの項目記録情報が記録されているか否かを判定する処理としてもよい。
【００８４】
また、選択部１６は、図１４に示すステップＳｂ２の処理において、未処理の帳票情報テーブル１４５１の中で最後に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１を読み出しているが、例えば、最初に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１を読み出してもよい。図１４に示すように、最後に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１から順に処理を行うと、時系列に並べた場合に古い方の帳票情報テーブル１４５１が保存対象として残る処理になり、逆に、最初に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１から順に処理を行うと、時系列に並べた場合に新しい方の帳票情報テーブル１４５１が保存対象として残る処理になる。また、選択部１６は、未処理の帳票情報テーブル１４５１の中からランダムに帳票情報テーブル１４５１を読み出してもよい。
【００８５】
また、選択部１６は、図１４に示すステップＳｂ２の処理において、記録されている項目記録情報の数が、少ない帳票情報テーブル１４５１から順に読み出してもよい。このようにすることで、最終的に、項目記録情報を多く含む帳票情報テーブル１４５１の方を保存対象とすることができる。
【００８６】
また、図１４に示す処理において、ステップＳｂ１の処理の後に、ユーザが保存対象とする帳票情報テーブル１４５１を任意に選択してもよい。この場合、選択部１６は、ユーザが保存対象として選択した帳票情報テーブル１４５１については、ステップＳｂ３の判定結果を「Ｙｅｓ」として判定する。このようにすることで、ユーザが保存対象として選択した帳票情報テーブル１４５１を残せる。
【００８７】
また、図１４に示すステップＳｂ１の処理において、予め定められる数以上の項目記録情報を含んでいない帳票情報テーブル１４５１を削除してもよい。このようにすることで、一定数以上の項目記録情報を含む帳票情報テーブル１４５１を保存対象として選択できる。また、図１４に示す処理において、ステップＳｂ２からステップＳｂ５の処理を行わず、ステップＳｂ１とステップＳｂ６の処理のみを行ってもよい。
【００８８】
図１５は、画像管理処理のうち端末装置１によるフレーム画像同士を重ねて重畳画像を生成する処理の流れを示すフローチャートである。
【００８９】
画像処理部２０は、選択部１６から画像処理開始の指示情報を受けると、帳票情報記憶部１４５が記憶する帳票情報テーブル１４５１の中で最初に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１を読み出す。最初に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１とは、帳票情報記憶部１４５が記憶する帳票情報テーブル１４５１を時系列に並べた場合に、最も早い時刻に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１であり、この帳票情報テーブル１４５１に対応するフレーム画像には帳票の先頭の部分が撮影されている（ステップＳｃ１）。
【００９０】
画像処理部２０は、読み出した帳票情報テーブル１４５１の「フレーム識別情報」の項目に示されているフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１４１から読み出し、読み出したフレーム画像を最初の基準画像とする（ステップＳｃ２）。画像処理部２０は、最初の基準画像のデータを重畳画像の初期画像データとして重畳画像記憶部１４７に書き込む。
【００９１】
また、画像処理部２０は、重畳画像記憶部１４７に重畳状態テーブル１４７１を生成し、生成した重畳状態テーブル１４７１の「フレーム識別情報」の項目に最初の基準画像のフレーム識別情報を書き込み、「配置位置」の項目の上と下の両方の欄に「−」を書き込む（ステップＳｃ３）。
【００９２】
画像処理部２０は、基準画像のフレーム識別情報に基づいて、時系列に並べた場合に、基準画像の次の順番になる帳票情報テーブル１４５１を帳票情報記憶部１４５から検索して読み出す。画像処理部２０は、読み出した帳票情報テーブル１４５１の「フレーム識別情報」の項目に示されているフレーム識別情報に対応するフレーム画像をフレーム画像記憶部１４１から読み出し、読み出したフレーム画像を重畳対象画像とする（ステップＳｃ４）。
【００９３】
画像処理部２０は、基準画像及び重畳対象画像の各々の特徴を示す特徴情報を算出する。（ステップＳｃ５）。
【００９４】
画像処理部２０は、基準画像と、基準画像に対応するフレーム識別情報及び特徴情報と、重畳対象画像と、重畳対象画像に対応するフレーム識別情報及び特徴情報とを取り込む。画像処理部２０は、基準画像の特徴情報と、重畳対象画像の特徴情報とに基づいて形状などが類似する箇所をペアとして検出するマッチング処理を行う（ステップＳｃ６）。
【００９５】
画像処理部２０は、対応するペアが所定の数以上検出できたか否かを判定し（ステップＳｃ７）、対応するペアが所定の数以上検出できたと判定した場合（ステップＳｃ７、Ｙｅｓ）、処理をステップＳｃ８へ進める。
【００９６】
図１７に示すように、画像処理部２０は、例えば、基準画像であるフレーム画像６１の符号６００の「年齢」の文字の座標と、重畳対象画像であるフレーム画像６２の符号７００の「年齢」の文字の座標をペアとして検出する。また、画像処理部２０は、基準画像であるフレーム画像６１の符号６０１のコーナー（角）の座標と、重畳対象画像であるフレーム画像６２の符号７０１のコーナー（角）の座標をペアとして検出する。
【００９７】
画像処理部２０は、マッチング結果に基づいて、重畳対象画像に対応する射影変換行列を算出する。画像処理部２０は、重畳対象画像を、算出した射影変換行列に基づいて透視変換し、透視変換した重畳対象画像と当該重畳対象画像のフレーム識別情報を取得する（ステップＳｃ８）。
【００９８】
画像処理部２０は、透視変換された重畳対象画像に対応して、重畳画像記憶部１４７から重畳画像を読み出す。画像処理部２０は、読み出した重畳画像と座標が一致するように、重畳対象画像を重畳画像の前面に重ねて新たな重畳画像を生成し、生成した重畳画像を重畳画像記憶部１４７に上書きする。画像処理部２０は、重畳画像記憶部１４７が記憶する重畳状態テーブル１４７１に重ねた重畳対象画像に対応するフレーム識別情報を「フレーム識別情報」の項目に書き込み、「配置状態」の項目を更新する（ステップＳｃ１０）。
【００９９】
例えば、重畳対象画像がフレーム画像６１の次のフレーム画像６２の場合、画像処理部２０は、フレーム画像６１に対応するフレーム識別情報「１」の「配置状態」の項目の下の欄に「下」を書き込み、フレーム画像６２に対応するフレーム識別情報「２」の「配置状態」の項目の上の欄に「上」を書き込み、下の欄に「−」を書き込む。
【０１００】
画像処理部２０は、ステップＳｃ１０の処理を終了すると、帳票情報記憶部１４５に未処理の帳票情報テーブル１４５１が存在するか否かを判定する（ステップＳｃ１１）。画像処理部２０は、帳票情報記憶部１４５に未処理の帳票情報テーブル１４５１が存在すると判定した場合（ステップＳｃ１１、Ｙｅｓ）、透視変換された重畳対象画像を次の基準画像として、ステップＳｃ４からの処理を行う（ステップＳｃ１３）。
【０１０１】
図１５に示すステップＳｃ７の処理において、画像処理部２０は、対応するペアが所定の数以上検出できないと判定した場合（ステップＳｃ７、Ｎｏ）、基準画像と重畳対象画像の間に重複領域がないとして、基準画像と、基準画像に対応するフレーム識別情報及び特徴情報とを含む背景画像の検出処理を開始する（ステップＳｃ９）。
【０１０２】
（背景画像の検出処理）
図１６は、背景画像の検出処理の流れを示すフローチャートである。画像処理部２０は、基準画像と、基準画像に対応するフレーム識別情報及び特徴情報とを含む背景画像の検出を行なう。
【０１０３】
画像処理部２０は、基準画像に対応するフレーム識別情報を参照し、時系列に並べた場合に、基準画像の次の順番になるフレーム画像をフレーム画像記憶部１４１から検索する。画像処理部２０は、検索したフレーム画像と当該フレーム画像に対応するフレーム識別情報をフレーム画像記憶部１４１から読み出し、読み出したフレーム画像を背景画像とする（ステップＳｄ１）。
【０１０４】
画像処理部２０は、背景画像の特徴を示す特徴情報を算出する（ステップＳｄ２）。
【０１０５】
画像処理部２０は、基準画像と、基準画像に対応するフレーム識別情報及び特徴情報と、背景画像と、背景画像に対応するフレーム識別情報及び特徴情報とに基づいて形状などが類似する箇所をペアとして検出するマッチング処理を行う（ステップＳｄ３）。
【０１０６】
画像処理部２０は、マッチング結果に基づいて、背景画像に対応する射影変換行列を算出する。画像処理部２０は、背景画像を、算出した射影変換行列に基づいて透視変換する（ステップＳｄ４）。
【０１０７】
画像処理部２０は、背景画像を透視変換し、重畳画像記憶部１４７から重畳画像を読み出す。画像処理部２０は、読み出した重畳画像と座標が一致するように、背景画像を重畳画像の背面に重ねて新たな重畳画像を生成し、生成した重畳画像を重畳画像記憶部１４７に上書きする。画像処理部２０は、重畳画像記憶部１４７が記憶する重畳状態テーブル１４７１に対して重ねた背景画像に対応するフレーム識別情報を「フレーム識別情報」の項目に書き込み、「配置状態」の項目を更新する（ステップＳｄ５）。
【０１０８】
例えば、画像処理部２０は、背景画像に対応する「配置状態」の項目の上の欄に「下」を書き込み、下の欄に「−」を書き込む。また、画像処理部２０は、背景画像の１つ前のフレーム画像に対応する「配置状態」の項目の下欄に「上」を書き込む。
【０１０９】
ステップＳｄ５の処理が終了すると、画像処理部２０は、透視変換された背景画像を次の基準画像として（ステップＳｄ６）、背景画像の検出処理のサブルーチンを抜けて図１５のステップＳｃ４からの処理を行う。
【０１１０】
図１５のステップＳｃ１１において画像処理部２０は、帳票情報記憶部１４５に未処理の帳票情報テーブル１４５１が存在しないと判定した場合（ステップＳｃ１１、Ｎｏ）、認識データ管理部１７に対して送信処理を開始する指示情報を出力する。
【０１１１】
例えば、フレーム画像６１，６２，６３が撮影された場合、認識データ管理部１７は、画像処理部２０から送信処理を開始する指示情報を受けると、帳票定義情報記憶部１４４が記憶する帳票定義テーブル１４４１の「帳票識別情報」の項目に示されている帳票識別情報「０００１」を読み出す。また、認識データ管理部１７は、重畳画像記憶部１４７が記憶する重畳画像４０及び重畳状態テーブル１４７１を読み出す。また、認識データ管理部１７は、帳票情報記憶部１４５が記憶する帳票情報テーブル１４５１−１，１４５１−２，１４５１−３を読み出す。認識データ管理部１７は、読み出した重畳状態テーブル１４７１の「フレーム識別情報」の項目に示されているフレーム識別情報「１」，「２」，「３」に対応するフレーム画像６１，６２，６３をフレーム画像記憶部１４１から読み出す。また、認識データ管理部１７は、読み出した全ての情報に対して端末装置１に予め付与されているユーザ識別情報を対応付けて通信部１８を通じて帳票データ管理装置３に送信して（ステップＳｃ１２）、処理を終了する。
【０１１２】
フレーム画像６１，６２，６３が撮影された場合、画像処理部２０が、送信処理を開始する指示情報を出力する際に、重畳画像記憶部１４７には、図１８に示す重畳画像４０が記憶されている。重畳画像４０において、最も背面に存在するのが、最初の基準画像であるフレーム画像６１であり、フレーム画像６２−ｒ，６３−ｒが、透視変換されたフレーム画像６２，６３である。
【０１１３】
最初にフレーム画像６２−ｒが、最初の基準画像であるフレーム画像６１の前面に重ねられ、その後、フレーム画像６２−ｒを基準画像として、フレーム画像６３−ｒがフレーム画像６２−ｒの前面に重ねられている。上述したように、本実施形態では、後から重ねられるフレーム画像が、上に位置するように重ねるため、フレーム画像６１と、フレーム画像６２−ｒの一部は見えない状態となる。また、重畳画像記憶部１４７には、最終的に、図８に示す重畳状態テーブル１４７１が生成される。
【０１１４】
これに対して、フレーム画像６２に替えて、撮影部１１が、例えば、図１９に示すフレーム画像６２ｗを撮影したとする。フレーム画像６２ｗは、項目名付近と、右端の方が不鮮明になっている。項目名としては、「性別」のみが撮影されている。「性別」以外の項目名に対応する項目記録情報は撮影されているが、項目名が撮影できていないため、文字認識部１５は、「性別」以外の項目名に対応する項目記録情報を取得できない。また、「性別」に対応する項目記録情報も不鮮明であるため、文字認識部１５は、「性別」に対応する項目記録情報も取得できない。そのため、選択部１６は、図１４に示すステップＳｂ１の処理において、フレーム画像６２ｗの帳票情報テーブル１４５１−２ｗを削除する。
【０１１５】
フレーム画像６１と、フレーム画像６３の間には重複領域がないため、図１５のステップＳｃ７において画像処理部２０は、「Ｎｏ」と判定し、図１６に示す背景画像の検出処理が行われる。背景画像の検出処理のステップＳｄ１において、画像処理部２０は、最初の基準画像であるフレーム画像６１のフレーム識別情報に基づいて、フレーム画像記憶部１４１から次の順番であるフレーム画像６２ｗを背景画像として検出する。
【０１１６】
透視変換されたは、透視変換したフレーム画像６２ｗ−ｒを、図２０に示すようにフレーム画像６１の背面に重ねる。画像処理部２０は、透視変換されたフレーム画像６２ｗ−ｒを基準画像として、図１５のステップＳｃ４において再びフレーム画像６３を重畳対象画像として読み出す。画像処理部２０が、透視変換した重畳対象画像、すなわちフレーム画像６３−ｒをフレーム画像６２ｗ−ｒの前面に重ねることにより、最終的に、図２０に示す重畳画像４０ａが得られる。
【０１１７】
帳票データ管理装置３の記録処理部３１は、通信ネットワーク４を通じて端末装置１の認識データ管理部１７が送信する情報を受信すると、受信した情報を帳票情報集計テーブル３２１の各項目に書き込んで記憶させる。
【０１１８】
記録処理部３１は、帳票情報集計テーブル３２１の「表示状態」の項目に情報を書き込む際、認識データ管理部１７から受信する重畳状態テーブル１４７１の「配置状態」の情報を参照する。記録処理部３１は、前後のフレーム画像との間で、項目番号が一致する項目記録情報については、「配置状態」の情報が「上」になっているフレーム画像の表示状態を「○」として記録し、「下」になっているフレーム画像に対応する表示状態を「×」として記録する。
【０１１９】
例えば、図４に示すフレーム画像６１からは、図７の帳票情報テーブル１４５１−１に示すように、、項目番号「００１」の事業所名から項目番号「００７」の「年齢」までの項目名の情報が取得されている。また、図５に示すフレーム画像６２からは、図１１の帳票情報テーブル１４５１−２に示すように、項目番号「００５」の「性別」から項目番号「０１２」の「他覚症状」までの項目記録情報が取得されている。したがって、フレーム画像６１とフレーム画像６２では、項目番号「００５」の「性別」と、「００６」の「健診年月日」と、「００７」の「年齢」の項目が重複している。
【０１２０】
図１８の重畳画像４０に示すように、フレーム画像６１−ｒの前面に、フレーム画像６２−ｒが重ねられるため、図８に示すように、重畳状態テーブル１４７１の「配置状態」の項目において、フレーム画像６１−ｒに対応するフレーム識別情報「１」の下の欄は「下」になっており、フレーム画像６２−ｒに対応するフレーム識別情報「２」の上の欄は「上」になっている。したがって、記録処理部３１は、図９に示すように、帳票情報集計テーブル３２１の「表示状態」の項目において、フレーム識別情報「１」に対応する項目番号「００５」，「００６」，「００７」については「×」を書き込み、フレーム識別情報「２」に対応する項目番号「００５」，「００６」，「００７」については「○」を書き込む。
【０１２１】
なお、フレーム画像６２に替えて、フレーム画像６２ｗが撮影されている場合、フレーム画像６２ｗは、背景画像であるため、図９の帳票情報集計テーブル３２１において、フレーム画像６２ｗのフレーム識別情報に対応する「項目番号」、「取得情報」、「表示状態」の項目は空欄となる。なお、「表示状態」の項目に、ユーザが後からみて背景画像であることが容易にわかるように背景画像を示す「背景」などの文字を書き込んでもよい。
【０１２２】
なお、上記の本実施形態では、画像処理部２０は、図１５に示すステップＳｃ１の処理において、帳票情報テーブル１４５１の中で最初に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１を読み出しているが、例えば、最後に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１を読み出してもよい。図１５に示すように、最初に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１から順に処理を行うと、図１８に示すように、例えば、時系列に並べた場合に古いフレーム画像６１の前面に新しいフレーム画像６２−ｒが重ねられる。逆に、最後に帳票情報記憶部１４５に書き込まれた帳票情報テーブル１４５１から順に処理を行うと、例えば、時系列に並べた場合に新しいフレーム画像６３の前面に古いフレーム画像６２−ｒが重ねられる。
【０１２３】
また、上記の本実施形態では、端末装置１を帳票の先頭から末端に向かって動かして撮影するとしているが、端末装置１を帳票の末端から先頭に向かって動かしてもよい。
【０１２４】
また、上記の本実施形態では、図１０に示す処理の終了後に、図１４に示す処理が行われ、図１４に示す処理の終了後に、図１５に示す処理が行われる構成になっている。帳票を先頭から順に末端方向に向かって撮影したり、逆に、帳票を末端から順に先頭方向に向かって撮影したりする場合、得られるフレーム画像は時系列になるため、フレーム画像間の項目記録情報の重複は、一定の範囲のフレーム画像の中で確認すればよい。したがって、フレーム画像が時系列に得られている場合、図１０に示す処理が一定時間行われた後に、図１４に示す処理を開始し、更に、図１４に示す処理が一定時間行われた後に、図１５に示す処理を開始して図１０、図１４、及び図１５に示す処理を並列に行ってもよい。
【０１２５】
上記の本実施形態の構成により、端末装置１において、フレーム画像取得部１３は、任意に連続して定められる帳票の一部の領域を撮影対象として撮影部１１が連続して撮影するごとに得られるフレーム画像を取得する。文字認識処理部１５は、フレーム画像ごとに文字認識処理を行う。画像処理部２０は、文字認識処理により文字情報が検出されたフレーム画像の中から最初の重畳画像であって最初の基準画像となるフレーム画像を選択する。また、画像処理部２０は、時系列順において基準画像の次の順番のフレーム画像を文字情報が検出されたフレーム画像の中から選択して重畳対象画像とし、基準画像及び重畳対象画像の特徴を示す特徴情報に基づいて、重畳対象画像を変換し、変換した重畳対象画像を重畳画像に重ね、変換後の重畳対象画像を次の基準画像として重畳対象画像を重畳画像に重ねることを繰り返す。これにより、帳票の一部を撮影したフレーム画像のうち文字情報の取得ができたフレーム画像を時系列順に関係付けできるので、ユーザは、当該フレーム画像が、帳票のどの位置に対応しているかの把握が容易となる。また、撮影漏れがある場合、関係付けが途中で途切れるため、容易に撮影漏れを見つけることが可能となる。
【０１２６】
また、撮影したフレーム画像のみによって時系列順に関連付けを行うため、帳票のテンプレートの画像などを予め準備しておく必要がなく、任意の帳票に対して端末装置１を利用することが可能となる。なお、最初の基礎画像の罫線に傾きが存在する場合、例えば、図１８に示すように重畳画像４０の罫線が傾くが、例えば、最初の基礎画像、すなわち重畳画像の初期画像のみ、横方向の罫線を、水平方向にして、縦方向の罫線を、垂直方向にするような画像変換を画像処理部２０が行うことにより、罫線の傾きが解消された重畳画像４０を得ることが可能となる。
【０１２７】
また、上記の本実施形態の構成において、画像処理部２０は、基準画像及び重畳対象画像において重複領域が存在しない場合、基準画像及び重畳対象画像の間に撮影された他のフレーム画像を基準画像の背面に背景画像として重ねる。これにより、文字情報が検出されたフレーム画像を時系列に並べた際に、連続性がなくても、文字情報が検出されなかったフレーム画像等を背景画像として関連付けを行えるため、帳票の最後までフレーム画像を関係付けることが可能となる。
【０１２８】
（一実施形態の他の構成例）
上記の本実施形態では、画像処理部２０は、図１５に示すステップＳｃ１０の処理において重畳対象画像のフレーム画像を重ねる際、１つ前のフレーム画像の前面に重ねていく処理を行っていた。このステップＳｃ１０の処理を行う際に、画像処理部２０は、帳票情報テーブル１４５１の「項目番号」及び「取得情報」の項目の記録状態に基づいて、フレーム画像を重ねる順を変更してもよい。
【０１２９】
例えば、図５に示したフレーム画像６２ではなく、図２１に示すフレーム画像６２ａを撮影部１１が撮影したとする。フレーム画像６２ａは、「性別」の項目記録情報と、「健診年月日」の項目記録情報が不鮮明になっている。そのため、文字認識部１５は、これらの項目については、項目記録情報を取得できず、項目名の「性別」と「健診年月日」の文字情報のみを取得する。
【０１３０】
本実施形態において説明した画像処理部２０の処理をフレーム画像６２ａに適用すると、フレーム画像６２ａを透視変換した画像（以下、フレーム画像６２ａ−ｒという）をフレーム画像６１の前面に重ねるため、フレーム画像６１に表示されている「性別」／「男」、「健診年月日」／「平成29年6月10日」の情報が重畳画像４０において見えなくなる。
【０１３１】
図２２は、フレーム画像６２ａに対応して帳票情報記憶部１４５に生成される帳票情報テーブル１４５１ａ−２を示した図である。画像処理部２０は、図７に示す帳票情報テーブル１４５１−１と、帳票情報テーブル１４５１ａ−２の共通の項目番号である「００５」，「００６」，「００７」に対応する「取得情報」の項目を参照する。項目番号「００５」，「００６」については、帳票情報テーブル１４５１−１には、項目記録情報として、「男」、「平成29年6月10日」が記録されているのに対して、帳票情報テーブル１４５１ａ−２には、項目記録情報が記録されていない。
【０１３２】
このような場合、画像処理部２０は、フレーム画像６２ａ−ｒをフレーム画像６１の前面に重ねると、項目番号「００５」，「００６」に対応する項目記録情報が隠れてしまうと判定する。画像処理部２０は、判定結果にしたがって、図２３に示すようにフレーム画像６１の背面にフレーム画像６２ａ−ｒを重ねる処理を行う。また、画像処理部２０は、図２４に示すように、重畳状態テーブル１４７１のフレーム識別情報「１」の「配置状態」の項目の下の欄に「上」を書き込み、フレーム識別情報「２」の「配置状態」の項目の上の欄に「下」を書き込む。
【０１３３】
なお、１つ前のフレーム画像が背景画像である場合、背景画像には帳票情報テーブル１４５１が存在しない。そのため、画像処理部２０は、重畳対象画像と、１つ前の背景画像との間には共通の項目番号は存在しないため、透視変換した重畳対象画像を１つ前の背景画像の前面に重ねる。
【０１３４】
上記の本実施形態の他の構成例において、画像処理部２０は、基準画像に重畳対象画像を重ねる際、基準画像と重畳対象画像に含まれる文字情報が重複する場合、基準画像と重畳対象画像に含まれる文字情報に基づいて、基準画像と重畳対象画像のいずれを上にして重ねるかを選択する。これにより、最終的に生成される重畳画像において、文字情報が他のフレーム画像に隠され難くなり、より多くの文字情報を表示できる。また、重畳画像４０により多くの項目記録情報を表示することが可能となり、後から確認するユーザに対して、項目記録情報を確認し易くさせる。
【０１３５】
また、記憶部１４の記憶領域を十分に確保できる場合、フレーム画像取得部１３は、撮影部１１が生成する全てのフレーム画像をフレーム画像記憶部１４１に記憶するようにして、文字認識部１５が、フレーム画像記憶部１４１に記憶されているフレーム画像の中から、処理対象とするフレーム画像を選択してもよい。
【０１３６】
また、上記の一実施形態において、画像処理部２０において、誤ったマッチング結果に基づいて透視変換を行うと、変換後の画像が読めないものになる可能性がある。例えば、マッチング結果の距離の値は、値の大きさが小さいほど確度が高くなるが、このマッチング結果の距離の値や、対応すると判定された特徴点の数に閾値を設ける等の処理を加えてもよい。このような処理を加えることで、マッチングの精度を向上できる。また、画像処理部２０による透視変換の結果として得られるフレーム画像のサイズが大きすぎる場合、変換が失敗したものとして除外してもよい。
【０１３７】
また、上記の一実施形態の構成において、帳票の撮影の際に、別の帳票や任意の物体が写り込んでしまうと、画像処理部２０による処理において、別の帳票や任意の物体を特徴として算出するおそれがある。そのため、画像処理部２０が、フレーム画像記憶部１４１からフレーム画像を読み出した際、フレーム画像の外周を示す線を検出し、外周部分をトリミングしてからフレーム画像の特徴情報を算出してもよい。
【０１３８】
また、本実施形態では、端末装置１が、画像処理部２０と重畳画像記憶部１４７を備えて、重畳画像を生成する画像処理を行う１台の「画像処理装置」として機能しているが、画像処理部２０と重畳画像記憶部１４７を分離して、外部の装置（例えば、画像処理サーバ装置など）が、画像処理部２０と重畳画像記憶部１４７を備えるようにしてもよい。この場合、端末装置１が、フレーム画像記憶部１４１が記憶する情報と、帳票情報記憶部１４５が記憶する情報とを、外部の装置に出力する。外部の装置の画像処理部２０は、端末装置１が出力する情報に基づいて、重畳画像を生成し、最終的に得られた重畳画像を端末装置１に出力するといった構成になる。かかる場合、端末装置１と当該外部の装置が一体となって重畳画像を生成する「画像処理装置」となる。
【０１３９】
また、本実施形態において、重畳状態テーブル１４７１において、どのフレーム画像が上になっているかを示す「配置状態」の情報を記憶しているが、例えば、常に時系列で後になるフレーム画像を上に重ねる、または下に重ねるといった決まった処理を行うのであれば、重畳状態テーブル１４７１を備えなくてもよい。この場合、記録処理部３１は、重畳状態テーブル１４７１を参照できないことになるため、図９に示す帳票情報集計テーブル３２の「表示状態」の項目を設けなくてもよい。
【０１４０】
上述した一実施形態における端末装置１をコンピュータで実現してもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものでよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものでもよく、ＦＰＧＡ（Field Programmable Gate Array）等のプログラマブルロジックデバイスを用いて実現されるものでもよい。
【０１４１】
以上、この発明の実施形態について図面を参照して詳述したが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【０１４２】
１…端末装置  ３…帳票データ管理装置  ４…通信ネットワーク  １０  操作部  １１…撮影部  １２…表示部  １３…フレーム画像取得部  １４…記憶部  １５…文字認識部  １７…認識データ管理部  １８…通信部  ２０…画像処理部  ３１…記録処理部  ３２…記憶部
【図１】
2020098429.tif 000003
【図２】
2020098429.tif 000004
【図３】
2020098429.tif 000005
【図４】
2020098429.tif 000006
【図５】
2020098429.tif 000007
【図６】
2020098429.tif 000008
【図７】
2020098429.tif 000009
【図８】
2020098429.tif 000010
【図９】
2020098429.tif 000011
【図１０】
2020098429.tif 000012
【図１１】
2020098429.tif 000013
【図１２】
2020098429.tif 000014
【図１３】
2020098429.tif 000015
【図１４】
2020098429.tif 000016
【図１５】
2020098429.tif 000017
【図１６】
2020098429.tif 000018
【図１７】
2020098429.tif 000019
【図１８】
2020098429.tif 000020
【図１９】
2020098429.tif 000021
【図２０】
2020098429.tif 000022
【図２１】
2020098429.tif 000023
【図２２】
2020098429.tif 000024
【図２３】
2020098429.tif 000025
【図２４】
2020098429.tif 000026