(57)【要約】【課題】本人確認時において、照合成功率を改善する。【解決手段】照合システム１００は、予め入力された照合先デジタル情報を記憶しておく照合先デジタル情報記憶部３３と、撮影中の照合元対象物の照合元画像データから照合元の文字列を認識して照合元テキストデータとする文字情報認識部３１と、照合先デジタル情報と照合元テキストデータとを照合する照合部３２と、を備え、文字情報認識部３１と照合部３２は、それぞれ、時間的に連続する複数の照合元画像を用いて、認識の処理と照合の処理をバックグラウンドで複数回実行する。【選択図】図１
2020086922.tif 000002
【特許請求の範囲】
【請求項１】
予め入力された照合先の文字列を記憶しておく照合先デジタル情報記憶部と、
撮影中の照合元対象物の照合元画像から照合元の文字列を認識する文字情報認識部と、
前記照合元の文字列と前記照合先の文字列とを照合する照合部と、を備え、
前記文字情報認識部と前記照合部は、それぞれ、
時間的に連続する複数の前記照合元画像を用いて、前記認識の処理と前記照合の処理をバックグラウンドで複数回実行することを特徴とする照合システム。
【請求項２】
前記照合部は、
前記照合の処理を続けて実行するとき、照合に失敗した部分のみを処理対象とする請求項１に記載の照合システム。
【請求項３】
前記照合元対象物の移動量の大きさに基づき、前記照合元対象物のすり替わりを検知するすり替わり検知部を更に備えることを特徴とする請求項１又は２に記載の照合システム。
【請求項４】
前記照合元対象物に表示された文字のフォントと同じフォントの文字を含む画像を生成する画像生成部を更に備えることを特徴とする請求項１乃至３のいずれかに記載の照合システム。
【請求項５】
前記画像生成部は、前記照合元対象物に表示された文字のフォントと同じフォントであり前記照合先の文字列と同じ文字列を含む照合用画像を生成する照合用画像生成部であって、
前記照合元画像と前記照合用画像との画像類似度を算出する画像直接照合部を更に備えることを特徴とする請求項４に記載の照合システム。
【請求項６】
前記画像生成部は、前記照合元対象物に表示された文字のフォントと同じフォントを含む複数のフォントでそれぞれ表示した複数の学習用文字列を含む学習用画像を生成する学習用画像生成部であって、
前記学習用画像を用いて、各フォントの学習用文字列の画像を当該学習用文字列としてそれぞれ認識するように学習する学習用ＯＣＲモデルを生成するＯＣＲ学習部を更に備え、
前記文字情報認識部は、
前記学習用ＯＣＲモデルを用いて前記照合元画像から照合元の文字列を認識することを特徴とする請求項４に記載の照合システム。
【請求項７】
前記照合元画像に含まれる前記照合元対象物の特徴が前記照合元対象物の備える特徴に一致するか否かに基づき、前記照合元対象物の真偽を判定する判定部を更に備えることを特徴とする請求項１乃至６のいずれかに記載の照合システム。
【請求項８】
照合システムで行う照合方法において、
予め入力された照合先の文字列を記憶しておく第１のステップと、
撮影中の照合元対象物の照合元画像から照合元の文字列を認識する第２のステップと、
前記照合元の文字列と前記照合先の文字列とを照合する第３のステップと、を行い、
前記第２のステップと前記第３のステップでは、それぞれ、
時間的に連続する複数の前記照合元画像を用いて、前記認識の処理と前記照合の処理をバックグラウンドで複数回実行することを特徴とする照合方法。
【請求項９】
請求項１乃至７のいずれかに記載の照合システムとしてコンピュータを機能させることを特徴とする照合プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、事前に入力されたデジタル情報と現実空間におけるセンサ情報から得られた情報とを照合する技術に関する。
【背景技術】
【０００２】
従来、様々な方法で本人を確認する行為が行われている。例えば、銀行で口座を開設する場合、免許証等の本人確認書類を用いて本人確認が行われる。銀行口座を新規にオンラインで開設する際、新規顧客は、自身の個人情報（氏名、生年月日、住所等）をウェブページの入力フォームに入力して銀行管理下の照合装置へ送信する。また、同新規顧客は、その後の銀行からの本人確認要求に基づき、入力した個人情報の真実性を証明するため、個人情報が表示された免許証をスマートフォン端末等のカメラで撮影し、その画像を同照合装置へ送信する。
【０００３】
その後、照合装置は、受信した免許証の画像から個人情報の文字列を認識（ＯＣＲ）し、その個人情報の文字列と事前入力されていた個人情報の文字列とを照合（ＯＣＶ）する。そして、照合の結果、２つの個人情報の文字列が互いに同一である場合に、本人が確認できたと判定し、口座開設の処理が開始される。
【０００４】
なお、ＯＣＲ（Optical Character Recognition）とは、印刷物に印字された文字を読み取り、照合や制御の処理を行うために出力する光学文字認識技術である。また、ＯＣＶ（Optical Character Verification）とは、印字されている文字と照合用の文字とを照合し、一致しているか否かを判定する光学文字照合技術である。例えば、特許文献１や非特許文献１に記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】米国特許９３９６４０４号
【非特許文献】
【０００６】
【非特許文献１】Nello Zuech、“Considerations in OCR/OCV Applications”、［online］、aia VISION ONLINE、GLOBAL ASSOCIATION FOR VISION INFORMATION、2000年5月10日、［平成30年10月18日検索］、インターネット、＜https://www.visiononline.org/vision-resources-details.cfm/vision-resources/Considerations-in-OCR-OCV-Applications/content_id/1325＞
【非特許文献２】B. Lucas、外１名、“An iterative image registration technique with an application to stereo vision”、In Proc. Seventh International Conference on Artificial Intelligence、1981年、p.674- p.479
【非特許文献３】B. Horn、外１名、“Determining optical flow”、Artificial Intelligence、vol.17、1981年、p.185- p.203
【非特許文献４】Florian Schroff、外２名、“A Unified Embedding for Face Recognition and Clustering”、［online］、arXiv org、GLOBAL ASSOCIATION FOR VISION INFORMATION、2015年3月12日、［平成30年10月18日検索］、インターネット、＜https://arxiv.org/abs/1503.03832＞
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の照合装置では、複数の口座開設要求に対する応答性を高めることを重視し、ＯＣＲとＯＣＶをそれぞれ１回ずつ実行していたため、照合精度が低いという第１の課題があった。例えば、ＯＣＲで文字認識に失敗すると、その後のＯＣＶも同じく失敗してしまう可能性があった。
【０００８】
また、従来の照合装置では、字形のみに基づき画像から文字をＯＣＲするため、ＯＣＲを行うＯＣＲ処理部にとって認識すべき画像内の文字フォントが未知のフォントである場合、文字認識率が著しく低下するという第２の課題もあった。
【０００９】
さらに、従来の照合装置では、照合元の本人確認書類が真正であるか否かに関わらずＯＣＶするため、照合元の本人確認書類が偽物である場合でも本人の真正性が確定してしまうという第３の課題もあった。
【００１０】
本発明は、上記事情を鑑みてなされたものであり、本人確認時において、照合成功率を改善することを第１の目的とし、文字認識率を改善することを第２の目的とし、本人確認書類の真偽性を確認可能にすることを第３の目的とする。
【課題を解決するための手段】
【００１１】
以上の課題を解決するため、本発明に係る照合システムは、予め入力された照合先の文字列を記憶しておく照合先デジタル情報記憶部と、撮影中の照合元対象物の照合元画像から照合元の文字列を認識する文字情報認識部と、前記照合元の文字列と前記照合先の文字列とを照合する照合部と、を備え、前記文字情報認識部と前記照合部は、それぞれ、時間的に連続する複数の前記照合元画像を用いて、前記認識の処理と前記照合の処理をバックグラウンドで複数回実行することを特徴とする。
【００１２】
上記照合システムにおいて、前記照合部は、前記照合の処理を続けて実行するとき、照合に失敗した部分のみを処理対象とする。
【００１３】
上記照合システムにおいて、前記照合元対象物の移動量の大きさに基づき、前記照合元対象物のすり替わりを検知するすり替わり検知部を更に備えることを特徴とする。
【００１４】
上記照合システムにおいて、前記照合元対象物に表示された文字のフォントと同じフォントの文字を含む画像を生成する画像生成部を更に備えることを特徴とする。
【００１５】
上記照合システムにおいて、前記画像生成部は、前記照合元対象物に表示された文字のフォントと同じフォントであり前記照合先の文字列と同じ文字列を含む照合用画像を生成する照合用画像生成部であって、前記照合元画像と前記照合用画像との画像類似度を算出する画像直接照合部を更に備えることを特徴とする。
【００１６】
上記照合システムにおいて、前記画像生成部は、前記照合元対象物に表示された文字のフォントと同じフォントを含む複数のフォントでそれぞれ表示した複数の学習用文字列を含む学習用画像を生成する学習用画像生成部であって、前記学習用画像を用いて、各フォントの学習用文字列の画像を当該学習用文字列としてそれぞれ認識するように学習する学習用ＯＣＲモデルを生成するＯＣＲ学習部を更に備え、前記文字情報認識部は、前記学習用ＯＣＲモデルを用いて前記照合元画像から照合元の文字列を認識することを特徴とする。
【００１７】
上記照合システムにおいて、前記照合元画像に含まれる前記照合元対象物の特徴が前記照合元対象物の備える特徴に一致するか否かに基づき、前記照合元対象物の真偽を判定する判定部を更に備えることを特徴とする。
【００１８】
本発明に係る照合方法は、照合システムで行う照合方法において、予め入力された照合先の文字列を記憶しておく第１のステップと、撮影中の照合元対象物の照合元画像から照合元の文字列を認識する第２のステップと、前記照合元の文字列と前記照合先の文字列とを照合する第３のステップと、を行い、前記第２のステップと前記第３のステップでは、それぞれ、時間的に連続する複数の前記照合元画像を用いて、前記認識の処理と前記照合の処理をバックグラウンドで複数回実行することを特徴とする。
【００１９】
本発明に係る照合プログラムは、上記照合システムとしてコンピュータを機能させることを特徴とする。
【発明の効果】
【００２０】
本発明によれば、本人確認時において、照合成功率を向上することができる。また、本人確認時において、文字認識率を向上することができる。また、本人確認時において、本人確認書類の真偽性を確認可能にすることができる。
【図面の簡単な説明】
【００２１】
【図１】第１の実施形態に係る照合システムの機能ブロック構成を示す図である。
【図２】端末装置で行う照合処理動作の処理フローを示す図である。
【図３】照合元対象物の例を示す図である。
【図４】照合装置で行う照合処理動作の処理フローを示す図である。
【図５】入力フォーム画面及び照合先デジタル情報の例を示す図である。
【図６】照合結果の表示例を示す図である。
【図７】端末装置で行うすり替わり検知動作の処理フローを示す図である。
【図８】第２の実施形態に係る照合システム（直接照合形態）の機能ブロック構成を示す図である。
【図９】照合装置で行う直接照合形態での処理フローを示す図である。
【図１０】第２の実施形態に係る照合システム（事前学習形態）の機能ブロック構成を示す図である。
【図１１】照合装置で行う事前学習形態での処理フローを示す図である。
【図１２】第２の実施形態に係る照合システム（直接照合形態）の機能ブロック構成（変形例）を示す図である。
【図１３】第３の実施形態に係る照合システムの機能ブロック構成を示す図である。
【図１４】照合装置で行う真偽性判定の基本処理フローを示す図である。
【図１５】照合装置で行う真偽性判定の変形例の処理フローを示す図である。
【発明を実施するための形態】
【００２２】
以下、本発明を実施する一実施の形態について図面を用いて説明する。
【００２３】
＜第１の実施形態＞
第１の実施形態では、第１の課題を解決するため、本発明の第１の特徴として、ＯＣＲとＯＣＶをバックグラウンドで複数回実行する。これにより、照合成功率を向上させる。また、毎回全ての領域（氏名、生年月日、住所等）を照合対象にしてしまうと、照合成功率が著しく下がるので、第１の特徴に関連する特徴として、照合が一度成功した領域はスキップし、失敗した領域又は未照合の領域に焦点を絞って照合する。この照合は、照合対象の領域が異なる場合に限らず、同じ領域内の部分に対しても適用する。更に、第１の特徴に関連する特徴として、撮影中の現実空間の現実物体が照合の途中で別の物体にすり替わることを検知する。
【００２４】
（照合システムの構成）
図１は、第１の実施形態に係る照合システム１００の機能ブロック構成を示す図である。照合システム１００は、端末装置１と、照合装置３と、を備えて構成される。端末装置１と照合装置３は、通信ネットワーク５を介して相互通信可能に物理的かつ電気的に接続されている。
【００２５】
（端末装置の構成）
まず、端末装置１の構成について説明する。端末装置１は、図１に示したように、撮影部１１と、表示部１２と、すり替わり検知部１３と、前フレーム記憶部１４と、を備えて構成される。端末装置１は、ローカル側のクライアント装置であり、例えば、カメラ機能及び通信機能が付属したスマートフォン端末、携帯電話端末、タブレット端末である。ウェブカメラが接続されたパソコン端末でもよい。
【００２６】
撮影部１１は、光学カメラ等を用いて照合元対象物を撮影し、撮影中の照合元対象物の照合元画像データを比較的短い時間間隔（１秒等）で読み取り、照合元画像データを読み取る毎（１秒等）にすり替わり検知部１３へ出力するとともに、照合元画像データを比較的長い時間間隔（６秒等）で照合装置３の文字情報認識部３１へ出力する機能を備える。撮影部１１は、例えば、スマートフォン端末に付属するカメラを用いて実現できる。照合元対象物とは、例えば、免許証、健康保険証等、個人情報（氏名、生年月日、住所等）が記録された本人確認書類である。
【００２７】
表示部１２は、撮影部１１が撮影している照合元対象物の照合元画像データを参照可能に表示する機能を備える。例えば、スマートフォン端末の備える表示パネル及び表示機能を用いて実現できる。
【００２８】
すり替わり検知部１３は、撮影中の照合元対象物の移動量の大きさに基づき、照合元対象物のすり替わりを検知する機能を備える。具体的には、すり替わり検知部１３は、撮影部１１から直前に出力された照合元画像データを前フレームとして前フレーム記憶部１４に記憶し、すり替えが起こりえないタイムスパン（１秒等、照合元画像データを読み取る毎）において、撮影部１１から次に出力された照合元画像データと前フレーム記憶部１４の前フレームとを用いて照合元対象物のオプティカルフローを算出し、照合元対象物の移動距離を算出する。そして、照合元対象物の移動距離が閾値を超えた場合、照合元対象物のすり替えが生じたと判定し、アラート信号を表示部１２に出力してアラート情報を表示させる。
【００２９】
なお、オプティカルフローとは、異なる時間に撮影された２枚の画像間で対象物の移動量をベクトルデータとして表現する技術である。オプティカルフローの代表的な計算方法については、例えば、Lucas-Kanade法（非特許文献２）、Horn-Shunck法（非特許文献３）が存在する。
【００３０】
前フレーム記憶部１４は、すり替わり検知部１３で次フレームの照合元画像データを用いてオプティカルフローを計算するために、前フレームの照合元画像データを記憶する機能を備える。
【００３１】
（照合装置の構成）
次に、照合装置３の機能について説明する。照合装置３は、図１に示したように、文字情報認識部３１と、照合部３２と、照合先デジタル情報記憶部３３と、照合結果記憶部３４と、を備えて構成される。照合装置３は、例えば、サーバ装置であり、クラウド内に配置される。
【００３２】
文字情報認識部３１は、端末装置１の撮影部１１から照合元画像データを受け取る毎に、照合元画像データから照合元の文字列を認識する処理（ＯＣＲ）を繰り返し実行し、照合部３２へ出力する機能を備える。具体的には、文字情報認識部３１は、端末装置１の撮影部１１から比較的長い時間間隔（６秒等）で出力される照合元画像データをそれぞれ受け取り、照合元画像データを受け取る毎に、既存のＯＣＲ技術を用いて、受け取った照合元画像データをテキスト化して照合元テキストデータとして出力する。
【００３３】
また、文字情報認識部３１は、照合元画像データからの文字の認識処理に時間を要する場合、その時間毎に次の照合元画像データを受け付けて文字の認識処理を継続する機能を備える。例えば、照合元画像データからの文字の認識処理に２秒かかる場合、２秒以上の間隔を置いて次の認識処理に移行する。
【００３４】
なお、文字情報認識部３１は、端末装置１に配置してもよい。
【００３５】
照合部３２は、文字情報認識部３１から照合元の文字列を受け取る毎に、照合元の文字列を、照合先デジタル情報記憶部３３に記憶されている照合先の文字列と照合する処理（ＯＣＶ）を繰り返し実行し、その照合結果を端末装置１の表示部１２へ出力する機能を備える。具体的には、照合部３２は、文字情報認識部３１でテキスト化された照合元テキストデータと、照合先デジタル情報記憶部３３の照合先テキスト情報（照合先の文字列。後述する。）と、を突合し、一致する領域を照合済箇所情報（照合ＯＫ）とし、一致しない領域又は未処理の領域を未照合箇所情報（照合ＮＧ又は未照合）とした照合結果を照合結果記憶部３４に記憶する。
【００３６】
また、照合部３２は、照合の処理を続けて実行するとき、照合に失敗した部分又は未処理の部分のみを処理対象とする機能を備える。具体的には、照合部３２は、照合結果記憶部３４に記憶されているこれまでの照合結果を参照し、照合の処理を次に実行する場合、既に照合済箇所（照合ＯＫ）となっている領域は照合せずにスキップする。この照合は、照合対象の領域が異なる場合に限らず、同じ領域内の部分に対しても適用する。そして、全ての領域が照合済となった場合、「全て照合済」のシグナルを出力して処理を終了する。
【００３７】
照合先デジタル情報記憶部３３は、ウェブページの入力フォームにキーボード等で入力され予め送信されていた照合先の文字列（文字コード列）を照合先デジタル情報として記憶しておく機能を備える。照合先デジタル情報とは、例えば、氏名、生年月日、住所等である。
【００３８】
照合結果記憶部３４は、照合部３２で照合の処理を行う毎に、各領域の照合結果を参照可能に記憶しておく機能を備える。照合部３２が一領域内の部分に対して照合の処理を行った場合、照合結果記憶部３４は、各部分についての照合結果を記憶する。
【００３９】
（照合システムの動作）
（照合処理動作）
次に、図２〜図６を参照しながら、照合システム１００で行う照合処理動作について説明する。この照合処理動作は、バックグラウンドで行われる。図２は、端末装置１で行う照合処理動作の処理フローを示す図である。図３は、照合元対象物の例を示す図である。図４は、照合装置３で行う照合処理動作の処理フローを示す図である。図５は、入力フォーム画面及び照合先デジタル情報の例を示す図である。図６は、照合結果の表示例を示す図である。
【００４０】
後述する処理動作では、第２の実施形態以降も含め、銀行口座をオンラインで開設したい新規顧客が、照合元対象物として免許証を用いて、入力フォームに入力した自身の個人情報の真実性を証明する場合について説明する。同新規顧客は、銀行ホームページの入力フォーム（図５の上図）に氏名、生年月日、住所等の個人情報を入力し、銀行の管理する照合装置３へ予め送信しておく。そして、照合装置３は、その氏名等を照合先デジタル情報（図５の下図）として照合先デジタル情報記憶部３３に記憶しておくものとする。なお、「照合先デジタル情報として」とする理由は、入力された氏名等はコンピュータである照合装置３が制御可能な文字コードであるからである。
【００４１】
（照合処理動作；端末装置の動作）
まず、図２を参照しながら、端末装置１の動作について説明する。
【００４２】
ステップＳ１０１；
上記新規顧客が、入力フォームに入力した氏名等が正しいことを証明するため、端末装置１で免許証（図３）を撮影開始すると、端末装置１の撮影部１１は、その免許証の画像を照合元画像データとして１秒毎に読み取るとともに、表示部１２は、その免許証の映像を表示する。なお、１秒は例であり、０．１秒等でもよい。
【００４３】
ステップＳ１０２；
次に、撮影部１１は、照合元画像データを６秒毎に照合装置３の文字情報認識部３１へ順次出力する。このとき、撮影部１１は、照合元画像データを読み取る毎（１秒毎）にすり替わり検知部１３へ順次出力するが、すり替わり検知部１３の動作については後述する。なお、６秒は例であり、１０秒等でもよい。
【００４４】
ステップＳ１０３；
最後に、表示部１２は、照合装置３から照合結果を受信すると、その照合結果を撮影中の免許証の映像に重畳表示する（図６）。
【００４５】
（照合処理動作；照合装置の動作）
次に、図４を参照しながら、照合装置３の動作について説明する。
【００４６】
ステップＳ２０１；
まず、照合装置３の文字情報認識部３１が、端末装置１の撮影部１１から照合元画像データを受信する。
【００４７】
ステップＳ２０２；
次に、文字情報認識部３１は、既存のＯＣＲ技術を用いて、受信した照合元画像データに含まれる画像文字をテキスト文字に変換（文字認識処理；ＯＣＲ）することにより、照合元画像データをテキスト化した照合元テキストデータを生成する。その後、文字情報認識部３１は、照合元テキストデータを照合部３２に出力する。
【００４８】
なお、文字情報認識部３１は、端末装置１から照合元画像データを受信する毎に、ステップＳ２０１とステップＳ２０２を繰り返し実行する。本例では、端末装置１から照合元画像データを６秒毎に受信するので、文字情報認識部３１は、６秒毎に照合元テキストデータを照合部３２に順次出力する。
【００４９】
ステップＳ２０３；
次に、照合部３２は、文字情報認識部３１から照合元テキストデータを受け取ると、照合先デジタル情報記憶部３３から照合先デジタル情報（図５の下図）を読み出して、照合元テキストデータと照合先デジタル情報とを突合（文字照合処理；ＯＣＶ）する。このとき、照合部３２は、突合対象とする一領域全体を領域毎に突合することも可能であり、領域内の部分毎に突合することも可能である。例えば、住所を一領域とする場合、住所の全文字列（〇〇県○○市〇〇１丁目２３番地）を突合してもよいし、住所に含まれる一部の文字列（〇〇県〇〇市）を突合してもよい。
【００５０】
ステップＳ２０４；
その後、照合部３２は、各領域を突合した照合結果を領域毎に端末装置１へ順次送信するとともに、その照合結果を照合結果記憶部３４に記憶する。端末装置１は、ステップＳ１０３で説明した通り、照合装置３からの照合結果を撮影中の免許証の映像に重畳表示する（図６）。
【００５１】
図６の左側に、照合装置３の表示部１２に表示される照合１回目の画面遷移の例を示す。まず、氏名を照合し、照合ＯＫであったため、免許証画像の氏名欄に「照合ＯＫ」が重畳表示される。次に、生年月日を照合し、照合の処理に時間を要し、照合結果が得られなかったため、生年月日欄に「（未照合）」が重畳表示される。次に、住所を照合し、照合ＮＧであったため、住所欄に「照合ＮＧ」が重畳表示される。なお、照合ＮＧになる場合とは、例えば、ステップＳ２０２で照合元画像データからテキスト文字を正しく認識できなかった場合が考えられる。
【００５２】
ステップＳ２０５；
次に、照合部３２は、現在の照合回数を、照合回数の上限を示す閾値と比較し、現在の照合回数が閾値を超えた場合、処理を終了し、現在の照合回数が閾値を超えていない場合、ステップＳ２０６へ進む。
【００５３】
ステップＳ２０６，Ｓ２０７；
その後、照合部３２は、照合結果記憶部３４を参照し、照合ＮＧ又は未照合の領域があるか否かを判定する。照合ＮＧ又は未照合の領域がある場合、その領域を再照合するため、ステップＳ２０３へ戻り、照合部３２は、２つ目の照合元テキストデータで照合先デジタル情報と突合する。このとき、照合部３２は、照合ＯＫの領域は照合せずにスキップし、照合ＮＧ又は未照合の領域のみを照合する。一方、照合ＮＧ又は未照合の領域がない場合、つまり、全ての領域が照合ＯＫの場合、処理を終了する。
【００５４】
図６の右側に、照合２回目の画面遷移の例を示す。照合ＯＫであった氏名については照合の処理を行わず、照合１回目の照合結果を引き続き表示するに留め、生年月日から照合の処理が開始される。そして、生年月日を照合し、照合ＯＫであったため、生年月日欄に「照合ＯＫ」が重畳表示される。次に、住所を照合し、照合ＯＫであったため、住所欄に「照合ＯＫ」が重畳表示される。照合２回目で照合結果が照合ＯＫに変わった理由は、照合１回目とは別の照合元テキストデータを用いたことにより、テキスト文字を正しく認識できていたことが考えられる。つまり、同一の免許証に対応する複数の照合元テキストデータを用いて照合の処理を繰り返し実行するので、照合成功率が向上することとなる。
【００５５】
（すり替わり検知動作）
次に、図７を参照しながら、照合元対象物のすり替わり検知動作について説明する。図７は、端末装置１で行うすり替わり検知動作の処理フローを示す図である。氏名に対して照合ＯＫが表示された後に別の免許証にすり替えが行われると、存在しない氏名と住所の組み合わせが生成されてしまう。顧客に悪意がある場合、その組み合わせに対応する氏名と住所を入力フォームに入力しておくと照合されてしまい、本人を詐称することが可能となってしまう。そこで、本動作では、免許証のすり替えを防止し、照合者本人の詐称を防止する。なお、すり替わり検知動作は、端末装置１のみで行われる。
【００５６】
ステップＳ３０１；
まず、端末装置１で免許証を撮影開始すると、端末装置１の撮影部１１は、その免許証の画像を照合元画像データとして１秒毎に読み取るとともに、読み取る毎（１秒毎）にすり替わり検知部１３へ順次出力する。１秒は、免許証のすり替えが起こりえないと想定するタイムスパンの例である。
【００５７】
ステップＳ３０２；
すり替わり検知部１３は、撮影部１１から直前に出力されていた照合元画像データを前フレームとして前フレーム記憶部１４に記憶しておき、次に（１秒後に）出力された照合元画像データと前フレームとを用いて免許証のオプティカルフローを算出し、免許証の１秒間の移動距離を算出する。
【００５８】
ステップＳ３０３；
次に、すり替わり検知部１３は、免許証の移動距離を、すり替えによる照合元対象物の位置の変動距離を示す閾値と比較し、免許証の移動距離が閾値を超えた場合、ステップＳ３０４へ進む。撮影時には手ぶれがあることを考慮し、当該閾値は２ｃｍ程度とすることが好ましい。一方、免許証の１秒間の移動距離が閾値を超えていない場合、処理を終了する。
【００５９】
ステップＳ３０４；
最後に、すり替わり検知部１３は、免許証の移動距離が閾値を超えた場合、免許証にすり替えが生じたと判定し、アラート信号を表示部１２に出力してアラート情報を表示させる。このとき、すり替わり検知部１３は、アラート信号を、表示部１２の他、端末装置１の備えるスピーカに出力して音で警告してもよいし、照合装置３へ出力してもよい。
【００６０】
ステップＳ３０３又はステップＳ３０４の後、すり替わり検知部１３は、撮影部１１が照合元画像データを読み取る毎にステップＳ３０１〜ステップＳ３０４を繰り返し実行する。
【００６１】
（効果）
第１の実施形態によれば、照合システム１００が、予め入力された照合先デジタル情報を記憶しておく照合先デジタル情報記憶部３３と、撮影中の照合元対象物の照合元画像データから照合元の文字列を認識して照合元テキストデータとする文字情報認識部３１と、照合先デジタル情報と照合元テキストデータとを照合する照合部３２と、を備え、文字情報認識部３１と照合部３２は、それぞれ、時間的に連続する複数の照合元画像を用いて、認識の処理と照合の処理をバックグラウンドで複数回実行するので、照合成功率を向上することができる。
【００６２】
また、第１の実施形態によれば、照合部３２は、照合の処理を続けて実行するとき、照合に失敗した部分又は未照合の部分のみを処理対象とするので、照合に成功していた部分については照合失敗又は未照合としないことから、照合成功率を更に向上することができる。
【００６３】
また、第１の実施形態によれば、すり替わり検知部１３が、照合元対象物の移動量の大きさに基づき、照合元対象物のすり替わりを検知するので、照合元対象物のすり替わりを確実に検知することができる。
【００６４】
＜第２の実施形態＞
第２の実施形態では、第２の課題を解決するため、本発明の第２の特徴として、現実空間の現実物体に即した文字フォント（書体）で照合先の文字を生成する。これにより、ＯＣＲとＯＣＶの精度を向上させる。具体的には、２つの方法を用いる。
【００６５】
１つ目は、照合先デジタル情報を、照合元対象物に表示されている文字フォントと同じ文字フォントで画像化した画像データを生成し、その画像データが照合元画像データと類似するか否かを判定する（直接照合形態）。
【００６６】
２つ目は、事前に格納していた住所リスト等の学習文字列を、照合元対象物に表示されている文字フォントを含む複数の文字フォントで画像化した画像データを生成し、その画像データであれば当該画像データの学習文字列として認識するＯＣＲ学習を予め実行しておき、それにより生成していた学習済ＯＣＲモデルを用いてＯＣＲを行う（事前学習形態）。
【００６７】
これにより、照合元対象物に表示されている文字が文字情報認識部３１にとって未知のフォントであっても、頑健に照合を行うことを実現する。
【００６８】
（直接照合形態）
（照合システムの構成）
図８は、第２の実施形態に係る照合システム（直接照合形態）の機能ブロック構成を示す図である。端末装置１は、撮影部１１と、表示部１２と、を備えて構成される。照合装置３は、照合先デジタル情報記憶部３３と、フォント情報記憶部３５と、照合用画像生成部３６と、画像直接照合部３７と、を備えて構成される。以下、照合装置３の各機能部（３５〜３７）について説明する。端末装置１の各機能部（１１，１２）は、第１の実施形態と同様の機能を備えるため、その説明を省略する。
【００６９】
フォント情報記憶部３５は、文字のフォント情報を読み出し可能に記憶しておく機能を備える。フォント情報とは、例えば、明朝体、ゴシック体等である。
【００７０】
照合用画像生成部３６は、照合元対象物に表示された文字のフォントと同じフォントの文字を含む画像を生成する機能を備える。具体的には、照合用画像生成部３６は、照合元対象物に表示された文字のフォントと同じフォントであり照合先の文字列と同じ文字列を含む照合用画像データを生成する。例えば、照合元対象物に表示された「東京都」という文字列が「明朝体」であれば、照合先デジタル情報として入力されている「東京都」という文字列を「明朝体」の「東京都」の画像として出力する。
【００７１】
画像直接照合部３７は、照合元画像データと、照合用画像データ（照合先デジタル情報をフォント情報に応じて生成した画像データ）と、の画像類似度を算出する機能を備える。具体的には、画像直接照合部３７は、照合元画像データと照合用画像データの画像類似度を推定計算し、類似・非類似を判定して、その判定結果を端末装置１の表示部１２に出力する。なお、画像類似度を求める方法は、任意であり、例えば、深層学習に基づくtriplet loss（非特許文献４）を用いた類似画像検索方式、深層学習を用いずに行うAverage Hash法等が存在する。
【００７２】
（照合システムの動作）
図９は、照合装置３で行う直接照合形態での処理フローを示す図である。第１の実施形態では、照合部３２が文字列同士を照合する方法について説明したが、ここでは、画像直接照合部３７が照合の処理を画像同士で行う。
【００７３】
ステップＳ４０１；
まず、照合用画像生成部３６は、照合先デジタル情報記憶部３３から照合先デジタル情報（入力フォームに入力された氏名等）を取得し、フォント情報記憶部３５のフォント情報を参照して、免許証に表示されている文字のフォントと同じフォントに変換して画像化した照合用画像データを生成する。例えば、免許証の文字フォントが明朝体の場合、入力フォームに入力された氏名等を明朝体に変換して画像化した照合用画像データを生成する。なお、免許証の文字のフォントの判別方法は、例えば、入力フォームで免許証の文字フォントを指定する方法、免許証を撮影したときにフォント種別を検出する方法等が考えられる。
【００７４】
ステップＳ４０２；
次に、画像直接照合部３７は、端末装置１の撮影部１１から照合元画像データを受信すると、受信した照合元画像データと、ステップＳ４０１で生成した照合用画像データとの画像類似度を計算し、類似・非類似を判定する。例えば、２つの画像データの画像類似度を計算した結果、類似度が閾値以上の場合、類似していると判定して照合ＯＫとする。一方、類似度が同閾値に満たない場合、非類似と判定して照合ＮＧとする。
【００７５】
ステップＳ４０３；
最後に、画像直接照合部３７は、ステップＳ４０２の照合結果を端末装置１へ送信する。端末装置１は、第１の実施形態で説明した通り、照合装置３からの照合結果を撮影中の免許証の映像に重畳表示する。
【００７６】
（事前学習形態）
（照合システムの構成）
次に、事前学習形態について説明する。図１０は、第２の実施形態に係る照合システム（事前学習形態）の機能ブロック構成を示す図である。端末装置１は、撮影部１１と、表示部１２と、を備えて構成される。照合装置３は、第１の実施形態で説明した構成に加えて、フォント情報記憶部３５と、学習用文字列デジタル情報記憶部３８と、学習用画像生成部３９と、ＯＣＲ学習部４０と、学習済ＯＣＲモデル記憶部４１と、を備えて構成される。以下、照合装置３の各機能部（３５，３８〜４１）について説明する。端末装置１の各機能部（１１，１２）は、第１の実施形態と同様の機能を備えるため、その説明を省略する。
【００７７】
フォント情報記憶部３５は、文字のフォント情報を読み出し可能に記憶しておく機能を備える。フォント情報とは、例えば、明朝体、ゴシック体等である。
【００７８】
学習用文字列デジタル情報記憶部３８は、ＯＣＲ学習用として収集していた任意の学習用文字列を学習用文字列デジタル情報として読み出し可能に記憶しておく機能を備える。学習用文字列デジタル情報とは、例えば、日本太郎等の氏名リスト、東京都千代田区等の住所リスト、２０００年１月１日等の生年月日リスト等であり、氏名、住所、生年月日等として用いられる可能性の高い既知の情報である。
【００７９】
学習用画像生成部３９は、照合元対象物に表示された文字のフォントと同じフォントを含む複数のフォントでそれぞれ表示した複数の学習用文字列を含む学習用画像を生成する機能を備える。具体的には、学習用画像生成部３９は、上記任意の学習用文字列を複数のフォントで画像表示した学習用画像データを生成する。例えば、学習用文字列デジタル情報に含まれる住所リストの文字列を「明朝体」に変換し、「明朝体」の住所リストの画像として出力する。
【００８０】
ＯＣＲ学習部４０は、学習用画像データを用いて、各フォントの学習用文字列の画像を当該学習用文字列としてそれぞれ認識するように学習する学習用ＯＣＲモデルを生成する機能を備える。例えば、「明朝体」の住所リストの画像から当該住所リストの文字列を認識するように学習する学習用ＯＣＲモデルを生成する。
【００８１】
学習済ＯＣＲモデル記憶部４１は、ＯＣＲ学習部４０により生成された学習用ＯＣＲモデルを読み出し可能に記憶する機能を備える。
【００８２】
（照合システムの動作）
図１１は、照合装置３で行う事前学習形態での処理フローを示す図である。第１の実施形態では、ＯＣＲする際、照合元対象物に表示された文字の字形のみに基づきＯＣＲする方法について説明したが、ここでは、照合元対象物に表示された文字のフォント（書体）を文字認識時のキー情報に用いてＯＣＲする。
【００８３】
ステップＳ５０１；
まず、学習用画像生成部３９は、学習用文字列デジタル情報記憶部３８から学習用文字列デジタル情報を取得し、フォント情報記憶部３５のフォント情報と同じフォントに変換した学習用画像データを生成する。例えば、フォント情報に明朝体がある場合、明朝体フォントに基づく氏名リストの学習用画像データを各氏名についてそれぞれ生成する。住所リスト、生年月日リスト等についても同様に生成する。より詳しくは、例えば、「田中」「佐藤」が氏名リストに含まれ、フォント情報が「明朝体」「ブロック体」である場合、明朝体の「田中」の画像、ブロック体の「田中」の画像、明朝体の「佐藤」の画像、ブロック体の「佐藤」の画像を生成して出力する。なお、フォント情報は、入力フォームで免許証のフォントと同じ種別のフォントを指定する方法、任意のフォントを指定しておく方法等が考えられる。
【００８４】
ステップＳ５０２；
次に、ＯＣＲ学習部４０は、ステップＳ５０１で生成した学習用画像データを用いて、各フォントの学習用文字列の画像であれば当該学習用文字列とそれぞれ認識（決定・変換）する学習を行い、その学習結果を学習用ＯＣＲモデルとして生成して学習済ＯＣＲモデル記憶部４１に記憶する。例えば、明朝体の「田中」の画像であれば「田中」の文字列を認識し、ブロック体の「田中」の画像についても「田中」の文字列を認識する学習用ＯＣＲモデルを生成する。
【００８５】
なお、照合装置３は、全ての学習用文字列及び全てのフォントについて、ステップＳ５０１とステップＳ５０２を事前に実行（事前学習）しておく。
【００８６】
ステップＳ５０３；
その後、文字情報認識部３１は、端末装置１の撮影部１１から照合元画像データを受信すると、照合元画像データに含まれる所定フォントの氏名、生年月日、住所等の各画像について、学習済ＯＣＲモデルに含まれる複数の画像のうち同じフォントの氏名、生年月日、住所等の画像をそれぞれ特定し、特定した各画像に対応する学習用文字列をそれぞれ特定することにより、受信した照合元画像データから文字列を認識（ＯＣＲ）する。例えば、照合元画像データに明朝体の「田中」が表示されている場合、学習済ＯＣＲモデルより、「田中」の文字列が特定される。これにより、文字情報認識部３１は、照合元画像データに含まれる画像文字をテキスト文字に変換する。
【００８７】
ステップＳ５０４；
以降、ステップＳ２０２に記載した後段の処理（照合元テキストデータを照合部３２に出力する処理）〜ステップＳ２０７で説明した処理を実行する。
【００８８】
（効果）
第２の実施形態によれば、照合用画像生成部３６が、照合元対象物に表示された文字のフォントと同じフォントであり照合先デジタル情報と同じ文字列を含む照合用画像データを生成し、画像直接照合部３７が、その照合用画像データを用いて照合元画像データとの画像類似度を算出するので、照合元対象物に表示されている文字が未知のフォントであっても、頑健に照合を行うことができ、文字認識率を向上することができる。
【００８９】
また、第２の実施形態によれば、学習用画像生成部３９が、照合元対象物に表示された文字のフォントと同じフォントを含む複数のフォントでそれぞれ表示した複数の学習用文字列を含む学習用画像データを生成し、ＯＣＲ学習部が、その学習用画像データを用いて、各フォントの学習用文字列の画像を当該学習用文字列としてそれぞれ認識するように学習する学習用ＯＣＲモデルを生成し、文字情報認識部３１が、学習用ＯＣＲモデルを用いて前記照合元画像から照合元の文字列を認識するので、照合元対象物に表示されている文字が未知のフォントであっても、頑健に照合を行うことができ、文字認識率を向上することができる。
【００９０】
なお、直接照合形態と事前学習形態は、それぞれ第１の実施形態に組み合わせることも可能である。例えば、図１２に例示するように、図８に示した直接照合形態に対して、端末装置１にすり替わり検知部１３と前フレーム記憶部１４を追加して照合元対象物のすり替わり検知を行うようにしてもよい。
【００９１】
＜第３の実施形態＞
第３の実施形態では、第３の課題を解決するため、本発明の第３の特徴として、３次元的に現実物体をセンシングし、本来あるべき現実物体との物理的乖離がないかを確認することにより、現実物体の真偽性を判断する。
【００９２】
（照合システムの構成）
図１３は、第３の実施形態に係る照合システムの機能ブロック構成を示す図である。端末装置１の構成は、第１の実施形態と同じである。照合装置３は、第１の実施形態で説明した構成に加えて、真偽判定部４２と、照合元物理情報記憶部４３と、生体情報真偽判定部４４と、照合元生体情報記憶部４５と、を備えて構成される。なお、第３の実施形態は、第２の実施形態と組み合わせることも可能である。
【００９３】
真偽判定部４２は、照合元画像データに含まれる照合元対象物の特徴が照合元対象物の備える特徴に一致するか否かに基づき、照合元対象物の真偽を判定する機能を備える。具体的には、真偽判定部４２は、照合元物体の物理的特徴が、手本となる物体の物理的特徴に一致している場合、照合元対象物が本物であることを示す真の判定結果を出力し、一致しない場合、照合元対象物が偽物であることを示す偽の判定結果を出力する。
【００９４】
照合元物理情報記憶部４３は、照合元対象物の備える本来の物理的特徴に関する情報を照合元物理情報として参照可能に記憶しておく機能を備える。照合元物理情報とは、例えば、免許証の形状、大きさ、厚さ、表示情報の内容、色等である。
【００９５】
生体情報真偽判定部４４は、照合元画像データに含まれる照合元対象物の特徴が照合元対象物の備える特徴に一致するか否かに基づき、照合元対象物の真偽を判定する機能を備える。具体的には、生体情報真偽判定部４４は、照合元物体の生体的特徴が、手本となる物体の生体的特徴に一致している場合、照合元対象物が本物であることを示す真の判定結果を出力し、一致しない場合、照合元対象物が偽物であることを示す偽の判定結果を出力する。
【００９６】
照合元生体情報記憶部４５は、照合元対象物の備える本来の生体的特徴に関する情報を照合元生体情報として参照可能に記憶しておく機能を備える。照合元生体情報とは、例えば、顔、指紋等に関する顔の輪郭、指紋形状等である。
【００９７】
（照合システムの動作）
（基本動作）
まず、図１４を参照しながら、真偽性判断の基本動作について説明する。図１４は、照合装置３で行う真偽性判定の基本処理フローを示す図である。ここでは、入力フォームに入力した情報の他に、照合元対象物の物理的特徴を元に真偽性を判定する。
【００９８】
ステップＳ６０１；
まず、真偽判定部４２は、端末装置１の撮影部１１から照合元画像データを受信すると、照合元画像データに含まれる免許証等の物理的特徴を算出する。例えば、免許証の場合、免許証の外観形状に対し、免許証内に表示されている黒線枠の位置、写真の配置等の位置的関係を算出する。照合元対象物が３次元形状である場合、複数の角度から連続的に撮影した照合元画像データを用いて３次元的な物理的特徴を算出する。例えば、免許証のようにカード状の場合、表面や裏面の物理的特徴に加えて、厚み方向の３次元的特徴（高さ等）も算出する。
【００９９】
ステップＳ６０２；
次に、真偽判定部４２は、照合元物理情報記憶部４３から照合元物理特徴である免許証の備える本来の物理的特徴に関する情報を取得し、照合元画像データから得た免許証等の物理的特徴が、照合元物理特徴に一致するか否かを判定する。
【０１００】
物理的特徴の一致・不一対を判定する方法としては、事前に人手で定める特徴量を求めておき、撮影した物理的特徴との一致を求める方法が考えられる。例えば、カード状の物体の場合、左上頂点から右に１ｃｍ、下に０．５ｃｍの箇所から、黒い直線が縦と横に走るという特徴等を、本来の物理的特徴として用いる。その他、ＣＮＮ（Convolutional Neural Network）等の深層学習を用いて自動的に本来の物理的特徴を発見して算出し、その上で類似度を求める手段の両方が考えられる。いずれの方法を用いてもよい。
【０１０１】
ステップＳ６０３；
最後に、真偽判定部４２は、ステップＳ６０２の真偽判定結果を端末装置１へ送信する。例えば、真偽判定部４２は、互いの物理的特徴が不一致、又は類似度が閾値より低い場合、撮影中の免許証は偽物であることを示す偽の判定結果を送信する。
【０１０２】
（基本動作の変形例）
次に、図１５を参照しながら、真偽性を判断の動作（変形例）について説明する。図１５は、照合装置３で行う真偽性判定の変形例の処理フローを示す図である。ここでは、入力フォームに入力した情報の他に、照合元対象物の生体的特徴を元に真偽性を判定する。
【０１０３】
ステップＳ７０１；
まず、生体情報真偽判定部４４は、端末装置１の撮影部１１から照合元画像データを受信すると、照合元画像データに含まれる免許証の写真から本人の顔の特徴を算出する。例えば、生体情報真偽判定部４４は、目の位置、鼻の位置、顔の形状等を算出する。
【０１０４】
ステップＳ７０２；
次に、生体情報真偽判定部４４は、照合元生体情報記憶部４５から照合元生体情報である本人の生体的特徴に関する情報を取得し、照合元画像データから得た本人の生体的特徴が、照合元生体情報に一致するか否かを判定する。生体的特徴が一致しているか否かを判定する方法については、例えば、非特許文献３等に記載された方法を用いる。照合元生体情報は、３次元形状であることを考慮し、複数角度から連続的に撮影した画像を用いて予め算出しておく。
【０１０５】
（効果）
第３の実施形態によれば、真偽判定部４２が、照合元画像データに含まれる照合元対象物の物理的特徴が照合元対象物の本来備える物理的特徴に一致するか否かに基づき、照合元対象物の真偽を判定するので、照合元対象物の真偽を確実に判定できる。特に、３次元的な物理的特徴を用いるので、例えば、免許証のコピーが用いられている場合は偽として判定できる。
【０１０６】
また、第３の実施形態によれば、生体情報真偽判定部４４が、照合元画像データに含まれる照合元対象物に含まれる生体的特徴が本人の生体的特徴に一致するか否かに基づき、照合元対象物の真偽を判定するので、写真部分の入れ替え等、照合元対象物の真偽を確実に判定でき、更に実際の生体情報ではなく代わりの写真等を用いた照合元生体情報のすり替えを防止できる。
【０１０７】
＜用途＞
各実施形態では、銀行口座を開設する場合を例に説明したが、本人確認書類を用いて本人確認処理を行う様々なシーンに適用することが可能である。
【０１０８】
＜その他＞
本実施形態で説明した照合システム１００は、ＣＰＵ、メモリ、ハードディスク等を備えたコンピュータで実現可能である。照合システム１００としてコンピュータを機能させるための照合プログラム、その照合プログラムの記憶媒体を作成することも可能である。
【符号の説明】
【０１０９】
１００…照合システム
１…端末装置
１１…撮影部
１２…表示部
１３…すり替わり検知部
１４…前フレーム記憶部
３…照合装置
３１…文字情報認識部
３２…照合部
３３…照合先デジタル情報記憶部
３４…照合結果記憶部
３５…フォント情報記憶部
３６…照合用画像生成部
３７…画像直接照合部
３８…学習用文字列デジタル情報記憶部
３９…学習用画像生成部
４０…ＯＣＲ学習部
４１…学習済ＯＣＲモデル記憶部
４２…真偽判定部
４３…照合元物理情報記憶部
４４…生体情報真偽判定部
４５…照合元生体情報記憶部
【図１】
2020086922.tif 000003
【図２】
2020086922.tif 000004
【図３】
2020086922.tif 000005
【図４】
2020086922.tif 000006
【図５】
2020086922.tif 000007
【図６】
2020086922.tif 000008
【図７】
2020086922.tif 000009
【図８】
2020086922.tif 000010
【図９】
2020086922.tif 000011
【図１０】
2020086922.tif 000012
【図１１】
2020086922.tif 000013
【図１２】
2020086922.tif 000014
【図１３】
2020086922.tif 000015
【図１４】
2020086922.tif 000016
【図１５】
2020086922.tif 000017