(57)【要約】【課題】精度の高い文字認識処理を低コストで行うことを可能にしつつ、秘密情報が流出するリスクを低減することが可能にする。【解決手段】個人情報分離部１０２は、個人情報を含む文書画像１１１に基づいて、文書画像１１１を、個人情報を含む個人情報画像１１３と、個人情報を含まない一般情報画像１１２とに分離し、一般情報画像をクラウドサーバ２００に送信する。認識結果統合部１０６は、クラウドサーバ２００から一般情報画像に対する文字認識処理の認識結果である一般認識結果１１６を受信し、一般認識結果１１６と個人情報画像１１３に基づく情報とに応じて、文書画像１１１に対する文字認識処理の認識結果である対象認識結果１１８を取得する。【選択図】図１
2020198043.tif 000002
【特許請求の範囲】
【請求項１】
画像に対して文字認識処理を行い、当該文字認識処理の認識結果を送信する文字認識処理装置と接続された端末装置であって、
秘密情報を含む対象画像に基づいて、前記対象画像を、前記秘密情報を含む秘密情報画像と、前記秘密情報を含まない一般情報画像とに分離し、前記一般情報画像を前記文字認識処理装置に送信する分離部と、
前記文字認識処理装置から前記一般情報画像に対する文字認識処理の認識結果である一般認識結果を受信し、前記一般認識結果と前記秘密情報画像に基づく情報とに応じて、前記対象画像に対する文字認識処理の認識結果である対象認識結果を取得する統合部と、を有する端末装置。
【請求項２】
前記秘密情報画像を加工した加工画像を生成して前記文字認識処理装置に送信する加工部と、
前記文字認識処理装置から前記加工画像に対する文字認識処理の認識結果である加工認識結果を受信し、前記加工認識結果に基づいて、前記秘密情報画像に対する文字認識処理の認識結果である秘密認識結果を取得する復元部と、をさらに有し、
前記統合部は、前記秘密認識結果を前記秘密情報画像に基づく情報として、前記対象認識結果を取得する、請求項１に記載の端末装置。
【請求項３】
前記加工部は、前記秘密情報画像に含まれる複数の文字のそれぞれを示す複数の文字画像を前記加工画像として生成する、請求項２に記載の端末装置。
【請求項４】
前記加工部は、前記複数の文字画像をランダムな順序で前記文字認識処理装置に送信する、請求項３に記載の端末装置。
【請求項５】
前記加工部は、前記複数の文字画像のファイル名をランダムな文字列に設定する、請求項３に記載の端末装置。
【請求項６】
前記対象画像は、前記対象画像における前記秘密情報が記載された領域の位置を示す定義情報を含み、
前記分離部は、前記対象画像から前記定義情報を読み取り、当該読み取った定義情報に基づいて、前記対象画像を前記秘密情報画像と前記一般情報画像とに分離する、請求項１に記載の端末装置。
【請求項７】
前記定義情報は、所定の形式に符号化されて前記対象画像に記載されている、請求項６に記載の端末装置。
【請求項８】
前記分離部は、前記対象画像と、情報が記載されている位置が既知の参照画像とを照合して、前記対象画像における前記秘密情報が記載された領域の位置を示す定義情報を取得し、当該取得した定義情報に基づいて、前記対象画像を前記秘密情報画像と前記一般情報画像とに分離する、請求項１に記載の端末装置。
【請求項９】
文字認識処理を行う文字認識処理装置と、前記文字認識処理装置と接続された端末装置とを含む文字認識システムであって、
前記端末装置は、
秘密情報を含む対象画像に基づいて、前記対象画像を、前記秘密情報を含む秘密情報画像と、前記秘密情報を含まない一般情報画像とに分離し、前記一般情報画像を前記文字認識処理装置に送信する分離部と、
前記文字認識処理装置から前記一般情報画像に対する文字認識処理の認識結果である一般認識結果を受信し、前記一般認識結果と前記秘密情報画像に基づく情報とに応じて、前記対象画像に対する文字認識処理の認識結果である対象認識結果を取得する統合部と、を有し、
前記文字認識処理装置は、
前記端末装置から前記一般情報画像を受信し、当該一般情報画像に対して文字認識処理を行い、当該文字認識処理の認識結果を前記端末装置に送信する文字認識部を有する、文字認識システム。
【請求項１０】
画像に対して文字認識処理を行い、当該文字認識処理の認識結果を送信する文字認識処理装置と接続された端末装置が行う文字認識方法であって、
秘密情報を含む対象画像に基づいて、前記対象画像を、前記秘密情報を含む秘密情報画像と、前記秘密情報を含まない一般情報画像とに分離し、
前記一般情報画像を前記文字認識処理装置に送信し、
前記文字認識処理装置から前記一般情報画像に対する文字認識処理の認識結果である一般認識結果を受信し、
前記一般認識結果と前記秘密情報画像に基づく情報とに応じて、前記対象画像に対する文字認識処理の認識結果である対象認識結果を取得する、文字認識方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、端末装置、文字認識システム及び文字認識方法に関する。
【背景技術】
【０００２】
機械学習技術の普及により、人が行っていた作業の自動化が進んでいる。例えば、画像に記載された文書を読み取る作業は、機械学習技術を用いた文字認識処理を活用することで自動化されている。
【０００３】
機械学習を用いた文字認識処理を行うためには、一般的に、ＧＰＵ（Graphics Processing Unit）などを有する計算能力の高い計算機が必要となる。しかしながら、計算能力の高い計算機を導入することは、コストの観点から困難であることが多い。このため、コストの低いエッジ端末を導入して、エッジ端末にて取得された文書画像を計算能力の高いクラウドサーバに送信し、クラウドサーバ上で文字認識処理を行う文字認識システムが検討されている。
【０００４】
例えば、特許文献１には、第１の装置と、第１の装置よりも計算能力の高い第２の装置とを有し、第１の装置において文書画像から文字が記載された領域の画像データを抽出して第２の装置に伝送し、第２の装置において画像データに対して文字認識処理を行う電子文書生成システムが記載されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１６−２１０８８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載の技術には、個人情報などの秘密情報に関するセキュリティについては考慮されていない。このため、文書画像に個人情報などの秘密情報が記載されていると、秘密情報が記載された画像データがそのまま第２の装置に伝送されるため、秘密情報が流出するリスクが高くなるという問題がある。
【０００７】
本開示の目的は、精度の高い文字認識処理を低コストで行うことを可能にしつつ、秘密情報が流出するリスクを低減することが可能な端末装置、文字認識システム及び文字認識方法を提供することにある。
【課題を解決するための手段】
【０００８】
本開示の一態様に従う端末装置は、画像に対して文字認識処理を行い、当該文字認識処理の認識結果を送信する文字認識処理装置と接続された端末装置であって、秘密情報を含む対象画像に基づいて、前記対象画像を、前記秘密情報を含む秘密情報画像と、前記秘密情報を含まない一般情報画像とに分離し、前記一般情報画像を前記文字認識処理装置に送信する分離部と、前記文字認識処理装置から前記一般情報画像に対する文字認識処理の認識結果である一般認識結果を受信し、前記一般認識結果と前記秘密情報画像に基づく情報とに応じて、前記対象画像に対する文字認識処理の認識結果である対象認識結果を取得すると、を有する。
【発明の効果】
【０００９】
本発明によれば、精度の高い文字認識処理を低コストで行うことを可能にしつつ、秘密情報が流出するリスクを低減することが可能になる。
【図面の簡単な説明】
【００１０】
【図１】本開示の実施例に係る文字認識システムを示す図である。
【図２】文書画像の一例を示す図である。
【図３】一般情報画像及び個人情報画像を示す図である。
【図４】加工画像の一例を示す図である。
【図５】エッジ端末のハードウェア構成を示す図である。
【図６】個人情報分離部が実行する個人情報分離処理の一例を説明するためのフローチャートである。
【図７】項目配置定義情報の一例を示す図である。
【図８】項目配置定義情報を文書画像に記載する記載方式の一例を示す図である。
【図９】項目位置情報の一例を示す図である。
【図１０】個人情報加工部が実行する個人情報加工処理の一例を説明するためのフローチャートである。
【図１１】復元用情報の一例を示す図である。
【図１２】個人情報復元部が実行する個人情報復元処理の一例を説明するためのフローチャートである。
【図１３】認識結果統合部が実行する認識結果統合処理の一例を説明するためのフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本開示の実施例について図面を参照して説明する。以下では、同一の機能を有するものには同一の符号を付し、その説明を省略することもある。
【００１２】
図１は、本開示の実施例１に係る文字認識システムを示す図である。図１に示す文字認識システム１は、文字が記載された画像（画像データ）の文字認識を行うための処理を複数の計算機で分担して行うシステムであり、エッジ端末１００とクラウドサーバ２００とを有する。エッジ端末１００及びクラウドサーバ２００は、例えば、計算機である。エッジ端末１００及びクラウドサーバ２００は、通信ネットワーク（図示せず）を介して互いに接続される。通信ネットワークは、ＬＡＮ（Local Area Network）及びインターネットなどを含む。エッジ端末１００及びクラウドサーバ２００の通信ネットワークに対する接続態様は、有線接続でもよいし、無線接続でもよい。通信ネットワークを介したエッジ端末１００及びクラウドサーバ２００間の通信に対して、暗号化などのセキュリティ技術が適用されてもよい。
【００１３】
エッジ端末１００は、文字を含む画像をクラウドサーバ２００に送信し、クラウドサーバ２００から文字認識処理の認識結果を受信する端末装置である。クラウドサーバ２００は、エッジ端末１００から送信されてきた画像に対して文字認識処理を行い、その文字認識処理の認識結果をエッジ端末１００に送信する文字認識処理装置である。
【００１４】
エッジ端末１００は、具体的には、入力部１０１と、個人情報分離部１０２と、個人情報加工部１０３と、個人情報復元部１０５と、認識結果統合部１０６と、出力部１０７とを有する。クラウドサーバ２００は、具体的には、文字認識部１０４を有する。
【００１５】
入力部１０１は、文字認識処理の対象となる対象画像である文書画像１１１を読み込み、その文書画像１１１を出力する。文書画像１１１は、入力装置５０２（図５参照）にて取得された画像でもよいし、副記憶装置５０５（図５参照）又は外部の記憶装置（図示せず）に格納された画像でもよい。文書画像１１１は、複数あってもよい。
【００１６】
文書画像１１１には、第３者に対して秘密にされるべき情報である秘密情報が記載されている。本実施例では、秘密情報は、文書画像１１１が示す文書の作成者などの個人に関する個人情報であるとするが、秘密情報は、個人情報に限らない。また、本実施例では、文書画像１１１には、予め定められた１つ又は複数の項目に対応する情報である項目内容が記載され、その項目内容の少なくとも１つに個人情報が記載されている。
【００１７】
図２は、文書画像１１１の一例を示す図である。図２に示す文書画像１１１は、請求書を示す画像である。文書画像１１１には、「金額」、「氏名」及び「振込先」などの項目が定められており、それらの項目に対応する項目内容１１１ａ〜１１１ｃが記載されている。また、項目「氏名」に対応する項目内容１１１ｂに「〇〇株式会社東京太郎様」のような個人情報が記載されている。なお、図２では、文書画像１１１は請求書を示しているが、文書画像１１１が示す文書は請求書に限らない。
【００１８】
図１の説明に戻る。個人情報分離部１０２は、入力部１０１からの文書画像１１１を、個人情報を含まない一般情報画像１１２と、個人情報を含む個人情報画像１１３とに分離する個人情報分離処理を実行する分離部である。
【００１９】
具体的には、個人情報分離部１０２は、文書画像１１１に基づいて、文書画像１１１における個人情報が記載されている個人情報記載領域を特定し、その個人情報記載領域を示す画像を、秘密情報を含む秘密画像情報である個人情報画像１１３として生成し、文書画像１１１から個人情報記載領域を切り取った画像を、秘密情報を含まない一般情報画像１１２として生成する。個人情報分離部１０２は、個人情報画像１１３を個人情報加工部１０３に出力し、一般情報画像１１２をクラウドサーバ２００に送信する。また、個人情報分離部１０２は、文書画像１１１における個人情報記載領域の位置を示す項目位置情報１２１を生成して認識結果統合部１０６に出力する。なお、個人情報分離部１０２が行う個人情報分離処理のより詳細な説明は、図６を参照して後述する。
【００２０】
図３は、一般情報画像１１２及び個人情報画像１１３の一例を示す図である。図３の例では、一般情報画像１１２は、文書画像１１１から項目「氏名」に対応する項目内容１１１ｂが記載された領域を個人情報記載領域として切り取った画像である。個人情報画像１１３は、項目内容１１１ｂが記載された領域を個人情報記載領域として示す画像である。
【００２１】
図１の説明に戻る。個人情報加工部１０３は、個人情報分離部１０２から出力された個人情報画像１１３を加工した加工画像１１４を生成してクラウドサーバ２００に送信する個人情報加工処理を実行する加工部である。また、個人情報加工部１０３は、個人情報加工処理において、個人情報を復元するための復元用情報１２２を生成して個人情報復元部１０５に出力する。
【００２２】
個人情報画像の加工は、本実施例では、個人情報画像を、その個人情報画像に含まれる複数の文字のそれぞれを示す複数の文字画像に分離することを含む。このとき、個人情報加工部１０３は、複数の文字画像をランダムな順序に並べて管理してもよい。例えば、個人情報加工部１０３は、クラウドサーバ２００に対して、複数の文字画像をランダムな順序で送信してもよい。また、個人情報加工部１０３は、複数の文字画像のファイル名をランダムな文字列に設定してもよい。
【００２３】
図４は、加工画像１１４の一例を示す図である。図４では、加工画像１１４として、図３に示した個人情報画像１１３に含まれる各文字を示す複数の文字画像１１４ａが示され、それらの文字画像１１４ａがランダムな順序で管理されている。
【００２４】
図１の説明に戻る。クラウドサーバ２００の文字認識部１０４は、エッジ端末１００から一般情報画像１１２及び加工画像１１４を受信し、その一般情報画像１１２及び加工画像１１４に対して別々に文字認識処理を実行する。そして、文字認識部１０４は、一般情報画像１１２に対する文字認識処理の認識結果を一般認識結果１１６としてエッジ端末１００に送信し、加工画像１１４に対する文字認識処理の認識結果を加工認識結果１１５としてエッジ端末１００に送信する。
【００２５】
文字認識処理は、実際に文字を認識する本処理と、本処理の前に行う前処理と、本処理の後に行う後処理とを含む。前処理は、例えば、文字を認識する画像（一般情報画像１１２及び加工画像１１４）を２値化する処理及び当該画像内の枠線などの線を除去する処理などである。後処理は、例えば、前処理で除去した線を本処理の処理結果内に復元する処理などである。
【００２６】
文字認識処理の具体的な方式については、特に限定されないが、例えば、「Ｃｈｒｉｓ Ｔｅｎｓｍｅｙｅｒ ａｎｄ Ｔｏｎｙ Ｍａｒｔｉｎｅｚ， “Ｄｏｃｕｍｅｎｔ Ｉｍａｇｅ Ｂｉｎａｒｉｚａｔｉｏｎ ｗｉｔｈ Ｆｕｌｌｙ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋｓ”， Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ＩＣＤＡＲ ２０１７，ｐｐ．９９―１０４， ２０１７．」などに記載された機械学習を用いた文字認識処理などを用いることができる。また、文字認識処理は、機械学習を用いたものでなくてもよい。
【００２７】
エッジ端末１００の個人情報復元部１０５は、文字認識部１０４からの加工認識結果１１５と、個人情報加工部１０３からの復元用情報１２２とに基づいて、個人情報画像１１３に対する文字認識処理の認識結果である秘密認識結果を取得して復元個人情報１１７として出力する個人情報復元処理を実行する復元部である。個人情報復元部１０５が行う個人情報復元処理の詳細な説明は、図１２を参照して後述する。
【００２８】
認識結果統合部１０６は、個人情報分離部１０２からの項目位置情報１２１と、文字認識部１０４からの一般認識結果１１６と、個人情報復元部１０５からの復元個人情報１１７とに基づいて、元の文書画像１１１に対する文字認識処理の認識結果である対象認識結果を生成して文書認識結果１１８として出力する統合処理を実行する統合部である。認識結果統合部１０６が行う統合処理の詳細な説明は、図１３を参照して後述する。
【００２９】
出力部１０７は、認識結果統合部１０６からの文書認識結果１１８を出力する。
【００３０】
図５は、エッジ端末１００のハードウェア構成を示す図である。図５に示すエッジ端末１００は、ハードウェア構成として、プロセッサ５０１、入力装置５０２、出力装置５０３、主記憶装置５０４、副記憶装置５０５及びネットワークインタフェース５０６を有する。各ハードウェア構成５０１〜５０６は、例えば、内部バスなどを介して互いに接続される。各ハードウェア構成５０１〜５０６は、図５では、１つずつ示されているが、複数あってもよい。エッジ端末１００の一部の機能は、直接又は通信ネットワークを介して接続された他の計算機及び記憶装置などと分担されてもよい。
【００３１】
プロセッサ５０１は、主記憶装置５０４に格納されているプログラムを読み取り、その読み取ったプログラムを実行することで、図１に示した入力部１０１、個人情報分離部１０２、個人情報加工部１０３、個人情報復元部１０５、認識結果統合部１０６及び出力部１０７を実現する。
【００３２】
入力装置５０２は、エッジ端末１００に対してデータを入力するための装置である。入力装置５０２は、例えば、キーボード、マウス及びタッチパネルなどの計算機を操作するための機器と、例えば、スキャナ、デジタルカメラ及びスマートフォンなどの画像データを取得するため機器とを含む。
【００３３】
出力装置５０３は、データを入力するための入力画面及び処理結果などの種々の情報を出力する装置である。出力装置５０３は、例えば、タッチパネル及びディスプレイなどを含む。
【００３４】
主記憶装置５０４は、プロセッサ５０１の動作を規定するプログラム及びプログラムの実行時にプロセッサ５０１が使用する情報などを格納する。また、主記憶装置５０４は、プログラムが一時的に使用するワークエリアを含む。主記憶装置５０４は、例えば、メモリなどを含む。
【００３５】
本実施例では、主記憶装置５０４は、プロセッサ５０１の動作を規定するプログラムとして、個人情報分離プログラム５１１、個人情報加工プログラム５１２、個人情報復元プログラム５１３及び認識結果統合プログラム５１４を格納する。個人情報分離プログラム５１１、個人情報加工プログラム５１２、個人情報復元プログラム５１３及び認識結果統合プログラム５１４は、それぞれ図１に示した個人情報分離部１０２、個人情報加工部１０３、個人情報復元部１０５及び認識結果統合部１０６と対応し、プロセッサ５０１にて実行されることで、対応する構成が実現される。また、主記憶装置５０４は、項目位置情報１２１及び復元用情報１２２を格納する。
【００３６】
副記憶装置５０５は、データを格納する。副記憶装置５０５は、例えば、ＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）及びＳＳＤ（Ｓｏｌｉｄ  Ｓｔａｔｅ  Ｄｒｉｖｅ）などである。なお、主記憶装置５０４に格納されているプログラム及び情報の少なくとも一部が副記憶装置５０５に格納されていてもよい。この場合、プロセッサ５０１は、副記憶装置５０５からプログラム及び情報を読み出して、主記憶装置５０４にロードすることで、そのプログラム及び情報を使用する。
【００３７】
図６は、エッジ端末１００の個人情報分離部１０２が実行する個人情報分離処理の一例を説明するためのフローチャートである。
【００３８】
ステップＳ６０１では、個人情報分離部１０２は、入力部１０１からの文書画像１１１を読み込む。
【００３９】
ステップＳ６０２では、個人情報分離部１０２は、文書画像１１１における個人情報が記載された個人情報記載領域の位置を示す定義情報である項目配置定義情報が文書画像１１１に含まれているか否かを確認する。項目配置定義情報は、具体的には、項目ごとに、その項目の項目内容を記載している項目領域の位置と、その項目内容に個人情報が含まれているか否かを示す個人情報フラグとを示す。項目配置定義情報は、文書画像１１１内に所定の形式に符号化されて記載されてもよい。
【００４０】
図７は、項目配置定義情報の一例を示す図である。図７に示す項目配置定義情報７００は、項目名７０１と、項目記載座標７０２と、個人情報フラグ７０３とを有する。項目名７０１は、項目を識別する項目名を格納するフィールドである。項目記載座標７０２は、項目名にて識別される項目の項目内容を記載する項目領域の位置を示す位置情報を格納するフィールドである。個人情報フラグ７０３は、項目内容に個人情報が含まれるか否かを示す個人情報フラグを格納するフィールドである。
【００４１】
項目領域は、本実施例では、矩形状であり、項目領域の位置情報は、項目領域の左上端及び右下端のそれぞれの座標で表される。なお、項目領域の位置情報は、この例に限らず、例えば、所定の座標（左上端の座標など）と項目領域の大きさ（縦横の長さ又は対角線の長さなど）とで表されてもよい。また、項目領域は、矩形状に限らず、円形などの他の形状でもよい。個人情報フラグは、項目内容に個人情報が含まれる場合、「丸印（〇）」を示し、項目内容に個人情報が含まれない場合、「バツ印（×）」を示す。
【００４２】
図７の例では、「丸印」を示す個人情報フラグに対応する項目「氏名」の項目内容を記載する項目領域が個人情報記載領域となる。また、個人情報フラグの値を適宜設定することで、個人情報とする情報を選択することができる。
【００４３】
図８は、項目配置定義情報を文書画像１１１に記載する記載形式の一例を示す図である。図８の例では、項目配置定義情報は、バーコード８０１に符号化されて文書画像１１１に記載されている。この例の場合、個人情報分離部１０２は、文書画像１１１にバーコード８０１が記載されているか否かを確認し、バーコード８０１が記載されている場合、バーコード８０１を読み取り、その読み取ったバーコード８０１が項目配置定義情報を示すか否かを確認する。なお、項目配置定義情報の記載形式は、この例に限らない。項目配置定義情報は、例えば、２次元コードのようなバーコード８０１以外の形式に符号化されていてもよいし、文字情報として符号化されずに記載されていてもよい。
【００４４】
図６の説明に戻る。個人情報分離部１０２は、項目配置定義情報が文書画像１１１に含まれている場合、ステップＳ６０３の処理を実行し、項目配置定義情報が文書画像１１１に含まれていない場合、ステップＳ６０４の処理を実行する。
【００４５】
ステップＳ６０３では、個人情報分離部１０２は、文書画像１１１から項目配置定義情報を読み込み、ステップＳ６０の処理に進む。
【００４６】
一方、ステップＳ６０４では、個人情報分離部１０２は、文書画像１１１と参照画像とを照合して、項目配置定義情報を取得する。参照画像は、記載されている情報である項目内容の位置が既知の画像であり、例えば、参照画像に関する項目配置定義情報が主記憶装置５０４又は副記憶装置５０５などに予め記憶されている。参照画像は、文書画像１１１が示す文書（請求書など）のひな形を示す画像でもよい。
【００４７】
文書画像１１１と参照画像とを照合して項目配置定義情報を取得する処理の具体的な方式については、特に限定されないが、例えば、「Ｈｉｒｏｙｕｋｉ  Ｎａｒｕｓｅ ｅｔ ａｌ．， “Ａ  Ｓｔｒｕｃｔｕｒｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  Ｍｅｔｈｏｄ  ｏｆ  Ｔａｂｌｅ−Ｆｏｒｍ  Ｄｏｃｕｍｅｎｔｓ  ｏｎ  ｔｈｅ  Ｂａｓｉｓ  ｏｆ  ｔｈｅ  Ｉｎｆｏｒｍａｔｉｏｎ  ｏｆ  Ｌｉｎｅ  Ｓｅｇｍｅｎｔｓ”， Ｔｈｅ  ｔｒａｎｓａｃｔｉｏｎｓ  ｏｆ  ｔｈｅ  Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｏｎｉｃｓ，  Ｉｎｆｏｒｍａｔｉｏｎ  ａｎｄ  Ｃｏｍｍｕｎｉｃａｔｉｏｎ  Ｅｎｇｉｎｅｅｒｓ，ｐｐ．１３７２−１３８５， １９９２．」などに記載された技術を適用することができる。また、個人情報分離部１０２は、文書画像１１１に対して文字認識処理を行い、その認識結果から項目内容を取得し、その項目内容の座標から項目配置情報を取得してもよい。この場合、個人情報分離部１０２が行う文字認識処理は、項目内容の座標が把握できる程度の精度があればよいため、クラウドサーバ２００の文字認識部１０４が行う文字認識処理と比べて、精度が低いものでもよい。
【００４８】
ステップＳ６０３又はＳ６０４が終了すると、ステップＳ６０５の処理に進む。ステップＳ６０５では、個人情報分離部１０２は、項目配置定義情報に基づいて、文書画像１１１における個人情報を含む項目領域である個人情報記載領域と、その位置を特定する。
【００４９】
ステップＳ６０６では、個人情報分離部１０２は、特定した個人情報記載領域の位置に基づいて、文書画像１１１を、一般情報画像１１２と個人情報画像１１３とに分離する。具体的には、個人情報分離部１０２は、文書画像１１１から、特定した位置にある個人情報記載領域を切り取り、その切り取った個人情報記載領域を示す画像を個人情報画像１１３とし、文書画像１１１から個人情報記載領域を切り取った残りの画像を一般情報画像１１２として生成する。
【００５０】
ステップＳ６０７では、個人情報分離部１０２は、項目配置定義情報に基づいて、項目位置情報１２１を生成する。項目位置情報１２１の具体例は、図９を用いて後述する。
【００５１】
ステップＳ６０８では、個人情報分離部１０２は、一般情報画像１１２をクラウドサーバ２００に送信し、個人情報画像１１３を個人情報加工部１０３に出力し、項目位置情報１２１を認識結果統合部１０６に出力して、処理を終了する。
【００５２】
図９は、ステップＳ６０７で個人情報分離部１０２が生成する項目位置情報１２１の一例を示す図である。図９に示す項目位置情報１２１は、画像番号９０１と、項目番号９０２と、項目名９０３と、文字列座標９０４と、分離後画像名９０５とを含む。
【００５３】
画像番号９０１は、文書画像１１１を識別する識別情報である画像番号を格納するフィールドである。項目番号９０２は、項目を識別する識別情報である項目番号を格納するフィールドである。項目名９０３は、項目名を格納するフィールドである。
【００５４】
文字列座標９０４は、文書画像１１１における項目番号で識別される項目の項目内容が記載された項目領域の位置を示す位置情報を格納するフィールドである。分離後画像名９０５は、分離後の画像（一般情報画像１１２及び個人情報画像１１３）のうち、項目番号で識別される項目の項目内容を記載している画像を識別する分離後画像名を格納するフィールドである。
【００５５】
分離後画像名は、図の例では、分離後の画像のファイル名であり、具体的には、「元画像番号_分離後画像番号.png」を示す。分離後画像名における分離後画像番号は、一般情報画像１１２の場合、「１」を示し、個人情報画像１１３の場合、「２」を示す。このため、分離後画像名は、例えば、元画像番号が「１」の文書画像１１１から分離した一般情報画像１１２の場合、「1_1.png」、元画像番号が「２」の文書画像１１１から分離した個人情報画像１１３の場合、「2_2.png」などとなる。なお、一般情報画像１１２及び個人情報画像１１３をＰＮＧ形式の画像としているが、別の形式の画像でもよい。また、一般情報画像１１２及び個人情報画像１１３は互いに異なる形式の画像でもよい。
【００５６】
なお、図９における項目位置情報１２１のフィールドの数や種類は、単なる一例であり、必要に応じて適宜変更可能である。例えば、項目番号及び項目名の一方のみで項目内容を識別できるため、項目番号９０２及び項目名９０３の一方はなくてもよい。
【００５７】
図１０は、エッジ端末１００の個人情報加工部１０３が実行する個人情報加工処理の一例を説明するためのフローチャートである。
【００５８】
ステップＳ１００１では、個人情報加工部１０３は、個人情報分離部１０２から出力された個人情報画像１１３を読み込む。
【００５９】
ステップＳ１００２では、個人情報加工部１０３は、個人情報画像１１３から、個人情報画像１１３に含まれる複数のそれぞれを示す複数の文字画像を加工画像１１４として生成する。
【００６０】
ステップＳ１００３では、個人情報加工部１０３は、複数の文字画像をランダムな順序に並べる。
【００６１】
ステップＳ１００４では、個人情報加工部１０３は、加工前の個人情報画像１１３と加工後の複数の文字画像との関係を示す情報を復元用情報１２２として生成する。
【００６２】
ステップＳ１００５では、個人情報加工部１０３は、複数の文字画像を、ステップＳ１００３で並べた順番にクラウドサーバ２００に送信し、復元用情報を個人情報復元部１０５に出力して、処理を終了する。なお、個人情報加工部１０３は、複数の文字画像を連続的に送信してもよいし、間欠的に送信してもよい。
【００６３】
図１１は、ステップＳ１００４で個人情報加工部１０３が生成する復元用情報１２２の一例を示す図である。図１１に示す復元用情報１２２は、分離後画像名１１０１と、復元用文字列番号１１０２と、加工後画像名１１０３とを含む。
【００６４】
分離後画像名１１０１は、個人情報画像１１３を識別する分離後画像名を格納するフィールドである。復元用文字順番号１１０２は、複数の文字画像のそれぞれが示す文字の、個人情報画像１１３における並び順を示す復元用文字順番号を格納するフィールドである。加工後画像名１１０３は、文字画像を識別する加工後画像名を格納するフィールドである。加工後画像名は、図の例では、「元画像番号_分離後画像番号_復元用文字順番号.png」を示す。このため、分離後画像名は、例えば、元画像番号が「１」の文書画像１１１から分離した個人情報画像１１３に含まれる最初の文字を示す場合、「1_2_1.png」、元画像番号が「２」の文書画像１１１から分離した個人情報画像１１３に含まれる個人情報の３番目の文字を示す場合、「2_2_3.png」などとなる。
【００６５】
なお、加工後画像名は個人情報加工部１０３にて設定される。加工後画像名は、上記の例に限らない。例えば、図１１の例では、加工後画像名には、元画像番号、分離後画像番号及び復元用文字順番号が含まれているが、これらの番号は含まれなくてもよい。加工後画像名は、例えば、これらの番号の少なくとも一つ（例えば、復元用文字順番号）がランダムな文字列（ランダムな番号を含む）に置き換わったものでもよい。また、復元用情報１２２のフィールドの数及び種類は、必要に応じて適宜変更可能である。
【００６６】
図１２は、エッジ端末１００の個人情報復元部１０５が実行する個人情報復元処理の一例を説明するためのフローチャートである。
【００６７】
ステップＳ１２０１では、個人情報復元部１０５は、クラウドサーバ２００から加工認識結果１１５として、複数の文字画像のそれぞれの認識結果である複数の文字認識結果を受信する。
【００６８】
ステップＳ１２０２では、個人情報復元部１０５は、個人情報加工部１０３からの復元用情報１２２を読み込む。
【００６９】
ステップＳ１２０３では、個人情報復元部１０５は、複数の文字認識結果が示す複数の文字を、復元用情報１２２に基づいて並べて統合することで個人情報を復元して復元個人情報１１７を取得する。
【００７０】
ステップＳ１２０４では、個人情報復元部１０５は、復元個人情報１１７を出力する。
【００７１】
図１３は、エッジ端末１００の認識結果統合部１０６が実行する認識結果統合処理の一例を説明するためのフローチャートである。
【００７２】
ステップＳ１３０１では、認識結果統合部１０６は、個人情報復元部１０５からの復元個人情報１１７を読み込む。
【００７３】
ステップＳ１３０２では、認識結果統合部１０６は、クラウドサーバ２００からの一般認識結果１１６を受信する。
【００７４】
ステップＳ１３０３では、認識結果統合部１０６は、個人情報分離部１０２からの項目位置情報１２１を読み込む。
【００７５】
ステップＳ１３０４では、認識結果統合部１０６は、項目位置情報１２１に基づいて、一般認識結果１１６と復元個人情報１１７とを統合して、文書画像１１１に対する文字認識処理の認識結果として文書認識結果１１８を取得する。例えば、認識結果統合部１０６は、項目位置情報１２１に基づいて、一般認識結果１１６における、分離後画像名が個人情報画像１１３を示す項目領域の位置に対応する位置に、復元個人情報１１７を組み込むことで、一般認識結果１１６と復元個人情報１１７とを統合する。
【００７６】
ステップＳ１３０５では、認識結果統合部１０６は、対象認識結果１１８を出力する。
【００７７】
上記の構成および動作では、個人情報画像１１３を加工してクラウドサーバ２００に送信していたが、個人情報画像１１３はクラウドサーバ２００に送信されなくてもよい。この場合、認識結果統合部１０６は、クラウドサーバ２００からの一般認識結果１１６と、個人情報画像１１３に基づく情報とに応じて、文書認識結果１１８を取得する。例えば、認識結果統合部１０６は、個人情報画像１１３に対して文字認識処理を行い、その認識結果を復元個人情報１１７の代わりに一般認識結果１１６と統合することで、文書認識結果１１８を取得することができる。なお、エッジ端末１００における文字認識処理は、クラウドサーバ２００が行う文字認識処理よりも簡易なものが好ましい。この場合でも、個人情報画像１１３に記載されている情報の情報量（文字数など）は文書画像１１１に記載されている情報量よりも小さいため、必要な精度で文字認識処理を行うことができる。また、認識結果統合部１０６は、個人情報画像１１３を出力装置５０３にて表示し、その後、エッジ端末１００のユーザから個人情報画像１１３に記載されている情報を文字情報として入力装置５０２にて受け付けてもよい。この場合、認識統合部１０６は、その文字情報を、一般認識結果１１６と統合することで、文書認識結果１１８を取得することができる。
【００７８】
上記のように個人情報画像１１３をクラウドサーバ２００に送信しない場合、個人情報画像の加工及び個人情報の復元を行わなくてもよいため、個人情報加工部１０３及び個人情報復元部１０５はなくてもよい。この場合、主記憶装置５０４は、プログラムとして必要なものだけを記憶してもよい。つまり、個人情報加工プログラム５１２及び個人情報復元プログラム５１３などはなくてもよい。
【００７９】
以上説明した実施例は、本開示を詳細に説明したものであり、本開示を限定するものではなく、例えば、実施例において説明されている各要素及びその組み合わせの全てが本開示の解決手段として必須であるとは限らず、適宜削除したり、別の要素と置換したりすることができる。
【００８０】
また、上記の構成及び機能の少なくとも一部は、集積回路などのハードウェアにて実現されてもよい。また、上記の構成及び機能の少なくとも一部は、プログラムにて実現されてもよい。この場合、プログラムが記憶媒体に記録され、コンピュータが備えるプロセッサが記憶媒体に記録されたプログラムを読み取り、その読み取ったプログラムを実行することで、各構成及び機能が実現される。したがって、プログラム及びそれを記録した記録媒体は、本開示の一実施例である。記録媒体としては、例えば、フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ハードディスク、ＳＳＤ、光ディスク、光磁気ディスク、ＣＤ−Ｒ、磁気テープ、不揮発性のメモリカード及びＲＯＭなどが用いられる。
【００８１】
また、上記のプログラムは、例えば、アセンブラ、Ｃ／Ｃ＋＋、ｐｅｒｌ、Ｓｈｅｌｌ、ＰＨＰ又はＪａｖａ（登録商標）などのプログラミング言語又はスクリプト言語で実装できる。
【００８２】
さらに、上記のプログラムは、通信ネットワークを介して配信されてもよい。この場合、配信されたプログラムは、コンピュータのハードディスク及びメモリなどの記憶手段又はＣＤ−ＲＷ及びＣＤ−Ｒなどの記録記憶媒体に格納され、コンピュータが備えるプロセッサが記憶手段や記録媒体に格納されたプログラムを読み出して実行してもよい。
【００８３】
上記の実施例において、制御線及び情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線及び情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。
【００８４】
以上説明したように、本開示は以下の事項を含む。
本開示の一態様に係る端末装置（１００）は、画像に対して文字認識処理を行い、当該文字認識処理の認識結果を送信する文字認識処理装置（２００）と接続された端末装置であって、分離部（１０２）と、認識結果統合部（１０６）と、を有する。分離部は、秘密情報を含む対象画像（１１１）に基づいて、対象画像を、秘密情報を含む秘密情報画像（１１３）と、秘密情報を含まない一般情報画像（１１２）とに分離し、一般情報画像を文字認識処理装置に送信する。認識結果統合部は、文字認識処理装置から一般情報画像に対する文字認識処理の認識結果である一般認識結果（１１６）を受信し、一般認識結果と秘密情報画像に基づく情報とに応じて、対象画像に対する文字認識処理の認識結果である対象認識結果（１１８）を取得する。
【００８５】
上記構成によれば、対象画像から分離された、秘密情報を含まない一般情報画像が文字認識処理装置に送信され、その一般情報画像に対する文字認識処理の認識結果である一般認識結果に応じて、対象画像に対する文字認識処理の認識結果である対象認識結果が取得される。このため、文字認識処理装置による精度の高い文字認識処理を利用しつつ、秘密情報が流出するリスクを低減することが可能になる。したがって、精度の高い文字認識処理を低コストで行うことを可能にしつつ、秘密情報が流出するリスクを低減することが可能になる。
【００８６】
また、端末装置は、加工部（１０３）と、秘密情報復元部（１０５）とを有する。加工部は、秘密情報画像を加工した加工画像（１１４）を生成して文字認識処理装置に送信する。秘密情報復元部は、文字認識処理装置から加工画像に対する文字認識処理の認識結果である加工認識結果（１１５）を受信し、加工認識結果に基づいて、秘密情報画像に対する文字認識処理の認識結果である秘密認識結果（１１７）を取得する。認識結果統合部は、秘密認識結果を秘密情報画像に基づく情報として、対象認識結果を取得する。
【００８７】
上記構成によれば、秘密情報を含む秘密情報画像を加工した加工画像が文字認識処理装置に送信される。このため、秘密情報が流出するリスクを低減させながら、秘密情報に対しても文字認識処理装置による精度の高い文字認識処理を適用することが可能となる。
【００８８】
また、加工部は、秘密情報画像に含まれる複数の文字のそれぞれを示す複数の文字画像（１１４ａ）を加工画像として生成する。このため、秘密情報が複数の画像に分割されるため、秘密情報全体を含む１つの画像が文字認識処理装置に送信されることがないため、秘密情報が流出するリスクをより低減することが可能になる。
【００８９】
また、加工部は、複数の文字画像をランダムな順序で文字認識処理装置に送信する。このため、秘密情報が流出するリスクをより低減することが可能になる。
【００９０】
また、加工部は、複数の文字画像のファイル名をランダムな文字列に設定する。このため、秘密情報が流出するリスクをより低減することを可能になる。
【００９１】
また、対象画像は、対象画像における秘密情報が記載された領域の位置を示す定義情報（７００）を含む。分離部は、対象画像から定義情報を読み取り、当該読み取った定義情報に基づいて、対象画像を秘密情報画像と一般情報画像とに分離する。このため、秘密情報画像と一般情報画像とへの分離を精度よく行うことが可能になる。
【００９２】
また、定義情報は、所定の形式に符号化されて対象画像に記載されている。このため、対象画像の見栄えを良くしつつ、定義情報を容易に読み取ることが可能になる。
【００９３】
また、分離部は、対象画像と、情報が記載されている位置が既知の参照画像とを照合して、対象画像における秘密情報が記載された領域の位置を示す定義情報を取得し、当該取得した定義情報に基づいて、対象画像を秘密情報画像と一般情報画像とに分離する。定義情報を含まない対象画像においても、秘密情報画像と一般情報画像とへの分離を行うことが可能になるため、汎用性を向上させることが可能になる。
【００９４】
上述した本開示の実施形態は、本開示の説明のための例示であり、本開示の範囲をそれらの実施形態にのみ限定する趣旨ではない。当業者は、本発明の範囲を逸脱することなしに、他の様々な態様で本発明を実施することができる。
【符号の説明】
【００９５】
１００：エッジ端末、１０１：入力部、１０２：個人情報分離部、１０３：個人情報加工部、１０４：文字認識部、１０５：個人情報復元部、１０６：出力部、５０１：プロセッサ、５０２：入力装置、５０３：出力装置、５０４：主記憶装置、５０５：副記憶装置、５０６：ネットワークインタフェース
【図１】
2020198043.tif 000003
【図２】
2020198043.tif 000004
【図３】
2020198043.tif 000005
【図４】
2020198043.tif 000006
【図５】
2020198043.tif 000007
【図６】
2020198043.tif 000008
【図７】
2020198043.tif 000009
【図８】
2020198043.tif 000010
【図９】
2020198043.tif 000011
【図１０】
2020198043.tif 000012
【図１１】
2020198043.tif 000013
【図１２】
2020198043.tif 000014
【図１３】
2020198043.tif 000015