(57)【要約】【課題】本発明は、文字画像を処理する装置、方法及び記憶媒体を提供する。【解決手段】係る装置は、第一文字認識モデルを用いて前記文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得するユニット；第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得するユニット；前記第一文字認識結果と前記第二文字認識結果とのアライメントを行うユニット；及び、前記第二文字認識結果に基づいて前記第一粗認識処理過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得するユニットを含む。【選択図】図１
2020198090.tif 000002
【特許請求の範囲】
【請求項１】
文字画像を処理する装置であって、
第一文字認識モデルを用いて前記文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得する第一認識ユニット；
第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得する第二認識ユニット；
前記第一文字認識結果と前記第二文字認識結果とのアライメントを行うアライメントユニット；及び
前記第二文字認識結果に基づいて前記第一粗認識処理の過程の中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得する調整ユニットを含み、
前記第一認識ユニットは、さらに、経路推定及び捜索アルゴリズムにより、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得する、装置。
【請求項２】
請求項1に記載の装置であって、
前記文字画像に対して前処理を行う前処理ユニットをさらに含み、
前記前処理は、画像ノイズ除去処理、正規化処理、及び２値化処理を含む、装置。
【請求項３】
請求項1に記載の装置であって、
前記調整ユニットは、文字置換操作、插入文字操作、及び文字削除操作により、前記第一粗認識処理過程中の各粗認識結果の係数に対して調整を行う、装置。
【請求項４】
請求項1に記載の装置であって、
前記第一粗認識処理は、第一分割処理、及び、畳み込みニューラルネットワークに基づく認識処理を含む、装置。
【請求項５】
請求項4に記載の装置であって、
前記第一分割処理は、オーバーセグメンテーション（over-segment）処理である、装置。
【請求項６】
請求項5に記載の装置であって、
前記オーバーセグメンテーション処理は、前記文字画像中の文字列を複数の粗略ブロック（rough  block）に分割することを含む、装置。
【請求項７】
請求項5に記載の装置であって、
前記第二文字認識モデルは、CRNN（Convolutional  Recurrent  Neural  Network）モデルである、装置。
【請求項８】
請求項1に記載の装置であって、
前記アライメントユニットは、レーベンシュタイン距離（Levenshtein  distance）により、前記第一文字認識結果と前記第二文字認識結果とのアライメントを行う、装置。
【請求項９】
文字画像を処理する方法であって、
第一文字認識モデルを用いて前記文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得し；
第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得し；
前記第一文字認識結果と前記第二文字認識結果とのアライメントを行い；
前記第二文字認識結果に基づいて前記第一粗認識処理の過程の中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得し；及び
経路推定及び捜索アルゴリズムにより、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得することを含む、方法。
【請求項１０】
コンピュータに、請求項９に記載の方法を実行させるためのプログラムを記憶したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文字画像処理の技術分野に関し、特に、文字画像を処理する装置及び方法に関する。
【背景技術】
【０００２】
手書き文字の認識が非常に重要である。ライティングスタイルの多様性、制約無し言語ドメイン、大文字集合、文字形状の変化、可変文字のサイズなどによる文字分割の問題が原因で、認識は、挑戦性のあるタスクである。入力画像について言えば、ヒトが認識するときに特に問題がないが、マシンが認識する場合に正確な結果が得られないことがある。よって、この場合、入力画像を修正する必要がある。このようにして、より正確な認識結果の自動取得を助けることができる。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明の目的は、文字認識の精度を有効に向上させることができる文字画像処理方法を提供することにある。本発明による文字画像処理方法は、２種類の異なる文字認識方法を用いており、そのうち、１種類の文字認識の結果に基づいて他の種類の文字認識の結果に対して訓練過程中のパラメータの調整を行うことで、より正確な文字認識結果を取得することができる。
【課題を解決するための手段】
【０００４】
本発明の一側面によれば、文字画像を処理する装置が提供され、この装置は、
第一認識ユニットであって、第一文字認識モデルを用いて前記文字画像に対して第一粗認識（Rough  recognition）処理を行い、第一文字認識結果を取得するもの；
第二認識ユニットであって、第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得するもの；
アライメントユニットであって、前記第一文字認識結果と前記第二文字認識結果とのアライメントを行うもの；及び
調整ユニットであって、前記第二文字認識結果に基づいて前記第一粗認識処理過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得するものを含み、
前記第一認識ユニットは、さらに、経路推定及び捜索アルゴリズムの方式で、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得する。
【０００５】
本発明の他の側面によれば、文字画像を処理する方法が提供され、この方法は、
第一文字認識モデルを用いて前記文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得し；
第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得し；
前記第一文字認識結果と前記第二文字認識結果とのアライメントを行い；
前記第二文字認識結果に基づいて前記第一粗認識処理過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得し；及び
経路推定及び捜索アルゴリズムの方式で、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得することを含む。
【０００６】
本発明の他の側面によれば、プログラムプロダクトが提供され、該プログラムプロダクトは、マシン可読命令コードを含み、そのうち、前記命令コードは、コンピュータにより読み取られて実行されるときに、前記コンピュータに、本発明の文字画像を処理する方法を実行させることができる。
【０００７】
本発明の他の側面によれば、マシン可読記憶媒体が提供され、その中には、本発明のプログラムプロダクトが記憶されている。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施例における文字画像処理装置100のブロック図である。
【図２】本発明の他の実施例における文字画像処理装置200のブロック図である。
【図３】本発明の一実施例における手書きアドレス画像の分割処理後の複数の粗略ブロックである。
【図４】本発明の一実施例における畳み込みニューラルネットワークCNNの粗認識後の複数の候補アドレス文字列である。
【図５】本発明の一実施例における手書きアドレス画像の最終認識結果である。
【図６】本発明の一実施例における文字画像処理方法のフローチャートである。
【図７】本発明の実施例における文字画像処理装置及び方法を実現し得る汎用コンピュータの例示的構造のブロック図である。
【発明を実施するための形態】
【０００９】
以下、添付した図面を参照しながら、本発明を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本発明を限定するものでない。
【００１０】
本発明の目的は、文字認識の精度を有効に向上させることができる文字画像処理装置を提供することにある。本発明による文字画像処理装置は、２種類の異なる文字認識方法を用いており、そのうち、１種類の文字認識の結果に基づいて他の種類の文字認識の結果に対して訓練過程中のパラメータの調整を行うことで、より正確な文字認識結果を取得することができる。
【００１１】
本発明の一実施例によれば、文字画像を処理する装置が提供され、それは、以下のものを含む。
【００１２】
第一認識ユニット：第一文字認識モデルを用いて前記文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得し；
第二認識ユニット：第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得し；
アライメントユニット：前記第一文字認識結果と前記第二文字認識結果とのアライメントを行い；及び
調整ユニット：前記第二文字認識結果に基づいて前記第一粗認識処理過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得する。
【００１３】
前記第一認識ユニットは、さらに、経路推定及び捜索アルゴリズムの方式で、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得する。
【００１４】
図1に示すように、本発明による文字画像処理装置100は、第一認識ユニット101、第二認識ユニット102、アライメントユニット103及び調整ユニット104を含んでも良い。
【００１５】
第一認識ユニット101は、第一文字認識モデルを用いて文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得することができる。前記第一文字認識モデルは、画像ファイル中の文字に対して分析和認識を行うモデルであっても良い。例えば、本発明の一実施例によれば、第一認識ユニット101は、光学文字認識（OCR）エンジンを用いて、文字画像に対して粗認識を行い、１つの粗認識結果を得ることができる。ここで、当業者が理解すべきは、前記OCRエンジンは例示に過ぎず、本発明はこれに限定されない。
【００１６】
その後、第二認識ユニット102は、第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得することができる。前記第二文字認識モデルは、ニューラルネットワークに基づく画像文字認識のモデル、例えば、畳み込み再帰型ニューラルネットワーク（CRNN（Convolutional  Recurrent  Neural  Network））モデルであっても良い。CRNNモデルは、１種の修改した畳み込みニューラルネットワーク（CNN）モデルと見なしても良く、そのうち、CNNの最後の１つの畳み込み層がRNNにより置換されても良い。CRNNモデルでは、CNNは、特徴抽出器とされても良く、RNNは、時間（状態）サマライザーとされても良い。RNNを用いて特徴をアグリゲーションすることで、ネットワークがグローバル構造を考慮し、且つ剰余の畳み込み層がローカル特徴を抽出するようにさせることができる。本発明の一実施例によれば、例えば、文字シーケンスを含む入力画像をCRNNモデルに入力する。その後、End-to-End訓練により認識結果を取得することができる。ここで、当業者が理解すべきは、前記CRNNモデルは例示に過ぎず、本発明はこれに限定されない。
【００１７】
続いて、アライメントユニット103は、前記第一認識ユニット101が認識した粗認識結果と、前記第二認識ユニット102が認識した認識結果とのアライメントを行うことができる。ここで、従来技術中の任意のアライメント方法、例えば、レーベンシュタイン距離に基づくアライメント方法などを採用しても良い。
【００１８】
その後、調整ユニット104は、前記第二認識ユニット102が認識した認識結果に基づいて前記第一粗認識過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得することができる。ここで、本発明の実施例によれば、第一粗認識過程では、複数の候補粗認識結果シーケンスを生成する可能性があり、本発明による調整ユニット104は、前記第二認識ユニット102が認識した認識結果に基づいて、それぞれ、前記第一粗認識過程において生成された複数の候補粗認識結果シーケンス中の文字に対して調整を行うことで、複数の調整後の文字認識結果シーケンスを得ることができる。
【００１９】
続いて、本発明の実施例による第一認識ユニット101は、経路推定及び捜索アルゴリズムの方式で、前記複数の調整後の文字認識結果シーケンスに対して処理を行い、最終の文字認識結果を取得することができる。
【００２０】
本発明による文字画像処理装置を用いて、文字認識の精度を有効に向上させることができる。本発明による文字画像処理装置は、２種類の異なる文字認識方法を用いており、そのうち、１種類の文字認識の結果に基づいて他の種類の文字認識の結果に対して訓練過程中のパラメータの調整を行うことで、より正確な文字認識結果を取得することができる。
【００２１】
本発明の一実施例によれば、文字画像処理装置は、さらに、前処理ユニットを含んでも良く、それは、前記文字画像に対して前処理を行い、前記前処理は、画像ノイズ除去処理、正規化処理、２値化処理などを含む。
【００２２】
図2に示すように、本発明による文字画像処理装置200は、さらに、前処理ユニット105を含んでも良い。前記前処理ユニット105は、前記文字画像に対して前処理を行うことができる。前記前処理は、画像ノイズ除去処理、正規化処理及び２値化処理を含んでも良いが、これに限られない。例えば、本発明の一実施例によれば、前記文字画像が前記前処理ユニット105により前処理された後に、前記文字画像の連結成分（Connected  component）を得ることができる。続いて、前記連結成分及び輪郭を分析することで、本発明の実施例による第一認識ユニット101は、例えば、オーバーセグメンテーションアルゴリズムを用いて前記文字画像に対して文字分割を行うことができる。
【００２３】
本発明の一実施例によれば、前記第一粗認識処理は、第一分割処理及び畳み込みニューラルネットワーク（CNN）に基づく認識処理を含んでも良い。前記第一分割処理は、オーバーセグメンテーション処理であっても良い。本発明の一実施例によれば、前記オーバーセグメンテーション処理は、前記文字画像中の文字列を複数の粗略ブロックに分割することを含んでも良い。その後、分割後の複数の粗略ブロックは、訓練済みのCNNモデルにより、複数の候補文字列として認識することができる。
【００２４】
例えば、図3に示すように、手書きアドレス画像を例とすれば、本発明の実施例における分割処理は、手書きアドレス画像を図3に示す複数の粗略ブロックに分割する処理であっても良い。その後、訓練済みのCNNモデルを用いて分割後の粗略ブロックに対して認識を行っても良く、そのうち、図4に示すように、各ブロックについて、複数の候補アドレス列を提供する。
【００２５】
続いて、本発明の一実施例によれば、経路推定及び捜索アルゴリズム、例えば、ビームサーチ（beam  search）アルゴリズムにより、最終の図5に示す手書きアドレスの第一認識結果を得ることができる。前記経路推定は、文字の分類、幾何学的コンテキスト及び言語的コンテキストの異なる組み合わせに基づいても良い。本発明の一実施例によれば、最大経路評価スコアを有する経路を見つけることで最終認識結果を得ることができる。ここで、当業者が理解すべきは、前記ビームサーチアルゴリズムは例示に過ぎず、本発明はこれに限定されない。
【００２６】
その後、本発明の一実施例によれば、またCRNNモデルを用いて前記手書きアドレス画像に対して第二分割処理を行うことができる。その後、End-to-End訓練により手書きアドレスの第二認識結果を得ることができる。
【００２７】
続いて、本発明の一実施例によれば、アライメントユニット103は、前記第一粗認識処理により取得された手書きアドレスの第一認識結果と、CRNNモデルにより分割された手書きアドレスの第二認識結果とのアライメントを行うことができる。前述のように、従来技術中の任意のアライメント方法を採用しても良い。
【００２８】
続いて、本発明の一実施例によれば、調整ユニット104は、CRNNモデルにより分割された手書きアドレスの第二認識結果に基づいて、文字置換操作、文字插入操作、文字削除操作などにより、前記第一粗認識処理過程中の各候補アドレス列のCNN認識に関する係数に対して調整を行うことができる。例えば、本発明の一実施例によれば、候補アドレス列中の文字に対して文字置換又は插入操作を行うときに、CNN認識に関する係数、例えば、k1を2と調整すること（K1=2）でCNNスコアを増加させ、また、候補アドレス列中の文字に対して削除操作を行うときに、CNN認識に関する係数、例えば、K2を0.5と調整すること（K2=0.5）で、CNNスコアを減少させることができる。ここで、当業者が理解すべきは、前記第一粗認識処理過程中の文字に対しての操作は例示に過ぎず、本発明はこれに限定されない。また、当業者が理解すべきは、CNN認識に関する係数に対しての調整も例示に過ぎず、本発明はこれに限定されない。当業者は、異なる文字操作に基づいて、実際の経験又は実際のニーズに応じて、異なるCNN認識係数を設定しても良い。
【００２９】
続いて、本発明の一実施例によれば、前記第一認識ユニット101は、再び、経路推定及び捜索アルゴリズムの方式で、CNN認識係数により調整された後の文字認識結果に対して処理を行い、最終の文字認識結果を取得することができる。
【００３０】
本発明による文字画像処理装置を用いて、文字認識の精度を有効に向上させることができる。本実施例に係る文字画像処理装置は、オーバーセグメンテーション及びCRNNの２種類の異なる文字認識方法を使用しており、そのうち、CRNN文字認識結果に基づいて、オーバーセグメンテーションの認識結果に対してオーバーセグメンテーション処理後CNN訓練過程中のパラメータの調整を行うことで、より正確な文字認識の結果を得ることができる。
【００３１】
以下、図6を参照しながら本発明の実施例による文字画像処理方法を説明する。図6に示すように、本発明の実施例による文字画像処理方法は、ステップS610でスタートする。
【００３２】
ステップS610では、第一文字認識モデルを用いて文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得する。
【００３３】
続いて、ステップS620では、第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得する。
【００３４】
続いて、ステップS630では、前記第一文字認識結果と前記第二文字認識結果とのアライメントを行う。
【００３５】
続いて、ステップS640では、前記第二文字認識結果に基づいて前記第一粗認識処理過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得する。
【００３６】
最後に、ステップS650では、経路推定及び捜索アルゴリズムの方式で、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得する。
【００３７】
本発明の一実施例における文字画像処理方法は、さらに、前記文字画像に対して前処理を行うステップを含み、前記前処理は、画像ノイズ除去処理、正規化処理、２値化処理などを含む。
【００３８】
本発明の一実施例における文字画像処理方法では、文字置換操作、插入文字操作、文字削除操作などにより、前記第一粗認識処理過程中の各粗認識結果の係数に対して調整を行う。
【００３９】
本発明の一実施例における文字画像処理方法では、前記第一粗認識処理は、第一分割処理及び畳み込みニューラルネットワークに基づく認識処理を含む。
【００４０】
本発明の一実施例における文字画像処理方法では、前記第一分割処理は、オーバーセグメンテーション処理である。
【００４１】
本発明の一実施例における文字画像処理方法では、前記オーバーセグメンテーション処理は、前記文字画像中の文字列を複数の粗略ブロックに分割するステップを含む。
【００４２】
本発明の一実施例における文字画像処理方法では、前記第二文字認識モデルは、畳み込み再帰型ニューラルネットワークモデルである。
【００４３】
本発明の一実施例における文字画像処理方法では、レーベンシュタイン距離の方式で、前記第一文字認識結果と前記第二文字認識結果とのアライメントを行う。
【００４４】
本発明の一実施例における文字画像処理方法では、ビームサーチアルゴリズムにより、前記調整後の文字認識結果に対して処理を行う。
【００４５】
本発明の実施例による文字画像処理方法における上述のステップの各種の具体的な実施方式については、既に説明されているため、ここでは、重複説明を省略する。
【００４６】
もちろん、本発明による文字画像処理方法における各操作プロセスは、各種のマシン可読記憶媒体に記憶したコンピュータ実行可能なプログラムの方式で実現することもできる。
【００４７】
また、本発明の目的は、次のような方式で実現されても良く、即ち、上述のような実行可能なプログラムコードを記憶した記憶媒体を直接又は間接的にシステム又は機器に提供し、且つ該システム又は機器中のコンピュータ又は中央処理ユニット（CPU）により上述のようなプログラムコードを読み取って実行する。このときに、該システム又は機器がプログラムを実行し得る機能を有すれば、本発明の実施方式は、プログラムに限定されず、且つ該プログラムは、任意の形式、例えば、オブジェクトプログラム、インタープリター実行のプログラム、オペレーティングシステムに与えるスクリプトプログラムなどであっても良い。
【００４８】
また、コンピュータがインターネット上の対応するウェブサイトに接続され、且つ本発明によるコンピュータプログラムコードをコンピュータにダウンロード和インストールし、その後、該プログラムを実行することにより、本発明の技術案を実現することもできる。
【００４９】
図7は、本発明の実施例による装置及び方法を実現し得る汎用コンピュータ1300の構成図である。
【００５０】
汎用マシン1300は、例えば、コンピュータシステムであっても良い。なお、汎用マシン1300は、例示に過ぎず、本発明による方法及び装置の応用範囲又は機能について限定しない。また、汎用マシン1300は、上述の方法及び装置における任意のモジュールやアセンブリなど又はその組み合わせに依存しない。
【００５１】
図7では、中央処理装置（CPU）1301は、ROM  1302に記憶されているプログラム又は記憶部1308からRAM  1303にロッドされているプログラムに基づいて各種の処理を行う。RAM  1303では、ニーズに応じて、CPU  1301が各種の処理を行うときに必要なデータなどを記憶することもできる。CPU  1301、ROM  1302及びRAM  1303は、バス1304を経由して互いに接続される。入力／出力インターフェース1305もバス1304に接続される。
【００５２】
また、入力／出力インターフェース1305には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部1306、液晶表示器（LCD）などのような表示器及びスピーカーなどを含む出力部1307、ハードディスクなどを含む記憶部1308、ネットワーク・インターフェース・カード、例えば、LANカード、モデムなどを含む通信部1309である。通信部1309は、例えば、インターネット、LANなどのネットワークを経由して通信処理を行う。
【００５３】
ドライブ1310は、ニーズに応じて、入力／出力インターフェース1305に接続されても良い。取り外し可能な媒体1311、例えば、半導体メモリなどは、必要に応じて、ドライブ1310にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部1308にインストールすることができる。
【００５４】
また、本発明は、さらに、マシン可読命令コードを含むプログラムプロダクトを提供する。このような命令コードは、マシンにより読み取られて実行されるときに、上述の本発明の実施形態における方法を実行することができる。それ相応に、このようなプログラムプロダクトをキャリー（carry）する、例えば、磁気ディスク（フロッピーディスク（登録商標）を含む）、光ディスク（CD-ROM及びDVDを含む）、光磁気ディスク（MD（登録商標）を含む）、及び半導体記憶器などの各種記憶媒体も、本発明に含まれる。
【００５５】
また、上述の方法における各操作（処理）は、各種のマシン可読記憶媒体に記憶されているコンピュータ実行可能なプログラムの方式で実現することもできる。
【００５６】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【００５７】
（付記1）
文字画像を処理する装置であって、
第一認識ユニットであって、第一文字認識モデルを用いて前記文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得するもの；
第二認識ユニットであって、第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得するもの；
アライメントユニットであって、前記第一文字認識結果と前記第二文字認識結果とのアライメントを行うもの；及び
調整ユニットであって、前記第二文字認識結果に基づいて前記第一粗認識処理過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得するものを含み、
前記第一認識ユニットは、さらに、経路推定及び捜索アルゴリズムの方式で、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得する、装置。
【００５８】
（付記2）
付記1に記載の装置であって、さらに、
前処理ユニットを含み、それは、前記文字画像に対して前処理を行い、前記前処理は、画像ノイズ除去処理、正規化処理及び２値化処理を含む、装置。
【００５９】
（付記3）
付記1に記載の装置であって、
前記調整ユニットは、文字置換操作、插入文字操作及び文字削除操作により、前記第一粗認識処理過程中の各粗認識結果の係数に対して調整を行う、装置。
【００６０】
（付記4）
付記1に記載の装置であって、
前記第一粗認識処理は、第一分割処理、及び、畳み込みニューラルネットワークに基づく認識処理を含む、装置。
【００６１】
（付記5）
付記4に記載の装置であって、
前記第一分割処理は、オーバーセグメンテーション処理である、装置。
【００６２】
（付記6）
付記5に記載の装置であって、
前記オーバーセグメンテーション処理は、前記文字画像中の文字列を複数の粗略ブロックに分割することを含む、装置。
【００６３】
（付記7）
付記5に記載の装置であって、
前記第二文字認識モデルは、畳み込み再帰型ニューラルネットワークモデルである、装置。
【００６４】
（付記8）
付記1に記載の装置であって、
前記アライメントユニットは、レーベンシュタイン距離の方式で、前記第一文字認識結果と前記第二文字認識結果とのアライメントを行う、装置。
【００６５】
（付記9）
付記1に記載の装置であって、
前記第一認識ユニットは、さらに、ビームサーチアルゴリズムにより、前記調整後の文字認識結果に対して処理を行う、装置。
【００６６】
（付記10）
文字画像を処理する方法であって、
第一文字認識モデルを用いて前記文字画像に対して第一粗認識処理を行い、第一文字認識結果を取得し；
第二文字認識モデルを用いて前記文字画像に対して第二分割処理を行い、第二文字認識結果を取得し；
前記第一文字認識結果と前記第二文字認識結果とのアライメントを行い；
前記第二文字認識結果に基づいて前記第一粗認識処理過程中の各粗認識結果に対して調整を行い、調整後の文字認識結果を取得し；及び
経路推定及び捜索アルゴリズムの方式で、前記調整後の文字認識結果に対して処理を行い、最終の文字認識結果を取得することを含む、方法。
【００６７】
（付記11）
付記10に記載の方法であって、さらに、
前記文字画像に対して前処理を行うことを含み、
前記前処理は、画像ノイズ除去処理、正規化処理及び２値化処理を含む、方法。
【００６８】
（付記12）
付記10に記載の方法であって、
文字置換操作、插入文字操作及び文字削除操作により、前記第一粗認識処理過程中の各粗認識結果の係数に対して調整を行う、方法。
【００６９】
（付記13）
付記10に記載の方法であって、
前記第一粗認識処理は、第一分割処理、及び、畳み込みニューラルネットワークに基づく認識処理を含む、方法。
【００７０】
（付記14）
付記13に記載の方法であって、
前記第一分割処理は、オーバーセグメンテーション処理である、方法。
【００７１】
（付記15）
付記14に記載の方法であって、
前記オーバーセグメンテーション処理は、前記文字画像中の文字列を複数の粗略ブロックに分割することを含む、方法。
【００７２】
（付記16）
付記10に記載の方法であって、
前記第二文字認識モデルは、畳み込み再帰型ニューラルネットワークモデルである、方法。
【００７３】
（付記17）
付記10に記載の方法であって、
レーベンシュタイン距離の方式で、前記第一文字認識結果と前記第二文字認識結果とのアライメントを行う、方法。
【００７４】
（付記18）
付記10に記載の方法であって、
ビームサーチアルゴリズムにより、前記調整後の文字認識結果に対して処理を行う、方法。
【００７５】
（付記19）
プログラムプロダクトであって、
その中に記憶したマシン可読命令コードを含み、前記命令コードは、コンピュータにより読み取られて実行されるときに、前記コンピュータに、付記10-18のうちの任意の一項に記載の方法を実行させることができる、グラムプロダクト。
【００７６】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は、本発明の技術的範囲に属する。
【図１】
2020198090.tif 000003
【図２】
2020198090.tif 000004
【図３】
2020198090.tif 000005
【図４】
2020198090.tif 000006
【図５】
2020198090.tif 000007
【図６】
2020198090.tif 000008
【図７】
2020198090.tif 000009