(57)【要約】【課題】本開示は、画像を処理する装置及び方法を提供する。【解決手段】かかる装置は、畳み込みネットワーク（CNN）分類器又は全層畳み込みネットワーク（FCN）分類器を用いて画像中の文字ブロックを認識することで画像中から所定の条件を満たすシード文字ブロックを選択する選択ユニットであって、該所定の条件は、シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合の要素のうちの１つであるということであり；及び、該シード文字ブロックを開始ブロックとして、画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定する確定ユニットを含む。【選択図】図１
2020077413.tif 000002
【特許請求の範囲】
【請求項１】
画像を処理する装置であって、
畳み込みネットワーク分類器又は全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックを認識することで、前記画像中から所定の条件を満足するシード文字ブロックを選択するための選択ユニットであって、前記所定の条件は、前記シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合の要素のうちの１つであるという条件であり；及び
前記シード文字ブロックを開始ブロックとして、前記画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定するための確定ユニットを含む、装置。
【請求項２】
請求項1に記載の装置であって、
前記全層畳み込みネットワーク分類器は、前記画像中の分類待ち文字ブロックが、前記文字集合中の文字以外の文字であるかどうかにかかわらず、前記文字集合中の文字である信頼度を確定する、装置。
【請求項３】
請求項1に記載の装置であって、
畳み込みネットワーク分類器を用いて前記画像中の文字ブロックを認識することは、前記画像中の文字の所在領域を細分割することを含む、装置。
【請求項４】
請求項3に記載の装置であって、
前記選択ユニットは、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第一CNNシード文字ブロックが出現する場合、前記第一CNNシード文字ブロックを前記シード文字ブロックとして選択し、前記第一CNNシード文字ブロックは、次の条件、即ち、該第一CNNシード文字ブロックの、第一文字サブ集合に関してのCNN分類の最大CNN分類信頼度が第一CNN閾値よりも大きく、且つ該第一CNNシード文字ブロックが該第一CNNシード文字ブロックに直接隣接する数字ブロックを有するという条件を満たし、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第一CNNシード文字ブロックが出現しない場合、次のステップ、即ち、前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第一FCNシード文字ブロックが出現する場合、前記第一FCNシード文字ブロックを前記シード文字ブロックとして選択するステップを行い、前記第一FCNシード文字ブロックは、次の条件、即ち、該第一FCNシード文字ブロックの、前記第一文字サブ集合に関してのFCN分類の最大FCN分類信頼度が第一FCN閾値よりも大きく、且つ該第一FCNシード文字ブロックが該第一FCNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満足し、
前記第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”からなり、
前記数字ブロックは、次の条件を満たす文字ブロックであり、即ち、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件である、装置。
【請求項５】
請求項4に記載の装置であって、
前記選択ユニットは、
前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第一FCNシード文字ブロックが出現しない場合、次のステップ、即ち、前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第二FCNシード文字ブロックが出現する場合、前記第二FCNシード文字ブロックを前記シード文字ブロックとして選択するステップを行い、前記第二FCNシード文字ブロックは、次の条件、即ち、該第二FCNシード文字ブロックの、文字“-”に関するFCN分類のFCN分類信頼度が第二FCN閾値よりも大きく、且つ該第二FCNシード文字ブロックが該第二FCNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満たす、装置。
【請求項６】
請求項5に記載の装置であって、
前記選択ユニットは、
前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第二FCNシード文字ブロックが出現しない場合、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第二CNNシード文字ブロックが出現する場合、前記第二CNNシード文字ブロックを前記シード文字ブロックとして選択し、前記第二CNNシード文字ブロックは、次の条件、即ち、該第二CNNシード文字ブロックの、数字集合に関してのCNN分類の最大CNN分類信頼度が第二CNN閾値よりも大きく、且つ該第二CNNシード文字ブロックが該第二CNNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満足し、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第二CNNシード文字ブロックが出現しない場合、次のステップ、即ち、前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第三FCNシード文字ブロックが出現する場合、前記第三FCNシード文字ブロックを前記シード文字ブロックとして選択し、前記第三FCNシード文字ブロックは、次の条件、即ち、該第三FCNシード文字ブロックの、前記数字集合に関してのFCN分類の最大FCN分類信頼度が第三FCN閾値よりも大きく、且つ該第三FCNシード文字ブロックが該第三FCNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満足し、
前記数字集合は、文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる、装置。
【請求項７】
請求項1に記載の装置であって、
前記選択ユニットは、
前記畳み込みネットワーク分類器を用いて、各文字ブロックに対して、前記文字集合に関しての分類を行うことで、各文字ブロックのCNN分類及びCNN分類信頼度を確定し、
前記全層畳み込みネットワーク分類器を用いて、各文字ブロックに対して、前記文字集合に関しての分類を行うことで、各文字ブロックのFCN分類及びFCN分類信頼度を確定する、装置。
【請求項８】
請求項7に記載の装置であって、
前記選択ユニットは、
各CNN分類からなるCNN分類集合に、次の条件を満たす第一CNN分類が含まれる場合、前記第一CNN分類に対応する文字ブロックをシード文字ブロックとして選択し、即ち、該第一CNN分類が第一文字サブ集合に属し、該第一CNN分類に対応する第一CNN分類信頼度が第一CNN閾値よりも大きく、且つ該第一CNN分類に対応する文字ブロックが該文字ブロックに直接隣接する数字ブロックを有するという条件であり、
前記第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”からなり、
前記数字ブロックは、次の条件を満たす文字ブロックであり、即ち、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件である、装置。
【請求項９】
請求項7に記載の装置であって、
前記選択ユニットは、
第一CNN分類集合中で最大信頼度を有する第一最信頼CNN分類の信頼度が第一CNN閾値よりも大きい場合、前記第一最信頼CNN分類に対応する文字ブロックを前記シード文字ブロックとして選択し、
前記第一CNN分類集合は、各CNN分類のうち、次の条件を満たす分類からなり、即ち、該分類が第一文字サブ集合に属し、且つ該分類に対応する文字ブロックが該文字ブロックに直接隣接する数字ブロックを有するという条件であり、
前記第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”からなり、
前記数字ブロックは、次の条件を満たす文字ブロックであり、即ち、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件である、装置。
【請求項１０】
画像を処理する方法であって、
畳み込みネットワーク（CNN）分類器又は全層畳み込みネットワーク（FCN）分類器を用いて前記画像中の文字ブロックを認識することで前記画像中から所定の条件を満足するシード文字ブロックを選択し、前記所定の条件は、前記シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合の要素のうちの１つであるという条件であり；及び
前記シード文字ブロックを開始ブロックとして、前記画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定することを含む、方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理分野に関し、特に、日本語受取人アドレスを含む画像を処理する装置及び方法に関する。
【背景技術】
【０００２】
コンピュータのパフォーマンスの向上に伴って、OCR（Optical  Character  Recognition）技術が既に人々の日常生活に係る多くの分野に広く用いられている。例えば、OCR技術を用いて文書画像中の文字を認識することでそれを処理することができる。
【０００３】
受取人アドレスが良くあるものであり、例えば、小包、手紙などの郵便物上の受取人アドレスが挙げられる。日本語受取人アドレスについて言えば、それは、通常、３つの隣接する行に記される。３つの隣接する行の上の行に位置するアドレスセグメントが、アッパー（upper）アドレスと称される。アッパーアドレスは、都（道府県）、市、行政区のアドレス情報を含む。３つの隣接する行の真中の行に位置するアドレスセグメントがミドル（middle）アドレスと称される。ミドルアドレスにおける文字（Character）は、文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合Sから選択されるものである。３つの隣接する行の下の行に位置するアドレスセグメントがロウアー（lower）アドレスと称される。ロウアーアドレスは、ローカルな具体的なアドレス情報を含む。
【０００４】
オブジェクト上の受取人アドレスに基づいてオブジェクトを自動分類することが望ましい。また、分類（即ち、認識）の効率及び正確度を向上させることも望まれている。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本開示の目的は、日本語受取人アドレスを含む画像を処理する装置及び方法を提供することにある。
【課題を解決するための手段】
【０００６】
本開示の一側面によれば、画像を処理する装置が提供され、それは、畳み込みネットワーク（CNN）分類器又は全層畳み込みネットワーク（FCN）分類器を用いて画像中の文字ブロックを認識することで、画像中で所定の条件を満足するシード（seed）文字ブロックを選択するための選択ユニットであって、所定の条件は、該シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合Sの要素のうちの１つであるという条件である、選択ユニット；及び、シード文字ブロックを開始ブロックとして、画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定するための確定ユニットを含む。
【０００７】
本開示の他の側面によれば、画像を処理する方法が提供され、それは、次のようなステップを含み、即ち、畳み込みネットワーク分類器又は全層畳み込みネットワーク分類器を用いて画像中の文字ブロックを認識することで、画像中で所定の条件を満足するシード文字ブロックを選択し、所定の条件は、シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合の要素のうちの１つであるという条件であり；及び、シード文字ブロックを開始ブロックとして、画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定するステップである。
【０００８】
本開示の他の側面によれば、画像中の日本語受取人アドレスを認識する方法が提供され、それは、上述の方法でミドルアドレスの領域を確定し；FCN分類器の認識結果を用いて、画像中のミドルアドレスにおける文字を確定し；CNN分類器の認識結果を用いて、画像中のアッパーアドレスにおける文字を確定し；及び、CNN分類器の認識結果を用いて、画像中のロウアーアドレスにおける文字を確定するステップを含む。
【０００９】
本開示の他の側面によれば、日本語受取人アドレスを有する郵便物を分類する方法が提供される。該方法は、上述の方法で認識した日本語受取人アドレスに基づいて、郵便物に対して分類を行うステップを含む。
【００１０】
本開示の他の側面によれば、日本語受取人アドレスを有する郵便物を分類する装置が提供される。該装置は、上述の方法で認識した日本語受取人アドレスに基づいて、郵便物進に対して分類を行うように構成される。
【００１１】
本開示の他の側面によれば、記憶装置が提供される。記憶装置には、情報処理装置可読プログラムコードが記憶されており、情報処理装置上で該プログラムコードを実行するときに、該プログラムコードは、情報処理装置に、上述の方法を実行させる。
【００１２】
本開示の他の側面によれば、情報処理装置が提供され、それは、中央処理装置を含み、中央処理装置は、上述の方法を実行するように構成される。
【００１３】
上述の装置及び方法を用いることで少なくとも次のような効果を達成することができ、即ち、日本語受取人アドレスにおけるミドルアドレスを認識する効率及び正確度を向上させることができる。
【図面の簡単な説明】
【００１４】
【図１】本開示の一実施例において画像を処理する装置の例示ブロック図である。
【図２】本開示において処理される画像の一例を示す図である。
【図３】画像に対して細分割を行った後の各文字ブロックを示す図である。
【図４】本開示の一実施例においてシード文字ブロックを選択する方法の例示フローチャートである。
【図５】本開示の一実施例においてシード文字ブロックを選択する方法の例示フローチャートである。
【図６】本開示の他の実施例においてシード文字ブロックを選択する方法の例示フローチャートである。
【図７】本開示の一実施例において日本語受取人アドレスにおけるミドルアドレスの領域の左境界を確定する方法の例示フローチャートである。
【図８】本開示の一実施例において日本語受取人アドレスにおけるミドルアドレスの領域の右境界を確定する方法の例示フローチャートである。
【図９】本開示の一実施例において画像を処理する方法の例示フローチャートである。
【図１０】本開示の一実施例において画像中の日本語受取人アドレスを認識する方法の例示フローチャートである。
【図１１】本開示の一実施例における情報処理装置の例示ブロック図である。
【発明を実施するための形態】
【００１５】
以下、添付した図面を参照しながら、本開示を実施するための好適な形態を詳細に説明する。なお、このような実施形態は、例示に過ぎず、本開示を限定するものでない。
【００１６】
本開示の一側面は、郵便物上の日本語受取人アドレスの画像に対して画像処理を行う装置に関する。
【００１７】
以下、図1をもとに、本開示による、画像を処理する装置を説明する。
【００１８】
図1は、本開示の一実施例において画像を処理する装置10の例示ブロック図である。
【００１９】
装置10は、選択ユニット11及び確定ユニット13を含む。選択ユニット11は、畳み込みネットワーク（CNN）分類器又は全層畳み込みネットワーク（FCN）分類器を用いて画像中の文字ブロックを認識することで、画像中から条件を満足するシード文字ブロックを選択するように構成され、該条件は、該シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合Sの要素のうちの１つであるという条件である。
【００２０】
確定ユニット13は、該シード文字ブロックを開始ブロックとして、画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定するように構成される。
【００２１】
本開示では、郵便物上の日本語受取人アドレスは、標準フォント（例えば、コンピュータが使用する各種の日本語フォント）の文字列、手書き形式の文字列、又はそれらの混合形式であっても良く、即ち、標準フォントの少なくとも１つの文字又は手書き形式の少なくとも１つの文字を含む。本開示による技術案は、特に、次のような画像の処理の場合に適し、即ち、該画像中の日本語受取人アドレスにおける少なくとも一部の文字が手書き文字である場合である。
【００２２】
装置10における画像は、郵便物上の日本語受取人アドレスに対応する画像である。該画像（一行日本語受取人アドレス画像とも言う）は、左から右へと同一行に順に配置されるアッパーアドレス、ミドルアドレス及びロウアーアドレスを含む。該画像は、例えば、次のような方法で得られても良く、即ち、郵便物上の日本語受取人アドレスの写真を取得し、その後、情報処理装置を用いて、写真中のミドルアドレスに対応するミドルアドレスブロック、及び、ロウアーアドレスに対応するロウアーアドレスブロックを、順に、アッパーアドレスに対応するアッパーアドレスブロックの後に配置する方法である。もちろん、郵便物上の日本語受取人アドレスが、アッパーアドレス、ミドルアドレス及びロウアーアドレスがこの順に一行に配置されるものである場合、該日本語受取人アドレスの写真を直接使用すれば良い。
【００２３】
図2は、本開示において処理される画像の例示画像200を示しており、それは、アッパーアドレスブロック201、ミドルアドレスブロック203及びロウアーアドレスブロック205を含む。なお、画像200には、図2中の矩形状フレーム及び矩形状フレームの下の４つの縦線が含まれず、この図に示されている４つの縦線は、各アドレスブロックが占める領域を示すためだけのものである。
【００２４】
装置10におけるCNN分類器は、ニューラルネットワークに基づく分類器である。該CNN分類器は、サンプルを用いて訓練されたものである。分類待ち文字ブロックについて、該CNN分類器は、認識結果としての少なくとも１つの候補文字、及び、各候補文字のCNN分類信頼度を与える（提供する）ことができる。該信頼度は、該文字ブロックがその対応する候補文字に分類される信頼性を示すために用いられ、即ち、各文字ブロックの各候補文字について、それは、対応するCNN分類信頼度を有する。与えられる候補文字の数は、CNN分類器の配置（設定）と関係がある。CNN分類器を設定することにより、それが目標文字ブロックを分類するときに、該目標文字ブロックの、特定文字集合に関してのCNN分類結果のみを与える（即ち、該目標文字ブロック内の文字が該特定文字集合中のどの文字に似ているか、及び、CNN分類信頼度を提供する）ようにさせることができる（該目標文字ブロックに対応する文字が該特定文字集合以外の文字に属する可能性があるかどうかに関わらない）。該特定文字集合は、例えば、文字集合S及び数字集合であっても良くであって、数字集合は、文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる。CNN分類器を用いて画像中の日本語アドレスにおける各文字に対して分類を行うときに、好ましくは、CNN分類器を設定することにより、各文字ブロックについて、最大信頼度を有する分類のみを出力するようにさせる。CNN分類器を用いて画像中の日本語アドレスにおける複数の文字に対して分類を行った後に、各文字の分類からなる集合には、同じ分類が含まれる可能性があるが、各同じ分類に対応する文字ブロックの位置が明らかに異なり、また、対応する信頼度も異なる可能性がある。
【００２５】
一行日本語受取人アドレス画像を分割して各文字ブロックの所在領域又は位置を確定することで、ターゲットを絞るような認識を行うに便利である。具体的な分割方法は、細分割（oversegmentation）方法であっても良い。
【００２６】
図3は、画像200に対して細分割を行った後の各文字ブロックを示している。図3では、矩形状フレームで各文字ブロックの所在領域を示している。一実施例では、各文字ブロックに基づいて隣接する文字ブロック間の間隙（即ち、間隙の幅）を計算し、複数の間隙の中央値を確定し、該中央値は、日本語受取人アドレスにおけるミドルアドレスの領域を判断するために用いることができ、これについては、後述する。
【００２７】
装置10におけるFCN分類器も、ニューラルネットワークに基づく分類器である。該FCN分類器は、サンプルを用いて訓練されたものである。分類待ち文字ブロックについて、該FCN分類器は、認識結果としての少なくとも１つの候補文字、及び、各候補文字のFCN分類信頼度を与える（提供する）ことができる。該信頼度は、該文字ブロックがその対応する候補文字に分類される信頼性を示すために用いられ、即ち、各文字ブロックの各候補文字について、それは、対応するFCN分類信頼度を有する。与えられる候補文字の数は、FCN分類器の配置（設定）と関係がある。該FCN分類器は、画像中の分類待ち文字ブロックが文字集合S中の文字に対応する信頼度を確定するように設定されても良い（分類待ち日本語ブロックが文字集合S中の文字以外の文字であるかどうかに関わらない）。例えば、該FCN分類器は、中心点がPkのところに位置する文字ブロックの、文字集合Sに関してのFCN分類結果（それは、少なくとも１つの候補文字、及び、各候補文字のFCN分類信頼度を含み、候補文字は、文字集合Sに属する）を与える（提供する）ように設定されても良く、このようにして、該FCN分類器は、中心点がPkのところに位置する文字ブロックの分類が文字集合S中の要素以外の要素（即ち、文字）であるかどうかについて判断しない。FCN分類器を用いて画像中の日本語アドレスにおける各文字に対して分類を行うときに、好ましくは、FCN分類器を設定することにより、各文字ブロックについて、最大信頼度を有する分類のみを出力するようにさせる。FCN分類器を用いて画像中の日本語アドレスにおける複数の文字に対して分類を行った後に、各文字の分類からなる集合には、同じ分類が含まれる可能性があるが、各同じ分類に対応する文字ブロックの位置が明らかに異なり、また、対応する信頼度も異なる可能性がある。
【００２８】
一実施例では、一行日本語受取人アドレス画像について、該FCN分類器は、文字集合Sに属する文字ブロックを見つけ、これらの文字ブロックの位置（例えば、座標）、信頼度、類別（即ち、文字集合S中のどの文字）を与えることができる。例えば、該一行日本語受取人アドレス画像中の、文字集合S以外の文字Xについては、類別が、文字集合S中の、文字Xに近い文字（類別）と選択され、信頼度が比較的小さい値であり、例えば、0又は0に近い値であり、また、該一行日本語受取人アドレス画像中の、文字集合Sに属する文字Yについては、類別が、文字集合S中のY文字（類別）及び／又はY文字に類似した文字（類別）と選択され、信頼度が比較的大きい値であり、例えば、255又は255に近い値である（そのうち、信頼度が0〜255の間の数値で表され、数値が大きいほど、信頼度が高いとする）。
【００２９】
図4は、本開示の一実施例においてシード文字ブロックを選択する方法101aの例示フローチャートである。装置10における選択ユニット11は、方法101aを実現するように構成されても良い。
【００３０】
ステップ401では、CNN分類器を用いて、第一CNNシード文字ブロックが出現するかを確定する。CNN分類器を用いて画像中の文字ブロックに対して分類を行うときに第一CNNシード文字ブロックが出現する場合、ステップ421を実行し、即ち、第一CNNシード文字ブロックをシード文字ブロックとして選択する。そのうち、第一CNNシード文字ブロックは、次のような条件を満たし、即ち、該第一CNNシード文字ブロックの、第一文字サブ集合に関してのCNN分類の最大CNN分類信頼度が第一CNN閾値よりも大きく、且つ該第一CNNシード文字ブロックが、該第一CNNシード文字ブロックに直接隣接する数字ブロックを有するという条件であり、そのうち、第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”からなり、且つ数字ブロックは、次のような条件を満足し、即ち、該数字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きい。数字ブロックに直接隣接するケースは、次のようなケースを含み、即ち、数字ブロックが関心文字ブロックの左側にあり且つ関心文字ブロックに直接隣接し、及び、数字ブロックが関心文字ブロックの右側にあり且つ関心文字ブロックに直接隣接する。本開示では、このような2つのケースのうちの１つを満足すれば、関心文字ブロックが数字ブロックに直接隣接すると見なすことができる。
【００３１】
CNN分類器を用いて画像中の文字ブロックの分類を確定するときに、左から右へと1つずつ認識しても良く、右から左へと１つずつ認識しても良く、又は、他の所定の順序に従って認識しても良い。
【００３２】
ステップ401では、数字ブロックを確定するときに、依然としてCNN分類器を用いても良い。代替実施例では、数字ブロックを認識し得る他の分類器を用いて文字ブロックが数字ブロックであるかを確定しても良く、例えば、FCN分類器又は数字ブロック認識専用分類器を用いることができる。文字ブロックの位置は、文字ブロックの順番号（索引）で表されても良く、他の文字ブロックの中心位置の座標で表されても良く、この２種類の表し方法は、対応関係があり、互いに変換することができる。
【００３３】
ステップ401においてCNN分類器を用いて画像中の文字ブロックに対して分類を行う過程で最後まで第一CNNシード文字ブロックが出現しない（即ち、画像中の最後の１つの文字ブロックに対してCNN分類を行った後でも、条件を満足する第一CNNシード文字ブロックが出ない）場合、ステップ403を実行し、即ち、FCN分類器を用いて第一FCNシード文字ブロックが現れるかを確定する。FCN分類器を用いて画像中の文字ブロックに対して分類を行うときに第一FCNシード文字ブロックが出現する場合、ステップ423を実行し、即ち、第一FCNシード文字ブロックをシード文字ブロックとして選択し、そのうち、第一FCNシード文字ブロックは、次のような条件を満たし、即ち、該第一FCNシード文字ブロックの、第一文字サブ集合に関してのFCN分類の最大FCN分類信頼度が第一FCN閾値よりも大きく、且つ該第一FCNシード文字ブロックが、該第一FCNシード文字ブロックに直接隣接する数字ブロックを有するという条件である。
【００３４】
ステップ403では、数字ブロックを確定するときに、依然としてFCN分類器を用いても良い。代替実施例では、数字ブロックを認識し得る他の分類器を用いて、文字ブロックが数字ブロックであるかを確定することもでき、例えば、CNN分類器又は数字ブロック認識専用分類器を採用しても良い。
【００３５】
ステップ403においてFCN分類器を用いて画像中の文字ブロックに対して分類を行う過程で最後まで第一FCNシード文字ブロックが出ない（即ち、画像中の最後１つの文字ブロックに対してFCN分類を行った後でも、条件を満足する第一FCNシード文字ブロックが現れない）場合、ステップ405を実行し、即ち、FCN分類器を用いて、第二FCNシード文字ブロックが出現するかを確定する。FCN分類器を使用して画像中の複数の文字ブロックに対して分類を行うときに第二FCNシード文字ブロックが現れる場合、ステップ425を実行し、即ち、第二FCNシード文字ブロックをシード文字ブロックとして選択し、そのうち、第二FCNシード文字ブロックは、次のような条件を満足し、即ち、該第二FCNシード文字ブロックの、文字“-”に関してのFCN分類のFCN分類信頼度が第二FCN閾値よりも大きく、且つ該第二FCNシード文字ブロックが、該第二FCNシード文字ブロックに直接隣接する数字ブロックを有するという条件である。なお、数字ブロックを確定する方法は、ステップ403で採用される方法を参照することができ、例えば、FCN分類器を用いて数字ブロックを確定することができる。
【００３６】
ステップ405においてFCN分類器を使用して画像中の文字ブロックに対して分類を行う過程で最後まで第二FCNシード文字ブロックが現れない（即ち、画像中の最後１つの文字ブロックに対してFCN分類を行った後でも、条件を満足する第二FCNシード文字ブロックが出ない）場合、ステップ407を実行し、即ち、CNN分類器を用いて、第二CNNシード文字ブロックが出現するかを確定する。CNN分類器を用いて画像中の文字ブロックに対して分類を行うときに第二CNNシード文字ブロックが現れる場合、ステップ427を実行し、即ち、第二CNNシード文字ブロックをシード文字ブロックとして選択し、そのうち、第二CNNシード文字ブロックは、次のような条件を満たし、即ち、該第二CNNシード文字ブロックの、数字集合に関してのCNN分類の最大CNN分類信頼度が第二CNN閾値よりも大きく、且つ該第二CNNシード文字ブロックが、該第二CNNシード文字ブロックに直接隣接する数字ブロックを有するという条件である。そのうち、数字集合は、文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる。
【００３７】
ステップ407においてCNN分類器を採用して画像中の文字ブロックに対して分類を行う過程で最後まで第二CNNシード文字ブロックが出現しない（即ち、画像中の最後１つの文字ブロックに対してCNN分類を行った後でも、条件を満足する第二CNNシード文字ブロックが出ない）場合、ステップ409を実行し、即ち、FCN分類器を用いて、第三FCNシード文字ブロックが現れるかを確定する。FCN分類器を用いて画像中の文字ブロックに対して分類を行うときに第三FCNシード文字ブロックが出現する場合、ステップ429を実行し、即ち、第三FCNシード文字ブロックをシード文字ブロックとして選択し、そのうち、第三FCNシード文字ブロックは、次のような条件を満足し、即ち、該第三FCNシード文字ブロックの、数字集合に関するFCN分類の最大FCN分類信頼度が第三FCN閾値よりも大きく、且つ該第三FCNシード文字ブロックが、該第三FCNシード文字ブロックに直接隣接する数字ブロックを有するという条件である。なお、数字ブロックを確定する方法は、ステップ403で採用される方法を参照することができ、例えば、FCN分類器を用いて数字ブロックを確定することができる。
【００３８】
ステップ409においてFCN分類器を使用して画像中の文字ブロックに対して分類を行う過程で最後まで第三FCNシード文字ブロックが出ない（即ち、画像中の最後１つの文字ブロックに対してFCN分類を行った後でも、条件を満足する第三FCNシード文字ブロックが出現しない）場合、ステップ411を実行し、即ち、プロンプトメッセージを出力し、これにより、ユーザは、このような場合の画像についてその対応する処理を行うことができる。プロンプトメッセージは、シード文字ブロックが見つからないことを示す情報であっても良く、例えば、“シード文字ブロックが見つからない”や“シード文字ブロックが発見されない”である。
【００３９】
なお、上述の最後の１つの文字ブロックとは、画像中の文字列の末尾の文字ブロックでなく、画像中の文字列全体における文字ブロックを分類するときに該文字列における最後の１つの分類待ち文字ブロックを指す。
【００４０】
シード文字ブロックを選択する方法101aでは、CNN分類器及びFCN分類器を用いてシード文字ブロックを選択することで、正確且つ迅速にシード文字ブロックを確定することができる。また、ミドルアドレスにおける文字を３種類（第一文字サブ集合、文字“-”、及び数字集合）に分けることで、認識を行うときに種類に基づいて優先順位をつけて（優先度を分けて）認識を行うことは、認識の正確度の更なる向上に有利である。方法101aでは、１つの文字ブロックに対して認識を行った後に、それがシード文字ブロックであるかの判断を行い、シード文字ブロックである場合、選択ステップを行い、そして、方法101aが終了し、このようにして、処理時間の節約に有利である。
【００４１】
図5は、本開示の一実施例においてシード文字ブロックを選択する方法101bの例示フローチャートである。装置10における選択ユニット11は、方法101bを実現するように構成されても良い。
【００４２】
ステップ501では、CNN分類器を用いて、各文字ブロックに対して、文字集合Sに関しての分類を行うことで、各文字ブロックのCNN分類及び該CNN分類のCNN分類信頼度を確定する。そのうち、各文字ブロックについて言えば、そのCNN分類は、該文字ブロックの、文字集合Sに関してのCNN候補分類のうちの信頼度最大の分類であっても良い。本開示の一実施例では、CNN分類器の各文字ブロックに対しての認識結果（例えば、各文字ブロックについて、信頼度が高から低への順に従って並べ替えられた後の結果における前の5個の認識結果が記憶され、各認識結果は、分類及び信頼度を含む）を記憶しても良く、このようにして、その後の使用時に、文字ブロックに対して再び認識を行う必要がない。
【００４３】
ステップ503では、FCN分類器を用いて、画像中の各文字ブロックに対して、文字集合Sに関しての分類を行うことで、各文字ブロックのFCN分類及び該FCN分類のFCN分類信頼度を確定する。そのうち、各文字ブロックについて言えば、そのFCN分類は、該文字ブロックの文字集合Sに関してのFCN候補分類のうちの信頼度最大の分類であっても良い。本開示の一実施例では、FCN分類器の各文字ブロックに対しての認識結果（例えば、各文字ブロックについて、信頼度が高から低への順に並べ替えられた後の結果における前の5の認識結果が記憶され、各認識結果は、分類及び信頼度を含む）を記憶しても良く、このようにして、その後の使用時に、文字ブロックに対して再び認識を行う必要がない。
【００４４】
ステップ505では、各CNN分類からなるCNN分類集合に、次のような条件を満足する第一CNN分類が含まれるかを確定し、即ち、該第一CNN分類が第一文字サブ集合に属し、該第一CNN分類に対応する第一CNN分類信頼度が第一CNN閾値よりも大きく、且つ該第一CNN分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”かさなる。数字ブロックは、次のような条件を満たす文字ブロックであり、即ち、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件である。
【００４５】
ステップ505においてCNN分類集合に第一CNN分類が含まれると確定される場合、ステップ525を実行し、即ち、第一CNN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００４６】
ステップ505においてCNN分類集合に第一CNN分類が含まれないと確定される場合、ステップ507を実行し、即ち、各FCN分類からなるFCN分類集合に、次のような条件を満たす第一FCN分類が含まれるかを確定し、即ち、該第一FCN分類が第一文字サブ集合に属し、該第一FCN分類に対応する第一FCN分類信頼度が第一FCN閾値よりも大きく、且つ該第一FCN分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。数字ブロックの判断は、生成済みのFCN分類結果を直接使用しても良く、他の分類器を使用しても良い。
【００４７】
ステップ507においてFCN分類集合に第一FCN分類が含まれると確定される場合、ステップ527を実行し、即ち、第一FCN分類に対応する文字ブロックをシード文字ブロックと確定する。
【００４８】
ステップ507においてFCN分類集合に第一FCN分類が含まれないと確定される場合、ステップ509を実行し、即ち、FCN分類集合に、次のような条件を満たす第二FCN分類が含まれるかを確定し、即ち、該第二FCN分類が文字“-”であり、該第二FCN分類に対応する第二FCN分類信頼度が第二FCN閾値よりも高く、且つ該第二FCN分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。
【００４９】
ステップ509においてFCN分類集合に第二FCN分類が含まれると確定される場合、ステップ529を実行し、即ち、第二FCN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００５０】
ステップ509においてFCN分類集合に第二FCN分類が含まれないと確定される場合、ステップ511を実行し、即ち、CNN分類集合に、次のような条件を満たす第二CNN分類が含まれるかを確定し、即ち、該第二CNN分類が数字集合に属し、該第二CNN分類に対応する第二CNN分類信頼度が第二CNN閾値よりも大きく、且つ該第二CNN分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。数字集合は、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる。
【００５１】
ステップ511においてCNN分類集合に第二CNN分類が含まれると確定される場合、ステップ531を実行し、即ち、第二CNN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００５２】
ステップ511においてCNN分類集合に第二CNN分類が含まれないと確定される場合、ステップ513を実行し、即ち、FCN分類集合に次のような条件を満足する第三FCN分類が含まれるかを確定し、即ち、該第三FCN分類が数字集合に属し、該第三FCN分類に対応する第三FCN分類信頼度が第三FCN閾値よりも大きく、且つ該第三FCN分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。
【００５３】
ステップ513においてFCN分類集合に第三FCN分類が含まれると確定される場合、ステップ533を実行し、即ち、第三FCN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００５４】
ステップ513においてFCN分類集合に第三FCN分類が含まれないと確定される場合、ステップ515を実行し、即ち、プロンプトメッセージを出力し、これにより、ユーザは、このような場合の画像についてその対応する処理を行うことができる。プロンプトメッセージは、シード文字ブロックが見つからないことを示す情報であっても良く、例えば、“シード文字ブロックが見つからない”や“シード文字ブロックが発見されない”である。
【００５５】
シード文字ブロックを選択する方法101bでは、CNN分類器及びFCN分類器を用いてシード文字ブロックを選択することで、正確且つ迅速にシード文字ブロックを確定することができる。また、ミドルアドレスにおける文字を3種類（第一文字サブ集合、文字“-”、及び数字集合）に分けることで、シード文字ブロックを選択するときに種類に基づいて優先順位をつけて選択を行うことは、認識の正確度の更なる向上に有利である。方法101bでは、日本語受取人アドレス全体の画像に対して文字認識を行った後に、各種類の文字について、優先順位に従ってその対応する文字ブロックがシード文字ブロックであるかを判断する。
【００５６】
図6は、本開示の他の実施例においてシード文字ブロックを選択する方法101cの例示フローチャートである。装置10における選択ユニット11は、方法101cを実現するように構成される。
【００５７】
ステップ601では、CNN分類器を用いて、各文字ブロックに対して、文字集合Sに関しての分類を行うことで、各文字ブロックのCNN分類及び該CNN分類のCNN分類信頼度を確定する。そのうち、各文字ブロックについて言えば、そのCNN分類は、該文字ブロックの文字集合Sに関してのCNN候補分類のうちの信頼度最大の分類である。
【００５８】
ステップ603では、FCN分類器を用いて、画像中の各文字ブロックに対して、文字集合Sに関しての分類を行うことで、各文字ブロックのFCN分類及び該FCN分類のFCN分類信頼度を確定する。そのうち、各文字ブロックについて言えば、そのFCN分類は、該文字ブロックの文字集合Sに関してのFCN候補分類のうちの信頼度最大の分類である。
【００５９】
ステップ605では、第一CNN分類集合中で最大信頼度を有する第一最信頼（最信頼とは、最も信頼されることを指す）CNN分類の信頼度が第一CNN閾値よりも大きいかを確定する。第一CNN分類集合は、各CNN分類のうち、次のような条件を満足する分類からなり、即ち、該分類が第一文字サブ集合に属し、且つ該分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”からなる。数字ブロックは、次のような条件を満たす文字ブロックであり、即ち、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件である。数字ブロックの判断は、生成済みのCNN分類結果を直接使用しても良く、他の分類器の分類の結果、例えば、FCNの分類結果を使用しても良い。
【００６０】
ステップ605において、第一CNN分類集合中で最大信頼度を有する第一最信頼CNN分類の信頼度が第一CNN閾値よりも大きいと確定される場合、ステップ625を実行し、即ち、第一最信頼CNN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００６１】
ステップ605において、第一CNN分類集合中で最大信頼度を有する第一最信頼CNN分類の信頼度が第一CNN閾値以下であると確定される場合、ステップ607を実行し、即ち、第一FCN分類集合中で最大信頼度を有する第一最信頼FCN分類の信頼度が第一FCN閾値よりも大きいかを確定する。第一FCN分類集合は、各FCN分類のうち、次のような条件を満足する分類からなり、即ち、該分類が第一文字サブ集合に属し、該分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。数字ブロックの判断は、生成済みのFCN分類結果を直接使用しても良く、他の分類器を使用しても良い。
【００６２】
ステップ607において、第一FCN分類集合中で最大信頼度を有する第一最信頼FCN分類の信頼度が第一FCN閾値よりも大きいと確定される場合、ステップ627を実行し、即ち、第一最信頼FCN分類に対応する文字ブロックをシード文字ブロックとして確定する。
【００６３】
ステップ607において、第一FCN分類集合中で最大信頼度を有する第一最信頼FCN分類の信頼度が第一FCN閾値以下であると確定される場合、ステップ609を実行し、即ち、第二FCN分類集合中で最大信頼度を有する第二最信頼FCN分類の信頼度が第二FCN閾値よりも大きいかを確定する。第二FCN分類集合は、各FCN分類のうち、次のような条件を満たす分類からなり、即ち、該分類が文字“-”であり、且つ該分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。
【００６４】
ステップ609において、第二最信頼FCN分類の信頼度が第二FCN閾値より大きいと確定される場合、ステップ629を実行し、即ち、第二FCN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００６５】
ステップ609において、第二最信頼FCN分類の信頼度が第二FCN閾値以下であると確定される場合、ステップ611を実行し、即ち、第二CNN分類集合中で最大信頼度を有する第二最信頼CNN分類の信頼度が第二CNN閾値よりも大きいかを確定する。第二CNN分類集合は、各CNN分類のうち、次のような条件を満たす分類からなり、即ち、該分類が数字集合に属し、且つ該分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。数字集合は、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる。数字ブロックの判断は、生成済みのCNN分類結果を直接使用しても良く、他の分類器の分類結果、例えば、FCNの分類結果を使用しても良い。
【００６６】
ステップ611において、第二CNN分類集合中で最大信頼度を有する第二最信頼CNN分類の信頼度が第二CNN閾値よりも大きいと確定される場合、ステップ631を実行し、即ち、第二最信頼CNN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００６７】
ステップ611において、第二CNN分類集合中で最大信頼度を有する第二最信頼CNN分類の信頼度が第二CNN閾値以下であると確定される場合、ステップ613を実行し、即ち、第三FCN分類集合中で最大信頼度を有する第三最信頼FCN分類の信頼度が第三FCN閾値よりも大きいかを判断する。第三FCN分類集合は、各FCN分類のうち、次のような条件を満足する分類からなり、即ち、該分類が数字集合に属し、且つ該分類に対応する文字ブロックが、該文字ブロックに直接隣接する数字ブロックを有するという条件である。数字ブロックの判断は、生成済みのCNN分類結果を直接使用しても良く、他の分類器分類の結果、例えば、FCNの分類結果を使用しても良い。
【００６８】
ステップ613において、第三FCN分類集合中で最大信頼度を有する第三最信頼FCN分類の信頼度が第三FCN閾値よりも大きいと確定される場合、ステップ633を実行し、即ち、第三最信頼FCN分類に対応する文字ブロックをシード文字ブロックとして選択する。
【００６９】
ステップ613において第三FCN分類集合中で最大信頼度を有する第三最信頼FCN分類の信頼度が第三FCN閾値以下であると確定される場合、ステップ615を実行し、即ち、プロンプトメッセージを出力し、これにより、ユーザは、このような場合の画像についてその対応する処理を行うことができる。プロンプトメッセージは、シード文字ブロックが見つかないことを示す情報であっても良く、例えば、“シード文字ブロックが見つかない”や“シード文字ブロックが発見されない”である。
【００７０】
シード文字ブロックを選択する方法101cでは、CNN分類器及びFCN分類器を用いてシード文字ブロックを選択することで、正確且つ迅速にシード文字ブロックを確定することができる。また、ミドルアドレスにおける文字を3種類（第一文字サブ集合、文字“-”、及び数字集合）に分けることで、シード文字ブロックを選択するときに種類に基づいて分優順位つけて選択を行うことは、認識の正確度の更なる向上に有利である。方法101cでは、日本語受取人アドレス全体の画像に対して文字認識を行った後に、各類文字について、優先順位をつけてシード文字ブロックであるかを判断し、そして、各の分類集合のうちの信頼度最高の、条件を満足する文字ブロックをシード文字ブロックとして選択することは、シード文字ブロックの認識の正確度の更なる向上に有利である。
【００７１】
本開示によるシード文字ブロックの確定方法は、方法101a-101cに限られず、さらに、CNN分類器とFCN分類器とを組み合せて使用するこれらの方法の変形例を含んでも良い。
【００７２】
シード文字ブロックを確定した後に、該シード文字ブロックを開始ブロックとして、画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定することができる。
【００７３】
左境界文字ブロックと右境界文字ブロックとの間の領域（左境界文字ブロック領域及び右境界文字ブロック領域を含む）と日本語受取人アドレスにおけるミドルアドレスの領域と定義する。
【００７４】
以下、図7を参照しながら、本開示による日本語受取人アドレスにおけるミドルアドレスの領域の左境界の確定方法を説明する。
【００７５】
図7は、本開示の一実施例において日本語受取人アドレスにおけるミドルアドレスの領域の左境界を確定する方法700の例示フローチャートである。
【００７６】
ステップ701では、シード文字ブロックと、左候補シード文字ブロックとの間の間隙を確定する。左候補シード文字ブロックとは、シード文字ブロックの最も隣接する左側の文字ブロックを指す。
【００７７】
ステップ703では、間隙が間隙閾値よりも小さいかを確定する。間隙閾値は、画像における日本語受取人アドレスの隣接する文字ブロック間の間隙の中央値の1.5乃至2.5倍、又は、間隙による平均値の1.5乃至2.5倍と設定されても良い。
【００７８】
間隙が間隙閾値以上であると確定される場合、ステップ705を実行し、即ち、シード文字ブロックの位置に基づいてミドルアドレスの左境界を設定する。例えば、シード文字ブロックを左境界文字ブロックと設定する。
【００７９】
間隙が間隙閾値よりも小さいと確定される場合、ステップ707を実行し、即ち、左候補シード文字ブロックの、文字集合Sに関してのCNN分類の最大信頼度がCNN境界閾値よりも大きいかを確定する。文字集合Sに関してのCNN分類は、CNN分類器が該文字ブロックに対して分類を行うときに与える（提供する）、文字集合Sに属する分類である。
【００８０】
ステップ707において、左候補シード文字ブロックの、文字集合Sに関するCNN分類の最大信頼度がCNN境界閾値よりも大きいと判断される場合、ステップ709を実行し、即ち、左候補シード文字ブロックを次の１つのシード文字ブロックとして設定する。その後、ステップ701に戻り、新しく設定されるシード文字ブロックに基づいて、シード文字ブロックと左候補シード文字ブロックとの間の間隙を確定する。
【００８１】
ステップ707の確定結果が「いいえ」の場合、ステップ711を実行し、即ち、左候補シード文字ブロックの、文字集合Sに関してのFCN分類の最大信頼度がFCN境界閾値よりも大きいかを確定する。文字集合Sに関してのFCN分類は、FCN分類器が該文字ブロックに対して分類を行うときに与える（提供する）、文字集合Sに属する分類である。
【００８２】
以下、図8に基づいて、本開示による日本語受取人アドレスにおけるミドルアドレスの領域の右境界の確定方法を説明する。
【００８３】
図8は、本開示の一実施例において日本語受取人アドレスにおけるミドルアドレスの領域の右境界を確定する方法800の例示フローチャートである。
【００８４】
ステップ801では、シード文字ブロックと右候補シード文字ブロックと間の間隙を確定する。右候補シード文字ブロックとは、シード文字ブロックの一番隣接する右側の文字ブロックを指す。
【００８５】
ステップ803では、間隙が間隙閾値よりも小さいかを確定する。間隙閾値は、画像における日本語受取人アドレスの隣接する文字ブロック間の間隙の中央値の1.5乃至2.5倍、又は、間隙による平均値の1.5乃至2.5倍と設定されても良い。
【００８６】
間隙が間隙閾値以上であると確定される場合、ステップ805を実行し、即ち、シード文字ブロックに基づいてミドルアドレスの右境界を設定し、例えば、シード文字ブロックを右境界文字ブロックとして設定する。
【００８７】
間隙が間隙閾値よりも小さいと確定される場合、ステップ807を実行し、即ち、右候補シード文字ブロックの、文字集合Sに関してのCNN分類の最大信頼度がCNN境界閾値よりも大きいかを判断する。文字集合Sに関してのCNN分類は、CNN分類器が該文字ブロックに対して分類を行うときに与える（提供する）、文字集合Sに属する分類である。
【００８８】
ステップ807において、右候補シード文字ブロックの、文字集合Sに関してのCNN分類の最大信頼度がCNN境界閾値よりも大きいと確定される場合、ステップ809を実行し、即ち、右候補シード文字ブロックを次の１つのシード文字ブロックとして設定する。その後、ステップ801に戻り、新しく設定されるシード文字ブロックに基づいて、シード文字ブロックと右候補シード文字ブロックとの間の間隙を確定する。
【００８９】
ステップ807の確定結果が「いいえ」のときに、ステップ811を実行し、即ち、右候補シード文字ブロックの、文字集合Sに関するFCN分類の最大信頼度がFCN境界閾値よりも大きいかを判断する。文字集合Sに関してのFCN分類は、FCN分類器が該文字ブロックに対して分類を行うときに与える（提供する）、文字集合Sに属する分類である。
【００９０】
方法700及び方法800では、境界文字ブロックを用いてミドルアドレスの領域を確定することができるが、境界文字ブロックに中心位置座標、左境界座標、及び右境界座標があるので、これらの座標を基づいてミドルアドレスの領域を確定しても良く、又は、１つのミドルアドレスの領域の表し方式をもう１つの表し方式に変換しても良い。
【００９１】
本発明の発明者が次のようなことを発見した。即ち、本開示では、優先順位をつけてCNN、FCN分類器を選択的に使用することでシード文字ブロックを確定することにより、確定されるシード文字ブロックの正確度を改善することができ、その上で、さらにCNN、FCN分類器を組み合せて使用することで左、右へ延伸することにより、日本語受取人アドレスにおけるミドルアドレスの領域を得ることは、確定されるミドルアドレスの領域の正確度の向上に有利である。
【００９２】
以下、本開示による画像を処理する方法を説明する。
【００９３】
図9は、本開示の一実施例における画像を処理する方法900の例示フローチャートである。方法900は、ステップ901、903を含む。ステップ901では、畳み込みネットワーク（CNN）分類器又は全層畳み込みネットワーク（FCN）分類器を用いて画像中の文字ブロックを認識することで、画像中で条件を満足するシード文字ブロックを選択し、該条件は、該シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合Sの要素のうちの１つであるという条件である。ステップ903では、このシード文字ブロックを開始ブロックとして、画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定する。方法900と装置10の構成との間は、対応する関係が存在する。よって、幾つかの実施例では、方法900のより詳細な設計は、本開示に記載の対応する装置についての具体的な説明を参照することができる。
【００９４】
本発明の発明者が次のようなことを発見した。即ち、CNN、FCN分類器を組み合せて用いることでミドルアドレス文字に対して種類を分けて判断を行うことは、最適な技術案である。これは、ミドルアドレスの領域を確定するときの正確度の向上に有利であり、さらに、その後のミドルアドレス文字及び日本語受取人アドレス全体の正確且つ効率な認識にも有利である。
【００９５】
また、本開示は、画像における日本語受取人アドレスを認識する方法に関する。図10は、本開示の一実施例において画像中の日本語受取人アドレスを認識する方法100の例示フローチャートである。
【００９６】
ステップ101では、本開示の方法900を用いてミドルアドレスの領域を確定する。
【００９７】
ステップ103では、FCN分類器の認識結果を用いて画像中のミドルアドレスにおける文字を確定する。
【００９８】
ステップ105では、CNN分類器の認識結果を用いて画像中のアッパーアドレスにおける文字を確定する。
【００９９】
ステップ107では、CNN分類器の認識結果を用いて画像中のロウアーアドレスにおける文字を確定する。
【０１００】
オプションとして、画像中のアッパーアドレスやロウアーアドレスにおける文字は、他の分類器により認識することもできる。
【０１０１】
また、本開示は、日本語受取人アドレスを有する郵便物に対して分類を行う方法に関する。該方法は、本開示の内容により認識された日本語受取人アドレスに基づいて郵便物に対して分類を行うことを含む。
【０１０２】
本開示は、さらに、日本語受取人アドレスを有する郵便物に対して分類を行う装置に関する。該装置は、本開示の内容により認識された日本語受取人アドレスに対して郵便物に対して分類を行うように構成させる。
【０１０３】
一実施例では、本開示は、さらに記憶装置を提供する。記憶装置には、情報処理装置可読プログラムコードが記憶されており、情報処理装置上で該プログラムコードを実行するときに、該プログラムコードは、情報処理装置に本開示の上述の方法を実行させる。記憶装置は、フロッピーディスク、光ディスク、光磁気ディスク、メモリカード、メモリースティックなどを含んでも良いが、これらに限定されない。
【０１０４】
図11は、本開示の一実施例における情報処理装置1100の例示ブロック図である。
【０１０５】
図11では、中央処理装置（CPU）1101は、ROM  1102に記憶されているプログラム又は記憶部1108からRAM  1103にロッドされているプログラムに基づいて各種の処理を行う。RAM  1103では、ニーズに応じて、CPU  1101が各種の処理を行うときに必要なデータなどを記憶することもできる。
【０１０６】
CPU  1101、ROM  1102及びRAM  1103は、バズ1104を経由して互いに接続される。入力／出力インターフェース1105もバス1104に接続される。
【０１０７】
また、入力／出力インターフェース1105には、さらに、次のような部品が接続され、即ち、キーボードなどを含む入力部1106、液晶表示器（LCD）などのような表示器及びスピーカーなどを含む出力部1107、ハードディスクなどを含む記憶部1108、ネットワークインターフェースカード、例えば、LANカード、モデムなどを含む通信部1109である。通信部1109は、例えば、インターネット、ＬＡＮなどのネットワークを経由して通信処理を行う。
【０１０８】
ドライブ1110は、ニーズに応じて、入力／出力インターフェース1105に接続されても良い。取り外し可能な媒体1111、例えば、半導体メモリなどは、必要に応じて、ドライブ1110にセットされることにより、その中から読み取られたコンピュータプログラムを記憶部1108にインストールすることができる。
【０１０９】
CPU  1101は、本開示による方法を実現するためのプログラムコードを実行することができる。
【０１１０】
本開示による方法及び装置は、ミドルアドレスにおける異なる類型の文字に対して、優先度を分けて複数の方法の組み合わせにより認識を行い、少なくとも、認識の効率及び正確度を向上させることができる効果を奏する。
【０１１１】
また、以上の実施例などに関し、さらに以下のように付記として開示する。
【０１１２】
（付記1）
画像を処理する装置であって、
畳み込みネットワーク分類器又は全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックを認識することで前記画像中から条件を満足するシード文字ブロックを選択するための選択ユニットであって、前記条件は、前記シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合の要素のうちの１つであるという条件であり；及び
前記シード文字ブロックを開始ブロックとして、前記画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定するための確定ユニットを含む、装置。
【０１１３】
（付記2）
付記1に記載の装置であって、
前記全層畳み込みネットワーク分類器は、前記画像中の分類待ち文字ブロックが、前記文字集合中の文字以外の文字であるかどうかにかかわらず、前記文字集合中の文字である信頼度を確定する、装置。
【０１１４】
（付記3）
付記1に記載の装置であって、
畳み込みネットワーク分類器を用いて前記画像中の文字ブロックを認識することは、前記画像中の文字の所在領域を細分割することを含む、装置。
【０１１５】
（付記4）
付記3に記載の装置であって、
前記選択ユニットは、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第一CNNシード文字ブロックが出現する場合、前記第一CNNシード文字ブロックを前記シード文字ブロックとして選択し、前記第一CNNシード文字ブロックは、該第一CNNシード文字ブロックの、第一文字サブ集合に関してのCNN分類の最大CNN分類信頼度が第一CNN閾値よりも大きく、且つ該第一CNNシード文字ブロックが該第一CNNシード文字ブロックに直接隣接する数字ブロックを有するという条件を満足し、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第一CNNシード文字ブロックが出現しない場合、次のステップ、即ち、前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第一FCNシード文字ブロックが出現する場合、前記第一FCNシード文字ブロックを前記シード文字ブロックとして選択するステップを行い、前記第一FCNシード文字ブロックは、該第一FCNシード文字ブロックの、前記第一文字サブ集合に関してのFCN分類の最大FCN分類信頼度が第一FCN閾値よりも大きく、且つ該第一FCNシード文字ブロックが該第一FCNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満足し、
前記第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”からなり、
前記数字ブロックは、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件を満足するものである、装置。
【０１１６】
（付記5）
付記4に記載の装置であって、
前記選択ユニットは、
前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第一FCNシード文字ブロックが出現しない場合、次のステップ、即ち、前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第二FCNシード文字ブロックが出現する場合、前記第二FCNシード文字ブロックを前記シード文字ブロックとして選択するステップを行い、前記第二FCNシード文字ブロックは、該第二FCNシード文字ブロックの、文字“-”に関するFCN分類のFCN分類信頼度が第二FCN閾値よりも大きく、且つ該第二FCNシード文字ブロックが該第二FCNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満足する、装置。
【０１１７】
（付記6）
付記5に記載の装置であって、
前記選択ユニットは、
前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第二FCNシード文字ブロックが出現しない場合、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第二CNNシード文字ブロックが出現する場合、前記第二CNNシード文字ブロックを前記シード文字ブロックとして選択し、前記第二CNNシード文字ブロックは、該第二CNNシード文字ブロックの、数字集合に関してのCNN分類の最大CNN分類信頼度が第二CNN閾値よりも大きく、且つ該第二CNNシード文字ブロックが該第二CNNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満足し、
前記畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに最後まで前記第二CNNシード文字ブロックが出現しない場合、次のステップ、即ち、前記全層畳み込みネットワーク分類器を用いて前記画像中の文字ブロックに対して分類を行うときに第三FCNシード文字ブロックが出現する場合、前記第三FCNシード文字ブロックを前記シード文字ブロックとして選択し、前記第三FCNシード文字ブロックは、該第三FCNシード文字ブロックの、前記数字集合に関してのFCN分類の最大FCN分類信頼度が第三FCN閾値よりも大きく、且つ該第三FCNシード文字ブロックが該第三FCNシード文字ブロックに直接隣接する前記数字ブロックを有するという条件を満足し、
前記数字集合は、文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる、装置。
【０１１８】
（付記7）
付記1に記載の装置であって、
前記選択ユニットは、
前記畳み込みネットワーク分類器を用いて、各文字ブロックに対して、前記文字集合に関しての分類を行うことで、各文字ブロックのCNN分類及びCNN分類信頼度を確定し、
前記全層畳み込みネットワーク分類器を用いて、各文字ブロックに対して、前記文字集合に関しての分類を行うことで、各文字ブロックのFCN分類及びFCN分類信頼度を確定する、装置。
【０１１９】
（付記8）
付記7に記載の装置であって、
前記選択ユニットは、
各CNN分類からなるCNN分類集合に、次の条件を満たす第一CNN分類が含まれる場合、前記第一CNN分類に対応する文字ブロックをシード文字ブロックとして選択し、即ち、該第一CNN分類が第一文字サブ集合に属し、該第一CNN分類に対応する第一CNN分類信頼度が第一CNN閾値よりも大きく、且つ該第一CNN分類に対応する文字ブロックが該文字ブロックに直接隣接する数字ブロックを有するという条件であり、
前記第一文字サブ集合は、文字“番”、“地”、“丁”、“目”及び“号”からなり、
前記数字ブロックは、次の条件を満たす文字ブロックであり、即ち、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件である、装置。
【０１２０】
（付記9）
付記8に記載の方法であって、
前記選択ユニットは、
前記CNN分類集合に前記第一CNN分類が含まれない場合、
各FCN分類からなるFCN分類集合に、次の条件を満たす第一FCN分類が含まれる場合、前記第一FCN分類に対応する文字ブロックをシード文字ブロックとして確定し、即ち、該第一FCN分類が前記第一文字サブ集合に属し、該第一FCN分類に対応する第一FCN分類信頼度が第一FCN閾値よりも大きく、且つ該第一FCN分類に対応する文字ブロックが該文字ブロックに直接隣接する前記数字ブロックを有するという条件である、装置。
【０１２１】
（付記10）
付記9に記載の装置であって、
前記選択ユニットは、
前記FCN分類集合に前記第一FCN分類が含まれない場合、
前記FCN分類集合に次の条件を満たす第二FCN分類が含まれる場合、前記第二FCN分類に対応する文字ブロックをシード文字ブロックとして選択し、即ち、該第二FCN分類が文字“-”であり、該第二FCN分類に対応する第二FCN分類信頼度が第二FCN閾値よりも大きく、且つ該第二FCN分類に対応する文字ブロックが該文字ブロックに直接隣接する前記数字ブロックを有するという条件である、装置。
【０１２２】
（付記11）
付記10に記載の装置であって、
前記選択ユニットは、
前記FCN分類集合に前記第二FCN分類が含まれない場合、
前記CNN分類集合に次の条件を含む第二CNN分類が含まれる場合、前記第二CNN分類に対応する文字ブロックをシード文字ブロックとして選択し、即ち、該第二CNN分類が数字集合に属し、該第二CNN分類に対応する第二CNN分類信頼度が第二CNN閾値よりも大きく、且つ該第二CNN分類に対応する文字ブロックが該文字ブロックに直接隣接する前記数字ブロックを有するという条件であり、
前記数字集合は、文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる、装置。
【０１２３】
（付記12）
付記11に記載の装置であって、
前記選択ユニットは、
前記CNN分類集合に前記第二CNN分類が含まれない場合、
前記FCN分類集合に次の条件を満たす第三FCN分類が含まれる場合、前記第三FCN分類に対応する文字ブロックを前記シード文字ブロックとして選択し、即ち、該第三FCN分類が前記数字集合に属し、該第三FCN分類に対応する第三FCN分類信頼度が第三FCN閾値よりも大きく、且つ該第三FCN分類に対応する文字ブロックが該文字ブロックに直接隣接する前記数字ブロックを有するという条件である、装置。
【０１２４】
（付記13）
付記7に記載の装置であって、
前記選択ユニットは、
第一CNN分類集合中で最大信頼度を有する第一最信頼CNN分類の信頼度が第一CNN閾値よりも大きい場合、前記第一最信頼CNN分類に対応する文字ブロックを前記シード文字ブロックとして選択し、
前記第一CNN分類集合は、各CNN分類のうち、次の条件を満たす分類からなり、即ち、該分類が第一文字サブ集合に属し、且つ該分類に対応する文字ブロックが該文字ブロックに直接隣接する数字ブロックを有するという条件であり、
前記第一文字サブ集合は、“番”、“地”、“丁”、“目”及び“号”からなり、
前記数字ブロックは、次の条件を満たす文字ブロックであり、即ち、該文字ブロックが文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”のうちの１つと認識される信頼度が所定閾値よりも大きいという条件である、装置。
【０１２５】
（付記14）
付記13に記載の装置であって、
前記選択ユニットは、
前記第一CNN分類集合中で最大信頼度を有する前記第一最信頼CNN分類の信頼度が前記第一CNN閾値以下の場合、
第一FCN分類集合中で最大信頼度を有する第一最信頼FCN分類の信頼度が第一FCN閾値よりも大きい場合、前記第一最信頼FCN分類に対応する文字ブロックを前記シード文字ブロックとして確定し、前記第一FCN分類集合は、各FCN分類のうち、次の条件を満たす分類からなり、即ち、該分類が前記第一文字サブ集合に属し、且つ該分類に対応する文字ブロックが該文字ブロックに直接隣接する数字ブロックを有するという条件である、装置。
【０１２６】
（付記15）
付記14に記載の装置であって、
前記選択ユニットは、
前記第一FCN分類集合中で最大信頼度を有する前記第一最信頼FCN分類の信頼度が前記第一FCN閾値以下である場合、
第二FCN分類集合中で最大信頼度を有する第二最信頼FCN分類の信頼度が第二FCN閾値よりも大きい場合、前記第二最信頼FCN分類に対応する文字ブロックを前記シード文字ブロックとして選択し；
前記第二FCN分類集合は、各FCN分類のうち、次の条件を満たす分類からなり、即ち、該分類が文字“-”であり、且つ該分類に対応する文字ブロックが該文字ブロックに直接隣接する数字ブロックを有するという条件である、装置。
【０１２７】
（付記16）
付記15に記載の装置であって、
前記選択ユニットは、
第二CNN分類集合中で最大信頼度を有する第二最信頼CNN分類の信頼度が第二CNN閾値よりも大きい場合、前記第二最信頼CNN分類に対応する文字ブロックを前記シード文字ブロックとして選択し；
前記第二CNN分類集合は、各CNN分類のうち、次の条件を満たす分類からなり、即ち、該分類が数字集合に属し、且つ該分類に対応する文字ブロックが該文字ブロックに直接隣接する前記数字ブロックを有するという条件であり、
前記数字集合は、文字“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる、装置。
【０１２８】
（付記17）
付記16に記載の装置であって、
前記選択ユニットは、
前記第二最信頼CNN分類の信頼度が前記第二CNN閾値以下である場合、
第三FCN分類集合中で最大信頼度を有する第三最信頼FCN分類の信頼度が第三FCN閾値よりも大きい場合、前記第三最信頼FCN分類に対応する文字ブロックを前記シード文字ブロックとして選択し、
前記第三FCN分類集合は、各FCN分類のうち、次の条件を満たす分類からなり、即ち、該分類が前記数字集合に属し、且つ該分類に対応する文字ブロックが該文字ブロックに直接隣接する前記数字ブロックを有するという条件である、装置。
【０１２９】
（付記18）
付記1に記載の装置であって、
前記確定ユニットは、
前記シード文字ブロックと前記シード文字ブロックの左側の左候補シード文字ブロックとの間の間隙を検出し、
前記間隙が間隙閾値よりも大きい場合、前記シード文字ブロックの位置に基づいて、前記ミドルアドレスの左境界を設定し、そうでない場合、
前記畳み込みネットワーク分類器により、前記左候補シード文字ブロックに対応する文字が前記文字集合に属すると確定される場合、前記左候補シード文字ブロックを次の１つのシード文字ブロックとして設定し、そうでない場合、以下のステップ、即ち、
前記全層畳み込みネットワーク分類器により、前記左候補シード文字ブロックに対応する文字が前記文字集合に属すると確定される場合、前記左候補シード文字ブロックを次の１つのシード文字ブロックとして設定し、それでない場合、前記シード文字ブロックに基づいて前記ミドルアドレスの左境界を設定するステップを行う、装置。
【０１３０】
（付記19）
付記1に記載の装置であって、
前記確定ユニットは、
前記シード文字ブロックと、前記シード文字ブロックの右側の右候補シード文字ブロックとの間の間隙を検出し、
前記間隙が間隙閾値よりも大きい場合、前記シード文字ブロックに基づいて前記ミドルアドレスの右境界を設定し、そうでない場合、
前記畳み込みネットワーク分類器により、前記右候補シード文字ブロックに対応する文字が前記文字集合に属すると確定される場合、前記右候補シード文字ブロックを次の１つのブロックとして設定し、そうでない場合、以下のステップ、即ち、
前記全層畳み込みネットワーク分類器により、前記右候補シード文字ブロックに対応する文字が前記文字集合に属すると確定される場合、前記右候補シード文字ブロックを次の１つのシード文字ブロックとして設定し、そうでない場合、前記シード文字ブロックに基いいて前記ミドルアドレスの右境界を設定するステップを行う、装置。
【０１３１】
（付記20）
画像を処理する方法であって、
畳み込みネットワーク分類器又は全層畳み込みネットワーク分類器を用いて画像中の文字ブロックを認識することで、画像中から条件を満足するシード文字ブロックを選択し、前記条件は、該シード文字ブロックに対しての認識結果が文字“番”、“地”、“丁”、“目”、“号”、“-”、“0”、“1”、“2”、“3”、“4”、“5”、“6”、“7”、“8”及び“9”からなる文字集合Sの要素のうちの１つであるという条件であり；及び
前記シード文字ブロックを開始ブロックとして、前記画像中で日本語受取人アドレスにおけるミドルアドレスの領域を確定することを含む、方法。
【０１３２】
以上、本開示の好ましい実施形態を説明したが、本開示はこの実施形態に限定されず、本開示の趣旨を離脱しない限り、本開示に対するあらゆる変更は、本開示の技術的範囲に属する。
【図１】
2020077413.tif 000003
【図２】
2020077413.tif 000004
【図３】
2020077413.tif 000005
【図４】
2020077413.tif 000006
【図５】
2020077413.tif 000007
【図６】
2020077413.tif 000008
【図７】
2020077413.tif 000009
【図８】
2020077413.tif 000010
【図９】
2020077413.tif 000011
【図１０】
2020077413.tif 000012
【図１１】
2020077413.tif 000013