(57)【要約】【課題】情報処理方法、情報処理装置及びスキャナを提供する。【解決手段】情報処理装置は、複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を実行するプロセッサを含む。【選択図】図１
2020140706.tif 000002
【特許請求の範囲】
【請求項１】
テキスト内容を含む複数のスキャン画像を処理する情報処理装置であって、
複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、
認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、
畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、
抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を実行するプロセッサを含む、情報処理装置。
【請求項２】
プロセッサは、
ＣＴＰＮ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  Ｔｅｘｔ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に基づくテキスト行検出方法を用いて、複数のスキャン画像からタイトルテキスト行をそれぞれ検出するステップ、をさらに実行する、請求項１に記載の情報処理装置。
【請求項３】
プロセッサは、
ＣＲＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に基づく系列テキスト認識方法を用いて、検出されたタイトルテキスト行からタイトルテキストを認識するステップ、をさらに実行する、請求項２に記載の情報処理装置。
【請求項４】
予め定義された複数の構造カテゴリについてラベル付き訓練画像を用いて畳み込みニューラルネットワークに基づく分類器を訓練することで、畳み込みニューラルネットワークに基づく特徴抽出器を取得する、請求項１に記載の情報処理装置。
【請求項５】
複数のスキャン画像は、バッチスキャンにより取得される、請求項１乃至４の何れかに記載の情報処理装置。
【請求項６】
プロセッサは、
複数のスキャン画像からページ番号関連情報をそれぞれ抽出するステップと、
未知構造カテゴリに分類された現在のスキャン画像について、現在のスキャン画像の直前の既知カテゴリに分類されたスキャン画像のカテゴリ、及び該直前の既知カテゴリに分類されたスキャン画像から現在のスキャン画像までの各スキャン画像のページ番号関連情報に基づいて、現在のスキャン画像を該直前の既知カテゴリに分類されたスキャン画像と同一のカテゴリに分類するか、それとも未知構造カテゴリのまま維持するかを決定するステップと、をさらに実行する、請求項５に記載の情報処理装置。
【請求項７】
複数のスキャン画像は、証明書、登記文書、フォーム又は契約のスキャン画像を含む、請求項１乃至４の何れかに記載の情報処理装置。
【請求項８】
請求項１乃至７の何れかに記載の情報処理装置を含む、スキャナ。
【請求項９】
テキスト内容を含む複数のスキャン画像を処理する情報処理方法であって、
複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、
認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、
畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、
抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を含む、情報処理方法。
【請求項１０】
ＣＴＰＮ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  Ｔｅｘｔ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に基づくテキスト行検出方法を用いて、複数のスキャン画像からタイトルテキスト行をそれぞれ検出する、請求項９に記載の情報処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に情報処理分野に関し、具体的には、テキスト内容を含む複数のスキャン画像を処理するための情報処理方法、並びに該情報処理方法を実現可能な情報処理装置及びスキャナに関する。
【背景技術】
【０００２】
銀行、ツーリストサービスセンタ、町役所、出入国ロビーなどの機関は、一般に、毎日様々な顧客や申請者からの大量の文書を収集して分類する必要がある。各顧客や申請者は、身分証明書、銀行カード、結婚証明書、戸籍証明書、申請書、関連契約書及び他の証明書類などの様々なタイプの文書を提供し、自らスキャンし、或いは関連機関のスタッフによりスキャンされ、電子版を保存する場合がある。
【０００３】
スキャナなどの既存の装置を用いて、全ての文書画像を自動的に収集することができる。しかし、スキャンされた文書画像の後続の分類作業は、依然として手動で行う必要がある。関連機関にとって、これは巨大で、負担が大きい作業であり、大量の人的資源を消費する。
【０００４】
従って、処理効率を向上させるように、スキャン文書画像（テキスト内容を含むスキャン画像とも称される）を自動的に分類する方法を提供することが望ましい。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
以下は、本開示の態様を基本的に理解させるために、本開示の簡単な概要を説明する。なお、この簡単な概要は、本開示を網羅的な概要ではなく、本開示のポイント又は重要な部分を意図的に特定するものではなく、本開示の範囲を意図的に限定するものではなく、後述するより詳細的な説明の前文として、単なる概念を簡単な形で説明することを目的とする。
【０００６】
本発明は、スキャン文書画像を自動的に分類できる方法の需要に鑑み、テキスト内容を含む複数のスキャン画像を自動的に分類することができる、情報処理方法、並びに該情報処理方法を実現可能な情報処理装置及びスキャナを提供することを目的とする。
【課題を解決するための手段】
【０００７】
本開示の１つの態様では、テキスト内容を含む複数のスキャン画像を処理する情報処理方法であって、複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を含む、情報処理方法を提供する。
【０００８】
本開示のもう１つの態様では、テキスト内容を含む複数のスキャン画像を処理する情報処理装置であって、複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を実行するプロセッサを含む、情報処理装置を提供する。
【０００９】
本開示のもう１つの態様では、本開示の上記の情報処理装置を含む、スキャナを提供する。
【００１０】
本開示の他の態様では、コンピュータに、上記の情報処理方法を実現させるプログラムをさらに提供する。
【００１１】
本開示の他の態様では、機器読み取り可能な命令コードが記憶された記憶媒体であって、前記命令コードが機器により読み取られ、実行される際に、機器に上記の情報処理方法を実行させる記憶媒体をさらに提供する。
【００１２】
本開示の実施例の各態様によれば、テキスト内容を含む複数のスキャン画像を自動的に分類することができる、情報処理方法、情報処理装置、スキャナ、プログラム及び記憶媒体を提供することができる。
【００１３】
以下は図面を参照しながら本開示の好ましい実施形態を詳細に説明することにより、本開示の上記及び他の利点はより明確になる。
【図面の簡単な説明】
【００１４】
本開示の上記及び他の利点及び特徴を理解させるために、以下は図面を参照しながら本開示の具体的な実施形態を詳細に説明する。図面及び以下の詳細な説明は本明細書に含まれ、本明細書の一部を構成する。同一の機能及び構造を有する素子は同一の符号で示される。なお、これらの図面は単なる本開示の典型的な例を説明するためのものであり、本開示の範囲を限定するものではない。
【図１】本開示の実施例に係る情報処理方法の流れの１つの例を示すフローチャートである。
【図２】図１の情報処理方法におけるタイトルテキスト認識ステップにおいて行われる処理の１つの例を説明するための説明図である。
【図３】ＣＴＰＮテキスト検出方法を説明するための説明図である。
【図４】スキャン画像におけるタイトルテキストの１つの例を説明するための模式図である。
【図５】本開示の実施例に係る情報処理方法の流れのもう１つの例を示すフローチャートである。
【図６】本開示の実施例に係る情報処理装置の構成の１つの例を示すブロック図である。
【図７】図６の情報処理装置におけるタイトルテキスト認識部の構成の１つの例を示すブロック図である。
【図８】本開示の実施例に係る情報処理装置の構成のもう１つの例を示すブロック図である。
【図９】本開示の実施例に係る情報処理方法、装置及びデバイスを実現可能なハードウェア構成の１つの例を示すブロック図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しながら本開示の例示的な実施例を詳細に説明する。説明の便宜上、明細書には実際の実施形態の全ての特徴が示されていない。なお、実際に実施する際に、開発者の具体的な目標を実現するために、特定の実施形態を変更してもよい、例えばシステム及び業務に関する制限条件に応じて実施形態を変更してもよい。また、開発作業が非常に複雑であり、且つ時間がかかるが、本公開の当業者にとって、この開発作業は単なる例の作業である。
【００１６】
なお、本開示を明確にするために、図面には本開示に密に関連する装置の構成要件及び／又は処理のステップのみが示され、本開示と関係のない細部が省略されている。
【００１７】
本開示の１つの態様では、情報処理方法を提供する。図１は、本開示の実施例に係る情報処理方法１００の流れの１つの例を示すフローチャートである。
【００１８】
図１に示すように、情報処理方法１００は、テキスト内容を含む複数のスキャン画像を処理し、以下のステップを含んでもよい。ステップＳ１０１において、複数のスキャン画像からタイトルテキストをそれぞれ認識する。ステップＳ１０３において、認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類する。ステップＳ１０５において、畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出する。ステップＳ１０７において、抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類する。
【００１９】
一例として、本実施例の情報処理方法により処理されるスキャン画像は、銀行、ツーリストサービスセンタ、町役所、出入国ロビーなどの機関により顧客又は申請者から受信された各種の文書のスキャン画像であってもよい。例えば、スキャン画像は、証明書、登記文書、フォーム、契約及び／又は銀行カードなどのスキャン画像を含んでもよい。
【００２０】
上記の機関により処理されるスキャン画像の種類及びフォーマットが多く、これらのスキャン画像が混在する場合があり、また、一部の画像が非常に類似する可能性があるため、従来のテキスト又は画像の分類方法を用いてこのような画像を分類することは困難である。
【００２１】
上記の状況を鑑み、本発明の発明者は、本開示の情報処理方法を提案した。以下は、銀行ローンセンタで処理されるスキャン画像を一例にして本実施例の情報処理方法を説明する。なお、本実施例の情報処理方法はテキスト内容を含むスキャン画像を分類する必要のあるあらゆる可能なシナリオに適用されてもよく、ここでその説明を省略する。
【００２２】
本実施例の情報処理方法を適用する前に、ターゲットの適用シナリオにおいて処理されるスキャン画像について、Ｍ個のテキストカテゴリ及びＮ個の構造カテゴリを予め定義してもよく、ここで、Ｍ及びＮは１よりも大きい自然数である。テキストカテゴリは、固定のフォーマットを有しないフォーム、契約などのテキスト内容を主な内容とするスキャン画像、即ち非構造化のスキャン画像に対応してもよい。構造カテゴリは、比較的に固定のフォーマット又は構造を有するスキャン画像、即ち構造化のスキャン画像に対応してもよい。銀行ローンセンタの例示的なシナリオでは、予め定義されたテキストカテゴリは、ローン返済申請書、情報変更書、申請委任状、ローン契約などを含んでもよく、予め定義された構造カテゴリは、身分証明書、結婚証明書、銀行カード、不動産証明書などを含んでもよい。
【００２３】
以下は、情報処理方法１００における各ステップＳ１０１〜Ｓ１０７において実行される処理の一例を説明する。
【００２４】
ステップＳ１０１において、まず、複数の処理すべきスキャン画像のうちの各スキャン画像からタイトルテキストを認識する。テキスト内容を主な内容とする非構造化のスキャン画像では、タイトルテキストは、本文テキストよりもフォーマット及び内容で高い認識度を有し、異なる書類を区別するための重要な特徴である。従って、ここでは、処理の負荷を軽減するために、タイトルテキストのみを認識してもよい。
【００２５】
以下は、図２を参照しながらステップＳ１０１において実行される処理の一例を説明する。図２は図１の情報処理方法におけるステップＳ１０１において行われる処理の１つの例を説明するための説明図である。
【００２６】
一例として、図２に示すように、タイトルテキストを認識するためのステップＳ１０１は、以下のステップを含んでもよい。ステップＳ１０１１において、各スキャン画像からタイトルテキスト行をそれぞれ検出する。ステップＳ１０１３において、検出されたテキスト行から、系列テキスト認識方法を用いてタイトルテキストを認識する。
【００２７】
１つの好ましい態様では、ステップＳ１０１１において、ＣＴＰＮ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  Ｔｅｘｔ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に基づくテキスト行検出方法を用いて、複数のスキャン画像からタイトルテキスト行をそれぞれ検出してもよい。
【００２８】
本開示の適用シナリオでは、異なるスキャン文書のタイトルテキストのフォーマット（長さ、幅、位置、フォントなど）が大きく異なるため、タイトルテキストのフォーマットを仮定し、或いは簡単な固定的なアルゴリズムを用いて取得することができない。このため、ステップＳ１０１１において、まず、各スキャン画像について、汎用のテキスト検出に適するＣＴＰＮテキスト行検出方法を用いて、文書における全てのテキスト行を検出してもよい。
【００２９】
図３はＣＴＰＮテキスト行検出方法を説明するための説明図である。図３に示すように、ＣＴＰＮは、ファインスケール検出提案（ｆｉｎｅ−ｓｃａｌｅ  ｄｅｔｅｃｔｉｏｎ  ｐｒｏｐｏｓａｌ）の固定幅の検出枠（図示している複数の小さな縦方向の矩形枠３０１など）を用いて画像におけるテキストを検出することで、非所定の長さを有するテキストに対してもより細かく、且つより正確な検出結果を取得することができる。なお、各種の従来のＣＴＰＮに基づくテキスト検出技術を用いてテキスト行を検出してもよいが、ここでその説明を省略する。
【００３０】
ＣＴＰＮなどのテキスト行検出方法を用いてスキャン画像におけるテキスト行を検出した後に、所定の位置規則に従って、検出された全てのテキスト行からタイトルテキスト行を決定してもよい。一例として、スキャン画像の最上部に位置するテキスト行をタイトルテキスト行としてもよいし、スキャン画像の最上部に位置し、且つ中央ラインに位置するテキスト行をタイトルテキスト行としてもよい。
【００３１】
図４はスキャン画像におけるタイトルテキストの１つの例を説明するための模式図である。図４に示すように、該例のスキャン画像における外側矩形枠で示される複数のテキスト行から、画像の最上部に位置し、且つ中央ラインに位置するテキスト行４０１をタイトルテキスト行として検出する。
【００３２】
次に、図２に戻り、ステップＳ１０１１においてタイトルテキスト行が検出された後に、ステップＳ１０１３の処理を実行してもよい。例えば、図４に示す検出されたタイトルテキスト行４０１において、系列テキスト認識方法を用いてタイトルテキスト「個人住宅商業ローンから準備基金個人住宅抵当ローンへの変更申請書」を認識してもよい。
【００３３】
１つの好ましい態様では、ＣＲＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ：畳み込みリカレントニューラルネットワーク）に基づく系列テキスト認識方法を用いて、検出されたタイトルテキスト行からタイトルテキストを認識してもよい。
【００３４】
ＣＲＮＮは、系列認識を行うために畳み込みニューラルネットワーク（ＣＮＮ）とリカレントニューラルネットワーク（ＲＮＮ）を組み合わせたネットワークフレームワークである。従来の文字ベースの光学式文字認識（ＯＣＲ）方法に比べて、ＣＲＮＮは、テキストを個別の文字でなく、連続的な系列信号として処理する。ＣＲＮＮは、連続的な系列信号の方式で認識処理を行うことで、テキストのコンテキスト情報を利用することができると共に、本実施例のようなタイトルテキストのフォント、長さ及び大きさなどの変化が大きい場合であっても、正確な認識結果を取得することができる。なお、各種の従来のＣＲＮＮに基づくテキスト認識技術を用いてタイトルテキスト認識の処理を実現してもよいが、ここでその説明を省略する。
【００３５】
なお、ＣＴＰＮテキスト行検出方法及びＣＲＮＮ系列テキスト認識方法を一例にして図２における処理を説明しているが、他のテキスト行検出方法及び系列テキスト認識方法を用いて図２における処理を行ってもよい。
【００３６】
以上は図２を参照しながらステップＳ１０１において実行される処理の一例を説明した。次に、図１に戻り、本実施例の情報処理方法の説明を続ける。
【００３７】
ステップＳ１０１において例えば図２に示す方法により各スキャン画像から図４に示すタイトルテキストが認識された後に、図１に示す情報処理方法１００はステップＳ１０３に進む。ステップＳ１０３において、各スキャン画像の認識されたタイトルテキストと予め定義された複数のテキストカテゴリのうちの各カテゴリのタイトルテキストとを比較し、比較結果に基づいて対応するスキャン画像を分類してもよい。
【００３８】
一例として、ステップＳ１０１において認識されたタイトルテキストとＭ個のテキストカテゴリのうちの各テキストカテゴリのタイトルテキストとの編集距離（Ｌｅｖｅｎｓｈｔｅｉｎ  ｄｉｓｔａｎｃｅ：レーベンシュタイン距離）を計算してもよい。ここで、Ｍ個のテキストカテゴリのそれぞれのタイトルテキストである「ローン返済申請書」、「情報変更書」、「申請委任状」、「個人住宅商業ローンから準備基金個人住宅抵当ローンへの変更申請書」などは、予め定義された辞書に予め記憶されてもよいし、テーブルの形で記憶されてもよく、各テキストカテゴリはそのタイトルテキストに関連付けられている。
【００３９】
各スキャン画像のタイトルテキストについて、Ｍ個のテキストカテゴリのＭ個の編集距離が計算された後に、このＭ個の編集距離と所定の閾値Ｔ１とを比較してもよい。このＭ個のテキストカテゴリに閾値Ｔ１よりも小さい編集距離を有するテキストカテゴリがある場合、対応するスキャン画像を該テキストカテゴリに分類してもよい。逆に、編集距離が何れも閾値Ｔ１よりも大きい場合、後続の処理を行うように、該スキャン画像を未知テキストカテゴリに分類してもよい。
【００４０】
複数の処理すべきスキャン画像についてステップＳ１０１乃至Ｓ１０３の処理が行われた後に、全てのスキャン画像は、予め定義されたＭ個のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類された。次に、未知テキストカテゴリに分類された全てのスキャン画像についてステップＳ１０５乃至Ｓ１０７の処理を行う。
【００４１】
ステップＳ１０５において、まず、畳み込みニューラルネットワーク（ＣＮＮ）に基づく特徴抽出器を用いて、未知テキストカテゴリに分類された各スキャン画像から画像特徴をそれぞれ抽出する。
【００４２】
１つの好ましい態様では、このＣＮＮに基づく特徴抽出器は、予め定義された複数の構造カテゴリについてラベル付き訓練画像を用いてＣＮＮに基づく分類器を訓練することで取得される。
【００４３】
例えば、ターゲットの応用シナリオではＮ個の構造カテゴリが予め定義された（Ｎは１よりも大きい自然数である）場合、このＮ個の構造カテゴリについてスキャン画像を分類するためのＣＮＮ分類器を構築する。例えば、幾つかの畳み込み層、幾つかのプーリング層、及び全結合層などを含むＣＮＮ分類器を構築してもよい。該ＣＮＮ分類器にＮ個の構造カテゴリにそれぞれ属し、且つカテゴリが予めラベル付けされた複数の訓練スキャン画像を入力し、訓練により、ＣＮＮ分類器のこれらの訓練スキャン画像に対する分類結果が予めラベル付けされた真のカテゴリに接近するようにする。畳み込みニューラルネットワークに基づく画像分類器を構築するための既知の方法を用いて、ここで用いられるＣＮＮ分類器を構築し、既知の訓練方法を用いて該分類器の最適化されたパラメータを取得してもよいが、ここでその説明を省略する。
【００４４】
訓練されたＣＮＮ分類器が取得された後に、それを特徴抽出器として用いてもよい。具体的には、処理すべきスキャン画像を該ＣＮＮ分類器に入力し、その１つの層（例えば、１つの畳み込み層、好ましくは、全結合層に近い１つの畳み込み層）の出力を、該スキャン画像から抽出された画像特徴としてもよい。
【００４５】
ステップＳ１０１乃至Ｓ１０３の処理により未知テキストカテゴリに分類された画像は構造化のスキャン画像、例えば身分証明書、結婚証明書、銀行カード、不動産証明書などのスキャン画像である可能性があるため、これらの画像について画像分類の方法を用いて画像特徴を抽出して後続の分類を行うことで、良好な分類結果を取得することができる。ステップＳ１０５において、ＣＮＮに基づく特徴抽出器を用いるため、ＣＮＮの強い画像処理能力を利用することができるため、分類結果をさらに改善することができる。
【００４６】
ステップＳ１０５において未知テキストカテゴリに分類された各スキャン画像から画像特徴がそれぞれ抽出された後に、処理はステップＳ１０７に進む。ステップＳ１０７において、未知テキストカテゴリに分類されたスキャン画像の画像特徴と予め定義された複数の構造カテゴリのうちの各構造カテゴリの画像特徴とをそれぞれ比較し、比較結果に基づいて対応するスキャン画像を上記の複数の構造カテゴリの１つ又は未知構造カテゴリに分類してもよい。
【００４７】
なお、ステップＳ１０７において用いられる予め定義された複数の構造カテゴリのうちの各構造カテゴリの画像特徴は、ステップＳ１０５において用いられるＣＮＮに基づく特徴抽出器を用いて予め取得される。一例として、上記のＣＮＮに基づく特徴抽出器を用いて各構造カテゴリの訓練スキャン画像（又はサンプルスキャン画像）から対応する画像特徴を予め抽出し、例えばテーブルの形で構造カテゴリに関連付けて記憶してもよいが、ここでその説明を省略する。
【００４８】
ここで、未知テキストカテゴリのスキャン画像について構造カテゴリの分類を行う際に、オープンセット（ｏｐｅｎ−ｓｅｔ）分類方法を用いる。言い換えれば、ステップＳ１０５において用いられるＣＮＮに基づく特徴抽出器は、予め定義されたＮ個の構造カテゴリについて該Ｎ個の構造カテゴリの訓練スキャン画像を用いてＣＮＮに基づくＮ個の分類器を訓練することで取得される。ステップＳ１０７において処理すべきスキャン画像を分類する際に、上記のＮ個の構造カテゴリを考慮することだけではなく、未知構造カテゴリをさらに考慮し、即ち処理すべきスキャン画像に対してＮ＋１種類（Ｎ個の構造カテゴリ＋未知構造カテゴリ）の分類を行う。このように、既知のＮ個の構造カテゴリ以外の未知カテゴリの画像又はノイズ画像の干渉を回避することができるため、本実施例の情報処理方法の堅牢性を向上させることができる。
【００４９】
一例として、ステップＳ１０７において、各未知テキストカテゴリの処理すべきスキャン画像の画像特徴と予め定義されたＮ個の構造カテゴリのうちの各構造カテゴリの画像特徴との類似度、例えばコサイン類似度又はユークリッド距離などを計算してもよい。次に、このＮ個の類似度と所定閾値Ｔ２とを比較してもよい。例えば、このＮ個の構造カテゴリに閾値Ｔ２よりも小さいコサイン類似度を有する構造カテゴリがある場合、対応するスキャン画像を該構造カテゴリに分類してもよい。逆に、コサイン類似度が何れも閾値Ｔ２よりも大きい場合、該スキャン画像を未知構造カテゴリに分類してもよい。
【００５０】
未知テキストカテゴリに分類されたスキャン画像の全てについてステップＳ１０５乃至Ｓ１０７の処理が行われた後に、情報処理方法１００が終了し、全てのスキャン画像は予め定義された複数のテキストカテゴリの何れか、予め定義された複数の構造カテゴリの何れか、又は未知構造カテゴリに分類された。未知構造カテゴリのスキャン画像は、ノイズと見なされてもよいし、オプションの後続処理によりその分類を最適化してもよい（詳細は図５を参照しながら後述する）。
【００５１】
以上は図１乃至図４を参照しながら本開示の実施例に係る情報処理方法の流れの１つの例を説明した。上述したように、本実施例の情報処理方法は、まず、ステップＳ１０１及びステップＳ１０３においてタイトルテキストを認識し、認識結果に基づいて既知テキストカテゴリのスキャン画像及び未知テキストカテゴリのスキャン画像に分類する。次に、ステップＳ１０５及びステップＳ１０３において、未知テキストカテゴリに分類されたスキャン画像について、ＣＮＮに基づく特徴抽出器を用いて画像特徴を抽出し、画像特徴に基づいて既知構造カテゴリのスキャン画像及び未知構造カテゴリのスキャン画像に分類する。
【００５２】
このように、本実施例の情報処理方法は、異なるタイプのスキャン画像について異なる分類方法を優先的に適用することができるため、正確な分類を実現することができる。また、まずタイトルテキスト認識方法によりテキストカテゴリのスキャン画像を分類し、そして、テキストカテゴリに分類できないスキャン画像について画像特徴を抽出して画像分類方法を用いて分類を行うことで、処理の負荷を軽減し、処理の精度を向上させることができる。
【００５３】
以下は、本開示の実施例の１つの応用シナリオが考慮され、即ち分類される複数のスキャン画像はバッチスキャン（ｂａｔｃｈ  ｓｃａｎ）により取得される。本開示の実施例の各種の可能な適用シナリオでは、バッチスキャンは典型的なシナリオの１つである。例えば銀行などの機関が各顧客又は申請者の書類のスキャン画像を受信する場合、書類を各ページごとにスキャンする方法でなく、バッチスキャンにより取得する可能性が高い。このため、本発明の発明者は、バッチスキャンの場合に複数のスキャン画像間の関係を用いて分類結果を最適化する実施例を提案している。
【００５４】
以下は、図５を参照しながらバッチスキャンのシナリオに適用する実施例の流れの一例を説明する。図５は本開示の実施例に係るバッチスキャンのシナリオに適用する情報処理方法の流れの一例を示すフローチャートである。
【００５５】
図５に示すように、本実施例の情報処理方法５００は、図１の情報処理方法１００とは異なり、図１におけるステップＳ１０１乃至Ｓ１０７にそれぞれ対応するステップＳ５０１乃至Ｓ５０７に加えて、ステップＳ５０９及びＳ５１１をさらに含む。ステップＳ５０９において、複数のスキャン画像からページ番号関連情報をそれぞれ抽出する。ステップＳ５１１において、未知構造カテゴリのスキャン画像について、バッチスキャンにより取得されたスキャン画像系列における関連スキャン画像の分類結果及びページ番号関連情報に基づいて分類を最適化する。
【００５６】
上記の相違点を除いて、本実施例の情報処理方法５００における他のステップＳ５０１乃至Ｓ５０７は、図１の情報処理方法１００の対応するステップＳ１０１乃至Ｓ１０７と略同一又は類似する。このため、以下は、図１乃至図４の実施例及び例をベースにして説明し、本実施例との相違点を中心に説明し、共通点の説明を省略する。
【００５７】
まず、図１の情報処理方法１００と同様に、情報処理方法５００のステップＳ５０１乃至Ｓ５０７において、タイトルを有する非構造化のスキャン画像及び大部分の構造化のスキャン画像を、予め定義された複数のテキストカテゴリの何れか、予め定義された複数の構造カテゴリの何れか、又は未知構造カテゴリに分類する。
【００５８】
未知構造カテゴリに分類されたスキャン画像に望ましい画像に属さないノイズ画像が混在する可能性があり、例えば、申請者又は顧客により銀行ローンセンタなどの機関に提出した書類に所定テキストカテゴリに属しておらず、且つ所定構造カテゴリに属さない他の画像が混在する可能性がある。これらの画像をノイズ画像として削除してもよい。
【００５９】
一方、未知構造カテゴリに分類されたスキャン画像に他の状況が存在する可能性がある。例えば、長い契約書類などの非構造化のスキャン画像には複数のページ、例えばＰページ（Ｐは２以上の自然数である）が含まれ、１ページ目だけにはタイトルテキストが含まれる場合がある。この場合は、タイトルを有しない２ページ目乃至Ｐページ目はステップＳ５０３において未知テキストカテゴリに分類され、さらにステップＳ５０７において未知構造カテゴリに分類される可能性がある。別の例として、不動産証明書などの構造化のスキャン画像には複数のページが含まれ、表紙及び裏表紙以外の中間ページに、ＣＮＮに基づく特徴抽出器を訓練するための訓練スキャン画像との差異の大きい不規則なフォーマットが存在する場合、これらの中間ページのスキャン画像を未知構造カテゴリに分類してしまう可能性がある。
【００６０】
このような状況を考慮し、本発明の発明者の発見によると、スキャン画像がバッチスキャンにより取得される場合、ステップＳ５０９及びＳ５１１の処理により、バッチスキャンにより取得されたスキャン画像系列における関連スキャン画像の分類結果及びページ番号関連情報を用いて、未知構造カテゴリに分類されたスキャン画像の分類を最適化してもよい。
【００６１】
実際には、バッチスキャンを行う際に、申請者、顧客又は銀行などの機関のスタッフは、通常、同一の書類の各ページを纏めて順番にスキャンする。言い換えれば、バッチスキャンにより、各ページのスキャン画像に加えて、順序情報を含む文書画像系列をさらに取得し、本実施例では、このような順序情報を用いて複数ページ文書のスキャン画像を分類する。
【００６２】
より具体的には、ステップＳ５１１において、未知構造カテゴリに分類された現在のスキャン画像について、現在のスキャン画像の直前の既知カテゴリ（即ち、予め定義された複数のテキストカテゴリ又は予め定義された複数の構造カテゴリの何れか）に分類されたスキャン画像のカテゴリ、及び該直前の既知カテゴリに分類されたスキャン画像から現在のスキャン画像までの各スキャン画像のページ番号関連情報に基づいて、現在のスキャン画像を該直前の既知カテゴリに分類されたスキャン画像と同一のカテゴリに分類するか、それとも未知構造カテゴリのまま維持するかを決定してもよい。
【００６３】
例えば、現在のスキャン画像の直前の既知カテゴリに分類されたスキャン画像のカテゴリがＰページ（Ｐは２よりも大きい自然数である）を含むと予測された既知テキストカテゴリ又は既知構造カテゴリであり（例えば複数ページの契約などと予測され）、且つ該既知カテゴリのスキャン画像から現在のスキャン画像までの各スキャン画像のページ番号関連情報により示される各ページ番号が連続的に増加し、且つ現在のスキャン画像のページ番号がＰ以下である場合、現在のスキャン画像が該既知カテゴリのスキャン画像の後続ページであると判断する。この場合、現在のスキャン画像を該直前の既知カテゴリに分類されたスキャン画像と同一のカテゴリに分類してもよい。
【００６４】
逆に、例えば、現在のスキャン画像の直前の既知カテゴリに分類されたスキャン画像のカテゴリが単一のページを含むと予測された既知テキストカテゴリ又は既知構造カテゴリである（例えば身分証明書、銀行カードなど）場合、現在のスキャン画像が該既知カテゴリのスキャン画像の後続ページではないと判断する。この場合、現在のスキャン画像を未知構造カテゴリのまま維持してもよい。
【００６５】
また、例えば、現在のスキャン画像の直前の既知カテゴリに分類されたスキャン画像のカテゴリがＰページ（Ｐは２よりも大きい自然数である）を含むと予測された既知テキストカテゴリ又は既知構造カテゴリであり、且つ該既知カテゴリのスキャン画像から現在のスキャン画像までの各スキャン画像のページ番号関連情報により示される各ページ番号が連続的に増加しておらず、或いは現在のスキャン画像のページ番号がＰよりも大きい場合、現在のスキャン画像が該既知カテゴリのスキャン画像の後続ページではないと判断する。この場合、現在のスキャン画像を未知構造カテゴリのまま維持してもよい。
【００６６】
以上は、ステップＳ５１１においてバッチスキャンにより取得されたスキャン画像系列における関連スキャン画像の分類結果及びページ番号関連情報を用いて、未知構造カテゴリに分類されたスキャン画像の分類を最適化する幾つかの具体例を説明した。なお、具体的な応用シナリオに応じて他の最適化方法を構築してもよく、これらの最適化方法は本願の保護範囲内のものである。
【００６７】
未知構造カテゴリに分類された全てのスキャン画像についてステップＳ５１１の処理が行われた後に、情報処理方法５００が終了する。この際に、バッチスキャンにより取得されたスキャン画像系列における関連スキャン画像の分類情報及びページ番号関連情報を用いて、未知構造カテゴリに分類されたスキャン画像の分類を最適化した。
【００６８】
好ましくは、図示されていないが、ステップＳ５１１の処理の後に、未知構造カテゴリに分類された現在のスキャン画像を削除する処理をさらに含んでもよい。具体的には、ステップＳ５１１において現在のスキャン画像が未知構造カテゴリのまま維持された場合、該スキャン画像をノイズ画像として、バッチスキャンにより取得されたスキャン画像系列から削除してもよい。未知構造カテゴリの画像が存在しなくなるまで、該ノイズ画像が削除されたスキャン画像系列に対してステップＳ５１１の処理を繰り返し実行してもよい。このように、スキャン画像系列からノイズ画像を削除することができる。
【００６９】
なお、図５の情報処理方法５００では、ページ番号関連情報の抽出ステップＳ５０９が構造カテゴリの分類ステップＳ５０７の後に行われているが、該順序とは異なる方式で情報処理方法５００の処理を実行してもよい。例えば、ステップＳ５０９は、分類の最適化ステップＳ５１１の前に実行される限り、情報処理方法５００における任意の位置に行われてもよい。
【００７０】
以上は、図５を参照しながら本開示の実施例に係るバッチスキャンのシナリオに適用する情報処理方法の流れの一例を説明した。本実施例の情報処理方法によれば、バッチスキャンにより取得されたスキャン画像系列における関連スキャン画像の分類情報及びページ番号関連情報を用いて、未知構造カテゴリに分類されたスキャン画像の分類を最適化することで、分類結果の精度をさらに改善することができる。
【００７１】
本開示のもう１つの態様では、情報処理装置を提供する。図６は本開示の実施例に係る情報処理装置の構成の１つの例を示すブロック図である。
【００７２】
図６に示すように、情報処理装置６００は、タイトルテキスト認識部６０１、テキストカテゴリ分類部６０２、画像特徴抽出部６０３、及び構造カテゴリ分類部６０４を含んでもよい。タイトルテキスト認識部６０１は、複数のスキャン画像からタイトルテキストをそれぞれ認識する。テキストカテゴリ分類部６０２は、認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類する。画像特徴抽出部６０３は、畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出する。構造カテゴリ分類部６０４は、抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類する。
【００７３】
上記の情報処理装置及びその各部は、例えば図１乃至図４に示す情報処理方法及びその各ステップの動作及び／又は処理を行い、同様な効果を達成することができ、ここで重複する説明を省略する。
【００７４】
一例として、図７は図６の情報処理装置６００におけるタイトルテキスト認識部６０１の構成の１つの例を示すブロック図である。図７に示すように、タイトルテキスト認識部６０１は、タイトルテキスト行検出部６０１１及びタイトルテキスト系列認識部６０１２を含んでもよい。タイトルテキスト行検出部６０１１は、各スキャン画像からタイトルテキスト行をそれぞれ検出する。タイトルテキスト系列認識部６０１２は、検出されたテキスト行から、系列テキスト認識方法を用いてタイトルテキストを認識する。
【００７５】
上記のタイトルテキスト認識部及びその各部は、例えば図２乃至図４に示す情報処理方法のステップＳ１０１における動作及び／又は処理を行い、同様な効果を達成することができ、ここで重複する説明を省略する。
【００７６】
図８は本開示の実施例に係る情報処理装置の構成のもう１つの例を示すブロック図である。図８に示すように、本実施例の情報処理装置８００は、図６の情報処理装置６００とは異なり、図６におけるタイトルテキスト認識部６０１、テキストカテゴリ分類部６０２、画像特徴抽出部６０３及び構造カテゴリ分類部６０４に加えて、ページ番号関連情報抽出部８０５及び分類最適化部８０６をさらに含む。ページ番号関連情報抽出部８０５は、複数のスキャン画像からページ番号関連情報をそれぞれ抽出する。分類最適化部８０６は、未知構造カテゴリのスキャン画像について、バッチスキャンにより取得されたスキャン画像系列における関連スキャン画像の分類結果及びページ番号関連情報に基づいて分類を最適化する。
【００７７】
図５に示す情報処理方法と同様に、上記の情報処理装置８００及びその各部は、バッチスキャンにより取得されたスキャン画像のシナリオに適用する。また、上記の情報処理装置は、例えば図５に示す情報処理方法及びその各ステップの動作及び／又は処理を行い、同様な効果を達成することができ、ここで重複する説明を省略する。
【００７８】
以上は図５乃至図８を参照しながら本開示の情報処理装置を説明した。
【００７９】
本開示のもう１つの態様では、本開示の上記の情報処理装置を含むスキャナをさらに提供する。それに応じて、該スキャナは、本開示の情報処理方法及び装置の各種の機能、処理及び効果を実現することができ、ここで重複する説明を省略する。
【００８０】
本開示のもう１つの態様では、情報処理装置を提供する。該情報処理装置は、本開示の実施例に係る情報処理方法を実現することができ、プロセッサを含んでもよい。該プロセッサは、複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を実行するように構成されている。
【００８１】
情報処理装置のプロセッサは、例えば図１乃至図５に示す情報処理方法及びその各ステップの動作及び／又は処理、並びに図６乃至図８に示す情報処理装置及びその各部の機能を実現し、同様な効果を達成することができ、ここで重複する説明を省略する。
【００８２】
例えば、プロセッサにより処理される複数のスキャン画像は、証明書、登記文書、フォーム、契約及び／又は銀行カードなどのスキャン画像を含んでもよい。
【００８３】
１つの例では、プロセッサは、ＣＴＰＮ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  Ｔｅｘｔ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に基づくテキスト行検出方法を用いて、複数のスキャン画像からタイトルテキスト行をそれぞれ検出するステップ、をさらに実行するように構成されてもよい。
【００８４】
好ましくは、プロセッサは、ＣＲＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に基づく系列テキスト認識方法を用いて、検出されたタイトルテキスト行からタイトルテキストを認識するステップ、をさらに実行するように構成されてもよい。
【００８５】
１つの例では、プロセッサが画像特徴を抽出する際に用いられる畳み込みニューラルネットワークに基づく特徴抽出器は、予め定義された複数の構造カテゴリについてラベル付き訓練画像を用いて畳み込みニューラルネットワークに基づく分類器を訓練することで取得される。
【００８６】
１つの例示的なシナリオでは、複数のスキャン画像は、バッチスキャンにより取得される。
【００８７】
この場合、好ましくは、プロセッサは、複数のスキャン画像からページ番号関連情報をそれぞれ抽出するステップと、未知構造カテゴリに分類された現在のスキャン画像について、現在のスキャン画像の直前の既知カテゴリに分類されたスキャン画像のカテゴリ、及び該直前の既知カテゴリに分類されたスキャン画像から現在のスキャン画像までの各スキャン画像のページ番号関連情報に基づいて、現在のスキャン画像を該直前の既知カテゴリに分類されたスキャン画像と同一のカテゴリに分類するか、それとも未知構造カテゴリのまま維持するかを決定するステップと、をさらに実行するように構成されてもよい。
【００８８】
ここで、既知カテゴリは、予め定義された複数のテキストカテゴリの何れか又は予め定義された複数の構造カテゴリの何れか、即ち既知テキストカテゴリ又は既知構造カテゴリを含んでもよい。
【００８９】
本開示のもう１つの態様では、本開示の上記の情報処理装置を含むスキャナを提供する。
【００９０】
図９は本開示の実施例に係る情報処理方法、装置及びデバイスを実現可能なハードウェア構成９００の１つの例を示すブロック図である。
【００９１】
図９において、中央処理部（ＣＰＵ）９０１は、読み出し専用メモリ（ＲＯＭ）９０２に記憶されているプログラム、又は記憶部９０８からランダムアクセスメモリ（ＲＡＭ）９０３にロードされたプログラムにより各種の処理を実行する。ＲＡＭ９０３には、必要に応じて、ＣＰＵ９０１が各種の処理を実行するに必要なデータが記憶されている。ＣＰＵ９０１、ＲＯＭ９０２、及びＲＡＭ９０３は、バス９０４を介して互いに接続されている。入力／出力インターフェース９０５もバス９０４に接続されている。
【００９２】
入力部９０６（キーボード、マウスなどを含む）、出力部９０７（ディスプレイ、例えばブラウン管（ＣＲＴ）、液晶ディスプレイ（ＬＣＤ）など、及びスピーカなどを含む）、記憶部９０８（例えばハードディスクなどを含む）、通信部９０９（例えばネットワークのインタフェースカード、例えばＬＡＮカード、モデムなどを含む）は、入力／出力インターフェース９０５に接続されている。通信部９０９は、ネットワーク、例えばインターネットを介して通信処理を実行する。必要に応じて、ドライバ９１０は、入力／出力インターフェース９０５に接続されてもよい。取り外し可能な媒体９１１は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであり、必要に応じてドライバ９１０にセットアップされて、その中から読みだされたコンピュータプログラムは必要に応じて記憶部９０８にインストールされている。
【００９３】
また、本開示は、機器が読み取り可能な命令コードが記憶されているプログラムプロダクトをさらに提供する。該命令コードは機器により読み取られ、実行される際に、上記の本開示の実施例に係る情報処理方法を実行することができる。それに応じて、本開示は、このようなプログラムプロダクトが記録されている磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどの各種の記憶媒体をさらに含む。
【００９４】
本開示は、機器が読み取り可能な命令コードが記憶されている記憶媒体をさらに提供する。該命令コードが機器により読み取られ、実行される際に、機器に上記の本開示の実施例に係る情報処理方法を実行させることができる。該命令コードは、命令コード部分を含み、複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を実行するために用いられる。
【００９５】
該記憶媒体は、例えば磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等を含んでもよいが、これらに限定されない。
【００９６】
上記本開示の具体的な実施例の説明では、１つの実施形態における説明及び／又は特徴は同一又は類似の方式で他の１つ又は複数の実施形態において用いられてもよいし、他の実施形態における特徴と組み合わせてもよいし、他の実施形態における特徴を置き換えてもよい。
【００９７】
また、本開示の各実施例の方法は、明細書に説明された時間的順序で実行するものに限定されず、他の時間的順序で順次、並行、又は独立して実行されてもよい。このため、本明細書に説明された方法の実行順序は、本発明の技術的な範囲を限定するものではない。
【００９８】
なお、本開示の上記の方法の各動作プロセスは、各種の機器読み取り可能な記憶媒体に記憶されたコンピュータ実行可能なプログラムにより実現されてもよい。
【００９９】
また、本開示の目的は次の方式により実現されてもよい。上記の実行可能なプログラムコードが記憶された記憶媒体をシステム又は装置に直接又は間接に提供し、該システム又は装置におけるコンピュータ又は中央処理装置（ＣＰＵ）により該プログラムコードを読み出し、実行する。
【０１００】
この場合、該システム又は装置がプログラムを実行する機能を有する限り、本開示の実施形態はプログラムに限定されない。また、該プログラムは、任意の形式、例えばオブジェクトプログラム、インタープリタにより実行されるプログラム、又はオペレーティングシステムに提供されるスクリプトプログラムなどであってもよい。
【０１０１】
上記の機器読み取り可能な記憶媒体は、各種の記憶装置及び記憶部、半導体装置、光ディスク、磁気ディスク及び光磁気ディスクなどのディスク、並びに情報を記憶可能な媒体などを含むが、これらに限定されない。
【０１０２】
また、本開示の各実施例は、ユーザ情報処理端末がインターネット上の対応するウェブサイトに接続することで、本開示のコンピュータプログラムコードを情報処理端末にダウンロードしてインストールし、該プログラムを実行することを含んでもよい。
【０１０３】
また、上述の各実施例を含む実施形態に関し、更に以下の付記を開示する。
（付記１）
テキスト内容を含む複数のスキャン画像を処理する情報処理装置であって、
複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、
認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、
畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、
抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を実行するプロセッサを含む、情報処理装置。
（付記２）
プロセッサは、
ＣＴＰＮ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  Ｔｅｘｔ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に基づくテキスト行検出方法を用いて、複数のスキャン画像からタイトルテキスト行をそれぞれ検出するステップ、をさらに実行する、付記１に記載の情報処理装置。
（付記３）
プロセッサは、
ＣＲＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に基づく系列テキスト認識方法を用いて、検出されたタイトルテキスト行からタイトルテキストを認識するステップ、をさらに実行する、付記２に記載の情報処理装置。
（付記４）
予め定義された複数の構造カテゴリについてラベル付き訓練画像を用いて畳み込みニューラルネットワークに基づく分類器を訓練することで、畳み込みニューラルネットワークに基づく特徴抽出器を取得する、付記１に記載の情報処理装置。
（付記５）
複数のスキャン画像は、バッチスキャンにより取得される、付記１乃至４の何れかに記載の情報処理装置。
（付記６）
プロセッサは、
複数のスキャン画像からページ番号関連情報をそれぞれ抽出するステップと、
未知構造カテゴリに分類された現在のスキャン画像について、現在のスキャン画像の直前の既知カテゴリに分類されたスキャン画像のカテゴリ、及び該直前の既知カテゴリに分類されたスキャン画像から現在のスキャン画像までの各スキャン画像のページ番号関連情報に基づいて、現在のスキャン画像を該直前の既知カテゴリに分類されたスキャン画像と同一のカテゴリに分類するか、それとも未知構造カテゴリのまま維持するかを決定するステップと、をさらに実行する、付記５に記載の情報処理装置。
（付記７）
複数のスキャン画像は、証明書、登記文書、フォーム又は契約のスキャン画像を含む、付記１乃至４の何れかに記載の情報処理装置。
（付記８）
付記１乃至７の何れかに記載の情報処理装置を含む、スキャナ。
（付記９）
テキスト内容を含む複数のスキャン画像を処理する情報処理方法であって、
複数のスキャン画像からタイトルテキストをそれぞれ認識するステップと、
認識の結果に基づいて、各スキャン画像を予め定義された複数のテキストカテゴリのうちの１つ又は未知テキストカテゴリに分類するステップと、
畳み込みニューラルネットワークに基づく特徴抽出器を用いて、未知テキストカテゴリに分類されたスキャン画像から画像特徴をそれぞれ抽出するステップと、
抽出された画像特徴に基づいて、未知テキストカテゴリに分類された各スキャン画像を予め定義された複数の構造カテゴリのうちの１つ又は未知構造カテゴリに分類するステップと、を含む、情報処理方法。
（付記１０）
ＣＴＰＮ（Ｃｏｎｎｅｃｔｉｏｎｉｓｔ  Ｔｅｘｔ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）に基づくテキスト行検出方法を用いて、複数のスキャン画像からタイトルテキスト行をそれぞれ検出する、付記９に記載の情報処理方法。
（付記１１）
ＣＲＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｒｅｃｕｒｒｅｎｔ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）に基づく系列テキスト認識方法を用いて、検出されたタイトルテキスト行からタイトルテキストを認識する、付記１０に記載の情報処理方法。
（付記１２）
複数のスキャン画像は、バッチスキャンにより取得される、付記９乃至１１の何れかに記載の情報処理方法。
（付記１３）
複数のスキャン画像からページ番号関連情報をそれぞれ抽出するステップと、
未知構造カテゴリに分類された現在のスキャン画像について、現在のスキャン画像の直前の既知カテゴリに分類されたスキャン画像のカテゴリ、及び該直前の既知カテゴリに分類されたスキャン画像から現在のスキャン画像までの各スキャン画像のページ番号関連情報に基づいて、現在のスキャン画像を該直前の既知カテゴリに分類されたスキャン画像と同一のカテゴリに分類するか、それとも未知構造カテゴリのまま維持するかを決定するステップと、をさら含む、付記１２に記載の情報処理方法。
（付記１４）
複数のスキャン画像は、証明書、登記文書、フォーム又は契約のスキャン画像を含む、付記９乃至１３の何れかに記載の情報処理方法。
【０１０４】
なお、本開示では、「第１」及び「第２」等の関係用語は、単なる１つの実体又は操作と他の実体又は操作とを区別するためのものであり、これらの実体又は操作間にこのような実際の関係又は順序が存在することを意味することではない。また、用語「含む」、「有する」又は他の任意の変形は、排他的に含むことに限定されず、一連の要素を含むプロセス、方法、物又は装置は、これらの要素を含むことだけではなく、明示的に列挙されていない他の要素、又はこのプロセス、方法、物若しくは装置の固有の要素を含む。また、さらなる制限がない限り、用語「１つの…を含む」より限定された要素は、該要素を含むプロセス、方法、物又は装置に他の同一の要素が存在することを排除しない。
【０１０５】
以上は図面を参照しながら本発明の好ましい実施例を説明しているが、上記実施例及び例は例示的なものであり、制限的なものではない。当業者は、特許請求の範囲の主旨及び範囲内で本発明に対して各種の修正、改良、均等的なものに変更してもよい。これらの修正、改良又は均等的なものに変更することは本発明の保護範囲に含まれるものである。
【図１】
2020140706.tif 000003
【図２】
2020140706.tif 000004
【図３】
2020140706.tif 000005
【図４】
2020140706.tif 000006
【図５】
2020140706.tif 000007
【図６】
2020140706.tif 000008
【図７】
2020140706.tif 000009
【図８】
2020140706.tif 000010
【図９】
2020140706.tif 000011