(57)【特許請求の範囲】
【請求項１】
学習用データを取得する学習用データ取得部と、
前記学習用データ取得部により取得された前記学習用データで学習させるべき学習モデルに対して、前記学習用データからそれぞれ異なる特徴を前記学習モデルに入力するための複数の入力チャネルを設定する入力チャネル設定部と、
毎回の学習において、前記入力チャネル設定部により設定された前記複数の入力チャネルのうち、少なくとも一部の入力チャネルをランダムに選択し、選択された入力チャネルから前記学習モデルへの入力を非活性化して、前記学習モデルの学習を繰り返す学習実行部と
を備えることを特徴とする情報処理装置。
【請求項２】
前記複数の入力チャネルのうち、一部の入力チャネルを使用して、前記学習モデルを事前学習させる事前学習部をさらに備え、
前記学習実行部は、前記事前学習部により事前学習された前記学習モデルに対して、前記複数の入力チャネルのうち、事前学習で使用されなかった入力チャネルの少なくとも一部を追加して、前記学習モデルを学習させる
ことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記事前学習部は、前記複数の入力チャネルのうち、予め設定された一部の入力チャネルを使用して、前記学習モデルを事前学習させる
ことを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記事前学習部は、事前学習に使用される入力チャネルの重みから、前記学習実行部による学習で追加すべき入力チャネルの重みの初期値を算出し、
前記学習実行部は、前記事前学習部により算出された前記重みの初期値を、前記学習実行部による学習で追加すべき入力チャネルに付与して、前記学習モデルを学習させる
ことを特徴とする請求項２または３に記載の情報処理装置。
【請求項５】
前記入力チャネル設定部により設定される前記複数の入力チャネルは、前記学習用データから色彩に関する特徴を前記学習モデルに入力する第１の入力チャネル群と、前記学習用データからテキストに関する特徴を前記学習モデルに入力する第２の入力チャネル群とを含む
ことを特徴とする請求項１から４のいずれか１項に記載の情報処理装置。
【請求項６】
前記入力チャネル設定部は、前記第１の入力チャネル群を、前記学習用データのうちテキストの部分がマスキングされるよう設定する
ことを特徴とする請求項５に記載の情報処理装置。
【請求項７】
前記第１の入力チャネル群は、前記学習用データからＲＧＢの特徴を前記学習モデルに入力する入力チャネル群を含む
ことを特徴とする請求項５または６に記載の情報処理装置。
【請求項８】
前記第２の入力チャネル群は、前記学習用データからフォントサイズおよびフォントサイズの出現頻度の特徴を前記学習モデルに入力する入力チャネル群を含む
ことを特徴とする請求項５から７のいずれか１項に記載の情報処理装置。
【請求項９】
前記学習モデルは、複数層のネットワークから構成され、
前記複数の入力チャネルは、前記学習モデルの第１層のノードに前記学習用データを入力する
ことを特徴とする請求項１から８のいずれか１項に記載の情報処理装置。
【請求項１０】
前記学習実行部は、前記入力チャネル設定部により設定された前記複数の入力チャネルのうち、非活性化された入力チャネル以外の入力チャネルからの入力を、前記学習モデルへの入力が一定に維持されるようリスケールして、前記学習モデルの学習を実行する
ことを特徴とする請求項１から９のいずれか１項に記載の情報処理装置。
【請求項１１】
前記学習実行部が学習させた前記学習モデルに対して、前記入力チャネル設定部により設定されたすべての入力チャネルを活性化して、前記学習モデルに入力データを入力して推論を実行させる推論部をさらに備える
ことを特徴とする請求項１から１０のいずれか１項に記載の情報処理装置。
【請求項１２】
情報処理装置が実行する情報処理方法であって、
学習用データを取得するステップと、
取得された前記学習用データで学習させるべき学習モデルに対して、前記学習用データからそれぞれ異なる特徴を前記学習モデルに入力するための複数の入力チャネルを設定するステップと、
毎回の学習において、設定された前記複数の入力チャネルのうち、少なくとも一部の入力チャネルをランダムに選択し、選択された入力チャネルから前記学習モデルへの入力を非活性化して、前記学習モデルの学習を繰り返すステップと
を含むことを特徴とする情報処理方法。
【請求項１３】
情報処理をコンピュータに実行させるための情報処理プログラムであって、
該プログラムは、前記コンピュータに、
学習用データを取得する学習用データ取得処理と、
前記学習用データ取得処理により取得された前記学習用データで学習させるべき学習モデルに対して、前記学習用データからそれぞれ異なる特徴を前記学習モデルに入力するための複数の入力チャネルを設定する入力チャネル設定処理と、
毎回の学習において、前記入力チャネル設定処理により設定された前記複数の入力チャネルのうち、少なくとも一部の入力チャネルをランダムに選択し、選択された入力チャネルから前記学習モデルへの入力を非活性化して、前記学習モデルの学習を繰り返す学習実行処理と、を含む処理を実行させるためのものである
ことを特徴とする情報処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、情報処理方法およびプログラムに関し、特に、機械学習用の学習モデルを学習させることにより学習済みモデルを提供する技術に関する。
【背景技術】
【０００２】
学習モデルを用いた機械学習は、各種画像解析に応用されている。例えば、解析対象の画像を学習モデルに入力すると、学習モデルは、機械学習アルゴリズムによる推論を実行して、入力された画像からオブジェクトを検出し、検出されたオブジェクトをカテゴリに分類して、分類されたカテゴリでラベリングされたオブジェクトを出力することができる。【０００３】
このような学習モデルが実用的な精度で推論を実行するためには、未知の画像に対する推論を実行する推論フェーズに先立って、学習フェーズにおいて、推論の用途に応じた十分なサンプル数の正解付きの学習用画像により、学習モデルを予め学習させておく必要がある。
この学習フェーズにおいて、過学習（ｏｖｅｒｆｉｔｔｉｎｇ）が発生すると推論の精度が低下してしまう。過学習とは、学習用データに対して過剰に適合する一方、未知のデータに対しては十分に適合していない状態をいう。【０００４】
このように推論の精度を低下させる過学習を防止する正則化（ｒｅｇｕｌａｒｉｚａｔｉｏｎ）技術の１つに、ドロップアウト（ｄｒｏｐｏｕｔ）がある。
非特許文献１（Ｓａｉｈｕｉ  Ｈｏｕ，Ｚｉｌｅｉ  Ｗａｎｇ，“Ｗｅｉｇｈｔｅｄ  Ｃｈａｎｎｅｌ  Ｄｒｏｐｏｕｔ  ｆｏｒ  Ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｏｆ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｒｕｒａｌ  Ｎｅｔｗｏｒｋ”，Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  ｔｈｅ  Ａｄｖａｎｃｅｍｅｎｔ  ｏｆ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１９）は、複数層で構成される学習モデルのうち一定割合の層をドロップアウトする技術を開示する。具体的には、非特許文献１の技術では、学習させるべき学習モデルを構成するＣＮＮ（Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）内部の複数の畳み込み層のスタックのうち、一定割合の畳み込み層をランダムにゼロに設定することでドロップアウトするとともに、残りの畳み込み層をリスケールして、ＣＮＮを学習させる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｓａｉｈｕｉ  Ｈｏｕ，Ｚｉｌｅｉ  Ｗａｎｇ，“Ｗｅｉｇｈｔｅｄ  Ｃｈａｎｎｅｌ  Ｄｒｏｐｏｕｔ  ｆｏｒ  Ｒｅｇｕｌａｒｉｚａｔｉｏｎ  ｏｆ  Ｄｅｅｐ  Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｒｕｒａｌ  Ｎｅｔｗｏｒｋ”，Ａｓｓｏｃｉａｔｉｏｎ  ｆｏｒ  ｔｈｅ  Ａｄｖａｎｃｅｍｅｎｔ  ｏｆ  Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，２０１９
【発明の概要】
【発明が解決しようとする課題】
【０００６】
非特許文献１の技術によれば、ＣＮＮ内部の一定割合の畳み込み層がランダムにゼロに設定されることでドロップアウト（不活性化）されるため、ＣＮＮが学習の度に異なる学習モデルとして動作することになる。このため、計算コストを抑制しつつ、複数の学習モデルを融合させて１つの学習モデルを生成するアンサンブル学習に類似する過学習の防止効果が期待できる。【０００７】
しかしながら、従来の学習モデルにおいては、学習用の画像と大きく異なるイレギュラーな入力画像が入力された場合に、推論の精度が低下してしまうため、ロバスト性（堅牢性）に乏しかった。【０００８】
本発明は上記課題を解決するためになされたものであり、その目的は、イレギュラーな入力データが入力されても十分にロバストである学習モデルを提供することの可能な情報処理装置、情報処理方法およびプログラムを提供することにある。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明に係る情報処理装置の一態様は、学習用データを取得する学習用データ取得部と、前記学習用データ取得部により取得された前記学習用データで学習させるべき学習モデルに対して、前記学習用データからそれぞれ異なる特徴を前記学習モデルに入力するための複数の入力チャネルを設定する入力チャネル設定部と、
毎回の学習において、前記入力チャネル設定部により設定された前記複数の入力チャネルのうち、少なくとも一部の入力チャネルをランダムに選択し、選択された入力チャネルから前記学習モデルへの入力を非活性化して、前記学習モデルの学習を繰り返す学習実行部と、を備える。【００１０】
前記情報処理装置は、前記複数の入力チャネルのうち、一部の入力チャネルを使用して、前記学習モデルを事前学習させる事前学習部をさらに備え、前記学習実行部は、前記事前学習部により事前学習された前記学習モデルに対して、前記複数のチャネルのうち、事前学習で使用されなかった入力チャネルの少なくとも一部を追加して、前記学習モデルを学習させてよい。
前記事前学習部は、前記複数の入力チャネルのうち、予め設定された一部の入力チャネルを使用して、前記学習モデルを事前学習させてよい。【００１１】
前記事前学習部は、事前学習に使用される入力チャネルの重みから、前記学習実行部による学習で追加すべき入力チャネルの重みの初期値を算出し、前記学習実行部は、前記事前学習部により算出された前記重みの初期値を、前記学習実行部による学習で追加すべき入力チャネルに付与して、前記学習モデルを学習させてよい。【００１２】
前記入力チャネル設定部により設定される前記複数の入力チャネルは、前記学習用データから色彩に関する特徴を前記学習モデルに入力する第１の入力チャネル群と、前記学習用データからテキストに関する特徴を前記学習モデルに入力する第２の入力チャネル群とを含んでよい。【００１３】
前記入力チャネル設定部は、前記第１の入力チャネル群を、前記学習用データのうちテキストの部分がマスキングされるよう設定してよい。【００１４】
前記第１の入力チャネル群は、前記学習用データからＲＧＢの特徴を前記学習モデルに入力する入力チャネル群を含んでよい。【００１５】
前記第２の入力チャネル群は、前記学習用データからフォントサイズおよびフォントサイズの出現頻度の特徴を前記学習モデルに入力する入力チャネル群を含んでよい。【００１６】
前記学習モデルは、複数層のネットワークから構成され、前記複数の入力チャネルは、前記学習モデルの第１層のノードに前記学習データを入力してよい。【００１７】
前記学習実行部は、前記入力チャネル設定部により設定された前記複数の入力チャネルのうち、非活性化された入力チャネル以外の入力チャネルからの入力を、前記学習モデルへの入力が一定に維持されるようリスケールして、前記学習モデルの学習を実行してよい。【００１８】
前記学習実行部が学習させた前記学習モデルに対して、前記入力チャネル設定部により設定されたすべての入力チャネルを活性化して、前記学習モデルに入力データを入力して推論を実行させる推論部をさらに備えてよい。【００１９】
本発明に係る情報処理方法の一態様は、情報処理装置が実行する情報処理方法であって、学習用データを取得するステップと、取得された前記学習用データで学習させるべき学習モデルに対して、前記学習用データからそれぞれ異なる特徴を前記学習モデルに入力するための複数の入力チャネルを設定するステップと、毎回の学習において、設定された前記複数の入力チャネルのうち、少なくとも一部の入力チャネルをランダムに選択し、選択された入力チャネルから前記学習モデルへの入力を非活性化して、前記学習モデルの学習を繰り返すステップと  を含む。【００２０】
本発明に係る情報処理プログラムの一態様は、情報処理をコンピュータに実行させるための情報処理プログラムであって、該プログラムは、前記コンピュータに、学習用データを取得する学習用データ取得処理と、前記学習用データ取得処理により取得された前記学習用データで学習させるべき学習モデルに対して、前記学習用データからそれぞれ異なる特徴を前記学習モデルに入力するための複数の入力チャネルを設定する入力チャネル設定処理と、毎回の学習において、前記入力チャネル設定処理により設定された前記複数の入力チャネルのうち、少なくとも一部の入力チャネルをランダムに選択し、選択された入力チャネルから前記学習モデルへの入力を非活性化して、前記学習モデルの学習を繰り返す学習実行処理と、を含む処理を実行させるためのものである。
【発明の効果】
【００２１】
本発明によれば、イレギュラーな入力データが入力されても十分にロバストである学習モデルを提供することができる。
上記した本発明の目的、態様及び効果並びに上記されなかった本発明の目的、態様及び効果は、当業者であれば添付図面及び請求の範囲の記載を参照することにより下記の発明を実施するための形態から理解できるであろう。
【図面の簡単な説明】
【００２２】
【図１】図１は、本発明の実施形態に係る学習モデル制御装置の機能構成の一例を示すブロック図である。
【図２】図２は、本発明の実施形態に係る学習モデル制御装置を介して学習モデルに入力される文書画像の一例を示す模式図である。
【図３】図３は、本発明の実施形態に係る学習モデル制御装置により学習させた学習モデルが出力する、領域が検出されカテゴリがラベリングされた文書画像の一例を示す模式図である。
【図４】図４は、本発明の実施形態に係る学習モデル制御装置が実行する学習モデルを学習させる処理の処理手順の一例を示すフローチャートである。
【図５】図５は、文書画像から学習モデルへのＲＧＢ入力チャネルの一例を説明する模式図である。
【図６】図６は、学習モデル制御装置の入力チャネル設定部が設定するフォントサイズの追加特徴チャネルの一例を説明する模式図である。
【図７】図７は、学習モデル制御装置の入力チャネル設定部が設定するフォントサイズ出現頻度の追加特徴チャネルの一例を説明する模式図である。
【図８】図８は、学習モデル制御装置の入力チャネル設定部が設定するパラグラフ／画像インディケータの追加特徴チャネルの一例を説明する模式図である。
【図９】図９は、学習モデル制御装置の一次学習部が実行する学習モデルの一次学習処理の一例を説明する模式図である。
【図１０】図１０は、推論フェーズでの学習モデルへの入力チャネルの設定の一例を説明する模式図である。
【図１１】図１１は、学習モデル制御装置の二次学習部が入力チャネルの一部をドロップアウトして実行する学習モデルの１回目の二次学習処理の一例を示す模式図である。
【図１２】図１２は、学習モデル制御装置の二次学習部が入力チャネルの他の一部ドロップアウトして実行する学習モデルのｎ回目の二次学習処理の一例を示す模式図である。
【図１３】図１３は、学習モデル制御装置により学習させた学習モデルが実行する文書画像からの領域検出処理の処理手順の一例を示すフローチャートである。
【図１４】図１４は、本発明の実施形態に係る学習モデル制御装置を含む画像解析システムのハードウエアおよびネットワーク構成の一例を示す図である。
【発明を実施するための形態】
【００２３】
以下、添付図面を参照して、本発明を実施するための実施形態について詳細に説明する。以下に開示される構成要素のうち、同一機能を有するものには同一の符号を付し、その説明を省略する。なお、以下に開示される実施形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正または変更されるべきものであり、本発明は以下の実施形態に限定されるものではない。また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
【００２４】
以下、本実施形態に係る学習モデル制御装置が、カラー画像である文書画像からオブジェクトを検出して分類する画像解析処理を機械学習アルゴリズムで実行する学習モデルを学習させる非限定的一例を説明するが、本実施形態はこれに限定されない。
本実施形態に係る学習モデル制御装置は、あらゆる用途の学習モデルに適用可能であり、こうした学習モデルは、文書画像以外のカラー画像、モノクロ画像や、距離（奥行）情報を含む３次元画像等を入力として画像解析処理を実行してもよく、画像解析処理以外にも、例えば音声データを入力として自然言語処理を実行してもよく、その他のあらゆる機械学習用途に適用されてよい。
【００２５】
＜学習モデル制御装置の機能構成＞
図１は、本実施形態に係る学習モデル制御装置の機能構成の一例を示すブロック図である。
図１に示す学習モデル制御装置１は、学習用データ取得部１１、入力チャネル設定部１２、一次学習部１３、二次学習部１４、および推論部１５を備える。
【００２６】
学習用データ取得部１１は、学習用データセット２に格納された学習用データを取得して、後続する入力チャネル設定部１２、一次学習部１３、および二次学習部１４に供給する。学習用データ取得部１１により取得される学習用データは、機械学習を実行する学習モデル３を予め学習させるため学習モデル３に入力されるデータであり、十分なサンプル数の正解付きのデータである。学習用データは、例えば、画像や音声を含んでよい。
学習用データセット２は、学習モデル制御装置１が備える内蔵または外部の不揮発性記憶装置に記憶されてよく、あるいは、ネットワークを介して学習モデル制御装置１に接続される他の通信装置から送信されてもよい。
【００２７】
入力チャネル設定部１２は、学習用データ取得部１１から供給される学習用データである画像（文書画像）を学習モデル３に入力する際の入力チャネルを設定する。入力チャネルとは、学習用データである文書画像から学習モデル３に当該文書画像の特徴を入力して、学習モデル３に当該特徴についての特徴マップを生成させるための学習モデルへの入力チャネルである。
学習用データがカラー画像である場合、カラー画像は、通常、３つの入力チャネルに分解される。すなわち、カラー画像を学習モデル３に入力する場合の入力チャネルは、通常、Ｒ（Ｒｅｄ）特徴を学習モデル３に入力する（抽出させる）ためのＲ入力チャネル、Ｇ（Ｇｒｅｅｎ）特徴を学習モデル３に入力するためのＧ入力チャネル、およびＢ（Ｂｌｕｅ）特徴を学習モデル３に入力するためのＢ入力チャネルの３チャネルとなる。入力チャネル設定部１２は、これらＲＧＢの３つの入力チャネルを学習モデル３に対して設定する。
【００２８】
本実施形態において、入力チャネル設定部１２は、ＲＧＢの３つの入力チャネルに追加して、文書画像のＲＧＢ以外の特徴（色彩以外の特徴）を学習モデル３に入力する（抽出させる）ための追加特徴チャネルを入力チャネルに設定する。学習モデル制御装置１は、ＲＧＢ入力チャネルとともに、この追加特徴チャネルを入力チャネルとして使用して、学習モデル３を学習させる。この追加特徴チャネルの設定は、図６〜図８を参照して後述する。
【００２９】
一次学習部１３は、学習用データ取得部１１から供給される学習用データを学習モデル３に入力して一次学習を実行する。この一次学習は、オリジナルのＲＧＢ入力チャネルのみを使用する事前学習の工程である。
本実施形態において、一次学習部１３は、このＲＧＢ入力チャネルを入力チャネルとして学習モデル３を事前学習させることにより、入力チャネル設定部１２により設定された追加特徴チャネルに対する学習モデル３の第１層の重みの初期値を決定することができる。追加特徴チャネルに対する学習モデル３の第１層の重みの初期値は、例えば、ＲＧＢ入力チャネルの第１層の重みの平均値であってよい。
【００３０】
二次学習部１４は、一次学習部１３により一次学習された学習モデル３に対して二次学習を実行する。この二次学習は、オリジナルのＲＧＢ入力チャネルに加えて、入力チャネル設定部１２により設定された追加特徴チャネルを使用して、一次学習された学習モデル３をさらに繰り返して学習させる工程である。二次学習部１４は、一次学習部１３により決定された重み初期値を追加特徴チャネルに付与して、学習モデル３を二次学習させる。
本実施形態において、二次学習部１４は、毎回の二次学習において、ＲＧＢ入力チャネルおよび追加特徴チャネルを含む学習モデル３への全入力チャネルのうち、少なくとも１つの入力チャネルをランダムにドロップアウト（不活性化）する。ドロップアウトされた入力チャネルから学習モデル３への入力はオール０となる。
【００３１】
推論部１５は、一次学習部１３および二次学習部１４が学習させた学習済みの学習モデル３に対して、未知の文書画像を入力して、推論を実行させる。具体的には、学習済みの学習モデル３は、例えば、入力される文書画像から領域を検出し、検出された領域をカテゴリに分類し、分類されたカテゴリが付与された領域の情報を推論結果として出力する。この推論フェーズにおいては、学習モデル３は、入力チャネル設定部１２により設定された入力チャネルのすべてを使用して推論を実行する。なお、学習モデル３は、推論部１５を介さず、他の装置や画像処理エンジンにより起動されて推論を実行してもよい。
【００３２】
なお、図１に示す構成は、学習モデル制御装置の機能的な構成を例示的に示すものであり、本実施形態に係る学習モデル制御装置が単一の装置に実装されることを意味するものではない。図１に示す機能構成は、例えば、ネットワークで相互接続される複数のサーバ等の装置に実装されてもよく、図１に示す学習モデル制御装置１の各部、学習用データセット２、および学習モデル３が、同一の装置に実装されても、互いに異なる装置に実装されてもよい。例えば、学習モデル制御装置１の一次学習部１３と二次学習部１４とが、互いに異なる装置に実装されてもよい。
【００３３】
以下、学習モデル制御装置１が学習させる学習モデル３が、新聞や雑誌等の記事をコンテンツとして含むＰＤＦ（Ｐｏｒｔａｂｌｅ  Ｄｏｃｕｍｅｎｔ  Ｆｏｒｍａｔ）ファイルフォーマットの文書画像を解析して、オブジェクトを検出し、検出されたオブジェクトをカテゴリに分類してオブジェクトにカテゴリをラベリングする用途に供される非限定的一例を説明する。この場合、学習用データセット２に格納される学習用データは、１ページごとにＰＤＦ化された学習用の文書画像であってよい。しかしながら、本実施形態はこれに限定されず、あらゆる画像、音声、テキスト、その他のデータを学習用データとして使用してよい。また、文書画像の格納フォーマットは、ＰＤＦに限定されず、ＴＩＦＦ（Ｔａｇｇｅｄ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔ  Ｇｒｏｕｐ）等の任意の画像フォーマット、またはＡＩ（Ａｄｏｂｅ  Ｉｌｌｕｓｔｒａｔｏｒ）、ＥＰＳ（Ｅｎｃａｐｓｕｌａｔｅｄ  ＰｏｓｔＳｃｒｉｐｔ）、ＰＳＤ（Ｐｈｏｔｏｓｈｏｐ  Ｄｏｃｕｍｎｅｎｔ）等の任意のＤＴＰ（Ｄｅｓｋ  Ｔｏｐ  Ｐｕｂｌｉｓｈｉｎｇ）フォーマットまたは文書フォーマットであってよい。
【００３４】
図２は、本発明の実施形態に係る学習モデル制御装置１に入力される文書画像の一例を示す模式図である。図２に示す文書画像２０は、雑誌記事のテキストと画像を含む１ページの画像である。この文書画像２０は、入力チャネル設定部１２により設定された入力チャネルを介して、学習モデル３に入力され、一次学習部１３および二次学習部１４により学習モデル３を学習させるのに使用される。推論フェーズにおいて、学習モデル３には、入力チャネル設定部１２により設定された全入力チャネルを介して文書画像２０と同様の文書画像が入力される。
【００３５】
図３は、本発明の実施形態に係る学習モデル制御装置１が学習させる学習モデル３が出力する、領域が検出されカテゴリがラベリングされた文書画像の一例を示す模式図である。図３を参照して、１ページの文書画像から、領域３０１〜３１２がオブジェクトとして検出されている。領域３０１〜３１２はそれぞれカテゴリに分類され、分類されたカテゴリがそれぞれラベリングされている。具体的には、領域３０１は、プレタイトル、領域３０２および領域３１１はタイトル、領域３０３はサブタイトルに分類されている。領域３０４〜３０７、および領域３１２は、カラム（記事本文）に分類されている。領域３０８は、カラム領域末尾で検出され、当該記事執筆者の署名に分類されている。領域３０９は、写真に、領域３１０は写真を説明するキャプションに、それぞれ分類されている。
図２に示す文書画像２０が学習フェーズおよび推論フェーズにおいて学習モデル３に入力されると、学習モデル３は、図３に示すように領域が検出されカテゴリがラベリングされた文書画像を出力する。
【００３６】
＜学習モデルを学習させる処理の処理手順＞
図４は、本実施形態に係る学習モデル制御装置が実行する、学習モデルを学習させる処理の処理手順の一例を示すフローチャートである。
なお、図４の各ステップは、学習モデル制御装置１の記憶部に記憶されたプログラムをＣＰＵが読み出し、実行することで実現される。また、図４に示すフローチャートの少なくとも一部をハードウエアにより実現してもよい。ハードウエアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）上に自動的に専用回路を生成すればよい。ｍた、ＦＰＧＡと同様にしてＧａｔｅ  Ａｒｒａｙ回路を形成し、ハードウエアとして実現するようにしてもよい。また、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ  Ｓｐｅｃｉｆｉｃ  Ｉｎｔｅｇｒａｔｅｄ  Ｃｉｒｃｕｉｔ）により実現するようにしてもよい。
【００３７】
Ｓ１で、学習モデル制御装置１の学習用データ取得部１１は、例えばＰＤＦファイルフォーマットである文書画像を学習用データとして取得する。この文書画像は、領域やカテゴリについての正解付きの学習用データであり、学習用データセット２から読み出されてもよく、学習モデル制御装置１に直接、またはネットワークを介して外部から、入力されてもよい。以下、この文書画像が、新聞や雑誌等の記事であって、タイトル、カラム（記事本文）、および写真やイラストレーションを含む記事である例を説明する。
なお、学習用データ取得部１１により取得される文書画像は、当初からＰＤＦファイルとして作成されたテキストおよび画像を含む記事であってもよく、新聞や雑誌等の紙媒体の記事を事後的にスキャンしてＰＤＦファイル化された記事であってもよい。
【００３８】
Ｓ２で、学習モデル制御装置１の入力チャネル設定部１２は、学習用データ取得部１１により取得された学習用データである文書画像を学習モデル３に入力するための複数の入力チャネルを設定する。具体的には、入力チャネル設定部１２は、学習用データである文書画像をＲＧＢ入力チャネル（３入力チャネル）に分離し、さらに、当該文書画像の追加特徴を学習モデル３に入力するための追加特徴チャネルに分離する。
【００３９】
図５は、文書画像２０から学習モデル３へのＲＧＢ入力チャネルの一例を説明する図である。図５を参照して、図２の文書画像２０から分離された３つの入力チャネル、すなわちＲ入力チャネル５１、Ｇ入力チャネル５２、およびＢ入力チャネル５３が示されている。
これらＲＧＢ入力チャネルは、ＲＢＧカラー画像である文書画像のＲＧＢの各特徴を学習モデル３に入力するための入力チャネルとなる。ＲＧＢ入力チャネル５１〜５３は、文書画像中の全領域、すなわち、テキスト領域と画像領域の双方、の特徴を学習モデル３に入力するよう設定されてもよい。あるいは、文書画像中の画像領域のみの特徴を学習モデル３に入力するよう、画像領域以外が適宜マスキングされてもよい。通常、雑誌のテキスト部分の文字は黒色であることが多く、テキスト行（テキスト領域）を含む領域についてＲＧＢ入力チャネル間で特徴量に差異が出ないため、画像領域以外をマスキングして学習モデル３に入力することにより、学習モデル３における計算量を低減することができる。
【００４０】
なお、入力チャネル設定部１２が設定する学習モデル３への色彩の入力チャネルは、ＲＧＢに限定されない。例えば、可視光波長帯を持つＲＧＢに替えてあるいはこれらに加えて、赤外線や遠赤外線の入力チャネルを学習モデル３に対して設定してもよい。赤外線や遠赤外線の入力チャネルを学習モデル３に対して設けることにより、例えば、夜間や低照度下で撮像された画像や当該画像を含む文書画像から、より高精度にオブジェクトを検出することができる。
【００４１】
本実施形態において、入力チャネル設定部１２は、文書画像が有する特徴に関連して追加特徴チャネルを設定する。具体的には、入力チャネル設定部１２は、文書画像のうち特にテキスト行（タイトル、カラム（記事本文）等）に関連する特徴を学習モデル３に入力するための複数の追加特徴チャネルを設定する。図６〜図８を参照して、これら複数の追加特徴チャネルを説明する。
【００４２】
図６は、学習モデル制御装置１の入力チャネル設定部１２が設定するフォントサイズの追加特徴チャネルの一例を説明する模式図である。図６に示すフォントサイズの追加特徴チャネル６１は、最大フォントサイズに対するフォントサイズの特徴を学習モデル３に入力する。図６に示すフォントサイズ追加特徴チャネル６１を介して、図２に示す文書画像２０のうち、テキストの最大フォントサイズに対するフォントサイズの情報が学習モデル３に入力される。学習モデル３は、フォントサイズ追加特徴チャネル６１を介して、文書画像２０からフォントサイズの特徴を抽出して特徴マップを生成する。なお、最大フォントサイズは、当該文書画像を含む雑誌、記事、あるいはページの中のテキストの最大フォントサイズであってよい。
【００４３】
図６では、文書画像のうち、テキスト行のフォントサイズが大きい程、当該テキスト行に対応する矩形領域がより白く表示されている。例えば、矩形領域６２は、矩形領域６３および矩形領域６４のいずれよりも白く表示されており、文書画像中で最も大きいフォントサイズを持つテキスト行であることを示す。最も大きいフォントサイズは、通常、記事のタイトルに使用されるため、矩形領域６２は、記事中のタイトルとして推定できる。このように、フォントサイズが雑誌の最大フォントサイズに近くなるほど、より大きな特徴量が抽出されることになるため、フォントサイズは、記事中のタイトルを検出するための主要な特徴となる。
【００４４】
同様に、矩形領域６４は、矩形領域６３よりも白く表示されているため、矩形領域６３のテキストより大きいフォントサイズを持つテキスト行であることが分かり、タイトルの次に大きいフォントサイズが使用されるサブタイトルとして推定できる。一方、フォントサイズの情報が抽出されない写真やイラストレーションの領域は、黒く表示されており、抽出される特徴量は０となる。
【００４５】
なお、図６は、１ページの文書画像からテキスト行のフォントサイズの特徴を抽出する例を示すが、当該文書画像が属する雑誌全体や記事全体の情報を付加してもよい。例えば、１つの記事が複数ページに亘る場合等には、１つの記事を構成する複数の文書画像を関連付けて、フォントサイズの特徴を抽出することにより、複数ページに亘ってタイトル、サブタイトル、およびカラム（記事本文）を再構成および再分類してもよい。
【００４６】
図７は、学習モデル制御装置１の入力チャネル設定部１２が設定するフォントサイズ出現頻度の追加特徴チャネルの一例を説明する模式図である。図７に示すフォントサイズ出現頻度の追加特徴チャネル７１は、フォントサイズ出現頻度の特徴を学習モデル３に入力する。図７に示すフォントサイズ出現頻度追加特徴チャネル７１を介して、図２に示す文書画像２０のうち、テキストのフォントサイズ出現頻度の情報が学習モデル３に入力される。学習モデル３は、フォントサイズ出現頻度の追加特徴チャネル７１を介して、文書画像２０からフォントサイズの出現頻度の特徴を抽出して特徴マップを生成する。なお、フォントサイズ出現頻度は、当該文書画像を含む雑誌、記事、あるいはページの中のテキストの中でのフォントサイズの出現頻度であってよい。
【００４７】
図７では、文書画像のうち、テキスト行のフォントのフォントサイズ出現頻度が高い程、当該テキスト行に対応する矩形領域がより白く表示されている。例えば、矩形領域７３は、矩形領域７２および矩形領域７４のいずれよりも白く表示されており、文書画像中で最も高いフォントサイズ出現頻度を持つテキスト行であることを示す。最もフォントサイズ出現頻度の高いフォントサイズは、通常、カラム（記事本文）に使用されるため、矩形領域７３は、記事中のカラム（記事本文）として、矩形領域７２および矩形領域７４は、よりフォントサイズ出現頻度の低いタイトル等として、それぞれ推定できる。このように、フォントサイズ出現頻度が高くなるほど、より大きな特徴量が抽出されることになるため、フォントサイズ出現頻度もまた、記事中のタイトルあるいはカラムを検出するための主要な特徴となる。このフォントサイズ出現頻度を特徴として抽出することにより、記事のメインタイトル、より重要でない付加的タイトル、雑誌冒頭の雑誌タイトル等を区別することができる。
【００４８】
例えば、矩形領域７４は、矩形領域７２よりも白く表示されているため、矩形領域７２のテキストより高いフォントサイズ出現頻度を持つテキスト行であることが分かり、タイトルの次に大きいフォントサイズが使用されるサブタイトルとして推定できる。一方、フォントサイズ出現頻度の情報が抽出されない写真やイラストレーションの領域は、黒く表示されており、抽出される特徴量は０となる。
【００４９】
なお、図７は、１ページの文書画像からテキスト行のフォントサイズ出現頻度の特徴を抽出する例を示すが、当該文書画像が属する雑誌全体や記事全体の情報を付加してもよい。例えば、１つの記事が複数ページに亘る場合等には、１つの記事を構成する複数の文書画像を関連付けて、フォントサイズ出現頻度の特徴を抽出することにより、複数ページに亘ってタイトル、サブタイトル、およびカラム（記事本文）の領域を再構成および再分類してもよい。
また、図３のテキスト行の領域３０４のように、記事の冒頭の文字「Ａ」が後続する文字より大きく配置されている場合、当該冒頭文字のフォントサイズが後続する文字と同じフォントサイズとなるよう、適宜フォントサイズを補正してもよい。また、後続する文字より大きいフォントサイズを持つ文字を冒頭文字として識別し、当該冒頭文字の位置を、パラグラフの開始座標を検出するため使用してもよい。
【００５０】
図６および図７に示すテキスト行領域６２、６３、６４、７２、７３、および７４は、それぞれ、文書画像中で領域を特定する座標の情報と、当該テキスト行領域の特徴量に対応する０〜２５５の値を持つものとする。
また、例えば、図６のタイトル行領域６２は最も大きい特徴量の値を持つのに対して、図７の対応するタイトル行領域７２は最も小さい特徴量の値を持つことから理解されるように、図６および図７の間で、同一のテキスト行領域は、相補的な特徴量の値を持つ。このように、追加特徴チャネルは、互いに特異的な特徴量を学習モデル３が特徴マップにマッピングできるよう設定されることが好適である。
【００５１】
なお、入力チャネル設定部１２が学習モデル３に対して設定するテキスト行に関連する追加特徴チャネルは、フォントサイズおよびフォントサイズ出現頻度に限定されない。たとえば、入力チャネル設定部１２は、フォントサイズおよびフォントサイズ出現頻度に替えて、またはこれに加えて、フォント色やフォント種別等の特徴を学習モデル３に入力するための追加特徴チャネルを入力チャネルとして設定してもよい。
【００５２】
図８は、学習モデル制御装置１の入力チャネル設定部１２が設定するパラグラフ／画像インディケータの追加特徴チャネルの一例を説明する図である。図８に示すパラグラフ／画像インディケータの追加特徴チャネル８１は、文書画像のうちのテキスト領域であるパラグラフと画像領域とを識別するパラグラフ／画像インディケータの特徴を学習モデル３に入力する。テキスト領域であるパラグラフは、プレタイトル、タイトル、サブタイトル等のタイトルと、カラム（記事本文）とを含んでよい。図８に示すパラグラフ／画像インディケータ特徴チャネル８１を介して、図２に示す文書画像２０のうち、テキスト領域であるパラグラフと画像のいずれかを示す情報が学習モデル３に入力される。学習モデル３は、パラグラフ／画像インディケータ追加特徴チャネル８１を介して、文書画像２０からパラグラフ／画像のいずれかを示す特徴を抽出して特徴マップを生成する。
【００５３】
図８では、文書画像のうち、テキスト領域であるパラグラフが、画像の領域より白く表示されている。例えば、矩形領域８２は、矩形領域８３よりも白く表示されており、テキスト行をグループ化したパラグラフであることが分かる。図８のパラグラフ／画像インディケータ追加特徴チャネル８１は、テキスト行をグループ化したパラグラフ領域８２と、写真やイラストレーションを含む画像領域８３を含む。学習モデル３は、それぞれ座標情報を持つテキスト行をグループ化することにより、パラグラフ全体の座標情報を取得することができ、パラグラフ領域の境界を画定することができる。
一方、画像領域の座標情報は、ＰＤＦファイルから構文解析により取得することができるため、図８にグレーの領域として示されるように、画像領域の輪郭を画定することができる。学習モデル３は、取得された画像領域の座標情報により画像領域の境界を画定することができる。
【００５４】
なお、ＰＤＦファイルから画像およびその座標情報が構文解析で取得できない場合であっても、学習モデル３は、入力された文書画像中、パラグラフと識別されない領域で画像の検出を試みることにより、画像領域を新たに検出してもよい。
一方、パラグラフおよび画像のいずれにも識別されない空白領域は、黒く表示されており、抽出される特徴量は０となる。
【００５５】
なお、図８は、１ページの文書画像からパラグラフまたは画像の特徴を抽出する例を示すが、当該文書画像が属する雑誌全体の情報を付加してもよい。例えば、１つの記事が複数ページに亘る場合等には、１つの記事を構成する複数の文書画像を関連付けて、パラグラフまたは画像の特徴を抽出することにより、複数ページに亘ってパラグラフおよび画像の各領域を再構成および再分類してもよい。
【００５６】
図４に戻り、Ｓ３で、学習モデル制御装置１の一次学習部１３は、学習用データ取得部１１から供給される学習用データを学習モデル３に入力して一次学習を実行する。
図９は、学習モデル制御装置１の一次学習部１３が実行する学習モデルの一次学習（事前学習）処理の一例を説明する模式図である。
図９に示すように、一次学習において、Ｒ入力チャネル５１、Ｇ入力チャネル５２、およびＢ入力チャネル５３を介して、文書画像のＲＧＢの色特徴が学習モデル３のネットワークの第１層を構成する各ニューロン（ノード）にそれぞれ入力される。
【００５７】
学習モデル３は、画像からオブジェクトを検出してカテゴリに分類することが可能な任意の機械学習アルゴリズムを使用することができる。学習モデル３の機械学習アルゴリズムは、例えば、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ（Ｒｅｇｉｏｎ−Ｃｏｎｖｏｌｕｔｉｏｎａｌ  Ｎｅｕｒａｌ  Ｎｅｔｗｏｒｋ）であってよいがこれに限定されず、例えば、Ｒ−ＣＮＮ、Ｆａｓｔ  Ｒ−ＣＮＮ、ＹＯＬＯ（Ｙｏｕ  Ｏｎｌｙ Ｌｏｏｋ  Ｏｎｃｅ）等を使用してもよい。図９は、学習モデル３が、Ｆａｓｔｅｒ  Ｒ−ＣＮＮ等のＣＮＮの複数層ネットワークで構成される例を示す。
【００５８】
ＣＮＮは、複数の畳み込み層の後にプーリング層が配置され、これを何回か繰り返した後に、全結合層で全結合した多層パーセプトロンが配置される構成を有する。畳み込み層は、フィルタを用いて、入力画像から得られる特徴点を凝縮して特徴マップを出力する。プーリング層は、特徴として重要な情報を残しつつ、畳み込み層から出力される特徴マップを縮小する。一次学習では、ＲＧＢの３入力チャネル５１、５２、および５３が学習モデル３に設定されるため、フィルタの数、およびフィルタから出力される特徴マップの数も３倍となる。図９に示すように、学習モデル３のネットワークの最終層（全結合層）から、入力される文書画像２０に対する学習モデル３の出力として、図３に示すような、オブジェクトが検出されカテゴリが付与された文書画像が得られる。一次学習部１３は、出力された文書画像を、学習データである入力文書画像の正解データと比較することで、学習モデル３を一次学習（事前学習）させる。
【００５９】
Ｓ４で、学習モデル制御装置１の一次学習部１３は、この一次学習において、入力チャネル設定部１２により設定される追加特徴チャネルに対する学習モデル３の第１層の重みの初期値を決定する。具体的には、一次学習部１３は、例えば、既知であるＲＧＢの３入力チャネルの第１層の重みの平均値を、追加特徴チャネルに対する学習モデル３の第１層の重みの初期値として決定してよい。あるいは、文書画像の背景や全体の色彩・輝度や、レイアウト等に応じて、ＲＧＢ入力チャネルや追加特徴チャネルに対して異なる重みの初期値を設定してもよい。また、追加特徴チャネルの重みの初期値には、予め固定値を設定してもよい。第１層の重みの初期値は学習モデル３のネットワークの第２層以降の各層に伝搬され、各層において、最適化され得る。
Ｓ３において、一次学習部１３は、十分なサンプル数のＲＧＢのみの文書画像のデータセットで学習モデル３を一次学習（事前学習）させる。一次学習部１３は、学習モデル３の一次学習を所定の終了条件まで繰り返してよい。
【００６０】
Ｓ５で、学習モデル制御装置１の二次学習部１４は、一次学習部１３により一次学習された学習モデル３に対して二次学習を実行する。具体的には、二次学習部１４は、オリジナルのＲＧＢ入力チャネルに加えて、入力チャネル設定部１２により設定された追加特徴チャネルを使用して、一次学習された学習モデル３をさらに繰り返して学習させる。二次学習部１４は、一次学習部１３により決定された重み初期値を追加特徴チャネルであるフォントサイズ追加特徴チャネル６１、フォントサイズ出現頻度追加特徴チャネル７１、およびパラグラフ／画像インディケータ追加特徴チャネル８１にそれぞれ付与して、学習モデル３を二次学習させる。
【００６１】
図１０は、学習モデル制御装置１の二次学習部１４が実行する学習モデルの二次学習処理において学習モデル３に学習用データである文書画像を入力可能な全入力チャネルの一例を説明する模式図である。
図１０に示すように、二次学習において、ＲＧＢ入力チャネル５１〜５３に加えて、追加特徴チャネルとして、学習モデル３のネットワーク１の第１の各ニューロン（ノード）に対して、フォントサイズ追加特徴チャネル６１、フォントサイズ出現頻度追加特徴チャネル７１、およびパラグラフ／画像インディケータ追加特徴チャネル８１が入力チャネルとして設定可能である。
【００６２】
所与の学習用データセット上で学習モデル３を学習させるためには、１つまたは２つ程度の入力チャネルを使用することも可能である。しかしながら、このように入力チャネルの数を限定すると、例えば学習用データセットの画像と大きく異なるイレギュラーな画像に対する汎化性能が低下する。
これに対して、本実施形態では、二次学習部１４は、学習モデル３を学習させるため、ＲＧＢ入力チャネル５１〜５３に加えて、さらに追加特徴チャネル６１、７１、８１を含むすべての入力チャネルを学習モデル３に対して設定することで使用可能とする。それぞれ異なる特徴を抽出するための入力チャネルのすべてを使用可能とすることにより、学習用データセットの画像と大きく異なるイレギュラーな画像に対してもロバストな学習モデル３を提供することができる。
【００６３】
本実施形態ではさらに、毎回の二次学習において、すべての入力チャネルの少なくとも一部をランダムにドロップアウトする。具体的には、二次学習部１４は、毎回の二次学習において、すべての入力チャネルのうち、ランダムに選択された一部の入力チャネルからの入力をオール０（黒）に置き換えることで不活性化する。追加特徴チャネル６１のドロップアウトされる確率は０．２であり、追加特徴チャネル７１、および８１についても同様である。一方、ＲＧＢ入力チャネル５１〜５３は、学習モデル３に入力される入力チャネルとして維持されるか、あるいは同時にドロップアウトされる。ＲＧＢ入力チャネル５１〜５３が同時にドロップされる確率は０．２である。
一部の入力チャネルがドロップアウトされた後、二次学習部１４は、残りの入力チャネルをリスケールして、学習モデル３への入力の大きさを一定に保つ。
【００６４】
図１１は、二次学習部１４が入力チャネルの一部をドロップアウトして実行する学習モデルの１回目の二次学習処理の一例を示す模式図である。
図１１を参照して、６つの入力チャネルのうち、フォントサイズ追加特徴チャネル６１およびパラグラフ／画像インディケータ追加特徴チャネル８１がランダムに選択されドロップアウトされて、ゼロ入力チャネル６１ａ、８１ａに置き換えられている。
二次学習部１４は、２つの入力チャネルがドロップアウトされた後、残りの４つの入力チャネル、すなわち、ＲＧＢ入力チャネル５１〜５３、フォントサイズ出現頻度追加特徴チャネル７１、に対して、それぞれ６／（６−２）、すなわち、６／４を乗じることにより、入力チャネルをリスケールする。
【００６５】
図１２は、二次学習部１４が入力チャネルの他の一部ドロップアウトして実行する学習モデルのｎ回目の二次学習処理の一例を示す模式図である。
図１２を参照して、６つの入力チャネルのうち、ＲＧＢ入力チャネル５１〜５３がランダムかつ同時にドロップアウトされて、ゼロ入力チャネル５１ａ〜５３ａに置き換えられている。
二次学習部１４は、３つの入力チャネルがドロップアウトされた後、残りの３つの入力チャネル、すなわち、フォントサイズ追加特徴チャネル６１、フォントサイズ出現頻度追加特徴チャネル７１、およびパラグラフ／画像インディケータ追加特徴チャネル８１、に対して、それぞれ６／（６−３）、すなわち６／３を乗じることにより、入力チャネルをリスケールする。すべてのＲＧＢ入力チャネル５１〜５３は、０．２のドロップアウト確率で同時にドロップアウトされる。
【００６６】
以上、Ｓ１からＳ５の学習処理を実行することにより、学習モデル制御装置１は、学習モデル３を学習させる。
未知の文書画像を学習モデル３に入力して、オブジェクトを検出させ、検出されたオブジェクトに対してカテゴリを付与する画像解析を実行させる推論フェーズにおいては、図１０に示すように、学習モデル３の第１層の各ニューロンに対して、追加特徴チャネルを含むすべての入力チャネルを活性化する。これにより、学習モデル３は、すべての入力チャネルを使用して未知の文書画像に対する画像解析を実行することができる。
【００６７】
図１３は、学習モデル制御装置１の推論部１５が学習モデル３に実行させる画像解析処理の処理手順の一例を示すフローチャートである。
Ｓ１３１で、学習モデル制御装置１の推論部１５は、画像解析対象となる未知の文書画像をページごと画像として読み取る。あるいは、推論部１５は、予めページごとに読み取られてＰＤＦファイルフォーマットで不揮発性記憶装置に記憶された文書画像を読み出してもよい。
【００６８】
Ｓ１３２で、学習モデル制御装置１の推論部１５は、学習済みの学習モデル３に、Ｓ１３１で読み出された文書画像を入力して、オブジェクトを検出させ、検出されたオブジェクトに対してカテゴリをラベリングさせる。Ｓ１３２で使用される学習モデル３は、例えば、Ｆａｓｔｅｒ  Ｒ−ＣＮＮであってよい。具体的には、推論部１５は、入力チャネル設定部１２により設定されたすべての入力チャネルを使用して、学習モデル３に文書画像を入力する。図１０を参照して、Ｓ１３１で入力された文書画像は、６つの入力チャネル、すなわち、ＲＧＢ入力チャネル５１〜５３、フォントサイズ追加特徴チャネル６１、フォントサイズ出現頻度追加特徴チャネル７１、およびパラグラフ／画像インディケータ追加特徴チャネル８１、を介して、学習モデル３の第１層（畳み込み層）の各ニューロンに入力される。
【００６９】
学習済みの学習モデル３は、入力された１ページ分の文書画像全体から、文書画像の特徴マップを抽出する。学習モデル３をＲ−ＣＮＮ、Ｆａｓｔｅｒ  Ｒ−ＣＮＮやＦａｓｔ  Ｒ−ＣＮＮで構成する場合、次に、学習モデル３は、ＲＰＮ（Ｒｅｇｉｏｎ  Ｐｒｏｐｏｓａｌ  Ｎｅｔｗｏｒｋ）により、ＣＮＮで抽出された文書画像の特徴マップに対して、候補領域のバウンディングボックス（Ｂｏｕｎｄｉｎｇ  Ｂｏｘ）と、当該候補領域のオブジェクトらしさを表す信頼度スコアとを出力する。具体的には、ＲＰＮは小さなニューラルネットワークであり、特徴マップ上をｎ×ｎサイズのスライディングウインドウで操作し、各々のｎ×ｎサイズの注目領域をネットワークの入力とし、それぞれのスライディングウインドウ位置に対してｋ個の候補領域を推定する。同一のオブジェクトに対して、複数のバウンディングボックスが重複して検出された場合、例えば、Ｎｏｎ−Ｍａｘｉｍｕｍ  Ｓｕｐｐｒｅｓｓｉｏｎを使用して、信頼度スコアが最大値のバウンディングボックス以外の領域を適宜抑制してもよい。
【００７０】
Ｆａｓｔｅｔ  Ｒ−ＣＮＮは、推定された候補領域のバウンディングボックスを、当該候補領域から抽出された特徴ベクトルに基づき、タイトル、カラム、画像等の複数のカテゴリのいずれかに分類する。
Ｓ１３３で、学習モデル制御装置１の推論部１５は、学習モデル３から、カテゴリがラベリングされた領域に分割された文書画像を取得する。具体的には、学習モデル３は、第１層の畳み込み層で抽出された特徴マップを、第２層以降の各層で畳み込みおよびプーリングしていき、最後に全結合することにより、文書画像から、カテゴリがラベリングされたオブジェクトの領域を抽出する。
【００７１】
＜本実施形態のハードウエア構成＞
図１４は、本実施形態に係る学習モデル制御装置１、学習用データセット２、および学習モデル３を含む画像解析システムのハードウエア構成の一例を示す。
本実施形態に係る画像解析システムは、単一または複数の、あらゆるコンピュータ、モバイルデバイス、または他のいかなる処理プラットフォーム上に実装することができる。
図１４を参照して、本実施形態に係る画像解析システムは、複数のコンピュータ１４ａ、１４ｂを含むコンピュータシステムに実装されている例が示されている。
複数のコンピュータ１４ａ、１４ｂは、有線または無線のネットワーク１４ｃにより相互通信可能に接続されている。
【００７２】
コンピュータ１４ａ、１４ｂは、それぞれ、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１４１、メモリ１４２、ＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１４３、および通信Ｉ／Ｆ１４４を備える。ＣＰＵ１４１、メモリ１４２、ＧＰＵ１４３、および通信Ｉ／Ｆ１４４は、バスで相互接続されている。
なお、図１４には２つのコンピュータ１４ａ、１４ｂが図示されているが、本実施形態を実装可能なコンピュータの数は、これに限定されず、単一であっても、３つ以上であってもよい。また、コンピュータ１４ａ、１４ｂの全部または一部は、上記で説明した各種処理結果を出力するディスプレイ等の出力デバイスや、各種指令を入力する入力デバイスを備えてよい。
【００７３】
ＣＰＵ１４１は、１つまたは複数のプロセッサから構成され、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）からプログラムを読み出してＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）し、ＲＡＭを作業領域として使用して、展開されたプログラムを実行する。これにより、ＣＰＵ１４１は、コンピュータ１４ａ、１４ｂの各部を統括的に制御する。ＣＰＵ１４１が読み出すプログラムは、例えば、インターネット等のネットワーク１４ｃを介して提供されてもよく、あるいはＤＶＤ−ＲＯＭまたはＵＳＢメモリ等のコンピュータ読み取り可能な外部記憶媒体に記憶されてから供給されてもよい。
メモリ１４２は、ＲＯＭ、ＲＡＭ、およびハードディスクドライブ等のメモリデバイスを含む。ＲＯＭは、不揮発性のリードオンリーメモリであり、ＣＰＵ１４１を動作させる制御命令すなわちプログラムを格納する。ＲＡＭは、揮発性のランダムアクセスメモリであり、プログラムを実行する際のワークメモリやデータの一時保存などに利用される。
【００７４】
ＧＰＵ１４３は、ＣＰＵ１４１より高い計算機能を有し、複数または多数のＧＰＵ１４３を並列して動作させることにより、特に、本実施形態のような機械学習を使用する画像処理アプリケーションに、より高い処理パフォーマンスを提供する。ＧＰＵ１４３は、通常、プロセッサと共有メモリを含む。それぞれのプロセッサが高速の共有メモリからデータを取得し、共通プログラムを実行することで、同種の計算処理を大量かつ高速に実行する。
通信Ｉ／Ｆ１４４は、コンピュータ１４ａ、１４ｂを、サーバ等の他のコンピュータと通信させるインタフェースであり、例えばネットワークインタフェースカード（ＮＩＣ）により構成されてよい。通信Ｉ／Ｆ１４４は、ＣＰＵ１４１の制御に基づき、他のコンピュータから受信した情報をＣＰＵ１４１またはメモリ１４２に入力し、また、他のコンピュータへ情報を送信する。
【００７５】
以上説明したように、本実施形態によれば、学習モデル制御装置は、学習モデルに対する複数の入力チャネルを設定するとともに、設定された入力チャネルのうち、推論フェーズに使用される入力チャネルのうち、一部の入力チャネルをランダムにドロップアウトして学習モデルを学習させる処理を繰り返す。
これにより、本実施形態に係る学習モデル制御装置によれば、所与の学習用データセットから、より多くの入力チャネルを介して学習モデルにそれぞれ異なる特徴を入力することができるので、学習用データと異なるイレギュラーな入力データを解析する際にも精度が低下しないロバストな学習モデルを提供することができる。
また、本実施形態によれば、所与の学習用データセットで、学習モデルを繰り返し学習させる際に、入力チャネルの少なくとも一部をランダムにドロップアウトして学習モデルを学習させるので、所与の学習用データセットから毎回異なる入力で学習モデルを学習させることになる。このため、少ないサンプル数であっても、学習モデルの過学習が有効に防止され、汎化性能が向上する。
したがって、過学習を有効に防止しつつ、イレギュラーなデータが入力されてもロバストである学習モデルを提供することが可能になる。
【００７６】
なお、上記において特定の実施形態が説明されているが、当該実施形態は単なる例示であり、本発明の範囲を限定する意図はない。本明細書に記載された装置及び方法は上記した以外の形態において具現化することができる。また、本発明の範囲から離れることなく、上記した実施形態に対して適宜、省略、置換及び変更をなすこともできる。かかる省略、置換及び変更をなした形態は、請求の範囲に記載されたもの及びこれらの均等物の範疇に含まれ、本発明の技術的範囲に属する。
【符号の説明】
【００７７】
１…学習モデル制御装置、１１…学習用データ取得部、１２…入力チャネル設定部、１３…一次学習部、１４…二次学習部、１５…推論部、２…学習用データセット、３…学習モデル
【要約】
イレギュラーな入力データが入力されても十分にロバストである学習モデルを提供する情報処理装置（１）は、学習用データを取得する学習用データ取得部（１１）と、学習用データ取得部（１１）により取得された学習用データで学習させるべき学習モデル（３）に対して、学習用データからそれぞれ異なる特徴を学習モデルに入力するための複数の入力チャネルを設定する入力チャネル設定部（１２）と、毎回の学習において、入力チャネル設定部（１２）により設定された複数の入力チャネルのうち、少なくとも一部の入力チャネルをランダムに選択し、選択された入力チャネルから学習モデルへの入力を非活性化して、学習モデルの学習を繰り返す学習実行部（１４）と、を備える。【図１】
0006956920.tif 000002
【図２】
0006956920.tif 000003
【図３】
0006956920.tif 000004
【図４】
0006956920.tif 000005
【図５】
0006956920.tif 000006
【図６】
0006956920.tif 000007
【図７】
0006956920.tif 000008
【図８】
0006956920.tif 000009
【図９】
0006956920.tif 000010
【図１０】
0006956920.tif 000011
【図１１】
0006956920.tif 000012
【図１２】
0006956920.tif 000013
【図１３】
0006956920.tif 000014
【図１４】
0006956920.tif 000015