(57)【要約】【課題】精度良く文書を解析する。【解決手段】文書解析装置は、解析部と、ニューラルネットワーク部とを備える。解析部は、複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する。ニューラルネットワーク部は、アテンション部と、メインタスク実行部とを有する。アテンション部は、複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および初期要素情報を受け取り、複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、アテンション重みに応じたアテンション情報を出力する。メインタスク実行部は、複数のセンテンスのそれぞれについてのアテンション情報に基づき、メインタスクを実行する。【選択図】図２
2020184157.tif 000002
【特許請求の範囲】
【請求項１】
対象文書に含まれる複数のセンテンスを抽出するセンテンス抽出部と、
前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する解析部と、
前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力するニューラルネットワーク部と、
を備え、
前記ニューラルネットワーク部は、
前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
を有する文書解析装置。
【請求項２】
前記複数の属性項目のうちの何れか１つは、センテンスの文書内での役割を表す項目、センテンスを含む領域の文書中での構造を表す項目、または、センテンスに含まれる文字の装飾を表す項目である
請求項１に記載の文書解析装置。
【請求項３】
学習中において、訓練文書に含まれる複数のセンテンスのうちの対象センテンスに対応する前記センテンス情報および前記初期要素情報を、前記ニューラルネットワーク部に与えるセンテンス印加部と、
前記学習中において、前記対象センテンスに対応する前記センテンス情報および前記初期要素情報が前記ニューラルネットワーク部に与えられた場合に、前記アテンション部に含まれる正規化層から出力された複数の値を、前記アテンション重みとして出力するアテンション重み出力部と、
をさらに備える請求項２に記載の文書解析装置。
【請求項４】
前記ニューラルネットワーク部は、前記対象文書に対して前記メインタスク、および、前記メインタスクとは異なるサブタスクを実行し、
前記ニューラルネットワーク部は、前記複数のセンテンスのそれぞれについての前記アテンション部により推定された前記アテンション情報に基づき、前記サブタスクを実行するサブタスク実行部をさらに有する
請求項１から３の何れか１項に記載の文書解析装置。
【請求項５】
文書解析装置を訓練する学習装置であって、
前記文書解析装置は、
対象文書に含まれる複数のセンテンスを抽出するセンテンス抽出部と、
前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する解析部と、
前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力するニューラルネットワーク部と、
を備え、
前記ニューラルネットワーク部は、
前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
を有し、
前記学習装置は、
訓練文書と前記メインタスク実行部の実行結果を表す正解データとを含む教師データに基づき、前記ニューラルネットワーク部を訓練するメイン学習部と、
前記アテンション部に含まれるパラメータを調整するアテンション調整部と、
を備え、
前記アテンション調整部は、
前記訓練文書に含まれる複数のセンテンスのうちの１つの対象センテンスに対応する前記センテンス情報および前記初期要素情報を、前記ニューラルネットワーク部に印加させる印加制御部と、
前記対象センテンスに対応する前記センテンス情報および前記初期要素情報が前記ニューラルネットワーク部に印加された場合において、前記アテンション部に含まれる正規化層から出力された前記アテンション重みを取得するアテンション重み取得部と、
前記アテンション重みに対する誤差評価値に基づき、前記アテンション部に設定されている複数のパラメータを調整するパラメータ調整部と、
を有する学習装置。
【請求項６】
前記複数の属性項目のそれぞれについて、前記アテンション重みにより表される関連度の推定値と、内容を表すラベルとを対応付けて表示装置に表示させるアテンション重み表示制御部と、
ユーザにより入力された前記アテンション重みに対する前記誤差評価値を受け付ける評価値受付部と、
をさらに有する請求項５に記載の学習装置。
【請求項７】
前記訓練文書に含まれる前記複数のセンテンスを前記表示装置に表示させるセンテンス表示制御部と、
前記表示装置に表示された前記複数のセンテンスの中から、前記ユーザによる前記対象センテンスの指定操作を受け付けるセンテンス受付部と、
をさらに有する請求項６に記載の学習装置。
【請求項８】
取得した前記アテンション重みと、前記対象センテンスに対応する前記アテンション重みの正解値を表す予め生成されたアテンション正解データとに基づき、前記アテンション重みに対する前記誤差評価値を算出するアテンション誤差評価部をさらに有し、
前記パラメータ調整部は、算出された前記アテンション重みに対する前記誤差評価値に基づき、前記アテンション部を訓練する
請求項５に記載の学習装置。
【請求項９】
前記メイン学習部により前記ニューラルネットワーク部を訓練するか、前記アテンション調整部により前記アテンション部のパラメータを調整するかを制御する制御部をさらに備え、
前記制御部は、前記メイン学習部による前記ニューラルネットワーク部の訓練が予め定められた条件に達する毎に、前記アテンション調整部に前記アテンション部のパラメータを調整させる
請求項５から８の何れか１項に記載の学習装置。
【請求項１０】
前記ニューラルネットワーク部は、前記対象文書に対して前記メインタスク、および、前記メインタスクとは異なるサブタスクを実行し、
前記ニューラルネットワーク部は、前記複数のセンテンスのそれぞれについての前記アテンション部により推定された前記アテンション情報に基づき、前記サブタスクを実行するサブタスク実行部をさらに有し、
前記学習装置は、
前記訓練文書と前記サブタスク実行部の実行結果を表す正解データとを含む教師データに基づき、前記ニューラルネットワーク部を訓練するサブ学習部をさらに有し、
前記制御部は、前記メイン学習部により前記ニューラルネットワーク部を訓練するか、前記サブ学習部により前記ニューラルネットワーク部を訓練するか、前記アテンション調整部により前記アテンション部のパラメータを調整するかを制御する
請求項９に記載の学習装置。
【請求項１１】
前記制御部は、
前記メイン学習部による前記ニューラルネットワーク部の訓練と前記サブ学習部による前記ニューラルネットワーク部による訓練とを、所定の条件で切り替えながら交互に実行させ、
前記メイン学習部および前記サブ学習部による前記ニューラルネットワーク部の訓練が予め定められた条件に達する毎に、前記アテンション調整部に前記アテンション部のパラメータを調整させる
請求項１０に記載の学習装置。
【請求項１２】
情報処理装置により実行される文書解析方法であって、
前記情報処理装置が、対象文書に含まれる複数のセンテンスを抽出し、
前記情報処理装置が、前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成し、
前記情報処理装置が、前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力するニューラルネットワーク部を用いて、前記対象文書の解析を出力し、
前記ニューラルネットワーク部は、
前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
を有する文書解析方法。
【請求項１３】
情報処理装置により、文書解析装置を訓練する学習方法であって、
前記文書解析装置は、
対象文書に含まれる複数のセンテンスを抽出するセンテンス抽出部と、
前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する解析部と、
前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力するニューラルネットワーク部と、
を備え、
前記ニューラルネットワーク部は、
前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
を有し、
前記情報処理装置が、訓練文書と前記メインタスク実行部の実行結果を表す正解データとを含む教師データに基づき、前記ニューラルネットワーク部を訓練するメイン学習ステップと、
前記情報処理装置が、前記アテンション部に含まれるパラメータを調整するパラメータ調整ステップと、
を実行し、
前記パラメータ調整ステップにおいて、
前記情報処理装置が、前記訓練文書に含まれる複数のセンテンスのうちの１つの対象センテンスに対応する前記センテンス情報および前記初期要素情報を、前記ニューラルネットワーク部に印加させ、
前記情報処理装置が、前記対象センテンスに対応する前記センテンス情報および前記初期要素情報が前記ニューラルネットワーク部に印加された場合において、前記アテンション部に含まれる正規化層から出力された前記アテンション重みを取得し、
前記情報処理装置が、前記アテンション重みに対する誤差評価値に基づき、前記アテンション部に設定されている複数のパラメータを調整する
学習方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、文書解析装置、学習装置、文書解析方法および学習方法に関する。
【背景技術】
【０００２】
ニューラルネットワークを用いた文書解析装置が知られている。また、近年、自然言語処理の分野において、アテンションを含むニューラルネットワークが広く用いられている。
【０００３】
互いに近似した内容が記載されているが、異なった様式または構造の文書が存在する。例えば、顧客で使用されている装置の不具合に対する対応結果を示した報告書と、顧客アンケートの結果を示した文書と、自社内で生じたトラブルの内容を示したメモとは、内容は似通っているが様式および構造が異なる。ニューラルネットワークを用いた文書解析装置は、このような様々な様式および構造の文書を精度良く解析できることが好ましい。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】磯沼  大  他，  「文書分類とのマルチタスク学習による重要文抽出」，  人工知能学会全国大会論文集  第３１回全国大会，２０１７年
【非特許文献２】近藤裕之，  「特許文献への分類付与と付与根拠の推定」，  Ｊａｐｉｏ  ＹＥＡＲ  ＢＯＯＫ  ２０１８  ミニ特集，Ｐ１６〜２２，  ２０１８年
【非特許文献３】Ashish  Vaswani  et  al.，  “Attention  Is  All  You  Need”,  arXiv:1706.03762,  2017
【発明の概要】
【発明が解決しようとする課題】
【０００５】
本発明が解決しようとする課題は、アテンションを含むニューラルネットワークを用いて、精度良く文書を解析することにある。
【課題を解決するための手段】
【０００６】
実施形態に係る文書解析装置は、センテンス抽出部と、解析部と、ニューラルネットワーク部とを備える。前記センテンス抽出部は、対象文書に含まれる複数のセンテンスを抽出する。前記解析部は、前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する。前記ニューラルネットワーク部は、前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力する。前記ニューラルネットワーク部は、アテンション部と、メインタスク実行部とを有する。前記アテンション部は、前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力する。前記メインタスク実行部は、前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行する。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムの構成図。
【図２】第１実施形態に係る文書解析装置の構成図。
【図３】第１実施形態に係る学習装置および文書解析装置の構成図。
【図４】メイン学習部および文書解析装置の構成図。
【図５】第１実施形態に係るアテンション調整部および文書解析装置の構成図。
【図６】第１実施形態に係るユーザインターフェイス画像を示す図。
【図７】第１実施形態に係る学習処理の流れを示すフローチャート。
【図８】パラメータ調整処理の流れを示すフローチャート。
【図９】第２実施形態に係る文書解析装置の構成図。
【図１０】第２実施形態に係る学習装置および文書解析装置の構成図。
【図１１】第２実施形態に係る学習処理の流れを示すフローチャート。
【図１２】第２実施形態に係るユーザインターフェイス画像を示す図。
【図１３】第３実施形態に係るアテンション調整部および文書解析装置の構成図。
【図１４】情報処理システムのハードウェア構成図。
【発明を実施するための形態】
【０００８】
以下、図面を参照しながら実施形態に係る情報処理システム１０について説明する。
【０００９】
（第１実施形態）
図１は、第１実施形態に係る情報処理システム１０の構成を示す図である。情報処理システム１０は、文書解析装置２０と、学習装置３０とを備える。
【００１０】
文書解析装置２０は、対象文書を受け取り、受け取った対象文書をニューラルネットワークを用いて解析し、解析結果を出力する。文書解析装置２０は、どのような解析を実行してもよい。例えば、文書解析装置２０は、対象文書を分類することによりカテゴリを出力する。例えば、文書解析装置２０は、対象文書における重要部分を出力する。また、例えば、文書解析装置２０は、対象文書を他の形式に変換した新たな文書を出力する。
【００１１】
学習装置３０は、文書解析装置２０に精度良く解析結果を出力させるように、文書解析装置２０に含まれるニューラルネットワークを訓練する。なお、情報処理システム１０は、学習時に、学習装置３０を備えればよい。すなわち、情報処理システム１０は、解析時に、学習装置３０を備えなくてもよい。
【００１２】
図２は、第１実施形態に係る文書解析装置２０の構成を示す図である。文書解析装置２０は、センテンス抽出部３２と、分散表現変換部３４と、解析部３６と、記憶部３８と、センテンス印加部４０と、ニューラルネットワーク部４２と、センテンス出力部４４と、アテンション重み出力部４６と、を有する。
【００１３】
センテンス抽出部３２は、解析対象となる対象文書を取得する。対象文書は、文書形式のデータである。
【００１４】
センテンス抽出部３２は、対象文書に含まれる複数のセンテンスを抽出する。複数のセンテンスのそれぞれは、テキストデータを含む情報である。例えば、センテンス抽出部３２は、対象文書に含まれるテキストデータを予め定められたルールに従って分割することにより、複数のセンテンスを抽出する。例えば、センテンス抽出部３２は、対象文書に含まれるテキストデータを１文単位で分割することにより、複数のセンテンスを抽出する。センテンス抽出部３２は、対象文書に含まれるテキストデータを１行単位で分割してもよいし、段落単位で分割してもよいし、所定のマークごとに分割してもよいし、これらを組み合わせて分割してもよい。
【００１５】
分散表現変換部３４は、センテンス抽出部３２により抽出された複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報を生成する。例えば、分散表現変換部３４は、複数のセンテンスのそれぞれについて、含まれるテキストデータに対して形態素解析をする。これにより、分散表現変換部３４は、複数のセンテンスのそれぞれについて、１または複数の形態素を抽出することができる。続いて、分散表現変換部３４は、抽出した１または複数の形態素のそれぞれを分散表現に変換する。そして、分散表現変換部３４は、複数のセンテンスのそれぞれについて、１または複数の分散表現を、センテンス情報として出力する。
【００１６】
解析部３６は、センテンス抽出部３２により抽出された複数のセンテンスのそれぞれについて、初期要素情報を生成する。初期要素情報は、予め定められた複数の属性項目のそれぞれに対する、センテンスの関連度の初期値を表す。関連度は、例えば数値で表される。関連度は、センテンスが属性項目に関連しているほど大きく、関連していないほど小さくなる値である。例えば、関連度は、センテンスが属性項目に関連していれば１、関連していなければ０を表してもよい。また、関連度は、１以下０以上の数値であってもよい。また、関連度は、百分率で表されてもよい。初期要素情報は、複数の属性項目のそれぞれに対応してこのような関連度を格納した所定次元のベクトル情報である。
【００１７】
属性項目は、センテンスの文書内での役割、センテンスを含む領域の文書中での構造、または、センテンスに含まれる文字の装飾等を表す項目である。
【００１８】
予め定められた複数の属性項目のうちの何れか１つは、例えば、センテンスの文書内での役割を表す。より具体的に、文書内でのセンテンスの役割は、例えば、タイトル、著者および作者、日付、目次、章および節見出し、図表説明、引用、または、脚注および備考等である。例えば、センテンスが文書のタイトルである場合、初期要素情報は、タイトルに対応する属性項目の関連度が１となり、著者および作者、日付、目次、章および節見出し、図表説明、引用、および、脚注および備考のそれぞれに対応する属性項目の関連度が０となる。
【００１９】
また、予め定められた複数の属性項目のうちの何れか１つは、例えば、センテンスを含む領域の文書中での構造を表す。センテンスを含む領域の文書中での構造は、例えば、箇条書き記号、番号ありリスト、番号なしリスト、または、インデントである。
【００２０】
例えば、センテンスに箇条書き記号が含まれる場合、初期要素情報は、箇条書き記号に対応する属性項目の関連度が１となる。例えば、センテンスに箇条書き記号が含まれない場合、初期要素情報は、箇条書き記号に対応する属性項目の関連度が０となる。なお、箇条書き記号は、箇条書きで記述されたテキストであることを示す記号である。
【００２１】
例えば、センテンスが番号ありリストに含まれる場合、初期要素情報は、番号ありリストに対応する属性項目の関連度が１となる。例えば、センテンスが番号ありリストに含まれない場合、初期要素情報は、番号ありリストに対応する属性項目の関連度が０となる。
【００２２】
例えば、センテンスを含むパラグラフにインデントが設定されている場合、初期要素情報は、インデントに対応する属性項目の関連度が１となる。例えば、センテンスを含むパラグラフにインデントが設定されていない場合、初期要素情報は、インデントに対応する属性項目の関連度が０となる。
【００２３】
また、予め定められた複数の属性項目のうちの何れか１つは、例えば、センテンスに含まれる文字の装飾を表す。例えば、文字の装飾は、予め定められた特殊フォントの文字または予め定められた特殊サイズの文字である。
【００２４】
例えば、センテンスに特殊フォントの文字が含まれる場合、初期要素情報は、特殊フォントに対応する属性項目の関連度が１となる。例えば、センテンスに特殊サイズの文字が含まれる場合、初期要素情報は、特殊サイズに対応する属性項目の関連度が１となる。
【００２５】
解析部３６は、与えられたセンテンスに対する、複数の属性項目のそれぞれに対する関連度の初期値を、予め設定されたルールで判断する。例えば、解析部３６は、複数の属性項目のそれぞれに対応して、与えられたセンテンスが属性項目に関連するか否かを判断するための予め定められた演算式または判断プログラムが設定されている。そして、解析部３６は、与えられたセンテンス（および与えられたセンテンスの周囲のセンテンス）を、複数の属性項目のそれぞれに対応する演算式または判断プログラムに入力して、対応する属性項目の関連度の初期値を算出する。
【００２６】
解析部３６は、複数のセンテンスのそれぞれについて、このように算出した初期要素情報を出力する。
【００２７】
記憶部３８は、センテンス抽出部３２により抽出された複数のセンテンスのそれぞれに対応させて、テキストデータ、センテンス情報および初期要素情報を記憶する。さらに、記憶部３８は、複数のセンテンスのそれぞれに対応させて、センテンスの文書内における順序を表す順序情報を記憶してもよい。順序情報は、対応するセンテンスが含まれるページの番号、段落の番号、および、行の番号等である。
【００２８】
センテンス印加部４０は、記憶部３８に記憶された複数のセンテンスの中から、順次に１つのセンテンスを選択する。例えば、センテンス印加部４０は、対象文書の先頭から順次に１つのセンテンスを選択する。
【００２９】
そして、センテンス印加部４０は、選択したセンテンスに対応するセンテンス情報および初期要素情報をニューラルネットワーク部４２に与える。さらに、センテンス印加部４０は、選択したセンテンスに対応する順序情報もニューラルネットワーク部４２に与えてもよい。
【００３０】
ニューラルネットワーク部４２は、対象文書に含まれる複数のセンテンスのそれぞれについて、センテンス情報および初期要素情報を受け取る。ニューラルネットワーク部４２は、複数のセンテンスのそれぞれについて、さらに、センテンスの文書内における順序を表す順序情報を受け取ってもよい。なお、ニューラルネットワーク部４２は、複数のセンテンスのそれぞれについてのこれらの情報を、対象文書の先頭から１つずつ順次に受け取る。
【００３１】
そして、ニューラルネットワーク部４２は、対象文書に対してメインタスクを実行した実行結果を出力する。例えば、ニューラルネットワーク部４２は、対象文書のカテゴリを出力する。例えば、ニューラルネットワーク部４２は、対象文書における重要部分を出力する。例えば、ニューラルネットワーク部４２は、対象文書を他の形式に変換した新たな文書を出力する。
【００３２】
ニューラルネットワーク部４２は、入力部５２と、アテンション部５４と、メインタスク実行部５６とを含む。
【００３３】
入力部５２は、複数のセンテンスのそれぞれにおける、センテンス情報および初期要素情報を受け取る。入力部５２は、複数のセンテンスのそれぞれにおける、順序情報をさらに受け取ってもよい。なお、入力部５２は、複数のセンテンスのそれぞれについてのこれらの情報を、対象文書の先頭のセンテンスについての情報から順次に受け取る。
【００３４】
入力部５２は、受け取ったセンテンス情報および初期要素情報をアテンション部５４に与える。さらに、入力部５２は、受け取った順序情報もアテンション部５４に与えてもよい。
【００３５】
また、入力部５２は、受け取ったセンテンス情報をメインタスク実行部５６に与える。さらに、入力部５２は、受け取った順序情報もメインタスク実行部５６に与えてもよい。
【００３６】
なお、入力部５２は、１つの層により実現されてもよいし、複数の層により実現されてもよい。複数の層により実現される場合、入力部５２は、受け取ったセンテンス情報、初期要素情報および順序情報に対して所定の処理を実行した後の情報を、アテンション部５４およびメインタスク実行部５６に与える。
【００３７】
アテンション部５４は、複数の層を含むニューラルネットワークである。アテンション部５４は、複数のセンテンスのそれぞれについて、センテンス情報および初期要素情報を受け取る。アテンション部５４は、対応する順序情報も受け取ってもよい。
【００３８】
アテンション部５４は、複数のセンテンスのそれぞれについて、受け取った情報に基づき、複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出する。そして、アテンション部５４は、複数のセンテンスのそれぞれについて、算出したアテンション重みに応じたアテンション情報をメインタスク実行部５６に出力する。
【００３９】
ここで、アテンション部５４は、非特許文献３に示されるアテンションである。一例として、アテンション部５４は、クエリを算出するための層にセンテンス情報および初期要素情報（さらに順序情報）を与える。また、一例として、アテンション部５４は、キーを算出するための層に初期要素情報を与える。
【００４０】
アテンション部５４は、正規化層を含む。正規化層は、前段の層から出力された結果を正規化する。例えば、正規化層は、前段の層において実行されたクエリとキーとの内積結果を正規化する。正規化層は、例えばｓｏｆｔｍａｘ関数により正規化処理を実行する。本実施形態では、アテンション部５４の正規化層から出力される複数の値を、アテンション重みという。アテンション重みは、センテンスにおける、複数の属性項目のそれぞれに対する関連度の推定値を表す。アテンション重みにおける複数の属性項目は、初期要素情報における複数の属性項目に対応している。
【００４１】
メインタスク実行部５６は、１または複数の層を含むニューラルネットワークである。メインタスク実行部５６は、複数のセンテンスのそれぞれについて、入力部５２から、センテンス情報を受け取る。さらに、メインタスク実行部５６は、複数のセンテンスのそれぞれについて、入力部５２から、さらに順序情報を受け取ってもよい。さらに、メインタスク実行部５６は、複数のセンテンスのそれぞれについて、アテンション部５４から、アテンション情報を受け取る。
【００４２】
メインタスク実行部５６は、受け取ったこれらの情報に基づき、対象文書に対する解析結果を出力する。例えば、メインタスク実行部５６は、対象文書のカテゴリを出力する。例えば、メインタスク実行部５６は、対象文書における重要部分を出力する。例えば、メインタスク実行部５６は、対象文書を他の形式に変換した新たな文書を出力する。
【００４３】
センテンス出力部４４およびアテンション重み出力部４６は、学習中において機能する。文書解析装置２０は、学習中において、学習装置３０から訓練文書が与えられ、ニューラルネットワーク部４２に含まれる複数のパラメータ（係数およびバイアス）が調整される。
【００４４】
センテンス出力部４４は、学習中において、訓練文書に含まれる複数のセンテンスを、学習装置３０に出力する。例えば、センテンス出力部４４は、訓練文書に含まれる複数のセンテンスのそれぞれについて、含まれるテキストデータ等を学習装置３０に出力する。
【００４５】
センテンス印加部４０は、学習中において、学習装置３０により、訓練文書に含まれる複数のセンテンスのうちの１つが、対象センテンスとして指定される。センテンス印加部４０は、学習中において、対象センテンスが指定された場合、指定された対象センテンスに対応するセンテンス情報および初期要素情報を、ニューラルネットワーク部４２に与える。さらに、センテンス印加部４０は、指定された対象センテンスに対応する順序情報もニューラルネットワーク部４２に与えてもよい。
【００４６】
アテンション重み出力部４６は、学習中において、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）がニューラルネットワーク部４２に与えられた場合に、アテンション部５４に含まれる正規化層から出力されたアテンション重みを、学習装置３０に出力する。
【００４７】
図３は、第１実施形態に係る学習装置３０の構成を文書解析装置２０とともに示す図である。学習装置３０は、メイン学習部６２と、アテンション調整部６４と、制御部６６とを有する。
【００４８】
メイン学習部６２は、予め生成された教師データに基づき、文書解析装置２０が備えるニューラルネットワーク部４２を訓練する。教師データは、訓練文書と、正解データとを含む。訓練文書は、文書解析装置２０が受け取ることができる文書データである。正解データは、メインタスク実行部５６の実行結果を表す。より詳しくは、正解データは、訓練文書を文書解析装置２０に与えた場合に、ニューラルネットワーク部４２が有するメインタスク実行部５６の実行結果として出力されることが希望される理想的なデータである。
【００４９】
アテンション調整部６４は、ニューラルネットワーク部４２が有するアテンション部５４に含まれるパラメータを調整する。本実施形態においては、アテンション調整部６４は、メイン学習部６２による訓練の途中において、ユーザからの操作に応じて、アテンション部５４に含まれるパラメータを調整する。
【００５０】
制御部６６は、メイン学習部６２によりニューラルネットワーク部４２を訓練するか、アテンション調整部６４によりアテンション部５４のパラメータを調整するかを制御する。例えば、制御部６６は、メイン学習部６２によるニューラルネットワーク部４２の訓練が予め定められた条件に達する毎に、アテンション調整部６４にアテンション部５４のパラメータを調整させる。
【００５１】
図４は、メイン学習部６２の構成を文書解析装置２０とともに示す図である。メイン学習部６２は、教師データ取得部７２と、文書印加部７４と、評価値算出部７６と、学習制御部７８とを含む。
【００５２】
教師データ取得部７２は、教師データを取得する。教師データ取得部７２は、取得した教師データに含まれる訓練文書を文書印加部７４に与える。教師データ取得部７２は、取得した教師データに含まれる正解データを評価値算出部７６に与える。
【００５３】
文書印加部７４は、受け取った訓練文書を文書解析装置２０に与える。文書解析装置２０は、訓練文書を受け取った場合、訓練文書に対して処理を実行して、処理結果である出力データを出力する。
【００５４】
評価値算出部７６は、訓練文書を与えたことに応じて文書解析装置２０から出力される出力データと、訓練文書とともに教師データに含まれていた正解データとの誤差を、予め定められた評価関数に与える。そして、評価値算出部７６は、評価関数による演算結果を、出力データと正解データとの誤差を評価した評価値として出力する。
【００５５】
学習制御部７８は、評価値算出部７６から出力された評価値に基づき、文書解析装置２０に含まれるニューラルネットワーク部４２に含まれるパラメータを変更する。例えば、学習制御部７８は、誤差逆伝播法に従って、ニューラルネットワーク部４２に含まれる複数のパラメータを変更する。
【００５６】
メイン学習部６２は、このような処理を複数の教師データを用いて繰り返し実行する。これにより、文書解析装置２０は、適切な処理結果を出力するようにパラメータが調整される。
【００５７】
図５は、第１実施形態に係るアテンション調整部６４の構成を文書解析装置２０とともに示す図である。アテンション調整部６４は、メイン学習部６２が複数の教師データを用いて繰り返して学習処理を実行している途中において、メイン学習部６２による学習処理を一時的に停止して、処理を実行する。
【００５８】
アテンション調整部６４は、センテンス表示制御部８２と、センテンス受付部８４と、印加制御部８６と、アテンション重み取得部８８と、ラベル記憶部９０と、アテンション重み表示制御部９２と、評価値受付部９４と、パラメータ調整部９６と、ラベル変更部９８とを含む。
【００５９】
センテンス表示制御部８２は、文書解析装置２０が処理中の訓練文書に含まれる複数のセンテンスを、表示装置に表示させる。例えば、センテンス表示制御部８２は、文書解析装置２０のセンテンス出力部４４から、複数のセンテンスに含まれる複数のテキストデータを取得する。そして、センテンス表示制御部８２は、取得した複数のテキストデータを表示装置に表示させる。
【００６０】
センテンス受付部８４は、訓練文書に含まれる複数のセンテンスの中から、ユーザによる対象センテンスの指定操作を受け付ける。例えば、センテンス受付部８４は、複数のセンテンスの中から何れか１つのセンテンスを選択するためのユーザインターフェイスを表示装置に表示させる。そして、センテンス受付部８４は、このユーザインターフェイスを介して対象センテンスの指定操作を受け付ける。
【００６１】
印加制御部８６は、文書解析装置２０のセンテンス印加部４０に対して、対象センテンスを指定する。対象センテンスが指定された場合、センテンス印加部４０は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を記憶部３８から読み出し、読み出したセンテンス情報および初期要素情報（および順序情報）をニューラルネットワーク部４２に与える。すなわち、印加制御部８６は、訓練文書に含まれる複数のセンテンスのうちの１つの対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を、ニューラルネットワーク部４２に印加させる。
【００６２】
アテンション重み取得部８８は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）がニューラルネットワーク部４２に印加された場合において、アテンション部５４に含まれる正規化層から出力されたアテンション重みを取得する。より具体的には、アテンション重み取得部８８は、文書解析装置２０のアテンション重み出力部４６から、アテンション重みを取得する。
【００６３】
ラベル記憶部９０は、予め設定された複数のラベルを記憶する。複数のラベルは、アテンション重みにより表される複数の属性項目の内容を表す。
【００６４】
例えば、ラベルは、対応する属性項目の内容を説明するテキストである。複数のラベルのそれぞれは、例えば、“タイトル”、“著者および作者”、“日付”、“目次”、“章および節見出し”、“図表説明”、“引用”、または、“脚注および備考”等のテキストである。また、例えば、ラベルは、“箇条書き記号”、“番号ありリスト”、“番号なしリスト”、または、“インデント”等のテキストである。また、例えば、ラベルは、“特殊フォント”または“特殊サイズ”等のテキストである。
【００６５】
アテンション重み表示制御部９２は、取得したアテンション重みにより表される複数の属性項目のそれぞれについて、関連度の推定値とラベルとを対応付けて表示装置に表示させる。
【００６６】
評価値受付部９４は、ユーザにより入力された、アテンション重みに対する誤差評価値を受け付ける。
【００６７】
パラメータ調整部９６は、評価値受付部９４により受け付けられたアテンション重みに対する誤差評価値に基づき、アテンション部５４に設定されている複数のパラメータを調整する。より具体的には、パラメータ調整部９６は、複数の属性項目のそれぞれに対する関連度の推定値の誤差が小さくなるように、アテンション部５４に設定されている複数のパラメータを調整する。例えば、パラメータ調整部９６は、アテンション重みに対する誤差評価値を逆伝播させ、パラメータの誤差の勾配が小さくなるようにアテンション部５４に設定されているパラメータを調整する。
【００６８】
ラベル変更部９８は、ラベル記憶部９０に記憶されている複数のラベルをユーザからの入力情報に応じて変更する。例えば、ラベル変更部９８は、ラベル記憶部９０に記憶されているラベルが示す内容が適切ではない場合、ユーザから新たな情報（例えばテキスト）を受け付けて、対応するラベルの内容を書き換える。
【００６９】
図６は、第１実施形態に係るユーザインターフェイス画像１１０の一例を示す図である。アテンション調整部６４は、例えば、図６に示すようなユーザインターフェイス画像１１０を表示装置に表示させる。
【００７０】
ユーザインターフェイス画像１１０は、センテンス領域１１２と、センテンス受付領域１１４と、ラベル領域１１６と、アテンション重み領域１１８と、評価値受付領域１２０と、再学習ボタン１２２と、精度表示領域１２４とを含む。
【００７１】
センテンス領域１１２には、文書解析装置２０が処理中の訓練文書に含まれる複数のセンテンスが表示される。センテンス表示制御部８２は、例えば、リスト状に配置した複数のセンテンスを、センテンス領域１１２に表示させる。
【００７２】
センテンス受付領域１１４には、対象センテンスを指定させるためユーザインターフェイスが表示される。例えば、センテンス受付部８４は、センテンス領域１１２に表示された複数のセンテンスに対応付けて配置した複数のボタンを、センテンス受付領域１１４に表示させる。センテンス受付部８４は、ユーザにより何れか１つのボタンが選択された場合、選択されたボタンに対応するセンテンスを対象センテンスとして受け付ける。また、センテンス表示制御部８２は、センテンス受付部８４が対象センテンスの指定操作を受け付けた場合、センテンス領域１１２に表示された対象センテンスを強調する。
【００７３】
ラベル領域１１６には、予め設定された複数のラベルが表示される。アテンション重み表示制御部９２は、リスト状に配置した複数のラベルを、ラベル領域１１６に表示させる。
【００７４】
アテンション重み領域１１８には、アテンション重みにより表される複数の属性項目のそれぞれについての、対象センテンスに対する関連度の推定値が表示される。アテンション重み表示制御部９２は、リスト状に配置した複数の関連度の推定値を、アテンション重み領域１１８に表示させる。この場合において、アテンション重み表示制御部９２は、複数の関連度の推定値のそれぞれを、対応する属性項目の内容を表すラベルに対応させて表示する。
【００７５】
本例においては、アテンション重み表示制御部９２は、数値を濃度で表したアイコンを、関連度の推定値として表示する。例えば、アテンション重み表示制御部９２は、対象センテンスとの関連度が高い属性項目に対応するアイコンを濃く表示し、対象センテンスとの関連度が低い属性項目に対応するアイコンを薄く表示する。
【００７６】
なお、アテンション重み表示制御部９２は、対象センテンスと属性項目との関連度の推定値が視覚的に認識できれば、このような情報に代えて、関連度の推定値として他の情報を表示してもよい。例えば、アテンション重み表示制御部９２は、関連度の推定値を、数値で表示してもよいし、特定の文言または文字列で表示してもよいし、特定の形状のアイコンで表示してもよいし、レベルメータで表示してもよい。
【００７７】
評価値受付領域１２０には、アテンション重みに対する誤差評価値を、ユーザから受け付けるためのユーザインターフェイスが表示される。評価値受付部９４は、評価値受付領域１２０に入力された情報に基づき、アテンション重みに対する誤差評価値を受け付ける。
【００７８】
本例においては、評価値受付部９４は、複数の属性項目のそれぞれについて、対象センテンスとの関連度の推定値が、正しいか誤っているかを選択するための複数のチェックボックスセットを表示する。評価値受付部９４は、複数のラベルのそれぞれに対応させてチェックボックスセットを表示する。
【００７９】
ユーザは、複数の属性項目のそれぞれについて、対象センテンスとの関連度の推定値が正しいか誤っているかを判断する。ユーザは、関連度の推定値が正しいと判断する属性項目については、正しいを表すチェックボックスを選択する。ユーザは、関連度の推定値が誤っていると判断する属性項目については、誤りを表すチェックボックスを選択する。また、ユーザは、関連度の推定値が正しいか誤っているか不明である場合、何れのチェックボックスも選択しない。評価値受付部９４は、このようなユーザインターフェイスを表示することにより、複数の属性項目のそれぞれについて、関連度の推定値が正しいか誤っているかの２値で表された誤差評価値を取得することができる。
【００８０】
なお、評価値受付部９４は、２値で表された誤差評価値に限らず、多値で表した誤差評価値を取得してもよい。例えば、評価値受付部９４は、１０段階で表した誤差評価値を取得してもよい。
【００８１】
評価値受付部９４は、対象センテンスが選択される毎に、複数の属性項目のそれぞれに対する誤差評価値を取得する。
【００８２】
再学習ボタン１２２は、アテンション部５４に含まれるパラメータの調整の開始を受け付ける。ユーザにより再学習ボタン１２２が押された場合、アテンション調整部６４は、ニューラルネットワーク部４２が有するアテンション部５４に含まれるパラメータの調整を開始する。この場合において、アテンション調整部６４は、アテンション重みに対する誤差評価値に基づき、アテンション部５４に含まれるパラメータを調整する。
【００８３】
精度表示領域１２４は、メイン学習処理を実行した結果得られた推定精度を含む。これにより、ユーザは、現在のメインタスクの推定精度を認識することができる。
【００８４】
図７は、第１実施形態に係る学習装置３０による学習処理の流れを示すフローチャートである。学習装置３０が備える制御部６６は、図７に示すような流れで文書解析装置２０の訓練を制御する。
【００８５】
まず、Ｓ１１１において、制御部６６は、１つの教師データを取得する。続いて、Ｓ１１２において、制御部６６は、メイン学習部６２に、取得した１つの教師データを用いてメインタスクの学習処理をさせる。すなわち、Ｓ１１２において、メイン学習部６２は、文書解析装置２０に含まれるニューラルネットワーク部４２を訓練させる。
【００８６】
続いて、Ｓ１１３において、制御部６６は、終了条件に一致したか否かを判断する。例えば、制御部６６は、予め定められた数の教師データを用いてメインタスクの学習処理を実行した場合、予め定められた時間分メインタスクの学習処理を実行した場合、または、メインタスクの推定精度が予め定められた値に達した場合、終了条件に一致したと判断する。終了条件に一致した場合（Ｓ１１３のＹｅｓ）、制御部６６は、本フローを終了する。終了条件に一致していない場合（Ｓ１１３のＮｏ）、制御部６６は、処理をＳ１１４に進める。
【００８７】
Ｓ１１４において、制御部６６は、アテンション部５４のパラメータの調整タイミングとなったか否かを判断する。例えば、制御部６６は、メイン学習部６２によるニューラルネットワーク部４２の訓練が予め定められた条件に達したか否かを判断する。より具体的には、制御部６６は、予め定められた数の教師データを用いてメインタスクの学習処理をした場合、または、予め定められた時間分メインタスクの学習処理をした場合、予め定められた条件に達したと判断する。
【００８８】
調整タイミングとなっていない場合（Ｓ１１４のＮｏ）、制御部６６は、処理をＳ１１１に戻し、Ｓ１１１から処理を繰り返す。調整タイミングとなった場合（Ｓ１１４のＹｅｓ）、制御部６６は、処理をＳ１１５に進める。
【００８９】
Ｓ１１５において、制御部６６は、アテンション調整部６４に、アテンション部５４のパラメータを調整させる。より詳しくは、Ｓ１１５において、アテンション調整部６４は、次の図８の処理を実行する。制御部６６は、Ｓ１１５の処理が終了すると、処理をＳ１１１に戻し、Ｓ１１１から処理を繰り返す。
【００９０】
図８は、アテンション調整部６４によるパラメータ調整処理の流れを示すフローチャートである。アテンション調整部６４は、図８に示すような流れでアテンション部５４のパラメータを調整する。
【００９１】
まず、Ｓ１２１において、アテンション調整部６４は、処理中の訓練文書に含まれる複数のセンテンスを表示装置に表示させる。続いて、Ｓ１２２において、アテンション調整部６４は、対象センテンスの指定操作を受け付ける。
【００９２】
続いて、Ｓ１２３において、アテンション調整部６４は、対象センテンスを指定する情報を、文書解析装置２０のセンテンス印加部４０に与える。これにより、アテンション調整部６４は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を、文書解析装置２０のニューラルネットワーク部４２に印加させることができる。センテンス情報および初期要素情報（および順序情報）が与えられたニューラルネットワーク部４２は、処理を実行して、アテンション重みを出力する。
【００９３】
続いて、Ｓ１２４において、アテンション調整部６４は、ニューラルネットワーク部４２からアテンション重みを取得して表示装置に表示させる。続いて、Ｓ１２５において、アテンション調整部６４は、ユーザにより入力されたアテンション重みに対する誤差評価値を受け付ける。続いて、Ｓ１２６において、アテンション調整部６４は、受け付けたアテンション重みに対する誤差評価値を記憶する。
【００９４】
続いて、Ｓ１２４において、アテンション調整部６４は、次のセンテンスについて処理を実行するか否かを判断する。例えば、アテンション調整部６４は、ユーザにより調整開始の指示がされた場合（例えば、再学習ボタン１２２が押された場合）、次のセンテンスについて処理を実行しないと判断し、それ以外の場合、次のセンテンスについて処理を実行すると判断する。
【００９５】
次のセンテンスについて処理を実行する場合（Ｓ１２７のＹｅｓ）、アテンション調整部６４は、処理をＳ１２２に戻し、Ｓ１２２から処理を繰り返す。次のセンテンスについて処理を実行しない場合（Ｓ１２７のＮｏ）、アテンション調整部６４は、処理をＳ１２８に進める。
【００９６】
Ｓ１２８において、アテンション調整部６４は、複数の対象センテンスについてのアテンション重みに対する誤差評価値に基づき、アテンション部５４に設定されている複数のパラメータを調整する。Ｓ１２８の処理を終了すると、アテンション調整部６４は、本フローを終了する。
【００９７】
以上のように、第１実施形態に係る文書解析装置２０は、対象センテンスが与えられた場合におけるアテンション重みを、外部に出力することができる。これにより、文書解析装置２０は、アテンション部５４に含まれるパラメータの調整が可能となり、精度良く文書解析をすることができる。
【００９８】
また、文書解析装置２０は、ニューラルネットワーク部４２の前段において、センテンスを解析して、複数の属性項目のそれぞれについての関連度の初期値を表す初期要素情報を生成する。これにより、文書解析装置２０は、アテンション重みが表す複数の値と、初期要素情報に含まれる複数の属性項目との対応付けが可能となり、この結果、アテンション重みが表す複数の値の誤差を容易に評価させることができる。従って、文書解析装置２０によれば、アテンション部５４に含まれるパラメータを精度良く調整させることができる。
【００９９】
また、第１実施形態に係る学習装置３０は、アテンション重みが表す複数の属性項目のそれぞれについての関連度の推定値に、ラベルを付けて表示装置に表示させる。これにより、学習装置３０は、アテンション重みに対する誤差をユーザに評価させることができる。従って、学習装置３０によれば、アテンション部５４に含まれるパラメータを精度良く調整して、文書解析装置２０に精度良く文書解析させることができる。
【０１００】
（第２実施形態）
つぎに、第２実施形態に係る情報処理システム１０について説明する。第２実施形態に係る情報処理システム１０は、第１実施形態と略同一の機能および構成を有するので、略同一の機能および構成を有する部分には同一の符号を付けて、相違点を除き詳細な説明を省略する。
【０１０１】
図９は、第２実施形態に係る文書解析装置２０の構成を示す図である。第２実施形態において、ニューラルネットワーク部４２は、対象文書に対してメインタスク、および、メインタスクとは異なるサブタスクを実行する。すなわち、第２実施形態に係る文書解析装置２０のニューラルネットワーク部４２は、サブタスク実行部２１０をさらに有する。
【０１０２】
サブタスク実行部２１０は、複数の層を含むニューラルネットワークである。サブタスク実行部２１０は、複数のセンテンスのそれぞれについてのアテンション部５４により推定されたアテンション情報に基づき、サブタスクを実行する。
【０１０３】
サブタスク実行部２１０は、複数のセンテンスのそれぞれについて、入力部５２から、センテンス情報を受け取る。さらに、サブタスク実行部２１０は、複数のセンテンスのそれぞれについて、入力部５２から、順序情報を受け取ってもよい。さらに、サブタスク実行部２１０は、複数のセンテンスのそれぞれについて、アテンション部５４から、アテンション情報を受け取る。
【０１０４】
サブタスク実行部２１０は、受け取ったこれらの情報に基づき、対象文書に対してメインタスク実行部５６とは異なった解析結果を出力する。例えば、メインタスク実行部５６およびサブタスク実行部２１０は、同一の文書に対して、異なる処理を実行して、異なる解析結果を出力する。例えば、メインタスク実行部５６は、対象文書のカテゴリを出力し、サブタスク実行部２１０は、対象文書における重要部分を出力する。
【０１０５】
また、例えば、メインタスク実行部５６およびサブタスク実行部２１０は、異なる形式の文書に対して、同一の種類の解析結果を出力してもよい。例えば、メインタスク実行部５６は、顧客で使用されている装置の不具合に対する対応結果を示した報告書に対してカテゴリを出力し、サブタスク実行部２１０は、自社内で生じたトラブルの内容を示したメモに対してカテゴリを出力する。
【０１０６】
さらに、本実施形態において、メインタスク実行部５６およびサブタスク実行部２１０は、共に、アテンション部５４から出力されたアテンション情報を用いて解析結果を出力する。すなわち、メインタスク実行部５６とサブタスク実行部２１０とは、共通のアテンション情報を用いて、異なるタスクを実行する。
【０１０７】
図１０は、第２実施形態に係る学習装置３０の構成を文書解析装置２０とともに示す図である。第２実施形態に係る学習装置３０は、サブ学習部２１２をさらに有する。
【０１０８】
第２実施形態において、メイン学習部６２は、訓練文書と、メインタスク実行部５６の実行結果を表す正解データとを含む教師データに基づき、ニューラルネットワーク部４２を訓練する。これに対して、サブ学習部２１２は、訓練文書と、サブタスク実行部２１０の実行結果を表す正解データとを含む教師データに基づき、ニューラルネットワーク部４２を訓練する。
【０１０９】
第２実施形態において、制御部６６は、メイン学習部６２によりニューラルネットワーク部４２を訓練するか、サブ学習部２１２によりニューラルネットワーク部４２を訓練するか、アテンション調整部６４によりアテンション部５４のパラメータを調整するかを制御する。例えば、制御部６６は、メイン学習部６２によるニューラルネットワーク部４２の訓練とサブ学習部２１２によるニューラルネットワーク部４２による訓練とを、所定の条件で切り替えながら交互に実行させる。そして、制御部６６は、メイン学習部６２およびサブ学習部２１２によるニューラルネットワーク部４２の訓練が予め定められた条件に達する毎に、アテンション調整部６４にアテンション部５４のパラメータを調整させる。
【０１１０】
なお、メイン学習部６２およびサブ学習部２１２は、取得する教師データは異なるが、内部の構成は、同一である。従って、学習装置３０は、同一のソフトウェアモジュールを切り替えて実行することにより、メイン学習部６２およびサブ学習部２１２を実現してもよい。
【０１１１】
図１１は、第２実施形態に係る学習装置３０による学習処理の流れを示すフローチャートである。学習装置３０が備える制御部６６は、図１１に示すような流れで文書解析装置２０の訓練を制御する。
【０１１２】
まず、Ｓ２１１において、制御部６６は、１つの教師データを取得する。続いて、Ｓ２１２において、制御部６６は、メインタスクの学習処理をするか、サブタスクの学習処理をするか否かを判断する。例えば、制御部６６は、メインタスクの学習処理とサブタスクの学習処理とを所定回数毎に交互に実行させる。また、制御部６６は、取得した教師データに含まれる訓練文書の形式に応じて、メインタスクの学習処理とサブタスクの学習処理と切り替えてもよい。
【０１１３】
メインタスクの学習処理を実行する場合（Ｓ２１２のＹｅｓ）、Ｓ２１３において、制御部６６は、メイン学習部６２に、取得した１つの教師データを用いてメインタスクの学習処理をさせる。サブタスクの学習処理を実行する場合（Ｓ２１２のＮｏ）、Ｓ２１４において、制御部６６は、サブ学習部２１２に、取得した１つの教師データを用いてサブタスクの学習処理をさせる。
【０１１４】
Ｓ２１３またはＳ２１４の処理を終了した後、Ｓ２１５において、制御部６６は、終了条件に一致したか否かを判断する。終了条件に一致した場合（Ｓ２１５のＹｅｓ）、制御部６６は、本フローを終了する。終了条件に一致していない場合（Ｓ２１５のＮｏ）、制御部６６は、処理をＳ２１６に進める。
【０１１５】
Ｓ２１６において、制御部６６は、アテンション部５４のパラメータの調整タイミングとなったか否かを判断する。例えば、制御部６６は、メイン学習部６２およびサブ学習部２１２によるニューラルネットワーク部４２の訓練が予め定められた条件に達したか否かを判断する。より具体的には、制御部６６は、予め定められた数の教師データを用いてメインタスクおよびサブタスクの学習処理をした場合、または、予め定められた時間分メインタスクおよびサブタスクの学習処理をした場合、予め定められた条件に達したと判断する。調整タイミングとなっていない場合（Ｓ２１６のＮｏ）、制御部６６は、処理をＳ２１１に戻し、Ｓ２１１から処理を繰り返す。調整タイミングとなった場合（Ｓ２１６のＹｅｓ）、制御部６６は、処理をＳ２１７に進める。
【０１１６】
Ｓ２１７において、制御部６６は、アテンション調整部６４に、アテンション部５４のパラメータを調整させる。制御部６６は、Ｓ２１７の処理が終了すると、処理をＳ２１１に戻し、Ｓ２１１から処理を繰り返す。
【０１１７】
図１２は、第２実施形態に係るユーザインターフェイス画像１１０の一例を示す図である。第２実施形態において、アテンション調整部６４は、例えば、図１２に示すようなユーザインターフェイス画像１１０を表示装置に表示させる。
【０１１８】
第２実施形態に係るユーザインターフェイス画像１１０は、第１実施形態と比較して、精度表示領域１２４に含まれる情報内容が異なるが、他の領域は同一である。第２実施形態において、精度表示領域１２４は、メイン学習処理を実行した結果得られた推定精度と、サブ学習処理を実行した結果得られた推定精度の両者を含む。これにより、ユーザは、現在のメインタスクの推定精度および現在のサブタスクの推定精度を認識することができる。
【０１１９】
このような第２実施形態に係るユーザインターフェイス画像１１０は、メインタスクの学習処理を実行している場合と、サブタスクの学習処理を実行している場合とで、ラベル領域１１６およびアテンション重み領域１１８に、同一の情報が表示される。これにより、ユーザは、メインタスクの学習処理の途中であっても、サブタスクの処理の途中であっても、アテンション部５４のパラメータを共通のユーザインターフェイスを用いて調整することができる。
【０１２０】
以上のように、第２実施形態に係る文書解析装置２０は、共通のアテンション部５４を用いて異なる２つのタスクを実行する。これにより、文書解析装置２０によれば、様々な構造および様式の文書を精度良く解析することができる。
【０１２１】
また、第２実施形態に係る学習装置３０は、文書解析装置２０において実行される異なる２つのタスクを、並行して訓練することができる。さらに、学習装置３０は、異なる２つのタスクの訓練を実行しながら、アテンション部５４のパラメータを調整するので、アテンション部５４のパラメータを異なる２つのタスクに対して適応化させることができる。従って、第２実施形態に係る学習装置３０によれば、文書解析装置２０に、様々な構造および様式の文書を精度良く解析させることができる。
【０１２２】
（第３実施形態）
つぎに、第３実施形態に係る情報処理システム１０について説明する。第３実施形態に係る情報処理システム１０は、第１実施形態および第２実施形態と略同一の機能および構成を有するので、略同一の機能および構成を有する部分には同一の符号を付けて、相違点を除き詳細な説明を省略する。
【０１２３】
図１３は、第３実施形態に係るアテンション調整部６４の構成を文書解析装置２０とともに示す図である。第３実施形態に係るアテンション調整部６４は、正解データ取得部２２０と、印加制御部８６と、アテンション重み取得部８８と、アテンション誤差評価部２２２と、パラメータ調整部９６とを含む。
【０１２４】
正解データ取得部２２０は、訓練文書に含まれる複数のセンテンスのそれぞれに対応させて、アテンション重みの正解値を表すアテンション正解データを取得する。アテンション正解データは、例えばユーザ等により予め生成されている。
【０１２５】
正解データ取得部２２０は、訓練文書に含まれる複数のセンテンスの中から、１つの対象センテンスを選択する。そして、正解データ取得部２２０は、選択した対象センテンスを指定する情報を印加制御部８６に与え、選択した対象センテンスに対応するアテンション正解データをアテンション誤差評価部２２２に与える。
【０１２６】
印加制御部８６は、文書解析装置２０のセンテンス印加部４０に対して、対象センテンスを指定する。対象センテンスが指定された場合、センテンス印加部４０は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を記憶部３８から読み出し、読み出したセンテンス情報および初期要素情報（および順序情報）をニューラルネットワーク部４２に与える。
【０１２７】
アテンション重み取得部８８は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）がニューラルネットワーク部４２に印加された場合において、アテンション部５４に含まれる正規化層から出力されたアテンション重みを取得する。
【０１２８】
アテンション誤差評価部２２２は、取得したアテンション重みと、対象センテンスに対応するアテンション重みの正解値を表すアテンション正解データとに基づき、アテンション重みに対する誤差評価値を算出する。例えば、アテンション誤差評価部２２２は、取得したアテンション重みとアテンション正解データとの誤差を予め定められた評価関数に与えることにより、アテンション重みに対する誤差評価値を算出する。
【０１２９】
パラメータ調整部９６は、算出されたアテンション重みに対する誤差評価値に基づき、アテンション部５４に設定されている複数のパラメータを調整する。より具体的には、パラメータ調整部９６は、複数の属性項目のそれぞれに対する関連度の推定値の誤差が小さくなるように、アテンション部５４に設定されている複数のパラメータを調整する。例えば、パラメータ調整部９６は、アテンション重みに対する誤差評価値を逆伝播させ、パラメータの誤差の勾配が小さくなるようにアテンション部５４に設定されているパラメータを調整する。そして、このような構成のアテンション調整部６４は、訓練文書に含まれる複数のセンテンスのそれぞれに対して、以上の処理を繰り返す。
【０１３０】
以上のように、第３実施形態に係る学習装置３０は、アテンション重みが表す複数の属性項目のそれぞれに対する関連度の推定値の正解データを予め取得する。これにより、学習装置３０は、文書解析装置２０から取得されたアテンション重みと正解データとを比較して、アテンション重みに対する誤差評価値を演算により算出することができる。そして、学習装置３０は、算出した誤差評価値に基づき、アテンション部５４に含まれるパラメータを調整することができる。従って、学習装置３０によれば、アテンション部５４に含まれるパラメータを精度良く調整して、文書解析装置２０に精度良く文書解析させることができる。
【０１３１】
（情報処理システム１０のハードウェア構成）
図１４は、情報処理システム１０のハードウェアブロック図である。情報処理システム１０は、一例として、一般のコンピュータ（情報処理装置）と同様のハードウェア構成により実現される。情報処理システム１０は、ＣＰＵ（Central  Processing  Unit）３０２と、ＲＯＭ（Read  Only  Memory）３０４と、ＲＡＭ（Random  Access  Memory）３０６と、記憶装置３０８と、操作装置３１０と、表示モニタ３１２と、通信装置３１４とを備える。各部は、バスにより接続される。
【０１３２】
ＲＯＭ３０４は、情報処理システム１０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ３０６は、ＳＤＲＡＭ（Synchronous  Dynamic  Random  Access  Memory）等の揮発性の記憶媒体である。ＲＡＭ３０６は、ＣＰＵ３０２の作業領域として機能する。
【０１３３】
ＣＰＵ３０２は、ＲＡＭ３０６の所定領域を作業領域としてＲＯＭ３０４または記憶装置３０８に予め記憶された各種プログラムとの協働により各種処理を実行し、文書解析装置２０および学習装置３０を構成する各部の動作を統括的に制御する。また、ＣＰＵ３０２は、ＲＯＭ３０４または記憶装置３０８に予め記憶されたプログラムとの協働により、操作装置３１０、表示モニタ３１２および通信装置３１４等を制御する。
【０１３４】
記憶装置３０８は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶装置３０８は、情報処理システム１０の制御に用いられるプログラムおよび各種設定情報等を記憶する。
【０１３５】
操作装置３１０は、マウスおよびキーボード等の入力デバイスである。操作装置３１０は、ユーザから操作入力された情報を受け付け、受け付けた情報をＣＰＵ３０２に出力する。
【０１３６】
表示モニタ３１２は、表示装置の一例であり、情報をユーザに表示する。表示モニタ３１２は、ＣＰＵ３０２から情報等を受け取り、受け取った情報を表示する。通信装置３１４は、外部の機器と通信して、ネットワーク等を介して情報を送受信する。
【０１３７】
本実施形態の情報処理システム１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital  Versatile  Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【０１３８】
また、本実施形態の情報処理システム１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理システム１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の情報処理システム１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【０１３９】
情報処理装置を文書解析装置２０として機能させるためのプログラムは、センテンス抽出モジュール、分散表現変換モジュール、解析部モジュール、センテンス印加モジュール、ニューラルネットワークモジュール（入力モジュール、アテンションモジュール、メインタスク実行モジュールおよびサブタスク実行モジュール）、センテンス出力モジュール並びにアテンション重み出力モジュールを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０２（プロセッサ）により実行されることにより各モジュールがＲＡＭ３０６（主記憶装置）にロードされ、ＣＰＵ３０２を、センテンス抽出部３２、分散表現変換部３４、解析部３６、記憶部３８、センテンス印加部４０、ニューラルネットワーク部４２（入力部５２、アテンション部５４、メインタスク実行部５６およびサブタスク実行部２１０）、センテンス出力部４４並びにアテンション重み出力部４６として機能させる。なお、センテンス抽出部３２、分散表現変換部３４、解析部３６、記憶部３８、センテンス印加部４０、ニューラルネットワーク部４２（入力部５２、アテンション部５４、メインタスク実行部５６およびサブタスク実行部２１０）、センテンス出力部４４並びにアテンション重み出力部４６は、一部または全部がハードウェアにより構成されていてもよい。
【０１４０】
情報処理装置を学習装置３０として機能させるためのプログラムは、メイン学習モジュール、アテンション調整モジュール、制御モジュールおよびサブ学習モジュールを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０２（プロセッサ）により実行されることにより各モジュールがＲＡＭ３０６（主記憶装置）にロードされ、ＣＰＵ３０２を、メイン学習部６２、アテンション調整部６４、制御部６６およびサブ学習部２１２として機能させる。なお、メイン学習部６２、アテンション調整部６４、制御部６６およびサブ学習部２１２は、一部または全部がハードウェアにより構成されていてもよい。
【０１４１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【０１４２】
１０  情報処理システム
２０  文書解析装置
３０  学習装置
３２  センテンス抽出部
３４  分散表現変換部
３６  解析部
３８  記憶部
４０  センテンス印加部
４２  ニューラルネットワーク部
４４  センテンス出力部
４６  アテンション重み出力部
５２  入力部
５４  アテンション部
５６  メインタスク実行部
６２  メイン学習部
６４  アテンション調整部
６６  制御部
７２  教師データ取得部
７４  文書印加部
７６  評価値算出部
７８  学習制御部
８２  センテンス表示制御部
８４  センテンス受付部
８６  印加制御部
８８  アテンション重み取得部
９０  ラベル記憶部
９２  アテンション重み表示制御部
９４  評価値受付部
９６  パラメータ調整部
９８  ラベル変更部
１１０  ユーザインターフェイス画像
１１２  センテンス領域
１１４  センテンス受付領域
１１６  ラベル領域
１１８  アテンション重み領域
１２０  評価値受付領域
１２２  再学習ボタン
１２４  精度表示領域
２１０  サブタスク実行部
２１２  サブ学習部
２２０  正解データ取得部
２２２  アテンション誤差評価部
【図１】
2020184157.tif 000003
【図２】
2020184157.tif 000004
【図３】
2020184157.tif 000005
【図４】
2020184157.tif 000006
【図５】
2020184157.tif 000007
【図６】
2020184157.tif 000008
【図７】
2020184157.tif 000009
【図８】
2020184157.tif 000010
【図９】
2020184157.tif 000011
【図１０】
2020184157.tif 000012
【図１１】
2020184157.tif 000013
【図１２】
2020184157.tif 000014
【図１３】
2020184157.tif 000015
【図１４】
2020184157.tif 000016