(57)【要約】      （修正有）【課題】未知語を含むセンテンスのカテゴリを推定する精度を向上させる。【解決手段】カテゴリ推定装置１は、第１センテンス情報及び複数の第２センテンス情報のそれぞれに機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部１３２と、複数の処理層から選択した後段処理層及び前段処理層の両方の処理層において共通に活性化しているユニットを含む、一以上の第１出力と一以上の第２出力とを抽出する抽出部１３３と、一以上の第１出力に基づいて一以上の第１特徴成分を検出し、かつ、一以上の第２出力に基づいて一以上の第２特徴成分を検出する特徴成分検出部１３７と、一以上の第１特徴成分と一以上の第２特徴成分とに基づいて、複数の類似度を算出する算出部１３９と、複数の類似度に基づいて、未付与単語のカテゴリを推定するカテゴリ推定部１４０と、推定した結果に基づく情報を出力する出力部１４１と、を有する。【選択図】図３
2020161075.tif 000002
【特許請求の範囲】
【請求項１】
カテゴリが付与されていない未付与単語を含む第１センテンス情報と、カテゴリが付与されている付与単語を含む複数の第２センテンス情報とを取得する取得部と、
前記第１センテンス情報及び前記複数の第２センテンス情報のそれぞれに、入力された複数の単語を含むセンテンスのカテゴリを出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化しているユニットを含む、前記第１センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１出力と前記第２センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２出力とを抽出する抽出部と、
前記一以上の第１出力に基づいて一以上の第１特徴成分を検出し、かつ前記一以上の第２出力に基づいて一以上の第２特徴成分を検出する特徴成分検出部と、
前記一以上の第１特徴成分と前記一以上の第２特徴成分とに基づいて、前記第１センテンス情報のカテゴリと前記複数の第２センテンス情報それぞれのカテゴリとの近さを示す複数の類似度を算出する算出部と、
前記第２センテンス情報ごとに前記算出部が算出した前記複数の類似度に基づいて、前記未付与単語のカテゴリを推定するカテゴリ推定部と、
前記カテゴリ推定部が推定した結果に基づく情報を出力する出力部と、
を有するカテゴリ推定装置。
【請求項２】
前記抽出部は、前記伝搬制御部が前記第１センテンス情報及び前記複数の第２センテンス情報のそれぞれに前記複数の処理層を伝搬させることにより前記機械学習モデルが出力した前記第１センテンス情報のカテゴリが、前記第１センテンス情報に含まれている前記未付与単語にカテゴリを付与することができないことを示す場合に、前記両方の処理層において共通に活性化している前記一以上の第１出力と前記一以上の第２出力とを抽出する、
請求項１に記載のカテゴリ推定装置。
【請求項３】
前記機械学習モデルに含まれる前記複数の処理層は、入力された前記センテンスに含まれる前記複数の単語それぞれを分散表現に変換し、変換した前記分散表現を出力する埋め込み層を含み、
前記抽出部は、前記埋め込み層が前記第１センテンス情報に基づいて出力した出力結果の中に前記分散表現への変換が不能であることを示す前記出力結果がある場合に、前記両方の処理層において共通に活性化しているユニットを含む前記一以上の第１出力と前記一以上の第２出力とを抽出する、
請求項１又は２に記載のカテゴリ推定装置。
【請求項４】
前記出力部は、前記カテゴリ推定部が推定した結果に基づく情報として、前記第１センテンス情報のカテゴリと前記第２センテンス情報のカテゴリとが近似することを示す前記類似度に対応する前記第２センテンス情報のカテゴリを、前記未付与単語に関連付けて出力する、
請求項１から３のいずれか一項に記載のカテゴリ推定装置。
【請求項５】
前記出力部は、前記算出部が算出した前記複数の類似度に前記第１センテンス情報のカテゴリと前記第２センテンス情報のカテゴリとが近似することを示す前記類似度が無い場合、前記カテゴリ推定部が推定した結果に基づく情報として、前記第１センテンス情報のカテゴリに類似しないカテゴリであることを示す情報とともに、前記複数の第２センテンス情報それぞれのカテゴリを、前記未付与単語に関連付けて出力する、
請求項１から４のいずれか一項に記載のカテゴリ推定装置。
【請求項６】
前記抽出部は、
前記第１センテンス情報が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１出力、及び前記第２センテンス情報が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２出力から、共通に活性化している一以上の後段第１出力及び一以上の後段第２出力を抽出する後段抽出部と、
前記一以上の後段第１出力及び前記一以上の後段第２出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１出力、及び前記前段処理層から出力された複数の前段第２出力のうち、共通に活性化している一以上の前段第１出力及び一以上の前段第２出力を抽出する前段抽出部と、
を有する、
請求項１から５のいずれか一項に記載のカテゴリ推定装置。
【請求項７】
前記前段抽出部は、前記複数の前段第１出力及び前記複数の前段第２出力のうち、活性化している大きさに基づいて、前記一以上の前段第１出力及び前記一以上の前段第２出力を抽出する、
請求項６に記載のカテゴリ推定装置。
【請求項８】
前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の第１出力及び前記一以上の第２出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の第１出力及び前記一以上の第２出力を抽出する、
請求項１から７のいずれか一項に記載のカテゴリ推定装置。
【請求項９】
前記特徴成分検出部が特定した前記一以上の第１特徴成分及び前記一以上の第２特徴成分から、相互の対応関係に基づいて一部の第１特徴成分及び一部の第２特徴成分を選択する選択部をさらに有し、
前記算出部は、前記一部の第１特徴成分と前記一部の第２特徴成分とを比較することにより、前記類似度を算出する、
請求項１から８のいずれか一項に記載のカテゴリ推定装置。
【請求項１０】
前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、
前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用する、
請求項１から９のいずれか一項に記載のカテゴリ推定装置。
【請求項１１】
前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の第１出力及び前記一以上の第２出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の第１出力及び前記一以上の第２出力を抽出する、
請求項１から１０のいずれか一項に記載のカテゴリ推定装置。
【請求項１２】
カテゴリが付与されていない未付与単語を含む第１センテンス情報を取得するステップと、
カテゴリが付与されている付与単語を含む複数の第２センテンス情報を取得するステップと、
前記第１センテンス情報及び前記複数の第２センテンス情報のそれぞれに、入力された複数の単語を含むセンテンスのカテゴリを出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、
前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化しているユニットを含む、前記第１センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１出力と前記第２センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２出力とを抽出するステップと、
前記一以上の第１出力に基づいて一以上の第１特徴成分を検出し、かつ前記一以上の第２出力に基づいて一以上の第２特徴成分を検出するステップと、
前記一以上の第１特徴成分と前記一以上の第２特徴成分とに基づいて、前記第１センテンス情報のカテゴリと前記複数の第２センテンス情報それぞれのカテゴリとの近さを示す複数の類似度を算出するステップと、
前記第２センテンス情報ごとに算出した前記複数の類似度に基づいて、前記未付与単語のカテゴリを推定するステップと、
推定した結果に基づく情報を出力するステップと、
を有するカテゴリ推定方法。
【請求項１３】
前記抽出するステップは、
前記第１センテンス情報が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１出力、及び前記第２センテンス情報が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２出力から、共通に活性化している一以上の後段第１出力及び一以上の後段第２出力を抽出する後段抽出ステップと、
前記一以上の後段第１出力及び前記一以上の後段第２出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１出力、及び前記前段処理層から出力された複数の前段第２出力のうち、共通に活性化している一以上の前段第１出力及び一以上の前段第２出力を抽出する前段抽出ステップと、
を有する、請求項１２に記載のカテゴリ推定方法。
【請求項１４】
前記前段抽出ステップを実行した後に、前記一以上の前段第１出力及び前記一以上の前段第２出力を、前記複数の後段第１出力及び前記複数の後段第２出力として、前記後段抽出ステップを実行する、
請求項１３に記載のカテゴリ推定方法。
【請求項１５】
前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行する、
請求項１３又は１４に記載のカテゴリ推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単語のカテゴリを推定するカテゴリ推定装置及びカテゴリ推定方法に関する。
【背景技術】
【０００２】
従来、固有名詞を含むセンテンスのカテゴリを推定する装置が知られている。非特許文献１には、固有名詞を含む対訳コーパスの原言語文と、翻訳システムにおいて複数存在する固有名詞クラスの中で当該原言語文に対する翻訳性能が最も高くなるクラス（以下、「カテゴリ」という。）とを含む学習データに基づいて学習された単語クラス推定モデルを用いて、固有名詞を含むセンテンスのカテゴリを推定する技術が開示されている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】安田  圭志，高井  公一，服部  元，イラクレウス  パニコス，石川  彰夫，松本  一則，菅谷  史昭，“翻訳精度に基づく単語クラス自動推定手法”，言語処理学会年次大会発表論文集，ｖｏｌ．２４，ｐｐ．１−１５，２０１８
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしなら、従来の技術においては、センテンスに新語及び造語等の未知語が含まれる場合、当該センテンスのカテゴリを推定できない場合があった。例えば、非特許文献１では、学習データに含まれていない固有名詞を含むセンテンスが単語クラス推定モデルに入力された場合、「Ｗｏｒｄ  ｅｍｂｅｄｄｉｎｇ」において未知語を埋め込みベクトルに変換できず、センテンスのカテゴリを精度良く推定することができない場合があった。
【０００５】
そこで、本発明はこれらの点に鑑みてなされたものであり、未知語を含むセンテンスのカテゴリを推定する精度を向上させることができるカテゴリ推定装置及びカテゴリ推定方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の態様に係るカテゴリ推定装置は、カテゴリが付与されていない未付与単語を含む第１センテンス情報と、カテゴリが付与されている付与単語を含む複数の第２センテンス情報とを取得する取得部と、前記第１センテンス情報及び前記複数の第２センテンス情報のそれぞれに、入力された複数の単語を含むセンテンスのカテゴリを出力可能な機械学習モデルに含まれる複数の処理層を伝搬させる伝搬制御部と、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化しているユニットを含む、前記第１センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１出力と前記第２センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２出力とを抽出する抽出部と、前記一以上の第１出力に基づいて一以上の第１特徴成分を検出し、かつ前記一以上の第２出力に基づいて一以上の第２特徴成分を検出する特徴成分検出部と、前記一以上の第１特徴成分と前記一以上の第２特徴成分とに基づいて、前記第１センテンス情報のカテゴリと前記複数の第２センテンス情報それぞれのカテゴリとの近さを示す複数の類似度を算出する算出部と、前記第２センテンス情報ごとに前記算出部が算出した前記複数の類似度に基づいて、前記未付与単語のカテゴリを推定するカテゴリ推定部と、前記カテゴリ推定部が推定した結果に基づく情報を出力する出力部と、を有する。
【０００７】
前記抽出部は、前記伝搬制御部が前記第１センテンス情報及び前記複数の第２センテンス情報のそれぞれに前記複数の処理層を伝搬させることにより前記機械学習モデルが出力した前記第１センテンス情報のカテゴリが、前記第１センテンス情報に含まれている前記未付与単語にカテゴリを付与することができないことを示す場合に、前記両方の処理層において共通に活性化している前記一以上の第１出力と前記一以上の第２出力とを抽出してもよい。
【０００８】
前記機械学習モデルに含まれる前記複数の処理層は、入力された前記センテンスに含まれる前記複数の単語それぞれを分散表現に変換し、変換した前記分散表現を出力する埋め込み層を含み、前記抽出部は、前記埋め込み層が前記第１センテンス情報に基づいて出力した出力結果の中に前記分散表現への変換が不能であることを示す前記出力結果がある場合に、前記両方の処理層において共通に活性化しているユニットを含む前記一以上の第１出力と前記一以上の第２出力とを抽出してもよい。
【０００９】
前記出力部は、前記カテゴリ推定部が推定した結果に基づく情報として、前記第１センテンス情報のカテゴリと前記第２センテンス情報のカテゴリとが近似することを示す前記類似度に対応する前記第２センテンス情報のカテゴリを、前記未付与単語に関連付けて出力してもよい。
【００１０】
前記出力部は、前記算出部が算出した前記複数の類似度に前記第１センテンス情報のカテゴリと前記第２センテンス情報のカテゴリとが近似することを示す前記類似度が無い場合、前記カテゴリ推定部が推定した結果に基づく情報として、前記第１センテンス情報のカテゴリに類似しないカテゴリであることを示す情報とともに、前記複数の第２センテンス情報それぞれのカテゴリを、前記未付与単語に関連付けて出力してもよい。
【００１１】
前記抽出部は、前記第１センテンス情報が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１出力、及び前記第２センテンス情報が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２出力から、共通に活性化している一以上の後段第１出力及び一以上の後段第２出力を抽出する後段抽出部と、前記一以上の後段第１出力及び前記一以上の後段第２出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１出力、及び前記前段処理層から出力された複数の前段第２出力のうち、共通に活性化している一以上の前段第１出力及び一以上の前段第２出力を抽出する前段抽出部と、を有してもよい。
【００１２】
前記前段抽出部は、前記複数の前段第１出力及び前記複数の前段第２出力のうち、活性化している大きさに基づいて、前記一以上の前段第１出力及び前記一以上の前段第２出力を抽出してもよい。
【００１３】
前記抽出部は、前記複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択した場合において、前記最後尾層において共通に活性化している前記一以上の第１出力及び前記一以上の第２出力がない場合、前記最後尾層より前の処理層において共通に活性化している前記一以上の第１出力及び前記一以上の第２出力を抽出してもよい。
【００１４】
前記カテゴリ推定装置は、前記特徴成分検出部が特定した前記一以上の第１特徴成分及び前記一以上の第２特徴成分から、相互の対応関係に基づいて一部の第１特徴成分及び一部の第２特徴成分を選択する選択部をさらに有し、前記算出部は、前記一部の第１特徴成分と前記一部の第２特徴成分とを比較することにより、前記類似度を算出してもよい。
【００１５】
前記カテゴリ推定装置は、前記複数の処理層のうち、前記後段処理層として用いる処理層を選択する指示を受け付ける指示受付部をさらに有し、前記抽出部は、前記指示受付部が受け付けた前記指示が示す前記処理層を、前記後段処理層として使用してもよい。
【００１６】
前記抽出部は、前記複数の処理層のうち一つの層を前記後段処理層として選択して前記一以上の第１出力及び前記一以上の第２出力を抽出した後に、前記前段処理層として選択した処理層を前記後段処理層として選択して、別の前記一以上の第１出力及び前記一以上の第２出力を抽出してもよい。
【００１７】
本発明の第２の態様に係るカテゴリ推定方法は、カテゴリが付与されていない未付与単語を含む第１センテンス情報を取得するステップと、カテゴリが付与されている付与単語を含む複数の第２センテンス情報を取得するステップと、前記第１センテンス情報及び前記複数の第２センテンス情報のそれぞれに、入力された複数の単語を含むセンテンスのカテゴリを出力可能な機械学習モデルに含まれる複数の処理層を伝搬させるステップと、前記複数の処理層から選択した後段処理層、及び前記後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化しているユニットを含む、前記第１センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第１出力と前記第２センテンス情報に基づいて前記後段処理層及び前記前段処理層から出力された一以上の第２出力とを抽出するステップと、前記一以上の第１出力に基づいて一以上の第１特徴成分を検出し、かつ前記一以上の第２出力に基づいて一以上の第２特徴成分を検出するステップと、前記一以上の第１特徴成分と前記一以上の第２特徴成分とに基づいて、前記第１センテンス情報のカテゴリと前記複数の第２センテンス情報それぞれのカテゴリとの近さを示す複数の類似度を算出するステップと、前記第２センテンス情報ごとに算出した前記複数の類似度に基づいて、前記未付与単語のカテゴリを推定するステップと、推定した結果に基づく情報を出力するステップと、を有する。
【００１８】
前記抽出するステップは、前記第１センテンス情報が前記複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第１出力、及び前記第２センテンス情報が前段処理層及び後段処理層の順に伝搬したことにより前記後段処理層から出力された複数の後段第２出力から、共通に活性化している一以上の後段第１出力及び一以上の後段第２出力を抽出する後段抽出ステップと、前記一以上の後段第１出力及び前記一以上の後段第２出力を活性化させる要因となった前記前段処理層から出力された複数の前段第１出力、及び前記前段処理層から出力された複数の前段第２出力のうち、共通に活性化している一以上の前段第１出力及び一以上の前段第２出力を抽出する前段抽出ステップと、を有してもよい。
【００１９】
前記前段抽出ステップを実行した後に、前記一以上の前段第１出力及び前記一以上の前段第２出力を、前記複数の後段第１出力及び前記複数の後段第２出力として、前記後段抽出ステップを実行してもよい。
前記複数の処理層のそれぞれに対して、前記後段抽出ステップ及び前記前段抽出ステップを実行してもよい。
【発明の効果】
【００２０】
本発明によれば、未知語を含むセンテンスのカテゴリを推定する精度を向上させることができるという効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】カテゴリ推定処理の概要を説明するための図である。
【図２】機械学習モデルの構成の一例を示す図である。
【図３】カテゴリ推定装置の構成を示す図である。
【図４】抽出部が行う抽出処理について説明するための図である。
【図５】抽出部が行う抽出処理について説明するための図である。
【図６】抽出部が行う抽出処理について説明するための図である。
【図７】抽出部が行う抽出処理について説明するための図である。
【図８】抽出部が行う抽出処理について説明するための図である。
【図９】カテゴリ推定装置が行う処理の流れを示すフローチャートである。
【図１０】抽出部が行う処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００２２】
［カテゴリ推定装置１の概要］
図１は、カテゴリ推定処理の概要を説明するための図である。カテゴリ推定装置１は、例えばＰＣ（Personal Computer）である。カテゴリ推定装置１は、機械学習モデルＭを用いて、複数の単語を含むセンテンスのカテゴリを推定する装置である。センテンスに含まれる複数の単語は、主語、動詞及び名詞等の単語である。また、センテンスに含まれる複数の単語には、一以上の固有名詞が含まれている。カテゴリは、例えば、人物、国、ランドマーク、食べ物、店舗及び宿泊施設等である。
【００２３】
まず、カテゴリ推定装置１は、第１センテンス情報と、複数の第２センテンス情報とを取得する（図１の（１））。第１センテンス情報は、カテゴリが付与されていない未付与単語を含む文を示す情報であり、カテゴリを推定する対象の情報である。第２センテンス情報は、カテゴリが付与されている付与単語（固有名詞）を含む文を示す情報である。複数の第２センテンス情報には、様々なカテゴリに属する複数の付与単語が含まれている。
【００２４】
カテゴリ推定装置１は、取得した第１センテンス情報及び複数の第２センテンス情報それぞれを機械学習モデルＭに入力し、当該機械学習モデルＭに含まれる複数の処理層を伝搬させる（図１の（２））。機械学習モデルＭは、入力された複数の単語を含むセンテンスのカテゴリを出力するように学習されたモデルである。具体的には、機械学習モデルＭは、入力されたセンテンスに含まれる固有名詞のカテゴリを推論し、推論した固有名詞のカテゴリをセンテンスのカテゴリとして出力する。機械学習モデルＭは、推定可能なカテゴリごとに、入力されたセンテンスが当該カテゴリに該当し得る確率を出力するように学習されたモデルであってもよい。
【００２５】
図２は、機械学習モデルＭの構成の一例を示す図である。機械学習モデルＭは、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を含む。この場合において、機械学習モデルＭは、例えば、埋め込み層Ｍ１、畳み込み層Ｍ２、プーリング層Ｍ３、全結合層Ｍ４及び出力層Ｍ５を有する。本明細書においては、隣接する２つの処理層のうち、第１センテンス情報及び複数の第２センテンス情報が伝搬する際の上流側の処理層を前段処理層と称し、下流側の処理層を後段処理層と称する。
【００２６】
後段処理層となり得る処理層は、畳み込み層Ｍ２、プーリング層Ｍ３、全結合層Ｍ４及び出力層Ｍ５のうちのいずれかの層である。また、前段処理層となり得る処理層は、埋め込み層Ｍ１、畳み込み層Ｍ２、プーリング層Ｍ３及び全結合層Ｍ４のうちのいずれかの層である。カテゴリ推定装置１は、取得したセンテンス情報を機械学習モデルＭに入力し、埋め込み層Ｍ１から出力層Ｍ５までの各処理層を順伝搬させる、すなわち、推論させることにより、センテンスのカテゴリを出力させる。
【００２７】
図１に戻り、カテゴリ推定装置１は、機械学習モデルＭがセンテンスのカテゴリを出力するに至った各処理層における計算結果、すなわち、深層学習による抽象度の高い特徴量を用いて、第１センテンス情報及び第２センテンス情報に共通する特徴成分を検出する（図１の（３））。具体的には、カテゴリ推定装置１は、第１センテンス情報に未知語が含まれている場合に特徴成分の検出処理を実行する。未知語は、機械学習モデルＭがカテゴリを推論することができない単語、すなわち、機械学習モデルＭが学習していない単語であり、例えば、新語又は造語等の固有名詞である。ここで、カテゴリ推定装置１は、共通する特徴成分の検出を、伝搬させた順序とは逆の順序で行う。このようにすることで、カテゴリ推定装置１は、抽象度が高い特徴量に基づく特徴成分を検出することができる。
【００２８】
カテゴリ推定装置１は、例えば、共通する特徴成分を検出することにより、第１センテンス情報に含まれている未知語以外の単語に由来する埋め込みベクトルの成分と、第２センテンス情報に含まれている単語に由来する埋め込みベクトルの成分とにそれぞれ対応関係があることを検出する。対応関係は、第１センテンス情報の特徴成分が示す第１センテンス情報に含まれる未知語以外の単語と、第２センテンス情報の特徴成分が示す第２センテンス情報に含まれる単語とが一致又は近似した関係である。
【００２９】
カテゴリ推定装置１は、検出した第１センテンス情報に対応する特徴成分と、検出した第２センテンス情報に対応する特徴成分とに基づいて、複数の類似度を算出する（図１の（４））。複数の類似度は、第１センテンス情報のカテゴリと複数の第２センテンス情報それぞれのカテゴリとの近さを示す情報である。
【００３０】
カテゴリ推定装置１は、第２センテンス情報ごとに算出した複数の類似度に基づいて、第１センテンス情報に含まれる未付与単語のカテゴリを推定する（図１の（５））。具体的には、カテゴリ推定装置１は、第２センテンス情報ごとに算出した複数の類似度に基づいて、未知語を含む第１センテンス情報に含まれる未付与単語のカテゴリを推定する。そして、カテゴリ推定装置１は、推定した結果に基づく情報を出力する（図１の（６））。
【００３１】
このようにすることで、カテゴリ推定装置１は、未知語を含むセンテンスのカテゴリを推定することができる。未知語のカテゴリの推定方法として、第１センテンス情報に含まれる未知語以外の単語に基づいて、未知語のカテゴリを推定することも可能であるが、精度良く未知語のカテゴリを推定できるとは限らない。しかしながら、カテゴリ推定装置１は、第１センテンス情報と複数の第２センテンス情報とに基づいて算出した複数の類似度を用いることにより、未知語を含むセンテンスのカテゴリを推定する精度を向上させることができる。
以下、カテゴリ推定装置１の詳細について説明する。
【００３２】
［カテゴリ推定装置１の構成］
図３は、カテゴリ推定装置１の構成を示す図である。カテゴリ推定装置１は、操作部１１、記憶部１２、及び制御部１３を有する。
【００３３】
操作部１１は、ユーザの操作を受け付ける入力デバイスである。
記憶部１２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）及びハードディスク等の記憶媒体である。記憶部１２は、制御部１３が実行する各種のプログラムを記憶する。
【００３４】
制御部１３は、例えばＣＰＵ（Central Processing Unit）である。制御部１３は、記憶部１２に記憶されているプログラムを実行することにより、カテゴリ推定装置１に係る機能を制御する。制御部１３は、プログラムを実行することにより、取得部１３１、伝搬制御部１３２、抽出部１３３、指示受付部１３６、特徴成分検出部１３７、選択部１３８、算出部１３９、カテゴリ推定部１４０及び出力部１４１として機能する。
【００３５】
取得部１３１は、第１センテンス情報と複数の第２センテンス情報とを取得する。例えば、記憶部１２には、第１センテンス情報と複数の第２センテンス情報とが記憶されており、カテゴリ推定装置１においてユーザが第１センテンス情報のカテゴリを推定する処理を実行する操作をしたことを契機として、取得部１３１は、記憶部１２に記憶されている第１センテンス情報と複数の第２センテンス情報とを取得する。取得部１３１は、取得した第１センテンス情報と複数の第２センテンス情報とを、伝搬制御部１３２に入力する。
【００３６】
伝搬制御部１３２は、第１センテンス情報及び複数の第２センテンス情報のそれぞれに、入力された複数の単語を含むセンテンスのカテゴリを出力可能な機械学習モデルＭに含まれる複数の処理層を伝搬させることにより、伝搬処理を実行する。図２に示す例において、伝搬制御部１３２は、第１センテンス情報及び複数の第２センテンス情報のそれぞれに、機械学習モデルＭに含まれる埋め込み層Ｍ１から出力層Ｍ５までの各処理層を、順に伝搬させる。なお、伝搬制御部１３２は、第１センテンス情報に対する伝搬処理を実行する前に、複数の第２センテンス情報それぞれに対する伝搬処理を実行し、実行した伝搬結果を記憶部１２に記憶してもよい。
【００３７】
抽出部１３３は、複数の処理層から選択した後段処理層、及び後段処理層の直前の処理層である前段処理層の両方の処理層において共通に活性化しているユニットを含む、第１センテンス情報に基づいて後段処理層及び前段処理層から出力された一以上の第１出力と第２センテンス情報に基づいて後段処理層及び前段処理層から出力された一以上の第２出力とを抽出することにより、抽出処理を実行する。
【００３８】
具体的には、抽出部１３３は、第１センテンス情報に未知語が含まれている場合に、抽出処理を実行する。抽出部１３３は、様々な情報を用いて第１センテンス情報に未知語が含まれているか否かを判定する。例えば、機械学習モデルＭは、未知語を含むセンテンス情報が入力された場合、センテンス情報のカテゴリを推論できない場合がある。そこで、抽出部１３３は、伝搬制御部１３２が第１センテンス情報及び複数の第２センテンス情報のそれぞれに複数の処理層を伝搬させることにより機械学習モデルＭが出力した第１センテンス情報のカテゴリを用いて、第１センテンス情報に未知語が含まれているか否かを判定してもよい。
【００３９】
具体的には、抽出部１３３は、伝搬制御部１３２が第１センテンス情報及び複数の第２センテンス情報のそれぞれに複数の処理層を伝搬させることにより機械学習モデルＭが出力した第１センテンス情報のカテゴリが、第１センテンス情報に含まれている未付与単語にカテゴリを付与することができないことを示す場合に、両方の処理層において共通に活性化している一以上の第１出力と一以上の第２出力とを抽出する。第１センテンス情報に含まれている未付与単語にカテゴリを付与することができないことを示す第１センテンス情報のカテゴリは、例えば、「その他」又は「不明」等である。
【００４０】
また、抽出部１３３は、機械学習モデルＭに含まれる複数の処理層における出力を用いて、第１センテンス情報に未知語が含まれているか否かを判定してもよい。例えば、埋め込み層Ｍ１は、入力されたセンテンスに含まれる複数の単語それぞれを分散表現に変換し、変換した分散表現を出力する処理層であり、未知語を分散表現に変換できなかったり、出力した分散表現が未知語であることを示したりする場合がある。分散表現は、埋め込み層Ｍ１が、当該埋め込み層Ｍ１に設定されたパラメータを用いて単語を符号化したベクトルである。
【００４１】
そこで、抽出部１３３は、埋め込み層が第１センテンス情報に基づいて出力した出力結果の中に分散表現への変換が不能であることを示す出力結果がある場合に、両方の処理層において共通に活性化しているユニットを含む一以上の第１出力と一以上の第２出力とを抽出する。分散表現への変換が不能であることを示す出力結果は、例えば、出力が無い場合、分散表現におけるベクトルの次元が全て０である場合等である。このようにすることで、抽出部１３３は、第１センテンス情報に未知語があるか否かを判定することができる。
【００４２】
なお、機械学習モデルＭに入力した第１センテンス情報に未知語が含まれている場合であっても、機械学習モデルＭが誤ったカテゴリを推定してしまう場合がある。そのため、抽出部１３３は、機械学習モデルＭが正常なカテゴリを出力した場合であっても、抽出処理を実行してもよい。正常なカテゴリは、機械学習モデルＭが推定可能なカテゴリであって、センテンスに含まれている未付与単語にカテゴリを付与することができないことを示すカテゴリ（「その他」又は「不明」等）以外のカテゴリである。このようにすることで、カテゴリ推定装置１は、センテンスのカテゴリを推定する精度を向上させることができる。
【００４３】
抽出部１３３が行う抽出処理の詳細については後述するが、抽出部１３３は、後段処理層で共通に活性化している第１出力の一部である後段第１出力及び第２出力の一部である後段第２出力を抽出する後段抽出部１３４と、前段処理層で共通に活性化している第１出力の一部である前段第１出力及び第２出力の一部である前段第２出力を抽出する前段抽出部１３５とを有する。
【００４４】
抽出部１３３が抽出する第１出力及び第２出力は、処理層に含まれる複数のユニットのうち、活性化しているユニットを示す情報である。活性化の定義は、例えば、ユニットの出力値又はユニットの出力値と当該ユニットの結合の重みとの積が、所定の閾値を超えた場合でもよいし、出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。また、全結合層以外の処理層においては、例えば、チャンネルごとに出力の大きい順に所定の個数又は所定の割合に含まれた場合であってもよい。チャンネルは、フィルタ毎に畳み込み演算した出力である。
【００４５】
抽出部１３３は、複数の処理層のうち、最後尾の処理層である最後尾層を後段処理層として選択することが好ましい。しかし、最後尾層において共通に活性化している第１出力及び第２出力がない場合がある。そこで、抽出部１３３は、複数の処理層のうち、最後尾層を後段処理層として選択した場合において、最後尾層において共通に活性化している一以上の第１出力及び一以上の第２出力がない場合、最後尾層より前の処理層において共通に活性化している一以上の第１出力及び一以上の第２出力を抽出してもよい。
【００４６】
例えば、抽出部１３３が、最後尾層である出力層Ｍ５を後段処理層として選択した場合において、出力層Ｍ５において共通に活性化している一以上の第１出力及び一以上の第２出力がないとする。この場合において、抽出部１３３は、出力層Ｍ５より前の各処理層に対して、共通に活性化している一以上の第１出力及び一以上の第２出力を繰り返し探索する。
【００４７】
抽出部１３３は、例えば、出力層Ｍ５の直前の処理層である全結合層Ｍ４において共通に活性化している一以上の第１出力及び一以上の第２出力があった場合、全結合層Ｍ４を後段処理層として選択する。そして、抽出部１３３は、後段処理層として選択した全結合層Ｍ４において共通に活性化している一以上の第１出力及び一以上の第２出力を抽出する。このようにすることで、抽出部１３３は、第１センテンス情報と第２センテンス情報とで一致する語句が少ない場合であっても、それぞれに含まれる単語を対応付けることができる。
【００４８】
抽出部１３３は、ユーザによって指定された処理層を後段処理層として選択してもよい。具体的には、まず、指示受付部１３６は、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付ける。そして、抽出部１３３は、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として使用する。抽出部１３３は、図２に示す例において、ユーザが全結合層Ｍ４を選択した場合に、指示受付部１３６が受け付けた指示が示す全結合層Ｍ４を、後段処理層として使用する。抽出部１３３は、抽出した第１出力と第２出力とを特徴成分検出部１３７に入力する。
【００４９】
特徴成分検出部１３７は、一以上の第１出力に基づいて一以上の第１特徴成分を検出し、かつ一以上の第２出力に基づいて一以上の第２特徴成分を検出する。具体的には、特徴成分検出部１３７は、まず、一以上の第１出力及び一以上の第２出力に基づいて、対応する特徴成分を探索する。そして、特徴成分検出部１３７は、対応関係にある一以上の第１出力に基づく一以上の第１特徴成分と、一以上の第２出力に基づく一以上の第２特徴成分とを検出する。特徴成分検出部１３７は、検出した第１特徴成分及び第２特徴成分を選択部１３８に入力する。
【００５０】
選択部１３８は、特徴成分検出部１３７が検出した一以上の第１特徴成分及び一以上の第２特徴成分から、相互の対応関係に基づいて一部の第１特徴成分及び一部の第２特徴成分を選択する。具体的には、選択部１３８は、不適切な特徴成分を除去し、除去した後の対応関係に基づく一以上の第１特徴成分及び一以上の第２特徴成分を選択する。不適切な特徴成分は、例えば、未知語に由来する特徴成分である。選択部１３８は、例えば、ＲＡＮＳＡＣ（Random Sampling Consensus）法又は最小２乗メディアン（ＬＭｅｄＳ：Least Median of Square）法に基づいて絞り込みを行うことにより不適切な特徴成分を除去する。
【００５１】
算出部１３９は、一以上の第１特徴成分と一以上の第２特徴成分とに基づいて、第１センテンス情報のカテゴリと複数の第２センテンス情報それぞれのカテゴリとの近さを示す複数の類似度を算出する。算出部１３９は、例えば、類似度として、一以上の第１特徴成分の集合を成分として算出した第１ベクトルと一以上の第２特徴成分の集合を成分として算出した第２ベクトルとのコサイン類似度を算出する。算出部１３９は、コサイン類似度に限らず、公知の技術を用いて他の類似度を算出してもよい。
【００５２】
カテゴリ推定部１４０は、第２センテンス情報ごとに算出部１３９が算出した複数の類似度に基づいて、未知語を含む第１センテンス情報に含まれる未付与単語のカテゴリを推定する。カテゴリ推定部１４０は、例えば、算出された複数の類似度のうち、第１センテンス情報のカテゴリと第２センテンス情報のカテゴリとが最も近いことを示す類似度に対応する第２センテンス情報のカテゴリを、第１センテンス情報に含まれる未知語のカテゴリとして推定する。カテゴリ推定部１４０は、算出された複数の類似度のうち、第１センテンス情報のカテゴリと第２センテンス情報のカテゴリとが最も近いことを示す類似度に対応する第２センテンス情報のカテゴリを、第１センテンス情報のカテゴリとして推定してもよい。
【００５３】
出力部１４１は、カテゴリ推定部１４０が推定した結果に基づく情報を出力する。具体的には、出力部１４１は、カテゴリ推定部１４０が推定した第１センテンス情報に含まれる未知語のカテゴリを、カテゴリ推定部１４０が推定した結果に基づく情報として出力する。
【００５４】
出力部１４１は、例えば、カテゴリ推定部１４０が推定した結果に基づく情報として、第１センテンス情報のカテゴリと第２センテンス情報のカテゴリとが近似することを示す類似度に対応する第２センテンス情報のカテゴリを、第１センテンス情報に含まれる未付与単語に関連付けて出力する。
【００５５】
ところで、第１センテンス情報のカテゴリが、複数の第２センテンス情報のカテゴリのいずれにも近似しない場合がある。そこで、出力部１４１は、算出部１３９が算出した複数の類似度に第１センテンス情報のカテゴリと第２センテンス情報のカテゴリとが近似することを示す類似度が無い場合、カテゴリ推定部１４０が推定した結果に基づく情報として、第１センテンス情報のカテゴリに類似しないカテゴリであることを示す情報とともに、複数の第２センテンス情報それぞれのカテゴリを、第１センテンス情報に含まれる未付与単語に関連付けて出力してもよい。
【００５６】
出力部１４１は、例えば、算出部１３９が算出した複数の類似度に所定の閾値以上の数値を示す類似度が無い場合、カテゴリ推定部１４０が推定した結果に基づく情報として、非類似のカテゴリであることを示す情報とともに、複数の第２センテンス情報それぞれのカテゴリを、第１センテンス情報に含まれる未知語に関連付けて出力してもよい。
【００５７】
［抽出処理］
続いて、抽出部１３３が行う抽出処理について説明する。上述のとおり、抽出部１３３は、後段抽出部１３４及び前段抽出部１３５を有する。後段抽出部１３４は、第１センテンス情報が複数の処理層の一部である前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段第１出力、及び第２センテンス情報が前段処理層及び後段処理層の順に伝搬したことにより後段処理層から出力された複数の後段第２出力から、共通に活性化している一以上の後段第１出力及び一以上の後段第２出力を抽出する。
【００５８】
前段抽出部１３５は、一以上の後段第１出力及び一以上の後段第２出力を活性化させる要因となった前段処理層から出力された複数の前段第１出力、及び前段処理層から出力された複数の前段第２出力のうち、共通に活性化している一以上の前段第１出力及び一以上の前段第２出力を抽出する。
【００５９】
図４から図８は、抽出部１３３が行う抽出処理について説明するための図である。図４から図８は、前段処理層から後段処理層に伝搬させた状態を示している。図４から図８において、実線で示すユニットを結合する結合線は、結合するユニットから出力があったことを示し、破線で示す結合線は、結合するユニットから出力が無かったことを示す。また、結合線を示す線の太さは、結合するユニットからの出力の大きさを示す。
【００６０】
図４の場合において、後段処理層は、最後尾層（例えば、出力層又は全結合層等）又は抽出部１３３が選択した最後尾層より前の処理層（例えば、全結合層又はプーリング層等）であり、前段処理層は、後段処理層の直前の処理層（例えば、全結合層又はプーリング層等）である。図４においては、後段処理層が出力層Ｍ２０であり、前段処理層が全結合層Ｍ１９であるとして説明する。
【００６１】
図４（ａ）は、抽出前の状態であり、図４（ｂ）は抽出後の状態である。第１センテンス情報において、出力層Ｍ２０は、ユニットＵ５、Ｕ８が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ５、Ｕ６、Ｕ７、Ｕ８が活性化している。第２センテンス情報において、出力層Ｍ２０は、ユニットＵ３、Ｕ５が活性化しており、全結合層Ｍ１９は、ユニットＵ２、Ｕ４、Ｕ５、Ｕ８が活性化している。
【００６２】
この場合において、後段抽出部１３４は、後段処理層である出力層Ｍ２０から出力された後段第１出力であるユニットＵ５、Ｕ８、及び出力層Ｍ２０から出力された後段第２出力であるユニットＵ３、Ｕ５を比較する。そして、後段抽出部１３４は、共通に活性化している後段第１出力のユニットＵ５及び後段第２出力のユニットＵ５を抽出する。
【００６３】
続いて、前段抽出部１３５は、後段第１出力のユニットＵ５を活性化させる要因となった前段処理層である全結合層Ｍ１９から出力された前段第１出力であるユニットＵ２、Ｕ５、Ｕ６、及び後段第２出力のユニットＵ５を活性化させる要因となった全結合層Ｍ１９から出力された前段第２出力であるユニットＵ２、Ｕ５、Ｕ８を比較する。そして、前段抽出部１３５は、共通に活性化している前段第１出力のユニットＵ２、Ｕ５、及び前段第２出力のユニットＵ２、Ｕ５を抽出する。
【００６４】
抽出部１３３は、出力層Ｍ２０から全結合層Ｍ１９までの出力を抽出すると、次の処理層に対する出力を抽出する。具体的には、抽出部１３３は、処理層ごとに、共通に活性化している第１出力及び第２出力を抽出する処理を、伝搬制御部１３２が伝搬させた順序とは逆の順序で繰り返し行う。より具体的には、抽出部１３３は、複数の処理層のうち一つの層を後段処理層として選択して一以上の第１出力及び一以上の第２出力を抽出した後に、前段処理層として選択した処理層を後段処理層として選択して、別の一以上の第１出力及び一以上の第２出力を抽出する。このようにすることで、抽出部１３３は、第１センテンス情報及び第２センテンス情報に対する比較の精度を高めることができる。
【００６５】
図５は、第１センテンス情報に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図６は、第２センテンス情報に基づいて、前段処理層から後段処理層に伝搬させた状態を示している。図５及び図６の場合において、後段処理層は、全結合層Ｍ１８であり、前段処理層は、全結合層以外の処理層（例えば、プーリング層又は畳み込み層等）である。図５及び図６においては、前段処理層がプーリング層Ｍ１７であるとして説明する。また、図５及び図６において、前段処理層は、３つのチャンネルを有する。上段の第１チャンネルは、ユニットＵ１１、Ｕ１２、Ｕ１３、Ｕ１４、及びＵ１５を含む。中段の第２チャンネルは、ユニットＵ２１、Ｕ２２、Ｕ２３、Ｕ２４、及びＵ２５を含む。下段の第３チャンネルは、ユニットＵ３１、Ｕ３２、Ｕ３３、Ｕ３４、及びＵ３５を含む。
【００６６】
第１センテンス情報において、プーリング層Ｍ１７は、第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるユニットＵ２１、Ｕ２４が活性化している。第２センテンス情報において、全結合層Ｍ１８は、第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるユニットＵ３２、Ｕ３３が活性化している。
【００６７】
前段抽出部１３５は、後段第１出力のユニットＵ５を活性化させる要因となった前段処理層であるプーリング層Ｍ１７から出力された前段第１出力、及び後段第２出力のユニットＵ５を活性化させる要因となったプーリング層Ｍ１７から出力された前段第２出力を比較する。前段抽出部１３５は、活性化しているユニットの有無を調べ、活性化している前段第１出力の第１チャンネルに含まれるユニットＵ１３及び第２チャンネルに含まれるＵ２１、Ｕ２４と、前段第２出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５及び第３チャンネルに含まれるＵ３２、Ｕ３３とに着目する。
【００６８】
そして、前段抽出部１３５は、前段第１出力と前段第２出力との両方において活性化しているユニットが存在しているチャンネルが第２チャンネルであることから、前段第１出力の第２チャンネルに含まれるユニットＵ２１、Ｕ２４及び前段第２出力の第２チャンネルに含まれるユニットＵ２２、Ｕ２４、Ｕ２５を抽出する。
【００６９】
図７の場合において、後段処理層は、プーリング層Ｍ１６であり、前段処理層は、プーリング層以外の処理層（例えば、畳み込み層又は埋め込み層等）である。図７においては、前段処理層が畳み込み層Ｍ１５であるとして説明する。また、図７において、前段処理層は、チャンネルが１つであるとして説明する。第１センテンス情報において、プーリング層Ｍ１６は、ユニットＵ５が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ５が活性化している。第２センテンス情報において、プーリング層Ｍ１６は、ユニットＵ３が活性化しており、畳み込み層Ｍ１５は、ユニットＵ３、Ｕ４が活性化している。
【００７０】
ここで、抽出部１３３は、プーリング層においては、直前の処理層からプーリング層に結合している複数のユニットのうち、チャンネルごとに活性化している程度に基づいて出力を抽出する。具体的には、前段抽出部１３５は、複数の前段第１出力及び複数の前段第２出力のうち、活性化している大きさに基づいて、一以上の前段第１出力及び一以上の前段第２出力を抽出する。前段抽出部１３５は、例えば、複数の前段第１出力及び複数の前段第２出力のうち、チャンネルごとに最も大きく活性化している一以上の前段第１出力及び一以上の前段第２出力を抽出する。
【００７１】
この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択したプーリング層Ｍ１６を選択して、プーリング層Ｍ１６から出力された後段第１出力のユニットＵ５、及びプーリング層Ｍ１６から出力された後段第２出力のユニットＵ３を抽出する。そして、前段抽出部１３５は、後段第１出力のユニットＵ３、Ｕ５及び後段第２出力のユニットＵ３、Ｕ４のうち、チャンネルごとに最も大きく活性化している前段第１出力のユニットＵ５、及び前段第２出力のユニットＵ４を抽出する。このようにすることで、前段抽出部１３５は、センテンスの中で特徴となる語句を特定することができる。
【００７２】
図８の場合において、後段処理層は、畳み込み層Ｍ１４であり、前段処理層は、畳み込み層を含む他の処理層（例えば、埋め込み層等）である。図８においては、前段処理層が埋め込み層Ｍ１３であるとして説明する。また、図８において、前段処理層は、チャンネルが１つであるとして説明する。第１センテンス情報において、畳み込み層Ｍ１４は、ユニットＵ５が活性化しており、埋め込み層Ｍ１３は、ユニットＵ３、Ｕ５、Ｕ６が活性化している。第２センテンス情報において、畳み込み層Ｍ１４は、ユニットＵ３が活性化しており、埋め込み層Ｍ１３は、ユニットＵ３、Ｕ４、Ｕ５が活性化している。
【００７３】
この場合において、後段抽出部１３４は、直前の抽出処理において前段処理層として選択した畳み込み層Ｍ１４を選択して、畳み込み層Ｍ１４から出力された後段第１出力のユニットＵ５、及び畳み込み層Ｍ１４から出力された後段第２出力のユニットＵ３を抽出する。
【００７４】
続いて、前段抽出部１３５は、後段第１出力のユニットＵ５を活性化させる要因となった前段処理層である埋め込み層Ｍ１３から出力された前段第１出力、及び後段第２出力のユニットＵ３を活性化させる要因となった前段処理層である埋め込み層Ｍ１３から出力された前段第２出力を比較する。ここで、前段抽出部１３５は、後段処理層が畳み込み層である場合、後段抽出部１３４が後段処理層から抽出したユニットに結合する前段処理層の複数のユニットのうち、前段第１出力と前段第２出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットを抽出する。この場合、前段抽出部１３５は、前段第１出力と前段第２出力とにおいて位置が相対的に同じであり、かつチャンネルが共通するユニットとして、前段第１出力のユニットＵ５、Ｕ６、及び前段第２出力のユニットＵ３、Ｕ４を抽出する。
【００７５】
抽出部１３３は、上述の抽出処理を埋め込み層まで繰り返し行うことが好ましい。しかし、抽出部１３３は、抽出処理を最初の処理層まで行わずに、途中の処理層（例えば、プーリング層又は畳み込み層等）で終了してもよい。このように、抽出部１３３は、伝搬制御部１３２が伝搬させた順序とは逆の順序で抽出処理を行うことにより、抽象度が高い出力を抽出することができる。
【００７６】
［カテゴリ推定装置１の処理］
続いて、カテゴリ推定装置１が行う処理の流れを説明する。図９は、カテゴリ推定装置１が行う処理の流れを示すフローチャートである。本フローチャートは、記憶部１２に記憶されている第１センテンス情報と第２センテンス情報とを取得したことを契機として開始する（Ｓ１）。
【００７７】
取得部１３１は、取得した第１センテンス情報と第２センテンス情報とを、伝搬制御部１３２に入力する。伝搬制御部１３２は、取得部１３１から入力された第１センテンス情報及び第２センテンス情報のそれぞれに、機械学習モデルＭに含まれる埋め込み層Ｍ１から全結合層Ｍ４までの複数の処理層を、埋め込み層Ｍ１から順に伝搬させる（Ｓ２）。
【００７８】
抽出部１３３は、第１センテンス情報に未知語が含まれているか否かを判定する（Ｓ３）。抽出部１３３は、例えば、伝搬制御部１３２が第１センテンス情報及び複数の第２センテンス情報のそれぞれに複数の処理層を伝搬させることにより機械学習モデルＭが出力した第１センテンス情報のカテゴリが、第１センテンス情報に含まれている未付与単語にカテゴリを付与することができないことを示すカテゴリであるか否かを判定することにより、第１センテンス情報に未知語が含まれているか否かを判定する。
【００７９】
抽出部１３３は、第１センテンス情報に未知語が含まれていないと判定した場合（Ｓ３においてＮＯの場合）、処理を終了する。この場合、出力部１４１は、機械学習モデルＭが出力した第１センテンス情報のカテゴリを出力してもよい。一方、抽出部１３３は、第１センテンス情報に未知語が含まれていると判定した場合（Ｓ３においてＹＥＳの場合）、後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の第１出力及び一以上の第２出力を抽出する処理を行う（Ｓ４）。
【００８０】
図１０は、抽出部１３３が行う処理の流れを示すフローチャートである。抽出部１３３は、指示受付部１３６が、操作部１１を介して、複数の処理層のうち、後段処理層として用いる処理層を選択する指示を受け付けたか否かを判定する（Ｓ４１）。
【００８１】
抽出部１３３は、指示受付部１３６が指示を受け付けたと判定した場合（Ｓ４１においてＹＥＳの場合）、指示受付部１３６が受け付けた指示が示す処理層を、後段処理層として使用する（Ｓ４２）。抽出部１３３は、例えば、指示受付部１３６が全結合層Ｍ４を示す指示を受け付けたと判定した場合、指示受付部１３６が受け付けた指示が示す全結合層Ｍ４を、後段処理層として選択する。一方、抽出部１３３は、指示受付部１３６が指示を受け付けていないと判定した場合（Ｓ４１においてＮＯの場合）、最後尾層（例えば、出力層Ｍ５）で共通に活性化している一以上の第１出力及び一以上の第２出力があるか否かを判定する（Ｓ４３）。
【００８２】
抽出部１３３は、全結合層Ｍ４で共通に活性化している一以上の第１出力及び一以上の第２出力があると判定した場合（Ｓ４３においてＹＥＳの場合）、最後尾層である出力層Ｍ５を、後段処理層として使用する（Ｓ４４）。一方、抽出部１３３は、全結合層Ｍ４で共通に活性化している一以上の第１出力及び一以上の第２出力がないと判定した場合（Ｓ４３においてＮＯの場合）、全結合層Ｍ４より前の各処理層に対して、共通に活性化している一以上の第１出力及び一以上の第２出力を繰り返し探索する。そして、抽出部１３３は、共通に活性化している一以上の第１出力及び一以上の第２出力がある処理層（例えば、プーリング層Ｍ３）を、後段処理層として使用する（Ｓ４５）。抽出部１３３は、選択した後段処理層、及び前段処理層の両方の処理層において共通に活性化している、第１センテンス情報に基づいて後段処理層及び前段処理層から出力された一以上の第１出力と第２センテンス情報に基づいて後段処理層及び前段処理層から出力された一以上の第２出力とを抽出する。
【００８３】
具体的には、まず、後段抽出部１３４は、選択した後段処理層から出力された複数の後段第１出力、及び選択した後段処理層から出力された複数の後段第２出力から、共通に活性化している一以上の後段第１出力及び一以上の後段第２出力を抽出する（Ｓ４６）。そして、前段抽出部１３５は、後段抽出部１３４が抽出した一以上の後段第１出力及び一以上の後段第２出力を活性化させる要因となった前段処理層から出力された複数の前段第１出力、及び前段処理層から出力された複数の前段第２出力のうち、共通に活性化している一以上の前段第１出力及び一以上の前段第２出力を抽出する（Ｓ４７）。
【００８４】
続いて、抽出部１３３は、前段処理層より前に別の処理層があるか否かを判定する（Ｓ４８）。抽出部１３３は、前段処理層（例えば、プーリング層Ｍ３）より前に別の処理層（例えば、畳み込み層Ｍ２）があると判定した場合（Ｓ４８においてＹＥＳの場合）、プーリング層Ｍ３を後段処理層として使用し（Ｓ４９）、処理をＳ４６に戻す。一方、抽出部１３３は、前段処理層（例えば、埋め込み層Ｍ１）より前に別の処理層がないと判定した場合（Ｓ４８においてＮＯの場合）、抽出した一以上の第１出力及び一以上の第２出力を特徴成分検出部１３７に入力し、抽出処理を終了する。
【００８５】
図９に戻り、特徴成分検出部１３７は、一以上の第１出力及び一以上の第２出力に基づいて、対応する特徴成分を探索し、対応関係にある一以上の第１出力に基づく一以上の第１特徴成分と、一以上の第２出力に基づく一以上の第２特徴成分とを検出する（Ｓ５）。続いて、選択部１３８は、特徴成分検出部１３７が検出した第１特徴成分及び第２特徴成分に不適切な特徴成分があるか否かを判定する（Ｓ６）。選択部１３８は、例えば、ＲＡＮＳＡＣ法に基づいて絞り込みを行う。
【００８６】
選択部１３８は、第１特徴成分及び第２特徴成分に不適切な特徴成分があると判定した場合（Ｓ６においてＹＥＳの場合）、不適切な特徴成分である第１特徴成分及び第２特徴成分を除去し（Ｓ７）、除去した後の対応関係に基づく一部の第１特徴成分及び一部の第２特徴成分を選択する。
【００８７】
算出部１３９は、選択部１３８が、第１特徴成分及び第２特徴成分に不適切な特徴成分がないと判定した場合（Ｓ６においてＮＯの場合）、又は不適切な特徴成分を除去した後に、一以上の第１特徴成分と一以上の第２特徴成分とに基づいて、複数の類似度を算出する（Ｓ８）。カテゴリ推定部１４０は、第２センテンス情報ごとに算出部１３９が算出した複数の類似度に基づいて、未知語を含む第１センテンス情報に含まれる未付与単語のカテゴリを推定する（Ｓ９）。そして、出力部１４１は、カテゴリ推定部が推定した結果に基づく情報を出力する（Ｓ１０）。
【００８８】
［本実施の形態における効果］
以上説明したとおり、カテゴリ推定装置１は、取得した第１センテンス情報及び複数の第２センテンス情報のそれぞれに、機械学習モデルＭに含まれる複数の処理層を伝搬させる。カテゴリ推定装置１は、第１センテンス情報に未知語が含まれている場合に、伝搬させた順とは逆の順序で後段処理層及び前段処理層の両方の処理層において共通に活性化している一以上の第１出力及び一以上の第２出力を、処理層ごとに抽出し、対応関係にある一以上の第１特徴成分及び一以上の第２特徴成分をそれぞれ検出する。カテゴリ推定装置１は、検出した一以上の第１特徴成分及び一以上の第２特徴成分に基づいて、複数の類似度を算出し、算出した複数の類似度に基づいて第１センテンス情報に含まれる未付与単語のカテゴリを推定する。そして、カテゴリ推定装置１は、推定結果を出力する。
【００８９】
このように、カテゴリ推定装置１は、畳み込みニューラルネットワークを含む機械学習モデルＭを使用し、深層学習による抽象度が高い特徴量を求めることにより、第１センテンス情報のカテゴリに近い第２センテンス情報のカテゴリを推定することができる。その結果、カテゴリ推定装置１は、未知語を含むセンテンスのカテゴリを推定する精度を向上させることができる。
【００９０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されず、その要旨の範囲内で種々の変形及び変更が可能である。例えば、装置の全部又は一部は、任意の単位で機能的又は物理的に分散・統合して構成することができる。また、複数の実施の形態の任意の組み合わせによって生じる新たな実施の形態も、本発明の実施の形態に含まれる。組み合わせによって生じる新たな実施の形態の効果は、もとの実施の形態の効果を併せ持つ。
【符号の説明】
【００９１】
１  カテゴリ推定装置
１１  操作部
１２  記憶部
１３  制御部
１３１  取得部
１３２  伝搬制御部
１３３  抽出部
１３４  後段抽出部
１３５  前段抽出部
１３６  指示受付部
１３７  特徴成分検出部
１３８  選択部
１３９  算出部
１４０  カテゴリ推定部
１４１  出力部
【図１】
2020161075.tif 000003
【図２】
2020161075.tif 000004
【図３】
2020161075.tif 000005
【図４】
2020161075.tif 000006
【図５】
2020161075.tif 000007
【図６】
2020161075.tif 000008
【図７】
2020161075.tif 000009
【図８】
2020161075.tif 000010
【図９】
2020161075.tif 000011
【図１０】
2020161075.tif 000012