(57)【要約】【課題】局所的な単語・フレーズに差があるが意味は似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成することができるようにする。【解決手段】推定部２２が、文と当該文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は当該文と当該文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、当該単語の単語削除確率を推定する。【選択図】図１
2020017017.tif 000002
【特許請求の範囲】
【請求項１】
文と前記文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は前記文と前記文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、前記単語の単語削除確率を推定する推定部
を備えることを特徴とする文生成装置。
【請求項２】
前記推定部は、前記入力文を構成する単語の各々について、前記正例モデルを用いて前記単語の前記単語削除確率を付与すると共に、前記負例モデルを用いて前記単語の前記単語削除確率を付与し、
前記入力文を構成する単語の各々について、前記単語の前記正例モデルを用いて付与された前記単語削除確率が予め定めた第１閾値以上であり、かつ、前記単語の前記負例モデルを用いて付与された前記単語削除確率が予め定めた第２閾値以下である場合に、前記単語を前記入力文から削除して前記入力文の言い換え文とする、又は、前記入力文を構成する単語の各々について、前記単語の前記正例モデルを用いて付与された前記単語削除確率が予め定めた第１閾値以下であり、かつ、前記単語の前記負例モデルを用いて付与された前記単語削除確率が予め定めた第２閾値以上である場合に、前記単語を前記入力文から削除して前記入力文の非言い換え文とする削除部
を更に備えることを特徴とする請求項１記載の文生成装置。
【請求項３】
文のペアと、一方の文が他方の文の言い換え文となることを示す正例又は非言い換え文となることを示す負例であることを示す言い換えラベルとの組からなる学習データの入力を受け付ける入力部と、
前記文のペアの間で単語のアラインメントを計算することにより、前記文のペアの単語の各々について、前記単語のアラインメント先が無い場合に削除ラベルを付与し、前記単語のアラインメント先がある場合に非削除ラベルを付与するアラインメント部と、
前記アラインメント部により処理された前記文のうち、前記正例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより言い換え文を生成するための正例モデルを学習し、又は前記アラインメント部により処理された前記文のうち、前記負例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより非言い換え文を生成するための負例モデルを学習する学習部と、
を備えることを特徴とするモデル学習装置。
【請求項４】
前記正例モデル又は前記負例モデルは、請求項３記載のモデル学習装置によって予め学習されることを特徴とする請求項１又は２記載の文生成装置。
【請求項５】
推定部が、文と前記文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は前記文と前記文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、前記単語の単語削除確率を推定する
ことを特徴とする文生成方法。
【請求項６】
入力部が、文のペアと、一方の文が他方の文の言い換え文となることを示す正例又は非言い換え文となることを示す負例であることを示す言い換えラベルとの組からなる学習データの入力を受け付け、
アラインメント部が、前記文のペアの間で単語のアラインメントを計算することにより、前記文のペアの単語の各々について、前記単語のアラインメント先が無い場合に削除ラベルを付与し、前記単語のアラインメント先がある場合に非削除ラベルを付与し、
学習部が、前記アラインメント部により処理された前記文のうち、前記正例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより言い換え文を生成するための正例モデルを学習し、又は前記アラインメント部により処理された前記文のうち、前記負例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより非言い換え文を生成するための負例モデルを学習する
ことを特徴とするモデル学習方法。
【請求項７】
コンピュータを、請求項１、２若しくは４の何れか１項記載の文生成装置、又は請求項３記載のモデル学習装置の各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、文生成装置、モデル学習装置、文生成方法、モデル学習方法、及びプログラムに係り、特に、言い換え文又は非言い換え文を生成するための文生成装置、モデル学習装置、文生成方法、モデル学習方法、及びプログラムに関する。
【背景技術】
【０００２】
従来より、２つの文と、その文ペアが言い換え関係にあるか否かを表すラベルの３つ組を学習データとして予め学習された機械学習モデルにより、判定対象文が他の文の言い換え文か否かを判定する技術がある。例えば、ニューラルネットワークを用いたモデルを用いて、質問文１と質問文２が言い換え文か否かを判定する技術がある（非特許文献１）。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Albert Tung, Eric Xu, "Determining Entailment of Questions in the Quora Dataset", 2017.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、従来の手法では、言い換え文判定を行うために、言い換え文か否かを示す言い換えラベルがアノテーションされたデータ（例えば、図２のｉｓ＿ｄｕｐｕｌｉｃａｔｅのような０又は１の情報）を大量に用意する必要がある。このため、すべての言い換え表現を人手アノテーションするためには膨大なコストがかかる、という問題があった。
【０００５】
特に、単語や文全体での意味が似ているが局所的な単語・フレーズの差のみで異なる意味になってしまうような場合、それらを網羅するアノテーション済みデータを人手で用意することができない、という問題があった。
【０００６】
本発明は上記の点に鑑みてなされたものであり、局所的な単語・フレーズに差があるが意味は似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成することができる文生成装置、文生成方法、及びプログラムを提供することを目的とする。
【０００７】
また、本発明は、意味が似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成するためのモデルを学習することができるモデル学習装置、モデル学習方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る文生成装置は、文と前記文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は前記文と前記文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、前記単語の単語削除確率を推定する推定部を備えて構成される。
【０００９】
また、本発明に係る文生成方法は、推定部が、文と前記文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は前記文と前記文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、前記単語の単語削除確率を推定する。
【００１０】
本発明に係る文生成装置及び文生成方法によれば、推定部が、文と当該文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は当該文と当該文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、当該単語の単語削除確率を推定する。
【００１１】
このように、文と当該文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は当該文と当該文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、当該単語の単語削除確率を推定することにより、局所的な単語・フレーズに差があるが意味は似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成することができる。
【００１２】
また、本発明に係る文生成装置の前記推定部は、前記入力文を構成する単語の各々について、前記正例モデルを用いて前記単語の前記単語削除確率を付与すると共に、前記負例モデルを用いて前記単語の前記単語削除確率を付与し、前記入力文を構成する単語の各々について、前記単語の前記正例モデルを用いて付与された前記単語削除確率が予め定めた第１閾値以上であり、かつ、前記単語の前記負例モデルを用いて付与された前記単語削除確率が予め定めた第２閾値以下である場合に、前記単語を前記入力文から削除して前記入力文の言い換え文とする、又は、前記入力文を構成する単語の各々について、前記単語の前記正例モデルを用いて付与された前記単語削除確率が予め定めた第１閾値以下であり、かつ、前記単語の前記負例モデルを用いて付与された前記単語削除確率が予め定めた第２閾値以上である場合に、前記単語を前記入力文から削除して前記入力文の非言い換え文とする削除部を更に備えることができる。
【００１３】
本発明に係るモデル学習装置は、文のペアと、一方の文が他方の文の言い換え文となることを示す正例又は非言い換え文となることを示す負例であることを示す言い換えラベルとの組からなる学習データの入力を受け付ける入力部と、  前記文のペアの間で単語のアラインメントを計算することにより、前記文のペアの単語の各々について、前記単語のアラインメント先が無い場合に削除ラベルを付与し、前記単語のアラインメント先がある場合に非削除ラベルを付与するアラインメント部と、前記アラインメント部により処理された前記文のうち、前記正例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより言い換え文を生成するための正例モデルを学習し、又は前記アラインメント部により処理された前記文のうち、前記負例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより非言い換え文を生成するための負例モデルを学習する学習部と、を備えて構成される。
【００１４】
また、本発明に係るモデル学習方法は、入力部が、文のペアと、一方の文が他方の文の言い換え文となることを示す正例又は非言い換え文となることを示す負例であることを示す言い換えラベルとの組からなる学習データの入力を受け付け、アラインメント部が、前記文のペアの間で単語のアラインメントを計算することにより、前記文のペアの単語の各々について、前記単語のアラインメント先が無い場合に削除ラベルを付与し、前記単語のアラインメント先がある場合に非削除ラベルを付与し、学習部が、前記アラインメント部により処理された前記文のうち、前記正例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより言い換え文を生成するための正例モデルを学習し、又は前記アラインメント部により処理された前記文のうち、前記負例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力が前記アラインメント部により前記文に付与された前記削除ラベル及び前記非削除ラベルと一致するように、単語を削除することにより非言い換え文を生成するための負例モデルを学習する。
【００１５】
本発明に係るモデル学習装置及びモデル学習方法によれば、入力部が、文のペアと、一方の文が他方の文の言い換え文となることを示す正例又は非言い換え文となることを示す負例であることを示す言い換えラベルとの組からなる学習データの入力を受け付け、アラインメント部が、文のペアの間で単語のアラインメントを計算することにより、当該文のペアの単語の各々について、当該単語のアラインメント先が無い場合に削除ラベルを付与し、当該単語のアラインメント先がある場合に非削除ラベルを付与する。
【００１６】
そして、学習部が、アラインメント部により処理された文のうち、正例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力がアラインメント部により当該文に付与された削除ラベル及び非削除ラベルと一致するように、単語を削除することにより言い換え文を生成するための正例モデルを学習し、又はアラインメント部により処理された文のうち、負例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力がアラインメント部により文に付与された削除ラベル及び非削除ラベルと一致するように、単語を削除することにより非言い換え文を生成するための負例モデルを学習する。
【００１７】
このように、文のペアの間で単語のアラインメントを計算することにより、文の単語の各々について、当該単語のアラインメント先が無い場合に削除ラベルを付与し、当該単語のアラインメント先がある場合に非削除ラベルを付与し、当該文のうち、正例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力がアラインメント部により当該文に付与された削除ラベル及び非削除ラベルと一致するように、単語を削除することにより言い換え文を生成するための正例モデルを学習し、又は当該文のうち、負例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力がアラインメント部により文に付与された削除ラベル及び非削除ラベルと一致するように、単語を削除することにより非言い換え文を生成するための負例モデルを学習することにより、意味が似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成するためのモデルを学習することができる。
【００１８】
また、本発明に係る文生成装置の前記正例モデル又は前記負例モデルは、上記のモデル学習装置によって予め学習されることができる。
【００１９】
本発明に係るプログラムは、上記の文生成装置又はモデル学習装置の各部として機能させるためのプログラムである。
【発明の効果】
【００２０】
本発明の文生成装置、文生成方法、及びプログラムによれば、局所的な単語・フレーズに差があるが意味は似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成することができる。
【００２１】
また、本発明のモデル学習装置、モデル学習方法、及びプログラムによれば、意味が似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成するためのモデルを学習することができる。
【図面の簡単な説明】
【００２２】
【図１】本発明の実施の形態に係る文生成システムの構成を示すブロック図である。
【図２】本発明の実施の形態に係るモデル学習装置における学習データの一例を示す図である。
【図３】本発明の実施の形態に係るモデル学習装置におけるアライメント結果の一例を示すイメージ図である。
【図４】本発明の実施の形態に係るモデル学習装置における削除ラベル・非削除ラベルを付与したデータの一例を示すイメージ図である。
【図５】本発明の実施の形態に係るモデル学習装置における正例モデル・負例モデルの入出力の一例を示すイメージ図である。
【図６】本発明の実施の形態に係るモデル学習装置における正例モデル・負例モデルの構成の一例を示すイメージ図である。
【図７】本発明の実施の形態に係る文生成装置における入力文に単語削除確率を付した一例を示すイメージ図である。
【図８】本発明の実施の形態に係るモデル学習装置のモデル学習処理ルーチンを示すフローチャートである。
【図９】本発明の実施の形態に係る文生成装置の文生成処理ルーチンを示すフローチャートである。
【発明を実施するための形態】
【００２３】
以下、本発明の実施の形態について図面を用いて説明する。
【００２４】
＜本発明の実施の形態に係る文生成システムの構成＞
図１を参照して、本発明の実施の形態に係る文生成システム１の構成について説明する。図１は、本発明の実施の形態に係る文生成システム１の構成を示すブロック図である。
【００２５】
文生成システム１は、モデル学習装置１０と、文生成装置２０とを備えて構成される。
【００２６】
モデル学習装置１０は、ＣＰＵと、ＲＡＭと、後述するモデル学習処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００２７】
図１に示すように、本実施形態に係るモデル学習装置１０は、入力部１１と、アラインメント部１２と、学習部１３とを備えて構成される。
【００２８】
入力部１１は、文のペアと、一方の文が他方の文の言い換え文となることを示す正例又は非言い換え文となることを示す負例であることを示す言い換えラベルとの組からなる学習データの入力を受け付ける。
【００２９】
ここで、ある文の言い換え文とは、当該文と意味が似ている文のことであり、ある文の非言い換え文とは、文全体での意味が当該文と似ているが言い換えでない文のことである。
【００３０】
また、学習データに含まれる文のペアは、言い換え文又は非言い換え文となる関係を有する文のペアであり、例えば、文のペアの間で対応する単語の割合が、所定割合以上となる文のペアである。
【００３１】
言い換えラベルは、一方の文が他方の文の言い換え文となる場合には１、一方の文が他方の文の非言い換えとなる場合（すなわち、言い換えでない場合）には０となるものである（図２）。
【００３２】
例えば、受け付けた学習データの第１文が「ｗｈａｔ  ａｒｅ  ｎａｔｕｒａｌ  ｎｕｍｂｅｒｓ  ？」、第２文が「ｗｈａｔ  ｉｓ  ａ  ｌｅａｓｔ  ｎａｔｕｒａｌ  ｎｕｍｂｅｒ  ？」、言い換えラベルが「０」であるとすると、一方の文が他方の文の非言い換えであることを意味する。
【００３３】
そして、入力部１１は、受け付けた学習データを、アラインメント部１２及び学習部１３に渡す。
【００３４】
アラインメント部１２は、第１文と第２文との間で単語のアラインメントを計算し、第２文の単語の各々について、当該単語のアラインメント先が無い場合に削除ラベルを付与し、当該単語のアラインメント先がある場合に非削除ラベルを付与する。
【００３５】
具体的には、アラインメント部１２は、まず、任意のアラインメント手法（例えば、参考文献１のｗｏｒｄ２ｖｅｃ）を用いて、第１文及び第２文における単語間のアラインメントを求める（図３）。
［参考文献１］Yangqiu Song and Dan Roth, "Unsupervised Sparse Vector Densification for Short Text Similarity".
【００３６】
アラインメント部１２は、第１文及び第２文の単語間のアラインメントから、第２文の単語の各々について、当該単語のアラインメント先が無い場合に、当該単語を削除単語として特定する。また、当該単語のアラインメント先がある場合には、当該単語を非削除単語として特定する。
【００３７】
例えば、図３において、第２文中「ａ」及び「ｌｅａｓｔ」については、アラインメント先が無いため、アラインメント部１２は、「ａ」及び「ｌｅａｓｔ」を削除単語として特定する。一方、他の単語についてはアラインメント先があるため、アラインメント部１２は、他の単語を非削除単語として特定する。
【００３８】
アラインメント部１２は、第１文に対応した削除単語に削除ラベル（１）を、非削除単語に非削除ラベル（０）を付したデータ（図４）を生成する。
【００３９】
このデータは、学習データの言い換えラベル＝１（言い換え文）であれば、後述する正例モデルを学習するためのデータとなり、学習データの言い換えラベル＝０（非言い換え文）であれば、後述する負例モデルを学習するためのデータとなる。
【００４０】
同様に、アラインメント部１２は、第１文と第２文との間の単語のアラインメントの計算結果に基づいて、第１文の単語の各々について、当該単語のアラインメント先が無い場合に削除ラベルを付与し、当該単語のアラインメント先がある場合に非削除ラベルを付与する（図４）。
【００４１】
ここで、第１文について生成されたデータと、第２文について生成されたデータとの２つのデータは、無関係なデータとしてそれぞれ以下の処理の対象となる。
【００４２】
そして、アラインメント部１２は、生成したデータを、学習部１３に渡す。
【００４３】
学習部１３は、言い換えラベル＝１（言い換え文）の学習データに含まれる各文を用いて、アラインメント部１２により処理された文のうち、正例であることを示す言い換えラベルと組になっていたものを、単語を削除することにより言い換え文を生成するための正例モデルの入力とした時に、出力がアラインメント部１２により当該文に付与された削除ラベル及び非削除ラベルと一致するように、正例モデルを学習する。
【００４４】
また、学習部１３は、言い換えラベル＝０（非言い換え文）の学習データに含まれる文を用いて、アラインメント部１２により処理された文のうち、負例であることを示す言い換えラベルと組になっていたものを、単語を削除することにより非言い換え文を生成するための負例モデルの入力とした時に、出力がアラインメント部１２により当該文に付与された削除ラベル及び非削除ラベルと一致するように、負例モデルを学習する。
【００４５】
具体的には、学習部１３は、図５に示すように、言い換えラベル＝１（言い換え文）の学習データの文「ｗｈａｔ  ｉｓ  ａ  ｌｅａｓｔ  ｎａｔｕｒａｌ  ｎｕｍｂｅｒ  ？」を正例モデルの入力とした時に、出力がアラインメント部１２により当該文に付与された削除ラベル及び非削除ラベル「０  ０  １  １  ０  ０  ０」と一致するように、正例モデルのパラメータを学習する。
【００４６】
正例モデルは、単語を削除することにより言い換え文を生成するためのものであり、正例モデルを学習するためのデータ（言い換えラベルが１の学習データ）により学習される。
【００４７】
また、正例モデルは、文を入力として、当該文に含まれる単語の各々について、当該単語の削除ラベルを推定した単語削除確率を算出するものであれば、何でもよく、任意のニューラルネットワークのモデルを採用することができる。例えば、図６に示すような、Ｂｉｄｉｒｅｃｔｉｏｎａｌ  ＬＳＴＭ等の再帰型ニューラルネットワークを用いることができる。
【００４８】
また、学習方法は、任意の方法を採用することができる（例えば、参考文献２）。
［参考文献２］Jason P.C. Chiu, Eric Nichols, "Named Entity Recognition with Bidirectional LSTM-CNNs"
【００４９】
学習された正例モデルは、文が入力されると、文の単語毎の削除スコアのリストを出力する。
【００５０】
同様に、単語を削除することにより非言い換え文を生成するための負例モデルを学習する。負例モデルは、負例モデルを学習するためのデータ（言い換えラベルが０の学習データ）により学習される。
【００５１】
そして、学習部１３は、学習した正例モデル及び負例モデルを、記憶部２３に格納する。
【００５２】
なお、学習部１３は、正例モデルのみを学習する構成としても、負例モデルのみを学習する構成としてもよい。
【００５３】
文生成装置２０は、入力文に対して、非言い換え文を生成する文生成装置であって、ＣＰＵと、ＲＡＭと、後述する文生成処理ルーチンを実行するためのプログラムを記憶したＲＯＭとを備えたコンピュータで構成され、機能的には次に示すように構成されている。
【００５４】
図１に示すように、本実施形態に係る文生成装置２０は、入力部２１と、推定部２２と、記憶部２３と、削除部２４と、出力部２５とを備えて構成される。
【００５５】
入力部２１は、入力文の入力を受け付け、受け付けた入力文を、推定部２２に渡す。
【００５６】
推定部２２は、入力文を構成する単語の各々について、正例モデルを用いて当該単語の単語削除確率を付与すると共に、負例モデルを用いて当該単語の単語削除確率を付与する。
【００５７】
具体的には、推定部２２は、まず、記憶部２３に格納された正例モデル及び負例モデルを取得する。次に、推定部２２は、入力文を入力として、正例モデルを用いて、入力文に含まれる単語の単語削除確率を算出すると共に、入力文を入力として、負例モデルを用いて、入力文に含まれる単語の単語削除確率を算出する。
【００５８】
例えば、図７に示すように、入力文が「ｗｈｉｃｈ  ｉｓ  ｔｈｅ  ｂｅｓｔ  ｔｒｅａｔｍｅｎｔ  ｆｏｒ  ｐｓｏｒｉｓｉｓ  ？」であった場合に、正例モデルの出力である単語削除確率は「０．１  ０．３  ０．４  ０．２  ０．１  ０．３  ０．２５」、負例モデルの出力である単語削除確率は「０．２  ０．５  ０．４  ０．４  ０．１  ０．７  ０．６５」のように算出される。
【００５９】
そして、推定部２２は、推定した正例モデルの単語削除確率及び負例モデルの単語削除確率を入力文に付与し、削除部２４に渡す。
【００６０】
記憶部２３は、モデル学習装置１０により学習された正例モデル及び負例モデルを格納する。
【００６１】
削除部２４は、入力文を構成する単語の各々について、当該単語の正例モデルを用いて付与された単語削除確率が予め定めた第１閾値以下であり、かつ、当該単語の負例モデルを用いて付与された単語削除確率が予め定めた第２閾値以上である場合に、当該単語を入力文から削除して入力文の非言い換え文とする。
【００６２】
具体的には、削除部２４は、例えば、第１閾値が０．３、第２閾値が０．５とすると、正例モデルの単語削除確率が０．３以下であり、かつ、負例モデルの単語削除確率が０．５以上の単語削除確率である「ｆｏｒ」及び「ｐｓｏｒｉｓｉｓ」を入力文から削除した、「ｗｈｉｃｈ  ｉｓ  ｔｈｅ  ｂｅｓｔ  ｔｒｅａｔｍｅｎｔ  ？」を非言い換え文とする。
【００６３】
正例モデルに対して単語削除確率が低い単語、かつ、負例モデルに対して単語削除確率が高い単語を削除すれば、入力文に対して、文として単語・意味的な類似度が高いが、非言い換え文となる文を生成することができる。
【００６４】
そして、削除部２４は、生成した非言い換え文を、出力部２５に渡す。
【００６５】
出力部２５は、生成した非言い換え文を出力する。
【００６６】
具体的には、出力部２５は、２つの文が言い換えとなっているか否かを判定するための判定モデルを学習する学習装置に、入力文と共に非言い換え文を出力する。
【００６７】
当該学習装置が、文生成装置２０により自動的に生成された非言い換え文を用いて判定モデルを学習すれば、文全体での意味が似ているが非言い換え文を学習データとすることができるため、判定精度の高い判定モデルを学習することができる。
【００６８】
そのように学習された判定モデルを用いて２つの文が言い換えとなっているか否かを判定する際に、精度の高い判定を行うことができる。
【００６９】
＜本発明の実施の形態に係るモデル学習装置の作用＞
図８は、本発明の実施の形態に係るモデル学習処理ルーチンを示すフローチャートである。
【００７０】
入力部１１に学習データが入力されると、モデル学習装置１０において、図８に示すモデル学習処理ルーチンが実行される。
【００７１】
まず、ステップＳ１００において、入力部１１は、文のペアと、一方の文が他方の文の言い換え文となることを示す正例又は非言い換え文となることを示す負例であることを示す言い換えラベルとの組からなる学習データの入力を受け付ける。
【００７２】
ステップＳ１１０において、アラインメント部１２は、文のペアの間で単語のアラインメントを計算し、各文の単語の各々について、当該単語のアラインメント先が無い場合に削除ラベルを付与し、当該単語のアラインメント先がある場合に非削除ラベルを付与する。
【００７３】
ステップＳ１２０において、学習部１３は、言い換えラベル＝０（非言い換え文）の学習データに含まれる各文を用いて、上記ステップＳ１１０により処理された文のうち、正例であることを示す言い換えラベルと組になっていたものを、単語を削除することにより非言い換え文を生成するための負例モデルの入力とした時に、出力が上記ステップＳ１１０により当該文に付与された削除ラベル及び非削除ラベルと一致するように、負例モデルを学習する。
【００７４】
ステップＳ１３０において、学習部１３は、学習が収束したか否かを判定する。
【００７５】
学習が収束していないと判定した場合（ステップＳ１３０のＹＥＳ）、ステップＳ１００に戻り、ステップＳ１００〜ステップＳ１２０の処理を行う。
【００７６】
一方、学習が収束したと判定した場合（ステップＳ１３０のＹＥＳ）、ステップＳ１４０において、学習部１３は、学習した負例モデルを、記憶部２３に格納する。
【００７７】
上記モデル学習処理ルーチンでは、負例モデルを学習する場合について説明したが、正例モデルを学習する場合には、以下のように一部処理を変更して行う。
【００７８】
ステップＳ１２０において、学習部１３は、言い換えラベル＝１（言い換え文）の学習データに含まれる各文を用いて、上記ステップＳ１１０により処理された文のうち、負例であることを示す言い換えラベルと組になっていたものを、単語を削除することにより言い換え文を生成するための正例モデルの入力とした時に、出力が上記ステップＳ１１０により当該文に付与された削除ラベル及び非削除ラベルと一致するように、正例モデルを学習する。
【００７９】
ステップＳ１４０において、学習部１３は、学習した正例モデルを、記憶部２３に格納する。
【００８０】
＜本発明の実施の形態に係る文生成装置の作用＞
図９は、本発明の実施の形態に係る文生成処理ルーチンを示すフローチャートである。
【００８１】
入力部２１に入力文が入力されると、文生成装置２０において、図９に示す文生成処理ルーチンが実行される。
【００８２】
まず、ステップＳ２００において、推定部２２は、記憶部２３に格納された正例モデル及び負例モデルを取得する。
【００８３】
ステップＳ２１０において、入力部２１は、入力文の入力を受け付ける。
【００８４】
ステップＳ２２０において、推定部２２は、入力文を構成する単語の各々について、正例モデルを用いて当該単語の単語削除確率を付与する。
【００８５】
ステップＳ２３０において、推定部２２は、入力文を構成する単語の各々について、負例モデルを用いて当該単語の単語削除確率を付与する。なお、ステップＳ２２０とステップＳ２３０とは、順不同であり、ステップＳ２３０の後にステップＳ２２０の処理を行ってもよい。
【００８６】
ステップＳ２４０において、削除部２４は、入力文を構成する単語の各々について、当該単語の正例モデルを用いて付与された単語削除確率が予め定めた第１閾値以下であり、かつ、当該単語の負例モデルを用いて付与された単語削除確率が予め定めた第２閾値以上である場合に、当該単語を入力文から削除して入力文の非言い換え文とする。
【００８７】
ステップＳ２５０において、出力部２５は、上記ステップＳ２４０により生成した非言い換え文を出力する。
【００８８】
以上説明したように、本発明の実施形態に係る文生成装置によれば、文と当該文の言い換え文とからなる正例に基づいて学習された、単語を削除することにより言い換え文を生成するための正例モデル、又は当該文と当該文の非言い換え文とからなる負例に基づいて学習された、単語を削除することにより非言い換え文を生成するための負例モデルを用いて、入力文を構成する単語の各々について、当該単語の単語削除確率を推定することにより、意味が似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成することができる。
【００８９】
また、本発明の実施形態に係るモデル学習装置によれば、文のペアの間で単語のアラインメントを計算することにより、文の単語の各々について、当該単語のアラインメント先が無い場合に削除ラベルを付与し、当該単語のアラインメント先がある場合に非削除ラベルを付与し、当該文のうち、正例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力がアラインメント部により当該文に付与された削除ラベル及び非削除ラベルと一致するように、単語を削除することにより言い換え文を生成するための正例モデル、又は当該文のうち、負例であることを示す言い換えラベルと組になっていたものを入力とした時に、出力がアラインメント部により文に付与された削除ラベル及び非削除ラベルと一致するように、単語を削除することにより非言い換え文を生成するための負例モデルを学習することにより、意味が似ている言い換え文、又は文全体での意味が似ているが言い換えでない非言い換え文を生成するためのモデルを学習することができる。
【００９０】
また、２つの文のペアが言い換え関係にあるか否かを判定するための判定モデルを学習する際に、本実施形態に係る文生成装置２０により生成された文全体での意味が似ているが非言い換え文を用いることにより、判定精度の高い判定モデルを学習することができる。このように学習された判定モデルを用いて２つの文が言い換えとなっているか否かを判定する際に、精度の高い判定を行うことができる。
【００９１】
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【００９２】
上述の実施形態では、文生成装置２０は、入力文に対して、非言い換え文を生成するように構成したが、これに限定されるものではなく、文生成装置２０は、入力文に対して、言い換え文を生成するように構成することができる。
【００９３】
この場合、削除部２４は、入力文を構成する単語の各々について、当該単語の正例モデルを用いて付与された単語削除確率が予め定めた第１閾値以上であり、かつ、当該単語の負例モデルを用いて付与された単語削除確率が予め定めた第２閾値以下である場合に、当該単語を入力文から削除して入力文の言い換え文とする。
【００９４】
また、削除部２４は、文生成装置２０が非言い換え文を生成する場合には、負例モデルの単語削除確率のみを用いる構成とすることができる。この場合、推定部２２は、負例モデルのみを用いて、各単語に、負例モデルの単語削除確率を付与し、削除部２４は、負例モデルの単語削除確率が、第２閾値以上である場合に、単語を削除する。また、モデル学習装置においては、負例モデルのみを学習すればよい。
【００９５】
また、削除部２４は、文生成装置２０が言い換え文を生成する場合には、正例モデルの単語削除確率のみを用いる構成とすることができる。この場合、推定部２２は、正例モデルのみを用いて、各単語に、正例モデルの単語削除確率を付与し、削除部２４は、正例モデルの単語削除確率が、第１閾値以上である場合に、単語を削除する。また、モデル学習装置においては、正例モデルのみを学習すればよい。
【００９６】
なお、正例モデル又は負例モデルのいずれか一方のみを用いるよりも、正例モデル及び負例モデルのいずれも用いる場合の方が、より精度の高い言い換え文又は非言い換え文を生成することができる。
【００９７】
また、文生成装置２０は、削除部２４を省略し、推定部２２により入力文を構成する単語の各々について、正例モデルを用いて当該単語の単語削除確率を付与した文を生成する装置として構成してもよい。同様に、文生成装置２０は、削除部２４を省略し、推定部２２により入力文を構成する単語の各々について、負例モデルを用いて当該単語の単語削除確率を付与した文を生成する装置として構成してもよい。
【００９８】
また、文生成装置２０は、削除部２４を省略し、推定部２２により入力文を構成する単語の各々について、正例モデルを用いて当該単語の単語削除確率を付与した文を生成すると共に、負例モデルを用いて当該単語の単語削除確率を付与した文を生成する装置として構成してもよい。
【００９９】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能である。
【符号の説明】
【０１００】
１     文生成システム
１０   モデル学習装置
１１   入力部
１２   アラインメント部
１３   学習部
２０   文生成装置
２１   入力部
２２   推定部
２３   記憶部
２４   削除部
２５   出力部
【図１】
2020017017.tif 000003
【図２】
2020017017.tif 000004
【図３】
2020017017.tif 000005
【図４】
2020017017.tif 000006
【図５】
2020017017.tif 000007
【図６】
2020017017.tif 000008
【図７】
2020017017.tif 000009
【図８】
2020017017.tif 000010
【図９】
2020017017.tif 000011