(57)【要約】【課題】文章が入力されないことが出力に与える影響を抑制することを目的とする。【解決手段】生成方法は、コンピュータが、学習情報に基づき、第１の単語、及び第１の文章に応じた第１の文章とは異なる形式の第１の中間情報の組みを、第１の情報に応じた情報に変換する第１の変換パラメータと、第１の単語を、第１の中間情報に変換する第２の変換パラメータとを生成し、第２の入力項目に対応付けられた文章の入力を受け付けずに、第１の入力項目に対応付けられた第２の単語の入力を受け付けると、第２の変換パラメータにより第２の単語を変換して、形式の第２の中間情報を生成するとともに、第１の変換パラメータにより第２の単語及び第２の中間情報の組みを変換して、第２の情報を生成する。【選択図】図１１
2019200554.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータが、
第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得し、
前記学習情報に基づき、前記第１の単語、及び前記第１の文章に応じた前記第１の文章とは異なる形式の第１の中間情報の組みを、前記第１の情報に応じた情報に変換する第１の変換パラメータと、前記第１の単語を、前記第１の中間情報に変換する第２の変換パラメータとを生成し、
前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の変換パラメータにより前記第２の単語を変換して、前記形式の第２の中間情報を生成するとともに、前記第１の変換パラメータにより前記第２の単語及び前記第２の中間情報の組みを変換して、第２の情報を生成する、
処理を実行することを特徴とする生成方法。
【請求項２】
前記第１の中間情報は、前記第１の文章の意味を示す、前記第１の文章とは異なる形式の情報である
ことを特徴とする請求項１記載の生成方法。
【請求項３】
前記第１の中間情報を示す行列の次元数は、前記第１の文章を示す行列の次元数より少ない
ことを特徴とする請求項１または２記載の生成方法。
【請求項４】
第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得し、
前記学習情報に基づき、前記第１の単語、及び前記第１の文章に応じた前記第１の文章とは異なる形式の第１の中間情報の組みを、前記第１の情報に応じた情報に変換する第１の変換パラメータと、前記第１の単語を、前記第１の中間情報に変換する第２の変換パラメータとを生成し、
前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の変換パラメータにより前記第２の単語を変換して、前記形式の第２の中間情報を生成するとともに、前記第１の変換パラメータにより前記第２の単語及び前記第２の中間情報の組みを変換して、第２の情報を生成する、
処理をコンピュータに実行させるための生成プログラム。
【請求項５】
第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得する取得部と、
前記学習情報に基づき、前記第１の単語、及び前記第１の文章に応じた前記第１の文章とは異なる形式の第１の中間情報の組みを、前記第１の情報に応じた情報に変換する第１の変換パラメータと、前記第１の単語を、前記第１の中間情報に変換する第２の変換パラメータとを生成するパラメータ生成部と、
前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の変換パラメータにより前記第２の単語を変換して、前記形式の第２の中間情報を生成するとともに、前記第１の変換パラメータにより前記第２の単語及び前記第２の中間情報の組みを変換して、第２の情報を生成する情報生成部と、
を備えることを特徴とする生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生成方法、生成プログラムおよび生成装置に関する。
【背景技術】
【０００２】
機械学習を用いて、入力情報に基づいて出力情報を生成する分類器等のシステムを生成する技術が用いられている。しかし、入力情報に欠損がある場合、出力情報の精度が低下する可能性があるため、欠損した情報を予測する技術が用いられる。
【０００３】
関連する技術として、トレーニングデータをデータ学習プログラムに入力して分類器を作成し、欠損値を含むデータから生成した入力データを分類器に入力して、欠損値を予測する技術が提案されている（例えば、特許文献１を参照）。
【０００４】
また、関連する技術として、欠損値を含むフィールドが複数ある場合に欠損値を含むフィールド以外のフィールドのデータから欠損値を予測し、補間する技術が提案されている（例えば、特許文献２を参照）。
【０００５】
また、関連する技術として、iterative inversion法と誤差逆伝搬により、不完全なセンサ情報の欠損値を推定しモデル獲得を行う技術が提案されている（例えば、特許文献３を参照）。
【０００６】
また、関連する技術として、欠損値のうちの予測したい目的変数を受け付け、重回帰分析の結果をもとに、目的変数を含むレコードの各説明変数の値及び係数から目的変数の値を計算する技術が提案されている（例えば、特許文献４を参照）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３３４７１９号公報
【特許文献２】特開２０００−４００７９号公報
【特許文献３】特開平８−２１２１８４号公報
【特許文献４】特開２０１４−６３４３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
例えば、入力情報のうち文章が欠損している場合、入力情報内の他の情報を用いて文章を予測することが考えられる。しかし、文章内の単語の数が可変であり、単語の順番を考慮することになるため、欠損している文章を直接予測することは困難である。そして、欠損した文章の予測精度が低下すると、出力情報の精度も低下する。
【０００９】
１つの側面として、本発明は、文章が入力されないことが出力に与える影響を抑制することを目的とする。
【課題を解決するための手段】
【００１０】
１つの態様では、生成方法は、コンピュータが、第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、前記第１の単語及び前記第１の文章の組みに応じた第１の情報と、を含む学習情報を取得し、前記学習情報に基づき、前記第１の単語、及び前記第１の文章に応じた前記第１の文章とは異なる形式の第１の中間情報の組みを、前記第１の情報に応じた情報に変換する第１の変換パラメータと、前記第１の単語を、前記第１の中間情報に変換する第２の変換パラメータとを生成し、前記第２の入力項目に対応付けられた文章の入力を受け付けずに、前記第１の入力項目に対応付けられた第２の単語の入力を受け付けると、前記第２の変換パラメータにより前記第２の単語を変換して、前記形式の第２の中間情報を生成するとともに、前記第１の変換パラメータにより前記第２の単語及び前記第２の中間情報の組みを変換して、第２の情報を生成する、処理を実行する。
【発明の効果】
【００１１】
１つの側面によれば、文章が入力されないことが出力に与える影響を抑制することができる。
【図面の簡単な説明】
【００１２】
【図１】生成装置の一例を示す図である。
【図２】入力情報および出力情報の一例を示す図である。
【図３】各情報およびパラメータの例を示す図である。
【図４】パラメータ生成方法の一例を示す図である。
【図５】中間情報の例を示す図である。
【図６】中間情報に変換するパラメータの生成方法の例を示す図である。
【図７】入力情報から中間情報への変換方法の例を示す図である。
【図８】他の入力情報に変換するパラメータの生成方法の第１の例を示す図である。
【図９】他の入力情報に変換するパラメータの生成方法の第２の例を示す図である。
【図１０】入力情報から他の入力情報への変換方法の例を示す図である。
【図１１】学習時における処理の一例を示すフローチャートである。
【図１２】運用時における処理の一例を示すフローチャートである。
【図１３】入力情報を示す行列式の例を示す図である。
【図１４】実施例における各情報およびパラメータを示す図である。
【図１５】欠損および外れ値を含む情報の例を示す図である。
【図１６】生成装置のハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【００１３】
以下、図面を参照して、実施形態について説明する。図１は、生成装置１の一例を示す図である。生成装置１は、コンピュータの一例である。生成装置１は、例えば、サーバ、パーソナルコンピュータ、またはタブレット端末等である。
【００１４】
生成装置１は、取得部１１と第１生成部１２と第２生成部１３と判定部１４と変換部１５と第３生成部１６と記憶部１７とを含む。
【００１５】
取得部１１は、第１の入力項目に対応付けて入力された第１の単語と、第２の入力項目に対応付けて入力された第１の文章と、第１の単語及び第１の文章の組みに応じた第１の情報と、を含む学習情報を取得する。
【００１６】
第１生成部１２は、学習情報に基づき、第１の単語、及び第１の文章に応じた第１の文章とは異なる形式の第１の中間情報の組みを、第１の情報に応じた情報に変換する第１の変換パラメータを生成する。
【００１７】
第２生成部１３は、第１の単語を、第１の中間情報に変換する第２の変換パラメータを生成する。第１生成部１２および第２生成部１３は、パラメータ生成部の一例である。
【００１８】
判定部１４は、入力情報に欠損があるか判定する。なお、生成装置１は、入力情報が学習情報に存在しない情報を含む場合等に、すなわち、入力情報に外れ値がある場合にも、欠損がある場合と同様の処理を行うこととする。
【００１９】
変換部１５は、第２の入力項目に対応付けられた文章の入力を受け付けずに、第１の入力項目に対応付けられた第２の単語の入力を受け付けると、第２の変換パラメータにより第２の単語を変換して、第２の中間情報を生成する。
【００２０】
第３生成部１６は、第１の変換パラメータにより第２の単語及び第２の中間情報の組みを変換して、第２の情報を生成する。変換部１５および第３生成部１６は、情報生成部の一例である。
【００２１】
記憶部１７は、生成された各種パラメータ、中間情報等を記憶する。
【００２２】
図２は、入力情報および出力情報の一例を示す図である。図２に示す入力情報および出力情報は、映画に関する情報である。図２に示す入力情報の入力項目は、映画のジャンル（ｘ１）、製作会社（ｘ２）、映画の概要（ｘ３）を含む。映画のジャンル（ｘ１）、製作会社（ｘ２）、は、単語で表現され、映画の概要（ｘ３）は、文章で表現される。出力情報の項目は、面白さ（ｙ）を含む。なお、以下の説明において、各項目を、記号（ｘ１、ｘ２、ｘ３、ｙ）を用いて表現することがある。
【００２３】
図３は、各情報およびパラメータの例を示す図である。図３に示すように、入力情報ｘ１は、パラメータｗ１を用いた分類器により中間情報ｘ１’に変換される。同様に、入力情報ｘ２は、パラメータｗ２を用いた分類器により中間情報ｘ２’に変換される。また、入力情報ｘ３は、パラメータｗ３を用いた分類器により中間情報ｘ３’に変換される。また、中間情報ｘ１’、ｘ２’、ｘ３’は、パラメータｗｈを用いた分類器によりｙに変換される。
【００２４】
生成装置１は、学習情報としてｘ１〜ｘ３、ｙを取得した場合、学習情報に基づいて各パラメータ（ｗ１〜ｗ３、ｗｈ）を生成する。また、生成装置１は、未知の出力情報を生成するために入力情報ｘ１〜ｘ３を取得した場合、入力情報ｘ１〜ｘ３と生成した各パラメータ（ｗ１〜ｗ３、ｗｈ）とを用いてｙを生成する。
【００２５】
図４は、パラメータ生成方法の一例を示す図である。図４に示す例では、学習情報として、ｘ１〜ｘ３、ｙが与えられているとする。そして、第１生成部１２は、ｘ１〜ｘ３、ｙに基づいて、各パラメータ（ｗ１〜ｗ３、ｗｈ）を生成する。第１生成部１２は、ｘ１〜ｘ３、ｙと初期パラメータに基づいて、ｙの予測値ｐｒｅｄ＿ｙを生成し、ｐｒｅｄ＿ｙがｙに近づくように、パラメータを調整する。そして、第１生成部１２は、あるパラメータを用いて生成した予測値ｐｒｅｄ＿ｙがｙに最も近い場合、そのパラメータ（ｗ１〜ｗ３、ｗｈ）を記憶部１７に記憶する。記憶部１７に記憶されたパラメータ（ｗ１〜ｗ３、ｗｈ）は、運用時において、入力情報から未知の出力情報を生成するために用いられる。
【００２６】
図５は、中間情報の例を示す図である。図５に示す例では、中間情報ｘ３’は、行列で表される。ｘ３が文章である場合、中間情報ｘ３’は、例えば、文章の意味を示す。中間情報ｘ３’は、入力情報ｘ３より少ない次元数の行列であるとする。よって、生成装置１は、入力情報ｘ３が欠損している場合に、入力情報ｘ３を予測するよりも容易に中間情報ｘ３’を予測することができる。
【００２７】
図６は、中間情報に変換するパラメータの生成方法の例を示す図である。図６に示す例では、第２生成部１３は、ｘ１を取得し、ｘ１から中間情報ｘ３’を生成するためのパラメータｗ’３１を生成する。第２生成部１３は、例えば、ｘ１と初期のパラメータｗ’３１に基づいて、中間情報ｘ３’の予測値であるｐｒｅｄ１＿ｘ３’を生成する。そして、第２生成部１３は、ｐｒｅｄ１＿ｘ３’とｘ３’との差が最も小さくなるようにｗ’３１を生成する。ｘ３’は、第１生成部１２が学習情報に基づいて生成したパラメータｗ３と入力情報とｘ３を用いて、第２生成部１３が予め生成した値である。
【００２８】
第２生成部１３は、同様に、ｘ２を取得し、ｘ２から中間情報ｘ３’を生成するためのパラメータｗ’３２を生成する。
【００２９】
変換部１５は、入力情報ｘ３が欠損している場合、ｗ’３１を用いて、ｘ１からｘ３’を生成する。または、変換部１５は、入力情報ｘ３が欠損している場合、ｗ’３２を用いて、ｘ２からｘ３’を生成する。
【００３０】
図６におけるｘ１またはｘ２は、第１の単語の一例である。ｘ３は、第１の文章の一例である。ｗ’３１またはｗ’３２は、第２の変換パラメータの一例である。
【００３１】
図７は、入力情報から中間情報への変換方法の例を示す図である。運用時の入力情報にｘ３が欠損している場合、変換部１５は、第２生成部１３が生成したｗ’３１を用いて、ｘ１からｘ３’＿１を生成する。さらに、変換部１５は、第２生成部１３が生成したｗ’３２を用いて、ｘ２からｘ３’＿２を生成する。
【００３２】
変換部１５は、ｘ１から生成したｘ３’＿１とｘ２から生成したｘ３’＿２とに基づいて、ｘ３’を生成する。変換部１５は、例えば、ｘ３’＿１とｘ３’＿２との平均値を、ｘ３’とする。変換部１５は、ｘ３’＿１とｘ３’＿２とのいずれかをｘ３’としてもよい。
【００３３】
図７におけるｘ１、ｘ２は、第２の単語の一例であり、ｘ３’は、第２の中間情報の一例である。ｘ１、ｘ２、ｘ３’から生成されるｙは、第２の情報の一例である。
【００３４】
図８は、他の入力情報に変換するパラメータの生成方法の第１の例を示す図である。図８に示す例では、第２生成部１３は、ｘ１を取得し、ｘ１からｘ２を生成するためのパラメータｗ２１を生成する。第２生成部１３は、例えば、ｘ１と初期のパラメータｗ２１に基づいて、ｘ２の予測値であるｐｒｅｄ１＿ｘ２を生成する。そして、第２生成部１３は、ｐｒｅｄ１＿ｘ２とｘ２との差が最も小さくなるようにｗ２１を生成する。
【００３５】
第２生成部１３は、同様に、ｘ３を取得し、ｘ３からｘ２を生成するためのパラメータｗ２３を生成する。
【００３６】
図９は、他の入力情報に変換するパラメータの生成方法の第２の例を示す図である。第２生成部１３は、図８に示した方法と同様の方法により、各入力情報を他の入力情報に変換するためのパラメータを生成する。
【００３７】
例えば、第２生成部１３は、ｘ１をｘ２に変換するためのパラメータｗ２１、およびｘ１をｘ３に変換するためのパラメータｗ３１を生成する。また、第２生成部１３は、ｘ２をｘ１に変換するためのパラメータｗ１２、およびｘ２をｘ３に変換するためのパラメータｗ３２を生成する。また、第２生成部１３は、ｘ３をｘ１に変換するためのパラメータｗ１３、およびｘ３をｘ２に変換するためのパラメータｗ２３を生成する。
【００３８】
図１０は、入力情報から他の入力情報への変換方法の例を示す図である。運用時の入力情報にｘ２が欠損している場合、変換部１５は、第１生成部１２が生成したｗ２１を用いて、ｘ１からｘ２＿１を生成する。さらに、変換部１５は、第１生成部１２が生成したｗ２３を用いて、ｘ２からｘ２＿３を生成する。
【００３９】
変換部１５は、ｘ１から生成したｘ２＿１とｘ３から生成したｘ２＿３とに基づいて、ｘ２を生成する。変換部１５は、例えば、ｘ２＿１とｘ２＿３との平均値を、ｘ２とする。変換部１５は、例えば、ｘ２＿１とｘ２＿３とのいずれかをｘ２としてもよい。
【００４０】
図１１は、学習時における処理の一例を示すフローチャートである。取得部１１は、分類器のパラメータを生成するための学習情報を取得する（ステップＳ１０１）。学習情報は、例えば、第１の入力項目（例えば、ジャンル、製作会社等）に対応付けて入力された第１の単語と、第２の入力項目（例えば、概要を示す文章）に対応付けて入力された第１の文章を含む。また、学習情報は、第１の単語及び第１の文章の組みに応じた第１の情報（例えば、面白さ）を含む。
【００４１】
第１生成部１２は、第１の単語及び第１の中間情報の組みを、第１の情報に応じた情報に変換するパラメータを生成する（ステップＳ１０２）。ステップＳ１０２で生成されるパラメータは、第１の変換パラメータの一例である。ステップＳ１０２で生成されるパラメータは、例えば、図３に示すＷ１、Ｗ２、およびＷｈの組である。
【００４２】
第２生成部１３は、取得部１１が取得した入力情報の入力項目毎に繰り返し処理を開始する（ステップＳ１０３）。第２生成部１３は、処理対象の項目の入力情報が文章であるか判定する（ステップＳ１０４）。
【００４３】
入力情報が文章である場合（ステップＳ１０４でＹＥＳ）、第２生成部１３は、入力情報を他の入力情報に応じた中間情報に変換するためのパラメータを生成する（ステップＳ１０５）。第２生成部１３は、例えば、ｘ１を、ｘ３の中間情報であるｘ３’に変換するためのパラメータＷ’３１を生成する（図６参照）。ステップＳ１０５で生成されるパラメータは第２のパラメータの一例である。
【００４４】
入力情報が文章でない場合（ステップＳ１０４でＮＯ）、第２生成部１３は、入力情報を他の入力情報に変換するためのパラメータを生成する（ステップＳ１０６）。第２生成部１３は、例えば、ｘ１を、ｘ２に変換するためのパラメータＷ２１を生成する（図８参照）。
【００４５】
第２生成部１３は、取得部１１が取得した入力情報の全項目についてステップＳ１０４〜Ｓ１０６の処理を実行した場合、繰り返し処理を終了する（ステップＳ１０７）。
【００４６】
図１２は、運用時における処理の一例を示すフローチャートである。取得部１１は、入力情報を受け付ける（ステップＳ２０１）。入力情報は、例えば、単語および文章である。
【００４７】
判定部１４は、入力情報に欠損があるか判定する（ステップＳ２０２）。判定部１４は入力情報のうちの一部または全部が不足している場合、入力情報が欠損していると判定する。
【００４８】
入力情報に欠損があると判定された場合（ステップＳ２０２でＹＥＳ）、変換部１５は、欠損した入力情報毎の繰り返し処理を開始する（ステップＳ２０３）。
【００４９】
変換部１５は、欠損している情報が文章であるか判定する（ステップＳ２０４）。欠損している情報が文章である場合（ステップＳ２０４でＹＥＳ）、変換部１５は、第２生成部１３が生成した第２のパラメータを用いて入力情報を変換して、欠損した入力情報の中間情報を生成する（ステップＳ２０５）。中間情報は、入力情報とは異なる形式であるとする。変換部１５は、例えば、図７の例に示すように、ｗ’３１を用いて、ｘ１からｘ３’＿１を生成する。
【００５０】
欠損している情報が文章でない場合（ステップＳ２０４でＮＯ）、変換部１５は、第１生成部１２が生成したパラメータを用いて、入力情報を欠損した入力情報に変換する（ステップＳ２０６）。変換部１５は、繰り返し処理を終了する（ステップＳ２０７）。変換部１５は、例えば、第１生成部１２が生成したｗ２１を用いて、ｘ１からｘ２＿１を生成する。
【００５１】
第３生成部１６は、欠損していた情報が文章であるか判定する（ステップＳ２０８）。文章が欠損していた場合、ステップＳ２０５の処理で中間情報が生成されている。よって、ステップＳ２０８でＹＥＳの場合、第３生成部１６は、第１のパラメータを用いて、入力情報および中間情報の組に応じた出力情報を生成する（ステップＳ２０９）。第３生成部１６は、例えば、入力情報（ｘ１、ｘ２）と、中間情報ｘ３’と、学習時に得られたＷｈ、Ｗ１、Ｗ２、とに基づいて出力情報ｙを生成する。
【００５２】
ステップＳ２０２、またはステップＳ２０８でＮＯの場合、第３生成部１６は、第１のパラメータを用いて入力情報に応じた出力情報を生成する（ステップＳ２１０）。第３生成部１６は、例えば、入力情報（ｘ１、ｘ２、ｘ３）と、学習時に得られたＷｈ、Ｗ１、Ｗ２、Ｗ３とに基づいて出力情報ｙを生成する。
【００５３】
なお、生成装置１は、学習時に学習情報が欠損を含む場合、欠損を除く学習情報に対して、図１１に示す処理を実行し、パラメータを生成する。これにより、生成装置１は、欠損がノイズとなり、学習精度が低下することを防ぐことができる。また、生成装置１は、学習情報の欠損について、図１２のステップＳ２０３〜Ｓ２０７と同様の処理を実行し、入力情報または中間情報を生成する。これにより、生成装置１は、学習情報の欠損を補うことができるので、学習情報の量を増やし、出力情報の精度を向上させることができる。
【００５４】
以上のように本実施形態の生成装置１は、学習時に、単語から文章に応じた中間情報を生成するためのパラメータを生成する。そして、生成装置１は、運用時に、文章が入力されない（欠損している）場合に、生成したパラメータを用いて中間情報を生成し、その中間情報を用いて出力情報を生成する。そのため、生成装置１は、文章のように予測が困難な情報が欠損していたとしても、中間情報を用いて出力情報を生成することができる。
【００５５】
また、中間情報は、入力情報より次元が少ない情報であるため、生成装置１は、他の情報を用いて容易に中間情報を予測することできる。
【００５６】
＜実施例＞
図１３は、入力情報を示す行列式の例を示す図である。図１３に示す入力情報は、図２に示す入力情報に対応している。図１３（ａ）は、”ａｃｔｉｏｎ”を示す入力情報ｘ１を示す行列式である。図１３（ａ）の行数は、映画ジャンルの数に対応している。また、２行目が”ａｃｔｉｏｎ”を示すとする。よって、入力情報ｘ１が”ａｃｔｉｏｎ”である場合、行列式の２行目の値が１となる。
【００５７】
図１３（ｂ）は、”Ｄｉｓｎｅｙ”を示す入力情報ｘ２を示す行列式である。図１３（ｂ）の行数は、製作会社の数に対応している。また、１行目が”Ｄｉｓｎｅｙ”を示すとする。よって、入力情報ｘ２が”Ｄｉｓｎｅｙ”である場合、行列式の１行目の値が１となる。
【００５８】
図１３（ｃ）は、”ダイナミックな映画”を示す入力情報ｘ３を示す行列式である。図１３（ｃ）の行数は、登録単語数に対応し、列数（次元数）は、入力情報内の単語数に対応している。また、２行目が”ダイナミック”を示し、４行目が”な”を示し、５行目が”映画”を示す。
【００５９】
なお、実際の運用において登録単語数は、例えば、約１０万語であり、入力情報内の単語数は約１０語であるとする。その場合、パターン数は、１０万×１０＝１００万パターンとなる。このパターン数は、入力情報が単語である場合のパターン数と比べると大きく異なるため、単語から文章を直接予測することは困難である。
【００６０】
しかし、中間情報ｘ３’は、図５に示すように１次元の情報である。すなわち、入力情報から中間情報ｘ３’に変換すると含まれる単語の順序は失われるが、単語の意味は失われない。
【００６１】
（１）学習時における第１のパラメータ生成処理の例
以下、学習時における第１生成部１２によるパラメータ生成の例について説明する。図１４は、実施例における各情報およびパラメータを示す図である。ｈは、中間情報ｘ１’、ｘ２’、ｘ３’の組を示す。ｈ以外の各情報、パラメータは図３に示す例と同様である。
【００６２】
中間情報ｘ１’、ｘ２’、ｘ３’は、下記の式（１）〜（３）のように表される。
【００６３】
【数１】
2019200554.tif 000003
【００６４】
【数２】
2019200554.tif 000004
【００６５】
【数３】
2019200554.tif 000005
【００６６】
また、中間情報ｘ１’、ｘ２’、ｘ３’の組を示すｈは、下記の式（４）のように表される。
【００６７】
【数４】
2019200554.tif 000006
【００６８】
また、出力情報ｙの予測値であるｐｒｅｄ＿ｙは、下記の式（５）のように表される。
【００６９】
【数５】
2019200554.tif 000007
【００７０】
なお、式（５）のsoftmax関数は、以下のように定義される。
softmax(x)＝exp(x)/sum(exp(x))
【００７１】
第１生成部１２は、ｐｒｅｄ＿ｙとｙとが近づくように、各パラメータ（ｗ１〜ｗ３、ｗｈ）を調整する。第１生成部１２は、例えば、バックプロパゲーションを用いて学習する。ｐｒｅｄ＿ｙとｙとの差（ｌｏｓｓ）としては、SoftMaxCrossEntropy、またはMean Squared Error（ＭＳＥ）等が用いられる。
【００７２】
運用時において、第３生成部１６は、第１生成部１２が生成した各パラメータ（ｗ１〜ｗ３、ｗｈ）を用いてｐｒｅｄ＿ｙを算出し、算出されたｐｒｅｄ＿ｙから予測した値を出力情報ｙとして出力する。例えば、式（５）のｐｒｅｄ＿ｙでは、１行目の０．９が最も大きく、１行目が”ｖｅｒｙ  ｇｏｏｄ”を示す場合、第３生成部１６は、ｙが”ｖｅｒｙ  ｇｏｏｄ”であると予測する。
【００７３】
（２）学習時における第２のパラメータ生成処理の例
次に、学習時において、第２生成部１３が中間情報ｘ３’を生成するためのパラメータを生成する方法の例を示す。以下の説明は、図６に示す処理の実施例に相当する。ｘ１に基づく中間情報ｘ３’の予測値であるｐｒｅｄ１＿ｘ３’は、下記の式（６）のように表される。
【００７４】
【数６】
2019200554.tif 000008
【００７５】
また、ｐｒｅｄ１＿ｘ３’とｘ３’との差は、ＭＳＥを用いた場合、下記の式（７）のように表される。
【００７６】
【数７】
2019200554.tif 000009
【００７７】
第２生成部１３は、式（７）に示すｌｏｓｓが最も小さくなるようにパラメータｗ’３１を生成する。同様に、第２生成部１３は、ｘ２から中間情報ｘ３’を生成するためのパラメータｗ’３２を生成する。
【００７８】
（３）運用時に文章（ｘ３）が欠損していた場合の出力情報生成処理の例
次に運用時において、文章（ｘ３）が欠損していた場合の出力情報生成処理を説明する。第３生成部１６は、入力情報ｘ１と学習時に生成されたｗ１とに基づいて、下記の式（８）のように中間情報ｘ１’を生成する。
【００７９】
【数８】
2019200554.tif 000010
【００８０】
また、第３生成部１６は、入力情報ｘ２と学習時に生成されたｗ２とに基づいて、下記の式（９）のように中間情報ｘ２’を生成する。
【００８１】
【数９】
2019200554.tif 000011
【００８２】
そして、変換部１５は、学習時に第２生成部１３が生成したｗ’３１に基づいて、下記の式（１０）のように、入力情報ｘ１をｘ３’＿１に変換する。
【００８３】
【数１０】
2019200554.tif 000012
【００８４】
そして、変換部１５は、学習時に第２生成部１３が生成したｗ’３２に基づいて、下記の式の式（１１）のように、入力情報ｘ２をｘ３’＿２に変換する。
【００８５】
【数１１】
2019200554.tif 000013
【００８６】
そして、変換部１５は、下記の式（１２）のように、ｘ１から生成したｘ３’＿１とｘ２から生成したｘ３’＿２との平均値を、ｘ３’とする。
【００８７】
【数１２】
2019200554.tif 000014
【００８８】
中間情報の組ｈは、上記の式（１０）〜（１２）のように生成されたｘ１’、ｘ２’、ｘ３’を用いると、下記の式（１３）のように表される。
【００８９】
【数１３】
2019200554.tif 000015
【００９０】
第３生成部１６は、学習時に生成されたＷｈと上記のように算出されたｈとに基づいて下記の式（１４）のように出力情報ｙを生成する。この出力情報ｙは、第２の情報の一例である。
【００９１】
【数１４】
2019200554.tif 000016
【００９２】
（４）運用時に単語（ｘ２）が欠損していた場合の出力情報生成処理の例
次に運用時において、単語（ｘ２）が欠損していた場合の出力情報生成処理を説明する。変換部１５は、学習時に生成されたｗ２１に基づいて、下記の式（１５）のように入力情報ｘ１を入力情報ｘ２の予測値であるｐｒｅｄ１＿ｘ２に変換する。
【００９３】
【数１５】
2019200554.tif 000017
【００９４】
【数１６】
2019200554.tif 000018
【００９５】
また、変換部１５は、学習時に生成されたｗ２３に基づいて、下記の式（１６）のように入力情報ｘ３を入力情報ｘ２の予測値であるｐｒｅｄ３＿ｘ２に変換する。
【００９６】
式（１６）におけるＷ２３ｓｕｍ（ｘ３）は、下記の式（１７）のように計算される。
【００９７】
【数１７】
2019200554.tif 000019
【００９８】
変換部１５は、上記のように生成されたｐｒｅｄ１＿ｘ２、およびｐｒｅｄ３＿ｘ２の平均値を計算することにより、下記の式（１８）のようにｘ２を生成する。
【００９９】
【数１８】
2019200554.tif 000020
【０１００】
上記ｘ２のうち、３行目の０．４２が最も大きい値であるため、変換部１５は、０．４２を１に変換し、他の数字を０に変換する。変換部１５は、下記の式（１９）のようなｘ２を得る。
【０１０１】
【数１９】
2019200554.tif 000021
【０１０２】
第３生成部１６は、上記の計算で得られたｘ２を含む入力情報（ｘ１、ｘ２、ｘ３）と、学習時に得られたＷｈ、Ｗ１、Ｗ２、Ｗ３とに基づいて出力情報ｙを生成する。
【０１０３】
図１５は、欠損および外れ値を含む情報の例を示す図である。図１５（ａ）は、欠損を含む入力情報の例である。図１５（ａ）のｘ１は、全ての要素が０であるため、判定部１４は、欠損があると判定する。
【０１０４】
図１５（ｂ）は、外れ値を含む入力情報の例である。図１５（ｂ）のｘ１およびｘ２の組は、学習時の入力情報に存在しなかった組み合わせであるとする。判定部１４は、このような入力情報に含まれる値を、外れ値であるとみなしてもよい。
【０１０５】
図１５（ｃ）は、外れ値を含む入力情報の例である。図１５（ｃ）のｘ３は、学習時の入力情報に存在しなかった情報であるとする。判定部１４は、このような入力情報に含まれる値を、外れ値であるとみなしてもよい。
【０１０６】
次に、生成装置１のハードウェア構成の一例を説明する。図１６は、生成装置１のハードウェア構成の一例を示す図である。図１６の例に示すように、生成装置１において、バス１００に、プロセッサ１１１とメモリ１１２と補助記憶装置１１３と通信インタフェース１１４と媒体接続部１１５と入力装置１１６と出力装置１１７とが接続される。
【０１０７】
プロセッサ１１１は、メモリ１１２に展開されたプログラムを実行する。実行されるプログラムには、実施形態における処理を行う生成プログラムが適用されてもよい。
【０１０８】
メモリ１１２は、例えば、Random Access Memory(RAM)である。補助記憶装置１１３は、種々の情報を記憶する記憶装置であり、例えばハードディスクドライブや半導体メモリ等が適用されてもよい。補助記憶装置１１３に実施形態の処理を行う生成プログラムが記憶されていてもよい。
【０１０９】
通信インタフェース１１４は、Local Area Network（LAN）、Wide Area Network（WAN）等の通信ネットワークに接続され、通信に伴うデータ変換等を行う。
【０１１０】
媒体接続部１１５は、可搬型記録媒体１１８が接続可能なインタフェースである。可搬型記録媒体１１８には、光学式ディスク（例えば、Compact Disc(CD)やDigital Versatile Disc(DVD))、半導体メモリ等が適用されてもよい。可搬型記録媒体１１８に実施形態の処理を行う生成プログラムが記録されていてもよい。
【０１１１】
入力装置１１６は、例えば、キーボード、ポインティングデバイス等であり、ユーザからの指示及び情報等の入力を受け付ける。
【０１１２】
出力装置１１７は、例えば、表示装置、プリンタ、スピーカ等であり、ユーザへの問い合わせ又は指示、及び処理結果等を出力する。生成装置１は、出力装置１１７を用いて、生成したパラメータ、および出力情報等を出力（表示または印刷等）してもよい。
【０１１３】
図１に示す記憶部１７は、メモリ１１２、補助記憶装置１１３または可搬型記録媒体１１８等により実現されてもよい。図１に示す取得部１１、第１生成部１２、第２生成部１３、判定部１４、変換部１５、および第３生成部１６は、メモリ１１２に展開された生成プログラムをプロセッサ１１１が実行することにより実現されてもよい。
【０１１４】
メモリ１１２、補助記憶装置１１３および可搬型記録媒体１１８は、コンピュータが読み取り可能であって非一時的な有形の記憶媒体であり、信号搬送波のような一時的な媒体ではない。
【０１１５】
＜その他＞
本実施形態は、以上に述べた実施の形態に限定されるものではなく、本実施形態の要旨を逸脱しない範囲内で様々な変更、追加、省略が適用可能である。
【符号の説明】
【０１１６】
１    生成装置
１１    取得部
１２    第１生成部
１３    第２生成部
１４    判定部
１５    変換部
１６    第３生成部
１７    記憶部
１００    バス
１１１    プロセッサ
１１２    メモリ
１１３    補助記憶装置
１１４    通信インタフェース
１１５    媒体接続部
１１６    入力装置
１１７    出力装置
１１８    可搬型記録媒体
【図１】
2019200554.tif 000022
【図２】
2019200554.tif 000023
【図３】
2019200554.tif 000024
【図４】
2019200554.tif 000025
【図５】
2019200554.tif 000026
【図６】
2019200554.tif 000027
【図７】
2019200554.tif 000028
【図８】
2019200554.tif 000029
【図９】
2019200554.tif 000030
【図１０】
2019200554.tif 000031
【図１１】
2019200554.tif 000032
【図１２】
2019200554.tif 000033
【図１３】
2019200554.tif 000034
【図１４】
2019200554.tif 000035
【図１５】
2019200554.tif 000036
【図１６】
2019200554.tif 000037