(57)【要約】【課題】深層学習を適用した技術であっても、コンテキスト系列同士の同義判定をすることができるプログラム等を提供する。【解決手段】第１の教師コンテキスト系列と、第２の教師コンテキスト系列とが対応付けられている。第１の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第１のエンコーダと、共通コンテキストベクトルを入力し、第２の教師コンテキスト系列を出力するように学習モデルを構築した第１のデコーダとして機能させ、運用段階として、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第２の入力コンテキスト系列から第１のエンコーダによって出力された第２の共通コンテキストベクトルとを比較して、同義又は異義を判定する同義判定手段として機能させる。【選択図】図１
2020098443.tif 000002
【特許請求の範囲】
【請求項１】
コンテキスト系列の同義又は異義を判定する装置に搭載されたコンピュータを機能させる同義判定プログラムであって、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列とが対応付けられており、
第１の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第１のエンコーダと、
共通コンテキストベクトルを入力し、第２の教師コンテキスト系列を出力するように学習モデルを構築した第１のデコーダと、
運用段階として、第１の入力コンテキスト系列と第２の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第２の入力コンテキスト系列から第１のエンコーダによって出力された第２の共通コンテキストベクトルとを比較する同義判定手段と
してコンピュータを機能させることを特徴とする同義判定プログラム。
【請求項２】
第１の教師コンテキスト系列と、第２の教師コンテキスト系列と、第３の教師コンテキスト系列とが対応付けられており、
共通コンテキストベクトルを入力し、第３の教師コンテキスト系列を出力するように学習モデルを構築した第２のデコーダ
としてコンピュータを更に機能させることを特徴とする請求項１に記載の同義判定プログラム。
【請求項３】
第１の教師コンテキスト系列と、第２の教師コンテキスト系列と、第４の教師コンテキスト系列とが対応付けられており、
第４の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第２のエンコーダ
としてコンピュータを更に機能させ、
前記同義判定手段は、第１の入力コンテキスト系列と第４の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第４の入力コンテキスト系列から第２のエンコーダによって出力された第４の共通コンテキストベクトルとを比較する
ようにコンピュータを機能させることを特徴とする請求項１に記載の同義判定プログラム。
【請求項４】
第１の教師コンテキスト系列と、第２の教師コンテキスト系列と、第３の教師コンテキスト系列と、第４の教師コンテキスト系列とが対応付けられており、
共通コンテキストベクトルを入力し、第３の教師コンテキスト系列を出力するように学習モデルを構築した第２のデコーダと、
第２の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第２のエンコーダと
してコンピュータを機能させ、
前記同義判定手段は、第１の入力コンテキスト系列と第４の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第４の入力コンテキスト系列から第２のエンコーダによって出力された第４の共通コンテキストベクトルとを比較する
ようにコンピュータを機能させることを特徴とする請求項１に記載の同義判定プログラム。
【請求項５】
前記同義判定手段は、共通コンテキストベクトル同士の類似度を算出し、当該類似度が所定閾値以上となる場合に、同義と判定する
ようにコンピュータを機能させることを特徴とする請求項１から４のいずれか１項に記載の同義判定プログラム。
【請求項６】
前記同義判定手段における前記類似度は、コサイン類似度である
ようにコンピュータを機能させることを特徴とする請求項５に記載の同義判定プログラム。
【請求項７】
前記エンコーダ及び前記デコーダは、系列変換モデル(sequence-to-sequence)のニューラルネットワークに基づくものであり、
前記エンコーダは、埋め込み層及び再帰層から構成され、
前記デコーダは、埋め込み層、再帰層及び出力層から構成される
ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載の同義判定プログラム。
【請求項８】
第１の教師コンテキスト系列及び第１の入力コンテキスト系列は、第１の言語に基づく形態素系列からなる文であり、
第２の教師コンテキスト系列は、第１の言語又は第２の言語に基づく形態素系列からなる文であり、
第１の教師コンテキスト系列及び第２の教師コンテキスト系列は、対訳コーパス(corpus)である
ようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載の同義判定プログラム。
【請求項９】
第１の教師コンテキスト系列及び第１の入力コンテキスト系列は、第１の種別に基づく音声又は映像であり、
第２の教師コンテキスト系列は、第１の種別又は第２の種別に基づく音声又は映像であり、
第１の教師コンテキスト系列及び第２の教師コンテキスト系列は、同義である
ようにコンピュータを機能させることを特徴とする請求項１から７のいずれか１項に記載の同義判定プログラム。
【請求項１０】
コンテキスト系列の同義又は異義を判定する装置であって、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列とが対応付けられており、
第１の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第１のエンコーダと、
共通コンテキストベクトルを入力し、第２の教師コンテキスト系列を出力するように学習モデルを構築した第１のデコーダと、
運用段階として、第１の入力コンテキスト系列と第２の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第２の入力コンテキスト系列から第１のエンコーダによって出力された第２の共通コンテキストベクトルとを比較する同義判定手段と
を有することを特徴とする装置。
【請求項１１】
コンテキスト系列の同義又は異義を判定する装置の同義判定方法であって、
前記装置は、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列とが対応付けられており、
第１の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第１のエンコーダと、
共通コンテキストベクトルを入力し、第２の教師コンテキスト系列を出力するように学習モデルを構築した第１のデコーダと
を有し、
運用段階として、第１の入力コンテキスト系列と第２の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第２の入力コンテキスト系列から第１のエンコーダによって出力された第２の共通コンテキストベクトルとを比較する
ことを特徴とする装置の同義判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテキスト系列に対する深層学習の技術に関する。
【背景技術】
【０００２】
従来、深層学習を用いて、コンテキスト系列としての自然言語を処理する技術がある。特にニューラル機械翻訳は、既に実用化されており、優れた翻訳性能を発揮している。この技術によれば、学習用の教師データ群の対訳コーパス(corpus)を用いて言語モデル及び翻訳モデルを予め学習する。翻訳モデルは、異なる言語であるが同じ意味の文章から、意味的に対応するであろう単語やフレーズの対を学習したものである。言語モデルは、出力言語の単語の並びの尤もらしさを規定する統計モデルであって、原言語の単語データから学習したものである。翻訳エンジンは、翻訳モデル及び言語モデルを用いて、確率的に尤もらしい単語列を探索することができる。
【０００３】
一方で、深層学習を適用することなく、同義文を判定する技術もある（例えば非特許文献１参照）。この技術によれば、パラレルコーパスについて、訳文が等しい文を同義文として、同義文間に存在する差異を抽出することによって、同義表現を獲得しようとしている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】下畑光夫，渡辺太郎，隅田英一郎，松本裕治，“パラレルコーパスからの機械翻訳向け同義表現抽出”，情報処理学会論文誌，Ｖｏｌ.４４，Ｎｏ.１１，ｐｐ.２８５４−２８６３，２００３．
【非特許文献２】星の本棚、「自然言語処理（ＮＬＰ）」、[online]、［平成３０年１２月５日検索］、インターネット＜URL:http://yagami12.hatenablog.com/entry/2017/12/30/175113#ID_10-5-1＞
【発明の概要】
【発明が解決しようとする課題】
【０００５】
深層学習の場合、学習モデル自体がブラックボックスであるため、同義文間に存在する差異などを抽出することはできない。当然、非特許文献１のような技術を、深層学習に適用することもできない。即ち、深層学習を用いた場合、「主要な意味を共有する一方で、表層的に異なる表現（同義表現）を検出する」という、同義文判定をすることが難しいという課題がある。
【０００６】
そこで、本発明は、深層学習を適用した技術であっても、コンテキスト系列同士が同義か異義かを判定をすることができるプログラム、装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明によれば、コンテキスト系列の同義又は異義を判定する装置に搭載されたコンピュータを機能させる同義判定プログラムであって、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列とが対応付けられており、
第１の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第１のエンコーダと、
共通コンテキストベクトルを入力し、第２の教師コンテキスト系列を出力するように学習モデルを構築した第１のデコーダと、
運用段階として、第１の入力コンテキスト系列と第２の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第２の入力コンテキスト系列から第１のエンコーダによって出力された第２の共通コンテキストベクトルとを比較する同義判定手段と
してコンピュータを機能させることを特徴とする。
【０００８】
本発明の同義判定プログラムにおける他の実施形態によれば、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列と、第３の教師コンテキスト系列とが対応付けられており、
共通コンテキストベクトルを入力し、第３の教師コンテキスト系列を出力するように学習モデルを構築した第２のデコーダ
としてコンピュータを更に機能させることも好ましい。
【０００９】
本発明の同義判定プログラムにおける他の実施形態によれば、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列と、第４の教師コンテキスト系列とが対応付けられており、
第４の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第２のエンコーダ
としてコンピュータを更に機能させ、
同義判定手段は、第１の入力コンテキスト系列と第４の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第４の入力コンテキスト系列から第２のエンコーダによって出力された第４の共通コンテキストベクトルとを比較する
ようにコンピュータを機能させることも好ましい。
【００１０】
本発明の同義判定プログラムにおける他の実施形態によれば、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列と、第３の教師コンテキスト系列と、第４の教師コンテキスト系列とが対応付けられており、
共通コンテキストベクトルを入力し、第３の教師コンテキスト系列を出力するように学習モデルを構築した第２のデコーダと、
第２の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第２のエンコーダと
してコンピュータを機能させ、
同義判定手段は、第１の入力コンテキスト系列と第４の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第４の入力コンテキスト系列から第２のエンコーダによって出力された第４の共通コンテキストベクトルとを比較する
ようにコンピュータを機能させることも好ましい。
【００１１】
本発明の同義判定プログラムにおける他の実施形態によれば、
同義判定手段は、共通コンテキストベクトル同士の類似度を算出し、当該類似度が所定閾値以上となる場合に、同義と判定する
ようにコンピュータを機能させることも好ましい。
【００１２】
本発明の同義判定プログラムにおける他の実施形態によれば、
同義判定手段における類似度は、コサイン類似度である
ようにコンピュータを機能させることも好ましい。
【００１３】
本発明の同義判定プログラムにおける他の実施形態によれば、
エンコーダ及びデコーダは、系列変換モデル(sequence-to-sequence)のニューラルネットワークに基づくものであり、
エンコーダは、埋め込み層及び再帰層から構成され、
デコーダは、埋め込み層、再帰層及び出力層から構成される
ようにコンピュータを機能させることも好ましい。
【００１４】
本発明の同義判定プログラムにおける他の実施形態によれば、
第１の教師コンテキスト系列及び第１の入力コンテキスト系列は、第１の言語に基づく形態素系列からなる文であり、
第２の教師コンテキスト系列は、第１の言語又は第２の言語に基づく形態素系列からなる文であり、
第１の教師コンテキスト系列及び第２の教師コンテキスト系列は、対訳コーパス(corpus)である
ようにコンピュータを機能させることも好ましい。
【００１５】
本発明の同義判定プログラムにおける他の実施形態によれば、
第１の教師コンテキスト系列及び第１の入力コンテキスト系列は、第１の種別に基づく音声又は映像であり、
第２の教師コンテキスト系列は、第１の種別又は第２の種別に基づく音声又は映像であり、
第１の教師コンテキスト系列及び第２の教師コンテキスト系列は、同義である
ようにコンピュータを機能させることも好ましい。
【００１６】
本発明によれば、コンテキスト系列の同義又は異義を判定する装置であって、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列とが対応付けられており、
第１の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第１のエンコーダと、
共通コンテキストベクトルを入力し、第２の教師コンテキスト系列を出力するように学習モデルを構築した第１のデコーダと、
運用段階として、第１の入力コンテキスト系列と第２の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第２の入力コンテキスト系列から第１のエンコーダによって出力された第２の共通コンテキストベクトルとを比較する同義判定手段と
を有することを特徴とする。
【００１７】
本発明によれば、コンテキスト系列の同義又は異義を判定する装置の同義判定方法であって、
装置は、
第１の教師コンテキスト系列と、第２の教師コンテキスト系列とが対応付けられており、
第１の教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築した第１のエンコーダと、
共通コンテキストベクトルを入力し、第２の教師コンテキスト系列を出力するように学習モデルを構築した第１のデコーダと
を有し、
運用段階として、第１の入力コンテキスト系列と第２の入力コンテキスト系列との間の同義又は異義を判定する際に、第１の入力コンテキスト系列から第１のエンコーダによって出力された第１の共通コンテキストベクトルと、第２の入力コンテキスト系列から第１のエンコーダによって出力された第２の共通コンテキストベクトルとを比較する
ことを特徴とする。
【発明の効果】
【００１８】
本発明のプログラム、装置及び方法によれば、深層学習を適用した技術であっても、コンテキスト系列同士が同義か異義かを判定をすることができる。
【図面の簡単な説明】
【００１９】
【図１】本発明における同義判定装置の機能構成図である。
【図２】本発明における第１の実施形態のエンコーダ及びデコーダの説明図である。
【図３】図２について対訳コーパスを適用した説明図である。
【図４】本発明における第２の実施形態のエンコーダ及びデコーダの説明図である。
【図５】本発明における第３の実施形態のエンコーダ及びデコーダの説明図である。
【図６】本発明における第４の実施形態のエンコーダ及びデコーダの説明図である。
【図７】本発明における異なるメディアデータに適用した説明図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について、図面を用いて詳細に説明する。
【００２１】
図１は、本発明における同義判定装置の機能構成図である。
【００２２】
図１によれば、同義判定装置１は、コンテキスト系列同士の同義又は異義を判定する。同義判定装置１は、教師データベース１０と、１つ以上のエンコーダ１１と、１つ以上のデコーダ１２と、同義判定部１３とを有する。これら機能構成図は、装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、装置の同義判定方法としても理解できる。
【００２３】
［教師データベース１０］
教師データベース１０は、学習用の教師コンテキスト系列を蓄積したものである。これは、エンコーダ１１に入力すべき第１の教師コンテキスト系列と、デコーダ１２で出力されるべき第２の教師コンテキスト系列とを対応付けたものである。
教師コンテキスト系列は、例えばニューラル機械翻訳における多言語の対訳コーパス(corpus)であってもよい。即ち、同じ意味（同義）を表す異なる言語を、対訳として用意する。
日本語：「私はあなたを愛している。」
英語  ：「I love you.」
独語  ：「Ich liebe dich.」
中国語：「我愛弥」
【００２４】
尚、教師コンテキスト系列は、用途によって異なるメディアを対応付けることもできる。例えば、音声、画像、動画であってもよく、ニューラルネットワークモデルに対してマルチモーダルな学習データを用意することもできる。
【００２５】
［エンコーダ１１］
［デコーダ１２］
エンコーダ１１及びデコーダ１２は、一方の系列(sequence)から他方の系列へ変換する確率をモデル化した、ニューラルネットワークに基づく「系列変換モデル(sequence-to-sequence / seq2seq)」として構成されたものである（例えば非特許文献２参照）。即ち、系列Ｘが入力されたときの、ある系列Ｙが出力される条件付き確率Ｐ（Ｙ｜Ｘ）を、モデル化したものである。
系列変換モデルは、系列Ｘを入力し、固定長の「共通コンテキストベクトル」を生成するエンコーダ１１と、その固定長の共通コンテキストベクトルから系列Ｙを出力するデコーダ１２とから構成される。
【００２６】
図１によれば、言語毎に専用に設けられた複数のエンコーダ１１が、並列に接続されている。各エンコーダ１１は、それぞれの教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習する。
また、同様に、言語毎に専用に設けられた複数のデコーダ１２も、並列に接続される。各デコーダ１２は、共通コンテキストベクトルを共通に入力し、それぞれの教師コンテキスト系列を出力するように学習する。
このとき、教師データベース１０は、エンコーダ１１に入力する第１の教師コンテキスト系列と、デコーダ１２で出力されるべき第２の教師コンテキスト系列とが対訳となるように学習させる。即ち、エンコーダ１１とデコーダ１２とは、対となって、教師コンテキスト系列を学習する。
【００２７】
［同義判定部１３］
同義判定部１３は、運用段階として、第１の入力コンテキスト系列と第２の入力コンテキスト系列との間の同義又は異義を判定する。運用段階では、エンコーダ１１から出力された共通コンテキストベクトルのみを用いる。
同義判定部１３は、１つ以上のエンコーダ１１から出力された２つの共通コンテキストベクトルのみを比較して、同義又は異義を判定する。
【００２８】
同義具合として、例えば「コサイン類似度」を用いることができる。これによって、数値で、同義具合を表現することができる。但し、それに限るものではなく、公知の技術を用いてもよい。
このとき、２つの共通コンテキストベクトル同士の類似度が、所定閾値以上であれば、エンコーダ１１に対する２つの入力コンテキスト系列は、「同義」と判定し、そうでなければ「異義」と判定する。教師コンテキスト系列が、文であれば、同義文か又は異議文かを判定することとなる。
【００２９】
尚、コンテキスト系列も、自然言語に限らず、メディアを問わず（音声であっても映像であっても）、深層学習にとって同義表現の検出が難しいという課題があった。どのようなメディアであっても、エンコーダ１１及びデコーダ１２を共通コンテキストベクトルを介して学習することによって、異なる種類のメディアデータ同士について同義か異義かを判定することができる。
【００３０】
図２は、本発明における第１の実施形態のエンコーダ及びデコーダの説明図である。
【００３１】
図２によれば、エンコーダ１１は、埋め込み層及び再帰層から構成される。これは、教師コンテキスト系列を入力し、共通コンテキストベクトルを出力するように学習モデルを構築したものである。
埋め込み層は、入力コンテキスト系列Ｘの各単語ｘを、埋め込みベクトル(embedding vector)の分散表現(distribute representation)に変換する。
次に、再帰層は、埋め込みベクトルを入力し、共通コンテキストベクトルを出力するように、再帰型ニューラルネットワークとして機能する。
【００３２】
これに対し、デコーダ１２は、埋め込み層、再帰層及び出力層から構成される。これは、共通コンテキストベクトルを入力し、教師コンテキスト系列を出力するように学習モデルを構築したものである。
埋め込み層は、出力コンテキスト系列Ｙの各単語ｙを、埋め込みベクトルの分散表現に変換する。
次に、再帰層は、埋め込みベクトルと共通コンテキストベクトルとを入力し、再帰型ニューラルネットワークとして機能する。
出力層は、再帰層から出力された出力系列Ｙの単語ｙに対応する隠れ層状態ベクトルを入力し、出力コンテキスト系列を出力する。
【００３３】
図２によれば、以下のようにコンテキスト系列が対応付けられている。
第１のエンコーダ：
入力コンテキスト系列（第１の言語に基づく形態素系列からなる文）
日本語：「あなた／を／愛し／て／いる／<EOS>」
第２のデコーダ：
出力コンテキスト系列（第２の言語に基づく形態素系列からなる文）
英語：「<BOS>／I／love／you／<EOS>」
入力コンテキスト系列と出力コンテキスト系列とは、異なる言語であるが、同義文である。
【００３４】
図３は、図２について対訳コーパスを適用した説明図である。
【００３５】
図３によれば、以下の２つの日本語文がそれぞれ、エンコーダ１１に入力されている。
入力コンテキスト系列ａ：
「幕府は、1639年、ポルトガル人を追放し、大名には沿岸の警備を命じた。」
入力コンテキスト系列ｂ：
「1639年、ポルトガル人は追放され、幕府は大名から沿岸の警備を命じられた。」
このとき、デコーダ１２が接続されている場合、共通コンテキストベクトルから、以下のような２つの英語文がそれぞれ、出力されることとなる。
出力コンテキスト系列ａ：
「The shogunate banished Portuguese in 1639, ordered Daimyo to guard
the coast.」
出力コンテキスト系列ｂ：
「In 1639, the Portuguese were expelled, and the shogunate was ordered
to protect the coast from Daimyo.」
【００３６】
ここで、本発明によれば、運用段階では、１つ以上のエンコーダ１１と、同義判定部１３とのみを用いる。
同義判定部１３は、入力コンテキスト系列ａの共通コンテキストベクトルａと、入力コンテキスト系列ｂの共通コンテキストベクトルｂとを入力し、例えばコサイン類似度を算出する。そして、コサイン類似度が、所定閾値以上であれば「同義文」とし、そうでなければ「異議文」と判定する。
【００３７】
図４は、本発明における第２の実施形態のエンコーダ及びデコーダの説明図である。
【００３８】
図４によれば、３つの教師コンテキスト系列を対応付けると共に、１つのエンコーダ１１と、複数のデコーダ１２とから構成されている。
例えば、日本語に対応するエンコーダ１１１からの出力となる共通コンテキストベクトルを、英語に対応するデコーダ１２２と、独語に対応するデコード１２３とに入力して学習している。
【００３９】
図５は、本発明における第３の実施形態のエンコーダ及びデコーダの説明図である。
【００４０】
図５によれば、３つの教師コンテキスト系列を対応付けると共に、２つのエンコーダ１１と、１つのデコーダ１２とから構成されている。
例えば、日本語に対応するエンコーダ１１１と、中国語に対応するエンコーダ１１４からの出力となる共通コンテキストベクトルを、英語に対応するデコーダ１２２に入力して学習している。
この場合、同義判定部１３は、運用段階で、日本語の入力コンテキスト系列と、中国語の入力コンテキスト系列とについて、同義文か又は異議文かを判定することができる。
【００４１】
図６は、本発明における第４の実施形態のエンコーダ及びデコーダの説明図である。
【００４２】
図６によれば、４つの教師コンテキスト系列を対応付けると共に、２つのエンコーダ１１と、２つのデコーダ１２とから構成されている。
例えば、日本語に対応するエンコーダ１１１と、中国語に対応するエンコーダ１１４とからの出力となる共通コンテキストベクトルを、英語に対応するデコーダ１２２と、独語に対応するデコード１２３とに入力して学習している。
この場合、同義判定部１３は、運用段階で、日本語の入力コンテキスト系列と、中国語の入力コンテキスト系列とについて、同義文か又は異議文かを判定することができる。
【００４３】
図７は、本発明における異なるメディアデータに適用した説明図である。
【００４４】
本発明によれば、教師コンテキスト系列や入力コンテキスト系列は、テキストに限られず、例えば以下のような時系列のメディアデータであってもよい。
音声データ（時系列の周波数データ）
映像データ（時系列の画像データ）
その場合、エンコーダ及びデコーダは、そのメディアデータに応じた学習エンジンが用いられることとなる。例えば音声合成器や、画像キャプション生成ネットワーク、敵対的生成ネットワークの生成器を用いてもよい。これによって、文と音声や映像との間でも、マルチモーダルな２つの入力コンテキスト系列の間で、同義又は異義を判定することができる。
【００４５】
尚、前述した実施形態によれば、運用段階ではデコーダを用いていないが、エンコーダ１１から出力された共通コンテキストベクトルを、１つ以上のデコーダ復号化し、復号結果が正しい場合にのみ、同義判定部１３が機能するものであってもよい。復号結果の正誤の判定は公知の技術を用いることもできる。
【００４６】
以上、詳細に説明したように、本発明の同義判定プログラム、装置及び方法によれば、深層学習を適用した技術であっても、コンテキスト系列同士の同義判定をすることができる。
特に深層学習が不得手とする例えば自然言語処理における「同義文判定」が可能となり、そのニューラルネットワークの適用範囲の広がりが予想される。
【００４７】
前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。
【符号の説明】
【００４８】
１  同義判定装置
１０  教師データベース
１１  エンコーダ
１２  デコーダ
１３  同義判定部
【図１】
2020098443.tif 000003
【図２】
2020098443.tif 000004
【図３】
2020098443.tif 000005
【図４】
2020098443.tif 000006
【図５】
2020098443.tif 000007
【図６】
2020098443.tif 000008
【図７】
2020098443.tif 000009