いくつかの意味論的なタスクをとりあげ，BERT型モデルに対して対照学習規範を用いた学習の効果を検証する．対照学習規範をBERTに適用した先行研究は，基となるBERTの埋込層に追加されたPooling層のみを対照学習規範で学習するものが多いのに対して，この報告では，BERTの埋込層も含めた学習を行う．実験によると，対照学習規範は，単一事例規範と併用することによって，性能改善が達成できることがわかった．

従来はかなり困難とされてきた自然言語処理タスクにおいて，深層学習の進歩によって一定の性能が達成されるようになってきている．ニューラルネットワークの構造やパラメータ最適化の手法もさることながら，正解ラベルを必要としない一般の文を事前に学習したモデルを基として，タスク固有の層をネットワーク構造に追加して適応化学習(ﬁne-tuning)をする手法はデファクトスタンダードになっている．実在する多量の文に言語モデル規範を適用して学習された事前学習モデルは広く一般に配布されている．それは，事前学習では，入力単語に対する埋込表現が十分な精度で獲得され，それが故に，タスク固有の層は比較的少量のﬁne-tuningでもよい精度が達成できるということが前提としてあると思われる．そのようなBERT型モデルの成功にも拘らず，事前学習によって獲得された埋込表現の精度が十分かどうかは，議論の余地がある．例えば，埋込表現を特徴量に用いたクラスタリングを実施すると，素のBERT型モデルのものよりも，対照学習を用いたモデルのほうがよい結果が得られる．これは，対照学習がクラスタリングと相性がよいというだけではなく，獲得された埋込表現の精度そのものがよい可能性が考えられる．深層距離学習の分野では埋込表現の精度そのものが着目され，さまざまな対照学習損失が提案されている一方で，一般に収束が遅いことや，性能改善に繋がらないことがあることも指摘されている．以上に鑑みて，この研究では，クラスタリング以外の複数の意味論的なタスクを選定し，対照学習することの効果を検証したい．具体的には，1)スパムメールの判定,2)SNS発信が意見性を持つかどうかの判定,3)語用調査のための述語生成の３つを取り上げる．1)のスパムメールの判定は，スパムメールかどうかを2値判定するタスクで，公開データを用いる．2)は，SNS発信に含まれる意見性を帯びた文の中から，意見の対象が具体的に記述されているかどうかを2値判定するタスクである．NHKの番組に関して意見が述べられている発信について，具体的なシーンを意見対象として述べているかどうかを判定する．3)は，文章校閲を視野に入れた，語用調査にAIを活用するための基礎調査である．過去の語用調査で検討項目に上がった言い回しに着目し，適切な述語を生成できるかどうか，単語穴埋め問題として解かせるタスクである．