Word-levelPolarityisAllYouNeed?:解釈可能なニューラルネットワークモデルを利用した単語極性変換による効率的な金融センチメント適合

金融分野におけるドメイン適合時の課題深層学習モデルは強力なモデルである一方，学習時の計算コストが課題になることが多い．特に，金融分野では単語レベルでのポジネガが時代やドメインが変わると変化することも多く，例えば，「特定ドメイン（ソースドメイン）のデータ」を用いて学習されたモデルが別のドメインでは使えないことも十分にあり得る．このような状況の場合，再度新しくターゲットドメインのデータを追加データとしてモデルを再学習し，ドメイン適合をさせることが多い．一方，このような「愚直な」ドメイン適合には計算コストがかかり，実サービスの提供時等にはユーザーの利便性を損ねる危険がある他，運用負担もかかる．特に近年，言語モデルのサイズは増加傾向[1]であり，この学習時の計算コストに関する課題は今後も拡大すると思われる．このような背景の下，近年，LoRA[2]や知識編集[3,4]を始め、「少ないパラメータ数」で効率よくニューラルネットワークモデルを学習させる方法がいくつか提案されている．これらの手法は「学習の効率的性」という面で有用であるものの，「更新されるパラメーターの解釈が難しい」という側面もあり，サービス運用時や提供時に支障をきたす可能性もある．本研究の目的そこで，本研究では，ソースドメインの学習後、ターゲットドメインへの適合時に，以下の２つの要件を予測性能を保持しつつも満たすようにドメイン適合を行えるフレームワークの構築を目指す．要件１:少ないパラメータ数のみの更新でターゲットドメインへの適合できる要件2:ターゲットドメインへの適合時に更新されるパラメータが解釈可能である提案アプローチ本目的達成のため，本研究では「解釈可能なニューラルネットワークモデル[5]」を活用した単語極性変換手法Word-levelPolarityAdaptationframeworkbasedonSINN(WPAS)というドメイン適合のフレームワークを提案する．WPAS法では，予測モデルとして[5]や[6]，[7]等で提案されているSentimentInterpretableNeuralNetwork(SINN)を採用する．SINNとは[5]にて提案された，各層が「単語のセンチメント」「極性反転」「大域的重要度」の意味で解釈可能なニューラルネットワークである（図1）．提案手法ではSINNにおける「各層毎にセンチメントを種類別に分離されている」性質を活用し「要件１」及び「要件２」を満たすことを試みる．一般に，「単語のセンチメント」や「単語の意味」.の適合時にWOSLの層のみ更新する．に比べ，文脈由来の「否定」や「反転」，「強調」等の表現はどのドメインでも共通である可能性が多い．よって，これらを表現する層はどのドメインでも共有可能である可能性が高い．本仮説の下，提案手法では「否定」や「反転」，「強調」等を表現する層のパラメータは更新せず，「単語のセンチメント」を表す層（WOSL)のみを更新する．WPASにより，少ないパラメータ数のみの更新でターゲットドメインへの適合（要件１）ができる．また，ドメイン適合時に更新されるパラメーターはWOSLのみ，即ち「単語センチメント値のみ」なので，解釈可能（要件２）となることが期待される．本研究の貢献は以下の通りである．（１）要件１及び要件２を満たすドメイン適合フレームワークWPAS法を提案した．（２）提案手法の有効性を実テキストデータを用いて実証した．