label{sec:introduction}近年，BERT\cite{devlin-2019-bert}をはじめとする，Transformer\cite{vaswani-2017-transformer}に基づく事前学習済み言語モデルが，様々なダウンストリームタスクにおいて優れた性能を発揮している．これらのモデルのタスクにおける性能をより高める主な手法として，事前学習における大規模なコーパスの使用や学習ステップ数の増加，およびドメイン適応の研究が行われている．一般的に，事前学習における大規模なコーパスの使用や学習ステップ数の増加によって，モデルの性能は向上する．Liuら\cite{liu-2019-roberta}は，RoBERTaを提案する際，事前学習に用いるコーパスのサイズを，16GBから160GBへと大きくすることによって，モデルの性能が向上することを示した．また，学習ステップ数を，100Kステップから500Kステップへと増やすことによっても，モデルの性能が向上することを示した．この研究は，以降に提案されるモデルに大きな影響を与えた．特に，大規模なコーパスの使用に関しては，Kaplanら\cite{kaplan-2020-scaling}により観測されたスケーリング則やGPT-3\cite{brown-2020-gpt3}の登場により，さらに裏付けられた．その結果として，昨今のモデルは，Wikipediaのような小規模なテキストデータのみをコーパスとして用いるものから，CC-100\cite{wenzek-2020-ccnet,conneau-2020-unsupervised}，mC4\cite{raffel-2020-t5}，OSCAR\cite{ortiz-2019-asynchronous,ortiz-2020-monolingual}など，Webに基づく大規模なテキストデータもコーパスとして用いるものへと移り変わりつつある．なお，本稿では，BERT\cite{devlin-2019-bert}の構築に用いられたWikipediaやBooksCorpusと同程度のデータサイズ（十数GB）のコーパスを小規模，Baevskiらのモデル\cite{baevski2019-cloze}やRoBERTa\cite{liu-2019-roberta}の構築に用いられたような，BERTのコーパスよりも大きなデータサイズ（数十GB以上）のコーパスを大規模と呼称する．また，タスクのドメインが専門的なものである場合，モデルのドメイン適応が有効である．代表的な研究として，生物医学ドメインの論文から構築したコーパスを用いて，汎用的なモデルのさらなる事前学習を行うことにより構築したBioBERT\cite{lee-2019-biobert}や，科学ドメインの論文から構築したコーパスを用いて，一からモデルの事前学習を行うことにより構築したSciBERT\cite{beltagy-2019-scibert}が知られており，どちらのモデルも適応ドメインのタスクにおいて，汎用的なモデルを上回る性能を示した．日本語を対象とした研究においても，医療・科学・金融・法律などのドメインに適応したモデルが提案されており，それぞれのドメインのタスクにおいて優れた性能を示している\cite{kawazoe-2021-uthbert,yamauchi-2022-academicroberta,suzuki-2023-finbert,miyazaki-2022-jlbert}．また，BioBERTのように，汎用的なモデルのさらなる事前学習を行う手法と，SciBERTのように，一からモデルの事前学習を行う手法のどちらが適しているかについても，議論がなされている．日本語を対象とした研究において，金融ドメインに焦点を当てたSuzukiら\cite{suzuki-2023-finbert}や法律ドメインに焦点を当てたMiyazakiら\cite{miyazaki-2022-jlbert}は，汎用的なモデルのさらなる事前学習を行う手法の方が優れた性能を発揮することを示した．しかし，従来の日本語を対象としたモデルのドメイン適応に関する研究には，下記の4つの課題があった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{enumerate}\item一般的なドメインにおける大規模なコーパスの重要性と，ドメイン適応の重要性はそれぞれ独立には示されているものの，それらを組み合わせることによる有効性を評価する研究は行われておらず，大規模な適応ドメインのコーパスの構築も行われていない．既存のドメイン適応の研究では，ドメインの制限により，データの収集が困難であることから，いずれの研究も適応ドメインのコーパスが10GBを下回る小規模なものである．50GBを超えるような大規模な適応ドメインのコーパスの構築や，それを用いたモデルの構築は提案されていない．\item日本語のドメイン適応に関する研究は，医療，科学，金融，法律などの分野では行われているものの，政治ドメインを対象とした研究が行われていない．英語を対象とした研究では，政治に関するテキストを処理することを目的に提案されたPoliBERTweet\cite{kawintiranon-2022-polibertweet}や，ConfliBERT\cite{hu-2022-conflibert}がある．一方，日本語を対象とした研究は，筆者らの先行研究\cite{nagafuchi-2023-nlc}で構築したものを除いて，公開されているモデルは存在しない．日本語の政治ドメインのテキストを対象とした研究\cite{poliinfo-2019-overview,poliinfo-2020-overview,poliinfo-2022-overview}が進められていることから，政治ドメインに特化したモデルの提案が望まれる．\item一からモデルの事前学習を行う手法よりも，汎用的なモデルのさらなる事前学習を行う手法の方が優れていることは示されているが\cite{suzuki-2023-finbert,miyazaki-2022-jlbert}，大規模なコーパスを用いた事前学習を行った場合に，どちらの手法が優れた結果を示すかは明らかにされていない．また，2つの手法の間に学習ステップ数の差が生じているため，コーパスによる影響なのか，学習ステップ数の増加による影響なのか，明確ではない．したがって，学習ステップの差を公平にしたモデルも構築し，比較検証する必要がある．\item非適応ドメインのタスクによる検証が不十分である．ドメインの定義は明確にできるものではない．例えば，議会だよりのような一般に向けた文書を正しく処理したい場合に，政治ドメインについて会議録などで事前学習したモデルを用いるべきか，一般的なWikipediaなどで事前学習したモデルを用いるべきか，明確ではない．したがって，ドメイン適応による非適応ドメインへの悪影響がないことの保証や，悪影響を軽減する手法の提案が必要である．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%そこで，本研究では，上記の4つの課題それぞれの解決のため，日本語の政治ドメインに着目し，国会および地方議会の会議録に基づく大規模なコーパスの構築と，それを用いた事前学習済み言語モデルの構築を行い，政治ドメインと汎用ドメイン\footnote{本稿では，WebやWikipedia等に存在するテキストを広く収集したコーパスを，特に政治・医療・法律・金融等のドメインでフィルタリングすることなく用いるものを汎用ドメインと呼称する．}のタスクにおける実験を行った．本研究の貢献は，以下のとおりである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{enumerate}\item日本の国会および地方議会の会議録を収集し，データサイズが約70GBに及ぶ大規模なドメインコーパスを構築した．\item日本語の政治ドメインに適応したモデルを構築した．構築したモデルが，政治ドメインのタスクにおいて，汎用的なモデルを上回る性能を示すことを明らかにした．さらに，構築したコーパスとモデルを一般に公開した\footnote{\url{http://local-politics.jp/local-politics-bert/}}．\item大規模なコーパスを用いて事前学習を行った場合でも，一からモデルの事前学習を行う手法よりも，汎用的なモデルのさらなる事前学習を行う手法の方が優れていることを示した．また，従来の研究で指摘されていた汎用的なモデルのさらなる事前学習による性能向上は，学習ステップ数の増加による影響が大きく，コーパスのドメインだけに起因してはいないことを明らかにした．\itemドメイン依存のコーパスから構築したモデルが，汎用ドメインのタスクにおいて，汎用的なモデルに匹敵する性能を示したことから，従来使われていたWikipediaなどのコーパスによる学習は必ずしも重要ではないことを明らかにした．また，汎用的なモデルのさらなる事前学習を行う場合，最初の事前学習で用いたコーパスも併用してさらなる事前学習を行うことで，非適応ドメインにおける性能を維持しつつ，適応ドメインにおける性能を向上させることが可能であることを明らかにした．このことから，ダウンストリームタスクのドメインが明確に判断できないようなケースにおいても，ドメイン依存のコーパスによる学習をすべきであることを示した．\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本稿の残りの部分は，以下のように構成される．\ref{sec:related_work}章では，事前学習済み言語モデルのドメイン適応や，政治ドメインのテキストを対象とした関連研究について述べる．\ref{sec:building_corpus}章では，国会および地方議会の会議録の特徴やコーパスとしての利用について，従来のコーパスとの比較を交えて考察し，データの収集およびコーパスの構築を行ったことについて述べる．\ref{sec:building_model}章では，\ref{sec:building_corpus}章にて構築したコーパスを用いて，コーパスの組み合わせや事前学習の手法の違いがある合計7つのモデルを構築したことについて述べる．\ref{sec:experiment_political_domain}章では，政治ドメインのタスクによる構築したモデルと従来のモデルの比較検証について述べる．その結果，日本の国会および地方議会の会議録に基づくコーパスによる事前学習が，政治ドメインのタスクにおけるモデルの性能向上に寄与することを明らかにした．このとき，大規模なコーパスを使用した場合においても，従来研究と同様に，一から事前学習を行ったモデルよりも汎用的なモデルにさらなる事前学習を行ったモデルの方が高い性能を示すことがわかった．また，汎用的なモデルのさらなる事前学習による性能向上は，コーパスが効果的なだけではなく，学習ステップ数の増加による影響が大きいことを明らかにした．\ref{sec:experiment_general_domain}章では，汎用ドメインのタスクによる，構築したモデルと従来のモデルの比較検証について述べる．その結果，汎用ドメインのタスクにおいて，日本の国会および地方議会の会議録に基づくコーパスによる事前学習が，汎用的なコーパスによる事前学習に匹敵する性能をもたらすことを明らかにした．また，汎用的なモデルのさらなる事前学習を行う場合，最初の事前学習で用いたコーパスも併用してさらなる事前学習行うことで，非適応ドメインにおける性能を維持しつつ，適応ドメインにおける性能を向上させることが可能であることを明らかにした．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%sec2