BERT\cite{devlin-etal-2019-bert}に代表される\emph{事前学習済みモデル(Pre-trainedModels)}の躍進は，自然言語処理領域に大規模なコーパスでの事前学習と下流タスクでのファインチューニングからなる新しい枠組みをもたらしている\cite{Zhou2023-en,Zhao2023-hy}.BERTの後続として，異なるアーキテクチャ（GPT-2\cite{Radford2019LanguageMA}やT5\cite{JMLR:v21:20-074}）や事前学習手法の改善（{RoBERTa}\cite{Liu2019-vu}や{DeBERTa}\cite{he2021deberta}）などが次々と提案された．{GPT-3}\cite{NEURIPS2020_1457c0d6}など，より大規模に事前学習された言語モデルは大規模言語モデル(LargeLanguageModels;LLMs)とも呼ばれ，パラメータ更新なしでも多種多様なタスクに対応できると報告されている．ChatGPT\footnote{\url{https://openai.com/blog/chatgpt}}の登場を一つの契機に，社会的な認知や実応用の拡大も急速に進んでいる．事前学習済みモデルの重要性にもかかわらず，産業応用で重要となる個別ドメインへの特化に関する議論は未成熟である．既存の文献\cite{araci2019finbert,kim-etal-2021-changes,Wu2023-mb,SUZUKI2023103194}では，ドメイン特化事前学習済みモデルの構築方法と，時に大規模な一般モデルを凌駕する固有タスクでの性能向上が報告されている．しかしこれらの研究は，実際の産業応用の事例を十分に提示しておらず，ドメイン特化事前学習済みモデルに対する研究者・実務家の見積もりや期待を曖昧にしてしまう．本稿ではドメイン特化事前学習済みモデルの産業応用として，日本語金融ニュース記事を要約する編集支援システムの開発事例を報告する．ここでは日本語金融ニュース記事をドメインとして定義した．日本語金融ニュース記事の要約の自動生成は，ニュースメディアにおける編集者の労働負荷の軽減に寄与する．ニュースメディアには独自の表記規定が数多く存在するため，汎用的なモデルによる出力では不十分な場合がある．ドメイン特化事前学習済みモデルを構築し利用することで，より用途に適したシステムを実現できる可能性があると考えた．この編集支援システムは日本語の文章（記事の本文）を入力とし，20文字程度の\emph{見出し}と，3文からなる\textbf{3行まとめ}の2種類の要約を出力する．要約を生成するのは日本語金融ニュース記事で事前学習されたT5で，2種類の要約それぞれに対してファインチューニングされている．事前学習とファインチューニングには，日本語金融ニュース記事が掲載されている「日経電子版」\footnote{\url{https://www.nikkei.com/}}のデータセットを用いた．表\ref{tab:example}に示す通り，このデータセットの一部の記事には本文・見出し・3行まとめが含まれている\footnote{\ref{tab:example}に示す例は\url{https://www.nikkei.com/article/DGXMZO55567600T10C20A2TL1000/}から引用した．}．編集支援システムでは，入力に忠実ではない出力が生成される\emph{幻覚}\cite{10.1145/3571730}への対応として，編集者による選択や後処理を想定している\cite{Ishihara2021-tw}．複数候補の生成も可能で，それぞれの生成結果のクリック率を予測する機能を備えている．クリック率予測のためには，日経電子版のデータセットで事前学習・ファインチューニングされたBERTを構築した\cite{ishihara2022ctr}．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{21table01.tex}%\caption{日本語金融ニュース記事の例．本文から，見出しと3行まとめの2種類の要約を生成する．}\label{tab:example}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{21table02.tex}%\caption{本研究におけるシステム要件，実装と有用性を評価するための検証項目，検証方法の対応表．}\label{tab:implementation}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%本稿の主要な貢献の一つは，日本語金融ニュース記事の要約に焦点を当て，ドメイン特化事前学習済みモデルが優れた価値を発揮する具体的な事例を提示することである．最初に，実際の編集現場の要請に基づくシステム要件を整理した上で，既存技術を組み合わせて開発した編集支援システムの全体像と4つの検証項目を示す（\ref{sec:implementation}節）.続く4～6節では，表\ref{tab:implementation}に示す通り，システム要件に紐づく検証項目を調査する．第1に，日本語金融ニュース記事で事前学習・ファインチューニングされたT5が，事前学習コーパスのサイズが小さいにもかかわらず，2種類の要約で一般的な日本語T5より優れた性能を発揮すると報告する（\ref{sec:experiments}節）.第2に，3行まとめ生成にファインチューニングしたT5の出力を定性・定量的に分析し，発生する幻覚の特徴を明らかにする（\ref{sec:discussion}節）.第3に，開発した編集支援システム全体の有用性の一端を示すため，クリック率予測の定量評価と，後編集を含む機能への定性評価について述べる（\ref{sec:overall}節）．なおクリック率予測に向けたBERTの開発については\cite{石原2022,ishihara2022ctr}の内容を含んでいる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%