\section{はじめに}
label{sec:intro}近年，自然言語処理やその関連分野において，GPT-3\cite{Brown-2020}をはじめとする大規模言語モデルの活用が広がっている．これらの大規模言語モデルは，巨大なニューラルネットワークを大量のテキストコーパス上で長時間訓練したものであり，プロンプトと呼ばれる入出力例を含む指示に従って様々なタスクに適応できる．このような大規模言語モデルの中でも特にChatGPT\footnote{\url{https://chat.openai.com/}}は，多くのタスクと言語において高い性能を発揮するため，2022年11月の公開当初から大きな注目を集めている．ChatGPTはGPT-3\cite{Brown-2020}およびGPT-4\cite{openai-2023}の大規模言語モデルに基づいているため，流暢な言語生成能力を持つことが知られている．英語においては，機械翻訳\cite{jiao-2023}，自動要約\cite{yang-2023}，テキスト平易化\cite{feng-2023}などの系列変換タスクをはじめとして，様々なタスクにおけるChatGPTの性能評価\cite{bang-2023}の結果が報告されている．ChatGPTによる言語生成は，英語だけでなく日本語においても非常に流暢であると感じられる．しかし，ChatGPTの日本語生成能力に関する定量的な調査は，現時点ではまだ充分に行われていない．本研究では，ChatGPTの日本語生成能力を自動評価および人手評価する．具体的には，英語文から日本語文への機械翻訳，日本語文章の自動要約，日本語文のテキスト平易化の3種類の系列変換タスクにおいて，ChatGPTの日本語生成能力を評価する．実験の結果，自動評価においては既存の教師ありモデルの方がChatGPTよりも高い性能を示したが，人手評価においてはChatGPTの方が高く評価される傾向があった．詳細な分析の結果，ChatGPTは全体的には高品質なテキストを生成できるものの，各タスクにおける詳細な要請に応えられていないことが明らかになった．具体的には，機械翻訳タスクにおいては固有名詞などの語彙選択の誤り，自動要約タスクにおいては冗長な出力，テキスト平易化タスクにおいては過度に積極的な編集をしている事例が見られた．そのため，比較的制約の緩い用途においてはChatGPTの活用が有望であり，細かな制御を必要とする用途では従来の教師ありモデルを用いるという，用途に合わせた使い分けが重要であると言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{関連研究}
label{sec:related_works}本節では，ChatGPTの背景技術について概説し，英語における大規模言語モデルの性能評価に関する先行研究について紹介する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{Transformerモデルの転移学習}大量のテキストデータを用いた効率的な訓練が可能なTransformerアーキテクチャ\cite{vaswani-2017}の普及とともに，教師なし学習に基づく事前訓練の後に目的タスクにおいて教師あり学習の枠組みでのファインチューニングを行う転移学習が広く用いられるようになった．Encoder型Transformerを採用したBERT\cite{devlin-2019}，Decoder型Transformerを採用したGPT\cite{radford-2018}，Encoder-Decoder型Transformerを採用したBART\cite{lewis-2020}などが提案され，目的タスクに応じてこれらのいずれかをファインチューニングするのが，近年の自然言語処理における主流のアプローチとなっている．事前訓練には，BERTやBARTではマスク言語モデリング，GPTでは自己回帰型言語モデリングが用いられている．前者はマスクされたトークンをその周辺トークンを手がかりに推定するタスクであり，後者は所与のトークン列を手がかりとして次に続くトークンを推定するタスクである．これらのタスクは人手によるアノテーションを必要としないため，大量のテキストデータを用いて訓練できる．その後，Encoder型ではRoBERTa\cite{liu-2019}，Decoder型ではGPT-2\cite{radford-2019}，Encoder-Decoder型ではT5\cite{raffel-2020}などの改良版が提案され，GLUE\cite{wang-2018}などの一部のベンチマークにおいては言語理解能力に関して人間を上回るという報告も見られるようになった．ひとつのモデルで複数の言語を扱える多言語版も開発が進み，Encoder型ではmBERT\cite{devlin-2019}やXLM\cite{conneau-2019,conneau-2020}，Encoder-Decoder型ではmBART\cite{liu-2020}やmT5\cite{xue-2021}などが広く用いられている．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{大規模言語モデルの文脈内学習}言語モデルの性能がデータ量やモデルサイズに強く依存するというスケーリング則\cite{kaplan-2020}に従い，Transformerベースの事前訓練モデルの大規模化が進められてきた．このような言語モデルの大規模化の流れの中で開発されたGPT-3\cite{Brown-2020}は96層1,750億パラメタという巨大なDecoder型Transformerであり，3,000億トークンという大量のテキストデータ上で自己回帰型言語モデリングを訓練している．大規模言語モデルであるGPT-3は，タスクの説明と少数の入出力例（プロンプト）を指示するだけで，ファインチューニングなしで様々なタスクに適応できる．これは文脈内学習と呼ばれており，GPT-3の文脈内学習は質問応答などの一部のタスクにおいて従来のファインチューニングと同等以上の性能を達成し，大きな注目を集めた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{指示チューニングと強化学習}大規模言語モデルが人間の自然な指示に従うよう調整するために，指示チューニング\cite{flan}が研究されている．これは，プロンプトの入力に対して適切な出力を行うよう大規模言語モデルをファインチューニングする手法であり，機械翻訳や自動要約など12種類の自然言語処理タスクのデータセットに対して設計されたプロンプトが用いられている．大規模言語モデルが人間の意図に沿った出力をするよう調整するために，人間によるフィードバックを用いた強化学習(RLHF)\cite{ouyang-2022}が研究されている．自己回帰型言語モデリングにおいてはトークン単位で尤度最大化の訓練を行っているが，それは必ずしも出力系列の全体として最適とは限らないというLoss-EvaluationMismatch問題に対処するために，深層強化学習を適用する．RLHFは以下の3ステップで構成される．\begin{enumerate}\item大規模言語モデルの指示チューニング\item報酬モデルの教師あり学習\item大規模言語モデルの強化学習\end{enumerate}ステップ(2)では，大規模言語モデルからの複数の出力を人間がランキングしたデータセットを用いて，大規模言語モデルに基づく回帰モデルをランキング学習する．ステップ(3)では，ステップ(1)で構築した大規模言語モデルに対してステップ(2)で構築した報酬モデルを用いて，ProximalPolicyOptimizationアルゴリズム\cite{schulman-2017}による強化学習を行う．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{大規模言語モデルの性能評価}英語を中心に，様々な自然言語処理タスクにおいて，GPT-3やChatGPTなどの大規模言語モデルの性能評価\cite{bang-2023,eval-survey}が盛んに研究されている．機械翻訳タスクでは，中国語から英語への翻訳においてChatGPTが商用翻訳サービスよりも高い人手評価を得た\cite{mt-llm-doc}と報告される一方で，他言語から英語への翻訳とは異なり英語から他言語への翻訳は低品質である\cite{bang-2023}との報告もある．自動要約タスクでは，英語文章の要約においてChatGPTはファインチューニングされたBARTよりも低い性能である\cite{chatgpt-solver,bang-2023}と報告されている．テキスト平易化タスクでは，ChatGPTが生成した平易文は人間が生成した参照文に匹敵するほどの高品質である\cite{feng-2023}と報告されている．日本語では，常識推論タスクの日本語CommonGenにおいてChatGPTの性能評価がされており，ChatGPTはT5と同等以上の性能である\cite{suzuki-2023}と報告されている．このように，ChatGPTなどの大規模言語モデルの性能評価に関する先行研究が存在するものの，日本語におけるChatGPTの性能評価は現時点ではまだ充分に行われていない．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{評価実験}
label{sec:evaluation}本研究では，英語文から日本語文への機械翻訳，日本語文章の自動要約，日本語文のテキスト平易化の3種類の系列変換タスクにおいて，ChatGPTの日本語生成能力を評価した．評価結果の一部はGitHub\footnote{\url{https://github.com/EhimeNLP/Eval-ChatGPT}}で公開する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{共通の実験設定}\label{sec:setting}表\ref{tab:dataset}に示すデータセットを用いて評価実験を行った．タスクごとにBART\cite{lewis-2020}などの比較手法を設定し，自動評価および人手評価の両方によって性能を評価した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table1\begin{table}[b]\input{02table01.tex}%\caption{各データセットの文対数}\label{tab:dataset}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.1\begin{figure}[b]\input{02fig01.tex}%\caption{機械翻訳プロンプト（左がZero-shot，右がOne-shot）}\label{fig:prompt_mt}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%ChatGPTのモデル\footnote{\url{https://platform.openai.com/docs/models/overview}\\gpt-3.5-turboは2023年4月22日～2023年4月30日，gpt-4は2023年7月8日～2023年7月12日にアクセス}には，gpt-3.5-turboおよびgpt-4の2種類を使用した．ChatGPTに入力するプロンプトは，入出力例を提示せずにタスクの説明のみを与えるZero-shotおよび入出力例も与えるOne-shotの2種類を実験した．プロンプトの例を図\ref{fig:prompt_mt}から図\ref{fig:prompt_ss}に示す．なお，入出力例には，各タスクにおける検証用データの先頭の事例を用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.2\begin{figure}[t]\input{02fig02.tex}%\caption{自動要約プロンプト（左がZero-shot，右がOne-shot）}\label{fig:prompt_ts}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.3\begin{figure}[t]\input{02fig03.tex}%\caption{テキスト平易化プロンプト（左がZero-shot，右がOne-shot）}\label{fig:prompt_ss}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%人手評価には，機械翻訳の人手評価に用いられる文意解釈性および文意正確性の評価基準\cite{sudoh-2021}を用いた．ただし，テキスト平易化タスクにおいては，平易性の観点からの人手評価も実施した．これについては\ref{sec:metrics_ss}節にて説明する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{文意解釈性（5点満点）}\begin{enumerate}\item何を伝達しようとしているかが理解できない箇所がある（言葉遣いとして内容伝達に失敗している場合を指し，専門用語の意味が分からない等は除く）\item表記や文法の誤り，表現の問題でしっかり読まないと伝達内容が理解できない\item表記や文法の誤りがあるが，伝達内容の理解は容易\item文法的に正しいが，不自然な表現がある\item文法的に正しく，言葉遣いも自然である\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{文意正確性（7点満点）}\begin{enumerate}\item文意が理解できず，正確性評価に値しない\item参照文と無関係な内容が伝達されている\item参照文と矛盾する内容が伝達されている\item参照文と矛盾とまではいかないが重要な情報の誤りや過不足があり文意の重大な誤解が起こり得る\item参照文と文意に若干の齟齬はあるが，大きな誤解を招くほどではない\item参照文と文意に僅かな違いがあるが，ほぼ誤解の心配はない\item参照文と文意が同一と考えて差し支えない\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{機械翻訳タスクにおける評価実験}\label{sec:evaluation_mt}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{実験設定}\label{sec:setting_mt}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}\label{sec:dataset_mt}様々なドメインを扱うために，科学技術論文の抄録から作成されたASPEC\footnote{\url{https://jipsti.jst.go.jp/aspec/}}\cite{nakazawa-2016}，Wikipediaの京都関連記事から作成されたKFTT\footnote{\url{https://www.phontron.com/kftt/}}，WMT20ニュース翻訳タスク\footnote{\url{https://www.statmt.org/wmt20/translation-task.html}}\cite{barrault-2020}の3種類の英日対訳コーパスを用いて評価\footnote{これらの公開データは，ChatGPTやGoogle翻訳などの訓練に使用されている可能性がある．それが評価に影響する可能性があることに注意されたい．}した．また，比較手法の訓練用に，大規模な英日対訳コーパスとして，Webから抽出されたJParaCrawlv3.0\footnote{\url{https://www.kecl.ntt.co.jp/icl/lirg/jparacrawl/}}\cite{morishita-2022}も用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{ベースライン}\label{sec:baseline_mt}比較手法の機械翻訳モデルとして，事前訓練なしのTransformer\cite{vaswani-2017}およびマスク言語モデリングによって事前訓練されたmBART\footnote{\url{https://github.com/facebookresearch/fairseq/tree/main/examples/mbart}}\cite{liu-2020}に加えて，オンライン機械翻訳サービスであるGoogle翻訳\footnote{\url{https://cloud.google.com/translate/}2023年4月13日アクセス}およびDeepL翻訳\footnote{\url{https://www.deepl.com/pro-api/}2023年4月13日アクセス}を用いた．TransformerおよびmBARTの訓練には，fairseqツールキット\footnote{\url{https://github.com/facebookresearch/fairseq}}\cite{ott-2019}を用いた．Transformerの構成は，エンコーダ・デコーダの層数を6，注意機構のヘッド数を8，埋め込み次元数を512，全結合層の次元数を2,048とした．学習率は5e-4とし，最適化手法としてAdam\cite{adam}を使用し，$\beta_{1}=0.9$および$\beta_{2}=0.98$を設定した．バッチサイズは，Transformerは4,096トークン，mBARTは1,024トークンとした．正則化には，ラベル平滑化およびドロップアウトを使用し，Transformerにおけるラベル平滑化およびドロップアウトの確率はどちらも0.1，mBARTにおけるラベル平滑化確率は0.2，mBARTにおけるドロップアウト確率は0.3とした．訓練にはearlystoppingを採用し，検証用データのクロスエントロピー損失が5回連続で改善しない場合に訓練を終了した．前処理として，テキストにNFKC正規化を施したうえで，TransformerにはSentencePiece\footnote{\url{https://github.com/google/sentencepiece}}\cite{sentencepiece}を用いてサブワード分割を行った．ここで，語彙サイズは言語ごとに16,000に設定した．mBARTは，付属のトークナイザを用いてサブワード分割を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価指標}\label{sec:metrics_mt}自動評価には，SacreBLEU\footnote{\url{https://github.com/mjpost/sacrebleu}}\cite{sacrebleu}を用いてBLEU\cite{bleu}およびchrF++\cite{chrf++}を計算した．また，分散表現ベースのBLEURT\footnote{\url{https://github.com/google-research/bleurt}}\cite{bleurt}およびCOMET\footnote{\url{https://github.com/Unbabel/COMET}}\cite{comet}も用いた．ただし，BLEURTにはBLEURT-20モデル，COMETにはwmt20-comet-daモデルを，それぞれ用いた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table2\begin{table}[b]\input{02table02.tex}%\caption{ASPECにおける性能評価}\label{tab:result_aspec}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table3\begin{table}[b]\input{02table03.tex}%\caption{KFTTにおける性能評価}\label{tab:result_kftt}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{自動評価による実験結果}\label{sec:result_mt_auto}表\ref{tab:result_aspec}および表\ref{tab:result_kftt}に，ドメイン内の訓練用データを利用可能なASPECおよびKFTTにおける機械翻訳の実験結果を示す．実験結果をまとめると，自動評価においては，以下の順番で高品質な機械翻訳ができると言える．\begin{enumerate}\itemドメイン内の訓練用データを用いる機械翻訳\itemオンライン機械翻訳サービス\itemChatGPT$\fallingdotseq$ドメイン外の訓練用データを用いる機械翻訳\end{enumerate}つまり，ChatGPTの翻訳品質は，ドメイン外の訓練用データを用いるTransformer(JParaCrawl)やmBART(JParaCrawl)と同等であり，ドメイン内の訓練用データを用いるTransformer(ASPEC/KFTT)やmBART(ASPEC/KFTT)およびGoogle翻訳などのオンライン機械翻訳サービスを下回る．なお，ChatGPTの中では，gpt-3.5-turboよりもgpt-4，Zero-shotよりもOne-shotの方が高い性能を達成する．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table4\begin{table}[t]\input{02table04.tex}%\caption{WMT20ニュース翻訳タスクにおける性能評価}\label{tab:result_wmt}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%表\ref{tab:result_wmt}に，ドメイン内の訓練用データを利用できないWMT20ニュース翻訳タスクにおける機械翻訳の実験結果を示す．実験結果から，ChatGPTの翻訳品質は，表層マッチングに基づく自動評価指標においてはTransformerやmBARTと同等であるものの，分散表現ベースの自動評価指標においてはこれらを大きく上回った．また，オンライン機械翻訳サービスと比較すると，表層マッチングに基づく自動評価指標においては大きく下回るものの，分散表現ベースの自動評価指標においては同等以上の翻訳品質を達成した．ChatGPTの中では，gpt-3.5-turboよりもgpt-4の方が高い性能を達成するものの，表\ref{tab:result_aspec}および表\ref{tab:result_kftt}の実験結果とは異なり，Zero-shotよりもOne-shotの方が高い性能を達成するわけではなかった．これらの実験結果をまとめると，ChatGPTは汎用的な機械翻訳モデルと同程度の翻訳品質を持つものの，ドメイン内の訓練用データを利用できる場合には従来のファインチューニングのアプローチを選択すると良いと言える．また，ChatGPTへのプロンプトに入出力例を含めることで翻訳品質を改善できるかどうかは対象ドメインによるものの，gpt-4はgpt-3.5-turboよりも一貫して高い翻訳品質を達成することを確認できた．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{人手評価による実験結果}\label{sec:result_mt_human}無作為抽出した100文ずつを，\pagebreak日本語母語話者である大学生3名が人手評価した結果の平均値を表\ref{tab:result_kftt}および表\ref{tab:result_wmt}に示す．両データセットにおいて，gpt-4はmBARTおよびGoogle翻訳よりも高い性能を達成しており，高い翻訳品質を持つことがわかる．文意正確性に関しては，KFTTコーパスにおいてはgpt-3.5-turboはmBARTとGoogle翻訳の中間程度の品質であったのに対して，WMT20コーパスにおいてはgpt-3.5-turboはmBARTとGoogle翻訳の両方よりも高い品質であったことから，ChatGPTはニュースドメインを得意とすると考えられる．人手評価における評価者間の一致度をQuadraticWeightedKappa\cite{cohen-1968}を用いて計算した結果を表\ref{tab:result_qwk}に示す．WMT20ニュース翻訳タスクなどにおいて，評価者間の一致度は充分とは言えないものの，先行研究\cite{sudoh-2021}における機械翻訳の人手評価においても評価者間の一致度は$0.25\sim0.39$であるため，許容範囲内であると考えられる．なお，評価者間の一致度については自動要約(LivedoorNEWS)やテキスト平易化(SNOW)のタスクにおいても同様の傾向である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table5\begin{table}[b]\input{02table05.tex}%\caption{人手評価における評価者間の一致度(QuadraticWeightedKappa)}\label{tab:result_qwk}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table6\begin{table}[b]\input{02table06.tex}%\caption{自動評価指標と人手評価のピアソン相関}\label{tab:result_pearson}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{分析}\label{sec:analytics_mt}表\ref{tab:result_wmt}において，BLEUやchrF++の自動評価からはGoogle翻訳がgpt-4よりも優れているように見えるが，分散表現ベースの自動評価や人手評価においてはgpt-4の方が高く評価されている．このような評価の振る舞いについて正確に理解するために，自動評価と人手評価の文単位のピアソン相関を求めた結果を表\ref{tab:result_pearson}に示す．実験結果から，BLEUおよびchrF++の表層マッチングに基づく自動評価は，文単位では人手評価との相関が低く信頼性に欠けると言える．特に，文意解釈性との相関が低い．英日機械翻訳の文単位の自動評価においては，分散表現ベースの自動評価指標であるBLEURTやCOMETを用いるのが良いと言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table7\begin{table}[t]\input{02table07.tex}%\caption{専門用語``regionaldivisionencoding''の日本語訳の例}\label{tab:example_mt}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，出力事例を観察したところ，ドメイン内の対訳コーパスを用いて訓練したモデルは固有名詞などの当該ドメインに特化した表現を正確に翻訳できている傾向が見られた．その一例を表\ref{tab:example_mt}に示す．この例では，「領域分割符号化」と翻訳すべきところを，gpt-3.5-turboは「地域区分符号化」や「地域分割符号化」と出力しており，gpt-4は「地域分割型のエンコーディング」や「地域分割エンコーディング」と出力してしまっている．一方で，ドメイン内の対訳コーパスを用いて訓練したmBARTは，正しく「領域分割符号化」と出力できている．このような固有名詞や専門用語を正確に翻訳したい用途においては，gpt-3.5-turboやgpt-4ではなく，ドメイン内の訓練データを用いて従来のファインチューニングのアプローチを選択すると良い．また，表\ref{tab:result_aspec}および表\ref{tab:result_kftt}において，ドメイン内の訓練データを用いる機械翻訳モデルのBLEUやchrF++が他のモデルよりも著しく高いのは，このようなドメイン特有の表現を正確に出力できることが要因のひとつであると考えられる．ChatGPTに入力したプロンプトおよび各モデルの出力例を表\ref{tab:system_example_mt}に示す．なお，mBARTには翻訳対象の英語文のみを入力しており，タスクの説明文や翻訳事例は入力していないことに注意されたい．前述の通り，ChatGPTは全体的には良い翻訳ができているものの，固有名詞である「ふげん発電所」を誤訳してしまっている．一方で，ドメイン内の訓練データの恩恵を受けて，mBARTは適切な日本語訳ができている．また，表\ref{tab:system_example_mt}の例にも見られるように，ASPECやKFTTに含まれる日本語文は常体であるが，ChatGPTの出力文はほとんどが敬体であった．このようなスタイルの違いは，ChatGPTの自動評価値が低い要因のひとつであると考えられる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table8\begin{table}[t]\input{02table08.tex}%\caption{機械翻訳におけるChatGPTの出力例}\label{tab:system_example_mt}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{自動要約タスクにおける評価実験}\label{sec:evaluation_ts}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{実験設定}\label{sec:setting_ts}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}\label{sec:dataset_ts}本実験では，LivedoorNEWS\footnote{\url{https://news.livedoor.com/}}から作成された3行要約データセット\footnote{\url{https://github.com/KodairaTomonori/ThreeLineSummaryDataset}}\cite{kodaira-2017}を用いて，自動要約の性能を評価した．これは，ニュース記事の本文とその3行要約で構成される日本語の自動要約データセットであり，入力は平均で19文（1,022文字），参照要約は全て3文（平均99文字）で構成されている．ただし，本実験の実施時点で削除されてしまったニュース記事は取得できなかったため，先行研究\cite{kodaira-2017}よりもデータセットの規模が小さいことに注意されたい．なお，ChatGPTのOne-shotモデルに与えた検証用データの先頭事例は，入力例が666文字，出力例が94文字であった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{ベースライン}\label{sec:baseline_ts}%%%%比較手法の自動要約モデルとして，記事の先頭3文を抽出するLEAD-3およびマスク言語モデリングによって事前訓練された日本語BART（BART-basev2）\footnote{\href{https://nlp.ist.i.kyoto-u.ac.jp/?BART日本語Pretrainedモデル}{https://nlp.ist.i.kyoto-u.ac.jp/?BART\mbox{}日本語\mbox{}Pretrained\mbox{}モデル}}\cite{lewis-2020}を用いた．比較手法の自動要約モデルとして，記事の先頭3文を抽出するLEAD-3およびマスク言語モデリングによって事前訓練された日本語BART(BART-basev2)\footnote{\url{https://nlp.ist.i.kyoto-u.ac.jp/?BART日本語Pretrainedモデル}}\cite{lewis-2020}を用いた．LEAD-3における3文の抽出には，ルールベースの文分割器であるja\_sentence\_segmenter\footnote{\url{https://github.com/wwwcojp/ja_sentence_segmenter}}を用いた．BARTの訓練には，fairseqツールキット\cite{ott-2019}を使用した．訓練の設定は基本的に公式の設定に従うが，earlystoppingを採用し，検証用データのクロスエントロピー損失が5回連続で改善しない場合に訓練を終了した．なお，ラベル平滑化確率を0.2，ドロップアウト確率を0.3として正則化を行った．前処理として，Juman++v2.0.0-rc3\footnote{\url{https://github.com/ku-nlp/jumanpp}}\cite{Morita-2015,Tolmachev-2018}による単語分割の後にBARTに付属のSentencePiece\cite{sentencepiece}モデルを用いてサブワード分割を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価指標}\label{sec:metrics_ts}自動評価には，PythonROUGE\footnote{\url{https://github.com/tagucci/pythonrouge}}を用いてROUGE(ROUGE-1,ROUGE-2,ROUGE-L)のF値\cite{Lin-2004}を計算した．なお，評価の際にはテキストにNFKC正規化を施し，MeCab(IPADic)\footnote{\url{http://taku910.github.io/mecab/}}\cite{kudo-2004}による単語分割を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{自動評価による実験結果}\label{sec:result_ts_auto}ROUGEによる自動評価の結果を表\ref{tab:result_livedoor}に示す．ChatGPTは，抽出型のLEAD-3よりは高品質であるものの，従来のファインチューニングのアプローチであるBARTを下回る性能であった．また，プロンプトに入出力例を含めることで，要約品質を改善できることを確認できた．機械翻訳タスクとは異なり，gpt-4の自動評価は一貫してgpt-3.5-turboの自動評価を下回った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table9\begin{table}[b]\input{02table09.tex}%\caption{LivedoorNEWSにおける自動要約の実験結果}\label{tab:result_livedoor}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{人手評価による実験結果}\label{sec:result_ts_human}無作為抽出した100文ずつを，日本語母語話者である大学生3名が人手評価した結果の平均値を表\ref{tab:result_livedoor}に示す．文意解釈性と文意正確性の両方において，ChatGPTが最高性能を示した．人手評価からも，プロンプトに入出力例を含めることで，要約品質を改善できることを確認できた．文意解釈性においては，gpt-4が特に高く，ほぼ満点であった．文意正確性においては，gpt-3.5-turboの方がgpt-4よりも優れた性能を示し，人手要約に近い評価を得た．なお，この人手要約は，無作為に抽出した100文を評価者とは異なる日本語母語話者の大学生1名が要約したものである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{分析}\label{sec:analytics_ts}出力事例を観察したところ，gpt-3.5-turboによる要約が3文を超える事例が多く見られた．そこで，ja\_sentence\_segmenterによる文分割を用いて，出力文数を定量的に評価した結果を表\ref{tab:result_livedoor}の右3列に示す．実験結果から，3文要約を用いてファインチューニングしたBARTは約9割が期待通り3文の要約を生成できていることがわかる．3文を超える要約はわずか1.5\%であった．また，gpt-4は9割以上が期待通り3文の要約を生成できており，BARTを上回る結果となった．一方で，gpt-3.5-turboの要約は3割から4割が3文を超える長い要約になっており，2文以下のものも含めると4割から5割が要約文数の制約を満たしていない．これらの実験結果から，プロンプトに「3文」という説明や3文に要約した事例を含めるだけでは，gpt-3.5-turboは要約文数の制約を充分に満たせないことが明らかになった．それに対し，gpt-4はプロンプトによる要約文数の制御性能が大幅に向上していることがわかった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table10\begin{table}[b]\input{02table10.tex}%\caption{LivedoorNEWSにおける自動要約の出力文字数の分析結果（ピアソン相関）}\label{tab:analysis_livedoor}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%また，ChatGPTによる要約の出力文字数の多さが目立ったため，要約の文字数について定量的に評価した結果を表\ref{tab:analysis_livedoor}に示す．LivedoorNEWSコーパスの評価用セットには平均101文字の参照要約が用意されている．BARTはファインチューニングによって出力文字数の特徴を捉えることに成功しており，参照要約に近い文字数の要約を生成できている．一方でChatGPTは，参照要約の1.5倍から1.8倍と，指示を与えた出力文数の制約には従うものの，文字数としては長すぎる要約を生成している．特に，gpt-3.5-turboよりもgpt-4の方がより長い文字数の要約を生成している．なお，人手要約の作業者にも出力文字数は指示していないが，人手要約の文字数は参照要約の1.2倍に留まっている．また，BARTや人手要約と比べてChatGPTは参照要約の文字数との相関も低い．さらに詳しく調査したところ，BARTや人手要約の出力文字数は入力文字数とは相関を持たないが，ChatGPTによる要約は入力文字数に相関して出力文字数が変化することがわかった\footnote{なお，「100文字程度で要約してください」とプロンプトを変更しても，出力文字数を制御することが難しいという結論は変わらなかった．}．また，表\ref{tab:result_livedoor}のROUGEによる自動評価や文意正確性に関する人手評価においてgpt-4がgpt-3.5-turboの性能を下回ったのは，このようにgpt-4が冗長な出力を行うためである可能性がある．ただし\ref{sec:result_ts_human}節で述べたように，ChatGPTによる要約は流暢かつ入力との意味的な整合性もとれてはいるため，文数や文字数を厳密に指定しない用途での自動要約には適している．しかし，厳密な要約長の制約がある用途では，従来のファインチューニングのアプローチを選択するのが良いと言える．ChatGPTに入力したプロンプトおよび各モデルの出力例を表\ref{tab:system_example_ts}に示す．なお，BARTには要約元の文章のみを入力しており，タスクの説明文や要約事例は入力していないことに注意されたい．前述の通り，gpt-3.5-turboは5文の要約を出力しており出力文数の制約に従っていないが，BARTおよびgpt-4は制約通り3文で出力できていることがわかる．また，生成された要約の長さを比較すると，表\ref{tab:analysis_livedoor}で示したように，BART$<$gpt-3.5-turbo$<$gpt-4の順で文字数が多くなっていることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table11\begin{table}[p]\input{02table11.tex}%\caption{自動要約におけるChatGPTの出力例}\label{tab:system_example_ts}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsection{テキスト平易化タスクにおける評価実験}\label{sec:evaluation_ss}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{実験設定}\label{sec:setting_ss}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{データセット}\label{sec:dataset_ss}本実験では，やさしい日本語コーパスSNOW\footnote{\url{https://www.jnlp.org/GengoHouse/snow/t15}}$^{,}$\footnote{\url{https://www.jnlp.org/GengoHouse/snow/t23}}\cite{maruyama-2018,katsuta-2018}を用いて，テキスト平易化の性能を評価した．これは，教科書などの文を人手で平易化して作成された日本語のテキスト平易化データセットである．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{ベースライン}\label{sec:baseline_ss}比較手法のテキスト平易化モデルとして，事前訓練なしのTransformer\cite{vaswani-2017}およびマスク言語モデリングによって事前訓練された日本語BART\cite{lewis-2020}を用いた．Transformerの構成は，エンコーダ・デコーダの層数を6，注意機構のヘッド数を8，埋め込み次元数を512，全結合層の次元数を2,048とした．学習率は5e-4とし，最適化手法としてAdam\cite{adam}を使用し，$\beta_{1}=0.9$および$\beta_{2}=0.98$を設定した．バッチサイズは，Transformerは4,096トークン，BARTは1,024トークンとした．正則化にはラベル平滑化およびドロップアウトを用い，Transformerにおけるラベル平滑化およびドロップアウトの確率はそれぞれ0.1および0.2とし，BARTにおいてはそれぞれ0.2および0.3とした．訓練にはearlystoppingを採用し，検証用データのクロスエントロピー損失が10回連続で改善しない場合に訓練を終了した．前処理として，Juman++v2.0.0-rc3\footnote{\url{https://github.com/ku-nlp/jumanpp}}\cite{Morita-2015,Tolmachev-2018}による単語分割の後にBARTに付属のSentencePiece\cite{sentencepiece}モデルを用いてサブワード分割を行った．Transformerには，単語分割の後に語彙サイズ32,000のSentencePieceによるサブワード分割を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{評価指標}\label{sec:metrics_ss}自動評価には，EASSE\footnote{\url{https://github.com/feralvam/easse}}\cite{alva-2019}を用いてSARI\cite{xu-2016}を計算した．SARIは，入力文・出力文・参照文を比較し，単語n-gramの追加(Add)，保持(Keep)，削除(Del)の3つの編集操作の適切さを測る評価指標である．人手評価には，文意解釈性および文意正確性の観点に加えて，平易性の観点から以下の基準で5段階評価を行った．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\paragraph{平易性（5点満点）}\begin{enumerate}\item原文と無関係な内容であり，平易性評価に値しない\item原文よりも理解しにくい\item原文と理解しやすさに変わりがない\item原文よりも僅かに理解しやすい\item原文よりも理解しやすい\end{enumerate}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table12\begin{table}[b]\input{02table12.tex}%\caption{SNOWにおけるテキスト平易化の実験結果}\label{tab:result_snow}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{自動評価による実験結果}\label{sec:result_ss_auto}自動評価の結果を表\ref{tab:result_snow}に示す．ChatGPTは，TransformerおよびBARTの性能を下回った．ChatGPTの中では，gpt-4において入出力例をプロンプトに含めることで，Add（語句の適切な追加）およびDel（語句の適切な削除）が改善された．つまり，入力文に対して積極的な編集操作が行われることを確認した．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{人手評価による実験結果}\label{sec:result_ss_human}評価用データの全体を，\pagebreak日本語母語話者である大学生3名が人手評価した結果の平均値を表\ref{tab:result_snow}に示す．自動評価とは対照的に，文意解釈性および平易性においてChatGPTがBARTを上回った．SNOWには複数の参照文が含まれるため，そのうちのひとつに対して人手評価を行ったところ，ChatGPTは文意正確性の観点からは参照文と同等であり，参照文よりも流暢かつ平易な文を出力していることがわかった．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%fig.4\begin{figure}[b]\begin{center}\includegraphics{31-2ia2f4.pdf}\end{center}\caption{原文-参照文間の編集距離と原文-各モデルの出力文間の編集距離}\label{fig:ss_scatter}\end{figure}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\subsubsection{分析}\label{sec:analytics_ss}出力事例を観察したところ，参照文における人手の平易化やBARTによる平易化と比較して，ChatGPTが過度に積極的な編集を行っている事例が多く見られた．原文-参照文間の編集距離と原文-出力文間の編集距離に関する散布図を図\ref{fig:ss_scatter}に示す．本分析では，ChatGPTとしてOne-shotモデルの出力文を用いた．まず左のBARTに関する散布図に注目すると，原文-参照文間の編集距離と原文-BART間の編集距離が同程度か，BARTの編集がやや少ない傾向がある．一方で，ChatGPTに関する散布図を見ると，原文-参照文間の編集距離よりもChatGPTが多くの編集を行っている傾向がある．また，編集距離の間のピアソン相関によると，BARTと参照文の編集距離の相関に比べて，ChatGPTと参照文の編集距離の相関は著しく低いことがわかる．これらの分析結果は，ChatGPTが過度に積極的に編集していることを表している．ただし\ref{sec:result_ss_human}節で述べたように，ChatGPTによるテキスト平易化は流暢かつ入力との意味的な整合性もとれてはいるため，入力文よりも平易であれば良いというような設定でのテキスト平易化には適している．しかし，編集量を適切に制御したい用途においては，従来のファインチューニングのアプローチを選択するのが良いと言える．ChatGPTに入力したプロンプトおよび各モデルの出力例を表\ref{tab:system_example_ss}に示す．なお，BARTには平易化対象の難解文のみを入力しており，タスクの説明文や平易化事例は入力していないことに注意されたい．難解文の「ちょっとした詩人である．」という表現を，BARTや参照文は「ちょっとした詩を書く人である．」と少ない編集で平易化している．それに対してChatGPTは，「詩を書くのが得意な人だそうです．」や「少し詩を書くのが得意な人です．」と，多くの語を編集したり「得意」という語を追加したりと積極的な編集によって平易化していることがわかる．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%table13\begin{table}[t]\input{02table13.tex}%\caption{テキスト平易化におけるChatGPTの出力例}\label{tab:system_example_ss}\end{table}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
\section{おわりに}
label{sec:outro}本研究では，機械翻訳・自動要約・テキスト平易化の3種類の系列変換タスクにおいて，既存の教師あり手法と比較しながらChatGPTの日本語生成能力を評価した．実験の結果，ChatGPTは自動評価においては既存の教師ありモデルの性能に及ばないものの，人手評価においては既存の教師ありモデルの性能を上回る傾向にあり，全体的には文意解釈性および文意正確性の両観点から高品質な日本語文を生成していた．その一方で，ChatGPTの生成文について詳細に分析したところ，機械翻訳タスクにおいては固有名詞などのドメインに特化した表現の語彙選択が誤っている点，自動要約タスクにおいては出力文数や出力語数の長い要約を生成している点，テキスト平易化タスクにおいては期待されるよりも過度に積極的な編集をしている点など，各タスクにおける詳細な要請には応えられていないという課題も残っていることが明らかになった．そのため，現時点では，比較的制約の緩い用途や訓練用データを用意できない設定においてはChatGPTの活用が有望であるものの，細かな制御を必要とする用途では従来のファインチューニングのアプローチの方が適していると結論づける．本研究では大規模言語モデルのひとつであるChatGPTに焦点を当てて日本語生成能力を評価したが，活発に開発が進む他の日本語大規模言語モデル\footnote{\url{https://llm-jp.github.io/awesome-japanese-llm/}}の網羅的な性能評価からも有益な知見が得られると期待される．また，本研究では扱っていないが，対象データセット上でのファインチューニングも，大規模言語モデルの性能評価に関する重要なトピックのひとつである．日本語の他タスクにおける評価も含めて，大規模言語モデルについて今後さらなる性能評価が行われることが重要である．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\acknowledgment本研究はJSPS科研費（基盤研究B，課題番号：JP22H03651）および国立研究開発法人情報通信研究機構(NICT)の委託研究（課題番号：22501）による助成を受けたものです．また，本研究を進めるにあたり，株式会社レトリバの勝又智氏に有益なご助言をいただきました．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\bibliographystyle{jnlpbbl_1.7}\bibliography{02refs}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\begin{biography}\bioauthor{樽本空宙}{2023年愛媛大学工学部工学科卒業．同年同大学大学院理工学研究科理工学専攻に進学，現在に至る．自然言語処理の研究に従事．}\bioauthor{畠垣光希}{2022年愛媛大学工学部情報工学科卒業．同年同大学大学院理工学研究科電子情報工学専攻に進学，現在に至る．自然言語処理の研究に従事．}\bioauthor{宮田莉奈}{2024年愛媛大学工学部工学科卒業．同年同大学大学院理工学研究科理工学専攻に進学，現在に至る．自然言語処理の研究に従事．}\bioauthor{梶原智之}{愛媛大学大学院理工学研究科講師．2013年長岡技術科学大学工学部電気電子情報工学課程卒業．2015年同大学大学院工学研究科修士課程修了．2018年首都大学東京大学院システムデザイン研究科博士後期課程修了．博士（工学）．2018年より大阪大学データビリティフロンティア機構の特任助教，2021年より愛媛大学大学院理工学研究科の助教を経て，2024年より現職．情報処理学会，人工知能学会，言語処理学会，ACL各会員．}\bioauthor{二宮崇}{1996年東京大学理学部情報科学科卒業．1998年同大学大学院理学系研究科修士課程修了．2001年同大学大学院理学系研究科博士課程修了．同年より科学技術振興事業団研究員．2006年より東京大学情報基盤センター講師．2010年より愛媛大学大学院理工学研究科准教授，2017年同教授．博士（理学）．言語処理学会，アジア太平洋機械翻訳協会，情報処理学会，人工知能学会，電子情報通信学会，日本データベース学会各会員．}\end{biography}%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%\biodate\end{document}