label{sec:intro}近年，自然言語処理やその関連分野において，GPT-3\cite{Brown-2020}をはじめとする大規模言語モデルの活用が広がっている．これらの大規模言語モデルは，巨大なニューラルネットワークを大量のテキストコーパス上で長時間訓練したものであり，プロンプトと呼ばれる入出力例を含む指示に従って様々なタスクに適応できる．このような大規模言語モデルの中でも特にChatGPT\footnote{\url{https://chat.openai.com/}}は，多くのタスクと言語において高い性能を発揮するため，2022年11月の公開当初から大きな注目を集めている．ChatGPTはGPT-3\cite{Brown-2020}およびGPT-4\cite{openai-2023}の大規模言語モデルに基づいているため，流暢な言語生成能力を持つことが知られている．英語においては，機械翻訳\cite{jiao-2023}，自動要約\cite{yang-2023}，テキスト平易化\cite{feng-2023}などの系列変換タスクをはじめとして，様々なタスクにおけるChatGPTの性能評価\cite{bang-2023}の結果が報告されている．ChatGPTによる言語生成は，英語だけでなく日本語においても非常に流暢であると感じられる．しかし，ChatGPTの日本語生成能力に関する定量的な調査は，現時点ではまだ充分に行われていない．本研究では，ChatGPTの日本語生成能力を自動評価および人手評価する．具体的には，英語文から日本語文への機械翻訳，日本語文章の自動要約，日本語文のテキスト平易化の3種類の系列変換タスクにおいて，ChatGPTの日本語生成能力を評価する．実験の結果，自動評価においては既存の教師ありモデルの方がChatGPTよりも高い性能を示したが，人手評価においてはChatGPTの方が高く評価される傾向があった．詳細な分析の結果，ChatGPTは全体的には高品質なテキストを生成できるものの，各タスクにおける詳細な要請に応えられていないことが明らかになった．具体的には，機械翻訳タスクにおいては固有名詞などの語彙選択の誤り，自動要約タスクにおいては冗長な出力，テキスト平易化タスクにおいては過度に積極的な編集をしている事例が見られた．そのため，比較的制約の緩い用途においてはChatGPTの活用が有望であり，細かな制御を必要とする用途では従来の教師ありモデルを用いるという，用途に合わせた使い分けが重要であると言える．%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%