GPTを始めとする対話型生成AIは主に、事前学習、SupervisedFineTuning(SFT)、強化学習を用いて構築された言語モデルで構成されている。特にSFTで利用されるインストラクションは非常に重要な役割を担っている。我々は2024年3月までに、高品質な日本語インストラクションデータを1万件作成する計画である。本論文では2023年12月21日に共同研究企業に向けて公開したデータの概要と、それに基づく評価結果、最終目標、データの作成手順、プロジェクトの形態と今後について紹介する[1]。

GPTを始めとする生成AI(LLM)が、数多くのタスクにおいて非常に高い精度で対話的な言語生成を行い、実応用化が広がるなどの影響を与えている。特にGPTを開発しているOpenAIは大きな影響を与えた代表格と言える。OpenAIは、その技術の詳細は公開していないが、GPTは事前学習、インストラクションに基づくSupervisedFineTuning(SFT)、強化学習の3つのコンポーネントからなり、特に、SFTにおける高品質なインストラクションが重要な役割を担っていることを報告している[2]。しかしながら、高品質かつある程度の規模の日本語インストラクションデータは未だ存在しない。LLMの開発は英語で特に進んでおり、インストラクションデータについても、公開されているものがある。特にDolly[3],OpenAssistant(OASST)[4]と呼ばれる大規模データは、日本語に自動翻訳されたデータも存在する。また、過去に日本語の言語処理タスクのために作られたデータを対話形式に加工し、インストラクションデータとして公開しているものもある[5][6]。しかしながら、現状、それらのデータを用いてSFTされたLLMでは、GPTのような高品質な回答の生成には至っていない。したがって、GPTが実現しているような出力をするLLMを作成し、その透明性を実現するためには、単なるクイズや質問応答(QA)のような単純なインストラクションだけでは不十分であり、下記の要件が満たされるインストラクションの作成が必要であると考えられる。l一般の人がLLMで聞くであろう自然で幅広い種類の質問がカバーされているl回答は流暢で読みやすく、豊富な情報量を含むl質問や回答の種類を認識し、LLMの透明性に関する研究のために、タスク、分野、回答タイプなどのタグを付与する本稿では、このような高品質なインストラクションデータを作成することを目的とした「LLMのための日本語インストラクションデータ作成プロジェクト」を紹介する。本プロジェクトで構築されているデータは“ichikara-instruction”と呼ばれ、理研AIPの言語情報アクセス技術チームが中心となり、2023年7月に企業との共同研究という枠組みで作成を開始した。データの作成は、森羅プロジェクト[7]の教師データ作成などの経験がある15人のアノテーターと共に開始した。その後、アノテーターの人数を大幅に増やし、2024年1月現在、40名程度のアノテーターと3社の外注企業で、データ作成作業を行なっている。現在のところ、質問と回答は自然言語での１ターンで、一般的な分野を対象としているが、将来的には安全性対策、マルチターン、マルチモーダル、専門分野のデータを作成していく予定である。本データは共同研究に参加された企業には随時共有し、安価な商用ライセンスも提供させて頂いている。完成時には研究目的(CC-BY-NC-SA)での一般公開、有償での商用ライセンスの提供も計画している。.