日本向けにファインチューニングされた

中国企業が開発したオープンソース大規模言語モデル(LLM)が高い言語処理パフォーマンスを発揮しており、その代表例としてアリババ社が開発した通義千問(TongyiQianwen,以下Qwenと呼ぶ)が挙げられる。Qwenの110Bパラメータモデルは、英語のベンチマーク指標であるMMLUで80.4点を記録し、公表時点で米メタ社と仏ミストラル社のモデルを超え、オープンソースLLMとしては最高スコアを記録した。2024年9月に更新されたQwen2.572BモデルのMMLUスコアは86.1点に達している[1]。中国系LLMの高いパフォーマンスゆえに、それらを基に各国向けにファインチューニングされたLLM(以下では中国派生モデルと呼ぶ)が発表されるようになっている。日本ではベンチャー企業を中心に複数の中国派生モデルが2024年末までプレスリリースされている。QwenのようなハイパフォーマンスなオープンソースモデルをベースとしてLLMを開発することは合理的な選択肢の一つであり、今後も続けられるべきである。しかし確認しておくべきことは、中国系LLMにはその出力に対して強い規制が中国国内でかけられている事実である。中国政府により2023年4月11日にパブリックコメント版が発表され、2023年8月15日から施行された「生成式人工智能服務管理暫行辦法」(以下、生成式AI辦法と呼ぶ)は次のように規定している[2]。第四条生成型AIサービスの提供と利用は、法律および行政法規を遵守し、社会道徳および倫理を尊重し、以下の規定を遵守しなければならない：（一）社会主義核心価値観を堅持しなければならず、国家政権の転覆、社会主義体制の転覆を扇動する内容を生成してはならない。また国家の安全と利益に危害を与え、国家のイメージを損ない、国家分裂を扇動し、国家の統一と社会の安定を損ない、テロリズム、過激主義、民族的憎悪と民族差別、暴力、わいせつとポルノを助長し、虚偽の有害情報等の法律や行政規則で禁止されている内容を生成してはならない。この規定ゆえに中国の研究機関、大手IT企業、ベンチャー企業が開発公表したLLMは特殊なファインチューニングを経たものとなっている。バイドゥ社が2023年3月に発表した文心一言(ErnieBot)の場合、敏感語彙を含む入力に対して、①話をすり替える、②知らないと回答する、あるいは別の話題にしようと提案する、③中国政府の公式報道を回答する、④回答拒否し、強制的に会話終了するといった対応を取る[3,4,5,6]。バイドゥセキュリティ社が公刊したLLMのセキュリティーに関する白書はこうした手続きを詳述しており、それによれば入力および出力に対して複数段階で介入している[7]。報道によれば中国政府の国家インターネット情報弁公室の担当者が開発企業を訪問し、直接LLMを操作し検査を行っている。不合格となると当該モデルを対外的に発表できない。報道された企業の場合、不合格の理.由が明示されなかったため、当局の合格ラインを手探りで推測して修正作業を行った。2回目の検査で合格したが、数か月間の作業が必要となった[8]。生成式AI辦法の規定は、中国における新聞やテレビなどのメディアへの規制状況からすれば、何ら目新しいものではない。しかしながら、いかにファインチューニングを施すとしても、上記のような規定を前提として開発されたLLMを基に、日本を含む諸外国向けに開発・調整した際には、当該派生モデルに対して何らかのアセスメントがあってしかるべきである。このような問題意識から、本稿では日本向けに開発・調整された中国派生モデルを分析対象として、中国語で政治的に敏感な質問群を入力することで、検閲的特性がどの程度残っているのかを検証する。結果としてベースとなったモデルより回答回避の比率は大幅に低く、元のモデルに施された検閲はかなりの程度解消されていることがわかった。しかしながら一部に敏感質問への回答回避や検閲の名残と思われる出力も見られており、中国派生モデルを利用の際には留意点が残ることを述べる。