大規模マルチモーダルモデルにおける思考過程日本語化の試み

近年、言語能力性能の高い大規模言語モデル(LLM)と入力画像処理機能のためのVisionTransformer[1]やCLIP[2]系統のモデルをVisionEncoderとして接続し、画像と言語に両方の入力に対応する視覚言語モデル(VLM)[3]の開発が盛んである。Qwen3-VL[3]シリーズはそれらのモデルの一つであり、VisionEncoder,LLM,それをつなぐAdapter層の三パーツから構成されるモデルである。Qwen3-VL-ThinkingモデルはVLMの中でも名前の通り思考型モデルであり、最初に<think>...</think>タグの間で思考トークンを出力した後に、最終的な回答をするモデルとなっている。しかしながら、このモデルに与えるsystempromptや、userpromptを工佐藤諒、朝井都、山田勇希、高橋快斗、木下彰、伊藤真也、中村聡史株式会社リコー{Ryo.Sato4,Miyako.Asai,Yuki.Yamada1,Kaito.Takahashi1,akira.kinoshita,shinya.itoh,satoshi.ns.nakamura}@jp.ricoh.com夫したとしても<think>...</think>タグの間の思考は英語、場合よっては中国語で行われ、promptチューニングの範囲では日本語で思考トークンを出力させることは困難である。そこで、今回はSFTや強化学習、promptinjectionを行うことにより、日本語思考が可能なモデル化を試み、さらには日本語の学習データセットを適切に使うことで、日本語能力を伸ばしたモデル作りを行うことを目標とする。但し、ここで単純な日本語思考過程文章を入れたデータを作成し、Qwen3-VLをSupervisedFine-Tuning(SFT)しようとすると起こる落とし穴がある。Qwen3-VLはSFT、蒸留、強化学習、モデル返答データフィルタリング、多分野タスク学習、ロングコンテキスト対策など様々な訓練を精巧に組んでおり[4]、モデルがそれに応じた精緻な出力トークン分布で出力文を生成する。これに対して粗雑に訓練しようとすると、性能を大きく下げてしまう。一方でこれまでも主流だった非思考型モデルである「-Instruct」と付いたモデル群では模範解答がシンプルな文章であり、このような問題は比較的顕在化しにくかった。しかしながら、今回訓練対象とするモデルは思考型モデルである「-Thinking」と付いたモデル群であり、長い出力トークン列を持ち、性能を伸ばしている。この点おさえて、追加訓練前の元モデルが持つトークンの出力分布をなるべく変えない形で日本語思考を可能とするQwen3-VL-Thinkingモデル作りを行う必要がある。