量子計算を用いた文字言語モデル

近年大規模言語モデル(‌LLM‌)の貢献により，自然言語処理の関連領域研究は大きな発展を遂げている．モデルの学習データセットやパラメータ数を大規模化させることにより、モデルの予測性能が向上するスケーリング則が報告されている[1]．加えて言語モデルに与えるパラメータ数を一定数以上にして十分な訓練を行うことで，創発と呼ばれる言語モデリングタスク以上の能力を得られる現象も確認されている[2]．一方でハードウェアの制約や計算時間の問題により，現状モデルの大規模化はより困難になっている．そのためモデルのパラメータ数を増やすことなく，データセットやアルゴリズムの変更によって効率化することが重要である．本研究では，量子計算を用いた言語モデルの効率化を検討する．量子計算では，量子ビット数に対して指数関数的に多くの値を同時に計算することが可能である．一方で現在の量子コンピュータは‌NISQ(Noisyintermediate-scalequantum)‌と呼ばれ，計算誤差や量子ビット数の制約が存在する[3]．このため、量子計算を機械学習で活用しようとする既存研究においては，多くはシミュレータを活用している[4]．ただし，シミュレータで計算誤差の問題を解消したとしても，シミュレーションには指数関数乗の空間計算量が必要とされ，利用可能な量子ビット数の制約が依然として存在する．先に述べた通り，量子計算を用いた言語モデルの実装において、空間計算量は大きな課題である．そこで本研究では，量子ビットを用いた量子化により，現状のシミュレーター規模で実現可能な範囲の文字n-gramモデルを構築し，その性能と限界を調査する．