言語処理学会 第30回年次大会 発表論文集（2024年3月）

量子計算を用いた文字言語モデル
三輪拓真 1,2 河野誠也 2,1 吉野幸一郎 2,1
1 奈良先端科学技術大学院大学 2 理化学研究所ガーディアンロボットプロジェクト
miwa.takuma.mx0@is.naist.jp, {seiya.kawano, koichiro.yoshino}@riken.jp

概要
大規模言語モデルの登場により，言語モデルは近年多くの注目を浴びている．また言語モデルは機械翻訳や要約など，幅広いタスクに応用されている．
一方で大規模言語モデルは未だ計算量に課題があるため，計算効率の改善は重要である．本研究では，限定されたタスクで量子計算の計算効率が古典コンピュータを上回る点に注目した．具体的には，量子計算を用いて文字言語モデルを構築し，その性能の分析を行った．結果として構築したすべてのモデルにおいて，同規模のマルコフモデルよりパープレキシティを減少させることが可能とわかった．

1 はじめに
近年大規模言語モデル (LLM) の貢献により，自然言語処理の関連領域研究は大きな発展を遂げている．モデルの学習データセットやパラメータ数を大規模化させることにより、モデルの予測性能が向上するスケーリング則が報告されている [1]．加えて言語モデルに与えるパラメータ数を一定数以上にして十分な訓練を行うことで，創発と呼ばれる言語モデリングタスク以上の能力を得られる現象も確認されている [2]．一方でハードウェアの制約や計算時間の問題により，現状モデルの大規模化はより困難になっている．そのためモデルのパラメータ数を増やすことなく，データセットやアルゴリズムの変更によって効率化することが重要である．本研究では，量子計算を用いた言語モデルの効率化を検討する．
量 子 計 算 で は，量 子 ビ ッ ト 数 に 対 し て 指 数
関数的に多くの値を同時に計算することが可能 で あ る．一 方 で 現 在 の 量 子 コ ン ピ ュ ー タ は
NISQ (Noisy intermediate-scale quantum) と呼ばれ，計算誤差や量子ビット数の制約が存在する [3]．このため、量子計算を機械学習で活用しようとする既存研究においては，多くはシミュレータを活用している [4]．ただし，シミュレータで計算誤差の問題を解消したとしても，シミュレーションには指数関数乗の空間計算量が必要とされ，利用可能な量子ビット数の制約が依然として存在する．
先に述べた通り，量子計算を用いた言語モデルの実装において、空間計算量は大きな課題である．そこで本研究では，量子ビットを用いた量子化により，現状のシミュレーター規模で実現可能な範囲の文字 n-gram モデルを構築し，その性能と限界を調査する．

2 量子計算2.1

量子状態

量子計算では，量子の状態に関する情報を利用して演算を行う．各量子ビットは 0 であるという状態|0i と，1 であるという状態 |1i の重ね合わせによって存在している．よって量子ビット単体の状態 |𝜙iは以下のように表現される．
|𝜙i = 𝛼|0i + 𝛽|1i(1)ただし 𝛼，𝛽 はそれぞれ複素数であり，これらの絶対値の 2 乗は状態の確率を表すため，制約条件|𝛼| 2 + |𝛽| 2 = 1 が成り立つ．回転ゲートと呼ばれる回路によって，量子の位相をずらすことで状態を変化させたり，量子ビット間に依存関係を持たせることが可能である．1 量子ビットの状態は 2 つの係数によって表せるため，2 次元ベクトルとし表記できる．
" #𝛼|𝜙i =(2)𝛽
この時量子回路は，(2) 式と行列の乗算によって表現可能である．ただし上記の制約により，行列はユニタリ行列である必要がある．量子回路によって生成された，各量子ビットの状態のみでは表現できない関係のことを，量子のもつれという．これは量子計算において，各量子ビットの状態を関連付けするために用いられる．

― 1842 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

図1

QNN の概要
図2

2.2 量子機械学習

QNN を用いた言語モデル

量子回路には，量子状態に与える変化をパラメーされている．これはトークンの系列（例えば，単語タとして指定できるものがある．これをパラメータ付き量子回路と呼ぶ．パラメータ付き量子回路を組や文字，サブワードの系列）に対して，後続するみ込むことにより，より複雑な量子計算を行うこといる．代表的な言語モデルである大規模言語モデが可能になる．一方で，望ましい結果を得るには最ルの多くは，self-attention を用いた Transformer モ

適なパラメータを探索する必要があり，ランダムなデルの構造を持ち、文章の一部を隠しながらその探索では時間がかかりすぎてしまう．こうしたパラメータの探索には古典コンピュータのアルゴリズ部分の予測を行う MLM（Masked Language Model）
または CLM（Causal Language Model）によって事ムが用いられており，この手法は量子古典ハイブ前学習を行っている [6]．一方で，文脈との関係にリッドアルゴリズムと呼ばれる．その中でも特に量着目することができる Transformer モデルの機能はトークンを予測を予測するタスクが基盤となって







Multi-head Attention に依存し、計算量が大きいと子ニューラルネットワーク (QNN) 等の，古典コン

ピュータの機械学習に近いアーキテクチャを実装いう難点がある．モデルの大規模化によってその課し，そのパラメータを最適化することでタスクを学

題はより顕著になっているため，精度を維持しつつ習する手法を量子機械学習と呼ぶ．

計算効率を向上させることが重要である．

もっとも単純な QNN の一例を図 1 に示す．図中


QNN を用いた文字言語モデル

3.2

の 𝑛 は量子ビット数であり，𝑅 𝑥 ，𝑅 𝑦 はそれぞれ回転ゲートを表している．その他の回路は CNOT ゲー

言語モデルは文の構成要素の並びに対してそのトを表しており，量子のもつれを生成する．入力ベ同時確率を計算する．特に n-gram モデルでは，各クトルは Amplitude encoding と呼ばれる手法によ

文字は直前の 𝑛 − 1 文字のコンテキストから決定さり，量子状態の振幅へと変換する [5]．その後各量れるように近似が行われる．そこで本研究では，直子ビットに対してパラメータを用いた演算を行い，前の 𝑛 文字 𝑐 𝑡 −𝑛 , 𝑐 𝑡 −𝑛+1 , . . . , 𝑐 𝑡 −1 から次の単語 𝑐 𝑡 の出力は各ビットの値を確認することで得られる．た出現確率 𝑃(𝑐 𝑡 |𝑐 𝑡 −𝑛 , 𝑐 𝑡 −𝑛+1 , . . . , 𝑐 𝑡 −1 ) を予測する文字







だし量子状態は，複数の状態の重なりとして存在するため，十分な回数の試行を行ったのち，最終出力

n-gram 言語モデルを実装する．


QNN を適用した言語モデルの概要を図 2 に示す．


モデルの入力には各文字の one-hot ベクトルを結合はその状態同士の確率分布として得られる．

3







して使用する．その後最も出現頻度の高いビット列

言語モデルへの適用を求め，one-hot ベクトルへと復元することで順次

文字予測を行う．例えば状態 |10 . . . 00i の出力確率3.1 言語モデルが最も高い場合，インデックス 0 の位置が 1 である

近年言語モデルは機械翻訳や質問応答、テキスト文字 A へと復元され，|01 . . . 00i の出力確率が最もの要約など，様々な自然言語処理のタスクに応用高い場合には，インデックス 1 の位置が 1 である文

― 1843 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

字 B へと復元される．
4

PennyLane では Qnode と呼ばれるオブジェクトが









定義されており回路全体の演算をノード単位で区実験切ることができる．Qnode は古典コンピュータの

ニューラルネットワークにおける中間層に該当す

4.1 モデルの実装

る．そしてノード間で勾配を伝搬することにより，言語モデルの実装は PennyLane フレームワーク[7] を用いた．PennyLane は Python 用のフレーム全体のパラメータを更新していく．各ノードの勾配計算はデバイス毎に異なるが，シュミレータを用いワークであり，量子シュミレーションにおける高る場合には効率的なアルゴリズムが存在する [8]．











速な計算を実現している．加えて TensorFlow や

PyTorch とも併用可能であり，シュミレータ部分に

データセット4.3



おいては Amazon braket や IBM Quantum とも連携

言語モデルの評価には，Marcus らが作成した，できる．

Wall Street Journal のテキストデータ [9] を使用す



る．訓練データとテストデータは別々に用意し，モ4.2 最適化手法

デル規模の制限により，テキスト数はどちらも 10

量子コンピュータにおける最適化には大きな課題がいくつか存在する．そこで本節では量子コンピュータの課題に触れつつ，それを補うための最適文のみで計算を行う．

評価方法

4.4

化手法について説明を行う．まず一つは，観測可能訓練データを用いて学習を行う際には，クロスエな値と実際の量子状態は異なるという点である．量ントロピー誤差により損失を求める．また最終的な子の状態は波の位相として表現されるが，観測でき評価として，テストデータを用いて言語モデリングるのは 0 と 1 の出現確率のみである．そのため最適化を行う際には，出力から得られる観測値 𝐵ˆ から量タスクにおける予測性能の指標であるパープレキシ

ˆ を推定する必要がある．パラメータ Θ を子状態 h 𝐵iˆ
持つ量子回路と同値な行列を 𝑈 (Θ) とすると，h 𝐵i

文書の文字数の合計であり，𝑁 は文書数である．と 𝐵ˆ には次の関係が成り立つ．ただし，h0| = |0i † である．また，† はエルミート共役を表す。
ˆˆ (Θ)|0i
h 𝐵i(Θ)= h0|𝑈 (Θ) † 𝐵𝑈

(3)

もう一つの課題は，計算過程の量子を観測すると情報量が減少するため，途中出力を利用できないことである．そのため実機による計算では，量子回路全体をブラックボックスとして，勾配降下法を利用したパラメータ 1 つ 1 つの最適化を順次行う必要がある．ただし通常の勾配降下法では局所的な解に収束する可能性があるため，量子機械学習では 𝜋2 ずつパラメータをずらすパラメータシフト法が多用される．この手法により，各パラメータの勾配を以下のように得ることができる．

1 ˆ𝜋𝜋ˆ
ˆ∇ 𝜃𝑖 h 𝐵i(𝜃)=h 𝐵i(𝜃 + 𝑒ˆ𝑖 ) − h 𝐵i(𝜃− 𝑒ˆ𝑖 )222ティ 𝑃𝑃𝐿 を以下のように算出する．ただし | 𝑗 | は全

𝐻=−1 ÕÕlog 𝑃(𝑐 𝑡 |𝑐 𝑡 −𝑛 , 𝑐 𝑡 −𝑛+1 , . . . , 𝑐 𝑡 −1 )|𝑗| 𝑁 𝑡(5)(6)

𝑃𝑃𝐿 = 2 𝐻

これらの指標を用い，𝑛 = 1, 2, 4 に対する n-gram 量子機械学習モデルの性能を比較する．またベースラインとして，単純に学習データの頻度から最尤推定によって構築した n-gram マルコフモデルによる


𝑃𝑃𝐿 の算出も行い，参照する文字数を増やした際の𝑃𝑃𝐿 の挙動を確認する．

実験結果と考察4.5

図 3 にマルフモデルと量子機械学習モデルの比較を示した。まずマルコフモデルについて、1-gram モデ

ルは 0-gram より大きくテストセット 𝑃𝑃𝐿 が改善さ(4)れている．一方で 2-gram 以降では 𝑃𝑃𝐿 は増加し続一方で本実験ではシュミレータを用いるため，量モデルの結果を確認すると，1-gram モデルではマル子情報を破壊することなく途中出力へのアクセス

コフモデル以上に 𝑃𝑃𝐿 が改善されている．2-gramが可能である．PennyLane ではその利点を利用したモデルではそれほど変化がないが，4-gram モデル

誤差逆伝搬法が実装されている．そこで本実験でまで増やすとまた 𝑃𝑃𝐿 が改善されることが確認では，誤差逆伝搬法を用いたモデルを最適化を行う．

きた．







けている．それに対し量子ニューラルネットワーク






― 1844 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

用した，実機での誤差逆伝搬法 [13] が提案されるなど，日々進展がみられている．最終的にはこれらの技術を活用し，大規模言語モデルと同等のサイズので同等の情報を用いるモデルを実装したうえで，性能の優劣を議論する必要があると考えている．

図 3
比較

マルコフモデルと量子モデルのパープレキシティ

5

おわりに
本稿では言語モデルにおける量子計算の適用の有 用 性 を 検 討 す る た め，量 子 計 算 を 用 い た 文 字
n-gram モデルの実装を行った．実装においては，PennyLane フレームワークを利用した量子計算シュ

ミレータを用いた．そのうえで量子ニューラルネットワークの実装を行い，PennyLane によって提供されている誤差逆伝搬法を使用して最適化を行った．
結果として，量子機械学習モデルは 𝑛 = 1, 2, 4 のす
べてのモデルにおいて，ベースラインのマルコフモデルより良い精度を得ることができた．加えて参照する文字数を増やした際のパープレキシティの挙動から，量子機械学習モデルは最尤推定に基づくマルコフモデルよりも学習効率が良いことが示唆された．今回は最尤推定との比較を行ったが，今後はその代わりにニューラルネットワークを用いる言語モデルなど，より現代的な言語モデルに近い構造のモデルとの比較を行う．
今後の展望としては，文字ではなく単語予測モデルの実装が挙げられる．それに際して，量子計算とマッチしたエンベディング方法の探索を行う必要があると考えている．また先行研究では量子アテンション [10] も開発されているため，文脈を意識した言語モデルの研究も将来的な目標として残されている．そして最大の目標として，実機の量子コンピュータを用いたモデルの大規模化が挙げられる．
量子コンピュータ最大の課題である計算誤差については，アルゴリズムによる誤差抑制へのアプローチもある程度行われている [11]．加えて量子機械学習モデルにおける勾配消失問題についても，観測値から量子状態を復元する shadow tomography[12] を利― 1845 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

arXiv:2305.13362, 2023.

謝辞
本研究は、JST ムーンショット型研究開発事業
JPMJMS2236 の支援を受けたものです。

参考文献[1] Kaplan Jared, Sam McCandlish, Tom Henighan, Tom B.
Brown, Benjamin Chess, Rewon Child, Scott Gray, AlecRadford, Jeffrey Wu, and Dario Amodei. Scaling laws forneural language models. 2020.
[2] Wei Jason, Yi Tay, Rishi Bommasani, Colin Raffel, BarretZoph, Sebastian Borgeaud, and Dani Yogatama. Emergentabilities of large language models. 2022.
[3] He-Liang Huang, Xiao-Yue Xu, Chu Guo, Guojing Tian,Shi-Jie Wei, Xiaoming Sun, Wan-Su Bao, and Gui-Lu
Long. Near-term quantum computing techniques: Variational quantum algorithms, error mitigation, circuit compilation, benchmarking and classical simulation. Science
China Physics, Mechanics & Astronomy, Vol. 66,No. 5, p. 250302, 2023.
[4] Asel Sagingalieva, Mohammad Kordzanganeh, Nurbolat Kenbayev, Daria Kosichkina, Tatiana Tomashuk, andAlexey Melnikov. Hybrid quantum neural network for drug
response prediction. Cancers, Vol. 15, No. 10, p. 2705,2023.
[5] Weikang Li, Zhide Lu, and Dong-Ling Deng. Quantum
neural network classifiers: A tutorial. Neurocomputing,Vol. 470, pp. 457–461, 2022.
[6] Jiayi Fu, Lei Lin, Xiaoyang Gao, Pengli Liu, Zhengzong
Chen, Zhirui Yang, Shengnan Zhang, Xue Zheng, Yan Li,Yuliang Liu, et al. Kwaiyiimath: Technical report. arXiv
preprint arXiv:2310.07488, 2023.
[7] Ville Bergholm, Josh Izaac, Maria Schuld, ChristianGogolin, Shahnawaz Ahmed, Vishnu Ajith, M SohaibAlam, Guillermo Alonso-Linaje, B AkashNarayanan, Ali
Asadi, et al. Pennylane: Automatic differentiation of
hybrid quantum-classical computations. arXiv preprint
arXiv:1811.04968, 2018.
[8] Tyson Jones and Julien Gacon. Efficient calculation of gradients in classical simulations of variational quantum algorithms. arXiv preprint arXiv:2009.02823, 2020.
[9] Mitchell P. Marcus, Beatrice Santorini, and Mary Ann
Marcinkiewicz. Building a large annotated corpus of English: The Penn Treebank. Computational Linguistics,Vol. 19, No. 2, pp. 313–330, 1993.
[10] Guangxi Li, Xuanqiang Zhao, and Xin Wang. Quantum
self-attention neural networks for text classification. arXiv
preprint arXiv:2205.05625, 2022.
[11] Suppressing quantum errors by scaling a surface code logical qubit. Nature, Vol. 614, No. 7949, pp. 676–681, 2023.
[12] Scott Aaronson. Shadow tomography of quantum states. In
Proceedings of the 50th annual ACM SIGACT symposium on theory of computing, pp. 325–338, 2018.
[13] Amira Abbas, Robbie King, Hsin-Yuan Huang, William J
Huggins, Ramis Movassagh, Dar Gilboa, and Jarrod R
McClean. On quantum backpropagation, information
reuse, and cheating measurement collapse. arXiv preprint― 1846 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).