自然言語処理による意味の表現形式の変遷

エッセイ

類似性が高いのはどちらか分からない要素が多くほとんどが0になり効率的に意味を表現できない双方向から処理することで意味を精度よく表現できる要素が少なく0 が少ないベクトルで表すことができる

猫（0.2, 1.3, 0.4, -0.05）

自然言語処理「言葉の意味を表す技術」のブレークスルー

こみや・かなこ。東京農工大学大学院工学研究院先端情報科学部門准教授。東京農工大学卒業。同大学大学院で修士号および博士号（工学）を取得。東京工業大学
博士研究員、東京農工大学特任助教、茨城大学講師を経て、2021年より現職。専門は自然言語処理。著書に『機械学習教本』（森北出版）、『文書分類からはじめる自然

古宮嘉那子

言語処理入門』（科学情報出版）がある。

猫(0 0 0 0 0 0 1)

猫（0 0 0 0 0 0 1 0 0 0 00 1 0 0 0 0 0 1 0 0 …）

犬（0 0 0 0 0 1 0）
ディープラーニング（0 0 0 0 1 0 0）
語彙数が 7 の場合

右が兄、左が弟の写真。

意味計算ができる

London−UK＋France＝Paris

2 つの意味を区別できない

対象単語のone-hot
ベクトル

2 つの意味を区別できる

マウス？

大規模言語モデル

ELMo や BERT
出現レベルの分散表現

Word2Vec
単語ごとの分散表現
分布仮説による周辺単語の頻度ベクトル

さまざまな自然言語処理のタスクで飛躍的な性能向上

文？

Finetuning

大量の文書を用いて言語構造を事前学習させたモデル

タスクごとに新しい最終層タスクの答え

ChatGPT が登場してから 1年余り。AI が質問にトルの要素として単に「同じ単語であるかどうか」「加法構成性」があるという特徴があります。これ

さ ら に、 そ の 年 の 秋 に 発 表 さ れ た「BERT」

流ちょうな文章で答えてくれることが当たり前にで考えると、共に「互いに異なっている」というは、例えば「king – man + woman = queen」など（Bidirectional Encoder Representation fromなりました。このようなことが可能になったのは、ことまでしか表せません。の意味計算が可能だということです。

Transformer）は、文脈を前方向からも後ろ方向

自然言語処理、特に、言葉の意味をコンピュータ

そこで、分布仮説の出番です。意味を表したい

Word2Vec に代表される、語ごとの分散表現でからも処理する双方向の Transformer の利用と言上に表現する技術が急速に進歩してきたからにほ

単語の周辺の単語の頻度情報を「文脈」としてとは、単語の見た目が同じであれば、文脈が異なっ語モデルの工夫で、さまざまな自然言語処理のタかなりません。

らえるために、例えば周囲の one-hot ベクトルをても同じベクトルとして表されます。これで困るスクで飛躍的な性能向上を成し遂げました。また、

自然言語処理とは、AI 研究の一分野で、日常いくつか連結したものを１つのベクトルとして単のは、複数の意味を持つ単語です。例えば、「マウス」

BERT による分散表現は、日本語学や言語学の観私たちが使っている言語をコンピュータで扱う研語を表すことにします。しかし、ベクトルの要素はコンピュータ・デバイスであると同時に動物の点からも有益です。

究分野です。この分野において、ディープラー数がとても大きくなるわりに、周辺文脈に出現し名前でもあります。でも、Word2Vec ではこれら●ニングによる技術革新が起きたのは 2013 年からた単語以外の要素の値は 0 になるため、ほとんどを同時に 1 つのベクトルとして表すため、2 つの筆者は学生時代から文中の単語を辞書の意味2018 年のほんの 5、6 年のことでした。これは、の要素が 0 になってしまい、効率的に意味を表現意味を区別できません。

言葉の意味を表す技術のブレークスルーだったとできないという問題があります。

言えます。

●

●

項目に分類する研究を行ってきましたが、上記のような一連の技術の発展に伴って精度が格段に上

2018 年に Peters らによって提唱された「ELMo」

がってきています。例えば筆者の研究室では、日●この問題に解を与えたのが、2013 年に Mikolov（Embeddings from Language Models） は、 そ れ

本語の BERT を使って「現代日本語書き言葉均衡

自然言語処理では、主に言語学における分布意らの提唱した「Word2Vec」です。Word2Vec は、を可能にしました。見た目が同じ単語でも、文脈コーパス（BCCWJ）」に出現する語に『分類語彙味論の「分布仮説」によって単語の意味を取り扱っ0 が多く疎であるベクトルの要素数（次元数）をが異なれば別の意味ベクトルとして表せるように表－増補改訂版』の意味番号を振りました。文章ています。分布仮説は、簡単に言えば「文脈の似圧縮する工夫を加えたものです。この際、ベクトなったのです。のタイプによりますが 81.0 ～ 93.8% の正解率がた単語・句・文などは意味が似ている」というこルの要素数はもともとの語彙数よりはるかに小ささらに 2018 年に、ChatGPT の前身である初代と。ある単語を表す際、「one-hot ベクトル」と呼くなります（語彙数は万単位ですが、Word2VecGPT（Generative Pre-trained Transformer） が 発

以上のように、大規模言語モデルの発展により、ばれる方法が用いられます。これは、語彙数分ののベクトルの次元数は通常たかだか 200 から 300表されました。これで、Transformer という高速

自然言語処理技術は一定の円熟を見せ、応用的に要素を持つベクトル（数値の配列）を用意し、そ程度です）。

計算が可能なネットワーク構造を持つモデルで事も学術的にも非常に有用であることが明らかにな得られています＊。の単語に該当する要素だけを 1、その他の全てのここにディープラーニングの技術が用いられま前に大量の文書を用いて言語構造を学習させており、研究者がモデルを自作する時代は終わりを迎要素を 0 とすることで単語を表したものです。とした。ディープラーニングは、次元数の大きい情き、タスクごとにモデルの Fine-tuning（微調整）えつつあります。筆者は、今こそ日本語学や言語ころが、one-hot ベクトルだけでは、単語の意味報を圧縮することが非常に得意です。このようにを行って利用する「大規模言語モデル」（Large

学などの文系学問と、大規模なデータに立脚する的な類似性を直接的には表現できません。例えば、単語を低次元で 0 の要素が少ない密なベクトルでLanguage Model：LLM）の枠組みが確立しました。

自然言語処理とが、共に発展していくときだと考「猫」と「犬」の意味的な類似性は「猫」と「ディー表すことを、「単語の分散表現」と呼びます。さらに、現在の自然言語処理では、この大規模言語モデルえています。これからの自然言語処理の発展に大プラーニング」の類似性より高そうですが、ベクWord2Vec による分散表現には、言語学におけるを利用する手法が主流です。

いに期待しています。

＊ 浅 田宗磨・古宮嘉那子・浅原正幸（2024）「『現代日本語書き言葉均衡コーパス』に対する分類語彙表番号悉皆付与」『言語処理学会第30回年次大会発表論文集』