# 言語処理学会第 29 回年次大会ワークショップ 「深層学習時代の計算言語学」

窪田 悠介†・持橋 大地 ${ }^{\dagger}$

## 1 はじめに

深層学習時代になり言語処理の性能が大きく上がりかつ柔軟になったことで, 従来は不可能だった言語学的な研究, すなわち計算言語学の研究が可能になり, そうした研究が増え続けている。また, 言語学の側でもデー夕を用いた実証的な研究が必要になり, 自然言語処理によるサポートの必要が無視できなくなってきている。こうした事情に鑑み, 言語処理側と言語学側の双方から新しい時代の「計算言語学」へのアプローチを模索する目的で，ワークショップ「深層学習時代の計算言語学」を言語処理学会第 29 回年次大会において開催した. 本記事ではこのワークショップの報告を行い, そこで得られたこの分野の今後の展望について手短に議論する.

ワークショップの提案者は自然言語処理, 言語学両分野からの以下 10 名であった. 持橋大地 (統数研), 窪田悠介（国語研）, 小木曽智信（国語研）, 大谷直輝（東京外大）, 永田亮（甲南大学), 川崎義史 (東大), 小町守 (都立大), 高村大也 (産総研), 内田諭 (九州大), 大関洋平 (東大).

## 2 開催形態

本ワークショップは, 言語処理学会第 29 回年次大会の大会ワークショップとして 2023 年 3 月 17 日に沖縄コンベンションセンターで対面と Zoom のハイブリッド方式で開催された（国立国語研究所共同研究プロジェクト「多様な語彙資源を統合した研究活用基盤の共創」「計算言語学的手法による理論言語学の実証的な方法論の開拓」と共催). 事前参加登録者数は 492 名 (うち対面 332 名), 当日の会場の参加者は約 120 名, Zoom 接続は最大時で 181 名となった.

ワークショップのプログラムは，招待講演 1 件（鈴木久美氏（元マイクロソフト），研究紹介 13 件 (うち公募枠のもの 5 件), 午前と午後の研究発表の直後に行われた提案者のグループによるパネルセッション 2 件, という構成だった. ${ }^{1}$
^{1}$ http://clml.ism.ac.jp/ daichi/workshop/2023-deepcl/
}

ハイブリッドでの開催形態のため, 主にオンライン参加者の利便性を図るため Slack を活用した. 当日は会場での口頭の議論に加え Slackでの議論も非常に活発に展開され, 盛況だった. さらに，プログラム終了後, 対面会場とオンラインでの Gather のプラットフォームにより, 参加者が自由に交流・意見交換ができる時間を設けた。さまざまな方法を組み合わせることで，対面・オンライン双方の, 多様な立場の参加者に対して，ある程度柔軟に意見交換やネットワー キングの機会を提供できたと思われる.

## 3 内容

## 3.1 研究紹介

研究紹介は，大まかに言語学寄りの内容のもの 7 件を午前のセッション, 言語処理寄りのもの 6 件を午後のセッションにまとめた。発表者と題目は以下の通り。

午前セッション
- 永田亮（甲南大）「言語処理と言語学の橋渡しの面白さと難しさ」
- 大谷直輝（東京外大）「言語知識の近似値として言語モデルは利用できるか」
- 大関洋平 (東大)「深層学習時代の計算心理言語学」
- 宮川創（国語研）「消滅の危機にある言語方言のために深層学習を応用する」
- 北嵪勇帆（高知大）「自然言語処理のタスクを日本語史研究に落とし込む」
- 上田亮 (東大)「言語創発を計算言語学として位置付ける試み」
- 大羽未悠（奈良先端大）「言語モデルの第二言語獲得 - 研究のきっかけとこれから -」

午後セッション
- 内田諭（九州大）「単語分散表現から類義語を考える」
- 黒澤友哉 (東大)「DRS 意味解析における出現位置を利用した語彙数削減」
- 山崎敏正 (九工大)「Decoding single-trial EEGs during silent Japanese words by the Transformer-like model」
- 森下裕三（桃山学院大）「計量的な語の意味分析から視点と主観は捉えられるのか」
- 野口大斗 (医科歯科大)「深層学習と日本語アクセント研究の可能性」

・ 江原遥（東京学芸大）「自動リーダビリティ推定の研究動向と展望」

## 3.2 招待講演

招待講演は, 元マイクロソフト社員の鈴木久美氏に「マイクロソフトにおける言語処理の（個人的な） 27 年一手書きの文法開発から深層学習モデルの製品化まで」という演題でご講演いただいた. 鈴木氏の講演は, 企業の中での言語処理の研究において, 時代の変遷に伴ってどのような必要性が生じ, また, その中で言語学的な知識がどのように用いられてきたかということ

を振り返る内容で，アカデミアの側からは普段は伺い知ることのできない事情を学ぶことのできる大変興味深い内容たっった。

## 3.3 パネルセッション・Slackでの議論

研究紹介，招待講演を踏まえてのパネルセッションとSlackでの議論において，主に以下三つの論点が浮かび上がってきた. 以下では， ワークショップの提案者を代表して，本記事執筆者二名の立場から，それぞれの点について簡単にコメントしたい.

1. 深層学習・大規模言語モデルの出現による言語学側からの参入障壁の低下

2.「分野の壁」をどう乗り越えるか？

3. 本質的に重要な問題をどう見極めるか？

## 3.3.1深層学習・大規模言語モデルの出現による言語学側からの参入障壁の低下

今回のワークショップ全体を通して顕著に認められた研究動向を一つ挙げるとすれば，近年の技術進展の恩恵を受けた，言語学から言語処理への参入障壁の低下である．具体的には，高精度で簡単に利用できる大規模言語モデルの出現により，自然言語処理の先端的技術を活用した様々な研究の可能性を模索する試みが「文系」の言語学者の手によってすでに始まっていることが確認できた。これらの言語モデル（BERTなど）は，背後に深層学習などの最先端の技術を組み込んではいるが, 言語学の研究者にとっては, 内部のアーキテクチャに精通していなくても，手軽に目的のタスクのために調整して使える便利なツールと見なすことができる．研究発表の中では, 用法基盤モデルでの言語変化（大谷）, 低リソースの危機言語研究への応用 (宮川), 通時研究における探索的研究 (北﨑), 構造化された表示に基づく意味分析（内田）, 論理的手法に基づく意味解析の性能向上（黒澤），類義語間の「視点」の違いの計量的な分析（森下), アクセント・パターンの分析（野口）など，従来はもっぱら言語学者の直観に頼る形で行われてきた様々な研究課題に関して，機械学習の技術を人間の「職人芸」を補完するツールとして用いる可能性を模索した研究が多数紹介された. この点は, 新しい時代の「計算言語学」が,単に言語学の下位分類の一つに留まるのでなく, 分野全体の方法論を中心から力強く支える役割を持つものとして発展していく可能性を示唆しており, 特に重要である.

## 3.3.2「分野の壁」をどう乗り越えるか？

とはいえ，分野の壁を乗り越えることは時として容易でない，特に，言語処理側から見て言語学の研究がアクセスしにくいという声も聞かれた。この点については, 特に導入部での永田の発表が示唆的であり，ワークショップ全体の議論の基調をなすものとなっていた．要点を簡単にまとめると以下のようなことである。言語学者と言語処理研究者は, お互いに相手の分野の知見に対し（専門家でないがゆえに）しばしば過度の期待を持ちすぎであり，また，相手の
分野の事情（中心的課題, 方法論, 現在までの知見など）に見当がつかないがために学会発表などの形での新規参入がしづらい. この問題に関しては, 登壇者や参加者から様々な意見や体験談が示され，本ワークショップの中でも特に議論が盛り上がった点だった．興味深かったのは, 現在先端的な学際的研究をしている研究者の多くが (世代に関らず), 過去に一度は, 分野や方法論などのことはひとまず脇に置いて，とにかく面白いと思った研究をしている研究者・ グループのところになりふりかまわずアプローチしていったということを（Slack上や雑談などの機会も含めて）問わず語りしていた点である。これは，よい研究をしようと思ったら素直に自分の直観や好奇心（そして健全な批判的精神）を信じるのが一番であるという，至極当たり前のことを物語っているように思われる。

こうした「分野の壁」に阻まれる徒労感やすれ違い，また誤解のリスクを自ら引き受けてでも異分野間の対話を推し進めていこうという心意気を感じさせる研究は, 見ているものをわくわくさせる，今回のワークショップの発表の中では，広い意味での認知モデリングに関わる以下の研究が，そうした研究として一つのグループを形成していた，計算心理言語学の動向（大関), 言語創発 (上田), 第二言語獲得のモデリング (大羽), 脳波データからの言語音の予測（山崎), リーダビリティの推定 (江原). これらの研究はすべて, 研究トピックと方法論の性質上,「大規模言語モデル（ないし，それに類する機械学習モデル）は人間の認知機構の解明に対して何らかの示唆をもたらすか？」という, コネクショニズム論争以来認知科学研究においてくすぶり続ける永遠の論争に正面から向き合わざるをえない. 特に ChatGPT の出現により論争の火種に突如激烈な油が注ぎ込まれた今, この一群の, 危険な刺激に満ちた研究の重要性は一層増している。

上のような議論を通して, 異分野をまたがった学際的な研究を有意義なものとして進めていくためには，まずは相手の（分野の）ことを知るために時間をかけて対話をするのが重要であるという，これもまた当たり前のことを確認することができた. 研究の進展が速い分野・領域, また, いわゆる「ケンカのうまさ」（論敵を, 必ずしも客観的な証拠に基づくわけではない議論でやり込める能力）が必要以上に大きな意味を持ちがちな分野では，このような当たり前のことがともするとないがしろにされがちになる．新しい研究の熱気に水を差すつもりは決してないが，自戒の意味も达めてこの点を改めて強調しておきたい.

## 3.3.3本質的に重要な問題をどう見極めるか？

さて，以上を踏まえて，我々は計算言語学の未来を蔷薇色に描けるだろうか？この分野において今後革新的な研究が生まれるかの鍵となる一つの重要な観点として, 言語学の現在までの研究成果に照らし合わせて, 解くべき, あるいは解くに值する問題が何であるかを見極めることがあるように思われる，新しいアプローチが出てくると，人はどうしても，「容易に収穫可能な果実」('low-hanging fruit')の収奪競争に熱中しがちである. もちろんこのような競争は, そ

れが健全に機能している限りにおいて，分野の活性化や，研究コミュニティの形成に役立つという側面はある。しかしながら，人間の認知機構の本質は何か，そこにおいて離散的な記号体系である（とひとまず考えてよい）自然言語はどのような役割を果たしているかといった問い， また, 言語変異や言語変化の一次的データを提供する外在化した記号システムとしての言語と,生成文法などの理論言語学研究が一義的な解明対象と設定している内在的な認知能力としての言語能力との関連はどうなっているのか，といった問いにはそう簡単に答えが出るはずもない.言語学と言語処理の再接近の兆しが見える現在，分野の壁を乗り越えて多分野の研究者がそれぞれの専門知を集結することにより，このような問いに対して力を合わせて取り組むことができる絶好のチャンスである。そのような取り組みにおいては，現在までの各分野の知見を踏まえつつも，それぞれの分野における因習や固定観念から自由になり，それぞれの研究者が，自らの直観と批判的精神を頼りに果敢に本質的な問いを見定めてそれに挑んでいくことが求められるだろう。この機会を逃してはならない.

## 4 これからの時代の計算言語学

本稿執筆者の一人である窪田は, (窪田 2019)の末尾において, 自然言語処理における深層学習の進展を参照した形での新しい言語研究が出てくることへの大きな期待を（旧態依然とした言語研究の現状に対する幾ばくかの諦念とともに）述べていた．今回のワークショップでは， その時点からわずか 4 年でまさしくそのような研究が，文字通り急速に，大学院生・若手研究者を含む幅広い世代，そして幅広い分野の研究者による，言語研究の最先端の流れの一つとして実際に動き始めていることを目の当たりにすることができた．本ワークショップがきっかけとなって, この分野の研究がさらに活発になり,「計算言語学の復興」とでも言えるような大きなうねりとなっていくことを期待したい.

## 謝 辞

ワークショップ発表者の皆様，参加者の皆様，また，招待講演の鈴木久美様に感謝いたします。また，当日の会場運営に関して言語処理学会第 29 回年次大会運営委員会から大きなお力添えをいただきましたことに感謝いたします.

## 参考文献

窪田悠介 (2019). 理論的研究とは? 衣畑智秀 (編), 基礎日本語学, pp. 260-283. [Y. Kubota (2019).

Rironteki Kenkyu towa? T. Kinuhata (Ed.), Basics of Japanese Linguistics, pp. 260-283.].

## 略厤

窪田悠介：2004 年東京大学総合文化研究科言語情報科学専攻修士課程修了. 2010 年オハイオ州立大学博士課程修了 (Ph.D. in Linguistics). 日本学術振興会 PD, 同海外特別研究員, 筑波大学助教を経て 2019 年 4 月より人間文化研究機構国立国語研究所准教授. 言語処理学会, 日本言語学会, 日本語文法学会各会員.

持橋大地：1998 年東大教養学部基礎科学科第二卒業, 2005 年奈良先端科学技術大学院大学情報科学研究科博士後期課程修了. 博士 (理学). ATR 音声言語コミュニケーション研究所, NTTコミュニケーション科学基礎研究所各研究員を経て, 2011 年より情報・システム研究機構統計数理研究所数理・推論系准教授. 言語処理学会, 人工知能学会, 日本統計学会各会員.