情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P01
2022/2/21

外国語語彙学習における意味的多様性の高い多義語用例の提示システム
江原遥1,a)

概要：外国語学習においては，多くの語を学習する事が必要になる．外国語の語と母語ではそもそもの使い方が異なるため，単純に語とその母語での翻訳を見せるのではなく，母語話者が実際に語を用いた箇所をテキストから抜き出して「用例」として提示することが重要である．さて，学習者が初期に学ぶ語の多くが，複数の異なる意味を持つ多義語である．意味が複数あり，それぞれよく使われる場合は，多様な用例を提示してくれることが望ましい．しかし，個々の用例の意味を人手で付与することはアノテーションコストの面から非現実的である．また，教育の目的では，意味付与を自動で行い学習者に提示するアプロー
チも，誤りを含む可能性があるため難しい．そこで，本研究では，用例に対して，意味的多様性を考慮した「主要度」を自動付与する手法を提案する．学習者は，主要度の高い順に用例を学ぶだけで，その語の多様な意味を学ぶことができる．提案手法は教師データを必要としないため，様々なドメインや言語に適用できる利点がある．まず，事前学習済言語モデルと転移学習の考え方を用いることで，語の出現（用例）ごとの意味を捉える文脈化単語埋め込みベクトル集合を語ごとに作成する．次に，各用例の文脈化単語埋め込みベクトルが外れ値である度合い（異常度）を計算する事で，各用例がどの程度重要な用例かを計算する．実際に日本語を母語とする英語学習者に対して，英語母語話者により妥当性が確認された多義語の語彙テストを行うことで知る限り初めて第二言語学習者の多義語の語彙知識に関する公開データセットを作成した．評価の結果，有望な結果を得た．

1. はじめに( 2 ) 覚えるべき主要な語義の出現と，例外的な語義の出現を分けて提示してくれる機能

外国語学習において，語彙学習は学習者が学ぶのに必要

しかし，このように．語の出現ごとに語義を付与したり，な時間が長いうえ，読解力をはじめとする全般的な語学力覚えるべきかどうかを判定する作業を，人手で行うことは，と相関が高いため，特に支援を要する．語彙学習の支援にアノテーションコストが高すぎ，非現実的である．

おいては，学習者が適切な語の使い方を学べるよう，各単語の各出現に対して自動的に語義を付与するタスクは，語の主要な使い方（用例）を学習者に提示したいニーズが古くから語義曖昧性解消（Word Sense Disambiguation，ある．母語話者の作文や発話を集めた大規模コーパスは，WSD）として研究されている．しかし，WSD の技術を直均衡コーパスなどの形で多くの言語で容易に入手可能であ接利用した上記機能の実現は，次の理由により難しい．まるので，こうしたコーパス中の，ある単語の出現のうち，ず，多くの WSD の研究は，一部の頻出語かつ多義語であどの出現が学習者が覚えるべき主要な用例に相当し，どのる語だけを対象にしている．一方，機能 1 は学習者が調べ出現が例外的であるのかがわかれば，学習者にとって有用たい全ての語に対して行える事が望ましい．全ての語を対と思われる．

象とした WSD である all-words WSD の研究は，比較的この時，単にコーパス中の当該単語の出現箇所を羅列す

少ない [17]．次に，WSD は，正確に語義を付与することがるのではなく，次のような提示を行うと，より語彙学習に主目的であり，WSD の技術からは，語義ごとの主要性（学有用であると予想される．

習上の優先度）を付与する機能 2 は直接的には実現されな( 1 ) 多義語については語義を考慮し，類似した語義を持つ

い．例えば，語義が 3 種類あり，そのうち 2 つは主要だが出現をまとめて提示してくれる機能

意味が似通っており，1 つの語義はほとんど出てこない場
合，学習者の観点からは，主要な 2 つの語義間の正確な分

1a)

東京学芸大学Tokyo Gakugei University, Tokyo Japan. 184–8501, Japan.
ehara@u-gakugei.ac.jp© 2022 Information Processing Society of Japan類よりも，各出現が主要な語義の出現であるのか，例外的であるのかの方に関心があると思われる．このように，語712

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P01
2022/2/21の各出現の主要性判定は，WSD からは直接実現される機究がまとめられている．また，外国語の語彙学習のための能ではなく，WSD とは異なる仕組みが必要になろう．最良い教育法については，応用言語学分野で研究されている．

後に，WSD のうち，人間のアノテータが人手で付与した例えば，類似した複数の語義の背後に核となる「コアミー語義ラベルを教師データとして用いる教師あり WSD の設ニング」があることを仮定し，これを核に，派生する意味定では，教師データ作成に，やはり高いアノテーションコを教える教育法などが提案されている．こうした応用言語

ストが必要になる問題がある．

学分野の知見については，[11] が詳しい．

語義については，近年，文脈を考慮して単語の各出現（用例）ごとに，異なる埋め込みベクトル表現を求める「文脈化2.2 複雑単語推定と既習語予測問題

単語埋め込み」の手法が，主に自然言語理解のタスクにおテキスト中で語学学習者にとって難しい語を探すタスク

いて大きなブレイクスルーを起こしており [2], [8]，語義曖

は，自然言語処理分野では Complex Word Identiﬁcation

昧性解消にもすでに利用されている [16]．文脈化単語埋め(CWI，複雑単語推定) と呼ばれる [7], [9]．複雑単語推定

込みベクトルは出現ごとの意味的情報を含んでいるため，は，必ずしも語学学習者が語を知っているかどうかには関上記の 1，2 の機能を実現する上で重要であると思われる．

わらず，母語話者や語学学習者が，他の語学学習者にとっしかし，文脈化単語埋め込みベクトルは，通常，数百次元て難しいと思われる語を発見するタスクである．これは，程度の高次元ベクトルであるため，そのまま提示しても外複雑単語推定の目的がテキスト簡単化であるため，語を国語学習者は理解できない．文脈化単語埋め込みベクトル

知っているかどうかは副次的な問題であるためと推測されを用いて，上記の 1，2 の機能を実現するためには，まず，る．複雑単語推定と類似しているが，異なる設定のタスク

文脈化単語埋め込みベクトルを次元圧縮し，可視化することして，学習者が知っている単語を探す既習語予測問題がとが必要になる．次に，1 の実現のため可視化空間でのク挙げられる．これは，覚えるべき語の学習者への提示を目ラスタリング，2 の実現のために各ベクトルの主要度の計的としている．既習語予測問題に関しては，[13] の報告が算の，3 種のタスクを行う必要があろう．この 3 種のタスある．この方法では，やはり，既習語予測問題をニューラクを同時に行う手法として，「教師なし深層異常検知」[10]ルなモデルとして定式化している．

が挙げられる．この手法では，深層学習によってデータを可視化次元に圧縮し，クラスタリングを行いながら，どのクラスタからも離れているデータ点を外れ値（異常）として検出する．

2.3 用例情報提示
語彙学習のために文脈化単語埋め込みに基づき，用例を提示する研究は，[4], [12], [13], [14] が挙げられる．このう

そこで，本研究では，文脈化単語埋め込み [2] と教師なち，[4], [12] では，単純に主成分分析（Principal Component

し深層異常検知 [10] に基づき，人手のアノテーション情報Analysis, PCA）を用いて 2 次元に可視化していたが，クなしで 1，2 の機能を実現することで，語の多義性・主要性ラスタリングは行われておらず，どの単語がどの程度重要を学習者に提示する手法を提案する．また，本研究のためかも示されていない．に，著者が知る限り初めて，第二言語学習者の語義ごとの学習者の単語テストのデータから，文脈化単語埋め込み語彙知識を確認するテストを英語母語話者のチェックのもの可視化自体を学習する方法はあるが [5], [13]，単純に線形と作成し，データセットを作成した．

写像が用いられており，本稿で述べる非線形な可視化は行

本稿の貢献は，提案手法の有用性を定性的に示したことわれていない．[14] では，深層異常検知と単語テストデーである．具体的には，“period” という 1 つの主要な語義とタを組み合わせて可視化を学習するモデルが提案されてい1 つの例外的な語義を持つ語に対して，主要性と例外性がるが，実験結果の可視化例は言及されていない．

提案手法により認識されることを示した．また，“ﬁgure”という複数の主要な語義を持つ語に対して提案手法を適用

3. 深層異常検知することで，提案手法により，WSD などと異なり，複数深層異常検知の近年の代表的な手法として，DAGMM[10]の主要な語義が適切に「主要」と判定されていることを示が挙げられる．DAGMM は，クラスタリング手法として有したことである．また，“seven-ﬁgure” と “six-ﬁgure” とい名な混合ガウスモデル（Gaussian Mixture Model, GMM）

う，使用頻度に差があると思われる表現が，それぞれ，前を深層化し，異常検知の機能を持たせた手法である．高次者が例外，後者が主要，と，直感に沿う形で主要性が認識

元ベクトルを次元圧縮し，低次元表現で GMM に基づくクされていることも示した．

ラスタリングをした上，直感的には各クラスタ中心からの2. 関連研究
2.1 語彙学習支援システム
語彙学習支援システムについては，[15] に詳細な関連研© 2022 Information Processing Society of Japan

距離の和として理解できる「エネルギー値」を計算し，どのクラスタ中心からも遠い点を異常として検知する．語義
曖昧性解消に関連して，文脈化単語埋め込み表現をクラスタリングして，各クラスタを語義とみなしてまとめる手法

713

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P01
2022/2/21が提案されている [16]．GMM はクラスタリングの代表的な手法であるため語義曖昧性解消の既存研究との親和性・解釈性を考慮して，DAGMM を選択した．DAGMM は自然言語処理では応用例は少なく，知る限り他に固有表現抽出での応用例があるのみである [6]．

DAGMM は，入力ベクトル x をオートエンコーダを用いて低次元表現 z に変換し，z から x を再構成する深層学習モデルである．再構成したベクトルを x′ = g(z c ; θd )とし，低次元表現を z c = h(x; θe ) とする．再構成したベクトルと元の入力の近さを測る関数を z r = f (x, x′ ) とする．ここで，この近さとしては複数の関数が利用できる．

DAGMM の特徴は，低次元表現と再構成の誤差をつなげた z = [z c , z r ] を最終的な潜在表現として利用することで図 1ある．再構成の誤差が，潜在表現空間での距離に直接影響“period” の 3 次元の可視化．色が濃いものが外れ値と判定されている．この図を真上から見た図が図 2，図 3 である．

する．潜在表現のクラスタリングは，典型的な GMM の表記にならい，式 (1) で定義される．ここで，K はクラスタ数，N はデータの数，MLN は Multi Layer Network の略である．また，クラスタ k の混合係数は式 (2)，平均と分散共分散行列は式 (3) となる．

p = M LN (z; θm ), γ̂ = softmax(p)ϕˆk =NXγ̂ikN(1),(2)i=1PNPN⊤
γik z iik (z i − µ̂k ) (z i − µ̂k )i=1 γˆ
µˆk = Pi=1,
Σ̂
=PNk
N
i=1 γik
i=1 γ̂ik

図2“period” の主要な用例．丸い各点は，“period” の各用例（コーパス中の各出現）に対応する．大まかには意味的に近い点同士が図上でも近く表される．各点の色は例外的である度合い（エネルギー値）を表し，緑色ほど例外的，赤色ほど主要と判定さ(3)れている．強い緑色は外れ値と判定され，十字で表される（閾ある入力 x の潜在表現 z について，これが異常である値は自動調整される）．右下の赤い点が多く集まる部分にある，度合いは，式 (4) のエネルギー関数の値であらわされる．

灰色の▲が基準点であり，基準点からの距離が近い点 10 点に

これは，直感的には，k 番目のクラスタの中心 µ̂k から Σk

対応する用例が，テキストの形で右側に示されている．テキスを用いて z への距離を測り，全クラスタからの距離の和がトの前の数値は，実際の各用例のエネルギー値である．本稿の用例は，全て BNC[1] から取得した．

大きい z を異常と判定していると解釈できる．もちろん，「異常」の比率はデータに依存する．[10] の例では，単純に，エネルギー値上位 20% を異常と判定している．

E(z) = − log KXexp
ϕ̂k⊤− 12 (z − µ̂k ) Σ−1k (z − µ̂k )k=1r

2π Σ̂k(4)

訓練は，ニューラルネットワークのパラメタ θe , θd , θmに対して，下記の目的関数を最小化することで行う．L は

図 3“period” の例外的な用例．例外的と判定された緑色の点に合ベクトルの再構成に関する損失関数，P は罰則項であり，わせて基準点を設定し，この緑色の点に対応するテキストが，λ はハイパーパラメタである．

右側の一番上に表示されている．

J(θe , θd , θm ) =N
N
λ1 X
1 X
L(xi , x′i )+E(z i )+λ2 P (Σ̂)(5)
N i=1
N i=1

4. 実験結果
イギリス英語母語話者による英語の均衡コーパスとし© 2022 Information Processing Society of Japanて，代表的な British National Corpus（BNC）のうち，10万文に対して BERT[2] を適用し，最も上位の層（出力に近い層）から文脈化単語埋め込みベクトルを得た．BERT モデルとしては，bert-base-uncased を用いた*1 ．文脈化
*1

https://github.com/huggingface/transformers714

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P012022/2/21[13] との比較のため，“period” という語を例に議論する．図 1 に，DAGMM による用例の潜在表現 z を 3 次元で表示した．ここでは，色が濃いほど，エネルギー値が高く，外れ値であると判定されている．紙面での見やすさを考慮して．z のうち最初の 2 次元分を用い，図 2 と図 3 に“period” の語の用例の可視化例を示した．対象の 10 万文
中，“period” は 376 回出現した．各点が “period” の各出
現の文脈化単語ベクトルを 2 次元座標上で表現したもので
図 4“ﬁgure” の主要な用例その１．丸い各点は，各用例（コーパあり，各出現に対応している．各点の色は式 (4) であらわ

ス中の各出現）に対応する．▲を濃い赤の部分（主要）な用されるエネルギーの値を表す．この値は高いほど例外的，例に合わせた．テキスト中の数値からも，主要な用例と判定

すなわち，緑色ほど例外的と判定されている．逆に赤いとされていることが分かる．数値（桁数）の意味の “six-ﬁgure

ころほど例外的ではない，主要な用例と判定されており，mile”，人物の意味の “child-like ﬁgure”，「人目を引く」という慣用句の “cut a ﬁgure”，など，主要と判定された，多義語“ﬁgure” の用例が意味的に多様であることが分かる．

直感的にはヒートマップと解釈できる．
横軸・縦軸は，それぞれ，DAGMM の潜在空間表現 z の第 1 次元，第 2 次元である．灰色の三角形の点は基準点であり，この点に図上で最も近い順に，10 点を並べ，これに対応するテキスト 10 件が，用例として右側に提示されている．用例の左側にあるのは，実際に計算されたエネルギー値である．基準点はマウスでドラッグして動かせるようになっており，学習者は興味のある点の近くに基準点を移動させることによって，どのような用例があるのかを把握できる．
まず，図 2 を見ると，2 つのクラスタに分かれていることがわかる．この可視化が，各用例の語義を反映していれ

図 5“ﬁgure” の主要な用例その 2．▲を濃い赤の部分（主要）な用例に合わせた．テキスト中の数値からも，主要な用例と判定されていることが分かる．

ば，学習者にとって，「はじめに」で説明した，1 の機能のためには有用であろう．しかし，元の高次元ベクトルを 2次元で表現することは難しく，各クラスタが語義を反映していないこともある．可視化・クラスタリングの観点では有用でない結果であっても，学習者にとっては，学習の優先度が高い用例が示されていれば，2 の機能の観点では有用であろう．図 2 では，各点の属しているクラスタに関わらず，クラスタの中心部分が赤く，クラスタの端の部分が外れ値として判定されていることがわかる．図 2 には，基準点をクラスタの中心部分に置いた場合の例を示す．基準点の周りの，「期間」という広く知られた意味の “period”

図6“ﬁgure” の例外的な用例．▲を濃い緑の部分（例外的）な用例の用例が右側に並べられている．このように，深層異常検に合わせた．テキスト中の数値からも，例外的な用例と判定さ知によって，異常度が低い語を，語の主要な用例として提れていることが分かる．

示する事が可能であることが示されている．

単語埋め込みベクトルの次元数は 768 である．入力された

4.1 “period” の例

単語に対して，対象データ中の全単語の出現と，各出現に

図 3 には，緑色の例外的な用例の例を示す．右側には対応する文脈化単語埋め込みを取得できるようにした．

“light or missed period” という用例が出ている．“period”

実装は，第三者によって公開されている DAGMM のには，「期間」という意味の他に，「生理」という意味があPyTorch 実装をもとに行った*2 ．訓練のハイパーパラメタ

り，これは「軽い，または来なかった生理」と訳されるものは，次元数の他は，この実装で用いられているものと同一である．この意味での “period” は，少なくとも “period”とした．特に，DAGMM のクラスタ数は 4 と設定されての主要な用例ではなく，例外的な用例と判定されているいる．

ことがわかる．また，この例外的と判定された用例でも，*2“period” は名詞として使われており，固有表現の一部など

https://github.com/danieltan07/dagmm© 2022 Information Processing Society of Japan715

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

5P01
2022/2/21

でもない．従って，この用例は，品詞推定や固有表現抽出

数値の意味での “ﬁgure” も主要な用例として提示されてを用いて捉えることは難しい．

おり，人物の意味での “ﬁgure” と数値の意味での “ﬁgure”

生理の意味での “period” が例外的と判定されたのは，単どちらも主要な用例として判定されていることが分かる．

純に，このコーパスの中でその意味で使われることが少な

図 5 では，どちらかというと人物の用例が多いように見受かったからであると思われることに注意されたい．提案手けられ，人物の用例が固まっていることが示唆される．

法は，対象とするコーパスの意味的な外れ値を探している

図 4 では，参照点▲を別の濃い赤の部分に異動させるこだけである．逆に，医療コーパスのように，医学的な意味とで，他の主要な用例を提示させている．ここでは，“theでの単語が主要なコーパスを対象にすれば，生理の意味のsame ﬁgure as forecast”（予想と同じ数値）や，“estimated“period” が主要な結果になることもあり得る．このようharvest ﬁgure”（推定される収穫量）のように，数値の意味に，医療を英語で学ぶ学生のための語彙学習支援，というでの “ﬁgure” が固まっていることが分かる．一方，“ﬁgureような，非常に speciﬁc な要件であっても，その要件を満

lurking behind”（〜の後ろに潜む人物）のように，人物のたすコーパスが学習対象言語中に存在していれば，適応的意味の “ﬁgure” もあり，どちらの用例も学習上重要であるに支援することが可能であることが提案手法の利点の１つ判定されていることが分かる．

である．

最後に図 6 に，例外的と判定された用例の “ﬁgure” を示

最後に，各単語の異常度の閾値をパラメタとして，閾値す．この例では，“seven-ﬁgure” や “authority-ﬁgure” のよ未満の出現のみを単語頻度とみなし頻度修正を行いながらうに，単純に珍しい使われ方をしている用例が例外的と判学習する多層ロジスティック回帰 [14] を実装し，間接的な定されている．これは，BERT も近隣の語の出現パターン精度評価を行った．100 語種について 100 人をテストしたから文脈化単語埋め込みベクトルを生成するので，単純に単語テストデータ [3] を用い，23 語 ×100 人，計 2, 300 件

単語の組み合わせがなかなか出てこない用例が例外的と判を訓練，10 語 ×100 人，計 1, 000 件をテストに用い，学習定されているものと思われる．“seven-ﬁgure” が例外的で者の単語テストの正答/誤答の予測精度を用いて評価した．

あるのに対して，その下の “six-ﬁgure” は主要と判定されてBNC 中の単語頻度をそのまま特徴量に用いた場合と，異いるが，これは “six-ﬁgure salary” や “six-ﬁgure income”

常度を用いた頻度修正を行った場合では，どちらも精度はという，年間の給与額が 100,000 米ドル/ポンド以上の高0.75 であった．従って，提案手法は既存手法と同等の精度給を表す表現が米国/英国に存在するため，“six-ﬁgure” とを達成しながら，図 2 や図 3 に示す詳細な分析が可能であいう単語のパターンの頻度が “seven-ﬁgure” より高く，主ることが示された．

要と判定された可能性がある．

4.2 “ﬁgure” の例

5. 分析とデータセット作成“period” は，時代という日本語では別の言葉で表される

図 2 は，2 つのクラスタに分かれている．この可視化が，場合があるにせよ，ほとんどの場合，ある長さの時間（期各用例の語義を反映している事が保証できれば，学習者に間）を表しており，BNC という均衡コーパス中では，「生とって有用であろう（「はじめに」の機能 1）．しかし，人理」という意味はごく少数であった．もう一つの例として，手の語義のアノテーションを用いない手法である以上，各“ﬁgure” の例を示す．“ﬁgure” も英語学習者が初期に学ぶクラスタが語義によって分かれていることを保証すること重要単語でありながら，主要な意味に「数字」や「人物」は難しい．クラスタリング結果が必ずしも語義を反映してなどの様々な意味が現れる単語である．どの意味も同程度いなくとも，学習の優先度が高い用例であれば学習すべきに重要なため，語彙学習支援の場においては，語彙曖昧性ことに変わりはなく，主要度の表示は機能 2 の観点では学解消などと異なり，主要な用例として，どの意味も現れて習者に有用であろう．図 2 では，各点の属しているクラスほしいという状況がある．

タに関わらず，クラスタの中心部分が赤く，クラスタの端

図 5 に，参照点▲を濃い赤の部分に異動させ，“ﬁgure”の部分が外れ値として判定されていることがわかる．図 2の主要な用例のリストを表示させた．この図では，以前のには，基準点をクラスタの中心部分に置いた場合の例を示図と少し異なり，例外的と判定された用例（E(z) が閾値以す．基準点の周りの，「期間」という広く知られた意味の上である用例）を “+” 表記で表すことで，例外であるこ“period” の用例が右側に並べられている．とを明示している．用例の前に示される数値が正の場合が

図 3 に，基準点を例外的な用例に合わせた例を示す．右

例外的，負の場合が主要と判定されている．この例では，側には “light or missed period” という用例が表示されて“mythical ﬁgure”（神話上の人物）や，“charismatic ﬁgure”

いる．“period” には，「期間」という意味の他に，「生理」（カリスマ的な人物）のように，人物としての “ﬁgure” がという意味があり，これは「軽い，または来なかった生理」▲の近くに表示され，主要な用例として提示されている．と訳されるものである．この意味での “period” は，BNC一方，“provisional ﬁgure”（暫定的な数字）というように，の中では使用例が少ないためか，例外的な用例と判定され© 2022 Information Processing Society of Japan716

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

表 1
語

5P01
2022/2/21

各語の例外的/主要な用例のリスト

中で使われる “ﬁgure” という語の外れ値なども求めること

単語頻度

主要な用例

例外と判定された用例

time

2,863

2,753

110

see

1,359

1,288

71

period

376

368

8

poor

275

269

6

MJAX2006)，ならびに日本学術振興会科学技術研究費補deﬁcit

137

136

1

助金（18K18118）の支援を受けた．また，産業技術総合研

restore5352

1

究所の AI 橋渡しクラウド (ABCI) を使用した．

olive

43412

ubiquitous

13

130

retro

13130

weep

880ていることがわかる．また，この用例の “period” は名詞でができる．今後の課題としては，他ドメインや多言語への展開が挙げられる．
謝辞 本研究は，科学技術振興機構 ACT-X 研究費 (JP-参考文献
[1][2][3]あり，固有表現の一部などでもない．従って，この用例は，品詞推定や固有表現抽出など他の自然言語処理技術を用い[4]て捉えることは難しい．“period” のこの 2 用例の比較のため，複数の英語母語話者の確認の元，両者の意味を問うテストを作成し，クラウドソーシング上で 235 人の被験者から回答を得た．期間の “period” の正答者は 180 人，生理の “period” の正答者は 76 人であり，後者が明らかに難し[5]いことから，異常度が低い用例が直感的にも語の主要な用例であることが質的・量的に示された．全体で 13 語の主[6]

要/非主要な語義を各々学習者に問い，平均正答率は主要[7]

語義で 68.2%，非主要語義で 39.8%であった．このデータや詳細な関連実験については，http://yoehara.com/ に公開予定である．

[8]

表 1 に，提案手法により判定された，各語の用例のうち主要な用例の単語頻度を記す．提案手法における各単語[9]の異常度の閾値は，学習者に対する語彙テスト結果データ（100 語種について 100 人をテストしたもの [3]）を用いて自動的に調整した．23 語 ×100 人，計 2, 300 件を訓練，10[10]

語 ×100 人，計 1, 000 件をテストに用い，学習者の語彙テストの正答/誤答の予測精度を用いて評価した．BNC 中の単語頻度をそのまま特徴量に用いた場合と，異常度を用いた頻度修正を行った特徴量を用いてロジスティック回帰で予測したところ，どちらも精度は 0.75 であった．従って，提案手法は既存手法と同等の精度を達成しながら，図 2 や[11][12][13]

図 3 に示す詳細な分析が可能であることが示された．

6. おわりに
本稿では，語の用例を，多義性を考慮して視覚的に提示できる，教師なし深層異常検知に基づく外国語の語彙学習
支援 UI を提案した．提案手法は，修正前後の用例数を特徴量に用いた精度評価では従来手法と同等精度でありながら，主要な用例，例外的な用例を適切に認識できる事を，データセット作成を交えた評価で示した．

[14]

[15]
[16]
[17]

BNC Consortium: The British National Corpus (2007).
Devlin, J., Chang, M.-W., Lee, K. and Toutanova, K.:
BERT: Pre-training of Deep Bidirectional Transformers
for Language Understanding, Proc. of NAACL (2019).
Ehara, Y.: Building an English Vocabulary Knowledge Dataset of Japanese English-as-a-Second-Language
Learners Using Crowdsourcing, Proc. of LREC (2018).
Ehara, Y.: An Approach to Summarize Concordancers’
Lists Visually to Support Language Learners in Understanding Word Usages, Proc. of the 1st Workshop on
Interactive Natural Language Technology for Explainable Artiﬁcial Intelligence (NL4XAI), (online), DOI:
10.18653/v1/W19-8407 (2019).
Ehara, Y.: Semantically Adjusting Word Frequency for
Estimating Word Diﬃculty from Unbalanced Corpora,Companion Proc. of LAK (2020).
Luo, Y., Zhao, H. and Zhan, J.: Named Entity Recognition Only from Word Embeddings (2019).
Paetzold, G. and Specia, L.: SemEval 2016 Task 11:
Complex Word Identiﬁcation, Proc. of SemEval-2016,(online), DOI: 10.18653/v1/S16-1085 (2016).
Peters, M., Neumann, M., Iyyer, M., Gardner, M., Clark,C., Lee, K. and Zettlemoyer, L.: Deep Contextualized
Word Representations, Proc. of NAACL-HLT, (online),
DOI: 10.18653/v1/N18-1202 (2018).
Yimam, S. M., Biemann, C., Malmasi, S., Paetzold, G.,
Specia, L., Štajner, S., Tack, A. and Zampieri, M.: A
Report on the Complex Word Identiﬁcation Shared Task
2018, Proc. of BEA (2018).
Zong, B., Song, Q., Min, M. R., Cheng, W., Lumezanu,C., Cho, D. and Chen, H.: Deep Autoencoding
Gaussian Mixture Model for Unsupervised Anomaly
Detection, Proc. of ICLR, (online), available from⟨https://openreview.net/forum?id=BJJLHbb0-⟩ (2018).
中田達也： 英単語学習の科学，研究社 (2019).
江原遥： 文脈を考慮した視覚的な語彙学習支援，NLP 若手の会第 14 回シンポジウム (2019).
江原遥： 文脈化単語表現空間上の範囲の学習による語の多義性を考慮した頻度計数法，第 243 回自然言語処理研
究発表会予稿集 (2019).
江原遥： 深層異常検知に基づく多義語のコアミーニングを考慮した既習語予測モデルの定式化，言語処理学会年次大会予稿論文 (2020).
江原遥： 語彙学習支援システム（私のブックマーク），人工知能学会誌，Vol. 35, No. 2, pp. 296–300 (2020).
芦原和樹，梶原智之，荒瀬由紀，内田諭： 多義語分散表現の文脈化，自然言語処理，Vol. 26, No. 4 (2019).
鈴木類，古宮嘉那子，浅原正幸，佐々木稔，新納浩幸： 概念辞書の類義語と分散表現を利用した教師なし all-words
WSD，自然言語処理， Vol. 26, No. 2 (2019).

提案手法は教師データを必要としないため，様々なドメインや言語に適用できる利点がある．例えば，科学論文の© 2022 Information Processing Society of Japan717