⾔語処理学会第30回年次⼤会 併設ワークショップ JLR2024 ⽇本語⾔語資源の構築と利⽤性の向上

⽇本語埋め込みモデル評価ベンチマークの構築

Shengzhe Li, ⼤萩雅也, 李凌寒
SB Intuitions株式会社

2024-03-15

⽬次
マスター タイトルの書式設定

1. 埋め込みモデルとは
2. MTEB: 英語での評価ベンチマーク
3. ⽇本語埋め込みモデル評価ベンチマーク(JMTEB)の構築
4. JMTEBによる既存の埋め込みモデルの分析

2

1. 埋め込みモデルとは

3

埋め込みモデルとは⼀⾔で⾔えば，テキスト(単語/⽂)を埋め込み(embedding)表現に変換するモデルを指す• 単語レベル: Word2Vecなど• ⽂レベル: SentenceBERT

Figure: https://huggingface.co/blog/1b-sentence-embeddings4埋め込みモデルはなぜ重要• 類似⽂検出

例: 最近流⾏っているRAG• クラスタリング• 情報検索•…

Figure: https://towardsdatascience.com/retrieval-augmented-generation-rag-from-theory-to-langchain-implementation-4e9bd5f6a4f2

5

⽂埋め込みモデル構築⼿法の進化

SentenceBERT (Reimers+, 2019)

SimCSE (Gao+, 2021)

E5 (Wang+, 2022)• 類似する⽂章のペアを学習データとし，似た⽂章同⼠のベクトルも類似度が⾼いようにBERTを微調整する⼿法• Contrastive learning (対照学習)を⽤いてBERTをfinetuningする• ⼤規模なqueryとpassageのペア（主にweb crawling）を収集し，事前訓練データセットとして、埋め込みモデルを構築する

Reimers, N., & Gurevych, I. (2019). Sentence-bert: Sentence embeddings using siamese bert-networks. arXiv preprint arXiv:1908.10084.
Gao, T., Yao, X., & Chen, D. (2021). Simcse: Simple contrastive learning of sentence embeddings. arXiv preprint arXiv:2104.08821.
Wang, L., Yang, N., Huang, X., Jiao, B., Yang, L., Jiang, D., ... & Wei, F. (2022). Text embeddings by weakly-supervised contrastive pre-training. arXiv preprint arXiv:2212.03533.

6

2. MTEB: 英語での評価ベンチマーク

7

MTEBとはマスター タイトルの書式設定
英語*ではMTEB (Massive Text Embedding Benchmark)という評価ベンチ
マークが存在しており，埋め込みモデルの評価に広く使われている。

* ⼀部のタスク (論⽂発表当初，図の中紫⾊で表記されたもの。現在は拡充されている。) は多⾔語対応。

8

MTEBの設計理念
マスター タイトルの書式設定
Diversity• タスク種類の多様化

Simplicity• 簡単なAPIで実⾏できること• 各タスクにおいてデータセットが複数あること• ⽂レベルと段落レベル，⻑いと短い⽂など様々なテキスト形式があること

Extensibility• 新データセットが容易に追加できること

Reproducibility• 容易に再現できること

Muennighoff, N., Tazi, N., Magne, L., & Reimers, N. (2022). MTEB: Massive text embedding benchmark. arXiv preprint arXiv:2210.07316.

9

MTEBを構成するタスク
マスター タイトルの書式設定
タスク名

データセット数

概要

Clustering

11(意味, 話題などにより)近い⽂書を同⼀クラスタに，遠い⽂書が異なるクラスタにまとめる

Classification

12

各⽂書もしくはドキュメントの埋め込みを使い，どれほど綺麗にクラス分類ができるかを測る

STS

10

⽂書ペアの類似度を測る

Pair Classification

3

⽂書のペアに対して割り当てられたラベルを予測する

Retrieval

15

queryに対して，corpus内から適切なpassageを取り出す

Reranking4query, relevant documents, irrelevant documentsが与えられたときに，queryからの類似度をもとにこれらのdocumentを並び直すタスク

Summarization1

あるドキュメントを⼈⼿要約したものと機械要約したものの類似度を測る

Bitext Mining2

意味が同じ⽂書を複数⾔語で表したものを同⼀と看做せるかを測る

合計

58

10

3. ⽇本語埋め込みモデル評価ベンチマークの構築

11現状の⽇本語埋め込みベンチマークの問題点
マスター タイトルの書式設定• MTEBのような統⼀的 & タスク横断的なベンチマークが存在しない• 結果として...
o 各モデルごとに違うベンチマークでの結果が報告されがち§ 例えば• cl-nagoya: JSICK (test), JSTS (dev)• pksha: JSTS (dev), AIO 3

o どのモデルがどのタスクに強いのかの分析が難しい§ STSタスクに強いからといって検索タスクにも応⽤可能かはわからない§ 数とドメインが限られた評価タスクで出した評価結果ではモデルの性能の汎⽤性がわからない§ モデル間の性能⽐較が難しい

12

本発表の貢献
マスター タイトルの書式設定• MTEBの⽇本語版である JMTEB (Japanese Massive Text
Embedding Benchmark)を構築，公開• HuggingFace: https://huggingface.co/datasets/sbintuitions/JMTEB• 多様なタスク上での横断的な評価を実現

dataset• JMTEBの評価⽤スクリプトを公開• JMTEB上でそれぞれのモデルを簡単に評価できるようなコードを公開• GitHub: https://github.com/sbintuitions/JMTEB

code

13

JMTEBの概要
マスター タイトルの書式設定• 多様なタスクで評価するため5つのタスクを設定• 多様なドメインで評価するために様々なドメイン(e.g. 商品レビュー，論⽂情報)から
データセットを収集
タスク名

データセット数（3/10現在）

タスク概要

Clustering2

意味が近い⽂章を同じクラスタに、遠い⽂章を異なるクラスタにまとめる

Classification

4

⽂章がどのクラスに属するかを分類する

STS

2

⼆つの⽂章の類似度を測るタスク

Pair Classification

1

⼆つの⽂章のペアに割り当てられたラベルを予測する

Retrieval6

特定のクエリから関連するドキュメントを検索する

Appendix. Aにて，データセットごと詳細な統計データを紹介する。
Appendix. Bにて，評価指標の詳細について紹介する。

14

JMTEB:
マスターClustering
タイトルの書式設定• 意味が近い⽂書を同⼀クラスタにまとめるタスク

埋め込みモデル

クラスタリング

⽂書集合(ラベル付)
モデルによりテキストの埋め込み表現を導出

ラベルと照らし合わせてクラスタリングを評価

応⽤先: レビューの分析，顧客分析
15

JMTEB:
マスターClustering
タイトルの書式設定• 収集データ
データセット

ラベル数

データ数
train/dev/test

中⾝

Livedoor-News

9

5,163/1,106/1,107

Livedoorニュースデータセット。2012年に株式会社ロンウ
イットにより収集した，トピック別のニュース記事。

-/992/992

Wikinewsから作ったMultilingual Short Text Clustering
Dataset for News in 16 languagesの⽇本語部分。記事のトピックにより12分類されている。

MewsC-16-ja

12

16

JMTEB:
マスターClassification
タイトルの書式設定• テキストをそれぞれが属するクラスに分類するタスク
埋め込みモデル
この商品は⾮常に質が悪いです。損しました。
テキスト

Logistic Regression*

ポジティブ

…
ネガティブ
⽂書ベクトル

予測分類

応⽤先: レビューの分析，顧客分析* このタスクでは埋め込みは固定した上でlogistic layerの学習を⾏うためtraining dataを必要とする

17

JMTEB:
マスターClassification
タイトルの書式設定• 収集データ
データセット

ラベル数

データ数
train/valid/test

AmazonCounterfactualClassification25,600/466/934

Amazonの商品レビュー⽂に事実と反するものを検出 (詳細)AmazonReviewClassification

5200k/5k/5k

Amazon商品のレビュー⽂のスター数(1~5)を予測

MassiveIntentClassification

60

11,514/2,033/2,974

Alexaのユーザ発話の意図を60種類に分類

MassiveScenarioClassification

18

11,514/2,033/2,974

Alexaのユーザ発話のシナリオを18種類に分類

中⾝

18

JMTEB:
マスターSTS
タイトルの書式設定• ⼆つの⽂書の類似度(0~1の間の⼩数値)を測るタスク

あの湖の辺りに⽩⿃がいますよ

埋め込みモデル

類似度測定

0.94
⽩⿃が湖にいます

応⽤先: ⽂書間の⼀致判定

19

JMTEB:
マスターSTS
タイトルの書式設定• 収集データ

データセット

データ数
train/test

JSTS

12,451/1,457

JSICK

7,941/1,986

概要
⼆つの⽂書間の類似度を測る

20

JMTEB:
classification
マスターPair
タイトルの書式設定• ⼆つの⽂書の組み合わせがどのようなクラスに属するかを分類する

あの湖の辺りに⽩⿃がいますよ

⽩⿃が湖にいます

埋め込みモデル

類似度を閾値で判定

⾔い換え
⾔い換えでない21

JMTEB:
classification
マスターPair
タイトルの書式設定

データセット

ラベル数

データ数
train/dev/test

中⾝

PAWS-X-ja

2

49,401/2,000/2,000

PAWS-X(⾔い換え表現判定データセット)の⽇本
語部分

22

JMTEB:
マスターRetrieval
タイトルの書式設定• ⽂書集合から⼊⼒クエリに最も関連する⽂書を導き出す

⽂書集合

…
…
…
…
…

⼊⼒クエリ

…

埋め込みモデル

クエリと各⽂書の類似度を測定最も関連する⽂書

応⽤先: FAQ, RAG (検索つき⽣成)

23

JMTEB:
マスターRetrieval
タイトルの書式設定
データセットquery件数
dev/test

corpus件数

概要

JAQKET (AIO ver.1)

995/997

114,229

クイズ題材のQA。問題⽂を⼊⼒クエリとし，関連する⽂書をwikipediaの記事から検索する。

Mr.TyDi-ja

928/720

7,000,027

問題⽂をコーパス(約700万⽂)に照らし合わせ，
答えが含まれる⽂を抽出する。

JaGovFaqs-22k

3,419/3,420

22,794NLP Journal title-abs
NLP Journal title-intro
NLP Journal abs-intro

-/504

504

⽇本の官公庁のWebサイトに掲載されている「よくある質問」を抽出したもの。
⾔語処理学会論⽂誌LaTeXコーパスから抽出し，我々が構築した，論⽂のタイトル，概要⽂とイントロ (1st section)。Query (title or
abstract)を与え，同じ論⽂のabstract or
introductionをコーパスから最⼤類似度基準で
抽出する。

24

データセット・ドメインの多様性
マスター タイトルの書式設定
⼀般ドメイン
JSTS
JSICK

スマート
スピーカー指令

MassiveIntentClassification
MassiveScenarioClassification

ニュース

FAQ

Livedoor News

JaGovFaqs-22k

ドメインの多様性
百科知識

学術

PAWS-X-ja
JAQKET
Mr.TyDi-ja
MewsC16-ja

NLP Journal x 3

商品レビュー
AmazonCounterfactualClassification
AmazonReviewClassification

25テキスト形式の多様性
マスター タイトルの書式設定
⽂章レベル(passage)

⻑

JAQKET (corpus)
NLP Journal (introduction)
Livedoor NewsNLP Journal (abstract)
Mr.TyDi-ja (corpus)
JaGovFaqs-22k (corpus)
MewsC16-ja
AmazonReviewClassification

段落レベル(paragraph)

⽂レベル(sentence)

PAWS-X-ja
AmazonCounterfactualClassification

短JAQKET (question)
JaGovFaqs-22k (question)
JSTS, JSICKNLP Journal (title)
Mr.TyDi-ja (question)
MassiveIntentClassification
MassiveScenarioClassification

26

JMTEB:
マスター評価コード
タイトルの書式設定• 各データセット上での埋め込みモデルの結果を簡単に分析できる評価コードを商⽤利⽤可能で公開: https://github.com/sbintuitions/JMTEB• 以下のようなコマンドだけで，評価結果まで出⼒することができる{
poetry run python main.py ∖--embedder SentenceBertEmbedder ∖--embedder.model_name_or_path "sbintuitions/model-name" ∖--save_dir "results"}"Clustering": {"livedoor_news": {"v_measure_score": 0.5163},"mewsc16_ja": {"v_measure_score": 0.5270}},"STS": {"jsts": {"spearman": 0.8169},"jsick": {"spearman": 0.7798}
},
...

27

JMTEB:
マスターまとめ
タイトルの書式設定• MTEBの⽇本語版を作成
o 合計5タスク，15データセットで様々な側⾯から埋め込みモデルを評価できる
o 今後も継続的にデータセットを追加していく予定• 評価コードも公開する• JMTEBを⽤いることでどういう分析ができるかを次の章で解説

28

4. JMTEBによる既存の埋め込みモデルの分析

29

全体の評価結果
マスター タイトルの書式設定
ModelClassification平均

Clustering平均

73.47
52.98
• (OSSモデルの評価スコアを表で載せる)

cl-nagoya/sup-simcse-ja-base

STS平均

PairClassification平均

Retrieval平均

15タスク
の平均

82.05

62.62

49.81

61.69

cl-nagoya/sup-simcse-ja-large

73.73

50.10

83.44

62.53

38.11

56.88

cl-nagoya/unsup-simcse-ja-base

73.07

44.58

78.85

62.44

40.85

56.44

cl-nagoya/unsup-simcse-ja-large

74.66

46.20

80.78

62.51

41.34

57.54

pkshatech/GLuCoSE-base-ja

76.83

49.53

78.72

66.50

59.29

65.74

pkshatech/simcse-ja-bert-base-clcmlp

71.30

44.50

76.96

62.51

37.15

54.23

sonoisa/sentence-luke-japanese-lite

76.11

36.29

80.62

62.46

40.21

56.13

oshizo/sbert-jsnli-luke-japanese-base-lite

72.83

51.04

76.60

62.44

42.55

57.62

MU-Kindai/Japanese-SimCSE-BERT-base-sup

72.76

46.68

74.66

62.44

41.47

56.33

MU-Kindai/Japanese-SimCSE-BERT-base-unsup

73.30

46.02

77.50

62.57

46.77

58.89

MU-Kindai/Japanese-SimCSE-BERT-large-sup

73.47

43.28

78.28

62.51

41.29

56.48

MU-Kindai/Japanese-SimCSE-BERT-large-unsup

73.13

43.56

78.99

62.50

47.68

59.08

MU-Kindai/Japanese-DiffCSE-BERT-base

73.77

44.52

75.50

62.47

42.18

56.71

MU-Kindai/Japanese-MixCSE-BERT-base

61.85

43.43

77.05

62.51

42.76

53.83

sentence-transformers/LaBSE

72.66

44.38

76.56

62.42

39.61

55.51

intfloat/multilingual-e5-small

67.62

51.88

80.08

62.42

67.60

66.83

intfloat/multilingual-e5-base

69.30

48.91

79.84

62.42

68.41

67.17

intfloat/multilingual-e5-large

72.89

47.62

79.70

62.42

71.11

69.02

30

評価タスクを拡張すると何が変わる
マスター タイトルの書式設定
分析例1: 直感が必ず正しいわけではない
model

STS

Clustering

Classification

Retrieval

JSTS

JSICK

Livedoor News

AmazonReview

JAQKETNLP Journal title-abs

cl-nagoya/sup-simcse-ja-base

80.85

82.83

55.01

40.97

50.21

66.36

cl-nagoya/sup-simcse-ja-large

83.08

83.80

46.50

41.85

39.84

27.72

cl-nagoya/unsup-simcse-ja-base

78.95

78.49

52.25

44.70

39.47

57.16

cl-nagoya/unsup-simcse-ja-large

81.41

80.15

45.17

44.64

34.62

64.76

• 直感 + STSのみで評価する（⾚い枠内の結果しか知らない）場合の知⾒• largeがbaseより性能良い• supがunsupより性能良い• ベンチマークで評価する（全⾯的に評価を⾏う）場合の知⾒• largeがbaseより良いとは限らない（⼀部のタスクではlargeの性能が逆に劣る）• supがunsupより良いとは限らない（catastrophic forgettingの可能性）

31

評価タスクを拡張すると何が変わる
マスター タイトルの書式設定

分析例2: 訓練データが多ければ多いほど、性能が⾼い
ModelClassification

Clustering

STS

Retrieval

13タスク平均(A) pkshatech/GLuCoSE-base-ja

76.83

49.53

78.37

65.10

65.69

(B) oshizo/sbert-jsnli-luke-japanese-base-lite

72.83

51.04

76.60

49.34

57.62

* (A)モデルが訓練に⼊ったPAWS-XとMr.TyDi-jaタスクは⽐較から除去した。

•

両⽅とも，studio-ousia/luke-japanese-base-liteをバックボーンとして訓練された•両モデルの訓練データセット••(A) mC4, MQA, JNLI, JSNLI, PAWS-X, JSeM, MoritzLaurer/multilingual-NLI-26lang-2mil7, JSICK, Mr.Tidy•(B) JSNLI

考察•

訓練データが多ければ多いほど，性能が⾼いという傾向が⾒られる•

特に，(A)の訓練では検索データを⽤いたため，検索での性能は(B)よりはるかに優れている* 本ページの考察では，厳密な局所管理化は⾏っていない。

32

評価タスクを拡張すると何が変わる
マスター タイトルの書式設定

分析例3: 訓練データセットの選び⽅によって，得意なタスクが変わる
ModelClassification

Clustering

STS

Retrieval

13タスク平均(A) pkshatech/GLuCoSE-base-ja

76.83

49.53

78.37

65.10

65.10

(C) intfloat/multiligual-e5-base

69.30

48.91

79.83

76.60

76.60

* (A)モデルが事前訓練に⼊ったPAWS-Xと，(A)(C)が共に訓練に使⽤したMr.TyDi-jaタスクは⽐較から除去した。

•

訓練データセットの違い•(A) mC4, JNLI, JSNLI, PAWS-X, JSICK(⼀般), Mr.Tidy, MQA(検索)などある•(C) 第⼀段階(検索の弱教師あり対照学習)にfiltered mC4, CC News, Stackexchangeなどのquery-docペア, 第⼆段階(検索の教師あり学習)にMS MARCO, Trivia QA, SQuAD, Quora, Mr.TyDiなどを使⽤。英語データをメインとし，多⾔語データに⽇本語データが含まれる

•

考察
•

(C)モデル(E5)が検索タスクに⼤幅に優れている⼀つの要因は， 多くの検索データで学習させたからと考えられる•

Classification, Clusteringでは⽇本語の意味に関する知識が求められるため，(A)の⽅が全て⽇本語データを⽤いたことに対して，(C)モデルがマルチリンガルであるため⽇本語データセットの⽐率が低いため，(A)の⽅が性能⾼い•(C)モデルがquery-docペアで学習させたから，同じく⽂ペアの形式であるSTSタスクでも⾼い性能を⽰していると思われる* 本ページの考察では，厳密な局所管理化は⾏っていない。

33

評価タスクを拡張すると何が変わる

マスター タイトルの書式設定
分析例4: ベクトル正規化の影響 (1)• 「距離」の求め⽅が⾊々あるが，正規化したら，距離の度量 (cosine, dot product, Euclidean distance)
が全てcosine類似度と等価になる• ⽂をエンコードする時，正規化すべきか︖

34

評価タスクを拡張すると何が変わる

マスター タイトルの書式設定
分析例4: ベクトル正規化の影響 (2)• 正規化するかしないか，タスクのパフォーマンスに影響があるかどうか，調べてみた。
Model
18モデル*の平均スコア
cl-nagoya/sup-simcse-ja-basepkshatech/GLuCoSE-base-ja

正規化Classification平均

Clustering平均

STS平均

PairClassification平均

Retrieval平均

15タスク平均

有

69.47

48.94

79.44

62.78

51.80

60.55

無

71.52

48.67

79.53

62.80

52.53

61.36

有

67.38

54.03

81.84

62.54

46.50

58.85

無

73.47

52.98

82.05

62.62

49.81

61.66

有

74.35

47.94

78.37

66.31

59.18

64.76

無

76.83

49.53

78.72

66.50

59.29

65.69

*全てのモデルでは、訓練時cosine similarityで算出された損失関数が⽤いられる。

•

考察: STS，ClusteringとPairClassificationが顕著な差がないが、ClassificationとRetrievalにおいては明らかに正規化
しない⽅がスコア⾼い。
•

15タスク中，”正規化あり>正規化なし“タスクは2つ (AmazonReivewClassificationとMewsC16-ja)のみある•

その理由は，正規化したらベクトルのスケール情報が消えてしまうと考えられる

結論: ⼤体のタスクでは、正規化する必要がない。

35

まとめ
マスター タイトルの書式設定• ⽇本語埋め込みモデル評価ベンチマークJMTEBを構築・公開した• データセット: https://huggingface.co/datasets/sbintuitions/JMTEB (再掲)
• 評価スクリプト: https://github.com/sbintuitions/JMTEB (再掲)

datasetcode• JMTEBを⽤いてモデルの性能分析をしてみた• これからも，ベンチマークを継続的に拡張する予定36

ご清聴ありがとうございました

37Appendix A. データセットの詳細* 特に説明がなければ，統計データがスコアの算出ベースであるtest setに基づいて導出されたものである。

38

A.0.1
データセットのライセンス
マスター
タイトルの書式設定
ライセンス
Apache-2.0

データセットMrTyDi-ja
AmazonCounterfactualClassification
MassiveIntentClassification
MassiveScenarioClassification
MewsC-16-ja

CC-BY-SA-4.0

JSTS
JSICK
JAQKETNLP Journal x 3
JaGovFaqs-22k

CC-BY-ND-2.1
No warranty (使⽤⾃由)
Non-commercial

Livedoor News
PAWS-X-ja
AmazonReviewClassification

39

A.0.2Data
splitの取り扱い
マスター
タイトルの書式設定• ⼤前提• 評価スコアをテストセットのみで算出する• Classificationではlogistic regressionを学習する必要があるため，train setで学習し，
dev setでparameter tuning⽤とする• Classification以外のタスクでは，埋め込みモデルの評価ではtrain setを⽤いない• 元データセットがtrain, dev, test set揃っている場合はそのまま流⽤する• そうではない場合• Classificationでは，devがない場合，train setからtest setと同じ数のデータを無作為で取り出し，dev setとする• JGLUEにあるSTSでは，test setが公開されず，dev setしか公開されない場合， dev →testとスライドする• Retrievalでは，test setのみ利⽤する

40

A.1
Clustering– Livedoor News
マスター
タイトルの書式設定
Label

Text

it-life-hackYoutubeやニコニコ動画といった動画系サービスやニコニコ⽣放送、USTREAM
やJustinといったユーザー⽣放送サービスでは、動画をローカルPCに保存する⽅法が限られる。できないわけではないが、PCの知識がないと難しい。具体的には、サーバー上にアップされている動画をダウンロードするわけだが、今後は違法ダウンロードの罰則化が始まるので、Youtubeやニコ動にアップされた動画を無許可でダウンロードする⾏為はNGになってしまう。 … (総計961⽂字)

movie-enter

今年9⽉、200万部を突破した⼤⼈気コミックを原作者・久保ミツロウ書き下ろしによるオリジナルストーリーで映画化した『モテキ』。21億を超える興⾏収⼊を記録した⼤ヒット映画が2012年3⽉23⽇、ブルーレイ＆DVD化され発売されることが決定した。映画は、原作のラストから１年後を描くオリジナルストーリー。
ついに伝説の“セカンドモテキ”がやってくる。 … (総計898⽂字)

smax

シャープのハイスペックスマートフォン「AQUOS PHONE Xx 」は買いだ︕既報の通り、ソフトバンクモバイルおよびウィルコムは29⽇、2012年夏以降に発売する予定の夏モデル発表会「ソフトバンクモバイル・ウィルコム新商品発表会
2012 Summer」を都内で開催し、⾼速通信サービスULTRA SPEEDに対応した
シャープ製のスマートフォン「AQUOS PHONE Xx SoftBank 106SH(アクオス・
フォン・ダブルエックス・ソフトバンク・イチゼロロクエスシチ)」（以下、106SH）を7⽉上旬以降に発売すると発表した。展⽰会場で106SHを試すことができたので写真と動画で紹介する。 …(総計2491⽂字)

sports-watch

W杯アジア最終予選が来⽉3⽇より幕を開ける。18⽇放送、⽇本テレビ「NEWSZERO」では、⽇本代表FWとして活躍が期待される、シュトゥットガルト所属・
岡崎慎司が⽣出演を果たした。ドイツでの⽣活を「最初よりは慣れたと思います
し、会話とか。コミュニケーションの取り⽅とかも掴んできた」と話す岡崎だが、シュトゥットガルトのチーム内では“キレキャラ”だという。 …(総計863⽂字)

⽂の⻑さ分布

ラベル分布

41

A.1
Clustering– MewsC16-ja
マスター
タイトルの書式設定
Label

Text

スポーツ

この1⽉31⽇に投開票される⽇本サッカー協会の会⻑選で、その⽴候補者を選出する管理委員会は1⽉8⽇に、原博実専務理事とFIFA（国際サッカー連盟）理事も務める⽥嶋幸三副会⻑の2⼈に絞り込まれたことを明らかにした。

気象

朝⽇新聞によると、7⽉27⽇（ 以下同）群⾺県館林市（たてばやし
し）を中⼼に発⽣し、⼤きな被害をもたらした突⾵について、前橋地
⽅気象台は7⽉28⽇、これを⻯巻と断定したことを発表した。

経済

読売新聞、朝⽇新聞によると、村上ファンド主宰者・村上世彰⽒が阪神電鉄の株式公開買い付け (TOB) に応じる⽅針であることを、阪急
ホールディングス関係者が3⽇明らかにした。

教育

東京地⽅裁判所（資料）共同通信によると、東京都教育⻑が、国旗に向かって起⽴したり国歌を歌ったりすることを拒否したとして東京都⽴⾼等学校、盲ろう養護学校の教諭らを処分したことについて、東京
地⽅裁判所は21⽇、起⽴したり歌ったりする義務がないとして、東京都と東京都教育委員会（都教委）に、国歌を歌わないことなどによる処分を禁じ、東京都にひとりあたり3万円の損害賠償を命じた。

事件

産経新聞・⽇刊スポーツによると、福島県郡⼭市は13⽇、勤務時間中に職場のパソコンで、インターネット上の百科事典「ウィキペディ
ア」の業務とは関係ない項⽬への投稿や閲覧を400回以上⾏った為、30代の男性職員を減給懲戒処分とした。

⽂の⻑さ分布

ラベル分布

42

A.2
Classification– AmazonCounterfactualClassification
マスター
タイトルの書式設定
Label

Text

0

単純に楽しめる作品だと思います。

0

⾳質は想像以上に良かったです。

0

これもミリタリー仕様なのでしょうか、とても使いやすいです。

0

髪も⽑⽷ですし、顔も過去最⾼に似ていると思います。

1

ボタンの位置が別の位置にあれば星5個だったんですが。

1⻑期間嵌めていなくても⽌まらないこと、なのでソーラーが欲しかった。

⽂の⻑さ分布

ラベル分布

43

A-2
Classification– AmazonReviewClassification
マスター
タイトルの書式設定
Label

Text
すぐ壊れた

0
1

たったの⼀か⽉半で壊れました。 ⼀か⽉以上経ってるから返品もできず。。。泣き寝⼊りです。 粗悪品です。
縫製の改善
⽐較的安価。 縫製が緩く、雑、ほぐれやすい。耐久性に疑問。
磁⼒は強⼒。だけどねぇ・・・・

2
3

確かに磁⽯は強⼒です。けどあまり重いモノを掛けるとフックと磁⽯の取り付け部分が外れま
す。
コスパ良し

⽂の⻑さ分布

お⾵呂場で使うには良かった。コンパクトで、光るし、⾳もそれなりの質
⾳の臨場感︕

4

スマホやPCでゲームをやる時に使⽤しています︕ ヘッドセットも考えたんですがもっとライトに使えるものないかと思い探していたところ こちらのカナル型のゲーミングイヤホンを発
⾒︕ 初めはそこまで期待していませんでしたが想像以上に⾳の臨場感がありスマホではPUBG
やモダコンを パソコンではBF5やCODをやっていますが個⼈的にはかなり満⾜いく⾳質でした︕ マイク（取り外し可）も付いているので試しにスカイプで会話してみましたがまったく問題ありませんでした。 ただ⾳楽を聴く⽤途としては結構派⼿な⾳なので⻑時間聴いてると疲れるのでその⽤途ならほかのイヤホンのがいいかなと。 コスパはかなりいいので映画やゲーム⽤途でカナル型のゲーミングイヤホンを探してる⽅でしたらおススメです︕

ラベル分布

44

A-2
Classification– MassiveIntentClassification
マスター
タイトルの書式設定
Labelweather_query

Text

名古屋市の天気はどうですか

recommendation_events 横浜で今週末開いている動物園を教えてtransport_query

京都までの電⾞の時間を教えてくれないか。

general_greet

おはよう、何かあった

datetime_query

次の⽉曜⽇は何⽇ですか

play_music

ラップ

⽂の⻑さ分布

ラベル分布

45

A-3
Classification– MassiveScenarioClassification
マスター
タイトルの書式設定
Labelweather

Text

名古屋市の天気はどうですか

recommendation 横浜で今週末開いている動物園を教えてtransport

京都までの電⾞の時間を教えてくれないか。

general

おはよう、何かあった

datetime

次の⽉曜⽇は何⽇ですか

play

テキストは全てMassiveIntentClassification
⽂の⻑さ分布は同じ。

ラップ

ラベル分布

46

A-3
Pair タイトルの書式設定
Classification – PAWS-X-ja
マスター
Label
1

1

0

0

Text
⼒を加えたとき、機構システムの構成要素が変形すると、その要素が弾性
位置エネルギーを保持します。
機械システムの構成要素は、システムに⼒が加わった際に変形を伴うと、弾性位置エネルギーを蓄える。
1999 年、アルバニアの家族はセルビアの家族が帰還する前に村を去りました。
1999 年のセルビア難⺠の帰還前に、アルバニア⼈の家族は村を離れました。
2011 年の国勢調査では、住⺠の 78.8 % がルーマニア⼈、 17 % がロ
マ⼈、2.7 % がハンガリー⼈、そして 1.4 % がドイツ⼈でした。

⽂の⻑さ分布2011 年の⼈⼝調査では、住⺠の 78.8 % がローマ⼈、17 % がハンガ
リー⼈、2.7 % がルーマニア⼈、1.4 % がドイツ⼈でした。
この運河は、ヨーロッパとベルギーで運⾏可能な最古の運河の 1 つである。
この運河はベルギーだけでなく、ヨーロッパ全体でも最古の運河の 1 つ
である。

ラベル分布

ペア中sentence2とsentence1の⻑さの相対⽐

47

A-4
STS タイトルの書式設定– JSICK
マスター
Score

5.0

3.5

2.5
1.7
1.0

Text
その⼈はヌードルを煮ている
ある⼈がヌードルを煮ている
その⾶⾏機は南アフリカのもので、⻘い空を⾶ん
でいる
⾶⾏機が空を⾶んでいる
ある⼈が猫の⽑をクシャクシャにしている

スコア分布

ある⼈が猫にブラシをかけている

ペア中sentence2とsentence1の⻑さの相対⽐

猿が武術を練習しているある⼈を蹴っている猿は⼀匹もいない
男性が荒野を通る⼩道に沿って歩いている
男性がタマネギの⽪をむいている

⽂の⻑さ分布48

A-4
STS タイトルの書式設定– JSTS
マスター
Score

4.4
3.6
2.6

1.4

0.6

Text
線路の上を列⾞が⾛⾏しています。
線路を電⾞が⾛⾏している⾵景です。
スノーボーダーが雪の斜⾯を滑っている。
雪⼭を男性がスノーボードで、下っています。
テーブルの上に、料理と飲み物が置いてあります。
⽫の上に、ケーキがあり横にグラスがあります。
洗⾯所の周りはクリーム⾊や茶⾊、⽩で配⾊されて
います。

スコア分布

ペア中sentence2とsentence1の⻑さの相対⽐

洗⾯台の上に瓶や容器が置かれています。
室内には、⼩さなテーブルといすがあります。
まな板の上に包丁と⾷材が置かれています。

⽂の⻑さ分布49

A-5
Retrieval– JAQKET
マスター
タイトルの書式設定
Question

Answer

宮本武蔵と佐々⽊⼩次郎が戦った巌流島、平家滅亡の地・壇ノ浦といえば、⼭⼝県の何市にある景勝地でしょう?

下関市

⽇本国憲法第38条1項に規定されている、⾃分にとって不利益な供述を強要されない権利を何というでしょう?

黙秘権ある物質1gの温度を1°C上昇させるために必要な熱量のことを何容量というでしょう?

⽐熱容量

歴代アメリカ⼤統領のうち、最初に共和党から当選したのは誰でしょう?

エイブラハム・リンカーン

約4.6万平⽅メートルと広い⾯積を持つため、よく広⼤な⾯積の⽐喩として「これ何個分」などと例
えられる、プロ野球・読売ジャイアンツの本拠地にもなっているドーム球場とはどこでしょう?

東京ドーム

Corpus title

Text

アメリカ合衆国

アメリカ合衆国 United States of America 国の標語︓E pluribus unum（1776年 - 現在） （ラテン語:多数からひとつへ） In God We Trust（1956年 - 現在） （英語:我ら神を信ずる） 国歌︓The Star-Spangled Banner（英語） 星条旗 アメリカ合衆国（アメリカがっしゅうこく、英語:
United States of America）、通称アメリカ、⽶国（べいこく）は、50の州および連邦区から成る連邦共和国である。 アメリカ本⼟の48州および同国⾸都ワシントンD.C.（コロンビア特別区）は、カナダとメキシコの間の北…（総計56673⽂字）

固有地震

固有地震（こゆうじしん, Characteristic earthquake）とは、ある断層において、ほとんど同じ間隔と規模をもって、周期的に繰り返し発⽣する地震のこと。固有地震は震源域・規模や地震波形までも類似していることから、相似地震（そうじじしん）という呼び⽅もある。 また、地震は地殻内でランダムに発⽣するという考え⽅に対して、固有地震のように⼀定の時間的間隔をもってほぼ同じ震源域・規模の地震が発⽣するという学説を固有地震説と呼ぶ。…（総計3161⽂字）

不飽和脂肪酸

不飽和脂肪酸（ふほうわしぼうさん、unsaturated fatty acid）とは、1つ以上の不飽和の炭素結合をもつ脂肪酸である。不飽和炭素結合とは炭素分⼦鎖における炭素同⼠の不飽和結合、すなわち炭素⼆重結合または三重結合のことである。天然に⾒られる不飽和脂肪酸は1つ以上の⼆重結合を有しており、脂肪中の飽和脂肪酸と置き換わることで、融点や流動性など脂肪の特性に変化を与えている。また、いくつかの不飽和脂肪酸はプロスタグランジン類に代表されるオータコイドの⽣体内原料として特に重要である…（総計11907⽂字）

50

A-5
Retrieval– JAQKET
マスター
タイトルの書式設定

問題⽂の⻑さ分布

検索対象であるwikipedia⽂の⻑さ分布

51

A-5
Retrieval– Mr.TyDi-ja
マスター
タイトルの書式設定
Question

Answer国際サッカー連盟はいつ設⽴した︖

12306#6

清の咸豊帝は何代⽬︖

63225#0

カール＝ハインツ・クラスは銃で⼈を撃ったことがありますか︖

2883370#1, 2883370#22

ＲＮＡを発⾒したのは誰

3879446#8

阪急宝塚線の⻄宮北⼝駅はいつ完成した︖

37496#10

Corpus index

Corpus title

Text

5#0

アンパサンドアンパサンド (&、英語名︓) とは並⽴助詞「…と…」を意味する記号である。ラテン語の の合字で、Trebuchet MSフォントでは、と表⽰され "et" の合字であることが容易にわかる。ampersa、すなわち "and per se and"、その意味は"and [the symbol which] by
itself [is] and"である。

11#0

⽇本語

'語彙は、古来の⼤和⾔葉（和語）のほか、漢語（字⾳語）、外来語、および、それらの混ざった混種語に分けられる。字⾳語（漢字の⾳読みに由来する語の意、⼀般に「漢語」と称する）は、漢⽂を通して古代・中世の中国から渡来した語またはそれらから派⽣した語彙であり、現代の語彙の過半数を占めている。また、「紙（かみ）」「絵/画（ゑ）」など、もともと⾳であるが和語と認識されているものもある。さらに近代以降には⻄洋由来の語を中⼼とする外来語が増⼤している（「語種」の節参照）。

157379#19

13⽇の⾦曜⽇ (映画)

1985年公開。原題「新たなる始まり」が⽰す通り、当初の予定では前作で死んだジェイソンに代わる新たな殺⼈⻤誕⽣の物語として作られるはずであった。ジェイソンの特徴として語られる「歩いて追いかけてくる」ようになったのは、本作からである。

52

A-5
Retrieval– Mr.TyDi-ja
マスター
タイトルの書式設定

問題⽂の⻑さ分布

検索対象であるwikipedia⽂の⻑さ分布

53

A-5
Retrieval– NLP Journal
マスター
タイトルの書式設定
Title

Abstract

introduction

古典の総索引からの品詞タグ付き
コーパスの作成

全単語の出現箇所を与える総索引は⽇本の古典の研究の補助として⽤いられている．品詞タグ付き
コーパスはコンピュータを⽤いた⾃然語研究の⼿段として重要である．しかし⽇本語古典⽂に関する品詞タグ付きコーパスは公開されていない．そこで総索引を品詞タグ付きコーパスに変換する⽅法を検討した．

¥¥label{sec:hajime}実際に使⽤された⽂例を集めたコー
パスは，コンピュータによって検索できる形で準備されることにより，⾃然⾔語の研究者にとって便利で重要な資料として利⽤価値が⾼まっている．コーパスの種類としては，⽂例のみを集めた⽣コーパス（新聞記事など多数がある），
⽂例を単語分けして品詞情報など…

複数の分類スコアを⽤いたクラス
所属確率の推定

⽂書分類の多くのアプリケーションにおいて，分類器が出⼒するクラスに確信度すなわちクラス所
属確率を付与することは有⽤で，正確な推定値が必要とされる．これまでに提案された推定⽅法は
いずれも2値分類を想定し，推定したいクラスの分
類スコア（分類器が出⼒するスコア）のみを⽤いている.しかし…

label{sec:hajime}⾃然⾔語処理においては，タグ付けや⽂書分類をはじめとするさまざまな分類タスクにおいて，分類器が出⼒するクラスに確信度すなわちクラス所属確率を付与することは有⽤である．例えば，⾃動分類システムがより⼤きなシステムの⼀部を構成し，…

かな漢字換⾔を通した⽇本語語義
曖昧性解消の分析

本論⽂では，⽇本語語義曖昧性解消に存在する問題点を⽂中のひらがなを漢字に直すかな漢字換⾔
タスクを通して明らかにする．素性について分散表現と⾃⼰相互情報量を組み合わせる⼿法を考案
し実験を⾏った結果，かな漢字換⾔においてベースラインに⽐べ約2ポイント⾼い精度を得ることができた．…

¥¥label{section:first}語義曖昧性解消はコンピュータの意
味理解において重要であり，古くから様々な⼿法が研究されている⾃然⾔語処理における課題の⼀つである¥¥cite{Navigli:2009:WSD:1459352.1459355,Navigli2012}．語義曖昧性解消の⼿法には⼤きく分けて教師あり学
習，教師なし学習，半教師あり学習の3つが存在する．教師なし学習を⽤いるものにはクラスタリングを⽤いた⼿法…

54

A-5
Retrieval– NLP Journal
マスター
タイトルの書式設定

タイトル，概要，イントロの⻑さ分布

55

A-5
Retrieval– JaGovFaqs-22k
マスター
タイトルの書式設定
Question

Answer

国鉄清算事業団の⻑期債務残⾼はどのくらい残っていますか

15879

加⼊者が休職することにより資格喪失した後に復職することなく退職する場合、休職期間の２分の１を加⼊者期間、給付額算定期間に加算することは可能か。

9055

次のとおりグループ通算制度開始前に資本関係が変遷している場合、当社の⽋損⾦額は、法
⼈税法第57条第８項の規定により通算承認の効⼒が⽣じた⽇以後に開始する各事業年度においてないものとされることはないと考えてよろしいでしょうか。

13844

⾃⼰資本管理とは何ですか。

21855

Corpus index

Text

17

他院への⾥帰り分娩の場合も含め、妊婦健診のみの受診はお受けしておりません。

254

１ 防衛省の競争参加資格を取得
２ 地⽅防衛局や部隊等のホームページなどで発注情報を⼊⼿
３ 防衛省の電⼦⼊札システムに利⽤者登録し、⼊札説明書等を⼊⼿
４ ⼊札に参加という流れになります。
初めての参加の場合、まずは競争参加資格の取得⼿続きが必要ですので、本社（本店）の近くの地⽅防衛局までお問い合わせください。
（Ⅰ 競争参加者の資格に関する⼿続きの問い合わせはこちらを参照

688

排出量の増減の情報については、任意で報告様式第２により提供することができます。個別対策の導⼊による排出量の削減効果の算定⽅
法については、特段規定されていませんが、本制度の排出量の算定⽅法を踏まえ、個々の対策の実態に即した合理的な⽅法により算定する必要があります。

56

A-5
Retrieval– JaGovFaqs-22k
マスター
タイトルの書式設定

問題⽂の⻑さ分布

検索対象であるFAQ⽂の⻑さ分布

57

Appendix B. 評価指標の詳細

58

各タスクのMain
Metricマスター タイトルの書式設定

Task

Main Metric

Clustering

V-Measure ↑Homogeneity↑, Completeness↑

Classification

Macro-F1 ↑Accuracy↑

Pair Classification

Macro-F1 ↑Accuracy↑STS

Spearman correlation ↑Retrieval

NDCG@10 ↑↑↓⾼ければ⾼いほどよい指標
低ければ低いほどよい指標

Other Metrics

Pearson correlation↑
Accuracy@{1,3,5,10} ↑, MRR@10↑

59

Clusteringの評価指標
マスター タイトルの書式設定• V-measure ↑ (main): HomogeneityとCompletenessの調和平均数，0.0~1.0でクラスタリングの精度をはかる。⾼ければ⾼いほどよい。
• Homogeneity ↑ :同じクラスター内に同じラベルのデータのみが⼊っているかを測る• Completeness ↑ : 同じラベルのデータは全て同じクラスタに⼊っているかを測る

60

Retrievalの評価指標
マスター タイトルの書式設定• Accuracy@k ↑ (k = 1, 3, 5, 10):上位k件の検索結果の中で，正解（関連するアイテ
ム）が含まれる割合。
• MRR@k ↑ (k = 10):上位k件の検索結果の中での最初の正解の逆順位の平均。
• NDCG@k ↑ (main) (k = 10):上位k件の検索結果の中で，アイテムの関連度の累積ゲインを割引して正規化したもの。

61

Appendix C. データセット選択における失敗例

62

Pair
Classification
マスター
タイトルの書式設定• JNLI/JSNLI/JSICKは含意関係認識タスク(entailment, contradiction, neutral) である
ため，類似度の閾値ベースの分類⼿法を調べてみた。

X軸はsentence 1とsentence 2のcosine類似度、Y軸は分布の密度。

• 考察1: 含意と⽭盾の⽂ペアが⾼い類似度を持ち，中⽴の⽂ペアが少し低い類似度を持つ。
• 考察2: 類似度の分布には，はっきりした差がない。
埋め込みモデルが意味的類似度を測るため，含意関係を認識する能⼒を持っていないことがわかる。既存の埋め込みモデルの評価結果に有意な差が得られず，ベンチマークの趣旨と合わないため，外した。
• 本ページの図を導出したため使⽤した埋め込みモデルはcl-nagoya/sup-simcse-ja-base，データセットはJNLI。
• データセットをJSNLI/JSICKに，モデルを他の埋め込みモデルに切り替えても，分布図の形状がほとんど変わらない。

63