DEIM Forum 2023 3a-3-1

含意認識モデルとニューラルトピックモデルを用いた統計指標検索
笹治 拓矢†

加藤誠††

小山田昌史†††† 筑波大学大学院 人間総合科学学術院 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学 図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2††† 日本電気株式会社 データサイエンス研究所 〒 211–8666 神奈川県川崎市中原区下沼部 1753
E-mail: †s1913574@klis.tsukuba.ac.jp, ††mpkato@acm.org, †††oyamada@nec.com
あらまし

本論文では，エンティティを特定の基準で良いかどうかを判断するために特定の基準を直接入力し，その程度が推測できるような統計指標を検索する問題とそれに対する手法を提案する．この問題では，特定の基準を潜在指標と呼び，その程度は統計指標によって推測可能とし，統計指標を推測しやすさの高い順に順位付けを行う．提案
手法では，潜在指標と内容的なつながりにある統計指標かを推論（含意）の確率で順位付けする「含意認識手法」と，統計指標の数量情報をもとに潜在指標の程度を予測できかで順位付けする「相互情報量手法」を提案する．各手法のランキング結果は，クラウドソーシングを用いて評価し，含意認識手法が最も高い性能を示した．
キーワード 統計指標, 言語モデル, 自然言語処理応用
そこで本論文では，エンティティの潜在指標を直接入力し，1 はじめに
近年，市区町村，会社，製品などの実体・概念（以下，「エン
ティティ」と呼ぶ）を順序付けしたコンテンツが多くの Web
サイトで紹介されている．例えば，市区町村の住みやすさラン
キング，都道府県の魅力度ランキング，働きがいのある企業ランキングなどがある．人々は，そのようなエンティティの順序を意思決定，比較，計画などに利用している．ただし，場合によっては緻密さや信頼性に欠けたコンテンツもあることが指摘されており [1–3]，不確かな証拠だけで知識を獲得することは偏見やステレオタイプにつながる可能性がある．そのため，エンティティを特定の基準で良いかどうかを判断するために，人の立場や状況によって見方や評価が変化しない，公的統計調査
等から指標化された客観的指標（以下，「統計指標」と呼ぶ）の値なども見ることが求められる．例えば，病院数や刑法犯認知件数などが挙げられる．本研究では，このような特定の基準を「潜在指標」と呼び，「直接は観測できないが統計指標により推測可能な指標」と定義する．統計指標の値は，総務省が開発した統計ダッシュボード 1 に名称を入力することで得られる．
しかし，ユーザがエンティティの潜在指標（例: 住みやすさ
や魅力など）の程度を推測するのに適した統計指標を知っているとは限らないため，適当な統計指標の値を入手できないことがある．例えば，ユーザが潜在指標の程度を推測できるような統計指標を把握できていない場合，統計ダッシュボードのような統計指標の値が調べられる検索システムに統計指標の名称を入力できず，適当な統計指標の値が入手できない．その問題を解決するため，ユーザの事前知識が不足していたとしても統計指標の値を入手できるように，統計指標の名称を入力とする統計ダッシュボードのような方法ではなく，エンティティの潜在指標を直接入力できる技術が求められる．
1：https://dashboard.e-stat.go.jp/

潜在指標の程度が推測しやすくなる統計指標を検索するタスク（以下，「統計指標検索タスク」と呼ぶ）とそれに対する手法を提案する．本研究により，ランキングを閲覧するユーザにとってエンティティの潜在指標の程度を推測するための知識を深めることが期待され，ランキングの作成者にとって少ない労力で魅力的かつ透明性の高いランキングを作成することが可能となる．
エンティティの潜在指標の程度が推測しやすい順に統計指標を順位付けする手法として，「含意認識を用いた手法」と，「相互情報量を用いた手法」の 2 つを提案する．なお，本論文では，それらの手法を以下，含意認識手法，相互情報量手法と呼ぶ．
前者の手法は，潜在指標の程度を推論できるような統計指標を探すため，統計指標の相対的な量（大きいや小さいなど）に関する前提文をもとに，潜在指標の程度に関する仮説文が成り立つ確率（含意確率）を求め，より推測するのに適した統計指標
を含意確率によって順位付けする．例えば，「ある市は犯罪件数が多い」から「ある市は治安が悪い」かを含意認識すると犯罪件数の含意確率が求められる．ここでいう相対的な量とは，指標の数量を基準からの相対的な量で表したものであり，その量は大小の度合（高いや低いなど）で言語表現できるものとする．
後者の手法は，統計指標の値を入手することで潜在指標の予測
しにくさがどの程度減るかを調べ，不確かさの減少度でランキングを作成する．例えば，「高齢者数」を入手することで，「高齢化」の不確かさはある程度減少すると考えられる．このような，2 つの確率変数において，片方の値を観測した際にもう一方の値の不確かさがどの程度減るかは相互情報量と呼ばれており，本手法では相互情報量を用いて順位付けを行う．これらの手法は，エンティティの潜在指標が推測しやすくなる統計指標
を「内容的なつながり」と「数量情報」をもとに順位付けする
ことで統計指標検索を実現する．
統計指標検索タスクの実験を行うため，本研究では市区町村のエンティティを対象とし，検索対象となる統計指標（783 種

類）のデータセットを構築した．これは，統計ダッシュボード

数量的に解釈することができない．

上で公開されている統計指標のデータを収録したものである．

b ) エンティティ検索モデル

統計指標の値は，「西暦」及び「市区町村」を一意に定めること

エンティティ検索タスクとは，統計指標検索タスクとは異なで得られる．例えば，西暦を「2010 年」，市区町村を「つくばり，エンティティが数値属性で表現される場合に，「幸福度など市」に定めることで，人口数や病院数などが得られる．また，の特定の基準」を入力としてエンティティのランキングを返す

後者の手法のエントロピー計算で必要となる確率を得るために，タスクである．統計指標検索タスクは，このタスクと比べて，統計指標のデータセットと共に利用する，市区町村名と西暦やエンティティランキングの算出方法に関する不透明さに対する和暦のような年の表現を含むテキストコーパスを多言語版テキ

不安・不信感を減らし，信頼性が高い客観的データに基づいてストコーパス（mC4）を用いて構築した．

エンティティの潜在指標の程度を推測することが可能となるこ

手法の性能を評価するため，用意した 50 個のクエリ（潜在指とが期待される．既存研究 [9–13] では，様々な観点でエンティ標を表す単語）に対するランキングを手法毎に出力した後，クティを順序付けする方法を提案しているが，予測順序となる根ラウドソーシングを用いて，上位 10 件の統計指標が潜在指標

拠はユーザ側に提示されない．また，エンティティの数値属性を推測するのに適しているかどうかの判定を行った．クラウドを判断根拠とするならば，その属性値の度合によってもエンソーシングを用いた評価では，個人の主観的な思い込みや考え

ティティ順序は変化するため，数値属性の値の度合により順序に流されずに判定を行うため，各ワーカーに「世間一般の人々が決まるようなランキングを出力できる手法が求められる．

が同意できるか否か」で評価をするよう説明を行ない，思考プc ) 含意認識モデル

ロセスの中に客観的視点を取り入れることで，客観性を持たせ

含意認識タスクとは，前提文 (P) と仮説文 (H) が与えられたた評価となるようにした．その判定結果を利用し，2 つの評価

ときに，その仮説が成り立つ (含意) か，成り立たない (矛盾)

指標（P@10 と nDCG@10）でベースライン手法と提案手法のか ，判断できない (中立) かを判定するタスクである．なお，比較を行った．その結果，含意認識を用いた提案手法が両方の与えられる 2 つのテキスト文は前後関係をもち，出力ラベルは評価指標で最も高い性能を示した．

含意，矛盾，中立の 3 つとなる．このタスクは，P が正しけれこの論文における貢献を以下に示す：(1) 統計指標検索タス

ば H も正しいと推論できるなら “含意”，P が正しければ H はクを提案した．これによって，魅力のような潜在指標の程度を誤っていると推論できるなら “矛盾”，どちらともいえないのな

推測するのに有効な別の観測可能な代替的な客観的指標（統計らば “中立” と判定する．近年では，ニューラル言語モデルを指標）を理解し，エンティティをさまざまな基準で良いかどう

用いた含意認識タスクの研究が盛んに行われており，自然言語

かを判断することが可能となる．(2) 実験により，含意認識用

理解を評価するベンチマークデータセットの SuperGLUE [14]にファインチューニングされた事前学習済みのニューラル言語

において，人間のスコアを超える性能を示した，ニューラル言

モデルは統計指標の大小の度合を捉えられることが判明した．

語モデルの DeBERTa [15] も登場している．

相対的な量に関するテキスト文を用いた含意認識により高品質d ) ニューラルトピックモデル

なランキングを作成できることを示した．
（3）幅広い潜在指標

近年では，ニューラルトピックモデルの研究が盛んに行なに対する実験を行い，含意認識を用いた手法の有効性を示した．

われており，従来よりもモデルの拡張性が増し，調整も容易

本論文の構成は以下の通りである．2 節では関連研究についになっている [16, 17]．著者や所属のような補助情報を考慮して述べる．3 節では問題設定や提案手法について述べる．4 節

たニューラルトピックモデルの研究も行なわれている．特に，では実験について述べる．最後に，5 節では本論文の結論と今

Card らは文書のメタデータとラベルをモデリングに取り込ん

後の課題について述べる．

だニューラルトピックモデル SCHOLAR を提案している [18]．
本モデルは，sparse additive generative models (SAGE) [19]2 関連研究
本節では，統計指標検索タスクに類似するエンティティ検
索タスクの関連研究と，提案手法で用いる含意認識モデルとニューラルトピックモデルの関連研究について述べる．

a ) コンセプトによる説明可能モデル
本研究で対象とする問題は，機械学習を使った意思決定支援と supervised LDA (SLDA) [20] の優れた点を組み合わせて，

SAGE と同様に観測された補助情報の特徴表現に対する明示的な偏差，およびトピックとの相互作用に対する効果を取り入れ，

SLDA と同様にメタデータをラベルとして利用して，ラベルの予測に関連するトピックの推論を行うことができる．ただし，補助情報の特徴表現は単語分布に影響を及ぼすため，補助情報の特徴表現からトピックを推定するモデルではない．

においても存在する．具体的には，予測結果を出力する機械学
習モデルの解釈性の低さ（算出方法の不透明さ）によって結果の信頼性が低くなり，判断根拠を把握する手段が求められていることと似ている．機械学習モデルの個々の予測に対する説明
技術 [4] の一つである，モデルが専門家が判断に用いる概念を根拠として提示する方法 [5–8] は本研究と関連している．しかしながら，これらの方法は，客観的根拠は提示できる一方で，3 提案手法
本節では，統計指標検索タスクと提案手法の概要について述
べた後，含意認識手法と相互情報量手法について述べる．

3. 1 問 題 設 定
統計指標検索タスクとは，あるエンティティタイプ（エンティティの種類）に属するエンティティの潜在指標を表すような単語が入力された時に，そのエンティティの潜在指標の程度（高いや低いなど）が推測できるような統計指標（以下，「適合指標」

1

統計指標の大小の度合と含意確率を求める

前提文 ある市は [犯罪件数] が [と呼ぶ）を推測しやすさ（スコア）の高い順に出力する問題で

][

含意認識
モデル

統計指標の値がどの場合（値が高いとき，または，値が低いと仮説文 ある市は [ 治安き）であるかを正負の符号で表すものとする．本論文では，正

※

潜在指標

少ない

が良い

含意

治安の良さに関するランキング
犯罪1 − 件数 0.7

矛盾

0.7

]

含意認識
モデル

補助テキスト][

含意確率が高い順に並べかえてランキングを作成する

中立]

相対的形容詞(−)

統計指標

前提文 ある市は [犯罪件数] が [い場合，大小表現 (−) は当該指標の値が低い場合を表す．潜在]が良いある．本研究では，エンティティの潜在指標の程度となるのは負の符号を大小表現と呼び，大小表現 (+) は当該指標の値が高多い
補助テキスト

潜在指標

仮説文 ある市は [ 治安２

0.1

相対的形容詞(+)

統計指標

事故
2 − 件数 0.3

含意

中立

]

3 −

矛盾

空き家
0.1
数

[ 統計（潜在）指標]: 入力時に与えられる，統計（潜在）指標名が挿入される[ 相対的形容詞(+/−) ]: 入力時に与えられる，程度や数量の大小などを表す形容詞が挿入される
なお， (相対的に)上方にあるものに(+)，下方にあるものに(−)を記す[ 補助テキスト ]: 入力文を完結させるために，「である・している調」や「相対的形容詞(+) 」などが挿入される

図 1: 含意認識を用いた手法

指標の程度は，同じエンティティタイプに属するエンティティとの客観的な比較によって判明するものとする．それを踏まえ

り立つ確率（含意確率）PNLI (y = 1 | tk , hq ) によってランキて，統計指標検索タスクの定式化を説明する．

ングを作成する．つまり，統計指標の大小の度合に関する情報

本問題は，あるエンティティタイプ c ∈ C の潜在指標 q ∈ Qc

から，潜在指標の程度を推論できるかを含意認識モデルで調べの名称と統計指標 k の集合 Bc に対して，Bc に含まれる統計指て，その含意確率が高くなるような統計指標を上位になるよう

標 bk を大小表現 lk ∈ {+, −} 付きでランク付けする問題であに順位付けする．なお，含意認識モデルは，その仮説が成り立り，ランキング ((l1 , b1 ), (l2 , b2 ), . . . , (lk , bk )) を返す．ただし，つ (含意) か，成り立たない (矛盾) か，判断できない (中立) かC はエンティティタイプの集合，Qc はあるエンティティタイ

の 3 クラスから予測するため，含意クラスの予測確率を含意確

プ c の潜在指標の集合，各 k については bk ∈ Bc とする．な率として扱う．また，相対的な量や程度を表現するため，程度

お，C の要素には「市区町村」，「都道府県」，「企業」などが該や数量の大小などを表す形容詞を用いる．本研究では，このよ

当し，Qc の要素には，
「魅力」，
「衰退」，
「高齢化」，「貧困」などうな形容詞を「相対的形容詞」と呼び，(相対的に) 上方にあるが該当する．Qc に含まれる単語は，あるエンティティタイプ c

ものに (+)，(相対的に) 下方にあるものに (−) を示すこととすに属するエンティティe ∈ Ec について言及している Web 文書

る．相対的形容詞の用例としては，「大きい・小さい」，「多い・d(e) ∈ De 中より観測されるような単語である．ここでいう De

少ない」，「高い・低い」，「良い・悪い」などが挙げられる．仮とはエンティティe について言及している Web 文書の部分集

説文は，潜在指標のみでは文が完結されないため，「である・し合，Ec とはエンティティタイプ c に属するエンティティの集合ている調」や「相対的形容詞 (+)」などを用いる．含意認識のとする．本論文で検索対象とする統計指標 bk ∈ Bc は，あるエ

例としては，「ある市は犯罪件数が多い」から「ある市は治安がンティティタイプ c について官公庁などが調査・公開している悪い」かを推論すると犯罪件数の含意確率が求められる．

統計データ（公的統計）より指標化された，エンティティe の客観的指標を指す．例えば，エンティティタイプ c が「市区町村」の場合，人口や学校数，病院数などが挙げられる．統計指標 bk

PNLI (y = 1 | tk , hq ) = Softmaxy (fNLI SCORE (tk , hq )) (1)∑Softmaxi (x) = exp(xi )/exp(xj )
(2)
j

(e)

の値 ay,k は エンティティ e，調査年 y ∈ Yc を一意に定めることで得られ，ある調査年 y におけるエンティティe の統計指標のベクトルは，以下のように表現される．ただし，Yc とはある
エンティティタイプ c について調査された年の集合とする．

tk と hq はそれぞれ前提文と仮説文，fNLI SCORE (·) ∈ R3 は含意認識モデルの出力ベクトルを表す．各クラスの予測確率は[0, 1] とし，3 クラスに対する予測確率の合計は 1 とする．
さらに，統計指標 bk の大小表現 lk を定めるため，潜在指標

(e)
(e)
(e)
T
nc
(e)
a(e)
y = (ay,1 , ay,2 , . . . , ay,k , . . . , ay,nc ) ∈ R(e)

ここで，y ∈ {1, 2, 3} は各出力クラス（含意・矛盾・中立），(e)

ここで，ay は nc 次元の任意の実数ベクトルとし，ay,k は

q の程度に関する仮説文 hq は固定したまま，統計指標 bk の相
(+)

(−)

対的な量に関する前提文 tk , tk

ごとに含意認識し，より仮ある調査年 y におけるエンティティe の統計指標 bk の値とし，

説文 hq の含意確率が高くなる前提文の含意確率（=スコア）とk ∈ {1, 2, . . . , nc } とする．

大小表現 lk を採用する．例えば，「この市は過疎化が進む」と本論文では，このランキング問題を，あるエンティティタ

いう仮説文に対して，「この市の空き家数が多い」と「この市のイプ c ∈ C の潜在指標 q ∈ Qc の名称と検索対象となる統計

空き家数が少ない」という 2 つの前提文で含意認識を個別に行

指標の集合 Bc を入力として，スコアを出力するスコア関数

うと，前者の「空き家数が多い」の方が含意確率が高くなるた

s : Qc × Bc → R を設計する問題とみなす．最終的なランキン

め，空き家数の大小表現は + となる．

グとしては，大小表現と統計指標のタプル (lk , bk ) をスコア関
数 s の出力するスコアの降順に並べたものとなる．

3. 2 含意認識を用いた手法

(l)

(3)

(l)

(4)

s(q, k) = max (PNLI (y = 1 | tk , hq ))l∈{+,−}

lk = arg max(PNLI (y = 1 | tk , hq ))l∈{+,−}

含意認識手法では，図 1 に示すように，含意認識モデルを用
いて，統計指標 bk の相対的な量に関する前提文 tk から潜在指標 q の程度に関する仮説文 hq を含意認識し，仮説文 hq が成(+)
ここで，tk は統計指標の値が大きい場合の前提文を表し，(−)
tk は統計指標の値が小さい場合の前提文を表すものとする．

1

モデルの学習で確率を求める潜在指標に関するエントロピーと統計指標の大小の度合を取得

２

0

潜在指標

統計指標

𝐻( 安全 )

内容に
安全
反映される

件数

Web文書

文書の生成過程
補助情報ありニューラル
トピックモデル1
不確かさ

𝐻 安全 犯罪

安心
治安

犯罪件数
4件

3

学習

単語
統
計
指
標

減少度合い

-24.44

統計指標のランキング化

安全のランキング

1

0.57
− 犯罪
件数

事故
2 − 件数 0.34

3 −

重み行列

空き家
0.12
数
不確かさの
減少度合い

重み行列はモデルの学習後に得られる潜在指標を表すような単語「高齢化」の出現有無に関する不確
かさがどの程度減るかは，H(高齢化) − H(高齡化 | 高齢者数)より計算できる．
前述のエントロピーを計算するためには，潜在指標 q を表す
ような単語 vq と統計指標 bk の確率を求める必要がある．その確率を計算できる手法として，共起頻度を用いた手法があるが，表記揺れにより適切な共起関係や統計指標 bk の時系列の変化を捉えられないという問題がある．そのため，文書中に現れな

図 2: 相互情報量を用いた手法

い潜在的な共起性（隠れた共起性）を扱い，高齢化のような統計指標 bk の時系列の変化を考慮できる，補助情報ありニュー

最終的には，大小表現 lk と統計指標 bk のタプルの集合を含

ラルトピックモデルを用いる．具体的には，あるエンティティ

意確率が高い順に並べかえることで，潜在指標に対する統計指の統計指標のデータをもとにエンティティの内容（潜在指標を

標のランキングが完成する．含意認識モデルは，中立も選択肢表す単語などの集合）に関する文書が生成されるという過程をにあることで，判定が難しい事例に対して，含意または矛盾の取り入れたモデルを用いて確率を求める．最終的には，エント予測確率が高くなるのを防ぎ，モデルは潜在指標が推測しやす

ロピーを計算し，不確かさの減少度で統計指標 bk を順位付け

くなる統計指標を上手く選定できることが期待される．例えば，する．また，統計指標 bk の大小表現については，モデルの学「犯罪件数が少なくて治安が良い」と「犯罪件数が少なくて魅習により，統計指標と単語の対応関係が反映された重み行列が力度が高い」という事例の場合，後者の方が中立の予測確率が獲得できるため，学習後のモデルの重み行列 Wbv の k 行 p 列高くなる．この理由として，事前学習時に犯罪件数と治安の文

bv
目の要素 Wk,qの符号を用いる．

脈が犯罪件数と魅力度の文脈より強いこと，つまり，世間一般の人々が同意できるような関係を捉えられるためである．

3. 3 相互情報量を用いた手法
相互情報量手法では，潜在指標 q を表すような単語 vq の出
現有無に関する予測しにくさ（不確実性）が下がるような統計
指標 bk ，言い換えれば，潜在指標 q を表すような単語 vq の出
現有無を予測する上で意味がある・情報量がある統計指標 bk を適合とする．ここでいう予測しにくさはエントロピー H(·) を用いて数値化することとする．具体的には，図 2 に示すように，
統計指標 bk の情報を入手することで潜在指標を表すような単語 vq の予測しにくさがどの程度減るかを調べて，不確かさの減少度 I(Xq ; Yk ) でランキングを作成する．

I(Xq ; Yk ) = H(Xq ) − H(Xq | Yk )H(Xq ) = −Pv (Xq = 1) log Pv (Xq = 1)
− (1 − Pv (Xq = 1)) log(1 − Pv (Xq = 1))

(5)

(6)

H(Xq | Yk ){}= −Pb (Yk = 1) Pc (Xq = 1 | Yk = 1) + (1 − Pc (Xq = 1 | Yk = 1))s(q, k) = I(Xq ; Yk )
+ (Wbv > 0 の場合)
k,q =
lk =
− (上記以外の場合)

(8)
(9)

単語 vq と統計指標 bk の確率は，学習済みモデルの重み行列にソフトマックス関数を適用することで得ることができる．
T
Pv (Xq = 1) は Softmax(Wvt) の q 列目のベクトルの各要素のTT
値の平均とする．ここで，Softmax(Wvt) は重み行列 Wvtにソ
フトマックス関数が適用した後の行列を表し，その行列の t 行
q 列目の要素は，トピック t に対する単語 vq の出現確率となる．
Pb (Yk = 1) は統計指標 bk の入手の有無に関する確率となるたT
Tめ，1/2 とする．Pc (Xq = 1 | Yk = 1) は Softmax(Wtb
Wvt)の k 行 q 列目の要素の値とし，その値は統計指標 bk が与えられた時の単語 vq の出現確率となる．Pc (Xq = 1 | Yk = 0)T
T
Wvt
から変換された同時確率 P（
は Wtb
j Xq = 1, Yk = 1）とPb (Yk = 1) = 1 − Pb (Yk = 1) を用いて，次にように計算される．
Pc (Xq = 1 | Yk = 0) = Pj (Xq = 1, Yk = 0) / Pb (Yk = 0) (10)∑Pj (Xq = 1, Yk = 0) =Pj (Xq = 1, Yy = 1)y∈{1,2,3,...,nc }\k(11)− (1 − Pb (Yk = 1)){Pc (Xq = 1 | Yk = 0)+

本モデルは，Card らが提案したニューラルトピックモデル(1 − Pc (Xq = 1 | Yk = 0))}(7)

ここで，H(Xq ) は単語 vq の出現有無の不確かさ，H(Xq | Yk )は統計指標 bk の情報を知ったあとの単語 vq の出現有無の不確かさを表す．Pv (Xq = 1) は単語 vq の出現確率，Pb (Yk = 1)
は統計指標 bk の情報の入手確率，Pc (Xq = 1 | Yk = 1) は統計指標 bk の情報が与えられたときの単語 vq の出現確率，

Pc (Xq = 1 | Yk = 0) は統計指標 bk の情報が与えられていない

SCHOLAR [18] に基づき構成され，トピック分布を生成する
際に補助情報を利用できる．この点は従来モデルとは異なる．
以下では，文書生成過程と学習方法について述べる．

3. 3. 1 文書生成過程
文書生成過程では，エンティティe と西暦・和暦といった年を表す数値表現（以下，「年表現」と呼ぶ）y を含んだ文書の集合

D があり，各文書の単語は確率過程により生成されるものと考ときの単語 vi の出現確率を表す．また，相互情報量を使った例

える．文書数は D 個，トピック数は T 個，文書 i の単語数はとして，統計指標の一つである「高齢者数」を入手することで，Ni 個，単語の種類数は V 個，文書 i の j 番目の単語は xij とする．文書 i のトピック分布（トピックの出現確率）を θ i ∈ ∆T ，
トピック t の単語分布（単語の出現確率）ϕt ∈ ∆

V

とする ．

文書 i の補助情報として，調査年 y におけるエンティティe の
(e)

(e)

(14)

= Softmax(r i + Wtm Hi )(15)

θ i = ftcnn (r i , ai,y )2Hi = Reshape(Wgro Relu(Ci Wker ))
(
)
(e)
(e)
Ci = a(e)i,y−ny , ai,y , ai,y+ny(e)

統計指標ベクトル ay が付与されており，ay の k 次元目の値は統計指標 bk の値とする．
それらを踏まえて，以下の過程により文書集合が生成されるものとする．まず，潜在変数 ri はロジスティック分布からサン(e)

プリングし，関数 ft (r i , ai,y ) よりトピック分布 θ i ∈ ∆T に変換する．ロジスティック分布の平均と共分散の対角項は µ0 (β)と σ 20 (β) とし，ハイパーパラメータ β を持つ対称ディリクレ分2布を近似するために，µ0,t (β) = 0 と σ0,t= (T − 1)/(βT ) とな

り単語分布 η i ∈ ∆関数 ftrnn (·) は次のように計算される．ただし，RNN(Recurrent

Neural Network）は再帰的構造（ある時点の入力がそれ以降の出力に影響を及ぼす構造）を持ったニューラルネットワーク，

Wtb ∈ RT ×nc は RNN の出力に関する重み行列を表す．

項（全体の単語頻度の対数を表したもの），Wvt ∈ R

(e)

(18)

= Softmax(r i + Wtb hi,y )(19)

θ i = ftrnn (r i , ai,y )に変換する．ただし，d は V 次元の背景
V ×T

(17)

次に，過去の時点の指標値を考慮してトピック分布を予測する

るようにする．次に，関数 fg (θ i ) = Softmax(d + Wvt θ i ) よ
V

(16)

は重

(e)

hi,y = RNN(ai,y , hi,y−1 )み行列を表す．最後に，p(x | η i ) より Ni 個の単語をサンプリ(20)

ングする．なお，p(x | η i ) は多項分布，η i はソフトマックス

大小表現を定めるのに用いる Wbv については，関数 ftvec (·)

関数によって出力値を正規化し確率分布として扱えるようにしT
Tと関数 ftrnn (·) の場合，Wtbと Wvtの行列積で得られるもの

た単語の確率分布ベクトル（単語分布のように扱える）を表す．

とする．関数 ftcnn (·) の場合，最も強く反応したカーネルの変本研究では，トピック分布の関数 ft (·) を次のような 3 種類

動パターンによって大小表現が定まり，右上がりの場合は +，の方法により，単年（または複数年）の統計指標ベクトルから右下がりの場合は − となる．

トピック分布が得られるものとする．このような手法により，

3. 3. 2 学 習 方 法

人口に占める高齢者の割合が増加する高齢化のような潜在指標

本研究では，VAE でも利用されている reparametarization

を表す単語に関するトピックの対応も期待される．なお，本節

trick と呼ぼれる手法を利用し，勾配の不偏推定を実現し，勾配

では統計指標の値を「指標値」と明記し，関数 ft (·) には 3 年

推定の分散を小さくする．また，ミニバッチで学習することで，分の統計指標ベクトル（5 年ずつ間隔をあけて取得したベクト各サンプルについて潜在表現 r i を 1 つだけサンプリングする

ル）を入力するものとする．

形で学習を行う．そして，モンテカルロサンプリングによって

まず，複数年の指標値の大小関係でトピック分布を予測する
関数 ftvec (·) は次のように計算される．ただし，[·; ·] は行列（ベクトルを含む）の列方向（横方向）連結を表し，Wtb ∈ R

T ×3nc

目的関数は次のようになる．ただし，DKL は 2 つの確率分布間の差異を計る尺度を表す KL ダイバージェンスとする．

L(xi )

は統計指標とトピックの重み行列を表す．ny は 5 年ずつ間隔≈をあけるため，5 とする．

Ni
∑

(s)

(e)

(e)

log p(xij | r i , ai,y ) − DKL [qΦ (r i | xi , ai,y ∥p(r i | β)]

j=1
(e)

θ i = ftvec (r i , ai,y )

(21)

(12)

(e)
(e)
(e)
= Softmax(r i + Wtb [ai,y−ny ; ai,y ; ai,y+ny ])(13)

潜在表現 r i のサンプル近似を行うため，エンコーダ fe は(e)

入力 xi , ai,y から r i をサンプルする分布のパラメータを出力(e)

次に，カーネルを通して複数年に渡る指標値の傾向をで捉えする．具体的には，平均ベクトル µi = fµ (xi , ai,y ) と対角のてから，指標グループ単位に集約し，指標グループが特定の変動共分散行列 σ 2i = fσ (xi , ai,y ) を出力するネットワークとし，をした際にあるトピックの値が大きくなることを考慮する関数qΦ (r i | xi , ai,y ) = N (µi , σ 2i ) となるようにする．また，対角ftcnn (·) は次のように計算される．ただし，Ci ∈ Rnc ×3 は複数年の共分散行列は，行列ではなく対角成分を要素にもつベクトルの統計指標ベクトルを横に並べた行列，Wker ∈ R3×M は M 個とする．なお，xi は V 次元の単語ベクトル，fe は多層パーセのカーネルの傾向パターンを捉える重み行列，Wgro ∈ R

L×nc

プトロンを表す．ニューラルネットワークの誤差逆伝搬を行う

は L 個の指標グループを捉える重み行列，Wtm ∈ RT ×LM はため，エンコーダ fe で推定したパラメータとノイズより決定

各トピックに対する（指標グループの）カーネルの反応を捉え的に潜在表現 r i を生成し，潜在表現 r i から観測されたデータ

る重み行列を表す．また，Reshape : R

n×m

→R

(n×m)×1

(e)

(e)

は行

を生成できるよう学習することで，対数尤度は最大化され，KL列の各行を縦方向に並べる関数，Relu(u) = max(0, u) は勾配

ダイバージェンスも 0 に近づく．実装上は符号を反転させて，消失問題を回避するのに用いられる正規化線形関数を表す．

目的関数の最小化を行う．

4 実験

本節では，まず統計指標のデータセットとテキストコーパス
2：∆K は要素の値の和が 1 になる任意の K 次元の非負実数のベクトルを表す．

の概略と構築方法について述べる．その後，ベースライン手法

とランキングの適合判定，評価指標などの実験設定について述の mDeBERTaV3 を含意認識タスク用にファインチューニング

べる．最後に実験結果について述べる．

されたモデル mDeBERTa-v3-base-mnli-xnli 5 を用いる．ファ4. 1 データセット
統計指標のデータセットは，統計ダッシュボード上で公開されている統計指標のデータを収録したものである．本研究では，検索対象とする統計指標を定める必要があるため，統計指標のデータや出典，調査期間，エンティティタイプなどが取得可能
な統計ダッシュボードを利用する．本データセット内に含まれる統計指標の種類数は 783 個である．なお，統計指標の定義については，政府が実施する統計調査の結果をオープンデータとインチューニングで用いられたデータセットは，15 言語の含意
認識タスクの事例を含む XNLI データセットと英語の MNLI
データセットである．ただし，MNLI データセットは機械翻訳の品質上の問題から英語の訓練データのみを用いている．前提文と仮説文内の「相対的形容詞」は統計指標毎に事前に人手で付与した．仮説文の「補助テキスト」も同様に人手で付与した．
補助情報ありニューラルトピックモデルのパラメータチュー
ニングでは，構築したテキストコーパスの学習データに含まれる各文書内で検証用 (20%) に配分された単語を用いて，パーして公開している政府統計の総合窓口 (e-Stat) の項目定義に関

プレキシティが最も低くなる組み合わせを探索し，最適なパラ

する Web ページ 3 の内容に基づくものとする．実験では，補助メータを決定した．

情報ありニューラルトピックモデルで統計指標と単語の対応関係を学習する際に，値の範囲 (Scale) を平均 0，分散 1 になる
ように変換したものを使用する．
テキストコーパスは，大規模な Web クロールデータの Com-

mon Crawl をフィルタリング・前処理した多言語コーパス
mC4(Multilingual C4) 4 に含まれる日本語コーパスから機械的に抽出した「固有名詞（市区町村）」と「西暦・和暦といった年
表現」を含んだテキスト（4,870,000 文書）を収録したものである．なお，テキストには市区町村名と年表現が 1 つずつ含まれており，市区町村と年が 1 対 1 対応しているものとする．本
コーパスは次のように構築した．まず，文章を句点・改行・記号（例: ！
？）で区切り，区切られた各文に市区町村名が含まれているかを判定する．また，区切られた各文から年表現を抽出する．次に，区切られた各文ごとに市区町村名の位置から（文字数で）最も近い年表現を探索し，市区町村名とペアとなる年を決定したあと，その文の前後 5 文を含めた文章を一つの事例として扱い，本コーパスに加える．なお，ニューラルトピック
モデルの学習・評価を行うために用いる，テキストコーパスの学習・評価用データはそれぞれ，3,896,000 個と 974,000 個に分割した．

4. 2 実 験 設 定
本研究では，ベースライン手法として，ランダム手法と共起回数手法を用いた．(1) ランダム手法: 大小表現の集合から重複ありでランダムに選択したもの（リスト）と，統計指標名の集合から重複なしでランダムに選択したもの（リスト）を用いて，互いのリストの同じ位置の要素同士のペアとし，ランキングを作成する手法，(2) 共起回数手法: 全部の統計指標名に対して，
まず形態素解析で統計指標名から（一つまたは複数個の）名詞を抽出し，次に前節で述べたテキストコーパスを用いて，それぞれの名詞が潜在指標を表すような単語と共に出現する回数を計算し，それらの平均値を出す．最後に，統計指標名を平均値が高い順に並べてランキングを作成する手法．なお，大小表現
は手法 (1) と同様にランダムに選択したものをペアとする．
含意認識モデルは，多言語コーパス CC100 で事前学習済み

統計指標検索タスクの評価を行うための前段階として，ランキングの出力までの手順について述べる．まず，手法に入力する単語（以下，「クエリ」と呼ぶ）を用意するため，今回は市区町村の潜在指標を表すような単語として，社会課題に関連する単語（例: 魅力，過疎，治安）を 50 個選んだ．ただし，クエリとなる単語は事前に定義した語彙集合に含まれるものとする．
次に，ベースライン手法も含めた 10 手法を用いて，クエリごとに上位 10 件のランキングを出力した．なお，相互情報量を用いた手法では，トピック分布の関数 ft (·) において，3 種類の方法 (線形変換 ftvec (·)，CNN ftcnn (·)，RNN ftrnn (·)) があり，
入力特徴は単年（または複数年）の統計指標ベクトル（1 年分，3 年分）があるため，それぞれでランキングを出力して，検索性能に違いが生じるかを調査することとする．また，入力特徴
では，対象年（事例に含まれる西暦）の統計指標ベクトルと 10
年前の統計指標ベクトルの差をとったもの（差分ベクトル）も調査する．トピック分布の関数 ft (·) の有効性を調査するため，関数内で全く処理を行わず，入力ベクトルをそのまま出力して，統計指標ベクトルをもとに単語分布に変換した場合（以下では，「処理なし」と呼ぶ）も調査する．

4. 2. 1 統計指標検索タスクの評価方法
本研究では，クラウドソーシングを用いて，ランキングに含まれている統計指標がクエリの潜在指標を推測するのに適しているかどうかを人手で判断し，正解データを集めた．評価方法
は，客観性を持たせた評価に基づき，世間一般の人々が同意できるか否かで評価する．つまり，自分以外の多くの人がどう考えるかという視点で評価する．本タスクでは，統計指標の数量の大小度合をもとに潜在指標の程度を推測することに主眼を置いているため，潜在指標と擬似相関がある統計指標であっても世間一般の人々が同意できる場合は適合と判断する．疑似相関である場合，統計指標を主体的に動かしても潜在指標が追従しないため，地域の観光客数を少なくしても魅力が下がるわけではない．そこで，評価では，地域の特定の統計指標の数量が増加・減少した状況ではなく，ある時期の数量をもとに潜在指標の程度を推測できるかを客観的に判断する．

3：https://www.e-stat.go.jp/koumoku/koumoku_teigi/A
4：https://huggingface.co/datasets/mc4

5：https://huggingface.co/MoritzLaurer/mDeBERTa-v3-base-mnli-xnli表 1: 統計指標検索タスクにおける各手法の検索性能手法
ベースライン手法

Precision@10 nDCG@10

ランダム手法0.326

共起回数手法

0.394

0.290

含意認識手法

0.594

0.476

0.221

相互情報量手法

提案手法(a) 財政難に関する質問(b) 過疎化に関する質問

線形変換（1 年分）

0.282

0.186

線形変換（3 年分）

0.368

0.261

トピック分布の線形変換（差分）

0.366

0.249

関数 ft (·) のCNN（3 年分）

0.344

0.256

方法と入力特徴

RNN（3 年分）

0.316

0.210

処理なし（1 年分）

0.372

0.254

処理なし（差分）

0.336

0.221

図 3: クラウドソーシングで依頼したタスクの質問例

クラウドソーシングはランサーズ 6 を使用し，1 つの依頼に対し多人数のランサー（ワーカー）が同時に作業を行う仕事方
式（タスク方式）を採用した．ワーカーは，図 3(a)(b) に示す
ような質問に，5 段階のリッカート尺度で回答した．質問の内容は，与えられた統計指標名のみでクエリの潜在指標の程度を推測するのに適しているかをワーカーが判断するのは困難であるため，よく似た 2 つの市区町村 (A 市と B 市) を仮定し，与えられた統計指標の値のみが 平均値 ± 標準偏差 ほど差がある状況を想定する．そして，与えられた統計指標の値を棒グラフを示し，A 市の方が潜在指標が高くなるかを聞くようにすることで，ワーカーは客観的な比較に基づき判定が行えるようにした．タスクには 10 問の質問を掲載し，そのうちの 1 問はワーカーの回答に一貫性があるのかを確認するための質問（ダミー質問）とし，残りの 9 問の回答を評価の際に使用した．なお，
本研究では，この回答を「推測的スコア」と呼ぶ．なお，タスクの説明文の中には，ワーカーの回答を拒否する条件として，(1) 適当に入力している場合,(2) 比較をせずに判断している場
合，(3) 評価の一貫性がない場合があることを明記した．クラウドソーシングを用いた評価では，依頼を受けるワーカーの作
業品質の差が問題となることから，ワーカーの作業品質を一定に保つため，2 つ以上のタスクで拒否条件を満たす回答をした
ワーカーのタスクは全て承認せず，異なるワーカーに同タスクを再度依頼した．
評価指標としては，情報検索においてよく用いられる P@10
（Precision@10）と nDCG@10 [21] を用いた．なお，P@10 とnDCG@10 は負のスコアが扱えないため，クラウドソーシングで集めた正解データに含まれるマイナスのスコアは 0 で置換し，3 段階の推測的スコアで計算を行なった．
4. 3 実 験 結 果
4. 3. 1 統計指標検索タスクの実験結果

意認識モデルが，+1 以上の推測的スコアが付与された統計指標に対して高い含意確率を出力できたことを示唆しており，含意認識モデルが大きい・小さいなどの相対的形容詞で表現された統計指標の数量度合と潜在指標の程度の関係を内容的に近いものとして捉えられているからだと考えられる．相互情報量手法では，トピック分布の関数 ft (·) を 7 種類の場合に分けて検索性能を評価したが，他の手法よりも低い性能を示した．特に，P@10 による比較では，トピック分布の関数 ft (·) の 7 種
類の中で，「処理なし（1 年分）」がその他の場合よりも性能が高く，トピックを介した手法の方が劣る結果となった．また，

nDCG@10 による比較では，3 年分（10 年前と 5 年前と対象年）の統計指標ベクトルを扱ったトピック分布の関数 ft (·) である「線形変換（3 年分）」
「CNN（3 年分）」が 1 年分の統計指標ベクトルを扱ったものより高い性能を示した．つまり，潜在指標を表すような単語をクエリとするランキングにおいて，複数年の統計指標ベクトルを扱ったモデルの方が高い性能となることが判明した．ベースライン手法の「共起回数手法」は，「含
意認識手法」よりも低い性能であるが，「相互情報量手法」よりは高い性能を示した．これは，補助情報ありニューラルトピッ
クモデルが統計指標と潜在指標を表すような単語との対応関係を捉えきれず，推測的スコアが高くなる潜在指標を検索できていないことを示唆している．この理由として，モデルの入力単語列が Bag-of-Words であるために，潜在指標を表す単語と程度を表す単語は個別に扱われ，統計指標の値によって潜在指標の程度が決まることを学習できていないことが挙げられる．

50 個のクエリにおける 10 手法の性能差の検定として，Twoway ANOVA を行い，手法の効果は統計的に有意であることが明らかになった．なお，nDCG@10 の場合は，F (9, 441) =16.5, p < 0.05，P@10 の場合は F (9, 441) = 12.5, p < 0.05) となった．また，Tukey HSD を実施し，有意水準 α = 0.05 の下では，「含意認識手法と他の手法の間」および「共起回数手法と統計指標検索タスクにおける 10 手法の P@10 と nDCG@10

相互情報量手法（線形変換 1 年分）の間」に有意差が見られたの結果を表 1 に示す．なお，P@10 と nDCG@10 の値は，50（p 値が 0.05 より小さい）．この結果は両方の評価指標で同じ個のクエリの平均値とする．本研究で提案した「含意認識手法」となった．

は，P@10 と nDCG@10 の両方でベースライン手法やもう一つ4. 3. 2 含意認識手法の失敗分析の提案手法「相互情報量手法」を上回る性能を示しており，本

表 1 より，含意認識手法の Precision@10 は 0.594 であるた

タスクで最も有効であったことが明らかになった．これは，含め，上位 10 件のうち約 4 件は不適合な統計指標（不適合指標）であることが判明した．クエリに対する適合指標が 10 件未満

6：https://www.lancers.jp/

しか存在しない場合，現状のランキングではユーザに多くの不

度数

度数

相対累積度数60

相対累積度数

1.00

200

1.00

0.75

150

0.75

100

0.50

50

0.25

相対累積度数

度数

0.50

相対累積度数

度数

40

20
0.25

0

0

0.00
0.05

0.15

0.25

0.35

0.45

0.55

0.65

0.75

0.85

0.00
0.05

0.95

0.15

0.25

0.35

0.45

0.55

0.65

0.75

0.85

0.95

階級値

階級値

図 4: 不適合な統計指標に対して含意認識手法が出力した中立確率に

図 5: 不適合な統計指標に対して含意認識手法が出力した矛盾確率に関するヒストグラム

関するヒストグラム

適合指標を提示してしまい，誤解を招く可能性がある．ユーザ

TP

FP

Precision@10300の誤解を招く事態を防ぐため，閾値を設定し，最低限の条件を1.000満たした統計指標のみを提示することを検討する．本研究では，

0.750

含意確率よりも中立確率（または矛盾確率）の方が高くなった

0.500

Precision

たかを検証する．具体的な方法としては，個々のクエリに対し個数統計指標が上位 10 件に含まれていたことで手法の性能が低下し

200

100

て手法が出力したランキング内の不適合指標における矛盾確率

0.250と中立確率より作成したヒストグラムで傾向を捉える．その後，手法の P@10 を上げるために，偽陽性（FP: False Positive）数

0

0.000
0.1

0.2

0.3

0.4

まず，50 個のクエリに不適合な統計指標に対して，手法が出

0.6

0.7

0.8

0.9

1

中立確率

を抑えつつ，真陽性（TP: True Positive）数が僅かしか減らな
いような閾値を発見する．

0.5

図 6: 「中立確率を閾値以下 」または「矛盾確率を 0.2 以下」を検索条件として加えた際の TP・FP・P@10

力した中立確率に関するヒストグラムを図 4 に示す．この結果
より，手法が出力した上位 10 件内の不適合指標のうち，中立確の数量度合に基づき潜在指標の程度を推測できるとユーザが誤率が 0.1 未満であったものが約 28%であり，残りの約 72%は中解することも防ぐことができると考えられる．

立確率が 0.1 以上であることが判明した．つまり，不適合と判

4. 3. 3 提案手法のランキング結果定された統計指標の約 72%は含意確率が 0.9 未満であるため，提案手法のランキング結果において，統計指標が細分化され含意確率が 0.9 を切るような統計指標は潜在指標の程度を推測ていることで，同じような統計指標が上位に順位付けられてしするのに適さないことが示唆された．次に，50 個のクエリに不まうという事例が見られた．例えば，表 2 の「付加価値額」の適合な統計指標に対して，手法が出力した矛盾確率に関するヒような似た名称をもつ統計指標は，クエリと意味的に類似する

ストグラムを図 5 に示す．この結果より，手法が出力した上位

ため，上位に順位付けられたと考えられる．含意認識手法は，10 件内の不適合指標のうち，矛盾確率が 0.1 未満であったも統計指標の名称が十分な情報を含んでいない場合，単語同士がのが約 81%であり，0.2 未満までを含めれると約 91%になるこ

意味的に類似する統計指標，つまり，内容的につながりが弱いとが判明した．つまり，不適合と判定された統計指標の約 91%

統計指標の方を上位に順位付けしてしまう可能性がある．それは，矛盾確率より含意確率（中立確率）の方が高くなっており，に対処するため，付加価値額のような十分な情報を含んでいな

矛盾確率が低くとも不適合指標が存在することが示唆された．

い統計指標を扱う場合，（より多くの情報を含んだ）説明文を用

先程の結果を踏まえて，手法の P@10 が上がるとされる，FP

いて含意認識が行えるよう改善すべきだと考えられる．その一数を抑えつつ，TP 数が僅かしか減らないような閾値を発見す方で，相互情報量手法は，トピック分布の関数が異なるとランるため，中立確率を変化させながら，その時の Precision を計

キング結果も大きく変化しており，共通する統計指標が少ない算した結果を図 6 に示す．なお，P@10 は，「中立確率を閾値以ことが判明した．本来であれば，予測において大きく貢献して下」または「矛盾確率を 0.2 以下」を検索条件として加えた際いる統計指標は，一定程度共通すると考えられるが，結果は相のスコアとし，矛盾確率は 0.2 以下で固定する．その結果，手反するものであった．その要因として，本研究の実験では，テ

法は，「中立確率が 0.1 以下」または「矛盾確率が 0.2 以下」とキスト中に出現した年表現と市区町村名をもとに統計指標ベク

なる統計指標のみ出力することで，P@10 を 0.837 まで向上でトルを用意するアプローチを採用したため，年表現の制約が厳きることが判明した．これにより，上位 10 件に含まれる不適

しすぎた可能性がある．

合指標を約 4 件から約 2 件まで減らすことができ，不適合指標

表 2: 「魅力」のランキング結果
順位

1

含意認識手法

+

2

+

3

+

4

5

+

+

付加価値額 (民営)

(宿泊業、飲食サービス業)
付加価値額 (民営)

(鉱業、採石業、砂利採取業)
付加価値額 (民営)

(農林漁業)
付加価値額 (民営)(電気・ガス・熱供給・水道業)
付加価値額 (民営)

(医療、福祉)相互情報量手法

相互情報量手法

相互情報量手法（線形変換 3 年分）（CNN 3 年分）（処理なし 1 年分）++

従業者数 (民営)(情報通信業)
従業も通学もしていない人口

+

卸売業年間
商品販売額

[8]

− 40〜44 歳人口 (男)− 無店舗小売店数− 事業所数 (市区町村)− その他の小売店数− (学術研究、

売上金額 (民営)− 近隣商業地域面積

専門・技術サービス業)−

従業者数 (民営)(金融業、保険業)− 住居地域面積− 機械器具小売店数+ 事業所数 (民営)

− 飲食料品小売店数+ 日本人人口 (総数)

[9]

[10]

[11]

5 ま と め
本論文では，魅力や活気のようなエンティティの潜在指標を[12]

直接入力して，潜在指標の程度が推測できるような統計指標を検索する統計指標検索タスクと，それに対する手法を提案した．
手法の性能評価では，クラウドソーシングを用いて判定を行い，[13]

2 つの評価指標（P@10 と nDCG@10）でベースライン手法と提案手法の比較を行った．その結果，含意認識手法が両方の評[14]

価指標で最も高い性能を示した．本研究の限界として，複数の統計指標を組み合わせて潜在指標の程度を説明することはできない．今後の課題は，統計指標のデータを利用した含意認識手法の検討，相互情報量手法の性能改善などを挙げられる．
謝辞 本研究は JSPS 科研費 21H03554,21H03775 の助成を[15]受けたものです．ここに記して謝意を表します．

文献[1] 山枡慧.
法的措置 発言の波紋 都道府県魅力度ランキング .
NHK 政治マガジン (NHK NEWS WEB), 2021. https://www.
nhk.or.jp/politics/articles/feature/72908.html, (参照2022-07-14).
[2] 望 月 実 香 子.
プ レ ス リ リ ー ス: 【 第 2 回 グ ル メ サ イ
ト ー 意 識 調 査 】グ ル メ サ イ ト 評 価 、「 信 頼 し な い 」飲 食
店 6 割。飲食店探しは「google マップ」「ウェブ検索」が急
増 . TableCheck, 2021. https://www.tablecheck.com/ja/
company/press/ota-survey-20210409/, (参照 2022-07-15).
[3] 秋 山 度 and 島 田 尚 朗.
信 じ て ま す か no.1 . NHK
NEWS WEB, 2022. https://www3.nhk.or.jp/news/html/
20220517/k10013629911000.html, (参照 2022-07-15).
[4] 恵木 正史. Xai(explainable ai) 技術の研究動向. 日本セキュリ
ティ・マネジメント学会誌, 34(1):20–27, 2020.
[5] Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen
Mussmann, Emma Pierson, Been Kim, and Percy Liang.
Concept bottleneck models. In Hal Daumé III and Aarti
Singh, editors, Proceedings of the 37th International Conference on Machine Learning, volume 119 of Proceedingsof Machine Learning Research, pages 5338–5348. PMLR,
13–18 Jul 2020.
[6] Diego Marcos, Ruth Fong, Sylvain Lobry, Remi Flamary,Nicolas Courty, and Devis Tuia. Contextual semantic interpretability. In Proceedings of the Asian Conference on
Computer Vision (ACCV), November 2020.
[7] Dheeraj Rajagopal, Vidhisha Balachandran, Eduard H
Hovy, and Yulia Tsvetkov.
SELFEXPLAIN: A selfexplaining architecture for neural text classiﬁers. In Proceedings of the 2021 Conference on Empirical Methods in
Natural Language Processing, pages 836–850, Online and

[16]

[17]

[18]

[19]

[20]

[21]

Punta Cana, Dominican Republic, November 2021. Association for Computational Linguistics.
Yue Yang, Artemis Panagopoulou, Shenghao Zhou, DanielJin, Chris Callison-Burch, and Mark Yatskar. Language ina bottle: Language model guided concept bottlenecks forinterpretable image classiﬁcation. ArXiv, abs/2211.11158,2022.
加藤誠, 内田臣了, Imrattanatrai Wiradee, 山本岳洋, 大島裕明,
and 田中克己. 文脈誘導型ランキング学習. 第 9 回データ工学と情報マネジメントに関するフォーラム（DEIM2017）, 2017.
内田臣了, 山本岳洋, 加藤誠, 大島裕明, and 田中克己. 経験的属性によるオブジェクト検索. 日本データベース学会和文論文誌,
14-J(7), 2016.
Yuliang Li, Aaron Feng, Jinfeng Li, Saran Mumick, Alon
Halevy, Vivian Li, and Wang-Chiew Tan. Subjective
databases. Proc. VLDB Endow., 12(11):1330–1343, jul
2019.
Lanbo Zhang, Yi Zhang, and Yunfei Chen. Summarizing
highly structured documents for eﬀective search interaction.
SIGIR ’12, page 145–154, New York, NY, USA, 2012. Association for Computing Machinery.
岩成達哉, 吉永直樹, 豊田正史, and 喜連川優. 多様な手がかりを用いた形容詞に基づく概念語の順序付け. 第 8 回データ工学と情報マネジメントに関するフォーラム (DEIM2016), 2016.
Alex Wang, Yada Pruksachatkun, Nikita Nangia, Amanpreet Singh, Julian Michael, Felix Hill, Omer Levy, andSamuel Bowman.
Superglue: A stickier benchmark
for general-purpose language understanding systems. In
H. Wallach, H. Larochelle, A. Beygelzimer, F. d'Alché-Buc,
E. Fox, and R. Garnett, editors, Advances in Neural Information Processing Systems, volume 32. Curran Associates,
Inc., 2019.
Pengcheng He, Xiaodong Liu, Jianfeng Gao, and Weizhu
Chen. Deberta: Decoding-enhanced bert with disentangled
attention. In International Conference on Learning Representations, 2021.
Yishu Miao, Lei Yu, and Phil Blunsom. Neural variational
inference for text processing. In Proceedings of the 33rd
International Conference on International Conference on
Machine Learning - Volume 48, ICML’16, page 1727–1736.
JMLR.org, 2016.
Yishu Miao, Edward Grefenstette, and Phil Blunsom. Discovering discrete latent topics with neural variational inference. In Proceedings of the 34th International Conference on Machine Learning - Volume 70, ICML’17, page2410–2419. JMLR.org, 2017.
Dallas Card, Chenhao Tan, and Noah A. Smith. Neuralmodels for documents with metadata. In Proceedings of the56th Annual Meeting of the Association for Computational
Linguistics (Volume 1: Long Papers), pages 2031–2040,
Melbourne, Australia, July 2018. Association for Computational Linguistics.
Jacob Eisenstein, Amr Ahmed, and Eric P. Xing. Sparse
additive generative models of text. In Proceedings of the
28th International Conference on International Conference
on Machine Learning, ICML’11, page 1041–1048, Madison,
WI, USA, 2011. Omnipress.
Jon Mcauliﬀe and David Blei. Supervised topic models.
In J. Platt, D. Koller, Y. Singer, and S. Roweis, editors,
Advances in Neural Information Processing Systems, volume 20. Curran Associates, Inc., 2007.
Chris Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt
Deeds, Nicole Hamilton, and Greg Hullender. Learning torank using gradient descent. In Proceedings of the 22nd International Conference on Machine Learning, ICML ’05,
page 89–96, New York, NY, USA, 2005. Association for
Computing Machinery.