DEIM Forum 2017 F8-3

英日言語横断検索におけるクエリ拡張結果の詳細分析
玉置 賢太†

酒井 哲也†† 早稲田大学基幹理工研究科情報理工・情報通信専攻酒井研究室 〒 169–0072 東京都新大久保 3–4–1
E-mail: †madao@akane.waseda.jp, tetsuyasakai@acm.org
あらまし

言語横断情報検索とは，クエリとは異なる言語の文書を検索する技術のことである．本研究では，クエリ翻訳による言語横断情報検索において，異なる言語間の分散表現の類似性を利用したクエリ拡張を行い，その有効性について論ずる．また，比較対象として，クエリ翻訳の前後の擬似適合性フィードバックによるクエリ拡張を用いる．
今回の実験では分散表現を用いたクエリ拡張の優位性を示すことはできなかったが，本論文では両クエリ拡張方式の詳細な分析を行い，将来への課題を明確にする．
キーワード

1. 導

自然言語処理，言語横断情報検索，word2vec，擬似適合性フィードバック

入

言語横断情報検索とは，ユーザの入力したクエリとは異なる言語の文書を検索する技術のことである [10]．その主要なアプ
ローチは，クエリのほうを文書の言語に翻訳するものである．
このアプローチでは，クエリ翻訳の精度がシステム全体の検索有効性を大きく左右することとなる．そこで，クエリ翻訳を補強する手法として，クエリ拡張を組み合わせる手法が研究され，この組み合わせにより高い検索有効性が実現できるこ

図 1 従来手法と提案手法の比較とが知られてきた [7] [19]．クエリ拡張を適用するタイミングには 2 つある．[23]．1 つは，クエリを翻訳する前に拡張する

2 章では関連研究について述べ，3 章では提案手法について

pre-translation expansion で，もう 1 つは翻訳後に拡張をする

述べる．また，4 章では実験方法について述べる．5 章では実

post-translation expansion である．

験結果について述べ，6 章では結論・展望を述べる．

筆者らの研究では [21]，クエリ翻訳に対し辞書ベースなア
プローチとして，Mikolov らが提案した手法 [12] を用いて，
言語横断情報検索の有効性向上を図っている．Mikolov らは，

2. 関 連 研 究
2. 1 言語横断情報検索

word2vec [2] により得られる分散表現に，異言語にわたり線形

本研究では，言語横断情報検索の一つのアプローチとして，変換によって関連付けられた類似性があることに着目した．こ

クエリ翻訳による情報検索を用いている．クエリ翻訳による

こでの word2vec とは，skip-gram による分散表現手法 [13] を

情報検索では，翻訳に伴う語義曖昧性により，単言語検索より実装したツールである．Mikolov らはこの類似性を利用するたも性能が劣ってしまう場合が多い [7]．Ballesteros らの研究でめ，一方の言語の単語ベクトルを，他方の単語ベクトルに変換

は [7]，翻訳の前後にそれぞれの言語においてクエリ拡張を行う

するための行列，翻訳行列を求めた．この翻訳行列によって翻ことで，言語横断情報検索の性能が向上するかどうか検証され訳を実現するのが，Mikolov らが提案した手法である．結果とている．結果として，翻訳前後にクエリ拡張を行うことで，翻訳して，翻訳行列をクエリ翻訳に用いる手法では，ベースラインに伴う語義曖昧性を減らし，性能が向上したと述べられている．

である Google 翻訳 [5] と比べて，言語横断情報検索の有効性を

なお，Ballesteros らは [7]，local feedback [6] と local context

向上することができなかったと述べられている．

analysis [20] の 2 つのクエリ拡張手法による実験を行っている．

筆者らの従来研究では分散表現の類似性をクエリ翻訳に用い

2. 2 異言語にわたる分散表現の類似性ていたが [21]，本研究ではクエリ拡張に適用する．図 1 は従来

ここでの分散表現とは，word2vec によって得られたベクト手法と提案手法の違いを説明した図である．この図 1 のように，

ル表現をいう．このベクトル空間は，コーパス中の単語の異なクエリ翻訳は Google 翻訳によって行い，翻訳行列によって得り数 T 次元のビットベクトルを，より低い次元で表現したベク

られる単語を拡張クエリタームとして用いるのが提案手法であトルの集まりとなっている [13]．また，word2vec により得られる．このクエリ拡張手法が有効であった場合，翻訳前後のコー

たベクトル空間は，コーパス内の単語の意味的な遠近関係を表

パスを用いたクエリ拡張ではない，新しいアプローチとして利現しているとされている．

用することができる．これにより，今までは頭打ちだったシス
テムの性能向上に繋がる可能性がある．

近年，Mikolov らの研究 [12] によって，このベクトル空間に，
異言語にわたる類似性が見られることがわかった．この類似性というのは，異なる言語のコーパスによりそれぞれ学習を行ったとき，生成されるベクトル空間内の，同じ意味を持つ単語間の位置関係に類似が見られるというものである．図 2 にMikolov ら [12] の論文から転載した類似性の例を示す．

図 3 実験の概要 (筆者ら [21] より転載)
表 1 各手法における平均 MSnDCG 値の比較 (筆者ら [21] より引用)
拡張無し

翻訳前

翻訳行列

0.15770.2240 0.1627

翻訳後

翻訳前&翻訳後

0.1926

Google 翻訳

0.33630.2053 0.3269

0.3000

図 2 英語とスペイン語それぞれのコーパスによる分散表現の類似性 (左が英語の分散表現，右がスペイン語の分散表現．Mikolov

より検索エンジンを評価するツールである．表 1 の MSnDCG

ら [12] より転載．)とは，NTCIREVAL に実装されている，Burges ら [8] によって再定義されたマイクロソフト版の nDCG である [22]．

Mikolov ら [12] の論文では，この類似性を利用した機械翻訳

結論として，翻訳行列をクエリ翻訳に用いた言語横断情報検の手法が示されている．異なる言語間の同じ意味を持つ単語同索では，Google 翻訳を用いた場合より性能が上がることがな

士をマッピングすることで，翻訳を実現するというものである．

かったと述べられている．原因としては翻訳精度の差が挙げら

このため Mikolov らは，翻訳行列と呼ばれる行列を求めていれ，その差を改善する手段として次元数等のパラメータの調整

る．翻訳行列は，一方の言語の単語ベクトルを，同じ意味をもが挙げられている．

つ他方の単語ベクトルに変換するための行列で，以下の確率的勾配降下法 [9] の問題を解くことで求めている．

min

n
∑

W

3. 提 案 手 法
本研究では，2 章で述べた異言語にわたる分散表現の類似性∥ W xi − z i ∥

2

(1)

i=1

なお，W は求めている翻訳行列であり，xi は一方の言語に属する単語 i のベクトルであり，zi は他方の言語に属する単語

を，クエリ翻訳としてではなく，クエリ拡張の手法として適用する．また，翻訳前に擬似適合性フィードバックを行ったうえで，翻訳行列によるクエリ拡張を行う．これらの手法により英日言語横断情報検索を行い，その効果を検証する．

i のベクトルである．xi と zi は同じ意味を持つ単語であると

3. 1 クエリ翻訳

し，一方の単語ベクトルに翻訳行列 W を掛けた時に，他方のクエリ翻訳の手法としては，全文翻訳等に用いられてきた機単語ベクトルとの差が最小になるように学習を行っている．

械翻訳に加え，辞書ベース翻訳やパラレルコーパスを用いた翻この研究では，語族的に近い英語・スペイン語の組み合わせ訳などが考えられる [15]．また，機械翻訳の中にはルールベーのほかに，英語・ベトナム語の組み合わせ等でも実験を行い，スな翻訳と統計的な翻訳が存在し，時としてパラレルコーパス

一定の効果があることが示されている．

を利用しているものもある．

2. 3 言語の分散表現を用いた言語横断情報検索

本研究では，クエリ翻訳には焦点を当てていないため，既存筆者ら [21] は，上記の翻訳行列による機械翻訳を，クエリの機械翻訳機として Google 翻訳 API [5] をクエリ翻訳に用い

翻訳に利用した言語横断情報検索の検証を行った．この研究でる．本研究中のいずれの実験でも，クエリ翻訳部分は Google

は，クエリ翻訳の前後に擬似適合性フィードバックによるクエ

翻訳によるものとする．

リ拡張を行った場合の実験も行われている．また，翻訳行列に

3. 2 翻訳行列を用いたクエリ拡張

よる翻訳に対する比較対象として，Google 翻訳 API [5] をクエ

Mikolov ら [12] は，クエリ言語の単語ベクトルに，翻訳行列

リ翻訳に用いた場合についても実験を行っている．図 3 に筆者W を掛け合わせて得られたベクトルから，最も距離の近いベク

ら [21] の論文より転載した実験の概要を示す．

トルを持つ単語を翻訳単語としていた．本研究では，図 4 のよ

また，筆者らの実験の結果を表 1 に示す．筆者らの実験でうに，翻訳単語として扱っていた単語を，拡張クエリタームとは，言語横断情報検索の実験・適合性判定用のデータとして，してターゲット言語の文書を検索するために用いる．また，最NTCIR-5，6 CLIR タスク [11] のデータセットを用いている．

も距離の近い 1 語のみではなく，図 4 の提案手法のように，付

また，評価には NTCIR のいくつかのタスクで用いられてきた近の単語 n 個を拡張クエリタームとした場合についても実験を

NTCIREVAL [17] を利用している．これは，様々な評価指標に行い，その効果を検証する．

図5

実験方法

図 4 翻訳行列を用いたクエリ拡張

よるクエリ拡張のみを行う手法である．2 つ目は，翻訳前に擬
翻訳行列の生成には，Wikipedia の英日それぞれの記事 [4] をコーパスとして用いる．教師データの生成については林ら [23]に従い，コーパス内から 5000 語を取り出し，Google 翻訳に似適合性フィードバックによるクエリ拡張を行い，その拡張ク
エリタームを含めて翻訳行列によるクエリ拡張を行う手法である．翻訳行列によるクエリ拡張に関しては，付近の単語ベクト
ル n 個を拡張クエリタームとするが，n = 1，10，20 について

よって同じ意味を持つ単語対を生成している．

実験を行う．

3. 3 擬似適合性フィードバック
本研究では，翻訳行列によるクエリ拡張に加えて，翻訳前に擬似適合性フィードバックによるクエリ拡張を行った場合についても実験を行う．また，ベースラインとして翻訳前のみにク

以下に実験で用いるデータ及びツールについて示す．

4. 1 データセット
本研究では，検索対象記事及び適合性判定データとして

エリ拡張を行う手法と，翻訳後のみにクエリ拡張を行う手法に

NTCIR-5，6 CLIR タスク [11]・NTCIR-7 ACLIA タスク [14]ついても実験を行い，その性能の違いについて分析を行う．擬のデータセットを用いている．検索対象は，毎日新聞の 2000

似適合文書を検索するためのコーパスには，英日それぞれの言

年及び 2001 年の新聞記事であり，約 20 万記事が含まれる．林語のコーパスを用いる．

ら [23] に従い，C0 タグで表される索引記事番号を ID とし，T2

本研究では，擬似適合性フィードバックの手法として，Robert-

son らによる Oﬀer Weight [16] により拡張クエリタームを選出

OW = r ∗ log(r + 0.5)(N − n − R + r + 0.5)
(n − r + 0.5)(R − r + 0.5)

含まれる合計 97 トピックとし，クエリとして扱うのは各トピッ
クのタイトルフィールドとする．

する．以下に Oﬀer Weight の計算式を示す．

(

タグのみを本文として扱う．また，トピックはデータセットに

評価データとして用いたのが NTCIR-5，6 CLIR タスクで)(2)あり，NTCIR-7 ACLIA タスクのデータセットは訓練用データとして用いた．なお ACLIA タスク用のデータセットは，検索

ここで，N は検索対象コーパスに含まれる全文書数であり，対象コーパスが毎日新聞 1998 年から 2001 年の新聞記事となっn はその中で着目した単語が生起する文書数である．また，Rている．このため本研究では，適合性判定データから 1998 年

は適合文書として扱う文書の数であり，r はその中で着目した

1999 年の記事 ID を取り除いて利用した．

単語が生起する文書の数である．この Oﬀer Weight を，擬似適合文書中全ての単語について算出し，降順で上位の単語を拡
張クエリタームとする．
実験では，擬似適合文書数 R を 10 とし，拡張クエリターム
数を Oﬀer Weigh の上位 10 単語とした．

4. 実 験 方 法

4. 2 ベクトル空間の生成
翻訳行列の生成に用い，またクエリ拡張のためにも用いる英日それぞれの言語のベクトル空間生成には，Wikipedia の英日
記事 [4] を用いる．Wikipedia 英語記事は，筆者取得時で約 460万記事が含まれ，日本語記事はこちらも筆者取得時で約 90 万記事が含まれる．また，word2vec で学習を行う際の次元数のパラメータは，英語側で 800 次元，日本語側で 200 次元として本研究では，5 通りの手法について実験を行い，その結果をいる．この値は Mikolov ら [12] が，ソース言語である英語を分析する．これらは，大きくベースラインと提案手法の 2 つに800 次元，ターゲット言語のスペイン語を 200 次元としている分けられる．図 5 に概観を示す．

のに従っている．

ベースライン手法としては，3 通りの手法を実験する．図 5

4. 3 擬似適合性フィードバック

における上 3 本の矢印が示している．1 つ目はクエリ拡張を一

擬似適合性フィードバックによるクエリ拡張では，翻訳前後切行わない，クエリ翻訳のみによる言語横断情報検索である．

それぞれの言語のコーパスから擬似適合文書を検索する．本研

2 つ目は翻訳前のみにクエリ拡張を行う手法で，3 つ目は翻訳

究では，翻訳前の言語である英語のコーパスとして Wikipedia

後のみにクエリ拡張を行う手法である．

英語記事を用いる．これは，4 章 2 節で用いるものと同様に約提案手法としては 2 通りの手法について実験を行う．図 5 の460 万記事を含んでいる．翻訳語の日本語のコーパスとしては，

下 2 本の矢印がこの手法を示している．1 つ目は，翻訳行列に

検索対象コーパスである毎日新聞 2000 年及び 2001 年の記事を用いている．

4. 4 検索エンジン
本研究では，擬似適合性フィードバックとターゲットコーパ
スの検索に，検索エンジン Indri [3] を用いている．Indri の機能により，indexing 及び検索を行っている．また，Indri の検索機能により，初期クエリの重みを 1.0 とし，拡張クエリター
ムの重みは 0.2 として実験を行った．

4. 5 評 価 指 標
本研究では，実験結果の評価のために，NTCIREVAL [17] を利用した．特に本研究では，検索上位 1000 件までの文書で評図 6 拡張無しと翻訳行列拡張 (n=1) の比較 (NTCIR5)

価された MSnDCG [8] の値を用いる．なお，nDCG は正規化された値である．このため，最大値は 1 となる．

5. 実 験 結 果
5. 1 手法ごとの平均値
以下の表 2 に，各手法ごとの平均 MSnDCG を示す．表 2 よ
表2

各手法における平均 MSnDCG
手法

MSnDCG

1

クエリ拡張無し

0.44002

翻訳前拡張

0.5031

3

翻訳後拡張

0.5082

4

翻訳行列拡張 (n=1)

0.4347

5 翻訳行列拡張 (n=10)0.4076

6 翻訳行列拡張 (n=20)0.32517

2 + 翻訳行列拡張

図 7 拡張無しと翻訳行列拡張 (n=1) の比較 (NTCIR6)

0.1247

り，平均値のみを見ると提案手法の中では，n=1 とした場合の翻訳行列拡張が最も高い値を示した．しかし，ベースラインとなる擬似適合性フィードバックによるクエリ拡張には大きく差

図 8 拡張無しと翻訳行列拡張 (n=10) の比較 (NTCIR5)をつけられ，拡張を行わない場合と比べても僅かに下がるという結果であった．このことから，翻訳行列を用いたクエリ拡張
では，言語横断検索の性能を向上させることができなかったと考えられる．
翻訳前と翻訳後に擬似適合性フィードバックによるクエリ拡張を行った場合では，ともに拡張無しの場合に比べて言語横断
検索の性能が向上していることが分かる．

5. 2 翻訳行列を用いたクエリ拡張
翻訳行列を用いた中で最も平均値が高かった n=1 の場合について詳しく見ていく．以下の図 6 と図 7 に，拡張無しの場

図 9 拡張無しと翻訳行列拡張 (n=10) の比較 (NTCIR6)合の結果と，翻訳行列拡張 (n=1) の結果を比較したグラフを示す．この 2 つのグラフは，2 つの手法の MSnDCG の値の差

がったトピックは，全 92 トピック中 52 トピックであった．

(拡張有り - 拡張無し) をトピック毎に算出した結果である．図次に，n=10 の場合の結果について示す．図 6 と同様に，拡6 が NTCIR5 に含まれるトピックの算出結果であり，図 7 が張無しの結果と n=10 の場合の結果をトピック毎に比較したグ

NTCIR6 に含まれるトピックの算出結果である．図 6 及び図

ラフを図 8 と図 9 に示す．図 8 及び図 9 より，拡張クエリター

7 を見ると，全体として差が小さいことが分かる．NTCIR5 でムとして扱う語を 10 単語まで増やした場合，拡張無しと比べ

1 つのトピックが 0.7 以上下がったことを除くと，その他のトたときの変化の幅が大きくなっていることがわかる．

ピックでは差の絶対値が 0.3 未満となっている．また，全体を5. 3 擬似適合性フィードバックを用いたクエリ拡張

通して性能が上昇しているわけではないため，表 2 のように平まず，翻訳前拡張の結果を詳しく示す．以下の図 10 と図 11

均値として差が出なかったと考えられる．なお，翻訳行列拡張に，拡張無しの場合と翻訳前拡張を行った場合の比較を，グラフ(n=1) を行ったときに，MSnDCG の値が拡張無しと比べて下にして示す．この 2 つの図より，翻訳前の拡張では多くのトピッ

クで MSnDCG の値が上昇していることが分かる．MSnDCGの値が上昇したトピックの数は 97 トピック中 75 トピックとなり，実際に約 77%のトピックで値が伸びていた．また今回用いたトピックでは，特定のトピックにおける MSnDCG の上昇具
合が特に高いことが見られた．
次に，図 10・図 11 と同様に，翻訳後拡張と拡張無しの場合の比較を図 12 と図 13 に示す．図 12 及び図 13 より，翻訳後拡張においても多くのトピックにおいて MSnDCG の値が上昇していることが分かる．実際に値が上昇したトピックは，97 トピッ
ク中 82 トピックであり，約 85%のトピックで値が上昇してい図 10

拡張無しと翻訳前拡張の比較 (NTCIR5)

図 11

拡張無しと翻訳前拡張の比較 (NTCIR6)

図 12

拡張無しと翻訳後拡張の比較 (NTCIR5)

図 13

拡張無しと翻訳後拡張の比較 (NTCIR6)

た．また，上昇した 82 トピックのうち 28 トピックが 0.1 以上上昇していることから，翻訳前拡張よりも安定して MSnDCGの値が上昇していることがわかる．

5. 4 ランダム化 Tukey HSD 検定
本論文では，実験結果の統計的有意性を確かめるために，ランダム化 Tukey HSD 検定 [18] によって検定を行った．全シス
テム中任意の 2 システムの p 値を以下の表 3 に示す．なお，翻訳前+翻訳行列拡張は，他のどのシステムとの対でも p 値が 0であったため割愛する．
表3
拡張無し

任意の 2 システムの p 値
翻訳前

翻訳後

n=1

n=10

n=20

拡張無し

-

翻訳前

-

-

1

0.1668 0.0104

0

翻訳後

-

-

-

0.1084 0.0058

0

n=1

-

-

-

-

n=10

-

-

-

-

-

0.0448

n=20

-

-

-

-

-

-

0.2518 0.1706

1

0.9028 0.0004

0.9584 0.0014

表 2 より，提案手法の n=1，10 の場合では拡張無しと比べて大きな差が無かったが，これらの p 値を確認してみると有意水準 5%において有意な差が得られていないことが分かる．このことから，この 2 つの手法では拡張無しと比べて有意な変化を得られないと考えられる．また，n=20 の場合では，ベース
ラインと提案手法を含めてどの手法との組み合わせでも有意差が確認できる．ただし，MSnDCG の平均値ではどの手法も下回っているため，この手法では有意な性能低下を招いてしまっていると考えられる．

5. 5 トピックごとの分析
前節まででは，全トピックの平均値の観点から結果を示したが，本節では各手法の中で特徴的な結果を残したトピックに関して結果を示す．

NTCIR-5 : 019 ‘supersonic airliner, Concord, airplane crash’
このトピックでは，翻訳行列拡張 (n=1, 10) の両手法でMSnDCG 値が拡張無しを，他のトピックと比べても大きく下回った．元クエリの翻訳結果は「超音速 旅客機 コンコルド 飛行

翻訳結果を向上させる結果には至らなかった．これは，元クエリの意味よりもより一般的な「飛行機」の意味に引っ張られてしまい，結果として元クエリの意味が薄まってしまったことが原因であると考えられる．

NTCIR-5 : 030 ‘space tourism, international spacestation, Dennis Tito’

機 クラッシュ」となっているが，翻訳行列拡張の結果は「モー

このトピックでは，翻訳前拡張により MSnDCG 値が高い値

ターグライダー 暴走事故 飛行速度 旅客機 マイル (21km)」とを示し，拡張無しと比べると 3 倍近い差が付いた．翻訳前拡なった．n=10 の場合においても以上の単語に加えて「ジェット張の結果を翻訳すると「ソユーズ 宇宙飛行 商業の 軌道 宇宙機 ダグラス DC-3」等の関連する単語が拡張されてはいるが，船 ISS 航空宇宙 ミッション 米航空宇宙局 (NASA)」となった．

翻訳前拡張により，国際宇宙ステーションの略称や，デニス・とが分かる．この結果は，擬似適合性フィードバックによるク

チトー氏が搭乗した「ソユーズ」ロケット [1] 等の単語により，エリ拡張の有効性を示しているが，表 3 のようにどちらの手法

MSnDCG 値が大きく向上したと考えられる．

でも有意水準 5%において有意差は無かった．

NTCIR-6 : 014 ‘Environmental Hormone’6. 3 翻訳行列を用いた言語横断検索

このトピックでは，翻訳行列拡張 (n=1，10) の両手法でも筆者らの従来の研究では [21]，2 つの言語ベクトル空間にまMSnDCG 値が拡張無しの値を上回った．元クエリの翻訳結果たがる翻訳行列をクエリ翻訳に用いていたが，既存の機械翻訳

は「環境の ホルモン」となるが，n=1 の場合の拡張クエリター

ツールである Google 翻訳に比べて高い性能を出すことができムは「胸腺 野生動物保護」となる．この場合，元クエリの意味なかった．そこで本研究では，異なるアプローチとして，翻訳が抽象的であるため，「野生動物保護」のようなクエリタームに行列によるクエリ拡張で，既存の手法を用いたシステムの性能

よって検索結果が向上したと考えられる．ただし，n=10 の場を向上させることを提案した．しかし，表 2 より，元のクエリ

合では「腫瘍化 胎児期」といったより具体的なクエリタームもと翻訳前拡張クエリタームを同時に用いて翻訳行列拡張を行っ得られるが「地球温暖化問題 環境保護」等の抽象的なクエリたシステムでは，大きく性能が低下してしまうことが分かった．

タームも増えていた．このため，n=1 と n=10 の場合の差はほとんど無いという結果になった．

言語の分散表現の類似性を用いた言語横断検索の今後は，翻訳行列による言語間のマッチングの精度自体を向上させるアプ

NTCIR-6 : 030 ‘Animal Cloning Technique’

ローチと，既存の翻訳手法やクエリ拡張手法との組み合わせ方

このトピックでは，翻訳行列拡張 (n=1, 10) 及び，翻訳後拡でシステム全体の性能を向上させるアプローチが考えられる．

張で高い MSnDCG 値が確認できた．Google 翻訳による翻訳結果では「動物 クローニング 技術」となる．これによる翻訳
後拡張では「クローン ヒト 応用 卵子 細胞 移植 受精卵 実験
核 妊娠」という拡張クエリタームが得られ，クローン技術と関わる単語が複数得られているため，検索結果の向上に繋がったと考えられる．
翻訳行列拡張では，n=1 の場合「動物 フィールド単位 遺伝子操作」というクエリタームが得られ，拡張無しの場合と比べて MSnDCG が 0.0374 のみ上昇している．これらの単語に加えて，n=10 の場合では「細胞融合 ヒトゲノム計画」等のクエリタームが得られたため，MSnDCG 値が 0.3569 上昇している．

6. 結

論

6. 1 翻訳行列をクエリ拡張に用いることの有効性
本節では，翻訳行列によるクエリ拡張について論じる．表 2，
表 3 より，翻訳行列を用いたクエリ拡張では，拡張無しと比べて有意に性能を向上させることができなかった．既存のクエリ拡張手法である擬似適合性フィードバックを用いたクエリ拡張と比べても，MSnDCG の平均値で 10%以上の差が付いた．
図 6 と図 7 及び図 8 と 9 を見てみると，翻訳行列拡張でクエリタームとして扱う単語を増やすと，拡張無しと比べたときの振れ幅が広がることが分かる．ただし，全体として拡張無しよりも結果が悪くなるトピックが多いため，単語を増やすごとに平均値が下がってまっている．よって，翻訳行列を有効にクエ
リ拡張に利用するためには，翻訳行列が有効である場面を判断して利用する必要があると考えられる．翻訳行列による拡張が成功している場面としては，元クエリが具体的ではない場合やクエリターム数が少ない場合があげられる．ただし，今回の実験の結果では成功事例自体が少ないため，より多くのデータを用いた評価を行う必要がある．

6. 2 擬似適合性フィードバックによるクエリ拡張
本節では，擬似適合性フィードバックによるクエリ拡張について論じる．表 2 より，擬似適合性フィードバックによって，翻訳前後双方の MSnDCG の平均値が 10%以上向上しているこ

文

献[1] BBC News — SCI/TECH — Profile:
Tito thespaceman. http://news.bbc.co.uk/2/hi/science/nature/
1297924.stm.
[2] Google Code Archive - Long-term storage for Google Code
Project Hosting. http://code.google.com/p/word2vec.
[3] Indri. http://sourceforge.net/p/lemur/wiki/Home/.
[4] Wikipedia 記事コーパス. http://dumps.wikimedia.org/.
[5] ビ ジ ネ ス 向 け ツ ー ル Google 翻 訳. https://translate.
google.co.jp/about/intl/ja_ALL/forbusiness.html.
[6] Rony Attar and Aviezri S Fraenkel. Local feedback infull-text retrieval systems. Journal of the ACM (JACM),
Vol. 24, No. 3, pp. 397–417, 1977.
[7] Lisa Ballesteros and W Bruce Croft. Phrasal translationand query expansion techniques for cross-language information retrieval. In ACM SIGIR Forum, Vol. 31, pp. 84–91.
ACM, 1997.
[8] Chris Burges, Tal Shaked, Erin Renshaw, Ari Lazier, Matt
Deeds, Nicole Hamilton, and Greg Hullender. Learning torank using gradient descent. In Proceedings of the 22nd
international conference on Machine learning, pp. 89–96.
ACM, 2005.
[9] William A Gardner. Learning characteristics of stochasticgradient-descent algorithms: A general study, analysis, andcritique. Signal Processing, Vol. 6, No. 2, pp. 113–133, 1984.
[10] David A Hull and Gregory Grefenstette. Querying acrosslanguages: a dictionary-based approach to multilingual information retrieval. In Proceedings of the 19th annual international ACM SIGIR conference on Research and development in information retrieval, pp. 49–57. ACM, 1996.
[11] Kazuaki Kishida, Kuang-hua Chen, Sukhoon Lee, Kazuko
Kuriyama, Noriko Kando, and Myaeng Sung Hyon Chen,
Hsin-Hsi. Overview of CLIR task at the fifth NTCIR workshop. 2005.
[12] Tomas Mikolov, Quoc V Le, and Ilya Sutskever. Exploiting
similarities among languages for machine translation. arXiv
preprint arXiv:1309.4168, 2013.
[13] Tomas Mikolov, Ilya Sutskever, Kai Chen, Greg S Corrado,and Jeﬀ Dean. Distributed representations of words andphrases and their compositionality. In Advances in neural
information processing systems, pp. 3111–3119, 2013.
[14] Teruko Mitamura, Eric Nyberg, Hideki Shima, Tsuneaki
Kato, Tatsunori Mori, Chin-Yew Lin, Ruihua Song, ChuanJie Lin, Tetsuya Sakai, Donghong Ji, et al. Overview of

[15]
[16]

[17]

[18]

[19]

[20]

[21]
[22]
[23]

the NTCIR-7 ACLIA tasks: Advanced cross-lingual information access. In Proceedings of NTCIR-7, 2008.
Jian-Yun Nie. Cross-Language Information Retrieval. Morgan Claypool, 2010.
Stephen E Robertson and Karen Sparck Jones. Simple,
proven approaches to text retrieval. Technical Report
UCAM-CL-TR-356, University of Cambridge, 1994.
Tetsuya Sakai. NTCIREVAL: A generic toolkit for information access evaluation. In Proceedings of the forum on
information technology, Vol. 2, pp. 23–30. Citeseer, 2011.
Tetsuya Sakai. Metrics, statistics, tests. In Bridging Between Information Retrieval and Databases, pp. 116–163.
Springer, 2014.
Tetsuya Sakai, Makoto Koyama, Tatsuya Izuha, Akira Kumano, Toshihiko Manabe, and Tomoharu Kokubu. Toshibabridje at NTCIR-6 CLIR: The head/lead method andgraded relevance feedback. In Proceedings of NTCIR-6, pp.
36–43, 2007.
Jinxi Xu and W Bruce Croft. Query expansion using local
and global document analysis. In Proceedings of the 19th
annual international ACM SIGIR conference on Researchand development in information retrieval, pp. 4–11. ACM,
1996.
玉置賢太, 林佑明, 酒井哲也. 言語の分散表現と擬似適合性フィードバックを用いた英日言語横断検索. DEIM Forum 2016, 2016.
酒井哲也. 情報アクセス評価方法論 検索エンジンの進歩のために. コロナ社, 2015.
林佑明, 酒井哲也. 言語の分散表現による文脈情報を利用した言語横断情報検索. DEIM Forum 2015, 2015.