DEIM Forum 2022 H31-1

言及観点でファインチューニングした BERT を用いた
聞き返しによるゲームのうろ覚え検索楊子正†莊司 慶行†

Martin J. D´’urst†† 青山学院大学理工学部情報テクノロジー学科 〒 252–5258 神奈川県相模原市中央区淵野辺 5–10–1
E-mail: †jqwsxcfgS@sw.it.aoyama.ac.jp, ††{shoji,duerst}@it.aoyama.ac.jp
あらまし

本研究では，詳細を思い出せないゲームを，キーワードクエリと，聞き返してくるインタフェースを用いて再発見可能にする検索アルゴリズムを提案する．昔プレイしたゲームに対するあいまいな記憶は，自分で言葉にして検索することが困難である．一方で，「音楽の印象は華やかだったか」などの質問に答えることはできる．そこで，ゲームに対するレビューを収集し，レビュー中の文が「物語」「キャラクター」など，どの観点に言及しているか分類した．そのために，Wikipedia から収集したゲームに関する構造化された記事を用いて，BERT を言及している観点に敏感なベクトル化を行えるようにファインチューニングした．そして，観点ごとにレビュー文を提示し，当てはまるかを答えることでゲームを絞り込んでいく検索インタフェースを作成した．実際のオンラインレビューサイトから収集した 30 年分のゲームに対して，実際にうろ覚えのゲームを探させる被験者実験を行った．実験結果から，検索精度と実用性について議論する予定である．
キーワード 情報検索，ソーシャルメディア，レビュー，機械学習
して最適な検索結果を出している 1 ．通常の検索アルゴリズム

1 はじめにビデオゲームが誕生してから，すでに 40 年が経過した．ゲー
ムは我々の生活にすでに溶け込みつつあり，物心つく前からゲームをプレイしていた人たちが，いまでは成人になっている．
人々の幼少期の記憶に，感動的なゲームや，燃えるゲームや難しいと思ったゲームなどが，深く残るようになっている．こう
いった，幼少期に体験したゲームを再度遊びたいという要求は，一般的である．
たとえば，過去，「ポケットモンスター」というゲームに熱中していた人は，豊富なモンスターの種類が一番印象強いであろう．しかし，単純に「モンスター」をキーワードとして検索す
ると，現状の検索エンジンでは，近年のゲームしか結果に登場しない．もしはっきりモンスターの名前など特有な情報を覚えているなら，その名前でポケモンというゲームが検索できる場
合もある．一方で，ゲーム内の小さなサブイベントについてしか覚えていない人の場合を考える．例えば，過去のポケットモ
ンスターにおいて，週に 1 回，ロケットが飛んだことを回数として教える，ゲームの本筋に関係のない小さなイベントが存在した．ところが，このエピソードだけ覚えていた人が，「ゲーム
ロケット 毎週」などとキーワードを入力しても，「ポケットモンスター」は検索結果に登場しない．ロケットが直接登場する宇宙戦争のゲームや，タイトルにロケットという単語を含むゲー
ムが多く発見される．
このように，人々のゲーム体験が個人化している中で，個人の体験や印象を基に自分が探したいゲームのうろ覚え検索をすは，うろ覚え検索のこのような状況に，適していない．また，検索対象のデータとして，ゲームに対する印象は，一般のウェブ
ページから作成したインデックスの中には含まれない場合が多い．例え存在するとしても，ゲームは映画など受動的なメディアと違い，個人の体験によって違いが生み，前書したロケットの例のように，同じところでも，まったく異なるインデックスに含まれることもある．
加えて，ゲームという分野は，人によって検索対象に対する体験や印象が大きく異なる．異なるゲームでも，ジャンルが近いなら似たような体験ができるが，中身の細かく違いによって異なる体験ができることもある．例えば，シューティングゲー
ムは，銃を発砲して敵を倒すことがすごく爽快だという体験があるが，細かいところが異なって，Doom の場合，地獄の怪物を倒したのがすごく爽快で，それが CS の場合，相手をヘッドショットで一発で倒したところが爽快である．このように，入力時ただ「敵を倒すと爽快感がある」と検索すると，従来の方法では当てているものをすべて表示し，ユーザに選べるしかできない．検索用のクエリがもっと曖昧な時，ユーザはそれを区別できなくなる．
そこで本研究では，観点に敏感な BERT モデルと，聞き返しによってゲームを絞り込める検索インタフェースによって，ゲームのうろ覚え検索を行える手法を提案する．人々がうろ覚えしている際の体験や印象は，「ロケットを飛ばすところが好き」，「ボス戦が難しい」という表現が多い．このような文書は，一般的なゲームに関する文書よりも，むしろレビューの内容にることは困難である．現在の検索は主に，クローリングによって作られたインデックスから，入力されたクエリとマッチング

1：Google「検索の仕組みの基本」：https://developers.google.com/search/docs/basics/how-search-works?hl=ja

近い．その上，似たような体験とレビューをマッチすれば，レ果をもとに本研究の貢献を議論する．第 6 章で結論と今後のまビューされたゲームがユーザが検索したいゲームと言える．

とめについて述べ，まとめる．

そこで，自然言語処理モデルである BERT を使って，検索者の入力した体験を表す短文と，ゲームに対するレビュー中の文の類似度を計算可能にする．この際に，本手法では，BERTの言語モデルを，観点に敏感になるようにファインチューニン
グした．これは，レビュー文に表れるトピックや単語の近いレ
ビューを見せられるよりも，むしろ「音楽に言及したレビュー
文」や「プレイ感覚に言及したレビュー文」のように，入力し2 関連研究本研究は，BERT による検索と対話型システムの組み合わせ
でうろ覚え検索を実現する．そのための既存の関連研究をここに説明し，本研究の位置付けを示す．

2. 1 BERT による検索た文と近い観点に言及するレビューを読んだほうが，自分の記

BERT（Bidirectional Encoder Representations from Trans-

憶と一致しているかの判断がしやすいと考えたためである．

formers）は 2018 年に Delvin ら [1] によって開発された言語モ

加えて，あるゲームの特徴を，レビュー文を見ることで思いデルである．この言語モデルは，言語を理解するタスク，すな出しながら，対象となるゲームを絞り込んでいくような，聞きわち自然言語処理ににおいて高い精度であることが知られてい返しに基づく対話型検索インタフェースを提案した．この検索

る．BERT は一般的な自然言語処理タスク用に開発されたが，インタフェースでは，クエリを 1 回入力した後，検索結果を見

情報検索分野でも利用可能である．

ながら，さらにクエリを追加入力したり，一覧として表示され一般的な BERT は汎用的な言語モデルであり，用途に合わたレビューから当てはまるレビューを選ぶことができる．こうせて調整することができる．このような調整をファインチュー

することで，自分の記憶に当てはまらないゲームを，除外してニングと呼び，例として Sun ら [2] BERT を文章分類に適しいくことができる．これは，自分自身では，うろ覚えの体験をてファインチューニングする方法を発表している．本研究では，

言葉で表せなくても，他人のレビュー文に対して「当てはまる」

こういったファインチューニングの例に倣い，ゲームに関するか「当てはまらない」かを判断することは可能だと考えたため文書の見出しを推定するモデルで BERT をファインチューニ

である．このようなインタフェースを持つ検索システム上で，ングし，観点に敏感なベクトル化を可能にした．

検索者はクエリを入力し，ゲームを絞り込んでいける．このよ

BERT はベクトル空間モデルに基づく手法であり，文書や単うに，観点に敏感な言語モデルを用いて，聞き返しによって絞語を分散表現と呼ばれるベクトルで理解する．分散表現によるり込むことで，思い出せる記憶が少ない状態からでも，昔プレモデルは，特に，ニューラルネットワークと組み合わせて用いイしたゲームを再発見できる．

られる．ニューラルネットワークによる分散表現理解は，山田

聞き返しができるシステム，すなわち対話型システムを検索ら [3] が提案した．これによって，分散表現を比較をすれば，情に使う場合，結果を表示するには，従来の手法と違い，クエリ

報の検索はできることがわかった．そこで， Yilmaz ら [4] は，があたる部分は埋めるずつあると考えられる．しかし，普通

BERT が持つ高い言語への理解力を使って，Birch というシスの BERT ならトピックに敏感であり，そのまま使うと同じとテムに組み込んで，類似文書の検索ができるようにしている．

ころに埋めることが発生すつことが考えられる．そこで我々は本研究では BERT を使って，ユーザの入力したクエリと文書

BERT を観点敏感にファインチューニングする．観点に敏感なをベクトル化し，コサイン類似度に基づいて絞り込み検索を可ら，埋めるときちゃんとクエリを分けて埋めることができ，対能にしている．

話型システムの精度も上がる．
このような対話的インタフェースを有するうろ覚え検索シス

2. 2 対話型情報検索システム

テムの有用性を確認するために，実際に与えられたゲームにつ対話型システムは，大まかに 2 つの部分に分けられる．一ついて，固有名詞などを使わずに検索する被験者実験を行った．

はユーザの入力を理解する部分，一つは出力を入力によって自そのために，実際に絞り込み検索システムを，ブラウザからア動生成する．入力の部分は従来，ラベルつけにより入力の認識

クセス可能なウェブアプリケーションとして実装した．評価実はできるが，ラベルつけのコストが高い．そこで，機械学習を

験から，BERT をファインチューニングすることで最初に入力導入することで，より早く対話型システムを開発することがでしたクエリとレビューのマッチングにおいて，より正しいゲー

きる．Henderson [5] は， 機械学習における対話型システム，

ムが検索結果上位に出てきやすくなったことが確認された．ま

主に対話能力におけるトラックと評価を分析した．これをもとた，聞き返しによる絞り込みも，ある程度正しくゲームを絞りに，Wen ら [6] は，対話型システムを簡単に作れるアルゴリズ

込めることが分かった．

ムを提案している．このアルゴリズムでは，ニューラルネット

本論文の構成について述べる．本章では研究の概要と背景にワークを用いることで，人手でのラベル付けを排している．こついて説明した．第 2 章では本研究の関連研究について，ゲー

うして作られた対話式検索システムの有用性をレストランの発

ムの言語構成などについての研究を紹介する．第 3 章では，

見タスクによって示している．より深いニューラルネットワー

BERT の観点に敏感なファインチューニングと聞き返しができ

クを使った対話システム作成も一般的になりつつある．例としるシステムの構成について説明する．第 4 章では提案手法と比て，Li ら [7] は，ディープラーニングを使うことで，より長い

較と有用性実験とその結果について説明すし，第 5 章で実験結対話を可能な対話型システムを提案している．本研究もこうした対話的システムと同様に，ユーザの入力に合わせながら選択肢を提示して，絞り込みを行う．

Gao ら [8] は，対話型システムを主に 3 つの使い方を分類した．ここで言う 3 つの使い方とは，すなわち，質問への回答をマシンにやらせる，特定のタスクに向ける対話をマシンにやらゲームに特化観点に敏感

ゲームに関する文書

ゲームに関する文書

せる，チャット用のロボットである．これらの学習方法をすべて評価することで，現在の対話型システムの発展とこれからのラベルつけ文書

評価データ

訓練データ

課題を分析した．これは本研究においてシステムの開発に大きい影響を与えた．
BERT

訓練データ

評価データ

2. 3 うろ覚え検索（Known-item Search）
うろ覚え検索，すなわちすでに知っているものの再発見は，「Known-item search」などと呼ばれ，情報検索分野においてBest Model

GameBERT

重要な課題の一つである．幼少時にプレイした，詳細の思い出
Best Model

せないゲームの再発見も，うろ覚え検索の一種である．このような分野で再発見を助けるためには，ゲームについて話している文章が，どのような語彙と文脈を有しているか，システムが

図 1 BERT ファインチューニングのアプローチ

理解している必要がある．象徴的な例として，Aarseth ら [9]はゲームの語彙の類型を研究し，ゲームの言葉が次元，すなわという主に三つのところから構成されている．この際，ユーザ

ち観点に深く言及していることを示唆している．本研究はこのの入力の相関度はすべてコサイン類似度により計算される．

研究を参考に，観点に基づく検索アルゴリズムを提案している．

以下は今回のアルゴリズムについて詳しく説明する．

従来，ゲームを探すこと自体が難しい，他のものと違い，万能だと言えるゲームの検索アルゴリズムは存在していない．

3. 1 BERT のファインチューニング

Bogers ら [10] は Reddit からゲームの複雑なリクエストをもBERT のファインチューニングでは，Google が開発された

らい分類し，そのうち 5 つのところがゲームの特徴的なものだ

BERT をベースに，ゲームに特化し，観点に敏感するようにと判明した．

ファインチューニングする．本研究では，ゲームに特化するにゲームの再発見には，ゲームを探している人たちがどんな情はモデルを新しい単語を辞書に追加するファインチューニング

報をもって探しているのをわかる必要がある． Zhang ら [11]

タスクを使い，観点に敏感するにはマルチラベル分類タスクをは，ゲームの中のあるシーンを人の言葉で検索できるようにし使う．図１が示すように，BERT のファインチューニングは二た．我々の研究において，すでに知っていることを検索するでつの段階に分けている．まずは基の BERT をゲームの表現をはなく，もっと曖昧なものについて検索ができるのは課題であわかるようにゲームに特化する．次は特化した BERT を更にる． Anderson ら [12] は，ゲームの各領域の人がゲームに対す観点に敏感するようにファインチューニングする．

る話を分析し，ゲームの検索用のクエリの特徴をまとめた．本BERT をゲームに特化するには，BERT がゲームの表現を研究では，レビューした人も様々な職業を持っているため，こ辞書リストに追加すればいい．ゲームに関する表現を予め収集の論文も参考になった．

して，それを文ごと分割する，BERT では，入力の長さは最大以上の研究を踏まえて，Bogers ら [13] は，ゲームの再発見

512 しかいないため，512 を超えた文書を全部捨てる．これを訓に関して，Reddit のあるチャンネルのデータを分析し，ゲー

練データと評価データに分けてモデルに与えてファインチュー

ムの再発見に関する主なクエリをまとめた Milier ら [14] は，ニングする．BERT のようなあらかじめトレーニング済みのReddit を分析し，今の検索エンジンに何を登録するともっと特モデルは，特定分野に適する場合，その分野の言葉をファイン

定分野のものを検索できるようになるという結果をまとめた．

チューニングされていれば高精度がでる．SciBERT [15] はこ

本研究に関する観点の部分，これらを参考にした．

のファインチューニング手法の根拠になっている．そこで，評価の精度の一番いいモデル，Best Model だけ残し，追加学習

3 提案手法
本研究では，BERT を観点敏感にファインチューニングし，聞き返しができるシステムと組み合わせてゲームのうろ覚え検索のアルゴリズムを提案する．実際の手順としては，（ 1 ） BERT のファインチューニング，（ 2 ） BERT によるゲーム特徴の作成，（ 3 ） BERT による対話型システムの作成完了したモデル，GameBERT とする．

GameBERT を用いて観点に敏感するには，ラベルつきのデータを使ってファインチューニングする．同じデータなら過学習することが起こりえるため，追加学習で使うデータと異なるデータを使いラベをルつける．人工的につけることもできるが，今回はコストの原因でセクションつきの Wikipedia データを使用した．そこで，同じように訓練データと評価データに分け，GameBERT にトレーニングされる．今回使用するタスク

はマルチラベル分類タスクであり，文書一つにつき，多数のラベルに属することができる．ゲームの文書は常に一つの観点について話しているではなく，また同じような文書でも，違う観

クライアント

サーバ

メタデータ
クエリ

メタデータ
クエリ

点に属することもある．多くの観点をモデルをファインチュー
ニングすると，自然にそのような状況が対応できると研究で

選択肢１
選択肢２
．．．

発見され，このようなファインチューニング手法を使う根拠に

クエリ入力

ゲーム１
ゲーム２
ゲーム３
．．．

選択肢１
選択肢２
．．．

ゲーム１
ゲーム２
ゲーム３
．．．

クエリ入力

なった．評価データによる精度評価にあと，追加学習のように，
選択肢１

BestModel だけ残し，観点に敏感な GameBERT とする．
3. 2 BERT によるゲーム特徴の作成

選択肢３
選択肢５
．．．

BERT によるゲームの特徴の作成では，前書した観点に敏

クエリ入力

ゲーム５
ゲーム３
ゲーム１
．．．

選択肢１

選択肢３
選択肢５
．．．
クエリ入力

．
．．

．．．

感な GameBERT を使って，ゲームのレビューの分散表現を得

ゲーム５
ゲーム３
ゲーム１
．．．

る．観点ごと違うレビューは一つのゲームに対してとても多く，それをまとまる必要がある．

図 2 対話型システムのアプローチ

ここで，GameBERT の結果によってまとまるではなく，ク
ラスタリングを使用する．ファインチューニング用の観点ラベ（ 1 ） ゲームののプラットフォーム，platform とする，

ルはすべての観点に比べたら遥かに少ない可能性ある，分類さ（ 2 ） ゲームの発売時期，release date とする，れていないレビューも， GameBERT はすでにその観点の違い（ 3 ） ゲームのジャンル，genre とする．

が分かって，ただ今持っているラベルでは定義できない．そこ

ここで，メタデータによる相関ポイントの算出式はで，クラスタリングを使って，このようなレビューも分けることができる．今回は，K-Medois というクラスタリング手法を使用した．K-Medois は K-Means と似ていて，空間上距離が近いものを一つのグループにする．しかし， K-Means の中心は必ずしもレビューそのものではない，本研究においてゲームの特徴は，すべて実在するレビューを使うため，グループの中心位置が実在するレビューを使う K-Medois が適していると考SM eta = Splatf orm + Sreleasedate + Sgenre

であらわされる．そこで，ユーザが入力したクエリをすべてのゲームの特徴と比較，ここではファインチューニングした

GameBERT を使用して，クエリ q の分散表現を得る．これをどのゲームのどの観点に近いかを判定する．ここでは，コサイン類似度えられる．またノイズになるレビューに対して， K-Medois がcosim(A, B) =K-Means よりロバスト性がいいため，本研究では K-Medoisを使用した．K-Medois を用いて， GameBERT が出力したレSquery = cosim(q, v)

ムの特徴とする．これを事前に取得したゲームのメタデータと3. 3 BERT による対話型システムの作成

A·B||A||||B||(2)を使って観点 v の近さを算出し，この類似度はビューの分散表現をクラスタリングし，クラスタの中心をゲー
もに，ゲームの検索用のインデックスが作られる．

(1)

(3)

であり，これを各ゲームの相関ポインとする．この二つの相関ポイントをかけると，最初の検索で各ゲームがユーザが探したいゲームがどれぐらい似ているかの得点

BERT による対話型システムの作成では， ファインチュー
Sgame = SM eta · Squery

ニングした GameBERT を導入して対話型検索システムを作成(4)

する．システムをクライアント側とサーバ側に分けられ，クライアント側はユーザのクエリの入力をもらい，それをサーバに転送して．サーバ側はそれを基づいて，ゲームの特徴を提示す
る上，ゲームの相関ポイントをもとに，ランキングを出す．
図２のように，検索が始まる前に，クライアント側はゲームのメタデータを表示する．メタデータはゲームの再発見おいて一番の多く使われている情報だと Bogers ら [13] が研究で判明した．ユーザは自分が探したいゲームの情報をメタデータとともに入力し，それをサーバ側に転送する．サーバ側はそれをキャッチしたら，まずメタデータをもとに，各ゲームとの相関ポイントを計算する．メタデータはかなり明白な情報なので，GameBERT を使用する必要がなく，ユーザが入力しているメ
タデータが各ゲームに含まれる数が多くほど，ゲームの相関ポ
イントが高くなる．今回使用しているメタデータは三つある：がわかる．これをもとに，サーバ側はゲームのランキングも計算でき，得点が高い順でゲームをランキングする．また，ランキング順を基づき，各ゲームの他の特徴をクライアント側に選択肢として表示する．ここで表示する特徴は，各ゲームの相関ポイントの最大値を示す特徴以外の特徴をランダムに選んでいたものである．
以上のサーバ側の情報を用いて，クライアント側がゲームのランキングと選択肢と追加クエリ入力用のところも表示する．
もしユーザの記憶に選択肢にない体験が存在したら，それを入力することで追加で検索でき，また選択肢を選んでも，追加検索もできる．追加検索用のクエリをもらったら，サーバ側は同じように，コサイン類似度を使って，各ゲームの新しい相関ポ
イントを算出，ここで，新しい相関ポイントをもとの相関ポイ
ントをかけることで，新しい得点

Snew = Sgame · Snewg ame

セクション

(5)

を計算する．これを用いて，ゲームのランキングを変えること
で，またクライアント側に表示する．

サブセクション

これを繰り返すことで，最終的にユーザが探したいゲームと似たいようなゲームはランキングの上に来て，ユーザはゲーム

記述のタイトルを自分で確認することで，自分が探したいゲームが見つかることが可能とする．

4 評価実験
本節では，被験者実験を通じて，提案するうろ覚え検索手法の有用性を示すための実験結果と実験用のデータセットについて述べる．次節以降は，評価実験の詳細について述べる．第 4. 1
図 3 Wikipeida のデータの説明図

節では，実験に使ったデータセットついて述べる．第 4. 3 節では，実験用のシステムの実装について述べる．第 4. 7 節では，実験の手順について述べる．第 4. 10 節では，実験結果につい4. 4 アプリケーション用のデータセット
本研究では，検索の高速化の研究ではないため，検索時の速て述べる．

4. 1 データセット

度を考慮していない．被験者が検索するとき長い時間かかっていたらやる気が減るとを考慮して，取集された 10,000 件のゲー

本実験を行うにあたって，実際にゲームをうろ覚え検索可能

ムのうち 3,000 件を使用した．使用したゲームのレビューを，なウェブアプリケーションを作成した．本評価実験において，観点に敏感な GameBERT でベクトル化した．レビューのベク

ゲームに関するレビュー情報として，レビューサイト Game

トルを，K-Mdedios でクラスタリングし，ゲームごと 20 個のSpot から情報を利用した．ゲームに関する観点情報を学習す

クラスタを生成した．生成したクラスタの中心となるレビュー

るために，Wikipedia からゲームカテゴリに含まれる記事を利を取り出し，ゲーム検索時の比較用レビューとした．レビュー

用した．

数が 20 以下の時，レビューをそのまま使った．

レビュー情報として，Game Spot に約 100,00 本のゲームの情報と，それらの約 10,000,000 件のレビューを収集した．ゲー4. 5 比 較 手 法

ムからは必要のメタデータを取集した．ここのゲームのレビュー

本研究の技術的課題点として，観点に敏感な BERT ベクトラ

は，評点がついてない，ゲームのレビューを含む投稿と示す．

イザを用いる点，対話的インタフェースを通じてクエリを質問

観点情報として，Wikipedia のゲームカテゴリから年代順でへの回答として入力する点がある．そこで，これら 2 つの工夫

約 15,000 本ゲームのページから約 20,000,000 万件の記述を収のうち，どちらがどの程度検索に貢献したかを確認するために，集した．

4 つの手法とひとつのベースライン手法を用意した．しなわち，

4. 2 学習•本研究では，BERT を観点に敏感するため，wikipedia のセ•クションの下の記述を用いて，記述，セクションのような組み•合わせで学習した．対象になるデータは，図 3 に示したように，wikipeida 上のセクション内の記述を学習用のデータとした，ここで，各記述の観点はサブセクションとセクションの組提案手法 ファインチューニングと対話型 UI の両方を含
有名詞などを用いずに検索する手法，

FT ありクエリ ファインチューニングのみを含む手法，
FT なし対話 学習済み BERT でクエリと対話型 UI で検索する手法，•TFIDF ベースラインとして，単純なベクトル類似度，の 4 手法である．

み合わせにした．
はじめに，サブセクションとセクションがついていないデー

4. 6 検索結果の表示

タを BERT に学習した．この学習で得られた一番精度が高い

アプリケーションの入力はをクエリとして，第 3. 3 節で述べモデルを GameBERT とした．次に，サブセクションとセクた方法で，ゲームのランキングと質問を出した．一回の検索後ションを記述につけて，観点付きデータとして BERT をファの結果は図 4 で示す．左側に手法ごと出した最高点のゲームタ

インチューニングした．精度が一番いいモデル観点に敏感な

イトルが出て，次に選択肢を出す．ここに出している選択肢は，

GameBERT とした．

クエリと異なる観点から出すように，各ゲームのレビューがク

4. 3 アプリケーションの構成

エリとの類似度一番低いレビューにした．出す順は，ゲームのランキングと同じ順にした．もし選択肢がどれも当てはまって

本実験を行うにあたって，実際にゲームをうろ覚え検索可能いない場合，他の選択肢を表示し，または自分で新しいクエリ

なウェブアプリケーションを作成した．次に，アプリケーショを入力することもできた．右側は，ゲームのランキングの上位

ンの構成を述べる．

した．我々は，各手法ごと発見できたどうか，発見までかかった検索回数，入力したクエリと選択を用いて，各手法の評価をした．

4. 10 実 験 結 果
選択肢としたレビュー

本節では，各手法ごとに発見までにかかった検索回数，実際

得点最高位のゲームと得点に入力されたクエリや選択されたレビュー文について述べる．

他の選択肢を見る

追加でクエリを入力

図4

ゲームランキング

被験者に対して検索できた結果について説明する．表 3，表4 は，各手法でゲームを検索できた結果と検索にかかった回数

アプリケーションの結果の詳細の結果を示す． ここで，被験者が各手法において，どれぐらい

表 1 実験用ゲームタイトルと販売本数
ゲーム

4. 11 各手法の検索成功した回数と検索にかかった回数

販売本数

ゲームを検索できたかを示す．各手法において，メジャーゲー

Call of Duty: Black Ops

26,200,000

ムがそれぞれ 4 回検索した．マイナーゲームとレビューが少なSuper Mario World

26,662,500

いゲームは，提案手法だけで 4 回検索した．被験者が入力できPokémon Gold / Silver / Crystal

29,490,000

るクエリと回数に制限がなかった．ここで，メジャーゲームにGrand Theft Auto: San Andreas

27,500,000

おいて，提案手法は最高の 3 回まで検索できた，マイナーゲー

Half-Minute Hero不明

SPQR: The Empire’s Darkest Hour

不明

ムも一回検索できた．検索が成功時，メジャーゲームにおいて，提案手法が平均 1.7 回検索した．すべてのゲームにおいて，提案手法は平均 1.4 回検索した．検索が失敗時，メジャーゲーム

30 件を示した．ここに検索したいゲームがあるなら，左下のボにおいて，提案手法は平均 3 回検索した．すべてのゲームにおタンを押して検索を終了した．

いて，提案手法はは平均 2.2 回検索した．

4. 7 実験タスク

4. 12 実際に入力したクエリと選択されたクエリ本研究では，被験者を集め，比較手法をローテーションして実験した．

4. 8 実験用ゲーム
本研究では，各被験者に比較手法を順違いで同じゲームを検索するように実験した．検索用のゲームは表 1 に示す．Wikipeida

本節では，実験結果において，被験者が入力したクエリと選択されたクエリを述べる．表 6 と表 8 と表 7 はそれぞれ成功時と失敗時のクエリとゲームのランキングを示す． ここで，ゲームのランキングと各手法において，得点がもっとも高いレ
ビューを上位 30 件の順で表す．実験時，被験者が見た検索結果と同じようにな結果をした．

から累計販売本数 2,500,000 万件以上のゲームを見て，アプリ
ケーションのデータセットに存在するゲームを使った．そこで，マイナーなゲームやレビュー数が少ないゲームも存在するので，5 考察

提案手法が検索できるかの実験もした．マイナーなゲームは販

本節では，実験結果をもとに，提案手法の有用性や性質につ売本数が登録されていないゲームを 1 本を使った．レビューがいて議論する．はじめに，検索の成功回数とかかった回数につ少ないゲームがアプリケーションのデータセットから登録されいて，考察する．第 4. 11 節に示すように，今回の実験においているレビューが 10 件以下のゲーム 1 本を使った．

て，全体的検索する回数が少なかった．特に検索失敗したとき，

4. 9 実 験 手 順
本節では，実験の手順を述べる．本研究では，メタデータをメジャーゲームにおいて，平均 3 回ぐらいしか検索していなかった．被験者が今回，すべてのメジャーゲームに対し，シン
グルモードをクリアした前提で募集されていた．

含む実験する予定があった．しかし，予備実験ではメタデータ

このような少ない検索回数になった原因の一つに，今回のイを使うとゲームがかなり絞られてほぼすべての手法が検索でき

ンターフェースがあまり利用者にとって使いやすくなかったこ

るようになって，手法の性能が評価できなかった．本番の実験とが考えられる．本研究において改善するべきと考えられる．

では，メタデータをはじいて実験した．

また，被験者から感想を聞いた結果，一回検索するために，お表 1 で示したゲームを基いて，第 4. 3 節で述べたアプリケー
ションを用いて実験プランを作った．表 2 に実験の概要を示す．

およそ 5 分程度の時間を要すことが判明した．特に TFIDF の手法は，一回の検索につき 10 分程度を要した．

被験者にあらかじめ実験用の ID を用意した．アプリケーショ

本研究では，特に検索の高速化を考慮していないが，検索のンでは，ID で表 2 の被験者の順番で比較手法の順番を実装し時間も被験者の検索する熱意に影響したことが考えられる．提た．被験者が ID を入力した後，メジャーゲーム 1 から 4，マイ案手法を実用化する前に，検索の速度を上がる研究もする必要

ナーゲーム，レビューが少ないゲームの順にゲームタイトルをがある．

提示した．第 4. 3 節で述べたアプリケーションを用いて，検索検索対象となるゲームについて考察すると，マイナーなゲー

表2 実験手順
メジャーゲーム１

メジャーゲーム２

メジャーゲーム３

メジャーゲーム４

マイナーゲーム

レビューが少ないゲーム

Call of Duty: Black Ops Super Mario World Pokémon Gold / Silver / Crystal Grand Theft Auto: San Andreas Half-Minute Hero SPQR: The Empire’s Darkest Hour
被験者 1

提案手法

FT ありクエリ

FT なし対話

TFIDF

提案手法

提案手法

被験者 2

TFIDF

FT なし対話

提案手法

FT ありクエリ

提案手法

提案手法

被験者 3

FT ありクエリ

提案手法

TFIDF

FT なし対話

提案手法

提案手法

被験者４

FT なし対話TFIDF

FT ありクエリ

提案手法

提案手法

提案手法

表 7 失敗した検索タスクにおけるクエリ “Every area I reach has

表 3 各手法でゲームの検索が成功した際の回数
提案手法

its novelty.”，“I win some momey when I beat a opponent”，

FT ありクエリ FT なし対話 TFIDF

メジャーゲーム

3

2

1

0

マイナーゲーム

1

-

-

-

レビューが少ないゲーム

0

-

-

-

成功率

0.67

0.50

0.25

0.00

“the sound track is very specail to me.” に対するゲーム対象となったレビュー一文 (Pokemon Gold が正解のゲーム)
クエリ

1 回目

Every area I reachhas its novelty

表 4 検索成功時各手法にかかった平均回数
ゲーム

提案手法 FT ありクエリ FT なし対話 TFIDF

メジャーゲーム

1

2

3

-

マイナーゲーム

1

-

-

-

レビューが少ないゲーム

0

-

-

-

平均

1

2

3

順位

1
2

Halo 2

3

PixelJunk Eden

4
...
2530
...
3000

-

2 回目

I win some momeywhen I beat a opponent

ゲームタイトル

Mystery Dungeon:
Shiren the Wanderer

レビュー

スコア

The challenge Shiren presents adds to its value.

0.95

Well, this is one area
where Halo 2 misses the bar set by its predecessor.
Once a Spectra is collected,
it goes straight to your Eden and starts growing.

Freedom Force vsBottom Line FFVTTR lives up to its predecessor and

The 3rd Reichsurpasses it in many ways.

...
Pokemon Gold...

...
If you beat a trainer, you win some money
and continue on your journey.
...

0.94
0.94
0.94
...
0.88
...

Sphinx and
the Cursed Mummy1

MLB 07: The Show

2

Digimon World Championship3

Bubble Bobble

You start oﬀ by making your own player andcustomizing him.
you must ﬁght throug title matches todigimon championship and it’s not easy.

0.85
0.85

You play as one of those dragons and

表 5 検索失敗時各手法にかかった平均回数

if you play a 2-player game your pal

0.85

will control the other one.
So even if everything else in the game is horrible

ゲーム

提案手法

FT ありクエリ FT なし対話 TFIDF
4

メジャーゲーム

3

2.5

3.3

2

マイナーゲーム

2.2

-

-

-

you still have the fact thatyou can ﬁre up the game and0.85

play several other artiﬁcially generated opponents
for some poker fun.

...

...

...

...

You beat him and the gameIS oﬃcially completed

レビューが少ないゲーム

1.5

-

-

-

平均

2.2

2.5

3.3

2

438

Pokemon Goldbut of course you can stillplay in order tocatch them all

0.80

and of course that’s not going to be easy seeing
how there’s now at least 250 Pokémon.
...
3000

表6

WCP 2:
Featuring Howard Lederer

成功した検索タスクにおけるクエリ “The story line is scripted

3 回目

the sound track isvery specail to me.

1

...

...

...

The sound is good for a ﬁghting game.

0.75

Sphinx and
the Cursed Mummy
Rocky Balboa

and explained.” に対するゲーム対象となったレビュー一文 (Call2of Duty: Black Ops が正解のゲーム)

3

Robotron: 2084

Harry Potter
and the Half-Blood Prince

There is a golden aura around the screen,some jazz music

0.75

in the background and a running Harry.
As well as the sound which is the exact same as
when the game released in 1982.

0.74

On the menus there is some great action-like

順位

ゲームタイトル

レビュー

スコア

4

Split/Second1Call of Duty: Black Ops

The story line is greatly scripted and well explained.

0.98

...

...

soundtrackwhich clearly represents a racing game,

0.74

and is done to good eﬀect oﬀ track and on track

2

Star Wars: Masters of Teras Kasi

The story line is kept rather short and simple.

0.94

2055

Pokemon Gold

3

Tactics Ogre: Let Us Cling Together

FFT is linear and therefore very involving in it’s story line.

0.92

...

...

4

DOOM 3

Progress in the main plotline is portrayed through cutscenes.

0.92

3000

5

Aura: Fate of the Ages

The story line is paper thin.

0.91

6

Indigo Prophecy

The narrative then unravels from various points of view.

0.91

...

...

...

...

3000

Sphinx and the Cursed Mummy...
It’s the small things thatmake Gold a more reﬁned game than Red.
...

...
0.54
...

Sphinx and
the Cursed Mummy

その上，入力するクエリがもし一部の情報しかないと，第 3. 3
節で述べた類似度の得点が低いということも判明した．これもムや，レビューが少ないゲームは，ほぼ検索できなかった．レ

上記と同じで，すなわち少ない情報から多くの情報に当てはビューが少ないゲームは持っている情報が少ないため，今回のまっていると類似度が低くなる．これを改善するには，BERT

スコア計算において，最初から類似する文がないため，ランキをより細かいな観点でファインチューニングする必要がある．

ングの最下位にまとめて配置されていた傾向が見られた．

また Wikipedia の情報量は少ないため，今後学習データを作る

次に，成功したケースと失敗時のケースについて，具体例をために，手作業で正解データを作ることも考えられる．

挙げながら考察する．すべての結果において，システム側が受け取ったクエリは，ほぼ，検索者が人手で入力したクエリであった．実験において出した選択肢は，生なレビューなので，特徴として使うときかなりの情報量がある．例えば，メジャーゲー
ムの「Grand Thetf Auto: San Andreas」の中に， What’s

Not-So-Good - Out of the 3, its relatively short - Gameplay
wise, it doesn’t add much to the GTA IV experience - Thediﬃculty range of some missions compared to others is uneven What’s Bad: - Lack depth In all, LATD is a good DLC
and should be a fun experience for fans as long as they keepthat in mind. というかなり長いレビューが存在した．これは，細かいな観点が存在するレビューからできているが，検索時ここまで細かく覚えることが存在しないため，こういうレビューが最初からはじくべきと考えられる．

6 まとめと今後の課題
本研究では，うろ覚えのゲームを検索可能なアルゴリズムを提案した．このアルゴリズムでは，初めにユーザがクエリを入力すると，それとは異なる観点に言及したレビュー文を提示してくる．ユーザはそれらのレビューについて，自分の思い浮かべているゲームが該当するかしないかを選択していく．こうすることで，キーワードを思いつけないようなうろ覚えの状態でも，ゲームを検索化可能になる．このような検索を可能にするために，観点に敏感に文をベクトル化する言語モデルを学習した．この言語モデルは，Wikipedia から抽出した 1 つの文に対して，その直上の見出しを推定するタスクで BERT をファイ
ンチューニングすることで作成した．実際の被験者実験を伴う

表 8 成功した検索タスクにおけるクエリ “I used many weapons.”，“I challged the game but inﬁnity enemies is too bad.”，“thesound track is very specail to me.” に対するゲーム対象となったレビュー一文 (Call of Duty: Black Ops が正解のゲーム)
1 回目

クエリ

順位

I used many weapons.

1

ゲームタイトルレビュー

Warhammer 40,000:

It’s 4 races were all unique andDawn of War

it had a great depth.

スコア

0.37

Gears of War, Uncharted,2

Army of Two

and Kane and Lynch have all been ambassadorsfor the genre,opening it up and

0.37

letting people know the action that it brings.
3

4

Scooby-Doo!
Mystery Mayhem

2 回目

I challged the game
but inﬁnity enemies is too bad.

1

kept me wanting to play more.

...
Call of Duty:
Black Ops

...
3000

The story is well written andToo Human

...
1247

I found the game
captured the essence of Scooby Doo,

0.36

which was the most important thing.

...

0.36

...

...

Kill Streaks are over powered.

0.28

...

...

Harry Potter:
Quidditch World Cup
The story is well written andToo Human

kept me wanting to play more.

0.15

There is no doubt that GG XX AC is a gamethat any Guilty Gear fan is going to want,
2

GG XX Accent Coreand once they play it,

0.15

they will realise
it’s the best version of the game thus far.
When it hit the other consoles last year,
3

The Godfather

I thought it was a pretty decent game

0.14

with good fan service.
Game Looks Great with Good Cinematics andSounds it feels like a game of 2008/09 and4

Necrovision

it can be maxed out with a good Quad and

0.14

GPUAcutally
Really enjoyed this his game for a Good Laugh.
...

...

...

Call of Duty:

conﬁrmed to have a port for the wii,...

When call of duty black ops was
144

people looked back at

Black Ops

0.12

the previous call of dutys released for the wii.
...
3000

3 回目

Kill Streaks are over powered.

1

...

...

...

Kill Streaks are over powered.

0.06

Harry Potter:
Quidditch World Cup
Call of Duty:
Black Ops

Finally, the balence in the game2

GG XX Accent Core

has been honed from “Great”

0.06

in previous games to “Perfect” in GGXXAC.
3
4

Crash Bandicoot 2:
N-Tranced
Marvel:One ﬂaw for the PS3 version tho is

Ultimate Alliancethe Ïncredible Hulk is not in the game.

…

…

…

3000

Thank god this on e changed from the frist one.

0.05
0.05
…

Harry Potter:
Quidditch World Cup

評価実験を通じて，精度と有効性について議論する予定である．
今後の課題として，よりアプリケーションとしての使い勝手を向上させることを考えている．現時点では，質問項目はただ
現在の入力クエリと遠いものを出すようになっている．今後，ランキングモデルを導入して，よりゲームの特定に有効な質問を優先して出題する必要がある．

謝辞本研究は JSPS 科研費 18K18161（代表：莊司慶行），21H03775（代表：大島裕明）の助成を受けたものです．ここに記して謝意を表します．

文

献[1] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language
Technologies, Volume 1 (Long and Short Papers), pp. 4171–
4186, Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.
[2] Chi Sun, Xipeng Qiu, Yige Xu, and Xuanjing Huang. How
to ﬁne-tune bert for text classiﬁcation?
In China National Conference on Chinese Computational Linguistics,
pp. 194–206. Springer, 2019.
[3] Ikuya Yamada, Hiroyuki Shindo, Hideaki Takeda, andYoshiyasu Takefuji. Learning Distributed Representationsof Texts and Entities from Knowledge Base. Transactionsof the Association for Computational Linguistics, Vol. 5,
pp. 397–411, 11 2017.

[4] Zeynep Akkalyoncu Yilmaz, Shengjin Wang, Wei Yang,
Haotian Zhang, and Jimmy Lin. Applying BERT to document retrieval with birch. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural
Language Processing (EMNLP-IJCNLP): System Demonstrations, pp. 19–24, Hong Kong, China, November 2019.
Association for Computational Linguistics.
[5] Matthew Henderson. Machine learning for dialog state
tracking: A review. 2015.
[6] Tsung-Hsien Wen, David Vandyke, Nikola Mrkšić, Milica
Gašić, Lina M. Rojas-Barahona, Pei-Hao Su, Stefan Ultes,
and Steve Young. A network-based end-to-end trainabletask-oriented dialogue system. In Proceedings of the 15th
Conference of the European Chapter of the Association for
Computational Linguistics: Volume 1, Long Papers, pp.
438–449, Valencia, Spain, April 2017. Association for Computational Linguistics.
[7] Jiwei Li, Will Monroe, Alan Ritter, Dan Jurafsky, Michel
Galley, and Jianfeng Gao. Deep reinforcement learning for
dialogue generation. In Proceedings of the 2016 Conferenceon Empirical Methods in Natural Language Processing, pp.
1192–1202, Austin, Texas, November 2016. Association for
Computational Linguistics.
[8] Jianfeng Gao, Michel Galley, and Lihong Li. Neural approaches to conversational ai. In The 41st International
ACM SIGIR Conference on Research & Development inInformation Retrieval, pp. 1371–1374, 2018.
[9] Espen Aarseth, Solveig Marie Smedstad, and Lise Sunnanå.
A multidimensional typology of games. In DiGRA Conference, 2003.
[10] Toine Bogers, Maria Gäde, Marijn Koolen, Vivien Petras,
and Mette Skov.
looking for an amazing game i can relax and sink hours into... : A study of relevance aspects
in video game discovery. In International Conference on
Information, pp. 503–515. Springer, 2019.
[11] Xiaoxuan Zhang and Adam M. Smith.
Retrieving
videogame moments with natural language queries. In Proceedings of the 14th International Conference on the Foundations of Digital Games, FDG ’19, New York, NY, USA,2019. Association for Computing Machinery.
[12] Barrett R. Anderson and Adam M. Smith. Understandinguser needs in videogame moment retrieval. In Proceedingsof the 14th International Conference on the Foundationsof Digital Games, FDG ’19, New York, NY, USA, 2019.
Association for Computing Machinery.
[13] Ida Kathrine Hammeleﬀ Jørgensen and Toine Bogers.
kinda like the sims... but with ghosts? : A qualitative analysis of video game re-ﬁnding requests on reddit. In International Conference on the Foundations of Digital Games,
pp. 1–4, 2020.
[14] Florian Meier, Toine Bogers, Maria Gäde, and Line
Ebdrup Thomsen. Towards understanding complex knownitem requests on reddit. In Proceedings of the 32nd ACM
Conference on Hypertext and Social Media, pp. 143–154,
2021.
[15] Iz Beltagy, Kyle Lo, and Arman Cohan. Scibert: A pretrained language model for scientiﬁc text. arXiv preprint
arXiv:1903.10676, 2019.