DEIM2022 C24-3

著者に注目した映画レビュー推薦に適した言語モデルの生成
吉田 修平†

莊司 慶行†

藤田 澄男††

Martin J. Dürst†† 青山学院大学理工学部情報テクノロジー学科 〒 252–5258 神奈川県相模原市中央区淵野辺 5–10–1†† ヤフー株式会社 〒 102–8282 東京都千代田区紀尾井町 1-3 東京ガーデンテラス紀尾井町 紀尾井タワー
E-mail: †shuhei@sw.it.aoyama.ac.jp, ††{shoji,duerst}@it.aoyama.ac.jp, †††sufujita@yahoo-corp.jp
あらまし 本論文では、レビューの著者に注目してファインチューニングした BERT を用いることで、ある個人の価値観に合いそうなレビューを推薦する手法を提案する。映画レビューサイトでは、様々な人々が，それぞれ異なった価値観からレビューを書いて投稿しているために、著しく価値観の異なるレビューは映画を見るかどうかの判断に使いづらい。本研究では、レビューに反映される価値観は、著者に固有の言及している観点や文体などに起因すると考えた。そこで、ある 2 つの任意の映画に対するレビュー文を与えた際に、それらのレビューの著者が同一であるかを推定するタスクで BERT モデルをファインチューニングした。こうして作成された言語モデルは、著者の価値観を反映した観点や文体を識別するようにレビューをベクトル化すると考えられる。2 件のレビュー文がそれぞれどう似ているかをラベル付けするクラウドソーシングによる実験から，提案する言語モデルで生成されたベクトルが確かに個人の文体を強く反映していることを確認した．
キーワード 情報推薦，レビュー，BERT, Self-Supervised Learning
レビューの著者が同一であるか否かを推定するというタスクに

1 はじめに近年，映画のサブスクリプションサービスやレビューサイト
の普及により，インターネット上に投稿されるレビューの総数
も，それらを目にする機会も増加してきている．しかしながら，人にとって年齢や性別，その他の様々な属性から共有される文脈や価値観が異なるため，参考になるレビューは，人によって異なる場合が多い．例えば，ある映画に関して「出演している俳優を目当てに鑑賞した人」にとって「脚本を重視する映画マニア」のレビューが参考になるとは限らない．しかし多くの映画レビューサイトにおいては，ユーザにパーソナライズされた映画推薦は行われているものの，そのレビュー自体は単純な投稿日時や，評価の順序で提示されており，パーソナライズされたものになっていないのが普通である．
また映画レビューサイトのニーズとして，その映画を見るかどうかの判断のためという目的に加えて，自分が既に見た映画について他のユーザの意見が気になるという答え合わせ的な目的としても使われることが多い．そこで本研究では，答え合
わせとしてのレビュー観覧のニーズに合わせて，あるユーザによって書かれたレビュー文を元に，そのレビューが対象としている映画のレビューを推薦する手法を提案する．
レビュー自体を対象とする推薦はアイテムの推薦とは異なり，それ自体が点数化されることが少ないために直接的な教師あり

よってファインチューニングを行った．
こうして作成された言語モデルは，著者の価値観を考慮してレビューをベクトル化すると考えられる．そのモデルによってベクトル化されたレビュー文を元となるレビューとの類似度が高い順序で提示することで映画レビューの推薦を行う．学習には Yahoo!映画に投稿されているレビュー文を用いる．手法の評
価としてはレビュー推薦では，Yahoo!映画の実データを用い，クラウドソーシングによる大規模な評価実験を行った．被験者は，1 件のレビュー文と，提案手法を含む 4 つの手法で計算された推薦結果上位のレビュー文を読み，それぞれどのような観点で類似しているかをラベル付けを行った．そして，結果から
この言語モデルの特性について議論した．
本論文は全 6 節から構成されている．第 2 では本研究と関連する研究として言語モデルと情報推薦について論じる．第 3 章
では，本研究で提案する，同一著者によって書かれたレビューであるかを推定するタスクを通して言語モデルをファインチュー
ニングする方法について述べる．第 4 節では，提案手法によって作成されたレビューのベクトルの性質と，その有用性について評価するための実験および結果について述べる．その結果について第 5 節で考察し，第??節で総括する．

2 関連研究学習の枠組みでは扱うことができないという技術的な困難性

本研究では，個人の嗜好に合わせたレビューを推薦するためが存在する．そのため間接的なファインチューニング用のタスに，ファインチューニングした BERT モデルを用いる．そこクを設定する必要がある．まず，そのための前提として，こうで，目的の類似する研究として分散表現を用いた情報推薦およ

いった文脈や価値観が，レビューの文体や用いられている語彙

び BERT を用いた情報推薦について紹介し，論じる．加えて，に反映されていると考えた．そして Sentence-BERT を，ある使用した技術として，BERT のファインチューニングについて

2 つの任意の映画に対するレビュー文を与えた際に，それらの関連研究について述べ，関連性を示す．

2. 1 分散表現を用いたアイテム検索・推薦いる．

本研究は，映画のレビュー文を高速に類似度を比較できるよ

Malkiel ら [8] は BERT によって得られる分散表現を用いて，うな軽量な形で分散表現化することで，レビュー，アイテムのプロのワインレビューに基づくワイン推薦の手法を提案してい推薦を行う．このような分散表現を用いた推薦に関する研究は，る．ここで提案される学習の手法は人手によるラベリングを必

一般的に行われてきている．

要としない自己教師あり学習である．

例として，Barkan ら [1] は Word2Vec として知られる分散表本研究でも，ラベリングを必要としない間接的なファイン現化の手法である Skip-gram with Negative Sampling (SGNS)

チューニングタスクによって学習を行ったモデルを用いて推薦をアイテムベースの協調フィルタリングに応用する Item2Vecを行う手法を提案する．

という手法を提案している．この手法では，アプリケーション
サイトにおいてアプリの購入ログを，音楽配信サイトにおいて

3 提案手法

再生ログに SGNS を適用することで，アイテムの分散表現を本研究では，コサイン類似度の比較に用いることのできる，得ることを可能にしている．Phi ら [2] は EC サイトにおけるレビューの分散表現を得るためのモデルと，そのためのファイ

協調フィルタリングによるアイテム検索に分散表現を用いた手法を提案している．この研究では，アイテムを単語，ユーザのンチューニング方法を提案する．そしてそこから得た分散表現を用いてレビュー自体の推薦を行う手法を提案する．

セッションを文章として扱い，アイテムに対しては Word2Vec

本手法は本来は言語非依存だが，本論文では日本語で書かれを，ユーザに関しては Doc2Vec を適用して，実際にそれぞれた映画レビューセットを対象として実験を行ったため，本節でを分散表現として表している．

は日本語を例にとって手法を説明する．

古典的な協調フィルタリングによる推薦には，データ量が少ない場合に正確な推薦が行えないことや，コールドスタート

3. 1 モ デ ル

問題などの欠点が存在する．これらを解決する手法として Liu

学習済み BERT モデルをファインチューニングすることで，ら [3] らは Doc2Vec を用いてテキストから映画を分散表現化す推薦に必要となるコサイン類似度で比較可能な分散表現を得る

ることで，その類似度を協調フィルタリングに適用する手法をためのモデルを作成する．言語モデルは Sentence-BERT の分類

提案している．実験では推薦結果が精度, 再現率ともに向上す問題に対応したものを用いる．Sentence-BERT では BERT のることが確認されている．

出力にプーリング操作を追加したもので，論文での実装は Max-2. 2 BERT による類似度比較
前節に記した多くの手法の基礎となる Word2Vec は単語に対して文脈非依存の分散表現を得るための手法である．本研究では，文脈を考慮した高精度な分散表現を用いて推薦を行うため

Devlin ら [4] の提案した BERT を用いた．

Pooling，Average-Pooling があるがここでは Average-Poolingを用いた．生成された文の埋め込みが意味的に意味があり，コサ
イン類似度と比較できるように重みを更新するために siamese

network を用いる．
モデルの概略を図 1 に示す．このモデルでは，入力として 2
つのレビュー文を受け取る．入力されたそれぞれのレビューは

BERT における STS は，構造上単純な 2 文書の比較では高BERT で単語単位で分散表現化されるので，Average-Pooling

い性能が得られる反面，計算量が膨大になる．そのため，意味することで 1 つのベクトルとして表せる．こうして生成された的な類似性検索や，クラスタリングのような教師なし学習には

2 つのレビュー文の分散表現どうしを，1 本のベクトルに結合適していない．また BERT の出力の Average-Pooling によるする．この際，ベクトルの末尾に，2 つのレビューの分散表現

類似度計算では GloVe を使用したものより精度が劣ることがの各次元の差の絶対値をとったものを，追加で結合する．この

一般に知られている．

ようなモデルについて，実際に，同一の著者によるレビューで

こ う し た 問 題 へ の 対 応 策 の 例 と し て ，Reimers ら [5] はあるかどうかを学習し，ファインチューニングを行う．

Siamese network [6] と呼ぶ 2 つのニューラルネットワークを使って文書の分散表現を得るためのモデルを提案している．この手法では，高速な類似度計算が可能な分散表現化を可能にしている．

2. 3 BERT による推薦

3. 2 損 失 関 数
図で示される文書の埋め込みである u と v ，及び差分ベクト
ルの各要素の絶対値をとったものを連結し，学習可能な重みをかけたものに softmax 関数を通してその交差エントロピー損失を最適化する．具体的には，損失値 o は，

自然言語処理分野のタスクで高い精度を持つことを示した

BERT は，近年では情報検索や情報推薦など様々な応用的な研究に用いられている．BERT においては，事前学習後に知識をパラメータに暗黙的に有していることも示されている．Penha
ら [7] は事前学習済みの BERT が本，映画，音楽などの項目についてどの程度知識を有しているか，また推薦における協調ベースの知識よりも内容ベースの知識が多いことなどを示して

o = sof tmax(Wt (u, v, |u − v|))(1)として表される．この際，それぞれの損失にかかる係数 Wt は，n を埋め込み表現の次元，k をラベル数とした際，Wt ∈ R3n×k
と表せる．

(2)

表 1 クレンジング後のデータセット内での一人当たりの投稿レビュー

Softmax classfier

数と人数（概算）(u, v, |u-v|)v

upooling

pooling
BERT

BERT

レビュー文

レビュー文

投稿数

人数

比率

1〜5 件

307,500 86.5%

5〜10 件23,500

10〜20 件12,000

3.4%

20〜50 件

7,700

2.2%

50〜100 件

2,600

0.7%

100〜200 件 1,200

0.3%

200〜500 件 600

0.2%

500〜

300

0.1%

合計

355,400

6.6%

アンケートを実施した．
図 1 Sentence BERT を参考に構築した提案手法のモデル．2 つのレ
ビュー文を BERT でベクトル化し，プーリングしたベクトルを結合したうえで，それぞれのレビューが同一の著者に書かれたかどうかを推定するタスクで学習する．

4. 1 データセットの概要
教師データを作成するために，ヤフー株式会社が運営する総合映画情報サイトである Yahoo!映画に投稿された「作品ユー
ザーレビュー」を収集した．収集した 6 万件の映画に対するレ

3. 3 テキストの前処理使用するレビュー文はモデルへ入力する前に前処理を行った．
括弧の除去，URL の除去，全角空白の除去，単語の正規化を行った．単語の正規化では単語の文字種の統一，つづりや表記
揺れの吸収といった単語を置き換える処理を行った．

ビューには，点数だけを記録するためのものが多く含まれた．
そこで，本文が空であったり，一言しかないものなどを除くた
めに，本文が 10 文字以内のものを取り除いた．
本実験で対象としたユーザ数とそのユーザの投稿したレビュー
数の関係を集計したものを表 1 に示す．
本実験では，モデルの学習のためには，同一ユーザによるレ

3. 4 ファインチューニング

ビューが複数必要になる．そのため，レビューを 50 件以上投ファインチューニングとしては正例として入力の 2 つのレ

稿したレビュアによる投稿だけを学習の対象とした．そもそもビューが同一ユーザによって書かれたものを，負例として入力

ほとんどの利用者はたかだか数件しかレビューを書かないので，の 2 つのレビューが異なるユーザによって書かれたものを用い学習に用いたレビュアは，全レビュアの 1.32%程度になった．

て，それを推定するタスクを実行する．

3. 5 レビュー推薦

4. 2 提案手法の実装
提案手法を実際のデータに適用するために，学習済みの BERT

本研究では，ユーザが既に投稿したある映画のレビューを元モデルを，レビューサイトから収集したデータでファインチューに，同タイトルについて書かれたレビューを推薦する手法を提ニングした．事前学習モデルは東北大学の公開している既存

案する．つまり想定されるシチュエーションというのはユーザのモデルを用いた．レビューデータは Yahoo!映画のものを用が既に見た映画について他のユーザはどのような意見をもっていた．

いるのか知りたいという場合である．

日本語の学習済みの BERT モデルとして，東北大学の乾研推薦するべきレビューが対象とする映画タイトルについて書究室の公開しているモデルを使用した．これはモデルのアーキ

かれたレビューの分散表現を提案手法における学習済みモデル

テクチャ，学習は元の BERT と同じ構成である．学習データにによって得る．そして元となる映画レビューの分散表現とのコは 2020 年 8 月 31 日時点の日本語版 Wikipedia を用いている．

サイン類似度をすべて計算し，そのスコアが高いものを推薦す

ファイルサイズは 4GB で，約 3 千万文が含まれている．またるべきレビューとする．

語彙サイズは 32,768 である．
レビューをある程度書きなれていて，自分の文体が確立して4 評価実験
本章では，提案手法の有用性を示すために用いたデータセッ
トと，そのデータセットを用いて行った評価実験の詳細について述べる．提案手法，及び評価対象となる手法によって得られた映画レビューの分散表現から，同じ映画についてのレビューの中から類似度の高い 5 つを抽出し，その特性を明らかにする
ための 0 つの質問についてクラウドソーシングによる大規模ないると考えられるユーザだけを対象に，モデルの学習を行う．
そのために，レビューを 50 件以上書いているユーザを抽出し，同一ユーザ判定に用いた．こうしたユーザのうち，ランダムに抽出した 2,000 ユーザを教師データとして用いた．正例と負例を作成するために，同一のレビュアに書かれたレビューと，異なるレビュアによって書かれたレビューのペアを作成した．まず，1 ユーザあたりランダムに 50 件のレビューをランダムに抽表2

表 3 学習済み Doc2Vec のパラメータ

ファインチューニング時の BERT のパラメータ
パラメータ

値

パラメータ

入力の最大系列長

128

dm

値

0

バッチサイズ16

vector-size

300

オプティマイザAdamwindows

15

学習係数

2e-5

alpha

0.025

エポック数

5

min-count

5

精度

0.72

sample1e-5epochs20

dbow-words 1

出した．正例として，その 50 件のレビュー中で，全ての組み合わせである 2,450 個のレビューのペアを作成した．負例として 50 件のレビューそれぞれにそのユーザ以外によって書かれ

Doc2Vec はネット上に公開されている日本語コーパスによたレビューである 50 件を組み合わせ 2,500 個を作成した．こる学習済みモデルを用いた比較手法である．学習アルゴリズ

うして作成した 4,950 個のレビューのペアについて，2,000 人

ムには distributed bag of words (PV-DBOW) を用いている．

分，合計で 9,900,000 個の学習データを作成し，実際に学習をPython の自然言語処理用のライブラリである Gensim を用い行った．

て実装されている．Gensim におけるモデルの主要な学習パラ
メータは表 3 に示す．学習元のコーパスとしては 2019 年 1 月

4. 3 学習時のパラメータ
学習時のパラメータ，学習後のテストデータによる精度を表

14 日時点での Wikipedia の CirrusSearch のダンプデータを用いている．

2 に示す．Sentence-BERT の入力層にあたる BERT モデルでランダムサンプリングは，それぞれのタスクがどれほど困難

は，最大 512 トークンを入力できるが，精度と学習速度の兼ねであるかを表すためのベースライン手法である．他手法ではそ合いから，128 トークンに切り上げて学習を行った．BERT のの手法で得られた分散表現から類似度の高い 5 つのレビューを

バッチサイズは Liu ら [9] により，事前学習においてはより大抽出しているのに対して，ここでは比較元となるレビューと同

きなバッチサイズで学習することが有効であると指摘されてい一のタイトルの映画に対するレビューの中からランダムに 5 つる．そのため学習時に使用した GPU の扱える上限であった 16

抽出したものを比較対象のレビューとして用いる．

に設定した．エポック数は 5 としているが，検証誤差の値が更新されないとき学習の早期終了を行うよう設定した．
テストデータは教師データとして用いたユーザ外から作成し，精度は 0.72 であった．

4. 5 クラウドソーシングによる評価実験
提案手法の特性を評価するために，クラウドソーシングによる大規模な被験者実験を行った．実験はアンケート形式で，被験者は 2 つのレビュー文がどういった観点で類似している

4. 4 比較手法の実装
提案手法の特性を評価するために，提案手法の他に 3 つの比較手法を用意した．すなわち，

•
•
•
•

かを回答した．被験者収集には，クラウドソーシングプラット
フォームであるランサーズを利用した．
実際のクラウドソーシングサイトでのアンケートフォームの提案手法：本研究で提案している著者を推定するタスク

スクリーンショットを図 3 に示す．被験者には，比較元となる

でファインチューニングした BERT モデル，

1 つのレビュー文に対して，20 件の異なるレビューが提示され

BERT：ファインチューニングを施さない，もとのまた．これらのレビューは，同じ映画に対する，4 つの手法で類

まの BERT モデル，似度が高いと判定された，上位 5 件のレビューを織り交ぜたも

Doc2Vec：BERT 以前に一般的に用いられてきた分散のである．被験者は，それぞれのレビューについて，比較元と表現化手法，

どのような点で類似性があるか，8 つの質問について「はい」，

ランダム：完全に無作為に抽出したレビュー「いいえ」の 2 択で回答した．実際の質問項目を，表 5 に示す．

を比較することで，本研究におけるファインチューニングの性アンケートフォームの先頭には例として，より質問項目に関し質を明らかにする．本節では各種法の詳細について述べる．全て判定しやすいレビューを作成し，その根拠とともに回答例を手法に共通して，入力に用いるテキストに関しては，提案手法提示した．そこで提示した例を，図 2 に示す．

と同様の前処理を行っている．

比較元となるレビューは映画 20 タイトルについてそれぞれ

BERT は，ファインチューニングを行わない BERT 言語モ

5 件ずつ，合計 100 件のレビューを用いた．対象とする映画は，

デルによる比較手法である．提案手法のベースとして用いた東人手で選出した．この際，評価実験で各手法ごとに同程度の文北大乾研究室が公開している学習済み日本語 BERT モデルを字数のレビューを比較可能な，250 件以上レビューの付いた映ファインチューニングを行わずに用いた．推論時には提案手法

画を対象にした．また，レビュー数の多い映画，少ない映画にと同様に入力されるテキストは 128 トークンまでに切り上げ，

偏りがないように，段階的にレビュー件数ごとに映画を選定しBERT モデルからの出力を Average-Pooling することで分散た．邦画，洋画の割合，ジャンルなどについても，ばらつきが表現を得る．

ないように人手で調整した．実際に対象とした映画と，それぞ比較対象となるレビュー

④

⑦

①
②
体験はすごかったけど、面白くはありませんでした。とにかく 3D 技術が⑤
新しいです。3D 技術の革命は、ターミネーター 2 以来のものだと思います。

比較元のレビュー

表 4 評価実験に用いた映画タイトルと対象としたレビュー件数①⑦
わざわざ見るほどではなかった！混んでるから、有給まで使ったのに、悲映画名しすぎる！書くべきことがたくさんありすぎるんだけど、ずっと、主人公②④の俳優の演技が鼻についた！こういう演技は嫌いだ！聞いててだんだん

シン・ゴジラ

5,850

大学の友達と見ましたが、あらすじもそこまで深くないので、わいわい楽

イライラした！感情移入できなかった！ヒロインの演技はすごくよかっ⑥
た！結婚したい！！長くて途中でトイレに行った！俺にはあわないけど、

アバター

4,350

しんで見るのには適していると思いました。

こういうの好きな人だとハマるのか！？ラストシーンだけは良かった！

すごいポリゴン数だと思いました。キャメロンらしい、売れ線の映画です。
⑥
僕は劇場で見ましたが、家で DVD で見たら魅力半減しそうです･･･。僕は、

ALWAYS「面白くない」と「見るほどではない」と、ふたりとも否定的
左は「映像技術」、右は「俳優の演技」に主に注目

回答は「いいえ」
回答は「いいえ」

左は淡々と、右は勢いよく様々なことを書いている
左は分析的だが、右のレビューは「嫌い」など、主観的回答は「いいえ」
回答は「はい」大学生と、わざわざ休みを取る社会人で、異なると思われる
左はですます体で、右は書きなぐったような文体

三丁目の夕日3,160

アナと雪の女王

2,742

ラ・ラ・ランド

2,466

インターステラー

1,942

ダ・ヴィンチ・コード

1,863

思い出のマーニー

1,729

パシフィック・リム

1,708

ショーシャンクの空に

1,639

万引き家族

1,449

ベイマックス

1,388

図書館戦争

1,090

重力ピエロ

850

紙の月

665

ヘイトフル・エイト

367

フェイス／オフ

285

コンタクト

261

若おかみは小学生！

254

ロード・オブ・ウォー

253

回答は「いいえ」

左は他の映画や監督に言及しているが、右はそうではない
一人称が「僕」と「俺」で、両方男性だと思われる

回答は「はい」レビュー数

回答は「いいえ」

回答は「いいえ」※ この判断基準は、あくまでも作成された例ですので、実際のレビューがこのようにきれいに判断できるとは限りません。
最終的には、個人個人の判断で、レビューがどういう側面で類似しているか、ご判定ください。

図 2 実際にクラウドのユーザに提示した回答例

比較元の 1 件のレビュー選定した映画に対するレビューの中で、文字数が一定の範囲内の物をランダムに抽出し、ページ上部に表示

比較対象となるレビュー（各手法の類似度上位のレビュー）
比較元のレビューに対して、各手法で類似度が高いと判定されたレビューを
比較元のレビューと並べて表示

質問項目「賛否は一致しているか」などの質問項目を7 つの「はい」「いいえ」で答えられる形式で回答させるて，有意差が認められた項目については数値に*をつけて表記している．提案手法と，ファインチューニングを行っていない

図3

実際のオンラインクラウド評価時のスクリーンショット．2 件のレビューのペアに対して，8 種類の類似性に関する質問に回答
する

BERT による比較では，「レビューの文体や用いられている語
彙は似ていますか？」という質問項目に関しては有意差が認められた．このことから同一ユーザの判定タスクによって BERT
をファインチューニングすることによって，文体や用いられてれに対する有効なレビュー数を表 4 に示す．
レビューを比較する際に，レビューの文字数が 50 文字から300 文字のものだけを対象とした．これは，提案手法，比較手法ともに，一定の分量のテキストが入力にあることを前提としているためである．一言の感想のようなレビューを取り除くた
めに，50 文字以内のレビューについては全て除去した．また文章量が比較対象と大きく開きがある場合，正確な回答が困難であるとため，文字数が 300 文字を超えるものは除去した．
各レビューについての質問は回答者の上限が 3 人になるように提示した．クラウドソーシングサイトで実験を行う上での制約として，不誠実なクラウドワーカを判別して除外する必要があった．そのために，質問項目のうち指定のものにのみ「はい」

いる語彙に敏感な分散表現化が行えることがわかった．他の質問項目では提案手法による有意差は認められなかった．
ランダムサンプリングと，他手法のうち，値が最小のものとの比較では，「映画に対して特に重視しているポイントは近いですか？」，「同じくらいの熱意をもって書かれていますか？」，「「分
析的な批評」もしくは「主観的な感想」に分けるならば，それは一致していますか？」，「レビュアーの映画に対する知識レベ
ルは同程度ですか？」，「レビュアーの年齢は近そうですか？」，「レビューの文体や用いられている語彙は似ていますか？」という質問項目に関しては有意差が認められた．

5 考察と回答するように促す内容の，ダミーのレビューを質問中に 1

結果から，同一ユーザの判定タスクによって BERT をファ

件，紛れ込ませた．その指示に従わなかった回答者の回答は，インチューニングすることによって，文体や用いられている語

信頼性の低いデータであるとして，除去した．

彙に敏感な分散表現化が行えることがわかった．あるユーザに

4. 6 実 験 結 果
300 件のタスクから，234 件の有効な回答が得られた．具体的な推薦結果の例として「インターステラー」の映画レビュー
を比較元，提案手法による上位 1 位のもの，BERT による上位

1 位のものを表 6 に示す．
クラウドソーシングによる回答結果を表 5 に示す．結果については t 検定を行い，提案手法と BERT による手法を比較しよって書かれたレビュー文を元に，そのレビューが対象としている映画のレビューを推薦するという設定においては，クラウ
ドソーシングでのアンケートの結果からは提案手法の有用性を示すことはできなかった．本章ではいくつかの観点に注目して提案手法によって得られる分散表現の特徴について検討し，論じる．
はじめに，文体と性別，年齢の関係について注目する．提案表 5 クラウドソーシングサイトで実際に提示した質問項目と，各手法に「はい」と答えた割合（提案手法に対し BERT，片側 t 検定における p 値:* < 0.05）
質問文

提案手法

BERT

Doc2Vec

ランダム

映画への賛否は一致していますか？

0.59

0.64

0.63

0.56

映画に対して特に重視しているポイントは近いですか？

0.31*

0.39

0.43

0.22

同じくらいの熱意をもって書かれていますか？

0.47

0.45

0.42

0.33

「分析的な批評」もしくは「主観的な感想」に分けるならば，それ

0.51

0.54

0.55

0.40

レビュアーの映画に対する知識レベルは同程度ですか？

0.48

0.51

0.51

0.36

レビュアーの性別は一致していそうですか？

0.59

0.62

0.58

0.55

レビュアーの年齢は近そうですか？

0.53

0.53

0.47

0.40

レビューの文体や用いられている語彙は似ていますか？

0.48*

0.42

0.41

0.28

は一致していますか？

表 6 「インターステラー」の推薦結果の例

別や年齢などの属性も近いはずであるということが正しいとは

手法

レビュー文

言えないということがわかった．ただし， 図 2 で示した，被比較元

アインシュタインの相対性理論を理解した上で鑑験者に提示した例では簡単のため「ですます」調であるか否か

賞なぞできなかったのだが，ワームホールを抜ける映像や，わずか数分の出来事が，地球時間では数年単位で進んでしまうという現象を，観客側とまっていて，性別，年齢に繋がるような意味での基準から離れを見せてもらった気がする．そして 5 次元世界てしまっていたという可能性も考えられる．

の映像化．映像作家ならば腕の見せ所だろうが，次に，「注目している観点」の質問項目に対する結果について

キューブリックが見たとしたら一体どのように評議論する．提案手法では，レビュー推薦において特に重視するしただろうか?個人的には大いに楽しませてもらっべきと思われる，「重視しているポイント」の近さの項目では

この想像力豊かな映像たちのおかげ．いずれまた監督には驚かせてもらいたい．

SF(サイエンスフィクション) が文字通り科学的な空想に基づいたフィクションであるとするなら，

BERT や，より軽量な Doc2Vec にも劣るという結果になった．
これは「重視しているポイント」の抽出には，高度な文脈情報
よりも「俳優」，「映像」といった具体的な単語が重要になるからだと考えられる．

この作品は間違いなく最先端の sf 作品と言ってい今回の研究では，実際に複数のレビューを書かせて，レビュー

い．少なくとも今後作られるであろう SF 映画にを推薦するというタスクでの評価実験が不可能であった．その平面のワームホールや，ただの黒い円として描かために，クラウドソーシングサイトにおけるアンケートをもれたブラックホールが登場する機会は激減するだ
ろう．インターステラーの製作には世界的な物理学者が関わり，脚本家は相対性理論を一から学んで製作に挑んだ，裏付けのなされた SF 作品だ．もBERT

判断の基準がこのような表層的な部分での文体を基準にしてししては俯瞰で観ることができたし，よくできた SF

たが，この尺でも全く苦にならず楽しめたのは，

提案手法

を判断の基準として示していた．そのため被験者側の類似性のとに，間接的な評価を行わざるを得なかった．このような実験上の制約から生じた，十分に分析できなかった要素について論じる．

ちろん理論的に描いた小説はこれまで数多くあっ

そもそも，1 問 1 答形式では，本当に細かい類似度に関するたが，難解な題材をノーラン監督は映像化し，更比較が行えなかった可能性がある．推薦結果の例として「インに娯楽作にまで見事に昇華させている．近年稀にターステラー」の映画レビューを表 6 に示した．これらの提案

みる SF の傑作だ

手法と BERT によって選ばれたレビューは「注目している観相対性理論のよくわからない論理を字幕だけで理点が近いか」という質問項目について，両者ともに「はい」と解するのはほとんど不可能なので，頭の中は「なんでそうなるの?」ばかり．それらが演技や映像の素晴らしさを邪魔している気がしました．むしろ回答された．これら 2 件のレビューは，ともに「相対性理論を正しく映像化している」ことに言及している．そのため回答者『2001 年宇宙の旅』のように，思い切り哲学的なは，「はい」を選択しがちである．しかし BERT の結果を見る作品に振り，鑑賞者に考える余地を残すのも一興と，「それらが演技や映像の素晴らしさを邪魔している」というかと思いつつ，しかし興業を考えるとそうもいか記述がある．このことから，レビューの著者について深く考えないんでしょうね．テレンス・マリックがこの作

ると，映像や演技を重視している可能性もある．今回の質問で品を手がけていたら，どんなことになっていたのは，被験者は，あくまでもレビュー文中にある観点に対する言でしょうか (笑)．

及が含まれているかで判定を下しがちであった．一方で，実際のレビュー推薦というアプリケーションを考えると，比較元の手法と BERT による手法を比較すると，文体については有意

著者に対しては提案手法のレビューを提示する方が有効な可能差が認められたものの，性別，年齢の質問項目においては有意性がある．このように，映画などの感性が関わるレビューにお差が認められなかった．このことから，提案手法において仮定

いては，明示的なフィードバックが与えられないことが多い．

していた，文体や用いられている語彙が近いユーザであれば性そのためオフラインテストを行うことができず，また当人でない限り評価が曖昧である．正確な評価を行うためには，A/B テストなどの評価手法が必要になると考えられる．
最後に，ランダムサンプリングと他手法について比較する．

[5]

ランダムサンプリングによる推薦結果はすべての質問項目において，他の手法に大きく劣ることがわかった．このことから，
レビューの提示順序が投稿順である多くのレビューサイトにおいては，Doc2Vec を使った軽量な手法であっても，導入することによってユーザエクスペリエンスを向上させることができる[6]

余地があるといえる．

6 まとめと今後の課題[7]

本研究では，レビューの著者にファインチューニングした

BERT を用いることで，レビュー推薦を行う手法について提案した．提案手法ではある 2 つの任意の映画に対するレビュー文[8]を与えた際に，それらのレビューの著者が同一であるかを推定するタスクでファインチューニングを行った．提案手法と他比
較手法による推薦結果を大規模なクラウドによるアンケートを行うことによって手法の有用性について議論した．
ユーザが未だレビューを書いていない映画に関するレビューの推薦や，映画自体の推薦においては，考察で記した直接的な
具体的な単語による比較ができない．そのためこのような場合，提案手法である文体や用いられる語彙に敏感な分散表現は比較
手法に比べ有用である可能性があると考えられる．具体的には
ここで得られる同一ユーザによるレビューの分散表現を用いてユーザの分散表現を作成し，そのユーザ間の類似度の近いユー
ザのレビューを推薦することや，その類似度を協調フィルタリ
ングにおけるユーザ間類似度に転用することによって映画自体の推薦を行うなどである．これらの実装について今後の課題と
したい．

謝

辞

本研究は JSPS 科研費 18K18161（代表：莊司慶行），21H03775（代表：大島裕明）の助成を受けたものです．ここに記して謝意
を表します

文

献

[1] Oren Barkan and Noam Koenigstein. Item2vec: neural item
embedding for collaborative ﬁltering. In 2016 IEEE 26th
International Workshop on Machine Learning for Signal
Processing (MLSP), pp. 1–6. IEEE, 2016.
[2] Van-Thuy Phi Liu Chen and Yu Hirate. Distributed
representation-based recommender systems in e-commerce.
In DEIM Forum 2016 C8-1, pp. 1–6. DEIM, 2016.
[3] Gaojun Liu and Xingyu Wu. Using collaborative ﬁltering
algorithms combined with doc2vec for movie recommendation. In 2019 IEEE 3rd Information Technology, Networking, Electronic and Automation Control Conference (ITNEC), pp. 1461–1464. IEEE, 2019.
[4] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina
Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language[9]Technologies, Volume 1 (Long and Short Papers), pp. 4171–
4186, Minneapolis, Minnesota, June 2019. Association for
Computational Linguistics.
Nils Reimers, Iryna Gurevych, Nils Reimers, Iryna
Gurevych, Nandan Thakur, Nils Reimers, Johannes Daxenberger, Iryna Gurevych, Nils Reimers, Iryna Gurevych,
et al. Sentence-bert: Sentence embeddings using siamese
bert-networks. In Proceedings of the 2019 Conference on
Empirical Methods in Natural Language Processing. Association for Computational Linguistics, 2019.
Qing Guo, Wei Feng, Ce Zhou, Rui Huang, Liang Wan, andSong Wang. Learning dynamic siamese network for visualobject tracking. In Proceedings of the IEEE international
conference on computer vision, pp. 1763–1771, 2017.
Gustavo Penha and Claudia Hauﬀ. What does BERT know
about books, movies and music? Probing BERT for conversational recommendation. In Fourteenth ACM Conference
on Recommender Systems, pp. 388–397, 2020.
Itzik Malkiel, Oren Barkan, Avi Caciularu, Noam Razin,
Ori Katz, and Noam Koenigstein. RecoBERT: A catalog language model for text-based recommendations. arXiv
preprint arXiv:2009.13292, 2020.
Yinhan Liu, Myle Ott, Naman Goyal, Jingfei Du, Mandar Joshi, Danqi Chen, Omer Levy, Mike Lewis, Luke
Zettlemoyer, and Veselin Stoyanov.
Roberta: A robustly optimized bert pretraining approach. arXiv preprint
arXiv:1907.11692, 2019.