DEIM Forum 2019 I2-2

放送開始直後に書かれたレビューに注目した
アニメ視聴継続の早期判断支援
田村

峻明†

莊司

慶行†

Martin J. Dürst†† 青山学院大学 理工学部 情報テクノロジー学科 〒 252-5258 神奈川県 相模原市中央区 淵野辺 5-10-1
E-mail: †tamura@sw.it.aoyama.ac.jp, ††{shoji,duerst}@it.aoyama.ac.jp
あらまし

本研究では，Web 上のアニメレビューサイトから，アニメの最終的な評判を早期に予測できるレビュア（すなわち，先見の明のあるレビュア）を発見する手法を提案する．現在では年に 200 本ものアニメが制作されるため，アニメファンはどのアニメを最後まで見続けるか早期に判断する必要がある（俗に「一話切り」と呼ばれる）．ア
ニメレビューサイトにおいて，アニメの放送終了後の平均評価と，あるレビュアが放送開始初期につけた評点が類似していた場合，そのレビュアは「先見の明のあるレビュア」であると考えられる．SVM を用いてこのようなレビュアを分類し，特徴量分析を行うことで，「先見の明のあるレビュア」の特徴を明らかにする．レビューサイト「あにこれ」の実データを用いた実験により，早期にアニメコンテンツの将来価値を推定可能なレビュアは放送開始直後に過度に批判的な語を使わない，レビュー歴が長いなどの特徴を明らかにした．
キーワード テレビアニメ，レビューサイト，レビュア分析，特徴量分析
だけに基づいて作品全体の質を不当に低く評価される場合など，

1 はじめに近年，テレビアニメは一般的な娯楽として馴染みつつあり，
さらに，日本のテレビアニメは海外でも人気を集めている．それに伴い，日本では毎日，多くのテレビアニメが放送されている．ここ数年では，毎年 200 本 1 の新しいテレビアニメが制作されている．ここで，仮にすべてのアニメを一人のアニメファンが 1 年間にわたって視聴しようとした場合，年間で約 1,000
時間，すなわち 1 日のうち約 3 時間をアニメに費やす計算になる．このような状況下で，全てのアニメを視聴し続けることは
時間的に現実的ではない．したがって，年に 4 回訪れる番組改編期には，アニメファンは新しく始まったアニメを最後まで見るべきかどうかを放送開始直後に（つまり，1 話から 2 話の内容だけ視聴して）判断し，継続的に視聴するアニメを数本に絞る必要がある．この際，キャラクターデザインやアニメ制作会
社，声優などの要素から，アニメ放送開始前にあらかじめ視聴するアニメを絞り込むアニメファンも存在する．その一方で，アニメの一話を視聴し，その内容から視聴継続を判断するアニ
メファンも存在する．このような行為は「一話切り」と呼ばれ，
アニメファンの中では一般的に行われている [8], [9]．
しかし，アニメの一話時点で正確にそのアニメが将来的に面白くなるかを推測し，視聴を続けるか判断するのは，困難である．例えば，後半になってから盛り上がる作品や，途中で評価を急落させる作品は数多く存在する．そのため，本来は高く評
価されるはずの作品が誤って「一話切り」されてしまうことがある．これは，本来見たかったアニメをリアルタイムで楽しむ
ことができなかったアニメファン本人だけでなく，序盤の内容

アニメ制作会社にとっても不利益であり，深刻な問題である．
したがって，毎週放送されるテレビアニメにおいて，視聴者が早い時期に正しくアニメを評価できるようにすることは，重要な課題である．
本研究では，Web 上のアニメレビューサイトから，アニメの最終的な評判を早期に予測できる「先見の明を持つレビュア」
を発見し，そのレビュアの特徴を明らかにする手法を提案する．
アニメレビューサイトの，あるアニメにおける放送終了後の平均点と，あるレビュアが放送開始初期につけた評点が類似していた場合，そのレビュアは作品の将来の価値を早期に発見できている，すなわち，先見の明を持つレビュアとみなせる．ここで，先見の明を持つレビュアと先見の明を持たないレビュアを分類する SVM (Support Vector Machine) を作成する．分類に有効だった特徴を分析することで，先見の明を持つレビュアと持たないレビュアの違いを発見できると考える．
本研究の学術的貢献点として，コンテンツの将来価値を推定するために，コンテンツそのもの（あらすじや制作者などのメタデータ）ではなく，コンテンツの評価者に注目している点が挙げられる．コンテンツの将来価値の推定は，未来予測と同様に，極めて困難な情報学上の課題である．しかし一方で，将来面白くなりそうなアニメを「一話切り」せずに見続ける，アニ
メの将来価値の予測に長けたアニメファンは確かに存在する．
先見の明をもつアニメファンが根強く支持した結果，低い前評
判から一転して放送後半や放送終了後に高い評価を得たアニメ
は「ダークホース」と呼ばれ 2 ，数多く存在する．このような
ダークホースアニメを発見できているアニメファンの特徴，す1：一般社団法人日本動画協会アニメ産業レポート 2018 サマリー

2：ダークホース (アニメ) - アニヲタ Wiki(仮) - アットウィキ

http://aja.gr.jp/jigyou/chousa/sangyo_toukei

https://www49.atwiki.jp/aniwotawiki/pages/28788.html

なわち将来価値の推定がうまいレビュアがどこに注目しているターンを分析している．その結果，Tyler らはそれぞれの製品

か，あるいはどうやってそれを判断しているかを分析することのレビューから，カテゴリ合計のランキングがそれぞれの製品

は，未来予測の研究においても重要だと考えられる．

をレビューするユーザの作成したランキングと一致することを本論文の構成を記す．第 2 章では，本研究に関連した研究に実証している．

ついて紹介する．第 3 章では，提案手法について詳細を説明

先見の明を持つレビュアは，アーリーアダプターや先見性のする．第 4 章では，実際に有名レビューサイトである「あにこある人物，イノベーターなどの呼ばれ方をしているが，コンテれ」のデータを用いた実験について述べ，第 5 章で実験結果にンツの性質を把握する用途で注目を集めていることがわかる．

対して考察する．第 6 章では，本研究のまとめと今後の展望を述べる．

2. 2 人気予測に関する研究あるアイテムが将来的にどのような評判を得るかを推測する

2 関連研究問題は，情報学だけでなく経済やマーケティングなど，幅広い分野で盛んにおこなわれている．

本研究では，先見の明を持つレビュアを発見することで，一Pinto ら [6] は，あるコンテンツに対して，特定の参照日ま般ユーザがコンテンツの価値を早期に判断可能にすることを目での，日々の人気度のデータを利用し，コンテンツの将来の的としている．先見の明に注目した研究として，先見性に関す人気を予測するための手法を提案している．Web 動画サイト

る先行研究とアーリーアダプターに関する研究について，また「YouTube」のデータを用いて実験を行っている．特定の参照

将来の人気予測の研究について述べる．加えて，同じくレビュー

日までのコンテンツの人気度の推移に，それぞれ日ごとに異データを用いた研究として，レビュー分析について述べる．

なる重みを割り当てる．これにより，様々な人気の発展パター

2. 1 先見の明を持つユーザに注目した研究
先見の明に直接言及した別の研究として，掛谷ら [10] は，先見性のある人物と先見性のない人物の特徴を見出す方法として，

Amazon のカスタマーレビューを使用した機械学習手法を提案している. 掛谷らは，評価が大きく変動した商品のレビューにおいて，多数派の意見に賛成せずにその商品の後の評価につながる評点をつけたユーザには先見性があり，多数派の意見に賛成した評点をつけたユーザには先見性がないと定義している. そして，Amazon の書籍商品のカスタマーレビューを利用し，先見性のあるユーザと先見性のない人物を発見する. その後，最大エントロピー法を用いた機械学習を用い，先見性のあるユー
ザは洋書を含む本のレビューの割合が多いこと，本のジャンル
では文学・評論作品のレビューが多いことを明らかにしている.
また，先見性のないユーザはメディアに流されるレビューをする傾向があることを明らかにしている. 本研究では，これと異なり，複数の話にわたる「アニメ」について先見性のあるユー
ザに関しての研究をしている.

ンを持つ動画を，より正確に区別することを可能にしている．

Pinto らの今後の展望として，他の変数，例えばユーザ関連の変数の導入が予測精度を改善するかどうかを調査することを挙げている．

Ouyang ら [5] は，様々な特徴と有効的な分類手法を用いて，オンラインビデオの将来の人気レベルを予測している．中国の大手動画サイト「Youku」のデータを用いている．人気レベルの遷移に基づく，将来の再生数を予測する回帰モデルを構築し，さらに分析により，過去の人気度に関する特徴が予測の精度に大きく関わることを明らかにしている．これらの研究のように，コンテンツの内容やメタデータから，コンテンツの将来の価値を予測する研究は一般的に行われている．一方で，本研究ではコンテンツではなく，ユーザ情報に着目しコンテンツの早期予測を行うことを大きな目的としている．

2. 3 オンラインレビューの分析
オンラインレビューに着目し，レビューが与える影響を分析する研究は，情報学，経済学，マーケティングなどの幅広い分

先見の明のあるレビュアは，物の価値に早期に気づく能力を野で行われている．Hao ら [2] は，ネットのレビューのポジティ持ったユーザであると見做すことができる．このようなユーザ

ブな意見やネガティブな意見が，消費者の意思決定において重はマーケティングなどの分野で「アーリーアダプター」と呼ば要かどうか分析を行っている．帰属理論と見込み理論の 2 つのれており，情報学分野でもその性質に注目した研究が一般的に手法を利用し検証しており，探索的属性を持つ商品に関して，行われている．

ポジティブレビューとネガティブレビュー間で口コミの効果に

今森ら [4], [11] は，Twitter において，他者に先駆けて優良違いはないが，経験的属性を持つ商品に関しては，ネガティブな情報源を発見する能力に優れたユーザをアーリーアダプター

レビューは口コミ効果が大きいと述べている．本研究で対象とと定義し，それに注目することで，新規情報源の将来の人気をするアニメ作品は，実際に見てみなければわからないコンテ

ランク付けする手法を提案している．アーリーアダプターのンツであるため，経験的属性を持つ商品に近い．そのためネガ

発見は，Twitter におけるフォロー，フォロワー関係を参照し，

ティブなレビューがより読者に影響を与えることが考えられる．

フォローを模倣されている数に注目して推定している．

ここから，特徴に批判的な語に関する項目を加えた．

Tyler ら [7] は，イノベーターと「のろま (Laggard) 」をレビューによる将来価値の推定を行っている研究例として，

分類するためにオンライン製品レビュー Web サイト「Epin-

野中ら [12] は，レビューにおける消費者の感情を分類し，予測

ions.com」のユーザの注文の統計を作成し，ユーザの採用パ

タスクへの寄与度の高い特徴を用いることで，販売予測のタス

クの精度を向上する手法を提案している．実験の結果，精度がアを結びつけるために，「レビュア ID」を取得する．レビュア

向上していることから，レビューは商品の売り上げに影響があのレビューサイトへの熱意を確認するために，「プロフィールコ

ることを実証している．

メント」を取得する．また，「アニメ棚のアニメ総数」も取得す

ほかに Connors ら [1] は，レビューのどの要素が意思決定にる．アニメ棚とは，レビュアがアニメ情報を確認するために，有用であるかについて研究している．レビュー内容とレビュア

任意のアニメをリスト化して管理できるシステムである．これの特性の両方が，レビューの有用性を決定づけていることを明は，そのリストに入れられたアニメ本数のことである．他に，らかにしている．本研究では，レビュー中の要素でなく，人に「レビュー総数」，「サンキュー数」，「フォロー数」，「フォロワー

注目して，先見の明を持つレビュアの早期レビューは一話切り数」，「メッセージ数」もそれぞれ取得する．

の際の意思決定に有用であると考えており，既存のレビューからの意思決定支援の研究と異なる．

「あるレビュアからあるアニメに対するレビュー」は，個々のレビューの内容そのものを含むデータである．それぞれのレ
ビュアに振り分けられた，レビュアを特定するための「レビュ

3 SVM を用いた「先見の明のあるレビュア」分析
本研究では，Web 上のアニメレビューサイトから，アニメの最終的な評判を早期に予測できるレビュア，すなわち先見の明を持つレビュアを発見し，その先見の明を持つレビュアがどのような特徴を持っているのかを明らかにする．
本手法では，はじめにアニメレビューサイトに対してクロー

ア ID」を取得する．どのレビュアがそのアニメをつけたかを確認するために必要である．レビューの特性を取得するために，「レビュー本文」と「レビュータイトル」を取得する．他に「アニメ ID」，「レビュー日時」，「レビュー評点」もそれぞれ取得
する．

3. 2 先見の明を持つレビュアの抽出

リングを行い，分析対象とするデータを収集する．収集した

本実験における先見の明を持つレビュアは，アニメの最終的データから，早期にアニメを正しく評価できていたレビュアをな評判をアニメ放送開初期に予測できるレビュアを指している．

抽出する．こうしたレビュアの性質について様々な仮説をたて，先見の明を持つレビュアを定義し，抽出する．本研究においレビュアを特徴ベクトルで表す．次に，その特徴ベクトルから，て分析に用いる先見の明を持つレビュアの条件として，

そのレビュアが先見の明を持つか持たないか SVM (Support（ 1 ） テキスト付レビューを投稿している，

Vector Machine) で分類する．最後に，交差検証を通して分類（ 2 ） 早期レビューを 5 件以上投稿している，に大きく寄与した特徴量を発見する．分類に大きく寄与した特（ 3 ） 早期レビューの評点がそのアニメの最終評価と近い徴に注目して，それぞれのレビュアを分析することで，先見のの 3 件を設定した．この際，「放送開始 1 か月以内に投稿された明を持つレビュアの特徴を明らかにする．

レビュー」を「早期レビュー」と呼ぶ．

3. 1 アニメレビューサイトのクローリング
アニメレビューサイトから，分析対象のデータを収集する．
アニメレビューサイトは，通常のレビューサイトと同様に，「ア
イテムのメタデータ」，「レビュアのプロファイル」，「あるレビュ
アからあるアイテムに対するレビュー」の 3 つの要素から構成
される．
「アニメ作品のメタデータ」は，「アニメの放送期間」や「アニメ ID」，「アニメの平均評点」などを含む．アニメレビュー
サイトにおいて，アニメは独自の ID で管理されている．各レ
ビュアがどのアニメについてレビューをしたかを結びつけるのに用いるため，取得する．また，「アニメの放送期間」も重要である．本実験では，頻繁に「一話切り」の対象となる 1 クール（12 話前後）または 2 クール（24 話前後）のアニメに焦点を絞って分析を行う．アニメの放送期間は，あるレビューがアニメの放送開始から，どの時点でつけられたかを確認するために用いられる．各アニメについて，アニメにつけれられた全てのレビュー評点の平均である「アニメの平均評点」も取得する．
これは，レビューが正確にアニメを評価できているか確認する際に用いる．
「レビュアのプロフィール」は，それぞれのレビュアに関する
任意入力のプロフィール情報と，フォロー関係などのソーシャ
ル要素，レビュー本数などの統計情報を含む．レビューとレビュ

テキスト付レビューの有無について，これはクロール対象としたアニメサイトが，評点だけ入力してテキストが空の状態のレビューを受け付けているためである．本研究ではあるレビュ
アを表す特徴としてレビューの文体などを用いるため，一度もテキスト付レビューを投稿していないレビュアを除外した．早期レビューの投稿数について，ある程度の本数がないと先見の明があるかどうかの判断が出来ず（すなわち，たまたま 1 本から 2 本のアニメについて将来価値を正しく推定した可能性がある），またレビュアの早期レビューにおける特徴の分析も困難になるためである．早期レビューとアニメの最終評点との比較について，差の大きさで順位付けして，上位のレビュアを先見の明があると見做す．
早期レビューの定義をアニメ放送開始から 1ヶ月以内と決定した理由として，実用面での理由とデータ量による理由がある．1ヶ月という期間は，毎週決まった時間に放送されるアニ
メにおいて，最大で 4 話（すなわち、全放送の 3 分の 1）が放送されている時期である．コンテンツの 3 分の 1 だけを視聴してアニメの最終評価を推定できるレビュアは，本研究における分析を行う上では，十分に先見の明を持つと判断したためである．また，データ量の問題として，そもそも放送開始最初期にレビューを書くユーザが多くなく，地域によって放送開始時期が異なるため，厳密に 1 週間だけのデータを用いた分析が現実的でなかったためである．

以上の定義に基づき，先見の明を持つレビュアを発見する手とを表すと考えられる．フォロー数が多いことは，アニメの知順を述べる．全てのレビューに対し，レビュー日時と，レビュー

識を得ることに貪欲であると言えるため，正しい評価を行える

対象のアニメの放送開始時期を比較し，レビュー日時とアニメ可能性が比較的高いと考えられる．

の放送開始時期 1ヶ月以内のレビュー，すなわち早期レビュー

レビューの着眼点は，レビューがアニメのどこに注目していをリストアップする．リストアップした早期レビューから，5るかを表す．先見の明を持つレビュアは，先見の明を持たない

件以上レビューを書いたレビュアを早期レビュー者として抽出

レビュアと比べて注目している要素が違うのではないかと考えする．早期レビュー者から，本実験の対象外であるレビュー文

られる．これを表すための具体的な特徴量として，ストーリーを書いたことのないレビュアを除外する．上記の早期レビュー

展開，キャラクターに触れているかなどを用いる．具体的には，者が書いた早期レビューの評点と，アニメレビューサイトに掲ある 1 人のレビュアが書いたレビューについて，ストーリー展

載されているアニメの放送終了後の評点の平均点を比較し，そ開は「テンポ」，「構成」などの単語をレビュー文に含む割合での誤差を求める．

ある．同様にキャラクターは「可愛い」，「かっこいい」などの誤差の指標として，誤差の二乗の平均を用いる．あるレビュ

単語をレビュー文に含む割合を用いる．

ア r の n 個めの早期レビューの評点を xn ，その早期レビュー

レビューしたアニメの放送年は，レビュアがどの年のアニメの対象のアニメの最終平均点を yn とする．この際，誤差 d(r)レビューを多く投稿しているかを表す．昔のアニメを見ている

は，割合が他のレビュアと比べて大きいレビュアほど，アニメレd(r) =n1∑n(xn − yn )2

ビューの経験が長く，アニメを正しく評価ができると考えら(1)

れる．これを表すための具合的な値として，各年のアニメレi=1と表される．
全てのレビュアについて計算した d(r) を比較し，d(r) が小さいレビュアを先見の明を持つレビュア，d(r) が大きいレビュ
アを先見の明を持たないレビュアとして分析に用いる．

ビューの割合を用いる．
レビュー時期は，レビュアが，放送開始からどのくらい期間をおいてレビューを書いたかを表す．放送開始直後にレビューを書いている割合が大きいレビュアほど，アニメのその後を予測することに慣れていると考えられる．これを表すための具3. 3 特徴量作成
上記のデータを用い，先見の明を持つレビュアの特徴の仮説をたて，特徴量を作成する．特徴量を作成するうえで注目する要素として，レビュアの熱意，アニメ知識，ソーシャル関係，
レビューの着眼点，レビューしたアニメの放送年，レビュータ
イミングを挙げる．
レビュアの熱意は，レビュアが，レビューを書いたアニメに合的な特徴量として，放送 1ヶ月以内のレビュー割合などを用いる．
これらの仮説から，任意のレビュアを表す計 76 次元の特徴
ベクトルを作成する．主な特徴を表 1 に示す．

3. 4 交差検証による特徴量分析
先見の明を持つレビュアとそうでないレビュアの特徴の違い

対して，もしくはレビューサイトに対して，どれだけ執着してを明らかにするために SVM を利用する．SVM は，線形入力

いるかを表す．レビューしたアニメに対して執着があるレビュ素子を利用し，2 クラスに識別する分類機である．本研究は，

アほど，そのアニメを深く理解し，より考察していると考えら

先見の明の有無によりレビュアを 2 種類に分類する．多次元のれ，アニメを正しく評価ができると考えられる．熱量に分類さ特徴に強く，2 クラス分類を行うのに適した SVM を用いる．

れる特徴として，文字数が多い，感情的な表現の使用などが考えられる．これを表すための具体的な特徴量として，レビューの文字数，レビュー本文内の感情語の使用頻度などを用いる．
アニメ知識は，そのレビュアがアニメに関する知識をどれだ
け持っているかを表す．アニメ知識を持っているほど，様々なアニメに精通しており，アニメを正しく評価ができると考えられる．アニメ知識に関する特徴として，チェックしているアニ
メ本数が多い，アニメ作成に携わる人物を認知しているなどが考えられる．これを表すための具合的な特徴量として，アニメ
棚（ウォッチリスト）に含まれるアニメ本数，これまでに書いたレビューの総数，レビュー本文における声優名の使用頻度などを用いる．

あるレビュアを表す特徴ベクトルを入力とし，先見の明を持つレビュアか分類する．交差検証を行うことで，作成した分類機の精度を評価する．ここで，特徴量分析のため，はじめに全ての特徴量を入力とし，分類精度を計算する．そして，特定の特徴を 1 次元除外したものを入力として，同様に分類精度を計算する．前者と後者を比較した際に，精度が大きく下がった場
合は，除外した特徴量が分類に大きく寄与したと考えられるため，その特徴は先見の明を持つレビュアの特徴であると判断で
きる．

4 実

験

提案した手法に基づいて，「先見の明のあるレビュア」についソーシャル関係は，他のレビュアとどれだけ関係性を持ってて，アニメレビューサイト「あにこれ」3 のデータを用いた分

いるかを表す．ソーシャル関係に分類される具体的な特徴量と析を行った．本章では，実際に収集したデータから，先見の明して，獲得サンキュー数，フォロー数などが挙げられ，それらを特徴量として用いる．サンキュー数が多いことは，他のユー
ザから信頼を得ている，また的を射たレビューをつけているこ

3：おすすめアニメ動画を感想評価/人気でランキング【あにこれβ】
https://www.anikore.jp/

表 1 先見の明の有無の推定に用いる，レビュアを表す特徴の例（合計 76 次元）
注目する点

特徴

レビュー文の着眼点

実際の値展開に言及することが多い「構成」，「王道」などの語を含む割合

キャラクターに言及することが多い「可愛い」，「かっこいい」などの語を含む割合

原作前作に言及することが多い「原作」，「前作」などの語を含む割合

レビューアニメ

最新アニメを見ている2018 年アニメのレビューの割合

昔のアニメを見ている

2008 年アニメのレビューの割合

レビュー時期

放送終了直後のレビューが多い

放送終了一ヶ月以内のレビューの割合

放送開始直後のレビューが多い

放送開始一週間以内のレビューの割合

長いレビューを書く

レビューの文字数

レビュアの熱意
アニメ知識

ソーシャル関係

感情的なレビューを書く

感情語の使用割合

たくさんアニメを見る

投稿したレビューの数

見たいアニメが多い

アニメ棚のアニメの本数

声優に言及することが多い「山寺宏一」などの声優名を含む割合

サンキュー数が多い

サンキュー数

フォロー数が多い

フォロー数

フォロワー数が多い

フォロワー数

メッセージ数が多い

メッセージ数を持つレビュアを抽出した．その後，先見の明を持つレビュアを特徴ベクトルで表し，SVM を用いて実際に先見の明を持つ
レビュアと先見の明を持たないレビュアを分類をした．

4. 1 使用したデータセット
本研究で使用したデータセットの詳細について述べる．今回
実験に使用したデータは，アニメレビューサイト「あにこれ」

表 2 各レビューサイトに登録されたアニメ本数と，最もレビューを多く獲得したアニメについたレビューの件数
アニメレビューサイト

アニメ件数 レビューの最大数

あにこれ

11,975

15,417

アキバ総研

6,018

235

アニメ評価データベースさち

5,468

405

作品データベース

7,189

2,672

から収集した．クローリング手法として，Ruby と Nokogiri を用いてスクレイピングを行った．2018 年 9 月 6 日から 2019 年

較し，レビューが放送開始からどのタイミングで書かれたかを

1 月 11 日にかけてデータを収集した．

分析した．書かれた時期とレビュー件数を表 4 に示す．これよ

データの収集元としてアニメレビューサイト「あにこれ」をり，アニメ放送開始直後に書かれたレビューは非常に少なく，8

選んだ理由として，アニメに関するレビューサイトの中で，最割以上のレビューはアニメ放送終了後に書かれていることが分

もデータの規模が大きかったことを挙げる．表 2 に主要なアニ

かった．

メレビューサイトの一覧とそのデータ規模を示す．

注意すべき事項として，今回データセットとして用いた「あ2008 年春から 2018 年春までに放送されたアニメ作品についにこれ」では，あるレビュアがあるアニメ作品に対して投稿して，それぞれのアニメ作品のメタデータを 2,307 件，これらのたレビューを更新可能であった．そのため、早期にレビューをアニメに対するレビューを 987,964 件，これらのレビューを投投稿していたとしても，あとからその評価を上書きした場合，稿したレビュアのプロファイルを 47,958 件，それぞれ収集し早期レビューとみなされず，最終評価に反映される．

た．実際の実験では，データが不十分なものと 2 クールより長

ここで，収集したデータセットにおけるレビュー評点の分布

いアニメへのレビューを除外し，790,219 件のレビューを使用

を，図 1 に示す．多くのレビューサイトにおいて，レビューがした．作成したデータセットに含まれる情報の一覧を表 3 に絶賛と酷評に二分化して，2 点から 4 点が少ないという現象が示す．

指摘されている [3]．本実験のデータセットについても同様のこ

始めに，本研究で対象としないアニメをデータセットから取とが予想されたが，概ね正規分布に従う傾向が見られた．そのり除いた．本実験で対象とするアニメは，商業用のアニメーため，本実験においては，先見の明を持つかの正解として，放ション作品のうち，テレビで放送された連載形式のものを指す．

送終了後の平均点を用いる．ここで，入力時の初期値である 3

連載アニメの放送期間は季節ごとに区切られており，1 つの季に評価が集中している現象がみられる．この原因は，本文にア節（12 話から 13 話）を 1 クールと呼ぶ．本研究では新規アニ

ニメへの感想だけを書きたいレビュアが多く，その際に初期値メにおける視聴継続の早期判断支援をテーマに設定しているたである 3 のまま投稿していることが考えられる．

め，1 クールまたは 2 クールのアニメを対象とする．そのため，長期にわたって放送されるアニメや 1 話のみ放送されたアニメを除外した．
全てのレビューに対し，レビュー日時とアニメ放送時期を比

4. 2 先見の明を持つレビュアの抽出
上記のデータセットから，実際に先見の明を持つレビュアを抽出した．放送開始 1ヶ月以内のアニメに対し，レビューを 5

表 3 実験に使用したそれぞれのデータセットのフィールド（レビュー件数）
140000

レビュー

プロフィール

アニメ情報

レビュア ID

レビュア ID

アニメ ID

レビュア名

レビュア名

アニメタイトル

レビュー内容自己紹介文

アニメ放送期間

アニメ ID

アニメ棚の本数

アニメ平均点

レビュー日時レビュー総数40000

レビュー評点

獲得サンキュー数

20000

フォロー数

120000100000

80000

60000

0

1 1.1 1.2 1.3 1.4 1.5 1.6 1.7 1.8 1.9 2 2.1 2.2 2.3 2.4 2.5 2.6 2.7 2.8 2.9 3 3.1 3.2 3.3 3.4 3.5 3.6 3.7 3.8 3.9 4 4.1 4.2 4.3 4.4 4.5 4.6 4.7 4.8 4.9 5（評点）

フォロワー数
メッセージ数

図 1 評点ごとのレビューの件数

表 4 放送開始からレビュー投稿までの期間ごとのレビュー件数の推移
書かれた時期

表 5 早期の評点と放送終了後の平均評点の差 d(r) の閾値

レビュー件数最小値 最大値

放送開始 1 週間以内

3,844

先見の明を持つレビュア

0.012

0.18

放送開始 2 週間以内

1,235

先見の明を持たないレビュア

0.89

6.25

放送開始 3 週間以内

17,334

放送開始 1ヶ月以内

24,892

放送開始 2ヶ月以内

43,234成し，これらへの言及割合も用いた．

放送開始 3ヶ月月以内

53,185

放送中

112,235

放送終了後

677,984

SVM で先見の明を持つレビュアと先見の明を持たないレ

全レビュー数

790,219

ビュアを実際に分類した．SVM の実装として Python の scikit-

4. 4 SVM を用いたレビュアの分類

learn を用いた．与えられた特徴量から，先見の明を持つレ
件以上書いた早期レビュアは 1,233 人存在した．そのうちレビューコメントを書いていないレビュアを除外し，残った早期レビュー者は 853 人となった．そのレビュアに対し，式 1 を用い誤差 d(r) を計算した．
全ての早期レビュー者について d(r) の小ささにおいて上位

100 人を先見の明を持つレビュア，下位 100 人を先見の明を持たないレビュアとして用いる．それぞれの d(r) の閾値を表 5に示す．
先見の明を持たないレビュアの d(r) の最小値は，先見の明を持つレビュアの d(r) の最大値の約 5 倍ある．ここから，アニメの将来の価値を推定する能力は人によって大きく異なることが分かる．

4. 3 先見の明を持つレビュアの特徴量作成

ビュアを 1，先見の明を持たないレビュアを 0 と出力するよ
うに学習させる．入力する特徴量は，scikit-learn に搭載されている，StandardScaler を用いて標準化した．交差検証にはCrossValScore を用い，5 交差検証で精度 (accuracy) を算出した．すなわち，200 名の先見の明を持つレビュアと持たない
レビュアについてデータを 5 分割し，40 名ずつのサンプルを作成した．1 つをテストデータ，残り 4 つを訓練データとして利用し，5 回の分類の精度の平均を最終精度として用いる．
分析を始める前に，最も精度の高い状態の分類器を作成する．
用意した全ての特徴量をそのまま用いた場合，分類精度が 0.63と低い価をとった．これは，特徴量のうちいくつかが先見の明を持つか持たないかに依存するのではなく，個人個人に差がある特徴量であり，その特徴量が分類に悪影響を与えているためだと考えられる．そこで，分類に不必要だと考えられる特徴量提案手法に基づき，取得したデータセットを用いて，先見のを入力から除外した．具体的な例として，キャラクターへの言明を持つレビュアの特徴量を計算し，それぞれのレビュアを特及割合という特徴量は，キャラクターの捉え方というのは，ア徴ベクトルで表す．表 1 にあるように，それぞれの特徴の実際

ニメ全体の評価につながる要素よりも，個人個人の趣味趣向がの値を計算する．
「レビュー文の着眼点」の要素は，レビューが表れる可能性が考えられる．これらの特徴は，分析上障害とな

アニメのどこに注目しているかを表している．これらの特徴は，るため除外した．

人手で作成した辞書内の語を含むレビューの割合によって表される．レビューがアニメの展開に言及することが多かった場合には，具体的な特徴量として，レビュー中に「展開」，「構成」などの単語を含んでいた割合を用いる．他シリーズに言及する
ことの多さを表すためには，
「原作」，
「前作」，
「ゲーム」などの単語をレビュー文に含んでいた割合，アニメのジャンルについて言及することが多かった場合には，「学園」「ギャグ」などの単語の割合を用いた．また，声優とアニメスタッフの一覧を作

上記のように特徴量を選別し，計 58 次元の特徴量を SVMに入力として利用することで 0.7 の分類精度が得られた．

4. 5 特徴量分析
どの特徴量が分類に有効だったかを Feature Ablation と呼ばれる手法で分析した．最も精度が高くなったモデルに対して，ある任意の特徴量を 1 次元分だけ入力から除去した際に，分類精度がどの程度下がるかで，除外した特徴量がどれだけ正しい表6

各特徴を除外した際の分類精度

(比率)
0.25

除外した特徴

平均分類精度

何も除外しない場合

0.700

早期レビューでの批判的な単語の使用割合

0.655

2012 年のアニメへのレビューの割合

0.665

2014 年のアニメへのレビューの割合

0.675

早期レビュー以外での同シリーズの作品に関する単語の使用割合

0.685

アニメ開始一週間以内のレビュー数

0.685

アニメ放送終了直後のレビューの割合

0.685

早期レビューの平均文字数

0.685

2013 年のアニメへのレビューの割合

0.685

早期レビューでのストーリーの新規性に言及する単語の使用割合

0.685

早期レビュー以外での批判的な単語の使用割合

0.685

0.2

0.15

0.1

0.05

0
2008

2009

2010

2011

2012

2013

先見の明を持つレビュア

2014

2015

2016

先見の明を持たないレビュア

2017

2018
(年)

図 2 レビューしたアニメの放送年の割合分類に寄与するか計算する．
特定の特徴を除外して分類した際，下がった精度が大きかっ
た上位 10 個の特徴と分類の精度を表 6 に示す．レビュアが先見の明を持っているか持っていないかは，これらの特徴に表れていることが分かった．
精度に大きく影響した特徴から，先見の明を持つレビュアは
放送開始直後に書かれたレビューにおいて，過度に批判的な語を使わない傾向があることが分かった．具体的には，
「クソ」，
「無駄」，
「最悪」などの語を含むレビューが少なかった．一方で，これらのレビュアは，放送開始一ヶ月後以降のレビューでは批判的な語を使う傾向もあることが分かった．また，先見の明を持つレビュアはアニメ開始一週間以内のレビュー数が少な
いこと，日頃のレビューにおいて「原作」，「前作」などの単語を用いて，同シリーズの作品に言及する傾向があること，早期レビューでストーリーの新規性に言及している傾向があること，
早期レビューの平均文字数が多いことが，それぞれ分かった．
また，これまでに各年のアニメをどれだけレビューしてきたかについて，2012 年から 2014 年にかけてのレビュー経験が分類精度に寄与することが分かった．

アニメそのものだけでなく，関連する幅広い分野に興味を持っている可能性が示唆される．
ここで，分類精度に「レビューしたアニメの放送年」の要素が分類に大きく寄与しているため，先見の明を持つレビュアと持たないレビュアにおける，2008 年から 2018 年のアニメへのレビュー割合の平均をそれぞれ図 2 に示す．2008 年，2009 年のアニメへのレビューはそもそも絶対数が少ないため比較できないが，先見の明を持つレビュアは 2010 年から 2013 年までのアニメへのレビュー割合が高いことが分かる．一方で，2014
年以降へのアニメへのレビュー割合は，先見の明を持たないレ
ビュアの方が高いことが分かる．これは，長期にわたってアニ
メをレビューしてきた，経験の多いレビュアが先見の明を持つ可能性が高いことを示唆している．
また，早期レビューの平均文字数が分類精度に大きく影響したため，先見の明を持つレビュアは，早期レビューにおいて長文のレビューを投稿する傾向があることが分かった．実際の分類に使用した特徴量の値から，早期レビューの平均文字数を分析する．先見の明を持つレビュアとそうでないレビュア 200 人
を，早期レビューの平均文字数順に並べると，上位 10 パーセ

5 考察

ントは 80 パーセント，上位 5 パーセントは 90 パーセントが先
見の明を持つレビュアであった．同様に，早期以外のレビュー

本章では分特徴量分析から，先見の明を持つレビュア，またにおいても，平均文字数について比較すると，上位 10 パーセ

先見の明を持たないレビュアがどのような特徴があるかを考察

ントは 75 パーセント，上位 5 パーセントは 80 パーセントが先する．

見の明を持つレビュアであった．したがって，時期にかかわら分類精度に大きく影響した特徴から，先見の明を持つレビュ
アは放送開始直後には，レビューにおいて強く批判的な語を用ず，レビューの文字数が特に多いレビュアが，先見の明を持つ可能性が高いことが分かった．

いない一方で，放送後半以降では用いていることが分かった．

一方で，分類精度にほとんど寄与しなかった特徴に目を向け

これは，アニメ放送開始直後に罵詈雑言を含むレビューを投稿

ると，「フォロー数」，「フォロワー数」，「サンキュー数」などして，そのあとの展開についてはレビューを投稿しないレビュの，ソーシャル関係に属する特徴は除去しても分類精度が下がアは，そもそも信頼できないレビュア（荒らし行為を行うユーらなかった．このことから，アニメレビューサイトにおける他

ザや，「アンチ」と呼ばれるユーザ）である可能性を示唆して者との関係性の有無は，先見の明を持つかに関係しないと考え

いる．

られる．

さらに，先見の明を持つレビュアは，日頃のレビューにおい本研究における分析全体に対する考察として，本実験にお

て，
「原作」，
「前作」などの，そのアニメと関連するシリーズ作品

いて精度が低くなった理由として，利用できる早期レビューのの別作品に関する単語を用いている．このような言及を行うた

データ数が少なかったことが考えられる．データ数が少なかっ

め，アニメ化された作品の原作となった漫画や小説，また過去た第一の理由として，放送開始直後のアニメに対してレビューのシリーズ作品に関する知識も持っている必要性がある．このするレビュアが，全レビュアに対してごく少数である可能性がことから，先見の明を持つレビュアは，レビュー対象となった考えられる．多くのレビュアは，アニメを全て見終わった時に，

初めてアニメのレビューする場合が多いと考えられる．次に，
あにこれの仕様上の問題が挙げられる．あにこれでは，あるアニメに対して既にレビューを書いていた場合，次にまた同じアニメにレビューを書こうとすると以前のレビューが消える仕様になっている．つまりあるレビュアが早期にレビューをつけていたとしても，上書きされている可能性があるため，早期レ
ビューが少なくなった．
また，特徴量作成の際，人手で辞書を作成したが，それぞれの辞書の語彙数が少なく，レビュー中の単語を網羅しきれなかった可能性が考えられる．各分野の辞書，すなわちストーリーの展開に関する語や，罵詈雑言に分類された批判的な語をより詳細な辞書で分類して特徴量として用いることで，分類ならびに分析の精度を向上できる可能性がある．

6 まとめと今後の課題
本研究では，Web 上のアニメレビューサイトのデータを用
い，アニメの最終的な評判を早期に予測できるレビュア、すな
わち先見の明を持つレビュアを発見する手法を提案した．アニ
メレビューサイト「あにこれ」のデータを用いて実験した結果，先見の明を持つレビュアは，アニメレビュー歴が長いことが分かった．一方，先見の明を持たないレビュアは，放送開始直後のレビューにおいて批判的な単語を使用する傾向があることが分かった．
精度が上がらなかった理由として，データが少ないことを挙げたが，解決策としてアニメレビューサイトだけでなく，Twitter
等の SNS を利用し分析することが考えられる．SNS には，レビューサイトより大量のユーザが存在しており，頻繁に新規アニメに関する話題が取り上げられている．加えて，ユーザのフォロー関係や過去の発言等も用いることができるため，レビュー
サイト単体よりもより情報量の多いデータを利用できると考えられる．
本研究の知見を活かしたアプリケーションの開発も今後の展
望として重要である．本研究では，アニメの「一話切り」を支援することで，アニメ業界に貢献することが目標であった．そのために，正しい「一話切り」を支援する意思決定支援のためのアプリケーションを開することが今後の展望として挙げられる．本研究で得られた先見の明を持つレビュアの特徴を利用し，そういったレビュアがどこに注目しているかを示すことで，アニメ視聴者の一話切りにかけるコストを低減すると同時に，アニメ視聴初心者による誤った一話切りも防げるようになると考
えられる．

謝

辞

本研究は JSPS 科研費 18K18161（代表：莊司慶行），18H03243（代表：田中克己）の助成を受けたものです．ここに記して謝意を表します．

文

献[1] Laura Connors, Susan M Mudambi, and David Schuﬀ. Is
it the review or the reviewer? a multi-method approach todetermine the antecedents of online review helpfulness. In
44th Hawaii International Conference on System Sciences(HICSS2011), pp. 1–10. IEEE, 2011.
[2] YuanYuan Hao, Qiang Ye, YiJun Li, and Zhuo Cheng. How
does the valence of online consumer reviews matter in consumer decision making? diﬀerences between search goods
and experience goods. In Proceedings of 43rd hawaii international conference on System sciences (HICSS2010), pp.
1–10. IEEE, 2010.
[3] Nan Hu, Paul A Pavlou, and Jennifer Zhang. Can Online Reviews Reveal a Product’s True Quality?: Empirical
Findings and Analytical Modeling of Online Word-of-Mouth
Communication. In Proceedings of the 7th ACM conference
on Electronic commerce, pp. 324–330. ACM, 2006.
[4] Daichi Imamori and Keishi Tajima. Predicting popularity oftwitter accounts through the discovery of link-propagating
early adopters. In Proceedings of the 25th ACM International on Conference on Information and Knowledge Management, pp. 639–648. ACM, 2016.
[5] Shuxin Ouyang, Chenyu Li, and Xueming Li. A peek into
the future: Predicting the popularity of online videos. IEEE
Access, Vol. 4, pp. 3026–3033, 2016.
[6] Henrique Pinto, Jussara M Almeida, and Marcos A
Gonçalves. Using early view patterns to predict the popularity of youtube videos. In Proceedings of the sixth ACM
international conference on Web search and data mining,pp. 365–374. ACM, 2013.
[7] Sarah K Tyler, Shenghuo Zhu, Yun Chi, and Yi Zhang. Ordering innovators and laggards for product categorization
and recommendation. In Proceedings of the third ACM conference on Recommender systems, pp. 29–36. ACM, 2009.
[8] アニメ DVD・BD の売り上げを見守るスレ＠ wiki. 用語集/1
話切り. https://www24.atwiki.jp/anime-urisure/pages/
487.html.
[9] ニコニコ大百科. 第〇話切りとは (ダイマルワギリとは) [単語記事]. https://dic.nicovideo.jp/a/第○話切り.
[10] 英紀掛谷, 裕也佐藤. 書籍のレビューに基づく先見性のある人物の特徴分析. 言語処理学会 第 22 回年次大会 発表論文集, Mar
2016.
[11] 今森大地, 田島敬史. Twitter におけるアーリーアダプター推定手法の評価. 第 8 回データ工学と情報マネジメントに関するフォーラム (DEIM2016), G6-2, 2016.
[12] 野中尚輝, 中山浩太郎, 松尾豊. オンラインレビューから抽出した
消費者の感情に寄与する素性を用いた自動車販売予測. 情報処理学会論文誌データベース（TOD）, Vol. 10, No. 3, pp. 16–25,
2017.