DEIM Forum 2023 3a-2-5

食品レビューにおける観点抽出とその検索への応用
芦澤亜里紗†

瀧田

愼†

大島

裕明†

† 兵庫県立大学社会情報科学部 〒 651–2197 神戸市西区学園西町 8–2–1
E-mail: †fa19z004@guh.u-hyogo.ac.jp, ††takita@sis.u-hyogo.ac.jp, †††ohshima@ai.u-hyogo.ac.jp
あらまし 本研究では，オンラインショッピングで食品を購入する際に，大量にあるレビューから欲しい情報を含むレビューを網羅的に検索するための手法を提案する．例えば，麺のコシについて書かれているレビューは，「弾力がある」や「硬い」のような表現で表される．これらのレビューは，同じ視点で書かれているにもかかわらず，ユーザによって異なる表現で書かれている．そこで，同じ視点で書かれたレビューに同じ観点ラベルを付与することで，異なる表
現のレビューも取得する．本研究では，レビューに観点ラベルを付与するために，BERT を用いる．使用する BERT
モデルは，レビューを用いたタスクの性能を向上させるために，対象となるレビューで学習をおこない作成した．このレビュー学習済み BERT モデルに観点ラベル付与のタスクを解かせるためのデータは存在しないが，人手で作成するにはコストがかかる．そのため，疑似的にラベルを付与することでデータを作成した．この疑似的に作成したデー
タで，レビュー学習済み BERT モデルにタスクを解かせることで，検索エンジンを構築し，表現の差を埋めた検索を可能にする．
キーワード レビュー検索，観点，疑似データ，分類，食品レビュー，BERT
索結果には含まれない．

1 はじめにオンラインショッピングでは，実物を直接見ることができな
いため，購入の判断材料の 1 つとしてレビューを参考にする．
その際，ユーザは，大量にあるレビューから欲しい情報を見つける手段として，レビュー検索をおこなう．
そこで，本研究ではレビュー検索が必要な，レビュー数が多い商品を対象に，ユーザに必要な情報を網羅したレビュー検索をおこなえるようにする．楽天にある「食品」，「スイーツ・お菓子」の商品のうち 8,406 個もの商品はレビュー数が 100 件以
上ある．これは購入の参考になる情報量が多いことを表しているが，100 件以上もレビューがあるとユーザが購入に必要な欲しい情報を探し出すには手間がかかる．また，100 件以上レビューがある商品は人気商品であり，その情報を必要としているユーザは多い．そのため，商品のレビュー検索は重要となってくる．実際に，楽天の人気の商品を見てみると（2022/11/16
日現在）「食品」の上位 10 件中 8 件はレビューが 8,000 件以上あり，100 件をはるかに上回るレビュー数であった．また，「ス
イーツ・お菓子」の上位 10 件は，すべて 500 件以上あり 100
件を上回るレビュー数であった．これらのことから，人気の商品のレビュー数は多く，レビュー検索の必要性は高い．
しかし，文字列マッチングなどを用いた検索では，検索システムに入力されるユーザの任意の文字列に左右されるため，ユーザに必要なレビューを網羅した検索をおこなうことは難し
い．例えば，文字列マッチングの場合，表 1 のように入力「コシ」に対して，「弾力」などの言葉を含むレビューは，同様にうどんにおける硬さを表しているにもかかわらず検索結果に含まれない．また，表 2 のように，入力「こってり」に対して程度を表す「あっさり」といったレビューも必要な情報となるが検そこで，本研究では通常の文字列マッチングでは検索できな
かった異なる表現のレビューもユーザに必要な情報とみなし，表現の多様性を考慮することで，ユーザに必要な情報を網羅したレビュー検索システムを提案する．例えば，うどんのコシについての情報が欲しいユーザが「こし」と入力して検索をおこなったとする．この場合ユーザにとって入力の表現を含むレビューは，欲しい情報そのものであるため「こしが強くておいしかったです」のようなレビューは必要である．また，「弾力があり食べ応え抜群」のような入力と異なる表現のレビューも「こし」と同じ視点で書かれたユーザに必要なレビューとなるため検索できるようにする．しかし，入力と同じ表現を含んでいても「としこしそばの代わりに食べました」のようなレビュー
は視点が異なり，ユーザにとって必要な情報ではない．今回は，レビューの網羅性を重視するため，表現の違いによって含まれてしまう必要でない情報を完全には考慮できていない．
異なる表現のレビューを取得するには，図 1 のように同じ視点で書かれたレビューに同じラベルを付与することで実現できる．そこで，本研究では BERT を用いてレビューにラベルを付与するモデルを作り，表現の差を考慮した検索システムを作成する．BERT は，解きたいタスクを学習すると，そのタスクを解くことができるようになる．そのため，ラベル付与タスクを解くためには，ラベルを付与したレビュー 1 文のデータで学習する必要があるが，そのデータは存在しない．そこで本研究
では，ラベル付与タスクを学習するためのデータを作成した．
しかし，データを人手で作成するにはコストがかかる．そのため人手ではなく，図 2 のように，ある言葉を含んだレビュー 1
文に自動的にラベルを付与したものと，類似するレビュー 1 文に疑似的にラベルを付与することで，学習に使用するデータを
作成した．

表1

同じ意味の異なる表現で書かれたレビューの入出力例

目的の商品

うどん

欲しい情報

うどんにコシがあるか入力

コシ

文字列マッチングの出力コシが強くておいしかったです

異なる表現の出力

今まで食べた中で一番弾力があって満足

表2

反対の意味で多様な表現で書かれたレビューの入出力例

目的の商品

豚骨ラーメン

欲しい情報

こってりしているか

入力

こってり

文字列マッチングの出力

こってりはしてた反対の意味を含むレビューの出力 思ったよりもあっさりしていて食べやすい

センチメント分析をおこない，定式化することで，センチメン
ト説明のランキング問題を解決している．
また，オンラインショッピングに関する研究では，レビューから情報を抽出することで，システムの構築をおこなう研究は多い．例えば，杉木ら [15] によって，商品検索に焦点を当てた研究がおこなわれている．この研究では，検索クエリとレビューから情報を抽出し，感情表現シソーラスを構築した検索方式を提案している．また，本田ら [24] によって，商品推薦がおこなわれており，商品レビューには，ユーザの使用目的が書かれて
図1

異なる表現のレビューの取得いることに着目し，目的を抽出することで，商品推薦を提案している．他にも，石野ら [17] は，購買意図をレビューから抽出することで，商品検索のシステムを構築していたり，村本ら [18]によって，レビューから主観的意見を抽出することで商品情報を得るための研究がおこなわれていたりする．Hu ら [5] によって，レビューを要約する際に，特徴抽出とレビューが肯定的か否定的かの識別情報を使用する研究がおこなわれている．単純な名詞と動詞群を識別し，特徴抽出をおこなっていた．

2. 2 味に関する表現の獲得
本研究では，「食品」，「スイーツ・お菓子」のレビューを対象
図2

観点ラベル付与タスクの学習データの作成としているため，味覚の表現などにも着目している．先行研究
では，林ら [26] によって，飲食店レビューにおいてどのような美味しさ表現が重要とされているかの分析が行われている．シ

2 関連研究ズルワードを用いて分析した結果，「味覚」「食感」「匂い」は美味しさの想起を促す言葉であることが分かった．

2. 1 オンラインショッピングに関する研究

また，武藤ら [23] によって，英語と日本語の美味しさを表す

本研究では，オンラインショッピングを利用する際の，レ

言葉に関する研究がおこなわれている．その際，味を広い意味

ビュー検索に焦点を当てている．検索に関する先行研究として，でとらえた分析をするために，本研究でも使用している味こと

木田ら [25] によって検索クエリに関する研究や，Ben ら [2] にば分類表が使用されていた．

よってファセット検索（あらかじめ用意されている検索条件を選択する検索の仕方）に関する研究がおこなわれている．

2. 3 コストの削減のための疑似的なデータの作成

しかし，商品に関する情報を取得するための研究はレビュー

レビューから意見情報を抽出するには，辞書を人手で作成す検索だけでない．Liu ら [7] によって，製品の特徴を視覚的にる必要がある．しかし，膨大なコストがかかってしまうことや，

あらわすことで，一目見ただけで消費者が思う製品の長所と短精度が上がらないなどの欠点があげられる．そこで田中ら [20]

所を知ることができる研究がおこなわれている．また，Fangによって，教師あり学習を用いる事で，辞書作成のコストを減

ら [4] によって，レビューの要約などに利用できる研究がおこらした研究がおこなわれている．また，山西ら [11] の研究では，なわれている．この研究では，文の情報量ランキングと構造的

飲食店レビューを料理とホスピタリティーの 2 種類に分類する

ために，クックパットデータセットのつくれぽと楽天トラベルンルの特徴をつかみ，欲しい情報を取得する検索をおこなえるのレビューを疑似コーパスとして利用することで，コストを減ようにする．その結果，「食品」，「スイーツ・お菓子」に絞ったらしていた．他にも，自見ら [13] や Mokrii ら [8] によっておこデータ数は約 650 万件となった．

なわれている．自見らの研究では，直喩文であるか非直喩文で本研究では，レビューに付属する情報のうち，店舗 ID，商品あるかを分類しているのだが，英語に訳すと，“like” は直喩文

ID，商品ジャンル ID，投稿者 ID, 商品ジャンル ID パス，評になる傾向，“as” は非直喩文になると仮定をおき，データを価ポイントを使用した．また，店舗 ID と商品 ID をもとに商作成していた．また，訓練データに用いたデータによって直喩品を特定するための商品 No の作成や，商品ジャンル ID パス

文と非直喩文の分類に偏りが見られたので，それぞれのデータを使用してパスをたどったジャンルの作成をおこなった．表 3

数をそろえることで分類の偏りを改善している．Mokrii らのに，使用したデータの詳細を示す．

研究では，BM25 スコアラーによって疑似ラベルを生成している．また，自然言語だけでなく，画像を用いた研究でも疑似的

4 レビューに付与する観点ラベルの作成にデータを作成する方法が党紀ら [21] や小林ら [14] によっておこなわれている．

2. 4 BERT を用いた研究
BERT に関する研究が Vaswani ら [10] や Devlin ら [6]，Chen

異なる表現で書かれたレビューを検索するシステムを作成す
るには，同じ視点で書かれているレビューに同じラベルを付与する必要がある．そこで，このラベルを本研究では観点ラベルとよび，作成する．例えば，あるうどんに書かれているレビュー

ら [3] などによっておこなわれている．本研究では BERT を，として，以下の様な 2 つのレビューがあるとする．

類似度を計算する時やラベル付与タスクを行うときに利用した•

麺に弾力があまりない気がします•

コシがあって美味しいが，BERT は様々な研究で利用されている．例えば，谷ら [19]によって BERT を用いて得た分散表現に多くの情報を付与する研究がおこなわれている．この研究では，多くの情報を付与

この 2 つのレビューは，ある商品の「うどん」に対して麺の硬することで，アノテーションデータ以外の情報を学習に用いて軟についての視点で書かれている．この硬軟が，2 つのレビューいた．また，内藤ら [22] によって，議論内容に関連した理解促に付与されるべき観点ラベルの 1 つであり，この章で作成する

進につながる情報を抽出するための研究がおこなわれており，ものである．観点ラベルは，美味しさの表現に関する書籍に書

クエリ予測と議論している文脈に沿った関連情報を選び出すた

かれた味分類表の分類項目と著者 3 名による話し合いにより作

めに，BERT が使用されていた．他には，山田ら [12] によっ成した．

て，文章に対して情報タイプの付与をする研究がおこなわれている．その際，AutoML と BERT が用いられていた．訓練で，BERT に対するファインチューニングをおこなう際に，最終の12 層目のみしか再学習していなかったため，性能が低くなっていた．Niwa ら [9] によって，事前に学習したマスク言語モデル
を微調整する研究がおこなわれていたり，マスク処理の際に，Bao ら [1] によって，疑似マスクという新しい学習方法を用いられた研究がおこなわれていたりする．

4. 1 書籍から得た観点ラベル
瀬戸 [16] によって書かれた書籍には美味しさに関する言葉が書かれている．その中に味言葉分類表の分類項目がある．まずはこの分類項目を観点ラベルとした．しかし，分類項目のうち一般評価（a）と一般評価（b）を分けることは，観点ラベルとして適切でないと判断し，一般評価としてまとめた．その結果，書籍からは甘味や硬軟など，37 個の観点を取得した．

4. 2 話し合いにより作成した観点

3 レビューデータセット

レビューには梱包や店の対応などの特有の視点で書かれたも本研究で使用するレビューデータについて述べる．本研究でのがあるにもかかわらず，書籍からは美味しさに関する視点のは，国立情報学研究所の IDR データセット提供サービスによりみの観点ラベルしか作成できない．また，書籍から得た観点ラ楽天グループ株式会社から提供を受けた「楽天データセット」のベルは，レビューに特化したものではない．そこで，レビュー

商品レビューデータを使用している．使用したデータは，2015に書かれたもののうち欲しい情報の視点を観点と呼び，話し合

年の 1 月から 2019 年の 12 月までの 5 年間のデータである．

いにより得た観点と書籍から得た観点ラベルを比較することで，全ジャンルのレビュー数は約 7,000 万件と膨大であり，ジャ「食品」「スイーツ・お菓子」のレビューに対応した観点ラベル

ンルごとにレビューに書かれている内容の特徴も異なる．例えを作成した．

ば，食品のレビューには美味しさに関する意見が書かれている

4. 2. 1 話し合いによる観点ラベル作成に用いたデータ

レビューが多く，電化製品のレビューでは，傷や使いやすさに話し合いに用いたデータの作成方法を以下で説明する．まず，関するレビューが多い．そのため，すべての商品ジャンルを網

ジャンルを「食品」，「スイーツ・お菓子」に絞った 6,477,422 件

羅した検索システムを作成することは難しく，観点ラベルの作のデータのうち 100,000 件をランダムに取得した．話し合いの成や評価データを作成することも大変である．

際に，レビューのどの部分を参考にして観点ラベルを付与した

そこで今回は，「食品」，「スイーツ・お菓子」に絞ることでジャのかを明確にするために，レビューを 1 文ずつに分けた．このデータから 1,000 件を取得し，話し合いによる観点付けで使用

表3

レビュー以外の情報

データ

データ詳細

例

店舗 ID

店舗ごとに付与された ID

255162

商品 ID

商品ごとに付与された ID

10000001

商品ジャンル ID

商品のジャンルに付与された ID

412237

投稿者 ID

マスクしたユーザ名

user 1

商品ジャンル ID パス

トップジャンルからのジャンル ID パス/0/100227/100256/110494/412233/412237

0–5 の 6 段階評価

5

評価ポイント
商品 No
ジャンル

自身で作成した，「商品 ID」と「店舗 ID」が一致する商品に対して 1–627664 の数字をつけたもの
商品ジャンル ID パスからたどったジャンル名の羅列
ジャンルの名前がない番号はその他としている

するデータとした．

4. 2. 2 観点ラベル作成のための話し合い

9160
食品/精肉・肉加工品/七面鳥

5. 1 学習と評価に使用するデータ
あらかじめ，学習をおこなうための学習データと検索システ

話し合いをおこなう人数は 3 人とし，著者に加えて 2 人の共

ム作成後にモデルを評価するための評価データに分けた．学習著者でおこなった．まずは，1,000 件のレビュー 1 文に当てはデータと評価データには 4 節での観点ラベル作成に用いた商品

まる観点を 1 人ずつ列挙した．観点を付与する際，ジャンルもは使用しないこととした．また，検索システムの利用をレビュー参照した．以下はレビュー 1 文に付与した観点の例である．

数が多い場合と想定しているため，評価データは，レビューが•レビュー 1 文– 香り良く，薄くて食べやすく，とても美味しいです．
•に使用していないレビューのうち，評価データに使用していな
いデータすべてを学習データとした．その結果，学習データはジャンル

5,599,503 レビュー, 評価データは 169,781 レビューとなった．

– スイーツ・お菓子/クッキー・焼き菓子/クッキー/豆5. 2 レビューに特化したモデル作成のための学習

乳・おからクッキー•

100 件以上ある商品からランダムに商品を抽出した．観点付け付与した観点– 「香り」，「厚さ」，「美味しさ」「食品」，「スイーツ・お菓子」に絞った楽天レビューデータ
で東北大学の BERT モデルに学習をおこなった．学習をおこなう際，トークナイザに未知語の追加をおこなった．まず，レビューからそのまま未知語を取得すると，記号や小文字からこのように 3 人それぞれが観点付与をおこなった後に，付与始まるものや，意味を持たない語，レビューに出てくる頻度がした観点が異なるものは 3 人で話し合いをおこない，観点を付低いものが含まれていた．そこで，学習データのうち 10 万レ与し直した．

ビューに 1 回の頻度で出現する語で，ひらがな，カタカナ，漢4. 3 作成した観点ラベル
書籍から得た観点ラベルと話し合いにより作成した観点を 3
人で比較した．比較するために，話し合いにより作成した観点
が，書籍から得た観点ラベルに含まれるかを分類した．書籍の観点ラベルに分類されなかった観点を追加の観点ラベルとし，
書籍より作成した 37 個の観点ラベルに 9 個の観点ラベルを追加し，表 4 に示すように計 46 個の観点ラベルを作成した．

5 レビューを学習したモデルの作成

字であるもの，1 文字目が小文字で始まらないものを未知語として追加した．その結果，285 個の未知語を追加し，未知語追加後のトークナイザの語彙数は 32,285 となった．
学習をおこなう際にはトークン長を指定する必要がある．まず，トークン数が 170 以下のレビュ―数のヒストグラムを図 3に示す．図 3 からわかるように，ほとんどのトークン数が 100前後である．そこで，楽天の「食品」，「スイーツ・お菓子」の全レビューのうちトークン数が 128 以下であったものの割合を調べてみた．すると 96%のトークン数が 128 以下に収まったので学習をおこなう際のトークン長は，128 とした．

本研究では，日本語事前学習済み BERT モデルにレビューを学習させることでレビューに特化したレビュー学習済み BERT
モデルを作成した．日本語事前学習済み BERT モデルは，東北大学の乾研究室により提供された BERT モデル（cl-tohoku/bert-

base-japanese-whole-word-masking）を使用した．このモデル
は，日本語 Wikipedia で学習することで日本語に特化したモデルを作成している．モデルがレビューに特化するための学習には，楽天レビューデータの「食品」，「スイーツ・お菓子」のレビューデータを使用した．

6 観点ラベル付与タスクを学習するためのデータ作成
レビュー学習済み BERT がレビュー 1 文に観点ラベルを付与することができるようになるには，どのようなレビューにどの観点ラベルが付与されるのかを学習しなければならない．また，学習をおこなう際には，レビューではなくレビュー 1 文に対して学習をおこなうことで，どのような文にラベルを付与するべ表4

最終的に取得した観点

一般評価（味ことばに限定されない表現：人の性格などを表す），味覚評価（味そのものを評価する表現），素材（素材そのものの表現），素材特性（素材の特性を表す），甘味（五味のひとつ），酸味（五味のひとつ），塩味（五味のひとつ），辛味（塩味の下位類か），苦味（五味のひとつ），渋味（五味のひとつ），旨み（五味のひとつ），静騒（聴覚の表現），擬音（擬音による表現），色（色彩の表現），明暗（明暗濃淡の表現），透明度（透明度の表現），形態（全体的な形の表現），大小（全体的な大きさの表現），垂直（上下・厚みの表現），水平（横への広がりの表現），奥行き（奥の表現），におい（中立的なにおいの表現），芳香（いいにおいの表現），悪臭（臭いにおいの表現），硬軟（テクスチャー表現のひとつ），乾湿（テクスチャー表現のひとつ），粘性（テクスチャー表現のひとつ），触性（テクスチャー表現のひとつ），圧覚（軽重の表現），痛覚（痛みを伴う刺激表現），温覚（暖かみの表現），冷覚（冷たさの表現），場所（場所と結びついた表現），時（時代の表現），
作り方（状況表現のひとつ），食べ手（状況表現のひとつ），製造プロセス（状況表現のひとつ）価格，健康，鮮度，食べ方・作り方・使い方，配送，品質，保存，店の対応，包装・梱包だ列挙したもので自動的に観点ラベルを付与すると，想定しているものとは異なる意味のレビューに，誤った観点ラベルを付

700000

与してしまう可能性がある．誤って作成してしまう例を，以下600000に示す．

500000400000300000

とても辛い！舌がしびれました．

•

ここの中華料理屋さんは遠くて行き辛いので，おうちで食べることができてうれしい．

200000

この二つのレビューにはともに「辛い」という言葉が含まれ1000000•ている．しかし，1 つ目のレビューは辛さについて表している
0

25

50

75

100

125

150

175

のに対して，2 つ目のレビューは，辛さについて表したレビュー
でないにもかかわらず，辛味という観点ラベルが付けられてし

図3

トークン数が 170 以下のレビュー数（bins = 40）

まう．このように，誤解を招く表現を観点ことばにいれてしまうと，誤ったデータを作成してしまうため，そのような言葉をきかを学習しやすくする．そこで，観点ラベルが付与されたレ
ビュー 1 文のデータが必要となる．しかし，このようなデータは存在せず，人手で作成するにはコストがかかる．

観点ことばに入れるべきではない．
そこで観点ことばを含むレビュー 1 文を観点ことばごとに，ランダムに 10 個取得し，正しい観点ラベルを付与することがそこで本研究では，レビュー 1 文に疑似的にラベルを付与できているかを確認した．正解率が 9 割を超えるもののみを自することでデータ作成のコストを減らす．疑似的なラベル付き

動的に観点を付与できる良い観点ことばとした．取得できたレ

データの作成は 2 つのステップでおこなう．まず，観点辞書を

ビュー 1 文が 10 個以下のものは，正解率が 10 割のもののみを作成し，観点ことばが含まれているレビューに自動的に観点を

良い観点ことばとした．観点ことばを含むかの判断は，観点こ付与する．次に，観点ことばを用いて作成したレビューに類似とばとレビュー 1 文それぞれを基本形に直したものの一致を測しているレビューに同じ観点を疑似的に付与する．この疑似的ることでおこなった．その結果，592 個の良い観点ことばが作に取得したラベル付きデータをレビュー学習済み BERT モデ成できた．作成した観点辞書を一部抜粋したものを，表 5 に示

ルで学習するための疑似学習データとする．

す．この良い観点ことばでラベル付けしたレビュー 1 文と観点

6. 1 観点辞書の作成
観点辞書データは，レビュー 1 文に観点ラベルを自動的に付

ラベルのデータを取得した．

6. 2 類似度を利用した疑似的なラベル付きデータの作成

与するためのものである．例えば，「このカレー激辛」のように同じ商品で同じ高評価または低評価のレビューは，同じ視点「激辛」という言葉を含んでいるレビュー 1 文には観点ラベル

でレビューが書かれていることが多い．そこで，良い観点こと「辛味」を付与できることは自明である．

ばでラベルを付与したレビュー 1 文と同じ商品で，同じ評価 1

そこで，このように自明に観点ラベルを付与できることばをまたは評価 5 の商品のうち，類似しているレビュー 1 文には観点ことばと呼び，それぞれの観点ラベルに観点ことばを付与

同じ観点を付与することができると疑似的にみなし，疑似学習

したものを観点辞書とした．4 節で作成した観点ラベルのうちデータを作成した．類似を計算するするレビューを取得するた書籍を参考にしたものは，各分類項目に分類されている味ことめの指標として，表 6 に記載する「商品 No，評価ポイント」

ばを観点ことばとした．話し合いにより作成したものには，レの 2 つのデータを使用した．

ビューから抽出してきた言葉を参考に列挙したものを観点こと

良い観点ことばを使用して取得したレビュー 1 文と「商品ばとし，書籍で作成した観点ことばにも追加した．しかし，たNo，評価ポイント」が同じレビュー 1 文を，類似を計算する

表5作成した観点辞書の一部抜粋

観点

良い観点ことば

一般評価（味ことばに限定されない表現

エレガント，すばらしい，まあまあ，程よい，やぼったい；人の性格などを表す）
味覚評価（味そのものを評価する表現）

美味，味わいがある，まずい，繊細な素材

米の風味，塩からい，フルーティーな

素材特性

固有の，自然の，素朴な，肉感のある

甘味（五味のひとつ）

甘い，甘ったるい，甘み，甘口，甘味酸味（五味のひとつ）

酸い，酸っぱい，酸度，酸味

塩味（五味のひとつ）

しょっぱい，塩気，塩辛い，塩味，甘塩，薄塩

辛味（塩味の下位類か）

激辛，スパイシーな，ピリピリする，火を噴くような苦味（五味のひとつ）

ほろ苦い，苦味，にがみばしった，苦い

渋味（五味のひとつ）

渋み，渋味，えぐい

旨み（五味のひとつ）

うまい，旨み，旨味静騒（聴覚の表現）

うるさい，ざわついた，にぎやかな擬音（擬音による表現）

コリコリ，サクサク，パリパリ，プチプチ

色（色彩の表現）黒い，青い，茶色い，鮮やかな明暗（明暗濃淡の表現）

ほんのり，輝く，淡麗

透明度（透明度の表現）

曇った，透き通った，透明感のある，濁った形態（全体的な形の表現）

太い，ふっくらした，ぼんやりした

大小（全体的な大きさの表現）

ボリューム感のある，小粒な，縮む

垂直（上下・厚みの表現）

厚い，深い，重層的な水平（横への広がりの表現）

伸びのある，広がる，太くなる

奥行き（奥の表現）

奥深い，奥行きがあるにおい（中立的なにおいの表現）の香り，のにおい

芳香（いいにおいの表現）

香り，芳しい，香ばしい，香る

悪臭（臭いにおいの表現）

生臭い，臭い，血なまぐさい

硬軟（テクスチャー表現のひとつ）

堅い，固い，硬い，歯ごたえ，柔らかい，軟らかい

乾湿（テクスチャー表現のひとつ）

湿り気，湿気た，爽快な，ドライ

粘性（テクスチャー表現のひとつ）

あっさり味，こってり，ぬめぬめ，ねばねば，脂っこい触性（テクスチャー表現のひとつ）

さらさら，ざらざら，つるつる，ぬるぬる，粗い

圧覚（軽重の表現）

重い，ずっしり，軽やかな痛覚（痛みを伴う刺激表現）

突き刺すような，ちくちくする，刺激的な温覚（暖かみの表現）

暖まる，あったかい，生ぬるい

冷覚（冷たさの表現）

涼しげな，冷たい，冷ややっこい場所（場所と結びついた表現）

学食の，コンビニの，瀬戸内海ならではの時（時代の表現）

懐かしい，昭和の，昔ながらの，新時代の作り手（状況表現のひとつ）

こだわりの，プロの，丹精込めた食べ手（状況表現のひとつ）

お子様向き，大人の，女性向きの，庶民の製造プロセス（状況表現のひとつ）

じっくり発酵させた，凝りに凝った，寝かせた包装・梱包

のし紙，梱包，包装

店の対応

おまけ，取り置き，手紙保存

ジッパー，タッパー，保管

品質

カビ，傷，傷む，訳アリ，訳あり，屑物

配送

宅配，到着，届く，納期，配送，発送

食べ方・作り方・使い方

オーブン，バーベキュー，レシピ，レンチン，解凍，焼く，蒸す

鮮度

完熟，食べごろ，新米，鮮度

健康

カロリー，コラーゲン，サプリ，栄養，血圧，健康価格

クーポン，コスパ，安い，円，価格，格安，割引，激安，高い，高価，送料，値上がり，値段

レビューのペアデータとした．これらのレビュー 1 文を，レ

データで学習をおこない，観点ラベル付与タスクを学習した．

ビュー学習済み BERT モデルに入力して得られたベクトルを

この観点ラベル付与 BERT モデルは，マルチラベル分類をお用いて，ペアデータのコサイン類似度を計算した．このコサイ

こなう．そのため，活性化関数にシグモイド関数を用いており，ン類似度が閾値 0.97 以上であるものを類似しているレビュー 1

46 個の観点ラベルそれぞれで 0 か 1 かの 2 値分類をおこなっ文であるとみなし，よい観点ことばで作成したデータと同じ観ている．

点を付与し，疑似学習データを作成した．疑似学習データは，454,752 件の学習データに対して作成した．

7. 2 検索システムと評価に使用したデータ
検索システムと評価に使用したデータについて説明する．ま7 実験

ず，評価データから 20 商品のレビューを取り出し，この 20 商
品のそれぞれのレビューから 100 個ずつレビュー 1 文を取り出

本節では，良い観点ことばで作成したデータとの類似から疑した．これを検索システムに使用するデータとした．次に，46

似的にラベルを付与した疑似学習データを用いて，観点ラベル

個の観点ラベルのうちあてはまるものに 1，あてはまらないも

付与 BERT モデルの作成をおこなう．このモデルを使用してのに 0 を人手で付与することで正解データを作成した．

検索システムを作成し，評価をおこなう．

7. 3 検索システムの作成
7. 1 BERT を用いた観点ラベル付与タスクの学習

観点ラベル付与 BERT モデルを用いて，欲しい商品 No と5 節で作成した，レビュー学習済み BERT モデルを使用す欲しい観点ラベルの番号を入力すると，ランキング形式でレる．このモデルに，レビュー 1 文に観点ラベルを付与した学習

ビューを出力できる検索システムを作成した．モデルへの入力表6

疑似タスクに用いるデータ

データ

データの内容の説明

商品 No「商品 ID」と「店舗 ID」が一致する商品に対して 1–627664 の数字をつけたもの

評価ポイント

評価 1 または評価 5 のみのデータ

はレビュー 1 文であるため，商品 No と投稿者 ID，レビュー

ビューから欲しい情報を 10 件も見つけるのは大変であると仮1 文に分ける際にあらかじめ保持していたレビューの何番目の定し，nDCG@10 を用いて評価した．nDCG@10 は，検索結果

文であるかのインデックス番号の 3 つのデータに基づいてレの上位 10 件のレビューのうち，上位に適合文書がある場合にはビューにした．観点ラベルの番号は，観点ラベルに 0〜45 の数

値が高くなり，下位に適合文書がある場合にはペナルティが課字を与えたものである．

される．評価には，正解データを用いており，商品 No と観点

ランキングは，ラベル付与タスクを学習した BERT から，ラベルを予測する際に出力された予測値に基づいておこなった．

ラベルごとに計算をおこない，観点ラベルごとに平均した（小数点以下第 3 位を四捨五入）．計算結果を表 7 に示す．

出力するレビューは，予測値が 0.5 以上のもののみとした．正

「食べ方・作り方・使い方」や「味覚評価」は，適合文書が解データのうち，商品 No と投稿者 ID が一致するレビュー 1

上位に出現していたため，値が他の観点ラベルに比べて高かっ

文に同じ観点ラベルが付与されている場合は，1 番高い値の予たが，全体的に値が低くなっていた．原因の一つとして，良い測値をランキングに使用し，レビューのランキングとした．検観点ことばが適合文書をある程度網羅してしまったことがあげ索結果は，上位 1 位から 7 位には良い観点ことばが含まれる適られる．良い観点ことばを作成する際に，実際のレビューを頻

合文書が多くなっていたが，8 位から 13 位には適合文書かつ，出順にソートして分析したりした．そのため，観点ラベルごと

良い観点ことばとは異なる表現のレビューも検索結果として出に良い観点ことばを含まないレビューを抽出する際に，適合文力することができた．以下は，良い観点ことばが含まれないレ書が少なくなってしまった．また，評価データは，20 商品かつビューの実際の入出力例である．

100 レビューずつとデータを絞っている．そのため，観点ラベ
ルごとのレビュー数に偏りがあり，絞ったレビュー内容に左右•欲しい商品と欲しい観点ラベル–

されてしまうことも原因であると考えられる．

商品：アマニ油（商品 No：1603），観点ラベル：食べ方・作り方・使い方（観点ラベルの番号：42）

8 まとめと今後の課題

出力された良い観点ことばとは異なる表現のレビュー

本研究では，BERT を用いて，同じ視点で書かれた異なる表（ 8 ） コクが出てとてもおいしく食べられます。納豆サラダ

現のレビューを取得できる検索システムの作成を実現した．ま以外にも挑戦してみたいので同封してもらったレシピ

た，BERT モデルがラベル付与タスクを学習するためのデータを参考にさせていただきます。

を疑似的に作成することで，人手で作成することへのコストを•（ 9 ） 納豆、卵かけご飯、サラダ等にかけて食べています。

減らした．

（ 10 ） 悪阻中なので勇気がなく、生でスプーンで飲む方法は今回作成した，検索システムの評価結果から，良い観点こと

まだ試していませんが、生サラダの (主にトマト) ド

ばを網羅しなかった場合どのような結果になるのかを検証した

レッシングとして使ったり、パンに付けて食べたりしり，学習や評価に使用するデータ数の偏りなどを改善する必要てます。

があると考える．

（ 11 ） 生野菜サラダなどにかけて食べていますが、癖が少な
くとても食べやすいです。

また，レビューや観点付与を学習する際に，「食品/精肉・肉加工品/七面鳥」のような細かなジャンルまでは考慮しなかった．

（ 12 ） あと、納豆にかけて食べるのも食べやすかったです。

しかし，学習の際にジャンルも一緒に学習することで，麺にお（ 13 ） 納豆や野菜サラダにかけてます。

ける硬さは弾力に近いものであり，ナッツにおけるかたさは弾力とは遠いものであることが分かるようになると考えた．その

このように良い観点ことばとは異なる表現でありながら，「食
べ方・作り方・使い方」について述べているレビューを検索結果として出力することができた．

7. 4 評価

良い観点ことばを含むレビューは，上位に検索されることが多い．しかし，多様な表現のレビューを検索できるようにする
ためには，良い観点ことば以外の表現のレビューも検索できている必要がある．そこで，良い観点ことばが含まれていないレビューでランキングしたもののうち，適合文書がどれほど上位にあるかを観点ラベルごとに評価をおこなう．大量にあるレため，今後の研究では，学習時にジャンルも考慮したいと考えている．
今回は，レビューの網羅性を重視していたため，異なる表現のレビューを取得する際に含まれてしまう必要でない情報を完
全には考慮することができなかった．そのため，今後の研究では，ユーザが欲しい情報のみを抽出し，網羅した検索システムの作成を目指す．
本研究では，データ数が膨大であることと，精度向上を目指して，対象とするデータを「食品」と「スイーツ・お菓子」に絞った．しかし，ユーザはオンラインショッピングをするとき

表7

良い観点ことばを含むレビューを検索対象から除去した nDCG@10

一般評価

味覚評価

素材

素材特性

酸味

塩味

辛味

苦味

渋み

旨み

0.12

0.45

0.08

0.20

甘味

0.00 0.02

0.10

0.06

0.04

0.00

0.09

0.03

擬音

色

明暗

透明度

形態

垂直

水平 奥行き

におい

芳香

悪臭

大小

0.11

0.31

0.20

0.00

0.07 0.15

0.08

0.03

0.00

0.19

0.05

0.18

硬軟

乾湿

粘性

触性

圧覚

温覚

冷覚

場所

時

作り手

食べ手

0.21

0.17

0.02

0.03

0.09

0.02

0.00

0.11

食べ方・作り方・使い方 鮮度

健康

価格

0.24

0.20

製造プロセス 包装・梱包

0.00

痛覚

0.31

0.14

0.23 0.05

店の対応

保存

品質

0.23

0.15

0.13 0.20

0.20

配送

0.55

「食品」や「スイーツ・お菓子」だけではなく，「家電」や「服」などその他のジャンルの商品も購入する．そこで，今後は今回提案した検索システムをベースに，対象商品の拡張に取り組み，[9]

多様な商品に適応できる汎用的な検索システムを作成したい．

謝

静騒

[10]

辞

本研究は JSPS 科研費 JP21H03775，JP21H03774，

JP21H03554，JP18H03244，JP22H03905 の助成を受けたものです．ここに記して謝意を表します．

文

献[1] Hangbo Bao, Li Dong, Furu Wei, Wenhui Wang, Nan Yang,
Xiaodong Liu, Yu Wang, Jianfeng Gao, Songhao Piao, Ming
Zhou, et al. Unilmv2: Pseudo-masked language models forunified language model pre-training. In Proceedings of the37th International Conference on Machine Learning, pp.
642–652, 2020.
[2] Ori Ben-Yitzhak, Nadav Golbandi, Nadav Har’El, Ronny
Lempel, Andreas Neumann, Shila Ofek-Koifman, Dafna
Sheinwald, Eugene Shekita, Benjamin Sznajder, and Sivan
Yogev. Beyond basic faceted search. In Proceedings of the2008 International Conference on Web Search and Data
Mining, pp. 33–44, 2008.
[3] Tianyu Chen, Shaohan Huang, Furu Wei, and Jianxin Li.
Pseudo-label guided unsupervised domain adaptation ofcontextual embeddings. In Proceedings of the 2nd Workshop
on Domain Adaptation for Neuro Linguistic Programing,
pp. 9–15, 2021.
[4] Lei Fang, Qiao Qian, Minlie Huang, and Xiaoyan Zhu.
Ranking sentiment explanations for review summarization
using dual decomposition. In Proceedings of the 23rd Association for Computing Machinery International Conference on Conference on Information and Knowledge Management, pp. 1931–1934, 2014.
[5] Minqing Hu and Bing Liu. Mining opinion features in customer reviews. In Proceedings of the 19th National Conference on Artiﬁcal Intelligence, pp. 755–760, 2004.
[6] Jacob Devlin Ming-Wei Chang Kenton and Lee Kristina
Toutanova. Bert: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of Annual Conference of the North American Chapter of the
Association for Computational Linguistics, pp. 4171–4186,
2019.
[7] Bing Liu, Minqing Hu, and Junsheng Cheng. Opinion observer: analyzing and comparing opinions on the web. In
Proceedings of the 14th International Conference on World
Wide Web, pp. 342–351, 2005.
[8] Iurii Mokrii, Leonid Boytsov, and Pavel Braslavski. A systematic evaluation of transfer learning and pseudo-labelingwith bert-based ranking models. In Proceedings of the 44th
International Association for Computing Machinery’s Special Interest Group on Information Retrieval Conference on

[11]

[12]

[13]

[14]

[15]

[16]
[17]

[18]

[19]

[20]

[21]

[22]

[23]
[24]

[25]

[26]

0.07

Research and Development in Information Retrieval, pp.
2081–2085, 2021.
Ayana Niwa, Keisuke Nishiguchi, and Naoaki Okazaki. Predicting antonyms in context using bert. In Proceedingsof the 14th International Conference on Natural Language
Generation, pp. 48–54, 2021.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Lukasz Kaiser, and Illia
Polosukhin. Attention is all you need. Advances in Neural
Information Processing Systems, Vol. 30, pp. 5998–6008,
2017.
山西良典, 藤岡寛子, 西原陽子. 擬似コーパスを用いた飲食店レビューの観点の自動分類. 人工知能学会論文誌, Vol. 36, No. 1,
pp. WI2–A1–8, 2021.
山田侑樹, 櫨山淳雄, 小川雄太郎. OSS プロジェクトの Issue 議
論内容に対する BERT および AutoML を用いた文章分類の提案. 人工知能学会第 34 回全国大会論文集, 2020.
自見仁太朗, 嶋田和孝. 疑似データ獲得による直喩文判定手法と分類モデルの考察. 電子情報通信学会技術研究報告; 信学技報,2022.
小林賢一, 辻順平, 能登正人. ディープラーニングを用いた画像処理による農作物病害診断への data augmentation の応用. 第 79回全国大会講演論文集, Vol. 2017, No. 1, pp. 289–290, 2017.
杉木健二, 松原茂樹. カスタマーレビューに基づく商品検索のための感性表現シソーラスの構築. 言語処理学会第 15 回年次大会
発表論文集, pp. 781–784, 2009.
瀬戸賢一. ことばは味を超える: 美味しい表現の探求. Kaimeisha,2003.
石野亜耶, 村上浩司, 関根聡. 商品レビューからの購買意図の抽出とそれを用いた商品検索システムの構築. 言語処理学会 第 20
回次大会 発表論文集, pp. 622–625, 2014.
村本直樹, 大島裕明, 湯本高行. 係り受けと分散表現を考慮したレビューからの属性と意見の抽出. 電子情報通信学会技術研究報
告; 信学技報, Vol. 118, No. 107, pp. 9–14, 2018.
谷健太郎, 上野史, 太田学. 文のマルチカテゴリ分散表現の獲得とその応用. 第 13 回データ工学と情報マネジメントに関するフォーラム (DEIM2021) 論文集, H21-1, 2021.
田中俊行, 中川博之, 田原康之, 大須賀昭彦. 評判分析システムのための教師あり学習を用いた意見抽出. 電子情報通信学会論文誌
D, Vol. 94, No. 11, pp. 1751–1761, 2011.
党紀, 松山当也, 全邦釘, 史紀元, 松永昭吾. UAV 画像における損
傷自動認識のための深層学習と精度向上手法に関する検討. AI・
データサイエンス論文集, pp. 596–605, 2020.
内藤勝太, 白松俊. Web 議論における bert を用いた関連情報推薦エージェント. 情報処理学会第 82 回全国大会講演論文集, pp.
637–638, 2020.
武藤彩加. 英語母語話者によるおいしさの表現: 日本語との比較を通して. 広島国際研究, Vol. 22, pp. 105–115, 2016.
本田達也, 北山大輔, 角谷和俊. オンラインショッピングサイトにおけるレビューを用いた商品対の目的判定による商品推薦. 2012年度 情報処理学会関西支部 支部大会 講演論文集, 2012.
木田巧, 豊田正史, 喜連川優. トレンドを考慮した検索クエリの分類手法の一検討. 日本データベース学会論文誌, Vol. 9, No. 1,
pp. 12–17, 2010.
林央也, 吉野孝, 平林 (宮部) 真衣. 飲食レビューにおいて魅力を感じさせる言語表現の分析. 2021 年度 情報処理学会関西支部
支部大会 講演論文集, 2021.