# アスペクトベース意見分析における日本語評価コーパスの構築

楽天株式会社楽天技術研究所
\{yuki.b.nakayama, koji.murakami, ikuko.hardaway\}@rakuten.com

## 1 はじめに

ウェブ上には，ニュース記事に対するコメントやカスタマーレビューなどの意見テキストが膨大に蓄積されている。これらの有効利用を目的として，意見分析の研究が盛んに行われている。意見分析とは，意見テキストの集合から知識を発見する処理の総称であり [1], 重要な基盤技術として意見抽出がある.これは，「ホテル A は朝食が美味しい」のような文に対し「対象＝ホテル $\mathrm{A} ，$ アスペクト＝朝食, 評価 $($ 極性 $)=$ 美味しい（肯定)」のような要素を抽出することで，意見情報の基本単位を定型化する. 意見テキストの集合から意見の基本単位が大量に抽出されると, ある対象における評価の概観が容易となる，例えば，ホテルＡ９品質改善を試みる場合は，ホテル Aに関する意見から否定的な評価を受けやすいアスペクトを調べるだろう。

特に近年は，対象のアスペクトとその評価極性ペアを抽出するアスペクトベースの意見分析 (Aspect-Based Sentiment Analysis: ABSA) がより重要なタスクとなっている $[2,3,4,5,6]$. ABSA 手法の比較評価を行うためには，アスペクトとその評価極性が付与されたコーパスが必須である。評価型国際ワークショップである SemEval では, ABSA の共有タスクが実施されており豊富なベンチマークが用意されている [7,8].コーパスは単言語と単ドメインだけでなく，それらを横断する手法 $[9,10,11]$ の発展のために, 英語, スペイン語などの 8 言語と, 宿泊施設レビューなどの 6 ドメインからなる．しかし， SemEval には日本語を対象とした ABSA のコーパスはない。また，NTCIR 多言語意見分析コーパス1) TSUKUBA コーパス2)などウェブ上で入手できる日本語用のコーパスのほとんどは，アスペクトを考慮しない意見分析に特化している [12, 13, 14, 15].本論文では、日本語を対象とした ABSA のための

1) http://research.nii.ac.jp/ntcir/data/data-ja.html

2) https://www.nii.ac.jp/dsc/idr/rakuten/
コーパス構築とデータ分析について述べる。コーパスのドメインは宿泊施設のレビューであり，文単位で 7 種類のアスペクトと極性を付与した結果 12,476 レビュー，76,624 文のコーパスが構築された。またコーパスを利用した基礎的な ABSA 手法による実験から，事例の特徴を分析することでコーパスの性質について考察する。

## 2 関連研究

新里ら [2] は，楽天市場の店舗レビューを「配送」「梱包」などのアスペクトカテゴリとその極性カテゴリに分類する手法を提案したが，実験で用いられたコーパスは非公開である。

栗原ら [16] は，ドメインを限定しない Twitterによる評判分析を目的とした日本語の ABSA データセット3)を構築した。本研究との違いを，SemEval2016 Task 5 のサブタスク 1「文レベルの ABSA」で説明する. 例えば「大浴場のお湯が熱い.」という意見文に対して，このタスクは「風呂」というアスペクトカテゴリ（スロット 1）の検出，「大浴場のお湯」というアスペクト対象の抽出 (スロット2)，そして「否定的」という極性の分類（スロット3）の 3 スロットからなる．彼らはスロット２を対象とするのに対し，我々はスロット 1 とスロット 3 が対象である.

論文化されてはいないものの，スロット 1 からスロット 3 の評価に対応しているコーパスとして，上場企業の決算報告書をドメインとした chABSA-dataset ${ }^{4)}$ がある。我々のコーパスは，上記と比較して規模が大きく、誤り分析を通してコーパスの性質を明らかにした点で異なる。

## 3 コーパスの設計と構築

楽天トラベル5)の施設に対するユーザレビュー中の各文に対しアスペクト及び評価極性の付与作業を

行う．作業を行うレビュー文は，ユーザが投稿した複数文にわたるレビューを句点もしくは同等の文末記号で分割した文を単位とする。ここでは基本方針と個々のアスペクトについて述べる.

## 3.1 アスペクト及び極性付与の基本方針

楽天トラベルでは表 1 で示す 7 種類のアスペクトについて, ユーザから 5 段階の評価と自然文の意見が入力される. 各文に対してこれらのアスペクト含まれているか, 含まれている場合はそれらの情報が肯定的（以下，ポジティブ）もしくは否定的（以下, ネガティブ）であるかを判断してタグを付与する.付与するタグの種類は合計 14 種類となる.

作業対象文はユーザレビューの一部分ではあるが，必ずしも全ての文に先に挙げた情報が記載されているとは限らない. 以下の例のように，意見ではなくあくまで事実を述べているだけであり, ポジティブ・ネガティブのような評価表現が含まれていないことから，アスペクト，極性共に付与しない。

・先月の $\mathrm{GW}$ に泊まりました.

・部屋の広さは通常のシングルルーム程度でした.

・夕食は舟盛りと蟹でした。

## 3.2 アスペクトの定義

ここでは，先に示した 7 種類のアスペクトについてそれぞれ定義を行う. 例文中の $(\mathrm{P})$ はポジティブ, (N) はネガティブを示す.

## 3.2.1 サービス

経済用語においては「売買した後にモノが残らず，効用や満足などを提供する，形のない財」を指す.ここでは接客態度, 様々な事柄への対応，ル一ムサービス，清掃状況などを対象とする．食事の配膳についてもこの項目で扱うが, これは食事（夕食, 朝食）そのものにも関連することからサービスのみではなく, 「夕食」もしくは「朝食」の項目も同時に付与する.

・セキュリティもきちんとしていて，お部屋もき
れい. (P)

・とんでもなく待たされる. $(\mathrm{N})$

・部屋のかび臭をごまかすためのお香が鼻につくし, あちこちほこりだらけ. $(\mathrm{N})$

## 3.2.2 立地

宿泊施設への交通, 目的とする観光資源, 商業施設へのアクセスなどの利便性, 宿泊施設の周囲の景観など，施設の地理学上の位置が評価に関係する表現を対象とする．部屋や露天風呂からの見える景色への感想はそれぞれ部屋, 風呂の項目で扱う。

・隣には郵便局もあり買ったお土産もすぐ送れる. (P)

・富良野市街地, 北の国からの麓郷, ラベンダー ファームへもアクセスしやすいです. (P)

・立地がわかりづらく, 手間取ってしまいました. (N)

## 3.2.3 部屋

部屋そのものに関する表現を対象とし，部屋の広さや快適さ, 内装（電源, シーリングライト, トイレそのもの, 洗面所そのものなど）を含む．エアコンやテレビ，机などはここには含まず，「何もない最低限の部屋」に存在するもののみを含める．部屋からの景色についてはこの項目とする．立地との判断に困惑するが，例えば施設でもオーシャンビュー の部屋とそうでない部屋があり, これは施設の立地そのものではなく部屋の特性に起因すると判断し部屋についての記述と認識する.

・広いお部屋でゆっくりとした時間を過ごす事が出来ました. (P)

・お部屋は最上階 6 階のツインの海側の広いお部屋で眺めが良かったです。( $\mathrm{P})$

・隣の部屋の声が聞こえてくるのが気になった。 (N)

## 3.2.4 設備・アメニティ

部屋と風呂を除く宿泊施設内の土産等の販売店舗, ロビー, 庭, 遊戯施設, ジム, 駐車場, レストランなどの設備, および部屋に設置されている家具調度 (ベッド，机，いすなど），電気製品（ヘアドライヤー, テレビ，エアコン， ウォシュレット，電気スタンドなど), 寝具, へアケアプロダクト，石盙などの衛生製品, タオル，無料のドリンク, Wi-Fi な

どについて記述を対象とする。

・部屋には空気清浄機もあり, 助かりました。(P)

・ただ唯一, 部屋の金庫が小さいのがマイナスポイント. (N)

・また, お部屋のお布団に関して, 枕が大人は合わなく, ちょっと苦戦しました。(N)

## 3.2.5 風呂

外風呂, 内風呂（部屋に設置されている風呂やシャワー）に関する表現, 風呂からの景色, 雾囲気,温泉の泉質, 温度, 広さなどを対象とする. 清潔さに関しては部屋と同様, 清掃の状態も考慮する必要があるため, サービスも同様に付与する. ただし， シャンプーなどのアメニティに関するものは除く。

・温泉の質も良く, まためるめのお湯で長時間浸かることが出来, 疲れを癒すことが出来ました. (P)

・朝風呂は雪見風呂で大変景色が良かった。 $(\mathrm{P})$
- 風呂は混んでいて入浴出来ませんでした。 $(\mathrm{N})$

## 3.2.6 朝食

味, 器, バラエティーなどに関する表現を対象とする．朝食時の配膳や，待ち時間などに関する表現の場合は，（朝食十サービス）の両項目にタグを付与する.

・朝食は，種類も多く，満足でした。(P)

・ただ焼き鮭が身が極めて細く他の料理に比べると唯一貧粗感が否めません. (N)

## 3.2.7 夕食

朝食と同様, 味, バラエティーなどに関する表現を対象とする. 夕食時の配膳や, 待ち時間などに関する表現の場合は, (夕食十サービス) の両項目にタグを付与する．夕食である明示的な表現を含まないが，「懐石料理」や「お酒，ビール」のように夕食であると判断できる場合は夕食とする.
- 季節に合わせた懐石料理は見た目も美しく美味しかったです. $(\mathrm{P})$

-夕食も，あわびの踊り食いあり，伊勢えびのお刺身，あり，豪華メニューを堪能しました。(P)

-夕食に汁物が出なかったが，酒を飲まない人にとっては汁物がないと食べられない。(N)

## 3.3 アノテーション結果

作業者 40 人に対して 24,314 レビューからなる 10 万文のタグ付付与を依頼した。また作業者間の一致率を測定するために，意図的に作業者間でレビュー に重複を持たせた。複数のラベルがタグ付されている文については, 作業者間で全てのラベルが一致しているかどうかを判定した. 100 レビュー以上の重複があった作業者ぺアに対して $\kappa$ 値 [17] の平均を測定したところ,$\kappa=0.58$ となり, moderate agreement を達成した。表 2 にコーパスの基礎情報を示す.

## 4 評価実験

評価コーパスの性質を調べるために，実験により成功事例と失敗事例の特徴を分析した。タスクは 3.1 節で説明した 14 クラスのうち，レビュー文を一つ以上のクラスに分類するマルチラベル分類として定式化した。手法には BERT[18] を用いた。具体的には，公開されている事前学習済み BERT モデル6) の最終層における [CLS]トークンに対応する 768 次元の出力を 14 次元の出力層に線形結合させる. 出力層の各ノードでは, シグモイド関数によってアスペクト・極性対カテゴリに属する確率が得られる。確率が 0.5 以上であれば，対応するノードのカテゴリを出力する．ファインチューニングと評価は，表 2 の総文数を学習:開発:テスト $=8: 1: 1$ の割合で分割することで行なった。

表 3 にカテゴリごとの分類性能を, 図 1 に BERT の出力例をそれぞれ示す. 図 1(a) は手法が適切に分類した事例であり，「夕食」「朝食」「二」という語に注意が強く向けられていることから，本コーパスで学習された BERT モデルは, 人間が判断に用いる語を捉えるように学習されたと考えられる。このようにアスペクトと評価表現が明示的に出現する文については, 比較的容易に分類できることを確認した。

6) https://github.com/cl-tohoku/bert-japanese
図 1 BERT の出力例（BERT の最終層で [CLS] トークンのベクトルがどの単語に注意しているかを可視化した）

次に誤り事例 2,557 件に対し正解とシステム出力のパターンを集計し，誤りの事例数の多い 3 パター ン（図1(b)）を分析した。文(1) は「ホテル全体 (P)」 が正解であるのに対して，システムは「評価なし」 と出力したパターンである. 分類器は, 正解例のようにアスペクトに関連した語を捉えるようモデル学習を行うのに対して，レビュー文では総評を述べており個々のアスペクトは記載されていないことから，適切にモデル化できていないことが原因と考えられる。こうした事例を捉えるには分類器の設計に課題があり，例えば「総合評価」という新たなラべルを用意して分類を行う必要があると考えられる.

文 (2) は，「不便」であるアスペクトが明示的でなかったため「連れ」や「ます」などアスペクトとは関連のない語に注意が向けられた結果，「施設・アメニティ $(\mathrm{P})\rfloor$ が正解であるのに対して，システムは 「評価なし」を出力したと考えられる。このパター ンの失敗事例は 76 件あり，うち 26 件は文 (2)のようなゼロ照応で属性が欠落しているか, 照応詞を用いて属性が省略されていた。本コーパスを用いた実験によって，照応解析手法や文脈を有効利用した属性情報の補完が重要であることが示唆された。

文 (3) は「朝食 (P)」が正解であるのに対して，システムは「朝食 $(\mathrm{P})+$ 夕食 $(\mathrm{P})$ 」と複数ラベルに分類した例である.システムでは「カレー」というアスペクトに関連する語に注意が強く向けられたものの「カレー」は朝食にも夕食にも提供されるため, システムは両方のラベルを出力したと考えられる.実際には同レビュー中，文 (3) の 2 文前には「ここでは特に朝食バイキングが種類も多く味も良いです.」という文があるため，注目文に関する文脈を適切に選択する方法と, 選択された文脈の効果的な
エンコーディング方法の考案が課題となる. このような類似カテゴリを持つアスペクトの分類については誤りが多い傾向にあった。実世界での応用においては，カテゴリ同士の類似性は不均一であることが多いことから, 本コーパスは「朝食」と「立地」のように関連性のない分類が容易なカテゴリ対と「朝食」と「夕食」のような分類が難しいカテゴリ対を兼ね備えた有用な評価コーパスであると考える.

表 3 実験結果 ( $\mathrm{P}$ : 精度, $\mathrm{R}$ : 再現率, $\mathrm{F}: \mathrm{F}$ 値)

カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F} \quad$ カテゴリ $\quad \mathrm{P} \quad \mathrm{R} \quad \mathrm{F}$

$\begin{array}{lllllllllllll}\text { 朝食 }(\mathrm{P}) & 0.79 & 0.80 & 0.80 & \text { 立地 }(\mathrm{P}) & 0.77 & 0.58 & 0.66\end{array}$

$\begin{array}{llllllll}\text { 朝食 }(\mathrm{N}) & 0.58 & 0.70 & 0.62 & \text { 立地 }(\mathrm{N}) & 0.63 & 0.56 & 0.59\end{array}$

$\begin{array}{llllllllllllllll}\text { 夕食 }(\mathrm{P}) & 0.74 & 0.75 & 0.75 & \text { 設・ア }(\mathrm{P}) & 0.73 & 0.66 & 0.69\end{array}$

$\begin{array}{lllllll}\text { 夕食 }(\mathrm{N}) & 0.57 \quad 0.66 & 0.61 & \text { 設・ア }(\mathrm{N}) & 0.72 & 0.57 & 0.64\end{array}$

風呂 $(\mathrm{P}) \quad 0.80 \quad 0.70 \quad 0.75$ 部屋 $(\mathrm{P}) \quad 0.74 \quad 0.71 \quad 0.72$

風呂 $(\mathrm{N}) \quad 0.75 \quad 0.66 \quad 0.70$ 部屋 $(\mathrm{N}) \quad 0.65 \quad 0.47 \quad 0.55$

サービス (P) $0.84 \quad 0.75 \quad 0.79$

サービス $(\mathrm{N}) \quad 0.72 \quad 0.590 .65$

マクロ平均 $\quad 0.720 .650 .68$

マイクロ平均 0.750 .690 .72

## 5 おわりに

本論文では，宿泊施設レビューに記述されるアスペクトと評価極性に着目して日本語 ABSA コーパス構築について説明した。また評価実験を通して分類実験を行い，その結果から困難なパターンについて考察した。今後の課題を検討した.コーパス中のレビュー数を増加させること，「価格」などコーパスではカバーし切れていない属性のカテゴリを増やすことが今後の課題である。構築したコーパスは，国立情報学研究所の情報学研究データレポジトリ7) （IDR）にて公開予定である.


## 参考文献

[1] Yuki Nakayama and Atsushi Fujii. Extracting conditionopinion relations toward fine-grained opinion mining. In Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 622-631, 2015.

[2] 新里圭司, 小山田由紀. 店舗レビューには何が書かれているか?一調査及び自動分類システムの開発一. 自然言語処理, Vol. 25, No. 1, pp. 57-79, 2018.

[3] Qingnan Jiang, Lei Chen, Ruifeng Xu, Xiang Ao, and Min Yang. A challenge dataset and effective models for aspect-based sentiment analysis. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP), pp. 6280-6285, 2019.

[4] Ruidan He, Wee Sun Lee, Hwee Tou Ng, and Daniel Dahlmeier. An interactive multi-task learning network for end-to-end aspect-based sentiment analysis. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 504-515, 2019.

[5] Minh Hieu Phan and Philip O. Ogunbona. Modelling context and syntactical features for aspect-based sentiment analysis. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (ACL), pp. 3211-3220, 2020.

[6] Jiaxin Huang, Yu Meng, Fang Guo, Heng Ji, and Jiawei Han. Weakly-supervised aspect-based sentiment analysis via joint aspect-sentiment topic embedding. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 6989-6999, 2020

[7] Maria Pontiki, Dimitris Galanis, John Pavlopoulos, Harris Papageorgiou, Ion Androutsopoulos, and Suresh Manandhar. SemEval-2014 task 4: Aspect based sentiment analysis. In Proceedings of the 8th International Workshop on Semantic Evaluation (SemEval), pp. 27-35, 2014.

[8] Maria Pontiki, Dimitris Galanis, Haris Papageorgiou, Ion Androutsopoulos, Suresh Manandhar, Mohammad ALSmadi, Mahmoud Al-Ayyoub, Yanyan Zhao, Bing Qin, Orphée De Clercq, Véronique Hoste, Marianna Apidianaki, Xavier Tannier, Natalia Loukachevitch, Evgeniy Kotelnikov, Nuria Bel, Salud María Jiménez-Zafra, and Gülşen Eryiğit. SemEval-2016 task 5: Aspect based sentiment analysis. In Proceedings of the 10th International Workshop on Semantic Evaluation (SemEval), pp. 19-30, 2016.

[9] Jeremy Barnes, Patrik Lambert, and Toni Badia. Exploring distributional representations and machine translation for aspect-based cross-lingual sentiment classification. In Proceedings of the 26th International Conference on Computational Linguistics (COLING), pp. 1613-1623, 2016.

[10] Md Shad Akhtar, Palaash Sawant, Sukanta Sen, Asif Ekbal, and Pushpak Bhattacharyya. Solving data sparsity for aspect based sentiment analysis using cross-linguality and multi-linguality. In Proceedings of the 2018 Conference of the North American Chapter of the Association for
Computational Linguistics: Human Language Technologies (NAACL), pp. 572-582, 2018.

[11] Chenggong Gong, Jianfei Yu, and Rui Xia. Unified feature and instance based domain adaptation for aspect-based sentiment analysis. In Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 7035-7045, 2020.

[12] Yohei Seki, Lun-Wei Ku, Le Sun, Hsin-His Chen, and Noriko Kando. Overview of multilingual opinion analysis task at NTCIR-8. In Proceedings of the Seventh NTCIR Workshop, 2010.

[13] 関洋平. 意見分析コーパスの現状と課題. 情報処理学会論文誌データベース（TOD）, Vol. 6, No. 4, pp. 85-103, 2013.

[14]藤井敦, 乾孝司, 中山卓哉. レビュー解析「レビュー 解析を題材とした「誤り分析マニュアル」の試作に向けた検討」. 言語処理学会第 21 回年次大会ワークショップ：自然言語処理におけるエラー分析, 2015.

[15] 藤井敦, 乾孝司. 自然言語処理技術の現状と展望一エラー分析プロジェクトを通して一: 3.11 レビュー 解析一誤り分析におけるプロセスとプロダクト一.情報処理, Vol. 57, No. 1, pp. 30-31, 2016.

[16] 栗原理聡, 水本智也, 乾健太郎. Twitter による評判分析を目的とした評価対象-評価表現データセット作成. 言語処理学会第 24 回年次大会発表論文集, pp. 344-347, 2018.

[17] J Richard Landis and Gary G Koch. The measurement of observer agreement for categorical data. biometrics, pp. 159-174, 1977.

[18] Jacob Devlin, Ming-Wei Chang, Kenton Lee, and Kristina Toutanova. BERT: Pre-training of deep bidirectional transformers for language understanding. In Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL), pp. 4171-4186, 2019.

## 付録. A 円滑なアノテーション作業 のために

本文で述べたような 7 種類のタグの付与を行う際に，実際の作業では判断に迷うことがある.ここでは，円滑な作業が行えるよう作業者に予め共有したいくつかのケースとその対応について述べる.

## A. 1 明示的な評価表現を含まない場合

作業対象文は, 事実を含まないが明らかな評価極性を含まない意見が記載されていることがある．特に, 明らかなポジティブではないが以下のようなポジティブとする例もある．基本的な判断基準は，満足しているのか不満を示しているのかを捉えることである.

・和洋室のお部屋は所々リフォームされていて苦になりません。(部屋 $\mathrm{P}$ )

・部屋のボタンなど環境が古いですが，問題ありませんでした。(部屋 $\mathrm{P}$ )

・朝食のみのプランでしたが朝食は可もなく不可もなく特に不満ありませんが取り立てて印象に残るものもありませんでした。(朝食 $\mathrm{P})$

・お部屋は確かに普通ですが, 料理や雪遊びをする際の環境，何よりオーナーご夫婦の人柄があたたかく，部屋のことを補って余りある素敵な宿だと思います。(サービス $\mathrm{P}+$ 設備 $\mathrm{P}+$ 夕食 $\mathrm{P}+$ 朝食 $\mathrm{P})$

・確かに部屋はオーシャンビューだけど，ただ見えるだけで他に何もない。(部屋 $\mathrm{N})$

・部屋は広くはなかったが，值段からすれば仕方がないと思う。(部屋 $\mathrm{N}$, 解釈 : 部屋が広くない=不満)

## A. 2 評価極性を持つ表現がー文に混在す る場合

一文内にポジティブもしくはネガティブの表現のどちらかのみが複数存在する場合はそのままの極性を付与する. しかしながら，これら両方についての評価表現が一文内に存在する場合，ポジティブとネガティブの両方を付与することとする.

・部屋はまあまあ良かったが便器が小さすぎなのが残念. (部屋 $\mathrm{P}+$ 部屋 $\mathrm{N}$ )

$\cdot$ 中身は素晴らしいので, 外観が勿体無い, という感じでした。(設備・アメニティ $\mathrm{P}+$ 設備・アメニティ $\mathrm{N}$ )

・蜘蛛の巣もあったし料理は最高に良かったんで
すけど。(サービス $\mathrm{N}+$ 夕食 $\mathrm{P}$ )

・少し残念な点朝食のオペレーションが非常に悪かった。(サービス $\mathrm{N}+$ 朝食 $\mathrm{N}$ )

・部屋のカビ臭をごまかすためのお香が鼻につくし，あちこちほこりだらけ。(サービス $\mathrm{N}+$ 部屋 $\mathrm{N}$ )

## A. 3 大まかな評価, 全ての項目をカバーす る場合

一文に 7 項目全てをカバーするような表現が存在することがある. この場合は, 全ての項目にポジティブまたはネガティブを付与する.

・ホテル，食事，サービス全てにおいて大，大，大満足で，おかげで忘れることのできない新婚旅行になりました。(7 項目全て P, 解釈 : 「ホテル（立地，部屋，設備・アメニティ，風呂), 食事 (朝食, 夕食), サービス (サービス) 全てにおいて」との記載があるので，全ての項目に夕グを付与)

・評価通り, 素晴らしい旅館でした。(7 項目全て P)

・総合的に最悪のお宿です. (7 項目全て $\mathrm{N}$ )

・全体的には良い内容のホテルでした。(7 項目全 ح P)

## A. 4 「より」「さらに」や比較，提案を伴 う場合

「こうすればさらに良い」や「こうしてほしい」といった記述がある．先の例でもあったようにユーザが基本的に満足しているかどうかに着目し, ポジティブ，ネガティブのどちらかを付与する.

・このお風呂が温泉であればいう事はありませ几. (風呂 $\mathrm{P}$ )

・飲み物の注文は 14 時からということで，友人が残念がっていました。(サービス N)

・シャワーは温度調節機能付なら, 100 点とおもいます。(風呂 $\mathrm{P}$ )

・ただデラックスシングルはドコモですがティー テーブルと椅子を設置してますのでご検討のほど。(施設 $\mathrm{N}$ )

・私は大山牧場のコーヒー牛乳でもあれば嬉しかったですね。(サービス $\mathrm{N}$ )

・食事は会場が静か過ぎるので，テレビか BGM があるといいですね (アメニティ $\mathrm{N}+$ 夕食 $\mathrm{N}+$朝食 $\mathrm{N}$ )