DEIM Forum 2022 C33-3

ガウス過程回帰に基づく個人的・集団的嗜好分布の効率的な推定
開發功太郎†

松原正樹††

伊藤 寛祥††

森嶋 厚行††† 筑波大学情報学群情報メディア創成学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2
E-mail: †kotaro.kaihotsu.2021b@mlab.info, ††{masaki,ito,mori}@slis.tsukuba.ac.jp
あらましマーケティングにおいて，ある個人がどのようなアイテムを好むか，あるアイテムを好む集団がどのくらい存在するかを把握することは重要である．特に音楽・美術・デザインなどのドメインにおいては，文化的背景によって評価が一致するとは限らず，集団の好みは多様となることが多い．また，アイテム数の増加により必要な回答数が増えてしまう問題もある．そこで本研究では，個人と集団の嗜好分布をガウス過程回帰によってモデル化し，多様な好みをより効率よく推定する手法を提案する．アイテムに対する評価値が何も与えられていない状況から，評価者が提示アイテムに対して逐次評価を与えることで対話的に嗜好分布を推定する問題を想定し，個人の嗜好分布を推定する際に集団の嗜好分布の推定結果を考慮したアイテムの提示を行うことで，より効果的な評価データのサンプリング
戦略を実現する．主観評価タスクを対象とするシミュレーション実験の結果，ベースライン手法の UCB 方策と比較して，提案手法は少ない回答数で評価者の好むアイテムを推定することが示された．
キーワード ガウス過程回帰，クラウドソーシング，主観評価，社会的価値観

1 はじめに今日，個人や集団の嗜好分布を把握することはマーケティン
グにおいて価値がある．ある人がどのようなアイテムを好むか，あるアイテムを好む人達がどの程度存在するかが理解でき，それによりどのような製品に需要があるかやどのような人たちにどのような広告を提示することが効果的であるかを把握できるためである．
現在，個人的・集団的嗜好分布を把握するとき，アンケート
や AB テストのような大規模な事前調査結果を分析するデータ
マイニング的アプローチが取られることがあるが，提示するア

図 1: 提案手法の全体像：個人的・集団的嗜好分布を考慮し次に提示すイテム数の増加により必要な回答数が増えるにつれて，回答者

るアイテムを決定する．回答者の主観評価をもとにガウス過程

が正しく評価できない，負担が高くなる，主観評価の信頼性や回帰により個人的嗜好分布と集団的嗜好分布を推定する．

品質に問題が生じてしまう．そこで，多腕バンディット問題に形式化して解決するなど，対話的で動的なアイテム提示のサン

多様な嗜好分布を推定しながら，新たな評価者に対して問い合

プリング手法が用いられている．

わせを行う時にサンプル数を増やすに従い漸近的に解に近づく

一方，音楽・美術・デザインなどの人間の主観が介入するドメインにおいては，個人の価値観や文化的背景によって必ずしこと (RQ1)，評価者から高い評価をもらい続けること (RQ2)が期待される．

も評価が一致するとは限らず，集団の好みは多様となることが検証にあたり，ベースラインには動的サンプリング手法としある． そのため，クラウドソーシングやマーケティングなどて広く用いられている，UCB 方策を採用し，シミュレーショ

で主観評価の結果を統合する際には，単純な多数決ではなく，

ン実験と実際の評価者を用いた実験を行った．実験の結果，提回答者がどのような好みや背景の基づいて回答しているのか等

案手法はベースラインよりも少ない回答数で評価者の好むアイの情報を考慮しながら，集団の評価の分布を推定する必要があ

テムを推定することが示された．

る [1], [2]．

本論文の構成は以下である．2 章で関連研究について説明をこれらの問題に対処するため，本研究では，集団の嗜好分布

行い，3 章で既知の評価者情報を用いて個人的・集団的嗜好をは多様ではあるがいくつかのグループに類型化することができ

効率よく推定する手法を提案する．4 章ではシミュレーションるという仮定をおき，対話的に個人の嗜好分布を推定する過程

実験と実際の評価者を対象をした実験とそれぞれの結果についにおいて，既に回答した他の評価者たちの情報を用いることでて示す．最後に，5 章において実験に対する考察を行い，6 章

より効果的な手法を提案する (図 1)．提案手法により，集団のにて本論文をまとめる．

f = (f (x1 ), f (x2 ), . . . , f (xN ))2 関連研究2. 1 多腕バンディット問題
個人的嗜好分布を予測する問題は提示するアイテムの集合をが平均 µ = (µ( x1 ), µ( x2 ), . . . , µ( xN )), Knn′ = k(xn , xn′ ) を要素とする行列 K を共分散行列とするガウス分布 N (µ, K) に従うとき，f はガウス過程に従うといい，これをアームと捉えることで多腕バンディット問題 [3] として扱うことf ∼ GP (µ(x), k(x, x′ ))ができ，広告配信システムなどで用いられている [4]．多腕バン
ディット問題とは複数のアームと呼ばれる候補の中から最も良

(1)

(2)

と書く [12]．

いものを逐次的に探す問題のことである．多腕バンディット問

N 個の観測値 D = {(x1 , y1 ), (x2 , y2 ) . . . , (xN , yN )} が与え題には累積報酬最大化や最適椀識別という 2 つの大きな枠組みられているとする．ここで y は平均が 0 になるように正規化さがあるが，本研究では累積報酬最大化を扱う．累積報酬最大化れているとする．ここで，x と y の間には y = f (x) の関係があのためのアルゴリズムでは UCB 方策やトンプソンサンプリンり，この関数 f が平均 0 のガウス過程 f ∼ GP (0, k(x, x′ )) か

グアルゴリズム [5] が知られている．

ら生成されているとする．y = (y1 , y2 , . . . , yN )T の時，y はガ

2. 2 群衆の嗜好分布が多様であることを考慮した研究
Baba ら [6] はクラウドソーシングによって集めた評価を，人ウス分布に従い，入力のすべてのペア (xn , xn′ ) についてカーネル関数 k(x, x′ ) をもちいてKnn′ = k(xn , x′n )がそれぞれ異なる評価軸に基づいていることを考慮し分析する(3)

手法を提示した．この研究ではフロンティアアイデアと呼ばれる少なくとも１つの評価観点においては最も評価されるアイデで与えられるカーネル行列 K をつかってアを特定することができる．この手法はあらかじめ全探索的に

y ∼ N (0, K)(4)

一対比較法で集めたデータを分析しているため多くの問い合わ
せコストが発生してしまう．一方，本手法では評価者からの評が成り立つ．本研究では，カーネル関数として以下で定義され価が高いと予想されるアイテムを提示することで少ない回答数

る RBF カーネルを用いる．

|x − x′ |2k(x, x′ ) = θ1 exp −θ2で嗜好分布を把握できることが期待される．

2. 3 評価者との対話により好ましいアイテムを特定する研究
小山ら [7] は多次元の嗜好分布を推定する問題において，多次元の嗜好分布の探索を人間がスライダー UI などとして認知しやすい一次元の問い合わせの連続に分解する手法を提示しここで，θ1 と θ2 はハイパーパラメータである．
観測値 D が与えられたとき，未知のデータ x∗ に対応する y ∗の予測分布 p(y ∗ |x∗ , D) はた．坂井ら [8] は対話的進化演算を用いて，群衆とシステムがp(y ∗ |x∗ , D) = N (k∗ K−1 y, k∗∗ − kT∗ K−1 k∗ )対話を繰り返すことで好まれるデザインを生成するシステムを提案した．これらの研究は多次元の人間の嗜好分布をシステ

ここでムとの対話により推定する点で共通しているが，人の嗜好がそ(れぞれ違うことを考慮していない．Kochanski ら [9] はベイズk∗ = (k(x∗ , x1 ), k(x∗ , x2 ), . . . , k(x∗ , xN ))T ,k∗∗ = k(x∗ , x∗ )最適化を用いて対話的に提示とフィードバックを繰り返すことでクッキーの味を最適化することができた．この研究では都市E[y ∗ |x∗ , D] = k∗ K−1 y

る．Brochu らは [10] は 3D グラフィックスの最適なテクスチャ∗

V[y |xの探索のためにベイズ最適化を用いた．この研究では 3D グラの画像から選ぶことで密に関わる多数のパラメータを調整することができた．この研究ではランダムサンプリングに比べ半分の回答数で目的の質感を得ることができている．

(6)

(7)

である．予測分布の期待値と分散はそれぞれによって好まれるクッキーの味が異なる可能性が示唆されていフィックスの訓練を受けていない評価者でも，提示された２つ(5)∗, D] = k∗∗ − kT∗ K−1 k∗

(8)
(9)

である．

4 問題定義本研究の目的は，評価者集団のクラスタと各評価者の嗜好分

3 前提知識この章では，本手法で用いているガウス過程回帰について説明する．
ガウス過程回帰は入力変数 x から出力変数である実数値 y への関数 y = f (x) を推定するモデルである [11]．N 個のデータ

x1 , x2 , . . . , xN ∈ X に対応する出力のベクトル

布をより少ない評価回数で推定することである．これにより，目標とする評価者集団において嗜好が類似する部分集団の推定
や，予測嗜好分布に基づく各アイテムの特徴量の最適化を，より少ない回答回数で求めるといったアプリケーションが実現できる．
入力は評価者の集合 W ，アイテムの集合 U ，設定するクラ
スタの数 nc である．各アイテムはそれぞれ n 次元の特徴量表 1: アイテム提示戦略の変数関数定義
変数

変数の説明

W

評価者集合 {w1 · · · w|W| }U

アイテム集合 {u1 · · · u|U | }C
D ⊆W ×U ×R
nc

クラスタの集合 {C1 · · · Cnc }評価者のアイテムに対する評価データ集合
クラスタ数

x ∈ Rk

各アイテムの特徴量y∈R

各アイテムの評価値

rw ∈ {0, 1}nc

各評価者の所属クラスタµ k : Rk → R

各クラスタのセントロイド関数

acquisit : Rk × W → R
NR

評価者ごとのアイテムに対する獲得関数
何名の評価者が終了する度に{rw }w∈W , {µk }k∈[nc ] = arg min J
ここで，目的関数 J は以下である．
Z
X X
rwk ∥E[y|x, D, w] − µk (x)∥22 dx
J=

(11)

w∈W k∈[nc ]関数 µk : Rk → R はクラスタのセントロイドを意味する．

rw = (rw1 , · · · , rwk )⊤ は評価者 w がどのクラスタに属するかを表現するベクトルで，各要素 rwk は以下のように表される．
R
 1 k = arg min ∥E[y|x, D, w] − µk (x)∥22 dx のとき
krwk = 0 それ以外.

クラスタを再計算するか

T

(10)

{rw },{µk }(12)

一人の評価者からの回答回数

本研究では上記のクラスタリング問題を k-means アルゴリズを持ち，x1 , x2 , . . . xnu ∈ Rn とかく．例えば，各アイテムの写真の色の RGB 値あるいは HSL 値，音声を録音するときのムにより最適化する．各クラスタ Ck は以下のように表される．

Ck = {w ∈ W | rwk = 1}

(13)

マイクの座標と角度などが特徴の例として挙げられる．評価者から与えられる評価データは，評価者とアイテムと評価値

クラスタの嗜好分布も個人の嗜好分布と同様にガウス過程のタプルとし，評価データ全体の集合を D とする．ここで，回帰モデルで表現する．このとき，クラスタ Ck の嗜好分布(w, u, y) ∈ D ⊆ W × U × R である．
出 力 は ，評 価 デ ー タ 集 合 D が 与 え ら れ た と き の 各 評 価
者 の 予 測 嗜 好 分 布 {p(y ∗ |x∗ , D, w)}w∈W ，評 価 者 の ク ラ ス
タ {Ck ∈ P(W)}k∈[nc ] お よ び 各 ク ラ ス タ の 予 測 嗜 好 分 布{p(y ∗ |x∗ , D, Ck )}k∈[nc ] である．ここで，各評価者および各クラスタの予測嗜好分布はガウス過程回帰モデルで表現されるものとする．
本研究で用いる記号の定義を表 1 に示す．

p(y ∗ |x∗ , D, Ck ) の期待値は以下のように求める．
E[y ∗ |x∗ , D, Ck ] =1 X
E[y ∗ |x∗ , D, w]|Ck | w∈C

(14)k

5. 2 アイテム提示戦略
評価者に提示するアイテムを選択するための戦略として，

UCB 方策をベースとした戦略を提案する．この戦略では，評価者の嗜好分布の期待値と分散の項からなる通常の UCB 戦略の獲得関数に加え，評価者が属するクラスタの嗜好分布の期待5 提案手法値の項を加えた獲得関数により，次に評価者に提示するアイテ
ムを選択する．このような獲得関数を利用することで，評価者提案手法の基本的なアイデアは，個人の嗜好分布の推定と同から十分な回答数が得られていない場合でも，その評価者がど時に評価者のクラスタの嗜好分布を推定し，各個人がどのクラのクラスタに属するかという情報を考慮することで，より効果

スタに属するかという情報を考慮したアイテムの提示を行うこ的なアイテムを提示することができる．

とで，より少ない回答数で推定を行うというものである．
提案手法は大きく 2 つの部分から構成される．1 つ目は評価者にアイテムを提示する部分である．アイテムの提示では，評評価者 wi ∈ W と特徴量 x を持つアイテムが与えられたとき，そのアイテムが評価対象としてどれだけ適切かを返す獲得関数 acquisit : Rk × W → R は次式で表される．

価者の嗜好分布のうち未知の部分の情報を得るための探索と，評価者が好むアイテムを提示する活用のバランスを考慮しながら行う．2 つ目は回答者から得たフィードバックをもとに評価者の嗜好分布を予想し更新する部分である．このとき評価者のacquisit(x, w) =E[y ∗ |x∗ , D, w] + α1 V[y ∗ |x∗ , D, w]
X+ α2
rwk E[y ∗ |x∗ , D, Ck ](15)k∈[nc ]

各アイテムへの評価の期待値と分散，評価者の所属クラスタ，

ここで，α1 , α2 はハイパーパラメータで，この重みを調整する

各クラスタの各アイテムへの評価の期待値と分散を再計算する.

ことで，探索と活用のバランスを調整することができる．本5. 1 評価者のクラスタの推定とクラスタの嗜好分布の推定
本研究では評価者のクラスタを，予測嗜好分布をクラスタリ
ングすることで求める．ここで，評価者のクラスタは嗜好の期待値の特徴空間全域における類似度に基づいて構成されると仮定する．これらより，クラスタリングの最適化問題は以下になる．

研究では回答者となる評価者は与えられると仮定し，上記のacquisit 関数を最大化する特徴量をもつアイテムを評価者に提示する．すなわち，以下のアイテム u∗ を提示する．

u∗ = arg min acquisit(xu , w)

(16)

u∈U

手法の全体の流れを Algorithm1 に示す．各評価者について，
データ点の評価と予測分布の再計算を行うステップと，評価者

の集合を意味する．本研究では，アイテムの特徴 x∗ について
一定の間隔を設定し，その間隔に従ってデータをサンプリング

Algorithm 1 Algorithm

することで，上記の値を近似的に計算する．

Input: W ，U , nc
Output:{p(y ∗ |x∗ , D, w)}w∈W, {p(y ∗ |x∗ , D, Ck )}k∈[nc ] , {Ck }k∈[nc ] .

1: D ← ∅この指標では評価者が一番好むアイテムを把握できているか

2: for t in [T ] do
3:を計測する．この指標はある評価者が実際に一番好むアイテム

for w ∈ W doと手法が推定した評価者が一番好むアイテムのパラメータの値

u∗ = arg max acquisit(xu , w)

4:

6. 1. 2 指標 2：一番好む点の X 座標の誤差∗の間にどのくらい差があるかを表す．具体的にはアイテムのパ

u∈U

5:

u ← 評価者から受け取った評価
yw

6:

u )}
D ← D ∪ {(w, u∗, yw

7:

E[y ∗ |x∗ , D, w], V[y ∗ |x∗ , D, w] を再計算

ラメータのユークリッド距離であり，以下の式で定義される．

∗

8:

end for9:

if t % NR == 0 then

各評価者 w の t 回目時点での最も好むアイテムの評価値のパラ
メータのユークリッド距離として以下を定義する．

T AE(w, t) = arg max Ê[y ∗ |x∗ , Dall , w]{rw }w∈W , {µk }k∈[nc ] = arg min J

10:x∗ ∈Rk{rw },{µk }11:for k in [nc ] do

12:E[y ∗ |x∗ , D, C

(t)

, w]

x∗ ∈Rk(19)
2

さらに，すべての評価者の平均を以下に定義する．

end if

15: end for

M T AE(t) =のクラスタリングを行うステップを適用する．ここで，計算量の削減のため，クラスタリングとクラスタの予測分布の再計算
は一定人数が評価した際に行う．また，クラスタリングを行う
際は，評価者の嗜好分布のすべての点ではなく，嗜好分布中に等間隔で設定したサンプリング点の期待値に基づいて計算する．

6 実∗− arg max E[y |x , Dk ] を再計算

end for

13:
14:

2
∗

1 X
T AE(w, t)|W| w∈W(20)

6. 1. 3 指標 3：評価者からの評価の大きさ
この指標では評価者に対して好ましいアイテムを提示し続けることができるかを計測する．この指標は t 回目の評価において評価者 w から受けた評価の大きさであり，以下の式で定義される．
(t)
AS(w, t) = yw

験

(21)

さらに，すべての評価者の平均を以下に定義する．
本章では実データを用いたシミュレーションと，実際に評価

M AS(t) =者を用いた実験の双方により提案手法の有用性を確認する．どちらの実験でも指標は嗜好分布全体の誤差 (指標 1)，一番好む
点の X 座標の誤差 (指標 2)，評価者からの評価の大きさ (指標3) を設定した．これらの指標について詳しく説明する
6. 1 指(22)

6. 2 実験 1：シミュレーション
6. 2. 1 設

標

1 X
AS(w, t)|W| w∈W

定

クラウドソーシングで主観評価の Ground Truth データを集

6. 1. 1 指標 1：嗜好分布全体の誤差

めたあと，Ground Truth データの期待値分布に基づいて仮想

この指標では提案手法によって評価者の好みを全体を把握で的に回答を行う評価者（以下，仮想回答者）によるシミュレー

きているかを計測する．具体的には評価者の実際の嗜好分布とション実験を行った．評価対象物は色の異なるスマートフォン

推定した嗜好分布の平均絶対誤差であり，以下の式で定義されの画像であり，最適化を行うパラメータは携帯電話の色相と彩る．各評価者 w の t 回目時点での評価値の絶対誤差として以下度である．色相は 180 段階，彩度は 255 段階に区切られておを定義する．

り，それらをかけ合わせた 45,900 種類の画像が用意される．

Z
AE(w, t) =Ê[y ∗ |x∗ , Dall , w] − E[y ∗ |x∗ , D(t) , w] dx∗(17)

等間隔にとった 32 枚の画像を抽出した．
（ 2 ） 32 枚の画像を対象に図 2a の 1∼7 点の得点を集める

さらに，すべての評価者の平均を以下に定義する．

1 X
M AE(t) =AE(w, t)|W| w∈W

Ground Truth データは以下の流れで作成した．
（ 1 ） 45,900 種類の画像の中から色相 8 種類，色相 4 種類をタスクを作成した．このタスクでは表示された 4 枚の携帯電話(18)の画像を得点が書かれた箱にドラッグアンドドロップする作業を 8 回繰り返す．

ここで，Dall ⊆ W × U × R はアイテム全域について評価者から（ 3 ） クラウドソーシングプラットフォームである Amazon

評価を受けた際の評価データの集合を意味し，D⊆ W ×U ×R

Mechanical Turk で 300 人の評価者を募った．評価者はオンラ

は，各評価者に対して t 回の評価を受けた段階での評価データ

インで上記タスクにより嗜好を入力した．その後すべての画像(t)

(a) 主観評価タスクのインタフェース．上部の緑色の枠内のアイテムを下部の青い(b) 推定された嗜好の期待値分布の例．この評価者は彩度が低い，暗い色を好むことがわかる．

枠の箱に移動させて 1 から 7 点の得点をつける．

図 2: 実験 1：シミュレーションのための主観評価 Ground Truth データの収集(a) M AE(t): 嗜好分布全体の二乗誤差．ベースラ
イン手法の方が誤差の収束が少し早い．

(b) M T AE(t): 推定された一番好むアイテムと(c) M AS(t): 評価者からの評価値の回答ごとの変Ground Truth との距離．提案手法の方が少化．

ない回答で好むアイテムを見つけられている．

図 3: 実験 1：シミュレーションにおける 3 つの指標での比較に対し等しい評価をした者 3 名を省き，297 人のデータを実験のために利用した。
（ 4 ） 集めた回答の得点の 1∼7 を-1∼1 の範囲に変換しガウス過程回帰を用いて，評価者の嗜好分布を推定した．図 2b は推定された嗜好の期待値分布の例である．
一人の仮想回答者からの回答数 T は 20 回，クラスタリングは

NR は 1 人が回答を完了するごとに毎回実行されるように設定

図 4: 最適化される WEB デザイン．色相と彩度のパラメータによりした．シミュレーションでは事前分布が与えられることの有効

サイトのメインカラーとアクセントカラーが決定される．

性を確認するため，はじめの 50 人はクラスタの形成にのみ用いて評価には含めなかった．獲得関数におけるクラスタの期待値に対する係数 α1 ，α2 は 1 に設定する．

6. 2. 2 結果

図 3a，3b，3c で結果を示す．すべての図において値は 50 回
繰り返し行ったシミュレーション結果の平均値である．塗られた範囲はシュミュレーション毎の標準偏差である．横軸は評価者にとって何回目の回答かを表している．
指標 1:M AE(t) の結果は図 3a である．20 回の回答終了時に提案手法とベースライン手法の間に大きな誤差の違いは見られない．しかし，ベースライン手法のほうがやや収束が早いと言える．指標 2:M T AE(t) の結果は図 3b である．提案手法のほうが全体を通してベースライン手法よりも低い誤差を保っている．指標 3:M AS(t) の結果は図 3c である．提案手法のほうがることがわかる．

6. 3 実験 2：評価者を対象とした実験
6. 3. 1 設定

実験 2 では実世界の評価者を対象に実験を行った．評価対象物はデザイン最適化が広く用いられている [13] [14] [15] [16]，WEB サイトのデザインである 1 ．図 4 のようにサイトのメイ
ンカラーとアクセントカラーが変化する．最適化を行うパラ
メータはメインカラーの色相と彩度である．アクセントカラーの色相と彩度はメインカラーと比べ 60 °大きく 30%鮮やかになるようになっている．シミュレーション実験のときと同じく，
色相は 180 段階，彩度は 255 段階に区切られており，それらをかけ合わせた 45,900 種類のデザインが用意される．

はじめは高いスコアを得ている事がわかる．一方で 6 回目の回
答あたりからベースライン手法のほうがやや高い評価を得てい

1：Web ページのテンプレートは https://free-hp.net/ で配布されているものを利用した(a) M AE(t): 嗜好分布全体の二乗誤差．提案手法(b) M T AE(t): 推定された一番好むアイテムと(c) M AS(t): 評価値の回答ごとの変化．提案手法

GroundTruth との色相と彩度のユークリッドのほうが全体的に早く収束している．

の方が良い評価を受けている．

距離．

図 5: 実験 2：実世界の評価者を対象とした実験における 3 つの指標での比較(a) 嗜好分布全体の二乗誤差 (20 回の回答の平均値)(b) 一番好むアイテムパラメータの GroundTruth(c) 評価値 (20 回の回答の平均値)．提案手法の方がより高い評価平均値を獲得している．

との距離 (20 回の回答の平均値)(d) 嗜好分布全体の二乗誤差 (20 回目の回答の値)(e) 一番好むアイテムパラメータの Ground Truth(f ) 評価値 (20 回目の回答の値)との距離 (20 回目の回答の値)

図 6: 実験 2 の 3 つの指標における評価者の個人差：上段は 20 回の回答の平均値，下段は 20 回目の回答時の評価値．指標の値が小さい順に評価者 (X 軸) をソートしている．

評価者は既存手法と提案手法の実験のそれぞれで 40 人をAmazon Mechanical Turk で募った．評価者はオンラインで実験 1 と同様なインタフェースにより提示された Web デザイン

して除外し，その後の分析ではベースライン手法では 39 人，提案手法では 38 人のデータを利用した．

6. 3. 2 結果に対して 1∼7 点で得点を入力する作業を 20 回繰り返す．獲得

全評価者における比較：結果は図 5a，5b，5c の通りである．す関数におけるクラスタの期待値に対する係数 α2 は，各評価者

べての図において値は評価者全員の平均になっている．横軸はに対する２回目の問い合わせまでは α2 = 3 に設定し，３回目評価者にとって何回目の回答であるかを示している．ts はベーの問い合わせ以降は α2 = 0 に設定する．その後，実験 1 と同スライン手法であるトンプソンサンプリングを，cts は提案手

様に評価者の Ground Truth の嗜好分布を求めた．45,900 種法を表している．図 5a からは提案手法のほうが回答を通して類のデザインの中から色相 6 種類，色相 4 種類を等間隔に抽出

低い誤差を保っている事がわかる．図 5b からどちらの手法もした 24 枚の画像に対して 1∼7 点で得点を入力し，評価データ

最も好むアイテムへの誤差を評価の数が増えるのに従い減らす

を正規化しガウス過程回帰によって計算した．

ことができていることがわかる．また，ベースライン手法のほはじめの 20 回すべての提示に同じ評価をした者をスパムとうが，早い段階で制度の高い推定ができていることがわかる．

(a) 色相 107，彩度 73．属する評価者は 19 人．

(b) 色相 107，彩度 183．属する評価者は 10 人．

(c) 色相 85，彩度 30．属する評価者は 10 人．

図 7: 集団的嗜好推定で得られた各クラスタの代表アイテム

図 5c からは提案手法のほうが評価者から一貫して高い評価を得ることができていることがわかる．一方でどちらの手法も評

7. 2 評価者から高い評価をもらい続けること (RQ2)
図 5c，6c から提案手法のほうが高いスコアを得ていること

価の数の増加と評価値の増加に相関は見られない．

がわかる．これは既知の他の評価者の情報を用いることで探索

評価者の個人差：図 6a〜6f はすべての評価者の 20 回の回答のを減らし活用を増やす事ができているからだと考えられる．

平均，20 回目の回答におけるそれぞれの指標の値である．評

また図 3c からはシミュレーション実験では，ベースライン

価者は指標の値が小さい順にソートしてある．図 6a, 6d から手法と同様に評価者から受け取った回答数の増加に伴う形でよは提案手法のほうが，ほとんどの評価者の嗜好分布をより小さり高い評価を得られていることがわかる．また，提案手法のほな誤差で予測できていることがわかる．図 6b, 6e からは指標 2

うが 2〜3 回目の回答で高い評価を得ることができている．こにおいて，提案手法のほうが多くの評価者では誤差が大きいこ

れはアイテムを提示する時に未知の部分が多い評価者嗜好の情とがわかる．一方でベースライン手法では一部の評価者の誤差報だけでなく，他の評価者の嗜好の情報を利用しているため，が飛び抜けて大きくなる問題が見られる．図 6c，6f からは提案

効果的な提示ができているからだと考えられる．一方で図 5c

手法のほうが，ほぼすべての評価者にとってより高い評価平均

からは実際の評価者を用いた実験では提案手法，ベースライン

値を獲得していることがわかる．

手法ともに評価者から受け取った回答数が増えたとしても，受推定された集団的嗜好：図 7a〜7b は実験の結果得られた 3 つ

け取る評価を上げることができていないことがわかる．原因とのクラスタのセントロイドのアイテムである．色相は 0〜179

して小山ら [7] が指摘しているように主観評価を絶対評価するの範囲でそれぞれ 107, 107, 85 であり，彩度は 0〜255 の範囲ことが難しいことが原因であることが考えられる．この問題へでそれぞれ 73, 183, 30 である．各クラスタの人数は 19, 10, 10の改善策は一対比較法などの相対評価手法を用いる事が挙げら人であった．

れる．

7 考

察

この章では 2 つの RQ について実験結果からの考察を述べる．

7. 1 新たな評価者に対して問い合わせを行う時にサンプル数を増やすに従い漸近的に解に近づくこと (RQ1)
図 3a，3b，5a，5b から，シミュレーション実験においても実際の評価者を用いた実験においても評価者から受け取った回
答数の増加に伴い漸近的に解に近づいていることがわかる．シ
ミュレーション実験では提案手法は，評価者が最も好むアイテ
ムの推定では高いパフォーマンスを出すことができた. 一方で評価者の嗜好分布全体を把握する指標ではベースライン手法のほうが高いパフォーマンスを出すことができた．これは提案手法は好ましくない部分への問い合わせを減らすことができているため，既存手法ほど探索を行っていないためだと考えられる．
また，実際の評価者を用いた実験でも，提案手法はより高い精度で評価者の嗜好分布全体を把握することができた．一方で評価者が最も好むアイテムの推定においてはベースライン手法のほうが早く収束した．

“そこそこ好ましい” アイテムを提示することが増え，類似したアイテムをその後に重点的に提示してしまったことが原因として考えられる．

8 結論

本論文ではこれまでに回答を得た評価者のデータを用いることで，新たな評価者の嗜好を少ない回答数で把握する手法を提案した．具体的には評価者にアイテムを提示し，そのアイテムへの評価を受け取り嗜好分布を再計算する枠組みの中で，新たな評価者にアイテムを提示する時に評価者の情報に既知の他の評価者の嗜好の情報を利用する戦略を取る．既知の他の評価者の嗜好の情報は，評価者たちの嗜好分布をクラスタリングし作られたクラスタの嗜好の情報として利用される．
結果を検証したところ，評価者が理想的な回答をする場合では提案手法は少ない回答数で評価者の嗜好分布を把握することが可能であることがわかった．また，高い評価値を得ることが可能であることもわかった．一方で実際の評価者を対象とする
場合はまだ課題が残る形となった．今後の課題として，ガウス
過程回帰のハイパーパラメータ・クラスタ数を人手で調整する必要があること，1 つのドメインでしか検証できていないこと，空間の次元数が増えた際に機能するか検証されていないこと，
主観評価を絶対評価ですることが難しいことが挙げられる．

謝

辞本研究の一部は JST CREST (JPMJCR16E3)，JSPS 科研費（JP21H03552），JST 未来社会創造事業 JPMJMI19G8 の支援を受けたものである．ここに謝意を示す．

文

献[1] Jiyi Li, Yukino Baba, and Hisashi Kashima. Hyper questions: Unsupervised targeting of a few experts in crowdsourcing. In Proceedings of the 2017 ACM on Conferenceon Information and Knowledge Management, CIKM ’17,
pp. 1069–1078, 2017.
[2] Muhammad Zahid Tunio, Haiyong Luo, Wang Cong, Zhao
Fang, Abdul Rehman Gilal, Ahsanullah Abro, and Shao
Wenhua. Impact of personality on task selection in crowdsourcing software development: A sorting approach. IEEE
Access, Vol. 5, pp. 18287–18294, 2017.
[3] 小宮山純平. 多腕バンディット問題. 人工知能, Vol. 31, No. 5,
pp. 743–747, 2016.
[4] Lihong Li, Wei Chu, John Langford, and Robert E.
Schapire. A contextual-bandit approach to personalized
news article recommendation. Proceedings of the 19th international conference on World wide web - WWW2010,
2010.
[5] William R. Thompson. On the likelihood that one unknown
probability exceeds another in view of the evidence of two
samples. Biometrika, Vol. 25, No. 3/4, pp. 285–294, 1933.
[6] Yukino Baba, Jiyi Li, and Hisashi Kashima. Crowdea:
Multi-view idea prioritization with crowds. In Proceedings of the AAAI Conference on Human Computation and
Crowdsourcing, Vol. 8, pp. 23–32, 2020.
[7] Yuki Koyama, Issei Sato, Daisuke Sakamoto, and Takeo
Igarashi. Sequential line search for eﬃcient visual design
optimization by crowds. ACM Transactions on Graphics(TOG), Vol. 36, No. 4, 2017.
[8] 坂井将之, 竹之内宏, 徳丸正孝. デジタルサイネージを用いた複数のユーザの投票によるデザイン生成支援システム. 日本感性工学会論文誌, Vol. 15, No. 4, pp. 503–511, 2016.
[9] Benjamin Solnik, Daniel Golovin, Greg Kochanski, John Elliot Karro, Subhodeep Moitra, and D. Sculley. Bayesian optimization for a better dessert. In Proceedings of the 2017
NIPS Workshop on Bayesian Optimization, 2017.
[10] Eric Brochu, Vlad M Cora, and Nando De Freitas. A tutorial on bayesian optimization of expensive cost functions,with application to active user modeling and hierarchicalreinforcement learning. arXiv preprint arXiv:1012.2599,
2010.
[11] 赤穂昭太郎. ガウス過程回帰の基礎. システム／制御／情報,Vol. 62, No. 10, pp. 390–395, 2018.
[12] 持橋大地, 大羽成征. ガウス過程と機械学習. 講談社サイエン
ティフィク, 2019.
[13] Ron Kohavi, Alex Deng, Roger Longbotham, and Ya Xu.
Seven rules of thumb for web site experimenters. In Proceedings of the 20th ACM SIGKDD International Conferenceon Knowledge Discovery and Data Mining, KDD ’14, pp.
1857–1866, 2014.
[14] Katharina Reinecke and Krzysztof Z Gajos. Quantifying
visual preferences around the world. In Proceedings of the
SIGCHI conference on human factors in computing systems, pp. 11–20, 2014.
[15] Dave Gehrke and Efraim Turban. Determinants of successful website design: relative importance and recommendations for eﬀectiveness. In Proceedings of the 32nd Annual Hawaii International Conference on Systems Sciences.

1999. HICSS-32. Abstracts and CD-ROM of Full Papers, p.
8 pages, 1999.
[16] O. Byung Kwon, Choong-Ryuhn Kim, and Eun Jong Lee.
Impact of website information design factors on consumer
ratings of web-based auction sites. Behaviour & Information Technology, Vol. 21, No. 6, pp. 387–402, 2002.