DEIM Forum 2023 5a-8-4

エシカル・ベイズ最適化のためのクラスタを考慮したアプローチ
山﨑 悠人†

松原 正樹††

伊藤 寛祥††

蔵内 雄貴†††

山本

隆二†††

南部 優太†††

幸島

匡宏†††

森嶋 厚行††† 筑波大学情報学群知識情報・図書館学類 〒 305–8550 茨城県つくば市春日 1-2†† 筑波大学図書館情報メディア系 〒 305–8550 茨城県つくば市春日 1-2††† NTT 人間情報研究所 〒 239–0847 神奈川県横須賀市光の丘 1-1
E-mail: †s1811546@s.tsukuba.ac.jp, ††{masaki,ito,mori}@slis.tsukuba.ac.jp,†††{yuta.nambu.fs,masahiro.kohjima.ev,yuuki.kurauchi.mv,ryuji.yamamoto.sv}@hco.ntt.co.jp
あらまし

現代社会において、様々なシステムのパーソナライゼーションを行うためには、個人の嗜好や特性を推定することが不可欠である。嗜好や特性の分布を推定する手法としては、ガウス過程回帰を用いたベイズ最適化が有望視されている。しかしベイズ最適化では、回答者の嗜好を推定するプロセスにおいて回答者がどのように感じるかは考慮されていない。触覚、味覚、嗅覚のような敏感な感覚器官に従って回答する問題においては，質問に含まれる刺激を回答者が好まない場合，最適化プロセスが回答者に不快感を与える可能性がある。本論文では、ベイズ最適化の際に，その効率を落とさずに回答者の不快感を低減させる，エシカル・ベイズ最適化を実現する方法について議論する。そのために，回答者を嗜好の類似性に基づいてクラスタに分け，クラスタの情報を獲得関数に適用することで，高い効率性と探索過程の初期段階における評価の低い刺激の提示の抑制を両立するアプローチを提案する．3 つの異なるドメインでの実験の結果、ベースラインの GP-UCB と比較して評価の低い刺激の提示を回避しながら効率的に嗜好を推定できることが示された。
キーワード エシカルユーザモデリング，ベイズ最適化，嗜好推定，感情
本論文では，回答者の不快感を減らしつつ少ない問い合わせ

1 はじめに現代社会では，パーソナライゼーションが非常に重要視されている [22], [24], [27]．これは，製品やサービスを個々人に合わせて最適化するという考え方で，顧客体験の価値を高めること，顧客満足度を向上させることが期待される [2], [3], [31]．これを実現するためには，個々人の嗜好を理解することが不可欠である．
少数のフィードバックで個人の嗜好分布を推定する手法としてベイズ最適化が用いられることがある [4], [20]．これはブラックボックス関数の最適化手法の一つで，探索と活用の両方を考慮して解空間の中から効率的な解を選んで評価することができる [11], [28]．様々な解に対する個々人の評価の大きさをブ
ラックボックス関数と見なすことができるため，ベイズ最適化
はヒューマンインザループ最適化問題においても用いられることがある [7], [8], [19], [29]．しかし，ベイズ最適化の目的は少ない質問数で関数値が最大となる解を推定することであるため，質問の過程で回答者がどのように感じるかは考慮されていない．
例えば好みの画像や音を推定する際，回答者が好まない画像や音が提示されると回答者に不快感を与える可能性がある．昨今の VR・AR の技術革新を鑑みると，今後侵襲性の高い刺激入出力を行うインタフェースが日常生活で使われることが予想される．その中でレコメンド技術やベイズ最適化技術と組み合わされることは容易に想像できる．

数で回答者が高く評価する解を推定するというエシカル・ベイ
ズ最適化の問題を検討する．我々は，人々の嗜好にはいくつかのパターンが存在する（協調フィルタリング [10], [26] などにこの考え方が使われてる）ため，その情報を利用することで評価の低い解の提示を低減することができるという仮説を立てた．
この考えに基づいて，嗜好の類似性に基づいて回答者をいくつかのクラスタに分割し，クラスタからの情報を獲得関数に適用する Cluster-aware Bayesian optimization (CBO) というフ
レームワークを開発した．
要約すると，我々のリサーチクエスチョンは，クラスタを考慮したアプローチがエシカル・ベイズ最適化の問題に対して有効であるか，である．我々の貢献は以下の通りである．(1) クラスタを考慮したベイズ最適化（CBO）を正式に定義する．(2)クラウドソーシングで収集した実世界のデータセットを用いてシミュレーション実験を行い，CBO の適切な利用方法を特定する．
得られた知見(1) 既存手法 GP-UCB と比較して，特にプロセスの初期において CBO は評価の低い解の提示を低減できる．

(2) エシカル・ベイズ最適化の問題に対して，様々なデータセットに対応する良いパラメータ設定戦略が存在する．

図 1: Cluter-aware Bayesian optimization(CBO):CBO はクラスタの情報を参照してユーザの嗜好分布を推定する．CBO は，回答者が好まない解の提示を避けるというエシカル・ベイズ最適化の問題に対して効果的であることが期待される

選んでもらうペアワイズ比較の方が，絶対評価を求めるよりも

2 関連研究2. 1 ブラックボックス関数の最適化手法
ブラックボックス関数の最適化では，ベイズ最適化以外に遺伝的アルゴリズム [1], [14], [32] や粒子群最適化 [17] などのメタ
ヒューリスティックなアルゴリズムが用いられることがある．
しかし，メタヒューリスティックなアルゴリズムは通常，膨大な数の解の評価を必要とする．人の嗜好を推定するためには，
多くの質問に答えなければならない [9], [30]．ベイズ最適化は比較的少ない解の評価回数で優れた解を推定することができる
ため，解の評価に時間がかかる問題，例えば大規模深層学習モ

回答者が答えやすいため，ペアワイズ比較が広く用いられている．この性質を利用して，小森らは，顔に対する人々の嗜好を推定するためにこの手法を採用している [19]．
小山らは，パラメータチューニングを必要とする設計タスクに対して，ベイズ最適化の恩恵を受けながら，ユーザが自ら解空間を探索できるフレームワークを提案した [21]．解空間に関する前提知識があればこのフレームワークを用いることで，解空間を広く探索する必要がある一般的なヒューマンインザルー
プベイズ最適化よりも効率的に最適化することが可能である．
これらの研究では，質問を単純化したり，解空間を素早く探索することで，回答コストを削減している．しかし，回答者のデルにおけるハイパーパラメータ選択 [6]，マルチエージェント

評価が低い解を問い合わせしないようにすることで，心理的評

シミュレータのパラメータ推定 [18]，材料科学分野の結晶構造

価コストを低減する研究は行われていない．

決定 [33] などに利用されている．

2. 3 制約付きベイズ最適化
2. 2 ヒューマンインザループベイズ最適化において回答者の負担を軽減する研究
ヒューマンインザループベイズ最適化とは，解の評価を人間が行うベイズ最適化のことである [8]．この分野では人間の回答
コストを削減するための研究がいくつかなされている．
主観評価においては，2 つの解のどちらが良いかを回答者に

ベ イ ズ 最 適 化 に 関 す る 文 献 で は ，制 約 付 き 最 適 化 問
題 [12], [13], [15], [16] が研究されている．制約条件は未知であるため，解の評価ステップごとに関数値と解が各条件を満たすか否かを示す変数が与えられるという設定を考えている．そのため，上記の方法をエシカル・ベイズ最適化の問題に適用するためには，ユーザは解の評価と解が不快か否かの 2 種類の回答をする必要があるため，ユーザの負担が大きくなる．また上

イズ最適化では未知の関数はガウス過程からサンプリングされ記の方法では，最適化の結果の倫理性（制約条件が満たされてたと仮定することが多い．ガウス過程回帰を用いたベイズ最適いるか）しか考慮することができない．我々の CBO は，最終化では，獲得関数を用いて探索と活用の両方を考慮した解を一的な最適化結果だけでなく，最適化の過程が倫理的であるかをつ選択し，その関数値を得るという操作を繰り返すことで関数考慮する．

の最適化を行う．獲得関数には，すでに得られた中で最も高い関数値と比べて予測される関数値が大きくなる確率を考える

3 前提知識PI，すでに得られた中で最も高い関数値と予測される関数値の差を考える EI，予測される関数値の期待値と標準偏差（関数の3. 1 ガウス過程回帰

不確実性を表す）の和を考える GP-UCB が一般的に用いられ

ここでは，CBO の中で用いられるガウス過程回帰について説明する．ガウス過程回帰とは，入力変数 x から出力変数 y への関数 y = f (x) を推定するモデルである [25]．また通常の回帰とは異なり，各点 x の分散も得られるため，推定された関数のあらゆる点における不確かさも同時に推定することができる．
ま ず ，ガ ウ ス 過 程 の 定 義 は 以 下 で あ る ．ど ん な 自 然 数

N に つ い て も ，入 力 x1 , x2 , ..., xN ∈ X に 対 応 す る 出

る [28]．すべての解について獲得関数の値を計算し，その値が最も大きくなる解を評価することで関数値を得る．
我々が提案するアプローチ CBO では GP-UCB を拡張した獲得関数を用いる．t 回目までに選択された解とその関数値のペアに対してガウス過程回帰を用いることで作られた分布の期
待値を µ(x), 分散を σ 2 (x) とすると，t + 1 回目に選択される解を決定する獲得関数 GP-UCB は以下の式で表される．

力 の ベ ク ト ル f = (f (x1 ), f (x2 ), ..., f (xN )) が 平 均 µ =(µ(x1 ), µ(x2 ), ..., µ(xN )), Knn′ = k(xn , xn′ ) を要素とする
行列 K を共分散行列とするガウス分布 N (µ, K) に従うとき，

f はガウス過程に従うという．これを以下のように表す．
f ∼ GP (µ(x), k(x, x′ ))(1)

続いて，N 個の観測値，すなわち入力 x ∈ X と出力 y ∈ Rの N 個のペア D = {(x1 , y1 ), (x2 , y2 ), · · · , (xN , yN )} が与え

acquisition(x) = µ(x) + α1 σ(x)(7)

ここで，獲得関数の標準偏差項にある定数 α1 はハイパーパ
ラメータである．α1 が大きいときは関数の不確実性を表す標
準偏差項の値が獲得関数に大きく反映されるため探索のための解が選ばれやすくなる．逆に α1 が小さいときは関数の評価値を表す期待値項の値が獲得関数に大きく反映されるため，活用のための解が選ばれやすくなる．

られているとする（y の平均は µ）．このとき，x と y の間に

y = f (x) の関係があり，この関数 f がガウス過程

4 エシカル・ベイズ最適化へのアプローチ′f ∼ GP (µ(x), k(x, x ))4. 1 問 題 設 定から生成されるとみなすとき，x と y の関係をガウス過程回帰モデルで扱うことができる．
観測値 D が与えられたとき，未知のデータ x∗ に対応する y ∗∗本研究では，回答者の集合を W = {w1 , ..., w|W| } とし，それぞれが与えられた解 x を評価しその関数値 y を回答すると仮定する．ある回答者から得られたデータを Dw = {(xi , yi )}，得 ら れ た 全 デ ー タ を D = {Dw }w∈W と 定 義 す る ．さ ら に∗の予測分布 p(y |x , D) は(t)∗p(y |x∗−1, D) = N (kT∗ K−1 y, k∗∗ − kT
k∗ )
∗ K

Dw = {(xi , yi )} を回答者 w への 1 から t 回目までの問い(2)

合わせから得られたデータの集合とする．また，回答者 w の予測分布を p(y ∗ | x∗ , Dw ) とし，その平均と共分散行列は Dw

ただしから計算される．期待値と分散はそれぞれ E[y ∗ | x∗ , Dw ] とk∗ = (k(x∗ , x1 ), k(x∗ , x2 ), · · · , k(x∗ , xN ))Tk∗∗ = k(x∗ , x∗ )(3)V[y ∗ | x∗ , Dw ] である．

(4)

4. 2 エシカル・ベイズ最適化
エシカル・ベイズ最適化とは，回答者の不快感を減らしながである．
このとき予測分布の期待値と分散はそれぞれ以下の式で表さ

ら（関数値が低くなるような解の評価を避けながら）ベイズ最適化を行うという考え方である．通常のベイズ最適化では，解れる．
∗

E[y |x∗, D] = kT∗ K−1 y(5)−1V[y ∗ |x∗ , D] = k∗∗ − kT
k∗
∗ K

(6)

3. 2 ベイズ最適化

空間を広く探索しながら最適化を行うため，関数値が低いと予測される解も選択されることがある．しかし，触覚，味覚，嗅覚などに関する刺激に対する嗜好や特性を推定する場合，そのような解を選択することは避けたい．関数値が低いことは，回ベイズ最適化とは，ある未知の関数 f (x) の評価回数を最小限∗に抑えながら，未知の関数を最大とする解 x = arg max f (x)x∈Xを推定する問題のことである [5], [11]．評価回数を最小限に抑えるために関数の不確実性も考慮しなければならないため，ベ

答者が好まない刺激を食べたり嗅いだりしたことを意味し，この時回答者は不快感を覚えている可能性があるためである．エ
シカル・ベイズ最適化は，上記のような嗜好や特性を推定する問題に有効であると考えられる．

表 1: 記号の定義
Notation Description
W

回答者集合． 一人の回答者は w ∈ W と表される．

D

データセット.

C

クラスタ集合． C = {C1 , C2 , ..., Cnc }一人の回答者から得られたデータは Dw = {(xi , yi )} と表される

各クラスタの期待値（セントロイド関数)．

µk (x)

クラスタ数．

ncrw

回答者 w がどのクラスタに所属するかを表すベクトル．

x解の特徴量．

y各解に対する関数値．

T

各回答者に対する問い合わせの回数

エシカル・ベイズ最適化の定義
(t )
(t )
2 つのベイズ最適化のプロセス D̂w A と Dw B が得られた場合を考える．
(t )

(t )

•

B
max(D̂w A ) >= max(Dw )

•

(t )
D̂w A

は

(t )
Dw B

かつ tA <
= tBに比べて回答者が不快に感じる解

rw は以下の式によって決定する．
∫ 1 j = arg min ∥ E[y ∗ | x∗ , Dw ] − µk (x) ∥22 dxkrwj = 0 Otherwise.
(10)
各回答者が所属するクラスタ Ck は以下の 2 つの式によって決が含まれていない
(t )

(t )

この 2 つの条件を満たすとき，「D̂w A は Dw B よりエシカルで定する．

ある」と定義する．ただし max(Dw ) = max(x,y)∈Dw y である．

{rw }w∈W , {µk }k∈[nc ] = arg min L(11)

Ck = {w ∈ W | rwk = 1}(12)

rw ,µk

本論文では，これを全回答者から得られた関数値の平均値で評価する．具体的には，mean average preference value (MAPV)により評価する．

値 E[y ∗ | x∗ , D, Ck ] として計算され，これは以下の式で定義さ

MAPV の定義は以下の通りである．
M AP V (t) =クラスタのセントロイド関数 µk (x) は k 番目のクラスタの期待れる．

1 ∑ (t)yw ,|W | w∈W(8)µk (x∗ ) = E[y ∗ | x∗ , D, Ck ] =1 ∑E[y ∗ | x∗ , Dw ].
|Ck | w∈Ck(t)

ここで，yw は回答者 w の t 回目の関数値を意味する．MAPV(13)は t が大きくなるにつれて大きな値になることが期待される．

つまり E[y ∗ | x∗ , D, Ck ] をクラスタの期待値とする．k-means

MAPV の最小値が大きく，最大値が大きい程，全体のプロセ法においてクラスタの数 nc はハイパーパラメータとなっていスは優れたエシカル・ベイズ最適化であることを表す．

る．我々はこれを x-means 法により自動的に計算する [23]．

4. 3 提案手法 CBO(Cluster-aware Bayesian optimization)

4. 3. 2 クラスタの期待値を適用させた獲得関数
CBO では，回答者の嗜好を推定する際その回答者が所属すると考えられるクラスタの期待値が獲得関数に足し合わされる．

本研究では，CBO を提案し，エシカル・ベイズ最適化の問

回答者 w が t 回目の回答をした後に所属すると推定されるク

題への適用を試みる．CBO とは，回答者を嗜好の類似性に基ラスタを rw と表す．rw は E[y ∗ | x∗ , Dw ] の再計算をした後づいていくつかのクラスタに分け，クラスタに所属する回答者に式 10 を用いることで計算される．

(t)

(t)

(t)

の分布の期待値の平均値（クラスタの期待値と呼ぶ) を獲得関CBO の獲得関数は t 回目の回答をした後に推定される期待数に適用する手法である．嗜好の類似性に基づいて回答者集合

値 E[y ∗ |x∗ , Dw ]，分散 V[y ∗ |x∗ , Dw ]，ベクトル rw を利用しをクラスタリングする部分と，クラスタの期待値を獲得関数にた以下の式によって表される．

適用する部分の 2 つに分けて説明する．

4. 3. 1 回答者のクラスタリング
CBO では ，回 答 者 集 合 を クラ ス タ リ ン グ す る た め に kmeans 法を使用する．ここでは，クラスタ数を nc と表す．
関数 µk (x) はそれぞれのクラスタのセントロイド関数であり，rw = (rw1 , · · · , rwnc )⊤ は回答者 w が t 回目の回答をした後ど

(t)

(t)

(t)

(t)
acquisition(x∗ , w, t) = E[y ∗ | x∗ , Dw
]
√
(t)
(t)
V[y ∗ | x∗ , Dw ]
+ α1
∑ (t)
(t)
+ α2
rwk µk (x∗ )(14)k∈[nc ]
(t)(t)

のクラスタに所属するかを表すベクトルである．k-means 法に

ここで α1 と α2 はハイパーパラメータである．クラスタのよる回答者集合のクラスタリングは，以下の関数 L の最小化問

期待値項と標準偏差項の効果を調節するために，回答数に従っ題である．

てこれらのパラメータの値を変化させる．そのため我々は，実L=∑ ∑w∈W k∈nc∫
rwk

験を行うことでパラメータの理想的な変化のさせ方を探る．

∥ E[y ∗ | x∗ , Dw ] − µk (x) ∥2 dx (9)2

CBO の獲得関数（式 14) を最大にする解が回答者 w に t 回存在する．悲しみ表情画像は FaceGen 1 を使用して 4 つの表情

Algorithm 1 Algorithm

筋パラメータ（眉，目，鼻，口）の値をそれぞれ変化させるこ

Require: W, Nとで作成した．合成音声は VOICEPEAK 2 を使用して，速さ，

Ensure: D

ピッチ，幸せ感情レベル，をそれぞれ変化させることで作成し

1: D ← ∅た約 10 秒程度の日本語の音声である．

2: for w ∈ W do
3:

エシカル・ベイズ最適化の問題としては香りや味の好みに関

for t ∈ [T ] doするドメインの方が実験により適しているが，研究倫理の観点

4:

xt = arg max acquisition(x∗ , w, t)

5:yt ← value from a respondent w.

6:

Dw ← Dw ∪ {(xt , yt )}7:

Recalculate E[y ∗ |x∗ , Dw ], V[y ∗ |x∗ , Dw ]8:(t)
Recalculate rw

x∗ ∈X

(t)

からこれらについてのデータを収集することができなかったた
め上記の 3 つのドメインで実験を行った．
データセットの生成(t)

3 つのドメインそれぞれについて，回答者 w の嗜好分布を表
すデータセット Dw を生成した（図 2）．これらは解に対する

9:

end for10:{rw }w∈W , {µk }k∈[nc ] = arg min L

関数値を回答するだけでなく，嗜好推定のグラウンドトゥルー{rw },{µk }スとしても使用される．

11: end for

それぞれのデータセット Dw はクラウドソーシングによって生成された．
「スマートフォン」，「顔」には AMT 3 ，「音声」に目の質問として選択される．つまり，以下の入力 xt が選択される．

xt = arg max acquisition(x∗ , w, t)
x∗ ∈X

(15)

は Lancers 4 を使用し（Lancers には音声データに関するタスクのテンプレートが存在したため），それぞれのドメインで回答
者 300 人ずつ Dw を得た．
マイクロタスクにおいて，各クラウドワーカーに全ての解

GP-UCB（式 7) と比較すると，CBO の獲得関数（式 14）に（例えば，
「スマートフォン」の場合は 45,900 通り）について回

はクラスタの期待値項が追加されている．α1 と α2 という 2 つ

答してもらうことは現実的ではないため，各点が解空間の同じのハイパーパラメータが存在するが，これらの値を調節するこ

大きさの領域を表すように選択したサンプリング点に関してのとで獲得関数からどんな解が選択されるかを調節することがで嗜好を関数値として収集し，その他の関数値は補完した．詳細

きる．α1 が大きな値を取るとき探索のための解が選択されやな実験は以下のとおりである．

すくなることは GP-UCB と変わらない．α2 が大きな値を取る（ 1 ） サンプリング点の選択：サンプリング点は，予備実験

ときはクラスタの期待値項の値が獲得関数に大きく反映されるに基づいて各次元で嗜好が大きく変化するほど数値の数が多くため，活用のための解が選択されやすくなる．回答者の所属すなるように選択した．例えば，「スマートフォン」では，色相をるクラスタが正しく推定できているときは，クラスタの期待値

4 つ，彩度を 8 つにしたが，これは予備実験の結果彩度がより項を利用することで探索の回数が少なくても関数値が大きいと重要であることが分かったからである．

考えられる解を選択することが期待できる．

（ 2 ） クラウドソーシング：各クラウドワーカーに，選択し本手法の全体の流れを Algorithm 1 に示す．各質問を終える

たサンプリング点について（7 段階のリッカート尺度で）嗜好

毎に回答者の所属するクラスタ，期待値，分散の再計算を繰りを回答させた．
「スマートフォン」の場合，4 ∗ 8 = 32 通りの色

返すステップと，各評価者の嗜好の推定を終える毎にクラスタについての嗜好を回答させた．質問に答えるのに必要な時間を

リングの再計算をするステップが存在する．

考慮して，各ワーカーに 0.5USD を支払った．顔タスクと音声
タスクについても，同じ方針でそれぞれ 0.5USD，1USD 程度

5 実験と結果
エシカル・ベイズ最適化の問題に対して，CBO が有効かど
うか，CBO のハイパーパラメータの適切な設定方法は何か，を調査するために我々は 2 つの実験を行った．

5. 1 共通の設定
実験ドメイン
本実験は「スマートフォン」（スマートフォンの色の好み），「顔」（悲しみ表情画像），「音声」（合成音声）の 3 つのドメインを使用して行った（表 2）．
スマートフォンの色画像は 2 次元（色相 180 段階，彩度 255段階）で表され，全ての色はこれらを掛け合わせた 45900 通りを支払った．
（ 3 ） 欠損値の補完：解空間は 45,900 点からなるので，収集した 32 組の解とその関数値に対してガウス過程回帰を適用し，全体の分布を求めた．

5. 2 実験1

5. 2. 1 実 験 手 順
我々は以下の手順で実験 1 を行い，その結果を既存手法のGP-UCB と比較した．
（ 1 ） グランドトゥルースと CBO を用いて質問を繰り返す
1：https://facegen.com/
2：https://www.ah-soft.com/voice/6nare/
3：https://www.mturk.com/
4：https://www.lancers.jp/

表 2: 実験ドメインとデータセット作成に使用したサンプリング点
ドメイン

次元数

解空間の広さサンプリング点

スマートフォン

2

各次元の値の数
色相:180, 彩度:255

45,900

色相:4, 彩度:8

顔4

眉:21, 目:21, 鼻:21, 口:21

194,481

眉:3, 目:3, 鼻:3, 口:2

音声

3

速さ:76, ピッチ:151, 幸

585,276

速さ:4, ピッチ:4, 幸せ

せ感情レベル:151

感情レベル:4

図 2: データセット Dw の生成ことで，回答者の嗜好や特性の分布を推定する．
（ 2 ） 回答者への問い合わせの過程で，回答者がどのように感じているかを MAPV で確認する．
本実験は「スマートフォン」ドメインで実施した．エシカル・
ベイズ最適化は，少ない問い合わせ回数で大きな関数値を得ることも目的の一つであるため，回答者一人あたりの問い合わせ
回数 T を 20 回とした．全回答者に 20 回ずつ問い合わせする
ことを 1 イテレーションとし，我々は 7 イテレーション実験を行った．実験の結果は 7 イテレーションの平均をとったものである（標準偏差も表示する）．各イテレーションが終了するたび
図3に，回答者の順番はシャッフルした．最初の 50 人の回答者はクラスタ作成のために使用され，評価には含まれなかった．50 人の回答者が回答を終えるたびに x-means 法を実行し，クラスタと α2 ）が存在し，これらの設定をすべて網羅的に実験するこ(t)(t)
数を決定した．ハイパーパラメータの値は α1 = α2 = 1(t)（GP-UCB では α1 = 1 とした．）グラウンドトゥルースデーとは現実的でない．そこで，まず GP-UCB を用いて α1 の適タがすべて同じ値になっていたデータは実験から除外した．得

(t)

(t)

(t)
切な条件を求め（実験 2.1）
，次に CBO でその α1 を設定した(t)
ときの α2 の適切な条件を求める（実験 2.2）．

られた関数値は 0 から 1 の範囲に収まるように正規化した．本

我々は 3 つのドメイン全てでこの実験を行った（すべてのド実験にはマターンカーネル（ν = 2.5）を使用した．計算量を削メインで同様の結果が得られると考えられる部分に関しては減するため，回答者の分布のすべての点ではなく，分布中に等「スマートフォン」ドメインのみで実験を行った）．
「顔」ドメ間隔で設定したサンプリング点の期待値を使用して関数のクラインでは 7 イテレーション，「音声」ドメインでは 5 イテレー

スタリングを行った．

ション実験を行った．

5. 2. 2 実験 1 の結果
図 3 は実験 1 の MAPV を表すものである．図から，CBO(t)
実験 2.1 では，α1 が単調増加と単調減少のどちらが適切か，(t)(t)α1 と E の大きさが切り替わるタイミング，α1 の初期の値，は既存手法の GP-UCB と比較して，より効率的かつ評価の低を決定するために様々なパラメータ設定で実験を行った．実験

い解の提示を避けながら最適化を行えていることが分かる．

2.2 では，α2 について実験 2.1 と同様の実験を行った．

(t)

(t)

5. 3 実験(t)t

ハイパーパラメータ α1 と α2 は「a × 10(−b× 20 ) 」のよう2な形をとる．a と b を設定することでパラメータは様々な値を

5. 3. 1 実 験 手 順

取ることができる．t は問い合わせの回数を表し，本実験では実験 2 では，実験 1 の手順に以下の手順が追加される．

(3) 最適なパラメータ設定条件を発見するために，様々なパラメータ設定で手順 (1) と (2) を繰り返す．
実験 2 の目的は，少ない質問数で，かつ評価の低い解の提示をできるだけ避けながら最適化を行うパラメータを見つけるこ(t)とである．CBO の獲得関数は 2 つの独立したパラメータ（α11 から 20 の値を取る．パラメータをこのように設定するのは，期待値項，標準偏差項，クラスタの期待値項の重要性は問い合
わせが繰り返されていくうちに変化していくことが考えられるからである．獲得関数における期待値項の重みは常に 1 と設定
(t)

(t)

するが，α1 や α2 の大きさと比較するために結果の図中では

(t)(a) 各ドメインにおける，パラメータ α1 の最適な設定(b) 各ドメインにおける MAPV(c) 各ドメインにおける実験 2.1 の結果． 左：スマートフォン，中央：顔，右：音声(t)(a) 各ドメインにおける，パラメータ α2 の最適な設定(b) 各ドメインにおける MAPV(c) 各ドメインにおける実験 2.2 の結果． 左：スマートフォン，中央：顔，右：音声

E と表される．

(t)る（α2 と E の大きさが切り替わるタイミングは T2 ）．また，実験 2 におけるその他の設定はすべて実験 1 と同様である．

最終的な MAPV がある値 p を超えるような最小の T1 を適切

5. 3. 2 実験 2.1 の結果

な T1 とする．本実験では p は「スマートフォン」，
「顔」，
「音
(t)

図 4a は実験 2.1 における最適な α1 のパラメータ設定を表すものであり，図 4b はその時の MAPV を表す．左の図は「ス声」ドメインに関してそれぞれ 0.95，0.75，0.9 と設定する．そのため最適な T1 は順に T1 = 5，T1 = 5，T1 = 8 である．

マートフォン」，真ん中は「顔」，右は「音声」ドメインの結果

5. 3. 3 実験 2.2 の結果である（実験 2.2 の結果も同様）．

図 5a は実験 2.2 における最適な α2 のパラメータ設定を表

(t)

(t)

全てのドメインで α1 は単調減少，初期値は 10 である．本すものであり，図 5b はその時の MAPV を表す．本実験では(t)
実験では α1 と E の大きさが切り替わるタイミングを T1 とす

α2 の初期値は 5 と設定した．α2 の初期値が大きすぎると

(t)

(t)

(t)

(t)

α1 を重視した探索が十分に行えず，回答者の適切な所属クラ

るようにすれば，パラメータ α1 は存在しなくなることが考え(t)スタを推定することができなくなり，逆に小さすぎると α1(t)(t)と α2 が切り替わるタイミングで α2 と E にほとんど差がな(t)られる．α2 については，回答者の関数値が低下し始めた時点

で，クラスタの期待値項と個人の期待値項の重要度を切り替え

くなってしまうためである．適切な T2 は「スマートフォン」，

る動的設定法が有効であると考えられる．実験を繰り返す過程「顔」，「音声」の順にそれぞれ T2 = 12，T2 = 12，T2 = 14 でで，α2 を最後まで大きな値に設定すると，あるタイミングである．

回答者の関数値が減少することを発見した．これは，クラスタ(t)全体が好む解と，個人が好む解がいくらか異なることを意味す

6 考察る．その違いがわかったタイミングで個人の期待値に着目する

実験 1，実験 2 の結果から CBO は既存のベイズ最適化手法

GP-UCB と比較してよりエシカルであることを発見した．
(t)

実験 2 の結果から，エシカル・ベイズ最適化の問題では α1 ，(t)

ことで，最後に適切な解が提示されることが期待される．

8 ま と めα2 ，E の順でそれぞれ最も大きくなるように CBO のハイパー本研究ではエシカル・ベイズ最適化を定義し，それに対して，

パラメータを設定することが適切であることが示された．最初

クラスタを考慮することで回答者の評価の低い解の提示を回(t)の数回の質問ではクラスタの情報も考慮しつつ α1 を重視す

避する Cluster-aware Bayesian Optimization(CBO) という手ることで，探索の過程で関数値がある程度大きくなるような解法を提案した．我々はこの手法について，3 つのドメインでシ(t)を提示する．その後 α2 を重視することで，クラスタの期待値

ミュレーション実験を行った．実験の結果，CBO は既存のベを考慮した活用のための解を提示する．最後は E を重視する

イズ最適化手法である GP=UCB よりエシカルであることをことで，各回答者がより大きな関数値を返すような解を提示す発見した．さらに，エシカル・ベイズ最適化の問題に対して，る．CBO はこのような流れで解を提示するため，既存のベイ

CBO のハイパーパラメータ α1 ，α2 を α1 ，α2 ，E の順に

ズ最適化手法と比較すると少ない問い合わせ数で，回答者の評それぞれ最も大きくなるように設定するのが適切であることを価が低い解の提示を避けながら最適化を行うことができるのだ

発見した．このパラメータ設定戦略は，本実験で使用した解のと考えられる．

次元と解空間の大きさが異なる 3 つのデータセット全てに対し

(t)

(t)

(t)

(t)

て有効であった．

7 手法の限界
提案手法は，全回答者の平均で考えた場合，既存手法 GP-UCB

謝辞よりも評価の低い解の提示を避けることができるが，個人単位

本研究の一部は JSPS 科研費（JP21H03552, JP22H00508,

で考えた場合，評価の低い解の提示を避けられない回答者がいJP22K17944）の支援を受けたものである．また開發功太郎氏

る可能性がある．考えられる理由の一つは，適切なクラスタ集に実験用プログラムに対して助言をいただいた．ここに謝意を合が形成される前に提案手法を使用してしまっていることであ示す．

る．クラスタ集合の形成に必要な回答者の数は，解空間の大きさと嗜好パターンのばらつきの程度に依存する．本実験で用いた 3 つのドメインでは，50 人の回答者を用いてクラスタ集合を形成しているが，上記の内容を考慮することで，クラスタ集合の形成に必要な回答者数を適切に決定することができる可能性がある．また，クラスタ集合が適切に形成されたとしても，最初の数回の探索で回答者の属するクラスタを誤って推定する
場合があり，その場合はその後に評価の低い解が提示される可能性がある．これは，回答者個人の分散に着目して探索を行うと，その回答者のクラスタ推定に有効でない解が提示される場
合があるためである．クラスタ推定に適した解は，クラスタごとに関数値が大きく異なる解である．そのような解をまず回答
者に問い合わせることで，適切なクラスタをより効率的に，より高い精度で推定できることが期待できる．
また，実用化を考えた場合，パラメータを手動で設定する必要があることも問題である．問題設定によって適切なパラメー
タの細かい値は異なり，ユーザが自らこれを設定することは困(t)

難であるからである．α1 については，前述のように，クラス
タごとに関数値が大きく異なる解を提示してクラスタを推定す

文

献[1] Aarts, E., Aarts, E. H., and Lenstra, J. K. Local searchin combinatorial optimization. Princeton University Press,
2003.
[2] Adaji, I. Towards improving e-commerce users experience
using personalization persuasive technology. In Proceedingsof the 25th Conference on User Modeling, Adaptation and
Personalization (2017), UMAP ’17, Association for Computing Machinery, p. 318–321.
[3] Anshari, M., Almunawar, M. N., Lim, S. A., and AlMudimigh, A. Customer relationship management and big
data enabled: Personalization & customization of services.
Applied Computing and Informatics 15, 2 (2019), 94–101.
[4] Brochu, E. Interactive Bayesian optimization: learning
user preferences for graphics and animation. PhD thesis,
University of British Columbia, 2010.
[5] Brochu, E., Cora, V. M., and De Freitas, N. A tutorial
on bayesian optimization of expensive cost functions, withapplication to active user modeling and hierarchical reinforcement learning. arXiv preprint arXiv:1012.2599 (2010).
[6] Chen, Y., Huang, A., Wang, Z., Antonoglou, I.,
Schrittwieser, J., Silver, D., and de Freitas,
N. Bayesian optimization in alphago. arXiv preprint
arXiv:1812.06855 (2018).
[7] Colella, F., Daee, P., Jokinen, J., Oulasvirta, A.,

[8]

[9]

[10]

[11]
[12]

[13]

[14]
[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

and Kaski, S. Human strategic steering improves performance of interactive optimization. UMAP ’20, Association
for Computing Machinery, p. 293–297.
Ding, Y., Kim, M., Kuindersma, S., and Walsh, C. J.
Human-in-the-loop optimization of hip assistance with asoft exosuit during walking. Science robotics 3, 15 (2018).
Dou, R., Zong, C., and Li, M. An interactive genetic algorithm with the interval arithmetic based on hesitation andits application to achieve customer collaborative productconﬁguration design. Applied Soft Computing 38 (2016),
384–394.
Eskandanian, F., Mobasher, B., and Burke, R. A clustering approach for personalizing diversity in collaborative
recommender systems. UMAP ’17, Association for Computing Machinery, p. 280–284.
Frazier, P. I. A tutorial on bayesian optimization. arXiv
preprint arXiv:1807.02811 (2018).
Gardner, J. R., Kusner, M. J., Xu, Z. E., Weinberger,
K. Q., and Cunningham, J. P. Bayesian optimization withinequality constraints. In Proceedings of International Conference on Machine Learning (2014), vol. 2014, pp. 937–
945.
Gelbart, M. A., Snoek, J., and Adams, R. P. Bayesian
optimization with unknown constraints. In Proceedings ofthe 30th Conference on Uncertainty in Artiﬁcial Intelligence (2014), pp. 250–259.
Goldberg, D. E. Genetic algorithms in search, optimization and machine learning. Addison-Wesley, 1989.
Gramacy, R. B., Gray, G. A., Le Digabel, S., Lee,
H. K., Ranjan, P., Wells, G., and Wild, S. M. Modeling an augmented lagrangian for blackbox constrained optimization. Technometrics 58, 1 (2016), 1–11.
Hernández-Lobato, J. M., Gelbart, M., Hoffman, M.,
Adams, R., and Ghahramani, Z. Predictive entropy searchfor bayesian optimization with unknown constraints. In Proceedings of International conference on machine learning(2015), pp. 1699–1707.
Kennedy, J., and Eberhart, R. Particle swarm optimization. In Proceedings of international conference on neuralnetworks (1995), vol. 4, pp. 1942–1948.
Kiyotake, H., Kohjima, M., Matsubayashi, T., andToda, H. Multi agent ﬂow estimation based on bayesian
optimization with time delay and low dimensional parameter conversion. In Proceedongs of International Conference
on Principles and Practice of Multi-Agent Systems (2018),
Springer, pp. 53–69.
Komori, M., Shiroshita, K., Nakagami, M., Nakamura,K., Kobayashi, M., and Watanabe, K. Investigation of
facial preference using gaussian process preference learningand generative image model. In Proceedings of International Conference on Computer Information Systems andIndustrial Management (2021), pp. 193–202.
Korzepa, M., Petersen, M. K., Larsen, J. E., andMørup, M. Simulation environment for guiding the design of contextual personalization systems in the context ofhearing aids. In Adjunct Publication of the 28th ACM Conference on User Modeling, Adaptation and Personalization(2020), UMAP ’20 Adjunct, Association for Computing Machinery, p. 293–298.
Koyama, Y., and Goto, M. Bo as assistant: Using
bayesian optimization for asynchronously generating design
suggestions. In Proceedings of the 35th Annual ACM Symposium on User Interface Software and Technology (2022).
Mittal, B., and Lassar, W. M. The role of personalization in service encounters. Journal of retailing 72, 1 (1996),
95–109.
Pelleg, D., Moore, A. W., et al. X-means: Extending k-

[24]

[25]

[26]

[27]

[28]

[29]

[30]

[31]

[32]
[33]

means with eﬃcient estimation of the number of clusters. In
Proceedings of International Conference on Machine Learning (2000), vol. 1, pp. 727–734.
Purohit, B., Kumar, A., Mahato, K., and Chandra,
P. Smartphone-assisted personalized diagnostic devices andwearable sensors. Current Opinion in Biomedical Engineering 13 (2020), 42–50.
Rasmussen, C. E., and Williams, C. K. Gaussian processes in machine learning. Lecture notes in computer science 3176 (2004), 63–71.
Schafer, J. B., Frankowski, D., Herlocker, J., andSen, S. Collaborative ﬁltering recommender systems. The
adaptive web: methods and strategies of web personalization(2007), 291–324.
Shanahan, T., Tran, T. P., and Taylor, E. C. Getting
to know you: Social media personalization as a means ofenhancing brand loyalty and perceived quality. Journal of
Retailing and Consumer Services 47 (2019), 57–65.
Snoek, J., Larochelle, H., and Adams, R. P. Practicalbayesian optimization of machine learning algorithms. Advances in neural information processing systems 25 (2012).
Solnik, B., Golovin, D., Kochanski, G., Karro, J. E.,
Moitra, S., and Sculley, D. Bayesian optimization fora better dessert. Neural Information Processing Systems(2017).
Takagi, H. Interactive evolutionary computation: Fusionof the capabilities of ec optimization and human evaluation.
In Proceedings of the IEEE (2001), vol. 89, pp. 1275–1296.
Tyrväinen, O., Karjaluoto, H., and Saarijärvi, H.
Personalization and hedonic motivation in creating customer experiences and loyalty in omnichannel retail. Journal of Retailing and Consumer Services 57 (2020).
Whitley, D. A genetic algorithm tutorial. Statistics andcomputing 4, 2 (1994), 65–85.
Yamashita, T., Sato, N., Kino, H., Miyake, T., Tsuda,K., and Oguchi, T. Crystal structure prediction accelerated by bayesian optimization. Physical Review Materials
2, 1 (2018).