情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23012
2023/3/1

BO as Assistant: ベイズ最適化を活用した
非同期的なデザイン案生成のためのフレームワーク
小山 裕己1,a)

後藤 真孝1,b)

概要：本稿では，デザイナが複数のパラメタ調整用スライダを試行錯誤しながら操作して望ましいデザ
インを得る過程（パラメトリックデザインにおける探索）を支援するために，ベイズ最適化（Bayesian
optimization; BO）を活用したデザイン案生成フレームワーク BO as Assistant を提案する．ベイズ
最適化は，観測データに基づき効率的なサンプリングを逐次的に行う最適化手法であり，これまでに，
designer-in-the-loop なデザイン最適化のフレームワークで効果的に用いられてきた．しかし従来は，シス
テムがサンプリングしたデザイン案をデザイナが評価させられる（明示的な loop を強制される）ワークフ
ローになっていたために，デザイナは主導権を握って自由な探索を行うことができず，行為主体感が失われる問題があった．それに対して我々の BO as Assistant では，デザイナが自由にスライダを操作してデザインを探索している様子（パラメタ値の組み合わせの探索を行っている様子）をシステムが観測することにより，明示的にデザイナに入力を求めることなく，ベイズ最適化のサンプリング戦略によって効果的なデザイン案を生成できる点が優れている．本稿では提案フレームワークの一般性を示すために，写真の色調補正，プロシージャルモデリング，プロシージャルマテリアル生成の異なるドメインに適用し，デザイ
ナが自由に探索を行うことを阻害することなく合理的なデザイン案が非同期的に生成できる様子を示す．

1. はじめにうな目的において有望な技術である [6], [14], [15], [28], [29]．

BO は，探索（exploration; 未探索領域を優先的にサンプ

写真の色調補正，プロシージャルデザイン，機械学習にリングする性質）と活用（exploitation; 有望な領域を優先よるコンテンツ生成などの，多くのデザインプロセスはパ的にサンプリングする性質）の両方を考慮して，各ステッラメタ調整というタスクを伴う [12], [17]．パラメタ調整でプで最も効果的な点をサンプリングすることによって，効は，望ましいデザインを実現するための複数のパラメタ値

率的に解（望ましいパラメタ値の組合せ）を探索できる．

の組合せが事前にわかっていることは稀で，通常はデザイ

しかし，既存の designer-in-the-loop 最適化（デザイナがナが，それらのパラメタを変更するための複数のスライダ評価者として振る舞う最適化）のフレームワークでは，あを何度も前後に操作して試行錯誤することで，適切なパラ

くまでシステム側がデザインプロセスの主体であり，デザ

メタ値の組合せを発見しなければならない．このようなタイナはサンプリングされたデザイン案の評価のみを実施す

スクは，デザイナにとっての望ましいデザインの主観的評る仕組みのため，デザイナがドメイン知識や直感に基づい価を目的関数とした多次元最適化問題とみなすことができて自由にパラメタ空間を探索するための柔軟性に欠けている [10]．本研究は，このような最適化問題をデザイナが手た．つまり，デザイナがどのようにデザインプロセスを進動で解く支援をすることを目的とする．

めるかの主導権を持っていなかった．このことは，デザイ

こうした最適化問題に対して，多くの研究者がこれまでにナの行為主体感や創造性の低下を招く懸念がある [4]．

human-in-the-loop 最適化（人が評価者として振る舞う最本研究では，新しいデザインのフレームワーク BO as

適化）のフレームワークの研究に取り組んできた．特に，数Assistant を提案する．このフレームワークは，人間のデ理的観点で合理的なサンプリング戦略によって，少ないサン

ザイナがデザインプロセスの完全な主導権を維持しつつ，プル数でも最適化問題を解くことができる性質を持つベイ

ベイズ最適化の合理的なサンプリング戦略の恩恵も受ける

ズ最適化（Bayesian optimization; BO）[21] は，このよことができる特長を持つ．図 1 にそのコンセプトを示す．
デザイナは通常のデザインプロセスと同様に複数のパラメ

1
a)
b)

産業技術総合研究所
koyama.y@aist.go.jp
m.goto@aist.go.jp© 2023 Information Processing Society of Japan

タ調整用スライダを自由に操作することができる．その一方で，システムはスライダの操作を常に監視し，その場で97情報処理学会 インタラクション 2023
IPSJ Interaction 2023

Designer
Manipulate sliders to search for the best design as usual…

INT23012
2023/3/1

Bayesian Optimization (BO) Assistant(1) Monitor slider manipulation(2) Estimate the design goal…
The designer can use suggestions or ignore them
図 1

BO-basedsampling

BO-generated Suggestions(3) Provide suggestions

デザイナが複数のパラメタ調整用スライダを操作して望ましいデザインを探索する過程
をベイズ最適化 (BO) によって支援するフレームワーク BO as Assistant の概要．シ
ステムは (1) デザイナによるスライダの操作を監視し，(2) 自動的にデザイナのデザイ
ン目標を推定し，(3) ベイズ最適化のサンプリング戦略を用いてデザイン案を生成して非同期に提示する．デザイナはデザイン案を利用することも無視することもできる．

自動的にデザイナの好み，すなわちデザイン目標を推定し，はしていないので様々なドメインに適用できる．この一般

ベイズ最適化のサンプリング戦略を用いて未探索かつ有望性を実証するため，本稿ではコンピュータグラフィクスになデザイン案を生成し，非同期にデザイナに対して提案す関連する複数のデザインドメインに提案フレームワークをる．デザイナは提示された提案を利用することも無視する適用した様子を示す．具体的には，写真の色調補正，プロこともできる．つまり，従来の designer-in-the-loop 最適

シージャルモデリング，プロシージャルマテリアル生成に化のフレームワークとは異なり，デザイン案を生成するた

おいて，提案フレームワークによってデザイナによる自由

めにシステムはデザイナに対して明示的な入力を求めるこな探索を阻害することなく合理的なデザイン案が非同期とはない点が優れている．我々が実装したインタフェース

的に生成できる様子を示す．本稿は，我々の ACM UISTの例を図 2 に示す．なお，このような最適化計算の仕組み

2022 論文（CC BY 4.0）[11] を和訳・要約したものである．

を助手（assistant）として利用するアプローチは，既存研究にも存在する [18], [25] が，デザイナの挙動だけからデザ
イン目標を動的に推定することでデザイン案を生成する点に本研究の新規性がある．

2. 関連研究2.1 デザインのためのパラメタ調整インタフェース
デザインにおけるパラメタ調整タスクを支援するために，

このようなフレームワークを実現するため，ベイズ最適

デザイン候補の一覧表示に基づくインタフェース [14], [17]化を実行する上で必要な情報を複数のスライダ操作の挙など，様々なインタフェースが提案されてきた．本研究で動だけから（デザイナに追加の入力を要求することなく）

は，デザイン探索のための主たるインタフェースとして，暗黙的に抽出する技術を我々は提案する．通常のベイズ最

様々なドメインでよく用いられているスライダを想定する．

適化 [21] を実行するためには，各データ点における目的

スライダインタフェースを拡張する研究は多数存在す関数の値（対応するデザインに対する好ましさの具体的る．特に，評価者に対して明示的に入力を求めることでデな点数）を観測する必要がある．しかしながら，そのようザイン目標を推定する研究 [7], [12], [22] や，多数のデザイな値はスライダ操作から観測することはできない．そこンセッションを観察することでデザイン目標を推定する研で本研究では選好ベイズ最適化（preferential Bayesian

究 [13] は，本研究と関連深い．しかし，スライダの操作自

optimization; PBO）[3], [14], [15] に着目する．PBO は，体を観察してそこからデザイン目標を推定するという我々絶対的な評価値ではなく，相対的な好ましさの情報（複数のアプローチは新規性がある．

のデザイン間における好ましさの序列関係）を用いて最適化を実行することができるベイズ最適化の派生手法であ2.2 最適化を助手（Assistant）とするデザインツール

る．我々は，システムがスライダ操作を観察し続けること

最適化計算の仕組みをデザインにおける助手とする研究によって相対的な好ましさの情報を抽出する新たな技術をには，DesignScape [18] や Sketchplore [25] がある．これ提案する．抽出した情報を用いて PBO を実行することで，らは最適化計算によってレイアウトデザインの案を生成し合理的なデザイン案（パラメタ値の組み合わせ）をサンプて提示するものであり，インタラクションの観点では本研リングしてデザイナへ提示できる．

究の提案フレームワークと似ている．しかし，レイアウト

提案フレームワークは，あるドメインに特化した定式化© 2023 Information Processing Society of Japan

デザインなど特定のドメインでのみ有効な知識（できるだ98情報処理学会 インタラクション 2023
IPSJ Interaction 2023

Target sliders

Design preview

INT23012
2023/3/1

Suggestions

Design preview

Suggestions

Blending sliders

Blending sliders

Regenerating button(a) 写真の色調補正システム (スタンドアロンシステムとして実装)
図 2

Target sliders

Regenerating button(b) プロシージャルモデリングシステム (Blender の addon として実装)

コンセプト実証システムのインタフェース．デザイナは主に，デザインのプレビュー表
示を見ながらスライダを操作する．すると複数（図の例では三つ）のデザイン案が非同期に提示される．良いデザイン案があればそのブレンド用スライダを操作して，現在のスライダ値とブレンド（補間）できる．さらに提示中のデザイン案すべてを再生成（変更）するボタンを押して多様な案を見ることもできる．

け線を揃える方が好ましいなど）に頼って事前に定義されよる画像生成 [6]，メロディ生成 [29]，写真撮影時の照明設たデザイン目標を用いるのではなく，代わりにベイズ的手

計 [28] などに適用した研究事例が報告されている．

法によってその場で動的にデザイン目標を推定していく点

提案フレームワークは，human-in-the-loop 最適化のフで異なる．さらに，ベイズ最適化の性質によって，デザイ

レームワークとはインタラクション設計で異なる．提案フンが有望かどうかだけでなく未探索かどうかも考慮した上レームワークでは明示的な loop は存在せず，代わりにデでデザイン案を生成できる点で異なる．

ザイナの自由な探索の様子をシステムが観察して暗黙的にデザイン目標を推定し，さらに非同期的にデザイン案を生

2.3 Human-in-the-Loop ベイズ最適化
Human-in-the-loop 最適化は，評価に人間の関与が必要な最適化問題を扱うアプローチである．人間の関与方式として，タスク実施時のパフォーマンスの計測 [8], [9] や主観的評価 [5], [14], [15] などがある．いずれの場合も，システ
ムは評価者である人間に対してタスクや質問を与えてそのフィードバックを得ること（データサンプリング）を反復することで，最適なパラメタ値の組合せを発見する．

成してデザイナを支援できる．本研究は，このように明示的な loop を持たないインタラクションにおいて BO をサ
ジェスト生成に活用する最初の研究である．

3. 提案フレームワークとインタラクション
3.1 フレームワークの概要
提案フレームワークである BO as Assistant では，デザイン案を生成する助手として BO を位置付ける．パラメ

BO はサンプル効率性（少ないデータサンプル数で良い

タ調整タスクを行う主体はデザイナであり，システムはデ解を発見する性質）の良さを特徴とするブラックボックス

ザイナに対して追加の入力を要求することなくデザイン案

最適化手法である [21]．これは，探索と活用を用いた合理を生成することでデザイナのタスク遂行を支援する．デザ的なサンプリング戦略によって実現される．そのサンプル

イナはデザイン案の生成を待つ必要はないし，それを利用

効率性の良さから，BO は深層学習のハイパーパラメタ調しても無視してもよい．図 1 にコンセプトを，図 2 に我々

整 [1] などで活用されている．人間による評価回数を少なのコンセプト実証システムのインタフェースを示す．

くする必要があるため，human-in-the-loop 最適化でもベ

3.1.1 デザイン案の生成に BO を用いる利点

イズ最適化が活用されている [6], [8], [9], [14], [15], [29]．

BO では，多次元のパラメタ空間から探索 (exploration)

デザイン目標が好みなどの主観的評価に依る場合，フィーと活用 (exploitation) の両側面を同時に考慮しながらデザ

ドバックデータの質を安定させるために，単一のデザイン

イン案をサンプリングできる利点がある．仮にデザイナがに対する絶対評価ではなく複数のデザインに対する相対

ある程度好ましいデザイン（パラメタ値の組み合わせ）を比較によるフィードバックを用いることが推奨されてい発見できたとして，実はそこから複数のスライダを大幅にる [2], [26]．相対比較データを用いて BO を実行する手法

動かした別のデザインの方がより良い可能性があっても，は PBO と呼ばれ [10]，Brochu ら [3] によって提案され，デザイナがそれに気付くのが難しいことがある．局所解に様々な拡張がなされてきた [6], [14], [15]．汎用技術である

試行錯誤がとどまり，遠くにある大局解を考慮できなくなため適用可能範囲が広く，アニメーション [2]，深層学習にるそうした状況を防ぐためには，未探索領域を優先的にサ© 2023 Information Processing Society of Japan99

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23012
2023/3/1

ンプリングする「探索の側面」が有益である．一方，有望

3.3 デザイン案とのインタラクション

な領域を優先的に探索する「活用の側面」は，デザイナの3.3.1 デザイン案のブレンド

デザイン目標（好みや意図）を考慮するので，そもそも見システムが提示したデザイン案をデザイナが選択して利込みの低いデザインを生成することが防げて有益である．

用する際に，そのパラメタ値をそのまま，現在のスライダ

このように両側面を考慮したデザイン案を提示できれば，値に上書きしてしまう方法が最も単純である．それに対し従来のデザイナによるスライダ操作のみで自力でデザインて我々は，対象のデザイン案に対応するパラメタ値と現在を発見するインタラクションに対して，有益な追加情報をのスライダ値とを任意の割合で線形ブレンド（補間）でき

与えて支援できる．しかも，仮に提示したデザイン案がデるアプローチを採用する．これは既存研究 [15] から着想

ザイン目標の観点で直接有益でなくても，どのようなデザを得たアプローチで，直接上書きする [3] よりも効率的にインの可能性があるかというデザイン空間そのものに対す最適なデザインを発見できることが期待できる．具体的にるデザイナの理解を深める上では有益で，それによってデは，各デザイン案に対して一つずつブレンド用のスライダ

ザイナが自身のスライダ操作によって得たデザインに対しが提供（図 2）され，デザイナが対話的にこのブレンド用てより自信を持つことができる可能性がある．

スライダの値を調整すると，それに追従してデザインの表

3.1.2 技術的な要素

示とスライダ値がリアルタイムに更新される．好みのデザ

提案フレームワークは，以下のステップをバックグラウ

インになったところで調整をやめれば，そのブレンドの割ンドで実行し続ける．

合で決定され，そこからまたデザイナは自分でパラメタ調

スライダ操作の観察（6 章） システムは，デザイナがス

整用スライダで操作できる．

ライダを操作する様子を観察し，その内容から BO を

3.3.2 デザイン案の再生成実行するために必要な情報を抽出する．これは，デザ追加のインタラクションとして，提示中の全デザイン案

イナが最終的に選んだスライダ値だけではなく，それの再生成をデザイナがシステムに対して明示的に指示するに至るまでにスライダ値を行ったり来たりさせた際の操作を提供する．スライダ操作をしても他のデザイン案は軌跡も含む．

非同期に生成されるが，デザイナがこの操作をすれば，迅デザイン目標の推定（5 章） 抽出された情報を用いて，速に多様なデザイン案を検討できる利点がある．さらに，システムはデザイン目標（パラメタ空間中のどの領域

現在のデザインよりも再生成される前のデザイン案が好まがより好ましいか）を推定する．より具体的には，パしくない（だからこそ再生成の明示的な指示がきた）とシ

ラメタ値に対してそれに対応するデザインがどの程度ステムが解釈して観測データに加えることで，より的確に好ましいかを予測するモデルを構築する．

デザイン目標の推定しやすくなる副次的な利点もある．

デザイン案の生成と提示（5 章） 推定されたデザイン目
標のモデルを用いて，システムは最も効果的なデザイン案を生成し，ユーザに対して提示する．

4. 問題設定対象とするデザインパラメタの数を N として，それぞれを xi ∈ [0, 1]（i = 1, . . . , N ）と表記する．また，これら

3.2 タスクに対する仮定
提案フレームワークでは対象とするデザインのタスクに対し，以下の仮定を置いている．
パラメタの種類

各パラメタはスライダにマッピングして操作できるように，有限の連続値（e.g., [0, 1]）をとるをまとめて x = [x1 · · · xN ]⊤ ∈ X （ただし X = [0, 1]N ）と表記する．このパラメタ調整タスクの目的は，最適なパ
ラメタ値

x∗ = arg max g(x)

(1)

x∈X

と仮定する．有限の整数値をとるパラメタも，量子化を決定することである．この目的関数 g : X → R は good-

でスライダにマッピングできるので対象となる．

ness 関数 [14] と呼ばれ，デザイナの主観的な好みの程度

デザイン目標デザイン目標は，デザイナが見た目から主観的に評価でき，デザイン探索の途中で時間変化しな
いことを仮定する．
パラメタの数（デザイン目標）を表す．

Goodness 関数の値は，直接観測できない．代わりに，シ
ステムはデザイナのスライダ操作の様子を観察すること同時に扱うパラメタの数は 2 個以上，20で，goodness 関数を推定する．基本的な考え方として，デ個（BO が効果的に働く上限の目安として知られていザイナは goodness 関数の値が大きくなるようにスライダる [27]）以下だと仮定する．

を操作していると想定する．

リアルタイムでの表示

スライダ操作に応じて，デザイン

がリアルタイムに更新表示されることを仮定する．
連続的な変化

パラメタ値が連続的に変化するとき，デザイン自体も連続的に変化すると仮定する．

© 2023 Information Processing Society of Japan

本研究では，デザイナに K 個（我々のコンセプト実証シ
ステムの実装では単純化のために K = 3 で固定するが，デザインドメインに応じて任意の個数を設定できる）のデザ
イン案 xsuggest, . . . , xsuggestを提示し，またデザイナのスラ
1
K

100

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23012
2023/3/1

イダ操作に応じて随時これらを更新していくことを技術的

g(x) ∼ N (µ(x), σ 2 (x))(5)

な目的とする．そして，BO のサンプリング戦略を用いて
これらのデザイン案を非同期に随時生成することで，探索によって計算することができる．平均 µ と分散 σ 2 の具体と活用の両方の観点で合理的な支援をすることを目指す．

的な計算方法は PBO [10] または GP [19] を参照されたい．

5. 選好ベイズ最適化（PBO）

5.3 サンプリング

スライダ操作の情報に基づいて PBO を実行する上で必BO や PBO では獲得関数と呼ばれる関数を用いて次に要な情報を抽出する提案技術について述べる前に，この観測するべき点（本研究の場合はデザイン案として提示す節では前提となる PBO について簡単に説明する．なお，る点）を決定する．予測分布（式 (5)）を用いることで，獲PBO の詳細は [10] を参照されたい．

得関数 a : X → R は，任意の点 x に対してその点が次に観測されたときの “効果” の大きさ（探索と活用の両方を考

5.1 選好データのモデリング

慮した値として定義される）を計算する．BO や PBO で

PBO で は ，観 測 デ ー タ は 絶 対 評 価 の 関 数 値（e.g.,は獲得関数 a の値が大きい点（例えば最大となる点）をサ

g(xA ) = 0.1, g(xB ) = 0.2）では なく，相対比較（e.g.,

ンプリングして評価者への次の質問に利用することでサンg(xA ) < g(xB )）の情報を扱う．より具体的には「L 個のプル効率性が実現される．なお，Schonlau ら [20] の手法

選択肢 x(1) , . . . , x(L) （L ≥ 2）のうち，第 i 番目の選択肢などを利用することで，同時に多数の互いに異なる点をサ

x(i) （1 ≤ i ≤ L）が好まれた」という形式の観測データをンプリングすることができる．本研究では K 個の多様な扱う．このような観測データをデザイン案をサンプリングするために Schonlau らの手法

d = [x(i) ≻ {x(1) , . . . , x(i−1) , x(i+1) , . . . , x(L) }](2)と表記する．また，それぞれの（直接観測できない）good-ness 値を g (i) = g(x(i) )（i = 1, . . . , L）とし，まとめて
g = [g

(1)

··· g

(L) ⊤

] と表記する．先述の選好データの尤

度は Bradley–Terry–Luce モデル [26] を用いるとexp(g (i) )p(d | g) = ∑L(j) )j=1 exp(gを用いる．獲得関数の詳細については [21] が詳しい．

6. 選好データの抽出手法
6.1 スライダ操作からの抽出技術
6.1.1 スライダ操作セッション
スライダインタフェースでは，同時に 1 つのスライダしか操作することはできない．ここでは，あるスライダのノ(3)と モ デ ル 化 す る こ と が で き る ．選 好 デ ー タ が 複 数 ある 場 合 ，D = {d1 , d2 , . . .} と 表 記 す る と ，そ の 尤 度 は∏p(D | g) = i p(di | g) となる．従来の human-in-the-loop
なフレームワークでは，このような選好データの情報は明示的に評価者に質問をすることで得ることができる．我々は，このような情報をスライダ操作を観察することで抽出することを目指す（6 章）．

ブをマウスで押し，ドラッグすることでノブを行ったり来たりさせ，ある位置でマウスをリリースする一連の流れをセッションと呼ぶことにする．提案技術では，1 つのセッションから 1 つの選好データを抽出する．なお，複数のセッションにまたがって解析して選好データを抽出することは，ここでは扱わずに将来課題とする．
キーとなるアイデアは，デザイナはスライダを操作する際に，その 1 次元の探索空間の中でより goodness 値の高い点を探してそこでマウスをリリースするであろう，という発想である．図 3 にこのアイデアを示す．このアイデア

5.2 Goodness 値の推定に基づいて選好データを抽出する方法はいくつか考案する

我 々 は goodness 関 数 が ガ ウ ス 過 程（Gaussian pro-cess; GP）[19] に従うと仮定する．ここで，これまでに
x(1) , . . . , x(M ) ∈ X の M 個の点に関する選好データ D を観測したとする．これらの点における goodness 値を推定するために，我々は maximum a posteriori（MAP）推定を用いる [15]．具体的には，

テムの実装で採用した 1 つだけを紹介する．他の方法については [11] を参照されたい．

6.1.2 戦略
ここで，N 個のスライダのうち第 i 番目のものをデザ
イナが操作するセッションについて考える．システムはス

gMAP = arg max p(g | D) = arg max p(D | g)p(g) (4)g∈RMことが可能であるが，ここでは我々のコンセプト実証シス

g∈RMを計算する．ただし，p(g) は goodness 値の事前分布で，ライダ値の時系列変化を全て記録する．記録されたスライ
ダ値のリストを s = (x(1) , . . . , x(ns ) ) と表記する（ただしns = |s|）．

GP の仮定より単純なガウス分布となる．この goodness 関

選好データを抽出する上で，マウスがリリースされた最数の推定値を用いることで，まだ観測されていない任意の後の点 x(ns ) が，s の中で最も好ましい点であると仮定す

点 x における goodness 値の予測分布をることは自然である．そこで以下では，比較対象となる点© 2023 Information Processing Society of Japan

101

0.0

0.0

1.0
Press

1.0

Design goal

Design goal

INT23012
2023/3/1

Design goal

Design goal

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

0.0

Move

(1)

1.0

1.0

Move

Move & Release

(3)

(4)

(2)
図 3

0.0

スライダ操作セッションの様子．この例では画像の明るさを調整するためにデザイナがスライダを試行錯誤しながら左右に動かしている．(1) パラメタ値を増やすため，デザイナがスライダのノブを押して右に動かす．(2) ノブを動かしながら，デザインのプレビュー表示が変化する様子を見ていると，画像はより良くなってきている（goodness 値
が大きくなってきている）．(3) 画像が悪くなり始めてきた（goodness 値が小さくなり始めた）とき，デザイナはスライダを右に動かしすぎた（パラメタ値を大きくし過ぎた）ことが原因だとわかる．(4) デザイナはスライダを左に戻して適切な値になったらノブを離す．このノブの最終的な位置は，この 1 次元の探索空間においては，goodness 関数

g の最大値の周辺であると仮定できる．

の抽出について考える．まずナイーブな発想として，最初
Elapsedtime [s]の点 x(1) のみを比較対象（最後の点よりも相対的に好ましくない点）とすることが考えられるが，これでは得られる情報が少なく，効果的でない．次に，最後の点を除く全ての点を比較対象とすることがあり得るが，これは計算量の観点から現実的でないなどの問題がある．
そこで本研究では “折り返し” の点を抽出する方法を採用する．例えば，図 3 のように，スライダを右に動かしていた後に左に動かし始めたならば，その点が折り返し点である．この方法の着想を以下に述べる．スライダ操作によりパラメタ値を増加させている最中は，デザイナは「より大きな値の方が好ましいデザインになるはずだ」という信(a) 時間的な変化
図 4(b) 2 次元の探索空間での変化

2 次元の探索空間でのスライダー操作履歴データの例．2 個のスライダ (x1 と x2 にそれぞれ対応) が交互に操作されていて，5 個のスライダ操作セッション (s1 , . . . , s5 ) が行われている．

念で動かしており，その後折り返して値を減少させ始めるということは，折り返し点において「値を大きくしすぎて定を行い，どのようなデザイン案（パラメタ値の組み合わ

しまい，好ましいデザインではなくなってきた」というこせ）が生成されたかを可視化する．このデータは 2 個のスとを考えたため，そのような折り返しを行ったと考えるこ

ライダを対象として，合計で 5 個のスライダ操作セッショとができる．したがって，折り返し点はデザイナが明確なンを行ったことを表している．

意図を持って「好ましくない」と判断したと解釈できる．

図 5 に可視化結果を示す．オレンジの点は選好データに以上の発想に基づき，1 つのスライダ操作セッションから関与するデータ点（つまりスライダ操作前後の点と折り返

d = [x(ns ) ≻ {x(1) } ∪ [s 中の折り返し点の集合]](6)という選好データを抽出する．なおセッション s の中の jし点）を表し，ブルーの点はそこまでの観測データに基づいて生成されたデザイン案の 3 個の点（K = 3）を表す．
デザイン案は獲得関数 a の値が大きい領域からサンプリン番目の点（j = 2, . . . , ns − 1）が折り返し点であるかどうグされている．大まかに，獲得関数 a は予測分布の平均 µかはと標準偏差 σ（平均が「活用」(exploitation)，標準偏差が
(j+1)

(xi

(j)

(j)

(j−1)

− xi )(xi − xi

)<0

(7)

の真偽値で判定することができる．

「探索」(exploration) に対応する）が共に大きい領域で大きい値をとる性質があり，図 5 でもその性質を観察することができる．

6.1.3 動作例
提案フレームワークの挙動を示すため，図 4 に例示した
スライダ操作履歴データに対して，PBO がどのような推© 2023 Information Processing Society of Japan

6.2 ブレンド操作からの抽出
ブレンド操作により，デザイナは現在のパラメタ値とデ

102情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23012
2023/3/1

き，生成前のデザイン案はいずれも現在のデザインよりも好ましくなく，採用に至らなかったということを暗示して
BO-generated
suggestions

いると解釈できる．このことから，

d = [xcurrent ≻ {xsuggest, . . . , xsuggest
}]
1
K

(9)

という選好データを抽出できる．この選好データを考慮して PBO のサンプリングを行うことで，再生成前とは異なるデザイン案を生成することが可能である．

7. 一般性の実証
提案フレームワークの一般性を実証するため，コンピュー
タグラフィクスに関連する 3 種類の異なるドメインのパラ
メトリックデザインに適用した結果を示す．

7.1 写真の色調補正
写真の色調補正では，明るさやコントラストなど多数のパラメタを調整することで写真の見た目を好ましくするという作業が行われる．ここでは，既存研究 [14] で用いられた 12 個のパラメタを用いた写真の色調補正アプリケーショ
ンをスタンドアロンシステムとして実装した．図 6 に，二つの異なる写真に対して提案フレームワークを用いて色調補正を実施した様子を示す．写真が異なればデザイン目標も異なるため，異なる色調のデザイン案が提示されている．

7.2 プロシージャルモデリングプロシージャルモデリングとは多数の手続きを組み合わせることで形状をデザインする 3D モデリング手法の一
図 5

図 4 のスライダー操作データから折り返しの点を抽出する方種 [24] で，映像制作，メカニカル設計，建築，デジタルファ法で得られた BO の内部モデル (i.e., µ(x), σ(x), and a(x))

ブリケーションなど様々なドメインで活用されている．この可視化結果．オレンジの点は BO で使われたデータ点を表

こでは Blender の addon として提案フレームワークを実装

す．ブルーの点は BO によって生成されたデザイン案を表す.

し，デジタルファブリケーションを想定した 6 次元のプロ(左) 予測分布の平均 µ(x)．推定されたデザイン目標（有望なシージャル形状モデルに対して適用した．プロシージャル

度合い）を表す．(中央) 予測分布の標準偏差 σ(x)．未探索で不確実な度合いを表す．(右) 獲得関数 a(x)．デザイン案のサンプリングに用いられる．

システムおよびデザインのリアルタイム表示は Blender の標準機能を用いており，デザイン案は現在のデザインの右側に表示するように実装した．図 7 に三つの異なるデザ

ザイン案のパラメタ値とを任意の重みで線形ブレンドする

イン目標を想定してパラメタ調整を行った様子を示す．なことができる．ブレンド結果は最も好ましいはずであり，

お，同じプロシージャル形状モデルであっても，スライダ

ブレンド前のデザインや選ばれなかったデザイン案が相対操作の観察からデザイン目標をその場で推定し，適応的に的に好ましくないはずであるという発想から，選好データ

デザイン案を提示できていることが分かる．

を抽出できる．ここで，第 i 番目のデザイン案がブレンド対象となった場合について考える．ブレンド結果のパラメ
タ値を xblend とすると，ここから選好データ

d = [xblend ≻ {xcurrent , xsuggest, . . . , xsuggest}]
1K

7.3 プロシージャルマテリアル生成
プロシージャルマテリアル生成とは，3D コンピュータグ(8)を抽出し，デザイン目標の推定に利用することができる．

ラフィクスにおけるマテリアルの反射特性の空間分布を，多数の手続きを組み合わせることでデザインする手法であり，映像制作やゲーム制作などで広く用いられている．こ
こでは，Blender の addon として提案フレームワークを実

6.3 デザイン案再生成からの抽出
デザイナが全デザイン案の再生成を明示的に指示すると© 2023 Information Processing Society of Japan

装し，所望のマテリアル（ここではペンキが剥げかかっている錆びた金属）を生成するために 8 つのパラメタを調整

103

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23012
2023/3/1

0:03

0:22

1:03

1:42

0:03

0:53

1:09

1:49

図 6

写真の色調補正（12 パラメータ）での二つのデザイン事例（上段と下段）のスクリーン
ショット例．デザイナが望ましいと思うパラメータ調整の仕方は写真ごとに異なっているが，デザイナのスライダ操作のみからデザイン目標を推定して，三つのデザイン案を適応的に提示できている．各スクリーンショットは，参考資料のデモビデオからの抜粋
で，左下に各事例内の経過時間を示してある．

Current design

Goal: Vase

0:11

Suggested designs

0:26

0:47

1:02

1:17

0:22

0:35

0:50

1:04

0:25

0:39

0:53

1:08

Goal: Plate

0:10

Goal: Pen holder

0:10
図7

プロシージャルモデリング（6 パラメータ）での三つのデザイン事例（上段，中段，下段）のスクリーンショット例．全事例で同じプロシージャルモデルが使われているが，事例毎に，花瓶，平皿，ペン立てをデザインするという異なるデザイン目標が与えられている．デザイナのスライダ操作のみからデザイン目標を推定して，三つのデザイン案を適応的に提示できている．各スクリーンショットは，参考資料のデモビデオからの抜粋で，左下に各事例内の経過時間を示してある．

するタスクに対して適用した．プロシージャルシステムおられるが，この仮定の妥当性の検証を実際のデータを用い

よびデザインのリアルタイム表示は Blender の標準機能をて行っていないことは本研究のリミテーションである．こ用いており，デザイン案は現在のデザインの右側に表示すの仮定が成立しない挙動（例えばあるスライダ操作セッるように実装した．図 8 にパラメタ調整の過程を示す．デションで行った変更を，次のスライダ操作セッションで取ザイン目標の推定が進んだ後半にはより目標の主旨に沿っり消した場合など）をデザイナがした場合，矛盾する選好たデザイン案が提示されている．

データが蓄積されることからデザイン目標の推定精度が下

8. 議論と将来展望
8.1 スライダ操作に関する仮定

がり，デザイン案生成における活用（有望な領域を優先的にサンプリングする性質）が期待通りの効果を発揮しない可能性がある．なおこの場合であっても，探索（未探索領

我々が提案したスライダ操作履歴から選好データを抽出

域を優先的にサンプリングする性質）は影響を受けず，まする技術は，各スライダ操作セッションでデザイナが常にたデザイン案が役に立たないときは単にデザイン案をデザより好ましいデザインを発見することを仮定している．7

イナが無視すればよいため，従来のスライダのみのタスク章で示した通り，この仮定はある程度は妥当であると考え遂行に比べて大きな悪影響はないと考えられる．

© 2023 Information Processing Society of Japan104

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

INT23012
2023/3/1

0:05

0:30

0:50

1:09

1:24

1:34

1:52

2:10

2:26

図 8

プロシージャルマテリアル生成（8 パラメータ）でのデザイン事例のスクリーンショット
例．ペンキが剥げかかっている錆びた金属のデザインにするというデザイン目標が与えられている．各スクリーンショットは，参考資料のデモビデオからの抜粋で，左下に経過時間を示してある． Bastien Genbrugge 氏によって CC BY 4.0 のライセンスの元で提供された 3D モデル (https://skfb.ly/6pNQ6) を使用した．

8.2 好みに関する仮定

その結果得られるユーザ体験の評価は本稿の範囲を超え本研究ではデザイナは時間変化しない好みを持っているる．とはいえ，提案フレームワークのユーザビリティ，実ことを仮定するが，実際にはデザインを探索する中で好み際のタスク遂行における寄与度合い，想定ユーザにとってが変化することがありえる．このような変化に対応するにの提示されたデザイン案の有用性などを評価することは，は，変化を検出してそれ以前のデータを破棄する処理を考提案するコンセプトをより理解する上で重要であり，議論案するなど，更なる技術的な検討が必要である．なお，こが不足する点は本研究のリミテーションである．そのようの好みに関する仮定は，初めから最終的なデザインについな評価は，将来研究において，特定のドメインに特化してて具体的なイメージがあることを要求するものではない点

ツールを作り込み，ドメイン知識や実験参加者の持つ専門に注意されたい．デザイナは最終的なイメージを持ってい性を考慮して実験設計を行うことが望ましい．

る必要はないが，探索中に目にしたデザインについて相対的により好ましいデザインを選択できることが要求される．

8.5 創造性支援
我々は，本研究が創造性支援ツール [23] の研究者も触発

8.3 行為主体感の評価

できればと願っている．創造的なアイデアは独創性と有用

従来の designer-in-the-loop 最適化の枠組みに比べて，提性に関連していることが既存研究等で議論されてきた [16]案フレームワークはデザイナに対してより強い行為主体感が，BO における探索と活用もそれぞれ独創性と有用性にを与えることが期待される [4] が，その程度や性質につい関連するコンセプトであり，創造性との関連性を議論できてユーザ実験などを通して理解を深めることは，将来取りる可能性がある．その際，「BO で生成された提案は創造的組むべき重要な研究課題である．その理解が深まれば，将か？」「BO は創造性を支援できるのか？」という問いは興来の human-AI collaboration システムの設計指針にも寄味深く，それに答えるためにはさらなる研究が必要である．

与できる可能性がある．

8.4 ユーザビリティおよび有用性の評価

9. おわりに
本稿では，システムから提示されたデザイン案をデザイ

本研究の焦点は新しいコンピュテーショナルインタラク

ナが明示的に評価しなくても，パラメタ調整用スライダをションの汎用コンセプトを技術的に実現することにあり，操作してデザインを探索しているだけで支援を受けられる© 2023 Information Processing Society of Japan105

情報処理学会 インタラクション 2023
IPSJ Interaction 2023

フレームワーク BO as Assistant を提案した．主な貢献とINT23012
2023/3/1[12]

して，(1) 「提案する助手」という役割を BO がする新たなフレームワークの提案，(2) スライダ操作から選好デー[13]タを抽出して BO を実行する新たな手法の提案，(3) 3 種
類の異なるデザインドメインでのフレームワークの一般性の実証の 3 点が挙げられる．我々はこれが BO の未知の可[14]能性を引き出し，より多様な状況下でベイズ手法を人間中心に活用していくための重要な一歩になると信じている．

[15]

謝辞 本研究の一部は JST CREST JPMJCR20D4 の支援を受けた．図 8 で用いた 3D モデルは Bastien Genbrugge
氏によって CC BY 4.0 のライセンスの元で提供されたも[16]のであり，我々は提案フレームワークの実証のためにそのマテリアルを変更した．

[17]

参考文献
[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

Akiba, T., Sano, S., Yanase, T., Ohta, T. and Koyama,
M.: Optuna: A Next-Generation Hyperparameter Optimization Framework, Proc. KDD ’19, pp. 2623–2631(2019).
Brochu, E., Brochu, T. and de Freitas, N.: A BayesianInteractive Optimization Approach to Procedural Animation Design, Proc. SCA ’10, pp. 103–112 (2010).
Brochu, E., de Freitas, N. and Ghosh, A.: Active Preference Learning with Discrete Choice Data, Proc. NIPS
’07, pp. 409–416 (2007).
Chan, L., Liao, Y.-C., Mo, G. B., Dudley, J. J., Cheng,
C.-L., Kristensson, P. O. and Oulasvirta, A.: Investigating Positive and Negative Qualities of Human-in-theLoop Optimization for Designing Interaction Techniques,
Proc. CHI ’22, pp. 112:1–112:14 (2022).
Chiu, C.-H., Koyama, Y., Lai, Y.-C., Igarashi, T.
and Yue, Y.: Human-in-the-Loop Diﬀerential Subspace
Search in High-Dimensional Latent Space, ACM Trans.
Graph., Vol. 39, No. 4, pp. 85:1–85:15 (2020).
Chong, T., Shen, I.-C., Sato, I. and Igarashi, T.: Interactive Optimization of Generative Image Modelling using Sequential Subspace Search and Content-based Guidance, Comput. Graph. Forum, Vol. 40, No. 1, pp. 279–292 (2021).
Desai, R., Anderson, F., Matejka, J., Coros, S., McCann,J., Fitzmaurice, G. and Grossman, T.: Geppetto: Enabling Semantic Design of Expressive Robot Behaviors,
Proc. CHI ’19, pp. 369:1–369:14 (2019).
Dudley, J. J., Jacques, J. T. and Kristensson, P. O.:
Crowdsourcing Interface Feature Design with Bayesian
Optimization, Proc. CHI ’19, pp. 252:1–252:12 (2019).
Khajah, M. M., Roads, B. D., Lindsey, R. V., Liu, Y.E. and Mozer, M. C.: Designing Engaging Games Using
Bayesian Optimization, Proc. CHI ’16, pp. 5571–5582(2016).
Koyama, Y., Cheng, T. and Igarashi, T.: Preferential Bayesian Optimisation for Visual Design, Bayesian
Methods for Interaction and Design (Williamson, J. H.,
Oulasvirta, A., Kristensson, P. O. and Banovic, N.,eds.), Cambridge University Press, chapter 8, pp. 239–
258 (2022).
Koyama, Y. and Goto, M.: BO as Assistant: Using
Bayesian Optimization for Asynchronously Generating
Design Suggestions, Proc. UIST ’22 (2022).

© 2023 Information Processing Society of Japan

[18]

[19]
[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

Koyama, Y., Sakamoto, D. and Igarashi, T.: CrowdPowered Parameter Analysis for Visual Design Exploration, Proc. UIST ’14, pp. 65–74 (2014).
Koyama, Y., Sakamoto, D. and Igarashi, T.: SelPh: Progressive Learning and Support of Manual Photo Color
Enhancement, Proc. CHI ’16, pp. 2520–2532 (2016).
Koyama, Y., Sato, I. and Goto, M.: Sequential Gallery
for Interactive Visual Design Optimization, ACM Trans.
Graph., Vol. 39, No. 4, pp. 88:1–88:12 (2020).
Koyama, Y., Sato, I., Sakamoto, D. and Igarashi, T.:
Sequential Line Search for Eﬃcient Visual Design Optimization by Crowds, ACM Trans. Graph., Vol. 36, No. 4,
pp. 48:1–48:11 (2017).
Kozbelt, A., Beghetto, R. A. and Runco, M. A.: Theories
of Creativity, The Cambridge Handbook of Creativity(Kaufman, J. C. and Sternberg, R. J., eds.), Cambridge
University Press, chapter 2, pp. 20–47 (2010).
Marks, J., Andalman, B., Beardsley, P. A., Freeman,
W. T., Gibson, S. F., Hodgins, J. K., Kang, T., Mirtich,B., Pﬁster, H., Ruml, W., Ryall, K., Seims, J. E. andShieber, S. M.: Design Galleries: A General Approach
to Setting Parameters for Computer Graphics and Animation, Proc. SIGGRAPH ’97, pp. 389–400 (1997).
O’Donovan, P., Agarwala, A. and Hertzmann, A.: DesignScape: Design with Interactive Layout Suggestions,
Proc. CHI ’15, pp. 1221–1224 (2015).
Rasmussen, C. E. and Williams, C. K. I.: Gaussian Processes for Machine Learning, The MIT Press (2005).
Schonlau, M., Welch, W. J. and Jones, D. R.: Global
versus local search in constrained optimization of computer models, IMS Lecture Notes—Monograph Series,
Vol. 34, No. 1, pp. 11–25 (1998).
Shahriari, B., Swersky, K., Wang, Z., Adams, R. P. andde Freitas, N.: Taking the Human Out of the Loop: A
Review of Bayesian Optimization, Proc. IEEE, Vol. 104,
No. 1, pp. 148–175 (2016).
Shimizu, E., Fisher, M., Paris, S., McCann, J. and Fatahalian, K.: Design Adjectives: A Framework for Interactive Model-Guided Exploration of Parameterized Design
Spaces, Proc. UIST ’20, pp. 261–278 (2020).
Shneiderman, B.: Creativity Support Tools: Accelerating Discovery and Innovation, Commun. ACM, Vol. 50,
No. 12, pp. 20–32 (2007).
Smelik, R. M., Tutenel, T., Bidarra, R. and Benes, B.:
A Survey on Procedural Modelling for Virtual Worlds,
Comput. Graph. Forum, Vol. 33, No. 6, pp. 31–50(2014).
Todi, K., Weir, D. and Oulasvirta, A.: Sketchplore:
Sketch and Explore with a Layout Optimiser, Proc. DIS’16, pp. 543–555 (2016).
Tsukida, K. and Gupta, M. R.: How to Analyze Paired
Comparison Data, Technical Report UWEETR-20110004, University of Washington, Department of Electrical Engineering (2011).
Wang, Z., Zoghi, M., Hutter, F., Matheson, D. and
De Freitas, N.: Bayesian Optimization in a Billion Dimensions via Random Embeddings, J. Artif. Intell. Res.,
Vol. 55, pp. 361–387 (2016).
Yamamoto, K., Koyama, Y. and Ochiai, Y.: Photographic Lighting Design with Photographer-in-the-Loop
Bayesian Optimization, Proc. UIST ’22 (2022).
Zhou, Y., Koyama, Y., Goto, M. and Igarashi, T.: Generative Melody Composition with Human-in-the-Loop
Bayesian Optimization, Proc. CSMC-MuMe ’20, pp.
21:1–21:10 (2020).

106