芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)

CrowdRetouch: ユーザの画像補正傾向に基づく
画像一括補正システム
斉藤優理 1)（非会員）伊藤貴之 1)（正会員）

1) お茶の水女子大学大学院

CrowdRetouch: An At-once Image Retouch System
based on Retouching Parameter Statistics of Users
Yuri Saito1) (Non Member)

Takayuki Itoh1) (Member)

1) Graduate School of Humanity and Sciences, Ochanomizu University{ yuri, itot }＠itolab.is.ocha.ac.jp
アブストラクト
自分で撮影した写真に一定の補正を施して他者と共有する機会が増えているが，その補正パラメータの調整は不慣れなユーザには容易ではない．また同様な写真を多数撮影するユーザには，同様な画像補正
を 1 枚ずつ施す手間が生じてしまう．そこで本論文では，同じようなシーンで撮影された写真群に対して，各ユーザの画像補正の傾向を反映した画像一括補正を可能とするシステム"CrowdRetouch"を提案する．CrowdRetouch ではカテゴリ分類されたサンプル学習画像をユーザに提示して手動画像補正を施してもらい，その補正傾向から所属ユーザクラスタを特定し，ユーザクラスタごとに適用した回帰分析結果に沿って他の画像を一括補正する．いったんユーザクラスタが形成されれば，そのあとに参入する新規ユーザについては，さらに少数のサンプル学習画像に対する画像補正結果から所属ユーザクラスタを特定できるため，小さな手間で画像一括補正処理を利用し始めることができる．CrowdRetouch を利用することにより，画像パラメータの調整に不慣れなユーザであっても，多数の写真群に対して手間と時間を割かずに，各ユーザの嗜好を反映した画像一括補正ができると期待される．

Abstract
It is getting popular to retouch personal photographs before sharing via Internet or other media, however,operations for adjusting image retouch parameters are not easy for novice users. Also, it is bothering or timeconsuming that we may require same processes over and over to retouch similar photographs. We present a newimage retouch system “CrowdRetouch” which reflects users’ tendency of image retouch for a set of similar
photographs. CrowdRetouch firstly asks users to manually retouch sample training images, and then divides theusers based on the image retouch parameters. It then applies a regression analysis to each of user clusters to solve
the relationship between the retouch parameters and image features, and automatically retouches rest of similar
photographs based on the regression analysis results. After forming the user clusters, CrowdRetouch specifies theclusters of new users with smaller number of training images, and therefore we do not need to require heavy
preprocesses to the new users. We expect CrowdRetouch realizes personalized automatic image retouching to large
number of photographs while reflecting preferences of novice users.

147

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)
補正結果を調整する研究が活発になされている．

1. はじめに

画像群分類による画像補正のアプローチの一つとして，画像認識技術を用いて物体認識し，領域ごとにパラメータを変えて

デジタルカメラやスマートフォンの普及，および写真を使ったコミュニケーションを可能にするソーシャル・ネットワーキ

補正する手法がある[4]．また，画像群をカテゴリに分類し，そング・サービス (SNS) などの拡大により，日常生活の中で撮影

れぞれのカテゴリごとに補正パラメータを算出するもある[5]．
一方，対話操作型の画像補正のアプローチの一つとして，候した写真をネットワーク上で共有することが容易になった．
自分で撮影した画像をSNS上で公開する際に，各種アプリケ

補とされるデザインや補正画像をユーザに提示し，対話操作にーションに搭載されている自動補正機能や，画像補正ソフトウ

よってパラメータを調整する手法がある[6][7]．これらは，1 枚ェアを使って，画像の明るさや色合いなどを補正してからアッずつ画像に対して補正する場合に向いている手法であり，大量

プロードすることもしばしばある．自動補正機能には，多くのの写真群に対して補正する場合には手間と時間がかかってしま

ユーザが適切だと感じるように自動的に補正できるという利点

う．

がある．一方で，各ユーザの嗜好や各シーンの特性を反映する

大量の写真群に対して，ユーザの意図や嗜好を効率的に反映ことが難しいという問題がある．画像補正ソフトウェアによるした画像補正を実現するために，機械学習を用いた手法が提案

補正には，明るさや色合いなどのパラメータを手動で調整するされている．Kang らは，システムが提示する複数の補正画像をことで，各ユーザの嗜好や各シーンの特性を反映できるというユーザが評価することで，システムがユーザの意図や好みを学利点がある．一方で，画像補正パラメータの調整に不慣れなユ

習し，画像補正にユーザの嗜好を反映するシステムを提案してーザにとっては，どのパラメータを調整すれば適切に補正できいる．ユーザの評価結果より，画像特徴量空間での画像間距離

るかわからないことが多い．また，日々の記録として撮影すると，補正パラメータ空間での画像間距離が比例するような計算

料理写真のように，枚数の多い写真群に対して一括補正する場

モデルを算出し，ユーザの嗜好を反映した画像補正パラメータ

合にも，1枚ずつ手動操作で画像補正する手間と時間を割かなくを算出する手法を用いている[8]．また，小山らが提案するてはいけない．

SelPh[9]では，ユーザが写真群の色補正パラメータを調整するこ

本論文では，
同じようなシーンで撮影された写真群に対して，とで，システムがユーザの意図や好みを学習し，補正パラメー

各ユーザの画像補正の傾向を反映した画像一括補正を可能とすタの調整作業を効果的に支援する．ユーザの嗜好を反映した画るシステム"CrowdRetouch"を提案する．CrowdRetouchでは，ま像補正パラメータの算出方法は Kang らの手法と同様である．

ずサンプル学習画像をカテゴリ分類する．次にある程度の人数

Bychkovsky らは，プロの写真家に大量のサンプル画像を補正しの初期ユーザに対して，画像カテゴリごとに一定数のサンプルてもらった結果を用いて，ユーザの好みに近いプロの写真家の学習画像を手動で画像補正させ，その特性によって初期ユーザ

補正を元に差分を反映して画像補正する手法を提案しているをクラスタリングする．続いて各ユーザクラスタに対して画像[10]．さらに，荒川らは，対話型進化計算を用いてユーザの好み

補正パラメータの回帰分析を適用し，その結果を画像一括補正にあった画像に進化していく顔画像美観化フィルタシステムをに用いる．新規ユーザが参入した際には，さらに少数のサンプ

提案している[11]．

ル学習画像に対する手動画像補正からその新規ユーザの所属ユ

これらに対して，本報告で提案する CrowdRetouch は，まずーザクラスタを特定できる．そのため新規ユーザは，小さな操

サンプル学習画像をカテゴリ分類し，画像カテゴリごとにユー作量によってその後の画像一括補正処理を利用できる．

ザに少数のサンプル学習画像を補正させ，その結果を用いてユ

CrowdRetouchを利用することにより，画像パラメータの調整

ーザをクラスタリングする．続いて補正パラメータの回帰式をに不慣れなユーザであっても，多数の写真群に対して手間と時クラスタごとに算出し，それを用いて画像を一括補正するシス

間を割かずに，各ユーザの嗜好を反映した画像一括補正ができテムとなっている．

ると期待される．

3. Crowd Retouch のシステム概要

本論文では，大規模画像セット（ImageNet[1]）で収集した写3.1 処理手順

真と，著者がオート機能で撮影した写真を適用事例として，
CrowdRetouchの効果を検証した結果を示す．

本章ではユーザの嗜好を反映した画像一括補正を可能とする
ためのシステム"CrowdRetouch"を提案する．

2. 関連研究

CrowdRetouchは，同じようなシーンで撮影された写真群を前提として，少数のサンプル画像に対する補正操作結果をもとに，画像の自動補正手法には大きくわけて，全自動型の手法と対ユーザの補正特性傾向を反映した画像一括補正を可能とするシ

話操作型の手法がある．
全自動型の手法は，Picasa[2]や Photos[3]などの自動補正機能

ステムである．毎日の記録で撮影する料理写真をまとめて補正で採用されている．これらのソフトウェアでは簡単な操作で対する，数十枚ある同じような風景の写真をまとめて補正する，

象画像を一括補正する機能を有する．しかし，これらの機能でといったように1人のユーザが同じような被写体の画像を補正は必ずしもユーザの意図や嗜好に沿って効果的に画像を補正でするユースケースを想定している．

きるとは限らない．そこで補正結果の満足度を上げるために，

CrowdRetouchの処理手順は以下の通りである．処理手順は画像群を分類したり，ユーザの対話操作を行ったりすることで「システムの訓練」と「タスクの実行」の2段階で構成される．
148

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)

Fig. 1 Window capture of CrowdRetouch
1.システムの訓練

大値の2変数，合計で18変数を用いている．

3.3 サンプル学習画像の色補正

1-1. 画像をカテゴリごとに分類する．3.2 節参照．
1-2. ユーザに画像カテゴリごとに少数のサンプル学習画

3.2節で示した画像分類の後に，ユーザにサンプル学習画像を提示し，対話操作による画像補正を課する．CrowdRetouchのGUI

像を色補正させる．3.3 節参照．
1-3. 1-2 の結果を用いて，補正の好みによってユーザをク

画面をFig.1に示す．画面（左側）に操作パネルを表示し，画面

ラスタリングする．3.4 節参照．

（右側）にサンプル学習画像を表示する．

1-4. 補正パラメータの回帰式を画像クラスタ・ユーザクラ現在の実装では，画像補正パラメータとしてトーンカーブを用いている．処理対象のチャネルは，RGB,R,G,Bの4種類である．

スタごとに算出する．3.5 節参照．
1-5. 新しい画像がどの画像クラスタに属するかを推定す

また，処理を簡易化するために，各チャネルのコントロールポ
イントをシャドウ側の1点 (Cs=64)，中間調の1点 (Cm=128)，ハるための処理に対して学習する．3.6 節参照．
2. タスクの実行

イライト側の1点 (Ch=192) の3点に制限している（Fig.2参照）．

2-1. 新しい画像に対して，どの画像クラスタ・ユーザクラ結果として現在の実装では，1枚の画像に対してユーザは12種類

スタに配属するかを判定する．3.7 節参照．

の画像補正パラメータを操作することになる．

2-2. 配属されたクラスタの重回帰分析の予測式を適用し，画像を自動補正する． 3.7 節参照．

3.2 画像クラスタの形成
CrowdRetouchは「システムの訓練」の準備段階として，まずサンプル学習画像をカテゴリ分類する．CrowdRetouchでは，与えられたサンプル学習画像には共通の風景や対象物を表す概略
的なキーワード（例えば「風景」「飲食物」「建築物」など）が付与されていることを想定する．このようなキーワードが付いていない画像には "other" というキーワードを付与する．
以上の処理によってカテゴリ分類されたサンプル学習画像群
に対して前処理として，画像特徴量によってクラスタリングを適用する．具体的には，1画像に対する画像特徴量をベクトルとして扱い，K-means法を適用することで，画像クラスタを生成す

Fig. 2 Tone curve.

る．現在の実装では画像特徴量として，R, G, B, RGB（輝度）の各々について平均，標準偏差，中間値，最頻値を算出した合計
16変数，また画像を分割した各領域の平均輝度値の最小値と最149

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)

3.4 ユーザクラスタの生成
画像クラスタごとに，ユーザクラスタを形成する．3.3節で示した対話操作による画像補正結果より，同一画像クラスタに属するサンプル学習画像の枚数をnS,画像補正パラメータの個数をnP（現状の実装ではnP =12）とすると，1ユーザの画像補正結果を(nSnP)次元ベクトルとして扱うことができる．このベクトルに主成分分析 (PCA) を適用し，上位の主成分（現在での実装では第3主成分まで）を採用することでユーザの嗜好を表すベクトルとする．このベクトルに対してK-means法を適用することで，ユーザクラスタを形成する．以上の処理によって構成されるデータ構造をFig.3に示す．ここで，画像クラスタをa,b,c,dとすると，Fig. 4

Relation between explanatory variables and objective

ユーザクラスタは，a0,a1,a2,b0,b1,b2,…,のように，画像クラスタ

functions.

ごとに作られる．

3.6 所属クラスタ推定のための判別分析
3.7節にて後述するようにCrowdRetouchでは，新しい画像が与えられると，その画像がどの画像クラスタに分類されるかを判別する．
まず，風景や対象物を表すキーワードによって判別し，さらに，そのキーワードごとにサポートベクターマシン(SVM : Support Vector Machine) を適用している．そこで，「システムの訓練」の一環としてSVMに教師信号を入力する．具体的には，風景や対象物を表すキーワード によって分類されたサFig. 3 Image clusters and user clusters.

ンプル学習画像群に関する多次元変数（画像特徴量X）およびラベル（所属クラスタ番号）を教師信号として入力する．現在

3.5 好みの計算モデルの算出の実装ではSVMによる分類処理にLIBSVM[12] を使用していCrowdRetouch では，各画像クラスタにおけるユーザクラス

る．カーネル関数にはRBFカーネルを採用し，γ値とC値にはタごとに重回帰分析を適用し，その結果を新しい画像の画像補

LIBSVMのデフォルト値を用いている．なお，この処理は多値正パラメータの推定に用いる．具体的には，画像特徴量 X=(x1,

分類の一種になるが，現在の実装では1対1分類器を用いて多値

x2, …, xnF)を説明変数として，i 番目の画像補正パラメータ ri を分類を実現している．

目的関数としたときに，ri =fi(X)となる fi を重回帰分析によって

3.7 新しい画像に対する画像補正

求める．
現在の実装では画像特徴量として，R, G, B, RGBの各々につ

前節までに示した方法で「システムの訓練」を完了したこと

いて平均，標準偏差，中間値，最頻値を算出した合計16変数，を前提として，新しい画像を補正するためにCrowdRetouchは以

また画像を分割した各領域の平均輝度値の最小値と最大値の2下の処理を適用する．まず，与えられた新しい画像がどの画像

変数，合計で18変数を説明変数としている．また現在の実装でクラスタに属するか，またユーザがどのユーザクラスタに属すは線形重回帰分析を用いている．

るかを判定する．続いて当該ユーザクラスタにおける回帰式を

重回帰分析で陥りがちな失敗例の一つに，説明変数が高次元適用することで画像補正パラメータを推定し，その結果にしたすぎるゆえに却って良質な回帰結果が得られない事例が考えらがって画像を補正する．

れる．この問題を回避するために我々の実装では，目的変数（画

この処理ではまず新しい画像の所属カテゴリを推定する．風

像補正パラメータ）と説明変数（画像特徴量）のPearson相関係

景や対象物を表すキーワードが付与されている画像については，数を算出し，相関の高い説明変数のみを採用する．また，説明

そのキーワードによって所属カテゴリを推定する．キーワード

変数どうしで相関が高すぎるものが混在することで，回帰結果が付与されていない画像については，"other" というキーワードの信頼性が低下する場合もある．そのため，説明変数どうしでを付与する．続いて，当該画像の画像特徴量XをSVMに入力す

相関の高すぎるものがある場合には，1つの説明変数を残して他ることで，最もふさわしい画像クラスタを推定する．

の説明変数を除外するようにしている．

続いて，ユーザクラスタを判別する．ここで，3.4節のクラス

現在の実装では，目的変数に対してPearson相関係数が0.5以上

タリング結果に含まれるユーザが新しい画像を入力した際には，の説明変数を採用している．さらに採用された説明変数のペア

3.4節で得られたユーザクラスタをそのまま採用する．さもなけ

でPearson相関係数を算出し，その絶対値が0.9以上の場合どちら

れば「新しいユーザ」とみなして3.3節に示したサンプル学習画

かを除外するようにしている．Fig.4に以上の処理を示す．

像補正を課し，その結果から最もふさわしいユーザクラスタを特定する．ここで，サンプル学習画像補正を課す代わりに，サンプル学習画像補正の候補を提示して選択させる方法も考えら
150

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)
れる．しかし提示された画像に対して積極的に選択したい画像

PHOTOHITO[14]でのカテゴリ分類の粒度を参考に，カテゴリをがない，といった状況が生じることも考えられる．そこで現時「街並み・建物」，「飲食物」，「風景・自然」，「花・草木」，「other」

点での我々の実装では，新しいユーザに対してもサンプル学習とし，写真の付与されているキーワード情報から写真群を分類

画像補正を課している．

した．

この過程において，新しいユーザに画像補正を課するサンプ

本実験では，大学で情報科学を専攻している女子学生22人をル画像数を減らすため，以下に説明するDavies-Bouldin Index

対象に，CrowdRetouchを用いて各カテゴリの写真を嗜好に合わ(DB Index) [13] を適用することでクラスタリングに強く貢献しせて一括画像補正するというテーマで実験を行い，実験終了後ている画像を選別する．

にアンケートを実施した．また，被験者22人をあらかじめ「既存のユーザ」16人と「新しいユーザ」6人に二分した．

具体的には， 番目のユーザが1枚の画像を加工した時，補正

実験内容は以下の通りである．

パラメータがnP個あるとすると補正パラメータ値の集合はnP次(1)元ベクトルとなる．これを とする．同一クラスタを構成する

画像カテゴリごとに用意したサンプル学習画像 30 枚に対番目のユーザと 番目のユーザとの間で補正パラメータがどれして，CrowdRetouch を使って画像を補正してもらい，回くらい似ているか評価するには， と の距離を求める．この帰式を求める．

クラスタを構成する任意の2名について距離の平均|(2)|を求めることで，このクラスタがどのくらい密であるかを計

画像カテゴリごとに用意した新しい画像 10 枚に対して，(1)の結果から推定した画像補正パラメータで画像を自動算できる．平均が小さければ小さいほど，クラスタが小さいこ補正する．この補正結果を各被験者に提示し，嗜好に合っとを意味し，つまりクラスタを構成するユーザ群が同様な補正た補正結果になっているかを評価してもらう．補正結果の比較のため，各画像に対して下記を用意した．

パラメータを選ぶ傾向にあることがわかる．
A)

一方で， 番目のクラスタの中心における補正パラメータもnP次元ベクトルとなる．これを とする． 番目のクラスタと番目のクラスタの距離の平均||を求めることで，クB)

Picasa の自動補正機能を使って補正した画像

C)

画像群を同一カテゴリとし，被験者を分類せず全員分のデータから推定した補正パラメータを適用した画像

ラスタとクラスタの距離の平均を求めることができる．この平D)均が大きければ大きいほど，クラスタごとに補正パラメータが/|画像群カテゴリごとに，被験者を分類せず全員分のデー
タから推定した補正パラメータを適用した画像

明確に異なっていることを意味する．
一般的にはオリジナル画像|の値が小さいほど，

E)

画像群を同一カテゴリとし，画像特徴量によって画像群

そのクラスタは良好であると判断できる．そこで我々の実装でを 3 つの画像クラスタに分類し，被験者を分類せず全員

は，全てのサンプル学習画像についてこの値を計算し，この値分のデータから推定した補正パラメータを適用した画像が2.0以下であるサンプル学習画像を新しいユーザに提示する．

F)

画像カテゴリごとに，被験者を 3 つのユーザクラスタに提示された画像に対する画像補正結果より，提示されたサン

分類し，ユーザクラスタごとのデータから推定した補正

プル学習画像の枚数をnC, 画像補正パラメータの個数をnP（現パラメータを適用した画像
G)状の実装ではnP =12）とすると，1ユーザの画像補正結果を(nCnP)

画像カテゴリごとに，画像特徴量によって画像群を 3 つ次元ベクトルとして扱うことができる．ここで，ユーザクラスの画像クラスタに分類し，さらに被験者を 3 つのユーザ

タごとに，クラスタにおける重心のユーザを代表ユーザとする．

クラスタに分類し，そのユーザクラスタごとのデータか

代表ユーザの画像補正結果と新しいユーザの画像補正結果のユら推定した補正パラメータを適用した画像

ークリッド距離を算出し，その距離が一番小さくなるユーザク
ラスタを新しいユーザのユーザクラスタとする．

なお補正結果の評価には，同一のディスプレイを同一場所にそして，当該ユーザが所属するクラスタにて導出された回帰設置し，同一の照明条件下で比較鑑賞してもらった．また本実式を適用することで，画像補正パラメータを推定し，その結果

験において，3.2節の画像クラスタリングのクラスタ数を経験的に基づいて画像を補正する．このとき，仮に同一ユーザが新しに3で固定し，3.4節のユーザクラスタリングのクラスタ数を経

い写真を大量に用意したとしても，同一カテゴリに属する全て

験的に3で固定した．

の写真に対して同じ回帰式を適用できるため，ユーザの嗜好を

4.2 実験結果と考察
4.2.1 キーワードによる画像カテゴリの有効性反映させた一括画像補正ができると期待される．

4.1節の実験参加者22人中15人に対して以下の実験を行った．

4. 実験

まず，画像群の中から，画像カテゴリを考慮せずにランダムに

4.1 実験方法

選んだ新しい画像10枚に対して，A), C), D)の3種類を用意し，そ我々はJava JDK 1.7.0 を用いてCrowdRetouchを実装し，の中からユーザの嗜好に最も合致する画像を選んでもらい，回

MacBook Proの上で実行した．システム評価にあたり，大規模画答結果を集計した．

像セットImageNet[1]から収集した写真と，著者がオート機能を

結果をFig. 5に示す．オリジナル画像であるA)とCrowdRetouch

適用して撮影した写真を用意した．また写真共有サイトで推定したパラメータを適用したC), D)を比較すると，
151

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)
CrowdRetouchで指定したパラメータを適用したC), D)の方が，高い満足度を得ることができた．さらに，CrowdRetouchで推定したパラメータを適用したC), D)を比較した．結果としてD)が最も高い満足度を得る結果になった．この結果より，画像カテ
ゴリごとにユーザの画像補正傾向が違うことが示唆された．
Fig.7 Percentage of images that matches the users’ preference in all
category.
次に，画像カテゴリごとに，新しい画像10枚に対して，D)とユーザクラスタごとのF)の4種類を用意し，その中からユーザの嗜好に最も合致する画像を選んでもらい，ユーザが属するクラ
Fig. 5 Percentage of images that matches the users’ preference in

スタの補正画像を選択する確率を求めた．カイ二乗検定を用い

all category.

て検定した結果，5.556, p=0.018となり，p<0.05で画像選

択結果に有意差が認められた．
次に，画像群の中から，画像カテゴリを考慮せずにランダムに選んだ新しい画像10枚に対して，A), D), E)の3種類を用意し，その中からユーザの嗜好に最も合致する画像を選んでもらい，

4.2.3 画像特徴量による画像クラスタリングの有効性
4.1節の実験参加者22人に対して，以下の実験を行った．まず，回答結果を集計した．
結果をFig.6に示す．オリジナル画像であるA)とCrowdRetouch

画像カテゴリごとに，新しい画像10枚に対して，A), B), F), G)ので推定したパラメータを適用したD), E)を比較すると，D)が最も4種類を用意し，その中からユーザの嗜好に最も合致する画像を高い満足度を得る結果になった．この結果より，画像をキーワ

選んでもらい，回答結果を集計した．
「花・草木」という画像カードで分類する方が，画像特徴量で分類するよりも満足度が高テゴリにおける結果をFig.8に示す．

いことがわかった．このことから，CrowdRetouchにおいて，キーワードによる画像分類が有効であることが示唆された．

Fig. 6 Percentage of images that matches the users’ preference in all
category.

Fig.8 Percentage of images that matches the users’ preference inflower and plant category.

4.2.2 ユーザクラスタリングの有効性
4.1節の実験参加者22人中15人に対して以下の実験を行った．

オリジナル画像である A)と CrowdRetouch で推定したパラメ

画像カテゴリごとに，新しい画像10枚に対して，A), D), F)の3種

ータを適用した F), G)を比較すると，どのユーザクラスタにお類を用意し，その中からユーザの嗜好に最も合致する画像を選いても CrowdRetouch で推定したパラメータを適用した F), G)のんでもらい，回答結果を集計した．

方が高い満足度を得ることができた．さらに，CrowdRetouch で結果をFig.7に示す．オリジナル画像であるA)とCrowdRetouch

推定したパラメータを適用した F), G)を比較した．結果としてで推定したパラメータを適用したD), F) を比較すると，全体としては G)が最も高い満足度を得る結果になった．これは，CrowdRetouchで指定したパラメータを適用したD), F)の方が，高他の画像カテゴリ（「街並み・建物」，「飲食物」，「風景・自然」）い満足度を得ることができた．さらに，CrowdRetouchで推定しにおいても同様の傾向が見られた．
次に，「other」という画像カテゴリにおける結果をFig.9に示す．

たパラメータを適用したD)とF)を比較した．結果としてF)が最も高い満足度を得る結果になった．この結果より，画像カテゴ
リごとにユーザをクラスタリングすることで，より高い満足度を得られることが示唆された．

152

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)

続いて，CrowdRetouchによって推定された画像補正パラメー
タが，ユーザが対話操作によって指定する画像補正パラメータにどの程度近い値になったかを検証する．本検証では新規画像に対して，ユーザが対話操作によって指定したパラメータとCrowdRetouchで推定したパラメータC)，D)，F)，G)のそれぞれのユークリッド距離を算出した．
結果をFig.12に示す．まず，それぞれの結果を比較すると，C)とD)に比べてF)とG)の方が，ユークリッド距離の最小値，最大Fig.9 Percentage of images that matches the users’ preference in

値，中央値が小さくなっていることがわかる．これにより，画

other category.

像カテゴリごとにユーザクラスタに分類することで，ユーザが対話操作によって指定した画像補正パラメータに近い値を推定

オリジナル画像であるA)とCrowdRetouchで推定したパラメできる可能性が高いことが示唆された．次に，F)とG)を比べる

ータを適用したF), G)を比較すると，どのユーザクラスタにおいと，最小値はほとんどかわらず，中央値と最大値はF)のほうがてもCrowdRetouchで推定したパラメータを適用したF), G)の方小さくなった．これは，画像特徴量による分類を適用することが高い満足度を得た．さらに，CrowdRetouchで推定したパラメ

で，補正結果の満足度が上がる画像傾向と，満足度が下がる画ータを適用したF), G)を比較すると，どのクラスタにおいてもG)像傾向が混在することに一因があると考えられる．

が最も高い満足度を得る結果になった．
F)の結果が高い満足度を得た画像と G)の結果が高い満足度得た画像の傾向を分析する．どのユーザクラスタにおいても F)の結果が高い満足度を得た画像については，多様な色彩が現れている傾向があることがわかった．画像の例を Fig.10 に示す．
一方，どのユーザクラスタにおいても G)の方が高い満足度を得た画像については，単一の色彩が大きな領域を占めることがわかった．画像の例を Fig.11 に示す．つまり，色彩が単一である
画像の場合は特に，画像特徴量による画像クラスタ分類が効果的であることが示唆される．
Fig.12 The distance between retouched parameter of users andestimated parameter of CrowdRetouch.
さらに，画像カテゴリごとに用意した新しい画像 10 枚に対して， CrowdRetouch で補正した G)を用意した．被験者に画像を提示し，補正結果について 7 段階評価（1:非常に不満，2:不
満，3:やや不満，4:どちらとも言えない，5:やや満足，6:満足，7:非常に満足）で採点してもらった．Table 1 に画像カテゴリご
Fig.10 Examples of F results were obtained a high degree ofとの平均値を示す．補正結果に対する評価は，既存のユーザがsatisfaction image.

平均5.19，新しいユーザが平均5.74 という結果となった．
また，
既存のユーザと新しいユーザの評価の結果をそれぞれ Fig.13 とFig.14 に示す．補正結果に対する満足度のあがらない画像も見られたが，全体的には既存のユーザと新しいユーザともに良好
な評価となった．補正結果に対する満足度が平均以下になった
しまった画像を観察した結果として，撮影時の天候が悪かった
ためもともとかなり暗く撮影されていたり，人物が写っていた
り，といった点が満足度の低さに関係していると考えられる．
今後の課題として，このようなケースにおいても満足度の高い補正を実現できるようにしたい．

Fig.11 Examples of G results were obtained a high degree ofsatisfaction image.
153

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)
Table 1 Average of satisfaction for images retouched byになっている．コントラストの調整に加えて，G チャネルのハ

CrowdRetouch.

イライト側を下げて，グリーンを弱く，マゼンタを強くするこ

画像カテゴリ

既存のユーザとで，桜の花びらがピンク色に補正され，春らしい温かみのあ

新しいユーザる仕上がりになっている．

街並み・建物

4.97

4.75

飲食物

5.23

5.09

ユーザクラスタ 3 の補正結果は，RGB チャネルのシャドウ

風景・自然

5.33

6.96

を少し暗くし，トーンカーブの傾斜を少し強くすることで，コ

花・草木

5.40

6.95

ントラストのついた仕上がりになっている．さらに，R チャネ

other

5.01

4.95

ルの中間調を上げて，レッドを強くすることで，全体的に赤色

All

5.19

5.74

のイメージに近づいた仕上がりになっている．
この結果から，被験者によって補正の好みが異なることが示唆された．結果として，補正の傾向によってユーザをクラスタリングし，各ユーザクラスタに対して個別に補正パラメータを推定した上での一括画像処理に効果があることがわかった．

4.2.5 画像カテゴリごとの嗜好の傾向
続いて，画像カテゴリごとの補正パラメータの違いを分析する．本章では「飲食物」，「風景・自然」の画像カテゴリにおいて，サンプル学習画像30枚ずつ補正した時の画像補正パラメー
タの最小値，平均値，最大値を，それぞれFig.16とFig.17に示す．
なおグラフの縦軸は画像補正パラメータの値を表し，横軸はユーザクラスタごとのコントロールポイントを表す．処理対象のチャネルをRGB,R,G,Bの4種類とし，各チャネルのコントロー
ルポイントをシャドウ側の1点 (Cs=64)，中間調の1点 (Cm=128)，

Fig.13 Percentage of existing users' satisfaction for images.

ハイライト側の1点 (Ch=192)としている．Fig.16, Fig.17の下部の文字列はチャネルとコントロールポイントの組み合わせを示している．例えば RGBチャネルのシャドウ側であれば，RGB64と表している．またグラフの背景色について，黄色はRGB（輝度）のみを変えたユーザクラスタ，青色はRGB（輝度）とR，G，Bのいずれかを変えたユーザクラスタ，赤色はすべてのチャネルを変えたユーザクラスタを示している．
Fig.16のユーザクラスタ1とFig.17のユーザクラスタ1を比較すると，RGB（輝度）の補正量は類似しているものの，その他のパラメータの補正量は異なる．また，Fig.16のユーザクラスタ
2とFig.17のユーザクラスタ3を比較すると，RGB（輝度）のみ補正している点が同じだが，補正する方向が異なる．
この結果から，画像カテゴリによって補正の傾向が異なることが示唆された．結果として，キーワードによって画像を分類

Fig.14 Percentage of new users' satisfaction for images.

し，各画像カテゴリに対して個別に補正パラメータを推定した上での一括画像処理に効果があることがわかった．

4.2.4 嗜好の傾向
次に，ユーザクラスタごとに嗜好の傾向がどのようにわかれたかを分析する．今回は，CrowdRetouch で補正した画像の中で満足度が高かった画像の例を Fig. 15 に示す．
ユーザクラスタ 1 の補正結果は，RGB チャネルのシャドウから中間調にかけて暗くし，トーンカーブの傾斜を強くすることで，コントラストのついた仕上がりになっている．
ユーザクラスタ 2 の補正結果は，ユーザクラスタ 1 と同様にRGB チャネルのシャドウから中間調にかけて暗くし，トーンカ
ーブの傾斜を強くすることで，コントラストのついた仕上がり
154

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)

Fig. 15 Example of users' preference tendency.
4.2.6 補正にかかる時間ある被験者がCrowdRetouchを使って新しい画像10枚を補正するのにかかる時間を検証するために，3.3節で示したようにユーザにサンプル学習画像を提示し，対話操作によって画像を補正してもらい，その1枚ごとにかかった時間を計測した．
結果をFig.18に示す．1枚あたりの平均所要時間は65秒であった．CrowdRetouchでは，新しいユーザがどのユーザクラスタに属するかを判別するために，サンプル学習画像の補正操作を実施する必要があるが，所属するクラスタが判別した後は，一括補正処理を行うため時間がほとんどかからない．
このことから，CrowdRetouchを利用することにより，画像パラメータの調整に
Fig.16 Correction amount of retouch’s parameters in food and不慣れなユーザであっても，多数の写真群に対して手間と時間

drink category.

を割かずに，各ユーザの嗜好を反映した画像一括補正ができると期待される．

Fig.18 Processing time.

Fig.17 Correction amount of retouch’s parameters in landscapecategory.

155

芸術科学会論文誌 Vol. 15, No. 4, pp. 147-156 (2016)
ンポジウム, 2015.

5. まとめと今後の課題[10] V. Bychkovsky, S. Paris, E. Chan, and F. Durand, Learning

本論文では，同じようなシーンで撮影された写真群に対して，

Photographic Global Tonal Adjustment with a Database of

各ユーザの画像補正の傾向を反映した画像一括補正を可能とす

Input / Output Image Pairs, IEEE Conference on Computer Vision andるシステム"CrowdRetouch"を提案し，その有効性を検証した．

Pattern Recognition, pp. 97-104, 2011.

今後の課題として，以下の 2 点を挙げる．

[11] 荒川 薫, 野本 弘平, インタラクティブ進化計算を用いた

1 点目の課題として分析手法の再検討が考えられる．具体的

顔画像美観化システム，第21回ファジィシステムシンポジウム,には，新しい画像が所属すべきクラスタの判別分析手法（現時

8E3-2, 2007.

点では SVM）の再検討，および画像特徴量から画像補正パラメ[12] LIVSVM. http://www.csie.ntu.edu.tw/~cjlin/libsvm/ ( 閲覧日:

ータを推定する回帰分析手法（現時点では線形重回帰分析）の2016年9月9日).

再検討を進めたい．

[13] D. Davies, D. Bouldin, A cluster separation measure, IEEE

2 点目の課題として画像補正パラメータの拡張が考えられる．

Transactions of Pattern Analysis and Machine Intelligence, Vol. PAMI-

現時点の実装では，色補正パラメータの一種であるトーンカー

1, No. 2, pp. 224–227, 1979.

ブを採用し，コントロールポイントを 3 点に絞っている．これ[14] PHOTOHITO. http://photohito.com/ (閲覧日: 2016年9月9日).

に対して，トーンカーブのコントロールポイントを増やす，トーンカーブ以外の画像補正パラメータを用いる，といった拡張

斉藤 優理

を試し，これによって補正結果の満足度が向上するかを検証したい．
以上を検討した上で，大人数の被験者を交えた実験を実施し，CrowdRetouchの有用性を再検証したい．

謝辞
本研究の一部は，日本学術振興会科学研究費補助金の助成に関するものです．
2010年津田塾大学学芸学部情報科学科卒業．2012年お茶の水女

参考文献

子大学大学院人間文化創成科学研究科理学専攻博士前期課程修[1] ImageNet. http://www.image-net.org/ (閲覧日: 2016年9月9日).

了．同年ソニー(株) 入社．現在，お茶の水女子大学大学院人間[2] Picasa. http://picasa.google.com/ (閲覧日: 2016年9月9日).

文化創成科学研究科理学専攻博士後期課程に在学中．

[3] Photos. http://www.apple.com/osx/photos/ (閲覧日: 2016年9月9

伊藤 貴之

日).
[4] Z. Yan, H. Zhang, B. Wang, S. Paris, Y. Yu, Automatic Photo
Adjustment Using Deep Neural Networks, ACM Transactions on
Graphics 35(2) , 2016.
[5] J. –Y. Lee, K. Sunkavalli, Z. Lin, X. Shen, and I. S. Kweon,
Automatic Content-Aware Color and Tone Stylization, IEEE
Conference on Computer Vision and Pattern Recognition, pp. 24702478, 2016.
[6] J. Marks, et al., Design galleries: a general approach to setting
parametersforcomputergraphics

andanimation,ACM

SIGGRAPH ’97, pp.389-400, 1997.

1990 年早稲田大学理工学部電子通信学科卒業．1992 年早稲田

[7] L. Shapira, A. Shamir, D. Cohen-Or, Image appearance exploration

大学大学院理工学研究科電気工学専攻修士課程修了．同年日本

by

アイ・ビー・エム (株) 入社．1997 年博士(工学)．2000 年米国

model-basednavigation,

ComputerGraphics

Forum(EUROGRAPHICS 2009), pp.629–638, 2009.

カーネギーメロン大学客員研究員．

[8] A. Kapoor, J. Caicedo, D. Lischinski, S. Kang, Collaborative

2003 年から 2005 年まで京都大学大学院情報学研究科 COE

Personalization of Image Enhancement, International Journal of

研究員（客員助教授担当）．2005 年日本アイ・ビー・エム (株)Computer Vision, Vol.108, No.1-2, pp.148-164, 2014.

退職，お茶の水女子大学理学部情報科学科助教授．2011 年同大[9] 小山 裕己, 坂本 大介, 五十嵐 健夫, 効果的な写真の色補

学教授，同大学シミュレーション科学教育研究センター長，正を実現するための自己強化するシステム, VC/GCAD 合同シ

ACM, IEEE Computer Society, 芸術科学会，他会員．
156