周辺色の差異による色錯視を考慮した画像合成時の色補正処理
理学専攻

1情報科学コース

2140653

はじめに2.2

処理手順

2.3

2.3.1

まず元画像から前景となる領域を切り出す．我々の現段階の実装では，前景領域の切り出しに remove.bgを適用している．remove.bg は AI を使用した画像の切り出しに特化した Web サービスである．
次に，前景領域の画素の RGB 値に対して K-means法を適用し，前景領域を形成する色クラスタを得る．
このとき，代表色は色クラスタの中から Rawat ら [1]の提案する数式

w1 H + w2 B + w3 S + w4 A + w5 C
∑5i=1 wi

錯視加味画像の生成

錯視加味画像の生成には新井ら [4] の処理を用いる．
この工程を分解，係数処理，再構成の 3 つに分けて説明する．

前景処理

Ec =

比較画像の生成

色の錯視量を推定するにあたり，前景に最も錯視の影響を与えていると思われる色を，元画像および合成先画像の任意の 1 点から取得する．この取得した色をそれぞれ背景とし，中心に先ほど切り出した前景を合成する．この生成画像を比較画像と称する．

本章では，本研究の提案手法を処理手順を追って説明する．なお本章では，前景のある画像を元画像，前景を合成する予定の画像を合成先画像と称する．

2.1(指導教員：伊藤 貴之)

色相，彩度，明度という色の特徴は，前景の色エネルギーを定義する上で最も重要な側面である [2]．そのため，前景の色クラスタのサイズやコントラストと比較して，これらの要素に高い重みが与えられている．
また，色相も最も重要な要素であるため [2]，彩度や明度に比べて高い重みを設定する．本手法では Rawat
ら [1] に倣い，w1 = 4，w2 = 2，w3 = 2，w4 = 1，w5 = 1 を重みとして用い，前景の色クラスタごとの色エネルギーを計算する．そして，色エネルギーが最も大きい値の色クラスタを代表色として選出する．

任意の前景物体画像を任意の背景画像と合成する際に，合成前と合成後とで前景物体の色が変化して見えることがある．これは色の錯視の一種であり，色彩学的な問題点として知られている．前景物体と背景の自然な合成のための色補正技術は従来から数多く研究されており，その種類も多岐にわたる．しかし，画像合成がもたらす色の錯視の観点から解決を試みる研究はまだ少ない．本論文では画像合成において色の錯視を考慮して色補正を施すための一手法を提案する．本論
文では特に，元画像から前景物体を切り取って別の背景画像に合成する際の，明度，彩度，色相の差異によって発生する色の錯視について検討する．この色補正技術により，元画像の前景物体を別の背景画像に合成した際に色が変化して見える現象が緩和され，より自然に感じられる画像合成処理が可能になると考えられる.

2後藤 杏菜分解

先ほど生成した 2 枚の比較画像を色データごとに分解し，比較画像の色成分ごとの画像に双直交ウェーブレットによる多重解像度分解を適用する．これにより，近似フィルタと，水平，垂直，対角の三方向の分解詳細係数フィルタを得る．ここで色空間には CIELa*b*を採用する．

2.3.2

係数処理

はじめに先の工程で得た分解詳細係数の符号を記録し，各分解詳細係数の絶対値をとる．次にその値を 0から 1 の範囲に正規化し，この値に SN 関数(1)を用いることで取得する．H は色相の暖かさ（0-1），
B は明るさ（0-1），S は彩度（0-1）、A は面積（0-1），
C はコントラスト（0-1）に対応する．色相の暖かさ
は，赤（0°/360°）を最も暖かく（1），青（180°）を最も冷たく（0）する色相環を用いて計算される [2]．面積は，前景における各色領域の面積比で正規化する．
コントラストは，この時，C の値の算出には Rawat ら[1] の手法と同様に Michelson の公式 [3] を使用して計算する．
Lmax − Lmin
C=(2)Lmax + Lminf (x, a) =xa
xa + (1 − x)a(3)を適用することで，値の大小に応じた係数処理を施す．ここで x は，正規化した分解詳細係数である．また a は，x にもとづく指標値として新井 [5] の手法によって定義される以下の関数
0.8 ∗ ∥x∥1/8 + 0.4 (水平，垂直)a(x) =(4)0.4 ∗ ∥x∥1/4 + 0.8 (対角)である．これにより，入力値が大きければ大きいほど小さな入力値をより小さく抑制し，逆に入力値が小さければ小さいほど小さな入力値を増強する，という視覚特性を再現する．

Lmax と Lmin は前景の色クラスタと背景における最大と最小の輝度である．また，色相コントラストもMichelson の式で計算し、色相と輝度コントラストの平均値を色エネルギーに利用する．
1

最後に，係数処理を適用した分解詳細係数に逆正規化を施することで，係数の符号をもとに戻す．

2.3.3

再構成

符号を戻した分解詳細係数フィルタと近似フィルタをもとに，逆双直交ウェーブレットを用いて色データ画像を再構成する．また色データを合成し，元の色彩の画像を再構成する．この際に再構成される画像を錯視加味画像とする．

2.4(b) 色補正前(c) 元 画 像 の前景(d) 元画像(e) 色補正後(f) 色補正後の前景

錯視量の算出と合成

元画像の錯視加味画像と合成先画像の錯視加味画像から前景を切り出し，その画素値に対してクラスタリングを適用する．これにより，前景内の色の種類とその面積比を求める．錯視加味の前景画像内には，もとの前景に含まれていない色領域が一部発生していることから，画像内において色領域の比率の小さい色が錯視に影響している色と考え，割合の低い色から順に nc個の色を選び，重み付き平均を求める．この工程を色選択と呼ぶ．この求めた色を元画像と合成先画像内の色錯視を加味した前景とし，2 つの画像の色の差分を求める．この値を元画像と合成先画像における前景の色の錯視量とする．この錯視量を元に前景に色補正を施し，合成先画像に合成する．

3(a) 元画像

図 2: 実行結果 2

画像は (c)，(e) の前景画像は (f) と前景画像が異なるにもかかわらず，見かけの色は色補正前と比べて近くなっている．
また，クラスタ数や色数 nc の調節によって色の変動に違いを出すことが可能であることを確認できた．

4

本研究では，背景色の違いによって発生した前景の色錯視を考慮した画像合成処理手法を提案した．これにより，発生した色錯視を錯視量として数値化することで色補正量を算出することを可能にした．
今後の課題として，より自然な画像合成を実現するために現段階では前景全体に同一の色補正を施しているのに対して，前景を色領域ごとに色補正することで，元画像との印象の乖離を減らせると考えられる．また，現段階では背景画像が単色の場合にのみ対応しているが，今後は背景画像が複数色の場合も対応させていきたい．

実行例

以上の手法を Python を使用し実装した結果を示す．
図 1 は単純画像に焦点を当て，クラスタ数を 10，色数
nc は 2 とする．

(a) 元画像(b) 色補正前まとめ(c) 元 画 像 の前景画像

参考文献[1] Y. S. Rawat，M. Song，M. Kankanhalli，”ASpring-Electric Graph Model for SocializedGroup Photography”，IEEE Transactions on
Multimedia，Vol. 20，No. 3，p. 754-756，2018．

(d) 元画像(e) 色補正後[2] H. Zettl，”Sight, Sound, Motion: Applied Media
Aesthetics”，Belmont，CA，USA: Wadsworth，
2010．

(f) 色補正後の前景画像

図 1: 実行結果 1[3] A. A. Michelson，”Studies in Optics”，Chicago，IL，USA: Univ. Chicago Press，1927．

色補正前の時点では，(a)，(b) の前景画像が共に (c)で等しいにもかかわらず，(a) は灰色に見えることに対して (b) は緑がかった灰色に見えると言ったように，見かけの色に違いが発生している．それに対して，色補正後の時点では，(d) の前景画像は (c)，(e) の前景画像は (f) と前景画像が異なるにもかかわらず，見かけの色は色補正前と比べて近くなっている．
次に，図 2 は前景画像に複数色を使用した画像に焦点を当て，クラスタ数を 10，色数 nc は 3 とする．
色補正前の時点では，(a)，(b) の前景画像が共に (c)で等しいにもかかわらず，最も面積が広い色領域が (a)は薄い茶色に見えることに対して (b) は暗い茶色に見えると言ったように，見かけの色に違いが発生している．それに対して，色補正後の時点では，(d) の前景[4] 日本特許．新井仁之，新井しのぶ，”錯視の分析装
置，原画像のとおり近くさせるように錯視を加味した錯視加味画像生成装置，錯視の分析方法，原画像のとおり近くさせるように錯視を加味した錯
視加味画像生成方法，及び，プログラム”，特許第5622971 号， 2014-11-12．
[5] 新井仁之，”ウェーブレット・フレームとその錯視研究への応用”，可視化情報学会誌，Vol. 29，No.
115，p. 10-17，2009．

2