WISS 2022

色差による色錯視を考慮した画像合成時の色補正処理
後藤 杏菜

伊藤 貴之

∗

概要. 画像合成には煩雑な対話操作が必要であることが多い．この操作を容易にし，ユーザフレンドリーな画像合成を実現するために，人間の視覚特性にもとづいた自動色補正技術が数多く研究されている．その一方で画像合成前と合成後とで前景物体の色が変化して見える色彩学的な問題が知られているが，色彩学の観点からこの解決を試みる研究はまだ少ない．この問題を解決するための一手段として我々は，画像合成において元画像から前景物体を切り取って別の背景画像に合成する際の前景とそれぞれの背景との明度，彩度，色相の差異によって発生する色の錯視を考慮し，色補正を施す手法を提案する．この色補正技術により，元画像の前景物体を別の背景画像に合成した際に色が変化して見える現象が弱まり，より自然に感じられる画像合成処理が可能になると考えられる．本手法を用いて色補正を行ったところ，前景が単色の場合において見かけの色の変化を抑えることに成功した．また，前景が複数色の場合にも部分的に色の差異を感じることはあれど，一見した際の印象として色の変化を抑えることができることを確認した．

1

はじめに任意の前景物体画像を任意の背景画像と合成する際に，合成前と合成後とで前景物体の色が変化して見えることがある．これは色の錯視の一種であり，色彩学的な問題点として知られている．前景物体と背景の自然な合成のための色補正技術は従来から数多く研究されており，その種類も多岐にわたる．しかし，画像合成がもたらす色の錯視の観点から解決を試みる研究はまだ少ない．本報告では画像合成において色の錯視を考慮して色補正を施すための一手法を提案する．本報告では特に，元画像から前景物体を切り取って別の背景画像に合成する際の，明度，彩度，色相の差異によって発生する色の錯視について検討する．この色補正技術により，元画像の前景物体を別の背景画像に合成した際に色が変化して見える現象が緩和され，より自然に感じられる画像合成処理が可能になると考えられる.

次に，前景領域の画素の RGB 値に対して K-means法を適用し，前景領域を形成する色クラスタを得る．
このとき，代表色は色クラスタの中から Rawat ら[1] の提案する数式

Ec =w1 H + w2 B + w3 S + w4 A + w5 C
∑5i=1 wiを用いることで取得する．H は色相の暖かさ（01），B は明るさ（0-1），S は彩度（0-1），A は面積（0-1），C はコントラスト（0-1）に対応する．色相の暖かさは，赤（0°/360°）を最も暖かく（1），青（180°）を最も冷たく（0）する色相環を用いて計算される [2]．面積は，前景における各色領域の面積比で正規化する．この時，コントラストの値の算出には Rawat ら [1] の手法と同様に Michelson の公式[3] を使用して計算する．

C=2

処理手順

本章では，本研究の提案手法を処理手順を追って説明する．なお本章では，前景のある画像を元画像，前景を合成する予定の画像を合成先画像と称する．

2.1

前景処理

まず元画像から前景となる領域を切り出す．我々の現段階の実装では，前景領域の切り出しに remove.bgを適用している．remove.bg は AI を使用した画像の切り出しに特化した Web サービスである．
Copyright is held by the author(s). This paper is nonrefereed and non-archival. Hence it may later appear
in any journals, conferences, symposia, etc.
∗お茶の水女子大学(1)

Lmax − Lmin
Lmax + Lmin

(2)

Lmax と Lmin は前景の色クラスタと背景における最大と最小の輝度である．また，色相コントラストも Michelson の式で計算し、色相と輝度コントラストの平均値を色エネルギーに利用する．
色相，彩度，明度という色の特徴は，前景の色エネルギーを定義する上で最も重要な側面である [2]．
そのため，前景の色クラスタのサイズやコントラストと比較して，これらの要素に高い重みが与えられている．また，色相も最も重要な要素であるため [2]，彩度や明度に比べて高い重みを設定する．本手法では Rawat ら [1] に倣い，w1 = 4，w2 = 2，w3 = 2，w4 = 1，w5 = 1 を重みとして用い，前景の色クラスタごとの色エネルギーを計算する．そして，色エネルギーが最も大きい値の色クラスタを代表色として選出する．

WISS 2022

2.2

比較画像の生成

色の錯視量を推定するにあたり，前景に最も錯視の影響を与えていると思われる色を，元画像および合成先画像の任意の 1 点から取得する．この取得した色をそれぞれ背景とし，中心に先ほど算出した前景の代表色で作成された画像を合成する．この生成画像を比較画像と称する．

2.3錯視加味画像の生成

錯視加味画像の生成には新井ら [4] の処理を用いる．この工程を分解，係数処理，再構成の 3 つに分けて説明する．

2.3.1

分解

3

先ほど生成した 2 枚の比較画像を色データごとに分解し，比較画像の色成分ごとの画像に双直交ウェーブレットによる多重解像度分解を適用する．これにより，近似フィルタと，水平，垂直，対角の三方向の分解詳細係数フィルタを得る．ここで色空間にはCIELa*b*を採用する．

2.3.2

タリングを適用する．これにより，前景内の色の種類とその面積比を求める．錯視加味の前景画像内には，もとの前景に含まれていない色領域が一部発生していることから，画像内において色領域の比率の小さい色が錯視に影響している色と考え，割合の低い色から順に nc 個の色を選び，重み付き平均を求める．この工程を色選択と呼ぶ．この求めた色を元画像と合成先画像内の色錯視を加味した前景とし，2 つの画像の色の差分を求める．この値を元画像と合成先画像における前景の色の錯視量とする．この錯視量を元に前景に色補正を施し，合成先画像に合成する．

以上の手法を Python を使用し実装した結果を図1，2 に示す．画像は単純画像のみに焦点を当て，クラスタ数を 10，色数 nc は 3 とする．

係数処理はじめに先の工程で得た分解詳細係数の符号を記録し，各分解詳細係数の絶対値をとる．次にその値を 0 から 1 の範囲に正規化し，この値に SN 関数

xaf (x, a) = ax + (1 − x)a(a) 元画像{a(x) =0.8 ∗ x1/8 + 0.4 (水平，垂直)0.4 ∗ x1/4 + 0.8 (対角)(3)(a) 元画像(b) 色補正あり

図 2: 色補正後(4)である．これにより，入力値が大きければ大きいほ
ど小さな入力値をより小さく抑制し，逆に入力値が小さければ小さいほど小さな入力値を増強する，という視覚特性を再現する．
最後に，係数処理を適用した分解詳細係数に逆正規化を施することで，係数の符号をもとに戻す．
再構成

符号を戻した分解詳細係数フィルタと近似フィル
タをもとに，逆双直交ウェーブレットを用いて色データ画像を再構成する．また色データを合成し，元の色彩の画像を再構成する．この際に再構成される画像を錯視加味画像とする．

2.4(b) 色補正なし

図 1: 色補正前を適用することで，値の大小に応じた係数処理を施す．ここで x は，正規化した分解詳細係数である．
また a は，x にもとづく指標値として新井 [5] の手法によって定義される以下の関数

2.3.3

実行結果

錯視量の算出と合成

元画像の錯視加味画像と合成先画像の錯視加味画像から前景を切り出し，その画素値に対してクラス実行前の図 1(b) の時点では，右図，左図は本来ならば色が等しいにもかかわらず，見かけの色に違いが発生している．それに対して，図 2(b) は見か
けの色は図 1(b) と比べて近くなっている．
また，クラスタ数や色数 nc の調節によって色の変動に違いを出すことが可能であることを確認できた．

4

まとめと今後の課題

本研究では，背景色の違いによって発生した前景の色錯視を考慮した画像合成処理手法を提案した．
これにより，発生した色錯視を錯視量として数値化することで色補正量を算出することを可能にした．
今後の課題として，前景を色領域ごとに色補正することで，元画像との印象の乖離が減り，より自然な画像合成が可能になると考えられる．また，現在の実装では背景が単色の場合にのみ対応する形になっているが，背景が複数色の場合も対応可能にしたい．

色差による色錯視を考慮した画像合成時の色補正処理

参考文献[4] 日本特許．新井仁之，新井しのぶ． 錯視の分析装
置，原画像のとおり近くさせるように錯視を加味[1] Y. S. Rawat, M. Song, and M. Kankanhalli.
した錯視加味画像生成装置，錯視の分析方法，原A Spring-Electric Graph Model for Socialized
画像のとおり近くさせるように錯視を加味した錯Group Photography. In IEEE TRANSACTIONS
視加味画像生成方法，及び，プログラム．特許第ON MULTIMEDIA, VOL. 20, NO. 3, pp. 754–5622971 号， 2014-11-12．
766, 2018.
[5] 新井仁之． ウェーブレット・フレームとその錯視研[2] H. Zettl. In Sight,Sound,Motion:AppliedMediaAesthetics. 究への応用．可視化情報学会誌，Vol.29，No.115，
Belmont,CA, USA: Wadsworth, 2010.
pp.10-17，2009．
[3] A. A. Michelson. In Studies in Optics. Chicago,IL, USA: Univ. Chicago Press, 1927.

未来ビジョン
本研究は 3DCG アニメーションやイラストの作成時の補助，ユーザーインターフェースの改善，可視化時の補助など，幅広い場面において活用できると考えている．
3DCG アニメーションの作成においてキャラクタと背景を分けて作成することが多い．その場合，キャラクタを背景がグレーの立体空間で作成し，完成したものを別途作成した背景に合成するが，この合成を行う際に背景の変化による前景となるキャラクタの見かけの色の変化が発生しうる．また，イラストの作成も3DCG アニメーションと同様にキャラクタと背景を別々のレイヤーに描いた後に合成を行うが，その際に前景となるキャラクタの見かけの色の変化が発生しうる．現状，このような場面において多くの場合は作成者自身が手動で色補正を行っているが，それを半自動で行うことが可能になる．

ユーザーインターフェースの改善例として，スライド作成ソフトを挙げる．スライド作成
画面は 3DCG アニメーションの作成と同様に背景がグレーであるが，スライド再生画面は黒である．このように，作成環境と再生環境が異なる場合に，作成画面上と再生画面の色の見え方が同じになるように補正を行うことが可能だと考えられる．
可視化の手法として，数値やラベルごとの色分けはよく使われる．しかし，配色によっては，本来は同じ色領域の部分が異なる色に見えることがある．このような場合に見かけ上は異なる色に見えるが本来は同じ色の領域を同じ色に見えるように補正することで，可視化結果の誤認識を防ぐことが可能だと考えられる．
このように，本研究は画像合成時の見かけの色の変化を抑える手法の提案であるが，本研究を応用することにより，見かけの色の変化が起きうるさまざまな場面においてその変化を抑えることに貢献できる．