反応拡散方程式に基づくプロジェクタカメラ系の解析を用いた光学特性の可視化
代表研究者

天 野 敏 之和歌山大学大学院システム工学研究科 教授

1 はじめに
我々はプロジェクタとカメラを用いた光学的なフィードバックによって，見かけの色彩を操作する「見かけの制御」を提案[1]し，視覚補助[2]や質感編集[3,4]，光学イリュージョン[5]などの応用について研究している．また，我々はこれらの研究成果のアウトリーチとして，引箔帯地のタペストリの演出[6]をはじめ多数の演出応用を行っており，2016 年に日本橋三越本店で実施した天女像のプロジェクションマッピングでは最先端表現技術利用推進協会より映像技術奨励賞[7]を受賞している．
演出応用では，意図的に色彩や明暗の揺らぎを発生させる演出手法（ピクセルフィードバックアニメーシ
ョン：PFA）[8]を提案している．この PFA の挙動は目標画像生成での画像処理アルゴリズムとそのパラメータにより変化するが，目標画像生成として特定の画像処理を適用すると，反応拡散方程式の解であるチューリング・パターンと同様の模様が発現する．ただし，プロジェクタカメラ系には画像撮影が含まれるため，投影対象の反射特性が生成される模様に反映される．このような性質は，通常の照明下での観察では検出が困難な反射特性の可視化を実現する可能性がある．そこで，本研究では PFA のメカニズムを反応拡散系として解明し，通常の照明では現れない反射特性を実物体上で可視化を実現する方法について研究する．

2 見かけの制御
2-1 見かけの制御
見かけの制御は，図 1 に示すカメラによる撮影とプロジェクタによる投影からなる光学的なフィードバッ
クにより構成される．物体表面のある点において環境照明𝑰! とプロジェクタからの投影𝑰" が投影されている
とき，これらを RGB のカラーベクトル，反射率を𝐾を 3 行３列の行列とすれば，反射光𝑰# は
𝑰# = 𝐾(𝑰" + 𝑰! )(1)と記述できる．このとき，カメラとプロジェクタの光学応答が線形であれば，反射率は撮影画像𝑪と投影画像
𝑷，𝑰" = 𝟎の状況において撮影された画像𝑪! を用いて，+ = 𝑑𝑖𝑎𝑔{𝑪./(𝑀𝑷 + 𝑪! )}𝐾(2)と推定できる．ただし，𝑀 ∈ ℝ$×$ はプロジェクタとカメラの色彩を整合する色混合行列であり，あらかじめ+ で変調することで白色照明下での見白色板を用いた校正で取得する．その後，見かけの制御は白色画像を𝐾

Update law in MPC

New Projection
Image

A Function Reference tobased on Next Image
the ModelCurrent
Image

Estimated Appearance ofthe object under white light

図 1 見かけの制御系

図 2 見かけの操作結果

1
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

かけ𝑪𝑒𝑠𝑡を生成し，これに所望の画像処理を施して制御目標𝑹を得る．コントローラでは，この𝑹と𝑪の偏差をフィードバックし，モデル予測コントローラで𝑷を調整することで，𝑰# を画像処理で与えられる見かけに変化させる．このとき，反射面が拡散反射と仮定できれば，観察者の視点での色彩𝑰′# が𝑰# と一致する．図２にプロジェクタカメラ系の外観とその装置を用いた見かけの操作の一例を示す．
2-2 ピクセルフィードバックアニメーション
2015 年 12 月に日本橋三越本店で開催された裕人礫翔個展「月の記憶」にて実施した引箔帯地タペストリ「月光」へのプロジェクションマッピン
グ（図 3）では，投影パターンに動的な変化を与える演出方法として PFA を考案した．
PFA は過度なパラメータや光学的に提示不可能な𝑹を生成する画像処理を Image Processing に設定することで制御系を不安定状態にし，投影に発振や過渡現象を発生させる演出手法であるが，フィードバック系にはカメラによる撮影とプロジェクタによる投影が含まれる．そのため図 4 に
図 3 展示の様子（NHK おはよう日本 2015 年 12 月 4 日）
示すように，演出対象の反射特性を境界条件として，設定した画像処理に応じた模様が発生する．
例えば，(a)に示す光沢エフェクトは，見かけの操作の目標画像生成のアルゴリズムに明度均一化処理を適用している．ただし，操作パラメータを過度に設定して反対に明度差が拡大するように設定している．この結果，タペストリの模様が反映された雲状のテクスチャが現れ，この明暗が時間とともに反転するエフェク
トが提示される．(b)の Bubble エフェクトは画像処理に過度なエッジ強調の後にコントラスト強調処理によって明暗差が拡大する画像変換を設定している．このパラメータ設定によってタペストリ表面の微細構造に起因して発生した光のにじみが伝搬し，気泡の成長に似た空間パターンが生成される．(c)は Blue Earth と命名したエフェクトであり，色相操作に加えて過度なコントラスト強調を適用している．この結果．全体の色調が色相操作によって変化するとともに，引箔の鏡面反射によって地球の赤道に相当する部分で明度の飽和と色彩変化が発生する．(d)の Rainbow はモノクロ化処理のパラメータを過度に設定しすることで時間とともに色彩が虹色に変化するエフェクトが投影される．(e)の No Title #2 は彩度の高い部分の彩度を無彩色に，無彩色の部分を極彩色にすることで色彩の発振を発生させる．(f)の No Title #3 は Bubble エフェク
トとは異なり，エッジ強調のパラメータは適正値に設定している．この結果，タペストリの模様を起因として生じた輝点が穏やかに広がる光のにじみが提示される．

(a) 光沢エフェクト(b) Bubble エフェクト(c) Blue Earth エフェクト(d) Rainbow エフェクト(e) No Title #2 エフェクト(f) No Title #3 エフェクト
図 4 ピクセルフィードバックアニメーションによる演出

2
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図 5 離散近似による反応拡散系の実装（Gray-Scott モデルの結果）

3 プロジェクタカメラフィードバック系に混在する反応項と拡散項
3-1 反応拡散方程式
反応拡散方程式は反応項𝑓(𝒖)と拡散項∇& 𝒖を持つ連立偏微分方程式
𝜕𝒖= 𝑓(𝒖) + 𝐷∇& 𝒖𝜕𝑡(3)で記述される．ただし，𝒖は 𝑡を時刻，𝒙を空間座標とする 2 変数系𝒖(𝑡, 𝒙) = (𝑢' , 𝑢& )𝒕 であり，対角行列𝐷 =𝑑𝑖𝑎𝑔(𝑑' , 𝑑& )は拡散係数，∇& はラプラシアンである．アランチューリングは，この 2 変数系において𝑑' と𝑑& が大きく異なり，𝑓(𝒖)が一定の条件を満たすことで 𝑢' と𝑢& の拡散速度が異なる場合，空間パターン（チューリング・パターン）が自発的に生成されることを証明した[9]．
本研究では，まず反応拡散系の理解を深めるために，Gray-Scott モデル，Gierer-Meinhardt モデル，線型モデルを実装して反応拡散系の挙動を調査した．この調査では，図 5 に示すように拡散項を離散近似し，さらにこの演算を微分カーネルのたたみ込み演算として表現した．また，この実装では OpenCV を用いてマスク演算として実装することで高速な演算を実現した．図 5 に示すように，初期パターン”Amano”を与えて適切な拡散係数やその他のパラメータを設定すると，初期パターンから Gray-Scott モデル特有の波紋が成長するチューリング・パターンの発現が確認された．
前節で説明した PFA の Bubble エフェクトでは，図 6 に示すようにプロジェクタカメラ系によって演出対象の模様を境界条件としてチューリング・パターンと同様の模様が発生する．プロジェクタとカメラを用いた光学的なフィードバック系には，図 7 に示すように操作対象とシステム内部に，拡散項と反応項に相当する特性もしくは処理があり，これらがチューリング・パターンを発現する要因になっているものと思われる．
Wikipedia, Turing Pattern

図 6 PFA により生成される空間パターン

図 7 プロジェクタカメラ系に含まれる拡散項と反応項

3
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

3-2 目標画像生成における拡散項と反応項
Bubble エフェクトでは，PFA の画像処理にエッジ強調を採用しており，各画素(𝑥, 𝑦)において，推定された白色照明下の画像𝑪𝑒𝑠𝑡 = {𝐶𝑒𝑠𝑡 ) , 𝐶𝑒𝑠𝑡 * , 𝐶𝑒𝑠𝑡+ }の各チャネルで𝑹(𝑥, 𝑦) = 𝑓(𝑔𝑎𝑖𝑛{𝑠𝑎𝑡 ∇& 𝑪𝑒𝑠𝑡(𝑥, 𝑦) + (1 − 𝑠𝑎𝑡)𝑪𝑒𝑠𝑡(𝑥, 𝑦)})(4)を施すことで目標画像を生成している．ただし，𝑔𝑎𝑖𝑛と𝑠𝑎𝑡は画像処理パラメータ，𝑓(∙)はコントラスト強調である．一般的に画像微分ではエッジ部分で大きな値となるが，それ以外の部分では 0 付近の値となるため，エッジ画像成分は𝑓(∙)による非線形変換の影響を受けにくい．また，𝑪𝑒𝑠𝑡は白色基準板の白色投影での色彩+の積で算出される．これらのことより，式(4)は適切な係数𝑎, 𝑏を用いて，𝑪, と𝐾+ (𝑥, 𝑦)𝑪, + 𝑏𝑓P𝐾+(𝑥, 𝑦)𝑪, Q
𝑹(𝑥, 𝑦) ≈ 𝑎∇& 𝐾(5)+ (𝑥, 𝑦)𝑪, を拡散項，𝑏𝑓P𝐾+ (𝑥, 𝑦)𝑪, Qを反応項とする構造と近似でき，Bubble エフェクトの目標画像生成に𝑎∇& 𝐾があることが確認できる．
+ (𝑥, 𝑦)は理想的には𝑡に対して不変となるべきでシーンに動きがない状況において，𝐾(𝑥, 𝑦)の推定である𝐾あるが，実際のプロジェクタカメラ系の𝑪にはフレームバッファによる遅延要素がある．これによって，式+ (𝑥, 𝑦)は時間的に変動し，反応拡散系のダイナミクスの発生の要因の一つとなることが考えられる．
(2)の𝐾
2-2 で説明した PFA は，いずれも過度なパラメータ設定によって投影の明滅などのダイナミクスが発生しているが，図 4 に示した例の中でチューリング・パターンができているのは Bubble エフェクトのみである．
チューリング・パターンは拡散項と反応項の発現には拡散項も必要であるが，Bubble エフェクト以外の目標+ (𝑥, 𝑦)は時間的に変動しており，画像生成では，式(5)で見られるような拡散項を持たない．以上のことより，𝐾PFA において式(5)の𝑹(𝑥, 𝑦)が反応拡散系の反応項や拡散項の一つとなっていると考えられる．
3-3 物体表面の反射に混在する拡散項成分
操作対象からの実際の反射には，物体表面での直接反射𝐾だけではなく，複雑な構造により生じる多重反射や表面下での散乱も含まれる．また，プロジェクタからの投影やカメラによる撮影には光学系のボケがある．さらには，撮影されたシーンにずれなく投影するマッピングを行う幾何学変換（Geometry Transform）
では，サブピクセル単位の画素対応ずれによる分散もある．このような散乱や分散を含む投影画像𝑃と撮影画像𝐶の間の画素の対応関係は光輸送行列（Light transport matrix）[10]で記述することができる．
二次元格子状に配置されている投影画像𝑃(𝑥, 𝑦)と撮影画像𝐶(𝑥, 𝑦)の画素を一列に並べ直して生成したベク
トルをそれぞれ𝒑，𝒄とすると，𝑰! = 𝟎の状況において投影画像と撮影画像の関係は光輸送行列𝑇を用いて(6)

𝒄 = 𝑇𝒑と記述できる．ここで，𝒑，𝒄の次元はそれぞれの画像の画素数であり，例えばこれらの画像の解像度が1000×1000 画素であれば，それぞれ 106 次元のベクトル，𝑇はスパースではあるものの 106×106 次元の巨大な行列になる．
投影と撮影のスケールが等しいとき，𝑃のある画素(𝑥- , 𝑦- )から投影された光の直接反射成分は，𝐶のある１画素(𝑥. , 𝑦. )で観測される．この対応関係を𝐷/ で記述する．また，表面下散乱による反射の滲みを余剰成分𝐷∆として記述すると，光輸送行列は
𝑇 = 𝐾(𝐷/ + 𝐷∆ )(7)と書き直すことができる．ここで𝐷/ の各行は何かの列を 1，それ以外を 0 とする置換行列であり，画像表現では(𝑥- , 𝑦- )に対応する(𝑥. , 𝑦. )で 1，それ以外では 0 を出力するデルタ関数
𝛿(𝑥. , 𝑦. ; 𝑥, 𝑦) ≝ 𝛿P𝑥 − 𝑥- (𝑥. , 𝑦. )Q𝛿P𝑦 − 𝑦- (𝑥. , 𝑦. )Q4
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度(8)

として表現できる．また，表面下散乱は(𝑥. , 𝑦. )の周辺に光のにじみを発生させるが，このにじみが空間的に均一であることが仮定できれば，適切なカーネル𝑑∆ (𝑢, 𝑣)(9)との畳み込み演算により表現できる．従って，画像演算としては

𝑪(𝑥. , 𝑦. ) = 𝐾(𝑥. , 𝑦. ) `a a 𝛿(𝑥. , 𝑦. ; 𝑥, 𝑦)𝑷P𝑥- , 𝑦- Q + a a 𝑑∆ (𝑢, 𝑣)𝑷P𝑥- − 𝑢, 𝑦- − 𝑣Qb
2! 1!

4(10)

3= 𝐾(𝑥. , 𝑦. ){𝑷′(𝑥. , 𝑦. ) + 𝑑′∆ ∗ 𝑷′(𝑥. , 𝑦. )}と記述できる．ただし， 𝑷′は𝑷を𝛿(𝑥. , 𝑦. ; 𝑥, 𝑦)で変形した画像，𝑑′∆ は同様に𝑑∆ を𝛿(𝑥. , 𝑦. ; 𝑥, 𝑦)で変形したカーネル，∗は畳み込み演算を意味する．
直接反射と表面下散乱による反射光のにじみが等方的なガウス関数に従うとき，
a a 𝑑′∆ (𝑢, 𝑣) = 04(11)3となるように，𝐾(𝑥. , 𝑦. )を定めれば，𝑑′∆ は異なる分散をもつガウス関数の差となり，∇& の離散近似となる．
以上より，表面下散乱を含む反射面には，反応拡散系の拡散項と比例項の合成
𝑪(𝑥. , 𝑦. ) = 𝐾(𝑥. , 𝑦. ){𝑷5 (𝑥. , 𝑦. ) + ∇& 𝑷5 (𝑥. , 𝑦. )}(12)と考えることができる．ここで，𝑪(𝑥. , 𝑦. ), 𝑷P𝑥- , 𝑦- Q, および𝑷′(𝑥. , 𝑦. )は RGB の値を持つカラー画像であり，上記の演算は RGB のチャネル毎に行われる．
3-4 色整合に見られる反応項成分
一般的にプロジェクタとカメラの色空間は一致していない．例えば，R の単色画像をプロジェクタから投影してもカメラの RGB 全てのチャネルで応答が観測される．そのため，反射率の推定では色混合行列𝑀を用いて観測される投影画像色彩を+(𝑥. , 𝑦. ) = 𝑀𝑷′(𝑥. , 𝑦. ) + 𝑪! (𝑥. , 𝑦. )𝑪(13)とモデル化している．ただし，𝑪! (𝑥. , 𝑦. )は環境照明成分である．すなわち，これは𝑀を重みとして RGB 成分を混合する変換であり，RGB 成分のそれぞれを変数とする 3 変数系で相互作用を発生させる反応項となる．

4 PFA の反応拡散方程式としての記述
4-1 モデル予測制御
見かけの制御で採用しているモデル予測コントローラ（MPC）では，画素ごとに推定された反射率と色混合行列を用いたプロジェクタカメラの応答モデルによる一段予測[11]を行い，参照軌道との差が最小になるよ
うに投影画像を更新する．このとき，MPC による投影画像の更新は，時刻𝑡により変化する重み𝛽(𝑡)を用いて𝑷(𝑡 + 1) ≈ 𝑷(𝑡) + 𝛽(𝑡){𝑹(𝑡 + 1) − 𝑪(𝑡)}(14)表すことができる．ここで，単位時間を十分小さいことが仮定できれば，5
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

𝜕𝑷(𝑡) ≈ 𝛽(𝑡){𝑹(𝑡 + 1) − 𝑪(𝑡)}𝜕𝑡(15)

𝜕𝑷(𝑡; 𝑥, 𝑦) ≈ 𝛽(𝑡; 𝑥, 𝑦)f 𝑹(𝑡 + 1; 𝑥, 𝑦) − 𝐾(𝑡; 𝑥, 𝑦){𝑷(𝑡; 𝑥, 𝑦) + ∇& 𝑷(𝑡; 𝑥, 𝑦)}g
𝜕𝑡(16)である．
4-2 PFA の反応項と拡散項式(12)および式(15)より，でありる．ここで，静止したシーンを仮定すれば𝐾(𝑡; 𝑥, 𝑦) = 𝐾(𝑥, 𝑦)，𝑹(𝑡 + 1; 𝑥, 𝑦) = 𝑹(𝑥, 𝑦)であり，また，十分時間が経過して定常状態にあり，𝛽(𝑡; 𝑥, 𝑦) → 𝛽(𝑥, 𝑦) とすれば，𝜕𝑷(𝑡; 𝑥, 𝑦) ≈ 𝛽(𝑥, 𝑦)f 𝑹(𝑥, 𝑦) − 𝐾(𝑥, 𝑦){𝑷(𝑡; 𝑥, 𝑦) + ∇& 𝑷(𝑡; 𝑥, 𝑦)}g𝜕𝑡= 𝛽(𝑥, 𝑦)𝑹(𝑥, 𝑦) − 𝛽(𝑥, 𝑦)𝐾(𝑥, 𝑦) 𝑷(𝑡; 𝑥, 𝑦) − 𝛽(𝑥, 𝑦) 𝐾(𝑥, 𝑦) ∇& 𝑷(𝑡; 𝑥, 𝑦)(17)である．以上より PFA は，投影画像𝑷(𝑡; 𝑥, 𝑦)の RGB チャネルを変数とする３変数系であり，反応項を− 𝛽(𝑥, 𝑦)𝐾(𝑥, 𝑦) 𝑷(𝑡; 𝑥, 𝑦)(18)− 𝛽(𝑥, 𝑦) 𝐾(𝑥, 𝑦) ∇& 𝑷(𝑡; 𝑥, 𝑦)(19)

拡散項をとする反応拡散系として説明することができる．ただし，2-2 で説明したように，過度なパラメータを設定しなければ見かけの制御は安定して動作し，投影の明滅は発生しない．従って，式(18)だけでは系を不安定にしない．また，チューリング・パターンの発現には Bubble エフェクトに含まれる拡散項が必要であることから，式(18)の反応項と式(19)の拡散項だけではチューリング・パターンの発現条件を満たさない．
撮影画像の遅延∆𝑡を考えると式(2)および式(12)より反射率の推定は時刻𝑡の関数+ (𝑡; 𝑥, 𝑦) = 𝑑𝑖𝑎𝑔 jk𝐾(𝑥, 𝑦)P𝑷(𝑡 − ∆𝑡; 𝑥, 𝑦) + ∇& 𝑷(𝑡 − ∆𝑡; 𝑥, 𝑦)Ql ./(𝑀𝑷(𝑡; 𝑥, 𝑦) + 𝑪! )m𝐾(20)+ (𝑡; 𝑥, 𝑦)にダイナミクスが生じる．また式(17)の定数項となり，𝑷(𝑡; 𝑥, 𝑦)によって𝐾(21)𝛽(𝑥, 𝑦)𝑹(𝑥, 𝑦)+ が含まれるため，PFA の反応項は，の𝑹(𝑥, 𝑦)には式(5)で示したように𝐾+ ( 𝑡; 𝑥, 𝑦)𝑪, Q − 𝛽(𝑥, 𝑦)𝐾(𝑥, 𝑦) 𝑷(𝑡; 𝑥, 𝑦)
𝑏𝑓P𝐾

(22)

+ ( 𝑡; 𝑥, 𝑦)𝑪, − 𝛽(𝑥, 𝑦) 𝐾(𝑥, 𝑦) ∇& 𝑷(𝑡; 𝑥, 𝑦)
𝑎∇& 𝐾

(23)

また，拡散項はとなる．以上より，PFA のメカニズムが反応拡散方程式として説明できた．

6
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

4-3 PFA を用いたチューリング・パターンの発現方法
式(18)と式(19)で明らかにしたように，表面下散乱を含む面での見かけの制御には反応項だけでなく拡散項も含まれる．しかし，反射特性に起因する反応項と拡散項が特定の条件を満たさない限りチューリング・パターンは発現しない．PFA で反射特性に応じて意図的にチューリング・パターンを発現させるためには，Bubble エフェクトのように目標画像生成に拡散項と反応項を含む画像処理を用いた挙動の操作が必要となる．Bubble エフェクトのエッジ強調処理にはマスク演算による 2 次微分が含まれており，目標画像生成のパラメータによって式(22)と式(23)で示すように反応項と拡散項が操作できる．
チューリング・パターンは拡散係数が変数ごとに異なり，拡散速度に差がある場合に発現する．PFA は RGBの各チャネルを変数とする 3 変数系であることから，色彩を有する画像処理を目標画像生成に採用することでチューリング・パターンの発現を促進させることが考えられる．ただし，PFA は式(19)および式(23)から分かるように，𝐾(𝑥, 𝑦)が拡散項の拡散係数となっている．𝐾(𝑥, 𝑦)は R，G，B の反射率𝑘6 , 𝑘/ , 𝑘7 が対角に並んだ対角行列であり，物体色が白色でなければ RGB の各チャネルの拡散係数に差が発生する．また，式(20)で+ ( 𝑡; 𝑥, 𝑦)で各チャネルの拡散に差が生じる．従って，はプロジェクタとカメラの色整合が含まれ，式(23)の𝐾
目標画像𝑹(𝑥, 𝑦)や撮影画像𝑪(𝑥, 𝑦)がモノクロの場合でもチューリング・パターンが発現するものと思われる．

5 シミュレーションによる調査
5-1 光輸送行列を用いた PFA の再現
PFA を反応拡散系として記述することができ，これによってチューリング・パターンの発現方法が明らかになった．本研究では，投影対象の反射特性を変化させて挙動を観察することで検証を行う．この検証には繰り返し精度が必要であり，また反射特性を自在に操作できる必要がある．そのため，本研究では光輸送行列を用いてプロジェクタカメラ系を計算に置き換えてシミュレーション環境を構築した．
プロジェクタカメラ系のモデルでは，𝑰- = 𝟎で環境照明が照射されている状況の撮影画像𝑬(𝑥. , 𝑦. )と投影画像𝑷P𝑥- , 𝑦- Qを入力とし，これをらベクトルに変換した𝒑， 𝒆と光輸送行列𝑇を用いて(24)𝒄 = 𝑇𝒑 + 𝒆を計算し，これを画像に戻すことで撮影画像𝑪(𝑥. , 𝑦. )を生成した．また，リングバッファを介して画像を出力することで，プロジェクタ-カメラ間の時間応答も再現した．
図 8 左に示す金糸や染め糸で模様が施された帯地を投影対象として Push Broom 型の投影[12]により光輸送行列𝑇を計測し，このプロジェクタカメラ系のモデルを用いて白色照明での画像を再現したところ，図 8 右のように再現された．このプロジェクタカメラ系のモデルを図 9 に示すように実装することで，PFA のシミュレーションによる再現を実現した．ただし，プロジェクタの解像度を 1280×800 画素，カメラの解像度を1304×800 画素，フレームバッファによる遅延を 3 フレームとした．図 9 に示したシミュレーション結果を見ると，実際の PFA（Real System）に比べてシミュレーション結果（Simulator）は暗い．また，Push Broom型の光輸送行列計測に起因する模様が生じているが，Bubble エフェクト特有の模様が再現されていることが図 8 白色照明下の操作対象の見かけ（左図）と式(24)による再現結果（右図）

7
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図 9 見かけの制御系シミュレータと Bubble エフェクトのシミュレーション結果

図 10 PFA のシミュレーションによるチューリング・パターンの発現（𝑪(𝑥. , 𝑦. )）確認できる．そのため，反応拡散系の挙動の調査は可能である．
5-2 PFA の発現を反射特性で変化させる手法の模索
表面下散乱の有無などの反射特性の違いによって，チューリング・パターンの発現を変化させる方法を見つけるために，ここではいくつかの画像微分を含む画像処理を前述のシミュレータに実装し，チューリング・パターンを発現させるようにパラメータ調整を行う．その後，光輸送行列で記述されている物体表面の反射特性から表面下散乱成分を取り除き挙動の変化を調べる．また，撮影画像を変換することで，物体表面の反射率とチューリング・パターンの発現の関係を調べる.

8
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

σgainsatcontd (R,G,B)(a) LoG based
5.0
0.31-0.260.02-

表 1 画像処理パラメータ(b) Wolffshon1(c) Wolffshon2
2.0
2.0
0.45
0.60
1.00
-0.50
0.00
0.02
(0,0,1)(1,1,1)(d) Wolffshon3
2.0
0.65
1.70
1.00
(1,1,1)PFA のシミュレーションによるチューリング・パターンの発現LoG(Laplacian of Gaussian)に基づくエッジ強調

𝑹5 (𝑥, 𝑦) = 𝑔𝑎𝑖𝑛 q𝑠𝑎𝑡 ∇& 𝑒8

𝒙𝟐 :𝒚𝟐< # ∗ 𝑪𝑒𝑠𝑡(𝑥, 𝑦) + (1 − 𝑠𝑎𝑡)𝑪𝑒𝑠𝑡(𝑥, 𝑦)r ,𝑹(𝑥, 𝑦) = 𝑹5 (𝑥, 𝑦)𝒄𝒐𝒏𝒕(25)(26)と Wolffshon のエッジ強調[13]に基づく手法を用い， PFA のシミュレーションでチューリング・パターンを発現させた．図 10 に𝑡が十分大きく PFA が収束した状態の𝑪(𝑥. , 𝑦. )の拡大図を示す．ただし，(b)-(d)ではモノクロ変換した𝑪𝑒𝑠𝑡(𝑥, 𝑦)に Wolffshon のエッジ強調を適用し，カラーベクトル𝒅の重みを乗算して色彩を付与した．その後，式(25)と同様にこれらの画像の適用度(sat)とゲイン(gain)を調整し，さらに式(26)のコントラスト(cont)変換を施して目標画像を生成した．これらの発現に使用したパラメータを表１に示す．
表面下散乱の除去による挙動の変化（Condition I）
光輸送行列𝑇の各行で総和を求め，式(7)の𝐾を算出した．その後，最大値をとる列を１とすることで直接反射𝐷/ を求めた．これらを用い，表面下散乱𝐷∆ = 𝐾 8' 𝑇 − 𝐷/(27)を算出した．この分解の後𝐷∆ = 0として𝑇を再構築し，前述のパラメータによる PFA のシミュレーションを行うことで，表面下散乱の有無による挙動の変化を調べた．
物体表面の色彩の除去による挙動の変化（Condition II）
本研究では RGB のカラーチャネルをそれぞれ変数とする 3 変数系として反応拡散系を説明した．反応拡散系でチューリング・パターンが発現するためには，各変数の拡散係数が大きく異なる必要がある．このような拡散係数は画像処理の他に式(7)に示すように光輸送行列𝑇の𝐾でも変化する．そこで，撮影画像をモノクロ変換することで物体表面の色彩が異なる場合の挙動の変化を調べた．
図 10 に示したチューリング・パターンを発生する 4 種類の画像処理およびパラメータについて，反射特性の操作を行なっていない状態（Original）と上記の Condition I と Condition II で反射特性を操作させたときの𝑷(𝑥, 𝑦)の相違を調査した．この結果を図 11 に示す．

考察
図 11 より (a)では，Cond I でもチューリング・パターンが生成されているが，Cond II が適用されると帯地の模様の輪郭強調は残っているが，模様なない部分での波紋の伝搬は消えている．従って，(a)では，反射面の色彩によって チューリング・パターンの発現が操作できるが𝐷∆ の有無ではチューリング・パターンの発現は変化しないことがわかる．(b)では Original の帯地上部の背景部分で発現しているチューリング・パターンが Cond I では弱くなっている．このことより， 𝐷∆ の有無によってチューリング・パターンの発現が操作できる可能性が示唆される．(c)では𝐷∆ に対しては不変である．𝐾については，反射面の色彩が変化しても9
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

図 11 それぞれの条件で生成された𝑷P𝑥- , 𝑦- Qの拡大図
チューリング・パターンは生成されるものの，𝑷(𝑥, 𝑦)の色彩やにじみが大きく変化する．従って，𝐾の違いを強調する可視化が期待できる．(d)については，一部の輪郭の色彩が𝐾によって変化するものの，いずれの場合でもチューリング・パターンが発現している．従って，このパターン生成では𝑹(𝑥, 𝑦)に起因する反応項と拡散項が支配的に働いており，反射面の拡散成分や色彩に影響されないチューリング・パターンが発現する．

まとめ
本研究では，プロジェクタカメラ系のモデル化と解析によって PFA が RGB のチャネルを変数とする 3 変数の反応拡散系として記述できることを示した．また，このモデルにおいて反応拡散系の反応項と拡散項には，反射面の直接反射と表面下散乱に加えて，Bubble エフェクトでの目標画像生成に起因する成分も含むことを明らかにした．さらに，実装したシミュレータを用いて，反射面の表面下散乱や反射率によってチューリング・パターンの発現を変化させる画像処理およびパラメータが存在することを示した．
本稿に示した画像処理やパラメータは一例であって，この他に反射特性によってチューリング・パターンの発現をより劇的に変化させる画像処理やパラメータが存在するものと思われる．ただし，PFA の反応項と拡散項には目標画像生成と反射特性の要因が加算されており，PFA によるチューリング・パターンの発現はこれらの要因のバランスにより変化する．従って，反射特性が異なる物体では同じ画像処理やパラメータでチューリング・パターンの発現を操作することはできない．今後の研究では，撮影画像の正規化などの処理を導入することで，さまざまな反射特性に対応でき，またチューリング・パターンの発現がより顕著に変化する汎用的な手法について研究する予定である．

【参考文献】[1] 天野敏之, 加藤博一, モデル予測制御を用いたプロジェクタカメラ系によるアピアランス制御, 信学論 D,
D94(8), 1368-1375, 2011.

10
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度

[2] T. Amano and H. Kato, “Appearance control by projector camera feedback for visually impaired,”in 2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops, CVPRW 2010, 2010.
[3] 天野敏之, プロジェクションマッピングを用いた質感の提示と編集, 日本画像学会誌 57(2), 214-224,
2018.
[4] T. Amano, Manipulation of material perception with light-field projection, Proc. SPIE 10997,
Three-Dimensional Imaging, Visualization, and Display 2019, 10997-06, 2019. (招待講演)．
[5] T. Amano, Shading Illusion: A Novel Way for 3-D Representation on the Paper Media, 9th IEEE
International Workshop on Projector-Camera Systems, 2012. (Honorable mention).
[6] 天野敏之, 裕人礫翔, プロジェクションマッピングによる質感知覚の操作と箔工芸品の美の表現, 映像情報
メディア学会誌, Vol.71, No.1, pp.30-35, 2017. (招待論文).
[7] 天野敏之, 日本橋三越本店天女像音と光のインスタレーション, 羽倉賞【奨励賞】映像技術奨励賞, 一般
財団法人 最先端表現技術利用推進協会, 2017.11.16.
[8] 天野, 佐藤, 西山：特許第 6757004 号, (2016 年 8 月 2 日出願).
[9] Alan Mathison Turing, The chemical basis of morphogenesis, Philosophical Transactions of theRoyal Society. B237:37-72, 1952.
[10] P. Sen, B. Chen, G. Garg, Dual photography. ACM Transactions on Graphics, 1(212), 745-755,2005.
[11] E. G. A. R. A. Carlos, M. Preti, and M. Morari, Model Predictive Control : Theory and Practice aSurvey, vol. 25, no. 3, 1989.
[12] I. Miyagawa, H. Arai, Y. Taniguchi, Efficient Acquisition of Light Transport Matrix Using Push
Broom-Type Projector Illumination, ITE Transactions on Media Technology and Applications, Vol.3,Issue 1, 30-39, 2015.
[13] J. S. Wolffsohn, D. Mukhopadhyay, and M. Rubinstein. Image enhancement of real-time
television to benefit the visually impaired. American Journal of Ophthalmology, 144(3), 436-440,
2007.

11
公益財団法人電気通信普及財団
研究調査助成報告書 第37号 2022年度