リアルタイム分光偏光同時イメージングに関する研究
研究代表者

篠田 一馬

宇都宮大学・工学部・基盤工学科・准教授

1 はじめに分光画像および偏光画像は工業，農業，医療等の様々な分野で応用が期待されているため，近年ではそれらの両方を撮影する検討が進んでいる．文献[1]では，入射光をビームスプリッタで分離し，それぞれをカラーフィルタと偏光フィルタに通した上で二つの CCD で撮影することで，撮影対象物の分光偏光画像（偏光角ごとの分光画像，または波長ごとの偏光画像）を取得している．文献[2]では，圧縮センシングを応用し，ランダムな観測基底による複数回撮影と L1-L2 ノルム最小化による推定で分光偏光画像を取得する方法が検討されている．しかしいずれも光学系が複雑かつ複数回の撮影を必要としており，対象物の分光偏光画像を小型かつワンショットで取得できる撮像系が求められる．
分光偏光画像のワンショット撮影をフィルタアレイによって実現する方法として，文献[3]では，理想的な光学透過特性を持つデバイスを想定し，分光フィルタアレイと偏光フィルタアレイを積層する場合のフィル
タアレイの感度決定方法について理論的に言及している．文献[4]では，ワイヤグリッドの向きによる偏光透過特性の調整およびサブ波長構造による分光透過特性の調整を CMOS 上で行う方法について提案している．これらはいずれも画素ごとに異なる直線偏光成分を撮影することを前提とし，直線偏光子に相当するデバイスを画素ごとに 0，45，90，135 度のいずれかの方向に傾けている．この直線偏光子は対象角度以外の偏光成分を除去する役割があるが，同時に，所望の測定波長範囲においてオールパスフィルタとなっていることが求められる．また，逆に，分光透過特性を調整するためのカラーフィルタ部分においては，偏光特性に関して影響を与えないことが求められる．これらの制約から，従来の分光偏光画像の撮像系は観測波長帯が制限されていることが多い．
本研究では，分光偏光画像のワンショット撮影を実現する方法として，フォトニック結晶型フィルタアレイによる分光偏光画像のワンショット撮影およびデモザイクを提案し，そのリアルタイム撮像の可能性について検討する．図 1(a)に，フォトニック結晶の構造とそれを用いたフィルタアレイの概念図を示す．本研究で扱うフォトニック結晶は波状構造を持つ酸化物多層膜のことで，その波状構造（格子間隔と格子方向）を変えることで，分光および偏光透過特性を調整できる特徴がある．よって，画素ごとに格子間隔および格子方向を変更することで，図 1(b)に示すように，画素ごとに透過特性が異なる分光偏光フィルタアレイを容易に実現することができる．モノクロイメージャにこのフィルタアレイを搭載した上でワンショット撮影されたグレイスケール画像は，画素ごとに異なる分光かつ偏光特性を意味する値となるが，撮影モデルから逆推定を行うことで分光偏光画像を復元することができる．分光偏光画像からは，偏光角ごとの分光画像，無偏光な分光画像，波長ごとの偏光画像，さらに RGB 画像も計算でき，ワンショットで従来の分光・偏光・RGBカメラの役割を同時に実現できる可能性がある．本研究では，フィルタアレイの実機試作とその分光・偏光透過特性の評価を行った上で，撮影過程を線形モデルと想定したデモザイク方法を併せて提案する．さらに実験では，カラーチャートを撮影し復元スペクトルを評価した上で，ワンショット撮影画像から直線偏光強度画像と RGB 画像を復元し，リアルタイム撮像が可能であることをシミュレーションによって示す．

(a) 多層膜型フォトニック結晶(b) 提案法の概要
図 1 提案するフォトニック結晶による分光偏光同時イメージングの概要
1
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

2 フォトニック結晶型分光偏光フィルタアレイおよびデモザイクの原理
本章では，まず本研究で試作したフィルタアレイに関する概要と特徴を述べた後，それを用いたイメージングの定式化について説明する．
光学多層膜に光の波長オーダーの周期的な構造変調を加えることで，多層膜に入射する光の透過率制御や偏波選択機能の付加が可能であることが知られている．特に，高屈折率膜と低屈折率膜からなる三角波状の多層膜を形成し，膜厚・格子周期・膜材料をそれぞれ調整することで波長選択フィルタを実現する方法が提案されており[5, 6]，フォトニック結晶型波長フィルタ（PhCF）と呼ばれている．この PhCF は，構造異方性のため，TE 偏光感度（格子に平行な光に対する感度，以後 0 度感度と呼ぶ）と TM 偏光感度（格子に垂直な光に対する感度，以後 90 度感度と呼ぶ）とで光学特性が異なる特徴を持つ．直線偏光が PhCF に入射した場
合，その偏光角度が溝と平行であれば 0 度感度との積，溝と垂直であれば 90 度感度との積が出力スペクトルとなる．また，無偏光な光が PhCF に入射した場合は，透過感度は両感度の和となる．この PhCF をフィルタアレイとして成膜する際は，膜厚および膜材料は一定となるものの，イメージャの画素サイズごとに格子間隔および格子方向を変えることで，容易にフィルタアレイを製造することが可能となる．
提案するフォトニック結晶型分光偏光フィルタアレイは，モノクロイメージャの表面に接着することで，ワンショット分光偏光カメラを容易に実現できる．このカメラでワンショット撮影されたグレイスケール画像は，画素ごとに様々な波長帯および偏光成分が混在した値となるため，デモザイクが必要となる．そのため，撮影システムを線形モデルと仮定し，その逆問題を解くことで，入射光の波長帯ごとのストークスパラメータを推定するデモザイク法を提案する．このストークスパラメータからは 0，45，90，135 度の各直線偏光成分における分光画像や無偏光な RGB 画像を求められる．
イメージャの観測画素値 gx,y は，イメージャの感度 tλ，フィルタの 0 度感度[u] 0x,y,λ および 90 度感度[u]90x,y,λ，格子構造の角度θx,y，および入射光のストークスパラメータ sx,y,λ = [s0 s1 s2]Tx,y,λ によって式(1)のように定まる．

(1)
このモデルは画素ごとに独立であると仮定し，x,y,λの三次元要素を行方向の一次元に展開する．

(2)
XY

ここでは，空間方向の画素サイズを(X,Y)，測定バンド数を L とし，g∈R は gx,y を y→x 優先で行方向に展開したベクトル，T∈RXY×XYL は 1/2 [tλ0 tλ1… tλL-1]を y→x 優先で対角方向に展開した行列，M∈RXYL×3XYL はmx,y,λをλ→y→x 優先で対角方向に展開した行列，s∈R3XYL は sx,y,λをλ→y→x 優先で行方向に展開したベクトルである．さらに，fx,y,λ = [f0 f45 f90 ] Tx,y,λを 0, 45, 90 度偏光における分光画像とし， f∈R3XYL は
fx,y,λをλ→y→x 優先で行方向に展開したベクトル，P∈R3XLY×3XYL はストークスパラメータ算出行列を対角成分にもつ行列とする．式(2)の H は既知の情報であるため，デモザイクはワンショット撮影画像 g から入射光f を求める問題となる．一例として，復元画像の誤差二乗を最小化する制約のもとで，式(3)の Wiener 推定によってデモザイクを行う方法が考えられる．

(3)
ここで Rf∈R3XLY×3XYL は f の自己相関行列であり，1 次のマルコフモデルを想定する．式(3)は一回の行列積でデモザイクが可能となるため，ワンショット撮影と共にリアルタイム処理に有利な復元方法である．また，式(2)における f と g は同じ画素サイズ(X,Y)を想定しているが，計算機上のメモリの制約や復元精度の向上を考慮し，それぞれ異なるサイズを適用することも可能である．
推定された分光偏光画像からは，特定の波長かつ特定の偏光の選択的な可視化だけでなく，0 度偏光と 90度偏光の和によって無偏光な分光画像，さらにその分光画像から RGB 画像も求めることができる．よって，分光偏光フィルタアレイ搭載カメラは，既存の RGB カメラ，分光カメラ，偏光カメラの機能を 1 台で併せ持つ特徴がある．

2
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

3 分光偏光カメラの試作
本期間では，9 種類の格子間隔を持つフォトニック結晶型フィルタアレイを製造し，モノクロイメージャに搭載することで分光偏光カメラの試作を行った．まず，格子間隔を 240 から 360nm を 10～15nm 間隔で計 9種類，画素サイズは 4.65μm2 としたフィルタアレイパターンの CAD データを作成する．その CAD データに従いベースとなる格子パターンの形成を電子線描画にて検討した．電子線描画には東北大学および NIMS の装置を利用し， 図 2(a)のような外観のテストパターン基板を作成した．電子顕微鏡画像を図 2(b)に示す．図に示す通り，格子構造は破綻せずに多様な格子間隔および角度の微細構造が描画できていることが確認された．
次に，反応性イオンエッチングにより先ほどの描画パターンに従った微細格子を石英基板上に形成する．
エッチングは CHF3 と N2 の混合ガスを用い，25 sccm，3.0 Pa，100 W，7 分としている．図 3(a)にエッチング後の石英基板の断面を示す．図では格子間隔が 300nm の部分を拡大しているが，格子の凹凸が明瞭に形成されており，谷の幅と深さも 1:1 のエッチングレートを確保できていることがわかる．
格子が形成された石英基板上に自己クローニング法[7]による多層膜の成膜を行うことで，提案するフィルタアレイを製造した．図 3(b)にその表面の電子顕微鏡画像を示す．成膜は Nb2O5/SiO2 多層膜とし，各 20 層の計 40 層，厚さは約 4μm としている．図 3(b)から，表面の微細格子構造に大きな乱れはなく，石英基板の格子間隔に従った波状構造を維持した成膜が行えていることが確認された．
多層膜型フォトニック結晶によるフィルタアレイの利点は，多層膜の格子構造が石英基板の格子形状で決まるため，成膜工程や膜材料を微小領域ごとに変える必要はない点である．成膜後の波状構造のパターンは電子線描画時の CAD データに従ったものであり，CAD データを編集するだけで様々なパターンを形成できる，つまり様々な分光偏光フィルタアレイを製造できるため，実用上は試作プロセスの簡素化および低価格化に貢献が期待できる．

(a) 外観(b) 電子顕微鏡画像
図2

電子線描画後の石英基板(a) エッチング後の石英基板断面(b) フォトニック結晶成膜後の表面
図 3 エッチングおよび成膜後の電子顕微鏡画像
3
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

図 4 に，成膜したフォトニック結晶型フィルタアレイの透過率特性を示す．CH1 から 9 はそれぞれ異なる格子間隔を意味し，TE および TM モードは格子に対して水平および垂直偏光を透過させた場合を意味する．
まず図 4 で重要な点は，左図（TE）と右図（TM）で異なる感度形状を実現している点である．これは，入射光の偏光状態によって透過する光の特性が変わること，つまり提案するフォトニック結晶が偏光フィルタとして動作することを意味している．さらに，格子構造を変えた 9 種類の透過感度を TE と TM 波でそれぞれ比較したところ，9 種類とも異なる感度形状になっていることがグラフからわかる．つまり，提案するフォトニック結晶は，格子構造を変更することで，偏光だけでなく分光フィルタとしても動作することを意味している．
図 5 に試作カメラの外観を示す．使用したカメラは ARTRAY 社製モノクロ USB カメラ ARTCAM150P5-WOM，使用したイメージャは SONY 社製 ICX205AL である．まず，イメージャ表面のカバーガラスを剥離し，CCD 部分を露出させる．次にフォトニック結晶型フィルタアレイと CCD のアラインメント調整をしながら，UV 硬化型接着剤にて接着する．この時点で図 5(a)に示す通り，成膜パターンの領域にブロック状の模様が確認できる．
最後にカバーガラスを戻し，図 5(b)に示す通りモノクロ USB カメラに搭載させることで，分光偏光カメラの試作を行った．

0.350.4CH1CH1CH4CH4CH70.3

CH70.35CH8CH8CH2CH2CH5CH50.3

CH60.25

CH6CH9CH9CH3CH30.250.20.20.150.150.10.10.050.0504000450500

550600650700750400450500550600650700750(a) TE モード(b) TM モード
図 4 試作フォトニック結晶の分光透過率特性(CH1 から CH9 は格子間隔の異なるフィルタ，横軸は波長(nm)，縦軸は透過率)(a) イメージャ外観(b) カメラ外観
図5

試作した分光偏光カメラ

4
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

4 実験
開発カメラによって撮影された単一のモノクロ画像から，31 波長 4 偏光角の分光偏光画像を同じ解像度で復元するためのデモザイク手法を開発し，ソフトウェアとして実装した．実装したソフトウェアの外観を図6 に示す．ソフトウェアは C++にて実装し，単一撮影画像（Captured image）から Wiener 推定を行うことで，RGB 非偏光画像（RGB non-polarized），RGB 偏光 0 度画像（RGB 0 deg.），RGB 偏光 90 度画像（RGB 90 deg.），
また，400 から 700nm の波長における各偏光成分（400nm non-polarized, 500nm 90 deg., 600nm 0 deg., 700nm90 deg.）を同時に復元・表示する機能を実装している．撮影および復元解像度はいずれも 100x100 画素とし，フレームごとに独立に処理を行っている．
図ではデモンストレーションとして，携帯端末の液晶画面に様々な色彩の水玉模様を表示させ，その画面を試作カメラにて撮影している．まず，Captured image から，撮影された画像がモノクロ画像であり，フィルタアレイパターンに依存したブロック状の模様が生じていることが確認される．これは画素ごとに異なる分光および偏光成分を観測していることを意味している．次に RGB 画像に着目すると，白背景に異なる色彩の水玉模様が確認できることから，提案法は可視波長全体のスペクトルを復元した上で，RGB 成分の算出も同時に可能であることがわかる．また，各波長を選択的に可視化することも同時に可能であるため，400 から 700nm の帯域の差異も確認できる．加えて，RGB の 0 deg.と 90 deg.を比較すると，明らかに RGB 90 deg.
は全体が暗いことが確認できる．液晶画面はその表面に直線偏光板を持つため，射出光は直線偏光となるが，人間の目にはその差異はわからない．しかし，提案法のカメラではその差異を可視化し，90 度偏光成分ほとんど含まれていないことを単一の撮影画像から推定できることが確認された．
本ソフトウェアは単一露光画像からフレームごとに独立に処理を行っているため，連続駆動させることで疑似的なリアルタイム処理として動作させることが可能である．しかし，露光量（シャッタースピード）とデモザイクにおける処理速度との同期や高速化は未検討であり，現時点では，1 枚の画像につき平均 0.1 秒（10fps）ほどの表示速度となっている．一般的には 30 から 60fps の安定駆動を行えることで動画を含むリアルタイムアプリケーションとして利用できるため，今後は露光量の増加，処理速度の向上，さらにカメラと復元処理の同期の実装が主な課題となる．
また，分光偏光画像の精度にも課題が残っている．標準カラーチャートを撮影対象とし，その撮影および復元を行ったところ，分光反射率の復元誤差は 11.9%，直線偏光時の復元誤差は 5.2%であることが確認された．今後は分光反射率誤差を 5%まで抑えることを目標とし，フォトニック結晶の透過率設計および復元処理の改良を検討する予定である．

図6

復元ソフトウェアの外観
5
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度

5 おわりに本研究では，ワンショットで分光偏光画像を撮影するためのフォトニック結晶型分光偏光フィルタアレイおよび復元処理を提案し，そのリアルタイム処理に向けた検討を行った．フォトニック結晶の光学異方性を利用し，画素ごとに異なる微細格子構造を成膜することで作成されたフィルタアレイは，画素ごとに異なる分光および偏光透過特性を持つことが確認された．また，撮影されたグレイスケール画像から分光偏光画像を復元し，そのスペクトル，RGB，偏光特性を比較し，提案手法の有効性を示した．従来の撮影方式と比較す
ると，単一デバイスで分光と偏光の両方を制御でき，可視光全体の広い波長帯を短時間に復元できることから，これまでの分光・偏光・RGB カメラとその画像応用に関する分野で広く貢献が期待できる．
今後は，30 から 60fps の安定駆動を行うための露光量の増加，処理速度の向上，さらにカメラと復元処理の同期の実装が主な課題となる．また，フォトニック結晶の透過率設計および復元処理の改良を検討する予定である．具体的には，膜厚を薄くしつつ，フィルタの種類を増やして感度の線形独立性を高めることで，透過光量の増加と復元精度の向上が期待できる．また，今後は，計算量を抑えつつも，多次元空間上の勾配復元を考慮するようなデモザイクアルゴリズムの検討が課題となる．

【参考文献】[1] Y. Zhao, L. Zhang, D. Zhang and Q. Pana, “Object separation by polarimetric and spectral
imagery fusion,” Computer vision and Image Understanding, vol. 113, no. 8, pp. 855-866, 2009.
[2] C. Fu, H. Arguello, B. M. Sadler, and G. R. Arce, “Compressive spectral polarization imaging
by a pixelized polarizer and colored patterned detector,” J. Opt. Soc. Am. A, vol. 32, pp.
2178-2188, 2015.
[3] X. Tu and S. Pau, “Optimized design of N optical filters for color and polarization imaging,”
Opt. Express, vol. 24, pp. 3011-3024, 2016.
[4] S. Junger, W. Tschekalinskij, N. Verwaal, and N. Weber, “Polarization and spectral filter
arrays based on sub-wavelength structures in CMOS,” SENSOR+TEST Conferences, pp.
161-165, 2011.
[5] Y. Ohtera, T. Onuki, Y. Inoue, and S. Kawakami, “Multichannel Photonic Crystal Wavelength
Filter Array for Near-Infrared Wavelengths,” IEEE J. Lightwave Technol., vol. 25, no. 2, pp.
499-503, Feb. 2007.
[6] Y. Ohtera, D. Kurniatan, and H. Yamada, “Design and fabrication of multichannel Si/SiO2
autocloned photonic crystal edge filters,” Appl. Opt., vol. 50, no. 9, pp.50-54, Mar. 2011.
[7] T. Kawashima, K. Miura, T. Sato, and S. Kawakami, “Self-healing effects in the fabrication
processes of photonic crystals,” Appl. Phys. Lett., vol. 77, no. 16, pp. 2613-2615, 2000.

〈発題

名NIR spectrum estimation utilizing
photoniccrystal
distributed
passband-type multiple filter array
フォトニック結晶型フィルターアレイによる分光偏光撮影
分光・偏光・RGB を一度に撮影！フォトニック結晶による分光偏光カメラ
Demosaicking Using a Spatial Reference
Image for an Anti-Aliasing Multispectral
Filter Array

表資料〉

掲載誌・学会名等

発表年月

Applied Optics

2019 年 4 月

光学2019 年 6 月

イノベーション・ジャパン

2019 年 8 月

IEEE Transactions on Image
Processing

2019 年 10 月

6
公益財団法人電気通信普及財団
研究調査助成報告書 第35号 2020年度