立石科学技術振興財団

助成研究成果集(第29号) 2020

［ 研究助成 (A) ］

ヒトの視覚を拡げる
リアルタイム・マルチスペクトルイメージング技術の研究
Study of Real- time Multispectral imaging for supporting human vision2181007

研究代表者

富山県立大学工学部 電気電子工学科

教 授

大寺康夫

[研究の目的]工業，農林水産業から医用計測に至るさまざまな産業分野では，対象を非破壊・非接触で計測する手法が求められている。計測項目が多様化し精度の要求も高度化するにつれ，これまでの熟練作業者の視覚に頼った検査には限界が来ている。本研究はこのような背景を踏まえ，ヒトの視覚能力をアシストするイメージングデバ
イスの研究に取り組むものである。特に感知で図1

きる波長域を波長 400 nm 以下の紫外域およびマルチスペクトルフィルタ (MSF) と分光センサの概念図800 nm 以上の近赤外領域に拡大するとともに，MSF を作製した。ここで電子線描画には文科

任意の波長数，任意の波長分解能で，対象をリ省ナノテクノロジープラットフォーム所属の東アルタイムに可視化できるセンサ技術・画像処

北大学の実験施設の装置を利用した。パターン理技術を開発することを目指す。

占有比率の高い大面積パターンを最短時間で描画するために，露光条件およびパターン命令を[研究の内容，成果]最適化し，期間中安定して描画実験ができるようになった。また後半の RIE とスパッタリン

本研究の核となるのは図 1 に示す，ナノフォ

グはかねて協力関係にある(株)フォトニックラ

トニック構造 (多層膜型フォトニック結晶) かティス社に外注した。MSF と CCD は 1 画素らなるマルチスペクトルフィルタ(MSF)と，以下の位置精度で，本学で構築した集積実験系それが集積化された分光イメージセンサである。

にて集積化した。

この MSF は波板状の誘電体多層膜からなり，続いて作製したセンサを使って MSF の透過格子ピッチの違いで透過スペクトルを制御する。

スペクトルを測定した。結果を図 2 に示す。25光波長の 1/2 程度の格子ピッチパターンを，対種類の異なる要素フィルタの特性を重ねて表示

角 1/2 インチ程度の面積で電子線レジストを塗してある。(以後 25 チャンネル型，などと称す布した石英基板上に描画し，RIE 加工後スパッる)。このように各透過率はわずかに異なり，

タ リ ン グ で Nb 2 O 5 /SiO 2 多 層 膜 を 積 層 し てしかも波長 400 nm から 1000 nm まで有限の値― 1 ―立石科学技術振興財団の事前測定値からスペクトルの母集団の期待値を推定するのは容易ではないので，本研究では以下の方法で近似した。すなわち，予め所定の数の実試料 (以下に示す例では数種類の果物)を市場から調達し，その各場所での反射スペクトルを計測し，それらに主成分分析を施して統計情報を引き出した。続いてこのサンプル値と同じ平均値及び分散を持つように主成分スコア
図2を正規分布に従って多数生成し，求めておいた

25 チャンネル型 MSF の透過スペクトルの実測値

ローディングべトルを使って仮想的な反射スペクトルを合成した。この方法で果物毎に計 600を有することが確認できた。
この透過スペクトルは一般的なバンドパス型本の反射スペクトルを人工的に生成し，そのうではなく，分布パスバンド型とでも呼ぶべきもち 100 本を使って自己相関行列 R fを計算した。のである。このような複雑なフィルタ群を透過

また残り 500 本をテストデータとして用いた

した光の強度の組から入射した光のスペクトル(詳細は発表論文[1] を参照)。

を求めるには，ある種の逆問題を解く必要があ

一方，雑音統計行列 R n は各チャンネルの輝る。我々 は 線 形 の 逆 問 題 解 法 の 一 つ で あ る

度値に重畳される雑音の分散を要素とする対角Wiener 推定を用いた。Wiener 推定では MSF行列でよく近似することができる。我々の分光直下のセンサ画素の輝度値を g, 入射スペクト

センサでは，事前の検討から雑音の主体は光ルの推定値を f，推定行列 (Estimator) を W

ショット雑音であることが分かっている。光

として，ショット雑音は検出器において光照射で発生した電子の数を N とするとき，その撮影毎のバf=W・g

ラつき (分散) も N となる性質を持つ。我々は予め，使用したイメージセンサ (SONY 製で f が推定される。f と g はいずれも列ベクトCCD, ICX-205AL) の 10 bit 出力時のカウントルである。W は MSF, 照明，イメージセンサ数とこの電子数の関係からセンサの飽和電荷量の感度を含む感度行列 H と，到来スペクトルを求めておき，具体的な輝度値が電子数換算での教師データを元に作られた自己相関行列 R f,何 e − に相当するかが分かるような換算式を作

そしてセンサの雑音統計行列 R nを使って，成した。この式を使って各チャンネルの輝度値g に対し重畳される光ショット雑音を推定した。

TT

W=R fH (HR fH +R n)1

続いて図 3 に試作した分光センサに波長 760という形で表される。記号 T は転置を表す。
H は MSF のチャンネル数を行，波長を列とする横長の行列である。また自己相関行列 R f は以下の式で求められる。
R f= ff T 
ここに記号〈〉は期待値を表す。限られた数

図3― 2 ―

波長 760 nm の単色光照射時における Raw 画像の例

Tateisi Science and Technology Foundation

nm の単色光を分光器経由で照射して得られた

表1

果 物

生画像を示す。MSF はバンドパス型ではないので，このように単色光照射下であっても各チャンネルは有限の光強度を透過する。分光器の透過波長を 2 nm ずつ変えてこのパターンを撮影し，各チャンネルの透過率を算出して描いたのが図 2 のグラフである。

反射スペクトルの推定誤差の一覧
RMSE [%]

バナナ

4.64

りんご (ふじ)2.64

キウイフルーツ
りんご (王林)

1.23
2.51

オレンジ

3.07

したフィルタのうち，25 ch 型で 1 つの ch の

図 3 において，白線で囲った単位領域 (例え下に 36 個の CCD 画素がある領域を用いるもば a) の 16 チャンネル型であれば縦横 4 チャのとした。すなわち複数の画素をビニング処理ンネルずつからなる正方形の領域) をブロックをすることで，実質的な飽和電荷量を 15,000と呼んでいる。実際の測定では，あるブロックe − から 540,000 e − に拡大している。の 輝 度 情 報 (g) が 得 ら れ た と き，そ こ か ら

表によれば，多くの果物で反射率の平均誤差

Wiener 推定で入射したスペクトル f を推定すはおおむね 3% 前後であることが分かった。こる作業が必要となる。我々は実撮影画像を使っのスペクトル推定には波長の走査などはしておた推定実験に先立ち，まず前述の要領で合成しらず，シングルショット (1 枚の画像の撮影)たテストデータ (テストスペクトル) を使っての計測で済んでいることに注意されたい。1推定精度のシミュレーションを行った。具体的

ショットの撮影に要する時間は 100 m 秒前後にはスペクトルが f で与えられるテストデータであり，実際の計測現場を勘案しても十分に短に対し，ショット雑音の重畳された各チャンネい。例えば 10 枚連続撮影してその平均値を取ルの輝度値 g を下式で生成する。

るなどすれば，より誤差は抑制できるものと思われる。
なお推定誤差はりんごを中心として，キウィ

g=Hf+nフルーツでは少なくバナナ，オレンジで大きい
ここで n は雑音なしの g の電子数に応じた分傾向にあった。キウィフルーツについては固体散に従う光ショット雑音であり，電子数は十分及び計測箇所によるスペクトルの差が乏しい傾多いとして (今回使用した CCD の飽和電荷量向が見られ，教師スペクトルとテストスペクトは約 15,000 e なのでこの仮定は成立する) 正

ルが似通っていたため誤差が低い値となった。

規分布に従う乱数で生成した。次にこの g に推反対にバナナとオレンジでは個体ごとおよび日定行列 W を掛けて，スペクトルの推定値を求数経過に伴うスペクトルの変化が比較的大きく，め，その真値 (最初に与えたテストスペクト教師スペクトルおよびテストスペクトルはバリル) との誤差を求めた。

エーションに富んでいた。このような自由度の−この計算を 500 本のテストスペクトルそれぞ大きい中から正しいスペクトルを推定しなけれにつき 100 回繰り返し，誤差の RMSE(Rootればならないため，誤差が増大したものと思Mean Square Error)を評価した。

われる。以上の結果は，後述する今後の見通し

我々は農産業への応用を念頭に置き，複数ので も 述 べ る よ う に，Wiener 推 定 の 2 段 階 化

果物 (りんご (ふじ)，りんご (王林)，バナナ，(Adaptive Wiener 推定) や，センサ画素値 gオレンジ，キウィフルーツ) について，いくつの段階でのスクリーニングが対象の性質によっかの日に分けて，波長 550〜900 nm 付近の赤ては必要になることを示唆している。

色〜近赤外波長域を対象にこの評価を行った。

次にりんご (ふじ) とバナナの分光反射率のRMSE の結果を以下の表 1 に示す。なお試作推定値の一例を図 4 に示した。上 2 つのグラフ― 3 ―立石科学技術振興財団

図4

果物の分光反射率の推定結果。(a)りんご (ふじ)，(b)バナナ。上 2 つは分光反射率を，下 2 つは真値との差を示す。

で赤の線はテストスペクトルのうち 1 つずつを，その他の灰色の曲線群は撮影毎に異なる光ショット雑音を重畳した輝度値から推定されたスペクトルである。下 2 つのグラフは誤差スペクトルである。いずれもスペクトルの概形は良好に復元できているのが分かる。ただし両者とも，誤差は長波長側で相対的に大きい。これは撮影系の波長感度(H)のうち，特に CCD と照明の感度が長波長側で低いことに起因する。
次にこのセンサで単一ショットで取得が可能となった別の情報の例を図 5 に示した。同図

図5(a) は対象物 (りんご) の近赤外画像であるのに対し，(b) はそのハイパースペクトル散乱画像と呼ばれるものである。横，縦の方向はそ

本分光センサで可能となった別の撮影モードの例。
(a) 対象物の画像 (りんご)，(b) ハイパースペク
トル散乱画像。a の画像に対し，水平方向の位置を横軸，水平破線に沿ったスペクトルの分布を縦軸として表現したもの。(c) a の水平破線上のいくつかの場所におけるスペクトル。

れぞれ空間位置 (水平方向の)，波長に対応しことで，当初の目的に掲げた紫外〜近赤外対応ている。(b) では (a) に水平の破線で示したの計測も問題なくできるものと思われる。なお

断面上の，反射スペクトルの分布が表示されて説明では省略したが，計測の波長域は対象物のいる。このような情報を可視化することで，ス性質に応じて自由に選択している。これにはカペクトルの面内分布が一度に把握できるというメラの外側に設置した長波長カットフィルタや利点がある。

短波長カットフィルタを用いた。これらの設定

以上述べた通り，本研究で，我々のフォト波 長 域 を 適 宜 変 更 す る こ と で，例 え ば 400

ニック結晶に基づく分光センサを使って対象物nm〜700 nm などのワイドバンドな計測も問題のスペクトル推定や可視化が可能となった。まなく可能である。

た上記の例は可視の長波長側 (約 600 nm) か以上述べた本デバイスによるスペクトル推定

ら近赤外 (1000 nm) の範囲であったが，図 2に つ い て は OSA (全 米 光 学 会) の Appliedに示す通り MSF 自身の特性は青色から短波長Optics 誌に投稿し，掲載された(発表論文[1])。

側の紫外域や，1000 nm より長波長域にも延び

この論文は OSA の雑誌に掲載された当該月のていることが確認できたため，今後センサ部分

全 論 文 か ら 2 編 の み 選 ば れ る，Spotlight inに適切な素子を用いるか，評価方法を工夫するOptics にも選出された。

― 4 ―Tateisi Science and Technology Foundation

た，波長 400 nm〜550 nm 付近の画像計測を実証する。またスペクトルの推定精度を改善するために，Adaptive Wiener 推定や g の段階での主成分分析によるクラスタリング等を検討する。
ま た ガ ラ ス 窓 を 除 去 し た 様々 な サ イ ズ のCMOS に MSF を実装し，本研究の有用性を実証していく。
[成果の発表，論文等][ 1 ] Y. Ohtera and K. Shinoda : “NIR spectrum estimation(上段) ボードタイプ CMOS カメラへの適用例(下段) Web カメラ基板への適用例

図6

utilizing

photonic

crystaldistributed

passband-type multiple filter array,” Applied Optics, Vol. 58, No. 12, pp. 3166 - 3173, (2019).

CMOS イメージセンサの前処理技術の検討結果

また以上のスペクトル推定の試みと並行して，[ 2 ] Y. Ohtera : “GMR-type multi-channel wavelength filters for NIR spectroscopy,” Progress In

市販の様々な CMOS イメージセンサ加工技術

Electromagnetic Research Symposium (PIERS

も 確 立 し た。図 6 に は 産 業 用 カ メ ラ 基 板，2018), Session 1A17-08 : 50, p. 161, Toyama, August
1st, 2018 (Invited).

Web カメラそれぞれの窓を除去して MSF 貼り[ 3 ] 大寺康夫：“傾斜膜厚型フォトニック結晶のスペ合わせの直前の状態に加工したものである。加

クトル計測への応用，”電子情報通信学会エレクト工後も正常に動作していることを確認した。こロニクスシミュレーション研究会 (EST)，2018 年

れと我々の MSF 技術を組み合わせることで，市販の多くの CMOS カメラをマルチスペクトル化できる見通しが立った。

9 月 6 日 (木)，沖縄県久米島町，EST2018-47.
[ 4 ] 大寺康夫：“非周期サブ波長フォトニック構造を利用したスペクトルセンシング，”電子情報通信学会ソサイエティ大会，CS-1-7, 2018 年 9 月 12 日，
金沢大学 (依頼講演)．

[今後の見通し]
まず作製はしているものの計測の待たれてい― 5 ―