正視覚力推進研究所活動実績報告書
2021 年 11 月 1 日～2022 年 10 月 31 日
2022 年 11 月 30 日
所長 海老澤嘉伸
我々は、非接触かつ遠隔で瞳孔を検出する技術を構築してきた。それを元に、人間の健康状態、特に、目の健康状態を日々の生活の中から、感知できる装置やシステム、ネットワークの構築を目指して研究を行う予定で発足された。進展があった研究のうち一部について紹介・報告する。
I 研究活動
１．外観目視検査員の訓練のための手に持つ 3 次元物体上の注視点検出システム
1 年目の報告書で、外観目視検査員の習熟度向上のために、手に持つ平板上の検査対象を模擬した物体上の注視点を検出する装置の開発を行い、メーカ（(株)ガゾウ）への技術移転を開始したと述べた。当該メーカで、小型化や使用する LED 光源の個数の減数化などの改善をした試作機を製作した（左下の 2 つの図）。本学側では、いくつかの改善を行った。１つ目は、これまでは検査対象が平面の物体のみであったものを立体構造のものに対応できるようにした（右下の 2 つの図）
。2 つ目、注視点検出用のカメラや光源に手が触れないように、透明ガラス板をテーブルの上面のように配置し、そのガラス板を通して顔を撮影するようにした。習熟度向上のための訓練法は、佐々木章雄氏（当時：日本 IBM、現在：周辺視目視検査研究所代表）が最初に提唱した周辺視目視検査法に基づくものとし、これらの成果は、周辺視目視検査セミナー（8 月 8 日、大阪工業梅田キャンパス）にメーカの装置のデモ展示と海老澤らによるシステムの原理の説明を行った。また、産業振興フェア in いわた（11月 11 日～12 日、アミューズ豊田）にて、メーカの装置のデモ展示と海老澤・福元研究室のよる従来の開発装置類のポスター展を行った。将来的には、瞳孔画像から得られる眼底生体情報により、目の疲労度等の検出ができるようにしたいと考えている。

２. 内視鏡手術の支援システム
一般に内視鏡出は開腹を行う場合に比べ、患者への負担が非常に少ない。しかし、両手、場合によっては足も使用する状態で手術を行う。手術医の負担は非常に大きく、手足の代替として、頭部の動きによって、何らかの器具の動作スピードを変化させることができると、負担が少なくなると考えられる。現時点では、脊椎の内視鏡
手術現場において、内視鏡映像を 2 メートル弱の距離に設置されたモニターに映しながら、手術を行うことを前提として、システムを構築した。モニターの下に設置して瞳孔検出用光学系により、2 つの瞳孔の位置を計測することで、水平の顔向き方向の変化を正確にかつ安定して検出できるようにした。

3．読唇術に使用することを意識した口領域画像の正確な切り出しとその正面画像の生成
瞳孔検出用光源に近赤外線を顔に照射することで、鼻孔も検出でき、2 つの瞳孔の 3 次元位置と 2 つの鼻孔の中点の 3 次元位置を計測し、左図のような円筒状の 3 次元口領域形状モデルをリアルタイムで設定する。簡単に概念的の述べると、カメラから得られる口領域の画像をこのモデルに面上に投影させ、結果的に斜めから見て歪んだ口画像を正面から見た画像のように修正する。ここまでは、以前に開発をしていたが、今回、上述の円筒の曲率半径Ｒや瞳孔や鼻孔に対する位置や角度に関する最適なパラメータが個人間で異なることから、個人ごとに最適パラメータを選択できるようにした。選択には、頭部を左右上下に振りながら、画像を 45 枚取得し、正面を向いた時の口領域画像との比較により評価した。GPU を使用し、最適パラメータを選択するに要した時間は、約 0.7 秒であった。

瞳孔と鼻孔により構成される顔座標系と設定した 3 次元口領域形状モデル

４．マルチスペクトルカメラを使用した明瞳孔画像と暗瞳孔画像取得による注視点検出
1 年目の報告書に記したように、マルチスペクトラムカメラ（富士フイルム 小野修司氏による；偏光センサカメラと複数の偏光バンドパスフィルタを含むレンズから構成される）を用いることで、瞳孔を明るくするための光源（850nm）と暗くするための光源(940nm)を同時に発光させて、2 波長光が混合した画像を取得したのち波長分離をして明瞳孔画像と暗瞳孔画像の各画像を取得することができる。波長分離したのちに明瞳孔画像から暗瞳孔画像を画像差分することで、瞳孔部以外の画像を容易に消失させることができ、頭部が動いたときに、明瞳孔画像と暗瞳孔画像におけるそれぞれの瞳孔位置がずれて瞳孔検出が困難になる問題が解決できた。別々のフレームで明/暗瞳孔画像を取得する従来法では、光源の角膜表面で反射したときに生じる光点（角膜反射点）の位置が両画像間で一致するように一方の画像中の瞳孔近傍の画像をずらしてから差分を行った。したがって、角膜反射位置の検出精度も重要な注視点検出精度に影響する。仮に頭部が動かなくとも、心拍や呼吸、その他の身体の振動により、明/暗瞳孔画像間で瞳孔位置がずれる。今回、従来の注視点検出装置とマルチスペクトラムカメラを使用した注視点検出装置によるディスプレイ画面上の注視点検出精度を検証した結果、頭部を動かさない状態でも、カメラの分解能の違いを考慮したうえで、精度が各段に高まることを示した。

５．ROI および Binning により高速フレームレート化したカメラを用いた瞳孔および注視点検出
４で述べたように、同時に明瞳孔画像と暗瞳孔画像が取得することができれば、画像差分による瞳孔検出の有効性は最も高いと言える。しかし、特殊な光学系を要する。これに準じた方法として、高速度カメラを使用すれば、明瞳孔画像と暗瞳孔画像を取得する時間差が非常に小さくなるため、その間に瞳孔等が動かないとみなすことができため有効である。しかし、高速度カメラはコストがかかるという欠点がある。そこで、今回、近年、市場に出始めている画像の一部のみを取り込むことにより（ROI 機能）、短時間当たりの画像データ転送量を減らすことにより、フレームレートをある程度上げることができれば、瞳孔や注視点検出のばらつきを通常のフレームレートのカメラよりも大きく改善できると考えた。現状では、取り込み領域は固定であるが、頻繁に変更することを念頭に実験を実施した結果、頭部を左右に素早く動かしても、瞳孔検出ができ、同時に画面上の注視点が高精度に検出できることが分かった。同時に、近隣の 4 画素（2×2）毎の画素データの輝度値の合計を出力することで、さらにデータ転送量を減らすことで、フレームレートを 550 フレーム毎秒まで上げることができ、別途使用している 2000 フレーム毎秒の高速度カメラに劣らない注視点検出精度を得た。これまでの研究を踏まえて考察した結果、取り込み領域を自由に変更できるカメラを使えば、頭部の動きがある中だけでなく、周囲の明るく瞳孔が小さくなった場合にも、正確な瞳孔検出や注視点検出が容易になることが示唆された。

６．瞳孔検出のロバスト性改善のための自動アノテーションによるＣＮＮ閉眼画像追跡
注視点を検出する際には、一般に一度瞳孔が検出できたら、次のフレームからは瞳孔部を含む小領域にウインドウを与えている。その中のみを画像解析し、瞳孔中心と注視点検出に必要なもう一つの特徴点である角膜反射点の位置を検出している。これにより、これらの特徴点の誤検出することが少なくなり、画像処理の量を減らすことができ、その結果、５で述べたようにフレームレートを上げることも可能となる。よって、目や顔を追跡することはしていない。そのため、ユーザが閉眼した際には追跡対象を見失うことなり、その間に頭部が動き、画像中の瞳孔が大きく移動すると、小ウインドウを解除し、極端には取得画像全体から再度瞳孔を検出しなければならなくなり、誤検出に繋がりやすくなると同時に画像処理の時間が多くかかる。そこで、今回、予め閉眼をしたときの画像を取得し、ＣＮＮ（畳み込みニューラルネットワーク）機械学習させ、閉眼中に閉眼画像を追跡させ、画像解析対象領域をできるだけ小領域化することを試みた。一般に、学習を伴う場合、学習させる膨大な枚数の画像が必要となり、それが大変な作業となる。そこで、本方法では、瞬目を利用して、瞬目を検知したら、直後の画像を瞳孔周囲の目の画像を保存して学習データとする方法を提案した。さらに、カメラから瞳孔までの距離がわかるので、予め、目の部分の画像が、距離が変化しても常に同じ大きさになるように画像を変換し、その際に、学習させる画像のデータ量を減らすことができる。そのために、画像の分解能を最初から必要最小限に落とした画像をＣＮＮに与えた。それにより、ＣＮＮ中のプーリング層をなくしネットワークの規模をでるだけ小さくすることにより、学習に要する時間を大幅に軽減することに成功した。まだ、研究を開始したばかりであるが、これまでの瞳孔検出や注視点検出技術に組み込むことを検討したい。

Ⅱ

収支報告
令和 4 年度 収入【共同研究費】 300 千円【科学研究費】 1600 千円【補助金】 289 千円