頭部移動に対応する自動車ピラーや建造物等の死角の透明化

静岡大学

工学部教授

機械工学科
海老澤 嘉伸2024年2月8日

1

これまでの研究について
近赤外LED光源とビデオカメラを利用して、頭部にセンサー等を一切取り付けず、眼鏡装着と頭部の移動を許容しながら、遠隔から人間の瞳孔を検出する装置の基礎開発およびその応用
近赤外光を使用するため、カラーソフトコンタクトレンズなどの影響は受けない。大抵のサングラスも問題なく、使用できる。

2

瞳孔検出の原理
カメラの露光に合わせて近赤外光源を交互に点灯し，顔を消失させ、瞳孔を浮き彫りにした差分画像から瞳孔像を検出するので、ロバストに瞳孔検出ができ、演算も高速

開口部

開口部に近い
LED光源
発光時

明瞳孔画像

＋
－差分画像

開口部から遠い
LED光源
発光時

暗瞳孔画像

3

２台のカメラから求まる瞳孔の３次元座標 Pと画像中の瞳孔-角膜反射ベクトル 𝒓𝒓 から視線を求める。
どこから（瞳孔）、どこ（注視点）を見ているのかの両方がわかる。

注視点検出原理

パソコン画面上の注視点

Y'

𝑸𝑸
O'

視線
瞳孔 P

瞳孔中心θ

φX'

使用者

Y

φ'r

カメラ
仮想視点平面【システム全体】X

角膜反射（光源の反射像）【瞳孔周辺のカメラ画像】
4

本研究室で開発した標準的な注視点検出装置のデモ動画

5応用研究１ 頭部移動に対応する自動車ピラーや建造物等の死角の透明化• 視線上に遮蔽物が存在する場合，その背景（死角領域）を見ることはできず，危険な場合がある．
• 車のAピラーや，建造物の壁など、必要な強度や構造の問題でガラスなどでの透明化の実現は難しい場合がある．

提案する方法：
死角領域を映す外部のカメラで撮影し，遮蔽物の前に設置したディスプレイに映し出すことで擬似的に透明化
6

従来の研究例
Aピラーの外側に外を映すカメラを設置し、プロジェクタを使用してAピラーの内側に投影
米国２０１９年
https://nlab.itmedia.co.jp/nl/articles/1911/14/news102.html

7従来法の問題点
目（視点）位置が変わると背景とディスプレイの表示映像にずれが生じてしまう

視点の位置を横にずらすと視点位置を遠ざけると視点が変わるとディスプレイ8

提案法の概要
視点の位置に応じて、見えない範囲（死角領域）をちょうど補完する画像を、遮蔽物体の手前のディスプレイに映しだす・ 視点位置が変わると死角範囲が変わる。
・ ディスプレイを斜めから見ると、画像がひずむことにも注意.
背景（見たい対象の前面）直接見える範囲

死角見えない範囲（死角）
直接見える範囲
カメラ

遮蔽物体
ディスプレイ
視点（瞳孔位置）
視点（瞳孔位置）9提案法の原理 (1)背景が平面等で、式で表せる場合
背景の前面見えない範囲
３

４
２

５

背景を映すカメラ

遮蔽物体
ディスプレイ画面

ディスプレイ画面の任意値の画素

手順
１．視点（瞳孔）の3次元位置を求める
２．視点とディスプレイの画像と任意の画素を通る直線を求める
３．その直線と背景との交点を求める。
４．その交点に相当する背景カメラ画像中の画素（座標）を求め、画素値（色）を得る。
５．その画素値をディスプレイ画面上の２で選んだ画素に与える。
上の1～5をディスプレイ画像を走査して、全画素について行う。

視点（瞳孔位置）１10

提案法の原理 (２)

背景に凹凸があるなど、式で表現できない場合⇒RGBDカメラ（ステレオ方式）を用いる
RGBDカメラから得られるの点群（画素値（色情報）を持つ）
背景の前面
RGBDカメラから得られる背景前面の形状を表す多数の点群の中から、ディプレイの任意の画素に対応する点を選択するのは、総当たりの演算となり、演算時間が膨大となるので、避ける。

RGBDカメラ

ディスプレイ
視点（瞳孔位置）

手続き
点群中の各点と瞳孔3次元座標を結ぶ直線とディスプレイ画面の交点を求め、それに相当する画素に各点の画素値を与える。ただし、交点が存在しない場合は、何もしない。
11

実験装置の構成
薄型の有機EL
ディスプレイモジュール

瞳孔カメラ世界座標系
𝑍𝑍𝑃𝑃

𝑋𝑋𝑃𝑃
𝑌𝑌𝑃𝑃

背景の撮影用RGDBカメラ（ステレオ方式, ZED2)

背景カメラ世界座標系
𝑋𝑋𝐵𝐵

𝑍𝑍𝐵𝐵

𝑌𝑌𝐵𝐵

ユーザ
瞳孔検出用光学系（2台）
12

カメラ較正および座標系の決定
背景カメラ座標系

2枚の較正板が平行で反対向き
背景撮影用
RGDBカメラ(ZED2)
瞳孔検出用カメラ

瞳孔カメラ座標系

2つの較正板はX軸、Y軸、Z軸が平行で、Y軸まわりに180 deg回転した関係になるように設置
13瞳孔検出による擬似透明化のデモ動画
背景が平面場合

スマートフォンの裏に、円形の再帰光反射マーカーを２つ取付け、それらをユーザの２つの瞳孔代わりにした（擬似瞳孔）。それらを、瞳孔検出装置でトラッキングした。
その際、２つのマーカの中央の位置がカメラの位置となるようにマーカを取り付けた。カメラの位置を2個のマーカの中点とおいて、またカメラの位置を片眼の瞳孔位置と想定して、スマートフォンを3次元的に手で持って動かしながら撮影した。
カメラ

反射マーカー（擬似瞳孔）
反射マーカの輝度が高すぎたため、ビニー
ルテープで覆った。
14

平面背景での複数視点からの擬似透明化
正面

右に移動

上に移動

前方に移動

背後の画像をサイズ調整だ
けをしてそのまま映した

擬似瞳孔の位置に基づいて映像を生成した場合

15

凹凸のある背景の擬似透明化の動画デモ

背後の画像をサイズ調整だけをしてそのまま映した

擬似瞳孔の位置に基づいて映像を生成した

16

凹凸のある背景の擬似透明化の様子
背後の画像をサイズ調整だ
けをしてそのまま映した

擬似瞳孔の位置に基づいて映像を生成した場合◎有機ELディスプレイを円柱状に湾曲させた場合について、同様の方法で実現できることをすでに確認した（未発表）17

瞳孔の代わりに背景撮影用とは別のRDGDカメラ（ZED2）で目を検出し、ディスプレイ映像を生成した場合のデモ動画

表面

裏面

スマートフォンのカメラ

スマートフォン

フリーの顔写真の瞳孔位置に穴をあけ、スマートフォンのカメラで撮影を行った．
18

瞳孔の代わりに背景撮影用とは別のRDGDカメラ（ZED2）で目を検出し、ディスプレイ映像を生成した場合
正面右に移動

上に移動

前方に移動

◎瞳孔検出の場合に比較して、ZED2での擬似透明化の場合の方が、位置ずれが大きく、即応性も悪いが、一定のレベルの擬似透明化が行われた。

19

考察
本来、両眼のそれぞれに別の映像を用意しなければならないと考えられる。そのためには、ステレオディスプレイを要する。
しかし、擬似透明化が正しくできていれば、利き目（優位眼）の方の映像だけを用意すれば、ほぼ問題がないことがわかってきた。

20

• 本技術は、自動車においては、サンバイザーにおいても有効であると考えられる。
• 市販品として、サングラスのように偏光ガラス等で、透明だが光の透過度が低く、暗く見せるものが存在するが、例えば、太陽は極端に明るいので、太陽を暗く見せようとすると他の暗い部分は見えにくくなってしまう。本技術の方法であれば、太陽は輝度的に飽和してしまい、輝度を十分に低下させることができ、そのうえで、太陽以外は本来の明るさで表示することが可能である。サンバイザーに隠れしまう信号等も明瞭な映像として認識できる。

ディスプレイサンバイザー21

『建造物の壁を窓化する』
視点の位置に応じた映像を窓を模したディスプレイにリアルタイムに表示する
閉鎖的な空間が開放的な空間になる（例えば、病室などに利用）
車のAピラーの場合のように背景画像とずれないようにする必要がない
ので、RGBDカメラでの視点検出でも実現が容易かもしれない。
次ページの瞳孔検出装置も利用できると考えられる。

上はイメージ図（現在、開発中）
22

数m離れたところからの瞳孔検出に基づいた注視点検出
デモ動画
左右両側のパンチルト台に乗せた大型の光学系は注視点検出には必要だが、中央の小さな3式の光学系だけで瞳孔の3次元座標が精度よく検出でき、頭部の移動にも対応できるため、この技術が透明化に利用できると考えられる。

注視点
注視点
左の被験者（眼鏡着用）
左の被験者（眼鏡着用）
右の被験者(裸眼）
右の被験者(裸眼）

瞳孔位置検出光学系
23

現状• 簡単な試みとして、数十ｍから数十ｋｍ離れた（無限遠にあるとみなせる）風景を撮影し、瞳孔の移動に合わせて、映像を変化させる研究を進めている。

24

擬似透明化に関する技術に関する知的財産権••••

発明の名称 ：画像処理システム及び画像処理方法
出願番号：特願2023-200904
出願人
：静岡大学
発明者
：海老澤嘉伸25

応用研究２ 瞳孔検出用の光学系が回転・移動した場合の対応法•

ドライバー等の瞳孔位置かつ視線を検出することを前提とする• 瞳孔位置が分かれば、先述の透明化に利用できる• 眠気検知や後述のドライバー認証にも利用できる• 視線が検出できれば、ドライバーの注意方向などの推定ができる

注視点検出用光学系• センターコンソールなどにつけた場合、正面付近の高精度な視線検出の維持は難しい•

ドライバの正面のやや下に設置するが適切だが、ハンドルを回すと，顔が映らなくなる⇒ 今回の紹介では、光学系をステアリング中央の部分に内蔵させることを想定した。
26

課題：光学系が回転すると、その角度がわからないと瞳孔位置も視線方向も正しく計測できない。
相対的な位置が固定された2台の光学系がロールに回転すると想定し，被験者周辺に設置した反射マーカー像とユーザの瞳孔を同一のカメラ画像から取得し（両者の同期が容易に取れる），カメラの姿勢推定と注視点検出する
反射マーカー（計4枚）

ディスプレイ
ステッピングモーター
分度器

右カメラ

左カメラ

カメラ台

回転軸𝒏𝒏

カメラ画像中のユーザと反射マーカー• 2台のカメラが同一のカメラ台に固定されており、それらの姿勢の関係は一定• 反射マーカーは、ヘッドレストなどに取り付けることを想定している

27

カメラ回転中の注視点検出結果
カメラ台を約90 degまで回転．ディスプレイ画面の中央の視標を注視させた視標-2000100200300

右眼注視点

両眼注視点

Y座標 [mm]

Y座標 [mm]-100-200-1000100200300

左眼注視点

300 200 100 0 -100 -200 -300 -400
X座標 [mm](a) 外部パラメータ更新なし

300 200 100

0 -100 -200 -300 -400

X座標 [mm](b) 外部パラメータ更新あり

28

カメラ回転前後での視標5点の注視実験
反時計回りに40 deg-200(a) 外部パラメータ更新なし

Y座標 [mm]-100

視標-2000100

100

200

200

100-100-300

右眼注視点

両眼注視点

(b) 外部パラメータ更新あり-1000300

左眼注視点

300

100-100-300

X座標 [mm]• カメラ（光学系）をロール方向に回転させても，被験者の周辺の反射マーカーからカメラ姿勢を推定し，カメラの外部パラメータをフレーム毎に更新して正しい注視点検出を実現．
• 他にも、光学系を平行移動させたり、チルトさせたりした経験がある• 現在、マーカーを使わない方法も研究中

光学系が回転中29

瞳孔検出用光学系が回転・移動した場合の対応法に関する知的財産権• 発明の名称 ：顔画像処理装置、画像観察システム、及び瞳孔検出システム• 出願番号：特願2018-225770• 登録番号：特許第7269617号
• 出願人
：静岡大学
• 発明者
：海老澤嘉伸30

応用研究３ 瞳孔形状によるユーザ判別• 登録ドライバーの判別により、自動車の設定を変えられると便利• 登録ドライバー以外は運転できないようにする（盗難防止）• 先に述べた瞳孔・視線検出と同じ装置でユーザ判別もできる。
 眼を使った個人認証の例
虹彩模様を用いた方法
J. G. Daugman, Trans. Circuits Syst.Video Technol. 14, 1, 21–30, 2004.

 本研究室の装置


遠方から近赤外光をほぼ同軸照射
鮮明な虹彩模様を得にくいが、

画像差分による瞳孔検出によって、鮮明な瞳孔形状が得られるメリットがある。
瞳孔はサイズが変動し続けているため、なりすましは困難
31

応用研究３ 瞳孔形状によるユーザ判別

瞳孔形状には円の形状から外れた歪みが個人ごとに存在することが知られている

H. J. Wyatt：“The Form of the Human Pupil”，Vision Research，35，14，pp.2021-2036（1995）⇒瞳孔形状を用いてユーザ判別できる
我々の実験では、10名の被験者を区別、判定できた。

32

瞳孔形状の検出
１．瞳孔形状として、瞳孔中心-瞳孔輪郭点の距離を用いる
瞳孔中心より，等角度θ（1deg）に方向を変えて放射状走査
瞳孔の大きさ，解像度に関わらず、一定数の輪郭点（360点）を検出し、瞳孔中心から各輪郭点までの距離（輪郭点距離）を求める
X[pix]

瞳孔中心座標00 20 40 60 80 100 120 140 160

20θ

Y[pix]

40

輪郭点
中心座標

6080100120140

瞳孔像

160

33

輪郭点距離
33

２. 輪郭点距波形に対して、経験的に決定した３～９Hzの正弦波を重ね和わせたフーリエ級数をフィッティングすることで最小二乗法を用いて、フィルタリングを行った

78764074387236706834663264623060𝑖𝑖𝑖𝑖
𝑓𝑓 𝑖𝑖 = � 𝑎𝑎𝑗𝑗 cos 2𝜋𝜋𝑗𝑗 �+ 𝑏𝑏𝑗𝑗 sin 2𝜋𝜋𝑗𝑗 �360
360
𝑗𝑗=3

フィルタリング前
0050

100 150 200 250

40 80 120 160 200 240 280 320 360

輪郭点番号 𝑖𝑖

1.5
1.00.5
0.0
-0.5
-1.0
-1.5
-2.0

輪郭点距離[pix]輪郭点距離[pix]輪郭点距離[pix]9i : 輪郭点番号
j : 周波数

フィルタリング後
040120150
160 200 240
320350360
50 80100
250280300

輪郭点番号 𝑖𝑖
輪郭点番号

３. データベースのすべてのフィルタリング後の輪郭点距離波形との間で最大の相互相関係数を示すユーザを選択
34

瞳孔形状によるユーザ判別のデモ• 登録された10名データベースを使用して，登録済みの５名が一人ずつ順番に認証を行った様子。
• 瞳孔が登録されている被験者として判断されたときのフレームが10フレームになったとき登録されている被験者として認証した。
• 認証されるまで平均2.3秒（約7年前）。

視標

15cm

18°

※動画を見やすくするために輝度調整済

35

自動車以外での瞳孔形状によるユーザ判別（個人認証）について• 最近、ズームレンズを使用して、光学系から2メートル離れている場合でも、瞳孔形状が認識できることを確かめた。同様の方法で同様にユーザ判別できることを確かめた。また、波形の相互相関係数を計算する部分を変更した結果、その部分の演算時間が、約1/100に短縮できた（未発表）。
• 顔認証などと組み合わせることにより、遠方からの非常に剛健な個人認証ができるセキュリティーシステムになると考えられる。
⇒歩いている人間の個人認証
36瞳孔形状によるユーザ判別に関する知的財産権• 発明の名称：眼球識別装置及び眼球識別方法• 出願番号 ：特願2014-248169• 登録番号 ：特許第6452236号
• 出願人
：静岡大学
• 発明者
：海老澤嘉伸37

企業への期待自動車のAピラーの死角を改善することを目指している企業との共同研究等を特に期待する
その際、自動運転やドライバー監視（わき見運転、居眠り運転の防止など）等を、既に実施している（あるいは実施しようとしている）企業との連携を希望する38

お問い合わせ先
静岡大学
イノベーション社会連携推進機構
ＴＥＬ
０５３－４７８－１７０1
ＦＡＸ
０５３－４７８－１７１１
e-mail sangakucd@adb.shizuoka.ac.jp

39