遠くでも目と目が合う遠隔対話、覗き込める遠隔観察システム
静岡大学 大学院総合科学技術研究科工学専攻 機械工学コース
教授 海老澤 嘉伸
2019年11月 7日

1

背景(1)• 現在では、インターネットを介した遠隔コミュニケーションにおいて音声が途切れたり、画像が不鮮明であったりして不便な面がある。
• ５Gの時代を迎え、音声通信の安定性はもちろん多数の人間による多数拠点間のテレビ会議が容易にできるようになると予測できる。
• そのような中、現在のように、目と目が合わない 1名 対 1名の会話が、目と目がしっかりと合うようにできるようにしたり、多人数でのテレビ会議で、画面に小さく映っていて顔が良く見えない状態を大きく改善できたとしたら、有益であると考えられる。
2

背景(2)• 当該研究室では、非接触で頭部にセンサー等を何も取り付けずに目の瞳孔の3次元位置や視線方向と画面上の注視点位置を計測する装置の開発を行ってきた。
• 注視点検出の一例として、画面に映される女性の動画を前に、乳幼児が目を見るか、それ以外の部分を見る傾向があるかな
ど、自閉症診断支援のための客観的データを得るために、我々の注視点検出技術が導入され、実用化された。
（平成21～23年度 JST先端計測分析技術・機器開発事業「プロトタイプ実証・実用化プログラム」）3背景(3)
その他、JSTに採択された事業：• 平成23年度～平成24年度 JST特許群支援
課題：注視点検出装置• 平成25年度 JST特許群支援
課題：サイバー物理システムとしての視線・注視点検出装置• 平成25年度 JST知財活用促進ハイウェイ「大学特許価値向上支援」
課題：遠隔注視点検出における眼鏡反射問題の解決と頭部移動許容範囲の広範囲化
4

背景(4)• 本発表では、これまでの瞳孔の3次元位置検出や視線・注視点検出の技術を用いた「遠隔コミュニケーション技術の向上」の方法などについて提案を説明する。
• 特に、透明ディスプレイの実現により、これらの技術がパソコン画面のみならず、スマートフォンやタブレットに導入される可能性が高くなり、より技術の価値が向上するとともに普及度が増すと予想される。

5

発表の内容1. 本研究室で開発した瞳孔および視線・注視点検出の技
術について
2. 目と目が合うための基本原理
3. 目と目が合うためのハードウェア
4. 多数人の会話（会議）のための方法
5. 遠隔の物体鑑賞システムとその立体視化
6. 顔画像中の口領域の推定（口パク入力ためなど）
6

本研究室で開発した瞳孔および視線・注視点検出の技術について特徴：• 顔にセンサ―等を取り付けない。
• 基本的に2台の光学系（カメラ＋近赤外光源）を用いる。（光学系1台の場合については、本発表では省略する。）• 瞳孔の3次元座標が高ロバストかつ高精度に検出できる。（→目の位置が正確にわかる。）• 大きな頭部移動を許容する。
• 眼鏡を着用をしても光源の眼鏡反射像が瞳孔等に重ならなければ、視線検出ができる。
• 光学系を中心に±30°の角度範囲で高精度な視線検出(<1°）。
（精度は落ちるが±60°程度まで視線計測可能）• 鼻孔の検出も容易（→高精度な顔向きが計測できる）
7

2光源の画像差分法による瞳孔検出
カメラの露光に合わせて光源を交互に点灯し，差分画像から瞳孔像を検出。閾値設定が容易。
内側光源（850nm）
発光時

明瞳孔画像

＋－
差分画像

2波長2重リング状光源
外側光源（940nm）
発光時

暗瞳孔画像
8

注視点検出原理
パソコン画面上の注視点

Y'

𝑸𝑸
O'

瞳孔中心

視線
瞳孔 Pθ

φX'

φ'r

X

角膜反射

Y
ユーザ

カメラ
仮想視点平面【瞳孔周辺のカメラ画像】

２台のカメラから求まる瞳孔の３次元座標と 𝜃𝜃 = 𝑘𝑘 𝒓𝒓 と 𝜑𝜑 = 𝜑𝜑𝜑の関係から視線を求める。ただし、眼球の光軸と視軸のずれを補正するためにユーザ較正にて最低１点を注視してもらう必要がある。
9

研究室で開発した注視点検出装置のデモ

10

遠隔コミュニケータの問題点
Skype、LINE他においては、自分が見ている相手の目の位置にカメラがないため、互いに、目と目が合うことはない。

11

目と目が合うためには互い見ている相手の顔画像の目の位置（方向）に自分を映すカメラがあればよい。
目と目が合う（ように見える）ための従来法(1)ハーフミラーの後ろにカメラを設置する方法
問題点：頭部が動いてしまうと、カメラの位置と目の位置がずれてしまい目と目が合いにくくなる。
(2)目の画像を画像処理により、あたかもこちらを見ているように目の部分の画像を変形させる方法
問題点：本当に目と目が合ったと言えるか？
12

研究室で開発した目と目が合うシステム(1)
下図のように、相手の顔動画を表示する画面を水平に設置。45 degに設置したマジックミラーで反射させる。マジックミラーの後ろに自分の顔画像撮影用
カラーカメラを設置。マジックミラーを挟んでカメラ側を暗幕で覆う。3次元位
置検出用光学系を下部に設置。
カラーカメラ
仮想画面
マジックミラー

暗幕内(暗くする）

顔画像撮影用
カラーカメラマジックミラー

位置A

位置B
45°
相手の顔動画を表示する画面

瞳孔検出用
光学系
相手の顔の目の位置

・山本祥之, 福元清剛, 海老澤嘉伸：”遠隔瞳孔検出に基づく頭部移動を許容する視線一致型コミュニケーションシステムの提案”，
2015年映像情報メディア学会年次大会，13C-3(2015)13

研究室で開発した目と目が合うシステム(2)頭部が動いても、カメラの位置と目の位置を一致させるために、以下のことを行っている。
(a)画角を広く撮影し、瞳孔の3次元位置から推定される画像中の目の位置（両瞳孔間中点）を求める。
(b)両瞳孔間中点の3次元位置までの距離を求め、例えば、顔の大きさが一定になり、画像全体から目間を中心に顔領域を切り取った画像を生成し、両瞳孔間中点がカメラの方向に位置するように表示する。さらに、画面を斜めから見た場合にも、正面顔に見えるように画像を歪ませて画面に表示することもできる。

顔が歪んでいる 正面顔に見える

画像を変形

正面から見た場合

斜めから見た場合
14

正面顔に見えるように画像を変形する方法
画面（正面から見た画像）
𝐴𝐴𝐴Z
𝐵𝐵𝐵

Y𝑂𝑂𝑂

𝐷𝐷𝐷Xy𝐴𝐴𝐵𝐵𝐶𝐶𝐶𝑂𝑂𝑃𝑃𝑃(𝑋𝑋𝑖𝑖 , 𝑌𝑌𝑖𝑖 , 0)

画像面
𝐷𝐷
𝑃𝑃(𝑋𝑋𝑗𝑗 , 𝑌𝑌𝑗𝑗 , 𝑍𝑍𝑗𝑗 )𝐶𝐶zx𝑝𝑝(𝑥𝑥𝑖𝑖 , 𝑦𝑦𝑖𝑖 , 0)
右瞳孔

左瞳孔

両瞳孔中点Mの位置から見たとき、歪みのない正面顔画像ABCDが見えるために画面に歪ませた画像を表示する。

両瞳孔間中点𝑀𝑀

A

D

＋B

C15

カラーカメラ画像上の瞳孔座標の算出法(1)2台の光学系と1台のカラーカメラのカメラ較正を行う。
(2)ステレオマッチングにより両瞳孔と瞳孔間中点の3次元位置を求める。
(3）それらからカラーカメラ画像上の瞳孔座標と瞳孔間中点を推定する。
＋・ 松村佳亮，海老澤嘉伸，“近赤外瞳孔検出法に基づくカラーカメラ顔画像中の高精度実時間瞳孔位置推定”，映像情報メディア学会誌，65，12，pp. 1783-1787，201116カメラの位置と相手の目の位置が異なる場合との比較

カメラが相手の目の位置にある場合

カメラの位置カメラと相手の目の位置が異なる場合17

1名 対 1名の実験結果
頭部を動かしても，相手と視線が合うだ
けでなく相手の顔が正面顔に見えるようになった．

後ろに動いたとき前に動いたとき左に動いたとき右に動いたとき18

1名対1名のデモ動画

頭部のカメラから撮影した動画 全体を映している動画

19
それぞれのディスプレイに表示されている画像
19

視線方向を利用した 2名 対 １名 のデモ動画
1名のほうの被験者が見た方の人と視線が合う20紹介した目と目の合う装置の問題点⇒45度に傾けたマジックミラーのため、汎用性のある装置（例えば、スマートフォン）で実用化されるには、サイズが大きすぎる。

21

解決法 ３．目と目が合うためのハードウェア（1）透明ディスプレイ（有機EL）の後ろの、相手(自分でもよい）の両瞳孔間中点を映す位置に、インナーカメラを設置。
（2）ディスプレイの光が直接インカメラに入射しないように、透明ディスプレイが消灯している間にインカメラの露光を行う（有機ELの応答時間は、0.1ms;瞳孔・視線検出用のカメラは0.5ms)。
（３）カラーカメラにおける瞳孔間中点を正確に求めるため、インカメラの露光と同時に瞳孔・視線検出用カメラを露光させる。
（４）インカメラが見えないように、インカメラを、透明ディスプレイとインカメラの間にマジックミラーを挿入する。
透明ディスプレイの表示（発光）インカメラの露光

ON
OFFON
OFF

ユーザ側

透明ディスプレイ

近赤外線光源インカメラ

マジックミラー

瞳孔・視線検出用カメラ

22

４．多数人の会話（会議）のための方法(1)多数の相手の顔を、例えば画面の周辺に小さい顔画像にして列挙する。
(2)話したい相手の顔画像を見ると、その相手の見ている画面において小さい顔画像として表示されているこちら側（自分）の顔画像の周囲が強調されることにより、自分が相手と会話を求めていることを相手に知らせることもできる。

インカメラの位置(3)相手が自分の顔画像を数秒見続けると、相手の画面において、自分の顔画像が中央に大きく映し出されるようになる。同時に、自分の画像においても相手の顔画像が画面中央に大きく映し出され、互いに目と目が合うようになる。
瞳孔・視線検出用カメラと近赤外光源
23

5.遠隔の物体鑑賞システムとその立体視化
遠隔の物体鑑賞システムとは？
居ながらにして、遠隔にある視対象物体（例えば、美術品）を鑑賞することができる。
従来法では、視対象の3次元立体構造と表面色情報をTOFカメラなどで得ておき、レンダリング技術を用いて画像を生成する。
短所：予め3次元構造と色情報を得ておく必要がある。画像のリアリティーが低い。
本技術では、遠隔にあるとカメラを頭部の動きに合わせて動かして撮影したものをディスプレイに歪み補正をして表示する。
長所： 頭部に何もつけず、実際に対象物の目の前にいる感覚が得られる。

24

遠隔の物体鑑賞システムの概念
ユーザの頭部位置・姿勢に基づいてカラーカメラの位置・姿勢を制御し、カラーカメラで撮影した映像をディスプレイに表示
遠隔地にある物体をリアルタイムで自由な視点から観賞・観察できる
ディスプレイ

視対象カラーカメラ
25

遠隔の物体鑑賞システムのユーザ側
ディスプレイ

頭部姿勢検出用光学系

福元清剛，内田和希，海老澤嘉伸：カメラ姿勢を頭部姿勢に連動させた遠隔視対象物体の鑑賞システムの提案，
ViEW2018，IS1-B7，6 pages，2018．
26

遠隔の物体鑑賞システムの視対象撮影側
照明

視対象撮影用カラーカメラ
マーカー

視対象

照明
アクチュエータ(垂直軸 300mm)
アクチュエータ(水平軸 700mm)

パン・チルト台

アクチュエータ(前後軸 400mm)
27

遠隔の物体鑑賞システムのデモマーカを使ったブレ補正も行っている。

ユーザ側を後ろから撮影

ユーザ目線
マイクロカメラ（実験でユーザから見た映像を取得するために取り付けた）

撮影装置側を後ろから撮影
28

遠隔の物体鑑賞システムのステレオ化
 視対象表示部

３Dディスプレイ

頭部姿勢検出用光学系

29

 視対象撮影部
マーカー

視対象

視対象撮影用カラーカメラ（２台）

アクチュエータ(垂直軸)
アクチュエータ(前後軸)

パン・チルト台

アクチュエータ(水平軸)30

ステレオ化の利点：
・ 両眼視差による視対象の奥行き知覚が得られる。
・ 目からディスプレイまでの距離とカメラからディスプレイでの距離を同じにしなくてもよい。ディスプレイまでの距離を自由に選びやすい。
奥に感じる
ディスプレイ中心

左目用の画像

右目用の画像

左目用の画像

右目用の画像手前に感じる

左目

右目

左目

右目

31

遠隔の物体鑑賞システムのステレオ化のデモ

左目に映る映像

右目に映る映像

メガネなし

フルHDマイクロカメラ
２台※パッシブ方式ディスプレイ
32

６．顔画像中の口領域の推定（口パク入力ためなど）• 瞳孔と鼻孔を検出することで、口の領域の画像切り出しがビデオレートで容易にできる。
• さらに、頭部が回転した場合でも、正面から見た同じ拡大率の口画像を生成できる。
• それにより、口の動きを認識しやすくし、口パク文字入力や、音声と口の動きの両方を利用した音声認識の容易化や高精度化ができる。
音声入力がしにくい環境（騒音のある電車内、静かな会議室内等）での口パク文字入力（読唇文字入力）が可能。

33

鼻孔検出について
 検出した瞳孔座標を元に，ウィンドウ設定し鼻孔の検出，追跡
元画像
輝度反転
二値化
孤立点除去収縮膨張処理
34

3次元空間における平面口領域の設定
𝑌𝑌𝐹𝐹

𝑌𝑌𝐹𝐹

瞳孔

𝑃𝑃𝑟𝑟 , 𝑃𝑃𝑙𝑙

𝑍𝑍𝐹𝐹

𝛿𝛿

𝑀𝑀𝐶𝐶

𝑉𝑉𝑀𝑀𝑀𝑀

口領域

𝑉𝑉𝑀𝑀𝑀𝑀

𝑉𝑉𝑔𝑔𝑔𝑔𝑔𝑔

𝑁𝑁𝑟𝑟 , 𝑁𝑁𝑙𝑙

鼻孔

𝐷𝐷𝑔𝑔𝑔𝑔𝑔𝑔(a) 真横から見た場合

𝑃𝑃𝑟𝑟

𝑋𝑋𝐹𝐹

𝑉𝑉𝑀𝑀𝑀𝑀 𝐴𝐴
𝑉𝑉𝑀𝑀𝑀𝑀

𝑊𝑊𝑃𝑃

𝑃𝑃𝑙𝑙

𝑃𝑃𝑃𝑃

𝑁𝑁𝑀𝑀 （原点）
𝑍𝑍𝐹𝐹

𝑁𝑁𝑟𝑟

口領域

𝐵𝐵

顔座標系

𝑁𝑁𝑙𝑙

𝑀𝑀𝐶𝐶
𝐻𝐻𝑀𝑀

(b) 斜めから見た場合

𝐷𝐷
𝐶𝐶

瞳孔・鼻孔検出用光学系で得られた口領域の座標は，カラーカメラ画像上の座標に変換され、カラー画像上での口領域が抽出される
35

正面口領域画像の生成
 カラーカメラ画像中で求められた口領域の座標を基に射影変換を用いることで口領域の正規化画像の作成

𝑋𝑋𝐹𝐹

𝑛𝑛 [mm]

𝐴𝐴

𝐵𝐵

口領域

𝑌𝑌𝐹𝐹

𝑍𝑍𝐹𝐹
𝐷𝐷

𝐴𝐴𝐴𝑚𝑚𝑚𝐷𝐷𝐷

𝑛𝑛 − 1等分𝐶𝐶

三次元空間における口領域

𝑛𝑛𝑛𝐵𝐵𝐵正面口領域画像

𝐶𝐶𝐶

36

口領域画像切り出しと口の動きの検知の結果例

37

企業への期待• 紹介した技術が、瞳孔検出や注視点検出技術がともに、特にスマートフォンやタブレットへ導入されることを期待します。
• テレビ会議システムへの導入を期待します。

38

本技術に関する知的財産権
••
•
•

発明の名称
出願番号
出願人
発明者

：画像観察システム：特願2019-108695：静岡大学：海老澤嘉伸

••
•
•
•

発明の名称
出願番号
公開番号
出願人
発明者

：顔画像処理装置：特願2017-017120：特開2018-124457：静岡大学：海老澤嘉伸

•
•
•
•
•

発明の名称
出願番号
公開番号
出願人
発明者

••
•
•
•

発明の名称
出願番号
公開番号
出願人
発明者

：顔画像処理装置：特願2017-016946：特開2018-125727：静岡大学：海老澤嘉伸•発明の名称 ：口領域検出装置及び口領域検出方法
出願番号：特願2015-073089
公開番号：特再公表2016-159255
出願人
：静岡大学
発明者
：海老澤嘉伸 39••••：画像表示装置：特願2015-146784：特開2017-26893：静岡大学：海老澤嘉伸お問い合わせ先
静岡大学
イノベーション社会連携推進機構
コーディネータ 大場 弘行
ＴＥＬ ０５３－４７８－１７０２
ＦＡＸ ０５３－４７８－１７１１
e-mail sangakucd@cjr.shizuoka.ac.jp
40