先端IT活用推進コンソーシアム 第2回 先端NUI技術セミナー

富士通研究所の画像センシング技術とUIへの応用

２０１３年11月２１日
株式会社 富士通研究所
メディア処理システム研究所
中島 哲
0Copyright 2013 FUJITSU LABORATORIES LTD.

自己紹介
富士通研究所にて、顔検出・視線検出などの人を対象としたセンシング技術を研究開発
これまでの研究開発
Javaプログラム
解析＆品質評価

XML圧縮・解析・
データベース

2000年

2005年

画像センシング技術
UIへの応用
2010年

偶然にも歩んできた道がコンソーシアムと同じ！
Javaコンソーシアム

XMLコンソーシアム
1

先端IT活用推進コンソーシアムNUI、UX..
Copyright 2013 FUJITSU LABORATORIES LTD.

富士通が目指す世界
ヒューマンセントリック・インテリジェントソサエティの実現
環境

食

エネルギー

健康安心

安全

業務効率

実世界
人、様々なデバイスからの情報（センサー、携帯、機器）状況に応じたサービス提供

価値あるしくみ提供

新しいサービス、新しい世界を実現するためには、人間・環境とＩＣＴの接点であるUIがますます重要
2Copyright 2013 FUJITSU LABORATORIES LTD.

人間・環境とＩＣＴの接点
バイオメトリクス認証

記憶・対話・感性

音声認識

音声符号化・音響信号処理

ICT世界

実世界

文字・図形入力

3「話す」「書く」「触る」「ジェスチャーする」といった自然な行動を中心としたUI→Natural User Interface（NUI）
Copyright 2013 FUJITSU LABORATORIES LTD.

UIの進化に向けた取り組み
ユーザの負担が少ない自然なインタフェースを目指し、画像・音声等による非接触なセンシング技術を開発
NUI

タッチパネル操作
ジェスチャー（Kinect等）
音声等

世の中の動向CUIGUI マウスキーボード

富士通研の取組み

音声

音声合成

音声対話

音声認識

音声
インタフェース

非接触

画像・映像

文字認識 バイオメトリクス認証
画像認識
CODEC

継続認証
顔検出

視線検出

ジェスチャー
操作

接触型センサ活用

1970年代1980年代

タッチパネル
手書き
文字認識

1990年代42000年代PC

モバイル端末2010年代Copyright 2013 FUJITSU LABORATORIES LTD.

UIの進化に向けた取り組み
ユーザの負担が少ない自然なインタフェースを目指し、画像・音声等による非接触なセンシング技術を開発
NUI

世の中の動向①
人の状態に合わせてさりげなくサポート
顔検出・視線検出・ストレス検出
GUI マウス

CUI

タッチパネル操作
ジェスチャー（Kinect等）
音声等

キーボード

富士通研の取組み

音声

音声合成

音声対話

音声認識

音声
インタフェース

非接触

画像・映像

文字認識 バイオメトリクス認証
画像認識
CODEC

継続認証
顔検出

② 自然な動作で簡単に操作
FingerLink・映像媒介通信
タッチパネル
接触型センサ活用

1970年代1980年代PC

視線検出

ジェスチャー操作

モバイル端末手書き
文字認識

1990年代5

2000年代2010年代Copyright 2013 FUJITSU LABORATORIES LTD.

①人の状態に合わせてさりげなくサポート(1)顔検出応用（継続認証）(2)視線検出(３)ストレス検出

6

Copyright 2013 FUJITSU LABORATORIES LTD.

PCカメラを活用した取組み（継続認証・視線検出）【従来】

やりたいことをやるには、人が全て適切に指示する必要あり【ねらい】（マウス・キーボード・リモコン等）

指示

人の状態をセンシングして、状態に応じて制御・表情・姿勢・距離把握
制御

情報出力

PCが人に適応 ⇒ユーザ負担小、誰でも便利にユーザ負担大、慣れた人でないと使用難富士通研究所人の存在の検知から、より詳細に人の自然な状態・挙動の把握へ
顔検出を応用富士通

顔検出(1) 継続認証

人感センサ

メディア自動録画・再生(2) 視線検出

視線アシストSense YOU Technology

PC11年夏モデル

PC10年冬モデル
7

PC12年冬モデル
Copyright 2013 FUJITSU LABORATORIES LTD.

①人の状態に合わせてさりげなくサポート(1)顔検出応用（継続認証）(2)視線検出(３)ストレス検出

8

Copyright 2013 FUJITSU LABORATORIES LTD.

継続認証とは同じ利用者が継続して使い続けていることを認証する技術実現したいコト 端末を使っているユーザの動き（離着席）に連動した便利なアシスト機能
 快適に誰でも・何処でも使える使い易さ
着席離席横向きマスク課題
 利用者の自由な姿勢でも確実に離着席を判定
 環境に左右されない頑健性の確保

9逆光

Copyright 2013 FUJITSU LABORATORIES LTD.

継続認証の原理
内蔵Webカメラによるユーザの顔と服の色ヒストグラム追跡により、ユーザ姿勢によらない頑健なユーザ検知を実現
登録 顔が検出されるとユーザの顔と服の色情報を自動登録

離着席検知

色情報のトラッキングにより、ユーザの在席を継続的に検知

顔と服の色情報を比較・追跡

自由な姿勢変化でも頑健な検知が可能
自由度・頑健性を高めるために
 顔が検出できないマスク顔は、シルエットで人物の領域を特定
 逆光環境では、カメラ設定を自動調整し、継続認証に最適化
10

Copyright 2013 FUJITSU LABORATORIES LTD.

継続認証の応用例１
 Sense YOU おまかせポーズ機能①テレビ番組視聴中、 ②離席検知すると、自動的に ③再着席すると、自動的にタイムシフト録画開始
常に着席を検知
録画番組の再生開始

 ＦＭＶシリーズ１１年夏モデル搭載
人を感じて自動で一時停止、戻ると再生！

デスク・ノート全１７機種搭載

11
11

Copyright 2013 FUJITSU LABORATORIES LTD.

継続認証の応用例２
 Sense YOU Technology Biz. 継続検知機能（2012年6月販売）
離席時に自動で画面消灯/ロック
カード抜き忘れ検知（通知）
カメラ内蔵
ビジネスノートPC

本人の在席時間を顔画像ログ

カメラ内蔵
液晶モニタ

個人認証後の利用者の在席検知 （離席/入れ替わり検知）
Webカメラ

＋

生体認証時に利用者を認識し継続検知
指紋、静脈センサ

1212

継続認証ソフト
利用者認証（指紋、静脈など）

離席/入れ替わり

利用者検知開始

ロック/認証解除

離席、使用者以外の人を検知

Copyright 2013 FUJITSU LABORATORIES LTD.

①人の状態に合わせてさりげなくサポート(1)顔検出応用（継続認証）(2)視線検出(３)ストレス検出

13

Copyright 2013 FUJITSU LABORATORIES LTD.

従来の視線検出技術
 代表的な基本原理
 虹彩と目頭等の位置関係を用いる方法
虹彩と目頭の例

虹彩

画像例

視線
視線

目頭

カメラ（可視）目頭 虹彩・可視カメラのみで実現可（コスト小）
・視線精度が出にくい

目頭

 角膜反射と瞳孔の位置関係を用いる方法
瞳孔と角膜反射の例
瞳孔

画像例

視線
視線角膜反射カメラ（赤外）瞳孔角膜反射・赤外照明、カメラが必要
・視線精度は得られやすい

赤外照明
（LED)
14

Copyright 2013 FUJITSU LABORATORIES LTD.

視線検出の応用【新たな用途（ねらい）】 PC等のコンシューマ機器向けユーザインタフェース【従来の主な用途】
 障害者向け支援機器
キー入力支援など見ている箇所に応じて見やすく自動ズーム 各種分析の手段
Webデザイン等の評価
商品棚等の配置分析

見ている先が見えるように
自動スクロール

データ蓄積・分析

15

Copyright 2013 FUJITSU LABORATORIES LTD.

開発技術のねらい・課題
PC搭載可能な視線検出を目指し、
 精度が見込める角膜反射と瞳孔を用いる方法（以下、角膜反射法）をベース
 課題となるコストを低減 ⇒ 最低限のハード（カメラ、LED）で実現
瞳孔と角膜反射の例
瞳孔画像例

視線視線角膜反射
カメラ（赤外）瞳孔

角膜反射

・赤外照明,カメラが必要
・視線精度は得られやすい

赤外照明
（LED)

低コストなハードでの課題（ロバスト性）
・瞳孔が不鮮明（周囲とのコントラストが小さい）
・LED強度が低いことにより、角膜反射が微弱（ノイズとの差が小さい）

悪条件の画像例
不鮮明・反射微弱

瞳孔 角膜反射16

Copyright 2013 FUJITSU LABORATORIES LTD.

開発方式
PC向け内蔵カメラとして普及している安価な小型カメラと近赤外LEDで課題となる不鮮明な画像からでも、瞳孔と角膜反射を正確に検出
視覚的な特性、光学的な特性や多種データから得たノウハウをルール化
明るさに依らず、もらさず候補抽出瞳孔・反射の候補抽出

原画像

候補群

入力画像例
不鮮明・反射微弱

整合性ルール
例 ・カメラ,LED配置,顔位置に基づく
瞳孔・反射の位置関係
・目の中での瞳孔の位置・過去の検出結果との関係

整合性
評価
最も整合性が高い候補を選択

検出結果
瞳孔・角膜反射を正確に検知

瞳孔の候補
瞳孔角膜反射

角膜反射の候補
17

Copyright 2013 FUJITSU LABORATORIES LTD.

開発技術のハード構成
特徴
限られたスペースに搭載可能なサイズ（小型カメラ＆LED)
PCのデザインに影響を与えずに組み込み可能【構成】

不鮮明な画像にロバストな検出方式により、PCに組み込み可能なコンパクトな視線検出を実現
18

Copyright 2013 FUJITSU LABORATORIES LTD.

視線検出技術のPC搭載
 CEATEC JAPAN 2012に出展
 CEATEC JAPAN, 米国メディアパネル・イノベーションアワード
ユーザーインターフェース（審査員特別賞）を受賞(2012年10月4日)
http://www.ceatec.com/2012/ja/event/event05_02_02.html

 「視線アシスト機能」として製品化
製品発表（2012年10月19日) http://pr.fujitsu.com/jp/news/2012/10/19-1.html
・Windows 8の快適操作を実現する便利な機能が満載の「ESPRIMO FHシリーズ」「FH98/JD」は、タッチパネルに対応しており、画面をタッチしながら、なめらかで直観的な操作を行うことができます。さらに、「視線アシスト」を搭載し、視線の動きだけで画面を上下左右に動かすことができる、新しい操作方法を提供します。

FH98/JD, FH78/LD
19

Copyright 2013 FUJITSU LABORATORIES LTD.

情報KIOSK端末への視線検出の応用見ている画面コンテンツを見やすく拡大（株式会社PFUと共同で試作、PFU IT Fair2013に出展）
視線センサを内蔵

展示装置

見ているボタンが拡大
20

Copyright 2013 FUJITSU LABORATORIES LTD.

車への視線検出の応用
ドライバの視線を検知する技術を開発中
よそ見検知等でドライバをサポート

視線センサ

センサを設置し、視線を検知

ITS World Congress Tokyo 2013に出展
21

Copyright 2013 FUJITSU LABORATORIES LTD.

①人の状態に合わせてさりげなくサポート(1)顔検出応用（継続認証）(2)視線検出(３)ストレス検出

22

Copyright 2013 FUJITSU LABORATORIES LTD.

ストレス検出技術
声の調子より心理状態を推測する技術を開発

 通常状態との声の特徴の違いより、ストレスを検知
特徴例: ストレスにより高域成分の調波構造が変化
声の大きさ

声の大きさ

通常状態

ストレス状態

声の高さ

44

4

声の高さ

 社員の業務管理などへの適用を検討
上司、産業医

サポート
クレーム
顧客

アラーム
社員
（営業、SE等）

スマートフォンでストレス検知
23

Copyright 2013 FUJITSU LABORATORIES LTD.

②自然な動作で簡単に操作(1)指で直観的に操作可能なUI: FingerLink(2)映像媒介通信

24

Copyright 2013 FUJITSU LABORATORIES LTD.

UIの進化に向けた取り組み
ユーザの負担が少ない自然なインタフェースを目指し、画像・音声等による非接触なセンシング技術を開発
NUI

世の中の動向①
人の状態に合わせてさりげなくサポート
顔検出・視線検出・ストレス検出
GUI マウス

CUI

タッチパネル操作
ジェスチャー（Kinect等）
音声等

キーボード

富士通研の取組み

音声

音声合成

音声対話

音声認識

音声
インタフェース

非接触

画像・映像

文字認識 バイオメトリクス認証
画像認識
CODEC

継続認証
顔検出

② 自然な動作で簡単に操作
FingerLink・映像媒介通信
タッチパネル
接触型センサ活用

1970年代1980年代PC

視線検出

ジェスチャー操作

モバイル端末手書き
文字認識

1990年代25

2000年代2010年代Copyright 2013 FUJITSU LABORATORIES LTD.

②自然な動作で簡単に操作(1)指で直観的に操作可能なUI: FingerLink(2)映像媒介通信

26

Copyright 2013 FUJITSU LABORATORIES LTD.

フロントエンドの課題
フロントのアナログ作業は、簡単にＩＣＴに置き換えられないアナログとＩＣＴの良さを融合させる仕組みが必要

会議
パンフレットを使った商品説明 ホワイトボードや付箋の利用

教科書やノート、資料を扱う

手や指を直接使うアナログ作業の利便性を損なうことなく、さっと手軽にアナログ情報とICTと連携させたい
手軽に連携させたい
紙資料

ＰＣ

ノート・ペン
27

スマホ

クラウド

Copyright 2013 FUJITSU LABORATORIES LTD

指で直観的に操作可能なUI: FingerLink
文書や手書きメモなどのアナログ情報とICTのデジタル情報とを指先の操作で自然に融合 ２つのカメラで指先を認識、３次元位置を高速に追跡 同時に、指先の動きの指示で文書等をデジタル化、ICTに取り込む
 プロジェクターで取り込み結果や他のデジタル情報を合わせて表示
プロジェクター
カメラ1
カメラ2

28

Copyright 2013 FUJITSU LABORATORIES LTD

アプリ（１）：簡単スクラップ 机上の紙媒体、物の一部を指で囲んで電子化・保存 文字を認識して自動タグ付け・整理・検索
 コピーしたデータは、テーブル上に表示して、拡大・縮小などの操作

29

Copyright 2013 FUJITSU LABORATORIES LTD

アプリ（２）：お好みパンフレット 紙の旅行パンフレットをテーブルに置いて、関連情報を重畳表示
 欲しい情報を触ってクリップ クリップした情報を紙の地図にまとめて表示

30

Copyright 2013 FUJITSU LABORATORIES LTD

アプリ（３）：ブレスト支援
 手書きの付箋メモを電子化して、動かしたり、グルーピングする操作
 付箋全体の拡縮・スクロールをジェスチャー操作
 ブレスト履歴を保存、再現、ネットで繋いで遠隔ブレストも可能

31

Copyright 2013 FUJITSU LABORATORIES LTD

課題と開発技術課題１：実世界とＩＣＴ仮想空間の座標認識・変換
設置空間の自動座標認識（平面・凹凸）

課題２：手指認識の安定化
使用環境・個人差に左右されない認識課題３：指先の高精度・高速な認識
使い勝手を左右する、精度とレスポンスの両立
プロジェクター

カメラ1

カメラ2

課題２
課題１
課題３
32

Copyright 2013 FUJITSU LABORATORIES LTD

②自然な動作で簡単に操作(1)指で直観的に操作可能なUI: FingerLink(2)映像媒介通信

33

Copyright 2013 FUJITSU LABORATORIES LTD.

映像媒介通信関連情報がほしい映像にスマートデバイスをかざすだけの自然かつ簡単な動作で、さまざまな情報・サービスを享受 映像への情報埋め込みと、スマートフォンのカメラによる埋め込み情報の抽出を可能にする独自の画像技術を開発
 高画質な情報埋め込みを実現
 画面から離れても情報抽出が可能(40inchで2～3mから検出可)受
信
TV画面からクーポン取得など、スマートデバイスをかざしてサービスを享受

 TVやデジタルサイネージの画面から様々な関連情報を取得可能
34

Copyright 2013 FUJITSU LABORATORIES LTD

映像媒介通信 利用シーン

デジタルサイネージから携帯電話へ情報を送信

周辺の店舗の情報を取得

旅行の予約
有効
期間

7/11（金）10:30～7/24（木）¥150

割引クーポン 応用例

テレビから携帯電話へ情報を送信受信したクーポンを店舗で利用

PC画面のファイルにスマートフォンをかざすだけで．．．

買い物番組で商品を購入

スマートフォンにファイルをコピー

カタログ/資料の簡単配布を実現し、ユーザの利便性を向上し、効率を改善
35

Copyright 2013 FUJITSU LABORATORIES LTD

まとめ人とICTの接点として重要なUIに関する取組みをご紹介①人の状態に合わせてさりげなくサポート
継続認証、視線検出、ストレス検出②自然な動作で簡単に操作
FingerLink、映像媒介通信

今後の方向性より内面状態（感情・ストレス等）に踏み込んだセンシング
様々なセンシング技術を統合⇒ユーザをより分かってくれる、よりインテリジェントなUIへ

36

Copyright 2013 FUJITSU LABORATORIES LTD.

ヒューマンセントリック・インテリジェントソサイエティの実現

より使いやすいＩＣＴを目指して

37

Copyright 2013 FUJITSU LABORATORIES LTD.

38

Copyright 2013 FUJITSU LABORATORIES LTD.