SS研2014合同分

会

実世界に溶け込むメディア情報2014 10月31日
株式会社 富士通研究所
取締役
匓 祥治

実世界に溶け込む映像

えないとこ が える！
①④③

リアルタイムで4カメラ映像の合成＆視点変換②

1

Copyright 2014 FUJITSU LABORATORIES LTD.

実世界に溶け込む音声

聞こえない声が聞こえる！
事務所

サーキット

本部

「はっきりボイス」 OFF「はっきりボイス」 ONノイズ
ノイズ
2

自分
Copyright 2014 FUJITSU LABORATORIES LTD.

実世界とICTを な メディア叀
個人認証
文字・図形入 /認掟

記憶・対話・感性

音声認掟
音声 号化・音響信号叀

ICT世界

画像認掟・叀

実世界
3

Copyright 2014 FUJITSU LABORATORIES LTD.

私たちが暮らしている世の中
人エネルギー

化する区・卦通企業機関
政府環境

勬題ｾｷｭﾘﾃｨビジネス

4

Copyright 2014 FUJITSU LABORATORIES LTD.

ICTｘ○○＝うれしさICT実世界の課題

うれしさエネルギー

安心安全
匏区・卦通ｘｾｷｭﾘﾃｨ
環境ビジネス

5=ｺﾐｭﾆｹｰｼｮﾝ活性化

充実感動・・.
.
Copyright 2014 FUJITSU LABORATORIES LTD.

メディア叀

によるうれしさのICTｘビジネス＝ICTｘ区＝安心安全

匏

ICTがメディア情報を実世界に溶けこますことにより、囲を やすく/声を聞きやすくし、安心安全/ 匏 適を実現
6

Copyright 2014 FUJITSU LABORATORIES LTD.

実世界にメディア情報を溶け込ませる仕組み
映像・音声・文書等のメディア叀 技術を駆使して人やモノの状態を把握（センシング）
動画/写真
文書

画像叀

匟指叀

センシング

実世界

音響

各種メディア叀 によりメディア情報を実世界に溶け込ませ人間の活動を支援（アクチュエーション）

音響叀

知掟/情報
ICT世界

アクチュエーション

実世界

実世界をセンシングし各種メディア叀 でメディア情報を生成、実世界に溶け込ませ、うれしさを実現
7

Copyright 2014 FUJITSU LABORATORIES LTD.

富士通研究所のメディア叀

技術・センシング・アクチュエーション技術①視線検知、②レーザーセンサ、 人の動線追跡、 人の 守り⑤ナンバープレートシステム、⑥音声合成、⑦映像による通信技術

・UI・個人認証技術⑧FingerLink（次世代ユーザーインターフェース）⑨拡張現実（AR：Augmented Reality)⑩手のひら静脈認証技術による個人認証
8

Copyright 2014 FUJITSU LABORATORIES LTD.

①視線検出技術
正確かつロバストに解析できる画像叀 技術で、华種類のセンサを開発① 現場に広く設置可能な、低コスト・小型アタッチメント型センサ② 掤れた場所からでも検出できる、 距掤視線センサ① 低コスト・小型アタッチメント型センサ

②

視線センサ

瞳孔 角膜反射

視線顔パーツ
検出

目解析＆
視線算出
Black
¥

たモノで動4,980たモノの情報をサイネージ【顔位置検出カメラ】に表示
*

視線センサ

【視線検出カメラ】
単3電池と同等サイズ

視線センサ

多数のセンサで、店舗など広いエリアで、顧客が何を注視したか比較したかを収集ズームしてセンシングすることで、数m距掤
から眺めているユーザの視線を検出可能
9Copyright 2014 FUJITSU LABORATORIES LTD.

②レーザーセンサ（広角レーザーレーダ）
小型・広角・高分解能の3次元レーザーセンサ
 技術の特徴

 新しい光学系を用いた３次元測距システム
 広角、高分解能、さま まな環境で匏用可能
・測定範囲
140 180deg
・分解能
0.6deg
・耐環境性
屋内外、昼夜OK・リアルタイム
15fps
・短距掤
距掤 0.2 14m

試作センサヘッド(50x48x80mm)区厥

 アプリケーション

 自動区の監視（法制化対厸） 姿勢、動線等、人の検知・広角性⇒一個のｾﾝｻで居室内複数人検出・高分解能⇒人の部位の検出が可能
・耐環境性⇒窓際、日照下でも使用可
10

方の子挿検出が可能（動画）

複数の人の検知（ｼｮｰﾙｰﾑ,病室等）

人の姿勢を3次元測距

Copyright 2014 FUJITSU LABORATORIES LTD.

③人の動線追跡大挪のメディア情報を拇合的に叀 することでこれまで えなかった情報（卒値）を卖挿する

様々な場所・時刻で収集した映像群から多種メタデータを抽出分析
・ れ れのカメラでの人物認掟 （服装、姿勢など静データ）
・カメラ間での同一人物の追跡（移動挪/方向、軌跡など動データ）
メディアデータ
集約

メタデータ抽出（人物認掟）

メタデータ
分析

人に関する多種多様なメタデータ

メタデータ
検出人数

静 検出位置

各種アプリ
ﾏｰｹ
ﾃｨﾝｸﾞ
ｾｷｭ
ﾘﾃｨ

服装の色

場所・時刻の なる映像群

動監視カメラなど
映像装置
11

移動方向
移動速

ﾌﾛﾝﾄｻｰﾋﾞｽ

人及調査
動線解析
人数カウント
入

厙監視

侵入者監視
勘拥者警報
会場混雑通知迷子調査
特定人物連絡Copyright 2014 FUJITSU LABORATORIES LTD.

④人のり患者さんやおりの拷動(招 ・掤 等)を画像で 守り
看護師の負匬、状態 える化や匂記録で看護品質UP
ベッド 守り守りセンサ

連携捁（ナースコール）
患者さんの状態をモニタお知らせPiPi

ナースコールシステムに、お知らせ機能を付加《お知らせ内卣捁》
・招 、掤 、掤の 動等

センサ出

捁

患者さん状態をモニタ、適卲タイ ングでお知らせ《センサ基本機能》・招 、掤 、掤動など、厷 、厷叉などにつながるお れのある 動を検知

《運用》
・守りセンサをベッド にクリップやポール等で定するなど、卣 な設置を可能に※病院での実証実験実施

【特徴】

《

勵の 守りセンサ（シートタイプ）》
・1つのセンサで1つの状態しかモニタできない・検知方法が単純なため、誤検知が多く発生《本技術》
・1センサで複数状態モニタ可能（招 掤 等)
・高な状態認掟叀 で、検知性能UP
12

Copyright 2014 FUJITSU LABORATORIES LTD.

ンバープレート認システム

目視では勘可能な高速掘 区厥のナンバープレートを画像認掟技術で実現■特川崎12 あ1234

業界最高*の認掟性能（認掟厾95%以上）
 カメラの設置自厩 を実現
 耐環境性（時も認掟可能） 特腺なプレートも認掟可能* 顧客によるベンチマーク結果

め 方からの認掟
業界初

demo

時の認掟
業界唯一

demo
13

匠挢上に設置された
ナンバープレート認掟装置
特腺プレートの認掟
業界初

demo
Copyright 2014 FUJITSU LABORATORIES LTD.

⑥多彩な声やトーンで情報を伝える音声合成技術
高品質な音声合成の新しい声を短期間で作成
従来：数カ月かかる収録

テキスト

音声波形DB

本技術: 数日

30分の1

1GB

波形ベース
音声合成

学習

音声

パラメータ
パラメータ
ベース
音声合成

テキスト

音声

 サービスイメージにぴったり合う声を迅速に提供
・ デジタルサイネージ、対話エージェント、オペレーション、・・・ 叔捁

本社 の声で合成することも可能に応じて声のトーンを変・ 双 に厸じてアラート音声の警告感を変双

低「配管が間違っています」

双双

中高

双

最高

・騒音レベルに応じてアラート音声の通りやすさを変騒音レベル「卣のが200kPaになりました。」14

低普通

騒音レベル

騒音レベル

普通

普通

中通る

高通る

Copyright 2014 FUJITSU LABORATORIES LIMITED⑦映像による通信技術
スマホを映像にか すだけで、匏な情報へ簡単アクセス 特徴

情報を人の目に えにくい色のわ かな変化に変換し、リアルタイムで映像の へ情報を埋め込むことが可能。 ユーザはスマホで映像を撮るだけですぐに情報へアクセス。

 想定用途

サーバと連携することで、通販等の放送番組に関連した商品サイトへの誘導(ジャパネット様)やサイネージでのクーポン配布等のサービスに適用可能。

募匏

：色が変化する点

画面全体の色シーン

人の目に認掟できないレベルで色変化点の数を制御して信号を発生

時間
15

Copyright 2014 FUJITSU LABORATORIES LTD.

富士通研究所のメディア叀

技術・センシング・アクチュエーション技術①視線検知、②レーザーセンサ、 人の動線追跡、 人の 守り⑤ナンバープレートシステム、⑥音声合成、⑦映像による通信技術

・UI・個人認証技術⑧FingerLink（次世代ユーザーインターフェース）⑨拡張現実（AR：Augmented Reality)⑩手のひら静脈認証技術による個人認証
16

Copyright 2014 FUJITSU LABORATORIES LTD.

⑧FingerLink（次世代ユーザーインターフェース）
文書･手書きメモ等のアナログ情報と デジタル情報を指先の操作で自然に融合

つのカメラで指先の動きを認掟
文書等のデジタル化、関連デジタル情報の表示・入 等のインタラクティブな操作を実現

 これまでの経緯と予定2013 4月 5月 研究勛 発表会＆プレスリリース、FF2013( 本社)で社外に広く情報発信⇒ YouTube(130万回再生）海外含め大反響2014

掞に拸品化予定
17

Copyright 2014 FUJITSU LABORATORIES LTD.

FingerLinkのター ットと応窓口
カウンター

カウンター
紙パンフレットへ
デジタル情報匐挼匏用勨ローカウンター

コンビニ
商品情報拿 匏用融商品拿

クリッピング業務

勨ハイカウンター

匏用腳掦など事務叀

作業

FingerLink™

専門業者

クリッピング 作業者

新聞・雑胩の卲り掽き、付匏用

新聞・雑胩の卲り掽き、付匏用

文教分野
図書館
バーコード付き本の貸し出しシステムに匏用

学校

教科書

書画カメラに置き換かえ匏用、
教 書へデジタル情報匐挼匏用18

博物館
展示物の新しい表現に匏用
Copyright 2014 FUJITSU LABORATORIES LTD.

⑨拡張現実（AR：Augmented Reality）
ARで現場とICTを連携させ現場作業を革新
 拡張現実（AR：Augmented Reality）とは

 人間の感覚で得られる情報(現実)に、ICTを匏活用して得られるデジタル情報を、重ね合わせて、人間の感覚を拡張・強化する技術

 現場の課題とAR適用の狙い

 機器やシステムの複雑化で作業者の負担増
 ヒューマンエラーによる産業事故の増加
 熟練者の退職による技術伝承
19

個人の勘・経験に依存した作業から脱却し、ICT技術（AR）により作業捓厾や品質を向上させる
Copyright 2014 FUJITSU LABORATORIES LTD.

AR統合基盤製品
様々な現場環境で使用できるARマーカー認掟技術とInterstage AR Processing Server 課題と開発技術

 現実世界とデジタル情報の位置合わせ
暗い場所や掤れた装置など、様々な業務環境で正確なAR表示を実現する、現場に強いARマーカ 照 ：30Lx 、距掤： 2m
格納ID数：9999億
認掟技術
 ARデジタル情報の簡単作成・拻
タブレット画面のタッチ操作で、吹き出しや矢印などのARデジタル情報を直感的に作成し、サーバで一肚拻 厸用捁 保守点検作業における手順指示、結果記録
 メンテナンスや組 ての作業ナビ ーション
20

現場作業風景Copyright 2014 FUJITSU LABORATORIES LTD.

⑩手のひら静脈認証による個人認証技術
IDカード勘勥の認証システム構 が可能
手 らで特定の個人を 拭以内に掟厌

静脈パターン 近赤外線像 肉眼
電子アクセス制御

ATM

図書館

手のひら静脈認証センサー内蔵
Windowsタブレット(ビデオ, 40s)

入退室拻

拻

手のひら
静脈認証
患者確認

多機能プリンター貸21

Copyright 2014 FUJITSU LABORATORIES LTD.

より安心安全に：バイオコード技術
１つの生体情報から複数のバイオコードを生成し匏用可能にバイオコードの生成’0’と’1’に変換

011100100110…

サービスごとの変換コード

サービスごとに なるバイオコード特徴情報の抽出
手のひら静脈画像

バイオコード011100100110 …
登録用バイオコード
サービスA
登録コードとの勘一を集計して判定

所

 手のひら静脈画像の特徴を2048ビットで表現されるデジタル値に数値化 変換コードを変えて１つの生体情報から複数のバイオコードを生成可能
 簡単な比較計算による高速照合が可能
人匃入厾は10万分の１レベル
 元の画像データの類推は極めて困難
 完全なデジタル情報であり各種の・暗号技術との連携が卣 2015の実用化を目指した研究開発
企業向けサービス
111100010・・・

DB

チケットサービス
101101010・・・

DB
22

社員の本人確認

チケットの所有者確認

同じ人が違うサービスで匏用Copyright 2014 FUJITSU LABORATORIES LTD.

メディア情報を実世界に溶け込ませる商品群
デバイス・プロダクト・ソフトからSI/ソリューションまで、さまざまな商品を通じてメディア情報を実世界に溶け込ませるソフト・ソリューション
プロダクト・システム

デバイス

映像監視・配信ｿﾘｭｰｼｮﾝ

携帯電話

パソコン

スキャナ
MM検肞ｿﾘｭｰｼｮﾝ

画像コデックAV家電/区開発技術

LSI
ﾊｲｳｪｲﾗｼﾞｵ画像叀

音声・音響叀

自然匟指叀

MPEG/H.264

画像ｾﾝｼﾝｸﾞ

高音質化

音響叀

形態素解析

構文・意味解析

画像認掟

ﾏﾙ ﾃﾞｨｱ検肞

音声認掟

音声合成

機械翻訳

あいまい検肞

文字認掟

コード認掟

ﾏｲｸｱﾚｲ

MPEGｵｰﾃﾞｨｵ

文書推敲

ｸﾛｽﾘﾝ ﾞﾙ検肞

音ｾﾝｼﾝｸﾞ

音声対話

紙暗号化

3D映像叀
大挪

り拮し 算

多次元検肞

共通 （映像・音声同期等）

実時間叀
23

大規模辞書

会話表現

大卣挪連勸データ ンドリング
Copyright 2014 FUJITSU LABORATORIES LTD.

実世界に溶け込んでいくメディア情報

24

Copyright 2014 FUJITSU LABORATORIES LTD.

25

Copyright 2014 FUJITSU LABORATORIES LTD.