交通

観光
流通

街づくり

いつでもどこでも快適な世界を実現「いつ・どこで・何が」を予測

スポーツ／
エンタメ

エネルギー

先行的な制御/誘導

時空間多次元集合データ分析
リアルタイム処理
ビッグデータ人・モノ・情報の流れ

図１．時空間多次元集合データ分析をコア技術とする
人、モノ、情報の流れのリアルタイム予測、制御

瞳孔拡大反応

聴性脳幹反応

大脳皮質

脳幹

Generating probabilistic models using structure information

01

データに合った解析法を自動で構築します～階層情報を用いた潜在変数モデルの自動生成～

02

Advanced and fast high-dimensional multiple factorization

データに潜む本質的パターンを素速く見出す～多次元複合データ分析の高度化・高速化～

どんな研究

どこが凄い

目指す未来

どんな研究

与えられた複雑なデータを解析するための潜在変数モデルを自動的に生成する研究です。例えばブログ記事
は、ユーザ、記事、文、単語などの複雑な階層構造を持ちます。提案法
はデータの持つ階層構造の中から解析に必要な情報を抽出し、自動的にデータをモデル化します。

これまで潜在変数モデルの設計は、データと機械学習の双方に詳しい専門家が時間をかけて設計、実装、テストを行っていました。提案手法はデータの持つ階層構造を反映した多様なモデルを自動生成可能であるため、これらの工程をすべて自動化できます。

現在、多様なデータが大量に蓄積されています。これらのデータを解析することで様々な情報や知見を得ることができます。本技術を発展させ、蓄積データの解析、知見の抽出が自動化できれば、データをただ蓄積するのではなく、知識や知見を自動的に蓄積するシステムが実現できると期待されます。

複数の要因を同時に分析できる技術を研究しています。例えば、ユー
ザ・ユーザ属性・購入品・購入時
間・購入店舗など、複数要因を同時に考慮することにより「いつごろ、どんな店で、どんな人たちが、何を購入する傾向があるか」という分析をより詳細にかつ高速にできます。

複雑化するデータ複雑化する潜在変数モデル•

多様なデータが大量に蓄積されている。

•

データが持つ 潜在構造 を 潜在変数 を用いて抽出する。

•

特に 階層構造 を持つデータが増えている。

•

データの複雑化に伴い、様々なモデルが提案されている。

•

データに直接現れない 潜在構造 を自動抽出したい。

•

データに合ったモデル設計は専門家しかできない。

階層構造の例

単語トピック

どこが凄い

目指す未来

高速性：データの疎密を考慮したメ
現在、機械や人間行動のログとしてモリ通信とアルゴリズムの最適化に莫大な情報量が蓄積され、分析技術
よって処理の高速化を達成。数億レのさらなる高速・高度化に対するコードも数時間以内に処理可能です。 ニーズが高まっています。本技術は、整合性：要因間の属性情報を紐付け
今後増え続ける多くの超大規模なデータをデータ間の関連を深く結びする制約項を導入し、一部の情報がつけながら、これまで知り得なかっ
欠損したデータでも、整合性を保持た因果関係や知識の発見を促します。
した分析が可能です。

複数データの共通要因を⽤いて⾼次元パターンを抽出

潜在変数モデルの例

ブログ ：ユーザ – 記事 – 文 – 単語
音楽

：作曲家 – 曲 – 小節 – 音符

ユーザクラスタ購買：日時 - 客 – 店舗 - 商品

階層毎の隠れた構造を抽出したい

階層情報を活かした解析は困難 

データと機械学習、双方の専門知識が必要 

提案：階層構造を利用した潜在変数モデルの自動生成

入力 異なるデータも、共通する要因（軸）を利用して複合的に分析が可能
 要因間の関係性を考慮しつつ、要因ごとにクラスタ分析が可能

出力
θ

α

単一の汎用アルゴリズム で全モデルを学習できる。

z1

z2

…

動的計画法 により、効率的に計算できる。

x1

x2

…

φ

β

•

適切な階層を自動抽出 することで様々なモデルを生成する。

••

・データが変化しても、再設計、再導出、再実装不要！
・データ中の潜在構造(クラスタ)を完全自動抽出可能！
階層構造のグラフ表現

ユーザ２

潜在変数モデル

動的計画法に基づく効率的な学習

ブログ

ユーザ１

データ + 階層構造を表現するグラフ

高度化

高速化
実行時間 [秒]センサ ：場所 – 日 – 時間 – 検出量...

分析イメージ
記事１

文１

記事２

文２

包含関係

...

データログ数

...

順序関係
単語１

単語２

...

データの包含関係や順序関係を考慮したモデルを生成 

４種の確率を再帰的に計算することで効率的な学習を実現 

関連文献[1] M. Ishihata, T. Iwata, “Generating structure of latent variable models for nested data,” in Proc. The 30th Conference on Uncertainty in
Artificial Intelligence (UAI-2014), 2014.
[2] 石畠正和, 岩田具治, “データの階層構造を利用した潜在変数モデルの自動生成,” 第28回人工知能学会全国大会, 2014.

連 絡 先

石畠正和 (Masakazu Ishihata)
協創情報研究部 創発知能環境研究グループ
E-mail：ishihata.masakazu (at) lab.ntt.co.jp

・スパース性を考慮した超高速アルゴリズム
・1000万ログ（基底数10、反復100回）の非負値スパーステンソル因子分解も30分で可能

線形制約項によってデータ間の分布を考慮した因子分解手法の様々な拡張

関連文献[1] 松林達史, 幸島匡宏, 林亜紀, 澤田宏, “非負値テンソル因子分解を用いた購買行動におけるブランド選択分析,” 人工知能学会論文誌, 2015.
[2] 幸島匡宏, 松林達史, 澤田宏, “異粒度データ解析のための非負値行列分解手法,” 2015年度人工知能学会全国大会, 2015.
[3] 幸島匡宏, 松林達史, 澤田宏, “異粒度複数行列の制約付き非負値因子分解について,” 第17回情報論的学習理論ワークショップ, 2014.

連 絡 先

松林達史 (Tatsushi Matsubayashi)
サービスエボリューション研究所
E-mail：matsubayashi.tatsushi (at) lab.ntt.co.jp

Stochastic process models for infinite-dimensional matrices

03

ビッグデータ解析から無限データ解析へ～無限次元行列の確率モデルを用いたデータ解析～

どんな研究

どこが凄い

目指す未来

関係データ（SNSでの人のつながり
や、ユーザの商品の購買履歴など）から長方形分割模様の関係を抽出する研究です。ビッグデータと呼ばれるようなユーザの数や商品の増加とのイタチごっこを本質的に解消する
ために、潜在的に無限のデータの解
析手法の創出を行っています。

任意の（無限通りの）長方形分割模様を表現可能なモデル(Gilbert
tessellation)は古くから知られていましたが、その統計的な性質の解
析は極めて難しく、実際のデータ解析に用いることは出来ていませんでした。本研究では解析に適した新しい表現モデルを考案しました。

関係データに対するビッグデータ解
析においては、増え続けるデータに対応するだけでなく、多種多様なあらゆる関係性に対応していくことが重要になります。現在、多くのデー
タ解析システムはまだまだ人間の介入を必要としていますが、我々の取り組みは人間の手を離れた自立的な解析システムの確立に繋がります。

関係データ解析動物(55種類)ｘ属性(80種類)のバイナ
リデータから長方形分割クラスタを抽出した解析例： 属性や動物において～データ配置の最適化による高速なグラフ分析～

確率の和
を保存

確率モデルを用いた関係データ解析
確率モデルに基づく解析の基本方針：確率モデルを観測データにフィッティング（対象を表現する確率モデルの設計が重要）。
本研究の貢献：無限サイズの行列における全ての（無限通りの）長方形分割を表す確率モデルの構成に成功。従来は限定された長方形分割が主として扱
われてきた。

従来法 1
従来法2

提案法[1]

関連文献[1] M. Nakano, K. Ishiguro, A. Kimura, T. Yamada, N. Ueda, “Rectangular tiling process,” in Proc. International Conference on Machine
Learning (ICML), 2014.

連 絡 先メディア情報研究部 メディア認識研究グループ
中野允裕 (Masahiro Nakano)E-mail：nakano.masahiro (at) lab.ntt.co.jp

3
6

4

1

6

1

4
7

3
0

6

5

2

4

1

0

7

5

アクセスされるメモリ領域
0 1 2 3 4 5 6 7

しかし多数のコアからメモリアクセスが集中するとデータを読み出せない• アクセスされるデータの場所がバラバラ• 同じデータの再利⽤が少ない

キャッシュの活⽤が重要

キャッシュを活⽤できない！

⼿法: 頂点順序の最適化
3

7

2

アクセスされるメモリ領域
0 1 2 3 4 5 6 7キャッシュに欲しいデータがない
ときはメモリにアクセスする行列のさらに限られた部分の分割

あらゆる長方形分割を扱うことが出来るため、従来見つけることの出来なかった関係性 が新たに見出せる可能性がある。

従来は極めて限られた形の長方形分
割しか抽出することが出来なかった。

キャッシュ

頂点1の処理時

頂点0の処理時

キャッシュ:
最近使ったデータや、それらの近くにあるデータが⼊っている

注目領域を拡大 有限サイズの確率

グラフ分析には「知り合いかも？」（友達検索）や商品・動画の推薦、個人の趣味・趣向を捉えたマーケ
ティングなど幅広い応用があります。
本技術は分析内容を問わず処理を高速化することで、より大量のデータを用いた正確な知識発見や、瞬時に表示される推薦などを可能にします。

課題: グラフ分析のメモリアクセス

背景: CPUとメモリの構造
コア

確
率

目指す未来

メモリアクセスの効率化によってCPUの演算性能を引き出し、影響⼒分析やクラスタリングなど様々なグラフ分析処理を最⼤17倍⾼速化します

注目領域を無限サイズへ
有限サイズの
行列の分割

どこが凄い

Webページのリンク構造や友人関係
ビッグデータの一種であるネット
ワーク構造（グラフ）を表すデータ など「実世界のネットワーク」と呼ばれる構造の性質と、CPUが持つの分析において、CPU本来の性能を引き出すことでグラフ処理を高速化 ハードウェア的な性質を共に捉え利する研究です。例えばSNS上のつな用することで、従来のレイアウト手がりから影響力が大きい人を発見し 法を用いる場合と比べ最大2倍、レたり、仲良しグループを発見したり イアウト手法を用いない場合と比べといった多様な分析を高速化します。 最大17倍の高速化を実現します。

コア

無限サイズの行列の分割

確
率

ＣＰＵを賢く使ってグラフから素早く知識を発見

どんな研究

コア

brown
furry
tail
chewteeth
walks
fast
quadrapedal
activeagility
newworld
oldworld
groundblue
hairlessflippers
strainteeth
tusks
swims
planktonskimmer
arcticcoastalocean
waterbipedalhibernatefishjunglenestspot
small
pads
paws
meatteethclaws
nocturnal
meathunterstalkerfiercesolitary
black
white
patchesleanlongleg
smellyvegetation
foragergrazerplainsforestfieldsdomesticgray
toughskinbigbulbousslow
strongmuscleinactive
timid
smart
group
red
spots
stripeshoovesbuckteeth
horns
flys
hops
scavengertree
caveorangeyellow
hands
longnecktunnels
weak
insectsdesertbush
mountains

有限モデルの極限として無限モデルを構成。

04

コア

grizzly bear
persian cat
skunk
mole
leopardspider monkey
hamster
bobcatlion
raccoondalmatiantiger
gorillachimpanzee
squirrelbatchihuahua
rat
giant panda
mouse
antelopeox
sheep
giraffe
zebra
deer
horse
moose
rabbitbuffalopig
cow
german shepherd
siamese cat
fox
wolf
weaselcollieotter
polar bear
blue whale
humpback whale
elephant
seal
killer whale
beaverhippopotamus
rhinoceros
walrusdolphin

多重の意味を持つクラスタが抽出可能確率モデルの無限拡張

Scalable parallel graph processing by reordering

2

1
0

5

頂点1の処理時

頂点0の処理時

2

0

3
4

1

6

2

5
7

0

3
4

6

1
5

7

アクセスされるメモリ領域
0 1 2 3 4 5 6 7

頂点の ID 番号を振りなおす

隣接頂点のデータがメモリ上で近くに配置されるよう並べ替える

2

0

3
4

6
5
7

アクセスされるメモリ領域
0 1 2 3 4 5 6 7

データが密集 & データの再利⽤が多い

キャッシュを活⽤できる！

• 頂点順序の最適化により影響⼒・関連度分析 (Personalized PageRank) を最⼤12倍⾼速化 (既存⼿法⽐約2倍)• さらにグラフデータの圧縮によるメモリとの通信量削減を組み合わせることで最⼤17倍⾼速化
関連文献[1] 新井淳也, 塩川浩昭, 山室健, 鬼塚真, “頂点順序の最適化によるスケーラブルなグラフ並列処理,” in Proc. the 6th Forum on Data
Engineering and Information Management, 2015.

連 絡 先新井淳也 (Junya Arai)
ソフトウェアイノベーションセンタ
E-mail：arai.junya (at) lab.ntt.co.jp

05

Efficient structure mining for large-scale graph

大きなグラフから隠れた関係を素早く見つけます～大規模グラフ向けの高速な構造分析～

どんな研究

どこが凄い

実世界には情報のつながりを表す膨 グラフデータの構造的な特徴を理論
大なグラフデータが存在します。従 的に解析することで、高速なグラフ
来の技術では、大量のデータの分析 データ分析アルゴリズムを確立しまのために、膨大な時間を要していま した。このアルゴリズムを用いるこした。本研究ではグラフデータを対 とで従来のアルゴリズムよりもより象にした高速な分析を行う理論的な 大規模なデータを短時間で分析する
アルゴリズムの研究を進めています。 ことができるようになりました。

～無線センサノード用汎用超小型仮想マシン CILIX～

どんな研究

どこが凄い

目指す未来

大規模なソーシャルネットワークやメディアのグラフを瞬時に分析し、情報の推薦・予測・理解に活用できます。本技術は、従来考えられな
かった規模のデータの分析に貢献できる可能性があり、将来的に世界の至る所から得られるデータも瞬時に解析・利用できる社会を実現します。

どこでも簡単に環境センシングを可能にするセンサノード用仮想マシン
CILIXを開発しています。環境セン
シングには、センサデバイス固有のプログラム言語の習熟や、設置後の頻繁なメンテナンスなどの手間がかかります。CILIXは実フィールドセ
ンシングに纏わるこれらの開発、運用・保守コストを低減します。

CILIXにより、複数の高級言語で、容易にセンサソフトウェアを開発できます。また、遠隔から無線でプログラムを更新できるため、現地に行
かずにチューニングが行えます。さらに、非常に軽量で小型マイコンでも動作するため、センサ用電池の長寿命化が可能になります。

現在、都市部や里山など様々な場所
で実証実験を進めています。本技術により、オンサイト保守回数を低減できるため、膨大な数のセンサを利用した長期に渡る環境センシングが容易に実現できます。スマートシ
ティやフィールドなど多様な環境のリアルタイムモニタリングを可能にします。

ゴミ清掃車による大気状況センシング

ラベルが与えられた一部のノードからその他のノードのラベルを高速かつ高精度に推定 各ラベルのスコアの定義式から上限値と下限値を再帰的に推定

06

アジャイル環境センシング

目指す未来 グラフにおけるノードの高速ラベリング技術 [1]概要

CILIX: a virtual machine for wireless sensor network applications

 推定した各ラベルごとのスコアの上限値と下限値からラベルを決定

希少魚生息環境モニタリング

ビニールハウスモニタリング

NICT受託研究 日欧連携プロジェクトClouT

近畿大学との共同実験

長野県佐久穂町共同実験

ゴミ清掃車に大気観測センサ等を設置
し、藤沢市内の大気状況を緻密に観測

絶滅危惧種の生育環境をセンシ
ングし、生態の解明や多様性保全に貢献

ハウス内の温度、湿度分布を記録し、栽培に適した環境を
解明

搭載センサ
CO、 O3、 NO2、 PM2.5、 花粉など10種

接続センサ
水温、溶存
酸素など5種ニッポンバラタナゴ

接続センサ
温度、湿度、
照度、土壌水分F  SF  (1   )Y
 (1   )(Y  SY   2 S 2Y  )
F ：ノード×スコアの行列

S ：グラフの隣接行列

花粉センサ

 ：定数

ゴミ清掃車
（藤沢市環境事業センター）

Y ：与えられるスコアの分布近畿大学
希少魚ビオトープ

センサノードトルコギキョウ栽培
ビニールハウス

本研究開発成果の一部は、国立研究開発法人情報通信研究機構(NICT)の委託研究「モノのネットワークとクラウドを融合する
ネットワークサービス基盤」により得られたものです。

 クラスタリング高速化技術 [2]概要

Program(CIL実行ファイル）

人間関係や購買履歴などの大規模なグラフデータの中からコミュニティや
ハブ、ノイズとなるデータを高速に発見

 最短距離が2ホップ離れたノードのみを計算し、粗いコミュニティを算出

 複数のコミュニティに所属するノードを見つけ正確なコミュニティを修正

CILIX
VB
CompilerC#
CompilerJ#
Compiler

VB codeC# codeJ# codeハブ

計算対象ノード

program

CIL*準拠の複数の高級言語に対応し、開発者が慣れ親しんだ言語で素早く開発できる*

粗いコミュニティ

ノイズ

CIL：Microsoft .NET Frameworkの構成言語

正確なコミュニティ

関連文献[1] Y. Fujiwara, G. Irie, “Efficient label propagation,” in Proc. the 31st International Conference on Machine Learning (ICML2014), 2014[2] 塩川浩昭, 藤原靖宏, 鬼塚真, “構造的類似度に基づくグラフクラスタリングの高速化,” 第6回データ工学と情報マネジメントに関するフォーラム(DEIM Forum 2014), D6-2, 2014

連 絡 先

岩村相哲 (Sotetsu Iwamura)
ソフトウェアイノベーションセンタ
E-mail： iwamura.sotetsu (at) lab.ntt.co.jp

開発フェーズCPU
センサノードネットワーク

無線でプログラムを更新できるため、後から機能を容易に追加・修正できる

アジャイルな（迅速かつ柔軟な）環境センシングを実現！
センサノード用仮想マシン

CILIX

最少ROM 32K
最少RAM 4K

超軽量で小型マイコン上で動作するため、センサ用電池が長持
ちし、現地保守回数を低減できる

運用・保守フェーズ

関連文献[1] 岸野泰恵, 須山敬之, 納谷太, 米澤拓郎, 中澤仁, 徳田英幸, “スマートシティ実現に向けた車載型大気情報センシングシステム,” DICOMO2014シ
ンポジウム論文集, 2014.
[2] Y. Yanagisawa, Y. Kishino, T. Suyama, F. Naya, T. Terada, M. Tsukamoto, “CILIX: a CIL virtual machine for wireless sensor devices,” inProc. The 2014 International Conference on Parallel and Distributed Processing Techniques and Applications (PDPTA’14), 2014.

連 絡 先

協創情報研究部 知能創発環境研究グループ
白井良成 (Yoshinari Shirai)
E-mail：shirai.yoshinari (at) lab.ntt.co.jp

07People flow navigation based on spatio-temporal statistical analysis

リアルタイムな状況予測で集団を快適に誘導～時空間統計技術による人流データ解析～

どんな研究

どこが凄い

目指す未来

屋内外の施設を巡回するお客様が、従来の誘導システムでは、現時点の スポーツ競技やコンサート、展示会
安心・安全に移動できるよう支援す観測データに基づいて個人単位で誘 場等のイベントにおいて、大規模なるため、リアルタイムに観測された導するため、集団が同時に移動する 人の移動やそれに伴う交通流、ネッ
人流や交通流、イベント情報等から、 と新たな混雑が生じる問題がありま トワーク流の変動は社会インフラに近未来の人流・混雑度を予測し、混した。本技術では、時空間統計技術 重大な影響を及ぼします。未然にリ
雑なく、集団全体が快適に移動できにより混雑が発生する場所と時間を スクを管理し最良な誘導を行うこと
るように誘導する技術に取り組んで予測し、新たな混雑を抑制しながら、 で、人々に快適な移動経路を提供すいます。ここでは疑似人流データで集団全体にとって快適な誘導が実現 るとともに、スマートな会場運営やの検証結果を紹介します。
交通インフラを実現します。
できます。

①現在までの人流・混雑度観測⑥次の観測へ08

Flow classification with traffic variation using cluster analysis

経路制御効果の高いフローを素早く発見～クラスタ分析によるフローの時変動パターンに基づく分類～

どんな研究

どこが凄い

目指す未来

トラヒックが突発的に変動する状況においても、高品質なネットワーク
サービスを安定的に提供するプロア
クティブ(予見的)ネットワークオペ
レーションの実現に向け、リアルタ
イム測定トラヒックデータに基づき
トラヒック変動量が小さくなるよう
フローを集約して、経路制御を行う技術を開発しました。

トラヒック変動パターンが異なるフローの集約が必要で、通常のクラス
タ分析と目的が逆であるため、最初に変動パターンの似たフローをクラスタリングし、その後、各グループ
からフローを抽出して集約する三ス
テップから構成されるフローの分類法を考案し、経路制御に適用した場合の効果を確認しました。

ネットワークの仮想資源割当、コン
テンツ配信サーバ選択、パケット転送経路制御、動画配信レート制御、等の多様な制御の相互作用を総合的に考慮した、ロバストなプロアクティブオペレーションの具体化を支援、推進していきます。

マクロフロー

抽出

複数のシナリオから集団全体にとって最良な誘導方法を導き、プロアクティブな人流誘導により、会場および周辺での混雑を回避

抽出

マクロフロー
抽出④誘導シナリオ・シミュレーション
誘導シナリオA

トラヒックの時系列変化パターンを特徴ベクトルとしたクラスタ分析⑤最良シナリオで集団全体を誘導

誘導シナリオB

TS1②近未来予測Rf,t: TS t 内のフロー f のトラヒック量③誘導ポイント特定・
シナリオ構築TS2

TS3

変動パターンの似た各フローグルー
プからフローを抽出して集約
TS: タイムスロット
MF: マクロフロー【1】フロークラスタリング

誘導シナリオC

TS4

TS5

時間
Rf,1

Rf,2

Rf,3

Rf,4

⇒

変動パターンの異なるフローを集約することで、経路制御の効果の高い安定マクロフローを生成【2】各クラスタから抽出し各マクロフロー(MF)に集約するトラヒック量比率の最適設計
MFの最大トラヒック量を最小化する
トラヒック抽出比率を導出
クラスタ1の
総トラヒック量Rf,5Rf = (Rf,1, Rf,2, Rf,3, Rf,4, Rf,5)Rfを用いてトラヒック変化パターンの似たフローをクラスタリング①から⑥を逐次繰り返すことにより、リアルタイムかつ先行的な誘導が可能となる

生成マクロフローのトラヒック変動量が最小化するよう抽出比率を最適設計【3】フローのマクロフロー(MF)集約
最適抽出比率を実現するフロー集約パターンを設計

Z1,1

Z1,2

Z1,3

Z1,4

Z1,5

1,1 Z1,1

1,1 Z1,2

1,1 Z1,3

1,1 Z1,4

1,1 Z1,5

M1,1

M1,2

M1,3

M1,4

M1,5

1,2 Z2,1

1,2 Z2,2

1,2 Z2,3

1,2Z2,4

1,2 Z2,5

Z2,1

Z2,2

Z2,3

Z2,4

Z2,5

:MF

のTS

マクロフロー 1

クラスタ2の
総トラヒック量: MFの最大トラヒック量: 抽出量の最適値からの乖離のトラヒック量, : クラスタ c のTS における総トラヒック量

現在

3分後

5分後

10分後

過去5分の人流データから将来の10分の混雑度予測の例
関連文献[1] NTT R&D フォーラム2015： “周囲の状況を即時に予測し集団を最良ナビでおもてなし”

連 絡 先

機械学習・データ科学センタ
上田修功 (Naonori Ueda)
E-mail：ueda.naonori (at) lab.ntt.co.jp

: をMF
に割当て時
に1をとる二値変数: クラスタ c から抽出してMFに集約するトラヒック量比率

本研究の一部は総務省SCOPE「フローマイニングに基づくトラヒック変動に適応する予測型トラヒックエンジニアリングの研究開発」の支援により実施

関連文献[1] N. Kamiyama, Y. Takahashi, K. Ishibashi, K. Shiomoto, T. Otoshi, Y. Ohsita, M. Murata, “Flow aggregation for traffic engineering,” in Proc.
IEEE GLOBECOM 2014, 2014.
[2] 上山憲昭, 高橋洋介, 石橋圭介, 塩本公平, 大歳達也, 大下裕一, 村田正幸, "経路制御のためのフロー集約法," 電子情報通信学会NS研究会,
2015.
[3] Y. Takahashi, K. Ishibashi, N. Kamiyama, K. Shiomoto, T. Otoshi, Y. Ohsita, M. Murata, “Macroflow-based traffic engineering in SDNcontrolled network,” in Proc. 11th International Conference on IP+Optical Network (iPOP2015), 2015.

連 絡 先上山憲昭 (Noriaki Kamiyama)
ネットワーク基盤技術研究所
E-mail：kamiyama.noriaki (at) lab.ntt.co.jp

Automatic workflow extraction from unstructured texts for network operation

09

作業記録からノウハウを取り出す「Eskort」～故障対応ワークフロー自動生成技術～

Evaluating the naturalness of sentences using language models

10

東ロボくんに勝てるかな？
～統計的言語モデルによる文の自然性評価～

どんな研究

どこが凄い

目指す未来

どんな研究

本研究では、故障対応の省力化・迅速化に向けて、保守運用における熟練者のノウハウの形式化・共有化を目指しています。運用者が故障対応
時の行動を自由記述した作業記録を分析し、暗黙知である対処手順を明示したワークフローを自動生成する技術を確立しました。

開発に成功したEskort (Experts’
Solution Knowledge autOmatic
extRacTion)は、1)作業記録からの作業内容抽出、2)複数作業記録を解析して故障状態特定および対処作業に必要な情報(ワークフロー)のみを抽出・可視化、3)クラスタリングによる作業分岐ポイントの抽出 を自動実行する、新しいシステムです。

過去の作業記録からワークフローを生成し、蓄積された作業記録からのベストプラクティス抽出によるナビ
ゲーション、さらには運用自動化(Run Book Automation; RBA)ツールへの適用で、ネットワーク故障対応の省力化と迅速化を目指します。

東大に入学できるような人工知能の実現を目指す、「ロボットは東大に入れるか（東ロボ）」プロジェクトに英語担当として参加し、試験問題の自動解答を題材として、知識処理技術に関する研究を進めています。
本展示では、センター模試の英語問
題に対する取り組みを紹介します。

判断条件

原因は何？

英語問題に正しく解答するには、常 人の感情の動きを理解するとともに、識を正しく理解する必要があります。 Web上の様々な様式の情報をまとめ
しかしこれは、人工知能にとっては てわかりやすく伝えられる、人に寄り添う対話システムの実現を目指し
難しい問題です。私たちは、NTTがこれまで培ってきた、対話処理・機 ています。英語問題で出題される、械翻訳の技術を応用することで、実 会話文完成問題や、長文問題などを際の受験生の平均点を超える成績を ベンチマークとして、システムの改達成しました。
善を進めています。

英語問題は常識を問う問題が多い
人間の持っている一般常識をどのようにモデル化するかがポイント

原因

どう対処する？

ネットワーク

02/01 アラーム発生

入力：作業記録

12/10 異常発生

出力：ワークフロー

異常ログ確認装置ログインし異常確認モジュール異常あり

履歴ID
発生日時
履歴ID
発生日時
履歴ID
発生日時
012345
2015/2/1
9:00
012345
2015/2/1 9:00
012345
2015/2/1 9:00
作業記録
作業記録
02/01 アラーム発生
02/01
アラーム発生作業記録
装置ログインし異常確認装置ログインし異常確認
02/01log
アラーム発生#show#show log
装置ログインし異常確認
Module Error
Modulelog
Error
#show
モジュールが停止中
モジュールが停止中
Module Error
11:00 現地到着の連絡有
11:00
現地到着の連絡有モジュールが停止中
11:15
交換実施
11:15
交換実施
11:00
現地到着の連絡有11:30
復旧しました
11:30
復旧しました
11:15
周知完了 交換実施
周知完了
11:30
復旧しました12:00 ベンダ解析依頼
12:00 ベンダ解析依頼
Mail 周知完了
from : xxxx
Mailfromベンダ解析依頼: xxxx12:00
交換完了でクローズします
交換完了でクローズします
Mail from : xxxx
交換完了でクローズします

モジュールが停止中
17:15 装置を停止
11:15 モジュール交換
17:27 別モジュール挿入周知完了
12:00 ベンダ解析依頼
交換完了でクローズします

ベンダへ解析依頼
12/12 解析結果受領① まさにそうです。
② 問題ありません。
③ ほっとしました。
④ それは大変ですね。

小学生や中学生でも分かるような教科書にないことを聞いている。
コンピュータにとっては一番苦手！

【出典：学校法人高宮学園
代ゼミ模擬試験問題研究課題データ・一部改変】

クローズ処理実施②③

1 発音・アクセント

1A 発音

短文問題

得点

1B アクセント

配点：９９点

200（満点）

2 文法・会話・整序 2A 文法・語法・語彙問題
2B 会話文完成問題
3 読解（文脈把握） 3A 未知語（句）語彙推測問題
3B 文脈に合わない文を推測する問題

複数の作業記録からマッチング
最大化により同じ記述を特定し作業の遷移図を生成

作業記録のクラスタリング
による、対処が変化する
分岐ポイントの抽出

関連文献[1] 渡邉暁, 木村達明, 豊野剛, 石橋圭介, “運用業務手順の獲得に向けた作業ログにおける業務分岐点の抽出,” 電子情報通信学会技術研究報告,
Vol. 114, No. 523, ICM2014-63, pp. 55-60, 2015.
[2] 渡邉暁, 木村達明, 豊野剛, 西松研, “トラブルチケットにおけるオペレータの作業情報抽出手法,” 電子情報通信学会技術研究報告, Vol. 113, No.
473, IN2013-199, pp. 327-330, 2014.

連 絡 先ネットワーク基盤技術研究所
渡邉暁 (Akio Watanabe)E-mail：watanabe.a (at) lab.ntt.co.jp

100

例)【対話の流れの自然さを評価】
評価ポイント・ 発話意図 (申し出, 感謝, …)・ 感情極性 （正, 負）

得点が40点以上アップ（52点⇒95点）
受験者（人間）の平均点を初めて超える
偏差値
41.0

2C 語句整序完成問題

3C 意見要旨把握問題

教師あり学習により作業だけを自動判別

対話処理・機械翻訳で用いられている技術を応用して解答Parker：君のお父さんが入院したそうですね。
Brown：はい、来週手術なんです。
Parker： 19 僕に何かできることがあったら言って下さい。
Brown：どうもありがとう。

手順

異常
発生

①

目指す未来

目的：英語試験問題の自動解答

何を確認？

履歴ID
発生日時
履歴ID
発生日時
履歴ID 2015/2/1
発生日時012345
9:00
012345
2015/2/1 9:00
012345
2015/2/1 9:00
作業記録
作業記録
02/01
アラーム発生作業記録
02/01
アラーム発生装置ログインし異常確認
02/01
アラーム発生装置ログインし異常確認#show system
装置ログインし異常確認#show
Modulesystem
Error
#show
systemModuleError
モジュールが停止中
ModuleError
モジュールが停止中
11:00
現地到着の連絡有モジュールが停止中
11:00
現地到着の連絡有11:15 モジュール交換
11:00
現地到着の連絡有11:15
モジュール交換
11:30
復旧しました
11:15
モジュール交換
11:30
復旧しました
周知完了
11:30 復旧しました
周知完了
12:00
ベンダ解析依頼
周知完了
12:00
Mail
fromベンダ解析依頼: xxxx12:00
Mailfromベンダ解析依頼: xxxx
交換完了でクローズします
Mail
from
: xxxx
交換完了でクローズします
交換完了でクローズします

どこが凄い

88.3

偏差値
50.5
95点

受験者平均

4 読解（情報処理） 4A グラフ・図表問題

52点

東ロボくん

4B 実用文書読解問題
5 読解（情報理解）

長文問題

6 読解（論説文）

配点：１０１点

93.1

0

2013

2014

関連文献
[1] 東中竜一郎, 杉山弘晃, 磯崎秀樹, 菊井玄一郎, 堂坂浩二, 平博順, 南泰浩, “センター試験における英語問題の回答手法,” 言語処理学会第21回
年次大会, 2015.
[2] 松崎拓也, 横野光, 宮尾祐介, 川添愛, 狩野芳伸, 加納隼人, 佐藤理史, 東中竜一郎, 杉山弘晃, 磯崎秀樹, 菊井玄一郎, 堂坂浩二, 平博順, 南泰
浩, “『ロボットは東大に入れるか』プロジェクト 代ゼミセンター模試タスクにおけるエラーの分析,” 言語処理学会第21回年次大会, 2015.

連 絡 先

協創情報研究部 インタラクション対話研究グループ
杉山弘晃 (Hiroaki Sugiyama)
E-mail：sugiyama.hiroaki (at) lab.ntt.co.jp

11

Exploring differences in learnability of IDS and ADS words in children“わんわん” は “いぬ” より覚えやすい～幼児における育児語と成人語の学習しやすさの違いを探る～

12

Pre-ordering machine translation by deep syntactic analysis

日本語を詳細に読み解けばもっと上手に訳せる！
～深い構文解析による事前並べ替え機械翻訳～

どんな研究

どこが凄い

目指す未来

どんな研究

どこが凄い

目指す未来

「わんわん」「ぶっぶー」等の擬音語をラベルとして用いる育児語。これは日本語の特徴的な傾向で、養育者の多くが使用しています。この育児語が幼児の言語習得にどう影響するかを視線解析実験や大規模データ解析を駆使して研究し、言語習得メ
カニズムの解明を目指しています。

養育者を観察すると「ワンワンだよ
犬だね」のように育児語と成人語を併用する場合がよくあります。こうした複数ラベルを実験状況下で提示すると、16ヶ月児のほとんどが育児語のみを選択的に学習することがわ
かりました。これは育児語が学習しやすいことを示す明確な証拠です。

ことばの学習しやすさに影響を与える特徴や要因などが明らかになれば
コミュニケーション能力の発達を支援する効果的方法を導き出すことが可能です。私たちは、こうした科学
的エビデンスをICT技術と連動させる
ことにより、幼児の発達を後押しする革新的技術を提案していきます。

英語や中国語は日本語と語順が異なります。語順は文法で決まるため、各言語の文法に基づいた構文解析が語順の正しい翻訳のためにとても重要です。この研究は、日本語を翻訳する時に、日本語の構文解析を利用して語順を外国語に近くなるようにあらかじめ並べ替えて、機械翻訳しやすくする方法に関するものです。

日本語と英語や中国語は主語･述語･
目的語や修飾語等の順番が異なります。私たちは、日本語の構文解析で各単語間の係り受けとその役割を同時に求め、係り受けの役割に応じて語順を並べ替えるようにしました。
これにより、役割の区別がない文節
単位の係り受けを用いた場合より柔軟な並べ替えを可能にしました。

日本語と外国語の間の双方向の機械翻訳を高精度に行うことで、言語の壁を越えて情報収集、情報発信、コ
ミュニケーションを円滑にします。
今後はより多くの対象分野、言語で高精度の翻訳を行うことができるよ
うに、言語の解析と翻訳の研究を進めていきます。

■ こどもは 育児語と成人語のどちらを早期に覚えるか？
- 語彙チェックリスト法による大規模データの収集と解析- 50％のこどもが該当語を言えるようになる月齢を推定し育児語と成人語を比較
わんわん

イヌ

育児語は成人語より早期に習得する傾向あり

育児語

成人語

わんわん

15

イヌ

18

ぶーぶー
ママ
パパ
にゃんにゃん
ばーば
じーじ
くっく
しーしー
えんえん
ぽんぽん
がーがー
ちょきちょき
ごっつん

17
17
18
18
18
19
18
20
21
22
23
25
24

クルマ
お母さん
お父さん
ネコ
おばあちゃん
おじちゃん
くつ
おしっこ
泣く
おなか
アヒル
切る
ぶつかる

19
23
24
20
22
21
19
21
26
22
30
28
29
（月齢）

（月齢）

【日本語】
彼 は 長い 尻尾 の 猫 を 見 た

昨年の
方式

16

育児語

ロンロン テンテン ロンロン テンテン ・・・・・・

タワ

ヤミツ

タワ

・・・・・・

ヤミツ
テンテン

same same

ロンロン

switch switch（成人語）（育児語） （成人語）（育児語）

平均注視時間（秒）実験計画: 馴化-脱馴化パラダイム

語順を探索して
並べ替え

最新の
方式

He is a long tail of cat saw

12Same(成人語)

実験結果

Same(育児語)

主語

よく語順を間違える！

画面への注視時間

学習フェイズ（約3分）

述語

尻尾

目的語

述語

主語
連体

技術のポイント①：係り受け解析 [1]- 単語間の係り受け関係と係り受け役割を求める- 従来日本語では役割を考慮しない文節単位処理- 英語中国語等と同様の情報を高精度に解析可能

Switch(成人語)Switch(育児語)10

彼

技術のポイント②：単語「事前」並べ替え

6- SOV語順を英・中のSVO語順に- 形容詞・助詞・助動詞などの語順調整

4
2
16ヶ月
月齢群

目的語 助動詞の 猫 を 見 た

②外国語の語順に並べ替え
主語

は 彼

目的語
連体
助動詞

見

た

猫

連体

の 長い

技術のポイント③：統計的機械翻訳[2]- 大量の対訳データを利用して翻訳規則を学習- 並べ替えが（ほぼ）不要なので楽に解ける！

テスト

He saw a cat with a long tail

正しい語順で訳せる！

（本研究は島根大学との共同研究成果を一部含む）

関連文献[1] T. Kobayashi, T. Murase, “Associating two novel labels with one object by Japanese 1-year-old children,” in Proc. 36th Meeting of theSociety for Research in Child Development (SRCD), 2013.
[2] T. Kobayashi, T. Murase, “Learning multiple labels for a single object in Japanese children,” in Proc. 36th Boston University Conferenceon Language Development (BUCLD), 2011.
[3] 小林哲生, 村瀬俊樹, “育児語的複数ラベル提示状況下での１歳児の語彙学習,” 電子情報通信学会技術研究報告, Vol. 112, No. 412,
HCS2012-68, pp. 83-88, 2013.

連 絡 先小林哲生 (Tessei Kobayashi) 協創情報研究部 インタラクション対話研究グループ
E-mail：kobayashi.tessei (at) lab.ntt.co.jp

尻尾③翻訳（ほぼ逐語訳）

19ヶ月

12ヶ月児は両ラベルとも学習せず（複数ラベル提示は学習を阻害）

連体は 長い 尻尾

8

12ヶ月
注視時間上昇↓学習成立

見 たは 彼 見 た を 猫 の 長い

0
徐々に馴化

猫 を
目的語

問題点① 係り受け役割が不明（別処理で主語・目的語を推定）
問題点② 文節単位の処理（文節を崩す並べ替えは複雑に）16ヶ月児は複数ラベルのうち育児語のみを学習

14

ヤミツ

尻尾 の

①単語間の係り受けと係り受け役割の解析- 12, 16, 19ヶ月齢の幼児を対象にして実験- 新奇な育児語(ロンロン)と成人語(タワ)を同時提示- 学習が成立したかを注視反応を指標として判定

タワ

長い

主語

一般的な方式■ 育児語と成人語の学習しやすさの違いを実験的に検証

成人語

彼 は

関連文献
[1] 田中貴秋, 永田昌明, “日本語のラベル付き依存構造解析の検討,” 言語処理学会第21回年次大会発表論文集, 2015.
[2] 永田昌明, 須藤克仁, 鈴木潤, 秋葉泰弘, 平尾努, 塚田元, “革新的発展期を迎えた統計翻訳,” NTT技術ジャーナル, Vol. 25, No. 9, 2013.

連 絡 先須藤克仁 (Katsuhito Sudoh)
協創情報研究部 言語知能研究グループ
E-mail：sudoh.katsuhito (at) lab.ntt.co.jp

13

Combinatorial optimization using binary decision diagram

ご予算にあう最高の詰合せをすぐに作れます～二分決定グラフを用いた組合せ最適化～

どんな研究

どこが凄い

目指す未来

組合せ最適化問題の一種であるナップサック問題に様々な制約を追加した問題を解くための方法を展示しています。例えば、「この商品の組合
せは解に含めたくない」といった制約を追加したナップサック問題を解くことができます。

制約を追加したナップサック問題を解くためには、追加した制約に応じて専用解法を設計する必要がありました。しかし、追加の制約を二分決定グラフ（ZDD）を用いて表現する
ことによって、さまざまな制約を追加しても効率的に問題を解くことができます。

本技術を用いることによって、要望にあわせた最適な詰め合わせを高速に作ることができます。応用先としては、自然言語処理の課題であるテキスト自動要約のほか、荷物の箱詰め問題や、ネットワークの設計問題等に幅広く利用できます。

ナップサック問題

価値

重量

500円

3kg

800円

1kg

300円

2kg

1000円

2kg

800円

どんな研究

野菜・果物を選ぶなら箱も選びたい（順序制約）

量子デバイスの周辺にあるノイズ源
は、その性質を推定する手段を持たなかったため、邪魔物として扱われていました。実際、量子情報処理
は、ノイズに弱いため、その存在は大きな問題でした。しかし、本成果により、ノイズ源を量子情報処理の資源として使えるようになります。

何をやったの？
量子情報処理をおこなう端末

見える部分だけ操作/観測

効率的に解けない

研究対象
困難の原因：どこまで調べれば十分？もうちょっと見える部分を激しくさわると、変なことがおきるかも？

理論的な成果:推定成功の十分条件をコンパクトな形で定式化/推定プロトコルを構成的に発見
どうやって調べるの？

どこまで調べる？

考察結果：検査装置と全体との間に相関(量子もつ考察結果：検査装置と全体との間の相関(量子もつれ)を最大化させれば、見える部分の状態が全体の性質と一対一に対応する。

6kg以内で要望を満たす価値最大の組合せ

根から終端までの各経路が１つの組合せに対応する

提案法 (ミリ秒）組合せの集合を有向グラフとして表現するデータ構造に対応する経路に対応する経路れ)があると、検査装置に変化が生じる事と全体に変化が生じる事が同等になる。

=

実行時間の比較ZDD

ZDDによる
組合せ集合の表現

全体を情報処理の資源として利用全体の量子的特性を推定（従来研究:どこまで調べれば十分かを規定するために、余分な構造を仮定した。）

制約を満たす組合せの集合を二分決定グラフ（ZDD）を用いて表現することで、
ZDDの節点数に比例する計算時間の動的計画法で問題が解ける

T

目指す未来

効率的に解ける

ビンは硬いものと一緒にしたくない（排他制約）

膨大な組合せが存在

どこが凄い

一般的に私たちが物を操作・観測す 見えない部分が無限には大きくないるとき、実際見える部分は、全体の という自然な仮定のもとで、推定問一部です。そのため、見える部分の 題を解決しました。従来研究では、情報から、見えない部分を含めた全 特定の構造の存在を仮定して簡単化体を推定する手法が必要となります。 した問題を扱っており、本研究で初この展示では、量子力学的な微視的 めて一般性を持つ方法論が確立され世界において、この問題を解決する ました。これは、現実の問題に適用方法を紹介します。
するための重要な一歩です。

6kg以内で価値最大の組合せ

制約を追加したナップサック問題 現実の問題では様々な要望に応える解が欲しい

4kg

要望に応える
商品の組合せの集合～量子環境ノイズを推定して計算資源として活用～

検査装置

重量が6kg以内で価値の合計が最大となる商品の組合せは？

二分決定グラフを用いた最適化

14

ノイズを逆手にとる量子コンピュータ

重量の合計がしきい値以内である組合せのうち、価値の合計が最大となり、かつ追加の制約を満たすものを選択する

制約を追加したナップサック問題
商品一覧

Identification of untouchable quantum system

従来法より２０倍以上高速

帰結：検査装置と全体との間に相関を作ると、見える部分と見えない部分の関係が、見える部分と検査装置の関係を調べることでわかる。

帰結: (ある条件を満たせば、)見える部分と検査装置との関係から、全体の性質全てが調べられる。

身近なもので例えると、、、

従来法 (ミリ秒）

手法のポイント さまざまな制約を扱える
 計算時間を見積り可能 高速な求解関連文献[1] M. Nishino, N. Yasuda, S. Minato, M. Nagata, “BDD-constrained search: a unified approach to constrained shortest path problems,”
in Proc. 29th AAAI Conference on Artificial Intelligence (AAAI), 2015.
[2] M. Nishino, N. Yasuda, T. Hirao, S. Minato, M. Nagata, “A dynamic programming algorithm for tree trimming-based text summarization,”in Proc. 2015 Conference of the North American Chapter of the Association for Computational Linguistics – Human Language
Technologies (NAACL HLT), 2015.

連 絡 先

協創情報研究部 言語知能研究グループ
西野正彬 (Masaaki Nishino)
E-mail：nishino.masaaki (at) lab.ntt.co.jp

見える部分だけを操作/観測

操作/観測の結果から見えない部分を推定

全体を他の物と組み合わせて利用

関連文献[1] M. Owari, K. Maruyama, T. Takui, G. Kato, “Probing an untouchable environment for its identification and control,” Phys. Rev. A, Vol. 9,012343, 2015.

連 絡 先

加藤豪 (Go Kato) メディア情報研究部 情報基礎理論研究グループ
E-mail：kato.go (at) lab.ntt.co.jp

A new concept toward reliable physical random bit generation

15

でたらめを保証する～物理乱数生成の信頼性を評価する新概念：ノイズロバスト性～

Generative modeling of voice fundamental frequency contours

16

イントネーションを分析、合成、変換～音声基本周波数パターンの確率モデル～

どんな研究

どこが凄い

目指す未来

どんな研究

ランダムな物理現象を用いて作られる乱数は物理乱数と呼ばれ、近年研究が盛んに行われています。しかし物理乱数が真にでたらめ（予測不可能）であることを保証する研究はほとんどありません。本研究では予測不可能性を実現する物理乱数生成器が備えるべき条件を解明しました。

物理乱数が安心して情報セキュリ
ティ技術に用いられるために、備えているべき必要不可欠な性質とは何か？その答えとして新概念“ノイズロバスト性”を創出し、数理的に定式化しました。さらにNTTが提案している物理乱数生成器がノイズロバ
スト性を持つことを保証しました。

今後益々発展が期待されるネット
ワーク社会において情報セキュリ
ティ技術の重要性は増し、品質の保証された物理乱数生成技術は必要不
可欠なものとなります。我々の物理乱数生成器の信頼性保証の研究により、安心安全な通信が実現することを目指します。

線形予測分析(LPC)は近代式の音声分析合成系を誕生させ、携帯電話という新たなコミュニケーション手段と統計的音声情報処理という研究パラダイムをもたらしました。LPCは音声の中でも音韻(言語情報)の分析
合成系を実現するのに対し、本研究は、非言語情報に関係する韻律的特
徴の分析合成系を実現します。

（例）サイコロ投げ

誰が投げても、予測不可能であると“信じられている”

不確定性の拡大

ノイズ源

どこが凄い

目指す未来

LPCでは声道の物理モデルによる音
かつてLPCが統計的音声情報処理と声信号生成過程を確率モデル化し、 いう研究パラダイムを生んだのと同
統計的手法により声道パラメータを 様、本研究は音声の韻律に関する情推定する枠組を与えました。本研究 報処理の新分野を拓くきっかけにな
では、甲状軟骨の物理モデル(藤崎る可能性があります。現在、イントモデル)による基本周波数パターン
ネーションが自然な音声合成手法や、生成過程を確率モデル化し、統計的 音声の表情や個人性などを認識・分手法により韻律パラメータを推定す 析・変換する手法を開発することをる枠組を与えることに成功しました。 目指しています。

基本周波数パターンとは

本研究のポイント• 音声の個人性・調子・感情・意図などを反映した物理量• 藤崎モデルを確率モデルに翻訳 ⇒ 統計的手法による
藤崎モデルのパラメータ推定法の確立• コミュニケーションにおいて重要な非言語的役割を担う

不確定性：サイコロの初期値

r1p0

投げ手によって変化しうる！

• 音声のイントネーションの分析・変換・再合成手法、自然性が高いテキスト音声合成手法を実現

基本周波数パターン生成過程モデル(藤崎モデル)
フレーズ指令不確定性の拡大光 or 電子デバイス

物理乱数生成器

10011101001001…

経路制約付
隠れマルコフモデル

常に予測不可能！

For

a2
変数変換

ノイズ源

本研究で導入した
新概念

アクセント指令a1

不確定性：量子ノイズ、
熱ノイズ

高精度に制御できない（性質が変化しうる！）

a0

r0

一般の物理乱数生成器:（状態系列）

ノイズロバスト性

基本周波数パターンの確率モデル

ノイズ源の性質が変化しても、乱数は常に予測不可能であるという性質

関連文献

レーザ共振器

外部共振器

NTTは半導体レーザーを用いた方式の物理乱数生成器を提案しています。我々はこのNTT方式の物理乱数生成器がノイズロバ
スト性を持つことを数値的に保証しました。

[1] M. Inubushi, K. Yoshimura, P. Davis, “Noise robustness of unpredictability in a chaotic laser system: Toward reliable physical random bit
generation,” Phys. Rev. E, Vol. 91, 022918, 2015.
[2] M. Inubushi, K. Yoshimura, K. Arai, P. Davis, “Physical random bit generators and their reliability: focusing on chaotic laser systems,”
Nonlinear Theory and Its Applications (NOLTA), IEICE, Vol. 6, No. 2, 2015.

連 絡 先

犬伏正信 (Masanobu Inubushi) メディア情報研究部 情報基礎理論研究グループ
E-mail: inubushi.masanobu (at) lab.ntt.co.jp

F0 (Hz)

定義：物理乱数生成器が���∗ � � ���∗ �を満たすとき、ノイズロバスト性を持つという。
ここで�∗ はノイズパラメタの設計
値、���∗ �はノイズ制御可能領域、���∗ �はノイズロバスト領域。

 NTT方式のノイズロバスト性保証

観測F0パターン
推定F0パターン

従来法による
推定F0パターン

160
140
120
100

Magnitude 数理的定式化

提案法によるフレーズ・アクセント指令推定例

フレーズ指令アクセント指令

0.4
0.2
0

0

1

2

3

4

何ができるようになる？
• フレーズ・アクセント指令を操作 ⇒自然性を保ったままイントネーションを自在に操作できる• テキストからフレーズ・アクセント指令を予測する回帰問題に本モデルを適用⇒ テキスト入力から自然なイントネー
ションの音声を合成できる

Time (s)関連文献[1] H. Kameoka, K. Yoshizato, T. Ishihara, K. Kadowaki, Y. Ohishi, K. Kashino, "Generative modeling of voice fundamental frequency
contours," IEEE/ACM Transactions on Audio, Speech and Language Processing, to appear, 2015.
[2] K. Kadowaki, T. Ishihara, N. Hojo, H. Kameoka, "Speech prosody generation for text-to-speech synthesis based on generative model ofF0 contours," in Proc. The 15th Annual Conference of the International Speech Communication Association (Interspeech 2014), pp. 23222326, 2014.

連 絡 先亀岡弘和 (Hirokazu Kameoka)
メディア情報研究部 メディア認識研究グループ
E-mail：kameoka.hirokazu (at) lab.ntt.co.jp

17

Simultaneous multi-biosignal sensing by visible light communication

撮ればわかる～可視光通信で切り開く多チャネル生体信号同時計測への道～

Real world information retrieval by media search technology

18

目に見えるものと情報の世界とをつなぐ～メディア探索技術による実世界情報検索～

どんな研究

どこが凄い

目指す未来

どんな研究

どこが凄い

目指す未来

LEDと高速カメラを使い 簡単でかつ拡張性の高い無線ネットワークを構築することができる可視光通信の研究です。Wi-Fiなど従来の通信手段の安定した運用が困難な環境においても他のネットワークと干渉することなく沢山のデータを集めることができます。

高速なデータ通信を行うための高いフレームレート（例えば8000枚/秒）使用時でも、送信機であるLEDの追従が可能です。さらに、画像処理の大部分をストリーミング処理が得意なFPGAで実装できるように工夫することで、簡単に持ち運びができるシステムを作製できました。

リハビリテーションにおけるリアル
タイム多人数同時生体信号測定、さらに高速なネットワークと組み合わせた遠隔でのスポーツ指導が可能になります。また、集団における心理物理実験を可能にし、臨場感や盛り上がりの定量化など新たな知見を生み出すことに貢献します。

画像・映像・音の断片そのものに基づき、膨大なメディア情報の中から目的とする情報を高速・高精度に探索する技術の研究です。キーワードなどのメタデータに依存せず、カメラやマイクで捉えた対象の名前の特定やその関連情報の検索が可能となります。

画質や音質が劣化していたり、編集や加工により信号が大きく変化していても、目的とする情報を正しく探索できる頑健性（ロバスト性）、膨大なメディア情報を実用的な速度で探索できる高速性、対象そのものを的確に特定できる精度の高さを兼ね備えています。

目に見えるもの、耳に聞こえる音で、名前がわからない対象を特定する、
実世界と情報空間をつなぐインタ
フェース技術として、また、日々増
加するインターネット上の膨大な映像・音声データから必要な情報を瞬時に探し出す検索技術として、
メディア社会の発展を支えます。

システム構成生の画像データ

高速カメラ

FPGA*

8 bitの生体信号をシリアルに伝送PC

グローバル
フレームカウンタ
MicroBlaze（ソフトプロセッサ）

時間積分
回路

光源追跡
回路

時間
LINE Buffer

高速カメラからFPGAへは生の画像を送るため非常に高いスループット（毎秒8000枚の場合約640Mbps）

語同期用と信号用の2つのLEDを搭載した筋電センサ

おもてなしナビTOE-IFモニター

アングルフリー物体検索
RMS-Object

光源検知

TOE-IP

LEDの追跡処理をFPGA上に実装できるよう簡素化

LEDの追跡範囲など

RMS-Movie

RMS

描画処理

ロバストメディア探索技術

FPGAからPCへはLED付近の輝度情報など限られた情報しか送らないため，
小さなスループット（約8Mbps）*Field-programmable gate-array
プログラムによって回路を変更可能な集積回路

FPGAにおけるLEDの追跡処理*

映像制作コラボレーション
システム

映像ライブラリ管理LINE Buffer
Read
ストリーム
マルチプレクサ

Automated
Quality Assurance

ネットモニタリング

同期

空間積分
回路

GTX I/F

復号

映像制作

全曲報告サービス

CPU ( ソフト処理 )ユーザレジスタ

制御
ブロック

著作物管理

実世界ナビゲーション

LEDの周りの輝度情報？

利用イメージ

タイトル：○○○
制作年：○○○年
監督：○○○○

重心の移動で追跡範囲を更新

タイトル：○○○
作曲：○○○○

映像一致探索映りこんだ映像を
高速・高精度に特定
時刻iにおける重心

音楽一致探索ノイズの中の音楽を正確に特定

RMSの仕組み：

多人数がいる場でのリハビリテーション

インスタンスサーチ
目的のランドマークを的確に検索

局所領域特徴

＋

高速照合

NEW !

* 白い画素がLEDに対応（インスタンスサーチ）

画素値の重み付き
平均をとり，
重心を移動する*立命館大学との共同研究

遠隔スポーツ指導関連文献[1] 河合遼, 城圭太, 泉知倫, 白木善史, 鎌本優, “高速カメラによる広帯域光無線通信のための光源追跡ハードウェアの検討,” 情報処理学会第76回
全国大会予稿集, 東京電機大学, 2014.
[2] 中原優, 泉知論, 白木善史, 鎌本優, 孟林, “高速カメラによる広帯域光通信の移動体への適用と試作,” 2015年電子情報通信学会・総合大会予稿集, 立命館大学, 2015.

連 絡 先

白木善史 (Yoshifumi Shiraki)
守谷特別研究室
E-mail：shiraki.yoshifumi (at) lab.ntt.co.jp

・ コードブック選択による探索空間の絞込み技術
・ 注目領域情報を用いた探索結果リランキング技術

動画からのランドマーク探索のような大規模メディアデータ探索における高精度化・高速化を実現

関連文献[1] 村田眞哉, 永野秀尚, 向井良, 平松薫, 柏野邦夫, “映像中の特定物体を探索するインスタンスサーチ技術,” NTT技術ジャーナル, 2014.
[2] M. Murata, H. Nagano, K. Hiramatsu, T. Kawanishi, K. Kashino, S. Satoh, “NTT Communication Science Laboratories at TRECVID2014
Instance Search Task,” TRECVID2014 Workshop, 2014.
[3] M. Murata, H. Nagano, R. Mukai, K. Kashino, S. Satoh, “BM25 with exponential IDF for instance search,” IEEE Trans. on Multimedia, 2014.
[4] 柏野邦夫, “膨大なメディアデータの探索と活用～ビッグメディア時代のボトルネック解消に向けて～,” NTT技術ジャーナル, 2014.

連 絡 先

平松薫 (Kaoru Hiramatsu)
メディア情報研究部 メディア認識研究グループ
E-mail：hiramatsu.kaoru (at) lab.ntt.co.jp

19High-quality speech enhancement using vast amounts of examples

雑音に埋もれた声を見本のクリーン音声で修復～大量の事例を用いた超高品質音声強調～

どんな研究

どこが凄い

超高品質音声強調が可能となれば、
例えば、今まで快適に行うことが難しかったスマートフォンやウェアラ
ブル端末でのハンズフリー通話や、様々な場面での高品質音声録音等が可能となります。また、この技術は、音声認識性能の向上にも役に立ちます(雑音下音声認識コンペCHiMEチャ
レンジ2011でトップスコアを達成)。

事例ベース音声強調処理の概念
Step-1
雑音や残響を含む入力信号と大量のクリーン音声事例を賢くマッチング。
入力信号内に含まれるクリーン音声成分と最もマッチする事例を探索・推定。

20

目指す未来

収録音声に含まれる雑音や残響を取 紹介技術は、膨大な量の学習用ク
り除く技術（音声強調技術）の研究 リーン音声事例を背後に持ち、収録は今までにも沢山行われてきました。 音に含まれるクリーン音声に最も合しかし、処理音声には歪み（残留雑 致する素片をその中からうまく探し
音・残響、不自然な音）が残り、聞 出して、収録音声をその素片に置き
き取りにくい音となってしまうこと 換えます。クリーン音声素片の接続がしばしばでした。この研究は、処 で作り出される出力音には、歪みが理音に歪みが全く残らない音声強調 入りこむ余地はなく、超高品質な音の確立を目指した研究です。
声強調が可能となります。

Advances in distant speech recognition by deep learning

コンピュータが音を読み解く～深層学習を活かした実環境下音声認識・音響処理～

どんな研究

どこが凄い

目指す未来

多様な音環境での会話音声認識や会深層学習が広く検討されている音声
話シーン分析の研究を進めています。 認識だけでなく、雑音・残響除去や環境音認識も含めた幅広い音声処理
これに不可欠な基盤技術の一つとし技術について、深層学習に基づく効て、深層学習を用いた雑音や残響除
果的な方法を提案しました。これに去技術や、自由な話し言葉音声を高より、実環境で収録した音から「何精度に認識する技術を提案しています。
が起きているか」「何を話しているか」などを、より正確に推定することができるようになりました。

音響処理

深層学習
Step-2マッチした中で最長のクリーン音声事例を選択・接続し、出力音を作成。
（※）
大量のクリーン音声事例

 深い層構造を持つニューラルネット
ワーク（deep neural network: DNN）
で、複雑な現象も表現
 観測した音声の品質向上や音声認識に有効な特徴量を、自動的に学習

賢いマッチング
出力音声

・・・

・・・・・

接続

「アレだと思う
んすけど…」

クリーン音声事例には雑音が含まれていないため、出力音には雑音が乗らない

カタカタ・・

トントン

環境音（扉の開閉音・拍手など）の識別に最適な特徴
量を自動学習して、高精度な認識を実現！

実用化

入力信号に含まれるクリーン音声成分にマッチするクリーン音声事例を探すための「賢いマッチング」とは？
現在までに、以下の2つの方法（相補的な関係）を提案

話し言葉の長い文脈や収録環境の違いなども区別することで、認識精度を格
段に向上！

環境音認識

コツコツ

入力音声(雑音や残響を含む）

音声を取り出すフィルタ
計算に最適なパラメタを自動選択して、録音音声に含まれる雑音や残響を
低減！

音声認識
音 を 読 み 解 く 近年、さまざまな音声認識タスクで深層学習が高性能を達成している

大量のクリーン音声事例

オフィス打合せスペースでの議論や、カフェやリビングでの会話など、騒がしい所で多くの人が話す場面でも快適に動作する会話音声認識が可能になります。例えば騒がしい場所での打合せの議事録自動作成や、ウェ
アラブル端末での音声ライフログ記録などが可能となり、音声インタ
フェースがより便利になります。

騒がしい場所で収録した音声（会話・雑踏など）

DNN音声認識をリアルタ
イム処理可能な音声認識エンジンとして実用化※！
【応用例】リアルタイム会
議音声認識システム :RexMeet・マッチングの方策1[1]: マッチングの不確かさを確率的に判断しながら、最長類似事例を探索
・マッチングの方策2[2]: クリーン音声事例と対を成す、雑音音声事例を人工的に大量に作成。
そのデータと入力信号の照合を高速探索アルゴリズムを用い、最長類似事例を探索※メディアインテリジェンス研究所にてエンジン化しました（※）事例接続により得られた信号を音声強調フィルタ計算に利用し、フィルタリング処理により音声強調を行うことも可能（不特定話者の処理への対応等に有効）

関連文献[1] K. Kinoshita, M. Souden, M. Delcroix, T. Nakatani, “Single channel dereverberation using example-based speech enhancement withuncertainty decoding technique,” in Proc. Interspeech, pp. 197-200, 2011.
[2] A. Ogawa, K. Kinoshita, T. Hori, T. Nakatani, A. Nakamura, “Fast segment search for corpus-based speech enhancement based on
speech recognition technology,” in Proc. ICASSP, pp. 1557-1561, 2014.

連 絡 先木下慶介 (Keisuke Kinoshita)
メディア情報研究部 信号処理研究グループ
E-mail：kinoshita.k (at) lab.ntt.co.jp

関連文献[1] 久保陽太郎, “音声認識における深層学習の活用とその進展,” 電子情報通信学会技術研究報告, Vol. 114, No. 52, pp. 39-44, 2014.
[2] S. Araki, T. Hayashi, M. Delcroix, M. Fujimoto, K. Takeda, T. Nakatani, “Exploring multi-channel features for denoising-autoencoderbased speech enhancement,” in Proc. ICASSP, 2015.
[3] D.Q. Truong, S. Nakamura, M. Delcroix, T. Hori, “WFST-based structural classification integrating DNN acoustic features and RNN
language features for speech recognition,” in Proc. ICASSP, 2015.

連 絡 先メディア情報研究部 信号処理研究グループ
荒木章子 (Shoko Araki)
E-mail：araki.shoko (at) lab.ntt.co.jp

"Shitsukan" reproduction using reflection and fluorescent of object

21

９つの眼で蛍光を測る～反射特性と蛍光特性の同時計測による質感の分析と再現～

どんな研究

どこが凄い

私たちの生活で身近な物体の多くは、 これまで蛍光成分を計測するには、その表面において、光の反射に加え 照明光源やカメラにおいて、それぞ
蛍光という現象が生じています。異 れ波長レベルで細かく制御/記録すなる光学特性を持つ反射光と蛍光を る必要がありました。提案法では、
同時に画像として記録した後、それ 9台のカメラで、9つの波長帯域に相ぞれの光成分を分離し、正確に色を 当する画像を同時に取得するので、再現する研究です。蛍光は物体の質 照明光源のみの制御で、蛍光成分の感に、強く影響しています。
計測が容易に実現できます。

どこが凄い

目指す未来

画像入力における、現在の空間解像度（画素数）向上の次のトレンドは、
波長方向（色）の高分解能化です。
被写体の色再現性に加え、材質判別能力が向上します。この技術は文化財等のデジタルアーカイブや販売促
進用コンテンツ作成、商品の真贋判定等への応用が期待されます。

うつ病の早期改善には、良好な家庭環境が重要です。そのためには、家族看護者がうつ病によるストレスにうまく対処できる必要があります。
本研究では、家族看護者のストレス
をICTを用いて軽減することを目標とし、まずその第一歩として、うつ病患者の家族看護者が抱える社会的負担の構成要素を解明しました。

情報分野におけるヘルスケアに関する研究の大半は患者の治療や介護を効果的・効率的に行う方法に焦点を当て、家族看護者自身の生活の質の向上を目指したものは殆ど存在しません。本研究は、うつ病患者からの影響が最も大きい家族看護者に注目し、彼らのストレスの軽減を目指す
ところが独創的であると言えます。

家族看護者の社会的・心理的ストレスの軽減により、家族看護者のQuality of Life (QoL)が向上し、家庭内環境が改善されます。これは、うつ病患者の症状緩和にもつながります。社会的な波及効果としては、自殺率の低下や生産活動の拡大が期待されます。

照明光源
I1 I2 I3 I4 I5 I6 I7 I8 I9

エネルギ

入射光
反射成分

波長遷移

λin

λout

波長

ストレス理論による
ストレス反応の発生メカニズム

中心波長
刺激（ストレッサー）

C2

再発
記憶力の低下

1次評価（認知的評価）
刺激をストレスと認知する

期待と現実の
乖離

C3
C5
C6
C8

うつ病患者

蛍光成分

結果
（反応・言動）家族看護者

2次評価（対処能力）
ストレスが自己の対処能力を上回る

ネガティブな反応

主治医に対する
期待と現実

悪循環

C4

C7

うつ症状による苦悩・戸惑い攻撃的な態度
他者との家族看護者の共有と秘匿の

ストレス要因

ジレンマ

共有欲求
他者への
告白の躊躇

ICT支援
中心波長

出射光

反射成分

連続-離散モデルの逆問題として各成分のスペクトル形状を推定

実験結果

理解したいという欲求

探究と逃避のうつ病患者の家族看護者が直面する困難を明らかにし、
家族看護者が生活の質を維持するために必要なICT支援について提案を行うこと。

ジレンマ

安寧のための
現実逃避

うつ症状には個人差があり、予測が困難。
悩みを共有したい、理解したい、といった単純な要求ではない。

2. インタビュー調査

4. 「共有と秘匿のジレンマ」に対する支援例

反射成分

8バンド光源装置

3. 分析結果

C9

蛍光成分はこの範囲に分布

撮影システム気分の波と

1. 研究目的と構想

C1

カメラの分光感度

エネルギ

従来は「入射光(光源)」「出射光(カメラ)」の波長λを、それぞれ細かく変化させて2次元スペクトル分布を得ていた

λin～うつ病患者の家族を支援する情報技術～

どんな研究

蛍光現象とは

λin

22

こころの健康を支えるコミュニケーション技術

目指す未来

離散化（マルチバンド化）して計測

・λin < λout
・励起光のスペクトル形状は照明光に依存しない（強度のみ影響を受ける）

Understanding the burden of family caregivers of a depressed individual

観察画像

マーケティング会社
HCI研究者

•

子供1人

•

低収入

•

子供2人

•

低収入
知り合いからは見えないようにする。

うつ病患者

精神科医

子供2人

蛍光成分

蛍光スペクトルの推定結果(黄色)0.70.6

9眼ステレオ式マルチバンド撮影装置 [1,2]・ステレオ情報と分光情報の同時計測が可能
・中央にRGBカメラを設置（画像間の位置合わせ用）

低収入

計測結果
計測結果
推定結果
推定結果

0.5
0.4
0.3
0.2
0.1

光源側のフィルタのみを変化させればよい ⇒ 撮影の簡略化（従来は単眼カメラ側のフィルタも変化させる必要があった）

調査会社登録者（実験参加者）

0
380

430

480

530

580

630

680

730

780

wavelength [nm]関連文献
[1] M. Tsuchida, T. Kawanishi, K. Kashino, J. Yamato, “A stereo nine-band camera for accurate color and spectrum reproduction,” in Proc.
ACM SIGGRAPH, 2012.
[2] M. Tsuchida. K. Kashino, J. Yamato, “An eleven-band stereoscopic camera system for accurate color and spectral reproduction,” in Proc.
The 21st Color and Imaging Conference (CIC21), 2013

連 絡 先メディア情報研究部 メディア認識研究グループ
土田勝 (Masaru Tsuchida)
E-mail：tsuchida.masaru (at) lab.ntt.co.jp

参加者（家族看護者）：－ 家族のうつ病患者を看護した経験がある成人15名。
－ 女性11名、男性4名、平均年齢41.9歳。
全ての患者はうつ病になる前は有職者。
患者のうち12名は主たる稼ぎ手で、うつ病発症後に休職。

システムが推薦する
悩み共有相手
•

子供なし

•

子供2人

•

高収入

•

低収入

知り合いから自分のブログ・情報が見えないようにする。
匿名性を向上し、安心して悩みを共有できるようにする。

関連文献[1] N. Yamashita, H. Kuzuoka, K. Hirata, T. Kudo, “Understanding the conflicting demands of caregivers caring for depressed family
members,” in Proc. ACM Conference on Human Factors in Computing Systems (CHI’13), pp. 2637-2646, 2013.
[2] 山下直美, 葛岡英明, 平田圭二, 工藤喬, ”うつ病患者の家族看護者が抱える社会的負担を構成する要素の解明,” 情報処理学会論文誌, Vol. 55,
No. 7, pp. 1706-1715, 2014.

連 絡 先

協創情報研究部 インタラクション対話研究グループ
山下直美 (Naomi Yamashita)
E-mail：yamashita.naomi (at) lab.ntt.co.jp

23

Predicting next speaker and timing using gaze and breathing

次は誰が話す？いつ話す？
～視線と呼吸動作を用いた次話者とその発話開始時刻の予測～

どんな研究

どこが凄い

24

目指す未来

複数人が参加する対面会話において、 誰が誰にどのような順番で視線を向私たちは同時に発話（発話衝突）す けたかという視線の遷移と、息の吸ることなく、円滑に話者交替をおこ い方が、次話者とその発話開始時刻
なうことができます。本研究では、 に深く関係していることを発見しま
このような円滑な話者交替の機序を した。さらに、視線行動と呼吸動作解明し、さらに次話者とその発話開 の情報から、次話者とその発話開始
始の時刻を予測するという新しい研 時刻を予測できることを明らかにし究に取り組んでいます。
ました。

予測された次話者を事前に参加者に知らせることで、ＴＶ会議システム
における通信遅延を克服することや、
複数人対話に参画する対話ロボットを適切なタイミングで発話させることができると考えられます。このよ
うに、将来的に様々な会話システムへ応用されることが期待されます。

Exploring mechanisms of human thermal information processing

温度“知覚”は温度計で測れない～人間の温度情報処理メカニズムを探る～

どんな研究

発話末

物体の温度知覚に視覚的な色情報が与える影響

時間

温度判断にかかる時間への影響

人物２

人物２

人物以外

相互注視

みんなで行こうよ！

人物１

人物以外

人物以外

③先に視線を外す②後に視線を向ける（相互注視の開始）

視線の向け先（注視対象）

短縮
反応時間 (秒)人物３

人物４

2000 2④すぐに発話を開始

1000 1

短縮

色情報から予測
される温度
冷 冷

温

00

呼吸動作 息の吸い方から、次に誰がいつ話そうとしているかが分かる！

皮膚感覚由来
の温度情報

温連想しやすい組み合わせ→処理時間が短い

色情報

感じられる温度への影響

話を終えよう。

発話末

時間

面白かったね。

人物３

リアリティのある材質感の提示や、温もりある手触りの伝達に温度情報は不可欠です。温度情報と視覚情報の統合メカニズムを解明し、高臨場感ディスプレイや豊かなコミュニケーションを効率的に実現する技術の開発に寄与します。

知覚処理の速い視覚情報により、物体温度を予測する。
その結果、温度判断にかかる時間の短縮や、感じられる温度の変化が起こる。

オープンハウスに行きたいな。

人物１

目指す未来

人間の温度知覚は、皮膚と接触する “赤は温かい”“青は冷たい”といものの温度差によって生みだされま った概念的な連想が、温度の感覚自す。しかし、私たちの感じる“温か 体に影響を与えることを世界で初めさ”や“冷たさ”は、皮膚と対象の て示しました。青い物体は赤い物体
間の熱交換だけでなく、視覚からも よりも冷たいと感じるまでの時間が大きな影響を受けます。本研究では、 短くなる一方で、同じ温度では、青
視覚が温度知覚へ影響を及ぼす原理 い物体のほうが温かいと感じやすいを明らかにします。
ということがわかりました。

視線行動 発話末付近の視線の遷移から、次に誰がいつ話すかが分かる！
①現話者が先に視線を向ける

どこが凄い

肺気量

吸気

話し終えるときは、発話末から間を空けて、ゆっくりと時間をかけて息を吸う

32

物体温度
33

34

温度

温かく感じる
温かく感じる

来年も行こう！

人物４

次に話し始めるときは、発話末に近いタイミングから、急激にたくさん息を吸う

物体

次に話そう。
関連文献[1] R. Ishii, K. Otsuka, S. Kumano, J. Yamato, “Analysis of respiration for prediction of “who will be next speaker and when” in multi-party
meetings,” in Proc. ACM International Conference on Multimodal Interaction (ICMI), pp. 18-25, 2014. (Outstanding Paper Award)[2] 石井亮, 大塚和弘, 熊野史朗, 大和淳司, “複数人対話での話者交替に関する呼吸動作の分析 ～次話者と発話開始タイミングの予測モデルの構
築に向けて～,” 電子情報通信学会技術研究報告, Vol. 114, No. 189, pp. 35-40, 2014. （ヒューマンコミュニケーション賞（ＨＣ賞））[3] 石井亮, 大塚和弘, 熊野史朗, 松田昌史, 大和淳司, “複数人対話における注視遷移パターンに基づく次話者と発話開始タイミングの予測,” 電子情報通信学会論文誌A, Vol. J97-A, No. 6, pp. 453-468, 2014.

連 絡 先

石井亮 (Ryo Ishii)
人間情報研究部 感覚共鳴研究グループ
E-mail：ishii.ryo (at) lab.ntt.co.jp

熱交換

温かい!

温かくない

関連文献
[1] H.-N. Ho, D. Iwai, Y. Yoshikawa, J. Watanabe, S. Nishida, “Combining colour and temperature: A blue object is more likely to be judged
as warm than a red object,” Scientific Reports, Vol. 4, 2014.
[2] H.-N. Ho, G.H. Van Doorn, T. Kawabe, J. Watanabe, C. Spence, “Colour-temperature correspondences: When reactions to thermal
stimuli are influenced by colour,” PLoS One, 2014.
[3] H.-N. Ho, “Color-temperature correspondence: Its nature and its impact on object temperature perception,” NTT Technical Review, Vol. 13,
No. 1, 2014.

連 絡 先

何昕霓 (Hsin-Ni Ho)
人間情報研究部 感覚表現研究グループ
E-mail：ho.hsinni (at) lab.ntt.co.jp

Creating dynamic texts using "Yu bi Yomu" applications

25

なぞりによる新しいテキストコミュニケーション～“Yu bi Yomu”方式によるダイナミックテキスト作成～

どんな研究

どこが凄い

目指す未来

タブレットの長所を活用した文章表 携帯電話を使ったショートメッセー
示方式はほとんど考えられてきませ ジでニュアンスを伝えたり、親しいんでした。“Yu bi Yomu”方式は、 人の読み上げ音声と動く文字を使っなぞり動作と動的な文表示を使って、 て自分だけの絵本の作成をしたり、これまでの読文行為を拡張します。 といった応用シーンが考えられます。
自分の気持ちを豊かに伝えたり、文 だれでも、より深く文章と関わるこの内容についてのより深い理解を促 とができることを目指します。
進したりする事が可能になります。

私たちが提案した、指でなぞると文章が現れる“Yu bi Yomu”方式による読文の印象や読み手の行動を調べています。これまで行ったいくつかの実験・展示を通して、音声を付加した動的な文章表示を行った場合の特性や学習教材への応用の可能性を明らかにしました。

26

Amazing illumination to make static objects dynamic

変幻灯（デフォーメーション ランプ）
～静止した対象や空間に動きをつける不思議な照明～

どんな研究
対象に新しい印象を与える手法として、プロジェクタを使って対象に映像を投影する「プロジェクション
マッピング」が有効です。今回、人間が自然な動きを知覚する際に働く脳の科学的知見に基づき、印刷物などの静止した対象に様々な動きの印
象を与える技術「変幻灯」を開発し
ました。

どこが凄い

目指す未来

従来技術では、静止した対象自体が 変幻灯を活用することで、情報表現
動いているという印象を与えること の幅が広がるとともに、静止対象のはできませんでした。変幻灯では人 注目度が向上します。例えば、広告、間の錯覚を利用して、静止画に動画 インテリア、芸術・エンターテインのような動き印象を与えることがで メント分野において、止まった対象
きます。炎のゆらめきや、風の印象、 に動きを与える新しい情報表現を提人物が生きているような動きなどを 案し、ユーザーに豊かで新奇な視覚
絵画や写真に加えることができます。 体験を提案できます。

“Yu bi Yomu”：なぞり動作を使った動的文表示方法
1. 文字の出方で印象変化

3. なぞることで記憶向上
記憶成績(%)

普段は薄い文字表示

触れてからの時間

2. なぞり動作に個人差

なぞると文字が濃く浮き出る

データ頻度

２名のなぞり速度の分布

黙読

なぞり
読み

4. なぞりで作った動画は読みやすい
なぞり速度 (pixel/sec)

なぞりデータ保存の利用

音声機能との組み合わせ

章番号• なぞり時の録音機能• 文字表示と同期した音声再生機能ニュアンスを伝える短い
メッセージ・親しい人がそばにいるような絵本・
難読な教材の学習サポートなどに利用可能

アクセスされた順番
それぞれの章でのなぞりの様子• 学習教材への応用で、学習者の行動解析が簡単に可能
関連文献[1] 丸谷和史, 植月美希, 安藤英由樹, 渡邊淳司, “ユーザのなぞり動作に基づく動的文章表示,” 情報処理学会論文誌, Vol. 54, No. 4, pp. 15071517, 2013.
[2] K. Maruya, J. Watanabe, H. Takahashi, S. Hashiba, “A learning system utilizing learners’ active tracing behaviors,” in Proc. The 5thInternational Conference on Learning Analytics and Knowledge, 2015.

連 絡 先丸谷和史 (Kazushi Maruya)
人間情報研究部 感覚表現研究グループ
E-mail：maruya.kazushi (at) lab.ntt.co.jp

関連文献[1] 河邉隆寛, 澤山正貴, 丸谷和史, 西田眞也, “静止した2次元対象を運動情報によって錯覚的に変形させる光投影手法,” 映像情報メディア学会
2014年年次大会講演予稿集, 5-3, pp. 1-2, 2014.

連 絡 先河邉隆寛 (Takahiro Kawabe)
人間情報研究部 感覚表現研究グループ
E-mail：kawabe.takahiro (at) lab.ntt.co.jp

Bodily response induced by an illusion in the sense of body27

自分の手はどれ？
～身体感覚の錯覚に誘発される身体反応～28

Speaking rhythm conversion rules by English speech corpus

何でも「それっぽく」しゃべりたい！
～英語音声コーパスを用いた発話リズム変換則の学習～

どんな研究

どこが凄い

目指す未来

どんな研究

どこが凄い

目指す未来

私たちの「自分の身体」という当たり前のようにある感覚は、感覚情報を統合することで成立しています。
その一例である「ラバーハンドイ
リュージョン」という、身体の錯覚が起きている時にどのような主観的印象および身体反応が生じるのかについての研究をご紹介します。

ゴムの手を自分の手のように感じてしまうラバーハンドイリュージョン
が起こっている時に、どのような身体反応が見られるでしょうか。本研
究では、まるでゴムの手になりたがっているように、自分の手がゴムの手の方へ無意識的に動いてしまう
ことを明らかにしました。

本研究は、「自分の身体」という感覚の成立過程とその結果生じる身体反応を明らかにしました。その成果は、明瞭な身体感覚を持ちにくい
方々の原因特定や治療といった、医療分野への貢献が期待されます。例
えば、リハビリ方法の構築や手助けするデバイスの開発につながります。

日本語母語話者が発話した英語音声
は、ネイティブに伝わりにくいことがよくあります。これまで、言語による発話リズムの違いに着目した、「それっぽくしゃべります」という発話リズム変換技術を考案してきました。今回、任意の英語音声の発話
リズム変換技術を紹介します。

日本語母語話者132名の英語音声を用いて、機械学習により日本語母語話者の発話リズムをネイティブっぽく変換する規則を構築しました。これにより、予めネイティブによる同一文章の読み上げ音声が変換に必要とされた従来技術の問題が解消されます。

任意の英語音声の発話リズムをネイ
ティブっぽく変換できることにより、携帯端末を通じて、あるいはTV会議
やプレゼンテーションにおいて、リ
アルタイムに日本語母語話者の英語
音声をネイティブに聞き取りやすい
音声に変換するなどの応用が考えられます。

日本語と英語の発話リズムの違いに着目

ゴムの手が自分の手になっちゃうと、手に何が起こる？

強勢拍リズム（英語） 緩急のあるリズム（’on a’ を速く発話）・強勢間の発話時間が一定
赤字は強勢
モーラ拍リズム（日本語） 単調なリズム・モーラ（カナ１文字）の発話時間が一定

ラバーハンドイリュージョン中の身体反応
・・

ゴムの手と自分の手を、ブラシで同時に撫でられると、なんだかゴムの手が自分の手のような気がしてきてしまいます。

ハンプティダンプティサットオンアウォール

発話リズム変換技術「それっぽくしゃべります」 ※発話リズムの抽出にはNTD法[1]を使用
自分の手の「場所が分からなくなっちゃう」
・・・見えない状態で自分の手の位置を答えてもらうと、ゴムの手に近い所に手があると報告します。
※[2](Botvinick+, 1998)

日本語母語話者の発話リズム

ΦJ

自分の手に「血が通わなくなっちゃう」
・・・手の温度を測定すると、錯覚が起きている最中に、皮膚温度がだんだん下がってきます。
※[3](Moseley+, 2008)

自分の手が「動いちゃう」
・・・錯覚が強く起きているほど、自分の手がゴムの手に近づこうとする運動が無意識的に現れます。

実験２

実験１
●手を左右に動く台の上にのせると・・・

手がゴムの手の方へ動いていってしまう●手を動かそうとする
力を測ると・・・

英語母語話者の
発話リズム

ΦE

発話リズム
の入れ替え
により変換

従来技術 ネイティブによる同一英語文章の読み上げ音声が必要

本技術 ネイティブによる同一文章の読み上げ音声なしに発話リズム変換を実現

ゴムの手の方へ引っ張る力が記録される

日本語母語話者の発話リズムをネイティブっぽく変換する規則を
日本語母語話者と英語母語話者の英語音声を用いて機械学習により構築

1. 日本語母語話者特有のモーラ単位での英語発話(カタカナ英語)をモデル化
EJ
発話リズム変換則 2. 音素単位での発話リズム変換則の構築Φ  FΦ
関連文献[1] T. Asai, “Illusory body-ownership entails automatic compensative movement: for the unified representation between body and action,”
Experimental Brain Research, Vol. 233, pp. 777-785, 2015.
※[2] M. Botvinick, J. Cohen, “Rubber hands 'feel' touch that eyes see,” Nature, Vol. 391, pp. 756, 1998.
※[3] G.L. Moseley, N. Olthof, A. Venema, S. Don, M. Wijers, A. Gallace, C. Spence, “Psychologically induced cooling of a specific body partcaused by the illusory ownership of an artificial counterpart,” Proc. Natl. Acad. Sci. USA, Vol. 105, pp. 13169-13173, 2008.

連 絡 先

人間情報研究部 感覚共鳴研究グループ
浅井智久 (Tomohisa Asai)
E-mail：asai.tomohisa (at) lab.ntt.co.jp

関連文献[1] S. Hiroya, “Non-negative temporal decomposition of speech parameters by multiplicative update rules,” IEEE Transactions on Audio,
Speech, and Language Processing, Vol. 21, No. 10, pp. 2108-2117, 2013.
[2] S. Hiroya, “Speaking rhythm extraction and control by non-negative temporal decomposition,” NTT Technical Review, Vol. 11, No. 12,
2013.

連 絡 先

人間情報研究部 感覚運動研究グループ
廣谷定男 (Sadao Hiroya)E-mail：hiroya.sadao (at) lab.ntt.co.jp

Body / mind reading & feedback system for sports

29

運動のコツや選手のコンディションを捉える～心身の状態を解読してフィードバックするスポーツ支援技術～

Biological measures for auditory experience30

あなたの“聞こえ”を測ります～生体反応に現れる音の知覚世界～

どんな研究

どこが凄い

目指す未来

どんな研究

どこが凄い

目指す未来

生 体 電 極 が 縫 い こまれたインナー
ウェアを着るだけで、筋肉や心臓が働 く 際 に 発 生 す る電気信号（筋電位・心電位）をスポーツ運動中に簡便に計測できます。それら生体信号から筋の活動パターンや心拍の変動などを評価し、可視化・可聴化する研究です。

自分の心身の状態を適切に認識する
ことは、運動を習得・改善するための重要な 一 歩 で す 。 本 技 術は 、 ス
ポーツ実環境下で、選手やゲームにあまり干渉することなく、運動のコ
ツや力み度合い、メンタル状態など
を 直 感 的 に 分 か り や す く フィ ー ド
バックすることができます。

ウェアラブル電極をはじめとする情報工学技術と人間の感覚運動情報処
理に関する知見を融合して、今までにない実践的で効果的なスポーツ支援ソリューションを提案してゆきます。また、リハビリやエンタメなど
スポーツ以外での利活用にも展開してゆきます。

「今、どのように聞こえているのか」を、聞いている本人以外が推し量ることはできるのでしょうか？
私たちは、様々な生体反応を調べることにより、本人の主観的な報告によらずに、聞こえ方を「客観尺度」で評価する方法を考案し、知覚メカ
ニズムの解明を進めてきました。

今どのように聞こえているのか？
どのくらい注意を向けているか？
聞こえないふりをしていないか？
といった、これまでは、本人に聞かなければわからないことが、この客観尺度で調べられるようになってきました。大きな音から耳を保護する
聴覚の仕組みも見えてきました。

その人ごと、その時ごとに変わる「聞こえ方」を測ることができれば、聞きやすい、心地よい音を状況に合わせて提示することもできるでしょう。また、既存の聴覚検査でとらえることのできなかった様々な「難聴」を診断・補聴することも可能になるでしょう。

コツを聴く

投球の例

筋電位パターン

元プロ投手

筋電位パターン

布状のウェアラブル電極

体幹
脚から腕へ
運動の連鎖

脚

リアルタ
イムで音
に変換
(μV)
-12

0

腕
体幹
連鎖が不明瞭
（ムダな活動が多い）

脚

0

時間（s）

生成音スペクトログラム
周波数（kHz）

不要な筋活動

0

時間（s）

1.0

(dB)
0

-16

0
-1.0

0

1.0

時間（s）

-30

0

-30

2.5

(dB)
0

0
-1.0

0

時間（s）

1.0

-30

脳波で測る

悪い試行（ミスが多い）
50100

心拍変動解析

良い試行(ミスが少ない）
150

悪い試行

0.1

200

時間（s）

250

良い試行

指で測る

0.05

緊張
リラックス
0

0

0.1

0.2

0.3

周波数（Hz）

0.4

0.5 0

0.1

0.2

0.3

0.4

0.5

周波数（Hz）

注1 “hitoe”は東レ株式会社と日本電信電話株式会社で共同開発した生体信号が計測できる機能素材です。

関連文献[1] T. Kimura, T. Mochida, T. Ijiri, M. Kashino, “Real-time sonification of motor coordination to support motor skill learning in sports,” in Proc.
2nd International Congress on Sports Sciences Research and Technology Support (icSPORTS2014), 2014.
[2] 井尻哲也, 持田岳美, 柏野牧夫, 木村聡貴, “運動パターンの聴覚フィードバックは投球動作の学習を促進させる,” 第23回日本バイオメカニクス学会大会, 2014.

連 絡 先

人間情報研究部 感覚運動研究グループ
木村聡貴 (Toshitaka Kimura)
E-mail：kimura.toshitaka (at) lab.ntt.co.jp

あいまいな音の解釈
同じ音を聞いても、その時々で聞こえ方が変わることがあります。脳波の一種である聴性脳幹反応をとらえることにより、この聞こえ方に対応した活動が、脳幹という「低次」な処理段階ですでに起こっていることがわかりました。

70

0

瞳孔径（注意や覚醒に関わる青斑核と呼ばれる脳部
位の活動を反映）が、知覚的に顕著な音（注意をひきつける音）に対して広がることがわかりました。

耳音響放射 （耳から出る音）をたよりに推定しました。保護機能の強弱から、個人の騒音性難聴に対するリスクを予測できることがわかりました。

80
60

注意をひきつける音

耳から出る 大きな音から耳を守る機能
大きな音からセンサとなる細胞を保護する機能を
音で測る

90

50

パワースペクトル密度（S2/Hz）

50μV

-1.0

0.6

100

心拍数（bpm）(dB)
0

周波数（kHz）

筋電位 加速度10m/s2

筋電位 加速度悪い試行-30

メンタルを視る
2.5

リアルタ
イムで音
に変換

(dB)
0

0

1.0

力みを聴く
良い試行

0.6

0

腕

-1.0

パットの例

生成音スペクトログラム

(μV)

アマチュア
注1

目で測る
周波数（kHz）

心電位

周波数（kHz）

筋電位

ごまかせない“聴力検査”
光に合わせてリズムを刻むタッピング運動では、光と時間的にずれた音が呈示されると、音につられて時間精度が低下します。この現象を利用して、「聞こえないふり」ができ
光ない聴力検査方式を考案し
音
タップ
ました。
音につられる運動

関連文献[1] S. Furukawa, H.I. Liao, S. Kidani, M. Yoneya, M. Kashino, ”Evaluating the salience of auditory events through eyes," in Proc. 7th Forum
Acusticum, 2014.
[2] 大塚翔, 津崎実, 園田順子, 古川茂人, “練習中の楽器音への暴露がバイオリニストの聴覚末梢に与える影響,” 日本音響学会 春季研究発表会 講
演論文集, 2015.
[3] 古川茂人, 鬼鞍和輝, 木谷俊介, 加藤正晴, 北川智利, “光同期タッピング課題による客観的可聴閾値推定,” 日本音響学会 春季研究発表会 講演
論文集, 2015.

連 絡 先古川茂人 (Shigeto Furukawa)
人間情報研究部 感覚共鳴研究グループ
E-mail：furukawa.shigeto (at) lab.ntt.co.jp

∞

New technologies transferred out of NTT Communication Science Laboratories

世界で利用されている基礎研究所発の技術～時代の要請に応え、新たな時代を創るための挑戦～

どんな研究
コミュニケーション科学基礎研究所
が生み出した研究成果は、ICTの新サービスを支える要素技術として、
既に様々な用途や場所で使われています。ここでは特に、メディア探索
や音声認識、残響制御、対話処理など、実世界で利用されている代表的技術をご紹介します。

どこが凄い

目指す未来

様々な用途や場所で使われています。 時代の要請に応えつつ、数年先もしくは数十年先に花開くことを目指し■地方議会、特別支援学校て技術を丹念に磨き上げ、新知見の■レコーディングスタジオ
創出とその検証を辛抱強く積み重ね、■携帯音楽プレーヤー
他の誰も辿りつけない新たな世界の■スマートフォン・アプリ
創造に向けて果敢に知的挑戦を続け■音楽アーカイブシステム
ること、それが私たちの使命です。
■ＩＣレコーダ

国際標準ＭＰＥＧ-４ Audio Lossless Coding (ALS)

音声・音楽の残響制御技術（Revtrina）

技術内容

技術内容

オーディオ信号の波形データを完全に再構成することを保証しつつ、データ量を圧縮できる国際標準規格の符号化技術

収録済みの音声信号や音楽信号から、直接音と残響を分離するとともに、残響を除去したり加工したりして、音声を聞き取りやすくしたり、音楽のサラウンド再生を可能にする技術

NML Revcon-RR

どんなサービスで利用されている？

どんなサービスで利用されている？

・音楽アーカイブシステムの圧縮方法として利用
・いくつかのメディアプレーヤもサポート

・スタジオでの音声調整用残響除去プラグインソフト「NML Revcon-RR」として世界的に広く利用 (NTTLS)※詳しくは守谷特別研究室HP参照

http://www.brl.ntt.co.jp/cs/mrl/ja/research.html

ロバストメディア探索技術（RMS）

https://www.nttls.co.jp/topics/2009/090209.html
関連展示

重み付きトランスデューサ高速オンザフライ合成技術
技術内容

技術内容

どんなサービスで利用されている？

どんなサービスで利用されている？

・TVやラジオ等の番組で使われた全楽曲を特定する全曲報告サービス
・特定コンテンツのネット上での流通を監視するネットモニタリング
・音楽配信サイトの配信実績管理と利用料の一括処理(著作権情報集中管理)
関連展示

18

・地方議会向け議会録作成支援システム「VoiceAir」(NTT東日本)
https://www.ntt-east.co.jp/business/solution/minutes/

・聴覚障がい者向け支援ツール「こえみる」(NTTソフトウェア)
・音声ビッグデータ・ソリューション「ForeSight Voice Mining」(NTTソフトウェア)※いずれもNTTメディアインテリジェンス研究所との連携で実現

音声区間検出技術（DIVIDE）

関連展示

20

質問応答技術・対話処理技術

技術内容（DIVIDE: Dynamic Integration of Voice Identification and DE-noising）

重み付きトランスデューサ

1000万語といった超大語彙リアル
タイム連続音声認識を可能にする
デコーディング技術

映像･音･画像などのメディア情報を対象として、信号の歪みや雑音に左右されずにメディ
アコンテンツを高速に探索･特定する技術

背景雑音を伴って録音された音声から音声が含まれる時間区間を検出する技術

19

技術内容
雑⾳の中からでも⾳声区間を正確に検出

大規模データに基づいて幅広い質問に回答する
技術や、雑談対話中のユーザ発話の意味を解析し自然な流れとなるよう対話を制御する技術
どんなサービスで利用されている？

どんなサービスで利用されている？

・オリンパス社のICレコーダに「声だけ再生」機能として搭載され世界中のユーザに利用されている。2015年現在、通算100万ライ
センス以上の売り上げ実績(NTTエレクトロニクスから提供)
関連展示

19

・音声エージェントサービス「しゃべってコンシェル」(NTTドコモ)
・気軽に雑談対話システムを作れる「雑談対話ＡＰＩ」(NTTドコモ)
https://www.nttdocomo.co.jp/service/developer/smart_phone/analysis/chat/※いずれもNTTメディアインテリジェンス研究所との連携で実現

関連展示

10

関連文献
[1] 前田英作, “基礎研究は「時代」とともに在り:アイディアの源泉とイノベーションの種,” NTTコミュニケーション科学基礎研究所オープンハウス2014
所長講演, 2014. ※webサイトから閲覧可 http://www.kecl.ntt.co.jp/openhouse/2014/talk/director/index.html[2] 守谷健弘, “高品質音響信号処理と符号化〜感動を伝えるための挑戦,” NTT技術ジャーナル, pp. 25-26, 2008.
[3] 政瀧浩和，浅見太一，山畠祥子，藤本雅清, “サービスや利用環境の変化に柔軟に対応する音声認識技術,” NTT技術ジャーナル, pp. 16-23, 2013.

連 絡 先

森稔 (Minoru Mori) 研究推進／情報戦略担当
E-mail：cs-kensui (at) lab.ntt.co.jp