オープンハウス
2013

4
B
1

講演会場

5

2

6
7
8
9

3

展示会場

10 11

17 18 19
20
13
21
12
22

16
14 15 もっと紹介
コーナー

講演中継
会
場
喫煙所

23 24

25 26 27 28 29

休憩スペース

書籍展示
コーナー

講演中継
会
場

クローク

N T T コミュニケー ション 科 学 基 礎 研 究 所

受付

入口

研究展示
ビッグデータ解析B
1
2
3

ビッグデータチャレンジ 〜NTT 研究所でのビッグデータ解析の取り組み〜
4 ビッグデータ分析によるネットワーク異常対策 〜ネットワーク故障、サイバー攻撃などの NW 異常を早期に検出〜
大事な特徴を捉えて流れるデータを把握する 〜多次元時系列データからの特徴抽出〜
5 このつぶやきを書いたのはどんなひと？ 〜マイクロブログの特徴を活用したユーザ属性推定技術〜
押し寄せる膨大な「今」を瞬時に賢く分析する 〜フロー型ビッグデータを分散オンライン機械学習で分析〜 6 大規模移動データの分析と可視化 〜異種複合情報を用いた移動パターン分析〜
大規模なグラフデータをあっという間に分析 〜グラフデータを対象とした高速なマイニングアルゴリズム〜

革新的コンピューティング
7 効率的な環境モニタリングを実現 〜相関性を用いたセンサデータ圧縮技術〜
8 あなたの居場所を安全に公開 〜仮名交換による位置プライバシ〜
9 光がつなぐ量子の情報 〜レーザ光を用いた最適な量子もつれ生成方法〜

10 ちゃんとしたデタラメを作る 〜レーザ光の高速乱雑変動を利用した物理乱数生成〜
11 高度なプログラミングが可能なビジュアル言語 〜プログラミング上の様々な拡張をした新ビスケット〜
12 計算機による自動英文法解釈 〜統計的文法獲得技術に基づく構文解析〜

メディアとコミュニケーション
13 言語の壁をどう越える？ 〜英語・中国語・韓国語から日本語への統計翻訳〜
18 誰がどのように話しても正確に聞き取ります 〜話者や発話スタイルの多様性に頑健な音声認識技術〜
14 「触りながら読む」読文を実現：Yu bi Yomu 〜なぞり動作を利用した動的な文章表示方式〜 19 知らない音も書き起こす 〜ベイジアン半教師あり音響イベント認識〜
15 国際電話会議への参加を楽にする方法 〜0.2 〜 0.4 秒の通信遅延が非母語者に及ぼす影響〜 20 目的のものが映っているシーンを探す 〜静止画クエリによる映像検索技術〜
16 せつなの微笑みがこころを伝える 〜対話者間の共感／反感に関する客観的解釈モデルの提案〜 21 この子にぴったりな絵本を探す 〜幼児単語に重みを置いたグラフベースの類似絵本検索〜
17 録音機器を協調させて目的音声を聞き分けます −録音ノードからの仮説統合に基づく音声強調〜

ヒューマンサイエンス
22 こどもが単語を覚える順番の謎 〜幼児語彙学習期間の言語共通性〜
23 「花」と「鼻」、こどもはいつから聞き分ける？ 〜幼児の日本語音声知覚の発達〜
24 呼吸と音楽の一期一会をめざして 〜呼吸の位相と音楽的フレーズを同期させる再生システム〜
25 それっぽくしゃべります 〜非負値時空間分解法に基づく発話リズムの抽出〜

26 見ることで感じる疲れや手ごたえ 〜映像遅延により変化する運動感覚〜
27 未来が過去を変える 〜視覚におけるポストディクション〜
28 見るだけでモノの形や質感が変わる 〜錯視からわかる脳の物体認識のしくみ〜
29 聴いて分かる腕の長さ 〜身体の認識における聴覚の役割〜〒619-0237 京都府相楽郡精華町光台2-4（けいはんな学研都市）

6 6 木
日

12:00〜17:30

日金

9:30〜16:00

月

7

会場：NTT京阪奈ビル（京都府相楽郡精華町光台２-４）
http://www.kecl.ntt.co.jp/openhouse/2013/

所長あいさつNTT コミュニケーション科学基礎研究所

所長

前田

英作

「オープンハウス２０１３」へようこそ
NTT コミュニケーション科学基礎研究所「オープンハウス2013」へご来場頂き、心より御礼申し上げます。
私 たちの 生 活は、電話によるコミュニケーションの時代から、クラウ
ド上を飛び 交う大 量データを手軽な情 報機 器で利用する新しいコミュ
ニケーションの時 代に移りつつあります。そして、扱う情 報の 量と質の変 貌にあわせて、「人間」と「情 報 」を結ぶ 新しい技 術基盤 の構築が必要です。
そこで私 たちの 研究 所では、情 報科 学と人間科 学 の両 面からこの問題に取り組 んでいます。そして、新しい着想と確かな技 術を次の世代へとつなぎ、人類の将来に資することができるような「果実（み）のなる樹木（き）」を育てていきたいと考えています。
オープ ンハウス 2 013 で は 、「 ビッグ デ ー タ 解 析 」、「 革 新 的 コン
ピューティング」、「メディアとコミュニケーション」、「ヒューマンサイエ
ンス」の４領域にまたがる30項目の研究展示と最新の研究動向を紹介
する４つの研究講演とにより、当研究所の活動を幅広くご紹介いたします。二日間のささやかな企画ではありますが、ご来場の皆様にとって有益で愉しいひとときとなれば幸いに存じます。

-1-

目

次

会場案内図／講演スケジュール■ 所長あいさつ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 1■ 会場案内図／講演スケジュール・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 3■ 所長講演・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 4■ 招待講演・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 5■ 研究講演みんなの会話を聞き取るコンピュータを目指して・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 6−複数人会話音声認識研究の現状と今後の展望−

身体のリアリティ・ ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 8−私たちはどのように自分の身体を認識するのか−

革新的発展期を迎えた機械翻訳・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 10－統計翻訳で越える技術文献の言葉の壁－音や声から隠れた情報を取り出す・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 12－確率的生成モデルアプローチによる音声音響信号処理－■ 研究展示 ・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・・ 15
ビッグデータ解析

B ビッグデータチャレンジ − NTT 研究所でのビッグデータ解析の取り組み−・ ・・・・・・・・・・・・・・・・・・ 16■
1 大事な特徴を捉えて流れるデータを把握する −多次元時系列データからの特徴抽出−・・・・・・・・・・・・・・ 17■
2 押し寄せる膨大な「今」を瞬時に賢く分析する −フロー型ビッグデータを分散オンライン機械学習で分析−・ ・・・・ 18■
3 大規模なグラフデータをあっという間に分析 −グラフデータを対象とした高速なマイニングアルゴリズム−・ ・・・・ 19■
4 ビッグデータ分析によるネットワーク異常対策 −ネットワーク故障、サイバー攻撃などの NW 異常を早期に検出−・・・ 20■
5 このつぶやきを書いたのはどんなひと？ −マイクロブログの特徴を活用したユーザ属性推定技術−・ ・・・・・・・・ 21■
6 大規模移動データの分析と可視化 −異種複合情報を用いた移動パターン分析−・ ・・・・・・・・・・・・・・・・ 22■

革新的コンピューティング

7 効率的な環境モニタリングを実現 −相関性を用いたセンサデータ圧縮技術－・ ・・・・・・・・・・・・・・・・・ 23■
8 あなたの居場所を安全に公開 −仮名交換による位置プライバシ−・・・・・・・・・・・・・・・・・・・・・・・ 24■
9 光がつなぐ量子の情報 −レーザ光を用いた最適な量子もつれ生成方法−・・・・・・・・・・・・・・・・・・・・・ 25■
10 ちゃんとしたデタラメを作る −レーザ光の高速乱雑変動を利用した物理乱数生成−・ ・・・・・・・・・・・・・・・ 26■
11 高度なプログラミングが可能なビジュアル言語 −プログラミング上の様々な拡張をした新ビスケット−・・・・・・・ 27■
12 計算機による自動英文法解釈 −統計的文法獲得技術に基づく構文解析−・ ・・・・・・・・・・・・・・・・・・・ 28■

メディアとコミュニケーション

13 言語の壁をどう越える？ −英語・中国語・韓国語から日本語への統計翻訳−・ ・・・・・・・・・・・・・・・・・・ 29■
14 「触りながら読む」読文を実現：Yu bi Yomu −なぞり動作を利用した動的な文章表示方式−・・・・・・・・・・・ 30■
15 国際電話会議への参加を楽にする方法 − 0.2 ～ 0.4 秒の通信遅延が非母語者に及ぼす影響−・ ・・・・・・・・・・ 31■
16 せつなの微笑みがこころを伝える −対話者間の共感／反感に関する客観的解釈モデルの提案−・ ・・・・・・・・・・ 32■
17 録音機器を協調させて目的音声を聞き分けます −録音ノードからの仮説統合に基づく音声強調−・ ・・・・・・・・ 33■
18 誰がどのように話しても正確に聞き取ります −話者や発話スタイルの多様性に頑健な音声認識技術−・・・・・・・・ 34■
19 知らない音も書き起こす −ベイジアン半教師あり音響イベント認識−・・・・・・・・・・・・・・・・・・・・・・ 35■
20 目的のものが映っているシーンを探す −静止画クエリによる映像検索技術−・・・・・・・・・・・・・・・・・・ 36■
21 この子にぴったりな絵本を探す −幼児単語に重みを置いたグラフベースの類似絵本検索−・ ・・・・・・・・・・・・ 37■

ヒューマンサイエンス

22 こどもが単語を覚える順番の謎 −幼児語彙学習期間の言語共通性−・・・・・・・・・・・・・・・・・・・・・・ 38■
23 「花」と「鼻」、こどもはいつから聞き分ける？ −幼児の日本語音声知覚の発達−・ ・・・・・・・・・・・・・・ 39■
24 呼吸と音楽の一期一会をめざして −呼吸の位相と音楽的フレーズを同期させる再生システム−・ ・・・・・・・・・・ 40■
25 それっぽくしゃべります −非負値時空間分解法に基づく発話リズムの抽出−・ ・・・・・・・・・・・・・・・・・・ 41■
26 見ることで感じる疲れや手ごたえ −映像遅延により変化する運動感覚−・・・・・・・・・・・・・・・・・・・・ 42■
27 未来が過去を変える −視覚におけるポストディクション−・ ・・・・・・・・・・・・・・・・・・・・・・・・・ 43■
28 見るだけでモノの形や質感が変わる −錯視からわかる脳の物体認識のしくみ−・ ・・・・・・・・・・・・・・・・ 44■
29■ 聴いて分かる腕の長さ −身体の認識における聴覚の役割−・ ・・・・・・・・・・・・・・・・・・・・・・・・・ 45

-2-

-3-

所長講演

招待講演

果実（み）のなる樹木（き）を育てたい〜「情報」と「人間」を結ぶ技術基盤の構築に向けて〜

数学からの新技術、そして産業からの新しい数学

Cultivate trees that will bear fruit

New technology from/with mathematics and new mathematics from industry

Building a technical infrastructure connecting information and human
NTT コミュニケーション科学基礎研究所 所長

前田英作

21世 紀 に 入って、私 た ち の 生 活 を 取り 巻 く情 報 環

熟 して い な い も の も あ れ ば 、酸 っ ぱ い も の や、毒 の

境 は 目 まぐるし く 変 化 して い ま す。そ して 何 より、そあ るも の さえありま す。料 理 の 素 材として姿 を 変 えての 変 化 のス ピード が とて つ も なく 速 い こ と に 特 徴 が使 わ れることも 少 なくありま せ ん 。さら に 、貯 えて 寝

ありま す。ユ ビ キ タ ス 、グ リッド、セ ン サ ネット、セ マ

か せ て お く場 合 も あ りま す。果 実 か ら 種 を 採 って 次

ン ティック W E B 、W E B 2 .0 、クラウド、ビッグ デ ー タの 世 代 に 引 き 継 ぐこ と も あ る 一 方 で、敢 えて 種 の なな どこの10 年 間 に 喧 伝 さ れて きた キ ー ワ ード の 変 遷

い 果 実 を 育 てることも あ るでしょう。

か ら も そ の こと は 明 ら か でしょう。ま た 、ネットワ ー

い ず れ にして も 、果 実 が 何ら か の 形 で 人々 の 口 にクにアクセ スする 情 報 機 器 も 携 帯・デ スクトップ から入り滋 養 とな ることに よって はじ めて、研 究 の 成 果 が

スマ ホ・タ ブ レット へ と 移り、そ の 利 用 者 層 も 子 供 か

技 術 として 使 わ れ 、世 の 中 の 役 に 立った の だ と 言 う

ら お 年 寄 りま で 広 が って い ま す。こ の 変 化 に 合 わ せ

こ と が で き ま す。こ の 果 実（ み）の な る 樹 木（き ）をて、提 供 す るサ ー ビ スも 異 な る 様 相 を 呈 す る と と も

育 て る 営 み こそ が 、基 礎 研 究 所 の 役 割 で あ り、昔 かに 、環 境 の 変 化 に合 わ せ た 研 究 開 発 が 求 めら れて いら 連 綿 と 行 って き た 研 究 開 発 そ の も の に他 なりま せ

ま す。

ん 。コ ミ ュ ニケー ション 科 学 基 礎 研 究 所 の 創 立 以 来

九州大学 副学長 マス・フォア・インダストリ研究所 所長

若山

（わかやま

リー理論、整数論（プロフィール）
1978年

東 京理科大学理学部数学 科卒業

1985年

広島大学大学院 理学研究科博士後 期課程数学専攻修了

1994 年

九州大学理学部数学 科助教授

1997年

九州大学大学院数理学研究科教授

2 0 年 の 余 を 経 て、実 社 会 の 中 へ 入って い った 基 礎

環 境 の 劇 的 な 変 化 の 中 に お いて、「 情 報 」と「人 間 」

研 究 発 の 技 術 が 少 しず つ 生 ま れ て い ま す。メディアを 結 ぶ 新 し い 技 術 基 盤 の 構 築 を め ざ して い ま す。基探 索 、音 声 認 識 、残 響 制 御 、質 問 応 答、機 械 翻 訳 、質礎 研 究 は 、時 代 の ニーズ に 即 応 す る こ と が 求 め ら れ

感 情 報 学 な ど、そうした 成 功 例 を 分 析して み ると、実2006年～2010年

るサ ー ビ ス 開 発 と 異 な り、中 長 期 的 な 視 点 に 立ったは 、種 を 蒔 いて か ら10 年 の 時 間 を 要して い ること が技 術 革 新を 求めら れ ま す。しかし、変 化 の 速 度 が 増し

わかりま す。
情 報 通 信 環 境 の 激し い 変 化 を 見 据 え た 時、この10年 という時 間 を 皆 さん はどの ようにとらえるでしょうのとは当 然 違ってしか る べきでしょう。

まさと）（専門分野）コ ミ ュ ニケ ー ション 科 学 基 礎 研 究 所 は 、こ の 情 報て い る 中 で、基 礎 研 究 の 姿・形 も10 年 、2 0 年 前 の も正人

九州大学大学院数理学研究院院長

2008年より 文部 科学省グローバ ルCOEプログラム「マス・フォア・インダストリ教育研究拠 点 」拠 点リーダー
2010年より

九州大学副学長

2011年より

九州大学マス・フォア・インダストリ研究所所長

2011年より文部 科学省学術審議 会先端科学部会 数学イノベーション委員会主査

この 間 、P r in c et o n 大 学 客 員 研 究 員、I llin o is 大 学, B o l o g n a 大 学 、K I A S 客 員 ／ 訪 問 教 授、I n d ia n a 大 学
Distinguished Lecturer等を歴任。

些 細 な 発 想 の 転 換 や 問 題 の 発 見 が 新し い 研 究 の 種

か 。果 実（ み）の な る 樹 木（き ）を たくさ ん 育 て て いに なりま す。そこに 水 を 撒 いて あ げ るとし ばらくして

くため に 、何 を 変 え、何 を 守る べ きな の か。将 来 に 向

芽 が 出 てくる も の が ありま す。さらに 、肥 料 と 陽 の 光

け て 基 礎 研 究 所 が 今 すべ きこと は 何 な の か を 考 え な（1）非可換調和振 動子のスペクトルと付随するゼータ関数・楕円曲線・保型 形式の研究を与えるといず れ 論 文や 特 許として 花 が 咲 き ま す。しけ れ ば な りま せ ん 。本 年 の オ ープ ンハ ウ スで 紹 介 す（2）確率論・統計学に現れるα行列式の表現論・不変式論

か し 花 は 受 粉 の た め の 誘 引 道 具 で あって、普 通 は 食る 一つ 一つ の 研 究 展 示 からどの ような 果 実 が 生 ま れ

べ ること が で き ま せ ん 。や が て 花 は 果 実 となり、摘 み

よ うとして い る の か 、是 非 見 極 めて 頂 き た い と 思 い

取 ること が で きる ように なりま す。そ れで も 、収 穫しま す。

（主要研究テーマ）（3）対称空間上の調和解 析と統計多様 体の群論的研究（4）コンピュータグラフィックスのリー理論的研究
編・著書として『ゼータの世界』（日本 評論 社、1999 年）、『絶対カシミール元 』（岩波書店、2002 年）、『技術 に 生きる現 代 数 学』
（ 岩 波 書 店、2008 年）、『Casimir Force, Casimir Operators and the RiemannHypothesis』（De Gruyter、2010 年）等。

た 果 実 が そ の ま ま 食 べら れ る と は 限 りま せ ん 。硬 く

-4-

-5-

研究講演

研究講演

みんなの会話を聞き取るコンピュータを目指して■今後の展望■会話音声認識の研究～複数人会話音声認識研究の現状と今後の展望～

コミュニケーション科学基礎研究所では、会話の音声

会 話 の 音声 認 識 が 可能になれば、様 々な応 用の可能認識を重点課題の一つと位置づけ、精力的に研究してき性が広がります。将来は会議の議事録作成だけでなく、ました。従 来 の 音声 認 識では、音 韻 の 普 遍 的な特 徴

過去の記憶を呼び起こすように会話を閲覧できるかもしを表すモデルを作り、これを入 力音声と照合して解を求れません。会話中に質問に答えたり、今後の予定を登録

めていました。しかし、この 普 遍的なモデルでは会 話 音

してくれる電子秘 書が登場するかもしれません。そのた声の多様な音響的特徴を捉えることは困難です。そこでめには認識精度の向上は必須ですが、それ以外に「誰が現在の標準的な技術で会話を認識させると、話した言葉

私たちは、話す内容や話し方による音韻の変動を表現で

誰に話しているか」「どのように話しているか」といった

近年、声で操作できるスマートフォンが登場するなど、の半分も正しく認識できません。これは、端末を操作す

きる新しいモデルを考案し、会話音声の認識精度を大き

文字には表れない情報の認識、さらには認識された情報

私たちが音声認識技術に触れる機会が増えてきました。

る発声と人に話す会話とでは、その性質が大きく異なる

く向上させました。さらに、個 人の声質や話題にモデルを統 合・理 解する技 術が 重 要になります。私 たちは、こ

音声認識とは、人が話した音声をコンピュータ等で解析ことを意味します。そして、技 術的には会 話の認 識 の方を適応させて精度を向上させる技術も開発しました。一のような課 題に従 来 の音声 認 識 技 術の枠を 超 えて取りし、そ の内 容 を言 語 表 現（ 文 字データ）として 取り出すが遥かに難しく、これには次の２つの理由があります。

方、マイクを意識しない会話を実現するため、私たちは、組んでいます。

処 理を言います。研究が始まった1950 年代より、音声①会話音声の多様性

複数のマイクにより推定される音の到来方向の情報と、Towards a computer that can recognize everyone's conversations

1)2)

Research on multi-speaker conversational speech recognition: past, present and future
メディア情報研究部■音声認識技術の進歩

堀貴明

認 識 は人の言 葉 を 理 解 する技 術として注目を 集 めてき会話の中で人は意識して丁寧に話そうとはせず、発音予め学習した音声の音響的かつ時間的な変化パターンにました。しかし音声は複雑な性 質を持ち、かつ膨大な言を怠けたり、言葉を省略する傾向が強まります。また、方基づ いて、一人一人の 音声と雑 音とをきれいに分 離する【参考文献】

葉の 組み合わせで成り立っていることから、当時のコン

言等のなまりや喜怒哀楽の感情が入ることもあります。

技 術を開発しました。これらの成果により、会話 音声 認

ピュータでは扱えない課題が多く、その研究は困難を極したがって、発音表記上は同じ音であっても、話す内容、識の 精度は着実に向上してきました（図１）。そして、近めました。そのような困難を乗り越え、今日までにいくつ

話し方、話す人によって音響的特徴は大きく異なります。

年、会話 音声 認識の可能性を示す目的で、会話中に「いかの画期的な音声モデリング手法や効率的なアルゴリズ

さらに言 語 表現は話す相手、話題、状 況によっても変化

つ誰 が 何を話したか」をリアル タイムで 認 識する「会 話ムが 開発され、これにコンピュータの 進歩が加わり、音します。このような多様 性が音声認識の性能を著しく低分析システム」（図２）を構築しました。このシステムは、

声認識技術は徐々に実用レベルへと発展しました。

下させます。

テーブル中 央 のマイクで 会 話を収 録し、一人ひとりの 発②マイクを意識しない会話

言内容を即座に表示します。このような会話音声認識が１）T. Hori, S. Araki, T. Yoshioka, M. Fujimoto, S. Watanabe,
T. Oba, A. Ogawa, K. Otsuka, D. Mikami, K. Kinoshita,
T. Nakatani, A. Nakamura, J. Yamato, "Low-latency realtime meeting recognition and understanding using distantmicrophones and omni-directional camera," IEEE Trans.
ASLP, Vol. 20, No. 2, pp.499-513, 2012.
２）堀貴明, 小川厚徳, 藤本雅清, 大庭隆伸, 久保陽太郎, 咸
聖俊, 荒木章子, ソウデン・メレズ, デルクロア・マーク, 吉岡拓也, 木下慶介, 中谷智広, 中村篤, 会話分析タスク
における複数人自由会話音声認識の改善, 日本音響学会秋季全国大会, 1-1-19, 2012.

スマートフォンに話す場合と異なり、対面の会話ではマ■会話を認識することの難しさ
スマートフォン 等 の 情 報端末に話す内容は、多くの場

イクを目の前に置いたり、身 体に装 着することは、会 話

合、端末を操作する命 令や検 索のキーワードです。時々中の行動が制限されるのであまり好まれません。よって

誤った答えを返しますが、丁寧に話せば成 功する確率は少し離れた場所にマイクを置くことが大切です。しかし、高まります。一方、端末の操作ではなく、私たちの日常の離れたマイクでは周囲の雑音が相対的に大きくなり、か会話を認識したい、というニーズがあります。これは会議つ複 数の人の声が混ざって収 録されてしまいます。これの議事録作成など、従 来、人が行ってきた高度な聞き取も音声認識の性能を著しく低下させます。

可能なシステムは世界的にも例がありません。

マイクとカメラり作業をコンピュータで自動化するものです。ところが、
80
文字正解精度

60

[%]

20

図2：リアルタイム会話分析システム

図２ リアルタイム会話分析システム
40

堀

0
標準技術

2010

2011

2012

図1：自由会話の音声認識ベンチマーク（参加者4名、オフィス環境）

貴明（ほり たかあき）

NTT コミュニケーション科学基礎研究所 メディア情報研究部 主任研究員
1999年、山形大学大学院工学研究科システム情報工学専攻博士後期課程修了。同年、日本電信電話株式会社入社。博士（工学）。音声認識、音声言語処理の研究に従事。IEEE、電子情報通信学会、日本音響学会、各会員。

図１ 自由会話の音声認識ベンチマーク (参加者４名、オフィス環境)

-6-

-7-

研究講演

研究講演

身体のリアリティ～私たちはどのように自分の身体を認識するのか～

The reality of the body
How we perceive our own body
人間情報研究部

北川智利

運 動 感 覚 などの 体 性 感 覚と視 覚 だと考えられてきまし関連があると言われています。身体感覚は空間的に、時た。しかし我々の研究グループ では最 近、聴覚も身体の間的にどこまで拡張できるのでしょうか。空間的にも時認 識に貢 献してい ることを 発 見しました 2) 。図2のよう間的にも離れた月面のロボットを自分の身体の一部のよに、床をたたく音が 実際より遠くから聞こえるような状

うに認識し操作するにはどうしたら良いのでしょうか。今況をつくります。体性感覚情報と聴覚情報の間に矛盾をは答えることができませんが、今後の 研究によって答えつくるわけです。このような 状 況を経 験すると、私 たちが出てくると期待しています。

の 知 覚システムはこう解 釈するかもしれません。「音が私たちが自分の身体を認識するということは、私たち

私たちは、自分の身体がどんな大きさで、どんな形をえないように隠されていて、右手の模型がその正面に置出ているのは自分 の右手が叩いているところ」＝「自分が「自分を自分である」と認識する、つまり自己という概しているか 知っていますし、「自分 の 身 体はこんなふう

かれています。手前の実 験者は実 験参加者の手と、手のの右手は遠くを叩いている」→「その場所を叩いている

念を持つことの基礎になっています。そして、自己の概念だ」と身体を感じることもできます。これを本稿では「身模型の同じ場所を同時に繰り返し叩きます。実験参加者

ならば自分の右腕は長いはず」。実 験を行って調べてみは他者を理解するためにも必要です。我々の研究グルー

体 の認 識（ 身 体 感 覚）」と呼びます。身 体を認 識していは、自分の手が叩かれる感触を感じながら、手の模型がると、右腕で触れた物体の長さは、この状 況を経 験した

プでは、身体を認識するメカニズムを明らかにすることなければ、私たちは自分の身体を適切にコントロールす同じように叩かれるのを見ることになります。数 分間こ

後では、より長く感じられることが 分かりました。つまで、より良く、より深い、未 来のコミュニケーションの実ることができないでしょう。みなさんが 感じている自分の 状 況を 経 験してい ると、叩かれてい る感 触 が 手 の 模り、右腕は実際よりも長く認識されていたのです。

現につなげていきたいと考えています。

の 身 体 の 形 は 、いつ も同じ形で 安 定してい ると 思いま型からやってくるように感じ、さらに、手の模型が自分の

このような身 体 の認 識に関わる錯 覚は私 たちに重 要す。ところが、自分が感じている身体の形状が、わりと簡

身体の一部であるように感じてしまいます。この錯覚がな示唆を与えます。私たちが認識している身体は常にし単に変化することがあると聞いたらどう思われるでしょ生じてい る時に手 の 模 型にナイフで 脅す などの危 害をかも柔軟に更新されているということです。ですから、う【参考文献】う。これは姿 勢が 変わるという話ではありません。身 体加えると、自分の手がそうされた時と同じような生理 反

まく操作することで任意の身体感覚を生じさせることがの大きさや長さが変わってしまうという話です。ちょっと応（ 発 汗）が 生じるのだそうです。叩かれる自分 の 手かできるかもしれません。任意の身体感覚を伴わせることした細工をしてやると、身体そのものの形はそのままな

らくる触 覚情 報、同じように叩かれる模 型の手という視でバーチャルリアリティ空間の中での 体験をよりリアル

のに、自分が 感じている身体の形は変わってしまうこと

覚情 報、両者が与えられた時、私たちの知覚システムはなものにすることもできるでしょう。身体認識の変化は、があります。鼻や腕が伸びたり、ゴム手 袋に詰め物をし「模型の手が自分の手に違いない」と解釈して触覚情報

使い慣れた道 具を自分の身体の一 部と感じる感 覚とも

１）M. Botvinick and J. Cohen, "Rubber hands 'feel' touch thateyes see," Nature, Vol. 391, 756, 2008.
２）A. Tajadura-Jiméez, A. Väjamäe, I. Toshima, T. Kimura,
M. Tsakiris and N. Kitagawa, "Action sounds recalibrate
perceived tactile distance," Current Biology, Vol. 22,
R516-R517, 2012.

たものをまるで自分の手のように感じたり、自分の身体と視覚情報の矛盾を解消するのです。私たちの身体の認を外側から眺めているように感じることさえあります。

識は、視 覚や触 覚、自己 受容 感 覚（姿 勢 の 感 覚）などのそんな身体に関わる錯覚から、私たちがどのように身体感 覚情 報に基づいて、常に更 新されています。これらのを認識しているかが分かってきます。

感覚の間に矛盾があると、私たちの「これが自分の身体

身 体に関 わる錯 覚 の 代 表格とも言えるのがラバーハだ」という認識は、いとも簡単に変化してしまうのです。

ンド 錯 覚 です 。図1では、奥 の 実 験 参 加 者 の 右手は見

これまで、身体を認識するのに重要な感覚は、触覚や

1)

図 2：音のフィードバックで腕が伸びる錯覚

北川

図 1：ラバーハンド錯覚-8-

智利（きたがわ のりみち）

NTT コミュニケーション科学基礎研究所 人間情報研究部 主任研究員
2000年、東京都立大学大学院人文科学研究科単位取得退学。博士（心理学）。東京都立大学人文学部助手、日本学術振興会特別研究員（SPD）、金沢工業大学情報フロンティア学部講師、NTTコミュニケーショ
ン科学基礎研究所リサーチスペシャリストなどを経て現職。感覚間相互作用や感情と知覚の相互作用の研究に従事。日本心理学会、日本基礎心理学会、日本音響学会、各会員。

-9-

研究講演

研究講演

革新的発展期を迎えた機械翻訳～統計翻訳で越える技術文献の言葉の壁～

Innovative user experiences brought by statistical machine translation
Breaking the language barriers of technical information
協創情報研究部

永田昌明

先になる単語が主辞です。日本 語には「必ず前から後ろ

BLEUと人手による評価の相関関係を図2に示します。

に係る」すなわち「必ず主辞を後置する」という性 質(主そこで 我々は、翻 訳 結 果と正 解 の 語順 の 一 致 度を重

辞後置 性)があります。世界 の言 語 の中でこれは非常に視する自動評価尺 度RIBES (Rank-based Intuitive

稀な性 質 で、通常は図1の 英 語 の 例のように「前から後Biling ual Evaluatio n M easu re) を 考 案し、そ のろ」にも「後ろから前」にも係ります。したがって、英 語

プ ロ グ ラムを 一 般 公 開しました 。R I B E S は 、前 述 のの 係り受け 構造に基づいて「必ず前から後ろに係る」よ

N TC I R - 9にお いて自動 評 価 尺 度 の 一つとして 採 用さ

うに単語の順番を入れ替えると、日本語と同じ語順に変れ、主催者の評価においても、英日・日英・中英翻訳タス

換できます。これが主辞後置化です。

クにおいて人間による評価との相関がBLEUより高いこ

英 語と日本 語は語順の対応 関 係が正 順になる部分と(statistical machine translation, 以下、統計翻訳)

逆 順になる部分が 複雑に入り混じっており、恐らく世界は、数十万から数百万文の大規模な対訳データから翻訳

我々はこの主 辞 後置化に基づく事 前並べ替え 型の 統

で最も翻訳が難しい言語対の一つです。我々は、主辞後規 則や対 訳 辞 書に相当する統 計モデルを自動的に学習

計翻訳技術により2011年に開催された特許翻訳に関す

現在、我々は、特許、マニュアル、科学技術論文などの置性という日本語の言語学的な特徴を利用して、英語のし、新しい言語対や特定の分野の機械翻訳システムを短る評価側ワークショップNTCIR-9の英日翻訳において

技 術文 書 では、言 葉 の 壁を意 識しない 情 報収 集 が 実現

文の単語を日本語と同じ語順に並べ替えてから日本語へ

期間に低コストで作成する技術です。

史上初めて人手による評価でルールベース翻訳を上回る可能になったと考えています。今 後は、言 葉 の 壁を意 識ことができました 2)3)。

しない情報発信、すなわち日本語から他言語への翻訳へとが示されました 2)。

翻訳する方法を考案し、英日翻訳の精度を劇的に改善し統計翻訳は1990年前後に英語とフランス語の翻訳をました 。また翻訳の精度を客観的に計 測することは実対象として研究が始まり、2000年代には英語とフラン

日本 語 の主辞後置 性を利 用した 統 計 翻 訳 技 術は、原はとても難しい問題なのですが、我々は、日本 語と英語

ス語のような語順が近い言語対では実用レベルに到達し

理的には英語以外の言語へも適用可能であり、我々は、の翻訳において人手による評価とよく一致する新しい自ました。しかし、英語と日本語のように語順が大きく異な特許のように百万文を超える対訳データを入手可能な分動評価尺度RIBESを考案しました。本講演では、これらる言語対における統計翻訳の精度は低く、従来のルール

野 では 統 計 翻 訳は実 用レベルに到 達したと考えていま【参考文献】の統計的機械翻訳の研究成果の概要をご紹介します。

ベース翻訳の精度を上回ることができませんでした。

す。今回のオープンハウスでは、研究展示「言葉の壁をど

１）H. Isozaki, K. Sudoh, H. Tsukada, K. Duh, "HPSG-based
Preprocessing for English-to-Japanese Translation," ACM
TALIP, Vol. 11, No. 3, 2012.
２）I. Goto, B. Lu, K. P. Chow, E. Sumita, B. K. Tsou,"Overview of the Patent Machine Translation Task at the
NTCIR-9 Workshop," in Proc. NTCIR-9, pp.559-578, 2011.
３）K. Sudoh, K. Duh, H. Tsukada, M. Nagata, X. Wu, T.
Matsuzaki, J. Tsujii. "NTT-UT Statistical MachineTranslation in NTCIR-9 PatentMT," in Proc. NTCIR-9,
pp.585-592, 2011.

1)

コンピュータを利用してある言語を別の言語に翻訳す2010 年 前 後 から世界 の主 要な研 究 機 関は、語 順 のう超える？ ～英語・中国語・韓国語から日本語への統計る技術を「機械翻訳」(machine translation)と呼びま違いを克服する技術として、原言語(翻訳 元)の文の単語翻訳～」において特許分野における我々の技術的な到達す。機械翻訳の研究はコンピュータの誕生とほぼ同時にを目的 言 語( 翻 訳 先)の語順に並べ替えてから統 計 翻 訳

点をご覧いただくことができます。

1950年代から始まり、今日までに多数の機械翻訳シスを行う「事前並べ替え」(preordering)に注目し始めま

つぎに、翻訳精度の自動評価について簡単にご説明しテムが開発されました。

した。そ の 中でN T Tは、主 辞 後 置 性と呼 ばれる日本 語ます。機 械 翻 訳 の 精 度 を 客 観 的に計 測 することは実 はインターネットの 普及により、ごく普 通のユーザが 英の言 語学的な特 徴に着目し、「主辞を後置する」(head

非常に難しい問題です。ある文に対する翻訳の正解は何語・中国語・韓国語などの外国語で書かれたWebページ

finalization, 主辞後置化)という唯一の規則を使って英通りもあり、訳語選択の誤りと語順の誤りのどちらを重に接する機会が飛躍的に増えました。世界中に市場を持

語の単語を日本語の語順に並べ替える方法を考案し、英視するかは主観的な判断です。1990年代に考案された

つ 多国籍 企 業はマニュアルなどの 製 品 情 報を 迅 速 かつ

日翻訳の精度を劇的に改善しました 。この方法 の概要

機械翻 訳の自動 評 価 尺 度BLEUは、機械翻 訳の 研究の正確に現地語で提供する必要があります。言葉の壁を越を図1に示します。

活性化に大きく貢献しました。これは食味計の発明によ

1)

えて人とコミュニケーションしたい、あるいは、言葉の壁

主 辞 ( h e a d ) と は 、文 を 構 成 す る 部 品 で あ る 句を 越 えて知 識を交 換したいという想いは人 類の 普 遍 的( phrase)にお いて句 の文 法 的 な 役 割を 決 め る単 語 で

図1 日本語の主辞後置性に基づくす。例えば前置詞句なら前置詞が主辞です。別の言い方
事前並べ替え翻訳をすると、中学校の国語で習う「係り受け」において係りな要求の一つと言ってよいでしょう。しかし、正直なところ従 来 の 機械翻訳 がこれらの様々な ユーザの 要求を満足させてきたとは言い難いです。

葉へと翻訳対象を広げていきたいと考えています。

図2 NTCIR-7 日英特許翻訳タスク(2008)のBLEUと人手評価の関係

1381文中の100文に対する5段階の人手評価

ルールベース(規則に基づく)翻訳
NTT

4.5
4

3人による
適切さと流暢さ 3.5
の平均
3
2.5

りお 米 の「おいしさ」を 数値化することで、産 地間の 競

21.5争や品種改 良が進むのに似ています。しかし、BLEUは

10.5

日本 語と英 語 の 翻 訳では人手による評 価とあまり一 致

00

しないという問題がありました。2008年に開催された
評価側ワークショップNTCIR-7における自動評価尺 度

日本語

取り組むとともに、技 術文 書からビジネス文 書、話し言

5

10

15

20

25

30

1381文中に対するBLEU(%)

図 2： NTCIR-7 日英特許翻訳タスク (2008) の BLEU と人手評価の関係

従 来 の 機 械 翻 訳システムでは 、新しい言 語 間 の 翻 訳

彼 は 長い 尻尾 の 猫 を 見た。

を 実 現 するために、数 人 から 数 十人の 専 門 家 が 何年もの歳 月をかけて翻 訳 規 則や対 訳 辞 書を作成していまし英語

た。このような機械翻訳へのアプローチを「ルールベー

主辞後置化

He saw a cat with a long tail.

ス翻 訳 」と呼びます。これに対して「統 計的機械翻訳 」

主辞後置英語He long tail with cat saw.

図 1：日本語の主辞後置性に基づく事前並べ替え翻訳- 10 -

永田

昌明（ながた まさあき）

NTT コミュニケーション科学基礎研究所 協創情報研究部 主幹研究員（上席特別研究員）
1987年、京都大学大学院工学研究科修士課程修了。同年、日本電信電話株式会社入社。工学博士。㈱国際電気通信基礎技術研究所、米国AT&T研究所客員研究員などを経て現職。統計的自然言語処理の研究に従事。電子情報通信学会、情報処理学会、人工知能学会、言語処理学会、ACL、各会員。
- 11 -

研究講演

研究講演

音や声から隠れた情報を取り出す～確率的生成モデルアプローチによる音声音響信号処理～

Extracting hidden information from speech and audio signals

人間にとっては、混合 音から音を聴き分けたり、声から

本講演では、音源分離1)、音声強調 2)、音声韻律特徴抽

言葉や話者を認識したり、言い回しから話し手の癖や意出 3)、多重音解析4),5)などの問題を題材にし、上記の方法

図を感じ取ったり、演奏を聴いて楽譜 化したりすること論をベースにした研究アプローチを紹介します。

はさほど難しいことではありません。人間が上述の逆問

Generative modeling approach to speech and audio signal processing

題をどのような認知プロセスを経て解決しているのかは

メディア情報研究部

亀岡

弘和

日ごろ私たちが耳にしている音や声には実に多くの情索システム、音楽 の 盗作モニタリングシステムなどの実報が含まれており、私 たちはこれを助けにしながら日々

現に道が拓け、人々の生活を大いにサポートできたり豊生 活をしています。例 えば、カフェテリアにい ると、店かにできたりするはずです。

必ずしも明らかではありませんが、経 験や知識を通じて得られた常識や傾向が、逆問題の解を絞り込むためのヒ【参考文献】

ントとなっている可能性があります。

１）H. Kameoka, M. Sato, T. Ono, N. Ono, S. Sagayama, "Blindseparation of infinitely many sparse sources," in Proc.
IWAENC 2012, 2012.
２）H. Kameoka, T. Nakatani, T. Yoshioka, "Robust speech
dereverberation based on non-negativity and sparse natureof speech spectrograms," in Proc. ICASSP2009, pp.45-48,
2009.
３）H. Kameoka, J. Le Roux, Y. Ohishi, "A statistical model ofspeech F0 contours," in Proc. SAPA 2010, pp.43-48, 2010.
４）H. Kameoka, N. Ono, K. Kashino, S. Sagayama, "Complex
NMF: A new sparse representation for acoustic signals," inProc. ICASSP2009, pp.3437-3440, 2009.
５）H. Kameoka, M. Nakano, K. Ochiai, Y. Imoto, K. Kashino,
S. Sagayama, "Constrained and regularized variants of
non-negative matrix factorization incorporating musicspeciﬁc constraints," in Proc. ICASSP2012, pp.5365-5368,
2012.

我々はこれまで、音や声に隠れた重要な情報を抽出することを目的とした以 上のような逆問題に対し、確率モ

内がどれだけ賑わっているか、周囲の人 たちがどのよう複数の音が混合されるプロセス、話し手が意図した言

デルに基づくアプローチの検討を進めてきました。すなな会話をしているか、店内にどういう音楽が流れている

葉を音声波 形として発するプロセス、発話において各音

わち、観測量である「結果」を生成する「原因」となってか、などの状 況を把握することができます。両 耳に入っ節のタイミング・アクセントの有無・プロミネンス（強調い る背 後 のプ ロセスを確 率モデルによって 巧みに記 述てくる音の波 形には、混在する個々の音がどういう音での度 合 い）などの 韻 律 情 報を 音声の 基 本周波 数 パター

し、そのモデルをもとに観 測量を最も良く説明する「原あるかという情報やどの方向から到来したかという情報ンとして表現するプロセス、楽器演奏において楽譜をイ因」を推論する、というアプローチです。図２は、音源分が含まれます。また、一人一人の話し声には、話し手の発メージしながら演奏表 情をつけて奏でるプロセス。これ

離問題のために文 献1)で提 案した確率モデル の 構 造の話内容（言語情報）や言い回しの中に表れる話し手の個らは、いずれも何らかの「原因」によってある「結果 」が例を示したものです。グレーのノードが観測量、白いノー

人性や意図や思いなどの情報（パラ言語・非言語情報）得られる順問題と見なせます。したがって、その逆プロセ

ドが確率モデルの変数に対応し、それぞれの矢印がノーが含まれます。さらに音楽には楽器 構成、メロディ、リズ

ス、つまり、混 合 音を個々の 音に分 離する問題、音声波

ド間の依存関係を表しています。これはあくまで例です

ム、和声などの情報が含まれます。私たち人間は音や声形から言語情報を認識する問題、基本周波数パターンかが、確率モデルの構造をどう立てるかが確率モデルアプ

からこのようなさまざまな種類の情報を無意識的ないしら各種韻 律 的 特 徴を抽 出する問 題、音 楽 の 音 響 信号をローチにおける最 大の腕の見せ所で、観測量とパラメー

意 識的に認識し、理 解する能 力を有していますが、計算

個々の楽器音に分解する問題、音楽演奏から楽譜を書きタ（変数）の因果関係を現実の生成プロセスに即した確機を使って音の波 形（音響信号）からこれらの 情 報を自起こす問題は、「結果」から「原因」を推定する逆問題と率モデルで適切に記述することができれば、逆問題の解動的に取り出すことが できるようになれば、例えば、音捉えることができます（図1）。「結果」から「原因」が一に対 する先 験 的 知 識 や 傾 向をヒントにした 効 果 的な 推

声認識や合成、話者認識、自動採譜などのシステムに活意に特 定できる場合には逆問題の解決は比 較的容 易で論 が 可能になります。一方、確率モデルアプローチにおかすことができるだけでなく、音の定位による屋内や屋

すが、例えばa+b=10となるaとbを 特 定することが でいてはパラメータの推論が簡潔かつ効率的なアルゴリズ

外の安全モニタリングシステム、語学支援システム、パラ

きないように、上述の逆問題においては、同じ「結果」をムで行えるかどうかという点も重要です。現 実の生 成プ

言 語・非言 語 情 報に着目した音声 変 換システム、ユーザ

与える「原因」が無数に存在しうるため、正しい「原因」

ロセスに即したモデルかどうかという点とパラメータ推の意を汲む音声対話システム、類似音楽やカバー曲の検を 特 定するのは容 易ではありません。ところが、私 たち論が効率的に行えるモデルかどうかという点の両面を考慮して適切な確率モデルを立てることが逆問題解決の成功の鍵となります。

亀岡

図 1：音源分離、残響除去、音声韻律特徴抽出、楽音分離、自動採譜などの音声音響信号処理問題- 12 -

図 2： 音源分離問題のための確率モデルの構造の例

弘和（かめおか ひろかず ）NTT コミュニケーション科学基礎研究所 メディア情報研究部 研究主任
2007年、東京大学 大学院情報理工学系研究科 システム情報学専攻 博士課程修了。同年、日本電信電話
株式会社入社。情報理工学博士。2011年より、東京大学大学院情報理工学系研究科システム情報学専攻
客員准教授。音声・音楽を対象とした音響信号処理・機械学習の研究に従事。日本音響学会、情報処理学会、電子情報通信学会、IEEE、各会員。

- 13 -

研究展示

研究展示のカテゴリ
NTT コミュニケーション科 学 基 礎 研 究 所では、
「 人 間 」と「 情 報 」を結 ぶ 新しい技 術 基 盤 の 構 築 をめざして 、情 報 科 学と人 間 科 学 の 両 面 から革 新 技 術 の 考 案と新原理の発 見に取り組んでいます。
本年 のオープンハウスでは、 「革新的コンピューティング」、「メディアとコミュ
ニケーション」、「ヒューマンサイエンス」の３分野に関する２３展 示に加え、NT T
研究所全体で取り組んでいる「ビッグデータ解析」の６展示をご紹介いたします。

ビッグデータ解析

革新的コンピューティング

膨 大 な デ ー タ に 潜 む 特 徴 を 知りた い 、

安 全 な 情 報 通 信を行 い た い 、 情 報 処 理

価 値 あ る 情 報 を 取り出して サ ー ビ スにに 要 す るコ ストを 低 減 さ せ た い 、 処 理

役 立 て た い 。こうした ビッグ デ ー タ 解

速 度 や 得ら れる 効 果 を 高 め た い 。こう析 へ の 期 待に応 える技 術 の 研 究 成 果した 普 遍 的 ニ ー ズに 応 えるた め の 計 算です 。

原 理 ・ 技 術に関する研 究 成 果です。

〜大規模データの活用をめざして〜！

〜情報処理をより賢く、安全に〜

110101110
100010101
011101110
101010001
010
010
情1 1 1報
001110001
000101010
101011111
1011101

110101110
100010101
011101110
101010001
010
010
情1 1 1報
001110001
000101010
101011111
1011101

ヒューマンサイエンス

メディアとコミュニケーション

私たち人間をより深く理 解することにつ大 量 の 映 像・音・言 語 デ ー タ から新 価

な がる研 究 成 果 で す。人 間 の 特 性 に 合

値を生 み 出 すメディア処 理や、人と人、

わ せ た 情 報 通 信 の 実 現 や、教 育 や 医 療

人 と機 械 の 情 報 伝 達 を 円 滑 に す るコ

等、生 活 基 盤 の 質 的 向 上 に 貢 献 するこ

ミュニケーション環 境に関する研 究 成 果とをめざします。

です。

〜ヒトを知り、人に優しい ICT 社会へ〜

〜情報のやり取りを容易に、快適に〜- 15 -

Recent big data analysis at NTT Laboratories

ビッグデータチャレンジ

1

Feature selection for high-dimensional time series data

大事な特徴を捉えて流れるデータを把握する～多次元時系列データからの特徴抽出～～NTT 研究所でのビッグデータ解析の取り組み～

NTT研究所はビッグデータを利活用した革新的サービスを実現し、「新たなステージ」における「バリューパートナー」への変革を実現します

どこが凄い

めざす未来

本研究は、多次元（多くの特徴量を持つ）時系列データから時間的なパターンを抽出する技術です。時系列
データの連続性の制約のもとで、各次元の特徴の有効性を推定して、時系列データに内在する特徴の共起パ
ターンを確率モデルで推定します。

本技術は、時系列データからパターンを見つけるだけでなく、「パターンを特徴づける特徴量」も自動的に抜き出します。これにより、大量のノイズが混ざった時系列データからもパターンを発見できる上に、解析後のパターンの解釈などの人手の工数を減らすことに貢献できます。

「ビッグデータ」に代表される多次元のデータから隠れた関係や知識を発見する技術は、今後ビジネスプロ
セスの効率化や業績向上のため益々必要となります。我々の研究技術は、実用的な精度と時間で「ビッグデー
タ」を活用できる社会の実現に役立ちます。

多次元の時系列データの全ての特徴量が本当に重要なのか？
ビッグデータ解析

各種センサ情報・ 因果関係分析
・ 予兆発見・ 未来予測など

データの背後に潜む潜在情報を膨大かつ多様な情報から学習ビッグデータ解析により、あらゆる経済・社会活動における“現在”と “未来”のデータに基づく意思決定
支援が可能

テキストデータは
単語数が多い購買履歴デー
タはスパース

センサデータは
ノイズばかり・・・
この技術は時間的なパターンの違いを“特徴づける”特徴量だけを抽出

背景：関連技術者、(非ICTを含む) 応用領域の専門家との連携が必須

観測される時系列データ

パターン１ パターン２ パターン３

時間

時間

ミッション

・ビッグデータ/M2Mの革新的汎用技術の構築
・事業会社等からの先端的依頼案件に対する技術支援
実応用領域（セキュリティ、トラフィック、CRM等）

Ｊｕｂａｔｕｓ
バッチ型データ
処理基盤技術基盤技術

オンラインデータ処理基盤技術

機械学習技術データベース技術：
多種多様なデータの蓄積・編集・検索技術
並列分散計算技術：
大規模データの高速計算技術
機械学習技術：
潜在情報から新価値を創出するための分析技術

 何が何やら・・・ ここにパターンがあったのか！

 このパターンはこの特徴量が大事なのか！
 大量のノイズに影響されずに時間パターンを見つける 各パターンに重要な特徴量が紐づけられ、解析結果の解釈が容易になる パターンの数を自動的に推定
関連文献[1] 石黒勝彦, 上田修功, 澤田宏, “動的サブセットクラスタリング,” 第14回情報論的ワークショップ(IBIS), 2011.

連 絡 先

連 絡 先

上田 修功 (Naonori Ueda)

特徴量

事業会社、グループ会社、内部 ・外部研究組織

機械学習・データ科学センタ（MLC：Machine Learning・Data Science Center）

機械学習・データ科学センタ- 16 -

石黒 勝彦 (Katsuhiko Ishiguro)

協創情報研究部 知能創発環境研究グループ- 17 -

ビッグデータ解析

ビッグデータ解析

背景：ビッグデータ時代の到来（クラウド、モバイル、ソーシャル、ビッグデータがICTの新潮流） ビッグデータ活用により、様々な産業分野で大きな市場を創出(MGIレポート：ヘルスケア分野では世界で年間3000億ドルの経済効果）

どんな研究

2

Streaming analysis with distributed online machine learning

押し寄せる膨大な 「今」 を瞬時に賢く分析する

3

Fast algorithms for large-scale graphs

大規模なグラフデータをあっという間に分析～グラフデータを対象とした高速なマイニングアルゴリズム～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

ビッグデータ分析の新たなニーズである、(1)広範囲に散在する多様な情報源のデータを統合し、(2)素早いリアルタイム分析でリスクを最小限に抑えて、(3)事前に全貌を把握しきれない多様な要求にも柔軟に対応できる処理基盤技術を開発しました。

３つの要件「大量」「速い」「深い」処理はトレードオフの関係です。
すべて両立することは本質的に困難
ですが、これを克服し、毎秒16メガ
バイトのデータ流量に対し、自然言語解析と複数カテゴリへの自動分類を、遅滞なく高速実行します。また
OSSとして広く公開しています。

世界規模でのオープンイノベーショ
ンとマーケット創造を推進し、リア
ルタイムマーケティングやスマートな社会インフラマネージメントへの適用拡大を図ります。

実世界にはソーシャルメディアやSNSなどの情報のつながりを表す膨
大なグラフデータが存在します。従来の技術では、大量のグラフデータの分析のために、膨大な時間を要していました。今回は、このグラフ
データを対象にした高速な分析アル
ゴリズムを紹介します。

グラフデータの統計的な性質を用いて、グラフデータをよりコンパクトな形に変形していくことで、世界最高速のグラフデータ分析アルゴリズ
ムを確立しました。このアルゴリズ
ムを用いることで1億人分の友人関係を表すグラフデータも分析精度を落とさず3分程度で解析できます。

TwitterやSNSなどの極めて大規模なソーシャルメディアや人間の行動履歴などを瞬時に分析し、情報推薦や情報予測、情報理解に活用できるような未来を目指しています。本技術
は、従来考えられなかった規模のデータの分析に貢献できる可能性があります。

Biz/Gov./Social

Public & Science
気候、監視カメラ、医療
画像、DNA配列…

・Twitterカテゴリ分類
・スパムメール判定
・株価予測
・消費電力予測・センサ監視・検索連動広告・ECサイト商品推薦
・インフルエンザ分析
・交通状況分析
・通信NW異常検知
…

顧客関係
管理

Industry Legacy(CRM)

売上、顧客、製品、会計
…

物流/情報
管理
(SCM)

System Data

企業資源
計画

ログ、メッセージ、Web、
スパムリスト…
1

BigData Stream
特特徴比較(ERP/BI)2

Real-Time Analysis

深い分析

デモ

単純

異常検知 ：与えられたデータ集合の中から外れ値（異常値）を検知
リア
リアルタイム
線形回帰 ：入力データから出力データを推定
統計分析 ：入力データの平均・エントロピーなど：類似データの推薦、未知属性推定
推薦
グラフマ ：グラフ構造を持つデータの中心性、イニング 最短パスの算出◎ グラフを行列にし、行列分解と並べ替えで◎ 重要度の低いデータを枝刈りし、グラフを

グラフをコンパクトにして重要度を計算  S  = (1 − c) 

 

 

G


 
S  = C 

 

 

PT

 
 
 

 

Q

さらにコンパクトに変換

 
 
 S  + c  N 
 
 
 
  重要!!

S: ノードの重要度ベクトル N: 趣向ベクトル
G: 隣接行列 c: ランダムウォーク再スタート確率



 

R





 

−1






P

重要度が低い
ので枝刈り

 
N 
 
  P: 置換行列 Q: QR分解における直交行列
R: QR分解における上三角行列■クラスタリング高速化技術 (関連文献[2])POINT◎ 計算不要なデータを逐次的に集約しデータをコンパクトにすることで計算を高速化とエッジを削減
クラスタへの
重複エッジ

注） パーソナライズドページランク：
個人に有用な情報検索技術の１つ• 人間関係や購買履歴などのグラフの中からコミュニティを高速に発見• 1億人規模のデータも3分で処理可能◎ グラフから重複計算の生じるノード
クラスタが自明なノードクラスタ内のエッジ

本技術は株式会社Preferred Infrastructureなどとともに、オープンソースコミュニティ上で開発を進めています。 http://jubat.us
関連文献• 人間関係や購買履歴などのグラフから重要なデータを高速に発見• 従来技術よりも10～100倍程度高速に処理可能

POINT

多値分類 ：入力データを複数グループに分類
高度,
オープン

バッチ

Smart Action

実
実装済み解析エンジン

10倍高速
精度は割引
割引

3

■パーソナライズドページランク注）高速化技術 (関連文献[1])

既に発見されているクラスタ
関連文献[1] 岡野原大輔, 海野裕也, 熊崎宏樹, 小田哲, “大規模リアルタイム解析エンジンJubatus の創り方,” 情報処理学会デジタルプラクティス, Vol.
4, No. 1, pp. 20-28, 2013.
[2] 小田哲, 中山心太, 上西康太, 木下真吾, “Jubatus : Big Dataのリアルタイム処理を可能にする分散処理技術,” 信学技報, Vol. 111, No. 409,
IN2011-126, pp. 35-40, 2012.
[3] H. Makino, “Jubatus: Scalable Distributed Processing Framework for Realtime Analysis of Big Data,” in Proc. XLDB2012, 2012.

[1] Y. Fujiwara, M. Nakatsuji, T. Yamamuro, H. Shiokawa, M. Onizuka, “Efficient Personalized PageRank with Accuracy
Assurance,” in Proc. the 18th ACM SIGKDD Conference on Knowledge Discovery and Data Mining (KDD), 2012.
[2] H. Shiokawa, Y. Fujiwara, M. Onizuka, “Fast Algorithm for Modularity-based Graph Clustering,” in Proc. the 27th AAAI
Conference on Artificial Intelligence (AAAI), 2013.

連 絡 先

連 絡 先

堀川 桂太郎 (Keitaro Horikawa) NTT ソフトウェアイノベーションセンタ 分散処理基盤技術プロジェクト

鬼塚 真 (Makoto Onizuka) NTT ソフトウェアイノベーションセンタ 分散処理基盤技術プロジェクト- 18 -- 19 -

ビッグデータ解析

ビッグデータ解析～フロー型ビッグデータを分散オンライン機械学習で分析～4

Analyzing network failure/cyber attacks and their root causes

ビッグデータ分析によるネットワーク異常対策

5

Estimation of microblog user attributes using microblog structure

このつぶやきを書いたのはどんなひと？

～ ネットワーク故障、サイバー攻撃などのNW異常を早期に検出～～マイクロブログの特徴を活用したユーザ属性推定技術～

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

ネットワーク機器やサーバ機器からのログ情報や、SNSやニュース記事などの社会情報といった膨大、不統
一、かつ非定型なデータから、機械学習等の高度分析技術を用いて、従来検出できなかったネットワーク故
障やセキュリティインシデント(サイバー攻撃等)を早期に検出します。

ネットワーク情報を時間共起性や通信先共起性を用いてグルーピング化
し、故障イベントの可視化や未知の悪性ホスト検出を行います。また社
会情報から、セキュリティや故障に関連する情報を抽出し、リアルタイ
ムに分析し、攻撃予兆や故障発生を早期に検出します。

ネットワーク故障、サイバー攻撃検出技術により、それぞれNTTグルー
プのネットワークオペレーション、
セキュリティオペレーションを高度化し、今までより一歩進んだ安心・
安全なネットワーク環境の実現に寄与します。

マイクロブログには個人の意見が多数存在し、マーケティング等での活用が望まれています。しかし、既存のアンケート調査と異なり、それらを書いたユーザの属性(年齢、性別等)が明らかでないという問題があります。本研究では、それらを自動的に推定する技術に取組んでいます。

従来は人手で作成した学習データを利用し、投稿記事中の単語を元にユーザの属性を推定する手法が提案されていました。本研究では、単語表記の背後に潜む話題や、マイクロブログの構造に注目することで、性別を約90%の精度で推定する等、主要なユーザ属性を高い精度で推定可能としました。

現在の推定対象はマーケティングでよく利用される年齢、性別、職業、興味等ですが、今後、より幅広い属
性を、より深掘りした形で提供することを目指しています。それにより、
マーケティングでの活用はもとより、個人の行動支援やコミュニケーショ
ン支援での活用も期待できます。

ネットワークオペレーション

セキュリティオペレーション
SOC*2オペレータ

要因候補（1）：
故障発生 XX：XX
要因個所 スイッチASIEM*1基盤
ポータル／ダッシュボード

基本分析
エンジン

Trove
（機械ログ高度分
析エンジン）

Sagacitas

セキュリティ
インテリジェン
ス

故障要因候補提示

故障状況の要約

スパース制約付き非負値行列因子分解

SVMによる識別モデル

（社会ログ
高度分析
エンジン）

正例側

ログ収集処理共起するログメッセージをイベントとして捕捉

ネットワーク機器・サーバ機器から生成される情報

セキュリティアプライアンス

負例側

通研太郎
@tuken_taro
光の丘の研究員です！
神奈川 – http://blog.example.com/tuken_raro

性別 男性
年齢 ３０歳

男性
30歳

自動化
紐付け
プログラム

教師ラベルと投稿文書で学習マイクロブログ(プロフィール文)

ニュース
記事など

ソーシャルグラフ(友人の情報)通研太郎@tuken_taro
光の丘の研究員です！

話題獲得
スカート…
ワンピ…
チュニック…

日本語
語彙大系

頻出話題抽出スカート→服ワンピ→服チュニック→服

服
旅行
食べ物
…
教科
…

頻出話題

サーバ／クライアント

関連文献

大規模化

[既存手法]
投稿記事に出現する
単語情報
プロフィール文情報③ “頻出する話題”を手がかりとして利用

友人の情報頻出する話題情報

単語表記の背後に潜む話題に注目*1 SIEM: Security Information & Event Management *2 SOC: Security Operation Center
関連文献[1] K. Sato, K. Ishibashi, H. Hasegawa, and H. Yoshino, “Extending Black Domain Name List by Using Co-occurrence Relation between DNSQueries,” IEICE Trans. Commun., 2012.
[2] 針生剛男, 秋山満昭, 青木一史, 八木毅, 岩村誠, 倉上弘, “進化するマルウェア等によるサイバー攻撃の検知・解析・対策技術,” NTT技術
ジャーナル, 2012.
[3] 木村達明, 森達哉, 石橋圭介, 塩本公平, “大規模ネットワーク監視情報における重要イベント抽出法,” 信学技報 NS2011-225, 2012.

連 絡 先[既存手法] 人手ラベル
性別：5,120人
年齢：4,000人※ある1つのBlogに対応した場合に得られたデータ量
性別：65,561人（12.8倍）年齢：33,230人（8.3倍）①URL取得②対象外部サイト
プロフィールを収集③教師ラベル抽出

故障に関連する
ツイート検出インターネット上の社会情報

twitter

ネットワークマイクロブログ

利用する特徴量

ログストレージ

外部サイト② “プロフィール文”と“友人の情報”を手掛かりとして利用• V: ログ生起行列• W, H: 特徴行列

ログ正規化処理故障発生：XX:XX
影響範囲：数万人
影響地域：Y県
影響サービス：●●●●マイクロブログの構造的な特徴に注目
学習データ量お客さま① 外部サイトURLを利用した学習データ収集の低コスト化

綱川 光明 (Mitsuoka Tsunakawa)石橋 圭介 (Keisuke Ishibashi)

NTT セキュアプラットフォーム研究所
セキュリティマネジメント推進プロジェクト

NTT ネットワーク基盤技術研究所
通信トラヒック品質プロジェクト- 20 -[1] 伊藤淳, 西田京介, 星出高秀, 戸田浩之, 内山匡, “TwitterとBlogの共通ユーザおよび会話ユーザの同類性に着目した
Twitterユーザ属性推定,” 第5回データ工学と情報マネジメントに関するフォーラム, C5-3, 2013.

連 絡 先伊藤 淳 (Jun Ito)

平野 徹 (Tohru Hirano)

NTT サービスエボリューション研究所
サービスハーモナイズプロジェクト

NTT メディアインテリジェンス研究所
音声言語メディアプロジェクト- 21 -

ビッグデータ解析

ビッグデータ解析

どんな研究

6

Mobility pattern analysis using heterogeneous data

大規模移動データの分析と可視化

7

Correlated data gathering for sensor network

効率的な環境モニタリングを実現～異種複合情報を用いた移動パターン分析～～相関性を用いたセンサデータ圧縮技術～

ビッグデータ解析

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

GPSデバイスや交通系ICカード等の普及により、人々の移動情報が大量に蓄積されています。こうした人の移動パターンは、交通機関の運行状
況や、天候などの外部状況に依存して変化します。本展示では、様々な複合情報を用いた人の移動パターンの分析可視化ツールを紹介します。

従来、単一情報源からのデータを用いた移動パターン分析が行われてきましたが、本研究ではソーシャル・
ネットワークサービスのログや気象情報等の異種情報を組み合わせた分
析により、移動パターン変化の複雑な因果関係をとらえ、多面的に可視化するツールを構築しています。

多様な要因に基づいて変化する人の移動パターンを多面的に分析し、様々なイベントに関連した人の行動や状況を予測する技術を確立します。
これにより、災害時の輸送計画や最適な避難経路をタイムリーに提示したり、新たな都市交通計画などへの幅広い応用が期待されます。

無線センサネットワークを構成する
バッテリ駆動型のセンサ装置が観測、送信するデータの特性を活かして圧縮を行うことで、無線での送受信時にかかる電力消費量を抑え、センサ
ネットワークの稼働時間を大幅に伸ばすことを目指します。

空間内に配置された複数のセンサで観測するデータ間には相関性(類似性)があります。この相関性を利用してデータを圧縮することで、単独のセンサで観測したデータを圧縮する手法に比べ、高い圧縮率でデータを可逆圧縮することができます。

広い範囲の実世界の環境データを、
センサネットワークでリアルタイムに取得し、解析技術を用いて分析することで、これまで把握することが難しかった、実世界で生じているさ
まざまな事象をすばやく把握し、き
めこまやかな機器の制御等を実現することができます。

移動履歴情報
GPS

WiFi
位置情報

鉄道運行情報【圧縮の仕組み】 過去のデータと、観測したデータ系列間の相関性を利用して圧縮する手法を用いることで、
SNSログ
SNSロ
SNS
ログ

気象情報

遅延

×

運転見合わせデータ系列間の相関性が高くなればなるほど、データの圧縮率を高めることが可能

イベント開催情報【事前学習】……..

【圧縮・復元】

ノードA

…..
……..
….. ...

過去の観測データの対ノードB観測したデータを部分的に間引く(間引き率=圧縮率)

過去の観測
データの対

ノードA

。。。。
。。。。。。。。

交通系
ICカード
出所：気象庁ホームページ

多様な外部情報を用いて移動パターンを分析し可視化
広域地図、市街地、建物内など
様々なレベルでの移動パターンについて種々時系列イベントを組み合わせた分析結果を可視化

市街地

ノードAで左側のデータを観測したときにノードBで右側のデータを観測したと記録(過去のデータ間の相関性を学習)

【用途例】

圧縮データ

ノードB
過去の似ているデータの対の情報から、間引かれた元データを推定

育苗環境データをセンサノードで取得して分析し、発芽率の改善に活用(農業ICT)
短距離無線(Zigbeeなど)を使ってデータを収集
サーバ

ノードAの温度
ノードBの温度

ノードA

ノードB
(基地局)

建物内回遊行動

ノードC

関連文献

センサ
ノード

育苗施設内に配置された各センサで取得した水温データ間には相関性が存在→ 本手法でデータを大幅に圧縮し、ノードのバッテリ消費を抑制

関連文献[1] J. Yuan, Y. Zheng, X. Xie, G. Sun, “T-Drive: Enhancing Driving Directions with Taxi Drivers‘ Intelligence,” IEEE
Transactions on Knowledge and Data Engineering, Vol. 25, No. 1, pp. 220-232, 2013.

連 絡 先

納谷 太 (Futoshi Naya)

ノードCの温度[1] J. Muramatsu, T. Uyematsu, T. Wadayama, “Low density parity check matrices for coding of correlated sources,” IEEE Transactions on
Information Theory, Vol. IT-51, No. 10, pp. 3645-3653, 2005.
[2] 柳沢豊, 岸野泰恵, 前川卓也, 須山敬之, “相関のあるデータを観測する無線センサネットワークのためのデータ集約手法,” 情報処理学会第32回ユビキタスコンピューティングシステム研究会, 講演番号(4), 2011.

連 絡 先

協創情報研究部 知能創発環境研究グループ- 22 -

柳沢 豊 (Yutaka Yanagisawa)

協創情報研究部 知能創発環境研究グループ- 23 -

革新的コンピューティング

分析可視化ツールの利用イメージ

8

Location privacy by using pseudonym exchange

あなたの居場所を安全に公開
か9

Optimal entanglement generation protocol with laser light

光がつなぐ量子の情報

めい～仮名交換による位置プライバシ～～レーザ光を用いた最適な量子もつれ生成方法～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

位置情報を活用することで、ユーザの所在に応じたきめ細かなサービスが可能になる一方、そのトレードオ
フとしてプライバシの保護が問題になります。この展示では、これらの2つのバランスを、アプリケーショ
ンに応じて適切に取るための技術を紹介します。

同じ場所に居合わせたユーザ同士がランダムに仮名(仮の名前)を交換することで、長期的な位置プライバシの保護と、短期的な位置情報の有用性とを両立させることに成功しました。また、プライバシ保護度合を厳密に見積もるための効率的なアルゴ
リズムを考案しました。

位置情報の不正利用や第三者による監視を気にすることなく、位置情報を活用したサービスを安心・安全に享受できる、ゆたかな情報化社会の構築に役立ちます。

量子情報通信と呼ばれる未来の通信を実現するには、微弱なレーザ光を使った方法が最も有望であると考えられています。今回、この方式が持つ可能性と限界を理論的に解析し、厳密かつ定量的な評価に成功しました。

従来の量子通信の性能に関する研究
は、より効率的なプロトコルを順次提案するものであり、改善の余地が不明確でした。そこで、本研究では、
理論限界を定量的に示しました。また、従来の全ての提案プロトコルを凌駕した理論限界に近いプロトコルの提案にも成功しました。

現在推し進められている量子通信の方式における理論限界が見つかった
ため、現状の技術の延長線上でできる事が明確化し、量子通信技術の迅
速な発展が見込まれます。それによって、量子暗号・量子中継・量子分散計算・量子テレポーテーションなどの早期実現が期待されます。

個人識別情報を除去した位置データ

問題設定：

ビット値に応じたレーザ光を、現実的な光通信路(損失のある光ファイバ)で伝送すると、精度の低い(＝蒸溜前の)量子もつれが生成される。これを、送受信者の任意の局所操作と無制限の古典通信によって「蒸溜」し、高精度な量子もつれ(量子通信のリソース)を高成功確率で生成する。

量子ビット A

受信者
受

送信者

任意の古典通信を許す
任意の局所操作を許す

きめ細かなサービスが可能
位置プライバシの保護なし

トレードオフか

目的：送受信者間に、できるだけ高い精度

めい

仮名交換で保護されるプライバシ：

ユーザ同士がランダムに仮名を交換

他のユーザと居合わせるごとに，到達可能（だと攻撃者が考える）位置が増える

結果：理論限界の導出に成功

n(t)

A

A

本当の移動は，

B
or

B
?

t

光ファイバの長さ

with：光ファイバの透過率

時間

関連文献

成功確率
(i):本研究で得られた理論的上限(ii):本研究で提案した現実的に実装可能なプロトコル(iii),(vi),(v): 既存のプロトコル

関連文献[1] K. Mano, K. Minami, H. Maruyama, “Protecting location privacy with K-confusing paths based on dynamic pseudonyms,”
in Proc. 5th IEEE International Workshop on Security and Social Networking (SESOC), 2013 (to appear).

連 絡 先

真野 健 (Ken Mano)時の量子もつれの質の理論限界

プライバシ保護の度合:
時刻 t における到達可能位置の個数 n(t)

場所

AB

で生成

・光ファイバが持つ損失により、成功確率と量子もつれの質には原理的な限界が存在すると予想される・量子通信の性能に関する理論的な既存研究は、すべてこの量子もつれ生成方法の特殊化とみなせる・量子もつれの精度とは、古典情報との区別のしやすさを示す

成功確率が

A

の量子もつれを、できるだけ高い成功確率

量子もつれの精度

仮名交換： 同じ場所に居合わせた

B

：
成功確率
量子もつれの質(精度) ：完全な位置プライバシ保護
きめ細かなサービス不可能

バランスを取るための技術： 仮名交換

任意の局所操作を許す[1] K. Azuma, G. Kato, “Optimal entanglement manipulation via coherent-state transmission,” Physical Review A (PRA) 85,
060303(R), 2012.

連 絡 先

協創情報研究部 情報基礎理論研究グループ- 24 -

加藤 豪 (Go Kato)

協創情報研究部 情報基礎理論研究グループ- 25 -

革新的コンピューティング

革新的コンピューティング

個人が完全に識別できる位置データ

10

Physical random numbers generated by laser light

ちゃんとしたデタラメを作る

11 高度なプログラミングが可能なビジュアル言語

Viscuit with new functions for advanced programming～レーザ光の高速乱雑変動を利用した物理乱数生成～～プログラミング上の様々な拡張をした新ビスケット～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

予測不可能性など品質が保証された
高速乱数生成器は、安全な通信への応用などの際の重要な要素技術となります。これまでカオスレーザを使った高速な乱数生成器を提案してきました。今回は生成された乱数の品質保証理論およびその実験的検証に関して紹介します。

カオスレーザを用いた高速な物理乱数生成器において、ミクロノイズとカオスの不安定性に基づく生成乱数
列の予測不可能性を保証する理論を提唱してきました。今回、実験によりこの乱数品質保証理論を確かめる
ことに世界で初めて成功しました。

今後益々発展が期待されるネット
ワーク社会において機密情報の秘匿通信の重要性は増し、高速で品質の保証された物理乱数生成技術は必要
不可欠なものとなります。我々の物
理乱数生成器の研究により、誰もが安全で高速な通信ができる環境が実現することをめざします。

プログラミング入門用のツールとして、ビスケットは一定の評価を得てきました。入門後にどこへ進めばよ
いか、といった要求も出てきました。
そこで、より高度なプログラミング
へ連続的に進むことができるように
機能拡張を行いました。

規模の大きなプログラムをビスケッ
トで作ることができます。他人の作ったプログラムをライブラリとして使うことができます。Androidな
どのタブレットとPCとで同じアプリが使用できます。ビジュアルだけで高度なシステムを構築することができます。

コンピュータのアプリケーションを「自分で作って、自分で使う」ことを可能にします。もともとコン
ピュータとはそういうものでした。
誰もが情報化革命に能動的に参加できるようになります。

• 2012年度、約2,000名の子どもを対象にプログラミング入門授業を実施 （NTTドリームキッズ、教育スクェアｘICT、公立学校、NPO）• その中で、子どもたちが自ら教材を作成し、それで学べる、より高度なプログラミング環境への期待が高まった（遊びのツールだけではなく、使えるツールにしたい）

0 1 0 0 1 0 1 0

観測困難な不確定さ
戻り光が引き起こす
不安定なダイナミックスによってって観測し易い不確定さ

乱数

ビスケットの拡張機能
ビスケットが使われている様子

NTTグループCM「君の未来篇」より【拡張機能１】 絵の継承[1]の導入
大規模なプログラミングを可能にする仕組みとして、
オブジェクト指向なプログラムの再利用を導入

実験により検証
予測不可能なミクロノイズが拡大される様子

不安定ダイナミックスの効果

光強度

不安定な時間領域でミクロノイズがマクロな領域に拡大
予測不可能

光強度の観測値はミクロノイズに依存「車はすすむ」「馬と人」は「車」を継承
制作中のシステムの画面【拡張機能２】分散された複数の紙によるビジュアルプログラミング• 従来のシステム：一般的Web技術＋ビスケットアプリ
複数の個別の作品をWeb技術で相互に関係を持たせているだけ• 新バージョン：分散されてつながった「紙」と「ビジュアルな分散ポインタ」
Webプログラミングをせずに、ビジュアルだけで分散プログラミング可能

光強度から抽出された乱数は予測不可能

安定

不安定

時間

レーザの状態を安定から不安定に切り替える試行を繰り返し、
光強度の時系列を重ね書きしたもの。

関連文献

関連文献

[1] S. Sunada, T. Harayama, P. Davis, K. Tsuzuki, K. Arai, K. Yoshimura, A. Uchida, “Noise amplification by chaotic dynamics in a delayed
feedback laser system and its application to nondeterministic random bit generation,” Chaos 22, 047513, 2012.
[2] K. Arai, T. Harayama, S. Sunada, P. Davis, “Randomness in a Galton board from the viewpoint of predictability: Sensitivity and statisticalbias of output states,” Physical Review E 86, 056216, 2012.

連 絡 先

新井 賢一 (Kenichi Arai)

ネット上に広がる巨大な模造紙で子どもたちが学び合うプラットフォーム[1] 原田康徳, “ビスケットへの絵の継承の導入,” 第52回プログラミングシンポジウム, 2011.

連 絡 先メディア情報研究部 信号処理研究グループ- 26 -

原田 康徳 (Yasunori Harada)

メディア情報研究部 コミュニケーション環境研究グループ- 27 -

革新的コンピューティング

革新的コンピューティング

ビスケットの広がりと期待

カオスレーザによる乱数生成の理論

12Syntactic parsing based on statistical grammar induction

計算機による自動英文法解釈

13～統計的文法獲得技術に基づく構文解析～

Statistical machine translation from foreign languages to Japanese

言語の壁をどう越える？
～英語・中国語・韓国語から日本語への統計翻訳～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

英語や日本語を理解するには、文の主語や述語などを見分けて全体の文法を把握することが必要です。しかし、これを計算機で自動的に行うことは容易ではありません。本展示では、自動的に英文法解釈を行う計算機プログラムの仕組みを紹介します。

正解の文法解釈が付与された英文データから、文脈に応じた適切な文法パターンを統計的に獲得する方法を開発しました。この方法を用いて構築された英語の構文解析システム
は、国際標準ベンチマークデータで世界一の精度を達成しました。

人の言葉を理解してコミュニケー
ションを手助けする計算機の実現を目指しています。特に構文解析は、文法的に正しく自然な文を生成する
機械翻訳や、英語学習者の作文の文
法誤りを指摘・修正する英文校正シ
ステムへの応用が期待できます。

対訳例文を大量に使って翻訳の規則
を確率的にモデル化し、機械翻訳を実現する「統計的機械翻訳」に関する研究です。この展示では、高精度なことばの解析と、語順の違いを克服する並べ替え技術とを組み合わせ、
英語・中国語・韓国語を日本語に翻訳する技術を紹介します。

多言語の学習データを独自に整備し、英語で培ってきた高度な言語解析技
術を多言語に拡張しました。英語や中国語は日本語と大きく語順が異なりますが、この解析結果を用いて「翻訳前に」日本語風に単語を並べ替えることで、高精度な日本語への翻訳を可能にします。

外国語で書かれた特許やマニュアル
等の技術文書を日本語で探したり読んだりすることができるようになり、
海外の情報を効率的に参照することができるようになります。将来的にはより一般的な文書や話しことばへも対象を広げ、言語の壁を越えたコ
ミュニケーションを実現します。

革新的コンピューティング

解釈A

計算機による英文法解釈の仕組み

文
I saw the manin the house.

構文解析
プログラム

名詞

[本展示のポイント]

文

よく現れるパターン

動詞句
動詞句

正解の文法解釈が付与されたデータ

解釈B：確率0.6（家の中で）人を見た

利用鼓风机马达1，使鼓风机 2旋转。

教師データ（一般分野：新聞等）

教師データ（特許）

正解なしデータ（特許）
正解なしデ
タ（特許）

単語品詞正解係り受け正解

単語品詞正解係り受け正解saw the man in the house

単語品詞不明係り受け不明（家の中の人）を見た
言語の壁を越える技術②

文法解釈によって文の意味が異なる【主辞後置並べ替え】 (主辞≒係り受け関係の「係り先」)

韓国語と日本語は語順がほぼ同じなので並べ替えない日本語の特徴「主辞後置性＝左から右に係る」を利用

文法パターン辞書の獲得（ⅰ）文法タグの適切な粒度を決定

助詞の「が」「を」を補完（ⅱ）文法パターンの適切な大きさを決定
並べ替え

２つに細分化

文法パターンとは、正解の文法解釈をブロックに分割し、文法タグを細分化したものです。
正解の文法解釈が付与された英文データ（人手で作成、約４万文）

名詞

ステップ1：
確率0.1

名詞-1

I openthe box

３つの
ブロック

動詞句

動詞

I

名詞-2

動詞

名詞-2

open

the boxステップ2：
確率0.3

ステップ3：
確率0.7

文

文

名詞-2
名詞-2
I

動詞句
動詞

名詞-1

名詞-1
名詞-1

動詞句
動詞

名詞-2

the box

２つの
ブロック

I
“open”は主語と目的語を取るopen（ノトゥ部）（形状）

対訳文（特許）数万～数百万文(言語・分野により異なる）

open너트부 1 의 외주 는 6 각
（外周）

（角）

형상 으로 형성 되 ᆫ 다 .
FIG.2 は control deviceof sectional view is.

鼓风机 马达 1 を 利用，
鼓风机 2 を 旋转 使。

学習器

翻訳パターンの統計から規則を学習

特許用翻訳規則

view→図: 0.8
view→見る: 0.1…

対象分野に適応可能（形成）

並べ替え済みなので（ほぼ）無視できる問題①語句翻訳問題②語句並べ替え

sectional view
→ 部分図? 断面図?

制御装置 の 断面図?
断面図 の 制御装置?

語句翻訳のみなので容易に解ける！

名詞-2
the box

関連文献

図２は制御装置の断面図である。

送風機モータ1を利用して、送風機2を回転させる。

ナット部1の外周は六角形状に形成される。

関連文献[1] H. Shindo, Y. Miyao, A. Fujino, M. Nagata, “Bayesian Symbol-Refined Tree Substitution Grammars for Syntactic Parsing,” in Proc. ACL,
2012.（Best Paper Award 受賞）[2] 進藤裕之，宮尾祐介，藤野昭典，永田昌明, “シンボル細分化を適用した階層Pitman-Yor過程に基づく木置換文法獲得法と構文解析への応用,” 言語処理学会第18回年次大会，2012.（最優秀賞受賞）[3] H. Shindo, A. Fujino, M. Nagata, “Insertion Operator for Bayesian Tree Substitution Grammars,” in Proc. ACL, 2011.

連 絡 先

進藤 裕之 (Hiroyuki Shindo)

主辞(係り先)を主辞後ろに並べ替えれば
他 が 她 を 爱
（彼）（彼女）
日本語風の語順になる【統計的機械翻訳】

動詞句
名詞

他

主辞
爱
她

ベイズ理論に基づく新たなサンプリング法の開発によって、膨大な可能性の中から最も確率の高い文法タグと文法パターンの組み合わせを同時に探索することができます。

文

動詞

頻出する文法パターンは、なるべく一つのブロックにします。

名詞-2： 普通名詞

[本技術のポイント]

文
名詞

名詞-1： 代名詞

너트부1의 외주는 6각형상으로 형성된다.

大量のデータを用い
対象言語・分野の高精度な言語解析が可能

係り受け解析

形態素解析（単語分割と品詞付与）

前置詞句

韓国語

[1] J. Suzuki, H. Isozaki, X. Carreras, M. Collins, “An Empirical Study of Semi-supervised Structures Conditional Models for Dependency
Parsing,” in Proc. EMNLP, pp. 551-560, 2009.
[2] 鈴木潤, Kevin Duh, 永田昌明, “拡張ラグランジュ緩和を用いた同時自然言語解析法,” 言語処理学会年次大会, pp.1284-1287, 2012.
[3] H. Isozaki, K. Sudoh, H. Tsukada, K. Duh, “HPSG-based Preprocessing for English-to-Japanese Translation,” ACM TALIP, Vol. 11, Issue
3, Article No. 8, 2012.

連 絡 先

協創情報研究部 言語知能研究グループ- 28 -

須藤 克仁 (Katsuhito Sudoh)

協創情報研究部 言語知能研究グループ- 29 -

メディアとコミュニケーション

統計的な情報を利用して文法パターン辞書を獲得

I

中国語【高精度多言語解析】 「半教師あり学習」に基づく高精度多言語解析基盤

名詞句

動詞
名詞

I saw the man in the house

FIG.2 is a sectional viewof the control device.

言語の壁を越える技術①

動詞句

名詞

文法パターン
辞書

英語

あまり現れないパターン

名詞
前置詞句

：確率0.1

14 「触りながら読む」 読文を実現： Yu bi Yomu

A new method for reading dynamic texts using finger movements

15

How transmission lags influence multilingual communication

国際電話会議への参加を楽にする方法～なぞり動作を利用した動的な文章表示方式～～0.2～0.4秒の通信遅延が非母語者に及ぼす影響～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

“Yu bi Yomu”はタブレットPC端末の特徴を活かした新しいデジタル文章表示方式です。読者が画面を指でなぞると、その位置の文字が現れては消えてゆきます。文字表現に時間的な情報を加えることで、そこに話し言葉が持つようなリズム、抑揚、余韻を感じることができます。

“Yu bi Yomu”は文字の現れ方・消え方を変化させるだけで、文章内容の印象を変化させることができます。
また、自分で読むだけでなく、なぞり動作で生じる動的な文章を記録、送付することで、個人の特徴や感情を表現する豊かな文字コミュニケー
ションを行うことができます。

文字と音声の中間的な特徴を持つ“Yu bi Yomu” は、新たな文章表
現の可能性をひらきます。また、
メール文や電報といった電子的な文章のやり取りに、書き手の思いをより豊かに伝える手段を提供します。将来的には、教育支援分野への適用も視野に入れています。

国際電話会議に非母語で参加することは大変困難です。対面会議では問題なく発言できても、電話会議になると理解や発言頻度が低下してしま
いがちです。本研究では、電話会議
中に非母語者が過負荷な状態に陥っていることに注目し、負荷を軽減するための支援方法を考案しました。

母語が同じ話者同士の対話に対して、通信遅延がいかに問題であるかを示す研究は多数存在し、これまで通信遅延は除去するべきものとして扱われてきました。これに対して、本研究では、やり方によっては、僅かな遅延が非母語者にかえって有益になり得ることを示しました。

非母語者でも大きな負担なくリアル
タイムの多人数会議に参加することができるようになります。これによって、母語者と非母語者が対等に意思決定プロセスに加わることができる社会の実現に貢献します。

・ 非母語者が会議内容を把握できた度合

4

0

0-20

提案手法

20-40

40-60

60-80 80-100(%)

特徴2：なぞり動作による文字表示制御→文字の出現・消滅時間の操作によって異なる
読文印象が生じることを実験で確認しました。

→指先の動きの違いで、簡単に抑揚や、個人の違いを作り出すことがきます。

0-20

20-40

40-60

60-80 80-100 (%)

録音済みの会議に対する理解度が向上

母語者間の話者交代時に微小な無音区間を挿入する
ことによって、非母語者の不足しがちなリソースを補う。
時間

オリジナルの音声

0.2 秒または0.4
0.2 秒又は
0.4 秒の無 秒の音区間の挿入無音区間(gap)を挿入

非母語者

非母語者

母語者

母語者

時間

無音区間挿入語の音声

理解度を表すスコア（客観尺度）

リアルタイム電話会議への影響

特徴1：時間的特性を付与した文章表示
Dynamic text（ダイナミックテキスト）

Audio
0conf.

・ 母語者への影響

・ 非母語者への影響
Gap Length

0 sec

Average rate of
spontaneous speech

0.76

Speaking effort

0.2
sec

0.4
sec

0.81

0.69

Gap Length

0 sec

0.2
sec

0.4
sec

Speaking effort

4.2

4.2

4.0

Comprehension effort

4.4

4.5

4.3

Frustration

1.7

1.8

2.1

(5pt Likert scale: higher is better)(5pt Likert scale: higher is better)
3.1

3.4

2.3

Comprehension effort

4.1

4.1

3.5

Percentage of conversations
initiated simultaneously

Frustration

2.9

2.7

3.1

Frequency of speaker switches(5pt Likert scale: higher is better)(5pt Likert scale: higher is better)(5pt Likert scale: lower is better)

理解の平易さ（主観尺度）(5pt Likert scale: lower is better)(# of speaker switches per min.)

22%

＜

33%

＜

41%

7.8

＞

7.3

＞

6.6

録音済みの音声会議に無音区間を挿入した場合、非母語者の会話に対する理解度が有意に増加する。リアルタイムの電話会
議では、無音区間の挿入によって非母語者に一定のメリットを生むものの、会話に不自然さが生じるといった負の効果も生じる。

関連文献

関連文献

[1] 丸谷和史, 植月美希, 安藤英由樹, 渡邊淳司, “ユーザのなぞり動作に基づく動的な文章表示形式,” 情報処理学会論文誌, Vol. 53, No. 9,
pp.1-11, 2013.
[2] K. Maruya, M. Uetsuki, H. Ando, J. Watanabe, ““Yu bi Yomu”: Interactive reading of dynamic text,” in Proc. ACM MultiMedia, 2012.
[3] 丸谷和史, 渡邊淳司, “文書表示装置, 文書表示方法及びプログラム,” 特願2011-168229, 2011年8月1日.

連 絡 先

丸谷 和史 (Kazushi Maruya)[1] N. Yamashita, A. Echenique, T. Ishida, A. Hautsaari, “Lost in Transmittance: How Transmission Lag Enhances and Deteriorates
Multilingual Collaboration,” in Proc. The 16th ACM Conference on Computer Supported Cooperative Work and Social Computing (CSCW'13),
pp. 923-934, 2013.
[2] 山下直美, エチェニーケアンディ, 葛岡英明, 石田亨, ハウタサーリアリ, “国際電話会議の負担を軽減する手法の提案と評価,” 情報処理学会
論文誌, 2013 (to appear).

連 絡 先

人間情報研究部 感覚表現研究グループ- 30 -

山下 直美 (Naomi Yamashita)

メディア情報研究部 コミュニケーション環境研究グループ- 31 -

メディアとコミュニケーション

メディアとコミュニケーション

作成者はなぞり動作で生じる動的な文章を記録して、他の人に送付します。受信者は送られた動的な文章を再生すること
で、作成者の抑揚まで含めた文章が伝達されます。

Face-to-face
Audio conf.

2to-face

使用法2：作成した表示を送付する

薄く表示された文字に触れると文字が徐々に現れ、消えてゆきます。

・ 非母語者が言いたいことを発話できた度合

4Face-

2

使用法1：自分でなぞり動作を行う
自分のなぞりによって文字が現れ・消える
ことで、声を出して文章を味わうような、深い読文が行えます。

日本を代表する研究者の7割が、英語の電話会議で言いたいことの半分も発言できないと感じている。
（人数）

生き生きした読文印象

動機
（人数）

動的な文字表示となぞり動作を組み合わせることで話し言葉のようなリズム、抑揚を持つ文章表示方式を実現

16Analyzing expression/perception of interlocutors' empathy

せつなの微笑みがこころを伝える

17 録音機器を協調させて目的音声を聞き分けます

Probabilistic fusion of different recording devices～対話者間の共感／反感に関する客観的解釈モデルの提案～～録音ノードからの仮説統合に基づく音声強調 ～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

対話は社会的な生活を営む上で不可欠ですが、意思疎通の些細な齟齬から対人関係を損なうことも少なくありません。その問題解決を目指し、本研究では、対話中の二者間の共感／反感に関する外部観察者の解釈を、
対話者の行動から推定可能なモデルを世界で初めて提案しました。

従来の研究がある一人の感情状態を推定しようとしていたのに対し、本研究では対話中の二者の間の関係性を推定するという新たな問題に取り組みました。さらに、感情という曖
昧な対象に対し、観察者の解釈のばらつきの分布を推定するという新しい研究の枠組みを提案しました。

感情がどのような行動として表出され、それが他者にどのように知覚されるかの現象の解明を目指します。
そこから、円滑な対話を実現するための遠隔対話システムの設計指針を提供し、また、コミュニケーション
障がいの現象を解明するための研究に役立てることが期待されます。

実環境で収録された音声には、目的
音声とともに雑音（背景雑音や目的
話者以外の音声）が含まれます。ここでは、複数の録音機器(ICレコー
ダやパソコン等)を協調させ、これらの雑音成分を除去し目的音声をきれいに抽出する技術※を紹介します。

下図のような環境で、全録音機器を単純に用いて従来技術を動作させても、録音機器の特性（例：標本化周波数）の違いのため、効果的な目的
音抽出はできません。そこで、各録音機器内で目的音抽出を行い、それらの仮説を統合し、より高精度な目的音抽出を行う方法を開発しました。

身近にある録音機器を互いに協調させて様々な音声や目的音を効果的に抽出することができるようになれば、専用の大きな録音機器を用いずとも、
あらゆる場面できれいな目的音の収録や、より精度の高い音声認識が可能となり、音声アプリケーションの応用範囲が大きく広がります。

 本研究の概要

対話中の二者間の共感／反感に関して、外部観察者がどう解釈するのかを対話者の行動から推定する。

対話の場

対話二者

観察者

投票

0

人の解釈の多様性を含めて推定収録された声：混ざった声

反感【入力】表情、視線、頭部ジェスチャ

人の割合
1
どちら
でもない

どちら
でもない

問題：ICレコーダやパソコン等を使って収録をすると…目的音声以外の雑音も収録される

共感

共感
反感

（※ＮＴＴ ＭＤ研と協調して研究推進）

Aさんの声
さんの声

Ｂさんの声
Ｃさんの声

【出力】解釈の分布

計算機

Bさん

Bさんの声
さんの声
Aさんの声
さんの声

Ｃさんの声

Cさんの声
さんの声

Aさんの声
さんの声
Bさんの声

 観察者の解釈を推定するカギ例）笑顔に対して相手の笑顔が遅れると反感に見えやすい例）笑顔と笑顔の組は共感に見えやすい
笑顔と苦笑いの組は反感に見えやすい

二者の表情の時間差（受け手の反応時間）
早い（200~400ms）

人物１の表情

微笑

微笑

例）
苦笑

対応

人の表情表出（従来知見）

ストレート

対応

観察者の解釈共感
どちらでもない
人物２の表情

反感

Aさん

逆説的

自発的

意図的

例）Thunberg ’07

例）Dimberg et al. ’02

確率： 0

1 0

1 0

※視線、頭部ジェスチャについても、共起の仕方で解釈の傾向が変化

 モデルと推定精度
・上記の関係性を確率モデル化 ・データ： 計70分間の対話に対する5~9名の観察者の解釈・時間差情報を使用することで反感の推定精度が14ポイント向上（66%→80%）
関連文献

1

各機器からの「仮説（＝ある時間・周波数における各目的音源の存在確率値）」の統合に基づく
目的音声抽出フィルタの学習

Aさんの声
Bさんの声
Cさんの声

課題解決方法：複数の録音機器を協調させて目的音声のみを取り出す
関連文献[1] S. Kumano, K. Otsuka, M. Matsuda, J. Yamato, “Analyzing perceived empathy/antipathy based on reaction time in behavioral
coordination,” in Proc. International Workshop on Emotion Representation, Analysis and Synthesis in Continuous Time and Space(EmoSPACE), 2013.
[2] 熊野史朗, 大塚和弘, 松田昌史, 大和淳司, “二者間の行動の一致性と時間差に基づく外部観察者の共感解釈の分析,” 電子情報通信学会HCG
シンポジウム, pp. 330-337, 2012. （優秀インタラクティブ発表賞受賞）

連 絡 先

熊野 史朗 (Shiro Kumano)

Cさん哄 微 無 他 苦 考 哄 微無 他苦 考 哄 微 無 他 苦 考

哄笑
微笑
無表情
その他
苦笑い
思考中

表情の不一致微笑

ポイント：この傾向を共起確率行列で記述した

反感

例）

どちら
でもない

共感

表情の一致

遅い（400~800ms）

メディアとコミュニケーション（２）二者の表情の組合せ（共起）確率

メディアとコミュニケーション（１）二者の表情の一致性と時間差

[1] M. Souden, K. Kinoshita, T. Nakatani, “An integration of source location cues for speech clustering in distributed microphone arrays,” inProc. International Conference on Acoustic, Speech and Signal Processing (ICASSP), 2013.
[2] ソウデン メレズ, 木下慶介, 中谷智広, “ノード内・ノード間情報の統合に基づく分散マイクアレイ音源分離,” 日本音響学会春季研究発表会, pp. 797-798, 2013.

連 絡 先メディア情報研究部 コミュニケーション環境研究グループ- 32 -

木下 慶介 (Keisuke Kinoshita)

メディア情報研究部 信号処理研究グループ- 33 -

18 誰がどのように話しても正確に聞き取ります

Speech recognizers robust to casual speech variations

19～話者や発話スタイルの多様性に頑健な音声認識技術～

Bayesian semi-supervised audio event recognition

知らない音も書き起こす～ ベイジアン半教師あり音響イベント認識 ～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

音声認識技術は高度な進化を遂げ、丁寧な話し方で正しい文を話せば高い精度で認識できるようになってきています。しかし、未だに話す人や発話の丁寧さ等によって性能が上下してしまいます。本展示ではこのよ
うに多様な音声を適切に処理する音
声認識技術について紹介致します。

音の多様性を吸収する多段の情報抽出方法を大量の音声データから自動で学習し、その上で、音声と言語の対応を、音声言語一体型統計モデル
により表現する手法を考案しました。
この手法で音声と言語の両面から多様性を吸収することで、世界トップ
クラスの性能を実現しました。

誰が何処で何をどのように話しても正確に聞き取ることのできる、頑健な音声認識技術を目指します。このような音声認識技術を用いることで、
対話エージェント技術、音声データ
マイニング技術のさらなる高度化を可能にし、様々な情報機器を自然に活用できる社会を目指します。

膨大なメディアデータを自在に検索して活用するためには、メタデータに頼るだけでなく、音や映像自体から中身の情報を自動的に引き出す技
術が必要不可欠です。この展示では、音響信号に含まれる音響イベント（音によって人に認識される事象）
を書き起こす技術を紹介します。

一部区間のラベルを手がかりとして、
重なり合った音響イベントの全区間を特定します。さらに、音響信号に存在しうる音響イベントの数を学習することにより、ラベルに無い音を、「知らない音（未知の音響イベント）」として、書き起こすことができます。

人間の耳のように、どんな音が、どこで、どんな風に鳴っているかを聞き分けて認識することで、クラウドにおける大量の音コンテンツの可視化を目指します。これにより、特定の音を含む動画検索や危険な音を知らせてくれる監視・行動支援システ
ムなど、様々な応用が期待されます。

「どんな」音響イベントが、「いつ」鳴っているか認識したい
難しさ

環境音
音楽
話声歌声
拍手 効果音・ 音響イベントは重ね合わさっている・ 音響イベントがどんな音かを、事前に学習しておかなくてはならない
・ 知らない音は認識できない

半教師あり学習によって、音響イベントの全区間を特定して認識する
時間

一部区間のラベル
音楽
効果音

キーポイント：
音の重なりを考慮しながら、存在しうる
音響イベントの数を学習すること

音楽

拍手

・・・

知らない音
??

いつ?

拍手
話し手1
話し手2
時間

適用例（期待される効果）
特定の音を含むコンテンツ検索
動画サイト

従来

ネットラジオ
Podcast
関連文献

混合音の
特徴量

音声表現認識（話し方や歌い方の分成合成）の前処理
話声

歌声

今後

関連文献

[1] Y. Kubo, T. Hori, A. Nakamura, “Integrating deep neural networks into structured classification approach based on weighted finite-statetransducers,” in Proc. 13th Annual Conference of the International Speech Communication Association (INTERSPEECH), 2012.
[2] Y. Kubo, T. Hori, A. Nakamura, “Large vocabulary continuous speech recognition based on WFST structured classifiers and deepbottleneck features,” in Proc. The 38th International Conference on Acoustics, Speech, and Signal Processing (ICASSP), 2013.

連 絡 先

久保 陽太郎 (Yotaro Kubo)

危険な音を知らせてくれる
監視・行動支援システム[1] Y. Ohishi, D. Mochihashi, T. Matsui, M. Nakano, H. Kameoka, T. Izumitani, K. Kashino, “Bayesian semi-supervised audio event
transcription based on Markov Indian buffet process,” in Proc. 38th International Conference on Acoustics, Speech, and Signal Processing(ICASSP), 2013.
[2] 大石康智, 持橋大地, 松井知子, 中野允裕, 亀岡弘和, 泉谷知範, 柏野邦夫, “mIBPに基づくベイジアン半教師付き音響イベントダイアライゼー
ション,” 日本音響学会2013年春季研究発表会, 1-9-6, pp. 19-22, 2013.

連 絡 先メディア情報研究部 信号処理研究グループ- 34 -

大石 康智 (Yasunori Ohishi)

メディア情報研究部 メディア認識研究グループ- 35 -

メディアとコミュニケーション

メディアとコミュニケーション

どんな特徴の音響イベント？

20

Video search technology with visual examples

目的のものが映っているシーンを探す

21～静止画クエリによる映像検索技術～

Graph-based similar picture book search with weighted child words

この子にぴったりな絵本を探す～幼児単語に重みを置いたグラフベースの類似絵本検索～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

特定の人物/物体/場所などの静止画を検索キー（クエリ）として、目的のものが映っているシーンを大量の映像の中から検索する技術の研究です。このような映像検索はインスタンスサーチと呼ばれ、映像検索分野の国際的なコミュニティTRECVIDの重点課題の一つになっています。

新たに確率的なコンテンツベースの映像検索手法を考案しました。本技術では検索クエリであるインスタン
スと各映像間の適合性を確率的に評価し、大量の映像をランキングします。これによりTRECVIDのデータを使用した実験で、現在世界最高レベ
ルの検索精度を記録しています。

雑音があったり、目的のものの見た目が異なっていても情報検索を可能にするスマートなメディア探索技術の実現をめざします。この技術は、身のまわりの音・画像・映像を用いて、大量の音や映像の中から必要な情報を瞬時に探し出せるメディア社
会の実現に寄与します。

子どもの言語・認知発達を促す手段
として、絵本の読み聞かせが注目されています。今回、たくさんの出版された絵本の中から子どもにあった
絵本を容易に選べるようにするために、今読んでいる絵本と類似の絵本を簡単に検索できるシステムを構築しました。

これまで困難だったひらがな・カタ
カナが多く含まれるテキストに強い
形態素解析器を開発し、絵本の高精度な解析が可能になりました。さらに、幼児の各発達段階での単語情報を加味するとともに、我々の開発したグラフ探索アルゴリズムによる、高速な類似探索を実現しています。

絵本を介した子どもの国語力アップのための教育プログラムでの利用、子どもや養育者を対象にした絵本購入のための推薦システム、それぞれの子どもに合った新しい絵本の創作支援システムなどへの応用が考えられます。

・インスタンスサーチ
大規模映像データベース

インスタンス例 「スティーブン コルベア」

インスタンス例 「ペプシコーラの丸いロゴ」

・絵本選びのための類似絵本検索システム

インスタンス例 「パンテオン神殿」

インスタンス ＝ 特定の人物・物体・場所「システムはインスタンスが映っている映像をデータベースから検索し、適合度順でランキングして検索結果をユーザに提示する」

・提案手法(BM25M: BM25 with masked query)

マスク処理画像

NTT-NII(2013/1/28)
検索精度

0.3
映像No. 2 0.25
0.2
0.15
・・・
0.1
映像
No. 76751 0.05
0北京郵電大学(2012/8/31)
北京大学(2012/8/31)
香港大学(2012/8/31)
NTT-NII(2012/8/31)

ポイント2

幼児の語彙発達研究の成果を活用

・幼児の各月齢で、どのような単語を理解しているかについての研究データの活用

ら
の
接尾 名詞
ら
の

もり
動詞
もる

に
助詞
に

はる
動詞
はる

が
きた よ
助詞 名詞 助詞
が
きた よ

もり
に
はる
名詞 助詞 名詞
森
に
春

が
き
た
よ
助詞 動詞 助動詞 助詞
が 来る
た
よ

バス

うさぎ

連 絡 先

メディア情報研究部 メディア認識研究グループ

グラフを索引とする類似探索アルゴリズム

初期
頂点

現在の
指定した頂点
絵本

月齢

連 絡 先

ポイント3

・有力な従来法（ハッシュ法）と比べても6倍以上高速・検索結果表示を従来のリストだけでなくグラフでも行える
ため直感的理解が容易提出された検索結果(約25チーム)

関連文献- 36 -

ぼく
名詞
ぼく

ぼくら の
名詞 助詞
僕ら
の

関連文献
[1] M. Murata, T. Izumitani, H. Nagano, R. Mukai, K. Kashino, S. Satoh, “NTT Communication Science Laboratories andNational Institute of Informatics at TRECVID2012: Instance Search and Multimedia Event Detection Tasks,” in Proc.
TRECVID2012 Workshop, 2012.
[2] 村田眞哉, 永野秀尚, 向井良, 柏野邦夫, 佐藤真一, “画像をクエリとしたインスタンス映像検索,” 信学技報 PRMU2012-175, pp.
215-219, 2013.

村田 眞哉 (Masaya Murata)（小手鞠るい著、たかすかずみ絵「はじめてのもり」、金の星社、2010年より ）今回開発した形態素解析システム（正しく解析）

・BM25Mの映像検索タスクに対する有効性を確認
・世界最高レベルのインスタンス検索精度を記録

インスタンスと各映像間の適合性を確率的に評価

ぼくらの もりに はるが きたよ

従来の形態素解析システム（かな部分で誤り）

絵本同士の関連性が素早くわかる単語を獲得した
子どもの割合: 強調特徴点(技術のポイント)
インスタンスに特有か否か、及び各映像に対する識別性の観点からク
エリ画像群の特徴点を重み付けし、それらを多く含む映像を検索する

入力文（絵本のテキスト）

出現する単語分布の近さをもとにグラフを作成

・検索精度(TRECVID 2012 dataset): 画像特徴点 フレーム画像 映像No. 1: マッチした特徴点

・大規模な辞書を使い、ひらがな・カタカナ語の元の漢字を考慮し、解析器を再学習

月齢

初期頂点及びより類似する
その隣接頂点と頂点（絵本）を「指定した絵本」との 選択し( )展開( )類似度計算

最類似頂点を発見[1] 平博順, 藤田早苗, 小林哲生, “絵本テキストに現れる語彙の分布,” 日本赤ちゃん学会第12回学術集会, p. 92, 2012.
[2] 平博順, 藤田早苗, 小林哲生, “絵本テキストにおける高頻度語彙の分析,” 平成24年度情報処理学会関西支部大会, F-103, 2012.
[3] 藤田早苗, 平博順, 小林哲生, “絵本のテキストを対象とした形態素解析,” 言語処理学会第19回年次大会, A6-4, 2013.
[4] K. Aoyama, K. Saito, H. Sawada, N. Ueda, “Fast approximate similarity search based on degree-reduced neighborhood graphs,” in Proc.
17th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD), pp. 1055-1063, 2011.

平 博順 (Hirotoshi Taira)

協創情報研究部 言語知能研究グループ- 37 -

メディアとコミュニケーション

メディアとコミュニケーション「ブルックリン橋」「ペプシコーラの丸いロゴ」「スティーブン コルベア」
1. 映像No. 65213
2. 映像No. 55238
3. 映像No. 20169
4. 映像No. 1963
・・・
1000. 映像No. 62469
検索結果（映像ランキング）

ひらがな・カタカナに強い形態素解析器

ポイント1

・子どもの言語・認知発達に良い影響
・しかし、適切な絵本選びは困難
そこで

インスタンス例 「ブルックリン橋」

インスタンス画像

・絵本の読み聞かせ22

Cross-linguistic universality of child word learning periods

こどもが単語を覚える順番の謎

23 「花」と「鼻」、こどもはいつから聞き分ける？

Perceptual development of Japanese phonemes in children～幼児語彙学習期間の言語共通性 ～
どんな研究

どこが凄い

どんな言葉をいつ覚えるかをチェック
集計
たんご

わかる

わかる/いう

こんど
いたい

複数の言語でカテゴリ、単語（動詞）毎に順序を比較
カテゴリ

挨拶や玩具
はすぐ
わかる！

どこが凄い

めざす未来

語彙学習原理を解明することにより、ヒトでのみ進化した言語能力の解明を実現します。 この過程で得られた知見をもとに、子どもの健やかな知的発達を後押しする社会システムの実現に寄与します。また、解明された原理をもとに、ヒトをモデルとする新たな計算原理を確立します。

日本語には、他の言語とは異なる特有の音声構造があります。この音声構造を日本語を母語とする幼児がどのように知覚しているのか、年齢によって知覚の精度がどのように変化するのかをタブレットを使った行動
実験によって捉え、日本語音声知覚の発達過程を詳細に検証しました。

幼児に簡単に適用できる実験手法をタブレットに実装することで、客観的なデータを効果的に取得できるよ
うになりました。さらに、定型発達児と言語聴覚療法を受けている幼児を比較することで、ことばの遅れのある子どもがつまづきやすい知覚の難しい音声特徴を明らかにしました。

これまで未解明の日本語音声知覚の初期発達過程を比較検討することで、ことばの獲得と個々の音声特徴の知覚との関係を明らかにし、発達・教育分野への基礎的知見の提供を目指します。特に、言語聴覚療法・発達スクリーニングといった種々の臨床的場面への貢献が期待できます。

日本語特有の音声構造
英語と日本語に共通の音声対立

理解日齢

発話

0.5

理解～発話
までの日数

理解

英語
英語特有の音声対立

日齢
単語（動詞）

相関係数：
0.73

日本語
世界の言語

例）rink vs. link

アクセント 例）時 vs. 朱鷺母音長 例）朱鷺 vs. 冬季
促音 例）時 vs. 突起

タブレットを使った種々の音声知覚実験
単語弁別実験

単語判定実験
「ハナ」はどっち？

アメ（雨）

アメ（飴）

アメ（飴）

モッポはどっち？

幼児でも簡単に正答率・反応時間を取得→日本語音声知覚の発達過程の詳細な解明に貢献

“食べる”
はすぐ
わかる！
“落ちる”は
わかって話
すまで
早い！

相関係数：
0.73

モッポだよ。

•こどもが単語を覚える順番：言語によらず共通性がある。
•理解日齢と理解～発話までの日数の間では、単語の学習順番が大きく異なる。
関連文献

モポだよ。

定型発達児と言語聴覚療法を受けている子どもたちを比較→ことばの遅れのある子どもにとって特に知覚の難しい音声特徴を明らかに

無意味語学習実験
関連文献[1] Y. Minami, T. Kobayashi, H. Sugiyama, “Cross-linguistic universality of word acquisition ages in comprehension and production,” in Proc. WILD,
2013.
[2] Y. Minami, T. Kobayashi, “Influence of predominance in noun learning examined by period from comprehending to producing words: A crosslinguistic statistical investigation using CDI,” in Proc. WILD, 2013.
[3] P. S. Dale, L. Fenson, “Lexical development norms for young children,” in Proc. BRMIC, Vol. 28, pp. 125-127, 1996.

連 絡 先

南 泰浩 (Yasuhiro Minami)

日本語特有の音声対立例）bass vs. pass ≒ バス vs. パス[1] R. Mugitani, A. Hayashi, “Word-identification and discrimination of Japanese pitch accent in preschoolers,” in Proc. The
36th Annual Boston University Conference on Language Development (BUCLD), 2011.
[2] 麦谷綾子, 林安紀子, “３～５歳の幼児における日本語特有音声の知覚特性,” 日本音響学会春季研究発表会論文集, 2012.
連 絡 先メディア情報研究部 コミュニケーション環境グループ- 38 -

麦谷 綾子 (Ryoko Mugitani)

人間情報研究部 感覚共鳴研究グループ- 39 -

ヒューマンサイエンス

相関係数：
0.75

ポイント２：
理解～発話までの日数でも、カテゴリ・単語とも言
語間で高相関

どんな研究

理解～発話までの日数

理解～発話までの日数

ヒューマンサイエンス

オノマトペと動物はわかって話すまで早い！

ポイント３：
理解日齢と理解～発話までの日数：
カテゴリや語の獲得順序は異なる

めざす未来

理解日齢

理解日齢

相関係数：
0.77

ポイント１：
理解日齢では、カ
テゴリ・単語とも言語間で高相関理解・発話する幼児の割合

チェックリストを使って、いつどん
これまで、幼児は動詞より名詞を早な単語を覚えたかを多人数の幼児をく覚えると言われていますが、少数対象に調べました。このデータから、 の幼児を調べる、あるいは、品詞の単語を理解する日齢、および、理解頻度を求める以外で、この証拠を示してから発話するまでの日数を求めした例はありません。今回単語を覚た結果、日本語、英語とスペイン語
える時期を特定することにより、カ[3]で、単語を覚える順番に共通性がテゴリや単語の間に言語共通の順序あることを発見しました。
があることを初めて見出しました。

～幼児の日本語音声知覚の発達～

24

Playback system synchronizing phrases with respiration phases

呼吸と音楽の一期一会をめざして

25

Speech rhythm control by non-negative temporal decomposition

それっぽくしゃべります～呼吸の位相と音楽的フレーズを同期させる再生システム～～非負値時空間分解法に基づく発話リズムの抽出～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

同じ音楽を聴いていても、異なるよ
うに聞こえる時があると思います。
音楽を聴くと呼吸が変化することが知られていますが、我々はその呼吸変化が聞こえ方に影響する可能性に着目しました。音楽を呼吸に合わせて再生することで新たな音体験の可能性を探っています。

あらかじめ音楽に追従するべき呼吸の目標位相と同期重要度を設定する
ことで、音楽のフレーズを柔軟にユーザーの呼吸位相に一致させる再生法を新たに提案し実装しました。
単純な音階を使った実験データからは、心理的な影響が生じることが示
唆されています。

呼吸に限らず、生体情報をフィードバックする音楽呈示を行うことで、新たな音楽再生法を研究します。従来にない音の呈示法により、既存の音楽の楽しみ方の選択肢を増やすだ
けでなく、新たな音楽分野を創設できる可能性があります。

外国語でのコミュニケーションの困難さは、しゃべること、聞くことの両方において存在します。我々は、言語による発話リズムの違いを考慮することが、外国語の正しい聞き取
りや発話において重要であると考え、音声信号から発話リズムを抽出し、制御する技術を考案しました。

発話時の音声信号から発話リズムを抽出するための非負値時空間分解法というアルゴリズムを考案しました。
従来法（非負値行列因子分解）にはない音声に特化した制約を考慮しながら、高い精度で発話リズム（時間情報）を抽出でき、また発話リズムを制御できることが分かりました。

本技術は、外国語の聞き取りにおける発話リズムの重要性の検証のために大きく貢献できると考えられます。
将来、日本語母語話者の英語の発話
リズムを変換することで、英語が英語母語話者に伝わりやすくなり、英語でのコミュニケーションの苦労が軽減されるかもしれません。

再生システムブロック図

呼吸位相

Relative lung volume

スピーカー（ヘッドフォン）ユーザー

Y ≅ AΦ

Φ(τ’)

呼吸計測器

expire

0

5

10

目標位相
τ:再生位置15

Time [s]計測される呼吸波形

MIDI
シンセサイザ

呼吸位相と目標位相が共に近づくように、再生速度は設定されます。

S:音データ

呼吸位相抽出スペクトログラム

周波数 時間= 発話リズム
情報 情報

周波数 [Hz]スペクトログラムを周波数情報と時間情報に分解φ(t’)

inspireＭＩＤＩ. 音階の繰り返し

φ:呼吸位相

実験参加者

π/4

0.4
0.2

位相の差が小さい
0

0
Phase

Cycle

心理的快適度心理的興奮度ヒューマンサイエンス

π/2

0.6

Randomphase
cycle
random
F24

F25

M22 M23 M24 M25

実験参加者

0

1.0

2.0

3.0

0

MIDI上の位置 [tick]

音楽データには目標とする呼吸の位相も設定しておきます。
phase
cycle
random

0.8

0.4

0

心理的な正負（快適性）に一貫した差は見られず
F24

F25

M22

M23

M24

M25

実験参加者

世界初の試みとして目標位相と呼吸位相角を近づけて再生する方法を提案し、音階の繰り返し音で実験を行いました。本方式(phase) 、音階周期を平均呼吸周期に合わせる場合(cycle)と、ランダムに変化させる場合(random)で再生し比較しました。提案する再生方式が目的通り動作したことのみならず、再生方式の違いで心理的な覚醒度(arousal)に影響を与える可能性を見出しました。
関連文献

時間情報を入れ替えることによりそれっぽくしゃべらせる

YE = A E Φ E‘Rice is often served in round bowls.’

音素に対応した時間情報

発話リズムはネイティブ
英語母語話者っぽくしゃべる
日本語母語話者

YJ = A J Φ J

2.79 [sec]YJ → E = A J Φ E

日本語母語
話者の
時間情報
関連文献

[1] T. G. Sato, M. Ohsuga, T. Moriya, “Increase in the timing coincidence of a respiration event induced by listening
repeatedly to the same music track,” Acoustical Science and Technology, Vol. 33, No. 4, pp. 255-261, 2012.
[2] T. G. Sato, Y. Kamamoto, N. Harada, T. Moriya, “A playback system that synchronizes the musical phrases with listener’s
respiration phases,” in Proc. The ACM SIGCHI Conference on Human Factors in Computing Systems (CHI), 2013.
連 絡 先

佐藤 尚 (Takashi G. Sato)②隣り合う音素のみが時間情報に影響を及ぼすこと（調音結合）を考慮

英語母語
話者の
時間情報

0.6

0.2

①発話リズム（時間情報）を音素単位で表現するモデルを導入

4.0

1.0

心理的な覚醒（興奮）が高いと評定0.8

0.5[1] S. Hiroya, “Non-negative temporal decomposition of speech parameters,” in Proc. The 35th International Conferenceon Acoustics, Speech, and Signal Processing (ICASSP), 2010.
[2] S. Hiroya, T. Kitamura, “Generation of a vocal-tract movie based on sparse sampling,” in Proc. The 9th International
Seminar on Speech Production (ISSP), 2011.
連 絡 先廣谷 定男 (Sadao Hiroya)

守谷特別研究室- 40 -

人間情報研究部 感覚運動研究グループ- 41 -

ヒューマンサイエンス

計測された呼吸位相と目標呼吸位相 の位相差の平均 [rad]

3π/4

F24
F25
M22
M23
M24
M25

0

-π

音声であることを考慮した時間情報への制約

1

-π/2

ユーザーから計測した呼吸信号から位相を計算し、その位相と、音楽コンテンツにあらかじめ設定した
目標呼吸位相が近付くよう再生速度を調節します。
1.0π

音楽コンテンツ

π
π/2

同期重要度

Φ: 目標位相α: 重み

目標呼吸位相 [rad]再生速度制御ヒルベルト変換により呼吸の位相情報を取り出します。

時間 [秒]

V:再生速度26

Motor perception influenced by delayed visual feedback

見ることで感じる疲れや手ごたえ

27～映像遅延により変化する運動感覚～

Postdictive processing in vision

未来が過去を変える～視覚におけるポストディクション～

どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

ネットワークゲームなどのインタラ
クティブなサービスでは、通信遅延に起因する映像の遅れによって、抵抗感などの不快な感覚が生じることがあります。このような操作感の変化を引き起こす脳の情報処理のしくみを、心理物理実験によって調べました。

人は操作対象の映像の反応の遅れを、状況に応じて、筋疲労や重りを引く力として知覚することを明らかにしました。この発見は、運動中の主観的な体験が、視覚情報を利用した脳の潜在的なダイナミクス推定（状況解釈）のプロセスによって形づくられている可能性を示しています。

今回得られた脳内情報処理のしくみに関する知識は、通信の遅れがあってもストレスなく操作できるイン
ターフェイスを実現する指針になります。また、バーチャルリアリティ
におけるリアルな感覚の提示、リハ
ビリテーションでの疲労感軽減などへの応用も期待できます。

過去のモノの見え方が、未来のモノの見え方によって変わってしまう錯覚現象を発見しました。物理的な世
界はめまぐるしく変化します。変化する世界の情報を上手にまとめることで私たちの知覚を安定させる脳のしくみに一歩迫りました。

二つの物体の絵が離れた位置に順番に提示されると、一つの物体が動いたように見えます。この時、脳は二つの物体を一つの物体にまとめます。
二つの絵の特徴が違うと、その平均化を試みます。すると、はじめに提示された物体の絵が後から提示された絵の特徴に引っ張られるのです。

映像の見え方を支える脳の仕組みを解明することで、人間の特性を利用した情報提示技術の実現へとつながります。例えば映像中の対象の見間違えを減らす手法の提案や、逆に錯覚を積極的に利用して、映像中の対象の見え方を適切に操作する技術の提案につながります。

操作中に映像遅延⇒ 操作感の変化として知覚 脳が、自分の動きと遅延した
視覚情報のずれを尤もらしく説明するような感覚知覚を生み出す可能性を示しました。

映像に遅れ

通信遅延
など

 この知覚のしくみの理解は、ネットワークサービスの操作感を改善する技術を実現する上で、重要な鍵となります。

この不快な
感覚は何？

状況1

状況2

指の動きの映像が遅れている場合

カーソルの動きが遅れている場合⇒ 指の疲労感⇒ おもりを引く感覚（遅れて表示）

力
重り

疲れた…

ヒューマンサイエンス

ヒューマンサイエンス
関連文献

関連文献

[1] S. Ito, T. Kimura, H. Gomi, “Enhancement of fatigue perception and phase lag of cyclic movement induced by delayed
visual feedback,” in Proc. Society for Neuroscience 42nd Annual Meeting (SfN), 2012.
[2] S. Takamuku, H. Gomi, “Principle factor yielding the sluggish sensation during movements with delayed visualfeedback,” in Proc. Society for Neuroscience 42nd Annual Meeting (SfN), 2012.
連 絡 先

伊藤 翔 (Sho Ito)

[1] T. Kawabe, “Nonretinotopic processing is related to postdictive size modulation in apparent motion,” Attention,
Perception, & Psychophysics, 73, pp.1522-1531, 2012.
[2] T. Kawabe, “Postdictive modulation of visual orientation,” PLoS ONE, 7(2): e32608, 2012.
連 絡 先

人間情報研究部 感覚運動研究グループ- 42 -

河邉 隆寛 (Takahiro Kawabe)

人間情報研究部 感覚表現研究グループ- 43 -

28

Visual illusion reveals neural codes for objects in the brain

見るだけでモノの形や質感が変わる

29

Action sounds recalibrate the perceived tactile distance

聴いて分かる腕の長さ～身体の認識における聴覚の役割～～錯視からわかる脳の物体認識のしくみ～
どんな研究

どこが凄い

めざす未来

どんな研究

どこが凄い

めざす未来

ある物体の画像を見続けると、その後で見る物体の形や質感が劇的に変わって見える錯視（物体残効）を発見しました。物体残効は、二次元的な画像特徴を見ただけでも起こります。また、色の残像などと違って、網膜上の位置関係にあまり関係なく起こります。

これまで、脳が複雑な物体を認識す
るには、二次元の映像から三次元の形状を「復元」することが不可欠だと考えられてきましたが、物体残効
錯視の発見により、脳が二次元画像の特徴の寄せ集めから物体を認識するメカニズムをもっていることを明らかにしました。

認識の決め手となる画像特徴の種類が理解できれば、画像特徴を操作するだけで物体の形や質感を変えたり、よりリアルに見せることも可能になると考えられます。また、現在の高速な物体認識・検索のアルゴリズム
をより人間の知覚に即したものにできるかもしれません。

無意識に認識している身体の形状を身体図式と言います。私たちは身体図式を参照することで、物のある場
所に手を伸ばしたり、狭いところを通ったりすることが出来ますが、その獲得の仕組みは未解明です。この展示では、聴覚が身体図式に影響を与えるという新発見を紹介します。

自分が床をたたく時に出る音を遠くから出たように感じさせると、自分の腕の長さが長く感じられることを世界で初めて発見しました。これは、聴覚が身体の認識に役立つことを示しています。身体図式獲得の仕組みの解明に不可欠な発見であり、極めて学術的価値の高いものです。

私たちが感じる「リアリティ」は、
無意識の身体認識や身体感覚を伴っています。身体図式を獲得する仕組
みの解明は、この無意識の部分を正確に伝える方法の確立に寄与します。
これは、身体感覚まで伝える、未来の通信を実現するための基本原理の一つとなります。

●順応：一方の腕で床をたたき、その音をスピーカから提示する。
→ しばらくたたき続けてその状態に慣らす。

物体残効錯視（Object aftereffect）
脳内における画像特徴からの物体認識

順応
形や質感が異なる物体の画像をしばらく見た後でりんご例）等距離条件例）2倍距離条件

たたいた場所の近くのスピーカから床をたたく音が出る。

たたいた場所から2倍離れた場所のスピーカから床をたたく音が出る。

マッチング
テスト
高次視覚野

まったく同じ物体の画像を見ます。すると・・

統計量抽出

知覚

寄せ集め

まったく違う形や質感を持つ物体に見えます。

画像特徴●腕の長さの認識を測定：左右の腕で、各2カ所を刺激し、長い方を答える。
床をたたいた腕を長いと感じているのか。
刺激の距離が長く感じる＝ 腕が伸びたと感じている。

低次視覚野
画像特徴に順応するだけでも起こります。

順応

テスト

知覚

物体残効は、テスト画像が順応画像とまったく違う位置に現れても強く起こります。

網膜●結果：2倍の距離のみで腕が長く認識されている！
発見の意味

物体残効錯視の分析結果は、脳は物体の画像の持つ特徴を寄せ集めて、その統計的な性質から物体の形や色、質感、名称までも認識している可能性を示しています。これは最近の機械学習モデルに似ていて、かなり簡単な計算で実行できます。

1. 身体図式は聴覚で再構成される。(2倍の距離から音を出すと腕が伸びて感じる。）
2. 再構成には限界がある。（4倍の距離から音を出すと腕は伸びて感じない。）
3. 再構成には自分が動いて音を出している感覚が必要。（動きと音の出るタイミングを同期させないと腕が伸びて感じない。）

つまり、質感残効は、視野の一部だけを担当する網膜や低次の視覚メカニズムではなく、視野の広い範囲を担当する高次のメカニズムの特性が変化したために起こる錯視といえます。しかも，その高次のメカニズムは低次の画像特徴を扱っていると考えられます。
関連文献

関連文献
[1] I. Motoyoshi, “Visual aftereffects in 3D shape and material of a single object,” Journal of Vision, 12(9): 229, 2012.
[2] I. Motoyoshi, “Broad spatial tunings of the object aftereffect: Evidence for global statistical representations of 3D shapeand material,” Perception, 41, 17a, 2012.
[3] I. Motoyoshi, “Visual aftereffects in natural object categories,” in Proc. Vision Sciences Society Annual Meeting, 2013.

連 絡 先

連 絡 先

本吉 勇 (Isamu Motoyoshi)[1] A. Tajadura-Jiménez, A. Väljamäe, I. Toshima, T. Kimura, M. Tsakiris, N. Kitagawa, “Action sounds recalibrate
perceived tactile distance,” Current Biology, Vol. 22, No. 13, pp. R516-517, 2012.

人間情報研究部 感覚表現研究グループ- 44 -

戸嶋 巌樹 (Iwaki Toshima)

人間情報研究部 感覚共鳴研究グループ- 45 -

ヒューマンサイエンス

ヒューマンサイエンス

日常のモノも変わって見えます。
（梨→りんご）

入力画像

MEMO

MEMO

MEMO

NTT コミュニケーション科学基礎研究所
オープンハウス 2013 実行委員会（委 員 長） 藤野 昭典（副 委 員 長） 木村 聡貴（委員） 丸谷 和史／Marc Delcroix／杉山 弘晃