特集

いまあーコミュニケ学
ション科

す

変化する現在，持続する未来

いま人工知能あ脳 科 学す

変化する現在に適応し，持続する未来を切り拓く
コミュニケーション科学
──人 ・ 社会 ・ 環境との調和と共生をもたらす技術の創出
NTT コミュニケーション科学基礎研究所（CS 研）は，昨年創立30周年を迎えました．設立当初より，人と人および，人とコンピュータとの「こころまで伝わる」コミュニケーションの実現をめざして，人間と情報の本質に迫る基礎理論の構築と，社会に変革をもたらす革新技術の創出に取り組んできました．本稿では，CS 研における最近の研究成果のいくつかと，今後の展望に向けた取り組みについて紹介します．

納谷

ふとし太

NTT コミュニケーション科学基礎研究所 所長

はじめに凌駕する研究」と，人のさまざまなに人間の識別性能を超えたといわれて感覚運動能力のメカニズムを追求すいます．しかし，一般的に深層学習でNTT コミュニケーション科学基礎る人間科学および，その中でも特に高い性能を得るためには，入力データ研究所（CS 研）は，1991年 7 月 4 日

トップアスリートなどの優れた認知とその正解ラベルをペアにした膨大なに京阪奈に設立されました．当初，国能力の解明をめざした多様脳科学な学習データが必要です．

際電気通信基礎技術研究所（ATR）

どの「人を深く理解する研究」とし一方で，人間は少ない情報しか得ら内に間借りし，機械学習および情報理て発展してきました（図）．これらのれない場合でも，これまでの経験から論に関する 2 つの研究グループから開研究は，この30年間にわたり，それの類推や，欠けている情報を他の情報始した CS 研は，現在，京阪奈と厚木ぞれの年代における技術的な進歩やから補完することなどにより，柔軟での 2 拠点において約150名の所員が集社会的なニーズを反映して変化し発高度な推論を行えます．例えば，写真う組織となりました．また，CS 研の展しつつも，「コミュニケーションのは三次元の空間情報を二次元画像とし30年間のあゆみを振り返り，昨年の本質を理解する」という CS 研設立当てとらえたものですが，人間はこれまオープンハウスの開催に合わせて，設初からの研究理念が貫かれ，人や社での経験に基づき，写真を見ただけで立当初からの主な研究成果などをまと会に寄り添う技術の創出に向けて脈々被写体の持つ形状や奥行きなどの三次めた創立30周年記念ウェブサイトを開と継続されてきました．以降では，元情報をある程度推測できます．

設しています ．

それぞれにおける最近の研究事例の（1）

人と人とのコミュニケーションを理解することをミッションとして始まった CS 研の研究は，「見る」「聞く」

32

なやいくつかを紹介します．

人の能力に迫り凌駕する

従来，このような能力をコンピュータで学習するには，写真として撮影された二次元画像に加えて，深度センサやステレオカメラなどの特殊な装置で「話す」などに代表されるような，人深層学習技術の登場により，「見る」計測した三次元情報を含むデータをペと同等のコミュニケーション能力を「聞く」「話す」などのメディア処理にアとして大量に取得し用意する必要がコンピュータに持たせるメディア処

関する AI（人工知能）技術は格段にありますが，これには膨大なコストを理や，量子情報理論や機械学習・デー進歩し続けており，例えば画像認識の要します．このようなデータ取得上のタ科学などを含む「人の能力に迫りコンペティションなどにおいてはすで課題を解決するため，CS 研では，カ2022.8

特集

人を深く理解し究める
人間科学
CS研のミッションと研究領域
研のミッションと研究領域

多様脳科学

いぬ26.1 ヶ月

データと機械学習

メディア処理人の能力に迫り凌駕する図

NTTコミュニケーション科学基礎研究所の研究領域
図 NTTコミュニケーション科学基礎研究所の研究領域

います．

メラの持つ光学的な制約として，絞りたが，昨年，音声に加えて映像情報をとボケの関係を考慮した新たな深層学組み合わせることにより，人間のようCS 研では，1990年代から人と自然習術「Aperture Rend er ingに複数の手掛かりを活用して選択的聴に会話する対話システムの研究を続け

GAN」 を 提 案 し て い ま す． 本 技 術

取 を 実 現 す る「 マ ル チ モ ー ダ ルてきました．当初は予約や検索などのは，インターネット上にある公開画像（3）SpeakerBeam」 を提案しました．

特定の目的に特化した対話システムのなどの一般的な写真群（二次元情報）

本技術により，声質が似通った複数話研究が中心でしたが，最近では目的にのみから，奥行きやボケ効果といった者が存在する場合には唇の動きを主なよらず広い話題を扱いながら，自然な三次元情報を学習することができ，さ手掛かりとし，逆に唇の映像が得られ応答ができる雑談対話システムの研究

らに，被写界深度を変えたボケ感の異ない場合には音声を主な手掛かりとすを進めています（5）．昨年は，京阪奈なる画像を新たに生成することを可能ることにより，頑健で高精度な話者音

CS 研の所在する京都府精華町役場のにしています．

声の分離を実現しています．本研究協力の下，窓口案内や観光案内などの一方，人間は，パーティ会場など複は，音声に限らず，消防車のサイレン業務を行いつつ，雑談対話も楽しめる

数の人が会話していたり，雑音や残響や犬の鳴き声など，注目すべき音だけ

AI の 実 証 実 験（6）を 開 始 し た ほ か，のある環境の中で，聞きたい人の声にを聞き分けるユニバーサル音抽出技術

Web 等で収集した超大規模対話デー

集中して聞き分ける「選択的聴取」とへと発展しつつあります．本特集におタと深層学習を組み合わせた日本語最いう優れた「聞く」能力を持っていまいては，離れた位置にあるマイクで収大規模の Trans former 対話モデルをす．CS 研では，これまで音声のみを録した音声から，話者の近くのマイク無償公開しました（7）．最近では，車を用いて聞きたい人の声を聞き分ける技で収録したような高品質の音声を抽出

運転中の車窓から見た画像や周辺情報術 SpeakerBeam を提案してきましする最新の音声強調技術 を紹介してなど，その場のコンテキストが時々技

（2）

（4）

2022.8

33

特集

いまあす

変化する現在，持続する未来

刻々変わるような状況を話題とし，ユーザとより一体感が感じられる対人を深く理解するましたが，2021年には新たに出現し話システムを構築しています．さらCS 研では，人の感覚知覚運動メカた単語を加えた16万語以上についてに，対話相手の嗜好などを記憶し，ニズムを探るうえで，脳の潜在機能再調査した「令和版単語親密度デー

対話内容の一貫性を保ちながら，よが引き起こすさまざまな錯覚現象をタベース」を NTT 印刷から提供を開

り人に寄り添った対話を継続できる手掛かりに研究を進めてきました．

始しています（12）．この単語親密度デーシステムの構築に向けた研究に取り視覚や聴覚に関する錯覚を体験できタベースを用いることにより，50個組んでいます．

る Web サイト，イリュージョンフォーの単語を知っているか否かを答えるも公開しています．最新では，ことで，おおよその語彙数を推定す

学習の分野においても進展がありまVR（Virtual Reality）を用いた錯覚る技術も構築しており，「令和版語彙す．例えば，融資承認や人材採用な提示実験により，壁が動くと歩行速数推定」としてインターネットからど，人を対象とした意思決定を機械度が変化してしまう現象や，投手の利用できる Web サイト（13）を公開して学習によって行う場合，単純に予測投球動作が早くなると打者はボールいます．

精度のみを優先する従来の機械学習の伸びを強く感じる現象など，視覚技術では，性別・人種・障がいなど，と運動の相互作用が引き起こす興味人間が持つ機微な特徴に関して不公

深い錯覚から脳の多様な潜在機能を平な予測になってしまう可能性があ明らかにした研究成果が得られていります．因果関係に基づく公平・高ます．

人に寄り添うという点では，機械ラム（10）

人 ・ 社会 ・ 環境との調和と共生をもたらす技術の創出に向けて
CS 研の研究は各分野の専門性を究めることで発展してきましたが，近精度な機械学習 は，不公平さに関す

ま た，2021年10月 に は， 静 岡 県 立

年では相互の専門分野をまたいだ研る事前知識を，特徴・予測結果間の総合病院と人工内耳装用者の音声・究が増えつつあります．例えば，「見因果関係（因果グラフ）としてモデ言語認知の共同研究を開始していまる」や「聞く」などの単一のモダリティル化することにより，個々人に対しす．難聴児であっても，早期に人に特化したメディア処理研究は，前て公平かつ高精度な予測を実現して工内耳を装用することで健聴児と同述した音と映像を用いた話者特定ないます．

程度の音声言語を獲得できることがどのように，複数のメディアを同時

また，本特集においては，機械学習実証されていますが，脳における音に扱うクロスモーダル情報処理へとの最先端の成果として，将来の自動運

声知覚や言語発達のメカニズムは未発展してきています．人間科学の分転社会を見据え，デジタルツインを用解明のままです．医学と脳科学の両野においても多感覚統合のメカニズいたシグナルフリーモビリティの実現

面からのアプローチにより，高齢者ム解明などに研究がシフトしつつあに向けた分散深層学習技術を紹介してなどの難聴者における聴覚機構の態ります．また，昨年は，CS 研におけいます ．信号のない道路網におい様を明らかにし，音声知覚・言語発る脳科学・人間科学・メディア処理て，個々の車どうしが通信して協調す達の個人差の背後にあるメカニズムの知見と技術を総動員した研究成果ることにより，すべての車がぶつかるの解明とこれに基づく支援などの研である「投手シミュレータ」が，世ことなく，かつ，全体の車の平均移動究に取り組んでいます．

界最大のスポーツイベントにおける（8）（9）

速度を向上させる新たな最適化技術
です．

34

語親密度データベースを公開してき2022.8（11）

言語獲得に関する研究では，CS 研

ソフトボール日本代表の金メダル獲は1999年に日本語約 8 万語の単語の得に貢献し，新聞やテレビなどで「秘なじみ度合いを 7 段階で評価した単密兵器」として取り上げられまし特集

た（14）．本特集においては，モバイル

決していくとともに，多様な価値観センシングとメディア処理，機械学を持つ人と，社会，環境との調和と習を組み合わせたパーソナル心臓モ

共生をもたらし，未来へと持続させデリングの取り組みについて紹介していくコミュニケーション科学研究ています．

（15）

昨今の科学技術の進歩とコモディティ化はますます加速しています．
さらに，新型コロナウイルス感染症のパンデミックや，地球規模の気候変動や自然災害の増大，国際紛争など社会情勢の変化により，日々の生活様式や価値観が激変しています．
ますます複雑化・多様化する社会課
題の解決には，分野内での研究を追求するだけでは限界があり，周辺分野の研究成果とのシナジーにより新たな価値を創造する研究や，異分野と融合した新たな学際分野を切り拓くことの重要性はますます高まっています．
一方，基礎研究においては，これまでとは抜本的に異なる，より長期的視野に立った研究アプローチも必要です．このような問題意識の下，現代数学の基礎理論を研究する組織「基礎数学研究センタ」を2021年10月に CS 研内に設立しました（16）．基礎数学研究センタにおける取り組みの詳
細については，本特集記事『対称性に基づく解析学と幾何学による数論（17）を参照ください．と量子相互作用』

今後，IOWN（Innovative Opticaland Wireless Network）構想実現に向けて，さまざまな分野で生まれる課題について，最新の現代数学手法を駆使しながらアプローチして解に取り組んでいきます．
■参考文献（1） https://www.kecl.ntt.co.jp/30th/（2） https://group.ntt/jp/newsrelease/2021/06/
25/210625a.html（3） Delcroix ・ 落 合 ・ 佐 藤 ・ 大 石 ・ 木 下 ・ 中谷 ・ 荒木：“ 聞きたい人の声に耳を傾ける
AI――深層学習に基づく音声の選択的聴取
技術 SpeakerBeam,” NTT 技術ジャーナル,Vol.33, No.7, pp.21-25, 2021.
（4） 中谷 ・ 池下 ・ 加茂 ・ 木下 ・ 荒木 ・ 澤田：“ あなたの声を「すぐそば」品質で聴く AI――遠くからでも近接マイク品質で混ざった音を聞き分ける革新的音響処理技術 ,”NTT 技 術 ジャー ナ ル , Vol.34, No.8, pp.3640, 2022.
（5） 杉山 ・ 水上 ・ 有本 ・ 成松 ・ 千葉 ・ 中嶋：“ 機械が会話のパートナーになる日──大規
模深層学習で拓く雑談対話システムの新境
地，” NTT 技 術 ジ ャ ー ナ ル , Vol.33, No.7,
pp.14-17, 2021.
（6） https://group.ntt/jp/topics/2021/11/12/ai_seika.html（7） https://group.ntt/jp/topics/2021/09/30/transformer.html（8） https://group.ntt/jp/newsrelease/2021/06/01/210601b.html（9） 丹羽：“ デジタルツインでモビリティ群を賢く制御する──分散深層学習がもたらす未来の可能性 ,” NTT 技術ジャーナル , Vol.34,
No.8, pp.45-49, 2022.
（10） https://illusion-forum.ilab.ntt.co.jp/（11） https://group.ntt/jp/newsrelease/2021/10/
19/211019a.html（12） https://group.ntt/jp/newsrelease/2020/06/03/200603a.html（13） h t t p s : / / w w w . k e c l . n t t . c o . j p / i c l / l i r g /resources/goitokusei/vocabulary_test/php/
login.php（14） https://www.rd.ntt/research/JN202112_16471.html（15） 柏野 ・ 渋江 ・ 塚田：“ モバイルセンシングを活用したパーソナル心臓モデリング ,”NTT 技 術 ジャー ナ ル , Vol.34, No.8, pp.4144, 2022.
（16） https://group.ntt/jp/newsrelease/2021/10/
01/211001a.html（17） 若山：“ 対称性に基づく解析学と幾何学による数論と量子相互作用 ,” NTT 技術ジャー
ナル , Vol.34, No.8, pp.50-56, 2022.

納谷太

CS 研は，人 ・ 社会 ・ 地球環境に自然な調和をもたらす「こころまで伝わる」
コミュニケーションの実現に向けて，広く学際的な基礎研究に取り組むとともに，パートナーの皆様とのコラボレーションにより新たな価値創造に貢献していきます．

◆問い合わせ先NTT コミュニケーション科学基礎研究所
企画担当
TEL 0774-93-5020
FAX 0774-93-5260
E-mailcs-liason-ml

2022.8hco.ntt.co.jp35