人がつながる技術──コミュニケーションのエッセンス
渡辺富夫（岡山県立大学 情報工学部 情報システム工学科教授）

はじめにい新生児期においても、大人の会話に新生児の手足が同調して引き込んでいるという研究報告がコンドンら「ドラえもんの科学みらい展」が日本科学未来館

によって『サイエンス』に掲載された2。この研究に（2010 年 6 月～ 9 月開催）を皮切りに日本全国を巡回

小林登先生（当時、東京大学医学部教授）と石井威望中で、語りかけに対して絶妙のタイミングでうなず先生（当時、東京大学工学部教授、私の指導教授）がき反応する身体的引き込みシステム PekoPeko（「ペ大変興味をもたれ、母子間コミュニケーションを共同コッぱ」、「花っぱ」）が人気を集めている（写真１）。

研究することになった。

のび太の話をウンウンうなずいて聞いてくれるドラ人間社会システムを形成する最初の基盤ともいうべ

えもんの大切な聞き手機能を実現したものだ。最近き母子間での言葉のバーバル情報（コード化情報）との高知開催（2013 年 1 月 6 日までの 16 日間）では約行動のノンバーバル情報（非コード化情報）の関係性

4 万人が来場し、多くの子どもたちが PekoPeko に語の解明は、母子相互作用という子どもの発達にとってりかけ、コミュニケーションの不思議さを体験した。

重要なテーマであった。また、システム工学の観点か

PekoPeko は、私の身体的引き込み技術を組み込んだらも、分娩により母子がハードウェア的に分離するが産学連携の成果物で、うなずき反応に場が和み、癒さ故にソフトウェア的にシステムとして強くつながる必れ、一体感や共有感など、身体的コミュニケーション要があり、それにはコミュニケーションが要で、人間のエッセンスを体感することができる 。の本性に適応した機械の設計やインタフェースといっ1

このコミュニケーションのエッセンスとは何か。なた人間と機械の関係、当時でいうマン・マシン・インぜ、その一つの答えが PekoPeko なのか。情報機器をタフェースの研究として重要であった。私は 1978 年

介して人とのインタラクションを促進し、コミュニに大学院生として石井研究室に入り、この共同研究にケーションを支援するヒューマンインタフェース研参加した。

究、人がつながる技術への思いを、私の研究の原点でまずはコンドンらと同様な方法で追試し、少なくとある母子間コミュニケーション研究の出会いから 2 つも母親の語りかけに反応しているのではないかというの大きなプロジェクト研究までの 35 年間の足跡をた作業仮説を受け入れた。しかし、このような初期の方どるなかで述べてみたい。

法では、人が肉眼で動作分析をしており、精度的にも研究効率の面からも不十分であった。そこで実験手法

母子間コミュニケーション研究の感動の確立、データの客観化、定量化、自動高速処理化をすることにした。その結果、従来定性的研究の色彩が生体リズムが相互に同調化する現象を、引き込み（エ強いこの分野に、新たに画像処理装置を試作し、コンントレインメント）という。1974 年、出生後間もなピュータ画像自動分析の手法を導入して、新生児期における引き込みを客観的に定量化する分析手法を提案
した3。新生児期の引き込みが成人の会話時のうなずく動作反応と類似していることが示され、成人の会話における情報交換の形態が既に新生児期に存在することが示唆された。これをモデル化して、話すとレベルメータが点滅する、話しやすいマイク「うなずきマイク」を開発して、1983 年に学位論文にまとめた。
本共同研究を遂行する過程で、愛育病院で実験を重ねるたびに、母親の語りかけに対して新生児が手足を動かして反応するのに感動し、「コミュニケーションはリズムである」を文字通り体感した。実験結果の報■写真 1 「ドラえもんの科学みらい展」の様子

26

告会で、小林先生が「赤ちゃんはお母さんの語りか子ども研究けに対して何十万回、何百万回とリズムを合わせて引たのは言うまでもない4。いわゆる合成的解析というき込むことで、言葉という文化を獲得している」と話手法で、ある動作が実現できたということは、その動されたことに強く感銘したことを今も鮮やかに覚えて作がわかった、解析できたということである。かくしいる。て、話し手及び聞き手の機能を有する音声駆動型身体的インタラクションロボット InterRobot が誕生した

音声に基づく身体的インタラクションシステムのである。
この InterRobot を基に、電子メディアへの拡張として CG キャラクタである音声駆動型身体的引き込

学位論文で開発したうなずきマイクは、母子間のイみキャラクタ InterActor も開発した。InterRobot やンタラクションモデルを基に、成人間での話し手の語InterActor を介して遠隔の相手と会話を楽しむことがりかけに対する聞き手のうなずき反応をアナログの制できる。InterRobot に話しかけると絶妙のタイミン御モデルで構築したもので、マイクロコンピュータをグでうなずきなどの聞き手の反応をするので話しやす使用したプロトタイプであり、実用面からは本格的なく、また相手の音声に基づいて InterRobot が話し手研究の出発点であった。の身体動作をすることで InterRobot と引き込み、一そこでデジタル信号処理技術を用いて、成人間の対体感や共有感が実感できる。

面コミュニケーションを分析して、うなずき反応が発生する可能性のある区間を会話のリズムから大まかに予測するマクロ層と、その予測区間でのうなずきの開身体的バーチャルコミュニケーションシステム

始を 1 ／ 30 秒ごとに音声信号に重みを付けた和（たたみ込み和）で推定するミクロ層からなる階層モデル

対面コミュニケーションでの身体的引き込みは、音を提案し、1989 年にシミュレーション実験により有声に対するうなずきや手振り・身振りといったノン効性を示した。さらに、眼（まばたき）、首、肩、腕、バーバル情報だけでなく、呼吸や心拍変動など生理的腰など 20 自由度の人型のロボットのハードウェアを側面での生体情報においても生じている5。この結果開発し、上記の階層モデルを発展させたモデルを導入

は、対面でのコミュニケーションだけでなく、対話して、発話音声に基づいてうなずき反応や腕などを動者の間に衝立をして非対面という非日常的なコミュニ

かすタイミングをパソコンで制御する身体的インタラケーション環境と対比することで明らかにしたものでクションロボット InterRobot のプロトタイプを 1998ある。それならばと、もっと徹底的に各種のコミュニ年 1 月に開発した。

ケーション情報を自由に制御できる仮想環境で、対話ロボットが初めて正常に動作したときは、その聞き者のノンバーバル情報と生体情報を加工処理すること手としてのうなずき反応や体の動きなどに学生さんたによって身体的コミュニケーションを合成的に解析すちとともに感動した。InterRobot は、言葉の意味内容るために開発したのが身体的バーチャルコミュニケーに立ち入らずに音声の ON-OFF に基づいて反応してションシステムである6。このシステムを用いることいるだけなのに、話を聞いてもらっているという感覚で、対話者の代役（アバタ）である CG キャラクタのになるので不思議である。

VirtualActor の空間的配置、位置、背景などを自由に聞き手モデルを基に、話し手の動作も話し手自身の変化させて、身体動作、音声の韻律情報、表情等の情音声から予測するモデルを構築し、ロボットに組み込動表現、それらのタイミングのずれによる影響など、んだ。余談であるが、この話し手のモデルを構築する

VirtualActor のノンバーバル情報や生体情報の各種情前に InterRobot を話し手として動かしているときに、報を除去、追加、加工して身体的コミュニケーションある音量以上の入力に対して InterRobot の腕の動きを体系的に解析することができる。

を大きくすると自然な動きに見えることを院生が見い

例えば、うなずきの効果を検証したい場合、実空だした。実際に人間の対面コミュニケーションでの話間での対面コミュニケーションでは、うなずきだけし手の音声と話し手自身の腕の動きの相関を分析したで他の動きを止めてコミュニケーションをするのは結果、音声と腕の動きの閾値を高くした方が両者の相不可能であるが、仮想環境であれば VirtualActor の関が高くなることがわかった。そのモデルをロボットうなずき以外の動きを止めて検証することができる。に導入すれば効果があるのは、すでに体験しておりVirtualActor の頭部動作を矛盾的に止めてコミュニ確認済みである。もちろん原著論文ではまずコミュニケーションすることで、頭部動作がコミュニケーショケーションを分析した結果に基づいてモデル化し、ロンにいかに大事かをリアルタイムで実感することがでボットに導入して有効性を検証したストーリでまとめきる。このように、対話者と VirtualActor との身体27

的行為をあえて矛盾させるなどの矛盾的誘導法（無意の創世記で、1998 年には、いずれもシステムのプロ識化されている知覚－運動系に矛盾を生起させて気タイプが完成し、両者を一つの研究開発のコンセプトづかせ、その矛盾が解消されていく過程をコンテクスとして「心が通う身体的コミュニケーションシステムトの生成と関係付けて解析）により、身体的行為がコ

E-COSMIC」が生まれた（図 1）。

ミュニケーションに果たす役割を明らかにすることができる。

E-COSMIC は、上記２つのシステムで構成されるもので、身体的バーチャルコミュニケーションシステ仮想空間というバーチャルの世界で得られたコミュムを用いて身体的引き込みを中心にアバタを介してのニケーション結果や特性は、あくまでもバーチャルの身体的コミュニケーションを解析し、その解析結果に世界の話であって、実際のコミュニケーションとは異基づいて、音声に基づく身体的インタラクションシスなるものであるというコメントをいただくことがあ

テムを開発して、身体的引き込みの重要性や可能性る。確かにその通りなのだが、実際の対面コミュニケーを実証展開するシステムである。E-COSMIC は、科ションでは解析が困難な矛盾的誘導法のようなバー学技術振興機構戦略的創造研究推進事業 JST CREST

チャル環境ならではで得られた成果であり、アバタを研究領域「高度メディア社会の生活情報技術」にお介したコミュニケーションでの人間特性である。ネッ

いて「心が通う身体的コミュニケーションシステム

トではアバタを介したコミュニケーションが日常生活

E-COSMIC」（2000 年４月～ 2005 年３月、研究代表者の中に入り込んでおり、バーチャルの世界でのコミュ渡辺富夫）としてプロジェクト研究に採択され、岡ニケーション特性そのものが意味をもつようになっ

山県工業技術センターに E-COSMIC の専用ハードウェており、本システムや得られた知見の重要性が増してア開発で共同研究をお願いし、研究室総出で研究開発いる。

を行った。
人は、単に言葉だけでなく、うなずきや身振りなど心が通う身体的コミュニケーションシステム E-COSMIC

ミュニケーションしている。この身体性の共有が一体感を生み、人とのかかわりを実感させている。子ども1997 年には、音声に基づく身体的インタラクションが乳幼児から母親（育児者）の語りかけに対して身体システムの InterRobot の開発と、身体的バーチャル動作との引き込みにより言葉を習得してきた以上、身コミュニケーションシステムの開発もスタートした。

体的リズムの引き込みによる一体感・身体性の共有とそれぞれ独自に研究開発を進めていたが、まさに研究いう基盤があってこそ、シンボルとしての音声情報の■図 1

28

身体的リズムを共有して、互いに引き込むことでコE-COSMIC

子ども研究送受信が心の基底の部分でやりとりできると考えたの

身体的インタラクションシステムの研究開発を進めてである。

いる。とくに身体性メディア場の生成・制御技術へのこのプロジェクトでは、身体的引き込みをロボット開発展開を目指して、本研究開発を基盤に、早稲田大InterRobot や CG キャラクタ InterActor 等のメディ学の三輪敬之教授の「場の統合による共存在のコミュアに導入することで、人とかかわるコミュニケーショニケーション技術」、橋本周司教授の「身体運動によンシステム・技術の基盤を確立した。とくに音声からる音楽・音響場の生成技術」を統合する新たなプロジェ

聞き手及び話し手の豊かなコミュニケーション動作をクト「人を引き込む身体性メディア場の生成・制御技自動生成する技術は、インタロボット技術と呼ばれ、術」の提案が JST CREST 研究領域「デジタルメディインタラクションロボット・玩具、携帯電話・インターア作品の制作を支援する基盤技術」に採択され、2006

ネット等の音声インタフェース、ゲームソフトへの導年 10 月～ 2012 年 3 月まで研究代表者として研究開発入など、教育・福祉・エンタテインメントをはじめ人を進めた8。とかかわる広範囲な応用が容易に可能である7。

本プロジェクトでは、観客があってこそ成立するメ

例 え ば、 子 ど も を 元 気 づ け る コ ミ ュ ニ ケ ー シ ョ

ディア芸術の創造支援を対象として、演者の音声・音ンロボットというコンセプトで開発したクマ型の響に基づいて引き込み反応する観客 CG やメディアロ

InterRobot (InterAnimal) は、2005 年愛地球博でロボッボットなどの仮想観客を生成して、身体的引き込みにトがロボットを紹介する進行役を務めた。現在も各種より場を盛り上げ、場の雰囲気をつくる技術の基盤をイベント等で、子どもたちとの会話を楽しみ、その反確立した。その研究成果として、シンポジウム「人が応に子どもたち以上に展示している我々が元気づけらつながる技術」を日本科学未来館で開催し、場の盛りれている（写真 2）。

上げシステムのいくつかを実演展示した（写真 3）。落また、子どもの声に身振りで応えるインタラクショ

語の口演に観客の椅子 InterChair がうなずきのタイミン玩具「うなずき君」も商品化した。うなずき君のよ

ングで前後に動いて、観客のうなずき反応が身体全体うに反応してくれると、教室で乗って話せると思い実で自然に生成される。その反応に演者も話に乗って場演したが、静かな環境ではモータ音が妨げになった。

が盛り上がり、場の一体感が促進される。InterChair

この経験がバイオメタルを用いて筋肉のように静かにの開発過程で、自分自身が InterChair に着席してパしなやかに反応する「ペコッぱ」、「花っぱ」の開発にラメータの設定をしながら研究打ち合わせをしたときつながった。に、自分の声に反応する InterChair が後押しをしてくれるのに気がついた。相手の引き込み反応だけでなく、人を引き込む身体性メディア場の生成・制御技術

自分自身の引き込み反応も身体が歓んでいるのだと感じた。
CREST 研究総括の原島博先生（東京大学名誉教

インタロボット技術を相互インタラクションでの引授）が「人はつながるためにコミュニケーションしてき込みによるコミュニケーション場の生成・制御に応いる」と話されたときに我が意を得たりと強く印象に用することで、場の生成システムとしてプロトタイプ残った。
「うなずきマイク」を開発して以来、意味がシステムを進展・融合させ、集団インタラクション・わからずにうなずかれても仕方がない旨のコメント

コミュニケーションシステムへと応用展開して、飛躍を受け、その度に、話しやすさなど工学的有用性を的に対話者の身体性が共有でき、一体感が実感できる強調していた。しかし InterRobot を開発し、身体的■写真 2■写真 3

クマ型ロボット

場の盛り上げシステム

29

子ども研究引き込みによる情動共有や感情移入を自らが体験してからは、心と基底の部分でつながるには身体的引き込みが不可欠だと確信している。さらに、複数のInterRobot や InterActor、身体全体を引き込み反応させる InterChair 等による場の盛り上げ技術の開発により、演芸でも講義でも演者を乗らせることで観客の食い付きもよくなり、場が盛り上がり、一層の一体感や共有感、身体の歓びを実感することができるようになった9。

〈参考文献〉
1渡辺富夫：身体的コミュニケーションにおけるモーション、計測と制御、Vol.48, No.6, pp.448-451, 2009.
2Condon, W.S. and Sander, L.W.: Neonate movement is synchronisedwith adult speech: interactional participation and language
acquisition, Science, No. 183, pp. 99-101, 1974.
3渡辺富夫，石井威望、小林登：コミュニケーションにおけるエントレインメント（音声－体動同期現象）のコンピュータ自動分析法、医用電子と生体工学 , Vol.66, No.6, pp.419-425, 1984.
4渡 辺富夫，大久保雅史，小川浩基：発話音声に基づく身体的イン
タラクションロボットシステム，日本機械学会論文集（Ｃ編），
Vol.66，No.648，pp.251-258，2000．

人はつながるためにコミュニケーションをする。そ5渡辺富夫，大久保雅史：コミュニケーションにおける引き込み現象

れにはコミュニケーションすることが身体の歓び、身の生理的側面からの分析評価、情報処理学会論文誌 , Vol. 39, No. 5,

体が歓ぶ仕組みになっていなければならないであろう。確かに会話（おしゃべり）は楽しいものである。
リズムを合わせてくれるのは快感であり、それが身体的引き込みで、コミュニケーションのエッセンスである。本文の冒頭で紹介した PekoPeko（「ペコッぱ」、「花っぱ」）がまさに一つの答えとする所以である。また、日本科学未来館に複数の InterRobot を用いた集団コミュニケーションシステムが常設展示されているので、身体的コミュニケーションの素晴らしさ・可能性を実感いただければ幸いである（写真 4）。

pp. 1225-1231, 1998.
6渡辺富夫，大久保雅史：身体的コミュニケーション解析のためのバー
チャルコミュニケーションシステム，情報処理学会論文誌，Vol.40，No.2，pp.670-676，1999.
7渡辺富夫：身体的コミュニケーション技術とその応用，システム／制御／情報 , Vol.49, No.11, pp.431-436, 2005.
8渡辺富夫：身体性メディアによるメディア芸術創造支援、情報処理、Vol.48, No.12, pp.1327-1334, 2007.
9W atanabe, T.: Human-entrained Embodied Interaction andCommunication Technology, Emotional Engineering, Springer,
pp.161-177, 2011.

〈筆者プロフィール〉
渡辺富夫（わたなべ とみお）

おわりに身体的引き込みに魅せられて、早 35 年である。現場でのシステム評価には子どもたちの反応が一番で、それに一喜一憂してシステム開発展開を楽しんでいる。子どもから大人まで各種システムを通して身体的引き込みの魅力を体感してもらっているが、本当に身体（脳）が歓んでいることを脳科学、心理学、医学など子ども学の皆様と夢を共有して、ぜひとも科学的に立証したいと考えている。

■写真 430

日本科学未来館でのコミュニケーションロボット常設展示

岡山県立大学情報工学部教授。1983 年、東京大学大学院工学系研究科産業機械工学専攻博士課程修了。工学博士。山形大学工学部情報工学科助教授、米国ブラウン大学客員研究員等を経て、1993 年より現職。
2009 年度 ‐ 2010 年度情報工学部長・研究科長。2000 年 ‐ 2005 年 科学技術振興機構戦略的創造研究推進事業 (JST CREST)「心が通う身体的コミュニケーションシステム E-COSMIC」研究代表者。2006 年-2012 年 JST CREST「人を引き込む身体性メディア場の生成・制御技術」研究代表者など。IEEE RO-MAN, the Best Paper Award、ヒューマンインタフェース学会論文賞、日本機械学会設計工学・システム部
門業績賞等受賞。日本機械学会フェロー、ヒューマンインタフェース学会元会長、日本子ども学会常任理事、日本赤ちゃん学会常任理事、インタロボット（株）技術顧問など。