62

No.

Dec.2013

ISSN 1883-1966 国立情報学研究所ニュース

FEATURED TOPIC

ロボットは井戸端会議に入れるか
NII Interview「井戸ロボ」を通じて、コミュニケーションの本質に迫りたい
NII Special 1「会話分析」から探る、人とロボットとのインタラクション
NII Special 2
遠隔地間でも自然な会話を実現する、未来の井戸端会議とはThat's Collaboration 1「井戸ロボ」と「東ロボ」、自然言語理解へのそれぞれの挑戦
That's Collaboration 2「身振り、手振り」が会話で果たす役割をロボットに理解させる［特集］ロボットは井戸端会議に入れるか

INTERVIEW WITH

坊農真弓

Mayumi Bono

国立情報学研究所 コンテンツ科学研究系 助教
総合研究大学院大学 複合科学研究科 情報学専攻 助教「井戸ロボ」代表研究者「井戸ロボ」を通じて、
コミュニケーションの本質に迫りたい
ロボットは井戸端会議に入れるだろうか？

それは、ロボットが東大に入ることと同じくらい、いや、それ以上に難しいだろう。そもそも人間がどうやって井戸端会議に加わり、自然な会話をしているのかということ自体、解き明かされていない。そうした人間のイン
タラクション理解を深めるべく、NII グランドチャレンジの１つとして、2012 年度から「ロボットは井戸端会議に入れるか」（通称：井戸ロボ）がスタートした。その概要と方向性について、代表研究者の坊農真弓助教に、会話情報学の提唱者であり、AI 研究者の西田豊明教授が話を聞いた。
西田

お久しぶりです。最近取り組んでおらにアプローチしようという試みです。これま

今後は、共同研究という形で私もロボットをれる「井戸ロボ」プロジェクトはとても面白で、インタラクション理解というと、私の出作ることに直接関わる可能性があればいいな

そうですね。どういうきっかけで始められた身でもある人文科学の研究対象で、会話分析と思っています。

のですか？

など各研究者の名人芸とも言える独自の手法

西田坊農

本日はお忙しいところ、ありがとうごが使われていました。そこに情報学の汎用性

白さがありますね。

ざいます。井戸ロボの端緒は、2009 年 10 月の高い手法を取り入れることで、インタラク

坊農 2 人の対話から 3 人以上の多人数インに私がさきがけの研究者に選ばれたことにション理解をサイエンスとして捉えるプラッ

タラクションになるとどうなるか、というとあります。さきがけでは、手話を使う聴覚障トフォームを構築できないか、と考えていまころがポイントです。従来のロボット研究で害者の遠隔コミュニケーションの研究と同時す。

は、人とロボットとの対話を想定することでに、人間のインタラクション理解について手西田

会話するロボットを作るのですか？

ロボットデザインに反映させてきたわけです

掛けていました。そうしたなか、2011 年 11

坊農

私自身が実体としてのロボットを作るが、インタラクションに重きを置くと、もう※月に NII グランドチャレンジとして「東ロボ」

わけではありませんが、実際にものを作るこ

少し表面的な現象を見る必要があります。例がスタートしたんですね。そこで人間のコとで対象を理解しようという、構成論的なア

えば、発話のタイミングやジェスチャーなど、

2※1

井戸端会議には単なる対話を超えた面

ミュニケーションの研究をより深めたい、とプローチをとるロボット工学者にも議論に参会話の中で産出されたものを受けて人間がど「井戸ロボ」を提案したのです。東ロボが、人加いただいています。インタラクション研究

う反応し、行動するかということが重要にな間の能力・頭脳・論理といったものから知能には、ロボット工学者にも面白いと思ってもる。ロボットデザインの仕方も変わってくるや知性にアプローチしようとしているのに対らえるような要素がたくさんあると思っていと思うのです。

して、井戸ロボは会話を通じて人間の社会性ます。それらを共有したいな、という思いです。

西田 No.62 2013
NII Today

なるほど。ところで、井戸端会議って、

NII Interview: Mayumi Bono

英語でなんて言うのですか？

すね。東ロボが目標達成を第一に考える関東

坊農

英語で Multi-Party（マルチパーティ）的なアプローチであるのに対して、井戸ロボというと講演のような大人数の集まりのことはフィールドワークで思ってもみなかった面を指すようですし、Small-Party では何かネガ

白いものを見つけ出そうとする関西型のアプ

ティブな感じがして……。井戸端会議のほうローチであるとでも言えるでしょうか。科学がアジア的でいいという意見もあって、現状に対するチャレンジでもありますね。会話をはそのまま「Ido-bata kaigi」としています。

科学的に分析しようとすればするほど抽象化もてなしがないとつまらないですからね。後

こうした学際的な研究ができるのも、日本なが必要になり、切り捨てなければならない部

者をサイエンスとして取り組むことは大変難らではでしょう。

分が出てきてしまいます。しかし、切り捨てしいでしょうが、そこにどう切り込むかが腕西田

アジア的な会話に焦点を当てたのは面られたところにこそ、コミュニケーションのの見せ所ですね。井戸ロボがどう発展してい白いと思います。井戸ロボの具体的な内容を本質がかなり含まれているのではないでしょくか、大変楽しみにしています。

教えてください。

うか。

坊農 まず大きな柱となっているのが、ロボッ

坊農

ト演劇をフィールドとする研究です。これは、モーダルインタラクション研究の第一人者のロボット研究者である石黒浩先生が手掛けた

１人に、チャールズ・グッドウィンがいます。

アンドロイドが登場する、演出家・平田オリ

彼は、定量的な分析は通常しないのですが、ザさんによる演劇を研究対象としています。

ある論文の中で、冒頭であえて定量的な分析

ことの発端は、ある研究会で石黒先生から、をして見せて、さらにそこから外れたものを「あなたの研究はつまらない。あなたのやりた

詳細に分析することによって、その重要性をいことは、全部オリザさんの頭の中にある！」

示すという試みをしています。

と言われたことでした。つまり、オリザさん

西田の頭の中には、「人間の会話のモデルがある」

学／非科学の二項対立ではなくて、双方が歩と言うのです。そこで発奮して、ロボット演

み寄ることで新たな知見を得るという方向性

劇の制作現場を見せてもらうことにしました。

は、現在の成果主義・効率主義の弊害の解決

数ヶ月間にわたる稽古の様子をビデオに収めにも通じる話だと思います。井戸ロボでは、て分析を進めています。もう１つは、日本科

最終的には何を目指しているのですか？

学未来館のサイエンスコミュニケーターと来

坊農

館者との会話分析。どうすれば、効果的に科を詰め込んで賢くしていくプロジェクトだと学の知識を伝達できるのか、というところにすると、井戸ロボでは対話やインタラクショ

ことをねらっています。坊農さんの井戸ロボ着目しています。さらに、実際の井戸端会議

ンが人間の社会を支える重要な役割を担ってにある光と影を浮き彫りにする可能性を秘めを見てみようと、野沢温泉でのフィールドワー

いることを示したいと思っています。また、

クを始めたところです。最近では井戸端での従来研究において、発話、表情、ジェスチャー

会話はあまり見られなくて、実際には火祭りなどとして分断されてきたモダリティを再びの準備のための寄り合いを研究対象としてい統合し、まとめて見ることで人間の本質に迫ます。

りたい。今後は、それこそ「おもてなし」と

西田

じつにチャレンジングな取り組みで（構成・文＝田井中麻都佳）
視線や身体の動きを取り入れたマルチ

それってとても重要なことですね。科

東ロボが１人のロボットの頭脳に知能

インタビュアーの一言
会話情報学は会話という現象の理解とその工学的応用を軸として、個体の知と集合の知の相互作用を通して人の心の過去と未来を探るは合理性だけでは割り切れない人の心の深部ています。東ロボといろいろな面で対照的ですが、統合することで人間の本質に迫るという点が共通しているところが面白いと思います。これからのチャレンジの進展が大変楽しみです。

西田豊明 Toyoaki Nishida

いうか、よりよいサービスのためのインタラ
クションにも着目

京都大学大学院 情報学研究科
知能情報学専攻 教授していきたいと考1977 年京都大学工学部卒業。1979 同大学院修士

えています。

課程修。1993 年奈良先端科学技術大学院大学教授、

西田

年東京大学大学院情報理工学系研究科教授を経て、1999 年東京大学大学院工学系研究科教授、2001

統合することで人間の本質に2004 年 4 月京都大学大学院情報学研究科教授、現迫る、という部分

モデルの研究に従事。

在に至る。会話情報学、社会知デザイン、原初知識

は東ロボとも共通
す る わ け で す ね。
世の中には問題解
決型のエキスパー
トも必要だけれ

図：東ロボと井戸ロボの対比

※1

さきがけ

科学技術振興機構の個人型研究プロジェクト（PRESTO）。戦
略目標に基づいて未来のイノベーションの芽を育むことを目的としている。
※ 2 「東ロボ」

ど、吉本新喜劇のNII グランドチャレンジ・人工頭脳プロジェクト「ロボットはようなお笑いやお本誌60号 http://www.nii.ac.jp/muom2c5rm-4542/#_4542

東大に入れるか」http://21robot.org

No.62 2013

NII Today［特集］ロボットは井戸端会議に入れるか「会話分析」から探る、
人とロボットとのインタラクション「井戸ロボ」は、会話や身振りなど、人間の日常のインタラクションを理解するというアプローチを、情報学の中に位置づけるためのプ
ロジェクトだ。学際的な取り組みにより、今後のロボットデザインに生かせるような知見を探りたいという。その意味で、社会学者の西阪仰教授が専門とする「会話分析」とも深く繋がっている。同じく人文科学出身で、会話分析も手掛ける坊農助教が、西阪仰教授に「人とロボットのインタラクション」に対して社会学が果たす役割について、話を聞いた。

ラミングできるような形で定式化されていま

農さんがその場にいるときは坊農さんへの質す。そのため、一時、人工知能では、それを使っ問ですが、坊農さんがいない場面でも、坊農て会話するロボットを作れるのではないかとさんを知っている人に対して使うことができ考えられていました。でも、うまくいかなかっる。つまりそれは、文脈次第です。そういう

従来、会話ロボットの研究は、人間のた。なぜなら、ルールの定式化は可能であっ「発話のデザイン」の構造を定式化してロボッ

言語を認識する装置を作り、それをロボットても、実際の発話はあまりにも文脈に依存しトに会話させるのは、非常に困難なのです。

に組み込めばロボットがしゃべるようになるているからです。

逆に言えばこれは、文脈に対する人間の適応

発話の構造を探る

坊農だろうというフレームワークの中で進められ

順番交替のルールというのは、次の話者を性がいかに柔軟かということを示しています。

てきたように思います。それに対して「井戸選択するための２つのテクニックの間に、優「井戸ロボ」を大変興味深いと思ったのは、人ロボ」では、二者以上の人のインタラクショ

先順位をつけるというもの。それは、現在の間のように会話するロボットを作るのではな

ンの中にある「構造」のようなものを追究し話者が次の話者を選ぶか、次の話者が自ら話く、人間みたいな格好の物体を人間のなかにています。つまり、人間のソーシャルなやりし始めるか、という２つです。前者のテクニッ

置くことによって、会話する人間のほうを見とりの構造を探ることで、ロボット研究に別

クは、２つの要素から成立しています。１つは、ようという、発想の転換が感じられるからでの視点を提供できればと思っています。

現在の話者が発言を特定の人に向けることで、す。

その研究の柱の１つが、「ロボット演劇」へ

もう１つは、特定の行為を強く促すような発のアプローチです。演出家の平田オリザさん

話をすることです。例えば、ある特定の人にの演出を見ながらいろいろデータを取って、質問が向けられるならば、その質問をされた

細かな動作や視線の動きと会話の関係性を人が次の話者となり返答することが強く促さ探っています。なかでも、会話の開始とコミュ

れる、という具合です。

ニケーションに着目しています。稽古中、演坊農

出家の指示によって繰り返されるセリフの流いかないわけですよね。

れを分析する目的で、「会話分析」という手法

西阪が使えると思うのです。

か？」のように明確な終助詞が常に用いられ会話を文脈から切り離してデザインしてしま

西阪 面白いですね。会話分析では、たとえば、るわけではありません。さらに、質問が誰にうので、もう少し会話の複雑性を取り入れた会話で次に誰が話すかという順番交替のルー向けられたものか一義的には決まらない。「坊いという思いから「井戸ロボ」をスタートしルが、一見、そのままコンピュータでプログ

農さんのご出身は？」という問いかけは、坊ました。ロボット演劇の演出を見ても、会話ロボットらしさ、
人間らしさ

でも、実際の場面では、理屈通りにははい。
「質問」といってもさまざまで、「～

坊農

そもそも、工学者があまりにも簡単にの始まりは何気ない会釈やアイコンタクト、
歩み寄ることだったりと、実にさまざまです。
例えば実験室でデータ収録を行った、ロボッ

坊農真弓 Mayumi Bonoトが施設案内をするという想定の場面。これ

国立情報学研究所 コンテンツ科学研究系 助教は案内ロボットと人が会話しているところに、「井戸ロボ」代表研究者

もう１人が通りかかるという設定です。その総合研究大学院大学 複合科学研究科 情報学専攻 助教

通行人の視線を受けて、３人に複雑な視線交錯が生まれます。さらに、見るタイミングや視線の返し方、ロボットの通行人に対する会
釈など、オリザさんの細かな演出指示が何度も加えられていく。すると、通行人は無言の No.62 2013
NII TodayNII Special 1

図 2：未来の人間とロボットの関係性を考えるために、ショッピング
モールのロボットと客のやり取りを平田オリザ氏が演出。50 パター
ン近く演出し分ける。ここではロボット役も人間の役者が演じている(2013 年 5 月 14 -15 日撮影、ATR 社会メディア総合研究所協力 )。

図 1：本プロジェクトの核

第三者でありながらもインタラクションへの関与を高め、３人の会話の関係性を明らかに変えていくのです。
西阪

ロボットらしさがどう演出されるのか、興味がわきますね。やはりロボットは人間とは違う存在ですから。まさに、人間的にふるまうロボットが人間とどこがどう違うのか、

まとめられましたね。

であって、その上に構築される会話の妨げにその差を明らかにしようという試みにも見え

西阪

まだ混乱状態にある避難所では、被災はならないという仕組みがあるんですね。だます。

者自身も何を必要としているのかよくわからから、足湯につかりマッサージを受けているないことが多い。そんなとき、阪神淡路大震災、

うちに、通常、ボランティアの側からは尋ね

中越地震の際の経験から、足湯が導入されまることをしない被災経験についても、被災者した。足湯につかっていると、いま困っていのほうから自然と語り出すことが少なくない

ることとか自然にいろいろな話が出てくるとのです。同じような構造があれば、足湯ではいうのです。そこで、会話分析によって足湯なくても、避難所や仮設住宅の特徴にあったのコミュニケーションの構造を見出せないだ

コミュニケーションのあり方を提示できるか

ろうか、と考えました。ボランティアの活動もしれません。

「会話分析」の知見を社会に還元する西阪の一助にもなれば、と考えたのです。

坊農域の１つで、会話という人間の相互行為を観坊農何が見えてきたのでしょうか？

たなインタラクションが生まれる ──「井戸察・分析する手法です。会話を分析するとい西阪

マッサージにより話がしやすくなるこロボ」につながる話ですね。

う発想は、1960 年代初め、民生用の録音機ともあるかもしれませんが、それ以上に、会

西阪の登場により、容易に音声の記録、再生が可

話自体は止まってもインタラクションは継続

くことで、逆に人間のインタラクションの構能になったことがきっかけになりました。そするという構造の重要さがわかってきました。

造が見えてくる。それこそが「井戸ロボ」のの後、小型ビデオで映像も手軽に記録できる

つまり、視線の動きやマッサージの手の動き醍醐味なのでしょうね。研究の進展に期待しようになると、視線やジェスチャーなどの視が、インタラクションを支えているベースにています。

覚的リソースも、会話を運営していくためのなっている。一方で、それはあくまでも土台

会話分析とはそもそも社会学の研究領

何かをしながら会話をすることで、新インタラクションの中にロボットを置（取材・文＝小原誠之）

仕組みとして注目されるようになります。ただ、言葉のやりとりを動かしていく要素はある程度体系的に抽出されているのに対し、音声以外のリソースはアナログ的すぎて、定式化するのは難しいのです。
坊農

音声以外はまだまだ難しいですね。でも、音声会話を対象にした会話分析の長年の成果が社会に役立ちつつもある。応用例とし

西阪

仰 Aug Nishizaka

明治学院大学 社会学部 教授て、警察や消防への通話記録の分析が裁判での資料として役立つことがあると聞きました。
西阪先生は最近、東日本大震災後の福島の避難所での「足湯」の会話分析をされて、本にNo.62 2013

NII Today［特集］ロボットは井戸端会議に入れるか遠隔地間でも自然な会話を実現する、
未来の井戸端会議とは日常会話においては音声による言語情報だけでなく、視線やジェスチャー、身振り・手振りといった非言語情報が頻繁にやり取りされている。人間とロボットとの自然な会話を実現するには、そうした非言語情報の伝達も重要なテーマだ。その前駆的な研究とも言えるのが、テレビ会議システムの取り組みである。NII と共同研究を進める NTT コミュニケーション科学基礎研究所の大塚和弘主幹研究員に、研究の最新動向と成果を伺った。

日常に溢れる
非言語情報のやり取り

同システムは、複数の人が会話する場面を自動的かつリアルタイムで分析するもの。具体的には、8 人程度の小規模会議において、テーブル上に設置された全方位カメラ・マイク統

日常会話や会議等のコミュニケーションの合システムが画像情報や音声情報を収集。得場では、音声による言語情報だけでなく、視られた情報を処理・統合することで会話の状線や表情、ジェスチャー、身振り・手振り、況を分析し、その結果をディスプレイ上に表声の調子といった非言語情報がやり取りされ示する。これにより、「誰がいつ話しているか」ている。これらの情報が総合的に作用するこ「誰が誰を向いているか」「誰が誰に注目してとで、さまざまなコミュニケーションが行わいるか」といった会話の状態をリアルタイム

れ、会話や話題も変化していく。したがって、にモニタリングできるようになる。

人間との共生を目指す井戸ロボの実現には、

CS 研の大塚和弘主幹研究員は、同システム

言語情報だけでなく、非言語情報も含めたコの開発に至った背景について、「遠隔地間におミュニケーションプロセスを明らかにするこ

ける人と人とのコミュニケーションを可能に

国立情報学研究所 情報社会相関研究系 准教授とが重要だ。

する手段として、テレビ会議システムに期待

東京工業大学 大学院総合理工学研究科

このようなテーマを情報工学の立場から追が寄せられていました。しかし、実際の対面究するため、NTT コミュニケーション科学基

会話ほどスムーズな会話を実現するには至っ

礎研究所（以下 CS 研）によって開発されたのていません」と説明する。

古山宣洋 Nobuhiro Furuyama
総合研究大学院大学 複合科学研究科 情報学専攻 准教授
知能システム科学専攻 連携大学院講座 連携准教授

情報を計算機で分析することで、コミュニケー

が「実時間マルチモーダル会話分析システム」

ションのメカニズムを解明しようと考えたのである。

です」と話す。

場の空気を伝えきれない
従来のテレビ会議システム

同システムの開発にあたり、１つの示唆となったのが、坊農真弓助教の研究だったと大塚主幹研究員。
「これまでのコミュニケーション研究は、言大塚和弘 Kazuhiro Otsuka

従来の平面上で展開されるテレビ会議シス

語が先にありましたが、会話の場における言テムは、「誰が誰を見ているのか」わかりにく語的な内容だけではなく、人間の行動も研究いという視線不一致の問題をはじめ、場の空対象になるという気づきを、坊農先生の研究

気を伝えることが困難だった。そこで、よりから受けたのです」

リアルな会話の場面をテレビ会議で再現する

一方、坊農助教も、「コミュニケーションのためには、場の空気の醸成をはじめ、人どう研究を人間の行動から探究していくという発しのコミュニケーションがどのようにして成想をもっている研究者は情報学には少なく、立するのか、その過程を明らかにすることがお互いに協力しあえると思っていました。と必要との結論に至ったという。

くにこのシステムの優れた点は、複数の会話

大塚主幹研究員は、「実時間マルチモーダル

映像をディスプレイ上で一覧できるよう、シ

日本電信電話株式会社

会話分析システム」では、CS 研が蓄積してきリンダー式に提示する方法です（写真１）。こ

人間情報研究部 感覚共鳴研究グループ

た画像技術、音声技術を活用し、人の行動をれにより、複数のビデオカメラによる従来の画像・音声情報として観測。そこで得られた撮影手法では落ちてしまっていた、会話場のNTT コミュニケーション科学基礎研究所
主幹研究員（特別研究員） 博士（情報科学）

 No.62 2013
NII TodayNII Special 2

写真２：t-Room

写真１：実時間マルチモーダル会話分析システム

写真３：MM-Space

空間情報が再現され、視線や身体方向の分析

契約の締結も契機となり、以来、両者による配置に合わせて、複数のプロジェクタや透過がとてもしやすくなりました」と話す。

井戸ロボ、および「未来の井戸端会議」の実型スクリーン、アクチュエータ、スピーカー

現に向けた共同研究を進めているところだ。

を配置。会話者の顔画像は背景を除去した上

また、人間の知覚、行動、身体性コミュニケー
ションを研究する立場から井戸ロボのプロ

で透過型スクリーンに映し出されるが、そのジェクトに参加する古山宣洋准教授も、「人々スクリーンは会話者の頭の動きと同期して制がコミュニケーションのためのリソースとして、曖昧な部分が多いジェスチャーをどのよ

次世代のテレビ会議システム「t-Room」「MM-Space」とは御されるようになっている。つまり、実際の会話で行われている視線の動きや首振り、ううにして利用しているのか、それを追究する

なずきといった非言語情報を解析し、スクリーためにも、実時間マルチモーダル会話分析シンの物理的な動きとして反映させているのだ。

ステムは非常に有効なものであると実感しました」と語る。
2009 年には、同システムと大塚主幹研究員の研究室に設置された映像収録装置を用い遠隔地間における円滑なコミュニケーショ

大塚主幹研究員は、「これにより、『誰が誰ンの実現を目指してきた NTT・CS 研。そのに注目しているか』『話題に共感しているのか』

研究成果の一例が、次世代テレビ会議システ

といった、いわばその場の空気までも、よりムの「t-Room」、「MM-space」だ。

はっきり伝えることができると期待していまた「音声 4 者会話・手話 4 者会話コーパス」

t-Room は、遠隔地間においても会話者どうを共同で開発。さらに同年 10 月の NTT と国しが“同じ部屋にいる”と思わせるようなコ

現在、会話における非言語情報のより詳細

立情報学研究所の組織対応型（包括的）連携

ミュニケーションの実現を目的に開発されたな伝達を実現するための機能強化を進めていもの。具体的には、壁面に複数のディスプレる。その一例がアクチュエータを前後左右にイを配置した多角形の空間を用意。各ディス稼働可能にしたことで、「興味を引いた話題にプレイの上側には、ビデオカメラが設置されは前のめりになる」といった動作も、反映でており、撮影された参加者の映像が他の場所きるようにしている。

にある t-Room のディスプレイ上に投影され

古山准教授は、「複数人の会話でやりとりさる（写真 2）。参加者が移動すれば、映像も合れる多様な情報を解析していくことで、よりわせて隣のディスプレイに移動。さらに、参コミュニケーションの本質に近づけると考え加者が特定の方向を指させば、全員がその方ていますが、MM-Space によって得られる知向を見るなど、t-Room 内にいる参加者は同じ

見は、今後の井戸ロボ研究の１つの指針にな空間を共有しているかのようなコミュニケー

るものです。MM-Space は単なる分析ツール

ションが可能だ。

の域に留まらない、研究のパラダイムを変え一方、「MM-Space」は、遠隔地にいる複数の人の会話を、あたかもその場で聞いている

坊農真弓 Mayumi Bono
国立情報学研究所 コンテンツ科学研究系 助教

総合研究大学院大学 複合科学研究科 情報学専攻 助教「井戸ロボ」代表研究者

す」と強調する。

てくれるものと考えています」と、大きな期待を寄せる。

かのように再現可能なシステム（写真 3）。実

テレビ会議システムの進化によって、未来際に会話を行う空間において会話者の顔画像の井戸端会議の姿が見え始めた。今後の進展と音声を取得し、会話を再現する空間に伝達に、さまざまな夢が膨らむ。

する。伝達先となる再現空間には、会話者の（取材・文＝伊藤秀樹）
No.62 2013

NII Today［特集］ロボットは井戸端会議に入れるか「井戸ロボ」と「東ロボ」、
自然言語理解へのそれぞれの挑戦
NII では、「ロボットは井戸端会議に入れるか」と「ロボットは東大に入れるか」という 2 つのテーマでそれぞれグランドチャレンジが進行中だ。どちらも人工知能の研究領域でありながら、研究戦略は正反対に見える。言葉やジェスチャー、表情などの多様な「モダリティ」の総合で行う複数人の自然な会話を研究する伝康晴教授と、文字や記号で記述された論理的で正解のある命題を解く人工頭脳を研究する宮尾祐介准教授。自然言語処理研究のバックグラウンドが共通する両氏の研究アプローチの違いと共通点はどこにあるのだろう。

います。機械翻訳の場合、1980 年代以前は学者がアタマで考えた手法でシステム化され自然言語処理の基盤になるのは「コーパス」づくりたので、現実にはあまり役に立ちませんでした。コーパスとして新聞記事や会話の書き起
こしなど実世界の言語資料がまとめられるこ

単一モードのコーパスから
マルチモーダルなコーパスへとにより、実用可能なレベルに大きく前進しました。自然言語を最小の単位に分割して品詞を判別する「形態素解析」という基礎技術
私たちが取り組んでいるいわゆる「東の精度は、すでに新聞記事で 98.5％、ブログ

伝 「井戸ロボ」は非言語要素も含めた現実

ロボ」では、自然言語で記述された入試問題

でも 95％以上に達しています。これは現実のの会話に入り込むのが目標ですから、ジェスを解くために、言語の電子化資料である「コー言葉によるコーパスがあればこそでしょう。

チャーや表情、視線の変化、会話中に行われパス」を活用しています。コーパスは 1980

宮尾

自然言語処理にコーパスは不可欠です

る直接内容と関連しない動作も研究対象とな

年代から充実するようになり、機械翻訳などね。「東ロボ」は 2021 年の東大入試突破を目ります。そうした要素は「モダリティ」と言い、はこれをベースに大きく発展しました。伝先標にしていますが、本当は「思考するプロセ

会話は「マルチモーダル」に行われるのが普生は言語学の立場からコーパスの研究をされス」の研究です。研究をできるだけシンプル

通です。

ておられますが、言語学ではどのような位置にするために、明快に記述された文章に焦点

マルチモーダルな会話から 1 つのモダリづけなのですか？

を絞り、曖昧な言語要素を省くようにした結ティだけを取り出してきたのが過去のコーパ伝

マイナーな領域かもしれませんね。しか果、入試試験問題への解答という目標ができスです。たとえば 1990 年代末には「道順をしコーパスは機械翻訳をはじめ、自動応答シたのです。これは「井戸ロボ」のアプローチ

教える対話」などの課題指向型対話のコーパ

ステムなどさまざまなシステムに応用されてとはだいぶ違うようですね。

スづくりが行われました。やがて「雑談」や

宮尾伝

康晴 Yasuharu Den

千葉大学文学部 行動科学科 教授

宮尾祐介 Yusuke Miyao
国立情報学研究所 コンテンツ科学研究系 准教授

総合研究大学院大学 複合科学研究科 情報学専攻 准教授「東ロボ」サブプロジェクトディレクター

 No.62 2013
NII TodayThat's Collaboration 1

せずに自然に理解できるような会話の流れを、機械が常識として備えていないからではない
かと思います。そうした部分を機械に教えてくれるようなデータがあると助かります。

事例の説明▪ A は発話を終えてから食べ物を口に運ぶのではなく、発話途中から箸を上げ始める（P：準備）。
▪ A は上げた箸を空中で止め（H：保持）、発話が終わるタイミングを見計らう。
▪ A は発話を終えるや否や、食べ物を口に入れ（S：ストローク）、他者が反応を返している間に咀嚼を終え、次発話が行なえる状態にいち早く到達する。
⇒ 保持は次発話に備えるための迅速な摂食につながる
イラスト制作者（人物） NII 坊農研究室 特任研究員 城 綾実

「火祭り」準備のシチュエーションでさらに多様な状況も対象に３人以上の人の会話などのコーパスも出てき

意識することもありませんが、人工知能で模ました。しかし会話を本当に理解するには、倣しようとすると大問題です。これはマルチ

会話をマルチモーダルなままで収録して分析

モーダルな会話分析の新しい視点だと考えま

伝 「井戸ロボ」のためには井戸端会議のコーする必要があります。

した。

パスが欲しいところですが、プライバシーなこれに取り組んだのが 2003 年の千葉大学「食べ物を口に入れる」のような食事動作をど制約条件が厳しくて収録ができずに困りまによる「3 人会話コーパス」です。これは友「準備」「保持」「ストローク」「復帰」といっした。そこで昨年から野沢温泉（長野県）で人同士 12 組がサイコロを振って初期の話題をたサイクルに分割して時間軸で記録し、会話

毎年 1 月に行われる火祭り（道祖神祭り）の決めて、その後は自由に話す様子をヘッドセッの内容との突き合わせを行いました。すると

準備現場に出向き、三夜講と呼ばれる実行チー

トマイクとビデオで収録し、一部をアノテー

いろいろなことがわかりました。たとえば自ムの行動記録をとっています。三夜講は後見

ション（付加情報の付与）しました。しかし、

分が話しているときは、しゃべりながら箸で人、世話人、見習いの年齢別 3 グループからこの事例を含め、コーパスづくりは実験室に食べ物を持ち上げて空中で保持しており、話なっていて、ご神木の切り出しや社殿の組み人を集めて、特殊な環境の中での会話収録にし終わったら約 0.2 秒で口に入れていること立てなどの作業を役割分担しながら多人数がとどまっており、日常場面の中での会話とはです。これは話を終えるタイミングを図って、連携して仕事をします。言葉に加えて仕事を違います。

食事動作を事前に開始しているわけですね。

見せることで、古くからの知識を伝承していまた他人が話した直後に自分が話し出すとき

くわけです。

の時間差も 0.2 秒ほどでした。相手の話が終これは目的指向のインタラクションの典型

わる手がかりを事前につかんでいるからでき的なシーンといえます。他人をモニタして自ることです。

分の行動を判断する場面が多いこと、また日分析前には「発話時間と食事時間は交互に常的会話がくり広げられ、多人数が関わるととる」とか「発話量が多い話者ほど口に入れいう点で、「井戸ロボ」に通じるデータが得らる動作が短い」といった仮説がありましたが、れると思っています。

実際には裏付けられず、発話量の多い人はいっ宮尾たん開始した「口に入れる」動作を一時停止している「東ロボ」プロジェクトに、この研しながら発話して、食事と会話を両立させて究を今すぐに適用できるわけではないですが、そこで、私たちは 3 人が円卓を囲んで会いたのです。まだ話の内容にまで踏み込んで

私たちの研究が進めば、やがて足りないとこ

食をしながら会話するという日常的なシチュ分析していませんが、体験談を話している状ろが見えてくるでしょう。そこに伝先生たち

エーションでのコーパスづくりに取り組みま況では途中で食事動作をしても、他の人が口の成果が生かせそうです。20 年から 30 年とした（映像データは東京電機大学・武川直樹

をはさまない傾向なども見えてきました。

いった将来には、研究が統合できる日が来る

教授より提供）。そこでは口は発話と食べるこ宮尾

おもしろいですね。英語の入試問題でかもしれません。ぜひこの分野の開拓を進めとの両方に使いますし、手はジェスチャーには 2 人の会話の穴埋め問題があります。人間て、情報科学の研究者が利用できるデータにも使えば、食器や箸を使うためにも使います。

が取り組めばなんでもない問題でも、機械でまとめていただければ幸いです。

食事と会話をどう両立するかなんて、普段ははこれがなかなか解けません。人間なら意識

円卓での会食風景を収録してアノテーションを行う

伝

人間が頭の中で考えていることを研究（取材・文＝土肥正弘）
No.62 2013

NII Today［特集］ロボットは井戸端会議に入れるか「身振り、手振り」が会話で果たす役割をロボットに理解させる
東京工業大学の岡田将吾助教は、人々の会話での「ジェスチャー」を機械学習の手法で分析する研究を続けてきた。「井戸ロボ」では、
井戸端会議のような日常会話でのジェスチャーの役割を、コミュニケーション科学の知見を取り入れつつ分析していく方針だ。一方、
人工知能、HAI（Human-Agent Interaction）、ISS（Intelligent Interactive Systems）を研究してきた NII の山田誠二教授は、「井戸ロボ」について、外部の立場から今回の研究の工学的な意味を問いかける。

前例が乏しい研究に、
コミュニケーション科学の知見を活用化されている。

は喋っている言葉と共起性がある（同時に出「ゲーム機の任天堂 Wii のコントローラや、現しやすい）』といったコミュニケーション科

マイクロソフト XBox の Kinect では、ゲーム学の知見を取り入れ、より深いレベルで会話のコントロールにジェスチャーを使っていまを理解することを狙う。

す。例えば釣りのゲームで、“竿を振る”動きをしたら、ゲーム内でも竿を振るようにする。
このように、約束事（プロトコル）が決まっているものでは、実用化されている例や研究「井戸ロボ」では、音声だけでなくジェス

例がたくさんあります」と岡田助教は言う。

チャー（身体の動き、身振り）を含めたマル

その一方で、日常会話に伴うジェスチャー

チモーダル（多手段）なインタラクション（会はより難しい研究対象で、研究例は乏しい。

話）の理解を狙う。また、会話の理解には、「日常会話において表出される非言語のう

話者以外の人々のジェスチャーも重要だと考ち、“視線の動き”などは話し相手・興味対象える。そこで、人々の会話を、言葉だけでなの特定に有用であることから盛んに研究が行く居合わせた人々のジェスチャーまでを含め

われています。しかし、手の動きのようなジェて記録、分析し、それらを「会話するロボット」

スチャーは“ノイジー”で意味づけが難しい。

の設計に結びつけようとしている。

会話中のジェスチャーを機械に認識させることに成功

岡田助教の研究成果として、日常会話の中でのジェスチャーのパターンの発見がある。

例えば、会話の中で、言葉が出ない“言いよ

例えば、A さん、B さんが会話をしている

このようなジェスチャー分析に関わっていどみ”の最中に手が動いていることがありまとする。ここで、「A さんが話している」「Aるのが、東京工業大学の岡田将吾助教だ。岡すが、これも非言語コミュニケーションの一さんが B さんを見ている」「B さんがうなずい

田助教は、以前から人間のジェスチャーをコ種です。こうした今までノイズとして捨ててている」といった一連の会話やジェスチャー

ンピュータに取り込み、機械学習の手法によいた情報の中から、意味がある情報を認識でを含むデータを、「マルチモーダル時系列デーり分析する研究を続けてきた。

きればと考えています」（岡田助教）。

タ」と呼ぶ。

ジェスチャー認識は、すでに一部では実用

そのため、「井戸ロボ」では、『ジェスチャー

岡田助教は、このような「マルチモーダル
時系列データ」の中で、会話の進行に伴うジェスチャーの順番（時系列）には意味があるとの仮説を立てた。そこで、マイクや、人の動きを検出するモーションキャプチャーなど複数の手法で人々の会話中のジェスチャー、つまり「非言語行動」を検出し、記録した。話者の顔が向いている方向（視線方向）や頭部などの身体の動き、それに手の動きのパターンを集め、これらを「教師なし学習」※ と呼ぶ
機械学習のアプローチでパターンを自動的に抽出した。

岡田 将吾 Shogo Okada
東京工業大学大学院 総合理工学研究科
知能システム科学専攻 助教

10 No.62 2013
NII Today

山田 誠二 Seiji Yamada

そ の 結 果、「 話 者 が 説 明 時 に 使 う ジ ェ ス

国立情報学研究所 コンテンツ科学研究系 教授

チャーは聞き手の視線を伴う」「説明時のジェ

東京工業大学 大学院総合理工学研究科 知能システム科学専攻

スチャーと“うなずき”が共起しやすい」「聞総合研究大学院大学 複合科学研究科 情報学専攻 教授
連携大学院講座 連携教授

That's Collaboration 2

会話中に用いられたジェスチャーの役割・機能を認識するためには、会話参加者の非言語行為（発話・頭部動作・顔向け状態）を利用することが有効である。左下、右下の２つの例のように、説明の補助的役割を担うジェスチャーを行っている人
を聞き手が見ていたり、うなずいていることがわかる。ジェスチャーと共起する非言語行為を同時に観測することで、ジェスチャーの役割認識精度を向上させることが可能となる。

「僕たちは社会性をもっていて、例えば『視線を向けられたら、喋ってもいい』といったき手の質問が出た直前・直後でジェスチャー

見るとかえって不自然に感じてしまうからだ。

非言語コミュニケーションを理解できる。とを用いた説明が行われる」などのパターンがそこで、「人間とは違う外見をもつモノの、人

ころが、こんな簡単なことがロボットにとっ検出できた。

間からみて親しみやすい動き、ジェスチャー

ては難しい。『場の空気を読む』じゃないが、これらのパターンは、私たち人間にとってとはどのようなものか、これは研究対象としその場の人々の役割、社会性を機械に理解さは当たり前に感じられるかもしれないが、コては興味深いものになるはず」と山田教授はせることは難しいのです」（岡田助教）。

ンピュータが認識できるようになったことは指摘する。例えば、アニメーション映画『天そして、「井戸ロボ」での研究は、こうした大きな進化だ。機械的な手法により、大量の空の城ラピュタ』（宮崎駿監督、1986 年）にロボットにとって難しいテーマを、工学、計

人間の会話を、より深く理解できるようにな

登場するロボットは人間とは外見が異なるが、算機科学のような「理系」だけでなく、コミュ

り、ロボットにも応用可能となることを意味

手足の動きやライトの反応などにより、人間

ニケーション科学など「文系」の知見を取りするからだ。

とのコミュニケーションがある程度成立して入れて研究しようとしている。例えば、コミュいるように表現されている。ここにもロボッ

ニケーション科学の知見を取り入れ、会話中

ト研究のヒントが含まれている、と山田教授のジェスチャーが「説明時のジェスチャーか、は言う。

否か」を機械学習により判定する際に、ジェ工学的にも挑戦的な課題が山積みまた、今回の研究で扱うマルチモーダル時

スチャーを行っている人以外の動き（非言語

系列データを機械学習により処理することは、情報）を取り入れることで、認識精度を 2 〜

そもそも難しい。

16%向上できるという成果が得られた。

「どのような特徴量に注目するのか、学習ア

このようなコンピュータ処理によるジェス

ルゴリズムをどうするか、そのような機械学

チャーの理解が進めば、コミュニケーション

習の本質に関わる貢献ができる可能性がある科学の研究手法にも革新がもたらされる可能と期待しています」（山田教授）。

性がある。従来はビデオを見ながら人間が分

一方、ロボットと人間の対話に関して長く析していた作業を、機械で自動化でき、より研究を続けてきた山田誠二教授は、「井戸ロボ」

大量のデータを蓄積できるようになるからだ。

の外部という立場で次のようにコメントする。

「学際的な取り組みゆえの成果が出せると考「『井戸ロボ』では、現実のロボットは作らえています」と、岡田助教。一方で山田教授は、ずに会話の研究をする、ということになって「ぜひ、科学としての成果だけでなく、工学的いるが、私としてはロボットまで作ってほしいですね。人工物であるロボットが、おばあ

学際的な研究経験を積むことに意義があるなアプローチから実用への道筋をつけてほしい」と鼓舞する。今後の研究の進展に大いに期待したい。

ちゃんたちの世間話に加われるところまでい（取材・文＝星 暁雄）

けば、それは本当にすばらしいことです」
現実には、人間そっくりなロボットを作ったとしても、人間同士の会話に加わることは

岡田助教は、山田教授の指摘を受け、「井戸難しい。ロボットに可能な動きは、人間の自ロボ」と現実のロボットのギャップについて、正解がわかっていない問題に対する機械学習の手法。大量の然な動きとは明らかに違うために、人間から次のように話す。

われる。

※ 教師なし学習
入力データの背後に隠れた本質的な構造を抽出するために行

No.62 2013

NII Today

11

NIIEssay

ロボット演劇事始め
平田オリザ Oriza Hirata
劇作家、演出家
大阪大学 コミュニケーションデザイン・センター
教授

大阪大学の石黒浩教授とロボット演劇のプロジェクトを始めことができますが、それをやってもいいですか？」て、すでに 6 年になる。この間、15 カ国 33 都市（国内 12 都

これは、通常の学術の世界では禁じ手であろう。学会発表で市を含む）で上演を行い、大きな反響を得てきた。科学研究費

そのようなことをしたら、ねつ造のそしりさえ免れない。しかを使ってのプロジェクトで、これほど短期間に目に見える成果

し浅田先生は、開口一番、「望むところだ」と仰った。そして、をあげた研究も珍しいだろう。

浅田先生のお墨付きを得て、私と石黒先生のプロジェクトが始

私が大阪大学に移籍して 1 年ほど経ったある日、大学のＰＲまった。二人は、ほぼ同世代であるだけではなく、人間に対すイベントの控え室で、当時阪大総長だった鷲田清一氏と世間話る見方、コミュニケーションに関する考え方が、おもしろいほをしていた。鷲田氏の総指揮で始まった大阪大学コミュニケー

ど一致しており、研究は最初からフルスロットルで加速していっ

ションデザイン・センターは徐々に軌道に乗り、私もいくつかた。石黒先生がかつて画家を志しており、私も科学技術を題材

演劇の授業を開講した時期だった。

にした演劇を多く書いてきたといったお互いの来歴も、プロジェ「他に、何かやりたいことはありますか？」と聞かれて、かねクトをスムーズに進行させる要因となった。

がね心に抱いていた懸案を相談した。

どのようなロボットを作るかだけではなく、それをどう見せ「ロボットを使って演劇がやりたいんですが？」るか、そのために「演出」を行うという発想は、石黒先生だけ

鷲田総長はすぐに、石黒先生と、当時の上司の浅田稔先生にが持っていた。そこに私が大阪大学に赴任し、このプロジェク

連絡を取ってくださった。1 週間後、浅田先生の研究室をはじ

トが実現した。日本の大学が、まだ大学としての価値を多少はめて訪ねた際のことは、いまも、よく覚えている。最初に私は、有しているということの証左であろう。

以下のことを伺った。

私はこのロボット演劇プロジェクトの誕生の経緯を、世界中「私がプロジェクトに入ると、ロボットが、いま持っている技

で話してきた。この話のオチは、そうはいっても二人を出会わ術以上のものを、あたかもそれを持っているかのように見せるせた鷲田清一氏、すなわち哲学者が一番偉いという結論である。

情報から知を紡ぎだす。

表紙イラスト

かつて共同井戸は生活用水として利用され、そこに集まった人々は水くみや洗濯をしながら、世間話や噂話に興じた。それは地域を支える重要な情報交換の場でもあった。はたして、そんな井戸端会議にロボットは入れるだろうか？
が、その実現に夢が膨らむ。

それは人間と猫が会話するくらい難しいことかもしれない

国立情報学研究所ニュース［NII Today］ 第62号 平成25年12月
発行 : 大学共同利用機関法人 情報・システム研究機構 国立情報学研究所 http://www.nii.ac.jp/〒 101-8430 東京都千代田区一ツ橋 2 丁目 1 番 2 号 学術総合センター

編集長 : 東倉洋一

表紙画 : 小森誠 写真撮影 : 川本聖哉 / 佐藤祐介

本誌についてのお問い合わせ : 総務部企画課 広報チーム

デスク : 田井中麻都佳

TEL : 03-4212-2164

制作 : クディラ アンド アソシエイト株式会社

FAX : 03-4212-2150

e-mail : kouhou@nii.ac.jp