The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005

2D3-01

会話情報学
Conversational Informatics
西田豊明*1
Nishida, Toyoaki*1

京都大学情報学研究科

Graduate School of Informatics, Kyoto University
Conversational Informatics aims at investigating conversational behaviors as well as designing conversational artifacts that
can interact with people in a conversational fashion. The technical subfields of conversational informatics is five-fold,namely, conversation measurement and analysis, conversational artifacts, conversational environment design, conversationalcontents, and applied conversational systems.

1. はじめに会話は，人間にとって最も自然なインタラクションの様式である．会話は，コンテンツが消費され，生産される場であるとともに，それ自体がコンテンツとしての価値を持ち得るものである．
知能情報学，言語処理学，認知心理学，文化人類学を融合して，会話という人間にとって最も自然なコミュニケーション様式を中心とした新しい知能メディア技術を研究開発し，その基礎となる会話情報学を確立する試みを進めることを提唱したい．
会話情報学の視野には次のような関心が含まれている．第一に，知識の伝承・創造に関わる会話を対象に，生体計測や音響映像メディア処理によって会話過程を細部に至るまで克明に記録し，文化人類学研究と認知心理学研究におけるデータを中心とした会話の分析とモデル化の新しい研究手法の確立を図る．
第二に，異世代・異文化・異民族など，生活文化様式の全く異なる人々とのリアルタイムな意思疎通を支援する会話媒介技術とその評価手法の確立を図る．第三に，人間と人工物の円滑な会話のデザイン手法を開発し，人間と人工物との間の高度できめ細かな意思疎通の方式の確立を図る．以上を通して，会話の理解と支援技術体系の確立という目標のもとに，従来細分化していた諸技術と学問領域を融合し，さらに高度化するとともに，学習，ビジネス，社会コミュニティにおいて会話型のコンテンツ制作と流通を中心とする新産業分野を創出するための基盤となる学問領域の確立を図る．
技術的には，言語処理，音声画像処理，エージェントなどの知能メディア技術の新しい展開によって，認知・社会心理モデルや会話分析との間の新たな結びつきを模索し，会話を中心とする知的創造の解明と支援に関わる新しい研究領域の構築をめざす．これによって，応用面では，会話を中心とした新しい学
習システムや知識マネジメントシステムを開発し，基礎面では会話において言語的なモダリティと非言語的なモダリティがどのように相互作用し，コミュニケーションを成立させるかについて新しい知見を探る．

2. 会話情報学に関わる従来の研究成果
会話情報学という観点は，文部科学省研究費補助金学術創成研究「人間同士の自然なコミュニケーションを支援する知能メディア技術」（課題番号：１３ＧＳ０００３，研究代表者 西田豊明）
連絡先： 西田豊明，京都大学情報学研究科，京都市左京区
吉田本町，nishida@i.kyoto-u.ac.jp

における討論のなかから生まれてきた．本研究では，人間同士がコンピュータの存在を意識することなく，音声・表情・身振りなどの豊富なコミュニケーションスキルを使って自然にコミュニケーションできるようにするための新しいコミュニケーションメディア（知能メディア）の研究開発を行ってきた．人と語り合うことのできる会話型コンテンツという概念の実現をめざして，コンピュータを環境に埋め込んでコミュニケーションをさりげなく支援する環境
メディア技術，コンピュータを人間と普通に会話できる社会的主体として位置づけて人間同士の会話を支援する会話エージェ
ント技術，両者を実現するための理論的・技術的基盤を与える
対話のコミュニケーションモデルの開発に焦点をあてた取り組みを行っている．これまで次のような成果が得られた．

2.1 環境メディア技術a) 講義自動アーカイブシステムで得られる講義アーカイブに対し，さらに講義中の講師−教材間の関係性に関する情報として，講師による教材への注意の焦点化についての情報を付与する手法を検討した．対面コミュニケーションに関しては，一昨
年度，利用者の表情をアバタ(avatar)による合成表情によって伝達する際に，利用者の主観に合致した表情マッピングを，利用者とのインタラクションを通じて得られる事例から学習・獲得する手法を提案した．
b) 映像メディア処理における個人適応プロセスの実現，並びにコミュニケーションの場である円卓ミーティング環境のマルチモーダルセンシングと記録システムについて研究を進めた．長時間の映像を数分に圧縮するような時間圧縮型要約，およびコンテンツ全容の一覧性に優れる空間展開型要約について，スポーツ映像をケーススタディとして，各々アルゴリズムを開発した．また，側方３６０度の視野が得られる全方位視覚センサーとマイクロフォンアレーを併用したマルチモーダルセンシングシス
テムを開発した．
c) リアルタイムヒューマンプロキシの概念に基づいた遠隔コミュニケーションを実現するために必要な点について研究を行った．モーションキャプチャデータからボトムアップ的にすべての動作を抽出し，その中から必要な動作の抽出を行った．事前知識を階層化し，さらに部品化を行うことで，事前知識の拡張性，再利用性を高め，構築を容易にした．

2.2 会話エージェント技術
会話エージェント技術に関しては，会話量子化の考え方を導入し，会話量子の配置された景観として会話コンテンツの空間-1-

The 19th Annual Conference of the Japanese Society for Artificial Intelligence, 2005
表示と，会話エージェントによるプレゼンテーションによる会話コンテンツの時間表示の両面を持つ会話コンテンツ管理システム
として，知球，ContentsGarden，Gallery を研究開発した．また，会話エージェントによる演技を部品化し，要求に応じて合成する手法を研究開発した．さらに，実世界からユビキタスセンサを用いて会話状況を獲得し，インタラクションコーパスとして組織化する手法，コラージュとして表示したり会話エージェントによって再現する手法を開発するとともに，会話の量子化手法について検討した．
b) 会話型コンテンツの中核である言語情報を計算機により深く理解させるための言語情報処理基盤の研究と，人と人，人と計算機のコミュニケーションの認知的視点からのモデル化を行った．さらに，これらの基盤技術，モデル化を土台として，会話情報学の種々のアプリケーションシステムを構築した．
c) 「さりげなく作業支援を行なう映像メディア」のための物体・作業動作認識とユーザインタフェースの研究開発，会話シーンの自動撮影・編集システムの構築，プレゼンテーション映像の自動編集規則の設定とユーザインタフェースとしての評価を行なった．

2.3 対話のコミュニケーション・モデルa) 人間の教示者の発話（教示）の意味を，教示者との段階的相互適応を考慮しつつ獲得できる計算機モデルの実装とその評価を行った．また，コミュニケーションの中で相手の意図を予測し，自分が有利になるように相手に嘘をつく必要のある状況下において人間が発する様々な非言語情報を用いて，その中のいかなる要素に着目すれば人工物が嘘を判別できるようになるのかを統計的に分析した．さらに，そのような「コミュニケーションの自然さ」を評価するための指標を明確化するために行われた．具体的には，人工物としてエージェントを用い，人間がエージェントとインタラクションを行っている際の生理指標（心拍電位のゆらぎ），実施後の内観報告と行動的指標（NASA-TLX 法による評点）の３つを比較し，これらのいずれの間に高い相関が見出せるかを明らかにすることで，コミュニケーションにおける自然を表現する指標の提案を行った．
b) マルチモーダル会話コーパスを用いた相互行為分析のための基礎単位の検討，３人会話における聞き手の行動の分析，情報隠蔽時のコミュニケーション行動の分析について研究を行ない，次のような結果を得た．第一に，これまで直感的に語られるのみであったターン構成単位の認定のための手続き的な基準を与えた．第二に，３人会話における聞き手のちょっとした振る舞いが，２人の聞き手の役割差によって，行動の分布がどのように異なるのか分析し，行動の生起位置および共起関係に関する知見を得た．第三に，発言の真偽を隠す必要のある（実験的）状況下での言語・非言語行動を分析し，発言開始・終了直後の瞬きに虚偽発言時と真実発言時の違いがあることを見出した．
c) 個人の最も主観的な体験であり他者に正確な伝達を行うことが困難とされる痛み（pain）をとりあげ，素人には難しいとされている「痛み」の演技について，舞台俳優としての演技経験年数の異なる初心者群，中間群，準熟達者群を比較し，演技経験を積むにつれ「痛み」の演技がどのように変化していくかを検討した．その結果，場面にかかわらず，熟達と共に演技が伝わりやすくなるということはなく，むしろ初心者の演技の方がわかりやすいことを見出した．また，準熟達者群は，見る側に伝わりやすい演技をするのではなくより自然な演技をすること，及び複雑な場面となっても自然さが落ちないことに技能の熟達が示された．

d) 同調傾向についてこれまでに提案されている 3 つの説明モデルを対比することを通して，同調傾向を俯瞰し，同調傾向を位置づける説明図式について論じた．さらには，それに基づいて今後の課題を導き出す．同調傾向と心的要因との関係についてマルチチャネルで時系列的に検討する必要性があることについて論じた．
e) 対人コミュニケーションにおける影響伝播モデル（IDM）を拡張し，インターネット上の電子掲示板からソーシャル・ネットワークを抽出する手法を提案した．また，ソーシャル・ネットワークの非相称さをコミュニケーション・ギャップとして定量化する指標も併せて提案した．

3. 会話情報学の今後の展開
今後は，会話情報学の確立に必要な学融合を引き起こすもとになる複数の重点的テーマとして，会話計測分析学，会話環境デザイン学，会話的人工物学，会話コンテンツ学，会話応用創成学の 5 つを設け，それらを相互に連携させつつ，会話情報学として統合をおこなうことを考えている．

3.1 会話計測分析学
生体計測技術や音響映像メディア処理によって現実の会話過程を計測・記録する技術を開発して，データ主導の会話分
析・モデリング・解釈を中心とした文化人類学と認知心理学の新しい手法を確立する．

3.2 会話環境デザイン学
人間同士および人間と人工物の間に自然で創造性の高い会話行動が実現され，人間の体験が記憶され，新たな体験が再生産されるようにするための環境デザインとアセスメント手法を確立する．また，人間が抽象的な情報を空間的・身体的な体験として理解できるようにするための情報の空間化・身体化技術を研究開発する．

3.3 会話的人工物学
社会的インタラクションによって他の行為者との間で行動を臨機応変に調整したり，会話を盛り上げたりすることのできる自律的な会話的人工物を実現し，評価するための研究を行う．

3.4 会話コンテンツ学
会話環境における会話行為とその参照情報を自動的に獲得し，知的な加工を加えて，後で行われる会話において利用し，他者に経験として伝達したりするための技術を研究開発する．
会話環境における会話行為の認識，コンテンツの加工・蓄積・組織化・相互変換，会話の成り行きに応じたコンテンツの提示などが中心課題となる．

3.5 会話応用創成学
様々な応用領域において実際に会話環境を構築し，会話コンテンツを制作して，知識の伝承・創造に関わる会話を中心に会話過程の計測と分析を行うことによって，会話情報学を実証的に評価し，学問の深化と多様化を図る．

謝辞
会話情報学の定式化にあたっては，美濃導彦，馬場口登，谷口倫一郎，角所考，中村裕一，黒橋禎夫，角康之，菅原和孝，子安増生，吉川左紀子，植田一博，伝康晴，松村真宏，中野有紀子，有田大作，岡本雅史，小松孝徳，久保田秀和の各氏との討論によるところが多い．ここに感謝します．

-2-