インタラクション・コーパスの閲覧・分析環境の開発
來嶋 宏幸

角 康之

西田 豊明

京都大学
１. はじめに体験メディアのアプリケーション

近年、会話分析や社会的なインタラクションをビデオサマリ
展示ガイド研究するにあたって、会話シーンの音声・ビデオ蓄積のコーパスを利用したアプローチが広がってきている。しかし、従来の研究の多くは会話参加者やServer体験記録システム

インタラクションコーパス

状況が固定的なシーンのみを対象としてきた。そCorpus Viewer

れに対し、我々の研究グループは、より開放的な状況で会話の参加者が動的に変化するような状況を対象としたインタラクションのダイナミクスの結果をコーパスに反映
or
ファイルで保存可視化

理解に興味がある。従来扱われてきたデータの分析・ラベリングには Anvil[1]の様なビデオ･アノテーションツールが利用されて来た。しかしながClient (iCorpus Studio)

図１

システム全体の構成

ら、我々が扱うようなデータの分析では単一の映像データを分析するのではなく多視点の同期した得られたインタラクション・コーパスを核に据え映像データを分析するための環境が必要となる。

た体験メディア(ビデオサマリ、展示ガイド)の構

そこで我々は自分達の扱うデータをより効率的に築を進めている(図 1)。また、大量のデータを分析分析するためのシステムである iCorpusStudio をし、人のインタラクション・パターンを理解する試作した。本稿ではこの iCorpusStudio を用いたこともインタラクション・コーパス構築の動機のインタラクション・コーパスの分析の手法を提案一つである。

する。
２. インタラクション・コーパスとその分析

インタラクション・コーパスの特徴として、開放的な状況の中に複数のシーンが混在しており、我々の研究グループでは、複数のセンサ群を協その中の各シーンが複数視点で記録されていると調的に用いて複数人のインタラクションを記録すいうことが挙げられる。しかし、複数のシーンのる方法論の開発を進めてきた[2]。文献[2]では、展中から注目すべきシーンを特定することや、たく示見学会に来訪した人々のインタラクションデーさんある視点データのどれが今注目しているシータを大量に蓄積し、それに構造を与えた物をインンの構成員であるかは自明ではない。我々の研究タラクション・コーパスと呼んでいる。インタラグループではこれらの問題を解決するために、コクション・コーパス構築の試みとして、赤外線 IDーパスを可視化し分析するためのツール(Corpus

センサを用いて LED タグ固有の ID を識別し、そViewer)を開発してきた[3]。このツールでは利用

れを用いて実時間で自動的にビデオデータにイン者は注目すべきシーンを容易に見つけることが出デクスを与え、それを解釈する手法を提案した。

来、その場面を構成している複数の人間や環境の具体的には、得られたインデックス付のデータをビデオデータを同期して表示することを可能としあるルールに沿って生のデータから段階的に解釈ている。しかしながら、分析作業そのものには従することによって、抽象度の高いインタラクショ来のツールを用いてきたため、複数のシーンを構ンの解釈を行う試みがなされた。そのようにして成するような時空間的に大量のデータの分析にはDevelopment of a System for Analysing and

不十分であった。

Annotating Interaction Corpora: Hiroyuki

また、分析する動機の一つとしてインタラクシ

Kijima(kijima@ii.ist.i.kyoto-u.ac.jp), Yasuyuki

ョン解釈の誤りの検証が挙げられる。解釈の誤り

Sumi, Toyoaki Nishida; Kyoto Universityは得られたデータ自体の誤りやインタラクション

解釈のルールに起因する物がある。これらを修正・検証するための環境も必要とされている。
今回我々が試作した iCorpusStudio では、前述

B視点のビデオ
A視点のビデオ
C視点のビデオの Corpus Viewer と組み合わせて利用すること

ビデオとデータは同期

環境側のビデオによって複数の同期したビデオデータを見るだけでなく、赤外線 ID センサや発話検出、心拍数などの生体データといった大量のコーパスデータを入力としてアノテーション候補を提示し、映像データを見ながらそれらを手軽に分析・編集し、結アノテーションの付加

アノテーション

果を複数利用者間で共有出来る環境を提供する。
またコーパスデータそのものの修正を共有することによりインタラクション解釈の誤りを減らすこLOOK_AT

sumi

Voice
Gestureとが出来る。

Robovie
ONPointing

図２

システムの動作画面

３. iCorpusStudio
3.1

システム構成を見て比較検討することが可能となった。アノテシステム全体の構成図を図１に示す。体験記録

ーションの定義については Anvil などで見られるシステムでの人や環境側のセンサやカメラのデーような、ユーザが XML ファイルである程度自由タは実時間でサーバに蓄積される。本システムでに定義しそれを読み込むという形で実装した。

は可視化されたコーパスデータから、分析に必要４. おわりにな範囲をユーザが選択することによって必要なフ

本稿では、インタラクション・コーパスの分析ァイルをダウンロードし作業を行う。作業終了後を支援するシステムを試作した。本システムを用にアノテーションデータをデータベースに登録すいることで多視点の映像データを協調的に閲覧しることで、システムの他の利用者と結果の共有をながらコーパスデータを分析することが可能とな可能とした。また、クライアント側に XML ファった。またそれによってインタラクション解釈のイルを出力する機能も実装した。

誤りを修正出来ることが示された。今後、本シス

3.2

テムをインタラクションの解釈やその結果を利用動作

本システムの動作画面を図 2 に示す。システムのしたアプリケーションのプロトタイピング環境に上部には分析対象となるシーンをとらえる複数視拡張したいと考えている。

点カメラの同期した映像が表示される。下部のパ謝辞

ネルではアノテーションデータが横軸に時間を取本稿で紹介したコーパス環境導入にご協力頂いって表示されている。アノテーションの時間軸はた ATR の岩澤昭一郎氏、山本哲史氏に感謝する。

映像の時間と連動しており、見たい時間帯をアノ参考文献テーション部分から選択することが可能である。

[1] Michael Kipp: Anvil - A Generic Annotation

逆に動画を再生するとパネル上の時間を示すライTool for Multimodal Dialogue, In Proceedings

ンも同期して移動する。下部左側にはアノテーシof the 7th European Conference on Speechョンデータの追加や削除、編集といった作業が行Communication and Technology (Eurospeech),える環境を提供している。また、限られた画面を有効に利用するために、作業中でないアノテーシ

pp. 1367-1370, Aalborg, September 2001.
[2]角康之、伊藤禎宣、松口哲也、Sidney Fels、

ョンの行を最小化するような機能を実装した。下

間瀬健二: 協調的なインタラクションの記録と部のパネルでは、コーパスデータを入力としたア

解釈; 情報処理学会論文誌、Vol.44、No.11、ノテーションデータの候補と、ユーザが定義した

pp.2628-2637、2003

アノテーションを表示している。蓄積されたコー[3]角康之、岩澤昭一郎、間瀬健二: インタラクシ

パスデータをアノテーションの候補として表示すョン・コーパス分析ツールの試作;情処研報、ヒることで、自動で取得されたデータを実際の映像

ューマンインタフェース、Vol.HI104-7、2003.