ハンドアノテーション分析からのメディアデザイン―立食多人数パーティーにおける孤立者支援を例として―
山内	  賢幸 	  	  	  坊農	  真弓††	  	  	  相原	  健郎††	  	  	  西本	  一志Media Design Based on Hand Annotation Analysis: An Example ofSupporting Isolated Participants in Multiparty Interaction
YOSHIYUKI YAMAUCHI†

1.

はじめに

1.1

背景MAYUMI BONOKENRO AIHARA

KAZUSHI NISHIMOTO

ノテーションを付与し，その情報から孤立した人を判別する方法を提案する．このことにより，実際の多人数インタラクションの複雑さ，センシング技術に加担	  情報学にはメディアをデザインするという考え方することで見落としてきた現象を指摘する．本論文のがある．例えば，何らかの集団において孤立している試みを通し，「センシング技術の発展」→「インタラ人物を支援するメディアを開発する場合，いったいどクション収録・理解」→「メディアデザイン」というのような状態の人が「孤立者」として定義でき，また従来の方法ではなく，「ハンドアノテーションからメ

センシング技術などによってそれらの人々を検出できディアデザインを導き出す」，という新たな方法を提るのだろうか．従来，各種センサーを利用して位置情案する．

報を得たり，マイクから発話情報を得たりといったインタラクション理解の研究が数多くなされてきた．特2.

提 案 ：「 孤 立 者 検 出 」に角ら[1][2]のように人に複数のセンサーをつけ，そ	  本節では，人間の目では明らかな現象でも機械だとこから記録された大量のデータからインタラクションその状態を読み取る事が困難なインタラクションをどのコーパスを構築する手法などがあげられる．しかし

ういったラベルにするのかについて，「孤立者検出」ながら，ハードウェアを利用したセンサー主体のインを例にあげて検討する．単純に考えて，孤立者を検出

タラクション理解の発想では，実際の人間の会話や行するには，単に，一定時間発話が行われていない者を動，ジェスチャーをセンサーの能力内で測定すること検出すればよいかもしれない．しかしながら，実際にになる．その結果，センサーの能力外の自然なインタは「傍参与者(side participant)」(坊農ら[3])といった，ラクションのふるまいを見逃してしまう危険性がある．

会話を傍らで聞いている者もいるため，その方法では特に，人が孤立するといった，機械が読み取ることが「傍参与者」よりさらに会話から距離のある「孤立難しい状況は，その場に参与している人々にとっては者」をうまく検出することが難しい．そこで本研究で「孤立」していることが自明のことであっても，何には，まず会話場が形成されているのかどうか，また誰よって「孤立」といったラベルが会話参与者間で振らが参与しているのかをアノテーションデータから判断れるのかが未だ不明である．

する．こうして会話の中心部分を探し出すことにより，

1.2

目的誰がいつ孤立しているのかがわかるようになると考え	  そこで本稿においては，デジタルビデオカメラでられる．つまり逆転の発想で，複数のラベルから得ら撮影した立食形式パーティーの映像を使い，それにアれた会話集団の情報から，会話の中心的なアノテーシ
ョンが振られない人物を「孤立者」として解釈するの

北陸先端科学技術大学院大学 知識科学研究科
Japan Advanced Institute of Science and Technology
国立情報学研究所コンテンツ科学研究系
National Institute of Informatics
北陸先端科学技術大学院大学 知識科学教育研究センター
Japan Advanced Institute of Science and Technologyである．

3.

データ収録実験	  実際に孤立者が存在しているのか．また孤立者を情報処理学会 インタラクション 2010

図 1	  会場とテーブル，カメラの設置位置

図 3	  身体位置のレベルの例

図 2	  身体方向の例

検出するためのハンドアノテーションをどのようなデ

4.2

ハンドアノテーション

ザインにすればいいのか検討する上で，実験の動画を	  レイヤーは４つ用意した．1．発話単位，2．身体方検証していく必要がある．そこで以下のような実験を向，3．身体位置，4．視線である．

行った．

[発 話 単 位 ] 発話と無音区間の時間長を計る，IPU 検

3.1

内容

実験はデジタルビデオカメラ 4 台を使用して映像と出の手法を用い（伝ら[4]）発話のスタートとエンドをラベル付けする1．

音声の撮影を行った．実験参加者は大学院生１０人を[身 体 方 向 ] 図１のように配置された机を手掛かりに，２組の合計２０名．1 組目は３つの研究科からそれぞ

両足が地面についていてかつ身体がその机の方向を向

れ４，３，３人．2 組目は，全て同じ研究科から，修いていた時にそれぞれの机の記号（A-C）をラベリン

士 1 年生が５人，修士 2 年生が５人である．なお 1 組

グする．また次の方向へ身体が移動し始めた時を身体目と 2 組目の実験参加者が被らないようにしてある．

移動の準備期間とし「t」というラベルを用意した2．

また各グループには必ず全く知らない人が 1 人はいる

図 2 を例に身体方向のラベルの付け方を説明する．はように設定した．時間は 2 時間，それぞれ別の日にちじめに実験参加者 b 周辺のインタラクションを取り上に行った．設定した実験内容は「親睦会」とし，最初げる．b は単純に C の方向を向いているので「C」とに自己紹介をしてもらい，その後はひたすらフリート

記述する．一方，a は「A」とも「C」ともとれる方ークをしてもらった．それ以外の制約は，実験をカメ向を向いている．この場合は最寄りの机の記号を当てラ撮影しているので，実験会場からなるべく外に出なはめる．a は現在「C」に近い，そして両肩の方向がいようにしてもらっただけである．その他の制約は一「C」を向いているので「C」とラベルする．以上の切かけていない．

ようにラベリングすることにより現在実験参加者がど3.2

会場の方向を向いているのか検出可能になる．

図１のようにテーブルを 3 つ設置し，それぞれの[身 体 位 置 ] 身体位置についても机を手掛かりとする．

テーブルを撮影するためにカメラを 3 台設置した．そこれも身体方向と同じで，両足がついて安定しているして人の頭が点で見えるように撮影するために，吹き状態の時の身体位置を記述する．身体移動の際のスタ抜けの 2 階部分からポールで固定したカメラ 1 台を使用して撮影を行った．
1

4.

作業環境	  2 時間の動画のうち，孤立者がいると思われる 3 分間を抜き出し，アノテーションを行った．そこで本節

今回は詳細な音声データを取得していなかったので正確な発話単位を算出はしていない．単純に音声が開始された点と終わった点をスタートポイント，エンドポイントとした．
2

発話単位以外の身体に関するアノテーションは共通した方法

ではアノテーションが終わったデータから，孤立者が（準備区間（t）と具体的なラベル X）でアノテーションする．

どのような条件でラベル付け出来るのか検討する．

これはジェスチャー研究における「ジェスチャー単位」(細馬，

4.1	  分析の環境2008)の考え方を利用したアノテーションで，身体が安定してい	  使用した環境は MacOSX10.5.8，使用したソフトウる状態を基準として，そして次の姿勢に移動する間を準備期間

ェアは ELAN3.8.0（2）である．今回はカメラ４台でとし，姿勢が安定したところからまた別のラベルに移行すると撮影を行ったので，ELAN 上で同時に４つの動画を同いう風にラベルする．身体方向，身体位置は，両足がついてい期させた．

るのを安定した状態とし，視線は，視線が物体から離れない状態が安定した状態である．

	  ハンドアノテーション分析からのメディアデザイン	  ―立食多人数パーティーにおける孤立者支援を例として―ートポイントは身体方向と同じで，片足が動き始めたその発話を行った話者の「視線のラベル」を見る．こ時である．エンドポイントは両足がついて身体が安定れにより，今誰が話しをしていて，誰に向かって話しした時である．このラベルには２段階のレベル（図ているのかがわかる．そしてその話者とその視線を向3）がある．１レベルは，机にもっとも接近しているけられている相手を会話集団のコアとする．次に，そ状態を表している．机に寄りかかりながら喋っているの会話集団の中にいる人々を判定する．基準となって状態や机の上に置いてある飲み物や食べ物を取りにきいる発話のスタートポイントからエンドポイントまでた時に接近した状態である．レベル２は，レベル１のの間にある「視線のラベル」を参照する．これにより状態以外の時である．また，図 4 のちょうど真ん中の会話集団のコアを見ている人とそうでない人がわかる．

辺り（机 A,B,C の間）に実験参加者がいる場合はそして次に「身体位置のラベル」を参照する．これに「C2+A2+B2」のように記述する．わかりやすいようより，会話集団を見ている人が今どの位置から参加しに先頭には必ずその実験参加者の身体が方向づけられているかどうかがわかる．この時，会話集団のコアとたテーブルを記述する3．

同一のラベル上にいたならば会話集団に加わっているものと見なすことが出来る．表１で実際の会話集団を決定づける例を記述する．まずテーブル A の近くにいる a が発話を開始する．その視線の先には d がいる．
次にその発話中に b，c，d は発話者の a を見ていた．
そして最期にそれぞれの身体位置をみる．シーン５までで a，b，c，d が会話集団であることがわかる．

図 4	  身体位置のラベル付けの例

4.2.1

シーン

１発話中の視線の例

視線	  視 線 は ， 動 い て い な い 時 を 基 準 と し ，「 人 」 と1：開始点「机」に注目してラベリングする．そして視線が移動している時を準備期間とし「t」とラベルする．机と人以外に視線がいくのは至極当然のことであるが，その時は机と人ではなく，具体的に視線がどこを見ているのかを記述する．このように視線をラベリングして2:a が発話開始いくことによって，その人が一体今何に注目しているのかがわかる．身体方向と身体位置のラベルを組み合わせることによって人が今どの会話場に注目しているのかということがわかる．

5.

3：a の視線分析	  孤立者の特徴をアノテーションデータから検出するのは非常に困難である．そのため本稿では，孤立者を4 会話集団のコアに対する視線直接見つけるのではなく，会話集団を探し，その集団からもれてしまった人を探すこととした．そしてそのもれている人物が孤立者と定義できるのではないか，と提案した．そこで本節では，アノテーションを行ったデータから，会話集団をどのように見つけるのかを5 身体位置の確認検討する．
5.1

会話集団の条件	  まず始めに「発話のラベルを」基準とする．次に表1 会話集団決定までのアニメーション
3

身体方向・位置の図示は，Kendon [6]を参照．

しかしこれは会話集団形成を単純化した 1 つのモデル

情報処理学会 インタラクション 2010である．1 発話内ではもっと複雑に視線が交錯してい内で捉えられる現象からメディアデザインを行ってきる．実際の表 1 の場面でのアノテーションデータを図た．しかし今回は，ハードウェア側からのアプローチ5 にした．

ではなく，発話や身体位置，身体方向などの人間の自然な振る舞いから，いかに「孤立」している状況を浮かび上がらせるのか提案してきた．これにより多人数インタラクションの複雑さやセンサーの機能のみでデザインを考えた場合に，拾いきれなかった現象があることを提示することが出来た．本稿を通し，人間の振る舞いを知る上でアノテーションというのもがいかに有用であるか示す事ことを試みた．本稿の分析はまだ十分なものではないが，今後のメディアデザインはハンドアノテーションデータ分析の結果から進めていく

図 5	  実際の発話時間と視線のアノテーションデータべきであるということを理解していただければと思う．
謝辞	 	  SP は発話者である a の発話の長さと，その発話時本研究の一部は，国立情報学研究所平成 21 年度グラン間内にどのように視線が移動したのかを表したグラフ

ドチャレンジ「情報環境を支える日常的インタラクショである．時間軸は左から右に進んでいる．「t」は視線ンデータ収録のためのプラットフォーム構築」(代表者：の移動の準備期間である．本研究においては「t」＋坊農真弓)の一環でなされた．データ分析のための実験に「視線の相手（X）」の区間を視線の１単位としてい際して，実験参加者となってくれた方々，実験準備を手る．EYE は発話者以外の視線である．まず a の視線伝ってくれた西本研究室の皆様，実験参加者が全然集まを軸に見ていく．a は 1 発話以内に d，c，b，に視線らず困っていたところを助けてくれた北陸先端大の大森を移動させていることがわかる．a が d を見ている時，靖之さん，大木新一さん，アノテーション方法・分析にd も a に視線を合わせている．この時点で a と d が会関するアドバイスをくださった千葉大学大学院の菊地浩話集団のコアである．そしてその時に同じ身体位置に平さんに深く感謝いたします．

いる他の視線をみてみると b，c が a を見ている．これらのことから a，b，c，d は同じ会話集団であると判断する．このように発話，身体位置，視線のアノテーションデータを使用して会話集団の特定を行うことは可能であると考えられる．今回のデータでは e が会話集団の中に入っていないことがわかるが，これだけで「孤立者」であると判断するのは難しい．この前後の発話や視線の情報などを連続的に見てから判断する事が必要であると考えている．今後はより多くのデータをハンドアノテーションし，そのデータからより明確に会話集団と孤立者をわけるルールを示していきた
いと考えている．特に発話時の視線の移動，ターンテイキング時の視線の移動などに重点を置いて，会話集団の条件を見つけていきたいと考えている．これにより孤立者のラベルの条件を明らかにしていけると考えている．

6.

まとめ：メディアデザインへの応用

本稿において，多人数での立食形式パーティーで孤立してしまう「孤立者」を例にあげて実際の動画デー
タを使い，アノテーション方法とその分析について議論してきた．今までの情報学はセンサーの機能の範囲

参考文

献1) Sumi,Y.,
Ito.S.,
Matsuguchi,T.,
Fels,S.
Iwasawa,S., Mase,K., Kogure,K., and Hagita,N.	 
Collaborative capturing, interpreting, andsharingofexperiences,
PersonalandUbiquitous Computing, Vol.11, No.4, pp.213328,(2007).
2) 角 康之, 伊藤 禎宣, 松口 哲也, Sidney Fels, 間瀬 健二：協調的なインタラクションの記録と解
釈, 情報処理学会論文誌, Vol.44, No.11, pp.26282637, (2003).
3) 坊農 真弓，高橋 克也：多人数インタラクションの 分 析 手 法 ( 知 の 科 学 ), オ ー ム 社 ， ISBN ：978-4-274-20732-7, (2009).
4) 伝康晴・小磯花絵・丸山岳彦・前川喜久雄・高梨
克也・榎本美香・吉田奈央： 対話研究にふさわ
しい発話単位の認定に向けて. 人工知能学会研究会資料, SIG-SLUD-A802, pp.27-32, (2008).
5) 細馬宏通： 非言語コミュニケーションのための分析単位 -シェスチャー単位-. 人工知能学会誌,
23, 390-396.(2008).
6) Adam.Kendon, ： Conducting Interaction :PatternsofBehavior
inFocusedEncounters ,Cambridge Univ Pr , (1991).