情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P06
2022/2/21

ボードゲームプレイヤ間の言語・非言語インタラクションの分析
吉田一裕 1，a) 角康之 1，b)
概要：複数人で議論や協調活動をする際，我々は発話に加えて，指さし，頭部運動，視線行動，姿勢変化といった様々な非言語行動によって興味対象の特定や会話の制御を行っている．本稿は多人数会話中の言語・非言語行動が多く発生する観察対象としてボードゲームに注目し，そこでの発話有無，視線行動，指さしに注目してプレイヤの興味や行動意図を推定するために行っているデータ収集と分析について報告する．採用したボードゲームは，ボードに描かれた地図上で複数人の刑事プレイヤが一人の泥棒プレイヤを追い込む「スコットランドヤード」と呼ばれるゲームである．収録データを見ると，複数の刑事プレイヤプレイヤ間の合意形成過程におけるリーダーシップの変遷や指さし・視線行動による発話交替といった日常的な多人数会話と共通する現象を多数観察できると共に，泥棒プレイヤプレイヤが真意を隠すために発話有無や視線行動を意図的に調整するといった特殊な行動を観察することができ，興味深い多人数会話コーパスが構築できつつあると考える．本稿はデータ収集の概要とコーパス構築と分析の現状を報告する．

１．はじめに

２．関連研究近年，日常生活における多人数インタラクションの会話

ボ ード ゲ ー ム に おけ る 視 線 計 測 を 行 っ た 先 行研 究 にや映像の分析が多種多様なアプローチで数多く行われていRogerson らの研究[3]がある．Rogerson らは，卓上ボードる[1]． ボードゲームの歴史は，紀元前三千年以前から人々ゲームを行うプレイヤの視線動向を分析し，視線パターンに親しみのあるモノであったとされておりこれまで数多くを特定した．この分析により，特定プレイヤに対する注視のボードゲームがプレイされてきた．その内容は多種多様や，ボードゲームや机の特定の領域に対して継続的に視線であるが，共通している項目として 2 人以上を対象人数とが送られることがないことが分かった．これは，協力形式，しているボードゲームがほとんどである．また，ボードゲ対戦形式の両方で確認された事象である．本研究では異なームの中でも， 囲碁や将棋の研究は著しく，誰もが知ってるボードゲームを取り扱うため，同様の事象が起こるのかいるボードゲームの研究にとどまっていることがほとんど分析を行う必要がある．

であり，ヒューマンインタラクションの観点からの研究はまた，Zhang らの研究[4]では，ボードゲームと携帯電話非常に少ない．そこで，本研究ではポピュラーなボードゲを活用したプライベートとパブリックグループワークのメーム以外のプレイヤ間で引き起こされるヒューマンインタカニズムを分析した．Zhang らは，ボードゲームの一つでラクションに着目した．今回は，分かりやすいモニュメンあるモノポリーをベースに，オンラインゲームモード，トを有する地図や，駆け引き， 複数人での協力作業が生じ

Zhang らが独自に設計したマルチタッチの卓上ボードと携るヒューマンインタラクションの要素を数多く持つスコッ

帯電話を用いた Copoly の 3 つのボードゲームの共同作業

トラ ンドヤードと呼ばれるボードゲーム用いた．スコット

を比較分析した．この結果，ボードゲームをプレイする際ランドヤードを採用した理由として，多人数インタラクシの協力関係は，社会的関係が協力作業の頻度に大きく影響ョンにおける様々な要素を持っている．地図に応じた，言し，被験者は馴染みのある人と協力する傾向があることが語・非言語動作の差異があるかどうか，プレイヤ同士の会分かった．本研究では，被験者は知人関係にある人と，全話でランドマークを参照する頻度に変化が起きるかどうか，く知人関係にない人で構成されているため本研究と関連すプレイヤ間の会話に着目してリーダーシップをとっているる研究であると言える．

人の特徴や，泥棒プレイヤ（騙す側）の特徴的な行動など

さらに，角ら[5]の研究では，6 枚のポスターを見ながらである．そのため，スコットランドヤードが分析に適して自由に会話を行い，その時に発生する視線行動，指さし行いると考え採用した．

動，発話に関して分析したものがある．この研究では，指本研究では，視線計測装置，モーションキャプチャ，こさしを行った被験者が直後に発話する場面が見られたが，れら 2 つを軸にボードゲームのプレイヤの視線行動や身体指さしを行っていない被験者が発話をする場面は見られて動作， 発話データを収集し，図 1 の様に，iCorpusStudio [2]いない．このように，指さし行動と発話行動は密接な関わと呼ばれるツールを用いてデータを整理し分析することでりがあると考え，本研究では，指さし行動と発話行動の観ボードゲームに潜む言語・非言語動作の関係性を探索する．

点から分析する．

1
公立はこだて未来大学a) k-yoshida@sumilab.orgb) sumi@acm.org© 2022 Information Processing Society of Japan622

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P06
2022/2/21

図１．iCorpasStudio のデータ整理画面

3．データ収録
本研究ではボードゲームの一つであるスコットランドヤードを採用し，計 2 ゲームで 1 セットのセッションを 2回計 4 ゲーム行った．ただし，本実験ではボードゲームにおけるインタラクションを分析する都合上いくつかルール変更点があるため，まず初めにルール変更点を述べる．本
来であれば，泥棒プレイヤの視線は隠すが，インタラクシ
ョンを分析する都合上，泥棒プレイヤの視線は隠さない．
また，泥棒プレイヤ側と警察側の考察時間に制限を 5 分とした．以上が変更点である．
チーム編成は，警察側 4 人と泥棒プレイヤ側 1 人である．1 グループ目の役割は，A，B，C，D を警察，E を泥棒プレイヤとした．そして図２のように円卓を囲うようにプレイヤ 5 人を左右均等の間隔で配置した．
スコットランドヤードの実験環境を図３に示す．被験者は両手首と頭部にモーションキャプチャに使用するリジットボディと，視線計測を行うため，視線計測装置を装着した状態でボードゲームをプレイした．

図２．プレイヤの配置図
図３．実験環境© 2022 Information Processing Society of Japan623

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4．データ分析
4.1

収集データのラベリング

4P06
2022/2/21

図４，５では，泥棒プレイヤの指さしは刑事プレイヤに比べて優位に少ないことが分かった．

収集したデータの整理方法は，角らが提案した

図４，５では３人のプレイヤ（A，B，D）の指さし行動

iCorpusStudio と呼ばれるマルチモーダルインタラクションが似たように推移していることが見てとれる．また，１人分析システムを採用する[2]． iCorpusStudio は，図 1 のよのプレイヤ（C）の指さし行動が極端に少ないことから 3

うに複数の映像を取り扱うことが可能である．また，動画

人のプレイヤが中心となってゲームを遂行した様子がうかの同期再生の管理や，音声波形の表示，注目したいデータがえる．つまり，刑事プレイヤ間に指さしの数の偏りがあに関するラベリング作業を行うことが可能である．必要にることから，合意形成におけるリーダーシップに関連して応じてラベリングしたデータを総統計時間，頻度の累計，いると推測する．

時間頻度にグラフ化することが可能である．また，モーションキャプチャで取得した CSV ファイルを読み込ませ，同期させることが，プラグインを作成することで可能となる
ため iCorpusStudio を使用した．
4.2ラベリングの基準

発話，指さしは分かりやすいと共に非常に重要な言語・非言語行動である[6]． そこで，iCorpusStudio で整理した
データを発話行動，指さし行動のラベリングを行う．発話行動に関しては，笑い声なども含めラベリングを行った．
笑い声は発言者に対して重要なレスポンスであると考えたためである．ただし，競技中の駒の移動に関する指さし行

図４．1 グループ目の指さし行動の時間に対する累計表示

動は全てのプレイヤに平等に発生する事象であるためラベリングの対象とはならない．
今後の分析予定の項目として，視線計測データとモーションキャプチャで得られたデータを同期し，共同注視が生じた場合ラベリングを自動で行う．このラベリングを行う
ことで，指さし行為に対する他のプレイヤの視線の獲得量に差がみられるかどうかを調べる．

５．指さし行動における累計回数の分析
現段階での途中経過を以下の図４，図５に示す．図４は，1 セット目の指さし行動，図５は 2 セット目の指さし行動をラベリングしたグラフであり，X 軸が時間，Y 軸が指さしの累計回数を表している．また，図４，５では３０分に

図５．2 グループ目の指さし行動の時間に対する累計表示なる部分でグラフが横ばいになるが，それぞれのセットの1 ゲーム目が終わったことを意味している．以下に，図４

６．指さし行動と視線動向の関係性と図５のグラフの色に対応する対象プレイヤを記述する．

現段階では，収集したデータにおける仮説，検証は出来

ただし，1 セット目の４１分において，被験者一名（D）がていない．しかし，随所に興味深い事象が発生していたた諸事情により途中離脱した．１セット目の４１分からは残め，２点紹介する．図６は、泥棒プレイヤが捕まるリスクった 4 人でゲームを行い，途中離脱したプレイヤの駒は残が低いシーン，図７は，泥棒プレイヤが捕まるリスクが高った 3 人の警察チームが管理している．

いシーンとなっている．ただし，警察プレイヤ１名分を諸事情により表示していない．

・グラフの対象プレイヤ

図６は，警察プレイヤ D の指さし行動に対して警察プレA（警察）：青イヤ，泥棒プレイヤ関係無く，全てのプレイヤが注視してB（警察）：紫いることが分かった．

C（警察）：黒図７は，泥棒プレイヤ E を囲い込もうとする場面となっD（警察）：赤ている．この場面で，警察プレイヤ D が泥棒プレイヤからE（泥棒プレイヤ）：緑

離れた場所を推測している時，泥棒プレイヤ E は警察プレ© 2022 Information Processing Society of Japan624

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

イヤ D の指さし行動に反応を示していないことが分かった．

4P06
2022/2/21

確認されるかどうか明らかにしていく．

以上のように，プレイヤの指さし行動に対する他のプレまた，図９の赤枠内で示す通り，指さし行動をしている

イヤの反応は非常に興味深く，今後も分析していく必要が元の発話者が言い淀んでいるときに，他のプレイヤが発話ある．

を引き取る事象，共同発話が発生している．共同発話はコミュニケーションの円滑さを測る重要な指標となるため分析する必要があるため，分析方法を検討する．

図８．指さし行動と発話行動

図６．共同注視１

図９．共同発話

８．まとめ
本研究では，ボードゲームで引き起こされるヒューマンインタラクションを言語・非言語動作に着目して述べた．
ただし，収集したデータを分析できていないことが現状である．また， 分析結果から新たな考察が生まれている．例
えば，協力作業におけるプレイヤのグループ形成お分析である．既に分析方針が決まっているデータの分析を早急に行う必要がある．

図７．共同注視２

参考文献[1]

必要か？-インタラクション研究の国内外の動向と現状-，人工７．今後の展望

知能学会誌，22 巻 5 号

今後の展望としては，発話行動のラベリングが終了していないため，発話行動のラベリングを継続していく．現段[2]

1，82-96うが，図８と図９に示している．
[3]

PLAY'17 Extended Abstracts， 2017

性があることが推測される．そこで，角ら[5]の研究である© 2022 Information Processing Society of Japan

Melissa J. Rogerson， Wally Smith， Martin R. Gibbs， Whatcan We Learn from Eye Tracking Boardgame Play?，CHI

行動も同時に記録されており指さし行動と発話行動に共起
指さし行動と発話行動に関する共起性がボードゲームでも

角 康之，矢野 正治，西田豊明，マルチモーダルデータに基づいた多人数会話の構造理解，社会言語科学会誌，2011，14，

階では発話行動のラベリングは部分的な抜粋になってしま
図８では，青枠の中で，指さし行動が行われる際，発話坊農真弓，高梨克也，多人数インタラクション研究には何が[4]

Taoshuai Zhang， Jie Liu， Yuanchun Shi， Enhancing

625

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

4P06
2022/2/21

Collaboration in Tabletop Board Game， Proceedings of the10th asia pacific conference on Computer human interaction，
2012
[5]

中田 篤志， 角 康之， 西田 豊明：非言語行動の出現パター
ンによる会話構造抽出， 電子情報通信学会論文誌， Vol.J94-D，No.1， pp.113-123， 2011

[6]

坊農真弓，日本語会話における言語・非言語表現の動的構造に関する研究，ひつじ書房，2008© 2022 Information Processing Society of Japan626