情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D022022/2/21

車内コミュニケーションを支援する
視点共有手法の提案
野間直生1

塚田浩二1

概要：運転者と同乗者の間で「あの赤い屋根の家」や「そこの交差点」といった車外の場所を用いたコミュニケーションが行われる．こうしたコミュニケーションは，場所をポインティングする指示者と指示された場所を追随する追随者の間で行う．指示者は注目している目標物の座標（注目点）を言葉や目線，ジェスチャーなどを通して追随者に認識してもらう必要がある．本研究ではこの指示者と追随者の一連の動作をポインティング共有と呼ぶ．一方でポインティング共有は，指示者がポインティングを行っている注目点を追随者にうまく伝えることができず，失敗してしまうことがある．本研究では，目線と声に注目して運転者と同乗者のポインティング共有を支援するシステムを提案する．

1. はじめにや視野の自由度が違う事によるものだと考える．つまり，運転者と同乗者では，視覚的な情報が共有できないことに自動車は通学や通勤など日常生活に必要な乗り物であるよって，ポインティング共有を行う手がかりが「あの赤いだけでなく，ドライブなど娯楽目的としても使われる．車屋根の家」といった言葉しか得られないことである．本研

内に運転者と同乗者がいるとき，運転者と同乗者とで会話

究では，コミュニケーションを支援するための手段としてが行われる．そんな車内における会話の支援は，車に付加ポインティング共有に着目し，手軽に注目点を共有できる価値を与えるシステムとして注目されている．例えば，旭システムを開発する．

化成エレクトロニクス [1] は，車内での自然で快適な会話環境やボイス入力を目指して車内コミュニケーションシス

2. 関連研究テム (ICC) を提案している．また車内では，車外のものや自動車における人の活動を支援することを目的として，場所の情報を使ったコミュニケーションが行われる．例え岡村ら [2] は，車内会話を記録するフレームワークを提案ば，「あの赤い屋根の家」や「そこの交差点」などの会話でした．このフレームワークでは主に (1) 車内会話の量子化，ある．車外のものや場所を用いたコミュニケーションは，(2) 指差しを用いたユーザの注目点の推定という 2 つの機場所をポインティングする指示者と指示された場所を追随能が実装されている．この機能によって，車内における過する追随者に分かれて行われる．指示者は注目している目去の会話が提示できるだけでなく，指差しを使った注目点標物の座標を言葉や目線，ジェスチャーなどを通して追随を振り返ることができる．このフレームワークを用いて戸者に認識してもらう必要がある．本研究では，指示者が注

田らは，視線に着目し，ドライビングシュミレータを発展目している目標物の座標を注目点とし，注目点を言葉や目させたシステムを提案した [3]．指差しを用いて建物に対線ジェスチャーを使って追随者に認識してもらう過程をポする注目点の推定を行い，建物を協調表示させることで，インティング共有と呼ぶ．車内では，ポインティング共有

ユーザが建物に注目してることをシステム及び他のユーザを使って会話が行われる．しかし車内において，指示者がに明示的に示した．松村ら [4] は，車内会話を記録，提示意図してる注目点を追随者に伝えることができず，コミュすることで，人と街の間に埋め込まれたタイムリーな知識

ニケーションに齟齬が発生してしまうことがある．例えを流通させることを目的として，10 ヵ月間，車内の会話ば，指示者を同乗者，追随者を運転者とすると「あの赤いデータを収集した．車内会話のうち 60 ％程度の会話がな屋根の家」と同乗者が運転者に伝えても，運転者が同乗者んらかの「場所」に関連付けられた話題であった．また，が意図している「あの赤い屋根の家」を認識できない場合

宮里ら [5] は，指示者と追随者に分かれて，目標に対してである．この原因を本研究では，運転者と同乗者では視点指差しした人の手と目線情報をもとにポインティングの正1

公立はこだて未来大学© 2022 Information Processing Society of Japan

答率を計測した．ポインティングの正答率は指差しと視線751

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D02
2022/2/21

両方の情報を用いることが最も正答率が高く，指差し情報と視線情報の比較では指差し情報の方が正答率が高いことが報告された．Rebecca ら [6] は，運転時の運転者への情報提示の手段として，ヘッドアップディスプレイを用いて交差点や横断歩道の強調表示を行い，運転者の状況認識能力について調査した．ヘッドアップディスプレイの有無に関わらず状況認識能力は低下したが，ヘッドアップディスプレイに表示させるシーンのアイテム数，アイテムのカテゴリー，強調表示するピクセル数など，情報の複雑さを変化させることで状況認識能力に有意な差が見られた．藤田図 1

帽子に設置した GoPro

ら [7] は，車内会話において，前部座席と後部座席では視野の差があり，前部席と後部席では車内会話が成立しにくいことを指摘している．車内における乗客の視野を「認知フレーム」とし，車内における乗員の認知フレームの差によって会話が困難になるのではという仮説の検証を行った．運転手以外の各乗員の認知フレームをディスプレイや
図 2

パーティーションを使って強制的に変更し，あらかじめ設定した目的地を目指して運転を行なった．話者や着座位置等に着目した分析の結果，前部座席と後部座席では視野の差が大きいため，前部席と後部席では車内会話が成立しにくいことを指摘した．
本研究では，車内のコミュニケーションを支援するため同乗者 (左) と運転者 (右) のカメラ映像

3.2 ポインティング共有の検証
次に，走行中の車内で実際にポインティング共有を行い，ポインティング共有を行う前後でのコミュニケーションの変化と視線の動きを観察した．検証中には図 3 のルートに従って運転を行った．の手段として，ポインティング共有に着目し，手軽に注目点を共有できるシステムを開発する．最初の段階として，運転者と比較的視野の近い助手席の同乗者を対象とする．

3. 提案システム
本研究では，指示者と追随者の間で行われるポインティング共有が困難である原因を，視野の違いと仮定し，支援するためのシステムを提案する．最初に運転者と同乗者が持つ視野の違いを検証した．
図 3

3.1 運転者と同乗者の視野の検証

検証を行なったルート (5.7km)

最初に図 1 のようにカメラを帽子に固定し，1 つの Webカメラを用いて，同じ道を運転者，同乗者交互に撮影をまた，同乗者には「これから通る道にコンビニがあれば行った．頭部の動きと連動してカメラが動くことで，カメ教えてください」と指示を出した．撮影には，運転者と同ラの視野を人間の視野と仮定して運転者と同乗者の視野の乗者の両方の顔と上半身が撮影できる位置に設置した内側違いを検証した．検証には，はこだて未来大学内の敷地にカメラと，車前方を撮影することができる位置に設置したある，直線，坂道，S 字，U ターンの 4 種類の道を用いた，外側カメラを用いた．図 4 と図 5 は実際にカメラで撮影さ図 2 は撮影した映像の一例である．検証の結果，映像の画れた映像の一例である．撮影した映像はポインティング共角や移動頻度に差が見られたことから，運転者と同乗者の有を行っている前後のみを切り抜き，OpenFace*1 を用い間には視点の差が発生していることがわかった．具体的なて目線の推定を行いポインティング共有の挙動について調例としては，運転者には U ターン時の後方確認や道端の人査した．調査の結果，運転手が認知していなかったコンビへの注目が見られた．同乗者には進行方向や進路変更に関ニに対して，ポインティング共有を行った際，運転手の目係のない視野の変更が見られた．また，カメラ映像の動き線の移動や，話題の変化が見られた．具体的には，「こんなの量から，運転者よりも同乗者の方が視野の自由度が高い

ところにコンビニがあったんだ」「茶色い外装だから全然気ことも確認できた．

がつかない」などコンビニについての会話が行われた．一*1© 2022 Information Processing Society of Japan

https://github.com/TadasBaltrusaitis/OpenFace752

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

6D02
2022/2/21

方で，その他の運転者，同乗者がともに認知しているコン

指示者の目線を推定することで，注目点を検出する．実装

ビニについてはポインティング共有は行なわれたが，コンには，顔の挙動を画像や映像から分析することができるビニが日常的でありきたりなものであったためか，コミュOpenFace を用いる．OpenFace を用いることで汎用的なニケーション中の話題に変化はほとんど見られなかった．

Web カメラで実装ができるため，特殊なデバイスを装着す

このことから，車内において追随者（運転者）が認知してる必要がない．よってユーザの利用時の負担が少ないと考いない場所やものに対して行われるポインティング共有えた．最後に，指示者の注目点を追随者に提示する手段とが，コミュニケーションを活発にすると考えた．また，車して運転手の認知的負荷が少ない方法を複数検討する．一内におけるポインティング共有において，指示者が注目点例としてシステムが検出した指示者の注目点をフロントガを共有するために使う手段は「あそこ」や「そこ」といっラスにプロジェクタやレーザーポインタを用いてさりげなた発話情報と目線であった．これよりシステムの実装にはく重畳表示させる手法を検討している．また，カーナビ等発話情報をきっかけとして，目線を頼りに指示者が注目しのディスプレイに注目箇所を切り抜いた映像を表示させるている点を推定することが有効であると判断した．

手法などを想定している．

図 4

運転者と同乗者を撮影した映像

図 6

システム構成図

4. 実装
4.1 指示者の視線を推定
指示者の視線を推定する機能では，Web カメラから取得した映像データを用いた．図 7 は研究室の椅子にカメラを設置してポインティング共有を行なっている様子である．
図 7(1) の内側カメラより取得した映像データをもとに視線
図 5

車外を撮影した映像推定を行う．推定されたデータは CSV ファイルとして出力されるため，Shell 上で tail コマンドを用いて CSV ファ
イルの更新部分だけを常時読み込む．CSV ファイルより

3.3 システム概要

読み込まれたデータから，視線推定の結果は目線の角度と本研究では，「指示者の発話情報を元にポインティング共して取得できる．OpenFace によって取得できた目線の角有が行われるタイミングを検出する」「指示者の視線を推定度データを元に，あらかじめ決定された図 7(1) の内側カメする」「指示者の注目点を追随者に提示する」といった 3 つラ/顔/図 7(2) の外側カメラの位置を利用して座標を導出の段階を想定している. また，運転席に座っている運転者する．カメラと顔の位置関係は，本番環境が車内であること助手席に座っている同乗者を対象とした実装を目指す．とを想定して，あまり変化しないものと仮定した．

システム構成図を図 6 に示す．この図は，ポインティン
グ共有において指示者を同乗者，追随者を運転者とした一4.2 注目点の提示方向で記載しているが，実際のシステムでは双方向での指示者の注目点を追随者に提示する機能では，開発中の実装をする．まず，指示者の発話情報からポインティングため，図 7(2) の外側カメラの映像に指示者の注目点を赤い共有のタイミングを検出するために，音声からテキスト枠で重畳表示させている (図 8)．実装には OpenCV を利用データを取得する．実装には Python の音声認識ライブラした．実際には，プロジェクタなどを用いて赤い枠をフロリである SpeechRecognition を用いる．このテキストデーントガラスに提示する方法や，重畳表示させた映像をカータを元に指示者のポインティング共有を開始する．次に，ナビに表示させる方法を検討している．

© 2022 Information Processing Society of Japan753

情報処理学会 インタラクション 2022
IPSJ Interaction 2022

図 7

6D02
2022/2/21

図 10

試作中のカメラ配置の様子

試作中のシステムで撮影した映像

今後の実装として，ポインティング共有が行われるトリガーの検出に取り組む．システムの性能評価として，システムが注目点を正しい座標に表示できているかどうか検証する．次に，システムを用いて実際に車内でのポインティング共有の支援を行い，コミュニケーションの齟齬がシステムによって削減できたか検証する．さらに，システムの認知的負荷についても検証する．
参考文献
[1]
図 8

指示者の注目点の検出例

4.3 車への実装
試作中のシステムを走行中の車内に装着し．動作するの[2]

様子を観察した．図 9 は (1) 実際に指示者の注目点を検出する内側カメラと (2) 車前方の撮影を行う外側カメラの配[3]置である．視点の推定と注目点の提示を行うことはできたが，推定された視点から座標を導出する過程について多くの定数を用いていたため，車内でのパラメータ調整に手間[4]が掛かる課題があった．今後，キャリブレーションなどを行うことで，環境が変わっても容易に座標を導出する機能の実装を目指す．図 10 は撮影した映像の一部である．話[5]

題の中心となっていた対象を赤枠が捉えることができている．このことから，初期設定については難点が残るものの，[6]

車内でのパラメータ調整に手間が掛かる課題があった．

[7]

図 9

旭 化 成 エ レ ク ト ロ ニ ク ス：“車 載 ボ イ ス”，
https://www.akm.com/jp/ja/products/audio-voiceprocessor/application/automotive-voice/，参照.2021-1024.
岡村 剛，久保田 秀和，平松 達也，角 康之，西田豊明，塚原 裕史，岩崎 弘利：車内会話の量子化と再利用，情報処理学会論文誌，48 巻 12 号，pp.3893-3906，（2007）.
戸田 泰史，平松 達也，西田 豊明，塚原 裕史，岩崎弘利：視線とジェスチャによる車内会話量子の提示と獲得，2008 年度人工知能学会全国大会，3C3-6，pp.1-4，（2008）
松村 耕平，角 康之：自動車内における会話と場所の関連性の分析: タイムリーな情報の流通に向けて, 情報処
理学会論文誌，56 巻 4 号，pp.1258-1268，（2015）
宮里 勉，岸野 文郎：ポインティング知覚における指差し情報と視覚情報による正答率，テレビジョン学会誌，vol.50，No.1，pp.137-139，（1996）
Rebecca Currano，SO Yeon Park，Dylan James
Moore，Kent Lyons，David Sirkin：Little Road Driving
HUD:Heads-Up Display Complexity Inﬂuences Drivers
Perceptions of Automated Vehicles，CHI ’21: Proceedings of the 2021 CHI Conference on Human Factors in
Computing Systems，Article No.511，pp.1-15，（2021）
藤田 恭平，西本 一志：各乗員の認知フレームの違いが車内会話に及ぼす影響の分析，インタラクション 2011
論文集，2011（3），617-620，（2011）

車に装着した試作中のシステム

5. まとめと今後の課題
本研究では，コミュニケーション支援を目的として，ポインティング共有に着目したシステムを提案した．現時点
では，車内で注目点を検出/提示できる可能性を確認した．

© 2022 Information Processing Society of Japan754