音環境の類似度に基づいた会話場の認識と利用
中蔵 聡哉†角康之†

西 田豊明†Development of the system detecting whom talking with by using sound fieldToshiya Nakakura,† Yasuyuki Sumi† and Toyoaki Nishida†

1. は じ め に人間のインタラクションを機械に理解させるというテムとして sociometer1) があげられる. このシステムは長期間のユーザの行動の分析に着眼点があり, デー
タを取りためた後の人手によるバッチ処理的分析を支試みは盛んに研究されている. 中でもインタラクショ援するものである. 我々のシステムは, 自動的にリアンの相手が誰であるのかというのは重要な情報であり,ルタイムな判定を行い, 他のシステムの動作を支援す

赤外線や超音波等を用いて近くにいる人を検出しタグる事を目的としている.

付けするという試みは多数行われている. しかし, 位置関係が計測できたとしてもそれだけではどのような

2. システムの構成と動作意味を持つのかは不明瞭である. 同じ距離にいても会

2.1 構

話しているのと机に向かって作業を行っているのとでこのシステムはモバイル端末上で動作し, 無線 LANはまったく異なる意味を持つからである.

成によるアドホックネットワーク上で P2P 通信を行い我々はこのような物理量を利用して状況を推測する

録音した音声を比較する. ユーザはモバイル端末を持方法ではなく, 会話の場を直接意味的なまとまりに分つだけでよく, 自由に行動することができる. システム

類する手法を提案する. 意味的なまとまりの一例を構成は図 1 の通りである.

あげると, 同じデモ発表を見ているというまとまりが考えられる. その場合発表者と聴衆全員が同じまとまりと考えるのが妥当であるが, 聞き手の一人が隣とおしゃべりをしていれば, さらにその二人をまとめるというように段階に分けて分類を行う.
このようにコミュニケーションの変化に柔軟に対応して分類を行うためには, 機械的に何かを発生させる手法では難しく, 人間がコミュニケーションで利用しているメディアを直接測定する必要がある. 今回我々は会話場検出の 1 段階目として, 会話をしていればお図 1 システム構成図

互いの声が聞こえているという当然の前提を利用し,各ユーザの持つマイクの入力音声を比較することで同じ会話に参加しているかどうかの 2 値で判定するというシステムを構築し試行を行った.

2.2 時 刻 同 期
同じ会話であっても比較する時刻が異なれば音はユーザの聞いている音に着目して関係を求めるシス

まったく異なるので, マシン間の内蔵時計のズレの問† 京都大学情報学研究科
Graduate School of Informatics, Kyoto University

明は割愛するが, 簡易的な NTP を実装し 10ms 以下の題を解決しなければならない. 紙面の都合上詳細な説
誤差で時間差を計測する. この程度の差であればフー情報処理学会 インタラクション 2008

リエ変換を行う際の窓関数で吸収される.

が個別に会話を行った. 実験中は各マシンでマイク入

2.3 会話場判定アルゴリズム

力を録音し, 同時刻のシステムの出力をログに残した.

基本的な考え方は, 入力音声が似ていれば同じと判

人間が録音ファイルを聞いた時の判断を正解データと断するという事である. また, 入力が無音であれば会し, ログとの比較を行った.

話が行われていないのは自明であるため比較は行わな

その結果, 適合率はほぼ 100%, 再現率は 70%程度で

い. 有音か無音かはマイク入力の音量を用いて判断をあった. 再現率が低くなっているのは主にプレゼン発行う. 詳細なアルゴリズムは以下の通りである.

表を聞く際の問題で, 聞こえてくる音が小さいと, 手元送信側の処理で作業をする音や咳払い, 録音ノイズ等が影響した瞬1. 音声をバッファに蓄積しながら 3 秒待機する.

間は異なると判定されている. コミュニケーションの

2. 1. で待った 3 秒の間に有音区間があれば 3. へ.

形態はそう早く変化するような類のものではないと考なければ 1. へ戻るえられるので, 同じと判定されてからしばらくは同じ

3. 有音区間を最も長く含む連続区間 (1 秒間) の音声であると丸める等の工夫が考えられる. 適合率が高いをフーリエ変換し, 時刻情報を付加してブロードためこの丸めは正当である可能性が高く, また逆に考キャストする. 送信後 1. へ戻る

えればこれはプレゼンを集中して聞いていないという受信側の処理コンテキストの抽出であったとも考えられ, 丸めの程

1. データ受信するまで待機する

度によって会話場の段階分けが行える可能性がある.

2. 受信パケットのタイムスタンプを取得する.

個別の会話は, 近距離の会話であれば総じて正確な

3. スタンプと同時刻の受信側の音声が無音区間であれば 4. へ. 有音区間であれば 5. へ判定を行えているが, 約 3m 以上の距離での会話はノイズに埋もれ始め, 機械的に認識するのは難しくなる.

4. 無音であれば話していない, すなわち異なると判断できる.1. へ

音量は距離の 2 乗に反比例して減衰してしまうが, 人間はそう感じていないため会話が行われない距離では

5. 受信周波数情報と自分の周波数情報を比較する

ない. ただし,3m 以上の距離での会話は呼びかけ等短6. 類似度が閾値以上であれば同じ, 未満であれば異時間に終わることが多く, 長時間の会話になれば通常なると判定する.1. へは近づく事になるので,1m 以内での会話と同程度に扱比較に用いる周波数帯は人の声の周波数帯と言われる 100Hz〜4000Hz で, これを 3901 次元のベクトルととらえてコサイン類似度を求める.

う必要はないと考える.

5. ま と め
意味的なまとまりをセンシングするシステムを開発

3. 利 用 例

した. このシステムはリアルタイムに出力を返し, 他

このシステムは, マイクを持ち, 通信可能な端末上で2)あれば汎用的に利用できる. 現在 PhotoChatというシステムで利用されている. PhotoChat は写真撮のシステムに組み込んで利用することができる. 実験によって, このシステムはコミュニケーションの動的な変化に対応可能であることが確認された.

影と手書きメモを融合させ，複数のユーザ間で共有すまた今回のシステムは 2 値に分類するものであった

ることで，グループ内での各ユーザの興味への「気づが, 実験中に見られた現象によって, 同じと判定されるき」の共有を加速し，その上での会話を促すことを目頻度を用いれば会話場の強さの段階分けまで行える可的とするツールである. このシステムの抱える問題点能性があることが明らかになった. 今後はこの可能性として, 写真が増えてきた際の整理の問題がある. 我々を検証していく予定である.のセンサを利用することで, 「近くに誰がいたか」ではなく「誰と会話している状況で」撮った写真であるのか, というタグを付与することができ, おおまかな状況を把握して検索性を上げることができる.

4. 実

験

このシステムの評価実験を行った. 実験参加者はそれぞれがこのシステムをもち, プレゼンテーションを聞いた. またプレゼンの合間の休憩時間にはめいめい

参考文

献1) Tanzeem Choudhury. Sensing and Modeling Human Networks. Doctoral thesis, Massachusetts Institute of Technology, September
2003.
2) 伊藤 惇, 角 康之, 久保田 秀和, 西田 豊明： 写真と書き込みの実時間共有による学会参加者間のコミュニケーション支援, 人工知能学会第 21 回全国大会, 2B4-1, 2007 年 6 月宮崎.