複数センサ群による協調的なインタラクションの記録
角 康之 †
伊藤 禎宣 †
松口 哲也 †
Sidney Fels‡
内海 章 †
鈴木 紀子 †
†
†
¶
§,†,¶
中原 淳
岩澤 昭一郎
小暮 潔
間瀬 健二
萩田 紀博 †,¶†ATR メディア情報科学研究所 ‡ ブリティッシュコロンビア大学 ¶ATR 知能ロボティクス研究所 § 名古屋大学

sumi@atr.co.jp
人と人のインタラクションにおける社会的プロトコルを分析・モデル化するために、開放的な空間における複数人のイン
タラクションを様々なセンサ群で記録し、蓄積された大量のデータに緩い構造を与えてインタラクションのコーパスを構築する手法を提案する。提案手法の特徴は、環境に遍在するカメラ／マイクなどのセンサ群に加えて、インタラクションの主体となるユーザが身につけるカメラ／マイク／生体センサを利用することで、同一イベントを複数のセンサ群が多角的に記録することである。また、赤外線 ID タグシステムを利用して、各カメラの視野に入った人や物体の ID を自動認識することで、蓄積されるビデオデータに実時間でインデクスをつけることができる。本稿では、デモ展示会場における展示者と見学者のインタラクションを記録し、各人のビデオサマリを自動生成するシステムを紹介する。個人のビデオサ
マリを生成する際、本人のセンサデータだけでなく、インタラクションの相手のセンサデータも協調的に利用される。

Collaborative Capturing of Interactions by Multiple Sensors
Yasuyuki Sumi†

Sadanori Ito††

Tetsuya Matsuguchi††

Sidney Fels‡¶

Akira Utsumi†

Noriko Suzuki†§,†,¶

Atsushi Nakahara
Shoichiro Iwasawa
Kiyoshi Kogure
Kenji Mase
Norihiro Hagita†,¶†ATR Media Information Science Laboratories ‡The University of British Columbia¶ATR Intelligent Robotics and Communication Laboratories §Nagoya University
We are exploring a new medium in which our daily experiences are recorded using various sensors and easily sharedby the users, in order to understand the verbal/non-verbal mechanism of human interactions. Our approach is
to employ wearable sensors (camera, microphone, physiological sensors) as well as ubiquitous sensors (camera,
microphone, etc.); and to capture events from multiple viewpoints simultaneously. This paper presents a prototype
to capture and summarize interactions among exhibitors and visitors at an exhibition site.

1

はじめに

そのために、今後コンピュータには、人と人、人ともの、
人と環境の間のインタラクションのプロトコル（人ならば近年、コンピュータは我々の生活に浸透し、家電やオフィス機器など、あらゆる電子機器に埋め込まれている。それ

無意識に理解しているような約束ごと）を理解してもらわなければいけない。そこで、我々は、そういったインタラ

らの多くは、従来のような、キーボード、マウス、ディス

クションのプロトコルを機械可読にした、インタラクショ

プレイを備えた典型的なコンピュータの形態を持たない。

ンの辞書を構築することを大きな目標とする [1]。

そして、近い将来、それらの電子機器は互いにネットワー

そのための第一歩として、人と人のインタラクションにクでつながって連携動作し、我々の生活空間を包み込むよ

おける社会的プロトコルを分析・モデル化するために、複うになるであろう。そうなったとき、従来の WIMP パラ

数人のインタラクションを様々なセンサ群で記録し、蓄積ダイムで培ってきたような GUI やデスクトップメタファ

された大量のデータに緩い構造を与えてインタラクション

をベースにしたインタフェースだけでは不十分であり、もっと身体全体を利用した空間的インタフェースが求められるのコーパスを構築する手法を提案する。提案手法の特徴は、環境に遍在するカメラ／マイクなどのセンサ群に加えて、と考える。

インタラクションの主体となるユーザが身につけるカメラ

また、従来は単体としてのひとつのコンピュータが 1 人／マイク／生体センサを利用することで、同一イベントをのユーザと 1 対 1 でインタラクションすることを基本とし複数のセンサ群が多角的に記録することである。また、赤てきたが、我々の生活空間を包み込むようなコンピュータ

外線 LED を利用した ID タグ（LED タグ）と、それを認は、我々の社会生活、つまり、人と人のインタラクション

識する赤外線センサ（IR トラッカ）を利用して、各カメラを見守り参加する社会的要素として再設計されるべきであの視野に入った人や物体の ID を自動認識することで、蓄ろう。

積されるビデオデータに実時間でインデクスをつける。

1

本稿では、筆者らの所属する研究所の研究発表会におけるデモ展示会場において、展示者と見学者のインタラクショ
ンを記録するために試作したシステムを紹介する。また、蓄積されたインタラクション・コーパスを利用したアプリ
ケーションとして、各ユーザの展示見学のビデオサマリを自動生成するシステムを紹介する。個人のビデオサマリを生成する際、本人のセンサデータだけでなく、インタラク
ションの相手のセンサデータも協調的に利用される。

2

複数センサ群によるインタラクション・コー
パスの構築
人と人、人と人工物のインタラクションを広く捉えるために、開放的な空間における複数人のインタラクションを様々なセンサ群で記録することを試みる。そのためのテス
トベッドとして、筆者らが所属する ATR 研究所の研究発表会を題材とし、デモ展示会場における展示者と見学者のインタラクションを対象としたインタラクション・コーパ
ス収集システムを試作した。

図 1: インタラクション・コーパス収集システムの構成

我々の試みの特徴をまとめると以下のようになる。

• 人のインタラクションを構成している様々なモダリティ

また、協創パートナーとしてのコミュニケーションロボッ
トも、人とインタラクションする度に、自らのビヘイビアを記録する。

実行のログと、人との身体的な接触によるセンシングデー• ユビキタスなセンサや主体となるユーザが身につけたセタをサーバに記録する。

ンサを利用して、同一のインタラクションを多角的に記
録する。

3

関連研究

• すべてのビデオカメラに対応させて IR トラッカを設置することで、視野に何 / 誰が映っているのかを実時間でこれまでにも、環境側にカメラを埋め込み、部屋の中の記録する。このことは、注視（gazing）が人のインタラ

人の行動を支援する試みが多くなされてきた（例えば、 Smart

クションをインデクスする手段として利用できるであろrooms[4], Intelligent room[5], AwareHome[6], EasyLiving[7]う、ということを仮定している [2]。

など）。これらは、コンピュータビジョン技術により人の存在や動きを認識し、ユーザの移動や行動意図を識別しよ• 人のインタラクションをただ受動的に記録するだけでなうという試みであった。それに対し我々は、人の存在や移く、積極的にインタラクションを演出して意図的に人間動の識別については赤外線 ID システムを使って楽をし、のインタラクションパターンを記録するために、自律的

そのかわり、インタラクションのもう少しミクロなレベル、に動作する人工物（ロボット [3] 等）を利用する。

つまり、人と人の視線の一致や対話のプロソディに興味が

図 1にインタラクション・コーパス収集のためのシステある。また、インタラクションのデータを記録し、そのデー

ム構成を示す。システムは基本的に、身につける携帯型のタをさらなる創造的な協調活動に再利用することを目的と記録用クライアント、部屋に埋め込まれる据え置き型の記する。

録用クライアントで構成される。それぞれ、カメラ、マイウェアラブルなビデオ収集システムを利用して、個人のク、 IR トラッカからのセンサデータを記録用サーバに中記録を行う試みもなされてきた（例えば、 [8] や [9]）。し継する。携帯型クライアントのいくつかについては、生体かしこれらは基本的に単体としての知的システムの構築を

データを記録するセンサも利用する。

目指すものである。それに対して我々の試みは環境に埋め記録データは、基本的にはカメラとマイクによるビデオ

込まれたセンサ群や複数人のウェアラブルシステムの統合

データである。また、それらのビデオデータのインデクスを利用し、人と人のインタラクションを協調的に記録し利として、記録開始時刻、記録時間といった基本的データの用する枠組みを提案するものである。そのことで、一人の他に、 IR トラッカが検出した LED タグの ID、生体デー

視点だけでは記録しきれないようなデータを相補的に記録

タが刻一刻とデータベースに記録されていく。

することが可能になるであろうし、それと同時に、ユーザ

2

個人個人の主観的な視点を顕在化させることも可能になるて Windows パソコンである。複数センサ間の対応をとると考える。

には、時刻が重要な基軸になる。そこで、各クライアント
は NTP を用いて 10ms 以上ずれないように設定した。

生体データを利用して個人の記録にインデクスをつける
試みもいくつかなされてきた（例えば、 StartleCam[10]）。

記録されるビデオデータは samba サーバを経由して UNIX

しかしこれらの多くは、生体データ単独で人の心的状態をのファイルサーバに記録される。また、ビデオデータに対推定しようとするため、短絡的な解釈が多く、発展に行きするインデクス情報を記録するために、 Linux 上で動作す

詰まっている。元々、生体データはその人のおかれた状況

る MySQL サーバを用意した。その他に、ビデオサマリを（いつ、どこで、誰と、何をしているのか）に強く依存す生成するために Linux ベースのアプリケーションサーバをるものであると考えられる。したがって我々は、生体デー

用意し、そこでは MJPEG Tools を使ってビデオのカット

タ単独で心的状態を解釈しようと考えず、インタラクショ

編集プログラムを実行した。

ンに関する多角的なデータと共に生体データを記録し、横4.2

断的なパターンの変化から生体データ解釈のためのモデリングを行おうと考えている。

ビデオデータ（映像と音）の記録

ビデオカメラは、据え置き用には SONY 製 CCD-MC100

部屋の中での人の動きを認識するために、無線 [11] やウェ
アラブルな航行システム [12] を使って個人の位置を知る技（41 万画素 1/4 インチ CCD）、携帯用には KEYENCE製 CK-200 （25 万画素）を用いた。いずれも NTSC で記術があった。それに対し、本研究では [13, 14] のように、録用クライアントにデータを送る。マイクは、据置用クラ赤外線を高速点滅された LED タグを用いて、見ている対イアントには無指向性のマイク、携帯用には接話用のヘッ

象の ID を自動認識する技術を利用した。ただし [13, 14]

ドセットマイクを利用した。

ではセンサの認識スピードが十分速くなかったり、高価でビデオについては、各記録用クライアントで Motion JPEG

携帯不可能という問題があった。そこで我々は、市販のビ（解像度 320 × 240、 15 フレーム／秒）をリアルタイムエ

ジョンチップとマイコンを利用してハードウェアレベルでンコーディングした。音は PCM 22KHz 16bit モノラル

高速の画像認識を行い、安価で携帯可能な赤外線 ID シス

で記録した。これらの値は、ネットワーク負荷と、全体のテムを開発した。

コーパスサイズを押さえることと、コンテンツとして再利

本稿では、インタラクション・コーパスを利用したアプ

用する際の品質のトレードオフで決めた。

リケーションとして、個人のビデオサマリを自動生成する

一度のセッションをひとつの膨大なビデオファイルにすシステムを紹介するが、それと関連する試みとして、ミーるのは現実的ではないので、ビデオデータは内部的には 1

ティングを記録したビデオをシーンごとに分割するシステ

分ごとに別々のファイルにした。ただし、コーパスを利用

ムが提案されてきた（例えば [15]）。しかしそれらの多くする際にファイルが 1 分ごとにわかれていることを意識しは、固定カメラで捕らえられた画像の変化量に応じてシーなくて済むように、インデクスデータを SQL サーバで管ンの切り替えを行うものであり、人のインタラクションの理し、内部構造を隠蔽した。

セグメンテーションを目指すものではない。我々のシステ
ムは、複数人の視点による協調的なインタラクションのセ

4.3

赤外線 ID システム

グメンテーションを提供し、そこから自然にミーティング

LED タグは、 LED を高速に点滅させ、その点滅パターのメリハリやハイライトシーンの抽出を行える。

ンで ID を発信し続ける。 IR トラッカは、 2.5 メートル先
程度の LED タグを認識し、認識され次第、その ID と XY

システム実装4

座標を記録用クライアントを通して SQL サーバに書き込み続ける。

筆者たちが所属する ATR 研究所の研究発表会が 2002 年

11 月 7,8 日に開かれた。それにあわせて、デモ展示会場の図 2が試作した LED タグと IR トラッカの外観である。

一部を「体験キャプチャルーム」と名付け、システムの試作を行った。

IR トラッカは、 LED の点滅を読み取る CMOS カメラとそれを制御するマイコンで構成される。見える範囲、 LED

4.1

は、互いにトレードオフするが、今回は、 6 ビットの ID （つタグが送るデータビット数、 IR トラッカの認識スピード
記録用サーバ – クライアントシステム

対象となる「体験キャプチャルーム」には 5 つの展示ブー

まり、 64 個のタグ）を扱い、秒あたり数回程度読み出せるものを試作した。そのため、視界の中で少々動いている

スが設置され、それぞれについて正面と背面に、つまり合タグの ID も読み取れる。なお、ヘッドマウント用のセン

計 10 台の据え置き型の記録用クライアントを設置した。

サには、同一ケースにコンテンツ撮影用の KEYENCE CCD

また、展示者と見学者の希望者が身につけるための、携帯カメラも入れ、 IR トラッカと光軸を合わせた。

用の記録用クライアントを 15 台用意した。これらはすべ

3

話マイクを持つヘッドセットを利用し、それに、コンテン
ツ用のカメラ、 IR トラッカと LED タグをひとつにまとめたモジュールを固定した。パソコン（と 3 台については Pro-

comp+ の本体）はバッグに納めて、背負うこととした。
4.6

記録データの形式

合計 25 台のクライアントのビデオデータ（映像と音）がインタラクション・コーパスの基本的なコンテンツとなる。画像については、今後オフラインの画像処理を行うか
図 2: 試作した赤外線 ID システムの外観もしれないが、オンライン処理はしなかった。接話マイクからの音に関しては、ボリュームの変化量から発話タイミ

4.4

ングを図る。これは、あとで会話シーンを解釈する際に利生体データ

携帯型記録クライアントのうち 3 台については、生体デー
タ記録用モジュール（Procomp+）を統合した。これは、2 日間の研究発表会の間、 1 日あたり約 7 時間ずつシステムを稼働し続け、その間に合計 80 人のユーザが我々のリアルタイムに生体データを AD 変換してコンピュータに

ウェアラブルセンサシステムを利用した。そのうち、説明送る機器で、今回は脈拍、手の表面の伝導性（発汗）、温員が 16 人、ロボットが 1 体含まれるので、来客者は 63 人

度の 3 つのセンサを使用した。これらのセンサはどれも指であった。 2 日間の記録で、合計 300 時間近くのビデオデーに付けることができるので、ちょうど片手が埋まった。数タが記録され、ビデオデータが 480GB、オーディオデータ

秒ごとにそれぞれの平均値を計算し、その値を記録用クラが 57GB に達した。また、 IR トラッカによる ID 検出の総イアントを通して SQL サーバに書き込み続ける。

4.5

用される。

数は約 38 万回に及んだ。

IR トラッカのデータは、生データは単なる検出結果の羅クライアントシステムとタグの設置列なので、まずそこから時間方向の塊にまとめる。つまり、
何が何時何分何秒に視界に入って何時何分何秒に視界からはずれたか、といった情報にまとめる。元データでは XY
座標も得られているので、それが右から左に通り抜けた、といったような情報も得られるが、今回はそこまでは利用していなかった。
生体データは、今回は収集のみ行い、オンラインで利用することはしなかった。今後オフライン処理により、他のモダリティ情報（声のボリュームやユーザの状況など）との関連性を探ることをしたい。
据え置き型記録用クライアントについては、システム起動時に、展示ブースの ID とクライアント ID を関連づけた。
携帯型記録用クライアントについては、ユーザに貸し出す
際にメールアドレスを ID としてユーザ登録を行い、それとクライアント ID、 LED タグの ID を関連づけた。
また、一部のユーザについては LED タグのみをバッジ

図 3: センサ類と LED タグの設置のようにして利用することを許した。その場合は、やはり
メールアドレスでユーザ ID を発行し、それとバッジの ID

部屋には 10 台の据え置き型記録用クライアントを設置を関連づけた。環境側に埋め込んだ LED タグについても、した。図 3にあるように、カメラ、マイク、 IR トラッカをタグをつける対象（ポスタやデモ機器）を登録し、その ID

天井と壁に設置し、各展示ブースごとに正面と背面から捉と関連づけた。

えた。また、人のインタラクションの焦点となるような点、
つまり、ポスタやデモ用のディスプレイなどに、各展示ブー 4.7 協創パートナーの役割
スごとに 5 つ程度の LED タグを設置した。
「体験キャプチャルーム」のひとつの展示ブースはロボッ
展示員全員と見学者の希望者が身につけるセンサ用に、
トに関するものであり、そこで自動走行させた人型ロボッ
ウェアラブルな記録用クライアントを 15 台用意した。接4トにも、展示者や見学者と同じように、携帯型の記録用ク
ライアントを身につけさせた。つまり、我々のシステムの中では、ロボットもまったく人と同じ扱いをした。
ただ違う点としては、ロボットの場合は、動作の内部状
態（話しかける、移動する、手を挙げる等）を逐一 SQL サー
バに記録することができる。そのデータは、ロボットのイ
ンタラクションの相手であるユーザのエピソードの切り出しに利用することができる。
また、 SQL サーバに逐一問い合わせることで、目の前にいるユーザの名前を参照したり、そのユーザのそれまでの行動履歴を得ることができるので、より個人化されたイ
ンタラクションを演出することが可能である。
図 4: 様々なイベントの解釈

5

インタラクション・コーパスを利用したアプ
せ次第では、様々な意味を解釈することが可能となる。図リケーション例：ビデオサマリの自動生成

4に、いくつか基本的なイベントの解釈を図解する。
我々のインタラクション・コーパスの主な利点は、計算コストの高い（映像・音声の）信号処理をすること無しに、インタラクションの切り出しやそれに参加している人の特• IR トラッカが環境側に設置されたものであり、捕えられた LED タグが人に付与されたものである場合は、それはすなわち、その人があるエリアに滞在していること定ができることである。

を意味する。また、同一の環境設置 ID センサに、複数

ここでは、インタラクション・コーパスを利用したアプの人の LED タグが同時に捕えられた場合は、それはす

リケーションのひとつとして、ビデオサマリの自動生成を

なわち、それらの人々が同じエリアに共在する状態を意取り上げる。ビデオサマリは、インタラクション・コーパ

味する。

スを利用して社会学的／認知科学的研究を行おうとする研究者の道具として重要であろうし、講演会、授業、普段の• 人が身につけている IR トラッカが、あるものに付与さミーティングの記録の閲覧や、博物館の来訪者行動の分析れた LED タグをとらえている場合は、それはすなわち、など、エンドユーザが利用する道具としても利用価値が高

その人があるものを注視していることを意味する。また、

いと考える。

同一の対象物を複数の人の IR トラッカが同時に捉えて

ビデオサマリを自動生成する基本的な方針として、赤外いる場合は、それらの人々が同じものに対して共同注意

線 ID システムによって与えられたインデクスを利用し、を向けている状態であると考えられる。さらに共同注意

ボトムアップ的にインタラクションのシーンを切り出してに参加している人の人数が増えた場合、それはすなわち、いくこととした。

注意を向けられている対象物は重要な社会的イベントをまず次の用語を定義しておく。

担っていると考えられる。

イベント 同一のカメラとマイクの組み合わせによって記• ある人 A の IR トラッカが他の人 B の LED タグを捕え、録されたビデオから、特定の LED タグが視界に入り続同時に、 B の IR トラッカが A の LED タグを捕えていけている部分を切り出したクリップ。

る場合は、それはすなわち、 A と B が対話している状態であると解釈して良いであろう。

シーン 例えば、展示ブース滞在シーンとか、会話シーンといったように、ある意味のある単位で、複数のイベント

前述した通り、 IR トラッカによって出力される生デーを組み合わせて生成されるビデオストリーム。

タそのものは、断続的な LED タグの検出結果の羅列に過ぎない。したがって、そこから、特定の LED タグが視野イベントは、同一のカメラが同一の対象（人やもの）を捕え続けるビデオクリップであり、我々が扱うインタラクショ
ンの最小単位、つまりインタラクションのプリミティブとに入り続けていたと判定する期間（interval）を特定し、それからそのときの IR トラッカと LED タグの担い手次第
で上記のいずれかの解釈を当てはめて、それをひとつのイ捉えることができる。
すべてのイベントは、 IR トラッカが LED タグを捕える、という意味では、これ以上単純化できないくらい単純な要ベントとする。
断続的な ID 検出列から interval を判定するにあたっては、ある IR トラッカに、 maxInterval 以上の間隔を空け

素であるが、 IR トラッカと LED タグの付与対象の組合わ

ずに、 LED タグが minInterval 以上の間検出され続けた

5

場合をイベントとして採用した。今回の試作では、 max-

Interval、 minInterval 共に 5 秒とした。つまり、イベントの最小単位は 5 秒であり、また、同一 LED タグが検出されてもその間が 5 秒以上あいてしまった場合は、別のイベ
ントに切り替わったものと判定した1 。
上記の通り、イベントはインタラクションのプリミティ
ブであり、それに対応するビデオストリーム自体は短すぎてひとつの意味のあるシーンとは言えない。そこで、複数のイベントをボトムアップ的に連結させることでシーンを構成する戦略をとった。
例えば、今ユーザ A のためのシーンを構成しようとしている場合を考える。そのとき、ユーザ A の IR トラッカが
何か LED タグを認識しているイベント、もしくは逆にユー
ザ A の LED タグが他のユーザや環境に付与している IR ト
ラッカに捕えられているイベントがある程度の時間内で連続しているのであれば、それらを連結させて、ユーザ A にとって意味のあるシーンと解釈することとした。複数イベ
ントが連続しているかどうかを判定するにあたっては、少なくともそれら 2 つのイベントが minInterval / 2 （2.5
図 5: ユーザ個人のビデオサマリを表示するページの例秒）以上重なっていること、という指標を用いた。
また、空間的な同時性を有するイベント同士も、同一のシーンを形成するリソースとして連結させることとした。

あるユーザのために生成された複数のシーンを時間順に

つまり、ユーザ A がユーザ B と会話している状態である

並べると、そのユーザの展示見学のビデオサマリができる。

と判定されるイベントがみつかったとき、ユーザ A の LED

図 5は、あるユーザ（見学者）のために実際に自動的に切タグが認識されていなかったとしても、ユーザ B の LEDり出されたシーンを時間順に並べてビデオサマリを表示しタグが天井からの IR トラッカに捉えられていた場合には、たページの例である。

その天井からの IR トラッカに対応するカメラにユーザ B

シーンのアイコンは各シーンのサムネイルを利用した。

と一緒にユーザ A も撮影されている可能性が高いので、そこのアイコンをクリックすると MediaPlayer が起動し、対のカメラ映像もユーザ A のシーンを構成するリソースとし応するシーンのビデオクリップを見ることができる。各シーて採用される。

ンには、シーンの開始時刻、シーンの説明、シーンの時間
を注釈として自動付与した。シーンの説明の生成には、以開放的な空間における複数人の任意のインタラクション
を捕えようとするとき、通常 occlusion の問題が起きるた

下の 3 種類のテンプレートを用意した。

め、単一のカメラが同時に全員の LED タグを捕えること

TALK WITH I talked with [someone].

は稀である。したがって、上記のように、空間共有性を利用した複数のカメラリソースの連結を許すことが、あるイ

WAS WITH I was with [someone].

ンタラクションの塊全体を捕えるには重要な戦略になるとLOOKED AT I looked at [something].

考える。
極端な場合、空間共有性によるカメラリソースの連結を

これらは TALK WITH ＞ WAS WITH ＞ LOOKED AT

多段階繰り返すと、部屋全体のすべてのユーザがひとつのの順に優先順位が高く、つまり、シーンの中に対話イベン

インタラクションに属する、と解釈されてしまうこともあトが認識されれば、シーン全体の注釈としては TALK WITH

り得よう。したがって今回は、空間共有性によるイベントが採用されるようにした。

の連結は 1 段階のみ許すこととしたが、このことは、どのまた、展示会場での滞在時間が長くなるとシーンの数がようなサイズのインタラクションを観測したいか、目的に多くなってくるので、クイックレビューが可能なように、合わせて使い分けるパラメータであると考えられる。

シーンの時間的長さに応じてアイコンの濃淡を変えた。つ
まり、長い時間のシーンは色が濃くなるので、全体を見渡

1 実際は maxInterval が 5 秒だと短すぎてイベントが細切れになりすしたときに目にとまりやすくなる。

ぎてしまったので、デモ終了後、ビデオを目視しながら我々の直観に合う程度のイベント切り出しになるように maxInterval を調整し直した。その結果、固定カメラについては 10 秒が適当で、身につけたカメラについては（動きが激しいので） 20 秒が適当であることがわかった [16]。

さらに、一つ一つのシーンを見ることすら面倒なユーザのために、各シーンを最大 15 秒ずつ切り出し、それらを6

fade-in, fade-out で連結して 1 本のクリップにまとめたサの配置が十分では無いのでトラッキングし続けることは

マリビデオも別途提供した。

できない。しかし、環境側のカメラの視界からはずれても、たまたま他のユーザ B の視界にユーザ A が入ってシーンを構成するイベントは、単一のカメラとマイクの組合わせから撮られたものだけとは限らない。つまり、会いる可能性があり、そのユーザ B がたまたまどこかの話シーンであれば、自分のカメラだけでなく相手のカメラ

環境側カメラに認識されていれば、間接的に、どの辺りで記録されたクリップ、さらには、二人を撮影している環にユーザ A がいるのかがわかるので、ゾーン間の移動

境側のカメラのクリップが順々につながる可能性がある。

を補完できる可能性がある。そのためには、要所要所でまた、音に関しては、ペアとなっているカメラと一致する

は 3 次元位置を特定できるホットスポットを用意する必とは限らない。例えば会話シーンでは、カメラ（クリップ）

要があるであろう。

は切り替わっても、音は常に、会話者 2 人のマイクの音をユーザ個人にとってのハイライトシーンの識別 同一ゾーン

ミックスしたものを利用することとした。

における滞在時間、生体データの変化量、音声のボリュー

以上で述べてきた通り、シーンは、時間の共有性と空間

ムなど、様々なモダリティを統合させることで、ユーザの共有性によって複数のイベントを集めて形成される。し個人のハイライトシーンを識別するモデルを確立したい。

たがって、同じ時刻に複数のビデオリソース（イベントに対応したビデオクリップ）が存在することがある。そこで、簡単なカメラの切り替えルールを用意した。例えば、会話

今回の実験結果からも、例えば、見学者にとっては一カ所に滞在することが（興味のある展示ブースに滞在しているという意味で）ハイライトシーンとして認識されるシーンの場合は、発話しているユーザの顔（実際は LEDタグ）が写っているカメラの映像が採用されるようにした。
それを実現するために、マイクのボリュームを見ることとことは適当であったが、説明員にとっては、同じブースに滞在していることは当たり前なので、特に意味のない
一人だけのシーンまでがハイライトシーンとして切り出した。そして、どちらのボリュームも低いとき（会話に沈されてしまった。シーン切り出しのルールは、ユーザの黙があったとき）は天井もしくは壁からのカメラの映像に

属性や状況に依存して変化すべきであると考える。

切り替わるようにした。
ビデオサマリは、記録されたデータをすぐに処理して出社会的なハイライトシーンの識別 上記の統計量や、同一対力することができるので、デモ当日に「体験キャプチャルー

象（LED タグ）に同一時刻に視線が集まった瞬間を機ム」の最後のデモブースで、実際にユーザ本人のビデオサ

械的に得ることができるので、展示時空間の中でのハイマリを見てもらうことができた。また 2003 年 1 月現在（デライトシーンを特定できるはずである。

モの 2ヶ月後）、研究発表会後のアフターサービスとして、自分のビデオサマリを閲覧できる Web サービスを開始し協創パートナーの活用 ロボットが人とインタラクションした際の内部タスクのログから、ロボットが想定していたた。今後、ユーザのフィードバックを集めて、シーン切り

インタラクションシーン（挨拶する、個別の展示ポスタ

出しのパラメータ調整や、ビデオサマリ表示の技法を再検を見ることを促す等）を特定することができる。その結討していきたい。

果と、これまでに述べてきたような、「見ること」によ6

るインデクスを利用してボトムアップ的に形成されたシー

今後の課題

ンの識別結果との間で、どの程度、一致、不一致があるかを見極めたい。

インタラクション・コーパスを利用したアプリケーションの開発や、インタラクションの原理の理解が今後の課題

ビデオサマリの表現技法 個別のシーンに対応したビデオクである。以下に、今後取り組みたい技術課題を列挙する。

リップを作成する際には、複数のイベントクリップがリ会話シーンの分析 膨大な量のインタラクション・コーパス

ソースとして利用される。そこには、カメラの切り替えの中から会話シーンだけを抽出し、そこから会話におけや音の扱いなど、映像技法に関わる課題がある。また、

る社会的インタラクションのパターンを分析したい。例

ビデオサマリのアイコンを並べて個人の展示見学サマリ

えば、会話に参加するユーザの発話ボリュームの変化をのページを提供する際には、アイコンの並べ方や注釈の可視化して、発話交代のパターンを可視化するツールを付け方次第で、様々な利用形態を提案できると考えてい準備したい。

る。例えば、今回は個人に関わるシーンを時間順に並べたものだけを提供したが、本来、我々のシステムの枠組

個人ユーザの移動のトラッキング 今のシステムの枠組みのみでは、個別のイベントやシーンは複数のユーザやオブ

中でも、展示ブースごとのエリア内であれば、理想的にジェクトに帰属する。したがって、イベントやシーンには各ユーザの存在とその滞在時間を認識することができ対応したビデオクリップをハイパーリンクで連結してユーる。しかし、展示エリア間の移動中は、環境側のカメラ

ザに提供することも可能であろう。そうすることで、あ7

る時空間を共有した複数のユーザの間で、体験データをが簡単な操作でインタラクション・コーパスを利用できる

協調的に記録しそれらを共有し合えるような枠組みを提ように、システムを改善していきたいと考えている。

供できると考える。

謝辞

社会的フィルタリングによる展示ガイド システムの運用にともない、どの展示がどういうユーザに人気あるか、とシステム実装に協力頂いた山本哲史氏に感謝の意を表する。本

いった統計情報を得ることができる。したがって、新た研究は、通信・放送機構の研究委託「超高速知能ネットワーク社

な来訪者に対して、社会的フィルタリングによる展示推会に向けた新しいインタラクション・メディアの研究開発」によ

薦や、見学のルートプランニングを提供することが可能

り実施したものである。

である。

参考文献

簡易的な拡張現実感の提供 今回試作した赤外線 ID システ[1] 角, 間瀬, 萩田. 人と人工物の共生を実現するためのインタラクショ
ン・コーパス. 第 16 回人工知能学会全国大会, 2002.

ムは、コンテンツ撮影用のビデオカメラと光軸を合わせて利用することで、視界に入っているものや人の ID と

[2] R.Stiefelhagen, J.Yang, and A.Waibel. Modeling focus ofattention for meeting indexing. In ACM Multimedia ’99,
pp. 3–10, 1999.

その視界中の 2 次元座標を得ることができる。したがって、簡単に、見えているものや人の情報を見えている映像に重畳表示することができる。ユーザが身につけるヘッ
ドセットのヘッドホンを利用し、さらにヘッドマウント
ディスプレイなども併用すれば、例えば、目の前にいる[4] A.Pentland. Smart rooms. Scientiﬁc American, Vol. 274,
No. 4, pp. 68–76, 1996.

人の名前を表示したり、その人がそれまでにどの展示を[5] R.A.Brooks, M.Coen, D.Dang, J.De Bonet, J.Kramer,
T.Lozano-Pérez, J.Mellor, P.Pook, C.Stauﬀer, L.Stein,
M.Torrance, and M.Wessler. The intelligent room project.
In Proceedings of the Second International Cognitive Technology Conference (CT’97), pp. 271–278. IEEE, 1997.

どの程度見て廻ったのか、といったような情報を表示することができる。また、過去の情報を集約して表示する
ことで、例えば、ある展示物に今までどのくらいの視線が集まったのかを定量的に表示することで、展示空間中[6] C.D.Kidd, R.Orr, G.D.Abowd, C.G.Atkeson, I.A.Essa,
B.MacIntyre, E.Mynatt, T.E.Startner, and W.Newstetter.
The aware home: A living laboratory for ubiquitous computing research. In Proceedings of CoBuild’99 (Springer
LNCS1670), pp. 190–197, 1999.

の人気スポットが一目瞭然になるであろう。

3 次元仮想空間の再構成 「体験キャプチャルーム」の 3 次
元 CG モデルを作り、そこに複数カメラでとられた映像
データをレンダリングすることで、リアルな 3 次元仮想空間を再構築し、オンラインサービスとして提供したい。

[7] B.Brumitt, B.Meyers, J.Krumm, A.Kern, and S.Shafer. EasyLiving: Technologies for intelligent environments. In Proceedings of HUC 2000 (Springer LNCS1927), pp. 12–29,
2000.
[8] S.Mann. Humanistic intelligence: WearComp as a newframework for intelligence signal processing. Proceedings ofthe IEEE, Vol. 86, No. 11, pp. 2123–2125, 1998.

その際、固定カメラで得られた映像だけでなく、ユーザが身につけたカメラによる映像をコラージュ状に貼り詰めることで、「体験キャプチャルーム」内の人のインタ
ラクションの営みのメリハリを顕在化させたい。つまり、多くのユーザの視線を集めたオブジェクトや人は多くの[9] T.Kawamura, Y.Kono, and M.Kidode. Wearable interfaces
for a video diary: Towards memory retrieval, exchange, andtransportation. In The 6th International Symposium on
Wearable Computers (ISWC2002), pp. 31–38. IEEE, 2002.
[10] J.Healey and R.W.Picard. StartleCam: A cybernetic wearable camera. In The 2th International Symposium on Wearable Computers (ISWC’98). IEEE, 1998.

映像リソースに登場するであろうし、誰も目もくれない
ような場所（部屋の片隅や天井など）は映像のレンダリ[11] A.Ward, A.Jones, and A.Hopper. A new location technique for the active oﬃce. IEEE Personal Communications,Vol. 4, No. 5, pp. 42–47, 1997.

ングがなされない。そういう不均一さをあえて強調することで、ある時空間を共有する人の営みを可視化する枠[12] S-W.Lee and K.Mase. Incremental motion-base location
recognition. In The 5th International Symposium on Wearable Computers (ISWC2001), pp. 123–130. IEEE, 2001.

組みを構築したい。

7[3] T.Kanda, H.Ishiguro, M.Imai, T.Ono, and K.Mase. A
constructive approach for developing interactive humanoid
robots. In 2002 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2002), pp. 1265–1270,
2002.

[13] 青木. カメラで読み取る赤外線タグとその応用. インタラクティブシ
ステムとソフトウェア VIII (WISS 2000), pp. 131–136. 近代科
学社, 2000.

おわりに複数センサを利用したインタラクション・コーパス構築[14] 松下, 日原, 後, 吉村, 暦本. ID Cam：シーンと ID を同時に取得可
能なイメージセンサ. インタラクション 2002, pp. 9–16. 情報処理学会, 2002.

の試みを紹介した。提案手法は、ビデオデータ記録と同時に IR トラッカによる ID 付与を行うことが特徴である。試[15] P.Chiu, A.Kapuskar, S.Reitmeier, and L.Wilcox. Meeting
capture in a media enriched conference room. In Proceedingsof CoBuild’99 (Springer LNCS1670), pp. 79–88, 1999.

作システムによる 2 日間のデモを行い、そこでは、各ユー

ザの見学サマリをその場で提供することができた。今後は、 [16] T.Matsuguchi, Y.Sumi, and K.Mase. Deciphering interactions from spatio-temporal data. 情処研報, ヒューマンインタ
インタフェースデザインや社会心理学に興味を持つ研究者
フェース, Vol. HI102, 2003.

8