1P1-3F-E4

超音波式３次元タグとステレオ視とを用いた対象物機能モデル化による人間行動の認識
Recognition of human activity by modeling function of physical object
using ultrasonic 3D tag and stereo vision
正 西田 佳史 (産総研 (CREST,JST)）〇北村 光司（東京理科大）
正 堀 俊夫（産総研 (CREST,JST)）正 溝口 博（東京理科大）
Yoshifumi Nishida, AIST ＆ JST, CREST Koji Kitamura, Tokyo Univ. of ScienceHiroshi Mizoguchi, Tokyo Univ. of Science
Toshio Hori, AIST ＆ JST, CREST
Abstract: This paper proposes a method for ”rapidly modeling human activities,” which enables to rapidly create
a function for registering target human activities, and observing and recognizing the target activities robustly and inreal-time. The proposed method is realized by a process for modeling the target activities and a process for recognizing
the target based on the created model. The modeling process is done interactively by users as follows: 1) creating
a simpliﬁed 3D shape model by using stereoscopic camera, 2) creating a function model of the object using virtualsensors, 3) mapping output of the function model into targe human activities’ events. This paper also reports anexperimental system which consists of a stereoscopic camera and an ultrasonic 3D tag system. The ultrasonic 3D tags
are wireless ultrasonic transmitters that are attached to an object to assign ID to the object and measure the locationof the object. The stereoscopic camera is used for creating the simpliﬁed 3D shape model and the ultrasonic 3D tag
is used for observing and recognizing the target objects robustly and in real-time.
Key Words: Human activity recognition, Sensorization, Ultrasonic sensor, Stereo

1緒論

近年、急速的な勢いで情報処理技術が発展してきている。それに伴い、身の回りのさまざまな家電や機器が処理能力を備えるようになってきている。そこで人間の行動を入力することができ、入力されたデータを使って人の行動を認識することができる人間機能の計算機モデルを作成することができれば、モデルにより推定された人間の状態と身の回りの情報機器とリンクさせることで、これまでにない人間を中心とした人間支援が可能となる (1) 。
実世界で生じる行動現象を記述する上で重要となる問題
は、対象としたい現象から確実に信号を得るために、「どのようにセンサを配置し、センサ信号を取得するか」という問題と、さらに、センサ信号のレベルだけでなく、意味をもった情報のレベルで記述するために、「複数の解釈が可能なセンサ信号から、いかに拘束条件を付加することで、望んでいる情報のみを取り出すか」という問題である。
従来から多くの行動観察に関する研究で扱われている視覚センサなどを用いた特徴量ベースの行動観察・認識技術
では、環境の多様性の中で対象物を特徴化することの本質的な困難さから、実際の使用に耐えうる頑健な観察・認識機能を実現するにはいたっていない。これに対して、本研究では、最近の無線技術、小型プロセッサ技術、タグ技術などの発展に着目し、これまでに、人が対象物を扱う行動を対象に、日常環境中に存在する対象物をその性質を維持しつつ, 日常活動を観察するセンサとする超音波 3 次元タグを提案し、対象物の位置を拘束条件として用いることで行動信号計測（行動観察）範囲の局所化が可能であること、対象物の機能を拘束条件として用いることで行動情報抽出(行動認識) 範囲の局所化が可能であること、すなわち、確実で効率的な行動観察と認識が可能であることを実証してきた (2) .
一方、このような行動観察・認識機能の効果は、対象物の位置や機能といった対象物に依存した処理系の構築によるものであるため、観察を行いたいユーザが実際に人が活動を行う様々な環境で構築可能であるかが問題となる。そこで、本稿では、観察・認識機能を構築したい環境において手早く対象物機能をモデル化し人間行動を認識する問題を扱う。本稿の目的は、対象とする行動から取得したい情報の登録と、そのような行動情報の抽出を可能とする認識機能を、3 次元タグ技術とステレオ技術をベースとして手早く実現するための手法を提案し、その有効性を日常生活空間を模擬した環境で検証することにある。

2

手早く対象物機能をモデル化し人間行動を認識する手法

2.1

機能モデル作成における問題点と解決手法

本研究では、対象物本来の機能や性質を維持しつつ、対象物を人間の行動を認識するためのセンサとして振舞うことが可能な対象物を作成し、このセンサ化された対象物を用いて人間の行動を記述する手法を提案してきた。このよ
うな人が利用した対象物の機能情報を出力できるセンサを構築するためには、計算機上で人が利用する対象物の機能をモデル化し表現する必要がある。特に、剛体、または、リンク構造を持った剛体に着目すると、対象物の機能は、対象物の幾何情報があれば、対象物内や、対象物相互の接触情報などの物理的な作用によって記述することが可能である。
こうした幾何モデルや物理的な作用モデルを作成する際

日本機械学会 [No.03-4] ロボティクス・メカトロニクス講演会 ’03 講演論文集

1P1-3F-E4(1)2003.5.23〜25 函館市

に、以下のような問題点が挙げられる。1) 欲しい情報は利用者の想定しているアプリケーションに依存して決まるが、あらゆる状況を想定して汎用的なモデルを用意しようとすると、詳細すぎるモデルを作成することになってしまう点、2) そのようなモデルは、作成するのに極めて手間がかかる点、3) たとえ、作成できたとしても、ユーザにとってかならずオーバスペック、または、アンダースペッ
クとなってしまい、実際には汎用性が期待できない点、4)
CAD データなどを入手できた場合でも同様の問題が生じる点。
これに対して、本研究では、はじめから詳細なデータを持つ汎用モデルを用意するのではなく、ユーザが対話的に対象物機能のモデリング行うことで解決する手法を扱う。

2.2

手早く対象物機能をモデル化し人間行動を認識する手法の提案

本研究で提案する「手早く対象物機能をモデル化し人間行動を認識する手法」は、以下の４つの基本手法を統合することで実現される。すなわち、１）実時間で頑健に対象物の認識と位置計測を行う方法、２）対象物の物理構造を抽象化する方法、３）対象物の物理的機能をモデル化する方法、４）対象物のセンサ化による人間の行動認識の方法である。

2.2.1

実時間で頑健な対象物位置計測・認識

本研究では、物体の動きを知ることで人間の行動を認識する手法を用いるので、対象物の３次元位置計測機能が必要となる。また、物体の姿勢は物体の動きとともに非常に有益な情報となる。３次元空間において物体に含まれる直線上にない３点の３次元座標値を知ることができれば、物体の姿勢を知ることができる。また、対象物何であるかということを知ることは行動認識を行う際に非常に有益な情報であるので、対象物認識機能が必要である。３次元位置を知ることができる３次元タグを対象物に取り付けることで、対象物位置計測機能を実現する。
また、対象物認識機能については、３次元タグに固有のＩＤを持たせることで実現する。対象物の名称と３次元タグの I Ｄナンバの情報を結びつけることで対象物の識別が行える。

2.2.2

対象物の物理構造の抽象化により、その物理構造の特徴を抽象化する機能が必要である。ここで、なぜ対象物の形状を簡易な形状にモデル化するのかというと、認識したい行動が明らかである場合は、対象物の詳細な形状データは不要となることが多いからである。つまり、対象物の形状は有意味な部分と無意味な部分がある。例を挙げれば、前述の「コップを机に置いた」という行動を認識する場合、机の面が重要であり、机の脚の部分は必要ない。また、 置いた・持った といった行動の認識を考えた場合、コップは単なる円と考えても特に問題ないのである。

2.2.3

実際に「コップを机に置いた」などの行動を考えた場合、３次元位置と物理構造からは行動を認識を認識することはできない。そこで、対象物の物理的な作用をモデル化する機能が必要である。物理的な作用を予め定義しておくことで、その機能を人間が使った場合に考えられる行動を特定できる。例えば、コップの物理的な作用として、 持ち上げられる 、 置かれる というものが考えられる。このような物理作用を定義しておくことで、人間がそれらの機能を使った場合、 人がコップを持ち上げた 、 人がコップを置いた と認識できる。さらに、机に 物を置かれる という作用を予め定義しておけば、 机に物が置かれた 、コップは置かれた という情報から、 人がコップを机の上に置いた と認識することができる。

2.2.4

対象物のセンサ化による人間の行動認識

前述の４つの手法を用いて、この人間の行動認識を実現する。 対象物の物理構造の特徴を抽象化する機能 による対象物の形状や寸法の情報と 対象物位置計測・認識機
能 による３次元座標と物体の名称などの情報を与える。
さらに 対象物の物理的な作用をモデル化する機能 により、対象物の機能に関する情報を与えることで、対象物センサを作成する。作成された対象物センサにより、実時間で頑健な行動認識機能を実現させる。

2.3

対象物位置計測・認識機能だけで、日常生活空間内で人が行う活動を認識することは困難である。例えば、「コップを持ち上げた」や「コップを机に置いた」のような非常に簡単な行動であっても、物理構造に関する情報がなければ、行動を認識できない。物理構造の情報を与えるのに、様々な対象物の寸法を計測し、何らかの方法で位置情報として与えると、非常に手間がかかり、環境の変化に対応しづらいという問題点がある。
そこで、対象物を簡単に簡易な形状にモデル化すること対象物の物理的作用のモデル化

手早く対象物機能をモデル化し人間行動を認識する手法の利点

提案手法の利点として、1) ユーザはどんな行動を計測の対象としたいのか知っているので、対象領域に詳しいユーザの知識を利用できると考えられる点、2) ユーザの知識を利用することで、必要な情報を抽出するための最低限の処理系を手早く実現することができる点、3) 手早くシステムを構築することができれば、観察・認識機能の試行錯誤による改良が容易であるという点があげられる。

1P1-3F-E4(2)3

手早く対象物機能をモデル化し人間行動を認識するシステムの構築

前述の提案手法を実現させるための検証システムを構築した。以下で、実現システムのハードウェアとソフトウェアについて述べる。

3.1

手早く対象物機能をモデル化し人間行動を認識するシステムのハードウェア

３次元タグシステム
３次元タグシステムでは、 対象物位置計測・認識機能を実現させる。本研究では、誤差が 20〜80mm 程度で低コストである超音波を用いたモーションキャプチャを開発してきた (2) 。これは、環境側（壁や天井）に超音波の受信器を埋め込み、対象物に３次元タグ（超音波発信器を含んだ小型装置）を取り付けるものである。
ステレオビジョンシステム
カメラのステレオシステムを用いて、ステレオ画像における対象物の特徴点をマウスにより対話的に指定していくことで、対象物の重要な性質である３次元形状を簡易な形状にモデル化を行い、 対象物の物理構造を抽象化する機能 を実現した。

3.2

手早く対象物機能をモデル化し人間行動を認識するシステムのソフトウェア(a) 簡易３次元形状モデルの作成
ビジョンシステムを用いて、対象物の特徴点をマウスで対話的に指定することにより、簡単に線・多角形・円形といった簡易な形状にモデル化する。また、対象物に取り付けられた３次元タグの個数や ID の情報も登録する。
(b) 対象物機能モデルの作成(a) で作成されたモデルに、本研究で開発された仮想センサ・効果器を取り付けることで、対象物の物理的機能をモル化する。仮想センサ・効果器とは、計算機上でセンサとして振舞えるものである。種類は、回転を検出するための Angle Sensor」、接触という事象を起こさせる「BarEﬀector」、接触という事象を検出する「Touch Sensor」がある。
(c) 対象物機能モデルの出力と行動イベントの対応付け(b) で作成された機能モデルの中で使用された機能の組み合わせによって、人間の行動は異なる。そこで、それらのみ合わせと行動を表現するための文章を結びつける。
(d) 機能モデルによる実時間行動認識(a),(b) で作成された機能モデルに３次元タグの位置情報を入力することにより、人間行動の認識が行える。

3.3

構築システムによる提案手法の実現法構築したシステムのうちの超音波式３次元タグシステムを用いて 対象物の認識・位置測定機能 を実現した。また、カメラのステレオシステムを用いて、ステレオ画像にኻ⽎ⴕേ䬽⊓㍳ᯏ⢻䎋䏄䎌䮀䮍䮳䭱ⷞ䬺䭗䭚◲ᤃ䯿䎧ᒻ⁁䮩䮎䮲䬽૞ᚑ⿥㖸ᵄᑼ㧟ᰴర࠲ࠣࠍขࠅઃߌࠄࠇߚኻ⽎‛⿥㖸ᵄᑼ䯿ᰴర䮆䭷䎋䏅䎌઒ᗐ䮂䮺䭼䬺䭗䭚ኻ⽎‛ᯏ⢻䮩䮎䮲䬽૞ᚑ䎃䎃䎋䏆䎌 ઒ᗐ䮂䮺䭼䬽಴ജ䬷ⴕേ䭫䮠䮺䮏䬽ኻᔕઃ䬠䮀䮍䮳䭱䭲䮨䮰䭾䮀䮍䮧⿥㖸ᵄฃାེ⿥㖸ᵄᑼ䯿ᰴర䮆䭷䭾䮀䮍䮧ኻ⽎‛䮂䮺䭼

⊓㍳ⴕേ䭫䮠䮺䮏ኻᔕ⴫䎋䏇䎌䎃ታᤨ㑆ⴕേ⹺⼂䯿ᰴర䯂䎬䎧䮎䯃䮆⿥㖸ᵄᑼ䯿ᰴర䮆䭷ታ਎⇇⊓㍳ⴕേ䬽ታᤨ㑆⹺⼂ᯏ⢻઒ᗐ䮂䮺䭼䬽಴ജⴕേ䭫䮠䮺䮏⸘▚ᯏ

Fig. 1: Conﬁguration of recognition system of human activity by object sensor

1P1-3F-E4(3)おける対応点をマウスにより対話的に指定していくこと
で、対象物の重要な性質である３次元形状を、対象としたい行動を認識する上で必要となる簡易的な 3 次元形状モデルの作成を行う、 対象物の物理構造を抽象化する機能 を実現した。本研究で開発し、予め用意された仮想センサ・効果器を、作成された簡易形状モデルに、対話的に取り付けていくことで、対象物の機能をモデル化する 対象物の物理的機能をモデル化する機能 を実現した。このように作成された対象物の機能モデルに、超音波式３次元タグシステムの出力を入力することで、実現容易性がある、実時間・無拘束で頑健な行動認識が可能となる。

4

Hold blue cup

日常空間模擬環境を用いた検証実験

提案した手法の有効性を検証するために、日常生活空間模擬環境において構築したシステムを用いた検証実験を行い、本研究で提案した対象物のセンサ化による人間行動の認識手法によって、実時間・無拘束で頑健な計測・認識が行え、対象としたい人間の認識機能を実現することが容易であることを確認した。検証実験に用いた対象物は机とホッチキス、コップ、ティッシュ箱の４点である。机以外の対象物には超音波式３次元タグを２個取り付け、全ての対象物のセンサ化を行った。机の上にあるコップを持ち上げた
り、ホッチキスとティッシュ箱の回転や移動を行った。この検証実験で、コップを持ち上げたという行動やホッチキスとティッシュ箱を回転させたり移動させたという行動を認識することが可能であった。

5

Rotate stapler結論

Move three physical objects

本研究では、実世界で生じる実際の行動を記述する上で重要なものとして、実時間で頑健な人間行動を観察・認識する機能を、多様な環境において手早く実現する手法を述べた。提案手法は、１）頑健な対象物の認識・位置測定のための手法、２）対象物の物理構造を抽象化する手法、３）対象物の物理的機能をモデル化する手法を統合すること
で、対象物本来の機能や性質を維持しつつ、対象物を人間の行動を認識するためのセンサを、行動が生じる環境で、手早く、対話的に実現する手法である。
提案した手法を検証するためのシステムを、超音波式 3次元タグとステレオカメラを用いて構築した。対象物の認識・位置測定機能は、超音波式３次元タグシステムを用いて実現した。対象物の物理構造を抽象化する機能は、カメラのステレオ視を用いて３次元形状を簡易な形状にモデル化を行うことで実現した。対象物の物理的機能をモデル化する機能は、本研究で開発した仮想センサ・効果器を、簡易形状モデルに取り付けていくことで実現した。このように作成された対象物の機能モデルに、超音波式３次元タグシステムの出力を入力することで、実時間・無拘束で頑健な行動認識が可能となる。日常生活空間模擬環境において検証実験を行い、本研究で提案した対象物のセンサ化による人間行動の認識手法によって、実時間で頑健な計測・認識が行え、対象としたい人間の認識機能を実現することが容易であることを確認した。

Fig. 2: Veriﬁcation experiment
今後の課題としては、1) 仮想センサの体系化、2) 仮想センサの一部として、他のセンサから得られた情報を組み込むことができるようにすることなどが挙げられる。
参考文献

1) 独立行政法人産業技術総合研究所編, デジタル・サ
イバー・リアル 人間中心の情報技術 , 丸善, 2002
2) 西田 佳史, 相澤 洋志, 堀 俊夫, 柿倉 正義,”
超音波センサを用いた対象物のセンサ化に基づく人の日常活動の認識,” 日本機械学会 ロボティックス・メカトロニクス講演会’02 講演論文集, 1A1-J07, 2002

1P1-3F-E4(4)