超音波式 3 次元タグを用いた対象物の機能モデルに基づく
人の日常活動の頑健な認識
産総研 (JST, CREST)
産総研 (JST, CREST)○西田 佳史
堀 俊夫

東京電機大
東京電機大

相澤柿倉洋志正義

東京理科大 北村光司

Robust recognition of daily human activities by modeling objects’ functions
using ultrasonic 3D tag system○ Yoshifumi Nishida, AIST & JST, CREST
Koji Kitamura, Tokyo Univ. of Science
Masayoshi Kakikura, Tokyo Denki Univ.

Hiroshi Aizawa, Tokyo Denki Univ.
Toshio Hori, AIST & JST, CREST

Abstract: This paper describes a new approach to daily human activities recognition: 1) decouple the problem ofobject recognition and that of behavior recognition, 2) resolve the former by 3-D tagging/sensorizing technology, and3) develop a model for recognizing human behavior from such a sensorized objects. This paper proposes “an objectsensorizing system” which realizes a function for robustly observing and recognizing daily human activities using realobject-shaped sensors. The object sensorizing system consists of three layered components. 1) Physical sensor layer:
an ultrasonic 3D tag system outputs ID and 3D positions of objects. This function contributes to avoiding a problemof feature-based object recognition. 2) Virtual sensor layer: physical characters of real objects are abstracted throughsimplifying their 3D shape and unique functions using prepared virtual sensors. 3) Object sensor layer: by defining
behavior to be recognized using the abstracted objects, this layer enables to create object-shaped sensors which areadded a new function for outputting recognized behavior while maintaining their original functions. This paper also
reports an experimental system for demonstrating the proposed method.

1

緒論

人とメカトロ機器、人とロボット、また、それらの総体としての人と環境といった、人間をその要素として含んだ環境型システムにおいて、人間を中心とした新しい機能を実現するためのシステム・インテグレーション手法の確立が求められている。人間と環境の機能を計算機上でモデル化し、すでに電子化されている様々なメカトロ機器の機能とを統合することで、これまで困難であった人・環境システムという系における人間中心技術システムの構成法が可能となれば、シミュレーションによる最適性の考察などの工学的な視点を持ち込むことが可能となり、人の機能の増進を支援する環境システムの設計と構築が容易になることが期待できる。
人間・環境システムという系の振る舞いを記述するために、観察による外乱を与えず、人の活動をそのままに観察し、認識する技術が必要となる。人間・環境システムにおける人の活動を、環境中の様々対象物の機能の利用現象という観点から捉えると、対象物を頑健に認識し、その状態変化を検出することで行動を認識することが可能であると考えられる。ところが、日常生活環境などの複雑な実世界を対象とした場合、対象物の位置を発見することすら極めて困難な課題であり、ヴィジョンに代表されるような特徴量ベースの従来の人間活動の観察・認識技術を適用しようとすると限界がある。そのため、より上位の人間活動の認識や解析の問題を扱うために、従来の人物や物体の認識技術を基礎技術として用いることが困難であった。
これらの問題点に有効な方法として、センサを対象としたい現象のできるだけ近くに配置し、不要な信号が取り込まれることを避け、不要な信号に起因する認識の曖昧性を減少させることで、頑健な認識を可能とする環境センサ化がある。センシング技術の発展を背景に、生活空間を対象として、このような環境センサ化による人間の生活を観察する試みが実施されてきており、人の位置、状態や機器の使用等を頑健に検出できるようになっている [1, 2]。
家や部屋といった空間は、それらの構成要素である床・壁・天井といった空間を形づくる構造物や、さらに小さな対象物に分解可能である。このような対象物は、日常環境中に多く存在し、人が利用する機会が多いことから、人の活動を記述する上で重要であると考えられる。しかし、これまでに応用分野が限定された研究は報告されているものの [3]、 日常空間における対象物を利用する人間活動の体系的な観察・認識手法は扱われていない。
一方、近年、急速に進んでいる小型無線技術、ネットワー
ク技術を利用することで、環境中の様々な対象物をセンサ化することが可能となっている。小型無線技術、ネットワー
ク技術の需要の高さによる発展性を考えると、物体の認識問題と、行動認識の問題を分離し、前者は、環境センサ化やタグ付け問題に帰着させ、頑健な物体認識技術をベースとして、後者の行動認識技術やその応用技術を重点開発するという新しいアプローチが可能になりつつあると言える。
本稿では、このような観点から、これまで開発してきた超音波 3 次元タグによって環境中の対象物をセンサ化することで、人の活動を頑健に認識する対象物センサ化法を提案する。本研究では、対象物のセンサ化とは、対象物の性質を維持しつつ、対象物を利用する際に生じる随伴行動を頑健に検出する仮想センサとしての性質を対象物に付け加えることを指している。本稿では、対象物をセンサ化するために、超音波 3 次元タグに基づいて、物体の物理的な特徴を抽象化させ、対象物の機能をモデル化する手法、それを実現するための対象物センサ化システム、また、そのアプリケーションとして、認識結果に基づいて行動を発話させる機能 (Behavior-to-speech) について述べる。

2

対象物のセンサ化に基づく人の日常活動の認識

本節では、従来の日常生活行動の認識における頑健性の問題を解決するための対象物センサ化手法について述べる。
日常生活環境中の対象物は、その構造・形状が機能と深く関わっているため、ほとんどの場合、質点を仮定できず、日常生活行動を認識するためには、位置情報のみならず、何らかの形状情報を持つことが必要となる。しかし、日常生活環境中の対象物について詳細な形状データを作成することは不可能ではないにしても極めて手間のかかる作業である。また、計測すべき行動が明らな場合には、詳細な形状データが不要であることが多い。そこで、本研究では、対象物の物理的形状と機能を抽象化させ、計算機上で単純化された形状を持つ仮想的センサに置き換えて表現することで、対象とする行動を頑健に認識し出力することのできる対象物センサ化法を述べる。
1. 3 次元タグによる対象物探索・認識機能: 対象物認識(社) 計測自動制御学会 第 3 回システムインテグレーション部門会議 (神戸)1/2

（対象物体が何であるか）と対象物探索（対象物がどこにあるか）を 3 次元タグによって、ハードウェア的に解決する機能
2. 簡易形状モデルによる物理特徴の抽象化機能: 対象とする物理現象をモデル化するために、対象物の特徴的な形状を簡易形状を用いて定義することで対象物の物理構造を抽象化する機能
3. 仮想センサによる対象物の機能のモデル化機能: 抽象化された対象物形状や構造に対して、あらかじめ用意された仮想センサを選択して取り付けることで、対象物の物理的な作用をモデル化する機能
4. 対象物センサによる行動認識機能: 対象物の性質を維持しつつ、頑健に認識する対象物センサを作成する機能であり、対象物の機能モデルと３次元タグを統合して、人が対象物の機能を利用している際の、個々の対象物の状態変化や、対象物相互の状態変化を実時間で検出し、随伴行動を認識する機能

3.2

対象物センサ化システムの Behavior-tospeech への応用

頑健な人の日常行動が認識できるようになれば、これを応用することで、人間の日常生活を科学的に考察したり、モデル化し製品開発や評価のためにシミュレーションを行うなどの研究が考えられる。筆者らは、こうした応用の基礎となる認識技術そのものがサービスになり得るのではないかという観点から、Behavior-to-speech エンジンの開発を行っている。これは、認識された日常行動を Text-to-speech
エンジンと統合することで、実時間に発話させる機能を実現するソフトウェアであり、後天性の視覚障害者への学習支援や、実体と実行動による語学学習支援などの新しい応用が考えられる。
Vision system

PC
IEEE 1394

1394
Camera3.1

超音波 3 次元タグを用いた対象物センサ化システムの構築䎋䏅䎌Create function model& object sensor

Ultrasonic sensors
Ultrasonic
3D TagObject#1

Ultrasonic 3D tag
Controller

Object-shaped sensor

PC

対象物センサ化システムの構成
Ultrasonic 3D tag

本研究で構築した対象物センサ化システムは、前節の機能を実現するための以下に述べる３つの階層から成り立っている。システムの概要を 1 に示す。
1. 物理的センサ層:超音波 3 次元タグシステム: 対象物認識と対象物探索を行う階層で、一種のモーションキャプチャーである超音波 3 次元タグシステムを用いてハードウェア的に行う。本研究では、3.5x3.5x2.7[m] の空間において20 ∼ 80mm 程度の精度を有し、低コストで、多数の物体に取り付けて用いられるような超音波式のモーションキャプチャーを新たに開発してきた [5]。基本的な測定原理は、既に市販されている超音波式のモーションキャプチャや、提案されている ActiveBat[4] 等のシステムと同様であるが、低コストであるという利点を生かし、冗長な 300 個のセンサ情報を利用することで、物体を把持しようとする際に発生するオクルージョンの影響や、反射の影響を軽減するためのロバスト推定をソフトウェアで実現している点に特徴がある [6]。
2. 仮想センサ層: 対象物の機能をモデル化する層で、ヴィジョンを用いた簡易形状モデラ、あらかじめ用意された仮想センサ・仮想効果器群、および、仮想センサ・効果器を処理するための基本メソッドからなる。ステレオヴィジョン (Pointgrey 社 1394 カメラ Dragonfly) を用いて、２枚の画像を基に計算機上でマウスを用いて対話的に対象物の円形・多角形・線などで表される特徴的な３次元形状を定義し登録することが可能である（図中 (a))。このように定義された簡易形状に対して、３次元タグの位置情報と仮想センサと仮想効果器を付け加えていくことで、対象物の機能を簡便にモデル化可能である (図中 (b))。基本的な仮想センサとして、複数の３次元タグから姿勢や、リンクの角度を検出するセンサ、仮想センサ・効果器間の接触を検出するための接触センサが用意されており、たとえば、長方形の机であれば、長方形の仮想センサとして定義でき、コップは、これに作用する仮想効果器として定義可能である。
実際に対象物の機能モデルを使用する場合、３次元タグの精度によっては、状態検出が不安定になるが、効果器を大きさを変更することで、安定した状態検出が可能である。
3. 対象物センサ層: 定義された対象物の機能モデルに、物理的センサ層である超音波 3 次元タグシステムが出力する位置と ID 情報を入力することで、実時間で行動認識結果を得るための階層である。定義された対象物の機能モデルを用いて、仮想センサ層の基本メソッドを用いて行われる角度や、接触状態の変化の検出を基に、対象物固有の行動を定義しておくことで、行動をシンボルとして出力可能である。

Create characteristic
shape model by vision

1394
Camera3

䎋䏄䎌Ultrasonic 3D tagsystem䎬䎧䎏䎖䎧䎃䏓䏒䏖䏌䏗䏌䏒䏑䎵䏈䏄䏏䎃䎺䏒䏕䏏䏇䎋䏆䎌
Real time
recognition byobject sensor

䎦䏒䏐䏓䏘䏗䏈䏕䎲䏅䏍䏈䏆䏗䎃䏖䏈䏑䏖䏒䏕䏌䏝䏌䏑䏊䎃䏖䏜䏖䏗䏈䏐Fig 1: 対象物センサ化システム

4結論

本稿では、日常生活行動を頑健に認識する機能を実現するための手法として、対象物をセンサ化し、対象物の性質を維持しつつ、頑健な行動の検出と、認識を可能とする対象物センサ化を提案した。また、この手法を実現するシステムとして、対象物センサ化システムについて述べた。対象物センサ化システムは、物理的なセンサ層である超音波
3 次元タグ、対象物の物理的特徴を抽象化させ、所望の状態を検出するための仮想センサ層、仮想センサ群の出力を用いて行動を認識し、これを出力する対象物センサ層からなる。検証システムを用いた日常行動の認識実験によって、提案手法の実現可能性を示した。また、本稿では、頑健な人の日常行動が認識機能の応用例として Behavior-to-speechエンジンを示した。

参考文献[1] T. Mori, T. Sato, K. Asaki, Y. Yoshimoto, Y. Kishimoto, One-Room-Type Sensing System for Recognition
and Accumulation of Human Behavior, Proc. of the 200IEEE/RSJ International Conference on Intellingent Robotand Systems, pp. 344-350, 2000
[2] http://www.cc.gatech.edu/fce/ahri/[3] P.H. Dietz, Darren Leigh, William S. Yerazunis,”Wireless
Liquid Level Sensing for Restaurant Applications,”IEEEInternational Conference on Sensors, 62.6 (2002)[4] A. Hopper, P. Steggles, A. Ward, P. Webster,”The
Anatomy of a Context-Aware Application,” Proc. of
5th Annual Int’ Conf. Mobile Computing and Networking(Mobicom 99), pp. 59 - 68 (1999)[5] 西田, 相澤, 堀, 柿倉, ”超音波センサを用いた対象物のセンサ化に基づく人の日常活動の認識,” 日本機械学会 ロボティク
ス・メカトロニクス講演会’02 講演論文集, 1A1-J07, 2002
[6] 西田, 相澤, 堀, 柿倉, ”超音波式 3 次元タグを用いた人の日常活動の頑健な計測〜冗長なセンサ情報に基づくロバスト位置推定〜,” 第 20 回日本ロボット学会創立 20 周年記念学術講演
会予稿集, 3C18(1)-(4), 2002

(社) 計測自動制御学会 第 3 回システムインテグレーション部門会議 (神戸)2/2