超音波センサを用いた対象物のセンサ化に基づく人の日常活動の認識
産総研
産総研

西田 佳史
堀 俊夫

東京電機大 ○相澤 洋志
東京電機大 柿倉 正義

Recognition of daily human activity based on objects sensorised
by ultrasonic sensors
Yoshifumi Nishida, AIST
Toshio Hori, AIST

○ Hiroshi Aizawa, Tokyo Denki Univ.
Masayoshi Kakikura, Tokyo Denki Univ.

Abstract: This paper proposes “an object sensorizing system” which realizes a function for robustly observing
and recognizing daily human activities using real-object-shaped sensors. A living-space-shaped system as the object
sensorizing system is constructed. The system consists of 1) real objects in a daily living space, and 2) an objectoriented software having knowledge on the real objects. The real objects and the software objects are tightly linked toeach other by ultrasonic transmitters/receivers for measuring location of the real objects. The experimental results
evaluate basic performance of the system and show the eﬀectiveness of a function for recognizing daily humanactivities.
Key Words: Daily human activity recognition, Object-oriented behavior recognition, Sensorization, Ultrasonicsensor

1緒論

日常生活環境において人を中心とし た情報処理サービ
スへの関心が高まっている 1) 。人の日常行動を認識する機能は 、このようなサービスの基底となるため重要である。本稿では 、実世界である日常生活環境において、日常行動を計測するための実時間 insitu 計測手法と行動の認識手法についての試みについて述べる。
一般に 、行動の認識は 、パターン認識問題の一種として、確率論的に以下のように定式化可能である。

P (Ŵ |Y ) = max
Wi

P (Y |Wi )P (Wi )P (Y )(1)

ただし 、P (Wi |Y ) は観察された行動パターン Y の意味
内容が Wi である確率, P (Y ) は Y が 観察され る確率,
P (Wi ) はある意味を持った行動仮説 Wi が発現する確率,
P (Y |Wi ) は行動仮説 Wi に対して、行動パターン Y が観察される確率である。式 (1) により、最大確率を与える
行動仮説 (Ŵ ) を探索することが行動の認識である。この際、認識率を高めるために 、あるいは、実時間性を保証するために 、実世界で起りうる膨大な行動仮説の中からあり得そうな仮説（ Wi ）の範囲に 、最大確率の探索範囲を限定するために 、ど のようにして制約条件を付加するかが問題となる。これが実世界における行動認識を難しくさせる１つ目の課題としてあげられる。
また、そもそも行動パターン Y が頑健に計測できなけ
れば 、上述の計算は意味をなさないので 、実世界における行動の頑健な計測手法の開発が２つ目の課題とし てあげられる。
従来から, 人の行動を認識する方法としては , 環境側に埋め込まれた視覚、聴覚、接触センサの研究がなされてきている。人や物体の属性をあらかじ め教えておき、この属性に適合する物体を 、実環境を計測することによって得られた視覚、聴覚、触覚情報から求めた特徴量によって探索するという手法は、現状では 、計算コストが多大であり、さらに、環境ノイズの影響のため頑健な計測が行なえないなど の問題点がある。
Robotic Room II2) では、床、机、ベッド などに敷き詰められた圧力センサやオーブンなど に取りつけたスイッ
チによって 、人の位置や物体を操作する行動を頑健に測定する手法を提案している。本研究では、この行動が生 fじる場所そのものをセンサ化するという手法を発展させ、備え付けの什器類等ではなく、日常生活環境内に存在し 、その空間的な位置が変化し うる数 cm オーダの対象物をセンサ化することで行動認識を行なう手法を扱う。また、対象物をセンサ化するアプローチが 、頑健な実時間行動計測のみならず 、行動認識においても有効であることを述べる。
本研究の目的は , 日常生活環境中に存在するコップ , ホッチキス 、椅子、ゴ ミ箱など の対象物の性質や機能を維持しつつ、行動認識のためのセンサとし て利用することで、頑健な実時間行動計測と探索範囲限定による効率的な行動の認識を実現する手法を提案することにある本研究では 、後述する対象物をセンサ化するシステムの基本機能のうち、対象物の位置検出機能を低コストで実現するために超音波送受信器を用いる。同様の位置検出システムとしては 、Active Bat3) が提案されており、人の位置の検出に基づいたサービスの研究がなされている。
国内では 、SHIH ら 4) が同様のシステムの追試を行なっている。これに対して 、本研究では 、超音波式位置検出システムを日常生活環境中の行動認識への適用する手法について述べる。

2

対象物のセンサ化に基づく人の日常活動の認識

2.1

対象物の性質一般に 、あらゆる対象物は以下の性質を持つ。
1) 物理的実体性: ある瞬間には実世界でユニークな位置に存在している.
2) 属性: 色・形・重さなど の属性を持っている.
3) 機能性: 存在意義があり、人が利用する固有の機能を持っている. 特に人工物では顕著である。
4) 属性・機能の対象物一体性: 存在する位置において属性を表出し 、固有の機能を果たす.

2.2

対象物の性質を利用した行動認識

対象物の属性による対象物認識の問題を解かずに 、もし何らかの方法によって、対象物に ID を割り付け、その位置が検出できれば 、対象物の上述の性質を利用して、以下で述べるような頑健な実時間行動計測と探索範囲限定による効率的な行動の認識を実現することが可能となる。
性質 1),4) より、対象物の機能を利用する行動が生じる
対象物に直接センサを取りつけた場合は 、もっとも頑健な行動の計測が可能であるのは明らかである。しかし 、直接センサを取りつけなくとも、ある時刻における実世界

ロボティクス・メカトロニクス講演会’02 講演論文集, 1A1-J07, 2002 (島根)1/4

の同一の位置からの情報は 、同一の対象物からの情報と考えられるため、対象物の位置が分かっていれば 、その対象物の状態を計測するために 、その位置またはその周辺のみを計測することで 、効率的な情報収集が可能である。例えば 、位置をベースとすることで 、対象物に取りつけられたセンサや環境から 対象物を計測するための異種センサ間での情報統合も可能である。
性質 2),3) より、どんな属性（ 重さ・テクスチャ・形）を持つ対象物であるかをあらかじめ知識とし て持っておくことで 、その対象物に固有の状態変化だけを解釈することによる効率的な情報解釈が可能である。また、どんな機能を持つ対象物であるかの知識を使って、人が利用した対象物の固有の機能によって制約された範囲で人の行動を認識することが可能である。すなわち、解釈すべき行動仮説の範囲を限定することが可能となる。
逆に、対象物の位置が分からなければ 、前者の効果が利用できず、対象物の ID が分からなければ 、後者の効果が利用できない。

2.3

対象物をセンサ化するシステムの概念

本研究では , Fig. 1 に示すような対象物センサ化システ
ムを提案する。対象物センサ化システムとは 、日常生活環境中に存在するコップ , ホッチキス、椅子、ゴ ミ箱などの実オブジェクトに位置検出用のビーコン 、ID 番号、必要な場合は、センサを持たせ 、計算機上で対象物指向に記述された対象物の属性や機能に関する知識やメソッド（ 仮想オブジェクト ）と実オブジェクトとを頑健に結び付けることで 、頑健な実時間行動計測と探索範囲限定による効率的な行動の認識を実現するシステムである。このような実オブジェクトは、対象物の性質を維持しつつ、行動を計測し 、認識された行動を出力することができる一種のセンサと考えられるので 、対象物に実際にセンサが付けられているかど うかには関わりなく、本稿では 、「対象物型センサ」と呼ぶことにする。

述されたソフトウェアからなる。実オブジェクトとソフトウェアとの頑健なリンクに基づいた行動認識機能が実現できる点に特徴がある。

3.2

ハード ウェア構成

システムのハード ウェアの構成図を Fig.2 に示す. PC,ネットワーク部 (HUB), Time-of-ﬂight 計測部, 超音波受信部, 超音波送信制御部, 無線ユニットから構成されている. 超音波受信部は , 超音波送信部からの超音波パルスを受信し , 増幅するために用いる。 HUB は, Time-of-ﬂight
計測部と超音波送信制御部に同期信号と計測すべき対象物の ID を送信するために用いる. Time-of-ﬂight 計測部は 、同期信号を検出した時点から増幅された信号がある閾値を超えるまでの時間を計測するために用いる。対象物の 3 次元計測の原理は、超音波送信器から発信された信号を 3 個以上の受信部で受信し 各々の受信部で超音波の到達時間を使って、lateration を行なうことにより対象物の 3 次元位置を測定する。サンプリング周波数は約 50Hzである.

PC
RS232CSYNC signal

fixed line

HUB

Measuretime of flightultrasonictransmitter

Radiotransmitter

Send SYNC & ID
Tightly couplingbased on object ID and beacon

UltrasonicRadio
receiver transmitter

Class object_sensor {public:properties
name;
3d_positions;
3d_shape;
texture;weight;.....

Ultrasonic receiver
and amplifierFig. 2: System conﬁgurationmethods};
Hold cup

Real objects

Object-shaped sensor
sensor based on property of object

Real World

detected_behavior();find_close_objects();.....

Class cup: object_sensor{};
cup::detected_behavior(){//unique functions are described}

Stapledocuments

Objects

Behavior recognition byunique function of object

ComputerFig. 1: Concept of object sensorizing system3

超音波送受信器を用いた対象物センサ化システムの構築

3.1

対象物センサ化システムの検証システム

本章では 、第 2 章にて提案システムを、超音波送受信器を利用して具現化したシ ステムについて述べる。構築
した対象物センサ化システムのハード ウェアは 、環境に埋め込まれた 48 個の受信機、対象物に取りつけられた 27個の発信器 (有線式 24 個/無線式 3 個) 、これらを制御するマイコンと PC から構成されている。また、ソフトウェ
アは 、超音波測定のためのマイコン上で動作するソフト
ウェアと、これらと通信し 、対象物の状態変化の検出や対象物を利用した行動を認識するための対象物指向に記

Fig. 3（左）は、試作したネットワーク部 (HUB), Timeof-ﬂight 計測部の写真であり、同図（右）はそれらが壁に取りつけられている様子を示したものである。Fig. 4（左）は試作し た超音波送信制御部であり、同図（右 ）は、それと有線で結ばれ超音波送信機が取りつけられた対象物型センサを示している。

HUB

Measuretime of flight

Fig. 3: Hub, section for measuring time-of-ﬂight, andultrasonic sensors embedded in wall
Fig.5（左）は、無線化された超音波送信制御部であり、同図（ 右）は、それが取りつけられた対象物型センサを示している。無線ユニットとして、市販されている無線シリアルを利用した。 同期信号と発信させるべき対象物の ID 番号を送るための無線プロトコルを Fig.6 に示す。

ロボティクス・メカトロニクス講演会’02 講演論文集, 1A1-J07, 2002 (島根)2/4

日常生活空間型検証システムを用いた評価実験

4Transmitter

天井に取りつけられた 48 個の受信器と対象物型センサを用いて以下で述べる評価実験を行なった。

Fig. 4: Wired transmitter attached to objects

位置計測性能の評価

4.1.1

位置計測分解能の測定

Fig.8(左) は , 対象物の 3 次元位置検出のばらつきを評価した実験の結果を示している. この図は、超音波発信器が取り付けられた対象物を一定の場所に置き、3 次元位置を 1000 回測定することで , 確率密度を計算した。x,y 軸
は 、2 × 2mm ごとに区切られており、縦軸は、その場所の確率密度を示している。ただし 、ここでの xy 平面は床平面, z 軸は床法線方向である. 図より,x 方向,y 方向の分解能は 15mm 程度であることがわかる. Fig.8 (右) は , zの座標値について、xy 平面と同様にばらつきを評価した結果を示している。この図から z 座標に関しては 、5mm程度の分解能を有していることが確認できる。

Transmitter
90 mm

4.1

Transmitter

70 mm

1 0 00Enable bit
1 10RS232C signal
0V0Stop bit

0.040.020300.60.5m]
y[mDensity

ID
Start bit

DensityFig. 5: Wireless transmitter attached to objects

300.1-30

Error < 1msec

Received
SYNC signal0.30.230

ClockTransmittedSYNC signal

0.4][mm0-30x-30-20-100102030Z [mm]Fig. 8: Probability density of calculated coordinates x,y, and z

Fig. 6: Protocol for transmitting ID and Sync signal
4.1.2

位置計測誤差の測定

Fig.9 は,2.5m × 2.5m の範囲で 25 点を選び , 天井に取りつけられた受信器によって測定された対象物の位置と絶対座標との誤差を評価したものである. 各点は 、30 回サンプリングして求めた平均値を示している。計測誤差
は , 最大で , 約 5cm 生じている.
環境内の超音波ノイズの影響に関しては 、PC やエアコンなど が発生する超音波ノイズは弱く本システムへの影響は確認されなかったが 、電動ド リルが発生する超音波ノイズの影響は大きいことが確認された。
3000

2500

Fig. 7: Daily living space as object sensorizing system
[mm]

2000

3.3

構築した日常生活空間型検証システム

1500

1000

500

構築した日常生活空間型検証システムを Fig.7 に示す.
この部屋の大きさは, 幅 4.0m, 奥行き 4.0m, 高さ 2.7m である. 天井と壁には受信器が 300mm おきに取り付けられており, それぞれの個数は 98 個,127 個である. また, 部
屋内にはコップ , 椅子, ホッチキス, パンチ, 書類、貯金箱、ゴ ミ箱、携帯電話など の対象物が置かれており，それらに送信器が 1 個 ∼2 個取り付けられている.

00500

1000

1500

2000

2500

3000

[mm]

Fig. 9: Comparison between absolute position and measured position

ロボティクス・メカトロニクス講演会’02 講演論文集, 1A1-J07, 2002 (島根)

3/4

4.2

人が操作した時の対象物の軌跡の測定

複数物体の同時計測機能: Fig.10 は , コップを部屋内に置かれている机, 椅子, 床, 棚など に移動した時の, コップの軌跡の様子を示している. 左図、右図はそれぞれ 1 個のコップを動かした時の軌跡、2 個のコップを動かした時の軌跡を示している。左図は、サンプリング周波数が 50[Hz]で計測されたものであり、部屋の広い範囲にわたってコップの位置が実時間で計測できていることを示している。また、右図では 、各々のコップに取りつけられた超音波を時分割発信し 、各々25[Hz] サンプリングし ており、時分割発信機能によって同時計測が可能であることを示している。同様に 、計測すべき対象物の数を増やし ていくことが可能である。この場合、各対象物のサンプリング周波数は 50/n[Hz](n 個の時) 程度になる。
選択的発信による高速サンプリング維持機能: Fig.11 では, 各対象物のサンプリング周波数を擬似的に高く保つために 、人の手に超音波発信器を取りつけ、その手の近傍(200mm 以内) にある対象物のみを計測した時の様子を示している。図中の赤い球が手の位置を示している。

Fig. 10: Measured trajectory of cup

Fig. 11: Dynamic selection of objects to be measured

4.3

対象物型センサを用いた人の日常活動の認識実験

Fig. 12 は、前節の機能に基づいて部屋内におかれた複数のセンサ化された対象物の位置を計測したときの物体の軌跡を示している。また、下に示す出力結果は 、計測された位置情報をあらかじ め対象物モデルに記述されている状態変化を計算するメソッド にし たがって解釈することで 得られた人の活動に関する出力結果である。複数の対象物に対し て、測定中に生じ る対象物の隠れと再発見が確実に行なわれており、日常生活空間で行なわれ る行動認識が頑健に行なえていることを示している。
Output: ...,04:03:55 place yellow cup on desk,
04:04:05 hold cell phone, 04:04:12 place cell phoneon ﬂoor, 04:04:19 hold chair, 04:04:31 place chair onﬂoor, 04:04:34 hold trash, 04:04:40 place trash on ﬂoor,
04:04:46 hold stapler, 04:04:52 place stapler on desk,
04:04:59 hold documents, 04:05:13 ﬁx document withstapler,...

5

結論

本研究では, 人の日常活動の認識を行うシステムとして、対象物センサ化システムを提案した。提案した対象物セFig. 12: Recognition of daily human activity based on
object shaped sensors
ンサ化システムを安価で実現するシステムとして、超音波送受信器を利用した日常環境型のシステムを構築した。
また、構築したシステムを用いた検証実験により評価を行った。構築システムの位置計測機能に関し ては 、対象物の x,y 方向の分解能が 15mm 、z 方向の分解能は 5mmであった。対象物の座標と絶対座標の誤差は 5cm 程度であり、これまでの研究報告 3) と同程度の性能が実現できた。また、日常活動の認識機能に関しては 、現在のところ認識対象が少数であるが 、一般的な対象物の操作に共通する Pick&Place やホッチキス留めするなど の対象物固有の機能利用行動について、あらかじめ対象物指向に記述された対象物の機能と属性を使うことで 数 cm オーダの対象物を用いて行なわれる日常活動が頑健に認識されることを確認した。
今後の課題とし て, 1) 精緻な精度検証を行い、計測精度を向上させるアルゴ リズムを開発すること、2) 対象物の性質を維持するために ハード を小型化すること , 3) 環
境中に取りつけられた視覚情報等を対象物指向的に（ 対象物の位置と固有の属性をベースとし て）情報統合することにより、計測できる対象物の状態量を増やし（ e.g.,ペットボトルのキャップが外れているなど ）、認識できる日常活動の対象を増やすこと 、4) 必要な認識行動の粒度
は 、アプリケーションに依存するので 、cm オーダの対象物操作認識が可能とするアプ リケーションを開拓すること、などがあげられる。
本研究の一部は, 文科省総合研究（課題名：人間支援のための分散リアルタイムネットワーク基盤技術の研究）の助成金, および , 情報処理振興事業協会（ IPA ）の H13 年
度未踏ソフトウェア創造事業（プロジェクト名：人間モデリングのための生活行動デ ィジタルコンテンツ構築ソ
フトウェアの開発）の開発費によって行われた.
参考文献

1) 独立行政法人 産業技術総合研究所編, “デジタル・サイバー・リアル —人間中心の情報技術 —,” 丸善, 2002
2) T. Mori, K. Asaki, H. Noguchi, T. Sato, “Accumulation and Summarization of Human Daily Action
Data in One-Room-Type Sensing System,” Proc. of2001 IEEE/RSJ International Conference on Intelligent Robots and Systems(IROS2001), pp. 23492354, 2001
3) A. Hopper, P. Steggles, A. Ward, P. Webster, ”TheAnatomy of a Context-Aware Application,” Proc. of
5th Annual Int’ Conf. Mobile Computing and Networking(Mobicom 99), 59/68 (1999)
4) S. Shih, M. Minami, H. Morikawa, T. Aoyama, “AnImplementation and Evaluation of Imdoor Ultrasonic Tracking System,” 情報処理学会 モバイルコ
ンピューティングとワイヤレス通信, No. 17-001, 2001

ロボティクス・メカトロニクス講演会’02 講演論文集, 1A1-J07, 2002 (島根)

4/4