䣔䣕䣌䢴䢲䢳䢴䣃䣅䢴䣌䢴䢯䢹

情報構造化環境における日用品の追跡- 移動ロボットによる低レベル視覚記憶の照合と変化検出 ○桑畑舜也

長谷川勉

蔡現旭

1. はじめに諸岡健一

倉爪亮(九州大学)

2. 生活環境での日用品管理

家庭内での日用品の取り寄せや片づけは，高齢者生活環境に存在する日常生活用品は，数が多く，や身体障害者のための基本的な生活支援作業であり， 多種多様であるため，全ての配置を認識管理することは不可能に近い．そこで以下に述べる対象と制限
これをロボットが実行できるようになれば社会的経を前提として，環境情報構造化を試みる．
済的効果は極めて大きい．そのためには，作業対象となる日常生活小物物品について，それがどのようなものか？ 環境内のどこにあるのか？ といった情報が必要になる．
これまでに，建物構造や家具配置など空間を地図として生成する手法や，人やロボットなどの移動体を追跡する手法について多くの研究がなされた．しかし，直接の作業対象である日用小物の配置情報を獲得する研究は十分とはいえない．UHF-RFID タグと特徴的な色を持つタグとを物体に貼付しておき，RFID から発せられる信号の電界強度を指向性アンテナで検出して,その存在方向を求めたうえで，さらにビジョンによるカラー情報処理により物体を発見するものや 1)や，天井付近から部屋内を俯瞰するカメラで差分画像処理による物体移動を検知するもの 2)などが提案されている．前者では指向性アンテナを走査する必要があり，ロボットが重装備となり，時間もかかる．その上，分解能も十分でないため画像処理も併用している．後者では，居住室を常時カメラ撮像する必要があり，プライバシー保護や隠蔽の問題が避けられないし，広域視野の確保と分解能の両立も難しい．
我々は，環境内に固定分散配置センサとビジョンセンサ搭載ロボットとを連携して動作させることにより，上記の問題を解決しうる日用小物の配置情報獲得法の研究を進めてきている[1]．本論文では，この研究の一環として，日用小物の配置変化を検出する手法について報告する．

図 1 物品追跡システム

᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛1)

高齢者施設の居住室：
ベッド，椅子，テーブル等の配置された洋風生活の場で，日用品もそれほど多くなくて整理されており，基本的に床面は清掃されている．
2) プライバシーの確保：
プライバシー保護の観点から四六時中動作し，居住者の全身を撮像する視覚センサは導入しない．
3) 初期導入および長期的運用コストの観点から環境分散センサは少ないほうが望ましい．
これらを前提として，日用品の情報構造化を実現しようとすると，次のような問題に直面する．
4) センサ死角域の存在：
全ての対象を，直接計測できるようにセンサを環境に分散固定配置するのは無理である．
5) 構造化情報に対する外乱：
日用品は人間の活動により移動され，あるいは消費される．
しかし，逆に言えば，直接計測できないものでも人間の行動追跡結果からその所在を推定したり，探索場所を限定することが可能になると考えられる．次章で述べるが，これまでに開発してきた環境配置センサにより，人の行動追跡はできるようになっている．そこで，生活支援を行う移動作業ロボットに視覚センサを搭載することにより，所望の場所に移動し高い分解能で物体探索を行う機能の実現を図る．
ロボット視野内を画像撮像することになるが，居住者はロボットが近づいてくれば分かるので，不都合があれば制止できる．このためプライバシー侵害等の問題は解決できる．また視覚センサとして Kinectセンサを用いるが，これは安価であるため，生活支援ロボットに追加装備する費用はほとんど無視できる．
テーブル，机，あるいは棚などの家具は，室内備品であり，配置されたものは定常的に存在している．
主要機能は日用小物品をおくことである．したがって，行方不明の日用品があれば，まずこれら家具上䣔䣕䣌䢴䢲䢳䢴䣃䣅䢴䣌䢴䢯䢹を探索するのがよい．各家具の形状情報は既知であるので，日用小物が置かれているかどうかは，なにも置かれていない状態との差分をとれば容易に検知できる．
提案手法は，テーブル，机，棚の上など特定の家具上の情景を，移動ロボット搭載 KINECT センサによる低レベル３D 記述として記憶保持しておき，居住者などによる物品の利用・異動が推測されたとき，当該地点に移動してシーンの低レベル３D[記述との照合を行い，その変化の有無を検出するものである．
変化があった場合には，その変化に応じた認識処理を行うことになる．消失している場合は，以前の物
体配置を記述したデータベースを参照して，そこに存在していた消失物体を同定する．物体が出現している場合は，高次の認識処理を行うことになるが，対象の存在する空間領域（視野範囲）が特定できているので，認識処理の効率化が期待できる．カラー
画像と奥行き画像をクラウド型ビジョン処理プロセスに転送して認識してもらうこともできるようになるであろう．
日用品の移動が少ない段階で，計測/認識を行い，その配置情報（環境記述）を更新できる．

3.2 環境分散センサ

3. 環境情報構造化システム

3.2.3 非検知領域
センサの配置されていないテーブル，机，椅子，ベッドなどの上は，日用品が置かれても検知できない領域である．

3.1 実現機能の設計とシステム構成
環境分散センサにより，生活環境を以下のように領域分けして，そこにある日用品を管理する．
Ⅰ）高精度なセンシング領域：
何がどこにあるかの情報が得られる領域（インテリジェント収納庫など）
Ⅱ）中精度なセンシング領域：物体の存在・位置が計測できる領域（フロアセンシングシステムのある床など）
Ⅲ）低精度なセンシング領域：
物体の有無が検出できる領域（UHF 帯 RFID タグリーダの可読領域など）
Ⅳ）センシング機能のない領域：
テーブルや椅子，ベッドのうえなど環境センサがない死角領域
人の活動に伴ってⅠ）の領域から物体が持ち出されたときは，何が持ち出されたかは検知できる．その後，物体は，a) 人が保持しているか，b) 人の手を離れて，Ⅱ,Ⅲ,Ⅳのいずれかの領域に置かれることになる．Ⅱの場合は，その位置が検出できる．
ⅢまたはⅣの場合は，ロボットによる探索を行う．
このとき，環境配置センサにより人の行動追跡がなされていれば，その軌跡に沿った場所をさがせばよ
いので，探索範囲を限定できる．対象物品も分かっているので，視覚検出も容易になると期待できる．

᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛

3.2.1 知的収納庫
棚板に RFID タグリーダと重量センサ（ロードセル）を装備したもので，タグを添付した日用品の納入および取り出しを検知するとともに，その位置を計測する．金属缶ジュースや液体入りペットボトル
でも添付されたタグの認識ができる．
3.2.2 フロアセンシングシステム
居室には，LRF と壁面に貼られたミラーを組み合わせた床上センサを装備している．床面に平行で直上（約 25mm）をスキャンするレーザにより，家具の配置計測，人の歩行追跡，床に落とした小さな日用品の検出と位置計測がなされる．家具やロボットなど少数の重要物体にはレーザ反射強度を強化したタグテープを貼付することによりその反射強度値から直接認識できる[3]．それ以外の多数の一般物体の認識はできないが，床面分布型圧力センサによる検知が困難な軽量物体，暗黒色あるいは金属光沢を有する物体，小型物体など，多種多様な日用品についてその存在を検出し，位置計測ができる．この検出・計測では，壁面ミラーによりオクルージョンも少ないセンシングシステムとなっている．

4. ビジョン搭載ロボットによる変化の検出
4.1. ビジョンを搭載した移動ロボット
日用品の取り寄せなどの直接的生活支援作業に加え，環境変化を認識して構造化情報を更新することを役割に加えたロボットである．移動作業ロボットに Kinect センサを搭載し，カラー画像情報と奥行き情報に基づいて，テーブル上などの非検知領域に置かれた日用品の探索・認識のほか，床面センサが検知した場所に赴いて，そこにある物体を認識する．
4.2 日用品移動の検出
環境 内の テー ブル ，机 ，棚 の上 など の情 景 を
KINECT を用いて奥行き計測を行い，低レベル３Ｄ記憶(点群情報)として保存する．日用品を探索する
ときは，当該家具に接近してシーンの奥行き計測を行い，記憶された低レベル３Ｄ情報との差分をとり，変化を検出する．
記憶情報と新規取得情報とでは取得時のカメラ位置が異なるので，これらのデータ間から単純な差をとることでは変化を検出するのは困難である．フロ䣔䣕䣌䢴䢲䢳䢴䣃䣅䢴䣌䢴䢯䢹る物品が置かれた場合でも，変化箇所として検出することが可能である．
4.3 ロボットの行動戦略
環境中の固定配置センサは，居住者の生活行動の見守り・追跡を行い，これに基づいて日用品の移動状況を推定する．ロボットは，居住者から取り寄せや片付けなどの要求が発せられたとき，対象日用品の探索を行うが，それまでの生活行動追跡結果から，環境センサの死角域中での対象日用品のありそうな場所を優先する．

5. 実験

図 4.1 情景変化箇所の特定手順
アセンシングシステムにより，データ取得時のロボットの位置・姿勢は計測できるので，カメラの位置を求めることはできるが，変化の検出を行うほどの精度は保証されない．差分をとるには，高精度の位置合わせが必要となる．位置合わせは，データ内の家具に相当する箇所に対して ICP を適用することで行う．まず，2 つのデータに対して，それぞれ平面検出によって家具の基準平面(テーブル・机の上面)を特定する．次に，クラスタリングを行い，基準平面の重心とクラスタの重心との位置関係から家具を構成する箇所(テーブル前面・足)を抽出する．2 つのデータ間で ICP により，位置合わせを行う．ICP を用いることで，局所解に陥る可能性もあるが，フロアセンシングシステムで取得したロボットの位置・姿勢から，事前に回転・並進処理を行っておくことで，その可能性を低くすることができる．
最後に，変化箇所の検出を行う．検出には，クラスタリングとエレベーションマップを用いる．エレベーションマップとは，基準平面をグリッド化し，各グリッドの基準平面上からの高さを記述したものである．位置合わせ後の 2 つのデータに対して，クラスタリングを行う．この時，基準平面上の各クラスタのエレベーションマップを作成しておく．デー
タ間でこれらのクラスタの対応付けを行い，対応付けられなかったクラスタを変化箇所と特定する．対
応付けには，クラスタ重心位置とクラスタの大まかな形状(基準平面からの高さ，水平投影面積)を利用する．重心位置が近く，形状がほぼ一致したクラスタを対応付ける．この検出方法により，記憶時の状態から物品が取り除かれ，全く同じ位置に形状が異な᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛

室内に配置された 2 種類のテーブルと 1 種類の机(図 5.1)を対象に，低レベル３Ｄ情報(記憶情報)を取得する．次に，家具上の情景を変化させ，この時の低レベル３Ｄ情報(新規取得情報)を取得する．これを各家具 5 セットずつ用意する．それぞれのセットで物品の変化箇所を検出できるか確認した．

図 5.1 実験対象家具
表 5.1 に実験結果をまとめた．表の変化箇所数は，家具上の変化箇所を 5 セット合計したものである．
評価は，変化した箇所を変化箇所と特定できた割合で行った．
表 5.1 実験結果
変化箇所数

成功数

成功率(%)

1412(0)85.7

1813(1)72.2

机1817(2)94.4

合計5042(3)

84.0

テーブル
A
テーブル
B

()内は，変化してない箇所を変化箇所と検出した回数
図 5.2-5.5 は実験の一例を示している．図 5.3 の赤丸は，新規取得情報を入手するまでに変化させた箇所を示している．図 5.4 は，図 5.2 と図 5.3 から変化箇所を特定した結果である．赤色の点群が変化した領域における記憶情報でのクラスタを，青色の点䣔䣕䣌䢴䢲䢳䢴䣃䣅䢴䣌䢴䢯䢹
群がその領域における新規取得情報でのクラスタを表している．図 5.4 に示すように，変化箇所をすべて検出している．図 5.5 は図 5.4 の四角で表された変化箇所を水平方向の視点から見たものである．赤色の点群と青色の点群の高さの差から，紙束に本が置かれたということを検出できている．図 5.4 の白丸は，本来変化していないのに，変化があったと誤検出してしまった箇所を表している．原因は，この箇所の材質が，KINECT の性質上，3D 情報を取得しにくいものだったため，記憶情報と新規取得情報で差が生じてしまったことにあると考えられる.

図 5.2 記憶情報

実験では，変化箇所を検出できなかった場合もあった. 例えば，ペンなどの小さな物品では，その物品を構成する点群が少ないためにクラスタを構成できず，変化箇所として検出されない．また，ある物品を取り除いた後，同じ箇所に形状のよく似た異なる物品を置いた時には，記憶情報と新規取得情報からその箇所の差を検出できないこともあった．

6. むすび
生活環境における日用品の情報構造化の一環として，人の活動にともなう配置変化を追跡する手法を提案した．これは，テーブルや机など日用品が置かれる家具について，その上の情景を 3 次元点群として記憶しておき，配置変化を記憶との差分として検出し，その領域を切り出して認識プロセスに渡すものである．
この際，環境に分散配置されたセンサは，人の追跡に基づいた日用品の移動の有無と移動場所の推定を行い，さらに，ロボットや家具の位置計測を行う．これにより，ロボット搭載視覚機能が支援され，日用品の追跡ができる見通しを得た．

参 考

図 5.3 新規取得情報

図 5.4 変化箇所の検出結果

図 5.5 変化箇所(図 5.4 四角)水平視点

᪥ᮏ兑兀儧儬Ꮫ఍➨䢵䢲ᅇグᛕᏛ⾡ㅮ₇఍凚䢴䢲䢳䢴ᖺ䢻᭶䢳䢹᪥ࠥ䢴䢲᪥凛

文 献[1] T.Deyle, H.Nguyen, M.S.Reinolds, and C.C.Kemp,“RFID-Guided Robots for Pervasive Automation”,PervasiveComputing,pp.37-45,
April-June, 2010[2] 小田嶋成幸，佐藤知正，森武俊，“画像の安定変化に基づく家庭内物体移動検知手法”，第 28 回
日本ロボット学会学術講演会予稿集,3I1-4, 2010[3] 長谷川勉, 野原康伸, 村上剛司:”生活環境における日用品情報構造化のための床面センシングシ
ステム”,日本ロボット学会誌，Vol.28, No.9,pp.1144-1147, 2010
[4] 村上剛司, 重松康祐, 野原康伸, 長谷川勉, 倉爪亮, Ahn Byong-won: “人間・ロボット共生環境における日用品追跡システム”, ロボティクス・メカトロニクス講演会'10 講演論文集, 2A1-C09,(2010.6).
[5] 村上剛司，松尾一矢，野原康伸，長谷川勉，倉爪亮:”知的収納庫と Floor Sensing System を用いた物品追跡システム”, 第 28 回日本ロボット学会学術講演会予稿集, 3P1-7, (2010.9).
[6] 長谷川勉，蔡現旭，Oscar Martinez Mozos, 辻徳生，諸岡健一，倉爪亮：“情報構造化環境における日用品の追跡 －視覚付き移動ロボットと固定分散センサ群の連携－”，第 29 回日本ロボット学会学術講演会予稿集，1O2-6, (2011.9)[7] 表ほか，“レーザレンジファインダによる反射強度と位置計測を用いた床上センシングシステ
ム”
第 30 回日本ロボット学会学術講演会予稿集，（2012.9）