(57)【要約】カメラなどのセンシング手段（１）は、家庭などの生活空間における物品や、人を含む移動体の状況をセンシングする。物品管理・操作サーバ（２）はセンシング手段（１）の情報から、各物品について、現在位置、操作者などを含む属性情報を物品データベース（３）に管理する。そしてサーバ（２）は、操作手段（４）から入力されたユーザの指示を受け、この指示を、物品データベース（３）を参照して制御コマンドに変換し、生活支援ロボット（５）に送信する。
2004106009.tif 000002
【特許請求の範囲】
【請求項１】
所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、
前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理するサーバと、
前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、
前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信する
ことを特徴とする物品操作システム。
【請求項２】
請求項１において、
前記センシング手段は、前記生活空間に設置されたカメラ、前記ロボットに設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか１つを、含む
ことを特徴とする物品操作システム。
【請求項３】
所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、
前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品データベースに管理するサーバと、
前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、
前記サーバは、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する
ことを特徴とする物品管理システム。
【請求項４】
請求項３において、
前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、
前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む
ことを特徴とする物品管理システム。
【請求項５】
請求項３において、
前記センシング手段は、前記生活空間に設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか１つを、含む
ことを特徴とする物品管理システム。
【請求項６】
操作端末が、所定の生活空間を表す画像を表示部に表示し、
ユーザが、前記操作端末から、前記画像に含まれた物品に対する操作の指示を行い、
操作端末から送信されたユーザの指示を、サーバが、前記生活空間における物品の，少なくとも現在位置を含む属性情報を管理する物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、
サーバが、前記制御コマンドを、前記ロボットに送信する
ことを特徴とする物品操作方法。
【請求項７】
操作端末が、所定の生活空間を表す画像を表示部に表示し、
ユーザが、前記操作端末から、前記画像に含まれた物品に対する問合せを行い、
操作端末から送信されたユーザの問合せを受けて、サーバが、前記生活空間における物品の，現在位置および操作履歴を少なくとも含む属性情報を管理する物品データベースを参照して、ユーザに提供するための情報を生成し、
サーバが、生成した情報を、前記操作端末に送信する
ことを特徴とする物品管理方法。
【請求項８】
所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが作業を指示するための操作手段と、通信可能に構成されており、
前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理し、
前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信する
ことを特徴とするサーバ。
【請求項９】
所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが問合せを入力するための操作手段と、通信可能に構成されており、
前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品データベースに管理し、
前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する
ことを特徴とするサーバ。
【請求項１０】
請求項９において、
前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、
前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む
ことを特徴とするサーバ。
【請求項１１】
所定の生活空間内に存在する物品の取扱い作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、
上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、
上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステム。
【請求項１２】
所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、
上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させることを特徴とするロボット操作装置。
【請求項１３】
所定の生活空間内に存在する物品の移動作業を行うロボットを用いた物品取扱い方法であって、
上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、
上記操作画面上で、所望の物品アイコンを指定するステップと、
上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグアンドドロップ操作するステップと、
上記生活空間内で上記ロボットが、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含むことを特徴とする物品取扱い方法。
【請求項１４】
所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、
上記表示部に操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、
上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行し、
上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有することを特徴とする物品移動システム。
【請求項１５】
所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに扱わせる物品とその物品に施す作用とを指定させ、
上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、
上記ロボットが上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システム。
【請求項１６】
所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードを有することを特徴とするロボット操作装置。
【請求項１７】
所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードを有することを特徴とするロボット操作装置。
【請求項１８】
居住空間内に存在する物品を管理するシステムであって、
少なくとも前記居住空間内の物品の情報を有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、
前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置する物品管理システム。
【請求項１９】
居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、
前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置する物品管理システム。
【請求項２０】
居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。
【請求項２１】
居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。
【請求項２２】
居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。
【請求項２３】
居住空間内に存在する物品を管理するシステムであって、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えている物品管理システム。
【請求項２４】
居住空間内に存在する物品を管理するシステムであって、
少なくとも前記居住空間内の物品の情報を有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えている物品管理システム。
【請求項２５】
居住空間内に存在する物品を管理するシステムであって、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記作業ロボットの動作制約情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えている物品管理システム。
【請求項２６】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する物品取扱いシステム
【請求項２７】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する物品取扱いシステム。
【請求項２８】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備える物品取扱いシステム。
【請求項２９】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する物品取扱いサーバ。
【請求項３０】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する物品取扱いサーバ。
【請求項３１】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備える物品取扱いサーバ。
【発明の詳細な説明】
【技術分野】  本発明は、生活空間、すなわち一般家庭、オフィス、ホテル、店舗および病院等の、人間が生活を営む空間において、物品の管理や操作を支援する技術に属する。
【背景技術】  従来より、ロボットは、実に多くの分野で有効に利用されている。例えばロボットが有する物品の把持機能を生かして、工場での自動製品組み立てラインにおける部品の把持・運搬や、自動化された倉庫での在庫品の運搬・管理等にロボットが利用されており、その例を挙げるときりがない。
こうした産業用のロボットは、扱う物品の形状・大きさが同じであったり、また少し自由度を持たせたとしても、せいぜいその形状が直方体等に限定されている場合が多い。このことを生かしてロボットを使った運搬作業を効率化する技術も開示されている。典型的な例として特許文献１には、物品の荷積み・荷降ろし作業を行うロボットシステムが開示されている。
【特許文献１】  特開平７−２３７１５９号公報
【特許文献２】  特開２０００−２３８９０６号公報
【特許文献３】  特開２０００−１２７０７０号公報
解決課題
今日では、かくのごとく産業用として成熟してきたロボット技術を生かし、一般家庭で人間と共存しながら人間の生活を支援するという高い目標に向けて、産業以外の用途、特に一般家庭用のロボットの研究開発がさかんに行われるようになってきた。例えば、ペットのような振る舞いをすることで人の心を癒すエンタテイメント用ロボットや、部屋の中の障害物をセンサで検知してそれを回避しつつ自動で部屋の中を掃除する等の、いわゆる家事支援用のロボットが実際に開発され製品化されている。また要素技術として、家事支援を行うために必要不可欠な、種々の物品を自由に把持するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等も、さかんに開発されている。このような技術の開発が進めば、将来は人間に代わって様々な家事を行うロボットが実現するであろう。
さて、我々の日常生活を振り返ってみると、現代人は、まさに、物に振り回されながら生活している、と言える。例えば家庭内においては、ゴミ捨て、食器運び、子供のおもちゃの片付け、洗濯物の取り込みや片付けなど、物品の移動に明け暮れている。あるいは、宅配荷物や郵便物の受け取り、発送など、物品を人から受け取ったり、渡したりする、といった仕事も多い。
また、家電製品のリモコン、鍵、携帯電話や時計などをどこに置いたか忘れてしまうこともよくあり、その場合には、家中を探し回る羽目になる。さらに、キャンプなどのレジャーに使う物や、冠婚葬祭に必要な物などを、昔どこにしまったのか忘れてしまい、いざというときに間に合わなくて困ることもある。
このような、物品に関する煩雑な仕事、物品操作や物品管理を支援できる仕組みができたら、人間の生活は、より便利に、より快適になるものと考えられる。そしてこのような仕組みは、家庭以外であっても、例えば、レストランの閉店後の椅子やテーブルの片付け、ホテルの清掃やベッドメイキング、スーパーマーケットやコンビニの商品整理などにも、適用できる。
ただし、上述のような産業用技術をそのまま、家庭等の生活空間に適用することは困難である。なぜなら、工場や倉庫等の産業上の作業現場と、家庭やオフィス等の生活空間とでは、物品について、大きな相違があるからである。
その１つとしてまず、産業用途では物品の置き場所に規則性があり、その位置も例えばベルトコンベア上というように限定されているのに対して、生活空間では、物品がいろいろな場所に置かれ、しかもその位置に規則性がなく、常に変化する点が挙げられる。例えば食器の皿を例にとると、普段は食器棚の中に重ねて置かれており、調理中には台所に置かれ、食事の際にはテーブルの上に並べられる。そして、食事の後は、流しに置かれたり、食器洗浄機に入れられたりして、洗浄後は再び食器棚に戻される。
また、産業用途では物品の種類や形状が予め予定されており、形状等の統一を図ることが比較的容易であるのに対し、家庭やオフィス等では、取り扱われる物品の種類や形状が多岐に渡っている。
したがって、ロボットを生活空間に適用させるためには、ロボット技術の進歩自体も不可欠であるが、それとともに、生活空間における各物品の、現在位置などの属性情報を、リアルタイムで管理できるような仕組みが必要になる。
また、ロボットによる物品操作を行わなくても、生活空間における各物品の属性情報をリアルタイムで管理できる仕組みを用いて、ユーザに、物品の現在位置などの情報を提供するだけでも、人間の生活の利便性は大きく向上する。
【発明の開示】
本発明は、生活空間において、物品を管理したり操作したりする作業を支援するシステムを提供することを課題とする。
具体的には、本発明は、所定の生活空間における物品および人を含む移動体の状況をセンシングするセンシング手段と、前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信するものである。
この発明によると、センシング手段によって、家庭などの所定の生活空間における物品や人を含む移動体の状況がセンシングされ、センシング手段の情報から、サーバによって、物品の少なくとも現在位置を含む属性情報が物品データベースに管理される。そしてサーバは、操作手段から入力されたユーザの指示を受け、この指示を、物品データベースを参照して制御コマンドに変換し、ロボットに送信する。これにより、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況においても、ロボットは、的確な動作を実行することができ、したがって、人間の物品操作作業を支援することができる。
また、本発明は、所定の生活空間における物品、および人を含む移動体の状況をセンシングするセンシング手段と、前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信するものである。
この発明によると、センシング手段によって、家庭などの所定の生活空間における物品や人を含む移動体の状況がセンシングされ、センシング手段の情報から、サーバによって、物品の少なくとも現在位置および移動体による操作履歴を含む属性情報が物品データベースに管理される。そしてサーバは、操作手段から入力されたユーザの問合せを受け、この問合せに応じて、物品データベースを参照してユーザに提供するための情報を生成し、操作手段に送信する。これにより、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況においても、物品の現在位置や操作履歴から的確な情報が提供ができ、したがって、人間の物品管理作業を支援することができる。
【図面の簡単な説明】  図１は本発明を概念的に示す図である。
図２は本発明の第１の実施形態に係る物品操作システムまたは物品管理システムの全体構成の一例を示すブロック図である。
図３は背景差分法の原理を示す説明図である。
図４は物品／移動体検索・管理手段の構成の一例を示すブロック図である。
図５はゲート型リーダライタをドアや窓に配置した例を示す図である。
図６は物品／移動体データベースのうち物品データベースの構成と記載内容例を示す図である。
図７は物品／移動体データベースのうち移動体データベースの構成と記載内容例を示す図である。
図８は持出・持込データベースの構成と記載内容例を示す図である。
図９は環境内で物品が移動する一例を説明する説明図である。
図１０は環境マップの例を示す図である。
図１１は環境マップに付随する設備データベースの構成と記載内容例を示す図である。
図１２は作業ロボットの構成の一例を示す概略図である。
図１３は作業ロボットの制御手段の動作を示すフローチャートである。
図１４は仮想空間操作モードで表示された操作画面の一例を示す図である。
図１５は画像データと、画面マスクデータとからなる操作画面の構成を示す図である。
図１６は環境内に設定された実世界座標系と仮想視点座標系との関係を示す図である。
図１７は操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
図１８は図１７とは異なる物品の移動作業を指定する手順を示す図である。
図１９は操作画面における物品アイコンの表示形態の例を示す図である。
図２０は第３の実施形態に係る物品移動システムの全体構成の一例を示すブロック図である。
図２１は仮想空間操作モードで表示される操作画面の一例を示す図である。
図２２は場所アイコン操作モードで表示される操作画面の一例を示す図である。
図２３は場所アイコン操作モードの操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
図２４は環境内でロボットが指定された移動作業を実行する様子を示す図である。
図２５は図２３とは異なる形態の場所アイコン操作モードで表示される操作画面の一例を示す図である。
図２６は作用アイコン操作モードで表示される操作画面の一例を示す図である。
図２７は作用／場所変換テーブルの一例を示す図である。
図２８は条件分岐を含めた作用／場所変換テーブルの一例を示す図である。
図２９は第４の実施形態に係る物品管理システムの構成図である。
図３０は物品移動体検索・管理手段の基本構成を概念的に示すブロック図である。
図３１は物品移動体データベースのデータ構造の説明図である。
図３２は物品の形状及び姿勢を説明するための図であり、（ａ）は本来の物品の形状を示し、（ｂ）はモデル化された物品の形状を示し、（ｃ）は実世界に置かれた状況下でのモデル化物品の形状を示す。
図３３は実世界の座標と物品座標との関係を示す図である。
図３４は環境マップを説明するための図であり、（ａ）は実際の状況を表し、（ｂ）は（ａ）の立体モデルを表し、（ｃ）は（ａ）の平面モデルを表している。
図３５は環境マップのデータ構造を説明するための図である。
図３６は作業ロボットの斜視図である。
図３７は本棚に本を収納する動作を説明するための図である。
図３８は設置位置に他の物品が存在する場合の設置位置の修正を説明するための図であり、（ａ）は設置物品の斜視図、（ｂ）は設置位置を修正する前の物品の平面図、（ｃ）は設置位置を修正した後の物品の平面図である。
図３９はメッセージ書式の一例を示す図である。
図４０はＡＣＫ及びＮＡＣＫメッセージ書式の一例を示す図である。
図４１は制御手段におけるメッセージのやりとりを説明するための共通の処理構成図である。
図４２は制御手段におけるメッセージハンドラの動作を示すフローチャートである。
図４３は操作端末の制御手段における処理構成図である。
図４４は操作端末で物品を操作する一例を示した表示画面図である。
図４５は操作端末の操作メッセージ生成部で生成されるメッセージの一例を示す図である。
図４６は操作端末の制御手段におけるメッセージ処理部の動作を示すフローチャートである。
図４７は作業ロボットに作業単位を送るときのメッセージの一例を示す図である。
図４８は作業ロボットの制御手段における処理構成図である。
図４９は作業ロボットに対するメッセージの一例を示す図である。
図５０は作業ロボットの制御手段におけるメッセージ処理部の動作を示すフローチャートである。
図５１は作業ロボットの設置姿勢決定手段の動作を示すフローチャートである。
図５２は作業ロボットの設置姿勢決定手段の具体的な動作を示すフローチャートである。
図５３は作業ロボットの設置位置決定手段の動作を示すフローチャートである。
図５４は作業ロボットの設置位置決定手段の具体的な動作を示すフローチャートである。
図５５は環境管理サーバの制御手段における処理構成図である。
図５６は環境管理サーバに対するメッセージの一例を示す図である。
図５７は環境管理サーバの制御手段におけるメッセージ処理部の動作を示すフローチャートである。
図５８は第５の実施形態に係る物品管理システムの構成図である。
図５９は物品移動体データベースにおける移動体データのデータ構造の説明図である。
図６０は物品の形状及び姿勢を説明するための図であり、（ａ）は本来の物品の形状を示し、（ｂ）はモデル化された物品の形状を示し、（ｃ）は実世界に置かれた状況下でのモデル化物品の形状を示す。
図６１は作業ロボットの把持手段の斜視図である。
図６２は操作端末で物品を操作する一例を示した表示画面図である。
図６３は操作端末の操作メッセージ生成部で生成されるメッセージの一例を示す図である。
図６４は作業ロボットの制御手段における処理構成図である。
図６５は作業ロボットに対するメッセージの一例を示す図である。
図６６は作業ロボットの制御手段におけるメッセージ処理部の動作を示すフローチャートである。
図６７は作業ロボットの把持位置決定手段の動作を示すフローチャートである。
図６８は設置位置の空きスペースを求める方法の説明図である。
図６９は接地面と把持面との関係を説明するための説明図である。
図７０は第６の実施形態に係る物品取扱いシステムの全体構成の一例を示すブロック図である。
図７１は物品データベースの構成とその記載内容例を示す図である。
図７２は更新された物品データベースを示す図である。
図７３は環境内の様子を示す説明図である。
図７４は図７３とは時刻が異なる環境内の様子を示す説明図である。
図７５は環境の実状況と、それに対応する環境マップとを例示する図である。
図７６は環境属性データ及び設備属性データの構成とその記載内容例を示す図である。
図７７は設備の状態と、設備属性データとの対応を示す図である。
図７８は設備動作コマンドの一例を表形式で示す図である。
図７９は操作画面の一例を示す図である。
図８０は図７９に示す操作画面に対応する画面マップを示す図である。
図８１は操作画面上で設備内に収容されている物品を表示する例を示す図である。
図８２は作業ロボットの構成の一例を示す概略図である。
図８３は設備の動作に係るロボット制御コマンドの一例を表形式で示す図である。
図８４は作業計画作成手段の処理手順を示すフローチャートである。
図８５は作成されたロボット制御コマンド列の一例を示す図である。
図８６は作業内容を表示する画面の一例を示す図である。
【発明を実施するための最良の形態】  本発明の第１態様によれば、所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、前記センシング手段からの情報を受けて、前記生活空間における物品の少なくとも現在位置を含む属性情報を物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信する物品操作システムを提供する。
本発明の第２態様によれば、前記センシング手段は、前記生活空間に設置されたカメラ、前記ロボットに設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか１つを含む第１態様の物品操作システムを提供する。
本発明の第３態様によれば、所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、前記センシング手段からの情報を受け、前記生活空間における物品の現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する物品管理システムを提供する。
本発明の第４態様によれば、前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む第３態様の物品管理システムを提供する。
本発明の第５態様によれば、前記センシング手段は、前記生活空間に設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか１つを含む第３態様の物品管理システムを提供する。
本発明の第６態様によれば、操作端末が所定の生活空間を表す画像を表示部に表示し、ユーザが前記操作端末から前記画像に含まれた物品に対する操作の指示を行い、操作端末から送信されたユーザの指示を、サーバが、前記生活空間における物品の少なくとも現在位置を含む属性情報を管理する物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、サーバが前記制御コマンドを前記ロボットに送信する物品操作方法を提供する。
本発明の第７態様によれば、操作端末が所定の生活空間を表す画像を表示部に表示し、ユーザが前記操作端末から前記画像に含まれた物品に対する問合せを行い、操作端末から送信されたユーザの問合せを受けて、サーバが、前記生活空間における物品の現在位置および操作履歴を少なくとも含む属性情報を管理する物品データベースを参照して、ユーザに提供するための情報を生成し、サーバが、生成した情報を前記操作端末に送信する物品管理方法を提供する。
本発明の第８態様によれば、所定の生活空間における物品と人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが作業を指示するための操作手段と通信可能に構成されており、前記センシング手段からの情報を受けて、前記生活空間における物品の少なくとも現在位置を含む属性情報を物品データベースに管理し、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信するサーバを提供する。
本発明の第９態様によれば、所定の生活空間における物品と人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが問合せを入力するための操作手段と、通信可能に構成されており、前記センシング手段からの情報を受け、前記生活空間における物品の現在位置および前記移動体による操作履歴を少なくとも含む属性情報を物品データベースに管理し、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信するサーバを提供する。
本発明の第１０態様によれば、前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む第９態様のサーバを提供する。
まず、本発明の概念について、説明する。
図１は本発明を概念的に示す図である。図１では、所定の生活空間としての家庭に、本発明に係る物品操作システムが構成された場合を想定している。実空間には、生活支援ロボット５が配置されている。なお、本発明でいう「生活空間」とは人間が活動を行う空間、人間が生活を営む空間のことをいい、一般家庭だけでなく、オフィス、ホテル、店舗および病院等を含み、工場や倉庫などの産業用の空間を含まない。
図１において、センシング手段１は、家庭内における物品や人を含む移動体の状況をセンシングするものであり、例えば、天井に設置されたカメラ、電子タグの発信情報を受信するタグセンサ等によって構成される。サーバとしての物品管理・操作サーバ２は、センシング手段１からの情報を受けて、家庭内の状況をリアルタイムで常時管理する。この管理には、家庭内の物品の属性情報を記憶する物品データベース３が用いられる。図１の例では、ゴミ箱、ケータイおよびビールについて、操作時刻、操作内容、操作者、操作後の位置などが属性情報として管理されている。
家庭内の生活者すなわちユーザは、操作手段４を介して、指示を行う。この指示は、操作手段４に設けられた各種インターフェースによって、文字入力、音声入力、画面入力などによって行うことができる。サーバ２は、操作手段４から入力されたユーザの指示を受け、この指示を、物品データベース３を参照して、ロボット５に作業を実行させるための制御コマンドに変換し、ロボット５に送信する。ロボット５は送信された制御コマンドに従って、ユーザに指示された作業を実行する。
例えば、ユーザが、外出先から携帯電話を介して部屋の片付けを指示した場合、サーバ２は、指示された部屋の中の現在状態や、ゴミ箱の場所などの情報を物品データベース３を参照して把握し、ロボット５に片付け作業を指示する。また、自宅の居間にいるユーザがビールを持ってくるように指示した場合、サーバ２は、冷蔵庫の中の現在状態などの情報を物品データベース３を参照して把握し、ロボット５にビールを運ぶように指示する。
このように、センシング手段１と物品データベース３とを用いて、物品の属性情報をリアルタイムに管理することによって、家庭内の複雑な状況においても、ロボットに的確な動作を実行させることができる。したがって、ユーザは、快適な生活をおくることができる。
また、ユーザから例えば、携帯電話を探してほしい、といった問合せを受けたとき、サーバ２は、物品データベース３を参照して、携帯電話の現在位置や直近の操作者といった情報を生成して、ユーザに提供することもできる。したがって、図１のシステムを物品管理システムとして利用し、ロボットによる物品操作を行わず、ユーザに対して情報提供を行うことによっても、生活の利便性は大きく向上する。
以下、本発明の実施の形態について、図面を参照しながら説明する。
（第１の実施形態）
図２は本発明の第１の実施形態に係る物品操作システムまたは物品管理システムとしてのシステムの構成を示すブロック図である。図２に示すように、本システムは、大きく分けて、環境内の状況を把握するセンシング手段１２０と、サーバとしての環境管理サーバ１０１、ロボットとしての作業ロボット１０２、および操作手段としての操作端末１０３の３個のサブシステムから構成される。サブシステム１０１〜１０３はそれぞれ送受信手段１０９を備えており、この送受信手段１０９によって、無線または有線のネットワークを介して、情報やデータ、信号などのやり取りを行う。なお、各送受信手段１０９は共通の処理を行うため、図２では同一の符号を付している。
なお、ここでの説明では、「環境」は、家庭内の部屋とする。
各サブシステムの構成と動作について、順に説明する。
＜環境管理サーバの構成＞
環境管理サーバ１０１は、センシング手段１２０によって把握した状況のうち、環境内に存在する物品と、人やロボット１０２を含む移動体との状況を管理する物品／移動体検索・管理手段１０５およびその物品および移動体のデータを蓄積する物品／移動体データベース１０６と、物品および移動体以外の環境全体の状況を管理する環境マップ管理手段１０７およびその環境全体のデータを蓄積する環境マップ１０８とを備えている。送受信手段１０９は、物品／移動体データベース１０６のデータや環境マップ１０８のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット１０２に対する制御コマンドを送信したりする。制御手段１１０は物品／移動体検索・管理手段１０５、環境マップ管理手段１０７および送受信手段１０９をコントロールする。
センシング手段１２０は、環境内に存在する家具などの物品、および環境内に存在する人やロボット１０２について、その位置と状態を常時監視する。また、センシング手段１２０は、人やロボット１０２によって、環境内に物品が持ち込まれたことや、環境外へ物品が持ち出されたことも検出可能である。センシング手段１２０は具体的には、環境内に設置されたカメラ（画像センサ）や、タグセンサ等があるが、詳細については後述する。そして、物品や移動体を検出したとき、センシング手段１２０はその情報を物品／移動体検索・管理手段１０５に送信する。送信する情報としては、例えば物品の検出時刻、物品の位置および向き等がある。
物品／移動体検索・管理手段１０５は、センシング手段１２０によって検出された物品および移動体の情報を、物品／移動体データベース（ＤＢ）１０６に蓄積して管理する。物品／移動体ＤＢ１０６に管理する情報は、少なくとも物品および移動体の現在位置を含む。物品／移動体ＤＢ１０６の詳細、およびその更新方法については後述する。
また、物品／移動体検索・管理手段１０５は、センシング手段１２０からの情報に基づいて、物品の操作（移動などの取扱い）を行っている移動体（人・ロボット）を推論し、その推論結果を物品／移動体ＤＢ１０６に蓄積する。
さらに、物品／移動体検索・管理手段１０５は、制御手段１１０から物品／移動体ＤＢ１０６に問い合わせがあったとき、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ１０６から取り出し、制御手段１１０に送る。
また、環境マップ管理手段１０７は、センシング手段１２０からの情報に基づいて、環境マップ１０８を作成するとともに、その作成した環境マップ１０８の管理を行う。環境マップ１０８はロボット１０２が環境内を移動する際に利用するものであり、ロボット１０２はこの環境マップ１０８をサーバ１０１から取得して、移動経路計画を立てる。
さらに、環境マップ管理手段１０７は、制御手段１１０から環境マップ１０８に問い合わせがあったとき、その問い合わせの内容に応じて必要な情報を環境マップ１０８から取り出し、制御手段１１０に送る。
また、制御手段１１０はサーバ１０１全体を制御する要素であり、主な制御内容としては以下のものがある。
１）送受信手段１０９が、サーバ１０１内にある各種データに関する問い合わせを受信したとき、その問い合わせ内容を判断し、その判断結果に応じて、物品／移動体検索・管理手段１０５や環境マップ管理手段１０７にデータの参照要求を出す。
２）上記要求に対して物品／移動体検索管理手段１０５または環境マップ管理手段１０７から送られてきた結果を、送受信手段１０９を介して問い合わせ元に送る。
３）操作端末１０３から送受信手段１０９を介して送信されたロボットの作業内容メッセージを解釈し、そのロボット１０２に動作を実行させるためのロボット制御コマンド列を生成して、ロボット１０２に送信する。なお、ロボット制御コマンド列については、後述する。
４）必要に応じて、一定時間毎に、物品／移動体ＤＢ１０６で管理している物品の一部または全部の状況や、環境マップ１０８の状況を、送受信手段１０９を介してロボット１０２やユーザ（操作端末１０３）にブロードキャストする。
例えば、上の１），２）の制御は、ユーザが操作端末１０３を操作して物品の検索を行う場合に利用される。この際、サーバ１０１に対する問い合わせ内容として、ユーザは例えば「○月△日×時頃に居間のテーブルの上に置いたお金を誰がどこにしまったか？」等の自然言語文で検索条件を与えてもよいし、日付、取扱者、物品の種類等の、知りたい物品の属性を絞り込むための検索キーを入力してもよい。
このような問い合わせに対して、環境管理サーバ１０１は物品／移動体ＤＢ１０６からその物品を検索する。そして、操作端末１０３に、例えば「それは、○○さんが△△にしまった」と音声で答えさせてもよいし、環境内のマップを提示して、その物品の現在の場所を指し示すようにしてもよい。
なお、その物品が環境の外に持ち出されているときは、その持出者の情報を出力してもよい。このとき、持出者が人であるときは、サーバ１０１がその持出者に電話や電子メールで、持出物品の現在の場所等を問い合わせてもよい。さらに、その持出者の現在地が別の環境管理サーバが管理する環境内であるときには、サーバ１０１が、その別の環境管理サーバに直接、持出物品の現在の場所等を問い合わせてもよい。
（センシング手段の具体例）
本システムが対象にする環境は、家庭などの生活空間である。したがって、この環境では、物品がいろいろな場所に置かれ、しかもその位置に規則性がなく、常に変化する。また、人やロボットのような移動体も、その移動経路に制限がなく、自由に動き回る。このため、本システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。
・画像センサ
物品の検出に最も良く用いられるセンサの一つが、画像センサ（カメラ）である。室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を用いて、室内の物品等の検出を行うのが一般的である。
カメラ画像を用いて環境内の物品や移動体を検出する一般的な手法として、背景差分法がある。背景差分法とは、背景としてのモデル画像を予め準備しておき、現在のカメラ画像とモデル画像との差分を取ることによって、対象物を検出する方法である。本システムでは、環境内の物品や移動体を検出・監視することが目的であるので、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。
図３を参照して、背景差分法による物品検出について具体的に説明する。同図中、（ａ）はモデル画像の例、（ｂ）はある時点でカメラが撮影した画像の例、（ｃ）は（ｂ）のカメラ画像から（ａ）のモデル画像を差し引くことによって得られた背景差分画像の例である。図３（ｃ）から分かるように、背景差分画像では、カメラ画像とモデル画像とで差がある部分（網掛け部分）が浮き出ている。このため、この浮き出た部分のみをそれぞれ取り出すことによって、環境内に存在する物品を検出することができる。さらに、この背景差分画像を画像処理することによって、その物品の種類も特定できる。このように、背景差分法を用いて、環境内の物品や移動体の状況を検出することは可能である。さらに、環境内に２つのカメラを設けるようにすれば、ステレオ視による三次元計測技術を用いて、物品の形状及び姿勢の情報を取得することも可能になる。
しかしながら、画像センサを用いた物品検出には、一般に、明るさの変化に弱い、解像度が低い、物品が他の物に隠れて見えなくなる（死角の問題）、重なった複数の物品が一個の物品として検出されてしまう等、多くの問題がある。例えば死角の問題に関しては、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能なようにすれば解決する。ところが、死角が無くなるだけでは、物品検出を確実に行い得るとは限らない。つまり、カメラ台数をいくら増やしても、解像度の問題や物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを特定することが必ずしもできない。
・電子タグの利用
近年では、電子タグを用いて物品や移動体の位置検出を行う手法が開発されつつある。電子タグとは、データを蓄えるＩＣと、データを無線で送受信するアンテナとから構成されるデバイスである。リーダライタと呼ばれる装置によって、電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることができる。
そこで、電子タグを各物品に付し、その物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込む。また、移動体（人およびロボット）にも電子タグを付し、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込む。人の場合は、常時携帯するもの（例えば腕時計等）に電子タグを埋め込んでもよい。一方、環境内には、リーダライタを多数設置する。リーダライタが物品や移動体に付された電子タグの情報を読みとることによって、カメラがなくても、環境内に存在する物品等の検出が可能になる。
また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子タグを用いる場合は、物品の存在を検出できるだけでなく、電子タグに埋め込まれた当該物品のデータを利用することができる。例えば物品の形状データを利用することによって、ロボット１０２による物品の把持を容易にすることができる。また、製造年月日データを利用することによって品質期限の管理が可能になったり、物品の種類データを利用することによって捜し物を見つけるのが容易になったりする等、ユーザに大きなメリットをもたらす。
しかしながら、電子タグを用いた物品検出には、通信距離が短いという問題がある。すなわち、電子タグとリーダライタとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数１０ｃｍと非常に短い。また、通信距離の問題を解消するために、リーダライタを環境内に多数設置することも考えられるが、リーダライタはカメラに比べてコストが高いため、現実的ではない。
・画像センサと電子タグとの組合せ
以上、説明したように、画像センサを用いた方法と、電子タグを利用する方法とには、一長一短がある。そこで、画像センサと電子タグの両方を利用する方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置を特定し、さらに電子タグを用いてその物品を特定する、というハイブリッド処理を行うのである。
具体的な処理の例を、２つ挙げる。
１つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット１０２にリーダライタを取り付けるというものである。また、各物品および移動体には電子タグを取り付けておく。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。そして、特定した物品の近傍にロボット１０２を移動させて、そのロボット１０２に取り付けたリーダライタによって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。
もう１つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置するというものである。このリーダライタは、電子タグのデータ読みとりに関して指向性を有し、かつ、その読み取り方向が可変であるものとする。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリーダライタを選択し、そのリーダライタの読みとり方向をその物品に向ける。そして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。なお、この例では、リーダライタと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いる必要がある。このため、環境内に人がいないことを例えば背景差分法によって確認した上で、電子タグからの情報読み取りを行うのが好ましい。
なお、本システムにおけるセンシングには、ここで説明した画像センサや電子タグを用いた方法以外の方法を採用してもよい。
また、ドアや窓等の環境と外部との出入り口に、センシング手段１２０としてリーダライタを設置し、これによって、環境内への物品の持ち込みや持ち出しを検出することもできる。詳しくは後述する。
（物品／移動体検索管理手段）
図４は物品／移動体検索・管理手段１０５の内部構成を概念的に示す図である。図４において、物品取扱検出手段３１は物品が移動体によって取り扱われていること（物品取扱状態）を検出し、取扱者特定手段３２は物品取扱検出手段３１の検出結果に応じて、物品を取り扱っている移動体（取扱者）を特定する。
物品取扱検出手段３１はセンシング手段１２０からの情報に基づいて、物品取扱状態を検出する。例えば、上述したような画像センサと背景差分法を利用して物品検出を行っている場合は、カメラ画像とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出する。もちろん、例えば電子タグを利用して、物品取扱状態を検出してもよい。
取扱者特定手段３２は、物品取扱検出手段３１が物品取扱状態を検出したとき、その物品を取り扱っている取扱者を特定し、その取扱者の情報を物品／移動体ＤＢ１０６に蓄積する。
取扱者の特定は、具体的には次のようにすればよい。センシング手段１２０としてカメラを利用している場合は、物品取扱状態が検出された領域をそのカメラによって撮像する。そして、撮像画像に対して人かロボットかの判断、そして次に顔認証処理を行い、移動体を特定する。特定された移動体は、取扱いがなされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定する。なお、センシング手段１２０としては通常、広域を撮影するために広角カメラが利用されるが、広角カメラの撮像画像の解像度は比較的低く、顔認証処理を行うには十分でない可能性がある。そこで、広角カメラとは別個に、顔認証処理用のカメラとして狭角の高分解能カメラを環境内またはロボット１０２に設置してもよい。物品取扱検出手段３１が物品取扱状態を検出した領域をこの狭角カメラによって撮像し、その撮像画像について顔認証処理を行うことによって、取扱者を精度よく特定できる。
なお、物品取扱者の特定は、顔認証処理に限らず、例えば虹彩認証等その他の認証処理によって行ってもよい。また、認証処理を行わずに、そのカメラ画像自体を物品／移動体ＤＢ１０６に蓄積してもよい。これは、認証処理によって移動体を特定できなかった場合に限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。
また、電子タグとリーダライタとを用いて、環境内への物品の持ち込みや持ち出しを管理することもできる。
すなわち、図５に示すように、環境と外部との出入り口である窓５１やドア５２の開口部にそれぞれ、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設する。そして、物品や移動体がこの窓５１やドア５２を通過したとき、リーダライタ４１，４２がその物品や移動体に取り付けられた電子タグからの情報を読み取る。物品取扱検出手段３１はリーダライタ４１，４２からの情報によって、物品の持ち込みや持ち出しを検出する。また、取扱者特定手段３２は、リーダライタ４１，４２からの情報に基づいて、物品と一緒に窓５１やドア５２を通過した移動体を取扱者として特定し、その取扱者の情報を物品／移動体ＤＢ１０６に蓄積する。このような処理によって、物品の持込者・持出者の管理を自動的に簡単な処理で行うことができる。
なお、図５では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。
このようなリーダライタを用いた特定の場所における物品の管理は、窓５１やドア５２に限らず、その他の場所にも適用可能である。例えば、冷蔵庫や戸棚等のような，物品の収納場所の開口部にリーダライタを設置すれば、収納場所への物品の持込やその収納場所からの物品の取り出しの管理が可能になる。
また、このようなリーダライタを窓５１やドア５２に対して二重に設置することにより、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを簡単に判定することができる。すなわち、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置する。こうすることで、外側の第１リーダライタが電子タグからの情報を検出した後に、内側の第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれたと特定できる。逆に、内側の第２リーダライタが電子タグからの情報を検出した後に、外側の第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、環境内から外部に持ち出されたと特定できる。
なお、本システムでは、物品の取扱いは人に限られず、人が操作端末１０３において指定した作業内容に応じてロボット１０２も物品の取扱いを行う。ロボット１０２が物品を取扱う場合、ロボット１０２を取扱者としてもよいし、そのロボット１０２を操作する人を取扱者としてもよい。例えば、ロボット１０２を操作する人を取扱者とする場合には、ロボット１０２の操作者に対して指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行い、その認証結果に基づいて、ロボット１０２の操作者（物品取扱者）を特定すればよい。また、ロボット１０２の操作の開始時に、操作端末１０３においていわゆるＬＯＧＩＮ、ＬＯＧＯＮ処理によるユーザ認証を行う場合には、そのユーザ情報からロボット１０２の操作者を特定してもよい。
（物品／移動体ＤＢ）
物品／移動体ＤＢ１０６は、物品および移動体の情報を蓄積するＤＢであり、例えば、図６に示すような物品を扱う物品データベース（ＤＢ）と、図７に示すような移動体を扱う移動体データベース（ＤＢ）とを備えている。
図６の物品ＤＢは、物品データ、物品履歴データ、および物品属性データをそれぞれ蓄積する３個のサブデータベースからなる。
１）物品データ
個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、および物品属性データへのポインタ、を含む。図６の例では、同種類であっても物理的に異なる物品は異なるＩＤが割り当てられ、別の物品として扱われる。ただし、同種の物品は同じ物的属性を持つため、ＩＤは異なるが、物品属性データへのポインタは共通である。これにより、データベースの容量が節約できる。
２）物品履歴データ
物品が取り扱われた履歴を表すものであり、図６では、取扱時刻、取扱内容、取扱者、取扱後の位置、の４項目からなる。なお、位置データの表現は様々なものが考えられるが、図６の例では、物品の位置（重心位置等を用いる）を表す３つのパラメータ（ｘ１，ｙ１，ｚ１）と、物品の向きを表す３つのパラメータ（ｌ１，ｍ１，ｎ１）とを合わせた６つのパラメータで位置を表現している。また、取扱者は、取扱者特定手段３２によって特定された移動体である。
３）物品属性データ
物品が有する物理的な属性情報を表すものであり、例としては、図６に示すように、物品の重さ、形状、外観画像データ等が挙げられる。
また、特定の場所での物品の取扱い履歴を別のサブデータベースで管理してもよい。図８はドアを介した物品の持ち出しおよび持ち込み履歴を格納する持出・持込ＤＢの例である。図８の履歴データは、取扱時刻、取扱物品、取扱内容、取扱者、の４項目からなる。図８において、取扱物品の項目に「物品名＠カバンＣ」とあるのは、その物品がカバンＣの中に入れられた状態でドアを通過したことを示している。これは、カバンにリーダライタを設置することによって検出可能である。図８の持出・持込ＤＢから、時刻ｔ２に、お父さんが衣類Ａ、タオルＣ，かさＢをカバンＣに入れて部屋から持ち出したことが分かる。
また、持出・持込ＤＢには、そのカバンＣを持ったお父さんの行き先や、目的（例えば出張）を登録しておいてもよい。これにより、以後、行き先や目的を指定すれば、持出・持込ＤＢを参照することによって、必要な物品（例えば出張に必要な物品）を特定することができる。さらには、必要な物品をカバンＣに入れる作業をロボット１０２に実行させることも可能になる。
また、図７の移動体ＤＢは、移動体データ、および移動体履歴データをそれぞれ蓄積する２つのサブデータベースからなる。
１）移動体データ
個々の移動体を区別するためのＩＤ、および移動体履歴データへのポインタ、を含む。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。
２）移動体履歴データ
時刻、その時刻における位置、およびその時刻における状態の３項目からなる。移動体は物品と異なり、空間内に占める体積が大きいため、ロボット１０２の移動の障害物になりやすい。このため、ロボット１０２が障害物を避けつつ移動できるように、移動体の位置はできるだけ現実に則して表すのが好ましい。図７では、必要最小限の情報で表すべく、移動体が床面上で占める領域を円で近似し、円の中心座標と半径によって移動体の位置を表している。もちろん、さらに厳密に表現してもよく、例えば移動体が床面上で占める領域の輪郭を複数個の線分ベクトルを用いて近似してもよい。
また、移動体の状態は、人の場合は「座る」「立つ」「寝る」「歩く」等の一般的な人の動作によって表し、ロボット１０２の場合は、「把持」「解放」等のロボット１０２が物品に対して行う動作によって表す。なお、ロボット１０２に関しては、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」と表現する。具体的には例えば、「ｋａｎ＿ｓｍａｌｌ＿０００１把持」となる。状態の特定は、例えば移動体の状態候補を予め複数準備しておき、センシング手段１２０による検出結果等に基づいて、移動体の状態がどの状態候補に当てはまるかを判断して行えばよい。
物品／移動体検索・管理手段１０５は、物品／移動体ＤＢ１０６に物品や移動体の情報を格納し、また各物品や移動体の位置が変更される毎に、その情報を更新する。なお、更新のタイミングはこれに限るものではなく、適宜設定すればよい。
なお、物品履歴データおよび移動体履歴データは、できるだけ長時間に亘ってデータ蓄積するのが好ましい。これにより、より過去に遡って履歴を調べることができる。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積するのが好ましい。これにより、人やロボット等の移動体の移動経路をより細かく管理することができる。たたし、データベースの容量には限界があるため、ある所定期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。
（物品／移動体ＤＢの更新の例）
ここで、物品／移動体ＤＢ１０６のデータがどのように更新されていくかについて、図６，７および図９を参照して、具体的に説明する。
図９はある部屋に２つの缶ジュース２１，２２が持ち込まれた状況を表している。図９において、各缶ジュース２１，２２の移動は矢線によって示され、時刻はｔ１〜ｔ６の順で進んだものとする。図９の部屋にはセンシング手段１２０として電子タグのリーダライタが配設されており、各缶ジュース２１，２２、並びに部屋に出入りする人およびロボット１０２にはそれぞれ電子タグが取り付けられている。各缶ジュース２１，２２の物品属性データは、電子タグから読みとられる。
物品／移動体ＤＢ１０６では、移動体データへの各移動体の登録および移動体履歴データの初期化はすでに行われているものとする。また、物品／移動体ＤＢ１０６の物品データは、何も記録されていない空の状況であるとする。
まず、移動体であるお父さん（図示省略）が、缶ジュース２１を持って部屋に入ってくる。センシング手段１２０がお父さんと缶ジュース２１を検出すると、その検出結果は物品／移動体検索・管理手段１０５に送られる。物品／移動体検索・管理手段１０５は、缶ジュース２１に［ｋａｎ＿ｓｍａｌｌ＿０００１］というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。これとともに、缶ジュース２１の物品属性データを格納する。また、その缶ジュース２１の移動履歴を格納するための「位置履歴リスト１」を作成する（図６参照）。この時点では位置履歴リスト１の中身はまだ空のままである。一方、お父さんの移動体履歴を更新するために、移動体データにおけるＩＤ「お父さん」の位置履歴を参照することによって、「位置履歴リスト３」が呼び出される（図７参照）。
次に時刻ｔ１において、お父さんがテーブル近傍の位置Ｐ４（ｘ４，ｙ４）に座り、持っていた缶ジュース２１をテーブル上の位置Ｐ１（ｘ１，ｙ１，ｚ１）に置く。これをセンシング手段１２０が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト１の内容をセットする（図６参照）。具体的には、
時刻：ｔ１
取扱内容：新規
取扱者：お父さん
取扱後の位置：Ｐ１（ｘ１，ｙ１，ｚ１，ｌ１，ｍ１，ｎ１）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。また物品／移動体検索・管理手段１０５は、移動体履歴データの位置履歴リスト３の内容をセットする（図７参照）。具体的には、
時刻：ｔ１
位置：（ｘ４，ｙ４，ｒ１）
状態：座る
をセットする。
次に時刻ｔ２において、別の移動体である息子（図示省略）が、テーブルの上の位置Ｐ１（ｘ１，ｙ１，ｚ１）に置かれた缶ジュース２１を床の上の位置Ｐ２（ｘ２，ｙ２，ｚ２）に移動させる。これをセンシング手段１２０が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図６参照）。具体的には、
時刻：ｔ２
取扱内容：移動
取扱者：息子
取扱後の位置：Ｐ２（ｘ２，ｙ２，ｚ２，ｌ２，ｍ２，ｎ２）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データに登録されている物品が、移動されたことを意味する。なお、時刻ｔ２では、息子の位置が変わるため、物品／移動体検索・管理手段１０５は、息子の移動体履歴データ（位置履歴リスト４）の内容をセットする（図示省略）。
次に時刻ｔ３において、お父さんが部屋の外に出る。これをセンシング手段１２０が検出すると、物品／移動体検索・管理手段１０５は、移動体履歴データの位置履歴リスト３の新たな内容をセットする（図７参照）。具体的には、
時刻：ｔ３
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たため、その位置が本システムの管理外になったことを意味する。
また、その部屋の外に出る際にお父さんが、息子によって移動された缶ジュース２１を元のテーブルの上Ｐ１（ｘ１，ｙ１，ｚ１）に戻すように、操作端末１０３を操作してロボット１０２に指示をする（このロボット１０２に対する指示については後述する）。指示を受けたロボット１０２が、缶ジュースの位置Ｐ２（ｘ２，ｙ２，ｚ２）まで移動し、時刻ｔ４にその缶ジュースを把持する。物品／移動体検索・管理手段１０５は、ロボット１０２の移動体履歴データ（位置履歴リスト５）の内容をセットする（図７参照）。具体的には、
時刻：ｔ４
位置：（ｘ２，ｙ２，ｒ２）
状態：［ｋａｎ＿ｓｍａｌｌ＿０００１］：把持
をセットする。なお、ロボット１０２の動作は、センシング手段１２０が検出してもよいし、サーバ１０１がロボット１０２からの動作情報をネットワークを介して受信することによって、検出してもよい。
次に時刻ｔ５において、ロボット１０２が缶ジュース２１を把持した状態でテーブルの近傍Ｐ４（ｘ４，ｙ４）に移動し、テーブルの上Ｐ１（ｘ１，ｙ１，ｚ１）でその把持した缶ジュースを解放する。物品／移動体検索・管理手段１０５は、移動体履歴データの位置履歴リスト５の新たな内容をセットする（図７参照）。具体的には、
時刻：ｔ５
位置：（ｘ４，ｙ４，ｒ２）
状態：［ｋａｎ＿ｓｍａｌｌ＿０００１］：解放
をセットする。また、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図６参照）。具体的には、
時刻：ｔ５
取扱内容：移動
取扱者：ロボット
取扱後の位置：Ｐ１（ｘ１，ｙ１，ｚ１，ｌ１，ｍ１，ｎ１）
しばらくして、別の移動体であるお母さんが、新たな缶ジュース２２を持って部屋に入ってくる。センシング手段１２０がお母さんと新たな缶ジュース２２とを検出すると、物品／移動体検索・管理手段１０５は、その新たな缶ジュース２２に［ｋａｎ＿ｓｍａｌｌ＿０００２］というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。新たな缶ジュース２２の物品属性データは、缶ジュース２１と同じである。また、新たな缶ジュース２２の移動履歴を格納するための「位置履歴リスト２」を作成する（図６参照）。この時点では位置履歴リスト２の中身はまだ空のままである。
次に時刻ｔ６において、お母さんが新たな缶ジュース２２を床の上であるＰ３（ｘ３，ｙ３，ｚ３）に置く。これをセンシング手段１２０が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト２の内容をセットする（図６参照）。具体的には、
時刻：ｔ６
取扱内容：新規
取扱者：お母さん
取扱後の位置：Ｐ３（ｘ３，ｙ３，ｚ３，ｌ３，ｍ３，ｎ３）
をセットする。なお、図７では、お母さんの移動体データおよび移動体履歴は省略している。
（環境マップと設備データベース）
図１０は環境マップ１０８の例である。同図中、（ａ）は実環境の例、（ｂ）は（ａ）の実環境を立体モデルで簡略化した環境マップ、（ｃ）はさらに平面モデルで簡略化した環境マップである。
環境マップ１０８は、その用途や、作成にかかる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、図１０（ｂ）のように、環境内に存在する立体物を、それを覆う最小の直方体でモデル化すればよい。図１０（ｂ）では、テーブルと本棚はそれぞれ直方体でモデル化され、ゴミ箱は略円柱でモデル化されている。平面モデルからなる環境マップも同様であり、図１０（ｃ）では、テーブルと本棚は平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化され、ゴミ箱は円領域（斜線を付した領域）でモデル化されている。これら２つの矩形領域および円領域は、ロボット１０２が移動不可能な領域に設定される。さらに、図１０（ａ）に示すような実環境をそのまま立体モデル化したものを、環境マップ１０８としてもよい。
図１１は環境マップに付随する設備データベースの一例を示す図であり、図１０の環境に対応したものである。この設備データベースは、設備データと、設備属性データとをそれぞれ蓄積する２つのサブデータベースからなる。
１）設備データ
環境それ自体、およびこの環境内の個々の設備（物品とは異なり、環境に固定または設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するためのＩＤと、設備属性データへのポインタとを含む。図１１では、環境（部屋）にはＩＤとして「ｒｏｏｍ＿０００１」が付され、環境内に存在するテーブル、本棚およびゴミ箱にはそれぞれＩＤとして「ｔａｂｌｅ＿０００１」「ｂｏｏｋｓｈｅｌｆ＿０００１」「ｔｒａｓｈ＿０００１」が付されている。
２）設備属性データ
環境自体に係る設備属性データは、その環境内の床面データを含む。例えばその環境内に互いに高さの異なる複数の床面が存在するときは、その床面の数だけ床面データ（図１１の床面１，床面２）が蓄積される。床面データは、例えば次のように表される。
（（Ｘ１，Ｙ１，Ｚ１），（Ｘ２，Ｙ２，Ｚ２），（Ｘ３，Ｙ３，Ｚ３），（Ｘ４，Ｙ４，Ｚ４），２２００，０）
ここで、最初の４組の座標値は、床面を構成する各頂点の実世界座標を表し、次の値（２２００）は、その床面から天井までの距離（ｍｍ）を表す。また、最後の値（０）は床面の材質を意味する。例えば、「０」はフローリング、「１」は畳、「２」は絨毯等とすればよい。
家具等の設備に係る設備属性データは、その設備を構成する各面のデータ（面１，面２）、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢を含む。具体的には例えば、設備を構成する面のデータは次のように表される。
（（Ｘ１，Ｙ１，Ｚ１），（Ｘ２，Ｙ２，Ｚ２），（Ｘ３，Ｙ３，Ｚ３），１，４００）
ここで、最初の３組の座標値は、その面を構成する各頂点の実世界座標を表す。次の値（１）はその面に物品が載置可能な否かのフラグであり、「１」は物品が載置可能、「０」は載置不可能を示す。最後の値（４００）は、その面に物品が載置可能であるとき、その載置可能な物品の上限高さ（ｍｍ）を示す。例えばその面がテーブルの天板であるときは、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。
設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、例えば、作業ロボット１０２に本を本棚に移動させる作業を指定したとき、その作業ロボット１０２は「主な物品の形状と姿勢」データを基にして、指定された本を立てた姿勢で本棚の棚に載置することができる。
ただし、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。例えばテーブルやゴミ箱は、物品の形状や姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。
＜作業ロボットの構成＞
作業ロボット１０２は、環境内で物品の取扱い作業を行う。ここでは特に、ユーザの指示に従って、環境内で物品を移動させる作業を行うものとする。
図２に示すように、ロボット１０２は、ロボットの近辺の障害物等を検知する障害物センサ１１１と、物品を把持する把持手段１１２と、環境マップ１０８を参照して移動計画を立てる移動計画作成手段１１３と、ロボット１０２自体を移動させる移動手段１１４とを備えている。送受信手段１０９は環境管理サーバ１０１や操作端末１０３との間で種々のデータの送受信を行う。制御手段１１５は障害物センサ１１１、送受信手段１０９，把持手段１１２、移動計画作成手段１１３および移動手段１１４をコントロールする。
図１２はロボット１０２の構造の一例を示した模式図であり、このロボット１０２は、移動計画作成手段１１３や制御手段１１５等を収容する略箱型の本体部１０を備えている。以下、図１２における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
把持手段１１２は、多関節アーム１２ａとそのアーム１２ａの先端に配設されたハンド１２ｂとから構成され、本体部１０の上面に取り付けられている。アーム１２ａおよびハンド１２ｂは、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いてもかまわない。また、本システムでは、環境内に存在する各物品に電子タグが付されているとして、把持手段１１２にセンシング手段１２０としてのリーダライタを取り付けている。これにより、把持手段１１２が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによって、その把持した物品が何であるかを特定することができる。なお、把持手段１１２に取り付けるリーダライタは省略してもよい。
移動手段１１４は車輪１４によって構成されており、この車輪１４は本体部１０の左右両側にそれぞれ２つずつ取り付けられている（図例では、左側の車輪の図示を省略する）。なお、移動手段１１４の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段１１４をクローラ型や多足歩行型に構成することが好ましい。
障害物センサ１１１はここでは、超音波センサ１１ａ、視覚センサとしてのカメラ１１ｂ、および衝突センサ１１ｃから構成される。超音波センサ１１ａは、超音波を発してその反射波を受信するまでの時間を測定することによって障害物までのおおよその距離を計算し、近距離の障害物を衝突前に検知する。超音波センサ１１ａは本体部１０の各側面（前面、後面、左右側面）に３個ずつ取り付けられている。またカメラ１１ｂはロボット１０２の周囲の状況を画像として入力する。この画像に対して認識処理等を行うことによって、障害物の有無を判断したり、把持対象物品についてより正確な情報を得たりする。カメラ１１ｂは本体部１０の前部に取り付けられている。さらに衝突センサ１１ｃは、ロボット１０２に所定の衝撃力が加わったことを検知する。例えば障害物がロボット１０２に衝突してきたり、ロボット１０２自体が移動中に障害物に衝突したことを、衝突センサ１１ｃによって検知する。衝突センサ１１ｃは本体部１０の前面と後面にそれぞれ取り付けられている。
なお、本実施形態では、作業ロボット１０２を、車輪１４によって構成された移動手段１１４を有する自走ロボットとしたが、作業ロボット１０２は、この構成に限るものではない。例えば上述したアーム１２ａとハンド１２ｂとからなる把持手段１１２を、環境内の天井に取り付けたガイドレールに組み付けることで、作業ロボット１０２を構成してもよい。この構成の作業ロボット１０２は、上記把持手段１１２がガイドレールに案内されて移動することにより、指定された位置に移動することができ、それによって、環境内で指定された物品を指定された位置に移動させる作業を実行することができる。
また、作業ロボット１０２は、複数の把持手段１１２（アーム１２ａとハンド１２ｂとからなるもの）を、環境内の所定の位置にそれぞれ固定設置することによって構成してもよい。この場合、生活空間内に存在する全ての物品がいずれかの把持手段１１２によって把持可能となるように、各把持手段１１２を配置する。この構成の作業ロボット１０２は、指定された物品を指定された位置に移動させるときには、複数の把持手段１１２の中から、その物品にハンド１２ｂを届かせることのできる把持手段１１２を選択し、その選択した把持手段１１２が物品を把持すると共に、そのアーム１２ａとハンド１２ｂとによって把持した物品を指定された位置に移動させるようにすればよい。なお、指定された位置が、選択した把持手段１１２のアーム１２ａの届かない位置であるときには、複数の把持手段１１２間で物品を手渡ししながら、指定された位置まで物品を移動させればよい。
移動計画作成手段１１３は、物品の移動作業やその他の作業に伴う移動が指定されたとき、ロボット１０２の現在位置から目的位置までの移動経路を、環境マップ１０８を参照して作成する。環境マップ１０８には、図１０（ｃ）に示すように、移動不可領域（斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成できる。例えば図１０（ｃ）において、Ａ１地点からＡ２地点までの移動の際には、ロボット１０２の大きさを考慮して、矢線で示すような移動不可領域を回避するルートが作成される。移動経路の作成には、最も一般的なダイクストラ法を用いればよいし、環境が複雑な場合は、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。なお、環境が複雑すぎるため、移動経路の算出ができない、あるいは、その算出に多大な時間を要するような場合の対策として、ユーザがロボット１０２の移動経路を指定するモードを設けてもよい。
（ロボットの制御コマンド）
制御手段１１５は、主に環境管理サーバ１０１から送受信手段１０９を介して送られてきたロボット制御コマンド列を解釈し、その制御コマンドを順に実行する。
ロボット制御コマンドとは、物品の把持や、ロボット１０２自体の移動の制御を行うためのコマンドであり、大きくわけると主として「移動」「把持」「解放」の３種類がある。この３種類のコマンドについて簡単に説明する。
１）移動：（ｍｏｖｅ，座標）または（ｍｏｖｅ，設備ＩＤ）
ロボット１０２の現在位置から座標で指定された位置、または設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段１１３が計画する。また、設備ＩＤで指定された設備の位置に移動するときは、その設備に対して所定の距離まで近づくような経路を作成するが、この場合、環境マップ内の設備属性データを利用する。
２）把持：（ｇｒａｂ，物品ＩＤ）
物品ＩＤで指定された物品を、ハンド１２ｂによって把持するコマンドである。物品の位置は、物品ＤＢを参照して求め、把持計画は把持手段１１２が作成する。
３）解放：（ｒｅｌｅａｓｅ）
ハンド１２ｂを解放するコマンドである。
例えば、ある物品をある場所に移動させる作業がユーザから指示されたときは、その作業は、「（物品の位置Ｂ１への）移動」「（物品の）把持」「（移動先Ｂ２への）移動」「（物品の）開放」という４つの作業単位に分解される。この場合のロボット制御コマンド列は、
ｍｏｖｅ，Ｂ１（物品が置かれている位置Ｂ１にロボットを移動する）
ｇｒａｂ，物品ＩＤ（Ｂ１の位置にある物品を把持する）
ｍｏｖｅ，Ｂ２（（物品を把持した状態で）移動先であるＢ２に移動する）
ｒｅｌｅａｓｅ（把持している物品を解放する）
となる。複数の物品の移動を指示されたときは、コマンド列は、上記４つのコマンドを一組として物品の数だけ並べられ、制御手段１１５は、その順番に従って制御コマンドを順に実行する。
もちろん、ロボット制御コマンドはこの３種類に限られるものではなく、必要に応じて増やしてもよいことはいうまでもない。
図１３は制御手段１１５の動作例を示すフローチャートである。制御手段１１５は、サーバ１０１から送信された制御コマンド列を送受信手段１０９が受信したとき、どの作業単位であるかを判定し（Ｓ２４０１〜Ｓ２４０３）、その作業単位に応じた処理を実行する。
まず、作業単位が「移動」のときは（Ｓ２４０１でＹＥＳ）、指定された位置までの経路を移動計画作成手段１１３に作成させる（Ｓ２４０４）。そして、移動計画作成手段１１３によって作成されて経路に応じて移動制御コマンドを移動手段１１４に送り、指定された位置までの移動処理を実行する（Ｓ２４０５）。
また、作業単位が「把持」のときは（Ｓ２４０２でＹＥＳ）、障害物センサ１１１によって把持対象物品の姿勢を検出する（Ｓ２４０６）とともに、その検出結果に応じてアーム１２ａとハンド１２ｂの動作を計算する（Ｓ２４０７）。そして、把持制御コマンドを把持手段１１２に送り、物品の把持処理を実行する（Ｓ２４０８）。なお、ステップＳ２４０６において、物品の姿勢は環境管理サーバ１０１の物品ＤＢ１０６に記録されているので、サーバ１０１に物品の姿勢を問い合わせるようにしてもよい。
また、作業単位が「解放」のときは（Ｓ２４０３でＹＥＳ）、指定された移動先に物品が設置されるようにアーム１２ａとハンド１２ｂの動作を計算する（Ｓ２４０９）。そして、解放制御コマンドを把持手段１１２に送り、物品の解放処理を実行する（Ｓ２４１０）。
移動、把持および解放の各動作が終了したとき、その旨をメッセージとして作業指示元であるサーバ１０１に送信する（Ｓ２４１１）。このようにして、操作端末１０３によって指示された作業内容が、ロボット１０２によって実行される。
＜操作端末の構成＞
操作端末１０３は、本システムにおけるユーザインタフェースであり、ユーザが、ロボット１０２に対して物品の取扱い作業を指示したり、物品に関する問合せをしたりするために操作する端末である。
図２に示すように、操作端末１０３は、操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部１１７と、操作画面上でロボット１０２に対して作業内容を指示するための例えばポインティングデバイスからなる入力部１１６と、表示部１１７に表示される操作画面の作成等の表示制御を行う表示制御手段１１８とを備えている。送受信手段１０９は入力部１１６に入力されたロボット１０２の作業内容や問合せ内容をサーバ１０１に送るとともに、問合せに対する回答をサーバ１０１から受信する。制御手段１１９は送受信手段１０９、入力部１１６、表示部１１７および表示制御手段１１８をコントロールする。
この操作端末１０３としては、例えば汎用ＰＣを用いることも可能である。この場合、各処理を実行させる制御プログラムをＰＣに読み込ませることによって、操作端末１０３として用いることが可能になる。
表示制御手段１１８は、サーバ１０１から送信された情報、具体的には、センシング手段１２０としてのカメラが環境内を撮像した画像のデータ、物品／移動体データベース１０６に蓄積されたデータ、環境マップ１０８に基づいて、操作画面を作成する。作成された操作画面は、表示部１１７に表示される。
（操作モード）
本システムは、ロボットに実行させる作業内容をユーザに指定させる操作モードをいくつか備えており、各操作モードは、ユーザが入力部１１６を操作することによって切り替えられる。ここでは、操作モードの一例として、「仮想空間操作モード」について説明する。
図１４は仮想空間操作モードにおいて操作端末１０３の表示部１１７に表示される操作画面の一例である。この操作画面は、実環境に則した仮想空間によって構成されている。この仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。
また図１４の操作画面は、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。具体的には、空き缶（ｋａｎ＿ｓｍａｌｌ＿０００１）、レモン（ｌｅｍｏｎ＿ｓｍａｌｌ＿０００１）、手帳（ｎｏｔｅ＿ｓｍａｌｌ＿０００１）、バナナ（ｂａｎａｎａ＿ｓｍａｌｌ＿０００１）、および紙くず（ｔｒａｓｈ＿ｓｍａｌｌ＿０００１）の各アイコンが含まれている。なお、仮想空間操作モードでは、操作画面上で物品アイコンとされるものは、ロボット１０２が取扱い可能な物品であり、家具等の設備は、操作画面上には表示されるが、物品アイコンとはならない。。
この操作画面では、ユーザは、操作端末１０３の入力部１１６の操作によって操作画面内のカーソルを操作し、それによってロボット１０２に実行させる作業内容を指定する。ロボット１０２に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、各物品アイコンは、いわゆるドラッグ操作によって、仮想空間内を移動可能に構成されている。このため、カーソルによって仮想空間内の所望の物品アイコンを指定するとともに、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、物品とその物品の移動先とが指定されることになる。
図１４の矢線は、空き缶アイコン（ｋａｎ＿ｓｍａｌｌ＿０００１）をリサイクル用ゴミ箱５３１に、レモンアイコン（ｌｅｍｏｎ＿ｓｍａｌｌ＿０００１）、手帳アイコン（ｎｏｔｅ＿ｓｍａｌｌ＿０００１）およびバナナアイコン（ｂａｎａｎａ＿ｓｍａｌｌ＿０００１）をテーブル５５１に、紙くずアイコン（ｔｒａｓｈ＿ｓｍａｌｌ＿０００１）を一般用ゴミ箱５４１にそれぞれ移動させる場合の、ドラッグアンドドロップ操作を示している。
ここでの操作画面を構成する仮想空間は、カメラが撮像した画像データであるため、画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、操作画面は、仮想空間を構成する画像データに加えて、画像データに１対１に対応し、かつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。
画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、操作画面上でカーソルによって物品アイコンの位置（座標値）が指定されると、画面マスクデータにおいて同じ座標値が参照され、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。また、画面マスクデータにおけるマスクデータの座標には、物品データベースの物品データ（図６参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデータは、背景差分画像によって作成することができる。なぜなら、背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
そして、操作画面上で、物品アイコンのドラッグアンドドロップ操作によって当該物品の移動作業が指定されたとき、操作端末１０３から環境管理サーバ１０１にその作業内容のメッセージが送信される。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。
サーバ１０１はメッセージを受信したとき、物品データベースを参照して、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列をロボット１０２に送信する。ロボット１０２の制御手段１１５は、図１３に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット１０２は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行する。
このように、仮想空間操作モードでは、操作端末１０３の表示部１１７に表示される操作画面が、実環境に則した仮想空間によって構成されるとともに、仮想空間内の物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって、物品の移動作業を指定することができる。このため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。もちろん、操作モードは、ここで説明した仮想空間操作モードに限られるものではない。
すなわち、本実施形態では、操作端末が、所定の生活空間を表す画像を表示部に表示し、ユーザが操作端末から、画像に含まれた物品に対する操作の指示を行い、操作端末から送信されたユーザの指示を、サーバが、物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、ロボットに送信する。このような物品操作方法によって、ユーザは、生活空間の複雑な状況において、生活支援ロボットに的確な動作を、容易に実行させることができる。
また、本実施形態では、操作端末が、所定の生活空間を表す画像を表示部に表示し、ユーザが操作端末から、画像に含まれた物品に対する問合せを行い、操作端末から送信されたユーザの問合せを受けて、サーバが、物品データベースを参照して、ユーザに提供するための情報を生成し、操作端末に送信する。このような物品管理方法によって、ユーザは、生活空間の複雑な状況において、物品についての的確な情報を、容易に取得できる。
【発明の効果】
以上のように本発明によると、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況において、生活支援ロボットに的確な動作を実行させることができ、また、ユーザに、物品についての的確な情報を提供できる。したがって、人間の物品操作や物品管理作業を、支援することができる。
（第２の実施形態）
ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、その生活空間内の状況を的確にユーザに提示すると共に、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
本発明による物品取扱いシステムは、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行するものである。
この構成によると、操作手段の表示部には操作画面が表示される。この表示部に表示される操作画面は生活空間の実状況に則した仮想空間からなる。ここで、仮想空間が生活空間の実状況に則しているとは、仮想空間の状況と生活空間の実状況とが互いに一致していることである。ユーザは入力部を操作することによって、上記操作画面の仮想空間内で、ロボットに実行させる作業内容を指定する。こうして、作業内容が指定されれば、上記ロボットは、その作業内容に基づいて生活空間内で物品の取扱い作業を実行する。
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
さらに本発明では、ロボットの作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボットの作業内容を、容易に指定可能になる。
すなわち、ここでの態様１では、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステムを提供する。
態様２では、態様１において、ロボットが実行する作業は、生活空間内での物品の移動作業であることを特徴とする。
態様３では、態様２において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、物品の移動作業は、上記物品アイコンの操作によって指定されることを特徴とする。
態様４では、態様３において、物品の移動作業は、所望の物品アイコンを仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定されることを特徴とする。
態様５では、態様１において、生活空間を撮像する撮像手段をさらに備え、操作画面の仮想空間は、上記撮像手段が撮像した画像のデータによって構成されることを特徴とする。
態様６では、態様５において、操作画面は、仮想空間を構成する画像のデータと、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデータに対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成されることを特徴とする。
態様７では、態様６において、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段をさらに備え、画面マスクデータは、上記センシング手段により検出された物品の位置に基づいて作成されることを特徴とする。
態様８では、態様１において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ポインタとを有し、上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示することを特徴とする。
態様９では、態様１において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ポインタとを有し、上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品に関する情報を表示することを特徴とする。
態様１０では、態様１において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、上記操作画面上で物品アイコンが指定されることによりロボットの作業対象となる物品が指定されたときには、その物品アイコンを強調表示することを特徴とする。
態様１１では、態様１において、操作画面を構成する仮想空間は、その視点が切り替え可能であることを特徴とする。
態様１２では、所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボット操作装置として、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させるものを提供する。
態様１３では、所定の生活空間内に存在する物品の移動作業を行うロボットを用いた物品取扱い方法として、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグアンドドロップ操作するステップと、上記生活空間内で上記ロボットが、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含むものを提供する。
態様１４では、態様１３において、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含むことを特徴とする。
本発明の第２の実施形態は、生活空間において、その空間内に存在する物品の取扱い作業を作業ロボットに実行させる物品取扱いシステムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。また、作業ロボットが実行する物品の取扱い作業としては種々の作業が考えられるが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。
本実施形態に係るシステムの構成は、第１の実施形態で示した図２と同様である。第１の実施形態と共通の構成要素については、ここではその詳細な説明は省略する。
まず、表示制御手段１１８で作成されて表示部１１７に表示される操作画面について説明する。図１５は、操作画面の一例を示しており、この操作画面は、環境の実状況に則した仮想空間によって構成されている。
また、上記仮想空間は、互いに異なる複数の視点を有しており、本実施形態では、図１５（ａ）に示すように、仮想空間を略水平方向に見る視点と、図１５（ｂ）に示すように、仮想空間を見下ろす視点との２つの視点を有している。操作画面を構成する仮想空間の視点は、ユーザが操作端末１０３を操作することによって切り替えられる。
上記操作画面を構成するこれらの仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。このように、カメラ画像によって仮想空間の視点を複数にするには、例えば次のような手法が挙げられる。
一つは、環境内に、複数のカメラを設置することで、各カメラが撮像した画像データによって仮想空間を構成するものである。例えば、環境（部屋）の側壁と天井とのそれぞれにカメラを設置して、側壁に設置したカメラが撮像した画像データによって、図１５（ａ）に示す視点の仮想空間を構成する一方、天井に設置したカメラが撮像した画像データによって、図１５（ｂ）に示す視点の仮想空間を構成するようにしてもよい。
もう一つは、環境内の適当な場所に少なくとも一つのカメラを設置し、そのカメラ画像を変形合成することによって、任意の視点からの画像（仮想空間）を作成するものである。このようなカメラ画像を用いて任意の仮想的な視点から見た画像を合成する手法は、特許第３２８６３０６号公報に記載されているため、ここではその詳細な説明は省略する。
本実施形態では、環境内の側壁に、センシング手段１２０として設置されたカメラが撮像した画像データ（以下これをカメラ視点画像ともいう）によって、図１５（ａ）に示す仮想空間を構成する一方、上記カメラが撮像した画像データを変形合成した画像データ（以下これを仮想視点画像ともいう）によって、図１５（ｂ）に示す仮想空間を構成することとする。このように、操作画面を構成する仮想空間が有する視点の数と、その仮想空間を構成する画像データを撮像するカメラ視点の数とは一致させる必要はない。
上記操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコン（図１５では、バナナが物品アイコンである）とを有している。この物品アイコンは、ユーザが物品であることを認識可能なものであればよく、例えば物品をアニメーション化（イラストレーション化）したアイコンで構成したり、物品を撮像したカメラ画像からその物品の部分を自動又は手動で切り出した画像で構成したりすればよい。
ユーザは、操作端末１０３の入力部１１６の操作によって操作画面内のカーソルを操作し、それによるアイコン操作によってロボットに実行させる作業内容を指定するように構成されている。操作画面上で作業内容を指定する手順については後述するが、本実施形態では、上記物品アイコンは、いわゆるドラッグ操作によって操作画面を構成する仮想空間内を移動させることが可能に構成されており、ロボット１０２に物品の移動作業を実行させる場合は、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、仮想空間内の所望の移動先を上記カーソルによって指定することで、移動作業の指定がなされる。尚、環境内に存在する家具等の設備は操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット１０２が取扱い可能な物品である。
ここで、操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データ、又はその画像データを変形合成した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データ（及び変形合成した画像データ）に加えて、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータは、上記画像データ（仮想空間）に１対１に対応するものである。ここで、「１対１に対応する」とは、両データの座標値が対応しているという意味である。
図１５には、仮想空間（操作画面）を構成する画像のデータに１対１に対応した画面マスクデータの例を示す。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応して、マスクデータ（同図の網掛け部分参照）が設定されており、このマスクデータの座標には物品データベースの物品データ（図６参照）へのポインタが記載されている。このポインタは、その物品アイコンに係る物品に対応するものであり、これにより、操作画面に含まれる各物品アイコンが、どの物品を表しているかが判断可能になる。
そして、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。これと共に、物品アイコンの位置が指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。
操作画面を構成する仮想空間を、センシング手段１２０としてのカメラが撮像した画像（図１５（ａ）参照）によって構成する場合は、背景差分画像によって、その仮想空間に１対１に対応する画面マスクデータを作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
一方、操作画面を構成する仮想空間を、カメラ画像を変形合成した画像、言い換えると仮想視点画像（図１５（ｂ）参照）によって構成する場合は、それに１対１に対応する画面マスクデータは、次のようにして作成すればよい。
図１６は仮想視点画像によって構成される操作画面の画像マスクデータを作成するための説明図である。図１６（ｂ）において、Ｏｗを原点としＸ軸、Ｙ軸、Ｚ軸で構成された座標系は実世界座標系である。この座標系において、仮想視点（この仮想視点は環境の天井に対応する）の位置を（ｘ１，ｙ１，ｚ１）で表す。また仮想視点Ｏｅを原点とする仮想視点座標系を設定する。また、図１６（ａ）に示す座標値（ｘ，ｙ，ｚ）は、センシング手段１２０によって検出された物品を構成する領域内の任意の１点の実世界座標系における座標値である。さらに図１５（ｂ）に示す座標値（ｕ，ｖ）は、上記座標値（ｘ，ｙ，ｚ）を仮想視点画像からなる操作画面上に変換したときの座標値である。次式（１），（２），（３）はそれぞれ、変換のための式である。
2004106009.tif 000003
ここで式（１）におけるＲは、仮想視点座標系を構成する３つの軸周りの回転行列であり、この行列に仮想視点座標系における座標値を乗じることにより、その座標値が実世界座標系における座標値に変換されるように、回転行列の値が設定されている。また式（２），（３）におけるｆは仮想視点の焦点距離を示す。
さて、仮想視点画像によって構成される操作画面の画面マスクデータの作成を、具体的な処理として言い換えると、センシング手段１２０によって得られた物品の占める領域を、仮想視点で見たときに物品の占める領域に変換し、その領域を操作画面上の座標値に変換して、それをマスクデータとするということである。これはすなわち、
１）実世界座標系の座標値で表された物品領域の点（ｘ，ｙ，ｚ）を、式（１）によって仮想視点座標系における座標値（ｘｅ，ｙｅ，ｚｅ）に変換し、
２）上記変換された座標値（ｘｅ，ｙｅ，ｚｅ）を、式（２），（３）によって仮想視点画像からなる操作画面の座標値（ｕ，ｖ）に変換する
という計算を、実世界座標系の座標値で表された物品領域の全ての点に対して行うことに他ならない。
上記変換により仮想視点画像からなる操作画面の画面マスクデータを作成することができるが、より正確なマスクデータを作成するには、２）で得られた（ｕ，ｖ）の座標値をプロットし、それらを囲む最小の多角形領域をマスクデータとしてもかまわない。
尚、本実施形態では、操作端末１０３の表示制御手段１１８が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ１０１が作成してもよい。この場合、サーバ１０１が作成した操作画面は、ネットワークを介して操作端末１０３に送信し、操作端末１０３は、受信した操作画面を表示部１１７に表示すればよい。また、入力部１１６の操作によって、仮想空間の視点の切り替え操作がされたときには、操作端末１０３からサーバ１０１に、視点切り替え要求信号を送信し、それに応じて上記サーバ１０１が視点を切り替えた操作画面を作成し、これを操作端末１０３に送信するようにすればよい。
−ロボットの作業内容の指定手順−
次に、操作端末１０３の表示部１１７に表示される操作画面上で、ロボット１０２に実行させる物品の移動作業を指定する手順について、２つの例を挙げて具体的に説明する。
先ず、図１７を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの手前側であるＢ２位置に移動させる場合を例に、ロボット１０２の移動作業の指定手順を説明する。
この移動操作の指定は、操作画面上で、バナナ（物品アイコン）を選択する操作と、この選択したバナナアイコンを、仮想空間内の所望の移動先に移動（ドラッグ）させると共に、その移動先位置でバナナアイコンをドロップする、というアイコンのドラッグアンドドロップ操作によって行われる。
（操作画面の表示ステップ：Ｐ１００１）
操作端末１０３の表示部１１７には、操作画面が表示される。ここでは、操作画面を構成する仮想空間を、カメラが撮像したカメラ視点画像によって構成している。この仮想空間は部屋の実状況に則しているため、操作画面には、部屋内に存在する設備（テーブル等）が表示される。また、部屋内に存在する物品（バナナ等）は、物品アイコンとして仮想空間内に配置されている。
ユーザは、操作端末１０３の入力部１１６を操作することにより、操作画面上でカーソルを移動させることができる。このカーソルが物品アイコンを指しているときには、その物品アイコンを強調表示する。具体的に、カーソルがバナナアイコンを指しているときには、そのバナナアイコンの色を変える、また、図１９（ａ）に示すように、バナナアイコンの輪郭を強調して表示する、さらに、図１９（ｂ）に示すように、物品アイコンに対応する物品の名称として、「バナナ」の文字をポップアップ表示する。一方、上記カーソルがテーブル等の設備を指していても、これらは物品アイコンではないため強調表示はされない。こうすることでユーザは、操作画面上で、例えばバナナがロボット１０２の取扱い可能な物品であることを認識することができ、ロボットの作業内容の指定が容易になる。その結果、ユーザの利便性が向上する。
尚、物品の名称をポップアップ表示する場合は、その物品に関する他の情報を併せて表示するようにしてもよい。例えば、その物品が食料品であれば、賞味期限や品質保持期限、購入年月日等の情報をポップアップ表示してもよい。こうすることで、ユーザは、その情報に応じてロボットに対する作業内容を指定することができる（例えばその物品の移動場所を変える等）。また、その物品に関する情報の内容に応じて、その物品に対するお勧めの作業内容をポップアップ表示してもよい。例えばカーソルが指している物品アイコン（物品）が、賞味期限切れ間近の食料品であるときには、「当該物品を冷蔵庫内に移動させる」旨の作業内容をポップアップ表示する、等である。
また、カーソルが物品アイコンを指しているときに、物品の領域の色を変えたり、物品の領域の輪郭を強調して表示するだけでなく、その物品を拡大表示するようにしてもよい。また、カーソルが物品アイコンを指しているときには、例えば「○○があります」というように、その物品の名称を音声でユーザに報知してもよい。こうすることで、目の不自由なユーザにも使いやすいシステムとなる。
また、ここでは物品アイコンの表示形態をかえるようにしているが、例えばカーソルが物品アイコンを指しているときには、そのカーソルの形態を変えるようにしてもよい。こうすることでも、そのカーソルが指している物品アイコンが、ロボットが取扱い可能な物品であることを、ユーザに認識させることが可能になる。
さらに、ここでは、カーソルが物品アイコンを指しているときに、物品アイコンを強調表示するようにしているが、例えば、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。特に、ユーザが操作画面における操作を開始する際に、全ての物品アイコンを所定時間だけ強調表示してもよいし、ユーザの要求操作に応じて、全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることで、ユーザは、仮想空間内の物品アイコン、つまり、ロボット１０２が取扱い可能な物品が、環境内のどこに置かれているかを一目で確認することができる。
（物品の指定操作ステップ：Ｐ１００２）
ロボット１０２に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。この物品アイコンの指定操作がされたときには、「対象物品はバナナでよろしいですか？」等の確認を促す表示を行い、ユーザに「ＯＫ／キャンセル」の操作を行わせるようにしてもよい。
こうして物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンを強調表示する。この強調表示としては種々の表示形態が考えられるが、例えば、図１７に示すように、物品アイコンの色を変える、そのアイコンを塗りつぶす等の、その物品が指定されていることが一目で判るような形態であればどのような表示形態でもよい。但し、対象物品を指定したときの強調表示の形態は、カーソルが物品アイコンを指しているときに行う強調表示とは異ならせることが好ましい。これは、その物品がロボット１０２の取扱い可能な物品であることと、その物品がロボット１０２の作業対象として指定されたこととを区別するためである。
（移動先指定ステップ：Ｐ１００３）
ロボット１０２に移動させる物品を指定すれば、その物品の移動先を指定する。この移動先の指定は、図１７に示すように、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの手前側のＢ２位置）に、ドラッグアンドドロップ操作することによって行う（同図の矢線参照）。この操作が行われたときには、「移動先はここでよろしいですか？」等の確認表示を行ってもよい。「ここ」には具体的な移動先名を明示してもよいし、その場所を強調してもよい。こうして、ユーザによる移動作業の指定が完了することになる。
このように、物品の移動作業は、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって指定されるため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
次に、図１８を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの奥側であるＢ２位置に移動させる場合を例に、ロボット１０２の移動作業の指定手順を説明する。
（操作画面の表示ステップ：Ｐ２００１）
操作画面の表示ステップは、上記のＰ１００１と同様であり、カメラ視点画像によって構成された仮想空間からなる操作画面が、操作端末１０３の表示部１１７に表示される。
（物品の指定操作ステップ：Ｐ２００２）
物品の指定操作ステップも、上記のＰ１００２と同様であり、物品アイコンをクリック操作することによってロボット１０２に移動させる物品を指定する。これにより、指定された物品アイコンは強調表示される。
（視点切り替えステップ：Ｐ２００３）
ロボット１０２に移動させる物品を指定すれば、その物品の移動先を指定する。ここで、本例では、移動先がテーブルの奥側であるＢ２位置であり、カメラ視点画像からなる操作画面にはＢ２位置が表示されていない。そこで、操作画面を構成する仮想空間の視点を切り替える。
視点の切り替え時には、図１８に示すように、操作画面に視点位置にカメラアイコンが表示される。ユーザは、このカメラアイコンをクリック操作することによって、操作画面を構成する仮想空間の視点を切り替えることが可能である。尚、ここでは、仮想空間の視点が２つであるため、カメラアイコンは一つしか表示されないが、仮想空間の視点が３以上であるときには、各視点位置に対応して、複数のカメラアイコンを操作画面に表示すればよい。
（移動先指定ステップ：Ｐ２００４）
仮想空間の視点を切り替えることにより、操作画面を構成する仮想空間は、カメラ画像を変形合成した仮想視点画像に切り替わる。そして、この新たな操作画面において、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの奥側のＢ２位置）に、ドラッグアンドドロップ操作する（同図の矢線参照）。こうして、ユーザによる移動作業の指定が完了することになる。
このように、操作画面を構成する仮想空間の視点が複数あることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、一般家庭等の生活空間では、設備の配置や物品の置かれる位置の自由度が高く、カメラ画像に死角が生じやすいが、ユーザは、ロボットに実行させる作業内容を仮想空間からなる操作画面上で的確に指定することができる。
−ロボットの作業内容の実行制御−
以上のようにして、ユーザが操作端末１０３を操作することにより、ロボット１０２に実行させる作業内容が指定されれば、操作端末１０３は環境管理サーバ１０１にその作業内容のメッセージを送信する。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。尚、操作端末１０３からサーバ１０１に送信する移動先の座標は、操作画面上の座標でもよいし、操作画面上の座標を環境の実世界座標に変換した座標でもよい。
上記サーバ１０１はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット１０２に送信する。物品の移動作業は、「（物品の位置への）移動」、「（物品の）把持」、「（移動先への）移動」、「（物品の）開放」という４つの作業単位に分解される。従って、上記の例では、ロボット制御コマンド列は、
ｍｏｖｅ，Ｂ１（バナナが置かれている位置Ｂ１にロボットを移動する）
ｇｒａｂ，バナナ（Ｂ１の位置にあるバナナを把持する）
ｍｏｖｅ，Ｂ２（（バナナを把持した状態で）移動先であるＢ２に移動する）
ｒｅｌｅａｓｅ（把持しているバナナを解放する）
となる。尚、複数の物品の移動が指定されたときには、コマンド列は、上記４つの作業単位を一組として、物品の数だけ並べる。
作業ロボット１０２の制御手段１１５の動作例は、第１の実施形態の図１３に示すとおりであり、ここでは説明を省略する。
こうして、操作端末１０３で指定した作業内容が、ロボット１０２によって実行され、位置Ｂ１に置かれたバナナが、位置Ｂ２に移動されることとなる。
上記ロボット１０２が動作をしているときには、操作端末１０３の表示部１１７に表示される操作画面をカメラ画像と連動させることで、そのロボット１０２が作業をしている様子を操作画面において映し出すようにしてもよい。こうすることで、ユーザは、指定した作業内容がロボット１０２によって実行されているか否かを操作画面上で確認することができ、例えばロボット１０２が間違った作業をしているときには、その作業をすぐに中止させることも可能になる。
これに対し、ロボット１０２が動作をしているときには、上記操作画面をロボット１０２の動作開始前のカメラ画像で固定してもよい。こうすることで、新たな作業を指定しようとしても、操作画面内でロボット１０２が動作していると指定操作がし難くなる場合があるが、それが解消される。
これらの表示形態の切り替えは、ユーザの指定に応じて切り替えればよい。また、ロボット１０２が動作をしているときには、カメラ画像と連動した操作画面の変更頻度を調節可能にしてもよい。
以上説明したように、本発明による物品取扱いシステムは、所定の生活空間（環境）内に存在する物品の取扱い作業を行うロボット１０２と、操作画面を表示する表示部１１７及びユーザが操作をする入力部１１６を有する操作手段（操作端末１０３）とを備え、上記表示部１１７に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記仮想空間内でロボット１０２に行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボット１０２が上記生活空間内で物品の取扱い作業を実行するものである。
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
さらに本発明では、ロボット１０２の作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボット１０２の作業内容を、容易に指定可能になる。
また、ロボットが実行する作業が、生活空間内での物品の移動作業であるときに、本発明による物品取扱いシステムでは、操作画面を、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有するものとして、物品の移動作業を、上記物品アイコンの操作によって指定する。
このように、生活空間に存在する物品に対応して物品アイコンを仮想空間内に配置することにより、生活空間内で様々な位置に置かれる物品の中から、ロボットに移動させる物品を容易に指定することが可能になる。また、物品アイコンの操作によってロボット１０２の作業内容を指定することで、的確かつ容易に作業内容を指定可能になる。
また、本発明による物品取扱いシステムでは、物品の移動作業を、所望の物品アイコンを上記仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定する。このためユーザは、物品の移動作業を指定するときには、操作画面の仮想空間内に配置される物品アイコンの中から、所望の物品アイコンを選択すると共に、その選択した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作することになる。この操作によってロボット１０２は、指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する生活空間内の位置に移動させる作業を行うことになる。
このように、指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定されるため、ロボット１０２に実行させる作業内容を極めて容易に指定可能になる。
また、本発明による物品取扱いシステムは、生活空間を撮像する撮像手段（センシング手段１２０としてのカメラ）をさらに備えており、操作画面の仮想空間は、上記撮像手段が撮像した画像のデータによって構成される。
こうすることで、生活空間の実状況に則した仮想空間を簡便に作成可能になる。尚、仮想空間は、例えばコンピュータグラフィックスによって構成してもよい。
さらに、本発明による物品取扱いシステムでは、操作画面を、仮想空間を構成する画像のデータと、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデータに対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成する。
すなわち、仮想空間を画像のデータによって構成したときに、操作画面上で物品アイコンを操作するには、その画像のどの領域が物品アイコンに対応するかを特定する必要がある。このため、画像のデータと、物品アイコンと、画面マスクデータとから操作画面を構成することにより、画面マスクデータによって、仮想空間内における物品アイコンの位置が特定され、その結果、画像データから構成される操作画面上で物品アイコンを操作することが可能になる。
本発明による物品取扱いシステムは、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段１２０をさらに備えている。そして、画面マスクデータは、上記センシング手段１２０により検出された物品の位置に基づいて作成される。
センシング手段１２０によって生活空間内に存在する物品の位置を検出すれば、その検出した位置に対応する仮想空間内の位置が特定されるため、仮想空間内における物品アイコンの位置を特定する画面マスクデータが作成可能になる。
本発明による物品取扱いシステムのように、一般家庭等の生活空間を対象とするシステムでは、その生活空間内には種々の物品が存在する。例えばその空間に固定・設置された固定・設置物等も物品である。しかしながら、こうした固定・設置物等は、ロボット１０２によって移動させることができない。このように、生活空間内に存在する物品は、ロボット１０２が取扱い可能な物品と、取扱い不可能な物品とに分けることができるが、仮想空間からなる操作画面には、ロボット１０２が取扱い可能な物品と、取扱い不可能な物品との双方が表示される。
そこで、本発明による物品取扱いシステムでは、操作画面上でポインタ（カーソル）が、ロボット１０２の取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示する、又は、その物品に関する情報を表示する。
こうすることでユーザは、操作画面内に表示される多数の物品の中から、ロボット１０２の取扱い作業可能な物品を容易に特定することができる。それによって、ロボット１０２に実行させる作業内容を容易に指定することが可能になる。尚、ロボット１０２の取扱い作業可能な物品と、取扱い作業不可能な物品との分別基準は、その取扱い作業の内容によって異なる。例えば物品の移動作業については、ロボット１０２が移動させることのできない固定・設置物や、大型物・重量物は、ロボット１０２の取扱い作業不可能な物品となり、それ以外の物品はロボット１０２の取扱い作業可能な物品となる。
また、そのシステムにおける作業ロボット１０２が変更されたときには、そのロボット１０２の変更に伴い取扱い可能な物品が変更される場合がある。ここで、ロボット１０２の変更には、例えばロボット１０２が新機種に置き換わるというハードウエア上の変更たけでなく、ロボット１０２の制御プログラムが変更されるというソフトウエア上の変更も含む。
このように、ロボット１０２の取扱い可能な物品が変更されたときには、そのことをユーザに報知すべく、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることでユーザは、ロボット１０２が取扱い可能な物品を、一目で把握することができる。
本発明による物品取扱いシステムは、ロボット１０２の取扱い可能な物品が変更されたときには、そのロボット１０２の取扱い可能な物品に対応する全ての物品アイコンを強調表示するように構成してもよい。
また、本発明による物品取扱いシステムでは、上記操作画面上で物品アイコンが指定されることによりロボット１０２の作業対象となる物品が指定されたときには、その物品アイコンを強調表示する。
こうすることでユーザは、物品アイコンの指定を確認することができ、これにより、ロボット１０２が誤って指定された物品の取扱い作業を実行してしまうことが、未然に防止される。
本発明による物品取扱いシステムは、上述したように、一般家庭、オフィス、ホテル、店舗及び病院等の生活空間における物品取扱いシステムである。このため、その生活空間内には、例えば家具等の固定・設置物が存在していると共に、ロボットの取扱い作業の対象である物品も様々な位置に存在する。
この場合、操作画面を生活空間の実状況に則した仮想空間から構成するときに、その仮想空間の視点が一つだけに定められていると、例えばその視点からは家具等に隠れて物品が見えない、又は、その物品を所望の移動先に移動させる場合にその移動先が死角になっている、等の問題が生じる。この問題は、工場や倉庫等の産業用のシステムでは通常生じない問題である。なぜなら、産業用のシステムでは、物品が定められた位置に配置されることが多く、さらには、空間の状況を見る視点が一つであっても、死角が生じないようにその空間の状況を予め設定しているためである。
そこで、本発明による物品取扱いシステムでは、上記操作画面を構成する仮想空間は、その視点を切り替え可能にする。
仮想空間の複数の視点が相互に切り替え可能であることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、状況が複雑な生活空間での物品取扱いシステムにおいて、ロボット１０２に実行させる作業内容を操作画面上で的確に指定することが可能になる。
また、本発明によるロボット操作装置（操作端末１０３）は、所定の生活空間内に存在する物品の取扱い作業を行うロボット１０２の作業内容を指定するための装置である。
上記ロボット操作装置は、操作画面を表示する表示部１１７と、ユーザが操作をする入力部１１６とを備え、上記表示部１１７に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記仮想空間内でロボット１０２に行わせる作業内容を指定させるものである。
この構成により、上述したように、表示部１１７には、生活空間の実状況に則した仮想空間からなる操作画面が表示される。これにより、生活空間内の複雑な状況が的確にかつ分かりやすくユーザに提示される。
また、ロボット１０２の作業内容の指定は、その仮想空間からなる操作画面において行われるため、ユーザは、ロボット１０２の作業内容を容易に指定可能になる。
本発明による物品取扱い方法は、所定の生活空間内に存在する物品の移動作業を行うロボット１０２を用いた方法である。
そして、上記物品取扱い方法は、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグアンドドロップ操作するステップと、上記生活空間内で上記ロボット１０２が、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含む。
本発明による物品取扱い方法は、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含む。この視点を切り替えるステップは、上記実施形態では、仮想空間内の所望の移動先に物品アイコンをドラッグアンドドロップ操作するステップの前としたが、これに代えて、又はこれと併せて、所望の物品アイコンを指定するステップの前としてもよい。
−他の実施形態−
尚、本実施形態では、環境管理サーバ１０１が操作端末１０３からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット１０２に送信するようにしたが、例えば、操作端末１０３が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット１０２に送信するようにしてもよい。
また、本実施形態では、物品取扱いシステムを、環境管理サーバ１０１、ロボット１０２、操作端末１０３の３つのサブシステムからなり、それらサブシステム１０１〜１０３が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末１０３が環境管理サーバ１０１に一体となった構成でもよい。
またロボット１０２も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
さらに、本実施形態では、ロボット１０２は物品の移動作業を行うものとし、環境の実状況に則した仮想空間からなる操作画面において、物品アイコンのドラッグアンドドロップ操作により、ロボット１０２の作業内容を指定するようにした。しかし、仮想空間からなる操作画面において指定するロボット１０２の作業内容は、物品の移動作業に限るものではなく、物品の移動を伴わない作業を含め、その他の作業としてもよい。例えば、操作画面上で、ロボット１０２に作業をさせる対象となる物品アイコンを指定したときに、ロボット１０２が実行し得る作業内容をメニュー形式で操作画面に表示し、そのメニューから作業内容を選択させることによって、ロボット１０２に実行させる作業内容を指定するようにしてもよい。
−発明の効果−
以上説明したように、本発明による生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置では、生活空間の実状況に則した仮想空間からなる操作画面が、操作端末（ロボット操作装置）の表示部に表示される。これによりユーザは、生活空間内の複雑な状況を、的確に把握することができる。また、ユーザはこの操作画面上で、ロボットに実行させる作業内容を指定することができる。例えば物品の移動作業を指定するときには、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを操作することにより、例えば仮想空間内の所望の移動先にドラッグアンドドロップ操作をすることにより、移動作業の指定ができる。このような直感的な操作によって、ロボットに実行させる作業内容が指定できるため、誰もが容易に、作業内容の指定をすることができる。
また、操作画面上で、カーソルがロボットの取扱い可能な物品アイコンを指しているときには、そのことをユーザに明示する表示がなされるため、ユーザはロボットに作業させる物品の指定を確実に行うことができる。
さらに、ロボットに作業させる物品（物品アイコン）を指定したときには、操作画面上で、そのことをユーザが認識可能となる表示がされるため、ロボットが誤って指定された物品の取扱い作業を実行してしまうことを、未然に防止することができる。
加えて、操作画面を構成する仮想空間の視点は切り替え可能に構成されているため、例えば、ある視点からは死角になっている物品を、視点を切り替えることで見ることができ、ある視点からは死角になっている位置を、視点を切り替えることで見ることができる。すなわち、操作端末の表示部に、生活空間の複雑な実状況に則した仮想空間内全てを、確実に表示することができる。
また、生活空間の実状況に則した仮想空間を、カメラが撮像した画像データによって構成することで、仮想空間を容易に作成することができる。
（第３の実施形態）
ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の移動作業を実行させる非産業用の物品移動システムにおいて、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
本発明による物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。
この構成によると、操作手段の表示部には、操作画面が表示される。操作手段における操作モードが場所アイコン操作モードであるときには、生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示部に表示される。ユーザは入力部を操作することによって、この操作画面上で、ロボットに行わせる作業内容を指定する。例えばロボットに移動させる物品とその物品の移動場所とを指定すべく、操作画面上で、所望の物品アイコンと所望の場所アイコンとをそれぞれ指定する操作を行う。こうして、物品とその移動場所とが指定されれば、上記ロボットは生活空間内で、指定された作業内容に基づいて物品の移動作業を実行する。
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することたけで、ロボットが指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボットの作業内容を指定可能になる。
すなわち、ここでの態様１では、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行し、上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有することを特徴とする物品移動システムを提供する。
態様２では、態様１において、場所アイコン操作モードは、操作画面上で物品アイコンと場所アイコンとをそれぞれ指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードであることを特徴とする。
態様３では、態様１において、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含み、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択し、ロボットは、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行することを特徴とする。
態様４では、態様１において、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部に表示する仮想空間操作モードをさらに有することを特徴とする。
態様５では、態様４において、仮想空間操作モードは、操作画面上で物品アイコンと仮想空間内の場所とを指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードであることを特徴とする。
態様６では、態様１又は態様４において、操作手段における操作モードとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部に表示する作用アイコン操作モードをさらに有することを特徴とする。
態様７では、態様６において、作用アイコン操作モードは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作をすることによって、ロボットに扱わせる物品と、その物品に施す作用との指定を行うモードであり、上記操作画面上で物品アイコンと作用アイコンとの指定操作がされたときには、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択し、ロボットは、指定された物品を、上記選択した場所に移動する作業を実行することを特徴とする。
態様８では、態様２，３，及び７のいずれか１態様において、操作画面は、物品アイコンを他のアイコンにドラッグアンドドロップ操作可能に構成されることを特徴とする。
態様９では、態様８において、操作画面は、複数の物品アイコンを一括して他のアイコンにドラッグアンドドロップ操作可能に構成されることを特徴とする。
態様１０では、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システムを提供する。
態様１１では、態様１，４，６及び１０のいずれか１態様において、生活空間内に存在する物品を検出するセンシング手段をさらに備え、操作画面には、上記センシング手段により検出された物品に対応する物品アイコンを含めることを特徴とする。
態様１２では、所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードを有するものを提供する。
態様１３では、態様１２において、表示部に、生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させる仮想空間操作モードをさらに有することを特徴とする。
態様１４では、態様１２又は態様１３において、表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードをさらに有することを特徴とする。
態様１５では、所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードを有することを特徴とする。
本発明の第３の実施形態は、生活空間において、その空間内に存在する物品の移動作業を作業ロボットに実行させる物品移動システムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品移動システムの対象空間（以下これを環境と呼ぶ）とする。また、作業ロボットは、移動作業に限らず、種々の物品取扱い作業を実行するものとしてもよいが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。
図２０は本実施形態に係る物品移動システムの構成を示すブロック図である。図２０では、図２と共通の構成要素には、図２と同一の符号を付しており、ここではその詳細な説明を省略する。
ロボット１０２は、第１の実施形態ですでに説明した障害物センサ１１１、把持手段１１２、移動計画作成手段１１３、移動手段１１４および送受信手段１０９に加えて、後述する場所アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性に応じて移動場所の選択を行う移動場所選択手段１３０を備えている。制御手段１１５は、これらのセンサ１１１及び各手段１０９，１１２〜１１４，１２０をコントロールする。
また、本実施形態では、環境内に存在する各物品に電子タグが付されているとして、把持手段１１２にリーダライタを取り付けている。こうすることで、把持手段１１２が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによって、その把持した物品が何であるかを特定することができる。なお、把持手段１１２に取り付けるリーダライタは省略してもよい。
操作端末１０３は、第１の実施形態ですでに説明した表示部１１７、入力部１１６、表示制御手段１１８、送受信手段１０９に加えて、後述する作用アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性とその物品に対する作用とに応じて移動場所を決定する作用／場所変換手段１３１を備えている。制御手段１１９は、これらの各手段１０９，１１６〜１１８，１２１をコントロールする。
本システムは、操作端末１０３において、ロボットに実行させる作業内容を指定する操作モードとして、１）仮想空間操作モード、２）場所アイコン操作モード、３）作用アイコン操作モード、の３つの操作モードを有している。各操作モードは、ユーザが入力部１１６を操作することによって切り替えられる。
各操作モードは、表示部１１７に表示される操作画面上で、ユーザに作業内容を指定させる点は同じであるが、表示部１１７に表示される操作画面の構成が、各モードで互いに異なる。以下、上記３つの操作モードそれぞれについて順に説明する。
（仮想空間操作モード）
図２１は、仮想空間操作モードにおいて、操作端末１０３の表示部１１７に表示される操作画面の一例を示している。この操作画面は、環境の実状況に則した仮想空間によって構成されている。この操作画面を構成する仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。本実施形態では、上記カメラは、センシング手段１２０として環境内の側壁に設置されたカメラとされている。
この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図２１に示す操作画面には、物品アイコンとして、空き缶（ｋａｎ＿ｓｍａｌｌ＿０００１）、レモン（ｌｅｍｏｎ＿ｓｍａｌｌ＿０００１）、手帳（ｎｏｔｅ＿ｓｍａｌｌ＿０００１）、バナナ（ｂａｎａｎａ＿ｓｍａｌｌ＿０００１）、紙くず（ｔｒａｓｈ＿ｓｍａｌｌ＿０００１）の各アイコンが含まれている。尚、仮想空間操作モードでは、環境内に存在する家具等の設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット１０２が取扱い可能な物品である。
この仮想空間操作モードにおける操作画面では、ユーザは、操作端末１０３の入力部１１６の操作によって操作画面内のカーソルを操作し、それによってロボット１０２に実行させる作業内容を指定する。ロボット１０２に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面を構成する仮想空間内を移動させることが可能に構成されている。このため、物品アイコンと仮想空間内の場所とを指定するときには、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、物品とその物品の移動先とが指定されることになる。図２１の矢線は、空き缶アイコン（ｋａｎ＿ｓｍａｌｌ＿０００１）を、仮想空間内のリサイクル用ゴミ箱５３１に、レモンアイコン（ｌｅｍｏｎ＿ｓｍａｌｌ＿０００１）、手帳アイコン（ｎｏｔｅ＿ｓｍａｌｌ＿０００１）バナナアイコン（ｂａｎａｎａ＿ｓｍａｌｌ＿０００１）を、仮想空間内のテーブル５５１に、紙くずアイコン（ｔｒａｓｈ＿ｓｍａｌｌ＿０００１）を、仮想空間内の一般用ゴミ箱５４１にそれぞれドラッグアンドドロップ操作するときの操作例を示している。
ここで、仮想空間操作モードの操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データに加えて、上記画像データ（仮想空間）に１対１に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断するようにしている。また、画面マスクデータにおけるマスクデータの座標には、物品データベースの物品データ（図６参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデータは、背景差分画像によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
そして、この操作画面上で物品アイコンのドラッグアンドドロップ操作を行うことにより、物品の移動作業が指定されたときには、操作端末１０３から環境管理サーバ１０１にその作業内容のメッセージが送信される。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。
上記サーバ１０１はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット１０２に送信する。
ロボット制御コマンド列を受信した作業ロボット１０２の制御手段１１５は、図１３に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット１０２は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行することになる。
このように、仮想空間操作モードでは、操作端末１０３の表示部１１７に表示される操作画面が、環境の実状況に則した仮想空間によって構成されると共に、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって、物品の移動作業が指定される。このため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
また、後述する場所アイコン操作モードや、作用アイコン操作モードとは異なり、仮想空間操作モードでは、仮想空間内で、物品の移動先を自由に指定することができる。これにより、ロボットに実行させる作業内容の自由度が高まる。
（場所アイコン操作モード）
図２２は、場所アイコン操作モードにおいて、操作端末１０３の表示部１１７に表示される操作画面の一例を示している。
この操作画面には、物品アイコンと、環境内における物品の移動場所を表す場所アイコンとが含まれている。上記物品アイコンは、センシング手段１２０によって環境内で検出された物品に対応するものである。すなわち、操作画面に含まれる物品アイコン（それに対応する物品）は、環境内に実際に存在しているものである。物品アイコンは、物品ＩＤと対応付けた状態でリスト形式に表示されている。図２２に示す操作画面には、物品アイコンとして、空き缶（ｋａｎ＿ｓｍａｌｌ＿０００１）、レモン（ｌｅｍｏｎ＿ｓｍａｌｌ＿０００１）、手帳（ｎｏｔｅ＿ｓｍａｌｌ＿０００１）、バナナ（ｂａｎａｎａ＿ｓｍａｌｌ＿０００１）、紙くず（ｔｒａｓｈ＿ｓｍａｌｌ＿０００１）の各アイコンが含まれている。こうすることでユーザは、環境内に存在する物品を一目で認識することが可能になる。尚、環境内に存在する物品が多数であり、一画面内に全ての物品アイコンを表示することができないときにはスクロールバーを利用すればよい。また、これとは異なる他の方法としては、環境内に存在する物品を、食品、衣類といったカテゴリー毎に木構造で分類しておき、上位のカテゴリーから下位のカテゴリーに階層をたどることで、物品アイコンが表示されるようにしてもよい。
また、物品アイコンは、例えば物品の名称順や、指定される頻度の高い順等に並べ替え可能にしてもよい。さらに、物品の内容に応じて、物品アイコンの表示の順序を自動的に設定するようにしてもよい。例えば、上述したように、カテゴリー毎に物品アイコンを表示するときに、そのカテゴリーが食品である場合は、そこに含まれる物品アイコンを賞味期限の早い順番で表示することをデフォルトで設定しておいてもよい。この場合でも、物品アイコンをその他の基準に従って並び替え可能にすることが好ましい。
また、この物品アイコンは、センシング手段１２０としてのカメラによって撮像した、物品の実際の画像によって構成してもよいし、その物品の付された電子タグにアイコンデータが記録されているときには、そのアイコンデータを利用してもよい。
場所アイコン操作モードの操作画面に含まれる場所アイコンは、上述したように、環境内における物品の移動場所を表すものであり、例えば、物品が頻繁に移動され得る場所として予め指定しておけばよい。図２２に示す操作画面には、場所アイコンとして、ゴミ箱及びテーブルの各アイコンが含まれている。ここで、場所アイコンの一つであるゴミ箱アイコンは、環境内に存在する一般用ゴミ箱とリサイクル用ゴミ箱とを包括する包括アイコンとなっている。この包括アイコンとは、環境内に存在する複数の場所を包括して操作画面上に示すアイコンである。尚、図２２に示す操作画面に含まれる場所アイコンの一つであるテーブルアイコンは、包括アイコンではなく、環境内のテーブルそのものを示す場所アイコンである。
場所アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと場所アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。このため、物品アイコンと場所アイコンとをそれぞれ指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の場所アイコン（包括アイコン）にドラッグアンドドロップ操作する。これにより、物品と、その物品の移動先が指定される。また、この場所アイコン操作モードにおける操作画面では、複数の物品アイコンを一度に所望の場所アイコンにドラッグアンドドロップ操作可能に構成されている。
次に、場所アイコン操作モードの操作画面における、作業内容の指定手順について、図２３を参照しながら説明する。ここでは、空き缶と紙くずとをゴミ箱に移動させる（ゴミ箱に捨てる）作業を指定する場合を例に説明する。尚、同図に示す矢線は、カーソルの移動軌跡を示している。
ロボット１０２に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。ここでは、カーソルを空き缶アイコンの位置に移動させ、その空き缶アイコンをクリック操作する（同図のＰ０００１参照）。物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンが強調表示される。これによりユーザは、どのアイコンが指定されたかを一目で認識可能になる。
ロボット１０２に移動させる別の物品を指定するときには、カーソルをその別の物品アイコンの位置に移動させて、その物品アイコンをクリック操作する。ここでは、カーソルを紙くずアイコンの位置に移動させ、その紙くずアイコンをクリック操作する（同図のＰ０００２参照）。このときも指定された物品アイコンが強調表示される。従って、ここでは、空き缶アイコンと紙くずアイコンとが、それぞれ強調表示される。尚、さらに別の物品を指定するときには、その物品アイコンをさらにクリック操作すればよい。
こうして、ロボット１０２に移動させる全ての物品アイコンを指定すれば、その指定した物品アイコンを、場所アイコンにドラッグアンドドロップ操作する。このドラッグアンドドロップ操作は、一度行えば指定した全ての物品が操作される。ここでは、空き缶アイコンと紙くずアイコンとを、ゴミ箱アイコンにドラッグアンドドロップ操作する（同図のＰ０００３参照）。
こうして、空き缶と紙くずとをゴミ箱（リサイクル用ゴミ箱又は一般用ゴミ箱）に移動させるという作業内容が指定されることになる。
このようにしてロボット１０２に実行させる作業内容が指定されれば、上述したように、操作端末１０３から環境管理サーバ１０１にその作業内容のメッセージが送信されると共に、上記サーバ１０１から作業ロボット１０２にロボット制御コマンド列が送信される。
そして、上記作業ロボット１０２の制御手段１１５は、受信したロボット制御コマンドを、図１３に示すフローチャートに従って実行する。これにより、操作画面上で指定した物品が指定した場所に移動される。
ここで、場所アイコン操作モードでは、物品の移動先が包括アイコン（上記の例ではゴミ箱アイコン）で指定される場合がある。このように移動先が包括アイコンで指定されたときには、作業ロボット１０２の移動場所選択手段１３０が、指定された物品の実際の移動先を選択する。
上記作業ロボット１０２の移動場所選択手段１３０は、ユーザによって指定された物品の属性に応じて、包括アイコンに含まれる移動先の内から、実際の移動先を選択するものである。この移動場所選択手段１３０には、移動場所選択知識が記憶されており、移動場所選択手段１３０は、この移動場所選択知識に基づいて移動場所の選択を行う。この移動場所選択知識は、例えばｉｆ−ｔｈｅｎルールを利用して記述することができる。具体的に、上記のリサイクル用ゴミ箱と一般用ゴミ箱とを包括するゴミ箱アイコンの例では、
ｉｆ（移動場所＝＝ゴミ箱）｛
ｉｆ（把持物＝＝リサイクル品）｛
移動場所＝リサイクル用ゴミ箱；
｝ｅｌｓｅ｛
移動場所＝一般用ゴミ箱；
｝
｝
と記述することができる。これは、「もし移動場所がゴミ箱に指定されたとき、その移動対象の物品（把持手段１１２が把持した物品）がリサイクル品であれば、上記移動場所のゴミ箱とはリサイクル用ゴミ箱であり、一方、移動対象の物品（把持手段１１２が把持した物品）がリサイクル品でなければ、上記移動場所のゴミ箱とは一般用ゴミ箱である」、という意味である。尚、移動場所選択知識は、ｉｆ−ｔｈｅｎルールに限らず、その他の記述としてもよい。
本システムでは、上述したように、作業ロボット１０２の把持手段１１２にリーダライタが取り付けられている。物品の属性（上記の例では、リサイクル品であるか否か）は、把持手段１１２が物品を把持したときにその物品に取り付けられた電子タグの情報を読み取って判定する。
図２３に示すように、空き缶と紙くずとをゴミ箱に移動させる作業が指定されたときには、作業ロボット１０２は次のようにして指定された作業を実行する（図２４参照）。尚、上記空き缶には電子タグが付されている一方、紙くずには電子タグが付されていないものとする。
すなわち、作業ロボット１０２の把持手段１１２が、指定された２つの物品の内、先ず空き缶２４を把持したとする。このときに、把持手段１１２に取り付けられたリーダライタが空き缶２４に取り付けられた電子タグから情報を読み取る。その情報に基づいて、作業ロボット１０２の制御手段１１５はその空き缶２４がリサイクルゴミであることを認識する。こうして物品の属性が判別されれば、移動場所選択手段１３０は移動場所選択知識に基づいて移動先を判断する。ここでは、空き缶２４がリサイクルゴミであるため、移動先としてリサイクル用ゴミ箱５３が選択される。移動先が選択されれば、そのリサイクル用ゴミ箱５３の位置まで、空き缶２４を把持した状態で上記ロボット１０２が移動する（同図の番号「１」が付された矢線参照）と共に、その空き缶２４を解放することによって、空き缶２４をリサイクル用ゴミ箱５３に捨てる。
次に、作業ロボット１０２は指定されたもう一つの物品である紙くず２３の位置まで移動し（同図の番号「２」が付された矢線参照）、その紙くず２３を把持する。このときに、把持手段１１２に取り付けられたリーダライタが物品に取り付けられた電子タグから情報を読み取るが、紙くず２３には電子タグが取り付けられていないため、情報が得られない。この場合、作業ロボット１０２の制御手段１１５はその紙くず２３が一般ゴミであると認識する。移動場所選択手段１３０は移動場所選択知識に基づいて、紙くず２３の移動先を一般用ゴミ箱５４に選択する。こうして、上記ロボット１０２は、一般用ゴミ箱５４の位置まで紙くず２３を把持した状態で移動し（同図の番号「３」が付された矢線参照）、そこで紙くず２３を解放する。こうして、その紙くず２３を一般用ゴミ箱５４に捨てる。
尚、ここでは、把持手段１０２にリーダライタを取り付けて、各物品に取り付けられた電子タグの情報からその物品の属性を判断するようにしたが、例えば物品データベースに蓄積されたデータに基づいて、物品の属性を判断するようにしてもよい。
このように、場所アイコン操作モードでは、操作画面に、環境内に存在する物品に対応する物品アイコンと環境内の特定の場所を示す場所アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の場所アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。このため、誰もが容易に、ロボットの作業内容を指定することができる。
また、場所アイコン操作モードでは、複数の物品アイコンを一度にドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、包括アイコンを指定するときには、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
さらに、場所アイコン操作モードの操作画面には、包括アイコンが含まれるため、この包括アイコンを利用すれば、ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品の属性に適した移動場所に自動的に物品が移動される。特に上述したように、複数のゴミ（空き缶と紙くず）をゴミ箱に捨てるとき等、複数の物品の移動を行いたいときに包括アイコンを利用すれば、一度の操作だけで、各物品の属性を考慮しなくても、属性に応じた移動場所（上記の例ではリサイクル用ゴミ箱と一般用ゴミ箱）に各物品が移動される。こうして、作業内容の指定が、より一層容易になる。また、例えば一般ゴミをリサイクル用ゴミ箱に移動させたり、リサイクルゴミを一般用ゴミ箱に移動させたりする操作ミスがなくなる。
このような包括アイコンは、上述したように、一般用ゴミ箱とリサイクル用ゴミ箱と包括するゴミ箱アイコンに限らず、その他の場合にも適用可能である。一例を挙げると、冷蔵室と野菜室と冷凍室とを含む冷蔵庫が環境内に設置されている場合において、その冷蔵室、野菜室及び冷凍室の３つの場所を包括する包括アイコンとして、冷蔵庫アイコンを操作画面に表示してもよい。つまり、食品を冷蔵庫に保存する際には、その食品の属性（種類）に応じて、冷蔵室、野菜室及び冷凍室を選択して保存するが、操作画面上に包括アイコンとしての冷蔵庫アイコンを含めておく。このことで、その冷蔵庫アイコンに物品アイコンがドラッグアンドドロップ操作されたときには、その物品アイコンに対応する物品の属性に応じて、移動場所選択手段１３０は、その物品が冷凍食品であれば冷凍室を選択し、その物品が野菜であれば野菜室を選択し、その他であれば冷蔵室を選択する。こうして、ユーザが具体的に指定しなくても、物品に適した場所（室）にその物品が保存されることになる。
尚、上記の場所アイコン操作モードでは、操作画面に包括アイコン（ゴミ箱アイコン）を含めていたが、例えば図２５に示す操作画面のように包括アイコンを用いずに、環境内の実際に場所（リサイクル用ゴミ箱と一般用ゴミ箱）に対応するリサイクル用ゴミ箱アイコンと一般用ゴミ箱アイコンとをそれぞれ、操作画面に含めてもよい。
この操作画面で、ロボット１０２に空き缶と紙くずとをゴミ箱に移動させる作業を指定する場合は、空き缶アイコンをリサイクル用ゴミ箱アイコンにドラッグアンドドロップ操作し、紙くずアイコンを一般用ゴミ箱アイコンにドラッグアンドドロップ操作すればよい（同図の矢印参照）。
（作用アイコン操作モード）
作用アイコン操作モードは、物品に施す作用を指定するモードであり、これによりロボット１０２は、その物品を、指定された作用に応じた移動先に移動する作業を実行する。物品に施す「作用」とは、例えば物品を「捨てる」ということであったり、物品を「片付ける」ということであったり、物品を「保存する」ということであったりする。そして「作用に応じた移動先」とは、具体的に例を挙げて説明すると、物品が「リサイクルゴミ」であり、それに対する作用が「捨てる」であるときには、作用に応じた移動先は「リサイクル用ゴミ箱」となる。また、物品が「食器」であり、それに対する作用が「片付ける」であるときには、作用に応じた移動先は「台所」となる。つまり、「作用に応じた移動先」は、その物品の属性に基づいて決定されることになる。
図２６は、作用アイコン操作モードにおいて、操作端末１０３の表示部１１７に表示される操作画面の一例を示している。この操作画面には、物品アイコンと、物品に施す作用を表す作用アイコンとが含まれている。
上記物品アイコンは、上記場所アイコン操作モードの操作画面（図２２参照）に表示される物品アイコンと同じである。図２６に示す操作画面には、物品アイコンとして、空き缶（ｋａｎ＿ｓｍａｌｌ＿０００１）、積み木（ｔｏｙ＿ｓｍａｌｌ＿０００１）、グラス（ｇｌａｓｓ＿ｓｍａｌｌ＿０００１）、Ｔシャツ（ｔｓｈｉｒｔｓ＿ｓｍａｌｌ＿０００１）、紙くず（ｔｒａｓｈ＿ｓｍａｌｌ＿０００１）の各アイコンが含まれている。
作用アイコン操作モードの操作画面に含まれる作用アイコンは、物品に施す作用を表すものである。図２６に示す操作画面には、作用アイコンとして、「捨てる」アイコンと、「片づける」アイコンとが表示されている。
この作用アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと作用アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。物品の移動作業を指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作する。これにより、物品と、その物品に施す作用とが指定される。
また、この作用アイコン操作モードにおける操作画面でも、複数の物品アイコンを一度に所望の作用アイコンにドラッグアンドドロップ操作可能に構成されている。これにより、ユーザによる作業内容の指定操作を簡便にしている。
尚、図２６に示す矢線は、空き缶（ｋａｎ＿ｓｍａｌｌ＿０００１）、紙くず（ｔｒａｓｈ＿ｓｍａｌｌ＿０００１）を、「捨てる」アイコンに、積み木（ｔｏｙ＿ｓｍａｌｌ＿０００１）、グラス（ｇｌａｓｓ＿ｓｍａｌｌ＿０００１）、Ｔシャツ（ｔｓｈｉｒｔｓ＿ｓｍａｌｌ＿０００１）を「片づける」アイコンにそれぞれドラッグアンドドロップ操作するときの操作例を示している。
このようにしてロボット１０２に実行させる作業内容が指定されれば、上述したように、操作端末１０３は環境管理サーバ１０１にその作業内容のメッセージを送信するが、作用アイコン操作モードでは、メッセージを送信する前に、操作端末１０３の作用／場所変換手段１３１が、指定された物品の移動先を、指定された作用に応じて決定する。
上記作用／場所変換手段１３１には、例えば図２７に示すような、作用／場所変換テーブルが保存されており、作用／場所変換手段１３１は、この作用／場所変換テーブルに基づいて、指定された物品の移動先を決定する。作用／場所変換テーブルは、作用アイコン名の列、物品属性の列、移動場所の列からなる。
ここで、この作用／場所変換手段１３１における処理を、図２６に示す操作画面上で指定されたように、積み木、グラス及びＴシャツを「片づける」と指定された場合を例に、説明する。
操作画面上で、物品とそれに対する作用とが指定されれば、上記作用／場所変換手段１３１は先ず、作用／場所変換テーブルにおける作用アイコン名の列から、指定された作用アイコンを選択する。尚、指定された作用アイコンがテーブルに存在しないときには、その旨をユーザに報知して処理を終了すればよい。ここでは、物品に対する作用として「片づける」が指定されたため、図２７に示す作用／場所変換テーブルの作用アイコン名の列から、「片づける」の行を選択する。「片づける」は、作用アイコン名の列の上から２行目である。
次に、指定された物品アイコンに対応する物品の属性を特定し（例えば、物品データベースに蓄積されている情報に基づいて特定すればよい）、作用／場所変換テーブルにおける物品属性の列から、その物品の属性と一致する属性、又はその物品の属性を含む属性（上位概念属性）を選択する。この「物品の属性を含む上位概念属性」とは、具体例を挙げて説明すると、物品の属性が「グラス」のときには、その属性は上位概念属性である「食器」に含まれる、という意味である。こうした上位概念属性と、物品の属性との関係は、例えば、木構造（階層構造）等で構成して、作用／場所変換手段１３１に予め記憶しておけばよい。尚、作用／場所変換テーブルにおける物品属性の列に、「＊」と記されているものは、物品の属性を問わない（どんな物品でも良い）ことを示す。ここで指定された物品は「グラス」であるため、物品属性の列から、その「グラス」の上位概念属性である「食器」の行を選択する。
こうして、作用アイコンと物品属性とが決定されることにより、作用／場所変換テーブルにおける場所の列で、その物品の移動場所が決定されることになる。尚、この場所の列において、「−」と記されているものは、移動場所が決定できない（適当な場所が無い）ことを意味する。この場合は、その旨をユーザに報知して処理を終了すればよい。ここで、場所の列における「食器」の行に対応する行を参照すると「台所」であるため、「食器」の移動先は「台所」に決定される。
また、指定された別の物品「積み木」を含む上位概念属性は、「玩具」であるため、場所の列において「玩具」の行に対応する行は「押入」であり、「玩具」の移動先は「押入」に決定される。さらに、指定された別の物品「Ｔシャツ」の上位概念属性は「衣類」であるため、場所の列において、その「衣類」の行に対応する行は「洗濯かご」であり、「Ｔシャツ」の移動先は「洗濯かご」に決定される。
図２７に示す作用／場所変換テーブルは、比較的簡単な構成のものであるが、作用／場所変換テーブルには、例えば図２８に示すように、さらに複雑な条件分岐を入れてもよい。この図２８に示す作用／場所変換テーブルでは「片付ける」という作用を「衣類」に施す場合に、その衣類の移動場所が２つ存在し、その衣類の条件に応じて、移動場所が決定されるように構成されている。具体的には、その衣類が使用後であるときには、物品属性の列において「衣類（使用後）」の行が選択され、それによって、その使用後の衣類の移動場所が「洗濯かご」に決定される。一方、その衣類が使用後でないときには、物品属性の列において「衣類（＊）」の行が選択され（尚、「＊」は衣類に設定されたいずれの条件にも適合しないことを示す）、それによって、その衣類の移動場所が「洋服タンス」に決定される。尚、物品の条件（上記の例では、使用後の衣類であるという条件）は、物品データベースに蓄積されているその物品の物品履歴データを参照することによって判断可能である。
このようにして作用／場所変換手段１３１が、指定された物品の移動先を、指定された作用に応じて決定すれば、操作端末１０３からサーバ１０１に作業内容のメッセージが送信されると共に、上記サーバ１０１から作業ロボット１０２にロボット制御コマンド列が送信される。
そして、上記作業ロボット１０２の制御手段１１５は、受信したロボット制御コマンドを、図１３に示すフローチャートに従って実行することになる。
このように、作用アイコン操作モードでは、操作画面に物品アイコンと作用アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品に施す作用を指定するたけでよい。こうすることで、物品の属性と作用とに基づいて、最適な移動場所に自動的に物品が移動されため、誰もが容易に、ロボットの作業内容を指定することができる。
また、作用アイコン操作モードでも、複数の物品アイコンを一括してドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、作用アイコン操作モードでは、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
ところで、作用アイコン操作モードでは、物品とそれに対する作用との関係で、適切な移動場所が存在せず、ユーザが指定した作業内容を実行することができない場合も生じ得る。そこで、作用アイコン操作モードでは、その操作画面を次のように構成してもよい。
すなわち、操作端末１０３の表示部１１７に表示する操作画面には、先ず、物品アイコンのみを表示し、作用アイコンは表示しない。そして、物品アイコンがユーザの操作により指定されたときに、作用／場所変換手段１３１が、作用／場所変換テーブルを参照することにより、その指定された物品アイコン（物品）に対してロボットが行い得る作用を選択し、その選択した作用アイコンを操作画面に表示する。ユーザは、操作画面に表示された作用アイコンに、指定した物品アイコンをドラッグアンドドロップ操作することにより、作業内容の指定を行う。
またこれとは異なり、操作端末１０３の表示部１１７に表示する操作画面には、物品アイコンと作用アイコンとの双方を表示する一方で、物品アイコンがユーザの操作により指定されたときに、その指定された物品に対してロボット１０２が行い得る作用を表す作用アイコンのみを、操作画面に表示し、ロボット１０２が行い得ない作用を表す作用アイコンは、操作画面に表示しないようにしてもよい。また、ロボット１０２が実行し得ない作用を表す作用アイコンを、操作画面上で薄暗く表示することで、その作用が選択不可能であることをユーザに報知してもよい。その作用アイコンが選択不可能であることをユーザが認識可能であれば、どのような表示形態であってもよい。ユーザが、ロボット１０２が実行し得ない作用を表す作用アイコンに、物品アイコンをドラッグアンドドロップ操作したときには、「操作不可能」等のメッセージを操作画面上に表示してもよい。例えば物品データベースに、各物品について、ロボット１０２が施すことの可能な作用を予め蓄積しておくことで、作用アイコンの表示・非表示を行うことが可能になる。
このようにして、ユーザが指定した作業内容をロボット１０２が実行できないということを、未然に防止することができる。
そして、本システムでは、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有することで、指定する作業内容に応じて、操作モードを使い分けることができ、物品移動システムの利便性が高まる。
尚、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードは、ユーザの要求に応じて切り替えるとしたが、これら３つの操作モードは選択的に実行しなくてもよい。例えば、仮想空間操作モードで表示される操作画面と、場所アイコン操作モードで表示される操作画面又は作用アイコン操作モードで表示される操作画面とを、操作端末１０３の表示部１１７に並べて表示してもよい。また、場所アイコン操作モードで表示される操作画面と作用アイコン操作モードで表示される操作画面とを、操作端末１０３の表示部１１７に並べて表示してもよい。
尚、本実施形態では、操作端末１０３の表示制御手段１１８が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ１０１が作成してもよい。この場合、サーバ１０１が作成した操作画面は、ネットワークを介して操作端末１０３に送信し、操作端末１０３は、受信した操作画面を表示部１１７に表示すればよい。また、入力部１１６の操作によって、操作モードの切り替え操作がされたときには、操作端末１０３からサーバ１０１に、モード切り替え要求信号を送信し、それに応じて上記サーバ１０１が指定された操作モード用の操作画面を作成し、これを操作端末１０３に送信するようにすればよい。
以上説明したように、本発明による物品移動システムは、所定の生活空間（環境）内に存在する物品の移動作業を行うロボット１０２と、操作画面を表示する表示部１１７及びユーザが操作をする入力部１１６を有する操作手段（操作端末１０３）とを備え、上記表示部１１７に操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記操作画面上で、上記ロボット１０２に行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボット１０２が上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部１１７に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することたけで、ロボット１０２が指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボット１０２の作業内容を指定可能になる。
本発明では、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含むものであり、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択し、ロボット１０２は、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
生活空間内にリサイクルゴミ用のリサイクル用ゴミ箱と、一般ゴミ用の一般用ゴミ箱との２つのゴミ箱（場所）が存在したときに、操作画面に場所アイコンのみ（リサイクル用ゴミ箱のアイコンと、一般用ゴミ箱のアイコンと）が含まれるときには、例えば、生活空間内のゴミをゴミ箱に捨てる作業をロボット１０２に実行させるときに、ユーザは、そのゴミが、リサイクルゴミであるか一般ゴミであるかを判別した上で、リサイクル用ゴミ箱のアイコンか、一般用ゴミ箱のアイコンかのいずれか一方を指定する操作をしなければならない。
これに対し、これら２つのゴミ箱を包括する包括アイコンとして、ゴミ箱アイコンを操作画面に含める。そして、操作画面上で物品アイコンと、そのゴミ箱アイコンとが指定操作されたときには、その物品の属性に応じて、リサイクルゴミの物品アイコンが操作されたときには、リサイクル用ゴミ箱を選択し、一般ゴミの物品アイコンが操作されたときには、一般用ゴミ箱を選択する。
こうして、包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択すれば、ロボット１０２は、生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
このように包括アイコンを操作画面に含めることで、ユーザは、ゴミの属性を考慮しなくても、「ゴミをゴミ箱に捨てる（移動させる）」という作業内容を、操作画面上で指定するだけで、ロボット１０２が、指定されたゴミを、その属性に応じたゴミ箱に捨てる作業を実行する。このように包括アイコンを用いることで、ユーザによる作業内容の指定が、より一層容易になる。
本発明による物品移動システムは、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部１１７に表示する仮想空間操作モードをさらに有する。
このように、操作画面を生活空間の実状況に則した仮想空間によって構成することにより、一般家庭等の生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品アイコンが配置される。このことにより、生活空間内で様々な位置に置かれる物品の中から、ロボット１０２に移動させる物品を容易に指定することが可能になる。そして、ロボット１０２の作業内容をこの仮想空間内で指定することで、複雑な状況下の生活空間内におけるロボット１０２の作業内容を、容易に指定可能になる。
そして、場所アイコン操作モードと、仮想空間操作モードとの２つの操作モードを有することで、ロボット１０２に実行させる作業内容に応じて操作モードを使い分け可能になる。その結果、簡単な操作でロボット１０２に所望の作業を確実に実行させることが可能になる。
本発明による物品移動システムは、上記操作手段における操作モードとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部１１７に表示する作用アイコン操作モードをさらに有する。すなわち、作用アイコン操作モードの操作画面には、場所アイコン操作モードの操作画面に含まれる場所アイコンに代わって、物品に施す作用を示す作用アイコンが含まれる。
そして、この作用アイコン操作モードでは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作がされることによって、ロボット１０２に扱わせる物品と、その物品に施す作用との指定が行われ、物品と、その物品に施す作用との指定が行われれば、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択する。従って、作用アイコン操作モードでは、例えば、指定された物品が「積み木（玩具）」であり、指定された作用が「片付ける」であったときには、「押入れ」がその移動場所として選択される。また、指定された物品が「グラス（食器）」及び「Ｔシャツ（衣類）」であり、指定された作用が「片付ける」であったときには、「グラス」については「台所」がその移動場所として選択され、「Ｔシャツ」については「洗濯かご」がその移動場所として選択される。さらに、指定された物品が「空き缶（リサイクルゴミ）」であり、指定された作用が「捨てる」であったときには、「リサイクル用ゴミ箱」がその移動場所として選択される。
こうして移動場所が選択されれば、ロボット１０２は、指定された物品を、上記選択した場所に移動する作業を実行する。
このように、作用アイコン操作モードでは、操作画面上で、物品に対する作用を指定することたけで、その物品に適した移動場所が選択され、その物品は、ロボット１０２によって選択された移動場所に移動される。このため、ユーザは具体的な移動場所を指定する必要がない。その結果、ユーザによる作業内容の指定が、極めて容易になる。
そして、場所アイコン操作モードと作用アイコン操作モードとの２つの操作モード、又は場所アイコン操作モードと作用アイコン操作モードと仮想空間操作モードとの３つの操作モードを有することで、ロボット１０２に実行させる作業内容に応じた操作モードの使い分けが可能になる。
また本発明による物品移動システムは、操作画面上で物品アイコンを、他のアイコン（場所アイコン又は作用アイコン）にドラッグアンドドロップ操作することによって、ロボット１０２に移動させる物品と、その物品の移動場所又はその物品に施す作用との指定が行われる。このように、物品アイコンのドラッグアンドドロップ操作という、直感的な操作によって、操作画面上でロボット１０２の作業内容の指定がなされる。これにより、ロボット１０２の作業内容の指定がより一層容易になる。
さらに仮想空間操作モードを、所望の物品アイコンを仮想空間内の所望の場所にドラッグアンドドロップ操作することによって、ロボット１０２に移動させる物品と、その物品の移動場所との指定を行うモードとすることにより、物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定可能になる。このため、ロボット１０２に実行させる作業内容を極めて容易に指定可能になる。さらに、場所アイコン操作モードとは異なり、仮想空間操作モードでは、物品を移動させる移動場所の指定を仮想空間内で行うことになるため、移動場所を自由に指定可能になる。
本発明による物品移動システムでは、場所アイコン操作モードや、作用アイコン操作モードの操作画面は、複数の物品アイコンを一括してドラッグアンドドロップ操作可能に構成される。そして、複数の物品アイコンを、一括して場所アイコンにドラッグアンドドロップ操作したときには、各物品がその場所アイコンで示される場所に移動される。また、複数の物品アイコンを、一括して包括アイコンにドラッグアンドドロップ操作したときには、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。さらに、複数の物品アイコンを、一括して作用アイコンにドラッグアンドドロップ操作したときにも、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。こうして、複数の物品アイコンを一括してドラッグアンドドロップ操作可能にすることにより、ユーザによる作業内容の指定がより簡便化される。
本発明による他の物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボット１０２と、操作画面を表示する表示部１１７及びユーザが操作をする入力部１１６を有する操作手段（操作端末１０３）とを備えるものである。そして、上記物品移動システムは、上記表示部１１７に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記操作画面上でロボット１０２に扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、上記ロボット１０２が上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行するものである。
この構成によると、上述したように、ユーザは、操作画面上で、物品とその物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボット１０２によって選択された移動場所に移動される。このように、ユーザは具体的な移動場所を指定する必要がないため、ユーザによる作業内容の指定が容易になる。
本発明による物品移動システムは、生活空間内に存在する物品を検出するセンシング手段１２０をさらに備え、操作画面には、上記センシング手段１２０により検出された物品に対応する物品アイコンを含めるものである。
本発明によるロボット操作装置（操作端末１０３）は、所定の生活空間内に存在する物品の移動作業を行うロボット１０２の作業内容を指定するための装置であり、上記ロボット操作装置は、操作画面を表示する表示部１１７と、ユーザが操作をする入力部１１６とを備え、上記表示部１１７に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記操作画面上でロボット１０２に行わせる作業内容を指定させる場所アイコン操作モードを有するものである。
これにより、上述したように、ロボット１０２の作業内容の指定は、操作画面上で、物品アイコンと場所アイコンとを指定することによって行われるため、誰もが容易に、ロボット１０２の作業内容を指定可能になる。
また、本発明によるロボット操作装置は、その表示部１１７に、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記仮想空間内でロボット１０２に行わせる作業内容を指定させる仮想空間操作モードをさらに有する。
さらに、本発明によるロボット操作装置は、その表示部１１７に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記操作画面上でロボット１０２に行わせる作業内容を指定させる作用アイコン操作モードをさらに有する。
本発明による他のロボット操作装置は、操作画面を表示する表示部１１７と、ユーザが操作をする入力部１１６とを備え、上記表示部１１７に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部１１６を操作させることによって、上記操作画面上でロボット１０２に行わせる作業内容を指定させる作用アイコン操作モードを有するものである。
この構成により、上述したように、ロボット１０２の作業内容の指定は、操作画面上で、物品とその物品に対する作用を指定することだけでよいため、ロボット１０２の作業内容が容易に指定可能になる。
−他の実施形態−
尚、本実施形態では、環境管理サーバ１０１が操作端末１０３からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット１０２に送信するようにしたが、例えば、操作端末１０３が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット１０２に送信するようにしてもよい。
また、本実施形態では、物品移動システムを、環境管理サーバ１０１、ロボット１０２、操作端末１０３の３つのサブシステムからなり、それらサブシステム１０１〜１０３が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品移動システムはこの構成に限らず、例えば操作端末１０３が環境管理サーバ１０１に一体となった構成でもよい。
またロボット１０２も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
さらに、本システムでは、移動場所選択手段１３０を２番目のサブシステムである作業ロボット１０２に設けたが、この移動場所選択手段１３０は、１番目のサブシステムである環境管理サーバ１０１に設けてもよいし、３番目のサブシステムである操作端末１０３に設けてもよい。
また、作用／場所変換手段１３１を操作端末１０３に設けたが、この作用／場所変換手段１３１は、環境管理サーバ１０１に設けてもよいし、作業ロボット１０２に設けてもよい。
さらに、本システムでは、操作モードとして、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有しているが、例えば、これら３つの操作モードの内のいずれか２つの操作モードだけを有していてもよいし、場所アイコン操作モード及び作用アイコン操作モードのいずれか一方のみを有していてもよい。
−発明の効果−
以上説明したように、本発明による生活空間用の物品移動システム、及びロボット操作装置では、場所アイコン操作モードにおいては操作端末（ロボット操作装置）の表示部に、生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、ロボットに移動させる物品と、その移動先とを指定することができる。このため、誰もが容易に、作業内容の指定をすることができる。また、操作画面に包括アイコンを含めることで、ユーザは、具体的な移動先を指定しなくても、物品の属性に適した移動先に、所望の物品を移動させることができる。
また、仮想空間操作モードでは、生活空間の実状況に則した仮想空間からなる操作画面が操作端末の表示部に表示され、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、仮想空間内の場所とを指定操作するという、直感的な操作によって、物品とその移動先とを指定することができる。また、仮想空間操作モードでは、物品の移動先を仮想空間内で自由に指定することができる。
作用アイコン操作モードでは、操作端末（ロボット操作装置）の表示部に、物品アイコンと場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、物品と、その物品に施す作用とを指定することができる。そして、指定された作用と、物品の属性とに応じて、その物品が所定の移動先に移動される。これにより、ユーザは作業内容の指定を極めて容易に行うことができる。
そして、これら複数の操作モードを有することにより、ロボットに実行させる作業内容に応じて操作モードを使い分けることができ、物品移動システムの利便性を向上させることができる。
（第４の実施形態）
ここでの本発明は、その目的とするところは、家庭やオフィス等の居住空間内において作業ロボットに物品の移動作業を行わせる際に、移動対象物品を指定された位置に適切な状態で設置することにある。
本発明に係る物品管理システムは、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものである。
上記物品管理システムによれば、移動対象物品は設置位置付近の他の物品の状況に応じた姿勢で設置されることになり、物品を整理する場合や、場所を効率的に使用するなど、適切な状態に設置される。
また、本発明に係る物品管理システムは、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものである。
上記物品管理システムによれば、移動対象物品は設置位置付近の状況に応じた姿勢で設置されることになり、適切な状態に設置される。
また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。
上記物品管理システムによれば、指定された設置位置が他の物品に占有されている場合等において、移動対象物品を無理に他の物品と重ねて設置することが防止され、移動対象物品は適切な状態に設置される。したがって、あいまいな指示が出された場合であっても、移動対象物品を適切な状態に設置することができる。
また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。
上記物品管理システムによれば、移動対象物品を他の物品の上に積載できる場合には、そのように積載することにより、移動対象物品を適切な状態に設置することができる。
また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。
上記物品管理システムによれば、設置位置として移動対象物品が設置できないような位置が指定された場合であっても、移動対象物品を指定位置付近の設置可能な位置に設置することができる。したがって、あいまいな指示が出された場合であっても、移動対象物品を適切な状態に設置することができる。
なお、前記物品管理システムにおいて、作業ロボットの保持手段とは、物品を保持するものであればよく、具体的な保持方法は何ら限定されるものではない。保持手段として、例えば、物品を把持する手段、支持する手段、吸引保持する手段、磁力又は電気力を利用して保持する手段等、種々の手段を用いることができる。
また、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間を言う。
すなわち、ここでの態様１では、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものを提供する。
態様２では、態様１において、前記データベースは、物品の種類及び形状の少なくとも一方の情報と、物品の位置及び姿勢の情報とを有し、前記設置姿勢決定手段は、前記移動対象物品と種類及び形状の少なくとも一方が同一又は類似する同一類似物品が前記設置位置付近に存在するか否かを判断し、存在する場合には前記移動対象物品の設置姿勢を前記同一類似物品の姿勢に合わせる。
態様３では、態様２において、前記設置姿勢決定手段は、移動先に指定された設置位置がゴミ箱内である場合には、前記移動対象物品の設置姿勢を前記ゴミ箱内の他の物品の姿勢に合わせないように決定する。
態様４では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置する。
態様５では、態様４において、前記設置姿勢決定手段は、前記設置位置の設置スペースが限られているときには、前記移動対象物品の姿勢を前記移動対象物品が前記設置スペースに収まるように決定する。
態様６では、態様４において、前記設置姿勢決定手段は、前記移動対象物品の設置姿勢を前記移動対象物品が前記設置位置において安定する姿勢に決定する。
態様７では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。
態様８では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。
態様９では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。
本発明の第４の実施形態は、居住空間内に存在する物品を管理する物品管理システムに関するものである。ここで、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間をいう。
図２９は本実施形態に係る物品管理システム１００の全体構成の例を示したブロック図である。図２９では、図２と共通の構成要素には、図２と同一の符号を付しており、ここではその詳細な説明を省略する。
物品移動体データベース１０６及び環境マップ１０８は、本発明でいうところの「データベース」を構成している。また、本実施形態における環境とは、いわゆる居住空間を意味する。
また、マップ情報は、部屋や家具など、通常ほとんど移動しない物体（不動物体）の構造情報から成る。構造情報とは、少なくとも不動物体が占める空間内部及びその上部に存在する、他の物体を設置可能な面（例えば、部屋であれば床、収納であれば棚）の領域情報（例えば、その面の外接多角形の頂点）を言う。領域情報は、座標系表示、座標系と形状とによる表示などにより表される。
図３０は本実施形態に係る物品移動体検索・管理手段１０５の基本構成を概念的に示すブロック図である。図３０の物品移動体検索・管理手段１０５は、前記物品移動体データベース１０６に登録されている物品が移動体によって操作されていることを検出する物品操作者検出手段４０１と、物品操作者検出手段４０１により検出された、操作物品を操作している移動体の情報を取得する移動体情報取得手段４０２とを備えている。
物品操作者検出手段４０１は、センシング手段１２０を利用することにより、物品が移動体によって操作されていることを検出する。例えば、前述のようにセンシング手段１２０が背景差分法を利用している場合には、入力画像とモデル画像とを比較し、経時的に差のある部分が生じたときに、その領域で物品が操作されていると推定する。もちろん、物品操作者検出手段４０１による検出方法は上記方法に限ったものではなく、例えば電子タグを使ってもかまわない。
移動体情報取得手段４０２は、物品が移動体によって操作されていることを物品操作者検出手段４０１が検出したときに、その物品を操作している移動体の情報を取得する。例えば、前述のようにセンシング手段１２０としてカメラを利用している場合、操作の行われた領域の画像をカメラで取得し、その画像に対して顔認証処理を行なう。こうして同定された移動体は、物品が操作された際にその近傍にいたと考えられるので、この移動体を操作者と推定する。もちろん、背景差分法では通常、広域を撮影するカメラを利用するため、顔認証を行なうには解像度が足りない場合もある。そこで、背景差分法のためのカメラとは別に顔認証用に狭角の高分解能カメラを設置し、物品操作者検出手段４０１によって物品の操作が検出された領域に上記狭角カメラを向けて、認証を行なうようにしてもよい。もちろん、移動体の同定を行なう方法は顔認証に限ったものではなく、虹彩認証などであっても構わない。また、認証まで行なわず、操作が行なわれている領域の画像をカメラで撮影し、その画像を他の手段で利用するようにしてもよい。これらの画像を、認証がうまくいかなかったときにのみ利用するようにしてもよい。
センシング手段１２０として電子タグを用いる場合には、図５のように、タグリーダライタを適宜配置することにより、物品及び移動体の情報を収集することができる。また、特定の場所での物品の操作を管理する場合、タグリーダライタを特定の場所に配置することにより、物品情報と移動体情報とを取得することが望ましい。
このようなタグリーダライタを利用する場合、物品と一緒にドアや窓を通過した移動体の情報を、その物品の持出者として物品移動体データベース１０６に蓄積していくことが望ましい。このことにより、物品の持出者の管理を自動的に簡単な処理で行うことができる。
＜物品移動体データベース＞
図３１は物品移動体データベース１０６の構成とデータの記載内容例を示した概念図である。物品移動体データベース１０６は、大別すると、物品を扱うデータベース（図３１（ａ）参照）と移動体を扱うデータベース（図３１（ｂ）参照）とからなる。
物品を扱うデータベースは、各々種類の異なるデータを蓄積する３種類のサブデータベース、すなわち物品データ３０１と物品履歴データ３０２と物品属性データ３０３とをそれぞれ蓄積するデータベースからなり、それぞれのデータ内容は下記の通りである。
物品データ３０１は、個々の物品を区別するためのＩＤと、当該物品の操作履歴である物品履歴データ３０２へのポインタと、その物品の物的属性が記載された物品属性データ３０３へのポインタとから構成される。種類の同じ物品であっても物理的に別の存在であれば、それらを別の物品として扱う必要がある。そのため、同種の物品であっても、異なるＩＤが割り当てられる。一方、種類の同じ物品はＩＤが異なるが、同じ物的属性を持つ。そのため、同種物品であれば同じ物品属性データ３０３へのポインタを指し示すようにし、データベースの容量を無駄に使わないようにしている。
物品履歴データ３０２は、当該物品の操作履歴を格納するものであり、操作が行われた時刻、操作内容、操作者、及び操作後の位置の４項目からなる。位置のデータについては様々な表し方があるが、本例では６つのパラメータで位置を表すこととする。最初の３つのパラメータ（ｘ１，ｙ１，ｚ１）は、物品の位置（例えば物品の重心位置等を代表位置として用いることができる）を表し、後の３つのパラメータ（α１，β１，γ１）は物品の姿勢を表している。なお、物品の姿勢の表し方については後述する。これら、位置及び姿勢のデータは、前記センシング手段１２０又は後述するロボットのセンサ１１１（図２９参照）によって取得される。なお、操作者は、後述する移動体データとして登録された移動体のいずれかから、前述したような推論によって選ばれる。
物品属性データ３０３は、当該物品の持つ固有の物理属性情報を蓄えるものであり、図３１（ａ）では形状、重さ、外観の画像等が一例として挙げられている。これらの属性データは、事前に人手を介してそれぞれの属性に適した計測方法で取得され、登録されている。
次に、図３２を参照しながら、物品の形状データ及び姿勢データについて説明する。
まず、物品の形状データについて説明する。図３２（ａ）は本来の物品（例えば飲み物の缶）の形状（円筒）を示している。このような物品に対し、ステレオ視による三次元計測技術等を用いることにより、図３２（ｂ）のように物品の表面を複数の面で近似したポリゴンデータを得ることができる。各面は適当に定めた物品座標（図中のＸ’、Ｙ’、Ｚ’）上での頂点の座標の集合として記述される。
次に、物品の姿勢データについて説明する。図３２（ｃ）は、この物品が実世界に置かれている状況を示している。なお、座標Ｘ−Ｙ−Ｚは実世界の座標を示し、座標Ｘ’−Ｙ’−Ｚ’は物品を基準とした座標（物品座標）を示している。実世界に置かれた物品の形状は、前述したように、環境管理サーバ１０１のセンシング手段１２０又は作業ロボット１０２のセンサ１１１を２つのカメラで構成し、ステレオ視による三次元計測を行うこと等により得ることができる。そして、前記物品の形状データ（ポリゴンモデル）とのマッチングを取ることにより、物品が実世界上でどのように３次元的に回転させられているかを知ることができ、そのマッチングに基づいて物品の姿勢データを得ることができる。
具体的には、物品の形状データ（ポリゴンモデル）と実世界上での形状データとのマッチングを行った後に、物品の形状データに付随する前記物品座標が実世界上でどのように３次元的に回転しているかを求める。そのために、まず、Ｘ’軸がＸ軸に対して水平方向に角度αだけ回転し、上下方向に角度βだけ回転していると仮定し、それら角度α及びβの値を求める。図３３（ａ）は、Ｘ’軸を水平方向に−αだけ回転し、上下方向に−βだけ回転した図である。次に、図３３（ｂ）に示すように、Ｚ’軸がＺ軸に対して角度γだけ回転しているとし、その角度γの値を求める。このようにして、物品が実世界に置かれている時の姿勢データを、変数（α、β、γ）を用いて特定することができる。
なお、このような姿勢データは、ロボット１０２により把持物品を設置する際、設置位置の状況と物品の把持姿勢とが合致しないときに、当該物品を適正な姿勢に変更する等の目的で使用される。例えば、後述する図３７のように、把持した本５０を本棚５５に収納する際、本５０を上下方向に立てた姿勢（姿勢２）では本の高さが本棚５５の収納高さよりも高くなるような場合に、把持姿勢を上記姿勢２から本棚に収まる姿勢（前後方向に立てた姿勢３）へと変更する。上記姿勢データは、このような場合などに用いられる。
次に、移動体を扱うデータベース（図３１（ｂ）参照）について説明する。移動体を扱うデータベースは、それぞれ移動体データ３０４、移動体履歴データ３０５、及び移動体属性データ（図示せず）の３種類のデータを蓄積するサブデータベースからなり、それぞれのデータ内容は下記の通りである。
移動体データ３０４は、個々の移動体を区別するためのＩＤと、当該移動体の移動履歴を格納した移動体履歴データ３０５へのポインタとから構成される。
移動体履歴データ３０５は、時刻と、当該時刻における移動体の位置と、当該時刻における移動体の状態とから構成される。なお、移動体の位置は、平面上における座標（Ｘ、Ｙ）と、向きｒの３値によって表される。
図示は省略するが、移動体属性データは、当該移動体の持つ固有の物理属性情報を蓄えるものであり、重さ、形状等がその一例として挙げられる。
なお、移動体履歴データ３０５において、移動体の状態とは、移動体が人物であれば「座る」、「立つ」、「寝る」、「歩く」などの一般的な人間の動作を表し、移動体がロボットであれば「把持」、「解放」など、ロボットが物品に対して行うことのできる操作を表す。これらは、あらかじめ移動体毎に可能な状態を決めておき、それらのうちのどれかを選択するようにすればよい。なお、移動体がロボットの場合には、操作内容だけでなく、操作対象物品ＩＤと操作内容とを組にして表すこととする。
後述するように、本物品管理システム１００の機能の一つとして、ロボット１０２が把持物品を目的の位置に設置する際、その物品の姿勢を設置位置の状況等に応じて変更する機能がある。例えば、設置位置付近に既に他の物品が置かれている場合に、把持物品を他の物品と並べて設置する機能等である。このような機能を発揮するためには、物品の情報として、物品がどの場所にどのような姿勢で置かれているかを逐次記録し、データベースに蓄えておく必要がある。しかし、そのためには、必ずしも過去にさかのぼった履歴データまでは必要とせず、常に最新の情報を把握していれば足りる。
物品移動体データベース１０６のデータ更新の例については、第１の実施形態で示したとおりである。
＜環境マップ管理手段＞
環境マップ管理手段１０７は、作業環境内のマップの管理を行う。図３４は環境マップの例を実状況と対比して示した概念図であり、図３４（ａ）は実際の状況を表した図、図３４（ｂ）は環境マップとして実際の状況を簡略化した立体モデルで示した図、図３４（ｃ）は実際の状況をさらに簡略化して平面モデルで示した図である。環境マップは、このように立体データとして表してもよいし、もっと簡単に平面データとしてもよい。データはマップの用途やマップ作成に要する手間に応じて作成すればよく、例えば立体モデルを非常に短時間で作る必要があれば、立体物に関してはそれを覆う最小の直方体でモデル化するなどすればよい。例えば、図３４（ｂ）のモデルはそのような例である。図３４（ｂ）では、図３４（ａ）において中央に位置するテーブルは直方体でモデル化されている。平面データでも同様であり、図３４（ｃ）のモデルにおいては、中央に位置するテーブルを平面に正射影した矩形領域（図３４（ｃ）のハッチ部分の矩形領域）で表し、この領域をロボット移動不可領域として定めている。
＜環境マップ＞
図３５は環境マップ１０８のデータの一例を示した図であり、図３４に対応したデータを示している。環境マップ１０８は、環境マップ９０１及び家具属性データ９０６を備えている。
環境マップ９０１には、部屋の広さを示すデータ９０２が保存されている。また、本例では部屋の中に“テーブル”と“本棚”と“ゴミ箱”とが存在するので、環境マップ９０１にはそれぞれのデータ９０３〜９０５が保存されている。家具属性データ９０６には、部屋や家具等のそれぞれの属性が保存されている。例えば、家具属性データ９０６中の部屋の属性９０７には、部屋内に高さの異なる床面が複数ある時にはその床面の数だけの床面データが記録されている。
前記床面のデータは、その面の頂点の座標（実世界座標での座標位置）が記述されており、その他、天井までの高さ、及び床面の材質が面毎に付されている。例えば、長方形の床面のデータの場合、データは、
（（Ｘ１，Ｙ１，Ｚ１），（Ｘ２，Ｙ２，Ｚ２），（Ｘ３，Ｙ３，Ｚ３）（Ｘ４，Ｙ４，Ｚ４），２２００，０）
と表される。但し、高さの基準としては、その部屋で最も低い床の高さを０とする。最初の４つの座標は頂点の座標を表し、次の値２２００は天井までの高さ（２２００ｍｍ）を表し、最後の数値は床面の材質を表している。床面の材質は、例えば、「０」はフローリング、「１」は畳、「２」は絨毯、等であり、材質毎に予め対応する数字が定められている。
また、各家具の属性には、家具の表面を多面体で近似したときの複数の面のデータ、家具の種類、物品の設置可能面、設置可能面に設置される主な物品の形状と姿勢等が記録されている。
前記家具の面のデータは、その面の頂点の座標（実世界座標での座標位置）が記述されており、その他、その面に物品が設置できるか否かを示すフラグ、及びその面が物品を設置できる面であれば上方への高さが付されている。上方への高さとは、例えばテーブルの天板であれば天井までの高さ、棚であればもう一つ上の棚までの距離を示す。
例えば、頂点の数が３つの面のデータの場合、
（（Ｘ１，Ｙ１，Ｚ１），（Ｘ２，Ｙ２，Ｚ２），（Ｘ３，Ｙ３，Ｚ３），１，４００）
と表される。最初の３つの座標は頂点の座標、次の数値「１」は物品が設置できることを意味する。この数が「０」の面は、物品が設置できない面である。最後の数値４００は上方への高さ４００ｍｍを示している。また、家具の種類のデータは、その位置にある家具がどの家具（テーブル、本棚、ゴミ箱等）かを判定するのに利用される。
家具の設置可能面に設置される主な物品形状と姿勢等とは、例えば、その家具が本棚の場合、主に収納される物品である「本」の形状（通常本棚に立てかけられた状態において、幅に比べて奥行きと高さが極端に長い直方体）と、その本を設置するときの通常の姿勢とを表している。ただし、テーブルやゴミ箱のように、そこに設置される物品の形状や姿勢に限定がない場合もある。家具属性データ９０６がこのような属性を持つことで、作業ロボット１０２が把持物品を設置する際に、設置姿勢を良好なものにすることができる。例えば、作業ロボット１０２が把持した物品が本に似た形状であり、その設置位置に本棚が指定された場合に、通常本棚に本を立てかけるが如く把持物品を設置することができる。もちろん、本棚と本との関係以外にも、例えば靴棚と靴、食器乾燥機（あるいは食器棚）と食器といった収納にも用いることが可能である。
ロボット１０２がこの環境内で移動する際には、これらの環境マップ１０８を用いながら移動経路計画を立てていく。例えば、図３４（ｃ）の平面モデルを用いた環境マップを用いてロボット１０２をＡ１地点からＡ２地点まで移動させる際には、ロボット１０２の形状や大きさを踏まえて、前記移動不可領域を回避するルート（図３４（ｃ）の曲線矢印）を計算して決めればよい。
＜環境管理サーバの制御手段＞
環境管理サーバ１０１の制御手段１１０は、サーバ１０１の全体を制御する部分であり、前述したように、主な制御内容として以下のものが挙げられる。
すなわち、制御手段１１０は、サーバ１０１内の各種データに関して送受信手段１０９を介して外部から問い合わせがあった場合に、その内容に応じて物品移動体検索・管理手段１０５または環境マップ管理手段１０７に対し、前記データの参照要求を出す。また、制御手段１１０は、前記要求に対して物品移動体検索・管理手段１０５または環境マップ管理手段１０７から送られてきた結果を、送受信手段１０９を介して問い合わせ元に送る。また、制御手段１１０は、送受信手段１０９を介して外部から送られてきたサーバ内にある各種データに関する登録・更新の要請を解釈し、その内容に応じて物品移動体検索・管理手段１０５または環境マップ管理手段１０７に対し、前記データの登録・更新要求を出す。なお、この制御手段１１０の詳細な動作については後述する。
−作業ロボットの構成−
作業ロボット１０２は、物品管理システム１００において、環境内の物品を実際に把持して持ち運ぶ役目を担う。ロボット１０２による物品把持および運搬操作は、その一部又は全部が自動化されていてもよい。本実施形態では、後述する操作端末１０３を通じてユーザによって指示が出され、ロボット１０２はその指示に従って作動する。
図２９に示すように、ロボット１０２はその基本構成として、ロボットの周囲近辺の障害物などを検知したり、把持する物品の情報を得るセンサ１１１と、物品を把持する把持手段１１２と、環境マップ１０８を使って移動計画を立てる移動計画作成手段１１３と、把持物品の設置姿勢を設置位置の状況等に合わせて計算する設置姿勢決定手段１４０と、把持物品を設置する際に設置位置に既に他の物品が置かれているかどうか等を判定し、必要ならば設置位置を変更する設置位置決定手段１４１と、移動のための移動手段１１４と、環境管理サーバ１０１や操作端末１０３とデータの送受信を行う送受信手段１０９と、それら各手段をコントロールする制御手段１１５とからなる。
ここで設置位置とは、例えば実空間上の１点を示し、その位置に物品を設置するということは、例えば物品の代表点（例えば重心）をその設置位置に合わせて設置することを意味する。従って、例えば重心を代表点とした場合、設置されている物品の位置は、物品の重心を表している。ただし、物品の代表点は重心に限らず、形状上の中心点等、他の点であってもよい。
図３６は、本実施形態に係るロボット１０２の一例を示した模式図である。以下、図においてアーム２０１の先端が向いている方向をロボットの前面として、ロボット１０２の各手段の説明を行う。
移動手段１１４は、ロボット本体の片側に２つずつ設けられ、両側で合計４つの車輪によって構成されている。本例では移動手段１１４として車輪の例を示したが、移動手段１１４としては、ロボットの使われる場所や環境に応じて最適な手段を選べばよい。例えば凹凸の多い地面を移動する場合ならば、クローラ型や多足歩行の移動手段を使ってもかまわない。なお、アーム２０１やハンド２０２からなる把持手段１１２が家屋内全域を可動域とする場合には、この移動手段１１４は必ずしも必要とはしない。
センサ１１１はボット周囲の近辺の障害物などを検知するものであり、本例では超音波センサ１１１ａ、視覚センサとしてのステレオカメラ１１１ｂ、及び衝突センサ１１１ｃからなる。超音波センサ１１１ａは前面、背面、左右の側面にそれぞれ３カ所ずつ取り付けられ、超音波を発してその反射波を受信するまでの時間を測定することで、当該センサから障害物までのおおよその距離を計算するものである。本実施形態では、超音波センサ１１１ａにより、近距離の障害物を衝突前に検知することとしている。ステレオカメラ１１１ｂは、周囲の状況を画像として入力し、その画像に認識などの処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得る。衝突センサ１１１ｃは、当該センサ１１１ｃに所定の力の衝撃があったことを検知するセンサであり、他のセンサで検知できない障害物に対して、それが外部からぶつかってきたことやロボット自身が移動中にぶつかったことを検知する。
移動計画作成手段１１３は、指定された場所への移動命令がロボットに対して発せられたとき、現在位置から指定場所への移動経路を、前記環境管理サーバ１０１から取得した環境マップ１０８のデータを使って作成する。当然のことながら、現在位置から目的地までの間に障害物が存在する場合はそれを回避するための経路が必要となるが、環境マップには前述のようにロボットが移動可能な領域が予め記されているので、その領域内での移動経路を作成すればよい。また移動経路作成に当たっては、最も一般的なダイクストラ法等が用いられる。
設置姿勢決定手段１４０は、ロボットが把持した物品を設置する際の把持姿勢（設置姿勢）を、設置位置の状況に応じて決定する。例えば、その設置位置付近に把持物品と同様の他の物品が置かれていれば、他の物品の姿勢に合わせて把持物品の姿勢を変更する。また、把持したときの姿勢のままでは把持物品を設置位置に置くことができない場合（例えば、把持物品が設置位置の空間内に収まらない場合等）に、設置位置に設置できるように把持物品の姿勢を変更する。この時、設置位置の状況（どれだけの幅、奥行、高さがあるかなど）や設置位置付近に置かれた他の物品の情報が必要となるが、それらの情報は前記環境管理サーバ１０１に問い合わせることで得ることができる。
図３７を参照しながら、本５０を本棚５５に収納する例を説明する。本物品管理システム１００では、ロボット１０２で把持した本５０（姿勢１）を本棚５５に入れる時、まず、指定された設置位置５６の付近に他の本５７があるか否かを調べ、ある場合には前記他の本５７の姿勢を調べる。そして、把持した本５０の姿勢を他の本５７の姿勢に合わせる。ここでは、他の本５７は立った姿勢で収納されているので、把持した本５０も立った姿勢に合わせられる。
しかし、立った姿勢には、本５０の長辺が縦方向に延びる姿勢（姿勢２）と横方向に延びる姿勢（姿勢３）とがあり得る。しかし、本棚５５の設置スペースは限られており、本５０の高さが本棚５５の収納高さを超えている場合は、本５０の長辺が縦方向に延びる姿勢（姿勢２）では本５０を収納することができない。そこで、他の本５７に合った姿勢でかつ本棚５５の設置スペースに収まる姿勢（姿勢３）を選択し、把持した本５０をその姿勢に変更してから設置する。なお、設置スペースが限られているか否かは、例えば、設置スペースが仕切られた空間であることや、設置スペースの最大長さが物品の最大長さよりも短いこと等によって判断することができる。また、本を本棚に設置するだけでなく、食器を食器棚や食器洗い乾燥機に効率よく設置する場合にも応用することが可能である。
従来技術では、設置する場所には扱う物品と比較して十分な広さがあることが前提となっていたが、例えば本棚のように高さに制約がある場合等では、従来技術をそのまま応用することはできない。また、産業用途では物品の形は画一化されていたので、移動に際して特別な処理をしなくても、結果的に整理された状態で物品を設置することができていた。しかし、家庭やオフィス内で使用される多様な形状の物品を整理された状態で設置するには、上記設置姿勢決定手段１４０が行うような処理を必要とする。この設置姿勢決定手段の詳しい動作については後述する。
設置位置決定手段１４１は、ロボットが把持した物品を設置する際、その設置位置に既に他の物品が置かれているか否かを調べる。そして、設置位置に他の物品が置かれていれば、他の物品の上面がフラット（水平）であるかどうか、その上面の大きさが把持物品を積載するのに十分であるかどうか、他の物品の材質が堅いものであるのかどうか等を判定し、前記物品の上に把持物品が設置できないと判断すれば設置位置を前記物品付近の設置可能な位置に変更する。この時、設置位置の物品情報や設置位置付近の設置可能なスペースの情報は、前記環境管理サーバ１０１に問い合わせることで得ることができる。
ここで、図３８を参照しながら、「設置位置に他の物品が存在するかどうか」の判断、及び設置位置の変更の具体例を説明する。図３８は、指定された設置位置に平積みされている複数の本６１が既に存在している場合に、把持した本６０の設置位置を変更する例である。本例では、「設置位置に他の物品が存在するかどうか」は、設置位置に把持物品６０の重心を合わせた場合に、把持物品６０と既に設置された物品６１とが重なるかどうかで判断される（図３８（ｂ）参照）。また、「設置位置付近の設置可能な位置」は、把持物品６０と他の物品６１とが全く重ならないような位置が最も望ましいが、必ずしもこのような位置に限定されるものでもない。例えば、物品の種類によっては、設置した物品６０が姿勢を崩さない（倒れない）程度に重なったり、互いに接触する程度は、許容範囲内と見なされる場合もある。図３８に示した例は、物品が本であり、姿勢を崩さない程度に積み重ねることに問題はないため、そのように重ねた場合の例である。図３８（ａ）及び（ｂ）に示すように、本が多数平積みされている状況で設置位置（本６０の重心Ｇ）を平積みされた本６１の少し外側に設定したとする。この場合、本６０をそのまま設置位置に設置したのでは、本６１の平積み状態は崩れてしまい、本６０自体も安定せず、転倒することになる。そこで、このような場合は、設置位置を平積みされた本６１の重心の位置に変更する。これについても詳しい動作については後述する。
把持手段１１２は物品を把持する手段であり、本実施形態では、図３６に示すように多関節からなるアーム２０１と、アーム２０１の先端に配設されたハンド２０２とから構成される。ただし、作業ロボット１０２の保持手段は、物品を把持する手段に限定されるものではない。例えば、皿状の支持手段を備え、その支持手段に物品を載せて目的位置まで移動させるようにしてもよい。
作業ロボット１０２の制御手段１１５は、外部から送受信手段１０９を介して送られてきたロボット操作コマンドリストを解釈し、順にコマンドを実行していく。環境管理サーバ１０１の制御手段１１０と同様、作業ロボット１０２の制御手段１１５についても、その動作は後で詳しく述べることとする。
−操作端末の構成−
３番目のサブシステムである操作端末１０３は、物品管理システム１００においてユーザが環境内の物品操作を指示する為の端末である。
図２９に示すように、操作端末１０３はその基本構成として、物品操作を指示する物品操作手段１４２と、操作画面を表示する表示手段１４３と、物品操作手段１４２にて入力された物品操作の指示内容を環境管理サーバ１０１に送信する等の送受信動作を行う送受信手段１０９と、それら各手段をコントロールする制御手段１４４とからなる。
オペレータは、物品操作手段１４２及び表示手段１４３を用いて物品の移動操作を指示したり、物品や移動体の情報を入力する。物品に対する移動操作であれば、物品操作手段１４２を介して入力された前記移動操作の命令は、送受信手段１０９を介して作業ロボット１０２に送られ、当該命令を受けた作業ロボット１０２は、移動先の状況等を考慮したうえで指示通りに物品を移動させる。また、物品操作手段１４２を介して物品や移動体の情報を入力した場合、及び物品の検索を行った場合には、前記環境管理サーバ１０１に対してこれらの要求が送信され、環境管理サーバ１０１から回答を受信する。制御手段１４４は上記各手段の制御を行うものであり、その動作に関しては後で詳しく述べる。
以上、物品管理システム１００の全体構成について、各サブシステム１０１，１０２，１０３毎に順に説明を行った。
なお、図２９では、本物品管理システム１００が環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の３つのサブシステムからなり、それらサブシステムが無線または有線などのネットワークを介して互いに情報をやりとりするような構成をなす例を示した。しかし、本発明に係る物品管理システムの構成は、上記構成に限定されるものではない。例えば、操作端末１０３が環境管理サーバ１０１あるいは作業ロボット１０２に付随されている構成であってもよい。また、ロボット１０２も１台ではなく、複数台が協調しながら作業を並行して行う構成でも構わない。さらに、作業ロボット１０２の移動計画作成手段１１３、設置姿勢決定手段１４０、設置位置決定手段１４１を環境管理サーバ１０１にもたせることで、データベースアクセスに伴う通信量を減らすことも可能である。
−物品管理システムの動作−
以降では、本物品管理システム１００の動作、すなわち、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各サブシステムにおける制御手段１１０，１１５，１１８がどのように動作するかを説明する。
本実施の形態では、統一性を持たせるために、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３は全て、後述するメッセージをやりとりすることで命令・質問・回答等の要求を行う。
図３９は、そのようなメッセージの書式の一例を示している。本例では、上から順に、メッセージ開始符号（ＳＴＸ）、電文長、総パケット数、パケット番号、送信日時、メッセージＩＤ、送信元、送信先、コマンド番号、引数、メッセージ終了符号（ＥＴＸ）である。通信プロトコルにパケット通信を行うＵＤＰ／ＩＰ等を利用する場合、パケット毎に送信先に到着するとは限らないので、総パケット数及びパケット番号を用いて、受信側で分割されて受信したパケットからメッセージを再構築する。また、電文長及び総パケット数は全てのパケットを受信したことの確認に用い、前記メッセージを正しくやりとりできるようにする。
また、上記メッセージを受信できたかどうかを、ＡＣＫ又はＮＡＣＫメッセージとして送信元に送り返す。図４０はＡＣＫ及びＮＡＣＫメッセージの一例を示している。番号６のメッセージＩＤを、受け取ったメッセージのメッセージＩＤと同じくすることで、ＡＣＫ又はＮＡＣＫメッセージを受け取った方は、自分が送ったどのメッセージに対するものかを知ることができる。全パケットを受信しメッセージが受け取られると、ＡＣＫメッセージを送信元に返す。もし全パケットを所定の時間内に受信できないなど通信に何らかの障害が発生したと思われる場合には、番号１０にエラーコードを代入してＮＡＣＫメッセージを送信元に送り返す。送信元ではＡＣＫ又はＮＡＣＫメッセージを所定の時間待ち、時間内にどちらのメッセージも返ってこなければ再送を試みる。また、何度か再送を試みてもＡＣＫ又はＮＡＣＫメッセージが返ってこない場合には、通信エラーとなり、例えばシステムを停止させる等の措置をとる。
以下では、各サブシステムに共通に用いられるメッセージの送受信と処理の仕組みについて説明し、その後、各サブシステム毎に固有の構成、具体的メッセージとそのメッセージを受け取った時の動作について説明する。
図４１は、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各制御手段１１０，１１５，１１８において共通に利用されるメッセージ処理の構成１３００を示している。本構成１３００は、送受信手段１０９から入力されたパケットをメッセージとして再構築するメッセージ受信部１３０１と、再構築されたメッセージを蓄積するメッセージキュー１３０２と、メッセージキューの先頭から一つずつメッセージを取り出して解釈し、メッセージ処理部１３０３に引き渡すメッセージハンドラ１３０４とを備えている。前記メッセージ受信部１３０１及び前記メッセージハンドラ１３０４は、それぞれスレッドプログラム等として実装することで、メッセージ受信を行いながら他のメッセージを処理することが可能である。
図４２は、図４１の構成１３００におけるメッセージをやりとりする動作を示したフローチャートである。本動作では、ステップＳ１４０１でメッセージキュー１３０２にメッセージが蓄積されているかをチェックし、蓄積されていれば上から一つメッセージを取り出す。ステップＳ１４０２では、そのメッセージが停止メッセージかどうかを判定し、もし前記メッセージが停止メッセージであれば、終了処理（ステップＳ１４０３）を行い、停止する。ここで終了処理とは、他のスレッド（例えば、メッセージ受信部１３０１等）を停止させることである。ステップＳ１４０２の判定の結果、前記メッセージが停止メッセージでなければ、ステップＳ１４０４のメッセージ処理を前記メッセージ処理部１３０３で行う。メッセージ処理部１３０３では、それぞれの構成要素に応じた動作を実行したり、内部変数の値（例えば、環境管理サーバ１０１であれば物品や移動体の位置等）を問い合わせ先にメッセージとして送信する。なお、各サブシステム毎に動作が異なるので、それらについては後述する。
以上で、各サブシステムにおけるメッセージの基本的なやりとりの仕組みを説明した。ところで、図４１に示したメッセージハンドラ１３０４のメッセージ処理部１３０３は、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各々のサブシステム毎に、理解できるメッセージ及びメッセージに対するアクションが異なる。そこで、具体的な作業を取り上げ、その作業に沿って各サブシステムの制御手段の処理構成及び処理されるメッセージ毎にその動作を説明することとする。
ここでは具体的な作業として、オペレータがある物品（例えば空き缶）を指定した場所（例えばゴミ箱）に移動させる例を取り上げる。
まず、操作端末１０３の制御手段１４４の動作について述べる。図４３は操作端末１０３の制御手段１４４の処理構成を示している。操作端末１０３の制御手段１４４では、前述した共通の構成に加えて、物品操作手段１４２から入力された操作指示をメッセージとして生成する操作メッセージ生成部１５０１と、最新の環境情報（部屋の映像や物品の位置など）を取得し前記表示手段１４３に表示するための表示制御部１５０２とを有する。操作メッセージ生成部１５０１は、オペレータからの操作指示を上記メッセージの書式に合わせてメッセージとして生成し、メッセージキュー１３０２に蓄積する。表示制御部１５０２は、環境情報を環境管理サーバ１０１に常に問い合わせており、表示手段１４３に視覚情報として表示している。オペレータは、前記物品操作手段１４２（例えばマウス、タッチパネル又はタブレット等のポインティングデバイスなど）を用い、前記表示手段１４３を見ながら物品の移動等の操作指示を行う。ここでは物品操作手段１４２としてＧＵＩを用いたが、音声認識・合成を用いた音声Ｉ／Ｆ（インターフェース）やキーボード等のＩ／Ｆを用いることも可能である。前記操作メッセージ生成部１５０１は、メッセージ受信部１３０１と同様、スレッドプログラムとして他のスレッドと並列で実行されており、オペレータからの操作指示を常に受け付けることが可能となっている。
操作端末１０３は、電源がＯＮされるとその直後に一度だけ初期設定を行う。これには、例えば、他のサブシステムとの通信路の確立等や、各スレッドプログラムの実行などが含まれる。
まず、操作メッセージ生成部１５０１は、物品操作手段１４２にオペレータからの指示が入力されると、指示を含んだメッセージをメッセージキュー１３０２にため込む。図４４は、オペレータが前記表示手段１４３を参照しながら、マウスを用いて物品（空き缶）を床（座標（Ｘ０，Ｙ０，Ｚ０））からゴミ箱（座標（Ｘ１，Ｙ１，Ｚ１））にドラッグ操作した例を示している。図４５は、この時に操作メッセージ生成部１５０１で生成されるメッセージの一例を示している。図４５中の番号１〜６及び１１の項目は、正しくメッセージを受信するのに必要な項目であるが、メッセージの内容とは無関係なので、ここでは説明を省略する。ここでは、送信元（オペレータを示す“Ｐ０”）から送信先（操作端末を示す“Ｉ０”）にコマンド（ロボットへの物品移動コマンド“０１”）を送るメッセージが表されている。番号１０の引数は、一つ（最初の“００１”は移動する物品の個数）の物品（座標（Ｘ０，Ｙ０，Ｚ０）にある物品）を座標（Ｘ１，Ｙ１，Ｚ１）の位置に移動することを意味している。複数の物品を移動する場合は、各物品につき、現在の位置と移動先の位置とが交互に並べられる。
図４６は、操作端末１０３におけるメッセージ処理部１３０３の処理のフローチャートを示す。メッセージハンドラ１３０４は、メッセージキュー１３０２からメッセージを一つ取り出した後、ステップＳ１８０１において、その内容が作業ロボット１０２に対する指示であることを判断し、ステップＳ１８０２でその指示を作業単位に分解する。ここで、「物品の移動」の指示は、移動する各物品につき、「移動（物品の位置）」、「把持（物品）」、「移動（移動先の場所）」、「設置」という４つの作業単位に分解される。複数の物品に対して移動の指示が与えられた場合、前記４つの作業単位を一組として物品の数だけ並べられたものとなる。ステップＳ１８０３では、次に実行すべき作業単位が存在するかを判定する。ステップＳ１８０４では、一つの作業単位を前記作業ロボット１０２に送信する。
図４７は、一つの作業単位を作業ロボット１０２へ送る場合のメッセージの一例を示している。本例は、送信元（操作端末を示“Ｉ０”）から送信先（作業ロボットを示す“Ｒ０”）にコマンド（ロボット移動コマンド“０１”）を送ることを意味し、番号１０の引数（座標（Ｘ０，Ｙ０，Ｚ０））はその移動先を示している。
次に、ステップＳ１８０５において、作業ロボット１０２からその作業単位の終了状態（ＡＣＫ又はＮＡＣＫメッセージ）を受け取り、ステップＳ１８０６で作業単位が正常に終了したか否かを判定し、もしＮＡＣＫメッセージを受け取ったか、あるいは所定の時間以上メッセージが返ってこなければ、エラー処理（ステップＳ１８０７）を行う。このエラー処理とは、例えば、作業ロボット１０２が障害物などが原因で移動できなくなったとか、指定した物品が把持できなかった等のトラブルが発生したときに、オペレータにその旨をＧＵＩを通じて提示する処理である。ここで、音声Ｉ／Ｆがあれば音声で提示しても構わない。そして、再びステップＳ１８０３に戻り、処理する作業単位がなければメッセージ処理部を終了し、次のメッセージをメッセージキュー１３０２から取り出し、処理を行う。
ここで、前記作業単位は１つずつ送信することとしたが、すべての作業単位を一度に送信し、作業ロボット側で各作業単位の終了確認を行うように実装することも可能である。
次に、作業ロボット１０２の制御手段１１５の動作について説明する。図４８は作業ロボット１０２の制御手段１１５の処理構成を示している。
作業ロボット１０２は、電源がＯＮされるとその直後に一度だけ初期設定を行う。この初期設定には、例えば、通信路の確立や各スレッドプログラムの実行等が含まれる。メッセージ受信部１３０１は、上述した操作端末１０３から送られた作業単位を含んだメッセージ（図４７参照）を送受信手段１０９で受け取り、そのメッセージをメッセージキュー１３０２に蓄える。図４９に、作業ロボット１０２が理解できるメッセージの一例を示す。
図５０は、作業ロボット１０２におけるメッセージ処理部１３０３の処理のフローチャートである。メッセージ処理部１３０３に入力されるメッセージは、例えば、前記操作端末１０３から送られた作業単位を含むメッセージである。ここではまず、ステップＳ２２０１、Ｓ２２０２及びＳ２２０３においてどの作業単位かを判定し、それぞれの作業単位に合った処理を実行する。
まず、ステップＳ２２０１で作業単位が「移動」であった場合、ステップＳ２２０４に進み、指示位置までの経路を移動計画作成手段１１３を用いて求める。次にステップＳ２２０５において、移動計画作成手段１１３で求まった経路に従って移動する制御コマンドを移動手段１１４に送り、前記指示位置まで移動処理を実行する。例えば図４７のメッセージを受け取った場合には、このようなフローが実行される。
一方、ステップＳ２２０２で作業単位が「把持」であった場合、ステップＳ２２０６に進み、把持を行うために前記センサ（例えばカメラ）１１１を用いて物品の姿勢を検出し、アーム２０１及びハンド２０２の動作を計算し（ステップＳ２２０７）、物品を把持するコマンドを把持手段１１２に送り、物品を把持する（ステップＳ２２０８）。なお、ステップＳ２２０６ではセンサを用いて物品の姿勢を検知するとしたが、環境管理サーバ１０１に物品の姿勢を問い合わせることにより物品の姿勢を認識するようにしてもよい。物品の現在の姿勢は前記物品の履歴データ（図３１参照）に記録されている。
さらに、ステップＳ２２０３で作業単位が「設置」であった場合、設置姿勢決定手段１４０を用いて物品の設置姿勢を計算し（ステップＳ２２０９）、設置位置決定手段１４１を用いて物品の設置場所の状況を調べ、設置できなければ適切な設置位置を探し出す（ステップＳ２２１０）。そして、前記設置姿勢と設置位置に合うようにアーム２０１とハンド２０２の動作を計算し（ステップＳ２２１１）、アーム２０１及びハンド２０２を動作させる制御コマンドを発行して把持物品を設置する（ステップＳ２２１２）。
最後に、ステップＳ２２１３において、移動、把持及び設置が終了した旨をメッセージとして作業指示元（操作端末）に送信する。
本発明の特徴の一つは、この作業ロボット１０２のメッセージ処理部１３０３における設置メッセージを受けた時の処理にある。すなわち、本物品管理システム１００においては、設置姿勢決定手段１４０と設置位置決定手段１４１とを用いて、把持した物品とその設置位置の状況とに応じて、設置位置や設置姿勢を適宜変更する。この処理は、従来技術に挙げたような工場内での自動倉庫の処理とは大きく異なっている。
図５１は、設置姿勢決定手段１４０の一般的な動作を示すフローチャートである。ステップＳ２６０１では、設置姿勢を決める必要があるかどうかを判定する。例えば、設置位置が箱の内部であり、把持物品が箱よりも小さいような場合には、設置姿勢はあまり問われないので、把持した時の姿勢を保つ。一方、ステップＳ２６０１において設置姿勢を決める必要があると判定された場合、ステップＳ２６０２において、設置位置の状況と把持物品の属性とに基づき、把持物品の設置姿勢を計算する。
図５２は、設置姿勢決定手段１４０の具体的な動作の一例を示すフローチャートである。本動作例では、まずステップＳ２３０１において、設置位置が箱（例えばゴミ箱）であるかどうかを判定する。これは、環境管理サーバ１０１にメッセージ（図５６のコマンド番号１２参照）で問い合わせることにより実現できる。ここで、設置位置が箱であった場合、設置姿勢は問われないので、把持した時の姿勢を保つ。もし、ステップＳ２３０１において設置位置が箱でなかった場合、さらにステップＳ２３０２において、把持物品と属性（例えば、物品の種類や形状等）が同一又は類似した物品が設置位置付近に存在するか否かを調べる。なお、「類似」とは、例えば、種類が同じであるとか、種類が異なっていても形状が類似していること等を意味する。また、形状が類似しているとは、形状のパラメータ（円柱であれば高さと底面の半径、球であれば半径、また、直方体であれば３辺（幅、高さ、奥行き）の長さ）が類似していることを言う。形状のパラメータが類似しているか否かは、例えば、各パラメータの差が所定の閾値以下に収まっていること等に基づいて判定することができる。なお、このような判定も、環境管理サーバ１０１にデータを問い合わせることにより実現できる（図５６のコマンド番号２３参照）。
ここで、把持物品と類似した物品が設置位置付近に存在する場合には、ステップＳ２３０３で設置姿勢を前記類似物品の姿勢と同様にする。類似物品の姿勢は、物品履歴データ３０２における姿勢データを参照することで得られる。ステップＳ２３０２において設置位置に把持物品と類似した物品が存在しないと判断されると、予め決められた設置姿勢を用いる（ステップＳ２３０４）。ここで予め決められた設置姿勢とは、設置位置の家具に適した姿勢であり、環境マップ１０８の家具属性データ９０６（図３５の家具属性データ９０６の「主な物品の形状と姿勢」参照）に記録されたデータを利用して定められる。そのような姿勢が環境マップ１０８の家具属性データ９０６に記録されていなければ、例えば、物品の形状を計測したときの姿勢を用いる。例えば、図３３（ｂ）における物品座標が実世界座標と一致するように物品を設置する。
このように、指定された設置位置付近に把持物品と類似した物品が置いてある場合には、把持物品の設置姿勢を類似物品の姿勢と合わせることで、整然と物品を並べることができ、家庭内において省スペース化が図られ、外観も見栄えもよくすることができる。
次に、図５３を参照しながら、設置位置決定手段１４１の一般的な動作を説明する。まず、ステップＳ２８０１において、設置したときに物品の姿勢が崩れてもいいかどうかを、設置位置の状況及び把持物品の属性から判定する。もし設置後の姿勢が崩れてはいけないならば、ステップＳ２８０２に進み、設置位置に他の物品が存在するかを判定する。設置位置に他の物品が存在すれば、ステップＳ２８０３に進み、把持物品が設置位置にある他の物品と重なってもよいかどうかを判定する。他の物品と重なってはいけない場合には、ステップＳ２８０４において、設置位置付近で設置可能な新しい設置位置を探し出す。
次に、図５４を参照しながら、設置位置決定手段１４１の具体的な動作の一例を説明する。本動作例では、まず、ステップＳ２４０１において、設置位置が箱であるかどうかを調べる。もし箱でなければステップＳ２４０２に進む。一方、設置位置が箱であれば、設置位置は変更せずに設置位置決定手段１４１の処理から抜け出る。
ステップＳ２４０２では、設置位置に他の物品が存在するかを調べる。ここでも、他の物品が存在しなければ設置位置の変更は行わない。なお、設置位置に他の物品が存在するか否かは、環境管理サーバ１０１に問い合わせのメッセージ（図５６のコマンド番号２３参照）を送ることで調べることができる。もし、設置位置に他の物品が存在するならば、ステップＳ２４０３に進み、他の物品の上面が把持物品の設置必要面積よりも大きいか否かを判定する。そして、もし大きければ、ステップＳ２４０４において、前記他の物品の上面はフラットであるかどうかを判定する。なお、ここでいう「フラット」には、完全に平坦な状態のみでなく、実質的に平坦な状態も含まれる。つまり、ここでいう「フラット」には慣習上平坦と見なされる状態も含まれ、多少の傾斜や凹凸があったとしても、把持物品を設置できる程度であれば平坦と見なされる。設置されている物品の上面の面積及びフラットであるかどうかは、環境管理サーバ１０１に形状データや設置姿勢（物品の履歴データとして記録されている）を問い合わせることにより知ることができる（図５６のコマンド番号２３参照）。
もし、前記他の物品の上面がフラットであった場合は、設置位置を変更することなく、前記他の物品の上に把持物品を積み重ねる。ステップＳ２４０３において前記他の物品の上面面積が把持物品の必要設置面積より小さいと判定されるか、またはステップＳ２４０４において前記他の物品の上面がフラットでないと判定されると、ステップＳ２４０５に進み、設置位置付近で何も置かれていない場所を探し、この場所を新しい設置位置とする。なお、ステップＳ２４０２において設置位置に他の物品が存在しないと判定された場合、近傍に同じ種類あるいは同じ形状の物品があるか否かを判断し、把持物品の設置位置をそれら物品の隣の位置に設定するようにしてもよい。
このように、設置位置に既に他の物品が存在する場合、その設置物品の上に把持物品を積み重ねられるかどうかを判定し、積み重ねることができない場合には設置位置を変更することで、作業者が物品の設置先の状況を知らずに適当に設置位置を指示しても、ロボットは柔軟に対応することができる。
なお、図４４に示す例では設置位置がゴミ箱であるので、結果的に作業ロボット１０２は、空き缶を把持した時の姿勢のままでゴミ箱の中に落とすことになる。
また、その他の例として、床の上に置かれた書籍を本棚に設置する例を説明する。この場合、環境管理サーバ１０１に問い合わせることによって、設置位置にその他の書籍があり、それら書籍が把持物品である書籍と同じ種類の物品であることが分かると、把持した書籍の姿勢を既に収納されている他の書籍の姿勢と同じになるように変更し（この場合、本棚内に収納されている書籍は立った姿勢で収納されているので、把持した書籍も立った姿勢に変更し）、本棚内に設置する。一方、設置位置に書籍が積み上げられていれば、把持した書籍が安定した姿勢で設置できる限り、把持した書籍を他の書籍と同じ姿勢で積み上げることができる。また、設置位置に書籍ではなくテレビがあり、このテレビの上面がフラットであれば、把持した書籍を安定した姿勢で設置できるため、把持した書籍をテレビの上に設置する。一方、設置位置に花瓶のような上面がフラットでない物品が置かれてあれば、花瓶の上に設置するのではなく、書籍をその横の空きスペースに設置する。
なお、作業ロボット１０２が作業している間は、どのタイミングであっても、指定された動作が実行できない等のトラブルが起これば、作業指示元（この例では操作端末１０３）に対してエラーメッセージを送信し、作業を一時中断する。
また、作業ロボット１０２は、通常は自己の車輪等の動作量（回転数、回転角度等）を用いて自己位置を計測しているが、床面と車輪とのスリップや避けきれなかった障害物との衝突などに起因して自己位置がずれてくる場合も考えられる。そこで、この位置ずれを補正するために、環境管理サーバ１０１に自己位置の問い合わせを定期的に行うようにしてもよい。さらに、物品名が指定されて把持するときには、物品の形状等の属性を調べ、当該属性をカメラなどのセンサで目前の物品のうちどれが指定された物品かを探し出すときの手がかりに使うことができる。従って、必要に応じて、物品の属性や作業ロボット１０２の自己位置、あるいは、移動計画作成手段１１３に必要な環境マップ１０８等を、環境管理サーバ１０１に問い合わせてもよい。なお、これらの問い合わせも、環境管理サーバ１０１に問い合わせのメッセージを送り、その回答を受け取ることで実現される。
最後に、環境管理サーバ１０１の制御手段１１０の動作について説明する。図５５は、環境管理サーバ１０１の制御手段１１０の処理構成を示している。
環境管理サーバ１０１は、電源がＯＮされるとその直後に一度だけ初期設定を行う。これには、例えば、通信路の確立等や各スレッドプログラムの実行が含まれる。そして、上述した作業ロボット１０２や操作端末１０３からの問い合わせを含んだメッセージを送受信手段１０９で受け取り、メッセージ受信部１３０１がそのメッセージをメッセージキュー１３０２に蓄える。図５６は、環境管理サーバ１０１が理解できるメッセージの一例である。
図５７は、環境管理サーバ１０１におけるメッセージ処理部１３０３の処理のフローチャートである。本処理ではまず、メッセージキュー１３０２から先頭のメッセージを取り出し、このメッセージをメッセージ処理部１３０３に入力する。そして、ステップＳ２７０１、Ｓ２７０２、Ｓ２７０３、Ｓ２７０４及びＳ２７０５において、このメッセージが何を要求しているかを判断する。
ステップＳ２７０１において、ロボット位置の問い合わせがあったと判定すると、物品移動体データベース１０６からロボット位置の情報を取り出して、問い合わせ先にロボット位置を送信する（ステップＳ２７０５）。ステップＳ２７０２で、マップ問い合わせと判断されれば、環境マップ１０８からマップを取り出して、問い合わせ先に送信する（ステップＳ２７０６）。マップの情報は、例えば作業ロボット１０２の経路探索などに使用される。ステップＳ２７０３で、前記メッセージが環境情報を問い合わせていると判断すれば、指定した位置の情報を環境マップ１０８から検索し（ステップＳ２７０７）、問い合わせ先に送信する（ステップＳ２７０８）。ステップＳ２７０４で、前記メッセージが物品情報を問い合わせていると判断すれば、指定した物品の必要な情報を物品移動体データベース１０６から検索し（ステップＳ２７０９）、問い合わせ先に送信する（ステップＳ２７１０）。ステップＳ２７０５において、前記作業ロボット１０２などから得られた物品に対する情報を物品移動体データベース１０６に登録するメッセージであると判断されると、物品移動体データベース１０６に、指定した物品の属性値を登録する（ステップＳ２７１１）。
ここで、物品移動体データベース１０６及び環境マップ１０８への問い合わせや情報登録は、前記物品移動体検索・管理手段１０５及び環境マップ管理手段１０７を介して行われる。なお、センシング手段１２０は常に最新の情報をセンシングしており、物品移動体データベース１０６及び環境マップ１０８には、物品移動体検索・管理手段１０５や環境マップ管理手段１０７を介して情報の更新が常時行われている。
以上、本発明の実施形態に係る物品管理システム１００について、その構成及び動作の説明を行った。
この物品管理システム１００により、家庭やオフィス等において作業ロボットに物品の運搬作業を行わせる際、どのような物品でも荷崩れすることなく整理された状態で設置することができる。また、曖昧な指示を受けた場合であっても、物品を適切な状態で設置することができる。例えば、本棚に本を設置するときには本を縦に入れたり、設置位置がゴミ箱ならば姿勢を気にせずに入れたり、設置位置がいわゆる食器洗い機なら食器を所定の姿勢で入れたり等、指定された設置位置と物品との関係に応じて、物品を適切な状態で設置することができる。
−発明の効果−
本発明によれば、居住空間内に存在する物品を作業ロボットで移動させる際、移動対象物品の設置姿勢を、設置位置付近の他の物品や設置位置付近の状況に応じて決定するようにしたので、同じ種類や形状の物品を秩序正しく整理する等、物品を適切な状態に設置することができる。また、物品と設置位置との関係を考慮に入れた適切な設置が可能となる。
さらに、本発明によれば、指定された設置位置に他の物品が置いてあったり、指定された設置位置に移動対象物品が置けないような場合には、設置位置を指定された位置の近傍に変更することとした。また、移動対象物品を他の物品の上に積載できる場合には、設置位置を変えずに移動対象物品を他の物品の上に積載するようにした。そのため、設置位置の状況を細かく把握せずに物品の設置位置を指定したとしても、作業ロボットに適切に設置作業を行わせることができ、物品を適切な状態に設置することができる。
（第５の実施形態）
ここでの本発明は、その目的とするところは、家庭やオフィス等の居住空間内において作業ロボットに物品の移動作業を行わせる際に、持ち替え動作を伴うことなく移動対象物品を円滑に移動させることにある。
本発明に係る物品管理システムは、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものである。
上記物品管理システムによれば、データベース内の移動対象物品及び設置位置に関する情報に基づいて移動対象物品の保持位置が予め適切な位置に決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。
また、本発明に係る物品管理システムは、少なくとも前記居住空間内の物品の情報を有するデータベースと、前記物品操作手段と、前記作業ロボットと、前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えているものである。
上記物品管理システムによれば、データベース内の移動対象物品に関する情報に基づいて、移動対象物品の保持位置が接地領域を覆わない適切な位置に予め決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。
また、本発明に係る物品管理システムは、前記物品操作手段と、前記作業ロボットと、前記居住空間内の物品の情報と前記作業ロボットの動作制約情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものである。
上記物品管理システムによれば、データベース内の作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、移動対象物品の保持位置が予め適切な位置に予め決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。
なお、前記物品管理システムにおいて、作業ロボットの保持手段とは、物品を保持するものであればよく、具体的な保持方法は何ら限定されるものではない。保持手段として、例えば、物品を把持する手段、支持する手段、吸引保持する手段、磁力又は電気力を利用して保持する手段等、種々の手段を用いることができる。
また、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間を言う。
すなわち、ここでの態様１では、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものを提供する。
態様２では、態様１において、前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定する。
態様３では、態様２において、前記保持位置決定手段は、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収める接地領域を選定する。
態様４では、態様２において、前記保持位置決定手段は、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、前記許容スペースから前記保持手段の設置動作に必要なスペースを除外した残りのスペースに前記移動対象物品を収める接地領域を選定する。
態様５では、態様１において、前記保持位置決定手段は、移動先に指定された設置位置が箱の内部であるか否かを判定し、設置位置が箱の内部である場合には、前記移動対象物品の接地領域の選定を行わずに保持位置を決定する。
態様６では、態様１において、居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定物品が含まれ、前記保持位置決定手段は、前記移動対象物品が前記特定物品でありかつ前記設置位置が人であるか否かを判定し、前記移動対象物品が前記特定物品でありかつ前記設置位置が人である場合には人が掴まない部分を保持位置とする。
態様７では、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えているものを提供する。
態様８では、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記作業ロボットの動作制約情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものを提供する。
本発明の第５の実施形態も、居住空間内に存在する物品を管理する物品管理システムに関するものである。上述の第４の実施形態等と重複する部分については、詳細な説明は適宜省略する。
図５８は本実施形態に係る物品管理システム１００の全体構成の例を示したブロック図である。図５８では、第１の実施形態における図２と共通の構成要素については、図２と同一の符号を付している。
まず、本実施形態における物品の形状データについて説明する。図６０（ａ）は本来の物品（例えば飲み物の缶）の形状（円筒）を示している。このような物品に対し、ステレオ視による三次元計測技術等を用いることにより、図６０（ｂ）のように物品の表面を複数の面で近似したポリゴンデータを得ることができる。各面は適当に定めた物品座標（図中のＸ’、Ｙ’、Ｚ’）上での頂点の座標の集合として記述される。また、各面には、いくつかの属性が付与されている。具体的には、その面が接地面としてふさわしい面かどうかのフラグ、人がその物品を掴むときに通常使用される面かどうかのフラグ等である。接地面としてふさわしい面とは、例えばコップの底面やジュース缶の底の面などである。人が掴むときに通常使用される面とは、例えば刃物の柄の部分やコップの取っ手部分などである。このような属性は、物品データの入力時に、他の属性と同様、人手で入力されること等によって付与される。このように、居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定の物品が含まれる。
例えば、ある一つの面（例えば三角形ポリゴンの場合）のデータは、以下のように表される。
（ＰＩＤ，ｘ１’，ｙ１’，ｚ１’，ｘ２’，ｙ２’，ｚ２’，ｘ３’，ｙ３’，ｚ３’，１，０）
上記データのうち、最初のＰＩＤは、その面の番号（物品データから一意に定まる番号）を示している。次の９値は物品座標での面の３頂点位置を示し、次の値「１」は、接地にふさわしい面であることを示している。なお、接地面としてふさわしくない場合は、この値は「０」となる。最後の値「０」は、人が通常掴まない面であることを示している。人が通常掴む面である場合には、この値は「１」となる。
物品の姿勢データについては、第４の実施形態と同様であり、ここではその説明を省略する。
次に、移動体を扱うデータベース（図５９参照）について説明する。移動体を扱うデータベースは、それぞれ移動体データ６０１、移動体履歴データ６０２、及び移動体属性データ６０３の３種類のデータを蓄積するサブデータベースからなり、それぞれのデータ内容は下記の通りである。
移動体データ６０１は、個々の移動体を区別するためのＩＤと、当該移動体の移動履歴を格納した移動体履歴データ６０２へのポインタとから構成される。
移動体履歴データ６０２は、時刻と、当該時刻における移動体の位置と、当該時刻における移動体の状態とから構成される。なお、移動体の位置は、平面上における座標（Ｘ、Ｙ）と、向きｒの３値によって表される。
移動体属性データ６０３は、当該移動体の持つ固有の物理属性情報を蓄えるものであり、重さ、形状等がその一例として挙げられている。
なお、移動体履歴データ６０２において、移動体の状態とは、移動体が人物であれば「座る」、「立つ」、「寝る」、「歩く」などの一般的な人間の動作を表し、移動体がロボットであれば「把持」、「解放」など、ロボットが物品に対して行うことのできる操作を表す。これらは、あらかじめ移動体毎に可能な状態を決めておき、それらのうちのどれかを選択するようにすればよい。なお、移動体がロボットの場合には、操作内容だけでなく、操作対象物品ＩＤと操作内容とを組にして表すこととする。
移動体属性データ６０３には、例えば、それが作業ロボットであった場合、作業ロボットの重量、形状、及び把持手段の占有空間情報（動作制約情報の一部）等が記録されている。ここで把持手段の占有空間情報とは、物品を把持するために必要となる把持手段自身が占める空間の情報である。
図６１は作業ロボットの把持手段１１２が物品７０１を把持するときに占有する空間を説明する図である。この具体例では、物品７０１の把持方法として、物品７０１を上方から把持する方法と、側方から把持する方法とがあり得る。上方から把持する場合には、把持物品７０１の上方に長さａの占有高さ７０２、横方向に長さｂ（ロボットハンドの厚み）の２倍分だけの占有領域７０３が必要となる。一方、側方から把持する場合には、横方向に長さｂの２倍分だけの占有領域７０３を考慮しておけばよい。
後述するように、本物品管理システム１００の機能の一つとして、ロボット１０２が把持物品を目的の設置位置に移動させる際、設置位置の状況を踏まえて、把持物品の持ち替えが不要なように予め把持位置を決定しておく機能がある。このような機能を発揮するためには、例えば、指定された設置位置にどれくらいのスペースがあるか等を予め知っておく必要があり、物品の情報として、物品がどの場所にどのような姿勢で置かれているか等をデータベースに蓄えておくことが望ましい。しかし、そのためには、必ずしも過去にさかのぼった履歴データまでは必要とせず、常に最新の情報を把握していれば足りる。ただし、以下に説明する例は、最新の情報たけでなく、物品及び移動体の履歴も記録する例である。
物品移動体データベース１０６のデータ更新の例については、第１の実施形態で示したとおりである。
＜環境マップ＞
環境マップは、部屋や家具などの通常ほとんど移動しない不動物体の構造情報から成る。構造情報とは、少なくとも不動物体が占める空間内部及びその上部に存在する、他の物体を設置可能な面（例えば、部屋であれば床、収納であれば棚）の領域情報（例えば、その面の外接多角形の頂点）と上部の高さを言う。
ただし、上方への高さとは、設置面に対して実質的に垂直な方向への距離を言い、必ずしも上下方向の距離のみを意味する訳ではない。
環境マップのデータ例、環境マップ管理手段、および環境管理サーバの制御手段については、第４の実施形態と同様であり、ここでは説明を省略する。
−作業ロボットの構成−
作業ロボットの構成も上述の第４の実施形態等と同様であるが、設置位置決定手段１１９および設置位置決定手段１２０に代えて、把持手段１１２（保持手段のより具体的な形態）による物品の把持位置を決定する把持位置決定手段１５０（把持手段１１２ではなく、より一般的に保持手段を用いる場合は保持位置決定手段）を備えている。
把持位置決定手段１５０は、把持物品の情報や指定された設置位置の情報を環境管理サーバ１０１に問い合わせ、把持手段１１２が把持物品を持ち替えずに設置位置に設置できるように、把持手段１１２の把持位置を決定する。
また、把持位置決定手段１５０は、把持手段１１２が移動対象物品を把持する前に、移動対象物品が設置位置と接する領域である接地領域を予め選定し、上記把持手段１１２が前記接地領域を覆わないように把持位置を決定する。
把持位置決定手段１５０は、環境管理サーバ１０１に問い合わせることにより、指定された設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収めるような接地領域を選定する。なお、ここで「スペース」とは、２次元領域、高さ、又は２次元領域と高さとで規定される３次元空間を意味し、設置位置の許容スペースとは、例えば当該スペースが直方体状の空間の場合には、設置可能領域×上方高さを意味する。
また、把持位置決定手段１５０は、環境管理サーバ１０１に問い合わせることにより、指定された設置位置の許容面積を調べ、前記接地領域として、前記許容面積よりも小さな面積を有する接地領域を選定することが好ましい。また、設置の際における把持手段１１２自身の占有面積を考慮し、前記接地領域として、前記許容面積から把持手段１１２の必要面積（設置動作に必要な設置面上の面積）を除外した残りの面積よりも小さな面積を有する接地領域を選定することが好ましい。
把持位置決定手段１５０は、環境管理サーバ１０１に問い合わせることにより、指定された設置位置の許容高さを調べ、前記接地領域として、設置時の移動対象物品の高さが前記許容高さ以下になるような接地領域を選定する。また、設置の際における把持手段１１２自身の占有高さを考慮し、前記接地領域として、設置時の移動対象物品の高さが前記許容高さから把持手段１１２の必要高さ（設置動作に必要な高さ）を除外した残りの高さ以下になるような接地領域を選定することが好ましい。
なお、把持位置決定手段１５０の詳しい動作については後述する。
なお、図５８では、本物品管理システム１００が環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の３つのサブシステムからなり、それらサブシステムが無線または有線などのネットワークを介して互いに情報をやりとりするような構成をなす例を示した。しかし、本発明に係る物品管理システムの構成は、上記構成に限定されるものではない。例えば、操作端末１０３が環境管理サーバ１０１あるいは作業ロボット１０２に付随されている構成であってもよい。また、ロボット１０２も１台ではなく、複数台が協調しながら作業を並行して行う構成でも構わない。さらに、作業ロボット１０２の移動計画作成手段１１３および把持位置決定手段１５０を環境管理サーバ１０１に持たせて、その計算結果を送信するようにしてもかまわない。
−物品管理システムの動作−
以降では、本物品管理システム１００の動作、すなわち、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各サブシステムにおける制御手段１１０，１１５，１１８がどのように動作するかを説明する。
各サブシステムにおけるメッセージの基本的なやりとりの仕組みは、第４の実施形態と同様であり、ここではその詳細な説明を省略する。
ここでは具体的な作業として、オペレータが指定した物品を指定した場所に移動させる例として、本を本棚に移動させる例を取り上げる。なお、本棚が複数段あるときには、操作端末１０３の操作により、何段目の棚に設置するかを指定できるようになっているものとする。
操作端末１０３の制御手段１４４の処理構成は、第４の実施形態で示した図４３と同様である。
操作メッセージ生成部１５０１は、物品操作手段１４２にオペレータからの指示が入力されると、指示を含んだメッセージをメッセージキュー１３０２にため込む。図６２は、オペレータが前記表示手段１４３を参照しながら、マウスを用いて物品（本）を床（座標（Ｘ０，Ｙ０，Ｚ０））から本棚（座標（Ｘ１，Ｙ１，Ｚ１））にドラッグ操作した例を示している。図６３は、この時に操作メッセージ生成部１５０１で生成されるメッセージの一例を示している。図６３中の番号１〜６及び１１の項目は、正しくメッセージを受信するのに必要な項目であるが、メッセージの内容とは無関係なので、ここでは説明を省略する。ここでは、送信元（オペレータを示す“Ｐ０”）から送信先（操作端末を示す“Ｉ０”）にコマンド（ロボットへの物品移動コマンド“０１”）を送るメッセージが表されている。番号１０の引数は、一つ（最初の“００１”は移動する物品の個数）の物品（座標（Ｘ０，Ｙ０，Ｚ０）にある物品）を座標（Ｘ１，Ｙ１，Ｚ１）の位置に移動することを意味している。複数の物品を移動する場合は、各物品につき、現在の位置と移動先の位置とが交互に並べられる。
操作端末１０３におけるメッセージ処理部１３０３の処理は、第４の実施形態で示した図４６と同様であり、一つの作業単位を作業ロボット１０２へ送る場合のメッセージの一例は図４７のとおりである。
次に、作業ロボット１０２の制御手段１１５の動作について説明する。図６４は作業ロボット１０２の制御手段１１５の処理構成を示している。
作業ロボット１０２は、電源がＯＮされるとその直後に一度だけ初期設定を行う。この初期設定には、例えば、通信路の確立や各スレッドプログラムの実行等が含まれる。メッセージ受信部１３０１は、上述した操作端末１０３から送られた作業単位を含んたメッセージ（図４７参照）を送受信手段１０９で受け取り、そのメッセージをメッセージキュー１３０２に蓄える。図６５に、作業ロボット１０２が理解できるメッセージの一例を示す。
図６６は、作業ロボット１０２におけるメッセージ処理部１３０３の処理のフローチャートである。メッセージ処理部１３０３に入力されるメッセージは、例えば、前記操作端末１０３から送られた作業単位を含むメッセージである。ここではまず、ステップＳ２４０１、Ｓ２４０２及びＳ２４０３においてどの作業単位かを判定し、それぞれの作業単位に合った処理を実行する。
まず、ステップＳ２４０１で作業単位が「移動」であった場合、ステップＳ２４０４に進み、指示位置までの経路を移動計画作成手段１１３を用いて求める。次にステップＳ２４０５において、移動計画作成手段１１３で求まった経路に従って移動する制御コマンドを移動手段１１４に送り、前記指示位置まで移動処理を実行する。例えば図４７のメッセージを受け取った場合には、このようなフローが実行される。
一方、ステップＳ２４０２で作業単位が「把持」であった場合、ステップＳ２４０６に進み、把持を行うために前記センサ（例えばカメラ）１１１を用いて物品の姿勢を検出し、ステップＳ２４０７において、前記物品の把持位置を計算する。把持位置は、予め設置位置の状況に応じて前記物品の設置姿勢を想定し、前記物品を当該設置姿勢で設置するのに適した位置に決定される。ここで、想定した前記物品の設置姿勢はメモリ等に記憶しておき、次に述べる設置作業時（図６６のステップＳ２４１１参照）のアーム２０１及びハンド２０２の動作計算に用いる。次に、ステップＳ２４０８においてアーム２０１及びハンド２０２の動作を計算し、ステップＳ２４０９において、物品を把持するコマンドを把持手段１１２に送り、物品を把持する。なお、ステップＳ２４０６ではセンサを用いて物品の姿勢を検知するとしたが、環境管理サーバ１０１に物品の姿勢を問い合わせることにより物品の姿勢を認識するようにしてもよい。物品の現在の姿勢は前記物品の履歴データ（図６参照）に記録されている。
さらに、ステップＳ２４０３で作業単位が「設置」であった場合、把持作業時にメモリに記憶した設置姿勢又は指定された設置姿勢に合うように、アーム２０１及びハンド２０２の動作を計算し（ステップＳ２４１０）、アーム２０１及びハンド２０２を動作させる制御コマンドを発行して把持物品を設置する（ステップＳ２４１１）。
最後に、ステップＳ２４１２において、移動、把持及び設置が終了した旨をメッセージとして作業指示元（操作端末）に送信する。
本発明の特徴の一つは、この作業ロボット１０２のメッセージ処理部１３０３における把持メッセージを受けた時の処理にある。この処理は、持ち替えを必要とする従来の技術と異なっている。すなわち、本物品管理システム１００においては、把持位置決定手段１５０を用いて、把持する物品の設置位置の状況等に応じて把持位置を計算し、持ち替えを必要としない物品の移動を行う。
図６７は、把持位置決定手段１５０の動作を示すフローチャートである。本動作では、まずステップＳ２５０１において、設置位置が箱の内部であるかどうかを判定する。これは、環境管理サーバ１０１にメッセージ（図７１のコマンド番号１２参照）で問い合わせることにより実現できる。設置位置が箱の内部であった場合、設置姿勢は問われないので、把持位置も特に限定されない。そこで、ステップＳ２５０２において、把持可能な任意の部分を把持位置に設定する。なお、把持位置を見つける方法は後述する。
一方、設置位置が箱の内部でなかった場合、ステップＳ２５０３に進み、設置位置が人の存在する位置であるか否かを判定する。つまり、移動対象物品を人に手渡す場合であるか否かを判定する。設置位置における人の有無は、前記物品移動体データベース１０６に問い合わせることで知ることができる。設置位置が人の存在する位置である場合、ステップＳ２５０４に進み、人が持たない部分を把持位置に設定する。物品のどの部分を人が持つかは、前述したような前記物品移動体データベース１０６の形状データ等を参照することにより知ることができる。ステップＳ２５０３の判定の結果、設置位置が人の存在する位置でなかった場合には、ステップＳ２５０５に進み、設置位置の許容領域の形状や上方への高さ（許容高さ）に関する情報を取得する。
設置位置の許容領域は、前記環境マップ１０８と物品移動体データベース１０６とに問い合わせることで知ることができる。図６８は、設置位置２６０１の許容領域を求める方法の説明図である。具体的には、環境管理サーバ１０１から環境マップ１０８（図３５参照）の情報を取得し、次に物品移動体データベース１０６から物品及び移動体（図示せず）の位置、形状及び姿勢の情報を取得し、物品及び移動体の存在領域を平面モデル化された環境マップ（図６８参照）に上方から投影する。その結果、環境マップに何も投影されていない領域として、許容領域２６０３（図６８においてハッチングで示された領域）を得ることができる。ただし、許容領域２６０３は設置位置と同じＺ座標値を持つ平面に限るので、図６８の場合、異なる高さを持つ家具２６０４や移動体（図示せず）などの領域は許容領域から除外される。また、設置位置の上方への高さ（この例では、本棚の棚間の高さ）は環境マップの家具データ１１０５から得ることができる。前述したように、家具を構成する面にはその上方への高さに関する情報が付加されている。
以上のようにして、ステップＳ２５０５において、設置位置の許容領域や上方への高さを知ることができる。次に、ステップＳ２５０６において、作業ロボット１０２の属性データから把持手段１１２の占有空間情報を得る。
最後に、ステップＳ２５０７で、移動対象物品が前記設置位置の許容領域の形状及び上方への高さに収まるよう把持位置を決める。具体的には、まず、設置位置の許容領域の形状に収まる物品の接地面の候補を探す。ただし、実際には把持手段１１２は自分自身の占有領域を必要とするので（例えば、側方から把持する場合）、把持手段１１２の占有領域を考慮して、物品の接地面の候補を探し出す。例えば、ステップＳ２５０６で得た前記占有空間情報に基づき、前記許容領域の横幅をロボットハンド２０２の厚みｂ（図６１参照）の２倍分だけ狭めた形状に収まるように、物品の接地面候補を探す。
ここで、前述したように、物品の形状はポリゴンモデルとして前記物品属性データ３０３に記憶されており、接地面の候補は、各面（ポリゴン）に付与されたフラグを用いることで知ることができる。もちろん、全ての面を接地面の候補としてもよい。
次に、各接地面の候補を接地させた場合の物品の高さが前記上方への高さに収まるかを判定し、収まらない接地面を前記接地面の候補から排除する。そして、残された接地面を前記設置位置の許容領域に接地した時の物品の姿勢を想定し、前記把持手段が物品をその姿勢で無理なく設置できる位置を把持位置とする。
本例では、各接地面に対して予め把持面として所定の２面を１組又は複数組定めておき、それら２面の各重心位置をロボットハンド２０２の把持位置とする。図６９（ａ）は、図６９（ｂ）に示す物品２８００を例として、接地面と把持面との関係を示したテーブルである。例えば、面Ａ１を接地面とする場合、把持面として、（Ａ３，Ａ８）、（Ａ４，Ａ９）、（Ａ５，Ａ１０）、（Ａ６，Ａ１１）、（Ａ７，Ａ１２）の５組の組み合わせが考えられる。このようなテーブルを参照することで、把持位置を決定することができる。本例では、各接地面に対し複数の把持位置が存在するが、このうちの一つとして、例えば、２面間の距離が小さいものでかつハンド２０２の姿勢をできるだけ変更しなくてもよいものを選べばよい。
なお、指定した設置位置が他の物品に囲まれていることを想定し、基本的には、物品は設置姿勢に対して上方から把持するものとする。しかし、設置したときの物品の高さと前記占有空間情報から得られる把持手段１１２の上方の占有高さａ（図６１参照）とを合わせた長さが、前記設置位置の上方の高さを上回っている場合には、物品の設置姿勢に対して側方から把持することが好ましい。
また、ここでは接地領域（面）を選択する際、移動対象物品が設置位置の許容領域と許容高さとを共に満足する空間に収まるように選択したが、許容領域又は許容高さのどちらかに収まるように選択してもよい。
このように、物品を把持する際、設置位置の状況及び設置姿勢を先に考慮して把持することで、持ち替えを必要としないスムースな物品の運搬が可能となる。
本物品管理システム１００では、結果的に、事前に設置姿勢を考慮して物品を把持するので、接地面を把持手段１１２で覆うことを避けることができ、持ち替えをせずに物品を運搬することができる。例えば、無造作に置いてある本を本棚に運んで並べる場合、事前に本棚の高さを考慮し、その高さに収まるように本を把持することができるので、持ち替えを行わずに本を本棚に並べることが可能となる。また、はさみや包丁などの刃物を人に渡す場合、事前に人が持つ部分（包丁であれば柄の部分）を把持せず刃の部分を把持するので、持ち替え動作を伴うことなく、人にとって安全かつ便利に物品を渡すことができる。
なお、作業ロボット１０２が作業している間は、どのタイミングであっても、指定された動作が実行できない等のトラブルが起これば、作業指示元（この例では操作端末１０３）に対してエラーメッセージを送信し、作業を一時中断する。
また、作業ロボット１０２は、通常は自己の車輪等の動作量（回転数、回転角度等）を用いて自己位置を計測しているが、床面と車輪とのスリップや避けきれなかった障害物との衝突などに起因して自己位置がずれてくる場合も考えられる。そこで、この位置ずれを補正するために、環境管理サーバ１０１に自己位置の問い合わせを定期的に行うようにしてもよい。さらに、物品名が指定されて把持するときには、物品の形状等の属性を調べ、当該属性をカメラなどのセンサで目前の物品のうちどれが指定された物品かを探し出すときの手がかりに使うことができる。従って、必要に応じて、物品の属性や作業ロボット１０２の自己位置、あるいは、移動計画作成手段１１３に必要な環境マップ１０８等を、環境管理サーバ１０１に問い合わせてもよい。なお、これらの問い合わせも、環境管理サーバ１０１に問い合わせのメッセージを送り、その回答を受け取ることで実現される。
環境管理サーバ１０１の制御手段１１０の動作は、第４の実施形態と同様であり、ここでは説明を省略する。
以上、本発明の実施形態に係る物品管理システム１００について、その構成及び動作の説明を行った。
これにより、家庭やオフィス等において作業ロボットに物品の運搬作業を行わせる際、どのような形状又はどのような種類の物品でも持ち替えを行わないよう把持することができ、効率的かつ安全な運搬作業を行わせることができる。
−発明の効果−
本発明によれば、居住空間内に存在する物品を管理するシステムにおいて、作業ロボットに物品を移動させる際に移動対象物品の持ち替えが不要になるので、物品の移動をスムーズに行うことができる。また、持ち替えが不要であるので、作業ロボットの保持手段の構成を簡単化することができる。また、作業者が物品の把持姿勢や設置姿勢を指定する煩わしさを軽減することができる。
（第６の実施形態）
ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、ロボットに実行させる作業内容の指定を容易化して、誰もが容易にロボットの操作を可能にすることにある。
本発明の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。このシステムは、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する。
この構成によると、入力手段で入力される作業命令は、ロボットの作業対象物品とその対象物品の移動先とで構成される。
この作業命令を受けて、作業計画作成手段は、ロボットが対象物品を移動先に移動させるための作業計画を、その移動先への作業を補完しつつ作成する。
つまり、ユーザが「物品を所望の移動先に移動させる」という作業内容を指定すれば、作業計画作成手段が、ロボットがその物品をその移動先に移動させるという作業計画を作成するため、ユーザが指定した対象物品が指定した移動先に移動される作業が実行される。このときに、上記作業計画作成手段は、移動先に応じた、その移動先への作業を補完した作業計画を作成するため、ユーザは、物品の移動先を考慮した作業を追加して指定しなくてもよい。これにより、ロボットに実行させる作業内容の指定が容易化されて、誰もが容易にロボットの操作が可能になる。
上記移動先は、物品を収容する収容部を有する設備を含み、上記作業計画作成手段は、作業命令に含まれる移動先が上記収容部を有する設備であるときには、上記収容部に物品を入れるために必要な設備の動作を作業計画に追加してもよい。ここで、「設備」とは、生活空間内に置かれていて、物品に対する特定の機能を果たすものを含む。例えば家電機器や収納家具は、ここでいう設備に含まれ、家電機器の一つである冷蔵庫は、物品を収納してその物品の冷却を行う機能を果たす。家電機器の一つである電子レンジは、物品を収納してその物品を加熱する機能を果たす。また、収納家具は、物品を収納する機能を果たす。
上記対象物品は、設備の収容部に収容された物品を含み、上記作業計画作成手段は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備の動作を作業計画に追加してもよい。
上記設備の収容部にはドアが設けられており、上記作業計画作成手段は、上記ドアの開閉動作を作業計画に追加してもよい。
上記移動先は、物品に対する作用を施す設備を含み、上記作業計画作成手段は、作業命令に含まれる移動先が上記作用を施す設備であるときには、対象物品に作用を施すための設備の動作を作業計画に追加してもよい。
このとき、上記作業計画作成手段は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加してもよい。
上記設備は、作業計画を受けて、その作業計画に含まれる設備の動作を実行するものとしてもよい。
上記システムは、ロボットが作業内容に従って作業を開始する前に、作業計画作成手段が作成した作業計画を報知する報知手段をさらに備えてもよい。
上記システムは、生活空間内の状況を管理する空間管理データベースをさらに備え、上記作業計画作成手段は、上記空間管理データベースを参照しながら作業計画を作成するのがよい。
本発明の他の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。
このシステムは、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。
本発明のさらに他の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。
このシステムは、上記物品の取扱い作業を行うロボットと、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備える。
本発明の物品取扱いサーバは、所定の生活空間内に存在する物品の取扱いを行うためのサーバである。
この物品取扱いサーバは、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する。
本発明の他の物品取扱いサーバは、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。
本発明のさらに他の物品取扱いサーバは、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備える。
すなわち、ここでの態様１では、所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものを提供する。
態様２では、態様１において、移動先は、物品を収容する収容部を有する設備を含み、作業計画作成手段は、作業命令に含まれる移動先が上記収容部を有する設備であるときには、上記収容部に物品を入れるために必要な設備の動作を作業計画に追加する。
態様３では、態様１において、対象物品は、設備の収容部に収容された物品を含み、作業計画作成手段は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備の動作を作業計画に追加する。
態様４では、態様２又は態様３において、設備の収容部にはドアが設けられており、作業計画作成手段は、上記ドアの開閉動作を作業計画に追加する。
態様５では、態様１において、移動先は、物品に対する作用を施す設備を含み、作業計画作成手段は、作業命令に含まれる移動先が上記作用を施す設備であるときには、対象物品に作用を施すための設備の動作を作業計画に追加する。
態様６では、態様５において、作業計画作成手段は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加する。
態様７では、態様２〜態様６のいずれか１態様において、設備は、作業計画を受けて、その作業計画に含まれる設備の動作を実行する。
態様８では、態様１〜態様６のいずれか１態様において、ロボットが作業内容に従って作業を開始する前に、作業計画作成手段が作成した作業計画を報知する報知手段をさらに備える。
態様９では、態様１〜態様６のいずれか１態様において、生活空間内の状況を管理する空間管理データベースをさらに備え、作業計画作成手段は、上記空間管理データベースを参照しながら作業計画を作成する。
態様１０では、所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。
態様１１では、所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備えるものを提供する。
態様１２では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものを提供する。
態様１３では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成するものを提供する。
態様１４では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備えるものを提供する。
本発明の第６の実施形態は、いわゆる生活空間において、その空間内に存在する物品の移動作業を作業ロボットに実行させる物品取扱いシステムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。
図７０は本実施形態に係る物品取扱いシステムの全体構成の例を示すブロック図である。図７０では、第１の実施形態における図２と共通の構成要素については、図２と同一の符号を付している。本システムは、図７０に示すように、環境管理サーバ１０１（以下、単にサーバと省略することもある）、作業ロボット１０２（以下、単にロボットと省略することもある）、及び操作端末１０３、設備１０４の大きく分けて４つのサブシステムから構成される。これら４つのサブシステム１０１〜１０４は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成されている。
４つのサブシステム１０１〜１０４はそれぞれ、制御手段１１０，１１５，１１９，１６２と送受信手段１０９とを備えている。ここで、各サブシステム１０１〜１０４の送受信手段１０９は処理が同じであるため、同じ符号を付すことにする。
センシング手段１２０については、第１の実施形態と同様であり、ここでは説明を省略する。
−環境管理サーバの構成−
１番目のサブシステムである環境管理サーバ１０１は、センシング手段１２０によって把握した状況のうち、環境内に存在する物品（ロボット１０２が取扱い作業可能なもの）と移動体（人や作業ロボット１０２等の主として物品の取扱いを行うもの）との状況を管理する物品／移動体検索・管理手段１０５及びその物品及び移動体のデータを蓄積する物品／移動体データベース１０６と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段１０７及びその環境全体のデータを蓄積する環境マップ１０８と、物品／移動体データベース１０６のデータや環境マップ１０８のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したりする送受信手段１０９と、これらの手段１２０，１０５，１０７，１０９をコントロールする制御手段１１０とからなる。
物品／移動体検索・管理手段１０５は、センシング手段１２０によって検出されたり、ユーザによって入力されたりした環境内に存在する各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）１０６に蓄積するものである。このＤＢ１０６の詳細は後述するが、ＤＢ１０６に蓄積する情報には、少なくとも物品及び移動体の現在位置が含まれる。
また、上記物品／移動体検索・管理手段１０５は、環境管理サーバ１０１の外部から送受信手段１０９及び制御手段１１０を介して、物品／移動体ＤＢ１０６に問い合わせがあった場合には、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ１０６から取り出し、その情報を制御手段１１０に送る処理も実行する。これによりユーザは、操作端末１０３に、日付や物品の種類等の、物品の属性を絞り込むための検索キーを入力することで、物品／移動体ＤＢ１０６に蓄積されている情報によってその物品の現在位置を検索することも可能になる。
さらに、後述するロボット１０２及び操作端末１０３からサーバ１０１に対して物品の情報登録・更新の要請を受けたときには、物品／移動体検索・管理手段１０５は、上記物品／移動体ＤＢ１０６の登録・更新を行う。
上記物品／移動体ＤＢ１０６へのアクセスは、物品／移動体検索・管理手段１０５のみに許可されており、これによって、本システムは、同じデータに対して書き込みと読み出しが同時に行われないようにしている。
環境管理サーバ１０１の物品／移動体ＤＢ１０６は、物品及び移動体の情報を蓄積するＤＢであり、物品を扱う物品データベース１０６ａ（図７１）と、移動体を扱う移動体データベース（図示省略）とからなる。
上記物品ＤＢ１０６ａは、個々の物品について次の５つの属性を有するように構成される。
１）物品ＩＤ：個々の物品を区別するためのＩＤであり、各物品に一つずつ割り当てられる。従って、環境内に同じ種類の物品が複数存在していても物理的に別の存在であれば、それらは別の物品として扱うため互いに異なるＩＤが割り当てられる。
２）物品名称：当該物品の種類を表す名称であり、上記物品ＩＤとは異なり、環境内に同じ種類のものが複数存在しても割り当てられる名称は同じである。
３）時刻：当該物品が最も最近に移動体（人・ロボット１０２）によって取り扱われた時刻である。
４）場所：当該物品が最も最近に移動体によって移動した位置（物品の現在位置）である。場所は、後述する環境マップ１０８に登録されている環境属性データ６０２又は設備属性データ６０３のＩＤ番号で指定する。また、そのＩＤ番号だけでは物品の空間的位置が特定し難い、又は特定できないときには、ＩＤ番号に物品の現在位置を示す座標値（図７６に示す世界座標系）を付加することで物品の空間的位置を特定する。物品の現在位置が、例えば「冷蔵室」内や「冷凍室」内といった設備の内部であるとき（物品の現在位置が、後述する設備属性データ６０３に含まれるとき）には、その「冷蔵室」や「冷凍室」を示すＩＤ番号だけで、物品がそれらの中に存在していることが特定可能になり、物品の空間的位置が特定できる。このため、ＩＤ番号に座標値を付加する必要はない（図例では、「Ｆｒｅｅｚｅｒ−０００１」）。一方、物品の現在位置が、例えば「床」上であるとき（物品の現在位置が後述する環境属性データ６０２に含まれるとき）には、床の範囲は比較的広いため「床」を示すＩＤ番号だけでは物品の空間的位置を特定し難い又は特定できない。この場合は、ＩＤ番号に座標値を付加することによって、物品の空間的位置を特定可能にする（図例では、「ｆｌｏｏｒ−０００１（ｘ１、ｙ１，０）」）。ＩＤ番号に座標値を付加するか否かの判断は、物品の現在位置が、環境属性データ６０２に含まれるか、設備属性データ６０３に含まれるかだけに基づくのではなく、上記物品の取扱い作業を実行するロボット１０２の性能を考慮して判断するのが好ましい。例えば物品が冷蔵室内に収容されているときであっても、ロボット１０２の性能が非常に低く、ロボット１０２が物品を把持するには冷蔵室内におけるその物品の正確な座標値が必要であるときには、冷蔵室を示すＩＤ番号で物品の現在位置が特定できるとしても、そのＩＤ番号に座標値を付加することが好ましい。
また、物品ＤＢ１０６ａに置ける物品の現在位置の初期設定や、その物品が移動したときの現在位置の更新は、可能な限りは上記センシング手段１２０によって検出した検出結果に基づいて自動で行うことが好ましい。但し、自動で行うことができないときには手動で行ってもよい。
５）物品画像：当該物品を示す画像である。
ここでは、物品ＤＢ１０６ａが、各物品の特徴を区別するために５つの属性を有する例を示したが、物品ＤＢ１０６ａは、必要に応じてそれ以外の属性を有するようにしても良い。例えば物品ＤＢ１０６ａが、物品の３次元形状のデータ、物品のより正確な位置データ、及び物品の姿勢データを有していれば、ロボット１０２は、これらのデータを利用して物品を把持する動作をより容易に実行することができる。
次に、図７１〜図７４を参照しながら、物品ＤＢ１０６ａの更新について具体的に説明する。図７３及び図７４は、本システムの対象となる環境内の様子を示す図であり、図７３と図７４とでは、その時刻が互いに異なる。ここでは、図７３は２００２年１０月１０日、９：００の時点での環境内の様子を示し、図７４は２００２年１０月１０日、２０：００の時点での環境内の様子を示すものとする。また、図７１に示す物品ＤＢ１０６ａは、図７３に示す時刻の環境に対応するものであり、図７２に示す物品ＤＢ１０６ａは、図７４に示す時刻の環境に対応するものである。
図７１に示す物品ＤＢ１０６ａには、２００２年１０月１０日、９：００の時点で環境内に存在する物品として、缶ジュース、弁当、手帳、バナナ、紙くず、アイスクリーム、アイスキャンデー、の７つの物品が登録されている。このうち、缶ジュース（Ｄ−０００１）、弁当（Ｆ−０００１）、手帳（Ｓ−０００１）、バナナ（Ｆ−０００２）、紙くず（０−０００１）の５つの物品は、図７３に示すように、環境内の床上に置かれている。このため、これらの物品についての場所の属性は「床」のＩＤ番号である「ｆｌｏｏｒ−０００１」となる。これと共に、そのＩＤ番号にはその各物品の現在位置に対応する座標値が付加されている。一方、アイスクリーム、アイスキャンデーの２つの物品は、図７３には明示されていないが冷凍室内の収容されている。このため、これらの物品についての物品データベースの場所の属性は「冷凍室」のＩＤ番号である「Ｆｒｅｅｚｅｒ−０００１」となる。このＩＤ番号には座標値は付加されていない。
２００２年１０月１０日、１０：００の時点に、ユーザによる指示に応じてロボット１０２が床上に置かれている、缶ジュース、弁当、手帳、バナナ、紙くずの各物品を片付ける作業を実行する（ユーザの指示に応じてロボット１０２が行う作業については後述する）と共に、ユーザが冷凍室内のアイスクリームおよびアイスキャンデーを食べたとする。これにより、図７４に示すように環境内の様子は変化する。また、物品データベース１０６ａには、図７２に示すように、２００２年１０月１０日、２０：００の時点で環境内に存在する物品として、缶ジュース、弁当、手帳、バナナ、紙くずの５つの物品が登録されている。このうち、缶ジュースはロボット１０２によってゴミ箱（リサイクルゴミ箱）に移動されたため、場所の属性はリサイクルゴミ箱を示す「ｗａｓｔｅｂａｓｋｅｔ−０００２」に変わる。同様に、弁当及びバナナの場所の属性はそれぞれ冷蔵室を示す「ｒｅｆｒｉｇｅｒａｔｏｒ−０００１」に変わり、手帳の場所の属性はテーブルを示す「ｔａｂｌｅ−０００１」に変わり、紙くずの場所の属性は一般ゴミ箱を示す「ｗａｓｔｅｂａｓｋｅｔ−０００１」に変わる。
これに対し、ユーザが食べることで環境内から消滅したアイスクリーム、及びアイスキャンデーは、物品ＤＢ１０６ａから削除されている。こうした物品ＤＢ１０６ａから物品を削除する処理は、ユーザが物品が消滅したことを入力することによって行ってもよいし、その物品に付与された電子タグによって物品が消滅したことを判定して自動で行ってもよい。具体的には、ゴミ箱に電子タグのリーダライタを取り付けておき、物品に付された電子タグがゴミ箱に入れられたことをゴミ箱に取り付けたリーダライタが検出したことを受けて、その電子タグに対応する物品を物品ＤＢ１０６ａから削除するようにすれば、物品ＤＢ１０６ａから物品を削除する処理を自動的に行うことができる。
また、食品が典型的であるが、実世界から事実上消滅する場合がある物品は、上記の例のように、その消滅時点で物品ＤＢ１０６ａから削除してもよいが、物品ＤＢ１０６ａから削除するのではなく、ＤＢ１０６ａに登録したままにする一方で、ＤＢ１０６ａの場所の属性には、設備や環境のＩＤを記述する代わりに、物品を消滅させた移動体を記述する（例えば、食べられたことで消滅したのであれば、その食べた人物のＩＤを記述する）ようにしてもよい。
このように物品データベース１０６ａは、物品／移動体検索・管理手段１０５によって、環境内での物品の移動や消滅に伴い逐次更新される。それによって、物品データベース１０６ａは、常に最新の情報が登録された状態にされる。
一方、移動体データベースは、図示は省略するが、少なくとも、移動体ＩＤ、移動体名称、時刻、場所の属性を有するように構成される。また、移動体データベースも、物品／移動体検索・管理手段１０５によって、環境内の状態に応じて逐次更新され、それによって、移動体データベースは、常に最新の情報が登録された状態にされる。
環境管理サーバ１０１の環境マップ管理手段１０８は、環境全体のデータを蓄積する環境マップ１０８を、センシング手段１２０からの情報や、ユーザが入力した情報に基づいて作成すると共に、その作成した環境マップ１０８の管理を行うものである。
また、上記環境マップ管理手段１０７は、制御手段１１０から環境マップ１０８に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段１１０に送ることも行う。
上記環境マップ１０８は、上述したように、設備や環境のＩＤを参照するために利用されるたけでなく、ロボット１０２が環境内を移動する際に利用されるものである。ロボット１０２は、後述するように、この環境マップ１０８をサーバ１０１から取得して移動経路の計画を立てる。
環境マップ１０８は、例えば環境の実状況が、図７５（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図７５（ｂ））を環境マップ１０８としてもよい。また、図７５（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ１０８としてもよい。さらに、図７５（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ１０８としてもよい。すなわち、環境マップ１０８は、そのマップの用途や、そのマップ作成にかけることのできる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図７５（ｂ）に示す環境マップ１０８はその例であり、例えばテーブルは直方体でモデル化している。平面モデルからなる環境マップも同様であり、図７５（ｃ）に示す環境マップ１０８では、テーブルは平面に正射影した矩形領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ１０８では、こうして設定した領域をロボット１０２が移動不可能な領域に設定する。
図７６は環境マップ１０８のデータの一例を示した図で、図例のデータは、図７５に示す環境に対応するデータである。環境マップ１０８のデータは、環境に含まれる床面のＩＤ番号と環境内に存在する設備１０４のＩＤ番号とのリストである環境データ６０１と、環境属性データ６０２と設備属性データ６０３との３つのデータから構成される。
環境データ６０１には、環境に互いに高さ異なる複数の床面が存在するときには、その床面の数だけ床面データが登録される（ｆｌｏｏｒ−０００１，ｆｌｏｏｒ−０００２，…）。
上記環境属性データ６０２とは、環境（部屋）の詳細なデータであって、環境データ６０１に登録されている床面毎にデータが蓄積されている。環境属性データ６０２は、床面を構成する各頂点の座標値（実世界座標での座標値であり、その部屋で最も低い床面の高さ位置を０とする）と、その床面の材質を示すデータとで構成される。床面の形状が四角形のときには、環境属性データは、
（（Ｘ１，Ｙ１，Ｚ１），（Ｘ２，Ｙ２，Ｚ２），（Ｘ３，Ｙ３，Ｚ３），（Ｘ４，Ｙ４，Ｚ４），０）
となる。最初の４つの座標は床面を構成する各頂点の座標であり、最後の値「０」は床面の材質を示している。例えば、「０」はフローリング、「１」は畳、「２」は絨毯とすればよい。
上記設備属性データ６０３とは、環境（部屋）の中に存在する各設備１０４の詳細なデータである。ここでいう設備１０４とは、人やロボット１０２が移動させる物品とは異なり、通常は、移動させることのないものである。一例を挙げると家具や家電機器がここでいう設備に該当する。この設備１０４は、上述したように、本システムのサブシステムの一つであり、この設備１０４についての詳細は後述する。
図７５に示すように、環境内にテーブル（ｔａｂｌｅ−０００１）、冷凍室（ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）、冷蔵室（ｆｒｅｅｚｅｒ−０００１）、ゴミ箱（ｗａｓｔｅｂａｓｋｅｔ−０００１，ｗａｓｔｅｂａｓｋｅｔ−０００２）、電子レンジ（Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）が存在しているため、図７６に示す環境データ６０１には、その各設備のＩＤが登録されている。設備属性データ６０３には、その設備毎の詳細なデータが登録されている。尚、「冷凍室」と「冷蔵室」は一体となって一つの「冷蔵庫」を構成するが、本システムでは、物品を収容する場所単位で設備を区別する。このため、冷蔵庫を一つの設備１０４として扱うのではなく、冷凍室と冷蔵室とをそれぞれ独立した一つの設備１０４として扱う。
設備属性データ６０３には、その設備１０４を構成する各面のデータ（面１，面２，…）、設備の種類が登録される。設備を構成する面のデータは、その面を構成する頂点の座標値（実世界座標での座標値）と、その面に物品が載置できるか否かを示すフラグとによって構成される。例えば面を構成する頂点の数が４つであるときには、その面のデータは次のようになる。
（（Ｘ１，Ｙ１，Ｚ１），（Ｘ２，Ｙ２，Ｚ２），（Ｘ３，Ｙ３，Ｚ３），（Ｘ４，Ｙ４，Ｚ４），１）
最初の４つの値（座標）は、その面を構成する各頂点の座標（実世界座標での座標）を示し、次の値「１」はその面上に物品が載置可能な否かのフラグである。物品が載置可能なときには「１」となり、載置不可能なときには「０」となる。この識別フラグは通常は切り替わることはないが、設備１０４の種類によっては識別フラグが状況に応じて切り替わるようにする。例えば、その設備が、開口部にドアが取り付けられた収容部であるときには、その収容部内の面の識別フラグは、ドアの開閉状態に応じて切り替わるようにする。
このことについて具体的に、図７７を参照しながら説明する。図７７に示す冷凍室７１は、開口部にドア７２を有する収容部からなる設備１０４の一例である。図７７（ａ）は、冷凍室７１のドア７２が閉じているときの設備属性データを示している。このように、冷凍室７１のドア７２が閉じている状態では、ドア７２に阻まれて冷凍室７１内の面に物品を載置することができない。このため、設備属性データの識別フラグは「０」となる。これに対し、図７７（ｂ）は冷凍室７１のドア７２が開いているときの設備属性データを示している。このように、冷凍室７１のドア７２が開いている状態では、その冷凍室７１内の面に物品を載置することができる。このため、設備属性データの識別フラグは「１」に切り替わる。
尚、図７７に示す冷凍室７１のように、収容部を構成する各設備１０４は、受け台７３を備えるようにしてもよい。この受け台７３は、ドア７２の開閉に応じてその収容部内に収容される位置と収容部外に突き出る位置とに移動するものである。こうすることでロボット１０２は、その設備１０４内への物品の出し入れ作業を実行し易くなる。こうした受け台７３を有するときの設備属性データは、図７７（ｂ）に示すように、受け台７３が収容部外に突き出た位置にあるときの、その各頂点の座標値としてもよい。ロボット１０２は、設備属性データ６０３に登録されている座標値を参照することで、収容部外に突き出た受け台７３上に物品を載置したり、その受け台７３上の物品を把持したりするためである。尚、受け台７３が移動することで、その各頂点の座標値は変化するが、ドア７２を閉じて受け台７３が収容部内に収容された状態では、ロボット１０２はその収容部内に物品を入れたり、収容部内から物品を出したりすることを行わないため、設備属性データ６０３の座標値を変更させる必要はなく、識別フラグのみを変更すればよい。
尚、面上に物品が満載されているか否か（その面上にさらに別の物品を載置することができないか否か）を認識する処理を加えて、収容部内の面の識別フラグを、その認識処理の結果に応じて切り替えるようにしてもよい。すなわち、面上に物品が満載されているときにはその面上に新たな物品を載置することができないため、ドアが開いた状態でも識別フラグを「０」とし、面上に物品が満載されておらず、その面上に新たな物品を載置することができるときには、ドアの開閉状態に応じて識別フラグを切り替わるようにする。
また、ここでは、設備属性データ６０３に、物品の設置が可能か否かの識別フラグのみを付加したが、その他のフラグを必要に応じて付加してもよい。例えば環境属性データ６０２と同様に、面の材質を示すフラグを付加してもよい。
また、ロボット１０２が面に物品を載置したり、その面に載置された物品を把持するときの当該面へのアームのアプローチ軌跡を、設備属性データ６０３に追加してもよい。さらに、そのアームのアプローチ軌跡に係るアーム動作のプログラムを、設備１０４毎に設備属性データ６０３に追加してもよい。具体的には、設備１０４毎にロボット１０２のアーム動作のプログラムコードを予め登録し、これを設備属性データ６０３に追加しておく。ロボット１０２は、設備属性データ６０３に記憶されているプログラムコードを必要なときに無線等の通信によって読み込み、その読み込んだプログラムに従ってアームを制御する。こうすることで、ロボット１０２（又はサーバ１０１）に、設備１０４の一つ一つについてのアーム動作のプログラムを記憶させる必要がなくなり、プログラムを記憶するためのメモリ容量を節約することができる。
環境管理サーバ１０１における制御手段１１０はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。
１）送受信手段１０９が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段１０５や環境マップ管理手段１０７にデータの参照要求を出す。
２）上記要求に対して物品／移動体検索・管理手段１０５又は環境マップ管理手段１０７から送られてきた結果を、送受信手段１０９を介して問い合わせ元に送る。
３）送受信手段１０９を介して外部から送られてきたサーバ１０１内にある各種データに関する登録・更新の要求を解釈し、その内容に応じて物品／移動体検索・管理手段１０５や環境マップ管理手段１０７にデータの登録・更新要求を出す。
−設備の構成−
２番目のサブシステムである設備１０４は、上述したように、環境内に設置・固定されて通常は移動させることのないものであり、ここでは特に、各種の物品を収容する収容部を有するものを意味する。例えば冷蔵室や冷凍室は、食品を収容する部分を有するため、ここでいう設備１０４に含まれる。また、設備１０４には収容された物品に対する作用を施すものが含まれる。例えば電子レンジは、庫内に収容された食品に加熱するという作用を施す設備１０４の一例である。尚、ここでいう「収容」は、物品を比較的長期間かたづけてしまう意味も、物品を一時的にしまいいれる意味も含む。
上記設備１０４は、図７０に示すように、外部からの設備動作コマンド（このことについては後述する）を受信すると共に、その設備動作コマンドに従って行った動作結果をコマンド送信元に送信する送受信手段１０９と、当該設備１０４を動作させるための設備動作コマンドデータベース１６３と、後述するように、その設備が有するドアの開閉動作や、物品に対する作用を施す動作を行う動作手段１６４と、これら各手段１０９，１６４をコントロールする制御手段１６２とからなる。尚、図７０では、設備１０４を一つのみ記載しているが、環境内に複数の設備１０４が設定されているときには、その設備１０４それぞれがネットワークに接続されることになる。
上記動作手段１６４は、その設備１０４が例えば冷蔵室及び冷凍室であるときには、ドアの開閉動作をするものである。つまり、本システムにおける冷蔵室や冷凍室は、後述する設備動作コマンドを受けたときには、ドアを自動で開閉する。尚、そのドアは手動でも開閉される。また、上記動作手段１６４は、その設備１０４が例えば電子レンジであるときには、ドアの開閉動作と、庫内に収容された物品（食品）の加熱動作とを行う。
設備動作コマンドＤＢ１６３は、設備動作コマンドとそれに対応する処理手続をを記憶するものである。この設備動作コマンドは、当該設備１０４を外部からリモートで動作させるためのコマンドである。制御手段１６２は設備動作コマンドＤＢ１６３を参照することで、動作手段１６４に、設備動作コマンドに応じた処理を実行させるようにする。
図７８は、設備動作コマンドＤＢ１６３に記憶されている設備動作コマンドを表形式で示した図であり、表の記述情報は左の列から順に
１）環境内に存在する設備１０４を区別するための設備ＩＤ
２）外部から当該設備１０４を制御するための設備動作コマンド名
３）上記コマンドに対応する処理手続き
４）上記処理を行った結果の外部への戻り値
となっている。図７８には、設備１０４の一例として、冷蔵室、冷凍室、電子レンジの、３つの設備１０４それぞれについて、設備動作コマンドＤＢ１６３に記憶されている設備動作コマンドを示している。
この内、冷蔵室および冷凍室の設備動作コマンドは、１）ｄｏｏｒ−ｏｐｅｎ，２）ｄｏｏｒ−ｃｌｏｓｅ、の２種類のコマンドが用意されている。冷蔵室又は冷凍室の送受信手段１０９が、外部から送信されたｄｏｏｒ−ｏｐｅｎのコマンドを受信したときには、その制御手段１６２は動作手段１６４、に冷蔵室又は冷凍室の「ドアを開く」処理を実行させる。また、ｄｏｏｒ−ｃｌｏｓｅのコマンドを受信したときには、その制御手段１６２は動作手段１６４に、冷蔵室又は冷凍室の「ドアを閉める」処理を実行させる。
上記制御手段１６２は、それぞれの設備動作コマンドの処理が無事に終了したときには、そのコマンドの発信元にＡｃｋを、また設備動作コマンドの処理が失敗したときには、そのコマンドの発信元にＮａｃｋを、送受信手段１０９を介して戻り値として返す。
一方、電子レンジの設備動作コマンドは、１）ｄｏｏｒ−ｏｐｅｎ，２）ｄｏｏｒ−ｃｌｏｓｅ，３）ｗａｒｍ−ｓｔａｒｔ，４）ｗａｒｍ−ｅｎｄ，５）ｉｓ−ｏｂｊｅｃｔ、の５種類のコマンドが用意されている。この内、ｄｏｏｒ−ｏｐｅｎ，ｄｏｏｒ−ｃｌｏｓｅのコマンドについては、冷蔵室及び冷凍室の場合と同じであるためその説明を省略する。
電子レンジの送受信手段１０９が、外部から送信されたｗａｒｍ−ｓｔａｒｔのコマンドを受信したときには、制御手段１６２は、動作手段１６４に電子レンジの機能である「庫内食品の加熱」処理を実行させる。このときに、庫内に食品（物品）が入っていて加熱処理が開始できたときには、制御手段１６２は、コマンドの発信元にＡｃｋを、それ以外のときにはコマンドの発信元にＮａｃｋを、それぞれ戻り値として返す。
また、ｗａｒｍ−ｅｎｄのコマンドを受信したときには、制御手段１６２は、動作手段１６４に庫内食品の加熱が終了したか否かを判断させ、加熱完了のときにはＴｒｕｅを、加熱完了でない（未だ加熱処理中）のときにはＦａｌｓｅを、コマンドの発信元に戻り値として返す。
さらに、ｉｓ−ｏｂｊｅｃｔのコマンドを受信したときには、制御手段１６２は、動作手段１６４に、庫内に物品があるか否かを、画像センサや重量センサなどを用いて判断させ、物品があるときにはＴｒｕｅを、無いときにはＦａｌｓｅを、コマンドの発信元に戻り値として返す。
以上、３種類の設備１０４の例で設備動作コマンドについて説明したが、この設備動作コマンドは、各設備１０４の機能に応じて必要なコマンドを用意すればよい。
設備動作コマンドＤＢ１６３は、必要に応じて更新すればよく、そのＤＢ１６３の更新は、例えば更新情報を記録媒体を介して設備１０４に読み込ませてもよいし、更新情報をネットワークを介して設備１０４に読み込ませてもよい。こうすることで、設備動作コマンドのバージョンアップにも対応可能になる。また、設備１０４が外部ネットワークに接続されているときには、更新情報を外部ネットワークを介して設備１０４に読み込ませることも可能になる。例えば設備１０４の製造元からバージョンアップされた設備動作コマンドを、外部ネットワークを介してその設備１０４がダウンロード可能になる。
−操作端末の構成−
３番目のサブシステムである操作端末１０３は、本システムにおけるユーザインタフェースであり、主にロボット１０２に対する物品の取扱い作業を指示するためにユーザが操作する端末である。
操作端末１０３はその基本構成として、図７０に示すように、操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部１１７、上記操作画面上でロボット１０２に対する作業内容を指定するための例えばポインティングデバイスからなる入力部１１６、上記表示部１１７に表示される操作画面の作成等の表示制御を行う表示制御手段１１８、上記入力部１１６にて入力されたロボット１０２の作業内容をロボット１０２に送る送受信手段１０９、これらの各手段１０９，１１６〜１１８をコントロールする制御手段１１９からなる。
この操作端末１０３として、例えば汎用ＰＣを用いることが可能である。この場合、後述する各処理を実行させる制御プログラムをＰＣが読み込むことによって、汎用ＰＣを操作端末１０３として用いることが可能になる。
上記表示制御手段１１８は、上記サーバ１０１から送信された情報、具体的には、環境内を撮像した画像のデータ、物品／移動体データベース１０６に蓄積されたデータ、環境マップ１０８に基づいて、操作画面を作成する。こうして表示制御手段１１８で作成された操作画面が、表示部１１７に表示されることになる。
本システムでは、操作端末１０３の表示部に表示される操作画面は、図７９に一例を示すようにしており、環境の実状況に則した仮想空間によって構成されている。
この仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。このため、図７９に示す操作画面は、図７３に示す環境と見た目は同じになる。尚、上記カメラは、例えばセンシング手段１２０として環境内の側壁に設置されたカメラを利用してもよい。
この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図７９に示す操作画面には、物品アイコンとして、缶ジュース（Ｄ−０００１）、弁当（Ｆ−０００１）、手帳（Ｓ−０００１）、バナナ（Ｆ−０００２）、紙くず（０−０００１）の各アイコンが含まれている。この操作画面には、環境内に存在する設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット１０２が取扱い可能な物品である。
この操作画面では、ユーザは、操作端末１０３の入力部１１６の操作によって操作画面内のカーソルを操作し、それによってロボット１０２に実行させる作業内容を指定する。具体的には、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面を構成する仮想空間内を移動させることが可能に構成されている。物品アイコンと仮想空間内の場所とを指定するときには、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、ロボット１０２の作業対象の物品とその物品の移動先とが指定されることになる。例えば、図７９に示す各矢線は、缶ジュースアイコン（Ｄ−０００１）を、仮想空間内のリサイクルゴミ箱に、弁当アイコン（Ｆ−０００１）及びバナナアイコン（Ｆ−０００２）を、仮想空間内の冷蔵室に、手帳アイコン（Ｓ−０００１）を、仮想空間内のテーブルに、紙くずアイコン（０−０００１）を、仮想空間内の一般用ゴミ箱にそれぞれドラッグアンドドロップ操作するときの操作例を示している。
このような操作画面上での指定操作を、ロボット１０２に対する作業内容の指示データに変換するには、少なくとも次の１），２）の２点の処理が必要になる。
１）操作画面を構成する仮想空間が画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定すると共に、操作画面上で指定した物品アイコンが環境内の何を示しているかを特定する処理、及び、操作画面上で指定した物品の移動先が環境内のどこに対応するかを特定する処理
２）設備の内部に収容されている物品は、カメラ映像には陽に撮影されないため、こうした設備の内部に収容されている物品をユーザが指定可能にするための処理
先ず、上記１）の処理を行うために、操作画面は、次のように構成される。画像データのどの領域が物品アイコンに対応するかを特定する処理のために、上記操作画面は、仮想空間を構成する上記画像データに加えて、この画像データ（仮想空間）に１対１に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有するものに構成される。ここで「１対１に対応」とは、座標値が互いに対応していることを意味する。
この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断する。この画面マスクデータは、背景差分画像（図２（ｃ）参照）によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
次に、操作画面上で指定した物品アイコンが何を示しているかを特定する処理のために、上記画面マスクデータにおけるマスクデータの座標には、物品データベース１０６ａ（図７１参照）へのポインタを記載する。こうすることで、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データベース１０６ａを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。
一方、操作画面上で指定した物品の移動先がどこであるかを特定する処理のために、操作画面は、仮想空間を構成する上記画像データ（図７９）に加えて、図８０に示すように、この画像データと座標値が対応する画面マップを備える。この画面マップは、環境マップ１０８の環境属性データ６０２に含まれる床面、及び設備属性データ６０３に含まれる各設備１０４が、操作画面上でどの位置に相当するかを特定するためのデータである。この画面マップは、画像データとして作成することが可能である。つまり、画面マップを各画素が整数値で表された画像データとし、その整数値と設備とを、例えば、０：何もなし、１：床（ｆｌｏｏｒ−０００１）、２：テーブル（ｔａｂｌｅ−０００１）、３：冷蔵室（ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）、４：冷凍室（ｆｒｅｅｚｅｒ−０００１）、５：一般ゴミ箱（ｗａｓｔｅｂａｓｋｅｔ−０００１）、６：リサイクルゴミ箱（ｗａｓｔｅｂａｓｋｅｔ−０００２）、７：電子レンジ（Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）というように、互いに対応付ければよい。
こうすることで、カーソルによって、操作画面上の適当な位置を指定したときには、上記画面マップにおける同じ座標値の画素の整数値を参照する。このことによって、その指定された位置が環境のどの設備に対応するかを特定することが可能になる。但し、この処理は、操作画面上で指定された位置に、物品が存在するかを確認し、その位置には物品が存在しないときに行う。
こうした画面マップは、各設備１０４の立体モデルが既知でありかつ、その設置場所が正確に計算可能であるときには、自動で作成することができる。また、画面マップを自動で作成することが困難なときは手動で作成してもよい。環境内の各設備１０４は、通常、環境内に一度設置すれば、ほとんど動かすことがないため、一旦、画面マップを作成すれば、それを変更することはほとんどない。
上記２）の処理が必要となるのは、上述したように、操作画面がカメラ画像に基づいて構成されるためであり、設備１０４の内部に収容されている物品はカメラ画像には陽に撮影されないことで、操作画面上にも物品アイコンが現れないためである。操作画面上に現れない物品アイコンを指定可能にするために、操作画面は次のように構成される。
上述したように、本システムでは、物品／移動体データベース１０６に、環境内の各物品の現在位置が登録されている。このため、物品が設備１０４の内部に収容されていても、物品／移動体データベース１０６を参照することで、その物品の存在を把握することができる。
このことを利用して、操作画面上でカーソルが設備を指しているときには、物品／移動体データベース１０６を参照する。そして、その設備１０４に物品が収容されているか否かを判断し、物品が収容されているときには、例えば図８１に示すように、その物品に対応する物品アイコンを、ポップアップ形式で操作画面上に表示する。図８１（ａ）の例は、カーソルが冷凍室を指しているときに、その冷凍室に収容されているアイスクリームを示す物品アイコンとアイスキャンデーを示す物品アイコンとがポップアップ表示されている例を示し、図８１（ｂ）の例は、カーソルが冷蔵室を指しているときに、その冷蔵室に収容されている弁当を示す物品アイコンとバナナを示す物品アイコンとがポップアップ表示されている例を示している。
このように、物品アイコンがポップアップ表示されている間に、カーソルによってその物品アイコンをクリックすることで、その物品が対象物品に指されるように構成される。尚、物品アイコンの表示形態はこれに限るものではなく、その他の表示形態を採用してもよい。また、物品アイコンを表示する代わりに、物品名称を表示するようにしてもよい。
また、図８１の例では、冷蔵室又は冷凍室内に、２つの物品しか収容されていないため、収容されている全ての物品（物品アイコン）を一度に表示可能である。しかし、例えば多数の物品が設備１０４内に収容されているときには、全ての物品アイコンをポップアップ形式で表示したのでは、操作画面が極めて煩雑になってしまい、ユーザが所望の物品アイコンを指定することが困難になることが予想される。そこで、設備１０４内に収容されている物品が多数であるときには、例えば、その物品をカテゴリー毎に木構造で分類しておき、上位のカテゴリーから下位のカテゴリーに階層をたどることで、物品アイコンが表示されるようにしてもよい。冷蔵室や冷凍室の例では、そこに収容される物品は、通常、食品であるため、例えば、肉、野菜、等のカテゴリーを操作画面に表示し、ユーザにカテゴリーを選択させる。そして、いずれかのカテゴリーが選択されれば、その選択されたカテゴリーに含まれる食品の物品アイコンを表示する。このときに、食品であれば、賞昧期限の早い順に所定数ずつ物品アイコンを表示してもよいし、冷蔵室や冷凍室であれば、出し入れの頻度の多い順に所定数ずつ物品アイコンを表示してもよい。こうすることで、ユーザが見やすい操作画面を構成することができる。尚、出し入れの回数に応じて表示するというのは、例えば食品の場合、出し入れ回数が多いほど品質劣化が激しくなるので、そういう食品ほど目立つように表示する、という意味があり、また良く使われる食品をより優先的に表示する、という意味もある。
尚、操作画面上に現れない物品アイコンを指定する構成は、ポップアップ表示に限るものではない。
操作端末１０３の制御手段１１９は、上述したように、操作画面上で対象物品とその移動先とが指定されたときには、それに応じて指示データを作成し、これを送受信手段１０９を介して作業ロボット１０２に送信する処理を行う。
この指示データは、ロボット１０２の作業計画作成手段１６１が、ロボット制御コマンドを作成する際の基になるデータであり、
（対象物品、対象物品の移動先）
の２つの値からなる。例えば、操作画面において手帳アイコンがテーブルの上にドラッグアンドドロップ操作されて、手帳をテーブルに移動させる作業内容が指定されたときの指示データは、
（手帳Ｓ−０００１（対象物品）、テーブルｔａｂｌｅ−０００１（移動先））とする。尚、この移動先としては、上記環境属性データ６０２又は設備属性データ６０３に登録されている場所（床、又は設備１０４）のみが指定可能である。
また、例えば床に代表されるように、移動先が比較的広い範囲を有し、その移動先の名称（ＩＤ）だけでは具体的な位置を特定することができないときには、その座標値（図７６に示す世界座標系）を移動先に付加する。例えば、手帳を床上に移動させるときの指示データは、
（手帳Ｓ−０００１、床ｆｌｏｏｒ−０００１（ｘ１，ｙ１，０））
とする。
尚、操作画面で指定した位置と、世界座標系の座標値との対応は、図７５（ｂ）に示すように、環境マップ１０８として用いられる環境内の状況をモデル化した立体モデルと、操作画面を構成する画像データを撮影するカメラの各種パラメータ（カメラの位置、カメラの姿勢、カメラの画角等）と、に基づいて演算することが可能である。この演算方法は、コンピュータグラフィックスの技術分野における周知技術であるので、その説明は省略する。
尚、ここでは、操作画面上で、物品アイコンのドラッグアンドドロップ操作をすることにより、対象物品と移動先とが指定される操作インターフェースとしたが、対象物品と移動先とを指定する操作は、ドラッグアンドドロップ操作に限るものではなく、その他の操作を適宜採用することが可能である。
−作業ロボットの構成−
４番目のサブシステムである作業ロボット１０２は、ユーザに指定された作業内容に従って、環境内で物品の取扱い作業を行うものである。
図７０に示すように、ロボット１０２はその基本構成として、ロボット１０２の近辺の障害物等を検知したり、取り扱う物品の情報を得るためのセンサ１１１、物品を把持する把持手段１１２、環境マップ１０８を使って移動計画を立てる移動計画作成手段１１３、上記ロボット１０２自体を移動させる移動手段１１４、環境管理サーバ１０１や操作端末１０３との間で種々のデータの送受信を行う送受信手段１０９、ユーザによって指定された作業内容を実行するための、ロボット１０２の作業計画を作成する作業計画作成手段１６１、設備１０４の動作に係るロボット制御コマンドが格納されたロボット制御コマンドデータベース１６５、これらのセンサ１１１及び各手段１０９，１１２〜１１４，１６１をコントロールする制御手段１１５とからなる。
物品の把持作業及び物品の移動作業を始めとする、ロボット１０２が実行する各作業は、後で詳細を述べるが、コード化された指示データを送受信手段１０９が受け、その受信した指示データに基づいて作業計画作成手段１６１がロボット制御コマンド列を作成し、その作成したロボット制御コマンド列を、制御手段１１５が順に処理することによって行われる。
図８２は、本システムにおけるロボット１０２の構造の一例を示した模式図であり、このロボット１０２は、移動計画作成手段１１３、制御手段１１５、その他を収容する略箱型の本体部１０を備えている。以下、図８２における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
把持手段１１２は、多関節アーム１２ａとそのアーム１２ａの先端に配設されたハンド１２ｂとから構成され、上記本体部１０の上面に取り付けられている。上記アーム１２ａ及びハンド１２ｂは、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものとしても構わない。把持手段１１２は、後述のロボット制御コマンドによって物品の把持位置が指示されたときには、その場所までアーム１２ａの先端を移動させハンド１２ｂによる物品の把持動作を行う。ハンド１２ｂを移動させるためのアーム制御は把持手段１１２自身が行えばよい。また同じく後述のロボット制御コマンドで把持している物品の解放が指示されたときには、把持手段１１２はハンド１２ｂの解放動作を行う。
移動手段１１４は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段１１４を車輪１４で構成したが、移動手段１１４の構成は、そのロボット１０２が使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段１１４をクローラ型や多足歩行型に構成することが好ましい。尚、把持手段１１２が環境内の全域を可動域とする場合にはこの移動手段１１４を省略してもよい。
障害物センサ１１１は、本システムでは、超音波センサ１１ａ、視覚センサとしてのステレオカメラ１１ｂ、及び衝突センサ１１ｃから構成される。
上記超音波センサ１１ａは、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ１１ａから障害物までのおおよその距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサ１１ａは、本体部１０の各側面（前面、後面、左右側面）に、３つずつ取り付けられている。
上記ステレオカメラ１１ｂは、ロボット１０２の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このステレオカメラ１１ｂは、本体部１０の前部に取り付けられている。
上記衝突センサ１１ｃは、ロボット１０２に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット１０２に衝突してきたことや、ロボット１０２自体が移動中に障害物に衝突したことを、この衝突センサ１１ｃで検知する。この衝突センサ１１ｃは、本体部の前面と後面とのそれぞれに取り付けられている。
移動計画作成手段１１３は、ロボット１０２に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット１０２の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ１０８を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ１０８には、上述したように、ロボットが移動不可領域（例えば図７５（ｃ）の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図７５（ｃ）の平面モデルを用いた環境マップ１０８を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット１０２の大きさを考慮して移動不可領域を回避するルート（図７５（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。また、移動経路を作成してそれに基づいて移動を開始した後に、上記センサ１１１が障害物を検知したときには、その都度、障害物を避けるための新たな経路を作成し直すようにする。
尚、環境の状況が複雑すぎてロボット１０２の移動経路の算出ができない、又はその算出に多大な時間を要するような場合等の対策として、ユーザがロボット１０２の移動経路を指定するモードを設けてもよい。
作業ロボット１０２の制御手段１１５は、外部から送受信手段１０９を介して送られてきた指示データをロボット制御コマンドに変換すべく、作業計画作成手段１６１に送ると共に、この作業計画作成手段１６１によって変換されたロボット制御コマンド列を受けて、それを順次実行するものである。
上記ロボット制御コマンドとは、物品の把持やロボット１０２自体の移動、及び設備１０４の制御を行うためのコマンドで、大きくわけると主に「移動」「把持」「解放」「設備操作」の４種類がある。この４種類のコマンドについて簡単に説明する。
１）移動：（ｍｏｖｅ，座標）又は（ｍｏｖｅ，設備ＩＤ）
ロボット１０２の現在位置から座標で指定された位置、又は設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は、状況に応じて最適な座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段１１３が計画する。
また、設備ＩＤで指定された設備の位置に移動するときには、その設備に対して所定の距離まで近づくような経路を作成するが、その設備の座標は環境マップ１０８の設備属性データ６０３を利用する。
２）把持：（ｇｒａｂ，物品ＩＤ）
物品ＩＤで指定された物品を、ハンド１２ｂによって把持するコマンドである。物品の場所は物品ＤＢ１０６ａを参照し、把持計画は把持手段１１２が作成する。
３）解放：（ｒｅｌｅａｓｅ）
ハンド１２ｂを解放するコマンドである。
４）設備操作：（ロボットのＩＤ，設備ＩＤ，設備動作コマンド）
設備ＩＤで指定された設備１０４に、指定された設備動作コマンドを送信するコマンドである。設備動作コマンドとは、上述したように、個々の設備１０４が外部から受ける指示コマンドであり、設備動作コマンドを受けた各設備１０４は、そのコマンドに対応する処理を実行する。ここで、設備操作のコマンドにロボットのＩＤを添付する理由は、上述したように、設備動作コマンドを受けた設備１０４は、そのコマンドの送信元に戻り値を送信するためである。
以上、簡単に４種類のロボット制御コマンドを説明した。もちろんロボット制御コマンドはこの４種類に限らず、必要に応じて増やしてもよいことはいうまでもない。
作業ロボット１０２の作業計画作成手段１６１は、操作端末１０３から送信された指示データを受けて、必要に応じてロボット制御コマンドＤＢ１６５を参照しながら、その指示データをロボット制御コマンドに変換して、作業計画を作成するものである。
この作業計画作成手段１６１及びロボット制御コマンドＤＢ１６５を設けることによって本システムでは、ユーザは操作端末１０３において所望の物品と、その物品の移動先を指定することだけで、ロボット１０２に適切な作業を実行させることができる。
つまり、指示データは、上述したように、
（対象物品、対象物品の移動先）
の２つの値からなるデータであり、「指定された対象物品を、指定された移動先に移動させる」ことを意味する。ここで、指定された対象物品が、ロボット１０２がそのまま把持できる状態にあると共に、指定された移動先が、ロボット１０２がそのまま物品を解放できる状態にあるとき、つまり、指定した作業内容をロボット１０２が実行するに際してロボット１０２の動作が妨げられないときには、ロボット制御コマンドＤＢ１６５は必要ない。
これに対し、指定された対象物品がドアが閉じた状態にある収容部内に収容されているときには、ロボット１０２がその対象物品を把持する前にドアを開けなければならない。逆に、指定された移動先がドアが閉じた状態にある収容部内であるときには、ロボット１０２が把持している対象物品を解放する前にドアを開けなければならない。このように、例えば収容部に収容されている物品を、別の収容部に移動させる作業をユーザが指定するときに、ドアの開閉操作まで指定しなければならないのでは、使い勝手が悪くなってしまう。
また、指定された移動先が、電子レンジのように収容された物品に対する作用を施すものであるときには、ユーザは、物品をその電子レンジの庫内に収容するだけでなく、その物品を加熱したいという要求があると考えられる。ユーザがロボット１０２の作業内容を指定するときに、対象物品と移動先と、さらにその対象物品に対する作用とを指定しなければならないのでは、ユーザによる指定操作が煩雑になってしまう。
これを解消するには、対象物品と移動先との２つで構成される指示データに基づいて、設備１０４の操作を含むロボット制御コマンドを作成するための知識データが必要になる。ロボット制御コマンドＤＢ１６５は、上記の知識データを格納するものである。設備１０４の構成やそれが有する機能は、設備１０４毎に互いに異なることから、こうした知識データは、設備１０４毎に設定しなければならない。ロボット制御コマンドＤＢ１６５には、設備動作に係るロボット制御コマンドが、設備１０４毎に個別に格納されている。
図８３は、上記ロボット制御コマンドＤＢ１６５に格納されているロボット制御コマンドの例を示す図である。このロボット制御コマンドＤＢ１６５は、設備ＩＤ、場所の属性、ロボット制御コマンドが対応付けられて構成されている。この内、「設備ＩＤ」には、設備１０４のＩＤが格納されている。「場所の属性」は、移動元と移動先とに分けられていて、「移動元」は、その設備１０４が、指定データで指定された対象物品を収容しているときに対応し、「移動先」は、その設備１０４が、対象物品をこれから収容する移動先に指定されているときに対応する。
ロボット制御コマンドは、上記の「移動元」「移動先」のそれぞれに対応して個別に記載されている。その各コマンドは基本的に、
（ロボットＩＤ、設備ＩＤ、設備動作コマンド）
の３つの値からなる。
冷蔵室（Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）が移動元であるときを例に、ロボット制御コマンドリスト（列）について具体的に説明する。このロボット制御コマンドは、操作端末１０３からの指示データで、冷蔵室内に収容されている物品の移動が指定されたときのコマンドである。
このロボット制御コマンド列は３つのコマンドから構成されており、それぞれ次の動作の実行を意味する。
１）（Ｒｏｂｏｔ−０００１，Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１，ｄｏｏｒ−ｏｐｅｎ）：冷蔵室に、ドアを開けさせる
２）（ｇｒａｂ，＄ｏｂｊｅｃｔ）：ロボットが、物品を把持して取り出す
３）（Ｒｏｂｏｔ−０００１，Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１，ｄｏｏｒ−ｃｌｏｓｅ）：冷蔵室に、ドアを閉めさせる
ここで、（ｇｒａｂ，＄ｏｂｊｅｃｔ）における「＄ｏｂｊｅｃｔ」には、対象物品のＩＤが入る。このように、状況によって値が変わる情報は「＄」を付けることで変数扱いとしておき、指示データによって対象物品が設定されたときに、上記変数に物品ＩＤを入れる。こうして、ロボット制御コマンドに一般性を持たせている。
また、電子レンジ（Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）が移動先であるときは、ロボット制御コマンド列は次のようになる。
１）（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｉｓ−ｏｂｊｅｃｔ）：電子レンジに、庫内に物品が存在するかを確認させる
２）（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｄｏｏｒ−ｏｐｅｎ）：電子レンジに、ドアを開けさせる
３）（ｒｅｌｅａｓｅ，＄ｏｂｊｅｃｔ）：物品を解放する
４）（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｄｏｏｒ−ｃｌｏｓｅ）：電子レンジに、ドアを閉めさせる
５）（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｗａｒｍ−ｓｔａｒｔ）：電子レンジに、庫内物品の加熱を開始させる
の５つのコマンドから構成されている。
このうち、１）のロボット制御コマンドは、移動先である電子レンジの庫内に、既に別の物品が入っていたのでは、さらに対象物品を入れることができないため、電子レンジの庫内に物品が存在しているか否かを電子レンジに確認させるコマンドである。電子レンジからの戻り値が「Ｆａｌｓｅ」であるときは、庫内に物品が入っていないため、制御手段１６２は続く２）〜５）のコマンドを順に実行すればよいが、電子レンジからの戻り値が「Ｔｒｕｅ」であるとき、つまり、電子レンジの庫内に物品が入っているときには、制御手段１６２は、電子レンジの庫内に物品が入っている旨をユーザに報知した上で、続く２）〜５）のコマンドを実行を中止する、ことが好ましい。
また、上記電子レンジが、物品を「加熱する」機能として、「温め」モードや「解凍」モード等の、複数のモードを有しているときには、それに応じて、設備動作コマンド（ロボット制御コマンド）を複数備えることが好ましい。このように、設備動作コマンドを複数備えている場合には、ロボット１０２が対象物品の属性を認識し、それに応じた設備動作コマンドが電子レンジに送信されるように、ロボット制御コマンド列を作成してもよい。
例えば、画像処理や、温度センサ、その物品に付与された電子タグの情報に基づいて、その物品が冷凍物であれば、電子レンジに「解凍」モードの設備動作コマンドを送信するようにしてもよい。尚、これとは異なり、電子レンジが、庫内の物品の属性を画像処理や電子タグの情報に基づいて判断するようにして、設備動作コマンドとしての「ｗａｒｍ−ｓｔａｒｔ」を受信したときには、その物品の属性に応じて、電子レンジが「温め」モードと「解凍」モードとを切り替えるようにしてもよい。
次に、作業ロボット１０２の作業計画作成手段１６１が行う、ロボット制御コマンドの作成手順について、図８４に示すフローチャートを参照しながら説明する。
上述したように、ユーザが操作端末１０３において作業内容を指定したときには、操作端末１０３から作業ロボット１０２に、ネットワークを介して指示データが送信される。ステップＳ１２０１では、その指示データの読み込みを行う。
続くステップＳ１２０２では、読み込んだ指示データに基づいて、指定された対象物品の現在位置を、サーバ１０１の物品データベース１０６ａを参照することによって確認する。対象物品の現在位置を確認すれば、ステップＳ１２０３では、ロボット１０２の現在位置からその対象物品の現在位置まで移動するためのロボット制御コマンドを作成する。
次にステップＳ１２０４では、指定された対象物品が、設備１０４内に収容されているか否かを判定する。これは、対象物品の現在位置が、環境マップ１０８の設備属性データ６０３に登録されている設備１０４であるか否かによって判定し、対象物品が設備１０４内に収容されているのＹＥＳのときには、ステップＳ１２０５に移行する一方、対象物品が設備１０４内に収容されていないのＮＯのときには、ステップＳ１２０６に移行する。
上記ステップＳ１２０５では、上述したように、ロボット制御コマンドＤＢ１６５から、その設備１０４が移動元であるときのロボット制御コマンド（列）を読み込み、これを既に生成しているロボット制御コマンド列に追加する。
上記ステップＳ１２０６では、指示データによって指定された移動先まで移動するためのロボット制御コマンドを生成する。生成したロボット制御コマンドは、既に生成しているロボット制御コマンド列に追加する。
ステップＳ１２０７では、移動先が設備１０４内であるか否かを判定する。これは、ステップＳ１２０４と同様に、移動先が環境マップ１０８の設備属性データ６０３に登録されている設備１０４であるか否かによって判定し、移動先が設備１０４内であるのＹＥＳのときには、ステップＳ１２０８に移行する一方、移動先が設備１０４内でないＮＯのときには、ステップＳ１２０９に移行する。
上記ステップＳ１２０８では、上述したように、ロボット制御コマンドＤＢ１６５から、その設備が移動先であるときのロボット制御コマンド（列）を読み込み、これを既に生成しているロボット制御コマンド列に追加する。
上記ステップＳ１２０９では、生成したロボット制御コマンド列を、制御手段１１５に送信する。
以上のように構成された本システムにおいて、ユーザが指定した作業内容が、ロボット１０２によって実行される手順を、具体例を挙げて説明する。ここでは、「冷蔵室（Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）に収容されている弁当（Ｆ−０００１）を、電子レンジ（Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）内に移動させる（温める）」という作業内容をユーザが指定する場合を例にする。
先ず、操作端末１０３の表示部１１７には、例えば図７９に示す操作画面が表示される。ユーザが入力部１１６を操作することによって、仮想空間内の冷蔵室をカーソルで指し示すと、図８１（ｂ）に示すように、冷蔵室内に収容されている物品（物品アイコン）がポップアップ形式で表示される。入力部１１６の操作により弁当アイコンを選択することで、対象物品が「弁当」に指定される。
次にユーザは、入力部１１６の操作によって、上記弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップする。これにより、移動先が「電子レンジ」に指定され、ユーザによる作業内容の指定が完了する。
こうして作業内容が指定されれば、操作端末１０３は、指示データを作成し、これを作業ロボット１０２に送信する。この指示データは、対象物品が弁当（Ｆ−０００１）であり、移動先が電子レンジ（Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）であるため、
（Ｆ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）
となる。
作業ロボット１０２の作業計画作成手段１６１は、操作端末１０３から送信された指示データを読み込み（ステップＳ１２０１）、対象物品である弁当の現在位置を、サーバ１０１の物品データベース１０６ａを参照することによって確認する（ステップＳ１２０２）。弁当は、冷蔵室（Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）内に収容されているため、その冷蔵室まで移動するロボット制御コマンド
（ｍｏｖｅ，Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）
を生成する（ステップＳ１２０３）。
次に、作業計画作成手段１６１は、上記弁当が、設備１０４内に収容されているか否かを判定する（ステップＳ１２０４）。冷蔵室（Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）は、図７６に示すように、設備属性データに登録されているため、弁当は、設備１０４内に収容されている。そこで、ロボット制御コマンドＤＢ１６５から、冷蔵室が移動元であるときのロボット制御コマンド（列）を読み込む（ステップＳ１２０５）。具体的には、図８３に示すように、
（Ｒｏｂｏｔ−０００１，Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１，ｄｏｏｒ−ｏｐｅｎ）
（ｇｒａｂ，Ｆ−０００１）
（Ｒｏｂｏｔ−０００１，Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１，ｄｏｏｒ−ｃｌｏｓｅ）
を読み込む。尚、変数「＄ｏｂｊｅｃｔ」には、弁当のＩＤである「Ｆ−０００１」が既に代入されている。このロボット制御コマンド列は、既に生成しているロボット制御コマンド列に追加される。
指示データで指定された移動先は電子レンジであるため、作業計画作成手段１６１は、電子レンジまで移動するためのロボット制御コマンドを生成する（ステップＳ１２０６）。具体的には、
（ｍｏｖｅ，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）
を生成し、これを既に生成しているロボット制御コマンド列に追加する。
作業計画作成手段１６１は次に、移動先が設備１０４内であるか否かを判定する（ステップＳ１２０７）。電子レンジ（Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１）は設備属性データ６０３に登録されている設備１０４であるため（図７６参照）、移動先は設備１０４内である。作業計画作成手段１６１は、ロボット制御コマンドＤＢ１６５から、電子レンジがが移動先であるときのロボット制御コマンド（列）を読み込む（ステップＳ１２０８）。具体的には、図８３に示すように、
（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｉｓ−ｏｂｊｅｃｔ）
（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｄｏｏｒ−ｏｐｅｎ）
（ｒｅｌｅａｓｅ，Ｆ−０００１）
（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｄｏｏｒ−ｃｌｏｓｅ）
（Ｒｏｂｏｔ−０００１，Ｍｉｃｒｏｗａｖｅ−ｏｖｅｎ−０００１，ｗａｒｍ−ｓｔａｒｔ）
を読み込む。尚、変数「＄ｏｂｊｅｃｔ」には、弁当のＩＤである「Ｆ−０００１」が既に代入されている。このロボット制御コマンド列は、既に生成しているロボット制御コマンド列に追加される。
以上のようにして、冷蔵室内の弁当を、電子レンジに移動させる作業内容に対応して、作業計画作成手段１６１が生成したロボット制御コマンド列は、図８５に示すようになる。
制御手段１１５は、こうして生成されたロボット制御コマンド列に基づいて、移動手段１１４及び把持手段１１２の制御を行う。その結果、冷蔵室内の弁当を、電子レンジの庫内に移動しかつ、その電子レンジによって弁当を温める、という作業が、ロボット１０２によって行われることになる。
このとき、上記制御手段１１５は、ロボット制御コマンド列の各コマンドを、順番に実行するが、各コマンドの実行タイミングは状況に応じて適宜設定する。
例えば上記のロボット制御コマンド列には、
１）（ｍｏｖｅ，Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１）：ロボット１０２が冷蔵室に移動する
２）（ｒｏｂｏｔ−０００１，Ｒｅｆｒｉｇｅｒａｔｏｒ−０００１，ｄｏｏｒ−ｏｐｅｎ）：ロボット１０２から冷蔵室に、ドアを開ける設備動作コマンドを送る
の２つのロボット制御コマンドが順に並んでいるが、制御手段１１５は、上記１）の処理が完了してから、上記２）の処理を実行するようにしてもよい。また、これとは異なり、上記１）の処理が完了する所定時間前に、上記２）の処理を実行するようにしてもよい。つまり、ロボット１０２が冷蔵室の位置に到達する前に、冷蔵室のドアを開けるようにしてもよい。こうすることで、作業がよりスムースに実行され、作業時間が短縮化される。尚、各コマンドの実行タイミングは、そのコマンドと、直前のコマンド又は直後のコマンドとの関係によって予め設定してもよいし、推論可能であるならば、その都度推論して各コマンドの実行タイミングを決定してもよい。
また、作業計画作成手段１６１がロボット制御コマンド列を生成した後、直ちに制御手段１１５がそのロボット制御コマンド列を実行するようにしてもよいが、制御手段１１５がそのロボット制御コマンド列を開始する前に、作業計画作成手段１６１が生成したロボット制御コマンド列の内容を外部に報知するようにしてもよい。
例えば図８４に示すフローチャートにおいて、ステップＳ１２０８の後でかつ、ステップＳ１２０９の前に、作成したロボット制御コマンド列をネットワークを介して操作端末１０３に送信してもよい。ロボット制御コマンド列を受けた操作端末１０３は、そのロボット制御コマンド列を解釈して、そのロボット制御コマンド列によって実行される作業内容を、表示部１１７に表示させる。例えば図８６に示すように、対象物品の物品アイコンを表示すると共に、その移動元及び移動先の名称をそれぞれ文字で表示する。図８６は上述した具体例に対応しており、対象物品として弁当アイコンが表示され、移動元として「冷蔵室」の文字が、移動先として「電子レンジ」の文字がそれぞれ表示されている。また、図例では、物品の移動元と移動先とを明確にすべく、仮想空間内における移動元から移動先に向かって、矢線を表示している。さらに、移動先において対象物品に作用が施されるときには、その作用を文字で表示する。図８６では「加熱」の文字が表示されている。尚、物品の移動元及び移動先が、設備１０４でないとき（設備１０４としての名称がないとき）には、「冷蔵室」や「電子レンジ」とった、移動元及び移動先を表す文字の表示は省略すればよい。また、作業内容をユーザに確認させるための表示形態は、図８６に示す例に限らず、対象物品の名称を文字で表示したり、仮想空間における移動元や移動先を強調表示するようにしてもよい。また、例えば「冷蔵室内の弁当を電子レンジの庫内に移動させ、その弁当を加熱する」というように、作業内容を示す文章を表示部１１７に表示してもよい。さらに、作業内容の報知は表示に限らず、音声による報知でもよい。
作業内容を外部に報知する処理を行うことによって、ロボットの作業内容をユーザ（作業内容を指定したユーザを含む）に知らせることになり、ユーザが操作画面上で操作ミスをしたとき、例えば、上述した具体例において、例えば弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップするつもりが、誤って冷凍室にドラッグアンドドロップしてしまったときでも、誤った操作に基づく作業が実行されてしまうことを未然に防止することが可能になる。
また、移動先が電子レンジのように、対象物品に対する作用を施す設備１０４であるときには、対象物品に対する作用をシステムが誤ることも生じ得る。例えば、対象物品である「冷凍肉」を移動先である電子レンジに移動させる、という作業内容を指定したときに、「冷凍肉」を電子レンジで「解凍」するのではなく、「冷凍肉」を電子レンジで「温める」というロボット制御コマンドが生成されてしまう場合である。こうした場合も、ユーザへの報知処理を行うことによって、誤った作業が実行されてしまうことを未然に防止することが可能になる。
また、作業内容に誤りがあった場合や、ユーザが指定した作業内容を変更したい場合には、操作端末１０３の入力部１１６を操作することによって、操作画面において作業内容を適宜修正可能に構成することが好ましい。
以上の説明では、ユーザは操作端末１０３において、所望の一つの物品を所望の一つの移動先に移動させるという、単一の作業内容を指定するようにしているが、複数の作業内容を一度に指定した方が、ユーザの指定操作が容易になる場合がある。例えば、
１）冷蔵室に収容されている弁当を、電子レンジに入れて温める
２）弁当の温めが完了したら、その電子レンジ内の弁当をユーザの位置に移動させる
という、一つの物品に対して複数の作業を連続して行わせる場合である。こうした場合には、操作画面において、上記の１），２）の作業内容を一度に指定し、作業ロボット１０２は、指定された複数の作業を順次実行するように構成するのがよい。操作画面上における複数作業の指定操作としては、例えば物品アイコンのドラッグアンドドロップ操作を連続して行うようにしてもよい。具体的に上記の例では、弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップすると共に、その電子レンジにドロップした弁当アイコンを、仮想空間内のユーザ位置にドラッグアンドドロップすることで、上記の１），２）の作業が指定されるようにすればよい。
また、複数の物品に対する作業を並列に行わせる場合もある。例えば、
１）冷蔵室内の弁当を電子レンジに移動させる一方で、
２）冷蔵室内のバナナをテーブルに移動させる
という場合である。この場合も、操作画面において、上記の１），２）の作業内容を一度に指定し、作業ロボット１０２は、指定された複数の作業を順次実行するように構成するのがよい。このとき、ロボット１０２が、複数の作業のスケジューリングをすることによって、作業全体の効率化を図るようにしてもよい。上記の例では、冷蔵室内の弁当を電子レンジに移動させた後に、再び冷蔵室内のドアを開けてバナナを取り出し、そのバナナをテーブルに移動させる、という作業を行うのではなく、冷蔵室のドアを開けて、指定された弁当とバナナとを一度に取り出し、取り出した２つの物品の内、弁当は電子レンジに移動させ、バナナはテーブルに移動させる、という作業を行うようにするのである。このような作業の実行を可能とするために、作業ロボット１０２は、一つのアーム１２ａ及びハンド１２ｂを有するもの（図８２参照）に限らず、複数のアーム１２ａ及びハンド１２ｂを有するものとして、複数の物品を同時に把持可能に構成してもよい。
以上説明したように、本発明の物品取扱いシステムは、所定の生活空間（環境）内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボット１０２と、上記ロボット１０２の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段１１６と、上記作業命令を受けて作業計画を作成する作業計画作成手段１６１と、を備える。
そして、上記作業計画作成手段１６１は、上記ロボット１０２が作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものである。
この構成により、ユーザは、入力手段１１６において、ロボット１０２の作業対象物品とその対象物品の移動先とだけを入力すれば、ロボット１０２の作業対象物品とその対象物品の移動先とを含む作業命令（指定データ）が作成される。
この作業命令を受けて、作業計画作成手段１６１は、ロボット１０２が対象物品を移動先に移動させるための作業計画を、その移動先に応じた、移動先への作業を補完しつつ作成する。このため、ユーザは物品の移動先を考慮した作業を追加して指定しなくてもよい。こうして、ロボット１０２に実行させる作業内容の指定が容易化されて、誰もが容易にロボット１０２の操作が可能になる。
本発明では、上記作業命令に含まれる移動先には、物品を収容する収容部を有する設備１０４が含まれ、作業計画作成手段１６１は、作業命令に含まれる移動先が上記収容部を有する設備１０４であるときには、上記収容部に物品を入れるために必要な設備１０４の動作を作業計画に追加する。
こうすることで、移動先が収容部を有する設備１０４であって、その収容部に物品を入れるために必要な設備１０４の動作、例えばドアの開閉動作が存在するときでも、ユーザはその設備１０４を動作させる作業を入力する必要がない。
本発明では、上記作業命令に含まれる対象物品には、設備１０４の収容部に収容された物品が含まれ、作業計画作成手段１６１は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備１０４の動作を作業計画に追加する。
こうすることで、作業命令に含まれる対象物品が収容部を有する設備１０４に収容されていて、その収容部から物品を取り出すために必要な設備１０４の動作、例えばドアの開閉動作が存在するときでも、ユーザはその設備１０４を動作させる作業を入力する必要がない。
本発明では、上記移動先には、物品に対する作用を施す設備１０４が含まれ、作業計画作成手段１６１は、作業命令に含まれる移動先が上記作用を施す設備１０４であるときには、対象物品に作用を施すための設備の動作を作業計画に追加する。
こうすることで、ユーザが、物品に対し所定の作用を施すことを目的として、その物品を設備１０４に移動させること作業内容として指定したときでも、ユーザはその設備１０４を動作させる作業を入力する必要はない。一例を挙げると、ユーザが、食品を加熱することを目的として、その食品を電子レンジに移動させることを指定したときには、「食品を電子レンジで加熱する」という作業を指定しなくても、作業計画には、食品を電子レンジで加熱することが追加される。こうして、ロボット１０２に実行させる作業内容の指定がさらに容易化される。
本発明では、上記作業計画作成手段１６１は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加する。
こうすることでユーザは、対象物品に施す作用を指定しなくても、その物品に応じた作用がその物品に施される。一例を挙げると、移動先が電子レンジであって、対象物品が冷凍物であるときには、冷凍物を解凍するための設備の動作が作業計画に追加される。これに対し、移動先が電子レンジであって、対象物品が調理済み食品であるときには、調理済み食品を温めるための設備の動作が作業計画に追加される。このように、対象物品に施す作用はその対象物品に応じて決定されて、そのための設備の動作が作業計画に追加されるため、ユーザはその物品に施す作用を指定しなくてもよい。これにより、ロボットに実行させる作業内容の指定がさらに容易化し、ユーザフレンドリーなシステムにすることができる。
本発明では、上記設備１０４は、作業計画を受けて、その作業計画に含まれる設備の動作を実行する。こうすることで、ロボット１０２がアーム１２ａを使って設備１０４のドアを開閉したり、アーム１２ａを使って設備１０４に設けられた各種スイッチの操作を行ったりする場合と比べて、ロボット１０２の構成を単純化することができる。
本発明では、物品取扱いシステムが、ロボット１０２が作業内容に従って作業を開始する前に、作業計画作成手段１６１が作成した作業内容を報知する報知手段１１７をさらに備えている。
本発明のシステムは作業計画の補完を行うため、ユーザが意図していない作業をロボット１０２が実行してしまうことも予想される。また、ユーザが作業内容の指定操作を誤ることも考えられる。そこで、報知手段１１７は、作業計画作成手段１６１が作成した作業計画を、ロボットが作業を開始する前に報知する。こうすることで、ユーザは作業計画を確認することができ、それにより、誤った作業がロボットによって実行されてしまうことを未然に防止することができる。
本発明の他の物品取扱いシステムは、上記物品の取扱い作業を行うロボット１０２と、上記ロボット１０２の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段１１６と、上記作業命令を受けて作業計画を作成する作業計画作成手段１６１と、を備える。
そして、上記作業計画作成手段１６１は、上記ロボット１０２が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成するものとする。
この構成により、上述したように、ユーザは、入力手段１１６において、ロボット１０２の作業対象物品とその対象物品の移動先とだけを入力すれば、作業計画作成手段１６１は、ロボット１０２が対象物品を移動先に移動させるための作業計画を、その対象物品の移動前の状態に応じた、移動元への作業を補完しつつ作成する。このため、ユーザは、物品の移動元を考慮した作業を追加して指定しなくてもよい。こうして、ロボット１０２に実行させる作業内容の指定が容易化されて、誰もが容易にロボット１０２の操作が可能になる。
本発明のさらに他の物品取扱いシステムは、上記物品の取扱い作業を行うロボット１０２と、上記生活空間内に存在する設備１０４の動作内容が蓄積された動作内容データベース１６５と、上記ロボット１０２の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段１１６と、上記作業命令を受けて、上記ロボット１０２が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベース１６５を参照しながら作成する作業計画作成手段１６１と、を備える。
この構成により、ユーザは、入力手段１１６において、ロボット１０２の作業対象物品とその対象物品の移動先とだけを入力すれば、作業計画作成手段１６１は、設備１０４の動作内容が蓄積された動作内容データベース１６５を参照しながら、作業計画を作成する。このため、ユーザは、設備１０４の動作を考慮せずに、ロボット１０２に実行させる作業内容の指定が可能になる。
−他の実施形態−
尚、本実施形態では、操作端末１０３が指示データを作業ロボット１０２に送信し、作業ロボット１０２がロボット制御コマンドを作成するようにしたが、例えば、操作端末１０３からサーバ１０１に指示データを送信し、サーバ１０１がロボット制御コマンドを作成すると共に、その作成したコマンドを作業ロボット１０２に送信するようにしてもよい。この場合、ロボット制御コマンドの内、設備動作に係るコマンドは、サーバ１０１から設備１０４に直接送信するようにしてもよい。また、操作端末１０３が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット１０２（及び／又は設備１０４）に送信するようにしてもよい。
また、本実施形態では、物品取扱いシステムを、環境管理サーバ１０１、ロボット１０２、操作端末１０３、設備１０４の４つのサブシステムからなり、それらサブシステム１０１〜１０４が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末１０３が環境管理サーバ１０１に一体となった構成でもよい。また、操作端末１０３が作業ロボット１０２に一体となった構成でもよい。
またロボット１０２も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
操作画面の構成は、図７９に示すものに限らず、少なくとも対象物品と、移動先とを指定可能なものであればよい。例えば環境内の物品に対応する物品アイコンと、移動先となり得る場所を示す場所アイコンとのそれぞれを表示する操作画面としてもよい。
以上説明したように、本発明による物品取扱いシステム及び物品取扱いサーバでは、入力された移動先への作業を補完しつつ作業計画を作成するため、ユーザはロボットの作業対象物品とその対象物品の移動先とだけを入力すればよく、ロボットに実行させる作業内容の指定が容易化し、誰もが容易にロボットの操作をすることができる。
【図１】
2004106009.tif 000004
【図２】
2004106009.tif 000005
【図３】
2004106009.tif 000006
【図４】
2004106009.tif 000007
【図５】
2004106009.tif 000008
【図６】
2004106009.tif 000009
【図７】
2004106009.tif 000010
【図８】
2004106009.tif 000011
【図９】
2004106009.tif 000012
【図１０】
2004106009.tif 000013
【図１１】
2004106009.tif 000014
【図１２】
2004106009.tif 000015
【図１３】
2004106009.tif 000016
【図１４】
2004106009.tif 000017
【図１５】
2004106009.tif 000018
【図１６】
2004106009.tif 000019
【図１７】
2004106009.tif 000020
【図１８】
2004106009.tif 000021
【図１９】
2004106009.tif 000022
【図２０】
2004106009.tif 000023
【図２１】
2004106009.tif 000024
【図２２】
2004106009.tif 000025
【図２３】
2004106009.tif 000026
【図２４】
2004106009.tif 000027
【図２５】
2004106009.tif 000028
【図２６】
2004106009.tif 000029
【図２７】
2004106009.tif 000030
【図２８】
2004106009.tif 000031
【図２９】
2004106009.tif 000032
【図３０】
2004106009.tif 000033
【図３１】
2004106009.tif 000034
【図３２】
2004106009.tif 000035
【図３３】
2004106009.tif 000036
【図３４】
2004106009.tif 000037
【図３５】
2004106009.tif 000038
【図３６】
2004106009.tif 000039
【図３７】
2004106009.tif 000040
【図３８】
2004106009.tif 000041
【図３９】
2004106009.tif 000042
【図４０】
2004106009.tif 000043
【図４１】
2004106009.tif 000044
【図４２】
2004106009.tif 000045
【図４３】
2004106009.tif 000046
【図４４】
2004106009.tif 000047
【図４５】
2004106009.tif 000048
【図４６】
2004106009.tif 000049
【図４７】
2004106009.tif 000050
【図４８】
2004106009.tif 000051
【図４９】
2004106009.tif 000052
【図５０】
2004106009.tif 000053
【図５１】
2004106009.tif 000054
【図５２】
2004106009.tif 000055
【図５３】
2004106009.tif 000056
【図５４】
2004106009.tif 000057
【図５５】
2004106009.tif 000058
【図５６】
2004106009.tif 000059
【図５７】
2004106009.tif 000060
【図５８】
2004106009.tif 000061
【図５９】
2004106009.tif 000062
【図６０】
2004106009.tif 000063
【図６１】
2004106009.tif 000064
【図６２】
2004106009.tif 000065
【図６３】
2004106009.tif 000066
【図６４】
2004106009.tif 000067
【図６５】
2004106009.tif 000068
【図６６】
2004106009.tif 000069
【図６７】
2004106009.tif 000070
【図６８】
2004106009.tif 000071
【図６９】
2004106009.tif 000072
【図７０】
2004106009.tif 000073
【図７１】
2004106009.tif 000074
【図７２】
2004106009.tif 000075
【図７３】
2004106009.tif 000076
【図７４】
2004106009.tif 000077
【図７５】
2004106009.tif 000078
【図７６】
2004106009.tif 000079
【図７７】
2004106009.tif 000080
【図７８】
2004106009.tif 000081
【図７９】
2004106009.tif 000082
【図８０】
2004106009.tif 000083
【図８１】
2004106009.tif 000084
【図８２】
2004106009.tif 000085
【図８３】
2004106009.tif 000086
【図８４】
2004106009.tif 000087
【図８５】
2004106009.tif 000088
【図８６】
2004106009.tif 000089
【手続補正書】
【提出日】平成17年2月4日(2005.2.4)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、
前記センシング手段からの情報を受けて、前記生活空間における多種多様の物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理するサーバと、
前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、
前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信する
ことを特徴とする物品操作システム。


【手続補正００２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３
【補正方法】変更
【補正の内容】
【請求項３】所定の生活空間における物品と、人またはロボットを含む移動体との状況をセンシングするセンシング手段と、
前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品データベースに管理するサーバと、
前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、
前記サーバは、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する
ことを特徴とする物品管理システム。


【手続補正００３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項６
【補正方法】変更
【補正の内容】
【請求項６】操作端末が、所定の生活空間を表す画像を表示部に表示し、
ユーザが、前記操作端末から、前記画像に含まれた物品に対する操作の指示を行い、
操作端末から送信されたユーザの指示を、サーバが、前記生活空間における多種多様の物品の，少なくとも現在位置を含む属性情報を管理する物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、
サーバが、前記制御コマンドを、前記ロボットに送信する
ことを特徴とする物品操作方法。


【手続補正００４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項７
【補正方法】変更
【補正の内容】
【請求項７】操作端末が、所定の生活空間を表す画像を表示部に表示し、
ユーザが、前記操作端末から、前記画像に含まれた物品に対する問合せを行い、
操作端末から送信されたユーザの問合せを受けて、サーバが、前記生活空間における物品の，現在位置および人またはロボットによる操作履歴を少なくとも含む属性情報を管理する物品データベースを参照して、ユーザに提供するための情報を生成し、
サーバが、生成した情報を、前記操作端末に送信する
ことを特徴とする物品管理方法。


【手続補正００５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項８
【補正方法】変更
【補正の内容】
【請求項８】所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが作業を指示するための操作手段と、通信可能に構成されており、
前記センシング手段からの情報を受けて、前記生活空間における多種多様の物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理し、
前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信する
ことを特徴とするサーバ。


【手続補正００６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項９
【補正方法】変更
【補正の内容】
【請求項９】所定の生活空間における物品と、人またはロボットを含む移動体との状況をセンシングするセンシング手段、および、ユーザが問合せを入力するための操作手段と、通信可能に構成されており、
前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品データベースに管理し、
前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する
ことを特徴とするサーバ。


【手続補正００７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１４
【補正方法】変更
【補正の内容】
【請求項１４】所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
上記物品の属性情報からなる物品データベースとを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上で、上記物品アイコンおよび包括アイコンを指定させ、
上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記指定された物品アイコンに対応する上記物品の属性情報に応じて、場所を選択し、
上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システム。


【手続補正００８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１５
【補正方法】変更
【補正の内容】
【請求項１５】所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、上記物品の属性情報からなる物品データベースとを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上で上記物品アイコンと上記作用アイコンとを指定させ、
上記指定された物品アイコンに対応する物品の上記属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、
上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システム。


【手続補正００９】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１６
【補正方法】変更
【補正の内容】
【請求項１６】所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記物品アイコンおよび包括アイコンを指定させ、上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記指定された物品アイコンに対応する物品の属性情報に応じて場所を選択し、上記ロボットに、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させることを特徴とするロボット操作装置。


【手続補正０１０】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１７
【補正方法】変更
【補正の内容】
【請求項１７】所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記物品アイコンおよび作用アイコンを指定させ、上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させることを特徴とするロボット操作装置。


【手続補正０１１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２０
【補正方法】変更
【補正の内容】
【請求項２０】居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の、少なくとも現在位置、形状および姿勢を含む情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。


【手続補正０１２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２１
【補正方法】変更
【補正の内容】
【請求項２１】居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の、少なくとも現在位置、形状および姿勢を含む情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。


【手続補正０１３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２２
【補正方法】変更
【補正の内容】
【請求項２２】居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の、少なくとも現在位置、形状および姿勢を含む情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。


【手続補正０１４】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２６
【補正方法】変更
【補正の内容】
【請求項２６】所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いシステム。


【手続補正０１５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２７
【補正方法】変更
【補正の内容】
【請求項２７】所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いシステム。


【手続補正０１６】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項２９
【補正方法】変更
【補正の内容】
【請求項２９】所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットに上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いサーバ。


【手続補正０１７】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項３０
【補正方法】変更
【補正の内容】
【請求項３０】所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いサーバ。




【手続補正書】
【提出日】平成17年8月22日(2005.8.22)
【手続補正００１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【書類名】特許請求の範囲
【請求項１】（削除）
【請求項２】（削除）
【請求項３】（削除）
【請求項４】請求項３において、
前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、
前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む
ことを特徴とする物品管理システム。
【請求項５】請求項３において、
前記センシング手段は、前記生活空間に設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか１つを、含むことを特徴とする物品管理システム。
【請求項６】操作端末が、所定の生活空間を表す画像を表示部に表示し、
ユーザが、前記操作端末から、前記画像に含まれた物品に対する操作の指示を行い、
操作端末から送信されたユーザの指示を、サーバが、前記生活空間における物品の，少なくとも現在位置を含む属性情報を管理する物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、
サーバが、前記制御コマンドを、前記ロボットに送信する
ことを特徴とする物品操作方法。
【請求項７】操作端末が、所定の生活空間を表す画像を表示部に表示し、
ユーザが、前記操作端末から、前記画像に含まれた物品に対する問合せを行い、
操作端末から送信されたユーザの問合せを受けて、サーバが、前記生活空間における物品の，現在位置および操作履歴を少なくとも含む属性情報を管理する物品データベースを参照して、ユーザに提供するための情報を生成し、
サーバが、生成した情報を、前記操作端末に送信する
ことを特徴とする物品管理方法。
【請求項８】所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが作業を指示するための操作手段と、通信可能に構成されており、
前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理し、
前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信する
ことを特徴とするサーバ。
【請求項９】（削除）
【請求項１０】（削除）
【請求項１１】所定の生活空間内に存在する物品の取扱い作業を行うロボットと、
前記生活空間内に設置され、前記生活空間を撮像する複数の撮像手段と、
前記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段と、
ユーザに提示するための操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
前記操作画面を生成する表示制御手段とを備え、
前記操作画面は、
前記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、
上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、
ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、ロボットに行わせる作業内容を上記仮想空間上で指定し、
上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステム。
【請求求項１２】所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に設置され、上記生活空間を撮像する複数の撮像手段と、上記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段とからの情報を受信する受信手段と、
ユーザに提示するための操作画面を表示する表示部と、ユーザが操作をする入力部と、前記操作画面を生成する表示制御手段とを備え、
前記操作画面は、
上記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、
上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、
ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、
ロボットに行わせる作業内容を上記仮想空間上で指定させることを特徴とするロボット操作装置。
【請求項１３】（削除）
【請求項１４】（削除）
【請求項１５】所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに扱わせる物品とその物品に施す作用とを指定させ、
上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、
上記ロボットが上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システム。
【請求項１６】所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードを有することを特徴とするロボット操作装置。
【請求項１７】所定の生活空間内に存在する物品の移動を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードを有することを特徴とするロボット操作装置。
【請求項１８】居住空間内に存在する物品を管理するシステムであって、
少なくとも前記居住空間内の物品に関する予め定められた形状情報、物品の位置及び姿勢の情報を有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段と、
前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するように制御する制御手段とを備え、
前記物品の形状情報は、ポリゴンモデルデータ、あるいは直方体、円柱を表現する形状パラメータとして定義され、
前記物品の姿勢情報は、前記居住空間内に定義された座標系に対する、物品の回転角度情報として定義され、
前記設置姿勢決定手段は、前記データベースを参照し、予め定められたポリゴンモデルデータ、あるいは形状パラメータが前記移動対象物品と同一又は類似する同一類似物品が前記設置位置付近に存在するか否かを判断し、
存在する場合には、前記データベースを参照し、前記移動対象物品の設置姿勢情報を前記同一類似物品の姿勢情報に合わせるように決定する物品管理システム。
【請求項１９】（削除）
【請求項２０】居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の、少なくとも現在位置、サイズ、形状および姿勢を含む情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して  前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に移動対象物品の重心を合せた場合に、移動対象物品と既に設置された他の物品とが重なるか否かを判断することにより、前記移動対象物品が他の物品に重ならない場合には前記設置位置を変更しない一方、前記移動対象物品が他の物品に重なる場合には、前記データベースを参照し、当該他の物品の上面の面積、水平度、当該移動対象物品の設置面積、水平度とから、当該移動対象物品が当該他の物品上に設置できるか否かを判断し、
当該移動対象物品が当該他の物品上に設置できる場合は、当該移動対象物品を当該他の物品上に設置し、
当該移動対象物品が当該他の物品上に設置できない場合は、設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。
【請求項２１】（削除）
【請求項２２】（削除）
【請求項２３】居住空間内に存在する物品を管理するシステムであって、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマッブ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えている物品管理システム。
【請求項２４】居住空間内に存在する物品を管理するシステムであって、
少なくとも前記居住空間内の物品の情報を有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えている物品管理システム。
【請求項２５】（削除）
【請求項２６】所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いシステム。
【請求項２７】所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いシステム。
【請求項２８】所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備える物品取扱いシステム。
【請求項２９】所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットに上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いサーバ。
【請求項３０】所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いサーバ。
【請求項３１】所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備える物品取扱いサーバ。
【請求項３２】所定の生活空間内に存在する物品の移動作業を行うロボットと、
上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
上記物品の属性情報を有する物品データベースと、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび包括アイコンが指定された場合、
上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記物品データベースから取得した、上記指定された物品アイコンに対応する上記物品の属性情報に応じて、場所を選択し、
上記ロボットに対して、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御を行う制御手段とを備えることを特徴とする物品移動システム。
【請求項３３】前記操作手段は少なくとも１つ以上の操作モードを有し、
前記操作モードに対応する操作画面を生成する表示制御手段を更に備え、
前記操作モードとして仮想空間操作モードを有し、
前記仮想空間操作モードの操作画面は、
生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する請求項３２記載の物品移動システム。
【請求項３４】仮想空間操作モードは、操作画面上で物品アイコンと仮想空間内の場所とを指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードである請求項３３記載の物品移動システム。
【請求項３５】前記操作手段は少なくとも１つ以上の操作モードを有し、
前記操作モードに対応する操作画面を生成する表示制御手段を更に備え、
前記操作モードとして作用アイコン操作モードを有し、
前記作用アイコン操作モードの操作画面は、
生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを有する請求項３２又は３３記載の物品移動システム。
【請求項３６】作用アイコン操作モードは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作をすることによって、ロボットに扱わせる物品と、その物品に施す作用との指定を行うモードであり、
上記操作画面上で物品アイコンと作用アイコンとの指定操作がされたときには、
上記制御手段は、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択し、
ロボットは、指定された物品を、上記選択した場所に移動する作業を実行する請求項３５記載の物品移動システム。
【請求項３７】所定の生活空間内に存在する物品の移動作業を行うロボットと、
上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
上記物品の属性情報を有する物品データベースと、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび作用アイコンが指定された場合、
上記物品データベースから取得した上記指定された物品アイコンに対応する物品の上記属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、
上記ロボットに対し、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御を行う制御手段とを備えることを特徴とする物品移動システム。
【請求項３８】請求項３２，３３，３５及び３７のいずれか１項において、
生活空間内に存在する物品を検出するセンシング手段をさらに備え、
表示制御手段は、上記センシング手段により検出された物品に対応する物品アイコンを含む操作画面を生成することを特徴とする物品移動システム。
【請求項３９】所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび包括アイコンが指定された場合、
上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報に応じて場所を選択し、上記ロボットに、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御手段とを備えることを特徴とするロボット操作装置。
【請求項４０】表示部の操作画面を生成する表示制御手段を更に有し、
前記表示制御手段は、表示部に、生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させる仮想空間操作モードをさらに有する請求項３９記載のロボット操作装置。
【請求項４１】表示部の操作画面を生成する表示制御手段を更に有し、
前記表示制御手段は、表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードをさらに有する請求項３９記載のロボット操作装置。
【請求項４２】所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび作用アイコンが指定された場合、
物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御手段とを備えることを特徴とするロボット操作装置。
【請求項４３】所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有し、上記操作画面上で、上記入力部による上記ロボットに行わせる作業内容を指定する操作手段と、
上記操作手段における操作モードとして、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードと、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する作用アイコン操作モードとを有し、  上記場所アイコン操作モードに表示された上記物品アイコン及び上記場所アイコンが指定された場合、上記ロボットに対し、物品データベースから取得した上記指定された物品アイコンに対応する上記生活空間内の属性情報と、上記指定された場所アイコンに対応する場所とに応じて、上記ロボットに対し、上記指定された物品アイコンに対応する物品を上記指定された場所に対応する場所に移動させ、
一方、上記作用アイコン操作モードに表示された上記物品アイコン及び上記作用アイコンが指定された場合、上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する物品を、上記選択した場所に移動させる制御手段とを具備することを特徴とする物品移動システム。
【請求項４４】所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記表示部の操作画面を生成する表示制御手段と、
上記ロボットに制御指令を送信する送信手段とを備え、
上記表示制御手段は、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードと、
表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードとを生成し、
上記場所アイコン操作モードに表示された上記物品アイコン及び上記場所アイコンが指定された場合、上記ロボットに対し、物品データベースから取得した上記指定された物品アイコンに対応する上記生活空間内の属性情報と、上記指定された場所アイコンに対応する場所とに応じて、上記ロボットに対し、上記指定された物品アイコンに対応する物品を上記指定された場所に対応する場所に移動させる制御指令を送信し、
一方、上記作用アイコン操作モードに表示された上記物品アイコン及び上記作用アイコンが指定された場合、物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットに対し、上記指定された物品アイコンに対応する上記生活空間内の物品を、上記選択した場所に移動させる制御指令を送信することを特徴とするロボット操作装置。
【請求項４５】居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定し、
前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収める接地領域を選定することを特徴とする物品管理システム。
【請求項４６】居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定し、
前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、前記許容スペースから前記保持手段の設置動作に必要なスペースを除外した残りのスペースに前記移動対象物品を収める接地領域を選定することを特徴とする物品管理システム。
【請求項４７】居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、移動先に指定された設置位置が箱の内部であるか否かを判定し、設置位置が箱の内部である場合には、前記移動対象物品の接地領域の選定を行わずに保持位置を決定する物品管理システム。
【請求項４８】居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定物品が含まれ、
前記保持位置決定手段は、前記移動対象物品が前記特定物品でありかつ前記設置位置が人であるか否かを判定し、前記移動対象物品が前記特定物品でありかつ前記設置位置が人である場合には人が掴まない部分を保持位置とする物品管理システム。
【請求項４９】移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定するとともに、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収める接地領域を選定するロボット制御装置。
【請求項５０】移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータべースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定するとともに、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、前記許容スペースから前記保持手段の設置動作に必要なスペースを除外した残りのスペースに前記移動対象物品を収める接地領域を選定するロボット制御装置。
【請求項５１】移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、移動先に指定された設置位置が箱の内部であるか否かを判定し、設置位置が箱の内部である場合には、前記移動対象物品の接地領域の選定を行わずに保持位置を決定するロボット制御装置。
【請求項５２】移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定物品が含まれ、
前記保持位置決定手段は、前記移動対象物品が前記特定物品でありかつ前記設置位置が人であるか否かを判定し、前記移動対象物品が前記特定物品でありかつ前記設置位置が人である場合には人が掴まない部分を保持位置とするロボット制御装置。




【手続補正書】
【提出日】平成17年10月25日(2005.10.25)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の生活空間内に存在する物品の取扱い作業を行うロボットと、
前記生活空間内に設置され、前記生活空間を撮像する複数の撮像手段と、
前記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段と、
ユーザに提示するための操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
前記操作画面を生成する表示制御手段とを備え、
前記操作画面は、
前記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、
上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、
ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、ロボットに行わせる作業内容を上記仮想空間上で指定し、
上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステム。
【請求項２】
所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に設置され、上記生活空間を撮像する複数の撮像手段と、上記生活空間内に存在する物品の少なくとも現在位置を含む状況を検出するセンシング手段とからの情報を受信する受信手段と、
ユーザに提示するための操作画面を表示する表示部と、ユーザが操作をする入力部と、前記操作画面を生成する表示制御手段とを備え、
前記操作画面は、
上記撮像手段が撮像した画像のデータを変形合成することにより、仮想的な視点から見た画像として合成される仮想空間と、生活空間内に存在する物品に対応する物品アイコンと、上記仮想空間に対応する座標値を有して上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成され、
上記画面マスクデータは、上記センシング手段により検出された物品の現在位置を、前記仮想的な視点から見た位置に変換した現在位置に基づいて作成され、
ユーザが上記入力部を操作することによって、上記仮想的な視点を切り替え、
ロボットに行わせる作業内容を上記仮想空間上で指定させることを特徴とするロボット操作装置。
【請求項３】
居住空間内に存在する物品を管理するシステムであって、
少なくとも前記居住空間内の物品に関する予め定められた形状情報、物品の位置及び姿勢の情報を有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段と、
前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するように制御する制御手段とを備え、
前記物品の形状情報は、ポリゴンモデルデータ、あるいは直方体、円柱を表現する形状パラメータとして定義され、
前記物品の姿勢情報は、前記居住空間内に定義された座標系に対する、物品の回転角度情報として定義され、
前記設置姿勢決定手段は、前記データベースを参照し、予め定められたポリゴンモデルデータ、あるいは形状パラメータが前記移動対象物品と同一又は類似する同一類似物品が前記設置位置付近に存在するか否かを判断し、
存在する場合には、前記データベースを参照し、前記移動対象物品の設置姿勢情報を前記同一類似物品の姿勢情報に合わせるように決定する物品管理システム。
【請求項４】
居住空間内に存在する物品を管理するシステムであって、
前記居住空間内の物品の、少なくとも現在位置、サイズ、形状および姿勢を含む情報と前記居住空間内のマップ情報とを有するデータベースと、
移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記データベースの情報に基づいて、指定された設置位置に移動対象物品の重心を合せた場合に、移動対象物品と既に設置された他の物品とが重なるか否かを判断することにより、前記移動対象物品が他の物品に重ならない場合には前記設置位置を変更しない一方、前記移動対象物品が他の物品に重なる場合には、前記データベースを参照し、当該他の物品の上面の面積、水平度、当該移動対象物品の設置面積、水平度とから、当該移動対象物品が当該他の物品上に設置できるか否かを判断し、
当該移動対象物品が当該他の物品上に設置できる場合は、当該移動対象物品を当該他の物品上に設置し、
当該移動対象物品が当該他の物品上に設置できない場合は、設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、
前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置する物品管理システム。
【請求項５】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いシステム。
【請求項６】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いシステム。
【請求項７】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備える物品取扱いシステム。
【請求項８】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットに上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いサーバ。
【請求項９】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いサーバ。
【請求項１０】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備える物品取扱いサーバ。
【請求項１１】
所定の生活空間内に存在する物品の移動作業を行うロボットと、
上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
上記物品の属性情報を有する物品データベースと、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび包括アイコンが指定された場合、
上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記物品データベースから取得した、上記指定された物品アイコンに対応する上記物品の属性情報に応じて、場所を選択し、
上記ロボットに対して、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御を行う制御手段とを備えることを特徴とする物品移動システム。
【請求項１２】
前記操作手段は少なくとも１つ以上の操作モードを有し、
前記操作モードに対応する操作画面を生成する表示制御手段を更に備え、
前記操作モードとして仮想空間操作モードを有し、
前記仮想空間操作モードの操作画面は、
生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する請求項１１記載の物品移動システム。
【請求項１３】
仮想空間操作モードは、操作画面上で物品アイコンと仮想空間内の場所とを指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードである請求項１２記載の物品移動システム。
【請求項１４】
前記操作手段は少なくとも１つ以上の操作モードを有し、
前記操作モードに対応する操作画面を生成する表示制御手段を更に備え、
前記操作モードとして作用アイコン操作モードを有し、
前記作用アイコン操作モードの操作画面は、
生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを有する請求項１１又は１２記載の物品移動システム。
【請求項１５】
作用アイコン操作モードは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作をすることによって、ロボットに扱わせる物品と、その物品に施す作用との指定を行うモードであり、
上記操作画面上で物品アイコンと作用アイコンとの指定操作がされたときには、
上記制御手段は、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択し、
ロボットは、指定された物品を、上記選択した場所に移動する作業を実行する請求項１４記載の物品移動システム。
【請求項１６】
所定の生活空間内に存在する物品の移動作業を行うロボットと、
上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段と、
上記物品の属性情報を有する物品データベースと、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび作用アイコンが指定された場合、
上記物品データベースから取得した上記指定された物品アイコンに対応する物品の上記属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、
上記ロボットに対し、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御を行う制御手段とを備えることを特徴とする物品移動システム。
【請求項１７】
請求項１１，１２，１４及び１６のいずれか１項において、
生活空間内に存在する物品を検出するセンシング手段をさらに備え、
表示制御手段は、上記センシング手段により検出された物品に対応する物品アイコンを含む操作画面を生成することを特徴とする物品移動システム。
【請求項１８】
所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の複数の場所を包括して示す包括アイコンとを含む操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび包括アイコンが指定された場合、
上記指定された包括アイコンで包括される生活空間内の複数の場所から、上記物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報に応じて場所を選択し、上記ロボットに、上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御手段とを備えることを特徴とするロボット操作装置。
【請求項１９】
表示部の操作画面を生成する表示制御手段を更に有し、
前記表示制御手段は、表示部に、生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させる仮想空間操作モードをさらに有する請求項１８記載のロボット操作装置。
【請求項２０】
表示部の操作画面を生成する表示制御手段を更に有し、
前記表示制御手段は、表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードをさらに有する請求項１８記載のロボット操作装置。
【請求項２１】
所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記入力部を操作することによって、上記操作画面上で、上記物品アイコンおよび作用アイコンが指定された場合、
物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する上記物品を、上記選択した場所に移動させる制御手段とを備えることを特徴とするロボット操作装置。
【請求項２２】
所定の生活空間内に存在する物品の移動作業を行うロボットと、
操作画面を表示する表示部及びユーザが操作をする入力部を有し、上記操作画面上で、上記入力部による上記ロボットに行わせる作業内容を指定する操作手段と、
上記操作手段における操作モードとして、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードと、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示する作用アイコン操作モードとを有し、  上記場所アイコン操作モードに表示された上記物品アイコン及び上記場所アイコンが指定された場合、上記ロボットに対し、物品データベースから取得した上記指定された物品アイコンに対応する上記生活空間内の属性情報と、上記指定された場所アイコンに対応する場所とに応じて、上記ロボットに対し、上記指定された物品アイコンに対応する物品を上記指定された場所に対応する場所に移動させ、
一方、上記作用アイコン操作モードに表示された上記物品アイコン及び上記作用アイコンが指定された場合、上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された上記物品アイコンに対応する物品を、上記選択した場所に移動させる制御手段とを具備することを特徴とする物品移動システム。
【請求項２３】
所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、
操作画面を表示する表示部と、ユーザが操作をする入力部と、
上記表示部の操作画面を生成する表示制御手段と、
上記ロボットに制御指令を送信する送信手段とを備え、
上記表示制御手段は、
上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードと、
表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、
ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードとを生成し、
上記場所アイコン操作モードに表示された上記物品アイコン及び上記場所アイコンが指定された場合、上記ロボットに対し、物品データベースから取得した上記指定された物品アイコンに対応する上記生活空間内の属性情報と、上記指定された場所アイコンに対応する場所とに応じて、上記ロボットに対し、上記指定された物品アイコンに対応する物品を上記指定された場所に対応する場所に移動させる制御指令を送信し、
一方、上記作用アイコン操作モードに表示された上記物品アイコン及び上記作用アイコンが指定された場合、物品データベースから取得した上記指定された物品アイコンに対応する物品の属性情報と、上記指定された作用アイコンに対応する作用とに応じて、上記生活空間内の場所を選択し、上記ロボットに対し、上記指定された物品アイコンに対応する上記生活空間内の物品を、上記選択した場所に移動させる制御指令を送信することを特徴とするロボット操作装置。
【請求項２４】
居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定し、
前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収める接地領域を選定することを特徴とする物品管理システム。
【請求項２５】
居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定し、
前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、前記許容スペースから前記保持手段の設置動作に必要なスペースを除外した残りのスペースに前記移動対象物品を収める接地領域を選定することを特徴とする物品管理システム。
【請求項２６】
居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、移動先に指定された設置位置が箱の内部であるか否かを判定し、設置位置が箱の内部である場合には、前記移動対象物品の接地領域の選定を行わずに保持位置を決定する物品管理システム。
【請求項２７】
居住空間内に存在する物品を管理するシステムであって、
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段と、
物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、
前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定物品が含まれ、
前記保持位置決定手段は、前記移動対象物品が前記特定物品でありかつ前記設置位置が人であるか否かを判定し、前記移動対象物品が前記特定物品でありかつ前記設置位置が人である場合には人が掴まない部分を保持位置とする物品管理システム。
【請求項２８】
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定するとともに、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収める接地領域を選定するロボット制御装置。
【請求項２９】
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定するとともに、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、前記許容スペースから前記保持手段の設置動作に必要なスペースを除外した残りのスペースに前記移動対象物品を収める接地領域を選定するロボット制御装置。
【請求項３０】
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
前記保持位置決定手段は、移動先に指定された設置位置が箱の内部であるか否かを判定し、設置位置が箱の内部である場合には、前記移動対象物品の接地領域の選定を行わずに保持位置を決定するロボット制御装置。
【請求項３１】
移動対象物品と当該移動対象物品の移動先の設置位置とを指定する物品操作手段から入力された情報に基づいて、物品を保持する保持手段を有し、かつ前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットに対して、居住空間内に存在する物品を取扱う作業処理を行わせるロボット制御装置であって、
前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースを備えたサーバから前記移動対象物品及び前記設置位置に関する情報を取得し、前記取得した情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備え、
居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定物品が含まれ、
前記保持位置決定手段は、前記移動対象物品が前記特定物品でありかつ前記設置位置が人であるか否かを判定し、前記移動対象物品が前記特定物品でありかつ前記設置位置が人である場合には人が掴まない部分を保持位置とするロボット制御装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、生活空間、すなわち一般家庭、オフィス、ホテル、店舗および病院等の、人間が生活を営む空間において、物品の管理や操作を支援する技術に属する。
【背景技術】
【０００２】
従来より、ロボットは、実に多くの分野で有効に利用されている。例えばロボットが有する物品の把持機能を生かして、工場での自動製品組み立てラインにおける部品の把持・運搬や、自動化された倉庫での在庫品の運搬・管理等にロボットが利用されており、その例を挙げるときりがない。
【０００３】
こうした産業用のロボットは、扱う物品の形状・大きさが同じであったり、また少し自由度を持たせたとしても、せいぜいその形状が直方体等に限定されている場合が多い。このことを生かしてロボットを使った運搬作業を効率化する技術も開示されている。典型的な例として特許文献１には、物品の荷積み・荷降ろし作業を行うロボットシステムが開示されている。
【特許文献１】特開平７−２３７１５９号公報
【特許文献２】特開２０００−２３８９０６号公報
【特許文献３】特開２０００−１２７０７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
今日では、かくのごとく産業用として成熟してきたロボット技術を生かし、一般家庭で人間と共存しながら人間の生活を支援するという高い目標に向けて、産業以外の用途、特に一般家庭用のロボットの研究開発がさかんに行われるようになってきた。例えば、ペットのような振る舞いをすることで人の心を癒すエンタテイメント用ロボットや、部屋の中の障害物をセンサで検知してそれを回避しつつ自動で部屋の中を掃除する等の、いわゆる家事支援用のロボットが実際に開発され製品化されている。また要素技術として、家事支援を行うために必要不可欠な、種々の物品を自由に把持するハンドリング技術や、ロボットが移動する空間内の様子を認識するセンシング技術等も、さかんに開発されている。このような技術の開発が進めば、将来は人間に代わって様々な家事を行うロボットが実現するであろう。
【０００５】
さて、我々の日常生活を振り返ってみると、現代人は、まさに、物に振り回されながら生活している、と言える。例えば家庭内においては、ゴミ捨て、食器運び、子供のおもちゃの片付け、洗濯物の取り込みや片付けなど、物品の移動に明け暮れている。あるいは、宅配荷物や郵便物の受け取り、発送など、物品を人から受け取ったり、渡したりする、といった仕事も多い。
【０００６】
また、家電製品のリモコン、鍵、携帯電話や時計などをどこに置いたか忘れてしまうこともよくあり、その場合には、家中を探し回る羽目になる。さらに、キャンプなどのレジャーに使う物や、冠婚葬祭に必要な物などを、昔どこにしまったのか忘れてしまい、いざというときに間に合わなくて困ることもある。
【０００７】
このような、物品に関する煩雑な仕事、物品操作や物品管理を支援できる仕組みができたら、人間の生活は、より便利に、より快適になるものと考えられる。そしてこのような仕組みは、家庭以外であっても、例えば、レストランの閉店後の椅子やテーブルの片付け、ホテルの清掃やベッドメイキング、スーパーマーケットやコンビニの商品整理などにも、適用できる。
【０００８】
ただし、上述のような産業用技術をそのまま、家庭等の生活空間に適用することは困難である。なぜなら、工場や倉庫等の産業上の作業現場と、家庭やオフィス等の生活空間とでは、物品について、大きな相違があるからである。
【０００９】
その１つとしてまず、産業用途では物品の置き場所に規則性があり、その位置も例えばベルトコンベア上というように限定されているのに対して、生活空間では、物品がいろいろな場所に置かれ、しかもその位置に規則性がなく、常に変化する点が挙げられる。例えば食器の皿を例にとると、普段は食器棚の中に重ねて置かれており、調理中には台所に置かれ、食事の際にはテーブルの上に並べられる。そして、食事の後は、流しに置かれたり、食器洗浄機に入れられたりして、洗浄後は再び食器棚に戻される。
【００１０】
また、産業用途では物品の種類や形状が予め予定されており、形状等の統一を図ることが比較的容易であるのに対し、家庭やオフィス等では、取り扱われる物品の種類や形状が多岐に渡っている。
【００１１】
したがって、ロボットを生活空間に適用させるためには、ロボット技術の進歩自体も不可欠であるが、それとともに、生活空間における各物品の、現在位置などの属性情報を、リアルタイムで管理できるような仕組みが必要になる。
【００１２】
また、ロボットによる物品操作を行わなくても、生活空間における各物品の属性情報をリアルタイムで管理できる仕組みを用いて、ユーザに、物品の現在位置などの情報を提供するだけでも、人間の生活の利便性は大きく向上する。
【課題を解決するための手段】
【００１３】
本発明は、生活空間において、物品を管理したり操作したりする作業を支援するシステムを提供することを課題とする。
【００１４】
具体的には、本発明は、所定の生活空間における物品および人を含む移動体の状況をセンシングするセンシング手段と、前記センシング手段からの情報を受けて、前記生活空間における物品の，少なくとも現在位置を含む属性情報を、物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信するものである。
【００１５】
この発明によると、センシング手段によって、家庭などの所定の生活空間における物品や人を含む移動体の状況がセンシングされ、センシング手段の情報から、サーバによって、物品の少なくとも現在位置を含む属性情報が物品データベースに管理される。そしてサーバは、操作手段から入力されたユーザの指示を受け、この指示を、物品データベースを参照して制御コマンドに変換し、ロボットに送信する。これにより、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況においても、ロボットは、的確な動作を実行することができ、したがって、人間の物品操作作業を支援することができる。
【００１６】
また、本発明は、所定の生活空間における物品、および人を含む移動体の状況をセンシングするセンシング手段と、前記センシング手段からの情報を受け、前記生活空間における物品の，現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を、物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信するものである。
【００１７】
この発明によると、センシング手段によって、家庭などの所定の生活空間における物品や人を含む移動体の状況がセンシングされ、センシング手段の情報から、サーバによって、物品の少なくとも現在位置および移動体による操作履歴を含む属性情報が物品データベースに管理される。そしてサーバは、操作手段から入力されたユーザの問合せを受け、この問合せに応じて、物品データベースを参照してユーザに提供するための情報を生成し、操作手段に送信する。これにより、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況においても、物品の現在位置や操作履歴から的確な情報が提供ができ、したがって、人間の物品管理作業を支援することができる。
【発明を実施するための最良の形態】
【００１８】
本発明の第１態様によれば、所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、前記センシング手段からの情報を受けて、前記生活空間における物品の少なくとも現在位置を含む属性情報を物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが作業を指示するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信する物品操作システムを提供する。
【００１９】
本発明の第２態様によれば、前記センシング手段は、前記生活空間に設置されたカメラ、前記ロボットに設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか１つを含む第１態様の物品操作システムを提供する。
【００２０】
本発明の第３態様によれば、所定の生活空間における物品と、人を含む移動体との状況をセンシングするセンシング手段と、前記センシング手段からの情報を受け、前記生活空間における物品の現在位置、および前記移動体による操作履歴を少なくとも含む属性情報を物品データベースに管理するサーバと、前記サーバと通信可能であり、ユーザが問合せを入力するための操作手段とを備え、前記サーバは、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信する物品管理システムを提供する。
【００２１】
本発明の第４態様によれば、前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む第３態様の物品管理システムを提供する。
【００２２】
本発明の第５態様によれば、前記センシング手段は、前記生活空間に設置されたカメラ、および、電子タグの発信情報を受信するタグセンサのうち少なくともいずれか１つを含む第３態様の物品管理システムを提供する。
【００２３】
本発明の第６態様によれば、操作端末が所定の生活空間を表す画像を表示部に表示し、ユーザが前記操作端末から前記画像に含まれた物品に対する操作の指示を行い、操作端末から送信されたユーザの指示を、サーバが、前記生活空間における物品の少なくとも現在位置を含む属性情報を管理する物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、サーバが前記制御コマンドを前記ロボットに送信する物品操作方法を提供する。
【００２４】
本発明の第７態様によれば、操作端末が所定の生活空間を表す画像を表示部に表示し、ユーザが前記操作端末から前記画像に含まれた物品に対する問合せを行い、操作端末から送信されたユーザの問合せを受けて、サーバが、前記生活空間における物品の現在位置および操作履歴を少なくとも含む属性情報を管理する物品データベースを参照して、ユーザに提供するための情報を生成し、サーバが、生成した情報を前記操作端末に送信する物品管理方法を提供する。
【００２５】
本発明の第８態様によれば、所定の生活空間における物品と人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが作業を指示するための操作手段と通信可能に構成されており、前記センシング手段からの情報を受けて、前記生活空間における物品の少なくとも現在位置を含む属性情報を物品データベースに管理し、前記操作手段から入力されたユーザの指示を受け、この指示を、前記物品データベースを参照して、物品に対する作業をロボットに実行させるための制御コマンドに変換し、前記ロボットに送信するサーバを提供する。
【００２６】
本発明の第９態様によれば、所定の生活空間における物品と人を含む移動体との状況をセンシングするセンシング手段、および、ユーザが問合せを入力するための操作手段と、通信可能に構成されており、前記センシング手段からの情報を受け、前記生活空間における物品の現在位置および前記移動体による操作履歴を少なくとも含む属性情報を物品データベースに管理し、前記操作手段から入力されたユーザの問合せを受け、この問合せに応じて、前記物品データベースを参照して、ユーザに提供するための情報を生成し、前記操作手段に送信するサーバを提供する。
【００２７】
本発明の第１０態様によれば、前記物品データベースは、各物品について、その操作履歴を示す物品履歴データを有しており、前記物品履歴データは、過去の各操作について、少なくとも、操作者と、操作内容と、操作後の位置とを含む第９態様のサーバを提供する。
【００２８】
まず、本発明の概念について、説明する。
【００２９】
図１は本発明を概念的に示す図である。図１では、所定の生活空間としての家庭に、本発明に係る物品操作システムが構成された場合を想定している。実空間には、生活支援ロボット５が配置されている。なお、本発明でいう「生活空間」とは人間が活動を行う空間、人間が生活を営む空間のことをいい、一般家庭だけでなく、オフィス、ホテル、店舗および病院等を含み、工場や倉庫などの産業用の空間を含まない。
【００３０】
図１において、センシング手段１は、家庭内における物品や人を含む移動体の状況をセンシングするものであり、例えば、天井に設置されたカメラ、電子タグの発信情報を受信するタグセンサ等によって構成される。サーバとしての物品管理・操作サーバ２は、センシング手段１からの情報を受けて、家庭内の状況をリアルタイムで常時管理する。この管理には、家庭内の物品の属性情報を記憶する物品データベース３が用いられる。図１の例では、ゴミ箱、ケータイおよびビールについて、操作時刻、操作内容、操作者、操作後の位置などが属性情報として管理されている。
【００３１】
家庭内の生活者すなわちユーザは、操作手段４を介して、指示を行う。この指示は、操作手段４に設けられた各種インターフェースによって、文字入力、音声入力、画面入力などによって行うことができる。サーバ２は、操作手段４から入力されたユーザの指示を受け、この指示を、物品データベース３を参照して、ロボット５に作業を実行させるための制御コマンドに変換し、ロボット５に送信する。ロボット５は送信された制御コマンドに従って、ユーザに指示された作業を実行する。
【００３２】
例えば、ユーザが、外出先から携帯電話を介して部屋の片付けを指示した場合、サーバ２は、指示された部屋の中の現在状態や、ゴミ箱の場所などの情報を物品データベース３を参照して把握し、ロボット５に片付け作業を指示する。また、自宅の居間にいるユーザがビールを持ってくるように指示した場合、サーバ２は、冷蔵庫の中の現在状態などの情報を物品データベース３を参照して把握し、ロボット５にビールを運ぶように指示する。
【００３３】
このように、センシング手段１と物品データベース３とを用いて、物品の属性情報をリアルタイムに管理することによって、家庭内の複雑な状況においても、ロボットに的確な動作を実行させることができる。したがって、ユーザは、快適な生活をおくることができる。
【００３４】
また、ユーザから例えば、携帯電話を探してほしい、といった問合せを受けたとき、サーバ２は、物品データベース３を参照して、携帯電話の現在位置や直近の操作者といった情報を生成して、ユーザに提供することもできる。したがって、図１のシステムを物品管理システムとして利用し、ロボットによる物品操作を行わず、ユーザに対して情報提供を行うことによっても、生活の利便性は大きく向上する。
【００３５】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３６】
（第１の実施形態）
図２は本発明の第１の実施形態に係る物品操作システムまたは物品管理システムとしてのシステムの構成を示すブロック図である。図２に示すように、本システムは、大きく分けて、環境内の状況を把握するセンシング手段１２０と、サーバとしての環境管理サーバ１０１、ロボットとしての作業ロボット１０２、および操作手段としての操作端末１０３の３個のサブシステムから構成される。サブシステム１０１〜１０３はそれぞれ送受信手段１０９を備えており、この送受信手段１０９によって、無線または有線のネットワークを介して、情報やデータ、信号などのやり取りを行う。なお、各送受信手段１０９は共通の処理を行うため、図２では同一の符号を付している。
【００３７】
なお、ここでの説明では、「環境」は、家庭内の部屋とする。
【００３８】
各サブシステムの構成と動作について、順に説明する。
【００３９】
＜環境管理サーバの構成＞
環境管理サーバ１０１は、センシング手段１２０によって把握した状況のうち、環境内に存在する物品と、人やロボット１０２を含む移動体との状況を管理する物品／移動体検索・管理手段１０５およびその物品および移動体のデータを蓄積する物品／移動体データベース１０６と、物品および移動体以外の環境全体の状況を管理する環境マップ管理手段１０７およびその環境全体のデータを蓄積する環境マップ１０８とを備えている。送受信手段１０９は、物品／移動体データベース１０６のデータや環境マップ１０８のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したり、また、ロボット１０２に対する制御コマンドを送信したりする。制御手段１１０は物品／移動体検索・管理手段１０５、環境マップ管理手段１０７および送受信手段１０９をコントロールする。
【００４０】
センシング手段１２０は、環境内に存在する家具などの物品、および環境内に存在する人やロボット１０２について、その位置と状態を常時監視する。また、センシング手段１２０は、人やロボット１０２によって、環境内に物品が持ち込まれたことや、環境外へ物品が持ち出されたことも検出可能である。センシング手段１２０は具体的には、環境内に設置されたカメラ（画像センサ）や、タグセンサ等があるが、詳細については後述する。そして、物品や移動体を検出したとき、センシング手段１２０はその情報を物品／移動体検索・管理手段１０５に送信する。送信する情報としては、例えば物品の検出時刻、物品の位置および向き等がある。
【００４１】
物品／移動体検索・管理手段１０５は、センシング手段１２０によって検出された物品および移動体の情報を、物品／移動体データベース（ＤＢ）１０６に蓄積して管理する。物品／移動体ＤＢ１０６に管理する情報は、少なくとも物品および移動体の現在位置を含む。物品／移動体ＤＢ１０６の詳細、およびその更新方法については後述する。
【００４２】
また、物品／移動体検索・管理手段１０５は、センシング手段１２０からの情報に基づいて、物品の操作（移動などの取扱い）を行っている移動体（人・ロボット）を推論し、その推論結果を物品／移動体ＤＢ１０６に蓄積する。
【００４３】
さらに、物品／移動体検索・管理手段１０５は、制御手段１１０から物品／移動体ＤＢ１０６に問い合わせがあったとき、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ１０６から取り出し、制御手段１１０に送る。
【００４４】
また、環境マップ管理手段１０７は、センシング手段１２０からの情報に基づいて、環境マップ１０８を作成するとともに、その作成した環境マップ１０８の管理を行う。環境マップ１０８はロボット１０２が環境内を移動する際に利用するものであり、ロボット１０２はこの環境マップ１０８をサーバ１０１から取得して、移動経路計画を立てる。
【００４５】
さらに、環境マップ管理手段１０７は、制御手段１１０から環境マップ１０８に問い合わせがあったとき、その問い合わせの内容に応じて必要な情報を環境マップ１０８から取り出し、制御手段１１０に送る。
【００４６】
また、制御手段１１０はサーバ１０１全体を制御する要素であり、主な制御内容としては以下のものがある。
【００４７】
１）送受信手段１０９が、サーバ１０１内にある各種データに関する問い合わせを受信したとき、その問い合わせ内容を判断し、その判断結果に応じて、物品／移動体検索・管理手段１０５や環境マップ管理手段１０７にデータの参照要求を出す。
【００４８】
２）上記要求に対して物品／移動体検索管理手段１０５または環境マップ管理手段１０７から送られてきた結果を、送受信手段１０９を介して問い合わせ元に送る。
【００４９】
３）操作端末１０３から送受信手段１０９を介して送信されたロボットの作業内容メッセージを解釈し、そのロボット１０２に動作を実行させるためのロボット制御コマンド列を生成して、ロボット１０２に送信する。なお、ロボット制御コマンド列については、後述する。
【００５０】
４）必要に応じて、一定時間毎に、物品／移動体ＤＢ１０６で管理している物品の一部または全部の状況や、環境マップ１０８の状況を、送受信手段１０９を介してロボット１０２やユーザ（操作端末１０３）にブロードキャストする。
【００５１】
例えば、上の１），２）の制御は、ユーザが操作端末１０３を操作して物品の検索を行う場合に利用される。この際、サーバ１０１に対する問い合わせ内容として、ユーザは例えば「○月△日×時頃に居間のテーブルの上に置いたお金を誰がどこにしまったか？」等の自然言語文で検索条件を与えてもよいし、日付、取扱者、物品の種類等の、知りたい物品の属性を絞り込むための検索キーを入力してもよい。
【００５２】
このような問い合わせに対して、環境管理サーバ１０１は物品／移動体ＤＢ１０６からその物品を検索する。そして、操作端末１０３に、例えば「それは、○○さんが△△にしまった」と音声で答えさせてもよいし、環境内のマップを提示して、その物品の現在の場所を指し示すようにしてもよい。
【００５３】
なお、その物品が環境の外に持ち出されているときは、その持出者の情報を出力してもよい。このとき、持出者が人であるときは、サーバ１０１がその持出者に電話や電子メールで、持出物品の現在の場所等を問い合わせてもよい。さらに、その持出者の現在地が別の環境管理サーバが管理する環境内であるときには、サーバ１０１が、その別の環境管理サーバに直接、持出物品の現在の場所等を問い合わせてもよい。
【００５４】
（センシング手段の具体例）
本システムが対象にする環境は、家庭などの生活空間である。したがって、この環境では、物品がいろいろな場所に置かれ、しかもその位置に規則性がなく、常に変化する。また、人やロボットのような移動体も、その移動経路に制限がなく、自由に動き回る。このため、本システムでは、環境内の物品や移動体の状況を的確に検出可能なセンシング技術が要求される。
【００５５】
・画像センサ
物品の検出に最も良く用いられるセンサの一つが、画像センサ（カメラ）である。室内全体のような比較的広い範囲を少ない設備で効率よく監視するためには、画像センサ、すなわちカメラを部屋の天井や壁等に固定し、そのカメラ画像（撮像画像）を用いて、室内の物品等の検出を行うのが一般的である。
【００５６】
カメラ画像を用いて環境内の物品や移動体を検出する一般的な手法として、背景差分法がある。背景差分法とは、背景としてのモデル画像を予め準備しておき、現在のカメラ画像とモデル画像との差分を取ることによって、対象物を検出する方法である。本システムでは、環境内の物品や移動体を検出・監視することが目的であるので、モデル画像としては、環境の状況変動が少ない場合は、その環境内に物品・移動体が存在していないときに撮像した画像を用いればよい。また、環境の状況変動が激しい場合は、所定の時間間隔を空けて撮影された複数の画像を平均して得られた画像を、モデル画像として用いればよい。
【００５７】
図３を参照して、背景差分法による物品検出について具体的に説明する。同図中、（ａ）はモデル画像の例、（ｂ）はある時点でカメラが撮影した画像の例、（ｃ）は（ｂ）のカメラ画像から（ａ）のモデル画像を差し引くことによって得られた背景差分画像の例である。図３（ｃ）から分かるように、背景差分画像では、カメラ画像とモデル画像とで差がある部分（網掛け部分）が浮き出ている。このため、この浮き出た部分のみをそれぞれ取り出すことによって、環境内に存在する物品を検出することができる。さらに、この背景差分画像を画像処理することによって、その物品の種類も特定できる。このように、背景差分法を用いて、環境内の物品や移動体の状況を検出することは可能である。さらに、環境内に２つのカメラを設けるようにすれば、ステレオ視による三次元計測技術を用いて、物品の形状及び姿勢の情報を取得することも可能になる。
【００５８】
しかしながら、画像センサを用いた物品検出には、一般に、明るさの変化に弱い、解像度が低い、物品が他の物に隠れて見えなくなる（死角の問題）、重なった複数の物品が一個の物品として検出されてしまう等、多くの問題がある。例えば死角の問題に関しては、環境内に複数台のカメラを略均等に配置し、その環境内に存在する物品は全て、いずれかのカメラによって撮像可能なようにすれば解決する。ところが、死角が無くなるだけでは、物品検出を確実に行い得るとは限らない。つまり、カメラ台数をいくら増やしても、解像度の問題や物品の重なりの問題は解決しないため、背景差分画像で浮き出た部分が何であるかを特定することが必ずしもできない。
【００５９】
・電子タグの利用
近年では、電子タグを用いて物品や移動体の位置検出を行う手法が開発されつつある。電子タグとは、データを蓄えるＩＣと、データを無線で送受信するアンテナとから構成されるデバイスである。リーダライタと呼ばれる装置によって、電子タグに書き込まれた情報を読みとったり、電子タグに情報を書き込んだりすることができる。
【００６０】
そこで、電子タグを各物品に付し、その物品に関するデータ、例えば物品の種類、形状、重さ、その物品の画像、製造年月日等のデータを埋め込む。また、移動体（人およびロボット）にも電子タグを付し、その移動体に関するデータ、例えば人の名前や生年月日等の情報を書き込む。人の場合は、常時携帯するもの（例えば腕時計等）に電子タグを埋め込んでもよい。一方、環境内には、リーダライタを多数設置する。リーダライタが物品や移動体に付された電子タグの情報を読みとることによって、カメラがなくても、環境内に存在する物品等の検出が可能になる。
【００６１】
また、カメラを用いる場合は単に物品の存在を検出するだけであるが、電子タグを用いる場合は、物品の存在を検出できるだけでなく、電子タグに埋め込まれた当該物品のデータを利用することができる。例えば物品の形状データを利用することによって、ロボット１０２による物品の把持を容易にすることができる。また、製造年月日データを利用することによって品質期限の管理が可能になったり、物品の種類データを利用することによって捜し物を見つけるのが容易になったりする等、ユーザに大きなメリットをもたらす。
【００６２】
しかしながら、電子タグを用いた物品検出には、通信距離が短いという問題がある。すなわち、電子タグとリーダライタとのデータのやりとりには人体に影響のない非常に弱い無線電波を使わざるを得ないため、通信距離がせいぜい数１０ｃｍと非常に短い。また、通信距離の問題を解消するために、リーダライタを環境内に多数設置することも考えられるが、リーダライタはカメラに比べてコストが高いため、現実的ではない。
【００６３】
・画像センサと電子タグとの組合せ
以上、説明したように、画像センサを用いた方法と、電子タグを利用する方法とには、一長一短がある。そこで、画像センサと電子タグの両方を利用する方法が考えられる。すなわち、上述した背景差分法によって、環境内の物品のおおよその位置を特定し、さらに電子タグを用いてその物品を特定する、というハイブリッド処理を行うのである。
【００６４】
具体的な処理の例を、２つ挙げる。
【００６５】
１つの例は、環境内の天井や壁等にカメラを設置し、作業ロボット１０２にリーダライタを取り付けるというものである。また、各物品および移動体には電子タグを取り付けておく。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。そして、特定した物品の近傍にロボット１０２を移動させて、そのロボット１０２に取り付けたリーダライタによって、その物品に取り付けられた電子タグから情報を読みとり、その物品を特定する。
【００６６】
もう１つの例は、環境内の天井や壁等にカメラを設置し、その環境内に複数個のリーダライタを略均等に設置するというものである。このリーダライタは、電子タグのデータ読みとりに関して指向性を有し、かつ、その読み取り方向が可変であるものとする。まず、カメラ画像を用いた背景差分法によって、環境内の物品の位置を特定する。次に、特定した物品に最も近い位置に設置されたリーダライタを選択し、そのリーダライタの読みとり方向をその物品に向ける。そして、その物品に取り付けられた電子タグから情報を読み取り、その物品を特定する。なお、この例では、リーダライタと電子タグとの間の距離が長くなる場合があるため、比較的強い無線電波を用いる必要がある。このため、環境内に人がいないことを例えば背景差分法によって確認した上で、電子タグからの情報読み取りを行うのが好ましい。
【００６７】
なお、本システムにおけるセンシングには、ここで説明した画像センサや電子タグを用いた方法以外の方法を採用してもよい。
【００６８】
また、ドアや窓等の環境と外部との出入り口に、センシング手段１２０としてリーダライタを設置し、これによって、環境内への物品の持ち込みや持ち出しを検出することもできる。詳しくは後述する。
【００６９】
（物品／移動体検索管理手段）
図４は物品／移動体検索・管理手段１０５の内部構成を概念的に示す図である。図４において、物品取扱検出手段３１は物品が移動体によって取り扱われていること（物品取扱状態）を検出し、取扱者特定手段３２は物品取扱検出手段３１の検出結果に応じて、物品を取り扱っている移動体（取扱者）を特定する。
【００７０】
物品取扱検出手段３１はセンシング手段１２０からの情報に基づいて、物品取扱状態を検出する。例えば、上述したような画像センサと背景差分法を利用して物品検出を行っている場合は、カメラ画像とモデル画像とを比較して両者の差のある部分が生じた場合に、その部分で物体が取り扱われていると検出する。もちろん、例えば電子タグを利用して、物品取扱状態を検出してもよい。
【００７１】
取扱者特定手段３２は、物品取扱検出手段３１が物品取扱状態を検出したとき、その物品を取り扱っている取扱者を特定し、その取扱者の情報を物品／移動体ＤＢ１０６に蓄積する。
【００７２】
取扱者の特定は、具体的には次のようにすればよい。センシング手段１２０としてカメラを利用している場合は、物品取扱状態が検出された領域をそのカメラによって撮像する。そして、撮像画像に対して人かロボットかの判断、そして次に顔認証処理を行い、移動体を特定する。特定された移動体は、取扱いがなされた物品の近傍にいたと考えられるので、その移動体を取扱者と推定する。なお、センシング手段１２０としては通常、広域を撮影するために広角カメラが利用されるが、広角カメラの撮像画像の解像度は比較的低く、顔認証処理を行うには十分でない可能性がある。そこで、広角カメラとは別個に、顔認証処理用のカメラとして狭角の高分解能カメラを環境内またはロボット１０２に設置してもよい。物品取扱検出手段３１が物品取扱状態を検出した領域をこの狭角カメラによって撮像し、その撮像画像について顔認証処理を行うことによって、取扱者を精度よく特定できる。
【００７３】
なお、物品取扱者の特定は、顔認証処理に限らず、例えば虹彩認証等その他の認証処理によって行ってもよい。また、認証処理を行わずに、そのカメラ画像自体を物品／移動体ＤＢ１０６に蓄積してもよい。これは、認証処理によって移動体を特定できなかった場合に限って行ってもよい。さらに、取扱者の特定は電子タグを利用して行ってもよい。
【００７４】
また、電子タグとリーダライタとを用いて、環境内への物品の持ち込みや持ち出しを管理することもできる。
【００７５】
すなわち、図５に示すように、環境と外部との出入り口である窓５１やドア５２の開口部にそれぞれ、ゲート型のリーダライタ（ＲＦアンテナ）４１，４２を配設する。そして、物品や移動体がこの窓５１やドア５２を通過したとき、リーダライタ４１，４２がその物品や移動体に取り付けられた電子タグからの情報を読み取る。物品取扱検出手段３１はリーダライタ４１，４２からの情報によって、物品の持ち込みや持ち出しを検出する。また、取扱者特定手段３２は、リーダライタ４１，４２からの情報に基づいて、物品と一緒に窓５１やドア５２を通過した移動体を取扱者として特定し、その取扱者の情報を物品／移動体ＤＢ１０６に蓄積する。このような処理によって、物品の持込者・持出者の管理を自動的に簡単な処理で行うことができる。
【００７６】
なお、図５では、窓５１やドア５２の開口部の上下左右を囲むようにリーダライタ４１，４２を設置しているが、これは電子タグの向きに依存せず高精度の検出を行なうためであり、リーダライタ４１，４２は、窓５１やドア５２の上下位置のみ、左右位置のみ、又はその中央位置に設置してもよい。
【００７７】
このようなリーダライタを用いた特定の場所における物品の管理は、窓５１やドア５２に限らず、その他の場所にも適用可能である。例えば、冷蔵庫や戸棚等のような，物品の収納場所の開口部にリーダライタを設置すれば、収納場所への物品の持込やその収納場所からの物品の取り出しの管理が可能になる。
【００７８】
また、このようなリーダライタを窓５１やドア５２に対して二重に設置することにより、物品が環境内に持ち込まれたのか、環境内から持ち出されたのかを簡単に判定することができる。すなわち、図示は省略するが、第１のリーダライタを環境外である、窓５１やドア５２の開口部の外側に設置する一方で、第２リーダライタを環境内である、窓５１やドア５２の開口部の内側に設置する。こうすることで、外側の第１リーダライタが電子タグからの情報を検出した後に、内側の第２リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、外部から環境内に持ち込まれたと特定できる。逆に、内側の第２リーダライタが電子タグからの情報を検出した後に、外側の第１リーダライタが電子タグからの情報を検出したときには、その電子タグが取り付けられた物品は、環境内から外部に持ち出されたと特定できる。
【００７９】
なお、本システムでは、物品の取扱いは人に限られず、人が操作端末１０３において指定した作業内容に応じてロボット１０２も物品の取扱いを行う。ロボット１０２が物品を取扱う場合、ロボット１０２を取扱者としてもよいし、そのロボット１０２を操作する人を取扱者としてもよい。例えば、ロボット１０２を操作する人を取扱者とする場合には、ロボット１０２の操作者に対して指紋認証、顔認証、声紋認証、虹彩認証等のバイオメトリクス認証処理を行い、その認証結果に基づいて、ロボット１０２の操作者（物品取扱者）を特定すればよい。また、ロボット１０２の操作の開始時に、操作端末１０３においていわゆるＬＯＧＩＮ、ＬＯＧＯＮ処理によるユーザ認証を行う場合には、そのユーザ情報からロボット１０２の操作者を特定してもよい。
【００８０】
（物品／移動体ＤＢ）
物品／移動体ＤＢ１０６は、物品および移動体の情報を蓄積するＤＢであり、例えば、図６に示すような物品を扱う物品データベース（ＤＢ）と、図７に示すような移動体を扱う移動体データベース（ＤＢ）とを備えている。
【００８１】
図６の物品ＤＢは、物品データ、物品履歴データ、および物品属性データをそれぞれ蓄積する３個のサブデータベースからなる。
【００８２】
１）物品データ
個々の物品を区別するためのＩＤ、物品履歴データへのポインタ、および物品属性データへのポインタ、を含む。図６の例では、同種類であっても物理的に異なる物品は異なるＩＤが割り当てられ、別の物品として扱われる。ただし、同種の物品は同じ物的属性を持つため、ＩＤは異なるが、物品属性データへのポインタは共通である。これにより、データベースの容量が節約できる。
【００８３】
２）物品履歴データ
物品が取り扱われた履歴を表すものであり、図６では、取扱時刻、取扱内容、取扱者、取扱後の位置、の４項目からなる。なお、位置データの表現は様々なものが考えられるが、図６の例では、物品の位置（重心位置等を用いる）を表す３つのパラメータ（ｘ１，ｙ１，ｚ１）と、物品の向きを表す３つのパラメータ（ｌ１，ｍ１，ｎ１）とを合わせた６つのパラメータで位置を表現している。また、取扱者は、取扱者特定手段３２によって特定された移動体である。
【００８４】
３）物品属性データ
物品が有する物理的な属性情報を表すものであり、例としては、図６に示すように、物品の重さ、形状、外観画像データ等が挙げられる。
【００８５】
また、特定の場所での物品の取扱い履歴を別のサブデータベースで管理してもよい。図８はドアを介した物品の持ち出しおよび持ち込み履歴を格納する持出・持込ＤＢの例である。図８の履歴データは、取扱時刻、取扱物品、取扱内容、取扱者、の４項目からなる。図８において、取扱物品の項目に「物品名＠カバンＣ」とあるのは、その物品がカバンＣの中に入れられた状態でドアを通過したことを示している。これは、カバンにリーダライタを設置することによって検出可能である。図８の持出・持込ＤＢから、時刻ｔ２に、お父さんが衣類Ａ、タオルＣ，かさＢをカバンＣに入れて部屋から持ち出したことが分かる。
【００８６】
また、持出・持込ＤＢには、そのカバンＣを持ったお父さんの行き先や、目的（例えば出張）を登録しておいてもよい。これにより、以後、行き先や目的を指定すれば、持出・持込ＤＢを参照することによって、必要な物品（例えば出張に必要な物品）を特定することができる。さらには、必要な物品をカバンＣに入れる作業をロボット１０２に実行させることも可能になる。
【００８７】
また、図７の移動体ＤＢは、移動体データ、および移動体履歴データをそれぞれ蓄積する２つのサブデータベースからなる。
【００８８】
１）移動体データ
個々の移動体を区別するためのＩＤ、および移動体履歴データへのポインタ、を含む。移動体データに格納される移動体は、ユーザが手動で予め登録するようにすればよい。
【００８９】
２）移動体履歴データ
時刻、その時刻における位置、およびその時刻における状態の３項目からなる。移動体は物品と異なり、空間内に占める体積が大きいため、ロボット１０２の移動の障害物になりやすい。このため、ロボット１０２が障害物を避けつつ移動できるように、移動体の位置はできるだけ現実に則して表すのが好ましい。図７では、必要最小限の情報で表すべく、移動体が床面上で占める領域を円で近似し、円の中心座標と半径によって移動体の位置を表している。もちろん、さらに厳密に表現してもよく、例えば移動体が床面上で占める領域の輪郭を複数個の線分ベクトルを用いて近似してもよい。
【００９０】
また、移動体の状態は、人の場合は「座る」「立つ」「寝る」「歩く」等の一般的な人の動作によって表し、ロボット１０２の場合は、「把持」「解放」等のロボット１０２が物品に対して行う動作によって表す。なお、ロボット１０２に関しては、その動作だけでなく、作業対象の物品ＩＤと併せて「物品ＩＤ：動作内容」と表現する。具体的には例えば、「kan_small_0001把持」となる。状態の特定は、例えば移動体の状態候補を予め複数準備しておき、センシング手段１２０による検出結果等に基づいて、移動体の状態がどの状態候補に当てはまるかを判断して行えばよい。
【００９１】
物品／移動体検索・管理手段１０５は、物品／移動体ＤＢ１０６に物品や移動体の情報を格納し、また各物品や移動体の位置が変更される毎に、その情報を更新する。なお、更新のタイミングはこれに限るものではなく、適宜設定すればよい。
【００９２】
なお、物品履歴データおよび移動体履歴データは、できるだけ長時間に亘ってデータ蓄積するのが好ましい。これにより、より過去に遡って履歴を調べることができる。また、移動体履歴データは、できるだけ短い時間間隔でデータを蓄積するのが好ましい。これにより、人やロボット等の移動体の移動経路をより細かく管理することができる。ただし、データベースの容量には限界があるため、ある所定期間のデータを蓄積することとし、その期間よりも過去のデータは随時消去してもよい。また、移動体の状態変化が激しいときには、データを蓄積する時間間隔を短くし、状態変化が少ないときには、時間間隔を長くするようにしてもよい。
【００９３】
（物品／移動体ＤＢの更新の例）
ここで、物品／移動体ＤＢ１０６のデータがどのように更新されていくかについて、図６，７および図９を参照して、具体的に説明する。
【００９４】
図９はある部屋に２つの缶ジュース２１，２２が持ち込まれた状況を表している。図９において、各缶ジュース２１，２２の移動は矢線によって示され、時刻はｔ１〜ｔ６の順で進んだものとする。図９の部屋にはセンシング手段１２０として電子タグのリーダライタが配設されており、各缶ジュース２１，２２、並びに部屋に出入りする人およびロボット１０２にはそれぞれ電子タグが取り付けられている。各缶ジュース２１，２２の物品属性データは、電子タグから読みとられる。
【００９５】
物品／移動体ＤＢ１０６では、移動体データへの各移動体の登録および移動体履歴データの初期化はすでに行われているものとする。また、物品／移動体ＤＢ１０６の物品データは、何も記録されていない空の状況であるとする。
【００９６】
まず、移動体であるお父さん（図示省略）が、缶ジュース２１を持って部屋に入ってくる。センシング手段１２０がお父さんと缶ジュース２１を検出すると、その検出結果は物品／移動体検索・管理手段１０５に送られる。物品／移動体検索・管理手段１０５は、缶ジュース２１に[kan_small_0001]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。これとともに、缶ジュース２１の物品属性データを格納する。また、その缶ジュース２１の移動履歴を格納するための「位置履歴リスト１」を作成する（図６参照）。この時点では位置履歴リスト１の中身はまだ空のままである。一方、お父さんの移動体履歴を更新するために、移動体データにおけるＩＤ「お父さん」の位置履歴を参照することによって、「位置履歴リスト３」が呼び出される（図７参照）。
【００９７】
次に時刻ｔ１において、お父さんがテーブル近傍の位置Ｐ４（ｘ４，ｙ４）に座り、持っていた缶ジュース２１をテーブル上の位置Ｐ１（ｘ１，ｙ１，ｚ１）に置く。これをセンシング手段１２０  が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト１の内容をセットする（図６参照）。具体的には、
時刻：ｔ１
取扱内容：新規
取扱者：お父さん
取扱後の位置：Ｐ１（ｘ１，ｙ１，ｚ１，ｌ１，ｍ１，ｎ１）
をセットする。ここで、取扱内容が「新規」となっているのは、それまで環境に存在していなかった物品が、新たに外部から持ち込まれたことを意味する。また物品／移動体検索・管理手段１０５は、移動体履歴データの位置履歴リスト３の内容をセットする（図７参照）。具体的には、
時刻：ｔ１
位置：（ｘ４，ｙ４，ｒ１）
状態：座る
をセットする。
【００９８】
次に時刻ｔ２において、別の移動体である息子（図示省略）が、テーブルの上の位置Ｐ１（ｘ１，ｙ１，ｚ１）に置かれた缶ジュース２１を床の上の位置Ｐ２（ｘ２，ｙ２，ｚ２）に移動させる。これをセンシング手段１２０が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図６参照）。具体的には、
時刻：ｔ２
取扱内容：移動
取扱者：息子
取扱後の位置：Ｐ２（ｘ２，ｙ２，ｚ２，ｌ２，ｍ２，ｎ２）
をセットする。ここで、取扱内容が「移動」となっているのは、すでに物品履歴データに登録されている物品が、移動されたことを意味する。なお、時刻ｔ２では、息子の位置が変わるため、物品／移動体検索・管理手段１０５は、息子の移動体履歴データ（位置履歴リスト４）の内容をセットする（図示省略）。
【００９９】
次に時刻ｔ３において、お父さんが部屋の外に出る。これをセンシング手段１２０が検出すると、物品／移動体検索・管理手段１０５は、移動体履歴データの位置履歴リスト３の新たな内容をセットする（図７参照）。具体的には、
時刻：ｔ３
位置：−
状態：外出
をセットする。ここで、位置が「−」となっているのは、環境外に出たため、その位置が本システムの管理外になったことを意味する。
【０１００】
また、その部屋の外に出る際にお父さんが、息子によって移動された缶ジュース２１を元のテーブルの上Ｐ１（ｘ１，ｙ１，ｚ１）に戻すように、操作端末１０３を操作してロボット１０２に指示をする（このロボット１０２に対する指示については後述する）。指示を受けたロボット１０２が、缶ジュースの位置Ｐ２（ｘ２，ｙ２，ｚ２）まで移動し、時刻ｔ４にその缶ジュースを把持する。物品／移動体検索・管理手段１０５は、ロボット１０２の移動体履歴データ（位置履歴リスト５）の内容をセットする（図７参照）。具体的には、
時刻：ｔ４
位置：（ｘ２，ｙ２，ｒ２）
状態：[kan_small_0001]：把持
をセットする。なお、ロボット１０２の動作は、センシング手段１２０が検出してもよいし、サーバ１０１がロボット１０２からの動作情報をネットワークを介して受信することによって、検出してもよい。
【０１０１】
次に時刻ｔ５において、ロボット１０２が缶ジュース２１を把持した状態でテーブルの近傍Ｐ４（ｘ４，ｙ４）に移動し、テーブルの上Ｐ１（ｘ１，ｙ１，ｚ１）でその把持した缶ジュースを解放する。物品／移動体検索・管理手段１０５は、移動体履歴データの位置履歴リスト５の新たな内容をセットする（図７参照）。具体的には、
時刻：ｔ５
位置：（ｘ４，ｙ４，ｒ２）
状態：[kan_small_0001]：解放
をセットする。また、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト１の新たな内容をセットする（図６参照）。具体的には、
時刻：ｔ５
取扱内容：移動
取扱者：ロボット
取扱後の位置：Ｐ１（ｘ１，ｙ１，ｚ１，ｌ１，ｍ１，ｎ１）
【０１０２】
しばらくして、別の移動体であるお母さんが、新たな缶ジュース２２を持って部屋に入ってくる。センシング手段１２０がお母さんと新たな缶ジュース２２とを検出すると、物品／移動体検索・管理手段１０５は、その新たな缶ジュース２２に[kan_small_0002]というＩＤを割り当て、物品属性データへのポインタと対応付けて物品データに格納する。新たな缶ジュース２２の物品属性データは、缶ジュース２１と同じである。また、新たな缶ジュース２２の移動履歴を格納するための「位置履歴リスト２」を作成する（図６参照）。この時点では位置履歴リスト２の中身はまだ空のままである。
【０１０３】
次に時刻ｔ６において、お母さんが新たな缶ジュース２２を床の上であるＰ３（ｘ３，ｙ３，ｚ３）に置く。これをセンシング手段１２０が検出すると、物品／移動体検索・管理手段１０５は、物品履歴データの位置履歴リスト２の内容をセットする（図６参照）。具体的には、
時刻：ｔ６
取扱内容：新規
取扱者：お母さん
取扱後の位置：Ｐ３（ｘ３，ｙ３，ｚ３，ｌ３，ｍ３，ｎ３）
をセットする。なお、図７では、お母さんの移動体データおよび移動体履歴は省略している。
【０１０４】
（環境マップと設備データベース）
図１０は環境マップ１０８の例である。同図中、（ａ）は実環境の例、（ｂ）は（ａ）の実環境を立体モデルで簡略化した環境マップ、（ｃ）はさらに平面モデルで簡略化した環境マップである。
【０１０５】
環境マップ１０８は、その用途や、作成にかかる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、図１０（ｂ）のように、環境内に存在する立体物を、それを覆う最小の直方体でモデル化すればよい。図１０（ｂ）では、テーブルと本棚はそれぞれ直方体でモデル化され、ゴミ箱は略円柱でモデル化されている。平面モデルからなる環境マップも同様であり、図１０（ｃ）では、テーブルと本棚は平面に正射影した矩形領域（斜線を付した領域）でそれぞれモデル化され、ゴミ箱は円領域（斜線を付した領域）でモデル化されている。これら２つの矩形領域および円領域は、ロボット１０２が移動不可能な領域に設定される。さらに、図１０（ａ）に示すような実環境をそのまま立体モデル化したものを、環境マップ１０８としてもよい。
【０１０６】
図１１は環境マップに付随する設備データベースの一例を示す図であり、図１０の環境に対応したものである。この設備データベースは、設備データと、設備属性データとをそれぞれ蓄積する２つのサブデータベースからなる。
【０１０７】
１）設備データ
環境それ自体、およびこの環境内の個々の設備（物品とは異なり、環境に固定または設置されたものであって、ロボットの取扱い作業の対象外となるもの）を特定するためのＩＤと、設備属性データへのポインタとを含む。図１１では、環境（部屋）にはＩＤとして「room_0001」が付され、環境内に存在するテーブル、本棚およびゴミ箱にはそれぞれＩＤとして「table_0001」「bookshelf_0001」「trash_0001」が付されている。
【０１０８】
２）設備属性データ
環境自体に係る設備属性データは、その環境内の床面データを含む。例えばその環境内に互いに高さの異なる複数の床面が存在するときは、その床面の数だけ床面データ（図１１の床面１，床面２）が蓄積される。床面データは、例えば次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,2200,0）
ここで、最初の４組の座標値は、床面を構成する各頂点の実世界座標を表し、次の値（２２００）は、その床面から天井までの距離（ｍｍ）を表す。また、最後の値（０）は床面の材質を意味する。例えば、「０」はフローリング、「１」は畳、「２」は絨毯等とすればよい。
【０１０９】
家具等の設備に係る設備属性データは、その設備を構成する各面のデータ（面１，面２）、設備の種類、その設備が物品を載置可能な面を有する場合、その面に載置される主な物品の形状とその姿勢を含む。具体的には例えば、設備を構成する面のデータは次のように表される。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,1,400）
ここで、最初の３組の座標値は、その面を構成する各頂点の実世界座標を表す。次の値（１）はその面に物品が載置可能な否かのフラグであり、「１」は物品が載置可能、「０」は載置不可能を示す。最後の値（４００）は、その面に物品が載置可能であるとき、その載置可能な物品の上限高さ（ｍｍ）を示す。例えばその面がテーブルの天板であるときは、天板から天井までの距離が上限高さであり、その面が本棚におけるある一つの棚面であるときには、その棚面から直上の棚までの距離が上限高さとなる。
【０１１０】
設備属性データにおける「主な物品の形状」とは、その設備に収容される物品の形状である。設備の種類が本棚であれば、「本の形状」となる。つまり、その幅に比べて奥行きと高さが極端に長い直方体が本棚の主な物品の形状である。また、「主な物品の姿勢」とは、その設備に収容されるときの物品の姿勢である。設備の種類が本棚であれば、その本をどのような姿勢で本棚の棚面に載置するかであり、通常は本を立てた姿勢となる。設備属性データに「主な物品の形状と姿勢」のデータを蓄積することによって、例えば、作業ロボット１０２に本を本棚に移動させる作業を指定したとき、その作業ロボット１０２は「主な物品の形状と姿勢」データを基にして、指定された本を立てた姿勢で本棚の棚に載置することができる。
【０１１１】
ただし、設備の種類によっては、この「主な物品の形状と姿勢」データを有しない場合がある。例えばテーブルやゴミ箱は、物品の形状や姿勢には限定がない。このため、テーブルやゴミ箱の設備属性データは、「主な物品の形状と姿勢」のデータを有しない。
【０１１２】
＜作業ロボットの構成＞
作業ロボット１０２は、環境内で物品の取扱い作業を行う。ここでは特に、ユーザの指示に従って、環境内で物品を移動させる作業を行うものとする。
【０１１３】
図２に示すように、ロボット１０２は、ロボットの近辺の障害物等を検知する障害物センサ１１１と、物品を把持する把持手段１１２と、環境マップ１０８を参照して移動計画を立てる移動計画作成手段１１３と、ロボット１０２自体を移動させる移動手段１１４とを備えている。送受信手段１０９は環境管理サーバ１０１や操作端末１０３との間で種々のデータの送受信を行う。制御手段１１５は障害物センサ１１１、送受信手段１０９，把持手段１１２、移動計画作成手段１１３および移動手段１１４をコントロールする。
【０１１４】
図１２はロボット１０２の構造の一例を示した模式図であり、このロボット１０２は、移動計画作成手段１１３や制御手段１１５等を収容する略箱型の本体部１０を備えている。以下、図１２における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
【０１１５】
把持手段１１２は、多関節アーム１２ａとそのアーム１２ａの先端に配設されたハンド１２ｂとから構成され、本体部１０の上面に取り付けられている。アーム１２ａおよびハンド１２ｂは、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いてもかまわない。また、本システムでは、環境内に存在する各物品に電子タグが付されているとして、把持手段１１２にセンシング手段１２０としてのリーダライタを取り付けている。これにより、把持手段１１２が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによって、その把持した物品が何であるかを特定することができる。なお、把持手段１１２に取り付けるリーダライタは省略してもよい。
【０１１６】
移動手段１１４は車輪１４によって構成されており、この車輪１４は本体部１０の左右両側にそれぞれ２つずつ取り付けられている（図例では、左側の車輪の図示を省略する）。なお、移動手段１１４の構成は、そのロボットが使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段１１４をクローラ型や多足歩行型に構成することが好ましい。
【０１１７】
障害物センサ１１１はここでは、超音波センサ１１ａ、視覚センサとしてのカメラ１１ｂ、および衝突センサ１１ｃから構成される。超音波センサ１１ａは、超音波を発してその反射波を受信するまでの時間を測定することによって障害物までのおおよその距離を計算し、近距離の障害物を衝突前に検知する。超音波センサ１１ａは本体部１０の各側面（前面、後面、左右側面）に３個ずつ取り付けられている。またカメラ１１ｂはロボット１０２の周囲の状況を画像として入力する。この画像に対して認識処理等を行うことによって、障害物の有無を判断したり、把持対象物品についてより正確な情報を得たりする。カメラ１１ｂは本体部１０の前部に取り付けられている。さらに衝突センサ１１ｃは、ロボット１０２に所定の衝撃力が加わったことを検知する。例えば障害物がロボット１０２に衝突してきたり、ロボット１０２自体が移動中に障害物に衝突したことを、衝突センサ１１ｃによって検知する。衝突センサ１１ｃは本体部１０の前面と後面にそれぞれ取り付けられている。
【０１１８】
なお、本実施形態では、作業ロボット１０２を、車輪１４によって構成された移動手段１１４を有する自走ロボットとしたが、作業ロボット１０２は、この構成に限るものではない。例えば上述したアーム１２ａとハンド１２ｂとからなる把持手段１１２を、環境内の天井に取り付けたガイドレールに組み付けることで、作業ロボット１０２を構成してもよい。この構成の作業ロボット１０２は、上記把持手段１１２がガイドレールに案内されて移動することにより、指定された位置に移動することができ、それによって、環境内で指定された物品を指定された位置に移動させる作業を実行することができる。
【０１１９】
また、作業ロボット１０２は、複数の把持手段１１２（アーム１２ａとハンド１２ｂとからなるもの）を、環境内の所定の位置にそれぞれ固定設置することによって構成してもよい。この場合、生活空間内に存在する全ての物品がいずれかの把持手段１１２によって把持可能となるように、各把持手段１１２を配置する。この構成の作業ロボット１０２は、指定された物品を指定された位置に移動させるときには、複数の把持手段１１２の中から、その物品にハンド１２ｂを届かせることのできる把持手段１１２を選択し、その選択した把持手段１１２が物品を把持すると共に、そのアーム１２ａとハンド１２ｂとによって把持した物品を指定された位置に移動させるようにすればよい。なお、指定された位置が、選択した把持手段１１２のアーム１２ａの届かない位置であるときには、複数の把持手段１１２間で物品を手渡ししながら、指定された位置まで物品を移動させればよい。
【０１２０】
移動計画作成手段１１３は、物品の移動作業やその他の作業に伴う移動が指定されたとき、ロボット１０２の現在位置から目的位置までの移動経路を、環境マップ１０８を参照して作成する。環境マップ１０８には、図１０（ｃ）に示すように、移動不可領域（斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成できる。例えば図１０（ｃ）において、Ａ１地点からＡ２地点までの移動の際には、ロボット１０２の大きさを考慮して、矢線で示すような移動不可領域を回避するルートが作成される。移動経路の作成には、最も一般的なダイクストラ法を用いればよいし、環境が複雑な場合は、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。なお、環境が複雑すぎるため、移動経路の算出ができない、あるいは、その算出に多大な時間を要するような場合の対策として、ユーザがロボット１０２の移動経路を指定するモードを設けてもよい。
【０１２１】
（ロボットの制御コマンド）
制御手段１１５は、主に環境管理サーバ１０１から送受信手段１０９を介して送られてきたロボット制御コマンド列を解釈し、その制御コマンドを順に実行する。
【０１２２】
ロボット制御コマンドとは、物品の把持や、ロボット１０２自体の移動の制御を行うためのコマンドであり、大きくわけると主として「移動」「把持」「解放」の３種類がある。この３種類のコマンドについて簡単に説明する。
【０１２３】
１）移動：（ｍｏｖｅ，座標）または（ｍｏｖｅ，設備ＩＤ）
ロボット１０２の現在位置から座標で指定された位置、または設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は世界座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段１１３が計画する。また、設備ＩＤで指定された設備の位置に移動するときは、その設備に対して所定の距離まで近づくような経路を作成するが、この場合、環境マップ内の設備属性データを利用する。
【０１２４】
２）把持：（ｇｒａｂ，物品ＩＤ）
物品ＩＤで指定された物品を、ハンド１２ｂによって把持するコマンドである。物品の位置は、物品ＤＢを参照して求め、把持計画は把持手段１１２が作成する。
【０１２５】
３）解放：（ｒｅｌｅａｓｅ）
ハンド１２ｂを解放するコマンドである。
【０１２６】
例えば、ある物品をある場所に移動させる作業がユーザから指示されたときは、その作業は、「（物品の位置Ｂ１への）移動」「（物品の）把持」「（移動先Ｂ２への）移動」「（物品の）開放」という４つの作業単位に分解される。この場合のロボット制御コマンド列は、
ｍｏｖｅ，Ｂ１（物品が置かれている位置Ｂ１にロボットを移動する）
ｇｒａｂ，物品ＩＤ（Ｂ１の位置にある物品を把持する）
ｍｏｖｅ，Ｂ２（（物品を把持した状態で）移動先であるＢ２に移動する）
ｒｅｌｅａｓｅ（把持している物品を解放する）
となる。複数の物品の移動を指示されたときは、コマンド列は、上記４つのコマンドを一組として物品の数だけ並べられ、制御手段１１５は、その順番に従って制御コマンドを順に実行する。
【０１２７】
もちろん、ロボット制御コマンドはこの３種類に限られるものではなく、必要に応じて増やしてもよいことはいうまでもない。
【０１２８】
図１３は制御手段１１５の動作例を示すフローチャートである。制御手段１１５は、サーバ１０１から送信された制御コマンド列を送受信手段１０９が受信したとき、どの作業単位であるかを判定し（Ｓ２４０１〜Ｓ２４０３）、その作業単位に応じた処理を実行する。
【０１２９】
まず、作業単位が「移動」のときは（Ｓ２４０１でＹＥＳ）、指定された位置までの経路を移動計画作成手段１１３に作成させる（Ｓ２４０４）。そして、移動計画作成手段１１３によって作成されて経路に応じて移動制御コマンドを移動手段１１４に送り、指定された位置までの移動処理を実行する（Ｓ２４０５）。
【０１３０】
また、作業単位が「把持」のときは（Ｓ２４０２でＹＥＳ）、障害物センサ１１１によって把持対象物品の姿勢を検出する（Ｓ２４０６）とともに、その検出結果に応じてアーム１２ａとハンド１２ｂの動作を計算する（Ｓ２４０７）。そして、把持制御コマンドを把持手段１１２に送り、物品の把持処理を実行する（Ｓ２４０８）。なお、ステップＳ２４０６において、物品の姿勢は環境管理サーバ１０１の物品ＤＢ１０６に記録されているので、サーバ１０１に物品の姿勢を問い合わせるようにしてもよい。
【０１３１】
また、作業単位が「解放」のときは（Ｓ２４０３でＹＥＳ）、指定された移動先に物品が設置されるようにアーム１２ａとハンド１２ｂの動作を計算する（Ｓ２４０９）。そして、解放制御コマンドを把持手段１１２に送り、物品の解放処理を実行する（Ｓ２４１０）。
【０１３２】
移動、把持および解放の各動作が終了したとき、その旨をメッセージとして作業指示元であるサーバ１０１に送信する（Ｓ２４１１）。このようにして、操作端末１０３によって指示された作業内容が、ロボット１０２によって実行される。
【０１３３】
＜操作端末の構成＞
操作端末１０３は、本システムにおけるユーザインタフェースであり、ユーザが、ロボット１０２に対して物品の取扱い作業を指示したり、物品に関する問合せをしたりするために操作する端末である。
【０１３４】
図２に示すように、操作端末１０３は、操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部１１７と、操作画面上でロボット１０２に対して作業内容を指示するための例えばポインティングデバイスからなる入力部１１６と、表示部１１７に表示される操作画面の作成等の表示制御を行う表示制御手段１１８とを備えている。送受信手段１０９は入力部１１６に入力されたロボット１０２の作業内容や問合せ内容をサーバ１０１に送るとともに、問合せに対する回答をサーバ１０１から受信する。制御手段１１９は送受信手段１０９、入力部１１６、表示部１１７および表示制御手段１１８をコントロールする。
【０１３５】
この操作端末１０３としては、例えば汎用ＰＣを用いることも可能である。この場合、各処理を実行させる制御プログラムをＰＣに読み込ませることによって、操作端末１０３として用いることが可能になる。
【０１３６】
表示制御手段１１８は、サーバ１０１から送信された情報、具体的には、センシング手段１２０としてのカメラが環境内を撮像した画像のデータ、物品／移動体データベース１０６に蓄積されたデータ、環境マップ１０８に基づいて、操作画面を作成する。作成された操作画面は、表示部１１７に表示される。
【０１３７】
（操作モード）
本システムは、ロボットに実行させる作業内容をユーザに指定させる操作モードをいくつか備えており、各操作モードは、ユーザが入力部１１６を操作することによって切り替えられる。ここでは、操作モードの一例として、「仮想空間操作モード」について説明する。
【０１３８】
図１４は仮想空間操作モードにおいて操作端末１０３の表示部１１７に表示される操作画面の一例である。この操作画面は、実環境に則した仮想空間によって構成されている。この仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。
【０１３９】
また図１４の操作画面は、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。具体的には、空き缶（kan_small_0001）、レモン（lemon_small_0001）、手帳（note_small_0001）、バナナ（banana_small_0001）、および紙くず（trash_small_0001）の各アイコンが含まれている。なお、仮想空間操作モードでは、操作画面上で物品アイコンとされるものは、ロボット１０２が取扱い可能な物品であり、家具等の設備は、操作画面上には表示されるが、物品アイコンとはならない。。
【０１４０】
この操作画面では、ユーザは、操作端末１０３の入力部１１６の操作によって操作画面内のカーソルを操作し、それによってロボット１０２に実行させる作業内容を指定する。ロボット１０２に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、各物品アイコンは、いわゆるドラッグ操作によって、仮想空間内を移動可能に構成されている。このため、カーソルによって仮想空間内の所望の物品アイコンを指定するとともに、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、物品とその物品の移動先とが指定されることになる。
【０１４１】
図１４の矢線は、空き缶アイコン（kan_small_0001）をリサイクル用ゴミ箱５３１に、レモンアイコン（lemon_small_0001）、手帳アイコン（note_small_0001）およびバナナアイコン（banana_small_0001）をテーブル５５１に、紙くずアイコン（trash_small_0001）を一般用ゴミ箱５４１にそれぞれ移動させる場合の、ドラッグアンドドロップ操作を示している。
【０１４２】
ここでの操作画面を構成する仮想空間は、カメラが撮像した画像データであるため、画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、操作画面は、仮想空間を構成する画像データに加えて、画像データに１対１に対応し、かつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。
【０１４３】
画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、操作画面上でカーソルによって物品アイコンの位置（座標値）が指定されると、画面マスクデータにおいて同じ座標値が参照され、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。また、画面マスクデータにおけるマスクデータの座標には、物品データベースの物品データ（図６参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデータは、背景差分画像によって作成することができる。なぜなら、背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０１４４】
そして、操作画面上で、物品アイコンのドラッグアンドドロップ操作によって当該物品の移動作業が指定されたとき、操作端末１０３から環境管理サーバ１０１にその作業内容のメッセージが送信される。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。
【０１４５】
サーバ１０１はメッセージを受信したとき、物品データベースを参照して、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列をロボット１０２に送信する。ロボット１０２の制御手段１１５は、図１３に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット１０２は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行する。
【０１４６】
このように、仮想空間操作モードでは、操作端末１０３の表示部１１７に表示される操作画面が、実環境に則した仮想空間によって構成されるとともに、仮想空間内の物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって、物品の移動作業を指定することができる。このため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。もちろん、操作モードは、ここで説明した仮想空間操作モードに限られるものではない。
【０１４７】
すなわち、本実施形態では、操作端末が、所定の生活空間を表す画像を表示部に表示し、ユーザが操作端末から、画像に含まれた物品に対する操作の指示を行い、操作端末から送信されたユーザの指示を、サーバが、物品データベースを参照して、ロボットが実行可能な制御コマンドに変換し、ロボットに送信する。このような物品操作方法によって、ユーザは、生活空間の複雑な状況において、生活支援ロボットに的確な動作を、容易に実行させることができる。
【０１４８】
また、本実施形態では、操作端末が、所定の生活空間を表す画像を表示部に表示し、ユーザが操作端末から、画像に含まれた物品に対する問合せを行い、操作端末から送信されたユーザの問合せを受けて、サーバが、物品データベースを参照して、ユーザに提供するための情報を生成し、操作端末に送信する。このような物品管理方法によって、ユーザは、生活空間の複雑な状況において、物品についての的確な情報を、容易に取得できる。
【０１４９】
−発明の効果−
以上のように本発明によると、物品がいろいろな場所に置かれ、しかもその位置が刻々と変化する、といった生活空間の複雑な状況において、生活支援ロボットに的確な動作を実行させることができ、また、ユーザに、物品についての的確な情報を提供できる。したがって、人間の物品操作や物品管理作業を、支援することができる。
【０１５０】
（第２の実施形態）
ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、その生活空間内の状況を的確にユーザに提示すると共に、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
【０１５１】
本発明による物品取扱いシステムは、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行するものである。
【０１５２】
この構成によると、操作手段の表示部には操作画面が表示される。この表示部に表示される操作画面は生活空間の実状況に則した仮想空間からなる。ここで、仮想空間が生活空間の実状況に則しているとは、仮想空間の状況と生活空間の実状況とが互いに一致していることである。ユーザは入力部を操作することによって、上記操作画面の仮想空間内で、ロボットに実行させる作業内容を指定する。こうして、作業内容が指定されれば、上記ロボットは、その作業内容に基づいて生活空間内で物品の取扱い作業を実行する。
【０１５３】
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
【０１５４】
さらに本発明では、ロボットの作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボットの作業内容を、容易に指定可能になる。
【０１５５】
すなわち、ここでの態様１では、所定の生活空間内に存在する物品の取扱い作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボットが上記生活空間内で物品の取扱い作業を実行することを特徴とする物品取扱いシステムを提供する。
【０１５６】
態様２では、態様１において、ロボットが実行する作業は、生活空間内での物品の移動作業であることを特徴とする。
【０１５７】
態様３では、態様２において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、物品の移動作業は、上記物品アイコンの操作によって指定されることを特徴とする。
【０１５８】
態様４では、態様３において、物品の移動作業は、所望の物品アイコンを仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定されることを特徴とする。
【０１５９】
態様５では、態様１において、生活空間を撮像する撮像手段をさらに備え、  操作画面の仮想空間は、上記撮像手段が撮像した画像のデータによって構成されることを特徴とする。
【０１６０】
態様６では、態様５において、操作画面は、仮想空間を構成する画像のデータと、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデータに対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成されることを特徴とする。
【０１６１】
態様７では、態様６において、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段をさらに備え、画面マスクデータは、上記センシング手段により検出された物品の位置に基づいて作成されることを特徴とする。
【０１６２】
態様８では、態様１において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ポインタとを有し、上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示することを特徴とする。
【０１６３】
態様９では、態様１において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、ポインタとを有し、上記操作画面上で上記ポインタが、ロボットの取扱い可能な物品に対応する物品アイコンを指しているときには、その物品に関する情報を表示することを特徴とする。
【０１６４】
態様１０では、態様１において、操作画面は、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有し、上記操作画面上で物品アイコンが指定されることによりロボットの作業対象となる物品が指定されたときには、その物品アイコンを強調表示することを特徴とする。
【０１６５】
態様１１では、態様１において、操作画面を構成する仮想空間は、その視点が切り替え可能であることを特徴とする。
【０１６６】
態様１２では、所定の生活空間内に存在する物品の取扱い作業を行うロボットの作業内容を指定するためのロボット操作装置として、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させるものを提供する。
【０１６７】
態様１３では、所定の生活空間内に存在する物品の移動作業を行うロボットを用いた物品取扱い方法として、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグアンドドロップ操作するステップと、上記生活空間内で上記ロボットが、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含むものを提供する。
【０１６８】
態様１４では、態様１３において、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含むことを特徴とする。
【０１６９】
本発明の第２の実施形態は、生活空間において、その空間内に存在する物品の取扱い作業を作業ロボットに実行させる物品取扱いシステムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。また、作業ロボットが実行する物品の取扱い作業としては種々の作業が考えられるが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。
【０１７０】
本実施形態に係るシステムの構成は、第１の実施形態で示した図２と同様である。第１の実施形態と共通の構成要素については、ここではその詳細な説明は省略する。
【０１７１】
まず、表示制御手段118 で作成されて表示部117 に表示される操作画面について説明する。図１５は、操作画面の一例を示しており、この操作画面は、環境の実状況に則した仮想空間によって構成されている。
【０１７２】
また、上記仮想空間は、互いに異なる複数の視点を有しており、本実施形態では、図１５（ａ）に示すように、仮想空間を略水平方向に見る視点と、図１５（ｂ）に示すように、仮想空間を見下ろす視点との２つの視点を有している。操作画面を構成する仮想空間の視点は、ユーザが操作端末103 を操作することによって切り替えられる。
【０１７３】
上記操作画面を構成するこれらの仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。このように、カメラ画像によって仮想空間の視点を複数にするには、例えば次のような手法が挙げられる。
【０１７４】
一つは、環境内に、複数のカメラを設置することで、各カメラが撮像した画像データによって仮想空間を構成するものである。例えば、環境（部屋）の側壁と天井とのそれぞれにカメラを設置して、側壁に設置したカメラが撮像した画像データによって、図１５（ａ）に示す視点の仮想空間を構成する一方、天井に設置したカメラが撮像した画像データによって、図１５（ｂ）に示す視点の仮想空間を構成するようにしてもよい。
【０１７５】
もう一つは、環境内の適当な場所に少なくとも一つのカメラを設置し、そのカメラ画像を変形合成することによって、任意の視点からの画像（仮想空間）を作成するものである。このようなカメラ画像を用いて任意の仮想的な視点から見た画像を合成する手法は、特許第３２８６３０６号公報に記載されているため、ここではその詳細な説明は省略する。
【０１７６】
本実施形態では、環境内の側壁に、センシング手段１２０ として設置されたカメラが撮像した画像データ（以下これをカメラ視点画像ともいう）によって、図１５（ａ）に示す仮想空間を構成する一方、上記カメラが撮像した画像データを変形合成した画像データ（以下これを仮想視点画像ともいう）によって、図１５（ｂ）に示す仮想空間を構成することとする。このように、操作画面を構成する仮想空間が有する視点の数と、その仮想空間を構成する画像データを撮像するカメラ視点の数とは一致させる必要はない。
【０１７７】
上記操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコン（図１５では、バナナが物品アイコンである）とを有している。この物品アイコンは、ユーザが物品であることを認識可能なものであればよく、例えば物品をアニメーション化（イラストレーション化）したアイコンで構成したり、物品を撮像したカメラ画像からその物品の部分を自動又は手動で切り出した画像で構成したりすればよい。
【０１７８】
ユーザは、操作端末103 の入力部116 の操作によって操作画面内のカーソルを操作し、それによるアイコン操作によってロボットに実行させる作業内容を指定するように構成されている。操作画面上で作業内容を指定する手順については後述するが、本実施形態では、上記物品アイコンは、いわゆるドラッグ操作によって操作画面を構成する仮想空間内を移動させることが可能に構成されており、ロボット102 に物品の移動作業を実行させる場合は、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、仮想空間内の所望の移動先を上記カーソルによって指定することで、移動作業の指定がなされる。尚、環境内に存在する家具等の設備は操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット102 が取扱い可能な物品である。
【０１７９】
ここで、操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データ、又はその画像データを変形合成した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データ（及び変形合成した画像データ）に加えて、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータは、上記画像データ（仮想空間）に１対１に対応するものである。ここで、「１対１に対応する」とは、両データの座標値が対応しているという意味である。
【０１８０】
図１５には、仮想空間（操作画面）を構成する画像のデータに１対１に対応した画面マスクデータの例を示す。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応して、マスクデータ（同図の網掛け部分参照）が設定されており、このマスクデータの座標には物品データベースの物品データ（図６参照）へのポインタが記載されている。このポインタは、その物品アイコンに係る物品に対応するものであり、これにより、操作画面に含まれる各物品アイコンが、どの物品を表しているかが判断可能になる。
【０１８１】
そして、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かが判断される。これと共に、物品アイコンの位置が指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。
【０１８２】
操作画面を構成する仮想空間を、センシング手段１２０ としてのカメラが撮像した画像（図１５（ａ）参照）によって構成する場合は、背景差分画像によって、その仮想空間に１対１に対応する画面マスクデータを作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０１８３】
一方、操作画面を構成する仮想空間を、カメラ画像を変形合成した画像、言い換えると仮想視点画像（図１５（ｂ）参照）によって構成する場合は、それに１対１に対応する画面マスクデータは、次のようにして作成すればよい。
【０１８４】
図１６は仮想視点画像によって構成される操作画面の画像マスクデータを作成するための説明図である。図１６（ｂ）において、Ｏｗを原点としＸ軸、Ｙ軸、Ｚ軸で構成された座標系は実世界座標系である。この座標系において、仮想視点（この仮想視点は環境の天井に対応する）の位置を（x1,y1,z1）で表す。また仮想視点Ｏｅを原点とする仮想視点座標系を設定する。また、図１６（ａ）に示す座標値（x ,y ,z ）は、センシング手段１２０ によって検出された物品を構成する領域内の任意の１点の実世界座標系における座標値である。さらに図１５（ｂ）に示す座標値（u ,v）は、上記座標値（x ,y ,z ）を仮想視点画像からなる操作画面上に変換したときの座標値である。次式（１）,（２）,（３）はそれぞれ、変換のための式である。
【数１】
2004106009.tif 000090
【０１８５】
ここで式（１）におけるＲは、仮想視点座標系を構成する３つの軸周りの回転行列であり、この行列に仮想視点座標系における座標値を乗じることにより、その座標値が実世界座標系における座標値に変換されるように、回転行列の値が設定されている。また式（２），（３）におけるｆは仮想視点の焦点距離を示す。
【０１８６】
さて、仮想視点画像によって構成される操作画面の画面マスクデータの作成を、具体的な処理として言い換えると、センシング手段１２０ によって得られた物品の占める領域を、仮想視点で見たときに物品の占める領域に変換し、その領域を操作画面上の座標値に変換して、それをマスクデータとするということである。これはすなわち、
１）実世界座標系の座標値で表された物品領域の点（x ,y ,z ）を、式（１）によって仮想視点座標系における座標値（xe,ye,ze）に変換し、
２）上記変換された座標値（xe,ye,ze）を、式（２），（３）によって仮想視点画像からなる操作画面の座標値(u ,v )に変換する
という計算を、実世界座標系の座標値で表された物品領域の全ての点に対して行うことに他ならない。
【０１８７】
上記変換により仮想視点画像からなる操作画面の画面マスクデータを作成することができるが、より正確なマスクデータを作成するには、２）で得られた(u ,v)の座標値をプロットし、それらを囲む最小の多角形領域をマスクデータとしてもかまわない。
【０１８８】
尚、本実施形態では、操作端末103 の表示制御手段118 が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ101 が作成してもよい。この場合、サーバ101 が作成した操作画面は、ネットワークを介して操作端末103 に送信し、操作端末103 は、受信した操作画面を表示部117 に表示すればよい。また、入力部116 の操作によって、仮想空間の視点の切り替え操作がされたときには、操作端末103 からサーバ101 に、視点切り替え要求信号を送信し、それに応じて上記サーバ101 が視点を切り替えた操作画面を作成し、これを操作端末103 に送信するようにすればよい。
【０１８９】
−ロボットの作業内容の指定手順−
次に、操作端末103 の表示部117 に表示される操作画面上で、ロボット102 に実行させる物品の移動作業を指定する手順について、２つの例を挙げて具体的に説明する。
【０１９０】
先ず、図１７を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの手前側であるＢ２位置に移動させる場合を例に、ロボット102 の移動作業の指定手順を説明する。
【０１９１】
この移動操作の指定は、操作画面上で、バナナ（物品アイコン）を選択する操作と、この選択したバナナアイコンを、仮想空間内の所望の移動先に移動（ドラッグ）させると共に、その移動先位置でバナナアイコンをドロップする、というアイコンのドラッグアンドドロップ操作によって行われる。
【０１９２】
（操作画面の表示ステップ：Ｐ1001）
操作端末103 の表示部117 には、操作画面が表示される。ここでは、操作画面を構成する仮想空間を、カメラが撮像したカメラ視点画像によって構成している。この仮想空間は部屋の実状況に則しているため、操作画面には、部屋内に存在する設備（テーブル等）が表示される。また、部屋内に存在する物品（バナナ等）は、物品アイコンとして仮想空間内に配置されている。
【０１９３】
ユーザは、操作端末103 の入力部116 を操作することにより、操作画面上でカーソルを移動させることができる。このカーソルが物品アイコンを指しているときには、その物品アイコンを強調表示する。具体的に、カーソルがバナナアイコンを指しているときには、そのバナナアイコンの色を変える、また、図１９（ａ）に示すように、バナナアイコンの輪郭を強調して表示する、さらに、図１９（ｂ）に示すように、物品アイコンに対応する物品の名称として、「バナナ」の文字をポップアップ表示する。一方、上記カーソルがテーブル等の設備を指していても、これらは物品アイコンではないため強調表示はされない。こうすることでユーザは、操作画面上で、例えばバナナがロボット102 の取扱い可能な物品であることを認識することができ、ロボットの作業内容の指定が容易になる。その結果、ユーザの利便性が向上する。
【０１９４】
尚、物品の名称をポップアップ表示する場合は、その物品に関する他の情報を併せて表示するようにしてもよい。例えば、その物品が食料品であれば、賞味期限や品質保持期限、購入年月日等の情報をポップアップ表示してもよい。こうすることで、ユーザは、その情報に応じてロボットに対する作業内容を指定することができる（例えばその物品の移動場所を変える等）。また、その物品に関する情報の内容に応じて、その物品に対するお勧めの作業内容をポップアップ表示してもよい。例えばカーソルが指している物品アイコン（物品）が、賞味期限切れ間近の食料品であるときには、「当該物品を冷蔵庫内に移動させる」旨の作業内容をポップアップ表示する、等である。
【０１９５】
また、カーソルが物品アイコンを指しているときに、物品の領域の色を変えたり、物品の領域の輪郭を強調して表示するだけでなく、その物品を拡大表示するようにしてもよい。また、カーソルが物品アイコンを指しているときには、例えば「○○があります」というように、その物品の名称を音声でユーザに報知してもよい。こうすることで、目の不自由なユーザにも使いやすいシステムとなる。
【０１９６】
また、ここでは物品アイコンの表示形態をかえるようにしているが、例えばカーソルが物品アイコンを指しているときには、そのカーソルの形態を変えるようにしてもよい。こうすることでも、そのカーソルが指している物品アイコンが、ロボットが取扱い可能な物品であることを、ユーザに認識させることが可能になる。
【０１９７】
さらに、ここでは、カーソルが物品アイコンを指しているときに、物品アイコンを強調表示するようにしているが、例えば、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。特に、ユーザが操作画面における操作を開始する際に、全ての物品アイコンを所定時間だけ強調表示してもよいし、ユーザの要求操作に応じて、全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることで、ユーザは、仮想空間内の物品アイコン、つまり、ロボット102 が取扱い可能な物品が、環境内のどこに置かれているかを一目で確認することができる。
【０１９８】
（物品の指定操作ステップ：Ｐ1002）
ロボット102 に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。この物品アイコンの指定操作がされたときには、「対象物品はバナナでよろしいですか？」等の確認を促す表示を行い、ユーザに「ＯＫ／キャンセル」の操作を行わせるようにしてもよい。
【０１９９】
こうして物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンを強調表示する。この強調表示としては種々の表示形態が考えられるが、例えば、図１７に示すように、物品アイコンの色を変える、そのアイコンを塗りつぶす等の、その物品が指定されていることが一目で判るような形態であればどのような表示形態でもよい。但し、対象物品を指定したときの強調表示の形態は、カーソルが物品アイコンを指しているときに行う強調表示とは異ならせることが好ましい。これは、その物品がロボット102 の取扱い可能な物品であることと、その物品がロボット102 の作業対象として指定されたこととを区別するためである。
【０２００】
（移動先指定ステップ：Ｐ1003）
ロボット102 に移動させる物品を指定すれば、その物品の移動先を指定する。この移動先の指定は、図１７に示すように、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの手前側のＢ２位置）に、ドラッグアンドドロップ操作することによって行う（同図の矢線参照）。この操作が行われたときには、「移動先はここでよろしいですか？」等の確認表示を行ってもよい。「ここ」には具体的な移動先名を明示してもよいし、その場所を強調してもよい。こうして、ユーザによる移動作業の指定が完了することになる。
【０２０１】
このように、物品の移動作業は、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって指定されるため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
【０２０２】
次に、図１８を参照しながら、部屋の床のＢ１位置に置かれているバナナを、テーブルの奥側であるＢ２位置に移動させる場合を例に、ロボット102 の移動作業の指定手順を説明する。
【０２０３】
（操作画面の表示ステップ：Ｐ2001）
操作画面の表示ステップは、上記のＰ1001と同様であり、カメラ視点画像によって構成された仮想空間からなる操作画面が、操作端末103 の表示部117 に表示される。
【０２０４】
（物品の指定操作ステップ：Ｐ2002）
物品の指定操作ステップも、上記のＰ1002と同様であり、物品アイコンをクリック操作することによってロボット102 に移動させる物品を指定する。これにより、指定された物品アイコンは強調表示される。
【０２０５】
（視点切り替えステップ：Ｐ2003）
ロボット102 に移動させる物品を指定すれば、その物品の移動先を指定する。ここで、本例では、移動先がテーブルの奥側であるＢ２位置であり、カメラ視点画像からなる操作画面にはＢ２位置が表示されていない。そこで、操作画面を構成する仮想空間の視点を切り替える。
【０２０６】
視点の切り替え時には、図１８に示すように、操作画面に視点位置にカメラアイコンが表示される。ユーザは、このカメラアイコンをクリック操作することによって、操作画面を構成する仮想空間の視点を切り替えることが可能である。尚、ここでは、仮想空間の視点が２つであるため、カメラアイコンは一つしか表示されないが、仮想空間の視点が３以上であるときには、各視点位置に対応して、複数のカメラアイコンを操作画面に表示すればよい。
【０２０７】
（移動先指定ステップ：Ｐ2004）
仮想空間の視点を切り替えることにより、操作画面を構成する仮想空間は、カメラ画像を変形合成した仮想視点画像に切り替わる。そして、この新たな操作画面において、カーソルの操作により、物品アイコンを仮想空間内の所望の移動先（ここではテーブルの奥側のＢ２位置）に、ドラッグアンドドロップ操作する（同図の矢線参照）。こうして、ユーザによる移動作業の指定が完了することになる。
【０２０８】
このように、操作画面を構成する仮想空間の視点が複数あることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、一般家庭等の生活空間では、設備の配置や物品の置かれる位置の自由度が高く、カメラ画像に死角が生じやすいが、ユーザは、ロボットに実行させる作業内容を仮想空間からなる操作画面上で的確に指定することができる。
【０２０９】
−ロボットの作業内容の実行制御−
以上のようにして、ユーザが操作端末103 を操作することにより、ロボット102 に実行させる作業内容が指定されれば、操作端末103 は環境管理サーバ101 にその作業内容のメッセージを送信する。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。尚、操作端末103 からサーバ101 に送信する移動先の座標は、操作画面上の座標でもよいし、操作画面上の座標を環境の実世界座標に変換した座標でもよい。
【０２１０】
上記サーバ101 はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット102 に送信する。物品の移動作業は、「（物品の位置への）移動」、「（物品の）把持」、「（移動先への）移動」、「（物品の）開放」という４つの作業単位に分解される。従って、上記の例では、ロボット制御コマンド列は、
move,B1（バナナが置かれている位置Ｂ１にロボットを移動する）
grab,バナナ（Ｂ１の位置にあるバナナを把持する）
move,B2（（バナナを把持した状態で）移動先であるＢ２に移動する）
release（把持しているバナナを解放する）
となる。尚、複数の物品の移動が指定されたときには、コマンド列は、上記４つの作業単位を一組として、物品の数だけ並べる。
【０２１１】
作業ロボット１０２の制御手段１１５の動作例は、第１の実施形態の図１３に示すとおりであり、ここでは説明を省略する。
【０２１２】
こうして、操作端末103 で指定した作業内容が、ロボット102 によって実行され、位置Ｂ１に置かれたバナナが、位置Ｂ２に移動されることとなる。
【０２１３】
上記ロボット102 が動作をしているときには、操作端末103 の表示部117 に表示される操作画面をカメラ画像と連動させることで、そのロボット102 が作業をしている様子を操作画面において映し出すようにしてもよい。こうすることで、ユーザは、指定した作業内容がロボット102 によって実行されているか否かを操作画面上で確認することができ、例えばロボット102 が間違った作業をしているときには、その作業をすぐに中止させることも可能になる。
【０２１４】
これに対し、ロボット102 が動作をしているときには、上記操作画面をロボット102 の動作開始前のカメラ画像で固定してもよい。こうすることで、新たな作業を指定しようとしても、操作画面内でロボット102 が動作していると指定操作がし難くなる場合があるが、それが解消される。
【０２１５】
これらの表示形態の切り替えは、ユーザの指定に応じて切り替えればよい。また、ロボット102 が動作をしているときには、カメラ画像と連動した操作画面の変更頻度を調節可能にしてもよい。
【０２１６】
以上説明したように、本発明による物品取扱いシステムは、所定の生活空間（環境）内に存在する物品の取扱い作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備え、上記表示部117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させ、上記指定された作業内容に基づいて、上記ロボット102 が上記生活空間内で物品の取扱い作業を実行するものである。
【０２１７】
このように本発明では、操作画面が生活空間の実状況に則した仮想空間によって構成されている。このため、一般家庭等、生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品が配置される。こうして、複雑な生活空間内の状況が的確にかつ分かりやすくユーザに提示される。
【０２１８】
さらに本発明では、ロボット102 の作業内容は、この仮想空間内で指定する。このことで、複雑な状況下の生活空間内におけるロボット102 の作業内容を、容易に指定可能になる。
【０２１９】
また、ロボットが実行する作業が、生活空間内での物品の移動作業であるときに、本発明による物品取扱いシステムでは、操作画面を、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有するものとして、物品の移動作業を、上記物品アイコンの操作によって指定する。
【０２２０】
このように、生活空間に存在する物品に対応して物品アイコンを仮想空間内に配置することにより、生活空間内で様々な位置に置かれる物品の中から、ロボットに移動させる物品を容易に指定することが可能になる。また、物品アイコンの操作によってロボット102 の作業内容を指定することで、的確かつ容易に作業内容を指定可能になる。
【０２２１】
また、本発明による物品取扱いシステムでは、物品の移動作業を、所望の物品アイコンを上記仮想空間内の所望の移動先にドラッグアンドドロップ操作することによって指定する。このためユーザは、物品の移動作業を指定するときには、操作画面の仮想空間内に配置される物品アイコンの中から、所望の物品アイコンを選択すると共に、その選択した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作することになる。この操作によってロボット102 は、指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する生活空間内の位置に移動させる作業を行うことになる。
【０２２２】
このように、指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定されるため、ロボット102 に実行させる作業内容を極めて容易に指定可能になる。
【０２２３】
また、本発明による物品取扱いシステムは、生活空間を撮像する撮像手段（センシング手段１２０ としてのカメラ）をさらに備えており、操作画面の仮想空間は、上記撮像手段が撮像した画像のデータによって構成される。
【０２２４】
こうすることで、生活空間の実状況に則した仮想空間を簡便に作成可能になる。尚、仮想空間は、例えばコンピュータグラフィックスによって構成してもよい。
【０２２５】
さらに、本発明による物品取扱いシステムでは、操作画面を、仮想空間を構成する画像のデータと、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、上記画像のデータに対応する座標値を有しかつ、上記仮想空間内における物品アイコンの位置を特定する画面マスクデータとから構成する。
【０２２６】
すなわち、仮想空間を画像のデータによって構成したときに、操作画面上で物品アイコンを操作するには、その画像のどの領域が物品アイコンに対応するかを特定する必要がある。このため、画像のデータと、物品アイコンと、画面マスクデータとから操作画面を構成することにより、画面マスクデータによって、仮想空間内における物品アイコンの位置が特定され、その結果、画像データから構成される操作画面上で物品アイコンを操作することが可能になる。
【０２２７】
本発明による物品取扱いシステムは、生活空間内に存在する物品の、その生活空間内における位置を検出するセンシング手段１２０ をさらに備えている。そして、画面マスクデータは、上記センシング手段１２０ により検出された物品の位置に基づいて作成される。
【０２２８】
センシング手段１２０ によって生活空間内に存在する物品の位置を検出すれば、その検出した位置に対応する仮想空間内の位置が特定されるため、仮想空間内における物品アイコンの位置を特定する画面マスクデータが作成可能になる。
【０２２９】
本発明による物品取扱いシステムのように、一般家庭等の生活空間を対象とするシステムでは、その生活空間内には種々の物品が存在する。例えばその空間に固定・設置された固定・設置物等も物品である。しかしながら、こうした固定・設置物等は、ロボット102 によって移動させることができない。このように、生活空間内に存在する物品は、ロボット102 が取扱い可能な物品と、取扱い不可能な物品とに分けることができるが、仮想空間からなる操作画面には、ロボット102 が取扱い可能な物品と、取扱い不可能な物品との双方が表示される。
【０２３０】
そこで、本発明による物品取扱いシステムでは、操作画面上でポインタ（カーソル）が、ロボット102 の取扱い可能な物品に対応する物品アイコンを指しているときには、その物品アイコンを強調表示する、又は、その物品に関する情報を表示する。
【０２３１】
こうすることでユーザは、操作画面内に表示される多数の物品の中から、ロボット102 の取扱い作業可能な物品を容易に特定することができる。それによって、ロボット102 に実行させる作業内容を容易に指定することが可能になる。尚、ロボット102 の取扱い作業可能な物品と、取扱い作業不可能な物品との分別基準は、その取扱い作業の内容によって異なる。例えば物品の移動作業については、ロボット102 が移動させることのできない固定・設置物や、大型物・重量物は、ロボット102 の取扱い作業不可能な物品となり、それ以外の物品はロボット102 の取扱い作業可能な物品となる。
【０２３２】
また、そのシステムにおける作業ロボット102 が変更されたときには、そのロボット102 の変更に伴い取扱い可能な物品が変更される場合がある。ここで、ロボット102 の変更には、例えばロボット102 が新機種に置き換わるというハードウエア上の変更だけでなく、ロボット102 の制御プログラムが変更されるというソフトウエア上の変更も含む。
【０２３３】
このように、ロボット102 の取扱い可能な物品が変更されたときには、そのことをユーザに報知すべく、仮想空間内に配置されている全ての物品アイコンを所定時間だけ強調表示してもよい。こうすることでユーザは、ロボット102 が取扱い可能な物品を、一目で把握することができる。
【０２３４】
本発明による物品取扱いシステムは、ロボット102 の取扱い可能な物品が変更されたときには、そのロボット102 の取扱い可能な物品に対応する全ての物品アイコンを強調表示するように構成してもよい。
【０２３５】
また、本発明による物品取扱いシステムでは、上記操作画面上で物品アイコンが指定されることによりロボット102 の作業対象となる物品が指定されたときには、その物品アイコンを強調表示する。
【０２３６】
こうすることでユーザは、物品アイコンの指定を確認することができ、これにより、ロボット102 が誤って指定された物品の取扱い作業を実行してしまうことが、未然に防止される。
【０２３７】
本発明による物品取扱いシステムは、上述したように、一般家庭、オフィス、ホテル、店舗及び病院等の生活空間における物品取扱いシステムである。このため、その生活空間内には、例えば家具等の固定・設置物が存在していると共に、ロボットの取扱い作業の対象である物品も様々な位置に存在する。
【０２３８】
この場合、操作画面を生活空間の実状況に則した仮想空間から構成するときに、その仮想空間の視点が一つだけに定められていると、例えばその視点からは家具等に隠れて物品が見えない、又は、その物品を所望の移動先に移動させる場合にその移動先が死角になっている、等の問題が生じる。この問題は、工場や倉庫等の産業用のシステムでは通常生じない問題である。なぜなら、産業用のシステムでは、物品が定められた位置に配置されることが多く、さらには、空間の状況を見る視点が一つであっても、死角が生じないようにその空間の状況を予め設定しているためである。
【０２３９】
そこで、本発明による物品取扱いシステムでは、上記操作画面を構成する仮想空間は、その視点を切り替え可能にする。
【０２４０】
仮想空間の複数の視点が相互に切り替え可能であることで、ある視点では死角になるときでも、視点を切り替えることでそれが解消される。こうして、状況が複雑な生活空間での物品取扱いシステムにおいて、ロボット102 に実行させる作業内容を操作画面上で的確に指定することが可能になる。
【０２４１】
また、本発明によるロボット操作装置（操作端末103 ）は、所定の生活空間内に存在する物品の取扱い作業を行うロボット102 の作業内容を指定するための装置である。
【０２４２】
上記ロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間の実状況に則した仮想空間からなる操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させるものである。
【０２４３】
この構成により、上述したように、表示部117 には、生活空間の実状況に則した仮想空間からなる操作画面が表示される。これにより、生活空間内の複雑な状況が的確にかつ分かりやすくユーザに提示される。
【０２４４】
また、ロボット102 の作業内容の指定は、その仮想空間からなる操作画面において行われるため、ユーザは、ロボット102 の作業内容を容易に指定可能になる。
【０２４５】
本発明による物品取扱い方法は、所定の生活空間内に存在する物品の移動作業を行うロボット102 を用いた方法である。
【０２４６】
そして、上記物品取扱い方法は、上記生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して上記仮想空間内に配置される物品アイコンを有する操作画面を表示するステップと、上記操作画面上で、所望の物品アイコンを指定するステップと、上記指定した物品アイコンを、上記仮想空間内の所望の移動先にドラッグアンドドロップ操作するステップと、上記生活空間内で上記ロボット102 が、上記指定された物品アイコンに対応する物品を、仮想空間内で指定された移動先に対応する位置に移動するステップとを含む。
【０２４７】
本発明による物品取扱い方法は、操作画面を構成する仮想空間の視点を切り替えるステップをさらに含む。この視点を切り替えるステップは、上記実施形態では、仮想空間内の所望の移動先に物品アイコンをドラッグアンドドロップ操作するステップの前としたが、これに代えて、又はこれと併せて、所望の物品アイコンを指定するステップの前としてもよい。
【０２４８】
−他の実施形態−
尚、本実施形態では、環境管理サーバ101 が操作端末103 からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしたが、例えば、操作端末103 が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしてもよい。
【０２４９】
また、本実施形態では、物品取扱いシステムを、環境管理サーバ101 、ロボット102 、操作端末103 の３つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。
【０２５０】
またロボット102 も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０２５１】
さらに、本実施形態では、ロボット102 は物品の移動作業を行うものとし、環境の実状況に則した仮想空間からなる操作画面において、物品アイコンのドラッグアンドドロップ操作により、ロボット102 の作業内容を指定するようにした。しかし、仮想空間からなる操作画面において指定するロボット102 の作業内容は、物品の移動作業に限るものではなく、物品の移動を伴わない作業を含め、その他の作業としてもよい。例えば、操作画面上で、ロボット102 に作業をさせる対象となる物品アイコンを指定したときに、ロボット102 が実行し得る作業内容をメニュー形式で操作画面に表示し、そのメニューから作業内容を選択させることによって、ロボット102 に実行させる作業内容を指定するようにしてもよい。
【０２５２】
−発明の効果−
以上説明したように、本発明による生活空間用の物品取扱いシステム、物品取扱い方法、及びロボット操作装置では、生活空間の実状況に則した仮想空間からなる操作画面が、操作端末（ロボット操作装置）の表示部に表示される。これによりユーザは、生活空間内の複雑な状況を、的確に把握することができる。また、ユーザはこの操作画面上で、ロボットに実行させる作業内容を指定することができる。例えば物品の移動作業を指定するときには、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを操作することにより、例えば仮想空間内の所望の移動先にドラッグアンドドロップ操作をすることにより、移動作業の指定ができる。このような直感的な操作によって、ロボットに実行させる作業内容が指定できるため、誰もが容易に、作業内容の指定をすることができる。
【０２５３】
また、操作画面上で、カーソルがロボットの取扱い可能な物品アイコンを指しているときには、そのことをユーザに明示する表示がなされるため、ユーザはロボットに作業させる物品の指定を確実に行うことができる。
【０２５４】
さらに、ロボットに作業させる物品（物品アイコン）を指定したときには、操作画面上で、そのことをユーザが認識可能となる表示がされるため、ロボットが誤って指定された物品の取扱い作業を実行してしまうことを、未然に防止することができる。
【０２５５】
加えて、操作画面を構成する仮想空間の視点は切り替え可能に構成されているため、例えば、ある視点からは死角になっている物品を、視点を切り替えることで見ることができ、ある視点からは死角になっている位置を、視点を切り替えることで見ることができる。すなわち、操作端末の表示部に、生活空間の複雑な実状況に則した仮想空間内全てを、確実に表示することができる。
【０２５６】
また、生活空間の実状況に則した仮想空間を、カメラが撮像した画像データによって構成することで、仮想空間を容易に作成することができる。
【０２５７】
（第３の実施形態）
ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の移動作業を実行させる非産業用の物品移動システムにおいて、上記ロボットに実行させる作業内容を容易に指定可能にすることにある。
【０２５８】
本発明による物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。
【０２５９】
この構成によると、操作手段の表示部には、操作画面が表示される。操作手段における操作モードが場所アイコン操作モードであるときには、生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示部に表示される。ユーザは入力部を操作することによって、この操作画面上で、ロボットに行わせる作業内容を指定する。例えばロボットに移動させる物品とその物品の移動場所とを指定すべく、操作画面上で、所望の物品アイコンと所望の場所アイコンとをそれぞれ指定する操作を行う。こうして、物品とその移動場所とが指定されれば、上記ロボットは生活空間内で、指定された作業内容に基づいて物品の移動作業を実行する。
【０２６０】
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボットが指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボットの作業内容を指定可能になる。
【０２６１】
すなわち、ここでの態様１では、 所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上で、上記ロボットに行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボットが上記生活空間内で、物品を移動させる移動作業を実行し、上記操作手段における操作モードとして、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有することを特徴とする物品移動システムを提供する。
【０２６２】
態様２では、態様１において、場所アイコン操作モードは、操作画面上で物品アイコンと場所アイコンとをそれぞれ指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードであることを特徴とする。
【０２６３】
態様３では、態様１において、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含み、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択し、ロボットは、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行することを特徴とする。
【０２６４】
態様４では、態様１において、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部に表示する仮想空間操作モードをさらに有することを特徴とする。
【０２６５】
態様５では、態様４において、仮想空間操作モードは、操作画面上で物品アイコンと仮想空間内の場所とを指定する操作をすることによって、ロボットに移動させる物品と、その物品の移動場所との指定を行うモードであることを特徴とする。
【０２６６】
態様６では、態様１又は態様４において、操作手段における操作モードとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部に表示する作用アイコン操作モードをさらに有することを特徴とする。
【０２６７】
態様７では、態様６において、作用アイコン操作モードは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作をすることによって、ロボットに扱わせる物品と、その物品に施す作用との指定を行うモードであり、上記操作画面上で物品アイコンと作用アイコンとの指定操作がされたときには、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択し、ロボットは、指定された物品を、上記選択した場所に移動する作業を実行することを特徴とする。
【０２６８】
態様８では、態様２，３，及び７のいずれか１態様において、操作画面は、物品アイコンを他のアイコンにドラッグアンドドロップ操作可能に構成されることを特徴とする。
【０２６９】
態様９では、態様８において、操作画面は、複数の物品アイコンを一括して他のアイコンにドラッグアンドドロップ操作可能に構成されることを特徴とする。
【０２７０】
態様１０では、所定の生活空間内に存在する物品の移動作業を行うロボットと、操作画面を表示する表示部及びユーザが操作をする入力部を有する操作手段とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、上記ロボットが上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行することを特徴とする物品移動システムを提供する。
【０２７１】
態様１１では、態様１，４，６及び１０のいずれか１態様において、生活空間内に存在する物品を検出するセンシング手段をさらに備え、操作画面には、上記センシング手段により検出された物品に対応する物品アイコンを含めることを特徴とする。
【０２７２】
態様１２では、所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる場所アイコン操作モードを有するものを提供する。
【０２７３】
態様１３では、態様１２において、表示部に、生活空間の実状況に則した仮想空間からなり、その生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部を操作させることによって、上記仮想空間内でロボットに行わせる作業内容を指定させる仮想空間操作モードをさらに有することを特徴とする。
【０２７４】
態様１４では、態様１２又は態様１３において、表示部に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードをさらに有することを特徴とする。
【０２７５】
態様１５では、所定の生活空間内に存在する物品の移動作業を行うロボットの作業内容を指定するためのロボット操作装置であって、操作画面を表示する表示部と、ユーザが操作をする入力部とを備え、上記表示部に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部を操作させることによって、上記操作画面上でロボットに行わせる作業内容を指定させる作用アイコン操作モードを有することを特徴とする。
【０２７６】
本発明の第３の実施形態は、生活空間において、その空間内に存在する物品の移動作業を作業ロボットに実行させる物品移動システムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品移動システムの対象空間（以下これを環境と呼ぶ）とする。また、作業ロボットは、移動作業に限らず、種々の物品取扱い作業を実行するものとしてもよいが、本実施形態では、作業ロボットは、ユーザによって指定された物品を、指定された位置に移動させる移動作業を実行するものとする。
【０２７７】
図２０は本実施形態に係る物品移動システムの構成を示すブロック図である。図２０では、図２と共通の構成要素には、図２と同一の符号を付しており、ここではその詳細な説明を省略する。
【０２７８】
ロボット１０２は、第１の実施形態ですでに説明した障害物センサ１１１、把持手段１１２、移動計画作成手段１１３、移動手段１１４および送受信手段１０９に加えて、後述する場所アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性に応じて移動場所の選択を行う移動場所選択手段１３０を備えている。制御手段１１５は、これらのセンサ１１１及び各手段１０９，１１２〜１１４，１２０をコントロールする。
【０２７９】
また、本実施形態では、環境内に存在する各物品に電子タグが付されているとして、把持手段１１２にリーダライタを取り付けている。こうすることで、把持手段１１２が物品を把持したときに、電子タグに書き込まれた情報を読み取り、それによって、その把持した物品が何であるかを特定することができる。なお、把持手段１１２に取り付けるリーダライタは省略してもよい。
【０２８０】
操作端末１０３は、第１の実施形態ですでに説明した表示部１１７、入力部１１６、表示制御手段１１８、送受信手段１０９に加えて、後述する作用アイコン操作モードでユーザにより作業内容が指定されたときに、作業対象の物品（移動させる物品）の属性とその物品に対する作用とに応じて移動場所を決定する作用／場所変換手段１３１を備えている。制御手段１１９は、これらの各手段１０９，１１６〜１１８，１２１をコントロールする。
【０２８１】
本システムは、操作端末103 において、ロボットに実行させる作業内容を指定する操作モードとして、１）仮想空間操作モード、２）場所アイコン操作モード、３）作用アイコン操作モード、の３つの操作モードを有している。各操作モードは、ユーザが入力部116 を操作することによって切り替えられる。
【０２８２】
各操作モードは、表示部117 に表示される操作画面上で、ユーザに作業内容を指定させる点は同じであるが、表示部117 に表示される操作画面の構成が、各モードで互いに異なる。以下、上記３つの操作モードそれぞれについて順に説明する。
【０２８３】
（仮想空間操作モード）
図２１は、仮想空間操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。この操作画面は、環境の実状況に則した仮想空間によって構成されている。この操作画面を構成する仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。本実施形態では、上記カメラは、センシング手段１２０ として環境内の側壁に設置されたカメラとされている。
【０２８４】
この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図２１に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、レモン（lemon_small_0001）、手帳（note_small_0001）、バナナ（banana_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。尚、仮想空間操作モードでは、環境内に存在する家具等の設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット102 が取扱い可能な物品である。
【０２８５】
この仮想空間操作モードにおける操作画面では、ユーザは、操作端末103 の入力部116 の操作によって操作画面内のカーソルを操作し、それによってロボット102 に実行させる作業内容を指定する。ロボット102 に物品の移動作業を実行させる場合は、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面を構成する仮想空間内を移動させることが可能に構成されている。このため、物品アイコンと仮想空間内の場所とを指定するときには、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、物品とその物品の移動先とが指定されることになる。図２１の矢線は、空き缶アイコン（kan_small_0001）を、仮想空間内のリサイクル用ゴミ箱531 に、レモンアイコン（lemon_small_0001）、手帳アイコン（note_small_0001）バナナアイコン（banana_small_0001）を、仮想空間内のテーブル551 に、紙くずアイコン（trash_small_0001）を、仮想空間内の一般用ゴミ箱541 にそれぞれドラッグアンドドロップ操作するときの操作例を示している。
【０２８６】
ここで、仮想空間操作モードの操作画面を構成する仮想空間は、上述したように、カメラが撮像した画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定する必要がある。そこで、上記操作画面は、仮想空間を構成する上記画像データに加えて、上記画像データ（仮想空間）に１対１に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有している。この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断するようにしている。また、画面マスクデータにおけるマスクデータの座標には、物品データベースの物品データ（図６参照）へのポインタが記載されており、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。この画面マスクデータは、背景差分画像によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０２８７】
そして、この操作画面上で物品アイコンのドラッグアンドドロップ操作を行うことにより、物品の移動作業が指定されたときには、操作端末103 から環境管理サーバ101 にその作業内容のメッセージが送信される。このメッセージには、少なくとも、作業内容が物品の移動作業である旨と、移動対象となる物品の情報と、移動先の座標とを含めればよい。
【０２８８】
上記サーバ101 はメッセージを受信したときには、そのメッセージ内容に従ってロボット制御コマンド列を生成し、生成したロボット制御コマンド列を上記ロボット102 に送信する。
【０２８９】
ロボット制御コマンド列を受信した作業ロボット102 の制御手段115 は、図１３に示すフローチャートに従って制御コマンドを実行する。その結果、この作業ロボット102 は、操作画面上で指定された物品を、仮想空間内で指定された場所に移動する移動作業を実行することになる。
【０２９０】
このように、仮想空間操作モードでは、操作端末103 の表示部117 に表示される操作画面が、環境の実状況に則した仮想空間によって構成されると共に、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンを、その仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって、物品の移動作業が指定される。このため、ユーザは、極めて容易にロボットに実行させる作業内容を指定することができる。
【０２９１】
また、後述する場所アイコン操作モードや、作用アイコン操作モードとは異なり、仮想空間操作モードでは、仮想空間内で、物品の移動先を自由に指定することができる。これにより、ロボットに実行させる作業内容の自由度が高まる。
【０２９２】
（場所アイコン操作モード）
図２２は、場所アイコン操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。
【０２９３】
この操作画面には、物品アイコンと、環境内における物品の移動場所を表す場所アイコンとが含まれている。上記物品アイコンは、センシング手段１２０ によって環境内で検出された物品に対応するものである。すなわち、操作画面に含まれる物品アイコン（それに対応する物品）は、環境内に実際に存在しているものである。物品アイコンは、物品ＩＤと対応付けた状態でリスト形式に表示されている。図２２に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、レモン（lemon_small_0001）、手帳（note_small_0001）、バナナ（banana_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。こうすることでユーザは、環境内に存在する物品を一目で認識することが可能になる。尚、環境内に存在する物品が多数であり、一画面内に全ての物品アイコンを表示することができないときにはスクロールバーを利用すればよい。また、これとは異なる他の方法としては、環境内に存在する物品を、食品、衣類といったカテゴリー毎に木構造で分類しておき、上位のカテゴリーから下位のカテゴリーに階層をたどることで、物品アイコンが表示されるようにしてもよい。
【０２９４】
また、物品アイコンは、例えば物品の名称順や、指定される頻度の高い順等に並べ替え可能にしてもよい。さらに、物品の内容に応じて、物品アイコンの表示の順序を自動的に設定するようにしてもよい。例えば、上述したように、カテゴリー毎に物品アイコンを表示するときに、そのカテゴリーが食品である場合は、そこに含まれる物品アイコンを賞味期限の早い順番で表示することをデフォルトで設定しておいてもよい。この場合でも、物品アイコンをその他の基準に従って並び替え可能にすることが好ましい。
【０２９５】
また、この物品アイコンは、センシング手段１２０ としてのカメラによって撮像した、物品の実際の画像によって構成してもよいし、その物品の付された電子タグにアイコンデータが記録されているときには、そのアイコンデータを利用してもよい。
【０２９６】
場所アイコン操作モードの操作画面に含まれる場所アイコンは、上述したように、環境内における物品の移動場所を表すものであり、例えば、物品が頻繁に移動され得る場所として予め指定しておけばよい。図２２に示す操作画面には、場所アイコンとして、ゴミ箱及びテーブルの各アイコンが含まれている。ここで、場所アイコンの一つであるゴミ箱アイコンは、環境内に存在する一般用ゴミ箱とリサイクル用ゴミ箱とを包括する包括アイコンとなっている。この包括アイコンとは、環境内に存在する複数の場所を包括して操作画面上に示すアイコンである。尚、図２２に示す操作画面に含まれる場所アイコンの一つであるテーブルアイコンは、包括アイコンではなく、環境内のテーブルそのものを示す場所アイコンである。
【０２９７】
場所アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと場所アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。このため、物品アイコンと場所アイコンとをそれぞれ指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の場所アイコン（包括アイコン）にドラッグアンドドロップ操作する。これにより、物品と、その物品の移動先が指定される。また、この場所アイコン操作モードにおける操作画面では、複数の物品アイコンを一度に所望の場所アイコンにドラッグアンドドロップ操作可能に構成されている。
【０２９８】
次に、場所アイコン操作モードの操作画面における、作業内容の指定手順について、図２３を参照しながら説明する。ここでは、空き缶と紙くずとをゴミ箱に移動させる（ゴミ箱に捨てる）作業を指定する場合を例に説明する。尚、同図に示す矢線は、カーソルの移動軌跡を示している。
【０２９９】
ロボット102 に移動させる物品は、カーソルをその物品アイコンの位置に移動させて、その物品アイコンをクリック操作することによって指定する。ここでは、カーソルを空き缶アイコンの位置に移動させ、その空き缶アイコンをクリック操作する（同図のＰ0001参照）。物品アイコンが指定されれば、そのことを明確にするために、その物品アイコンが強調表示される。これによりユーザは、どのアイコンが指定されたかを一目で認識可能になる。
【０３００】
ロボット102 に移動させる別の物品を指定するときには、カーソルをその別の物品アイコンの位置に移動させて、その物品アイコンをクリック操作する。ここでは、カーソルを紙くずアイコンの位置に移動させ、その紙くずアイコンをクリック操作する（同図のＰ0002参照）。このときも指定された物品アイコンが強調表示される。従って、ここでは、空き缶アイコンと紙くずアイコンとが、それぞれ強調表示される。尚、さらに別の物品を指定するときには、その物品アイコンをさらにクリック操作すればよい。
【０３０１】
こうして、ロボット102 に移動させる全ての物品アイコンを指定すれば、その指定した物品アイコンを、場所アイコンにドラッグアンドドロップ操作する。このドラッグアンドドロップ操作は、一度行えば指定した全ての物品が操作される。ここでは、空き缶アイコンと紙くずアイコンとを、ゴミ箱アイコンにドラッグアンドドロップ操作する（同図のＰ0003参照）。
【０３０２】
こうして、空き缶と紙くずとをゴミ箱（リサイクル用ゴミ箱又は一般用ゴミ箱）に移動させるという作業内容が指定されることになる。
【０３０３】
このようにしてロボット102 に実行させる作業内容が指定されれば、上述したように、操作端末103 から環境管理サーバ101 にその作業内容のメッセージが送信されると共に、上記サーバ101 から作業ロボット102 にロボット制御コマンド列が送信される。
【０３０４】
そして、上記作業ロボット102 の制御手段115 は、受信したロボット制御コマンドを、図１３に示すフローチャートに従って実行する。これにより、操作画面上で指定した物品が指定した場所に移動される。
【０３０５】
ここで、場所アイコン操作モードでは、物品の移動先が包括アイコン（上記の例ではゴミ箱アイコン）で指定される場合がある。このように移動先が包括アイコンで指定されたときには、作業ロボット102 の移動場所選択手段１３０ が、指定された物品の実際の移動先を選択する。
【０３０６】
上記作業ロボット102 の移動場所選択手段１３０ は、ユーザによって指定された物品の属性に応じて、包括アイコンに含まれる移動先の内から、実際の移動先を選択するものである。この移動場所選択手段１３０ には、移動場所選択知識が記憶されており、移動場所選択手段１３０ は、この移動場所選択知識に基づいて移動場所の選択を行う。この移動場所選択知識は、例えばif−thenルールを利用して記述することができる。具体的に、上記のリサイクル用ゴミ箱と一般用ゴミ箱とを包括するゴミ箱アイコンの例では、
if (移動場所==ゴミ箱){
if (把持物 == リサイクル品){
移動場所 = リサイクル用ゴミ箱;
}else{
移動場所 = 一般用ゴミ箱;
}
}
と記述することができる。これは、「もし移動場所がゴミ箱に指定されたとき、その移動対象の物品（把持手段112 が把持した物品）がリサイクル品であれば、上記移動場所のゴミ箱とはリサイクル用ゴミ箱であり、一方、移動対象の物品（把持手段112 が把持した物品）がリサイクル品でなければ、上記移動場所のゴミ箱とは一般用ゴミ箱である」、という意味である。尚、移動場所選択知識は、if−thenルールに限らず、その他の記述としてもよい。
【０３０７】
本システムでは、上述したように、作業ロボット102 の把持手段112 にリーダライタが取り付けられている。物品の属性（上記の例では、リサイクル品であるか否か）は、把持手段112 が物品を把持したときにその物品に取り付けられた電子タグの情報を読み取って判定する。
【０３０８】
図２３に示すように、空き缶と紙くずとをゴミ箱に移動させる作業が指定されたときには、作業ロボット102 は次のようにして指定された作業を実行する（図２４参照）。尚、上記空き缶には電子タグが付されている一方、紙くずには電子タグが付されていないものとする。
【０３０９】
すなわち、作業ロボット102 の把持手段112 が、指定された２つの物品の内、先ず空き缶２４を把持したとする。このときに、把持手段112 に取り付けられたリーダライタが空き缶２４に取り付けられた電子タグから情報を読み取る。その情報に基づいて、作業ロボット102 の制御手段115 はその空き缶２４がリサイクルゴミであることを認識する。こうして物品の属性が判別されれば、移動場所選択手段１３０ は移動場所選択知識に基づいて移動先を判断する。ここでは、空き缶２４がリサイクルゴミであるため、移動先としてリサイクル用ゴミ箱５３が選択される。移動先が選択されれば、そのリサイクル用ゴミ箱５３の位置まで、空き缶２４を把持した状態で上記ロボット102 が移動する（同図の番号「１」が付された矢線参照）と共に、その空き缶２４を解放することによって、空き缶２４をリサイクル用ゴミ箱５３に捨てる。
【０３１０】
次に、作業ロボット102 は指定されたもう一つの物品である紙くず２３の位置まで移動し（同図の番号「２」が付された矢線参照）、その紙くず２３を把持する。このときに、把持手段112 に取り付けられたリーダライタが物品に取り付けられた電子タグから情報を読み取るが、紙くず２３には電子タグが取り付けられていないため、情報が得られない。この場合、作業ロボット102 の制御手段115 はその紙くず２３が一般ゴミであると認識する。移動場所選択手段１３０ は移動場所選択知識に基づいて、紙くず２３の移動先を一般用ゴミ箱５４に選択する。こうして、上記ロボット102 は、一般用ゴミ箱５４の位置まで紙くず２３を把持した状態で移動し（同図の番号「３」が付された矢線参照）、そこで紙くず２３を解放する。こうして、その紙くず２３を一般用ゴミ箱５４に捨てる。
【０３１１】
尚、ここでは、把持手段102 にリーダライタを取り付けて、各物品に取り付けられた電子タグの情報からその物品の属性を判断するようにしたが、例えば物品データベースに蓄積されたデータに基づいて、物品の属性を判断するようにしてもよい。
【０３１２】
このように、場所アイコン操作モードでは、操作画面に、環境内に存在する物品に対応する物品アイコンと環境内の特定の場所を示す場所アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の場所アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。このため、誰もが容易に、ロボットの作業内容を指定することができる。
【０３１３】
また、場所アイコン操作モードでは、複数の物品アイコンを一度にドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、包括アイコンを指定するときには、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
【０３１４】
さらに、場所アイコン操作モードの操作画面には、包括アイコンが含まれるため、この包括アイコンを利用すれば、ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品の属性に適した移動場所に自動的に物品が移動される。特に上述したように、複数のゴミ（空き缶と紙くず）をゴミ箱に捨てるとき等、複数の物品の移動を行いたいときに包括アイコンを利用すれば、一度の操作だけで、各物品の属性を考慮しなくても、属性に応じた移動場所（上記の例ではリサイクル用ゴミ箱と一般用ゴミ箱）に各物品が移動される。こうして、作業内容の指定が、より一層容易になる。また、例えば一般ゴミをリサイクル用ゴミ箱に移動させたり、リサイクルゴミを一般用ゴミ箱に移動させたりする操作ミスがなくなる。
【０３１５】
このような包括アイコンは、上述したように、一般用ゴミ箱とリサイクル用ゴミ箱と包括するゴミ箱アイコンに限らず、その他の場合にも適用可能である。一例を挙げると、冷蔵室と野菜室と冷凍室とを含む冷蔵庫が環境内に設置されている場合において、その冷蔵室、野菜室及び冷凍室の３つの場所を包括する包括アイコンとして、冷蔵庫アイコンを操作画面に表示してもよい。つまり、食品を冷蔵庫に保存する際には、その食品の属性（種類）に応じて、冷蔵室、野菜室及び冷凍室を選択して保存するが、操作画面上に包括アイコンとしての冷蔵庫アイコンを含めておく。このことで、その冷蔵庫アイコンに物品アイコンがドラッグアンドドロップ操作されたときには、その物品アイコンに対応する物品の属性に応じて、移動場所選択手段１３０ は、その物品が冷凍食品であれば冷凍室を選択し、その物品が野菜であれば野菜室を選択し、その他であれば冷蔵室を選択する。こうして、ユーザが具体的に指定しなくても、物品に適した場所（室）にその物品が保存されることになる。
【０３１６】
尚、上記の場所アイコン操作モードでは、操作画面に包括アイコン（ゴミ箱アイコン）を含めていたが、例えば図２５に示す操作画面のように包括アイコンを用いずに、環境内の実際に場所（リサイクル用ゴミ箱と一般用ゴミ箱）に対応するリサイクル用ゴミ箱アイコンと一般用ゴミ箱アイコンとをそれぞれ、操作画面に含めてもよい。
【０３１７】
この操作画面で、ロボット102 に空き缶と紙くずとをゴミ箱に移動させる作業を指定する場合は、空き缶アイコンをリサイクル用ゴミ箱アイコンにドラッグアンドドロップ操作し、紙くずアイコンを一般用ゴミ箱アイコンにドラッグアンドドロップ操作すればよい（同図の矢印参照）。
【０３１８】
（作用アイコン操作モード）
作用アイコン操作モードは、物品に施す作用を指定するモードであり、これによりロボット102 は、その物品を、指定された作用に応じた移動先に移動する作業を実行する。物品に施す「作用」とは、例えば物品を「捨てる」ということであったり、物品を「片付ける」ということであったり、物品を「保存する」ということであったりする。そして「作用に応じた移動先」とは、具体的に例を挙げて説明すると、物品が「リサイクルゴミ」であり、それに対する作用が「捨てる」であるときには、作用に応じた移動先は「リサイクル用ゴミ箱」となる。また、物品が「食器」であり、それに対する作用が「片付ける」であるときには、作用に応じた移動先は「台所」となる。つまり、「作用に応じた移動先」は、その物品の属性に基づいて決定されることになる。
【０３１９】
図２６は、作用アイコン操作モードにおいて、操作端末103 の表示部117 に表示される操作画面の一例を示している。この操作画面には、物品アイコンと、物品に施す作用を表す作用アイコンとが含まれている。
【０３２０】
上記物品アイコンは、上記場所アイコン操作モードの操作画面（図２２参照）に表示される物品アイコンと同じである。図２６に示す操作画面には、物品アイコンとして、空き缶（kan_small_0001）、積み木（toy_small_0001）、グラス（glass_small_0001）、Ｔシャツ（tshirts_small_0001）、紙くず（trash_small_0001）の各アイコンが含まれている。
【０３２１】
作用アイコン操作モードの操作画面に含まれる作用アイコンは、物品に施す作用を表すものである。図２６に示す操作画面には、作用アイコンとして、「捨てる」アイコンと、「片づける」アイコンとが表示されている。
【０３２２】
この作用アイコン操作モードにおける操作画面で、物品の移動作業を指定するときには、物品アイコンと作用アイコンとをそれぞれ指定する操作を行う。この操作画面でも、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面内を移動させることが可能に構成されている。物品の移動作業を指定するときには、上記カーソルによって所望の物品アイコンを指定すると共に、その指定した物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作する。これにより、物品と、その物品に施す作用とが指定される。
【０３２３】
また、この作用アイコン操作モードにおける操作画面でも、複数の物品アイコンを一度に所望の作用アイコンにドラッグアンドドロップ操作可能に構成されている。これにより、ユーザによる作業内容の指定操作を簡便にしている。
【０３２４】
尚、図２６に示す矢線は、空き缶（kan_small_0001）、紙くず（trash_small_0001）を、「捨てる」アイコンに、積み木（toy_small_0001）、グラス（glass_small_0001）、Ｔシャツ（tshirts_small_0001）を「片づける」アイコンにそれぞれドラッグアンドドロップ操作するときの操作例を示している。
【０３２５】
このようにしてロボット102 に実行させる作業内容が指定されれば、上述したように、操作端末103 は環境管理サーバ101 にその作業内容のメッセージを送信するが、作用アイコン操作モードでは、メッセージを送信する前に、操作端末103 の作用／場所変換手段１３１ が、指定された物品の移動先を、指定された作用に応じて決定する。
【０３２６】
上記作用／場所変換手段１３１ には、例えば図２７に示すような、作用／場所変換テーブルが保存されており、作用／場所変換手段１３１ は、この作用／場所変換テーブルに基づいて、指定された物品の移動先を決定する。作用／場所変換テーブルは、作用アイコン名の列、物品属性の列、移動場所の列からなる。
【０３２７】
ここで、この作用／場所変換手段１３１ における処理を、図２６に示す操作画面上で指定されたように、積み木、グラス及びＴシャツを「片づける」と指定された場合を例に、説明する。
【０３２８】
操作画面上で、物品とそれに対する作用とが指定されれば、上記作用／場所変換手段１３１ は先ず、作用／場所変換テーブルにおける作用アイコン名の列から、指定された作用アイコンを選択する。尚、指定された作用アイコンがテーブルに存在しないときには、その旨をユーザに報知して処理を終了すればよい。ここでは、物品に対する作用として「片づける」が指定されたため、図２７に示す作用／場所変換テーブルの作用アイコン名の列から、「片づける」の行を選択する。「片づける」は、作用アイコン名の列の上から２行目である。
【０３２９】
次に、指定された物品アイコンに対応する物品の属性を特定し（例えば、物品データベースに蓄積されている情報に基づいて特定すればよい）、作用／場所変換テーブルにおける物品属性の列から、その物品の属性と一致する属性、又はその物品の属性を含む属性（上位概念属性）を選択する。この「物品の属性を含む上位概念属性」とは、具体例を挙げて説明すると、物品の属性が「グラス」のときには、その属性は上位概念属性である「食器」に含まれる、という意味である。こうした上位概念属性と、物品の属性との関係は、例えば、木構造（階層構造）等で構成して、作用／場所変換手段１３１ に予め記憶しておけばよい。尚、作用／場所変換テーブルにおける物品属性の列に、「＊」と記されているものは、物品の属性を問わない（どんな物品でも良い）ことを示す。ここで指定された物品は「グラス」であるため、物品属性の列から、その「グラス」の上位概念属性である「食器」の行を選択する。
【０３３０】
こうして、作用アイコンと物品属性とが決定されることにより、作用／場所変換テーブルにおける場所の列で、その物品の移動場所が決定されることになる。尚、この場所の列において、「−」と記されているものは、移動場所が決定できない（適当な場所が無い）ことを意味する。この場合は、その旨をユーザに報知して処理を終了すればよい。ここで、場所の列における「食器」の行に対応する行を参照すると「台所」であるため、「食器」の移動先は「台所」に決定される。
【０３３１】
また、指定された別の物品「積み木」を含む上位概念属性は、「玩具」であるため、場所の列において「玩具」の行に対応する行は「押入」であり、「玩具」の移動先は「押入」に決定される。さらに、指定された別の物品「Ｔシャツ」の上位概念属性は「衣類」であるため、場所の列において、その「衣類」の行に対応する行は「洗濯かご」であり、「Ｔシャツ」の移動先は「洗濯かご」に決定される。
【０３３２】
図２７に示す作用／場所変換テーブルは、比較的簡単な構成のものであるが、作用／場所変換テーブルには、例えば図２８に示すように、さらに複雑な条件分岐を入れてもよい。この図２８に示す作用／場所変換テーブルでは「片付ける」という作用を「衣類」に施す場合に、その衣類の移動場所が２つ存在し、その衣類の条件に応じて、移動場所が決定されるように構成されている。具体的には、その衣類が使用後であるときには、物品属性の列において「衣類（使用後）」の行が選択され、それによって、その使用後の衣類の移動場所が「洗濯かご」に決定される。一方、その衣類が使用後でないときには、物品属性の列において「衣類（＊）」の行が選択され（尚、「＊」は衣類に設定されたいずれの条件にも適合しないことを示す）、それによって、その衣類の移動場所が「洋服タンス」に決定される。尚、物品の条件（上記の例では、使用後の衣類であるという条件）は、物品データベースに蓄積されているその物品の物品履歴データを参照することによって判断可能である。
【０３３３】
このようにして作用／場所変換手段１３１ が、指定された物品の移動先を、指定された作用に応じて決定すれば、操作端末103 からサーバ101 に作業内容のメッセージが送信されると共に、上記サーバ101 から作業ロボット102 にロボット制御コマンド列が送信される。
【０３３４】
そして、上記作業ロボット102 の制御手段115 は、受信したロボット制御コマンドを、図１３に示すフローチャートに従って実行することになる。
【０３３５】
このように、作用アイコン操作モードでは、操作画面に物品アイコンと作用アイコンとが含まれ、ユーザは、所望の物品アイコンを、所望の作用アイコンにドラッグアンドドロップ操作することによって、ロボットに実行させる作業内容を指定することができる。ユーザは、指定した物品の具体的な移動場所を指定しなくても、その物品に施す作用を指定するだけでよい。こうすることで、物品の属性と作用とに基づいて、最適な移動場所に自動的に物品が移動されため、誰もが容易に、ロボットの作業内容を指定することができる。
【０３３６】
また、作用アイコン操作モードでも、複数の物品アイコンを一括してドラッグアンドドロップ操作することができるため、例えば、多数の物品の移動を行いたいとき等に、その作業の指定を容易に行うことができる。特に、作用アイコン操作モードでは、各物品の属性に応じて移動先が設定されるため、複数の物品アイコンの一括操作が効果的である。
【０３３７】
ところで、作用アイコン操作モードでは、物品とそれに対する作用との関係で、適切な移動場所が存在せず、ユーザが指定した作業内容を実行することができない場合も生じ得る。そこで、作用アイコン操作モードでは、その操作画面を次のように構成してもよい。
【０３３８】
すなわち、操作端末103 の表示部117 に表示する操作画面には、先ず、物品アイコンのみを表示し、作用アイコンは表示しない。そして、物品アイコンがユーザの操作により指定されたときに、作用／場所変換手段１３１ が、作用／場所変換テーブルを参照することにより、その指定された物品アイコン（物品）に対してロボットが行い得る作用を選択し、その選択した作用アイコンを操作画面に表示する。ユーザは、操作画面に表示された作用アイコンに、指定した物品アイコンをドラッグアンドドロップ操作することにより、作業内容の指定を行う。
【０３３９】
またこれとは異なり、操作端末103 の表示部117 に表示する操作画面には、物品アイコンと作用アイコンとの双方を表示する一方で、物品アイコンがユーザの操作により指定されたときに、その指定された物品に対してロボット102 が行い得る作用を表す作用アイコンのみを、操作画面に表示し、ロボット102 が行い得ない作用を表す作用アイコンは、操作画面に表示しないようにしてもよい。また、ロボット102 が実行し得ない作用を表す作用アイコンを、操作画面上で薄暗く表示することで、その作用が選択不可能であることをユーザに報知してもよい。その作用アイコンが選択不可能であることをユーザが認識可能であれば、どのような表示形態であってもよい。ユーザが、ロボット102 が実行し得ない作用を表す作用アイコンに、物品アイコンをドラッグアンドドロップ操作したときには、「操作不可能」等のメッセージを操作画面上に表示してもよい。例えば物品データベースに、各物品について、ロボット102 が施すことの可能な作用を予め蓄積しておくことで、作用アイコンの表示・非表示を行うことが可能になる。
【０３４０】
このようにして、ユーザが指定した作業内容をロボット102 が実行できないということを、未然に防止することができる。
【０３４１】
そして、本システムでは、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有することで、指定する作業内容に応じて、操作モードを使い分けることができ、物品移動システムの利便性が高まる。
【０３４２】
尚、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードは、ユーザの要求に応じて切り替えるとしたが、これら３つの操作モードは選択的に実行しなくてもよい。例えば、仮想空間操作モードで表示される操作画面と、場所アイコン操作モードで表示される操作画面又は作用アイコン操作モードで表示される操作画面とを、操作端末103 の表示部117 に並べて表示してもよい。また、場所アイコン操作モードで表示される操作画面と作用アイコン操作モードで表示される操作画面とを、操作端末103 の表示部117 に並べて表示してもよい。
【０３４３】
尚、本実施形態では、操作端末103 の表示制御手段118 が、操作画面を作成するとしたが、こうした操作画面は、環境管理サーバ101 が作成してもよい。この場合、サーバ101 が作成した操作画面は、ネットワークを介して操作端末103 に送信し、操作端末103 は、受信した操作画面を表示部117 に表示すればよい。また、入力部116 の操作によって、操作モードの切り替え操作がされたときには、操作端末103 からサーバ101 に、モード切り替え要求信号を送信し、それに応じて上記サーバ101 が指定された操作モード用の操作画面を作成し、これを操作端末103 に送信するようにすればよい。
【０３４４】
以上説明したように、本発明による物品移動システムは、所定の生活空間（環境）内に存在する物品の移動作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備え、上記表示部117 に操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上で、上記ロボット102 に行わせる作業内容を指定させ、上記操作画面上で指定された作業内容に基づいて、上記ロボット102 が上記生活空間内で、物品を移動させる移動作業を実行するものである。そして、上記システムは、上記操作手段における操作モードとして、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示する場所アイコン操作モードを有するものである。
【０３４５】
一般家庭等の生活空間では、物品の配置も定まっておらず、その移動先の一定ではない。本発明では、その複雑な生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとが操作画面に含まれる。ユーザが所望の物品アイコンと場所アイコンとを指定することだけで、ロボット102 が指定された物品を指定された場所に移動させる。このため、複雑な状況下の生活空間において、誰もが容易に、ロボット102 の作業内容を指定可能になる。
【０３４６】
本発明では、操作画面は、生活空間内の複数の場所を包括して示す包括アイコンを含むものであり、上記操作画面上で物品アイコンと上記包括アイコンとの指定操作がされたときには、上記包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択し、ロボット102 は、上記生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
【０３４７】
生活空間内にリサイクルゴミ用のリサイクル用ゴミ箱と、一般ゴミ用の一般用ゴミ箱との２つのゴミ箱（場所）が存在したときに、操作画面に場所アイコンのみ（リサイクル用ゴミ箱のアイコンと、一般用ゴミ箱のアイコンと）が含まれるときには、例えば、生活空間内のゴミをゴミ箱に捨てる作業をロボット102 に実行させるときに、ユーザは、そのゴミが、リサイクルゴミであるか一般ゴミであるかを判別した上で、リサイクル用ゴミ箱のアイコンか、一般用ゴミ箱のアイコンかのいずれか一方を指定する操作をしなければならない。
【０３４８】
これに対し、これら２つのゴミ箱を包括する包括アイコンとして、ゴミ箱アイコンを操作画面に含める。そして、操作画面上で物品アイコンと、そのゴミ箱アイコンとが指定操作されたときには、その物品の属性に応じて、リサイクルゴミの物品アイコンが操作されたときには、リサイクル用ゴミ箱を選択し、一般ゴミの物品アイコンが操作されたときには、一般用ゴミ箱を選択する。
【０３４９】
こうして、包括アイコンで包括される生活空間内の複数の場所の内から、指定された物品の属性に応じた場所を選択すれば、ロボット102 は、生活空間内で、指定された物品を、上記選択した場所に移動する作業を実行する。
【０３５０】
このように包括アイコンを操作画面に含めることで、ユーザは、ゴミの属性を考慮しなくても、「ゴミをゴミ箱に捨てる（移動させる）」という作業内容を、操作画面上で指定するだけで、ロボット102 が、指定されたゴミを、その属性に応じたゴミ箱に捨てる作業を実行する。このように包括アイコンを用いることで、ユーザによる作業内容の指定が、より一層容易になる。
【０３５１】
本発明による物品移動システムは、操作手段における操作モードとして、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示部117 に表示する仮想空間操作モードをさらに有する。
【０３５２】
このように、操作画面を生活空間の実状況に則した仮想空間によって構成することにより、一般家庭等の生活空間の実状況は、工場や倉庫の状況よりも複雑であるが、その複雑な状況がそのまま操作画面として表示される。例えば、生活空間内では物品の配置は定まっていないが、その生活空間内の物品の配置に対応して、仮想空間内にも物品アイコンが配置される。このことにより、生活空間内で様々な位置に置かれる物品の中から、ロボット102 に移動させる物品を容易に指定することが可能になる。そして、ロボット102 の作業内容をこの仮想空間内で指定することで、複雑な状況下の生活空間内におけるロボット102 の作業内容を、容易に指定可能になる。
【０３５３】
そして、場所アイコン操作モードと、仮想空間操作モードとの２つの操作モードを有することで、ロボット102 に実行させる作業内容に応じて操作モードを使い分け可能になる。その結果、簡単な操作でロボット102 に所望の作業を確実に実行させることが可能になる。
【０３５４】
本発明による物品移動システムは、上記操作手段における操作モードとして、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示部117 に表示する作用アイコン操作モードをさらに有する。すなわち、作用アイコン操作モードの操作画面には、場所アイコン操作モードの操作画面に含まれる場所アイコンに代わって、物品に施す作用を示す作用アイコンが含まれる。
【０３５５】
そして、この作用アイコン操作モードでは、操作画面上で物品アイコンと作用アイコンとをそれぞれ指定する操作がされることによって、ロボット102 に扱わせる物品と、その物品に施す作用との指定が行われ、物品と、その物品に施す作用との指定が行われれば、指定された物品の属性と、指定された作用とに応じて、生活空間内の場所を選択する。従って、作用アイコン操作モードでは、例えば、指定された物品が「積み木（玩具）」であり、指定された作用が「片付ける」であったときには、「押入れ」がその移動場所として選択される。また、指定された物品が「グラス（食器）」及び「Ｔシャツ（衣類）」であり、指定された作用が「片付ける」であったときには、「グラス」については「台所」がその移動場所として選択され、「Ｔシャツ」については「洗濯かご」がその移動場所として選択される。さらに、指定された物品が「空き缶（リサイクルゴミ）」であり、指定された作用が「捨てる」であったときには、「リサイクル用ゴミ箱」がその移動場所として選択される。
【０３５６】
こうして移動場所が選択されれば、ロボット102 は、指定された物品を、上記選択した場所に移動する作業を実行する。
【０３５７】
このように、作用アイコン操作モードでは、操作画面上で、物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボット102 によって選択された移動場所に移動される。このため、ユーザは具体的な移動場所を指定する必要がない。その結果、ユーザによる作業内容の指定が、極めて容易になる。
【０３５８】
そして、場所アイコン操作モードと作用アイコン操作モードとの２つの操作モード、又は場所アイコン操作モードと作用アイコン操作モードと仮想空間操作モードとの３つの操作モードを有することで、ロボット102 に実行させる作業内容に応じた操作モードの使い分けが可能になる。
【０３５９】
また本発明による物品移動システムは、操作画面上で物品アイコンを、他のアイコン（場所アイコン又は作用アイコン）にドラッグアンドドロップ操作することによって、ロボット102 に移動させる物品と、その物品の移動場所又はその物品に施す作用との指定が行われる。このように、物品アイコンのドラッグアンドドロップ操作という、直感的な操作によって、操作画面上でロボット102 の作業内容の指定がなされる。これにより、ロボット102 の作業内容の指定がより一層容易になる。
【０３６０】
さらに仮想空間操作モードを、所望の物品アイコンを仮想空間内の所望の場所にドラッグアンドドロップ操作することによって、ロボット102 に移動させる物品と、その物品の移動場所との指定を行うモードとすることにより、物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作するという、直感的な操作によって物品の移動作業が指定可能になる。このため、ロボット102 に実行させる作業内容を極めて容易に指定可能になる。さらに、場所アイコン操作モードとは異なり、仮想空間操作モードでは、物品を移動させる移動場所の指定を仮想空間内で行うことになるため、移動場所を自由に指定可能になる。
【０３６１】
本発明による物品移動システムでは、場所アイコン操作モードや、作用アイコン操作モードの操作画面は、複数の物品アイコンを一括してドラッグアンドドロップ操作可能に構成される。そして、複数の物品アイコンを、一括して場所アイコンにドラッグアンドドロップ操作したときには、各物品がその場所アイコンで示される場所に移動される。また、複数の物品アイコンを、一括して包括アイコンにドラッグアンドドロップ操作したときには、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。さらに、複数の物品アイコンを、一括して作用アイコンにドラッグアンドドロップ操作したときにも、各物品の属性に応じた場所が選択され、各物品に適した移動場所に移動される。こうして、複数の物品アイコンを一括してドラッグアンドドロップ操作可能にすることにより、ユーザによる作業内容の指定がより簡便化される。
【０３６２】
本発明による他の物品移動システムは、所定の生活空間内に存在する物品の移動作業を行うロボット102 と、操作画面を表示する表示部117 及びユーザが操作をする入力部116 を有する操作手段（操作端末103 ）とを備えるものである。そして、上記物品移動システムは、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に扱わせる物品とその物品に施す作用とを指定させ、上記操作画面上で指定された物品の属性と、指定された作用とに応じて、上記生活空間内の場所を選択し、上記ロボット102 が上記生活空間内で、指定された物品を、上記選択した場所に移動させる移動作業を実行するものである。
【０３６３】
この構成によると、上述したように、ユーザは、操作画面上で、物品とその物品に対する作用を指定することだけで、その物品に適した移動場所が選択され、その物品は、ロボット102 によって選択された移動場所に移動される。このように、ユーザは具体的な移動場所を指定する必要がないため、ユーザによる作業内容の指定が容易になる。
【０３６４】
本発明による物品移動システムは、生活空間内に存在する物品を検出するセンシング手段１２０ をさらに備え、操作画面には、上記センシング手段１２０ により検出された物品に対応する物品アイコンを含めるものである。
【０３６５】
本発明によるロボット操作装置（操作端末103 ）は、所定の生活空間内に存在する物品の移動作業を行うロボット102 の作業内容を指定するための装置であり、上記ロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、上記生活空間内の特定の場所を示す場所アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる場所アイコン操作モードを有するものである。
【０３６６】
これにより、上述したように、ロボット102 の作業内容の指定は、操作画面上で、物品アイコンと場所アイコンとを指定することによって行われるため、誰もが容易に、ロボット102 の作業内容を指定可能になる。
【０３６７】
また、本発明によるロボット操作装置は、その表示部117 に、生活空間の実状況に則した仮想空間からなり、上記生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンを有する操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記仮想空間内でロボット102 に行わせる作業内容を指定させる仮想空間操作モードをさらに有する。
【０３６８】
さらに、本発明によるロボット操作装置は、その表示部117 に、生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる作用アイコン操作モードをさらに有する。
【０３６９】
本発明による他のロボット操作装置は、操作画面を表示する表示部117 と、ユーザが操作をする入力部116 とを備え、上記表示部117 に、上記生活空間内に存在する物品を示す物品アイコンと、その物品に施す作用を示す作用アイコンとを含む操作画面を表示し、ユーザに上記入力部116 を操作させることによって、上記操作画面上でロボット102 に行わせる作業内容を指定させる作用アイコン操作モードを有するものである。
【０３７０】
この構成により、上述したように、ロボット102 の作業内容の指定は、操作画面上で、物品とその物品に対する作用を指定することだけでよいため、ロボット102 の作業内容が容易に指定可能になる。
【０３７１】
−他の実施形態−
尚、本実施形態では、環境管理サーバ101 が操作端末103 からの作業内容メッセージに応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしたが、例えば、操作端末103 が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット102 に送信するようにしてもよい。
【０３７２】
また、本実施形態では、物品移動システムを、環境管理サーバ101 、ロボット102 、操作端末103 の３つのサブシステムからなり、それらサブシステム101 〜103 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品移動システムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。
【０３７３】
またロボット102 も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０３７４】
さらに、本システムでは、移動場所選択手段１３０ を２番目のサブシステムである作業ロボット102 に設けたが、この移動場所選択手段１３０ は、１番目のサブシステムである環境管理サーバ101 に設けてもよいし、３番目のサブシステムである操作端末103 に設けてもよい。
【０３７５】
また、作用／場所変換手段１３１ を操作端末103 に設けたが、この作用／場所変換手段１３１ は、環境管理サーバ101 に設けてもよいし、作業ロボット102 に設けてもよい。
【０３７６】
さらに、本システムでは、操作モードとして、仮想空間操作モード、場所アイコン操作モード、及び作用アイコン操作モードの３つの操作モードを有しているが、例えば、これら３つの操作モードの内のいずれか２つの操作モードだけを有していてもよいし、場所アイコン操作モード及び作用アイコン操作モードのいずれか一方のみを有していてもよい。
【０３７７】
−発明の効果−
以上説明したように、本発明による生活空間用の物品移動システム、及びロボット操作装置では、場所アイコン操作モードにおいては操作端末（ロボット操作装置）の表示部に、生活空間内に存在する物品に対応する物品アイコンと、生活空間内の特定の場所を示す場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、ロボットに移動させる物品と、その移動先とを指定することができる。このため、誰もが容易に、作業内容の指定をすることができる。また、操作画面に包括アイコンを含めることで、ユーザは、具体的な移動先を指定しなくても、物品の属性に適した移動先に、所望の物品を移動させることができる。
【０３７８】
また、仮想空間操作モードでは、生活空間の実状況に則した仮想空間からなる操作画面が操作端末の表示部に表示され、生活空間内に存在する物品に対応して仮想空間内に配置される物品アイコンと、仮想空間内の場所とを指定操作するという、直感的な操作によって、物品とその移動先とを指定することができる。また、仮想空間操作モードでは、物品の移動先を仮想空間内で自由に指定することができる。
【０３７９】
作用アイコン操作モードでは、操作端末（ロボット操作装置）の表示部に、物品アイコンと場所アイコンとを含む操作画面が表示され、ユーザはこの操作画面上のアイコン操作によって、物品と、その物品に施す作用とを指定することができる。そして、指定された作用と、物品の属性とに応じて、その物品が所定の移動先に移動される。これにより、ユーザは作業内容の指定を極めて容易に行うことができる。
【０３８０】
そして、これら複数の操作モードを有することにより、ロボットに実行させる作業内容に応じて操作モードを使い分けることができ、物品移動システムの利便性を向上させることができる。
【０３８１】
（第４の実施形態）
ここでの本発明は、その目的とするところは、家庭やオフィス等の居住空間内において作業ロボットに物品の移動作業を行わせる際に、移動対象物品を指定された位置に適切な状態で設置することにある。
【０３８２】
本発明に係る物品管理システムは、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものである。
【０３８３】
上記物品管理システムによれば、移動対象物品は設置位置付近の他の物品の状況に応じた姿勢で設置されることになり、物品を整理する場合や、場所を効率的に使用するなど、適切な状態に設置される。
【０３８４】
また、本発明に係る物品管理システムは、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものである。
【０３８５】
上記物品管理システムによれば、移動対象物品は設置位置付近の状況に応じた姿勢で設置されることになり、適切な状態に設置される。
【０３８６】
また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。
【０３８７】
上記物品管理システムによれば、指定された設置位置が他の物品に占有されている場合等において、移動対象物品を無理に他の物品と重ねて設置することが防止され、移動対象物品は適切な状態に設置される。したがって、あいまいな指示が出された場合であっても、移動対象物品を適切な状態に設置することができる。
【０３８８】
また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。
【０３８９】
上記物品管理システムによれば、移動対象物品を他の物品の上に積載できる場合には、そのように積載することにより、移動対象物品を適切な状態に設置することができる。
【０３９０】
また、本発明に係る物品管理システムは、前記データベースと、前記物品操作手段と、前記作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものである。
【０３９１】
上記物品管理システムによれば、設置位置として移動対象物品が設置できないような位置が指定された場合であっても、移動対象物品を指定位置付近の設置可能な位置に設置することができる。したがって、あいまいな指示が出された場合であっても、移動対象物品を適切な状態に設置することができる。
【０３９２】
なお、前記物品管理システムにおいて、作業ロボットの保持手段とは、物品を保持するものであればよく、具体的な保持方法は何ら限定されるものではない。保持手段として、例えば、物品を把持する手段、支持する手段、吸引保持する手段、磁力又は電気力を利用して保持する手段等、種々の手段を用いることができる。
【０３９３】
また、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間を言う。
【０３９４】
すなわち、ここでの態様１では、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の他の物品の情報に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置するものを提供する。
【０３９５】
態様２では、態様１において、前記データベースは、物品の種類及び形状の少なくとも一方の情報と、物品の位置及び姿勢の情報とを有し、前記設置姿勢決定手段は、前記移動対象物品と種類及び形状の少なくとも一方が同一又は類似する同一類似物品が前記設置位置付近に存在するか否かを判断し、存在する場合には前記移動対象物品の設置姿勢を前記同一類似物品の姿勢に合わせる。
【０３９６】
態様３では、態様２において、前記設置姿勢決定手段は、移動先に指定された設置位置がゴミ箱内である場合には、前記移動対象物品の設置姿勢を前記ゴミ箱内の他の物品の姿勢に合わせないように決定する。
【０３９７】
態様４では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、前記作業ロボットによる前記移動対象物品の設置時の姿勢を前記設置位置付近の状況に応じて決定する設置姿勢決定手段とを備え、前記移動対象物品を前記設置姿勢決定手段により定めた姿勢で前記設置位置に設置する。
【０３９８】
態様５では、態様４において、前記設置姿勢決定手段は、前記設置位置の設置スペースが限られているときには、前記移動対象物品の姿勢を前記移動対象物品が前記設置スペースに収まるように決定する。
【０３９９】
態様６では、態様４において、前記設置姿勢決定手段は、前記移動対象物品の設置姿勢を前記移動対象物品が前記設置位置において安定する姿勢に決定する。
【０４００】
態様７では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれていない場合には前記設置位置を変更しない一方、他の物品が置かれている場合には、前記設置位置付近において前記移動対象物品が他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。
【０４０１】
態様８では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に既に他の物品が置かれているか否かを判断し、他の物品が置かれているときには前記他の物品の上に前記移動対象物品を積載できるか否かを更に判断し、積載できる場合には前記設置位置を変更しない一方、積載できない場合には、前記設置位置付近において前記移動対象物品が前記他の物品と重ならない位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。
【０４０２】
態様９では、居住空間内に存在する物品を管理するシステムであって、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベースの情報に基づいて、指定された設置位置に前記移動対象物品が設置できるか否かを判断し、設置できる場合には前記設置位置を変更しない一方、設置できない場合には前記設置位置付近における設置可能な位置に設置位置を変更する設置位置決定手段とを備え、前記移動対象物品を前記設置位置決定手段により決定された設置位置に設置するものを提供する。
【０４０３】
本発明の第４の実施形態は、居住空間内に存在する物品を管理する物品管理システムに関するものである。ここで、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間をいう。
【０４０４】
図２９は本実施形態に係る物品管理システム１００の全体構成の例を示したブロック図である。図２９では、図２と共通の構成要素には、図２と同一の符号を付しており、ここではその詳細な説明を省略する。
【０４０５】
物品移動体データベース１０６及び環境マップ１０８は、本発明でいうところの「データベース」を構成している。また、本実施形態における環境とは、いわゆる居住空間を意味する。
【０４０６】
また、マップ情報は、部屋や家具など、通常ほとんど移動しない物体（不動物体）の構造情報から成る。構造情報とは、少なくとも不動物体が占める空間内部及びその上部に存在する、他の物体を設置可能な面（例えば、部屋であれば床、収納であれば棚）の領域情報（例えば、その面の外接多角形の頂点）を言う。領域情報は、座標系表示、座標系と形状とによる表示などにより表される。
【０４０７】
図３０は本実施形態に係る物品移動体検索・管理手段１０５の基本構成を概念的に示すブロック図である。図３０の物品移動体検索・管理手段１０５は、前記物品移動体データベース１０６に登録されている物品が移動体によって操作されていることを検出する物品操作者検出手段４０１と、物品操作者検出手段４０１により検出された、操作物品を操作している移動体の情報を取得する移動体情報取得手段４０２とを備えている。
【０４０８】
物品操作者検出手段４０１は、センシング手段１２０を利用することにより、物品が移動体によって操作されていることを検出する。例えば、前述のようにセンシング手段１２０が背景差分法を利用している場合には、入力画像とモデル画像とを比較し、経時的に差のある部分が生じたときに、その領域で物品が操作されていると推定する。もちろん、物品操作者検出手段４０１による検出方法は上記方法に限ったものではなく、例えば電子タグを使ってもかまわない。
【０４０９】
移動体情報取得手段４０２は、物品が移動体によって操作されていることを物品操作者検出手段４０１が検出したときに、その物品を操作している移動体の情報を取得する。例えば、前述のようにセンシング手段１２０としてカメラを利用している場合、操作の行われた領域の画像をカメラで取得し、その画像に対して顔認証処理を行なう。こうして同定された移動体は、物品が操作された際にその近傍にいたと考えられるので、この移動体を操作者と推定する。もちろん、背景差分法では通常、広域を撮影するカメラを利用するため、顔認証を行なうには解像度が足りない場合もある。そこで、背景差分法のためのカメラとは別に顔認証用に狭角の高分解能カメラを設置し、物品操作者検出手段４０１によって物品の操作が検出された領域に上記狭角カメラを向けて、認証を行なうようにしてもよい。もちろん、移動体の同定を行なう方法は顔認証に限ったものではなく、虹彩認証などであっても構わない。また、認証まで行なわず、操作が行なわれている領域の画像をカメラで撮影し、その画像を他の手段で利用するようにしてもよい。これらの画像を、認証がうまくいかなかったときにのみ利用するようにしてもよい。
【０４１０】
センシング手段１２０として電子タグを用いる場合には、図５のように、タグリーダライタを適宜配置することにより、物品及び移動体の情報を収集することができる。また、特定の場所での物品の操作を管理する場合、タグリーダライタを特定の場所に配置することにより、物品情報と移動体情報とを取得することが望ましい。
【０４１１】
このようなタグリーダライタを利用する場合、物品と一緒にドアや窓を通過した移動体の情報を、その物品の持出者として物品移動体データベース１０６に蓄積していくことが望ましい。このことにより、物品の持出者の管理を自動的に簡単な処理で行うことができる。
【０４１２】
＜物品移動体データベース＞
図３１は物品移動体データベース１０６の構成とデータの記載内容例を示した概念図である。物品移動体データベース１０６は、大別すると、物品を扱うデータベース（図３１（ａ）参照）と移動体を扱うデータベース（図３１（ｂ）参照）とからなる。
【０４１３】
物品を扱うデータベースは、各々種類の異なるデータを蓄積する３種類のサブデータベース、すなわち物品データ３０１と物品履歴データ３０２と物品属性データ３０３とをそれぞれ蓄積するデータベースからなり、それぞれのデータ内容は下記の通りである。
【０４１４】
物品データ３０１は、個々の物品を区別するためのＩＤと、当該物品の操作履歴である物品履歴データ３０２へのポインタと、その物品の物的属性が記載された物品属性データ３０３へのポインタとから構成される。種類の同じ物品であっても物理的に別の存在であれば、それらを別の物品として扱う必要がある。そのため、同種の物品であっても、異なるＩＤが割り当てられる。一方、種類の同じ物品はＩＤが異なるが、同じ物的属性を持つ。そのため、同種物品であれば同じ物品属性データ３０３へのポインタを指し示すようにし、データベースの容量を無駄に使わないようにしている。
【０４１５】
物品履歴データ３０２は、当該物品の操作履歴を格納するものであり、操作が行われた時刻、操作内容、操作者、及び操作後の位置の４項目からなる。位置のデータについては様々な表し方があるが、本例では６つのパラメータで位置を表すこととする。最初の３つのパラメータ（ｘ１，ｙ１，ｚ１）は、物品の位置（例えば物品の重心位置等を代表位置として用いることができる）を表し、後の３つのパラメータ（α１，β１，γ１）は物品の姿勢を表している。なお、物品の姿勢の表し方については後述する。これら、位置及び姿勢のデータは、前記センシング手段１２０又は後述するロボットのセンサ１１１（図２９参照）によって取得される。なお、操作者は、後述する移動体データとして登録された移動体のいずれかから、前述したような推論によって選ばれる。
【０４１６】
物品属性データ３０３は、当該物品の持つ固有の物理属性情報を蓄えるものであり、図３１（ａ）では形状、重さ、外観の画像等が一例として挙げられている。これらの属性データは、事前に人手を介してそれぞれの属性に適した計測方法で取得され、登録されている。
【０４１７】
次に、図３２を参照しながら、物品の形状データ及び姿勢データについて説明する。
【０４１８】
まず、物品の形状データについて説明する。図３２（ａ）は本来の物品（例えば飲み物の缶）の形状（円筒）を示している。このような物品に対し、ステレオ視による三次元計測技術等を用いることにより、図３２（ｂ）のように物品の表面を複数の面で近似したポリゴンデータを得ることができる。各面は適当に定めた物品座標（図中のＸ’、Ｙ’、Ｚ’）上での頂点の座標の集合として記述される。
【０４１９】
次に、物品の姿勢データについて説明する。図３２（ｃ）は、この物品が実世界に置かれている状況を示している。なお、座標Ｘ−Ｙ−Ｚは実世界の座標を示し、座標Ｘ’−Ｙ’−Ｚ’は物品を基準とした座標（物品座標）を示している。実世界に置かれた物品の形状は、前述したように、環境管理サーバ１０１のセンシング手段１２０又は作業ロボット１０２のセンサ１１１を２つのカメラで構成し、ステレオ視による三次元計測を行うこと等により得ることができる。そして、前記物品の形状データ（ポリゴンモデル）とのマッチングを取ることにより、物品が実世界上でどのように３次元的に回転させられているかを知ることができ、そのマッチングに基づいて物品の姿勢データを得ることができる。
【０４２０】
具体的には、物品の形状データ（ポリゴンモデル）と実世界上での形状データとのマッチングを行った後に、物品の形状データに付随する前記物品座標が実世界上でどのように３次元的に回転しているかを求める。そのために、まず、Ｘ’軸がＸ軸に対して水平方向に角度αだけ回転し、上下方向に角度βだけ回転していると仮定し、それら角度α及びβの値を求める。図３３（ａ）は、Ｘ’軸を水平方向に−αだけ回転し、上下方向に−βだけ回転した図である。次に、図３３（ｂ）に示すように、Ｚ’軸がＺ軸に対して角度γだけ回転しているとし、その角度γの値を求める。このようにして、物品が実世界に置かれている時の姿勢データを、変数（α、β、γ）を用いて特定することができる。
【０４２１】
なお、このような姿勢データは、ロボット１０２により把持物品を設置する際、設置位置の状況と物品の把持姿勢とが合致しないときに、当該物品を適正な姿勢に変更する等の目的で使用される。例えば、後述する図３７のように、把持した本５０を本棚５５に収納する際、本５０を上下方向に立てた姿勢（姿勢２）では本の高さが本棚５５の収納高さよりも高くなるような場合に、把持姿勢を上記姿勢２から本棚に収まる姿勢（前後方向に立てた姿勢３）へと変更する。上記姿勢データは、このような場合などに用いられる。
【０４２２】
次に、移動体を扱うデータベース（図３１（ｂ）参照）について説明する。移動体を扱うデータベースは、それぞれ移動体データ３０４、移動体履歴データ３０５、及び移動体属性データ（図示せず）の３種類のデータを蓄積するサブデータベースからなり、それぞれのデータ内容は下記の通りである。
【０４２３】
移動体データ３０４は、個々の移動体を区別するためのＩＤと、当該移動体の移動履歴を格納した移動体履歴データ３０５へのポインタとから構成される。
【０４２４】
移動体履歴データ３０５は、時刻と、当該時刻における移動体の位置と、当該時刻における移動体の状態とから構成される。なお、移動体の位置は、平面上における座標（Ｘ、Ｙ）と、向きｒの３値によって表される。
【０４２５】
図示は省略するが、移動体属性データは、当該移動体の持つ固有の物理属性情報を蓄えるものであり、重さ、形状等がその一例として挙げられる。
【０４２６】
なお、移動体履歴データ３０５において、移動体の状態とは、移動体が人物であれば「座る」、「立つ」、「寝る」、「歩く」などの一般的な人間の動作を表し、移動体がロボットであれば「把持」、「解放」など、ロボットが物品に対して行うことのできる操作を表す。これらは、あらかじめ移動体毎に可能な状態を決めておき、それらのうちのどれかを選択するようにすればよい。なお、移動体がロボットの場合には、操作内容だけでなく、操作対象物品ＩＤと操作内容とを組にして表すこととする。
【０４２７】
後述するように、本物品管理システム１００の機能の一つとして、ロボット１０２が把持物品を目的の位置に設置する際、その物品の姿勢を設置位置の状況等に応じて変更する機能がある。例えば、設置位置付近に既に他の物品が置かれている場合に、把持物品を他の物品と並べて設置する機能等である。このような機能を発揮するためには、物品の情報として、物品がどの場所にどのような姿勢で置かれているかを逐次記録し、データベースに蓄えておく必要がある。しかし、そのためには、必ずしも過去にさかのぼった履歴データまでは必要とせず、常に最新の情報を把握していれば足りる。
【０４２８】
物品移動体データベース１０６のデータ更新の例については、第１の実施形態で示したとおりである。
【０４２９】
＜環境マップ管理手段＞
環境マップ管理手段１０７は、作業環境内のマップの管理を行う。図３４は環境マップの例を実状況と対比して示した概念図であり、図３４（ａ）は実際の状況を表した図、図３４（ｂ）は環境マップとして実際の状況を簡略化した立体モデルで示した図、図３４（ｃ）は実際の状況をさらに簡略化して平面モデルで示した図である。環境マップは、このように立体データとして表してもよいし、もっと簡単に平面データとしてもよい。データはマップの用途やマップ作成に要する手間に応じて作成すればよく、例えば立体モデルを非常に短時間で作る必要があれば、立体物に関してはそれを覆う最小の直方体でモデル化するなどすればよい。例えば、図３４（ｂ）のモデルはそのような例である。図３４（ｂ）では、図３４（ａ）において中央に位置するテーブルは直方体でモデル化されている。平面データでも同様であり、図３４（ｃ）のモデルにおいては、中央に位置するテーブルを平面に正射影した矩形領域（図３４（ｃ）のハッチ部分の矩形領域）で表し、この領域をロボット移動不可領域として定めている。
【０４３０】
＜環境マップ＞
図３５は環境マップ１０８のデータの一例を示した図であり、図３４に対応したデータを示している。環境マップ１０８は、環境マップ９０１及び家具属性データ９０６を備えている。
【０４３１】
環境マップ９０１には、部屋の広さを示すデータ９０２が保存されている。また、本例では部屋の中に“テーブル”と“本棚”と“ゴミ箱”とが存在するので、環境マップ９０１にはそれぞれのデータ９０３〜９０５が保存されている。家具属性データ９０６には、部屋や家具等のそれぞれの属性が保存されている。例えば、家具属性データ９０６中の部屋の属性９０７には、部屋内に高さの異なる床面が複数ある時にはその床面の数だけの床面データが記録されている。
【０４３２】
前記床面のデータは、その面の頂点の座標（実世界座標での座標位置）が記述されており、その他、天井までの高さ、及び床面の材質が面毎に付されている。例えば、長方形の床面のデータの場合、データは、
（（Ｘ１，Ｙ１，Ｚ１）, （Ｘ２，Ｙ２，Ｚ２）, （Ｘ３，Ｙ３，Ｚ３）（Ｘ４，Ｙ４，Ｚ４）,２２００，０）
と表される。但し、高さの基準としては、その部屋で最も低い床の高さを０とする。最初の４つの座標は頂点の座標を表し、次の値２２００は天井までの高さ（２２００ｍｍ）を表し、最後の数値は床面の材質を表している。床面の材質は、例えば、「０」はフローリング、「１」は畳、「２」は絨毯、等であり、材質毎に予め対応する数字が定められている。
【０４３３】
また、各家具の属性には、家具の表面を多面体で近似したときの複数の面のデータ、家具の種類、物品の設置可能面、設置可能面に設置される主な物品の形状と姿勢等が記録されている。
【０４３４】
前記家具の面のデータは、その面の頂点の座標（実世界座標での座標位置）が記述されており、その他、その面に物品が設置できるか否かを示すフラグ、及びその面が物品を設置できる面であれば上方への高さが付されている。上方への高さとは、例えばテーブルの天板であれば天井までの高さ、棚であればもう一つ上の棚までの距離を示す。
【０４３５】
例えば、頂点の数が３つの面のデータの場合、
（（Ｘ１，Ｙ１，Ｚ１）, （Ｘ２，Ｙ２，Ｚ２）, （Ｘ３，Ｙ３，Ｚ３）,１，４００）
と表される。最初の３つの座標は頂点の座標、次の数値「１」は物品が設置できることを意味する。この数が「０」の面は、物品が設置できない面である。最後の数値４００は上方への高さ４００ｍｍを示している。また、家具の種類のデータは、その位置にある家具がどの家具（テーブル、本棚、ゴミ箱等）かを判定するのに利用される。
【０４３６】
家具の設置可能面に設置される主な物品形状と姿勢等とは、例えば、その家具が本棚の場合、主に収納される物品である「本」の形状（通常本棚に立てかけられた状態において、幅に比べて奥行きと高さが極端に長い直方体）と、その本を設置するときの通常の姿勢とを表している。ただし、テーブルやゴミ箱のように、そこに設置される物品の形状や姿勢に限定がない場合もある。家具属性データ９０６がこのような属性を持つことで、作業ロボット１０２が把持物品を設置する際に、設置姿勢を良好なものにすることができる。例えば、作業ロボット１０２が把持した物品が本に似た形状であり、その設置位置に本棚が指定された場合に、通常本棚に本を立てかけるが如く把持物品を設置することができる。もちろん、本棚と本との関係以外にも、例えば靴棚と靴、食器乾燥機（あるいは食器棚）と食器といった収納にも用いることが可能である。
【０４３７】
ロボット１０２がこの環境内で移動する際には、これらの環境マップ１０８を用いながら移動経路計画を立てていく。例えば、図３４（ｃ）の平面モデルを用いた環境マップを用いてロボット１０２をＡ１地点からＡ２地点まで移動させる際には、ロボット１０２の形状や大きさを踏まえて、前記移動不可領域を回避するルート（図３４（ｃ）の曲線矢印）を計算して決めればよい。
【０４３８】
＜環境管理サーバの制御手段＞
環境管理サーバ１０１の制御手段１１０は、サーバ１０１の全体を制御する部分であり、前述したように、主な制御内容として以下のものが挙げられる。
【０４３９】
すなわち、制御手段１１０は、サーバ１０１内の各種データに関して送受信手段１０９を介して外部から問い合わせがあった場合に、その内容に応じて物品移動体検索・管理手段１０５または環境マップ管理手段１０７に対し、前記データの参照要求を出す。また、制御手段１１０は、前記要求に対して物品移動体検索・管理手段１０５または環境マップ管理手段１０７から送られてきた結果を、送受信手段１０９を介して問い合わせ元に送る。また、制御手段１１０は、送受信手段１０９を介して外部から送られてきたサーバ内にある各種データに関する登録・更新の要請を解釈し、その内容に応じて物品移動体検索・管理手段１０５または環境マップ管理手段１０７に対し、前記データの登録・更新要求を出す。なお、この制御手段１１０の詳細な動作については後述する。
【０４４０】
−作業ロボットの構成−
作業ロボット１０２は、物品管理システム１００において、環境内の物品を実際に把持して持ち運ぶ役目を担う。ロボット１０２による物品把持および運搬操作は、その一部又は全部が自動化されていてもよい。本実施形態では、後述する操作端末１０３を通じてユーザによって指示が出され、ロボット１０２はその指示に従って作動する。
【０４４１】
図２９に示すように、ロボット１０２はその基本構成として、ロボットの周囲近辺の障害物などを検知したり、把持する物品の情報を得るセンサ１１１と、物品を把持する把持手段１１２と、環境マップ１０８を使って移動計画を立てる移動計画作成手段１１３と、把持物品の設置姿勢を設置位置の状況等に合わせて計算する設置姿勢決定手段１４０と、把持物品を設置する際に設置位置に既に他の物品が置かれているかどうか等を判定し、必要ならば設置位置を変更する設置位置決定手段１４１と、移動のための移動手段１１４と、環境管理サーバ１０１や操作端末１０３とデータの送受信を行う送受信手段１０９と、それら各手段をコントロールする制御手段１１５とからなる。
【０４４２】
ここで設置位置とは、例えば実空間上の１点を示し、その位置に物品を設置するということは、例えば物品の代表点（例えば重心）をその設置位置に合わせて設置することを意味する。従って、例えば重心を代表点とした場合、設置されている物品の位置は、物品の重心を表している。ただし、物品の代表点は重心に限らず、形状上の中心点等、他の点であってもよい。
【０４４３】
図３６は、本実施形態に係るロボット１０２の一例を示した模式図である。以下、図においてアーム２０１の先端が向いている方向をロボットの前面として、ロボット１０２の各手段の説明を行う。
【０４４４】
移動手段１１４は、ロボット本体の片側に２つずつ設けられ、両側で合計４つの車輪によって構成されている。本例では移動手段１１４として車輪の例を示したが、移動手段１１４としては、ロボットの使われる場所や環境に応じて最適な手段を選べばよい。例えば凹凸の多い地面を移動する場合ならば、クローラ型や多足歩行の移動手段を使ってもかまわない。なお、アーム２０１やハンド２０２からなる把持手段１１２が家屋内全域を可動域とする場合には、この移動手段１１４は必ずしも必要とはしない。
【０４４５】
センサ１１１はボット周囲の近辺の障害物などを検知するものであり、本例では超音波センサ１１１ａ、視覚センサとしてのステレオカメラ１１１ｂ、及び衝突センサ１１１ｃからなる。超音波センサ１１１ａは前面、背面、左右の側面にそれぞれ３カ所ずつ取り付けられ、超音波を発してその反射波を受信するまでの時間を測定することで、当該センサから障害物までのおおよその距離を計算するものである。本実施形態では、超音波センサ１１１ａにより、近距離の障害物を衝突前に検知することとしている。ステレオカメラ１１１ｂは、周囲の状況を画像として入力し、その画像に認識などの処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得る。衝突センサ１１１ｃは、当該センサ１１１ｃに所定の力の衝撃があったことを検知するセンサであり、他のセンサで検知できない障害物に対して、それが外部からぶつかってきたことやロボット自身が移動中にぶつかったことを検知する。
【０４４６】
移動計画作成手段１１３は、指定された場所への移動命令がロボットに対して発せられたとき、現在位置から指定場所への移動経路を、前記環境管理サーバ１０１から取得した環境マップ１０８のデータを使って作成する。当然のことながら、現在位置から目的地までの間に障害物が存在する場合はそれを回避するための経路が必要となるが、環境マップには前述のようにロボットが移動可能な領域が予め記されているので、その領域内での移動経路を作成すればよい。また移動経路作成に当たっては、最も一般的なダイクストラ法等が用いられる。
【０４４７】
設置姿勢決定手段１４０は、ロボットが把持した物品を設置する際の把持姿勢（設置姿勢）を、設置位置の状況に応じて決定する。例えば、その設置位置付近に把持物品と同様の他の物品が置かれていれば、他の物品の姿勢に合わせて把持物品の姿勢を変更する。また、把持したときの姿勢のままでは把持物品を設置位置に置くことができない場合（例えば、把持物品が設置位置の空間内に収まらない場合等）に、設置位置に設置できるように把持物品の姿勢を変更する。この時、設置位置の状況（どれだけの幅、奥行、高さがあるかなど）や設置位置付近に置かれた他の物品の情報が必要となるが、それらの情報は前記環境管理サーバ１０１に問い合わせることで得ることができる。
【０４４８】
図３７を参照しながら、本５０を本棚５５に収納する例を説明する。本物品管理システム１００では、ロボット１０２で把持した本５０（姿勢１）を本棚５５に入れる時、まず、指定された設置位置５６の付近に他の本５７があるか否かを調べ、ある場合には前記他の本５７の姿勢を調べる。そして、把持した本５０の姿勢を他の本５７の姿勢に合わせる。ここでは、他の本５７は立った姿勢で収納されているので、把持した本５０も立った姿勢に合わせられる。
【０４４９】
しかし、立った姿勢には、本５０の長辺が縦方向に延びる姿勢（姿勢２）と横方向に延びる姿勢（姿勢３）とがあり得る。しかし、本棚５５の設置スペースは限られており、本５０の高さが本棚５５の収納高さを超えている場合は、本５０の長辺が縦方向に延びる姿勢（姿勢２）では本５０を収納することができない。そこで、他の本５７に合った姿勢でかつ本棚５５の設置スペースに収まる姿勢（姿勢３）を選択し、把持した本５０をその姿勢に変更してから設置する。なお、設置スペースが限られているか否かは、例えば、設置スペースが仕切られた空間であることや、設置スペースの最大長さが物品の最大長さよりも短いこと等によって判断することができる。また、本を本棚に設置するだけでなく、食器を食器棚や食器洗い乾燥機に効率よく設置する場合にも応用することが可能である。
【０４５０】
従来技術では、設置する場所には扱う物品と比較して十分な広さがあることが前提となっていたが、例えば本棚のように高さに制約がある場合等では、従来技術をそのまま応用することはできない。また、産業用途では物品の形は画一化されていたので、移動に際して特別な処理をしなくても、結果的に整理された状態で物品を設置することができていた。しかし、家庭やオフィス内で使用される多様な形状の物品を整理された状態で設置するには、上記設置姿勢決定手段１４０が行うような処理を必要とする。この設置姿勢決定手段の詳しい動作については後述する。
【０４５１】
設置位置決定手段１４１は、ロボットが把持した物品を設置する際、その設置位置に既に他の物品が置かれているか否かを調べる。そして、設置位置に他の物品が置かれていれば、他の物品の上面がフラット（水平）であるかどうか、その上面の大きさが把持物品を積載するのに十分であるかどうか、他の物品の材質が堅いものであるのかどうか等を判定し、前記物品の上に把持物品が設置できないと判断すれば設置位置を前記物品付近の設置可能な位置に変更する。この時、設置位置の物品情報や設置位置付近の設置可能なスペースの情報は、前記環境管理サーバ１０１に問い合わせることで得ることができる。
【０４５２】
ここで、図３８を参照しながら、「設置位置に他の物品が存在するかどうか」の判断、及び設置位置の変更の具体例を説明する。図３８は、指定された設置位置に平積みされている複数の本６１が既に存在している場合に、把持した本６０の設置位置を変更する例である。本例では、「設置位置に他の物品が存在するかどうか」は、設置位置に把持物品６０の重心を合わせた場合に、把持物品６０と既に設置された物品６１とが重なるかどうかで判断される（図３８（ｂ）参照）。また、「設置位置付近の設置可能な位置」は、把持物品６０と他の物品６１とが全く重ならないような位置が最も望ましいが、必ずしもこのような位置に限定されるものでもない。例えば、物品の種類によっては、設置した物品６０が姿勢を崩さない（倒れない）程度に重なったり、互いに接触する程度は、許容範囲内と見なされる場合もある。図３８に示した例は、物品が本であり、姿勢を崩さない程度に積み重ねることに問題はないため、そのように重ねた場合の例である。図３８（ａ）及び（ｂ）に示すように、本が多数平積みされている状況で設置位置（本６０の重心Ｇ）を平積みされた本６１の少し外側に設定したとする。この場合、本６０をそのまま設置位置に設置したのでは、本６１の平積み状態は崩れてしまい、本６０自体も安定せず、転倒することになる。そこで、このような場合は、設置位置を平積みされた本６１の重心の位置に変更する。これについても詳しい動作については後述する。
【０４５３】
把持手段１１２は物品を把持する手段であり、本実施形態では、図３６に示すように多関節からなるアーム２０１と、アーム２０１の先端に配設されたハンド２０２とから構成される。ただし、作業ロボット１０２の保持手段は、物品を把持する手段に限定されるものではない。例えば、皿状の支持手段を備え、その支持手段に物品を載せて目的位置まで移動させるようにしてもよい。
【０４５４】
作業ロボット１０２の制御手段１１５は、外部から送受信手段１０９を介して送られてきたロボット操作コマンドリストを解釈し、順にコマンドを実行していく。環境管理サーバ１０１の制御手段１１０と同様、作業ロボット１０２の制御手段１１５についても、その動作は後で詳しく述べることとする。
【０４５５】
−操作端末の構成−
３番目のサブシステムである操作端末１０３は、物品管理システム１００においてユーザが環境内の物品操作を指示する為の端末である。
【０４５６】
図２９に示すように、操作端末１０３はその基本構成として、物品操作を指示する物品操作手段１４２と、操作画面を表示する表示手段１４３と、物品操作手段１４２にて入力された物品操作の指示内容を環境管理サーバ１０１に送信する等の送受信動作を行う送受信手段１０９と、それら各手段をコントロールする制御手段１４４とからなる。
【０４５７】
オペレータは、物品操作手段１４２及び表示手段１４３を用いて物品の移動操作を指示したり、物品や移動体の情報を入力する。物品に対する移動操作であれば、物品操作手段１４２を介して入力された前記移動操作の命令は、送受信手段１０９を介して作業ロボット１０２に送られ、当該命令を受けた作業ロボット１０２は、移動先の状況等を考慮したうえで指示通りに物品を移動させる。また、物品操作手段１４２を介して物品や移動体の情報を入力した場合、及び物品の検索を行った場合には、前記環境管理サーバ１０１に対してこれらの要求が送信され、環境管理サーバ１０１から回答を受信する。制御手段１４４は上記各手段の制御を行うものであり、その動作に関しては後で詳しく述べる。
【０４５８】
以上、物品管理システム１００の全体構成について、各サブシステム１０１，１０２，１０３毎に順に説明を行った。
【０４５９】
なお、図２９では、本物品管理システム１００が環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の３つのサブシステムからなり、それらサブシステムが無線または有線などのネットワークを介して互いに情報をやりとりするような構成をなす例を示した。しかし、本発明に係る物品管理システムの構成は、上記構成に限定されるものではない。例えば、操作端末１０３が環境管理サーバ１０１あるいは作業ロボット１０２に付随されている構成であってもよい。また、ロボット１０２も１台ではなく、複数台が協調しながら作業を並行して行う構成でも構わない。さらに、作業ロボット１０２の移動計画作成手段１１３、設置姿勢決定手段１４０、設置位置決定手段１４１を環境管理サーバ１０１にもたせることで、データベースアクセスに伴う通信量を減らすことも可能である。
【０４６０】
−物品管理システムの動作−
以降では、本物品管理システム１００の動作、すなわち、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各サブシステムにおける制御手段１１０，１１５，１１８がどのように動作するかを説明する。
【０４６１】
本実施の形態では、統一性を持たせるために、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３は全て、後述するメッセージをやりとりすることで命令・質問・回答等の要求を行う。
【０４６２】
図３９は、そのようなメッセージの書式の一例を示している。本例では、上から順に、メッセージ開始符号（ＳＴＸ）、電文長、総パケット数、パケット番号、送信日時、メッセージＩＤ、送信元、送信先、コマンド番号、引数、メッセージ終了符号（ＥＴＸ）である。通信プロトコルにパケット通信を行うＵＤＰ／ＩＰ等を利用する場合、パケット毎に送信先に到着するとは限らないので、総パケット数及びパケット番号を用いて、受信側で分割されて受信したパケットからメッセージを再構築する。また、電文長及び総パケット数は全てのパケットを受信したことの確認に用い、前記メッセージを正しくやりとりできるようにする。
【０４６３】
また、上記メッセージを受信できたかどうかを、ＡＣＫ又はＮＡＣＫメッセージとして送信元に送り返す。図４０はＡＣＫ及びＮＡＣＫメッセージの一例を示している。番号６のメッセージＩＤを、受け取ったメッセージのメッセージＩＤと同じくすることで、ＡＣＫ又はＮＡＣＫメッセージを受け取った方は、自分が送ったどのメッセージに対するものかを知ることができる。全パケットを受信しメッセージが受け取られると、ＡＣＫメッセージを送信元に返す。もし全パケットを所定の時間内に受信できないなど通信に何らかの障害が発生したと思われる場合には、番号１０にエラーコードを代入してＮＡＣＫメッセージを送信元に送り返す。送信元ではＡＣＫ又はＮＡＣＫメッセージを所定の時間待ち、時間内にどちらのメッセージも返ってこなければ再送を試みる。また、何度か再送を試みてもＡＣＫ又はＮＡＣＫメッセージが返ってこない場合には、通信エラーとなり、例えばシステムを停止させる等の措置をとる。
【０４６４】
以下では、各サブシステムに共通に用いられるメッセージの送受信と処理の仕組みについて説明し、その後、各サブシステム毎に固有の構成、具体的メッセージとそのメッセージを受け取った時の動作について説明する。
【０４６５】
図４１は、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各制御手段１１０，１１５，１１８において共通に利用されるメッセージ処理の構成１３００を示している。本構成１３００は、送受信手段１０９から入力されたパケットをメッセージとして再構築するメッセージ受信部１３０１と、再構築されたメッセージを蓄積するメッセージキュー１３０２と、メッセージキューの先頭から一つずつメッセージを取り出して解釈し、メッセージ処理部１３０３に引き渡すメッセージハンドラ１３０４とを備えている。前記メッセージ受信部１３０１及び前記メッセージハンドラ１３０４は、それぞれスレッドプログラム等として実装することで、メッセージ受信を行いながら他のメッセージを処理することが可能である。
【０４６６】
図４２は、図４１の構成１３００におけるメッセージをやりとりする動作を示したフローチャートである。本動作では、ステップＳ１４０１でメッセージキュー１３０２にメッセージが蓄積されているかをチェックし、蓄積されていれば上から一つメッセージを取り出す。ステップＳ１４０２では、そのメッセージが停止メッセージかどうかを判定し、もし前記メッセージが停止メッセージであれば、終了処理（ステップＳ１４０３）を行い、停止する。ここで終了処理とは、他のスレッド（例えば、メッセージ受信部１３０１等）を停止させることである。ステップＳ１４０２の判定の結果、前記メッセージが停止メッセージでなければ、ステップＳ１４０４のメッセージ処理を前記メッセージ処理部１３０３で行う。メッセージ処理部１３０３では、それぞれの構成要素に応じた動作を実行したり、内部変数の値（例えば、環境管理サーバ１０１であれば物品や移動体の位置等）を問い合わせ先にメッセージとして送信する。なお、各サブシステム毎に動作が異なるので、それらについては後述する。
【０４６７】
以上で、各サブシステムにおけるメッセージの基本的なやりとりの仕組みを説明した。ところで、図４１に示したメッセージハンドラ１３０４のメッセージ処理部１３０３は、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各々のサブシステム毎に、理解できるメッセージ及びメッセージに対するアクションが異なる。そこで、具体的な作業を取り上げ、その作業に沿って各サブシステムの制御手段の処理構成及び処理されるメッセージ毎にその動作を説明することとする。
【０４６８】
ここでは具体的な作業として、オペレータがある物品（例えば空き缶）を指定した場所（例えばゴミ箱）に移動させる例を取り上げる。
【０４６９】
まず、操作端末１０３の制御手段１４４の動作について述べる。図４３は操作端末１０３の制御手段１４４の処理構成を示している。操作端末１０３の制御手段１４４では、前述した共通の構成に加えて、物品操作手段１４２から入力された操作指示をメッセージとして生成する操作メッセージ生成部１５０１と、最新の環境情報（部屋の映像や物品の位置など）を取得し前記表示手段１４３に表示するための表示制御部１５０２とを有する。操作メッセージ生成部１５０１は、オペレータからの操作指示を上記メッセージの書式に合わせてメッセージとして生成し、メッセージキュー１３０２に蓄積する。表示制御部１５０２は、環境情報を環境管理サーバ１０１に常に問い合わせており、表示手段１４３に視覚情報として表示している。オペレータは、前記物品操作手段１４２（例えばマウス、タッチパネル又はタブレット等のポインティングデバイスなど）を用い、前記表示手段１４３を見ながら物品の移動等の操作指示を行う。ここでは物品操作手段１４２としてＧＵＩを用いたが、音声認識・合成を用いた音声Ｉ／Ｆ（インターフェース）やキーボード等のＩ／Ｆを用いることも可能である。前記操作メッセージ生成部１５０１は、メッセージ受信部１３０１と同様、スレッドプログラムとして他のスレッドと並列で実行されており、オペレータからの操作指示を常に受け付けることが可能となっている。
【０４７０】
操作端末１０３は、電源がＯＮされるとその直後に一度だけ初期設定を行う。これには、例えば、他のサブシステムとの通信路の確立等や、各スレッドプログラムの実行などが含まれる。
【０４７１】
まず、操作メッセージ生成部１５０１は、物品操作手段１４２にオペレータからの指示が入力されると、指示を含んだメッセージをメッセージキュー１３０２にため込む。図４４は、オペレータが前記表示手段１４３を参照しながら、マウスを用いて物品（空き缶）を床（座標（Ｘ０，Ｙ０，Ｚ０））からゴミ箱（座標（Ｘ１，Ｙ１，Ｚ１））にドラッグ操作した例を示している。図４５は、この時に操作メッセージ生成部１５０１で生成されるメッセージの一例を示している。図４５中の番号１〜６及び１１の項目は、正しくメッセージを受信するのに必要な項目であるが、メッセージの内容とは無関係なので、ここでは説明を省略する。ここでは、送信元（オペレータを示す“Ｐ０”）から送信先（操作端末を示す“Ｉ０”）にコマンド（ロボットへの物品移動コマンド“０１”）を送るメッセージが表されている。番号１０の引数は、一つ（最初の“００１”は移動する物品の個数）の物品（座標（Ｘ０，Ｙ０，Ｚ０）にある物品）を座標（Ｘ１，Ｙ１，Ｚ１）の位置に移動することを意味している。複数の物品を移動する場合は、各物品につき、現在の位置と移動先の位置とが交互に並べられる。
【０４７２】
図４６は、操作端末１０３におけるメッセージ処理部１３０３の処理のフローチャートを示す。メッセージハンドラ１３０４は、メッセージキュー１３０２からメッセージを一つ取り出した後、ステップＳ１８０１において、その内容が作業ロボット１０２に対する指示であることを判断し、ステップＳ１８０２でその指示を作業単位に分解する。ここで、「物品の移動」の指示は、移動する各物品につき、「移動（物品の位置）」、「把持（物品）」、「移動（移動先の場所）」、「設置」という４つの作業単位に分解される。複数の物品に対して移動の指示が与えられた場合、前記４つの作業単位を一組として物品の数だけ並べられたものとなる。ステップＳ１８０３では、次に実行すべき作業単位が存在するかを判定する。ステップＳ１８０４では、一つの作業単位を前記作業ロボット１０２に送信する。
【０４７３】
図４７は、一つの作業単位を作業ロボット１０２へ送る場合のメッセージの一例を示している。本例は、送信元（操作端末を示す“Ｉ０”）から送信先（作業ロボットを示す“Ｒ０”）にコマンド（ロボット移動コマンド“０１”）を送ることを意味し、番号１０の引数（座標（Ｘ０，Ｙ０，Ｚ０））はその移動先を示している。
【０４７４】
次に、ステップＳ１８０５において、作業ロボット１０２からその作業単位の終了状態（ＡＣＫ又はＮＡＣＫメッセージ）を受け取り、ステップＳ１８０６で作業単位が正常に終了したか否かを判定し、もしＮＡＣＫメッセージを受け取ったか、あるいは所定の時間以上メッセージが返ってこなければ、エラー処理（ステップＳ１８０７）を行う。このエラー処理とは、例えば、作業ロボット１０２が障害物などが原因で移動できなくなったとか、指定した物品が把持できなかった等のトラブルが発生したときに、オペレータにその旨をＧＵＩを通じて提示する処理である。ここで、音声Ｉ／Ｆがあれば音声で提示しても構わない。そして、再びステップＳ１８０３に戻り、処理する作業単位がなければメッセージ処理部を終了し、次のメッセージをメッセージキュー１３０２から取り出し、処理を行う。
【０４７５】
ここで、前記作業単位は１つずつ送信することとしたが、すべての作業単位を一度に送信し、作業ロボット側で各作業単位の終了確認を行うように実装することも可能である。
【０４７６】
次に、作業ロボット１０２の制御手段１１５の動作について説明する。図４８は作業ロボット１０２の制御手段１１５の処理構成を示している。
【０４７７】
作業ロボット１０２は、電源がＯＮされるとその直後に一度だけ初期設定を行う。この初期設定には、例えば、通信路の確立や各スレッドプログラムの実行等が含まれる。メッセージ受信部１３０１は、上述した操作端末１０３から送られた作業単位を含んだメッセージ（図４７参照）を送受信手段１０９で受け取り、そのメッセージをメッセージキュー１３０２に蓄える。図４９に、作業ロボット１０２が理解できるメッセージの一例を示す。
【０４７８】
図５０は、作業ロボット１０２におけるメッセージ処理部１３０３の処理のフローチャートである。メッセージ処理部１３０３に入力されるメッセージは、例えば、前記操作端末１０３から送られた作業単位を含むメッセージである。ここではまず、ステップＳ２２０１、Ｓ２２０２及びＳ２２０３においてどの作業単位かを判定し、それぞれの作業単位に合った処理を実行する。
【０４７９】
まず、ステップＳ２２０１で作業単位が「移動」であった場合、ステップＳ２２０４に進み、指示位置までの経路を移動計画作成手段１１３を用いて求める。次にステップＳ２２０５において、移動計画作成手段１１３で求まった経路に従って移動する制御コマンドを移動手段１１４に送り、前記指示位置まで移動処理を実行する。例えば図４７のメッセージを受け取った場合には、このようなフローが実行される。
【０４８０】
一方、ステップＳ２２０２で作業単位が「把持」であった場合、ステップＳ２２０６に進み、把持を行うために前記センサ（例えばカメラ）１１１を用いて物品の姿勢を検出し、アーム２０１及びハンド２０２の動作を計算し（ステップＳ２２０７）、物品を把持するコマンドを把持手段１１２に送り、物品を把持する（ステップＳ２２０８）。なお、ステップＳ２２０６ではセンサを用いて物品の姿勢を検知するとしたが、環境管理サーバ１０１に物品の姿勢を問い合わせることにより物品の姿勢を認識するようにしてもよい。物品の現在の姿勢は前記物品の履歴データ（図３１参照）に記録されている。
【０４８１】
さらに、ステップＳ２２０３で作業単位が「設置」であった場合、設置姿勢決定手段１４０を用いて物品の設置姿勢を計算し（ステップＳ２２０９）、設置位置決定手段１４１を用いて物品の設置場所の状況を調べ、設置できなければ適切な設置位置を探し出す（ステップＳ２２１０）。そして、前記設置姿勢と設置位置に合うようにアーム２０１とハンド２０２の動作を計算し（ステップＳ２２１１）、アーム２０１及びハンド２０２を動作させる制御コマンドを発行して把持物品を設置する（ステップＳ２２１２）。
【０４８２】
最後に、ステップＳ２２１３において、移動、把持及び設置が終了した旨をメッセージとして作業指示元（操作端末）に送信する。
【０４８３】
本発明の特徴の一つは、この作業ロボット１０２のメッセージ処理部１３０３における設置メッセージを受けた時の処理にある。すなわち、本物品管理システム１００においては、設置姿勢決定手段１４０と設置位置決定手段１４１とを用いて、把持した物品とその設置位置の状況とに応じて、設置位置や設置姿勢を適宜変更する。この処理は、従来技術に挙げたような工場内での自動倉庫の処理とは大きく異なっている。
【０４８４】
図５１は、設置姿勢決定手段１４０の一般的な動作を示すフローチャートである。ステップＳ２６０１では、設置姿勢を決める必要があるかどうかを判定する。例えば、設置位置が箱の内部であり、把持物品が箱よりも小さいような場合には、設置姿勢はあまり問われないので、把持した時の姿勢を保つ。一方、ステップＳ２６０１において設置姿勢を決める必要があると判定された場合、ステップＳ２６０２において、設置位置の状況と把持物品の属性とに基づき、把持物品の設置姿勢を計算する。
【０４８５】
図５２は、設置姿勢決定手段１４０の具体的な動作の一例を示すフローチャートである。本動作例では、まずステップＳ２３０１において、設置位置が箱（例えばゴミ箱）であるかどうかを判定する。これは、環境管理サーバ１０１にメッセージ（図５６のコマンド番号１２参照）で問い合わせることにより実現できる。ここで、設置位置が箱であった場合、設置姿勢は問われないので、把持した時の姿勢を保つ。もし、ステップＳ２３０１において設置位置が箱でなかった場合、さらにステップＳ２３０２において、把持物品と属性（例えば、物品の種類や形状等）が同一又は類似した物品が設置位置付近に存在するか否かを調べる。なお、「類似」とは、例えば、種類が同じであるとか、種類が異なっていても形状が類似していること等を意味する。また、形状が類似しているとは、形状のパラメータ（円柱であれば高さと底面の半径、球であれば半径、また、直方体であれば３辺（幅、高さ、奥行き）の長さ）が類似していることを言う。形状のパラメータが類似しているか否かは、例えば、各パラメータの差が所定の閾値以下に収まっていること等に基づいて判定することができる。なお、このような判定も、環境管理サーバ１０１にデータを問い合わせることにより実現できる（図５６のコマンド番号２３参照）。
【０４８６】
ここで、把持物品と類似した物品が設置位置付近に存在する場合には、ステップＳ２３０３で設置姿勢を前記類似物品の姿勢と同様にする。類似物品の姿勢は、物品履歴データ３０２における姿勢データを参照することで得られる。ステップＳ２３０２において設置位置に把持物品と類似した物品が存在しないと判断されると、予め決められた設置姿勢を用いる（ステップＳ２３０４）。ここで予め決められた設置姿勢とは、設置位置の家具に適した姿勢であり、環境マップ１０８の家具属性データ９０６（図３５の家具属性データ９０６の「主な物品の形状と姿勢」参照）に記録されたデータを利用して定められる。そのような姿勢が環境マップ１０８の家具属性データ９０６に記録されていなければ、例えば、物品の形状を計測したときの姿勢を用いる。例えば、図３３（ｂ）における物品座標が実世界座標と一致するように物品を設置する。
【０４８７】
このように、指定された設置位置付近に把持物品と類似した物品が置いてある場合には、把持物品の設置姿勢を類似物品の姿勢と合わせることで、整然と物品を並べることができ、家庭内において省スペース化が図られ、外観も見栄えもよくすることができる。
【０４８８】
次に、図５３を参照しながら、設置位置決定手段１４１の一般的な動作を説明する。まず、ステップＳ２８０１において、設置したときに物品の姿勢が崩れてもいいかどうかを、設置位置の状況及び把持物品の属性から判定する。もし設置後の姿勢が崩れてはいけないならば、ステップＳ２８０２に進み、設置位置に他の物品が存在するかを判定する。設置位置に他の物品が存在すれば、ステップＳ２８０３に進み、把持物品が設置位置にある他の物品と重なってもよいかどうかを判定する。他の物品と重なってはいけない場合には、ステップＳ２８０４において、設置位置付近で設置可能な新しい設置位置を探し出す。
【０４８９】
次に、図５４を参照しながら、設置位置決定手段１４１の具体的な動作の一例を説明する。本動作例では、まず、ステップＳ２４０１において、設置位置が箱であるかどうかを調べる。もし箱でなければステップＳ２４０２に進む。一方、設置位置が箱であれば、設置位置は変更せずに設置位置決定手段１４１の処理から抜け出る。
【０４９０】
ステップＳ２４０２では、設置位置に他の物品が存在するかを調べる。ここでも、他の物品が存在しなければ設置位置の変更は行わない。なお、設置位置に他の物品が存在するか否かは、環境管理サーバ１０１に問い合わせのメッセージ（図５６のコマンド番号２３参照）を送ることで調べることができる。もし、設置位置に他の物品が存在するならば、ステップＳ２４０３に進み、他の物品の上面が把持物品の設置必要面積よりも大きいか否かを判定する。そして、もし大きければ、ステップＳ２４０４において、前記他の物品の上面はフラットであるかどうかを判定する。なお、ここでいう「フラット」には、完全に平坦な状態のみでなく、実質的に平坦な状態も含まれる。つまり、ここでいう「フラット」には慣習上平坦と見なされる状態も含まれ、多少の傾斜や凹凸があったとしても、把持物品を設置できる程度であれば平坦と見なされる。設置されている物品の上面の面積及びフラットであるかどうかは、環境管理サーバ１０１に形状データや設置姿勢（物品の履歴データとして記録されている）を問い合わせることにより知ることができる（図５６のコマンド番号２３参照）。
【０４９１】
もし、前記他の物品の上面がフラットであった場合は、設置位置を変更することなく、前記他の物品の上に把持物品を積み重ねる。ステップＳ２４０３において前記他の物品の上面面積が把持物品の必要設置面積より小さいと判定されるか、またはステップＳ２４０４において前記他の物品の上面がフラットでないと判定されると、ステップＳ２４０５に進み、設置位置付近で何も置かれていない場所を探し、この場所を新しい設置位置とする。なお、ステップＳ２４０２において設置位置に他の物品が存在しないと判定された場合、近傍に同じ種類あるいは同じ形状の物品があるか否かを判断し、把持物品の設置位置をそれら物品の隣の位置に設定するようにしてもよい。
【０４９２】
このように、設置位置に既に他の物品が存在する場合、その設置物品の上に把持物品を積み重ねられるかどうかを判定し、積み重ねることができない場合には設置位置を変更することで、作業者が物品の設置先の状況を知らずに適当に設置位置を指示しても、ロボットは柔軟に対応することができる。
【０４９３】
なお、図４４に示す例では設置位置がゴミ箱であるので、結果的に作業ロボット１０２は、空き缶を把持した時の姿勢のままでゴミ箱の中に落とすことになる。
【０４９４】
また、その他の例として、床の上に置かれた書籍を本棚に設置する例を説明する。この場合、環境管理サーバ１０１に問い合わせることによって、設置位置にその他の書籍があり、それら書籍が把持物品である書籍と同じ種類の物品であることが分かると、把持した書籍の姿勢を既に収納されている他の書籍の姿勢と同じになるように変更し（この場合、本棚内に収納されている書籍は立った姿勢で収納されているので、把持した書籍も立った姿勢に変更し）、本棚内に設置する。一方、設置位置に書籍が積み上げられていれば、把持した書籍が安定した姿勢で設置できる限り、把持した書籍を他の書籍と同じ姿勢で積み上げることができる。また、設置位置に書籍ではなくテレビがあり、このテレビの上面がフラットであれば、把持した書籍を安定した姿勢で設置できるため、把持した書籍をテレビの上に設置する。一方、設置位置に花瓶のような上面がフラットでない物品が置かれてあれば、花瓶の上に設置するのではなく、書籍をその横の空きスペースに設置する。
【０４９５】
なお、作業ロボット１０２が作業している間は、どのタイミングであっても、指定された動作が実行できない等のトラブルが起これば、作業指示元（この例では操作端末１０３）に対してエラーメッセージを送信し、作業を一時中断する。
【０４９６】
また、作業ロボット１０２は、通常は自己の車輪等の動作量（回転数、回転角度等）を用いて自己位置を計測しているが、床面と車輪とのスリップや避けきれなかった障害物との衝突などに起因して自己位置がずれてくる場合も考えられる。そこで、この位置ずれを補正するために、環境管理サーバ１０１に自己位置の問い合わせを定期的に行うようにしてもよい。さらに、物品名が指定されて把持するときには、物品の形状等の属性を調べ、当該属性をカメラなどのセンサで目前の物品のうちどれが指定された物品かを探し出すときの手がかりに使うことができる。従って、必要に応じて、物品の属性や作業ロボット１０２の自己位置、あるいは、移動計画作成手段１１３に必要な環境マップ１０８等を、環境管理サーバ１０１に問い合わせてもよい。なお、これらの問い合わせも、環境管理サーバ１０１に問い合わせのメッセージを送り、その回答を受け取ることで実現される。
【０４９７】
最後に、環境管理サーバ１０１の制御手段１１０の動作について説明する。図５５は、環境管理サーバ１０１の制御手段１１０の処理構成を示している。
【０４９８】
環境管理サーバ１０１は、電源がＯＮされるとその直後に一度だけ初期設定を行う。これには、例えば、通信路の確立等や各スレッドプログラムの実行が含まれる。そして、上述した作業ロボット１０２や操作端末１０３からの問い合わせを含んだメッセージを送受信手段１０９で受け取り、メッセージ受信部１３０１がそのメッセージをメッセージキュー１３０２に蓄える。図５６は、環境管理サーバ１０１が理解できるメッセージの一例である。
【０４９９】
図５７は、環境管理サーバ１０１におけるメッセージ処理部１３０３の処理のフローチャートである。本処理ではまず、メッセージキュー１３０２から先頭のメッセージを取り出し、このメッセージをメッセージ処理部１３０３に入力する。そして、ステップＳ２７０１、Ｓ２７０２、Ｓ２７０３、Ｓ２７０４及びＳ２７０５において、このメッセージが何を要求しているかを判断する。
【０５００】
ステップＳ２７０１において、ロボット位置の問い合わせがあったと判定すると、物品移動体データベース１０６からロボット位置の情報を取り出して、問い合わせ先にロボット位置を送信する（ステップＳ２７０５）。ステップＳ２７０２で、マップ問い合わせと判断されれば、環境マップ１０８からマップを取り出して、問い合わせ先に送信する（ステップＳ２７０６）。マップの情報は、例えば作業ロボット１０２の経路探索などに使用される。ステップＳ２７０３で、前記メッセージが環境情報を問い合わせていると判断すれば、指定した位置の情報を環境マップ１０８から検索し（ステップＳ２７０７）、問い合わせ先に送信する（ステップＳ２７０８）。ステップＳ２７０４で、前記メッセージが物品情報を問い合わせていると判断すれば、指定した物品の必要な情報を物品移動体データベース１０６から検索し（ステップＳ２７０９）、問い合わせ先に送信する（ステップＳ２７１０）。ステップＳ２７０５において、前記作業ロボット１０２などから得られた物品に対する情報を物品移動体データベース１０６に登録するメッセージであると判断されると、物品移動体データベース１０６に、指定した物品の属性値を登録する（ステップＳ２７１１）。
【０５０１】
ここで、物品移動体データベース１０６及び環境マップ１０８への問い合わせや情報登録は、前記物品移動体検索・管理手段１０５及び環境マップ管理手段１０７を介して行われる。なお、センシング手段１２０は常に最新の情報をセンシングしており、物品移動体データベース１０６及び環境マップ１０８には、物品移動体検索・管理手段１０５や環境マップ管理手段１０７を介して情報の更新が常時行われている。
【０５０２】
以上、本発明の実施形態に係る物品管理システム１００について、その構成及び動作の説明を行った。
【０５０３】
この物品管理システム１００により、家庭やオフィス等において作業ロボットに物品の運搬作業を行わせる際、どのような物品でも荷崩れすることなく整理された状態で設置することができる。また、曖昧な指示を受けた場合であっても、物品を適切な状態で設置することができる。例えば、本棚に本を設置するときには本を縦に入れたり、設置位置がゴミ箱ならば姿勢を気にせずに入れたり、設置位置がいわゆる食器洗い機なら食器を所定の姿勢で入れたり等、指定された設置位置と物品との関係に応じて、物品を適切な状態で設置することができる。
【０５０４】
−発明の効果−
本発明によれば、居住空間内に存在する物品を作業ロボットで移動させる際、移動対象物品の設置姿勢を、設置位置付近の他の物品や設置位置付近の状況に応じて決定するようにしたので、同じ種類や形状の物品を秩序正しく整理する等、物品を適切な状態に設置することができる。また、物品と設置位置との関係を考慮に入れた適切な設置が可能となる。
【０５０５】
さらに、本発明によれば、指定された設置位置に他の物品が置いてあったり、指定された設置位置に移動対象物品が置けないような場合には、設置位置を指定された位置の近傍に変更することとした。また、移動対象物品を他の物品の上に積載できる場合には、設置位置を変えずに移動対象物品を他の物品の上に積載するようにした。そのため、設置位置の状況を細かく把握せずに物品の設置位置を指定したとしても、作業ロボットに適切に設置作業を行わせることができ、物品を適切な状態に設置することができる。
【０５０６】
（第５の実施形態）
ここでの本発明は、その目的とするところは、家庭やオフィス等の居住空間内において作業ロボットに物品の移動作業を行わせる際に、持ち替え動作を伴うことなく移動対象物品を円滑に移動させることにある。
【０５０７】
本発明に係る物品管理システムは、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものである。
【０５０８】
上記物品管理システムによれば、データベース内の移動対象物品及び設置位置に関する情報に基づいて移動対象物品の保持位置が予め適切な位置に決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。
【０５０９】
また、本発明に係る物品管理システムは、少なくとも前記居住空間内の物品の情報を有するデータベースと、前記物品操作手段と、前記作業ロボットと、前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えているものである。
【０５１０】
上記物品管理システムによれば、データベース内の移動対象物品に関する情報に基づいて、移動対象物品の保持位置が接地領域を覆わない適切な位置に予め決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。
【０５１１】
また、本発明に係る物品管理システムは、前記物品操作手段と、前記作業ロボットと、前記居住空間内の物品の情報と前記作業ロボットの動作制約情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものである。
【０５１２】
上記物品管理システムによれば、データベース内の作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、移動対象物品の保持位置が予め適切な位置に予め決定されるので、作業ロボットは持ち替え動作を伴うことなく移動対象物品を設置位置に設置することができる。
【０５１３】
なお、前記物品管理システムにおいて、作業ロボットの保持手段とは、物品を保持するものであればよく、具体的な保持方法は何ら限定されるものではない。保持手段として、例えば、物品を把持する手段、支持する手段、吸引保持する手段、磁力又は電気力を利用して保持する手段等、種々の手段を用いることができる。
【０５１４】
また、居住空間とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う空間を言う。
【０５１５】
すなわち、ここでの態様１では、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものを提供する。
【０５１６】
態様２では、態様１において、前記保持位置決定手段は、前記データベース内の前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段が前記移動対象物品を保持する前に、前記移動対象物品が前記設置位置と接する領域である接地領域を予め選定し、前記保持手段が前記接地領域を覆わないように保持位置を決定する。
【０５１７】
態様３では、態様２において、前記保持位置決定手段は、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収める接地領域を選定する。
【０５１８】
態様４では、態様２において、前記保持位置決定手段は、前記データベース内の前記設置位置に関する情報に基づいて前記設置位置の許容スペースを調べ、前記接地領域として、前記許容スペースから前記保持手段の設置動作に必要なスペースを除外した残りのスペースに前記移動対象物品を収める接地領域を選定する。
【０５１９】
態様５では、態様１において、前記保持位置決定手段は、移動先に指定された設置位置が箱の内部であるか否かを判定し、設置位置が箱の内部である場合には、前記移動対象物品の接地領域の選定を行わずに保持位置を決定する。
【０５２０】
態様６では、態様１において、居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定物品が含まれ、前記保持位置決定手段は、前記移動対象物品が前記特定物品でありかつ前記設置位置が人であるか否かを判定し、前記移動対象物品が前記特定物品でありかつ前記設置位置が人である場合には人が掴まない部分を保持位置とする。
【０５２１】
態様７では、居住空間内に存在する物品を管理するシステムであって、少なくとも前記居住空間内の物品の情報を有するデータベースと、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記データベース内の前記移動対象物品の情報に基づいて前記移動対象物品が前記設置位置と接する領域である接地領域を選定し、前記保持手段による前記移動対象物品の保持位置を、前記保持手段が前記接地領域を覆わずかつ前記保持手段に前記移動対象物品を持ち替えずに前記設置位置に設置させる位置に決定する保持位置決定手段とを備えているものを提供する。
【０５２２】
態様８では、居住空間内に存在する物品を管理するシステムであって、移動対象物品と該移動対象物品の移動先の設置位置とを指定する物品操作手段と、物品を保持する保持手段を有し、前記移動対象物品を前記保持手段で保持して前記設置位置に設置する作業ロボットと、前記居住空間内の物品の情報と前記作業ロボットの動作制約情報と前記居住空間内のマップ情報とを有するデータベースと、前記データベース内の前記作業ロボットの動作制約情報並びに前記移動対象物品及び前記設置位置に関する情報に基づいて、前記保持手段による前記移動対象物品の保持位置を、前記作業ロボットが前記移動対象物品を持ち替えずに前記設置位置に設置する位置に決定する保持位置決定手段とを備えているものを提供する。
【０５２３】
本発明の第５の実施形態も、居住空間内に存在する物品を管理する物品管理システムに関するものである。上述の第４の実施形態等と重複する部分については、詳細な説明は適宜省略する。
【０５２４】
図５８は本実施形態に係る物品管理システム１００の全体構成の例を示したブロック図である。図５８では、第１の実施形態における図２と共通の構成要素については、図２と同一の符号を付している。
【０５２５】
まず、本実施形態における物品の形状データについて説明する。図６０（ａ）は本来の物品（例えば飲み物の缶）の形状（円筒）を示している。このような物品に対し、ステレオ視による三次元計測技術等を用いることにより、図６０（ｂ）のように物品の表面を複数の面で近似したポリゴンデータを得ることができる。各面は適当に定めた物品座標（図中のＸ’、Ｙ’、Ｚ’）上での頂点の座標の集合として記述される。また、各面には、いくつかの属性が付与されている。具体的には、その面が接地面としてふさわしい面かどうかのフラグ、人がその物品を掴むときに通常使用される面かどうかのフラグ等である。接地面としてふさわしい面とは、例えばコップの底面やジュース缶の底の面などである。人が掴むときに通常使用される面とは、例えば刃物の柄の部分やコップの取っ手部分などである。このような属性は、物品データの入力時に、他の属性と同様、人手で入力されること等によって付与される。このように、居住空間内に存在する物品には、人が掴む部分と人が掴まない部分とからなる特定の物品が含まれる。
【０５２６】
例えば、ある一つの面（例えば三角形ポリゴンの場合）のデータは、以下のように表される。
（ＰＩＤ，ｘ１’，ｙ１’，ｚ１’，ｘ２’，ｙ２’，ｚ２’，ｘ３’，ｙ３’，ｚ３’，１，０）
【０５２７】
上記データのうち、最初のＰＩＤは、その面の番号（物品データから一意に定まる番号）を示している。次の９値は物品座標での面の３頂点位置を示し、次の値「１」は、接地にふさわしい面であることを示している。なお、接地面としてふさわしくない場合は、この値は「０」となる。最後の値「０」は、人が通常掴まない面であることを示している。人が通常掴む面である場合には、この値は「１」となる。
【０５２８】
物品の姿勢データについては、第４の実施形態と同様であり、ここではその説明を省略する。
【０５２９】
次に、移動体を扱うデータベース（図５９参照）について説明する。移動体を扱うデータベースは、それぞれ移動体データ６０１、移動体履歴データ６０２、及び移動体属性データ６０３の３種類のデータを蓄積するサブデータベースからなり、それぞれのデータ内容は下記の通りである。
【０５３０】
移動体データ６０１は、個々の移動体を区別するためのＩＤと、当該移動体の移動履歴を格納した移動体履歴データ６０２へのポインタとから構成される。
【０５３１】
移動体履歴データ６０２は、時刻と、当該時刻における移動体の位置と、当該時刻における移動体の状態とから構成される。なお、移動体の位置は、平面上における座標（Ｘ、Ｙ）と、向きｒの３値によって表される。
【０５３２】
移動体属性データ６０３は、当該移動体の持つ固有の物理属性情報を蓄えるものであり、重さ、形状等がその一例として挙げられている。
【０５３３】
なお、移動体履歴データ６０２において、移動体の状態とは、移動体が人物であれば「座る」、「立つ」、「寝る」、「歩く」などの一般的な人間の動作を表し、移動体がロボットであれば「把持」、「解放」など、ロボットが物品に対して行うことのできる操作を表す。これらは、あらかじめ移動体毎に可能な状態を決めておき、それらのうちのどれかを選択するようにすればよい。なお、移動体がロボットの場合には、操作内容だけでなく、操作対象物品ＩＤと操作内容とを組にして表すこととする。
【０５３４】
移動体属性データ６０３には、例えば、それが作業ロボットであった場合、作業ロボットの重量、形状、及び把持手段の占有空間情報（動作制約情報の一部）等が記録されている。ここで把持手段の占有空間情報とは、物品を把持するために必要となる把持手段自身が占める空間の情報である。
【０５３５】
図６１は作業ロボットの把持手段１１２が物品７０１を把持するときに占有する空間を説明する図である。この具体例では、物品７０１の把持方法として、物品７０１を上方から把持する方法と、側方から把持する方法とがあり得る。上方から把持する場合には、把持物品７０１の上方に長さａの占有高さ７０２、横方向に長さｂ（ロボットハンドの厚み）の２倍分だけの占有領域７０３が必要となる。一方、側方から把持する場合には、横方向に長さｂの２倍分だけの占有領域７０３を考慮しておけばよい。
【０５３６】
後述するように、本物品管理システム１００の機能の一つとして、ロボット１０２が把持物品を目的の設置位置に移動させる際、設置位置の状況を踏まえて、把持物品の持ち替えが不要なように予め把持位置を決定しておく機能がある。このような機能を発揮するためには、例えば、指定された設置位置にどれくらいのスペースがあるか等を予め知っておく必要があり、物品の情報として、物品がどの場所にどのような姿勢で置かれているか等をデータベースに蓄えておくことが望ましい。しかし、そのためには、必ずしも過去にさかのぼった履歴データまでは必要とせず、常に最新の情報を把握していれば足りる。ただし、以下に説明する例は、最新の情報だけでなく、物品及び移動体の履歴も記録する例である。
【０５３７】
物品移動体データベース１０６のデータ更新の例については、第１の実施形態で示したとおりである。
【０５３８】
＜環境マップ＞
環境マップは、部屋や家具などの通常ほとんど移動しない不動物体の構造情報から成る。構造情報とは、少なくとも不動物体が占める空間内部及びその上部に存在する、他の物体を設置可能な面（例えば、部屋であれば床、収納であれば棚）の領域情報（例えば、その面の外接多角形の頂点）と上部の高さを言う。
【０５３９】
ただし、上方への高さとは、設置面に対して実質的に垂直な方向への距離を言い、必ずしも上下方向の距離のみを意味する訳ではない。
【０５４０】
環境マップのデータ例、環境マップ管理手段、および環境管理サーバの制御手段については、第４の実施形態と同様であり、ここでは説明を省略する。
【０５４１】
−作業ロボットの構成−
作業ロボットの構成も上述の第４の実施形態等と同様であるが、設置位置決定手段１１９および設置位置決定手段１２０に代えて、把持手段１１２（保持手段のより具体的な形態）による物品の把持位置を決定する把持位置決定手段１５０（把持手段１１２ではなく、より一般的に保持手段を用いる場合は保持位置決定手段）を備えている。
【０５４２】
把持位置決定手段１５０は、把持物品の情報や指定された設置位置の情報を環境管理サーバ１０１に問い合わせ、把持手段１１２が把持物品を持ち替えずに設置位置に設置できるように、把持手段１１２の把持位置を決定する。
【０５４３】
また、把持位置決定手段１５０は、把持手段１１２が移動対象物品を把持する前に、移動対象物品が設置位置と接する領域である接地領域を予め選定し、上記把持手段１１２が前記接地領域を覆わないように把持位置を決定する。
【０５４４】
把持位置決定手段１５０は、環境管理サーバ１０１に問い合わせることにより、指定された設置位置の許容スペースを調べ、前記接地領域として、少なくとも前記移動対象物品を前記許容スペースに収めるような接地領域を選定する。なお、ここで「スペース」とは、２次元領域、高さ、又は２次元領域と高さとで規定される３次元空間を意味し、設置位置の許容スペースとは、例えば当該スペースが直方体状の空間の場合には、設置可能領域×上方高さを意味する。
【０５４５】
また、把持位置決定手段１５０は、環境管理サーバ１０１に問い合わせることにより、指定された設置位置の許容面積を調べ、前記接地領域として、前記許容面積よりも小さな面積を有する接地領域を選定することが好ましい。また、設置の際における把持手段１１２自身の占有面積を考慮し、前記接地領域として、前記許容面積から把持手段１１２の必要面積（設置動作に必要な設置面上の面積）を除外した残りの面積よりも小さな面積を有する接地領域を選定することが好ましい。
【０５４６】
把持位置決定手段１５０は、環境管理サーバ１０１に問い合わせることにより、指定された設置位置の許容高さを調べ、前記接地領域として、設置時の移動対象物品の高さが前記許容高さ以下になるような接地領域を選定する。また、設置の際における把持手段１１２自身の占有高さを考慮し、前記接地領域として、設置時の移動対象物品の高さが前記許容高さから把持手段１１２の必要高さ（設置動作に必要な高さ）を除外した残りの高さ以下になるような接地領域を選定することが好ましい。
【０５４７】
なお、把持位置決定手段１５０の詳しい動作については後述する。
【０５４８】
なお、図５８では、本物品管理システム１００が環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の３つのサブシステムからなり、それらサブシステムが無線または有線などのネットワークを介して互いに情報をやりとりするような構成をなす例を示した。しかし、本発明に係る物品管理システムの構成は、上記構成に限定されるものではない。例えば、操作端末１０３が環境管理サーバ１０１あるいは作業ロボット１０２に付随されている構成であってもよい。また、ロボット１０２も１台ではなく、複数台が協調しながら作業を並行して行う構成でも構わない。さらに、作業ロボット１０２の移動計画作成手段１１３および把持位置決定手段１５０を環境管理サーバ１０１に持たせて、その計算結果を送信するようにしてもかまわない。
【０５４９】
−物品管理システムの動作−
以降では、本物品管理システム１００の動作、すなわち、環境管理サーバ１０１、作業ロボット１０２、及び操作端末１０３の各サブシステムにおける制御手段１１０，１１５，１１８がどのように動作するかを説明する。
【０５５０】
各サブシステムにおけるメッセージの基本的なやりとりの仕組みは、第４の実施形態と同様であり、ここではその詳細な説明を省略する。
【０５５１】
ここでは具体的な作業として、オペレータが指定した物品を指定した場所に移動させる例として、本を本棚に移動させる例を取り上げる。なお、本棚が複数段あるときには、操作端末１０３の操作により、何段目の棚に設置するかを指定できるようになっているものとする。
【０５５２】
操作端末１０３の制御手段１４４の処理構成は、第４の実施形態で示した図４３と同様である。
【０５５３】
操作メッセージ生成部１５０１は、物品操作手段１４２にオペレータからの指示が入力されると、指示を含んだメッセージをメッセージキュー１３０２にため込む。図６２は、オペレータが前記表示手段１４３を参照しながら、マウスを用いて物品（本）を床（座標（Ｘ０，Ｙ０，Ｚ０））から本棚（座標（Ｘ１，Ｙ１，Ｚ１））にドラッグ操作した例を示している。図６３は、この時に操作メッセージ生成部１５０１で生成されるメッセージの一例を示している。図６３中の番号１〜６及び１１の項目は、正しくメッセージを受信するのに必要な項目であるが、メッセージの内容とは無関係なので、ここでは説明を省略する。ここでは、送信元（オペレータを示す“Ｐ０”）から送信先（操作端末を示す“Ｉ０”）にコマンド（ロボットへの物品移動コマンド“０１”）を送るメッセージが表されている。番号１０の引数は、一つ（最初の“００１”は移動する物品の個数）の物品（座標（Ｘ０，Ｙ０，Ｚ０）にある物品）を座標（Ｘ１，Ｙ１，Ｚ１）の位置に移動することを意味している。複数の物品を移動する場合は、各物品につき、現在の位置と移動先の位置とが交互に並べられる。
【０５５４】
操作端末１０３におけるメッセージ処理部１３０３の処理は、第４の実施形態で示した図４６と同様であり、一つの作業単位を作業ロボット１０２へ送る場合のメッセージの一例は図４７のとおりである。
【０５５５】
次に、作業ロボット１０２の制御手段１１５の動作について説明する。図６４は作業ロボット１０２の制御手段１１５の処理構成を示している。
【０５５６】
作業ロボット１０２は、電源がＯＮされるとその直後に一度だけ初期設定を行う。この初期設定には、例えば、通信路の確立や各スレッドプログラムの実行等が含まれる。メッセージ受信部１３０１は、上述した操作端末１０３から送られた作業単位を含んだメッセージ（図４７参照）を送受信手段１０９で受け取り、そのメッセージをメッセージキュー１３０２に蓄える。図６５に、作業ロボット１０２が理解できるメッセージの一例を示す。
【０５５７】
図６６は、作業ロボット１０２におけるメッセージ処理部１３０３の処理のフローチャートである。メッセージ処理部１３０３に入力されるメッセージは、例えば、前記操作端末１０３から送られた作業単位を含むメッセージである。ここではまず、ステップＳ２４０１、Ｓ２４０２及びＳ２４０３においてどの作業単位かを判定し、それぞれの作業単位に合った処理を実行する。
【０５５８】
まず、ステップＳ２４０１で作業単位が「移動」であった場合、ステップＳ２４０４に進み、指示位置までの経路を移動計画作成手段１１３を用いて求める。次にステップＳ２４０５において、移動計画作成手段１１３で求まった経路に従って移動する制御コマンドを移動手段１１４に送り、前記指示位置まで移動処理を実行する。例えば図４７のメッセージを受け取った場合には、このようなフローが実行される。
【０５５９】
一方、ステップＳ２４０２で作業単位が「把持」であった場合、ステップＳ２４０６に進み、把持を行うために前記センサ（例えばカメラ）１１１を用いて物品の姿勢を検出し、ステップＳ２４０７において、前記物品の把持位置を計算する。把持位置は、予め設置位置の状況に応じて前記物品の設置姿勢を想定し、前記物品を当該設置姿勢で設置するのに適した位置に決定される。ここで、想定した前記物品の設置姿勢はメモリ等に記憶しておき、次に述べる設置作業時（図６６のステップＳ２４１１参照）のアーム２０１及びハンド２０２の動作計算に用いる。次に、ステップＳ２４０８においてアーム２０１及びハンド２０２の動作を計算し、ステップＳ２４０９において、物品を把持するコマンドを把持手段１１２に送り、物品を把持する。なお、ステップＳ２４０６ではセンサを用いて物品の姿勢を検知するとしたが、環境管理サーバ１０１に物品の姿勢を問い合わせることにより物品の姿勢を認識するようにしてもよい。物品の現在の姿勢は前記物品の履歴データ（図６参照）に記録されている。
【０５６０】
さらに、ステップＳ２４０３で作業単位が「設置」であった場合、把持作業時にメモリに記憶した設置姿勢又は指定された設置姿勢に合うように、アーム２０１及びハンド２０２の動作を計算し（ステップＳ２４１０）、アーム２０１及びハンド２０２を動作させる制御コマンドを発行して把持物品を設置する（ステップＳ２４１１）。
【０５６１】
最後に、ステップＳ２４１２において、移動、把持及び設置が終了した旨をメッセージとして作業指示元（操作端末）に送信する。
【０５６２】
本発明の特徴の一つは、この作業ロボット１０２のメッセージ処理部１３０３における把持メッセージを受けた時の処理にある。この処理は、持ち替えを必要とする従来の技術と異なっている。すなわち、本物品管理システム１００においては、把持位置決定手段１５０を用いて、把持する物品の設置位置の状況等に応じて把持位置を計算し、持ち替えを必要としない物品の移動を行う。
【０５６３】
図６７は、把持位置決定手段１５０の動作を示すフローチャートである。本動作では、まずステップＳ２５０１において、設置位置が箱の内部であるかどうかを判定する。これは、環境管理サーバ１０１にメッセージ（図７１のコマンド番号１２参照）で問い合わせることにより実現できる。設置位置が箱の内部であった場合、設置姿勢は問われないので、把持位置も特に限定されない。そこで、ステップＳ２５０２において、把持可能な任意の部分を把持位置に設定する。なお、把持位置を見つける方法は後述する。
【０５６４】
一方、設置位置が箱の内部でなかった場合、ステップＳ２５０３に進み、設置位置が人の存在する位置であるか否かを判定する。つまり、移動対象物品を人に手渡す場合であるか否かを判定する。設置位置における人の有無は、前記物品移動体データベース１０６に問い合わせることで知ることができる。設置位置が人の存在する位置である場合、ステップＳ２５０４に進み、人が持たない部分を把持位置に設定する。物品のどの部分を人が持つかは、前述したような前記物品移動体データベース１０６の形状データ等を参照することにより知ることができる。ステップＳ２５０３の判定の結果、設置位置が人の存在する位置でなかった場合には、ステップＳ２５０５に進み、設置位置の許容領域の形状や上方への高さ（許容高さ）に関する情報を取得する。
【０５６５】
設置位置の許容領域は、前記環境マップ１０８と物品移動体データベース１０６とに問い合わせることで知ることができる。図６８は、設置位置２６０１の許容領域を求める方法の説明図である。具体的には、環境管理サーバ１０１から環境マップ１０８（図３５参照）の情報を取得し、次に物品移動体データベース１０６から物品及び移動体（図示せず）の位置、形状及び姿勢の情報を取得し、物品及び移動体の存在領域を平面モデル化された環境マップ（図６８参照）に上方から投影する。その結果、環境マップに何も投影されていない領域として、許容領域２６０３（図６８においてハッチングで示された領域）を得ることができる。ただし、許容領域２６０３は設置位置と同じＺ座標値を持つ平面に限るので、図６８の場合、異なる高さを持つ家具２６０４や移動体（図示せず）などの領域は許容領域から除外される。また、設置位置の上方への高さ（この例では、本棚の棚間の高さ）は環境マップの家具データ１１０５から得ることができる。前述したように、家具を構成する面にはその上方への高さに関する情報が付加されている。
【０５６６】
以上のようにして、ステップＳ２５０５において、設置位置の許容領域や上方への高さを知ることができる。次に、ステップＳ２５０６において、作業ロボット１０２の属性データから把持手段１１２の占有空間情報を得る。
【０５６７】
最後に、ステップＳ２５０７で、移動対象物品が前記設置位置の許容領域の形状及び上方への高さに収まるよう把持位置を決める。具体的には、まず、設置位置の許容領域の形状に収まる物品の接地面の候補を探す。ただし、実際には把持手段１１２は自分自身の占有領域を必要とするので（例えば、側方から把持する場合）、把持手段１１２の占有領域を考慮して、物品の接地面の候補を探し出す。例えば、ステップＳ２５０６で得た前記占有空間情報に基づき、前記許容領域の横幅をロボットハンド２０２の厚みｂ（図６１参照）の２倍分だけ狭めた形状に収まるように、物品の接地面候補を探す。
【０５６８】
ここで、前述したように、物品の形状はポリゴンモデルとして前記物品属性データ３０３に記憶されており、接地面の候補は、各面（ポリゴン）に付与されたフラグを用いることで知ることができる。もちろん、全ての面を接地面の候補としてもよい。
【０５６９】
次に、各接地面の候補を接地させた場合の物品の高さが前記上方への高さに収まるかを判定し、収まらない接地面を前記接地面の候補から排除する。そして、残された接地面を前記設置位置の許容領域に接地した時の物品の姿勢を想定し、前記把持手段が物品をその姿勢で無理なく設置できる位置を把持位置とする。
【０５７０】
本例では、各接地面に対して予め把持面として所定の２面を１組又は複数組定めておき、それら２面の各重心位置をロボットハンド２０２の把持位置とする。図６９（ａ）は、図６９（ｂ）に示す物品２８００を例として、接地面と把持面との関係を示したテーブルである。例えば、面Ａ１を接地面とする場合、把持面として、（Ａ３，Ａ８）、（Ａ４，Ａ９）、（Ａ５，Ａ１０）、（Ａ６，Ａ１１）、（Ａ７，Ａ１２）の５組の組み合わせが考えられる。このようなテーブルを参照することで、把持位置を決定することができる。本例では、各接地面に対し複数の把持位置が存在するが、このうちの一つとして、例えば、２面間の距離が小さいものでかつハンド２０２の姿勢をできるだけ変更しなくてもよいものを選べばよい。
【０５７１】
なお、指定した設置位置が他の物品に囲まれていることを想定し、基本的には、物品は設置姿勢に対して上方から把持するものとする。しかし、設置したときの物品の高さと前記占有空間情報から得られる把持手段１１２の上方の占有高さａ（図６１参照）とを合わせた長さが、前記設置位置の上方の高さを上回っている場合には、物品の設置姿勢に対して側方から把持することが好ましい。
【０５７２】
また、ここでは接地領域（面）を選択する際、移動対象物品が設置位置の許容領域と許容高さとを共に満足する空間に収まるように選択したが、許容領域又は許容高さのどちらかに収まるように選択してもよい。
【０５７３】
このように、物品を把持する際、設置位置の状況及び設置姿勢を先に考慮して把持することで、持ち替えを必要としないスムースな物品の運搬が可能となる。
【０５７４】
本物品管理システム１００では、結果的に、事前に設置姿勢を考慮して物品を把持するので、接地面を把持手段１１２で覆うことを避けることができ、持ち替えをせずに物品を運搬することができる。例えば、無造作に置いてある本を本棚に運んで並べる場合、事前に本棚の高さを考慮し、その高さに収まるように本を把持することができるので、持ち替えを行わずに本を本棚に並べることが可能となる。また、はさみや包丁などの刃物を人に渡す場合、事前に人が持つ部分（包丁であれば柄の部分）を把持せず刃の部分を把持するので、持ち替え動作を伴うことなく、人にとって安全かつ便利に物品を渡すことができる。
【０５７５】
なお、作業ロボット１０２が作業している間は、どのタイミングであっても、指定された動作が実行できない等のトラブルが起これば、作業指示元（この例では操作端末１０３）に対してエラーメッセージを送信し、作業を一時中断する。
【０５７６】
また、作業ロボット１０２は、通常は自己の車輪等の動作量（回転数、回転角度等）を用いて自己位置を計測しているが、床面と車輪とのスリップや避けきれなかった障害物との衝突などに起因して自己位置がずれてくる場合も考えられる。そこで、この位置ずれを補正するために、環境管理サーバ１０１に自己位置の問い合わせを定期的に行うようにしてもよい。さらに、物品名が指定されて把持するときには、物品の形状等の属性を調べ、当該属性をカメラなどのセンサで目前の物品のうちどれが指定された物品かを探し出すときの手がかりに使うことができる。従って、必要に応じて、物品の属性や作業ロボット１０２の自己位置、あるいは、移動計画作成手段１１３に必要な環境マップ１０８等を、環境管理サーバ１０１に問い合わせてもよい。なお、これらの問い合わせも、環境管理サーバ１０１に問い合わせのメッセージを送り、その回答を受け取ることで実現される。
【０５７７】
環境管理サーバ１０１の制御手段１１０の動作は、第４の実施形態と同様であり、ここでは説明を省略する。
【０５７８】
以上、本発明の実施形態に係る物品管理システム１００について、その構成及び動作の説明を行った。
【０５７９】
これにより、家庭やオフィス等において作業ロボットに物品の運搬作業を行わせる際、どのような形状又はどのような種類の物品でも持ち替えを行わないよう把持することができ、効率的かつ安全な運搬作業を行わせることができる。
【０５８０】
−発明の効果−
本発明によれば、居住空間内に存在する物品を管理するシステムにおいて、作業ロボットに物品を移動させる際に移動対象物品の持ち替えが不要になるので、物品の移動をスムーズに行うことができる。また、持ち替えが不要であるので、作業ロボットの保持手段の構成を簡単化することができる。また、作業者が物品の把持姿勢や設置姿勢を指定する煩わしさを軽減することができる。
【０５８１】
（第６の実施形態）
ここでの本発明は、その目的とするところは、一般家庭、オフィス、ホテル、店舗及び病院等の、人が活動を行う生活空間内でロボットに物品の取扱い作業を実行させる非産業用の物品取扱いシステムにおいて、ロボットに実行させる作業内容の指定を容易化して、誰もが容易にロボットの操作を可能にすることにある。
【０５８２】
本発明の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。このシステムは、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する。
【０５８３】
この構成によると、入力手段で入力される作業命令は、ロボットの作業対象物品とその対象物品の移動先とで構成される。
【０５８４】
この作業命令を受けて、作業計画作成手段は、ロボットが対象物品を移動先に移動させるための作業計画を、その移動先への作業を補完しつつ作成する。
【０５８５】
つまり、ユーザが「物品を所望の移動先に移動させる」という作業内容を指定すれば、作業計画作成手段が、ロボットがその物品をその移動先に移動させるという作業計画を作成するため、ユーザが指定した対象物品が指定した移動先に移動される作業が実行される。このときに、上記作業計画作成手段は、移動先に応じた、その移動先への作業を補完した作業計画を作成するため、ユーザは、物品の移動先を考慮した作業を追加して指定しなくてもよい。これにより、ロボットに実行させる作業内容の指定が容易化されて、誰もが容易にロボットの操作が可能になる。
【０５８６】
上記移動先は、物品を収容する収容部を有する設備を含み、上記作業計画作成手段は、作業命令に含まれる移動先が上記収容部を有する設備であるときには、上記収容部に物品を入れるために必要な設備の動作を作業計画に追加してもよい。ここで、「設備」とは、生活空間内に置かれていて、物品に対する特定の機能を果たすものを含む。例えば家電機器や収納家具は、ここでいう設備に含まれ、家電機器の一つである冷蔵庫は、物品を収納してその物品の冷却を行う機能を果たす。家電機器の一つである電子レンジは、物品を収納してその物品を加熱する機能を果たす。また、収納家具は、物品を収納する機能を果たす。
【０５８７】
上記対象物品は、設備の収容部に収容された物品を含み、上記作業計画作成手段は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備の動作を作業計画に追加してもよい。
【０５８８】
上記設備の収容部にはドアが設けられており、上記作業計画作成手段は、上記ドアの開閉動作を作業計画に追加してもよい。
【０５８９】
上記移動先は、物品に対する作用を施す設備を含み、上記作業計画作成手段は、作業命令に含まれる移動先が上記作用を施す設備であるときには、対象物品に作用を施すための設備の動作を作業計画に追加してもよい。
【０５９０】
このとき、上記作業計画作成手段は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加してもよい。
【０５９１】
上記設備は、作業計画を受けて、その作業計画に含まれる設備の動作を実行するものとしてもよい。
【０５９２】
上記システムは、ロボットが作業内容に従って作業を開始する前に、作業計画作成手段が作成した作業計画を報知する報知手段をさらに備えてもよい。
【０５９３】
上記システムは、生活空間内の状況を管理する空間管理データベースをさらに備え、上記作業計画作成手段は、上記空間管理データベースを参照しながら作業計画を作成するのがよい。
【０５９４】
本発明の他の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。
【０５９５】
このシステムは、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。
【０５９６】
本発明のさらに他の物品取扱いシステムは、所定の生活空間内に存在する物品の取扱いを行うシステムである。
【０５９７】
このシステムは、上記物品の取扱い作業を行うロボットと、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備える。
【０５９８】
本発明の物品取扱いサーバは、所定の生活空間内に存在する物品の取扱いを行うためのサーバである。
【０５９９】
この物品取扱いサーバは、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成する。
【０６００】
本発明の他の物品取扱いサーバは、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。
【０６０１】
本発明のさらに他の物品取扱いサーバは、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備える。
【０６０２】
すなわち、ここでの態様１では、所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものを提供する。
【０６０３】
態様２では、態様１において、移動先は、物品を収容する収容部を有する設備を含み、作業計画作成手段は、作業命令に含まれる移動先が上記収容部を有する設備であるときには、上記収容部に物品を入れるために必要な設備の動作を作業計画に追加する。
【０６０４】
態様３では、態様１において、対象物品は、設備の収容部に収容された物品を含み、作業計画作成手段は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備の動作を作業計画に追加する。
【０６０５】
態様４では、態様２又は態様３において、設備の収容部にはドアが設けられており、作業計画作成手段は、上記ドアの開閉動作を作業計画に追加する。
【０６０６】
態様５では、態様１において、移動先は、物品に対する作用を施す設備を含み、作業計画作成手段は、作業命令に含まれる移動先が上記作用を施す設備であるときには、対象物品に作用を施すための設備の動作を作業計画に追加する。
【０６０７】
態様６では、態様５において、作業計画作成手段は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加する。
【０６０８】
態様７では、態様２〜態様６のいずれか１態様において、設備は、作業計画を受けて、その作業計画に含まれる設備の動作を実行する。
【０６０９】
態様８では、態様１〜態様６のいずれか１態様において、ロボットが作業内容に従って作業を開始する前に、作業計画作成手段が作成した作業計画を報知する報知手段をさらに備える。
【０６１０】
態様９では、態様１〜態様６のいずれか１態様において、生活空間内の状況を管理する空間管理データベースをさらに備え、作業計画作成手段は、上記空間管理データベースを参照しながら作業計画を作成する。
【０６１１】
態様１０では、所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成する。
【０６１２】
態様１１では、所定の生活空間内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボットと、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備えるものを提供する。
【０６１３】
態様１２では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものを提供する。
【０６１４】
態様１３では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成するものを提供する。
【０６１５】
態様１４では、所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備えるものを提供する。
【０６１６】
本発明の第６の実施形態は、いわゆる生活空間において、その空間内に存在する物品の移動作業を作業ロボットに実行させる物品取扱いシステムに関するものである。本実施形態では、一般家庭等の建物内のある一つの部屋を、物品取扱いシステムの対象空間（以下これを環境と呼ぶ）とする。
【０６１７】
図７０は本実施形態に係る物品取扱いシステムの全体構成の例を示すブロック図である。図７０では、第１の実施形態における図２と共通の構成要素については、図２と同一の符号を付している。本システムは、図７０に示すように、環境管理サーバ101 （以下、単にサーバと省略することもある）、作業ロボット102 （以下、単にロボットと省略することもある）、及び操作端末103 、設備104 の大きく分けて４つのサブシステムから構成される。これら４つのサブシステム101 〜104 は、無線又は有線のネットワークを介して接続されていて、このネットワークを介して情報のやり取りを行うように構成されている。
【０６１８】
４つのサブシステム101 〜104 はそれぞれ、制御手段110 ，115 ，119 ，１６２ と送受信手段109 とを備えている。ここで、各サブシステム101 〜104 の送受信手段109 は処理が同じであるため、同じ符号を付すことにする。
【０６１９】
センシング手段１２０については、第１の実施形態と同様であり、ここでは説明を省略する。
【０６２０】
−環境管理サーバの構成−
１番目のサブシステムである環境管理サーバ101 は、センシング手段120 によって把握した状況のうち、環境内に存在する物品（ロボット102 が取扱い作業可能なもの）と移動体（人や作業ロボット102 等の主として物品の取扱いを行うもの）との状況を管理する物品／移動体検索・管理手段105 及びその物品及び移動体のデータを蓄積する物品／移動体データベース106 と、上記物品及び移動体以外の環境全体の状況を管理する環境マップ管理手段107 及びその環境全体のデータを蓄積する環境マップ108 と、物品／移動体データベース106 のデータや環境マップ108 のデータの問い合わせ（信号）を外部から受信したり、その応答信号を外部に発信したりする送受信手段109 と、これらの手段120 ，105 ，107 ，109 をコントロールする制御手段110 とからなる。
【０６２１】
物品／移動体検索・管理手段105 は、センシング手段120 によって検出されたり、ユーザによって入力されたりした環境内に存在する各物品及び移動体の情報を、物品／移動体データベース（ＤＢ）106 に蓄積するものである。このＤＢ106 の詳細は後述するが、ＤＢ106 に蓄積する情報には、少なくとも物品及び移動体の現在位置が含まれる。
【０６２２】
また、上記物品／移動体検索・管理手段105 は、環境管理サーバ101 の外部から送受信手段109 及び制御手段110 を介して、物品／移動体ＤＢ106 に問い合わせがあった場合には、その問い合わせの内容に応じて必要な情報を物品／移動体ＤＢ106 から取り出し、その情報を制御手段110 に送る処理も実行する。これによりユーザは、操作端末103 に、日付や物品の種類等の、物品の属性を絞り込むための検索キーを入力することで、物品／移動体ＤＢ106 に蓄積されている情報によってその物品の現在位置を検索することも可能になる。
【０６２３】
さらに、後述するロボット102 及び操作端末103 からサーバ101 に対して物品の情報登録・更新の要請を受けたときには、物品／移動体検索・管理手段105 は、上記物品／移動体ＤＢ106 の登録・更新を行う。
【０６２４】
上記物品／移動体ＤＢ106 へのアクセスは、物品／移動体検索・管理手段105 のみに許可されており、これによって、本システムは、同じデータに対して書き込みと読み出しが同時に行われないようにしている。
【０６２５】
環境管理サーバ101 の物品／移動体ＤＢ106 は、物品及び移動体の情報を蓄積するＤＢであり、物品を扱う物品データベース106a（図７１）と、移動体を扱う移動体データベース（図示省略）とからなる。
【０６２６】
上記物品ＤＢ106aは、個々の物品について次の５つの属性を有するように構成される。
【０６２７】
１）物品ＩＤ：個々の物品を区別するためのＩＤであり、各物品に一つずつ割り当てられる。従って、環境内に同じ種類の物品が複数存在していても物理的に別の存在であれば、それらは別の物品として扱うため互いに異なるＩＤが割り当てられる。
【０６２８】
２）物品名称：当該物品の種類を表す名称であり、上記物品ＩＤとは異なり、環境内に同じ種類のものが複数存在しても割り当てられる名称は同じである。
【０６２９】
３）時刻：当該物品が最も最近に移動体（人・ロボット102 ）によって取り扱われた時刻である。
【０６３０】
４）場所：当該物品が最も最近に移動体によって移動した位置（物品の現在位置）である。場所は、後述する環境マップ108 に登録されている環境属性データ602 又は設備属性データ603 のＩＤ番号で指定する。また、そのＩＤ番号だけでは物品の空間的位置が特定し難い、又は特定できないときには、ＩＤ番号に物品の現在位置を示す座標値（図７６に示す世界座標系）を付加することで物品の空間的位置を特定する。物品の現在位置が、例えば「冷蔵室」内や「冷凍室」内といった設備の内部であるとき（物品の現在位置が、後述する設備属性データ603 に含まれるとき）には、その「冷蔵室」や「冷凍室」を示すＩＤ番号だけで、物品がそれらの中に存在していることが特定可能になり、物品の空間的位置が特定できる。このため、ＩＤ番号に座標値を付加する必要はない（図例では、「Freezer-0001」）。一方、物品の現在位置が、例えば「床」上であるとき（物品の現在位置が後述する環境属性データ602 に含まれるとき）には、床の範囲は比較的広いため「床」を示すＩＤ番号だけでは物品の空間的位置を特定し難い又は特定できない。この場合は、ＩＤ番号に座標値を付加することによって、物品の空間的位置を特定可能にする（図例では、「floor-0001（x1、y1,0 ）」）。ＩＤ番号に座標値を付加するか否かの判断は、物品の現在位置が、環境属性データ602 に含まれるか、設備属性データ603 に含まれるかだけに基づくのではなく、上記物品の取扱い作業を実行するロボット102 の性能を考慮して判断するのが好ましい。例えば物品が冷蔵室内に収容されているときであっても、ロボット102 の性能が非常に低く、ロボット102 が物品を把持するには冷蔵室内におけるその物品の正確な座標値が必要であるときには、冷蔵室を示すＩＤ番号で物品の現在位置が特定できるとしても、そのＩＤ番号に座標値を付加することが好ましい。
【０６３１】
また、物品ＤＢ106aに置ける物品の現在位置の初期設定や、その物品が移動したときの現在位置の更新は、可能な限りは上記センシング手段120 によって検出した検出結果に基づいて自動で行うことが好ましい。但し、自動で行うことができないときには手動で行ってもよい。
【０６３２】
５）物品画像：当該物品を示す画像である。
【０６３３】
ここでは、物品ＤＢ106aが、各物品の特徴を区別するために５つの属性を有する例を示したが、物品ＤＢ106aは、必要に応じてそれ以外の属性を有するようにしても良い。例えば物品ＤＢ106aが、物品の３次元形状のデータ、物品のより正確な位置データ、及び物品の姿勢データを有していれば、ロボット102 は、これらのデータを利用して物品を把持する動作をより容易に実行することができる。
【０６３４】
次に、図７１〜図７４を参照しながら、物品ＤＢ106aの更新について具体的に説明する。図７３及び図７４は、本システムの対象となる環境内の様子を示す図であり、図７３と図７４とでは、その時刻が互いに異なる。ここでは、図７３は２００２年１０月１０日、９：００の時点での環境内の様子を示し、図７４は２００２年１０月１０日、２０：００の時点での環境内の様子を示すものとする。また、図７１に示す物品ＤＢ106aは、図７３に示す時刻の環境に対応するものであり、図７２に示す物品ＤＢ106aは、図７４に示す時刻の環境に対応するものである。
【０６３５】
図７１に示す物品ＤＢ106aには、２００２年１０月１０日、９：００の時点で環境内に存在する物品として、缶ジュース、弁当、手帳、バナナ、紙くず、アイスクリーム、アイスキャンデー、の７つの物品が登録されている。このうち、缶ジュース（D-0001）、弁当（F-0001）、手帳（S-0001）、バナナ（F-0002）、紙くず（O-0001）の５つの物品は、図７３に示すように、環境内の床上に置かれている。このため、これらの物品についての場所の属性は「床」のＩＤ番号である「floor-0001」となる。これと共に、そのＩＤ番号にはその各物品の現在位置に対応する座標値が付加されている。一方、アイスクリーム、アイスキャンデーの２つの物品は、図７３には明示されていないが冷凍室内の収容されている。このため、これらの物品についての物品データベースの場所の属性は「冷凍室」のＩＤ番号である「Freezer-0001」となる。このＩＤ番号には座標値は付加されていない。
【０６３６】
２００２年１０月１０日、１０：００の時点に、ユーザによる指示に応じてロボット102 が床上に置かれている、缶ジュース、弁当、手帳、バナナ、紙くずの各物品を片付ける作業を実行する（ユーザの指示に応じてロボット102 が行う作業については後述する）と共に、ユーザが冷凍室内のアイスクリームおよびアイスキャンデーを食べたとする。これにより、図７４に示すように環境内の様子は変化する。また、物品データベース106aには、図７２に示すように、２００２年１０月１０日、２０：００の時点で環境内に存在する物品として、缶ジュース、弁当、手帳、バナナ、紙くずの５つの物品が登録されている。このうち、缶ジュースはロボット102 によってゴミ箱（リサイクルゴミ箱）に移動されたため、場所の属性はリサイクルゴミ箱を示す「wastebasket-0002」に変わる。同様に、弁当及びバナナの場所の属性はそれぞれ冷蔵室を示す「refrigerator-0001 」に変わり、手帳の場所の属性はテーブルを示す「table-0001」に変わり、紙くずの場所の属性は一般ゴミ箱を示す「wastebasket-0001」に変わる。
【０６３７】
これに対し、ユーザが食べることで環境内から消滅したアイスクリーム、及びアイスキャンデーは、物品ＤＢ106aから削除されている。こうした物品ＤＢ106aから物品を削除する処理は、ユーザが物品が消滅したことを入力することによって行ってもよいし、その物品に付与された電子タグによって物品が消滅したことを判定して自動で行ってもよい。具体的には、ゴミ箱に電子タグのリーダライタを取り付けておき、物品に付された電子タグがゴミ箱に入れられたことをゴミ箱に取り付けたリーダライタが検出したことを受けて、その電子タグに対応する物品を物品ＤＢ106aから削除するようにすれば、物品ＤＢ106aから物品を削除する処理を自動的に行うことができる。
【０６３８】
また、食品が典型的であるが、実世界から事実上消滅する場合がある物品は、上記の例のように、その消滅時点で物品ＤＢ106aから削除してもよいが、物品ＤＢ106aから削除するのではなく、ＤＢ106aに登録したままにする一方で、ＤＢ106aの場所の属性には、設備や環境のＩＤを記述する代わりに、物品を消滅させた移動体を記述する（例えば、食べられたことで消滅したのであれば、その食べた人物のＩＤを記述する）ようにしてもよい。
【０６３９】
このように物品データベース106aは、物品／移動体検索・管理手段105 によって、環境内での物品の移動や消滅に伴い逐次更新される。それによって、物品データベース106aは、常に最新の情報が登録された状態にされる。
【０６４０】
一方、移動体データベースは、図示は省略するが、少なくとも、移動体ＩＤ、移動体名称、時刻、場所の属性を有するように構成される。また、移動体データベースも、物品／移動体検索・管理手段105 によって、環境内の状態に応じて逐次更新され、それによって、移動体データベースは、常に最新の情報が登録された状態にされる。
【０６４１】
環境管理サーバ101 の環境マップ管理手段 108 は、環境全体のデータを蓄積する環境マップ108 を、センシング手段120 からの情報や、ユーザが入力した情報に基づいて作成すると共に、その作成した環境マップ108 の管理を行うものである。
【０６４２】
また、上記環境マップ管理手段107 は、制御手段110 から環境マップ108 に問い合わせがあった場合に、その問い合わせの内容に応じて必要な情報を制御手段110 に送ることも行う。
【０６４３】
上記環境マップ108 は、上述したように、設備や環境のＩＤを参照するために利用されるだけでなく、ロボット102 が環境内を移動する際に利用されるものである。ロボット102 は、後述するように、この環境マップ108 をサーバ101 から取得して移動経路の計画を立てる。
【０６４４】
環境マップ108 は、例えば環境の実状況が、図７５（ａ）に示される場合に、その実状況を立体モデルで簡略化したもの（図７５（ｂ））を環境マップ108 としてもよい。また、図７５（ｃ）に示すように、さらに平面モデルで簡略化したものを環境マップ108 としてもよい。さらに、図７５（ａ）に示される環境の実状況をそのまま立体モデル化したものを、環境マップ108 としてもよい。すなわち、環境マップ108 は、そのマップの用途や、そのマップ作成にかけることのできる時間（手間）に応じて作成すればよい。例えば、立体モデルからなる環境マップを極めて短時間で作成する必要があるときは、環境内に存在する立体物を、その立体物を覆う最小の直方体でモデル化すればよい。図７５（ｂ）に示す環境マップ108 はその例であり、例えばテーブルは直方体でモデル化している。平面モデルからなる環境マップも同様であり、図７５（ｃ）に示す環境マップ108 では、テーブルは平面に正射影した矩形領域（斜線を付した領域）でモデル化している。また、この平面モデルからなるマップ108 では、こうして設定した領域をロボット102 が移動不可能な領域に設定する。
【０６４５】
図７６は環境マップ108 のデータの一例を示した図で、図例のデータは、図７５に示す環境に対応するデータである。環境マップ108 のデータは、環境に含まれる床面のＩＤ番号と環境内に存在する設備104 のＩＤ番号とのリストである環境データ601 と、環境属性データ602 と設備属性データ603 との３つのデータから構成される。
【０６４６】
環境データ601 には、環境に互いに高さ異なる複数の床面が存在するときには、その床面の数だけ床面データが登録される（floor-0001，floor-0002，…）。
【０６４７】
上記環境属性データ602 とは、環境（部屋）の詳細なデータであって、環境データ601 に登録されている床面毎にデータが蓄積されている。環境属性データ602 は、床面を構成する各頂点の座標値（実世界座標での座標値であり、その部屋で最も低い床面の高さ位置を０とする）と、その床面の材質を示すデータとで構成される。床面の形状が四角形のときには、環境属性データは、
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,0）
となる。最初の４つの座標は床面を構成する各頂点の座標であり、最後の値「０」は床面の材質を示している。例えば、「０」はフローリング、「１」は畳、「２」は絨毯とすればよい。
【０６４８】
上記設備属性データ603 とは、環境（部屋）の中に存在する各設備104 の詳細なデータである。ここでいう設備104 とは、人やロボット102 が移動させる物品とは異なり、通常は、移動させることのないものである。一例を挙げると家具や家電機器がここでいう設備に該当する。この設備104 は、上述したように、本システムのサブシステムの一つであり、この設備104 についての詳細は後述する。
【０６４９】
図７５に示すように、環境内にテーブル（table-0001）、冷凍室（refrigerator-0001）、冷蔵室（freezer-0001）、ゴミ箱（wastebasket-0001，wastebasket-0002）、電子レンジ（Microwave-oven-0001）が存在しているため、図７６に示す環境データ601 には、その各設備のＩＤが登録されている。設備属性データ603 には、その設備毎の詳細なデータが登録されている。尚、「冷凍室」と「冷蔵室」は一体となって一つの「冷蔵庫」を構成するが、本システムでは、物品を収容する場所単位で設備を区別する。このため、冷蔵庫を一つの設備104 として扱うのではなく、冷凍室と冷蔵室とをそれぞれ独立した一つの設備104 として扱う。
【０６５０】
設備属性データ603 には、その設備104 を構成する各面のデータ（面１，面２，…）、設備の種類が登録される。設備を構成する面のデータは、その面を構成する頂点の座標値（実世界座標での座標値）と、その面に物品が載置できるか否かを示すフラグとによって構成される。例えば面を構成する頂点の数が４つであるときには、その面のデータは次のようになる。
（（X1，Y1，Z1）,（X2，Y2，Z2）,（X3，Y3，Z3）,（X4，Y4，Z4）,1）
最初の４つの値（座標）は、その面を構成する各頂点の座標（実世界座標での座標）を示し、次の値「１」はその面上に物品が載置可能な否かのフラグである。物品が載置可能なときには「１」となり、載置不可能なときには「０」となる。この識別フラグは通常は切り替わることはないが、設備104 の種類によっては識別フラグが状況に応じて切り替わるようにする。例えば、その設備が、開口部にドアが取り付けられた収容部であるときには、その収容部内の面の識別フラグは、ドアの開閉状態に応じて切り替わるようにする。
【０６５１】
このことについて具体的に、図７７を参照しながら説明する。図７７に示す冷凍室７１は、開口部にドア７２を有する収容部からなる設備104 の一例である。図７７（ａ）は、冷凍室７１のドア７２が閉じているときの設備属性データを示している。このように、冷凍室７１のドア７２が閉じている状態では、ドア７２に阻まれて冷凍室７１内の面に物品を載置することができない。このため、設備属性データの識別フラグは「０」となる。これに対し、図７７（ｂ）は冷凍室７１のドア７２が開いているときの設備属性データを示している。このように、冷凍室７１のドア７２が開いている状態では、その冷凍室７１内の面に物品を載置することができる。このため、設備属性データの識別フラグは「１」に切り替わる。
【０６５２】
尚、図７７に示す冷凍室７１のように、収容部を構成する各設備104 は、受け台７３を備えるようにしてもよい。この受け台７３は、ドア７２の開閉に応じてその収容部内に収容される位置と収容部外に突き出る位置とに移動するものである。こうすることでロボット102 は、その設備104 内への物品の出し入れ作業を実行し易くなる。こうした受け台７３を有するときの設備属性データは、図７７（ｂ）に示すように、受け台７３が収容部外に突き出た位置にあるときの、その各頂点の座標値としてもよい。ロボット102 は、設備属性データ603 に登録されている座標値を参照することで、収容部外に突き出た受け台７３上に物品を載置したり、その受け台７３上の物品を把持したりするためである。尚、受け台７３が移動することで、その各頂点の座標値は変化するが、ドア７２を閉じて受け台７３が収容部内に収容された状態では、ロボット102 はその収容部内に物品を入れたり、収容部内から物品を出したりすることを行わないため、設備属性データ603 の座標値を変更させる必要はなく、識別フラグのみを変更すればよい。
【０６５３】
尚、面上に物品が満載されているか否か（その面上にさらに別の物品を載置することができないか否か）を認識する処理を加えて、収容部内の面の識別フラグを、その認識処理の結果に応じて切り替えるようにしてもよい。すなわち、面上に物品が満載されているときにはその面上に新たな物品を載置することができないため、ドアが開いた状態でも識別フラグを「０」とし、面上に物品が満載されておらず、その面上に新たな物品を載置することができるときには、ドアの開閉状態に応じて識別フラグを切り替わるようにする。
【０６５４】
また、ここでは、設備属性データ603 に、物品の設置が可能か否かの識別フラグのみを付加したが、その他のフラグを必要に応じて付加してもよい。例えば環境属性データ602 と同様に、面の材質を示すフラグを付加してもよい。
【０６５５】
また、ロボット102 が面に物品を載置したり、その面に載置された物品を把持するときの当該面へのアームのアプローチ軌跡を、設備属性データ603 に追加してもよい。さらに、そのアームのアプローチ軌跡に係るアーム動作のプログラムを、設備104 毎に設備属性データ603 に追加してもよい。具体的には、設備104 毎にロボット102 のアーム動作のプログラムコードを予め登録し、これを設備属性データ603 に追加しておく。ロボット102 は、設備属性データ603 に記憶されているプログラムコードを必要なときに無線等の通信によって読み込み、その読み込んだプログラムに従ってアームを制御する。こうすることで、ロボット102 （又はサーバ101 ）に、設備104 の一つ一つについてのアーム動作のプログラムを記憶させる必要がなくなり、プログラムを記憶するためのメモリ容量を節約することができる。
【０６５６】
環境管理サーバ101 における制御手段110 はサーバ全体を制御する部分であり、主な制御内容としては以下のものがある。
【０６５７】
１）送受信手段109 が、サーバ内にある各種データに関する問い合わせ受信したときに、その問い合わせ内容を判断し、その判断結果に応じて物品／移動体検索・管理手段105 や環境マップ管理手段107 にデータの参照要求を出す。
【０６５８】
２）上記要求に対して物品／移動体検索・管理手段105 又は環境マップ管理手段107 から送られてきた結果を、送受信手段109 を介して問い合わせ元に送る。
【０６５９】
３）送受信手段109 を介して外部から送られてきたサーバ101 内にある各種データに関する登録・更新の要求を解釈し、その内容に応じて物品／移動体検索・管理手段105 や環境マップ管理手段107 にデータの登録・更新要求を出す。
【０６６０】
−設備の構成−
２番目のサブシステムである設備104 は、上述したように、環境内に設置・固定されて通常は移動させることのないものであり、ここでは特に、各種の物品を収容する収容部を有するものを意味する。例えば冷蔵室や冷凍室は、食品を収容する部分を有するため、ここでいう設備104 に含まれる。また、設備104 には収容された物品に対する作用を施すものが含まれる。例えば電子レンジは、庫内に収容された食品に加熱するという作用を施す設備104 の一例である。尚、ここでいう「収容」は、物品を比較的長期間かたづけてしまう意味も、物品を一時的にしまいいれる意味も含む。
【０６６１】
上記設備104 は、図７０に示すように、外部からの設備動作コマンド（このことについては後述する）を受信すると共に、その設備動作コマンドに従って行った動作結果をコマンド送信元に送信する送受信手段109 と、当該設備104 を動作させるための設備動作コマンドデータベース１６３ と、後述するように、その設備が有するドアの開閉動作や、物品に対する作用を施す動作を行う動作手段１６４ と、これら各手段109 ，１６４ をコントロールする制御手段１６２ とからなる。尚、図７０では、設備104 を一つのみ記載しているが、環境内に複数の設備104 が設定されているときには、その設備104 それぞれがネットワークに接続されることになる。
【０６６２】
上記動作手段１６４ は、その設備104 が例えば冷蔵室及び冷凍室であるときには、ドアの開閉動作をするものである。つまり、本システムにおける冷蔵室や冷凍室は、後述する設備動作コマンドを受けたときには、ドアを自動で開閉する。尚、そのドアは手動でも開閉される。また、上記動作手段１６４ は、その設備104 が例えば電子レンジであるときには、ドアの開閉動作と、庫内に収容された物品（食品）の加熱動作とを行う。
【０６６３】
設備動作コマンドＤＢ１６３ は、設備動作コマンドとそれに対応する処理手続をを記憶するものである。この設備動作コマンドは、当該設備104 を外部からリモートで動作させるためのコマンドである。制御手段１６２ は設備動作コマンドＤＢ１６３ を参照することで、動作手段１６４ に、設備動作コマンドに応じた処理を実行させるようにする。
【０６６４】
図７８は、設備動作コマンドＤＢ１６３ に記憶されている設備動作コマンドを表形式で示した図であり、表の記述情報は左の列から順に
１）環境内に存在する設備104 を区別するための設備ＩＤ
２）外部から当該設備104 を制御するための設備動作コマンド名
３）上記コマンドに対応する処理手続き
４）上記処理を行った結果の外部への戻り値
となっている。図７８には、設備104 の一例として、冷蔵室、冷凍室、電子レンジの、３つの設備104 それぞれについて、設備動作コマンドＤＢ１６３ に記憶されている設備動作コマンドを示している。
【０６６５】
この内、冷蔵室および冷凍室の設備動作コマンドは、１）door-open ，２）door-close、の２種類のコマンドが用意されている。冷蔵室又は冷凍室の送受信手段109 が、外部から送信されたdoor-open のコマンドを受信したときには、その制御手段１６２ は動作手段１６４ 、に冷蔵室又は冷凍室の「ドアを開く」処理を実行させる。また、door-closeのコマンドを受信したときには、その制御手段１６２ は動作手段１６４ に、冷蔵室又は冷凍室の「ドアを閉める」処理を実行させる。
【０６６６】
上記制御手段１６２ は、それぞれの設備動作コマンドの処理が無事に終了したときには、そのコマンドの発信元にAck を、また設備動作コマンドの処理が失敗したときには、そのコマンドの発信元にNackを、送受信手段109 を介して戻り値として返す。
【０６６７】
一方、電子レンジの設備動作コマンドは、１）door-open ，２）door-close，３）warm-start，４）warm-end，５）is-object 、の５種類のコマンドが用意されている。この内、door-open，door-close のコマンドについては、冷蔵室及び冷凍室の場合と同じであるためその説明を省略する。
【０６６８】
電子レンジの送受信手段109 が、外部から送信されたwarm-startのコマンドを受信したときには、制御手段１６２ は、動作手段１６４ に電子レンジの機能である「庫内食品の加熱」処理を実行させる。このときに、庫内に食品（物品）が入っていて加熱処理が開始できたときには、制御手段１６２ は、コマンドの発信元にAck を、それ以外のときにはコマンドの発信元にNackを、それぞれ戻り値として返す。
【０６６９】
また、warm-endのコマンドを受信したときには、制御手段１６２ は、動作手段１６４ に庫内食品の加熱が終了したか否かを判断させ、加熱完了のときにはTrueを、加熱完了でない（未だ加熱処理中）のときにはFalse を、コマンドの発信元に戻り値として返す。
【０６７０】
さらに、is-object のコマンドを受信したときには、制御手段１６２ は、動作手段１６４ に、庫内に物品があるか否かを、画像センサや重量センサなどを用いて判断させ、物品があるときにはTrueを、無いときにはFalse を、コマンドの発信元に戻り値として返す。
【０６７１】
以上、３種類の設備104 の例で設備動作コマンドについて説明したが、この設備動作コマンドは、各設備104 の機能に応じて必要なコマンドを用意すればよい。
設備動作コマンドＤＢ１６３ は、必要に応じて更新すればよく、そのＤＢ１６３ の更新は、例えば更新情報を記録媒体を介して設備104 に読み込ませてもよいし、更新情報をネットワークを介して設備104 に読み込ませてもよい。こうすることで、設備動作コマンドのバージョンアップにも対応可能になる。また、設備104 が外部ネットワークに接続されているときには、更新情報を外部ネットワークを介して設備104 に読み込ませることも可能になる。例えば設備104 の製造元からバージョンアップされた設備動作コマンドを、外部ネットワークを介してその設備104 がダウンロード可能になる。
【０６７２】
−操作端末の構成−
３番目のサブシステムである操作端末103 は、本システムにおけるユーザインタフェースであり、主にロボット102 に対する物品の取扱い作業を指示するためにユーザが操作する端末である。
【０６７３】
操作端末103 はその基本構成として、図７０に示すように、操作画面を表示する、例えばＣＲＴや液晶ディスプレイからなる表示部117 、上記操作画面上でロボット102 に対する作業内容を指定するための例えばポインティングデバイスからなる入力部116 、上記表示部117 に表示される操作画面の作成等の表示制御を行う表示制御手段118 、上記入力部116 にて入力されたロボット102 の作業内容をロボット102 に送る送受信手段109 、これらの各手段109 ，116 〜118 をコントロールする制御手段119 からなる。
【０６７４】
この操作端末103 として、例えば汎用ＰＣを用いることが可能である。この場合、後述する各処理を実行させる制御プログラムをＰＣが読み込むことによって、汎用ＰＣを操作端末103 として用いることが可能になる。
【０６７５】
上記表示制御手段118 は、上記サーバ101 から送信された情報、具体的には、環境内を撮像した画像のデータ、物品／移動体データベース106 に蓄積されたデータ、環境マップ108 に基づいて、操作画面を作成する。こうして表示制御手段118 で作成された操作画面が、表示部117 に表示されることになる。
【０６７６】
本システムでは、操作端末103 の表示部に表示される操作画面は、図７９に一例を示すようにしており、環境の実状況に則した仮想空間によって構成されている。
【０６７７】
この仮想空間は、環境内に設置されたカメラ（図示省略）によって撮像された画像データに基づいて作成される。このため、図７９に示す操作画面は、図７３に示す環境と見た目は同じになる。尚、上記カメラは、例えばセンシング手段120 として環境内の側壁に設置されたカメラを利用してもよい。
【０６７８】
この操作画面はまた、カーソル（ポインタ）と、環境内に存在する物品に対応して仮想空間内に配置される物品アイコンとを有している。図７９に示す操作画面には、物品アイコンとして、缶ジュース（D-0001）、弁当（F-0001）、手帳（S-0001）、バナナ（F-0002）、紙くず（O-0001）の各アイコンが含まれている。この操作画面には、環境内に存在する設備が操作画面上に表示されるものの、これらは物品アイコンとはならない。操作画面上で物品アイコンとされるものは、ロボット102 が取扱い可能な物品である。
【０６７９】
この操作画面では、ユーザは、操作端末103 の入力部116 の操作によって操作画面内のカーソルを操作し、それによってロボット102 に実行させる作業内容を指定する。具体的には、所望の物品アイコンと、仮想空間内の所望の場所とを指定する操作を行う。この操作画面では、上記各物品アイコンは、いわゆるドラッグ操作によって、操作画面を構成する仮想空間内を移動させることが可能に構成されている。物品アイコンと仮想空間内の場所とを指定するときには、上記カーソルによって仮想空間内の所望の物品アイコンを指定すると共に、その指定した物品アイコンを、仮想空間内の所望の移動先にドラッグアンドドロップ操作する。これにより、ロボット102 の作業対象の物品とその物品の移動先とが指定されることになる。例えば、図７９に示す各矢線は、缶ジュースアイコン（D-0001）を、仮想空間内のリサイクルゴミ箱に、弁当アイコン（F-0001）及びバナナアイコン（F-0002）を、仮想空間内の冷蔵室に、手帳アイコン（S-0001）を、仮想空間内のテーブルに、紙くずアイコン（O-0001）を、仮想空間内の一般用ゴミ箱にそれぞれドラッグアンドドロップ操作するときの操作例を示している。
【０６８０】
このような操作画面上での指定操作を、ロボット102 に対する作業内容の指示データに変換するには、少なくとも次の１），２）の２点の処理が必要になる。
【０６８１】
１）操作画面を構成する仮想空間が画像データであるため、その画像データのどの領域が物品アイコンに対応するかを特定すると共に、操作画面上で指定した物品アイコンが環境内の何を示しているかを特定する処理、及び、操作画面上で指定した物品の移動先が環境内のどこに対応するかを特定する処理
２）設備の内部に収容されている物品は、カメラ映像には陽に撮影されないため、こうした設備の内部に収容されている物品をユーザが指定可能にするための処理
【０６８２】
先ず、上記１）の処理を行うために、操作画面は、次のように構成される。画像データのどの領域が物品アイコンに対応するかを特定する処理のために、上記操作画面は、仮想空間を構成する上記画像データに加えて、この画像データ（仮想空間）に１対１に対応しかつ、仮想空間内における物品アイコンの位置を特定する画面マスクデータを有するものに構成される。ここで「１対１に対応」とは、座標値が互いに対応していることを意味する。
【０６８３】
この画面マスクデータには、操作画面上で物品アイコンが配置される領域に対応してマスクデータが設定されており、仮想空間からなる操作画面上で、カーソルによって物品アイコンの位置（座標値）を指定すると、画面マスクデータにおいて同じ座標値を参照し、これにより、その指定された領域が物品（物品アイコン）であるか否かを判断する。この画面マスクデータは、背景差分画像（図２（ｃ）参照）によって作成することができる。なぜなら、この背景差分画像では、カメラが撮像した画像における物品の位置が特定されるためである。
【０６８４】
次に、操作画面上で指定した物品アイコンが何を示しているかを特定する処理のために、上記画面マスクデータにおけるマスクデータの座標には、物品データベース106a（図７１参照）へのポインタを記載する。こうすることで、物品アイコンが指定されているときには、その座標に記載されたポインタをキーとして物品データベース106aを参照し、それによって、操作画面上でカーソルが指している物品アイコンが、どの物品を表しているかを特定する。
【０６８５】
一方、操作画面上で指定した物品の移動先がどこであるかを特定する処理のために、操作画面は、仮想空間を構成する上記画像データ（図７９）に加えて、図８０に示すように、この画像データと座標値が対応する画面マップを備える。この画面マップは、環境マップ108 の環境属性データ602 に含まれる床面、及び設備属性データ603 に含まれる各設備104 が、操作画面上でどの位置に相当するかを特定するためのデータである。この画面マップは、画像データとして作成することが可能である。つまり、画面マップを各画素が整数値で表された画像データとし、その整数値と設備とを、例えば、０：何もなし、１：床（floor-0001）、２：テーブル（table-0001）、３：冷蔵室（refrigerator-0001 ）、４：冷凍室（freezer-0001）、５：一般ゴミ箱（wastebasket-0001）、６：リサイクルゴミ箱（wastebasket-0002）、７：電子レンジ（Microwave-oven-0001 ）というように、互いに対応付ければよい。
【０６８６】
こうすることで、カーソルによって、操作画面上の適当な位置を指定したときには、上記画面マップにおける同じ座標値の画素の整数値を参照する。このことによって、その指定された位置が環境のどの設備に対応するかを特定することが可能になる。但し、この処理は、操作画面上で指定された位置に、物品が存在するかを確認し、その位置には物品が存在しないときに行う。
【０６８７】
こうした画面マップは、各設備104 の立体モデルが既知でありかつ、その設置場所が正確に計算可能であるときには、自動で作成することができる。また、画面マップを自動で作成することが困難なときは手動で作成してもよい。環境内の各設備104 は、通常、環境内に一度設置すれば、ほとんど動かすことがないため、一旦、画面マップを作成すれば、それを変更することはほとんどない。
【０６８８】
上記２）の処理が必要となるのは、上述したように、操作画面がカメラ画像に基づいて構成されるためであり、設備104 の内部に収容されている物品はカメラ画像には陽に撮影されないことで、操作画面上にも物品アイコンが現れないためである。操作画面上に現れない物品アイコンを指定可能にするために、操作画面は次のように構成される。
【０６８９】
上述したように、本システムでは、物品／移動体データベース106 に、環境内の各物品の現在位置が登録されている。このため、物品が設備104 の内部に収容されていても、物品／移動体データベース106 を参照することで、その物品の存在を把握することができる。
【０６９０】
このことを利用して、操作画面上でカーソルが設備を指しているときには、物品／移動体データベース106 を参照する。そして、その設備104 に物品が収容されているか否かを判断し、物品が収容されているときには、例えば図８１に示すように、その物品に対応する物品アイコンを、ポップアップ形式で操作画面上に表示する。図８１（ａ）の例は、カーソルが冷凍室を指しているときに、その冷凍室に収容されているアイスクリームを示す物品アイコンとアイスキャンデーを示す物品アイコンとがポップアップ表示されている例を示し、図８１（ｂ）の例は、カーソルが冷蔵室を指しているときに、その冷蔵室に収容されている弁当を示す物品アイコンとバナナを示す物品アイコンとがポップアップ表示されている例を示している。
【０６９１】
このように、物品アイコンがポップアップ表示されている間に、カーソルによってその物品アイコンをクリックすることで、その物品が対象物品に指されるように構成される。尚、物品アイコンの表示形態はこれに限るものではなく、その他の表示形態を採用してもよい。また、物品アイコンを表示する代わりに、物品名称を表示するようにしてもよい。
【０６９２】
また、図８１の例では、冷蔵室又は冷凍室内に、２つの物品しか収容されていないため、収容されている全ての物品（物品アイコン）を一度に表示可能である。しかし、例えば多数の物品が設備104 内に収容されているときには、全ての物品アイコンをポップアップ形式で表示したのでは、操作画面が極めて煩雑になってしまい、ユーザが所望の物品アイコンを指定することが困難になることが予想される。そこで、設備104 内に収容されている物品が多数であるときには、例えば、その物品をカテゴリー毎に木構造で分類しておき、上位のカテゴリーから下位のカテゴリーに階層をたどることで、物品アイコンが表示されるようにしてもよい。冷蔵室や冷凍室の例では、そこに収容される物品は、通常、食品であるため、例えば、肉、野菜、等のカテゴリーを操作画面に表示し、ユーザにカテゴリーを選択させる。そして、いずれかのカテゴリーが選択されれば、その選択されたカテゴリーに含まれる食品の物品アイコンを表示する。このときに、食品であれば、賞味期限の早い順に所定数ずつ物品アイコンを表示してもよいし、冷蔵室や冷凍室であれば、出し入れの頻度の多い順に所定数ずつ物品アイコンを表示してもよい。こうすることで、ユーザが見やすい操作画面を構成することができる。尚、出し入れの回数に応じて表示するというのは、例えば食品の場合、出し入れ回数が多いほど品質劣化が激しくなるので、そういう食品ほど目立つように表示する、という意味があり、また良く使われる食品をより優先的に表示する、という意味もある。
【０６９３】
尚、操作画面上に現れない物品アイコンを指定する構成は、ポップアップ表示に限るものではない。
【０６９４】
操作端末103 の制御手段119 は、上述したように、操作画面上で対象物品とその移動先とが指定されたときには、それに応じて指示データを作成し、これを送受信手段109 を介して作業ロボット102 に送信する処理を行う。
【０６９５】
この指示データは、ロボット102 の作業計画作成手段１６１ が、ロボット制御コマンドを作成する際の基になるデータであり、
（対象物品、対象物品の移動先）
の２つの値からなる。例えば、操作画面において手帳アイコンがテーブルの上にドラッグアンドドロップ操作されて、手帳をテーブルに移動させる作業内容が指定されたときの指示データは、
（手帳 S-0001（対象物品）、テーブル table-0001（移動先））
とする。尚、この移動先としては、上記環境属性データ602 又は設備属性データ603 に登録されている場所（床、又は設備104 ）のみが指定可能である。
【０６９６】
また、例えば床に代表されるように、移動先が比較的広い範囲を有し、その移動先の名称（ＩＤ）だけでは具体的な位置を特定することができないときには、その座標値（図７６に示す世界座標系）を移動先に付加する。例えば、手帳を床上に移動させるときの指示データは、
（手帳 S-0001、床 floor-0001（x1,y1,0 ））
とする。
【０６９７】
尚、操作画面で指定した位置と、世界座標系の座標値との対応は、図７５（ｂ）に示すように、環境マップ108 として用いられる環境内の状況をモデル化した立体モデルと、操作画面を構成する画像データを撮影するカメラの各種パラメータ（カメラの位置、カメラの姿勢、カメラの画角等）と、に基づいて演算することが可能である。この演算方法は、コンピュータグラフィックスの技術分野における周知技術であるので、その説明は省略する。
【０６９８】
尚、ここでは、操作画面上で、物品アイコンのドラッグアンドドロップ操作をすることにより、対象物品と移動先とが指定される操作インターフェースとしたが、対象物品と移動先とを指定する操作は、ドラッグアンドドロップ操作に限るものではなく、その他の操作を適宜採用することが可能である。
【０６９９】
−作業ロボットの構成−
４番目のサブシステムである作業ロボット102 は、ユーザに指定された作業内容に従って、環境内で物品の取扱い作業を行うものである。
【０７００】
図７０に示すように、ロボット102 はその基本構成として、ロボット102 の近辺の障害物等を検知したり、取り扱う物品の情報を得るためのセンサ111 、物品を把持する把持手段112 、環境マップ108 を使って移動計画を立てる移動計画作成手段113 、上記ロボット102 自体を移動させる移動手段114 、環境管理サーバ101 や操作端末103 との間で種々のデータの送受信を行う送受信手段109 、ユーザによって指定された作業内容を実行するための、ロボット102 の作業計画を作成する作業計画作成手段１６１ 、設備104 の動作に係るロボット制御コマンドが格納されたロボット制御コマンドデータベース１６５ 、これらのセンサ111 及び各手段109 ，112 〜114 ，１６１ をコントロールする制御手段115 とからなる。
【０７０１】
物品の把持作業及び物品の移動作業を始めとする、ロボット102 が実行する各作業は、後で詳細を述べるが、コード化された指示データを送受信手段109 が受け、その受信した指示データに基づいて作業計画作成手段１６１ がロボット制御コマンド列を作成し、その作成したロボット制御コマンド列を、制御手段115 が順に処理することによって行われる。
【０７０２】
図８２は、本システムにおけるロボット102 の構造の一例を示した模式図であり、このロボット102 は、移動計画作成手段113 、制御手段115 、その他を収容する略箱型の本体部１０を備えている。以下、図８２における紙面右側を前側、左側を後側、紙面奥側を左側、紙面手前側を右側と呼ぶ。
【０７０３】
把持手段112 は、多関節アーム12a とそのアーム12a の先端に配設されたハンド12b とから構成され、上記本体部１０の上面に取り付けられている。上記アーム12a 及びハンド12b は、モータ制御によるアクチュエータを用いたものとしてもよいし、その他のアクチュエータ、例えば人工筋肉によるアクチュエータを用いたものとしても構わない。把持手段112 は、後述のロボット制御コマンドによって物品の把持位置が指示されたときには、その場所までアーム12a の先端を移動させハンド12b による物品の把持動作を行う。ハンド12b を移動させるためのアーム制御は把持手段112 自身が行えばよい。また同じく後述のロボット制御コマンドで把持している物品の解放が指示されたときには、把持手段112 はハンド12b の解放動作を行う。
【０７０４】
移動手段114 は車輪１４によって構成されており、この車輪１４は、上記本体部１０の左右両側にそれぞれ２つ取り付けられている（図例では、左側の車輪の図示を省略する）。ここでは、移動手段114 を車輪１４で構成したが、移動手段114 の構成は、そのロボット102 が使用される環境に応じて最適な構成を選択すればよい。例えば環境の床面の起伏が激しい場合は、移動手段114 をクローラ型や多足歩行型に構成することが好ましい。尚、把持手段112 が環境内の全域を可動域とする場合にはこの移動手段114 を省略してもよい。
【０７０５】
障害物センサ111 は、本システムでは、超音波センサ11a 、視覚センサとしてのステレオカメラ11b 、及び衝突センサ11c から構成される。
【０７０６】
上記超音波センサ11a は、超音波を発してその反射波を受信するまでの時間を測定することにより当該センサ11a から障害物までのおおよその距離を計算するもので、近距離の障害物を、それに衝突する前に検知するためのものである。この超音波センサ11a は、本体部１０の各側面（前面、後面、左右側面）に、３つずつ取り付けられている。
【０７０７】
上記ステレオカメラ11b は、ロボット102 の周囲の状況を画像として入力し、その画像の認識等の処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得るためのものである。このステレオカメラ11b は、本体部１０の前部に取り付けられている。
【０７０８】
上記衝突センサ11c は、ロボット102 に所定の衝撃力が加わったことを検知するセンサである。例えば障害物がロボット102 に衝突してきたことや、ロボット102 自体が移動中に障害物に衝突したことを、この衝突センサ11c で検知する。この衝突センサ11c は、本体部の前面と後面とのそれぞれに取り付けられている。
【０７０９】
移動計画作成手段113 は、ロボット102 に物品の移動作業やその他の作業に伴う移動が指定されたときに、そのロボット102 の現在位置から指定された位置（目的位置）までの移動経路を、環境マップ108 を使って作成するものである。この際、現在位置から目的位置までの移動経路上に障害物があってはならないが、環境マップ108 には、上述したように、ロボットが移動不可領域（例えば図７５（ｃ）の斜線を付した領域）が設定されている。このため、この移動不可領域以外の領域で移動経路を作成すれば、障害物を回避した移動経路が作成される。例えば図７５（ｃ）の平面モデルを用いた環境マップ 108 を用いてロボットをＡ１地点からＡ２地点まで移動させる際には、ロボット102 の大きさを考慮して移動不可領域を回避するルート（図７５（ｃ）に矢線参照）が作成される。こうした移動経路の作成に当たっては、最も一般的な方法であるダイクストラ法を使ってもよいし、環境が複雑であれば、ダイクストラ法を改良した経路探索アルゴリズムを用いてもよい。また、移動経路を作成してそれに基づいて移動を開始した後に、上記センサ111 が障害物を検知したときには、その都度、障害物を避けるための新たな経路を作成し直すようにする。
【０７１０】
尚、環境の状況が複雑すぎてロボット102 の移動経路の算出ができない、又はその算出に多大な時間を要するような場合等の対策として、ユーザがロボット102 の移動経路を指定するモードを設けてもよい。
【０７１１】
作業ロボット102 の制御手段115 は、外部から送受信手段109 を介して送られてきた指示データをロボット制御コマンドに変換すべく、作業計画作成手段１６１ に送ると共に、この作業計画作成手段１６１ によって変換されたロボット制御コマンド列を受けて、それを順次実行するものである。
【０７１２】
上記ロボット制御コマンドとは、物品の把持やロボット102 自体の移動、及び設備104 の制御を行うためのコマンドで、大きくわけると主に「移動」「把持」「解放」「設備操作」の４種類がある。この４種類のコマンドについて簡単に説明する。
【０７１３】
１）移動：（move,座標）又は（move,設備ＩＤ）
ロボット102 の現在位置から座標で指定された位置、又は設備ＩＤで指定された設備の位置まで移動するコマンドである。座標は、状況に応じて最適な座標系で指定し、現在位置から目的位置までの移動経路は移動計画作成手段113 が計画する。
【０７１４】
また、設備ＩＤで指定された設備の位置に移動するときには、その設備に対して所定の距離まで近づくような経路を作成するが、その設備の座標は環境マップ108 の設備属性データ603 を利用する。
【０７１５】
２）把持：（grab,物品ＩＤ）
物品ＩＤで指定された物品を、ハンド12b によって把持するコマンドである。物品の場所は物品ＤＢ106aを参照し、把持計画は把持手段112 が作成する。
【０７１６】
３）解放：（release）
ハンド12b を解放するコマンドである。
【０７１７】
４）設備操作：(ロボットのＩＤ,設備ＩＤ,設備動作コマンド)
設備ＩＤで指定された設備104 に、指定された設備動作コマンドを送信するコマンドである。設備動作コマンドとは、上述したように、個々の設備104 が外部から受ける指示コマンドであり、設備動作コマンドを受けた各設備104 は、そのコマンドに対応する処理を実行する。ここで、設備操作のコマンドにロボットのＩＤを添付する理由は、上述したように、設備動作コマンドを受けた設備104 は、そのコマンドの送信元に戻り値を送信するためである。
【０７１８】
以上、簡単に４種類のロボット制御コマンドを説明した。もちろんロボット制御コマンドはこの４種類に限らず、必要に応じて増やしてもよいことはいうまでもない。
【０７１９】
作業ロボット102 の作業計画作成手段１６１ は、操作端末103 から送信された指示データを受けて、必要に応じてロボット制御コマンドＤＢ１６５ を参照しながら、その指示データをロボット制御コマンドに変換して、作業計画を作成するものである。
【０７２０】
この作業計画作成手段１６１ 及びロボット制御コマンドＤＢ１６５ を設けることによって本システムでは、ユーザは操作端末103 において所望の物品と、その物品の移動先を指定することだけで、ロボット102 に適切な作業を実行させることができる。
【０７２１】
つまり、指示データは、上述したように、
（対象物品、対象物品の移動先）
の２つの値からなるデータであり、「指定された対象物品を、指定された移動先に移動させる」ことを意味する。ここで、指定された対象物品が、ロボット102 がそのまま把持できる状態にあると共に、指定された移動先が、ロボット102 がそのまま物品を解放できる状態にあるとき、つまり、指定した作業内容をロボット102 が実行するに際してロボット102 の動作が妨げられないときには、ロボット制御コマンドＤＢ１６５ は必要ない。
【０７２２】
これに対し、指定された対象物品がドアが閉じた状態にある収容部内に収容されているときには、ロボット102 がその対象物品を把持する前にドアを開けなければならない。逆に、指定された移動先がドアが閉じた状態にある収容部内であるときには、ロボット102 が把持している対象物品を解放する前にドアを開けなければならない。このように、例えば収容部に収容されている物品を、別の収容部に移動させる作業をユーザが指定するときに、ドアの開閉操作まで指定しなければならないのでは、使い勝手が悪くなってしまう。
【０７２３】
また、指定された移動先が、電子レンジのように収容された物品に対する作用を施すものであるときには、ユーザは、物品をその電子レンジの庫内に収容するだけでなく、その物品を加熱したいという要求があると考えられる。ユーザがロボット102 の作業内容を指定するときに、対象物品と移動先と、さらにその対象物品に対する作用とを指定しなければならないのでは、ユーザによる指定操作が煩雑になってしまう。
【０７２４】
これを解消するには、対象物品と移動先との２つで構成される指示データに基づいて、設備104 の操作を含むロボット制御コマンドを作成するための知識データが必要になる。ロボット制御コマンドＤＢ１６５ は、上記の知識データを格納するものである。設備104 の構成やそれが有する機能は、設備104 毎に互いに異なることから、こうした知識データは、設備104 毎に設定しなければならない。ロボット制御コマンドＤＢ１６５ には、設備動作に係るロボット制御コマンドが、設備104 毎に個別に格納されている。
【０７２５】
図８３は、上記ロボット制御コマンドＤＢ１６５ に格納されているロボット制御コマンドの例を示す図である。このロボット制御コマンドＤＢ１６５ は、設備ＩＤ、場所の属性、ロボット制御コマンドが対応付けられて構成されている。この内、「設備ＩＤ」には、設備104 のＩＤが格納されている。「場所の属性」は、移動元と移動先とに分けられていて、「移動元」は、その設備104 が、指定データで指定された対象物品を収容しているときに対応し、「移動先」は、その設備104 が、対象物品をこれから収容する移動先に指定されているときに対応する。
【０７２６】
ロボット制御コマンドは、上記の「移動元」「移動先」のそれぞれに対応して個別に記載されている。その各コマンドは基本的に、
（ロボットＩＤ、設備ＩＤ、設備動作コマンド）
の３つの値からなる。
【０７２７】
冷蔵室（Refrigerator-0001 ）が移動元であるときを例に、ロボット制御コマンドリスト（列）について具体的に説明する。このロボット制御コマンドは、操作端末103 からの指示データで、冷蔵室内に収容されている物品の移動が指定されたときのコマンドである。
【０７２８】
このロボット制御コマンド列は３つのコマンドから構成されており、それぞれ次の動作の実行を意味する。
１）（Robot-0001，Refrigerator-0001，door-open）：冷蔵室に、ドアを開けさせる
２）（grab，$object）：ロボットが、物品を把持して取り出す
３）（Robot-0001，Refrigerator-0001，door-close ）：冷蔵室に、ドアを閉めさせる
【０７２９】
ここで、（grab，$object）における「$object」には、対象物品のＩＤが入る。このように、状況によって値が変わる情報は「$ 」を付けることで変数扱いとしておき、指示データによって対象物品が設定されたときに、上記変数に物品ＩＤを入れる。こうして、ロボット制御コマンドに一般性を持たせている。
【０７３０】
また、電子レンジ（Microwave-oven-0001 ）が移動先であるときは、ロボット制御コマンド列は次のようになる。
１）（Robot-0001，Microwave-oven-0001，is-object）：電子レンジに、庫内に物品が存在するかを確認させる
２）（Robot-0001，Microwave-oven-0001，door-open）：電子レンジに、ドアを開けさせる
３）（release，$object）：物品を解放する
４）（Robot-0001，Microwave-oven-0001，door-close ）：電子レンジに、ドアを閉めさせる
５）（Robot-0001，Microwave-oven-0001，warm-start ）：電子レンジに、庫内物品の加熱を開始させる
の５つのコマンドから構成されている。
【０７３１】
このうち、１）のロボット制御コマンドは、移動先である電子レンジの庫内に、既に別の物品が入っていたのでは、さらに対象物品を入れることができないため、電子レンジの庫内に物品が存在しているか否かを電子レンジに確認させるコマンドである。電子レンジからの戻り値が「False 」であるときは、庫内に物品が入っていないため、制御手段１６２ は続く２）〜５）のコマンドを順に実行すればよいが、電子レンジからの戻り値が「True」であるとき、つまり、電子レンジの庫内に物品が入っているときには、制御手段１６２ は、電子レンジの庫内に物品が入っている旨をユーザに報知した上で、続く２）〜５）のコマンドを実行を中止する、ことが好ましい。
【０７３２】
また、上記電子レンジが、物品を「加熱する」機能として、「温め」モードや「解凍」モード等の、複数のモードを有しているときには、それに応じて、設備動作コマンド（ロボット制御コマンド）を複数備えることが好ましい。このように、設備動作コマンドを複数備えている場合には、ロボット102 が対象物品の属性を認識し、それに応じた設備動作コマンドが電子レンジに送信されるように、ロボット制御コマンド列を作成してもよい。
【０７３３】
例えば、画像処理や、温度センサ、その物品に付与された電子タグの情報に基づいて、その物品が冷凍物であれば、電子レンジに「解凍」モードの設備動作コマンドを送信するようにしてもよい。尚、これとは異なり、電子レンジが、庫内の物品の属性を画像処理や電子タグの情報に基づいて判断するようにして、設備動作コマンドとしての「warm-start」を受信したときには、その物品の属性に応じて、電子レンジが「温め」モードと「解凍」モードとを切り替えるようにしてもよい。
【０７３４】
次に、作業ロボット102 の作業計画作成手段１６１ が行う、ロボット制御コマンドの作成手順について、図８４に示すフローチャートを参照しながら説明する。
【０７３５】
上述したように、ユーザが操作端末103 において作業内容を指定したときには、操作端末103 から作業ロボット102 に、ネットワークを介して指示データが送信される。ステップＳ1201では、その指示データの読み込みを行う。
【０７３６】
続くステップＳ1202では、読み込んだ指示データに基づいて、指定された対象物品の現在位置を、サーバ101 の物品データベース106aを参照することによって確認する。対象物品の現在位置を確認すれば、ステップＳ1203では、ロボット102 の現在位置からその対象物品の現在位置まで移動するためのロボット制御コマンドを作成する。
【０７３７】
次にステップＳ1204では、指定された対象物品が、設備104 内に収容されているか否かを判定する。これは、対象物品の現在位置が、環境マップ108 の設備属性データ603 に登録されている設備104 であるか否かによって判定し、対象物品が設備104 内に収容されているのＹＥＳのときには、ステップＳ1205に移行する一方、対象物品が設備104 内に収容されていないのＮＯのときには、ステップＳ1206に移行する。
【０７３８】
上記ステップＳ1205では、上述したように、ロボット制御コマンドＤＢ１６５ から、その設備104 が移動元であるときのロボット制御コマンド（列）を読み込み、これを既に生成しているロボット制御コマンド列に追加する。
【０７３９】
上記ステップＳ1206では、指示データによって指定された移動先まで移動するためのロボット制御コマンドを生成する。生成したロボット制御コマンドは、既に生成しているロボット制御コマンド列に追加する。
【０７４０】
ステップＳ1207では、移動先が設備104 内であるか否かを判定する。これは、ステップＳ1204と同様に、移動先が環境マップ108 の設備属性データ603 に登録されている設備104 であるか否かによって判定し、移動先が設備104 内であるのＹＥＳのときには、ステップＳ1208に移行する一方、移動先が設備104 内でないＮＯのときには、ステップＳ1209に移行する。
【０７４１】
上記ステップＳ1208では、上述したように、ロボット制御コマンドＤＢ１６５ から、その設備が移動先であるときのロボット制御コマンド（列）を読み込み、これを既に生成しているロボット制御コマンド列に追加する。
【０７４２】
上記ステップＳ1209では、生成したロボット制御コマンド列を、制御手段115 に送信する。
【０７４３】
以上のように構成された本システムにおいて、ユーザが指定した作業内容が、ロボット102 によって実行される手順を、具体例を挙げて説明する。ここでは、「冷蔵室（Refrigerator-0001 ）に収容されている弁当（F-0001）を、電子レンジ（Microwave-oven-0001 ）内に移動させる（温める）」という作業内容をユーザが指定する場合を例にする。
【０７４４】
先ず、操作端末103 の表示部117 には、例えば図７９に示す操作画面が表示される。ユーザが入力部116 を操作することによって、仮想空間内の冷蔵室をカーソルで指し示すと、図８１（ｂ）に示すように、冷蔵室内に収容されている物品（物品アイコン）がポップアップ形式で表示される。入力部116 の操作により弁当アイコンを選択することで、対象物品が「弁当」に指定される。
【０７４５】
次にユーザは、入力部116 の操作によって、上記弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップする。これにより、移動先が「電子レンジ」に指定され、ユーザによる作業内容の指定が完了する。
【０７４６】
こうして作業内容が指定されれば、操作端末103 は、指示データを作成し、これを作業ロボット102 に送信する。この指示データは、対象物品が弁当（F-0001）であり、移動先が電子レンジ（Microwave-oven-0001 ）であるため、
（F-0001，Microwave-oven-0001 ）
となる。
【０７４７】
作業ロボット102 の作業計画作成手段１６１ は、操作端末103 から送信された指示データを読み込み（ステップＳ1201）、対象物品である弁当の現在位置を、サーバ101 の物品データベース106aを参照することによって確認する（ステップＳ1202）。弁当は、冷蔵室（Refrigerator-0001 ）内に収容されているため、その冷蔵室まで移動するロボット制御コマンド
（move，Refrigerator-0001）
を生成する（ステップＳ1203）。
【０７４８】
次に、作業計画作成手段１６１ は、上記弁当が、設備104 内に収容されているか否かを判定する（ステップＳ1204）。冷蔵室（Refrigerator-0001 ）は、図７６に示すように、設備属性データに登録されているため、弁当は、設備104 内に収容されている。そこで、ロボット制御コマンドＤＢ１６５ から、冷蔵室が移動元であるときのロボット制御コマンド（列）を読み込む（ステップＳ1205）。具体的には、図８３に示すように、
（Robot-0001，Refrigerator-0001，door-open）
（grab，F-0001）
（Robot-0001，Refrigerator-0001，door-close）
を読み込む。尚、変数「$object 」には、弁当のＩＤである「F-0001」が既に代入されている。このロボット制御コマンド列は、既に生成しているロボット制御コマンド列に追加される。
【０７４９】
指示データで指定された移動先は電子レンジであるため、作業計画作成手段１６１ は、電子レンジまで移動するためのロボット制御コマンドを生成する（ステップＳ1206）。具体的には、
（move，Microwave-oven-0001）
を生成し、これを既に生成しているロボット制御コマンド列に追加する。
【０７５０】
作業計画作成手段１６１ は次に、移動先が設備104 内であるか否かを判定する（ステップＳ1207）。電子レンジ（Microwave-oven-0001 ）は設備属性データ603 に登録されている設備104 であるため（図７６参照）、移動先は設備104 内である。作業計画作成手段１６１ は、ロボット制御コマンドＤＢ１６５ から、電子レンジがが移動先であるときのロボット制御コマンド（列）を読み込む（ステップＳ1208）。具体的には、図８３に示すように、
（Robot-0001，Microwave-oven-0001，is-object）
（Robot-0001，Microwave-oven-0001，door-open）
（release，F-0001）
（Robot-0001，Microwave-oven-0001，door-close）
（Robot-0001，Microwave-oven-0001，warm-start）
を読み込む。尚、変数「$object」には、弁当のＩＤである「F-0001」が既に代入されている。このロボット制御コマンド列は、既に生成しているロボット制御コマンド列に追加される。
【０７５１】
以上のようにして、冷蔵室内の弁当を、電子レンジに移動させる作業内容に対応して、作業計画作成手段１６１ が生成したロボット制御コマンド列は、図８５に示すようになる。
【０７５２】
制御手段115 は、こうして生成されたロボット制御コマンド列に基づいて、移動手段114 及び把持手段112 の制御を行う。その結果、冷蔵室内の弁当を、電子レンジの庫内に移動しかつ、その電子レンジによって弁当を温める、という作業が、ロボット102 によって行われることになる。
【０７５３】
このとき、上記制御手段115 は、ロボット制御コマンド列の各コマンドを、順番に実行するが、各コマンドの実行タイミングは状況に応じて適宜設定する。
【０７５４】
例えば上記のロボット制御コマンド列には、
１）（move，Refrigerator-0001）：ロボット102 が冷蔵室に移動する
２）（robot-0001，Refrigerator-0001，door-open）：ロボット102 から冷蔵室に、ドアを開ける設備動作コマンドを送る
の２つのロボット制御コマンドが順に並んでいるが、制御手段115 は、上記１）の処理が完了してから、上記２）の処理を実行するようにしてもよい。また、これとは異なり、上記１）の処理が完了する所定時間前に、上記２）の処理を実行するようにしてもよい。つまり、ロボット102 が冷蔵室の位置に到達する前に、冷蔵室のドアを開けるようにしてもよい。こうすることで、作業がよりスムースに実行され、作業時間が短縮化される。尚、各コマンドの実行タイミングは、そのコマンドと、直前のコマンド又は直後のコマンドとの関係によって予め設定してもよいし、推論可能であるならば、その都度推論して各コマンドの実行タイミングを決定してもよい。
【０７５５】
また、作業計画作成手段１６１ がロボット制御コマンド列を生成した後、直ちに制御手段115 がそのロボット制御コマンド列を実行するようにしてもよいが、制御手段115 がそのロボット制御コマンド列を開始する前に、作業計画作成手段１６１ が生成したロボット制御コマンド列の内容を外部に報知するようにしてもよい。
【０７５６】
例えば図８４に示すフローチャートにおいて、ステップＳ1208の後でかつ、ステップＳ1209の前に、作成したロボット制御コマンド列をネットワークを介して操作端末103 に送信してもよい。ロボット制御コマンド列を受けた操作端末103 は、そのロボット制御コマンド列を解釈して、そのロボット制御コマンド列によって実行される作業内容を、表示部117 に表示させる。例えば図８６に示すように、対象物品の物品アイコンを表示すると共に、その移動元及び移動先の名称をそれぞれ文字で表示する。図８６は上述した具体例に対応しており、対象物品として弁当アイコンが表示され、移動元として「冷蔵室」の文字が、移動先として「電子レンジ」の文字がそれぞれ表示されている。また、図例では、物品の移動元と移動先とを明確にすべく、仮想空間内における移動元から移動先に向かって、矢線を表示している。さらに、移動先において対象物品に作用が施されるときには、その作用を文字で表示する。図８６では「加熱」の文字が表示されている。尚、物品の移動元及び移動先が、設備104 でないとき（設備104 としての名称がないとき）には、「冷蔵室」や「電子レンジ」とった、移動元及び移動先を表す文字の表示は省略すればよい。また、作業内容をユーザに確認させるための表示形態は、図８６に示す例に限らず、対象物品の名称を文字で表示したり、仮想空間における移動元や移動先を強調表示するようにしてもよい。また、例えば「冷蔵室内の弁当を電子レンジの庫内に移動させ、その弁当を加熱する」というように、作業内容を示す文章を表示部117 に表示してもよい。さらに、作業内容の報知は表示に限らず、音声による報知でもよい。
【０７５７】
作業内容を外部に報知する処理を行うことによって、ロボットの作業内容をユーザ（作業内容を指定したユーザを含む）に知らせることになり、ユーザが操作画面上で操作ミスをしたとき、例えば、上述した具体例において、例えば弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップするつもりが、誤って冷凍室にドラッグアンドドロップしてしまったときでも、誤った操作に基づく作業が実行されてしまうことを未然に防止することが可能になる。
【０７５８】
また、移動先が電子レンジのように、対象物品に対する作用を施す設備104 であるときには、対象物品に対する作用をシステムが誤ることも生じ得る。例えば、対象物品である「冷凍肉」を移動先である電子レンジに移動させる、という作業内容を指定したときに、「冷凍肉」を電子レンジで「解凍」するのではなく、「冷凍肉」を電子レンジで「温める」というロボット制御コマンドが生成されてしまう場合である。こうした場合も、ユーザへの報知処理を行うことによって、誤った作業が実行されてしまうことを未然に防止することが可能になる。
【０７５９】
また、作業内容に誤りがあった場合や、ユーザが指定した作業内容を変更したい場合には、操作端末103 の入力部116 を操作することによって、操作画面において作業内容を適宜修正可能に構成することが好ましい。
【０７６０】
以上の説明では、ユーザは操作端末103 において、所望の一つの物品を所望の一つの移動先に移動させるという、単一の作業内容を指定するようにしているが、複数の作業内容を一度に指定した方が、ユーザの指定操作が容易になる場合がある。例えば、
１）冷蔵室に収容されている弁当を、電子レンジに入れて温める
２）弁当の温めが完了したら、その電子レンジ内の弁当をユーザの位置に移動させる
という、一つの物品に対して複数の作業を連続して行わせる場合である。こうした場合には、操作画面において、上記の１），２）の作業内容を一度に指定し、作業ロボット102 は、指定された複数の作業を順次実行するように構成するのがよい。操作画面上における複数作業の指定操作としては、例えば物品アイコンのドラッグアンドドロップ操作を連続して行うようにしてもよい。具体的に上記の例では、弁当アイコンを仮想空間内の電子レンジにドラッグアンドドロップすると共に、その電子レンジにドロップした弁当アイコンを、仮想空間内のユーザ位置にドラッグアンドドロップすることで、上記の１），２）の作業が指定されるようにすればよい。
【０７６１】
また、複数の物品に対する作業を並列に行わせる場合もある。例えば、
１）冷蔵室内の弁当を電子レンジに移動させる一方で、
２）冷蔵室内のバナナをテーブルに移動させる
という場合である。この場合も、操作画面において、上記の１），２）の作業内容を一度に指定し、作業ロボット102 は、指定された複数の作業を順次実行するように構成するのがよい。このとき、ロボット102 が、複数の作業のスケジューリングをすることによって、作業全体の効率化を図るようにしてもよい。上記の例では、冷蔵室内の弁当を電子レンジに移動させた後に、再び冷蔵室内のドアを開けてバナナを取り出し、そのバナナをテーブルに移動させる、という作業を行うのではなく、冷蔵室のドアを開けて、指定された弁当とバナナとを一度に取り出し、取り出した２つの物品の内、弁当は電子レンジに移動させ、バナナはテーブルに移動させる、という作業を行うようにするのである。このような作業の実行を可能とするために、作業ロボット102 は、一つのアーム12a 及びハンド12b を有するもの（図８２参照）に限らず、複数のアーム12a 及びハンド12b を有するものとして、複数の物品を同時に把持可能に構成してもよい。
【０７６２】
以上説明したように、本発明の物品取扱いシステムは、所定の生活空間（環境）内に存在する物品の取扱いを行うシステムであって、上記物品の取扱い作業を行うロボット102 と、上記ロボット102 の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段116 と、上記作業命令を受けて作業計画を作成する作業計画作成手段１６１ と、を備える。
【０７６３】
そして、上記作業計画作成手段１６１ は、上記ロボット102 が作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先への作業を補完しつつ作成するものである。
【０７６４】
この構成により、ユーザは、入力手段116 において、ロボット102 の作業対象物品とその対象物品の移動先とだけを入力すれば、ロボット102 の作業対象物品とその対象物品の移動先とを含む作業命令（指定データ）が作成される。
【０７６５】
この作業命令を受けて、作業計画作成手段１６１ は、ロボット102 が対象物品を移動先に移動させるための作業計画を、その移動先に応じた、移動先への作業を補完しつつ作成する。このため、ユーザは物品の移動先を考慮した作業を追加して指定しなくてもよい。こうして、ロボット102 に実行させる作業内容の指定が容易化されて、誰もが容易にロボット102 の操作が可能になる。
【０７６６】
本発明では、上記作業命令に含まれる移動先には、物品を収容する収容部を有する設備104 が含まれ、作業計画作成手段１６１ は、作業命令に含まれる移動先が上記収容部を有する設備104 であるときには、上記収容部に物品を入れるために必要な設備104 の動作を作業計画に追加する。
【０７６７】
こうすることで、移動先が収容部を有する設備104 であって、その収容部に物品を入れるために必要な設備104 の動作、例えばドアの開閉動作が存在するときでも、ユーザはその設備104 を動作させる作業を入力する必要がない。
【０７６８】
本発明では、上記作業命令に含まれる対象物品には、設備104 の収容部に収容された物品が含まれ、作業計画作成手段１６１ は、作業命令に含まれる対象物品が上記収容部に収容された物品であるときには、上記収容部から物品を取り出すために必要な設備104 の動作を作業計画に追加する。
【０７６９】
こうすることで、作業命令に含まれる対象物品が収容部を有する設備104 に収容されていて、その収容部から物品を取り出すために必要な設備104 の動作、例えばドアの開閉動作が存在するときでも、ユーザはその設備104 を動作させる作業を入力する必要がない。
【０７７０】
本発明では、上記移動先には、物品に対する作用を施す設備104 が含まれ、作業計画作成手段１６１ は、作業命令に含まれる移動先が上記作用を施す設備104 であるときには、対象物品に作用を施すための設備の動作を作業計画に追加する。
【０７７１】
こうすることで、ユーザが、物品に対し所定の作用を施すことを目的として、その物品を設備104 に移動させること作業内容として指定したときでも、ユーザはその設備104 を動作させる作業を入力する必要はない。一例を挙げると、ユーザが、食品を加熱することを目的として、その食品を電子レンジに移動させることを指定したときには、「食品を電子レンジで加熱する」という作業を指定しなくても、作業計画には、食品を電子レンジで加熱することが追加される。こうして、ロボット102 に実行させる作業内容の指定がさらに容易化される。
【０７７２】
本発明では、上記作業計画作成手段１６１ は、複数の作用の内から、対象物品に応じた作用を選択しかつ、その選択した作用を対象物品に施すための設備の動作を作業計画に追加する。
【０７７３】
こうすることでユーザは、対象物品に施す作用を指定しなくても、その物品に応じた作用がその物品に施される。一例を挙げると、移動先が電子レンジであって、対象物品が冷凍物であるときには、冷凍物を解凍するための設備の動作が作業計画に追加される。これに対し、移動先が電子レンジであって、対象物品が調理済み食品であるときには、調理済み食品を温めるための設備の動作が作業計画に追加される。このように、対象物品に施す作用はその対象物品に応じて決定されて、そのための設備の動作が作業計画に追加されるため、ユーザはその物品に施す作用を指定しなくてもよい。これにより、ロボットに実行させる作業内容の指定がさらに容易化し、ユーザフレンドリーなシステムにすることができる。
【０７７４】
本発明では、上記設備104 は、作業計画を受けて、その作業計画に含まれる設備の動作を実行する。こうすることで、ロボット102 がアーム12a を使って設備104 のドアを開閉したり、アーム12a を使って設備104 に設けられた各種スイッチの操作を行ったりする場合と比べて、ロボット102 の構成を単純化することができる。
【０７７５】
本発明では、物品取扱いシステムが、ロボット102 が作業内容に従って作業を開始する前に、作業計画作成手段１６１ が作成した作業内容を報知する報知手段117 をさらに備えている。
【０７７６】
本発明のシステムは作業計画の補完を行うため、ユーザが意図していない作業をロボット102 が実行してしまうことも予想される。また、ユーザが作業内容の指定操作を誤ることも考えられる。そこで、報知手段117 は、作業計画作成手段１６１ が作成した作業計画を、ロボットが作業を開始する前に報知する。こうすることで、ユーザは作業計画を確認することができ、それにより、誤った作業がロボットによって実行されてしまうことを未然に防止することができる。
【０７７７】
本発明の他の物品取扱いシステムは、上記物品の取扱い作業を行うロボット102 と、上記ロボット102 の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段116 と、上記作業命令を受けて作業計画を作成する作業計画作成手段１６１ と、を備える。
【０７７８】
そして、上記作業計画作成手段１６１ は、上記ロボット102 が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動前の状態に応じた作業を補完しつつ作成するものとする。
【０７７９】
この構成により、上述したように、ユーザは、入力手段116 において、ロボット102 の作業対象物品とその対象物品の移動先とだけを入力すれば、作業計画作成手段１６１ は、ロボット102 が対象物品を移動先に移動させるための作業計画を、その対象物品の移動前の状態に応じた、移動元への作業を補完しつつ作成する。このため、ユーザは、物品の移動元を考慮した作業を追加して指定しなくてもよい。こうして、ロボット102 に実行させる作業内容の指定が容易化されて、誰もが容易にロボット102 の操作が可能になる。
【０７８０】
本発明のさらに他の物品取扱いシステムは、上記物品の取扱い作業を行うロボット102 と、上記生活空間内に存在する設備104 の動作内容が蓄積された動作内容データベース１６５ と、上記ロボット102 の作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段116 と、上記作業命令を受けて、上記ロボット102 が上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベース１６５ を参照しながら作成する作業計画作成手段１６１ と、を備える。
【０７８１】
この構成により、ユーザは、入力手段116 において、ロボット102 の作業対象物品とその対象物品の移動先とだけを入力すれば、作業計画作成手段１６１ は、設備104 の動作内容が蓄積された動作内容データベース１６５ を参照しながら、作業計画を作成する。このため、ユーザは、設備104 の動作を考慮せずに、ロボット102 に実行させる作業内容の指定が可能になる。
【０７８２】
−他の実施形態−
尚、本実施形態では、操作端末103 が指示データを作業ロボット102 に送信し、作業ロボット102 がロボット制御コマンドを作成するようにしたが、例えば、操作端末103 からサーバ101 に指示データを送信し、サーバ101 がロボット制御コマンドを作成すると共に、その作成したコマンドを作業ロボット102 に送信するようにしてもよい。この場合、ロボット制御コマンドの内、設備動作に係るコマンドは、サーバ101 から設備104 に直接送信するようにしてもよい。また、操作端末103 が操作画面上で指定された作業内容に応じてロボット制御コマンドを作成し、これを作業ロボット102 （及び／又は設備104 ）に送信するようにしてもよい。
【０７８３】
また、本実施形態では、物品取扱いシステムを、環境管理サーバ101 、ロボット102 、操作端末103 、設備104 の４つのサブシステムからなり、それらサブシステム101 〜104 が無線又は有線等のネットワークを介して互いに情報をやりとりするような構成とした。しかし、物品取扱いシステムはこの構成に限らず、例えば操作端末103 が環境管理サーバ101 に一体となった構成でもよい。また、操作端末103 が作業ロボット102 に一体となった構成でもよい。
【０７８４】
またロボット102 も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０７８５】
操作画面の構成は、図７９に示すものに限らず、少なくとも対象物品と、移動先とを指定可能なものであればよい。例えば環境内の物品に対応する物品アイコンと、移動先となり得る場所を示す場所アイコンとのそれぞれを表示する操作画面としてもよい。
【０７８６】
以上説明したように、本発明による物品取扱いシステム及び物品取扱いサーバでは、入力された移動先への作業を補完しつつ作業計画を作成するため、ユーザはロボットの作業対象物品とその対象物品の移動先とだけを入力すればよく、ロボットに実行させる作業内容の指定が容易化し、誰もが容易にロボットの操作をすることができる。
【図面の簡単な説明】
【０７８７】
【図１】本発明を概念的に示す図である。
【図２】本発明の第１の実施形態に係る物品操作システムまたは物品管理システムの全体構成の一例を示すブロック図である。
【図３】背景差分法の原理を示す説明図である。
【図４】物品／移動体検索・管理手段の構成の一例を示すブロック図である。
【図５】ゲート型リーダライタをドアや窓に配置した例を示す図である。
【図６】物品／移動体データベースのうち物品データベースの構成と記載内容例を示す図である。
【図７】物品／移動体データベースのうち移動体データベースの構成と記載内容例を示す図である。
【図８】持出・持込データベースの構成と記載内容例を示す図である。
【図９】環境内で物品が移動する一例を説明する説明図である。
【図１０】環境マップの例を示す図である。
【図１１】環境マップに付随する設備データベースの構成と記載内容例を示す図である。
【図１２】作業ロボットの構成の一例を示す概略図である。
【図１３】作業ロボットの制御手段の動作を示すフローチャートである。
【図１４】仮想空間操作モードで表示された操作画面の一例を示す図である。
【図１５】画像データと、画面マスクデータとからなる操作画面の構成を示す図である。
【図１６】環境内に設定された実世界座標系と仮想視点座標系との関係を示す図である。
【図１７】操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
【図１８】図１７とは異なる物品の移動作業を指定する手順を示す図である。
【図１９】操作画面における物品アイコンの表示形態の例を示す図である。
【図２０】第３の実施形態に係る物品移動システムの全体構成の一例を示すブロック図である。
【図２１】仮想空間操作モードで表示される操作画面の一例を示す図である。
【図２２】場所アイコン操作モードで表示される操作画面の一例を示す図である。
【図２３】場所アイコン操作モードの操作画面上で、ロボットに実行させる物品の移動作業を指定する手順を示す図である。
【図２４】環境内でロボットが指定された移動作業を実行する様子を示す図である。
【図２５】図２３とは異なる形態の場所アイコン操作モードで表示される操作画面の一例を示す図である。
【図２６】作用アイコン操作モードで表示される操作画面の一例を示す図である。
【図２７】作用／場所変換テーブルの一例を示す図である。
【図２８】条件分岐を含めた作用／場所変換テーブルの一例を示す図である。
【図２９】第４の実施形態に係る物品管理システムの構成図である。
【図３０】物品移動体検索・管理手段の基本構成を概念的に示すブロック図である。
【図３１】物品移動体データベースのデータ構造の説明図である。
【図３２】物品の形状及び姿勢を説明するための図であり、（ａ）は本来の物品の形状を示し、（ｂ）はモデル化された物品の形状を示し、（ｃ）は実世界に置かれた状況下でのモデル化物品の形状を示す。
【図３３】実世界の座標と物品座標との関係を示す図である。
【図３４】環境マップを説明するための図であり、（ａ）は実際の状況を表し、（ｂ）は（ａ）の立体モデルを表し、（ｃ）は（ａ）の平面モデルを表している。
【図３５】環境マップのデータ構造を説明するための図である。
【図３６】作業ロボットの斜視図である。
【図３７】本棚に本を収納する動作を説明するための図である。
【図３８】設置位置に他の物品が存在する場合の設置位置の修正を説明するための図であり、（ａ）は設置物品の斜視図、（ｂ）は設置位置を修正する前の物品の平面図、（ｃ）は設置位置を修正した後の物品の平面図である。
【図３９】メッセージ書式の一例を示す図である。
【図４０】ＡＣＫ及びＮＡＣＫメッセージ書式の一例を示す図である。
【図４１】制御手段におけるメッセージのやりとりを説明するための共通の処理構成図である。
【図４２】制御手段におけるメッセージハンドラの動作を示すフローチャートである。
【図４３】操作端末の制御手段における処理構成図である。
【図４４】操作端末で物品を操作する一例を示した表示画面図である。
【図４５】操作端末の操作メッセージ生成部で生成されるメッセージの一例を示す図である。
【図４６】操作端末の制御手段におけるメッセージ処理部の動作を示すフローチャートである。
【図４７】作業ロボットに作業単位を送るときのメッセージの一例を示す図である。
【図４８】作業ロボットの制御手段における処理構成図である。
【図４９】作業ロボットに対するメッセージの一例を示す図である。
【図５０】作業ロボットの制御手段におけるメッセージ処理部の動作を示すフローチャートである。
【図５１】作業ロボットの設置姿勢決定手段の動作を示すフローチャートである。
【図５２】作業ロボットの設置姿勢決定手段の具体的な動作を示すフローチャートである。
【図５３】作業ロボットの設置位置決定手段の動作を示すフローチャートである。
【図５４】作業ロボットの設置位置決定手段の具体的な動作を示すフローチャートである。
【図５５】環境管理サーバの制御手段における処理構成図である。
【図５６】環境管理サーバに対するメッセージの一例を示す図である。
【図５７】環境管理サーバの制御手段におけるメッセージ処理部の動作を示すフローチャートである。
【図５８】第５の実施形態に係る物品管理システムの構成図である。
【図５９】物品移動体データベースにおける移動体データのデータ構造の説明図である。
【図６０】物品の形状及び姿勢を説明するための図であり、（ａ）は本来の物品の形状を示し、（ｂ）はモデル化された物品の形状を示し、（ｃ）は実世界に置かれた状況下でのモデル化物品の形状を示す。
【図６１】作業ロボットの把持手段の斜視図である。
【図６２】操作端末で物品を操作する一例を示した表示画面図である。
【図６３】操作端末の操作メッセージ生成部で生成されるメッセージの一例を示す図である。
【図６４】作業ロボットの制御手段における処理構成図である。
【図６５】作業ロボットに対するメッセージの一例を示す図である。
【図６６】作業ロボットの制御手段におけるメッセージ処理部の動作を示すフローチャートである。
【図６７】作業ロボットの把持位置決定手段の動作を示すフローチャートである。
【図６８】設置位置の空きスペースを求める方法の説明図である。
【図６９】接地面と把持面との関係を説明するための説明図である。
【図７０】第６の実施形態に係る物品取扱いシステムの全体構成の一例を示すブロック図である。
【図７１】物品データベースの構成とその記載内容例を示す図である。
【図７２】更新された物品データベースを示す図である。
【図７３】環境内の様子を示す説明図である。
【図７４】図７３とは時刻が異なる環境内の様子を示す説明図である。
【図７５】環境の実状況と、それに対応する環境マップとを例示する図である。
【図７６】環境属性データ及び設備属性データの構成とその記載内容例を示す図である。
【図７７】設備の状態と、設備属性データとの対応を示す図である。
【図７８】設備動作コマンドの一例を表形式で示す図である。
【図７９】操作画面の一例を示す図である。
【図８０】図７９に示す操作画面に対応する画面マップを示す図である。
【図８１】操作画面上で設備内に収容されている物品を表示する例を示す図である。
【図８２】作業ロボットの構成の一例を示す概略図である。
【図８３】設備の動作に係るロボット制御コマンドの一例を表形式で示す図である。
【図８４】作業計画作成手段の処理手順を示すフローチャートである。
【図８５】作成されたロボット制御コマンド列の一例を示す図である。
【図８６】作業内容を表示する画面の一例を示す図である。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図２】
2004106009.tif 000091
【図４】
2004106009.tif 000092
【図５】
2004106009.tif 000093
【図６】
2004106009.tif 000094
【図７】
2004106009.tif 000095
【図８】
2004106009.tif 000096
【図９】
2004106009.tif 000097
【図１０】
2004106009.tif 000098
【図１１】
2004106009.tif 000099
【図１２】
2004106009.tif 000100
【図１３】
2004106009.tif 000101
【図１９】
2004106009.tif 000102
【図２０】
2004106009.tif 000103
【図２７】
2004106009.tif 000104
【図２８】
2004106009.tif 000105
【図２９】
2004106009.tif 000106
【図３０】
2004106009.tif 000107
【図３１】
2004106009.tif 000108
【図３２】
2004106009.tif 000109
【図３３】
2004106009.tif 000110
【図３４】
2004106009.tif 000111
【図３５】
2004106009.tif 000112
【図３６】
2004106009.tif 000113
【図３７】
2004106009.tif 000114
【図３８】
2004106009.tif 000115
【図３９】
2004106009.tif 000116
【図４０】
2004106009.tif 000117
【図４１】
2004106009.tif 000118
【図４２】
2004106009.tif 000119
【図４３】
2004106009.tif 000120
【図４４】
2004106009.tif 000121
【図４５】
2004106009.tif 000122
【図４６】
2004106009.tif 000123
【図４７】
2004106009.tif 000124
【図４８】
2004106009.tif 000125
【図４９】
2004106009.tif 000126
【図５０】
2004106009.tif 000127
【図５１】
2004106009.tif 000128
【図５２】
2004106009.tif 000129
【図５３】
2004106009.tif 000130
【図５４】
2004106009.tif 000131
【図５５】
2004106009.tif 000132
【図５６】
2004106009.tif 000133
【図５７】
2004106009.tif 000134
【図５８】
2004106009.tif 000135
【図５９】
2004106009.tif 000136
【図６０】
2004106009.tif 000137
【図６１】
2004106009.tif 000138
【図６２】
2004106009.tif 000139
【図６３】
2004106009.tif 000140
【図６４】
2004106009.tif 000141
【図６５】
2004106009.tif 000142
【図６６】
2004106009.tif 000143
【図６７】
2004106009.tif 000144
【図６８】
2004106009.tif 000145
【図６９】
2004106009.tif 000146
【図７０】
2004106009.tif 000147
【図７６】
2004106009.tif 000148
【図７８】
2004106009.tif 000149
【図８０】
2004106009.tif 000150
【図８２】
2004106009.tif 000151
【図８３】
2004106009.tif 000152
【図８４】
2004106009.tif 000153
【図８５】
2004106009.tif 000154
【図１】
2004106009.tif 000155
【図３】
2004106009.tif 000156
【図１４】
2004106009.tif 000157
【図１５】
2004106009.tif 000158
【図１６】
2004106009.tif 000159
【図１７】
2004106009.tif 000160
【図１８】
2004106009.tif 000161
【図２１】
2004106009.tif 000162
【図２２】
2004106009.tif 000163
【図２３】
2004106009.tif 000164
【図２４】
2004106009.tif 000165
【図２５】
2004106009.tif 000166
【図２６】
2004106009.tif 000167
【図７１】
2004106009.tif 000168
【図７２】
2004106009.tif 000169
【図７３】
2004106009.tif 000170
【図７４】
2004106009.tif 000171
【図７５】
2004106009.tif 000172
【図７７】
2004106009.tif 000173
【図７９】
2004106009.tif 000174
【図８１】
2004106009.tif 000175
【図８６】
2004106009.tif 000176
【手続補正書】
【提出日】平成17年10月31日(2005.10.31)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いシステム。
【請求項２】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて作業計画を作成する作業計画作成手段と、を備え、
上記作業計画作成手段は、上記ロボットに上記対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いシステム。
【請求項３】
所定の生活空間内に存在する物品の取扱いを行うシステムであって、
上記物品の取扱い作業を行うロボットと、
上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースと、
上記ロボットの作業対象物品とその対象物品の移動先とからなる作業命令を入力する入力手段と、
上記作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記動作内容データベースを参照しながら作成する作業計画作成手段と、を備える物品取扱いシステム。
【請求項４】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットに上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記移動先である設備の動作を追加して作成する物品取扱いサーバ。
【請求項５】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットの作業計画を作成する作業計画作成手段を備え、
上記作業計画作成手段は、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記対象物品の移動元である設備の動作を追加して作成する物品取扱いサーバ。
【請求項６】
所定の生活空間内に存在する物品の取扱いを行うためのサーバであって、
上記物品の取扱い作業を行うロボットの作業対象物品とその対象物品の移動先とからなる作業命令を受けて、上記ロボットが上記作業命令に含まれる対象物品を移動先に移動させるための作業計画を、上記生活空間内に存在する設備の動作内容が蓄積された動作内容データベースを参照しながら作成する作業計画作成手段を備える物品取扱いサーバ。
【国際調査報告】
2004106009.tif 000177
2004106009.tif 000178
2004106009.tif 000179
2004106009.tif 000180