(57)【要約】【課題】  居住環境内の物品を管理する物品管理システムにおいて、実状況に即した画面上で物品の操作を行うインターフェース手段を介して、設備（冷蔵庫、引き出し、押入、箱等）内に隠れている物品をも操作できるようにする。【解決手段】  物品管理システム100は、部屋内の実状況を表示する表示手段119と、表示手段119を用いて物品の指定を行う物品操作手段118と、物品データベース107及び環境マップ109の情報に基づき、設備104内の物品の情報を表示手段119に表示するためのデータを生成する設備内表示手段124と、物品操作手段118によって設備104が指定されると、設備104の内部に隠れた物品の情報を表示手段119に表示させる制御手段120とを備えている。【選択図】  図１
2006338059.tif 000002
【特許請求の範囲】
【請求項１】
居住環境内に存在する物品を管理するシステムであって、
前記居住環境内の物品の情報を管理するデータベースと、
前記居住環境内の設備及び空間の構造情報を管理する環境マップと、
前記居住環境の実状況を表示する表示手段と、
前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段と、
前記データベース及び前記環境マップの情報に基づいて、設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成する表示データ生成手段と、
前記物品操作手段によって前記設備が指定されると、前記設備の内部又は陰に隠れた物品の情報を前記表示手段に表示する表示制御手段と、
を備えている物品管理システム。
【請求項２】
居住環境内に存在する物品を管理するシステムであって、
前記居住環境の実状況を表示する表示手段における表示上で少なくとも物品を指定する操作を行うための物品操作手段と、
前記居住環境内の物品の情報を管理するデータベースと前記居住環境内の設備及び空間の構造情報を管理する環境マップとの情報に基づいて、設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成する表示データ生成手段と、
前記物品操作手段によって前記設備が指定されると、前記設備の内部又は陰に隠れた物品の情報を前記表示手段に表示する表示制御手段と、
を備えている物品管理システム。
【請求項３】
居住環境内に存在する物品を管理するシステムであって、
前記居住環境内の物品の情報を管理するデータベースと、
前記居住環境内の設備及び空間の構造情報を管理する環境マップと、
前記居住環境の実状況を表示する表示手段と、
前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段と、
前記データベース及び前記環境マップの情報に基づいて、設備の内部及び陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成する表示データ生成手段と、
前記物品操作手段によって前記設備が指定されると、前記設備の内部に隠れた物品の情報及び前記設備の陰に隠れた物品の情報のいずれか一方を前記表示手段に選択的且つ切替自在に表示する表示制御手段と、
を備えている物品管理システム。
【請求項４】
居住環境内に存在する物品を管理するシステムであって、
前記居住環境の実状況を表示する表示手段における表示上で少なくとも物品を指定する操作を行うための物品操作手段と、
前記居住環境内の物品の情報を管理するデータベースと前記居住環境内の設備及び空間の構造情報を管理する環境マップとの情報に基づいて、設備の内部及び陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成する表示データ生成手段と、
前記物品操作手段によって前記設備が指定されると、前記設備の内部に隠れた物品の情報及び前記設備の陰に隠れた物品の情報のいずれか一方を前記表示手段に選択的且つ切替自在に表示する表示制御手段と、
を備えている物品管理システム。
【請求項５】
物品の情報を検出するセンシング手段と、
前記センシング手段の検出結果に基づいて前記データベースの情報を更新するデータベース制御手段と、
を備えている請求項１〜４のいずれか一つに記載の物品管理システム。
【請求項６】
物品を移動させる物品移動手段と、
前記物品操作手段によって物品と当該物品の移動場所とが指示操作されると、前記物品移動手段により前記物品を前記移動場所へ移動させる物品移動制御手段と、
を備えている請求項１〜５のいずれか一つに記載の物品管理システム。
【請求項７】
前記物品操作手段は、前記表示手段の表示上に物品操作のためのカーソルを表示させ、
前記表示制御手段は、前記表示手段の表示上において前記カーソルが設備に重ねられると、前記設備の内部又は陰に隠れた物品の情報を単独であるいは前記設備の構造情報と共にポップアップリスト形式で表示する請求項１〜６のいずれか一つに記載の物品管理システム。
【請求項８】
前記物品操作手段は、前記表示手段の表示上に物品操作のためのカーソルを表示させ、
前記居住環境内の設備の少なくとも一つには、前記設備の内部又は陰の領域を撮影する撮影手段が設けられ、
前記表示制御手段は、前記表示手段の表示上において前記カーソルが前記設備に重ねられると、前記設備の内部又は陰に隠れた物品の映像を表示する請求項１〜６のいずれか一つに記載の物品管理システム。
【請求項９】
前記物品操作手段は、前記表示手段の表示上に物品操作のためのカーソルを表示させ、
前記居住環境内の設備の少なくとも一つには、前記設備の内部又は陰の領域を視認自在とする透過手段が設けられ、
前記表示制御手段は、前記表示手段の表示上において前記カーソルが前記設備に重ねられると、前記設備の内部又は陰に隠れた物品を透過表示する請求項１〜６のいずれか一つに記載の物品管理システム。
【請求項１０】
前記設備は、所定の動作を行う設備からなり、
前記物品操作手段によって前記設備が指定されると、前記設備に前記動作を実行させる制御手段を備えている請求項１〜９のいずれか一つに記載の物品管理システム。
【請求項１１】
前記設備は、開閉自在なドアを備え、
前記制御手段は、前記物品操作手段によって前記設備が指定されると、前記設備のドアを開放又は閉鎖する請求項１０に記載の物品管理システム。
【請求項１２】
前記表示データ生成手段は、物品情報を前記表示手段に複数の表示形態で表示させる複数のデータを生成し、
前記表示制御手段は、前記設備の属性、前記物品の属性、操作者の属性、及び操作内容の少なくとも一つに基づいて前記表示形態を選択する請求項１〜１１のいずれか一つに記載の物品管理システム。
【請求項１３】
居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段とを備えた物品管理システムを制御するプログラムであって、前記物品管理システムに、
前記データベース及び前記環境マップの情報に基づいて、設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成するステップと、
前記物品操作手段によって前記設備が指定されると、前記設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するステップと、
を実行させるプログラム。
【請求項１４】
居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段とを備えた物品管理システムを制御するプログラムであって、前記物品管理システムに、
前記データベース及び前記環境マップの情報に基づいて、設備の内部及び陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成するステップと、
前記物品操作手段によって前記設備が指定されると、前記設備の内部に隠れた物品の情報及び前記設備の陰に隠れた物品の情報のいずれか一方を前記表示手段に選択的且つ切替自在に表示するステップと、
を実行させるプログラム。
【請求項１５】
居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段とを備えた物品管理システムを制御する方法であって、
前記データベース及び前記環境マップの情報に基づいて、設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成するステップと、
前記物品操作手段によって前記設備が指定されると、前記設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するステップと、
を包含する制御方法。
【請求項１６】
居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段とを備えた物品管理システムを制御する方法であって、
前記データベース及び前記環境マップの情報に基づいて、設備の内部及び陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成するステップと、
前記物品操作手段によって前記設備が指定されると、前記設備の内部に隠れた物品の情報及び前記設備の陰に隠れた物品の情報のいずれか一方を前記表示手段に選択的且つ切替自在に表示するステップと、
を包含する制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、居住環境内に存在する物品を管理する物品管理システム及びその制御用プログラム並びにその制御方法に係り、特に、ユーザによる物品に対する操作を容易化するシステム、プログラム及び制御方法に関する。
【背景技術】
【０００２】
ロボットに物品を移動させて何らかの仕事をさせることは、実に多くの分野で行われている。例えば、工場での自動製品組み立てラインにおける部品の把持運搬、自動化された倉庫での在庫品の運搬・管理などである。一方で今日では、かくのごとく産業用としては成熟してきたロボット技術を生かし、家庭内でロボットに仕事をさせる試みがなされている。すなわち、ロボットが家庭で人間と共存しながら人間の生活を支援するという壮大な目標に向けて、家庭向けのロボットの研究開発がさかんに行われるようになってきた。
【０００３】
例えば、ペットの飼えない環境でペットのような振る舞いをすることで人の心を癒すなどのエンタテイメント系のロボットや、多数のセンサを備え、部屋の中の障害物をセンサで検知してよけながら自動で部屋の中を掃除するなどの、いわゆる家事支援系のロボットなどが、実際に開発、製品化されている。また要素技術としては、様々な家事支援を実際に行うために必要不可欠な技術、例えば家庭内の物品を自由に把持し運搬するハンドリング技術、ロボットが移動する空間内の様子を認識するセンシング技術なども、さかんに開発されている。
【０００４】
ところが、上記ハンドリング技術やセンシング技術が成熟したとしても、それによって直ちにロボットによる家事支援が実現できるとは限らない。なぜならば、前記技術の他に、ロボットに簡単に指示を与えるための技術、すなわちインターフェース技術の開発が必要不可欠だからである。言い換えると、ユーザの使い勝手を良くする技術が必要であるからである。例えば、家庭内の物品をある場所から別の場所に運んだり、ゴミを捨てたりという操作を、簡単に指示できるような技術である。
【０００５】
産業用のロボットの場合、このような操作指示は比較的簡単である。例えば、特許文献１には、扱う物品を限定し、その物品をパレットに積載する指示を簡単に行う方法が開示されている。本方法では、実状況に則した仮想物品図をモニタに表示し、ユーザは前記仮想物品図を見ながら指示を行う。すなわち、ユーザは、パレットに直方体形状の物品を積み込む作業手順を、仮想物品図上で物品を移動させて位置を入力することで指示する。このような移動作業は、マウスのドラッグとドロップなどの直感操作によって行われる。上記方法では、このような指示作業を繰り返すことで、パレットへの物品の積載手順が完成される。
【０００６】
上記方法を実行するシステムは、これらの指示作業によって、全ての物品の移動前の場所と移動後の場所とを作業情報として順に蓄積していく。そして、指示が終わると、それぞれの物品についてロボットが移動前の場所に行き、それを把持して移動後の場所まで運び、把持を解放することで設置する。この物品運搬操作が全て終わると、作業が完了する。
【０００７】
したがって、上記システムでは、モニタ表示された荷扱い物品の積載状況を見ながら直感的に荷扱い設定の入力作業を行うことができるため、操作が簡単になる。
【特許文献１】特開平７−２３７１５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上記特許文献１に開示された、仮想物品図内で荷扱い手順を設定するという技術は、家庭用ロボットに対して物品の把持運搬作業を指示することにも適用可能である。例えば、老人など筋力の低下によって物品の持ち運びが不自由な人が、モニタ画面を見ながら屋内の物品の把持移動を行えるようなシステムに適用できる。
【０００９】
しかしながら、予め画一的処理が可能なように物品の形状や配置が整えられている産業用分野と異なり、家庭内においては、物品は必ずしも目に見える位置に配置されているとは限らない。具体的には、家庭内の物品は床やテーブルの上に配置されているだけではなく、設備（冷蔵庫、引き出し、押入、箱等）内にも配置されている。また、物品が設備の陰に隠れている場合もある。そのため、家庭等の居住環境内において従来技術をそのまま適用することは困難であり、このような設備内の物品等をもインタフェース手段を用いて簡単に操作できる技術が待ち望まれている。
【００１０】
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、インターフェース手段を介した操作を、設備の内部又は陰に隠れている物品に対しても容易に行うことを可能にすることにある。
【課題を解決するための手段】
【００１１】
本発明に係る物品管理システムは、居住環境内に存在する物品を管理するシステムであって、前記居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段と、前記データベース及び前記環境マップの情報に基づいて、設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成する表示データ生成手段と、前記物品操作手段によって前記設備が指定されると、前記設備の内部又は陰に隠れた物品の情報を前記表示手段に表示する表示制御手段と、を備えているものである。
【００１２】
本発明に係るプログラムは、居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段とを備えた物品管理システムを制御するプログラムであって、前記物品管理システムに、前記データベース及び前記環境マップの情報に基づいて、設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成するステップと、前記物品操作手段によって前記設備が指定されると、前記設備の内部又は陰に隠れた物品の情報を前記表示手段に表示するステップと、を実行させるものである。
【００１３】
本発明に係る物品管理システムの制御方法は、上記ステップを包含する方法である。
【００１４】
上記物品管理システムでは、ユーザが物品操作手段（マウス等）を用いて表示手段の表示（ディスプレイの画像等）上で設備を指示すると、表示手段には当該設備の内部又は陰に隠れた物品の情報が表示される。したがって、ユーザは表示手段の表示を見ながら、設備の外部に存在する物品だけでなく、設備の内部又は陰に隠れている物品の情報をも得ることができる。そのため、不規則又は無秩序に配置された物品に対しても、容易に操作を行うことができる。したがって、居住環境内に存在する様々な物品に対して操作を行うことが可能となる。
【００１５】
本発明に係る他の物品管理システムは、居住環境内に存在する物品を管理するシステムであって、前記居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段と、前記データベース及び前記環境マップの情報に基づいて、設備の内部及び陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成する表示データ生成手段と、前記物品操作手段によって前記設備が指定されると、前記設備の内部に隠れた物品の情報及び前記設備の陰に隠れた物品の情報のいずれか一方を前記表示手段に選択的且つ切替自在に表示する表示制御手段と、を備えているものである。
【００１６】
本発明に係る他のプログラムは、居住環境内の物品の情報を管理するデータベースと、前記居住環境内の設備及び空間の構造情報を管理する環境マップと、前記居住環境の実状況を表示する表示手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段と、前記表示手段による表示上で少なくとも物品を指定する操作を行うための物品操作手段とを備えた物品管理システムを制御するプログラムであって、前記物品管理システムに、前記データベース及び前記環境マップの情報に基づいて、設備の内部及び陰に隠れた物品の情報を前記表示手段に表示するためのデータを生成するステップと、前記物品操作手段によって前記設備が指定されると、前記設備の内部に隠れた物品の情報及び前記設備の陰に隠れた物品の情報のいずれか一方を前記表示手段に選択的且つ切替自在に表示するステップと、を実行させるものである。
【００１７】
本発明に係る他の制御方法は、上記ステップを包含する方法である。
【００１８】
上記物品管理システムにおいても、ユーザは表示手段の表示を見ながら、設備の外部に存在する物品だけでなく、設備の内部又は陰に隠れている物品の情報をも得ることができる。さらに、上記物品管理システムでは、前記設備の内部に隠れた物品の情報及び前記設備の陰に隠れた物品の情報のいずれか一方が選択的且つ切替自在に表示されるので、設備の内部及び陰の部分のいずれにも物品が存在する場合であっても、それら物品の情報を別々に表示させることができる。したがって、ユーザは物品の操作を容易に行うことができる。
【発明の効果】
【００１９】
本発明によれば、物品操作手段を用いて表示手段の表示上で設備を指定するだけの簡単な操作によって、ユーザは設備の内部又は陰に隠れている物品の情報を得ることができる。したがって、設備の外部に存在する物品だけでなく、設備の内部又は陰に隠れている物品の情報も容易に取得することができるので、不規則かつ無秩序に配置されている物品に対しても、操作を容易に実行することが可能となる。したがって、物品操作手段（インターフェース手段）を介して、居住空間内の物品の操作を容易に実行することができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態を図面に基づいて詳細に説明する。
【００２１】
まず、本実施形態に係る物品管理システムの全体構成について説明し、続いて物品管理システムの動作を具体例と共に説明する。
【００２２】
−物品管理システムの全体構成−
図１は、本実施形態における物品管理システム100の全体構成の例を示したブロック図である。物品管理システム100は、大きく分けて４つのサブシステム、すなわち環境管理サーバ101（以下、単にサーバと称することもある）と、物品移動手段としてのロボット102と、操作端末103と、設備104とから構成される。以下では、環境管理サーバ101、設備104、操作端末103、ロボット102の順に、それぞれのサブシステムの構成及び動作を説明することとする。
【００２３】
−環境管理サーバ−
１番目のサブシステムである環境管理サーバ101は、居住環境（以下、単に環境という）内の状況を把握するセンシング手段105と、把握した状況に基づいて環境内に存在する物品及び移動体（例えば人やロボット等）の管理や検索を行う物品検索・管理手段106と、そのためのデータを蓄える物品データベース107と、物品以外の環境全体の情報を管理する環境マップ管理手段108と、その管理のためのデータを蓄える環境マップ109と、物品データベース107や環境マップ109等のデータに関する問い合わせを外部から受け、また、それに応えて外部に情報を発信等する送受信手段110と、それら各手段を制御する制御手段111とを備えている。
【００２４】
なお、本実施形態における居住環境とは、例えば家屋やオフィスなど、人と物品とが相互に関わり合いをもって存在し合う環境を意味する。
【００２５】
マップ情報は、部屋や家具などのように、通常はほとんど移動しない物体（不動物体）の構造情報からなる。構造情報とは、少なくとも不動物体が占める空間内部及びその上部に存在する、他の物体を設置可能な面（例えば、部屋であれば床、収納であれば棚）の領域情報（例えば、その面の外接多角形の頂点）を言う。領域情報は、座標系と形状とによる表示などにより表される。
【００２６】
以下、環境管理サーバ101の各構成要素について順に説明していく。
【００２７】
＜センシング手段＞
センシング手段105は、操作環境内（例えば家屋やオフィス、店舗など）に存在するすべての監視対象物、すなわち物品、家具、環境内に存在する人、ロボット102等の位置や状態を常に監視するものである。また、センシング手段105は、新たな物品が人やロボット102等によって環境内に新たに持ち込まれた場合には、それも検出する。
【００２８】
センシング手段105の具体的構成は特に限定されないが、例えば、画像センサを用いる手段や電子タグを用いる手段などを好適に利用することができる。ここでは、物品や移動体を検出する方法の具体例として、画像センサを使う方法と電子タグを使う方法とを説明する。
【００２９】
まず、画像センサを用いる方法について説明する。ここで用いる画像センサの種類は特に限定されないが、屋内のような広い範囲を少ない設備で効率よく監視するものとして、カメラ（画像センサ）を好適に用いることができる。すなわち、カメラを天井や壁などに固定して設置し、それらの撮影画像を使って、物品の検出などを行ってもよい。
【００３０】
環境内に設置されたカメラ画像を用いて物品を検出する一般的な方法として、背景差分法が知られている。背景差分法とは、あらかじめ背景としてのモデル画像を用意しておき、現在の入力画像と前記モデル画像との差分を取ることにより、対象物を画像から得る方法である。本実施形態に係るセンシング手段105では、環境内の物品や移動体を検出及び監視することを目的としている。そのため、モデル画像として、例えば環境変動が無い場合は、環境内に物品等の全く存在しない一枚の画像を使うことができる。一方、環境変動が激しい場合は、ある時間に連続して撮影された画像を平均して得られた画像を使っても良い。
【００３１】
図２（ａ）〜（ｃ）は背景差分法を具体的に説明するための補助図であり、図２（ｂ）は前記モデル画像の例を示した図である。図２（ａ）は、図２（ｂ）の画像を撮影したカメラと同じカメラを用いて撮影されたある時点における入力画像を示した図であり、図２（ｃ）は、図２（ａ）の入力画像から図２（ｂ）のモデル画像を差し引いて得られた背景差分画像の例を示した図である。図２（ｃ）から分かるように、入力画像とモデル画像とで差のある部分のみが、背景差分画像において浮き出てくる。このように、背景差分法では、背景差分画像で浮き出てきた部分のみをそれぞれ取り出すことにより、環境内の物品を検出することができる。なお、使用するカメラの台数は１台でもよいが、２又は３台以上のカメラを用いれば、ステレオ視による三次元計測技術を用いて物品の形状及び姿勢情報も取得することが可能となる。
【００３２】
次に、電子タグを用いた物品の検出方法について説明する。近年、電子タグを用いて物品や移動体の位置を検出する方法が開発されている。本発明では、それら方法のほとんどすべてを応用することができ、例えば、特開２０００−３５７２５１号公報に開示された技術を利用することができる。
【００３３】
ここで電子タグとは、データを蓄えるＩＣとデータを無線で送信できるアンテナとからなるデバイスであり、リーダライタと呼ばれる装置によってタグに情報を書き込んだり、書き込まれた情報を読みとったりすることができる。
【００３４】
タグには、物品を特徴づける属性データ、すなわち物品の種類、製造年月日、形状、重さ、物品画像などのデータを記憶させることが可能である。このようなデータを電子タグに記憶させ、そのデータを参照自在にすることにより、より高度な物品管理が可能となる。そうすれば、例えば、形状及び重さを物品の把持や設置に際して利用したり、製造年月日を品質期限の管理に用いたり、物品の種類を捜し物の検索に用いることが可能になる等、ユーザに大きなメリットをもたらすことになる。また、タグ自体には業界で規格化された商品コード（バーコードと同様）だけを記憶させておき、インターネットなどの通信手段を用いて製造元にその物品の前記属性データを問い合わせるよう構成してもよい。
【００３５】
以上、センシング技術の具体例として、カメラ及び電子タグを用いた物品及び移動体の検出方法を説明したが、センシング手段105は、もちろんこれ以外の方法を用いるものであってもかまわない。前記センシング手段105は、カメラ、電子タグ及びその他のセンサのうち少なくとも一つ以上を含むものとする。
【００３６】
なお、センシング手段105によって新たな物品や移動体が検出されると、その情報は、後述の物品検索・管理手段106を介して物品データベース107に登録・更新される。
【００３７】
＜物品データベース＞
物品データベース107は、どのような物品がいつどの場所に置かれたか等のデータを蓄えておくデータベースである。以下、図面を用いてその詳細を説明する。
【００３８】
図３（ａ）及び（ｂ）は、物品データベース107のデータの構成と記載内容例とを示した概念図である。図３の（ａ）と（ｂ）とは同一の構成を示しており、それらのデータ内容のみが異なっている。図３において２種類のデータベースの例を示している理由は、時間の経過に伴ってデータ内容が変更されていく様子を説明するためである。
【００３９】
本例においては、物品データベース107を構成する個々の物品データは、以下に説明する５つの属性を持つ。
【００４０】
１）物品ＩＤ：個々の物品を区別するためのＩＤである。種類の同じ物品であっても物理的に別の存在であれば、それらを別の物品として扱う必要がある。そのため、同種の物品であっても、異なるＩＤが割り当てられる。
【００４１】
２）物品名称：当該物品の種類を表す名称である。前記物品ＩＤとは異なり、種類が同一であれば、名称は同一となる。
【００４２】
３）時刻：当該物品が最も最近に操作された時刻のことである。
【００４３】
４）場所：当該物品が最も最近に操作されたときに、当該物品が移動した場所のことである。場所については、後述する環境マップ109に登録されている環境属性データ601又は設備属性データ602のＩＤ番号で指定される（図６参照）。また、ＩＤ番号だけでは空間的位置が特定しにくい、またはできないものについては、座標値を設定する。例えば、場所が「冷蔵室」や「冷凍室」となっていれば、それだけで当該物品がそれらの中に存在するということが特定できるため、座標値は指定しない。一方、「床」のように、指定された場所が広い範囲に渡り、場所名だけでは具体的な物品の存在位置が特定できない場合は、前記位置を特定するための座標値を付与する。物品の存在場所値の初期設定および移動した場合の更新や付加情報としての前記座標値の付与は、前記センシング手段105によって自動的に行われることが好ましい。しかしながら、人手で行っても構わないことは勿論である。物品の場所を示す際に座標値を付与するか否かの判断は、前記物品を把持運搬するロボット102の性能によって決めればよい。もしロボット102の性能が非常に低く、例えば、冷蔵室内にある物品を把持する場合でも正確な座標が必要であれば、冷蔵室内の物品の場所（座標）を付与するようにしてもよい。
【００４４】
５）物品画像：当該物品の画像のことである。
【００４５】
ここでは、各物品の特徴を区別するために５つの属性を持たせた例を示したが、もちろん必要に応じてそれ以外の属性を持たせてもよい。例えば、物品の３次元形状、物品の正確な位置・姿勢のデータ（図示せず）などを属性として付与してもよい。このような属性を付与することにより、ロボット102の物品把持をより容易に行うことができる。また、時刻・場所・物品画像は時刻毎に記録し、履歴として保持することも可能である。これにより、過去のある時点での物品の位置を指示したり、画像を表示することが可能となる。
【００４６】
次に、物品データベース107の内容と実際の状況とを対比させながら、データの内容が時間の経過に伴って変更されていく様子を説明する。
【００４７】
図４（ａ）及び（ｂ）は、ある環境の様子を異なる２つの時刻において撮影した模式図である。ここでは、図４（ａ）及び（ｂ）がそれぞれ図３（ａ）及び（ｂ）に対応しているものとする。すなわち、それぞれの時刻における前記環境に存在する物品データを格納したデータベースが、それぞれ図３（ａ）及び（ｂ）のデータベースと一致しているものとする。
【００４８】
図３（ａ）は、例として、２００２年１０月１０日９時の時点でのデータベースの内容を表している。このデータベースには、
缶ジュース、弁当、手帳、バナナ、紙くず、アイスクリーム、アイスキャンデー
の７つの物品が登録されている。このうち、
缶ジュース、弁当、手帳、バナナ、紙くず
の５つの物品については、図４（ａ）の例で分かるように床上に散乱している。そのため、図３（ａ）に示すように、データベースにおける各物品の場所の値としては、「床」（floor#0001）だけではなく、それぞれの床上の座標位置も付加情報として付与されている。
【００４９】
一方、下記の残りの物品、
アイスクリーム、アイスキャンデー
については、いずれも冷凍室内に保存されており（図４（ａ）では明示されていない。）、場所がある程度限定できるため、データベースにおける各物品の場所の値としては「冷凍室」（freezer#0001）とだけ記されている。
【００５０】
次に、２００２年１０月１０日１０時の時点に、下記の環境変化があったとする。すなわち、
１）ユーザによって床上の物品の片づけが指示され（それぞれの片づけ先は図４（ａ）の矢印付き曲線に示した通り。）、その指示を受けてロボット102が物品の片づけを実行した。
【００５１】
２）ユーザが冷凍室内のアイスクリーム、アイスキャンデーを食した。
【００５２】
図３（ｂ）は、このような環境変化の後、少し時間が経過した２００２年１０月１０日２０時のデータベースの様子を示している。
【００５３】
図４（ｂ）に示すように、図４（ａ）の時点で床上に散乱していた下記物品、
缶ジュース、弁当、手帳、バナナ、紙くず
の５つの物品は、前記指示通りに片づけられ、それに伴ってデータベースの場所の値は書き変わっている（図３（ｂ）参照）。また、食されることで消滅した下記物品、
アイスクリーム、アイスキャンデー
については、データベースから削除されている様子が分かる（図３（ｂ）参照）。この削除の処理は人手で行ってもよいし、またタグなどのセンサを使って自動的に行ってもよい。また、食べ物については誰かが食べることによって実世界から事実上消滅するので、場所データには、場所を記述する代わりに食べた人を記述するようにしてもよい。
【００５４】
このように、物品が移動したり環境内から消滅すると、物品データベース107のデータ内容は逐次更新され、物品データベース107には常に最新の情報が保たれる。以上、物品データベース107の内容を説明した。
【００５５】
＜物品検索・管理手段＞
物品検索・管理手段106は、環境内に置かれているあらゆる物品に関して、センシング手段105やユーザの手入力によって得られた物品の情報を物品データベース107に蓄積したり、環境管理サーバ101の外部から送受信手段110及び制御手段111を介して物品等に関する問い合わせがあった場合には、その問い合わせの内容に応じて必要な情報を物品データベース107から取り出し、問い合わせ先に送るという処理を行う。なお、物品データベース107へのアクセスは物品検索・管理手段106のみに許可されており、同じ物品データに対して、書き込みと読み出しとが同時に行われないよう管理されている。ロボット102及び操作端末103から物品の情報登録・更新の要請を受けたときには、本物品検索・管理手段106を介して物品データベース107の登録・更新を行う。また、後述する操作端末103を用い、日付や物品の種類など、知りたい物品の属性を絞り込むための検索キーを指定することで、探している物品の場所を検索することも可能である。
【００５６】
＜環境マップ管理手段＞
環境マップ管理手段108は環境内のマップの管理を行う。図５は環境マップ109の例を実状況と対比して示した概念図であり、図５（ａ）は実際の状況を表した図、図５（ｂ）は環境マップ109として実際の状況を簡略化した立体モデルで示した図、図５（ｃ）は実際の状況をさらに簡略化して平面モデルで示した図である。環境マップ109は、このように立体データとして表してもよいし、より簡単に平面データとしてもよい。データはマップの用途やマップ作成に要する手間に応じて作成すればよく、例えば立体モデルを非常に短時間で作る必要があれば、立体物に関してはそれを覆う最小の直方体でモデル化するなどすればよい。例えば、図５（ｂ）のモデルはそのような例である。図５（ｂ）では、図５（ａ）において中央に位置するテーブルは直方体でモデル化されている。平面データでも同様であり、図５（ｃ）のモデルにおいては、中央に位置するテーブルを平面に正射影した矩形領域（図５（ｃ）のハッチ部分の矩形領域）で表し、この領域をロボット移動不可領域として定めている。なお、以降の説明の都合上、この図５（ａ）〜（ｃ）に記載のＸ軸-Ｙ軸-Ｚ軸で構成された座標系を世界座標系と呼ぶこととする。
【００５７】
＜環境マップ＞
図６は環境マップ109のデータの一例を示した図である。環境マップ109は、大きく分けて環境属性データ601と設備属性データ602との２つの要素から構成される。
【００５８】
環境属性データ601は、簡単に言い換えると部屋の詳細なデータのことであり、本例では環境属性データ601に２つの床面データ（floor#0001，floor#0002）が記録されている（floor#0002のデータは図示せず）。前記床面データには、その面の頂点の座標（実世界座標での座標位置）が記述されており、また、その床面の材質が面毎に付されている。例えば、四角形の床面のデータの場合、図６に示したように、
（（Ｘ１，Ｙ１，Ｚ１）,
（Ｘ２，Ｙ２，Ｚ２）,
（Ｘ３，Ｙ３，Ｚ３）,
（Ｘ４，Ｙ４，Ｚ４）,０）
と表される。但し、座標の基準として、その部屋で最も低い床の高さを０としている。最初の４つの座標は頂点の座標を示し、最後の数値「０」は床面の材質を示している。床面の材質は、例えば、「０」はフローリング、「１」は畳、「２」は絨毯、等であり、材質毎に予め対応する数字が定められている。部屋内に高さの異なる複数の床面が存在する場合には、これらの床面データはその床面の数だけ用意すればよい。
【００５９】
設備属性データ602は、環境属性データ601で構成される環境（具体的には部屋）の中に存在する設備104を列挙したものである。ここでいう設備104とは、通常の状態では移動させて使うことのない家庭用品等であり、例えば家具や大型家電製品などがこれに相当する。
【００６０】
図６に示す例では、環境としての部屋の中には、テーブルと冷凍室と冷蔵室とゴミ箱等が存在するので、環境マップ109にはそれぞれのデータが保存されており、設備属性データ602にそれらの属性が保存されている。なお、本来は冷凍室と冷蔵室とは一体となって冷蔵庫と呼ばれるが、本例では物品を収納する場所単位で設備を区別しているため、冷蔵庫を一つの設備として扱うのではなく、冷凍室と冷蔵室とをそれぞれ独立した一つの設備として区別している。
【００６１】
設備属性データ602には、各設備の属性として、当該設備の表面を多面体で近似したときの複数の面のデータ、当該設備の種類、当該設備の設置可能な面に設置される主な物品形状と姿勢等が保存されている。設備の面のデータには、その面の頂点の座標（実世界座標での座標位置）が記述されており、また、その面に物品が設置できるか否かのフラグが面毎に付されている。例えば、頂点の数が４つの面のデータの場合、
（（Ｘ１，Ｙ１，Ｚ１）,
（Ｘ２，Ｙ２，Ｚ２）,
（Ｘ３，Ｙ３，Ｚ３）,
（Ｘ４，Ｙ４，Ｚ４）,１）
となる。最初の３つの座標は頂点の座標を示し、最後の数値「１」は物品が設置できることを意味する。この数値が「０」の面は、物品を設置することができない面である。そして、設備の種類によっては、このフラグを状況に応じて切り替えられるようにする。このような状況としては、例えばドアが開いているか閉じているか、などが挙げられる。図７は、そのような典型例を示すための補助図である。
【００６２】
図７の例では、冷凍室に関する設備の属性データが示されている。すなわち、図７（ａ）は冷凍室のドアが閉まっている状態での属性データ、図７（ｂ）は冷凍室のドアが開いている状態での属性データをそれぞれ示す。これらの図から、冷凍室の開閉に応じて前記フラグの最後の値が替わっていることが分かる。すなわち、冷凍室のドアが閉じている場合は、そのままの状態では内部に物品を保存できないため、前記フラグは「０」となる。一方、冷凍室のドアが開いている場合は、そのままの状態で内部に物品を保存できる状況になっているため、前記フラグは「１」となる。なお、図７（ｂ）における冷凍室では、ロボット102を使って内部に物品を出し入れできるように、物品を設置する面はドアが開いた時に前面にせり出してくるような機構を備えている。このため、物品を設置する面の座標値には、このせり出した状態における面の四隅の座標値が与えられている。そして、ロボット102は、当該面がせり出している状態で（つまりドアが開いている状態で）のみ、物品の出し入れを行う。当該面に物品を設置する操作、また、当該面に設置されている物品を取り出す操作を、面の座標値を参照しながら行うことも可能である。ドアを閉じると、当該面（物品設置面）は冷凍室内に収納される。これにともない、当該面の実座標値は変化する。しかし、ドアを閉じている状態ではロボット102が冷凍室内に物品を入れたり取り出したりすることは無いので、設備属性データ602として記載されている座標値は変更しないでそのままにする。
【００６３】
なお、本例では、設備属性データ602として物品の設置が可能かどうかの識別フラグのみを示したが、もちろん必要に応じて他の情報を追加してもよい。例えば、環境属性データ601と同様に面の材質を付加してもよい。また、その面に物品を設置したり、その面から物体を取り出したりするための、当該面へのロボットハンドのアプローチの軌跡を追加してもよい。さらには、ロボットハンドを動かすためのプログラムを記憶し利用することも可能である。例えば、ロボットアームを動かすための標準的なプログラム仕様を予め決めておき、その仕様に準ずるアーム制御が可能なロボット102を使う場合に、前記設備属性データ602の一部として記憶されたプログラムをロボット102に適宜ダウンロードし、そのダウンロードされたプログラムによってロボット102を動かすようにしてもよい。これにより、ロボット102は全ての設備に対して個々の把持制御プログラムを用意しなくて済み、プログラムを記憶するためのメモリ容量を減らすことができる。
【００６４】
＜環境管理サーバの制御手段＞
環境管理サーバ101の制御手段111はサーバ101の全体を制御する部分であり、前述したように、主な制御内容として以下のものが挙げられる。
【００６５】
すなわち、制御手段111は、サーバ101内の各種データに関して送受信手段110を介して外部から問い合わせがあった場合に、その内容に応じて物品検索・管理手段106又は環境マップ管理手段108に対し、前記データの参照要求を出す。
【００６６】
また、制御手段111は、前記要求に対して物品検索・管理手段106又は環境マップ管理手段108から送られてきた結果を、送受信手段110を介して問い合わせ元に送る。
【００６７】
さらに、制御手段111は、送受信手段110を介して外部から送られてきたサーバ101内にある各種データに関する登録・更新の要請を解釈し、その内容に応じて物品検索・管理手段106又は環境マップ管理手段108に、前記データの登録・更新要求を出す。
【００６８】
−設備−
本実施形態の物品管理システム100の２番目のサブシステムである設備104は、一定の目的を持って物品を収納する場所を有する設備である。ここで、「目的を持って」という意味は、例えば冷蔵庫であれば「保存する」、電子レンジであれば「温める」、などである。また収納という言葉は一般的には保管などの意味として使われるが、本発明における収納には、前記目的を施すための場所に物品を一時的に入れることも含まれる。従って、例えば冷蔵庫や電子レンジに食品を入れることも収納と呼ぶ。
【００６９】
図１に示すように、設備104は、その基本構成として、外部からの操作指示を受けて当該設備104の操作を行うための設備操作情報記憶手段122と 、当該設備内の物品の属性データを取得するためのセンシング手段123と、前記操作指示を外部から受信し又は前記操作を行った結果を指示元に送信する送受信手段110と、それら各手段110,122,123を制御する制御手段121とからなる。
【００７０】
＜設備のセンシング手段＞
センシング手段123は、環境管理サーバ101のセンシング手段105と同様なので、ここでは詳細な説明は省略する。ただし、センシングされた情報及び設備の構造情報は、環境管理サーバ101の物品データベース107や環境マップ109に対し、ネットワークを介して蓄積されるものとする。また、センシング手段123をカメラで構成することにより、設備内の実画像を用いた直感的なＧＵＩ(Graphical User Interface)を実現することができる。
【００７１】
＜設備操作情報記憶手段＞
設備操作情報記憶手段122は、主として、当該設備104を外部から遠隔操作するためのコマンド（設備操作コマンド）を記憶するものである。図８は設備操作情報記憶手段122に記憶されている設備操作コマンドを表形式で示した図である。表の記述情報は、左の列から順に、環境内に存在する設備を区別するための設備ＩＤ、外部から当該設備を制御するための設備操作コマンド名、前記コマンドに対応した処理手続き、前記処理を行った結果の戻り値となっている。
【００７２】
ここでは、設備の例として、設備ＩＤで区別されるRefrigerator#0001(冷蔵室)、Freezer#0001(冷凍室)、Microwave#oven#0001(電子レンジ)の３種類が挙げられ、それぞれについての操作指示コマンドが示されている。次に、その例を用いて前記記述情報の意味を説明する。
【００７３】
最初の２つの例である冷蔵室および冷凍室では、それぞれ設備操作コマンドとして、
・door#open
・door#close
の２つが用意されている。冷蔵室および冷蔵室がこれらのコマンドを外部から受信すると、処理手続きにも書いてあるように、それぞれ「ドアを開く」、「ドアを閉める」という処理を設備自身が行う。そのため、冷蔵室および冷凍室のドアは自動で開閉する機構になっている。次に、それぞれの設備操作コマンドの処理が正常に終わると、コマンドの発信元にAckを、また設備操作コマンドの処理が失敗すると、コマンドの発信元にNackを、それぞれ戻り値として返す。また、設備が冷蔵室や冷凍室の場合は、ドアを開けずに内部が閲覧できるのが望ましく、透過・非透過の切り替え可能なドアを用意し、door#transparent#on,door#transparent#offという２つのコマンドを用意してもよい。透過・非透過切り替え可能なドアとは、例えば、透明なドアに液晶シャッターやブラインドを付けることで実現することができる。
【００７４】
３つ目の例である電子レンジでは、設備操作コマンドとして、
・door#open
・door#close
・warm#start
・warm#end
・is#object#in
の５種類が用意されている。これらのうち、door#open, door#close については、冷蔵室および冷凍室と同じなので説明を省略する。
【００７５】
設備操作コマンド warm#start を受信すると、処理手続きにも書いているように、温めを開始する。この際、レンジ内に物品が入っており温め処理が開始できればコマンドの発信元にAckを、またそれ以外の場合はコマンドの発信元にNackを、それぞれ戻り値として返す。設備操作コマンド warm#end を受信すると、温め終わったかどうかを調べ、温め完了の場合はTrue、まだ温め処理中の場合はFalseをコマンドの発信元に戻り値として返す。設備操作コマンド is#object#inを受信すると、電子レンジの庫内に物品があるかどうかを調べ、もし物品がある場合はTrueを、無い場合はFalseをコマンドの発信元に戻り値として返す。この際、物品の有無の確認は、画像センサや重量センサ、あるいは物品に電子タグが付与されていれば電子タグセンサを用いればよい。
【００７６】
以上、設備104について３種類の例を挙げ、設備操作コマンドの例を簡単に説明したが、必要な設備操作コマンドは各設備104の機能に応じてそれぞれ用意すればよい。また、設備104の製造元で新たな設備操作コマンドを用意したら、それを何らかの記憶媒体などを用いて当該設備104に書き込むか、あるいは当該設備104が外部ネットワークを介して製造元とつながっていれば、上記設備操作コマンドをネットワークを介して設備104に送るようすることもできる。
【００７７】
−操作端末−
物品管理システム100の３番目のサブシステムである操作端末103は、ユーザが環境内の物品操作を指示する為の端末である。
【００７８】
図１に示すように、操作端末103はその基本構成として、物品を指定する操作や当該物品を所定場所に移動する操作等によって物品移動指示を行う物品操作手段118と、操作画面を表示する表示手段119と、前記操作画面に設備内の物品や場所を指示できるような表示形態を生成し合成する設備内表示手段124と、物品操作手段118にて入力された物品操作の指示内容を環境管理サーバ101に送る送受信手段110と、それら各手段を制御する制御手段120とからなる。
【００７９】
＜物品操作手段＞
物品操作手段118では、利用者は、表示手段119に表示された画像を参照しながら、物品操作の指示を出す。例えば実状況をカメラなどで撮影したリアルタイムの映像をそのまま表示手段119に表示し、利用者はその映像を見ながら物品操作を行う。この物品操作には、例えばポインティングデバイス（マウス、タッチパネル、視線入力）やキーボードによるカーソル移動などが用いられる。
【００８０】
図４（ａ）及び（ｂ）は、前述の物品データベース107の内容説明に用いたが、一方で、この図は実状況をカメラなどで撮影したリアルタイムの映像をそのまま表示したものにも相当する。すなわち、図４（ａ）及び（ｂ）は、それぞれ物品操作前と操作後の操作画面例を示している。
【００８１】
ここで、図４（ａ）及び（ｂ）の操作画面を用い、物品を指定する操作及び指定した物品を所定場所に移動する操作の一例として、以下の操作が行われたこととする。すなわち、
１）画面上で操作したい物品までマウスカーソルを移動。
【００８２】
２）ドラッグによって物品を確定し、そのまま移動したい場所までカーソルを動かしドロップする。
【００８３】
上記の操作は、２ステップからなる非常に簡単な操作である。図４（ａ）中の矢印付き曲線は、ドラッグ＆ドロップの間におけるマウスカーソルの移動軌跡の例である。例えば手帳 S#0001 をテーブルの上に置きたい場合、まずマウスカーソルを手帳 S#0001 の所まで移動してドラッグし、その状態のままカーソルをテーブルの上に移動させ、マウスをドロップする。
【００８４】
ところで、このような操作を後述の指示データに変換するためには、単にカメラのリアルタイムな映像を画面にそのまま表示するだけでは十分ではなく、以下の１）及び２）の処理が必要となる。つまり、
１）画面上においてマウスで指示した物品が何であるか、また、ドロップした場所がどこであるかということの認識処理（設備外部の操作）
２）カメラ映像では見ることのできない領域にある物品、例えば設備104の内部や陰に隠れた物品を指示するため、あるいは、指示した物品をカメラ映像では見ることのできない領域に移動する場合の場所を指示する処理（設備内部等の操作）
が必要になる。次に、これら２点についての実施例を説明する。
【００８５】
＜設備外部の操作＞
まず、設備内部等（冷蔵室の室内など）以外の物品及び場所の指示の仕方について説明する。例えば、直前に説明した手帳の移動の例では、利用者は画面上で手帳 S#0001 の場所にマウスカーソルを移動させ、手帳 S#0001 をクリックする操作を行う。この際、移動操作対象物品が手帳 S#0001 であることをシステムが理解するためには、表示画面と１対１に対応した手帳 S#0001 の画面位置データが必要となる。前記位置データの最も簡単な表現方法は、表示画面と１対１に対応した物品マスクデータを用いる方法である。ここでいう「１対１に対応した」とは、座標値が対応しているという意味である。
【００８６】
表示画面においてある物品の位置を座標値で指定すると、次に物品マスクデータにて同じ座標値を参照する。物品マスクデータでは、物品の存在する座標に、その属性として物品データへのポインタが記載されている。そのポインタをたどって物品データを参照することで、表示画面の物品が何であるかが分かる。
【００８７】
ここで問題となるのは、前記物品マスクデータをどのように作成するかである。もし前述の背景差分法を使って、物品を検出するためのカメラ画像がそのまま物品操作のための表示画面に使われるならば、背景差分法の結果を用いればよい。なぜなら背景差分を行った結果として物品の画面内の位置が検出されるので、それをそのままマスクデータとして使えるからである。
【００８８】
一方、移動場所を認識する処理は、例えば、予め操作画面の映像と座標とが対応した画面マップを使って行う。図９は操作画面とそれに対応した画面マップとの例を示した概念図であり、図９（ａ）操作画面を示し、図９（ｂ）は画面マップを示している。この例で分かるように、画面マップとは、前述の環境マップ109で指定された環境属性データ601および設備属性データ602に相当する実体が、操作画面のどの場所に存在するかを区別するデータである。画面マップは、例えば画像データとして格納しておくことができる。例えば、画面マップをそれぞれの画素が整数値で表された画像データとし、その値と場所とのペアを、
０：何もなし
１：床(floor#0001)
２：テーブル(table#0001)
３：冷蔵室(refrigerator#0001)
４：冷凍室(freezer#0001)
５：一般ゴミ箱(wastebasket#0001)
６：リサイクルゴミ箱(wastebasket#0002)
などと予め決めておけばよい。操作画面の適当な場所を指定したときにその場所に何が存在するかを調べるためには、対応する環境マップ109で同じ場所の画素の値を調べることで判断する。但しこの判断処理は、まず物品が存在するか否かを調べる処理を行い、その場所に物品が無いことが確認されてから行われることはいうまでもない。
【００８９】
ここで挙げた例には内部構造を持つ冷蔵室や冷凍室が含まれているが、その内部のさらに具体的な物品や場所を指示するには、後述する設備内部の操作処理が必要である。もちろん、物品を収める場所が冷蔵室及び冷凍室内のどの位置でも構わない場合は、ここで説明した場所の指示方法で十分である。
【００９０】
なお環境マップ109に登録する設備104は、一度設置すると原則として殆ど動かさないものなので、環境マップ109の作成の自動化が困難な場合は手作業で作成してもよい。もちろんそれぞれの設備104の立体モデルが既知でありかつ設置場所が正確に計算できるのであれば、環境マップ109の作成も自動化することができる。
【００９１】
＜設備内部等の操作＞
画面上で指示したい物品や場所が設備104の内部にあったり、設備104の後側に隠れている場合などでは、カメラ映像にはそれら物品や場所は陽に現れない為、そのままでは指示ができない。次に、これら設備104の内部等の物品及び場所を指示するための簡単な手法の例を説明する。
【００９２】
まず、操作する物品のドラッグの有無に関わらず、マウスカーソルで指定している場所が設備であるかどうかは、上述したように画面マップ（図９（ｂ）参照）を用いて知ることができる。
【００９３】
そして、マウスカーソルで指定した場所が設備104であれば、設備104の内部の構造及び内部の物品を何らかの形態で表示し、設備内部の位置及び物品を指示できるようにする。設備内部の構造及び物品は、環境マップ109及び物品データベース107を参照することで知ることができる。前述のように物品データベース107では、例えば物品を設備104の内部に収納する場合に、その都度自動もしくは手動で、物品データベース107の物品収納場所の情報を更新している。従って、それぞれの設備104にどんな物品が収納されているかどうかは、物品データベース107を参照するだけで容易に把握できる。設備104の内部の構造及び物品の表示形態としては、例えば、以下のようなものが考えられる。
【００９４】
（１）第１表示形態
第１表示形態では、図１０（ａ）のように、設備内部のそれぞれの物品画像を、例えばポップアップ表示で一定時間表示する。特定の物品の指定は、各物品が一定時間表示されている間に特定物品の表示位置にマウスカーソルを移動する方法で行っても良いし、もちろん他の方法を用いても構わない。図１０（ａ）では、冷蔵室および冷凍室にマウスカーソルを移動したときに、それらの内部に収納されている物品の画像をポップアップで表示している例を示している。この表示例は設備内の物品を他へ移動するときに適している。もちろん前記画像の代わりに文字を用いてもよい。この表示形態では、物品を設備内に移動するときには、設備内のどの場所に置くかはシステムに任される。
【００９５】
（２）第２表示形態
第２表示形態では、図１０（ｂ）のように、種類毎に階層表示を行う。設備が冷蔵室であれば、まず肉、野菜などの食品カテゴリーを表示し、次に階層的に選ばれたカテゴリーに相当する食品を表示する。この表示形態は、設備内の構造を操作者に意識させず、欲しいものを探すのに適している。
【００９６】
ここで、設備内には複数の収納場所（棚など）が存在するものがあるが、この収納場所毎に階層表示させてもよい。第１表示形態のように物品の画像を表示する場合、多数の物品がその設備内にあると、煩雑な画面になることが想定される。従って、このように階層的に表示するのが効果的である。
【００９７】
また、設備が冷蔵庫の場合には、食品（物品）の賞味期限の早いものから順に１０個ずつ表示したり、色や文字の大きさを変えて表示してもよい。また、出し入れの回数の多いものから表示するなど、適宜見やすいように表示を工夫することも可能である。出し入れの回数に応じて表示するというのは、例えば食品の場合、出し入れ回数が多いほど品質の劣化が激しくなるので、そういうものほど目立つように表示する、という意味もあるし、また良く使うものをより優先的に表示する、という意味もある。また、操作者の情報を入力できるようにし、操作者の持ち物であるかどうかや好みに応じて、表示する物品をフィルタリングしてもかまわない。
【００９８】
（３）第３表示形態
図１０（ｃ）のように、設備内にカメラを設置して物品をセンシングしている場合（例えばセンシング手段123を使用）、その設備内の映像を表示し、床やテーブル上の物品や場所を指示するのと同様の技術で、前記設備内の映像上の物品や場所をマウスカーソルで指示する。このとき、表示する設備内の映像を拡大表示すると、より操作性がよくなる。また、設備内はそのドアが閉まっていると内部が暗くカメラで撮影できないので、設備内部に照明を設置し、撮影する際に前記照明を点灯するのが望ましい。さらに、撮影された設備内の映像を画面上の設備のドアに表示することで、いつもと同様の見え方で直感的に指示操作することもできる。
【００９９】
（４）第４表示形態
第４表示形態では、図１０（ｄ）のように、設備にマウスカーソルを重ねる等の指示操作を行ったときに、設備のドアを自動的に開くことで、直接表示画面に設備内部を表示させる。前述したように、各設備には操作指示コマンドが用意されており、この操作指示コマンドを用いて、このような処理が実現できる。
【０１００】
具体的には、マウスカーソルで所望の設備（例えば冷蔵室）を指示操作すると、Refrigerator#0001（冷蔵室）にdoor#openコマンドが送信され、冷蔵室のドアが開き、表示画面に冷蔵室内部が直接映し出される。そして、物品又は場所の指示が終わったら、door#closeコマンドを送信する。なお、この表示形態は実際のドアを開閉するので、冷蔵庫等よりもクローゼット、靴箱などのように温度や湿度を管理していない設備の方がより適している。図１０（ｅ）に示すように、冷蔵室や冷凍室等、温度や湿度などを管理している設備の場合は、その壁面の一部または全部を透過・非透過切り替え可能な壁にしておき、上述したドアの開閉と同様のタイミングで壁面を透過・非透過させてもよい。冷蔵室や冷凍室にそのようなドアを設置し、door#transparent#on、door#transparent#offコマンドを用意することにより、このようなコマンドを用いて上記表示形態が実現できる。
【０１０１】
また、これらの表示形態を状況または設備の種類に応じて切り替えることも有効である。例えば、ドラッグした物品を設備の中に収めるときには第１表示形態で表示する一方、設備内の物品を指示するときには第２〜第４表示形態のいずれかで表示する。このような切替処理を実現するには、図１１で示したような表示形態テーブルを用意し、設備内表示手段124は、このテーブルに基づいてユーザーの操作及び設備に応じて表示形態を切り替える。図１１の表示形態の番号は図１０中の表記と対応している。また、これとは別に、操作する人に応じて、操作する設備に応じて、あるいは操作する物品に応じて、表示形態を変えてもよい。すなわち、各種の属性に応じて表示形態を適宜選択するようにしてもよい。
【０１０２】
次に、画面上で指示したい物品や場所が設備104に隠蔽されている場合の表示形態について説明する。設備に隠蔽された領域は、上述した設備内部と同様、マウス等で指示することができる。しかしこの場合、その後に、設備内部であるかその背後であるか、あるいはその背後の設備内であるか、といったカメラ視線からの奥行き方向への位置の指示が必要となる。これを実現する１つの方法として、最も前面にある設備に関しては、その背後に隠蔽されているその他の設備や部屋の床等を自分自身の構造の一部と見なすことで、上述した第１〜第４表示形態をそのまま適応できる。図１２はその様子を上記第１表示形態のポップアップリスト形式で実現した例である。マウスカーソルを食器棚に合わせる（又は、クリックする）と、食器棚及びその向こうにある冷蔵庫や床の内容がポップアップされ、所望の物品を指示することが可能となる。
【０１０３】
ここで、指示した点の背後にどれだけの設備が隠れているかを知る方法が必要となる。上述したように、指示した点が設備であるかどうかを調べる方法として、画面マップ（図９（ｂ）参照）を用いた方法がある。ここではこれを拡張し、十分な数の画面マップ（階層化画面マップ）を用意し、全ての設備をそれぞれの画面マップに重ねることなく配置する。そして、マウスで指示した点を含む複数の設備及びその複数の設備のいずれかに隠蔽された床や壁が、前記ポップアップリストの内容として表示される。図１３は図１２の環境に対応した階層化画面マップである。図１３（ａ）は最も奥の画面マップ、図１３（ｂ）は奥から１つ手前の画面マップ、図１３（ｃ）はさらに１つ手前の画面マップ、図１３（ｄ）は最も手前の画面マップである。図１３から分かるように、それぞれの画面マップ内で設備が重なり合っていることはない。
【０１０４】
さらに、マウスで指示した点の背後の設備内の表示を、別のスイッチ的な入力手段（例えばホイールマウスのホイールやキーボードの上下矢印キーなど）を１度入力する毎に手前あるいは奥から順に変えることも可能である。例えば、図１２の例で、マウスカーソルを食器棚に合わせると食器棚の中の内容がポップアップ表示され、次に「上」矢印キーを一度押すとその１つ向こうの冷蔵庫内部の内容がポップアップ表示され、さらにもう一度「上」矢印キーを押すと床の上に置かれた物品の内容がポップアップ表示される、等である。そして、もう一度「上」矢印キーを押すことで、再度食器棚の内容に戻すようにもできる。逆に、「下」矢印キーで反対の順にその内容をポップアップ表示することもできる。
【０１０５】
＜操作端末の制御手段＞
制御手段120は、物品操作手段118から上述の操作指示を受けて指示データを生成し、当該指示データをロボット102に対して送信する。指示データとは、ロボット102の行動計画作成手段117によるロボット102の行動計画を作成する元になるデータである。この指示データは、
（操作する物品、移動先）
の２組の値を持つ。例えば手帳をテーブル上に移動させる場合には、
（手帳 S#0001、テーブル）
が指示データとなる。移動先には、前記環境属性データ601もしくは設備属性データ602で登録された場所のみが指定可能である。また、移動先がある程度広い範囲を持つため移動先の名称だけでは場所が特定できない場合は、移動先に付加して具体的な座標値を世界座標系（環境を基準にした座標系であり、図５で示した座標系）で指定すればよい。例えば、ある物品を床の決められた場所に置く場合などがこれに当たり、
（物品、床（x1,y1,0））
などと指定する。表示画面で指示した場所の世界座標系における座標は、環境マップ109として例えば図５（ｂ）の立体モデル版環境マップ109を備えておき、前記立体モデルと表示画面を映しているカメラパラメータ（カメラの位置、姿勢、画角など）とから計算することが可能である。なお、このような計算方法はコンピュータグラフィックスの基本的な公知技術であるので、その説明は省略する。また、前記立体モデルおよび前記カメラパラメータが既知であれば、前述の環境マップ109も計算によって求めることが可能となる。
【０１０６】
−ロボット−
４番目のサブシステムであるロボット102は、本実施形態に係る物品管理システム100において、環境内の物品を実際に把持して持ち運ぶ役目を担う。
【０１０７】
図１に示すように、ロボット102はその基本構成として、ロボット102周囲の近辺の障害物などを検知したり、把持する物品の情報を得るセンサ112と、物品を把持する把持手段113と、環境マップ109を使って移動計画を立てる移動計画作成手段114と 、ユーザからの指示を実行するため当該ロボット102の行動計画をその指示内容に応じて立案する行動計画作成手段117と 、移動のための移動手段115と、環境管理サーバ101や操作端末103とさまざまなデータの送受信を行う送受信手段110と、それら各手段を制御する制御手段116とからなる。
【０１０８】
ロボット102の物品把持及び運搬操作に際しては、操作端末103を介してユーザが指示を出し、その指示内容をコード化した指示データがネットワークを介して当該ロボット102に送信される。ロボット102が当該指示データを受信すると、行動計画作成手段117は前記指示データからロボット102自身が行動するためのロボット制御コマンドのリストを生成し、ロボット102はそれらロボット制御コマンドを順に処理することによって、物品の把持及び運搬操作を実行する。
【０１０９】
ここでいうロボット制御コマンドは、ロボット102の把持や移動、さらには前記設備104の制御を行うためのコマンドであり、大きく分けると主に、
・移動
・把持
・解放
・設備操作
の４種類がある。以下、これらを説明する。
【０１１０】
「移動」は、(move,座標)または(move,設備ＩＤ)で表される。このコマンドを受けると、ロボット102は現在位置から上記座標で指定された位置または上記設備ＩＤで指定された設備104まで移動する。ここでは、座標は世界座標系で指定し、移動経路の計画は移動計画作成手段114が立案する。設備104に移動するときは設備104に対して所定の距離まで近づくような経路を作成する。なお、設備104の場所座標は、環境マップ109内の設備属性データ602を参照することで得ることができる。
【０１１１】
「把持」は、(grab,物品ＩＤ)で表される。このコマンドを受けると、ロボット102は物品ＩＤで指定された物品を把持する。物品の場所は前述した物品データベース107を参照することによって把握し、把持手段113による把持計画を実行する。
【０１１２】
「解放」は、(release)で表される。このコマンドを受けると、ロボット102は把持手段113を構成するハンド202を解放する。
【０１１３】
「設備操作」は、(自身のＩＤ,設備ＩＤ,設備操作コマンド)で表される。このコマンドを受けると、ロボット102は設備ＩＤで指定された設備104に対して、指定された設備操作コマンドを送る。設備操作コマンドとは、個々の設備104が外部から受ける操作指示コマンドであり、各設備は、前記操作指示コマンドを受けると当該コマンドに相当する処理を行う。ここで、コマンドの中に自身のＩＤを添付する理由は、ある設備104に設備操作コマンドを送る場合、受け取った設備104が設備操作コマンドに従って処理を行った後、当該設備104からその処理結果を自身に返信してもらうためである。
【０１１４】
以上、代表的な例として、４種類のロボット制御コマンドを説明した。ただし、ロボット制御コマンドはこの４種類に限らず、必要に応じて増減しても良いことはいうまでもない。
【０１１５】
図１４はロボット102の一例を示した模式図である。以下、図１４においてアームの先端が向いている方向をロボット102の前面として、ロボット102の各手段の説明を行う。
【０１１６】
＜移動手段＞
移動手段115は、ロボット本体の片側に２つずつ設けられ、両側で合計４つの車輪によって構成されている。本例では移動手段115として車輪の例を示したが、移動手段115にはロボット102の使われる場所や環境に応じて最適な手段を選べばよい。例えば凹凸の多い地面を移動する場合ならば、クローラ型や多足歩行の移動手段を使ってもかまわない。なお、アーム201やハンド202からなる把持手段113が家屋内全域を可動域とする場合には、この移動手段115は必ずしも必要ではない。
【０１１７】
＜センサ＞
センサ112はロボット周囲の近辺の障害物などを検知するものであり、本例では超音波センサ112a、視覚センサとしてのステレオカメラ112b、及び衝突センサ112cからなる。超音波センサ112aは前面、背面、左右の側面にそれぞれ３カ所ずつ取り付けられ、超音波を発してその反射波を受信するまでの時間を測定することで、当該センサから障害物までのおおよその距離を計算するものである。本実施形態では、超音波センサ112aにより、近距離の障害物を衝突前に検知することとしている。ステレオカメラ112bは、周囲の状況を画像として入力し、その画像に認識などの処理を行うことで、障害物の有無の判断や把持対象物品のより正確な情報を得る。衝突センサ112cは、当該センサ112cに所定力の衝撃があったことを検知するセンサであり、他のセンサで検知できない障害物に対して、それが外部からぶつかってきたことやロボット102自身が移動中にぶつかったことを、この衝突センサ112cで検知する。
【０１１８】
＜移動計画作成手段＞
移動計画作成手段114は、ロボット102を指定場所に移動させる旨のロボット制御コマンドを受信したとき、現在位置から前記指定場所への移動経路を、前記環境管理サーバ101から取得した環境マップ109を使って作成する。当然のことながら、現在位置から目的地までの間に障害物が存在する場合はそれを回避するための経路が必要となるが、環境マップ109には前述のようにロボット102が移動可能な領域が予め記されているので、その領域内での移動経路を作成すればよい。一度移動経路を作成して移動し始めた後で前記センサが障害物を検知した場合には、その障害物を避けるための新たな経路を、その都度作成し直す。移動経路作成に当たっては、最も一般的な手法であるダイクストラ法等が用いられる。
【０１１９】
＜把持手段＞
把持手段113は物品を把持する手段であり、本実施形態では、図１４のように多関節からなるアーム201と、アーム201の先端に配設されたハンド202とから構成される。把持手段113は、後述のロボット制御コマンドで把持位置を指示されると、アーム201の先端をその場所まで移動させ、ハンド202の把持操作を行う。ハンド202を把持位置まで移動させるためのアーム制御は、この把持手段113で行えばよい。把持手段113はまた、ロボット制御コマンドで解放を指示されると、ハンド202の解放操作を行う。
【０１２０】
＜ロボットの制御手段＞
制御手段116は、外部から送受信手段110を介して送られてきたロボット制御コマンドのリストを解釈し、順にロボット制御コマンドを実行していく。送られてきたロボット制御コマンドが前述の指示データである場合には、当該指示データを当該ロボット102の実行可能なロボット制御コマンドに変換するためにその内容を行動計画作成手段117に送り、そこで処理された結果を受け取って、順にロボット制御コマンドを実行していく。
【０１２１】
＜行動計画作成手段＞
行動計画作成手段117は、操作端末103における物品操作手段118にて、ユーザが物品を指定し当該指定物品を所定場所に移動するという簡単な操作をするだけで、ロボット102への作業指示を行えるようにするために設けた手段である。具体的には、当該ロボット102がネットワークを介して操作端末103から指示データを受信すると、行動計画作成手段117は、必要に応じてロボット制御コマンドＤＢ（データベース）を参照しながら、前記指示データに基づいて、ロボット102が一連の動作を実行するためのロボット制御コマンドのリストを生成する。
【０１２２】
ここで、ロボット制御コマンドＤＢには、ロボット102が設備操作を行う場合のロボット制御コマンドのリストを、設備毎に分けて予め記憶させておく。その理由は以下の通りである。
【０１２３】
前述の通り指示データには２つのデータ、すなわち、（操作する物品、移動先）からなる２つのデータしか情報を含んでいない。もし、目的とする物品がロボット102の直前においてそのまま把持できる状態にあり、あるいは移動場所が空間的に開放された場所であれば、ロボット制御コマンドＤＢは特に必要でない。しかし実際には、目的とする物品がロボット102の直前にあることはほとんどなく、通常、ロボット102（あるいは把持手段113）は操作する物品の付近にまで移動しなければならない。また、その物品がドアで閉鎖された設備の内部に存在する場合には、そのドアを開けて物品を把持し、その後、当該ドアを閉めなければならない。さらに、設備104によっては物品を収納した後、もっと複雑な処理をしなければならない場合もある。ところが、これらの処理をユーザが操作画面を使って一つ一つ順に指示するのでは、使いやすいシステムとは言い難い。できることならば、先ほどの指示データを生成するだけの簡単な指示操作、すなわち、物品を選択し、移動場所を指定する、という主に２つの操作だけで、ロボット102への指示が行えることが望ましい。
【０１２４】
従って、簡単な指示操作で生成された指示データから、設備104の操作も含めてロボット102に所定の作業をさせるためのロボット制御コマンドを作成するための知識データが必要となる。ロボット制御コマンドＤＢとは前記知識データを記憶したものである。
【０１２５】
図１５は、ロボット制御コマンドＤＢに記憶されたロボット制御コマンドのリストの例を示した表形式の図である。本図には、設備の異なる２つの表が含まれている。各表の一番左の列には、ロボット102が操作する設備104のＩＤが記載されている。その右の列の「場所の属性」とは、移動元または移動先を指示するものであり、それぞれ、
・移動元：物品がある設備104に収納されている状況で、その物品を取り出したい場合
・移動先：物品をある設備104に収納し、さらには必要に応じて前記設備104の各種機能を用いて収納した物品に何らかの処理を行いたい場合
を意味する。一番右の列は、場所の属性に対応するロボット制御コマンドリストを示している。
【０１２６】
例として、設備ＩＤがRefrigerator#0001(冷蔵室)であり、場所の属性が移動元である場合のロボット制御コマンドリストを説明する。これは、指示データの最初の値に入っている物品に関して物品データベース107を参照した結果、それがRefrigerator#0001(冷蔵室)の中に収納されている場合のロボット制御コマンドのリストである。ここでの３つのコマンドは順に、
・Refrigerator#0001(冷蔵室)のドアを開け、
・物品を把持して取り出し、
・Refrigerator#0001(冷蔵室)のドアを閉める、
という操作に相当する。ここで２つ目のロボット制御コマンド、
(grab, $object)
の$objectは、操作する物品のＩＤが入ることを意味する。状況によって値が変わる情報については頭に$を付けることで変数として扱い、それを扱う物品が具体的に指示データによって決まった場合に、前記変数に値を設定するようにする。このようにすることで、ロボット制御コマンドに一般性を持たせることができる。
【０１２７】
なおここでは、ロボット制御コマンドの内容理解のために、非常に簡単な例を用いて説明したが、実用に向けては、さらに必要なロボット制御コマンドを加えるようにしてもよい。例えば電子レンジの移動先のコマンドリストは、
(Robot#0001, Microwave#oven#0001,door#open)
(release, $object)
(Robot#0001, Microwave#oven#0001,door#close)
(Robot#0001, Microwave#oven#0001,warm#start)
の４つのコマンドから構成されているが、実際には電子レンジにすでに物が入っている状態ではさらに物を入れることができないので、これら４つのコマンドの前に、電子レンジの中に物品があるかどうかを確認するコマンド、
(Robot#0001, Microwave#oven#0001,is#object#in)
を設けることが好ましい。そして、このコマンドの戻り値がTRUE、すなわち電子レンジの庫内に物が入っている場合には、その後のコマンドを実行する代わりに、ユーザに電子レンジの庫内に物が入っている旨を伝え、処理を終了する、などしてもよい。
【０１２８】
また、このコマンド列を当該電子レンジに入れる物品に適用してしまうと、どんなものに対しても「温め」という処理が行われてしまう、という問題が生じる。このため、例えば当該電子レンジには、物品の内容を認識し、それに応じて「温め」処理の具体的な温め方を切り替える仕組みを設けても構わない。例えば、当該電子レンジの「温め」の詳細な機能として、「料理の温め」と「解凍」とを備えている場合、庫内に入れられた物を何らかの方法、例えば画像処理や物に付与された電子タグなどで認識し、その結果に応じて、前記「料理の温め」と「解凍」とを適宜切り替えるようにしてもよい。この切替にはもちろん他の方法を用いてもよい。例えば電子レンジに前記認識機能が無い場合は、ロボット102にその機能を持たせ、ロボット102が物の内容を認識したうえで、その結果を電子レンジに送るようにしてもよい。
【０１２９】
以上のように、本実施形態では、このようなロボット制御コマンドＤＢを用いて、指示データを実現するための一連のロボット制御コマンドリストを生成し、実行する。
【０１３０】
なお、このロボット制御コマンドリストの生成が完了したのち、ユーザの確認なしに実行に移ってもよいが、前記物品指示操作手段によって指示した内容が間違っており、ユーザがそのことに気が付かない場合もありうる。例えば、図４（ｂ）の環境において、冷蔵室内の弁当を電子レンジに入れて温める処理をしようとしたところ、ユーザのマウスの操作ミスにより、冷蔵室内の弁当を電子レンジの直下にある冷凍室に入れてしまう場合もありうる。その結果、いつまで経っても暖かい弁当ができない、ということが起こる場合もある。このような事態をなるべく防ぐために、前記行動計画作成手段117によって作成されたロボット102の行動計画を、実行する前にユーザに提示することにより、ユーザに物品操作の誤りが無いかの確認を促すことが好ましい。
【０１３１】
図１６は、物品の移動指示を確認する画面を表示したものである。この例では、移動する物品である「弁当」、その移動元である「冷蔵室」、移動先である「電子レンジ」、移動先での処理である「温め」を、それぞれ文字によって表示し、さらに移動元と移動先とを明確にするため、移動元から移動先へ向かう点線の矢印付き曲線を示している。もし移動元または移動先が設備でなければ、何も表示しないようにしてもよい。例えば弁当が床上にある場合は、移動元は設備ではないためその表示はせず、移動先の「電子レンジ」のみ表示すればよい。もちろんこの確認画面の表示の仕方としては、設備や物品を文字で表したり、もとの図に強調表示をしてもよい。
【０１３２】
さらには、もし間違いが生じていた場合には、この確認処理において修正を行っても良い。例えば、上記の例で電子レンジに移動する物品が「弁当」ではなく「冷凍肉」の場合には、電子レンジでの処理は「温め」ではなく「解凍」であるべきである。しかし、図１５で示したように、ロボット制御コマンドにおいて、電子レンジの移動先におけるロボット制御コマンド列の最後のコマンドが「温め（warm#start）」のみであれば、それを実行してしまう。そのため、かりに電子レンジに入れた物品が「冷凍肉」であっても、ユーザが何もしなければ、電子レンジはこの「冷凍肉」を「温め」てしまうことになる。このような処理ミスが起こった場合には、ユーザによって処理実行前に修正すればよい。
【０１３３】
また、以上説明したように、図１に基づく本物品管理システム100は、環境管理サーバ 101とロボット102と設備104と操作端末103との４つのサブシステムからなり、それらサブシステムが無線または有線などのネットワークを介して互いに情報をやりとりするような構成をなしている。しかしながら、操作端末103が環境管理サーバ101、設備104、あるいはロボット102に付随されている構成でもよい。またロボット102も１台ではなく複数台が協調しながら作業を並行して行う構成でも構わない。
【０１３４】
また、以上の説明では、ある物品をある場所から別の場所へ移動するという一つの操作のみをユーザが指示して、それを実行する場合のシステムの動作の仕組みを説明した。しかしながら、実際には、ユーザにとって２つ以上の指示を行いたい場合がある。この場合、１つの指示の処理が終えてから次の指示を入力する、というふうにしてしまうと、ユーザは所望のすべての指示を出し終えるまでシステムから離れることができなくなり、ユーザにとって使いにくいシステムとなる。従ってシステムは、ユーザが行いたいすべての操作を一度に受け付け、それらを順次処理していくように設計されていることが望ましい。これにより、例えば冷蔵庫にある弁当を温め、その後に食べるようにシステムに要求する場合には、次の２つの指示（図示しない）、
・冷蔵庫の弁当を電子レンジに入れて温める
・電子レンジの弁当を、自分の所まで運ぶ
を、最初に入れておくだけでよい。すなわち、ユーザが上記２つの指示を出した後、そのまま待っているだけで、システムは上記動作を自動的に実行する。その結果、ユーザは暖かい弁当が自分のところに来るまで別のことができるようになり、時間を効率よく使うことができるようになる。
【０１３５】
さらには、その際に、複数の処理を効率化するスケジューリング機能を備えておくことが好ましい。例えば、ある設備から複数種類の物品を取り出し、それぞれを別々の場所に移動させる場合、それら複数種類の物品を取り出す処理のみは一度に行うことで、全部の処理を効率化するようスケジューリングしてもよい。そのためには、作業ロボット102のアーム201等の個数を１つに限定する必要はなく、一度に複数の物品を同時に扱えるように複腕構成にしておいてもよい。
【０１３６】
なお、前述した実施形態及びその変形例は、コンピュータプログラムを用いて実現することができる。本発明に係るプログラムは、前述した実施形態及びその変形例の一部又は全部の動作を実行するコンピュータプログラムを含むものである。
【産業上の利用可能性】
【０１３７】
以上説明したように、本発明は、家屋やオフィス等の居住環境内における物品を管理する物品管理システム及びその制御用プログラムについて有用である。特に、物品操作手段としてコンピュータや携帯情報端末（携帯電話など）等の種々の電子機器を用いて物品に対する操作を指示し、その指示に基づいてロボット等の物品移動手段により物品を移動等させるシステム及びプログラムに有用である。
【図面の簡単な説明】
【０１３８】
【図１】実施形態に係る物品管理システムの全体構成を示したブロック図である。
【図２】（ａ）〜（ｃ）は背景差分法を説明するための説明図である。
【図３】物品データの構成と記載内容例を示した概念図であり、（ａ）は片づけ前、（ｂ）は片づけ後の状態を示す。
【図４】（ａ）〜（ｂ）は、ある環境の様子を異なる２つの時刻において撮影した模式図である。
【図５】環境マップを説明するための図であり、（ａ）は実際の状況を表し、（ｂ）は立体モデルを表し、（ｃ）は（ａ）の平面モデルを表している。
【図６】環境マップのデータの一例を示した図である。
【図７】（ａ）〜（ｂ）は、設備属性データの一例を示した図である。
【図８】設備操作情報記憶手段に記憶されている設備操作コマンドを表形式で示した図である。
【図９】（ａ）は操作画面の例、（ｂ）は（ａ）の操作画面に対応した画面マップの例を示した概念図である。
【図１０】（ａ）〜（ｅ）は、設備内部に収納されている物品の表示形態の例を示した図である。
【図１１】設備内部の表示形態を切り替える条件と表示形態との対応を表した図である。
【図１２】設備及びその背後の設備・床面の場所や物品の表示形態の一例を表した図である。
【図１３】（ａ）〜（ｄ）は、図１２の環境に対応した階層化画面マップの例を示した概念図である。
【図１４】ロボットの構成を示す斜視図である。
【図１５】ロボット制御コマンドＤＢに記憶されたロボット制御コマンドのリストの例を示した表形式の図である。
【図１６】確認画面の例を示した図である。
【符号の説明】
【０１３９】
101  環境管理サーバ
102  ロボット
103  操作端末
104  設備
105  センシング手段
106  物品検索・管理手段
107  物品データベース（データベース）
108  環境マップ管理手段
109  環境マップ
110  送受信手段
111  環境管理サーバの制御手段
112  センサ
113  把持手段
114  移動計画作成手段
115  走行手段
116  ロボットの制御手段
117  行動計画作成手段
118  物品操作手段
119  表示手段
120  操作端末の制御手段
121  設備の制御手段
122  設備操作情報記憶手段
123  センシング手段
124  設備内表示手段（表示データ生成手段）
601  環境属性データ
602  設備属性データ
【図１】
2006338059.tif 000003
【図２】
2006338059.tif 000004
【図３】
2006338059.tif 000005
【図４】
2006338059.tif 000006
【図５】
2006338059.tif 000007
【図６】
2006338059.tif 000008
【図７】
2006338059.tif 000009
【図８】
2006338059.tif 000010
【図９】
2006338059.tif 000011
【図１０】
2006338059.tif 000012
【図１１】
2006338059.tif 000013
【図１２】
2006338059.tif 000014
【図１３】
2006338059.tif 000015
【図１４】
2006338059.tif 000016
【図１５】
2006338059.tif 000017
【図１６】
2006338059.tif 000018