(57)【要約】      （修正有）【課題】物品の消耗状態を検査し、検査結果に応じて物品に対する対応を行うロボットを提供する。【解決手段】消耗品検査ロボット１は、物品に接近可能な移動手段と、前記物品に関する情報を取得する少なくとも１つ以上の情報取得手段２０と、前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて前記物品が消耗状態の判定の対象であるか否かを識別する識別手段１１２と、前記識別手段により前記物品が消耗状態の判定の対象であると識別された場合は、前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手段１１５と、前記判定手段により判定した前記物品の消耗状態に基づき所定の対応を行う対応手段１１６と、を具備したことを特徴とする。【選択図】図４
2020062691.tif 000002
【特許請求の範囲】
【請求項１】
物品に関する情報を取得する可動な情報取得手段と、
前記情報取得手段により取得した情報に基づいて、前記物品が消耗状態の判定の対象であるか否かを識別する識別手段と、
前記物品が消耗状態の判定の対象であると識別した場合、前記情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手段と、
を有する検査装置。
【請求項２】
少なくとも前記情報取得手段を移動可能にする移動手段を有する請求項１に記載の検査装置。
【請求項３】
前記情報取得手段を複数有する、請求項１又は２に記載の検査装置。
【請求項４】
前記複数の情報取得手段により取得される情報には、前記物品をカメラによって撮影した画像と、前記物品をセンサで計測した計測値とが含まれ、
前記識別手段は、
前記画像に基づいて、前記物品が消耗状態の判定の対象であるか否かを識別し、
前記判定手段は、
少なくも前記計測値に基づいて前記物品の消耗状態を判定する、請求項３に記載の検査装置。
【請求項５】
前記物品を物理的に操作可能な操作手段を有し、
前記判定手段は、
前記物品を前記操作手段によって操作することで、前記情報取得手段により情報を取得し、前記情報取得手段により取得された情報に基づいて、前記物品の消耗状態を判定する、請求項１乃至４の何れか一項に記載の検査装置。
【請求項６】
前記情報取得手段により取得された情報と、前記識別手段による識別結果とに基づいて、前記物品に対する前記操作手段の操作内容を少なくとも決定する決定手段を有し、
前記操作手段は、
前記決定手段により決定された操作内容に対応する操作を前記物品に対して行う、請求項５に記載の検査装置。
【請求項７】
前記判定手段により判定された消耗状態に基づいて、前記物品に関し所定の対応を行う、請求項１乃至６の何れか一項に記載の検査装置。
【請求項８】
前記対応は、前記物品に関連する物品の発注である、請求項７に記載の検査装置。
【請求項９】
物品に関する情報を取得する可動な情報取得手段を有するコンピュータが、
前記情報取得手段により取得した情報に基づいて、前記物品が消耗状態の判定の対象であるか否かを識別する識別手順と、
前記物品が消耗状態の判定の対象であると識別した場合、前記情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手順と、
を実行する検査方法。
【請求項１０】
物品に関する情報を取得する可動な情報取得手段を有するコンピュータに、
前記情報取得手段により取得した情報に基づいて、前記物品が消耗状態の判定の対象であるか否かを識別する識別手順と、
前記物品が消耗状態の判定の対象であると識別した場合、前記情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手順と、
を実行させるプログラム。
【請求項１１】
物品に接近可能な移動手段と、
前記物品に関する情報を取得する少なくとも１つ以上の情報取得手段と、
前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて前記物品が消耗状態の判定の対象であるか否かを識別する識別手段と、
前記識別手段により前記物品が消耗状態の判定の対象であると識別された場合は、前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手段と、
前記判定手段により判定した前記物品の消耗状態に基づき所定の対応を行う対応手段と、
を具備したことを特徴とするロボット装置。
【請求項１２】
前記物品を物理的に接触、把持及び操作可能な操作手段を更に具備し、
前記判定手段は、
前記物品を前記操作手段によって接触、把持又は操作することで前記少なくとも１つ以上の情報取得手段により前記情報を取得し、少なくとも該取得した情報に基づいて前記物品の消耗状態を判定する、ことを特徴とする請求項１１に記載のロボット装置。
【請求項１３】
前記情報取得手段により取得される情報には、前記物品をカメラによって撮影した画像と、前記物品をセンサで計測した計測値とが含まれ、
前記識別手段は、
前記画像に基づいて、前記物品が消耗状態の判定の対象であるか否かを識別し、
前記判定手段は、
少なくとも前記計測値に基づいて、前記物品の消耗状態を判定する、ことを特徴とする請求項１１又は１２に記載のロボット装置。
【請求項１４】
前記対応手段による所定の対応とは、前記判定手段により判定した消耗状態に基づき、前記物品と同一又は類似の物品を発注するか否かを判断し、前記同一又は類似の物品を発注すると判断した場合には、前記同一又は類似の物品を所定の発注先に発注することである、ことを特徴とする請求項１１乃至１３の何れか一項に記載のロボット装置。
【請求項１５】
前記対応手段による所定の対応とは、前記判定手段により判定した消耗状態に基づき、前記物品と同一又は類似の物品を発注するか否かを判断し、前記同一又は類似の物品を発注する必要があると判断した場合は、前記発注を行うか否かの問い合わせを行うことである、ことを特徴とする請求項１１乃至１３の何れか一項に記載のロボット装置。
【請求項１６】
前記対応手段による所定の対応とは、前記判定手段により判定した消耗状態に基づき、前記物品と同一又は類似の物品を発注するか否かを判断し、前記同一又は類似の物品を発注する必要があると判断した場合は、前記発注を行うことが予め定められた物品の場合には前記同一又は類似の物品を所定の発注先に発注し、それ以外の場合には前記発注を行うか否かの問い合わせを行うことである、ことを特徴とする請求項１１乃至１３の何れか一項に記載のロボット装置。
【請求項１７】
物品に接近可能な移動手段と、前記物品に関する情報を取得する少なくとも１つ以上の情報取得手段とを具備するロボット装置における検査方法であって、
前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて前記物品が消耗状態の判定の対象であるか否かを識別する識別手順と、
前記識別手順で前記物品が消耗状態の判定の対象であると識別された場合は、前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手順と、
前記判定手順で判定した前記物品の消耗状態に基づき所定の対応を行う対応手順と、
が含まれる、ロボット装置における検査方法。
【請求項１８】
物品に接近可能な移動手段と、前記物品に関する情報を取得する少なくとも１つ以上の情報取得手段とを具備するロボット装置に、
前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて前記物品が消耗状態の判定の対象であるか否かを識別する識別手順と、
前記識別手順で前記物品が消耗状態の判定の対象であると識別された場合は、前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手順と、
前記判定手順で判定した前記物品の消耗状態に基づき所定の対応を行う対応手順と、
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、検査装置、検査方法、ロボット装置、ロボット装置における検査方法及びプログラムに関する。
【背景技術】
【０００２】
家庭等の環境において、様々な物品が消費又は使用されている。このような物品の管理のため、冷蔵庫内に設置されたカメラの撮影等によって当該冷蔵庫内にある食品の劣化程度を判定する技術が提案されている（例えば特許文献１参照）。
【０００３】
また、使用されている物品が消耗した場合、当該物品を購入する場合が多い。このような物品の購入を容易に行うための技術として、物理的又は仮想的なボタンを１クリックするだけで、ＥＣサイト（いわゆるインターネットショッピングサイト）にて当該物品を購入可能とする技術が知られている。
【０００４】
しかしながら、上記の特許文献１に開示されている技術では、その物品が配置された場所（例えば冷蔵庫内）に物品の劣化程度を判定可能なようにカメラが設置されている必要がある。また、上述した１クリックにより物品を購入可能とする技術では、当該物品の消耗状態の管理は人が行う必要がある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００３−３０４２１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
本発明の実施の形態は、上記の点に鑑みてなされたもので、物品の消耗状態を容易に検査することを目的とする。または物品の消耗状態を容易に検査し、検査結果に応じて物品に対する対応を行うことを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するため、本発明の実施の形態における検査装置は、物品に関する情報を取得する可動な情報取得手段と、前記情報取得手段により取得した情報に基づいて、前記物品が消耗状態の判定の対象であるか否かを識別する識別手段と、前記物品が消耗状態の判定の対象であると識別した場合、前記情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手段と、を有する。
【０００８】
また、本発明の実施の形態におけるロボット装置は、物品に接近可能な移動手段と、前記物品に関する情報を取得する少なくとも１つ以上の情報取得手段と、前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて前記物品が消耗状態の判定の対象であるか否かを識別する識別手段と、前記識別手段により前記物品が消耗状態の判定の対象であると識別された場合は、前記少なくとも１つ以上の情報取得手段により取得した情報に基づいて、前記物品の消耗状態を判定する判定手段と、前記判定手段により判定した前記物品の消耗状態に基づき所定の対応を行う対応手段と、を具備したことを特徴とする。
【発明の効果】
【０００９】
これにより、物品の消耗状態を容易に検査することができる。また、物品の消耗状態を容易に検査し、検査結果に応じて物品に対する対応を行うことができる。
【図面の簡単な説明】
【００１０】
【図１】消耗品検査ロボットの利用場面の一例を説明するための図である。
【図２】本発明の実施の形態における消耗品検査ロボットの全体構成の一例を示す図である。
【図３】本発明の実施の形態における消耗品検査ロボットのハードウェア構成の一例を示す図である。
【図４】本発明の実施の形態における消耗品検査ロボットの機能構成の一例を示す図である。
【図５】消耗品情報記憶部に記憶されている消耗品情報の一例を示す図である。
【図６】本発明の実施の形態における消耗品検査処理の一例を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。
【００１２】
本発明の実施の形態では、検査装置の一例として、自律的に移動可能で、かつ、物品の消耗状態を検査し、この検査結果に応じて消耗品の補充や交換等を行うことが可能な消耗品検査ロボット１について説明する。
【００１３】
ここで、本発明の実施の形態では、消耗品とは消耗状態の判定の対象であると設定される物品のうち、例えば、飲料、食品、化粧品、電球、洗剤、衣類、トイレットペーパー、文房具、医薬品等の非耐久消費財を表すものとして説明する。また、本発明の実施の形態では、当該消耗品の用途は家庭用であることを想定して説明を行うが、家庭用に限られない。当該消耗品は、家庭外、例えば、オフィスや工場等で用いられるものであっても良い。特に、オフィスや工場等で用いられる場合には、消耗品には、例えば、３Ｄプリンタ用のフィラメント、ネジや各種部材等が含まれても良い。なお、本発明の実施の形態は、消耗状態の判定の対象である物品のうち、家具、建具、電化製品等の耐久消費財に対しても適宜適用可能である。
【００１４】
また、本明細書において、「消耗」とは、物品の量の減少や在庫の欠品等に限られず、物品の機能が損なわれ何等かの対応が必要とされる状態、例えば、破損、汚損、不具合、故障、バッテリー切れ等も含むものとする。
【００１５】
また、本明細書において、「情報取得装置が可動である」とは、情報取得装置自体が位置的に移動可能である場合に限られず、カメラのズームやチルトの変更等、情報取得装置が固定されている位置は不変であるが情報取得装置が取得可能な情報を異ならせるような動作が可能であること等を含む。
【００１６】
＜消耗品検査ロボット１の利用場面＞
本発明の実施の形態における消耗品検査ロボット１の利用場面について、図１を参照しながら説明する。図１は、消耗品検査ロボット１の利用場面の一例を説明するための図である。
【００１７】
以降では、本発明の実施の形態における消耗品検査ロボット１が家庭内の部屋の片付け又は掃除を行うロボットであるものとし、この片付け又は掃除の最中に消耗品の検査し、この検査結果に応じて消耗品の補充、交換、消耗品が消耗している旨の通知等の対応を行うものとする。すなわち、本発明の実施の形態における消耗品検査ロボット１は、通常モードとして部屋の片付け又は掃除を行い、この通常モードの実行中に認識した消耗品の消耗状態を検査等するものとする。
【００１８】
家庭で消費又は使用される様々な物品の消耗状態を検査することは容易ではないが、本発明の実施の形態により、容易に検査を行うことができる。
【００１９】
図１に示すように、部屋内の様々な物品（例えば、「靴下」、「ゴミ」、「タオル」、「おもちゃ」等）が散らばっているものとする。このとき、消耗品検査ロボット１は、通常モードの動作として、カメラによって物を認識し、マニピュレータによって当該物を把持する。そして、消耗品検査ロボット１は、自律的に移動し、これらの物を適切な場所に移動（配置）することで、部屋の片付け又は掃除を行う。例えば、「ゴミ」を「ゴミ箱」に、「靴下」及び「タオル」を「洗濯カゴ」に、「おもちゃ」を「おもちゃ箱」に配置させることで、部屋の片付け又は掃除を行う。
【００２０】
また、消耗品検査ロボット１は、通常モードの実行中に、予め登録されている消耗品（例えば、「ボックスティッシュ」、「ペットボトル飲料」、「芳香剤」等）をカメラによって認識した場合、これらの消耗品の消耗状態を検査する。そして、消耗品検査ロボット１は、検査結果に応じて消耗品の補充や交換等の対応を行う。例えば、「ボックスティッシュ」の中身が空の場合（又は残りが少ない場合）には、在庫として保管されているボックスティッシュと交換したり、在庫がない場合にボックスティッシュを所定の発注先に発注したりする。「ペットボトル飲料」や「芳香剤」についても同様に、例えば、中身が空の場合（又は残りが少ない場合）には、在庫として保管されているペットボトル飲料や芳香剤と交換したり、在庫がない場合にペットボトル飲料や芳香剤を所定の発注先に発注したりする。
【００２１】
このように、本発明の実施の形態における消耗品検査ロボット１は、部屋の片付け又は掃除を行うモードである通常モードの実行中に、予め登録されている消耗品が認識された場合に当該消耗品の検査等を行う（つまり、消耗品の検査等は、通常モードのバックグラウンド処理として又は通常モードに対する割り込み処理として実行される。）。この場合、ユーザはどちらのモード（つまり、通常モード又は後述する消耗品検査モードのどちらかのモード）を事前に選択的に設定する必要や途中で別のモードを指示して切り替える必要が無い等の利点が挙げられる。
【００２２】
ただし、これに限られず、本発明の実施の形態における消耗品検査ロボット１には、例えば、通常モードとは別のモードとして、消耗品の検査等のみを行う「消耗品検査モード」が設けられており、独立に消耗品検査モードが実行されても良い。この場合、通常モードで実行する場合に比べて、モード間の変更を要さず、検査等の速度や精度が高まる等の利点が挙げられる。
【００２３】
又は、本発明の実施の形態における消耗品検査ロボット１は、部屋の片付け又は掃除等は行わずに、消耗品の検査等のみを行うロボットであっても良い。また、上記の通常モードは、部屋の片付け又は掃除だけでなく家庭内の家事全般（例えば、炊事や洗濯等）を行うモードであっても良いし、家庭内の家事全般のうちの所定の家事を行うモードであっても良い。
【００２４】
＜消耗品検査ロボット１の全体構成＞
次に、本発明の実施の形態における消耗品検査ロボット１の全体構成について、図２を参照しながら説明する。図２は、本発明の実施の形態における消耗品検査ロボット１の全体構成の一例を示す図である。
【００２５】
図２に示すように、本発明の実施の形態における消耗品検査ロボット１は、制御装置１０と、情報取得装置２０と、駆動装置３０とを備える。また、駆動装置３０と連携して消耗品検査ロボット１自体を移動可能とする移動手段である移動装置３１（例えば、車輪）を備える。また、操作手段である操作装置３２（例えば、マニピュレータ）を備える。以降では、駆動装置３１は車輪であるものとして「車輪３１」とも表す。また、操作装置３２はマニピュレータであるものとして「マニピュレータ３２」とも表す。
【００２６】
制御装置１０は、消耗品検査ロボット１全体の動作を制御するコンピュータ又はコンピュータシステムである。制御装置１０は、消耗品検査ロボット１全体の動作を制御することで、上述した通常モードや消耗品の検査等を実現する。
【００２７】
情報取得装置２０は、例えば、カメラ、マイク、各種センサ等であり、制御装置１０に入力される各種情報を取得する機器又は装置である。各種情報の取得には、例えば、受信、生成、又は収集することも含まれる。例えば、カメラは、画角内を撮影することにより画像を生成する。ここで、カメラはズームレンズを用いて画角を変更可能なものであっても良い。また、センサは、物体等をセンシングすることで、当該センサに応じた情報を取得又は収集する。ここで、センサとしては、例えば、マニピュレータ３２の各関節部分又は手首部分等に具備されるトルクセンサや６軸力センサ等の荷重センサ、消耗品検査ロボット１の移動を計測するモーションセンサ等がある。なお、これらのほかセンサには、例えば、加速度センサや温度センサ、触覚センサ、測距センサ等を用いることができる。
【００２８】
駆動装置３０は、情報取得装置２０を可動とする装置である。具体的には、車輪３１やマニピュレータ３２を駆動する機器又は装置であり、例えば、マニピュレータ３２の各関節部分に具備されるモータ、カメラの画角や撮影方向を変更するためのモータ、消耗品検査ロボット１を移動可能なように当該消耗品検査ロボット１に配置された車輪３１を回転させるためのモータ等が挙げられる。なお、これら以外にも、駆動装置３０には、例えば、種々のモータやアクチュエータ等が含まれても良い。
【００２９】
車輪３１は、消耗品検査ロボット１を移動させるための機構であり、移動手段の一例である。なお、本発明の実施の形態では、車輪３１を回転させるためのモータを駆動装置３０によって駆動させることで消耗品検査ロボット１自体が移動するものとする。このような移動方法として、例えば、消耗品検査ロボット１が車輪３１に代えて又は車輪３１と共に、足（脚部）を備えている場合には、当該足のアクチュエータを駆動装置３０によって駆動させることで消耗品検査ロボット１が移動を行っても良い。また、消耗品検査ロボット１は、例えば、プロペラ等の空中を飛行可能な機構及びそれを可能とするモータ等の駆動装置３０を備えていても良い。
【００３０】
マニピュレータ３２は、操作手段の一例である。操作手段は、物体（物品も含む。以降も同様。）に対して物理的な接触を行う機構である。例えば、物理的に物体を把持、移動、傾斜、回転させる、また加圧する、衝撃を加える等の操作を行うことができるものである。このような操作手段を備えることにより、後述するように様々な物品の消耗状態を適切に検査することができる。特に、このような操作手段を備えることで、物品が多岐にわたり、またそれぞれの消耗状態の判定方法が多岐にわたる、家庭における物品の消耗状態の判定を効率よく行うことができる。また、操作手段は、検査対象の物品に接触することに用いられるだけではなく、そのほかの物品に対して用いられても良い。例えば、操作手段によって物品が保管されている戸棚の扉を開ける等の操作を行うことができる。これにより、より適切に物品の消耗状態を検査することができる。また、操作手段により、物品の交換、廃棄、又は在庫の補充等の物品の操作を伴う対応も容易に行うことができる。
【００３１】
なお、マニピュレータ３２は、例えば、「マニピュレータアーム」や「マニピュレータハンド」、「ロボットアーム」、「ロボットハンド」等と称されても良い。また、駆動装置３０は、１つのマニピュレータ３２のみを有していても良いし、複数のマニピュレータ３２を有していても良い。マニピュレータ３２は、例えば、可動の腕部と、腕部の先端に配置された効果器とを備える。
【００３２】
＜消耗品検査ロボット１のハードウェア構成＞
次に、本発明の実施の形態における消耗品検査ロボット１のハードウェア構成について、図３を参照しながら説明する。図３は、本発明の実施の形態における消耗品検査ロボット１のハードウェア構成の一例を示す図である。
【００３３】
図３に示すように、本発明の実施の形態における消耗品検査ロボット１の制御装置１０は、ハードウェアとして、少なくとも１つ又はそれ以上のメモリ１１と、少なくとも１つ又はそれ以上のプロセッサ１２と、外部Ｉ／Ｆ１３と、通信装置１４とを有する。
【００３４】
メモリ１１は、各種データやプログラム等を記憶する記憶装置である。プロセッサ１２は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算装置である。外部Ｉ／Ｆ１３は、外部装置（例えば、外部記録媒体等）とのインタフェースである。通信装置１４は、インターネット等の各種ネットワークに接続するための機器又は装置である。
【００３５】
本発明の実施の形態における消耗品検査ロボット１の制御装置１０は、図３に示すハードウェア構成を用いて、後述する各種処理を実現することができる。なお、図３に示すハードウェア構成は一例であって、消耗品検査ロボット１の制御装置１０は、これ以外にも種々のハードウェアを有していても良い。例えば、消耗品検査ロボット１の制御装置１０は、複数のプロセッサ１２を有していても良い。また、消耗品検査ロボット１は、例えば、音声等の各種音を出力するためのスピーカ、ユーザに対する各種ＵＩを提供するためのタッチパネル型ディスプレイ等を有していても良い。
【００３６】
また、消耗品検査ロボット１の機能は複数のコンピュータによって実現されていても良く、ネットワークを介したコンピュータやサーバ等を用いて実現されていても良い。
【００３７】
＜消耗品検査ロボット１の機能構成＞
次に、本発明の実施の形態における消耗品検査ロボット１の機能構成について、図４を参照しながら説明する。図４は、本発明の実施の形態における消耗品検査ロボット１の機能構成の一例を示す図である。
【００３８】
図４に示すように、本発明の実施の形態における消耗品検査ロボット１の制御装置１０は、機能部として、消耗品検査処理部１１０を有する。当該機能部は、制御装置１０にインストール（具体的にはメモリ１１に保存）された１以上のプログラムをプロセッサ１２に読み込ませて実行させる処理により実現される。
【００３９】
また、本発明の実施の形態における消耗品検査ロボット１の制御装置１０は、記憶部として、消耗品情報記憶部１２０を有する。当該記憶部は、例えば、メモリ１１を用いて実現可能である。
【００４０】
消耗品情報記憶部１２０には、消耗品に関する情報（以降、単に、「消耗品情報」と表す。）が記憶（登録）される。なお、消耗品情報には、例えば、消耗品の消耗状態を検査（判定）する方法（後述する「消耗状態判定方法」）等が含まれる。消耗品情報の詳細については後述する。
【００４１】
消耗品検査処理部１１０は、消耗品の消耗状態を検査し、この検査結果に応じて消耗品の補充や交換等の対応を行うための処理（この処理を「消耗品検査処理」と表す。）を実行する。ここで、消耗品検査処理部１１０には、機能部として、例えば、入力制御部１１１と、消耗品識別部１１２と、行動計画部１１３と、駆動制御部１１４と、消耗状態判定部１１５と、次状態決定部１１６と、利用者出力部１１７と、発注部１１８とが含まれる。
【００４２】
入力制御部１１１は、情報取得装置２０からの各種情報を入力情報として入力する。ここで、入力情報は、例えば、情報取得装置２０がカメラの場合は画像（動画も含む。）であり、情報取得装置２０がマイクの場合は音であり、情報取得装置２０がセンサの場合は各種計測値である。
【００４３】
また、入力制御部１１１は、行動計画部１１３により計画された行動計画（行動計画については後述する。）に基づいて、情報取得装置２０を制御する。情報取得装置２０が制御されることで、例えば、カメラによる撮影やマイクによる集音、センサによる計測（センシング）等が行われる。更に、入力制御部１１１によりカメラの画角等も制御される。これ以外にも、例えば、入力制御部１１１によりカメラのパンやズーム、チルト等が制御されても良い。つまり、入力制御部１１１は情報取得装置２０を動かす制御を行っても良い。
【００４４】
消耗品識別部１１２は、入力制御部１１１により入力された入力情報（本発明の実施の形態においてはカメラから入力された画像）から、消耗品（より具体的には、消耗品の可能性がある物体）を識別する。消耗品識別部１１２は識別手段の一例である。ここで、消耗品の識別には、各種の方法を用いることができ、例えば、事前にＳＳＤ（Single Shot Multibox Detector）によって訓練された識別器が用いられても良いし、ユーザ等からの教示によって識別が行われても良い。また、物品に印刷や貼り付け等されているバーコードを認識したり、パッケージ等の文字を認識したりした上で、ルールベースの手法によって消耗品の識別が行われても良い。
【００４５】
消耗品識別部１１２により消耗品が識別されることで、消耗品個体の識別と、当該消耗品識別部１１２に組み込まれた分類器による消耗品クラスの決定とが行われ、消耗品個体を識別する識別情報である消耗品ＩＤと、消耗品クラスを識別する識別情報である消耗品クラスＩＤとが出力される。なお、消耗品クラスとは、後述する行動計画と消耗状態の検査方法とを特定するためのクラス（分類）であり、どのようなクラスを消耗品クラスとして用いるかは当該分類器によって異なる。消耗品クラスの詳細については後述する。
【００４６】
行動計画部１１３は、入力制御部１１１により入力された入力情報（特に、カメラから入力された画像やセンサから入力された計測値等）や消耗品識別部１１２による識別結果等を用いて現在の状態を把握した上で、消耗品情報記憶部１２０を参照して、消耗品検査ロボット１の次の行動の計画（行動計画）を決定する。ここで、現在の状態を把握するとは、例えば、現在のカメラの画角に含まれる消耗品の分布を把握したり、マニピュレータ３２で把持している消耗品がある場合はその消耗品の消耗品ＩＤを把握したりすること等である。
【００４７】
行動計画とは、消耗品検査ロボット１の行動（つまり、タスク）の計画であり、タスクの具体的な実行計画は、例えば、ルールベースによる計画、ユーザ等からの教示に基づく機械学習、事前に訓練された強化学習モデルに基づく行動計画等が含まれる。消耗品検査ロボット１の行動（タスク）としては、種々の行動が考えられるが、例えば、消耗品の消耗状態を検査（判定）するために、消耗品を把持したり、移動させたり、カメラで撮影したりする等の行動が挙げられる。
【００４８】
駆動制御部１１４は、行動計画部１１３により決定された行動計画に基づいて、駆動装置３０を制御する。駆動装置３０が制御されることで、例えば、車輪３１による移動やマニピュレータ３２による消耗品の把持等が行われる。
【００４９】
消耗状態判定部１１５は、判定手段の一例であり、消耗品の消耗状態を判定する。本発明の実施の形態では、消耗状態判定部１１５は、消耗品情報記憶部１２０を参照して、消耗品識別部１１２による識別結果に基づいて、該当の消耗品（すなわち、消耗品識別部１１２により識別された消耗品）の消耗状態を判定する。なお、消耗状態とは、消耗品の消耗度合いを示す情報であり、例えば、消耗品の残量、使用期限等までの残り時間等が用いられる。ただし、消耗状態の単位としては、例えば、量、体積、個数、或る基準による分類（多量、中量、少量等）、或る指標値（０以上１以下として値が小さいほど消耗度合いが大きいとする指標値等）等が挙げられ、どのような単位を用いるかは消耗品によって異なる。
【００５０】
次状態決定部１１６は、消耗品情報記憶部１２０を参照して、消耗状態判定部１１５による判定結果（すなわち、消耗品の消耗状態）に応じて、当該消耗品の次状態を決定する。ここで、次状態とは、例えば、消耗品の消耗状態が所定の閾値以上であった場合に決定されるフラグである。このようなフラグとしては、当該消耗品が消耗している場合に適切と考えられる各種の対応であれば良く、例えば、消耗品の発注を行って、当該消耗品を補充することを示す「補充手配」、該当の消耗品を廃棄し、新たな消耗品に交換することを示す「廃棄交換」、ユーザ等に消耗品が消耗している旨等の情報の通知を行う「通知出力」等が挙げられる。なお、これらのフラグは排他的なものではなく、次状態として複数のフラグがＯＮ（又はＴＲＵＥ）になることが有り得る（例えば、次状態として、消耗品を補充手配すると共に廃棄交換も行う、となる場合も有り得る。）。
【００５１】
利用者出力部１１７は、所定の場合に、消耗品検査ロボット１の利用者（ユーザ）に対して所定の情報を出力する。例えば、利用者出力部１１７は、該当の消耗品の次状態が「廃棄交換」である場合に、当該消耗品を本当に廃棄しても良いかを確認するための情報を出力したり、該当の消耗品の次状態が「補充手配」である場合に、当該消耗品の発注を本当に行っても良いかを確認するための情報を出力したりすること等が挙げられる。このとき、所定の情報の出力先及び出力方法は任意である。例えば、消耗品検査ロボット１がディスプレイ等を備える場合にはディスプレイに表示しても良いし、ユーザが利用するスマートフォン等の端末に対しメール等で情報を送信しても良い。なお、どのような場合にどのような情報をどこに出力するかは、例えば、ユーザ等が任意に設定することができても良い。
【００５２】
発注部１１８は、次状態決定部１１６により決定された次状態が「補充手配」である場合に、該当の消耗品を所定の発注先（例えば、ＥＣサイト等）に発注する。
【００５３】
なお、図示していないが、消耗品検査ロボット１の制御装置１０は、機能部として、当該消耗品検査ロボット１の上述の通常モードを実行させるための処理部（例えば、「通常モード処理部」）も有する。また、記憶部として、通常モードの実行に必要な情報を記憶するための記憶部も有する。
【００５４】
また、上述した各機能部の一部の機能部が、制御装置１０とネットワークを介して接続されるサーバや外部サービス等により実現されていても良い。例えば、外部サービスが提供するＡＰＩ等を用いることで、上述した各機能部の一部が実現されていても良い。このように、制御装置１０が有する機能（又は手段）は、ネットワークを介して分散して実現されていても良い。
【００５５】
＜消耗品情報＞
ここで、消耗品情報記憶部１２０に記憶されている各消耗品情報について、図５を参照しながら説明する。図５は、消耗品情報記憶部１２０に記憶されている消耗品情報の一例を示す図である。なお、消耗品情報は、例えば、消耗品検査ロボット１が消耗品（物品）を発見した場合に仮登録され、その後ユーザ等により登録操作が行われることで、消耗品情報記憶部１２０に記憶（登録）される。ただし、これに限られず、消耗品情報は、消耗品検査ロボット１又は他の装置により消耗品が発見されることによって登録されても良いし、ユーザ等の手作業によって登録されても良い。
【００５６】
図５に示すように、本発明の実施の形態における消耗品情報記憶部１２０に記憶されている各消耗品情報には、データの項目（又は、属性若しくはフィールド）として、「消耗品ＩＤ」、「消耗品クラス」、「消耗品クラスＩＤ」、「商品コード」、「消耗状態判定方法」、「消耗状態閾値」、「消耗状態履歴」、「観測位置」、「最終観測時刻」、「使用期限」、「使用開始日」、「次状態フラグ」、「仮登録フラグ」、「発注方法」、「交換履歴」、「発注履歴」及び「取扱方法」等が含まれる。
【００５７】
消耗品ＩＤは、上述したように、消耗品個体の識別情報である。したがって、同じ種類の消耗品であっても、その種類の消耗品が２つあれば、これら２つの消耗品はそれぞれ異なる消耗品ＩＤとなる。
【００５８】
消耗品クラスは、当該消耗品が属するクラスである。ここで、上述したように、どのようなクラスを消耗品クラスとして用いるかは、消耗品識別部１１２に組み込まれた分類器によって異なるが、一例として、消耗品の特性と消耗品のカテゴリとの組で表されるクラスが挙げられる。消耗品の特性としては、単品で消費又は使用される消耗品（例えば、ウェス、スポンジ等）を表す「単品消耗品」、或る量で消費又は使用される消耗品（例えば、米、洗剤、ペットボトル飲料の単品等）を表す「量的消耗品」、ストック等として個数管理される消耗品（例えば、１箱のペットボトル飲料等）を表す「個数管理消耗品」等が挙げられる。また、消耗品のカテゴリとしては、例えば、米類、野菜類、肉類、ペットボトル飲料、スポンジ類、化粧品、調味料、トイレットペーパー、ボックスティッシュ等が挙げられる。
【００５９】
この場合、例えば、消耗品クラスは、例えば、（量的消耗品、ペットボトル飲料）や（単品消耗品、スポンジ）等と表される。（量的消耗品、ペットボトル飲料）の消耗品クラスには、具体的な商品として、お茶のペットボトル飲料や水のペットボトル飲料、炭酸飲料のペットボトル飲料等が属することになる。消耗品クラスは、例えば、商品のモデル（例えば、「○○社が販売する△△というお茶」等）から特定可能である。
【００６０】
なお、或る消耗品個体が単品消耗品又は量的消耗品であると同時に個数管理消耗品となる場合も有り得る。例えば、或るペットボトル飲料の中身が無くなりそうになったら（つまり、消耗状態が閾値を下回ったら）、ストックしてあるペットボトル飲料を取り出して、中身が無くりそうなペットボトル飲料の隣に置くことで、ペットボトル飲料を補充するような場合である。この場合、これらのペットボトル飲料は量的消耗品であると共に個数管理消耗品となる。単品消耗品又は量的消耗品であると同時に個数管理消耗品である消耗品は、例えば、ストックしてある消耗品の個数が閾値を下回った場合に、当該消耗品の発注が行われるようにすれば良い。
【００６１】
消耗品クラスＩＤは、消耗品クラスを識別する識別情報である。商品コードは、当該消耗品の商品名等を識別するコード（例えば、ＪＡＮ（Japanese Article Number）やＧＳ１コード等）である。消耗状態判定方法は、当該消耗品の消耗状態の判定方法であり、例えば、消耗品クラスＩＤに応じて決定される。消耗状態の判定方法としては、例えば、外観検査や重量検査等が挙げられる。また、外見検査については、マニピュレータ３２で把持するか否か、量の減少を検査するのか、質の劣化を検査するのか等に詳細化されても良い。また、消耗品によって特有の検査方法がある場合には、その検査方法（又は、その検査方法を特定するためのＩＤ等）であっても良い。
【００６２】
消耗状態閾値は、当該消耗品の消耗状態と比較するための閾値である。消耗品の消耗状態が閾値よりも下回っていた場合等に、当該消耗品の次状態に「補充手配」や「廃棄交換」等が設定されることなる。
【００６３】
消耗状態履歴は、当該消耗品の過去の消耗状態の履歴（例えば、消耗状態を検査した日時及びその検査結果等）である。
【００６４】
観測位置は、当該消耗品を観測した位置の履歴である。これらの位置は、例えば、ＳＬＡＭ（Simultaneous Localization and Mapping）等を用いて推定された消耗品検査ロボット１の自己位置に基づいて観測される。なお、観測位置によって、例えば、同一消耗品クラスに属する消耗品が同一エリアに複数存在するような場合で、それぞれの消耗品ＩＤの特定が難しいような場合（例えば、キッチンと浴室の洗面台とで同一種類の石鹸を利用している場合等）であっても消耗品を互いに識別することができるようになる。この場合、例えば、キッチンの石鹸の観測位置と、洗面台の石鹸との観測位置を、記憶されている最新の観測位置とそれぞれ比較することによって識別することができるようになる。
【００６５】
最終観測時刻は、上記の観測位置が最後に観測された時刻又は日時である。使用期限は、当該消耗品の使用期限（又は、賞味期限、消費期限、有効期限等）である。使用期限としてどのような期限が用いられるかは消耗品によって異なる。例えば、消耗品が食品や飲料である場合には賞味期限や消費期限等が用いられる。一方で、例えば、消耗品が薬品や保安用品（例えば、消火器等）である場合には使用期限が用いられる。
【００６６】
使用開始日は、当該消耗品の使用を開始した日又は日時である。次状態フラグは、当該消耗品の次状態フラグ（「補充手配」や「廃棄交換」等）の値の組である。仮登録フラグは、仮登録であるか否かを示すフラグであり、例えば、消耗品検査ロボット１が消耗品を新規に発見したが、ユーザ等による登録操作が行われていない場合等にＯＮ（仮登録）となるフラグである。
【００６７】
発注方法は、後述するように、当該消耗品が消耗していると判定された場合に行う対応を実現する方法の一例である。つまり、当該対応が発注であった場合、当該消耗品を発注する方法である。発注方法には、例えば、発注先の情報（例えば、発注先システムが提供する発注用ＷｅｂＡＰＩのＵＲＬ（Uniform Resource Locator）等）、発注に必要な認証情報（ユーザＩＤやパスワード等）、当該消耗品の商品ＩＤと発注個数等が含まれる。発注方法は、例えば、当該消耗品の商品コードによって特定されても良いし、ユーザが手動で登録又は設定しても良いし、当該消耗品の形状等を測定したデータから自動的に推定しても良い。
【００６８】
交換履歴は、当該消耗品を交換した履歴（例えば、交換日時等）である。発注履歴は、当該消耗品を発注した履歴（例えば、発注日時、発注先の情報、発注個数、発注した消耗品が到着した場合の到着日時等）である。
【００６９】
取扱方法は、次状態に対する詳細な取扱い方法のことである。例えば、取扱い方法として、次状態が「補充手配」である場合に、自動的に発注する、発注前にユーザの確認を必要とする、発注する消耗品の価格が上昇した場合にのみユーザの確認を必要とする等を設定することができる。同様に、例えば、次状態が「廃棄交換」である場合に、自動的に廃棄交換する、廃棄交換前にユーザの確認を必要とする等を設定することができる。なお、取扱方法には、例えば、消耗状態が判定された消耗品の取り扱いをユーザに都度問い合わせることを示す「未定」等が含まれていても良い。
【００７０】
以上のように、消耗品情報記憶部１２０に記憶されている各消耗品情報には、消耗品ＩＤをキーとして、種々の項目が対応付けられている。なお、各消耗品情報は、全ての項目（属性又はフィールド）を有する必要はない。例えば、各消耗品情報のうちの少なくとも一部が、上記の各項目のうちの一部の項目のみを有していても良い。また、各消耗品情報は、上記の各項目以外にも、種々の任意の項目を有していても良い。
【００７１】
＜消耗品検査処理＞
次に、本発明の実施の形態における消耗品検査処理について、図６を参照しながら説明する。図６は、本発明の実施の形態における消耗品検査処理の一例を示すフローチャートである。なお、以降で説明する消耗品検査処理は、例えば、通常モードのバックグラウンド処理として実行されても良いし、通常モードに対する割り込み処理として実行されても良い。又は、例えば、上述した消耗品検査モードが存在する場合には、この消耗品検査モードの処理として実行されても良い。なお、この場合、消耗品検査ロボット１は、例えば、通常モード等の他の処理が待ち行列にない場合やユーザから明示的に指示された場合等に、消耗品検査モードに移行するようにすれば良い。消耗品検査モードでは、消耗品検査ロボット１は、例えば、消耗品情報記憶部１２０に記憶されている各消耗品情報が示す各消耗品のうち、消耗品検査ロボット１の自己位置に最も近い消耗品（又は、最も短時間で到着できる消耗品）の付近に順に移動し、当該消耗品をカメラで撮影する。
【００７２】
まず、入力制御部１１１は、情報取得装置２０からの各種情報を入力する（ステップＳ１０１）。
【００７３】
次に、消耗品識別部１１２は、入力制御部１１１により入力された入力情報（特に、カメラから入力された画像）から、消耗品（の可能性がある物体）を識別する（ステップＳ１０２）。この識別結果としては、上述したように、消耗品ＩＤと消耗品クラスＩＤとが出力される。
【００７４】
ここで、消耗品の識別には、上述したように、例えば、事前にＳＳＤによって訓練された識別器が用いられても良いし、ユーザ等からの教示によって識別が行われても良い。また、物品に印刷や貼り付け等されているバーコードを認識したり、パッケージ等の文字を認識したりした上で、ルールベースの手法によって消耗品の識別が行われても良い。
【００７５】
また、消耗品ＩＤの特定と、消耗品クラスＩＤの特定とが別々に行われても良い。例えば、事前にトレーニングされた機械学習モデルと、カメラの画像等とを用いて、物品の形状や設置場所等を推定することで消耗品クラスＩＤを特定し、その後に、例えば消耗品情報記憶部１２０に記憶されている消耗品情報を参照して消耗品ＩＤを特定しても良い。
【００７６】
また、特に重要な物品（つまり、特に消耗状態を管理したい消耗品）等は、消耗品と識別するための情報がユーザによって明示的に指示されても良い。
【００７７】
更に、同一種類の物品が複数の箇所で利用されているような場合（例えば、キッチンと洗面台とで同一種類の石鹸が利用されている場合、キッチンで野菜用まな板と肉用まな板とが利用されている場合等）には、消耗品クラスＩＤは特定できるが、消耗品ＩＤの特定が困難なことが有り得る。この場合、消耗品識別部１１２は、ＳＬＡＭ等に基づいて物品の相互の位置関係を観測又は推定した上で、消耗品情報記憶部１２０に記憶されている消耗品情報を参照して各物品（消耗品）の消耗品ＩＤを特定しても良い。
【００７８】
なお、消耗品情報として消耗品情報記憶部１２０に登録（記憶）されていない消耗品が消耗品識別部１１２により発見（認識）されることが有り得る。この場合、消耗品識別部１１２により自動的に消耗品ＩＤを生成して、消耗品情報として消耗品情報記憶部１２０に登録しても良いし、利用者出力部１１７により未登録の消耗品が発見された旨の情報をユーザに対して出力し、ユーザからの指示に応じて登録するようにしても良い。このとき、ユーザに対して出力する情報の形式は、例えば、消耗品検査ロボット１が備えるディスプレイへのＵＩ表示であっても良いし、ユーザの利用する端末（例えばスマートフォン等）へのメール等の送信であっても良いし、消耗品検査ロボット１が備えるスピーカからの音声出力であっても良い。又は、ユーザに出力するのではなく、例えば、ネットワークを介して、遠隔のオペレータ等が利用する端末等に問い合わせとして出力しても良い。
【００７９】
次に、消耗品検査処理部１１０は、ステップＳ１０３以降の処理を実行すると共に、上記のステップＳ１０２で識別された消耗品に対してステップＳ１０６以降の処理を実行する。
【００８０】
ここで、消耗品情報記憶部１２０に記憶されている各消耗品情報は、例えば物品に予め付与されたタグ情報に応じて、複数のテーブルのうちのいずれかにテーブルに格納されていても良い（又は、単に、消耗品情報には、物品に予め付与されたタグ情報が対応付けられていても良い。）。タグ情報としては、例えば、物品が消耗品か否かを示す情報であっても良いし、物品の種別等を示す情報であっても良い。更に、タグ情報として、例えば、消耗品の発注を行う場合に、ユーザの承諾なしに発注を行っても良いか否かを示す情報であっても良い。
【００８１】
このようなタグ情報が物品に付与されている場合、上記のＳ１０２では、消耗品識別部１１２は、例えば、画像中に認識した物品に付与されているタグ情報（物品が消耗品であるか否かを示すタグ情報）を用いて、当該物品が消耗品であるか否かを判別しても良い。また、後述するステップＳ１０９では、当該物品（消耗品）に付与されているタグ情報（ユーザの承諾なしに発注を行っても良いか否かを示すタグ情報）を用いて、自動的に発注するか又は当該消耗品の発注を本当に行っても良いかを確認するための情報をユーザに対して出力するかを判定しても良い。
【００８２】
ステップＳ１０３では、行動計画部１１３は、次の行動が必要か否かを判定する。ここで、次の行動が必要な場合とは、例えば、上記のステップＳ１０２で消耗品が識別できなかった場合や消耗品クラスＩＤは特定できたが消耗品ＩＤは特定できなかった場合、カメラの画角内（つまり、当該カメラで撮影された画像内）に他の消耗品（つまり、未だ消耗状態を検査（判定）していない消耗品）が存在する可能性がある場合、消耗品ＩＤ及び消耗品クラスＩＤは特定されたものの消耗品の消耗状態の検査（判定）を行うことが困難な場合等が挙げられる。
【００８３】
消耗品の消耗状態の検査（判定）を行うことが困難な場合とは、例えば、外観では消耗状態を検査できないために、消耗品に対してマニピュレータ３２等で何等かの操作（例えば、消耗品を持ち上げて、その重さを測る等）を行う必要がある場合等が挙げられる。また、例えば、賞味期限によって消耗状態を検査する場合に、消耗品の賞味期限が画像中に写っていないため、消耗品に対してマニピュレータ３２等で何等かの操作（例えば、当該消耗品の賞味期限が印字されている面をカメラに向ける等）を行う必要がある場合等が挙げられる。
【００８４】
ここで、行動計画部１１３は、上記のステップＳ１０２での識別結果や入力制御部１１１により入力された入力情報（特に、カメラから入力された画像やセンサから入力された計測値等）、消耗品情報記憶部１２０に記憶されている消耗品情報等から現在状態を把握したりすることで、次の行動が必要か否かを判定することができる。例えば、現在の画角に含まれる消耗品の分布と、上記のステップＳ１０２で識別結果として特定された消耗品ＩＤの個数とから、現在の画角内に他の消耗品が存在する可能性があるか否かを推定することができる。また、例えば、消耗品情報に含まれる消耗状態判定方法から、該当の消耗品の消耗状態の検査が困難か否かを判定することができる。
【００８５】
次の行動が必要でない場合は、特に何もしない。この場合は、上記のステップＳ１０２で識別された全ての消耗品に対して後述するステップＳ１０６〜Ｓ１１０の処理が実行されたことを前提に、消耗品検査処理を終了する。これにより、消耗品検査ロボット１は通常モードのみを実行する（又は、通常モードに戻る）ことになる。
【００８６】
一方で、次の行動が必要である場合には、行動計画部１１３は、入力制御部１１１により入力された入力情報（特に、カメラから入力された画像やセンサから入力された計測値等）、消耗品情報記憶部１２０に記憶されている消耗品情報等から次の行動計画を決定する（ステップＳ１０４）。
【００８７】
ここで、行動計画として決定される行動（タスク）としては種々の行動が考えられるが、一例として、以下のような行動が挙げられる。
【００８８】
・物品（消耗品）を把持する、インパクト動作（例えば、叩く等）を物品に加える、物品を押さえる（例えば、ティッシュペーパの消耗状態の検査として、その残量を厚みにより計測する場合等）
・消耗品を把持した状態で、物品の回転や移動等（例えば、消耗品の底面に印字されている賞味期限をカメラに向ける場合等）
・カメラの制御（例えば、ズーム、パン、チルト等）、各種センサの制御
・未検査の消耗品を検査するために別の物品を移動させる（例えば、手前の物体によってその後ろの消耗品の一部が隠れているような場合に、手前の物体を移動させる場合等）
・消耗品の検査に必要のない物体を他の場所に移動させる
・移動させた物体を元の位置に戻す
・消耗品の可能性がある物品が遠い（例えば、カメラで撮影された画像での認識が困難な距離等）場合に、移動によって当該物品に近付く
なお、上述した行動以外にも、行動計画には、消耗品の消耗状態を検査（判定）するために必要な種々の行動が含まれる。
【００８９】
次に、入力制御部１１１及び駆動制御部１１４は、上記のステップＳ１０４で決定された行動計画に応じた行動を、情報取得装置２０や駆動装置３０を制御することによって実行する（ステップＳ１０５）。これより、消耗品検査ロボット１の行動として、上記のステップＳ１０５で決定された行動が実行される。
【００９０】
なお、例えば、消耗品情報記憶部１２０で消耗品情報として登録されている消耗品が所定の期間の間、消耗品識別部１１２によって識別されなかった場合（つまり、当該消耗品が発見されなかった場合）、当該消耗品情報は消耗品情報記憶部１２０から削除されても良い。又は、当該消耗品が無くなった（例えば、消費された又は捨てられた）ものとして、新規に発注するか否かをユーザに問い合わせるための情報を利用者出力部１１７により出力しても良い。
【００９１】
ステップＳ１０６では、消耗状態判定部１１５は、消耗品情報記憶部１２０を参照して、消耗品識別部１１２による識別結果を用いて、該当の消耗品（すなわち、消耗品識別部１１２により識別された消耗品）の消耗状態判定方法を特定し、特定した消耗状態判定方法により当該消耗品の消耗状態を判定（検査）する。なお、消耗状態判定方法は、上述したように、例えば、消耗品クラスＩＤに応じて決定される。
【００９２】
消耗品クラスＩＤとして「単品消耗品」が含まれる場合は、当該消耗品クラスに属する消耗品の重さ等は一般には変化しづらいことが多いが、外観により消耗度合いを判定できることが多い。このため、このような消耗品の消耗品検査方法としては、例えば、外観検査等が行われる。外観検査では、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network、以降、単に「ＣＮＮ」と表す。）等を利用した画像識別器を利用すれば良い。また、例えば、消耗品が電球や蛍光灯等である場合には、電球や蛍光灯の光の点滅や光量等によって消耗状態を検査しても良い。また、単に時間で消耗する消耗品（例えば、定期的な交換が必要なフィルタ等）は、当該消耗品に対応する消耗品情報の使用開始と、現在日時とから消耗状態が判定（検査）されても良い。
【００９３】
消耗品クラスＩＤとして「量的消耗品」が含まれる場合は、当該消耗品クラスに属する消耗品は、その重さや外観から推測される量に基づいて消耗状態の判定又は推測が可能である。例えば、液体が入った透明なボトル（例えば、ペットボトル飲料等）は、その外観から液面の高さを計測することで、消耗状態を判定することができる。また、例えば、消耗状態として米びつ内の米の残量を判定する場合、米びつ内をカメラで撮影しても良いし、米びつに透明な窓等が存在する場合にはその窓部分を撮影することで、消耗状態を判定することができる。また、例えば、ホルダにセットされているトイレットペーパーについても同様に外観から消耗状態の判定が可能である。また、洗剤ボトルやシャンプーボトル等の不透明なボトルに入っていることが多い消耗品、ボックスティッシュ等の消耗品等については、把持し、その重さを荷重センサで計測することで、残量（消耗状態）を判定することができる。また、消耗品の容器等に残量を示す目盛りや計器が設けられている場合、その表示を撮影することで、残量（消耗状態）を判定することができる。これら以外にも、例えば、マイクの近傍で消耗品を揺らして、その音のパターンによって消耗状態を計測する方法であっても良い。音はスペクトラムの形式で２次元の画像に変換可能であり、これをＣＮＮにより処理することで、残量（消耗状態）の推定量とする等の方法が考えられる。
【００９４】
消耗品クラスＩＤとして「個数管理消耗品」が含まれる場合も、種々の判定方法を用いることができる。個数管理消耗品の消耗状態は、外観から残数（消耗状態）を判定可能な場合が多いため、画像を取得することによる外観検査が好ましく用いられる。
【００９５】
次に、次状態決定部１１６は、消耗品情報記憶部１２０の消耗品情報を参照して、消耗状態判定部１１５による判定結果（すなわち、消耗品の消耗状態）に応じて、当該消耗品の次状態（当該消耗品に対して行う対応）を決定する（ステップＳ１０７）。次状態の決定方法として、例えば、当該消耗品の現在の消耗状態（つまり、上記のステップＳ１０６で判定された消耗状態）と、当該消耗品に対応する消耗品情報の各種情報（消耗状態閾値、消耗状態履歴、発注履歴等）とから次状態を決定すれば良い。ただし、例えば、次状態を決定するための情報が不足している場合や尤度が足りない場合等には、ユーザに対して次状態の取り扱いを問い合わせるための情報を利用者出力部１１７により出力しても良い。
【００９６】
ここで、一例として、次状態として「補充手配」とするか否かを決定するための決定手法を述べる。まず、該当の消耗品情報の消耗状態履歴及び交換履歴と、現在の消耗状態とを用いて、回帰分析等の手法により当該消耗品の破棄交換が発生する日時を予測する。また、過去の発注履歴や事前知識、ＥＣサイトのＷｅｂＡＰＩから得られる納期情報等を用いて、当該消耗品を発注した場合に物品が到着するまでに要する時間を見積る。そして、この見積った時間に対して所定の安全率（この安全率は、例えば、ユーザ等が定義すれば良い。）を掛けて得られる日時が、破棄交換が発生すると予測した日時よりも未来である場合、次状態を「補充手配」と決定する。
【００９７】
一方で、例えば、当該消耗品と交換可能なストックがあり、かつ、当該消耗品の消耗状態が閾値を下回った場合等には、次状態として「交換廃棄」と決定する。
【００９８】
なお、例えば、消耗品が薬品や食品、消火器のような保安用品である場合には、使用期限や賞味期限、消費期限等の消耗状態の時間的な基準が存在することが多い。したがって、これらの消耗品に対しては、例えば、消耗状態が閾値を下回った場合（例えば、賞味期限日の１か月前）等に一義的に次状態（補充手配又は／及び廃棄交換）が決められても良い。
【００９９】
次に、消耗品検査処理部１１０は、上記のステップＳ１０７で決定された次状態に基づき、次のステップを決定する（ステップＳ１０８）。この次状態が「補充手配」である場合は後述するステップＳ１０９が実行され、「廃棄交換」である場合は後述するステップＳ１１０が実行される。なお、次状態が「補充手配」かつ「廃棄交換」である場合はステップＳ１０９とステップＳ１１０との両方が実行される。
【０１００】
ステップＳ１０９では、発注部１１８は、次状態決定部１１６により決定された次状態が「補充手配」である場合に、当該消耗品（例えば、当該消耗品と同一の物品）を所定の発注先（例えば、ＥＣサイト等）に発注する。このとき、発注部１１８は、当該消耗品に対応する消耗品情報の発注方法を参照することで、当該消耗品を所定の発注先に発注する。ただし、必ずしも当該消耗品と同一物品を発注しなくても良い。例えば、事前にユーザの確認又は承諾がある場合に、代替品となり得る、当該物品と関連する物品（例えば、消耗品情報記憶部１２０に記憶された消耗品情報の消耗品クラス等の情報から、当該消耗品と代替可能と判断される物品や、ＥＣサイト等で推薦される同一種類の類似の物品等）が発注されても良い。また、ユーザに推薦される物品（例えば、価格がより安い、機能が優れている、レコメンド機能や広告機能により推薦されている、等）がある場合には、ユーザにそれを購入する旨の提案等を行っても良い。
【０１０１】
なお、次状態「補充手配」は、例えば、発注した商品（消耗品）の到着をもってクリアされる。商品の到着の確認は、例えば、ＥＣサイトのＷｅｂＡＰＩ等により検知しても良いし、到着した商品が所定の場所に置かれたことによって検知しても良い。
【０１０２】
ステップＳ１１０では、行動計画部１１３は、次状態が「廃棄交換」である場合に、当該消耗品を廃棄及び交換するための行動計画を決定する。これにより、入力制御部１１１や駆動制御部１１４によって情報取得装置２０や駆動装置３０が制御され、当該消耗品の廃棄及び交換が行われる。なお、当該消耗品が交換及び廃棄された場合、当該消耗品に対応する消耗品情報の交換履歴には、当該消耗品の交換日時等が記録される。このとき、当該消耗品の使用開始日が更新されると共に、使用期限がある場合には使用期限が更新される。なお、次状態「廃棄交換」は、当該消耗品の廃棄及び交換が完了したことをもってクリアされる。
【０１０３】
以上のように、本発明の実施の形態における消耗品検査ロボット１は、自律的に移動しながら、家庭内等の所定のエリア内の消耗品の消耗状態を検査し、この検査結果に応じて、当該消耗品の発注（補充）や廃棄及び交換等を行うことができる。これにより、本発明の実施の形態における消耗品検査ロボット１のユーザは、家庭やオフィス、工場内等で使用又は消費等される様々な消耗品の交換や廃棄、補充等を行う必要を減らすことができる。これにより、消耗品の管理に係る作業を削減することができる。
【０１０４】
しかも、本発明の実施の形態における消耗品検査ロボット１では、カメラや各種センサ等の情報取得装置２０からの入力情報に基づいて消耗品の識別や消耗状態の判定を行う。このため、例えば、消耗品に対してセンサやタグ等を付与することなく、消耗品の消耗状態を検査等することができる。
【０１０５】
なお、本発明の実施の形態では、１台の消耗品検査ロボット１が消耗品の消耗状態を検査等する場合について説明したが、複数台の消耗品検査ロボット１が互いに情報を共有しながら連携して消耗品の消耗状態を検査等しても良い。これにより、例えば、工場やオフィス等の比較的広いエリアでも効率的に消耗品の消耗状態を検査等することができる。
【０１０６】
上記の実施の形態では、自立移動が可能な移動手段と情報取得装置２０とが備えられ移動可能な消耗品検査ロボット１、つまり情報取得装置２０自体が移動可能な場合について説明した。このように情報取得装置２０自体が移動可能であることで、特に工場等とは異なり、多数の物品が様々な場所にランダムに明確な規則性が低い状態で配置されている家庭内で好ましく利用することができる。また、移動手段により物品に接近可能であることで、把持等をはじめとする物品の情報の取得を適切に行うことができる。更に、一般にプライバシーや秘密性が重要とされる場所、例えば家庭内、企業内、ホテル等の客室、トイレ、浴場といった場所の消耗品の検査を、その場所の利用者の気分を害することなく行うことができる。このような検査を行う場合には、場所の利用者が不在または少数である際に行うことがプライバシーや秘密確保の観点から好ましいが、これに限られない。また、消耗品の補充等の物理の操作を伴う所定の対応を移動可能な検査装置（ロボット）が行うことで、ユーザは検査装置の存在を強く意識することなく快適に当該場所を利用することができる。また、家庭や一般の空間においては、カメラの反対側の面や底面など物品のカメラで撮影できない死角に消耗状態を判別するために必要な情報がある場合が多い。しかし、本実施形態のように、物品を操作可能な操作手段を備えることで、物品の消耗状態を適切に判別することができる。
【０１０７】
また、上記の実施の形態では、消耗品の識別や消耗状態の判定等を消耗品検査ロボット１が実行する場合について説明したが、例えば、消耗品検査ロボット１は、ネットワークを介して、情報取得装置２０からの入力情報をサーバに送信し、このサーバ上で消耗品の識別や消耗状態の判定等が行われても良い。
【０１０８】
また、上記の実施の形態では、すべての物品の情報の取得を消耗品検査ロボット１が実行する場合について説明したが、これに限られない。例えば、物品の識別に用いられる情報の取得を空間に設置された固定カメラで行い、消耗状態に関する情報の習得を移動可能な消耗品検査ロボット１で行ってもよい。
【０１０９】
また、上記の実施の形態では、情報取得装置２０により取得された情報に基づいて、物品が判定の対象であるか否かの識別と、物品の消耗状態の判定とを別々の手段またはステップで実現したが、これに限られない。つまり、物品の識別と消耗状態の判定を同時に（又は、一つの手段若しくは一つのステップにおいて）行うことができる。これは、物品の認識だけではなく、物品の消耗状態も合わせて判断可能なよう訓練した訓練済モデルを用いることで実現することができる。
【０１１０】
また、消耗品の消耗状態に応じて、検査装置のユーザや第三者に対し各種の提案又は広告等を行っても良い。例えば、或る薬品等の消耗度合いが低い場合等には、薬品が正しく服用されていないものとして、ユーザ、第三者である医師若しくは薬局等の医療機関に通知又は服薬指導を提案する等である。また、例えば、或る食品の消耗度合いが高い場合等には、この食品がユーザの好物であるとして、この食品に関連する食品の購入等を提案する等である。つまり、本開示によれば、実際の物品の消耗具合に基づいて、物品に関する様々な提案を行うことができる。
【０１１１】
なお、単に物品の当初の（消耗していない）状態と現在の状態とを比較して消耗を判別するのではなく、本実施形態のように物品の消耗品クラスまたは消耗品クラスＩＤを用いて消耗を判別することで、例えば、初めから消耗した状態の物品（例えば飲みかけのペットボトル飲料、中古の家具など）が検査装置に認識された場合であっても、適切に物品の消耗を判別することができる。
【０１１２】
また物品は、実施形態において説明した消耗品に限られず、比較的発注の頻度が低い物品（本明細書では耐久消費財という）にも適用できる。つまり、当該耐久消費財の消耗を検査し、さらに消耗に応じて対応を行うことができる。例えば、衣類収納用家具の取っ手の木ネジが緩んでいるという不具合（消耗の一種）を検査により発見することができ、その場合に修理会社への修復の依頼やロボット自身による修理をはじめとする対応を行っても良い。また、例えば、ソファ、カーテン等の家具の消耗（例えば、スプリングの劣化、生地の汚損等）や、建具の消耗（家屋の雨漏り）の検査を行うことができる。
【０１１３】
本発明は、具体的に開示された上記の実施形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
【符号の説明】
【０１１４】
１        消耗品検査ロボット
１０      制御装置
２０      情報取得装置
３０      駆動装置
３１      移動装置（車輪）
３２      操作装置（マニピュレータ）
１１０    消耗品検査処理部
１１１    入力制御部
１１２    消耗品識別部
１１３    行動計画部
１１４    駆動制御部
１１５    消耗状態判定部
１１６    次状態決定部
１１７    利用者出力部
１１８    発注部
１２０    消耗品情報記憶部
【図１】
2020062691.tif 000003
【図２】
2020062691.tif 000004
【図３】
2020062691.tif 000005
【図４】
2020062691.tif 000006
【図５】
2020062691.tif 000007
【図６】
2020062691.tif 000008