(57)【要約】【課題】簡易な計算に基づいて収容スペース内に物品が存在するか否かを判定する。【解決手段】所定のスペースの内部を映す曲面鏡の像が写った画像を取得する。取得した画像に含まれる曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を当該像の範囲内に少なくとも１つの極値を有する関数で近似した場合における当該関数の凸の方向が、スペース内に物体が存在しないときに取得した画像に含まれる曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を関数で近似した場合における当該関数の凸の方向と異なる場合に、スペースに物体が存在すると判定する。【選択図】図８
2015222240.tif 000002
【特許請求の範囲】
【請求項１】
所定のスペースの内部を映す曲面鏡の像が写った画像を取得する画像取得部と、
前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を当該像の範囲内に少なくとも１つの極値を有する関数で近似した場合における当該関数の凸の方向が、前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を前記関数で近似した場合における当該関数の凸の方向と異なる場合に、前記スペースに物体が存在すると判定する存在判定部と
を備える存在判定装置。
【請求項２】
前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる、前記曲面鏡の像の曲面に沿った方向の色相または彩度の少なくとも何れか一方を含む成分の変化を示す曲線を取得する曲線取得部と、
前記曲線取得部が取得した曲線において１つの極値を挟む２つの停留点の間の範囲を、前記像の範囲として特定する範囲特定部と
を備える請求項１に記載の存在判定装置。
【請求項３】
前記スペース及び前記曲面鏡は、複数存在し、
前記画像取得部は、前記曲面鏡の像がすべて写った画像を取得し、
前記存在判定部は、前記曲面鏡の像の写った範囲ごとに、当該曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を当該像の範囲内に少なくとも１つの極値を有する関数で近似した場合における当該関数の凸の方向が、当該曲面鏡が映す前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる当該曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を前記関数で近似した場合における当該関数の凸の方向と異なる場合に、当該曲面鏡が映す前記スペースに物体が存在すると判定する
請求項１または請求項２に記載の存在判定装置。
【請求項４】
コンピュータを、
所定のスペースの内部を映す曲面鏡の像が写った画像を取得する画像取得部、
前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を当該像の範囲内に少なくとも１つの極値を有する関数で近似した場合における当該関数の凸の方向が、前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を前記関数で近似した場合における当該関数の凸の方向と異なる場合に、前記スペースに物体が存在すると判定する存在判定部
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、存在判定装置及びプログラムに関する。
【背景技術】
【０００２】
近年、高齢者の中には、健康維持や治療を目的として薬品を服用する人が多く存在する。他方、加齢により認知能力が低下するにつれ、飲み忘れや飲み重ね等、薬品の正しい服用ができない高齢者も多く存在している。このような誤服薬は、薬品の薬効を低下させる可能性があり、一方で薬品の副作用が生じる可能性が高まるおそれがある。同様に、内服薬に限られず、注射薬や外用薬などの使用についても同様の課題がある。また、高齢者に限られず、服薬意識の低い小児においても同様の課題がある。
【０００３】
なお、特許文献１には、複数の画像に基づいて確率モデルおよび予測モデルを算出し、当該モデルを用いて画像内の物体の検出を行う技術が開示されている。また、特許文献２には、画像から前景と背景とを分離して、前景に存在する物体の位置等を推定する技術が開示されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１２−１０４８７２号公報
【特許文献２】特開２０１３−２０５９８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
薬品の誤使用を防ぐための手法として、スマートフォンなど撮像部を有する携帯端末に、薬品等の物品を収容する収容スペースを有する収容ケースを取り付け、その撮像部によって収容ケースの内部を撮像することにより、薬品の使用の管理を行う手法が考えられる。しかしながら、当該手法を実現するにあたり、特許文献１や特許文献２に開示された技術を用いる場合、モデルの生成のために予め収容スペースに収容される物品についての学習処理や、前景や背景に関する事前知識が必要となるため、簡易に物体の検出を図ることが困難であった。前景に関する事前知識の例としては、「薬とは、白くて丸い直径５ミリメートルほどの物体である」といった情報が挙げられる。薬の色や形は多種多様であるため、共通する条件を知識として設定することは現実的ではない。
本発明の目的は、簡易な計算に基づいて収容スペース内に物品が存在するか否かを判定することができる存在判定装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
第１の態様は、所定のスペースの内部を映す曲面鏡の像が写った画像を取得する画像取得部と、前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を当該像の範囲内に１つの極値を有する関数で近似した場合における当該関数の凸の方向が、前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を前記関数で近似した場合における当該関数の凸の方向と異なる場合に、前記スペースに物体が存在すると判定する存在判定部とを備える存在判定装置である。
【０００７】
また、第２の態様は、第１の態様において、前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる、前記曲面鏡の像の曲面に沿った方向の色相または彩度の少なくとも何れか一方を含む成分の変化を示す曲線を取得する曲線取得部と、前記曲線取得部が取得した曲線において１つの極値を挟む２つの停留点の間の範囲を、前記像の範囲として特定する範囲特定部とを備える存在判定装置である。
【０００８】
また、第３の態様は、第１または第２の態様において、前記スペース及び前記曲面鏡は、複数存在し、前記画像取得部は、前記曲面鏡の像がすべて写った画像を取得し、前記存在判定部は、前記曲面鏡の像の写った範囲ごとに、当該曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を当該像の範囲内に少なくとも１つの極値を有する関数で近似した場合における当該関数の凸の方向が、当該曲面鏡が映す前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる当該曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を前記関数で近似した場合における当該関数の凸の方向と異なる場合に、当該曲面鏡が映す前記スペースに物体が存在すると判定する存在判定装置である。
【０００９】
また、第４の態様は、コンピュータを、所定のスペースの内部を映す曲面鏡の像が写った画像を取得する画像取得部、前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を当該像の範囲内に１つの極値を有する関数で近似した場合における当該関数の凸の方向が、前記スペース内に物体が存在しないときに前記画像取得部が取得した画像に含まれる前記曲面鏡の像の曲面に沿った方向の明るさに係る特徴量の成分の変化を前記関数で近似した場合における当該関数の凸の方向と異なる場合に、前記スペースに物体が存在すると判定する存在判定部として機能させるためのプログラムである。
【発明の効果】
【００１０】
上記態様のうち少なくとも１つの態様によれば、存在判定装置は、所定のスペースの内部を映す凸面鏡の像の明るさに係る特徴量の変化を示す関数の凸の方向の変化に基づいて、物体の存在の有無を判定する。これにより、存在判定装置は、関数の凸の方向の計算という簡易な計算に基づいてスペース内に物体が存在するか否かを判定することができる。
【図面の簡単な説明】
【００１１】
【図１】少なくとも１つの実施形態に係る物品管理システムの外観図である。
【図２】第１の実施形態に係る光路確保スペースの拡大図である。
【図３】携帯端末のソフトウェア構成を示す概略ブロック図である。
【図４】第１の実施形態に係る携帯端末による範囲特定処理を示すフローチャートである。
【図５】第１の実施形態に係る撮像部が撮像する画像の例を示す図である。
【図６】凸面鏡の曲面に沿った方向における特徴量の変化の一例を示す図である。
【図７】第１の実施形態に係る携帯端末による収容判定処理を示すフローチャートである。
【図８】収容スペース内の物品の収容判定の具体的な例を示す図である。
【発明を実施するための形態】
【００１２】
《第１の実施形態》
以下、図面を参照しながら実施形態について詳しく説明する。
図１は、少なくとも１つの実施形態に係る物品管理システム１の外観図である。
物品管理システム１は、収容ケース２００に収容された薬品などの物品が取り出されたか否かを管理するシステムである。物品管理システム１は、携帯端末１００と収容ケース２００とを備える。
【００１３】
収容ケース２００は、携帯端末１００に取り付け可能な形状を有する物品の管理用のケースである。本実施形態に係る収容ケース２００は、光を透過する白色の樹脂で形成されている。
収容ケース２００は、携帯端末１００に装着される装着部２１０と、複数の区画が形成される基部２２０と、基部２２０を覆う蓋部２３０とを備える。基部２２０と蓋部２３０とは、上端が蓋部２３０に設けられた爪と基部２２０に設けられた係合孔との係合により固定され、下端が六角ナットと超低頭ネジとによって固定される。
【００１４】
図１（Ａ）は、蓋部２３０を閉じたときの収容ケース２００の外観を示す。図１（Ｂ）は、蓋部２３０を開いたときの収容ケース２００の外観を示す。
基部２２０には、携帯端末１００が装着部２１０に装着されたときに携帯端末１００の撮像部１１０と対向する位置に、撮像用孔２２１が形成される。これにより、携帯端末１００は撮像用孔２２１を介して収容ケース２００の内部を撮像することができる。なお、本実施形態に係る携帯端末１００は携帯端末１００の裏面の隅（図面左上）に撮像部１１０を有するため、撮像用孔２２１は基部２２０の隅（図面左上）に設けられる。
【００１５】
基部２２０には、撮像用孔２２１を含む収容ケース２００の長手方向全域に、撮像部１１０による撮像のための光路を確保するための光路確保スペース２２２が設けられている。また基部２２０には、光路確保スペース２２２と透明の仕切り板２２３で隔たれた、薬品などの物品を収容する収容スペース２２４が形成されている。本実施形態に係る収容スペース２２４は、光を透過する白色の壁面２２５により収容ケース２００の長手方向に３つに分割されている。つまり、本実施形態に係る収容ケース２００は、収容ケース２００の長手方向に３つの収容スペース２２４Ａ〜Ｃを備える。なお、蓋部２３０のうち収容ケース２００を覆う部分には、各収容ケース２００の辺を軸として開閉可能に設けられたフラップ部２３１Ａ〜Ｃが設けられている。これにより、利用者は、フラップ部２３１を開閉することで、収容スペース２２４内に物品を収容することができ、また収容スペース２２４に収容された物品を取り出すことができる。フラップ部２３１は、収容ケース２００の携帯時に開かないよう、磁石により基部２２０に固定される。
【００１６】
光路確保スペース２２２には、各収容スペース２２４の内部を映す３つの凸面鏡２２６Ａ〜Ｃが設けられている。また、蓋部２３０には、撮像用孔２２１を介して携帯端末１００の撮像部１１０と対向する位置に、３つの凸面鏡２２６が反射させる光を撮像部１１０へ反射させる平面鏡２３２が設けられている。これにより、携帯端末１００は、収容スペース２２４の内部を映す凸面鏡２２６の像が写った画像を撮像することができる。
【００１７】
なお、本実施形態では、基部２２０に光路確保スペース２２２が設けられる場合について説明するが、これに限られない。例えば、他の実施形態では、レーザーの照射により内部に凸面鏡２２６が形成された透明ブロックを、光路確保スペース２２２に代えて用いても良い。この場合、当該透明ブロックが仕切り板２２３を兼ねることができる。
【００１８】
図２は、第１の実施形態に係る光路確保スペース２２２の拡大図である。
なお、３つの凸面鏡２２６のうち最も撮像用孔２２１に近いもの（凸面鏡２２６Ａ）の収容スペース２２４の内部を映さない部分には、凹面鏡２２７が設けられている。つまり、収容スペース２２４の内部を映す部分と映さない部分との境界に、凸面鏡２２６Ａと凹面鏡２２７の境界が存在する。なお、本実施形態では、基部２２０に凹面鏡２２７が設けられる場合について説明するが、これに限られない。例えば、他の実施形態では、凹面鏡２２７が設けられず、凸面鏡２２６Ａの収容スペース２２４の内部を映さない部分が切断される構成であっても良く、また当該部分に非鏡面加工がなされていても良い。
【００１９】
携帯端末１００は、撮像部１１０と入出力部（図示せず）とコンピュータ（図示せず）とを備える。
撮像部１１０は、光学系を介して集光した光をＣＣＤ等の撮像素子よって光電変換することで撮像画像を得る。撮像部１１０は、携帯端末１００の背面の隅に設けられる。入出力部は、タッチパネルなど利用者とコンピュータとの間の入出力を媒介するデバイスである。
【００２０】
コンピュータは、ＣＰＵ、主記憶装置、補助記憶装置、インタフェースを備える。ＣＰＵは、補助記憶装置に記録されたプログラムを実行することで、撮像部１１０が撮像した画像から、収容ケース２００の収容スペース２２４に物品が収容されているか否かを判定する。インタフェースは、撮像部１１０及び入出力部に接続され、ＣＰＵと撮像部１１０及び入出力部との間でデータの受け渡しを行う。本実施形態に係るコンピュータは、存在判定装置の一例である。
【００２１】
図３は、携帯端末１００のソフトウェア構成を示す概略ブロック図である。
ＣＰＵは、プログラムを補助記憶装置から読み出して主記憶装置に展開し、当該プログラムを実行することで、画像取得部１０１、前処理部１０２、曲線取得部１０３、範囲特定部１０４、極値取得部１０５、非収容状態記憶部１０６、収容判定部１０７（存在判定部）、設定記憶部１０８を備える。
【００２２】
画像取得部１０１は、撮像部１１０から撮像した画像を取得する。つまり、画像取得部１０１は、収容スペース２２４の内部を映す凸面鏡２２６の像が写った画像を取得する。
前処理部１０２は、画像取得部１０１が取得した画像に所定の画像処理を施す。
曲線取得部１０３は、前処理部１０２が画像処理を施した画像に基づいて、輝度の変化を示す曲線を算出する。なお、本実施形態において輝度は、明るさに係る特徴量の一例である。
範囲特定部１０４は、曲線取得部１０３が算出した曲線に基づいて、画像における各凸面鏡２２６の像が写った範囲を特定する。
極値取得部１０５は、範囲特定部１０４が特定した範囲内の曲線における極値の二階微分値を算出する。極値の二階微分値を算出するということは、曲線が上に凸であるか下に凸であるかを特定することと等価である。
非収容状態記憶部１０６は、全ての収容スペース２２４に物品が入っていないときに画像取得部１０１が取得した画像から特定された、凸面鏡２２６の像が写った範囲及び各範囲における輝度の変化を示す関数の凸の方向を記憶する。関数の凸の方向とは、関数が上に凸（凹関数）であるか関数が下に凸（凸関数）であるかを示す情報である。
収容判定部１０７は、極値取得部１０５が算出した極値の二階微分値と非収容状態記憶部１０６が記憶する極値の二階微分値とを比較することで、収容スペース２２４に物品が収容されているか否かを判定する。また、収容スペース２２４に物品が収容されている場合、収容判定部１０７はどの収容スペース２２４に収容されているかを特定する。収容判定部１０７による判定結果は、入出力部に表示される。また、収容判定部１０７による判定結果は、インタフェースに接続される通信装置を介して外部のサーバ装置に送信されても良い。
設定記憶部１０８は、撮像部１１０のホワイトバランスなどの設定情報を記憶する。画像取得部１０１は、撮像部１１０から画像を取得する際に、設定記憶部１０８が記憶する設定情報を読みとる。
【００２３】
次に、本実施形態に係る携帯端末１００の動作について説明する。
まず携帯端末１００は、補助記憶装置に記録されたプログラムの初回実行時に、撮像部１１０が撮像する画像における凸面鏡２２６の像が写った範囲を特定する範囲特定処理を実行する。
図４は、第１の実施形態に係る携帯端末１００による範囲特定処理を示すフローチャートである。
利用者は、携帯端末１００に収容ケース２００の装着部２１０を装着した後、携帯端末１００を操作して携帯端末１００に補助記憶装置に記録されたプログラムを実行させる。携帯端末１００が初めてプログラムを実行すると、まず画像取得部１０１は、撮像部１１０に画像を撮像させ、当該画像を取得する（ステップＳ１）。
【００２４】
図５は、第１の実施形態に係る撮像部１１０が撮像する画像の例を示す図である。
なお、本実施形態に係る携帯端末１００の撮像部１１０は接写機能を有しないため、撮像部１１０の光学系の焦点は、各凸面鏡２２６の位置より奥側に存在するため、図５（Ａ）に示すように、得られる画像は全体的に不鮮明な画像となる。図５（Ａ）に示す画像には、図５（Ｂ）に示すように、収容スペース２２４の透明な仕切り板２２３の像が写る範囲、各凸面鏡２２６Ａ〜Ｃの像が写る範囲、光路確保スペース２２２の奥側の壁面の像が写る範囲、光路確保スペース２２２の側壁の像が写る範囲、蓋部２３０の像が写る範囲、及び基部２２０の底面の像が写る範囲が存在する。
なお、携帯端末１００に収容ケース２００を装着したときに撮像部１１０が撮像する映像において凸面鏡２２６の像が写る蓋然性の高い領域は、予め特定することができる。たとえば図５に示す例であれば、図５（Ｃ）に示す点線で囲われた台形の領域に、凸面鏡２２６の像が写る蓋然性が高い。当該領域の四隅の座標は、予め計測され、曲線取得部１０３に設定される。本実施形態では、当該台形の上底の座標は、光路確保スペース２２２の奥側の壁面の像が写る範囲内に設定され、下底の座標は、画像の右端（光路確保スペース２２２の側壁の像が写る範囲）に設定される。コンピュータは、例えば、当該台形の領域の上方をサーバ装置からダウンロードすることによって取得することができる。
【００２５】
なお、本実施形態では、撮像部１１０が接写機能を用いずに画像を撮像する場合について説明するが、これに限られない。例えば、撮像部１１０が接写機能により鮮明な画像を撮像する場合、得られた画像にガウシアンフィルタなどのフィルタを適用することで、本実施形態と同様に不鮮明な画像を得ることができる。
【００２６】
次に、前処理部１０２は、画像取得部１０１が取得した画像の各画素について、ＨＳＬ値を算出する（ステップＳ２）。ＨＳＬ値とは、画素の値を色相（Ｈｕｅ）、彩度（Ｓａｔｕｒａｔｉｏｎ）、輝度（Ｌｉｇｈｔｎｅｓｓ）で表した３次元の値である。次に、曲線取得部１０３は、前処理部１０２によって画像処理がなされた画像のうち、図５（Ｃ）に示す点線で囲われた台形の領域内の各画素のＨＳＬ値を取得する。そして、当該領域内の各画素について、Ｈ成分とＳ成分の相加平均を特徴量として算出する（ステップＳ３）。次に、曲線取得部１０３は、台形の領域内の、凸面鏡２２６の曲面に沿った方向に伸びる直線に直交する直線上の各画素の特徴量平均値を算出することで、凸面鏡２２６の曲面に沿った方向における特徴量の変化を算出する（ステップＳ４）。なお、凸面鏡２２６の曲面に沿った方向は、設計段階において予め特定することができる方向である。
【００２７】
図６は、凸面鏡２２６の曲面に沿った方向における特徴量の変化の一例を示す図である。
曲線取得部１０３は、凸面鏡２２６の曲面に沿った方向における特徴量の変化に基づいて、凸面鏡２２６の曲面に沿った方向の座標と特徴量の関係を示す関数を推定する（ステップＳ５）。当該推定は、例えば、カーブフィッティング法などによりなされる。曲線取得部１０３が、凸面鏡２２６の曲面に沿った方向の座標と特徴量の関係を示す関数を推定すると、極値取得部１０５は、曲線取得部１０３が推定した関数から、極値が存在する座標及び当該極値が極大値であるか極小値であるかを特定する（ステップＳ６）。
【００２８】
範囲特定部１０４は、各凸面鏡２２６が写るすべての範囲を特定するまで、以下に示すステップＳ８〜Ｓ１４の処理を実行する（ステップＳ７）。なお、特定すべき凸面鏡２２６の数は、設計段階において予め特定することが出来る。つまり、予め特定された凸面鏡２２６の数について範囲を特定し終えると、範囲特定部は、ステップＳ８〜Ｓ１４の処理を終了する。
まず、範囲特定部１０４は、少なくとも１つの凸面鏡２２６に対応する範囲を特定したか否かを判定する（ステップＳ８）。範囲特定部１０４は、すべての凸面鏡２２６に対応する範囲を特定していない場合（ステップＳ８：ＮＯ）、台形の領域のうち短い底辺（上底）に最も近い特徴量の極値の座標を特定する。範囲特定部１０４は、当該極値の座標を、凸面鏡２２６が写る範囲の上底側の端として特定する（ステップＳ９）。
次に、範囲特定部１０４は、特定した極値の座標の長い底辺（下底）側に隣接する他の極値の座標を特定する（ステップＳ１０）。次に、範囲特定部１０４は、次に特定すべき範囲が撮像用孔２２１に最も近い凸面鏡２２６に対応する範囲であるか否かを判定する（ステップＳ１１）。範囲特定部１０４は、次に特定すべき範囲が撮像用孔２２１に最も近い凸面鏡２２６に対応する範囲でないと判定した場合（ステップＳ１１：ＮＯ）、ステップＳ１０で特定した極値の下底側に隣接する極値の座標を特定する。そして、範囲特定部１０４は、当該極値の座標を、凸面鏡２２６が写る範囲の下底側の端として特定する（ステップＳ１２）。
本実施形態では、収容ケース２００は白色の樹脂で形成されるため、ステップＳ１０、ステップＳ１２で特定される極値は極小値として表れ、ステップＳ１１で特定される極値は極大値として表れる。
【００２９】
ステップＳ８において範囲特定部１０４が少なくとも１つの凸面鏡２２６に対応する範囲を特定した場合（ステップＳ８：ＹＥＳ）、範囲特定部１０４は、ステップＳ９の処理に代えて、前回特定した範囲の下底側の端を、次の凸面鏡２２６が写る範囲の上底側の端として特定する（ステップＳ１３）。
【００３０】
また、ステップＳ１１において範囲特定部１０４が次に特定すべき範囲が撮像用孔２２１に最も近い凸面鏡２２６に対応する範囲であると判定した場合（ステップＳ１１：ＹＥＳ）、範囲特定部１０４は、ステップＳ１２の処理に代えて、ステップＳ１０で特定した極値の下底側に隣接する停留点の座標を、凸面鏡２２６が写る範囲の下底側の端として特定する（ステップＳ１４）。停留点とは、関数の一階微分値が０になる点をいう。なお、停留点は極値を含む。
これは、撮像用孔２２１に最も近い凸面鏡２２６のうち収容スペース２２４を映さない部分に凹面鏡２２７が設けられており、図６に示すように凸面鏡２２６と凹面鏡２２７の境界が停留点として表れるためである。
【００３１】
なお、本実施形態では、範囲特定部１０４は、上底側の端の２つ隣の極値または停留点を、下底側の端として特定するが、これに限られない。例えば、予め凸面鏡２２６の像の大きさの知識を有している場合、範囲特定部１０４は、上底側の端から当該大きさだけ離れた部分に存在する極値を探索し、当該極値を下底側の端として特定しても良い。
【００３２】
上記ステップＳ８〜ステップＳ１４の処理により、範囲特定部１０４が各凸面鏡２２６が写るすべての範囲を特定すると、範囲特定部１０４は、特定した範囲ごとに、当該範囲の上底側及び下底側の座標、並びに当該範囲内における関数の凸の方向を関連付けて、非収容状態記憶部１０６に記録する（ステップＳ１５）。関数の凸の方向は、例えば、曲線取得部１０３が推定した関数の、ステップＳ１０で特定した極値における二階微分値の符号から特定することが出来る。なお、本実施形態では、収容ケース２００が白色の樹脂で形成されるため、関数は当該範囲内において上に凸となる。
これにより、携帯端末１００は、凸面鏡２２６が写る範囲を特定することができる。なお、凸面鏡２２６が写る範囲は、１つの極値を挟む２つの停留点の間の範囲である。
【００３３】
なお、本実施形態では、画像取得部１０１が取得した１つの画像に基づいて凸面鏡２２６が写る範囲を特定する場合について説明したが、これに限られない。収容ケース２００は略直方体の外形を有するため、例えば、それぞれの面が上になる６種類の状況下で撮像部１１０が画像を撮像し、各画像の平均などを用いて凸面鏡２２６が写る範囲を特定することで、光の入射方向の影響を軽減することができる。
【００３４】
携帯端末１００は、上記手順により範囲特定処理を実行すると、以降、所定の時刻（例えば、予め利用者によって指定された時刻や、薬品の処方箋で定められた時刻）に、収容ケース２００内の物品の収容判定処理を行う。このとき、所定の時刻の前後の期間において、高い頻度で収容ケース２００内の物品の収容判定処理を行うことで、薬品の正確な取得時刻を検知することができる。
また、携帯端末１００は、利用者が、所定の場所に移動したとき、当該場所から帰るとき、所定の行動をとったとき、または携帯端末１００に所定の操作を行った時にも、収容ケース２００内の物品の収容判定処理を行う。また、これに限られず、携帯端末１００は、一定時間ごとに収容ケース２００内の物品の収容判定処理を行っても良い。これにより、携帯端末１００は、設定時刻よりも早く薬品を取得したことを検知しても良い。
【００３５】
図７は、第１の実施形態に係る携帯端末１００による収容判定処理を示すフローチャートである。
携帯端末１００がプログラムの実行により収容判定処理を実行すると、まず画像取得部１０１は、撮像部１１０に画像を撮像させ、当該画像を取得する（ステップＳ１０１）。つぎに前処理部１０２は、画像取得部１０１が取得した画像からノイズを除去する（ステップＳ１０２）。次に、前処理部１０２は、ノイズを除去した画像をグレースケールに変換する（ステップＳ１０３）。次に、曲線取得部１０３は、非収容状態記憶部１０６に記録された各凸面鏡２２６が写る範囲について、凸面鏡２２６の曲面に沿った方向に伸びる直線に直交する直線上の各画素の輝度の平均値を算出することで、凸面鏡２２６の曲面に沿った方向における輝度の変化を算出する（ステップＳ１０４）。次に、曲線取得部１０３は、算出した輝度の変化について、移動平均をかけることで平滑化を行う（ステップＳ１０５）。
【００３６】
曲線取得部１０３は、非収容状態記憶部１０６が記憶する範囲毎に、凸面鏡２２６の曲面に沿った方向における輝度の変化に基づいて、凸面鏡２２６の曲面に沿った方向の座標と輝度の関係を示す二次関数を推定する（ステップＳ１０６）。なお、曲線取得部１０３は、非収容状態記憶部１０６が記憶する各範囲内に極値が存在するように、曲線の推定を行う。当該推定は、例えば、最小二乗法などによりなされる。曲線取得部１０３が、非収容状態記憶部１０６が記憶する範囲毎に二次関数を推定すると、極値取得部１０５は、曲線取得部１０３が推定した各二次関数の凸の方向を特定する（ステップＳ１０７）。具体的には、極値取得部１０５は、最小二乗法で特定された二次関数の二次の項の係数の符号が正である場合、当該二次関数は下に凸であり、二次の項の係数の符号が負である場合、当該二次関数は上に凸であると特定することができる。
【００３７】
次に、収容判定部１０７は、極値取得部１０５が特定した凸の方向と非収容状態記憶部１０６が記憶する凸の方向が一致するか否かを判定する（ステップＳ１０８）。
収容判定部１０７は、極値取得部１０５が特定した凸の方向と非収容状態記憶部１０６が記憶する凸の方向が一致すると判定した場合（ステップＳ１０８：ＹＥＳ）、該当する収容スペース２２４に物品が収容されていないと判定する（ステップＳ１０９）。他方、収容判定部１０７は、極値取得部１０５が特定した凸の方向と非収容状態記憶部１０６が記憶する凸の方向が一致しないと判定した場合（ステップＳ１０８：ＮＯ）、該当する収容スペース２２４に物品が収容されていると判定する（ステップＳ１１０）。当該判定結果は、入出力部を介して利用者に対して出力される。また、当該判定結果は、インタフェースを介してサーバ装置や利用者の関係者に対しても出力される。
【００３８】
つまり、収容判定部１０７は、極値取得部１０５が取得したある収容スペース２２４を映す凸面鏡２２６に相当する範囲内の関数の凸の方向が、収容スペース２２４内に物品が収容されていないときにおける当該範囲内の関数の凸の方向と異なる場合に、収容スペース２２４に物品が収容されていると判定する。
それぞれの凸面鏡２２６の端部は、撮像部１１０を通る光軸を撮像部１１０方向へ反射させ、また収容スペース２２４間の壁面２２５へ反射させる。そのため、凸面鏡２２６の端部が写る範囲における収容スペース２２４内の物品の有無による影響は小さく、凸面鏡２２６の中央部が写る範囲における収容スペース２２４内の物品の有無による影響は大きくなる。つまり、端部と中央部の相対的変化を観測することで、周辺環境の明るさの影響を受けずに安定して物体を検出することができる。したがって、収容判定部１０７は、凸面鏡２２６の２つの端部に囲まれた範囲内の関数の凸の方向の変化によって、収容スペース２２４内の物品の有無を判定することができる。
【００３９】
図８は、収容スペース２２４内の物品の収容判定の具体的な例を示す図である。
図８（Ａ）は、収容スペース２２４に物品が収容されていないときに、曲線取得部１０３が推定した二次関数を示す図である。他方、図８（Ｂ）は、収容スペース２２４Ｂに物品が収容されているときに、曲線取得部１０３が推定した二次関数を示す図である。
このように、図８（Ａ）に示す二次関数は、Ａ、Ｂ及びＣの何れの領域も、極値が極大値である。他方、図８（Ｂ）に示す二次関数は、Ａ及びＣの領域の極値は極大値を示すが、Ｂの領域の極値は極小値を示す。つまり、本実施形態に係る物品管理システム１によれば、図８に示す例から、収容スペース２２４Ｂに物品が収容されていることを特定することができる。
このように、本実施形態によれば、物品管理システム１は、簡易な計算に基づいて収容スペース内に物品が存在するか否かを判定することができる。また、本実施形態によれば、物品管理システム１は、複数の凸面鏡２２６の像が画像内で重なって写っていたとしても、各凸面鏡２２６の像の範囲を特定し、またいずれの収容スペース２２４に物品が収容されているかを判定することができる。つまり、本実施形態によれば、物品管理システム１は、撮像部１１０を１つだけ備えることで、複数の収容スペース２２４における物品の収容の有無を判定することができる。
【００４０】
《第２の実施形態》
次に、第２の実施形態について説明する。
第２の実施形態に係る物品管理システム１の収容ケース２００は、遮光性が高い白色の樹脂によって形成される。例えば、収容ケース２００の遮光性は、酸化チタンなどの光反射率の高い顔料を塗布することで向上させることができる。
第２の実施形態に係る物品管理システム１の携帯端末１００は、撮像部１１０、入出力部及びコンピュータに加え、さらに照明部を備える。照明部は、ＬＥＤなどの照明デバイスである。収容ケース２００を携帯端末１００に装着することで、照明部は収容ケース２００に形成された撮像用孔２２１を介して収容ケース２００内部を照らすことができる。また、照明部が発する光は、凸面鏡２２６及び反射鏡２３２によって収容ケース全体へ反射される。
【００４１】
本実施形態に係る収容ケース２００は、遮光性が高いため、外界からの透過光が収容ケース２００内に入りにくい。また、携帯端末１００の照明部が撮像用孔２２１を介して収容ケース２００内部を照らすため、撮像部１１０は、照明部の照明によって照らされた収容ケース２００の内部の画像を撮像することができる。したがって、本実施形態に係る物品管理システム１によれば、外光の強度や収容ケース２００への外光の入射角などの外光の影響によらず、一定の画質の画像に基づいて物品の収容の有無を判定することができる。
【００４２】
《第３の実施形態》
第１の実施形態では照明部による光の照射を行わずに物品の収容の有無を判定する場合について説明した。また第２の実施形態では照明部が照射する光によって照らされた画像を用いて物品の収容の有無を判定する場合ついて説明した。
本実施形態に係る物品管理システム１は、撮像された画像の明度に応じて照明部による光の照射の有無を切り替えて物品の収容の有無を判定する場合について説明する。なお、本実施形態に係る物品管理システム１の収容ケース２００は、光を透過する白色の樹脂で形成される。
【００４３】
具体的には、以下の手順により、物品の収容の有無を判定する。
まず、画像取得部１０１が、照明部による光の照射を行わなわずに撮像部１１０が撮像した画像を取得する。次に、前処理部１０２は、当該画像の明度の平均値を算出し、当該平均値が所定の閾値より低いか否かを判定する。明度の平均値が閾値以上である場合、当該画像に基づいて、上述したステップＳ１０１〜Ｓ１０８の処理を実行し、物品の収容の有無を判定する。明度の平均値が閾値より低い場合、画像取得部１０１は、照明部に光を照射させ、撮像部１１０に光が照射されたときの画像を撮像させる。そして、当該画像に基づいて、上述したステップＳ１０１〜Ｓ１０８の処理を実行し、物品の収容の有無を判定する。
【００４４】
このように、本実施形態に係る物品管理システム１によれば、必要に応じて照明部による光の照射の有無を決定する。これにより、収容判定を行う際の携帯端末１００の消費電力を最小限に抑えることができる。なお、本実施形態では、画像取得部１０１が画像の明度の平均値に基づいて照明の要否を判定したが、他のパラメータを用いて照明の要否を判定しても良い。例えば、画像のうち凸面鏡２２６の像が写る範囲の平均明度や、凸面鏡２２６の像が写る範囲の端部と中央部の明度差などによって、照明の要否を判定しても良い。
【００４５】
また、本実施形態では、照明部による光の照射を行ったときの画像か、照明部による光の照射を行わないときの画像かのいずれか一方を用いて物品の収容の有無を判定する場合について説明したが、これに限られない。例えば、照明部による光の照射を行ったときの画像と、照明部による光の照射を行わないときの画像とを平均化などにより合成し、当該合成画像について上述したステップＳ１０１〜Ｓ１０８の処理を実行し、物品の収容の有無を判定しても良い。
【００４６】
以上、図面を参照して一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、収容ケース２００が白色である場合について説明したが、これに限られない。例えば、他の実施形態では、収容ケース２００の基部２２０が遮光性を有する黒色の樹脂で形成されていても良い。この場合、収容ケース２００内に収容される物品が白色である場合、上述した実施形態より精度よく物品の収容の有無の判定を行うことができる。
なお、収容ケース２００が黒色の樹脂のように吸光率が高く反射率が低い素材で形成される場合、撮像部１１０が撮像した画像における凸面鏡２２６の像の曲面に沿った方向の輝度成分の変化を近似した二次関数の極値は、極小値となる。他方、当該収容ケース２００に物品が収容される場合、撮像部１１０が撮像した画像における凸面鏡２２６の像の曲面に沿った方向の輝度成分の変化を近似した二次関数の極値は、極大値となる。つまり、収容ケース２００の色が黒色である場合にも、収容ケース２００内の物品の有無によって、二次関数の極値の二階微分値の符号は異なるものとなる。
【００４７】
また、上述した第２、第３の実施形態では、照明部が収容ケース２００に形成された撮像用孔２２１を介して収容ケース２００内部を照らす場合について説明したが、これに限られない。例えば、他の実施形態では、照明部が照射した光を導光板などを介して収容スペース２２４の透明の仕切り板２２３と対向する壁面から照射させても良い。また、収容スペース２２４の透明の仕切り板２２３と対向する壁面に発光塗料を塗布しておき、撮影前に照明部が収容ケース２００内部を照らしておくことで、当該壁面から光を照射させても良い。つまり、撮像部１１０は、照明部が照射した光の反射光に限られず、照明部が照射した光の透過光を撮像しても良い。また、上述した方法によって得られた様々な光の照射により得られる各画像に基づいて物品の収容の有無を判定することで、認識精度を向上することが出来る。
【００４８】
また、上述した実施形態では、収容判定処理を行う際、曲線取得部１０３が各範囲の輝度変化を二次関数で近似する場合について説明したが、これに限られない。他の実施形態では、範囲内に少なくとも１つの極値を有する他の関数で近似しても良い。なお、輝度変化を偶関数で近似する場合、当該偶関数の最高次の係数（例えば、四次関数であれば四次の項の係数）に基づいて凸の方向を特定する。また、本実施形態では、関数の最高次の係数に基づいて凸の方向を特定する場合について説明したが、これに限られない。例えば、他の実施形態では、関数を一階微分することで極値の座標を特定し、当該極値について関数の二階微分値を算出することで、極値が極大値であるか極小値であるかを判定し、これに基づいて凸の方向を特定しても良い。
【００４９】
また、上述した実施形態では、収容スペース２２４、フラップ及び凸面鏡２２６の数が３つである場合について説明したが、これに限られない。また、上述した実施形態では、収容スペース２２４が横一列に並べられる場合について説明したが、これに限られない。
【００５０】
また、上述した実施形態では、凸面鏡２２６を用いて収容スペース２２４の内部を映す場合について説明したが、これに限られない。例えば、他の実施形態では、凸面鏡２２６に代えて、凹面鏡や、球状の反射面を有する球面鏡などの他の曲面鏡を用いても良い。
【００５１】
また、上述した実施形態では、コンピュータが収容ケースの内部に存在する物品を検出する場合について説明したが、これに限られない。例えば、他の実施形態に係るコンピュータは、交差点に設置されるカーブミラーや店舗に設置される防犯用ミラーなどの曲面鏡を撮像した画像を用いて、当該曲面鏡が映すスペースに人や物が存在するか否かを判定しても良い。
【００５２】
また、上述した実施形態では、プログラムが補助記憶装置に記録されている場合について説明したが、これに限られない。例えば、他の実施形態では、インタフェースを介して接続される半導体メモリ等にプログラムが格納されても良い。また、このプログラムが通信回線によってコンピュータに配信される場合、配信を受けたコンピュータが当該プログラムを主記憶装置に展開し、上記処理を実行しても良い。
【００５３】
また、当該プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、当該プログラムは、前述した機能を補助記憶装置に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であっても良い。
【００５４】
また、当該プログラムは、ＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）などの集積回路にハードウェア記述言語により記録されたものであっても良い。この場合、コンピュータは画像処理を行わず、当該集積回路からの画像処理結果を受けることで、収容の判定を行うことができる。
【符号の説明】
【００５５】
１…物品管理システム  １００…携帯端末  １０１…画像取得部  １０２…前処理部  １０３…曲線取得部  １０４…範囲特定部  １０５…極値取得部  １０６…非収容状態記憶部  １０７…収容判定部  １０８…設定記憶部  １１０…撮像部  ２００…収容ケース  ２１０…装着部  ２２０…基部  ２２１…撮像用孔  ２２２…光路確保スペース  ２２３…仕切り板  ２２４…収容スペース  ２２５…壁面  ２２６…凸面鏡  ２２７…凹面鏡  ２３０…蓋部  ２３１…フラップ部  ２３２…平面鏡
【図２】
2015222240.tif 000003
【図３】
2015222240.tif 000004
【図４】
2015222240.tif 000005
【図７】
2015222240.tif 000006
【図８】
2015222240.tif 000007
【図１】
2015222240.tif 000008
【図５】
2015222240.tif 000009
【図６】
2015222240.tif 000010