(57)【要約】      （修正有）【課題】衣類の種別をより精度よく判定することのできる衣類種別判定装置を提供する。【解決手段】衣類種別判定装置３は、衣類Ｃを撮像部２で撮像して得られた画像から特徴量を算出する特徴量算出部３３と、衣類仮想モデルを用いて予め作成された複数の輪郭パターンの中から特徴量に応じて輪郭パターンを抽出する輪郭パターン抽出部３４と、輪郭パターン抽出部により抽出された輪郭パターンを用いて種類別画像データを作成する種類別画像データ作成部３５と、撮像部２により撮像された画像から衣類Ｃの輪郭線データを取得する輪郭線データ取得部３６と、種類別画像データ作成部３５により作成された種類別画像データと輪郭線データ取得部３６により取得された輪郭線データとの一致度を算出する一致度算出部３７と、一致度算出部３７により算出された一致度が最も高い種類別画像データに対応する種別を上記衣類Ｃの種別と判定する判定部３８とを備える。【選択図】図１
2017130003.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも二点で支持された衣類を撮像することにより得られた画像から特徴量を算出する特徴量算出手段と、
衣類仮想モデルを用いて予め作成された複数の輪郭パターンの中から前記特徴量に応じて前記輪郭パターンを抽出する輪郭パターン抽出手段と、
前記輪郭パターン抽出手段により抽出された前記輪郭パターンを用いて種類別画像データを作成する種類別画像データ作成手段と、
前記撮像することにより得られた画像から前記衣類の輪郭線データを取得する輪郭線データ取得手段と、
前記種類別画像データ作成手段により作成された前記種類別画像データと前記輪郭線データ取得手段により取得された前記輪郭線データとの一致度を算出する一致度算出手段と、
前記一致度算出手段により算出された前記一致度が最も高い前記種類別画像データに対応する種別を前記衣類の種別と判定する判定手段とを備えた衣類種別判定装置。
【請求項２】
前記衣類を支持する支持手段をさらに備え、前記支持手段は、
ロボットアームと、
前記ロボットアームにより観測対象となる前記衣類を予め定められた手順により支持させるロボットアーム制御部とを含む請求項１に記載の衣類種別判定装置。
【請求項３】
前記特徴量は、
前記画像の中で前記衣類が被写体とされている領域の高さの関数である第１の特徴量と、
前記画像の中で前記衣類が被写体とされている領域の最大幅の関数である第２の特徴量とを含む請求項１に記載の衣類種別判定装置。
【請求項４】
前記種類別画像データ作成手段は、前記輪郭パターンで囲まれた画像領域を平滑化することにより前記種類別画像データを作成する請求項１に記載の衣類種別判定装置。
【請求項５】
観測対象となる衣類を予め定められた手順により少なくとも二点で支持する第１のステップと、
前記第１のステップにおいて支持された前記衣類を撮像し、得られた画像から特徴量を算出する第２のステップと、
衣類仮想モデルを用いて予め作成された複数の輪郭パターンの中から前記特徴量に応じて前記輪郭パターンを抽出する第３のステップと、
前記第３のステップで抽出された前記輪郭パターンを用いて種類別画像データを作成する第４のステップと、
前記第２のステップで得られた前記画像から前記衣類の輪郭線データを取得する第５のステップと、
前記第４のステップで作成された前記種類別画像データと前記第５のステップで取得された前記輪郭線データとの一致度を算出する第６のステップと、
前記第６のステップで算出された前記一致度が最も高い前記種類別画像データに対応する種別を前記衣類の種別と判定する第７のステップとを有する衣類種別判定方法。
【請求項６】
前記予め定められた手順は、
前記衣類の任意の箇所を把持する把持ステップと、
前記衣類の中で前記把持ステップにより最下点となった箇所を第１の支持点として支持する第１の支持ステップと、
前記第１の支持点を通る鉛直軸を回転軸として前記衣類を回転させ、前記鉛直軸からの距離が極大となる点のうち前記第１の支持点に最も近い点を第２の支持点として支持する第２の支持ステップとを有する請求項５に記載の衣類種別判定方法。
【請求項７】
前記特徴量は、
前記画像の中で前記衣類が被写体とされている領域の高さの関数である第１の特徴量と、
前記画像の中で前記衣類が被写体とされている領域の最大幅の関数である第２の特徴量とを含む請求項５に記載の衣類種別判定方法。
【請求項８】
前記輪郭パターンは、前記衣類仮想モデルの二次元輪郭線を、前記第１のステップにおける支持点間の距離を揃えて正規化した上で重畳させることよって作成する請求項５に記載の衣類種別判定方法。
【請求項９】
前記種類別画像データは、前記輪郭パターンで囲まれた画像領域を平滑化することにより作成される請求項５に記載の衣類種別判定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、衣類の種別を判定するための装置及び方法に関するものである。
【背景技術】
【０００２】
これまで、ロボットに衣類の種別を判定させる方法について研究が進められてきているが、衣類は変形により形が変わるという第１の問題があり、また、同じ種別であってもそのデザインには多様性があるという第２の問題があるため、種別の判定は難しいものとなっていた。
【０００３】
このような状況において、本願に係る発明者は以下の非特許文献１を発表し、上記第１の問題に対しては、ロボットが衣類を持ち上げて把持する際の手順を工夫することで、種別毎に少数の限定された形状に遷移させるという解決策が示された。
【０００４】
また、同文献において、上記第２の問題に対しては、各種別をある幅を持った「らしさ画像」(likelihood image)で表現することによって、種別毎に上記デザインの相違を網羅する統一的な画像を生成するという解決策が示された。なお、これまで、本願に係る発明者らによって、衣類のつるされた状態を推定する技術につき、以下の特許文献１及び２が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−５３６１号公報
【特許文献２】特開２０１０−６１４３１号公報
【非特許文献】
【０００６】
【非特許文献１】Jingyu Hu, Yasuyo Kita, “Classification of the category of clothing item after bringing it into limited shapes”, Proc. of IEEE-RAS 15th International Conference on Humanoid Robots (Humanoids 2015) 2015.11.3-5, pp.588-594
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかし、上記非特許文献１に示された技術においては、衣類の種別によっては、らしさ画像の持つ上記幅が広くなり、他の衣類まで包含してしまうため、その結果として衣類の種別を誤判定してしまうという問題がある。
【０００８】
本発明は、このような問題を解決するためになされたもので、衣類の種別をより精度よく判定する衣類種別判定装置と衣類種別判定方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明は、少なくとも二点で支持された衣類を撮像することにより得られた画像から特徴量を算出する特徴量算出手段と、衣類仮想モデルを用いて予め作成された複数の輪郭パターンの中から特徴量に応じて輪郭パターンを抽出する輪郭パターン抽出手段と、輪郭パターン抽出手段により抽出された輪郭パターンを用いて種類別画像データを作成する種類別画像データ作成手段と、撮像することにより得られた画像から衣類の輪郭線データを取得する輪郭線データ取得手段と、種類別画像データ作成手段により作成された種類別画像データと輪郭線データ取得手段により取得された輪郭線データとの一致度を算出する一致度算出手段と、一致度算出手段により算出された一致度が最も高い種類別画像データに対応する種別を衣類の種別と判定する判定手段とを備えた衣類種別判定装置を提供する。
【００１０】
また、上記課題を解決するため、本発明は、観測対象となる衣類を予め定められた手順により少なくとも二点で支持する第１のステップと、第１のステップにおいて支持された衣類を撮像し、得られた画像から特徴量を算出する第２のステップと、衣類仮想モデルを用いて予め作成された複数の輪郭パターンの中から特徴量に応じて輪郭パターンを抽出する第３のステップと、第３のステップで抽出された輪郭パターンを用いて種類別画像データを作成する第４のステップと、第２のステップで得られた画像から衣類の輪郭線データを取得する第５のステップと、第４のステップで作成された種類別画像データと第５のステップで取得された輪郭線データとの一致度を算出する第６のステップと、第６のステップで算出された一致度が最も高い種類別画像データに対応する種別を衣類の種別と判定する第７のステップとを有する衣類種別判定方法を提供する。
【発明の効果】
【００１１】
本発明によれば、衣類の種別をより精度よく判定する衣類種別判定装置と衣類種別判定方法を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態に係る衣類種別判定装置３を含む衣類種別判定システムの構成を示すブロック図である。
【図２】図１に示された衣類種別判定システムの動作の概要を説明するためのフローチャートである。
【図３】図１に示された衣類種別判定システムの動作を具体的に説明するためのフローチャートである。
【図４】図３のステップＳ１における特定形状の発現方法を具体的に説明するための図である。
【図５】図３のステップＳ３ａにおける特徴量の算出及びステップＳ３ｂにおける二次元輪郭線の抽出動作を説明するための図である。
【図６】図３のステップＳ１１における特定形状のシミュレーションから同図のステップＳ１２における基準輪郭パターンの作成を経て、同図のステップＳ４におけるらしさ画像を作成するまでの過程を説明するための図である。
【図７】観測対象とする衣類がズボンの場合に作成されるらしさ画像Ｌ２の作成過程の概要を示す図である。
【図８】図３のステップＳ５における一致度Ｒの算出動作を説明するための図である。
【発明を実施するための形態】
【００１３】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相当部分を示す。
図１は、本発明の実施の形態に係る衣類種別判定装置３を含む衣類種別判定システムの構成を示すブロック図である。図１に示されるように、衣類種別判定システムは、観測対象となる衣類Ｃを支持する支持部１と、衣類Ｃを撮像する撮像部２と、支持部１及び撮像部２を制御する衣類種別判定装置３とを備える。
【００１４】
ここで、支持部１は衣類Ｃを点Ｐ１で支持するロボットアーム１０１と、点Ｐ２で支持するロボットアーム１０２とを含む。なお、図１においては、衣類Ｃがズボンであって、ロボットアーム１０１，１０２による支持により、後述する特定形状が発現されている状態が図示されている。
【００１５】
また、撮像部２は衣類Ｃを撮像するためのカメラにより構成される。また、衣類種別判定装置３は、バス４と、撮像部２及びバス４に接続された記憶部１０と、バス４に接続された表示部２０と、バス４に接続され支持部１及び撮像部２を制御する制御部３０とを含む。
【００１６】
さらに、制御部３０は、ロボットアーム制御部３１と、撮像制御部３２と、特徴量算出部３３と、輪郭パターン抽出部３４と、種類別画像データ作成部３５と、輪郭線データ取得部３６と、一致度算出部３７と、判定部３８とを含む。
【００１７】
以下において、図２を参照して、上記のような構成を有する衣類種別判定システムの動作の概要を説明する。
【００１８】
ステップＳ１において、支持部１は観測対象となる衣類を予め定められた手順により少なくとも二点で支持する。
【００１９】
次に、ステップＳ２において、ステップＳ１で支持された衣類を撮像部２で撮像し、制御部３０は得られた画像から特徴量を算出する。
【００２０】
次に、ステップＳ３において、制御部３０は衣類仮想モデルを用いて予め作成された複数の輪郭パターンの中から特徴量に応じて輪郭パターンを抽出し、ステップＳ４において、ステップＳ３で抽出された輪郭パターンを用いて種類別画像データを作成する。
【００２１】
次に、ステップＳ５において、制御部３０はステップＳ２で得られた画像から衣類の輪郭線データを取得し、ステップＳ６において、ステップＳ４で作成された種類別画像データとステップＳ５で取得された輪郭線データとの一致度を算出する。
【００２２】
そして、ステップＳ７において、制御部３０はステップＳ６で算出された一致度が最も高い種類別画像データに対応する種別を観測対象衣類の種別と判定する。なお、「種別」とは、シャツ、ズボン、スカート、タオルの別に留まらず、長袖シャツと半袖シャツ、及び長ズボンと半ズボンの別を意味する。
【００２３】
以下において、図３を参照して、図１に示された衣類種別判定システムの動作を具体的に説明する。
【００２４】
ステップＳ１において、ロボットアーム制御部３１は、双腕のロボットアーム１０１，１０２を制御することにより、予め定められた手順で観測対象となる衣類Ｃを机上から持ち上げ、少数の限定された特定形状を発現させる。
【００２５】
ここで、図４を参照しつつ、かかる特定形状の発現方法を具体的に説明する。なお、図４においては、観測対象とされる衣類が長袖シャツの場合が図示されている。
【００２６】
図４に示されるように、衣類Ｃ１０が無造作に折り畳まれて机上に置かれている場合、ロボットアーム制御部３１は、衣類Ｃ１０の任意の点Ｐａをロボットアームに把持させる。次に、ロボットアーム制御部３１は、ロボットアームが点Ｐａを把持した状態における衣類Ｃ２０の最下点Ｐｂと、点Ｐａを通る鉛直軸周りに衣類Ｃ２０を回転させたときに凸点となる点のうち把持している点Ｐａに最も近接した点Ｐｃとを、それぞれロボットアーム１０１，１０２に支持させる。このようにして予め定められた手順により広げられた状態における衣類Ｃ３０の輪郭が、上記の特定形状に該当することになる。
【００２７】
次に、ステップＳ２において、撮像制御部３２は、ステップＳ１において支持された衣類Ｃを撮像部２に撮像させ、衣類種別判定装置３に三次元観測データを取得させる。このとき、記憶部１０が観測対象である衣類Ｃの領域画像を記憶することによって、本領域画像が抽出される。
【００２８】
次に、ステップＳ３ａにおいて、特徴量算出部３３は特徴量Ｋ１，Ｋ２を算出する。ここで、特徴量Ｋ１，Ｋ２はそれぞれ次式で示される比をとることにより算出される。
【００２９】
【数１】
2017130003.tif 000003
【００３０】
なお、上式において、ＬＡは、図５に示されるように、観測対象となる衣類（ここでは例としてズボンが示されている）を点Ｐ１及び点Ｐ２の二点で支持して特定形状とした場合における点Ｐ１と点Ｐ２間の距離を示す。また、図５に示されるように、それぞれ、ＬＢはステップＳ２で抽出された画像領域の高さ、ＬＣは当該画像領域の最大幅を示す。
【００３１】
また、ステップＳ３ｂにおいては、図５に示されるように、輪郭線データ取得部３６が、抽出された上記画像領域から二次元の輪郭線ＣＤを抽出する。
【００３２】
一方、予め輪郭パターン抽出部３４は、ステップＳ１１において、衣類の種別毎に様々なデザインや素材の衣類仮想モデルを用いて上記特定形状をシミュレーションし、ステップＳ１２において、上記シミュレーションの結果として算出された三次元形状の距離画像上での二次元輪郭線を抽出して両手把持点若しくは両支持点間の距離を用いて大きさを正規化することによって、衣類の種別毎の基準輪郭パターンを作成する。なお、上記のように、観測対象衣類の種別によっては特定形状が複数生じるため、そのような種別については同一種別について複数の基準輪郭パターンが作成されることになる。
【００３３】
ここで、輪郭パターン抽出部３４のステップＳ１１及びステップＳ１２における動作について、図６を参照しつつ具体的に説明する。
【００３４】
上記のように、輪郭パターン抽出部３４は衣類の種別毎に基準輪郭パターンを作成するが、図６においては、長袖シャツという種別を例として基準輪郭パターンＣＫを作成する方法が図示されている。
【００３５】
輪郭パターン抽出部３４は、長袖シャツという種別において様々なデザインや柔らかさ（素材）を持った複数の衣類仮想モデルＣａ０，Ｃｂ０，Ｃｃ０を作成し、各衣類仮想モデルについて三次元の距離画像として特定形状画像Ｃａ１，Ｃｂ１，Ｃｃ１をシミュレーションする。
【００３６】
そして、輪郭パターン抽出部３４は、各特定形状画像Ｃａ１，Ｃｂ１，Ｃｃ１についてそれぞれ二次元輪郭線Ｃａ２，Ｃｂ２，Ｃｃ２を抽出し、抽出された二次元輪郭線Ｃａ２，Ｃｂ２，Ｃｃ２の大きさを長袖シャツの上部における両手把持点若しくは両支持点間の距離で正規化して重畳させることによって、長袖シャツについての基準輪郭パターンＣＫを作成する。
【００３７】
ここで、図３におけるステップＳ４において、輪郭パターン抽出部３４は、ステップＳ１２で予め作成された基準輪郭パターンＣＫを構成要素とする母集団の中から、特徴量Ｋ１，Ｋ２に応じて基準輪郭パターンＣＫを選択し、選択した基準輪郭パターンＣＫの二次元輪郭線を抽出する。そして、輪郭パターン抽出部３４は、このような方法で抽出した二次元輪郭線のみを用いて、観測対象衣類に応じた基準輪郭パターンを種別毎に作成する。また、種類別画像データ作成部３５は、このようにして作成された基準輪郭パターンを元にらしさ画像を作成し、図６には長袖シャツのらしさ画像Ｌ１が例示される。
【００３８】
ここで、「特徴量Ｋ１，Ｋ２に応じて基準輪郭パターンを選択」とは、特徴量Ｋ１，Ｋ２が完全に一致する基準輪郭パターンを選択するだけでなく、同一衣類であっても支持の仕方で上記高さＬＢ及び最大幅ＬＣが多少変動し得ることを考慮して、特徴量Ｋ１，Ｋ２がそれぞれ幅（Ｋ１±α１）、幅（Ｋ２±α２）内に入る基準輪郭パターンも選択することを意味する。ここで、α１とα２は定数であって、衣類の種別毎に予め定められる。
【００３９】
また、種類別画像データ作成部３５は、基準輪郭パターンで囲まれた部分を画素値１、それ以外の部分を画素値０とした上で、ガウスフィルタを施して平滑化することによりらしさ画像Ｌ１を作成する。
【００４０】
なお、上記のように、図６においては、長袖シャツという種別について、らしさ画像Ｌ１が作成される過程が示されているが、他の種別についても同様な方法により種別毎のらしさ画像を作成することができ、図７においては、長ズボンという種別について、らしさ画像Ｌ２が作成される過程の概要が示されている。
【００４１】
次に、一致度算出部３７は、ステップＳ５において、ステップＳ３ｂで抽出された二次元の輪郭線ＣＤと各らしさ画像との一致度Ｒを算出する。ここで、一致度Ｒは次式により算出される。
【００４２】
【数２】
2017130003.tif 000004
【００４３】
上式において、それぞれＮは輪郭線ＣＤの総画素数、ｎは輪郭線ＣＤを構成する各画素点を意味し、ｎは１からＮの値をとる。またそれぞれ、(in,jn)はｎ番目の画素点の座標、L(in,jn)はｎ番目の画素点における画素値（０〜１間の確率値を持つ）を意味する。
【００４４】
ここで、画素値L(in,jn)は、図８（ａ）及び図８（ｂ）に示されるように、輪郭線ＣＤを各らしさ画像Ｌ１，Ｌ２と重ね合わせたときに、輪郭線ＣＤを構成する各画素について、らしさ画像Ｌ１，Ｌ２と完全に重なる場合には１、完全に重ならない場合には０、それらの中間状態、すなわち、らしさ画像Ｌ１，Ｌ２の周縁部分に位置する場合にはその重なりの度合いに応じて０から１の間の値をとる。
【００４５】
これらより、算出された一致度Ｒは輪郭線ＣＤを構成する各画素が有する画素値の平均値を意味するため、本平均値が大きい程、輪郭線ＣＤとらしさ画像Ｌ１，Ｌ２とは全体として重なり具合が大きいことになる。
【００４６】
図８においては、図５に示される長ズボンについての輪郭線ＣＤが、それぞれ図８（ａ）では図７に示された長ズボンのらしさ画像Ｌ２と、図８（ｂ）では図６に示された長袖シャツのらしさ画像Ｌ１と重ね合わされた状態が示されているが、図８（ａ）の方が全体として重なりの程度が大きいため、上記の［数２］式により算出される一致度Ｒは図８（ａ）の方が図８（ｂ）より大きな値となる。
【００４７】
そして、判定部３８は、ステップＳ６において、算出された一致度Ｒが最大となるらしさ画像に対応する種別を、観測対象とした衣類の種別として判定する。従って、判定部３８は、図８の場合には、観測対象とした衣類の種別を長ズボンと判定する。なお、判定部３８は、この判定結果を表示部２０に表示させることもできる。
【００４８】
なお、図３に示されたステップＳ１１及びステップＳ１２における動作は、観測対象の種別判定において予め一度だけ実行し、得られた結果を全観測において繰り返し利用すれば足り、観測毎に実行する必要はない。
【００４９】
また、本発明の実施の形態に係る上記の衣類種別判定装置３は、図１に示された制御部３０を、バス４に接続された中央演算処理装置(Central Processing Unit：ＣＰＵ)によって構成し、図２及び図３に示された手順をプログラミング言語で記したソフトウェアをかかるＣＰＵで実行させることによっても同じ機能を実現できる。
【００５０】
以上より、本発明の実施の形態に係る衣類種別判定装置３及び衣類種別判定装置３を含む上記衣類種別判定システムと、衣類種別判定方法によれば、衣類の各種別におけるらしさ画像が、観測されたデータに適応した二次元輪郭線だけを用いて作成されるため、双腕ロボット等が自律的に衣類を自動ハンドリングするための最初の段階として観測対象である衣類の種別を判定する機能を高精度化することができる。
【００５１】
そして、このような高精度化により、衣類の取り扱いの自動化を通じ、介護や家庭、また第三次産業など日常品を扱う局面でも役に立つ自律ロボットの実現を図ることができる。
【符号の説明】
【００５２】
１  支持部
２  撮像部
３  衣類種別判定装置
３１  ロボットアーム制御部
３２  撮像制御部
３３  特徴量算出部
３４  輪郭パターン抽出部
３５  種類別画像データ作成部
３６  輪郭線データ取得部
３７  一致度算出部
３８  判定部
１０１，１０２  ロボットアーム
ＬＡ  支持点間距離
ＬＢ  高さ
ＬＣ  最大幅。
【図１】
2017130003.tif 000005
【図２】
2017130003.tif 000006
【図３】
2017130003.tif 000007
【図４】
2017130003.tif 000008
【図５】
2017130003.tif 000009
【図６】
2017130003.tif 000010
【図７】
2017130003.tif 000011
【図８】
2017130003.tif 000012