(57)【要約】【課題】形状が変化する対象物の状態を推定し得る装置及び方法を提供する。【解決手段】  対象物の異なる場所を把持することにより得られる対象物の種々の形状を示す複数の３次元モデルデータから、縦軸が鉛直方向の位置、横軸が対象物の表面に沿った位置をそれぞれ示す展開座標系において、３次元モデルデータを構成する各点の位置情報をマッピングした複数の展開モデル画像を生成すると共に、把持された対象物を撮像することにより得られた３次元データから、展開座標系において、３次元データを構成する各点の位置情報をマッピングした展開画像を生成し、生成された展開画像を複数の展開モデル画像と照合し、最も一致する展開モデル画像を特定することによって、把持された対象物の状態を推定する状態推定装置及び方法を提供する。【選択図】  図３
2015072608.tif 000002
【特許請求の範囲】
【請求項１】
対象物の異なる場所を把持することにより得られる前記対象物の種々の形状を示す複数の３次元モデルデータから、縦軸が鉛直方向の位置、横軸が前記対象物の表面に沿った位置をそれぞれ示す展開座標系において、前記３次元モデルデータを構成する各点の位置情報をマッピングした複数の展開モデル画像を生成する展開モデル画像生成手段と、
把持された対象物を撮像することにより得られた３次元データから、前記展開座標系において、前記３次元データを構成する各点の位置情報をマッピングした展開画像を生成する展開画像生成手段と、
前記展開画像生成手段により生成された前記展開画像を前記展開モデル画像生成手段により生成された複数の前記展開モデル画像と照合し、最も一致する前記展開モデル画像を特定することによって、把持された前記対象物の状態を推定する推定手段とを備えた状態推定装置。
【請求項２】
前記展開モデル画像生成手段は、各々の前記３次元モデルデータから、縦軸が鉛直方向の位置、横軸が水平面上における基準軸からの回転角をそれぞれ示す円筒座標系において、前記３次元モデルデータを構成する各点の位置情報をマッピングした中間モデル画像を生成した上で、前記中間モデル画像から前記展開モデル画像を生成し、
前記展開画像生成手段は、各々の前記３次元画像から、縦軸が鉛直方向の位置、横軸が水平面上における基準軸からの回転角をそれぞれ示す円筒座標系において、前記３次元画像を構成する各点の位置情報をマッピングした中間画像を生成した上で、前記中間画像から前記展開画像を生成する請求項１に記載の状態推定装置。
【請求項３】
前記推定手段は、さらに、特定された前記展開モデル画像と前記展開画像との対応関係に基いて前記展開画像に含まれた前記位置情報に応じて前記３次元モデルデータ又は前記中間モデル画像を修正することによって、前記対象物の状態を再現する３次元画像を生成する請求項１又は２に記載の状態推定装置。
【請求項４】
対象物の異なる場所を把持することにより得られる前記対象物の種々の形状を示す複数の３次元モデルデータから、縦軸が鉛直方向の位置、横軸が前記対象物の表面に沿った位置をそれぞれ示す展開座標系において、前記３次元モデルデータを構成する各点の位置情報をマッピングした複数の展開モデル画像を生成する第一のステップと、
把持された対象物を撮像することにより得られた３次元データから、前記展開座標系において、前記３次元データを構成する各点の位置情報をマッピングした展開画像を生成する第二のステップと、
前記第二のステップで生成された前記展開画像を前記第一のステップで生成された複数の前記展開モデル画像と照合し、最も一致する前記展開モデル画像を特定することによって、把持された前記対象物の状態を推定する第三のステップとを有する状態推定方法。
【請求項５】
前記第一のステップでは、各々の前記３次元モデルデータから、縦軸が鉛直方向の位置、横軸が水平面上における基準軸からの回転角をそれぞれ示す円筒座標系において、前記３次元モデルデータを構成する各点の位置情報をマッピングした中間モデル画像を生成した上で、前記中間モデル画像から前記展開モデル画像を生成し、
前記第二のステップでは、各々の前記３次元データから、縦軸が鉛直方向の位置、横軸が水平面上における基準軸からの回転角をそれぞれ示す円筒座標系において、前記３次元データを構成する各点の位置情報をマッピングした中間画像を生成した上で、前記中間画像から前記展開画像を生成する請求項４に記載の状態推定方法。
【請求項６】
前記第三のステップにおいて特定された前記展開モデル画像と前記展開画像との対応関係に基いて、前記展開画像に含まれた前記位置情報に応じて前記３次元モデルデータ又は前記中間モデル画像を修正することにより、前記対象物の状態を再現する３次元画像を生成する第四のステップをさらに有する請求項４又は５に記載の状態推定方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術を用いて同一物体でもその形状が変化しうる対象物体の状態を推定する技術に関するものである。
【背景技術】
【０００２】
同一物体でもその形状が変化しうる対象物体の状態の推定は、例えば、ロボットのような機械システムが、衣類のような柔軟物を自律的に扱うために必要な機能である。こうした柔軟物の視覚的な認識に関しては、特許文献１にあるような、その表面を計測する技術は開示されているが、異なる形状にある同一物体をその形状差に関わらず、同一特徴量で表す技術の開示は見当たらない。
【０００３】
一方、特許文献２には、表情の変化などによる顔形状の違いに関わらず、共通の標準モデルとの対応を利用して顔の２次元情報（テクスチャ情報）を用いた個人認証技術が開示されている。
【０００４】
具体的には、特許文献１の段落［０１００］等に記載されているように、同一人物の顔に関する二つのモデルにおいてそれらの姿勢や表情が互いに異なるときに、上記テクスチャ情報を正規化することによって、上記姿勢や表情の相違によらず、両モデルを構成するパッチの対応関係等を正確に得る技術が開示されている。ただし、標準モデルとの対応には、目・鼻・口など他の部位と識別が容易な特徴点を用いる必要があり、そうした特徴点が存在しない対象物体には適用できない。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００４−３４８６５９号公報
【特許文献２】特開２００７−５８４０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
近年、ロボットアームに関する技術が進展しているが、それに伴い、当該ロボットの動作を制御する前提として、当該ロボットアームが対象物をどのような状態で把持しているのかを特定する必要も生じている。
【０００７】
ここで、上記の特定を実現するためには、例えば対象物が一点で把持されている場合には、上記対象物が把持された状態を撮像した画像と予め作成したモデル画像とを比較する手法が考えられるが、特に当該対象物が衣類や布等といった自在に形状が変わる不定形な物で特徴点も有しない場合には、上記のような特徴点を利用した技術を活用することも困難であるという問題がある。
【０００８】
そこで、本発明は、かかる問題を解決するためになされたもので、把持された対象物の状態を正確に推定し得る装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するために、本発明は、対象物の異なる場所を把持することにより得られる上記対象物の種々の形状を示す複数の３次元モデルデータから、縦軸が鉛直方向の位置、横軸が上記対象物の表面に沿った位置をそれぞれ示す展開座標系において、上記３次元モデルデータを構成する各点の位置情報をマッピングした複数の展開モデル画像を生成すると共に、把持された対象物を撮像することにより得られた３次元データから、上記展開座標系において、上記３次元データを構成する各点の位置情報をマッピングした展開画像を生成し、生成された展開画像を複数の展開モデル画像と照合して最も一致する展開モデル画像を特定することによって、把持された対象物の状態を推定する状態推定手段を提供するものである。
【発明の効果】
【００１０】
本発明によれば、把持された対象物の状態を正確に推定することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施の形態に係る状態推定装置１の構成を示すブロック図である。
【図２】図１に示された撮像手段１０の構成例を示す図である。
【図３】図１に示された状態推定装置１の動作を示すフローチャートである。
【図４】図３に示されたステップＳ１からステップＳ３までの動作を説明するための図である。
【図５】円筒座標系モデル画像データを作成する際に用いられる座標系を示す図である。
【図６】図５に示された円筒座標系を用いた画像データＩｃの作成法を説明する図である。
【図７】展開モデル画像及び展開画像を作成する際に用いられる座標系を説明するための図である。
【図８】図７に示された座標系を用いた画像Ｉｅの作成法を説明する図である。
【図９】図３に示されたステップＳ２１からステップＳ２３までの動作を説明するための図である。
【図１０】図３に示された動作を実現するための他の状態推定装置３０の構成を示す図である。
【発明を実施するための形態】
【００１２】
以下において、本発明に係る実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一又は相等部分を示す。
【００１３】
図１は、本発明の実施の形態に係る状態推定装置１の構成を示すブロック図である。図１に示されるように、状態推定装置１は、３次元モデルデータ生成部２と展開モデル画像生成部３、３次元入力データ生成部４、展開画像生成部５、及び推定部６を含む。
【００１４】
ここで、３次元モデルデータ生成部２は展開モデル画像生成部３に接続され、３次元入力データ生成部４は展開画像生成部５に接続され、展開モデル画像生成部３及び展開画像生成部５は共に推定部６に接続される。なお、３次元入力データ生成部４は状態推定装置１の外部に位置するカメラ等の撮像手段１０に接続される。
【００１５】
図２は、図１に示された撮像手段１０の構成例を示す図である。図２に示されるように、図１に示された撮像手段１０は、例えば、被写体である服５１に対して正面（０度）に配置されたカメラ１４と、被写体５１に向かって左右に４５度回転した位置（±４５度）にそれぞれ配置された二つのカメラ１３，１５とを合わせた合計３つのカメラを備えた構成とすることができる。
【００１６】
ここで、撮像手段１０は、上記のように３台のカメラで構成する替わりに１台のカメラによっても構成でき、この場合には当該１台のカメラの前で、把持された被写体５１を鉛直軸周りに回転させ、１台のカメラで被写体５１を異なる方向から撮像することによって、上記３台のカメラで撮像した場合と同じ効果を得ることができる。
【００１７】
なお、上記服５１は不定形な対象物であり、図２にはかかる服５１がロボットアーム５０にある点で把持されている状態が示されている。
【００１８】
図３は、図１に示された状態推定装置１の動作を示すフローチャートである。以下において、状態推定装置１の動作を図３に示されたフローチャートを用いて詳しく説明する。
【００１９】
ステップＳ１において、３次元モデルデータ生成部２は３次元モデルデータを作成する。ここで、服５１を表すための３次元モデルデータは、図４の（ａ）に記されたモデルＭ０を用いて作成される。
【００２０】
モデルＭ０は、服５１の平面形状を表したモデルであるが、格子点で表された複数のノードと、隣接する格子点を結ぶ直線で表されたシミュレーション上における複数のバネとから構成され、これらのバネのバネ係数を任意に設定することにより服５１の伸縮性や折れ曲がりやすさが表現されるものである。
【００２１】
なお、各々の格子点及びバネに固有の番号を付すことによって、これらは互いに峻別され、図４の（ａ）には例として服５１の外縁を構成する各バネに付された０から３９の番号が記されている。
【００２２】
上記のようなノードとバネからなるモデルＭ０において、図４の（ａ）に示された黒丸の各点でそれぞれ把持し鉛直方向に持ち上げたと仮定した場合に、モデルＭ０がどのように変形するかをシミュレーションすることにより、例えば図４の（ｂ）から（ｅ）に示された３次元モデルデータＭ１〜Ｍ４に示されるように、複数の３次元モデルデータを生成する。
【００２３】
次に、ステップＳ２では、展開モデル画像生成部３が、ステップＳ１において作成された３次元モデルデータから円筒座標系モデル画像データを作成する。具体的には、例えば図４の（ｂ）から（ｅ）に示されるように、各３次元モデルデータＭ１〜Ｍ４から、それぞれ円筒座標系モデル画像データＭ１ｃ〜Ｍ４ｃが作成される。以下においては、上記円筒座標系モデル画像データの作成方法について説明する。
【００２４】
図５は、円筒座標系モデル画像データを作成する際に用いられる座標系を示す。図５に示されるように、本座標系は、ｘｙ平面を底面とし、ｚ軸を高さとする円筒座標系であり、図５の（ｂ）には図５の（ａ）に示された円筒の底面が示されている。
【００２５】
そしてかかる座標系においては、図５に示されるように、例えばｘｙｚ空間上に位置する点Ｐの位置は、上記円筒の底面をなす円の半径方向の長さｒ１と、中心角θ１と、高さｚ１とにより特定され、点Ｐの座標は（ｒ１、θ１、ｚ１）と表記される。
【００２６】
図６は、図５に示された円筒座標系を用いた画像データＩｃの作成法を説明する図である。上記のように、画像データＩｃは、ステップＳ１において作成された３次元モデルデータから作成されるものであるが、具体的には以下のような方法で作成される。
【００２７】
図６に示されるように、画像データＩｃは縦軸を上記の高さｚ、横軸を中心角θとした場合の２次元画像として作成される。このとき、この縦軸及び横軸がなす平面は、図６に示されるように縦方向及び横方向に一定間隔で区分され、その結果当該平面は格子状に分割されて複数の領域に細分化され、各領域には上記半径方向の長さ（奥行き）情報が記録される。なお、上記のように細分化された領域は、図５に示された円筒座標系においては、図５の（ａ）に示された格子状の各領域に対応するものである。
【００２８】
ここで、例えば上記点ＰがステップＳ１で作成された３次元モデルデータを構成する点であるとき、かかる点に対応して、図６に示されるｚ座標が点Ｐの高さｚ１で、θ座標が点Ｐの中心角θ１である領域Ｌ１に点Ｐの半径方向の長さｒ１が奥行き情報として記録されることにより、円筒座標系を用いた画像データＩｃが作成される。
【００２９】
次に、ステップＳ３では、展開モデル画像生成部３が、ステップＳ２において作成された円筒座標系モデル画像データから展開モデル画像を作成する。具体的には、例えば図４の（ｂ）から（ｅ）に示されるように、円筒座標系モデル画像データＭ１ｃ〜Ｍ４ｃから展開モデル画像Ｍ１ｅ〜Ｍ４ｅが作成される。以下においては、上記展開モデル画像の作成方法について説明する。
【００３０】
図７は、展開モデル画像を作成する際に用いられる座標系（以下、「測地座標系」という。）を説明するための図である。図７には上記ｘ軸及びｙ軸と中心角θも示されるが、測地座標系は、上記の高さｚと、対象物の表面に対応する円筒座標系モデル画像データＳに沿った長さ（以下、「測地距離」という。）ｋを座標軸とするものである。
【００３１】
ここで、図７に示されるように、円筒座標系モデル画像データＳ上の点Ｐi+1（ｉは０以上の整数）の測地距離ｋi+1は、円弧により近似される。
【００３２】
具体的には、最初に点Ｐiの半径方向の長さをｒiと点Ｐi+1の半径方向の長さｒi+1の平均値Ａｒを求める。このとき、点Ｐiの測地距離をｋi、点Ｐi+1の測地距離をｋi+1、点Ｐi+1と点Ｐiのなす中心角をｄθとすると、点Ｐi+1の測地距離ｋi+1は、点Ｐiの測地距離ｋiと、上記平均値Ａｒ及び中心角ｄθを用いて以下の［数１］式で近似される。
【数１】
2015072608.tif 000003
【００３３】
図８は、図７に示された測地座標系を用いた画像データＩｅの作成法を説明する図である。上記のように、画像データＩｅは、ステップＳ２において作成された円筒座標系モデル画像データから作成されるものであるが、具体的には以下のような方法で作成される。
【００３４】
図８に示されるように、画像データＩｅは縦軸を上記の高さｚ、横軸を測地距離ｋとした場合の２次元画像として作成される。このとき、この縦軸及び横軸がなす平面は、図８に示されるように縦方向及び横方向に一定間隔で区分され、その結果当該平面は格子状に分割されて複数の領域に細分化され、各領域には半径方向の長さｒと中心角θを示す情報（r、θ）を記録する。これにより、測地座標系上の各座標に対応する対象上の点の空間上の位置が記録されることになる。
【００３５】
ここで、例えば図７に示された上記点Ｐに対応して、図８に示されるｚ座標が点Ｐi+1の高さｚi+1で、ｋ座標がｋi+1である領域Ｌ２に点Ｐi+1の半径方向の長さｒi+1及び中心角θi+1を示す情報が記録されることにより、測地座標系を用いた画像データＩｅが作成される。
【００３６】
次に、ステップＳ２１で、３次元入力データ生成部４は撮像手段１０により取得された３次元入力データに基づいて、統合された３次元入力データを生成する。例えば、３次元入力データ生成部４は、図９に示されるように、図２に示された三つのカメラ１３〜１５により三方向から撮像された３次元入力データＩ１〜Ｉ３を合成することにより、統合された３次元入力データＴＩを生成する。
【００３７】
ここで、３次元入力データＩ１は、図２に示されたカメラ１３により撮像されたものであり、３次元入力データＩ２は、図２に示されたカメラ１４により撮像されたものであり、３次元入力データＩ３は、図２に示されたカメラ１５により撮像されたものである。
【００３８】
次に、ステップＳ２２において、展開画像生成部５は３次元入力データ生成部４により生成された３次元画像を、ステップＳ２で説明した方法と同じ方法を用いて円筒座標系モデル画像データ（図示していない）へ変換する。
【００３９】
次に、ステップＳ２３において、展開画像生成部５はステップＳ２２において生成された円筒座標系画像データから、ステップＳ３で説明した方法と同じ方法を用いて展開撮像画像を作成する。
【００４０】
ここで、例えば図９に示された３次元画像ＴＩからは、上記ステップＳ２２及びステップＳ２３の動作がなされることにより、展開撮像画像ＴＩｅが生成される。
【００４１】
次に、ステップＳ４において、ステップＳ２３において作成された展開撮像画像を、予めステップＳ３において作成された複数の展開モデル画像と照合し、最も一致する展開モデル画像を特定する。そして、特定された展開モデル画像に対応する３次元モデルデータが作成されたときの設定条件であるシミュレーション上における把持点を、実際の把持点と推定する。
【００４２】
具体的には、例えば、ステップＳ２３において作成された図９に示される展開撮像画像ＴＩｅを、予めステップＳ３において作成された図４に示される複数の展開モデル画像Ｍ１ｅ〜Ｍ４ｅと照合し、最も一致する展開モデル画像を特定する。そして、特定された展開モデル画像に対応する３次元モデルデータが作成されたときになされたシミュレーションにおいて把持点として選択された図４の（ａ）に示される黒丸を、実際に服５１を把持した点（図２参照）と推定する。
【００４３】
さらに、ステップＳ５において、ステップＳ４において得られた結果に応じて、ステップＳ１又はステップＳ２で作成したデータを修正することにより、対象物の形状を推定する。
【００４４】
具体的には、ステップＳ４において特定された展開モデル画像と展開撮像画像を比較することにより、ステップＳ１で得られた３次元モデルデータあるいはステップＳ２で得られた円筒座標系モデル画像データと展開撮像画像との間で対応点を明らかにすることができる。
【００４５】
そして、かかる対応点ごとに展開撮像画像が有する奥行き情報を反映させるよう３次元モデルデータあるいは円筒座標系モデル画像データを修正することにより、対象物の形状を再現する３次元画像を生成する。このようにして、把持された対象物の形状を再現する３次元画像が得られることにより、実際に把持されたときにおける対象物の形状がモデル上の各部位との対応がとれた状態で推定される。
【００４６】
また、さらに、上記の各部位を把持しようとしたときに、その部位が空間上のどの位置にどのような向きで存在するかについての情報を得ることができることになるため、かかる情報を用いることによって、把持のための機械的動作を自動的に実現することが可能となる。
【００４７】
以上が、図１に示された状態推定装置１の動作であるが、かかる動作は図３に示された手順を記述したプログラムを図１０に示されるハードウェア構成を持った状態推定装置３０で実行することによっても実現される。
【００４８】
図１０に示された状態推定装置３０は、共通バスに接続された操作部３１とＣＰＵ３２、記憶部３３、表示部３４、入力端子３５及び出力端子３６とを含む。
【００４９】
ここで、操作部３１はユーザーにより選択された状態推定装置３０の動作に応じた命令をＣＰＵ３２に供給する。また、ＣＰＵ３２は上記命令に応じて、記憶部３３に予め格納された上記プログラムを実行し、得られた画像データを記憶部３３に記憶させる。また、表示部３４は、ＣＰＵ３２により生成され、あるいは記憶部３３に記憶された画像データをモニタに表示させる。また、入力端子３５には撮像手段１０が接続され、撮像手段１０で撮像された画像データが入力端子３５を介して外部から状態推定装置３０に入力される。
【００５０】
また、出力端子３６には外部機器（図示していない）が接続され、出力端子３６を介してＣＰＵ３２で生成され、あるいは記憶部３３に記憶された画像データが状態推定装置３０の外部へ出力される。なお、図示していないが、ＣＰＵ３２で生成され、あるいは記憶部３３に記憶された画像データは、無線通信により外部へ出力することも考えられることはいうまでもない。
【００５１】
以上のように、本発明の実施の形態に係る状態推定装置１，３０及び状態推定方法によれば、例えば衣類や布等といった不定形で自在に形状が変わり特徴点も有しない物であっても、測地座標系を用いた展開画像を生成して相互に比較することにより、把持したときに生じ得るしなりや折れ曲がり等の違いによらず、把持した箇所（点）や把持した状態を正確に推定することができる。
【符号の説明】
【００５２】
１，３０  状態推定装置
２        ３次元モデルデータ生成部
３        展開モデル画像生成部
４        ３次元入力データ生成部
５        展開画像生成部
６        推定部
３２      ＣＰＵ
３３      記憶部
【図１】
2015072608.tif 000004
【図２】
2015072608.tif 000005
【図３】
2015072608.tif 000006
【図４】
2015072608.tif 000007
【図５】
2015072608.tif 000008
【図６】
2015072608.tif 000009
【図７】
2015072608.tif 000010
【図８】
2015072608.tif 000011
【図９】
2015072608.tif 000012
【図１０】
2015072608.tif 000013