(57)【要約】【課題】対象物体のうちの可動部位の自由度に関する情報を取得する。【解決手段】可動自由度推定装置１４の抽出部２２は、特定時刻における対象物体の３次元情報と、特定時刻とは異なる時刻における対象物体の３次元情報との間の差分を表す差分情報に応じて、対象物体のうちの可動部位を抽出する。そして、可動自由度推定装置１４の推定部２４は、可動部位の変位に応じて、対象物体に含まれる可動部位の可動の自由度を推定する。そして、可動自由度推定装置１４の付与部２８は、可動部位の可動の自由度に基づいて、対象物体を表す３次元モデルの可動部位に対して、可動の自由度を表す自由度情報を付与する。【選択図】図１
2019128838.tif 000002
【特許請求の範囲】
【請求項１】
特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における前記対象物体の３次元情報である第２の情報とを取得する取得部と、
前記取得部によって取得された、前記第１の情報と前記第２の情報との間の差分を表す差分情報に応じて、前記対象物体のうちの可動部位を抽出する抽出部と、
前記第１の情報と前記第２の情報との間の前記可動部位の変位に応じて、前記対象物体に含まれる可動部位の可動の自由度を推定する推定部と、
前記推定部によって推定された前記可動部位の可動の自由度に基づいて、前記対象物体を表す３次元モデルの可動部位に対して、前記可動の自由度を表す自由度情報を付与する付与部と、
を含む可動自由度推定装置。
【請求項２】
前記付与部は、前回までに前記自由度情報が付与された前記３次元モデルが記憶された記憶部から、前記３次元モデルを読み出し、前回までの前記自由度情報と今回の前記自由度情報とを統合し、統合された前記自由度情報を前記３次元モデルに対して付与する、
請求項１に記載の可動自由度推定装置。
【請求項３】
前記自由度情報は、前記可動の自由度と前記可動部位の可動範囲とを含む、
請求項１又は請求項２に記載の可動自由度推定装置。
【請求項４】
前記推定部は、前記可動部位の回転量及び前記可動部位の並進量の少なくとも一方に応じて、前記可動部位の可動の自由度を推定する、
請求項１〜請求項３の何れか１項に記載の可動自由度推定装置。
【請求項５】
前記抽出部は、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報との間の類似度を算出し、前記類似度が閾値以上である場合に、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報とを、前記可動部位として抽出する、
請求項１〜請求項４の何れか１項に記載の可動自由度推定装置。
【請求項６】
特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における前記対象物体の３次元情報である第２の情報とを取得し、
前記第１の情報と前記第２の情報との間の差分に応じて、前記対象物体のうちの可動部位を抽出し、
前記第１の情報と前記第２の情報との間の前記可動部位の変位に応じて、前記対象物体に含まれる可動部位の可動の自由度を推定し、
推定された前記可動部位の可動の自由度に基づいて、前記対象物体を表す３次元モデルの可動部位に対して、前記可動の自由度を表す自由度情報を付与する、
処理をコンピュータに実行させるための可動自由度推定プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
開示の技術は、可動自由度推定装置、及び可動自由度推定プログラムに関する。
【背景技術】
【０００２】
従来、任意の形状を有する可動部の３次元情報を取得可能にする３次元情報取得装置が知られている。この３次元情報取得装置は、距離センサを用いて、可動部を含む対象物体の動きを各時刻の距離点群として時系列に取得する。そして、３次元情報取得装置は、各時刻の距離点群からそれぞれ複数の面を検出して面群とし、第１の時刻の面群に含まれる面と第２の時刻の面群に含まれる面とを比較し、当該比較結果に基づいて同一の面同士を時刻間で対応付ける。そして、３次元情報取得装置は、第１の面と、第１の面と一定時間の間同時に検出された第２の面を選定し、第１の面の姿勢変化と第２の面の姿勢変化を比較する。そして、３次元情報取得装置は、比較の結果、第１の面及び第２の面の姿勢変化が同一であった場合には、第２の面は第１の面と同一の可動部を構成する面であると判定し、姿勢変化が同一でなかった場合には、第２の面選定からの処理を再び繰り返す。
【０００３】
また、認識対象物を的確に抽出する形状認識装置が知られている。この形状認識装置は、軸を有する３次元モデルを示す３次元モデル情報を保持し、認識対象物の３次元形状を示す認識対象情報を取得する。そして、形状認識装置は、認識対象情報と３次元モデル情報とに基づいて、認識対象物または３次元モデルを対称的に配置した２つの姿勢候補を示す姿勢候補情報を生成する。そして、形状認識装置は、認識対象物の姿勢候補情報と３次元モデル情報とに基づいて、または、認識対象情報と３次元モデルの姿勢候補情報とに基づいて認識対象物の位置および姿勢を特定する。
【０００４】
また、異なる速度の移動物体が複数存在する場合でも、静止している物体が存在する場合でも短時間でこれらの動きを解析できる画像処理装置が知られている。この画像処理装置は、特徴量の有無の時系列変化から物体の軌跡を算出する。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４‐２２８８７９号公報
【特許文献２】特開２０１２‐１６３４５０号公報
【特許文献３】特開平６‐３３７９３８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記の技術では、認識対象物の３次元形状を示す認識対象情報が取得される。しかし、対象物体のうちの可動部位の自由度を取得することについては、考慮されていない。
【０００７】
一つの側面では、開示の技術は、対象物体のうちの可動部位の自由度に関する情報を取得することが目的である。
【課題を解決するための手段】
【０００８】
開示の技術は、一つの実施態様では、取得部が、特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における前記対象物体の３次元情報である第２の情報とを取得する。そして、抽出部が、前記取得部によって取得された、前記第１の情報と前記第２の情報との間の差分を表す差分情報に応じて、前記対象物体のうちの可動部位を抽出する。そして、推定部が、前記第１の情報と前記第２の情報との間の前記可動部位の変位に応じて、前記対象物体に含まれる可動部位の可動の自由度を推定する。そして、付与部が、前記推定部によって推定された前記可動部位の可動の自由度に基づいて、前記対象物体を表す３次元モデルの可動部位に対して、前記可動の自由度を表す自由度情報を付与する。
【発明の効果】
【０００９】
一つの側面として、対象物体のうちの可動部位の自由度に関する情報を取得することができる、という効果を有する。
【図面の簡単な説明】
【００１０】
【図１】本実施形態に係る可動自由度推定システムの概略ブロック図である。
【図２】３次元センサによる計測の一例を説明するための説明図である。
【図３】本実施形態の概要を説明するための説明図である。
【図４】情報記憶部に格納されるテーブルの一例を示す図である。
【図５】第１の情報と第２の情報と差分情報とを説明するための説明図である。
【図６】類似度の算出方法の一例を説明するための説明図である。
【図７】学習用データを説明するための説明図である。
【図８】可動部位を表す３次元点間の関係を説明するための説明図である。
【図９】自由度情報の統合を説明するための説明図である。
【図１０】第１の実施形態に係る可動自由度推定装置として機能するコンピュータの概略構成を示すブロック図である。
【図１１】本実施形態の情報取得処理ルーチンの一例を示すフローチャートである。
【図１２】本実施形態の可動自由度推定処理ルーチンの一例を示すフローチャートである。
【図１３】対象物体が所定の操作盤である場合の実施例を説明するための説明図である。
【発明を実施するための形態】
【００１１】
以下、図面を参照して開示の技術の実施形態の一例を詳細に説明する。
【００１２】
＜第１の実施形態＞
【００１３】
図１に示すように、第１の実施形態に係る可動自由度推定システム１０は、３次元センサ１２と、可動自由度推定装置１４と、出力装置３０とを備えている。
【００１４】
３次元センサ１２は、対象物体の３次元情報を逐次取得する。３次元センサ１２は、例えば、Red-Green-Blue-Depth(RGB-D)センサやLight Detection and Ranging(LIDAR)、ステレオカメラ等の物体の３次元の形状情報を取得可能なセンサによって実現される。
【００１５】
図２に、３次元センサ１２による計測の一例を説明するための説明図を示す。図２の２Ａに示されるように、例えば、所定の部屋Ｒの天井等に３次元センサ１２が固定される場合には、部屋Ｒに存在する対象物体の３次元情報が逐次取得される。
【００１６】
また、図２の２Ｂに示されるように、手持ちの３次元センサ１２によって３次元情報が取得される場合には、３次元センサ１２を持つ人Ｕが移動しながら、３次元情報を取得することができる。このため、３次元情報を取得する範囲を広げることができる。また、位置の推定とモデルの作成とを同時に行う技術（例えば、Simultaneous Localization and Mapping（SLAM）技術等）を利用することができる。
【００１７】
可動自由度推定装置１４は、図１に示されるように、３次元情報取得部１６と、情報記憶部１８と、取得部２０と、抽出部２２と、推定部２４と、３次元モデル作成部２５と、３次元モデル記憶部２６と、付与部２８と、出力部２９とを備えている。
【００１８】
図３に、本実施形態の概要を説明するための説明図を示す。本実施形態では、３次元センサ１２によって取得された３次元情報に基づいて、対象物体の可動部位の自由度を推定する。
【００１９】
例えば、図３に示されるように、ドアＤと壁Ｗとを含む対象物体が存在し、特定の時刻ｔ１において３次元情報ＴＤ１が取得されたとする。また、図３に示されるように、特定の時刻とは異なる時刻ｔ２において３次元情報ＴＤ２が取得されたとする。
【００２０】
この場合、時刻ｔ１における３次元情報ＴＤ１と時刻ｔ２における３次元情報ＴＤ２との間の差分情報Ｓは、図３に示されるように、ドアＤの部位である。
【００２１】
本実施形態に係る可動自由度推定装置１４は、差分情報Ｓに応じて、対象物体の可動部位とその可動部位の自由度とを推定する。そして、可動自由度推定装置１４は、図３の３Ａに示されるように、対象物体を表す３次元モデルへ自由度Ｆを付与する。これにより、異なる時刻に取得された対象物体の３次元情報から、対象物体の可動部位の自由度を推定することができる。
【００２２】
３次元情報取得部１６は、３次元センサ１２によって取得された各時刻の３次元情報を取得する。そして、３次元情報取得部１６は、各時刻の３次元情報を情報記憶部１８へ格納する。
【００２３】
情報記憶部１８には、３次元情報取得部１６によって取得された各時刻の３次元情報が格納される。対象物体の各時刻の３次元情報は、例えば、図４に示されるように、テーブルの形式で格納される。図４に示すテーブルには、識別情報を表すＩＤと、３次元情報が取得された時刻と、時刻に対応する３次元情報とが対応付けられて格納される。図４に示されるテーブルでは、例えば、ＩＤ１に対応するデータとして、時刻ｔ１に取得された３次元情報ＴＤ１が格納される。
【００２４】
取得部２０は、情報記憶部１８から、特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における対象物体の３次元情報である第２の情報とを取得する。図５に、第１の情報と第２の情報とを説明するための説明図を示す。例えば、取得部２０は、図５に示されるように、時刻ｔ１に取得された３次元情報を示す第１の情報ＴＤ１と、時刻ｔ２に取得された３次元情報を示す第２の情報ＴＤ２とを取得する。
【００２５】
抽出部２２は、取得部２０によって取得された、第１の情報ＴＤ１と第２の情報ＴＤ２との間の差分を表す差分情報に応じて、対象物体のうちの可動部位を抽出する。
【００２６】
具体的には、まず、抽出部２２は、図５に示されるように、第１の情報ＴＤ１と第２の情報ＴＤ２との間の差分情報Ｓを抽出する。そして、抽出部２２は、差分情報Ｓのうちの特定時刻の３次元情報Ｓ１と、差分情報Ｓのうちの特定時刻とは異なる時刻の３次元情報Ｓ２との間の類似度を算出する。
【００２７】
例えば、抽出部２２は、図６に示されるように、時刻ｔ１の３次元情報Ｓ１の３次元特徴量と、時刻ｔ２の３次元情報Ｓ２の３次元特徴量とをマッチングし、類似度を算出する。例えば、抽出部２２は、時刻ｔ１の複数の特徴点Ｐ１〜Ｐ８と時刻ｔ２の複数の特徴点Ｑ１〜Ｑ８とを対応させた際の、対応点間の平均の距離誤差を用いた類似度を算出する。なお、本実施形態では、時刻ｔ１の複数の特徴点Ｐ１〜Ｐ８と時刻ｔ２の複数の特徴点Ｑ１〜Ｑ８との間の一致度が高いほど、類似度の値が大きくなるように類似度を算出する。
【００２８】
そして、抽出部２２は、類似度が予め設定された閾値以上である場合に、時刻ｔ１の３次元情報Ｓ１と時刻ｔ２の３次元情報Ｓ２とを、対象物体のうちの可動部位として抽出する。
【００２９】
推定部２４は、時刻ｔ１の３次元情報ＴＤ１と時刻ｔ２の３次元情報ＴＤ２との間において、対象物体の可動部位の変位と可動範囲とを推定する。
【００３０】
具体的には、推定部２４は、まず、時刻ｔ１の３次元情報ＴＤ１と時刻ｔ２の３次元情報ＴＤ２との間の差分情報Ｓのうちの、時刻ｔ１の３次元情報Ｓ１と時刻ｔ２の３次元情報Ｓ２との間の各３次元点の変化に基づいて、各３次元点の同次変換行列を算出する。
【００３１】
例えば、推定部２４は、各３次元点として、上記図６に示される複数の特徴点Ｐ１〜Ｐ８と複数の特徴点Ｑ１〜Ｑ８とを対象データとして用いる。この場合には、例えば、複数の３次元点の各々について、並進及び回転を表す同次変換行列が算出される。
【００３２】
なお、推定部２４は、全ての３次元点についての並進に関する誤差及び回転に関する誤差が最も小さくなるように、同時変換行列を算出するようにしてもよい。この場合、例えば、推定部２４は、時刻ｔ１における各３次元点を、時刻ｔ２における各３次元点へ重なるように投影した際に発生する誤差が最も小さくなるように、同時変換行列を算出する。
【００３３】
同次変換行列の各要素には、差分情報Ｓのうちの時刻ｔ１の３次元情報Ｓ１と、差分情報Ｓのうちの時刻ｔ２の３次元情報Ｓ２との間の並進を表す情報及び回転を表す情報が格納される。例えば、同次変換行列は、以下の式（１）によって表される。
【００３４】
【数１】
2019128838.tif 000003
（１）
【００３５】
ここで、上記式（１）のうちの「ｔｘ，ｔｙ，ｔｚ」の部分は、可動部位の並進の可動を表す並進ベクトルである。ｔｘは座標系におけるｘ方向の並進量を表し、ｔｙは座標系におけるｙ方向の並進量を表し、ｔｚは座標系におけるｚ方向の並進量を表す。また、上記式（１）のうちの「ｒ１１，ｒ１２，ｒ１３，ｒ２１，ｒ２２，ｒ２３，ｒ３１，ｒ３２，ｒ３３」の部分は、可動部位の回転の可動を表す回転行列である。
【００３６】
推定部２４は、上記式（１）の同次変換行列の各要素から、可動部位の変位を表す変位ベクトルを算出する。変位ベクトルは、例えば、以下の式（２）によって表される。
【００３７】
【数２】
2019128838.tif 000004
（２）
【００３８】
上記式（２）に示される変位ベクトルは、可動部位の回転を表す回転ベクトル［ｒｘ，ｒｙ，ｒｚ］と、可動部位の並進を表す並進ベクトル［ｔｘ，ｔｙ，ｔｚ］とを含む。なお、ｒｘはｘ軸回りの回転量を表し、ｒｙはｙ軸回りの回転量を表し、ｒｚはｚ軸回りの回転量を表す。同次変換行列から変位ベクトルへの変換は、既存の手法によって変換することができる。
【００３９】
推定部２４は、複数の３次元点の変位ベクトルに含まれる回転ベクトルに対して主成分分析を行う。また、推定部２４は、複数の３次元点の変位ベクトルに含まれる並進ベクトルに対して主成分分析を行う。主成分分析は、時刻ｔ１における複数の３次元点から、時刻ｔ２における複数の３次元点へ変換する最小の自由度を求める手段として用いられる。
【００４０】
例えば、図６に示されるように、時刻ｔ１の３次元情報Ｓ１の複数の特徴点Ｐ１〜Ｐ８が、時刻ｔ２の３次元情報Ｓ２の複数の特徴点Ｑ１〜Ｑ８へ移動した場合、この移動に対する並進ベクトル及び回転ベクトルが算出される。このため、複数の特徴点毎に、並進ベクトル及び回転ベクトルが算出される。
【００４１】
推定部２４は、複数の並進ベクトルに対して主成分分析を行い、複数の並進ベクトルの主成分を表す並進ベクトルを取得する。また、推定部２４は、複数の回転ベクトルに対して主成分分析を行い、複数の回転ベクトルの主成分を表す回転ベクトルを取得する。具体的には、複数の特徴点の回転に対する主成分分析が行われることにより、複数の特徴点の回転を最も良く表すベクトルが算出される。また、複数の特徴点の並進に対する主成分分析が行われることにより、複数の特徴点の並進を最も良く表すベクトルが算出される。
【００４２】
次に、推定部２４は、主成分分析によって得られた並進ベクトル及び回転ベクトルに応じて、対象物体に含まれる可動部位の可動の自由度を推定する。なお、本実施形態における自由度とは、対象物体の可動部位が、各軸方向及び各軸回りへ可動可能か否かを示す情報である。
【００４３】
具体的には、推定部２４は、可動部位の自由度を表す自由度ベクトル［ｄｔｘ，ｄｔｙ，ｄｔｚ，ｄｒｘ，ｄｒｙ，ｄｒｚ］を推定する。自由度ベクトルのうちのｄｔｘはｘ軸方向の並進の自由度を表し、ｄｔｙはｙ軸方向の並進の自由度を表し、ｄｔｚはｚ軸方向の並進の自由度を表す。また、自由度ベクトルのうちのｄｒｘはｘ軸回りの回転の自由度を表し、ｄｒｙはｙ軸回りの回転の自由度を表し、ｄｒｚはｚ軸回りの回転の自由度を表す。
【００４４】
第１の実施形態では、推定部２４は、主成分分析によって得られた並進ベクトル及び回転ベクトルと、学習用データから予め生成された学習済みモデルとに基づいて、可動部位の自由度を推定する。学習用データは、学習用の変位ベクトル［ｔｘ，ｔｙ，ｔｚ，ｒｘ，ｒｙ，ｒｚ］と学習用の自由度ベクトル［ｄｔｘ，ｄｔｙ，ｄｔｚ，ｄｒｘ，ｄｒｙ，ｄｒｚ］との組み合わせを表すデータである。
【００４５】
学習用データは、例えば、特定の変位ベクトル［ｔｘ，ｔｙ，ｔｚ，ｒｘ，ｒｙ，ｒｚ］がある場合、その特定の変位ベクトルに対応する自由度ベクトルは［ｄｔｘ，ｄｔｙ，ｄｔｚ，ｄｒｘ，ｄｒｙ，ｄｒｚ］であることが表現されている。
【００４６】
図７に、学習用データを説明するための説明図を示す。図７に示されるように、例えば、ケース７Ａに示される場合は、時刻ｔ１において得られた３次元情報Ｓ１が、時刻ｔ２において３次元情報Ｓ２になった場合である。このとき、ケース７Ａの場合に得られる変位ベクトルとその変位ベクトルが得られた際の正解の自由度ベクトルとが学習用データとして設定される。
【００４７】
例えば、ケース７Ａの場合には、ｘ軸方向の並進に自由度があることが正解である。また、ケース７Ｂの場合には、ｚ軸方向の回転に自由度があることが正解である。また、ケース７Ｃの場合には、ｘ軸方向の並進に自由度であり、ｙ軸方向の並進に自由度であることが正解である。
【００４８】
これらの学習用データを用いて、機械学習によって学習済みモデルが生成される。例えば、変位ベクトル［ｔｘ，ｔｙ，ｔｚ，ｒｘ，ｒｙ，ｒｚ］から自由度ベクトル［ｄｔｘ，ｄｔｙ，ｄｔｚ，ｄｒｘ，ｄｒｙ，ｄｒｚ］を推定するためのモデルが、以下の式（３）によって表現される場合を考える。
【００４９】
【数３】
2019128838.tif 000005
（３）
【００５０】
変位ベクトルから自由度ベクトルを推定するためのモデルが、上記式（３）によって表現される場合、モデルに含まれるパラメータｗ１１〜ｗ６６は機械学習によって求められる。機械学習によって、モデルのうちのパラメータｗ１１〜ｗ６６が学習用データに応じて決定され、学習済みモデルが得られる。
【００５１】
推定部２４は、主成分分析によって得られた並進ベクトルと回転ベクトルとを含む変位ベクトルを、学習済みモデルへ入力することにより、可動部位の自由度ベクトル［ｄｔｘ，ｄｔｙ，ｄｔｚ，ｄｒｘ，ｄｒｙ，ｄｒｚ］を推定する。
【００５２】
可動部位の自由度ベクトルは、例えば、以下の式（４）に示されるような形式で出力される。以下の式（４）では、ｘ軸方向の並進とｚ軸回りの回転とが自由度として推定されていることが表されている。
【００５３】
【数４】
2019128838.tif 000006
（４）
【００５４】
次に、推定部２４は、変位ベクトルのうちの回転ベクトル［ｒｘ，ｒｙ，ｒｚ］及び並進ベクトル［ｔｘ，ｔｙ，ｔｚ］に基づいて、対象物体の可動部位の可動範囲を推定する。
【００５５】
例えば、推定部２４は、上記図６に示されるように、時刻ｔ１の３次元情報Ｓ１と時刻ｔ２の３次元情報Ｓ２との間の各３次元点の変化に基づいて、時刻ｔ１の各３次元点Ｐ１〜Ｐ８の位置を、並進における開始点Ｔ’ｍｉｎとする。また、推定部２４は、時刻ｔ２の３次元点Ｓ２の各３次元点Ｑ１〜Ｑ８の位置を、並進における終着点Ｔ’ｍａｘとする。そして、推定部２４は、Ｔ’ｍｉｎ〜Ｔ’ｍａｘを対象物体の可動部位の並進の可動範囲として推定する。
【００５６】
また、推定部２４は、上記図６に示されるように、時刻ｔ１の３次元情報Ｓ１と時刻ｔ２の３次元情報Ｓ２との間の各３次元点の変化に基づいて、時刻ｔ１の３次元点Ｐ１〜Ｐ８の角度を、回転における開始点Ｒ’ｍｉｎとする。また、推定部２４は、時刻ｔ２の３次元点Ｑ１〜Ｑ８の角度を、回転における終着点Ｒ’ｍａｘとする。そして、推定部２４は、Ｒ’ｍｉｎ〜Ｒ’ｍａｘを対象物体の可動部位の回転の可動範囲として推定する。
【００５７】
なお、対象物体の可動部位の並進及び回転の可動範囲を推定する際には、可動部位を表す３次元点間の関係を更に考慮してもよい。図８に、可動部位を表す３次元点間の関係を説明するための説明図を示す。図８のＸ１には、可動部位であるドアＤが示されている。図８のドアＤをＹ１方向から見た図が、Ｘ２として示されている。ドアＤが閉じている場合には、ドアＤの代表的な各３次元点の位置は、ａ１，ｂ１，ｃ１となる。一方、ドアＤが開いている場合には、各３次元点の位置は、ａ２，ｂ２，ｃ２となる。この場合、例えば、Ｘ３に示されるように、各３次元点間の関係を考慮せずにｂ２点のみに着目すると、ｂ２点を中心とした回転Ｄ’及び矢印方向への並進を仮定した場合には、ドアＤが閉じた場合Ｄ１と一致することになってしまう。そのため、可動範囲を推定する際には、各３次元点の並進量に応じて、回転軸を更に求めるようにしてもよい。この場合には、推定部２４は、例えば、ａ１〜ａ２への並進量、ｂ１〜ｂ２への並進量、及びｃ１〜ｃ２への並進量を算出し、並進量が最も小さいｃ１〜ｃ２を特定する。そして、推定部２４は、並進量が最も小さい点ｃ１（＝ｃ２）に回転軸が存在するものとして推定する。
【００５８】
３次元モデル作成部２５は、情報記憶部１８に格納された対象物体の３次元情報を読み出す。そして、３次元モデル作成部２５は、対象物体の３次元情報に基づいて、対象物体を表す３次元モデルを作成する。例えば、３次元モデル作成部２５は、特定の時刻に取得された３次元情報を、対象物体を表す３次元モデルとして設定する。
【００５９】
３次元モデル記憶部２６には、３次元モデル作成部２５によって作成された３次元モデルが格納される。なお、３次元モデル記憶部２６に格納される３次元モデルは、３次元モデル作成部２５によって作成された３次元とは異なる３次元モデルであってもよい。例えば、３次元モデル記憶部２６に格納される３次元モデルは、3 Dimensional computer-aided designソフトによって予め作成された３次元モデルであってもよい。
【００６０】
付与部２８は、推定部２４によって推定された可動部位の可動の自由度ベクトルと、可動部位の可動範囲とに基づいて、３次元モデル記憶部２６に格納された３次元モデルの可動部位に対して、可動の自由度と可動範囲とを表す自由度情報を付与する。なお、推定部２４によって回転の可動に関する回転軸が推定された場合には、可動部位に対して回転軸の位置を含む自由度情報を付与する。
【００６１】
例えば、付与部２８は、上記図３に示されるように、対象物体のうちの可動部位に対して、自由度情報Ｆを付与する。
【００６２】
なお、付与部２８は、３次元モデル記憶部２６に格納された３次元モデルに対して、前回までに推定された自由度情報が付与されている場合には、前回までの自由度情報と今回の自由度情報とを統合し、統合された自由度情報を３次元モデルに対して付与する。
【００６３】
例えば、図９に示されるように、前回までに推定された自由度情報として、ｘ軸方向の並進の自由度情報Ｆ１が付与されていたとする。また、今回の処理によってｙ軸方向の並進の自由度情報Ｆ２が推定された場合、付与部２８は、図９に示されるように、自由度情報Ｆ１と自由度情報Ｆ２とを統合して、統合された自由度情報Ｆ３を３次元モデルに対して付与する。
【００６４】
なお、例えば、前回までに推定された自由度として、以下の式（５）に示す自由度ベクトルが可動部位に付与されていたとする。
【００６５】
【数５】
2019128838.tif 000007
（５）
【００６６】
そして、今回の処理によって、以下の式（６）に示す自由度ベクトルが推定されたとする。
【００６７】
【数６】
2019128838.tif 000008
（６）
【００６８】
この場合、上記式（６）の自由度ベクトルは、前回までの処理によって得られた自由度ベクトルとは異なるため、付与部２８は、上記式（５）に示す前回までに得られた自由度ベクトルに対して、上記式（６）に示す自由度ベクトルを追加する。
【００６９】
また、付与部２８は、前回までの自由度情報と今回の自由度情報とを統合する際に、前回までに付与された可動範囲と今回の処理によって得られた可動範囲との比較結果に応じて、自由度情報のうちの可動範囲を統合する。
【００７０】
具体的には、付与部２８は、前回までの回転の可動範囲の終着点Ｒｍａｘに対応する角度と、今回の処理によって得られた回転の可動範囲の終着点Ｒ’ｍａｘに対応する角度とを比較する。そして、付与部２８は、終着点Ｒ’ｍａｘに対応する角度が終着点Ｒｍａｘに対応する角度よりも大きい場合には、終着点Ｒｍａｘに対応する角度を、終着点Ｒ’ｍａｘに対応する角度へ更新する。
【００７１】
また、付与部２８は、前回までの回転の可動範囲の開始点Ｒｍｉｎに対応する角度と、今回の処理によって得られた回転の可動範囲の開始点Ｒ’ｍｉｎに対応する角度とを比較する。そして、付与部２８は、開始点Ｒ’ｍｉｎに対応する角度が開始点Ｒｍｉｎに対応する角度よりも小さい場合には、開始点Ｒｍｉｎに対応する角度を、開始点Ｒ’ｍｉｎに対応する角度へ更新する。
【００７２】
また、付与部２８は、前回までの並進の可動範囲の終着点Ｔｍａｘに対応する位置と、今回の処理によって得られた並進の可動範囲の終着点Ｔ’ｍａｘに対応する位置とを比較する。そして、付与部２８は、終着点Ｔ’ｍａｘに対応する位置が終着点Ｔｍａｘに対応する位置よりも大きい場合には、終着点Ｔｍａｘに対応する位置を、終着点Ｔ’ｍａｘに対応する位置へ更新する。
【００７３】
また、付与部２８は、前回までの並進の可動範囲の開始点Ｔｍｉｎに対応する角度と、今回の処理によって得られた並進の可動範囲の開始点Ｔ’ｍｉｎに対応する角度とを比較する。そして、付与部２８は、開始点Ｔ’ｍｉｎに対応する角度が開始点Ｒｍｉｎに対応する角度よりも小さい場合には、開始点Ｔｍｉｎに対応する角度を、開始点Ｔ’ｍｉｎに対応する角度へ更新する。
【００７４】
出力部２９は、入出力装置（図示省略）から信号を受け付けると、自由度情報が付与された３次元モデルを３次元モデル記憶部２６から読み出し、当該３次元モデルを出力する。
【００７５】
出力装置３０には、出力部２９によって出力された３次元モデルが出力される。出力装置３０は、例えば、ディスプレイ等によって実現される。
【００７６】
可動自由度推定装置１４は、例えば、図１０に示すコンピュータ５０で実現することができる。コンピュータ５０はＣＰＵ５１、一時記憶領域としてのメモリ５２、及び不揮発性の記憶部５３を備える。また、コンピュータ５０は、３次元センサ１２、出力装置３０等の入出力装置が接続される入出力interface（Ｉ／Ｆ）５４、及び記録媒体５９に対するデータの読み込み及び書き込みを制御するread/write（Ｒ／Ｗ）部５５を備える。また、コンピュータ５０は、インターネット等のネットワークに接続されるネットワークＩ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力Ｉ／Ｆ５４、Ｒ／Ｗ部５５、及びネットワークＩ／Ｆ５６は、バス５７を介して互いに接続される。
【００７７】
記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を可動自由度推定装置１４として機能させるための可動自由度推定プログラム６０が記憶されている。可動自由度推定プログラム６０は、３次元情報取得プロセス６１と、取得プロセス６２と、抽出プロセス６３と、推定プロセス６４と、３次元モデル作成プロセス６５と、付与プロセス６６と、出力プロセス６７とを有する。情報記憶領域６８には、情報記憶部１８を構成する情報が記憶される。また、３次元モデル記憶領域６９には、３次元モデル記憶部２６を構成する情報が記憶される。
【００７８】
ＣＰＵ５１は、可動自由度推定プログラム６０を記憶部５３から読み出してメモリ５２に展開し、可動自由度推定プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、３次元情報取得プロセス６１を実行することで、図１に示す３次元情報取得部１６として動作する。また、ＣＰＵ５１は、取得プロセス６２を実行することで、図１に示す取得部２０として動作する。また、ＣＰＵ５１は、抽出プロセス６３を実行することで、図１に示す抽出部２２として動作する。また、ＣＰＵ５１は、推定プロセス６４を実行することで、図１に示す推定部２４として動作する。また、ＣＰＵ５１は、３次元モデル作成プロセス６５を実行することで、図１に示す３次元モデル作成部２５として動作する。また、ＣＰＵ５１は、付与プロセス６６を実行することで、図１に示す付与部２８として動作する。また、ＣＰＵ５１は、出力プロセス６７を実行することで、図１に示す出力部２９として動作する。また、ＣＰＵ５１は、情報記憶領域６８から情報を読み出して、情報記憶部１８をメモリ５２に展開する。また、ＣＰＵ５１は、３次元モデル記憶領域６９から情報を読み出して、情報記憶部１８をメモリ５２に展開する。これにより、可動自由度推定プログラム６０を実行したコンピュータ５０が、可動自由度推定装置１４として機能することになる。ソフトウェアである可動自由度推定プログラム６０を実行するＣＰＵ５１はハードウェアである。
【００７９】
なお、可動自由度推定プログラム６０により実現される機能は、例えば半導体集積回路、より詳しくはApplication Specific Integrated Circuit（ＡＳＩＣ）等で実現することも可能である。
【００８０】
次に、第１の実施形態に係る可動自由度推定装置１４の作用について説明する。可動自由度推定装置１４は、３次元センサ１２によって対象物体の３次元情報の取得が開始されると、図１１に示す情報取得処理ルーチンを実行する。図１１に示す情報取得処理ルーチンは、繰り返し実行され、対象物体の各時刻の３次元情報が取得される。
【００８１】
ステップＳ１００において、３次元情報取得部１６は、３次元センサ１２によって取得された３次元情報を取得する。
【００８２】
ステップＳ１０２において、３次元情報取得部１６は、上記ステップＳ１００で取得された３次元情報と時刻情報とを対応付けて、情報記憶部１８へ格納する。
【００８３】
対象物体の各時刻の３次元情報が情報記憶部１８へ格納されると、可動自由度推定装置１４の３次元モデル作成部２５が、情報記憶部１８に格納された対象物体の３次元情報に基づいて、対象物体を表す３次元モデルを作成し、３次元モデル記憶部２６に格納する。そして、可動自由度推定装置１４は、図１２に示す可動自由度推定処理ルーチンを実行す
る。
【００８４】
ステップＳ２００において、取得部２０は、情報記憶部１８から、特定時刻ｔ１における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻ｔ２における対象物体の３次元情報である第２の情報とを取得する。
【００８５】
ステップＳ２０２において、抽出部２２は、上記ステップＳ２００で取得された、第１の情報ＴＤ１と第２の情報ＴＤ２とに基づいて、第１の情報ＴＤ１と第２の情報ＴＤ２との間の差分情報Ｓを抽出する。
【００８６】
ステップＳ２０４において、抽出部２２は、上記ステップＳ２０２で抽出された差分情報のうちの時刻ｔ１の３次元情報と、差分情報のうちの時刻ｔ２の３次元情報との間の類似度を算出する。
【００８７】
ステップＳ２０６において、抽出部２２は、上記ステップＳ２０４で算出された類似度が予め設定された閾値より大きいか否かを判定する。上記ステップＳ２０４で算出された類似度が閾値より大きい場合には、ステップＳ２０７へ移行する。一方、上記ステップＳ２０４で算出された類似度が閾値以下である場合には、可動自由度推定処理ルーチンを終了する。
【００８８】
ステップＳ２０７において、抽出部２２は、差分情報Ｓのうちの時刻ｔ１の３次元情報Ｓ１と、差分情報Ｓのうちの時刻ｔ２の３次元情報Ｓ２とを、対象物体のうちの可動部位として抽出する。
【００８９】
ステップＳ２０８において、推定部２４は、差分情報Ｓのうちの時刻ｔ１の３次元情報Ｓ１と、差分情報Ｓのうちの時刻ｔ２の３次元情報Ｓ２との間の各３次元点の変化に基づいて、各３次元点の同次変換行列を算出する。また、推定部２４は、各３次元点の同次変換行列に基づいて、各３次元点の並進ベクトル及び回転ベクトルを推定する。
【００９０】
ステップＳ２１０において、推定部２４は、上記ステップＳ２０８で推定された複数の３次元点の回転ベクトルに対して主成分分析を行い、主成分分析が行われた回転ベクトルを取得する。また、推定部２４は、上記ステップＳ２０８で推定された複数の３次元点の並進ベクトルに対して主成分分析を行い、主成分分析が行われた並進ベクトルを取得する。
【００９１】
ステップＳ２１２において、推定部２４は、上記ステップＳ２１０で得られた並進ベクトルと回転ベクトルとを、学習済みモデルへ入力することにより、可動部位の自由度ベクトルを推定する。
【００９２】
ステップＳ２１４において、推定部２４は、各３次元点の変位ベクトルのうちの回転ベクトル及び並進ベクトルに基づいて、対象物体の可動部位の可動範囲を推定する。例えば、推定部２４は、３次元情報に含まれる各３次元点について、差分情報のうちの時刻ｔ１の３次元点の位置及び角度と、差分情報のうちの時刻ｔ２の３次元点の位置及び角度とを、可動範囲として推定する。
【００９３】
ステップＳ２１６において、付与部２８は、３次元モデル記憶部２６に格納された３次元モデルを読み出す。
【００９４】
ステップＳ２１８において、付与部２８は、上記ステップＳ２１６で読み出した３次元モデルに、前回の処理までに推定された自由度情報が付与されているか否かを判定する。そして、前回の処理までに推定された自由度情報が３次元モデルに付与されている場合は、ステップＳ２２０へ移行する。一方、前回の処理までに推定された自由度情報が３次元モデルに付与されていない場合には、ステップＳ２２２へ移行する。
【００９５】
ステップＳ２２０において、付与部２８は、前回までの自由度情報と、上記ステップＳ２１２で推定された自由度及び上記ステップＳ２１４で推定された可動範囲を含む今回の自由度情報とを統合する。
【００９６】
ステップＳ２２２において、付与部２８は、上記ステップＳ２１２で推定された自由度及び上記ステップＳ２１４で推定された可動範囲を含む今回の自由度情報、又は上記ステップＳ２２０で統合された自由度情報を、３次元モデルに対して付与する。そして、付与部２８は、その３次元モデルを３次元モデル記憶部２６へ格納して、可動自由度推定処理ルーチンを終了する。
【００９７】
以上説明したように、第１の実施形態に係る可動自由度推定装置１４は、特定時刻における対象物体の３次元情報と、特定時刻とは異なる時刻における対象物体の３次元情報との間の差分を表す差分情報に応じて、対象物体のうちの可動部位を抽出する。そして、可動自由度推定装置１４は、可動部位の変位に応じて、対象物体に含まれる可動部位の可動の自由度を推定する。そして、可動自由度推定装置１４は、可動部位の可動の自由度に基づいて、対象物体を表す３次元モデルの可動部位に対して、可動の自由度を表す自由度情報を付与する。これにより、対象物体のうちの可動部位の自由度に関する情報を取得することができる。
【００９８】
これにより、例えば、３次元モデルに対して手作業で自由度情報を付加することなく、３次元モデルへ自由度情報を付与することができる。
【００９９】
また、差分情報から得られる、回転ベクトル及び並進ベクトルと、学習用データから予め生成された学習済みモデルとに応じて、可動部位の自由度を推定する。これにより、学習用の回転ベクトル及び学習用の並進ベクトルと学習用の自由度ベクトルとが対応付けられた学習用データから生成された学習済みモデルを用いて、対象物体の可動部位の自由度を適切に推定することができる。
【０１００】
また、現実空間に存在する対象物体を即座にモデル化することができ、かつ自由度情報を付与することができる。
【０１０１】
また、３次元モデルに付与された自由度情報に応じて、３次元モデルを可動させて表示することもできる。３次元モデルを可動させて表示することで、例えば、遠隔からでも現場の作業者に指示を分かりやすく伝えることができる。
【０１０２】
例えば、対象物体が所定の操作盤である場合の実施例について説明する。図１３に、操作盤の３次元モデルの一例を示す。操作盤の使い方や操作を、遠隔から現場へ指示するためには、操作盤の可動部位であるレバー等が動かせるように、操作盤をモデル化する必要がある。図１３に示す操作盤Ｂは、第１のスライド式レバーＳＬ１と第２のスライド式レバーＳＬ２と回転式レバーＲＬとを含んでいる。
【０１０３】
３次元センサ１２による計測が開始されると、対象物体である操作盤Ｂの３次元情報が逐次取得される。まず、時刻ｔ１において、第１のスライド式レバーＳＬ１と第２のスライド式レバーＳＬ２と回転式レバーＲＬとを動かしていない状態で３次元情報が取得される。
【０１０４】
次に、時刻ｔ２において、回転式レバーＲＬを動かした状態で３次元情報が取得される。この場合、可動部位として回転式レバーＲＬが抽出され、回転式レバーＲＬに対応する各３次元点の変位に応じて、回転ベクトルが推定される。そして、可動部位である回転式レバーＲＬに対して回転ベクトルに応じた自由度情報が付与される。
【０１０５】
次に、時刻ｔ３において、第２のスライド式レバーＳＬ２を動かした状態で３次元情報が取得される。この場合、可動部位として第２のスライド式レバーＳＬ２が抽出され、第２のスライド式レバーＳＬ２に対応する各３次元点の変位に応じて、並進ベクトルが推定される。そして、可動部位である第２のスライド式レバーＳＬ２に対して並進ベクトルに応じた自由度情報が付与される。第２のスライド式レバーＳＬ２の自由度情報としては、横方向の１自由度が付与される。
【０１０６】
次に、時刻ｔ４において、第１のスライド式レバーＳＬ１を動かした状態で３次元情報が取得される。この場合、可動部位として第１のスライド式レバーＳＬ１が抽出され、第１のスライド式レバーＳＬ１に対応する各３次元点の変位に応じて、並進ベクトルが推定される。そして、可動部位である第１のスライド式レバーＳＬ１に対して並進ベクトルに応じた自由度情報が付与される。第１のスライド式レバーＳＬ１の自由度情報としては、縦方向の１自由度が付与される。
【０１０７】
次に、時刻ｔ５において、時刻ｔ２よりも回転式レバーＲＬを更に動かした状態で３次元情報が取得される。この場合、可動部位である回転式レバーＲＬに対して、回転範囲が更新された自由度情報が付与される。
【０１０８】
＜第２の実施形態＞
【０１０９】
次に、第２の実施形態について説明する。第２の実施形態では、可動部位の自由度を推定する方法が第１の実施形態と異なる。具体的には、第２の実施形態では、差分情報から得られる、回転ベクトルのうちの各要素の値及び並進ベクトルのうちの各要素の値に応じて、可動部位の自由度を推定する。なお、第２の実施の形態に係る可動自由度推定システムの構成は、第１の実施形態と同様の構成となるため、同一符号を付して説明を省略する。
【０１１０】
第２の実施形態の推定部２４は、差分情報から得られる、回転ベクトルのうちの各要素の値及び並進ベクトルのうちの各要素の値に応じて、可動部位の自由度を推定する。
【０１１１】
例えば、推定部２４は、差分情報から得られる、回転ベクトルのうちの各要素の最大値及び並進ベクトルのうちの各要素の最大値に対応する軸を、可動部位の自由度として推定する。
【０１１２】
回転ベクトル及び並進ベクトルを含む変位ベクトルが以下の式（７）である場合を例に説明する。
【０１１３】
【数７】
2019128838.tif 000009
（７）
【０１１４】
上記式（７）の変位ベクトルにおいて、ｘ軸方向の並進を表す要素ｔｘの値が最も大きい。そのため、第２の実施形態の推定部２４は、以下の式（８）に示されるように、ｘ軸方向の並進に自由度があると推定する。
【０１１５】
【数８】
2019128838.tif 000010
（８）
【０１１６】
または、推定部２４は、差分情報から得られる、回転ベクトルのうちの各要素の値及び並進ベクトルのうちの各要素の値に応じて、閾値より大きい値を有する軸を、可動部位の自由度として推定する。
【０１１７】
例えば、閾値が０．６である場合、上記式（７）の変位ベクトルにおいて、ｘ軸方向の並進を表す要素ｔｘの値とｚ軸回りの回転を表す要素ｒｚの値が閾値よりも大きい。そのため、第２の実施形態の推定部２４は、以下の式（９）に示されるように、ｘ軸方向の並進とｚ軸周りの回転に自由度があると推定する。
【０１１８】
【数９】
2019128838.tif 000011
（９）
【０１１９】
なお、第２の実施形態に係る可動自由度推定システムの他の構成及び作用については、第１の実施形態と同様であるため、説明を省略する。
【０１２０】
以上説明したように、第２の実施形態に係る可動自由度推定装置１４は、差分情報から得られる、回転ベクトルのうちの各要素の値及び並進ベクトルのうちの各要素の値に応じて、可動部位の自由度を推定する。これにより、対象物体の可動部位の自由度を簡易に推定することができる。
【０１２１】
なお、上記では、各プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記録媒体に記録された形態で提供することも可能である。
【０１２２】
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
【０１２３】
次に、各実施形態の変形例を説明する。
【０１２４】
上記各実施形態では、３次元センサ１２によって取得された各時刻の３次元情報が情報記憶部１８へ格納された後、自由度情報を推定する場合を例に説明したが、これに限定されるものではない。例えば、３次元センサ１２によって３次元情報が取得される毎に、自由度情報を推定し３次元モデルへ付与するようにしてもよい。なお、この場合には、抽出部２２によって差分情報が抽出された場合のみ、自由度情報を推定し３次元モデルへ付与するようにしてもよい。
【０１２５】
また、上記第１の実施形態では、変位ベクトルから自由度ベクトルを推定するためのモデルとして、上記式（３）に示すモデルを用いる場合を例に説明したがこれに限定されるものではない。例えば、support vector machine(SVM)等のモデルを用いて、変位ベクトルから自由度ベクトルを推定するようにしてもよい。
【０１２６】
以上の各実施形態に関し、更に以下の付記を開示する。
【０１２７】
（付記１）
特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における前記対象物体の３次元情報である第２の情報とを取得する取得部と、
前記取得部によって取得された、前記第１の情報と前記第２の情報との間の差分を表す差分情報に応じて、前記対象物体のうちの可動部位を抽出する抽出部と、
前記第１の情報と前記第２の情報との間の前記可動部位の変位に応じて、前記対象物体に含まれる可動部位の可動の自由度を推定する推定部と、
前記推定部によって推定された前記可動部位の可動の自由度に基づいて、前記対象物体を表す３次元モデルの可動部位に対して、前記可動の自由度を表す自由度情報を付与する付与部と、
を含む可動自由度推定装置。
【０１２８】
（付記２）
前記付与部は、前回までに前記自由度情報が付与された前記３次元モデルが記憶された記憶部から、前記３次元モデルを読み出し、前回までの前記自由度情報と今回の前記自由度情報とを統合し、統合された前記自由度情報を前記３次元モデルに対して付与する、
付記１に記載の可動自由度推定装置。
【０１２９】
（付記３）
前記自由度情報は、前記可動の自由度と前記可動部位の可動範囲とを含む、
付記１又は付記２に記載の可動自由度推定装置。
【０１３０】
（付記４）
前記推定部は、前記可動部位の回転量及び前記可動部位の並進量の少なくとも一方に応じて、前記可動部位の可動の自由度を推定する、
付記１〜付記３の何れか１項に記載の可動自由度推定装置。
【０１３１】
（付記５）
前記抽出部は、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報との間の類似度を算出し、前記類似度が閾値以上である場合に、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報とを、前記可動部位として抽出する、
付記１〜付記４の何れか１項に記載の可動自由度推定装置。
【０１３２】
（付記６）
特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における前記対象物体の３次元情報である第２の情報とを取得し、
前記第１の情報と前記第２の情報との間の差分に応じて、前記対象物体のうちの可動部位を抽出し、
前記第１の情報と前記第２の情報との間の前記可動部位の変位に応じて、前記対象物体に含まれる可動部位の可動の自由度を推定し、
推定された前記可動部位の可動の自由度に基づいて、前記対象物体を表す３次元モデルの可動部位に対して、前記可動の自由度を表す自由度情報を付与する、
処理をコンピュータに実行させるための可動自由度推定プログラム。
【０１３３】
（付記７）
前記前記可動の自由度を表す自由度情報を付与する際に、前回までに前記自由度情報が付与された前記３次元モデルが記憶された記憶部から、前記３次元モデルを読み出し、前回までの前記自由度情報と今回の前記自由度情報とを統合し、統合された前記自由度情報を前記３次元モデルに対して付与する、
付記６に記載の可動自由度推定プログラム。
【０１３４】
（付記８）
前記自由度情報は、前記可動の自由度と前記可動部位の可動範囲とを含む、
付記６又は付記７に記載の可動自由度推定プログラム。
【０１３５】
（付記９）
前記可動部位の可動の自由度を推定する際に、前記可動部位の回転量及び前記可動部位の並進量の少なくとも一方に応じて、前記可動部位の可動の自由度を推定する、
付記６〜付記８の何れか１項に記載の可動自由度推定プログラム。
【０１３６】
（付記１０）
前記可動部位として抽出する際に、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報との間の類似度を算出し、前記類似度が閾値以上である場合に、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報とを、前記可動部位として抽出する、
付記６〜付記９の何れか１項に記載の可動自由度推定プログラム。
【０１３７】
（付記１１）
特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における前記対象物体の３次元情報である第２の情報とを取得し、
前記第１の情報と前記第２の情報との間の差分に応じて、前記対象物体のうちの可動部位を抽出し、
前記第１の情報と前記第２の情報との間の前記可動部位の変位に応じて、前記対象物体に含まれる可動部位の可動の自由度を推定し、
推定された前記可動部位の可動の自由度に基づいて、前記対象物体を表す３次元モデルの可動部位に対して、前記可動の自由度を表す自由度情報を付与する、
処理をコンピュータに実行させる可動自由度推定方法。
【０１３８】
（付記１２）
前記前記可動の自由度を表す自由度情報を付与する際に、前回までに前記自由度情報が付与された前記３次元モデルが記憶された記憶部から、前記３次元モデルを読み出し、前回までの前記自由度情報と今回の前記自由度情報とを統合し、統合された前記自由度情報を前記３次元モデルに対して付与する、
付記６に記載の可動自由度推定方法。
【０１３９】
（付記１３）
前記自由度情報は、前記可動の自由度と前記可動部位の可動範囲とを含む、
付記６又は付記７に記載の可動自由度推定方法。
【０１４０】
（付記１４）
前記可動部位の可動の自由度を推定する際に、前記可動部位の回転量及び前記可動部位の並進量の少なくとも一方に応じて、前記可動部位の可動の自由度を推定する、
付記６〜付記８の何れか１項に記載の可動自由度推定方法。
【０１４１】
（付記１５）
前記可動部位として抽出する際に、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報との間の類似度を算出し、前記類似度が閾値以上である場合に、前記差分情報のうちの前記特定時刻の前記３次元情報と、前記差分情報のうちの前記特定時刻とは異なる時刻の前記３次元情報とを、前記可動部位として抽出する、
付記６〜付記９の何れか１項に記載の可動自由度推定方法。
【０１４２】
（付記１６）
特定時刻における対象物体の３次元情報である第１の情報と、特定時刻とは異なる時刻における前記対象物体の３次元情報である第２の情報とを取得し、
前記第１の情報と前記第２の情報との間の差分に応じて、前記対象物体のうちの可動部位を抽出し、
前記第１の情報と前記第２の情報との間の前記可動部位の変位に応じて、前記対象物体に含まれる可動部位の可動の自由度を推定し、
推定された前記可動部位の可動の自由度に基づいて、前記対象物体を表す３次元モデルの可動部位に対して、前記可動の自由度を表す自由度情報を付与する、
処理をコンピュータに実行させるための可動自由度推定プログラムを記憶した記憶媒体。
【符号の説明】
【０１４３】
１０   可動自由度推定システム
１２   ３次元センサ
１４   可動自由度推定装置
１６   ３次元情報取得部
１８   情報記憶部
２０   取得部
２２   抽出部
２４   推定部
２５   ３次元モデル作成部
２６   ３次元モデル記憶部
２８   付与部
２９   出力部
３０   出力装置
５０   コンピュータ
５１   ＣＰＵ
５３   記憶部
５９   記録媒体
６０   可動自由度推定プログラム
６１   ３次元情報取得プロセス
６２   取得プロセス
６３   抽出プロセス
６４   推定プロセス
６５   ３次元モデル作成プロセス
６６   付与プロセス
６７   出力プロセス
６８   情報記憶領域
６９   ３次元モデル記憶領域
【図１】
2019128838.tif 000012
【図２】
2019128838.tif 000013
【図３】
2019128838.tif 000014
【図４】
2019128838.tif 000015
【図５】
2019128838.tif 000016
【図６】
2019128838.tif 000017
【図７】
2019128838.tif 000018
【図８】
2019128838.tif 000019
【図９】
2019128838.tif 000020
【図１０】
2019128838.tif 000021
【図１１】
2019128838.tif 000022
【図１２】
2019128838.tif 000023
【図１３】
2019128838.tif 000024