(57)【要約】      （修正有）【課題】対象物の各部分の高精度な寸法データを提供する。【解決手段】寸法データ算出装置１０２０は、取得部１０２４Ａと、抽出部１０２４Ｂと、変換部１０２４Ｃと、算出部１０２４Ｄとを備える。取得部１０２４Ａは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部１０２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。変換部１０２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部１０２４Ｄは、変換部１０２４Ｃにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。【選択図】図１
2020184295.tif 000002
【特許請求の範囲】
【請求項１】
対象物が撮影された、深度マップを含む画像データを取得する取得部と、
前記深度マップから生成される３次元点群データを用いて前記対象物の対象物領域を抽出し、前記対象物領域に対応する前記深度マップの深度データに基づいて、前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを変換して、前記対象物のシルエット画像を生成する変換部と、
を備える、シルエット画像生成装置。
【請求項２】
前記変換部は、前記シルエット画像として、前記対象物領域に対応した前記深度データに関連付けられたモノクロ画像である階調シルエット画像を生成する、
請求項１に記載のシルエット画像生成装置。
【請求項３】
前記抽出部が、前記３次元点群データのうち、奥行方向に沿って所定の閾値距離より離れて存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
請求項１又は２に記載のシルエット画像生成装置。
【請求項４】
前記抽出部が、更に、
前記深度マップから生成される３次元点群データから、画像データにおける平面部分を推定し、
前記３次元点群データのうち、前記推定された平面部分に存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
請求項１から３の何れか一項に記載のシルエット画像生成装置。
【請求項５】
前記抽出部が、ランダムサンプリングにしたがってサンプルされるサンプル平面に関連付けられる３次元点群データの含有率を算出することに基づいて、前記平面部分を推定する、
請求項４に記載のシルエット画像生成装置。
【請求項６】
前記対象物が人であり、前記平面部分が床を含む、
請求項１から５の何れか一項に記載のシルエット画像生成装置。
【請求項７】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを用いて、前記対象物の各部分の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記抽出部により抽出される形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項８】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項７に記載の寸法データ算出装置。
【請求項９】
前記形状データを前記全長データに基づいて変換する変換部を更に備える、
請求項７又は８に記載の寸法データ算出装置。
【請求項１０】
前記変換部は、前記形状データを、前記全長データ及び前記対象物領域の深度データに基づいて新たな形状データに変換する、
請求項９に記載の寸法データ算出装置。
【請求項１１】
前記算出部は、前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分毎に最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する、
請求項９又は１０に記載の寸法データ算出装置。
【請求項１２】
請求項７から請求項１１のいずれか一項に記載の寸法データ算出装置を用いて算出した寸法データを用いて、前記対象物の形状に関連する製品を製造する、製品製造装置。
【請求項１３】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記対象物のシルエット画像から所定個数の形状パラメータの値を推定する推定部と、
前記推定された所定個数の形状パラメータの値に基づいて、前記対象物の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項１４】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項１３に記載の寸法データ算出装置。
【請求項１５】
前記形状データを、前記対象物領域の深度データに基づいて新たな形状データに変換する変換部を更に備える、
請求項１３又は１４に記載の寸法データ算出装置。
【請求項１６】
前記所定個数の形状パラメータが、前記サンプル対象物の３次元データを次元削減することによって得られる、
請求項１３から１５のいずれか１項に記載の寸法データ算出装置。
【請求項１７】
請求項１３から１６の何れか一項に記載の寸法データ算出装置を用いて算出した寸法データを用いて、前記対象物の形状に関連する製品を製造する、製品製造装置。
【請求項１８】
対象物が撮影された画像データから前記対象物に関する情報を処理する情報処理装置に接続される端末装置であって、
前記対象物が撮影された画像データを取得する取得部と、
前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する判定部と、
前記判定部による判定結果を出力部に示すとともに、前記画像データを前記情報処理装置に送信するか否かの入力を受け付ける受付部と、
を備える、端末装置。
【請求項１９】
前記判定部が、画素毎に所定の対象物であるか否かを識別する対象物識別モデルを用いて前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する、
請求項１８に記載の端末装置。
【請求項２０】
前記受付部は、前記対象物識別モデルを用いて識別された画素毎の識別結果から得られる判定用画像データを、前記取得部により取得された画像データに重畳して前記出力部に示す、
請求項１９に記載の端末装置。
【請求項２１】
対象物の形状パラメータの値を取得する形状パラメータ取得部と、
前記対象物の形状パラメータの値から前記対象物の３次元メッシュ・データを構成し、所定の部位に関連付けられた所定の部位領域を構成する前記３次元メッシュ・データの頂点の情報に基づいて、前記所定の部位の寸法データを算出する算出部と、
を備える、寸法データ算出装置。
【請求項２２】
前記算出部は、前記所定の部位に応じて、
前記３次元メッシュ・データの頂点の集合から、前記部位領域に部分的に関連付けられる計算点を選択的に抽出し、
各前記計算点に基づいて前記寸法データを算出する、
請求項２１に記載の寸法データ算出装置。
【請求項２３】
前記部位領域が筒状領域であり、
前記計算点に基づいて前記筒状領域の周の長さを計算することにより、前記寸法データが算出される、
請求項２２に記載の寸法データ算出装置。
【請求項２４】
前記算出部は、
前記筒状領域の重心軸に直交し、前記重心軸を原点とする、筒状領域の断面の長軸方向及び短軸方向に関して規定される座標系の３つ以上の象限内に存在する頂点の集合から個別に前記計算点を抽出する、
請求項２３に記載の寸法データ算出装置。
【請求項２５】
前記算出部は、
前記筒状領域を重心軸方向で走査して、長軸方向の長さ及び／又は短軸方向の長さが最小となるような前記筒状領域の断面領域を抽出し、
前記断面領域において、前記長軸方向の長さが最小となる２つの頂点と、前記短軸方向の長さが最小となる２つの頂点とを、前記計算点として抽出する、
請求項２３に記載の寸法データ算出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、寸法データ算出装置、製品製造装置、及びシルエット画像生成装置に関する。
【背景技術】
【０００２】
従来、対象物の形状に基づいて製品を製造する装置が検討されている。例えば、特許文献１（特開２０１７−０１８１５８号公報）には、指の爪を撮影して爪画像を得、取得された爪画像に基づいて、爪の形状、爪の位置、爪の曲率等の付け爪作成に必要な爪情報を得、これを記憶し、この爪情報に基づいて付け爪パーツを作成する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術では、対象物における多数の形状を高精度に算出することが困難であった。
【課題を解決するための手段】
【０００４】
第１観点の寸法データ算出装置は、取得部と、抽出部と、変換部と、算出部とを備える。取得部は、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部は、画像データから対象物の形状を示す形状データを抽出する。変換部は、形状データを全長データに基づいて変換し、シルエット化する。算出部は、変換部により変換された形状データを用いて、対象物の各部分の寸法データを算出する。このような構成により、寸法データ算出装置は、対象物の各部分の高精度な寸法データを提供できる。
【０００５】
第２観点の寸法データ算出装置は、取得部及び算出部を備える。取得部は、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部は、属性データを用いて、対象物の各部分の寸法データを算出する。これらの属性データを用いることにより、寸法データ算出装置は、対象物の各部分の高精度な寸法データを提供できる。
【０００６】
第３観点の情報処理装置は、対象物のシルエット画像を受け付ける受付部と、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、受け付けたシルエット画像から対象物の形状パラメータの値を推定する推定部と、を備え、推定された対象物の形状パラメータの値が、対象物が有する任意の部位に関連する寸法データに関連付けられる。このような構成により、対象物について算出される寸法データを高精度で提供することができる。
【０００７】
第４観点の情報処理装置は、対象物の属性データを受け付ける受付部と、サンプル対象物の属性データとサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、受け付けた属性データから対象物の形状パラメータの値を推定する推定部と、を備え、推定された対象物の形状パラメータの値が、対象物が有する任意の部位に関連する寸法データに関連付けられる。このような構成により、対象物について算出される寸法データを高精度で提供することができる。
【０００８】
第５観点の寸法データ算出装置は、対象物が撮影された画像データ及び対象物の全長データを取得する取得部と、画像データから対象物の形状を示す形状データを抽出する抽出部と形状データを全長データに基づいてシルエット画像に変換する変換部と、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、シルエット画像から所定個数の形状パラメータの値を推定する推定部と、推定された所定個数の形状パラメータの値に基づいて、対象物の寸法データを算出する算出部と、を備える。このような構成により、対象物について算出される寸法データを高精度で提供することができる。
【０００９】
第６観点のシルエット画像生成装置は、対象物が撮影された、深度マップを含む画像データを取得する取得部と、深度マップから生成される３次元点群データを用いて対象物の対象物領域を抽出し、対象物領域に対応する深度マップの深度データに基づいて、対象物の形状を示す形状データを抽出する抽出部と、形状データを変換して、対象物のシルエット画像を生成する変換部と、を備える。このような構成により、対象物の対象物領域の特定精度を向上させることができ、高精度なシルエット画像を得ることができる。
【００１０】
第７観点の寸法データ算出装置は、対象物が撮影された画像データ及び対象物の全長データを取得する取得部と、画像データから対象物の形状を示す形状データを抽出する抽出部と、形状データを用いて、対象物の各部分の寸法データを算出する算出部と、を備え、画像データが深度マップを含み、抽出部により抽出される形状データが深度マップにおける対象物の深度データに関連付けられる。このような構成により、更に高精度に対象物の形状データを生成することができ、対象物の各部分について更に高精度な寸法データを提供することができる。
【００１１】
第８観点の寸法データ算出装置は、対象物が撮影された画像データ及び対象物の全長データを取得する取得部と、画像データから対象物の形状を示す形状データを抽出する抽出部と、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、対象物のシルエット画像から所定個数の形状パラメータの値を推定する推定部と、推定された所定個数の形状パラメータの値に基づいて、対象物の寸法データを算出する算出部と、を備え、画像データが深度マップを含み、形状データが深度マップにおける対象物の深度データに関連付けられる。このような構成により、更に高精度に対象物の形状データを生成することができ、対象物について更に高精度な寸法データを提供することができる。
【００１２】
第９観点の端末装置は、対象物が撮影された画像データから対象物に関する情報を処理する情報処理装置に接続される端末装置である。かかる端末装置は、対象物が撮影された画像データを取得する取得部と、画像データに含まれる対象物が予め登録された対象物であるか否かを判定する判定部と、判定部による判定結果を出力部に示すとともに、画像データを情報処理装置に送信するか否かの入力を受け付ける受付部と、を備える。このような構成により、ユーザによる操作時間を短縮し得る端末装置を提供することができる。
【００１３】
第１０観点の寸法データ算出装置は、対象物の形状パラメータの値を取得する形状パラメータ取得部と、対象物の形状パラメータの値から対象物の３次元メッシュ・データを構成し、所定の部位に関連付けられた所定の部位領域を構成する３次元メッシュ・データの頂点の情報に基づいて、所定の部位の寸法データを算出する算出部と、を備える。このような構成により、対象物の所定の部位について、効率的かつ高精度に寸法データを算出することができる。
【図面の簡単な説明】
【００１４】
【図１】第１実施形態に係る寸法データ算出装置１０２０の構成を示す模式図である。
【図２】同実施形態に係る寸法データ算出装置１０２０の動作を説明するためのフローチャートである。
【図３】同実施形態に係る形状データの概念を示す模式図である。
【図４】同実施形態に係る製品製造システム１００１の概念を示す模式図である。
【図５】同実施形態に係る製品製造システム１００１の動作を説明するためのシーケンス図である。
【図６】同実施形態に係る端末装置１０１０に表示される画面の一例を示す模式図である。
【図７】同実施形態に係る端末装置１０１０に表示される画面の一例を示す模式図である。
【図８】第２実施形態に係る寸法データ算出装置２１２０の構成を示す模式図である。
【図９】同実施形態に係る二次回帰で用いるデータの概念を示す模式図である。
【図１０】同実施形態に係る製品製造システム２００１Ｓの概念を示す模式図である。
【図１１】第３実施形態に係る寸法データ算出システム３１００の模式図である。
【図１２】図１１の学習装置３０２５の動作を示すフローチャートである。
【図１３】図１１の寸法データ算出装置３０２０の動作を示すフローチャートである。
【図１４】形状パラメータの特性を示す概略説明図である。
【図１５】形状パラメータの特性を示す概略グラフである。
【図１６】第３実施形態に係る製品製造システム３００１の概念を示す模式図である。
【図１７】図１６の製品製造システム３００１の動作を示すシーケンス図である。
【図１８】図１６の端末装置３０１０に表示される画面の一例を示す模式図である。
【図１９】図１６の端末装置３０１０に表示される画面の一例を示す模式図である。
【図２０】第４実施形態に係る寸法データ算出システム４１００の模式図である。
【図２１】図２０の学習装置４１２５の動作を示すフローチャートである。
【図２２】図２０の寸法データ算出装置４０２０の動作を示すフローチャートである。
【図２３】第４実施形態に係る製品製造システム４００１Ｓの概念を示す模式図である。
【図２４】他の実施形態に係るシルエット画像生成装置５０２０の構成を示す模式図である。
【図２５】同実施形態に係るシルエット画像生成装置５０２０の動作を説明するためのフローチャートである。
【図２６】他の実施形態に係る寸法データ算出装置６０２０の構成を示す模式図である。
【図２７ａ】対象物を人体とした場合の人体モデルの概略図である。
【図２７ｂ】対象物を人体とした場合の人体モデルの概略図である。
【図２８】他の実施形態に係る寸法データ算出装置６０２０の動作を説明するためのフローチャートである。
【図２９】人体モデルに対し、筒状領域である胴体領域及び腕領域を構成する例を示した概略図である。
【図３０】人体モデルに対し、筒状領域である胴体領域及び腕領域を構成する例を示した概略図である。
【図３１】人体モデルに対し、筒状領域である胴体領域及び腕領域を構成する例を示した概略図である。
【図３２ａ】「ヒップ」に関する計算点を抽出する例を示した概略平面図である。
【図３２ｂ】「ヒップ」に関する計算点を抽出する例を示した概略立体図である。
【図３３ａ】「ウエスト」に関する計算点を抽出する例を示した概略平面図である。
【図３３ｂ】「ウエスト」に関する計算点を抽出する例を示した概略立体図である。
【図３４ａ】「手首」に関する計算点を抽出する例を示した概略平面図である。
【図３４ｂ】「手首」に関する計算点を抽出する例を示した概略立体図である。
【図３５ａ】「アームホール」に関する計算点を抽出する例を示した概略平面図である。
【図３５ｂ】「アームホール」に関する計算点を抽出する例を示した概略立体図である。
【図３６】他の実施形態に係る端末装置７０２０の構成を示す模式図である。
【図３７】図３６の端末装置７０２０に表示される画面の一例を示す模式図である。
【図３８】図３６の端末装置７０２０の動作を説明するためシーケンス図である。
【発明を実施するための形態】
【００１５】
＜第１実施形態＞
（１−１）寸法データ算出装置の構成
図１は本実施形態に係る寸法データ算出装置１０２０の構成を示す模式図である。
【００１６】
寸法データ算出装置１０２０は任意のコンピュータにより実現することができ、記憶部１０２１、入出力部１０２２、通信部１０２３、及び処理部１０２４を備える。なお、寸法データ算出装置１０２０は、ＬＳＩ（Large Scale Integration），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-Programmable Gate Array）などを用いてハードウェアとして実現されるものでもよい。
【００１７】
記憶部１０２１は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部１０２１は、対象物の長さ及び重さ等に関連付けて、後述する情報処理を実行するために必要な重み係数を記憶する。なお、重み係数は、後述する属性データ・画像データ・寸法データからなる教師データから機械学習を実行することであらかじめ取得される。
【００１８】
入出力部１０２２は、キーボード、マウス、タッチパネル等により実現され、コンピュータに各種情報を入力したり、コンピュータから各種情報を出力したりするものである。
通信部１０２３は、任意のネットワークカード等により実現され、有線又は無線によりネットワーク上の通信機器との通信を可能にするものである。
【００１９】
処理部１０２４は、各種情報処理を実行するものであり、ＣＰＵやＧＰＵといったプロセッサ及びメモリにより実現される。ここでは、コンピュータのＣＰＵ，ＧＰＵ等に記憶部１０２１に記憶されたプログラムが読み込まれることにより、処理部１０２４が、取得部１０２４Ａ、抽出部１０２４Ｂ、変換部１０２４Ｃ、及び算出部１０２４Ｄとして機能する。
【００２０】
取得部１０２４Ａは、対象物が撮影された画像データ及び対象物の全長データ・重量データ等を取得する。なお、ここでは、取得部１０２４Ａは、対象物を異なる方向から撮影した複数の画像データを取得する。
【００２１】
抽出部１０２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。具体的には、抽出部１０２４Ｂは、対象物の種類毎に準備されたセマンティックセグメンテーションのアルゴリズム（Mask R-CNN等）を用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。ここでは、セマンティックセグメンテーションのアルゴリズムは、対象物の形状が特定されていない教師データを用いて構築される。
【００２２】
なお、セマンティックセグメンテーションのアルゴリズムが、形状が不特定の対象物の教師データを用いて構築されている場合、必ずしも高精度に対象物の形状を抽出することができないことがある。このような場合、抽出部１０２４Ｂは、対象物領域からグラブカット（GrabCut）アルゴリズムにより対象物の形状データを抽出する。これにより、高精度に対象物の形状を抽出することが可能になる。さらに、抽出部１０２４Ｂは、グラブカットアルゴリズムにより特定された対象物の画像を、対象物の特定部分の色画像に基づいて補正するものでもよい。これにより、さらに高精度に対象物の形状データを生成することが可能となる。
【００２３】
変換部１０２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。これにより形状データが規格化される。
【００２４】
算出部１０２４Ｄは、変換部１０２４Ｃにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。具体的には、算出部１０２４Ｄは、変換部１０２４Ｃにより変換された形状データの次元削減を行なう。ここでいう、次元削減は、主成分分析、特にカーネル主成分分析（ＫｅｒｎｅｌＰＣＡ）、線形判別分析などの手法により実現される。
【００２５】
そして、算出部１０２４Ｄは、削減した各次元の値と対象物の部分ごとに最適化された重み係数とを用いて、対象物の各部分の寸法データを算出する。
【００２６】
さらに詳しくは、算出部１０２４Ｄは、１回目に削減した各次元の値と対象物の部分ごとに最適化された重み係数Ｗ１ｐｉとを線形結合して所定値Ｚｐｉを求める。なお、記号ｐは削減して得られる次元数であり、１０以上の値である。そして、算出部１０２４Ｄは、所定値Ｚｐｉと、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて２回目の次元削減を行い、２回目の次元削減で得られた各次元の値に基づいて、対象物の各部分の寸法データを算出する。なお、重み係数Ｗ１ｐｉの個数は、対象物の寸法箇所（ｉ個）毎に、削減された次元と同数準備される。
【００２７】
なお、上記説明では、算出部１０２４Ｄは、線形結合を用いて所定値Ｚｐｉを求めていたが、算出部１０２４Ｄは線形結合以外の手法でこれらの値を求めるものでもよい。具体的には、算出部１０２４Ｄは、次元削減で得られた各次元の値から２次の特徴量を生成し、当該２次の特徴量と対象物の部分ごとに最適化された重み係数とを結合することで、所定値を求めるようにしてもよい。
【００２８】
（１−２）寸法データ算出装置の動作
図２は本実施形態に係る寸法データ算出装置１０２０の動作を説明するためのフローチャートである。
【００２９】
まず、寸法データ算出装置１０２０は、外部の端末装置等を介して対象物の全体を異なる方向から撮影した複数の画像データを、対象物の全長を示す全長データとともに取得する（Ｓ１００１）。
【００３０】
次に、寸法データ算出装置１０２０は、各画像データから対象物の各部分の形状を示す形状データをそれぞれ抽出する（Ｓ１００２）。
続いて、寸法データ算出装置１０２０は、全長データに基づいて各形状データを所定の大きさに変換するリスケール処理を実行する（Ｓ１００３）。
【００３１】
次に、寸法データ算出装置１０２０は、変換後の複数の形状データを結合して、新たな形状データ（以下、計算用の形状データともいう。）を生成する。具体的には、図３に示すようにｈ行ｗ列の形状データを結合し、ｍ×ｈ×ｗのデータ列にする。なお、記号ｍは形状データの個数である（Ｓ１００４）。
【００３２】
この後、寸法データ算出装置１０２０は、新たに生成された形状データと、対象物の各部分に関して最適化された重み係数Ｗ１ｐｉとを用いて、対象物における第ｉ番目（ｉ＝１〜ｊ）の各部分の寸法データを算出する（Ｓ１００５〜Ｓ１００８）。なお、記号ｊは寸法データを算出しようとする寸法箇所の総数である。
【００３３】
（１−３）寸法データ算出装置の特徴
（１−３−１）
以上説明したように、本実施形態に係る寸法データ算出装置１０２０は、取得部１０２４Ａと、抽出部１０２４Ｂと、変換部１０２４Ｃと、算出部１０２４Ｄとを備える。取得部１０２４Ａは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部１０２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。変換部１０２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部１０２４Ｄは、変換部１０２４Ｃにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。
【００３４】
したがって、寸法データ算出装置１０２０は、画像データと全長データとを用いて対象物の各部分の寸法データを算出するので、高精度な寸法データを提供することができる。また、寸法データ算出装置１０２０では、多数の画像データ及び全長データを一度に情報処理することが可能であるので、多数の寸法データを高精度に提供することができる。
【００３５】
そして、このような寸法データ算出装置１０２０を用いることで、例えば、対象物として生物の各部分の寸法データを高精度に算出することができる。また、対象物として車や各種荷物など任意の物体の各部分の寸法データを高精度に算出することができる。
また、寸法データ算出装置を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
【００３６】
（１−３−２）
また、寸法データ算出装置１０２０では、取得部１０２４Ａが、対象物を異なる方向から撮影した複数の画像データを取得する。このような構成により、寸法データの精度を高めることができる。
【００３７】
（１−３−３）
また、寸法データ算出装置１０２０では、算出部１０２４Ｄが、変換部１０２４Ｃにより変換された形状データの次元削減を行なう。そして、算出部１０２４Ｄは、削減した各次元の値と対象物の部分ごとに最適化された重み係数Ｗ１ｐｉとを用いて、対象物の各部分の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度を高めることができる。
【００３８】
詳しくは、算出部１０２４Ｄは、削減した各次元の値と、対象物の第ｉ番目の部分に最適化された重み係数Ｗ１ｐｉとを線形結合して所定値Ｚｉを求める。また、算出部１０２４Ｄは、所定値Ｚｉと、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて２回目の次元削減を実行して、対象物の第ｉ番目の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度をさらに高めることができる。なお、上記説明において、算出部１０２４Ｄは、線形結合に代えて、次元削減で得られた各次元の値から２次の特徴量を生成し、当該２次の特徴量と対象物の部分ごとに最適化された重み係数とを結合することで、所定値を求めるようにしてもよい。
【００３９】
（１−３−４）
また、寸法データ算出装置１０２０では、抽出部１０２４Ｂが、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。このような構成により、寸法データの精度を高めることができる。
【００４０】
なお、セマンティックセグメンテーションのアルゴリズムは一般的に公開されているものもあるが、一般的に公開されているものは、通常は対象物の形状が特定されていない教師データを用いて構築されている。そのため、目的によっては、画像データに含まれる対象物領域を抽出する精度が必ずしも十分でないことがある。
【００４１】
そこで、このような場合には、抽出部１０２４Ｂは、対象物領域からグラブカットアルゴリズムにより対象物の形状データを抽出する。このような構成により、寸法データの精度をさらに高めることができる。
【００４２】
さらに、抽出部１０２４Ｂは、グラブカットアルゴリズムにより抽出された対象物の画像を、画像データにおける特定部分の色画像に基づいて補正して、新たな形状データを生成するものでもよい。このような構成により、寸法データの精度をさらに高めることができる。例えば、対象物が人である場合、特定部分として手及び背中を設定し、これらの特定部分の色画像に基づいて補正することで、対象物である人の形状データを高精度に得ることができる。
【００４３】
（１−４）変形例
（１−４−１）
上記説明においては、取得部１０２４Ａが、対象物を異なる方向から撮影した複数の画像データを取得するとしたが、必ずしも画像データが複数必要なわけではない。対象物の画像データが一枚であっても各部分の寸法データを算出することは可能である。
【００４４】
本実施形態の変形例として、深度データを併せて取得可能な深度データ測定装置が適用可能であり、深度データに基づいてピクセル毎に深度データを有する深度マップが構成されてもよい。このような深度データ測定装置を適用することにより、取得部１０２４Ａで取得することができる画像データはＲＧＢ−Ｄ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｄｅｐｔｈ）データとすることができる。具体的には、画像データは、通常の単眼カメラで取得可能なＲＧＢ画像データに加えて、深度マップを含むことができる。
【００４５】
深度データ測定装置の一例はステレオカメラである。本明細書において「ステレオカメラ」とは、対象物を複数の異なる方向から同時に撮影して、両眼視差を再現して深度マップを構成可能な任意の形態の撮像装置を意味している。また、ステレオカメラ以外にも、ＬｉＤＡＲ（Light Detection and Ranging）装置により深度データを求め、深度マップを構成してもよい。
【００４６】
（１−４−２）
上記説明においては、セマンティックセグメンテーションアルゴリズム及び／又はグラブカットアルゴリズムを採用して、対象物の形状データを取得してよいものとした。これに加えて、或いはこれに替えて、例えば、ステレオカメラを適用した場合には、ステレオカメラから取得される深度マップを用いて、対象物の深度データを対象物の形状データに関連付けることができる。これにより、更に高精度に対象物の形状データを生成することが可能となる。
【００４７】
具体的には、ステレオカメラを用いる場合、抽出部１０２４Ｂは、取得部１０２４Ａで取得した深度マップに基づいて、対象物が撮影された画像データから、対象物が写っている部分である対象物領域を抽出する。例えば、深度マップから、深度データが所定の範囲にはない領域を取り除くことにより、対象物領域が抽出される。抽出された対象物領域では、形状データは、ピクセルごとに対象物の深度データに関連付けられている。
【００４８】
変換部１０２４Ｃは、形状データを全長データに基づいて変換する。また、変換部１０２４Ｃは、形状データを、全長データに加えて、当該対象物領域の深度データに基づいてモノクロ画像データに変換して、「階調シルエット画像」（新たな形状データ）を生成する（後述）。
【００４９】
生成される階調シルエット画像は、単なる白黒の２値化データではなく、深度データに基づいて、例えば輝度値が０（「黒」）から１（「白」）までのデータで表された単色多階調のモノクロ画像である。つまり、階調シルエット画像データは、深度データに関連づけられて、対象物の形状に関して更に多くの情報量を有するものである。なお、階調シルエット画像データは全長データにより規格化されている。
【００５０】
この変形例によれば、取得部１０２４Ａに深度データを測定できる任意の機械を用いて構成される深度マップに基づいて対象物領域を抽出することにより、更に高精度に対象物の形状データを抽出することが可能となる。また、階調シルエット画像データ（変換される形状データ）は、対象物の深度データに関連付けられるので、対象物の形状に関して更に多くの情報量を有し、算出部１０２４Ｄによる対象物の各部分の寸法データを更に高精度に算出することが可能となる。
【００５１】
補足すると、算出部１０２４Ｄが、変換部１０２４Ｃにより変換された階調シルエット画像データ（形状データ）を次元削減する。この場合、１回目に削減される次元の数は、２値化データのシルエット画像に比して１０倍程度大きくなる。また、重み係数の個数は、対象物の寸法箇所（ｉ個）毎に、削減された次元に応じて準備される。
【００５２】
なお、ここでは階調シルエット画像を単なるシルエット画像と区別して記述したが、他の実施形態及び他の変形例においては、両者を区別せずに単にシルエット画像と記載する場合がある。
【００５３】
（１−４−３）
上記説明においては、算出部１０２４Ｄが、次元削減を２回実行しているが、必ずしもこのような処理が必要なわけではない。算出部１０２４Ｄは、次元削減を１回実行することで得られた各次元の値から、対象物の各部分の寸法データを算出するものでもよい。また、目的によっては、寸法データ算出装置１０２０は、形状データを次元削減せずに寸法データを算出するものでもよい。
【００５４】
（１−４−４）
上記説明においては、抽出部１０２４Ｂが、対象物の形状が特定されていない教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出するとしたが、必ずしもこのような教師データを利用しなければならないものではない。例えば、対象物の形状が特定された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いてもよい。対象物の形状が特定された教師データを用いることで、目的に応じて、寸法データの計算精度を高めるとともに、計算負荷を抑制することができる。
【００５５】
（１−５）製品製造システムへの適用
以下、上述した寸法データ算出装置１０２０を製品製造システム１００１に適用する例について説明する。
（１−５−１）製品製造システムの構成
図４は本実施形態に係る製品製造システム１００１の概念を示す模式図である。
製品製造システム１００１は、ユーザ１００５が保有する端末装置１０１０と通信可能な寸法データ算出装置１０２０と、製品製造装置１０３０とを備え、所望の製品１００６を製造するためのシステムである。図４では、一例として、対象物１００７が人であり、製品１００６が椅子であるときの概念を示している。ただし、本実施形態に係る製品製造システムの対象物１００７及び製品１００６はこれらに限定されるものではない。
【００５６】
端末装置１０１０は、いわゆるスマートデバイスにより実現することができる。ここでは、スマートデバイスに、ユーザ用プログラムがインストールされることで端末装置１０１０が各種機能を発揮する。具体的には、端末装置１０１０は、ユーザ１００５により撮像される画像データを生成する。ここで、端末装置１０１０は、対象物を複数の異なる方向から同時に撮影して、両眼視差を再現するステレオカメラ機能を有するものでもよい。なお、画像データは端末装置１０１０で撮影されるものに限定されず、例えば、店舗内に設置されたステレオカメラを用いて撮影されたものを利用してもよい。
【００５７】
また、端末装置１０１０は、対象物１００７の属性を示す属性データの入力を受け付ける。「属性」としては、対象物１００７の全長・重量・生成からの経過時間（年齢を含む）などが挙げられる。また、端末装置１０１０は、通信機能を有しており、寸法データ算出装置１０２０及び製品製造装置１０３０と各種情報の送受信を実行する。
【００５８】
寸法データ算出装置１０２０は任意のコンピュータにより実現することができる。ここでは、寸法データ算出装置１０２０の記憶部１０２１は、端末装置１０１０のユーザ１００５を識別する識別情報に関連付けて、端末装置１０１０から送信される情報を記憶する。また、記憶部１０２１は、後述する情報処理を実行するために必要なパラメータ等を記憶する。例えば、記憶部１０２１は、対象物１００７の属性の項目等に関連付けて、後述する情報処理を実行するために必要な重み係数Ｗ１ｐｉを記憶する。
【００５９】
また、寸法データ算出装置１０２０の処理部１０２４は、上述したように、取得部１０２４Ａ、抽出部１０２４Ｂ、変換部１０２４Ｃ、及び算出部１０２４Ｄとして機能する。ここでは、取得部１０２４Ａは、ユーザ１００５により撮影された画像データ及び対象物１００７の属性データを取得する。また、抽出部１０２４Ｂは、画像データから対象物１００７の形状を示す形状データを抽出する。例えば、対象物の種類として「人」が予め設定されている場合には、人を識別するための教師データを用いてセマンティックセグメンテーションのアルゴリズムが構築されている。また、抽出部１０２４Ｂは、グラブカットアルゴリズムにより特定された対象物１００７の画像を、対象物１００７の特定部分の色画像に基づいて補正し、さらに高精度に対象物１００７の形状データを生成する。また、変換部１０２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部１０２４Ｄは、変換部１０２４Ｃにより変換された形状データを用いて、ユーザ１００５の各部分の寸法データを算出する。ここでは、算出部１０２４Ｄは、削減した各次元の値と対象物１００７の部分ごとに最適化された重み係数Ｗ１ｐｉとを線形結合等して所定値Ｚ１ｉを求める。そして、算出部１０２４Ｄは、所定値Ｚ１ｉと、対象物１００７の属性データとを用いて次元削減し、削減した各次元の値に基づいて、対象物１００７の各部分の寸法データを算出する。
【００６０】
製品製造装置１０３０は、寸法データ算出装置１０２０を用いて算出された寸法データを用いて、対象物１００７の形状に関連する所望の製品を製造する製造装置である。なお、製品製造装置１０３０は、自動で製品を製造・加工できる任意の装置を採用することができ、例えば３次元プリンタなどにより実現することができる。
【００６１】
（１−５−２）製品製造システムの動作
図５は本実施形態に係る製品製造システム１００１の動作を説明するためのシーケンス図である。また、図６，７は端末装置１０１０の画面遷移を示す模式図である。
まず、端末装置１０１０を介して対象物１００７の全体が異なる方向から写るように複数回撮像されて、対象物１００７が撮像された複数の画像データが生成される（Ｔ１００１）。ここでは、図６，７にそれぞれ示すような、正面及び側面の写真が複数枚撮影される。
【００６２】
次に、ユーザ１００５により端末装置１０１０に、対象物１００７の属性を示す属性データが入力される（Ｔ１００２）。ここでは、属性データとして、対象物１００７の全長データ・重量データ・経時データ（年齢等を含む）等が入力される。
そして、これらの複数の画像データ及び属性データが端末装置１０１０から寸法データ算出装置１０２０に送信される。
【００６３】
寸法データ算出装置１０２０では、端末装置１０１０から複数の画像データ及び属性データを受信すると、これらのデータを用いて、対象物１００７の各部分の寸法データを算出する（Ｔ１００３）。なお、端末装置１０１０には、設定に応じて、寸法データが画面に表示される。
【００６４】
そして、製品製造装置１０３０が、寸法データ算出装置１０２０により算出された寸法データに基づいて所望の製品１００６を製造する（Ｔ１００４）。
【００６５】
（１−５−３）製品製造システムの特徴
以上説明したように、本実施形態に係る製品製造システム１００１は、ユーザ１００５が保有する端末装置１０１０と通信可能な寸法データ算出装置１０２０と、製品製造装置１０３０とを備える。端末装置１０１０（撮影装置）は、対象物１００７の画像を複数枚撮影する。寸法データ算出装置１０２０は、取得部１０２４Ａと、抽出部１０２４Ｂと、変換部１０２４Ｃと、算出部１０２４Ｄと、を備える。取得部１０２４Ａは、端末装置１０１０から対象物１００７の画像データを当該対象物１００７の全長データとともに取得する。抽出部１０２４Ｂは、画像データから対象物１００７の形状を示す形状データを抽出する。変換部１０２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部１０２４Ｄは、変換部１０２４Ｃにより変換された形状データを用いて、対象物１００７の各部分の寸法データを算出する。製品製造装置１０３０は、算出部１０２４Ｄにより算出された寸法データを用いて製品１００６を製造する。
【００６６】
このような構成により、寸法データ算出装置１０２０が高精度に対象物１００７の各部分を高精度に算出するので、対象物１００７の形状に関連する所望の製品を提供できる。
【００６７】
例えば、製品製造システム１００１により、心臓などの各種臓器の形状の測定から、臓器の模型を製造することができる。
また、例えば、人のウエスト形状の測定から各種ヘルスケア製品等を製造することができる。
また、例えば、人の形状から当該人のフィギュア製品を製造することができる。
また、例えば、人の形状から当該人に適合する椅子などを製造することができる。
また、例えば、車の形状から車のおもちゃを製造することができる。
また、例えば、任意の風景画からジオラマなどを製造することができる。
【００６８】
なお、上記説明においては、寸法データ算出装置１０２０と製品製造装置１０３０とが別部材の装置として説明しているが、これらは一体として構成されるものでもよい。
【００６９】
＜第２実施形態＞
以下、既に説明した構成及び機能については略同一符号を付して説明を省略する。
（２−１）寸法データ算出装置の構成
図８は本実施形態に係る寸法データ算出装置２１２０の構成を示す模式図である。
【００７０】
寸法データ算出装置２１２０は任意のコンピュータにより実現することができ、記憶部２１２１、入出力部２１２２、通信部２１２３、及び処理部２１２４を備える。なお、寸法データ算出装置２１２０は、ＬＳＩ（Large Scale Integration），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-Programmable Gate Array）などを用いてハードウェアとして実現されるものでもよい。
【００７１】
記憶部２１２１は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部２１２１は、対象物の長さ及び重さ等に関連付けて、後述する情報処理を実行するために必要な重み係数Ｗｒｉを記憶する。なお、重み係数は、後述する属性データ・寸法データからなる教師データから機械学習を実行することであらかじめ取得される。
【００７２】
入出力部２１２２は、前述の入出力部１０２２と同様の構成及び機能を有するものである。
通信部２１２３は、前述の通信部１０２３と同様の構成及び機能を有するものである。
【００７３】
処理部２１２４は、各種情報処理を実行するものであり、ＣＰＵやＧＰＵといったプロセッサ及びメモリにより実現される。ここでは、コンピュータのＣＰＵ，ＧＰＵ等に記憶部２１２１に記憶されたプログラムが読み込まれることにより、処理部２１２４が、取得部２１２４Ａ、及び算出部２１２４Ｄとして機能する。
【００７４】
取得部２１２４Ａは、対象物の全長データと重量データと経時データ（年齢等を含む）とのうちの少なくともいずれかを含む属性データＤｚｒ（ｒは属性データの要素数）を取得する。
【００７５】
算出部２１２４Ｄは、取得部２１２４Ａにより取得された属性データを用いて、対象物の各部分の寸法データを算出する。具体的には、算出部２１２４Ｄは、属性データを、機械学習された重み係数Ｗｓｉを用いて二次回帰することにより、対象物の各部分の寸法データを算出する。重み係数は、対象物の部分ごとに最適化されており、対象物における第ｉ番目の部分の重み係数をＷｓｉと表記する。なお、ｉ＝１〜ｊであり、ｊは寸法データを算出しようとする寸法箇所の総数である。また、記号ｓは属性データから得られる演算に用いられる要素の数である。
【００７６】
詳しくは、算出部２１２４Ｄは、図９に示すように、属性データＤｚｒ（ｒ＝３）の各要素ｘ１，ｘ２，ｘ３を２乗した値（図９における１行目の値であり、二次項ともいう。）、各要素を掛け合わせた値（図９における２行目の値であり、相互作用項ともいう。）、各要素自体の値（図９における３行目の値であり、一次項ともいう）を用いて、寸法データを算出する。なお、図９に示す例では、３つの属性データの要素ｘ１，ｘ２，ｘ３から得られる値が９つあり、ｓ＝９であるので、重み係数Ｗｓｉはｉ×９個の要素を有することになる。
（２−２）寸法データ算出装置の特徴
【００７７】
以上説明したように、本実施形態に係る寸法データ算出装置２１２０は、取得部２１２４Ａと、算出部２１２４Ｄとを備える。取得部２１２４Ａは、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部２１２４Ｄは、属性データを用いて、対象物の各部分の寸法データを算出する。
【００７８】
したがって、寸法データ算出装置２１２０は、上記属性データを用いて対象物の各部分の寸法データを算出するので、高精度な寸法データを提供することができる。具体的には、算出部２１２４Ｄが、属性データを機械学習された係数を用いて二次回帰することにより、対象物の各部分の寸法データを高精度に算出する。
また、寸法データ算出装置２０２０では、多数のデータを一度に情報処理することが可能であるので、多数の寸法データを高速に提供することができる。
【００７９】
また、属性データとして、全長データと重量データと経時データとのうちの少なくともいずれかを含んでいる場合、生物の各部分の寸法データを高精度に算出することができる。
また、寸法データ算出装置２１２０を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
【００８０】
なお、上記説明においては、算出部２１２４Ｄが、属性データを二次回帰することにより、対象物の各部分の寸法データを算出するとしたが、算出部２１２４Ｄの演算はこれに限定されるものではない。算出部２１２４Ｄは、属性データを線形結合して寸法データを求めるものでもよい。
【００８１】
（２−３）製品製造システムへの適用
図１０は本実施形態に係る製品製造システム２００１Ｓの概念を示す模式図である。
本実施形態に係る寸法データ算出装置２１２０も、第１実施形態に係る寸法データ算出装置１０２０と同様に、製品製造システム２００１Ｓに適用することが可能である。
【００８２】
本実施形態に係る端末装置２０１０Ｓは、対象物２００７の属性を示す属性データの入力を受け付けるものであればよい。「属性」としては、対象物１００７の全長・重量・生成からの経過時間（年齢を含む）などが挙げられる。
【００８３】
また、上述したように、寸法データ算出装置２１２０の処理部２１２４は、取得部２１２４Ａ及び算出部２１２４Ｄとして機能する。算出部２１２４Ｄは、取得部２１２４Ａにより取得された属性データを用いて、対象物２００７の各部分の寸法データを算出する。具体的には、算出部２１２４Ｄは、属性データを機械学習された重み係数Ｗｓｉを用いて二次回帰することにより、対象物の各部分の寸法データを算出する。
【００８４】
製品製造システム２００１Ｓでは、寸法データ算出装置２１２０が高精度に対象物２００７の各部分を高精度に算出するので、対象物２００７の形状に関連する所望の製品を提供できる。その他、第２実施形態に係る製品製造システム２００１Ｓは、第１実施形態の製品製造システム１００１と同様の効果を発揮することができる。
【００８５】
＜第３実施形態＞
【００８６】
以下に、本発明の製品製造装置及び寸法データ算出装置の実施形態に係る寸法データ算出システムを添付図面とともに説明する。以下の実施形態の説明において、情報処理装置及び寸法データ算出装置は、寸法データ算出システムの一部として実装される。
【００８７】
添付図面において、同一又は類似の要素には同一又は類似の参照符号が付され、各実施形態の説明において同一又は類似の要素に関する重複する説明は省略することがある。また、各実施形態で示される特徴は、互いに矛盾しない限り他の実施形態にも適用可能である。更に、図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。
【００８８】
なお、以下の説明において、行列やベクトルなどを用いて複数の要素をまとめて表記する場合は大文字で表し、行列の個々の要素を表記する場合は小文字で表すことがある。例えば、形状パラメータの集合を示す場合等は行列Λと表記し、行列Λの要素を表す場合は、要素λと表記する場合がある。
【００８９】
（３−１）寸法データ算出システムの構成
図１１は本実施形態に係る寸法データ算出システム３１００の構成を示す模式図である。寸法データ算出システム３１００は、寸法データ算出装置３０２０及び学習装置３０２５を備える。
【００９０】
寸法データ算出装置３０２０及び学習装置３０２５は、それぞれ、任意のコンピュータにより実現することができる。寸法データ算出装置３０２０は、記憶部３０２１、入出力部３０２２、通信部３０２３、及び処理部３０２４を備える。また、学習装置３０２５は、記憶部３０２６及び処理部３０２７を備える。なお、寸法データ算出装置３０２０及び学習装置３０２５は、ＬＳＩ(Large Scale Integration)，ＡＳＩＣ(Application Specific Integrated Circuit)，ＦＰＧＡ(Field-Programmable Gate Array)等を用いてハードウェアとして実現されてもよい。
【００９１】
記憶部３０２１，３０２６は、何れも各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部３０２１は、処理部３０２４において寸法データ算出に関する情報処理を実行するために、対象物エンジン３０２１Ａを含む各種データ、プログラム、情報等を格納する。また、記憶部３０２６は、対象物エンジン３０２１Ａを生成するために、学習段階で利用される訓練データを格納する。
【００９２】
入出力部３０２２は、キーボード、マウス、タッチパネル等により実現され、コンピュータに各種情報を入力したり、コンピュータから各種情報を出力したりする。
通信部３０２３は、任意のネットワークカード等のネットワークインタフェースにより実現され、有線又は無線によりネットワーク上の通信機器との通信を可能にする。
【００９３】
処理部３０２４，３０２７は、何れも各種情報処理を実行するために、ＣＰＵ(Central Processing Unit)及び／又はＧＰＵ(Graphical Processing Unit)といったプロセッサ、並びにメモリにより実現される。処理部３０２４は、コンピュータのＣＰＵ，ＧＰＵ等に、記憶部３０２１に記憶されたプログラムが読み込まれることにより、取得部３０２４Ａ、抽出部３０２４Ｂ、変換部３０２４Ｃ、推定部３０２４Ｄ、及び算出部３０２４Ｅとして機能する。同様に、処理部３０２７は、コンピュータのＣＰＵ，ＧＰＵ等に、記憶部３０２６に記憶されたプログラムが読み込まれることにより、前処理部３０２７Ａ及び学習部３０２７Ｂとして機能する。
【００９４】
寸法データ算出装置３０２０の処理部３０２４において、取得部３０２４Ａは、対象物が撮影された画像データ、並びに対象物の全長データ及び重量データ等の属性データを取得する。取得部３０２４Ａは、例えば、撮像装置により、対象物を複数の異なる方向から撮影した複数の画像データを取得する。
【００９５】
抽出部３０２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。具体的には、抽出部３０２４Ｂは、対象物の種類毎に準備されたセマンティックセグメンテーションのアルゴリズム(Mask R-CNN等)を用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。セマンティックセグメンテーションのアルゴリズムは、対象物の形状が特定されていない訓練データを用いて構築できる。
【００９６】
なお、セマンティックセグメンテーションのアルゴリズムが、形状が不特定の対象物の訓練データを用いて構築されている場合、必ずしも高精度に対象物の形状を抽出することができないことがある。このような場合、抽出部３０２４Ｂは、対象物領域からグラブカット(Grab Cut)アルゴリズムにより対象物の形状データを抽出する。これにより、高精度に対象物の形状を抽出することが可能になる。
【００９７】
また、抽出部３０２４Ｂは、グラブカットアルゴリズムにより特定された対象物の画像を、対象物の特定部分の色画像に基づいて補正することにより、対象物と対象物以外の背景画像とを分離してもよい。これにより、更に高精度に対象物の形状データを生成することが可能となる。
【００９８】
変換部３０２４Ｃは、形状データを全長データに基づいてシルエット化する。つまり、対象物の形状データを変換して、対象物のシルエット画像を生成する。これにより、形状データが規格化される。変換部３０２４Ｃは、生成されたシルエット画像を推定部３０２４Ｄに入力するための受付部としても機能することになる。
【００９９】
推定部３０２４Ｄは、シルエット画像から所定個数の形状パラメータの値を推定する。推定には、対象物エンジン３０２１Ａが使用される。推定部３０２４Ｄで推定された所定個数の対象物の形状パラメータの値は、対象物が有する任意の部位に関連する寸法データに関連付けられる。
【０１００】
算出部３０２４Ｅは、推定部３０２４Ｄによって推定された所定個数の形状パラメータの値から、これに関連付けられた対象物の寸法データを算出する。具体的には、算出部３０２４Ｅは、推定部３０２４Ｄで推定された対象物の形状パラメータの値から、対象物における複数の頂点の３次元データを構成し、更に、当該３次元データに基づいて対象物における任意の２つの頂点の間の寸法データを算出する。
【０１０１】
学習装置３０２５の処理部３０２７において、前処理部３０２７Ａは、学習のための各種前処理を実施する。特に、前処理部３０２７Ａは、サンプル対象物の３次元データを次元削減により特徴抽出することを通じて、所定個数の形状パラメータを特定する。また、サンプル対象物ごとに所定個数（次元）の形状パラメータの値を得る。サンプル対象物の形状パラメータの値は、訓練データとして記憶部３０２６に格納される。
【０１０２】
また、前処理部３０２７Ａは、サンプル対象物の３次元データに基づいて、３次元空間内にサンプル対象物の３次元物体を仮想的に構成した上で、３次元空間内に仮想的に設けた撮像装置を用いて所定方向から３次元物体を投影してサンプル対象物のシルエット画像を生成する。生成されたサンプル対象物のシルエット画像のデータは、訓練データとして記憶部３０２６に格納される。
【０１０３】
学習部３０２７Ｂは、サンプル対象物のシルエット画像と、サンプル対象物に関連付けられる所定個数の形状パラメータの値との関係を関連付けるように学習する。学習の結果、対象物エンジン３０２１Ａが生成される。生成された対象物エンジン３０２１Ａは、電子ファイルの形態で保持できる。寸法データ算出装置３０２０において対象物の寸法データを算出する際には、対象物エンジン３０２１Ａは、記憶部３０２１に格納されて推定部３０２４Ｄによって参照される。
【０１０４】
（３−２）寸法データ算出システムの動作
図１２及び図１３を参照して、図１１の寸法データ算出システム３１００の動作を説明する。図１２は、学習装置３０２５の動作（Ｓ３０１０）を示すフローチャートであり、サンプル対象物データに基づいて対象物エンジン３０２１Ａを生成する。図１３は、寸法データ算出装置３０２０の動作を示すフローチャートであり、対象物の画像データに基づいて対象物の寸法データを算出する。
【０１０５】
（３−２−１）学習装置の動作
最初に、サンプル対象物のデータが準備され、記憶部３０２６に格納される（Ｓ３０１１）。一例では、準備されるデータは、４００個のサンプル対象物のデータであり、サンプル対象物ごとに５，０００個の３次元データを含む。３次元データには、サンプル対象物が有する頂点の３次元座標データが含まれる。また、３次元データには、３次元物体を構成する各メッシュの頂点情報及び各頂点の法線方向等のメッシュ・データ、並びに、全長データ、重量データ、及び経時データ（年齢等を含む。）等の属性データが含まれてもよい。
【０１０６】
サンプル対象物の３次元データは、頂点番号が関連付けられている。前述の例では、サンプル対象物ごとに、５，０００個の頂点の３次元データが頂点番号＃１〜＃５，０００に対応付けられている。また、頂点番号の全部又は一部は、対象物の部位の情報が関連付けられている。例えば、対象物が「人」の場合、頂点番号＃２０は「頭頂点」に関連付けられ、同様に、頂点番号＃３１３は「左肩の肩峰」に、頂点番号＃５２１は「右肩の肩峰」に関連付けられる等である。
【０１０７】
続いて、前処理部３０２７Ａは、次元削減により形状パラメータへの特徴変換を行う（Ｓ３０１２）。具体的には、サンプル対象物ごとに、サンプル対象物の３次元データを次元削減により特徴抽出を行う。その結果、所定個数（次元数）の形状パラメータを得る。一例では、形状パラメータの次元数は３０である。次元削減は、主成分分析、Random Projection等の手法により実現される。
【０１０８】
前処理部３０２７Ａは、主成分分析の射影行列を用いて、サンプル対象物ごとに３次元データから所定個数の形状パラメータの値に変換する。これにより、関連する特徴的な情報を維持した上で、サンプル対象物の３次元データからノイズを取り除き、３次元データを圧縮することができる。
【０１０９】
前述の例のように、サンプル対象物のデータが４００個あり、各サンプル対象物が５，０００個の頂点の３次元（座標）データを含み、各３次元データを３０次元の形状パラメータに特徴変換することを想定する。ここでは、４００個のサンプル対象物のデータを表す〔４００行，１５，０００列（５，０００×３）〕の頂点座標行列を行列Ｘとする。また、主成分分析によって生成される〔１５，０００行、３０列〕の射影行列を行列Ｗとする。頂点座標行列Ｘに対し、射影行列Ｗを右から掛けることによって、〔４００行、３０列〕の形状パラメータ行列である行列Λを得ることができる。
【０１１０】
つまり、形状パラメータ行列Λは次の数式から計算することができる。
【数１】
2020184295.tif 000003
【０１１１】
射影行列Ｗを用いた行列演算の結果、４００個のサンプル対象物がそれぞれ有する１５，０００次元のデータは、３０次元の主成分の形状パラメータ（λ１，．．．，λ３０）に特徴変換される。なお、主成分分析では、λｉに対する４００個分の値（λ１，１，．．．，λ４００，１）の平均値がゼロになるように計算されている。
【０１１２】
Ｓ３０１２の結果、形状パラメータ行列Λを得たのに続いて、前処理部３０２７Ａは、形状パラメータ行列Λに含まれている形状パラメータのデータ・セットを、乱数を用いて拡張する（Ｓ３０１３）。前述の例では、４００個のデータ・セット（λｉ，１，．．．，λｉ，３０（１≦ｉ≦４００））を、１０，０００個の形状パラメータの拡張データ・セット（λｊ，１，．．．，λｊ，３０（１≦ｊ≦１０，０００））にデータ拡張する。データ拡張は、正規分布を有する乱数を用いて行う。拡張データ・セットは、各形状パラメータの値の分散が３σの正規分布となる。
【０１１３】
拡張データ・セットに対し、射影行列Ｗに基づく逆変換を行うことにより、拡張データ・セットの３次元データを構成することができる。前述の例において、更に、１０，０００個の拡張データ・セットを表す、〔１０，０００行、３０列〕の拡張形状パラメータ行列を行列Λ’（λｊ，ｋ，．．．，λｊ，ｋ（１≦ｊ≦１０，０００及び１≦ｋ≦３０））とする。１０，０００個のサンプル対象物の３次元データを表す頂点座標行列Ｘ’は、拡張形状パラメータ行列Λ’に対して、〔３０行，１５，０００列〕である射影行列Ｗの転置行列ＷＴを右から掛けることによって得られる。
【０１１４】
つまり、頂点座標行列Ｘ’は、次の数式から計算することができ、１０，０００個に拡張されたサンプル対象物ごとに、５，０００個（１５，０００／３）の３次元データを得ることができる。
【数２】
2020184295.tif 000004
【０１１５】
Ｓ３０１３の結果、頂点座標行列Ｘ’が得られたのに続いて、前処理部３０２７Ａは、拡張されたサンプル対象物の３次元データに基づいて、それぞれのシルエット画像を生成する（Ｓ３０１４）。前述の例では、１０，０００個のサンプル対象物ごとに、３次元空間内において５，０００個の３次元データから、サンプル対象物の３次元物体を仮想的に構成する。そして、同じく３次元空間内に仮想的に設けられ、任意の方向から投影可能な投影装置を用いて３次元物体を投影する。前述の例では、１０，０００個のサンプル対象物ごとに、正面方向及び側面方向の２枚のシルエット画像を投影により取得するのがよい。取得されるシルエット画像は、白黒の２値化データで表される。
【０１１６】
最後に、学習部３０２７Ｂは、学習により、サンプル対象物に関連付けられた形状パラメータの値と、サンプル対象物のシルエット画像との関係を関連付ける（Ｓ３０１５）。具体的には、Ｓ３０１３で得た形状パラメータのデータ・セットと、Ｓ３０１４で得たシルエット画像との組を訓練データに用いて、両者の関係をディープラーニングにより学習させるのがよい。
【０１１７】
より詳しくは、前述の例で１０，０００個に拡張されたサンプル対象物について、各シルエット画像の２値化データをディープラーニングのネットワーク・アーキテクチャに入力する。ディープラーニングにおける特徴抽出では、ネットワーク・アーキテクチャから出力されるデータが、３０個の形状パラメータの値に近づくように、ネットワーク・アーキテクチャの重み係数が設定される。なお、ここでのディープラーニングは、一例では、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を利用する
ことができる。
【０１１８】
このようにして、Ｓ３０１４では、サンプル対象物に関連付けられた形状パラメータの値と、サンプル対象物のシルエット画像との関係をディープラーニングにより学習させ、ディープラーニングのネットワーク・アーキテクチャが構築される。その結果、対象物のシルエット画像が入力されるのに応じて、形状パラメータの値を推定する推定モデルである対象物エンジン３０２１Ａが生成される。
【０１１９】
（３−２−２）寸法データ算出装置の動作
寸法データ算出装置３０２０は、学習装置３０２５で生成された対象物エンジン３０２１Ａの電子ファイル、及び学習装置３０２５で得た主成分分析の射影情報を予め記憶部３０２１に格納して、対象物の寸法データ算出に使用する。
【０１２０】
最初に、取得部３０２４Ａは、入出力部３１２２を通じて、外部の端末装置等を介して対象物の全体を異なる方向から撮影した複数の画像データを、対象物の全長を示す全長データと共に取得する（Ｓ３０２１）。次いで、抽出部３０２４Ｂは、各画像データから対象物の各部分の形状を示す形状データをそれぞれ抽出する（Ｓ３０２２）。続いて、変換部３０２４Ｃは、全長データに基づいて各形状データを所定の大きさに変換するリスケール処理を実行する（Ｓ３０２３）。Ｓ３０２１〜Ｓ３０２３のステップを通じて、対象物のシルエット画像が生成され、寸法データ算出装置３０２０は対象物のシルエット画像を受け付ける。
【０１２１】
次いで、予め記憶部３０２１に格納された対象物エンジン３０２１Ａを使用して、推定部３０２４Ｄは、受け付けたシルエット画像から対象物の形状パラメータの値を推定する（Ｓ３０２４）。そして、算出部３０２４Ｅは、対象物の形状パラメータの値に基づいて、対象物が有する部位に関連する寸法データを算出する（Ｓ３０２５）。
【０１２２】
具体的には、Ｓ３０２５での寸法データの算出では、最初に、対象物について対象物エンジン３０２１Ａで推定された所定個数の形状パラメータの値から、対象物の頂点の３次元データを構成する。ここでは、学習段階において前処理部３０２７Ａで実施した次元削減に係る射影（Ｓ３０１０）の逆変換を行えばよい。より詳しくは、推定された所定個数の形状パラメータの値（列ベクトル）に対し、主成分分析に係る射影行列Ｗの転置行列ＷＴを右から掛けることによって、３次元データを得ることができる。
【０１２３】
前述の例では、対象物の形状パラメータの値Λ’’に対し、対象物の３次元データＸ’
’は、次の数式から計算することができる。
【数３】
2020184295.tif 000005
【０１２４】
Ｓ３０２５において、算出部３０２４Ｅは、３次元データを使用して、対象物における任意の２つの頂点の間の寸法データを算出する。ここでは、３次元データから３次元物体を仮想的に構成し、３次元物体上の曲面に沿って２つの頂点の間の寸法データを算出する。つまり、３次元物体の立体的な形状に沿うようにして、２つの頂点間の距離を立体的に算出することができる。２つの頂点間の距離を立体的に算出するためには、最初に、多数の頂点（前述の例では５，０００個の３次元データ）によって構成される３次元のメッシュ上で２つの頂点の間を繋ぐ最短経路を探索し、最短経路が通るメッシュを特定する。次いで、特定されたメッシュの頂点座標データを用いて、最短経路に沿ってメッシュ毎に距離を算出し、合算する。その合計値が２つの頂点間の立体的な距離となる。なお、立体的な距離の計算には、３次元物体を構成する各メッシュの頂点情報及び各頂点の法線方向等のメッシュ・データを用いることができる。
【０１２５】
例えば、対象物が「人」であり、人の「肩幅」を算出する場合を想定する。事前準備として、「肩幅＝左肩の肩峰を示す頂点と右肩の肩峰を示す頂点の間の距離」であることを予め規定しておく。また、左肩の肩峰を示す頂点の頂点番号が例えば＃３１３であり、右肩の肩峰を示す頂点の頂点番号が例えば＃５２１であることを予め関連付けておく。これらの情報は予め記憶部３０２１に格納される。寸法データ算出の際は、頂点番号＃３１３から＃５２１に向けた最短経路を特定し、最短経路に関連して特定されたメッシュの頂点座標データを用いて、最短経路に沿ってメッシュ毎に距離を算出し、合計すればよい。
【０１２６】
このように、本実施形態の寸法データ算出装置３０２０は、対象物エンジン３０２１Ａを使用することにより、シルエット画像から所定個数の形状パラメータの値を高精度に推定することができる。また、高精度に推定された形状パラメータの値から、対象物の３次元データを高精度に復元することができるので、特定部位のみならず任意の２つの頂点間を採寸対象箇所として、高精度に算出することができる。特に、算出される２つの頂点の間の寸法データは、３次元データから構成される３次元物体に基づいて立体的な形状に沿って算出されるので、高精度である。
【０１２７】
（３−３）寸法データ算出システムの特徴
ａ）以上説明したように、本実施形態に係る寸法データ算出システム３１００は、寸法データ算出装置３０２０及び学習装置３０２５を備える。寸法データ算出装置３０２０の一部として構成される情報処理装置は、変換部（受付部）３０２４Ｃ及び推定部３０２４Ｄを備える。変換部（受付部）３０２４Ｃは、対象物のシルエット画像を受け付ける。推定部３０２４Ｄは、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジン３０２１Ａを使用して、受け付けたシルエット画像から対象物の形状パラメータの値を推定する。そして、推定された対象物の形状パラメータの値が、対象物が有する任意の部位に関連する寸法データに関連付けられる。
【０１２８】
また、寸法データ算出装置３０２０は、取得部３０２４Ａ、抽出部３０２４Ｂ、変換部３０２４Ｃ、推定部３０２４Ｄ、及び算出部３０２４Ｅを備える。取得部３０２４Ａは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部３０２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。変換部３０２４Ｃは形状データを全長データに基づいてシルエット画像に変換する。推定部３０２４Ｄは、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジン３０２１Ａを使用して、シルエット画像から所定個数の形状パラメータの値を推定する。算出部３０２４Ｅは、推定された所定個数の形状パラメータの値に基づいて、対象物の寸法データを算出する。
【０１２９】
したがって、かかる寸法データ算出装置３０２０は、予め作成済みの対象物エンジン３０２１Ａを使用することにより、シルエット画像から所定個数の形状パラメータの値を高精度に推定することができる。また、高精度に推定された形状パラメータの値を用いることで、対象物の任意の部位に関連するデータを効率的且つ高精度で算出することができる。このように、寸法データ算出装置３０２０によれば、対象物について算出される寸法データを効率的且つ高精度で提供することができる。
【０１３０】
かかる寸法データ算出装置３０２０を用いることで、例えば、対象物として生物の各部分の寸法データを高精度に算出することができる。また、対象物として車や各種荷物等、任意の物体の各部分の寸法データを高精度に算出することができる。更に、寸法データ算出装置３０２０を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
【０１３１】
かかる寸法データ算出装置３０２０を用いることで、例えば、対象物として生物の各部位に関連する寸法データを高精度に算出することができる。また、対象物として車や各種荷物等、任意の物体の各部分の寸法データを高精度に算出することができる。また、寸法データ算出装置３０２０を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
【０１３２】
ｂ）かかる寸法データ算出装置３０２０では、サンプル対象物に関連付けられた所定個数の形状パラメータが、サンプル対象物の３次元データを次元削減することによって特定される。特に、次元削減は主成分分析により行われる。これにより、サンプル対象物の３次元データからノイズを効果的に取り除き、３次元データを圧縮することができる。
【０１３３】
ｃ）かかる寸法データ算出装置３０２０では、推定された所定個数の形状パラメータの値に対し、上記主成分分析に係る射影の逆変換により対象物の３次元データが算出され、３次元データが寸法データに関連付けられる。これにより、対象物のシルエット画像の入力に対し、３次元データを対象物の３次元データを高精度に構成することができる。
【０１３４】
ｄ）かかる寸法データ算出装置３０２０では、サンプル対象物のシルエット画像が、サンプル対象物の３次元データから構成される３次元物体における所定方向の投影画像である。つまり、サンプル対象物の３次元データを用いて３次元物体を構成した上で、これを投影することによりシルエット画像が得られる。正面方向及び側面方向の２枚のシルエット画像を投影により取得するのがよい。これにより、サンプル対象物のシルエット画像を高精度に生成することができる。
【０１３５】
ｅ）かかる寸法データ算出装置３０２０では、対象物エンジン３０２１Ａが、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値との関係を学習することにより生成されている。当該学習は、ディープラーニングにより行うことができる。ディープラーニングによる学習を行うことにより、サンプル対象物のシルエット画像とサンプル対象物の形状パラメータの値との対応付けを高精度に行うことができる。
【０１３６】
ｆ）かかる寸法データ算出装置３０２０の算出部３０２４Ｅでは、対象物について推定された所定個数の形状パラメータの値から、対象物における複数の頂点の３次元データを構成する。そして、構成された３次元データに基づいて、対象物における任意の２つの頂点の間の寸法データを算出する。つまり、対象物の３次元データを用いて３次元物体を構成した上で、この寸法データを算出する。これにより、対象物の３次元物体の形状から２つの頂点の間の寸法データを算出することができるので、採寸対象箇所が特定部分に限定されることがない。
【０１３７】
特に、かかる寸法データ算出装置３０２０の算出部３０２４Ｅでは、２つの頂点の間の寸法データが、対象物において複数の頂点の３次元データから構成される３次元物体上の曲面に沿って算出される。これにより、寸法データを更に高精度に算出することができる。
【０１３８】
（３−４）変形例
（３−４−１）
上記説明においては、取得部３０２４Ａが、対象物を異なる方向から撮影した複数の画像データを取得している。ここでは、対象物を複数の異なる方向から同時に撮影できる撮像装置として、深度データを併せて取得可能な深度データ測定装置が適用可能である。
深度データ測定装置の一例はステレオカメラである。本明細書において「ステレオカメラ」とは、対象物を複数の異なる方向から同時に撮影して、両眼視差を再現する任意の形態の撮像装置を意味している。他方、必ずしも画像データが複数必要であるわけではなく、対象物の画像データが一枚であっても各部分の寸法データを算出することが可能である。
【０１３９】
深度データ測定装置として前述のステレオカメラを適用した場合、取得部３０２４Ａで取得することができる画像データはＲＧＢ−Ｄ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｄｅｐｔｈ）データとすることができる。具体的には、画像データは、通常の単眼カメラで取得可能なＲＧＢ画像データに加えて、深度データに基づいてピクセル毎に深度データを有する深度マップを含むことができる。
【０１４０】
（３−４−２）
上記説明においては、セマンティックセグメンテーションアルゴリズムやグラブカットアルゴリズムを採用して、対象物の形状データを抽出し、対象物と対象物以外の背景画像とを分離してもよいものとした。これに加えて、或いはこれに替えて、例えば、ステレオカメラを用いた場合には、ステレオカメラから取得される深度マップを用いて、対象物の形状データを対象物の深度データに関連付けて取得し、背景画像を分離してもよい。これにより、更に高精度に対象物の形状データを生成することが可能となる。
【０１４１】
具体的には、ステレオカメラを用いる場合、抽出部３０２４Ｂは、取得部３０２４Ａで取得した深度マップに基づいて、対象物が撮影された画像データから、対象物が写っている部分である対象物領域を抽出するのがよい。例えば、深度マップから、深度データが所定の範囲にはない領域を取り除くことにより、対象物領域が抽出される。抽出された対象物領域では、形状データは、ピクセルごとに対象物の深度データに関連付けられている。
【０１４２】
変換部３０２４Ｃは、形状データを、前述の全長データに加えて、当該対象物領域の深度データにも基づいて新たな形状データに変換して、「階調シルエット画像」を生成する（後述）。
【０１４３】
生成される階調シルエット画像は、単なる白黒の２値化データではなく、深度データに基づいて、例えば輝度値が０（「黒」）から１（「白」）までのデータで表された単色多階調のモノクロ画像である。つまり、階調シルエット画像データは、深度データに関連づけられて、対象物の形状に関して更に多くの情報量を有するものである。
【０１４４】
階調シルエット画像を用いる場合、学習装置３０２５の処理部３０２７における処理は次のように実施するのがよい。なお、階調シルエット画像データは全長データにより規格化されている。
【０１４５】
前処理部３０２７Ａにおいて、３次元空間内に仮想的に設けた撮像装置を用いて所定方向からサンプル対象物の３次元物体を投影する際に、併せて撮像装置からサンプル対象物までの深度データも取得するのがよい。つまり、サンプル対象物のシルエット画像データは深度データに関連付けられる。生成されるサンプル対象物の階調シルエット画像は、深度データに基づいて、例えば輝度値が０（「黒」）から１（「白」）までで単色多階調のモノクロ画像とし、サンプル対象物の形状に関して更に多くの情報量を有する。
【０１４６】
学習部３０２７Ｂにおいて対象物エンジン３０２１Ａを生成する際には、サンプル対象物に関する所定個数の形状パラメータの値と、深度データに関連付けられたサンプル対象物の階調シルエット画像とを関連付けるように学習するのがよい。つまり、学習装置３０２５においてサンプル対象物の深度データに基づく学習処理は、更に多くの情報量に基づいているので、更に高精度な対象物エンジン３０２１Ａが生成可能となる。
【０１４７】
この変形例によれば、取得部３０２４Ａに深度データを測定できる任意の機械を用いて構成される深度マップに基づいて対象物領域を抽出することにより、更に高精度に対象物の形状データを生成することが可能となる。また、階調シルエット画像データ（変換される形状データ）は対象物の深度データに関連付けられる。また、学習エンジン３０２１も深度データに基づく学習処理の結果生成されたものである。したがって、対象物の形状に関して更に多くの情報量を有し、算出部３０２４Ｄによる対象物の各部分の寸法データを更に高精度に算出することが可能となる。
【０１４８】
更に、ステレオカメラ以外にも、ＬｉＤＡＲ（Light Detection and Ranging）装置により深度データを求め、対象物と対象物以外の背景画像とを分離することが可能である。すなわち、取得部３０２４Ａに深度データを測定できる任意の機械（深度データ測定装置）を用いることで、高精度に対象物の形状データを生成することが可能となる。
【０１４９】
なお、ここでは階調シルエット画像を単なるシルエット画像と区別して記述したが、他の実施形態及び他の変形例においては、両者を区別せずに単にシルエット画像と記載する場合がある。
【０１５０】
（３−４−３）
上記説明においては、Ｓ３０１３で、前処理部３０２７Ａは、形状パラメータのデータ・セットを、乱数を用いて拡張するデータ拡張処理を行った。データ拡張処理は、サンプル対象物の数に応じてどの程度の数まで拡張するかを決定すればよい。サンプル数が予め十分に用意されている場合には、Ｓ３０１３の拡張処理は行わなくてもよい。
【０１５１】
（３−４−４）
上記説明においては、サンプル対象物に対し、形状パラメータ（λ１，・・・，λ３０）は学習装置３０２５の前処理部３０２７Ａにおいて主成分分析によって取得した。ここで、サンプル対象物が「人」である場合の形状パラメータについて更に考察する。前述の例のように４００個のサンプル対象物及び５，０００個の頂点の３次元データを用いて主成分分析を行った結果、対象物が「人」である場合の形状パラメータは少なくとも次の特性を有することが考察された。
【０１５２】
〔特性１〕
第１順位の主成分λ１は、人の身長との間で線形の関係を有するように関連付けられていた。具体的には、図１４に示すように、第１順位の主成分λ１が大きくなればなるほど、人の身長が小さくなるというものであった。
【０１５３】
特性１を考慮すれば、推定部３０２４Ｄによる人の形状パラメータの値の推定時は、第１順位の主成分λ１に関しては、対象物エンジン３０２１Ａを用いることなく取得部３０２４Ａで取得した身長データを利用すればよい。具体的には、第１順位の主成分λ１の値は、人の身長を説明変数とする線形回帰モデルを利用することにより、別途計算するよう
に構成すればよい。
【０１５４】
この場合、学習段階で学習部３０２７Ｂにおいて対象物エンジン３０２１Ａを生成する時においても、当該主成分λ１を学習対象から除いてもよい。前述のとおり、学習装置３０２５における学習段階では、ネットワーク・アーキテクチャの重み付けを行う。この際、入力されたシルエット画像を主成分分析することで得られる第１順位の主成分を除いた第２順位以降の主成分と、訓練データである形状パラメータλ２以降の値との誤差が最小化されるようにネットワーク・アーキテクチャの重み係数を設定してもよい。これにより、対象物が「人」である場合は、上記線形回帰モデルの利用と併せて、推定部３０２４Ｄにおける形状パラメータの値の推定精度を向上させることができる。
【０１５５】
また、学習段階で学習部３０２７Ｂにおいて対象物エンジン３０２１Ａを生成するときには、第１順位の主成分も含めて、形状パラメータλ１以降の値との誤差が最小化されるようにネットワーク・アーキテクチャの重み係数を設定してもよい。そして、第１順位の主成分λ１の値は、人の身長を説明変数とする線形回帰モデルを利用することにより、別途計算した値と置き換えてもよい。これにより、対象物が「人」である場合は、上記線形回帰モデルの利用と併せて、推定部３０２４Ｄにおける形状パラメータの値の推定精度を向上させることができる。
【０１５６】
〔特性２〕
図１５は、主成分である形状パラメータの再現率を示した概略グラフである。グラフにおいて横軸が寄与率によって順位付けされた主成分を示し、縦軸が固有値の分散説明率を示している。そして、棒グラフは、順位ごとの個別の分散説明率を示している。また、実線の折れ線グラフは、第１順位からの分散説明率の累積を示している。図１５では、簡単のため、第１０順位までの１０個の主成分に関するグラフを概略的に示している。なお、主成分分析において求められる共分散行列の固有値は固有ベクトル（主成分）の大きさを表しており、固有値の分散説明率は主成分に対する再現率と考えてよい。
【０１５７】
図１５のグラフを参照すると、第１順位から第１０順位までの１０個の主成分で分散説明率の累積が約０．９５を示している（破線矢印）。つまり、第１順位から第１０順位までの１０個の主成分の再現率が約９５％であることが当業者には理解される。すなわち、前述の例では、次元削減によって特徴変換される形状パラメータは３０次元としたが、これに限らず、仮に形状パラメータを１０次元としても約９５％をカバーできている。すなわち、上記説明において形状パラメータの個数（次元数）は３０個としたが、特性２を考慮すれば、１０個程度のものとしてよい。
【０１５８】
（３−４−５）
上記説明においては、学習装置３０２５の前処理部３０２７Ａにおいて、１０，０００個のサンプル対象物ごとに、正面方向及び側面方向の２枚のシルエット画像を投影により取得した。他方、対象物のシルエット画像は必ずしも２枚必要とするわけではなく、１枚でよい。
【０１５９】
（３−５）製品製造システムへの適用
以下、前述の寸法データ算出装置３０２０を製品製造システム３００１に適用する例について説明する。
【０１６０】
（３−５−１）製品製造システムの構成
図１６は本実施形態に係る製品製造システム３００１の概念を示す模式図である。製品製造システム３００１は、ユーザ３００５が保有する端末装置３０１０と通信可能な寸法データ算出装置３０２０と、製品製造装置３０３０とを備え、所望の製品３００６を製造するためのシステムである。図１６では、一例として、対象物３００７が人であり、製品３００６が椅子であるときの概念を示している。但し、本実施形態に係る製品製造システム３００１において、対象物３００７及び製品３００６はこれらに限定されるものではない。
【０１６１】
端末装置３０１０は、所謂スマートデバイスにより実現することができる。ここでは、スマートデバイスに、ユーザ用プログラムがインストールされることで端末装置３０１０が各種機能を発揮する。具体的には、端末装置３０１０は、ユーザ３００５により撮像される画像データを生成する。ここで、端末装置３０１０は、対象物を複数の異なる方向から同時に撮影して、両眼視差を再現するステレオカメラ機能を有するものでもよい。なお、画像データは端末装置３０１０で撮影されるものに限定されず、例えば、店舗内に設置されたステレオカメラを用いて撮影されたものを利用してもよい。
【０１６２】
また、端末装置３０１０は、対象物３００７の属性を示す属性データの入力を受け付ける。「属性」には、対象物３００７の全長・重量・生成からの経過時間（年齢を含む。）等が含まれる。また、端末装置３０１０は、通信機能を有しており、寸法データ算出装置３０２０及び製品製造装置３０３０と端末装置３０１０との間で各種情報の送受信を実行する。
【０１６３】
寸法データ算出装置３０２０は任意のコンピュータにより実現することができる。ここでは、寸法データ算出装置３０２０の記憶部３０２１は、端末装置３０１０のユーザ３００５を識別する識別情報に関連付けて、端末装置３０１０から送信される情報を記憶する。また、記憶部３０２１は、寸法データを算出する情報処理を実行するために必要なパラメータ等を記憶する。
【０１６４】
また、寸法データ算出装置３０２０の処理部３０２４は、前述のとおり、取得部３０２４Ａ、抽出部３０２４Ｂ、変換部３０２４Ｃ、推定部３０２４Ｄ、及び算出部３０２４Ｅとして機能する。ここでは、取得部３０２４Ａは、ユーザ３００５によりステレオカメラで撮影された画像データ及び対象物３００７の属性データを取得する。また、抽出部３０２４Ｂは、画像データから対象物３００７の形状を示す形状データを抽出する。例えば、対象物の種類として「人」が予め設定されている場合には、人を識別するための訓練データを用いてセマンティックセグメンテーションのアルゴリズムが構築されている。また、抽出部３０２４Ｂは、ステレオカメラから取得される深度データに基づく深度マップを用いて、対象物と対象物以外の背景画像とを分離するものでもよい。この場合、変換部３０２４Ｃは、深度マップにおいて対象物の深度データに関連付けられた形状データを、全長データに基づいて階調シルエット画像に変換する。生成された階調シルエット画像は、深度データに基づいて、単色多階調のモノクロ画像とするのがよい。変換部３０２４Ｃは、生成されたシルエット画像を推定部３０２４Ｄに入力するための受付部としても機能することになる。
【０１６５】
推定部３０２４Ｄは、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジン３０２１Ａを使用して、シルエット画像から所定個数の形状パラメータの値を推定する。算出部３０２４Ｅは、推定された所定個数の形状パラメータの値に基づいて、対象物の寸法データを算出する。具体的には、推定部３０２４Ｄで推定された対象物の形状パラメータの値から、対象物における複数の頂点の３次元データを構成し、更に、当該３次元データに基づいて対象物における任意の２つの頂点の間の寸法データを算出する。
【０１６６】
製品製造装置３０３０は、寸法データ算出装置３０２０を用いて算出された少なくとも１つの寸法データを用いて、対象物３００７の形状に関連する所望の製品を製造する製造装置である。なお、製品製造装置３０３０は、自動で製品を製造・加工できる任意の装置を採用することができ、例えば３次元プリンタ等により実現することができる。
【０１６７】
（３−５−２）製品製造システムの動作
図１７は、本実施形態に係る製品製造システム３００１の動作を説明するためのシーケンス図である。また、図１８及び図１９は端末装置３０１０の画面遷移を示す模式図である。
【０１６８】
まず、端末装置３０１０を介して対象物３００７の全体が異なる方向から写るように複数回撮像され、対象物３００７が撮像された複数の画像データが生成される（Ｔ３００１）。ここでは、図１８及び図１９にそれぞれ示すような、正面及び側面の写真が複数枚撮影される。このような正面及び側面の写真は端末装置３０１０のステレオカメラ機能をオンにして撮影するのがよい。
【０１６９】
次に、ユーザ３００５により端末装置３０１０に、対象物３００７の属性を示す属性データが入力される（Ｔ３００２）。ここでは、属性データとして、対象物３００７の全長データ・重量データ・経時データ（年齢等を含む。）等が入力される。そして、これらの複数の画像データ及び属性データが端末装置３０１０から寸法データ算出装置３０２０に送信される。
【０１７０】
寸法データ算出装置３０２０は、端末装置３０１０から複数の画像データ及び属性データを受信すると、これらのデータを用いて対象物３００７の各部分の寸法データを算出する（Ｔ３００３）。なお、端末装置３０１０には、設定に応じて、寸法データが画面に表示される。そして、製品製造装置３０３０が、寸法データ算出装置３０２０により算出された寸法データに基づいて所望の製品３００６を製造する（Ｔ３００４）。
【０１７１】
（３−５−３）製品製造システムの特徴
以上説明したように、本実施形態に係る製品製造システム３００１は、ユーザ３００５が保有する端末装置３０１０と通信可能な寸法データ算出装置３０２０と、製品製造装置３０３０とを備える。
【０１７２】
端末装置３０１０（撮影装置）は、対象物３００７の画像を複数枚撮影する。寸法データ算出装置３０２０は、取得部３０２４Ａ、抽出部３０２４Ｂ、変換部３０２４Ｃ、推定部３０２４Ｄ、及び算出部３０２４Ｅを備える。取得部３０２４Ａは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部３０２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。変換部３０２４Ｃは形状データを全長データに基づいてシルエット画像に変換する。推定部３０２４Ｄは、サンプル対象物のシルエット画像とサンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジン３０２１Ａを使用して、シルエット画像から所定個数の形状パラメータの値を推定する。算出部３０２４Ｅは、推定された所定個数の形状パラメータの値に基づいて、対象物の寸法データを算出する。製品製造装置３０３０は、算出部３０２４Ｅにより算出された寸法データを用いて製品３００６を製造する。このような構成により、寸法データ算出装置３０２０が高精度に対象物３００７の各部分を高精度に算出するので、対象物３００７の形状に関連する所望の製品を提供できる。
【０１７３】
例えば、製品製造システム３００１により、心臓等の各種臓器の形状の測定から、臓器の模型を製造することができる。また、例えば、人のウエスト形状の測定から各種ヘルスケア製品等を製造することができる。また、例えば、人の形状から当該人のフィギュア製品を製造することができる。また、例えば、人の形状から当該人に適合する椅子等を製造することができる。また、例えば、車の形状から車のおもちゃを製造することができる。また、例えば、任意の風景画からジオラマ等を製造することができる。
【０１７４】
なお、上記説明においては、寸法データ算出装置３０２０と製品製造装置３０３０とが別部材の装置として説明しているが、これらは一体として構成されるものでもよい。
【０１７５】
＜第４実施形態＞
以下、既に説明した構成及び機能については略同一符号を付して説明を省略する。
（４−１）寸法データ算出装置の構成
図２０は本実施形態に係る寸法データ算出システム４２００の構成を示す模式図である。寸法データ算出システム４２００は、寸法データ算出装置４１２０及び学習装置４１２５を備える。
【０１７６】
寸法データ算出装置４１２０は、記憶部４１２１、入出力部４１２２、通信部４１２３、及び処理部４１２４を備える。また、学習装置４１２５は、記憶部４１２６及び処理部４１２７を備える。なお、寸法データ算出装置４１２０及び学習装置４１２５は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等を用いてハードウェアとして実現されてもよい。
【０１７７】
記憶部４１２１，４１２６は、何れも各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部４１２１は、処理部４１２４において寸法データ算出に関する情報処理を実行するために、対象物エンジン４１２１Ａを含む各種データ、プログラム、情報等を格納する。また、記憶部４１２６は、対象物エンジン４１２１Ａを生成するために、学習段階で利用される訓練データを格納する。
【０１７８】
入出力部４１２２は、前述の入出力部３０２２と同様の構成及び機能を有するものである。また、通信部４１２３は、前述の通信部３０２３と同様の構成及び機能を有するものである。
【０１７９】
処理部４１２４は、コンピュータのＣＰＵ，ＧＰＵ等に、記憶部４１２１に記憶されたプログラムが読み込まれることにより、取得部４１２４Ａ、推定部４１２４Ｄ、及び算出部４１２４Ｅとして機能する。同様に、処理部４１２７は、コンピュータのＣＰＵ，ＧＰＵ等に、記憶部４１２６に記憶されたプログラムが読み込まれることにより、前処理部４１２７Ａ及び学習部４１２７Ｂとして機能する。
【０１８０】
寸法データ算出装置４１２０の処理部４１２４において、取得部４１２４Ａは、対象物の全長データ、重量データ、経時データ（年齢等を含む。）とのうちの少なくともいずれかを含む属性データを取得する。本実施形態では、取得部４１２４Ａが、属性データを推定部４１２４Ｄに入力するための受付部としても機能することになる。
【０１８１】
推定部４１２４Ｄは、属性データから所定個数の形状パラメータの値を推定する。推定には、対象物エンジン４１２１Ａが使用される。推定部４１２４Ｄで推定された対象物の形状パラメータの値は、後述のように、対象物が有する任意の部位に関連する寸法データに関連付けることができる。
【０１８２】
算出部４１２４Ｅは、推定部４１２４Ｄによって推定された対象物の形状パラメータの値から、対象物の寸法データを算出する。具体的には、算出部４１２４Ｅは、推定部４１２４Ｄで推定された対象物の形状パラメータの値から、対象物における複数の頂点の３次元データを構成し、更に、当該３次元データに基づいて対象物における任意の２つの頂点の間の寸法データを算出する。
【０１８３】
学習装置４１２５の処理部４１２７において、前処理部４１２７Ａは、学習のための各種前処理を実施する。特に、前処理部４１２７Ａは、サンプル対象物の３次元データを次元削減により特徴抽出することを通じて、所定個数の形状パラメータを特定する。サンプル対象物の形状パラメータの値、及び対応する属性データは、訓練データとして予め記憶部４１２６に格納されている。
【０１８４】
なお、サンプル対象物の３次元データとして、対応する属性データ（全長データ、重量データ、経時データ（年齢等を含む。））が用意されているとする。対応する属性データは、訓練データとして記憶部４１２６に格納される。
【０１８５】
学習部４１２７Ｂは、サンプル対象物の形状パラメータの値と、対応する属性データとの関係を関連付けるように学習する。学習の結果、対象物エンジン４１２１Ａが生成される。生成された対象物エンジン４１２１Ａは、電子ファイルの形態で保持できる。寸法データ算出装置４１２０で対象物の寸法データを算出する際には、対象物エンジン４１２１Ａは、記憶部４１２１に格納され推定部４１２４Ｄによって参照される。
【０１８６】
（４−２）寸法データ算出システムの動作
図２１及び図２２を参照して、図２０の寸法データ算出システム４２００の動作を説明する。図２１は、学習装置４１２５の動作（Ｓ４１１０）を示すフローチャートであり、ここでは、サンプル対象物データに基づいて対象物エンジン４１２１Ａを生成する。図２２は寸法データ算出装置４１２０の動作を示すフローチャートであり、ここでは、対象物の画像データに基づいて対象物の寸法データを算出する。
【０１８７】
（４−２−１）学習装置の動作
最初に、サンプル対象物のデータが準備され、記憶部４１２６に格納される（Ｓ４１１１）。一例では、準備されるデータは、４００個のサンプル対象物のデータであり、サンプル対象物ごとに準備される５，０００個の３次元データと、サンプル対象物ごとに準備される属性データとを含む。３次元データには、サンプル対象物が有する頂点の３次元座標データが含まれる。また、３次元データには、３次元物体を構成する各メッシュの頂点情報及び各頂点の法線方向等のメッシュ・データが含まれてもよい。
【０１８８】
また、第１実施形態と同様、サンプル対象物の３次元データは、頂点番号と共に部位の情報が関連付けられている。
【０１８９】
続いて、前処理部４１２７Ａは、次元削減により、所定個数（次元）の形状パラメータへの特徴変換を行う（Ｓ４１１２）。この特徴変換処理も第１実施形態と同様である。前述の例では、主成分分析に係る射影行列を用いた行列演算の結果、４００個のサンプル対象物がそれぞれ有する１５，０００次元（５，０００×３）のデータは、例えば３０次元の主成分の形状パラメータΛに特徴変換される。
【０１９０】
そして、学習部４１２７Ｂが、Ｓ４１１１で準備された複数のサンプル対象物の属性データと、Ｓ４１１２で得た複数の形状パラメータのデータ・セットとの組を訓練データに用いて、両者の関係を機械学習する（Ｓ４１１５）。
【０１９１】
具体的には、学習部４０２７Ｂは、対象物の属性データから、変換属性データＹを求める。変換属性データＹの要素ｙｒと形状パラメータΛの要素λｍとを関連づける変換行列Ｚの要素をｚｒｍと表記する。変換行列Ｚは、〔ｓ行、ｎ列〕からなる行列である。また、記号ｍは、１≦ｍ≦ｎであり、前述の例ではｎは形状パラメータΛの次元数である３０である。記号ｒは、１≦ｒ≦ｓであり、ｓは変換属性データＹから得られる演算に用いられる要素の数である。
【０１９２】
例えば、対象物の属性データが全長データｈ、重量データｗ、及び経時データａからなるものと想定する。つまり、属性データは、（ｈ，ｗ，ａ）の要素のセットである。この場合、学習部４０２７Ｂは、対象物の属性データの各要素（ｈ，ｗ，ａ）を２乗した値（二次項ともいう。）と、各要素を掛け合わせた値（相互作用項ともいう。）と、各要素自体の値（一次項ともいう。）とを求める。
【０１９３】
その結果、次の９個の要素を有する変換属性データＹが得られる。
【数４】
2020184295.tif 000006
【０１９４】
次に、学習部４０２７Ｂは、４００個のサンプル対象物に関連付けられた属性データから得られる変換属性データＹと、サンプル対象物の３次元データから得られた形状パラメータΛとの組を回帰分析することにより、次に示すような、〔９行、３０列〕からなる変換行列Ｚを求める。
【０１９５】
【数５】
2020184295.tif 000007
このようにして求められた変換行列Ｚのデータは、対象物エンジン４１２１Ａとして記憶部４０２６に記憶される。
【０１９６】
（４−２−２）寸法データ算出装置の動作
寸法データ算出装置４１２０は、学習装置４１２５で生成された対象物エンジン４１２１Ａの電子ファイル、及び学習装置４１２５で得た主成分分析の射影情報を記憶部４１２１に格納して、対象物の寸法データ算出に使用する。
【０１９７】
最初に、取得部４１２４Ａは、入出力部４１２２を通じて、対象物の属性データを取得する（Ｓ４１２１）。これにより、対象物の属性データを受け付ける。次いで、予め記憶部４１２１に格納された対象物エンジン４１２１Ａを使用して、推定部４１２４Ｄは、受け付けた属性データから対象物の形状パラメータの値を推定する（Ｓ４１２４）。
【０１９８】
例えば、対象物の属性データが全長データｈ、重量データｗ、及び経時データａからなるものと想定する。つまり、属性データは、（ｈ，ｗ，ａ）の要素のセットである。Ｓ４１２４では、上述したように、推定部４１２４Ｄは、対象物の属性データの各要素（ｈ，ｗ，ａ）を２乗した値と、各要素を掛け合わせた値と、各要素自体の値とからなる変換属性データＹを得る。
【０１９９】
最後に、算出部４１２４Ｅは、対象物の形状パラメータの値に基づいて、対象物が有する部位に関連する寸法データを算出する（Ｓ４１２５）。具体的には、取得部４１２４Ａが取得した対象物の属性データから、変換属性データＹを算出する。そして、その変換属性データＹに上述した変換行列Ｚを掛け合わせることで形状パラメータΛを算出する。この後は、第３実施形態におけるもの（Ｓ３０２５）と同様に、３次元データから３次元物体を仮想的に構成し、３次元物体上の曲面に沿って２つの頂点の間の寸法データを算出する。なお、立体的な距離の計算には、３次元物体を構成する各メッシュの頂点情報及び各頂点の法線方向等のメッシュ・データを用いることができる。
【０２００】
このように、本実施形態の寸法データ算出装置４１２０は、対象物エンジン４１２１Ａを使用することにより、対象物の属性データから所定個数の形状パラメータの値を高精度に推定することができる。第３実施形態とは異なり、対象物の画像入力の必要がなく、かつ図１３のＳ３０２２（形状データの抽出処理）及びＳ３０２３（リスケール処理）を必要としないので、効率的である。
【０２０１】
また、高精度に推定された形状パラメータの値から、対象物の３次元データを高精度に復元することができるので、特定部位のみならず任意の２つの頂点間を採寸対象箇所として、高精度に算出することができる。特に、算出される２つの頂点の間の寸法データは、３次元データから構成される３次元物体に基づいて、立体的な形状に沿って算出されるので、高精度である。
【０２０２】
（４−３）寸法データ算出システムの特徴
以上説明したように、本実施形態に係る寸法データ算出システム４２００は、寸法データ算出装置４１２０及び学習装置４１２５を備える。寸法データ算出装置４１２０の一部として構成される情報処理装置は、取得部（受付部）４１２４Ａ、推定部４１２４Ｄ、及び算出部４１２４Ｅを備える。取得部（受付部）４１２４Ａは、対象物の属性データを受け付ける。推定部４１２４Ｄは、サンプル対象物の属性データと、サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジン４１２１Ａを使用して、受け付けた属性データから対象物の形状パラメータの値を推定する。そして、推定された対象物の形状パラメータの値が、対象物が有する任意の部位に関連する寸法データに関連付けられる。
【０２０３】
したがって、寸法データ算出装置４１２０は、予め作成済みの対象物エンジン４１２１Ａを使用することにより、属性データから所定個数の形状パラメータの値を効率的に推定することができる。また、推定される形状パラメータの値は高精度である。また、高精度に推定された形状パラメータの値を用いることで、対象物の任意の部位に関連するデータを効率的且つ高精度で算出することができる。このように、寸法データ算出装置４１２０によれば、対象物について算出される寸法データを効率的且つ高精度で提供することができる。
【０２０４】
（４−４）製品製造システムへの適用
図２３は本実施形態に係る製品製造システム４００１Ｓの概念を示す模式図である。本実施形態に係る寸法データ算出装置４１２０も、第３実施形態に係る寸法データ算出装置３０２０と同様に、製品製造システム４００１Ｓに適用することが可能である。
【０２０５】
本実施形態に係る端末装置４０１０Ｓは、対象物４００７の属性を示す属性データの入力を受け付けるものであればよい。「属性」としては、対象物１００７の全長・重量・生成からの経過時間（年齢を含む）等が挙げられる。
【０２０６】
また、前述のように、寸法データ算出装置４１２０の処理部４１２４は、取得部４１２４Ａ、推定部４１２４Ｄ、及び算出部４１２４Ｅとして機能する。算出部４１２４Ｅは、推定部４１２４Ｄで得られた対象物の形状パラメータの値に基づいて、対象物が有する部位に関連する寸法データを算出する。
【０２０７】
製品製造システム４００１Ｓでは、寸法データ算出装置４１２０が効率的且つ高精度に対象物１００７の寸法データを算出するので、対象物１００７の形状に関連する所望の製品を提供できる。その他、第４実施形態に係る製品製造システム４００１Ｓは、第３実施形態の製品製造システム３００１と同様の効果を発揮することができる。
【０２０８】
＜他の実施形態１：シルエット画像生成装置＞
（５−１）シルエット画像生成装置の構成
図２４は、他の実施形態に係るシルエット画像生成装置５０２０の構成を示す模式図である。第１実施形態及び第３実施形態において生成されるシルエット画像（階調シルエット画像を含む）は、このシルエット画像生成装置５０２０にしたがって生成されてもよい。つまり、シルエット画像生成装置５０２０は、第１実施形態に係る寸法データ算出装置１０２０の一部として、又は第３実施形態に係る寸法データ算出装置３０２０の一部として構成されてもよい。
【０２０９】
シルエット画像生成装置５０２０は任意のコンピュータにより実現することができ、取得部５０２４Ａ、抽出部５０２４Ｂ、及び変換部５０２４Ｃを備える。
【０２１０】
取得部５０２４Ａは、第１実施形態に係る寸法データ算出装置１０２０の取得部１０２４Ａ、及び／又は第３実施形態に係る寸法データ算出装置３０２０の取得部３０２４Ａの全部又は一部に相当してよい。また、抽出部５０２４Ｂは、第１実施形態に係る寸法データ算出装置１０２０の抽出部１０２４Ｂ、及び／又は第３実施形態に係る寸法データ算出装置３０２０の抽出部３０２４Ｂの全部又は一部に相当してよい。同様に、変換部５０２４Ｃは、第１実施形態に係る寸法データ算出装置１０２０の変換部１０２４Ｃ、及び／又は第３実施形態に係る寸法データ算出装置３０２０の変換部３０２４Ｃの全部又は一部に相当してよい。
【０２１１】
取得部５０２４Ａは、対象物が撮影された画像データを取得する。取得部５０２４Ａは、例えば、撮像装置により、対象物を複数の異なる方向から撮影した複数の画像データを取得する。ここでは、深度データを取得可能な深度データ測定装置が適用可能であり、深度データに基づいてピクセル毎に深度データを有する深度マップが構成される。深度データ測定装置を適用することにより、取得部５０２４Ａで取得することができる画像データは、ＲＧＢ−Ｄ（Ｒｅｄ、Ｇｒｅｅｎ、Ｂｌｕｅ、Ｄｅｐｔｈ）データを含むことができる。具体的には、画像データは、通常の単眼カメラで取得可能なＲＧＢ画像データに加えて、このような深度マップを取得することができる。
【０２１２】
深度データ測定装置の一例は、ステレオカメラであり、以下の説明においてもステレオカメラを適用するものとする。ステレオカメラで対象物（特に人物）を撮影する際は、対象物を正確に特定できるようにするために、ディスプレイの所定範囲にその全体が収容されるようユーザにガイドするのがよい。一例では、ディスプレイ上にガイド領域を表示する、又はガイドメッセージを表示してユーザに促すようにするのがよい。これにより、ステレオカメラから所望の方向及び距離に対象物を位置することができ、シルエット画像生成時のノイズを低減することができる。
【０２１３】
抽出部５０２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。より詳しくは、抽出部５０２４Ｂは、３次元点群生成部５１２４、背景点群除去部５２２４、平面点群除去部５３２４、対象物領域抽出部５４２４、形状データ抽出部５５２４、及び物体検出部５６２４を含む。
【０２１４】
３次元点群生成部５１２４は、取得した深度マップから３次元点群データを生成し、仮想３次元座標空間に点の集合からなる３次元点群を配備する。それぞれの点は仮想３次元空間内に３次元座標を有する。なお、仮想３次元座標空間では、ステレオカメラが仮想的に原点に配置され、ステレオカメラの向きに応じて３次元座標（ｘｙｚ）系が規定される。特に、ステレオカメラの光軸方向が奥行方向（ｚ軸方向）として規定される。
【０２１５】
背景点群除去部５２２４は、生成された３次元点群データのうち、仮想３次元座標空間の奥行方向に沿って所定の距離より離れて存在する３次元点群のデータを取り除く。取り除かれる点は、ステレオカメラから遠方に存在することから背景画像を構成するものとみなすことができ、対象物が撮影された画像データから背景部分を除去するのがよい。これにより、ノイズとなる３次元点群を効果的に除去することができるので、対象物領域抽出部５４２４で抽出される対象物領域の特定の精度を向上させることができる。
【０２１６】
平面点群除去部５３２４は、生成された３次元点群データのうち平面の部分に対応して存在する３次元点群データを取り除く。対象物領域を精度よく特定するためには、対象物が撮影された画像データから、対象物の周囲に存在する平面部分を特定し、除去するのがよい。そのためには、生成された３次元点群のデータを用いて平面部分を推定する必要がある。
【０２１７】
具体的には、平面点群除去部５３２４は次のように動作するのがよい。
まず深度マップから生成された３次元点群データから、画像データにおける平面部分を推定する。ここでの平面は例えば床である。つまり、対象物が人である場合は、平面部分は、直立した人が接している床部分である。
【０２１８】
通常、３次元空間におけるｘｙｚ座標平面は次の方程式ｆ（ｘ，ｙ，ｚ）＝０で表される。
ｆ（ｘ，ｙ，ｚ）＝ａｘ＋ｂｙ＋ｃｚ＋ｄ＝０
【０２１９】
一例では、３次元点群が配備された仮想３次元座標空間において、平面部分は、公知のランダムサンプリング手法によりサンプルされる複数のサンプル平面の中から１つが選択される。典型的には、ランダムサンプリングは、ＲＡＮＳＡＣ（Random Sample Consensus）によるロバスト推定のアルゴリズムが適用可能である。
【０２２０】
より詳しくは、まず、法線ベクトル（ａ，ｂ，ｃ）及びｄをランダムに決定することでサンプル平面をサンプルする。次いで、サンプル平面に対して、どれくらいの３次元点群が関連付けられるかについて、次の不等式を満たす３次元点群の点を特定する。なお、ＤＳＴは所定の閾値距離である。
｜ｆ（ｘ，ｙ，ｚ）｜＝｜ａｘ＋ｂｙ＋ｃｚ＋ｄ｜≦ＤＳＴ
【０２２１】
上記不等式を満たす点（ｘ，ｙ，ｚ値をそれぞれ有する。）は、３次元点群のうちサンプル平面上に存在するものとみなされる。理論的には閾値距離ＤＳＴ＝０であるが、撮影環境やステレオカメラの性能等を考慮して、サンプル平面から所定の微少距離内にある３次元点群データも含めるべく、閾値距離ＤＳＴは０に近い値に予め設定するのがよい。ランダムに決定される複数のサンプル平面のうち、上記不等式を満たす３次元点群の数が多いサンプル平面、つまり、３次元点群の含有率が最も大きいサンプル平面が、画像データにおける所望の平面部分であると推定される。
【０２２２】
換言すると、平面点群除去部５３２４は、サンプル平面の抽出を複数回繰り返してから、３次元点群の含有率が最も大きいサンプル平面を決定するので、所望の平面部分の推定に対するロバスト性を高めることができる。
【０２２３】
引き続き、平面点群除去部５３２４は、生成された３次元点群データから、推定された平面部分に存在する点の３次元点群データを取り除く。取り除かれる点を有する平面部分は、例えば、画像データにおける床部分である。つまり、平面点群除去部５３２４により、対象物が撮影された画像データから床部分を除去することができる。これにより、ノイズとなる３次元点群を効果的に除去することができるので、対象物領域抽出部５５２４で抽出される対象物の対象物領域の特定精度を向上させることができる。
【０２２４】
また、平面点群除去部５３２４による処理を繰り返すことにより、別の平面部分を更に推定して、当該別の平面部分に存在する点の３次元点群データを更に取り除いてもよい。例えば、床部分を推定し、その３次元点群データを全体の３次元点群データから一旦取り除いた後に、再度、前述のランダムサンプリング手法によりサンプルされるサンプル平面の中から平面を推定する。これにより、今度は壁の部分を推定することができる。つまり、床部分のみならず壁部分の３次元点群データも画像データから除去することができ、対象物の対象物領域を特定する精度を更に向上させることができる。
【０２２５】
なお、平面部分の推定の精度は、対象物を撮影する際の撮影環境にも依存する。例えば、平面部分の推定を正確に行うには、平面部分を構成する点の数を、対象物を構成する点の数よりも大きくする必要がある。したがって、例えば、多くの壁が写り込まない撮影環境をユーザに選択させる、又は店舗内のステレオカメラを多くの壁が写り込まない場所に固定的に設置する等を考慮するのがよい。
【０２２６】
対象物領域抽出部５４２４は、３次元点群データを用いて対象物の対象物領域を抽出する。３次元点群生成部５１２４によって深度マップから生成された３次元点群から背景点群除去部５２２４及び／又は平面点群除去部５３２４によって取り除かれ、つまり、ノイズ除去された後の３次元点群データを用いて、更に対象物に相当する３次元点群を特定する。例えば、仮想３次元空間における所定の空間範囲にある３次元点群を特定すればよい。そして、特定された３次元点群データに基づくことで画像データにおける対象物の対象物領域を抽出することができる。このようにして抽出される対象物領域は、効果的にノイズ除去処理されたものであり、高精度である。これにより、変換部５０２４Ｃによって変換されるシルエット画像の精度をまた向上させることができる。
【０２２７】
形状データ抽出部５５２４は、対象物領域抽出部５４２４によって抽出された対象物領域に対応する、深度マップ中の領域の深度データに基づいて、対象物の形状を示す形状データを抽出する。
【０２２８】
物体検出部５６２４は、取得部５０２４Ａで取得されたＲＧＢ画像データを用いて、物体検出により画像データにおける対象物の画像領域を抽出する。対象物の画像領域は、奥行き（ｚ）方向に対して垂直となる２次元（ｘｙ）座標の領域で規定される。物体検出は公知の手法を用いてよく、例えば、ディープラーニングによる物体検出アルゴリズムを用いた領域特定が適用可能である。ディープラーニングによる物体検出アルゴリズムの一例は、Ｒ−ＣＮＮ（Regions with Convolutional Neural Networks）である。
【０２２９】
物体検出部５６２４で抽出された画像領域に対応する部分の深度マップに基づいて、前述の３次元点群生成部５１２４が３次元点群データを生成するようにしてもよい。これにより、更にノイズの少ない３次元点群データを生成することができ、その結果、形状データ抽出部５５２４により抽出される形状データの精度を向上させることができる。
【０２３０】
変換部５０２４Ｃは、形状データ抽出部５５２４で抽出された形状データを変換して、対象物のシルエット画像を生成する。変換されるシルエット画像は、単なる白黒の２値化データで表されるのではなく、深度データに基づいて、対象物の画像領域が例えば輝度値が０（「黒」）から１（「白」）までのデータで表された単色多階調のモノクロ画像（階調シルエット画像）とすることができる。つまり、シルエット画像データは、対象物の画像領域を深度データに関連づけられることにより、更に多くの情報量を有することができる。
【０２３１】
（５−２）シルエット画像生成装置の動作
図２５は、図２４で説明した他の実施形態に係るシルエット画像生成装置５０２０の動作を説明するためのフローチャートである。本フローチャートを通じて、対象物が撮影された画像データから対象物のシルエット画像を生成することができる（Ｓ５０００）。
【０２３２】
まず、取得部５０２４Ａは、対象物が撮影された、深度マップを含む画像データを取得する（Ｓ５０１０）。次いで、物体検出部５６２４は、画像データに含まれるＲＧＢ画像データから、対象物の画像領域を抽出する（Ｓ５０２０）。なお、当該ステップは任意としてよい。続いて、３次元点群生成部５１２４は、画像データに含まれる深度マップに対応する３次元点群データを生成して仮想３次元座標空間を構成する（Ｓ５０３０）。Ｓ５０２０を実行している場合は、対象物の画像領域（ｘｙ座標領域）に対応する部分の深度マップに基づいて、３次元点群データを生成するのがよい。
【０２３３】
次いで、背景点群除去部５２２４は、仮想３次元座標空間の奥行（ｚ）方向に沿って所定の閾値距離より離れた３次元点群データを取り除く（Ｓ５０４０）。また、平面点群除去部５３２４は、画像データにおける平面部分を推定し（Ｓ５０５０）、更に３次元点群データから平面部分に対応する３次元点群データを取り除く（Ｓ５０６０）。なお、Ｓ５０５０及びＳ５０６０を繰り返して、画像データにおける複数の平面部分を推定し、３次元点群データを取り除いてもよい。
【０２３４】
続いて、対象物領域抽出部５４２４は、取り除いた後の３次元点群データに基づいて、対象物の対象物領域を抽出する（Ｓ５０７０）。そして、形状データ抽出部５５２４は、深度マップにおける対象物領域の深度データに基づいて、対象物の形状を示す形状データを抽出する（Ｓ５０８０）。最後に、変換部５０２４Ｃは、形状データを変換することにより、対象物のシルエット画像を生成する。
【０２３５】
（５−３）シルエット画像生成装置の特徴
（５−３−１）
以上説明したように、本実施形態に係るシルエット画像生成装置５０２０は、取得部５０２４Ａ、抽出部５０２４Ｂ、及び変換部５０２４Ｃを備える。取得部５０２４Ａは、対象物が撮影された、深度マップを含む画像データを取得する。抽出部５０２４Ｂは、深度マップから生成される３次元点群データを用いて対象物の対象物領域を抽出し、対象物領域に対応する深度マップの深度データに基づいて、対象物の形状を示す形状データを抽出する。変換部５０２４Ｃは、形状データを変換して、対象物のシルエット画像を生成する。
【０２３６】
したがって、シルエット画像生成装置５０２０は、深度マップを用いて３次元点群データを生成した上で、対象物のシルエット画像を生成する。３次元点群データにおいて、効果的にノイズとなる３次元点群を特定し、除去することができるので、対象物の対象物領域の特定精度を向上させることができる。これにより、高精度なシルエット画像を得ることができる。また、深度マップを用いることにより、シルエット画像として、データに関連付けられたモノクロ画像である階調シルエット画像を生成することができ、対象物の形状に関して多くの情報量を有することができる。
【０２３７】
（５−３−２）
また、シルエット画像生成装置５０２０では、抽出部５０２４Ｂが、３次元点群データのうち、奥行方向に沿って所定の閾値距離より離れて存在する３次元点群データを取り除いたものに基づいて、対象物の対象物領域を抽出する。これにより、画面データにおいて背景を構成しノイズとなる３次元点群を効果的に除去することができるので、対象物領域抽出部５５２４で抽出される対象物の対象物領域の特定精度を向上させることができる。
【０２３８】
（５−３−３）
また、シルエット画像生成装置５０２０では、抽出部５０２４Ｂが、更に、深度マップから生成される３次元点群データから、画像データにおける平面部分を推定し、３次元点群データのうち、推定された平面部分に存在する３次元点群データを取り除いたものに基づいて、対象物の対象物領域を抽出する。
【０２３９】
（５−３−４）
ここでは、抽出部５０２４Ｂが、ランダムサンプリングにしたがってサンプルされるサンプル平面に関連付けられる３次元点群データの含有率を算出することに基づいて、平面部分を推定する。そして、当該推定を繰り返すことにより、平面部分を推定する。これにより、サンプル平面の抽出を複数回繰り返してから、３次元点群データの含有率が最も大きいサンプル平面を決定するので、所望の平面部分の推定に対するロバスト性を高めることができる。
【０２４０】
また、抽出部５０２４Ｂが、平面部分を推定する処理を繰り返すことにより、複数の平面部分を推定する。これにより、画面データにおいて平面を構成しノイズとなる３次元点群を効果的に除去することができるので、対象物領域抽出部５５２４で抽出される対象物の対象物領域の特定精度を向上させることができる。
【０２４１】
（５−３−５）
更に、シルエット画像生成装置５０２０では、取得部５０２４Ａが更に、ＲＧＢ画像データを取得し、抽出部５０２４Ｂが更に、ＲＧＢ画像データを用いて対象物の画像領域を抽出し、画像領域に対応する部分の深度マップから３次元点群データを生成する。３次元点群データの生成の前に、対象物の画像領域が予め抽出されることにより、対象物領域抽出部５５２４で抽出される対象物の対象物領域の特定精度をより一層向上させることができる。
【０２４２】
（５−３−６）
更に、本実施形態においては、対象物が人であり、平面部分が床を含むものとするのが好適である。これにより、床に上に直立する人のシルエットが効果的に生成される。
【０２４３】
＜他の実施形態２：寸法データ算出装置＞
【０２４４】
（６−１）寸法データ算出装置の構成
図２６は、他の実施形態に係る寸法データ算出装置６０２０の構成を示す模式図である。寸法データ算出装置６０２０は、形状パラメータ取得部６０２４Ｄ及び算出部６０２４Ｅを備える。
【０２４５】
本実施形態に係る寸法データ算出装置６０２０は、第３実施形態及び第４実施形態、並びにこれらの変形例に適用可能である。例えば、本実施形態による寸法データ算出装置６０２０が備える形状パラメータ取得部６０２４Ｄは、第３実施形態の取得部３０２４Ａ、抽出部３０２４Ｂ、変換部３０２４Ｃ、及び推定部３０２４Ｄの全部又は一部として構成されてもよい。或いは、第４実施形態の取得部４１２４Ａ及び推定部４１２４Ｄの全部又は一部として構成されてもよい。また、本実施形態による寸法データ算出装置６０２０が備える算出部６０２４Ｅは、第３実施形態における算出部３０２４Ｅの全部又は一部、或いは第４実施形態における算出部４１２４Ｅの全部又は一部として構成されてもよい。
【０２４６】
形状パラメータ取得部６０２４Ｄは、対象物の形状パラメータの値を取得する。
算出部６０２４Ｅは、対象物の形状パラメータの値から対象物の３次元データを構成し、所定の部位に関連付けられた所定の部位領域を構成する３次元データの頂点の情報に基づいて、任意の部位の寸法データを算出する。なお、寸法データは、任意の部位に関するものとすることができる。寸法データを算出するために、各部位に応じた算出アルゴリズムを設定することができる。
【０２４７】
算出部６０２４Ｅは、３次元データ構成部６１２４、部位領域構成部６２２４、計算点抽出部６３２４、及び寸法データ算出部６４２４を備える。
【０２４８】
算出部６０２４Ｅの３次元データ構成部６１２４は、取得した形状パラメータの値から対象物の３次元データを構成する。第３実施形態及び第４実施形態において説明したように、形状パラメータ取得部６０２４Ｄで取得した形状パラメータの値に対し、学習段階において実施した次元削減に関する射影の逆変換の処理を行うことにより、３次元データが構成される。構成される３次元データは、３次元メッシュ・データとするのがよく、３次元物体を構成するメッシュの頂点の集合の情報（例えば、頂点の３次元座標）である。
【０２４９】
以下の例では、これに限定されないが、例えば、寸法測定対象となる対象物が人体であり、構成される３次元物体が人体モデルであることを想定する。図２７ａ及び図２７ｂは対象物を人体とした場合の３次元空間における人体モデルの概略図である。人体モデルは３次元メッシュ・データで構成されている（メッシュについて不図示）。また、人体モデルは、例えば水平面に直立したモデルとするのがよい。
【０２５０】
図２７ａは人体モデルの平面図であり、図２７ｂはその正面図である。人体モデルに対し、３次元空間において、側面方向がｘ軸、正面方向がｙ軸、及び身長方向がｚ軸となるように３次元座標系が調整されているものとする。より詳しくは、ｘ軸は、正方向が人体モデルを正面から見て身体重心から左半身方向であり、負方向が同右半身方向である。ｙ軸は、正方向が身体重心から背面方向であり、負方向が身体重心から正面方向である。ｚ軸は、正方向が身長方向の身体重心から上半身方向（又は鉛直上向き方向）であり、負方向が同下半身（又は鉛直下向き方向）方向である。
【０２５１】
図２６に戻り、算出部６０２４Ｅの部位領域構成部６２２４は、３次元データ構成部６１２４で構成された３次元メッシュ・データの頂点の情報から、所定の部位に関連付けられる所定の部位領域を構成する。例えば、部位領域は、重心軸を有する筒状領域とするのがよい。筒状領域は、所定の部位に応じて、所定の範囲で３次元物体を部分的に構成する３次元メッシュ・データの頂点の集合によって構成される。また、部位領域の構成には、頂点の集合の分布を所定の条件で分類（クラスタリング）することを含んでもよい。
【０２５２】
より詳しくは、部位「ヒップ」や「ウエスト」には、これらを収容する胴体領域がそれぞれ関連付けられ、同様に、部位「手首まわり」には腕領域が、部位「アームホール」には肩領域が関連付けられる。なお、部位領域は、筒状領域に限定されず、任意の３次元空間内の領域としてよい。また部位領域は立体領域のみならず平面領域としてもよい。
【０２５３】
計算点抽出部６３２４は、部位領域を構成する３次元メッシュ・データの頂点の集合から、所定個数の計算点を抽出する。より詳しくは、計算点抽出部６３２４は、所定の部位に応じて、３次元メッシュ・データの頂点の集合から、部位領域に部分的に関連付けられる計算点を選択的に抽出する。例えば、筒状領域の重心軸に直交して規定され、重心軸を原点とする（２次元）座標系の各象限に関して筒状領域を分割し、各象限から個別に計算点を選択的に抽出する。
【０２５４】
計算点抽出部６３２４で抽出される計算点の個数は、部位領域が筒状領域の場合には、計算量及び精度の観点から３〜５つの何れかとするのがよい。発明者の深い知見に基づけば、６つ以上の計算点を抽出すると計算量が増大し、計算効率が低下することになり得る一方、少なくとも３つの計算点が抽出できれば高い精度で寸法データが計算できることが判明している。
【０２５５】
また、部位領域を分割する態様及びその分割数は、部位に応じて個別に設定するのがよい。更に、分割された部位領域に関連付けられる計算点を抽出するのに加えて、所定の条件を満たす３次元メッシュ・データの頂点を、付加的に計算点として抽出してもよい。
【０２５６】
寸法データ算出部６４２４は、計算点抽出部６３２４で抽出された計算点に基づいて、寸法データを具体的に算出する。例えば、部位領域が筒状領域である場合は、抽出される計算点の情報に基づいて、筒状領域の周に沿って周の長さを計算することにより、寸法データが算出される。より詳しくは、筒状領域の周に沿って隣り合う計算点をそれぞれ線で繋ぐように距離の総和を計算することにより、周の長さが計算される。このように、抽出された計算点の情報を用いて筒状領域の周の長さを計算することにより、効率的かつ高精度に寸法データを算出することができる。
【０２５７】
（６−２）寸法データ算出装置の動作
図２８は、図２６に関して説明した寸法データ算出装置６０２０の動作を説明するためのフローチャートである。本フローチャートによる処理（Ｓ６０００）を通じて、対象物に関し、形状パラメータの値から所定の部位の寸法データを算出することができる。
【０２５８】
まず、形状パラメータ取得部６０２４Ｄは、対象物の形状パラメータの値を取得する（Ｓ６０１０）。なお、当該ステップは、第３実施形態における推定部３０２４Ｄ及び第４実施形態の推定部４１２４Ｄにおける推定処理を通じて実施されるのがよい。
【０２５９】
次に、算出部６０２４Ｅの３次元データ構成部６１２４は、対象物の形状パラメータの値から、３次元メッシュ・データを構成する（Ｓ６０２０）。構成される３次元メッシュ・データは、３次元物体を構成するメッシュの頂点の集合の情報（例えば、頂点の３次元座標）である。
【０２６０】
引き続き、部位領域構成部６２２４は、構成された３次元メッシュ・データの頂点の集合の情報から、所定の部位に予め関連付けられている所定の部位領域を構成する（Ｓ６０３０）。
【０２６１】
そして、計算点抽出部６３２４は、部位領域に関連付けられる特徴的な複数の計算点を選択的に抽出する（Ｓ６０４０）。より詳しくは、所定の部位に応じて部位領域が分割され、分割された部位領域から個別に計算点が３〜５つ程度選択される（具体的な部位に関する計算点の抽出例について後述）。
【０２６２】
最後に、寸法データ算出部６４２４は、抽出された計算点に基づいて、寸法データを算出する（Ｓ６０５０）。例えば、部位領域が筒状領域である場合には、抽出された計算点に基づいて、筒状領域の周の長さを計算することにより、寸法データが算出される。より詳しくは、筒状領域の周に沿って隣り合う計算点をそれぞれ線で繋ぐようにして距離の総和を算出することにより、立体的な周の長さを計算する。
【０２６３】
このように、対象物のモデルに対し、特徴的な計算点を抽出し、これを用いて、筒状領域の周の長さを計算することにより、効率的かつ高精度に寸法データを算出することができる。
【０２６４】
（６−３）部位毎の計算点抽出の例
図２９〜図３５ｂを参照して、寸法データ算出装置６０２０の算出部６０２４Ｅが備える計算点抽出部６３２４に関し、具体的な部位に関して複数の計算点を選択的に抽出する例を説明する。ここでは、部位「ヒップ」、「ウエスト」、「手首まわり」、及び「アームホール」の例をそれぞれ説明するが、本実施形態による計算点の抽出は、これらの部位に限定されるのではない。
【０２６５】
図２９〜図３１は、人体モデルに対し、筒状領域である胴体領域及び腕領域の範囲を特定して、それぞれの領域を構成する例を示した概略図である。図３２ａ及び図３２ｂはヒップに関する計算点を抽出する例を示した概略図である。同様に、図３３ａ及び図３３ｂはウエスト、図３４ａ及び図３４ｂは手首まわり、そして、図３５ａ及び図３５ｂはアームホールに関する計算点を抽出する例を示した概略図である。
【０２６６】
（６−３−１）胴体領域及び腕領域の特定
図２９の正面図に示すように、人体モデルの胴体領域ＢＲ及び腕領域ＡＲは、身長方向（ｚ軸方向）に所定の範囲にわたり抽出される立体領域を切り出すことで特定される。例えば、これに限定されないが、人体モデルにおいて、ｚ軸に対し、身長の所定の割合（上からＲ％）の位置から上下に所定の距離（±Ｄｃｍ）の領域を切り出すことにより、３次元メッシュ・データの頂点の集合を抽出するのがよい。切り出される領域は、右腕領域ＡＲｒ、左腕領域ＡＲｌ、及び胴体領域ＢＲの部分を含む。なお、割合Ｒ及び距離Ｄの値は、算出対象の部位によって個別に選択されるのがよい。
【０２６７】
図３０は、右腕領域ＡＲｒ、左腕領域ＡＲｌ、及び胴体領域ＢＲをｚ軸正方向から見たｘｙ平面を示す。Ｃ（ｃｘ，ｃｙ）は人体モデルの中心点であり、３次元メッシュ・データの頂点の集合の各座標値から計算される。例えば、中心点Ｃ（ｃｘ，ｃｙ）は身体重心とするのがよい。
【０２６８】
図３１は、図２９及び図３０に示した右腕領域ＡＲｒ、左腕領域ＡＲｌ、及び胴体領域ＢＲに関し、３次元メッシュ・データの頂点の分布を示した図である。図３１の座標系の横軸は、中心点Ｃ（ｃｘ，ｃｙ）から各頂点までのｘ軸方向の距離を示している。また、縦軸は、中心点Ｃ（ｃｘ，ｃｙ）から各頂点までの距離を示している。
【０２６９】
つまり、図３１のグラフの横軸及び縦軸の値は、以下の数式で計算される。
・横軸の値＝｜ｘ−ｃｘ｜
・縦軸の値＝（｜ｘ−ｃｘ｜２＋｜ｙ−ｃｙ｜２）１／２
【０２７０】
図３１の分布のうち、領域ａｒは、右腕領域ＡＲｒ及び左腕領域ＡＲｌに対応した領域である。また、領域ｂｒは、胴体領域ＢＲに対応した領域である。すなわち、身長方向（ｚ軸方向）に所定の範囲にわたり抽出される立体領域の各頂点の集合は、領域ａｒ，ｂｒに分類（クラスタリング）することができる。これにより、立体領域の各頂点が、胴体領域ＢＲと、腕領域ＡＲ（ここでは、右腕領域ＡＲｒ及び左腕領域ＡＲｌ）との何れかに所属するものかを判別することができる。
【０２７１】
部位「ヒップ」、「ウエスト」、「手首まわり」、及び「アームホール」における計算点は、次に説明するように、これら胴体領域ＢＲ又は腕領域ＡＲの３次元メッシュ・データの頂点の集合の情報に基づいて抽出することができる。
【０２７２】
（６−３−２）ヒップ
図３２ａは、図２９に示した筒状の胴体領域ＢＲを構成する３次元メッシュ・データの頂点の集合から、ヒップの寸法データを算出するために５つの計算点を抽出する例を示した概略平面図である。また、図３２ｂは、その概略立体図である。
【０２７３】
図３２ａ及び図３２ｂにおいて、身長方向に沿う胴体領域ＢＲ１の重心軸ＡＸ１をｚ’軸とし、且つ、当該ｚ’軸に直交し重心軸ＡＸ１を原点とするｘ’ｙ’平面を有するｘ’ｙ’ｚ’座標系が規定される。特に、重心軸ＡＸ１方向から見たｘ’ｙ’平面座標系に関し、ｘ’方向は、略楕円形状を有する胴体領域ＢＲ１の断面の長軸方向（つまり、人体モデルの側面方向）であり、ｙ’方向は、同断面の短軸方向（つまり、人体モデルの正面（背面）方向）である。
【０２７４】
図３２ａ及び図３２ｂのとおり、ヒップの寸法データを算出するために、計算点は５つ（ａ１，ｂ１，ｃ１，ｄ１，ｅ１）抽出されるのがよい。このうち４つ（ａ１，ｂ１，ｃ１，ｄ１）は、重心軸ＡＸ１方向から見て、ｘ’ｙ’平面の象限に存在する３次元メッシュ・データの頂点の集合からそれぞれ個別に抽出される。各象限から１つずつ合計４つの計算点が抽出されてもよいし、任意の３つの象限から個別に合計３つの計算点が抽出されてもよい。以下では、合計４つの計算点を抽出する例を想定している。
【０２７５】
具体的には、長軸であるｘ’値を−ｋ１≦ｘ’≦ｋ１とする制限領域ＬＲ１を設け、各象限において制限領域ＬＲ１内に位置する３次元メッシュ・データの頂点から４つの計算点ａ１〜ｄ１を個別に抽出するのがよい。なお、ｋ１の値は、例えば、胴体領域ＢＲ１の断面の長軸方向の長さの約１／４程度とするのがよい。
【０２７６】
より詳しくは、各象限において、ｘ’軸方向に原点（重心軸ＡＸ１）から最も離れ、つまり、制限領域ＬＲ１内のうち境界に近接して存在する４つの頂点を計算点として個別に抽出するのがよい。つまり、第１象限及び第４象限においては、制限領域ＬＲ１内でｘ’値が最大となる頂点ａ１，ｄ１を計算点として抽出するのがよく、また、第２象限及び第３象限においては、制限領域ＬＲ１内でｘ’値が最小となる頂点を計算点ｂ１，ｃ１として抽出するのがよい。
【０２７７】
加えて、特にヒップは通常、人体モデルにおいて正面方向及び背面方向に出っ張る形状となる。そこで、前述の４つの計算点（ａ１〜ｄ１）に加えて、残りの１つの計算点ｅ１として、正面方向に出っ張りに相当する箇所に位置する頂点を付加的に抽出するのがよい。具体的には、計算点ｅ１は、原点からｙ’軸（短軸）方向に最も離れた（ここではｙ’値が最小となる）頂点として抽出されるのがよい。
【０２７８】
このように、ヒップに関し、人体モデルにおけるヒップ形状に応じて計算点を抽出することにより、寸法測定の精度を更に向上させることができる。なお、このような付加的な計算点ｅ１の抽出は任意であり、必ずしも抽出しなければならない訳ではない。
【０２７９】
（６−３−３）ウエスト
図３３ａは、図２９に示した筒状の胴体領域ＢＲを構成する３次元メッシュ・データの頂点の集合から、ウエストの寸法データを算出するために５つの計算点を抽出する例を示した概略平面図である。また、図３３ｂは、その概略立体図である。
【０２８０】
図３３ａ及び図３３ｂにおいて規定されるｘ’ｙ’ｚ’座標系は図３２ａ及び図３２ｂと同様に規定される。ここでは、胴体領域ＢＲ２の重心軸ＡＸ２がｘ’ｙ’平面の原点となる。
【０２８１】
図３３ａ及び図３３ｂのとおり、ウエストの寸法データを算出するために、計算点は５つ（ａ２，ｂ２，ｃ２，ｄ２，ｅ２）抽出されるのがよい。このうち４つ（ａ２，ｂ２，ｃ２，ｄ２）は、重心軸ＡＸ２方向から見て、ｘ’ｙ’平面の象限に存在する３次元メッシュ・データの頂点の集合からそれぞれ個別に抽出される。各象限から１つずつ合計４つの計算点が抽出されてもよいし、任意の３つの象限から合計３つの計算点が抽出されてもよい。以下では、合計４つの計算点を抽出する例を想定する。
【０２８２】
特に、ウエストに関しては、基準となる頂点ｓｔｄを基準点として最初に選択し、基準点ｓｔｄに関連付けられる頂点を４つの計算点ａ２，ｂ２，ｃ２，ｄ２として個別に抽出するのがよい。通常、ウエストは人体モデルにおいて正面方向（ここでは、ｙ’軸の負方向）が出っ張る形状となり、且つ３次元メッシュ・データの頂点の集合も出っ張りの部分に偏ることが知られる。この点、図３３ａ及び図３３ｂにおいても、胴体領域ＢＲ２の略断面形状の中心は、重心軸ＡＸ２である原点からｙ’軸の正方向に遷移している。
【０２８３】
したがって、寸法データの算出に関し、このようなウエストの出っ張りの部分を考慮して、計算点を抽出すべきである。そして、前述の基準点ｓｔｄは、このような出っ張りに相当する箇所に位置する頂点を特定したものである。基準点ｓｔｄは、原点（重心軸ＡＸ２）から人体モデルにおける正面方向（ここでは、ｙ’軸の負方向）に最も離れた（ｙ’軸の値が最小となる）頂点として抽出されるのがよい。但し、ウエストの例では、必ずしも、当該基準点ｓｔｄ自体を計算点として採用する必要はない。
【０２８４】
基準点ｓｔｄが抽出された後、各象限において、ｚ’軸（重心軸ＡＸ２）方向において基準点ｓｔｄの位置に近接する頂点を計算点ａ２，ｂ２，ｃ２，ｄ２として個別に抽出するのがよい。つまり、計算点ａ２，ｂ２，ｃ２，ｄ２は、ｚ’軸の値が基準点ｓｔｄのｚ’値に近く、凡そ同じ高さを有する頂点である。ウエストのように水平面に沿うように寸法が測定されるべき部位においては、身長方向に近い高さを有する頂点を抽出するのがよく、これにより、更に寸法の精度を向上させることができる。
【０２８５】
ウエストの例では、更に、ｘ’ｙ’座標系において長軸であるｘ’値を−ｋ２≦ｘ’≦ｋ２とする制限領域ＬＲ２を設けるのがよい。そして、残りの１つ計算点ｅ２として、短軸であるｙ’軸方向に沿って原点に関して基準点ｓｔｄと反対側（ここでは、ｙ’軸の正方向）にある任意の頂点を付加的に抽出するのがよい。なお、ｋ２の値は、例えば、胴体領域ＢＲ２の断面の長軸の長さの約１／４程度とするのがよい。
【０２８６】
このように、４つの計算点ａ２，ｂ２，ｃ２，ｄ２に加えて５つ目の計算点ｅ２を付加的に抽出するのは、前述したように、ウエストの場合は特に、重心が正面方向に偏ることを考慮するためである。つまり、胴体領域ＢＲ２を構成する３次元メッシュ・データの頂点の集合は原点（重心軸ＡＸ２）から−ｙ’領域に偏って分布することになる。このような事情を考慮して、基準点ｓｔｄと反対側にある頂点を５つ目の計算点ｅ２として付加的に抽出することにより、寸法上の誤差を生じさせないばかりか、寸法の精度を更に向上させるように工夫している。
【０２８７】
（６−３−４）手首まわり
図３４ａは、図２９に示した筒状の腕領域ＡＲｒ又はＡＲｌを構成する３次元メッシュ・データの頂点の集合から、手首まわりの寸法データを算出するために４つの計算点を抽出する例を示した概略平面図である。また、図３４ｂは、その概略立体図である。なお、腕領域はＡＲｒ又はＡＲｌの何れか一方を寸法計測の対象としてよい（以下、腕領域ＡＲと総称する。）。
【０２８８】
図３４ａ及び図３４ｂにおいて、身長方向に沿う腕領域ＡＲの重心軸ＡＸ３をｚ’軸とし、且つ、当該ｚ’軸に直交し重心軸ＡＸ３を原点とするｘ’ｙ’平面を有するｘ’ｙ’ｚ’座標系が規定される。特に、ｘ’ｙ’平面座標系に関し、ｘ’方向は、略楕円形状を有する腕領域ＡＲの断面の長軸方向（つまり、人体モデルの側面方向）であり、ｙ’方向は、同断面の短軸方向（つまり、人体モデルの正面方向）である。
【０２８９】
図３４ａ及び図３４ｂのとおり、手首まわりの寸法データを算出するために、計算点は４つ（ａ３，ｂ３，ｃ３，ｄ３）抽出されるのがよい。手首まわりの領域は、腕領域のうち、最もくぼんだ部分であると想定することができる。
【０２９０】
つまり、手首まわりの部位の場合は、最初に、腕領域ＡＲを重心軸方向で走査して、長軸方向の長さ及び／又は短軸方向の長さが最小となる断面領域ｃｓを抽出することで、くぼんだ部分を特定するのがよい。ここでは、長軸方向の長さだけに基づいても、短軸方向だけの長さに基づいても、或いはその両方としてもよい。断面領域ｃｓは平面領域として規定されてもよいし、ｚ’軸方向に厚みを有する立体領域としてもよい。なお、断面領域ｃｓは手の甲として部位が規定されてもよい。
【０２９１】
次いで、腕領域ＡＲを重心軸方向で走査して、３次元メッシュ・データの頂点の集合のうち、長軸方向に最も離れた２つの頂点と、短軸方向に最も離れた２つの頂点との４つを計算点（ａ３，ｂ３，ｃ３，ｄ３）として抽出する。より詳細には、断面領域ｃｓにおいて、ｘ’軸の正方向に最も離れた位置（ここでは、ｘ’値が最大となる）でｚ’軸方向に最近傍の頂点を計算点ａ３、また、ｘ’軸の負方向に最も離れた位置（ここでは、ｘ’値が最小となる）でｚ’軸方向に最近傍の頂点を計算点ｃ３として抽出する。同様に、断面領域ｃｓにおいてｙ’軸の正方向に最も離れた位置（ここでは、ｙ’値が最大となる）でｚ’軸方向に最近傍の頂点を計算点ｂ３、また、ｙ’軸の負方向に最も離れた位置（ここでは、ｙ’値が最小となる）でｚ’方向に最近傍の頂点を計算点ｄ３として抽出する。
【０２９２】
このように、腕領域を重心軸方向で走査して、長軸方向の長さ及び／又は短軸方向の長さが最小となる領域部分が該当部位であると推定して、４つの計算点（ａ３，ｂ３，ｃ３，ｄ３）として抽出する。これにより、手首まわりの寸法データの算出を効率的に行うことができる。特に、手首まわりは、ヒップやウエストに比べて長さが短いので、このような手法で計算点を４点抽出すれば足り、必ずしも５点目は必要としない。
【０２９３】
（６−３−５）アームホール
図３５ａは、図２９に示した筒状の胴体領域ＢＲに基づいて規定される筒状の肩領域ＳＲを構成する３次元メッシュ・データの頂点の集合から、アームホールの寸法データを算出するために４つの計算点を抽出する例を示した概略平面図である。また、図３５ｂは、その概略立体図である。
【０２９４】
アームホールの例では、胴体領域を構成する３次元メッシュ・データの頂点の集合のうち、図３２ａで規定したようなｘ’ｙ’ｚ’座標系（不図示）においてｘ’軸方向に原点から最も離れた頂点のｘ’値を抽出する。更に、３次元メッシュ・データの頂点の全体の集合のうち、当該ｘ’値を有する頂点の集合を抽出する。
【０２９５】
このｘ’値を有する頂点の集合においてｚ’軸（重心軸）の正方向に最も離れた（最も高い）頂点を肩の頂点として規定し、肩の頂点を基準にしてｘ’ｙ’ｚ’方向に所定の範囲で切り出す。そして、切り出された範囲内に存在する３次元メッシュ・データの頂点の集合を用いて、筒状の肩領域ＳＲを構成する。
【０２９６】
図３５ａ及び図３５ｂにおいて、肩領域ＳＲの重心軸ＡＸ４をｘ’’軸とし、且つ、当該ｘ’’軸に直交し重心軸ＡＸ４を原点とするｙ’’ｚ’’平面を有するｘ’’ｙ’’ｚ’‘座標系が規定される。特に、重心軸ＡＸ４方向から見たｙ’’ｚ’’平面座標系に関し、ｙ’’方向は、略楕円形状を有する肩領域ＳＲの断面の短軸方向（つまり、人体モデルの正面（波面）方向）であり、ｚ’’方向は、同断面の長軸方向（つまり、人体モデルの身長方向）である。
【０２９７】
図３５ａ及び図３５ｂのとおり、アームホールの寸法データを算出するために、計算点は４つ（ａ４，ｂ４，ｃ４，ｅ４）抽出されるのがよい。このうち３つ（ａ４，ｂ４，ｃ４）は、ｙ’’ｚ’’平面において、重心軸ＡＸ４から短軸の正負方向にそれぞれ最も離れた頂点、及び長軸（ｚ’軸）の正方向（つまり鉛直上方向）に最も離れた頂点とするのがよい。
【０２９８】
より詳しくは、重心軸ＡＸ４から短軸（ｙ’’軸）の正方向に最も離れた（ここでは、ｙ’’値が最大となる）頂点を計算点ａ４として抽出し、同様に、重心軸ＡＸ４から短軸の負方向に最も離れた頂点（ここでは、ｙ’’値が最小となる）を計算点ｃ４として抽出するのがよい。また、重心軸ＡＸ４から長軸（ｚ’軸）の正方向（つまり鉛直上方向）に最も離れた頂点（ここでは、ｚ’値が最大となる）を計算点ｂ４として抽出するのがよい。
【０２９９】
残りの１つの計算点ｅ４について、ｚ’’軸の負方向（つまり鉛直下方向）に、長軸のｚ’’値を所定の範囲（ｚ’’≦−ｊ）とする制限領域ＬＲ４を設け、制限領域ＬＲ４内で境界に近接する頂点（ここでは、制限領域ＬＲ４内でｚ’’値が最大となる）を抽出するのがよい。
【０３００】
ここで、制限領域ＬＲ４は、人体モデルの脇領域に応じて規定される。例えば、これに限定されないが、脇領域を鉛直方向下１／４に分割した領域を制限領域ＬＲ４とするのがよい。なお、脇領域（不図示）は、脇の頂点を基準にしてｘ’’ｙ’’ｚ’’方向に所定の範囲で切り出し、切り出された範囲内に存在する３次元メッシュ・データの頂点の集合を用いて構成するのがよい。脇の頂点は、図３１で示したような胴体領域ＢＲと腕領域ＡＲの分類において、両者が判別できなくなるような高さ（ｚ値）を有する頂点として規定するのがよい。補足すると、肩領域ＳＲにおいて、脇領域は上に凸の形状となっているので、ｘ’’軸方向に走査した場合、脇の頂点は、胴体領域ＢＲと腕領域ＡＲの分類において、両者が判別できなくなるような高さに対応することになる。
【０３０１】
このように、アームホールにおいては、胴体領域に基づいて規定される肩領域ＳＲを用いて４つの計算点が規定される。特に、脇領域に基づく制限領域ＬＲ４を設定することにより、効率的かつ高精度に寸法データを算出することができる。
【０３０２】
（６−３−６）その他
人体モデルに関し、ヒップ、ウエスト、手首まわり、及びアームホールの各部位における計算点の抽出例について説明してきたが、これらを応用することにより、更に他の部位に関する計算点も抽出することができる。例えば、「胸囲」及び「二の腕」のような筒状領域に適用可能な計算点を３つ〜５つ抽出することができる。これにより、所定の部位に関連付けられる筒状領域に対し、計算点の抽出の手法が予め規定されていることを条件に、当該所定の部位の寸法データを効率的且つ高精度に算出することができる。
【０３０３】
また、筒状領域における周の長さを計算するための計算点の抽出について説明してきたが、これに限らず、筒状領域以外の寸法データの算出にも応用可能である。例えば、手首まわりの計算点の抽出の途中で特定される手の甲の頂点と、及びアームホールの計算点の抽出の途中で特定される肩の頂点との情報に基づいて、部位「袖丈」の長さを計算することができる。また、左右両肩の頂点の情報に基づいて、部位「肩幅」の長さを計算することができる。
【０３０４】
（６−４）寸法データ算出装置の算出部の特徴
（６−４−１）
以上説明したように、本実施形態に係る寸法データ算出装置６０２０は、形状パラメータ取得部６０２４Ｄ及び算出部６０２４Ｅを備える。形状パラメータ取得部６０２４Ｄは、対象物の形状パラメータの値を取得する。算出部６０２４Ｅは、対象物の形状パラメータの値から対象物の３次元メッシュ・データを構成し、所定の部位に関連付けられた所定の部位領域を構成する３次元メッシュ・データの頂点の情報に基づいて、所定の部位の寸法データを算出する。
【０３０５】
かかる寸法データ算出装置６０２０によれば、部位領域を構成する３次元メッシュ・データの頂点の情報に基づいて、所定の部位の寸法データを算出することにより、測定対象の部位に関する寸法データの算出の精度を向上させることができる。
【０３０６】
（６−４−２）
また、寸法データ算出装置６０２０において、算出部６０２４Ｅは、所定の部位に応じて、３次元メッシュ・データの頂点の集合から、部位領域に部分的に関連付けられる計算点を選択的に抽出し、各計算点に基づいて寸法データを算出する。これにより、計算点の選択的な抽出を効果的に行うことにより、寸法データの算出を効率化することができる。
【０３０７】
（６−４−３）
更に、寸法データ算出装置６０２０において、部位領域が筒状領域であり、計算点に基づいて筒状領域の周の長さを計算することにより、寸法データが算出される。これにより、筒状形状の寸法データの算出を高精度化且つ効率化することができる。
【０３０８】
（６−４−４）
加えて、周の長さが、筒状領域の周に沿って、隣り合う計算点をそれぞれ線で繋ぐように計算した距離の総和となるように計算される。これにより、筒状形状の寸法データの算出を更に高精度化且つ効率化することができる。
【０３０９】
（６−４−５）
また、本実施形態に係る実施形態に係る寸法データ算出方法は、対象物の形状パラメータの値を取得するステップ（Ｓ６０１０）と、対象物の形状パラメータの値から対象物の３次元メッシュ・データを構成するステップと（Ｓ６０２０）、構成された３次元メッシュ・データの頂点の集合の情報から、所定の部位に予め関連付けられている所定の部位領域を構成するステップと（Ｓ６０３０）、部位領域に関連付けられる計算点を選択的に抽出するステップと（Ｓ６０４０）、抽出された計算点に基づいて、寸法データを算出するステップ（Ｓ６０５０）と、を含む。
【０３１０】
かかる寸法データ算出方法によれば、部位領域を構成する３次元メッシュ・データの頂点の情報に基づいて、所定の部位の寸法データを算出することにより、測定対象の部位に関する寸法データの算出の精度を向上させることができる。
【０３１１】
＜他の実施形態３：端末装置＞
図３６は、他の実施形態に係る端末装置７０２０の構成を示す模式図である。
端末装置７０２０は、第１実施形態に係る端末装置１０１０、第２実施形態に係る端末装置２０１０Ｓ、第３実施形態に係る端末装置３０１０、又は第４実施形態に係る端末装置４０１０Ｓの各機能を有するものである。また、上述した各寸法データ算出装置１０２０，２１２０，３０２０，４１２０，６０２０に接続可能なものである。さらに、端末装置７０２０は、寸法データ算出装置に限られず、対象物７００７が撮影された画像データから対象物７００７に関する情報を処理する任意の情報処理装置と接続可能である。
【０３１２】
端末装置７０２０は、取得部７０１１、通信部７０１２、処理部７０１３、及び入出力部７０１４を有する。
【０３１３】
取得部７０１１は、対象物７００７が撮影された画像データを取得するものである。例えば、取得部７０１１は、任意の単眼カメラにより構成される。取得部７０１１により取得されたデータは処理部７０１４で処理される。
【０３１４】
通信部７０１２は、任意のネットワークカード等のネットワークインタフェースにより実現され、有線又は無線によりネットワーク上の通信機器との通信を可能にする。
【０３１５】
処理部７０１３は、各種情報処理を実行するために、ＣＰＵ(Central Processing Unit)及び／又はＧＰＵ(Graphical Processing Unit)といったプロセッサ、並びにメモリにより実現され、プログラムが読み込まれることにより処理を実行する。ここでは、処理部（判定部）７０１３は、画像データに含まれる（つまり、画像データに写る）対象物が予め登録された対象物であるか否かを判定する。詳しくは、処理部７０１３は、画素毎に所定の対象物であるか否かを識別する「対象物識別モデル」を用いて、画像データに含まれる対象物が予め登録された対象物であるか否かを判定する。
【０３１６】
入出力部７０１４は、端末装置７０２０への各種情報の入力を受け付けたり、端末装置７０２０から各種情報を出力したりする。例えば、入出力部７０１４は、任意のタッチパネルにより実現される。入出力部（受付部）７０１４は、後述する処理部７０１３による判定結果を入出力部７０１４のスクリーン（出力部）に示す。また、入出力部７０１４は、対象物識別モデルを用いて識別された画素毎の識別結果から得られる判定用画像データを、取得部７０１１により取得された画像データに重畳して入出力部７０１４のスクリーンに示す。
【０３１７】
例えば、図３７に示すように、対象物７００７（ここでは人）に対して、対象物以外の領域ＢＧの画像データ（図３７斜線部分）に重畳して表示される。重畳にはアルファブレンドなどの透過画像を重畳して描画する手法を用いることができる。また、入出力部（受付部）７０１４は、画像データを情報処理装置（例えば、寸法データ算出装置１０２０，２１２０，３０２０，４１２０，６０２０）に送信するか否かの入力を受け付ける。これにより、ユーザは重畳描画されている画像を目視して確認し、誤認識を誘発する物体が写っていないことを確認してから寸法データ算出装置に画像データを送信することが可能となる。
【０３１８】
図３８は端末装置７０２０の動作を説明するための端末装置７０２０と情報処理装置（例えば、寸法データ算出装置１０２０，２１２０，３０２０，４１２０，６０２０）との間のシーケンス図である。
【０３１９】
まず、ユーザの操作により端末装置７０２０を介して対象物７００７の画像データが取得される（Ｖ１）。次に、端末装置７０２０が、対象物識別モデルを用いて、画像データに含まれる対象物７００７が予め登録された対象物であるか否かを判定し、入出力部７０１４を構成するスクリーン上に判定結果を出力する（Ｖ２）。例えば、図３７に示すような画面が判定結果として表示される。
【０３２０】
次に、ユーザの操作により端末装置７０２０を介して、取得した画像データを寸法データ算出装置に送信するか否かが入力される（Ｖ３）。端末装置７０２０は入出力部７０１４から送信許可の入力を受け付けた場合、端末装置７０２０は、通信部７０１２を通じて、取得した画像データを寸法データ算出装置に送信する（Ｖ３−Ｙｅｓ，Ｖ４）。
【０３２１】
そして、当該画像データを受信した寸法データ算出装置により、端末装置７０２０から送信された画像データを用いて対象物７００７の寸法データが算出される（Ｖ５，Ｖ６）。
【０３２２】
以上説明したように、上記端末装置７０２０は、画像データに含まれる対象物が予め登録された対象物であるか否かの判定結果を出力するとともに、画像データを寸法データ算出装置に送信するか否かの入力を受け付けるので、ユーザによる操作時間を短縮し得る端末装置を提供することができる。
【０３２３】
補足すると、寸法データ算出装置１０２０，２１２０，３０２０，４１２０，６０２０は、画像データを受信し、セグメンテーションすることで背景を分離しシルエット画像を生成する。そして、寸法データ算出装置は、例えば、人体各部の寸法データを算出する。このような寸法データ算出装置では、端末装置７０２０から寸法データ算出装置へ画像データを送信し、寸法データ算出装置による画像データの情報処理が完了してからでないと、算出結果の信頼性を確認することができない。そして、算出結果の信頼性が低い場合には、ユーザは端末装置７０２０を用いて画像データを改めて取得する必要がある。これに対し、上記端末装置７０２０を用いた場合には、対象物が写った画像データを送信する前に、ユーザに画像データの妥当性の確認を促すことができるので、寸法データ算出装置による信頼性の高い算出結果を得るまでの時間を短縮できる場合がある。
【０３２４】
例えば、店舗のような多様な色を配する環境や、マネキンなどを人体と誤認識してしまう環境でも、寸法データ算出装置によるシルエット画像の生成が成功することを端末装置７０２０のユーザが予測及び確認しながら実行できるので、操作時間を短縮できる場合がある。
【０３２５】
なお、端末装置７０２０に搭載される対象物識別モデルはセグメンテーションを高速に実行することが要求される。そのため、セグメンテーションの精度は多少犠牲にしても高速に推論できるモデルが好ましい。要するに、寸法データ算出装置側のセグメンテーションと、端末装置７０２０側のセグメンテーションとの両方を用意することで、精密なシルエット画像の生成と不要なオブジェクトの除去とを両立することが可能となる。
【０３２６】
本開示は、上記各実施形態そのままに限定されるものではない。本開示は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できるものである。また、本開示は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
【符号の説明】
【０３２７】
１００１    製品製造システム
１０１０    端末装置
１０２０    寸法データ算出装置
１０２１    記憶部
１０２２    入出力部
１０２３    通信部
１０２４    処理部
１０２４Ａ  取得部
１０２４Ｂ  抽出部
１０２４Ｃ  変換部
１０２４Ｄ  算出部
１０３０    製品製造装置
２００１Ｓ  製品製造システム
２１２０    寸法データ算出装置
２１２１    記憶部
２１２２    入出力部
２１２３    通信部
２１２４    処理部
２１２４Ａ  取得部
２１２４Ｄ  算出部
３００１    製品製造システム
３０２０    寸法データ算出装置
３０２１    記憶部
３０２２    入出力部
３０２３    通信部
３０２４    処理部
３０２４Ａ  取得部
３０２４Ｂ  抽出部
３０２４Ｃ  変換部
３０２４Ｄ  推定部
３０２４Ｅ  算出部
３０２５    学習装置
３０２６    記憶部
３０２７    処理部
３０２７Ａ  前処理部
３０２７Ｂ  学習部
３１００    寸法データ算出システム
４００１Ｓ  製品製造システム、
４１２０    寸法データ算出装置
４１２１    記憶部
４１２２    入出力部
４１２３    通信部
４１２４    処理部
４１２４Ａ  取得部
４１２４Ｄ  推定部
４１２４Ｅ  算出部
４１２５    学習装置
４１２６    記憶部
４１２７    処理部
４１２７Ａ  前処理部
４１２７Ｂ  学習部
４２００    寸法データ算出システム
５０２０    シルエット画像生成装置
５０２４Ａ  取得部
５０２４Ｂ  抽出部
５０２４Ｃ  変換部
５１２４    ３次元点群生成部
５２２４    背景点群除去部
５３２４    平面点群除去部
５４２４    対象物領域抽出部
５５２４    形状データ抽出部
５６２４    物体検出部
６０２０    寸法データ算出装置
６０２４Ｄ  形状パラメータ取得部
６０２４Ｅ  算出部
６１２４    ３次元データ構成部
６２２４    部位領域構成部
６３２４    計算点抽出部
６４２４    寸法データ算出部
７００７    対象物
７０１１    取得部
７０１２    通信部
７０１３    処理部
７０１４    入出力部
７０２０    端末装置
【先行技術文献】
【特許文献】
【０３２８】
【特許文献１】特開２０１７−０１８１５８号公報
【図１】
2020184295.tif 000008
【図２】
2020184295.tif 000009
【図３】
2020184295.tif 000010
【図４】
2020184295.tif 000011
【図５】
2020184295.tif 000012
【図６】
2020184295.tif 000013
【図７】
2020184295.tif 000014
【図８】
2020184295.tif 000015
【図９】
2020184295.tif 000016
【図１０】
2020184295.tif 000017
【図１１】
2020184295.tif 000018
【図１２】
2020184295.tif 000019
【図１３】
2020184295.tif 000020
【図１４】
2020184295.tif 000021
【図１５】
2020184295.tif 000022
【図１６】
2020184295.tif 000023
【図１７】
2020184295.tif 000024
【図１８】
2020184295.tif 000025
【図１９】
2020184295.tif 000026
【図２０】
2020184295.tif 000027
【図２１】
2020184295.tif 000028
【図２２】
2020184295.tif 000029
【図２３】
2020184295.tif 000030
【図２４】
2020184295.tif 000031
【図２５】
2020184295.tif 000032
【図２６】
2020184295.tif 000033
【図２７ａ】
2020184295.tif 000034
【図２７ｂ】
2020184295.tif 000035
【図２８】
2020184295.tif 000036
【図２９】
2020184295.tif 000037
【図３０】
2020184295.tif 000038
【図３１】
2020184295.tif 000039
【図３２ａ】
2020184295.tif 000040
【図３２ｂ】
2020184295.tif 000041
【図３３ａ】
2020184295.tif 000042
【図３３ｂ】
2020184295.tif 000043
【図３４ａ】
2020184295.tif 000044
【図３４ｂ】
2020184295.tif 000045
【図３５ａ】
2020184295.tif 000046
【図３５ｂ】
2020184295.tif 000047
【図３６】
2020184295.tif 000048
【図３７】
2020184295.tif 000049
【図３８】
2020184295.tif 000050
【手続補正書】
【提出日】令和2年3月6日(2020.3.6)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物が撮影された、深度マップを含む画像データを取得する取得部と、
前記深度マップから生成される３次元点群データを用いて前記対象物の対象物領域を抽出し、前記対象物領域に対応する前記深度マップの深度データに基づいて、前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを変換して、前記対象物のシルエット画像を生成する変換部と、
を備え、
前記抽出部が、前記３次元点群データのうち、奥行方向に沿って所定の閾値距離より離れて存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
シルエット画像生成装置。
【請求項２】
前記変換部は、前記シルエット画像として、前記対象物領域に対応した前記深度データに関連付けられたモノクロ画像である階調シルエット画像を生成する、
請求項１に記載のシルエット画像生成装置。
【請求項３】
前記抽出部が、更に、
前記深度マップから生成される前記３次元点群データから、画像データにおける平面部分を推定し、
前記３次元点群データのうち、前記推定された平面部分に存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
請求項１又は２に記載のシルエット画像生成装置。
【請求項４】
前記抽出部が、ランダムサンプリングにしたがってサンプルされるサンプル平面に関連付けられる３次元点群データの含有率を算出することに基づいて、前記平面部分を推定する、
請求項３に記載のシルエット画像生成装置。
【請求項５】
前記対象物が人であり、前記平面部分が床を含む、
請求項１から４の何れか一項に記載のシルエット画像生成装置。
【請求項６】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
前記対象物の全長データを取得する全長データ取得部と、
前記シルエット画像を前記全長データに基づいて変換するシルエット画像変換部と、
前記シルエット画像変換部により変換されたシルエット画像を次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部と、
を備える、情報処理装置。
【請求項７】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
前記対象物の全長データを取得する全長データ取得部と、
前記シルエット画像を前記全長データに基づいて変換するシルエット画像変換部と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記シルエット画像から所定個数の形状パラメータの値を推定する推定部と、
前記推定された所定個数の形状パラメータの値に基づいて、前記対象物の寸法データを算出する算出部と、
を備える、情報処理装置。
【請求項８】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記シルエット画像から前記対象物の形状パラメータの値を推定する推定部と、
を備え、前記推定された対象物の形状パラメータの値が、前記対象物が有する任意の部位に関連する寸法データに関連付けられる、情報処理装置。
【請求項９】
請求項７又は８に記載の情報処理装置と、
対象物の形状パラメータの値を取得する形状パラメータ取得部と、
前記対象物の形状パラメータの値から前記対象物の３次元メッシュ・データを構成し、所定の部位に関連付けられた所定の部位領域を構成する前記３次元メッシュ・データの頂点の情報に基づいて、前記所定の部位の寸法データを算出する算出部と、
を備える、寸法データ算出装置。
【請求項１０】
前記算出部は、前記所定の部位に応じて、
前記３次元メッシュ・データの頂点の集合から、前記部位領域に部分的に関連付けられる計算点を選択的に抽出し、
各前記計算点に基づいて前記寸法データを算出する、
請求項９に記載の寸法データ算出装置。
【請求項１１】
前記部位領域が筒状領域であり、
前記計算点に基づいて前記筒状領域の周の長さを計算することにより、前記寸法データが算出される、
請求項１０に記載の寸法データ算出装置。
【請求項１２】
前記算出部は、
前記筒状領域の重心軸に直交し、前記重心軸を原点とする、筒状領域の断面の長軸方向及び短軸方向に関して規定される座標系の３つ以上の象限内に存在する頂点の集合から個別に前記計算点を抽出する、
請求項１１に記載の寸法データ算出装置。
【請求項１３】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを用いて、前記対象物の各部分の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記抽出部により抽出される形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項１４】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項１３に記載の寸法データ算出装置。
【請求項１５】
前記形状データを前記全長データに基づいて変換する変換部を更に備える、
請求項１３又は１４に記載の寸法データ算出装置。
【請求項１６】
前記変換部は、前記形状データを、前記全長データ及び前記対象物領域の深度データに基づいて新たな形状データに変換する、
請求項１５に記載の寸法データ算出装置。
【請求項１７】
前記算出部は、前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分毎に最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する、
請求項１５又は１６に記載の寸法データ算出装置。
【請求項１８】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記対象物のシルエット画像から所定個数の形状パラメータの値を推定する推定部と、
前記推定された所定個数の形状パラメータの値に基づいて、前記対象物の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項１９】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項１８に記載の寸法データ算出装置。
【請求項２０】
前記形状データを、前記対象物領域の深度データに基づいて新たな形状データに変換する変換部を更に備える、
請求項１９に記載の寸法データ算出装置。
【請求項２１】
前記所定個数の形状パラメータが、前記サンプル対象物の３次元データを次元削減することによって得られる、
請求項１８から２０のいずれか１項に記載の寸法データ算出装置。
【請求項２２】
対象物が撮影された画像データから前記対象物に関する情報を処理する情報処理装置に接続される端末装置であって、
前記対象物が撮影された画像データを取得する取得部と、
前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する判定部と、
前記判定部による判定結果を出力部に示すとともに、前記画像データを前記情報処理装置に送信するか否かの入力を受け付ける受付部と、
を備える、端末装置。
【請求項２３】
前記判定部が、画素毎に所定の対象物であるか否かを識別する対象物識別モデルを用いて前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する、
請求項２２に記載の端末装置。
【請求項２４】
前記受付部は、前記対象物識別モデルを用いて識別された画素毎の識別結果から得られる判定用画像データを、前記取得部により取得された画像データに重畳して前記出力部に示す、
請求項２３に記載の端末装置。
【請求項２５】
対象物が撮影された、深度マップを含む画像データを取得する取得部と、
前記深度マップから生成される３次元点群データを用いて前記対象物の対象物領域を抽出し、前記対象物領域に対応する前記深度マップの深度データに基づいて、前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを変換して、前記対象物のシルエット画像を生成する変換部と、
を備え、
前記変換部は、前記シルエット画像として、前記対象物領域に対応した前記深度データに関連付けられたモノクロ画像である階調シルエット画像を生成する、
シルエット画像生成装置。
【手続補正書】
【提出日】令和2年7月14日(2020.7.14)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物が撮影された、深度マップを含む画像データを取得する取得部と、
前記深度マップから生成される３次元点群データを用いて前記対象物の対象物領域を抽出し、前記対象物領域に対応する前記深度マップの深度データに基づいて、前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを変換して、前記対象物のシルエット画像を生成する変換部と、
を備え、
前記抽出部が、前記３次元点群データのうち、奥行方向に沿って所定の閾値距離より離れて存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
シルエット画像生成装置。
【請求項２】
前記変換部は、前記シルエット画像として、前記対象物領域に対応した前記深度データに関連付けられたモノクロ画像である階調シルエット画像を生成する、
請求項１に記載のシルエット画像生成装置。
【請求項３】
前記抽出部が、更に、
前記深度マップから生成される前記３次元点群データから、画像データにおける平面部分を推定し、
前記３次元点群データのうち、前記推定された平面部分に存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
請求項１又は２に記載のシルエット画像生成装置。
【請求項４】
前記抽出部が、ランダムサンプリングにしたがってサンプルされるサンプル平面に関連付けられる３次元点群データの含有率を算出することに基づいて、前記平面部分を推定する、
請求項３に記載のシルエット画像生成装置。
【請求項５】
前記対象物が人である、
請求項１から４の何れか一項に記載のシルエット画像生成装置。
【請求項６】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
前記対象物の全長データを取得する全長データ取得部と、
前記シルエット画像を前記全長データに基づいて変換するシルエット画像変換部と、
前記シルエット画像変換部により変換されたシルエット画像を次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部と、
を備える、情報処理装置。
【請求項７】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
前記対象物の全長データを取得する全長データ取得部と、
前記シルエット画像を前記全長データに基づいて変換するシルエット画像変換部と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記シルエット画像から所定個数の形状パラメータの値を推定する推定部と、
前記推定された所定個数の形状パラメータの値に基づいて、前記対象物の寸法データを算出する算出部と、
を備える、情報処理装置。
【請求項８】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記シルエット画像から前記対象物の形状パラメータの値を推定する推定部と、
を備え、前記推定された対象物の形状パラメータの値が、前記対象物が有する任意の部位に関連する寸法データに関連付けられる、情報処理装置。
【請求項９】
請求項７又は８に記載の情報処理装置と、
対象物の形状パラメータの値を取得する形状パラメータ取得部と、
前記対象物の形状パラメータの値から前記対象物の３次元メッシュ・データを構成し、所定の部位に関連付けられた所定の部位領域を構成する前記３次元メッシュ・データの頂点の情報に基づいて、前記所定の部位の寸法データを算出する算出部と、
を備える、寸法データ算出装置。
【請求項１０】
前記算出部は、前記所定の部位に応じて、
前記３次元メッシュ・データの頂点の集合から、前記部位領域に部分的に関連付けられる計算点を選択的に抽出し、
各前記計算点に基づいて前記寸法データを算出する、
請求項９に記載の寸法データ算出装置。
【請求項１１】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを前記全長データに基づいて変換する変換部と、
変換された前記形状データを用いて、前記対象物の各部分の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記抽出部により抽出される形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項１２】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項１１に記載の寸法データ算出装置。
【請求項１３】
前記変換部は、前記形状データを、前記全長データ及び前記対象物領域の深度データに基づいて新たな形状データに変換する、
請求項１２に記載の寸法データ算出装置。
【請求項１４】
前記算出部は、前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分毎に最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する、
請求項１１から１３のいずれか１項に記載の寸法データ算出装置。
【請求項１５】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記対象物のシルエット画像から所定個数の形状パラメータの値を推定する推定部と、
前記推定された所定個数の形状パラメータの値に基づいて、前記対象物の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項１６】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項１５に記載の寸法データ算出装置。
【請求項１７】
前記形状データを、前記対象物領域の深度データに基づいて新たな形状データに変換する変換部を更に備える、
請求項１６に記載の寸法データ算出装置。
【請求項１８】
前記所定個数の形状パラメータが、前記サンプル対象物の３次元データを次元削減することによって得られる、
請求項１５から１７のいずれか１項に記載の寸法データ算出装置。
【請求項１９】
請求項１１から１８のいずれか１項に記載の寸法データ算出装置に接続される端末装置であって、
前記対象物が撮影された画像データを取得する取得部と、
前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する判定部と、
前記判定部による判定結果を出力部に示すとともに、前記画像データを前記情報処理装置に送信するか否かの入力を受け付ける受付部と、
を備える、端末装置。
【請求項２０】
前記判定部が、画素毎に所定の対象物であるか否かを識別する対象物識別モデルを用いて前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する、
請求項１９に記載の端末装置。
【請求項２１】
前記受付部は、前記対象物識別モデルを用いて識別された画素毎の識別結果から得られる判定用画像データを、前記取得部により取得された画像データに重畳して前記出力部に示す、
請求項２０に記載の端末装置。
【請求項２２】
対象物が撮影された、深度マップを含む画像データから前記対象物の対象物領域を抽出する情報処理装置に接続される端末装置であって、
前記対象物が撮影された、前記深度マップを含む画像データを取得する取得部と、
前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する判定部と、
前記判定部による判定結果を出力部に示すとともに、前記画像データを前記情報処理装置に送信するか否かの入力を受け付ける受付部と、
を備える、端末装置。
【請求項２３】
前記判定部が、画素毎に所定の対象物であるか否かを識別する対象物識別モデルを用いて前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する、
請求項２２に記載の端末装置。
【請求項２４】
前記受付部は、前記対象物識別モデルを用いて識別された画素毎の識別結果から得られる判定用画像データを、前記取得部により取得された画像データに重畳して前記出力部に示す、
請求項２３に記載の端末装置。
【請求項２５】
対象物が撮影された、深度マップを含む画像データを取得する取得部と、
前記深度マップから生成される３次元点群データを用いて前記対象物の対象物領域を抽出し、前記対象物領域に対応する前記深度マップの深度データに基づいて、前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを変換して、前記対象物のシルエット画像を生成する変換部と、
を備え、
前記変換部は、前記シルエット画像として、前記対象物領域に対応した前記深度データに関連付けられたモノクロ画像である階調シルエット画像を生成する、
シルエット画像生成装置。
【手続補正書】
【提出日】令和2年8月7日(2020.8.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物が撮影された、深度マップを含む画像データを取得する取得部と、
前記深度マップから生成される３次元点群データを用いて前記対象物の対象物領域を抽出し、前記対象物領域に対応する前記深度マップの深度データに基づいて、前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを変換して、前記対象物のシルエット画像を生成する変換部と、
を備え、
前記抽出部が、前記３次元点群データのうち、奥行方向に沿って所定の閾値距離より離れて存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
シルエット画像生成装置。
【請求項２】
前記変換部は、前記シルエット画像として、前記対象物領域に対応した前記深度データに関連付けられたモノクロ画像である階調シルエット画像を生成する、
請求項１に記載のシルエット画像生成装置。
【請求項３】
前記抽出部が、更に、
前記深度マップから生成される前記３次元点群データから、画像データにおける平面部分を推定し、
前記３次元点群データのうち、前記推定された平面部分に存在する３次元点群データを取り除いたものに基づいて、前記対象物の対象物領域を抽出する、
請求項１又は２に記載のシルエット画像生成装置。
【請求項４】
前記抽出部が、ランダムサンプリングにしたがってサンプルされるサンプル平面に関連付けられる３次元点群データの含有率を算出することに基づいて、前記平面部分を推定する、
請求項３に記載のシルエット画像生成装置。
【請求項５】
前記対象物が人である、
請求項１から４の何れか一項に記載のシルエット画像生成装置。
【請求項６】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
前記対象物の全長データを取得する全長データ取得部と、
前記シルエット画像を前記全長データに基づいて変換するシルエット画像変換部と、
前記シルエット画像変換部により変換されたシルエット画像を次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部と、
を備える、情報処理装置。
【請求項７】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
前記対象物の全長データを取得する全長データ取得部と、
前記シルエット画像を前記全長データに基づいて変換するシルエット画像変換部と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記シルエット画像から所定個数の形状パラメータの値を推定する推定部と、
前記推定された所定個数の形状パラメータの値に基づいて、前記対象物の寸法データを算出する算出部と、
を備える、情報処理装置。
【請求項８】
請求項１から５のいずれか１項に記載のシルエット画像生成装置と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記シルエット画像から前記対象物の形状パラメータの値を推定する推定部と、
を備え、前記推定された対象物の形状パラメータの値が、前記対象物が有する任意の部位に関連する寸法データに関連付けられる、情報処理装置。
【請求項９】
請求項７又は８に記載の情報処理装置と、
対象物の形状パラメータの値を取得する形状パラメータ取得部と、
前記対象物の形状パラメータの値から前記対象物の３次元メッシュ・データを構成し、所定の部位に関連付けられた所定の部位領域を構成する前記３次元メッシュ・データの頂点の情報に基づいて、前記所定の部位の寸法データを算出する算出部と、
を備える、寸法データ算出装置。
【請求項１０】
前記算出部は、前記所定の部位に応じて、
前記３次元メッシュ・データの頂点の集合から、前記部位領域に部分的に関連付けられる計算点を選択的に抽出し、
各前記計算点に基づいて前記寸法データを算出する、
請求項９に記載の寸法データ算出装置。
【請求項１１】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを前記全長データに基づいて変換する変換部と、
変換された前記形状データを用いて、前記対象物の各部分の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記抽出部により抽出される形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項１２】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項１１に記載の寸法データ算出装置。
【請求項１３】
前記変換部は、前記形状データを、前記全長データ及び前記対象物領域の深度データに基づいて新たな形状データに変換する、
請求項１２に記載の寸法データ算出装置。
【請求項１４】
前記算出部は、前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分毎に最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する、
請求項１１から１３のいずれか１項に記載の寸法データ算出装置。
【請求項１５】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部と、
サンプル対象物のシルエット画像と前記サンプル対象物に関連付けられた所定個数の形状パラメータの値とを関連付けた対象物エンジンを使用して、前記対象物のシルエット画像から所定個数の形状パラメータの値を推定する推定部と、
前記推定された所定個数の形状パラメータの値に基づいて、前記対象物の寸法データを算出する算出部と、を備え、
前記画像データが深度マップを含み、前記形状データが前記深度マップにおける前記対象物の深度データに関連付けられる、寸法データ算出装置。
【請求項１６】
前記抽出部は、前記深度マップに基づいて、前記画像データから前記対象物の対象物領域を抽出し、
前記対象物領域において、前記形状データが前記対象物の深度データに関連付けられる、
請求項１５に記載の寸法データ算出装置。
【請求項１７】
前記形状データを、前記対象物領域の深度データに基づいて新たな形状データに変換する変換部を更に備える、
請求項１６に記載の寸法データ算出装置。
【請求項１８】
前記所定個数の形状パラメータが、前記サンプル対象物の３次元データを次元削減することによって得られる、
請求項１５から１７のいずれか１項に記載の寸法データ算出装置。
【請求項１９】
対象物が撮影された、深度マップを含む画像データから前記対象物の対象物領域を抽出する情報処理装置に接続される端末装置であって、
前記対象物が撮影された、前記深度マップを含む画像データを取得する取得部と、
前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する判定部と、
前記判定部による判定結果を出力部に示すとともに、前記画像データを前記情報処理装置に送信するか否かの入力を受け付ける受付部と、
を備える、端末装置。
【請求項２０】
前記判定部が、画素毎に所定の対象物であるか否かを識別する対象物識別モデルを用いて前記画像データに含まれる対象物が予め登録された対象物であるか否かを判定する、
請求項１９に記載の端末装置。
【請求項２１】
前記受付部は、前記対象物識別モデルを用いて識別された画素毎の識別結果から得られる判定用画像データを、前記取得部により取得された画像データに重畳して前記出力部に示す、
請求項２０に記載の端末装置。
【請求項２２】
対象物が撮影された、深度マップを含む画像データを取得する取得部と、
前記深度マップから生成される３次元点群データを用いて前記対象物の対象物領域を抽出し、前記対象物領域に対応する前記深度マップの深度データに基づいて、前記対象物の形状を示す形状データを抽出する抽出部と、
前記形状データを変換して、前記対象物のシルエット画像を生成する変換部と、
を備え、
前記変換部は、前記シルエット画像として、前記対象物領域に対応した前記深度データに関連付けられたモノクロ画像である階調シルエット画像を生成する、
シルエット画像生成装置。