(57)【要約】【課題】対象物の各部分の高精度な寸法データを提供する。【解決手段】寸法データ算出装置２０は、取得部２４Ａと、抽出部２４Ｂと、変換部２４Ｃと、算出部２４Ｄとを備える。取得部２４Ａは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。変換部２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部２４Ｄは、変換部２４Ｃにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。【選択図】  図４
2020085805.tif 000002
【特許請求の範囲】
【請求項１】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部（２４Ａ）と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部（２４Ｂ）と、
前記形状データを前記全長データに基づいて変換する変換部（２４Ｃ）と、
前記変換部により変換された形状データを用いて、前記対象物の各部分の寸法データを算出する算出部（２４Ｄ）と、
を備える、寸法データ算出装置（２０）。
【請求項２】
前記取得部は、前記対象物を異なる方向から撮影した複数の画像データを取得する、
請求項１に記載の寸法データ算出装置。
【請求項３】
前記算出部は、前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する、
請求項１または２に記載の寸法データ算出装置。
【請求項４】
前記算出部は、
前記変換部により変換された形状データに対して１回目の次元削減を行い、
１回目の次元削減で得られた各次元の値と前記対象物の部分ごとに最適化された重み係数とを線形結合して所定値を求めるか、又は１回目の次元削減で得られた各次元の値から２次の特徴量を生成し、当該２次の特徴量と前記対象物の部分ごとに最適化された重み係数とを結合して所定値を求め、
前記所定値と、前記対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて２回目の次元削減を行い、
２回目の次元削減で得られた各次元の値に基づいて、前記対象物の各部分の寸法データを算出する、
請求項１から３のいずれか１項に記載の寸法データ算出装置。
【請求項５】
前記抽出部は、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、前記画像データに含まれる対象物領域を抽出することにより、前記対象物の形状データを抽出する、
請求項１から４のいずれか１項に記載の寸法データ算出装置。
【請求項６】
前記抽出部は、前記対象物領域からグラブカットアルゴリズムにより前記対象物の形状データを抽出する、
請求項５に記載の寸法データ算出装置。
【請求項７】
前記抽出部は、前記グラブカットアルゴリズムにより抽出された対象物の画像を、前記画像データにおける特定部分の色画像に基づいて補正して、新たな形状データを生成する、
請求項６に記載の寸法データ算出装置。
【請求項８】
前記対象物は人である、
請求項１から７のいずれか１項に記載の寸法データ算出装置。
【請求項９】
請求項１から８のいずれか１項に記載の寸法データ算出装置を用いて算出した寸法データを用いて、前記対象物の形状に関連する製品を製造する、製品製造装置。
【請求項１０】
コンピュータを、
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部、
前記形状データを前記全長データに基づいて変換する変換部、
前記変換部により変換された形状データを用いて、前記対象物の各部分の寸法データを算出する算出部、
として実現させる、寸法データ算出プログラム。
【請求項１１】
対象物が撮影された画像データ及び前記対象物の全長データを取得し、
前記画像データから前記対象物の形状を示す形状データを抽出し、
前記形状データを前記全長データに基づいて変換し、
変換された形状データを用いて、前記対象物の各部分の寸法データを算出する、
寸法データ算出方法。
【請求項１２】
対象物（７）の画像を複数枚撮影する撮影装置（１０）から、前記対象物の画像データを当該対象物の全長データとともに取得する取得部（２４Ａ）と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部（２４Ｂ）と、
前記形状データを前記全長データに基づいて変換する変換部（２４Ｃ）と、
前記変換部により変換された形状データを用いて、前記対象物の各部分の寸法データを算出する算出部（２４Ｄ）と、
前記算出部により算出された寸法データを用いて、前記対象物の形状に関連する製品（６）を製造する製品製造装置（３０）と、
を備える、製品製造システム（１）。
【請求項１３】
対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する取得部（１２４Ａ）と、
前記属性データを用いて、前記対象物の各部分の寸法データを算出する算出部（１２４Ｄ）と、
を備える、寸法データ算出装置（１２０）。
【請求項１４】
前記算出部は、前記属性データを、機械学習された係数を用いて二次回帰することにより、前記対象物の各部分の寸法データを算出する、
請求項１３に記載の寸法データ算出装置。
【請求項１５】
前記対象物は人である、
請求項１３または１４に記載の寸法データ算出装置。
【請求項１６】
コンピュータを、
対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する取得部、
前記属性データを用いて、前記対象物の各部分の寸法データを算出する算出部、
として実現させる、寸法データ算出プログラム。
【請求項１７】
対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得し、
属性データを用いて、前記対象物の各部分の寸法データを算出する、
寸法データ算出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、寸法データ算出装置、プログラム、方法、製品製造装置、及び製品製造システムに関する。
【背景技術】
【０００２】
従来、対象物の形状に基づいて製品を製造する装置が検討されている。例えば、特許文献１（特開２０１７−０１８１５８号公報）には、指の爪を撮影して爪画像を得、取得された爪画像に基づいて、爪の形状、爪の位置、爪の曲率等の付け爪作成に必要な爪情報を得、これを記憶し、この爪情報に基づいて付け爪パーツを作成する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
しかしながら、従来技術では、対象物における多数の形状を高精度に算出することが困難であった。
【課題を解決するための手段】
【０００４】
第１観点の寸法データ算出装置は、取得部と、抽出部と、変換部と、算出部とを備える。取得部は、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部は、画像データから対象物の形状を示す形状データを抽出する。変換部は、形状データを全長データに基づいて変換し、シルエット化する。算出部は、変換部により変換された形状データを用いて、対象物の各部分の寸法データを算出する。このような構成により、寸法データ算出装置は、対象物の各部分の高精度な寸法データを提供できる。
【０００５】
第２観点の寸法データ算出装置は、第１観点の寸法データ算出装置であって、取得部が、対象物を異なる方向から撮影した複数の画像データを取得する。このような構成により、寸法データの精度を高めることができる。
【０００６】
第３観点の寸法データ算出装置は、第１観点または第２観点の寸法データ算出装置であって、算出部が、変換部により変換された形状データを次元削減する。そして、算出部は、削減した各次元の値と対象物の部分ごとに最適化された重み係数とを用いて、対象物の各部分の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度を高めることができる。
【０００７】
第４観点の寸法データ算出装置は、第１観点から第３観点の寸法データ算出装置であって、算出部が、変換部により変換された形状データに対して１回目の次元削減を行う。そして、算出部は、１回目の次元削減で得られた各次元の値と対象物の部分ごとに最適化された重み係数とを線形結合して所定値を求めるか、又は、１回目の次元削減で得られた各次元の値から２次の特徴量を生成し、当該２次の特徴量と前記対象物の部分ごとに最適化された重み係数とを結合して所定値を求める。また、算出部は、前記所定値と、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて２回目の次元削減を行う。そして、算出部は、２回目の次元削減で得られた各次元の値に基づいて、対象物の各部分の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度をさらに高めることができる。
【０００８】
第５観点の寸法データ算出装置は、第１観点から第４観点の寸法データ算出装置であって、抽出部が、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。このような構成により、寸法データの精度を高めることができる。
【０００９】
第６観点の寸法データ算出装置は、第５観点の寸法データ算出装置であって、抽出部が、対象物領域からグラブカットアルゴリズムにより対象物の形状データを抽出する。このような構成により、寸法データの精度をさらに高めることができる。
【００１０】
第７観点の寸法データ算出装置は、第６観点の寸法データ算出装置であって、抽出部が、グラブカットアルゴリズムにより抽出された対象物の画像を、画像データにおける特定部分の色画像に基づいて補正して、新たな形状データを生成する。このような構成により、寸法データの精度をさらに高めることができる。
【００１１】
第８観点の寸法データ算出装置は、第１観点から第７観点の寸法データ算出装置であって、対象物が人である。このような装置により、人の身体の各部分の高精度な寸法データを提供できる。
【００１２】
第９観点の製品製造装置は、第１観点から第８観点の寸法データ算出装置を用いて算出した寸法データを用いて、対象物の形状に関連する製品を製造する。これにより、対象物に最適な形状の製品を提供できる。
【００１３】
第１０観点の寸法データ算出プログラムは、コンピュータを、取得部、抽出部、変換部、算出部、として機能させる。取得部は、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部は、画像データから対象物の形状を示す形状データを抽出する。変換部は、形状データを全長データに基づいて変換し、シルエット化する。算出部は、変換部により変換された形状データを用いて、対象物の各部分の寸法データを算出する。このような構成により、対象物の各部分の寸法データを高精度に算出するプログラムを提供できる。
【００１４】
第１１観点の寸法データ算出方法は、対象物が撮影された画像データ及び対象物の全長データを取得する。次に、画像データから対象物の形状を示す形状データを抽出する。次に、形状データを全長データに基づいて変換する。そして、変換された形状データを用いて、対象物の各部分の寸法データを算出する。このような方法により、対象物の各部分の高精度な寸法データを提供できる。
【００１５】
第１２観点の製品製造システムは、取得部と、抽出部と、変換部と、算出部と、製品製造装置とを備える。取得部は、対象物の画像を複数枚撮影する撮影装置から、前記対象物の画像データを当該対象物の全長データとともに取得する。抽出部は、画像データから対象物の形状を示す形状データを抽出する。変換部は、形状データを全長データに基づいて変換する。算出部は、変換部により変換された形状データを用いて、対象物の各部分の寸法データを算出する。製品製造装置は、算出部により算出された寸法データを用いて、対象物の形状に関連する製品を製造する。このような構成により、ユーザに最適な形状の製品を提供できる。
【００１６】
第１３観点の寸法データ算出装置は、取得部及び算出部を備える。取得部は、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部は、属性データを用いて、対象物の各部分の寸法データを算出する。これらの属性データを用いることにより、寸法データ算出装置は、対象物の各部分の高精度な寸法データを提供できる。
【００１７】
第１４観点の寸法データ算出装置は、第１３観点の寸法データ算出装置であって、算出部が、属性データを、機械学習された係数を用いて二次回帰することにより、対象物の各部分の寸法データを算出する。このような構成により、寸法データの精度をさらに高めることができる。
【００１８】
第１５観点の寸法データ算出装置は、第１３観点又は第１４観点の寸法データ算出装置であって、対象物は人である。このような装置により、人の身体の各部分の高精度な寸法データを提供できる。
【００１９】
第１６観点の寸法データ算出プログラムは、コンピュータを、取得部及び算出部として機能させる。取得部は、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部は、属性データを用いて、対象物の各部分の寸法データを算出する。このような構成により、対象物の各部分の寸法データを高精度に算出するプログラムを提供できる。
【００２０】
第１７観点の寸法データ算出方法は、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。そして、この方法では、属性データを用いて、対象物の各部分の寸法データを算出する。このような方法により、対象物の各部分の高精度な寸法データを提供できる。
【図面の簡単な説明】
【００２１】
【図１】第１実施形態に係る寸法データ算出装置２０の構成を示す模式図である。
【図２】同実施形態に係る寸法データ算出装置２０の動作を説明するためのフローチャートである。
【図３】同実施形態に係る形状データの概念を示す模式図である。
【図４】同実施形態に係る製品製造システム１の概念を示す模式図である。
【図５】同実施形態に係る製品製造システム１の動作を説明するためのシーケンス図である。
【図６】同実施形態に係る端末装置１０に表示される画面の一例を示す模式図である。
【図７】同実施形態に係る端末装置１０に表示される画面の一例を示す模式図である。
【図８】第２実施形態に係る寸法データ算出装置１２０の構成を示す模式図である。
【図９】同実施形態に係る二次回帰で用いるデータの概念を示す模式図である。
【図１０】同実施形態に係る製品製造システム１Ｓの概念を示す模式図である。
【発明を実施するための形態】
【００２２】
＜第１実施形態＞
（１−１）寸法データ算出装置の構成
図１は本実施形態に係る寸法データ算出装置２０の構成を示す模式図である。
【００２３】
寸法データ算出装置２０は任意のコンピュータにより実現することができ、記憶部２１、入出力部２２、通信部２３、及び処理部２４を備える。なお、寸法データ算出装置２０は、ＬＳＩ（Large Scale Integration），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-Programmable Gate Array）などを用いてハードウェアとして実現されるものでもよい。
【００２４】
記憶部２１は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部２１は、対象物の長さ及び重さ等に関連付けて、後述する情報処理を実行するために必要な重み係数を記憶する。なお、重み係数は、後述する属性データ・画像データ・寸法データからなる教師データから機械学習を実行することであらかじめ取得される。
【００２５】
入出力部２２は、キーボード、マウス、タッチパネル等により実現され、コンピュータに各種情報を入力したり、コンピュータから各種情報を出力したりするものである。
通信部２３は、任意のネットワークカード等により実現され、有線又は無線によりネットワーク上の通信機器との通信を可能にするものである。
【００２６】
処理部２４は、各種情報処理を実行するものであり、ＣＰＵやＧＰＵといったプロセッサ及びメモリにより実現される。ここでは、コンピュータのＣＰＵ，ＧＰＵ等に記憶部２１に記憶されたプログラムが読み込まれることにより、処理部２４が、取得部２４Ａ、抽出部２４Ｂ、変換部２４Ｃ、及び算出部２４Ｄとして機能する。
【００２７】
取得部２４Ａは、対象物が撮影された画像データ及び対象物の全長データ・重量データ等を取得する。なお、ここでは、取得部２４Ａは、対象物を異なる方向から撮影した複数の画像データを取得する。
【００２８】
抽出部２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。具体的には、抽出部２４Ｂは、対象物の種類毎に準備されたセマンティックセグメンテーションのアルゴリズム（Mask R-CNN等）を用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。ここでは、セマンティックセグメンテーションのアルゴリズムは、対象物の形状が特定されていない教師データを用いて構築される。
【００２９】
なお、セマンティックセグメンテーションのアルゴリズムが、形状が不特定の対象物の教師データを用いて構築されている場合、必ずしも高精度に対象物の形状を抽出することができないことがある。このような場合、抽出部２４Ｂは、対象物領域からグラブカット（GrabCut）アルゴリズムにより対象物の形状データを抽出する。これにより、高精度に対象物の形状を抽出することが可能になる。さらに、抽出部２４Ｂは、グラブカットアルゴリズムにより特定された対象物の画像を、対象物の特定部分の色画像に基づいて補正するものでもよい。これにより、さらに高精度に対象物の形状データを生成することが可能となる。
【００３０】
変換部２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。これにより形状データが規格化される。
【００３１】
算出部２４Ｄは、変換部２４Ｃにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。具体的には、算出部２４Ｄは、変換部２４Ｃにより変換された形状データの次元削減を行なう。ここでいう、次元削減は、主成分分析、特にカーネル主成分分析（ＫｅｒｎｅｌＰＣＡ）、線形判別分析などの手法により実現される。
【００３２】
そして、算出部２４Ｄは、削減した各次元の値と対象物の部分ごとに最適化された重み係数とを用いて、対象物の各部分の寸法データを算出する。
【００３３】
さらに詳しくは、算出部２４Ｄは、１回目に削減した各次元の値と対象物の部分ごとに最適化された重み係数Ｗ１ｐｉとを線形結合して所定値Ｚｐｉを求める。なお、記号ｐは削減して得られる次元数であり、１０以上の値である。そして、算出部２４Ｄは、所定値Ｚｐｉと、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて２回目の次元削減を行い、２回目の次元削減で得られた各次元の値に基づいて、対象物の各部分の寸法データを算出する。なお、重み係数Ｗ１ｐｉの個数は、対象物の寸法箇所（ｉ個）毎に、削減された次元と同数準備される。
【００３４】
なお、上記説明では、算出部２４Ｄは、線形結合を用いて所定値Ｚｐｉを求めていたが、算出部２４Ｄは線形結合以外の手法でこれらの値を求めるものでもよい。具体的には、算出部２４Ｄは、次元削減で得られた各次元の値から２次の特徴量を生成し、当該２次の特徴量と対象物の部分ごとに最適化された重み係数とを結合することで、所定値を求めるようにしてもよい。
【００３５】
（１−２）寸法データ算出装置の動作
図２は本実施形態に係る寸法データ算出装置２０の動作を説明するためのフローチャートである。
【００３６】
まず、寸法データ算出装置２０は、外部の端末装置等を介して対象物の全体を異なる方向から撮影した複数の画像データを、対象物の全長を示す全長データとともに取得する（Ｓ１）。
次に、寸法データ算出装置２０は、各画像データから対象物の各部分の形状を示す形状データをそれぞれ抽出する（Ｓ２）。
続いて、寸法データ算出装置２０は、全長データに基づいて各形状データを所定の大きさに変換するリスケール処理を実行する（Ｓ３）。
【００３７】
次に、寸法データ算出装置２０は、変換後の複数の形状データを結合して、新たな形状データ（以下、計算用の形状データともいう。）を生成する。具体的には、図３に示すようにｈ行ｗ列の形状データを結合し、ｍ×ｈ×ｗのデータ列にする。なお、記号ｍは形状データの個数である（Ｓ４）。
【００３８】
この後、寸法データ算出装置２０は、新たに生成された形状データと、対象物の各部分に関して最適化された重み係数Ｗ１ｐｉとを用いて、対象物における第ｉ番目（ｉ＝１〜ｊ）の各部分の寸法データを算出する（Ｓ５〜Ｓ８）。なお、記号ｊは寸法データを算出しようとする寸法箇所の総数である。
【００３９】
（１−３）寸法データ算出装置の特徴
（１−３−１）
以上説明したように、本実施形態に係る寸法データ算出装置２０は、取得部２４Ａと、抽出部２４Ｂと、変換部２４Ｃと、算出部２４Ｄとを備える。取得部２４Ａは、対象物が撮影された画像データ及び対象物の全長データを取得する。抽出部２４Ｂは、画像データから対象物の形状を示す形状データを抽出する。変換部２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部２４Ｄは、変換部２４Ｃにより変換された形状データを用いて、対象物の各部分の寸法データを算出する。
【００４０】
したがって、寸法データ算出装置２０は、画像データと全長データとを用いて対象物の各部分の寸法データを算出するので、高精度な寸法データを提供することができる。また、寸法データ算出装置２０では、多数の画像データ及び全長データを一度に情報処理することが可能であるので、多数の寸法データを高精度に提供することができる。
【００４１】
そして、このような寸法データ算出装置２０を用いることで、例えば、対象物として生物の各部分の寸法データを高精度に算出することができる。また、対象物として車や各種荷物など任意の物体の各部分の寸法データを高精度に算出することができる。
また、寸法データ算出装置を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
【００４２】
（１−３−２）
また、寸法データ算出装置２０では、取得部２４Ａが、対象物を異なる方向から撮影した複数の画像データを取得する。このような構成により、寸法データの精度を高めることができる。
【００４３】
（１−３−３）
また、寸法データ算出装置２０では、算出部２４Ｄが、変換部２４Ｃにより変換された形状データの次元削減を行なう。そして、算出部２４Ｄは、削減した各次元の値と対象物の部分ごとに最適化された重み係数Ｗ１ｐｉとを用いて、対象物の各部分の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度を高めることができる。
【００４４】
詳しくは、算出部２４Ｄは、削減した各次元の値と、対象物の第ｉ番目の部分に最適化された重み係数Ｗ１ｐｉとを線形結合して所定値Ｚｉを求める。また、算出部２４Ｄは、前記所定値Ｚｉと、対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて２回目の次元削減を実行して、対象物の第ｉ番目の寸法データを算出する。このような構成により、計算負荷を抑えつつ、寸法データの精度をさらに高めることができる。なお、上記説明において、算出部２４Ｄは、線形結合に代えて、次元削減で得られた各次元の値から２次の特徴量を生成し、当該２次の特徴量と対象物の部分ごとに最適化された重み係数とを結合することで、所定値を求めるようにしてもよい。
【００４５】
（１−３−４）
また、寸法データ算出装置２０では、抽出部２４Ｂが、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出することにより、対象物の形状データを抽出する。このような構成により、寸法データの精度を高めることができる。
【００４６】
なお、セマンティックセグメンテーションのアルゴリズムは一般的に公開されているものもあるが、一般的に公開されているものは、通常は対象物の形状が特定されていない教師データを用いて構築されている。そのため、目的によっては、画像データに含まれる対象物領域を抽出する精度が必ずしも十分でないことがある。
【００４７】
そこで、このような場合には、抽出部２４Ｂは、対象物領域からグラブカットアルゴリズムにより対象物の形状データを抽出する。このような構成により、寸法データの精度をさらに高めることができる。
【００４８】
さらに、抽出部２４Ｂは、グラブカットアルゴリズムにより抽出された対象物の画像を、画像データにおける特定部分の色画像に基づいて補正して、新たな形状データを生成するものでもよい。このような構成により、寸法データの精度をさらに高めることができる。例えば、対象物が人である場合、特定部分として手及び背中を設定し、これらの特定部分の色画像に基づいて補正することで、対象物である人の形状データを高精度に得ることができる。
【００４９】
（１−４）変形例
（１−４−１）
上記説明においては、取得部２４Ａが、対象物を異なる方向から撮影した複数の画像データを取得するとしたが、必ずしも画像データが複数必要なわけではない。対象物の画像データが一枚であっても各部分の寸法データを算出することは可能である。
【００５０】
（１−４−２）
上記説明においては、算出部２４Ｄが、次元削減を２回実行しているが、必ずしもこのような処理が必要なわけではない。算出部２４Ｄは、次元削減を１回実行することで得られた各次元の値から、対象物の各部分の寸法データを算出するものでもよい。また、目的によっては、寸法データ算出装置２０は、形状データを次元削減せずに寸法データを算出するものでもよい。
【００５１】
（１−４−３）
上記説明においては、抽出部２４Ｂが、対象物の形状が特定されていない教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、画像データに含まれる対象物領域を抽出するとしたが、必ずしもこのような教師データを利用しなければならないものではない。例えば、対象物の形状が特定された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いてもよい。対象物の形状が特定された教師データを用いることで、目的に応じて、寸法データの計算精度を高めるとともに、計算負荷を抑制することができる。
【００５２】
（１−５）製品製造システムへの適用
以下、上述した寸法データ算出装置２０を製品製造システム１に適用する例について説明する。
（１−５−１）製品製造システムの構成
図４は本実施形態に係る製品製造システム１の概念を示す模式図である。
製品製造システム１は、ユーザ５が保有する端末装置１０と通信可能な寸法データ算出装置２０と、製品製造装置３０とを備え、所望の製品６を製造するためのシステムである。図４では、一例として、対象物７が人であり、製品６が椅子であるときの概念を示している。ただし、本実施形態に係る製品製造システムの対象物７及び製品６はこれらに限定されるものではない。
【００５３】
端末装置１０は、いわゆるスマートデバイスにより実現することができる。ここでは、スマートデバイスに、ユーザ用プログラムがインストールされることで端末装置１０が各種機能を発揮する。具体的には、端末装置１０は、ユーザ５により撮像される画像データを生成する。また、端末装置１０は、対象物７の属性を示す属性データの入力を受け付ける。「属性」としては、対象物７の全長・重量・生成からの経過時間（年齢を含む）などが挙げられる。また、端末装置１０は、通信機能を有しており、寸法データ算出装置２０及び製品製造装置３０と各種情報の送受信を実行する。
【００５４】
寸法データ算出装置２０は任意のコンピュータにより実現することができる。ここでは、寸法データ算出装置２０の記憶部２１は、端末装置１０のユーザ５を識別する識別情報に関連付けて、端末装置１０から送信される情報を記憶する。また、記憶部２１は、後述する情報処理を実行するために必要なパラメータ等を記憶する。例えば、記憶部２１は、対象物７の属性の項目等に関連付けて、後述する情報処理を実行するために必要な重み係数Ｗ１ｐｉを記憶する。
【００５５】
また、寸法データ算出装置２０の処理部２４は、上述したように、取得部２４Ａ、抽出部２４Ｂ、変換部２４Ｃ、及び算出部２４Ｄとして機能する。ここでは、取得部２４Ａは、ユーザ５により撮影された画像データ及び対象物７の属性データを取得する。また、抽出部２４Ｂは、画像データから対象物７の形状を示す形状データを抽出する。例えば、対象物の種類として「人」が予め設定されている場合には、人を識別するための教師データを用いてセマンティックセグメンテーションのアルゴリズムが構築されている。また、抽出部２４Ｂは、グラブカットアルゴリズムにより特定された対象物７の画像を、対象物７の特定部分の色画像に基づいて補正し、さらに高精度に対象物７の形状データを生成する。また、変換部２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部２４Ｄは、変換部２４Ｃにより変換された形状データを用いて、ユーザ５の各部分の寸法データを算出する。ここでは、算出部２４Ｄは、削減した各次元の値と対象物７の部分ごとに最適化された重み係数Ｗ１ｐｉとを線形結合等して所定値Ｚ１ｉを求める。そして、算出部２４Ｄは、所定値Ｚ１ｉと、対象物７の属性データとを用いて次元削減し、削減した各次元の値に基づいて、対象物７の各部分の寸法データを算出する。
【００５６】
製品製造装置３０は、寸法データ算出装置２０を用いて算出された寸法データを用いて、対象物７の形状に関連する所望の製品を製造する製造装置である。なお、製品製造装置３０は、自動で製品を製造・加工できる任意の装置を採用することができ、例えば３次元プリンタなどにより実現することができる。
【００５７】
（１−５−２）製品製造システムの動作
図５は本実施形態に係る製品製造システム１の動作を説明するためのシーケンス図である。また、図６，７は端末装置１０の画面遷移を示す模式図である。
まず、端末装置１０を介して対象物７の全体が異なる方向から写るように複数回撮像されて、対象物７が撮像された複数の画像データが生成される（Ｔ１）。ここでは、図６，７にそれぞれ示すような、正面及び側面の写真が複数枚撮影される。
【００５８】
次に、ユーザ５により端末装置１０に、対象物７の属性を示す属性データが入力される（Ｔ２）。ここでは、属性データとして、対象物７の全長データ・重量データ・経時データ（年齢等を含む）等が入力される。
そして、これらの複数の画像データ及び属性データが端末装置１０から寸法データ算出装置２０に送信される。
【００５９】
寸法データ算出装置２０では、端末装置１０から複数の画像データ及び属性データを受信すると、これらのデータを用いて、対象物７の各部分の寸法データを算出する（Ｔ３）。なお、端末装置１０には、設定に応じて、寸法データが画面に表示される。
そして、製品製造装置３０が、寸法データ算出装置２０により算出された寸法データに基づいて所望の製品６を製造する（Ｔ４）。
【００６０】
（１−５−３）製品製造システムの特徴
以上説明したように、本実施形態に係る製品製造システム１は、ユーザ５が保有する端末装置１０と通信可能な寸法データ算出装置２０と、製品製造装置３０とを備える。端末装置１０（撮影装置）は、対象物７の画像を複数枚撮影する。寸法データ算出装置２０は、取得部２４Ａと、抽出部２４Ｂと、変換部２４Ｃと、算出部２４Ｄと、を備える。取得部２４Ａは、端末装置１０から対象物７の画像データを当該対象物７の全長データとともに取得する。抽出部２４Ｂは、画像データから対象物７の形状を示す形状データを抽出する。変換部２４Ｃは、形状データを全長データに基づいて変換し、シルエット化する。算出部２４Ｄは、変換部２４Ｃにより変換された形状データを用いて、対象物７の各部分の寸法データを算出する。製品製造装置３０は、算出部２４Ｄにより算出された寸法データを用いて製品６を製造する。
このような構成により、寸法データ算出装置２０が高精度に対象物７の各部分を高精度に算出するので、対象物７の形状に関連する所望の製品を提供できる。
【００６１】
例えば、製品製造システム１により、心臓などの各種臓器の形状の測定から、臓器の模型を製造することができる。
また、例えば、人のウェスト形状の測定から各種ヘルスケア製品等を製造することができる。
また、例えば、人の形状から当該人のフィギュア製品を製造することができる。
また、例えば、人の形状から当該人に適合する椅子などを製造することができる。
また、例えば、車の形状から車のおもちゃを製造することができる。
また、例えば、任意の風景画からジオラマなどを製造することができる。
【００６２】
なお、上記説明においては、寸法データ算出装置２０と製品製造装置３０とが別部材の装置として説明しているが、これらは一体として構成されるものでもよい。
【００６３】
＜第２実施形態＞
以下、既に説明した構成及び機能については略同一符号を付して説明を省略する。
（２−１）寸法データ算出装置の構成
図８は本実施形態に係る寸法データ算出装置１２０の構成を示す模式図である。
寸法データ算出装置１２０は任意のコンピュータにより実現することができ、記憶部１２１、入出力部１２２、通信部１２３、及び処理部１２４を備える。なお、寸法データ算出装置１２０は、ＬＳＩ（Large Scale Integration），ＡＳＩＣ（Application Specific Integrated Circuit），ＦＰＧＡ（Field-Programmable Gate Array）などを用いてハードウェアとして実現されるものでもよい。
【００６４】
記憶部１２１は、各種情報を記憶するものであり、メモリ及びハードディスク等の任意の記憶装置により実現される。例えば、記憶部１２１は、対象物の長さ及び重さ等に関連付けて、後述する情報処理を実行するために必要な重み係数Ｗｒｉを記憶する。なお、重み係数は、後述する属性データ・寸法データからなる教師データから機械学習を実行することであらかじめ取得される。
入出力部１２２は、前述の入出力部２２と同様の構成及び機能を有するものである。
通信部１２３は、前述の通信部２３と同様の構成及び機能を有するものである。
【００６５】
処理部１２４は、各種情報処理を実行するものであり、ＣＰＵやＧＰＵといったプロセッサ及びメモリにより実現される。ここでは、コンピュータのＣＰＵ，ＧＰＵ等に記憶部１２１に記憶されたプログラムが読み込まれることにより、処理部１２４が、取得部１２４Ａ、及び算出部１２４Ｄとして機能する。
【００６６】
取得部１２４Ａは、対象物の全長データと重量データと経時データ（年齢等を含む）とのうちの少なくともいずれかを含む属性データＤｚｒ（ｒは属性データの要素数）を取得する。
【００６７】
算出部１２４Ｄは、取得部１２４Ａにより取得された属性データを用いて、対象物の各部分の寸法データを算出する。具体的には、算出部１２４Ｄは、属性データを、機械学習された重み係数Ｗｓｉを用いて二次回帰することにより、対象物の各部分の寸法データを算出する。重み係数は、対象物の部分ごとに最適化されており、対象物における第ｉ番目の部分の重み係数をＷｓｉと表記する。なお、ｉ＝１〜ｊであり、ｊは寸法データを算出しようとする寸法箇所の総数である。また、記号ｓは属性データから得られる演算に用いられる要素の数である。
【００６８】
詳しくは、算出部１２４Ｄは、図９に示すように、属性データＤｚｒ（ｒ＝３）の各要素ｘ１，ｘ２，ｘ３を２乗した値（図９における１行目の値であり、二次項ともいう。）、各要素を掛け合わせた値（図９における２行目の値であり、相互作用項ともいう。）、各要素自体の値（図９における３行目の値であり、一次項ともいう）を用いて、寸法データを算出する。なお、図９に示す例では、３つの属性データの要素ｘ１，ｘ２，ｘ３から得られる値が９つあり、ｓ＝９であるので、重み係数Ｗｓｉはｉ×９個の要素を有することになる。
（２−２）寸法データ算出装置の特徴
【００６９】
以上説明したように、本実施形態に係る寸法データ算出装置１２０は、取得部１２４Ａと、算出部１２４Ｄとを備える。取得部１２４Ａは、対象物の全長データと重量データと経時データとのうちの少なくともいずれかを含む属性データを取得する。算出部１２４Ｄは、属性データを用いて、対象物の各部分の寸法データを算出する。
【００７０】
したがって、寸法データ算出装置１２０は、上記属性データを用いて対象物の各部分の寸法データを算出するので、高精度な寸法データを提供することができる。具体的には、算出部１２４Ｄが、属性データを機械学習された係数を用いて二次回帰することにより、対象物の各部分の寸法データを高精度に算出する。
また、寸法データ算出装置２０では、多数のデータを一度に情報処理することが可能であるので、多数の寸法データを高速に提供することができる。
【００７１】
また、属性データとして、全長データと重量データと経時データとのうちの少なくともいずれかを含んでいる場合、生物の各部分の寸法データを高精度に算出することができる。
また、寸法データ算出装置１２０を、各種製品を製造する製品製造装置に組み込むことで、対象物の形状に適合した製品を製造することが可能となる。
【００７２】
なお、上記説明においては、算出部１２４Ｄが、属性データを二次回帰することにより、対象物の各部分の寸法データを算出するとしたが、算出部１２４Ｄの演算はこれに限定されるものではない。算出部１２４Ｄは、属性データを線形結合して寸法データを求めるものでもよい。
【００７３】
（２−３）製品製造システムへの適用
図１０は本実施形態に係る製品製造システム１Ｓの概念を示す模式図である。
本実施形態に係る寸法データ算出装置１２０も、第１実施形態に係る寸法データ算出装置２０と同様に、製品製造システム１Ｓに適用することが可能である。
本実施形態に係る端末装置１０Ｓは、対対象物７の属性を示す属性データの入力を受け付けるものであればよい。「属性」としては、対象物７の全長・重量・生成からの経過時間（年齢を含む）などが挙げられる。
【００７４】
また、上述したように、寸法データ算出装置１２０の処理部１２４は、取得部１２４Ａ及び算出部１２４Ｄとして機能する。算出部１２４Ｄは、取得部１２４Ａにより取得された属性データを用いて、対象物７の各部分の寸法データを算出する。具体的には、算出部１２４Ｄは、属性データを機械学習された重み係数Ｗｓｉを用いて二次回帰することにより、対象物の各部分の寸法データを算出する。
【００７５】
製品製造システム１Ｓでは、寸法データ算出装置１２０が高精度に対象物７の各部分を高精度に算出するので、対象物７の形状に関連する所望の製品を提供できる。その他、第２実施形態に係る製品製造システム１Ｓは、第１実施形態の製品製造システム１と同様の効果を発揮することができる。
【００７６】
＜他の実施形態＞
本開示は、上記各実施形態そのままに限定されるものではない。本開示は、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できるものである。また、本開示は、上記各実施形態に開示されている複数の構成要素の適宜な組み合わせにより種々の開示を形成できるものである。例えば、実施形態に示される全構成要素から幾つかの構成要素は削除してもよいものである。さらに、異なる実施形態に構成要素を適宜組み合わせてもよいものである。
【符号の説明】
【００７７】
１        製品製造システム
１Ｓ      製品製造システム
５        ユーザ
６        製品
７        対象物
１０      端末装置
２０      寸法データ算出装置
２１      記憶部
２２      入出力部
２３      通信部
２４      処理部
２４Ａ    取得部
２４Ｂ    抽出部
２４Ｃ    変換部
２４Ｄ    算出部
３０      製品製造装置
１２０    寸法データ算出装置
１２１    記憶部
１２２    入出力部
１２３    通信部
１２４    処理部
１２４Ａ  取得部
１２４Ｄ  算出部
【先行技術文献】
【特許文献】
【００７８】
【特許文献１】特開２０１７−０１８１５８号公報
【図１】
2020085805.tif 000003
【図２】
2020085805.tif 000004
【図３】
2020085805.tif 000005
【図４】
2020085805.tif 000006
【図５】
2020085805.tif 000007
【図６】
2020085805.tif 000008
【図７】
2020085805.tif 000009
【図８】
2020085805.tif 000010
【図９】
2020085805.tif 000011
【図１０】
2020085805.tif 000012
【手続補正書】
【提出日】平成31年3月19日(2019.3.19)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部（２４Ａ）と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部（２４Ｂ）と、
前記形状データを前記全長データに基づいて変換する変換部（２４Ｃ）と、
前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部（２４Ｄ）と、
を備える、寸法データ算出装置（２０）。
【請求項２】
前記取得部は、前記対象物を異なる方向から撮影した複数の画像データを取得する、
請求項１に記載の寸法データ算出装置。
【請求項３】
前記算出部は、
前記変換部により変換された形状データに対して１回目の次元削減を行い、
１回目の次元削減で得られた各次元の値と前記対象物の部分ごとに最適化された重み係数とを線形結合して所定値を求めるか、又は１回目の次元削減で得られた各次元の値から２次の特徴量を生成し、当該２次の特徴量と前記対象物の部分ごとに最適化された重み係数とを結合して所定値を求め、
前記所定値と、前記対象物の長さ及び重さの属性を少なくとも含む属性データとを用いて２回目の次元削減を行い、
２回目の次元削減で得られた各次元の値に基づいて、前記対象物の各部分の寸法データを算出する、
請求項１又は２に記載の寸法データ算出装置。
【請求項４】
前記抽出部は、対象物の種類毎に準備された教師データを用いて構築されたセマンティックセグメンテーションのアルゴリズムを用いて、前記画像データに含まれる対象物領域を抽出することにより、前記対象物の形状データを抽出する、
請求項１から３のいずれか１項に記載の寸法データ算出装置。
【請求項５】
前記抽出部は、前記対象物領域からグラブカットアルゴリズムにより前記対象物の形状データを抽出する、
請求項４に記載の寸法データ算出装置。
【請求項６】
前記対象物は人である、
請求項１から５のいずれか１項に記載の寸法データ算出装置。
【請求項７】
請求項１から６のいずれか１項に記載の寸法データ算出装置を用いて算出した寸法データを用いて、前記対象物の形状に関連する製品を製造する、製品製造装置。
【請求項８】
コンピュータを、
対象物が撮影された画像データ及び前記対象物の全長データを取得する取得部、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部、
前記形状データを前記全長データに基づいて変換する変換部、
前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部、
として実現させる、寸法データ算出プログラム。
【請求項９】
対象物が撮影された画像データ及び前記対象物の全長データを取得し、
前記画像データから前記対象物の形状を示す形状データを抽出し、
前記形状データを前記全長データに基づいて変換し、
変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する、
寸法データ算出方法。
【請求項１０】
対象物（７）の画像を複数枚撮影する撮影装置（１０）から、前記対象物の画像データを当該対象物の全長データとともに取得する取得部（２４Ａ）と、
前記画像データから前記対象物の形状を示す形状データを抽出する抽出部（２４Ｂ）と、
前記形状データを前記全長データに基づいて変換する変換部（２４Ｃ）と、
前記変換部により変換された形状データを次元削減し、削減した各次元の値と前記対象物の部分ごとに最適化された重み係数とを用いて、前記対象物の各部分の寸法データを算出する算出部（２４Ｄ）と、
前記算出部により算出された寸法データを用いて、前記対象物の形状に関連する製品（６）を製造する製品製造装置（３０）と、
を備える、製品製造システム（１）。