(57)【要約】【課題】物品を撮像した画像からその中の部品を判別する部品判別の機械学習に適した、分類器生成方法、学習用の画像生成方法及び学習データ生成方法を提案する。【解決手段】部品の三次元情報をもつ設計データ又は部品を模した三次元情報をもつメッシュデータを多数の方向からレンダリングして多数の画像を生成する（S1〜S4）。レンダリングは、設計データ又はメッシュデータを画像の中心にとらえて画像内に全体を収めるようにして写実的に描画する過程と、該描画を緯度と経度をそれぞれ所定の角度刻みで変更しつつ行って多数の画像を生成する過程と、当該画像内の学習対象外領域を透過処理する過程とを含む。この画像生成方法により生成した画像について学習対象領域を認識し、該認識した学習対象領域のラベルを各画像に付加し、さらに拡張処理を施して学習データとする（S5〜S7）。生成した学習データを用いてモデル化し、分類器を生成する（S8〜S9）。【選択図】図２
2020013467.tif 000002
【特許請求の範囲】
【請求項１】
部品の三次元情報をもつ設計データ又は部品を模した三次元情報をもつメッシュデータを多数の方向からレンダリングして生成した多数の画像を学習データに用いてモデル化することを特徴とする、分類器生成方法。
【請求項２】
前記レンダリングは、前記設計データ又は前記メッシュデータを画像の中心にとらえて画像内に全体を収めるようにして写実的に描画する過程と、この描画を緯度と経度をそれぞれ所定の角度刻みで変更しつつ行って多数の画像を生成する過程と、当該画像内の学習対象外領域を透過処理する過程とを含む、請求項１に記載の分類器生成方法。
【請求項３】
部品の三次元情報をもつ設計データ又は部品を模した三次元情報をもつメッシュデータを多数の方向からレンダリングして多数の画像を生成することを含んだ、機械学習用画像生成方法であって、
前記レンダリングは、前記設計データ又は前記メッシュデータを画像の中心にとらえて画像内に全体を収めるようにして写実的に描画する過程と、この描画を緯度と経度をそれぞれ所定の角度刻みで変更しつつ行って多数の画像を生成する過程と、当該画像内の学習対象外領域を透過処理する過程とを含む、機械学習用画像生成方法。
【請求項４】
請求項３に記載の機械学習用画像生成方法により生成した画像について学習対象領域を認識し、該認識した学習対象領域のラベルを各画像に付加して学習データとする、機械学習用学習データ生成方法。
【請求項５】
前記ラベル付加後の画像において学習対象領域の色を変更することで異色画像を生成し、該異色画像も学習データに含める、請求項４に記載の機械学習用学習データ生成方法。
【請求項６】
前記ラベル付加後の画像をランダムに複数選択し且つ該選択画像を１つの画像内に配置して生成したオーバレイ画像も学習用データに含める、請求項４又は５に記載の機械学習用学習データ生成方法。
【請求項７】
前記ラベル付加後の画像をランダムに複数選択し且つ該選択画像の学習対象領域の各一部を重ね合わせて１つの画像内に配置することで生成したオーバレイ画像も学習用データに含める、請求項４〜６のいずれか１項に記載の機械学習用学習データ生成方法。
【請求項８】
前記ラベル付加後の画像を１つ以上選択し、学習対象の部品とは無関係の背景画像の上に配置して１つの画像としたオーバレイ画像も学習用データに含める、請求項４〜７のいずれか１項に記載の機械学習用学習データ生成方法。
【請求項９】
請求項４〜８のいずれか１項に記載の機械学習用学習データ生成方法を、判別すべき部品の全てに適用して生成した学習データを使用する、学習器。
【請求項１０】
請求項９に記載の学習器でモデル化した分類器。
【請求項１１】
請求項１又は２に記載の分類器生成方法を実行する手段としてコンピュータを機能させるコンピュータプログラム。
【請求項１２】
請求項３に記載の機械学習用画像生成方法を実行する手段としてコンピュータを機能させるコンピュータプログラム。
【請求項１３】
請求項４〜８のいずれか１項に記載の機械学習用学習データ生成方法を実行する手段としてコンピュータを機能させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物品の画像から個々の部品を判別するための画像分析技術に関する。
【背景技術】
【０００２】
例えば特許文献１の図１５に開示されるような、多数の部品を自分なりに組み付けて個性的な物に仕上げることのできる玩具が普及している。具体的に、このような玩具の一例を図１に示す。図１に示すのは組立式の人形玩具で、背中、腕、胴、足に防具や武器の市販部品が組み付けられて個性的なフィギュアに仕上げられていることが分かる。
【０００３】
このような玩具は、棚などに飾って個人的に眺めて楽しむのが主流であるが、最近では、玩具を撮像してその画像をＳＮＳ（ソーシャルネットワーキングサービス）で公開するといった楽しみ方も行われている。この楽しみ方において、公開された他人の画像を見たときに、例えば図１に示す玩具のようにたくさんの部品が使ってあって玩具の外見が複雑であるほど、使用されている個々の部品を画像から判別することは難しい。もし、画像を表示している装置で判別を自動的に行って部品を知ることができれば、自分もその市販部品を使ってみようといった購買意欲を喚起することもできる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１７−２００５７３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
例えば機械学習の分類器を部品判別用に適切に生成することができれば、玩具を撮像した画像から当該玩具に使用されている個々の部品を判別する装置を実現することができる。そこで、本発明では、このような部品判別の機械学習のために、分類器生成方法、学習用の画像生成方法及び学習データ生成方法を提案する。
【課題を解決するための手段】
【０００６】
本発明に係る分類器生成方法は、部品の三次元情報をもつ設計データ又は部品を模した三次元情報をもつメッシュデータを多数の方向からレンダリングして生成した多数の画像を学習データに用いてモデル化することを特徴とする。
この方法における前記レンダリングは、前記設計データ又は前記メッシュデータを画像の中心にとらえて画像内に全体を収めるようにして写実的に描画する過程と、この描画を緯度と経度をそれぞれ所定の角度刻みで変更しつつ行って多数の画像を生成する過程と、当該画像内の学習対象外領域を透過処理する過程とを含むものとすることができる。
【０００７】
本発明に係る機械学習用画像生成方法は、部品の三次元情報をもつ設計データ又は部品を模した三次元情報をもつメッシュデータを多数の方向からレンダリングして多数の画像を生成することを含み、そのレンダリングが、前記設計データ又は前記メッシュデータを画像の中心にとらえて画像内に全体を収めるようにして写実的に描画する過程と、この描画を緯度と経度をそれぞれ所定の角度刻みで変更しつつ行って多数の画像を生成する過程と、当該画像内の学習対象外領域を透過処理する過程とを含むことを特徴とする。
【０００８】
本発明に係る機械学習用学習データ生成方法は、上記機械学習用画像生成方法により生成した画像について学習対象領域を認識し、該認識した学習対象領域のラベルを各画像に付加して学習データとすることを特徴とする。
この方法の学習データには、
前記ラベル付加後の画像において学習対象領域の色を変更することで生成した異色画像、
前記ラベル付加後の画像をランダムに複数選択し、該選択画像を１つの画像内に配置することで生成したオーバレイ画像、
前記ラベル付加後の画像をランダムに複数選択し且つ該選択画像の学習対象領域の各一部を重ね合わせて１つの画像内に配置することで生成したオーバレイ画像、
前記ラベル付加後の画像を１つ以上選択し、学習対象の部品とは無関係の背景画像の上に配置して１つの画像としたオーバレイ画像、も含めることができる。
【０００９】
本発明は、上記の機械学習用学習データ生成方法を、判別すべき部品の全てに適用して生成した学習データを使用する、学習器も提案する。また、当該学習器でモデル化した分類器も提案する。
【００１０】
さらに本発明は、上記分類器生成方法を実行する手段としてコンピュータを機能させるコンピュータプログラム、上記機械学習用画像生成方法を実行する手段としてコンピュータを機能させるコンピュータプログラム、上記機械学習用学習データ生成方法を実行する手段としてコンピュータを機能させるコンピュータプログラム、にも関する。
【発明の効果】
【００１１】
本発明によれば、物品を撮像した画像から当該物品に使用されている個々の部品を高精度で判別することができる学習器と該学習器によりモデル化した分類器が提供される。これらを利用することで、例えばＷｅｂ公開されている図１のような玩具の画像から、使用されている部品を判別することが、例えばパーソナルコンピュータやスマートフォンで行えるようになり、また、そのようなシステムを構築することも可能になる。
【図面の簡単な説明】
【００１２】
【図１】判別すべき部品を多数使用した玩具を撮像した画像の一例。
【図２】本発明に係る機械学習の具体例を説明する画像生成→学習データ生成→機械学習のフローチャート。
【図３】本発明に係る分類器を用いた部品判別システムの一例。
【図４】本発明に係る機械学習用画像生成方法における透過処理後の画像の一例。
【図５】本発明に係る機械学習用画像生成方法で生成した多数の画像の一例。
【図６】本発明に係る機械学習用学習データ生成方法におけるオーバレイ画像の一例（背景重ね）。
【図７】本発明に係る機械学習用学習データ生成方法におけるオーバレイ画像の別の例（複数画像配置）。
【図８】本発明に係る機械学習用学習データ生成方法におけるオーバレイ画像の別の例（複数画像重ね配置）。
【図９】本発明に係る分類器で判別した部品（単体）の一例。
【図１０】本発明に係る分類器で判別した部品（複数）の一例。
【発明を実施するための形態】
【００１３】
本実施形態では、ＳＮＳやＷｅｂを利用してダウンロード可能な図１の人形玩具（フィギュア）の画像から、当該玩具に装着されている部品を判別する画像分析に適した例を開示する。図１に示すとおり、人形玩具には防具や武器の部品が多数使用されていて、このような玩具の部品は３Ｄ−ＣＡＤ（Computer Aided Design）で設計されるので、そのＣＡＤデータ（＝部品の三次元情報をもつ設計データ）を利用できる。あるいは、各部品を模した（ポリゴン）三次元情報をもつメッシュデータ（ポリゴンメッシュ）を利用してもよい。両者を含めて、以降、三次元描画用データと称する。
【００１４】
機械学習用の画像生成→学習データ生成→学習器→分類器のプロセスについて、図２にフローチャートで例示してある。このプロセスは、当プロセスを実行させる命令を含んだプログラムに従って該当する処理手段として機能するコンピュータで実行される。
【００１５】
まずステップＳ１で、判別すべき部品の三次元描画用データがデータベースから読み出されて用意される。この三次元描画用データは、ステップＳ２でレイトレーシング法により処理されてステップＳ３でレンダリングされる。レイトレーシングを行うことにより光の反射や陰影が加えられた写実的な描画が行われる。
【００１６】
ステップＳ３では、三次元描画用データを多数の方向からレンダリングして多数の画像を生成する。具体的にこのレンダリングでは、まず、三次元描画用データを画像の中心にとらえて画像内にその全体を収めるようにしたうえで、写実的描画を行う。この描画は、緯度と経度をそれぞれ所定の角度刻みで変更しつつ行い、これにより多数の画像を生成する。このときに刻み角度を小さくするほど画像が多く生成され、その分、学習データが詳細になる。描画した画像はそれぞれ、その画像内の学習対象外領域（学習対象領域は三次元描画用データを描画した部分なので、それ以外の領域）を透過処理する。
【００１７】
ステップＳ１〜Ｓ３は、判別すべき部品の全てに対し実行する。これにより、１つの部品について視点の異なる多数の画像がそれぞれ生成され、該多数の画像が判別すべき部品数分収集された画像群が生成される（ステップＳ４）。
【００１８】
図４に、ステップＳ２−Ｓ３を経て生成される画像の１つを例示する。点線で示す矩形仮想線の内側が生成される画像であり、この画像サイズは、予め設定されている。この画像内に速射砲部品が描画されており、この速射砲部品の描画は、上述のように三次元描画用データを画像の中心にとらえて画像内にその全体が収まるようにして、実行されている。また、レイトレーシングによって写実的に描画されていることも分かる。描画した速射砲部品が学習対象領域であり、それ以外の領域が学習対象外領域となり、当該領域は透過処理されている。
【００１９】
ステップＳ２−Ｓ３により、緯度と経度をそれぞれ所定の角度刻みで変更しつつ描画して得た多数の画像を図５に羅列する。図５には、１つの高射砲部品の視点の異なる多数の画像を並べて示してあり、その一つ一つが図４の画像に相当する。このような多数の画像が、判別すべき部品の全てについて生成される。
【００２０】
ステップＳ４の画像群は、機械学習用の学習データを生成するために使用される。ステップＳ５〜Ｓ７はそのための過程である。まず、ステップＳ５で、画像群の各画像について学習対象領域を認識し、該認識した学習対象領域のラベルを各画像に付加する。学習対象領域の認識は、各画像において学習対象外領域が透過処理してあることから、容易に行える。すなわち、透過処理されていない領域を学習対象領域として認識すればよい。認識した学習対象領域は、すなわち部品であり、該当するラベル（部品名や部品番号など）を当該画像に付加する。
【００２１】
ラベル付加の終わった画像に対しては、ステップＳ６で拡張処理を行う。拡張処理を行うことで、学習データをより膨らませることができる。拡張処理は具体的に、学習対象領域の色を変更する（すなわち、図４の画像の速射砲部品の色を変更する）ことで異色画像を新たに生成する過程（１）、画像群の中からランダムに複数の画像を選択し、これら選択画像を１つの画像内に配置することでオーバレイ画像を新たに生成する過程（２）、画像群の中からランダムに複数の画像を選択し、これら選択画像の学習対象領域の各一部を重ね合わせて１つの画像内に配置することでオーバレイ画像を新たに生成する過程（３）、画像群の中から１つ以上の画像を選択し、判別すべき学習対象の部品とは無関係の背景画像の上にその選択画像を配置し１つの画像としてオーバレイ画像を新たに生成する過程（４）である。これら拡張処理により生成される画像を図６〜図８に例示する。
【００２２】
図６は、上記過程（４）により生成されるオーバレイ画像の一例で、判別すべき部品とは無関係の背景画像としてプリント基板の背景画像が選択されており、該背景画像の上に判別すべき武器部品の画像を配置して１つの画像としてある。背景画像は、判別精度を上げるためには適度に複雑なものが好ましい。図７は、上記過程（２）と上記過程（４）との組み合わせで生成されるオーバレイ画像の一例で、４種類の判別すべき武器部品の画像を選択し、これらをプリント基板の背景画像の上に配置して１つの画像としてある。図８は、上記過程（３）と上記過程（４）との組み合わせで生成されるオーバレイ画像の一例で、４種類の武器部品の画像を選択し、これら画像の各一部を重ね合わせて都市夜景の背景画像の上に配置し、１つの画像としてある。各画像のレイヤーの上下は適宜設定する。
【００２３】
ステップＳ５−Ｓ６を経て得られる数多くの画像は、部品を判別するための学習データとしてステップＳ７で記憶装置（ＨＤＤ、ＳＳＤ等）に収集される。この後、ステップＳ８で、この学習データを基にして、例えばバッチサイズ、バッチ回数、エポック数を適宜決定し、学習（一例としてMASK R-CNNを使用）を実施する。訓練を繰り返して最終的に分類器（学習済モデル）を生成する（ステップＳ９）。この分類器による判別の様子を図９及び図１０に示す。１つの部品（図９）と複数の部品（図１０）が背景画像の上に配置されている各画像において、個々の部品が判別されて、その部品のラベルが部品上に表示されている。
【００２４】
図２のプロセスにより生成した分類器を用いた部品判別システムの一例について、概略を図３に示す。図３のシステムは、例えばプログラムに従って動作するパーソナルコンピュータ（又はダブレット端末やスマートフォン）で実行される。人により撮像されて公開（ＳＮＳやＷｅｂサイトなど）されている画像をダウンロードすることで、あるいは、自分で撮像した画像を取り込むことで、パーソナルコンピュータにおいて画像１が取得される。プログラムを読み込むことで部品判別システムとして立ち上げられた当該パーソナルコンピュータは、インストール済みの分類器２を使用して、画像１に写っているこの例では図１の人形玩具に装着されている部品を判別する。判別できた各部品については、データベースを検索することで（Ｗｅｂへ問い合わせる方式でも可能）、該当する部品画像と部品名がリストアップされて画面に表示される。
【符号の説明】
【００２５】
Ｓ１〜Ｓ４  画像生成過程
Ｓ５〜Ｓ７  学習データ生成過程
Ｓ８〜Ｓ９  分類器生成過程
【図１】
2020013467.tif 000003
【図２】
2020013467.tif 000004
【図３】
2020013467.tif 000005
【図４】
2020013467.tif 000006
【図５】
2020013467.tif 000007
【図６】
2020013467.tif 000008
【図７】
2020013467.tif 000009
【図８】
2020013467.tif 000010
【図９】
2020013467.tif 000011
【図１０】
2020013467.tif 000012