(57)【要約】【課題】ロボット等によるピッキング作業の際の、ディープラーニングによる画像認識のための教師データの作成作業を効率化する。【解決手段】Ｎ個の認識対象物（電子部品）を撮影することで基本画像を取得したあと、作業者が該基本画像中の認識対象物の位置や向き等のアノテーションを実施する（Ｓ１、Ｓ２）。ラテン方格法を用い、Ｎ個の認識対象物のそれぞれの角度をＮ種類に割り当てたラベル情報を自動的に生成し、さらに再度、ラテン方格法を用い、Ｎ個の認識対象物のそれぞれの画像中の位置をＮ個の領域に割り当てたラベル情報を自動的に生成する（Ｓ３、Ｓ４）。そして、角度と位置に関するラベル情報に合わせて、基本画像中の部品の像の角度と位置を変えた画像を画像加工処理によって作成する（Ｓ５、Ｓ６）。これにより１枚の基本画像からＮ×Ｎ枚の加工画像を作成し、各加工画像にラベル情報を付与して教師データを作成する（Ｓ７）。【選択図】図３
2020126414.tif 000002
【特許請求の範囲】
【請求項１】
複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを作成する教師データ作成支援方法であって、
１又は複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
前記１又は複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成する事前ラベル情報生成ステップと、
前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
を有することを特徴とする機械学習用教師データ作成支援方法。
【請求項２】
請求項１に記載の機械学習用教師データ作成支援方法であって、
前記基本情報取得ステップは、
１又は複数の認識対象物を撮影して画像を取得する基本画像取得ステップと、
前記基本画像取得ステップで取得された画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関するラベル情報を作業者が入力するラベル情報入力ステップと、
を含むことを特徴とする機械学習用教師データ作成支援方法。
【請求項３】
請求項１又は２に記載の機械学習用教師データ作成支援方法であって、
認識対象物自体の形態又は態様は、認識対象物の形状、色、又は大きさのいずれかであることを特徴とする機械学習用教師データ作成支援方法。
【請求項４】
請求項１〜３のいずれか１項に記載の機械学習用教師データ作成支援方法であって、
前記事前ラベル情報生成ステップでは、実験計画法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定することを特徴とする機械学習用教師データ作成支援方法。
【請求項５】
請求項４に記載の機械学習用教師データ作成支援方法であって、
前記実験計画法はラテン方格法であることを特徴とする機械学習用教師データ作成支援方法。
【請求項６】
請求項５に記載の機械学習用教師データ作成支援方法であって、
前記基本情報取得ステップで得られるラベル情報は、位置、向き、認識対象物自体の形態又は態様、のうちの二つの項目を含み、
前記事前ラベル情報生成ステップでは、前記二つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するために、その各項目に関してそれぞれラテン方格法による割り当てを行うことを特徴とする機械学習用教師データ作成支援方法。
【請求項７】
請求項１〜６のいずれか１項に記載の機械学習用教師データ作成支援方法であって、
前記機械学習は畳み込みニューラルネットワークを利用したディープラーニングであることを特徴とする機械学習用教師データ作成支援方法。
【請求項８】
複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを、コンピュータにより作成するための教師データ作成支援プログラムであって、
１又は複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
前記１又は複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成する事前ラベル情報生成ステップと、
前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
をコンピュータに実行させることを特徴とする機械学習用教師データ作成支援プログラム。
【請求項９】
請求項８に記載の機械学習用教師データ作成支援プログラムであって、
前記基本情報取得ステップは、
１又は複数の認識対象物に対する撮影画像の入力を受け付けて記憶する基本画像取得ステップと、
前記基本画像取得ステップにおいて記憶した画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関するラベル情報を作業者が位置、向きと、認識対象物自体の形態又は態様との少なくとも一つについての正解データを作業者に入力させるラベル情報入力ステップと、
を含むことを特徴とする機械学習用教師データ作成支援プログラム。
【請求項１０】
請求項８又は９に記載の機械学習用教師データ作成支援プログラムであって、
認識対象物自体の形態又は態様は、認識対象物の形状、色、又は大きさのいずれかであることを特徴とする機械学習用教師データ作成支援プログラム。
【請求項１１】
請求項８〜１０のいずれか１項に記載の機械学習用教師データ作成支援プログラムであって、
前記事前ラベル情報生成ステップでは、実験計画法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定することを特徴とする機械学習用教師データ作成支援プログラム。
【請求項１２】
請求項１１に記載の機械学習用教師データ作成支援プログラムであって、
前記実験計画法はラテン方格法であることを特徴とする機械学習用教師データ作成支援プログラム。
【請求項１３】
請求項１２に記載の機械学習用教師データ作成支援プログラムであって、
前記基本情報取得ステップで得られるラベル情報は、位置、向き、認識対象物自体の形態又は態様、のうちの二つの項目を含み、
前記事前ラベル情報生成ステップでは、前記二つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するために、その各項目に関してそれぞれラテン方格法による割り当てを行うことを特徴とする機械学習用教師データ作成支援プログラム。
【請求項１４】
請求項８〜１３のいずれか１項に記載の機械学習用教師データ作成支援プログラムであって、
前記機械学習は畳み込みニューラルネットワークを利用したディープラーニングであることを特徴とする機械学習用教師データ作成支援プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、物体の認識、識別、分類等の処理を行うための機械学習に使用される教師データの生成を支援する教師データ作成支援方法、及び、コンピュータにより教師データの生成を支援するための教師データ作成支援プログラムに関する。
【背景技術】
【０００２】
近年、様々な生産・製造現場において部品や完成品をピックアップするためにピッキングロボットが広く利用されている。例えば電子機器の製造現場では、各種の電子部品を自動的にピッキングし、回路基板上で部品毎に決められた位置に装填するようなロボットが利用されている。こうしたロボットの分野では、最近、乱雑に置かれた部品をピックアップするランダムピッキングと呼ばれる技術を搭載したものが一般的である。ランダムピッキングでは、ピックアップ動作の前に、カメラにより撮影された画像において、どのような部品がどの位置に、どの方向を向いた状態で存在しているのかを認識することが必要である。このような認識のために機械学習を用いた物体認識技術が利用されており、最近では、特にディープラーニング（深層学習）を用いた物体認識技術が主流になりつつある。
【０００３】
ディープラーニングを用いた画像処理のアルゴリズムとしては、畳み込みニューラルネットワーク（Convolutional Neural Network：以下「ＣＮＮ」と略す ）を用いたものが主流であり、ＣＮＮを利用して画像内に存在する物体の検出と認識を実施するのに好適なＲ−ＣＮＮ(Regions with CNN features)、ピクセル単位で物体を認識するＦＣＮ（Fully Convolutional Neural Network）などがよく知られている（非特許文献１参照）。ディープラーニングを代表とする教師あり機械学習法では、識別器として用いられるモデル関数を学習するために多数の教師データが用いられる。
【０００４】
一例として、乱雑に置かれた複数の電子部品を識別するための機械学習を考える。この場合の教師データは、様々な向きを向いて様々な位置に置かれた電子部品を撮影した画像とその画像内に存在する各電子部品の位置と向きとを示す正解データとが組になったものである。学習効果を高めるには、位置や向きが様々である電子部品が撮影された多数の画像を用いた教師データが使用されることが好ましい。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】シャオチン・レン（Shaoqing Ren）、ほか３名、「ファースター・アール-シーエヌエヌ：トゥワーズ・リアル-タイム・オブジェクト・デテクション・ウィズ・リジョン・プロポーザル・ネットワークス（Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks）」、米国コーネル大学ライブラリー、［online］、インターネット＜URL: https://arxiv.org/pdf/1506.01497.pdf＞
【発明の概要】
【発明が解決しようとする課題】
【０００６】
上記のような教師データを作成するために、従来は次のような方法が採られている。
（１）実際に複数個の電子部品を平面上にランダムに置き、その状態をカメラで撮影して画像を取得する。
（２）作業者が、（１）で取得された画像上で観察される各部品について、その位置（位置座標）と向きの情報（正解データ）を手作業で入力する。こうした作業は一般にアノテーションと呼ばれ、入力作業を支援するアノテーションツールも市販されている。例えば、こうした正解データは画像に対応するｘｍｌファイルで表現される。
（３）上記（１）及び（２）の作業を多数回（通常、数十回〜数百回）繰り返す。
【０００７】
上述したように学習効果を高めるには教師データは多い方が好ましいが、上述した従来の方法による教師データ作成は非常に手間と時間が掛かる。特に、（２）における手入力でのアノテーション作業は、いかに便利なアノテーションツールを使用したとしてもかなり手間の掛かる作業である。それ故に、そうした作業自体をアウトソーシングすることも行われているが、時間とコストが掛かることは避けられない。
【０００８】
本発明はこうした課題を解決するためになされたものであり、その目的とするところは、多数の教師データを作業者に大きな負担を強いることなく効率的に作成することができる機械学習用教師データ作成方法、及び機械学習用教師データ作成プログラムを提供することである。
【課題を解決するための手段】
【０００９】
上記課題を解決するために成された本発明に係る機械学習用教師データ作成支援方法は、複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを作成する教師データ作成支援方法であって、
１又は複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
前記１又は複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成する事前ラベル情報生成ステップと、
前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
を有することを特徴としている。
【００１０】
また上記課題を解決するために成された本発明に係る機械学習用教師データ作成支援プログラムは、上記発明に係る教師データ作成支援方法をコンピュータを用いて実現するためのコンピュータプログラムであり、
複数の認識対象物が配置された画像に対し機械学習を用いた画像処理を行うための学習モデルを構築する際に使用される教師データを、コンピュータにより作成するための教師データ作成支援プログラムであって、
１又は複数の認識対象物が配置された状態を撮影した画像と、該画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関して正解であるラベル情報を取得する基本情報取得ステップと、
前記１又は複数の認識対象物のそれぞれについて、前記ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成する事前ラベル情報生成ステップと、
前記事前ラベル情報生成ステップにおいて生成された複数のラベル情報にそれぞれ合わせて、前記基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する画像加工処理ステップと、
前記事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して前記画像加工処理ステップで作成された画像と、を組として所定形式の教師データを出力する教師データ出力ステップと、
をコンピュータに実行させることを特徴としている。
【００１１】
本発明における機械学習の手法は、画像中の認識対象物についての検出、認識、識別等の処理が可能であれば特にその方法やアルゴリズムを問わないが、好適な例は、前述のＲ−ＣＮＮ、ＦＣＮ等を含むディープラーニングである。このほか、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、アダブースト（AdaBoost）などを用いることもできる。
【００１２】
本発明では、認識対象物は一種類であってもよいし、複数種類であってもよい。認識対処物が一種類であり、その形態や態様（外観上での見た目）が同じである場合、つまり個体差がないか殆ど無視できる程度である場合には、基本情報取得ステップで得られる画像は、一つの認識対象物が配置された状態を撮影した画像でよい。また、認識対処物が一種類であっても、その形態や態様に相違やばらつきがある（個体差が無視できない程度である）場合、そうした相違やばらつきの程度に応じて異なる形態や態様である複数の認識対処物が配置された状態を撮影した画像が用いられることが好ましい。
【００１３】
本発明に係る教師データ作成支援プログラムをコンピュータで実行することにより実施される教師データ作成支援方法において、基本情報取得ステップでは、認識対象物を実際に撮影した画像と、その画像中の認識対象物についてのラベル情報とが基本情報として取得される。
【００１４】
本発明の一態様として、上記基本情報取得ステップは、
１又は複数の認識対象物を撮影して画像を取得する基本画像取得ステップと、
前記基本画像取得ステップで取得された画像中の各認識対象物について、位置、向き、認識対象物自体の形態又は態様、の少なくとも一つの項目に関するラベル情報を作業者が入力するラベル情報入力ステップと、
を含むものとすることができる。
【００１５】
この場合、例えば作業者がカメラやＣＣＤスキャナ等の撮像装置で認識対象物を撮影し、撮影した画像中の認識対象物の位置や向き等に関するラベル情報を作業者（撮影した作業者と同一とは限らない）が入力する。即ち、アノテーション作業を作業者が手入力で行うことになるが、１枚の画像中に現れている１又は複数の認識対象物についてのラベル情報を入力しさえすればよいので、それほど大きな手間は掛からない。
【００１６】
また別の態様としては、１又は複数の認識対象物をどのような位置にどのような向きで置くのかを、装置（コンピュータ）が例えば画像により作業者に指示し、作業者がその指示に従って認識対象物を置いたうえで撮影を行って画像を取得するようにしてもよい。この場合、取得された画像中の認識対象物の位置や向きに関するラベル情報は既に装置が保有しているから、改めて作業者が入力を行う必要はない。即ち、この場合には、作業者の手入力によるアノテーション作業は実質的に不要である。
【００１７】
なお、本発明において、認識対象物自体の形態又は態様とは、認識対象物の形状、色、又は大きさのいずれかであるものとすることができる。
【００１８】
事前ラベル情報生成ステップでは、上記基本情報に含まれる画像中の１又は複数の認識対象物のそれぞれについて、ラベル情報として与えられている、画像中での位置、向き、それ自体の形態又は態様、の少なくとも一つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を自動的に生成する。例えば、認識対象物の向きに関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報とは、上記基本情報に含まれる画像中の認識対象物の向きを角度０°として、０〜３６０°の間で所定角度間隔の角度を表す値である。具体的には、所定角度間隔が３０°であれば、０°、３０°、６０°、９０°、…、３００°、３３０°が、向きに関して複数のバリエーションが加えられたラベル情報である。
【００１９】
事前ラベル情報生成ステップで複数のラベル情報が生成されたあと、画像加工処理ステップでは、その複数のラベル情報にそれぞれ合わせて、基本情報取得ステップで取得された画像中の認識対象物の位置、向き、それ自体の形態又は態様、の少なくとも一つを変更した複数の画像を画像加工処理により作成する。例えば上述したように認識対象物の向きに関して複数のラベル情報が与えられている場合には、それぞれのラベル情報を目標として、認識対象物の向きがそのラベル情報に合うように認識対象物を適宜に回転させた画像を画像加工処理により作成する。また、位置に関して複数のラベル情報が与えられている場合には、認識対象物がそのラベル情報に合った位置に来るように認識対象物を適移動させた画像を画像加工処理により作成する。そして、教師データ出力ステップでは、事前ラベル情報生成ステップにおいて生成されたラベル情報と、それに対応して画像加工処理ステップで作成された画像と、を組として例えばｘｍｌ等の所定の形式の言語で表現したファイルを作成し、これを教師データとして出力する。
【００２０】
即ち、従来の一般に画像に関する教師データを生成する際には、まず認識対象物の位置や向きを変えた多数の画像を取得したあと、各画像中に現れている認識対象物についてのラベル情報を作業者が手入力していた。これに対し、本発明では、その手順を入れ替え、認識対象物の位置や向きが異なる複数のラベル情報を先に自動的に生成しておき、そのラベル情報に合うような画像を画像加工処理により作成する。この画像加工処理は、図形の回転、移動、拡大・縮小など、一般的な画像加工でよく、加工対象も決まっているから、ほぼ自動的に処理を進めることができる。これにより、作業者がすべき実質的な作業は殆ど不要になる。
【００２１】
本発明における事前ラベル情報生成ステップでは、様々なアルゴリズムを用いてラベル情報を生成することが可能であるが、好ましい一態様として、実験計画法を用いて、認識対象物に対する異なる複数のバリエーションを加えたラベル情報の割り当てを決定するものとするとよい。
【００２２】
周知のように、実験計画法は効率的な実験等を行うために実験条件等を決めるのに用いられるものであるから、これを利用することで、学習効果が高くなるような教師データを効率的に作成するのに適切な条件、つまりはラベル情報の割り当てを決めることができる。実験計画法による実験の割り当てには、完全無作為法、ラテン方格法、乱塊法、直交表（直交配置法）、分割区法、枝分かれ分類法などの各種の方法がある。
【００２３】
ラテン方格法は乱塊法の一種であり、一般に誤差の自由度が小さいため精度向上のためには反復等を行う必要があるものの、少ない実験数で以て効率的に実験結果を得ることができるという利点がある。本発明のように教師データ作成のためのラベル情報の生成においては、教師データを用いた学習を繰り返すことで学習の精度を向上させることができるため、上記の誤差の自由度の小ささは実際上問題とならない。一方で、少ない実験数で済むということは、教師データの数が少なくて済むということであり、教師データの作成に要する時間を短縮することができるという利点がある。こうしたことから、本発明において、前記実験計画法としてラテン方格法を用いるとよい。
【００２４】
また、本発明では、
前記基本情報取得ステップで得られるラベル情報は、位置、向き、認識対象物自体の形態又は態様、のうちの二つの項目を含み、
前記事前ラベル情報生成ステップでは、前記二つの項目に関し、それぞれ異なる複数のバリエーションを加えた複数のラベル情報を生成するために、その各項目に関してそれぞれラテン方格法による割り当てを行うようにするとよい。
【００２５】
このように、ラテン方格法による割り当てを２段階で行うことにより、処理が複雑になるのを避けつつ、効率的な学習が行えるような教師データを作成することができる。
【発明の効果】
【００２６】
本発明によれば、従来は大変な手間が掛かっていた、アノテーション作業を伴う教師データの作成作業を、作業者に大きな負担を強いることなく効率的に行うことができる。それにより、作業者の手間を軽減することができるとともに、教師データの作成に要する時間を短縮することができる。また、正解であるラベル情報の入力ミスなどの作業ミスも軽減することができるので、ラベル付けが正確になされた教師データを用意することができ、機械学習の精度を高めることができる。
【図面の簡単な説明】
【００２７】
【図１】本発明に係る教師データ作成支援方法を利用して作成される教師データを学習に使用する機械学習システムの全体構成図。
【図２】図１中の教師データ作成部のブロック構成図。
【図３】教師データ作成部における作業及び処理の手順を示すフローチャート。
【図４】電子部品（コンデンサ）の撮影画像の一例を示す図。
【図５】ラテン方格法を用いて作成した、８個の電子部品についてそれぞれの角度が相違する角度パターンを示す図。
【図６】図５に示した角度パターンの一つ（識別番号：＃１）に従って各電子部品の角度を変更する画像加工処理の説明図。
【図７】ラテン方格法を用いて作成した、８個の電子部品についてそれぞれの位置を入れ替える位置パターンを示す図。
【図８】８個の電子部品が配置される画像中の位置を示す模式図。
【図９】図７に示した８種類の位置パターンにそれぞれ対応する８個の電子部品の配置状態を示す模式図。
【発明を実施するための形態】
【００２８】
以下、本発明に係る機械学習用教師データ作成支援方法、及びそのためのコンピュータプログラムの一実施例について、添付図面を参照して説明する。
【００２９】
図１は、本発明に係る教師データ作成支援方法により作成される教師データを使用して機械学習を実行するとともに、その学習により作成される学習モデルを用いて画像認識を実施する機械学習システムの一例の全体構成図である。図２は図１中の教師データ作成部のブロック構成図である。ここでは、この機械学習システムは、所定の電子部品をランダムピッキングするために、乱雑に置かれた電子部品を撮影した画像に対し、その画像中の電子部品の位置と向きとを認識するものである。即ち、本発明における認識対象物は、ここでは電子部品である。
【００３０】
図１に示すように、この機械学習システムは、教師データ作成部１、学習実行部２、及び画像認識部４、を備える。
概略的に説明すると、教師データ作成部１は、学習材料である教師データを多数作成する。教師データは、同種の電子部品が多数写っている画像と、この画像中の各電子部品の位置と向き（角度）とを示すラベル情報とが組となったものである。学習実行部２はその多数の教師データを用いて、所定の機械学習アルゴリズムによる学習を実行し、学習済みモデル３を作成する。学習の際には例えば確率的勾配降下法などの既知の手法を用いることができる。作成された学習済みモデル３は画像認識部４に組み込まれ、画像認識部４はこの学習済みモデル３を利用し、入力された処理対象画像において電子部品を検出してその位置を認識するとともに向きなどを認識し、その結果を出力する。
【００３１】
機械学習アルゴリズムとしては、画像中の物体の検出や認識に適したものであればよく、一般的には、ニューラルネットワークを用いた機械学習法であるＣＮＮ、Ｒ−ＣＮＮ、ＦＣＮなどのディープラーニングが好適である。また、それ以外でも、サポートベクターマシン、ランダムフォレスト、アダブーストなどの各種の機械学習法を用いることができる。なお、ニューラルネットワークを用いた機械学習アルゴリズムを用いる場合、学習済みモデル３とは、多層ネットワークに含まれる複数の畳み込み層におけるフィルタの係数（重み）である。
【００３２】
また、図１に示したシステムの実体はパーソナルコンピュータ、より性能の高いワークステーション、或いは、そうしたコンピュータと通信回線を介して接続された高性能なコンピュータを含むコンピュータシステムなどであり、そうしたコンピュータ単体又はコンピュータシステムに搭載されているソフトウェアを該コンピュータで実行することにより、図１に示した各ブロックの機能が具現化される。
【００３３】
図２に示すように、教師データ作成部１は、コンピュータ１０と、これに付設されるカメラ１６、入力部１７、表示部１８などから構成される。入力部１７は一般にはキーボードやポインティングデバイス（マウスなど）等であるが、画面へのタッチ操作により入力が行えるものであってもよい。そして、コンピュータ１０にインストールされた専用のソフトウェアを該コンピュータ１０で動作させることで、基本ラベル情報入力支援部１１、ラベル情報自動生成部１２、画像加工処理部１３、教師データファイル作成部１４、データ保存部１５などの機能ブロックが具現化される。上記ソフトウェアが本発明に係る機械学習用教師データ作成支援プログラムに相当するものである。こうしたプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、メモリカード、ＵＳＢメモリ（ドングル）などの記憶媒体に収録されてユーザに提供されるか、或いは、インターネットなどの通信回線を介したデータ転送の形式で、ユーザに提供されるものとすることもできる。
【００３４】
次に、図３〜図９を参照して、教師データ作成部１おいて教師データが作成される際の、作業者による作業と自動的な処理とについて説明する。図３はこの作業と処理の手順を示すフローチャートである。
【００３５】
この例では、認識対象物である電子部品は、一般的な積層セラミックコンデンサ（以下単に「コンデンサ」という）であるものとする。コンデンサは、本体部と、２本の足部（リード端子部）と、を有しており、向きの認識が必要である。また、本体部の形状の個体差は殆ど無いものの、２本の足部は曲がっていたり開き角度がばらばらであったりするため個体差がある。そのため、個体差がある複数のコンデンサについての教師データを作成することが必要である。
【００３６】
まず作業者は、Ｎ個のコンデンサが無地背景の平板上に載置された状態の画像をカメラ１６により撮影し、得られた画像データをコンピュータ１０に入力する（ステップＳ１）。入力された画像は基本画像としてデータ保存部１５に保存される。ここでは、Ｎを８とするが、「８」に限るものではなく、例えばその２倍の「１６」等でもよい。後述するように、向き（角度）に関するラベル情報を自動生成する際の角度間隔を（３６０／Ｎ）°としている都合上、Ｎは３６０を容易に割り切れる値とするとよい。
【００３７】
図４は、８個のコンデンサを撮影した画像の一例を示す図である。８個のコンデンサは本体部を右方、足部を左方に向けた、左右に延伸する状態で、互いにほぼ平行に載置されている。但し、上述したように、各コンデンサの足部の曲がりや開き度合いは様々であり、その点で形状に個体差があるということができる。このようにコンデンサに個体差があっても、画像中でコンデンサを的確に検出し、その位置と向きとを認識する必要があるため、想定される様々な個体差がある複数のコンデンサを撮影している。図４中に記載したように、ここでは、８個のコンデンサにそれぞれ識別子としてＡ〜Ｈの英文字を付している。即ち、Ａ〜Ｈの英文字とコンデンサの外観（具体的には足部の曲がりや開き具合）とは対応している。
なお、仮に外観上で全く個体差がない場合又は個体差が無視できる程度である場合には、この例のように、同種の複数個の電子部品を撮影する必要はなく、１個のみの撮影を行えば十分である。
【００３８】
基本ラベル情報入力支援部１１は、上記ステップＳ１においてデータ保存部１５に保存されたデータを用いて、上述したように８個のコンデンサが写っている基本画像を再現し、これを表示部１８の画面上に表示する。作業者は表示部１８でその基本画像を視認し、その基本画像に写っている各コンデンサについて、位置（位置座標）の情報及び向き（角度）の情報を入力部１７から入力する。つまりは、正解であるラベル情報を入力するアノテーションの作業を実行する。入力されたラベル情報はデータ保存部１５に保存される（ステップＳ２）。
【００３９】
各部品（ここではコンデンサ）の位置の情報は、例えば作業者が表示された基本画像上で各コンデンサの本体部の中心位置をクリック操作したり、或いは各コンデンサの本体部の外輪郭をポインティングデバイスでなぞったりすることで、入力されるようにしておくことができる。図４の例では、Ａ〜Ｈの英文字記号が識別番号として付された各コンデンサは全て右向きに互いに平行に置かれているから、このときの向きを角度０°とし、角度０〜３６０°で向きを表現するものとする。
【００４０】
ラベル情報自動生成部１２は、Ａ〜Ｈの識別番号が付されたＮ個のコンデンサが互いに異なるＮ個の角度を採るような角度パターン、つまりは角度に関するラベル情報をラテン方格法を用いて決定する（ステップＳ３）。ここで、このＮ個の角度とは０〜３６０°の角度範囲を八つに等角度間隔で分割したときの角度であり、具体的には、０°、４５°、９０°、１３５°、１８０°、２２５°、２７０°、３１５°の八つである。図５は、識別番号＃１〜＃８を付した８種類の角度パターンにおける、Ｎ個のコンデンサ（Ａ〜Ｈ）と角度（０°〜３１５°）との関係を示す２次元テーブルである。ラテン方格法では、このテーブルにおいて、縦方向にも横方向にも同じ識別番号が付されたコンデンサは一回のみしか現れない。したがって、＃１〜＃８の識別番号が付された８種類の角度パターンでは、任意の識別番号が付されたコンデンサは必ず異なる角度になり、且つ８種類の角度が必ず１回ずつ現れる。
【００４１】
続いて、ラベル情報自動生成部１２は、Ａ〜Ｈの識別番号として付されたＮ個のコンデンサが、画像中に定められた互いに異なるＮ個の位置に配置される位置パターン、つまりは位置に関するラベル情報を、ステップＳ３と同様にラテン方格法を用いて決定する（ステップＳ４）。ここで、画像中のＮ個の位置とは、図８に示すように、１枚の画像１００中に予め設定された８個の領域であり、ここではその位置を示す識別番号を［１］、［２］、…としている。図７は、識別番号（１）〜（８）を付した８種類の位置パターンにおける、Ｎ個のコンデンサ（Ａ〜Ｈ）と画像中の位置（［１］〜［８］）との関係を示す２次元テーブルである。ラテン方格法では、このテーブルにおいて、縦方向にも横方向にも同じ識別記号が付された位置は一回のみしか現れない。したがって、（１）〜（８）の識別番号が付された８種類の位置パターンでは、任意の識別番号が付されたコンデンサは必ず異なる位置になり、且つ８種類の位置が必ず１回ずつ現れる。
【００４２】
画像加工処理部１３は、ステップＳ３で生成された角度に関するラベル情報に合わせて、ステップＳ１で得られた基本画像中の各コンデンサの向きを変化させた、つまりは回転させた画像を画像加工処理により作成する（ステップＳ５）。ここでは、識別番号がＡ〜Ｈである８個のコンデンサは、画像１００中で図６（ａ）に示すように、つまりは図８に［１］〜［８］で示した位置に、配置されているものとする。図６（ｂ）は、図４に示した基本画像中の各コンデンサを、図６（ａ）中の各位置に配置した画像である。そして、この識別番号がＡ〜Ｈである８個のコンデンサの向き、つまり角度を、図５に示した８種類の角度パターン（＃１〜＃８）に合わせて変化させることで８種類の１次加工画像を生成する。図６（ｃ）は、識別番号が＃１である角度パターンのラベル情報に合わせて各コンデンサの向きを変化させた１次加工画像である。ステップＳ５の処理では、このような１次加工画像が８枚作成される。
【００４３】
次いで画像加工処理部１３は、ステップＳ４で生成された位置に関するラベル情報に合わせて、ステップＳ５で作成された８枚の１次加工画像それぞれにおいて、各コンデンサの位置を入れ替えた画像を画像加工処理により作成する（ステップＳ６）。図９は、図７に示されている８種類の位置パターンにそれぞれ対応する、１枚の画像１００中の８個のコンデンサの配置状態を示す図である。このステップＳ６では、図６（ｃ）に示されているような、角度に関するラベル情報に応じて各コンデンサの向きが変更されたあとの１枚の１次加工画像に対し、図９に示すように各コンデンサの向きはそのままで位置の入れ替えが行われ、８枚の２次加工画像が作成される。したがって、８枚の１次加工画像から８×８＝６４枚の２次加工画像が作成される。
【００４４】
上記のようにして生成されたＮ×Ｎ枚、ここでは６４枚の２次加工画像にはそれぞれ、一つの角度パターンつまりは角度に関するラベル情報と、一つの位置パターンつまりは位置に関するラベル情報とが対応付けられる。６４枚の２次加工画像に対し角度パターンと位置パターンとの組み合わせは必ず異なるものとなるから、６４枚の２次加工画像に対してラベル情報は必ず異なるものとなる。教師データファイル作成部１４は、その６４枚の２次加工画像とラベル情報とを対応付け、２次加工画像毎にＮ個のコンデンサの位置（位置座標）情報と向き（角度）情報とを付与したアノテーションｘｍｌファイルを作成し、それをデータ保存部１５に保存する（ステップＳ７）。
【００４５】
上記一連の処理により、１枚の基本画像から６４個の教師データが自動的に生成され、教師データ作成部１は作成されたアノテーションｘｍｌファイルを教師データとして学習実行部２に出力する。
【００４６】
なお、上記実施例の処理においてＮの値は任意であり、例えばＮの数をさらに増やして例えば１２或いは１６としてもよい。その場合、角度パターンにおける角度間隔は３０°或いは２２．５°である。
【００４７】
また、上記実施例の処理では、ステップＳ３、Ｓ４においてラベル情報の割り当てを決めるために、実験計画法の一つであるラテン方格法を用いた。実験計画法には様々な方法があり、ラテン方格法は一般に、誤差の自由度が小さいため精度向上のためには反復等を行う必要があるものの、少ない実験数で以て効率的に実験結果を得ることができるという利点があることが知られている。ここでは、誤差の自由度の小ささは実際上問題とならないので、専ら効率性を重視してラテン方格法を利用しているが、ラテン方格法に限らず実験計画法における他の方法を採用しても構わない。具体的には、完全無作為法、乱塊法、直交表（直交配置法）、分割区法、枝分かれ分類法などを用いることができる。
【００４８】
また、上記実施例で挙げたコンデンサ、抵抗器のような部品の場合には、ピックアップする際に方向性（向き、角度）を認識する必要があるが、例えば円盤状の部品などの場合には方向性を認識する必要がないこともある。その場合には、向きに関するラベル情報は存在しない。一方で、認識対象物によっては、色、模様、外形状、大きさなどの形態や態様を認識する必要がある場合もある。こうした場合には、そうした認識対象物の形態や態様に関するラベル情報が必要であり、それに関して様々に異なるラベル情報が自動的に生成されることになる。
【００４９】
また、認識対象物が電子部品やそのほかの部品に限らないのは言うまでもない。また例えば、製造された各種の製品、農産物・水産物、配送品など様々な認識対象物を適用することが可能である。
【００５０】
また、上記実施例はあくまでも本発明の一例にすぎず、上述した様々な例に限らず、本発明の趣旨の範囲でさらに適宜変形、修正、追加を行っても本願特許請求の範囲に包含されることは明らかである。
【符号の説明】
【００５１】
１…教師データ作成部
２…学習実行部
３…学習済みモデル
４…画像認識部
１０…コンピュータ
１１…基本ラベル情報入力支援部
１２…ラベル情報自動生成部
１３…画像加工処理部
１４…教師データファイル作成部
１５…データ保存部
１６…カメラ
１７…入力部
１８…表示部
【図１】
2020126414.tif 000003
【図２】
2020126414.tif 000004
【図３】
2020126414.tif 000005
【図４】
2020126414.tif 000006
【図５】
2020126414.tif 000007
【図６】
2020126414.tif 000008
【図７】
2020126414.tif 000009
【図８】
2020126414.tif 000010
【図９】
2020126414.tif 000011