(57)【要約】  学習データ生成装置（１０）は、第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する識別部（１１）と、識別結果と第１撮像画像に関連する、第１撮像画像とは種類が異なる第２撮像画像と、に基づいて、学習データを生成する生成部（１２）と、を備える。
2018186398.tif 000002
【特許請求の範囲】
【請求項１】
第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する識別手段と、
前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する生成手段と、
を備える学習データ生成装置。
【請求項２】
前記生成手段は、前記識別手段が識別した対象の領域に対応する前記第２撮像画像上の領域を示す情報と、前記識別された対象の種類または識別された対象の動きとを、前記第２撮像画像に関連付けた前記学習データを生成する、
請求項１に記載の学習データ生成装置。
【請求項３】
前記生成手段は、前記第２撮像画像のうち前記識別手段が識別した対象の領域に対応する前記第２撮像画像上の領域の画像と、前記識別された対象の種類または識別された対象の動きとを関連付けた前記学習データを生成する、
請求項１に記載の学習データ生成装置。
【請求項４】
前記識別手段は、前記対象の大きさ、形状、位置、移動距離、および、移動速度の少なくとも１つに基づいて、前記対象の種類、存在、または、動きの少なくとも１つを識別し、
前記生成手段は、識別した結果を学習時のラベルとした前記学習データを生成する、
請求項１から３の何れか１項に記載の学習データ生成装置。
【請求項５】
前記第２撮像画像と同じ種類の第３撮像画像であって、前記第１撮像画像を撮像した撮像装置が撮像する第３撮像画像を用いて、前記第１撮像画像における位置に対応する前記第２撮像画像における位置を特定する位置特定手段を備え、
前記生成手段は、前記特定された第２撮像画像における位置と、前記識別結果と、前記第２撮像画像と、に基づいて、前記学習データを生成する、
請求項１から４の何れか１項に記載の学習データ生成装置。
【請求項６】
前記識別手段は、前記第２撮像画像から、該第２撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第２撮像画像に関連付けた第２識別結果を生成し、
前記学習データ生成装置は、第１撮像画像に対する識別結果である第１識別結果と、前記第２識別結果との整合性の有無を判定する判定手段を更に備え、
前記生成手段は、前記判定手段による判定結果に基づいて、前記学習データを生成する、
請求項１から５の何れか１項に記載の学習データ生成装置。
【請求項７】
前記第１撮像画像は距離画像であり、
前記第２撮像画像はカラー画像である、
請求項１から６の何れか１項に記載の学習データ生成装置。
【請求項８】
前記学習データ生成装置は、前記第１撮像画像を取得する撮像装置に搭載される、
請求項１から７の何れか１項に記載の学習データ生成装置。
【請求項９】
第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成し、
前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する、
学習データ生成方法。
【請求項１０】
第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する処理と、
前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する処理と、
をコンピュータに実行させるためのプログラムを格納した、一時的でない記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、学習データ生成装置、学習データ生成方法、および記録媒体に関する。
【背景技術】
【０００２】
機械学習を用いた識別処理には、入力データと該入力データに対応する正解ラベルの組を学習データとして用意しパラメータの更新を行う、教師あり学習と呼ばれる方法がある。学習データには、識別処理の実行の際に実際に入力されうるデータを網羅的に用いるのが効果的である。識別処理の実行の際に入力されうるデータを網羅するには、大量の学習データを用意する、または、認識処理が行われるのと同様の環境で取得されたデータを識別処理に用いることが有効である。しかしながら、一般に識別処理において用いる正解データは人手によって付されるのであるため、データの量が増えると人的コストが増えるという問題がある。【０００３】
特許文献１には、被写体に対するカメラの位置に関する情報などの撮影条件を連続的に変更しながら撮影された各物体撮影画像から、物体が写っている領域である物体領域を抽出することにより学習データを生成する学習データ生成システムが記載されている。【０００４】
また、特許文献２には、ラベルの値が未知のデータについてラベルの値が所定の値であるデータとの類似度を計算し、この計算した類似度に基づいて次に学習するデータを選択する能動学習システムが記載されている。【０００５】
また、レーザ測域センサの測定データを用いて、人物の位置の検出と追跡とを行う技術の一例が特許文献３に記載されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１４−１７８９５７号公報
【特許文献２】国際公開２００８／０４７８３５号
【特許文献３】特開２０１３−１５６７１８号公報
【特許文献４】米国特許第６７１５２９３号明細書
【非特許文献】
【０００７】
【非特許文献１】Naveet Daniel, Bill Triggs, “Histograms of Oriented Gradients for Human Detection”, Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05), U.S.A, IEEE Computer Society, 06.2005, Volume1-Volume01, p.886-893
【非特許文献２】橋本学、「テンプレートマッチングの魅力〜物体検出・位置決めの定番技術〜」（http://isl.sist.chukyo-u.ac.jp/Archives/SSII2013TS-Hashimoto.pdf）、第１９回画像センシングシンポジウムチュートリアル講演会、２０１３年６月１２日発表
【発明の概要】
【発明が解決しようとする課題】
【０００８】
特許文献１に記載の技術では、カメラの位置に関する情報を少なくとも含む撮影条件を変更しながら、学習データを生成するため、例えば、位置に関する情報が変更できないカメラによって撮影された撮影画像から自動的に学習データを生成することが難しい場合がある。【０００９】
また、特許文献２に記載の技術では、選択されたデータに対する正解のラベル付けは、人手によって行われているため、データが増えるほどラベル付けにかかる人的コストが増えてしまう可能性がある。【００１０】
本開示は、上記課題に鑑みてなされたものであり、その目的の一つは、効率的に学習データを生成する技術を提供することにある。
【課題を解決するための手段】
【００１１】
本開示の一態様に係る学習データ生成装置は、第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する識別手段と、前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する生成手段と、を備える。【００１２】
また、本開示の一態様に係る学習データ生成方法は、第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成し、前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する。【００１３】
なお、上記各装置または方法を、コンピュータによって実現するコンピュータプログラム、およびそのコンピュータプログラムが格納されている、コンピュータ読み取り可能な非一時的記録媒体も、本開示の範疇に含まれる。
【発明の効果】
【００１４】
本開示によれば、効率的に学習データを生成することができる。
【図面の簡単な説明】
【００１５】
【図１】第１の実施の形態に係る学習データ生成装置を含む学習データ生成システム商品モニタリングシステムの構成の一例を示す図である。
【図２】第１の実施の形態に係る学習データ生成装置の機能構成の一例を示す機能ブロック図である。
【図３】第１撮像画像および第２撮像画像を説明するための図である。
【図４】識別部の動作を説明するための図である。
【図５】識別部が出力する識別結果の一例を示す図である。
【図６】識別部の動作の他の例を説明するための図である。
【図７】生成部の動作を説明するための図である。
【図８】学習データの一例を示す図である。
【図９】学習データの他の一例を示す図である。
【図１０】学習データの他の一例を示す図である。
【図１１】第１の実施の形態に係る学習データ生成装置の動作の流れの一例を示すフローチャートである。
【図１２】第２の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図１３】位置特定部の動作を説明するための図である。
【図１４】第２の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図１５】第３の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図１６】第３の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図１７】第４の実施の形態に係る画像処理装置の機能構成の一例を示す機能ブロック図である。
【図１８】第４の実施の形態に係る画像処理装置の動作の流れの一例を示すフローチャートである。
【図１９】本開示の各実施の形態を実現可能なコンピュータ（情報処理装置）のハードウェア構成を例示的に説明する図である。
【発明を実施するための形態】
【００１６】
以下、本開示の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウェア単位の構成ではなく、機能単位の構成を表している。
【００１７】
＜第１の実施の形態＞
図１は、本実施の形態に係る学習データ生成装置１００を含む学習データ生成システム１の構成の一例を示す図である。図１に示す通り、学習データ生成システム１は、学習データ生成装置１００と撮像装置２とを含む。学習データ生成装置１００は、撮像装置２と通信可能に接続している。なお、本実施の形態において、学習データ生成装置１００は、撮像装置２と別個の構成であるとして説明を行うが、学習データ生成装置１００は撮像装置２に内蔵される構成であってもよい。また、撮像装置２は、複数であってもよい。また、撮像装置２が撮像する映像は、動画像であってもよいし、連続する静止画像であってもよい。
【００１８】
撮像装置２は、対象を撮像する。対象とは、例えば、店舗の商品棚に陳列された商品であってもよいし、人物であってもよい。対象とは、後述する識別部によって識別されるものであればよい。撮像装置２は、例えば、対象である、商品が陳列された店舗の商品棚を撮像する。そして、撮像装置２は、撮像した撮像画像を示す映像信号を、学習データ生成装置１００に送信する。撮像装置２は、例えば、店舗に設置されている監視カメラである。撮像装置２は、撮像画像を撮像装置２の内部または学習データ生成装置１００とは異なる記憶装置に格納してもよい。
【００１９】
本実施の形態では、撮像装置２は、２種類の撮像画像を取得するとして説明を行う。撮像画像の１つ目は、カラー画像であるとして説明を行う。なお、撮像画像は、例えば、ＲＧＢ（Ｒｅｄ  Ｇｒｅｅｎ  Ｂｌｕｅ）画像空間で表現される画像であってもよいし、他の色空間の画像であってもよい。
【００２０】
また、撮像画像の２つ目は、カラー画像とは異なる種類の画像である。撮像画像は、例えば、近赤外線カメラ、遠赤外線カメラ等で取得された画像であってもよいし、デプスカメラで取得された距離画像であってもよい。
【００２１】
なお、本実施の形態では、撮像装置２は、第１撮像画像として、距離画像を取得するデプスカメラと、第２撮像画像として、ＲＧＢ画像を取得するＲＧＢカメラとを含むとして説明を行う。
【００２２】
撮像装置２のＲＧＢカメラとデプスカメラとが異なる機器の場合、ＲＧＢカメラとデプスカメラとは近接する位置に設けられ同じ位置または同じ物体（例えば、商品棚）を撮像する。また、ＲＧＢカメラとデプスカメラとは時刻同期がとられており、ほぼ同時刻に対象に関連する物体を撮像することが好ましい。つまり、デプスカメラは、ＲＧＢカメラによって撮像されたＲＧＢ画像の撮影時刻から所定の時間内に、且つ、ＲＧＢ画像の撮像範囲を撮像した距離画像を出力するカメラであることが好ましい。また、撮像装置２は、複数の種類の画像（例えば、ＲＧＢ画像および距離画像）を取得可能なセンサであってもよい。例えば、撮像装置２は、ＲＧＢＤカメラであってもよい。
【００２３】
図２は、本実施の形態に係る学習データ生成装置１００の機能構成の一例を示す機能ブロック図である。学習データ生成装置１００は、図２に示す通り、第１取得部１１０と、第２取得部１２０と、識別部１３０と、生成部１４０と、第１記憶部１５０と、第２記憶部１６０とを備える。
【００２４】
第１取得部１１０および第２取得部１２０は、夫々種類が異なる信号を取得する。例えば、第１取得部１１０は、第１撮像画像である距離画像を示す信号を取得する。第１取得部１１０は、撮像装置２から送信された信号を受信してもよいし、撮像装置２の内部または撮像装置２および学習データ生成装置１００とは異なる記憶装置に格納された第１撮像画像に基づいて変換された信号を取得してもよい。
【００２５】
第２取得部１２０は、第２撮像画像であるＲＧＢ画像を示す信号を取得する。第２取得部１２０は、撮像装置２から送信された信号を受信してもよいし、撮像装置２の内部または撮像装置２および学習データ生成装置１００とは異なる記憶装置に格納された第２撮像画像に基づいて変換された信号を取得してもよい。
【００２６】
なお、学習データ生成装置１００が撮像装置２に内蔵されている場合、第１取得部１１０および第２取得部１２０は、第１撮像画像および第２撮像画像そのものを取得する構成であってもよい。
【００２７】
第１取得部１１０および第２取得部１２０が取得する第１撮像画像および第２撮像画像について、図３を参照して説明する。図３は、第１撮像画像および第２撮像画像を説明するための図である。図３に示す横軸は時間軸である。撮像装置２のデプスカメラおよびＲＧＢカメラは、同期しながら繰り返し撮影を行う。時刻ｔ０における第１撮像画像である撮像画像３１Ａおよび第２撮像画像である撮像画像３２Ａは、図３に示す通り、同じ商品棚３を撮像している。同様に、時刻ｔ１における第１撮像画像である撮像画像３１Ｂおよび第２撮像画像である撮像画像３２Ｂは、撮像画像３１Ａおよび撮像画像３２Ａと同様の商品棚３を時刻ｔ０よりも後の時刻である時刻ｔ１で撮像した画像である。
【００２８】
第１取得部１１０は、取得した第１撮像画像を識別部１３０に供給する。また、第２取得部１２０は、取得した第２撮像画像を生成部１４０に供給する。なお、第１取得部１１０は、第１撮像画像を第１記憶部１５０に格納してもよい。また、第２取得部１２０は、第２撮像画像を第２記憶部１６０に格納してもよい。
【００２９】
第１記憶部１５０は、識別部１３０が識別に用いる識別用データ１５１を格納する。また、第１記憶部１５０は、識別結果１５２を格納する。識別用データ１５１および識別結果１５２については後述する。
【００３０】
識別部１３０は、第１撮像画像から対象を識別する。識別部１３０は、第１取得部１１０から第１撮像画像を受け取る。そして、識別部１３０は受け取った第１撮像画像と、識別部１３０に格納された識別用データ１５１とを用いて、対象を識別する。識別部１３０は識別結果を生成部１４０に供給する。識別部１３０が行う識別処理の具体例については後述する。識別部１３０は、例えば、第１取得部１１０から第１撮像画像が供給されると、識別処理を行ってもよいし、所定量の第１撮像画像に対して、識別処理を行ってもよい。
【００３１】
生成部１４０は、識別結果と、第１撮像画像に関連する第２撮像画像とに基づいて、学習データを生成する。生成部１４０は、識別部１３０から供給された識別結果に関連する第１撮像画像に対応する第２撮像画像から、識別結果に含まれる識別した対象の領域に対応する第２撮像画像上の領域の画像を抽出する。そして、生成部１４０は抽出した画像に、識別結果に含まれるラベルを付与した学習データを生成する。そして、生成部１４０は、生成した学習データを第２記憶部１６０に格納する。
【００３２】
第２記憶部１６０は、生成部１４０が生成した学習データ１６１を格納する。また、第２記憶部１６０は、第２取得部１２０が取得した第２撮像画像を格納してもよい。また、第２記憶部１６０は、第１記憶部１５０と別個の構成であってもよいし、一体となって形成されてもよい。第２記憶部１６０は、学習データ生成装置１００とは異なる記憶装置で実現されてもよい。
【００３３】
次に、識別部１３０の処理について、更に詳細に説明する。
【００３４】
（識別例１）
識別部１３０が、対象の種類を識別する場合について説明する。具体的には、識別部１３０が第１撮像画像に含まれる対象が人物かそれ以外かを識別する場合について説明する。撮像装置２のデプスカメラは、例えば定点から、商品棚３の商品が陳列された面の撮像を行っているとする。この場合、第１取得部１１０は、人物がいない基準の画像を一枚取得しておき、識別用データ１５１として第１記憶部１５０に格納する。そして、識別部１３０は、基準画像である識別用データ１５１と第１撮像画像（例えば、図３に示す撮像画像３１Ａおよび撮像画像３１Ｂ）との差分をとり、差分領域を得る。例えば、識別部１３０は、識別用データ１５１の各画素と、第１撮像画像の各画素との差分を取り、差分が所定値以上の画素の集合を差分領域とする。そして、識別部１３０は、差分領域の大きさが、人物の平均的な大きさと一致するかを判定することで人物かそれ以外かを識別する。また、識別部１３０は、差分領域から、人物の輪郭、人物の領域、人物の第１撮像画像上の位置を取得する。
【００３５】
そして、識別部１３０は、取得した情報にラベルを付し、識別結果１５２として、第１記憶部１５０に格納する。
【００３６】
識別部１３０の動作について更に図４を用いて説明する。図４は、識別部１３０の動作を説明するための図である。図４の（ａ）は、第１記憶部１５０に格納された識別用データ１５１の一例を示す。なお、識別用データ１５１は、上述した撮像画像３１Ａと対応する画素値が近似した画像であるとする。
【００３７】
図４の（ｂ）は、上述した撮像画像３１Ａである。識別部１３０は、識別用データ１５１と撮像画像３１Ａとの差分を取る。上述した通り、識別用データ１５１と撮像画像３１Ａとは対応する画素における画素値が近似しており、各画素の差分が所定値未満となる。
したがって、識別部１３０は、次の第１撮像画像における差分値を取る。図４の（ｃ）は、図３に示した撮像画像３１Ｂである。撮像画像３１Ｂには人物が含まれる。識別部１３０は、識別用データ１５１と、撮像画像３１Ｂとの差分を取ることにより、図４の（ｄ）の差分画像に示す黒色の部分（差分領域４１）を取得する。なお、差分画像は、第１撮像画像と同じサイズであり、差分領域４１が他とは異なる様態で表現された２値画像であってもよい。
【００３８】
そして、識別部１３０は、差分領域４１の大きさが、人物の平均的な大きさと一致するかを判定することで人物かそれ以外かを識別する。なお、識別部１３０は、例えば、買い物かごや買い物カートを識別してもよいし、買い物かごを持った人物や買い物カートを押している人物などを識別してもよい。
【００３９】
その後、識別部１３０はこの黒色の部分である差分領域４１に外接する矩形の位置および大きさを示す矩形情報を取得する。なお、矩形情報によって表される矩形４２を、図４の（ｄ）では破線で示している。
【００４０】
なお、本例では、識別部１３０は、差分領域４１として検出された対象が人物であると識別したとする。
【００４１】
図５は、識別部１３０が出力する識別結果１５２の一例を示す図である。識別結果１５２は、図５に示す通り、矩形４２の抽出元となる第１撮像画像を示す撮像画像識別子５１と、差分領域４１に外接する矩形４２の位置および大きさを示す矩形情報５２と、識別された対象（対象の種類）を示すラベル５３とを含む。
【００４２】
なお、矩形情報５２は、矩形４２の４隅のｘ座標値とｙ座標値で構成されていてもよいし、該矩形の４隅のうち、少なくとも１つの隅を表すｘ座標およびｙ座標、並びに該矩形の幅および高さで構成されてもよい。また、ラベル５３は、識別された対象の動きを表す情報であってもよい。
【００４３】
（識別例２）
識別部１３０が、対象の種類を識別する場合について説明する。具体的には、識別部１３０が、第１撮像画像に含まれる対象が人物の頭部かそれ以外かを識別する場合について、図６を参照して説明する。図６は、識別部１３０の動作の他の例を説明するための図である。本例では、撮像装置２のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。この場合、図６の（ａ）に示すような人物がいない基準画像を識別用データ１５１とする。なお、基準画像には、地上面がどの位置にあるかを示す位置情報が関連付けられている。そして、識別部１３０は、基準画像である識別用データ１５１と第１撮像画像（例えば、図６の（ｂ）に示す撮像画像３１Ｃ）との差分をとり、図６の（ｃ）の差分画像に含まれる差分領域６１を得る。そして、識別部１３０は、差分領域６１の地上面からの距離が人物の平均的な身長と一致するかを判定することで、該差分領域６１が人物の頭部かそれ以外かを識別する。また、識別部１３０は、差分領域６１のうち、一定の高さ以上の領域を抽出することで、人物頭部の位置を取得してもよい。
【００４４】
（識別例３）
識別部１３０が、対象の動きを識別する場合について説明する。具体的には、識別部１３０が、第１撮像画像に含まれる、陳列された商品の移動を識別する場合について説明する。撮像装置２のデプスカメラは、例えば定点から、商品棚３の商品が陳列された面の撮像を行っているとする。また、商品棚３に陳列された商品の大きさが予め第１記憶部１５０などに格納されているとする。
【００４５】
識別部１３０は、複数の時刻で取得された複数の第１撮像画像同士の差分を取得する。
つまり、本例では、差分を取る対象の第１撮像画像よりも時間的に前に取得された画像を識別用データ１５１とする。識別部１３０は、取得した差分によって示される領域であって、撮像装置２からの距離が遠くなった領域が、識別用データ１５１によって示される商品の大きさと同様の大きさを有している場合には、識別部１３０は、「商品が取得された」というラベルを付与する。
【００４６】
また、取得した差分によって示される領域であって、撮像装置２からの距離が近くなった領域が、識別用データ１５１によって示される商品の大きさと同様の大きさを有している場合には、「商品が補充された」というラベルを付与する。また、取得した差分によって示される領域のうち、撮像装置２からの距離が遠くなった領域と撮像装置２からの距離が近くなった領域とが隣接しており、識別用データ１５１によって示される商品の大きさよりも小さい場合には、「商品の位置がずれた」というラベルを付与する。
【００４７】
また、撮像装置２から商品棚までの距離や撮像画像における商品棚が含まれる範囲は、予め第１記憶部１５０等に記憶されていることが好ましい。これにより、識別部１３０は、商品棚に陳列された商品以外の物体（例えば、商品棚の前を移動する人物）を、除外して上記識別処理を行うことができる。また、このような構成によれば、識別部１３０が、第１撮像画像に人物が含まれるという、対象の存在を識別することができる。
【００４８】
（識別例４）
識別部１３０は、予め撮像装置２のデプスカメラと同様のデプスカメラで取得された撮像画像を機械学習した識別器を用いて識別処理を行ってもよい。ただし、機械学習の困難さ（同じ正解付コストをかけた場合の誤認識の多さ）がＲＧＢ画像を用いて行われる識別処理と同等未満であることが好ましい。例えば識別対象のテクスチャ（表面の模様）に多様さがある場合、第２撮像画像がＲＧＢカメラで取得された画像であって、第１撮像画像がデプスカメラまたは近赤外線カメラまたは遠赤外線カメラなどで取得された画像である場合、第１撮像画像は、第２撮像画像よりも、識別対象のテクスチャの多様さを少なくできる。したがって、ＲＧＢ画像を用いて機械学習を行うよりも、距離画像などの撮像画像を用いて機械学習を行う場合のほうが、機械学習の困難さが小さくなる。
【００４９】
識別部１３０は、機械学習を行った識別器を用いて、第１撮像画像から対象を識別した結果を、識別結果１５２として第１記憶部１５０に格納する。
【００５０】
なお、識別部１３０が行う識別処理は、上記に限定されない。識別部１３０は、対象の大きさ、形状、位置、移動距離、および、移動速度の少なくとも１つに基づいて、対象の種類、存在、または、動きの少なくとも１つを識別できればよく、その方法は特に限定されない。
【００５１】
次に、図７を参照して、生成部１４０の動作について説明する。図７は、生成部１４０の動作を説明するための図である。
【００５２】
図７には、図３で説明した撮像画像３２Ｂが示される。識別部１３０が、撮像画像３２Ａを用いて、例えば、図５に示すような識別結果１５２を出力したとする。生成部１４０は、識別部１３０から供給された識別結果１５２に含まれる撮像画像識別子５１から、第２取得部１２０が取得した第２撮像画像のうち、撮像画像識別子５１によって示される第１撮像画像の撮影時刻および撮像位置が対応する第２撮像画像を取得する。図３を用いて説明した通り、撮像画像３１Ｂに対応する第２撮像画像は、撮像画像３２Ｂであるため、生成部１４０は、学習データの生成元となる第２撮像画像を、撮像画像３２Ｂであると決定する。
【００５３】
そして、生成部１４０は、矩形情報５２を参照し、撮像画像３２Ｂ上の、該矩形情報５２に対応する領域を特定する。図７に示す通り、矩形情報５２に対応する領域は、破線で示す矩形７２で囲まれた領域である。このように、生成部１４０は、矩形情報５２によって示される矩形を撮像画像３２Ｂ上にマッピングすることにより、矩形７２の撮像画像３２Ｂ上の位置を特定する。これにより、生成部１４０は、撮像画像３２Ｂ上の人物の領域に対応する領域が矩形７２で囲まれた領域であると特定することができる。よって、生成部１４０は、撮像画像３２Ｂ、矩形７２の位置および大きさを示す情報およびラベル５３に基づいて、学習データ１６１を生成することができる。
【００５４】
図８〜図１０は、生成部１４０が生成し、第２記憶部１６０に格納する学習データ１６１の一例を示す図である。
【００５５】
図８に示す通り、学習データ１６１は、画像８１とラベル８２とを含む。画像８１は、識別処理に用いた第１撮像画像に対応する第２撮像画像（例えば、撮像画像３２Ｂ）である。また、ラベル８２は、第１撮像画像に含まれる対象の識別の結果であるラベル５３である。
【００５６】
また、図９に示す通り、学習データ１６１は、画像８１とラベル８２と矩形情報８３とを含んでもよい。矩形情報８３は、識別結果１５２に含まれる矩形情報５２である。
【００５７】
また、図１０に示す通り、学習データ１６１は、画像８１の代わりに、第２撮像画像から矩形情報８３によって示される領域の画像を抽出した小領域画像を、画像１０１として含んでもよい。
【００５８】
このように、生成部１４０は、図９に示すような、識別部１３０が識別した対象の領域に対応する第２撮像画像上の領域を示す情報と、識別された対象の種類または識別された対象の動きを示す情報とを、第２撮像画像に関連付けた学習データ１６１を生成してもよい。また、生成部１４０は、図１０に示すような、第２撮像画像のうち識別手段が識別した対象の領域に対応する第２撮像画像上の領域の画像と、識別された対象の種類または識別された対象の動きを示す情報とを関連付けた学習データ１６１を生成してもよい。
【００５９】
学習データ生成装置１００は、このような学習データ１６１を自動的に作成することができる。
【００６０】
また、学習データ１６１は、図８から図１０に例示したものに限定されない。例えば、学習データ１６１は、複数の第２撮像画像を含む時系列データと、該時系列データに対して付与されたラベルとを含んでもよい。また、学習データ１６１は、複数の小領域画像を含む時系列データと、該時系列データに対して付与されたラベルとを含んでもよい。学習データ１６１は、複数の第２撮像画像または小領域画像を含む時系列データには、複数のラベルが付与されてもよい。
【００６１】
また、生成部１４０は、第２撮像画像または第２撮像画像の小領域画像から抽出したＨＯＧ（Histograms of Oriented Gradients）（非特許文献１参照）などの画像特徴量（ベクトル）とラベルとを関連付けた学習データを生成してもよい。
【００６２】
図１１は、本実施の形態に係る学習データ生成装置１００の動作の流れの一例を示すフローチャートである。
【００６３】
図１１に示す通り、第１取得部１１０が、第１撮像画像を取得する（ステップＳ１１１）。また、第２取得部１２０が第２撮像画像を取得する（ステップＳ１１２）。なお、ステップＳ１１２はステップＳ１１１と同時に行われてもよいし、逆順で行われてもよい。
【００６４】
識別部１３０は、第１撮像画像から、該第１撮像画像に含まれる対象を識別する（ステップＳ１１３）。そして、識別部１３０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
【００６５】
そして、生成部１４０が、識別結果と、第１撮像画像に関連する、ステップＳ１１２で取得された第２撮像画像とに基づいて、学習データ１６１を生成する（ステップＳ１１４）。そして、生成部１４０は、生成した学習データ１６１を第２記憶部１６０に格納する（ステップＳ１１５）。
【００６６】
なお、第２取得部１２０は、第１撮像画像の撮像時刻から所定の時間内（例えば同時刻）に撮像された第２撮像画像を、取得すればよい。つまり、第２取得部１２０は、ステップＳ１１４よりも前にステップＳ１１１で第１取得部１１０が取得した第１撮像画像の撮像時刻から所定の時間内の第２撮像画像を取得すればよい。
【００６７】
以上のように、本実施の形態に係る学習データ生成装置１００は、第１撮像画像に対して識別処理をした識別結果に含まれる矩形情報５２およびラベル５３と、第２撮像画像とに基づいて、学習データ１６１を生成する。これにより、学習データ生成装置１００は、人による正解付け作業のコストを削減することができる。よって、学習データ生成装置１００は、効率的に学習データを生成することができる。
【００６８】
＜第２の実施の形態＞
本開示の第２の実施の形態について説明する。図１２は、本実施の形態に係る学習データ生成装置２００の機能構成の一例を示す機能ブロック図である。図１２に示す通り、本実施の形態に係る学習データ生成装置２００は、第１取得部２１０と、第２取得部１２０と、識別部１３０と、生成部２４０と、第１記憶部１５０と、第２記憶部１６０と、位置特定部２７０とを備える。なお、上述した第１の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
【００６９】
本実施の形態に係る学習データ生成装置２００は位置特定部２７０によって、第１撮像画像上における位置と、第２撮像画像上における位置とを対応付ける。なお、本実施の形態において位置特定部２７０が対応付ける位置は、第１撮像画像および第２撮像画像の２次元空間の位置であるとして説明を行うが、第１撮像画像に対応する３次元空間の位置と、第２撮像画像に対応する３次元空間の位置とを対応付けてもよい。
【００７０】
なお、本実施の形態においても第１撮像画像を撮像する時刻と、第２撮像画像を撮像する時刻とは同期がとられているとする。位置特定部２７０は、取得された第１撮像画像および第２撮像画像に撮像装置２によって付与された撮像カウント等を用いて、第１撮像画像および第２撮像画像間の時間的な位置合わせを行ってもよい。第１撮像画像および第２撮像画像間の時刻の同期方法は特に限定されず、任意の方法を採用してもよい。
【００７１】
本実施の形態では、撮像装置２が距離画像およびカラー画像を撮像するＲＧＢＤカメラと、カラー画像を撮像するＲＧＢカメラの２つのカメラであるとする。ＲＧＢＤカメラによって撮像される距離画像は、上述した第１撮像画像と同様である。また、ＲＧＢカメラによって撮像されるカラー画像は、上述した第２撮像画像と同様である。また、ＲＧＢＤカメラによって撮像されるカラー画像を第３撮像画像と呼ぶ。
【００７２】
なお、本実施の形態では、第１撮像画像と第３撮像画像とを撮像する撮像装置２が１つのＲＧＢＤカメラであるとして説明を行うが、夫々異なる撮像装置であってもよい。この場合、第１撮像画像と第３撮像画像とは、撮像時刻および撮像位置が略同じであることが好ましい。また、第３撮像画像は、第１撮像画像とは異なる種類の画像であり、且つ、第２撮像画像と同じ種類の画像であることが好ましい。
【００７３】
第１取得部２１０は、第１撮像画像と第３撮像画像とを取得する。第１取得部２１０が第１撮像画像および第３撮像画像を取得する方法は、第１取得部１１０と同様である。第１取得部２１０は、取得した第１撮像画像を識別部１３０に供給する。また、識別部１３０は、取得した第３撮像画像を位置特定部２７０に供給する。
【００７４】
位置特定部２７０は、第１撮像画像上の位置と第２撮像画像上の位置との対応付けを行う。
【００７５】
位置特定部２７０は、識別部１３０から、例えば、図５に示すような識別結果１５２を受け取る。また、位置特定部２７０は、第１取得部２１０から第３撮像画像を受け取る。
また、位置特定部２７０は、第２取得部１２０から第２撮像画像を受け取る。位置特定部２７０は、識別結果１５２、第２撮像画像および第３撮像画像に基づいて、第１撮像画像および第２撮像画像の間の位置の対応付けを行う。
【００７６】
図１３を参照して、位置特定部２７０の動作について説明を行う。図１３は、位置特定部２７０の動作を説明するための図である。
【００７７】
ＲＧＢＤカメラは、第１撮像画像１３１および第３撮像画像１３３を撮像する。また、ＲＧＢカメラは、第２撮像画像１３２を撮像する。図１３に示す通り、第２撮像画像１３２と第３撮像画像１３３とは画像上において商品棚３の位置が異なっているとする。
【００７８】
位置特定部２７０は、まず、同じ種類の画像である、第３撮像画像１３３と第２撮像画像１３２との位置の対応付けを行う。位置特定部２７０は、第２撮像画像１３２と第３撮像画像１３３との間のマッチングを行うことにより、位置の対応付けを行う。マッチングにはテンプレートマッチング（非特許文献２）や、特徴点マッチングの方法（特許文献３）を用いることができる。ここで、対応付けに用いる対応付け関数をφＡ（・）（「・」は任意の変数）とし、第３撮像画像１３３上の座標をｘ１３３、第２撮像画像１３２上の座標をｘ１３２とすると、ｘ１３２＝φＡ（ｘ１３３）が成り立つ。
【００７９】
次に、位置特定部２７０は、異なる種類の画像である、第３撮像画像１３３と、第１撮像画像１３１との位置の対応付けを行う。対応付けにはテンプレートマッチングを用いてもよいし、予めカメラのキャリブレーションをしておき、位置の対応関係を算出しておくことによりなされてもよい。第１撮像画像１３１上の座標をｘ１３１とし、対応付けに用いる対応付け関数をφＢ（・）とすると、ｘ１３３＝φＢ（ｘ１３１）が成り立つ。
【００８０】
以上により、第１撮像画像１３１上の座標ｘ１３１に対応する第３撮像画像１３３上の座標は、ｘ１３２＝φＡ（φＢ（ｘ１３１））で、求めることができる。なお、座標のすべては１対１の対応である必要はなく、複数対応があってもよいし、確率的な対応関係であってもよい。
【００８１】
識別部１３０による識別処理によって、矩形情報５２によって表される矩形１３４が得られる。そして、位置特定部２７０は、上述した対応付けにより、矩形１３４の位置に対応する第２撮像画像１３２上の位置を矩形１３５として特定することができる。
【００８２】
なお、位置特定部２７０は、ＲＧＢＤカメラとＲＧＢカメラとの位置関係を固定しておき、キャリブレーション（二つのデータ間での変換パラメータを求める処理）をしておくことで位置の対応付けを行ってもよい。
【００８３】
位置特定部２７０は、第２撮像画像１３２上における、矩形１３５を表現する矩形情報（対応付けの結果）を、生成部２４０に供給する。
【００８４】
生成部２４０は、位置特定部２７０から供給された矩形情報と、識別部１３０から供給された識別結果１５２と、第２撮像画像とを用いて、学習データ１６１を生成する。生成部２４０が行う学習データ１６１の生成処理は、生成部１４０が行う学習データ１６１と、識別結果１５２に含まれる矩形情報５２ではなく、位置特定部２７０から供給された矩形情報を用いる点が異なるがその他は同様の方法であってもよい。
【００８５】
図１４は、本実施の形態に係る学習データ生成装置２００の動作の流れの一例を示すフローチャートである。
【００８６】
図１４に示す通り、第１取得部２１０が、例えば、図１３に示すような商品棚３を撮像した第１撮像画像および第３撮像画像を取得する（ステップＳ１４１）。また、第２取得部１２０が第２撮像画像を取得する（ステップＳ１４２）。なお、ステップＳ１４２はステップＳ１４１と同時に行われてもよいし、逆順で行われてもよい。
【００８７】
識別部１３０は、第１撮像画像から、該第１撮像画像に含まれる対象を識別する（ステップＳ１４３）。そして、識別部１３０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
【００８８】
そして、位置特定部２７０が第１撮像画像１３１と第２撮像画像１３２との間で位置の対応付けを行う（ステップＳ１４４）。具体的には、位置特定部２７０は第１撮像画像１３１と第３撮像画像１３３との間で位置の対応付けを行い、第３撮像画像１３３と第２撮像画像１３２との間で位置の対応付けを行う。
【００８９】
そして、生成部２４０が、識別結果と、ステップＳ１４４の対応付けの結果と、第２撮像画像とに基づいて、学習データ１６１を生成する（ステップＳ１４５）。そして、生成部２４０は、生成した学習データ１６１を第２記憶部１６０に格納する（ステップＳ１４６）。
【００９０】
以上のように、本実施の形態に係る学習データ生成装置２００によれば、位置特定部２７０を用いて、第１撮像画像１３１と第２撮像画像１３２との間の位置の対応付けを行う。
【００９１】
例えば、小売店舗等において、既設の監視カメラを用いて認識処理を行う場合、該監視カメラが、第２撮像画像を取得して、第１撮像画像および第３撮像画像を取得する撮像装置２を小売店舗等に設置することにより、学習データ生成装置２００は、上述した第１の実施の形態と同様に、効率的に学習データを生成することができる。これにより、本実施の形態に係る学習データ生成装置２００によれば、既設の監視カメラを効果的に利用することができる。なお、認識処理とは識別部１３０が行う識別処理と同様の処理であってもよいし、異なる処理であってもよい。
【００９２】
＜第３の実施の形態＞
本開示の第３の実施の形態について説明する。図１５は、本実施の形態に係る学習データ生成装置３００の機能構成の一例を示す機能ブロック図である。図１５に示す通り、本実施の形態に係る学習データ生成装置３００は、第１取得部１１０と、第２取得部１２０と、第１識別部３３０と、生成部３４０と、第１記憶部３５０と、第２記憶部１６０と、第２識別部３８０と、整合性判定部３９０とを備える。なお、本実施の形態に係る学習データ生成装置３００は、第１の実施の形態において説明した学習データ生成装置１００に更に第２識別部３８０および整合性判定部３９０を含む構成であるが、学習データ生成装置２００に第２識別部３８０および整合性判定部３９０を含む構成であってもよい。なお、上述した第１の実施の形態で説明した図面に含まれるブロックと同じ機能を有するブロックには同じ符号を付し、その詳細な説明を省略する。
【００９３】
第１識別部３３０は、上述した識別部１３０と同様の処理を行う。第１識別部３３０は識別した結果を第１記憶部３５０に第１識別結果３５２として格納する。また、第１識別部３３０は、第１識別結果３５２を整合性判定部３９０に供給する。第１識別結果３５２は、上述した識別結果１５２と同様の識別結果である。
【００９４】
第２識別部３８０は、第２撮像画像から対象を識別する。第２識別部３８０は、識別部１３０と同様の方法で識別処理を行ってもよいし、異なる方法で識別処理を行ってもよい。第２識別部３８０は、識別した結果を第１記憶部３５０に第２識別結果３５３として格納する。また、第２識別部３８０は、第２識別結果３５３を整合性判定部３９０に供給する。なお、本実施の形態では、第１識別部３３０と第２識別部３８０とが別であることについて説明を行うが、第１識別部３３０と第２識別部３８０とは一体となって形成されてもよい。
【００９５】
第１記憶部３５０は、識別用データ１５１、第１識別結果３５２および第２識別結果３５３を格納する。
【００９６】
整合性判定部３９０は、第１識別結果３５２と第２識別結果３５３とに整合性があるか否かを判定する。以下に、整合性判定部３９０の処理について説明する。
【００９７】
（整合性判定例１）
第１識別結果３５２が距離画像である第１撮像画像に基づく、対象を人物か否かを識別した結果であり、第２識別結果３５３がカラー画像である第２撮像画像に基づく、対象を人物か否かを識別した結果であるとする。
【００９８】
整合性判定部３９０は、第１撮像画像および第２撮像画像の対応する位置における識別の結果がどちらも人物と識別された場合、すなわち、第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが「人物」である場合、整合が取れている（整合性がある）と判定する。第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとの何れか一方が「人物」であり、他方が人物以外である場合、整合性判定部３９０は、整合が取れていないと判定する。なお、両ラベルが人物以外の場合、整合性判定部３９０は整合が取れていると判定する。
【００９９】
（整合性判定例２）
第１識別結果３５２が距離画像である第１撮像画像に基づく、対象を人物の頭部か否かを識別した結果であり、第２識別結果３５３がカラー画像である第２撮像画像に基づく、対象を人物か否かを識別した結果であるとする。なお、本例は、上述した識別例２と同様に、撮像装置２のデプスカメラは、例えば定点から、店舗内の商品棚や人物を俯瞰撮影しているとして説明を行う。
【０１００】
整合性判定部３９０は、第１撮像画像および第２撮像画像の対応する位置における識別の結果が一致する場合、すなわち、第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが頭部を示す場合、整合が取れている（整合性がある）と判定する。第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが異なる場合、整合性判定部３９０は、整合が取れていないと判定する。
【０１０１】
（整合性判定例３）
第１識別結果３５２が距離画像である第１撮像画像に基づく、商品の移動を識別した結果であり、第２識別結果３５３がカラー画像である第２撮像画像に基づく、商品の移動を識別した結果であるとする。
【０１０２】
整合性判定部３９０は、第１撮像画像および第２撮像画像の対応する位置における識別の結果が一致する場合、すなわち、第１識別結果３５２に含まれる商品の動きを表すラベルと第２識別結果３５３に含まれる商品の動きを表すラベルとが同じ動きを示す場合、整合が取れている（整合性がある）と判定する。第１識別結果３５２に含まれるラベルと第２識別結果３５３に含まれるラベルとが異なる場合、整合性判定部３９０は、整合が取れていないと判定する。
【０１０３】
整合性判定部３９０の判定の方法はこれに限定されず、様々な判定方法を採用してもよい。整合性判定部３９０は、判定結果と判定に用いた第１識別結果３５２および第２識別結果３５３とを生成部３４０に供給する。
【０１０４】
生成部３４０は、整合性判定部３９０から供給された判定結果、第１識別結果３５２および第２識別結果３５３と、第２取得部１２０から供給された第２撮像画像とに基づいて、学習データの生成を行う。具体的には、判定結果が、整合が取れていないことを示す場合、生成部３４０は、識別に対して更なる学習が必要と判定し、第１識別結果３５２または第２識別結果３５３に含まれる矩形情報に基づいて、第２撮像画像から学習データ１６１を生成する。
【０１０５】
図１６は、本実施の形態に係る学習データ生成装置３００の動作の流れの一例を示すフローチャートである。図１６に示す通り、第１取得部１１０が、第１撮像画像を取得する（ステップＳ１６１）。また、第２取得部１２０が第２撮像画像を取得する（ステップＳ１６２）。なお、ステップＳ１６２はステップＳ１６１と同時に行われてもよいし、逆順で行われてもよい。
【０１０６】
第１識別部３３０が、第１撮像画像から、該第１撮像画像に含まれる対象を識別する（ステップＳ１６３）。そして、第１識別部３３０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
【０１０７】
また、第２識別部３８０が、第２撮像画像から、該第２撮像画像に含まれる対象を識別する（ステップＳ１６４）。そして、第２識別部３８０は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第２撮像画像に関連付けた識別結果を生成する。
【０１０８】
なお、ステップＳ１６４はステップＳ１６３と同時に行われてもよいし、逆順で行われてもよい。
【０１０９】
そして、整合性判定部３９０が第１識別結果３５２と第２識別結果３５３とに整合性があるか否かを判定する（ステップＳ１６５）。整合性がある場合（ステップＳ１６５にてＹＥＳ）、生成部３４０は、第１撮像画像および第２撮像画像に対する識別を行うために、十分な学習データがあると判定し、学習データ１６１を生成せずに処理を終了する。
【０１１０】
整合性がない場合（ステップS１６５にてNO）、生成部３４０が、第１識別結果および第２識別結果の少なくとも何れかと、ステップＳ１１２で取得された第２撮像画像とに基づいて、学習データ１６１を生成する（ステップＳ１６６）。そして、生成部３４０は、生成した学習データ１６１を第２記憶部１６０に格納する（ステップＳ１６７）。
【０１１１】
以上のように、本実施の形態に係る学習データ生成装置３００によれば、整合性判定部３９０が第１撮像画像に対する第１識別結果と、第２撮像画像に対する第２識別結果との整合性の有無を判定する。これにより、生成部３４０は、学習が必要だと判定した撮像画像を用いて、学習データ１６１を生成することができる。よって、学習データ生成装置３００は、認識精度を向上させるための学習データ１６１を作成することができる。
【０１１２】
例えば、既設の監視カメラによる認識処理を行うシステムをすでに運用している環境において、認識精度が不足している場合、本実施の形態によれば、既設の監視カメラを、第２撮像画像を取得する撮像装置２とし、学習データ生成装置３００が該第２撮像画像を用いて学習データ１６１を生成する。これにより、学習データ生成装置３００は、システムの認識精度を向上させることができる。
【０１１３】
＜第４の実施の形態＞
本開示の第４の実施の形態について、図面を参照して説明する。本実施の形態は、本開示の課題を解決する最小の構成について説明する。
【０１１４】
図１７は、本実施の形態に係る学習データ生成装置１０の機能構成の一例を示す機能ブロック図である。図１７に示す通り、本実施の形態に係る学習データ生成装置１０は、識別部１１と、生成部１２とを備える。
【０１１５】
識別部１１は、上述した識別部１３０および第１識別部３３０の機能を有する。識別部１１は、第１撮像画像から、該第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。識別部１１は、例えば、上述した識別例１〜４の何れかを採用して識別処理を行ってもよいし、その他の識別方法で識別処理を行ってもよい。識別部１１は、生成した識別結果を生成部１２に供給する。
【０１１６】
生成部１２は、上述した生成部１４０、生成部２４０および生成部３４０の機能を有する。生成部１２は、識別結果と、第１撮像画像に関連する、第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する。
【０１１７】
生成部１２が生成する学習データは、例えば、図８〜図１０に示す学習データ１６１の何れかであってもよいし、その他の形式であってもよい。
【０１１８】
図１８は、本実施の形態に係る学習データ生成装置１０の動作の一例を示すフローチャートである。図１８に示す通り、識別部１１は、第１撮像画像に含まれる対象を識別する（ステップＳ１８１）。識別部１１は、識別された対象の種類、存在、または、識別された対象の動きを示す情報を、該第１撮像画像に関連付けた識別結果を生成する。
【０１１９】
生成部１２は、識別部１１が生成した識別結果と、第１撮像画像に関連する、第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する（ステップＳ１８２）。
【０１２０】
以上のように、本実施の形態に係る学習データ生成装置１０は、第１撮像画像に対して識別処理をした識別結果と、第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する。これにより、学習データ生成装置１０は、人による正解付け作業のコストを削減することができる。よって、学習データ生成装置１００は、効率的に学習データを生成することができる。
【０１２１】
なお、上述した学習データ生成装置（１００、２００、３００および１０）は、上述した通り、撮像装置２に内蔵される構成であってもよい。また、例えば、第１撮像画像を撮像する装置と、第２撮像画像を撮像する装置とが別々の撮像装置２で実現される場合、学習データ生成装置（１００、２００、３００および１０）は、第１撮像画像を撮像する装置に搭載されることが好ましい。このとき、第２撮像画像を撮像する装置は、店舗に既に設置されている監視カメラであってもよい。この場合、第１撮像画像を撮像する撮像装置２が、監視カメラの近傍または監視カメラが撮像する第２撮像画像と第１撮像画像との位置の対応付けが行えるような位置に設置されていればよい。そして、学習データの生成が終わると、第１撮像画像を撮像する撮像装置２を取り外してもよい。これにより、取り外された撮像装置２は、他の店舗に取り付けることができる。
【０１２２】
第２撮像画像を用いて人物や商品の識別処理を行う場合には、第２撮像画像を撮像する監視カメラを用いればよいため、例えば、画像認識を行うシステムを多数の小売店舗チェーンに展開する場合、好適に第１撮像画像を撮像する撮像装置２を再利用することができる。したがって、このような構成によれば、システムの導入コスト削減に寄与することができる。
【０１２３】
また、学習データ生成装置（１００、２００、３００および１０）は、生成した学習データを用いて学習を行った識別器を更に含んでもよい。これにより、学習データ生成装置は、該識別器を用いて、高精度に認識処理を行うことができる。
【０１２４】
（ハードウェア構成について）
本開示の各実施形態において、各装置の各構成要素は、機能単位のブロックを示している。各装置の各構成要素の一部又は全部は、例えば図１９に示すような情報処理装置９００とプログラムとの任意の組み合わせにより実現される。図１９は、各装置の各構成要素を実現する情報処理装置９００のハードウェア構成の一例を示すブロック図である。情報処理装置９００は、一例として、以下のような構成を含む。
【０１２５】
・ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１
・ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２
・ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３
・ＲＡＭ９０３にロードされるプログラム９０４
・プログラム９０４を格納する記憶装置９０５
・記録媒体９０６の読み書きを行うドライブ装置９０７
・通信ネットワーク９０９と接続する通信インタフェース９０８
・データの入出力を行う入出力インタフェース９１０
・各構成要素を接続するバス９１１
各実施形態における各装置の各構成要素は、これらの機能を実現するプログラム９０４をＣＰＵ９０１が取得して実行することで実現される。各装置の各構成要素の機能を実現するプログラム９０４は、例えば、予め記憶装置９０５やＲＯＭ９０２に格納されており、必要に応じてＣＰＵ９０１がＲＡＭ９０３にロードして実行される。なお、プログラム９０４は、通信ネットワーク９０９を介してＣＰＵ９０１に供給されてもよいし、予め記録媒体９０６に格納されており、ドライブ装置９０７が当該プログラムを読み出してＣＰＵ９０１に供給してもよい。
【０１２６】
各装置の実現方法には、様々な変形例がある。例えば、各装置は、構成要素毎にそれぞれ別個の情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。また、各装置が備える複数の構成要素が、一つの情報処理装置９００とプログラムとの任意の組み合わせにより実現されてもよい。
【０１２７】
また、各装置の各構成要素の一部又は全部は、その他の汎用または専用の回路、プロセッサ等やこれらの組み合わせによって実現される。これらは、単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。
【０１２８】
各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【０１２９】
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【０１３０】
なお、上述した各実施の形態は、本開示の好適な実施の形態であり、上記各実施の形態にのみ本開示の範囲を限定するものではなく、本開示の要旨を逸脱しない範囲において当業者が上記各実施の形態の修正や代用を行い、種々の変更を施した形態を構築することが可能である。
【０１３１】
以上、上述した実施形態を模範的な例として本発明を説明した。しかしながら、本発明は、上述した実施形態には限定されない。即ち、本発明は、本発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
【０１３２】
この出願は、２０１７年４月７日に出願された日本出願特願２０１７−０７６７６５を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【符号の説明】
【０１３３】
１    学習データ生成システム
２    撮像装置
３    商品棚
１０    学習データ生成装置
１１    識別部
１２    生成部
１００    学習データ生成装置
１１０    第１取得部
１２０    第２取得部
１３０    識別部
１４０    生成部
１５０    第１記憶部
１６０    第２記憶部
２１０    第１取得部
２４０    生成部
２７０    位置特定部
３３０    第１識別部
３４０    生成部
３８０    第２識別部
３９０    整合性判定部
【図１】
2018186398.tif 000003
【図２】
2018186398.tif 000004
【図３】
2018186398.tif 000005
【図４】
2018186398.tif 000006
【図５】
2018186398.tif 000007
【図６】
2018186398.tif 000008
【図７】
2018186398.tif 000009
【図８】
2018186398.tif 000010
【図９】
2018186398.tif 000011
【図１０】
2018186398.tif 000012
【図１１】
2018186398.tif 000013
【図１２】
2018186398.tif 000014
【図１３】
2018186398.tif 000015
【図１４】
2018186398.tif 000016
【図１５】
2018186398.tif 000017
【図１６】
2018186398.tif 000018
【図１７】
2018186398.tif 000019
【図１８】
2018186398.tif 000020
【図１９】
2018186398.tif 000021
【手続補正書】
【提出日】令和1年9月13日(2019.9.13)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する識別手段と、
前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する生成手段と、
を備える学習データ生成装置。
【請求項２】
前記生成手段は、前記識別手段が識別した対象の領域に対応する前記第２撮像画像上の領域を示す情報と、前記識別された対象の種類または識別された対象の動きとを、前記第２撮像画像に関連付けた前記学習データを生成する、
請求項１に記載の学習データ生成装置。
【請求項３】
前記生成手段は、前記第２撮像画像のうち前記識別手段が識別した対象の領域に対応する前記第２撮像画像上の領域の画像と、前記識別された対象の種類または識別された対象の動きとを関連付けた前記学習データを生成する、
請求項１に記載の学習データ生成装置。
【請求項４】
前記識別手段は、前記対象の大きさ、形状、位置、移動距離、および、移動速度の少なくとも１つに基づいて、前記対象の種類、存在、または、動きの少なくとも１つを識別し、
前記生成手段は、識別した結果を学習時のラベルとした前記学習データを生成する、
請求項１から３の何れか１項に記載の学習データ生成装置。
【請求項５】
前記第２撮像画像と同じ種類の第３撮像画像であって、前記第１撮像画像を撮像した撮像装置が撮像する第３撮像画像を用いて、前記第１撮像画像における位置に対応する前記第２撮像画像における位置を特定する位置特定手段を備え、
前記生成手段は、前記特定された第２撮像画像における位置と、前記識別結果と、前記第２撮像画像と、に基づいて、前記学習データを生成する、
請求項１から４の何れか１項に記載の学習データ生成装置。
【請求項６】
前記識別手段は、前記第２撮像画像から、該第２撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第２撮像画像に関連付けた第２識別結果を生成し、
前記学習データ生成装置は、第１撮像画像に対する識別結果である第１識別結果と、前記第２識別結果との整合性の有無を判定する判定手段を更に備え、
前記生成手段は、前記判定手段による判定結果に基づいて、前記学習データを生成する、
請求項１から５の何れか１項に記載の学習データ生成装置。
【請求項７】
前記第１撮像画像は距離画像であり、
前記第２撮像画像はカラー画像である、
請求項１から６の何れか１項に記載の学習データ生成装置。
【請求項８】
前記学習データ生成装置は、前記第１撮像画像を取得する撮像装置に搭載される、
請求項１から７の何れか１項に記載の学習データ生成装置。
【請求項９】
第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成し、
前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する、
学習データ生成方法。
【請求項１０】
第１撮像画像に含まれる対象を識別し、識別された対象の種類、存在、または、識別された対象の動きを、該第１撮像画像に関連付けた識別結果を生成する処理と、
前記識別結果と、前記第１撮像画像に関連する、前記第１撮像画像とは種類が異なる第２撮像画像とに基づいて、学習データを生成する処理と、
をコンピュータに実行させるためのプログラム。
【国際調査報告】
2018186398.tif 000022
2018186398.tif 000023