(57)【要約】【課題】教師画像による学習効率を向上させることができる画像学習プログラム等を提案する。【解決手段】画像学習プログラムは、学習画像と教師画像とを含む学習データセットを用いて、画像認識装置の学習を実行させる。画像認識装置は、第１の画像認識部と第２の画像認識部とを備える。第１の画像認識部は、学習画像の画像セグメンテーションを行う。第２の画像認識部は、第１の画像認識部よりも緻密な画像セグメンテーションを行う。学習画像を第１の画像認識部に入力して、第１の出力画像を取得する第１のステップと、学習画像と第１の出力画像とを第２の画像認識部に入力して、第２の出力画像を取得する第２のステップと、教師画像に対する第２の出力画像の第２の誤差を取得する第３のステップと、第２の誤差に基づいて、第２の画像認識部を誤差修正する第４のステップと、を実行させる。【選択図】図９
2020038572.tif 000002
【特許請求の範囲】
【請求項１】
画像セグメンテーションを行う画像認識装置によって実行される画像学習プログラムであって、
前記画像認識装置の学習に用いられる学習データセットは、
前記画像認識装置の学習対象の画像となる学習画像と、
前記学習画像に対応する教師画像と、を含み、
前記画像認識装置は、
前記学習画像の画像セグメンテーションを行う第１の画像認識部と、
前記第１の画像認識部よりも緻密な領域分割となるように前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記学習画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、
前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、
前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、
前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、
を実行させる画像学習プログラム。
【請求項２】
前記学習データセットは、前記第１の画像認識部が学習するための第１の学習データセットと、前記第２の画像認識部が学習するための第２の学習データセットと、を有し、
前記第１の学習データセットは、第１の学習画像と、前記第１の学習画像に対応する第１の教師画像と、を含み、
前記第２の学習データセットは、第２の学習画像と、前記第２の学習画像に対応する第２の教師画像と、を含み、
前記第２の教師画像は、前記第１の教師画像に比して少ない画像枚数であり、前記第１の教師画像に比して緻密に領域分割された画像となっており、
前記第１のステップを実行する前に、前記第１の学習画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記第１の学習画像の画像セグメンテーションを行って、前記第１の出力画像を取得する第５のステップと、
前記第１の教師画像に対する前記第１の出力画像の第１の誤差を取得する第６のステップと、
前記第１の誤差に基づいて、前記第１の画像認識部による画像セグメンテーションを修正する第７のステップと、をさらに実行させ、
前記第１のステップでは、前記第２の学習画像を前記第１の画像認識部に入力して、前記第１の出力画像を取得し、
前記第２のステップでは、前記第２の学習画像と前記第１の出力画像とを前記第２の画像認識部に入力して、前記第２の出力画像を取得し、
前記第３のステップでは、前記第２の教師画像に対する前記第２の出力画像の前記第２の誤差を取得する請求項１に記載の画像学習プログラム。
【請求項３】
前記第４のステップでは、前記第２の誤差に基づく、前記第１の画像認識部による画像セグメンテーションの処理の修正を遮断する請求項１または２に記載の画像学習プログラム。
【請求項４】
画像セグメンテーションを行う画像認識装置が実行する画像学習方法であって、
前記画像認識装置の学習に用いられる学習データセットは、
前記画像認識装置の学習対象の画像となる学習画像と、
前記学習画像に対応する教師画像と、を含み、
前記画像認識装置は、
前記学習画像の画像セグメンテーションを行う第１の画像認識部と、
前記第１の画像認識部よりも緻密な領域分割となるように前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記学習画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、
前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、
前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、
前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、
を含む画像学習方法。
【請求項５】
入力された入力画像の画像セグメンテーションを行う画像認識装置によって実行される画像認識プログラムであって、
前記画像認識装置は、
前記入力画像の画像セグメンテーションを行う第１の画像認識部と、
前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記入力画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、
前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、
を実行させる画像認識プログラム。
【請求項６】
取得した前記第１の出力画像と、前記第１の出力画像に対応する前記第２の出力画像とを関連付けて取得する第１０のステップを、さらに実行させる請求項５に記載の画像認識プログラム。
【請求項７】
入力された入力画像の画像セグメンテーションを行う画像認識装置が実行する画像認識方法であって、
前記画像認識装置は、
前記入力画像の画像セグメンテーションを行う第１の画像認識部と、
前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記入力画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、
前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第２の画像認識部により前記第１の出力画像を用いて前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、
を含む画像認識方法。
【請求項８】
入力された入力画像の画像セグメンテーションを行う画像認識装置に実行され、前記画像認識装置で用いられる学習データセットを生成する学習データセットの生成プログラムであって、
前記画像認識装置は、
前記入力画像の画像セグメンテーションを行う第１の画像認識部と、
前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記学習データセットは、前記第１の画像認識部が学習するための第１の学習データセットと、前記第２の画像認識部が学習するための第２の学習データセットとを有し、
前記第１の学習データセットは、第１の学習画像と、前記第１の学習画像に対応する第１の教師画像と、を含み、
前記第２の学習データセットは、第２の学習画像と、前記第２の学習画像に対応する第２の教師画像と、を含み、
前記第２の教師画像は、前記第１の教師画像に比して緻密に領域分割された画像となっており、
前記第１の学習画像と前記第１の教師画像とを前記第２の画像認識部に入力し、前記第２の画像認識部により前記第１の教師画像を用いて前記第１の学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第１１のステップと、
前記第１の学習画像を前記第２の学習画像として取得すると共に、前記第２の出力画像を前記第２の教師画像として取得し、前記第２の学習画像と前記第２の教師画像とを含む第２の学習データセットを生成する第１２のステップと、
を実行させる学習データセットの生成プログラム。
【請求項９】
入力された入力画像の画像セグメンテーションを行う画像認識装置が実行して、前記画像認識装置で用いられる学習データセットを生成する学習データセットの生成方法であって、
前記画像認識装置は、
前記入力画像の画像セグメンテーションを行う第１の画像認識部と、
前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記学習データセットは、前記第１の画像認識部が学習するための第１の学習データセットと、前記第２の画像認識部が学習するための第２の学習データセットとを有し、
前記第１の学習データセットは、第１の学習画像と、前記第１の学習画像に対応する第１の教師画像と、を含み、
前記第２の学習データセットは、第２の学習画像と、前記第２の学習画像に対応する第２の教師画像と、を含み、
前記第２の教師画像は、前記第１の教師画像に比して緻密に領域分割された画像となっており、
前記第１の学習画像と前記第１の教師画像とを前記第２の画像認識部に入力し、前記第２の画像認識部により前記第１の教師画像を用いて前記第１の学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第１１のステップと、
前記第１の学習画像を前記第２の学習画像として取得すると共に、前記第２の出力画像を前記第２の教師画像として取得し、前記第２の学習画像と前記第２の教師画像とを含む第２の学習データセットを生成する第１２のステップと、
を含む学習データセットの生成方法。
【請求項１０】
請求項８に記載の学習データセットの生成プログラム、または請求項９に記載の学習データセットの生成方法により生成された学習データセット。
【請求項１１】
入力画像の画像セグメンテーションを行う第１の画像認識部と、
前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記第１の画像認識部は、前記入力画像が入力されると、前記入力画像の画像セグメンテーションを行って、第１の出力画像を生成し、生成した前記第１の出力画像を前記第２の画像認識部へ向けて出力し、
前記第２の画像認識部は、前記入力画像と前記第１の出力画像とが入力されると、前記第１の出力画像を用いて前記第２の画像認識部により前記入力画像の画像セグメンテーションを行って、第２の出力画像を出力する画像認識装置。
【請求項１２】
前記第１の画像認識部は、バウンディングボックスによる画像セグメンテーションを行う請求項１１に記載の画像認識装置。
【請求項１３】
前記第２の画像認識部は、セマンティック・セグメンテーションによる画像セグメンテーションを行う請求項１１または１２に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、学習データセットの生成プログラム、学習データセットの生成方法、学習データセット、及び画像認識装置に関する。
【背景技術】
【０００２】
画像認識技術として、Fully  Convolutional  Network（ＦＣＮ：全層畳み込みネットワーク）を用いたSemantic  Segmentation（セマンティック・セグメンテーション）が知られている（例えば、非特許文献１参照）。セマンティック・セグメンテーションは、デジタル画像のピクセル単位でのクラス分類（クラス推論）を行っている。つまり、セマンティック・セグメンテーションは、デジタル画像の各ピクセルに対してクラス推論を行い、推論結果として、各ピクセル対してクラスをラベリングすることで、デジタル画像の領域分割を行う。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Zhao,  Hengshuang,  et  al.  "Pyramid  scene  parsing  network."  IEEE  Conf.  on  Computer  Vision  and  Pattern  Recognition  (CVPR).  2017
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、セマンティック・セグメンテーションでは、学習データセットを用いて深層学習を行うことにより、画像認識の精度を高めている。学習データセットは、学習対象の画像となる学習画像と、学習画像に対する回答となる領域分割された教師画像とを含む。セマンティック・セグメンテーションに用いられる教師画像は、アノテーション作業により生成されるが、アノテーション作業の作業負荷が高いことから、アノテーションコストが高いものとなっている。また、様々なシーンに対して、精度よく画像認識を行うためには、セマンティック・セグメンテーションに用いられる教師画像を大量に用意する必要があり、アノテーションコストがさらに増大する。
【０００５】
本発明は、教師画像による学習効率を向上させることができる画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、学習データセットの生成プログラム、学習データセットの生成方法、学習データセット、及び画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
態様の１つに係る画像学習プログラムは、画像セグメンテーションを行う画像認識装置によって実行される画像学習プログラムであって、前記画像認識装置の学習に用いられる学習データセットは、前記画像認識装置の学習対象の画像となる学習画像と、前記学習画像に対応する教師画像と、を含み、前記画像認識装置は、前記学習画像の画像セグメンテーションを行う第１の画像認識部と、前記第１の画像認識部よりも緻密な領域分割となるように前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記学習画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、を実行させる。
【０００７】
態様の１つに係る画像学習方法は、画像セグメンテーションを行う画像認識装置が実行する画像学習方法であって、前記画像認識装置の学習に用いられる学習データセットは、前記画像認識装置の学習対象の画像となる学習画像と、前記学習画像に対応する教師画像と、を含み、前記画像認識装置は、前記学習画像の画像セグメンテーションを行う第１の画像認識部と、前記第１の画像認識部よりも緻密な領域分割となるように前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記学習画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、を含む。
【０００８】
態様の１つに係る画像認識プログラムは、入力された入力画像の画像セグメンテーションを行う画像認識装置によって実行される画像認識プログラムであって、前記画像認識装置は、前記入力画像の画像セグメンテーションを行う第１の画像認識部と、前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記入力画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、を実行させる。
【０００９】
態様の１つに係る画像認識方法は、入力された入力画像の画像セグメンテーションを行う画像認識装置が実行する画像認識方法であって、前記画像認識装置は、前記入力画像の画像セグメンテーションを行う第１の画像認識部と、前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記入力画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第２の画像認識部により前記第１の出力画像を用いて前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、を含む。
【００１０】
態様の１つに係る学習データセットの生成プログラムは、入力された入力画像の画像セグメンテーションを行う画像認識装置に実行され、前記画像認識装置で用いられる学習データセットを生成する学習データセットの生成プログラムであって、前記画像認識装置は、前記入力画像の画像セグメンテーションを行う第１の画像認識部と、前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記学習データセットは、前記第１の画像認識部が学習するための第１の学習データセットと、前記第２の画像認識部が学習するための第２の学習データセットとを有し、前記第１の学習データセットは、第１の学習画像と、前記第１の学習画像に対応する第１の教師画像と、を含み、前記第２の学習データセットは、第２の学習画像と、前記第２の学習画像に対応する第２の教師画像と、を含み、前記第２の教師画像は、前記第１の教師画像に比して緻密に領域分割された画像となっており、前記第１の学習画像と前記第１の教師画像とを前記第２の画像認識部に入力し、前記第２の画像認識部により前記第１の教師画像を用いて前記第１の学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第１１のステップと、前記第１の学習画像を前記第２の学習画像として取得すると共に、前記第２の出力画像を前記第２の教師画像として取得し、前記第２の学習画像と前記第２の教師画像とを含む第２の学習データセットを生成する第１２のステップと、を実行させる。
【００１１】
態様の１つに係る学習データセットの生成方法は、入力された入力画像の画像セグメンテーションを行う画像認識装置が実行して、前記画像認識装置で用いられる学習データセットを生成する学習データセットの生成方法であって、前記画像認識装置は、前記入力画像の画像セグメンテーションを行う第１の画像認識部と、前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記学習データセットは、前記第１の画像認識部が学習するための第１の学習データセットと、前記第２の画像認識部が学習するための第２の学習データセットとを有し、前記第１の学習データセットは、第１の学習画像と、前記第１の学習画像に対応する第１の教師画像と、を含み、前記第２の学習データセットは、第２の学習画像と、前記第２の学習画像に対応する第２の教師画像と、を含み、前記第２の教師画像は、前記第１の教師画像に比して緻密に領域分割された画像となっており、前記第１の学習画像と前記第１の教師画像とを前記第２の画像認識部に入力し、前記第２の画像認識部により前記第１の教師画像を用いて前記第１の学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第１１のステップと、前記第１の学習画像を前記第２の学習画像として取得すると共に、前記第２の出力画像を前記第２の教師画像として取得し、前記第２の学習画像と前記第２の教師画像とを含む第２の学習データセットを生成する第１２のステップと、を含む。
【００１２】
態様の１つに係る画像認識装置は、入力画像の画像セグメンテーションを行う第１の画像認識部と、前記第１の画像認識部よりも緻密な領域分割となるように前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記第１の画像認識部は、前記入力画像が入力されると、前記入力画像の画像セグメンテーションを行って、第１の出力画像を生成し、生成した前記第１の出力画像を前記第２の画像認識部へ向けて出力し、前記第２の画像認識部は、前記入力画像と前記第１の出力画像とが入力されると、前記第１の出力画像を用いて前記第２の画像認識部により前記入力画像の画像セグメンテーションを行って、第２の出力画像を出力する。
【図面の簡単な説明】
【００１３】
【図１】図１は、実施形態に係る画像認識装置の概要を示す図である。
【図２】図２は、実施形態に係る画像認識装置の画像認識部の概要を示す図である。
【図３】図３は、画像認識装置に入力される入力画像の一例を示す図である。
【図４】図４は、画像認識装置から出力される出力画像の一例を示す図である。
【図５】図５は、第１の学習データセットの一例を示す図である。
【図６】図６は、第２の学習データセットの一例を示す図である。
【図７】図７は、画像認識装置の画像学習に関する処理の一例を示す図である。
【図８】図８は、画像認識装置の画像学習に関する処理の一例を示す図である。
【図９】図９は、画像認識装置の画像学習に関する処理の一例を示す図である。
【図１０】図１０は、画像認識装置の画像認識に関する処理の一例を示す図である。
【図１１】図１１は、画像認識装置の画像認識に関する処理の一例を示す図である。
【図１２】図１２は、画像認識装置の画像認識に関する処理の一例を示す図である。
【図１３】図１３は、画像認識装置による学習データセットの生成に関する処理の一例を示す図である。
【発明を実施するための形態】
【００１４】
本出願に係る実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。また、本出願に係る実施形態を説明する上で密接に関連しない事項は、説明及び図示を省略することがある。
【００１５】
（実施形態）
図１は、実施形態に係る画像認識装置の概要を示す図である。画像認識装置１は、入力される入力画像Ｉに含まれるオブジェクトを認識し、認識した結果を出力画像Ｏとして出力するものである。画像認識装置１は、カメラ等の撮像装置において撮像された撮影画像が入力画像Ｉとして入力される。画像認識装置１は、入力画像Ｉに対して画像セグメンテーションを行う。画像セグメンテーションとは、デジタル画像の分割された画像領域に対してクラスをラベリングすることであり、クラス推論（クラス分類）ともいう。つまり、画像セグメンテーションとは、デジタル画像の分割された所定の画像領域が、何れのクラスであるかを判別して、画像領域が示すクラスを識別するための識別子（ラベル）を付すことである。画像認識装置１は、入力画像Ｉを画像セグメンテーション（クラス推論）した画像を、出力画像Ｏとして出力する。
【００１６】
画像認識装置１は、例えば、車の車載認識カメラに設けられている。車載認識カメラは、車の走行状況を所定のフレームレートでリアルタイムに撮像し、撮像した撮影画像を画像認識装置１に入力する。画像認識装置１は、所定のフレームレートで入力される撮影画像を入力画像Ｉとして取得する。画像認識装置１は、入力画像Ｉに含まれるオブジェクトをクラス分類して、クラス分類された画像を出力画像Ｏとして、所定のフレームレートで出力する。なお、画像認識装置１は、車載認識カメラへの搭載に限定されず、他の装置に設けてもよい。
【００１７】
先ず、図３を参照して、入力画像Ｉについて説明する。図３は、画像認識装置１に入力される入力画像Ｉの一例を示す図である。入力画像Ｉは、複数の画素（ピクセル）からなるデジタル画像である。入力画像Ｉは、例えば、カメラ等の撮像装置に設けられる撮像素子によって生成される、撮像素子の画素数に応じた解像度の画像となっている。つまり、入力画像Ｉは、画像の画素数を高くするアップサンプリング処理、または、画像の画素数を低くするダウンサンプリング処理が行われていない、高解像度となるオリジナルの原画像となっている。
【００１８】
次に、図４を参照して、出力画像Ｏについて説明する。図４は、画像認識装置１から出力される出力画像Ｏの一例を示す図である。出力画像Ｏは、クラスごとに領域分割されている。クラスは、例えば、入力画像Ｉに含まれるオブジェクトを含み、人、車、道、建物等である。出力画像Ｏは、ピクセル単位でオブジェクトごとのクラス分類がなされ、ピクセル単位ごとに分類されたクラスがラベリングされることで、クラスごとに領域分割されている。図４では、例えば、人のクラスに分類された画像領域Ｏａと、車のクラスに分類された画像領域Ｏｂと、道路のクラスに分類された画像領域Ｏｃとを図示している。なお、図４の出力画像Ｏは一例であり、このクラス分類に、特に限定されない。また、出力画像Ｏは、入力画像Ｉと同じ解像度となっている。
【００１９】
再び図１を参照して、画像認識装置１について説明する。画像認識装置１は、制御部５と、記憶部６と、画像認識部７とを備えている。
【００２０】
記憶部６は、プログラム及びデータを記憶する。また、記憶部６は、制御部５の処理結果を一時的に記憶する作業領域としても利用してもよい。記憶部６は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含んでよい。また、記憶部６は、複数の種類の記憶デバイスを含んでよい。また、記憶部６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
【００２１】
記憶部６は、プログラムとして、画像学習プログラムＰ１と、画像認識プログラムＰ２と、学習データセットの生成プログラムＰ３とを含む。画像学習プログラムＰ１は、画像認識部７に学習を行わせるためのプログラムである。画像認識プログラムＰ２は、画像認識部７に画像認識を行わせるためのプログラムである。学習データセットの生成プログラムＰ３は、画像認識部７の学習に用いられる学習データセットを生成するためのプログラムである。また、記憶部６は、データとして、各種画像と、学習データセットとを含む。各種画像は、画像認識装置１に入力される入力画像Ｉ、画像認識装置１から出力される出力画像Ｏ等である。学習データセットは、画像認識部７の学習に用いられるデータである。
【００２２】
制御部５は、画像認識装置１の動作を統括的に制御して各種の機能を実現する。制御部５は、例えば、ＣＰＵ（Central  Processing  Unit）等の集積回路を含んでいる。具体的に、制御部５は、記憶部６に記憶されているプログラムに含まれる命令を実行して、画像認識部７等を制御することによって各種機能を実現する。
【００２３】
制御部５は、例えば、画像学習プログラムＰ１を実行することにより、学習データセットを用いて、画像認識部７の学習を実行させる。また、制御部５は、例えば、画像認識プログラムＰ２を実行することにより、画像認識部７による入力画像Ｉの画像認識を実行させる。さらに、制御部５は、生成プログラムＰ３を実行することにより、画像認識部７による学習データセットの生成を実行させる。
【００２４】
次に、図２を参照して、画像認識部７について説明する。図２は、実施形態に係る画像認識装置の画像認識部の概要を示す図である。画像認識部７は、ＧＰＵ（Graphics  Processing  Unit）等の集積回路を含んでいる。画像認識部７は、第１の画像認識部１１と、第２の画像認識部１２とを備えている。画像認識部７は、入力画像Ｉが入力されると、入力画像Ｉを第１の画像認識部１１及び第２の画像認識部１２にそれぞれ入力する。
【００２５】
第１の画像認識部１１は、入力画像Ｉに含まれるオブジェクトの位置を求めるタスクを実行する。第１の画像認識部１１は、例えば、バウンディング・ボックス（Bounding  Box）を用いた画像セグメンテーションを行っている。バウンディング・ボックスは、入力画像Ｉに含まれるオブジェクトを囲む矩形状の画像領域である。第１の画像認識部１１は、入力画像Ｉが入力されると、入力画像Ｉから、オブジェクトを囲むバウンディング・ボックスを抽出して、バウンディング・ボックスごとにクラス分類された画像を、第１の出力画像Ｏ１として出力する。つまり、第１の画像認識部１１は、入力画像Ｉに対して、後述する第２の画像認識部１２に比してラフに（粗めに）領域分割を行い、オブジェクトの位置に関する情報が含まれる第１の出力画像Ｏ１を出力する。
【００２６】
第１の画像認識部１１は、ＣＮＮ（Convolution  Neural  Network）またはＦＣＮ（Fully  Convolutional  Network）等の畳み込み層を含むニューラル・ネットワーク（以下、単にネットワークともいう）を用いた画像セグメンテーションを行っている。第１の画像認識部１１は、エンコーダ２２と、デコーダ２３とを有している。
【００２７】
エンコーダ２２は、入力画像Ｉに対してエンコード処理を実行する。エンコード処理は、入力画像Ｉの特徴量を抽出した特徴マップ（Feature  Map）を生成しつつ、特徴マップの解像度を低くするダウンサンプリング（プーリングともいう）を実行する処理である。具体的に、エンコード処理では、畳み込み層とプーリング層とにおいて入力画像Ｉに処理が行われる。畳み込み層では、入力画像Ｉの特徴量を抽出するためのカーネル（フィルタ）を、入力画像Ｉにおいて所定のストライドで移動させる。そして、畳み込み層では、畳み込み層の重みに基づいて、入力画像Ｉの特徴量を抽出するための畳み込み計算が行われ、この畳み込み計算により特徴量が抽出された特徴マップを生成する。生成される特徴マップは、カーネルのチャネル数に応じた数だけ生成される。プーリング層では、特徴量が抽出された特徴マップを縮小して、低解像度となる特徴マップを生成する。エンコード処理では、畳み込み層における処理とプーリング層における処理とを複数回繰り返し実行することで、ダウンサンプリングされた特徴量を有する特徴マップを生成する。
【００２８】
デコーダ２３は、エンコード処理後の特徴マップに対してデコード処理を実行する。デコード処理は、特徴マップの解像度を高くするアップサンプリング（アンプーリングともいう）を実行する処理である。具体的に、デコード処理は、逆畳み込み層とアンプーリング層とにおいて特徴マップに処理が行われる。アンプーリング層では、特徴量を含む低解像度の特徴マップを拡大して、高解像度となる特徴マップを生成する。逆畳み込み層では、特徴マップに含まれる特徴量を、復元させるための逆畳み込み計算が、逆畳み込み層の重みに基づいて実行され、この計算により特徴量を復元させた特徴マップを生成する。そして、デコード処理では、アンプーリング層における処理と逆畳み込み層における処理とを複数回繰り返し実行することで、アップサンプリングされ、領域分割された画像である第１の出力画像Ｏ１を生成する。第１の出力画像Ｏ１は、画像認識部７に入力される入力画像Ｉと同じ解像度になるまで、アップサンプリングされる。
【００２９】
以上のように、第１の画像認識部１１は、入力画像Ｉに対して、エンコード処理及びデコード処理を実行し、ピクセル単位でクラス推論（クラス分類）を行うことで、入力画像Ｉの画像セグメンテーションを行う。そして、第１の画像認識部１１は、入力画像Ｉをクラスごとに領域分割した画像を、第１の出力画像Ｏ１として出力する。
【００３０】
なお、第１の画像認識部１１は、バウンディング・ボックスを用いた画像セグメンテーションに適用して説明したが、特に限定されない。第１の画像認識部１１は、入力画像Ｉに含まれるオブジェクトの位置を求めるタスクを実行可能であれば、例えば、異なるネットワークを用いた画像セグメンテーションを実行するものであってもよい。また、第１の画像認識部１１は、エンコード処理とデコード処理とを実行したが、入力画像Ｉに含まれるオブジェクトの位置を求めるタスクを実行可能であれば、エンコード処理に含まれるプーリング層と、デコード処理に含まれるアンプーリング層とを省いてもよい。
【００３１】
また、詳細は後述するが、第１の画像認識部１１は、学習時において、多量の第１の教師画像Ｔ１を用いて学習している。このため、第１の画像認識部１１は、入力画像Ｉに対する様々な変動要因を学習することができることから、ロバスト性を担保した画像認識を実行する。例えば、車載認識カメラにおけるロバスト性とは、逆光及び暗所などの照度変動と、気候変動と、雨滴、泥及び傷などのレンズ変動と、雪及び路面反射などの走行空間変動とを含む各種変動の変動要因に対する耐性である。
【００３２】
第１の画像認識部１１は、その出力側が、第２の画像認識部１２の入力側に接続されている。このため、第１の画像認識部１１は、第１の出力画像Ｏ１を、第２の画像認識部１２に入力する。また、第１の画像認識部１１は、第１の出力画像Ｏ１を、中間画像として外部に出力している。
【００３３】
第２の画像認識部１２は、第１の画像認識部１１に比して入力画像Ｉの領域分割を緻密に行うタスクを実行する。第２の画像認識部１２は、例えば、セマンティック・セグメンテーションを用いた画像セグメンテーションを行っている。セマンティック・セグメンテーションは、入力画像Ｉの各ピクセルに対してクラス推論を行い、推論結果として、各ピクセルに対してクラスをラベリングすることで、入力画像Ｉの領域分割を行う。第２の画像認識部１２には、入力画像Ｉと第１の出力画像Ｏ１とが入力される。第２の画像認識部１２は、入力画像Ｉと第１の出力画像Ｏ１とが入力されると、第１の出力画像Ｏ１を用いて、入力画像Ｉのピクセルごとにクラス分類された画像を、第２の出力画像Ｏ２として出力する。つまり、第２の画像認識部１２は、第１の出力画像Ｏ１をヒントとして、入力画像Ｉに対して、第１の画像認識部１１に比して緻密に領域分割を行って、第２の出力画像Ｏ２を出力する。
【００３４】
第２の画像認識部１２は、ＣＮＮ（Convolution  Neural  Network）またはＦＣＮ（Fully  Convolutional  Network）等の畳み込み層を含むニューラル・ネットワーク（以下、単にネットワークともいう）を用いた画像セグメンテーションを行っている。また、第２の画像認識部１２は、入力画像Ｉの特徴量を抽出する特徴量抽出処理を実行する。さらに、第２の画像認識部１２は、第１の出力画像Ｏ１と特徴量抽出処理が行われる画像とを統合するフュージョン処理を実行して、ピクセル単位のクラス推論を行っている。
【００３５】
特徴量抽出処理は、複数の畳み込み層において入力画像Ｉの特徴量を抽出する処理であり、エンコーダ２２における畳み込み層の処理とほぼ同様である。また、特徴量抽出処理では、プーリング層を省いた処理となっている。畳み込み層では、入力画像Ｉの特徴量を抽出するための畳み込み計算が、畳み込み層の重みに基づいて実行され、この計算により特徴量が抽出された特徴マップを生成する。特徴量抽出処理では、入力画像Ｉに対して畳み込み計算が複数回実行されることで、特徴マップを生成する。
【００３６】
フュージョン処理は、第１の出力画像Ｏ１をヒントとして、特徴量抽出処理が行われる特徴マップをマージして、クラス推論を行うことにより、クラスごとに領域分割された画像を生成し、入力画像Ｉと同じ解像度の第２の出力画像Ｏ２を生成する。
【００３７】
以上のように、第２の画像認識部１２は、入力画像Ｉに対して、特徴量抽出処理及びフュージョン処理を実行し、第１の出力画像Ｏ１をヒントとして、ピクセル単位でクラス推論（クラス分類）を行うことで、入力画像Ｉの画像セグメンテーションを行う。また、第２の画像認識部１２は、画像セグメンテーションされた入力画像Ｉを、第２の出力画像Ｏ２として出力する。
【００３８】
なお、第２の画像認識部１２は、セマンティック・セグメンテーションを用いた画像セグメンテーションに適用して説明したが、特に限定されない。第２の画像認識部１２は、第１の画像認識部１１に比して入力画像Ｉの領域分割を緻密に行うタスクを実行可能であれば、例えば、異なるネットワークを用いた画像セグメンテーションを実行するものであってもよい。
【００３９】
また、詳細は後述するが、第２の画像認識部１２は、学習時において、第１の出力画像Ｏ１と、緻密に領域分割された高解像度の第２の教師画像とを用いて学習している。このため、第２の画像認識部１２は、入力画像Ｉに対する緻密な領域分割を行うことができることから、画像認識性（認識精度）を担保した画像認識を実行する。
【００４０】
第２の画像認識部１２は、第２の出力画像Ｏ２を外部に出力する。また、第２の画像認識部１２は、第２の出力画像Ｏ２の生成時に用いた第１の出力画像Ｏ１を、第２の出力画像Ｏ２に関連付けて出力可能となっている。
【００４１】
以上から、第１の画像認識部１１は、第２の画像認識部１２と比べて緻密な領域分割を行う必要がないため、難易度が低く計算負荷の低いタスクとなっている。また、第２の画像認識部１２は、第１の出力画像Ｏ１を用いて入力画像Ｉの領域分割を行うため、入力画像Ｉのみからの画像セグメンテーションを行うセマンティック・セグメンテーションに比して、難易度が低く計算負荷の低いタスクとなっている。
【００４２】
次に、画像認識装置１の学習について説明する。画像認識装置１の学習には、学習データセットが用いられる。学習データセットは、学習対象となる画像である学習画像と、学習画像に対応する教師画像と、を含む。学習画像は、入力画像と同様に、デジタル画像である。教師画像は、学習画像に対応する画像セグメンテーションされた回答となる画像、つまり、領域分割された画像となっている。教師画像は、アノテーション作業により生成される画像となっている。
【００４３】
図５は、第１の学習データセットの一例を示す図である。図６は、第２の学習データセットの一例を示す図である。学習データセットは、第１の画像認識部１１の学習に用いられる第１の学習データセットＤ１と、第２の画像認識部１２の学習に用いられる第２の学習データセットＤ２とを含む。
【００４４】
図５に示すように、第１の学習データセットＤ１は、第１の学習画像Ｇ１と、第１の教師画像Ｔ１とを含む。第１の学習画像Ｇ１は、第１の画像認識部１１の学習対象となる画像であり、入力画像と同様に、デジタル画像である。第１の教師画像Ｔ１は、バウンディング・ボックスを用いてクラスごとに領域分割された画像となっている。図５に示す第１の教師画像Ｔ１では、例えば、人のクラスに分類された矩形状の画像領域Ｔ１ａと、車のクラスに分類された矩形状の画像領域Ｔ１ｂと含んでいる。
【００４５】
第２の学習データセットＤ２は、第２の学習画像Ｇ２と、第２の教師画像Ｔ２とを含む。第２の学習画像Ｇ２は、第２の画像認識部１２の学習対象となる画像であり、入力画像及び第１の学習画像Ｇ１と同様に、デジタル画像である。なお、図５及び図６では、説明を簡単にするために、第１の学習画像Ｇ１と第２の学習画像Ｇ２とを同じ画像としているが、異なる画像であってもよい。第２の教師画像Ｔ２は、ピクセル単位でクラスごとに領域分割された画像となっている。図６に示す第２の教師画像Ｔ２では、例えば、人のクラスに分類された画像領域Ｔ２ａと、車のクラスに分類された画像領域Ｔ２ｂと、道路のクラスに分類された画像領域Ｔ２ｃとを含んでいる。
【００４６】
第１の教師画像Ｔ１は、第２の教師画像Ｔ２に比して粗い領域分割となる画像セグメンテーションが行われた画像となっている。換言すれば、第２の教師画像Ｔ２は、第１の教師画像Ｔ１に比して緻密な領域分割となる画像セグメンテーションが行われた画像となっている。第１の教師画像Ｔ１及び第２の教師画像Ｔ２は、アノテーション作業により生成される画像となっている。具体的に、第１の教師画像Ｔ１は、第１の学習画像Ｇ１に含まれるオブジェクトをバウンディング・ボックスにより囲んでクラス分類を行うアノテーション作業により生成される。第２の教師画像Ｔ２は、第１の学習画像Ｇ１のピクセル単位でクラス分類を行うアノテーション作業により生成される。このため、第１の教師画像Ｔ１は、第２の教師画像Ｔ２に比して作業負荷が低く、アノテーションコストが低いものとなっている。換言すれば、第２の教師画像Ｔ２は、第１の教師画像Ｔ１に比して作業負荷が高く、アノテーションコストが高いものとなっている。
【００４７】
また、画像認識装置１の学習に際し、用意される第１の教師画像Ｔ１は、第２の教師画像Ｔ２に比して多量となっている。換言すれば、用意される第２の教師画像Ｔ２は、第１の教師画像Ｔ１に比して少量となっている。つまり、アノテーションコストの低い第１の教師画像Ｔ１を含む第１の学習データセットＤ１を多量に用意して、第１の画像認識部１１の学習を行う。また、アノテーションコストの高い第２の教師画像Ｔ２を含む第２の学習データセットＤ２を少量だけ用意して、第２の画像認識部１２の学習を行う。
【００４８】
次に、図７から図９を参照して、第１の学習データセットＤ１及び第２の学習データセットＤ２を用いた画像認識装置１の学習に関する処理について説明する。図７から図９は、画像認識装置の画像学習に関する処理の一例を示す図である。画像認識装置１の学習では、第１の画像認識部１１の学習を行ってから、第２の画像認識部１２の学習を行っている。
【００４９】
図７を参照して、第１の学習データセットＤ１を用いて、第１の画像認識部１１の学習を行う処理について説明する。第１の画像認識部１１の学習を行う処理では、第１の学習画像Ｇ１を第１の画像認識部１１に入力し、第１の画像認識部１１により第１の学習画像Ｇ１の画像セグメンテーションを行って、第１の出力画像Ｏ１を取得するステップ（第５のステップ）を実行する。
【００５０】
具体的に、第１の学習データセットＤ１の第１の学習画像Ｇ１が、画像認識装置１の第１の画像認識部１１に入力される（ステップＳ１）。第１の学習画像Ｇ１が入力されると、第１の画像認識部１１は、第１の学習画像Ｇ１を入力画像として、第１の学習画像Ｇ１に対してエンコード処理を実行する（ステップＳ２）。第１の画像認識部１１は、エンコード処理を実行することで、ダウンサンプリングされた特徴量を含む低解像度の特徴マップを生成する。第１の画像認識部１１は、ダウンサンプリングされた低解像度の特徴量を含む特徴マップに対してデコード処理を実行する（ステップＳ３）。第１の画像認識部１１は、デコード処理を実行することで、特徴量を含む特徴マップを復元しながらアップサンプリングして、第１の学習画像Ｇ１と同じ解像度とする。そして、第１の画像認識部１１は、画像をピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ４）。第１の画像認識部１１は、クラス推論の結果として、第１の出力画像Ｏ１を取得する（ステップＳ５）。
【００５１】
次に、第１の画像認識部１１の学習を行う処理では、第１の教師画像Ｔ１に対する第１の出力画像Ｏ１の第１の誤差を取得するステップ（ステップＳ６：第６のステップ）を実行する。
【００５２】
具体的に、ステップＳ６において、第１の画像認識部１１は、第１の出力画像Ｏ１を取得すると、第１の学習データセットＤ１の第１の教師画像Ｔ１を取得する。第１の画像認識部１１は、取得した第１の教師画像Ｔ１と第１の出力画像Ｏ１とから、第１の教師画像Ｔ１と第１の出力画像Ｏ１との誤差量を第１の誤差として算出する。誤差量は、Cross  Entropy関数を用いて誤差計算を行うことにより算出される。
【００５３】
そして、第１の画像認識部１１の学習を行う処理では、第１の誤差に基づいて、第１の画像認識部１１による画像セグメンテーションを修正するステップ（第７のステップ）を実行する。
【００５４】
具体的に、第１の画像認識部１１は、第１の誤差を取得すると、誤差量に基づいて誤差逆伝播法によりネットワークにおける誤差が修正されるように、ネットワークの畳み込み層及び逆畳み込み層の重みを学習させ、ネットワークを更新する（ステップＳ７）。第１の画像認識部１１は、ステップＳ７の実行により、第１の学習データセットＤ１を用いた学習を終了する。そして、第１の画像認識部１１は、ステップＳ１からステップＳ７を、第１の学習データセットＤ１のセット数に応じて繰り返し実行する。
【００５５】
次に、図８及び図９を参照して、第２の学習データセットＤ２を用いて、第２の画像認識部１２の学習を行う処理について説明する。第２の画像認識部１２の学習を行う処理では、第１の画像認識部１１は学習済みとなっており、第１の画像認識部１１から出力される第１の出力画像Ｏ１が用いられる。第２の画像認識部１２の学習を行う処理では、第２の学習画像Ｇ２を第１の画像認識部１１に入力し、第１の画像認識部１１により第２の学習画像Ｇ２の画像セグメンテーションを行って、第１の出力画像Ｏ１を取得するステップ（第１のステップ）を実行する。
【００５６】
具体的に、図８に示すように、第２の学習データセットＤ２の第２の学習画像Ｇ２が、画像認識装置１の第１の画像認識部１１に入力される（ステップＳ１１）。第２の学習画像Ｇ２が入力されると、第１の画像認識部１１は、第２の学習画像Ｇ２を入力画像として、第２の学習画像Ｇ２に対してエンコード処理を実行する（ステップＳ１２）。第１の画像認識部１１は、エンコード処理を実行することで、ダウンサンプリングされた特徴量を含む低解像度の特徴マップを生成する。第１の画像認識部１１は、ダウンサンプリングされた特徴量を含む特徴マップに対してデコード処理を実行する（ステップＳ１３）。第１の画像認識部１１は、デコード処理を実行することで、特徴量を含む低解像度の特徴マップを復元しながらアップサンプリングして、第２の学習画像Ｇ２と同じ解像度とする。そして、第１の画像認識部１１は、画像をピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ１４）。第１の画像認識部１１は、クラス推論の結果として、第１の出力画像Ｏ１を取得する（ステップＳ１５）。
【００５７】
次に、第２の画像認識部１２の学習を行う処理では、第２の学習画像Ｇ２と第１の出力画像Ｏ１とを第２の画像認識部１２に入力し、第１の出力画像Ｏ１を用いて第２の画像認識部１２により第２の学習画像Ｇ２の画像セグメンテーションを行って、第２の出力画像Ｏ２を取得するステップ（第２のステップ）を実行する。
【００５８】
具体的に、図９に示すように、第２の学習データセットＤ２の第２の学習画像Ｇ２が、画像認識装置１の第２の画像認識部１２に入力される（ステップＳ２１）。第２の学習画像Ｇ２が入力されると、第２の画像認識部１２は、第２の学習画像Ｇ２を入力画像として、第２の学習画像Ｇ２に対して特徴量抽出処理を実行する（ステップＳ２２）。第２の画像認識部１２は、特徴量抽出処理を実行することで、特徴量を含む特徴マップを生成する。また、第２の画像認識部１２は、特徴量を含む特徴マップに対してフュージョン処理を実行する（ステップＳ２３）。第２の画像認識部１２は、フュージョン処理を実行することで、第１の出力画像Ｏ１をヒントとして、特徴量抽出処理が行われる特徴マップを復元する。そして、第２の画像認識部１２は、特徴マップから、ピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ２４）。第２の画像認識部１２は、クラス推論の結果として、第２の出力画像Ｏ２を取得する（ステップＳ２５）。
【００５９】
次に、第２の画像認識部１２の学習を行う処理では、第２の教師画像Ｔ２に対する第２の出力画像Ｏ２の第２の誤差を取得するステップ（ステップＳ２６：第３のステップ）を実行する。
【００６０】
具体的に、ステップＳ２６において、第２の画像認識部１２は、第２の出力画像Ｏ２を取得すると、第２の学習データセットＤ２の第２の教師画像Ｔ２を取得する。第２の画像認識部１２は、取得した第２の教師画像Ｔ２と第２の出力画像Ｏ２とから、第２の教師画像Ｔ２と第２の出力画像Ｏ２との誤差量を第２の誤差として算出する。誤差量は、Cross  Entropy関数を用いて誤差計算を行うことにより算出される。
【００６１】
そして、第２の画像認識部１２の学習を行う処理では、第２の誤差に基づいて、第２の画像認識部１２による画像セグメンテーションを修正するステップ（第４のステップ）を実行する。
【００６２】
具体的に、第２の画像認識部１２は、第２の誤差を取得すると、誤差量に基づいて誤差逆伝播法によりネットワークにおける誤差が修正されるように、ネットワークの畳み込み層の重みを学習させ、ネットワークを更新する（ステップＳ２７）。ここで、ステップＳ２７において、第２の誤差に基づく学習では、第２の画像認識部１２の学習を行う一方で、第１の画像認識部１１の学習を遮断している。すなわち、第２の誤差は、第２の画像認識部１２へ誤差逆伝播させる一方で、第１の画像認識部１１へ誤差逆伝播させない。このため、ステップＳ２７では、第２の画像認識部１２におけるネットワークが誤差修正される一方で、第１の画像認識部１１におけるネットワークが誤差修正されない。第２の画像認識部１２は、ステップＳ２７の実行により、第２の学習データセットＤ２を用いた学習を終了する。そして、第２の画像認識部１２は、ステップＳ２１からステップＳ２７を、第２の学習データセットＤ２のセット数に応じて繰り返し実行する。
【００６３】
このように、画像認識装置１の学習では、アノテーションコストの低い多量の第１の学習データセットＤ１を用いて、第１の画像認識部１１を学習させている。また、画像認識装置１の学習では、アノテーションコストの高い少量の第２の学習データセットＤ２を用いて、第２の画像認識部１２を学習させている。
【００６４】
次に、図１０及び図１１を参照して、学習済みの画像認識装置１による画像認識について説明する。図１０及び図１１は、画像認識装置の画像認識に関する処理の一例を示す図である。画像認識装置１の画像認識に関する処理では、入力画像Ｉを第１の画像認識部１１に入力し、第１の画像認識部１１により入力画像Ｉの画像セグメンテーションを行って、第１の出力画像Ｏ１を取得するステップ（第８のステップ）を実行する。
【００６５】
具体的に、図９に示すように、入力画像Ｉが画像認識装置１に入力される（ステップＳ３１）。入力画像Ｉが入力されると、第１の画像認識部１１は、入力画像Ｉに対してエンコード処理を実行する（ステップＳ３２）。第１の画像認識部１１は、エンコード処理を実行することで、ダウンサンプリングされた特徴量を含む低解像度の特徴マップを生成する。第１の画像認識部１１は、ダウンサンプリングされた特徴量を含む特徴マップに対してデコード処理を実行する（ステップＳ３３）。第１の画像認識部１１は、デコード処理を実行することで、特徴量を含む低解像度の特徴マップを復元しながらアップサンプリングして、入力画像Ｉと同じ解像度とする。そして、第１の画像認識部１１は、画像をピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ３４）。第１の画像認識部１１は、クラス推論の結果として、第１の出力画像Ｏ１を取得する（ステップＳ３５）。
【００６６】
次に、画像認識装置１の画像認識に関する処理では、入力画像Ｉと第１の出力画像Ｏ１とを第２の画像認識部１２に入力し、第１の出力画像Ｏ１を用いて第２の画像認識部１２により入力画像Ｉの画像セグメンテーションを行って、第２の出力画像Ｏ２を取得するステップ（第９のステップ）を実行する。
【００６７】
具体的に、図１１に示すように、入力画像Ｉが、画像認識装置１の第２の画像認識部１２に入力される（ステップＳ４１）。入力画像Ｉが入力されると、第２の画像認識部１２は、入力画像Ｉに対して特徴量抽出処理を実行する（ステップＳ４２）。第２の画像認識部１２は、特徴量抽出処理を実行することで、入力画像Ｉから特徴量を含む特徴マップを生成する。また、第２の画像認識部１２は、特徴量を含む特徴マップに対してフュージョン処理を実行する（ステップＳ４３）。第２の画像認識部１２は、フュージョン処理を実行することで、第１の出力画像Ｏ１をヒントとして、特徴量抽出処理が行われる特徴マップを復元する。そして、第２の画像認識部１２は、特徴マップから、ピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ４４）。第２の画像認識部１２は、クラス推論の結果として、第２の出力画像Ｏ２を取得する（ステップＳ４５）。
【００６８】
このように、画像認識装置１の画像認識では、第１の画像認識部１１においてロバスト性を担保した画像認識を行う。また、第１の画像認識部１１では、第２の画像認識部１２と比べて緻密な領域分割を行う必要がないため、計算負荷の低いタスクで画像認識を行う。そして、画像認識装置１の画像認識では、第２の画像認識部１２において緻密な領域分割を行うため、画像認識性を担保した画像認識を行う。また、第２の画像認識部１２では、第１の出力画像Ｏ１を用いて入力画像Ｉの領域分割を行うため、計算負荷の低いタスクで画像認識を行う。
【００６９】
また、画像認識装置１の画像認識に関する処理として、図１２に示す処理を行っている。図１２は、画像認識装置の画像認識に関する処理の一例を示す図である。図１２に示す処理では、画像認識により取得した第１の出力画像Ｏ１と、第１の出力画像Ｏ１に対応する第２の出力画像Ｏ２とを関連付けて取得するステップ（第１０のステップ）を実行する。
【００７０】
具体的に、図１２に示すように、第１の画像認識部１１が第１の出力画像Ｏ１を中間画像として取得する（ステップＳ５１）。また、第２の画像認識部１２が第１の出力画像Ｏ１に対応する第２の出力画像Ｏ２を取得する（ステップＳ５２）。画像認識装置１は、第１の出力画像Ｏ１と第２の出力画像Ｏ２を関連付けて取得する（ステップＳ５３）。
【００７１】
そして、取得された第１の出力画像Ｏ１及び第２の出力画像Ｏ２は、画像認識装置１による画像認識の評価または解析を行う場合において使用される。例えば、画像認識装置１による画像認識に誤認識等の不具合があった場合、第１の出力画像Ｏ１及び第２の出力画像Ｏ２を比較することで、第１の画像認識部１１における異常があったのか、第２の画像認識部１２における異常があったのかを推定することが可能となる。すなわち、第２の出力画像Ｏ２に誤認識がある場合、第１の出力画像Ｏ１に誤認識がなければ、第２の画像認識部１２に異常があると推定できる。一方で、第２の出力画像Ｏ２に誤認識がある場合、第１の出力画像Ｏ１に誤認識があれば、第１の画像認識部１１に異常があると推定できる。
【００７２】
次に、図１３を参照して、学習済みの画像認識装置１による学習データセットの生成について説明する。図１３は、画像認識装置による学習データセットの生成に関する処理の一例を示す図である。画像認識装置１の学習データセットの生成に関する処理では、既に用意されている第１の学習データセットＤ１を用いて、第２の学習データセットＤ２を生成している。学習データセットの生成に関する処理では、第１の学習画像Ｇ１と第１の教師画像Ｔ１とを第２の画像認識部１２に入力し、第２の画像認識部１２により第１の教師画像Ｔ１を用いて第１の学習画像Ｇ１の画像セグメンテーションを行って、第２の出力画像Ｏ２を取得するステップ（第１１のステップ）を実行する。
【００７３】
具体的に、図１３に示すように、第１の学習画像Ｇ１が、画像認識装置１の第２の画像認識部１２に入力される（ステップＳ６１）。第１の学習画像Ｇ１が入力されると、第２の画像認識部１２は、第１の学習画像Ｇ１に対して特徴量抽出処理を実行する（ステップＳ６２）。第２の画像認識部１２は、特徴量抽出処理を実行することで、第１の学習画像Ｇ１から特徴量を含む特徴マップを生成する。また、第２の画像認識部１２は、特徴量を含む特徴マップに対してフュージョン処理を実行する（ステップＳ６３）。第２の画像認識部１２は、フュージョン処理を実行することで、第１の教師画像Ｔ１をヒントとして、特徴量抽出処理が行われる特徴マップを復元する。そして、第２の画像認識部１２は、特徴マップから、ピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ６４）。第２の画像認識部１２は、クラス推論の結果として、第２の出力画像Ｏ２を取得する（ステップＳ６５）。
【００７４】
次に、学習データセットの生成に関する処理では、画像認識装置１は、第１の学習画像Ｇ１を第２の学習画像Ｇ２として取得する。また、画像認識装置１は、第２の出力画像Ｏ２を第２の教師画像Ｔ２として取得する。そして、画像認識装置１は、第２の学習画像Ｇ２と第２の教師画像Ｔ２とを含む第２の学習データセットＤ２を生成する（ステップＳ６６：第１２のステップ）。画像認識装置１は、ステップＳ６６の実行後、第２の学習データセットＤ２の生成を終了する。そして、画像認識装置１は、ステップＳ６１からステップＳ６６を、異なる第１の学習データセットＤ１を用いながら、複数回繰り返し実行することで、第２の学習データセットＤ２を複数生成する。なお、生成した複数の第２の学習データセットＤ２の中から、使用可能な第２の学習データセットＤ２を選別するステップを追加してもよい。
【００７５】
以上のように、実施形態に係る画像認識装置１の学習では、第１の画像認識部１１の学習と、第２の画像認識部１２の学習とに分けることができる。そして、第１の画像認識部１１の学習では、アノテーションコストの低い多量の第１の学習データセットＤ１を用いて学習を行うことができる。また、第２の画像認識部１２の学習では、アノテーションコストの高い少量の第２の学習データセットＤ２を用いて学習を行うことができる。このため、画像認識装置１の学習では、アノテーションコストの高い第２の教師画像Ｔ２が少量で済むため、アノテーションコストの削減を図ることができる。これにより、画像認識装置１の学習では、教師画像Ｔ１，Ｔ２による学習効率を向上させることができる。
【００７６】
また、第１の画像認識部１１の学習では、多量の第１の学習データセットＤ１を用いて学習を行うことができるため、ロバスト性の高い画像認識を学習することができる。また、第２の画像認識部１２の学習では、緻密な画像セグメンテーションを行うことができるため、認識精度の高い画像認識を学習することができる。よって、実施形態に係る画像認識装置１の学習では、ロバスト性が高く、認識精度の高い画像認識を学習することができる。
【００７７】
また、第１の画像認識部１１の学習では、第１の学習データセットＤ１を用いて学習を行うことができるため、第１の画像認識部１１に適した精度のよい学習を行うことができる。同様に、第２の画像認識部１２の学習では、第２の学習データセットＤ２を用いて学習を行うことができるため、第２の画像認識部１２に適した精度のよい学習を行うことができる。
【００７８】
また、第２の画像認識部１２の学習では、取得した第２の誤差を、第１の画像認識部１１に誤差伝播させていないことから、第２の画像認識部１２の学習によって第１の画像認識部１１に与える影響を排することができる。
【００７９】
また、実施形態に係る画像認識装置１の画像認識では、第１の画像認識部１１の画像認識と、第２の画像認識部１２の画像認識とに分けることができる。そして、第１の画像認識部１１の画像認識では、ロバスト性の高い画像認識を行うことができる。また、第２の画像認識部１２の画像認識では、認識精度の高い画像認識を行うことができる。よって、実施形態に係る画像認識装置１の画像認識では、ロバスト性が高く、認識精度の高い画像認識を行うことができる。
【００８０】
また、第１の画像認識部１１の画像認識では、入力画像Ｉに含まれるオブジェクトの位置を求めるタスクを実行することで、計算負荷の低いタスクとして実行することができる。また、第２の画像認識部１２の画像認識では、第１の出力画像Ｏ１をヒントとして用いて、入力画像Ｉの緻密な画像セグメンテーションを実行することで、計算負荷の低いタスクとして実行することができる。このため、実施形態に係る画像認識装置１では、計算負荷が低いことから、画像認識を高速に行うことができる。
【００８１】
また、画像認識装置１の画像認識では、第１の出力画像Ｏ１と、第２の出力画像Ｏ２とを関連付けて取得することができる。このため、画像認識装置１の画像認識の評価または解析等において、第１の画像認識部１１及び第２の画像認識部１２の異常を推定することが可能となる。
【００８２】
また、画像認識装置１では、第１の学習データセットＤ１を用いて、第２の学習データセットＤ２を生成することができる。このため、画像認識装置１では、第２の学習データセットＤ２を自動で生成することができるため、第２の学習データセットＤ２を生成するためのアノテーションコストを削減することができる。
【００８３】
なお、実施形態の第２の画像認識部１２において、カーネルのチャネル数と、畳み込み層に入力される特徴マップのチャネル数とを、第１の画像認識部１１に比して小さくしてもよい。カーネルのチャネル数と畳み込み層に入力される特徴マップのチャネル数との積は、画像認識の表現力である。第２の画像認識部１２の表現力を、第１の画像認識部１１に比して低くすることで、第２の画像認識部１２の計算負荷を軽減することができる。このため、実施形態に係る画像認識装置１では、計算負荷をより低くし、画像認識をより高速に行うことができる。
【符号の説明】
【００８４】
１  画像認識装置
５  制御部
６  記憶部
７  画像認識部
１１  第１の画像認識部
１２  第２の画像認識部
２２  エンコーダ
２３  デコーダ
Ｉ  入力画像
Ｏ  出力画像
Ｐ１  画像学習プログラム
Ｐ２  画像認識プログラム
Ｐ３  学習データセットの生成プログラム
Ｄ１  第１の学習データセット
Ｄ２  第２の学習データセット
【図１】
2020038572.tif 000003
【図２】
2020038572.tif 000004
【図３】
2020038572.tif 000005
【図４】
2020038572.tif 000006
【図５】
2020038572.tif 000007
【図６】
2020038572.tif 000008
【図７】
2020038572.tif 000009
【図８】
2020038572.tif 000010
【図９】
2020038572.tif 000011
【図１０】
2020038572.tif 000012
【図１１】
2020038572.tif 000013
【図１２】
2020038572.tif 000014
【図１３】
2020038572.tif 000015