(57)【要約】【課題】画像セグメンテーションの認識精度を向上させることができる画像学習プログラム等を提案する。【解決手段】画像学習プログラムは、学習画像と教師画像とを含む学習データセットを用いて、画像認識装置の学習を実行させる。画像認識装置は、第１の画像認識部と第２の画像認識部とを備える。第１の画像認識部は、学習画像の解像度を低くし、低解像度の学習画像の画像セグメンテーションを行う。第２の画像認識部は、低解像度の学習画像に比して高解像度の学習画像の画像セグメンテーションを行う。学習画像を第１の画像認識部に入力して、第１の出力画像を取得する第１のステップと、学習画像と第１の出力画像とを第２の画像認識部に入力して、第２の出力画像を取得する第２のステップと、教師画像に対する第２の出力画像の第２の誤差を取得する第３のステップと、第２の誤差に基づいて、第２の画像認識部を誤差修正する第４のステップと、を実行させる。【選択図】図８
2020038574.tif 000002
【特許請求の範囲】
【請求項１】
画像セグメンテーションを行う画像認識装置によって実行される画像学習プログラムであって、
前記画像認識装置の学習に用いられる学習データセットは、
前記画像認識装置の学習対象の画像となる学習画像と、
前記学習画像に対応する教師画像と、を含み、
前記画像認識装置は、
前記学習画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行う第１の画像認識部と、
低解像度の前記学習画像に比して高解像度の前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記学習画像を前記第１の画像認識部に入力して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、
高解像度の前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、
前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、
前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、
を実行させる画像学習プログラム。
【請求項２】
前記学習データセットは、前記第１の画像認識部が学習するための第１の学習データセットと、前記第２の画像認識部が学習するための第２の学習データセットと、を有し、
前記第１の学習データセットは、第１の学習画像と、前記第１の学習画像に対応する第１の教師画像と、を含み、
前記第２の学習データセットは、第２の学習画像と、前記第２の学習画像に対応する第２の教師画像と、を含み、
前記第２の教師画像は、前記第１の教師画像に比して高解像度となる画像となっており、
前記第１のステップを実行する前に、前記第１の学習画像を前記第１の画像認識部に入力し、前記第１の画像認識部により前記第１の学習画像の画像セグメンテーションを行って、前記第１の出力画像を取得する第５のステップと、
前記第１の教師画像に対する前記第１の出力画像の第１の誤差を取得する第６のステップと、
前記第１の誤差に基づいて、前記第１の画像認識部による画像セグメンテーションを修正する第７のステップと、をさらに実行させ、
前記第１のステップでは、前記第２の学習画像を前記第１の画像認識部に入力して、前記第１の出力画像を取得し、
前記第２のステップでは、前記第２の学習画像と前記第１の出力画像とを前記第２の画像認識部に入力して、前記第２の出力画像を取得し、
前記第３のステップでは、前記第２の教師画像に対する前記第２の出力画像の前記第２の誤差を取得する請求項１に記載の画像学習プログラム。
【請求項３】
前記第２のステップでは、前記第１の出力画像を高解像度の前記学習画像と同じ解像度にして、前記第１の出力画像を前記第２の画像認識部に入力する請求項１または２に記載の画像学習プログラム。
【請求項４】
前記第４のステップでは、前記第２の誤差に基づく、前記第１の画像認識部による画像セグメンテーションの処理の修正を遮断する請求項１から３のいずれか１項に記載の画像学習プログラム。
【請求項５】
画像セグメンテーションを行う画像認識装置が実行する画像学習方法であって、
前記画像認識装置の学習に用いられる学習データセットは、
前記画像認識装置の学習対象の画像となる学習画像と、
前記学習画像に対応する教師画像と、を含み、
前記画像認識装置は、
前記学習画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行う第１の画像認識部と、
低解像度の前記学習画像に比して高解像度の前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記学習画像を前記第１の画像認識部に入力して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、
高解像度の前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、
前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、
前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、
を含む画像学習方法。
【請求項６】
入力された入力画像の画像セグメンテーションを行う画像認識装置によって実行される画像認識プログラムであって、
前記画像認識装置は、
前記入力画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行う第１の画像認識部と、
低解像度の前記入力画像に比して高解像度の前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記入力画像を前記第１の画像認識部に入力して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、
高解像度の前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、
を実行させる画像認識プログラム。
【請求項７】
取得した前記第１の出力画像と、前記第１の出力画像に対応する前記第２の出力画像とを関連付けて取得する第１０のステップを、さらに実行させる請求項６に記載の画像認識プログラム。
【請求項８】
前記第９のステップでは、前記第１の出力画像を高解像度の前記入力画像と同じ解像度にして、前記第１の出力画像を前記第２の画像認識部に入力する請求項６または７に記載の画像認識プログラム。
【請求項９】
取得した前記第１の出力画像と取得した前記第２の出力画像とを混在させて所定のフレームレートで出力する第１１のステップを、さらに実行させる請求項６から８のいずれか１項に記載の画像認識プログラム。
【請求項１０】
入力された入力画像の画像セグメンテーションを行う画像認識装置が実行する画像認識方法であって、
前記画像認識装置は、
前記入力画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行う第１の画像認識部と、
低解像度の前記入力画像に比して高解像度の前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記入力画像を前記第１の画像認識部に入力して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、
高解像度の前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、
を含む画像認識方法。
【請求項１１】
入力された入力画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行う第１の画像認識部と、
低解像度の前記入力画像に比して高解像度の前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、
前記第１の画像認識部は、前記入力画像が入力されると、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行って第１の出力画像を生成し、生成した前記第１の出力画像を前記第２の画像認識部へ向けて出力し、
前記第２の画像認識部は、高解像度の前記入力画像と前記第１の出力画像とが入力されると、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記入力画像の画像セグメンテーションを行って、第２の出力画像を出力する画像認識装置。
【請求項１２】
前記第１の画像認識部及び前記第２の画像認識部は、セマンティック・セグメンテーションによる画像セグメンテーションを行う請求項１１に記載の画像認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、及び画像認識装置に関する。
【背景技術】
【０００２】
画像認識技術として、Fully  Convolutional  Network（ＦＣＮ：全層畳み込みネットワーク）を用いたSemantic  Segmentation（セマンティック・セグメンテーション）が知られている（例えば、非特許文献１参照）。セマンティック・セグメンテーションは、デジタル画像のピクセル単位でのクラス分類（クラス推論）を行っている。つまり、セマンティック・セグメンテーションは、デジタル画像の各ピクセルに対してクラス推論を行い、推論結果として、各ピクセル対してクラスをラベリングすることで、デジタル画像の領域分割を行う。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】Long,  Jonathan,  Evan  Shelhamer,  and  Trevor  Darrell.  "Fully  convolutional  networks  for  semantic  segmentation."  Proceedings  of  the  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition.  2015.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ここで、セマンティック・セグメンテーションに用いられるＦＣＮは、一般的に、エンコーダ（Encoder）を含んでいる。エンコーダは、入力された入力画像の解像度を低くするダウンサンプリングを行っている。ダウンサンプリングを行うと入力画像に含まれる局所的な情報（例えば、小さな物体等）が欠落する。このため、入力画像に含まれる局所的な情報に対して、画像セグメンテーションを行うことが困難となる。
【０００５】
本発明は、画像セグメンテーションの認識精度を向上させることができる画像学習プログラム、画像学習方法、画像認識プログラム、画像認識方法、及び画像認識装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
態様の１つに係る画像学習プログラムは、画像セグメンテーションを行う画像認識装置によって実行される画像学習プログラムであって、前記画像認識装置の学習に用いられる学習データセットは、前記画像認識装置の学習対象の画像となる学習画像と、前記学習画像に対応する教師画像と、を含み、前記画像認識装置は、前記学習画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行う第１の画像認識部と、低解像度の前記学習画像に比して高解像度の前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記学習画像を前記第１の画像認識部に入力して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、高解像度の前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、を実行させる。
【０００７】
態様の１つに係る画像学習方法は、画像セグメンテーションを行う画像認識装置が実行する画像学習方法であって、前記画像認識装置の学習に用いられる学習データセットは、前記画像認識装置の学習対象の画像となる学習画像と、前記学習画像に対応する教師画像と、を含み、前記画像認識装置は、前記学習画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行う第１の画像認識部と、低解像度の前記学習画像に比して高解像度の前記学習画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記学習画像を前記第１の画像認識部に入力して、低解像度の前記学習画像を生成し、生成した低解像度の前記学習画像の画像セグメンテーションを行って、第１の出力画像を取得する第１のステップと、高解像度の前記学習画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記学習画像の画像セグメンテーションを行って、第２の出力画像を取得する第２のステップと、前記教師画像に対する前記第２の出力画像の第２の誤差を取得する第３のステップと、前記第２の誤差に基づいて、前記第２の画像認識部による画像セグメンテーションの処理を修正する第４のステップと、を含む。
【０００８】
態様の１つに係る画像認識プログラムは、入力された入力画像の画像セグメンテーションを行う画像認識装置によって実行される画像認識プログラムであって、前記画像認識装置は、前記入力画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行う第１の画像認識部と、低解像度の前記入力画像に比して高解像度の前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記入力画像を前記第１の画像認識部に入力して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、高解像度の前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、を実行させる。
【０００９】
態様の１つに係る画像認識方法は、入力された入力画像の画像セグメンテーションを行う画像認識装置が実行する画像認識方法であって、前記画像認識装置は、前記入力画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行う第１の画像認識部と、低解像度の前記入力画像に比して高解像度の前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記入力画像を前記第１の画像認識部に入力して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行って、第１の出力画像を取得する第８のステップと、高解像度の前記入力画像と前記第１の出力画像とを前記第２の画像認識部に入力し、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記入力画像の画像セグメンテーションを行って、第２の出力画像を取得する第９のステップと、を含む。
【００１０】
態様の１つに係る画像認識装置は、入力された入力画像の解像度を低くするダウンサンプリングを実行して、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行う第１の画像認識部と、低解像度の前記入力画像に比して高解像度の前記入力画像の画像セグメンテーションを行う第２の画像認識部と、を備え、前記第１の画像認識部は、前記入力画像が入力されると、低解像度の前記入力画像を生成し、生成した低解像度の前記入力画像の画像セグメンテーションを行って第１の出力画像を生成し、生成した前記第１の出力画像を前記第２の画像認識部へ向けて出力し、前記第２の画像認識部は、高解像度の前記入力画像と前記第１の出力画像とが入力されると、前記第１の出力画像を用いて前記第２の画像認識部により高解像度の前記入力画像の画像セグメンテーションを行って、第２の出力画像を出力する。
【図面の簡単な説明】
【００１１】
【図１】図１は、実施形態に係る画像認識装置の概要を示す図である。
【図２】図２は、実施形態に係る画像認識装置の画像認識部の概要を示す図である。
【図３】図３は、画像認識装置に入力される入力画像の一例を示す図である。
【図４】図４は、画像認識装置から出力される出力画像の一例を示す図である。
【図５】図５は、学習データセットの一例を示す図である。
【図６】図６は、画像認識装置の画像学習に関する処理の一例を示す図である。
【図７】図７は、画像認識装置の画像学習に関する処理の一例を示す図である。
【図８】図８は、画像認識装置の画像学習に関する処理の一例を示す図である。
【図９】図９は、画像認識装置の画像認識に関する処理の一例を示す図である。
【図１０】図１０は、画像認識装置の画像認識に関する処理の一例を示す図である。
【図１１】図１１は、画像認識装置の画像認識に関する処理の一例を示す図である。
【発明を実施するための形態】
【００１２】
以下、本発明につき図面を参照しつつ詳細に説明する。なお、下記の発明を実施するための形態（以下実施形態という）により本発明が限定されるものではない。また、下記の実施形態における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。
【００１３】
（実施形態）
図１は、実施形態に係る画像認識装置の概要を示す図である。画像認識装置１は、入力される入力画像Ｉに含まれるオブジェクトを認識し、認識した結果を出力画像Ｏとして出力するものである。画像認識装置１は、カメラ等の撮像装置において撮像された撮影画像が入力画像Ｉとして入力される。画像認識装置１は、入力画像Ｉに対して画像セグメンテーションを行う。画像セグメンテーションとは、デジタル画像の分割された画像領域に対してクラスをラベリングすることであり、クラス推論（クラス分類）ともいう。つまり、画像セグメンテーションとは、デジタル画像の分割された所定の画像領域が、何れのクラスであるかを判別して、画像領域が示すクラスを識別するための識別子（ラベル）を付すことである。画像認識装置１は、入力画像Ｉを画像セグメンテーション（クラス推論）した画像を、出力画像Ｏとして出力する。
【００１４】
画像認識装置１は、例えば、車の車載認識カメラに設けられている。車載認識カメラは、車の走行状況を所定のフレームレートでリアルタイムに撮像し、撮像した撮影画像を画像認識装置１に入力する。画像認識装置１は、所定のフレームレートで入力される撮影画像を入力画像Ｉとして取得する。画像認識装置１は、入力画像Ｉに含まれるオブジェクトをクラス分類して、クラス分類された画像を出力画像Ｏとして、所定のフレームレートで出力する。なお、画像認識装置１は、車載認識カメラへの搭載に限定されず、他の装置に設けてもよい。
【００１５】
先ず、図３を参照して、入力画像Ｉについて説明する。図３は、画像認識装置１に入力される入力画像Ｉの一例を示す図である。入力画像Ｉは、複数の画素（ピクセル）からなるデジタル画像である。入力画像Ｉは、例えば、カメラ等の撮像装置に設けられる撮像素子によって生成される、撮像素子の画素数に応じた解像度の画像となっている。つまり、入力画像Ｉは、画像の画素数を高くするアップサンプリング処理、または、画像の画素数を低くするダウンサンプリング処理が行われていない、高解像度となるオリジナルの原画像となっている。
【００１６】
次に、図４を参照して、出力画像Ｏについて説明する。図４は、画像認識装置１から出力される出力画像Ｏの一例を示す図である。出力画像Ｏは、クラスごとに領域分割されている。クラスは、例えば、入力画像Ｉに含まれるオブジェクトを含み、人、車、道、建物等である。出力画像Ｏは、ピクセル単位でオブジェクトごとのクラス分類がなされ、ピクセル単位ごとに分類されたクラスがラベリングされることで、クラスごとに領域分割されている。図４では、例えば、人のクラスに分類された画像領域Ｏａと、車のクラスに分類された画像領域Ｏｂと、道路のクラスに分類された画像領域Ｏｃとを図示している。なお、図４の出力画像Ｏは一例であり、このクラス分類に、特に限定されない。また、出力画像Ｏは、入力画像Ｉと同じ解像度となっている。
【００１７】
再び図１を参照して、画像認識装置１について説明する。画像認識装置１は、制御部５と、記憶部６と、画像認識部７とを備えている。
【００１８】
記憶部６は、プログラム及びデータを記憶する。また、記憶部６は、制御部５の処理結果を一時的に記憶する作業領域としても利用してもよい。記憶部６は、半導体記憶デバイス、及び磁気記憶デバイス等の任意の記憶デバイスを含んでよい。また、記憶部６は、複数の種類の記憶デバイスを含んでよい。また、記憶部６は、メモリカード等の可搬の記憶媒体と、記憶媒体の読み取り装置との組み合わせを含んでよい。
【００１９】
記憶部６は、プログラムとして、画像学習プログラムＰ１と、画像認識プログラムＰ２とを含む。画像学習プログラムＰ１は、画像認識部７に学習を行わせるためのプログラムである。画像認識プログラムＰ２は、画像認識部７に画像認識を行わせるためのプログラムである。また、記憶部６は、データとして、各種画像と、学習データセットとを含む。各種画像は、画像認識装置１に入力される入力画像Ｉ、画像認識装置１から出力される出力画像Ｏ等である。学習データセットは、画像認識部７の学習に用いられるデータである。
【００２０】
制御部５は、画像認識装置１の動作を統括的に制御して各種の機能を実現する。制御部５は、例えば、ＣＰＵ（Central  Processing  Unit）等の集積回路を含んでいる。具体的に、制御部５は、記憶部６に記憶されているプログラムに含まれる命令を実行して、画像認識部７等を制御することによって各種機能を実現する。
【００２１】
制御部５は、例えば、画像学習プログラムＰ１を実行することにより、学習データセットを用いて、画像認識部７の学習を実行させる。また、制御部５は、例えば、画像認識プログラムＰ２を実行することにより、画像認識部７による入力画像Ｉの画像認識を実行させる。
【００２２】
次に、図２を参照して、画像認識部７について説明する。図２は、実施形態に係る画像認識装置の画像認識部の概要を示す図である。画像認識部７は、ＧＰＵ（Graphics  Processing  Unit）等の集積回路を含んでいる。画像認識部７は、第１の画像認識部１１と、第２の画像認識部１２とを備えている。画像認識部７は、入力画像Ｉが入力されると、入力画像Ｉを第１の画像認識部１１及び第２の画像認識部１２にそれぞれ入力する。
【００２３】
第１の画像認識部１１は、入力画像Ｉの解像度を低くして、入力画像Ｉを広範に捉えて領域分割を行うタスクを実行する。第１の画像認識部１１は、例えば、セマンティック・セグメンテーションを用いた画像セグメンテーションを行っている。セマンティック・セグメンテーションは、入力画像Ｉの各ピクセルに対してクラス推論を行い、推論結果として、各ピクセルに対してクラスをラベリングすることで、入力画像Ｉの領域分割を行う。第１の画像認識部１１は、入力画像Ｉが入力されると、入力画像Ｉのピクセルごとにクラス分類し、クラス分類された画像を、第１の出力画像Ｏ１として出力する。つまり、第１の画像認識部１１は、後述する第２の画像認識部１２に比して、入力画像Ｉを大局的に取り扱って領域分割を行い、第１の出力画像Ｏ１を出力する。
【００２４】
第１の画像認識部１１は、ＣＮＮ（Convolution  Neural  Network）またはＦＣＮ（Fully  Convolutional  Network）等の畳み込み層を含むニューラル・ネットワーク（以下、単にネットワークともいう）を用いた画像セグメンテーションを行っている。第１の画像認識部１１は、ダウンサンプリング層２１と、エンコーダ２２と、デコーダ２３とを有している。
【００２５】
ダウンサンプリング層２１は、入力画像Ｉの解像度を低くして、低解像度の入力画像Ｉを生成するダウンサンプリングを実行している。ダウンサンプリング層２１は、低解像度の入力画像Ｉをエンコーダ２２に出力する。なお、ダウンサンプリング層２１は、例えば、入力画像Ｉの高さＨ及び幅Ｗの画素数を半分として、入力画像Ｉの解像度を１／４としている。
【００２６】
エンコーダ２２は、低解像度の入力画像Ｉに対してエンコード処理を実行する。エンコード処理は、低解像度の入力画像Ｉの特徴量を抽出した特徴マップ（Feature  Map）を生成しつつ、特徴マップの解像度を低くするダウンサンプリング（プーリングともいう）を実行する処理である。具体的に、エンコード処理では、畳み込み層とプーリング層とにおいて低解像度の入力画像Ｉに処理が行われる。畳み込み層では、入力画像Ｉの特徴量を抽出するためのカーネル（フィルタ）を、入力画像Ｉにおいて所定のストライドで移動させる。そして、畳み込み層では、畳み込み層の重みに基づいて、入力画像Ｉの特徴量を抽出するための畳み込み計算が行われ、この畳み込み計算により特徴量が抽出された特徴マップを生成する。生成される特徴マップは、カーネルのチャネル数に応じた数だけ生成される。プーリング層では、特徴量が抽出された特徴マップを縮小して、低解像度となる特徴マップを生成する。エンコード処理では、畳み込み層における処理とプーリング層における処理とを複数回繰り返し実行することで、ダウンサンプリングされた特徴量を有する特徴マップを生成する。
【００２７】
デコーダ２３は、エンコード処理後の特徴マップに対してデコード処理を実行する。デコード処理は、特徴マップの解像度を高くするアップサンプリング（アンプーリングともいう）を実行する処理である。具体的に、デコード処理は、逆畳み込み層とアンプーリング層とにおいて特徴マップに処理が行われる。アンプーリング層では、特徴量を含む低解像度の特徴マップを拡大して、高解像度となる特徴マップを生成する。逆畳み込み層では、特徴マップに含まれる特徴量を、復元させるための逆畳み込み計算が、逆畳み込み層の重みに基づいて実行され、この計算により特徴量を復元させた特徴マップを生成する。そして、デコード処理では、アンプーリング層における処理と逆畳み込み層における処理とを複数回繰り返し実行することで、アップサンプリングされ、領域分割された画像である第１の出力画像Ｏ１を生成する。第１の出力画像Ｏ１は、画像認識部７に入力される入力画像Ｉと同じ解像度になるまで、アップサンプリングされる。
【００２８】
以上のように、第１の画像認識部１１は、入力画像Ｉに対してダウンサンプリングを行って、低解像度の入力画像Ｉとする。この後、第１の画像認識部１１は、低解像度の入力画像Ｉに対して、エンコード処理及びデコード処理を実行し、ピクセル単位でクラス推論（クラス分類）を行うことで、低解像度の入力画像Ｉの画像セグメンテーションを行う。そして、第１の画像認識部１１は、低解像度の入力画像Ｉをクラスごとに領域分割した画像を、第１の出力画像Ｏ１として出力する。
【００２９】
なお、第１の画像認識部１１は、セマンティック・セグメンテーションを用いた画像セグメンテーションに適用して説明したが、特に限定されない。第１の画像認識部１１は、入力画像Ｉの解像度を低くして、入力画像Ｉを広範に捉えて領域分割を行うタスクを実行可能であれば、例えば、異なるネットワークを用いた画像セグメンテーションを実行するものであってもよい。
【００３０】
ここで、第１の画像認識部１１の画像認識に係る計算量について説明する。畳み込み層の計算量は、（１）式に示す関係式により表される。ここで、Ｋは、畳み込み層で用いられるカーネルサイズである。Ｈ×Ｗは、入力画像Ｉの画像サイズである。Ｃは、カーネルのチャネル数である。Ｃ’は、畳み込み層に入力される特徴マップのチャネル数である。ＳＴは、入力画像Ｉにおいて移動するカーネルのストライドである。
【００３１】
畳み込み層の計算量＝（Ｋ２×Ｈ×Ｗ×Ｃ×Ｃ’）／ＳＴ        ・・・（１）
【００３２】
第１の画像認識部１１では、ダウンサンプリング層２１において、入力画像Ｉの解像度を低くしている。このため、上記の（１）式に示す入力画像Ｉの画像サイズ（Ｈ×Ｗ）が小さいものとなることから、畳み込み層の計算量は小さいものとなる。よって、第１の画像認識部１１では、入力画像Ｉの解像度を低くすることで、第１の画像認識部１１による入力画像Ｉの画像認識のタスクは、計算負荷の低いタスクとなっている。
【００３３】
第１の画像認識部１１は、その出力側が、第２の画像認識部１２の入力側に接続されている。このため、第１の画像認識部１１は、第１の出力画像Ｏ１を、第２の画像認識部１２に入力する。また、第１の画像認識部１１は、第１の出力画像Ｏ１を、中間画像として外部に出力している。
【００３４】
第２の画像認識部１２は、第１の画像認識部１１に比して入力画像Ｉを局所的に捉えて領域分割を行うタスクを実行する。第２の画像認識部１２は、第１の画像認識部１１と同様に、例えば、セマンティック・セグメンテーションを用いた画像セグメンテーションを行っている。第２の画像認識部１２には、入力画像Ｉと第１の出力画像Ｏ１とが入力される。第２の画像認識部１２は、入力画像Ｉの解像度を低下させずに、画像セグメンテーションを行う。第２の画像認識部１２は、入力画像Ｉと第１の出力画像Ｏ１とが入力されると、第１の出力画像Ｏ１を用いて、入力画像Ｉのピクセルごとにクラス分類を行い、クラス分類された画像を、第２の出力画像Ｏ２として出力する。つまり、第２の画像認識部１２は、第１の出力画像Ｏ１をヒントとして、入力画像Ｉに対して領域分割を行って、第２の出力画像Ｏ２を出力する。
【００３５】
第２の画像認識部１２は、入力画像Ｉの特徴量を抽出する特徴量抽出処理を実行する。さらに、第２の画像認識部１２は、第１の出力画像Ｏ１と特徴量抽出処理が行われる画像とを統合するフュージョン処理を実行して、ピクセル単位のクラス推論を行っている。
【００３６】
特徴量抽出処理は、複数の畳み込み層において入力画像Ｉの特徴量を抽出する処理であり、エンコーダ２２における畳み込み層の処理とほぼ同様である。また、特徴量抽出処理では、プーリング層を省いた処理となっている。畳み込み層では、入力画像Ｉの特徴量を抽出するための畳み込み計算が、畳み込み層の重みに基づいて実行され、この計算により特徴量が抽出された特徴マップを生成する。特徴量抽出処理では、入力画像Ｉに対して畳み込み計算が複数回実行されることで、特徴マップを生成する。
【００３７】
フュージョン処理は、第１の出力画像Ｏ１をヒントとして、特徴量抽出処理が行われる特徴マップをマージして、クラス推論を行うことにより、クラスごとに領域分割された画像を生成し、入力画像Ｉと同じ解像度の第２の出力画像Ｏ２を生成する。
【００３８】
以上のように、第２の画像認識部１２は、入力画像Ｉに対して、特徴量抽出処理及びフュージョン処理を実行し、第１の出力画像Ｏ１をヒントとして、ピクセル単位でクラス推論（クラス分類）を行うことで、入力画像Ｉの画像セグメンテーションを行う。また、第２の画像認識部１２は、画像セグメンテーションされた入力画像Ｉを、第２の出力画像Ｏ２として出力する。
【００３９】
ここで、第２の画像認識部１２では、カーネルのチャネル数Ｃと、畳み込み層に入力される特徴マップのチャネル数Ｃ’とを、第１の画像認識部１１に比して小さくしている。カーネルのチャネル数Ｃと畳み込み層に入力される特徴マップのチャネル数Ｃ’との積は、画像認識の表現力である。つまり、第２の画像認識部１２の表現力は、第１の画像認識部１１に比して小さいものとなっている。これは、第２の画像認識部１２では、入力画像Ｉの画像セグメンテーションに際して、第１の出力画像Ｏ１をヒントとしていることから、表現力が小さい場合であっても、画像認識の精度を担保できるからである。
【００４０】
なお、第２の画像認識部１２は、セマンティック・セグメンテーションを用いた画像セグメンテーションに適用して説明したが、特に限定されない。第２の画像認識部１２は、第１の画像認識部１１に比して入力画像Ｉを局所的に捉えて領域分割を行うタスクを実行可能であれば、例えば、異なるネットワークを用いた画像セグメンテーションを実行するものであってもよい。
【００４１】
ここで、第２の画像認識部１２の画像認識に係る計算量について説明する。第２の画像認識部１２では、第１の画像認識部１１に比して表現力が小さいものとなっている。このため、上記の（１）式に示す表現力（Ｃ×Ｃ’）が小さいものとなることから、畳み込み層の計算量は小さいものとなる。よって、第２の画像認識部１２では、画像認識の表現力を小さくすることで、第２の画像認識部１２による入力画像Ｉの画像認識のタスクは、計算負荷の低いタスクとなっている。
【００４２】
第２の画像認識部１２は、第２の出力画像Ｏ２を外部に出力する。また、第２の画像認識部１２は、第２の出力画像Ｏ２の生成時に用いた第１の出力画像Ｏ１を、第２の出力画像Ｏ２に関連付けて出力可能となっている。
【００４３】
以上から、第１の画像認識部１１は、第２の画像認識部１２と比べて入力画像Ｉを大局的に捉えて領域分割を行うべく、入力画像Ｉをダウンサンプリングして、低解像度の入力画像Ｉとしていることから、計算負荷の低いタスクとなっている。また、第２の画像認識部１２は、第１の画像認識部１１と比べて入力画像Ｉを局所的に捉えて領域分割を行う際に、第１の出力画像Ｏ１を用いて入力画像Ｉの領域分割を行う。このため、第２の画像認識部１２は、第１の画像認識部１１と比べて表現力の低い画像認識でよいことから、計算負荷の低いタスクとなっている。
【００４４】
次に、画像認識装置１の学習について説明する。画像認識装置１の学習には、学習データセットが用いられる。図５は、学習データセットの一例を示す図である。学習データセットは、学習対象となる画像である学習画像と、学習画像に対応する教師画像と、を含む。学習画像は、入力画像Ｉと同様に、デジタル画像である。教師画像は、学習画像に対応する画像セグメンテーションされた回答となる画像、つまり、領域分割された画像となっている。教師画像は、アノテーション作業により生成される画像となっている。
【００４５】
学習データセットは、第１の画像認識部１１の学習に用いられる第１の学習データセットＤ１と、第２の画像認識部１２の学習に用いられる第２の学習データセットＤ２とを含む。
【００４６】
図５に示すように、第１の学習データセットＤ１は、第１の学習画像Ｇ１と、第１の教師画像Ｔ１とを含む。第１の学習画像Ｇ１は、第１の画像認識部１１の学習対象となる画像であり、入力画像Ｉと同様に、デジタル画像である。第１の教師画像Ｔ１は、ピクセル単位でクラスごとに領域分割された画像となっている。図５に示す第１の教師画像Ｔ１では、例えば、人のクラスに分類された画像領域Ｔ１ａと、車のクラスに分類された画像領域Ｔ１ｂと、道路のクラスに分類された画像領域Ｔ２ｃとを含んでいる。
【００４７】
第２の学習データセットＤ２は、第２の学習画像Ｇ２と、第２の教師画像Ｔ２とを含む。第２の学習画像Ｇ２は、第２の画像認識部１２の学習対象となる画像であり、入力画像及び第１の学習画像Ｇ１と同様に、デジタル画像である。なお、図５では、説明を簡単にするために、第１の学習画像Ｇ１と第２の学習画像Ｇ２とを同じ画像としているが、異なる画像であってもよい。第２の教師画像Ｔ２は、第１の教師画像Ｔ１と同様に、ピクセル単位でクラスごとに領域分割された画像となっている。図５に示す第２の教師画像Ｔ２では、第１の教師画像Ｔ１と同様に、人のクラスに分類された画像領域Ｔ２ａと、車のクラスに分類された画像領域Ｔ２ｂと、道路のクラスに分類された画像領域Ｔ２ｃとを含んでいる。
【００４８】
ここで、第１の学習データセットＤ１の第１の教師画像Ｔ１は、第２の学習データセットＤ２の第２の教師画像Ｔ２に比して、低解像度の教師画像となっている。つまり、第１の教師画像Ｔ１及び第２の教師画像Ｔ２は、ピクセル単位ごとに領域分割された画像であるものの、第１の教師画像Ｔ１は、画像サイズが小さく、第２の教師画像Ｔ２は、画像サイズが大きなものとなっている。
【００４９】
なお、実施形態では、第１の教師画像Ｔ１を第２の教師画像Ｔ２に比して、低解像度の教師画像としたが、特に限定されない。第１の教師画像Ｔ１と第２の教師画像Ｔ２とを同じ解像度としてもよい。すなわち、第１の学習データセットＤ１と第２の学習データセットＤ２とを同じ学習データセットとしてもよい。換言すれば、単一の学習データセットを用いて、第１の画像認識部１１及び第２の画像認識部１２の学習を行ってもよい。
【００５０】
次に、図６から図８を参照して、第１の学習データセットＤ１及び第２の学習データセットＤ２を用いた画像認識装置１の学習に関する処理について説明する。図６から図８は、画像認識装置の画像学習に関する処理の一例を示す図である。画像認識装置１の学習では、第１の画像認識部１１の学習を行ってから、第２の画像認識部１２の学習を行っている。
【００５１】
図６を参照して、第１の学習データセットＤ１を用いて、第１の画像認識部１１の学習を行う処理について説明する。第１の画像認識部１１の学習を行う処理では、第１の学習画像Ｇ１を第１の画像認識部１１に入力し、第１の画像認識部１１により第１の学習画像Ｇ１の画像セグメンテーションを行って、第１の出力画像Ｏ１を取得するステップ（第５のステップ）を実行する。
【００５２】
具体的に、第１の学習データセットＤ１の第１の学習画像Ｇ１が、画像認識装置１の第１の画像認識部１１に入力される（ステップＳ１）。第１の学習画像Ｇ１が入力されると、第１の画像認識部１１は、第１の学習画像Ｇ１を入力画像として、第１の学習画像Ｇ１をダウンサンプリングする（ステップＳ２）。第１の画像認識部１１は、低解像度となった第１の学習画像Ｇ１に対してエンコード処理を実行する（ステップＳ３）。第１の画像認識部１１は、エンコード処理を実行することで、ダウンサンプリングされた特徴量を含む低解像度の特徴マップを生成する。第１の画像認識部１１は、ダウンサンプリングされた特徴量を含む特徴マップに対してデコード処理を実行する（ステップＳ４）。第１の画像認識部１１は、デコード処理を実行することで、特徴量を含む低解像度の特徴マップを復元しながらアップサンプリングして、第１の学習画像Ｇ１と同じ解像度とする。そして、第１の画像認識部１１は、画像をピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ５）。第１の画像認識部１１は、クラス推論の結果として、第１の出力画像Ｏ１を取得する（ステップＳ６）。
【００５３】
次に、第１の画像認識部１１の学習を行う処理では、第１の教師画像Ｔ１に対する第１の出力画像Ｏ１の第１の誤差を取得するステップ（ステップＳ７：第６のステップ）を実行する。
【００５４】
具体的に、ステップＳ７において、第１の画像認識部１１は、第１の出力画像Ｏ１を取得すると、第１の学習データセットＤ１の第１の教師画像Ｔ１を取得する。第１の画像認識部１１は、取得した第１の教師画像Ｔ１と第１の出力画像Ｏ１とから、第１の教師画像Ｔ１と第１の出力画像Ｏ１との誤差量を第１の誤差として算出する。誤差量は、Cross  Entropy関数を用いて誤差計算を行うことにより算出される。
【００５５】
そして、第１の画像認識部１１の学習を行う処理では、第１の誤差に基づいて、第１の画像認識部１１による画像セグメンテーションを修正するステップ（第７のステップ）を実行する。
【００５６】
具体的に、第１の画像認識部１１は、第１の誤差を取得すると、誤差量に基づいて誤差逆伝播法によりネットワークにおける誤差が修正されるように、ネットワークの畳み込み層及び逆畳み込み層の重みを学習させ、ネットワークを更新する（ステップＳ８）。第１の画像認識部１１は、ステップＳ８の実行により、第１の学習データセットＤ１を用いた学習を終了する。そして、第１の画像認識部１１は、ステップＳ１からステップＳ８を、第１の学習データセットＤ１のセット数に応じて繰り返し実行する。
【００５７】
次に、図７及び図８を参照して、第２の学習データセットＤ２を用いて、第２の画像認識部１２の学習を行う処理について説明する。第２の画像認識部１２の学習を行う処理では、第１の画像認識部１１は学習済みとなっており、第１の画像認識部１１から出力される第１の出力画像Ｏ１が用いられる。第２の画像認識部１２の学習を行う処理では、第２の学習画像Ｇ２を第１の画像認識部１１に入力し、第１の画像認識部１１により第２の学習画像Ｇ２の画像セグメンテーションを行って、第１の出力画像Ｏ１を取得するステップ（第１のステップ）を実行する。
【００５８】
具体的に、図７に示すように、第２の学習データセットＤ２の第２の学習画像Ｇ２が、画像認識装置１の第１の画像認識部１１に入力される（ステップＳ１１）。第２の学習画像Ｇ２が入力されると、第１の画像認識部１１は、第２の学習画像Ｇ２を入力画像として、第２の学習画像Ｇ２をダウンサンプリングする（ステップＳ１２）。第１の画像認識部１１は、低解像度となった第２の学習画像Ｇ２に対してエンコード処理を実行する（ステップＳ１３）。第１の画像認識部１１は、エンコード処理を実行することで、ダウンサンプリングされた特徴量を含む低解像度の特徴マップを生成する。第１の画像認識部１１は、ダウンサンプリングされた特徴量を含む特徴マップに対してデコード処理を実行する（ステップＳ１４）。第１の画像認識部１１は、デコード処理を実行することで、特徴量を含む低解像度の特徴マップを復元しながらアップサンプリングして、第２の学習画像Ｇ２と同じ解像度とする。そして、第１の画像認識部１１は、画像をピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ１５）。第１の画像認識部１１は、クラス推論の結果として、第１の出力画像Ｏ１を取得する（ステップＳ１６）。
【００５９】
次に、第２の画像認識部１２の学習を行う処理では、第２の学習画像Ｇ２と第１の出力画像Ｏ１とを第２の画像認識部１２に入力し、第１の出力画像Ｏ１を用いて第２の画像認識部１２により第２の学習画像Ｇ２の画像セグメンテーションを行って、第２の出力画像Ｏ２を取得するステップ（第２のステップ）を実行する。
【００６０】
具体的に、図８に示すように、第２の学習データセットＤ２の第２の学習画像Ｇ２が、画像認識装置１の第２の画像認識部１２に入力される（ステップＳ２１）。第２の学習画像Ｇ２が入力されると、第２の画像認識部１２は、第２の学習画像Ｇ２を入力画像として、第２の学習画像Ｇ２に対して特徴量抽出処理を実行する（ステップＳ２２）。第２の画像認識部１２は、特徴量抽出処理を実行することで、特徴量を含む特徴マップを生成する。また、第２の画像認識部１２は、特徴量を含む特徴マップに対してフュージョン処理を実行する（ステップＳ２３）。第２の画像認識部１２は、フュージョン処理を実行することで、第１の出力画像Ｏ１をヒントとして、特徴量抽出処理が行われる特徴マップを復元する。そして、第２の画像認識部１２は、特徴マップから、ピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ２４）。第２の画像認識部１２は、クラス推論の結果として、第２の出力画像Ｏ２を取得する（ステップＳ２５）。
【００６１】
次に、第２の画像認識部１２の学習を行う処理では、第２の教師画像Ｔ２に対する第２の出力画像Ｏ２の第２の誤差を取得するステップ（ステップＳ２６：第３のステップ）を実行する。
【００６２】
具体的に、ステップＳ２６において、第２の画像認識部１２は、第２の出力画像Ｏ２を取得すると、第２の学習データセットＤ２の第２の教師画像Ｔ２を取得する。第２の画像認識部１２は、取得した第２の教師画像Ｔ２と第２の出力画像Ｏ２とから、第２の教師画像Ｔ２と第２の出力画像Ｏ２との誤差量を第２の誤差として算出する。誤差量は、Cross  Entropy関数を用いて誤差計算を行うことにより算出される。
【００６３】
そして、第２の画像認識部１２の学習を行う処理では、第２の誤差に基づいて、第２の画像認識部１２による画像セグメンテーションを修正するステップ（第４のステップ）を実行する。
【００６４】
具体的に、第２の画像認識部１２は、第２の誤差を取得すると、誤差量に基づいて誤差逆伝播法によりネットワークにおける誤差が修正されるように、ネットワークの畳み込み層の重みを学習させ、ネットワークを更新する（ステップＳ２７）。ここで、ステップＳ２７において、第２の誤差に基づく学習では、第２の画像認識部１２の学習を行う一方で、第１の画像認識部１１の学習を遮断している。すなわち、第２の誤差は、第２の画像認識部１２へ誤差逆伝播させる一方で、第１の画像認識部１１へ誤差逆伝播させない。このため、ステップＳ２７では、第２の画像認識部１２におけるネットワークが誤差修正される一方で、第１の画像認識部１１におけるネットワークが誤差修正されない。第２の画像認識部１２は、ステップＳ２７の実行により、第２の学習データセットＤ２を用いた学習を終了する。そして、第２の画像認識部１２は、ステップＳ２１からステップＳ２７を、第２の学習データセットＤ２のセット数に応じて繰り返し実行する。
【００６５】
このように、画像認識装置１の学習では、第１の学習データセットＤ１を用いて、第１の学習画像Ｇ１を大局的に捉えるように、第１の画像認識部１１を学習させている。また、画像認識装置１の学習では、第２の学習データセットＤ２を用いて、第２の学習画像Ｇ２を局所的に捉えるように、第２の画像認識部１２を学習させている。
【００６６】
次に、図９及び図１０を参照して、学習済みの画像認識装置１による画像認識について説明する。図９及び図１０は、画像認識装置の画像認識に関する処理の一例を示す図である。画像認識装置１の画像認識に関する処理では、入力画像Ｉを第１の画像認識部１１に入力し、第１の画像認識部１１により入力画像Ｉの画像セグメンテーションを行って、第１の出力画像Ｏ１を取得するステップ（第８のステップ）を実行する。
【００６７】
具体的に、図９に示すように、入力画像Ｉが画像認識装置１に入力される（ステップＳ３１）。入力画像Ｉが入力されると、第１の画像認識部１１は、入力画像Ｉをダウンサンプリングする（ステップＳ３２）。第１の画像認識部１１は、低解像度となった入力画像Ｉに対してエンコード処理を実行する（ステップＳ３３）。第１の画像認識部１１は、エンコード処理を実行することで、ダウンサンプリングされた特徴量を含む低解像度の特徴マップを生成する。第１の画像認識部１１は、ダウンサンプリングされた特徴量を含む特徴マップに対してデコード処理を実行する（ステップＳ３４）。第１の画像認識部１１は、デコード処理を実行することで、特徴量を含む低解像度の特徴マップを復元しながらアップサンプリングして、入力画像Ｉと同じ解像度とする。そして、第１の画像認識部１１は、画像をピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ３５）。第１の画像認識部１１は、クラス推論の結果として、第１の出力画像Ｏ１を取得する（ステップＳ３６）。
【００６８】
次に、画像認識装置１の画像認識に関する処理では、入力画像Ｉと第１の出力画像Ｏ１とを第２の画像認識部１２に入力し、第１の出力画像Ｏ１を用いて第２の画像認識部１２により入力画像Ｉの画像セグメンテーションを行って、第２の出力画像Ｏ２を取得するステップ（第９のステップ）を実行する。
【００６９】
具体的に、図１０に示すように、入力画像Ｉが、画像認識装置１の第２の画像認識部１２に入力される（ステップＳ４１）。入力画像Ｉが入力されると、第２の画像認識部１２は、入力画像Ｉに対して特徴量抽出処理を実行する（ステップＳ４２）。第２の画像認識部１２は、特徴量抽出処理を実行することで、入力画像Ｉから特徴量を含む特徴マップを生成する。また、第２の画像認識部１２は、特徴量を含む特徴マップに対してフュージョン処理を実行する（ステップＳ４３）。第２の画像認識部１２は、フュージョン処理を実行することで、第１の出力画像Ｏ１をヒントとして、特徴量抽出処理が行われる特徴マップを復元する。そして、第２の画像認識部１２は、特徴マップから、ピクセル単位でクラスごとに領域分割するクラス推論を実行する（ステップＳ４４）。第２の画像認識部１２は、クラス推論の結果として、第２の出力画像Ｏ２を取得する（ステップＳ４５）。
【００７０】
このように、画像認識装置１の画像認識では、第１の画像認識部１１において、第２の画像認識部１２と比べて入力画像Ｉをダウンサンプリングできるため、計算負荷の低いタスクで画像認識を行う。そして、画像認識装置１の画像認識では、第２の画像認識部１２において、第１の出力画像Ｏ１を用いて入力画像Ｉの領域分割を行うため、計算負荷の低いタスクで画像認識を行う。
【００７１】
また、画像認識装置１の画像認識に関する処理として、画像認識装置１は、第２の出力画像Ｏ２を取得すると、第２の出力画像Ｏ２を所定のフレームレートで出力するステップを実行する。ここで、画像認識装置１は、計算負荷の軽減のために、取得した第１の出力画像Ｏ１と、取得した第２の出力画像Ｏ２とを混在させて所定のフレームレートで出力してもよい。つまり、画像認識装置１は、第１の出力画像Ｏ１を出力する場合、第２の画像認識部１２による画像認識を実行せずに、画像認識を行ってもよい。
【００７２】
また、画像認識装置１の画像認識に関する処理として、図１１に示す処理を行っている。図１１は、画像認識装置の画像認識に関する処理の一例を示す図である。図１１に示す処理では、画像認識により取得した第１の出力画像Ｏ１と、第１の出力画像Ｏ１に対応する第２の出力画像Ｏ２とを関連付けて取得するステップ（第１０のステップ）を実行する。
【００７３】
具体的に、第１の画像認識部１１が第１の出力画像Ｏ１を中間画像として取得する（ステップＳ５１）。また、第２の画像認識部１２が第１の出力画像Ｏ１に対応する第２の出力画Ｏ２を取得する（ステップＳ５２）。画像認識装置１は、第１の出力画像Ｏ１と第２の出力画像Ｏ２を関連付けて取得する（ステップＳ５３）。
【００７４】
そして、取得された第１の出力画像Ｏ１及び第２の出力画像Ｏ２は、画像認識装置１による画像認識の評価または解析を行う場合において使用される。例えば、画像認識装置１による画像認識に誤認識等の不具合があった場合、第１の出力画像Ｏ１及び第２の出力画像Ｏ２を比較することで、第１の画像認識部１１における異常があったのか、第２の画像認識部１２における異常があったのかを推定することが可能となる。すなわち、第２の出力画像Ｏ２に誤認識がある場合、第１の出力画像Ｏ１に誤認識がなければ、第２の画像認識部１２に異常があると推定できる。一方で、第２の出力画像Ｏ２に誤認識がある場合、第１の出力画像Ｏ１に誤認識があれば、第１の画像認識部１１に異常があると推定できる。
【００７５】
以上のように、実施形態に係る画像認識装置１の学習では、第１の画像認識部１１の学習と、第２の画像認識部１２の学習とに分けることができる。そして、第１の画像認識部１１の学習では、学習画像Ｇ１，Ｇ２を大局的に捉えて領域分割を行うタスクを実行することができる。また、第２の画像認識部１２の学習では、学習画像Ｇ２を局所的に捉えて領域分割を行うタスクを実行することができる。このため、第１の画像認識部１１において、局所的な情報が欠落する場合であっても、第２の画像認識部１２で局所的な情報を捉えることができる。局所的な情報としては、例えば、小さな物体、または遠方の物体である。よって、実施形態に係る画像認識装置１の学習では、局所的な情報の欠落を抑制した画像認識の学習を行うことができる。
【００７６】
また、第１の画像認識部１１の学習では、学習画像Ｇ１，Ｇ２を低解像度とすることで、計算負荷の低いタスクとして実行できる。また、第２の画像認識部１２の学習では、画像認識の表現力を低くすることで、計算負荷の低いタスクとして実行できる。このため、実施形態に係る画像認識装置１では、計算負荷が低く、効率のよい学習を行うことができる。
【００７７】
また、第１の画像認識部１１の学習では、第１の学習データセットＤ１を用いて学習を行うことができるため、第１の画像認識部１１に適した精度のよい学習を行うことができる。同様に、第２の画像認識部１２の学習では、第２の学習データセットＤ２を用いて学習を行うことができるため、第２の画像認識部１２に適した精度のよい学習を行うことができる。
【００７８】
また、第２の画像認識部１２において、第１の出力画像Ｏ１を、第２の学習画像Ｇ２または入力画像Ｉと同じ解像度とすることができる。このため、第２の画像認識部１２における第１の出力画像Ｏ１の処理を、第２の学習画像Ｇ２と同様に取り扱うことができる。
【００７９】
また、第２の画像認識部１２の学習では、取得した第２の誤差を、第１の画像認識部１１に誤差伝播させていないことから、第２の画像認識部１２の学習によって第１の画像認識部１１に与える影響を排することができる。
【００８０】
また、実施形態に係る画像認識装置１の画像認識では、第１の画像認識部１１の画像認識と、第２の画像認識部１２の画像認識とに分けることができる。そして、第１の画像認識部１１の画像認識では、学習画像Ｇ１，Ｇ２を大局的に捉えて領域分割を行うタスクを実行することができる。また、第２の画像認識部１２の画像認識では、学習画像Ｇ２を局所的に捉えて領域分割を行うタスクを実行することができる。このため、第１の画像認識部１１において、局所的な情報が欠落する場合であっても、第２の画像認識部１２で局所的な情報を捉えることができる。よって、実施形態に係る画像認識装置１の画像認識では、局所的な情報の欠落を抑制した画像認識を行うことができる。
【００８１】
また、第１の画像認識部１１の画像認識では、入力画像Ｉを低解像度とすることで、計算負荷の低いタスクとして実行できる。また、第２の画像認識部１２の学習では、画像認識の表現力を低くすることで、計算負荷の低いタスクとして実行できる。このため、実施形態に係る画像認識装置１では、計算負荷が低いことから、画像認識を高速に行うことができる。
【００８２】
また、画像認識装置１の画像認識では、第１の出力画像Ｏ１と、第２の出力画像Ｏ２とを関連付けて取得することができる。このため、画像認識装置１の画像認識の評価または解析等において、第１の画像認識部１１及び第２の画像認識部１２の異常を推定することが可能となる。
【００８３】
また、画像認識装置１の画像認識では、第１の出力画像Ｏ１と第２の出力画像Ｏ２とを混在させて所定のフレームレートで出力することができる。このため、第１の出力画像Ｏ１を出力する場合、第２の画像認識部１２による画像認識を実行せずに、第１の画像認識部１１による画像認識を実行することができるため、画像認識における計算負荷をさらに軽減させることができる。
【００８４】
なお、実施形態において、画像認識部７は、第１の画像認識部１１と第２の画像認識部１２とを含むものとしたが、特に限定されない。画像認識部７は、少なくとも、第１の画像認識部１１と第２の画像認識部１２とを含めばよく、解像度の異なる画像を認識する３つ以上の画像認識部を含むものであってもよい。
【符号の説明】
【００８５】
１  画像認識装置
５  制御部
６  記憶部
７  画像認識部
１１  第１の画像認識部
１２  第２の画像認識部
２１  ダウンサンプリング層
２２  エンコーダ
２３  デコーダ
Ｉ  入力画像
Ｏ  出力画像
Ｐ１  画像学習プログラム
Ｐ２  画像認識プログラム
Ｄ１  第１の学習データセット
Ｄ２  第２の学習データセット
【図１】
2020038574.tif 000003
【図２】
2020038574.tif 000004
【図３】
2020038574.tif 000005
【図４】
2020038574.tif 000006
【図５】
2020038574.tif 000007
【図６】
2020038574.tif 000008
【図７】
2020038574.tif 000009
【図８】
2020038574.tif 000010
【図９】
2020038574.tif 000011
【図１０】
2020038574.tif 000012
【図１１】
2020038574.tif 000013