(57)【要約】【課題】様々な照度状態での画像認識精度を担保すること。【解決手段】態様の１つに係る画像認識方法は、畳み込みニューラルネットワークを用いた画像認識処理をコンピュータが実行する画像認識方法であって、処理対象となる画像を取得する画像取得ステップと、前記画像取得ステップにより取得された画像から照度変化に対して耐性を有する手法を用いて画像特徴量を抽出する画像特徴量抽出ステップと、前記画像特徴量抽出ステップにより抽出された前記画像特徴量を入力とする画像認識処理を実行する画像認識ステップとを含む。【選択図】図１
2020042350.tif 000002
【特許請求の範囲】
【請求項１】
畳み込みニューラルネットワークを用いた画像認識処理をコンピュータが実行する画像認識方法であって、
処理対象となる画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された画像から照度変化に対して耐性を有する手法を用いて画像特徴量を抽出する画像特徴量抽出ステップと、
前記画像特徴量抽出ステップにより抽出された前記画像特徴量を入力とする画像認識処理を実行する画像認識ステップと
を含む画像認識方法。
【請求項２】
前記画像特徴量抽出ステップは、
前記画像の局所領域内に注目画素を設定し、設定した注目画素の輝度値と、当該局所領域内における注目画素以外の周辺画素の輝度値との大小関係に基づいて、当該画像から画像特徴量を抽出する請求項１に記載の画像認識方法。
【請求項３】
前記画像特徴量抽出ステップは、
前記画像の局所領域内に設定した基準領域に含まれる各画素の輝度値の平均値と、前記局所領域内に設定したパターン領域に含まれる各画素の輝度値の平均値との間の大小関係に基づいて、当該画像から画像特徴量を抽出する請求項１に記載の画像認識方法。
【請求項４】
畳み込みニューラルネットワークを用いた画像認識処理を実行するコンピュータに、
処理対象となる画像を取得する画像取得ステップと、
前記画像取得ステップにより取得された画像から照度変化に対して耐性を有する手法を用いて画像特徴量を抽出する画像特徴量抽出ステップと、
前記画像特徴量抽出ステップにより抽出された前記画像特徴量を入力とする画像認識処理を実行する画像認識ステップと
を実行させる画像認識プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本出願は、画像認識方法、及び画像認識プログラムに関する。
【背景技術】
【０００２】
従来、畳み込みニューラルネットワークなどを用いた深層学習を利用して、画像認識を行う技術が知られている。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】A.  Krizhevsky,  I.  Sutskever,  and  G.  E.  Hinton.Image,  “Net  classification  with  deep  convolutionalneural  networks.”In  Proc.  NIPS,  2012.
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来手法の使用環境の照度状態が多様である場合、認識処理を行う画像の画素値であるＲＧＢデータが取り得る値の範囲が膨大となる。このため、使用環境の照度状態の多様性に応じて、ＲＧＢデータが取り得る値の範囲を担保する大量の学習データが必要となる。
【課題を解決するための手段】
【０００５】
態様の１つに係る画像認識方法は、畳み込みニューラルネットワークを用いた画像認識処理をコンピュータが実行する画像認識方法であって、画像取得ステップと、画像特徴量抽出ステップと、画像認識ステップとを含む。画像取得ステップは、処理対象となる画像を取得する。画像特徴量抽出ステップは、画像取得ステップにより取得された画像から照度変化に対して耐性を有する手法を用いて画像特徴量を抽出する。画像認識ステップは、画像特徴量抽出ステップにより抽出された画像特徴量を入力とする画像認識処理を実行する。
【０００６】
態様の１つに係る画像認識プログラムは、畳み込みニューラルネットワークを用いた画像認識処理を実行するコンピュータに、画像取得ステップと、画像特徴量抽出ステップと、画像認識ステップとを実行させる。画像取得ステップは、処理対象となる画像を取得する。画像特徴量抽出ステップは、画像取得ステップにより取得された画像から照度変化に対して耐性を有する手法を用いて画像特徴量を抽出する。画像認識ステップは、画像特徴量抽出ステップにより抽出された画像特徴量を入力とする画像認識処理を実行する。
【図面の簡単な説明】
【０００７】
【図１】図１は、実施形態に係る画像特徴量抽出方法の一例を示すフローチャートである。
【図２】図２は、実施形態に係る画像特徴量抽出ステップによる処理の一例を示す図である。
【図３】図３は、実施形態に係る画像処理装置の機能構成の一例を示す図である。
【図４】図４は、実施形態に係る画像処理装置の処理手順の一例を示すフローチャートである。
【図５】図５は、他の実施形態に係る画像処理装置の機能構成の一例を示す図である。
【図６】図６は、他の実施形態に係る画像特徴量抽出方法の一例を示す図である。
【図７】図７は、他の実施形態に係る画像特徴量抽出方法の一例を示す図である。
【図８】図８は、他の実施形態に係る画像特徴量抽出方法の一例を示す図である。
【図９】図９は、他の実施形態に係る画像特徴量抽出方法の一例を示す図である。
【図１０】図１０は、他の実施形態に係る画像特徴量抽出方法の一例を示す図である。
【図１１】図１１は、他の実施形態に係る画像特徴量抽出方法の一例を示す図である。
【図１２】図１２は、他の実施形態に係る画像処理装置の処理手順の一例を示すフローチャートである。
【図１３】図１３は、実施形態に係る画像認識方法の認識精度の評価実験結果の一例を示す図である。
【図１４】図１４は、実施形態に係る画像処理装置の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【発明を実施するための形態】
【０００８】
本出願に係る実施形態を、図面を参照しつつ詳細に説明する。以下の説明において、同様の構成要素について同一の符号を付すことがある。さらに、重複する説明は省略することがある。
【０００９】
図面を参照しつつ、実施形態に係る画像特徴量抽出方法について説明する。図１は、実施形態に係る画像特徴量抽出方法の一例を示すフローチャートである。
【００１０】
実施形態に係る画像認識方法は、たとえば画像処理装置が、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional  Neural  Network）を用いて画像認識処理を行う方法である。図１に示すように、実施形態に係る画像認識方法は、画像取得ステップＳＴ１と、画像特徴量抽出ステップＳＴ２と、画像認識ステップＳＴ３を含む。
【００１１】
画像取得ステップＳＴ１は、処理対象となる画像を取得する。
【００１２】
画像特徴量抽出ステップＳＴ２は、画像取得ステップＳＴ１により取得された画像から、照度変化に対して耐性を有する手法を用いて画像特徴量を抽出する。
【００１３】
図２は、実施形態に係る画像特徴量抽出ステップによる処理の一例を示す図である。図２に示すように、画像特徴量抽出ステップＳＴ２は、処理対象と取得された画像Ｇ１から処理領域Ａ１を切り出し、切り出した処理領域Ａ１の局所領域ＵＡ１に含まれる９つの画素Ｐｘ１０〜Ｐｘ１８の輝度値をそれぞれ算出する。
【００１４】
続いて、画像特徴量抽出ステップＳＴ２は、たとえ以下の参考文献１に開示された技術であるＬＢＰ（Local  Binary  Pattern）を用いて、入力された画像から画像特徴量を抽出する。参考文献に開示されたＬＢＰ（Local  Binary  Pattern）は、画像内の注目画素と当該注目画素の周辺画素の輝度差分を算出し、その符号によって２値を割り当てることにより、画像の局所領域に含まれる画素間の輝度の大小関係を記述する手法である。また、以下の参考文献に開示されたＬＢＰ（Local  Binary  Pattern）によれば、照明変動等で画像全体の輝度が変化しても画像内の被写体が持つ局所領域の輝度関係性は不変であるので、照度変化に頑健な出力を得ることができる。また、ＬＢＰ（Local  Binary  Pattern）によれば、空間フィルタリングによるピクセルワイズな出力を得ることができる。
（参考文献１）：T.  Ojala,  M.  Pietikainen,  and  D.  Harwood  (1994),  “Performance  evaluation  of  texture  measures  with  classification  based  on  Kullback  discrimination  of  distributions”
【００１５】
具体的には、画像特徴量抽出ステップＳＴ２は、図２に示すように、たとえば局所領域ＵＡ１に含まれる画素Ｐｘ１０を注目画素に設定する。続いて、画像特徴量抽出ステップＳＴ１は、注目画素である画素Ｐｘ１０の輝度値と、注目画素以外の周辺画素である画素Ｐｘ１１〜Ｐｘ１８の輝度値とをそれぞれ比較し、輝度値の大小関係に基づいて２値データを割り当てる。画像特徴量抽出ステップＳＴ１は、周辺画素に対する２値データの割り当て結果であるバイナリデータを画像特徴量として抽出する。
【００１６】
画像認識ステップＳＴ３は、画像特徴量抽出ステップＳＴ２により抽出された画像特徴量を入力とする画像認識処理を実行する。
【００１７】
図３は、実施形態に係る画像処理装置の機能構成の一例を示す図である。図３に示すように、画像処理装置１は、画像データ記憶部１１０と、画像取得部１２０と、画像特徴量抽出部１３０と、画像認識部１４０とを有する。図３に示す画像処理装置は、実施形態に係る画像認識方法を実行するコンピュータの一例である。
【００１８】
画像データ記憶部１１０は、処理対象となる画像の画像データを記憶する。
【００１９】
画像取得部１２０は、画像データ記憶部１１０から処理対象となる画像を取得し、取得した画像を画像特徴量抽出部１３０に入力する。
【００２０】
画像特徴量抽出部１３０は、上述した画像特徴量抽出ステップＳＴ１に対応する処理を実行する。すなわち画像特徴量抽出部１３０は、画像取得部１２０により取得された画像から照度変化に対して耐性を有する手法の１つであるＬＢＰを用いて画僧特徴量を抽出する。具体的には、画像特徴量抽出部１３０は、画像取得部１２０により画像が入力されると、入力された画像の局所領域内に注目画素を設定する。続いて、画像特徴量抽出部１３０は、入力された画像において設定した注目画素の輝度値と、当該注目画素以外の周辺画素の輝度値との間の大小関係に基づいて、当該入力画像から画像特徴量を抽出する（図２参照）。画像特徴量抽出部１３０は、抽出した画像特徴量を画像認識部１４０に入力する。
【００２１】
画像認識部１４０は、上述した画像認識ステップＳＴ２に対応する処理を実行する。すなわち画像認識部１４０は、画像特徴量抽出部１３０により抽出された画像特徴量を入力とする画像認識処理を実行する。画像認識部１４０は、画像特徴量を入力とする畳み込みニューラルネットワークを実行し、処理対象として入力された画像について画素単位のクラス推定の結果を画像の認識結果として出力するセマンティックセグメンテーションネットワークで構成される。画像認識部１４０は、たとえば以下の参考文献２に開示された構造を基にしたネットワーク構造を備える。
（参考文献２）：F.  N.  Iandola,  S.  Han,  M.  W.  Moskewicz,  K.  Ashraf,  W.  J.Dally,  and  K.  Keutzer.  Squeezenet:  Alexnet-level  accuracy  with  50x  fewer  parameters  and  <0.5mb  model  size.arXiv:1602.07360,  2016.
【００２２】
また、画像認識部１４０は、畳み込みニューラルネットワークによる畳み込み計算後に、以下の参考文献３に開示された技術である「Ｂａｔｃｈ  Ｎｏｒｍａｌｉｚａｔｉｏｎ」を実行してもよい。
（参考文献３）：M.  Cordts,  M.  Omran,  S.  Ramos,  T.  Rehfeld,M.  Enzweiler,  R.Benenson,  B.  Schiele,  “The  cityscapes  dataset  for  semantic  urban  scene  understanding”,  IEEE  Conference  on  Computer  Vision  and  Pattern  Recognition  (CVPR2016),  2016.
【００２３】
図４を用いて、実施形態に係る画像処理装置１の処理手順の一例を説明する。図４は、実施形態に係る画像処理装置１の処理手順の一例を示すフローチャートである。
【００２４】
図４に示すように、画像取得部１２０は、画像データ記憶部１１０から取得した処理対象となる画像を画像特徴量抽出部１３０に入力する（ステップＳ１０１）。
【００２５】
続いて、画像特徴量抽出部１３０は、画像取得部１２０により入力された画像からＬＢＰにより画像特徴量を抽出する（ステップＳ１０２）。
【００２６】
画像認識部１４０は、画像特徴量抽出部１３０により抽出された画像特徴量を入力とする画像認識処理を実行し（ステップＳ１０３）、認識結果を出力して（ステップＳ１０４）、図４に示す処理を終了する。
【００２７】
上述してきたように、実施形態に係る画像認識方法は、処理対象となる画像から、たとえばＬＢＰを用いて、照度変化に頑健な画像特徴量を抽出し、抽出した画像特徴量を入力とする畳み込みニューラルネットワークを実行し、処理対象となる画像の画像認識を行う。このため、照度変化が原因で生じる画像データばらつきを抑えることができ、昼または夜などの様々な照度状態での画像認識精度を担保することができる。
【００２８】
画素単位でクラス推定を行うセマンティックセグメンテーションでは、昼と夜の照度違いに対応したクラス推定を実現するために、昼で取り得るデータ空間および夜で取り得るデータ空間のそれぞれを学習する必要がある。これに対して、実施形態に係る画像認識方法によれば、照度変化に頑健な画像特徴量をあらかじめ抽出しておき、抽出した画像特徴量を入力とする畳み込みニューラルネットワークを実行するので、学習データの量が少なかったり、学習済みのデータの照度状態に偏りがあったり、学習済みのデータが照度状態の変化に乏しかったりする場合であっても、クラス推定の精度を担保できる。
【００２９】
本出願の画像特徴量抽出方法は、上述した実施形態に限定される必要はなく、本出願の画像特徴量抽出方法の趣旨を逸脱しない範囲で種々変形して実施することができる。
【００３０】
上述した実施形態において、画像処理装置１の画像特徴量抽出部１３０は、処理対象となる画像の局所領域における注目画素の輝度値と周辺画素の輝度値の大小関係により画像特徴量を抽出する例に限定されない。たとえば、画像特徴量抽出部１３０は、局所領域内の領域間の比較に基づいて画像特徴量を抽出することもできる。
【００３１】
図５は、他の実施形態に係る画像処理装置１の機能構成の一例を示す図である。図５に示す画像処理装置１は、領域パターン記憶部１５０を備える点が上述の実施形態とは異なる。
【００３２】
領域パターン記憶部１５０は、処理対象となる画像の局所領域に含まれる所定数の画素の組合せを規定するための領域パターンの設定に関する情報を記憶する。
【００３３】
画像特徴量抽出部１３０は、ＬＢＰと同様に照度変化に対して耐性を有する手法を用いて、画像取得部１２０により取得された画像から画僧特徴量を抽出する。すなわち画像特徴量抽出部１３０は、画像取得部１２０により取得された画像から処理対象となる画像の局所領域内の領域間の比較に基づいて画像特徴量を抽出する。図６から図１１は、他の実施形態に係る画像特徴量抽出部１３０による処理の一例を示す図である。
【００３４】
図６に示すように、画像特徴量抽出部１３０は、たとえば３×３画素のサイズを有するカーネルＫ１を用いて、処理対象となる画像Ｇ１から画像特徴量を抽出する。
【００３５】
また、図７に示すように、カーネルＫ１には、たとえば画像Ｇ１の局所領域に含まれる所定数の画素の組合せを規定するための８つの領域パターンＰ１〜Ｐ８が予め設定される。領域パターンＰ１〜Ｐ８は、３つの画素からなる相互に排他的な組合せで規定される。カーネルＫ１に予め設定される領域パターンの組合せを規定する画素数は特に限定される必要はない。カーネルＫ１に予め設定する領域パターンの数は特に限定される必要はない。
【００３６】
また、図８に示すように、画像特徴量抽出部１３０は、画像Ｇ１から切り出した処理領域Ａ１について、カーネルＫ１を１画素ずつ移動させながら、カーネルＫ１のサイズに対応する３×３画素の局所領域ごとに、画像特徴量を抽出する。
【００３７】
具体的には、図９に示すように、画像特徴量抽出部１３０は、局所領域ＵＡ１に含まれる９つの画素Ｐｘ１０〜Ｐｘ１８の輝度値をそれぞれ算出する。
【００３８】
続いて、画像特徴量抽出部１３０は、たとえば図９に示すように、画素Ｐｘ１０を注目画素とし、画素Ｐｘ１１〜Ｐｘ１８を周辺画素とする基準領域ＢＡを設定し、基準領域ＢＡの輝度平均値＝「９８」を算出する。
【００３９】
続いて、画像特徴量抽出部１３０は、たとえば図１０に示すように、カーネルＫ１に予め設定される８つの領域パターンＰ１〜Ｐ８に基づいて、局所領域ＵＡ１を３つの画素の組合せで規定される複数のパターン領域ＰＡ１〜ＰＡ８に分ける。続いて、画像特徴量抽出部１３０は、パターン領域ＰＡ１〜ＰＡ８のそれぞれについて輝度平均値を算出する。
【００４０】
すなわち、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１０，Ｐｘ１３，Ｐｘ１６の組合せで規定されたパターン領域ＰＡ１の輝度平均値＝「１０２」を算出する。同様に、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１０，Ｐｘ１１，Ｐｘ１８の組合せで規定されたパターン領域ＰＡ２の輝度平均値＝「５９」を算出する。同様に、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１１，Ｐｘ１４，Ｐｘ１６の組合せで規定されたパターン領域ＰＡ３の輝度平均値＝「１２８」を算出する。同様に、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１０，Ｐｘ１２，Ｐｘ１７の組合せで規定されたパターン領域ＰＡ４の輝度平均値＝「９３」を算出する。同様に、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１３，Ｐｘ１５，Ｐｘ１８の組合せで規定されたパターン領域ＰＡ５の輝度平均値＝「７５」を算出する。同様に、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１１，Ｐｘ１２，Ｐｘ１３の組合せで規定されたパターン領域ＰＡ６の輝度平均値＝「１２８」を算出する。同様に、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１０，Ｐｘ１４，Ｐｘ１５の組合せで規定されたパターン領域ＰＡ７の輝度平均値＝「１６９」を算出する。同様に、画像特徴量抽出部１３０は、たとえば画素Ｐｘ１６，Ｐｘ１７，Ｐｘ１８の組合せで規定されたパターン領域ＰＡ８の輝度平均値＝「８４」を算出する。
【００４１】
続いて、画像特徴量抽出部１３０は、たとえば図１１に示すように、基準領域ＢＡに対応する基準領域輝度平均値（＝「９８」）と、複数のパターン領域ＰＡ１〜ＰＡ８のそれぞれに対応するパターン領域輝度平均値とをそれぞれ比較し、輝度の平均値の大小関係に応じた２値データを、局所領域ＵＡ１の画像特徴量として抽出する。画像特徴量抽出ステップＳＴ４は、パターン領域輝度平均値が基準領域輝度平均値以上であれば「１」を出力し、パターン領域輝度平均値が基準領域輝度平均値以上であれば「０」を出力する。
【００４２】
すなわち、画像特徴量抽出部１３０は、パターン領域ＰＡ１に対応するパターン領域輝度平均値（＝「１０２」）が基準領域輝度平均値（＝「９８」）以上であるので、「１」を出力する。同様に、画像特徴量抽出部１３０は、パターン領域ＰＡ２に対応するパターン領域輝度平均値（＝「５９」）が基準領域輝度平均値（＝「９８」）未満であるので、「０」を出力する。同様に、画像特徴量抽出部１３０は、パターン領域ＰＡ３に対応するパターン領域輝度平均値（＝「１２８」）が基準領域輝度平均値（＝「９８」）以上であるので、「１」を出力する。同様に、画像特徴量抽出部１３０は、パターン領域ＰＡ４に対応するパターン領域輝度平均値（＝「９３」）が基準領域輝度平均値（＝「９８」）未満であるので、「０」を出力する。同様に、画像特徴量抽出部１３０は、パターン領域ＰＡ５に対応するパターン領域輝度平均値（＝「７５」）が基準領域輝度平均値（＝「９８」）未満であるので、「０」を出力する。同様に、画像特徴量抽出部１３０は、パターン領域ＰＡ６に対応するパターン領域輝度平均値（＝「１２８」）が基準領域輝度平均値（＝「９８」）以上であるので、「１」を出力する。同様に、画像特徴量抽出部１３０は、パターン領域ＰＡ７に対応するパターン領域輝度平均値（＝「１６９」）が基準領域輝度平均値（＝「９８」）以上であるので、「１」を出力する。同様に、画像特徴量抽出部１３０は、パターン領域ＰＡ８に対応するパターン領域輝度平均値（＝「８４」）が基準領域輝度平均値（＝「９８」）未満であるので、「０」を出力する。
【００４３】
画像特徴量抽出部１３０は、図１１に示すように、局所領域ＵＡ１の画像特徴量として、パターン領域ＰＡ１〜ＰＡ８のそれぞれのチャンネルに対応した８ビットのバイナリデータ「１０１００１１０」を出力する。
【００４４】
画像認識部１４０は、画像特徴量抽出部１３０により、処理対象となる画像の局所領域内の領域間の比較に基づいて抽出された画像特徴量を入力として、畳み込みニューラルネットワークを実行し、処理対象として入力された画像のクラス推定の結果を画像の認識結果として出力する。
【００４５】
このように、他の実施形態に係る画像特徴量抽出部１３０は、処理対象となる画像の局所領域内の領域間に比較に基づいて、処理対象となる画像から画像特徴量の抽出を行うので、ＬＢＰと同様に、照度変化に頑健な画像特徴量を抽出できる。また、他の実施形態に係る画像特徴量抽出部１３０によれば、処理対象となる画像を領域間で比較して画像特徴量の抽出を行うので、画素間の比較結果に基づいて被写体の特徴を抽出するＬＢＰよりもランダムノイズに強く、ランダムノイズの影響を低減させた画像特徴量を抽出できる。
【００４６】
上述した例において、カーネルＫ１のサイズは、３×３画素には特に限定される必要はない。たとえば、カーネルＫ１のサイズが５×５画素や７×７画素など、３×３画素以外の奇数個の画素で規定されるサイズであってもよく、２×２画素や４×４画素など、偶数個の画素で規定されるサイズであってもよい。
【００４７】
図１２を用いて、他の実施形態に係る画像処理装置１の処理手順の一例を説明する。図１２は、他の実施形態に係る画像処理装置１の処理手順の一例を示すフローチャートである。
【００４８】
図１２に示すように、画像取得部１２０は、画像データ記憶部１１０から取得した処理対象となる画像を画像特徴量抽出部１３０に入力する（ステップＳ２０１）。
【００４９】
続いて、画像特徴量抽出部１３０は、画像取得部１２０により入力された画像から、領域間の比較に基づいて画像特徴量を抽出する（ステップＳ２０２）。
【００５０】
画像認識部１４０は、画像特徴量抽出部１３０により抽出された画像特徴量を入力とする画像認識処理を実行し（ステップＳ２０３）、認識結果を出力して（ステップＳ２０４）、図１２に示す処理を終了する。
【００５１】
図１３は、実施形態に係る画像認識方法の認識精度の評価実験結果の一例を示す図である。図１３は、データセットに対して、明るさを２分の１及び４分の１にそれぞれ低減させた擬似的な夜間変換処理を施したときのセマンティックセグメンテーションによる推論結果の評価を示す。
【００５２】
また、評価実験は、画像を入力とするセマンティックセグメンテーションと、画像から抽出した画像特徴量を入力とするセマンティックセグメンテーションを実施する。画像特徴量の抽出は、本願の実施形態に係る方法で画像特徴量の抽出を行った場合（図１３の手法１および手法２）、本願の実施形態に係る方法とは異なる方法で画像特徴量の抽出を行った場合（図１２の比較例）のそれぞれを示す。
【００５３】
評価実験に用いたデータセットは、たとえば車両に取り付けられたドライブレコーダにより、昼のシーンおよび夜のシーンを撮像した複数の画像で構成される。評価実験に採用したセマンティックセグメンテーションのネットワークは、たとえば昼のシーンおよび夜のシーンのそれぞれについて１１００枚の学習用データと、昼のシーンおよび夜のシーンのそれぞれについて２００枚の評価用データを用いて構成されたものを採用した。
【００５４】
セマンティックセグメンテーションの推論の評価指標として、以下の式（１）により算出される各クラスのＩｏＵ（Intersection  over  Union）を平均した平均ＩｏＵを採用する。式（１）の「ＴＰ」は推論結果が正しい画素数を示し、式（１）の「ＦＮ」は別クラスとして誤判定した画素数を示し、式（１）の「ＦＰ」は正解が別クラスに属す領域に対して誤判定した画素数を示す。
【００５５】
ＩｏＵ＝ＴＰ／（ＴＰ＋ＦＰ＋ＦＮ）・・・（１）
【００５６】
図１３に示すように、画像の明るさを２分の１に低下させた場合、画像特徴量を入力とするか否かに関わらず、どの推論結果も９６％を超える認識精度比率を保っていた。一方で、画像の明るさを４分の１に低下させた場合、画像特徴量を入力とする推論結果は、画像特徴量の抽出を行わない場合の認識精度比率である８０．３５％を上回っている。さらに、本願の実施形態に係る方法で画像特徴量の抽出を行ったときの推論結果は、本願の実施形態に係る方法とは異なる方法で画像特徴量の抽出を行った時の推論結果よりも、認識精度比率が高くなるという結果が得られた。このように、評価実験の結果からも、画像の明るさの変化、すなわち照度変化の影響に対して高いロバスト性を有することが確認された。
【００５７】
図１４は、実施形態に係る画像処理装置１の機能を実現するコンピュータのハードウェア構成の一例を示す図である。
【００５８】
コンピュータ３００は、例えば、プロセッサ３０１、ＲＡＭ（Random  Access  Memory）３０２、ＲＯＭ（Read  Only  Memory）３０３、ドライブ装置３０４、記憶媒体３０５、入力インターフェース（Ｉ／Ｆ）３０６、入力デバイス３０９、出力インターフェース（Ｉ／Ｆ）３０７、出力デバイス３１０、通信インターフェース（Ｉ／Ｆ）３０８、およびバス３１１などを含む。それぞれのハードウェアはバス３１１を介して接続されている。
【００５９】
プロセッサ３０１は、ＲＯＭ３０３または記憶媒体３０５に記憶されたプログラムに基づいて動作し、各部の制御を行う。
【００６０】
ＲＯＭ３０３は、コンピュータ３００の起動時にプロセッサ３０１によって実行されるブートプログラムや、コンピュータ３００のハードウェアに依存するプログラム等を記憶する。
【００６１】
ドライブ装置３０４は、記憶媒体３０５に記録された情報の読み出しか書き込みかの少なくともいずれか一方を行なう。たとえばドライブ装置３０４は、記憶媒体３０５に記憶されたプログラムまたはデータを読み取り、ＲＡＭ３０２を介してプロセッサ３０１に提供する。プロセッサ３０１は、かかるプログラムを、ドライブ装置３０４を介して記憶媒体３０５からＲＡＭ３０２上にロードし、ロードしたプログラムを実行する。記憶媒体３０５は、ドライブ装置３０４によって書き込まれた情報を記憶する。記憶媒体３０５は、例えば、ハードディスク、ＳＳＤ（Solid  State  Drive）などのフラッシュメモリ、ＣＤ（Compact  Disc）、ＤＶＤ（Digital  Versatile  Disk）、ＰＤ（Phase  change  rewritable  Disk）等の光学記録媒体、ＭＯ（Magneto-Optical  disk）等の光磁気記録媒体、テープ媒体、ブルーレイディスクなどの記憶媒体である。コンピュータ３００は、複数種類の記憶媒体それぞれについて、ドライブ装置３０４及び記憶媒体３０５を設ける。
【００６２】
入力インターフェース３０６は、入力デバイス３０９と接続されており、入力デバイス３０９から受信した入力信号をプロセッサ３０１に伝達する。出力インターフェース３０７は、出力デバイス３１０と接続されており、出力デバイス３１０に、プロセッサ３０１の指示に応じた出力を実行させる。通信インターフェース３０８はネットワーク１０００を介した通信の制御を行なう。
【００６３】
入力デバイス３０９は、操作に応じて入力信号を送信する。入力信号は、例えば、キーボードやコンピュータ３００の本体に取り付けられたボタンなどのキー装置や、マウスやタッチパネルなどのポインティングデバイスである。
【００６４】
出力デバイス３１０は、コンピュータ３００の制御に応じて情報を出力する装置である。出力デバイス３１０は、例えば、ディスプレイなどの表示デバイスや、スピーカなどの音声出力デバイスなどである。また、例えば、タッチスクリーンなどの入出力装置が、入力デバイス３０９及び出力デバイス３１０として用いられる。また、入力デバイス３０９及び出力デバイス３１０は、コンピュータ３００と一体になっていてもよいし、コンピュータ３００に含まれず、例えば、コンピュータ３００に外部から接続する装置であってもよい。
【００６５】
例えば、コンピュータ３００が実施形態に係る画像処理装置１として機能する場合、プロセッサ３０１は、ＲＯＭ３０３や記憶媒体３０５に記憶されたプログラムをＲＡＭ３０２に読み出し、読み出したプログラムを実行することにより、画像取得部１２０と、画像特徴量抽出部１３０と、画像認識部１４０により提供される各機能を実現する。その際にＲＡＭ３０２はプロセッサ３０１のワークエリアとして用いられる。コンピュータ３００が実施形態に係る画像処理装置１として機能する場合にＲＯＭ３０３や記憶媒体３０５に記憶されるプログラムは、画像認識プログラムの一例である。
【００６６】
コンピュータ３００のプロセッサ３０１は、これらのプログラムをＲＯＭ３０３や記憶媒体３０５から読み取って実行するが、他の例として、他の装置からネットワーク１０００を介してこれらのプログラムを取得してもよい。
【００６７】
コンピュータ３００は、プロセッサ３０１の代わりに、ＡＳＩＣ（Application  Specific  Integrated  Circuit）やＦＰＧＡ（Field  Programmable  Gate  Array）等の集積回路によって処理を実行してもよい。
【符号の説明】
【００６８】
１  画像処理装置
１１０  画像データ記憶部
１２０  画像取得部
１３０  画像特徴量抽出部
１４０  画像認識部
１５０  領域パターン記憶部
【図１】
2020042350.tif 000003
【図２】
2020042350.tif 000004
【図３】
2020042350.tif 000005
【図４】
2020042350.tif 000006
【図５】
2020042350.tif 000007
【図６】
2020042350.tif 000008
【図７】
2020042350.tif 000009
【図８】
2020042350.tif 000010
【図９】
2020042350.tif 000011
【図１０】
2020042350.tif 000012
【図１１】
2020042350.tif 000013
【図１２】
2020042350.tif 000014
【図１３】
2020042350.tif 000015
【図１４】
2020042350.tif 000016