(57)【要約】【課題】学習処理の精度を向上させることができるプログラム、学習処理方法、学習モデル、学習装置、データ構造、および物体認識装置を提供すること。【解決手段】コンピュータに、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成させ、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成させ、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換させ、前記歪画像に前記関連情報が付与された第２教師データを生成させ、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成させる、プログラム。【選択図】図１
2019117577.tif 000002
【特許請求の範囲】
【請求項１】
コンピュータに、
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成させ、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成させ、
前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換させ、前記歪画像に前記関連情報が付与された第２教師データを生成させ、
前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成させる、
プログラム。
【請求項２】
前記第１撮像画像および前記第２撮像画像は、魚眼レンズを備える撮像部により撮像された画像である、
請求項１に記載のプログラム。
【請求項３】
前記コンピュータに、さらに、
前記均等画像において前記対象物体の画像領域を矩形の枠を用いて設定させる、
請求項１または２に記載のプログラム。
【請求項４】
前記コンピュータに、さらに、
前記均等画像を前記歪画像に変換させるとともに、前記矩形の枠の形状を前記矩形の枠が設定されている前記均等画像の位置に応じた歪みのある形状に変換させる、
請求項３に記載のプログラム。
【請求項５】
コンピュータが、
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、
前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、
前記第２教師データに基づいて、機械学習により、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、
学習処理方法。
【請求項６】
コンピュータが、
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、
前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、
前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、
ことによって、生成された学習モデル。
【請求項７】
コンピュータが、
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、
前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、
前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、
ことによって、生成された学習モデルを規定する情報を含むデータ構造。
【請求項８】
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成する画像補正部と、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成する第１教師データ生成部と、
前記第１教師データ生成部により生成された前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成する第２教師データ生成部と、
前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する学習モデル生成部と、
を備える学習装置。
【請求項９】
コンピュータが、
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、
前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、
前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、
ことによって、生成された学習モデルを用いて物体を認識する物体認識装置。
【請求項１０】
前記所定の歪みが生じる撮像部により撮像された第３撮像画像に含まれる前記対象物体を、歪みが補正されていない前記第３撮像画像に基づいて認識する認識部を備える、
請求項９に記載の物体認識装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、プログラム、学習処理方法、学習モデル、データ構造、学習装置、データ構造、および物体認識装置に関する。
【背景技術】
【０００２】
近年、車両を自動的に制御することについての研究が進められている。車両を自動的に制御する際に重要となるのが、車両の走行に合わせてリアルタイムに車両周辺の物体を認識することである。例えば、車両に搭載されているカメラによる撮像画像を用いて、車両周辺の物体を認識する技術について研究および実用化が進められている。この技術に関連して、車両に搭載されているカメラによる撮像画像に基づいて予め用意された学習モデルにより物体を認識するとともに、撮像画像をそのまま学習用の画像として使用して学習モデルを更新する技術が知られている（例えば、特許文献１参照）。
【０００３】
また、認識装置による認識範囲を広げることや、車両周辺の認識精度を高めることも、車両を自動的に制御する際に重要となる。例えば、広角レンズを用いることにより認識範囲を広げることが可能となる。また、魚眼レンズを用いることにより車両の遠くよりも近くの物体の画像が拡大され、物体の認識精度が向上する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−３２８６３１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このようなレンズにより撮影された撮像画像では、光学的な作用によって被写体に歪みが生じている。よって、従来の技術では、歪みが生じている撮像画像をそのまま学習用の画像として使用するため、学習処理の精度が低下する場合があった。
【０００６】
本発明は、このような事情を考慮してなされたものであり、学習処理の精度を向上させることができるプログラム、学習処理方法、学習モデル、データ構造、学習装置、および物体認識装置を提供することを目的の一つとする。
【課題を解決するための手段】
【０００７】
（１）：コンピュータに、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成させ、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成させ、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換させ、前記歪画像に前記関連情報が付与された第２教師データを生成させ、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成させる、プログラム。
【０００８】
（２）：（１）において、前記第１撮像画像および前記第２撮像画像は、魚眼レンズを備える撮像部により撮像された画像である。
【０００９】
（３）：（１）または（２）において、前記コンピュータに、さらに、前記均等画像において前記対象物体の画像領域を矩形の枠を用いて設定させる。
【００１０】
（４）：（３）において、前記コンピュータに、さらに、前記均等画像を前記歪画像に変換させるとともに、前記矩形の枠の形状を前記矩形の枠が設定されている前記均等画像の位置に応じた歪みのある形状に変換させる。
【００１１】
（５）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、機械学習により、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、学習処理方法。
【００１２】
（６）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成することによって、生成された学習モデル。
【００１３】
（７）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成することによって、生成された学習モデルを規定する情報を含むデータ構造。
【００１４】
（８）：撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成する画像補正部と、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成する第１教師データ生成部と、前記第１教師データ生成部により生成された前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成する第２教師データ生成部と、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する学習モデル生成部と、を備える学習装置。
【００１５】
（９）：コンピュータが、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成することによって、生成された学習モデルを用いて物体を認識する物体認識装置。
【００１６】
（１０）：（９）において、前記所定の歪みが生じる撮像部により撮像された第３撮像画像に含まれる前記対象物体を、歪みが補正されていない前記第３撮像画像に基づいて認識する認識部を備える。
【発明の効果】
【００１７】
（１）〜（１０）によれば、学習処理の精度を向上させることができる。
【図面の簡単な説明】
【００１８】
【図１】実施形態に係る学習処理装置１００の構成図である。
【図２】実施形態に係る物体認識装置２００の構成図である。
【図３】学習処理装置１００による処理の流れの一例を示すフローチャートである。
【図４】学習処理装置１００による処理により用いられる画像の一例を示す図である。
【図５】分割した領域ごとに学習モデルを生成する場合の一例について説明するための参考図である。
【発明を実施するための形態】
【００１９】
以下、図面を参照し、本発明のプログラム、学習処理方法、学習モデル、学習装置、および物体認識装置の実施形態について説明する。
【００２０】
［学習処理装置］
図１は、実施形態に係る学習処理装置１００の構成図である。学習処理装置１００は、撮像画像に基づいて学習モデルを生成する装置である。学習処理装置１００は、例えば、通信部１０１と、入力部１０２と、表示部１０３と、接続部１０４と、学習処理部１１０と、記憶部１５０とを備える。
【００２１】
通信部１０１は、例えば、ＮＩＣ（Network Interface Card）などの通信インターフェースを含む。入力部１０２は、キーボード、マウス等である。表示部１０３は、ＬＣＤ（Liquid Crystal Display）等である。接続部１０４は、学習処理装置１００と外部装置と接続するハードウェアであって、例えば、ＵＳＢコネクタ等である。記憶部１５０は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などのフラッシュメモリ、ＨＤＤ（Hard Disk Drive）などである。
【００２２】
記憶部１５０には、例えば、撮像画像１５１、均等画像１５２、第１教師データ１５４、第２教師データ１５５、学習モデル１５６などが格納される。撮像画像１５１は、所定のカメラにより撮像された撮像画像のデータであって、学習モデルを生成する際に用いられる入力データである。撮像画像は、例えば広角レンズや魚眼レンズを備えるカメラにより撮像された画像であって、所定の歪みが生じている画像である。所定の歪みは、レンズのタイプに応じて予め決定されている。均等画像１５２、第１教師データ１５４、第２教師データ１５５、および学習モデル１５６は、学習処理部１１０により生成される情報であって、学習処理部１１０の説明において合わせて説明する。
【００２３】
学習処理部１１０は、例えば、データ取得部１１１と、画像補正部１１２と、物体検出部１１３と、第１教師データ生成部１１４と、第２教師データ生成部１１５と、学習モデル生成部１１６とを備える。これらの構成は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。
【００２４】
データ取得部１１１は、通信部１０１を用いて外部装置から受信した情報や、接続部１０４を介して接続された外部装置から入力された情報を、記憶部１５０に記憶させる。例えば、データ取得部１１１は、外部装置から受信した（あるいは入力された）撮像画像の画像データを、撮像画像１５１として記憶部１５０に記憶させる。
【００２５】
画像補正部１１２は、撮像画像１５１に基づいて、撮像画像の歪みを補正した画像（歪みが補正されて圧縮率が均等に近い状態になっているため、以下、均等画像と記す）を生成し、均等画像１５２として記憶部１５０に記憶させる。撮像画像の歪みを補正する処理については、種々の手法を用いることができる。例えば、予め求められている画素間の対応関係（圧縮率等）を示す情報を用いて、撮像画像の歪みを補正することができる。
【００２６】
物体検出部１１３は、画像補正部１１２により生成された均等画像から、対象物体を検出する。物体検出部１１３は、例えば、予め決められた対象物体の画像特徴を示す情報に基づいて、均等画像内に含まれる対象物体を検出する。対象物体には、例えば、ビルや標識等の構造物や、歩行者（大人、子供、老人等を区別してもよい）、動物等が含まれる。また、物体検出部１１３は、検出結果を第１教師データ生成部１１４に出力する。
【００２７】
第１教師データ生成部１１４は、物体検出部１１３による検出結果に基づいて、アノテーションを実行し、第１教師データを生成する。アノテーションとは、画像内に含まれる対象物体を含む画像領域を指定（例えば、対象物体の周囲に枠を設定）し、アノテーション情報を生成して画像に関連付ける処理である。アノテーション情報は、指定された画像領域に含まれる対象物体に関する関連情報であって、例えば、種別ラベル、メタ情報、画像内位置情報等が含まれる。なお、ここに記載したアノテーション情報の内容は一例であり、アノテーションによりこれら全ての情報を付与しなくてもよく、これらの情報の一部を適宜追加あるいは削除してもよい。種別ラベルとは、物体の種別等を示す情報である。物体の種別には、例えば、建物、人物、車両などが含まれる。また、種別ラベルは、物体の種別ごとにさらに細かい項目が設定されてもよく、例えば、物体の色、形状、大きさ、高さ、性別、年齢、車種などを示す情報が含まれてもよい。メタ情報は、例えば、撮像時の環境（天候、場所など）や、レンズの種類、絞りやシャッタースピード等の撮像条件などを示す情報である。画像内位置情報は、全体画像内に対する指定された画像領域の位置を示す情報であって、例えば、設定された枠の四隅を示す情報や、フレームＩＤ等を含む。
【００２８】
例えば、第１教師データ生成部１１４は、対象物体を含む画像領域を囲む位置に枠を設定することにより、画像内に含まれる対象物体を含む画像領域を指定する。なお、第１教師データ生成部１１４は、複数の対象物体が検出された場合、一つの均等画像に対して複数の枠を設定してもよい。枠が設定された均等画像を、以下、枠付き均等画像と記す。枠の形状は、例えば、矩形や矩形に近い図形である。矩形に近い図形は、向かい合う辺がそれぞれ平行であり、隣り合う辺が直行する関係の図形であって、角がラウンド形状等の図形を含む。枠により囲まれた画像領域を、以下、物体画像領域と記す。第１教師データ生成部１１４は、例えば、対象物体の全てを含み、且つ、物体画像領域の面積が最小となるように、均等画像上に枠を設定する。第１教師データ生成部１１４は、枠付き均等画像に対して、アノテーション情報が関連付けられた第１教師データを生成し、第１教師データ１５４として記憶部１５０に記憶させる。
【００２９】
なお、物体検出部１１３による対象物体の検出の処理、第１教師データ生成部１１４によるアノテーション等の処理は、人により行われてもよい。例えば、入力部１０２を用いて操作者により均等画像上において対象画像を囲むように枠が設定されることや、入力部１０２を用いて操作者によりアノテーション情報に相当する情報が入力されること等によりなされる。
【００３０】
第２教師データ生成部１１５は、学習モデルを生成する際に用いられる教師データである第２教師データを生成する。第２教師データ生成部１１５は、生成した第２教師データを、第２教師データ１５５として記憶部１５０に記憶させる。第２教師データ生成部１１５は、例えば、アノテーション情報が付与されたままの第１教師データに含まれる枠付き均等画像を所定の歪みのある画像（以下、歪画像と記す）に変換して、第２教師データを生成する。つまり、第２教師データは、歪画像にアノテーション情報が付与されたデータである。歪画像に生じている所定の歪みは、撮像画像において生じている歪みと同じ歪みである。枠付き均等画像を歪みのある画像に変換する際、第２教師データ生成部１１５は、枠付き均等画像に設定されている枠の形状を、枠付き均等画像における位置に応じた歪みであって、歪画像と同じ歪みのあるものに変換する。
【００３１】
学習モデル生成部１１６は、機械学習により、所定の歪みが生じている撮像画像を入力すると撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する。学習モデル生成部１１６は、記憶部１５０に格納されている撮像画像１５１と第２教師データ１５５とに基づいて学習モデルを生成する。なお、学習モデルの生成手法については、種々の手法を用いることができる。例えば、ディープラーニングを採用する場合、学習モデル生成部１１６は、複数層のニューロン構造を予め設定しておき、最適なパラメータをバックプロパゲーションなどの手法で探索することで、学習モデルを生成する。学習モデル生成部１１６は、生成した学習モデルを、学習モデル１５６として記憶部１５０に記憶させる。
【００３２】
［物体認識装置］
図２は、実施形態に係る物体認識装置２００の構成図である。物体認識装置２００は、例えば、車両に搭載される車載装置の一部である。物体認識装置２００は、例えば、撮像部２０２と、接続部２０４と、物体認識部２１０と、記憶部２５０とを備える。
【００３３】
撮像部２０２は、歪みが生じている画像を撮像する撮像部であって、例えば、広角レンズや魚眼レンズを備える。撮像部２０２は、例えば、学習処理装置１００において学習モデルを生成する際に用いられた撮像画像を撮像したカメラと同じ種類のものである。撮像部２０２は、撮像により得られた撮像画像データを物体認識部２１０に出力する。接続部２０４は、物体認識装置と外部装置と接続するハードウェアである。記憶部２５０は、ＲＡＭやＲＯＭ、ＳＳＤなどのフラッシュメモリ、ＨＤＤなどである。記憶部２５０には、例えば、学習モデル２５１などが格納される。
【００３４】
物体認識部２１０は、例えば、データ取得部２１１と、認識部２１２とを備える。これらの構成は、例えば、ＣＰＵなどのハードウェアプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩやＡＳＩＣ、ＦＰＧＡ、ＧＰＵなどのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。データ取得部２１１は、接続部２０４を介して接続された外部装置から入力された学習モデルを、学習モデル２５１として記憶部１５０に記憶させる。また、データ取得部２１１は、撮像部２０２から出力された撮像画像データを認識部２１２に出力する。
【００３５】
認識部２１２は、学習モデルを用いて、撮像部２０２から出力された撮像画像データに基づく物体認識処理を行う。つまり、認識部２１２は、撮像画像に含まれる対象物体を、歪みが補正されていない撮像画像に基づいて認識する。
【００３６】
［学習処理のフローチャート］
以下、図３を参照して、学習処理装置１００による処理の流れの一例について説明する。図３は、学習処理装置１００による処理の流れの一例を示すフローチャートである。また、図４を参照して、学習処理装置１００による処理により用いられる画像についても合わせて説明する。図４は、学習処理装置１００による処理により用いられる画像の一例を示す図である。以下の処理の前提として、複数の撮像画像が記憶部１５０に格納されているものとする。
【００３７】
まず、画像補正部１１２が、記憶部１５０から一つの撮像画像を読み出し、読み出した撮像画像の歪みを補正して、均等画像を生成する（ステップＳ１０１）。例えば、画像補正部１１２が、図４（ａ）に示す撮像画像ｉｍｇＡに対して歪みを補正し、図４（ｂ）に示す均等画像ｉｍｇＢを生成する。
【００３８】
次いで、物体検出部１１３は、均等画像から対象物体を検出し、検出結果を第１教師データ生成部１１４に出力する（ステップＳ１０３）。例えば、物体検出部１１３は、撮像画像ｉｍｇＡから構造物と歩行者を対象物体として検出する。次いで、第１教師データ生成部１１４は、図４（ｃ）に示す枠付き均等画像ｉｍｇＣのように、物体検出部１１３により検出された構造物に枠Ｆ１を設定し、検出された歩行者に枠Ｆ２を設定する（ステップＳ１０５）。なお、図示では、一棟の構造物と一人の歩行者に対して枠が設定されている例を示すが、全ての対象物体に対して枠が設定されてもよい。
【００３９】
次いで、第１教師データ生成部１１４は、物体検出部１１３により検出された各対象物体を示す種別ラベルと、撮像画像ｉｍｇＡが撮影された時の環境等を示すメタ情報と、設定された枠Ｆ１，Ｆ２の四隅の座標値を示す画像内位置情報とを生成する（ステップＳ１０７）。第１教師データ生成部１１４は、生成した種別ラベル、メタ情報、および画像内位置情報等（つまり、アノテーション情報）を、ステップＳ１０５において枠Ｆ１，Ｆ２が設定された枠付き均等画像ｉｍｇＣに付与し、第１教師データを生成する（ステップＳ１０９）。
【００４０】
次いで、第２教師データ生成部１１５は、第１教師データに含まれる枠付き均等画像を歪みのある歪画像に変換して第２教師データを生成する（ステップＳ１０９）。例えば、第２教師データ生成部１１５は、アノテーション情報が付与されたままで、図４（ｃ）に示す枠付き均等画像ｉｍｇＣを図４（ｄ）に示す歪みのある歪画像ｉｍｇＤに変換し、第２教師データを生成する（ステップＳ１１１）。
【００４１】
以上説明した本実施形態の学習処理装置１００によれば、撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成する画像補正部１１２と、画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成する第１教師データ生成部１１４と、前記第１教師データ生成部１１４により生成された前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成する第２教師データ生成部１１５と、前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する学習モデル生成部１１６と、を備えることにより、学習処理の精度を向上させることができる。
【００４２】
また、枠を設定する処理を物体検出部１１３（あるいは人）が行う際に、歪みが生じている画像においては対象物体も歪んでいるため、矩形の枠を設定することが困難であった。しかし、補正後の均等画像を用いることにより、矩形の枠の設定を簡単にすることができる。
【００４３】
また、生成された学習モデルを用いて物体を認識する際に、魚眼レンズや広角レンズ等により撮像された画像に対して歪みを補正する処理を実行しなくて済むことにより、物体を認識する際の認識速度を向上させることができる。
【００４４】
また、図４（ｃ）（ｄ）に示す通り、均等画像と歪画像とを比較すると、画像内の中心付近に存在する物体（例えば歩行者）は、歪画像の方が均等画像に比べて大きい。一方、画像内の外側付近に存在する物体（例えば構造物）は、歪画像の方が均等画像に比べて細長くなっている。このように、両画像における同じ対象物体であっても、その形状やピクセルサイズが異なる。よって、均等画像に基づく第１教師データに基づいて学習モデルを生成した場合に比べて、第２教師データに基づいて学習モデルを生成することにより、物体認識装置２００による認識精度を向上させることができる。特に、歩行者の認識精度を向上させることができる。
【００４５】
上記実施形態は、以下のように表現することができる。
記憶装置と、
前記記憶装置に格納されたプログラムを実行するハードウェアプロセッサと、を備え、
前記ハードウェアプロセッサは、前記プログラムを実行することにより、
撮像時の光学的作用によって被写体に所定の歪みが生じている第１撮像画像の前記歪みを補正して均等画像を生成し、
画像内に含まれる対象物体の画像領域が設定されている前記均等画像に対して、前記対象物体に関する関連情報を付与した第１教師データを生成し、
前記第１教師データに含まれる前記均等画像を前記所定の歪みのある歪画像に変換し、前記歪画像に前記関連情報が付与された第２教師データを生成し、
前記第２教師データに基づいて、前記所定の歪みが生じている第２撮像画像を入力すると前記第２撮像画像に含まれる物体を識別した結果を出力する学習モデルを生成する、
ように構成されている学習処理装置。
【００４６】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【００４７】
例えば、学習処理装置１００は、均等画像を所定の領域に分割して、分割した領域ごとに学習モデルを生成してもよい。図５は、分割した領域ごとに学習モデルを生成する場合の一例について説明するための参考図である。図５に示す通り、画像補正部１１２が、撮像画像ｉｍｇＡの歪みを補正して均等画像ｉｍｇＢを生成する。画像補正部１１２が、均等画像ｉｍｇＢを予め決められた分割領域に分割して、複数の均等画像ｉｍｇＢ（Ｌ）、ｉｍｇＢ（Ｃ）、ｉｍｇＢ（Ｒ）を生成する。均等画像ｉｍｇＢ（Ｌ）は均等画像ｉｍｇＢの左側の領域（以下、第１領域）を含む画像であり、均等画像ｉｍｇＢ（Ｃ）は均等画像ｉｍｇＢの中央部分（以下、第２領域）を含む画像であり、均等画像ｉｍｇＢ（Ｒ）は均等画像ｉｍｇＢの右側の領域（以下、第３領域）を含む画像である。物体検出部１１３は、均等画像ｉｍｇＢ（Ｌ）、ｉｍｇＢ（Ｃ）、ｉｍｇＢ（Ｒ）のそれぞれから対象物体を検出する。
【００４８】
そして、第１教師データ生成部１１４は、均等画像ｉｍｇＢ（Ｌ）、ｉｍｇＢ（Ｃ）、ｉｍｇＢ（Ｒ）のそれぞれに基づいて第１教師データを生成する。例えば、第１教師データ生成部１１４は、検出した対象物体を囲むように枠Ｆ１１，Ｆ１２，Ｆ１３を設定して枠付き均等画像ｉｍｇＣ（Ｌ）、ｉｍｇＣ（Ｃ）、ｉｍｇＣ（Ｒ）と、各対象物体についてのアノテーション情報とを生成し、第１教師データを生成する。第２教師データ生成部１１５は、枠付き均等画像ｉｍｇＣ（Ｌ）、ｉｍｇＣ（Ｃ）、ｉｍｇＣ（Ｒ）を所定の歪みのある歪画像ｉｍｇＤ（Ｌ）、ｉｍｇＤ（Ｃ）、ｉｍｇＤ（Ｒ）に変換して、第２教師データとする。学習モデル生成部１１６は、歪画像ｉｍｇＤ（Ｌ）に基づいて第１学習モデルを生成し、歪画像ｉｍｇＤ（Ｃ）に基づいて第２学習モデルを生成し、歪画像ｉｍｇＤ（Ｒ）に基づいて第３学習モデルを生成する。そして、物体認識装置２００は、撮像画像の第１領域については、第１学習モデルを用いて物体認識を行う。また、物体認識装置２００は、撮像画像の第２領域については第２学習モデルを用いて、撮像画像の第３領域については第３学習モデルを用いて、それぞれ物体認識を行う。こうすることにより、学習精度をさらに向上させることができる。
【００４９】
所定の歪みが生じている画像を撮像する撮像部は、例えば、広角レンズや魚眼レンズを備えるカメラであって、画像内の位置に応じて圧縮率が異なるレンズを備えるものということもできる。また、画像補正部１１２は、この圧縮率が均等となるような補正処理を行う。
【符号の説明】
【００５０】
１００…学習処理装置、１０１…通信部、１０２…入力部、１０３…表示部、１０４…接続部、１１０…学習処理部、１１１…データ取得部、１１２…画像補正部、１１３…物体検出部、１１４…第１教師データ生成部、１１５…第２教師データ生成部、１１６…学習モデル生成部、１５０…記憶部、１５１…撮像画像、１５２…均等画像、１５４…第１教師データ、１５５…第２教師データ、１５６…学習モデル、２００…物体認識装置、２０２…撮像部、２０４…接続部、２１０…物体認識部、２１１…データ取得部、２１２…認識部、２５０…記憶部、２５１…学習モデル
【図１】
2019117577.tif 000003
【図２】
2019117577.tif 000004
【図３】
2019117577.tif 000005
【図４】
2019117577.tif 000006
【図５】
2019117577.tif 000007