(57)【要約】      （修正有）【課題】高精度に画像認識を行う情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置は、学習モデルに基づいて、入力された撮影画像に対応する出力結果を出力する情報処理装置であって、学習モデルを生成する際に用いる画像が撮影された撮影条件を取得する第１取得手段と、処理対象の撮影画像を撮像装置から入力する入力手段と、処理対象の撮影画像が撮影された撮影条件を取得する第２取得手段と、第１及び第２取得手段で取得した撮影条件に基づいて、処理対象の撮影画像を変換する変換手段と、学習モデルに基づいて、変換された画像に対応する出力結果を出力する出力手段とを備える。【選択図】図３
2019125116.tif 000002
【特許請求の範囲】
【請求項１】
学習モデルに基づいて、入力された撮影画像に対応する出力結果を出力する情報処理装置であって、
学習モデルを生成する際に用いる画像が撮影された撮影条件を取得する第１取得手段と、
処理対象の撮影画像を撮像装置から入力する入力手段と、
前記処理対象の撮影画像が撮影された撮影条件を取得する第２取得手段と、
前記第１および第２取得手段で取得した撮影条件に基づいて、前記処理対象の撮影画像を変換する変換手段と、
前記学習モデルに基づいて、前記変換された画像に対応する出力結果を出力する出力手段とを備えることを特徴とする情報処理装置。
【請求項２】
前記第２取得手段は、前記撮像装置の周囲を計測するセンサの計測情報に基づいて撮影条件が更新されることを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記センサで計測された距離情報に基づいて前記撮像装置の位置を推定する第１推定手段を更に備え、
前記第２取得手段は、前記第１推定手段の推定結果に基づいて前記第２取得手段で取得された撮影条件を更新し、
前記変換手段は、更新された前記撮影条件と前記第1取得手段で取得した撮影条件とに基づいて前記処理対象の撮影画像を変換することを特徴とする請求項２に記載の情報処理装置。
【請求項４】
前記出力結果のうち距離情報に基づいて前記撮像装置の位置を推定する第２推定手段を備え、
前記第２取得手段は、前記第２推定手段の推定結果を前記第２取得手段で取得された撮影条件として更新することを特徴とする請求項１または２に記載の情報処理装置。
【請求項５】
前記第１推定手段は、前記撮像装置によって撮影された画像に基づいて前記撮像装置の位置を推定し、
前記第２取得手段は、前記第１推定手段の推定結果を前記第２取得手段で取得された撮影条件として更新することを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記第１推定手段は、前記計測情報に基づいて前記撮像装置の位置を推定し、
前記第２取得手段は、前記第１推定手段の推定結果を前記第２取得手段で取得された撮影条件として更新することを特徴とする請求項３に記載の情報処理装置。
【請求項７】
前記変換手段は、複数の学習モデルがあり、それぞれ異なる複数の撮影条件で撮影された画像を用いて学習されている場合、当該複数の撮影条件のうち選択された撮影条件と前記第２取得手段で取得された撮影条件とに基づいて前記処理対象の撮影画像を変換することを特徴とする請求項１乃至６いずれか１項に記載の情報処理装置。
【請求項８】
前記学習モデルを生成する際に入力された撮影画像から前記入力された撮影画像に含まれる物体を出力する学習を行っており、
前記出力手段は、前記変換された画像と前記学習モデルに基づいて前記変換された画像に含まれる前記物体を認識して出力することを特徴とする請求項１乃至７のいずれか１項に記載の情報処理装置。
【請求項９】
前記学習モデルを生成する際に入力された撮影画像から前記入力された撮影画像の画素または領域に対応する距離情報を出力する学習を行っており、
前記出力手段は、前記変換された画像と前記学習モデルに基づいて前記変換された画像の画素または領域に対応する距離情報を出力することを特徴とする請求項１乃至８のいずれか１項に記載の情報処理装置。
【請求項１０】
撮像装置によって撮影された画像を取得する画像取得手段と、
入力画像から当該入力画像の画素または領域に対応する少なくとも距離情報を出力するよう学習された学習モデルにおける学習に用いられた画像の第１の撮影条件と、前記撮像装置の位置または姿勢と、前記画像を撮影する際の明るさに関する情報との少なくとも１つを撮影条件として含む、前記画像における第２の撮影条件とを取得する撮影条件取得手段と、
前記第１の撮影条件と前記第２の撮影条件とに基づいて前記撮像装置によって撮影された画像を変換する変換手段と、
前記変換手段によって変換された画像と前記学習モデルとに基づいて前記変換された画像の画素または領域に対応する少なくとも距離情報を出力する認識手段とを備えることを特徴とする情報処理装置。
【請求項１１】
撮像装置によって撮影された画像を取得する画像取得手段と、
入力画像に対応する出力結果を出力するよう学習された学習モデルにおける学習に用いられた画像の第１の撮影条件と前記撮像装置によって撮影された画像の第２の撮影条件とを取得する撮影条件取得手段と、
前記第１の撮影条件と前記第２の撮影条件とに基づいて前記撮像装置によって撮影された画像を変換する変換手段と、
前記学習モデルに基づいて、前記変換手段によって変換された画像に対応する出力結果を出力する認識手段とを備えることを特徴とする情報処理装置。
【請求項１２】
目的地を示す地図情報に基づいて移動する移動装置と前記移動装置に搭載された撮像装置と情報処理装置から構成される情報処理システムであって、
学習モデルに基づいて、入力された撮影画像に対応する出力結果を出力する情報処理装置は、
学習モデルを生成する際に用いる画像が撮影された撮影条件を取得する第１取得手段と、
処理対象の撮影画像を撮像装置から入力する入力手段と、
前記処理対象の撮影画像が撮影された撮影条件を取得する第２取得手段と、
前記第１および第２取得手段で取得した撮影条件に基づいて、前記処理対象の撮影画像を変換する変換手段と、
前記学習モデルに基づいて、前記変換された画像に対応する出力結果を出力する出力手段とを備え、
前記移動装置は、
前記出力結果のうちの距離情報を前記地図情報における座標に変換した距離情報に基づいて前記移動装置の少なくとも位置を推定する位置推定手段と、
前記移動装置の位置と前記地図情報に基づいて前記移動装置を前記目的地に移動させる制御値で制御する制御手段とを備えることを特徴とする情報処理システム。
【請求項１３】
目的地を示す地図情報に基づいて移動する移動装置と前記移動装置に搭載された撮像装置と情報処理装置から構成される情報処理システムであって、
前記情報処理装置は、
前記撮像装置によって撮影された画像を取得する画像取得手段と、
入力画像から当該入力画像の画素または領域に対応する少なくとも距離情報を出力するよう学習された学習モデルにおける学習に用いられた画像の第１の撮影条件と、前記撮像装置の位置または姿勢と、前記画像を撮影する際の明るさに関する情報との少なくとも１つを撮影条件として含む、前記画像における第２の撮影条件とを取得する撮影条件取得手段と、
前記第１の撮影条件と前記第２の撮影条件とに基づいて前記撮像装置によって撮影された画像を変換する変換手段と、
前記画像変換手段によって変換された画像と前記学習モデルとに基づいて前記変換された画像の画素または領域に対応する前記撮像装置からの奥行き情報である距離情報を出力する認識手段とを備え、
前記移動装置は、
前記距離情報を前記地図情報における座標に変換した距離情報に基づいて前記移動装置の少なくとも位置を推定する位置推定手段と、
前記移動装置の位置と前記地図情報に基づいて前記移動装置を前記目的地に移動させる制御値で制御する制御手段とを備えることを特徴とする情報処理システム。
【請求項１４】
学習モデルに基づいて、入力された撮影画像に対応する出力結果を出力する情報処理方法であって、
学習モデルを生成する際に用いる画像が撮影された撮影条件を取得する第１取得工程と、
処理対象の撮影画像を撮像装置から入力する入力工程と、
前記処理対象の撮影画像が撮影された撮影条件を取得する第２取得工程と、
前記第１および第２取得手段で取得した撮影条件に基づいて、前記処理対象の撮影画像を変換する変換工程と、
前記学習モデルに基づいて、前記変換された画像に対応する出力結果を出力する出力工程とを備えることを特徴とする情報処理方法。
【請求項１５】
撮像装置によって撮影された画像を取得する画像取得工程と、
入力画像に対応する出力結果を出力するよう学習された学習モデルにおける学習に用いられた画像の第１の撮影条件と前記撮像装置によって撮影された画像の第２の撮影条件とを取得する撮影条件取得工程と、
前記第１の撮影条件と前記第２の撮影条件とに基づいて前記撮像装置によって撮影された画像を変換する変換工程と、
前記学習モデルに基づいて、前記変換手段によって変換された画像に対応する出力結果を出力する認識工程とを備える情報処理方法。
【請求項１６】
コンピュータを請求項１乃至１１の何れか１項に記載の情報処理装置が備える各手段として機能させるためのプログラム。
【請求項１７】
請求項１６に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像認識を行う技術に関する。
【背景技術】
【０００２】
事前に物体を撮影した画像からパターンや特徴点を学習し、その学習結果を使って画像上の物体の種類や位置、形状などを認識する機械学習の技術が知られている。機械学習による画像認識を精度よく動作させるためには、学習する画像の撮影条件と、上記パターンや特徴点を認識できるように学習された認識器に入力する画像の撮影条件ができるだけ一致していることが望ましい。ここで撮影条件とは、学習用の画像を撮影する際、あるいは認識器に認識させるために入力する画像を撮影する際における、撮像装置の位置や姿勢、あるいはそれら撮影場所に影響を与える光源の明るさや色合い等の条件を指す。
【０００３】
特許文献１では画像認識を行う物体の学習画像を生成する方法が示されている。
【０００４】
また、非特許文献１では、事前に与えられた画像に基づく機械学習により構築した認識処理に関する方法で、撮影された画像から画像中の物体の３次元形状を認識し、その形状をもとに上記撮影をした撮像装置の位置や姿勢を推定する方法が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１４−１９９５８４号公報
【非特許文献】
【０００６】
【非特許文献１】Ｋ．Ｔａｔｅｎｏ，ｅｔ．ａｌ．ＣＮＮ−ＳＬＡＭ：Ｒｅａｌ−ｔｉｍｅ  ｄｅｎｓｅ  ｍｏｎｏｃｕｌａｒ  ＳＬＡＭ  ｗｉｔｈ  ｌｅａｒｎｅｄ  ｄｅｐｔｈ  ｐｒｅｄｉｃｔｉｏｎ，ＩＥＥＥ  Ｃｏｍｐｕｔｅｒ  Ｓｏｃｉｅｔｙ  Ｃｏｎｆｅｒｅｎｃｅ  ＣＶＰＲ，２０１７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
非特許文献１では、学習する画像の撮影条件と、パターンや特徴点を認識できるように学習された認識器に入力する画像の撮影条件が一致している前提がある。しかしながら、学習を行う環境と、実際に認識を行う環境の撮影条件を一致させることは現実的に難しいため、認識を精度よく行うことができなかった。
【０００８】
特許文献１では画像認識を実施する撮影条件に対応するように学習時の画像を変換してから学習させる方法が示されている。しかしながら、この方法では実際に画像認識を行う環境の撮像条件を事前に把握できていないと、必要十分な学習するための画像を生成できず、効率的に学習を行えない。特に、事前の学習時に、実際に画像認識を行う環境が未知の場合には、認識の精度が低下してしまう。
【０００９】
本発明は上記課題に鑑みてなされたものであり、事前に学習を行う環境と、実際に認識を行う環境とで撮影条件が一致していない場合であっても、画像認識の精度を向上させる技術を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成する本発明に係る情報処理装置は、学習モデルに基づいて、入力された撮影画像に対応する出力結果を出力する情報処理装置であって、学習モデルを生成する際に用いる画像が撮影された撮影条件を取得する第１取得手段と、処理対象の撮影画像を撮像装置から入力する入力手段と、前記処理対象の撮影画像が撮影された撮影条件を取得する第２取得手段と、前記第１および第２取得手段で取得した撮影条件に基づいて、前記処理対象の撮影画像を変換する変換手段と、前記学習モデルに基づいて、前記変換された画像に対応する出力結果を出力する出力手段とを備えることを特徴とする。
【発明の効果】
【００１１】
本発明により、事前に学習を行う環境と、実際に認識を行う環境とで撮影条件が一致していない場合であっても、画像認識の精度を向上させる技術を提供することができる。
【図面の簡単な説明】
【００１２】
【図１】情報処理装置の構成例を示すブロック図
【図２】認識時（ａ）と学習時（ｂ）の撮像装置の配置の違いを示す図
【図３】情報処理装置の機能構成例を示すブロック図
【図４】情報処理装置の処理を示すフローチャート
【図５】情報処理装置の機能構成例を示すブロック図
【図６】情報処理装置システムの構成を示すブロック図
【図７】情報処理装置を車両に搭載した例を示す図
【図８】情報処理システム全体の処理を示すフローチャート
【発明を実施するための形態】
【００１３】
（第１の実施形態）
本実施形態では、学習モデルを使って画像認識を行う場合において、学習時と画像認識処理時の２つの条件下で撮影された画像同士の変化（差異）に注目する。認識処理に用いる画像を幾何的に変形させ、学習に用いた画像の撮影条件に近づけることで、画像認識の精度を向上させる方法について説明する。本実施形態における画像認識では、本実施形態では入力画像に映っている物体から撮像装置までの距離を推定する。入力画像と距離の正解値とを学習させた学習モデルを用いることで距離の推定がより正確になる。なお、認識処理は、機械学習に基づく方法で画像から何か情報を認識する方法であればどのような方法でも良い。また、本実施形態において、学習モデルとは、入力画像から入力画像に対応する距離情報を出力するニューラルネットワークに基づくネットワーク構造とそのパラメータとする。
【００１４】
まず、画像に発生する幾何学的な“ずれ”は、学習時と認識処理時に、撮像装置の位置や姿勢が異なることから発生する。この“ずれ”とは、２つの条件下で撮影された画像同士の変化（差異）を指す。例えば、図２のように車両に撮像装置を搭載する場合を考える。学習時と認識処理時で同じ高さあるいは同じ種類の車両を使うことができた場合でも、撮像装置の位置や姿勢は、すべて同じに合わせることができない可能性がある。また、学習に使った撮像装置と、認識処理を実行するときに使う撮像装置とで、形や種類が異なる可能性がある。そのため、学習に用いる画像の撮影条件と、パターンや特徴点を認識できるように学習された認識器に入力する画像の撮影条件が一致しない場合が考えられる。撮像条件が異なる画像では、学習の効果が反映されにくくなり、画像認識の精度が低下する。
【００１５】
図１を用いて、本実施形態のハードウエアの構成例を示す。
【００１６】
中央処理ユニット（ＣＰＵ）１０１は、ＲＡＭ１０３をワークメモリとして、ＲＯＭ１０２や記憶装置１０４に格納されたＯＳやその他プログラムを読みだして実行し、システムバス１０６に接続された各構成を制御して、各種処理の演算や論理判断などを行う。ＣＰＵ１０１が実行する処理には、実施形態の画像認識処理が含まれる。
【００１７】
記憶装置１０４は、ハードディスクドライブや外部記憶装置などであり、実施形態の画像認識処理にかかるプログラムや各種データを記憶する。
【００１８】
入力部１０５は、カメラなどの撮像装置、ユーザ指示を入力するためのボタン、キーボード、タッチパネルなどの入力デバイスである。なお、記憶装置１０４は例えばＳＡＴＡなどのインタフェイスを介して、入力部１０５は例えばＵＳＢなどのシリアルバスを介して、それぞれシステムバス１０９に接続されるが、それらの詳細は省略する。通信部１０６は無線通信で外部の機器と通信を行う。表示部１０７はディスプレイである。センサ１０８は画像センサや距離センサである。
【００１９】
尚、ＣＰＵはプログラムを実行することで各種の手段として機能することが可能である。なお、ＣＰＵと協調して動作するＡＳＩＣなどの制御回路がこれらの手段として機能しても良い。また、ＣＰＵと画像処理装置の動作を制御する制御回路との協調によってこれらの手段が実現されても良い。また、ＣＰＵは単一のものである必要はなく、複数であっても良い。この場合、複数のＣＰＵは分散して処理を実行することが可能である。また、複数のＣＰＵは単一のコンピュータに配置されていても良いし、物理的に異なる複数のコンピュータに配置されていても良い。なお、ＣＰＵがプログラムを実行することで実現する手段が専用の回路によって実現されても良い。
【００２０】
図２は、画像認識処理に用いる車両１００（ａ）と、学習に用いる車両２００（ｂ）の違いを表す図である。また、（ｃ）は認識処理時に、画像１１１から画像１１２に画像変換をした一例を表す図である。図２の例では、それぞれの車両に搭載された撮像装置の位置（高さ）が異なる。図２の１００と２００は異なる車両を表し、１１０と２１０はそれぞれに搭載された撮像装置を表す。なお、２つの車両は同じ車種であることが望ましいが、本実施形態では異なる車種である。車種が異なる場合、撮像装置の位置や姿勢をまったく同じように設置することは難しい。図２のように撮像装置の位置が異なると、１１１と２１１に示す画像のように、得られる画像に幾何的なずれが発生する。この場合の幾何学的なずれは、具体的には、画像の中にある道路や建物の見た目の位置や角度のずれである。それゆえ、例えば図２の撮像装置２１０の画像２１１を用いて学習を行った場合、撮影条件の異なる撮像装置１１０の画像１１１を、画像から距離を推定する学習を行った学習モデルに入力しても、十分な画像認識の精度が得られない場合がある。
【００２１】
そこで本実施形態では、学習に用いる車両に搭載した撮像装置の位置や姿勢と、学習結果を使った認識処理に用いる車両に搭載した撮像装置の位置や姿勢の違いに基づいて、認識処理に用いる画像を幾何的に変形させ、学習に用いた画像の撮影条件に近づける。これにより、事前に学習を行う環境と、実際に認識を行う環境とで撮影条件が一致していない場合であっても、画像認識の精度を出来るだけ向上する
次に、図３を用いて本実施形態の情報処理装置の機能構成を説明する。図３の３００は本実施形態の情報処理装置、１１０は画像を撮影する撮像装置を示す。情報処理装置３００は、画像取得部３１０、撮影条件取得部３２０、画像変換部３３０、学習モデル保持部３４０、学習モデル取得部３５０、画像認識部３６０からなる。
【００２２】
撮像装置１１０は、２次元の処理対象の画像を撮像するカメラである。ただし、カメラはカラーカメラのほかモノクロカメラでも良い。本実施形態では、このカメラは単眼のカラーカメラであり、撮影された画像はカラー画像であるとする。なお、撮像装置１１０は、図２でも説明したとおり、学習結果を使った認識処理を行う画像を撮影する。
【００２３】
画像取得部３１０は、撮像装置１１０から処理対象のカラー画像を入力され取得する。
【００２４】
撮影条件取得部３２０は、学習に用いられた画像の撮影条件（第１の撮影条件）と画像認識に用いる画像の撮影条件（第２の撮影条件）とを取得する。すなわち、撮像装置１１０の撮影条件と、学習に用いた異なる車両に取り付けられた図２の学習時の撮像装置２１０の撮影条件を取得する。なお、本実施形態において撮影条件とは、車両に搭載する撮像装置の位置と姿勢とする。（本実施形態では位置姿勢で位置と姿勢の両方を含むものとして説明する。）位置姿勢は予め設定した原点の座標系における位置姿勢とする。本実施形態では、車両に撮像装置を搭載した状態で、地面の位置を基準とした高さを位置の情報、水平面を基準とした角度を姿勢と考える。なお、位置姿勢は、位置姿勢を表わす情報であればどのようなものであっても良い。例えば、環境の世界座標系上における位置３自由度（Ｘ、Ｙ、Ｚ）と姿勢３自由度（Ｒｏｌｌ、Ｐｉｔｃｈ、Ｙａｗ）との合計６自由度の位置姿勢パラメータであっても良い。
【００２５】
撮像装置１１０と学習時の撮像装置２１０の内部パラメータ行列を既知とし、それぞれＫ１、Ｋ２とする。ここで、内部パラメータ行列とは、画像中心と焦点に関するパラメータを含む行列であり、事前にキャリブレーションを行うことでその値を取得しておくことができる。また、撮像装置の位置姿勢は、車両と撮像装置の配置に関わる設計情報から既知の情報として取得できるものとする。なお、この設計情報は記憶装置１０４に記憶してあるようにしても良いし、通信部１０６から受け取るようにしても良い。また、撮影条件は、記憶装置１０４といった記憶領域に記憶してあるものとし、そこから読みだすことで取得することができる。
【００２６】
撮影条件はこれ以外にも、撮像装置で撮影する際のズーム倍率を示す画像のズーム値、画角、色合いについての撮影条件に注目し変換を行っても良い。例えば、撮像条件の違いとして画角に注目する場合、撮影した画像のスケールを変換することになる。なお、撮影条件は撮像装置の設置場所や用途によって変えることができる。例えば、撮像装置は車両以外にも、監視カメラや作業用ロボットに搭載できる。その場合、撮像装置の位置姿勢は、同じく地面の位置を基準とした高さを位置の情報、水平面を基準とした角度を姿勢と考えても良いし、別途ユーザが指定する基準の座標系からの位置姿勢を考えても良い。
【００２７】
画像変換部３３０は、画像認識処理時に撮影した画像の撮影条件と、学習時に用いた画像の撮影条件に基づいて画像変換を行う。すなわち、撮影条件取得部３２０で取得した撮像装置１１０の撮影条件と、学習時の撮像装置２１０の撮影条件に基づいて、画像取得部３１０で取得した画像１１１を画像１１２に幾何変換する。
【００２８】
学習モデル保持部３４０は、学習時の撮像装置２１０で撮影した画像を用いて学習した学習モデルとその学習モデルの撮影条件を保持する。なお、学習モデルの撮影条件とは、学習に用いられた代表的な画像の撮影条件を指す。代表的な画像は、学習に用いられた画像の平均的な画像を指す。本実施形態において学習モデルとは、学習画像から機械学習による認識結果を出力するニューラルネットワークに基づくネットワーク構造とそのパラメータである。なおネットワークの学習は具体的に、学習モデルの入力側の層に画像を設定し、出力画像の層に画像に対する正解値を設定し、ネットワークを経由して算出される出力が設定した正解値に近づくようにネットワークのパラメータを調整する処理を指す。本実施形態では、２次元の画像を学習モデルへの入力とし、学習モデルからは、この２次元の画像の個々の位置に対応させて距離情報が配列されている距離画像が出力されるものとする。この距離情報は、撮像装置からの奥行き情報で、撮像装置を原点としたカメラ座標における周囲の物体までの距離を表す。なお、２次元の画像から距離画像を推定する技術は公知であるので詳細な説明は省略する。非特許文献１では、２次元画像とその正解値としての距離画像とを用意して学習を行う。正解値としての距離画像は、別途ＬｉＤＥＲ、ＴｏＦ等の距離センサで周囲を計測した計測情報を用意して取得しておくものとする。なお、学習モデルとは、ニューラルネットワークに基づくモデルのみならず、ランダムフォレストやサポートベクターマシンなど他の機械学習の手法に基づく学習モデルでも良い。また、画像に映っている所定の物体を認識するようにしても良い。その場合は、たとえば、画像から人物、移動体、車両、障害物といった物体のクラス・種類を認識するように、学習用の画像とその正解値（物体の形状、クラス、種類）を与えて学習を行う。
【００２９】
学習モデル取得部３５０は、学習モデル保持部３４０で保持する学習モデルと学習モデルの撮影条件を取得する。または、情報処理装置３００の外部から学習モデルと学習モデルの撮影条件を取得する。具体的には、学習モデル保持部３４０が保持するニューラルネットワークとそのパラメータのデータを読み出す。
【００３０】
画像認識部３６０では、画像変換部３３０で変換した画像を入力として、撮像装置１１０で撮影された画像の画素または領域に対応する距離情報を出力結果として出力する。本実施形態では、入力画像から距離を推定し、距離情報を出力する。ここで認識処理は、本実施形態で述べたように距離画像の他、３次元点群データを推定しても良い。また、画像に映っている所定の物体を認識するようにしても良い。例えば、シーンに存在する人や物体の位置や種類を認識しても良い。車載の撮像装置を想定する場合、障害物、標識認識、走行領域、車両の位置や姿勢を認識しても良い。距離画像を推定する例と同様に、学習用の画像とその正解値（物体の形状、名前）を与えて学習を行うことで、学習モデルは生成できる。またいずれの方法であっても、画像変換部３３０の操作により、学習に用いた画像の撮影条件に合わせて画像を変換することで、認識の精度を向上させることができる。
【００３１】
次に、本実施形態の処理手順について説明する。図４は、情報処理装置で行われる処理手順を示すフローチャートである。以下、フローチャートは、ＣＰＵが制御プログラムを実行することにより実現されるものとする。以下の説明では、各工程（ステップ）について先頭にＳを付けて表記することで、工程（ステップ）の表記を省略する。
【００３２】
まず、Ｓ４１０において、学習モデル取得部３５０は学習モデル保持部３４０から学習モデルと学習モデルの撮影条件を取得する。
【００３３】
Ｓ４２０において、撮像装置１１０で撮影された画像を、画像取得部３１０が取得する。
【００３４】
Ｓ４３０において、撮影条件取得部３２０は、撮像装置１１０で撮影された画像の撮影条件と、学習モデルにおいて学習に用いられた画像の撮影条件を取得する。すなわち、撮像装置１１０の位置姿勢と、学習時の撮像装置２１０の位置姿勢を取得する。ここで、２つの撮像装置の相対的な位置姿勢の差は、撮像装置１１０を原点として、位置を３次元ベクトルｔ、姿勢を３行３列の回転行列Ｒとする。
【００３５】
Ｓ４４０において、画像変換部３３０は、撮影条件取得部３２０で取得した撮影条件を撮影条件に近づけるように撮像装置１１０で撮影された画像を変換する。すなわち、撮像装置撮影条件と、学習時の撮像装置２１０の撮影条件に基づいて、画像取得部３１０で取得した画像を幾何変換する。本実施形態で説明する幾何変換とは、具体的にはホモグラフィ変換（射影変換）である。ただし、位置や回転など、一部の成分のみを変形させても良いし、アフィン変換でも良い。例えば、パノラマ撮影した画像の一部を切り取り、その一部を拡大縮小といった変換を加えても良い。
【００３６】
まず、撮像装置１１０と学習時の撮像装置２１０の相対的な位置姿勢からホモグラフィ行列Ｈを計算する。撮像装置１１０と学習時の撮像装置２１０の内部パラメータ行列をそれぞれＫ１、Ｋ２とするとホモグラフィ行列は、次の式（１）で計算できる。
【００３７】
【数１】
2019125116.tif 000003
【００３８】
ここで、ｄは撮像装置１１０を基準として仮定する平面の距離を表す数値であり、ｎは平面の法線ベクトルである。本実施形態では、ｄを概略的なシーンの距離値、ｎは撮像装置１１０に正対する方向として予め設定しておくものとする。なおＴは行列の転置行列を表す記号である。
【００３９】
最後に、画像取得部３１０で取得した画像にホモグラフィ行列Ｈを適応し、画像を変形させる。この操作により、画像の幾何的な撮影条件を、学習時の撮影条件に近づけることができる。
【００４０】
Ｓ４５０において、画像認識部３６０は、画像変換部３３０で変換した画像を入力として、撮像装置１１０で撮影された画像の画素に対応する距離情報を出力する。ここでは、学習モデル取得部３５０で取得した学習モデルを利用する。本実施形態における認識処理は、機械学習に基づく方法で画像から何か情報を認識する方法であればどのような方法でも良い。画像からシーンに存在する人や物体の位置や種類を認識しても良いし、車両の位置姿勢や制御値を認識しても良い。
【００４１】
Ｓ４６０では、システム終了の指定があるまで、Ｓ４２０からの処理を繰り返し実行する。システム終了の条件を満たすときはＹＥＳに進みシステムを終了する。システム終了の条件を満たさない場合はＮＯに進みＳ４２０に戻る。システム終了の条件は、例えば、自動車の自動運転を考えた場合、ユーザの入力をシステム終了のトリガとしても良い。ここでは、所定の時間でシステム終了する。
【００４２】
以上述べたように、本実施形態では、学習に用いる画像の撮影条件と、認識処理時の撮影条件の違いによって、両者の撮影画像に発生する幾何学的な“ずれ”に注目し、認識処理に用いる画像を幾何的に変形させ、学習に用いる画像の撮影条件に近づける。これにより、画像の見え方を合わせることができるため、認識の精度を向上させることができる。
【００４３】
（第１の実施形態の変形例１）
第１の実施形態では、画像の撮影条件として撮像装置の位置姿勢を考え、撮影条件取得部３２０では予め用意されている設計情報やキャリブレーション結果に基づいて撮像装置の位置と姿勢を取得する。しかし、撮像装置を車両に配置する場合、移動中の撮像装置の位置と姿勢は、路面の凹凸によって時系列的に連続的に上下に変動することがある。具体的には、撮像装置の位置（地面からの高さ）や、姿勢（水平面を基準とした角度）のパラメータが時間によって動的に変動する。この動的な変動に対応するため、撮影条件取得部３２０は、位置姿勢推定部５１０が時間ｓにおける撮像装置１１０の位置姿勢を推定した結果から撮影条件を随時更新する。もしくは別途車両に取り付けられたセンサによって車両の周囲を計測した計測情報から、撮影条件を随時更新するようにしても良い。これにより一定の時間間隔で撮影条件を更新し、時間によって変化する撮影条件の変化を画像変換に反映することができるため、認識の精度を向上させることができる。ここでは第１の実施形態との差分である、位置姿勢推定部５１０と撮影条件取得部３２０の処理について説明する。
【００４４】
位置姿勢推定部５１０は、所定の時間における画像の撮影条件（例えば撮像装置の位置）を推定する。位置姿勢推定部５１０が撮像装置１１０の位置や姿勢を推定する方法として、公知のＳＬＡＭ（ＳＩＭＵＬＴＡＮＥＯＵＳ  ＬＯＣＡＬＩＺＡＴＩＯＮ  ＡＮＤ  ＭＡＰＰＩＮＧ）技術を用いる。ここで、ＳＬＡＭとは、カメラで撮影する周辺の環境を認識すると同時に、自分自身の位置姿勢を精度よく推定する技術である。具体的な方法は前述の非特許文献１に開示されている。なお、ＳＬＡＭでの車両の位置姿勢推定は、画像取得部１１０から取得した画像に基づいて行われても良いし、距離センサであるセンサ１０８の計測情報に基づいて行われても良い。距離センサは例えばＬｉＤＥＲ、ＴｏＦ等のアクティブ距離センサ、赤外線センサやステレオカメラでも良い。また、センサ１０８はＧＰＳやジャイロセンサ等の位置センサや姿勢センサでも良い。上記のように撮像装置１１０やセンサ１０８によって計測された距離情報をＳＬＡＭに入力する方法が第１の推定方法である。また第２の推定方法として、位置姿勢推定部５１０は、画像認識部３６０で出力された距離画像を入力に用いて撮像装置の位置や姿勢を推定しても良い。
【００４５】
撮影条件取得部３２０は、位置姿勢推定部５１０で撮像装置１１０の位置や姿勢を推定した結果から撮影条件を更新する。また、センサ１０８が取得した位置姿勢に関する計測情報を撮像条件取得部３２０が直接取得し、更新するようにしても良い。その他、センサが計測可能な撮影条件（例えば周囲の明るさ）を更新するようにしても良い。
【００４６】
この機能構成を有する情報処理装置では、例えば、学習用画像に揺れ等の動的な変化がない撮影条件である場合、画像変換部３３０は運転中の揺れを画像から除去するような画像変換を行う。このように、撮像装置の動的な変化に対応して、認識時の画像を変換することで、車両の揺れなどに対して安定した精度で画像の認識を行うことができる。
【００４７】
また、学習用画像の撮影に関しても、同様の操作を行うことで揺れを画像から除去しても良い。この操作により、学習用画像は一定の撮影条件における画像として設定できる。
【００４８】
（第１の実施形態の変形例２）
第１の実施形態では、学習モデルが１つである場合を説明した。ここでは、複数の学習モデルを保持し、各学習モデルにおいて学習に用いた画像の撮影条件と認識処理に用いる画像の撮影条件が最も一致する学習モデルを選択することで、画像の劣化を抑え認識の性能を向上させる方法について説明する。
【００４９】
学習時の画像と認識時の画像のそれぞれの撮影条件の差が大きいと変換後の画像の劣化が大きくなることがある。例えば、画像を幾何的に変換する場合、画像の不自然な歪みが発生することや、画像の位置をずらすことで認識すべき領域が枠の外にはみ出てしまう可能性がある。また、第２の実施形態説明するような画像の輝度を変換する場合、ノイズを増幅する場合がある。以上の理由から、認識処理に用いる画像の撮影条件と、学習に用いる画像の撮影条件の差はできるだけ小さい方が望ましい。なお、学習モデルは特定の撮影条件が異なるように複数作成しておく。例えば、学習に用いた画像の輝度が一定で、撮像装置の姿勢を変えて撮影した画像によって学習した学習モデルを用意する。
【００５０】
そこで、本実施形態では、学習時に複数の撮影条件において画像を撮影し、それぞれの撮影条件で学習を行った複数の学習モデルを準備する。認識処理の時点では、撮影した画像に、最も近い撮影条件の学習モデルを選択して取得することで、撮影条件の差を小さく抑える。これにより、認識の性能を向上させる。ここでは第１の実施形態との差分である、学習モデル保持部３４０と学習モデル取得部３５０の処理について説明する。
【００５１】
学習モデル保持部３４０は、複数の撮影条件で撮影した画像に基づく複数の学習モデルとその撮影条件を保持する。第１の実施形態では１つの撮影条件において１つの学習モデルを構築した。これに対し、本変形例では、撮影条件を変えて複数の学習モデルを構築し、保持する。なお、本実施形態では、撮影条件は第１の実施形態と同じく撮像装置の位置姿勢とする。ただし、輝度など他の撮影条件を用いても良い。また、学習モデル保持部３４０は情報処理装置３００の外部にあっても良い。その場合、情報処理装置３００は外部と通信して複数の学習モデルを取得する。
【００５２】
機能構成とハードウエア構成は第１の実施形態同様である。ここでは第１の実施形態と手順が異なる部分について図４のフローチャートに基づいて説明する。
【００５３】
学習モデル取得部３５０は、図４におけるＳ４１０において、撮影条件取得部３２０で取得した認識に用いる撮像装置１１０の撮影条件に、最も一致する撮影条件に基づいて構築した学習モデルの撮影条件を選択し、学習モデル保持部３４０から取得する。学習モデル取得部３５０では、複数の学習モデルを取得し、画像変換部３３０で、撮影条件取得部３２０で取得した認識に用いる撮像装置の撮影条件に、最も一致する撮影条件を選択しても良い。本実施形態において、撮影条件の一致度は撮像装置の位置姿勢の差とする。例えば、学習時と認識時での撮像装置の位置姿勢を示すパラメータの差が最小となるような学習モデルを選択する。具体的には、撮像装置の高さの差や、姿勢の差を見て一致度を計算しても良い。画像の輝度を撮影条件とする場合は、画像全体または特徴部分の輝度が最も近い学習モデルを選択する。或いは屋外や室内といった撮影環境や、朝昼夜といった時間等の外的要因が最もあてはまる学習モデルを選択するようにしても良い。なお、Ｓ４２０以降は第１の実施形態と同様の手順で行う。
【００５４】
以上述べたように、複数の学習モデルを保持し、認識処理に用いる画像の撮影条件に最も一致する学習モデルを選択することで、画像変換における画像の劣化を抑えることができ、その結果画像認識の性能を向上させることができる。
【００５５】
（第２の実施形態）
本実施形態では、学習に用いる画像の撮影条件と、学習結果を使った認識処理に用いる画像の撮影条件の明るさの違いに注目する。
【００５６】
まず、画像の明るさの撮影条件の違いは、撮像装置の周辺の明るさや撮像装置固有のセンサの感度などの違いから発生する。また、屋外で撮像する場合は画像を撮影した時間帯や天候によっても、画像の明るさに違いが発生する。例えば、第１の実施形態のような車両に撮像装置を設置する場合、同じ場所でも日中と夜間で露光が変化することもあり、走行中はトンネルや駐車場で明るさが異なることもある。また、屋内で撮像する場合でも、学習時とまったく同じ照明条件で撮像することは難しい。例えば、工場や倉庫内を移動する作業用ロボット等である移動体は明るさの異なる空間を行き来するため、作業場所によって周辺の明るさが異なる。移動体の大きさによっては棚や机の下を通過ることもあるため、同じ空間内でも照明条件が異なる。このような違いを補正するため、本実施形態では、学習に用いる車両に搭載した撮像装置の画像の明るさと、学習結果を使った認識処理に用いる車両に搭載した撮像装置の画像の明るさの違いに基づいて、認識処理に用いる画像の輝度を変化させる。そして、学習に用いる画像の撮影条件に近づける。これにより、認識の精度を向上させる。
【００５７】
まず、本実施形態におけるハードウエア構成は、第１の実施形態と同様である。次に、図３を用いて本実施形態の情報処理装置の機能構成について説明する。本実施形態のモジュール構成は、第１の実施形態のモジュール構成と同じである。ただし、撮影条件取得部３２０と画像変換部３３０の処理は、撮影条件を画像の明るさとして、処理の内容は異なる。以下、第１の実施形態との差分を説明する。
【００５８】
撮影条件取得部３２０は、画像認識に用いる画像の撮影条件と学習に用いられた画像の撮影条件を取得する。すなわち、撮影条件として、撮像装置１１０の明るさに関する情報と、学習に用いた異なる車両に取り付けられた図１の学習時の撮像装置２１０の明るさに関する情報とを取得する。なお、本実施形態において撮影条件である明るさに関する情報とは、車両に搭載する撮像装置が撮影した画像の明るさの度合いとする。さらに、明るさの度合いとは、画像の輝度値の平均値とする。また、学習に用いた撮像画像が撮影した画像の輝度値の平均値は予め計算しておくものとする。また、画像から得る輝度情報だけではなく、外部情報を明るさ度合に関わる変数として取り入れても良い。具体例としては、時刻、天候、照明の強さ、照明の数、照明の色といった情報を量的に扱う。また、明るさに関する情報としてに照明センサ等によって周囲の明るさを計測した計測情報を使っても良い。
【００５９】
画像変換部３３０は、画像認識時に撮影した画像の撮影条件と、学習時に用いた画像の撮影条件に基づいて画像変換を行う。すなわち、撮影条件取得部３２０で取得した撮像装置１１０の撮影条件と、学習時の撮像装置２１０の撮影条件に基づいて、画像取得部３１０で取得した画像に輝度値の変換を加える。本実施形態では、撮影条件を画像の明るさの度合いとし、その比に基づいて画像の輝度値の変換を行う。なお、本実施形態における撮影条件取得部２２０と画像変換部３３０は、画像の全体としての明るさの度合いを撮影条件として取得し、その比率に基づいて画像の輝度値を変換する。ここで、撮影条件取得部２２０で取得する明るさの度合いは、画像の全体に注目しても良いし、画像をいくつかに分割しその各部について明るさを計量しても良い。同じく画像変換部３３０における輝度値の変換も、画像の各部の明るさの度合いに応じて輝度値を変換しても良い。また、変換は輝度変換だけするのではなく、第１の実施形態で行った幾何変換や他の変換とともに実施しても良い。
【００６０】
次に、本実施形態の処理手順について説明する。処理の順序は、第１の実施形態と同じであるが、Ｓ４３０、Ｓ４４０における撮影条件取得部３２０と画像変換部３３０の処理内容が異なる。ここでは、Ｓ４３０とＳ４４０における処理の内容を説明する。
【００６１】
Ｓ４３０では、撮影条件取得部３２０が、撮像装置１１０で撮影された画像の撮影条件と、学習モデルにおいて学習に用いられた画像の撮影条件を取得する。すなわち、学習に用いた画像の撮影を行う異なる車両に取り付けられた図１の学習時の撮像装置２１０で撮影した画像の明るさの度合いＶ１と、撮像装置１１０で撮影した画像の明るさの度合いＶ２を取得する。まず、撮像装置１１０で撮影した画像についての明るさの度合いＶ２は、画像取得部３１０で取得した画像の輝度値の平均値を得ることで算出する。次に、学習時の明るさの度合いＶ１は、予め計算しておいた輝度値の平均値を取得する。また、明るさの度合いの比率をＳ＝Ｖ１／Ｖ２と定義する。
【００６２】
これ以外にも、明るさの計量方法として、例えば季節や時刻に基づいて算出しても良い。環境の明るさは時刻と相関があるため、例えば昼はＳ＝１、夕方はＳ＝２、夜はＳ＝１０の様に、想定される環境の明るさに応じて明るさの度合いの比率を設定しても良い。また、センサ１０８で計測した明るさ情報を用いても良い。
【００６３】
Ｓ４４０では、画像変換部３３０が、撮影条件取得部３２０で取得した撮像装置１１０の画像の明るさの度合いと、学習時の撮像装置２１０の画像の明るさの度合いに基づいて、画像取得部２１０で取得した画像に輝度変換を加える。
【００６４】
ここでは、２つの撮影条件の明るさの度合いの比率Ｓに基づいて、画像取得部２１０で取得した画像の各画素の輝度値を変換する。具体的には、各画素の輝度値にＳを掛ける。この操作により、画像の明るさについての撮影条件を、学習時の画像の撮影条件に近づけることができる。なお、複数の撮影条件を補正するように画像を変換しても良い。例えば位置姿勢についての撮影条件の変換を行った後、さらに明るさについての撮影条件の変換を行っても良い。
【００６５】
以上述べたように、本実施形態では、学習に用いる画像の撮影条件と、学習結果を使った認識処理を行う画像の撮影条件の明るさの違いに注目し、認識処理に用いる画像の輝度値を変化させ、学習に用いる画像の撮影条件に近づける。これにより、画像の見え方を合わせることができるため、認識の精度を向上させることができる。
【００６６】
（第３の実施形態）
本実施形態では、第１及び第２の実施形態における認識結果を、車両の自動運転に利用する例について説明する。なお、ここでいう自動運転とは人による（運転制御）操作を基本的に必要とせず、情報処理装置やシステムが車両や移動体等の移動装置の運動を制御する技術を指す。画像認識の精度が向上すると、自動運転における実測スケールでの距離計測や標識認識等に適用できる。ここでは具体例として、撮影した画像の認識結果に基づいて、現在の車両の位置姿勢を特定することで車両の運転制御を行う。なお、車両以外にも移動装置は、ドローン、作業用ロボット、運搬用ロボットといった移動ロボットの自動運転制御にも本実施形態を適用できる。陸上を歩行・走行する車両やロボットの他、空中を飛行して移動するものや、水上を移動するもの、水中を潜水して移動する移動体に適用しても良い。
【００６７】
まず、本実施形態のモジュール構成について説明する。本実施形態のモジュール構成は、第１及び第２の実施形態における図３のモジュール構成に加え、図６に示すように位置姿勢推定部６１０、運転制御部６２０、アクチュエータ部６３０を持つ。また、これらのモジュールは、図７に示すように車両１００に搭載されており、撮像装置１１０で撮影した画像に基づいて処理を行う。ここで、本実施形態では第１または第２の実施形態と同様に、画像認識部３６０は距離画像を出力結果として出力するものとする。なお、必要に応じて画像認識部３６０は障害物検知、標識認識や走行領域認識を出力結果として出力しても良い。
【００６８】
位置姿勢推定部６１０は、車両１００の目的地の座標である地図情報の座標系における車両１００（または撮像装置１１０）の位置や姿勢を推定する。本実施形態では、画像認識部３６０で認識した距離情報を地図情報における座標に変換した距離情報に基づいて前記移動装置の位置を推定する。画像や距離画像から車両または撮像装置の位置や姿勢を推定する方法としては、公知のＳＬＡＭが挙げられる。本実施形態では、画像認識部３６０が出力する距離画像に基づいて、車両１００の位置または姿勢を推定するものとする。ここで、車両１００と撮像装置１１０の相対的な位置と姿勢の関係は既知とすると、撮像装置１１０の位置姿勢から車両１００の位置姿勢を算出できる。すなわち、位置姿勢推定部６１０は車両１００の位置姿勢を推定することができる。なお、別途ＧＰＳやジャイロセンサ等の位置センサや姿勢センサを搭載しておき、その計測情報に基づいて世界座標における車両１００の位置姿勢を取得しても良い。また、撮像装置１１０で撮影した画像やセンサ１０８で計測した距離情報から車両１００の位置や姿勢を推定しても良い。なお、位置姿勢推定部６１０は情報処理装置３００に含まれても良いし、移動装置本体や車両の運転制御装置に組み込まれていても良い。なお、車両１００には予め地図情報を記憶部に保存しているか、通信部によって周辺の地図情報を取得できるようになっているものとする。
【００６９】
運転制御部６２０は、前記移動装置を前記目的地に移動させる制御値を算出する。すなわち、位置姿勢推定部６１０における車両１００の位置姿勢の推定結果と、画像認識部３６０の学習モデルを使った認識結果の少なくとも一方に基づいて、車両を移動させる方向、加速度といった制御値を算出する。或いは、人がアクセルを踏む操作やハンドルを回転させる操作に相当する制御のパラメータを算出する。ここでは、車両の位置姿勢から制御値を算出する具体的な方法として、地図上に設定した目的地まで車両を自動運転する例について説明する。アクチュエータ部６３０は、運転制御部６２０から出力する制御値に基づいて、車両の各機構（車輪のトルクや方向など）を動かし運転を行う。
【００７０】
図８は、情報処理システムの処理手順を示すフローチャートである。以下、第１の実施形態との差を中心に説明する。初期設定として、現在の車両の位置の座標と目的地を示す地図情報をＧＰＳ等で取得する。あとに述べる位置姿勢推定部６１０の処理は、この座標を基準とした位置姿勢を推定するものとする。Ｓ８１０では、撮像装置１１０が車両１００の周辺を撮影する。Ｓ８２０では、情報処理装置３００の画像取得部３１０が、Ｓ８１０で撮影された処理対象の画像を入力されて、処理対象の画像を取得する。Ｓ８３０では、学習モデル取得部３５０が学習モデルと学習時の画像の撮影条件を取得する。学習モデル取得部３５０では、複数の学習モデルを取得し、画像変換部３３０で、撮影条件取得部３２０で取得した認識に用いる撮像装置の撮影条件に、最も一致する撮影条件を選択しても良い。このとき、Ｓ８４０で取得する撮影条件の情報に基づいて学習モデル保持部が保持する複数の学習モデルから適した学習モデルを取得するようにしても良い。Ｓ８４０では、撮像条件取得部３２０が、撮像装置１１０で撮影された画像の撮影条件と、学習モデルにおいて学習に用いられた画像の撮影条件を取得する。Ｓ８５０では、画像変換部３３０が、処理対象の画像の撮影条件を学習に用いた画像の撮影条件に近づけるように、撮像装置１１０で撮影された画像を変換する。Ｓ８６０では、画像認識部３６０は、画像変換部３３０で変換した画像を入力として、撮像装置１１０で撮影された画像の画素または領域に対応する距離情報を出力結果として出力する。この距離情報は、撮像装置からの奥行き情報で、撮像装置を原点としたカメラ座標における周囲の物体までの距離を表す。
【００７１】
Ｓ８７０では、位置姿勢推定部６１０が、Ｓ８６０で得られた出力結果をもとに車両１００の自己位置推定を行う。Ｓ８５０の出力結果である距離情報をカメラ座標から地図座標もしくは世界座標に変換し、地図情報における車両１００の位置を推定する。自己位置推定の方法としては、ＳＬＡＭやそれ以外の方法を使っても良い。
【００７２】
Ｓ８８０では、移動装置にある運転制御部６２０が、位置姿勢推定部６１０で推定された車両１００の位置と地図情報に基づいてスタート地点から目的地に向かうルートを計算する。なお、車両１００には予め目的地の座標を示す地図情報を記憶部に保存しているか、通信部によって周辺の地図を取得できるようになっているものとする。また、ＳＬＡＭ（ＳＩＭＵＬＴＡＮＥＯＵＳ  ＬＯＣＡＬＩＺＡＴＩＯＮ  ＡＮＤ  ＭＡＰＰＩＮＧ）の技術を用いて随時周辺の地図を作成しながらルート探索するようにしても良い。次に、そのルートをたどるための制御値を算出し、アクチュエータ部６３０を介して車両の自動運転を行う。なお、自動運転中に変化する車両の位置姿勢を、常に位置姿勢推定部６１０で推定し、制御値を更新することで精度の高い自動運転を実現できる。また、位置姿勢推定部６１０は情報処理装置３００が出力する距離画像に基づいて、道路上に存在する凸凹や障害物の存在を検知し、運転制御部６２０は車両のスピードを緩める制御や停止の制御を自動的に選択できる。具体的には加速度や進行方向を制御値として算出する。アクチュエータ部６３０は、運転制御部６２０から出力する制御値に基づいて、車両の各機構（車輪のトルクや方向など）を動かし運転を行う。
【００７３】
Ｓ８９０では、運転制御部６２０が、車両１００が目的地に到着したときにシステムを終了する。Ｓ８７０で位置姿勢推定部６１０が、目的地と車両１００の距離が一定の値以下である場合は、運転制御部６２０が、目的地に到着したと判断する。目的地に到着していない場合はＳ８１０に戻る。システム終了の合図はこれ以外にも人間側の操作によって指示したりするようにしても良い。
【００７４】
以上述べたように、本実施形態では、撮影した画像の認識結果に基づいて、現在の車両の位置姿勢を精度よく特定できる。これにより、認識結果に基づく車両の制御においてもその精度を向上させることができる。
【００７５】
（その他の実施形態）
第１及び第２の実施形態では、撮影条件として撮像装置の位置姿勢や明るさに注目し、画像の変換を行う方法について説明した。撮影条件としては、これ以外にも、画像のズーム値や画角、色合いについての撮影条件に注目し変換を行っても良い。
【００７６】
例えばズーム値に注目する場合、学習に用いた画像のズーム値に合わせて、認識処理に用いる画像を拡大或いは縮小することで、撮影条件を合わせることができる。また、色合いに注目する場合、学習に用いた画像の色合いとしてＲＧＢの値の比率を取得し、認識処理に用いる画像のＲＧＢの値の比率を変化させることで、撮影条件を合わせることができる。また、学習に用いた画像と認識処理に用いる画像のセンサとしてチャンネルの違いがある場合、（カラー画像とモノクロの濃淡画像、赤外画像など）その違いを補正する変換を加えても良い。認識処理に用いるの撮像装置１１０の画角は、学習に用いる撮像装置２１０の画角より広く設定しても良い。例えば、撮像条件の違いとして画角に注目する場合、撮影した画像のスケールを変換することになる。画角を広くすることで、画像変換部３３０において画像の位置や角度を変換するときに発生する画像の位置をずらすことで認識すべき領域が枠の外にはみ出てしまう見切れ部分を抑えることができる。
【００７７】
本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、データ通信用のネットワーク又は各種記憶媒体を介してシステム或いは装置に供給する。そして、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、そのプログラムをコンピュータ読み取り可能な記録媒体に記録して提供しても良い。
【符号の説明】
【００７８】
１００  認識実行時の車両
１１０  撮像装置
２００  学習時の車両
２１０  撮像装置
３００  情報処理装置
３１０  画像取得部
３２０  撮影条件取得部
３３０  画像変換部
３４０  学習モデル保持部
３５０  学習モデル取得部
３６０  画像認識部
【図１】
2019125116.tif 000004
【図２】
2019125116.tif 000005
【図３】
2019125116.tif 000006
【図４】
2019125116.tif 000007
【図５】
2019125116.tif 000008
【図６】
2019125116.tif 000009
【図７】
2019125116.tif 000010
【図８】
2019125116.tif 000011