(57)【要約】【課題】統計モデルにおける学習の容易性を向上させることが可能な学習方法、プログラム及び画像処理装置を提供することにある。【解決手段】実施形態によれば、画像の局所領域を入力として当該局所領域に対応する予測値を出力するための第１統計モデルを用いて、画像の全体領域を入力として当該全体領域に対応する予測値を出力するための第２統計モデルを学習させる学習方法が提供される。学習方法は、第１学習用画像の局所領域の各々を第１統計モデルに入力することによって第１統計モデルから出力される局所領域の各々に対応する第１予測値を取得することと、第１学習用画像の全体領域を第２統計モデルに入力することによって第２統計モデルから出力される第１学習用画像の全体領域に対応する第２予測値を取得することと、第２統計モデルが第１予測値と第２予測値との誤差に基づいて学習することとを具備する。【選択図】図１５
2020204880.tif 000002
【特許請求の範囲】
【請求項１】
画像の局所領域を入力として当該局所領域に対応する予測値を出力するための第１統計モデルを用いて、画像の全体領域を入力として当該全体領域に対応する予測値を出力するための第２統計モデルを学習させる学習方法であって、
第１学習用画像を取得することと、
前記取得された第１学習用画像の局所領域の各々を切り出し、当該局所領域の各々を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該局所領域の各々に対応する第１予測値を取得することと、
前記取得された第１学習用画像の全体領域を前記第２統計モデルに入力することによって当該第２統計モデルから出力される当該第１学習用画像の全体領域に対応する第２予測値を取得することと、
前記第２統計モデルが前記第１予測値と前記第２予測値との誤差に基づいて学習することと
を具備する学習方法。
【請求項２】
前記第１予測値を取得することは、前記取得された第１学習用画像の局所領域の各々の当該第１学習用画像上の各位置を示す位置情報を前記第１統計モデルに入力することによって、当該各位置に応じた第１予測値を取得することを含み、
前記第２予測値を取得することは、前記取得された第１学習用画像上の各位置を示す位置情報を前記第２統計モデルに入力することによって、当該各位置に応じた第２予測値を取得することを含む
請求項１記載の学習方法。
【請求項３】
第２学習用画像及び当該第２学習用画像の局所領域の各々に対応する予測値として出力されるべき正解値を取得することと、
前記取得された第２学習用画像及び正解値と前記第２学習用画像の局所領域の各々の前記第２学習用画像上の各位置を示す位置情報とに基づいて、前記第１統計モデルを生成することと
を更に具備し、
前記第１学習用画像上の各位置を示す位置情報と前記第２学習用画像上の各位置を示す位置情報とは、同一座標系として定義されている
請求項２記載の学習方法。
【請求項４】
前記第２統計モデルは、前記第１統計モデルの一部を共有する請求項１記載の学習方法。
【請求項５】
前記第１予測値は、前記取得された学習用画像の局所領域の各々に含まれる被写体までの距離を含み、
前記第２予測値は、前記取得された学習用画像の全体領域に含まれる被写体までの距離を含む
請求項１〜４のいずれか一項に記載の学習方法。
【請求項６】
画像の局所領域を入力として当該局所領域に対応する予測値を出力するための第１統計モデルを用いて、画像の全体領域を入力として当該全体領域に対応する予測値を出力するための第２統計モデルを学習させるプログラムであって、
コンピュータに、
第１学習用画像を取得することと、
前記取得された第１学習用画像の局所領域の各々を切り出し、当該局所領域の各々を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該局所領域の各々に対応する第１予測値を取得することと、
前記取得された第１学習用画像の全体領域を前記第２統計モデルに入力することによって当該第２統計モデルから出力される当該第１学習用画像の全体領域に対応する第２予測値を取得することと、
前記第２統計モデルが前記第１予測値と前記第２予測値との誤差に基づいて学習することと
を実行させるためのプログラム。
【請求項７】
前記第１予測値を取得することは、前記取得された第１学習用画像の局所領域の各々の当該第１学習用画像上の各位置を示す位置情報を前記第１統計モデルに入力することによって、当該各位置に応じた第１予測値を取得することを含み、
前記第２予測値を取得することは、前記取得された第１学習用画像上の各位置を示す位置情報を前記第２統計モデルに入力することによって、当該各位置に応じた第２予測値を取得することを含む
請求項６記載のプログラム。
【請求項８】
前記コンピュータに、
第２学習用画像及び当該第２学習用画像の局所領域の各々に対応する予測値として出力されるべき正解値を取得することと、
前記取得された第２学習用画像及び正解値と前記第２学習用画像の局所領域の各々の前記第２学習用画像上の各位置を示す位置情報とに基づいて、前記第１統計モデルを生成することと
を更に実行させ、
前記第１学習用画像上の各位置を示す位置情報と前記第２学習用画像上の各位置を示す位置情報とは、同一座標系として定義されている
請求項７記載のプログラム。
【請求項９】
前記第２統計モデルは、前記第１統計モデルの一部を共有する請求項６記載のプログラム。
【請求項１０】
前記第１予測値は、前記取得された学習用画像の局所領域の各々に含まれる被写体までの距離を含み、
前記第２予測値は、前記取得された学習用画像の全体領域に含まれる被写体までの距離を含む
請求項６〜９のいずれか一項に記載のプログラム。
【請求項１１】
画像の局所領域を入力として当該局所領域に対応する予測値を出力するための第１統計モデルを用いて、画像の全体領域を入力として当該全体領域に対応する予測値を出力するための第２統計モデルを学習させる画像処理装置において、
第１学習用画像を取得する第１取得手段と、
前記取得された第１学習用画像の局所領域の各々を切り出し、当該局所領域の各々を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該局所領域の各々に対応する第１予測値を取得する第２取得手段と、
前記取得された第１学習用画像の全体領域を前記第２統計モデルに入力することによって当該第２統計モデルから出力される当該第１学習用画像の全体領域に対応する第２予測値を取得する第３取得手段と、
前記第１予測値と前記第２予測値との誤差に基づいて前記第２統計モデルを学習させる学習処理手段と
を具備する画像処理装置。
【請求項１２】
前記第２取得手段は、前記取得された第１学習用画像の局所領域の各々の当該第１学習用画像上の各位置を示す位置情報を前記第１統計モデルに入力することによって、当該各位置に応じた第１予測値を取得し、
前記第３取得手段は、前記取得された第１学習用画像上の各位置を示す位置情報を前記第２統計モデルに入力することによって、当該各位置に応じた第２予測値を取得する
請求項１１記載の画像処理装置。
【請求項１３】
第２学習用画像及び当該第２学習用画像の局所領域の各々に対応する予測値として出力されるべき正解値を取得する第４取得手段と、
前記取得された第２学習用画像及び正解値と前記第２学習用画像の局所領域の各々の前記第２学習用画像上の各位置を示す位置情報とに基づいて、前記第１統計モデルを生成する生成手段と
を更に具備し、
前記第１学習用画像上の各位置を示す位置情報と前記第２学習用画像上の各位置を示す位置情報とは、同一座標系として定義されている
請求項１２記載の画像処理装置。
【請求項１４】
前記第２統計モデルは、前記第１統計モデルの一部を共有する請求項１１記載の画像処理装置。
【請求項１５】
前記第１予測値は、前記取得された学習用画像の局所領域の各々に含まれる被写体までの距離を含み、
前記第２予測値は、前記取得された学習用画像の全体領域に含まれる被写体までの距離を含む
請求項１１〜１４のいずれか一項に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の実施形態は、学習方法、プログラム及び画像処理装置に関する。
【背景技術】
【０００２】
被写体までの距離を取得するために、２つの撮像装置（カメラ）やステレオカメラ（複眼のカメラ）で撮像された画像を用いることが知られていたが、近年では、１つの撮像装置（単眼のカメラ）で撮像された画像を用いて被写体までの距離を取得する技術が開発されている。
【０００３】
なお、上記したように画像を用いて被写体までの距離を取得するために、ニューラルネットワーク等の機械学習アルゴリズムを適用して生成される統計モデルを用いることが考えられる。
【０００４】
しかしながら、高い精度の統計モデルを生成するためには、膨大な学習用のデータセット（学習用画像と当該学習用画像中の被写体までの距離に関する正解値とのセット）を統計モデルに学習させる必要があるが、当該データセットを用意することは容易ではない。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Kaiming He、外２名、”Rethinking ImageNet Pre-training”、［online］、［令和１年５月２０日検索］、インターネット<URL:https:// arxiv.org/abs/1811.08883v1>
【非特許文献２】Christian Bailer、外３名、”Fast Feature Extraction with CNNs with Pooling Layers”、［online］、［令和１年５月２０日検索］、インターネット<URL:https://arxiv.org/abs/1805.03096v1>
【発明の概要】
【発明が解決しようとする課題】
【０００６】
そこで、本発明が解決しようとする課題は、統計モデルにおける学習の容易性を向上させることが可能な学習方法、プログラム及び画像処理装置を提供することにある。
【課題を解決するための手段】
【０００７】
実施形態によれば、画像の局所領域を入力として当該局所領域に対応する予測値を出力するための第１統計モデルを用いて、画像の全体領域を入力として当該全体領域に対応する予測値を出力するための第２統計モデルを学習させる学習方法が提供される。前記学習方法は、第１学習用画像を取得することと、前記取得された第１学習用画像の局所領域の各々を切り出し、当該局所領域の各々を前記第１統計モデルに入力することによって当該第１統計モデルから出力される当該局所領域の各々に対応する第１予測値を取得することと、前記取得された第１学習用画像の全体領域を前記第２統計モデルに入力することによって当該第２統計モデルから出力される当該第１学習用画像の全体領域に対応する第２予測値を取得することと、前記第２統計モデルが前記第１予測値と前記第２予測値との誤差に基づいて学習することとを具備する。
【図面の簡単な説明】
【０００８】
【図１】実施形態における測距システムの構成の一例を示す図。
【図２】画像処理装置のシステム構成の一例を示す図。
【図３】測距システムの動作の概要について説明するための図。
【図４】被写体までの距離を予測する原理について説明するための図。
【図５】撮像画像から距離を予測するパッチ方式について説明するための図。
【図６】画像パッチに関する情報の一例を示す図。
【図７】撮像画像から距離を予測する画面一括方式について説明するための図。
【図８】パッチ方式の計算処理フローを模式的に示す図。
【図９】パッチ方式の計算処理フローを模式的に示す図。
【図１０】パッチ方式の計算処理フローを模式的に示す図。
【図１１】パッチ方式の計算処理フローを模式的に示す図。
【図１２】パッチ方式の計算処理フローを模式的に示す図。
【図１３】画面一括方式の計算処理フローを模式的に示す図。
【図１４】統計モデルの学習方法の概要を説明するための図。
【図１５】画面一括方式用モデルの学習方法の概要を説明するための図。
【図１６】パッチ方式用モデルの学習に関する処理手順の一例を示すフローチャート。
【図１７】画面一括方式用モデルの学習に関する処理手順の一例を示すフローチャート。
【図１８】画面一括方式用モデルを用いて撮像画像から距離情報を取得する処理手順の一例を示すフローチャート。
【図１９】本実施形態の第１比較例に係る学習方法を模式的に示す図。
【図２０】本実施形態の第２比較例に係る学習方法を模式的に示す図。
【図２１】本実施形態に係る学習方法を模式的に示す図。
【図２２】パッチ方式用モデルに位置情報が入力される構成について説明するための図。
【発明を実施するための形態】
【０００９】
以下、図面を参照して、実施形態について説明する。  
図１は、本実施形態における測距システムの構成の一例を示す。図１に示す測距システム１は、画像を撮像し、当該撮像された画像を用いて撮像地点から被写体までの距離を取得（測定）するために使用される。
【００１０】
図１に示すように、測距システム１は、撮像装置２及び画像処理装置３を備える。本実施形態においては、測距システム１が別個の装置である撮像装置２及び画像処理装置３を備えるものとして説明するが、当該測距システム１は、撮像装置２が撮像部として機能し、画像処理装置３が画像処理部として機能する１つの装置（測距装置）として実現されていてもよい。また、画像処理装置３は、例えば各種クラウドコンピューティングサービスを実行するサーバとして動作するものであってもよい。
【００１１】
撮像装置２は、各種画像を撮像するために用いられる。撮像装置２は、レンズ２１及びイメージセンサ２２を備える。レンズ２１及びイメージセンサ２２は、撮像装置２の光学系（単眼カメラ）に相当する。
【００１２】
レンズ２１には、被写体で反射した光が入射する。レンズ２１に入射した光は、レンズ２１を透過する。レンズ２１を透過した光は、イメージセンサ２２に到達し、当該イメージセンサ２２によって受光（検出）される。イメージセンサ２２は、受光した光を電気信号に変換（光電変換）することによって、複数の画素から構成される画像を生成する。
【００１３】
なお、イメージセンサ２２は、例えばＣＣＤ（Charge Coupled Device）イメージセンサ及びＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等により実現される。イメージセンサ２２は、例えば赤色（Ｒ）の波長帯域の光を検出する第１センサ（Ｒセンサ）２２１、緑色（Ｇ）の波長帯域の光を検出する第２センサ（Ｇセンサ）２２２及び青色（Ｂ）の波長帯域の光を検出する第３センサ（Ｂセンサ）２２３を含む。イメージセンサ２２は、第１〜第３センサ２２１〜２２３により対応する波長帯域の光を受光して、各波長帯域（色成分）に対応するセンサ画像（Ｒ画像、Ｇ画像及びＢ画像）を生成することができる。すなわち、撮像装置２によって撮像される画像はカラー画像（ＲＧＢ画像）であり、当該画像にはＲ画像、Ｇ画像及びＢ画像が含まれる。
【００１４】
なお、本実施形態においてはイメージセンサ２２が第１〜第３センサ２２１〜２２３を含むものとして説明するが、イメージセンサ２２は、第１〜第３センサ２２１〜２２３のうちの少なくとも１つを含むように構成されていればよい。また、イメージセンサ２２は、第１〜第３センサ２２１〜２２３に代えて、例えばモノクロ画像を生成するためのセンサを含むように構成されていてもよい。
【００１５】
本実施形態においてレンズ２１を透過した光に基づいて生成された画像は、光学系（レンズ２１）の収差の影響を受けた画像であり、当該収差により生じるぼけを含む。
【００１６】
図１に示す画像処理装置３は、機能構成として、統計モデル格納部３１、画像取得部３２、距離取得部３３、出力３４及び学習処理部３５を含む。
【００１７】
統計モデル格納部３１には、被写体までの距離を撮像装置２によって撮像された画像から取得するために用いられる統計モデルが格納されている。統計モデル格納部３１に格納されている統計モデルは、上記した光学系の収差の影響を受けた画像に生じる、当該画像中の被写体までの距離に応じて非線形に変化するぼけを学習することによって生成されている。このような統計モデルによれば、画像が当該統計モデルに入力されることによって、当該画像に対応する予測値として当該画像中の被写体までの距離を予測（出力）することができる。
【００１８】
なお、統計モデルは、例えばニューラルネットワークまたはランダムフォレスト等の既知の様々な機械学習アルゴリズムを適用して生成することができるものとする。また、本実施形態において適用可能なニューラルネットワークには、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）、全結合ニューラルネットワーク及び再起型ニューラルネットワーク等が含まれていてもよい。
【００１９】
画像取得部３２は、上記した撮像装置２によって撮像された画像を、当該撮像装置２（イメージセンサ２２）から取得する。
【００２０】
距離取得部３３は、画像取得部３２によって取得された画像を用いて、当該画像中の被写体までの距離を示す距離情報を取得する。この場合、距離取得部３３は、画像を統計モデル格納部３１に格納されている統計モデルに入力することによって、当該画像中の被写体までの距離を示す距離情報を取得する。
【００２１】
出力部３４は、距離取得部３３によって取得された距離情報を、例えば画像と位置的に対応づけて配置したマップ形式で出力する。この場合、出力部３４は、距離情報によって示される距離を画素値とする画素から構成される画像データを出力する（つまり、距離情報を画像データとして出力する）ことができる。このように距離情報が画像データとして出力される場合、当該画像データは、例えば色で距離を示す距離画像として表示することができる。出力部３４によって出力される距離情報は、例えば撮像装置２によって撮像された画像中の被写体のサイズを算出するために利用することも可能である。
【００２２】
学習処理部３５は、例えば画像取得部３２によって取得される画像を用いて統計モデル格納部３１に格納されている統計モデルの学習に関する処理を実行する。学習処理部３５によって実行される処理の詳細については後述する。
【００２３】
なお、図１に示す例では、画像処理装置３が各部３１〜３５を含むものとして説明したが、当該画像処理装置３は、例えば画像取得部３２、距離取得部３３及び出力部３４を含む測距装置と、統計モデル格納部３１及び学習処理部３５を含む学習装置とから構成されていてもよい。
【００２４】
図２は、図１に示す画像処理装置３のシステム構成の一例を示す。画像処理装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３及び通信デバイス３０４を備える。また、画像処理装置３は、ＣＰＵ３０１、不揮発性メモリ３０２、ＲＡＭ３０３及び通信デバイス３０４を相互に接続するバス３０５を有する。
【００２５】
ＣＰＵ３０１は、画像処理装置３内の様々なコンポーネントの動作を制御するためのプロセッサである。ＣＰＵ３０１は、単一のプロセッサであってもよいし、複数のプロセッサで構成されていてもよい。ＣＰＵ３０１は、不揮発性メモリ３０２からＲＡＭ３０３にロードされる様々なプログラムを実行する。これらプログラムは、オペレーティングシステム（ＯＳ）や様々なアプリケーションプログラムを含む。アプリケーションプログラムは、画像処理プログラム３０３Ａを含む。
【００２６】
不揮発性メモリ３０２は、補助記憶装置として用いられる記憶媒体である。ＲＡＭ３０３は、主記憶装置として用いられる記憶媒体である。図２においては不揮発性メモリ３０２及びＲＡＭ３０３のみが示されているが、画像処理装置３は、例えばＨＤＤ（Hard Disk Drive）及びＳＳＤ（Solid State Drive）等の他の記憶装置を備えていてもよい。
【００２７】
なお、本実施形態において、図１に示す統計モデル格納部３１は、例えば不揮発性メモリ３０２または他の記憶装置等によって実現される。
【００２８】
また、本実施形態において、図１に示す画像取得部３２、距離取得部３３、出力部３４及び学習処理部３５の一部または全ては、ＣＰＵ３０１（つまり、つまり、画像処理装置３のコンピュータ）に画像処理プログラム３０３Ａを実行させること、すなわちソフトウェアによって実現されるものとする。この画像処理プログラム３０３Ａは、コンピュータ読み取り可能な記憶媒体に格納して頒布されてもよいし、ネットワークを通じて画像処理装置３にダウンロードされてもよい。
【００２９】
ここでは、ＣＰＵ３０１に画像処理プログラム３０３Ａを実行させるものとして説明したが、各部３２〜３５の一部または全てはＣＰＵ３０１の代わりに例えばＧＰＵ（図示せず）を用いて実現されてもよい。また、各部３２〜３５の一部または全ては、ＩＣ（Integrated Circuit）等のハードウェアによって実現されてもよいし、ソフトウェア及びハードウェアの組み合わせによって実現されてもよい。
【００３０】
通信デバイス３０４は、有線通信または無線通信を実行するように構成されたデバイスである。通信デバイス３０４は、信号を送信する送信部と信号を受信する受信部とを含む。通信デバイス３０４は、ネットワークを介した外部機器との通信、周辺に存在する外部機器との通信等を実行する。この外部機器には、撮像装置２が含まれる。この場合、画像処理装置３は、通信デバイス３０４を介して、撮像装置２から画像を受信することができる。
【００３１】
図２においては省略されているが、画像処理装置３は、例えばマウスまたはキーボードのような入力デバイス及びディスプレイのような表示デバイスを更に備えていてもよい。
【００３２】
次に、図３を参照して、本実施形態における測距システム１の動作の概要について説明する。
【００３３】
測距システム１において、撮像装置２（イメージセンサ２２）は、上記したように光学系（レンズ２１）の収差の影響を受けた画像を生成する。
【００３４】
画像処理装置３（画像取得部３２）は、撮像装置２によって生成された画像を取得し、当該画像を統計モデル格納部３１に格納されている統計モデルに入力する。
【００３５】
ここで、本実施形態における統計モデルによれば、上記したように入力された画像中の被写体までの距離（予測値）が出力される。これにより、画像処理装置３（距離取得部３３）は、統計モデルから出力された距離（画像中の被写体までの距離）を示す距離情報を取得することができる。
【００３６】
このように本実施形態においては、統計モデルを用いて、撮像装置２によって撮像された画像から距離情報を取得することができる。
【００３７】
ここで、図４を参照して、本実施形態において被写体までの距離を予測する原理について簡単に説明する。
【００３８】
撮像装置２によって撮像された画像（以下、撮像画像と表記）には、上記したように当該撮像装置２の光学系の収差（レンズ収差）に起因するぼけが生じている。具体的には、収差のあるレンズ２１を透過する際の光の屈折率は波長帯域毎に異なるため、例えば被写体の位置がピント位置（撮像装置２においてピントが合う位置）からずれているような場合には、各波長帯域の光が１点に集まらず異なった点に到達する。これが、画像上でぼけ（色収差）として現れる。
【００３９】
また、撮像画像においては、当該撮像画像中の被写体までの距離（つまり、撮像装置２に対する被写体の位置）に応じて非線形に変化するぼけ（色、サイズ及び形状）が観察される。
【００４０】
このため、本実施形態においては、図４に示すように撮像画像４０１に生じるぼけ（ぼけ情報）４０２を被写体４０３までの距離に関する物理的な手掛かりとして統計モデルで分析することによって当該被写体４０３までの距離４０４を予測する。
【００４１】
以下、統計モデルにおいて撮像画像から距離を予測する方式の一例について説明する。ここでは、パッチ方式及び画面一括方式について説明する。
【００４２】
まず、図５を参照して、パッチ方式について説明する。パッチ方式においては、撮像画像４０１から局所領域（以下、画像パッチと表記）４０１ａが切り出される（抽出される）。
【００４３】
この場合、例えば撮像画像４０１の全体領域をマトリクス状に分割し、当該分割後の部分領域を画像パッチ４０１ａとして順次切り出すようにしてもよいし、撮像画像４０１を認識して、被写体（像）が検出された領域を網羅するように画像パッチ４０１ａを切り出すようにしてもよい。なお、画像パッチ４０１ａは、他の画像パッチ４０１ａとの間で一部がオーバーラップしていてもよい。
【００４４】
パッチ方式においては、上記したように切り出された画像パッチ４０１ａ（に関する情報）が統計モデルに入力され、当該統計モデルから当該画像パッチ４０１ａに対応する予測値として距離が出力される。すなわち、パッチ方式においては、撮像画像４０１から切り出された画像パッチ４０１ａの各々を入力として、当該画像パッチ４０１ａの各々に含まれる被写体までの距離４０４が予測される。
【００４５】
図６は、上記したパッチ方式において統計モデルに入力される画像パッチ４０１ａに関する情報の一例を示す。
【００４６】
パッチ方式においては、撮像画像５０１に含まれるＲ画像、Ｇ画像及びＢ画像のそれぞれについて、当該撮像画像４０１から切り出された画像パッチ４０１ａの勾配データ（Ｒ画像の勾配データ、Ｇ画像の勾配データ及びＢ画像の勾配データ）が生成される。統計モデルには、このように生成された勾配データが入力される。
【００４７】
なお、勾配データは、各画素と当該画素に隣接する画素との画素値の差分（差分値）に相当する。例えば画像パッチ４０１ａがｎ画素（Ｘ軸方向）×ｍ画素（Ｙ軸方向）の矩形領域として抽出される場合、当該画像パッチ４０１ａ内の各画素について算出した例えば右隣の画素との差分値をｎ行×ｍ列のマトリクス状に配置した勾配データが生成される。
【００４８】
統計モデルは、Ｒ画像の勾配データと、Ｇ画像の勾配データと、Ｂ画像の勾配データとを用いて、当該各画像に生じているぼけから距離を予測する。図６においてはＲ画像、Ｇ画像及びＢ画像の各々の勾配データが統計モデルに入力される場合について示しているが、ＲＧＢ画像の勾配データが統計モデルに入力される構成であってもよい。
【００４９】
次に、図７を参照して、画面一括方式について説明する。画面一括方式においては、上記した画像パッチ４０１ａの切り出しは行われない。
【００５０】
画面一括方式においては、撮像画像４０１の全体領域（に関する情報）が統計モデルに入力され、当該統計モデルから当該全体領域に対応する予測値として距離が出力される。すなわち、画面一括方式においては、撮像画像４０１の全体領域を入力として、撮像画像４０１の全体領域に含まれる被写体までの距離４０４が予測される。
【００５１】
なお、画面一括方式において統計モデルに入力される全体領域に関する情報は、例えば上記したＲ画像、Ｇ画像及びＢ画像の勾配データである。
【００５２】
また、画面一括方式においては、撮像画像４０１の全体領域が統計モデルに入力されるため、上記した距離の予測に当該撮像画像４０１（全体領域）から抽出されるコンテクストを利用することが可能である。なお、コンテクストとは、撮像画像４０１中の線分や色の分布等に関する特徴量に相当する。また、コンテクストには、被写体についての特徴（人物の形状及び建物の形状等）も含まれる。
【００５３】
以下、上記したパッチ方式及び画面一括方式について詳細に説明する。まず、パッチ方式について説明する。パッチ方式が適用される場合には、上記したように撮像画像の画像パッチ（局所領域）を入力として当該画像パッチに対応する距離を出力（予測）するための統計モデル（以下、パッチ方式用モデルと表記）が用いられる。
【００５４】
ここで、図８〜図１１は、パッチ方式（パッチ方式用モデル）の計算処理フローを模式的に示している。
【００５５】
パッチ方式においては、まず、図８に示すように撮像画像から切り出された第１画像パッチを構成する各画素の画素値（に基づく勾配データ）を入力として計算処理が実行されることによって、当該第１画像パッチの各々に対応する距離が出力される。
【００５６】
次に、図９に示すように撮像画像から切り出された第２画像パッチを構成する各画素の画素値（に基づく勾配データ）を入力として計算処理が実行されることによって、当該第２画像パッチの各々に対応する距離が出力される。なお、第２画像パッチは、第１画像パッチの各々と一部がオーバーラップした（つまり、第１画像をずらした）画像パッチであって、当該第１画像パッチとは一致しない画像パッチである。
【００５７】
同様に、図１０に示すように撮像画像から切り出された第３画像パッチを構成する各画素の画素値（に基づく勾配データ）を入力として計算処理が実行されることによって、当該第３画像パッチの各々に対応する距離が出力される。なお、第３画像パッチは、第１及び第２画像パッチの各々と一部がオーバーラップした（つまり、第２画像を更にずらした）画像パッチであって、第１及び第２画像パッチとは一致しない画像パッチである。
【００５８】
更に、図１１に示すように撮像画像から切り出された第４画像パッチを構成する各画素の画素値（に基づく勾配データ）を入力として計算処理が実行されることによって、当該第４画像パッチの各々に対応する距離が出力される。なお、第４画像パッチは、第１〜第３画像パッチの各々と一部がオーバーラップした（つまり、第３画像を更にずらした）画像パッチであって、第１〜第３画像パッチとは一致しない画像パッチである。
【００５９】
パッチ方式においてはこのような計算処理フローが画像パッチ毎に順次実行されることによって、図１２に示すように画像パッチの各々に対応する距離が出力（計算）される。
【００６０】
なお、パッチ方式においては、撮像画像を網羅するように第１〜第４画像パッチを切り出すことによって、当該撮像画像を構成する複数の画素の各々の画素値（に基づく勾配データ）の入力に対して、当該画素毎に距離が出力される（つまり、入力と同一の解像度で距離が出力される）。
【００６１】
次に、画面一括方式について説明する。画面一括方式が適用される場合には、上記したように撮像画像の全体領域を入力として、当該全体領域に対応する距離を出力（予測）するための統計モデル（以下、画面一括方式用モデルと表記）が用いられる。
【００６２】
ここで、図１３は、画面一括方式（画面一括方式用モデル）の計算処理フローを模式的に示している。
【００６３】
画面一括方式においては、図１３に示すように、撮像画像の全体領域を構成する各画素の画素値（に基づく勾配データ）を入力として例えば畳み込み演算、ダウンサンプリング及びアップサンプリング等の計算処理が実行されることによって、当該全体領域に対応する距離が出力される。
【００６４】
なお、画面一括方式においては、撮像画像を構成する複数の画素の各々の画素値（に基づく勾配データ）の入力に対して、当該画素毎に距離が出力される（つまり、入力と同一の解像度で距離が出力される）。
【００６５】
ここで、上記したパッチ方式においては、多数の画像パッチに対して計算処理を実行する必要があることから、計算量が多く、処理負荷が高い（つまり、処理速度が遅い）。
【００６６】
これに対して、画面一括方式においては、画像パッチの切り出しは行われず、撮像画像の全体領域を一括して処理するため、パッチ方式と比較して、計算量が少なく、処理負荷が低いという利点がある。更に、画面一括方式においては、上記したように撮像画像から抽出されるコンテクスト（特徴量）を利用することができる。
【００６７】
一方、統計モデルの学習には膨大な学習用のデータセット（学習用画像と当該学習用画像中の被写体までの距離に関する正解値とのセット）が必要であるところ、パッチ方式用モデルの学習には、例えばディスプレイ等に表示された画像を撮像装置２で撮像することによって得られる画像を学習用画像、当該撮像装置２からディスプレイまでの距離を正解値として用いることができる（つまり、平面の学習用のデータセットでよい）という利点がある。更に、パッチ方式は、上記したコンテクストを利用しないため、ドメイン適応が容易である。なお、ドメイン適応とは、転移学習の一種であり、例えば特定の課題における学習結果（知識）を他の課題に転用することをいう。
【００６８】
これに対して、画面一括方式においては、撮像装置２によって被写体を実際に撮像するとともに、当該撮像装置２から画面に映り込んでいる全ての被写体までの距離を計測して学習用のデータセットを用意する必要がある。すなわち、画面一括方式においては、例えば被写体が変わる（つまり、用途が変わる）度に学習用のデータセットを用意（収集）することが困難である。更に、画面一括方式は、上記したようにコンテクストを利用する（つまり、コンテクストに依存する）ため、ドメイン適応が困難である。
【００６９】
すなわち、学習用のデータセットの用意が比較的容易であるという学習の容易性の観点においてはパッチ方式に利点があるが、撮像画像を用いて被写体までの距離を推定する際の処理負荷の観点においては画面一括方式に利点があるといえる。なお、例えばパッチ方式用モデルにおいて距離を予測するために必要な時間が３００秒程度であるものとすると、画面一括方式用モデルにおいて距離を予測するために必要な時間は０．５秒程度である。
【００７０】
そこで、本実施形態においては、撮像画像を用いた被写体までの距離の予測には画面一括方式用モデルを用いるが、当該画面一括方式用モデルの学習にパッチ方式用モデルを利用する構成を採用するものとする。
【００７１】
以下、本実施形態における画面一括方式用のモデルの学習方法について説明するが、まず、図１４を参照して、一般的な統計モデルの学習方法の概要について説明する。  上記したパッチ方式及び画面一括方式のいずれの方式を用いる場合においても、統計モデルの学習は、基本的に、図１４に示すように学習用画像５０１に関する情報を統計モデルに入力し、当該統計モデルによって出力（予測）された距離５０２と正解値５０３との誤差を当該統計モデルにフィードバックすることによって行われる。なお、フィードバックとは、誤差が減少するように統計モデルのパラメータ（例えば、重み係数）を更新することをいう。
【００７２】
具体的には、パッチ方式が適用される場合には、学習用画像５０１から切り出された画像パッチ（局所領域）毎に、当該画像パッチに関する情報（勾配データ）がパッチ方式用モデルに入力され、当該パッチ方式用モデルによって各画像パッチに対応する画素の距離５０２が出力される。このように出力された距離５０２と正解値５０３とが比較されることによって得られる誤差が、パッチ方式用モデルにフィードバックされる。
【００７３】
また、画面一括方式が適用される場合には、学習用画像５０１の全体領域に関する情報（勾配データ）が一括して画面一括方式用モデルに入力され、当該画面一括方式用モデルによって当該学習用画像５０１を構成する各画素の距離５０２が出力される。このように出力された距離５０２と正解値５０３とが比較されることによって得られる誤差が、画面一括方式用モデルにフィードバックされる。
【００７４】
ここで、図１５は、本実施形態における画面一括方式用モデルの学習方法の概要を説明するための図である。
【００７５】
本実施形態においては、図１５に示すように、十分な学習用のデータセットを用意することが可能なパッチ方式において予め学習したパッチ方式用モデルから出力される距離を正解値として用いて画面一括方式用モデルの学習を行うものとする。
【００７６】
すなわち、学習用画像の全体領域を入力として画面一括方式用モデルから出力された予測値と、学習用画像の画像パッチを入力としてパッチ方式用モデルから出力された予測値（正解値）との誤差を画面一括方式用モデルにフィードバックする（つまり、当該誤差が小さくなるように画面一括方式用モデルのパラメータを更新する）ことによって、当該画面一括方式用モデルに学習用画像を学習させる。
【００７７】
これによれば、画面一括方式用モデルの学習において、学習用画像中の被写体までの距離に関する正解値（つまり、学習用のデータセット）を用意する必要がないため、画面一括方式用モデルの学習の容易性を向上させることができる。
【００７８】
なお、本実施形態においては、上記したように画面一括方式用モデルの学習にパッチ方式用モデルを利用するため、当該画面一括方式用モデルの学習に対する事前学習（事前処理）として、パッチ方式用モデルの学習が行われる。
【００７９】
図１６のフローチャートを参照して、パッチ方式用モデルの学習に関する処理手順の一例について説明する。なお、図１６に示す処理は、画像処理装置３に含まれる学習処理部３５によって実行される。
【００８０】
まず、学習処理部３５は、予め用意された学習用のデータセットを取得する（ステップＳ１）。このステップＳ１において取得される学習用のデータセットは、上記したように画面一括方式用モデルの学習に用いられる学習用のデータセットよりも比較容易に用意することが可能なパッチ方式用モデルの学習に用いられる学習用のデータセットであり、学習用画像と正解値とを含む。なお、この学習用のデータセットは、例えば画像処理装置３の内部に保持されていてもよいし、当該画像処理装置３の外部から取得されてもよい。
【００８１】
次に、学習処理部３５は、ステップＳ１において取得された学習用のデータセットに含まれる学習用画像（以下、パッチ方式の学習用画像と表記）から画像パッチを切り出し、当該画像パッチに関する情報をパッチ方式用モデルに入力する（ステップＳ２）。なお、このパッチ方式の学習用画像は、例えば撮像装置２に備えられるレンズ２１を透過した光に基づいてイメージセンサ２２によって生成された画像であって、撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像であるものとする。このため、パッチ方式の学習用画像には、被写体までの距離に応じて非線形に変化するぼけが生じている。
【００８２】
ステップＳ２においては、画像パッチに関する情報として、例えばＲ画像、Ｇ画像及びＢ画像の勾配データがパッチ方式用モデルに入力される。
【００８３】
なお、本実施形態においてはＲ画像、Ｇ画像及びＢ画像の勾配データがパッチ方式用モデルに入力されるものとして説明するが、上記したパッチ方式の学習用画像（画像パッチ）に生じるぼけの形状の観点から距離を出力するパッチ方式用モデルを生成する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも１つの勾配データがパッチ方式用モデルに入力されればよい。一方、色収差によりパッチ方式の学習用画像（画像パッチ）に生じるぼけの色及びサイズの観点から距離を出力するパッチ方式用モデルを生成する場合には、Ｒ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも２つの勾配データがパッチ方式用モデルに入力されればよい。なお、パッチ方式用モデルには、勾配ではなく、ＲＧＢ画像がそのまま入力されてもよい。
【００８４】
ステップＳ２の処理が実行されると、被写体までの距離がパッチ方式用モデルから出力される（ステップＳ３）。この場合、パッチ方式用モデルにより、画像パッチに生じているぼけが当該画像パッチから抽出され、当該ぼけに応じた距離が出力される。
【００８５】
次に、学習処理部３５は、ステップＳ３においてパッチ方式用モデルから出力された距離をステップＳ１において取得された学習用のデータセットに含まれる正解値と比較する（ステップＳ４）。
【００８６】
ステップＳ４の処理が実行されると、学習処理部３５は、当該ステップＳ４における比較結果（誤差）をパッチ方式用モデルにフィードバックする（ステップＳ５）。これにより、パッチ方式用モデルにおいては、誤差が減少するようにパラメータが更新される（つまり、画像パッチに生じているぼけが学習される）。
【００８７】
なお、ステップＳ２〜Ｓ５の処理は、パッチ方式の学習用画像から切り出される画像パッチ毎に実行される。
【００８８】
上記した図１６に示す処理がパッチ方式の学習用画像（学習用のデータセット）毎に繰り返し実行されることによって、当該パッチ方式の学習用画像中の被写体までの距離に応じて非線形に変化するぼけを学習したパッチ方式用モデルが生成される。このように生成されたパッチ方式用モデルは、画像処理装置３に含まれる統計モデル格納部３１に格納される。
【００８９】
なお、ここでは図１６に示す処理が学習処理部３５によって実行されるものとして説明したが、当該図１６に示す処理は、画像処理装置３の外部で実行されてもよい。すなわち、画像処理装置３の外部で図１６に示す処理が実行されることによって生成されたパッチ方式用モデルが、統計モデル格納部３１に格納されていてもよい。
【００９０】
次に、図１７のフローチャートを参照して、画面一括方式用モデルの学習に関する処理手順の一例について説明する。なお、図１７に示す処理は、図１６に示す処理と同様に、画像処理装置３に含まれる学習処理部３５によって実行される。
【００９１】
まず、学習処理部３５は、例えば撮像装置２によって撮像された画像を学習用画像として取得する（ステップＳ１１）。このステップＳ１において取得される学習用画像は、画面一括方式用モデルの学習に用いられる画像である。なお、この学習用画像には、被写体までの距離に応じて非線形に変化するぼけが生じている。
【００９２】
次に、学習処理部３５は、ステップＳ１１において取得された学習用画像（以下、画面一括方式の学習用画像と表記）から画像パッチを切り出し、当該画像パッチに関する情報をパッチ方式用モデル（図１５に示す処理が実行されることによって生成されたパッチ方式用モデル）に入力する（ステップＳ１２）。
【００９３】
ステップＳ１２においては、画像パッチに関する情報として、例えばＲ画像、Ｇ画像及びＢ画像の勾配データがパッチ方式用モデルに入力される。なお、パッチ方式用モデルにはＲ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも１つの勾配データが入力されればよいが、ステップＳ１２においては、上記した図１６に示すステップＳ２においてパッチ方式用モデルに入力された勾配データに対応する勾配データが入力されるものとする。すなわち、図１６に示すステップＳ２においてパッチ方式用モデルにＲ画像、Ｇ画像及びＢ画像の勾配データが入力されている場合には、ステップＳ１２においても同様にパッチ方式用モデルにＲ画像、Ｇ画像及びＢ画像の勾配データが入力される。また、図１６に示すステップＳ２においてパッチ方式用モデルにＲ画像の勾配データが入力されている場合には、ステップＳ１２においても同様にパッチ方式用モデルにＲ画像の勾配データが入力される。なお、パッチ方式用モデルには、勾配ではなく、ＲＧＢ画像がそのまま入力されてもよい。
【００９４】
ステップＳ２の処理が実行されると、被写体までの距離（以下、第１距離と表記）がパッチ方式用モデルから出力される（ステップＳ１３）。この場合、パッチ方式用モデルにより、画像パッチに生じているぼけが当該画像パッチから抽出され、当該ぼけに応じた第１距離が出力される。
【００９５】
なお、上記したステップＳ１２及びＳ１３の処理は、画面一括方式の学習用画像から切り出された画像パッチ毎に実行される。これにより、学習処理部３５は、パッチ方式用モデルから出力された画像パッチの各々に対応する第１距離を取得する。なお、この画像パッチの各々に対応する第１距離には、画面一括方式の学習用画像を構成する画素毎の距離が含まれる。
【００９６】
次に、学習処理部３５は、画面一括方式の学習用画像（の全体領域）に関する情報を画面一括方式用モデルに入力する（ステップＳ１４）。
【００９７】
ステップＳ１４においては、画面一括方式の学習用画像に関する情報として、例えば当該画面一括方式の学習用画像の全体領域分のＲ画像、Ｇ画像及びＢ画像の勾配データが画面一括方式用モデル入力される。なお、上記したパッチ方式用モデルと同様に、画面一括方式用モデルにはＲ画像、Ｇ画像及びＢ画像の勾配データのうちの少なくとも１つの勾配データが入力されればよい。また、画面一括方式用モデルには、勾配ではなく、ＲＧＢ画像がそのまま入力されてもよい。
【００９８】
ステップＳ１４の処理が実行されると、被写体までの距離（以下、第２距離と表記）が画面一括方式用モデルから出力される（ステップＳ１５）。この場合、画面一括方式用モデルにより、画面一括方式の学習用画像に生じているぼけが当該画面一括方式の学習用画像から抽出され、当該ぼけに応じた第２距離が出力される。
【００９９】
これにより、学習処理部３５は、画面一括方式用モデルから出力された画面一括方式の学習用画像の全体領域に対応する第２距離を取得する。なお、この画面一括方式の学習用画像の全体領域に対応する第２距離には、画面一括方式の学習用画像を構成する画素毎の距離が含まれる。
【０１００】
ここで、本実施形態における画面一括方式用モデルの学習においては、上記した学習処理部３５によって取得された第１距離（つまり、パッチ方式用モデルから出力された第１距離）を学習用データセットに含まれる正解値として利用する。
【０１０１】
このため、学習処理部３５は、上記した第２距離（画面一括方式用モデルによる予測値）を第１距離（パッチ方式用モデルによる正解値）と比較する（ステップＳ１６）。なお、ステップＳ１６においては、対応する画素毎に、画面一括方式用モデルから出力された第２距離をパッチ方式用モデルから出力された第１距離と比較する。換言すれば、ステップＳ１６においては、学習用画像上の同一の位置に対応する第２距離と第１距離とが比較される。
【０１０２】
ステップＳ１６の処理が実行されると、学習処理部３５は、当該ステップＳ１６における比較結果（誤差）を画面一括方式用モデルにフィードバックする（ステップＳ１７）。これにより、画面一括方式用モデルにおいては、誤差が減少するようにパラメータが更新される（つまり、誤差に基づいて画面一括方式の学習用画像に生じているぼけを画面一括方式用モデルが学習する）。
【０１０３】
上記した図１７に示す処理が画面一括方式の学習用画像毎に繰り返し実行されることによって、当該画面一括方式の学習用画像中の被写体までの距離に応じて非線形に変化するぼけを学習した画面一括方式用モデルが生成される。このように生成された画面一括方式用モデルは、画像処理装置３に含まれる統計モデル格納部３１に格納される。
【０１０４】
図１８のフローチャートを参照して、図１７に示す処理が実行されることによって学習した画面一括方式用モデルを用いて撮像画像から距離情報を取得する処理手順の一例について説明する。
【０１０５】
まず、撮像装置２（イメージセンサ２２）は、被写体を撮像することによって当該被写体を含む撮像画像を生成する。この撮像画像は、上記したように撮像装置２の光学系（レンズ２１）の収差の影響を受けた画像である。
【０１０６】
画像処理装置３に含まれる画像取得部３２は、撮像画像を撮像装置２から取得する（ステップＳ２１）。
【０１０７】
次に、距離取得部３３は、ステップＳ２１において取得された撮像画像に関する情報を、統計モデル格納部３１に格納されている画面一括方式用モデル（ステップＳ１７に示す処理が実行されることによって学習した画面一括方式用モデル）に入力する（ステップＳ２２）。なお、このステップＳ２２の処理は、上記した図１７に示すステップＳ１４の処理と同様であるため、ここではその詳しい説明を省略する。
【０１０８】
ステップＳ２２の処理が実行されると、画面一括方式用モデルにおいて被写体までの距離が予測され、当該画面一括方式用モデルは、当該予測された距離を出力する。これにより、距離取得部３３は、画面一括方式用モデルから出力された距離を示す距離情報を取得する（ステップＳ２３）。なお、ステップＳ２３において取得された距離情報は、ステップＳ２１において取得された撮像画像を構成する画素毎の距離を含む。
【０１０９】
ステップＳ２３の処理が実行されると、出力部３４は、当該ステップＳ２３において取得された距離情報を、例えば撮像画像と位置的に対応づけて配置したマップ形式で出力する（ステップＳ２４）。なお、本実施形態においては距離情報がマップ形式で出力されるものとして主に説明したが、当該距離情報は、他の形式で出力されても構わない。
【０１１０】
上記したように本実施形態においては、画面一括方式の学習用画像（第１学習用画像）の画像パッチ（局所領域）の各々を切り出し、当該局所領域の各々をパッチ方式用モデル（第１統計モデル）に入力することによって当該パッチ方式用モデルから出力される当該画像パッチの各々に対応する第１距離（第１予測値）を取得し、画面一括方式の学習用画像の全体領域を画面一括方式用モデル（第２統計モデル）に入力することによって当該画面一括方式用モデルから出力される当該画面一括方式の学習用画像の全体領域に対応する第２距離（第２予測値）を取得し、画面一括方式用モデルは第１距離と第２距離との誤差に基づいて学習する。
【０１１１】
すなわち、本実施形態においては、画面一括方式の学習において学習用のデータセット（学習用画像と当該学習用画像中の被写体までの距離に関する正解値とのセット）を用意する必要がなく、当該正解値としてパッチ方式用モデルから出力される第２距離を用いる構成であるため、画面一括方式用モデルにおける学習の容易性を向上させることが可能となる。
【０１１２】
ここで、本実施形態における画面一括方式用モデルの学習方法と、本実施形態の比較例との差異について説明する。
【０１１３】
まず、図１９は、本実施形態の第１比較例を模式的に示す図である。図１９に示すように、本実施形態の第１比較例においては、事前学習として画像パッチをパッチ方式用モデルに入力するとともに、当該パッチ方式用モデルから出力された予測値を正解値と比較する（つまり、誤差をフィードバックする）ことによって当該パッチ方式用モデルを学習させる。更に、本実施形態の第１比較例においては、上記した事前学習によって学習したパッチ方式用モデルの少なくとも一部を画面一括方式用モデルに転移する。なお、転移とは、一方の統計モデル（例えば、パッチ方式用モデル）において学習した知識を他方の統計モデル（例えば、画面一括方式用モデル）で再現することであり、例えば当該一方の統計モデルのパラメータを他の方の統計モデルで共有することをいう。
【０１１４】
このような本実施形態の第１比較例においては、画面一括方式用モデルの学習に、事前学習において生成されたパッチ方式用モデルを利用することによって、効率的な学習を行うことができる。
【０１１５】
しかしながら、本実施形態の第１比較例においては、図１９の下段に示す画像一括方式用モデルの学習時に、画像一括方式の学習用画像及び正解値（つまり、画像一括方式の学習用のデータセット）が必要であるため、当該学習用のデータセットを用意する困難性は解消することはできない。
【０１１６】
なお、本実施形態の第１比較例に関連して、例えば大規模の学習用データセットで学習したパッチ方式用モデルを他の分野で用いられるパッチ方式用モデルに転移する転移学習と称される学習方法や、大規模なパッチ方式用モデル（教師モデル）の知識を小規模なパッチ方式用モデル（生徒モデル）に継承することを目的とする蒸留学習と称される学習方法がある。
【０１１７】
これに対して、本実施形態においては、図２１に示すように事前学習によってパッチ方式用モデルを生成しておき、画面一括方式用モデルの学習（本学習）の際には、学習用画像（全体領域）を画面一括方式用モデルに入力することによって当該画面一括方式用モデルから出力された予測値と、当該学習用画像（から切り出された画像パッチ）をパッチ方式用モデルに入力することによって当該パッチ方式用モデルから出力された予測値（正解値）とを比較し、当該誤差に基づいて画面一括方式用モデルを学習させる。すなわち、本実施形態においては、事前学習によって生成されたパッチ方式用モデルを利用することによって、正解値を人手により用意することなく画面一括方式用モデルを学習させる自己教示を実現する。
【０１１８】
本実施形態においては、このような構成により、上記した本実施形態の第１比較例と比較して、画面一括方式の学習用のデータセット（学習用画像と正解値とのセット）を用意する必要がないため、画面一括方式用モデルにおける学習の容易性を向上させることができる。
【０１１９】
また、図２０は、本実施形態の第２比較例を模式的に示す図である。パッチ方式が適用された場合には図８〜図１１において説明したように処理速度が遅くなるが、例えば図２０に示すように画像パッチの全てに関する計算処理をメモリに展開し、ＣＰＵ（またはＧＰＵ）でまとめて処理する構成とすれば、当該パッチ方式の冗長性を並列で計算することができ、処理速度の高速化が可能であると考えられる。
【０１２０】
しかしながら、本実施形態の第２比較例においては、冗長性を並列化するために大容量のメモリが必要であり、実現性が低い。
【０１２１】
これに対して、本実施形態においては、画像一括方式用モデルを用いて距離（予測値）を取得する構成であり、大容量のメモリを用いる必要がないため、本実施形態の第２比較例と比較して処理の高速化を容易に実現することができる。
【０１２２】
なお、図２１は本実施形態に係る学習方式を模式的に示す図であるが、当該図２１に示すように、事前学習として生成されたパッチ方式用モデルの一部を画面一括方式用モデルが共有する（つまり、パッチ方式用モデルを画面一括方式用モデルに転移する）構成としてもよい。このような構成によれは、例えばパッチ方式用モデルから画面一括方式用モデルに転移された部分（パラメータ）については固定し、他の部分（パラメータ）のみを変更するように学習を行うことが可能となるため、画面一括方式用モデル全体で学習を行う場合と比較して、学習効率を向上させることが可能となる。なお、画面一括方式用モデルは、例えばパッチ方式用モデルを転移することなく生成されたものであっても構わない。
【０１２３】
ところで、本実施形態においては、学習用画像の画像パッチに関する情報として当該画像パッチの勾配データがパッチ方式用モデルに入力されるものとして説明したが、図２２に示すように、学習用画像６０１の画像パッチ６０１ａに関する情報として、当該画像パッチ６０１ａの勾配データ及び当該画像パッチ６０１ａの学習用画像６０１上の位置を示す位置情報６０１ｂ（Ｘ座標及びＹ座標）がパッチ方式用モデルに入力されてもよい。
【０１２４】
なお、位置情報６０１ｂは、例えば画像パッチ６０１ａの中心点を示すものであってもよいし、左上辺等の予め定められた一辺を示すものであってもよい。また、位置情報６０１ｂとして、画像パッチ６０１ａを構成する画素それぞれの学習用画像６０１上での位置情報を用いてもよい。
【０１２５】
上記したように位置情報６０１ｂを更にパッチ方式用モデルに入力することで、例えばレンズ２１の中心部を透過する光によって結像された被写体像のぼけと、当該レンズ２１の端部を透過する光によって結像された被写体像のぼけとの間で違いが生じる場合に、当該違いが距離の予測に与える影響を除去することができる。
【０１２６】
つまり、このように位置情報を用いるパッチ方式においては、ぼけ、距離及び画像上の位置の相関に基づいて、より高い精度で距離を予測することができる。
【０１２７】
ここではパッチ方式において説明したが、画面一括方式においても同様である。すなわち、学習用画像の全体領域に関する情報として、当該学習用画像の全体領域の勾配データ及び当該学習用画像上の位置を示す位置情報が画面一括方式用モデルに入力されることにより、当該画面一括方式用モデルにおいて学習用画像を構成する各画素の位置に応じた距離を予測（出力）することができるため、より高い精度で距離を予測することができる。
【０１２８】
更に、本実施形態においては、パッチ方式の学習用画像を用いてパッチ方式用モデルの学習（事前学習）が行われ、画面一括方式の学習用画像を用いて画面一括方式用モデルの学習（本学習）が行われるが、当該パッチ方式用の学習用画像及び画面一括方式の学習用画像は、同一の光学系を有する撮像デバイス（例えば、撮像装置２）によって撮像された画像であるものとする。
【０１２９】
これによれば、事前学習におけるパッチ方式の学習用画像と本学習における画面一括方式の学習用画像とで同一座標系として定義された位置情報を用いる（つまり、本学習において用いる位置座標を用いて事前学習を行う）ことができるため、本学習において利用するパッチ方式用モデルにおける予測値（正解値）の精度を向上させることができるとともに、当該精度の向上に応じてより学習効率を向上させることが可能となる。
【０１３０】
なお、本実施形態においては、パッチ方式用モデルが学習用画像の画像パッチの各々に含まれる被写体までの距離を予測（出力）し、画面一括用モデルが学習用画像の全体領域に含まれる被写体までの距離を予測（出力）する（すなわち、画像処理装置３が被写体までの距離を取得するために用いられる）ものとして説明したが、本実施形態は、上記したように事前学習した第１統計モデル（例えば、パッチ方式用モデル）を利用して第２統計モデル（例えば、画面方式用モデル）の本学習を行うものであれば適用可能である。
【０１３１】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。  
【符号の説明】
【０１３２】
１…測距システム、２…撮像装置、３…画像処理装置、２１…レンズ、２２…イメージセンサ、３１…統計モデル格納部、３２…画像取得部、３３…距離取得部、３４…出力部、３５…学習処理部、２２１…第１センサ、２２２…第２センサ、２２３…第３センサ、３０１…ＣＰＵ、３０２…不揮発性メモリ、３０３…ＲＡＭ、３０３Ａ…画像処理プログラム、３０４…通信デバイス。
【図１】
2020204880.tif 000003
【図２】
2020204880.tif 000004
【図３】
2020204880.tif 000005
【図４】
2020204880.tif 000006
【図５】
2020204880.tif 000007
【図６】
2020204880.tif 000008
【図７】
2020204880.tif 000009
【図８】
2020204880.tif 000010
【図９】
2020204880.tif 000011
【図１０】
2020204880.tif 000012
【図１１】
2020204880.tif 000013
【図１２】
2020204880.tif 000014
【図１３】
2020204880.tif 000015
【図１４】
2020204880.tif 000016
【図１５】
2020204880.tif 000017
【図１６】
2020204880.tif 000018
【図１７】
2020204880.tif 000019
【図１８】
2020204880.tif 000020
【図１９】
2020204880.tif 000021
【図２０】
2020204880.tif 000022
【図２１】
2020204880.tif 000023
【図２２】
2020204880.tif 000024