(57)【要約】【課題】被写体の属性に応じた適切な識別処理を実施可能にする技術を提供する。【解決手段】本発明の一側面に係る光学センサは、被写体からの光をそれぞれ集光する複数の集光部を有する光学部材と、それぞれ前記各集光部に対応して設けられ、複数の受光素子を有することで、前記各集光部の集光した光を受けて、前記被写体を映した撮像画像をそれぞれ形成するように構成された複数の撮像素子と、を備える光学センサであって、前記撮像素子毎に、前記複数の受光素子のうちから前記撮像画像の形成に使用する受光素子の設定がなされる。【選択図】図３Ａ
2018136767.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光をそれぞれ集光する複数の集光部を有する光学部材と、
それぞれ前記各集光部に対応して設けられ、複数の受光素子を有することで、前記各集光部の集光した光を受けて、前記被写体を映した撮像画像をそれぞれ形成するように構成された複数の撮像素子と、
を備える光学センサであって、
前記撮像素子毎に、前記複数の受光素子のうちから前記撮像画像の形成に使用する受光素子の設定がなされる、
光学センサ。
【請求項２】
前記撮像画像の形成に使用する受光素子の設定を示す設定データに従って、前記各撮像素子における前記撮像画像の形成を制御する制御部を更に備える、
請求項１に記載の光学センサ。
【請求項３】
前記設定データは、前記各撮像画像を入力すると前記被写体の属性情報を出力するように学習器を学習させる学習装置において、前記被写体の属性の識別に適するように前記各撮像素子に対して使用する受光素子を選択することで作成され、
前記制御部は、作成された前記設定データを前記学習装置から受信し、当該受信した設定データに従って、前記各撮像素子における前記撮像画像の形成を制御する、
請求項２に記載の光学センサ。
【請求項４】
前記撮像画像の形成に使用する受光素子の設定は、前記撮像画像の形成に使用する受光素子への光を遮蔽せず、前記撮像画像の形成に使用しない受光素子への光を遮蔽するように構成された遮蔽部材により行われる、
請求項１に記載の光学センサ。
【請求項５】
前記撮像画像の形成に使用する受光素子の設定は、前記撮像画像から識別する対象となる前記被写体の属性に対応して行われる、
請求項１から４のいずれか１項に記載の光学センサ。
【請求項６】
前記光学部材より前記被写体側に配置され、前記被写体からの光を集光する集光レンズを更に備える、
請求項１から５のいずれか１項に記載の光学センサ。
【請求項７】
前記光学部材は、レンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含む、
請求項１から６のいずれか１項に記載の光学センサ。
【請求項８】
前記使用する受光素子の設定がなされない１又は複数の他の撮像素子を更に備える、
請求項１から７のいずれか１項に記載の光学センサ。
【請求項９】
請求項１から８のいずれか１項に記載の光学センサから前記各撮像素子の撮像した前記各撮像画像を取得する画像取得部と、
取得した前記各撮像画像を入力すると前記被写体の属性情報を出力するように学習器を学習させる学習処理部と、
を備える、
学習装置。
【請求項１０】
被写体からの光をそれぞれ集光する複数の集光部を有する光学部材、及びそれぞれ前記各集光部に対応して設けられ、複数の受光素子を有することで、前記各集光部の集光した光を受けて、前記被写体を映した撮像画像をそれぞれ形成するように構成された複数の撮像素子を備える光学センサであって、前記撮像素子毎に、前記複数の受光素子から前記撮像画像の形成に使用する受光素子の設定がなされる、光学センサと、
前記被写体の属性を識別するための学習を行った学習済みの学習器に、前記各撮像素子により得られた前記各撮像画像を入力することで、前記被写体の属性を示す属性情報を取得する情報処理装置と、
を備える、
画像処理システム。
【請求項１１】
前記情報処理装置は、前記撮像画像の形成に使用する受光素子の設定を示す設定データに従って、前記各撮像素子により得られた前記各撮像画像を構成する複数の画素から前記学習器に入力する画素を選択する、
請求項１０に記載の画像処理システム。
【請求項１２】
前記学習器は、ニューラルネットワーク、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成される、
請求項１０又は１１に記載の画像処理システム。
【請求項１３】
前記情報処理装置は、前記属性情報として、前記被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、及び環境情報のうちの一つ又は組み合わせを出力する、
請求項１０から１２のいずれか１項に記載の画像処理システム。
【請求項１４】
前記情報処理装置は、前記学習器の出力に基づいて前記被写体を描画した画像を作成し、当該作成した画像を前記属性情報として出力する、
請求項１０から１３のいずれか１項に記載の画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、光学センサ、学習装置、及び画像処理システムに関する。
【背景技術】
【０００２】
特許文献１には、マイクロレンズアレイと複数の光電変換素子とを用いた光学センサにより画像を取得し、取得した画像を入力データとする機械学習により、特徴的な被写体の写る特徴領域を当該画像から抽出する画像処理装置が提案されている。当該画像処理装置は、予め定められた特徴的な被写体に対する多次元画像よりも高精度な複数種類のモデルの画像情報を格納したモデルデータベースを備えている。そのため、当該画像処理装置は、当該モデルデータベースから特徴領域に対応するモデルの画像情報を抽出して特徴領域に対する合成画像情報を生成することで、高精度な多次元画像を得ることができる。
【０００３】
また、特許文献２には、マイクロレンズアレイと複数の光電変換素子とを用いた光学センサにより画像を取得し、取得した画像を、距離情報を取得するための第１分割領域及び距離情報に基づいてリフォーカス画像を生成するための第２分割領域に分割する画像処理装置が提案されている。当該画像処理装置によれば、ライブビュー駆動時に、再構成のための処理負荷を軽減しながら、広範囲に焦点の合った画像を表示することができる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−０７７７６４号公報
【特許文献２】特開２０１６−１８４９５６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１及び２のようなマイクロレンズアレイと複数の光電変換素子とを用いた光学センサを用いると、被写体の位置、向き、姿勢等の撮影状況の小さな物理的変化に対応して、各撮像素子により得られる各撮像画像に大きな変化を生じさせることができる。そのため、マイクロレンズアレイを用いることで得られた各撮像画像によれば、撮影状況に生じた小さな物理的変化を容易に識別可能になる。
【０００６】
しかしながら、本件発明者は、マイクロレンズアレイのような複数の集光部を有する光学部材を用いて被写体の属性（なお、「属性」とは、被写体の位置、姿勢、形状、大きさ、色、種別等の当該被写体を特徴付け得る何らかの性質を指す。）を識別する従来の方法では、次のような問題点が生じ得ることを見出した。すなわち、従来の方法では、いかなる画像処理を行う場合であっても、各撮像素子の全ての受光素子で光を受けて、それにより得られる各撮像画像の全ての画素を利用して、被写体の属性の識別処理を実施していた。そのため、各撮像素子の画素数が多くなると、被写体の属性を識別する処理の計算量が多くなってしまい、被写体の属性の識別結果をリアルタイムに利用するのが困難になってしまう。
【０００７】
また、各マイクロレンズを通して得られる各撮像画像は、各マイクロレンズの位置に応じた差分しかなく、ほぼ同一のものとなる。したがって、識別対象となる被写体の属性によっては、各撮像画像の少なくとも一部の画素はその属性の識別処理に不要である可能性があった。つまり、利用しない無駄な情報を多く含んだ各撮像画像を利用して被写体の属性の識別処理を実施している可能性があった。
【０００８】
本件発明者は、これらの理由により、従来の方法では、被写体の属性に応じた適切な識別処理の実施が困難であることを見出した。
【０００９】
本発明は、一側面では、このような実情を鑑みてなされたものであり、その目的は、被写体の属性に応じた適切な識別処理を実施可能にする技術を提供することである。
【課題を解決するための手段】
【００１０】
本発明は、上述した課題を解決するために、以下の構成を採用する。
【００１１】
すなわち、本発明の一側面に係る光学センサは、被写体からの光をそれぞれ集光する複数の集光部を有する光学部材と、それぞれ前記各集光部に対応して設けられ、複数の受光素子を有することで、前記各集光部の集光した光を受けて、前記被写体を映した撮像画像をそれぞれ形成するように構成された複数の撮像素子と、を備える光学センサであって、前記撮像素子毎に、前記複数の受光素子のうちから前記撮像画像の形成に使用する受光素子の設定がなされる。
【００１２】
上記構成に係る光学センサは、複数の撮像素子を有しており、各撮像素子は、複数の受光素子によって、光学部材の各集光部を透過した光を受けて、被写体を映した撮像画像（画像データ）を形成する。このとき、上記構成では、撮像素子毎に、複数の受光素子のうちから撮像画像の形成に使用する受光素子の設定がなされている。すなわち、各撮像素子の備える複数の受光素子について、光を受けて像の形成を行う受光素子と像の形成を行わない受光素子との選別を行うことが可能となっている。そのため、被写体の属性の識別に不要な像を形成し得る受光素子を像の形成を行わない受光素子として設定することにより、形成される撮像画像から利用しない無駄な情報（画素）を省略することができる。無駄な情報（画素）とは、例えば、被写体の属性の識別に全く影響を与えない画素、被写体の属性の識別に寄与する度合いが比較的に小さい画素等である。したがって、上記構成に係る光学センサにより得られた各撮像画像を利用することで、被写体の属性に応じた適切な識別処理の実施が可能になる。
【００１３】
なお、上記構成において、各撮像素子により得られる撮像画像は、複数の受光素子の一部又は全部を像の形成を行わないものとして設定したことで、人が認識し得るものではない可能性がある。しかしながら、後述するとおり、所定の属性を識別するための機械学習を行った学習器の入力として各撮像画像を利用するため、各撮像画像は、人により認識可能なものである必要はない。
【００１４】
また、上記構成によれば、各撮影画像の情報量を減らしながらも、使用する受光素子の設定を適切に行うことで、ある被写体に対して多様な撮像画像を得ることができる。そのため、当該取得された各撮像画像を用いて、分類、クラスタリング、特徴量の抽出等に代表される学習を行うことで、当該被写体と同一カテゴリの他の物体の認識精度を向上させることができる、すなわち、ロバスト性に優れた学習器を構築することができる。
【００１５】
上記一側面に係る光学センサは、前記撮像画像の形成に使用する受光素子の設定を示す設定データに従って、前記各撮像素子における前記撮像画像の形成を制御する制御部を更に備えてもよい。当該構成によれば、像の形成を行う受光素子及び像の形成を行わない受光素子の設定をソフトウェア上で制御することができる。
【００１６】
上記一側面に係る光学センサにおいて、前記設定データは、前記各撮像画像を入力すると前記被写体の属性情報を出力するように学習器を学習させる学習装置において、前記被写体の属性の識別に適するように前記各撮像素子に対して使用する受光素子を選択することで作成されてよく、前記制御部は、作成された前記設定データを前記学習装置から受信し、当該受信した設定データに従って、前記各撮像素子における前記撮像画像の形成を制御してもよい。当該構成によれば、像の形成を行う受光素子及び像の形成を行わない受光素子の設定を、学習器に学習させる被写体の属性の識別に適する行うことができる。なお、属性情報とは、被写体の位置、向き、姿勢、大きさ、形状、色、種別、周囲の状況等の当該被写体を特徴付け得る何らかの情報を指し、当該被写体そのものの描画した画像を含み得る。
【００１７】
上記一側面に係る光学センサにおいて、前記撮像画像の形成に使用する受光素子の設定は、前記撮像画像の形成に使用する受光素子への光を遮蔽せず、前記撮像画像の形成に使用しない受光素子への光を遮蔽するように構成された遮蔽部材により行われてよい。当該構成によれば、像の形成を行う受光素子及び像の形成を行わない受光素子の設定をハードウェア（遮蔽部材）上で制御することができる。
【００１８】
上記一側面に係る光学センサにおいて、前記撮像画像の形成に使用する受光素子の設定は、前記撮像画像から識別する対象となる前記被写体の属性に対応して行われてよい。当該構成によれば、像の形成を行う受光素子及び像の形成を行わない受光素子の設定を、被写体の属性の識別に適する行うことができる。
【００１９】
上記一側面に係る光学センサは、前記光学部材より前記被写体側に配置され、前記被写体からの光を集光する集光レンズを更に備えてもよい。当該構成によれば、視野範囲を変更可能な光学センサを提供することができる。
【００２０】
上記一側面に係る光学センサにおいて、前記光学部材は、レンズアレイ、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含んでよい。当該構成によれば、上記光学センサを簡易に実現することができる。なお、レンズアレイは、例えば、マイクロレンズアレイである。ただし、各レンズのサイズは、マイクロスケールに限定される訳ではなく、実施の形態に応じて適宜選択されてよい。
【００２１】
上記一側面に係る光学センサは、前記使用する受光素子の設定がなされない１又は複数の他の撮像素子を更に備えてもよい。すなわち、光学センサの備える全ての撮像素子が、撮像画像の形成に使用する受光素子の設定がなされるように構成するのではなく、光学センサの備える一部の撮像素子が、当該使用する受光素子の設定がなされるように構成してもよい。当該構成によれば、光学センサの備える一部の撮像素子について、形成される撮像画像から利用しない無駄な情報の省略が可能になる。なお、使用する受光素子の設定がなされる撮像素子を特に「第１撮像素子」と称し、使用する受光素子の設定がなされない撮像素子を特に「第２撮像素子」と称してもよい。
【００２２】
また、本発明の一側面に係る学習装置は、上記いずれかの形態に係る光学センサから前記各撮像素子の撮像した前記各撮像画像を取得する画像取得部と、取得した前記各撮像画像を入力すると前記被写体の属性情報を出力するように学習器を学習させる学習処理部と、を備える。当該構成によれば、被写体の属性に応じた適切な識別処理の実施が可能な学習器を構築する学習装置を提供することができる。
【００２３】
また、本発明の一側面に係る画像処理システムは、被写体からの光をそれぞれ集光する複数の集光部を有する光学部材、及びそれぞれ前記各集光部に対応して設けられ、複数の受光素子を有することで、前記各集光部の集光した光を受けて、前記被写体を映した撮像画像をそれぞれ形成するように構成された複数の撮像素子を備える光学センサであって、前記撮像素子毎に、前記複数の受光素子から前記撮像画像の形成に使用する受光素子の設定がなされる、光学センサと、前記被写体の属性を識別するための学習を行った学習済みの学習器に、前記各撮像素子により得られた前記各撮像画像を入力することで、前記被写体の属性を示す属性情報を取得する情報処理装置と、を備える。当該構成によれば、被写体の属性に応じた適切な識別処理の実施が可能な画像処理システムを提供することができる。
【００２４】
上記一側面に係る画像処理システムにおいて、前記情報処理装置は、前記撮像画像の形成に使用する受光素子の設定を示す設定データに従って、前記各撮像素子により得られた前記各撮像画像を構成する複数の画素から前記学習器に入力する画素を選択してもよい。当該構成によれば、像の形成を行う受光素子及び像の形成を行わない受光素子の設定をソフトウェア上で制御可能な画像処理システムを提供することができる。
【００２５】
上記一側面に係る画像処理システムにおいて、前記学習器は、ニューラルネットワーク、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成されてよい。当該構成によれば、被写体の属性に応じた適切な識別処理の実施が可能な画像処理システムを簡易に実現することができる。
【００２６】
上記一側面に係る画像処理システムにおいて、前記情報処理装置は、前記属性情報として、前記被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、及び環境情報のうちの一つ又は組み合わせを出力してもよい。当該構成によれば、被写体の位置、向き、姿勢、大きさ、形状、動き、種別、固体識別情報、色、明るさ、及び環境情報の少なくともいずれかを解析する画像処理システムを提供することができる。なお、個体識別情報は、同種又は異種の被写体（個体、物）を識別するための情報である。また、環境情報は、被写体及びその周囲の状況を示す情報である。
【００２７】
上記一側面に係る画像処理システムにおいて、前記情報処理装置は、前記学習器の出力に基づいて前記被写体を描画した画像を作成し、当該作成した画像を前記属性情報として出力してもよい。当該構成によれば、被写体の属性が反映された画像を出力する画像処理システムを提供することができる。
【発明の効果】
【００２８】
本発明によれば、被写体の属性に応じた適切な識別処理を実施可能にする技術を提供することができる。
【図面の簡単な説明】
【００２９】
【図１】図１は、実施の形態に係る画像処理システム及び学習装置の適用場面の一例を模式的に例示する。
【図２】図２は、実施の形態に係る画像処理装置のハードウェア構成の一例を模式的に例示する。
【図３Ａ】図３Ａは、実施の形態に係る光学センサの構成の一例を模式的に例示する。
【図３Ｂ】図３Ｂは、実施の形態に係る光学センサの光学部材及び撮像素子の関係を模式的に例示する。
【図４Ａ】図４Ａは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｂ】図４Ｂは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｃ】図４Ｃは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｄ】図４Ｄは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｅ】図４Ｅは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｆ】図４Ｆは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｇ】図４Ｇは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｈ】図４Ｈは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図４Ｉ】図４Ｉは、実施の形態に係る光学センサにおける像の形成を行う受光素子の設定の一例を模式的に例示する。
【図５】図５は、実施の形態に係る学習装置のハードウェア構成の一例を模式的に例示する。
【図６】図６は、実施の形態に係る画像処理装置の機能構成の一例を模式的に例示する。
【図７】図７は、実施の形態に係る学習装置の機能構成の一例を模式的に例示する。
【図８】図８は、実施の形態に係る画像処理装置の処理手順の一例を例示する。
【図９】図９は、実施の形態に係る学習装置の処理手順の一例を例示する。
【図１０】図１０は、変形例に係る光学センサの構成の一例を模式的に例示する。
【図１１】図１１は、変形例に係る光学センサの構成の一例を模式的に例示する。
【図１２】図１２は、変形例に係る画像処理装置の構成の一例を模式的に例示する。
【図１３】図１３は、変形例に係る画像処理装置の構成の一例を模式的に例示する。
【図１４】図１４は、変形例に係る光学センサの構成の一例を模式的に例示する。
【発明を実施するための形態】
【００３０】
以下、本発明の一側面に係る実施の形態（以下、「本実施形態」とも表記する）を、図面に基づいて説明する。ただし、以下で説明する本実施形態は、あらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。つまり、本発明の実施にあたって、実施形態に応じた具体的構成が適宜採用されてもよい。なお、本実施形態において登場するデータを自然言語により説明しているが、より具体的には、コンピュータが認識可能な疑似言語、コマンド、パラメータ、マシン語等で指定される。
【００３１】
§１  適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係る画像処理システム１００及び学習装置２の適用場面の一例を模式的に例示する。本実施形態に係る画像処理システム１００は、被写体６の属性を識別するための学習を行った学習済みの学習器（後述するニューラルネットワーク７）を用いて、被写体６の属性を解析する情報処理システムである。
【００３２】
図１に示されるとおり、画像処理システム１００は、被写体６の撮像を行う光学センサ３と、光学センサ３により得られる複数件の撮像画像を用いて被写体６の属性を特定する画像処理装置１と、を備えている。光学センサ３は、複数のレンズ３１１を備えるレンズアレイ３１と、各レンズ３１１に対応して設けられ、各レンズ３１１により集光された光を受けて、被写体６を映した撮像画像をそれぞれ形成する複数の撮像素子３２と、を備えている。
【００３３】
なお、レンズアレイ３１は、本発明の「光学部材」の一例である。レンズアレイ３１は、例えば、マイクロレンズアレイである。ただし、各レンズ３１１のサイズは、マイクロスケールに限定される訳ではなく、実施の形態に応じて適宜選択されてよい。また、各レンズ３１１は、本発明の「集光部」の一例である。被写体６は、光学センサ３により撮像可能なあらゆるものを含んでよく、例えば、車両外部の状況等のシーン、又は製造ラインで製造される製品、人間等の所定の物体であってよい。
【００３４】
各撮像素子３２は、複数の受光素子３２１により構成されている。そして、撮像素子３２毎に、複数の受光素子３２１のうちから撮像画像の形成に使用する受光素子の設定がなされている。すなわち、各受光素子３２１について像の形成を行うか否かの設定が用意されており、この設定に基づいて、各撮像素子３２の備える複数の受光素子３２１は、光を受けて像の形成を行う受光素子と像の形成を行わない受光素子とに分けられる。なお、以下では、光を受けて像の形成を行う受光素子を「アクティブな受光素子」とも記載し、像の形成を行わない受光素子を「アクティブでない受光素子」とも記載する。
【００３５】
これにより、アクティブでない受光素子３２１の分だけ画素を省略した撮像画像を得ることができる。画像処理装置１は、この各撮像素子３２のアクティブな受光素子３２１により形成された各撮像画像を、被写体６の属性を識別するための学習を行った学習済みの学習器に入力することで、被写体６の属性を示す属性情報を取得する。
【００３６】
一方、本実施形態に係る学習装置２は、画像処理システム１００が利用する学習器を構築する、すなわち、光学センサ３により得られた複数件の撮像画像の入力に応じて被写体６の属性を出力するように学習器の機械学習を行うコンピュータである。具体的には、学習装置２は、上記光学センサ３から各撮像素子３２の撮像した各撮像画像を取得する。そして、学習装置２は、取得した各撮像画像を入力すると被写体６の属性を出力するように学習器（後述するニューラルネットワーク８）を学習させる。
【００３７】
これにより、上記画像処理システム１００で利用する学習済みの学習器を作成することができる。画像処理装置１は、例えば、ネットワーク１０を介して、学習装置２により作成された学習済みの学習器を取得することができる。なお、ネットワーク１０の種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
【００３８】
以上のとおり、本実施形態に係る光学センサ３の各撮像素子３２は、アクティブでない受光素子３２１の分だけ画素を省略した撮像画像を得ることができる。そのため、被写体６の属性の識別に不要な像を形成し得る受光素子３２１をアクティブでない受光素子として設定することにより、形成される撮像画像から利用しない無駄な情報（画素）を省略することができる。したがって、本実施形態に係る画像処理システム１００によれば、被写体６の属性に応じた適切な識別処理を実施することができる。
【００３９】
また、本実施形態の手法によれば、各撮像画像の情報量を減らしながらも、アクティブな受光素子３２１を適切に設定することで、被写体６に対して多様な撮像画像を得ることができる。そのため、取得された各撮像画像を用いて、分類、クラスタリング、特徴量の抽出等に代表される学習を行うことで、被写体６と同一カテゴリの他の物体の認識精度を向上させることができる、すなわち、ロバスト性に優れた機械学習を実現することができる。
【００４０】
§２  構成例
［ハードウェア構成］
＜画像処理装置＞
次に、図２を用いて、本実施形態に係る画像処理装置１のハードウェア構成の一例について説明する。図２は、本実施形態に係る画像処理装置１のハードウェア構成の一例を模式的に例示する。
【００４１】
図２に示されるとおり、本実施形態に係る画像処理装置１は、制御部１１、記憶部１２、通信インタフェース１３、入力装置１４、出力装置１５、外部インタフェース１６、及びドライブ１７が電気的に接続されたコンピュータである。本実施形態に係る画像処理装置１は、本発明の「情報処理装置」に相当する。なお、図２では、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。
【００４２】
制御部１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行うように構成される。記憶部１２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等の補助記憶装置であり、制御部１１で実行される画像処理プログラム１２１、学習済みの学習器に関する情報を示す学習結果データ１２２等を記憶する。
【００４３】
画像処理プログラム１２１は、画像処理装置１に後述する被写体６の属性を解析する処理（図８）を実行させるためのプログラムである。また、学習結果データ１２２は、学習済みの学習器の設定を行うためのデータである。詳細は後述する。
【００４４】
通信インタフェース１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインタフェースである。入力装置１４は、例えば、マウス、キーボード等の入力を行うための装置である。出力装置１５は、例えば、ディスプレイ、スピーカ等の出力を行うための装置である。外部インタフェース１６は、ＵＳＢ（Universal Serial Bus）ポート等であり、光学センサ３等の外部装置と接続するためのインタフェースである。
【００４５】
ドライブ１７は、例えば、ＣＤ（Compact Disk）ドライブ、ＤＶＤ（Digital Versatile Disk）ドライブ等であり、記憶媒体９１に記憶されたプログラムを読み込むための装置である。ドライブ１７の種類は、記憶媒体９１の種類に応じて適宜選択されてよい。上記画像処理プログラム１２１及び／又は学習結果データ１２２は、この記憶媒体９１に記憶されていてもよい。
【００４６】
記憶媒体９１は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。画像処理装置１は、この記憶媒体９１から、画像処理プログラム１２１及び／又は学習結果データ１２２を取得してもよい。
【００４７】
ここで、図２では、記憶媒体９１の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体９１の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
【００４８】
なお、画像処理装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、制御部１１は、複数のプロセッサを含んでもよい。画像処理装置１は、複数台の情報処理装置で構成されてもよい。また、画像処理装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップＰＣ（Personal Computer）、タブレットＰＣ等が用いられてもよい。
【００４９】
＜光学センサ＞
次に、図３Ａ及び図３Ｂを用いて、本実施形態に係る光学センサ３の構成の一例について説明する。図３Ａは、本実施形態に係る光学センサ３の構成の一例を模式的に例示する。図３Ｂは、本実施形態に係る光学センサ３のレンズアレイ３１及び各撮像素子３２の関係を模式的に例示する。
【００５０】
図３Ａ及び図３Ｂに示されるとおり、本実施形態に係る光学センサ３は、３×３個のレンズ３１１を備えるレンズアレイ３１と、それぞれ各レンズ３１１に対応して配置される３×３個の撮像素子３２と、各撮像素子３２における撮像画像の形成を制御する制御部３３と、設定データ３４１を記憶する記憶部３４と、を備えている。
【００５１】
（レンズアレイ）
本実施形態に係るレンズアレイ３１は、例えば、マイクロレンズアレイである。ただし、レンズアレイ３１の各レンズ３１１の寸法は、マイクロスケールに限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、各レンズ３１１の大きさは、使用する各撮像素子３２に対応して決定可能である。
【００５２】
各レンズ３１１は、各撮像素子３２に被写体６からの光を集光するように適宜構成される。各レンズ３１１の集光角度、屈折率、透過する光の帯域等の光学特性は、実施の形態に応じて適宜決定されてよい。全てのレンズ３１１の光学特性は同一であってもよいし、各レンズ３１１の光学特性は相違していてもよい。なお、各レンズ３１１の所望の光学特性は、各レンズの大きさ、素材、及び形状の少なくともいずれかを適宜調節して設計することで実現可能である。
【００５３】
このようなレンズアレイ３１は、公知の材料及び公知の加工方法により適宜作製することができる。例えば、レンズアレイ３１は、樹脂材料、ガラス材料等の光を透過可能な材料を、射出成形、切削加工、溶接等の加工方法で加工することで作製することができる。なお、レンズアレイ３１は、モータ（不図示）等により、入射する光の光軸方向に適宜変動して、焦点が調整可能に構成されてよい。
【００５４】
（撮像素子）
図３Ｂに示されるとおり、本実施形態に係る各撮像素子３２は、５×５個の受光素子３２１を備えるイメージセンサである。各受光素子３２１は、例えば、ＣＭＯＳ（Complementary MOS）、ＣＣＤ（Charge Coupled Device）等で構成される。これにより、各撮像素子３２は、レンズアレイ３１の各レンズ３１１の集光した光を受けて、被写体６を映した撮像画像を形成するように構成される。なお、図３Ｂの例では、各撮像素子３２は、５×５の画素数の撮像画像を形成するように構成されている。
【００５５】
各撮像素子３２の大きさは、例えば、撮像対象とする被写体６の大きさ、被写体６内の識別対象部分の大きさ、被写体６までの距離等の要因に基づいて適宜決定することができる。なお、各撮像素子３２としては、被写体６の大きさ及び被写体６までの距離に応じて、鉛直方向に１００〜数１００ピクセル及び水平方向に１００〜数１００ピクセルの解像度を有する撮像素子を用いるのが好ましい。このとき、各撮像素子の縦横比（アスペクト比）は、検出範囲の縦横比により決定することができる。
【００５６】
（制御部及び記憶部）
制御部３３は、例えば、ＣＰＵを含むマイクロプロセッサにより構成され、記憶部３４は、ＲＡＭ、ＲＯＭ等のメモリにより構成される。記憶部３４に記憶される設定データ３４１は、撮像画像の形成に使用する受光素子３２１の設定を示す。換言すると、設定データ３４１は、各撮像素子３２について、どの受光素子３２１がアクティブになっており、どの受光素子３２１がアクティブではないかを示す。
【００５７】
本実施形態では、この設定データ３４１に基づいて、撮像素子３２毎に、複数の受光素子３２１から撮像画像の形成に使用する受光素子の設定がなされる。すなわち、制御部３３は、この設定データ３４１に従って、各撮像素子３２における撮像画像の形成を制御する。設定データ３４１は、光学センサ３に固有のものであってもよいし、画像処理装置１又は学習装置２から受信したものであってもよい。
【００５８】
（設定例）
次に、図４Ａ〜図４Ｉを用いて、撮像画像の形成に使用する受光素子の設定について説明する。図４Ａ〜図４Ｉはそれぞれ、撮像画像の形成に使用する受光素子の設定の一例を模式的に例示する。具体的には、図４Ａ〜図４Ｉはそれぞれ、光学センサ３の背面側（レンズアレイ３１と反対側）から各受光素子を見た状態を示す。なお、図４Ａ〜図４Ｉでは、５×５のマスのうち、ハッチング（斜線）されたマスがアクティブな受光素子３２１を示し、ハッチングされていない白マスがアクティブでない受光素子３２１を示す。
【００５９】
（１）
図４Ａの例では、５×５個の受光素子３２１のうち、中央の１個の受光素子３２１がアクティブな受光素子に設定されており、その他の２４個の受光素子３２１がアクティブでない受光素子に設定されている。この設定が適用された撮像素子３２は、対応するレンズ３１１の正面にある被写体６の一部分を正確に捕捉した撮像画像（１画素）を形成することができる。
【００６０】
そのため、１つの撮像素子３２にこの設定を適用した場合には、その撮像素子３２から得られる撮像画像（１画素）により、レンズ３１１の正面に被写体６が存在するか否かを識別することができる。また、複数の撮像素子３２にこの設定を適用した場合には、当該適用した複数の撮像素子３２から得られる複数件の撮像画像により、レンズ３１１の正面に存在する被写体６の種別等を識別することができる。
【００６１】
（２）
図４Ｂの例では、５×５個の受光素子３２１のうち、最上位の横１列に含まれる５個の受光素子３２１がアクティブな受光素子に設定されており、その他の４×５個の受光素子３２１がアクティブでない受光素子に設定されている。この設定が適用された撮像素子３２は、光学センサ３からみて被写体６の下方部分を横方向に広い範囲で捕捉した撮像画像（５画素）を形成することができる。
【００６２】
そのため、この設定を適用した撮像素子３２から得られる撮像画像により、撮像範囲の下方領域に入ってくる被写体６が存在するか否かを識別することができる。例えば、この光学センサ３により車両の前方の状況を撮像した場合には、図４Ｂに示す設定を適用した撮像素子３２から得られる撮像画像は、走行を妨げる物体が車両近傍の走行範囲に侵入してきたか否かの判定に利用することができる。
【００６３】
（３）
図４Ｃの例では、５×５個の受光素子３２１のうち、右側の縦１列に含まれる５個の受光素子３２１がアクティブな受光素子に設定されており、その他の５×４個の受光素子３２１がアクティブでない受光素子に設定されている。この設定が適用された撮像素子３２は、光学センサ３からみて被写体６の左側部分を縦方向に広い範囲で捕捉した撮像画像（５画素）を形成することができる。
【００６４】
そのため、この設定を適用した撮像素子３２から得られる撮像画像により、撮像範囲の左側領域に縦方向から入ってくる被写体６が存在するか否かを識別することができる。例えば、この光学センサ３により車両の前方の状況を撮像した場合には、図４Ｃに示す設定を適用した撮像素子３２から得られる撮像画像は、車両の走行範囲の左側領域において、看板、落下物等の上下方向から進入する物体が存在するか否かの判定に利用することができる。
【００６５】
（４）
図４Ｄの例では、５×５個の受光素子３２１のうち、右下隅の４個の受光素子３２１がアクティブでない受光素子に設定されており、その他の２１個の受光素子３２１がアクティブな受光素子に設定されている。この設定が適用された撮像素子３２は、光学センサ３からみて撮像範囲の左上側領域以外の領域を捕捉した撮像画像（２１画素）を形成することができる。
【００６６】
例えば、太陽光等の強い光を発する光源が撮像範囲の左上側領域に存在する場合には、各撮像素子３２の右下隅の領域に存在する受光素子３２１では、ホワイトアウトが起きてしまい、被写体６の属性の識別に利用可能な像を得ることができない。これに対して、図４Ｄに示す設定によれば、撮像範囲の左上側領域に強い光を発する光源が存在することでホワイトアウトの起き得る範囲を省略した撮像画像（２１画素）を得ることができる。すなわち、図４Ｄに示す設定を適用することで、各撮像素子３２により得られる撮像画像から、太陽光等の影響によって被写体６の属性の識別に利用できない無駄な情報になる画素を省略することができる。
【００６７】
（５）
図４Ｅの設定は、図４Ａの設定とは反対になっている。すなわち、図４Ｅの例では、５×５個の受光素子３２１のうち、中央の１個の受光素子３２１がアクティブでない受光素子に設定されており、その他の２４個の受光素子３２１がアクティブな受光素子に設定されている。この設定が適用された撮像素子３２は、対応するレンズ３１１の正面にある被写体６の一部分以外の領域を捕捉した撮像画像（２４画素）を形成することができる。
【００６８】
例えば、この光学センサ３により車両の前方の状況を撮像した場合に、車両の前方を走行する車両のヘッドライト等の強い光を発する光源が撮像素子３２の撮像範囲の中央に存在するとき、図４Ｄの例と同様に、中央に存在する受光素子３２１では、ホワイトアウトが起きてしまい、被写体６の属性の識別に利用可能な像を得ることができない。これに対して、図４Ｅに示す設定によれば、撮像範囲の中央領域に強い光を発する光源が存在することでホワイトアウトの起き得る範囲を省略した撮像画像（２４画素）を得ることができる。すなわち、図４Ｅに示す設定を適用することで、各撮像素子３２により得られる撮像画像から、前方を走行する車両のヘッドライト等によって被写体６の属性の識別に利用できない無駄な情報になる画素を省略することができる。
【００６９】
なお、ヘッドライトにより影響を受ける受光素子３２１の範囲は、前方を走る車両と自車との位置関係によって定まる。そのため、光学センサ３を搭載した車両が前方を走行する車両との距離を測定する距離センサを備える場合には、光学センサ３は、距離センサの測定結果に基づいて、ヘッドライトにより影響を受ける受光素子３２１の範囲を特定し、特定した範囲に含まれる受光素子３２１をアクティブでない受光素子に切り替えるように構成されてもよい。
【００７０】
（６）
図４Ｆの例では、５×５個の受光素子３２１のうち、左上隅から右下隅にかけての斜め領域に含まれる５個の受光素子３２１がアクティブな受光素子に設定されており、その他の２０個の受光素子３２１がアクティブでない受光素子に設定されている。この設定が適用された撮像素子３２は、光学センサ３からみて被写体６を左上隅から右下隅にかけての斜め方向に捕捉した撮像画像（５画素）を形成することができる。
【００７１】
例えば、光学センサ３を車両に搭載して、走行範囲の道路状況を撮影する場合、車両の前方に延びる道路のエッジは、各撮像素子３２により得られる撮像画像内では斜め方向に映り得る。同様に、製造ライン上に光学センサ３を配置して、コンベアの状況を撮影する場合、コンベアのエッジは、各撮像素子３２により得られる撮像画像内では斜め方向に映り得る。そのため、この設定を適用した撮像素子３２から得られる撮像画像は、道路、コンベア等の斜め方向に延びるエッジを識別するのに利用することができる。
【００７２】
（７）
図４Ｇの例では、５×５個の受光素子３２１のうち、左上隅から右下隅にかけて右斜め下方向に延びる領域及び右上隅から左下隅にかけて左斜め下方向に延びる領域に含まれる９個の受光素子３２１がアクティブな受光素子に設定されており、その他の１６個の受光素子３２１がアクティブでない受光素子に設定されている。この設定が適用された撮像素子３２は、被写体６を×印状に捕捉した撮像画像（９画素）を形成することができる。この図４Ｇの設定は、図４Ｆの設定に類似する。そのため、この設定を適用した撮像素子３２から得られる撮像画像は、道路、コンベア等の斜め方向に延びるエッジを識別するのに利用することができる。
【００７３】
（８）
図４Ｈの例では、５×５個の受光素子３２１のうち、右下隅の３×３個の受光素子３２１がアクティブな受光素子に設定されており、その他の１６個の受光素子３２１がアクティブでない受光素子に設定されている。この設定が適用された撮像素子３２は、光学センサ３からみて撮像範囲の左上側領域を捕捉した撮像画像（９画素）を形成することができる。この図４Ｈの例は、図４Ｄの設定とは対照的な設定になっている。すなわち、図４Ｄに示す設定を適用した撮像素子３２から得られる撮像画像は、撮像範囲に左上側領域に存在する被写体６の属性を識別するのに利用することができる。
【００７４】
（９）
図４Ｉの例では、全ての受光素子３２１がアクティブな受光素子に設定されている。例えば、撮像範囲全体を解析対象とする場合には、このように全ての受光素子３２１をアクティブな受光素子に設定してもよい。全ての撮像素子３２に図４Ｉに示す設定を適用すると、被写体６の属性の解析にかかる計算量が増大してしまうが、一部の撮像素子３２にのみ図４Ｉに示す設定を適用することで、被写体６の属性の解析にかかる計算量を低減しつつ、撮像範囲を漏れなく解析対象とすることができる。
【００７５】
（小括）
以上のように、本実施形態では、制御部３３が、設定データ３４１に基づいて、アクティブな受光素子及びアクティブでない受光素子の設定をソフトウェアにより制御する。このとき、制御部３３は、撮像画像の形成に使用する受光素子の設定を、当該撮像画像から識別する対象となる被写体６の属性に対応するように行ってもよい。例えば、レンズアレイ３１の正面に存在する被写体６の種別を識別するために、制御部３３は、全ての撮像素子３２に上記図４Ａに示す設定を適用してもよい。また、例えば、斜め方向のエッジを識別するために、制御部３３は、９個の撮像素子３２のうちの少なくとも一部に上記図４Ｆ又は図４Ｇに示す設定を適用してもよい。
【００７６】
なお、全ての撮像素子３２に同一の設定が適用されてもよいし、各撮像素子３２に異なる設定が適用されてもよい。また、撮像画像の形成に使用する受光素子の設定は、上記の各例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、図４Ａの例では、中央の複数の受光素子３２１がアクティブな受光素子に設定されてもよい。また、例えば、図４Ｂ、図４Ｃ、図４Ｆ、及び図４Ｇの例では、アクティブな受光素子に設定される列が変更されてもよいし、複数であってもよい。また、例えば、図４Ｄ及び図４Ｈの例では、アクティブな受光素子に設定される領域及びアクティブでない受光素子に設定される領域の位置、形状、及び当該領域に含まれる受光素子３２１の数が変更されてもよい。また、例えば、図４Ｆ及び図４Ｇの例において、斜め方向の角度は、適宜決定されてよい。各撮像素子３２において、被写体６の属性の解析に適した部分に含まれる受光素子３２１がアクティブな受光素子になり、被写体６の属性の解析に不要な部分及び当該解析にあまり寄与しない部分に含まれる受光素子３２１がアクティブでない受光素子になるように、撮像画像の形成に使用する受光素子の設定が適宜なされてよい。
【００７７】
また、当該設定に基づいて得られる撮像画像のデータ形式は、実施の形態に応じて適宜選択されてよい。例えば、制御部３３は、全ての受光素子３２１から信号を受け取り、アクティブでない受光素子に対応する画素に学習器の入力に利用しないフラグを付与することで、撮像画像の形成に使用する受光素子の設定が反映された撮像画像を形成してもよい。また、例えば、制御部３３は、アクティブな受光素子に設定された受光素子３２１から信号を受け取り、アクティブでない受光素子に設定された受光素子３２１から信号を受け取らないことで、撮像画像の形成に使用する受光素子の設定が反映された撮像画像を形成してもよい。
【００７８】
＜学習装置＞
次に、図５を用いて、本実施形態に係る学習装置２のハードウェア構成の一例を説明する。図５は、本実施形態に係る学習装置２のハードウェア構成の一例を模式的に例示する。
【００７９】
図５に示されるとおり、本実施形態に係る学習装置２は、制御部２１、記憶部２２、通信インタフェース２３、入力装置２４、出力装置２５、外部インタフェース２６、及びドライブ２７が電気的に接続されたコンピュータである。なお、図５では、図２と同様に、通信インタフェース及び外部インタフェースをそれぞれ、「通信Ｉ／Ｆ」及び「外部Ｉ／Ｆ」と記載している。
【００８０】
制御部２１〜ドライブ２７及び記憶媒体９２はそれぞれ、上記画像処理装置１の制御部１１〜ドライブ１７及び記憶媒体９１と同様である。ただし、学習装置２の記憶部２２は、制御部２１で実行される学習プログラム２２１、学習器の学習に利用する学習データ２２２、学習プログラム２２１を実行して作成した学習結果データ１２２、撮像画像の形成に使用する受光素子３２１の設定を示す設定データ３４１等を記憶する。
【００８１】
学習プログラム２２１は、学習装置２に後述するニューラルネットワークの学習処理（図９）を実行させるためのプログラムである。また、学習データ２２２は、被写体６の所望の属性を解析可能に学習器の学習を行うためのデータである。詳細は後述する。
【００８２】
なお、上記画像処理装置１と同様に、学習プログラム２２１及び／又は学習データ２２２は、記憶媒体９２に記憶されていてもよい。これに応じて、学習装置２は、利用する学習プログラム２２１及び／又は学習データ２２２を記憶媒体９２から取得してもよい。
【００８３】
また、上記画像処理装置１と同様に、学習装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。更に、学習装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、デスクトップＰＣ等が用いられてもよい。
【００８４】
［機能構成］
＜画像処理装置＞
次に、図６を用いて、本実施形態に係る画像処理装置１の機能構成の一例を説明する。図６は、本実施形態に係る画像処理装置１の機能構成の一例を模式的に例示する。
【００８５】
画像処理装置１の制御部１１は、記憶部１２に記憶された画像処理プログラム１２１をＲＡＭに展開する。そして、制御部１１は、ＲＡＭに展開された画像処理プログラム１２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図６に示されるとおり、本実施形態に係る画像処理装置１は、画像取得部１１１及び属性取得部１１２を備えるコンピュータとして機能する。
【００８６】
画像取得部１１１は、上記の設定が適用された光学センサ３の各撮像素子３２から、当該各撮像素子３２により形成された各撮像画像１２３を取得する。属性取得部１１２は、各撮像素子３２により得られた各撮像画像１２３を被写体６の属性を学習した学習器の入力として用いて、当該学習器の演算処理を行うことにより、当該学習器から出力値を得る。そして、属性取得部１１２は、学習器から得られた出力値に基づいて被写体６の属性を特定することで、当該被写体６の属性を示す属性情報を取得する。
【００８７】
（学習器）
次に、学習器について説明する。図６に示されるとおり、本実施形態に係る画像処理装置１は、所望の被写体６の属性を学習した学習器として、ニューラルネットワーク７を利用する。ニューラルネットワーク７は、いわゆる深層学習に用いられる多層構造のニューラルネットワークであり、入力から順に、入力層７１、中間層（隠れ層）７２、及び出力層７３を備えている。
【００８８】
図６では、ニューラルネットワーク７は１層の中間層７２を備えており、入力層７１の出力が中間層７２の入力となり、中間層７２の出力が出力層７３の入力となっている。ただし、中間層７２の数は１層に限られなくてもよく、ニューラルネットワーク７は、中間層７２を２層以上備えてもよい。
【００８９】
各層７１〜７３は、１又は複数のニューロンを備えている。例えば、入力層７１のニューロンの数は、各撮像画像１２３の画素数、換言すると、各撮像素子３２のアクティブな受光素子の数の合計に応じて設定することができる。中間層７２のニューロンの数は実施の形態に応じて適宜設定することができる。また、出力層７３は、解析対象とする被写体６の属性の種類数に応じて設定することができる。
【００９０】
隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定されている。図６の例では、各ニューロンは、隣接する層の全てのニューロンと結合されているが、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。
【００９１】
各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。画像処理装置１は、このようなニューラルネットワーク７の入力層７１に上記各撮像画像１２３を入力することで出力層７３から得られる出力値に基づいて被写体６の属性を特定する。
【００９２】
なお、このようなニューラルネットワーク７の構成（例えば、ニューラルネットワーク７の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、各ニューロンの伝達関数）、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報は、学習結果データ１２２に含まれている。画像処理装置１は、学習結果データ１２２を参照して、所望の被写体６の属性を解析する処理に用いる学習済みニューラルネットワーク７の設定を行う。
【００９３】
＜学習装置＞
次に、図７を用いて、本実施形態に係る学習装置２の機能構成の一例を説明する。図７は、本実施形態に係る学習装置２の機能構成の一例を模式的に例示する。
【００９４】
学習装置２の制御部２１は、記憶部２２に記憶された学習プログラム２２１をＲＡＭに展開する。そして、制御部２１は、ＲＡＭに展開された学習プログラム２２１をＣＰＵにより解釈及び実行して、各構成要素を制御する。これによって、図７に示されるとおり、本実施形態に係る学習装置２は、学習画像取得部２１１、及び学習処理部２１２を備えるコンピュータとして機能する。
【００９５】
学習画像取得部２１１は、学習データ２２２として、光学センサ３の各撮像素子３２の撮像した各撮像画像２２３及び各撮像画像２２３に映る被写体６の属性を示す属性情報２２４の組を取得する。学習処理部２１２は、学習データ２２２を用いて、取得した各撮像画像２２３を入力すると属性情報２２４により示される被写体６の属性に対応する出力値を出力するようにニューラルネットワーク８を学習させる。
【００９６】
なお、学習画像取得部２１１は、被写体６の属性の識別に適するように各撮像素子３２に対して使用する受光素子３２１を選択することにより、設定データ３４１を作成してもよい。この場合、光学センサ３の制御部３３は、作成された設定データ３４１を学習装置２から受信し、受信した設定データ３４１に従って、各撮像素子３２における撮像画像の形成を制御してもよい。
【００９７】
図７に示されるとおり、本実施形態では、学習対象となる学習器は、ニューラルネットワーク８である。学習器の一例であるニューラルネットワーク８は、入力層８１、中間層（隠れ層）８２、及び出力層８３を備え、上記ニューラルネットワーク７と同様に構成される。各層８１〜８３は、上記各層７１〜７３と同様である。
【００９８】
学習処理部２１２は、ニューラルネットワークの学習処理を実行することで、設定データ３４１の示すアクティブな受光素子によりそれぞれ得られた３×３件分の撮像画像２２３を入力すると、被写体６の属性に対応する出力値を出力するニューラルネットワーク８を構築する。そして、学習処理部２１２は、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。
【００９９】
＜その他＞
画像処理装置１及び学習装置２の各機能に関しては後述する動作例で詳細に説明する。なお、本実施形態では、画像処理装置１及び学習装置２の各機能がいずれも汎用のＣＰＵによって実現される例について説明している。しかしながら、以上の機能の一部又は全部が、１又は複数の専用のプロセッサにより実現されてもよい。また、画像処理装置１及び学習装置２それぞれの機能構成に関して、実施形態に応じて、適宜、機能の省略、置換及び追加が行われてもよい。
【０１００】
§３  動作例
［画像処理装置］
次に、図８を用いて、画像処理装置１の動作例を説明する。図８は、画像処理装置１の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【０１０１】
（起動）
まず、利用者は、画像処理装置１を起動し、起動した画像処理装置１に画像処理プログラム１２１を実行させる。画像処理装置１の制御部１１は、学習結果データ１２２を参照して、ニューラルネットワーク７の構造、各ニューロン間の結合の重み及び各ニューロンの閾値の設定を行う。そして、制御部１１は、以下の処理手順に従って、被写体６の属性の解析を行う。
【０１０２】
（ステップＳ１０１）
ステップＳ１０１では、制御部１１は、画像取得部１１１として機能し、外部インタフェース１６を介して接続される光学センサ３から、各撮像素子３２により撮像した撮像画像１２３を取得する。本実施形態では、光学センサ３は、３×３個の撮像素子３２を備えている。そして、上記図４Ａ〜図４Ｉに例示されるように、各撮像素子３２では、設定データ３４１に基づいて、使用する受光素子３２１が決定される。そのため、本ステップＳ１０１では、制御部１１は、基本的には１回の撮像毎に、設定データ３４１の示すアクティブな受光素子によりそれぞれ得られた３×３件の撮像画像１２３を取得する。
【０１０３】
（ステップＳ１０２）
次のステップＳ１０２では、制御部１１は、属性取得部１１２として機能し、ステップＳ１０１で取得した各撮像画像１２３をニューラルネットワーク７の入力として用いて、当該ニューラルネットワーク７の演算処理を行うことにより、当該ニューラルネットワーク７から出力値を得る。
【０１０４】
例えば、制御部１１は、取得した３×３件の撮像画像１２３に含まれる各画素（すなわち、各撮像素子３２のアクティブな受光素子に対応する画素）の画素値をニューラルネットワーク７の入力層７１に含まれる各ニューロンに入力する。各画素と各ニューロンとの対応関係は、実施の形態に応じて適宜設定されてよい。次に、制御部１１は、順伝搬の方向に各層７１〜７３に含まれる各ニューロンの発火判定を行う。これにより、制御部１１は、ニューラルネットワーク７の出力層７３に含まれる各ニューロンから出力値を得ることができる。
【０１０５】
（ステップＳ１０３）
次のステップＳ１０３では、制御部１１は、属性取得部１１２として機能し、ステップＳ１０２でニューラルネットワーク７から得られた出力値に基づいて被写体６の属性を特定することで、当該被写体６の属性を示す属性情報を取得する。
【０１０６】
上記のとおり、ニューラルネットワーク７は、設定データ３４１を適用した各撮像素子３２から得られる各撮像画像１２３を入力すると、所望する種類の被写体６の所望する属性に対応する出力値を出力するように学習済みである。また、ニューラルネットワーク７からは、出力層７３に含まれるニューロンの数だけ出力値を得ることができ、得られる出力値のうち１又は複数の出力値を被写体６の１つの属性（属性値）に対応付けることができる。そして、被写体６の属性（属性値）とニューラルネットワーク７の出力値との対応関係を示す情報は、例えば、テーブル形式等のデータにより与えることができる。
【０１０７】
そこで、制御部１１は、被写体６の属性（属性値）とニューラルネットワーク７の出力値との対応関係を示す情報を参照することで、ステップＳ１０２で得られた出力値に基づいて、被写体６の属性（属性値）を特定する。特定する被写体６の属性の数は、実施の形態に応じて適宜選択されてよい。これにより、制御部１１は、被写体６の属性を示す属性情報を取得することができる。制御部１１は、例えば、取得した属性情報を出力装置１５により出力した後、本動作例に係る被写体６の解析処理を終了する。
【０１０８】
なお、特定される被写体６の属性は、設定データ３４１を反映した各撮像画像１２３に現れ得る被写体６の特徴であれば、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。制御部１１は、属性情報として、例えば、被写体６の位置、向き、姿勢、大きさ、形状、動き、種別、個体識別情報、色、明るさ、及び環境情報のうちの一つ又は組み合わせを取得してもよい。個体識別情報は、同種又は異種の被写体（個体、物）を識別するための情報であり、例えば、通し番号、識別子等であってよい。また、環境情報は、被写体及びその周囲の状況を示す情報であり、例えば、被写体周囲の明るさの程度、背景色、及びこれらの分布を示す情報を含んでもよく、野外に存在する被写体を解析の対象とした場合には、天気情報を含んでもよい。
【０１０９】
例えば、上記のとおり、図４Ａに示す設定は、光学センサ３の正面に存在する被写体６の種別等を識別するのに適している。そのため、図４Ａに示す設定が全ての撮像素子３２に適用される場合に、ニューラルネットワーク７は、各撮像素子３２により得られる撮像画像を入力すると、光学センサ３の正面に存在する被写体６の種別を出力するように構築されてもよい。この場合、本ステップＳ１０３では、制御部１１は、ニューラルネットワーク７の出力値に基づいて、光学センサ３の正面に存在する被写体６の種別を示す情報を属性情報として取得することができる。
【０１１０】
［学習装置］
次に、図９を用いて、学習装置２の動作例を説明する。図９は、学習装置２の処理手順の一例を例示するフローチャートである。なお、以下で説明する処理手順は一例に過ぎず、各処理は可能な限り変更されてよい。また、以下で説明する処理手順について、実施の形態に応じて、適宜、ステップの省略、置換、及び追加が可能である。
【０１１１】
（ステップＳ２０１）
ステップＳ２０１では、制御部２１は、学習画像取得部２１１として機能し、設定データ３４１を適用した光学センサ３の各撮像素子３２により得られる各撮像画像２２３及び各撮像画像２２３に映る被写体６の属性を示す属性情報２２４の組を学習データ２２２として取得する。
【０１１２】
学習データ２２２は、ニューラルネットワーク８に対して、所望する被写体６の属性を解析可能に学習させるためのデータである。このような学習データ２２２は、例えば、用意した被写体６を光学センサ３により様々な条件で撮像し、得られる各撮像画像に撮像条件を紐付けることで作成することができる。
【０１１３】
具体的には、制御部２１は、光学センサ３により、解析対象の各属性が現れた状態の被写体６を撮像する。これにより、制御部２１は、光学センサ３の各撮像素子３２から、解析対象の属性が現れた被写体６を映した複数の撮像画像２２３を取得することができる。本実施形態では、光学センサ３は３×３個の撮像素子３２を備えているため、制御部２１は、１回の撮像毎に、３×３件の撮像画像２２３を取得することができる。
【０１１４】
そして、制御部２１は、各撮像画像２２３に現れる被写体６の属性を示す属性情報２２４（すなわち、教師データ）の入力を適宜受け付け、入力により与えられた属性情報２２４を各撮像画像２２３に紐付けることで、学習データ２２２を作成することができる。この学習データ２２２の作成は、オペレータ等が入力装置２４を用いることにより手動で行われてもよいし、ロボット等により自動で行われてもよい。
【０１１５】
なお、この学習データ２２２の作成は、上記のように学習装置２により行われてもよいし、学習装置２以外の他の情報処理装置により行われてもよい。学習装置２が学習データ２２２を作成する場合、制御部２１は、本ステップＳ２０１において、学習データ２２２の作成処理を実行することにより、学習データ２２２を取得する。一方、学習装置２以外の他の情報処理装置が学習データ２２２を作成する場合、制御部２１は、本ステップ２０１において、ネットワーク、記憶媒体９２等を介して、他の情報処理装置にアクセスすることにより、学習データ２２２を取得する
【０１１６】
また、光学センサ３の各撮像素子３２に適用する設定データ３４１は、光学センサ３に固有のものであってもよいし、学習装置２により作成されたものであってよい。学習装置２により作成された設定データ３４１を利用する場合、学習データ２２２の作成の際に各撮像素子３２に適用する、撮像画像の形成に使用する受光素子の設定（すなわち、設定データ３４１の内容）は、解析対象に指定した属性に適するように適宜決定されてよい。
【０１１７】
例えば、制御部２１は、上記学習データ２２２の作成の前段階において、図４Ａ〜図４Ｉで例示するアクティブな受光素子のパターンをディスプレイ（出力装置２５）に出力してもよい。そして、制御部２１は、オペレータ等に対して入力装置２４を介して、解析対象とする属性に適したパターンの選択を受け付けてもよい。これにより、制御部２１は、学習データ２２２の作成の際に各撮像素子３２に適用する、撮像画像の形成に使用する受光素子の設定を解析対象に指定した属性に適するように決定することができる。すなわち、制御部２１は、指定の属性を解析するのに適した設定データ３４１を作成することができる。
【０１１８】
また、例えば、制御部２１は、強化学習等の機械学習の手法を用いて、被写体６の解析対象に指定した属性に適するように、各撮像素子３２に対して使用する受光素子３２１を自動的に選択するようにしてもよい。このとき、制御部２１は、解析対象に指定した属性に適した受光素子の選択の学習過程において、異なる設定を適用する度に各撮像素子３２から学習に利用する撮像画像を取得してもよい。または、制御部２１は、全ての受光素子３２１から信号を受信して撮像画像（２５画素）を形成し、形成した撮像画像からアクティブでない受光素子に対応する画素を省略することで、学習に利用する撮像画像を取得してもよい。
【０１１９】
光学センサ３の制御部３３は、作成された設定データ３４１を学習装置２から受信し、受信した設定データ３４１を記憶部３４に保存する。そして、学習データ２２２を作成する際及び上記被写体６の属性の解析を行う際に、制御部３３は、記憶部３４に保存された設定データ３４１を読み出して、読み出した設定データ３４１に従って、各撮像素子３２における撮像画像の形成を制御する。
【０１２０】
（ステップＳ２０２）
次のステップＳ２０２では、制御部２１は、学習処理部２１２として機能して、ステップＳ２０１で取得した学習データ２２２を用いて、各撮像画像２２３を入力すると属性情報２２４により示される被写体６の属性に対応する出力値を出力するようにニューラルネットワーク８を学習させる。
【０１２１】
具体的には、まず、制御部２１は、学習処理を行う対象となるニューラルネットワーク８を用意する。用意するニューラルネットワーク８の構成、各ニューロン間の結合の重みの初期値、及び各ニューロンの閾値の初期値は、テンプレートにより与えられてもよいし、オペレータの入力により与えられてもよい。また、再学習を行う場合には、制御部２１は、再学習を行う対象となる学習結果データ１２２に基づいて、ニューラルネットワーク８を用意してもよい。
【０１２２】
次に、制御部２１は、ステップＳ２０１で取得した学習データ２２２に含まれる各撮像画像２２３を入力データとし、属性情報２２４を教師データとして、ニューラルネットワーク８の学習を行う。このニューラルネットワーク８の学習には、勾配降下法、確率的勾配降下法等が用いられてよい。
【０１２３】
例えば、制御部２１は、各撮像画像２２３の各画素値を入力層８１の入力として用いて、ニューラルネットワーク８の順伝播方向の演算処理を行う。これにより、制御部２１は、ニューラルネットワーク８の出力層８３から出力される出力値を得る。次に、制御部２１は、出力層８３から出力される出力値と属性情報２２４により示される属性に対応する所望の値との誤差を算出する。続いて、制御部２１は、誤差逆伝搬法により、算出した出力値の誤差を用いて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの誤差を算出する。そして、制御部２１は、算出した各誤差に基づいて、各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値の更新を行う。
【０１２４】
制御部２１は、各件の学習データ２２２について、ニューラルネットワーク８から出力される出力値が属性情報２２４により示される属性に対応する所望の値と一致するまでこの一連の処理を繰り返すことにより、ニューラルネットワーク８の学習を行う。これにより、各撮像画像２２３を入力すると属性情報２２４により示される属性に対応する出力値を出力するニューラルネットワーク８を構築することができる。
【０１２５】
（ステップＳ２０３）
次のステップＳ２０３では、制御部２１は、学習処理部２１２として機能して、構築したニューラルネットワーク８の構成、各ニューロン間の結合の重み、及び各ニューロンの閾値を示す情報を学習結果データ１２２として記憶部２２に格納する。学習データ２２２の作成過程において設定データ３４１を作成した場合には、制御部２１は、作成した設定データ３４１を学習結果データ１２２に紐付けて記憶部２２に格納する。これにより、制御部２１は、本動作例に係るニューラルネットワーク８の学習処理を終了する。
【０１２６】
なお、制御部２１は、上記ステップＳ２０３の処理が完了した後に、作成した学習結果データ１２２を画像処理装置１に転送してもよい。また、制御部２１は、上記ステップＳ２０１〜Ｓ２０３の学習処理を定期的に実行することで、学習結果データ１２２を定期的に更新してもよい。そして、制御部２１は、作成した学習結果データ１２２を当該学習処理の実行毎に画像処理装置１に転送することで、画像処理装置１の保持する学習結果データ１２２を定期的に更新してもよい。
【０１２７】
また、学習データ２２２の作成過程で設定データ３４１を作成した場合、制御部２１は、作成した設定データ３４１を、画像処理装置１に接続された光学センサ３に直接転送してもよいし、画像処理装置１を介して当該光学センサ３に転送してもよい。画像処理装置１を介して光学センサ３に設定データ３４１を転送する場合、画像処理装置１の制御部１１は、上記被写体６の属性の解析を実行する初期動作として、学習装置２から受信した設定データ３４１を光学センサ３に転送してもよい。
【０１２８】
［作用・効果］
以上のように、本実施形態では、上記ステップＳ１０１において、撮像画像の形成に使用する受光素子の設定を示す設定データ３４１を光学センサ３の各撮像素子３２に適用することで、利用しない無駄な情報を省略した撮像画像１２３を各撮像素子３２から取得することができる。そして、上記ステップＳ１０２及びＳ１０３により、そのような複数件の撮像画像１２３をニューラルネットワーク７に入力して、当該ニューラルネットワーク７から得られる出力値に基づいて被写体６の属性を特定する。学習のパートでも同様に、それぞれ無駄な情報を省略した複数件の撮像画像２２３を利用して、ニューラルネットワーク８の学習が行われる。
【０１２９】
すなわち、本実施形態では、それぞれ無駄な情報を省略した複数件の撮像画像（１２３、２２３）をニューラルネットワーク（７、８）の入力として利用することで、被写体６の属性の識別を達成しつつ、当該識別にかかる処理の計算量を低減することができる。したがって、本実施形態によれば、被写体６の属性に応じた適切な識別処理の実施が可能になる。
【０１３０】
なお、撮像画像から被写体の属性を識別する場合、一般的には、畳み込みニューラルネットワークのような複雑な構成を有するニューラルネットワークが用いられる。これに対して、本実施形態では、各撮像画像（１２３、２２３）から情報を省略可能であるため、単純な構成のニューラルネットワークであっても、各撮像画像（１２３、２２３）から被写体６の属性を識別可能である。そのため、自動車のコントローラ等の比較的にマシンパワーの低いシステムにも本発明を適用することができる。
【０１３１】
また、本実施形態では、光学センサ３は、設定データ３４１に基づいて、撮像画像の形成に使用する受光素子の設定をソフトウェア上で制御している。そのため、学習対象を変更したり、解析対象となる属性を変更したりする度に、撮像画像の形成に使用する受光素子の設定を容易に変更することができる。したがって、本実施形態に係る画像処理システム１００及び学習装置２は、様々な種類の被写体６及びその属性に対応可能である。
【０１３２】
§４  変形例
以上、本発明の実施の形態を詳細に説明してきたが、前述までの説明はあらゆる点において本発明の例示に過ぎない。本発明の範囲を逸脱することなく種々の改良や変形を行うことができることは言うまでもない。例えば、以下のような変更が可能である。なお、以下では、上記実施形態と同様の構成要素に関しては同様の符号を用い、上記実施形態と同様の点については、適宜説明を省略した。以下の変形例は適宜組み合わせ可能である。
【０１３３】
＜４．１＞
例えば、上記実施形態では、図６及び図７に示されるとおり、各ニューラルネットワーク（７、８）として、多層構造を有する一般的な順伝播型ニューラルネットワークを用いている。しかしながら、各ニューラルネットワーク（７、８）の種類は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、各ニューラルネットワーク（７、８）は、入力層及び中間層を畳み込み層及びプーリング層として利用する畳み込みニューラルネットワークであってもよい。また、例えば、各ニューラルネットワーク（７、８）は、中間層から入力層等のように出力側から入力側に再帰する結合を有する再帰型ニューラルネットワークであってもよい。なお、各ニューラルネットワーク（７、８）の層数、各層におけるニューロンの個数、ニューロン同士の結合関係、及び各ニューロンの伝達関数は、実施の形態に応じて適宜決定されてよい。
【０１３４】
＜４．２＞
また、上記実施形態では、被写体６の属性を解析する画像処理装置１と学習器（ニューラルネットワーク）の学習を行う学習装置２とは別々のコンピュータで構成されている。しかしながら、画像処理装置１及び学習装置２の構成はこのような例に限定されなくてもよく、画像処理装置１及び学習装置２の両方の機能を有するシステムを１台又は複数台のコンピュータで実現してもよい。
【０１３５】
＜４．３＞
また、上記実施形態では、学習器は、ニューラルネットワークにより構成されている。しかしながら、学習器の種類は、各撮像素子３２から得られた複数の撮像画像１２３を入力として利用可能であれば、ニューラルネットワークに限られなくてもよく、実施の形態に応じて適宜選択されてよい。複数の撮像画像１２３を入力可能な学習器として、例えば、上記ニューラルネットワークの他、サポートベクターマシン、自己組織化マップ、又は強化学習により学習を行う学習器によって構成された学習器を挙げることができる。
【０１３６】
＜４．４＞
また、例えば、上記実施形態では、レンズアレイ３１は、３×３個のレンズ３１１を備え、これに対応して、光学センサ３は、３×３個の撮像素子３２を備えている。しかしながら、レンズアレイ３１の備えるレンズ３１１の個数及び撮像素子３２の個数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。加えて、レンズ３１１と撮像素子３２とは１対１で対応していなくてもよい。
【０１３７】
また、例えば、上記実施形態では、各撮像素子３２は、５×５個の受光素子３２１を備えることで、５×５の画素数の撮像画像を形成可能に構成されている。しかしながら、各撮像素子３２の形成する撮像画像の画素数、すなわち、撮像素子３２の備える受光素子３２１の数は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。加えて、各撮像素子３２の画素数は異なっていてもよい。
【０１３８】
＜４．５＞
また、例えば、上記実施形態では、被写体からの光をそれぞれ集光する複数の集光部を有する光学部材の一例として、レンズアレイを利用した。しかしながら、光学部材の種類は、レンズアレイに限定されなくてもよく、実施の形態に応じて適宜選択されてよい。光学部材は、例えば、レンズアレイの他、回折格子、拡散レンズ、及びホログラムレンズの少なくともいずれかを含んでよく、また、レンズ状でなくとも、透過する光を不規則に撮像素子に対して入光させる光学部材、例えば、すりガラス状の板を用いてもよい。ここで、例えば、回折格子、拡散レンズ、ホログラムレンズの場合にはそれぞれ、１つの撮像素子に対して光を入光させる部分が集光部となる。すなわち、回折格子、拡散レンズ、ホログラムレンズはそれぞれ平板状に形成されていることが一般的であるが、このような平板状の光学部材には、当該光学部材を通して光を受光する各撮像素子に対応して、複数の集光部が存在することになる。なお、各撮像素子に対応して設けられる各集光部の集光角度、屈折率、透過する光の帯域等の光学特性は、一致していなくてもよい。
【０１３９】
＜４．６＞
また、例えば、上記実施形態では、各撮像素子３２は、イメージセンサにより構成されている。しかしながら、各撮像素子３２の構成は、このような例に限定されなくてもよい。例えば、各撮像素子３２は、一般的な撮像装置（カメラ）により構成されてもよい。この場合、各撮像装置のレンズが本発明の「集光部」に相当する。
【０１４０】
＜４．７＞
また、例えば、上記ステップＳ１０３において、制御部１１は、ニューラルネットワーク７の出力に基づいて被写体６を描画した画像を作成し、作成した画像を属性情報として出力してもよい。この場合、学習時の属性情報２２４（教師データ）には、レンズアレイを備えない一般的なカメラにより撮像された撮像画像を用いることができる。すなわち、上記ステップＳ２０１では、光学センサ３とほぼ同じ位置に一般的なカメラを配置する。そして、光学センサ３によって被写体６を撮像する際に、そのカメラによっても被写体６を撮像する。これによりカメラから得られる撮像画像を属性情報２２４として、光学センサ３により得られた複数の撮像画像２２３に紐付けることで、学習データ２２２を作成することができる。ニューラルネットワーク７の出力に基づいて描画される画像には、被写体６が備える特徴のうちいくつかの特徴が欠落した状態で被写体６の像が映り得る。例えば、被写体６を人間とした場合には、顔の詳細を欠落した状態で当該人間の映る画像を得ることができる。これにより、プライバシーに配慮した出力とすることができる。
【０１４１】
＜４．８＞
また、例えば、上記実施形態では、光学センサ３は、設定データ３４１に基づいて、撮像画像の形成に使用する受光素子の設定をソフトウェア上で制御している。しかしながら、撮像画像の形成に使用する受光素子の設定を制御する方法は、このような例に限定されなくてもよい。例えば、撮像画像の形成に使用する受光素子の設定は、ハードウェア上で制御されてもよい。
【０１４２】
図１０は、本変形例に係る光学センサ３Ａの構成を模式的に例示する。光学センサ３Ａは、レンズアレイ３１と各撮像素子３２との間に遮蔽部材３５を備える点を除き、上記実施形態に係る光学センサ３と同じ構成を有している。遮蔽部材３５は、例えば、光を遮蔽可能な板状の材料で形成されており、アクティブな受光素子に被写体６からの光が到達可能なように、当該アクティブな受光素子に対応する位置に貫通孔３５１を備えている。これにより、遮蔽部材３５は、撮像画像の形成に使用する受光素子３２１への光を遮蔽せず、撮像画像の形成に使用しない受光素子３２１への光を遮蔽するように構成されている。このように、被写体６からの光の到達範囲を遮蔽部材３５により制御することで、撮像画像の形成に使用する受光素子の設定がなされてもよい。これにより、使用する受光素子を学習用途に応じて取捨選択することによる、被写体の属性に応じた適切な識別処理が可能になる。さらに、隣接する受光素子の間で生じるクロストーク（隣接する受光素子間での電子の移動）を低減させることができる。すなわち、遮蔽部材３５の存在により、光子はアクティブでない受光素子に侵入しない。したがって、受光素子で生成された電子が隣接する受光素子へと拡散することで生じる解像度への悪影響を防止することができる。
【０１４３】
＜４．９＞
また、例えば、上記実施形態に係る光学センサ３は、レンズアレイ３１の他に、レンズを備えていない。しかしながら、光学センサ３の構成は、このような例に限定されなくてもよく、光学センサ３は、複数のレンズを備えてもよい。
【０１４４】
図１１は、本変形例に係る光学センサ３Ｂの構成を模式的に例示する。光学センサ３Ｂは、集光レンズ３６を備える点を除き、上記実施形態に係る光学センサ３と同じ構成を有している。集光レンズ３６は、レンズアレイ３１より被写体６側に配置され、被写体６からの光を集光する。この集光レンズ３６は、モータ（不図示）等により、入射する光の光軸方向に適宜変動可能に構成されてよい。これにより、撮像範囲を拡大したり縮小したりすることができる。
【０１４５】
＜４．１０＞
また、例えば、上記実施形態では、設定データ３４１は、光学センサ３に保持されている。しかしながら、設定データ３４１の格納場所は、このような例に限定されなくてもよい。例えば、設定データ３４１は、画像処理装置１、ＮＡＳ（Network Attached Storage）等に格納されていてもよい。
【０１４６】
図１２は、本変形例に係る画像処理装置１Ｃの構成を模式的に例示する。画像処理装置１Ｃは、設定データ３４１を記憶部１２に格納している点を除き、上記実施形態に係る画像処理装置１と同じ構成を有している。画像処理装置１Ｃは、例えば、学習結果データ１２２と共に、当該学習結果データ１２２に対応付けられた設定データ３４１を学習装置２から取得する。
【０１４７】
この場合、制御部１１は、例えば、設定データ３４１に基づいて、外部インタフェース１６を介して接続される光学センサ３を制御して、アクティブな受光素子による撮像画像の形成を行ってもよい。また、例えば、制御部１１は、各撮像素子３２から全ての受光素子３２１の信号を受け取ることで、５×５の画素で構成される撮像画像を形成してもよい。そして、制御部１１は、設定データ３４１に従って、各撮像素子３２により得られた各撮像画像を構成する５×５の画素からニューラルネットワーク７に入力する画素を選択してもよい。この選択結果により、撮像画像の形成に使用する受光素子の設定が適用された撮像画像１２３が取得される。当該構成によれば、上記実施形態と同様に、撮像画像の形成に使用する受光素子の設定をソフトウェア上で制御することができる。
【０１４８】
＜４．１１＞
また、例えば、上記画像処理装置１は、１件の学習結果データ１２２を保持することで、１つの学習器（ニューラルネットワーク）を有している。しかしながら、画像処理装置１の保持する学習結果データ１２２の件数は、このような例に限定されなくてもよく、画像処理装置１は、複数件の学習結果データ１２２を保持してもよい。
【０１４９】
図１３は、本変形例に係る画像処理装置１Ｄの構成を模式的に例示する。画像処理装置１Ｄは、複数件の学習結果データ１２２及び複数件の設定データ３４１を記憶部１２に格納している点を除き、上記実施形態に係る画像処理装置１と同じ構成を有している。画像処理装置１Ｄは、利用者による入力装置１４の操作に応じて、各件の学習結果データ１２２及び各件の設定データ３４１を、ネットワーク１０を介して学習装置２から取得してもよいし、ドライブ１７を介して記憶媒体９１から取得してもよい。また、画像処理装置１Ｄは、学習装置２からの配信を受け付けることで、各件の学習結果データ１２２及び各件の設定データ３４１を取得してもよい。更に、各件の学習結果データ１２２及び各件の設定データ３４１はＮＡＳ等のその他の情報処理装置（記憶装置）に格納されていてもよく、画像処理装置１Ｄは、当該その他の情報処理装置にアクセスすることで、各件の学習結果データ１２２及び各件の設定データ３４１を取得してもよい。
【０１５０】
この場合、画像処理装置１Ｄは、利用者の指定、被写体６の種類、被写体６の解析対象に指定される属性等に応じて、利用するニューラルネットワーク７を切り替えることができる。なお、利用するニューラルネットワーク７を切り替えたとき、画像処理装置１Ｄは、利用するニューラルネットワーク７を示す学習結果データ１２２に対応付けられた設定データ３４１に基づいて、撮像画像の形成に使用する受光素子の設定を行う。
【０１５１】
＜４．１２＞
また、上記実施形態では、光学センサ３は、撮像画像の形成に使用する受光素子の設定が全ての撮像素子３２でなされるように構成されている。しかしながら、光学センサ３の構成は、このような例に限られなくてもよい。上記光学センサ３は、撮像画像の形成に使用する受光素子の設定がなされない１又は複数の他の撮像素子を含んでもよい。
【０１５２】
図１４は、本変形例に係る光学センサ３Ｅの構成の一例を模式的に例示する。図１４の例では、光学センサ３Ｅは、使用する受光素子の設定がなされる複数の撮像素子３２と、使用する受光素子の設定がなされない撮像素子３２Ｅと、を含んでいる。以下では、説明の便宜上、使用する受光素子の設定がなされる撮像素子３２を「第１撮像素子３２」と称し、使用する受光素子の設定がなされない撮像素子３２Ｅを「第２撮像素子３２Ｅ」と称する。
【０１５３】
使用する受光素子の設定がなされない第２撮像素子３２Ｅでは、全ての受光素子を用いて撮像画像の形成が行われる。これにより、光学センサ３Ｅの備える複数の撮像素子のうちの一部で、使用する受光素子の設定がなされるようにすることができる。なお、第１撮像素子３２と第２撮像素子３２Ｅとの位置関係は、図１４の例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。また、第２撮像素子３２Ｅの数は、実施の形態に応じて適宜選択されてよく、１つであってもよいし、２つ以上であってもよい。一方、無駄な情報を削減する観点から、第１撮像素子３２の数は、２つ以上であるのが好ましい。
【符号の説明】
【０１５４】
１…画像処理装置（情報処理装置）、１００…画像処理システム、
１１…制御部、１２…記憶部、１３…通信インタフェース、
１４…入力装置、１５…出力装置、１６…外部インタフェース、
１７…ドライブ、
１１１…画像取得部、１１２…属性取得部、
１２１…画像処理プログラム、１２２…学習結果データ、
１２３…撮像画像、
２…学習装置、
２１…制御部、２２…記憶部、２３…通信インタフェース、
２４…入力装置、２５…出力装置、２６…外部インタフェース、
２７…ドライブ、
２１１…学習画像取得部、２１２…学習処理部、
２２１…学習プログラム、２２２…学習データ、
２２３…撮像画像、２２４…属性情報、
３…光学センサ、
３１…レンズアレイ（光学部材）、
３１１…レンズ（集光部）、３２…撮像素子、３２１…受光素子、
６…被写体、
７…ニューラルネットワーク、
７１…入力層、７２…中間層（隠れ層）、７３…出力層、
８…ニューラルネットワーク、
８１…入力層、８２…中間層（隠れ層）、８３…出力層、
９１・９２…記憶媒体
【図１】
2018136767.tif 000003
【図２】
2018136767.tif 000004
【図３Ａ】
2018136767.tif 000005
【図３Ｂ】
2018136767.tif 000006
【図４Ａ】
2018136767.tif 000007
【図４Ｂ】
2018136767.tif 000008
【図４Ｃ】
2018136767.tif 000009
【図４Ｄ】
2018136767.tif 000010
【図４Ｅ】
2018136767.tif 000011
【図４Ｆ】
2018136767.tif 000012
【図４Ｇ】
2018136767.tif 000013
【図４Ｈ】
2018136767.tif 000014
【図４Ｉ】
2018136767.tif 000015
【図５】
2018136767.tif 000016
【図６】
2018136767.tif 000017
【図７】
2018136767.tif 000018
【図８】
2018136767.tif 000019
【図９】
2018136767.tif 000020
【図１０】
2018136767.tif 000021
【図１１】
2018136767.tif 000022
【図１２】
2018136767.tif 000023
【図１３】
2018136767.tif 000024
【図１４】
2018136767.tif 000025