(57)【要約】光の性質から得られる特徴を用いた認識処理の最適化を行うことができるフィルタ学習装置を提供することを目的とする。本開示にかかるフィルタ学習装置（１０）は、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ部（１１）と、フィルタ画像に関する画像解析処理を実行した結果を用いてフィルタパラメータを更新するパラメータ更新部（１２）と、更新されたフィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング部（１３）と、を備える。
2020161812.tif 000002
【特許請求の範囲】
【請求項１】
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ手段と、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新するパラメータ更新手段と、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング手段と、を備えるフィルタ学習装置。
【請求項２】
前記光学フィルタ手段は、
前記フィルタパラメータを用いて前記物理光学フィルタである光学波長フィルタを模擬する、請求項１に記載のフィルタ学習装置。
【請求項３】
前記光学フィルタ手段は、
前記フィルタパラメータを用いて前記物理光学フィルタである偏光フィルタを模擬する、請求項１に記載のフィルタ学習装置。
【請求項４】
演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行する推定手段をさらに備え、
前記パラメータ更新手段は、
前記フィルタパラメータ及び前記演算パラメータを更新する、請求項１乃至３のいずれか１項に記載のフィルタ学習装置。
【請求項５】
前記パラメータ更新手段は、
前記光学フィルタ手段における前記光学波長フィルタを模擬することを制約条件として最適化されることを特徴とする、請求項２に記載のフィルタ学習装置。
【請求項６】
前記学習用画像は、
ハイパースペクトルカメラを用いて撮像された画像である、請求項１乃至５のいずれか１項に記載のフィルタ学習装置。
【請求項７】
前記学習用画像は、
光学シミュレーションを実行することによって得られる画像である、請求項１乃至５のいずれか１項に記載のフィルタ学習装置。
【請求項８】
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う、フィルタ学習方法。
【請求項９】
前記フィルタ画像を抽出した後に、演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行し、
画像解析処理を実行した結果を用いて、前記フィルタパラメータ及び前記演算パラメータを更新する、請求項８に記載のフィルタ学習方法。
【請求項１０】
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、フィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体に関する。
【背景技術】
【０００２】
畳み込みニューラルネットワークを始めとする現在のディープラーニング技術は、画像認識、物体検知、セグメンテーション、異常検知など様々なアプリケーションに応用されている。【０００３】
現在のディープラーニングの技術は、主にＲＧＢのフィルタを持つカメラにおいて得られた画像の認識処理の最適化に用いられている。特許文献１には、入力画像にフィルタリング処理を施し、フィルタリング処理の結果として特徴量を検出する認識装置の構成が開示されている。特許文献１の認識装置は、検出された特徴量と判別機とを用いてスコア演算を実行し、スコア演算の結果に基づいて入力画像から人を検出する。特許文献１におけるフィルタリング処理は、畳み込みフィルタを用いて実行される。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】特開２０１０−２６６９８３
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に開示されている認識装置において実行されるフィルタリング処理は、畳み込みフィルタを用いる。そのため、特許文献１においては、主に、イメージセンサ等から出力された画像データに関するフィルタリング処理が実行される。そのため、特許文献１に開示されている認識装置は、認識対象が有する波長の反射特性等の光の性質から得られる特徴を用いた認識処理の最適化に用いることができないという問題がある。【０００６】
本開示の目的は、光の性質から得られる特徴を用いた認識処理の最適化を行うことができるフィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体を提供することにある。
【課題を解決するための手段】
【０００７】
本開示の第１の態様にかかるフィルタ学習装置は、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ部と、前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新するパラメータ更新部と、更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング部と、を備える。【０００８】
本開示の第２の態様にかかるフィルタ学習方法は、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う。【０００９】
本開示の第３の態様にかかるプログラムは、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うことをコンピュータに実行させる。
【発明の効果】
【００１０】
本開示により、光の性質から得られる特徴を用いた認識処理の最適化を行うことができるフィルタ学習装置、フィルタ学習方法、及び非一時的なコンピュータ可読媒体を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】実施の形態１にかかるフィルタ学習装置の構成図である。
【図２】実施の形態２にかかるフィルタ学習装置の構成図である。
【図３】実施の形態２にかかる学習処理の流れを示す図である。
【図４】実施の形態２にかかる推定処理の流れを示す図である。
【図５】実施の形態２の変形例にかかるフィルタ学習装置の構成図である。
【図６】実施の形態２の変形例にかかるフィルタ学習装置の構成図である。
【図７】実施の形態２の変形例にかかるフィルタ学習装置の構成図である。
【図８】それぞれの実施の形態にかかるフィルタ学習装置の構成図である。
【発明を実施するための形態】
【００１２】
（実施の形態１）
以下、図面を参照して本発明の実施の形態について説明する。図１を用いてフィルタ学習装置１０の構成例について説明する。フィルタ学習装置１０は、プロセッサがメモリに格納されたプログラムを実行することによって動作するコンピュータ装置であってもよい。フィルタ学習装置１０は、例えば、画像認識，物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、もしくは３次元画像生成等に用いられてもよい。
【００１３】
フィルタ学習装置１０は、光学フィルタ部１１、パラメータ更新部１２、及びセンシング部１３を有している。光学フィルタ部１１、パラメータ更新部１２、及びセンシング部１３等のフィルタ学習装置１０の構成要素は、プロセッサがメモリに格納されたプログラムを実行することによって処理が実行されるソフトウェアもしくはモジュールであってもよい。または、パラメータ更新部１２及びセンシング部１３は、回路もしくはチップ等のハードウェアであってもよい。
【００１４】
光学フィルタ部１１は、フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する。光学フィルタ部１１は、例えば、ソフトウェアを用いて物理的な光学フィルタの動作をシミュレーションするフィルタである。光学フィルタ部１１は、例えば、ソフトウェアフィルタと称されてもよい。物理的な光学フィルタは、物理光学フィルタもしくはハードウェア光学フィルタ等と称されてもよい。フィルタ条件は、例えば、特定の偏光方向の光をカットする、もしくは、特定の偏光方向の光を透過させることであってもよい。もしくは、フィルタ条件は、特定の波長の光をカットする、もしくは、特定の波長の光を透過させることであってもよい。
【００１５】
フィルタパラメータは、フィルタ条件に応じて変更されるパラメータである。例えば、バンドパスフィルタを考えた場合、フィルタパラメータは透過させる波長の範囲の中心を示す波長、さらに、透過させる波長の範囲の広がりを示す標準偏差等であってもよい。長波長カットフィルタや短波長カットフィルタを考えた場合、フィルタパラメータはカットオフ波長と減衰幅に自由度を持つ形状の関数が最適化されてもよい。例えばガウス分布を積分した形や波長方向に自由度を持ったシグモイド関数などがこれにあたる。偏光フィルタを考えた場合、フィルタパラメータは、透過させる偏光方向を指定するパラメータであってもよい。さらには、実測したフィルタ透過率の波長依存性を横軸とし、これがフィルタ数だけ縦軸に並んだ行列をつくり、最適化時にはこの行列におけるパラメータは固定としてこの行列の中からひとつまたは複数のフィルタを選択する、としてもよい。
【００１６】
学習用画像は、実際に存在する物体、人物、もしくは風景等を、カメラを用いて撮影された画像であってもよく、コンピュータを用いたシミュレーションを実行することによって生成された画像であってもよい。つまり、フィルタ学習装置１０が画像認識に用いられる場合、学習用画像は、認識対象の画像とは異なる画像であってもよい。
【００１７】
フィルタ画像は、光学フィルタ部１１におけるフィルタ条件を満たす画像である。具体的には、フィルタ画像は、光学フィルタ部１１を透過した光を用いて撮像された画像であってもよい。
【００１８】
パラメータ更新部１２は、フィルタ画像に関する画像解析処理を実行した結果を用いて、フィルタパラメータを更新する。画像解析処理として、フィルタ画像を入力として、ニューラルネットワークを用いたディープラーニングが行われてもよい。もしくは、画像解析処理として、関数を用いない直接認識、もしくは、人工的に設計されたＨＯＧ特徴等を用いた画像処理が行われてもよい。
【００１９】
フィルタパラメータを更新するとは、画像解析処理を実行した結果をフィルタパラメータにフィードバックすると言い換えられてもよい。フィルタパラメータを更新することによって、画像解析処理の精度を向上させることができる。
【００２０】
センシング部１３は、更新されたフィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う。物理光学フィルタは、フィルタパラメータが更新された光学フィルタ部１１と実質的に同様のフィルタ条件を満たす。実質的に同様のフィルタ条件は、後の認識処理に及ぼす影響を無視することができる程度の誤差を含むことであってもよい。つまり、物理光学フィルタにおけるフィルタ条件は、光学フィルタ部１１におけるフィルタ条件と比較して、透過させる波長の範囲の中心を示す波長、さらに、透過させる波長の範囲の広がりを示す標準偏差等が、誤差の範囲内においてずれる場合がある。また、物理光学フィルタにおけるフィルタ条件は、光学フィルタ部１１におけるフィルタ条件と比較して、透過させる偏光方向が、誤差の範囲内においてずれる場合がある。
【００２１】
入力画像は、カメラ等を用いて認識対象を撮像した画像である。例えば、センシング部１３において、物理光学フィルタを用いてフィルタ処理もしくはフィルタリングされたフィルタ画像を用いて画像解析処理が実行されてもよい。センシングとは、例えば、フィルタ処理を実行し、画像認識処理に用いられる画像を生成することであってもよい。
【００２２】
以上説明したように、実施の形態１にかかるフィルタ学習装置１０は、パラメータ更新部１２を用いて、フィルタパラメータを変更することによって、光学フィルタ部１１を最適化することができる。つまり、フィルタ学習装置１０は、所望の画像解析処理を実行することができるように、光学フィルタ部１１を最適化することができる。さらに、フィルタ学習装置１０において用いられる物理光学フィルタは、光学フィルタ部１１と同様のフィルタ条件を満たすことができる。つまり、フィルタ学習装置１０に用いられる物理光学フィルタとして、光学フィルタ部１１と同様のフィルタ条件を満たす物理光学フィルタを選択することができる。
【００２３】
これより、フィルタ学習装置１０は、最適化された光学フィルタ部１１と同様のフィルタ条件を有する物理光学フィルタを用いて、認識対象が有する光の性質から得られる特徴を用いた認識処理を実行することができる。
【００２４】
（実施の形態２）
続いて、図２を用いて実施の形態２にかかるフィルタ学習装置１００の構成例について説明する。実施の形態２においては、フィルタ学習装置１００を、画像認識を実行する装置として説明する。フィルタ学習装置１００は、画像取得部２１、学習部３０、センシング部４０、及び推定部５０を有している。
【００２５】
画像取得部２１は、例えば、ハイパースペクトルカメラであってもよい。ハイパースペクトルカメラは、縦、横、及びスペクトルチャネルの情報を有する画像をセンシングする。スペクトルチャネルは、波長毎のスペクトル情報と言い換えられてもよい。ハイパースペクトルカメラを用いた場合、複数の波長毎のスペクトル情報を取得することができる。画像取得部２１は、ハイパースペクトルカメラを用いて取得した画像（以下、ハイパースペクトル画像とする）を学習部３０へ出力する。また、ハイパースペクトル画像は、波長ごとの輝度を示す輝度画像と称されてもよい。
【００２６】
学習部３０は、画像入力部３１、光学フィルタ部３２、推定演算部３３、結果出力部３４、及びパラメータ更新部３５を有している。
【００２７】
画像入力部３１は、画像取得部２１からハイパースペクトル画像を受け取る。さらに、画像入力部３１は、受け取ったハイパースペクトル画像を光学フィルタ部３２へ出力する。光学フィルタ部３２は、ソフトウェアを用いて物理的な光学波長フィルタの動作をシミュレーションする。言い換えると、光学フィルタ部３２は、ハードウェアの光学波長フィルタを模擬する。光学フィルタ部３２は、ハイパースペクトル画像に、シミュレーションされた光学波長フィルタの処理を適用する。
【００２８】
光学フィルタ部３２は、特定の波長の光のみを透過するフィルタを有する。さらに、光学フィルタ部３２は、特定の波長の周辺の波長の光を透過するフィルタを有してもよい。また、光学フィルタ部３２は、特定の波長以上の波長の光を透過するフィルタを有してもよい。また、光学フィルタ部３２は、特定の波長以下の波長の光を透過するフィルタを有してもよい。さらに、光学フィルタ部３２は、図１の光学フィルタ部１１に相当する。光学フィルタ部３２は、１つの光学波長フィルタを模擬してもよく、２つ以上の光学波長フィルタを模擬してもよい。光学フィルタ部３２が模擬する光学波長フィルタの透過率は、特定の波長を中心とするガウス分布に従ってもよい。ガウス分布に従うフィルタは、ガウスフィルタと称されてもよい。もしくは、光学フィルタ部３２の透過率は、物理光学波長フィルタである、光学波長フィルタ４１の各波長における透過率の分布が用いられてもよい。言い換えると、光学フィルタ部３２の透過率として、光学波長フィルタ４１として用いられる可能性のある複数の物理光学波長フィルタの透過率が模擬されてもよい。
【００２９】
光学フィルタ部３２は、ハイパースペクトル画像を受け取り、特定の波長の光を透過させる。さらに、光学フィルタ部３２は、透過した波長の光によって撮像されたフィルタ画像を推定演算部３３へ出力する。
【００３０】
光学フィルタ部３２が出力するフィルタ画像は、例えば、縦、横、フィルタ数の３つの次元をもつ。具体的には、Ｙを光学フィルタ部３２の出力、Ｘを光学フィルタ部３２の入力、Ｗをフィルタとすると、Ｙ＝ＸＷ（式１）と表すことができる。Ｗは横軸がスペクトルチャンネル、縦軸がフィルタ数の行列となる。ハイパースペクトル画像は、複数の波長情報を含み、光学フィルタ部３２は、ハイパースペクトル画像から、所望の波長に関する情報を抽出する。言い換えると、光学フィルタ部３２は、複数の波長の光から、特定の波長の光を抽出する。ハイパースペクトル画像に含まれる複数の波長は、光学フィルタ部３２において抽出される波長と比較して十分に多い数とする。
【００３１】
推定演算部３３は、演算パラメータに応じて決定される学習モデルを用いて、光学フィルタ部３２から出力されたフィルタ画像に関する画像解析処理を行う。学習モデルは、演算パラメータが更新されることによって、所望の演算結果を得られるように精度が向上する。推定演算部３３は、例えば、光学フィルタ部３２から出力されたフィルタ画像を入力として畳み込みニューラルネットワークを用いた演算を実行する。推定演算部３３は、演算結果を結果出力部３４へ出力する。推定演算部３３において実行される畳み込みニューラルネットワークは、様々な構造を有してもよい。例えば、例えば、推定演算部３３には、ＶＧＧもしくはＲｅｓｎｅｔが用いられてもよい。もしくは、推定演算部３３には、学習済みのニューラルネットワークが用いられてもよい。
【００３２】
結果出力部３４は、推定結果を生成し、生成した推定結果をパラメータ更新部３５へ出力する。例えば、結果出力部３４は、赤色を認識する物体認識を実行する。具体的には、光学フィルタ部３２が出力したフィルタ画像が赤色である場合、１に近い値を出力し、それ以外の色である場合、０に近い値となるようにシグモイド関数の出力を出力する。
【００３３】
パラメータ更新部３５は、結果出力部３４から受け取った推定結果を用いて、光学フィルタ部３２において用いられるフィルタパラメータ及び推定演算部３３において用いられるニューラルネットワークのパラメータを最適化する。パラメータ更新部３５は、図１のパラメータ更新部１２に相当する。パラメータ更新部３５は、例えば、赤色を認識する物体認識の精度を向上させるために、結果出力部３４から受け取った推定結果と予め保持しておいた正解データの比較結果である損失関数をフィードバック情報として各パラメータの勾配を計算する。パラメータ更新部３５は、計算した結果を用いて、フィルタパラメータ及びニューラルネットワークのパラメータを最適化する。正解データは例えば、赤色を認識する物体認識の場合、赤色を示す正解データ１、それ以外の色を示す正解データ０の数値である。入力データと正解データのペアは、例えば、機械学習において用いられる訓練データと称されてもよい。フィルタパラメータは、例えば、透過率の分布における中心波長及び標準偏差を示すパラメータであってもよい。つまり、フィルタパラメータは、透過領域を示す波長の情報であってもよい。ニューラルネットワークのパラメータは、例えば、重み情報もしくはバイアス情報等、もしくはこれらの組み合わせの情報であってもよい。
【００３４】
また、パラメータ更新部３５は、光学フィルタ部３２及び推定演算部３３を用いて構成されるニューラルネットワークを最適化すると言い換えられてもよい。この場合、光学フィルタ部３２が、式１におけるスペクトルチャネル、つまり波長透過率が現実に存在する光学フィルタ特性に近づくように最適化されることを制約条件として、パラメータ更新部３５は、全体のニューラルネットワークを最適化する。ここで、パラメータ更新部３５は、光学フィルタ部３２及び推定演算部３３を最適化する。そのため、光学フィルタ部３２の最適化が行われない一般的な画像認識に用いられるニューラルネットワークのパラメータとは異なるように、推定演算部３３におけるニューラルネットワークのパラメータの最適化が行われる。
【００３５】
センシング部４０は、光学波長フィルタ４１及び画像取得部４２を有している。センシング部４０は、図１のセンシング部１３に相当する。センシング部４０は、カメラ等を用いて認識対象の物体もしくは風景等を撮影した入力画像に、光学波長フィルタ４１を適用する。入力画像を生成するカメラは、ハイパースペクトルカメラに制限されない。光学波長フィルタ４１は、学習部３０において最適化された光学フィルタ部３２に最も近い特性を有する光学波長フィルタを適用する。最も近い特性とは、光学波長フィルタ４１と光学フィルタ部３２とが、実質的に同様のフィルタ条件を有することであってもよい。具体的には、最も近い特性とは、光学フィルタ部３２における透過する波長の中心波長及び標準偏差と、光学波長フィルタ４１における透過する波長の中心波長及び標準偏差との差が予め定められた値以内であってもよい。つまり、光学フィルタ部３２における透過率の分布と光学波長フィルタ４１における透過率の分布との差が予め定められた値以内であってもよい。また、光学フィルタ部３２が、光学波長フィルタ４１として用いられる物理光学波長フィルタのフィルタ条件と同一のフィルタ条件となるように模擬されている場合、光学波長フィルタ４１と光学フィルタ部３２とは、同一のフィルタ条件を有する。光学波長フィルタ４１は、透過した波長の光によって撮像されたフィルタ画像を画像取得部４２へ出力する。
【００３６】
光学波長フィルタ４１は、単純な波長フィルタであってもよく、複数の色を透過できる波長フィルタであってもよい。さらに、光学波長フィルタ４１が透過する光は、可視光に制限されず、イメージセンサが感度を有する近紫外線領域もしくは近赤外線領域の光を透過するフィルタであってもよい。また、光学波長フィルタ４１は、イメージセンサに直接埋め込まれるカラーフィルタであってもよい。この場合、イメージセンサの設計時に物体認識もしくは物体検知等の応用先が予め定まっている場合、学習部３０を用いて最適化を行った結果に基づいて光学波長フィルタ４１を選択することによってセンサ設計が行われてもよい。
【００３７】
画像取得部４２は、光学波長フィルタを有さないイメージセンサであってもよい。例えば、画像取得部４２は、４００ｎｍ〜１０００ｎｍに感度を持つシリコンのイメージセンサであってもよい。イメージセンサに光学波長フィルタを直接埋め込む場合、光学波長フィルタ４１及び画像取得部４２は、一体型のイメージセンサを構成してもよい。イメージセンサは、例えば、赤外に感度を持つガリウムヒ素であってもよい。
【００３８】
推定部５０は、画像入力部５１、推定演算部５２、及び結果出力部５３を有している。画像入力部５１は、画像取得部４２においてセンシングされた画像を受け取る。画像取得部４２は、受け取った画像を推定演算部５２へ出力する。
【００３９】
推定演算部５２は、学習部３０において最適化された推定演算部３３のパラメータを用いた演算を行う。推定演算部５２は、演算結果を結果出力部５３へ出力する。
【００４０】
推定演算部５２は、光学波長フィルタ４１も含めて画像認識処理のために最適化されている。ここで、推定演算部５２において実行される推定処理もしくは認識処理について説明する。例えば、赤い物体の認識には、一般的には、グレー画像を用いるよりもＲＧＢ画像を用いたほうが、情報量が多くなり推定精度が向上する。一方、光学波長フィルタ４１及び推定演算部５２は、赤い物体の認識を行うためにそれぞれのパラメータが最適化されている。そのため、推定演算部５２は、赤い物体を最も認識しやすい波長領域の画像をグレー画像として受け取る。この場合、推定演算部５２は、赤い物体を認識するために最適化された光学波長フィルタ４１を透過していない光から生成されたグレー画像を用いる場合よりも、推定精度を向上させることができる。光学波長フィルタ４１は、赤だけではなく、赤外線等にも拡張することができる。この場合、推定演算部５２も、ＲＧＢ画像を入力として用いるニューラルネットワークとは異なるパラメータに最適化される。なお、推定演算部５２は、光学波長フィルタ４１と画像取得部４２で得られた画像を用いてファインチューニングされてもよい。
【００４１】
結果出力部５３は、結果出力部３４と同様に推定した結果を出力する。具体的には、光学波長フィルタ４１が出力したフィルタ画像が赤色である場合、１を出力し、それ以外の色である場合、０を出力する。
【００４２】
図２のフィルタ学習装置１００は、特定の波長の光を透過させるために光学波長フィルタ４１を用いているが、特定の偏光方向の光を透過させる場合、偏光フィルタが用いられてもよい。この場合、入力画像は、変更カメラを用いて撮像されてもよい。
【００４３】
続いて、図３を用いて実施の形態２にかかる学習部３０において実行される学習処理の流れについて説明する。はじめに、画像取得部２１は、学習用画像を取得する（Ｓ１１）。例えば、画像取得部２１は、ハイパースペクトルカメラを用いて学習用画像としてハイパースペクトル画像を取得する。
【００４４】
次に、光学フィルタ部３２は、予め定められたフィルタパラメータに基づいて定まるフィルタ条件を学習用画像に適用し、学習用画像のフィルタリングを行う（Ｓ１２）。例えば、光学フィルタ部３２は、特定の波長及びその周辺の波長の光を透過させる。
【００４５】
次に、推定演算部３３は、光学フィルタ部３２を透過した光を用いて撮像されたフィルタ画像を用いた演算を行う（Ｓ１３）。例えば、推定演算部３３は、畳み込みニューラルネットワークを用いた演算を行う。
【００４６】
次に、パラメータ更新部３５は、推定演算部３３における演算結果が赤色を示すか否かの推定結果と正解データを用いて、光学フィルタ部３２におけるフィルタパラメータを更新する（Ｓ１４）。さらに、パラメータ更新部３５は、推定結果と正解データとを用いて、推定演算部３３におけるパラメータも更新する。
【００４７】
学習部３０は、ステップＳ１１〜Ｓ１４の処理を繰り返し、光学フィルタ部３２及び推定演算部３３におけるパラメータを更新することによって、学習用画像に関する推定精度を向上させる。
【００４８】
続いて、図４を用いてセンシング部４０及び推定部５０における推定処理の流れについて説明する。推定処理は、認識処理と言い換えられてもよい。センシング部４０は、学習部３０においてフィルタパラメータが更新された光学フィルタ部３２と実質的に同様のフィルタ条件を有する光学波長フィルタ４１を用いているとする。また、推定部５０は、学習部３０の推定演算部３３において更新されたパラメータと同じパラメータを推定演算部５２に適用しているとする。
【００４９】
はじめに、光学波長フィルタ４１は、認識対象が撮像された入力画像のフィルタリングを行う（Ｓ２１）。光学波長フィルタ４１は、光学フィルタ部３２において適用されるフィルタ条件と同様のフィルタ条件を入力画像に適用する。さらに、センシング部４０は、フィルタ条件を満たし、透過した光を用いて撮像されたフィルタ画像を推定部５０へ出力する。
【００５０】
次に、推定演算部５２は、フィルタ画像を用いた推定処理を行う（Ｓ２２）。具体的には、推定演算部５２は、フィルタ画像に写る物体が赤色の物体か否かを推定する処理を行ってもよい。
【００５１】
以上説明したように、フィルタ学習装置１００の学習部３０は、光学フィルタ部３２のフィルタパラメータ及び推定演算部３３において用いられるニューラルネットワークのパラメータを最適化することができる。このように、ニューラルネットワークの最適化のみならず、フィルタパラメータの最適化を行うことによって、透過する光の波長も最適化することができる。
【００５２】
さらに、センシング部４０において用いられる光学波長フィルタ４１には、学習部３０において最適化された光学フィルタ部３２と同様の特性を有する光学波長フィルタを用いる。そのため、推定部５０は、認識対象を認識する際に最適化された光学波長フィルタを透過した光を用いて撮像された画像を用いて推定処理を行うことができる。その結果、推定部５０は、推定処理の精度を向上させることができる。
【００５３】
また、センシング部４０が受け取る画像は、ハイパースペクトル画像には限定されない。そのため、センシング部４０及び推定部５０が用いる画像の生成にハイパースペクトルカメラを用いる必要が無いため、推定処理のためにハイパースペクトルカメラを用いる場合と比較して安価な推定処理を行うことができる。
【００５４】
フィルタ学習装置１００は、光学フィルタ部３２を最適化することによって、認識対象の解析を行うために必要な波長の光を透過させることができる。これによって、フィルタ学習装置１００は、認識対象のもつ反射特性の波長によっては、皮膚の中の血管を可視化しやすい波長、植物を識別しやすい波長など、認識のための特徴を高精度に抽出できる
【００５５】
（実施の形態２の変形例）
図２において説明したフィルタ学習装置１００は、図５に示すように、画像取得部２１が省略されてもよい。つまり、フィルタ学習装置１００は、図５に示すようにハイパースペクトルカメラを有さない構成であってもよい。この場合、画像入力部３１は、コンピュータのハードディスク等の記憶媒体に保存されたハイパースペクトル画像のデータを光学フィルタ部３２へ出力してもよい。光学フィルタ部３２は、画像入力部３１から出力されたデータに、予め定められたフィルタ条件を適用する。
【００５６】
また、図６に示されるように、図５のフィルタ学習装置１００から、さらに、推定演算部３３及び推定演算部５２が省略されてもよい。もしくは、図２のフィルタ学習装置１００から、推定演算部３３及び推定演算部５２が省略されてもよい。この場合、パラメータ更新部３５は、光学フィルタ部３２のフィルタパラメータの更新を行い、光学フィルタ部３２を最適化する。光学波長フィルタ４１は、最適化された光学フィルタ部３２に基づいて選択される。また、図６のフィルタ学習装置１００においては、結果出力部３４及び結果出力部５３は、ニューラルネットワーク等の機械学習手法に限定されず、関数を用いない直接認識、もしくは、人工的に設計されたＨＯＧ特徴等を用いた画像処理が行われてもよい。
【００５７】
また、図７に示されるように、図２のフィルタ学習装置１００における画像取得部２１及び画像入力部３１の代わりに、フィルタ学習装置１００は、画像シミュレーション部３６を有してもよい。画像シミュレーション部３６は、光空間をシミュレート（光学シミュレーション）してハイパースペクトル画像を生成する。
【００５８】
図８は、フィルタ学習装置１０及びフィルタ学習装置１００（以下、フィルタ学習装置１０等とする）の構成例を示すブロック図である。図８を参照すると、フィルタ学習装置１０等は、ネットワーク・インターフェース１２０１、プロセッサ１２０２、及びメモリ１２０３を含む。ネットワーク・インターフェース１２０１は、通信システムを構成する他のネットワークノード装置と通信するために使用される。ネットワーク・インターフェース１２０１は、例えば、IEEE 802.3 seriesに準拠したネットワークインターフェースカード（NIC）を含んでもよい。もしくは、ネットワーク・インターフェース１２０１は、無線通信を行うために使用されてもよい。例えば、ネットワーク・インターフェース１２０１は、無線ＬＡＮ通信、もしくは３ＧＰＰ（3rd Generation Partnership Project）において規定されたモバイル通信を行うために使用されてもよい。
【００５９】
プロセッサ１２０２は、メモリ１２０３からソフトウェア（コンピュータプログラム）を読み出して実行することで、上述の実施形態においてフローチャートもしくはシーケンスを用いて説明されたフィルタ学習装置１０等の処理を行う。プロセッサ１２０２は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１２０２は、複数のプロセッサを含んでもよい。
【００６０】
メモリ１２０３は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１２０３は、プロセッサ１２０２から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１２０２は、図示されていないI/Oインタフェースを介してメモリ１２０３にアクセスしてもよい。
【００６１】
図８の例では、メモリ１２０３は、ソフトウェアモジュール群を格納するために使用される。プロセッサ１２０２は、これらのソフトウェアモジュール群をメモリ１２０３から読み出して実行することで、上述の実施形態において説明されたフィルタ学習装置１０等の処理を行うことができる。
【００６２】
図８を用いて説明したように、フィルタ学習装置１０等が有するプロセッサの各々は、図面を用いて説明されたアルゴリズムをコンピュータに行わせるための命令群を含む１又は複数のプログラムを実行する。
【００６３】
上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリを含む。磁気記録媒体は、例えばフレキシブルディスク、磁気テープ、ハードディスクドライブであってもよい。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）であってもよい。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
【００６４】
なお、本開示は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
【００６５】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ手段と、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新するパラメータ更新手段と、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング手段と、を備えるフィルタ学習装置。
（付記２）
前記光学フィルタ手段は、
前記フィルタパラメータを用いて前記物理光学フィルタである光学波長フィルタを模擬する、付記１に記載のフィルタ学習装置。
（付記３）
前記光学フィルタ手段は、
前記フィルタパラメータを用いて前記物理光学フィルタである偏光フィルタを模擬する、付記１に記載のフィルタ学習装置。
（付記４）
演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行する推定手段をさらに備え、
前記パラメータ更新手段は、
前記フィルタパラメータ及び前記演算パラメータを更新する、付記１乃至３のいずれか１項に記載のフィルタ学習装置。
（付記５）
前記パラメータ更新手段は、
前記光学フィルタ手段における前記光学波長フィルタを模擬することを制約条件として最適化されることを特徴とする、付記４に記載のフィルタ学習装置。
（付記６）
前記学習用画像は、
ハイパースペクトルカメラを用いて撮像された画像である、付記１乃至５のいずれか１項に記載のフィルタ学習装置。
（付記７）
前記学習用画像は、
光学シミュレーションを実行することによって得られる画像である、付記１乃至５のいずれか１項に記載のフィルタ学習装置。
（付記８）
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う、フィルタ学習方法。
（付記９）
前記フィルタ画像を抽出した後に、演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行し、
画像解析処理を実行した結果を用いて、前記フィルタパラメータ及び前記演算パラメータを更新する、付記７に記載のフィルタ学習方法。
（付記１０）
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うことをコンピュータに実行させるプログラムが格納された非一時的なコンピュータ可読媒体。
【符号の説明】
【００６６】
１０  フィルタ学習装置
１１  光学フィルタ部
１２  パラメータ更新部
１３  センシング部
２１  画像取得部
３０  学習部
３１  画像入力部
３２  光学フィルタ部
３３  推定演算部
３４  結果出力部
３５  パラメータ更新部
３６  画像シミュレーション部
４０  センシング部
４１  光学波長フィルタ
４２  画像取得部
５０  推定部
５１  画像入力部
５２  推定演算部
５３  結果出力部
１００  フィルタ学習装置
【図１】
2020161812.tif 000003
【図２】
2020161812.tif 000004
【図３】
2020161812.tif 000005
【図４】
2020161812.tif 000006
【図５】
2020161812.tif 000007
【図６】
2020161812.tif 000008
【図７】
2020161812.tif 000009
【図８】
2020161812.tif 000010
【手続補正書】
【提出日】令和3年7月28日(2021.7.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出する光学フィルタ手段と、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新するパラメータ更新手段と、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うセンシング手段と、を備えるフィルタ学習装置。
【請求項２】
前記光学フィルタ手段は、
前記フィルタパラメータを用いて前記物理光学フィルタである光学波長フィルタを模擬する、請求項１に記載のフィルタ学習装置。
【請求項３】
前記光学フィルタ手段は、
前記フィルタパラメータを用いて前記物理光学フィルタである偏光フィルタを模擬する、請求項１に記載のフィルタ学習装置。
【請求項４】
演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行する推定手段をさらに備え、
前記パラメータ更新手段は、
前記フィルタパラメータ及び前記演算パラメータを更新する、請求項１乃至３のいずれか１項に記載のフィルタ学習装置。
【請求項５】
前記パラメータ更新手段は、
前記光学フィルタ手段における前記光学波長フィルタを模擬することを制約条件として最適化されることを特徴とする、請求項２に記載のフィルタ学習装置。
【請求項６】
前記学習用画像は、
ハイパースペクトルカメラを用いて撮像された画像である、請求項１乃至５のいずれか１項に記載のフィルタ学習装置。
【請求項７】
前記学習用画像は、
光学シミュレーションを実行することによって得られる画像である、請求項１乃至５のいずれか１項に記載のフィルタ学習装置。
【請求項８】
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行う、フィルタ学習方法。
【請求項９】
前記フィルタ画像を抽出した後に、演算パラメータに応じて決定される学習モデルを用いて前記フィルタ画像に関する画像解析処理を実行し、
画像解析処理を実行した結果を用いて、前記フィルタパラメータ及び前記演算パラメータを更新する、請求項８に記載のフィルタ学習方法。
【請求項１０】
フィルタパラメータに応じて決定されるフィルタ条件を用いて学習用画像からフィルタ画像を抽出し、
前記フィルタ画像に関する画像解析処理を実行した結果を用いて前記フィルタパラメータを更新し、
更新された前記フィルタパラメータに応じて決定されるフィルタ条件を満たす物理光学フィルタを用いて入力画像のセンシングを行うことをコンピュータに実行させるプログラム。
【国際調査報告】
2020161812.tif 000011
2020161812.tif 000012
2020161812.tif 000013
2020161812.tif 000014