(57)【要約】  学習装置（１０）にて光変換部（１１）は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部（１３）は、光変換部（１１）から出力された光を感知する。推定部（１５Ａ）は、センシング部（１３）で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部（１５Ｂ）は、推定部（１５Ａ）による推定結果に基づいて、光変換部（１１）のパラメータの更新値を算出し、算出された更新値によって光変換部（１１）のパラメータの設定値を更新する。そして、光変換部（１１）は、互いに独立してパラメータの設定値が設定される複数の光学デバイス（１２）を含んでいる。
2020161799.tif 000002
【特許請求の範囲】
【請求項１】
学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。
【請求項２】
前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
請求項１記載の学習装置。
【請求項３】
前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
請求項２記載の学習装置。
【請求項４】
前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項２又は３に記載の学習装置。
【請求項５】
前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項１記載の学習装置。
【請求項６】
前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
請求項１から５のいずれか１項に記載の学習装置。
【請求項７】
前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
請求項６記載の学習装置。
【請求項８】
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第１設定値から第２設定値へ切り替える、
請求項１から７のいずれか１項に記載の学習装置。
【請求項９】
前記推定手段は、ニューラルネットを含み、
前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
請求項１から８のいずれか１項に記載の学習装置。
【請求項１０】
学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
請求項１から９のいずれか１項に記載の学習装置。
【請求項１１】
前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する、
請求項１から１０のいずれか１項に記載の学習装置。
【請求項１２】
前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である、
請求項１から１１のいずれか１項に記載の学習装置。
【請求項１３】
入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。
【請求項１４】
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。
【請求項１５】
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置に関する。
【背景技術】
【０００２】
種々の設定問題の答えを推定する推定装置が提案されている（例えば、特許文献１）。特許文献１に開示されている装置の設定問題は、ライトフィールドを取得することである。具体的には、特許文献１に開示されているライトフィールド取得装置は、画像信号から復元した復元ライトフィールドデータを参照ライトフィールドデータと比較した評価値に基づき、符号化開口部（つまり、光変換部）の符号化開口形状の設定を制御する。これにより、特許文献１に開示されているライトフィールド取得装置は、画像素子の画素数よりも少ないデータ量であるシーンのライトフィールドを高解像度で取得することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１６−１５７９９９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本発明者らは、光変換部に互いに独立してパラメータの設定値が設定される複数の光学デバイスを含めることによって、設定問題の答えをより精度良く推定可能な推定装置を実現できることを見出した。そして、本発明者らは、該複数の光学デバイスに設定されるパラメータの設定値を学習する学習装置を提案する。【０００５】
本開示の目的は、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することにある。
【課題を解決するための手段】
【０００６】
第１の態様にかかる学習装置は、学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。【０００７】
第２の態様にかかる推定装置は、入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む。【０００８】
第３の態様にかかる学習方法は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する。【０００９】
第４の態様にかかる非一時的なコンピュータ可読媒体は、学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる、制御プログラムが格納している。
【発明の効果】
【００１０】
本開示により、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習できる、学習装置、学習方法、及び制御プログラムが格納された非一時的なコンピュータ可読媒体、並びに、推定装置を提供することができる。
【図面の簡単な説明】
【００１１】
【図１】第１実施形態における学習装置の一例を示すブロック図である。
【図２】第２実施形態における学習装置の一例を示すブロック図である。
【図３】第２実施形態における学習装置の処理動作の一例を示すフローチャートである。
【図４】第３実施形態における学習装置の一例を示すブロック図である。
【図５】第４実施形態における推定装置の一例を示すブロック図である。
【図６】制御装置のハードウェア構成例を示す図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。
【００１３】
＜第１実施形態＞
図１は、第１実施形態における学習装置の一例を示すブロック図である。図１において学習装置１０は、光変換部１１と、センシング部１３と、制御部（制御装置）１５とを有している。
【００１４】
光変換部１１は、学習対象（例えば、学習画像）からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。例えば、光変換部１１は、互いに独立してパラメータの設定値が設定される光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）を含んでいる。以下では、光学デバイス１２−１〜１２−Ｎを互いに区別しない場合には光学デバイス１２−１〜１２−Ｎを総称して単に光学デバイス１２と呼ぶことがある。光学デバイス１２−１〜１２−Ｎは、互いに同種の光学デバイスであってもよいし、複数種類の光学デバイスを含んでいてもよい。例えば、光変換部１１は、入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する。
【００１５】
センシング部１３は、光変換部１１から出力された光を感知する。センシング部１３は、例えば、イメージセンサである。すなわち、センシング部１３は、感知した光を電気信号に変換し、得られた光電気信号を制御部１５へ出力する。なお、図１において光変換部１１とセンシング部１３とを点線で繋いでいるが、この点線は、光路を意味している。
【００１６】
制御部１５は、推定部１５Ａと、更新部１５Ｂとを有している。
【００１７】
推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。設定問題は、例えば、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である。すなわち、推定部１５Ａは、設定問題に応じた画像解析処理を実行する機能部である。例えば設定問題が赤色の物体を認識することである場合、推定部１５Ａは、赤色の物体の画像を含む学習画像であれば推定結果として「１」を形成して出力し、赤色の物体の画像を含まない学習画像であれば推定結果として「０」を形成して出力する。また、例えば設定問題がライトフィールドを生成することである場合、推定部１５Ａは、推定結果としてライトフィールドを形成して出力することになる。
【００１８】
更新部１５Ｂは、推定部１５Ａによる推定結果に基づいて、光変換部１１のパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。
【００１９】
以上のように第１実施形態によれば、学習装置１０にて光変換部１１は、学習対象からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部１３は、光変換部１１から出力された光を感知する。推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。更新部１５Ｂは、推定部１５Ａによる推定結果に基づいて、光変換部１１のパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。そして、光変換部１１は、互いに独立してパラメータの設定値が設定される光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）を含んでいる。
【００２０】
この学習装置１０の構成により、光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）と同じ複数の光学デバイスとセンシング部と推定部とを含む推定装置（不図示）において該複数の光学デバイスに設定されるパラメータの設定値を学習することができる。そして、該推定装置（不図示）では、光学デバイスが１つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができるので、該推定装置（不図示）は、設定問題の答えをより精度良く推定することが可能となる。すなわち、学習装置１０によれば、設定問題の答えをより精度良く推定可能な推定装置における複数の光学デバイスに設定されるパラメータの設定値を学習することができる。なお、該推定装置（不図示）においては、ハードウェアのニューラルネットワークを、複数の光学デバイスによって実現できている。このため、該推定装置（不図示）の推定部による計算量を削減することができるので、該推定装置（不図示）は、処理能力の劣るエッジ端末にも適用することができる。
【００２１】
＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。
【００２２】
＜学習装置の構成例＞
図２は、第２実施形態における学習装置の一例を示すブロック図である。図２において学習装置２０は、光変換部１１と、センシング部１３と、表示部２１と、制御部（制御装置）２２とを含む。制御部２２は、推定部２２Ａと、更新部２２Ｂと、学習制御部２２Ｃとを含む。
【００２３】
表示部２１は、学習制御部２２Ｃによる制御により、学習画像を表示する。これにより、学習画像に対応する光が、光変換部１１へ入力されることになる。なお、図２において表示部２１と光変換部１１とを点線で繋いでいるが、この点線は、光路を意味している。
【００２４】
光変換部１１は、第１実施形態で説明したように、光学デバイス１２−１〜１２−Ｎ（Ｎは、２以上の自然数）を含んでいる。ここでは、一例として、光学デバイス１２−１〜１２−Ｎは、液晶デバイスを含んでおり、光学デバイス１２−１が液晶デバイスであるものとして説明する。
【００２５】
光学デバイス１２−１は、例えば、第１の偏光板と、第１の偏光板と偏光方向が９０°回転している第２の偏光板と、カラーフィルタと、第１の偏光板と第２の偏光板との間に挟まれた液晶ユニットとを含んでいる。この液晶ユニットに印可する電気信号（つまり、パラメータの設定値）を制御することによって、例えば液晶ユニットの透過率を制御することができる。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
【００２６】
又は、光学デバイス１２−１は、液晶ユニットを有している。この液晶ユニットに印可する電気信号（つまり、パラメータの設定値）を制御することによって、この液晶ユニットにおける液晶のらせん構造を制御して、選択的に反射される光の波長を制御してもよい。この制御は、液晶ユニットの画素単位で制御することができる。すなわち、液晶デバイスは、画素単位でパラメータの設定値に応じた光特性が強調された光を出力することができる。
【００２７】
なお、光学デバイス１２には、例えば、液晶デバイスの他に又は液晶デバイスに代えて、液体レンズ、可変形鏡（デフォーマブルミラー）、マイクロチャンネルプレート型光電子増倍管等が用いられてもよい。液体レンズは、電気信号により焦点を調整可能なデバイスである。また、可変形鏡（デフォーマブルミラー）は、電気信号により反射方向を制御可能なデバイスである。また、マイクロチャンネルプレート型光電子増倍管は、入射光をデバイス内で電子に変換し内部で増幅して入射光より強い光を出力するデバイスである。
【００２８】
学習制御部２２Ｃは、光変換部１１におけるパラメータの設定値の学習を制御する。例えば、学習制御部２２Ｃは、表示部２１に表示される学習画像を切り替える。また、学習制御部２２Ｃは、光変換部１１におけるパラメータの設定値の学習処理におけるパラメータの初期値として、光学シミュレーションによって得られたパラメータ値を用いてもよい。これにより、光学シミュレーションによって得られたパラメータ値のファインチューニングを行うことができる。この場合、例えば、学習制御部２２Ｃは、光学デバイス１２−１〜１２−Ｎのそれぞれをモデル化した光学モデルを用いてシミュレートを行い、誤差逆伝播法によって勾配を計算して、光学モデルのパラメータの最適化を行ってもよい。このパラメータの値が、上記の初期値として用いられる。なお、推定部２２Ａがニューラルネットを含む場合には、学習制御部２２Ｃは、該ニューラルネットの学習を制御してもよい。
【００２９】
推定部２２Ａは、第１実施形態の推定部１５Ａと同様に、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。推定部２２Ａは、例えば、ニューラルネットワークを含んでいる。
【００３０】
更新部２２Ｂは、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する。そして、更新部２２Ｂは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。更新部２２Ｂは、推定部２２Ａに含まれるニューラルネットワークのパラメータ（重み、バイアス）を更新してもよい。この推定部２２Ａに含まれるニューラルネットワークのパラメータ（重み、バイアス）の更新処理における勾配演算には、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができる。
【００３１】
ここで、光変換部１１における光の入出力現象は、制御部２２（つまり、計算機）の外で起こるため、ニューラルネットワークの学習において用いられる誤差逆伝播法を用いることができない。そこで、更新部２２Ｂは、乱数を用いて摂動ベクトルを形成し、推定部２２Ａによる推定結果と正解との誤差に関する目的関数及び前記形成された摂動ベクトルを用いて勾配を算出する。そして、更新部２２Ｂは、算出された勾配に基づいてパラメータの更新値を算出し、算出された更新値によって光変換部１１のパラメータの設定値を更新する。
【００３２】
この勾配の計算では、パラメータベクトルをpとし、その乱数摂動ベクトルをeとする。光変換部１１のニューラルネット全体をf(x, p)とすると、更新部２２Ｂは、入力画像バッチxに対して、f(x, p)とf(x, p+e)を計算する。一般的な勾配計算であれば、パラメータベクトルpの各要素のスカラー値piに対してそれぞれ独立に計算して勾配を求めるため、パラメータの要素数と同数の演算回数が必要となる。一方で、乱数摂動による計算では、摂動eをベクトルで計算するため、演算回数は２回でよい。その代わり、更新部２２Ｂは、摂動ベクトルeを乱数で生成する。例えば、更新部２２Ｂは、乱数をベルヌーイ分布を用いて計算する。これにより、摂動ベクトルeの各要素は、−１又は１の値をとる。また、更新部２２Ｂは、eにハイパーパラメータaを乗算することで、勾配演算のための微分幅を制御することができる。なお、乱数には各イテレーションで同じものが用いられてもよいし、又は、イテレーション毎に異なる乱数が用いられてもよい。乱数摂動はベクトルに限らず、行列、3階以上のテンソルにも適用できる。勾配の更新には、例えば、確率的勾配降下法やＡｄａｍ等が用いられてもよい。また、乱数の計算には、ベルヌーイ分布の他に、例えば、０を平均とする一様分布やガウス分布が用いられてもよい。
【００３３】
＜学習装置の動作例＞
以上の構成を有する学習装置２０の処理動作の一例について説明する。図３は、第２実施形態における学習装置の処理動作の一例を示すフローチャートである。
【００３４】
学習制御部２２Ｃは、光変換部１１に対して、パラメータの初期値を設定する（ステップＳ１０１）。上記の通り、パラメータの初期値として、光学シミュレーションによって得られたパラメータ値が用いられてもよい。
【００３５】
学習制御部２２Ｃは、表示部２１に学習画像を表示させる（ステップＳ１０２）。これにより、学習画像に対応する光が、光変換部１１へ入力されることになる。
【００３６】
光変換部１１は、学習画像からの光を入力し、入力された光を用いて、パラメータの設定値に応じた光を出力する（ステップＳ１０３）。
【００３７】
センシング部１３は、光変換部１１から出力された光を感知する（ステップＳ１０４）。
【００３８】
推定部１５Ａは、センシング部１３で感知された光に基づいて、設定問題の答えについての推定結果を形成する（ステップＳ１０５）。
【００３９】
更新部２２Ｂは、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いて勾配を算出する（ステップＳ１０６）。
【００４０】
学習制御部２２Ｃは、終了条件が満たされているか否かを判定する（ステップＳ１０７）。学習制御部２２Ｃは、例えば、更新部２２Ｂにて今回算出された勾配の符号が前回算出された勾配の符号と異なる場合、目的関数の最小値（又は、極小値）に到達したと見なせるので、終了条件が満たされたと判定する。そして、終了条件が満たされたときには（ステップＳ１０７ＹＥＳ）、処理フローが終了する。
【００４１】
終了条件が満たされていない場合（ステップＳ１０７ＮＯ）、学習制御部２２Ｃは、更新部２２Ｂに対して、算出された勾配に基づいてパラメータの更新値を算出させ、算出された更新値によって光変換部１１のパラメータの設定値を更新させる（ステップＳ１０８）。
【００４２】
学習制御部２２Ｃは、学習画像を切り替えて表示部２１に表示させる（ステップＳ１０９）。
【００４３】
なお、以上の説明では、単一画像毎での学習を前提に説明を行ったが、これに限定されるものではなく、バッチ学習又はミニバッチ学習が行われてもよい。
【００４４】
＜第３実施形態＞
上記の第２実施形態では、１つのタイミングで光学デバイス１２−１〜１２−Ｎの全てをパラメータの更新対象デバイスとすることを前提に説明を行った。これに対して、第３実施形態は、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイスが順次切り替えられる実施形態に関する。
【００４５】
図４は、第３実施形態における学習装置の一例を示すブロック図である。図４において学習装置３０は、制御部（制御装置）３１を有する。制御部３１は、更新部３１Ａと、学習制御部３１Ｂとを有する。
【００４６】
学習制御部３１Ｂは、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイスを順次切り替え、更新対象デバイスの切り替えに応じて表示部２１に表示される学習画像を切り替えるとともに、更新部３１Ａに対して更新対象デバイス単位でパラメータの設定値を更新させる。
【００４７】
ここで、光学デバイス１２−１〜１２−Ｎのすべてが液晶デバイスであるものとする。このとき、学習制御部３１Ｂは、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイスを選択する。そして、学習制御部３１Ｂは、光学デバイス１２−１〜１２−Ｎのうちで更新対象デバイス以外のパラメータの設定値を、最大の透過率となるように設定する。そして、学習制御部３１Ｂは、更新部３１Ａに対して、推定部２２Ａによる推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって、更新対象デバイスについての勾配を算出させる。ここで、更新対象デバイス以外の光学デバイス１２のパラメータの設定値が最大の透過率となるように設定されることにより、光変換部１１から出力される光は、更新対象デバイス以外の光学デバイス１２による影響を受けていないと見なすことができる。このため、更新対象デバイスの入力と出力とが数値化できるため、誤差逆伝播法を、勾配の計算に用いることができる。そして、学習制御部３１Ｂは、１つの更新対象デバイスについてパラメータを最適化した後に、更新対象デバイスを切り替えて、切り替えられた更新対象デバイスについてのパラメータの学習を進める。すなわち、ここでは、Stackedオートエンコーダの最適化の要領で、光学デバイス１２−１〜１２−Ｎのパラメータの学習が行われている。
【００４８】
なお、学習制御部３１Ｂは、１つの更新対象デバイスについてバッチ学習を進め、該バッチ学習が完了した場合、まだ学習が行われていない光学デバイス１２を次の更新対象デバイスとしてランダムに選択して、該選択された更新対象デバイスについて学習を進めてもよい。
【００４９】
＜第４実施形態＞
第４実施形態は、第１実施形態から第３実施形態で説明した学習装置によって学習されたパラメータ値が設定された推定装置に関する。
【００５０】
図５は、第４実施形態における推定装置の一例を示すブロック図である。図５において推定装置５０は、光変換部５１と、センシング部５３と、制御部（制御装置）５５と、取得部５７とを有している。
【００５１】
光変換部５１は、入力された光を用いて、パラメータの設定値に応じた光を出力する。光変換部５１は、互いに独立してパラメータの設定値が設定される光学デバイス５２−１〜５２−Ｎ（Ｎは、２以上の自然数）を含んでいる。光学デバイス５２−１〜５２−Ｎは、第１実施形態から第３実施形態の光学デバイス１２−１〜１２−Ｎにそれぞれ対応しており、学習装置１０，２０，３０にて学習されたパラメータ値が設定される。すなわち、光変換部５１は、第１実施形態から第３実施形態の光変換部１１と同様の構成を有している。
【００５２】
センシング部５３は、光変換部５１から出力された光を感知する。すなわち、センシング部５３は、第１実施形態から第３実施形態のセンシング部１３と同様の構成を有している。
【００５３】
制御部５５は、推定部５５Ａと、設定部５５Ｂとを有する。
【００５４】
推定部５５Ａは、センシング部５３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。すなわち、推定部５５Ａは、第１実施形態から第３実施形態の推定部１５Ａ，２２Ａと同じ構成を有している。
【００５５】
設定部５５Ｂは、取得部５７にて取得されたパラメータ値を、光変換部５１の光学デバイス１２−１〜１２−Ｎにそれぞれ設定する。
【００５６】
取得部５７は、学習装置１０，２０，３０にて学習されたパラメータ値を取得する。取得部５７は、学習装置１０，２０，３０からパラメータ値を有線通信又は無線通信によって取得する通信部であってもよい。又は、取得部５７は、推定装置５０と学習装置１０，２０，３０とを繋ぐケーブルが接続されるインタフェース部であってもよい。取得部５７が学習装置１０，２０，３０にて学習されたパラメータ値を取得することにより、例えば、光学デバイス５２−１〜５２−Ｎに設定されるパラメータ値をダウンロードすることができる。また、本実施形態における光学デバイスは計算機の外部にあるので、デバイス出荷時にパラメータ値を設定し、さらにエッジ端末においてパラメータに直接アクセスできなくすることもできる。これによりエッジ端末のパラメータはハッキングできなくなる。
【００５７】
以上のように第４実施形態によれば、推定装置５０にて光変換部５１は、入力された光を用いて、パラメータの設定値に応じた光を出力する。センシング部５３は、光変換部５１から出力された光を感知する。推定部５５Ａは、センシング部５３で感知された光に基づいて、設定問題の答えについての推定結果を形成する。そして、光変換部５１は、互いに独立してパラメータの設定値が設定される光学デバイス５２−１〜５２−Ｎ（Ｎは、２以上の自然数）を含んでいる。
【００５８】
この推定装置５０の構成により、光変換部５１が互いに独立してパラメータの設定値が設定される光学デバイス５２−１〜５２−Ｎを含んでいるので、光学デバイスが１つの場合に比べて、複数の光学デバイスによってより多くの情報を含む光を推定処理に用いることができる。これにより、推定装置５０は、設定問題の答えをより精度良く推定することができる。また、光学デバイス５２−１〜５２−Ｎによってハードウェアのニューラルネットワークを実現できるので、推定部５５Ａによる計算量を削減することができる。これにより、推定装置５０を処理能力の劣るエッジ端末にも適用することができる。
【００５９】
＜他の実施形態＞
＜１＞第１実施形態から第４実施形態の光変換部１１，５１は、センシング部１３，５３の露光時間内においてパラメータの設定値を第１設定値から第２設定値へ切り替えてもよい。例えば、光変換部１１は、光学デバイス１２−１〜１２−Ｎの全てに、更新部１５Ｂ，２２Ｂ，３１Ａによって更新されたパラメータ値を設定する状態と、光学デバイス１２−１〜１２−Ｎの一部の光学デバイスのパラメータ値を最大の透過率となるように切り替えた状態とを、センシング部１３の露光時間内に切り替える。これにより、センシング部１３では２つの状態の画像が足し合わさった画像を表現することができる。すなわち、この操作によって、ニューラルネットにおけるadd層を表現することができる。又は、足し合わせではなく、上記の２つの状態の画像をセンシング部１３に並べるようにしてもよい。これにより、ニューラルネットにおけるconcatenate層を表現することができる。このような方法によれば、U-netなどで用いられるskip connectionが可能となる。光変換部５１及びセンシング部５３についても同様である。
＜２＞図６は、制御装置のハードウェア構成例を示す図である。図６において制御装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。
【００６０】
第１実施形態から第４実施形態の制御装置（制御部）１５，２２，３１，５５は、それぞれ、図６に示したハードウェア構成を有することができる。第１実施形態から第４実施形態の制御装置１５，２２，３１，５５の推定部１５Ａ，２２Ａ，５５Ａと、更新部１５Ｂ，２２Ｂ，３１Ａと、学習制御部２２Ｃ，３１Ｂと、設定部５５Ｂとは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、制御装置１５，２２，３１，５５に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって制御装置１５，２２，３１，５５に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを制御装置１５，２２，３１，５５に供給できる。
【００６１】
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【００６２】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【００６３】
（付記１）
学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。
【００６４】
（付記２）
前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
付記１記載の学習装置。
【００６５】
（付記３）
前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
付記２記載の学習装置。
【００６６】
（付記４）
前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記２又は３に記載の学習装置。
【００６７】
（付記５）
前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
付記１記載の学習装置。
【００６８】
（付記６）
前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
付記１から５のいずれか１項に記載の学習装置。
【００６９】
（付記７）
前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
付記６記載の学習装置。
【００７０】
（付記８）
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第１設定値から第２設定値へ切り替える、
付記１から７のいずれか１項に記載の学習装置。
【００７１】
（付記９）
前記推定手段は、ニューラルネットを含み、
前記更新手段は、前記ニューラルネットのパラメータをさらに更新する、
付記１から８のいずれか１項に記載の学習装置。
【００７２】
（付記１０）
学習処理における前記パラメータの設定値の初期値として、光学シミュレーションによって得られたパラメータ値が用いられる、
付記１から９のいずれか１項に記載の学習装置。
【００７３】
（付記１１）
前記光変換手段は、前記入力された光に対する処理として、減衰処理、増幅処理、集光処理、拡散処理、光波を強め合わせる処理、モレア生成処理、分光処理、及び、偏光抽出処理のうちの少なくとも１つを実行する、
付記１から１０のいずれか１項に記載の学習装置。
【００７４】
（付記１２）
前記設定問題は、画像認識、物体検知、セグメンテーション、異常検知、画像生成、画像変換、画像圧縮、ライトフィールド生成、又は、３次元画像生成である、
付記１から１１のいずれか１項に記載の学習装置。
【００７５】
（付記１３）
入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。
【００７６】
（付記１４）
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。
【００７７】
（付記１５）
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
処理を、学習装置に実行させる制御プログラムが格納された非一時的なコンピュータ可読媒体。
【符号の説明】
【００７８】
１０  学習装置
１１  光変換部
１２  光学デバイス
１３  センシング部
１５  制御部（制御装置）
１５Ａ  推定部
１５Ｂ  更新部
２０  学習装置
２１  表示部
２２  制御部（制御装置）
２２Ａ  推定部
２２Ｂ  更新部
２２Ｃ  学習制御部
３０  学習装置
３１  制御部（制御装置）
３１Ａ  更新部
３１Ｂ  学習制御部
５０  推定装置
５１  光変換部
５３  センシング部
５５  制御部（制御装置）
５５Ａ  推定部
５５Ｂ  設定部
５７  取得部
【図１】
2020161799.tif 000003
【図２】
2020161799.tif 000004
【図３】
2020161799.tif 000005
【図４】
2020161799.tif 000006
【図５】
2020161799.tif 000007
【図６】
2020161799.tif 000008
【手続補正書】
【提出日】令和3年7月21日(2021.7.21)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
学習対象からの光を入力し、前記入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
前記推定手段による推定結果に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する更新手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
学習装置。
【請求項２】
前記複数の光学デバイスのうちで更新対象デバイスを順次切り替え、前記更新対象デバイスの切り替えに応じて前記学習対象を切り替えるとともに、前記更新手段に対して更新対象デバイス単位で前記パラメータの設定値を更新させる、学習制御手段をさらに具備する、
請求項１記載の学習装置。
【請求項３】
前記学習制御手段は、前記更新対象デバイス毎のバッチ学習を制御し、前記複数の光学デバイスから前記更新対象デバイスをランダムに選択する、
請求項２記載の学習装置。
【請求項４】
前記更新手段は、前記推定手段による推定結果と正解との誤差に関する目的関数を用いた誤差逆伝播法によって勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項２又は３に記載の学習装置。
【請求項５】
前記更新手段は、乱数を用いて摂動を形成し、前記推定手段による推定結果と正解との誤差に関する目的関数及び前記形成された摂動を用いて勾配を算出し、前記算出された勾配に基づいて、前記パラメータの更新値を算出し、前記算出された更新値によって前記パラメータの設定値を更新する、
請求項１記載の学習装置。
【請求項６】
前記複数の光学デバイスは、液晶デバイスを含み、
前記更新手段は、前記液晶デバイスの画素単位で前記パラメータの設定値を更新する、
請求項１から５のいずれか１項に記載の学習装置。
【請求項７】
前記液晶デバイスは、前記画素単位で前記パラメータの設定値に応じた光特性が強調された光を出力する、
請求項６記載の学習装置。
【請求項８】
前記光変換手段は、前記センシング手段の露光時間内において前記パラメータの設定値を第１設定値から第２設定値へ切り替える、
請求項１から７のいずれか１項に記載の学習装置。
【請求項９】
入力された光を用いて、パラメータの設定値に応じた光を出力する光変換手段と、
前記光変換手段から出力された光を感知するセンシング手段と、
前記感知された光に基づいて、設定問題の答えについての推定結果を形成する推定手段と、
を具備し、
前記光変換手段は、互いに独立して前記パラメータの設定値が設定される複数の光学デバイスを含む、
推定装置。
【請求項１０】
学習対象からの光が入力され且つ複数の光学デバイスを含む光変換手段から出力された、前記光変換手段に設定されたパラメータの設定値に応じた光に基づいて、設定問題の答えについての推定結果を形成し、
前記推定結果に基づいて、前記パラメータの更新値を算出し、
前記算出された更新値によって前記パラメータの設定値を更新する、
学習方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００５５
【補正方法】変更
【補正の内容】
【００５５】
設定部５５Ｂは、取得部５７にて取得されたパラメータ値を、光変換部５１の光学デバイス５２−１〜５２−Ｎにそれぞれ設定する。
【国際調査報告】
2020161799.tif 000009
2020161799.tif 000010