(57)【要約】      （修正有）【課題】人の知覚を重視した、ノイズを低減するフィルタ処理などの信号処理ではなく、認識処理に適した信号を得るための信号処理を行う情報処理装置、情報処理方法、及びプログラムを提供する。【解決手段】情報処理装置の信号処理部２０は、認識処理に用いられる認識パラメータの主成分分析により生成される認識基底に基づいて、入力信号である画像信号を平均信号と差分信号とに分離する分離部を有し、差分信号を強調することにより強調処理を行う。【選択図】図２
2019067229.tif 000002
【特許請求の範囲】
【請求項１】
認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う信号処理部を備える、情報処理装置。
【請求項２】
前記信号処理部は、前記入力信号を平均信号と差分信号とに分離する分離部を有し、前記認識基底に基づいて前記差分信号を強調することにより強調差分信号を取得する、請求項１に記載の情報処理装置。
【請求項３】
前記信号処理部は、
前記差分信号に対する所定の基底の寄与率を算出する寄与率算出部、
前記寄与率に対して前記認識基底に基づく変換処理を施し、前記変換処理の前後での前記寄与率の変化に応じた寄与率調整パラメータを生成する寄与率調整制御部、
前記寄与率調整パラメータに基づいて、前記変換処理が施された前記寄与率を調整して調整寄与率を取得する寄与率調整部、及び
前記調整寄与率と前記所定の基底とに基づいて前記強調差分信号を生成する再構成部、
をさらに有する、請求項２に記載の情報処理装置。
【請求項４】
前記寄与率調整制御部が行う前記変換処理は、前記認識基底の固有ベクトルの有用度に応じて前記寄与率を変換する処理である、請求項３に記載の情報処理装置。
【請求項５】
前記寄与率調整部は、前記変換処理が施された前記寄与率のコントラストを強調した強調寄与率と、前記変換処理が施された前記寄与率とを前記寄与率調整パラメータに基づいて混合させて、前記調整寄与率を取得する、請求項４に記載の情報処理装置。
【請求項６】
前記信号処理部は、前記固有ベクトルの有用度を設定して、前記寄与率調整制御部が行う前記変換処理に用いられる寄与率変換行列を生成する行列生成部をさらに有する、請求項５に記載の情報処理装置。
【請求項７】
前記行列生成部は、前記認識パラメータの主成分分析により前記認識基底を生成する、請求項６に記載の情報処理装置。
【請求項８】
前記信号処理部は、前記平均信号と、前記強調差分信号とを重ね合わせる重畳部をさらに有する、請求項７に記載の情報処理装置。
【請求項９】
前記重畳部は、前記寄与率調整パラメータに基づいて、前記平均信号、及び前記差分信号の各々に重み付けを行う、請求項８に記載の情報処理装置。
【請求項１０】
前記情報処理装置は、前記強調処理により得られた出力信号を入力として、前記認識パラメータを用いた前記認識処理を行う認識部をさらに備える、請求項１に記載の情報処理装置。
【請求項１１】
前記入力信号は画像信号である、請求項１に記載の情報処理装置。
【請求項１２】
認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理をプロセッサが行うことを含む、情報処理方法。
【請求項１３】
コンピュータに、
認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う機能を実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、情報処理装置及び情報処理方法に関する。
【背景技術】
【０００２】
信号に含まれるノイズを低減する信号処理が広く行われている。例えば、下記の特許文献１，２には、画像信号を対象としてノイズを低減する技術が開示されている。このようなノイズを低減する信号処理は、人に提示される信号に対して行われるのみならず、例えば画像信号を入力とした物体認識や、音声信号を入力とした音声認識等の認識処理に入力される信号に対しても行われることがある。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１４−１３０５１２号公報
【特許文献２】特開２００９−９８７４２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、上述したようなノイズを低減する技術は、人の知覚を重視したものが多く、ノイズを低減する処理が施された信号が認識処理の入力として適しているとは限らなかった。そのため、認識処理に適した信号を得るための信号処理が望まれていた。
【課題を解決するための手段】
【０００５】
本開示によれば、認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う信号処理部を備える、情報処理装置が提供される。
【０００６】
また、本開示によれば、認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理をプロセッサが行うことを含む、情報処理方法が提供される。
【０００７】
また、本開示によれば、コンピュータに、認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う機能を実現させるためのプログラムが提供される。
【発明の効果】
【０００８】
以上説明したように本開示によれば、認識処理に適した信号を得ることが可能となる。
【０００９】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態に係る情報処理装置の構成例を示すブロック図である。
【図２】図１に示した信号処理部２０のより詳細な構成の一例を示すブロック図である。
【図３】分離部２１が行う入力信号の分離処理を説明するための説明図である。
【図４】寄与率算出部２２による寄与率の算出処理を説明するための模式図である。
【図５】内積計算について説明するための説明図である。
【図６】行列生成部２３による第２基底の生成を説明するための説明図である。
【図７】行列生成部２３による固有ベクトルの有用度設定の一例を示す説明図である。
【図８】他の有用度の設定方法の例を説明するための説明図である。
【図９】行列生成部２３による変換行列の生成について説明するための説明図である。
【図１０】行列生成部２３による寄与率強調行列の生成例を説明するための説明図である。
【図１１】寄与率調整制御部２４のより詳細な構成の一例を示すブロック図である。
【図１２】寄与率変換部２４１による変換処理を説明するための説明図である。
【図１３】寄与率調整パラメータ生成部２４６による寄与率調整パラメータの生成例を説明するための説明図である。
【図１４】寄与率調整部２５による変換後寄与率ＣＦのコントラスト強調処理を説明するための説明図である。
【図１５】再構成部２６による再構成差分ブロックの生成について説明するための説明図である。
【図１６】重畳部２７のより詳細な構成の一例を示すブロック図である。
【図１７】平均ブロック重み生成部２７１、及び差分ブロック重み生成部２７２による重みの生成例を説明するための説明図である。
【図１８】出力画像生成部２７５による重ね合わせ処理を説明するための説明図である。
【図１９】本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
【図２０】本実施形態の変形例に係る情報処理システム１０００の構成例を示す説明図である。
【図２１】本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。
【図２２】車両制御システムの概略的な構成の一例を示すブロック図である。
【図２３】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図２４】内視鏡手術システムの概略的な構成の一例を示す図である。
【図２５】カメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。
【００１３】
なお、説明は以下の順序で行うものとする。
＜＜１．背景＞＞
＜＜２．構成＞＞
＜２−１．全体構成＞
＜２−２．信号処理部の構成＞
＜＜３．動作＞＞
＜＜４．変形例＞＞
＜４−１．変形例１＞
＜４−２．変形例２＞
＜４−３．変形例３＞
＜４−４．変形例４＞
＜４−５．変形例５＞
＜＜５．ハードウェア構成例＞＞
＜＜６．応用例＞＞
＜＜７．むすび＞＞
【００１４】
＜＜１．背景＞＞
本開示の一実施形態に係る情報処理装置についての説明にあたり、まず本開示の一実施形態に係る情報処理装置の創作に至った背景を説明する。
【００１５】
信号に含まれるノイズを低減するＮＲ（Noise  Reduction）処理が広く行われている。例えば、画像信号を対象としたＮＲ処理として、ＢＭ３Ｄ（Block  Matching  and  ３Ｄ  Collaborative  Filtering）や、バイラテラルフィルタ等のフィルタを用いたフィルタ処理が知られている。
【００１６】
このようなＮＲ処理は、人に提示される信号に対して行われるのみならず、例えば画像信号を入力とした物体認識や、音声信号を入力とした音声認識等の認識処理に入力される信号に対しても行われることがある。多数のノイズを含む信号を入力として認識処理を行うと、認識精度が低下する恐れがあるため、このようなＮＲ処理を施した信号を入力とすることで、認識精度の向上が期待される。
【００１７】
しかし、多くのＮＲ処理は、人の知覚を重視したものが多く、ＮＲ処理が施された信号が認識処理の入力として適しているとは限らなかった。例えば、画像信号に対するＮＲ処理の場合、人の知覚を考慮すると、解像感や自然さ、ノイズの少なさ等、人の目に映る見た目に関する情報が重視される。
【００１８】
一方、認識処理では見た目に関する情報が重要とは限らず、例えば普遍性や認識処理において信号から抽出されて用いられる特徴情報（例えば特徴量）の保持が重要となる。もし、ＮＲ処理を行った結果、認識処理で抽出される特徴情報が大きく変化してしまうと、認識精度が低下する恐れがある。
【００１９】
ノイズを付加した信号を教師データとした機械学習を行うことによって認識精度を向上させることも考えられるが、機械学習には大きなコストを要するため、ノイズを含む信号の認識のためにこのような機械学習を行うことは容易ではない。
【００２０】
そこで、上記事情を一着眼点にして本実施形態を創作するに至った。本実施形態によれば、認識処理に適した信号を得るため、認識処理に用いられる認識パラメータに基づいて生成された認識基底に基づく信号の強調処理を行う。このような強調処理が施された信号を入力として認識処理を行うことで、認識処理において特徴情報がより好適に抽出され、認識精度を向上させることが可能である。以下、このような効果を有する本開示の一実施形態の構成、及び動作について順次詳細に説明を行う。
【００２１】
＜＜２．構成＞＞
＜２−１．全体構成＞
図１は、本開示の一実施形態に係る情報処理装置の構成例を示すブロック図である。図１に示すように、本実施形態に係る情報処理装置１は、センサ部１０、信号処理部２０、認識部３０、及び記憶部５０を備える。
【００２２】
センサ部１０は、センサ信号をセンシングにより取得する。以下に説明する本実施形態ではセンサ部１０に撮像（センシングの一例）によりセンサ信号である画像信号を取得するイメージセンサ（撮像部）が含まれるものとして説明を行うが、本技術は係る例に限定されず、センサ部１０は多様なセンサを含み得る。センサ部１０が含みうる他のセンサの例については後述する。センサ部１０はセンシングにより取得したセンサ信号（本実施形態では画像信号）を信号処理部２０へ出力する。
【００２３】
信号処理部２０は、センサ信号を入力信号として、信号処理を行う。なお、本技術は係る例に限定されず、例えば不図示の通信部を介して他の装置から取得された信号が入力信号として用いられてもよい。
【００２４】
本実施形態に係る信号処理部２０は、後述する認識部３０による認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う。認識部３０による認識処理、及び認識パラメータについては後述する。
【００２５】
信号処理部２０は、入力信号に対して強調処理を施して得た出力信号を認識部３０へ出力する。なお、信号処理部２０の詳細な構成については、後に図２〜図１８を参照してより詳細に説明する。
【００２６】
認識部３０は、強調処理により得られた信号処理部２０の出力信号を入力として、認識処理を行う。認識部３０による認識処理は、記憶部５０に記憶された認識パラメータを用いて行われてもよい。認識パラメータは、例えば認識部３０が行う認識処理において抽出される特徴情報（例えば特徴量）の抽出に関するパラメータであってもよい。
【００２７】
以下では、本実施形態に係る認識部３０が、ＣＮＮ（Convolutional  Neural  Network）による認識処理を行う例を説明する。また、認識部３０が行う認識処理に用いられる認識パラメータは、事前の学習により得られたＣＮＮのフィルタを含んでもよい。
【００２８】
認識部３０による認識処理の結果は、不図示の表示部に表示されてもよいし、記憶部５０に記憶されてもよいし、不図示の通信部を介して他の装置へ送信されてもよい。また、情報処理装置１は、認識処理の結果に応じて他の処理を行ってもよい。
【００２９】
記憶部５０は、信号処理部２０や認識部３０が機能するためのプログラムやパラメータを記憶する。例えば記憶部５０には、認識部３０が行う認識処理に用いられる認識パラメータが記憶されていてもよい。
【００３０】
＜２−２．信号処理部の構成＞
図２は、図１に示した信号処理部２０のより詳細な構成の一例を示すブロック図である。図２に示すように、信号処理部２０は、分離部２１、寄与率算出部２２、行列生成部２３、寄与率調整制御部２４、寄与率調整部２５、再構成部２６、及び重畳部２７を有する。以下に説明するこれらの各部の処理により、入力信号を強調した出力信号が得られるため、以下に説明する信号処理部２０が有する各部の処理の全体が、入力信号の強調処理であるとみなされてもよい。ただし、後述するように、行列生成部２３の処理は、事前に行われてもよく、行列生成部２３の処理結果が記憶部５０に記憶されている場合には、処理を行わなくてもよい。そのため、行列生成部２３を除いた分離部２１、寄与率算出部２２、寄与率調整制御部２４、寄与率調整部２５、再構成部２６、及び重畳部２７の処理が強調処理であるとみなされてもよい。
【００３１】
分離部２１は、入力信号を直流成分である平均信号と交流成分である差分信号とに分離する。ここで、上述したように、本実施形態において入力信号は画像信号である。また、本実施形態に係る分離部２１は、画像信号に係る画像（以下入力画像と呼称する）の一部領域（以下、入力ブロックと呼称する）ごとに、入力信号を平均信号と差分信号とに分離する。入力ブロックは、入力画像中のある画素を中心とした所定のサイズの領域であり、入力ブロックに係る所定のサイズは、例えば認識部３０が認識処理を行う際のブロックサイズであってもよい。
【００３２】
図３は、分離部２１が行う入力信号の分離処理を説明するための説明図である。図３に示すように、入力ブロック内の画素を画素位置によりナンバリングすることで、入力ブロックは、一次元の画像信号として表現される。分離部２１は、入力ブロック内の画素値の平均値を算出し、全要素が当該平均値である画像信号を平均ブロックとし、入力ブロックから平均ブロックを差し引いた画像信号を差分ブロックとして分離することで、分離処理を行う。
【００３３】
なお、本明細書において、平均信号、及び差分信号は、入力信号の全体に対応する信号でなくてもよい。例えば平均信号のうち、入力信号の一部に対応する信号を平均信号と呼んでもよいし、差分信号のうち、入力信号の一部に対応する信号を差分信号と呼んでもよい。つまり、上述した平均ブロックは平均信号であり、差分ブロックは差分信号であるとみなされ得る。
【００３４】
分離部２１は、上記のようにして得られた平均ブロックを重畳部２７へ出力し、差分ブロックを寄与率算出部２２へ出力する。なお、以下に説明する寄与率算出部２２〜再構成部２６による処理は、差分ブロックを対象として行われる。また、分離部２１は、入力画像から入力ブロックを生成するが、入力画像内の全ての画素が最低でも１つの入力ブロックに属するため、分離部２１から出力される全ての差分ブロックを処理することで、寄与率算出部２２〜再構成部２６は、入力画像の全体に対応する差分信号を処理しているとみなすことが可能である。
【００３５】
また、以下に説明する寄与率算出部２２〜再構成部２６は、認識処理に用いられる認識パラメータから生成される認識基底に基づいて差分ブロックを強調することにより、強調差分ブロック（強調差分信号の一例）を取得する。
【００３６】
寄与率算出部２２は、差分ブロックと所定の基底との演算処理により、差分ブロックに対する所定の基底の寄与率を算出する。寄与率算出部２２が用いる所定の基底は、例えばHartley基底のような周知の正規直交行列であってもよい。なお、以下では、係る所定の基底を第１基底と呼ぶ場合がある。
【００３７】
寄与率算出部２２が算出する寄与率は、第１基底の重み毎に算出される。図４は、寄与率算出部２２による寄与率の算出処理を説明するための模式図である。図４に示すように、寄与率算出部２２は、差分ブロックと第１基底Ａの重みa１、a２、a３、a４…との内積計算を行い、各重みの寄与率ｃ１、ｃ２、ｃ３、ｃ４…を算出する。なお、第１基底の次元数は、差分ブロック内の要素数（画素数）と同一であってもよい。つまり、差分ブロックが５×５のサイズであれば、第１基底の次元数は２５となる。以下では、第１基底の次元数をｎとして説明する。また、図４に示した寄与率ｃ１、ｃ２、ｃ３、ｃ４…はそれぞれスカラーである。以下、図４に示す寄与率ｃ１、ｃ２、ｃ３、ｃ４…を要素としたベクトルを寄与率Ｃと呼ぶ場合がある。
【００３８】
なお、本明細書において、内積計算とは、要素ごとの積の総和を計算する演算である。図５は、内積計算について説明するための説明図である。図５に示す、データＱと、データＲとの内積は、以下の式（１）のように、要素ごとの積の総和で与えられる。
【００３９】
【数１】
2019067229.tif 000003
【００４０】
このように内積計算は、各データをそれぞれ１次元のベクトルで表現した場合のベクトルの内積と同様に計算することが可能である。また、内積計算は２つのベクトルの内、一方を行ベクトル、他方を列ベクトルで表現した場合の行列積であると解釈することも可能である。
【００４１】
行列生成部２３は、後述する寄与率調整制御部２４により用いられる寄与率変換行列、及び後述する寄与率調整部２５により用いられる寄与率強調行列を生成する。以下、行列生成部２３による寄与率変換行列の生成について図６〜図９を参照して説明した後、行列生成部２３による寄与率強調行列の生成について図１０を参照して説明する。
【００４２】
行列生成部２３は、寄与率変換行列を生成するため、まず、認識パラメータの主成分分析を行い、認識パラメータから認識基底（以下、第２基底と呼称する場合がある）を生成する。認識パラメータの主成分分析は、例えば認識パラメータの分散共分散行列を固有値分解することにより行われ得る。図６は、行列生成部２３による第２基底の生成を説明するための説明図である。
【００４３】
図６に示す行列Ｐは、認識部３０が行う認識処理におけるＣＮＮのフィルタ（認識パラメータの一例）を次元数ｎの列ベクトルとしてｍ個並べたｎ×ｍ行列である。また、図６に示す行列ＰＴは、行列Ｐの転置行列であり、ＣＮＮのフィルタを次元数ｎの行ベクトルとしてｍ個並べたｍ×ｎ行列である。
【００４４】
行列Ｐと行列ＰＴの行列積により、ＣＮＮのフィルタの分散共分散行列Σが得られる。ＣＮＮのフィルタの分散共分散行列Σは、ｎ×ｎの対称行列である。この分散共分散行列Σを固有値分解することで、第２基底Ｂが得られる。第２基底Ｂは、次元数ｎの固有ベクトル（重み）が列ベクトルとしてｎ個並んだｎ×ｎの正規直交基底である。また、図６に示す行列ＢＴは第２基底Ｂの転置行列であり、次元数ｎの固有ベクトルが行ベクトルとしてｎ個並んだｎ×ｎ行列である。
【００４５】
また、行列Λは、ｎ個の固有値λ１、λ２、λ３、λ４、…、λｎを対角成分に有する対角行列である。行列Λの対角成分である固有値λ１、λ２、λ３、λ４、…、λｎは、それぞれ第２基底Ｂの固有ベクトルに対応する固有値である。なお、第２基底Ｂの固有ベクトルは、対応する固有値の絶対値が降順になるように並んでいるものとする。
【００４６】
図６に示すように、認識パラメータから第２基底を生成する過程は以下の式（２）で表すことが可能である。
【００４７】
【数２】
2019067229.tif 000004
【００４８】
行列生成部２３は、上述した認識パラメータの主成分分析により得られた第２基底Ｂの固有ベクトルごとに、各固有ベクトルの有用度を設定する。図７は、行列生成部２３による固有ベクトルの有用度設定の一例を示す説明図である。図７のグラフＧ３１に示すように、固有ベクトルに対応する固有値が降順となるように並べられた（ソートされた）固有ベクトルに固有ベクトルＩＤが設定される。なお、固有ベクトルＩＤは、例えば第２基底Ｂにおける列番号であってもよい。
【００４９】
そして、図７のグラフＧ３２に示すように、各固有ベクトルに対して有用度が例えば０〜１の範囲で設定される。ここで、有用度は、図７のＧ３１に示すようにソートされた固有ベクトルに対し、単調減少となるように設定される。
【００５０】
なお、固有ベクトルに対する有用度の設定方法は、図７のグラフＧ３２に示す例に限定されず、有用度が図７のＧ３１に示すようにソートされた固有ベクトルに対し、単調減少となるように設定されればよい。図８は、他の有用度の設定方法の例を説明するための説明図である。例えば、図８のグラフＧ３３や、グラフＧ３４のように有用度を設定することも可能である。有用度の設定に用いるグラフを異ならせることで、ＮＲのかけ方を調整することが可能である。
【００５１】
行列生成部２３は、上述のように設定された有用度に応じて寄与率Ｃを変換するための変換行列を生成する。図９は、行列生成部２３による変換行列の生成について説明するための説明図である。
【００５２】
図９に示す行列Ｖは、図７、図８を参照して説明した有用度を対角要素とした対角行列である。つまり、行列Ｖの対角要素ｖ１、ｖ２、ｖ３、ｖ４、…、ｖｎは、例えば図７のグラフＧ３２に示した有用度が固有ベクトルＩＤ順に並んでいるものであってもよい。図９に示すように、寄与率変換行列Ｆは、第１基底Ａ、第１基底Ａの転置行列ＡＴ、第２基底Ｂ、第２基底Ｂの転置行列ＢＴ、及び行列Ｖを用いて以下の式（３）で表すことが可能である。
【００５３】
【数３】
2019067229.tif 000005
【００５４】
図１０は、行列生成部２３による寄与率強調行列の生成例を説明するための説明図である。寄与率強調行列は、後述する寄与率調整制御部２４により変換処理が施された寄与率のコントラストを強調するための行列である。
【００５５】
行列生成部２３は、例えば第１基底Ａの各重みa１、a２、a３、a４…に強調処理を施して得た強調重みa１’、a２’、a３’、a４’…を生成する。さらに、行列生成部２３は、強調重みa１’、a２’、a３’、a４’…の第１基底Ａの各重みa１、a２、a３、a４…に対する寄与率ｃ１’、ｃ２’、ｃ３’、ｃ４’…を内積計算により求める。そして行列生成部２３は、第１基底Ａの各重みから得られた寄与率を列ベクトルとして有する行列を寄与率強調行列Ｅとして得る。
【００５６】
つまり、図１０に示すように、第１基底Ａのｋ番目の重みaｋに強調処理を施して得た強調重みaｋ’の第１基底Ａの各重みに対する寄与率Ｃ’が寄与率強調行列Ｅのｋ番目の列ベクトルｅｋとなる。これを第１基底Ａのすべての重み、つまり１，２、…、ｋ、…ｎ番目の重みa１、a２、…、aｋ、…aｎから得られた寄与率を１，２、…、ｋ、…ｎ列目の列ベクトルｅ１、ｅ２、…、ｅｋ、…ｅｎとして有する行列が寄与率強調行列Ｅとして得られる。
【００５７】
以上、行列生成部２３による寄与率変換行列と寄与率強調行列の生成について説明した。行列生成部２３により生成された寄与率変換行列は、寄与率調整制御部２４へ出力され、寄与率強調行列は寄与率調整部２５へ出力される。なお、行列生成部２３による寄与率変換行列と寄与率強調行列の生成は、上述したように入力信号に依存せず行われるため、事前に（例えばセンサ部１０からセンサ信号が入力されるより前に）行われることが望ましい。したがって、行列生成部２３により生成された寄与率変換行列、及び寄与率強調行列は、図１に示した記憶部５０に一旦記憶された後、それぞれ寄与率調整制御部２４、及び寄与率調整部２５により記憶部５０から取得されて用いられてもよい。
【００５８】
図２に示す寄与率調整制御部２４は、寄与率算出部２２により算出された寄与率Ｃに対して、第２基底に基づく変換処理を施し、変換処理の前後での変化に応じた寄与率調整パラメータを生成する。以下、図１１〜図１３を参照して寄与率調整制御部２４の構成についてより詳細に説明を行う。
【００５９】
図１１は、寄与率調整制御部２４のより詳細な構成の一例を示すブロック図である。図１１を参照すると、寄与率調整制御部２４は、寄与率変換部２４１、パワー算出部２４２、第１の除算部２４３、第２の除算部２４４、内積計算部２４５、及び寄与率調整パラメータ生成部２４６を含む。
【００６０】
寄与率変換部２４１は、寄与率算出部２２により算出された寄与率Ｃに対して、第２基底に基づく変換処理を施す。寄与率変換部２４１による変換処理には、上述した行列生成部２３により生成された寄与率変換行列Ｆが用いられる。つまり、寄与率変換部２４１による変換処理は、第２基底の固有ベクトルの有用度に応じて寄与率Ｃを変換する処理である。
【００６１】
図１２は、寄与率変換部２４１による変換処理を説明するための説明図である。図１２に示すように、変換後寄与率（変換処理が施された寄与率）ＣＦは、ｎ×ｎの寄与率変換行列Ｆと、ｎ×１の列ベクトルとした寄与率Ｃとの行列積として、以下の式（４）のように表される。
【００６２】
【数４】
2019067229.tif 000006
【００６３】
寄与率変換部２４１が変換処理を施して得た変換後寄与率ＣＦは、第２の除算部２４４と、寄与率調整部２５へ出力される。
【００６４】
図１１に示すパワー算出部２４２は、寄与率算出部２２により算出された寄与率Ｃのパワーを算出する。例えば、パワー算出部２４２は、寄与率Ｃの要素の二乗和の平方根としてパワーを算出し、第１の除算部２４３、及び第２の除算部２４４へ出力する。
【００６５】
第１の除算部２４３は、寄与率算出部２２により算出された寄与率Ｃの各要素を、パワー算出部２４２により算出されたパワーで除算し、内積計算部２４５へ出力する。第２の除算部２４４は、寄与率変換部２４１が変換処理を施して得た変換後寄与率ＣＦの各要素を、パワー算出部２４２により算出されたパワーで除算し、内積計算部２４５へ出力する。
【００６６】
内積計算部２４５は、第１の除算部２４３の出力と、第２の除算部２４４の出力の内積計算を行い、内積計算の結果を寄与率調整パラメータ生成部２４６へ出力する。なお、内積計算部２４５による内積計算の結果は、寄与率変換部２４１による変換処理の前後での寄与率の変化を示している。
【００６７】
寄与率調整パラメータ生成部２４６は、内積計算部２４５の出力（内積計算の結果）、寄与率変換部２４１による変換処理の前後での寄与率の変化に応じた寄与率調整パラメータを生成する。寄与率調整パラメータは、後述する寄与率調整部２５による寄与率調整を制御するパラメータである。図１３は、寄与率調整パラメータ生成部２４６による寄与率調整パラメータの生成例を説明するための説明図である。
【００６８】
図１３に示すように、寄与率調整パラメータ生成部２４６は、入力（内積計算部２４５の出力）に応じて、寄与率調整パラメータを生成する。図１３に示すように、入力が所定の閾値Ｔｈ１以下の場合、寄与率調整パラメータは０であってもよく、入力が所定の閾値Ｔｈ２以上の場合、寄与率調整パラメータは１であってもよい。また、入力が閾値Ｔｈ１から閾値Ｔｈ２の間である場合には、図１３に示すように入力に応じて寄与率調整パラメータが単調増加してもよい。
【００６９】
寄与率調整パラメータ生成部２４６は、図１３のように生成した寄与率調整パラメータを寄与率調整部２５、及び再構成部２６へ出力する。
【００７０】
図２に示す寄与率調整部２５は、寄与率調整パラメータに基づいて、変換後寄与率ＣＦを調整して調整寄与率を取得する。
【００７１】
例えば寄与率調整部２５は行列生成部２３により生成された寄与率強調行列を用いて変換後寄与率ＣＦのコントラストを強調して強調寄与率ＣＥを取得し、強調寄与率ＣＥと変換後寄与率ＣＦとを混合させて、調整寄与率を取得してもよい。
【００７２】
図１４は、寄与率調整部２５による変換後寄与率ＣＦのコントラスト強調処理を説明するための説明図である。図１４に示すように、強調寄与率ＣＥは、ｎ×ｎの寄与率変換行列Ｆと、ｎ×１の列ベクトルとした変換後寄与率ＣＦとの行列積として、以下の式（５）のように表される。
【００７３】
【数５】
2019067229.tif 000007
【００７４】
寄与率調整部２５は、このようにして得た強調寄与率ＣＥと変換後寄与率ＣＦとを寄与率調整パラメータに基づいて混合させて、調整寄与率ＣＭを得る。寄与率調整パラメータをγとすると、調整寄与率ＣＭは、例えば以下の式（６）のように表される。
【００７５】
【数６】
2019067229.tif 000008
【００７６】
寄与率調整部２５は、式（６）のようにして算出された調整寄与率ＣＭを再構成部２６へ出力する。
【００７７】
図２に示す再構成部２６は、調整寄与率ＣＭと、第１基底Ａとに基づいて、差分ブロックを強調した再構成差分ブロック（強調差分信号の一例）を生成（再構成）する。
【００７８】
図１５は、再構成部２６による再構成差分ブロックの生成について説明するための説明図である。図１５に示すように、再構成部２６は、例えば調整寄与率ＣＭの要素ｃｍ１、ｃｍ２、ｃｍ３、ｃｍ４、…と、第１基底Ａの重みa１、a２、a３、a４…との内積計算をそれぞれ行った結果を画素ごとに足し合わせ、再構成差分ブロックを生成する。上述したように調整寄与率ＣＭは、第２基底に基づく変換を経て得られたものであるため、認識処理に適した再構成差分ブロックが生成され得る。
【００７９】
図２に示す重畳部２７は、分離部２１から出力された平均ブロック（平均信号の一例）と、再構成部２６から出力された再構成差分ブロック（強調差分信号の一例）を重ね合わせる。また、重畳部２７は、寄与率調整制御部２４により生成された寄与率調整パラメータに基づいて、平均ブロック、及び差分ブロックの各々に重み付けを行った後に、重ね合わせてもよい。
【００８０】
図１６は、重畳部２７のより詳細な構成の一例を示すブロック図である。図１６を参照すると、重畳部２７は、平均ブロック重み生成部２７１、差分ブロック重み生成部２７２、平均ブロック重み付け部２７３、差分ブロック重み付け部２７４、及び出力画像生成部２７５を含む。
【００８１】
平均ブロック重み生成部２７１は、平均ブロック重み付け部２７３による平均ブロックの重み付けに用いられる重みを生成し、差分ブロック重み生成部２７２は、差分ブロック重み付け部２７４による再構成差分ブロックの重み付けに用いられる重みを生成する。図１７は、平均ブロック重み生成部２７１、及び差分ブロック重み生成部２７２による重みの生成例を説明するための説明図である。
【００８２】
平均ブロック重み生成部２７１は、図１７に示した、中央付近にのみ大きな重みを有する重みＨ１と、一律の重みを有する重みＨ２とを用いて、平均ブロックの重み付けに用いられる平均ブロック重みＨＤＣを生成する。例えば、平均ブロックの重み付けに用いられる平均ブロック重みＨＤＣは寄与率調整パラメータγを用いて、以下の式（７）のように表される。
【００８３】
【数７】
2019067229.tif 000009
【００８４】
差分ブロック重み生成部２７２は、図１７に示した、ガウシアンフィルタのような山形の重みＨ３と、一律の重みを有する重みＨ４とを用いて、再構成差分ブロックの重み付けに用いられる差分ブロック重みＨＡＣを生成する。例えば、再構成差分の重み付けに用いられる差分ブロック重みＨＡＣは寄与率調整パラメータγを用いて、以下の式（８）のように表される。
【００８５】
【数８】
2019067229.tif 000010
【００８６】
なお、後述する出力画像生成部２７５による重ね合わせが行われる際に重みによる除算が行われるため、図１７に示した重みＨ１〜Ｈ４の値は正規化されていなくてもよい。
【００８７】
平均ブロック重み付け部２７３は、平均ブロック重み生成部２７１により生成された平均ブロック重みＨＤＣを用いて、分離部２１から出力された平均ブロックの重み付けを行う。例えば、平均ブロック重み付け部２７３は、平均ブロックと平均ブロック重みＨＤＣとで要素ごとの積を算出することで、重み付けされた平均ブロックを得る。
【００８８】
差分ブロック重み付け部２７４は、差分ブロック重み生成部２７２により生成された差分ブロック重みＨＡＣを用いて、再構成部２６から出力された再構成差分ブロックの重み付けを行う。例えば、差分ブロック重み付け部２７４は、再構成差分ブロックと差分ブロック重みＨＡＣとで要素ごとの積を算出することで、重み付けされた再構成差分ブロックを得る。
【００８９】
出力画像生成部２７５は、平均ブロック重み付け部２７３により得られた重み付けされた平均ブロックと、差分ブロック重み付け部２７４により得られた重み付けされた再構成差分ブロックとを重ね合わせる。出力画像生成部２７５は、重み付けされた平均ブロックと重み付けされた再構成差分ブロックとを画像全体で重ね合わせて、出力画像を得てもよい。
【００９０】
図１８は、出力画像生成部２７５による重ね合わせ処理を説明するための説明図である。出力画像生成部２７５は、重み付けされた平均ブロック（図１８では単に平均ブロック）を平均ブロックバッファに加算していく。また、出力画像生成部２７５は、重み付けされた再構成差分ブロック（図１８では単に差分ブロック）を差分ブロックバッファに加算していく。また、出力画像生成部２７５は、平均ブロック重み生成部２７１により生成された平均ブロック重みを平均ブロック重みバッファに加算していく。また、出力画像生成部２７５は、差分ブロック重み生成部２７２により生成された差分ブロック重みを差分ブロックバッファに加算していく。なお、これらのバッファは、例えば図１に示した記憶部５０により実現されてもよい。
【００９１】
そして、画像内に設定された全ての入力ブロックに対して上述した処理が実施され、バッファへの加算が完了したら、出力画像生成部２７５は、各ブロックバッファの値を各ブロック重みバッファの値で画素ごとに除算し、各々に対応する画像を取得する。つまり、出力画像生成部２７５は、平均ブロックバッファの値を平均ブロック重みバッファの値で画素ごとに除算し、出力平均画像を取得し、差分ブロックバッファの値を差分ブロック重みバッファの値で画素ごとに除算し、出力差分画像を取得する。
【００９２】
そして、出力画像生成部２７５は、出力平均画像と出力差分画像とを足し合わせて最終的な出力画像を取得する。取得された出力画像は、画像信号の形式で、信号処理部２０の出力信号として、認識部３０へ出力される。
【００９３】
＜＜３．動作＞＞
以上、本実施形態に係る情報処理装置１の構成例について説明した。続いて、本実施形態に係る情報処理装置１の動作例について図１９を参照して説明する。図１９は、本実施形態に係る情報処理装置１の動作例を示すフローチャート図である。
【００９４】
図１９に示すように、まずセンサ部１０の撮像により、画像信号が取得される（Ｓ１０２）。続いて、信号処理部２０の分離部２１が、ステップＳ１０２で取得された画像信号を入力信号とし、入力ブロックごとに平均ブロックと差分ブロックに分離する（Ｓ１０４）。
【００９５】
続いて、信号処理部２０の寄与率算出部２２が、差分ブロックに対する第１基底の寄与率を算出する（Ｓ１０６）。さらに、信号処理部２０の寄与率調整制御部２４が、予め生成された寄与率変換行列を用いて寄与率を変換する変換処理を行う（Ｓ１０８）。さらに、寄与率調整制御部２４は、ステップＳ１０８の変換処理の前後での寄与率の変化に応じた寄与率調整パラメータを生成する（Ｓ１１０）。
【００９６】
さらに、信号処理部２０の寄与率調整部２５が、寄与率調整パラメータに基づいて、ステップＳ１０８で変換処理が施された変換後寄与率の調整を行う（Ｓ１１２）続いて、信号処理部２０の再構成部２６が、ステップＳ１１２で調整された調整寄与率と第１基底に基づいて再構成差分ブロックを生成（再構成）する（Ｓ１１４）。
【００９７】
なお、上述したステップＳ１０４〜Ｓ１１４までの処理は画像内に設定される入力ブロックごとに行われ、繰り返して行われてもよいし並列して行われてもよい。画像内に設定された全ての入力ブロックに対してステップＳ１０４〜Ｓ１１４の処理が行われると、信号処理部２０の重畳部２７が、画像全体で平均ブロックと再構成差分ブロックの重ね合わせを行い、出力画像を取得する（Ｓ１１６）。
【００９８】
最後に、認識部３０が、ステップＳ１１６で得られた出力画像に係る画像信号（出力信号の一例）を入力として、認識パラメータを用いた認識処理を行う（Ｓ１１８）。
【００９９】
＜＜４．変形例＞＞
以上、本開示の一実施形態を説明した。以下では、本実施形態の幾つかの変形例を説明する。なお、以下に説明する変形例は、単独で本実施形態に適用されてもよいし、組み合わせで本実施形態に適用されてもよい。また、各変形例は、本実施形態で説明した構成に代えて適用されてもよいし、本実施形態で説明した構成に対して追加的に適用されてもよい。
【０１００】
＜４−１．変形例１＞
上記実施形態では、センサ部１０がイメージセンサを含み、信号処理部２０は、センサ部１０が撮像により得た画像信号を入力信号として処理を行う例を説明したが、本技術は係る例に限定されない。上述した信号処理部２０の処理は、画像信号を１次元のベクトルとして扱って処理しているため、１次元の波形や、３次元以上のデータに対しても同様に適用することが可能である。
【０１０１】
また、センサ部１０は、イメージセンサに代えて、またはイメージセンサに加えて、マイクロフォン、加速度センサ、振動センサ、超音波センサ、音波センサ、赤外線センサ、磁気センサ等の各種センサを含んでもよい。そして、信号処理部２０は、センサ部１０により取得される多様な信号を入力信号として処理を行うことが可能である。
【０１０２】
＜４−２．変形例２＞
上記実施形態では、信号処理部と認識部が同一の装置に備えられる例を説明したが、本技術は係る例に限定されず、信号処理部と認識部とは別々の装置に存在していてもよい。係る例について、図２０を参照して説明を行う。
【０１０３】
図２０は、本実施形態の変形例に係る情報処理システム１０００の構成例を示す説明図である。図２０に示すように、情報処理システム１０００は、情報処理装置２、サーバ３、及び通信網５を含む。
【０１０４】
情報処理システム１０００では、情報処理装置２がセンシングにより取得した信号が、情報処理装置２による強調処理を施された後にサーバ３へ送信され、情報処理装置２から受信した信号を入力としてサーバ３による認識処理が行われる。
【０１０５】
通信網５は、通信網５に接続されている装置、またはシステムから送信される情報の有線、または無線の伝送路である。例えば、通信網５は、インターネット、電話回線網、衛星通信網等の公衆回線網や、Ethernet（登録商標）を含む各種のＬＡＮ（Local  Area  Network）、ＷＡＮ（Wide  Area  Network）等を含んでもよい。また、通信網５は、ＩＰ−ＶＰＮ（Internet  Protocol-Virtual  Private  Network）等の専用回線網を含んでもよい。
【０１０６】
図２０に示すように、情報処理装置２は、センサ部２１０、信号処理部２２０、通信部２４０、及び記憶部２５０を備える。また、サーバ３は、認識部３３０、通信部３４０、及び記憶部３５０を備える。
【０１０７】
センサ部２１０の機能構成は、図１を参照して説明したセンサ部１０と実質的に同一であるためここでの説明は省略する。
【０１０８】
信号処理部２２０は、図１に示した信号処理部２０と同様の処理を行うが、出力信号を通信部２４０に出力する点において信号処理部２０と異なる。なお、信号処理部２２０において、第２基底（認識基底）は、サーバ３の認識部３３０の認識処理に用いられる認識パラメータから生成される。係る認識パラメータは、サーバ３から情報処理装置２へ送信され、記憶部２５０へ記憶されていてもよい。
【０１０９】
通信部２４０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部２４０は、例えば有線ＬＡＮ（Local  Area  Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
【０１１０】
例えば通信部２４０は、通信網５を介して、サーバ３から認識部３３０が行う認識処理に用いられる認識パラメータを受信する。また、通信部２４０は、通信網５を介して、サーバ３へ信号処理部２２０の出力信号を送信する。
【０１１１】
記憶部２５０は、信号処理部２２０が機能するためのプログラムやパラメータを記憶する。
【０１１２】
認識部３３０は、図１に示した認識部３０と同様に、認識パラメータを用いた認識処理を行う。ただし、認識部３３０は、通信部３４０が情報処理装置２から受信した信号処理部２２０の出力信号を入力として認識処理を行う点において認識部３０と異なる。
【０１１３】
通信部３４０は、有線／無線により他の装置との間でデータの送受信を行うための通信モジュールである。通信部２４０は、例えば有線ＬＡＮ（Local  Area  Network）、無線ＬＡＮ、Ｗｉ−Ｆｉ（Wireless  Fidelity、登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、近距離／非接触通信等の方式で、外部機器と直接またはネットワークアクセスポイントを介して無線通信する。
【０１１４】
例えば通信部３４０は、通信網５を介して、情報処理装置２へ認識部３３０が行う認識処理に用いられる認識パラメータを送信する。また、通信部３４０は、通信網５を介して、情報処理装置２から信号処理部２２０の出力信号を受信する。
【０１１５】
記憶部３５０は、認識部３３０が機能するためのプログラムやパラメータを記憶する。
【０１１６】
以上、説明した情報処理システム１０００のように、信号処理部と認識部が異なる装置に備えられていた場合であっても、本技術は適用することが可能である。
【０１１７】
＜４−３．変形例３＞
また、上記実施形態では、信号処理部２０が、入力ブロックを平均ブロックと差分ブロックとに分離して処理する例を説明したが、本技術は係る例に限定されない。入力ブロックを分離せず、入力ブロックに対し、上述した差分ブロックに対する処理を行うことも可能である。ただし、係る場合、第１基底、及び第２基底に直流成分を表現する規定を含めることが望ましい。また、上述した重ねあわせの処理は不要となる。
【０１１８】
係る構成によれば、分離や重ねあわせの処理が不要となるため、処理負荷が軽減され得る。
【０１１９】
＜４−４．変形例４＞
また、ＮＲ効果を高めるため、上述した寄与率算出部２２により寄与率が算出された際に、適切に寄与率を修正することで簡易なＮＲ処理を行った後に、寄与率調整制御部２４へ出力することも可能である。また、例えばＢＭ３Ｄ等の周知のＮＲ処理を組み合わせることも可能である。
【０１２０】
＜４−５．変形例５＞
また、上記実施形態では、第１基底はHartley基底のような周知の正規直交行列であり、第２基底は、認識処理に用いられる認識パラメータから生成される基底である例を説明したが、第１基底と第２基底には同一の基底が用いられてもよい。
【０１２１】
＜＜５．ハードウェア構成例＞＞
以上、本開示の実施形態を説明した。最後に、図２１を参照して、本開示の実施形態に係る情報処理装置のハードウェア構成について説明する。図２１は、本開示の実施形態に係る情報処理装置のハードウェア構成の一例を示すブロック図である。なお、図２１に示す情報処理装置９００は、例えば、図１、図２０にそれぞれ示した情報処理装置１、情報処理装置２、及びサーバ３を実現し得る。本開示の実施形態に係る情報処理装置１、情報処理装置２、及びサーバ３による情報処理は、ソフトウェアと、以下に説明するハードウェアとの協働により実現される。
【０１２２】
図２１に示すように、情報処理装置９００は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）９０１、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）９０２、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）９０３及びホストバス９０４ａを備える。また、情報処理装置９００は、ブリッジ９０４、外部バス９０４ｂ、インタフェース９０５、入力装置９０６、出力装置９０７、ストレージ装置９０８、ドライブ９０９、接続ポート９１１、通信装置９１３、及びセンサ９１５を備える。情報処理装置９００は、ＣＰＵ９０１に代えて、又はこれとともに、ＤＳＰ若しくはＡＳＩＣ等の処理回路を有してもよい。
【０１２３】
ＣＰＵ９０１は、演算処理装置および制御装置として機能し、各種プログラムに従って情報処理装置９００内の動作全般を制御する。また、ＣＰＵ９０１は、マイクロプロセッサであってもよい。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶する。ＣＰＵ９０１は、例えば、信号処理部２０、認識部３０、信号処理部２２０、認識部３３０を形成し得る。
【０１２４】
ＣＰＵ９０１、ＲＯＭ９０２及びＲＡＭ９０３は、ＣＰＵバスなどを含むホストバス９０４ａにより相互に接続されている。ホストバス９０４ａは、ブリッジ９０４を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ  Ｃｏｍｐｏｎｅｎｔ  Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９０４ｂに接続されている。なお、必ずしもホストバス９０４ａ、ブリッジ９０４および外部バス９０４ｂを分離構成する必要はなく、１つのバスにこれらの機能を実装してもよい。
【０１２５】
入力装置９０６は、例えば、マウス、キーボード、タッチパネル、ボタン、マイクロフォン、スイッチ及びレバー等、ユーザによって情報が入力される装置によって実現される。また、入力装置９０６は、例えば、赤外線やその他の電波を利用したリモートコントロール装置であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器であってもよい。さらに、入力装置９０６は、例えば、上記の入力手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などを含んでいてもよい。情報処理装置９００のユーザは、この入力装置９０６を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。
【０１２６】
出力装置９０７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で形成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９０７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０１２７】
ストレージ装置９０８は、情報処理装置９００の記憶部の一例として形成されたデータ格納用の装置である。ストレージ装置９０８は、例えば、ＨＤＤ等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により実現される。ストレージ装置９０８は、記憶媒体、記憶媒体にデータを記録する記録装置、記憶媒体からデータを読み出す読出し装置および記憶媒体に記録されたデータを削除する削除装置などを含んでもよい。このストレージ装置９０８は、ＣＰＵ９０１が実行するプログラムや各種データ及び外部から取得した各種のデータ等を格納する。上記ストレージ装置９０８は、例えば、記憶部５０、記憶部２５０、記憶部３５０を形成し得る。
【０１２８】
ドライブ９０９は、記憶媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９０９は、装着されている磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等のリムーバブル記憶媒体に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９０９は、リムーバブル記憶媒体に情報を書き込むこともできる。
【０１２９】
接続ポート９１１は、外部機器と接続されるインタフェースであって、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  Ｂｕｓ）などによりデータ伝送可能な外部機器との接続口である。
【０１３０】
通信装置９１３は、例えば、ネットワーク９２０に接続するための通信デバイス等で形成された通信インタフェースである。通信装置９１３は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＬＴＥ（Ｌｏｎｇ  Ｔｅｒｍ  Ｅｖｏｌｕｔｉｏｎ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ  ＵＳＢ）用の通信カード等である。また、通信装置９１３は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ  Ｄｉｇｉｔａｌ  Ｓｕｂｓｃｒｉｂｅｒ  Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９１３は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。通信装置９１３は、例えば、通信部２４０、通信部３４０を形成し得る。
【０１３１】
センサ９１５は、例えば、加速度センサ、ジャイロセンサ、地磁気センサ、光センサ、音センサ、測距センサ、力センサ等の各種のセンサである。センサ９１５は、情報処理装置９００の姿勢、移動速度等、情報処理装置９００自身の状態に関する情報や、情報処理装置９００の周辺の明るさや騒音等、情報処理装置９００の周辺環境に関する情報を取得する。また、センサ９１５は、ＧＰＳ信号を受信して装置の緯度、経度及び高度を測定するＧＰＳセンサを含んでもよい。センサ９１５は、例えば、センサ部１０、センサ部２１０を形成し得る。
【０１３２】
なお、ネットワーク９２０は、ネットワーク９２０に接続されている装置から送信される情報の有線、または無線の伝送路である。例えば、ネットワーク９２０は、インターネット、電話回線網、衛星通信網などの公衆回線網や、Ｅｔｈｅｒｎｅｔ（登録商標）を含む各種のＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）などを含んでもよい。また、ネットワーク９２０は、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｅｔ  Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ  Ｐｒｉｖａｔｅ  Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
【０１３３】
以上、本開示の実施形態に係る情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて実現されていてもよいし、各構成要素の機能に特化したハードウェアにより実現されていてもよい。従って、本開示の実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。
【０１３４】
なお、上述のような本開示の実施形態に係る情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、ＰＣ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリ等である。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信されてもよい。
【０１３５】
＜＜６．応用例＞＞
本開示に係る技術（本技術）は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、ドローン、飛行機、船舶、ロボット等のいずれかの種類の移動体に搭載される装置として実現されてもよい。係る場合、本開示に係る技術は、例えば自動者等の自動運転技術やドローン等の自律飛行技術等の移動体制御技術に用いられ得る。
【０１３６】
図２２は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システムの概略的な構成例を示すブロック図である。
【０１３７】
車両制御システム１２０００は、通信ネットワーク１２００１を介して接続された複数の電子制御ユニットを備える。図２２に示した例では、車両制御システム１２０００は、駆動系制御ユニット１２０１０、ボディ系制御ユニット１２０２０、車外情報検出ユニット１２０３０、車内情報検出ユニット１２０４０、及び統合制御ユニット１２０５０を備える。また、統合制御ユニット１２０５０の機能構成として、マイクロコンピュータ１２０５１、音声画像出力部１２０５２、及び車載ネットワークＩ／Ｆ（ｉｎｔｅｒｆａｃｅ）１２０５３が図示されている。
【０１３８】
駆動系制御ユニット１２０１０は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット１２０１０は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。
【０１３９】
ボディ系制御ユニット１２０２０は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット１２０２０は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット１２０２０には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット１２０２０は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０１４０】
車外情報検出ユニット１２０３０は、車両制御システム１２０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット１２０３０には、撮像部１２０３１が接続される。車外情報検出ユニット１２０３０は、撮像部１２０３１に車外の画像を撮像させるとともに、撮像された画像を受信する。車外情報検出ユニット１２０３０は、受信した画像に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。
【０１４１】
撮像部１２０３１は、光を受光し、その光の受光量に応じた電気信号を出力する光センサである。撮像部１２０３１は、電気信号を画像として出力することもできるし、測距の情報として出力することもできる。また、撮像部１２０３１が受光する光は、可視光であっても良いし、赤外線等の非可視光であっても良い。
【０１４２】
車内情報検出ユニット１２０４０は、車内の情報を検出する。車内情報検出ユニット１２０４０には、例えば、運転者の状態を検出する運転者状態検出部１２０４１が接続される。運転者状態検出部１２０４１は、例えば運転者を撮像するカメラを含み、車内情報検出ユニット１２０４０は、運転者状態検出部１２０４１から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。
【０１４３】
マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット１２０１０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ  Ｄｒｉｖｅｒ  Ａｓｓｉｓｔａｎｃｅ  Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行うことができる。
【０１４４】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０又は車内情報検出ユニット１２０４０で取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１４５】
また、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で取得される車外の情報に基づいて、ボディ系制御ユニット１２０２０に対して制御指令を出力することができる。例えば、マイクロコンピュータ１２０５１は、車外情報検出ユニット１２０３０で検知した先行車又は対向車の位置に応じてヘッドランプを制御し、ハイビームをロービームに切り替える等の防眩を図ることを目的とした協調制御を行うことができる。
【０１４６】
音声画像出力部１２０５２は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２２の例では、出力装置として、オーディオスピーカ１２０６１、表示部１２０６２及びインストルメントパネル１２０６３が例示されている。表示部１２０６２は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。
【０１４７】
図２３は、撮像部１２０３１の設置位置の例を示す図である。
【０１４８】
図２３では、車両１２１００は、撮像部１２０３１として、撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５を有する。
【０１４９】
撮像部１２１０１，１２１０２，１２１０３，１２１０４，１２１０５は、例えば、車両１２１００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部等の位置に設けられる。フロントノーズに備えられる撮像部１２１０１及び車室内のフロントガラスの上部に備えられる撮像部１２１０５は、主として車両１２１００の前方の画像を取得する。サイドミラーに備えられる撮像部１２１０２，１２１０３は、主として車両１２１００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部１２１０４は、主として車両１２１００の後方の画像を取得する。撮像部１２１０１及び１２１０５で取得される前方の画像は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０１５０】
なお、図２３には、撮像部１２１０１ないし１２１０４の撮影範囲の一例が示されている。撮像範囲１２１１１は、フロントノーズに設けられた撮像部１２１０１の撮像範囲を示し、撮像範囲１２１１２，１２１１３は、それぞれサイドミラーに設けられた撮像部１２１０２，１２１０３の撮像範囲を示し、撮像範囲１２１１４は、リアバンパ又はバックドアに設けられた撮像部１２１０４の撮像範囲を示す。例えば、撮像部１２１０１ないし１２１０４で撮像された画像データが重ね合わせられることにより、車両１２１００を上方から見た俯瞰画像が得られる。
【０１５１】
撮像部１２１０１ないし１２１０４の少なくとも１つは、距離情報を取得する機能を有していてもよい。例えば、撮像部１２１０１ないし１２１０４の少なくとも１つは、複数の撮像素子からなるステレオカメラであってもよいし、位相差検出用の画素を有する撮像素子であってもよい。
【０１５２】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を基に、撮像範囲１２１１１ないし１２１１４内における各立体物までの距離と、この距離の時間的変化（車両１２１００に対する相対速度）を求めることにより、特に車両１２１００の進行路上にある最も近い立体物で、車両１２１００と略同じ方向に所定の速度（例えば、０ｋｍ／ｈ以上）で走行する立体物を先行車として抽出することができる。さらに、マイクロコンピュータ１２０５１は、先行車の手前に予め確保すべき車間距離を設定し、自動ブレーキ制御（追従停止制御も含む）や自動加速制御（追従発進制御も含む）等を行うことができる。このように運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行うことができる。
【０１５３】
例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４から得られた距離情報を元に、立体物に関する立体物データを、２輪車、普通車両、大型車両、歩行者、電柱等その他の立体物に分類して抽出し、障害物の自動回避に用いることができる。例えば、マイクロコンピュータ１２０５１は、車両１２１００の周辺の障害物を、車両１２１００のドライバが視認可能な障害物と視認困難な障害物とに識別する。そして、マイクロコンピュータ１２０５１は、各障害物との衝突の危険度を示す衝突リスクを判断し、衝突リスクが設定値以上で衝突可能性がある状況であるときには、オーディオスピーカ１２０６１や表示部１２０６２を介してドライバに警報を出力することや、駆動系制御ユニット１２０１０を介して強制減速や回避操舵を行うことで、衝突回避のための運転支援を行うことができる。
【０１５４】
撮像部１２１０１ないし１２１０４の少なくとも１つは、赤外線を検出する赤外線カメラであってもよい。例えば、マイクロコンピュータ１２０５１は、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在するか否かを判定することで歩行者を認識することができる。かかる歩行者の認識は、例えば赤外線カメラとしての撮像部１２１０１ないし１２１０４の撮像画像における特徴点を抽出する手順と、物体の輪郭を示す一連の特徴点にパターンマッチング処理を行って歩行者か否かを判別する手順によって行われる。マイクロコンピュータ１２０５１が、撮像部１２１０１ないし１２１０４の撮像画像中に歩行者が存在すると判定し、歩行者を認識すると、音声画像出力部１２０５２は、当該認識された歩行者に強調のための方形輪郭線を重畳表示するように、表示部１２０６２を制御する。また、音声画像出力部１２０５２は、歩行者を示すアイコン等を所望の位置に表示するように表示部１２０６２を制御してもよい。
【０１５５】
以上、本開示に係る技術が適用され得る車両制御システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、車外情報検出ユニット１２０３０、及びマイクロコンピュータ１２０５１に適用され得る。具体的には、図１に示した信号処理部２０、及び認識部３０は、車外情報検出ユニット１２０３０またはマイクロコンピュータ１２０５１に適用することができる。本開示に係る技術が上述した車両制御システム１２０００に適用される場合、撮像部１２０３１が図１のセンサ部１０に相当し、撮像部１２０３１により取得された画像信号が入力信号として用いられる。そして、本開示に係る技術が車外情報検出ユニット１２０３０に適用される場合、例えば車外情報検出ユニット１２０３０は、上述した物体検出処理（認識処理の一例）に用いられる認識パラメータから生成される認識基底に基づいて、画像信号の強調処理を行う。このように本開示に係る技術を車外情報検出ユニット１２０３０に適用することにより、物体検出処理をより高精度に行うことが可能である。また、本開示に係る技術がマイクロコンピュータ１２０５１に適用される場合、例えばマイクロコンピュータ１２０５１は、上述した歩行者の認識処理に用いられる認識パラメータから生成される認識基底に基づいて、画像信号の強調処理を行う。このように本開示に係る技術をマイクロコンピュータ１２０５１に適用することにより、歩行者の認識処理をより高精度に行うことが可能となる。
【０１５６】
また、ドローン等の自律飛行技術においては、目標物体を定めて自律飛行を行うことが考えられる。そこで、ドローンに搭載される装置として本技術が実現された場合、ドローンに搭載されたカメラ（センサ部１０に相当）が取得した画像信号を入力信号として、上述した信号処理部２０による処理が行われ得る。係る際、信号処理部２０は、目標物体を認識するための認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う。
【０１５７】
係る構成により、物体の認識精度が向上する効果が期待される。
【０１５８】
また、本技術は、虹彩の模様を利用した本人認証を行う虹彩認証システムにも適用することが可能である。係る場合、カメラ（センサ部１０に相当）が取得した瞳の画像に係る画像信号を入力信号として、上述した信号処理部２０による処理が行われ得る。係る際、信号処理部２０は、認証処理（認識処理の一例）に用いられるテンプレートを認識パラメータとし、当該テンプレートから生成される認識基底に基づいて、入力信号の強調処理を行う。
【０１５９】
認証処理に用いられるテンプレートを認識パラメータとして用いることにより、認証処理に必要な情報を保持しつつノイズを低減させることが可能であるため、認証精度の向上が見込まれる。
【０１６０】
また、本技術は、声紋を利用した本人認証を行う声紋認証（話者認識）システムにも適用することが可能である。係る場合、マイクロフォン（センサ部１０に相当）が取得した話者の音声信号を入力信号として、上述した信号処理部２０による処理が行われ得る。係る際、信号処理部２０は、行われる認証処理に応じた認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う。行われる認証処理がパターンマッチングであればテンプレート、ニューラルネットワークであればフィルタを認識パラメータとして用いられ得る。
【０１６１】
認証処理に用いられるテンプレートやフィルタを認識パラメータとして用いることにより、認証処理に必要な情報を保持しつつノイズを低減させることが可能であるため、認証精度の向上が見込まれる。
【０１６２】
また、本技術は、内視鏡手術システムに適用されてもよい。
【０１６３】
図２４は、本開示に係る技術（本技術）が適用され得る内視鏡手術システムの概略的な構成の一例を示す図である。
【０１６４】
図２４では、術者（医師）１１１３１が、内視鏡手術システム１１０００を用いて、患者ベッド１１１３３上の患者１１１３２に手術を行っている様子が図示されている。図示するように、内視鏡手術システム１１０００は、内視鏡１１１００と、気腹チューブ１１１１１やエネルギー処置具１１１１２等の、その他の術具１１１１０と、内視鏡１１１００を支持する支持アーム装置１１１２０と、内視鏡下手術のための各種の装置が搭載されたカート１１２００と、から構成される。
【０１６５】
内視鏡１１１００は、先端から所定の長さの領域が患者１１１３２の体腔内に挿入される鏡筒１１１０１と、鏡筒１１１０１の基端に接続されるカメラヘッド１１１０２と、から構成される。図示する例では、硬性の鏡筒１１１０１を有するいわゆる硬性鏡として構成される内視鏡１１１００を図示しているが、内視鏡１１１００は、軟性の鏡筒を有するいわゆる軟性鏡として構成されてもよい。
【０１６６】
鏡筒１１１０１の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡１１１００には光源装置１１２０３が接続されており、当該光源装置１１２０３によって生成された光が、鏡筒１１１０１の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者１１１３２の体腔内の観察対象に向かって照射される。なお、内視鏡１１１００は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０１６７】
カメラヘッド１１１０２の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：  Ｃａｍｅｒａ  Ｃｏｎｔｒｏｌ  Ｕｎｉｔ）１１２０１に送信される。
【０１６８】
ＣＣＵ１１２０１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）等によって構成され、内視鏡１１１００及び表示装置１１２０２の動作を統括的に制御する。さらに、ＣＣＵ１１２０１は、カメラヘッド１１１０２から画像信号を受け取り、その画像信号に対して、例えば現像処理（デモザイク処理）等の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。
【０１６９】
表示装置１１２０２は、ＣＣＵ１１２０１からの制御により、当該ＣＣＵ１１２０１によって画像処理が施された画像信号に基づく画像を表示する。
【０１７０】
光源装置１１２０３は、例えばＬＥＤ（Ｌｉｇｈｔ  Ｅｍｉｔｔｉｎｇ  Ｄｉｏｄｅ）等の光源から構成され、術部等を撮影する際の照射光を内視鏡１１１００に供給する。
【０１７１】
入力装置１１２０４は、内視鏡手術システム１１０００に対する入力インタフェースである。ユーザは、入力装置１１２０４を介して、内視鏡手術システム１１０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、内視鏡１１１００による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示等を入力する。
【０１７２】
処置具制御装置１１２０５は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具１１１１２の駆動を制御する。気腹装置１１２０６は、内視鏡１１１００による視野の確保及び術者の作業空間の確保の目的で、患者１１１３２の体腔を膨らめるために、気腹チューブ１１１１１を介して当該体腔内にガスを送り込む。レコーダ１１２０７は、手術に関する各種の情報を記録可能な装置である。プリンタ１１２０８は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０１７３】
なお、内視鏡１１１００に術部を撮影する際の照射光を供給する光源装置１１２０３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成することができる。ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置１１２０３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０１７４】
また、光源装置１１２０３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド１１１０２の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０１７５】
また、光源装置１１２０３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Ｎａｒｒｏｗ  Ｂａｎｄ  Ｉｍａｇｉｎｇ）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察すること（自家蛍光観察）、又はインドシアニングリーン（ＩＣＧ）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得ること等を行うことができる。光源装置１１２０３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０１７６】
図２５は、図２４に示すカメラヘッド１１１０２及びＣＣＵ１１２０１の機能構成の一例を示すブロック図である。
【０１７７】
カメラヘッド１１１０２は、レンズユニット１１４０１と、撮像部１１４０２と、駆動部１１４０３と、通信部１１４０４と、カメラヘッド制御部１１４０５と、を有する。ＣＣＵ１１２０１は、通信部１１４１１と、画像処理部１１４１２と、制御部１１４１３と、を有する。カメラヘッド１１１０２とＣＣＵ１１２０１とは、伝送ケーブル１１４００によって互いに通信可能に接続されている。
【０１７８】
レンズユニット１１４０１は、鏡筒１１１０１との接続部に設けられる光学系である。鏡筒１１１０１の先端から取り込まれた観察光は、カメラヘッド１１１０２まで導光され、当該レンズユニット１１４０１に入射する。レンズユニット１１４０１は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。
【０１７９】
撮像部１１４０２は、撮像素子で構成される。撮像部１１４０２を構成する撮像素子は、１つ（いわゆる単板式）であってもよいし、複数（いわゆる多板式）であってもよい。撮像部１１４０２が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、撮像部１１４０２は、３Ｄ（Ｄｉｍｅｎｓｉｏｎａｌ）表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者１１１３１は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部１１４０２が多板式で構成される場合には、各撮像素子に対応して、レンズユニット１１４０１も複数系統設けられ得る。
【０１８０】
また、撮像部１１４０２は、必ずしもカメラヘッド１１１０２に設けられなくてもよい。例えば、撮像部１１４０２は、鏡筒１１１０１の内部に、対物レンズの直後に設けられてもよい。
【０１８１】
駆動部１１４０３は、アクチュエータによって構成され、カメラヘッド制御部１１４０５からの制御により、レンズユニット１１４０１のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部１１４０２による撮像画像の倍率及び焦点が適宜調整され得る。
【０１８２】
通信部１１４０４は、ＣＣＵ１１２０１との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４０４は、撮像部１１４０２から得た画像信号をＲＡＷデータとして伝送ケーブル１１４００を介してＣＣＵ１１２０１に送信する。
【０１８３】
また、通信部１１４０４は、ＣＣＵ１１２０１から、カメラヘッド１１１０２の駆動を制御するための制御信号を受信し、カメラヘッド制御部１１４０５に供給する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。
【０１８４】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、ユーザによって適宜指定されてもよいし、取得された画像信号に基づいてＣＣＵ１１２０１の制御部１１４１３によって自動的に設定されてもよい。後者の場合には、いわゆるＡＥ（Ａｕｔｏ  Ｅｘｐｏｓｕｒｅ）機能、ＡＦ（Ａｕｔｏ  Ｆｏｃｕｓ）機能及びＡＷＢ（Ａｕｔｏ  Ｗｈｉｔｅ  Ｂａｌａｎｃｅ）機能が内視鏡１１１００に搭載されていることになる。
【０１８５】
カメラヘッド制御部１１４０５は、通信部１１４０４を介して受信したＣＣＵ１１２０１からの制御信号に基づいて、カメラヘッド１１１０２の駆動を制御する。
【０１８６】
通信部１１４１１は、カメラヘッド１１１０２との間で各種の情報を送受信するための通信装置によって構成される。通信部１１４１１は、カメラヘッド１１１０２から、伝送ケーブル１１４００を介して送信される画像信号を受信する。
【０１８７】
また、通信部１１４１１は、カメラヘッド１１１０２に対して、カメラヘッド１１１０２の駆動を制御するための制御信号を送信する。画像信号や制御信号は、電気通信や光通信等によって送信することができる。
【０１８８】
画像処理部１１４１２は、カメラヘッド１１１０２から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。
【０１８９】
制御部１１４１３は、内視鏡１１１００による術部等の撮像、及び、術部等の撮像により得られる撮像画像の表示に関する各種の制御を行う。例えば、制御部１１４１３は、カメラヘッド１１１０２の駆動を制御するための制御信号を生成する。
【０１９０】
また、制御部１１４１３は、画像処理部１１４１２によって画像処理が施された画像信号に基づいて、術部等が映った撮像画像を表示装置１１２０２に表示させる。この際、制御部１１４１３は、各種の画像認識技術を用いて撮像画像内における各種の物体を認識してもよい。例えば、制御部１１４１３は、撮像画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等を認識することができる。制御部１１４１３は、表示装置１１２０２に撮像画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させてもよい。手術支援情報が重畳表示され、術者１１１３１に提示されることにより、術者１１１３１の負担を軽減することや、術者１１１３１が確実に手術を進めることが可能になる。
【０１９１】
カメラヘッド１１１０２及びＣＣＵ１１２０１を接続する伝送ケーブル１１４００は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０１９２】
ここで、図示する例では、伝送ケーブル１１４００を用いて有線で通信が行われていたが、カメラヘッド１１１０２とＣＣＵ１１２０１との間の通信は無線で行われてもよい。
【０１９３】
以上、本開示に係る技術が適用され得る内視鏡手術システムの一例について説明した。本開示に係る技術は、以上説明した構成のうち、ＣＣＵ１１２０１の画像処理部１１４１２、及び制御部１１４１３に適用され得る。具体的には、図１に示した信号処理部２０は、画像処理部１１４１２に適用することができ、図１に示した認識部３０は制御部１１４１３に適用することが出来る。本開示に係る技術を画像処理部１１４１２、及び制御部１１４１３に適用することにより、上述した鉗子等の術具、特定の生体部位、出血、エネルギー処置具１１１１２の使用時のミスト等の認識精度が向上し得る。
【０１９４】
なお、ここでは、一例として内視鏡手術システムについて説明したが、本開示に係る技術は、その他、例えば、顕微鏡手術システム等に適用されてもよい。
【０１９５】
なお、本技術の応用範囲は上述した例に限定されず、認識処理に係る多様な技術に応用され得る。例えば、ＰＣ（Personal  Computer）、カメラ、スマートフォン、タブレット端末、ＨＭＤ（Head  Mounted  Display）、脳磁図（MEG:Magnetoencephalography）計測システム等に本技術が適用されてもよい。
【０１９６】
＜＜７．むすび＞＞
以上説明したように、本開示の実施形態によれば、認識処理に適した信号を得るための信号処理を行うことで、認識精度を向上させることが可能である。
【０１９７】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１９８】
例えば、上記実施形態における各ステップは、必ずしもフローチャート図として記載された順序に沿って時系列に処理される必要はない。例えば、上記実施形態の処理における各ステップは、フローチャート図として記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１９９】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０２００】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う信号処理部を備える、情報処理装置。
（２）
前記信号処理部は、前記入力信号を平均信号と差分信号とに分離する分離部を有し、前記認識基底に基づいて前記差分信号を強調することにより強調差分信号を取得する、前記（１）に記載の情報処理装置。
（３）
前記信号処理部は、
前記差分信号に対する所定の基底の寄与率を算出する寄与率算出部、
前記寄与率に対して前記認識基底に基づく変換処理を施し、前記変換処理の前後での前記寄与率の変化に応じた寄与率調整パラメータを生成する寄与率調整制御部、
前記寄与率調整パラメータに基づいて、前記変換処理が施された前記寄与率を調整して調整寄与率を取得する寄与率調整部、及び
前記調整寄与率と前記所定の基底とに基づいて前記強調差分信号を生成する再構成部、
をさらに有する、前記（２）に記載の情報処理装置。
（４）
前記寄与率調整制御部が行う前記変換処理は、前記認識基底の固有ベクトルの有用度に応じて前記寄与率を変換する処理である、前記（３）に記載の情報処理装置。
（５）
前記寄与率調整部は、前記変換処理が施された前記寄与率のコントラストを強調した強調寄与率と、前記変換処理が施された前記寄与率とを前記寄与率調整パラメータに基づいて混合させて、前記調整寄与率を取得する、前記（４）に記載の情報処理装置。
（６）
前記信号処理部は、前記固有ベクトルの有用度を設定して、前記寄与率調整制御部が行う前記変換処理に用いられる寄与率変換行列を生成する行列生成部をさらに有する、前記（４）または（５）に記載の情報処理装置。
（７）
前記行列生成部は、前記認識パラメータの主成分分析により前記認識基底を生成する、前記（６）に記載の情報処理装置。
（８）
前記信号処理部は、前記平均信号と、前記強調差分信号とを重ね合わせる重畳部をさらに有する、前記（３）〜（７）のいずれか一項に記載の情報処理装置。
（９）
前記重畳部は、前記寄与率調整パラメータに基づいて、前記平均信号、及び前記差分信号の各々に重み付けを行う、前記（８）に記載の情報処理装置。
（１０）
前記情報処理装置は、前記強調処理により得られた出力信号を入力として、前記認識パラメータを用いた前記認識処理を行う認識部をさらに備える、前記（１）〜（９）のいずれか一項に記載の情報処理装置。
（１１）
前記入力信号は画像信号である、前記（１）〜（１０）のいずれか一項に記載の情報処理装置。
（１２）
認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理をプロセッサが行うことを含む、情報処理方法。
（１３）
コンピュータに、
認識処理に用いられる認識パラメータから生成される認識基底に基づいて、入力信号の強調処理を行う機能を実現させるためのプログラム。
【符号の説明】
【０２０１】
１  情報処理装置
１０  センサ部
２０  信号処理部
２１  分離部
２２  寄与率算出部
２３  行列生成部
２４  寄与率調整制御部
２５  寄与率調整部
２６  再構成部
２７  重畳部
３０  認識部
５０  記憶部
２４１  寄与率変換部
２４６  寄与率調整パラメータ生成部
【図１】
2019067229.tif 000011
【図２】
2019067229.tif 000012
【図３】
2019067229.tif 000013
【図４】
2019067229.tif 000014
【図５】
2019067229.tif 000015
【図６】
2019067229.tif 000016
【図７】
2019067229.tif 000017
【図８】
2019067229.tif 000018
【図９】
2019067229.tif 000019
【図１０】
2019067229.tif 000020
【図１１】
2019067229.tif 000021
【図１２】
2019067229.tif 000022
【図１３】
2019067229.tif 000023
【図１４】
2019067229.tif 000024
【図１５】
2019067229.tif 000025
【図１６】
2019067229.tif 000026
【図１７】
2019067229.tif 000027
【図１８】
2019067229.tif 000028
【図１９】
2019067229.tif 000029
【図２０】
2019067229.tif 000030
【図２１】
2019067229.tif 000031
【図２２】
2019067229.tif 000032
【図２３】
2019067229.tif 000033
【図２４】
2019067229.tif 000034
【図２５】
2019067229.tif 000035