(57)【要約】【課題】認識に適した撮像制御を行うことを可能とする。【解決手段】撮像画像におけるブレ量情報を取得するブレ量情報取得部と、前記撮像画像におけるノイズ量情報を取得するノイズ量情報取得部と、前記ブレ量情報取得部により取得された前記ブレ量情報と、前記ノイズ量情報取得部により取得された前記ノイズ量情報と、に応じて第１の撮像制御値を算出する第１の撮像制御値算出部と、を備える、信号処理装置。【選択図】図１
2016092723.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像におけるブレ量情報を取得するブレ量情報取得部と、
前記撮像画像におけるノイズ量情報を取得するノイズ量情報取得部と、
前記ブレ量情報取得部により取得された前記ブレ量情報と、前記ノイズ量情報取得部により取得された前記ノイズ量情報と、に応じて第１の撮像制御値を算出する第１の撮像制御値算出部と、
を備える、信号処理装置。
【請求項２】
シーンの照度情報を取得するシーン照度情報取得部を備え、
前記第１の撮像制御値算出部は、前記シーン照度情報取得部により取得された前記照度情報に応じて前記第１の撮像制御値を算出する、
請求項１に記載の信号処理装置。
【請求項３】
前記撮像画像における被写体種類情報を取得する被写体種類情報取得部を備え、
前記第１の撮像制御値算出部は、前記被写体種類情報取得部により取得された前記被写体種類情報に応じて前記撮像画像におけるブレ量と前記撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、前記関係に応じて前記第１の撮像制御値を算出する、
請求項１に記載の信号処理装置。
【請求項４】
前記撮像画像におけるブレ方向情報を取得するブレ方向情報取得部を備え、
前記第１の撮像制御値算出部は、前記ブレ方向情報取得部により取得された前記ブレ方向情報に応じて前記撮像画像におけるブレ量と前記撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、前記関係に応じて前記第１の撮像制御値を算出する、
請求項１に記載の信号処理装置。
【請求項５】
前記撮像画像における被写体サイズ情報を取得する被写体サイズ情報取得部を備え、
前記ブレ量情報取得部は、前記被写体サイズ情報取得部により取得された前記被写体サイズ情報に基づいて前記ブレ量情報を補正し、
前記第１の撮像制御値算出部は、前記ブレ量情報取得部により補正された前記ブレ量情報に応じて前記第１の撮像制御値を算出する、
請求項１に記載の信号処理装置。
【請求項６】
前記シーン照度情報取得部により取得された前記照度情報に応じて第２の撮像制御値を算出する第２の撮像制御値算出部を備える、請求項２に記載の信号処理装置。
【請求項７】
前記第１の撮像制御値算出部により算出された前記第１の撮像制御値に基づいた撮像を行う第１の撮像部と、
前記第２の撮像制御値算出部により算出された前記第２の撮像制御値に基づいた撮像を行う第２の撮像部と、
を備える、請求項６に記載の信号処理装置。
【請求項８】
前記第１の撮像部により得られた第１の撮像画像と前記第２の撮像部により得られた第２の撮像画像を合成する撮像画像合成部を備える、請求項７に記載の信号処理装置。
【請求項９】
前記第１の撮像制御値算出部により算出された前記第１の撮像制御値と前記第２の撮像制御値算出部により算出された前記第２の撮像制御値を合成する撮像制御値合成部を備える、請求項６に記載の信号処理装置。
【請求項１０】
前記ブレ量情報は、前記信号処理装置の角速度を示す情報である、請求項１に記載の信号処理装置。
【請求項１１】
撮像画像におけるブレ量情報を取得するブレ量情報取得部と、
前記撮像画像におけるノイズ量情報を取得するノイズ量情報取得部と、
前記ブレ量情報取得部により取得された前記ブレ量情報と、前記ノイズ量情報取得部により取得された前記ノイズ量情報と、に応じて撮像制御値を算出する撮像制御値算出部と、
前記撮像制御値算出部により算出された前記撮像制御値に基づいた撮像を行う撮像部と、
前記撮像部によって得られた画像情報を画像処理する画像処理部と、
を備える、撮像システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、信号処理装置及び撮像システムに関する。
【背景技術】
【０００２】
近年、風景や人物等の被写体を撮像して画像データを作成するデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。このような撮像装置は一般的に各種情報に応じて露光長等の撮像制御値を取得する処理を行う信号処理装置としての機能を備える。
【０００３】
例えば、特許文献１には、撮像画像における被写体の動きの有無に応じて露光長を変化させる制御を行う監視カメラが開示されている。
【０００４】
また、特許文献２には、撮像画像におけるエッジ方向のヒストグラムの頻度の平均およびエッジ方向のヒストグラムの頻度の分散に応じて撮像制御値を算出する処理を行う物体認識装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００１−２８１７１８号公報
【特許文献２】特開２０１１−１８８０９４号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に開示されている技術において、認識に適した撮像制御を行うことは困難である。また、信号処理装置及び撮像システムに関する技術分野において、認識に適した撮像制御に関するさらなる提案が求められている。
【０００７】
そこで、本開示では、認識に適した撮像制御を行うことが可能な、新規かつ改良された信号処理装置及び撮像システムを提案する。
【課題を解決するための手段】
【０００８】
本開示によれば、撮像画像におけるブレ量情報を取得するブレ量情報取得部と、前記撮像画像におけるノイズ量情報を取得するノイズ量情報取得部と、前記ブレ量情報取得部により取得された前記ブレ量情報と、前記ノイズ量情報取得部により取得された前記ノイズ量情報と、に応じて第１の撮像制御値を算出する第１の撮像制御値算出部と、を備える、信号処理装置が提供される。
【０００９】
また、本開示によれば、撮像画像におけるブレ量情報を取得するブレ量情報取得部と、前記撮像画像におけるノイズ量情報を取得するノイズ量情報取得部と、前記ブレ量情報取得部により取得された前記ブレ量情報と、前記ノイズ量情報取得部により取得された前記ノイズ量情報と、に応じて撮像制御値を算出する撮像制御値算出部と、前記撮像制御値算出部により算出された前記撮像制御値に基づいた撮像を行う撮像部と、前記撮像部によって得られた画像情報を画像処理する画像処理部と、を備える、撮像システムが提供される。
【発明の効果】
【００１０】
以上説明したように本開示によれば、認識に適した撮像制御を行うことが可能である。
【００１１】
なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
【図面の簡単な説明】
【００１２】
【図１】本開示の第１の実施形態に係る撮像システムの構成の具体例を示す説明図である。
【図２】本開示の第１の実施形態に係る画素配列の具体例を示す説明図である。
【図３】本開示の第１の実施形態に係る撮像画像の被写体領域における変位ベクトルの具体例を示す説明図である。
【図４】本開示の第１の実施形態に係る露光のタイミングの具体例を示す説明図である。
【図５】本開示の第１の実施形態に係る露光のタイミングの具体例を示す説明図である。
【図６】本開示の第１の実施形態に係る露光のタイミングの具体例を示す説明図である。
【図７】本開示の第１の実施形態に係る認識評価マップの具体例を示す説明図である。
【図８】本開示の他の実施形態に係る撮像システムの構成の具体例を示す説明図である。
【図９】本開示の他の実施形態に係る撮像システムの構成の具体例を示す説明図である。
【図１０】比較例に係る撮像システムの構成の具体例を示す説明図である。
【図１１】比較例に係る撮像システムにおけるプログラム線図の具体例を示す説明図である。
【図１２】本開示の第１の実施形態に係る露光長とゲインの関係の具体例を示す説明図である。
【図１３】本開示の第１の実施形態に係る撮像制御値算出処理を説明するための図である。
【図１４】本開示の第１の実施形態に係る撮像システムが行う処理の流れの具体例を示すフローチャートである。
【図１５】変形例に係る撮像システムの構成の具体例を示す説明図である。
【図１６】変形例に係る撮像システムが行う処理の流れの具体例を示すフローチャートである。
【図１７】本開示の第２の実施形態に係る撮像システムの構成の具体例を示す説明図である。
【図１８】本開示の第２の実施形態に係る撮像システムが行う処理の流れの具体例を示すフローチャートである。
【図１９】本開示の第３の実施形態に係る撮像システムの構成の具体例を示す説明図である。
【図２０】本開示の第３の実施形態に係る露光のタイミングの具体例を示す説明図である。
【図２１】本開示の第３の実施形態に係る画素配列の具体例を示す説明図である。
【図２２】本開示の第３の実施形態に係る露光のタイミングの具体例を示す説明図である。
【図２３】本開示の他の実施形態に係る撮像システムの構成の具体例を示す説明図である。
【図２４】本開示の第３の実施形態に係る撮像システムが行う処理の流れの具体例を示すフローチャートである。
【図２５】第１の応用例に係る撮像システムの構成の具体例を示す説明図である。
【図２６】第１の応用例に係る撮像システムが行う処理の流れの具体例を示すフローチャートである。
【図２７】第２の応用例に係る撮像システムの構成の具体例を示す説明図である。
【図２８】第２の応用例に係る撮像システムが行う処理の流れの具体例を示すフローチャートである。
【図２９】変形例に係る撮像システムが行う処理の流れの具体例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１４】
なお、説明は以下の順序で行うものとする。
１．第１の実施形態に係る撮像システム
１−１．構成
１−２．比較例
１−３．撮像制御値算出処理
１−４．動作
１−５．変形例
２．第２の実施形態に係る撮像システム
２−１．構成
２−２．動作
３．第３の実施形態に係る撮像システム
３−１．構成
３−２．動作
３−３．第１の応用例
３−４．第２の応用例
３−５．変形例
４．むすび
【００１５】
＜＜１．第１の実施形態に係る撮像システム＞＞
＜１−１．構成＞
まず、図１を参照して、本開示の第１の実施形態に係る撮像システム１０の構成について説明する。図１は、本開示の第１の実施形態に係る撮像システム１０の構成の具体例を示す説明図である。
【００１６】
図１に示したように、本開示の第１の実施形態に係る撮像システム１０は、撮像部１１０と、被写体認識部１２０と、ブレ情報取得部１３０と、ノイズ量情報取得部１４０と、シーン照度情報取得部１５０と、マップ記憶部１６０と、第１の算出部１７１と、画像処理部１８０と、を備える。撮像部１１０と、被写体認識部１２０と、ブレ情報取得部１３０と、ノイズ量情報取得部１４０と、シーン照度情報取得部１５０と、マップ記憶部１６０と、第１の算出部１７１と、は信号処理装置としての機能を実現するチップ１０１上に構成される。
【００１７】
（撮像部）
撮像部１１０は、複数の画素が配列された撮像面を有し、撮影レンズおよびズームレンズなどの撮像光学系により撮像面に形成された被写体像を電気的な画素信号に変換する。
撮像部１１０は、赤色域に感度域を持つＲ画素、緑色域に感度域を持つＧ画素、および青色域に感度域を持つＢ画素からなってもよいし、同一の分光感度特性を有する画素からなってもよい。また、撮像部１１０における各画素は、第１の画素群または第２の画素群に分類され、第１の画素群に属する画素と第２の画素群に属する画素には異なる撮像制御値（例えば、露光長、露光タイミング）が適用されてもよい。以下、撮像部１１０の画素配列についてより具体的に説明する。
【００１８】
図２は、本開示の第１の実施形態に係る画素配列の具体例を示す説明図である。例えば、撮像部１１０の画素配列としては、図２に示した第１の画素配列８０２、第２の画素配列８０４、および第３の画素配列８０６などが挙げられる。第１の画素配列８０２では、撮像部１１０がＲ画素、Ｇ画素、およびＢ画素からなり、各画素は、斜め方向の列を交互に形成する第１の画素群（ハッチ領域）または第２の画素群（白色領域）に分類される。
【００１９】
また、第２の画素配列８０４では、撮像部１１０がＲ画素、Ｇ画素、およびＢ画素からなり、各画素は、水平方向の列を２列ごとに交互に形成する第１の画素群または第２の画素群に分類される。
【００２０】
また、第３の画素配列８０６では、撮像部１１０が同一の分光感度特性を有する画素からなり、各画素は、各々市松状に配置された第１の画素群または第２の画素群に分類される。例えば、第１の画素群に属する画素Ｗｓ（Ｗｈｉｔｅ  ｓｈｏｒｔ）には、第２の画素群に属する画素Ｗｌ（Ｗｈｉｔｅ  ｌｏｎｇ）より短い露光長が適用される。
【００２１】
ここで、撮像部１１０は第１の算出部１７１によって算出された第１の撮像制御値に基づいた撮像を行う。なお、第１の算出部１７１によって第１の撮像制御値が算出される時点より前のフレームにおいて、撮像部１１０は予め設定された撮像制御値に基づいた撮像を行う。また、撮像部１１０による撮像が行われない時間が一定時間経過した場合、撮像部１１０は予め設定された撮像制御値に基づいた撮像を行ってもよい。例えば、第１の画素群または第２の画素群に分類される複数の画素からなる撮像部１１０において、第１の画素群に属する画素と第２の画素群に属する画素には異なる撮像制御値が予め設定される。なお、第１の算出部１７１によって第１の撮像制御値が算出された場合、第１の画素群または第２の画素群に分類される複数の画素からなる撮像部１１０において、第１の画素群に属する画素に第１の撮像制御値が適用され、第２の画素群に属する画素に第１の撮像制御値と異なる撮像制御値が適用されてもよい。また、第１の算出部１７１によって第１の撮像制御値が算出された場合、第１の画素群または第２の画素群に分類される複数の画素からなる撮像部１１０において、第１の画素群に属する画素および第２の画素群に属する画素に同一の第１の撮像制御値が適用されてもよい。
【００２２】
上述した撮像部１１０によって得られた撮像画像は、被写体認識部１２０と、ブレ情報取得部１３０と、ノイズ量情報取得部１４０と、シーン照度情報取得部１５０と、画像処理部１８０と、へ出力される。
【００２３】
（被写体認識部）
被写体認識部１２０は、撮像部１１０によって得られた撮像画像における被写体情報を取得する。例えば、被写体認識部１２０は、被写体種類情報を取得する被写体種類情報取得部としての機能、被写体サイズ情報を取得する被写体サイズ情報取得部としての機能、および被写体位置情報を取得する被写体位置情報取得部としての機能を有してもよい。例えば、被写体認識部１２０は、被写体が人体であるか車等の一般物体であるかの情報や被写体が人体または一般物体におけるどの部位に相当するかの情報を上記被写体種類情報として取得してもよい。また、被写体認識部１２０は、撮像画像における被写体の寸法や面積等の被写体サイズを上記被写体サイズ情報として取得してもよい。また、被写体認識部１２０は、撮像画像における被写体の位置を上記被写体位置情報として取得してもよい。なお、被写体認識部１２０によって取得された被写体種類情報は、第１の算出部１７１へ出力される。また、被写体認識部１２０によって取得された被写体サイズ情報は、ブレ情報取得部１３０およびノイズ量情報取得部１４０へ出力される。また、被写体認識部１２０によって取得された被写体位置情報は、ブレ情報取得部１３０およびノイズ量情報取得部１４０へ出力される。なお、以下、被写体サイズ情報および被写体位置情報を被写体領域情報と総称する。
【００２４】
（ブレ情報取得部）
ブレ情報取得部１３０は、撮像画像におけるブレ情報を取得する。例えば、ブレ情報取得部１３０は、撮像画像におけるブレ量情報を取得するブレ量情報取得部としての機能を有してもよい。具体的には、ブレ情報取得部１３０は、撮像部１１０によって得られた撮像画像における露光長あたりのブレ量をブレ量情報として取得する。以下、図３〜図６を参照して、ブレ情報取得部１３０が行う露光長あたりのブレ量取得の処理について説明する。
【００２５】
まず、ブレ情報取得部１３０は、例えば、撮像部１１０によって得られた撮像画像および被写体認識部１２０によって取得された被写体領域情報を用いて、撮像部１１０による撮像における連続する２つのフレーム間の時間長に対応する被写体領域の変位ベクトルＭｉ（ｉ＝１、２、…、ｎ）を取得する。ここで、図３において、矢印はブレ情報取得部１３０によって取得される被写体領域の変位ベクトルＭｉ（ｉ＝１、２、…、ｎ）を示す。
【００２６】
次に、ブレ情報取得部１３０は、連続する２つのフレーム間の時間長に対応するブレ量Ｂｆを取得する。例えば、ブレ情報取得部１３０は、被写体領域の変位ベクトルＭｉ（ｉ＝１、２、…、ｎ）の平均値を連続する２つのフレーム間の時間長に対応するブレ量Ｂｆとして取得してもよい。具体的には、ブレ情報取得部１３０は、下記数式（１）を用いて連続する２つのフレーム間の時間長に対応するブレ量Ｂｆを取得する。
【００２７】
【数１】
2016092723.tif 000003
【００２８】
また、ブレ情報取得部１３０は、被写体領域の変位ベクトルＭｉ（ｉ＝１、２、…、ｎ）の最大値を連続する２つのフレーム間の時間長に対応するブレ量Ｂｆとして取得してもよい。具体的には、ブレ情報取得部１３０は、下記数式（２）を用いて連続する２つのフレーム間の時間長に対応するブレ量Ｂｆを取得する。
【００２９】
【数２】
2016092723.tif 000004
【００３０】
次に、ブレ情報取得部１３０は、露光長あたりのブレ量Ｂｅを取得する。ここで、図４において、矩形は撮像部１１０による撮像における各フレームを示し、横軸は時間軸を示す。例えば、ブレ情報取得部１３０は、下記数式（３）を用いて露光長あたりのブレ量Ｂｅを取得する。なお、下記数式（３）において、Ｔｆは連続する２つのフレーム間の時間長を示し、Ｔｅは露光長を示す。
【００３１】
【数３】
2016092723.tif 000005
【００３２】
なお、ブレ情報取得部１３０は、露光長あたりのブレ量Ｂｅを被写体認識部１２０によって取得された被写体サイズ情報に応じて補正してもよい。具体的には、ブレ情報取得部１３０は、下記数式（４）を用いて露光長あたりのブレ量Ｂｅを補正する。なお、下記数
2016092723.tif 000006
【００３３】
【数４】
2016092723.tif 000007
【００３４】
このように、本開示の第１の実施形態に係る撮像システム１０においては、露光長あたりのブレ量が被写体サイズ情報を用いて補正されることによって、被写体領域のサイズに依存しないブレ量を求めることができる。
【００３５】
以上では、ブレ情報取得部１３０が、連続する２つのフレーム間の時間長に対応する被写体領域の変位ベクトルを取得することによって、露光長あたりのブレ量を取得する例を説明したが、ブレ情報取得部１３０は、連続する２つのフレーム間の時間長以外の時間長に対応する被写体領域の変位ベクトルを取得することによって、露光長あたりのブレ量を取得してもよい。
【００３６】
例えば、撮像部１１０の画素が異なる露光長で撮像を行う２種類の画素群に分類される場合、ブレ情報取得部１３０は、異なる露光長での撮像により得られた撮像画像を用いることにより、露光長の差に対応する疑似撮像画像を取得することができる。ゆえに、ブレ情報取得部１３０は、一方の露光長による露光を表すフレームと上記疑似撮像画像に対応するフレーム間の時間長に対応する被写体領域の変位ベクトルを取得することによって、露光長あたりのブレ量を取得することができる。
【００３７】
図５は、本開示の第１の実施形態に係る露光のタイミングの具体例を示す説明図である。図５において、ハッチを付した矩形は露光長ＴＳによる露光を表すフレームを示し、白色の矩形は露光長ＴＬによる露光を表すフレームを示す。例えば、撮像部１１０の画素が露光長ＴＳで撮像を行う画素群と露光長ＴＬで撮像を行う画素群に分類される場合、ブレ情報取得部１３０は、露光長の差ＴＳ’＝ＴＬ−ＴＳに対応する疑似撮像画像を取得することができる。ゆえに、ブレ情報取得部１３０は、露光長ＴＳによる露光を表すフレームと上記疑似撮像画像に対応するフレーム間の時間長に対応する被写体領域の変位ベクトルを取得することによって、露光長あたりのブレ量を取得することができる。なお、露光長ＴＳは第１の算出部１７１により算出された露光長であってもよく、露光長ＴＬは露光長ＴＳの２倍であってもよい。
【００３８】
また、撮像部１１０において画素が異なる露光タイミングで撮像を行う２種類の画素群に分類される場合、ブレ情報取得部１３０は、異なる露光タイミング各々による露光を表すフレーム間の時間長に対応する被写体領域の変位ベクトルを取得することによって、露光時間あたりのブレ量を取得してもよい。
【００３９】
図６は、本開示の第１の実施形態に係る露光のタイミングの具体例を示す説明図である。図６において、ハッチを付した矩形および白色の矩形はタイミングが異なる露光各々を表すフレームを示す。なお、タイミングが異なる露光各々の露光長はともにＴＳである。例えば、ブレ情報取得部１３０は、図６においてハッチを付した矩形が表すフレームと白色の矩形が表すフレーム間の時間長に対応する被写体領域の変位ベクトルを取得することによって、露光長あたりのブレ量を取得してもよい。なお、ブレ情報取得部１３０によって取得されたブレ量情報は第１の算出部１７１へ出力される。
【００４０】
なお、ブレ情報取得部１３０は、撮像画像におけるブレ方向情報を取得するブレ方向情報取得部としての機能を有してもよい。例えば、ブレ情報取得部１３０は、図３において矢印によって示した被写体領域の変位ベクトルＭｉ（ｉ＝１、２、…、ｎ）をブレ方向情報として取得する。
【００４１】
（ノイズ量情報取得部）
ノイズ量情報取得部１４０は、撮像画像におけるノイズ量情報を取得する。例えば、ノイズ量情報取得部１４０は、撮像部１１０によって得られた撮像画像、第１の算出部１７１によって算出されたゲイン（ｇａｉｎ）および被写体認識部１２０によって取得された被写体領域情報を用いて被写体領域におけるノイズ量情報を取得する。具体的には、まず、ノイズ量情報取得部１４０は、下記数式（５）を用いてノイズの分散σ’を取得する。なお、ａは第１のパラメータを示し、ｂは第２のパラメータを示し、ｘは撮像画像における画素値を示す。
【００４２】
【数５】
2016092723.tif 000008
【００４３】
なお、ノイズ量情報取得部１４０は、下記数式（６）を用いてゲインを考慮しないノイズの分散σを取得することによって、ノイズ量情報を取得してもよい。
【００４４】
【数６】
2016092723.tif 000009
【００４５】
次に、ノイズ量情報取得部１４０は、取得されたノイズの分散σ’またはσを用いてノイズ量情報を取得する。なお、ノイズ量情報取得部１４０によって取得されたノイズ量情報は第１の算出部１７１へ出力される。
【００４６】
（シーン照度情報取得部）
シーン照度情報取得部１５０は、シーンの照度情報を取得する。例えば、シーン照度情報取得部１５０は、撮像部１１０によって得られた撮像画像を用いてシーンの照度情報を取得する。例えば、まず、シーン照度情報取得部１５０は、撮像部１１０によって得られた撮像画像における画素値の平均値または空間的に重みを付けた加重平均値を取得する。次に、シーン照度情報取得部１５０は、取得された上記平均値または上記加重平均値を用いてシーンの照度情報を取得する。なお、シーン照度情報取得部１５０によるシーンの照度情報の取得処理は、撮像部１１０によって得られた撮像画像を用いる例に限定されず、例えば、照度計によって実現されてもよい。また、シーン照度情報取得部１５０によって取得されたシーンの照度情報は第１の算出部１７１へ出力される。
【００４７】
（マップ記憶部）
マップ記憶部１６０は、撮像画像におけるブレ量と撮像画像におけるノイズ量と被写体の認識の容易さとの関係を示す認識評価マップを記憶する。認識評価マップにおいて、被写体の認識の容易さは、容易であるほど高い評価値によって示される。また、図７に示したように、認識評価マップにおいて、横軸にブレ量、縦軸にノイズ量を取ったグラフに評価値が示される。また、認識評価マップにおいて、ブレ量およびノイズ量が小さいほど評価値は高く、ブレ量およびノイズ量が大きいほど評価値は低い。なお、図７において、破線は評価値の等高線を示す。また、マップ記憶部１６０は、複数の被写体種類情報各々に応じた複数の認識評価マップを記憶してもよく、複数のブレ方向情報各々に応じた複数の認識評価マップを記憶してもよい。
【００４８】
（第１の算出部）
第１の算出部１７１は、ブレ情報取得部１３０により取得されたブレ量情報と、ノイズ量情報取得部１４０により取得されたノイズ量情報と、に応じて第１の撮像制御値を算出する。第１の算出部１７１は、さらにシーン照度情報取得部１５０により取得されたシーンの照度情報に応じて第１の撮像制御値を算出してもよい。また、第１の算出部１７１により算出される第１の撮像制御値は、例えば、露光長およびゲインであってもよく露光長および絞りであってもよい。さらに、第１の算出部１７１により算出される第１の撮像制御値は、フレームレートを含んでもよい。例えば、第１の算出部１７１は、露光長を算出し、算出された露光長に応じてフレームレートを算出する。ここで、フレームレートの上限及び下限は、算出された露光長によって定まる。なお、第１の算出部１７１により算出された第１の撮像制御値は、撮像部１１０およびノイズ量情報取得部１４０へ出力される。また、第１の算出部１７１が行う撮像制御値算出処理については、比較例に係る撮像システムが行う撮像制御値算出処理を説明した後に詳細に説明する。ここで、第１の撮像制御値は、１フレーム毎に算出され更新されてもよく、複数のフレーム毎に算出され更新されてもよい。また、撮像部１１０による撮像が行われない時間が一定時間経過するまで、第１の算出部１７１によって算出された第１の撮像制御値は更新されなくてもよい。
【００４９】
（画像処理部）
画像処理部１８０は、撮像部１１０によって得られた撮像画像について、リモザイク処理、各カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の所定の画像処理を行う。
【００５０】
なお、本開示の実施形態に係る撮像システムの構成は以上説明した撮像システム１０の構成に限定されず、例えば、図８に示したように本開示の他の実施形態に係る撮像システム１２において被写体認識部１２０はチップ１０２に含まれなくてもよく、図９に示したように本開示の他の実施形態に係る撮像システム１４において第１の被写体認識部１２１はチップ１０４に含まれ、第１の被写体認識部１２１と比較し高度な認識処理を行う第２の被写体認識部１２２はチップ１０４に含まれなくてもよい。なお、図９に示した本開示の他の実施形態に係る撮像システム１４において、第１の被写体認識部１２１と比較し計算コストが高い第２の被写体認識部１２２がチップ１０４に含まれないため、チップ１０４の計算負荷を低減することが可能である。
【００５１】
＜１−２．比較例＞
以上、本開示の第１の実施形態に係る撮像システム１０の構成について説明した。続いて、本開示の第１の実施形態に係る撮像システム１０の技術的意義をより明らかにするために、図１０および図１１を参照して比較例に係る撮像システム９０が行う撮像制御値算出処理を説明した後に、本開示の第１の実施形態に係る第１の算出部１７１が行う撮像制御値算出処理を説明する。
【００５２】
図１０は、比較例に係る撮像システム９０の構成の具体例を示す説明図である。図１０に示したように、比較例に係る撮像システム９０は、算出部９６０により算出された撮像制御値に基づいた撮像を行う撮像部９１０と、撮像部９１０によって得られた撮像画像を用いてシーンの照度情報を取得するシーン照度情報取得部９５０と、シーン照度情報取得部９５０により取得されたシーンの照度情報に応じて撮像制御値を算出する算出部９６０と、撮像部９１０によって得られた撮像画像について各種画像処理を行う画像処理部９８０と、画像処理部９８０により画像処理された撮像画像における被写体情報を取得する被写体認識部９２０を備える。なお、図１０に示したように、比較例に係る撮像システム９０は、本開示の第１の実施形態に係る撮像システム１０と異なり、ブレ情報取得部１３０と、ノイズ量情報取得部１４０と、マップ記憶部１６０と、を備えない。以下、図１１を参照して、比較例に係る算出部９６０が行う撮像制御値算出処理を説明する。なお、算出部９６０により算出される撮像制御値は、露光長およびゲインである。
【００５３】
図１１は、比較例に係る撮像システム９０におけるプログラム線図の具体例を示す説明図である。図１１に示したように、プログラム線図において、横軸にシーン照度、縦軸に露光長およびゲインを取ったグラフに各シーン照度に応じた露光長およびゲインが示される。なお、図１１において、横軸および縦軸は対数軸である。なお、図１１における直線は露光長とゲインの積の目標値を示す。プログラム線図において、シーン照度が高いほど露光長およびゲインは小さく、シーン照度が低いほど露光長およびゲインは大きい。
【００５４】
例えば、比較例に係る撮像システム９０において、算出部９６０は、シーン照度情報取得部９５０により取得されたシーンの照度情報および図１１に示したプログラム線図を用いて撮像制御値を算出する。具体的には、算出部９６０は、図１１に示したプログラム線図における上記照度情報に対応する露光長およびゲインを算出する。ゆえに、比較例に係る撮像システム９０において、シーン照度が低い場合、算出部９６０により算出されるゲインが大きくなるため、撮像部９１０によって得られる撮像画像におけるノイズ量が増大し得る。したがって、比較例に係る撮像システム９０において、シーン照度が低い場合、認識性に適した撮像制御をすることが困難である。また、比較例に係る撮像システム９０において、被写体が動く場合、撮像部９１０によって得られる撮像画像におけるブレ量が増大し得る。したがって、比較例に係る撮像システム９０において、被写体が動く場合、認識性に適した撮像制御をすることが困難である。
【００５５】
＜１−３．撮像制御値算出処理＞
以下、図１２および図１３を参照して、本開示の第１の実施形態に係る第１の算出部１７１が行う撮像制御値算出処理を説明する。
【００５６】
図１２は、本開示の第１の実施形態に係る露光長とゲインの関係の具体例を示す説明図である。図１２において、横軸に露光長、縦軸にゲインを取ったグラフに各シーン照度に応じた露光長とゲインの関係を示す直線Ａ、ＢおよびＣが示される。なお、図１２において、横軸および縦軸は対数軸であり、上記直線各々が示す露光長とゲインの関係において露光長とゲインの積は一定となる。ここで、図１２において、直線Ａに対応するシーン照度は直線Ｂに対応するシーン照度より高く、直線Ｂに対応するシーン照度は直線Ｃに対応するシーン照度より高い。なお、図１２において直線Ａ、ＢおよびＣを例示したが、本開示において各シーン照度に応じた露光長とゲインの関係を示す直線の数は３本に限られない。また、本開示において、各シーン照度に応じた露光長とゲインの積は一定である例に限定されず、例えば、各シーン照度に応じた露光長とゲインの積は一定でなくてもよい。
【００５７】
例えば、本開示の第１の実施形態に係る第１の算出部１７１は、ブレ情報取得部１３０により取得されたブレ量情報と、ノイズ量情報取得部１４０により取得されたノイズ量情報と、マップ記憶部１６０から取得される撮像画像におけるブレ量と撮像画像におけるノイズ量と被写体の認識の容易さとの関係と、シーン照度情報取得部１５０により取得されたシーンの照度情報と、図１２に示した各シーン照度に応じた露光長とゲインの関係と、を用いて撮像制御値を算出する。具体的には、第１の算出部１７１は、上記ブレ量情報に対応するブレ量と、上記ノイズ量情報に対応するノイズ量と、図７に示した認識評価マップと、図１２における上記照度情報に対応する露光長とゲインの関係を示す直線と、を用いて露光長およびゲインを算出する。
【００５８】
ここで、撮像部１１０によって得られた撮像画像における露光長および上記ブレ量情報に対応するブレ量、ならびに撮像部１１０によって得られた撮像画像におけるゲインおよび上記ノイズ量情報に対応するノイズ量は各々比例関係にある。ゆえに、第１の算出部１７１は、図１２における上記照度情報に対応する露光長とゲインの関係を示す直線に図７に示した認識評価マップを重ね合わせることが可能である。図１３において、横軸に露光長、縦軸にゲインを取ったグラフに図１２における上記照度情報に対応する露光長とゲインの関係を示す直線および重ね合わせられた認識評価マップが示される。
【００５９】
次に、第１の算出部１７１は、図１２における上記照度情報に対応する露光長とゲインの関係を示す直線において、重ね合わせられた認識評価マップによって示される評価値が最も高い点に対応する露光長およびゲインを算出する。例えば、第１の算出部１７１は、図１３における点Ｐに対応する露光長およびゲインを算出する。
【００６０】
以上説明したように、本開示の第１の実施形態に係る第１の算出部１７１は、ブレ情報取得部１３０により取得されたブレ量情報と、ノイズ量情報取得部１４０により取得されたノイズ量情報と、に応じて第１の撮像制御値を算出する。ゆえに、本開示の第１の実施形態に係る撮像システム１０において、露光長の増大に伴うブレ量の増大およびゲインの増大に伴うノイズ量の増大を低減することが可能となる。また、本開示の第１の実施形態に係る撮像システム１０において、撮像制御値の算出に用いられるブレ量情報およびノイズ量情報は各々露光長およびゲインとの相関が高い。したがって、本開示の第１の実施形態に係る撮像システム１０において、認識に適した撮像制御を容易に行うことが可能である。
【００６１】
なお、本開示の第１の実施形態に係る撮像システム１０において、第１の算出部１７１は、被写体認識部１２０により取得された被写体種類情報に応じて撮像画像におけるブレ量と撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、上記関係に応じて第１の撮像制御値を算出してもよい。具体的には、第１の算出部１７１は、被写体認識部１２０により取得された被写体種類情報に応じた認識評価マップをマップ記憶部１６０から取得し、上記認識評価マップに応じて第１の撮像制御値を算出してもよい。ゆえに、本開示の第１の実施形態に係る撮像システム１０は、認識にさらに適した撮像制御をすることが可能となる。
【００６２】
また、本開示の第１の実施形態に係る撮像システム１０において、第１の算出部１７１は、ブレ情報取得部１３０により取得されたブレ方向情報に応じて撮像画像におけるブレ量と撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、上記関係に応じて第１の撮像制御値を算出してもよい。具体的には、第１の算出部１７１は、ブレ情報取得部１３０により取得されたブレ方向情報に応じた認識評価マップをマップ記憶部１６０から取得し、上記認識評価マップに応じて第１の撮像制御値を算出してもよい。ゆえに、本開示の第１の実施形態に係る撮像システム１０は、認識にさらに適した撮像制御をすることが可能となる。
【００６３】
また、本開示の第１の実施形態に係る撮像システム１０において、第１の算出部１７１は、ブレ情報取得部１３０により被写体サイズ情報に基づいて補正されたブレ量情報に応じて第１の撮像制御値を算出してもよい。本開示の第１の実施形態に係る撮像システム１０において、露光長あたりのブレ量が被写体サイズ情報を用いて補正されることによって、被写体領域のサイズに依存しないブレ量を求めることができる。ゆえに、本開示の第１の実施形態に係る撮像システム１０において、認識にさらに適した撮像制御をすることが可能となる。
【００６４】
また、本開示の第１の実施形態に係る撮像システム１０において、認識に適した撮像制御を容易にすることが可能であるため、高コストなノイズリダクションやデブラー等の前処理を行う撮像システムと比較し、低いコストによって認識に適した画像を得ることが可能である。
【００６５】
＜１−４．動作＞
以上、本開示の第１の実施形態に係る第１の算出部１７１が行う撮像制御値算出処理を説明した。以下、本開示の第１の実施形態に係る撮像システム１０の動作について説明する。
【００６６】
図１４は、本開示の第１の実施形態に係る撮像システム１０が行う処理の流れの具体例を示すフローチャートである。まず、被写体認識部１２０は、撮像部１１０によって得られた撮像画像における被写体情報を取得する（Ｓ１１）。次に、ブレ情報取得部１３０は、撮像画像におけるブレ情報を取得する（Ｓ１２）。次に、ノイズ量情報取得部１４０は、撮像画像におけるノイズ量情報を取得する（Ｓ１３）。次に、シーン照度情報取得部１５０は、シーンの照度情報を取得する（Ｓ１４）。次に、第１の算出部１７１は、ブレ情報取得部１３０により取得されたブレ量情報と、ノイズ量情報取得部１４０により取得されたノイズ量情報と、に応じて第１の撮像制御値を算出する（Ｓ１５）。次に、撮像部１１０は、第１の算出部１７１により算出された撮像制御値に基づいた撮像を行う（Ｓ１６）。
【００６７】
＜１−５．変形例＞
以上では、撮像画像におけるブレ量情報は撮像部１１０によって得られた画像を用いて取得される情報である例を説明したが、撮像画像におけるブレ量情報は信号処理装置の角速度を示す情報に置き換えられてもよい。以下、本開示の変形例に係る撮像システム２０の構成および動作について説明する。
【００６８】
図１５は、変形例に係る撮像システム２０の構成の具体例を示す説明図である。図１５に示したように、変形例に係る撮像システム２０は、第１の実施形態に係る撮像システム１０と異なり、ブレ情報取得部１３０を備えず、角速度検出部２１０を備える。なお、変形例に係る撮像システム２０において、被写体認識部１２０と、ノイズ量情報取得部１４０と、シーン照度情報取得部１５０と、マップ記憶部１６０と、第１の算出部１７１と、角速度検出部２１０と、によって信号処理装置としての機能が実現されてもよい。
【００６９】
角速度検出部２１０は、撮像画像におけるブレ量情報を取得するブレ量情報取得部としての機能を有する。具体的には、角速度検出部２１０は、撮像部１１０によって得られた撮像画像におけるブレ量情報として信号処理装置の角速度を示す情報を取得する。例えば、角速度検出部２１０は、ジャイロセンサによって実現される。また、角速度検出部２１０は、取得された信号処理装置の角速度を撮像画像における露光長あたりのブレ量へ変換してもよい。なお、角速度検出部２１０によって取得されたブレ量情報は第１の算出部１７１へ出力される。
【００７０】
図１６は、変形例に係る撮像システム２０が行う処理の流れの具体例を示すフローチャートである。変形例に係る撮像システム２０が行う処理の流れにおいて、本開示の第１の実施形態に係る撮像システム１０が行う処理の流れと比較し、信号処理装置の角速度を示す情報の取得処理（Ｓ２２）が異なる。なお、変形例に係る撮像システム２０が行う処理の流れにおけるＳ１１、およびＳ１３〜Ｓ１６の処理は、本開示の第１の実施形態に係る撮像システム１０が行う処理の流れにおけるＳ１１、およびＳ１３〜Ｓ１６の処理と実質的に同一であるため説明を省略する。
【００７１】
変形例に係る撮像システム２０が行う処理の流れにおいて、被写体認識部１２０による被写体情報の取得処理（Ｓ１１）の後、角速度検出部２１０は、撮像画像におけるブレ量情報を取得する（Ｓ２１）。具体的には、角速度検出部２１０は、撮像部１１０によって得られた撮像画像におけるブレ量情報として信号処理装置の角速度を示す情報を取得する。
【００７２】
＜＜２．第２の実施形態に係る撮像システム＞＞
以上、本開示の第１の実施形態に係る撮像システム１０を説明した。続いて、認識に適した撮像制御または視認に適した撮像制御を行うことを可能とする本開示の第２の実施形態に係る撮像システム３０の構成および動作について説明する。
＜２−１．構成＞
まず、図１７を参照して、本開示の第２の実施形態に係る撮像システム３０の構成について説明する。図１７は、本開示の第２の実施形態に係る撮像システム３０の構成の具体例を示す説明図である。
【００７３】
図１７に示したように、本開示の第２の実施形態に係る撮像システム３０は、第１の実施形態に係る撮像システム１０と異なり、第２の算出部３７２および撮像制御値合成部３９０を備える。なお、本開示の第２の実施形態に係る撮像システム３０における被写体認識部３２０と、ブレ情報取得部３３０と、ノイズ量情報取得部３４０と、シーン照度情報取得部３５０と、マップ記憶部３６０と、第１の算出部３７１と、画像処理部３８０と、は、第１の実施形態に係る撮像システム１０における被写体認識部１２０と、ブレ情報取得部１３０と、ノイズ量情報取得部１４０と、シーン照度情報取得部１５０と、マップ記憶部１６０と、第１の算出部１７１と、画像処理部１８０と、実質的に同一であるので説明を省略する。また、本開示の第２の実施形態に係る撮像システム３０において、被写体認識部３２０と、ブレ情報取得部３３０と、ノイズ量情報取得部３４０と、シーン照度情報取得部３５０と、マップ記憶部３６０と、第１の算出部３７１と、第２の算出部３７２と、撮像制御値合成部３９０と、によって信号処理装置としての機能が実現されてもよい。
【００７４】
本開示の第２の実施形態に係る撮像システム３０において、撮像部３１０は、第１の実施形態に係る撮像システム１０と異なり、撮像制御値合成部３９０により合成された第１の撮像制御値および第２の撮像制御値に基づいた撮像を行う。なお、撮像制御値合成部３９０により第１の撮像制御値および第２の撮像制御値が合成される時点より前のフレームにおいて、撮像部３１０は予め設定された撮像制御値に基づいた撮像を行う。また、撮像部３１０による撮像が行われない時間が一定時間経過した場合、撮像部３１０は予め設定された撮像制御値に基づいた撮像を行ってもよい。例えば、第１の画素群または第２の画素群に分類される複数の画素からなる撮像部３１０において、第１の画素群に属する画素と第２の画素群に属する画素には異なる撮像制御値が予め設定される。なお、撮像制御値合成部３９０により第１の撮像制御値および第２の撮像制御値が合成された場合、第１の画素群または第２の画素群に分類される複数の画素からなる撮像部３１０において、第１の画素群に属する画素に合成された第１の撮像制御値および第２の撮像制御値が適用され、第２の画素群に属する画素に合成された第１の撮像制御値および第２の撮像制御値と異なる撮像制御値が適用されてもよい。また、撮像制御値合成部３９０により第１の撮像制御値および第２の撮像制御値が合成された場合、第１の画素群または第２の画素群に分類される複数の画素からなる撮像部３１０において、第１の画素群に属する画素および第２の画素群に属する画素に同一の撮像制御値である合成された第１の撮像制御値および第２の撮像制御値が適用されてもよい。
【００７５】
第２の算出部３７２は、シーン照度情報取得部３５０により取得されたシーンの照度情報に応じて第２の撮像制御値を算出する。具体的には、第２の算出部３７２は、図１１に示したプログラム線図における上記照度情報に対応する露光長およびゲインを算出する。なお、図１１に示したプログラム線図における上記照度情報に対応する露光長およびゲインは黒潰れや白とびを防止することに適する。ゆえに、本開示の第２の実施形態に係る撮像システム３０において、第２の算出部３７２により算出される第２の撮像制御値は、視認に適する。なお、第２の算出部３７２により算出される第２の撮像制御値は、露光長および絞りであってもよい。さらに、第２の算出部３７２により算出される第２の撮像制御値は、フレームレートを含んでもよい。例えば、第２の算出部３７２は、露光長を算出し、算出された露光長に応じてフレームレートを算出する。ここで、フレームレートの上限及び下限は、算出された露光長によって定まる。また、第２の算出部３７２により算出された第２の撮像制御値は、撮像制御値合成部３９０へ出力される。ここで、第２の撮像制御値は、１フレーム毎に算出され更新されてもよく、複数のフレーム毎に算出され更新されてもよい。また、撮像部３１０による撮像が行われない時間が一定時間経過するまで、第２の算出部３７２によって算出された第２の撮像制御値は更新されなくてもよい。
【００７６】
撮像制御値合成部３９０は、第１の算出部３７１により算出された第１の撮像制御値と第２の算出部３７２により算出された第２の撮像制御値を合成する。ここで、撮像制御値合成部３９０は、第１の算出部３７１により算出された第１の撮像制御値と第２の算出部３７２により算出された第２の撮像制御値を任意の割合で合成することが可能である。例えば、本開示の第２の実施形態に係る撮像システム３０において、上記合成における第１の撮像制御値の割合が第２の撮像制御値の割合と比較し大きい場合、認識に適した撮像制御を行うことが可能となる。また、本開示の第２の実施形態に係る撮像システム３０において、上記合成における第２の撮像制御値の割合が第１の撮像制御値の割合と比較し大きい場合、視認に適した撮像制御を行うことが可能となる。なお、撮像制御値合成部３９０により合成された第１の撮像制御値および第２の撮像制御値は、撮像部３１０へ出力される。
【００７７】
以上説明したように、本開示の第２の実施形態に係る撮像システム３０において、撮像制御値合成部３９０は、第１の算出部３７１により算出された第１の撮像制御値と第２の算出部３７２により算出された第２の撮像制御値を合成する。また、本開示の第２の実施形態に係る撮像システム３０において、撮像制御値合成部３９０は、第１の算出部３７１により算出された第１の撮像制御値と第２の算出部３７２により算出された第２の撮像制御値を任意の割合で合成することが可能である。ゆえに、本開示の第２の実施形態に係る撮像システム３０において、認識に適した撮像制御または視認に適した撮像制御を行うことが可能となる。
【００７８】
＜２−２．動作＞
以上、本開示の第２の実施形態に係る撮像システム３０の構成を説明した。続いて、本開示の第２の実施形態に係る撮像システム３０の動作について説明する。
【００７９】
図１８は、本開示の第２の実施形態に係る撮像システム３０が行う処理の流れの具体例を示すフローチャートである。まず、被写体認識部３２０は、撮像画像における被写体情報を取得する（Ｓ３１）。次に、ブレ情報取得部３３０は、撮像画像におけるブレ情報を取得する（Ｓ３２）。次に、ノイズ量情報取得部３４０は、撮像画像におけるノイズ量情報を取得する（Ｓ３３）。次に、シーン照度情報取得部３５０は、シーンの照度情報を取得する（Ｓ３４）。次に、第１の算出部３７１は、ブレ情報取得部３３０により取得されたブレ量情報と、ノイズ量情報取得部３４０により取得されたノイズ量情報と、に応じて第１の撮像制御値を算出する（Ｓ３５）。次に、第２の算出部３７２は、シーン照度情報取得部３５０により取得されたシーンの照度情報に応じて第２の撮像制御値を算出する（Ｓ３６）。次に、撮像制御値合成部３９０は、第１の算出部３７１により算出された第１の撮像制御値と第２の算出部３７２により算出された第２の撮像制御値を合成する（Ｓ３７）。次に、撮像部３１０は、撮像制御値合成部３９０により合成された第１の撮像制御値および第２の撮像制御値に基づいた撮像を行う（Ｓ３８）。
【００８０】
＜＜３．第３の実施形態に係る撮像システム＞＞
以上、本開示の第２の実施形態に係る撮像システム３０を説明した。続いて、認識および視認に適した撮像制御を行うことを可能とする本開示の第３の実施形態に係る撮像システム４０の構成および動作について説明する。
【００８１】
＜３−１．構成＞
まず、図１９を参照して、本開示の第３の実施形態に係る撮像システム４０の構成について説明する。図１９は、本開示の第３の実施形態に係る撮像システム４０の構成の具体例を示す説明図である。
【００８２】
図１９に示したように、本開示の第３の実施形態に係る撮像システム４０は、第２の実施形態に係る撮像システム３０と異なり、被写体認識部、画像処理部および撮像制御値合成部を備えない。また、本開示の第３の実施形態に係る撮像システム４０において、第２の実施形態に係る撮像システム３０と異なり、撮像部４１０は第１の撮像部４１１と、第２の撮像部４１２と、からなる。なお、本開示の第３の実施形態に係る撮像システム４０における、マップ記憶部４６０と、第１の算出部４７１と、第２の算出部４７２と、は、第１の実施形態に係る撮像システム１０における、マップ記憶部３６０と、第１の算出部３７１と、第２の算出部３７２と、実質的に同一であるので説明を省略する。また、撮像部４１０と、ブレ情報取得部４３０と、ノイズ量情報取得部４４０と、シーン照度情報取得部４５０と、マップ記憶部４６０と、第１の算出部４７１と、第２の算出部４７２と、は信号処理装置としての機能を実現するチップ４０１上に構成される。
【００８３】
撮像部４１０は、複数の画素が配列された撮像面を有し、撮影レンズおよびズームレンズなどの撮像光学系により撮像面に形成された被写体像を電気的な画素信号に変換する。また、撮像部４１０は、第１の算出部４７１により算出された第１の撮像制御値に基づいた撮像を行う第１の撮像部４１１と、第２の算出部４７２により算出された第２の撮像制御値に基づいた撮像を行う第２の撮像部４１２と、を備える。具体的には、撮像部４１０の画素によって第１の撮像部４１１としての機能および第２の撮像部４１２としての機能が実現される。
【００８４】
例えば、撮像部４１０における各画素は、第１の算出部４７１により算出された露光長およびゲインに基づいた撮像を行う画素群または第２の算出部４７２により算出された露光長およびゲインに基づいた撮像を行う画素群に分類されてもよい。また、撮像部４１０は、赤色域に感度域を持つＲ画素、緑色域に感度域を持つＧ画素、および青色域に感度域を持つＢ画素からなってもよいし、同一の分光感度特性を有する画素からなってもよい。例えば、撮像部４１０の画素配列としては、図２を参照して説明した第１の画素配列８０２、第２の画素配列８０４、または第３の画素配列８０６などが挙げられる。なお、本開示の第３の実施形態に係る撮像システム４０において、図２におけるハッチ領域および白色領域は、第１の算出部４７１により算出された露光長およびゲインに基づいた撮像を行う画素群および第２の算出部４７２により算出された露光長およびゲインに基づいた撮像を行う画素群を各々示す。また、図２０において、ハッチを付した矩形は第１の算出部４７１により算出された露光長Ｔ１による露光を表すフレームを示し、白色の矩形は第２の算出部４７２により算出された露光長Ｔ２による露光を表すフレームを示す。
【００８５】
また、撮像部４１０において、同一の画素が異なる撮像制御値に基づく撮像を異なるタイミングで行ってもよい。例えば、撮像部４１０において、複数の画素各々が、第１の算出部４７１により算出された露光長およびゲインに基づく撮像および第２の算出部４７２により算出された露光長およびゲインに基づく撮像を異なるタイミングで行ってもよい。また、撮像部４１０は、赤色域に感度域を持つＲ画素、緑色域に感度域を持つＧ画素、および青色域に感度域を持つＢ画素からなってもよいし、同一の分光感度特性を有する画素からなってもよい。例えば、撮像部４１０の画素配列としては、図２１における第４の画素配列８０８、８１０や第５の画素配列８１２、８１４などが挙げられる。第４の画素配列８０８、８１０では、撮像部４１０がＲ画素、Ｇ画素、およびＢ画素からなる。第５の画素配列８１２、８１４では、撮像部４１０が同一の分光感度特性を有する画素からなる。なお、図２１におけるハッチ領域および白色領域は、第１の算出部４７１により算出された露光長およびゲインに基づく撮像を行うタイミングにおける撮像部４１０の撮像面および第２の算出部４７２により算出された露光長およびゲインに基づく撮像を行うタイミングにおける撮像部４１０の撮像面を各々示す。例えば、図２２において、ハッチを付した矩形は第１の算出部４７１により算出された露光長Ｔ１による露光を表すフレームを示し、白色の矩形は第２の算出部４７２により算出された露光長Ｔ２による露光を表すフレームを示す。
【００８６】
なお、第１の算出部４７１および第２の算出部４７２によって第１の撮像制御値および第１の撮像制御値が各々算出される時点より前のフレームにおいて、第１の撮像部４１１および第２の撮像部４１２は予め設定された撮像制御値に基づいた撮像を行う。また、第１の撮像部４１１および第２の撮像部４１２による撮像が行われない時間が一定時間経過した場合、第１の撮像部４１１および第２の撮像部４１２は予め設定された撮像制御値に基づいた撮像を行ってもよい。
【００８７】
以上説明したように、本開示の第３の実施形態に係る撮像システム４０において、同一の画角に対応する複数の画素によって、第１の算出部４７１により算出された第１の撮像制御値に基づいた撮像と、第２の算出部４７２により算出された第２の撮像制御値に基づいた撮像と、を行うことができる。ゆえに、本開示の第３の実施形態に係る撮像システム４０において、データ量やメモリを節約することが可能である。
【００８８】
本開示の第３の実施形態に係る撮像システム４０におけるブレ量取得の処理において、ブレ情報取得部４３０は、本開示の第２の実施形態に係る撮像システム３０と異なり、撮像部１１０によって得られた撮像画像を用いて被写体領域情報を取得する。例えば、ブレ情報取得部４３０は、撮像部１１０によって得られた撮像画像における変位ベクトルの分布を用いて被写体領域情報を取得する。なお、ブレ情報取得部４３０により取得された被写体領域情報はノイズ量情報取得部４４０へ出力される。
【００８９】
本開示の第３の実施形態に係る撮像システム４０におけるノイズ量取得の処理において、ノイズ量情報取得部４４０は、本開示の第２の実施形態に係る撮像システム３０と異なり、ブレ情報取得部４３０から被写体領域情報を取得する。
【００９０】
本開示の第３の実施形態に係る撮像システム４０において、シーン照度情報取得部４５０は、第１の撮像部４１１によって得られた第１の撮像画像または第２の撮像部４１２によって得られた第２の撮像画像を用いてシーンの照度情報を取得する。なお、シーン照度情報取得部４５０は、第１の撮像部４１１によって得られた第１の撮像画像および第２の撮像部４１２によって得られた第２の撮像画像を用いてシーンの照度情報を取得してもよい。
【００９１】
以上説明したように、本開示の第３の実施形態に係る撮像システム４０において、撮像部４１０は第１の算出部４７１により算出された第１の撮像制御値に基づいた撮像を行う第１の撮像部４１１と、第２の算出部４７２により算出された第２の撮像制御値に基づいた撮像を行う第２の撮像部４１２と、を備える。したがって、本開示の第３の実施形態に係る撮像システム４０において、認識および視認に適した撮像制御をすることが可能となる。
【００９２】
なお、本開示の実施形態に係る撮像システムの構成は以上説明した撮像システム４０の構成に限定されず、例えば、図２３に示したように本開示の他の実施形態に係る撮像システム４２において、マップ記憶部４６０は含まれなくてもよく、被写体認識部４２０がチップ４０２に含まれてもよい。なお、図２３に示したように本開示の他の実施形態に係る撮像システム４２において、被写体認識部４２０は、第１の撮像部４１１によって得られた第１の撮像画像における被写体情報を取得する。また、被写体認識部４２０は、撮像画像におけるブレ量と撮像画像におけるノイズ量と被写体の認識の容易さとの関係を示す認識評価マップを記憶してもよい。
【００９３】
＜３−２．動作＞
以上、本開示の第３の実施形態に係る撮像システム４０の構成を説明した。続いて、本開示の第３の実施形態に係る撮像システム４０の動作について説明する。
【００９４】
図２４は、本開示の第３の実施形態に係る撮像システム４０が行う処理の流れの具体例を示すフローチャートである。まず、ブレ情報取得部４３０は、撮像画像におけるブレ情報を取得する（Ｓ４１）。次に、ノイズ量情報取得部４４０は撮像画像におけるノイズ量情報を取得する（Ｓ４２）。次に、シーン照度情報取得部４５０は、シーンの照度情報を取得する（Ｓ４３）。次に、第１の算出部４７１は、ブレ情報取得部４３０により取得されたブレ量情報と、ノイズ量情報取得部４４０により取得されたノイズ量情報と、に応じて第１の撮像制御値を算出する（Ｓ４４）。次に、第２の算出部４７２は、シーン照度情報取得部４５０により取得されたシーンの照度情報に応じて第２の撮像制御値を算出する（Ｓ４５）。次に、第１の撮像部４１１は、第１の算出部４７１により算出された第１の撮像制御値に基づいた撮像を行う（Ｓ４６）。次に、第２の撮像部４１２は、第２の算出部４７２により算出された第２の撮像制御値に基づいた撮像を行う（Ｓ４７）。
【００９５】
＜３−３．第１の応用例＞
以上、本開示の第３の実施形態に係る撮像システム４０を説明した。続いて、第１の応用例に係る撮像システム５０の構成および動作について説明する。
【００９６】
図２５は、第１の応用例に係る撮像システム５０の構成の具体例を示す説明図である。図２５に示したように、第１の応用例に係る撮像システム５０は、第３の実施形態に係る撮像システム４０と異なり、被写体認識部５２０と、画像処理部５８０と、を備える。なお、第１の応用例に係る撮像システム５０において、撮像部４１０と、被写体認識部５２０と、ブレ情報取得部４３０と、ノイズ量情報取得部４４０と、シーン照度情報取得部４５０と、マップ記憶部４６０と、第１の算出部４７１と、第２の算出部４７２と、画像処理部５８０と、によって信号処理装置としての機能が実現されてもよい。
【００９７】
被写体認識部５２０は、撮像部４１０によって得られた撮像画像における被写体情報を取得する。例えば、被写体認識部５２０は、第１の撮像部４１１によって得られた後に画像処理部５８０によって画像処理された第１の撮像画像における被写体情報を取得する。例えば、被写体認識部５２０は、被写体種類情報を取得する被写体種類情報取得部としての機能、被写体サイズ情報を取得する被写体サイズ情報取得部としての機能、および被写体位置情報を取得する被写体位置情報取得部としての機能を有してもよい。具体的には、被写体認識部５２０は、被写体が人体であるか車等の一般物体であるかの情報や被写体が人体または一般物体におけるどの部位に相当するかの情報を上記被写体種類情報として取得してもよい。また、被写体認識部５２０は、撮像画像における被写体の寸法や面積等の被写体サイズを上記被写体サイズ情報として取得してもよい。また、被写体認識部５２０は、撮像画像における被写体の位置を上記被写体位置情報として取得してもよい。なお、被写体認識部５２０によって取得された被写体種類情報、被写体サイズ情報および被写体位置情報は、第１の算出部４７１および信号処理装置の外部へ出力される。なお、以下、被写体サイズ情報および被写体位置情報を被写体領域情報と総称する。
【００９８】
画像処理部５８０は、撮像部４１０によって得られた撮像画像について、リモザイク処理、各カラー補間、ホワイトバランス、ＹＣｂＣｒ変換処理、圧縮、ファイリング等の所定の画像処理を行う。例えば、画像処理部５８０は、第１の撮像部４１１によって得られた第１の撮像画像および第２の撮像部４１２によって得られた第２の撮像画像について、各々上記所定の画像処理を行う。なお、画像処理部５８０によって画像処理された第１の撮像画像は被写体認識部５２０へ出力され、画像処理部５８０によって画像処理された第２の撮像画像は信号処理装置の外部へ出力される。ゆえに、第１の応用例に係る撮像システム５０において、認識に適した第１の撮像画像は画像処理された後に被写体認識部５２０へ出力され、視認に適した第２の撮像画像は画像処理された後に信号処理装置の外部へ出力される。
【００９９】
なお、第１の応用例に係る撮像システム５０において、第１の算出部４７１は、ブレ情報取得部４３０により取得されたブレ量情報およびノイズ量情報取得部４４０により取得されたノイズ量情報を被写体認識部５２０によって取得された被写体領域情報を用いて補正してもよい。ブレ情報取得部４３０により取得された被写体領域情報と比較し被写体認識部５２０によって取得された被写体領域情報は精度が高いため、第１の算出部４７１は、上記補正が行われることによって、より認識に適した撮像制御を行うことが可能である。
【０１００】
以上説明したように、第１の応用例に係る撮像システム５０において、被写体認識部５２０によって取得された被写体種類情報および被写体領域情報は、第１の算出部４７１へ出力される。ここで、第１の応用例に係る撮像システム５０において、第１の算出部４７１は、ブレ情報取得部４３０により取得されたブレ量情報およびノイズ量情報取得部４４０により取得されたノイズ量情報を被写体認識部５２０によって取得された被写体領域情報を用いて補正し、補正されたブレ量情報および補正されたノイズ量情に応じて第１の撮像制御値を算出してもよい。また、第１の応用例に係る撮像システム５０において、第１の算出部４７１は、被写体認識部５２０により取得された被写体種類情報に応じた認識評価マップをマップ記憶部４６０から取得し、上記認識評価マップに応じて第１の撮像制御値を算出してもよい。したがって、第１の応用例に係る撮像システム５０において、より認識に適した撮像制御をすることが可能である。
【０１０１】
以上、第１の応用例に係る撮像システム５０の構成を説明した。続いて、第１の応用例に係る撮像システム５０の動作について説明する。図２６は、第１の応用例に係る撮像システム５０が行う処理の流れの具体例を示すフローチャートである。なお、第１の応用例に係る撮像システム５０が行う処理の流れにおけるＳ４１〜Ｓ４７の処理は、図２４を参照して説明した本開示の第３の実施形態に係る撮像システム４０が行う処理の流れにおけるＳ４１〜Ｓ４７の処理と実質的に同一であるので説明を省略する。
【０１０２】
第１の応用例に係る撮像システム５０が行う処理の流れにおいて、本開示の第３の実施形態に係る撮像システム４０が行う処理の流れと異なり、撮像システム５０はＳ５８およびＳ５９の処理を行う。第１の応用例に係る撮像システム５０が行う処理の流れにおいて、第２の撮像部４１２による撮像（Ｓ４７）が行われた後、画像処理部５８０は、第１の撮像部４１１によって得られた第１の撮像画像および第２の撮像部４１２によって得られた第２の撮像画像について、各々所定の画像処理を行う（Ｓ５８）。次に、被写体認識部５２０は、第１の撮像部４１１によって得られた後に画像処理部５８０によって画像処理された第１の撮像画像における被写体情報を取得する（Ｓ５９）。
【０１０３】
＜３−４．第２の応用例＞
以上、第１の応用例に係る撮像システム５０を説明した。続いて、第２の応用例に係る撮像システム６０の構成および動作について説明する。
【０１０４】
図２７は、第２の応用例に係る撮像システム６０の構成の具体例を示す説明図である。図２７に示したように、第２の応用例に係る撮像システム６０は、第３の実施形態に係る撮像システム４０と異なり、被写体認識部６２０と、撮像画像合成部６９０と、を備える。なお、第２の応用例に係る撮像システム６０において、撮像部４１０と、被写体認識部６２０と、ブレ情報取得部４３０と、ノイズ量情報取得部４４０と、シーン照度情報取得部４５０と、マップ記憶部４６０と、第１の算出部４７１と、第２の算出部４７２と、撮像画像合成部６９０と、によって信号処理装置としての機能が実現されてもよい。
【０１０５】
被写体認識部６２０は、撮像部４１０によって得られた撮像画像における被写体情報を取得する。例えば、被写体認識部６２０は、第１の撮像部４１１によって得られた第１の撮像画像における被写体情報を取得する。例えば、被写体認識部６２０は、被写体種類情報を取得する被写体種類情報取得部としての機能、被写体サイズ情報を取得する被写体サイズ情報取得部としての機能、および被写体位置情報を取得する被写体位置情報取得部としての機能を有してもよい。具体的には、被写体認識部６２０は、被写体が人体であるか車等の一般物体であるかの情報や被写体が人体または一般物体におけるどの部位に相当するかの情報を上記被写体種類情報として取得してもよい。また、被写体認識部６２０は、撮像画像における被写体の寸法や面積等の被写体サイズを上記被写体サイズ情報として取得してもよい。また、被写体認識部６２０は、撮像画像における被写体の位置を上記被写体位置情報として取得してもよい。なお、被写体認識部６２０によって取得された被写体種類情報、被写体サイズ情報および被写体位置情報は、信号処理装置の外部へ出力される。なお、以下、被写体サイズ情報および被写体位置情報を被写体領域情報と総称する。
【０１０６】
撮像画像合成部６９０は、第１の撮像部４１１により得られた第１の撮像画像と第２の撮像部４１２により得られた第２の撮像画像を合成する。なお、撮像画像合成部６９０による上記合成によりＨＤＲ（Ｈｉｇｈ  Ｄｙｎａｍｉｃ  Ｒａｎｇｅ）画像が生成される。また、上記ＨＤＲ画像は信号処理装置の外部へ出力される。
【０１０７】
以上説明したように、第２の応用例に係る撮像システム６０において、露光長の異なる撮像により得られた第１の撮像画像と第２の撮像画像が合成されることによって、幅広いダイナミックレンジを有する画像を取得することが可能となる。
【０１０８】
以上、第２の応用例に係る撮像システム６０の構成を説明した。続いて、第２の応用例に係る撮像システム６０の動作について説明する。図２８は、第２の応用例に係る撮像システム６０が行う処理の流れの具体例を示すフローチャートである。なお、第２の応用例に係る撮像システム６０が行う処理の流れにおけるＳ４１〜Ｓ４７の処理は、図２４を参照して説明した本開示の第３の実施形態に係る撮像システム４０が行う処理の流れにおけるＳ４１〜Ｓ４７の処理と実質的に同一であるので説明を省略する。
【０１０９】
第２の応用例に係る撮像システム６０が行う処理の流れにおいて、本開示の第３の実施形態に係る撮像システム４０が行う処理の流れと異なり、撮像システム６０は、Ｓ６８およびＳ６９の処理を行う。第２の応用例に係る撮像システム６０が行う処理の流れにおいて、第２の撮像部４１２による撮像（Ｓ４７）が行われた後、撮像画像合成部６９０は、第１の撮像部４１１により得られた第１の撮像画像と第２の撮像部４１２により得られた第２の撮像画像を合成する（Ｓ６８）。次に、被写体認識部６２０は、第１の撮像部４１１によって得られた第１の撮像画像における被写体情報を取得する（Ｓ６９）。
【０１１０】
＜３−５．変形例＞
以上では、撮像画像におけるブレ量情報は撮像部４１０によって得られた画像を用いて取得される情報である例を説明したが、撮像画像におけるブレ量情報は信号処理装置の角速度を示す情報に置き換えられてもよい。以下、本開示の変形例に係る撮像システム７０の構成および動作について説明する。
【０１１１】
図２９は、変形例に係る撮像システム７０の構成の具体例を示す説明図である。図２９に示したように、変形例に係る撮像システム７０は、第３の実施形態に係る撮像システム４０と異なり、ブレ情報取得部４３０を備えず、角速度検出部７１０を備える。なお、変形例に係る撮像システム７０において、ノイズ量情報取得部４４０と、シーン照度情報取得部４５０と、マップ記憶部４６０と、第１の算出部４７１と、第２の算出部４７２と、角速度検出部７１０と、によって信号処理装置としての機能が実現されてもよい。
【０１１２】
角速度検出部７１０は、撮像画像におけるブレ量情報を取得するブレ量情報取得部としての機能を有する。具体的には、角速度検出部７１０は、撮像部４１０によって得られた撮像画像におけるブレ量情報として信号処理装置の角速度を示す情報を取得する。例えば、角速度検出部７１０は、ジャイロセンサによって実現される。また、角速度検出部７１０は、取得された信号処理装置の角速度を撮像画像における露光長あたりのブレ量へ変換してもよい。なお、角速度検出部７１０によって取得されたブレ量情報は第１の算出部４７１へ出力される。
【０１１３】
変形例に係る撮像システム２０が行う処理の流れにおいて、本開示の第３の実施形態に係る撮像システム４０が行う処理の流れと比較し、ブレ情報の取得処理が異なる。具体的には、変形例に係る撮像システム２０が行う処理の流れにおいて、角速度検出部７１０は、撮像画像におけるブレ量情報を取得する
【０１１４】
＜＜４．むすび＞＞
以上説明したように、本開示の各実施形態、変形例及び各応用例に係る第１の算出部は、ブレ情報取得部により取得されたブレ量情報と、ノイズ量情報取得部により取得されたノイズ量情報と、に応じて第１の撮像制御値を算出する。ゆえに、本開示の各実施形態に係る撮像システムにおいて、露光長の増大に伴うブレ量の増大およびゲインの増大に伴うノイズ量の増大を低減することが可能となる。また、本開示の各実施形態、変形例及び各応用例に係る撮像システムにおいて、撮像制御値の算出に用いられるブレ量情報およびノイズ量情報は各々露光長およびゲインとの相関が高い。したがって、本開示の各実施形態に係る撮像システムにおいて、認識に適した撮像制御を容易に行うことが可能である。
【０１１５】
なお、本開示の第１および第２の実施形態に係る撮像システムにおいて、第１の算出部は、被写体認識部により取得された被写体種類情報に応じて撮像画像におけるブレ量と撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、上記関係に応じて第１の撮像制御値を算出してもよい。具体的には、第１の算出部は、被写体認識部により取得された被写体種類情報に応じた認識評価マップをマップ記憶部から取得し、上記認識評価マップに応じて第１の撮像制御値を算出してもよい。ゆえに、本開示の第１および第２の実施形態に係る撮像システムは、認識にさらに適した撮像制御をすることが可能となる。
【０１１６】
また、本開示の第１および第２の実施形態に係る撮像システムにおいて、第１の算出部は、ブレ情報取得部により取得されたブレ方向情報に応じて撮像画像におけるブレ量と撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、上記関係に応じて第１の撮像制御値を算出してもよい。具体的には、第１の算出部は、ブレ情報取得部により取得されたブレ方向情報に応じた認識評価マップをマップ記憶部から取得し、上記認識評価マップに応じて第１の撮像制御値を算出してもよい。ゆえに、本開示の第１および第２の実施形態に係る撮像システムは、認識にさらに適した撮像制御をすることが可能となる。
【０１１７】
また、本開示の第１および第２の実施形態に係る撮像システムにおいて、第１の算出部は、ブレ情報取得部により被写体サイズ情報に基づいて補正されたブレ量情報に応じて第１の撮像制御値を算出してもよい。本開示の第１および第２の実施形態に係る撮像システムにおいて、露光長あたりのブレ量が被写体サイズ情報を用いて補正されることによって、被写体領域のサイズに依存しないブレ量を求めることができる。ゆえに、本開示の第１および第２の実施形態に係る撮像システムにおいて、認識にさらに適した撮像制御をすることが可能となる。
【０１１８】
また、本開示の各実施形態に係る撮像システム１０において、認識に適した撮像制御を容易にすることが可能であるため、高コストなノイズリダクションやデブラー等の前処理を行う撮像システムと比較し、低いコストによって認識に適した画像を得ることが可能である。
【０１１９】
また、本開示の第２の実施形態に係る撮像システム３０において、撮像制御値合成部３９０は、第１の算出部３７１により算出された第１の撮像制御値と第２の算出部３７２により算出された第２の撮像制御値を合成する。また、本開示の第２の実施形態に係る撮像システム３０において、撮像制御値合成部３９０は、第１の算出部３７１により算出された第１の撮像制御値と第２の算出部３７２により算出された第２の撮像制御値を任意の割合で合成することが可能である。ゆえに、本開示の第２の実施形態に係る撮像システム３０において、認識に適した撮像制御または視認に適した撮像制御を行うことが可能となる。
【０１２０】
また、本開示の第３の実施形態、第１の応用例および第２の応用例に係る撮像システムにおいて、撮像部４１０は第１の算出部４７１により算出された第１の撮像制御値に基づいた撮像を行う第１の撮像部４１１と、第２の算出部４７２により算出された第２の撮像制御値に基づいた撮像を行う第２の撮像部４１２と、を備える。したがって、本開示の第３の実施形態、第１の応用例および第２の応用例に係る撮像システムにおいて、認識および視認に適した撮像制御をすることが可能となる。
【０１２１】
また、本開示の第３の実施形態、第１の応用例および第２の応用例に係る撮像システム４０において、同一の画角に対応する複数の画素によって、第１の算出部４７１により算出された第１の撮像制御値に基づいた撮像と、第２の算出部４７２により算出された第２の撮像制御値に基づいた撮像と、を行うことができる。ゆえに、本開示の第３の実施形態に係る撮像システム４０において、データ量やメモリを節約することが可能である。
【０１２２】
また、第１の応用例に係る撮像システム５０において、被写体認識部５２０によって取得された被写体種類情報および被写体領域情報は、第１の算出部４７１へ出力される。ここで、第１の応用例に係る撮像システム５０において、第１の算出部４７１は、ブレ情報取得部４３０により取得されたブレ量情報およびノイズ量情報取得部４４０により取得されたノイズ量情報を被写体認識部５２０によって取得された被写体領域情報を用いて補正し、補正されたブレ量情報および補正されたノイズ量情に応じて第１の撮像制御値を算出してもよい。また、第１の応用例に係る撮像システム５０において、第１の算出部４７１は、被写体認識部５２０により取得された被写体種類情報に応じた認識評価マップをマップ記憶部４６０から取得し、上記認識評価マップに応じて第１の撮像制御値を算出してもよい。したがって、第１の応用例に係る撮像システム５０において、より認識に適した撮像制御をすることが可能である。
【０１２３】
また、第２の応用例に係る撮像システム６０において、露光長の異なる撮像により得られた第１の撮像画像と第２の撮像画像が合成されることによって、幅広いダイナミックレンジを有する画像を取得することが可能となる。
【０１２４】
なお、本開示の各実施形態、変形例及び各応用例に係る撮像システムは、演算処理装置であるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＣＰＵが使用するプログラムや演算パラメータ等を記憶するＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＣＰＵの実行において使用するプログラムや、その実行において適宜変化するパラメータ等を一時記憶するＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのデータ格納用記憶装置等を備える。本開示の各実施形態、変形例及び各応用例に係る撮像システムにおいて、ＣＰＵは、演算処理装置および制御装置として機能し、各種プログラムと協働して信号処理装置内の被写体認識部、ブレ情報取得部、ノイズ量情報取得部、第１の算出部、第２の算出部、撮像制御値合成部および撮像画像合成部の動作を実現する。また、ＲＯＭは、マップ記憶部としての機能を実現する。また、ＣＰＵは、マイクロプロセッサであってもよい。ＲＯＭは、ＣＰＵが使用するプログラムまたは演算パラメータ等を記憶する。ＲＡＭは、ＣＰＵの実行にいて使用するプログラムまたは実行において適宜変化するパラメータ等を一時記憶する。
【０１２５】
また、本開示の各実施形態に係る撮像システムが行う処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、本開示の各実施形態に係る撮像システムが行う処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。例えば、本開示の第１の実施形態に係る撮像システム１０が行う処理において、ブレ情報取得部１３０によるブレ情報取得処理（Ｓ１２）と、ノイズ量情報取得部１４０によるノイズ量情報取得処理（Ｓ１３）と、シーン照度情報取得部１５０によるシーンの照度情報取得処理（Ｓ１４）と、はフローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。また、本開示の第３の実施形態に係る撮像システム４０が行う処理において、第１の算出部４７１による第１の撮像制御値算出処理（Ｓ４４）と、第２の算出部４７２による第２の撮像制御値算出処理（Ｓ４５）と、はフローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。また、本開示の第３の実施形態に係る撮像システム４０が行う処理において、第１の撮像部４１１による第撮像処理（Ｓ４６）と、第２の撮像部４１２による第撮像処理（Ｓ４７）と、はフローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。
【０１２６】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２７】
また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
【０１２８】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）撮像画像におけるブレ量情報を取得するブレ量情報取得部と、前記撮像画像におけるノイズ量情報を取得するノイズ量情報取得部と、前記ブレ量情報取得部により取得された前記ブレ量情報と、前記ノイズ量情報取得部により取得された前記ノイズ量情報と、に応じて第１の撮像制御値を算出する第１の撮像制御値算出部と、を備える、信号処理装置。
（２）シーンの照度情報を取得するシーン照度情報取得部を備え、前記第１の撮像制御値算出部は、前記シーン照度情報取得部により取得された前記照度情報に応じて前記第１の撮像制御値を算出する、前記（１）に記載の信号処理装置。
（３）前記撮像画像における被写体種類情報を取得する被写体種類情報取得部を備え、前記第１の撮像制御値算出部は、前記被写体種類情報取得部により取得された前記被写体種類情報に応じて前記撮像画像におけるブレ量と前記撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、前記関係に応じて前記第１の撮像制御値を算出する、前記（１）または（２）に記載の信号処理装置。
（４）前記撮像画像におけるブレ方向情報を取得するブレ方向情報取得部を備え、前記第１の撮像制御値算出部は、前記ブレ方向情報取得部により取得された前記ブレ方向情報に応じて前記撮像画像におけるブレ量と前記撮像画像におけるノイズ量と被写体の認識の容易さとの関係を取得し、前記関係に応じて前記第１の撮像制御値を算出する、前記（１）から（３）のいずれか一項に記載の信号処理装置。
（５）前記撮像画像における被写体サイズ情報を取得する被写体サイズ情報取得部を備え、前記ブレ量情報取得部は、前記被写体サイズ情報取得部により取得された前記被写体サイズ情報に基づいて前記ブレ量情報を補正し、前記第１の撮像制御値算出部は、前記ブレ量情報取得部により補正された前記ブレ量情報に応じて前記第１の撮像制御値を算出する、前記（１）から（４）のいずれか一項に記載の信号処理装置。
（６）前記シーン照度情報取得部により取得された前記照度情報に応じて第２の撮像制御値を算出する第２の撮像制御値算出部を備える、前記（２）に記載の信号処理装置。
（７）前記第１の撮像制御値算出部により算出された前記第１の撮像制御値に基づいた撮像を行う第１の撮像部と、前記第２の撮像制御値算出部により算出された前記第２の撮像制御値に基づいた撮像を行う第２の撮像部と、を備える、前記（６）に記載の信号処理装置。
（８）前記第１の撮像部により得られた第１の撮像画像と前記第２の撮像部により得られた第２の撮像画像を合成する撮像画像合成部を備える、前記（７）に記載の信号処理装置。
（９）前記第１の撮像制御値算出部により算出された前記第１の撮像制御値と前記第２の撮像制御値算出部により算出された前記第２の撮像制御値を合成する撮像制御値合成部を備える、前記（６）に記載の信号処理装置。
（１０）前記ブレ量情報は、前記信号処理装置の角速度を示す情報である、前記（１）から（９）に記載の信号処理装置。
（１１）撮像画像におけるブレ量情報を取得するブレ量情報取得部と、前記撮像画像におけるノイズ量情報を取得するノイズ量情報取得部と、前記ブレ量情報取得部により取得された前記ブレ量情報と、前記ノイズ量情報取得部により取得された前記ノイズ量情報と、に応じて撮像制御値を算出する撮像制御値算出部と、前記撮像制御値算出部により算出された前記撮像制御値に基づいた撮像を行う撮像部と、前記撮像部によって得られた画像情報を画像処理する画像処理部と、を備える、撮像システム。
【符号の説明】
【０１２９】
１０、１２、１４、２０、３０、４０、５０、６０、７０  撮像システム
１０１、１０２、１０４、１１０、４０１、４０２  チップ
１１０、３１０、４１０  撮像部
１２０、３２０、４２０、５２０、６２０  被写体認識部
３７１、４７１  第１の被写体認識部
３７２、４７２  第２の被写体認識部
１３０、３３０、４３０  ブレ情報取得部
１４０、３４０、４４０  ノイズ量情報取得部
１５０、３５０、４５０  シーン照度情報取得部
１６０、３６０、４６０  マップ記憶部
１７１、３７１、４７１  第１の算出部
１７２、３７２、４７２  第２の算出部
１８０、３８０、５８０  画像処理部
２１０、７１０  角速度検出部
３９０  撮像制御値合成部
４１１  第１の撮像部
４１２  第２の撮像部
６９０  撮像画像合成部
【図１】
2016092723.tif 000010
【図２】
2016092723.tif 000011
【図３】
2016092723.tif 000012
【図４】
2016092723.tif 000013
【図５】
2016092723.tif 000014
【図６】
2016092723.tif 000015
【図７】
2016092723.tif 000016
【図８】
2016092723.tif 000017
【図９】
2016092723.tif 000018
【図１０】
2016092723.tif 000019
【図１１】
2016092723.tif 000020
【図１２】
2016092723.tif 000021
【図１３】
2016092723.tif 000022
【図１４】
2016092723.tif 000023
【図１５】
2016092723.tif 000024
【図１６】
2016092723.tif 000025
【図１７】
2016092723.tif 000026
【図１８】
2016092723.tif 000027
【図１９】
2016092723.tif 000028
【図２０】
2016092723.tif 000029
【図２１】
2016092723.tif 000030
【図２２】
2016092723.tif 000031
【図２３】
2016092723.tif 000032
【図２４】
2016092723.tif 000033
【図２５】
2016092723.tif 000034
【図２６】
2016092723.tif 000035
【図２７】
2016092723.tif 000036
【図２８】
2016092723.tif 000037
【図２９】
2016092723.tif 000038