(57)【要約】  本技術は、検出画像の解像度を制御することができるようにする撮像装置および方法、並びに、撮像素子に関する。撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、その複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、そのエリアに形成される画素出力単位から読み出される信号を処理し、その出力画素値を得る信号処理部とを備える。本開示は、例えば、撮像素子、撮像装置、画像処理装置、電子機器、システム等に適用することができる。
2019106999.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、
前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部と
を備える撮像素子と、
前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部と
を備える撮像装置。
【請求項２】
撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、
前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部と
を備える撮像素子
の各画素出力単位の出力画素値を選択的に読み出す
撮像方法。
【請求項３】
撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、
前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部と
を備える撮像素子。
【請求項４】
複数のエリアの、それぞれの所定の画素出力単位から信号が読み出され、
前記複数のエリアのそれぞれに対応付けられた各信号処理部は、自身に対応するエリアの前記画素出力単位から読み出される信号を処理する
請求項３に記載の撮像素子。
【請求項５】
各エリアの前記画素出力単位は、エリア内において最初に信号が読み出される画素出力単位である
請求項４に記載の撮像素子。
【請求項６】
各エリアにおける各画素出力単位の信号の読み出し順は、互いに同一である
請求項４に記載の撮像素子。
【請求項７】
各エリアの前記画素出力単位の集合全体が、画素領域の画素出力単位群全体と同等の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を持つ
請求項４に記載の撮像素子。
【請求項８】
複数のエリアの内の所定の一部のエリアの各画素出力単位から信号が読み出され、
前記一部のエリアに対応付けられた信号処理部は、自身に対応するエリアの各画素出力単位から読み出される信号を処理する
請求項３に記載の撮像素子。
【請求項９】
前記信号が読み出されるエリアの画素出力単位群の全体が、画素領域の画素出力単位群全体と同等の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を持つ
請求項８に記載の撮像素子。
【請求項１０】
前記信号が読み出されるエリアの画素出力単位群の全体が、画素領域の画素出力単位群全体と異なる、被写体からの入射光の入射角に対する指向性を示す入射角指向性を持つ
請求項８に記載の撮像素子。
【請求項１１】
前記信号が読み出されるエリアの各画素出力単位の前記入射角指向性が、全て、前記画素領域に対して垂直である
請求項１０に記載の撮像素子。
【請求項１２】
所定のエリアの画素出力単位群の全体の画角の大きさが、他のエリアまたは前記画素領域の画素出力単位群全体の画角の大きさと異なる
請求項１０に記載の撮像素子。
【請求項１３】
所定のエリアの画素出力単位群の全体の画角の向きが、他のエリアまたは前記画素領域の画素出力単位群全体の画角の向きと異なる
請求項１０に記載の撮像素子。
【請求項１４】
複数のエリアの各画素出力単位から信号が読み出され、
前記複数のエリアのそれぞれに対応付けられた信号処理部は、自身に対応するエリアの各画素出力単位から読み出される信号を処理する
請求項３に記載の撮像素子。
【請求項１５】
前記信号処理部は、自身に対応するエリアの画素出力単位から読み出される信号をA/D変換して前記出力画素値を得る
請求項３に記載の撮像素子。
【請求項１６】
前記構成は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成である
請求項３に記載の撮像素子。
【請求項１７】
前記構成は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成である
請求項３に記載の撮像素子。
【請求項１８】
前記複数の画素出力単位は、出力に寄与するPD（Photo Diode）を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る
請求項３に記載の撮像素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置および方法、並びに、撮像素子に関し、特に、検出画像の解像度を制御することができるようにした撮像装置および方法、並びに、撮像素子に関する。
【背景技術】
【０００２】
従来、撮像素子は、撮像素子に集光する撮像レンズと組み合わせて用いることが一般的である。撮像レンズによって、被写体面からの光を、被写体面の光強度分布を再現するように、撮像素子の各画素に導くことにより、撮像素子は、各画素においてその光強度分布に応じたレベルの検出信号を得ることができ、全体として被写体の撮像画像を得ることができる。【０００３】
しかしながら、この場合、物理的なサイズが大きくなってしまう。そこで、撮像レンズを用いない撮像素子が考えられた（例えば特許文献１、特許文献２、および非特許文献１参照）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】国際公開第２０１６／１２３５２９号
【特許文献２】特表２０１６-５１０９１０号公報
【非特許文献】
【０００５】
【非特許文献１】M. Salman Asif、他４名、"Flatcam: Replacing lenses with masks and computation"、"2015 IEEE International Conference on Computer Vision Workshop (ICCVW)"、2015年、663-666ページ
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、このような方法では、撮像素子の全ての画素より得られる情報からなる検出画像しか得ることができず、所望の解像度の検出画像を得ることができなかった。【０００７】
本開示は、このような状況に鑑みてなされたものであり、検出画像の解像度を制御することができるようにするものである。
【課題を解決するための手段】
【０００８】
本技術の一側面の撮像装置は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部とを備える撮像素子と、前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部とを備える撮像装置である。【０００９】
本技術の一側面の撮像方法は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部とを備える撮像素子の各画素出力単位の出力画素値を選択的に読み出す撮像方法である。【００１０】
本技術の他の側面の撮像素子は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部とを備える撮像素子である。【００１１】
本技術の一側面の撮像装置および方法においては、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、その複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、そのエリアに形成される画素出力単位から読み出される信号を処理し、その出力画素値を得る信号処理部とを備える撮像素子の各画素出力単位の出力画素値が選択的に読み出される。【００１２】
本技術の他の側面の撮像素子においては、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、その複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、そのエリアに形成される画素出力単位から読み出される信号を処理し、その出力画素値を得る信号処理部とが備えられる。
【発明の効果】
【００１３】
本技術によれば、被写体を撮像する、または、画像を処理することができる。また本技術によれば、検出画像の解像度を制御することができる。
【図面の簡単な説明】
【００１４】
【図１】撮像装置の主な構成例を示すブロック図である。
【図２】本開示の技術を適用した撮像装置における撮像の原理を説明する図である。
【図３】従来の撮像素子と本開示の撮像素子との構成の違いを説明する図である。
【図４】撮像素子の第１の構成例を説明する図である。
【図５】撮像素子の第１の構成例を説明する図である。
【図６】入射角指向性の発生の原理を説明する図である。
【図７】オンチップレンズを利用した入射角指向性の変化を説明する図である。
【図８】入射角指向性の設計を説明する図である。
【図９】被写体距離と入射角指向性を表現する係数との関係を説明する図である。
【図１０】狭画角画素と広画角画素との関係を説明する図である。
【図１１】狭画角画素と広画角画素との関係を説明する図である。
【図１２】狭画角画素と広画角画素との関係を説明する図である。
【図１３】変形例を説明する図である。
【図１４】変形例を説明する図である。
【図１５】変形例を説明する図である。
【図１６】変形例を応用して画角を変化させる例を説明する図である。
【図１７】変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。
【図１８】変形例を説明する図である。
【図１９】変形例を説明する図である。
【図２０】変形例を説明する図である。
【図２１】遮光膜によるマスクパターンの例を示す図である。
【図２２】撮像素子の基板の構成例を示す図である。
【図２３】上基板の主な構成例を示す図である。
【図２４】下基板の主な構成例を示す図である。
【図２５】ADCの主な構成例を示す図である。
【図２６】エリアにおける画素の走査順序の例を示す図である。
【図２７】全画素から読み出す方式の概要を説明するための図である。
【図２８】規則的に一部の画素から読み出す方式の概要を説明するための図である。
【図２９】信号を読み出す画素の位置の例を示す図である。
【図３０】任意の一部の画素から読み出す方式の概要を説明するための図である。
【図３１】信号を読み出す画素の位置の例を示す図である。
【図３２】指向性を同等とする方法について説明するための図である。
【図３３】撮像処理の流れの例を説明するフローチャートである。
【図３４】全画素モード撮像処理の流れの例を説明するフローチャートである。
【図３５】間引きモード撮像処理の流れの例を説明するフローチャートである。
【図３６】所定のエリアの画素から読み出す方式の概要を説明するための図である。
【図３７】信号を読み出す画素の位置の例を示す図である。
【図３８】開口部のパターンの例を示す図である。
【図３９】領域の広さと被写界深度との関係について説明するための図である。
【図４０】撮像処理の流れの例を説明するフローチャートである。
【図４１】エリア駆動モード撮像処理の流れの例を説明するフローチャートである。
【図４２】撮像処理の流れの例を説明するフローチャートである。
【図４３】エリアの特性の例を示す図である。
【図４４】撮像処理の流れの例を説明するフローチャートである。
【図４５】エリア選択の例を示す図である。
【図４６】監視システムの主な構成例を示す図である。
【図４７】監視処理の流れの例を説明するフローチャートである。
【図４８】信号を読み出す画素の位置の例を示す図である。
【図４９】被写体までの距離計測の様子の例を示す図である。
【図５０】撮像処理の流れの例を説明するフローチャートである。
【図５１】撮像処理の流れの例を説明する、図５０に続くフローチャートである。
【図５２】内視鏡手術システムの概略的な構成の一例を示す図である。
【図５３】図５２に示すカメラヘッド及びＣＣＵの機能構成の一例を示すブロック図である。
【図５４】顕微鏡手術システムの概略的な構成の一例を示す図である。
【図５５】図５４に示す顕微鏡手術システムを用いた手術の様子を示す図である。
【図５６】体内情報取得システムの概略的な構成の一例を示すブロック図である。
【図５７】フローサイトメトリーシステムの概略的な構成の一例を示す図である。
【図５８】開口部のパターンの例を示す図である。
【図５９】車両制御システムの概略的な構成の一例を示すブロック図である。
【図６０】車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
【図６１】運転支援処理の流れの例を説明するフローチャートである。
【図６２】撮像素子の主な構成例を示す図である。
【図６３】白黒パターンマスクを用いた場合を示す図である。
【図６４】光干渉マスクを用いた場合を示す図である。
【図６５】撮像素子の変形例を示す図である。
【発明を実施するための形態】
【００１５】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像装置・間引きモード）
２．第２の実施の形態（撮像装置・エリア駆動モード）
３．第３の実施の形態（撮像装置・モード選択）
４．第４の実施の形態（監視システム）
５．第５の実施の形態（被写体距離計測）
６．第６の実施の形態（医療系システム等）
７．第７の実施の形態（車載システム等）
８．第８の実施の形態（撮像素子・撮像装置の他の構成例）
９．その他
【００１６】
＜１．第１の実施の形態＞
＜撮像装置＞
図１は、本技術を適用した撮像装置または画像処理装置の一実施の形態である撮像装置の主な構成例を示す図である。図１に示される撮像装置１００は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。
【００１７】
図１に示されるように、撮像装置１００は、制御部１０１、入力部１１１、出力部１１２、記憶部１１３、通信部１１４、および記録再生部１１５を有する。また撮像装置１００は、撮像素子１２１、読み出し制御部１２２、復元行列設定部１２３、復元部１２４、関連付け部１２５、およびセンサ部１２６を有する。各処理部等は、バス１１０を介して互いに接続され、互いに情報や命令等を授受することができる。
【００１８】
なお、撮像素子１２１および読み出し制御部１２２は、一体化して撮像部１２０としてもよい。撮像部１２０は、どのような物理的構成により実現されるようにしてもよい。例えば、撮像部１２０が、システムLSI（Large Scale Integration）等としてのプロセッサとして実現されるようにしてもよい。また、撮像部１２０が、例えば複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実現されるようにしてもよい。また、撮像部１２０を装置として実現するようにしてもよい。
【００１９】
制御部１０１は、撮像装置１００内の各処理部等の制御に関する処理を行うように構成される。例えば、制御部１０１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【００２０】
入力部１１１は、情報の入力に関する処理を行うように構成される。例えば、入力部１１１は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部１１１は、それらの入力デバイスによってユーザ等の外部からの指示（入力された操作に対応する情報）を受け付ける。また、例えば、入力部１１１は、外部入力端子を介して、外部の装置から供給される任意の情報（プログラム、コマンド、データ等）を取得する。また、例えば、入力部１１１は、その受け付けた情報（取得した情報）を、バス１１０を介して他の処理部等に供給する。
【００２１】
なお、入力部１１１が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部１１１が有する入力デバイスは任意であり、その数も任意である。入力部１１１が複数種類の入力デバイスを有するようにしてもよい。例えば、入力部１１１が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部１１１が、上述した例以外の入力デバイスを有するようにしてもよい。さらに、例えば、入力部１１１が、バス１１０を介して供給される自身（入力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００２２】
出力部１１２は、情報の出力に関する処理を行うように構成される。例えば、出力部１１２は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部１１２は、それらの出力デバイス等を用いて、バス１１０を介して他の処理部等から供給される情報を出力する。例えば、出力部１１２は、撮像画像（後述する復元画像）をモニタに表示したり、撮像画像（後述する復元画像）をプロジェクタから投影したり、音声（例えば入力操作や処理結果等に対応する音声）を出力したり、任意の情報（プログラム、コマンド、データ等）を外部（他の機器）に出力したりする。
【００２３】
なお、出力部１１２が有する出力デバイス等は任意であり、その数も任意である。出力部１１２が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部１１２が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部１１２が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部１１２が、バス１１０を介して供給される自身（出力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００２４】
記憶部１１３は、情報の記憶に関する処理を行うように構成される。例えば、記憶部１１３は、ハードディスクや半導体メモリ等のような、任意の記憶媒体を有する。例えば、記憶部１１３は、バス１１０を介して他の処理部等から供給される情報（プログラム、コマンド、データ等）をその記憶媒体に記憶する。また、記憶部１１３は、出荷時において任意の情報（プログラム、コマンド、データ等）を記憶しているようにしてもよい。また、記憶部１１３は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス１１０を介して他の処理部等に供給する。
【００２５】
なお、記憶部１１３が有する記憶媒体は任意であり、その数も任意である。記憶部１１３が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部１１３が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部１１３が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部１１３が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００２６】
通信部１１４は、他の装置との通信に関する処理を行うように構成される。例えば、通信部１１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを有する。例えば、通信部１１４は、他の装置と通信を行い、バス１１０を介して他の処理部等より供給される情報（プログラム、コマンド、データ等）を、その通信相手である他の装置に供給する。また、例えば、通信部１１４は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス１１０を介して他の処理部等に供給する。
【００２７】
通信部１１４が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部１１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。また、例えば、通信部１１４が、バス１１０を介して供給される自身（通信デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００２８】
記録再生部１１５は、自身に装着された記録媒体１１６を利用した情報の記録や再生に関する処理を行うように構成される。例えば、記録再生部１１５は、自身に装着された記録媒体１１６に記録されている情報（プログラム、コマンド、データ等）を読み出し、その情報を、バス１１０を介して他の処理部等に供給する。また、例えば、記録再生部１１５は、バス１１０を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体１１６に書き込む（記録する）。なお、例えば、記録再生部１１５が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００２９】
なお、記録媒体１１６は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。
【００３０】
撮像素子１２１は、被写体の撮像に関する処理を行うように構成される。例えば、撮像素子１２１は、被写体を撮像し、その撮像画像に関するデータ（電子データ）を得る。その際、撮像素子１２１は、撮像レンズ、回折格子等の光学フィルタ等やピンホール等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができる。例えば、撮像素子１２１は、被写体を撮像し、所定の演算によりその撮像画像のデータを得ることができるデータ（検出信号等）を得る。
【００３１】
なお、撮像画像は、被写体の像が結像された画素値により構成される、ユーザが目視して画像として認識できる画像である。これに対して撮像素子１２１の画素単位出力における入射光の検出結果である検出信号により構成される画像（検出画像と称する）は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない（つまり、被写体を視認不可能な）画像である。つまり、検出画像は撮像画像とは異なる画像である。ただし、上述のように、この検出画像のデータに対して所定の演算を行うことにより、撮像画像、すなわち、被写体の像が結像された、ユーザが目視して画像として認識できる（つまり、被写体を視認可能な）画像を復元することができる。この復元された撮像画像を復元画像と称する。つまり、検出画像は復元画像とは異なる画像である。
【００３２】
なお、この復元画像を構成する画像であって、同時化処理や色分離処理等（例えば、デモザイク処理等）の前の画像をRaw画像と称する。このRaw画像も、撮像画像と同様に、ユーザが目視して画像として認識することができる（つまり、被写体を視認可能な）画像である。換言するに、検出画像は、色フィルタの配列に従った画像ではあるが、Raw画像とは異なる画像である。
【００３３】
ただし、撮像素子１２１が、例えば赤外光や紫外光等のような不可視光のみに感度を有する場合、復元画像（Raw画像や撮像画像）も、ユーザが目視して画像として認識することはできない（被写体を視認することができない）画像となる。ただし、これは検出した光の波長域によるものであるので、復元画像は、波長域を可視光域に変換することにより被写体を視認可能な画像とすることができる。これに対して検出画像は、被写体の像が結像されていないので、波長域を変換するだけでは被写体を視認可能な画像とすることはできない。したがって、撮像素子１２１が不可視光のみに感度を有する場合であっても、上述したように検出画像に対して所定の演算を行うことにより得られる画像を復元画像と称する。なお、以下において、特に言及しない限り、基本的に撮像素子１２１が可視光を受光する場合を例に用いて本技術を説明する。
【００３４】
つまり、撮像素子１２１は、被写体を撮像し、検出画像に関するデータを得ることができる。撮像素子１２１は、例えば、その検出画像に関するデータを読み出し制御部１２２を介して復元部１２４に供給し、復元画像を生成させることができる。また、撮像素子１２１は、例えば、その検出画像に関するデータを、読み出し制御部１２２を介して、関連付け部１２５等に供給し、メタデータ等を関連付けさせることができる。もちろん、撮像素子１２１は、この検出画像に関するデータを、任意の処理部等に供給することができる。また、例えば、撮像素子１２１が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００３５】
読み出し制御部１２２は、撮像素子１２１からのデータの読み出し制御に関する処理を行い、検出画像の解像度を制御するように構成される。例えば、読み出し制御部１２２は、撮像素子１２１からの検出画像の読み出しを制御し、撮像素子１２１の各画素出力単位からの出力である検出信号を選択的に読み出す。
【００３６】
例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した全ての画素出力単位の検出信号を、検出画像に含める検出信号として選択することができる。
【００３７】
例えば、読み出し制御部１２２は、撮像素子１２１の複数の画素出力単位のうち、一部の画素単位出力を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうちの一部を検出画像に含める検出信号として選択することができる。
【００３８】
例えば、読み出し制御部１２２は、撮像素子１２１の複数の画素出力単位のうち、任意の位置の一部の画素出力単位を選択することができる。つまり、例えば、読み出し制御部１２２は、撮像素子１２１の複数の画素出力単位のうち、任意の位置の一部の画素単位出力を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうち、任意の位置の一部の画素出力単位から読み出された検出信号を、検出画像に含める検出信号として選択することができる。
【００３９】
例えば、読み出し制御部１２２は、撮像素子１２１の複数の画素出力単位のうち、所定の規則性を有する位置関係にある一部の画素出力単位を選択することができる。つまり、例えば、読み出し制御部１２２は、撮像素子１２１の複数の画素出力単位のうち、所定の規則性を有する位置関係にある一部の画素単位出力を選択し、選択した画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうち、所定の規則性を有する位置関係にある一部の画素出力単位から読み出された検出信号を、検出画像に含める検出信号として選択することができる。
【００４０】
例えば、読み出し制御部１２２は、撮像素子１２１の複数の画素出力単位が形成される画素領域の一部の部分領域内に形成される画素出力単位を選択することができる。つまり、例えば、読み出し制御部１２２は、画素領域内の部分領域を選択し、選択した部分領域内の画素出力単位から検出信号を読み出すことができる。また、例えば、読み出し制御部１２２は、撮像素子１２１の全ての画素出力単位から検出信号を読み出し、読み出した各画素出力単位の検出信号のうち、所望の部分領域内に形成される画素出力単位から読み出された検出信号を、検出画像に含める検出信号として選択することができる。
【００４１】
例えば、読み出し制御部１２２は、これらのような画素出力単位の選択を、撮像素子１２１の動作モードに応じて行うことができる。
【００４２】
検出画像に採用する検出信号を選択するということは、言い換えると、不採用の検出信号を選択するということでもある。つまり、読み出し制御部１２２は、検出信号を取捨選択する（全ての検出信号を選択する場合も含む）ことにより、検出画像の解像度を制御（設定）する。例えば、読み出し制御部１２２は、撮像素子１２１から全ての画素の検出信号を読み出したり、撮像素子１２１から検出信号を間引いて読み出したり、撮像素子１２１から読み出した検出信号を間引いたり、撮像素子１２１から読み出した検出信号を所定数毎に加算したりして、検出画像の解像度を制御（設定）する。
【００４３】
読み出し制御部１２２は、読み出した（解像度を設定した）検出画像（間引きや加算等を行う場合は処理後の検出画像）を、バス１１０を介して他の処理部等（例えば、復元行列設定部１２３、復元部１２４、関連付け部１２５等）に供給する。
【００４４】
復元行列設定部１２３は、復元行列の設定に関する処理を行うように構成される。検出画像は所定の演算を行うことにより復元画像に変換することができる。この所定の演算は、詳細については後述するが、検出画像に含まれる各検出信号に所定の係数を乗算して互いに加算することである。つまり、所定の行列演算を行うことにより、検出画像を復元画像に変換することができる。本明細書において、この行列演算に用いられる、上述の係数からなる行列を復元行列と称する。
【００４５】
復元行列設定部１２３は、例えば、読み出し制御部１２２により解像度が設定された検出画像に対応する復元行列（読み出し制御部１２２により選択的に読み出された検出信号から復元画像を復元する際に用いられる復元行列）を設定する。つまり、この復元行列は処理対象の検出画像の解像度に対応している。復元行列設定部１２３は、例えば、設定した復元行列を、バス１１０を介して他の処理部等（例えば、復元部１２４や関連付け部１２５等）に供給する。
【００４６】
なお、検出画像を復元画像に変換する所定の行列演算において、検出画像を任意の解像度の復元画像に変換するようにしてもよい。その場合、復元行列設定部１２３が、検出画像の解像度と目標とする復元画像の解像度とに応じた行数および列数の復元行列を設定するようにすればよい。
【００４７】
なお、例えば復元行列設定部１２３が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００４８】
復元部１２４は、復元画像の生成に関する処理を行うように構成される。例えば、復元部１２４は、所定の演算を行うことにより、撮像素子１２１から供給される検出画像に関するデータ（検出信号等）から復元画像を生成する。また、復元部１２４は、生成した復元画像に関するデータ（画素値等）を、バス１１０を介して他の処理部等に供給する。
【００４９】
なお、撮像素子１２１において、カラーフィルタを用いる等して複数の色成分が混在する検出画像が得られ、復元部１２４が、その検出画像に対して所定の演算を行うことにより、複数の色成分が混在するRaw画像が得られるようにしてもよい。そして、復元部１２４が、その複数の色成分が混在するRaw画像を復元画像として他の処理部等に供給するようにしてもよいし、そのRaw画像に対して同時化処理や色分離処理等（例えば、デモザイク処理等）を行い、その処理が施された画像を復元画像として他の処理部等に供給するようにしてもよい。もちろん、撮像素子１２１において、モノクロの検出画像や、色毎の検出画像が得られ、同時化処理や色分離処理等（例えば、デモザイク処理等）が不要であるようにしてもよい。
【００５０】
また、復元部１２４が、復元画像に対して、例えばガンマ補正（γ補正）やホワイトバランス調整等の任意の画像処理を施し、画像処理後の復元画像に関するデータを他の処理部等に供給するようにしてもよい。さらに、復元部１２４が、復元画像のデータのフォーマットを変換したり、例えばJPEG（Joint Photographic Experts Group）、TIFF（Tagged Image File Format）、GIF（Graphics Interchange Format）等の所定の圧縮方式で圧縮したりし、その変換（圧縮）後のデータを他の処理部等に供給するようにしてもよい。
【００５１】
なお、例えば復元部１２４が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００５２】
関連付け部１２５は、データの関連付けに関する処理を行うように構成される。例えば、関連付け部１２５は、撮像素子１２１等から供給される検出画像に関するデータ（検出信号等）に、復元画像生成のための所定の演算に用いられるデータ（例えば係数等）を関連付ける。
【００５３】
ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【００５４】
また、例えば、関連付け部１２５は、関連付けたデータを、バス１１０を介して他の処理部等に供給する。なお、例えば関連付け部１２５が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００５５】
センサ部１２６は、検出に関する処理を行うように構成される。例えば、センサ部１２６は、任意のセンサを有し、所定のパラメータについての検出を行う。例えば、センサ部１２６は、撮像装置１００の周辺の状態に関するパラメータや、撮像装置１００の状態に関するパラメータ等についての検出を行う。例えば、センサ部１２６は、撮像素子１２１の状態に関するパラメータについての検出を行う。また、例えば、センサ部１２６は、検出した情報を、バス１１０を介して他の処理部等に供給する。なお、例えばセンサ部１２６が、バス１１０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００５６】
＜撮像素子について＞
次に、撮像素子１２１について図２乃至図２０を参照して説明する。
【００５７】
＜画素と画素出力単位＞
本明細書においては、「画素」（または「画素出力単位」）という用語を用いて、本技術を説明する。本明細書において「画素」（または「画素出力単位」）とは、撮像素子１２１の入射光を受光するための物理構成が形成される領域（画素領域とも称する）の、他の画素とは独立して受光することができる物理構成を少なくとも１つ含む分割単位を指すものとする。受光することができる物理構成とは、例えば光電変換素子であり、例えばフォトダイオード（PD（Photo Diode））である。１画素に形成されるこの物理構成（例えばフォトダイオード）の数は任意であり、単数であってもよいし、複数であってもよい。その種類、大きさ、形状等も任意である。
【００５８】
また、この「画素」単位の物理構成には、上述の「受光することができる物理構成」だけでなく、例えば、オンチップレンズ、遮光膜、カラーフィルタ、平坦化膜、反射防止膜等、入射光の受光に関する全ての物理構成を含む。さらに、読み出し回路等の構成も含まれる場合もある。つまり、この画素単位の物理構成はどのような構成であってもよい。
【００５９】
また、「画素」（つまり画素単位の物理構成）から読み出された検出信号を「画素単位（または画素出力単位）の検出信号」等と称する場合もある。さらに、この画素単位（または画素出力単位）の検出信号は、「画素単位検出信号（または画素出力単位検出信号）」とも称する。また、この画素単位検出信号は「画素出力」とも称する。さらに、その値を「出力画素値」とも称する。
【００６０】
撮像素子１２１の画素単位の検出信号の値（出力画素値）は、他と独立して被写体からの入射光の入射角に対する指向性を示す入射角指向性を有することができる。つまり、撮像素子１２１の各画素単位（画素出力単位）は、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する。例えば、撮像素子１２１において、少なくとも２つの画素単位の出力画素値は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにすることができる。
【００６１】
なお、上述したように「画素（または画素出力単位）」が有する「受光することができる物理構成」の数は任意であるので、画素単位検出信号は、単数の「受光することができる物理構成」により得られた検出信号であってもよいし、複数の「受光することができる物理構成」により得られた検出信号であってもよい。
【００６２】
また、この画素単位検出信号（出力画素値）は、任意の段階で複数をまとめて１つにすることもできる。例えば、複数の画素の出力画素値を、アナログ信号の状態において加算するようにしてもよいし、デジタル信号に変換してから加算するようにしてもよい。
【００６３】
また、この検出信号は、撮像素子１２１から読み出された後、すなわち、検出画像において、複数の検出信号をまとめて単数化したり、単数の検出信号を複数化したりすることもできる。つまり、検出画像の解像度（データ数）は可変である。
【００６４】
ところで、以下においては説明の便宜上、特に言及しない限り、撮像素子１２１が複数の画素が行列状に配置される（画素アレイが形成される）画素領域を有するものとして説明する。なお、撮像素子１２１の画素（または画素出力単位）の配列パターンは任意であり、この例に限定されない。例えば、画素（または画素出力単位）がハニカム構造状に配置されるようにしてもよい。また、例えば、画素（または画素出力単位）が１行（または１列）状に配置されるようにしてもよい。つまり、撮像素子１２１がラインセンサであってもよい。
【００６５】
なお、撮像素子１２１（の画素）が感度を有する波長域は任意である。例えば、撮像素子１２１（の画素）が、可視光に対して感度を有するようにしてもよいし、赤外光や紫外光のような不可視光に対して感度を有するようにしてもよいし、可視光と不可視光の両方に対して感度を有するようにしてもよい。例えば、撮像素子が不可視光である遠赤外光を検出する場合、その撮像素子において得られる撮像画像を用いてサーモグラフ（熱分布を表す画像）を生成することができる。ただし、撮像レンズを伴う撮像素子の場合、ガラスは遠赤外光を透過することが困難であるため、高価な特殊素材の撮像レンズが必要になり、製造コストが増大するおそれがある。撮像素子１２１は、撮像レンズ等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができるので、その画素が遠赤外光を検出可能とすることにより、製造コストの増大を抑制することができる。つまり、より安価に遠赤外光の撮像を行うことができる（より安価にサーモグラフを得ることができる）。なお、撮像素子１２１（の画素）が不可視光に対して感度を有する場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。換言するに、復元画像は、可視光の画像であってもよいし、不可視光（例えば、（遠）赤外光や紫外光等）の画像であってもよい。
【００６６】
＜入射角指向性＞
撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を有する。例えば、撮像素子１２１は、そのうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。つまりその場合、撮像素子１２１は、複数画素出力単位分の検出信号（複数の画素出力単位検出信号）を得ることができ、その内の少なくとも２つの画素出力単位検出信号の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる。
【００６７】
ここで「入射角指向性」とは、入射光の入射角度に応じた受光感度特性、すなわち、入射光の入射角度に対する検出感度を指す。例えば、同じ光強度の入射光であってもその入射角度によって検出感度が変化する場合がある。このような検出感度の偏り（偏りがない場合も含む）を「入射角指向性」と称する。
【００６８】
例えば、互いに同一の光強度の入射光が、互いに同一の入射角でその２つの画素出力単位の物理構成に入射すると、各画素出力単位の検出信号の信号レベル（検出信号レベル）は、互いに異なる値となり得る。撮像素子１２１（の各画素出力単位）は、このような特徴を持つ物理構成を有する。
【００６９】
この入射角指向性は、どのような方法により実現されるようにしてもよい。例えば、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様の基本的な構造を有する撮像素子の光電変換素子（フォトダイオード等）の手前（光入射側）に遮光膜を設ける等して入射角指向性を実現するようにしてもよい。
【００７０】
一般的な入射角指向性が互いに同一の画素よりなる撮像素子のみで撮像を行うと、撮像素子の全画素に略同一の光強度の光が入射することになり、結像された被写体の画像を得ることができない。そこで、一般的には、撮像素子の前（光入射側）に撮像レンズやピンホールを設ける。例えば撮像レンズを設けることにより、被写体面からの光を撮像素子の撮像面に結像させることができる。したがって、撮像素子は、各画素においてその結像された被写体の画像に応じたレベルの検出信号を得ることができる（つまり、結像された被写体の撮像画像を得ることができる）。しかしながら、この場合、物理的にサイズが大きくなり、装置の小型化が困難になるおそれがあった。また、ピンホールを設ける場合、撮像レンズを設ける場合よりも小型化が可能になるが、撮像素子に入射する光量が低減するため、露光時間を長くする、または、ゲインを上げる等の対策が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなるおそれがあった。
【００７１】
これに対して撮像素子１２１は、例えば、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の入射角指向性が互いに異なる特性となるようにするための構成を有する。このような構成により、例えば撮像素子１２１は、各画素の検出感度が互いに異なる入射角指向性を持つ。つまり、入射光の入射角度に応じた受光感度特性が画素毎に異なるということである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素に同一の受光感度特性を持つものが含まれていてもよいし、一部の画素が異なる受光感度特性を持つものであってもよい。
【００７２】
例えば、図２において、被写体面１３１を構成する光源が点光源であることを前提とした場合、撮像素子１２１においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射される。そして、撮像素子１２１の各画素は、互いに異なる入射角指向性を有しているので、その同一の光強度の光線を互いに異なる感度で検出する。つまり、画素毎に異なる信号レベルの検出信号が検出される。
【００７３】
より詳細には、撮像素子１２１の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号の信号レベル（検出信号レベルとも称する）は、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。
【００７４】
より具体的には、図２の上段左部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
【００７５】
【数１】
2019106999.tif 000003
【００７６】
ここで、α１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＡからの光線の入射角度に応じて設定される係数である。また、β１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＢからの光線の入射角度に応じて設定される係数である。さらに、γ１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＣからの光線の入射角度に応じて設定される係数である。
【００７７】
式（１）に示されるように、位置Ｐａにおける検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡからの光線の光強度”ａ”と係数α１との積と、位置Ｐａにおける点光源ＰＢからの光線の光強度”ｂ”と係数β１との積と、位置Ｐａにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ１との積との和（合成値）により表現される。以下において、係数αｘ、βｘ、γｘ（ｘは自然数）を合わせて係数セットと称する。
【００７８】
同様に、式（２）の係数セットα２，β２，γ２は、撮像素子１２１上の位置Ｐｂにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｂにおける検出信号レベルＤＢは、上述の式（２）のように、位置Ｐｂにおける点光源ＰＡからの光線の光強度”ａ”と係数α２との積と、位置Ｐｂにおける点光源ＰＢからの光線の光強度”ｂ”と係数β２との積と、位置Ｐｂにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ２との積との和（合成値）により表現される。また、式（３）の係数α３，β３，γ３は、撮像素子１２１上の位置Ｐｃにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｃにおける検出信号レベルＤＣは、上述の式（３）のように、位置Ｐｃにおける点光源ＰＡからの光線の光強度”ａ”と係数α３との積と、位置Ｐｃにおける点光源ＰＢからの光線の光強度”ｂ”と係数β３との積と、位置Ｐｃにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ３との積との和（合成値）により表現される。
【００７９】
以上のように、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度が入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。つまり、図２の上段右部で示される検出信号レベルは、被写体の像が結像された画像（撮像画像）に対応する検出信号レベルではないので、図２の下部右部に示される画素値とは異なるものである（一般的に両者は一致しない）。
【００８０】
ただし、この係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、ａ，ｂ，ｃを変数として上述の式（１）乃至式（３）の連立方程式を解くことにより、図２の下段右部で示されるような各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求めることができる。これにより画素値の集合である復元画像（被写体の像が結像された画像）が復元される。
【００８１】
撮像素子１２１は、このような構成により、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等を必要とせずに、各画素において、入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力することができる。結果として、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
【００８２】
＜入射角指向性の形成＞
図３の左部は、一般的な撮像素子の画素アレイ部の一部の正面図を示しており、図３の右部は、撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図３においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が６画素×６画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
【００８３】
入射角指向性は、例えば遮光膜により形成することができる。一般的な撮像素子１２１は、図３の左部の例のように、入射角指向性が同一の画素１２１ａがアレイ状に配置されていることが示されている。これに対して図３の右部の例の撮像素子１２１は、画素１２１ａ毎に、そのフォトダイオードの受光領域の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。
【００８４】
例えば、画素１２１ａ−１と画素１２１ａ−２とでは、設けられている遮光膜１２１ｂ−１と遮光膜１２１ｂ−２とにより画素を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ−１においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ−１が設けられており、画素１２１ａ−２においては、受光領域における右側の一部を、遮光膜１２１ｂ−１よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ−２が設けられている。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
【００８５】
尚、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜１２１ｂの面積を、例えば、最大で受光可能な範囲の全体の３／４程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
【００８６】
＜撮像素子の構成例＞
図４を参照して、この場合の撮像素子１２１の構成例について説明する。図４の上段は、撮像素子１２１の側面断面図であり、図４の中段は、撮像素子１２１の上面図である。また、図４の上段の側面断面図は、図４の中段におけるＡＢ断面となる。さらに、図４の下段は、撮像素子１２１の回路構成例である。
【００８７】
図４に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。例えば、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。
【００８８】
図４の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ−１５，１２１ａ−１６は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
【００８９】
尚、画素１２１ａ−１５，１２１ａ−１６を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図４においては、撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
【００９０】
さらに、画素１２１ａ−１５，１２１ａ−１６は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ−１５，１２１ｅ−１６を備えている。また、フォトダイオード１２１ｅ−１５，１２１ｅ−１６の上には、それぞれ上からオンチップレンズ１２１ｃ−１５，１２１ｃ−１６、およびカラーフィルタ１２１ｄ−１５，１２１ｄ−１６が構成されている。
【００９１】
オンチップレンズ１２１ｃ−１５，１２１ｃ−１６は、入射光をフォトダイオード１２１ｅ―１５，１２１ｅ―１６上に集光させる。
【００９２】
カラーフィルタ１２１ｄ−１５，１２１ｄ−１６は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ−１５，１２１ｄ−１６は、透明のフィルタでもよいし、無くてもよい。
【００９３】
画素１２１ａ−１５，１２１ａ−１６の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｐ−１５乃至１２１ｐ−１７が形成されており、隣接する画素間のクロストークを抑制する。
【００９４】
また、変調素子の１つである遮光膜１２１ｂ−１５，１２１ｂ−１６は、図４の上段および中段で示されるように、受光面Ｓの一部を遮光している。遮光膜１２１ｂにより受光面Ｓの一部が遮光されることにより、画素１２１ａに入射する入射光が入射角度に応じて光学的に変調される。画素１２１ａは、その光学的に変調された入射光を検出するので、入射角指向性を有するようになる。画素１２１ａ−１５，１２１ａ−１６におけるフォトダイオード１２１ｅ−１５，１２１ｅ−１６の受光面Ｓにおいては、遮光膜１２１ｂ−１５，１２１ｂ−１６により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定される。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。
【００９５】
図４の上段で示されるような構成により、遮光膜１２１ｐ−１５の右端部と、遮光膜１２１ｂ−１５の上方端部とが接続されると共に、遮光膜１２１ｂ−１６の左端部と遮光膜１２１ｐ−１６の上方端部とが接続され、側面からみてＬ字型に構成されている。
【００９６】
さらに、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金より構成される。また、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７の膜厚は、位置に応じて同一の厚さにしなくてもよい。
【００９７】
また、図４の下段で示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備えて構成され、垂直信号線１６７を介して電流源１６８に接続されている。
【００９８】
フォトダイオード１６１は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極にそれぞれ接続される構成となっている。
【００９９】
転送トランジスタ１６２は、転送信号ＴＧに従ってそれぞれ駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
【０１００】
増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線２３に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源電圧ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
【０１０１】
ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
【０１０２】
選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
【０１０３】
リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
【０１０４】
以上のような回路構成により、図４の下段で示される画素回路は以下のように動作する。
【０１０５】
すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
【０１０６】
第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
【０１０７】
第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３がリセットされて、基準電位に設定される。
【０１０８】
第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
【０１０９】
第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
【０１１０】
第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
【０１１１】
以上の処理により、信号電位から基準電位が減算されて、ＣＤＳ（相関二重サンプリング）により検出信号として出力される。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。
【０１１２】
このように、図４の場合の画素１２１ａは、１個についてフォトダイオード１２１ｅが１個設けられており、画素１２１ａ毎に異なる範囲が遮光膜１２１ｂにより遮光されており、遮光膜１２１ｂを用いた光学的な変調により、１個の画素１２１ａで入射角指向性を備えた検出画像の１画素分の検出信号を表現することができる。
【０１１３】
＜撮像素子の他の構成例＞
また、入射角指向性は、例えば受光素子（例えばフォトダイオード）の画素内における位置、大きさ、形状等により形成することができる。これらのパラメータが異なる画素同士では、同一方向からの同一の光強度の入射光に対する感度が異なる。つまり、これらのパラメータを画素毎に設定することにより、画素毎に入射角指向性を設定することができる。
【０１１４】
例えば、画素内に複数の受光素子（例えばフォトダイオード）を設け、それらが選択的に用いられるようにしてもよい。このようにすることにより、その受光素子の選択によって画素毎に入射角指向性を設定することができるようになる。
【０１１５】
図５は、撮像素子１２１の他の構成例を示す図である。図５の上段には、撮像素子１２１の画素１２１ａの側面断面図が示されており、図５の中段には、撮像素子１２１の上面図が示されている。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。
【０１１６】
図５に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。例えば、この撮像素子１２１は、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得る。
【０１１７】
図５に示されるように、撮像素子１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４が形成され、遮光膜１２１ｐが、フォトダイオード１２１ｆ−１乃至１２１ｆ−４同士を分離する領域に形成されている点で、図５の撮像素子１２１と異なる構成となっている。即ち、図５の撮像素子１２１では、遮光膜１２１ｐは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
【０１１８】
図５のように構成された撮像素子１２１では、遮光膜１２１ｐによりフォトダイオード１２１ｆ−１乃至１２１ｆ−４に分離することによって、フォトダイオード１２１ｆ−１乃至１２１ｆ−４間の電気的および光学的なクロストークを防止することができる。即ち、図５の遮光膜１２１ｐは、図４の撮像素子１２１の遮光膜１２１ｐと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
【０１１９】
詳細については後述するが、フォトダイオード１２１ｆ−１乃至１２１ｆ−４は、受光感度特性が高くなる入射角が互いに異なる。つまり、フォトダイオード１２１ｆ−１乃至１２１ｆ−４のいずれから電荷を読み出すかによって、画素１２１ａの出力画素値に所望の入射角指向性を持たせる（設定する）ことができる。つまり、画素１２１ａの出力画素値の入射角指向性を制御することができる。
【０１２０】
図５の撮像素子１２１の構成例においては、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有する。図５の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有するようにした回路構成例を示している。尚、図５の下段において、図４の下段と同一の構成については、その説明を省略する。
【０１２１】
図５の下段において、図４の下段の回路構成と異なる点は、フォトダイオード１６１および転送トランジスタ１６２に代えて、フォトダイオード１６１−１乃至１６１−４（図５の上段におけるフォトダイオード１２１ｆ−１乃至１２１ｆ−４に対応する）および転送トランジスタ１６２−１乃至１６２−４を設け、ＦＤ部１６３を共有する構成としている点である。
【０１２２】
図５の下段に示される回路において、フォトダイオード１６１−１乃至１６１−４を互いに区別して説明する必要がない場合、フォトダイオード１６１と称する。また、転送トランジスタ１６２−１乃至１６２−４を互いに区別して説明する必要がない場合、転送トランジスタ１６２と称する。
【０１２３】
図５の下段に示される回路において、いずれかの転送トランジスタ１６２がオンされると、その転送トランジスタ１６２に対応するフォトダイオード１６１の電荷が読み出され、共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。つまり、各フォトダイオード１６１の電荷は互いに独立に読み出すことができ、どの転送トランジスタ１６２をオンにするかによって、どのフォトダイオード１６１から電荷を読み出すかを制御することができる。換言するに、どの転送トランジスタ１６２をオンにするかによって、各フォトダイオード１６１による出力画素値への寄与の度合いを制御することができる。例えば、少なくとも２つの画素間において、電荷を読み出すフォトダイオード１６１を互いに異なるものとすることにより、出力画素値に寄与するフォトダイオード１６１を互いに異ならせることができる。つまり、電荷を読み出すフォトダイオード１６１の選択により、画素１２１ａの出力画素値に所望の入射角指向性を持たせる（設定する）ことができる。つまり、各画素１２１ａから出力される検出信号を、被写体からの入射光の入射角に応じて変調された値（出力画素値）とすることができる。
【０１２４】
例えば、図５において、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中左右方向の入射角指向性を持たせる（設定する）ことができる。同様に、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中上下方向の入射角指向性を持たせる（設定する）ことができる。
【０１２５】
なお、図５の画素１２１ａの各フォトダイオード１２１ｆのそれぞれの電荷に基づいて得られる信号は、画素から読み出された後に加算するようにしてもよいし、画素内（例えばＦＤ部１６３）において加算するようにしてもよい。
【０１２６】
また、電荷（またはその電荷に対応する信号）を加算するフォトダイオード１２１ｆの組み合わせは任意であり、上述の例に限定されない。例えば、３つ以上のフォトダイオード１２１ｆの電荷（またはその電荷に対応する信号）を加算するようにしてもよい。また、例えば、加算を行わずに、１つのフォトダイオード１２１ｆの電荷を読み出すようにしてもよい。
【０１２７】
なお、電子シャッタ機能を用いて電荷のＦＤ部１６３への読み出しの前にフォトダイオード１６１（フォトダイオード１２１ｆ）に蓄積された検出値（電荷）をリセットすること等で、画素１２１ａ（の検出感度）に所望の入射角指向性を持たせる（設定する）ようにしてもよい。
【０１２８】
例えば、電子シャッタ機能を用いる場合、フォトダイオード１２１ｆの電荷のＦＤ部１６３への読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素１２１ａの検出信号レベルへの寄与が無い状態とすることができ、リセットとＦＤ部１６３への読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
【０１２９】
以上のように、図５の画素１２１ａは、１個について４個のフォトダイオード１２１ｆが設けられており、受光面に対して遮光膜１２１ｂが形成されていないが、遮光膜１２１ｐにより、複数の領域に分割され、４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４が形成されており、入射角指向性を備えた検出画像の１画素分の検出信号を表現している。換言するに、例えば、フォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の１画素分の検出信号を表現している。尚、フォトダイオード１２１ｆ−１乃至１２１ｆ−４を用いて、１画素分の検出信号を表現する場合、遮光膜１２１ｂは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
【０１３０】
以上においては画素内に４個のフォトダイオードを配置する例について説明したが、画素内に配置するフォトダイオードの数は任意であり、上述の例に限定されない。つまり、画素内におけるフォトダイオードを配置する部分領域の数も任意である。
【０１３１】
また、以上においては、画素内を４等分した４つの部分領域にフォトダイオードを配置するように説明したが、この部分領域は等分割されたものでなくてもよい。つまり、各部分領域の大きさや形状が全て統一されていなくてもよい（大きさや形状が他と異なる部分領域が含まれていてもよい）。または、各部分領域内に配置されるフォトダイオードの位置（部分領域内における位置）、大きさ、形状等が、フォトダイオード毎（部分領域毎）に異なるようにしてもよい。その際、各部分領域の大きさや形状は、全て統一されていてもよいし、統一されていなくてもよい。
【０１３２】
さらに、撮像素子１２１の全画素において、これらのパラメータが統一されていなくてもよい。つまり、撮像素子１２１の１画素以上において、これらのパラメータの内の１つ以上のパラメータが、他の画素と異なっていてもよい。
【０１３３】
例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割位置が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、部分領域の大きさや形状が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にこの分割位置を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
【０１３４】
また例えば、画素内に配置される複数のフォトダイオードの位置、大きさ、形状等が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置される複数のフォトダイオードの位置、大きさ、形状の内の少なくともいずれか１つが他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にフォトダイオードの位置、大きさ、形状等を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
【０１３５】
さらに例えば、部分領域のパラメータ（大きさ、形状）と、フォトダイオードのパラメータ（位置、大きさ、形状）との両方が他の画素と異なる画素を１画素以上有するようにしてもよい。
【０１３６】
また例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割数が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置されるフォトダイオードの数が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎に分割数（フォトダイオードの数）を異ならせるようにすることにより、より自由に入射角指向性を設定することができる。
【０１３７】
＜入射角指向性を生じさせる原理について＞
撮像素子１２１における各画素の入射角指向性は、例えば、図６で示されるような原理により発生する。尚、図６の左上部および右上部は、図４の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図６の左下部および右下部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図である。
【０１３８】
また、図６の左上部および右上部における１画素は、いずれも１個のフォトダイオード１２１ｅにより構成される。これに対して、図６の左下部および右下部における１画素は、いずれも２個のフォトダイオード１２１ｆにより構成される。尚、ここでは、１画素が２個のフォトダイオード１２１ｆにより構成される例について説明しているが、これは説明の便宜上であり、１画素を構成するフォトダイオード１２１ｆの数は、その他の個数であってもよい。
【０１３９】
図６の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード１２１ｅ−１１の受光面の右半分を遮光するように遮光膜１２１ｂ−１１が形成されている。また、図６の右上部においては、フォトダイオード１２１ｅ−１２の受光面の左半分を遮光するように遮光膜１２１ｂ−１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
【０１４０】
例えば、図６の左上部のような構成の場合、図中の一点鎖線に対して入射角θ１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲では受光し難い。したがって、図６の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低いといった入射角指向性を備えることになる。
【０１４１】
これに対して、例えば、図６の右上部のような構成の場合、図中の一点鎖線に対して入射角θ１１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ１２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されていない右半分の範囲で受光し易い。したがって、図６の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高いといった入射角指向性を備えることになる。
【０１４２】
また、図６の左下部の場合、図中の左右にフォトダイオード１２１ｆ−１，１２１ｆ−２が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
【０１４３】
すなわち、図６の左下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ−１，１２１ｆ−２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ−１の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図６の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ２１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ−１に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。これに対して、図中の一点鎖線に対して入射角θ２２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ−２に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。
【０１４４】
同様に、図６の右下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ−１１，１２１ｆ−１２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ−１２の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図６の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ３１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ−１１に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。これに対して、図中の一点鎖線に対して入射角θ３２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ−１２に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。
【０１４５】
尚、図６においては、垂直方向の一点鎖線が、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜１２１ｂの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
【０１４６】
＜オンチップレンズを含む構成における入射角指向性について＞
以上においては、入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
【０１４７】
すなわち、撮像素子１２１における各画素の入射角指向性は、上述した遮光膜１２１ｂによるものに加えて、オンチップレンズ１２１ｃを用いることにより、例えば、図７で示されるように設定される。すなわち、図７の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ−１１、所定の波長の光を透過させるカラーフィルタ１２１ｄ−１１、および光電変換により画素信号を生成するフォトダイオード１２１ｅ−１１の順に積層され、図７の中段右部においては、図中上方の入射方向よりオンチップレンズ１２１ｃ−１２、カラーフィルタ１２１ｄ−１２、およびフォトダイオード１２１ｅ−１２の順に構成されている。
【０１４８】
尚、オンチップレンズ１２１ｃ−１１，１２１ｃ−１２、カラーフィルタ１２１ｄ−１１，１２１ｄ−１２、およびフォトダイオード１２１ｅ−１１，１２１ｅ−１２の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称する。
【０１４９】
撮像素子１２１においては、さらに、図７の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜１２１ｂ−１１，１２１ｂ−１２が設けられている。
【０１５０】
図７の中段左部で示されるように、図中のフォトダイオード１２１ｅ−１１の右側半分を遮光するような遮光膜１２１ｂ−１１が設けられている場合、図７の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１１の検出信号レベルが変化する。
【０１５１】
すなわち、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると（図中の右方向に傾くと））、遮光膜１２１ｂ−１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くと））、遮光膜１２１ｂ−１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが小さくなる。
【０１５２】
尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を０度とし、図中の右上方からの入射光が入射する、図７の中段左側の入射角度θ２１側の入射角度θを正の値とし、図７の中段右側の入射角度θ２２側の入射角度θを負の値とする。したがって、図７においては、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図７において、入射光の進行方向が右に傾くほど大きくなり（正の方向に大きくなり）、左に傾くほど小さくなる（負の方向に大きくなる）ものとする。
【０１５３】
また、図７の中段右部で示されるように、図中のフォトダイオード１２１ｅ−１２の左側半分を遮光するような遮光膜１２１ｂ−１２が設けられている場合、図７の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１２の検出信号レベルが変化する。
【０１５４】
すなわち、図７の上段における点線の波形で示されるように、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１２の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ−１２の検出信号レベルが大きくなる。
【０１５５】
尚、図７の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出信号レベルを示している。
【０１５６】
この図７の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜１２１ｂの範囲に応じて変化させることができるので、これにより画素単位で相互に異なる入射角指向性を持たせる（設定する）ことが可能となる。尚、図７の上段における実線の波形は、図７の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図７の上段における点線の波形は、図７の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
【０１５７】
ここでいう入射角指向性とは、入射角度θに応じた各画素の検出信号レベルの特性（受光感度特性）であるが、図７の中段の例の場合、これは入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図７の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
【０１５８】
さらに、図７の下段左部で示されるように、１個のオンチップレンズ１２１ｃ−１１に対して２個のフォトダイオード１２１ｆ−１，１２１ｆ−２が設けられる構成とする（画素出力単位が２個のフォトダイオード１２１ｆ−１，１２１ｆ−２から構成される）ことにより、図中左部のフォトダイオード１２１ｆ−１のみの検出信号を用いるようにすることで、図７の中段左部におけるフォトダイオード１２１ｅ−１１の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。
【０１５９】
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されるフォトダイオード１２１ｆ−１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出値が読み出されないフォトダイオード１２１ｆ−２の範囲に光が集光されることで、検出信号レベルが小さくなる。
【０１６０】
また、同様に、図７の下段右部で示されるように、１個のオンチップレンズ１２１ｃ−１２に対して２個のフォトダイオード１２１ｆ−１１，１２１ｆ−１２が設けられる構成とすることにより、図中右部のフォトダイオード１２１ｆ−１２のみの検出信号を用いるようにすることで、図７の中段右部におけるフォトダイオード１２１ｅ−１２の左側を遮光した状態と同じ検出信号レベルの出力画素単位の検出信号を得るようにすることができる。
【０１６１】
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が出力画素単位の検出信号に寄与しないフォトダイオード１２１ｆ−１１の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が出力画素単位の検出信号に寄与するフォトダイオード１２１ｆ−１２の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが大きくなる。
【０１６２】
尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（４）乃至式（６）が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図７の中段で示される構成においては、画素１２１ａに、１個のフォトダイオード１２１ｅ−１１およびフォトダイオード１２１ｅ−１２が形成されている。これに対して、図７の下段で示される構成においては、画素１２１ａに、２個のフォトダイオード１２１ｆ−１および１２１ｆ−２、並びに、フォトダイオード１２１ｆ−１１および１２１ｆ−１２が形成されている。したがって、例えば、図７の下段においては、フォトダイオード１２１ｆの単体では、１画素は構成されない。
【０１６３】
また、図７の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性（入射角指向性）を画素出力単位で異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位での入射角指向性を生じさせる上で、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須構成となる。
【０１６４】
また、図７の上段で示されるように、１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２のそれぞれが１画素出力単位を構成する場合、入射角度に応じて、１画素出力単位を構成する１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性（入射角指向性）が異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２のそれぞれが１画素出力単位を構成する場合、入射角指向性は、１画素出力単位毎に設けられる遮光膜１２１ｂにより独立して製造時に設定される。
【０１６５】
また、図７の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード１２１ｆの数（１画素出力単位を構成するフォトダイオード１２１ｆの分割数）や位置については、１画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード１２１ｆを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
【０１６６】
＜入射角指向性の設定＞
例えば、図８の上段で示されるように、遮光膜１２１ｂの設定範囲が、画素１２１ａにおける水平方向について、左端部から位置Ａまでの範囲とし、垂直方向について、上端部から位置Ｂまでの範囲とする。
【０１６７】
この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた、入射角指向性の指標となる水平方向の０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ−αにおいて重みＷｘが１となり、θａ−α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（−（θｘ−θａ）／２α＋１／２）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｈを設定する。尚、ここでは、重みＷｈが０，０．５，１である例について説明するが、重みＷｈが０，０．５，１となるのは、理想的な条件が満たされるときとなる。
【０１６８】
同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた、入射角指向性の指標となる垂直方向の０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｖが０．５になると仮定した場合、入射角度θｙ＜θｂ−αにおいて重みＷｙが０となり、θｂ−α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ−θｂ）／２α＋１／２）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
【０１６９】
そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数（係数セット）を求めることができる。
【０１７０】
また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５の前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
【０１７１】
すなわち、曲率の異なるオンチップレンズ１２１ｃを用いることで異なる焦点距離とすることができる。
【０１７２】
例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図８の下段における実線で示されるように、焦点距離が、遮光膜１２１ｂ上になるように集光されるとき、傾き（１／２α）は、急峻になる。すなわち、図８の上段における、水平方向の重みＷｘおよび垂直方向の重みＷｙは、０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
【０１７３】
また、例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図８の下段における点線で示されるように、焦点距離が、フォトダイオード１２１ｅ上に集光されるとき、傾き（１／２α）は、緩くなる。すなわち、図８の上部における、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
【０１７４】
以上のように、曲率の異なるオンチップレンズ１２１ｃを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
【０１７５】
したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、撮像素子１２１における全ての画素で同一でもよいし、一部の画素において異なる曲率であってもよい。
【０１７６】
＜オンチップレンズと撮像レンズとの違い＞
上述のように、撮像素子１２１は撮像レンズを必要としない。ただし、オンチップレンズ１２１ｃは、少なくとも、図５を参照して説明したような画素内の複数のフォトダイオードを用いて入射角指向性を実現する場合には必要である。オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
【０１７７】
撮像レンズは、同じ方向から入射した入射光を、互いに隣接する複数の画素へ入射させるための集光機能を持つ。これに対して、オンチップレンズ１２１ｃを通る光は、対応する１画素を構成するフォトダイオード１２１ｅまたは１２１ｆの受光面のみに入射される。換言するに、オンチップレンズ１２１ｃは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ１２１ｃは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素へ入射させるための集光機能を持たない。
【０１７８】
＜被写体面と撮像素子との距離の関係＞
次に、図９を参照して、被写体面と撮像素子１２１との距離の関係について説明する。
【０１７９】
図９の上段左部で示されるように、撮像素子１２１と被写体面１３１までの被写体距離が距離ｄ１である場合、例えば、被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣを設定するとき、対応する撮像素子１２１上の位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表現できるものとする。
【０１８０】
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
【０１８１】
これに対して、図９の下段左部で示されるように、撮像素子１２１との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面１３１'である場合、すなわち、撮像素子１２１から見て、被写体面１３１よりも奥の被写体面１３１'の場合、検出信号レベルは、図９の上段中央部、および下段中央部で示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣいずれも同様である。
【０１８２】
しかしながら、この場合被写体面１３１'上の点光源ＰＡ'，ＰＢ'，ＰＣ'からの光強度がａ'，ｂ'，ｃ'の光線が撮像素子１２１の各画素において受光される。この際、撮像素子１２１上で受光される、光強度がａ'，ｂ'，ｃ'の光線の入射角度は異なる（変化する）ので、それぞれ異なる係数セットが必要となり、各位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（４）乃至式（６）で示されるように表現されることになる。
【０１８３】
【数２】
2019106999.tif 000004
【０１８４】
ここで、係数セットα１１，β１１，γ１１、係数セットα１２，β１２，γ１２、係数セットα１３，β１３，γ１３からなる係数セット群は、それぞれ被写体面１３１における係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３に対応する被写体面１３１'の係数セット群である。
【０１８５】
従って、式（４）乃至式（６）を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、図９の上段右部で示される被写体面１３１における場合の点光源ＰＡ，ＰＢ，ＰＣにおける光線の光強度（ａ，ｂ，ｃ）を求めた手法と同様の手法で、図９の下段右部で示されるように、点光源ＰＡ'，ＰＢ'，ＰＣ'からの光線の光強度（ａ'，ｂ'，ｃ'）として求めることが可能となり、結果として、被写体面１３１'の被写体の復元画像を求めることが可能となる。
【０１８６】
すなわち、図１の撮像装置１００においては、撮像素子１２１からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
【０１８７】
つまり、検出画像を１回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。
【０１８８】
また、画像認識や可視画像や可視画像以外の被写体の特性を得たい場合は、復元画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対し、ディープラーニング等の機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
【０１８９】
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができる。
【０１９０】
例えば、図１０の上段で示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図１０の下段で示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ'とを考える。
【０１９１】
画素１２１ａは、例えば、図１１の上段で示されるような、被写体となる人物Ｈ１０１の全体を含む画角ＳＱ１に対応する、図１０の画像Ｉ１を復元するために用いられる。これに対して、画素１２１ａ'は、例えば、図１１の上段で示されるような、被写体となる人物Ｈ１０１の顔の周辺がズームアップされた画角ＳＱ２に対応する、図１０の画像Ｉ２を復元するために用いられる。
【０１９２】
これは、図１０の画素１２１ａが、図１２の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ａとなるため、被写体面１３１上において、水平方向に被写体幅Ｗ１分の入射光を受光することができるからである。
【０１９３】
これに対して、図１０の画素１２１ａ'は、図１０の画素１２１ａよりも遮光される範囲が広いため、図１２の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ｂ（＜Ａ）となるため、被写体面１３１上において、水平方向に被写体幅Ｗ２（＜Ｗ１）分の入射光を受光するからである。
【０１９４】
つまり、遮光範囲が狭い図１０の画素１２１ａは、被写体面１３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図１０の画素１２１ａ'は、被写体面１３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図１０の画素１２１ａ，１２１ａ'の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
【０１９５】
尚、図１２は、撮像素子１２１の中心位置Ｃ１に対する、被写体面１３１上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図１２においては、被写体面１３１上の位置と、被写体面１３１上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図１２の右部には、図１０における画素１２１ａ，１２１ａ'が示されている。
【０１９６】
このような構成により、図１１の下段で示されるように、撮像素子１２１における、点線で囲まれた範囲ＺＡに図１０の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに図１０の画素１２１ａ'を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元しようとするときには、画角ＳＱ１を撮像する図１０の画素１２１ａを用いるようにすることで、適切に被写体面１３１の被写体幅Ｗ１の画像を復元することができる。
【０１９７】
同様に、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元しようとするときには、画角ＳＱ２を撮像する図１０の画素１２１ａ'の検出信号レベルを用いるようにすることで、適切に被写体幅Ｗ２の画像を復元することができる。
【０１９８】
尚、図１１の下段においては、図中の左側に画素１２１ａ'が所定画素数だけ設けられ、右側に画素１２１ａが所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素１２１ａと画素１２１ａ'とは、ランダムに混在して配置されることが望ましい。
【０１９９】
このように、画角ＳＱ２は、画角ＳＱ１よりも画角が狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の所定画素数で復元する場合、画角ＳＱ１の画像よりも、より狭い画角となる画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
【０２００】
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
【０２０１】
尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
【０２０２】
以上のような撮像素子１２１を用いることにより、結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため（撮像レンズフリーとなるので）、装置の設計の自由度を高めることが可能になると共に、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズも不要となる。
【０２０３】
さらに、撮像素子１２１を用いることにより、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離や画角の復元画像を生成することが可能となる。
【０２０４】
さらに、撮像素子１２１は、画素単位で入射角指向性を持つことができるので、回折格子からなる光学フィルタと従来の撮像素子等と比較して、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の復元画像を得ることができる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化が難しいため、復元画像の高解像度化等の実現が難しい。
【０２０５】
また、撮像素子１２１は、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって光学フィルタが熱で歪むといったことがない。したがって、このような撮像素子１２１を用いることにより、環境耐性の高い装置を実現することが可能となる。
【０２０６】
＜第１の変形例＞
図３の右部においては、撮像素子１２１の各画素１２１ａにおける遮光膜１２１ｂの構成として、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させることにより、水平方向の入射角指向性の違いを持たせる例を示したが、遮光膜１２１ｂの構成はこの例に限定されない。例えば、水平方向に対して全体として遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、垂直方向の入射角指向性の違いを持たせるようにしてもよい。
【０２０７】
なお、図３の右部で示される例のように、垂直方向に対しては画素１２１ａ全体を遮光し、かつ、水平方向に対して所定の幅で画素１２１ａを遮光する遮光膜１２１ｂは、横帯タイプの遮光膜１２１ｂと称する。これに対して、水平方向に対しては画素１２１ａ全体を遮光し、かつ、垂直方向に対して所定の高さで画素１２１ａを遮光する遮光膜１２１ｂは、縦帯タイプの遮光膜１２１ｂと称する。
【０２０８】
また、図１３の左部に示される例のように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、画素１２１ａをＬ字型の遮光膜１２１ｂを設けるようにしてもよい。図１３の左部において、黒色で示される部分が遮光膜１２１ｂである。つまり、遮光膜１２１ｂ−２１乃至遮光膜１２１ｂ−２４は、それぞれ、画素１２１ａ−２１乃至画素１２１ａ−２４の遮光膜である。
【０２０９】
これらの各画素（画素１２１ａ−２１乃至画素１２１ａ−２４）は、図１３の右部に示されるような入射角指向性を有することになる。図１３の右部に示されるグラフは、各画素における受光感度を示している。横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高い。
【０２１０】
従って、各画素について、範囲Ｃ１内となる、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲Ｃ２内，範囲Ｃ３内，範囲Ｃ４内、および、範囲Ｃ４以外の範囲の条件の順に検出信号レベルが低くなることが示されている。このような受光感度の強度は、遮光膜１２１ｂにより遮光される範囲により決定される。
【０２１１】
また、図１３の左部において、各画素１２１ａ内のアルファベットは、カラーフィルタの色を示している（説明の便宜上記載したものであり、実際に表記されているものではない）。画素１２１ａ−２１は緑色のカラーフィルタが配置されるＧ画素であり、画素１２１ａ−２２は赤色のカラーフィルタが配置されるＲ画素であり、画素１２１ａ−２３は青色のカラーフィルタが配置されるＢ画素であり、画素１２１ａ−２４は緑色のカラーフィルタが配置されるＧ画素である。つまり、これらの画素は、ベイヤ配列を形成している。もちろん、これは一例であり、カラーフィルタの配列パターンは任意である。遮光膜１２１ｂの配置とカラーフィルタとは無関係である。例えば、一部または全部の画素において、カラーフィルタ以外のフィルタが設けられるようにしてもよいし、フィルタが設けられないようにしてもよい。
【０２１２】
図１３の左部においては、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中左辺と下辺の側を遮光する例が示されているが、この「Ｌ字型」の遮光膜１２１ｂの向きは任意であり、図１３の例に限定されない。例えば、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中下辺と右辺の側を遮光するようにしてもよいし、画素１２１ａの図中右辺と上辺の側を遮光するようにしてもよいし、画素１２１ａの図中上辺と左辺の側を遮光するようにしてもよい。もちろん、この遮光膜１２１ｂの向きは、画素毎に独立に設定することができる。なお、この「Ｌ字型」の遮光膜１２１ｂを「Ｌ字タイプの遮光膜１２１ｂ」とも総称する。
【０２１３】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる（設定する）場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述のＬ字タイプの遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。
【０２１４】
＜第２の変形例＞
以上においては、横帯タイプ、縦帯タイプ、およびＬ字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図１４の撮像素子１２１'で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜１２１ｂ（図中、黒色で示された範囲）を構成するようにしてもよい。
【０２１５】
すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜１２１ｂを設けるようにしてもよい。
【０２１６】
尚、図１４においては、例えば、水平方向の画素配列に対して、遮光膜１２１ｂの水平方向の幅が幅ｄｘ１，ｄｘ２，・・・ｄｘｎと変化しており、これが、ｄｘ１＜ｄｘ２＜・・・＜ｄｘｎの関係となる。同様に、垂直方向の画素配列に対して、遮光膜１２１ｂの垂直方向の高さが高さｄｙ１，ｄｙ２，・・・ｄｙｍと変化しており、これが、ｄｙ１＜ｄｙ２＜・・・＜ｄｘｍの関係となる。また、遮光膜１２１ｂの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能（角度分解能）に依るものである。
【０２１７】
換言すれば、図１４の撮像素子１２１'における各画素１２１ａの構成は、水平方向および垂直方向に対して撮像素子１２１'内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。
【０２１８】
より詳細には、図１４の各画素１２１ａの遮光範囲は、例えば、図１５の左部で示される画素１２１ａを用いて説明される規則に従って決定される。
【０２１９】
尚、図１５の右部は、図１４と同一の撮像素子１２１'の構成を示している。また、図１５の左部は、図１５（図１４と同一）の右部における撮像素子１２１'の画素１２１ａの構成を示している。
【０２２０】
図１５の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１だけ遮光膜１２１ｂにより遮光し、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１だけ遮光膜１２１ｂにより遮光する。尚、図１５，図１６において、遮光膜１２１ｂは黒色で示された範囲である。
【０２２１】
図１５の左部において、遮光膜１２１ｂが、このように形成されることで遮光される範囲を、以降において、画素１２１ａの主遮光部Ｚ１０１（図１５左部の黒色部）と称し、それ以外の方形状の範囲を範囲Ｚ１０２と称する。
【０２２２】
画素１２１ａにおける、範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１１１が設けられるものとする。したがって、範囲Ｚ１０２において、矩形開口部Ｚ１１１以外の範囲は、遮光膜１２１ｂにより遮光される。
【０２２３】
図１４の撮像素子１２１'内の画素配列は、図１５の右部（図１４と同一）で示されるように、左端部で、かつ、上端部の画素１２１ａ−１は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺からｄｙ１の距離に配置する構成とする。
【０２２４】
同様に、画素１２１ａ−１の右隣の画素１２１ａ−２は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ２であって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２２５】
以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１１１の右辺が、画素１２１ａの右辺から幅ｄｘ１，ｄｘ２・・・ｄｘｎと移動する。尚、図１５の範囲Ｚ１０２における右上部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘｎであって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置したときの状態を示している。また、幅ｄｘ１，ｄｘ２・・・ｄｘｎのそれぞれの間隔は、範囲Ｚ１０２の水平方向の幅から矩形開口部Ｚ１１１の幅を引いた幅を水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより水平方向の変化の間隔が決定される。
【０２２６】
また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
【０２２７】
さらに、画素１２１ａ−１の直下に隣接する画素１２１ａ−３は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙ２の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２２８】
以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１１１の上辺が、画素１２１ａの上辺から高さｄｙ１，ｄｙ２・・・ｄｙｎと移動する。尚、図１５の範囲Ｚ１０２における左下部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙｍの距離に配置したときの状態を示している。また、高さｄｙ１，ｄｙ２・・・ｄｙｍのそれぞれの間隔は、範囲Ｚ１０２の垂直方向の高さから矩形開口部Ｚ１１１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。
【０２２９】
また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
【０２３０】
さらに、図１５（図１４）で示される撮像素子１２１'を構成する各画素１２１ａの主遮光部Ｚ１０１、および矩形開口部Ｚ１１１を変化させることで、画角を変化させることができる。
【０２３１】
図１６の右部は、図１５（図１４）の撮像素子１２１'に対して画角を広くする場合の撮像素子１２１'の構成を示している。また、図１６の左部は、図１６の右部における撮像素子１２１'の画素１２１ａの構成を示している。
【０２３２】
すなわち、図１６の左部で示されるように、例えば、画素１２１ａ内に、図１５における主遮光部Ｚ１０１よりも遮光範囲が狭い主遮光部Ｚ１５１（図１６左部の黒色部）を設定し、それ以外の範囲を範囲Ｚ１５２に設定する。さらに、範囲Ｚ１５２内に、矩形開口部Ｚ１１１よりも開口面積が広い矩形開口部Ｚ１６１を設定する。
【０２３３】
より詳細には、図１６の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１'（＜ｄｘ１）だけ遮光膜１２１ｂにより遮光され、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１'（＜ｄｙ１）だけ遮光膜１２１ｂにより遮光されることで、矩形開口部Ｚ１６１が形成される。
【０２３４】
ここで、図１６の右部で示されるように、左端部で、かつ、上端部の画素１２１ａ−１は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'の距離に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２３５】
同様に、画素１２１ａ−１の右隣の画素１２１ａ−２は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ２'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２３６】
以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１６１の右辺が、画素１２１ａの右辺から幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'と移動する。ここで、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'のそれぞれの間隔は、範囲Ｚ１５２の水平方向の幅から矩形開口部Ｚ１６１の水平方向の幅を引いた幅を、水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより垂直方向の変化の間隔が決定される。したがって、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'の変化の間隔は、幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔より大きくなる。
【０２３７】
また、図１６の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
【０２３８】
さらに、画素１２１ａ−１の直下に隣接する画素１２１ａ−３は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ２'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２３９】
以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１６１の上辺が、画素１２１ａの上辺から高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'と変化する。ここで、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、範囲Ｚ１５２の垂直方向の高さから矩形開口部Ｚ１６１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。したがって、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、幅高さｄｙ１、ｄｙ２・・・ｄｙｍの変化の間隔より大きくなる。
【０２４０】
また、図１６の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
【０２４１】
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素１２１ａからなる撮像素子１２１'を実現することが可能となる。
【０２４２】
さらに、同一の画角の画素１２１ａのみならず、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させるようにしてもよい。
【０２４３】
例えば、図１７で示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ−Ｗ、中画角の画素１２１ａ−Ｍ、狭画角の画素１２１ａ−Ｎ、極狭画角の画素１２１ａ−ＡＮの４画素から構成されるようにする。
【０２４４】
この場合、例えば、全画素１２１ａの画素数がXである場合、４種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セットが使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
【０２４５】
このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、４種類の画角に応じた適切な復元画像を復元することが可能となる。
【０２４６】
また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
【０２４７】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる（設定する）場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した矩形開口を有する遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。勿論、この場合も、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させることもできる。また、中間の画角や、その前後の画角の画像を、複数種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
【０２４８】
＜第３の変形例＞
ところで、撮像素子１２１における画素１２１ａの遮光膜１２１ｂの遮光している範囲にランダム性を持たせている場合、遮光膜１２１ｂの遮光している範囲の違いの乱雑さが大きいほど、復元部１２４等による処理の負荷は大きなものとなる。そこで、画素１２１ａの遮光膜１２１ｂの遮光している範囲の違いの一部を規則的なものとして、この違いの乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
【０２４９】
例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせるようにする。このようにすることにより、各画素１２１ａの遮光膜１２１ｂの遮光範囲が、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに異なる値に設定されるようになる。その結果、各画素１２１ａの遮光膜１２１ｂの遮光範囲の違い、すなわち、各画素の入射角指向性の違いの乱雑さを低減させ、復元部１２４等の撮像素子１２１の外部の処理負荷を低減させることができる。
【０２５０】
例えば、図１８の撮像素子１２１''の場合、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
【０２５１】
同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
【０２５２】
さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜が用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜が用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
【０２５３】
このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の違いの乱雑さを抑え込むことができる。結果として、係数セットのパターンを低減させることが可能となり、後段（例えば、復元部１２４等）における演算処理の処理負荷を低減させることが可能となる。
【０２５４】
＜第４の変形例＞
画素単位の遮光膜１２１ｂの形状のバリエーションは、任意であり、上述した各例に限定されない。例えば、遮光膜１２１ｂを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせる（設定する）ようにしてもよいし、遮光膜１２１ｂを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。また、例えば、斜め方向の線状の遮光膜などでも良い。
【０２５５】
また、所定数の複数の画素からなるユニットを構成する複数の画素単位で遮光膜１２１ｂのバリエーション（パターン）を設定するようにしてもよい。この１ユニットはどのような画素により構成されるようにしてもよい。例えば、撮像素子１２１がカラーフィルタを備えるものとし、そのカラーフィルタの色配列の単位を構成する画素により構成されるようにしてもよい。また、露光時間の異なる画素を組み合わせた画素グループをユニットとするようにしてもよい。なお、ユニットを構成する各画素における遮光膜１２１ｂが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
【０２５６】
また、ユニット間で遮光膜１２１ｂの配置パターンを設定するようにしてもよい。例えば、ユニット毎に、遮光膜の幅や位置を変えるようにしてもよい。さらに、異なるカテゴリで分類される複数の画素からなるユニット内やユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定するようにしてもよい。
【０２５７】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる（設定する）場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性の違いの乱雑さを低減させ、復元部１２４等の撮像素子１２１の外部の処理負荷を低減させることができる。
【０２５８】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる（設定する）場合にも適用することができる。つまり、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、例えば、三角形、円形、斜め方向の線状等の、任意の形状の遮光膜による入射光指向性と同等の入射光指向性を実現することができる。
【０２５９】
また、例えば、分割位置（各部分領域の大きさや形状）の設定、各フォトダイオードの位置、大きさ、形状等の設定、およびフォトダイオードの選択等を、上述した遮光膜１２１ｂの場合と同様に、ユニット毎に設定するようにしてもよい。
【０２６０】
＜フォトダイオードの制御＞
図５を参照して上述したような画素内に配置した複数のフォトダイオードを選択的に用いる場合、複数のフォトダイオード１２１ｆのそれぞれの画素出力単位の出力画素値への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角指向性を様々に変化させることができるようにしてもよい。
【０２６１】
例えば、図１９に示されるように、画素１２１ａに、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９の９個（縦３個×横３個）のフォトダイオード１２１ｆが配置されているとする。この場合、この画素１２１ａを、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９を有する画素１２１ａ−ｂとして用いるようにしてもよいし、フォトダイオード１２１ｆ−１１１、１２１ｆ−１１２、１２１ｆ−１１４、および１２１ｆ−１１５を有する画素１２１ａ−ｓとして用いるようにしてもよい。
【０２６２】
例えば、画素１２１ａを画素１２１ａ−ｂとする場合、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９の当該画素１２１ａの出力画素値への寄与の有無や度合いを制御することによって出力画素値の入射角指向性が制御される。これに対して、画素１２１ａを画素１２１ａ−ｓとする場合、フォトダイオード１２１ｆ−１１１、１２１ｆ−１１２、１２１ｆ−１１４、および１２１ｆ−１１５の当該画素１２１ａの出力画素値への寄与の有無や度合を制御することによって出力画素値の入射角指向性が制御される。この場合、その他のフォトダイオード１２１ｆ（フォトダイオード１２１ｆ−１１３、１２１ｆ−１１６、１２１ｆ−１１７乃至１２１ｆ−１１９）は、出力画素値に寄与しないように制御される。
【０２６３】
つまり、例えば複数の画素１２１ａ−ｂ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なる。これに対して、例えば複数の画素１２１ａ−ｓ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ−１１１、１２１ｆ−１１２、１２１ｆ−１１４、および１２１ｆ−１１５の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なり、その他のフォトダイオード１２１ｆ−１１３、１２１ｆ−１１６、１２１ｆ−１１７乃至１２１ｆ−１１９は、これらの画素間で共通して、出力画素値に寄与しない。
【０２６４】
なお、画素１２１ａを画素１２１ａ−ｂとするか画素１２１ａ−ｓとするかは、画素毎に設定することができる。また、この設定をユニット（複数画素）毎に行うことができるようにしてもよい。
【０２６５】
また、上述したように撮像素子１２１の各画素（各画素出力単位）にはオンチップレンズが１つ形成される。つまり、画素１２１ａが図１９に示される例のような構成の場合、図２０に示されるように、そのフォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９に対して１つのオンチップレンズ１２１ｃが設けられる。したがって、図１９を参照して説明したように画素１２１ａを画素１２１ａ−ｂとする場合も、画素１２１ａ−ｓとする場合も、１画素（１画素出力単位）と１つのオンチップレンズ１２１ｃとが１対１に対応する。
【０２６６】
＜検出画像の解像度制御＞
図１の撮像装置１００においては、以上に説明したような特徴を有する撮像素子１２１を用いる。上述したように、この撮像素子１２１は、画素（画素出力単位）毎に入射角指向性を有する。例えば図２１に示されるように、遮光膜１２１ｂで画素１２１ａ（画素出力単位）の一部を遮光することによってこの入射角指向性が形成される。
【０２６７】
従来の撮像素子では、検出画像の解像度を制御することができなかった。つまり、撮像素子のすべての画素（画素出力単位）の検出信号を読み出し、読み出したすべての検出信号を用いて検出画像が生成された。そして、検出画像をどのように処理すれば解像度を変換することができるかは開示されていない。特許文献１等にもそのような旨は記載も示唆もされていない。
【０２６８】
したがって、例えば、撮像画像を低解像度化するためには、検出画像を撮像画像に変換してから低解像度化を行わなければならなかった。つまり、低解像度化する場合であっても、撮像素子１２１からの検出画像の読み出しやその検出画像から撮像画像への変換（画像処理）は高解像度の状態で行わなければならなかった。そのため、不要に負荷が増大し、不要に消費電力が増大するおそれがあった。
【０２６９】
これに対して撮像装置１００は、撮像素子１２１が図２１に示されるように画素（画素出力単位）毎に入射角指向性を有しているので、画素（画素出力単位）毎に検出信号を取捨選択することができる。つまり、一部の画素出力単位からのみ検出信号を読み出し、検出画像に含めることができる。すなわち、検出画像の解像度を制御することができる。したがって、例えば、検出画像の解像度を撮像素子１２１の解像度よりも低減させることができる。つまり、所望の解像度に応じて必要な画素出力単位やADC（Analog Digital Converter）等を駆動させることができる（不要な画素出力単位やADC等の駆動を抑制することができる）。したがって、不要な消費電力の増大を抑制することができる。
【０２７０】
＜エリアADCを有する撮像素子＞
なお、撮像素子１２１は、画素出力単位から読み出されたアナログ信号の検出信号をデジタル信号に変換する（A/D変換する）ADCを備えている。このADCは、画素（画素出力単位）が形成される画素領域の部分領域に対応付けて設けられている。つまり、ADCは、自身に対応する部分領域の画素出力単位（その部分領域に形成される画素出力単位）から読み出された検出信号（アナログ信号）をA/D変換する。このようなADCをエリアADCとも称する。
【０２７１】
＜基板構成＞
例えば図２２に示されるように、撮像素子１２１の回路構成は、積層された２枚の基板である上基板３０１および下基板３０２に形成される。上基板３０１および下基板３０２は、それぞれどのような大きさ（広さ若しくは厚さ、またはその両方）および形状であってもよく、その大きさ若しくは形状、またはその両方が互いに異なっていてもよい。上基板３０１に形成される回路と下基板３０２に形成される回路とは、例えばビア（VIA）等により互いに接続される。
【０２７２】
なお、撮像素子１２１の基板構成は任意であり、図２２の例に限定されない。例えば、撮像素子１２１が、３枚以上の基板により構成されるようにしてもよいし、１枚の基板に構成されるようにしてもよい。また、各基板に形成される回路等の構成は任意である。
【０２７３】
＜上基板構成＞
上基板３０１に形成される主な回路構成の例を図２３に示す。図２３に示されるように、上基板３０１には、例えば、画素領域３１１が形成される。画素領域３１１は、画素１２１ａ（画素出力単位）の集合（すなわち、複数の画素１２１ａ）が形成される領域である。図２３において、画素領域３１１内の小さな四角が画素１２１ａを示している。つまり、図２３の例の場合、画素領域３１１には、縦１６個×横２０個の画素１２１ａが形成されている。なお、画素領域３１１に形成される画素１２１ａの数は、複数であれば任意であり、図２３の例に限定されない。
【０２７４】
画素領域３１１における複数の画素１２１ａの配置パターンは任意である。例えば、図２３の例の場合、画素領域３１１には、複数の画素１２１ａが行列状（アレイ状）に形成されている。この行列状に配置された画素１２１ａ（画素出力単位）を画素アレイ（画素出力単位アレイ）とも称する。ただし、この例は一例であり、複数の画素１２１ａの配置パターンはこの例に限定されない。例えば、画素領域３１１において、複数の画素１２１ａが、ハニカム構造状に配置されるようにしてもよい。また、複数の画素１２１ａが、１本の線状（例えば１行若しくは１列の直線状、または、曲線状（例えば、蛇行線状や渦巻状等））に配置されるようにしてもよい。また、画素間が離れていてもよい。
【０２７５】
また、画素領域３１１の部分領域をエリア３１２と称する。例えば、図２３の例の場合、画素領域３１１の太線で囲まれる各部分領域がエリア３１２である。つまり、４画素×４画素の各部分領域がそれぞれエリア３１２として設定されている。なお、図２３においては１つのエリアにのみ数字を付しているが、上述のように各部分領域がそれぞれエリア３１２である。つまり、図２３の例の場合、上基板３０１には、縦４個×横５個のエリア３１２が設定されている。
【０２７６】
なお、エリア３１２は、画素領域３１１内にどのようなレイアウトで設定されてもよい。つまり、画素領域３１１内におけるエリア３１２の形、大きさ、数は全て任意である。例えば、画素領域３１１内に複数のエリア３１２を設ける場合、その複数のエリア３１２間でこれらのパラメータがすべて統一されているようにしてもよいし、統一されていなくてもよい。つまり、例えば、形若しくは大きさ、またはその両方が他のエリア３１２と異なるエリア３１２が存在してもよい。また、エリア３１２同士が重畳してもよい。
【０２７７】
また、エリア３１２内の構成も任意である。つまり、エリア３１２に内包される画素１２１ａの数やレイアウト等は任意である。例えば、画素領域３１１内に複数のエリア３１２を設ける場合、その複数のエリア３１２間でこれらのパラメータがすべて統一されているようにしてもよいし、統一されていなくてもよい。つまり、例えば、内包する画素数若しくは画素配置、またはその両方が他のエリア３１２と異なるエリア３１２が存在してもよい。
【０２７８】
また、エリア３１２内に形成される画素（画素出力単位）の出力画素値の、被写体からの入射光に対する入射角指向性は任意である。例えば、エリア３１２内に形成される画素（画素出力単位）群全体が、画素領域３１１内に形成される画素（画素出力単位）群全体と同等の、この入射角指向性を持つようにしてもよい。また、例えば、エリア３１２内に形成される画素（画素出力単位）群全体が、画素領域３１１内に形成される画素（画素出力単位）群全体と異なる、この入射角指向性を持つようにしてもよい。
【０２７９】
なお、例えば、画素領域３１１内に複数のエリア３１２を設ける場合、この入射角指向性がエリア３１２間で統一されていてもよいし、統一されていなくてもよい。つまり、この入射角指向性が他のエリア３１２と異なるエリア３１２が存在してもよい。例えば、所定のエリア３１２の画素出力単位群の全体の画角の大きさが、他のエリア３１２または画素領域３１１の画素出力単位群全体の画角の大きさと異なるようにしてもよい。例えば、広画角のエリア３１２と狭画角のエリア３１２とが画素領域３１１内に設けられるようにしてもよい。また、例えば、所定のエリア３１２の画素出力単位群の全体の画角の向きが、他のエリア３１２または画素領域３１１の画素出力単位群全体の画角の向きと異なるようにしてもよい。例えば、２つのエリア３１２間において、得られる画像の視差が大きくなる方向に画角の向きが互いに異なるようにしてもよい。また、例えば、各画素（画素出力単位）のこの入射角指向性が、全て、画素領域３１１に対して垂直であるようなエリア３１２が存在するようにしてもよい。
【０２８０】
また、例えば、画素領域３１１内に複数のエリア３１２を設ける場合、各エリア３１２内の所定の画素（画素出力単位）の集合全体が、画素領域３１１内に形成される画素（画素出力単位）群全体と同等の、この入射角指向性を持つようにしてもよい。例えば、各エリア３１２の最初に信号が読み出される画素（画素出力単位）の集合全体が、画素領域３１１内に形成される画素（画素出力単位）群全体と同等の、この入射角指向性を持つようにしてもよい。
【０２８１】
なお、以下においては、特に言及しない限り、図２３の例のように、画素領域３１１全体に画素アレイが形成されるものとし、その画素領域３１１を所定の画素数毎に複数に分割した各部分領域をエリア３１２とするものとする。
【０２８２】
垂直走査部３１３は、画素領域３１１の画素アレイの列方向（図中縦方向）の走査に関する処理を行う。水平走査部３１４は、画素領域３１１の画素アレイの行方向（図中横方向）の走査に関する処理を行う。つまり、画素領域３１１の画素１２１ａからの信号読み出しは、この垂直走査部３１３および水平走査部３１４により制御される。換言するに、垂直走査部３１３および水平走査部３１４から駆動するように制御された画素１２１ａから信号が読み出される。
【０２８３】
＜下基板構成＞
下基板３０２に形成される主な回路構成の例を図２４に示す。図２４に示されるように、下基板３０２には、例えば、上基板３０１の各エリア３１２に対応するエリアADC３２１が形成される。図２４において下基板３０２の中央部に示される四角がエリアADC３２１を示す。図２４においては１つの四角にのみ数字を付しているが、各四角がそれぞれエリアADC３２１を示す。つまり、図２４の例の場合、下基板３０２には、縦４個×横５個のエリアADC３２１が形成されている。これらのエリアADC３２１は、それぞれ、上基板３０１の互いに異なるエリア３１２に対応付けられている。
【０２８４】
この下基板３０２に形成されるエリアADC３２１の数は任意である。上基板３０１のエリア３１２と同数であってもよいし、エリア３１２より多くてもよいし、少なくてもよい。また、１つのエリア３１２に対して複数のエリアADC３２１が対応付けられていてもよいし、１つのエリアADC３２１に対して複数のエリア３１２が対応付けられていてもよい。図２３および図２４の例の場合、エリアADC３２１のそれぞれに対して、互いに異なるエリア３１２が対応付けられている。
【０２８５】
なお、ここで「対応する」とは、両者が信号線や素子等を介して互いに接続されている様子を示す。例えば、「ＡをＢに対応付ける」とは、Ａ（またはＡに準ずるもの）を、信号線等を介してＢ（またはＢに準ずるもの）に接続することを示す。また、例えば、「エリア３１２とエリアADC３２１とが対応する」とは、エリア３１２の各画素１２１ａとエリアADC３２１とが、信号線等を介して接続されていることを示す。
【０２８６】
エリアADC３２１は、A/D変換器を含み、入力されたアナログ信号をA/D変換し、デジタル信号（出力画素値）として出力する。換言するに、エリアADC３２１は、自身（そのエリアADC３２１）に対応するエリア３１２の画素１２１ａから読み出された信号を処理（A/D変換）し、出力画素値を得る信号処理部である。
【０２８７】
なお、この接続は、画素１２１ａからエリアADC３２１に信号が伝送される際に成立していればよい。例えば、エリアADC３２１が、スイッチ等を介して、エリア３１２内のいずれかの画素１２１ａと接続される（エリアADC３２１の接続先の画素１２１ａがそのスイッチ等によって切り替わる）ようにしてもよい。
【０２８８】
また、図２４に示されるように、下基板３０２には、例えば、デジタル信号処理部３２２、タイミング生成部３２３、およびDAC（Digital Analog Converter）３２４等が形成される。デジタル信号処理部３２２は、デジタル信号の信号処理に関する処理を行う。図示は省略するが、デジタル信号処理部３２２は、各エリアADC３２１と信号線等により接続されている。例えば、デジタル信号処理部３２２は、エリアADC３２１においてA/D変換されて得られたデジタル信号に対する信号処理を行う。この信号処理の内容は任意である。
【０２８９】
タイミング生成部３２３は、撮像素子１２１内の各構成の動作のタイミングの基準となるタイミング信号を生成する。図示は省略するが、タイミング生成部３２３は、撮像素子１２１内の他の構成と信号線等を介して接続されており、生成したタイミング信号を所望の構成に供給することができる。例えば、上基板３０１の画素領域３１１、垂直走査部３１３、および水平走査部３１４、並びに、下基板３０２のエリアADC３２１、デジタル信号処理部３２２、およびDAC３２４等は、このタイミング生成部３２３から供給されるタイミング信号に基づくタイミングにおいて動作する（所定の処理を行う）。これにより各構成間において処理タイミングの同期をとることができる。
【０２９０】
DAC３２４は、D/A変換部を含み、入力されたデジタル信号をD/A変換し、アナログ信号として出力する。例えば、DAC３２４は、このD/A変換により、エリアADC３２１において用いられるランプ信号（Ramp）を生成する。図示は省略するが、DAC３２４は、各エリアADC３２１に接続されており、生成したランプ信号を各エリアADC３２１に供給する。
【０２９１】
なお、この接続は、DAC３２４からエリアADC３２１にランプ信号が伝送される際に成立していればよい。例えば、DAC３２４が、スイッチ等を介して、いずれかのエリアADC３２１と接続される（DAC３２４の接続先のエリアADC３２１がそのスイッチ等によって切り替わる）ようにしてもよい。
【０２９２】
＜エリアADCの構成＞
図２５は、エリアADC３２１の主な構成例を示す図である。図２５に示されるように、エリアADC３２１は、比較部３３１およびラッチ部３３２を有する。比較部３３１は、信号線等を介して、そのエリアADC３２１に対応するエリア３１２の各画素１２１ａに接続されている。また、比較部３３１は、不図示の信号線等を介してDAC３２４とも接続されている。比較部３３１は、そのエリア３１２の垂直走査部３１３および水平走査部３１４により選択された画素１２１ａから読み出されて供給される信号と、DAC３２４から供給されるランプ信号（Ramp）とでその大きさを比較する。また、比較部３３１は、信号線等を介してラッチ部３３２とも接続されており、その比較結果（どちらが大きいかを示す値）をラッチ部３３２に供給する。
【０２９３】
ラッチ部３３２には、不図示のカウンタ等から、比較部３３１が比較を開始してから経過した時間の長さを示すコード値が供給される。つまり、このコード値は、時間の経過とともに値が変化する。比較部３３１から供給される比較結果が変化すると、ラッチ部３３２は、そのタイミングにおいて入力されているコード値を保持する。つまり、比較部３３１が比較を開始してから経過した時間の長さがラッチされる。上述のように比較対象は画素１２１ａから読み出された信号とランプ信号とであるので、この時間の長さは、画素１２１ａから読み出された信号の大きさを示す。
【０２９４】
ラッチ部３３２は、不図示の信号線等を介してデジタル信号処理部３２２に接続されている。ラッチ部３３２は、その画素１２１ａから読み出された信号の大きさを示すコード値（保持したコード値）を、デジタル信号の検出信号として、デジタル信号処理部３２２に供給する。
【０２９５】
＜読み出し走査＞
エリア３１２内の各画素１２１ａからの信号の読み出しは、所定の順序（走査順序）で行われる。つまり、垂直走査部３１３および水平走査部３１４は、処理対象のエリア３１２について、所定の走査順序に従って、信号を読み出す画素１２１ａを１画素ずつ選択する。この走査順序は任意である。
【０２９６】
図２６は、この走査順序の例を説明する図である。図２６において、各四角は、１つのエリア３１２に形成される画素１２１ａを模式的に示したものである。つまり、図２６の例の場合、１つのエリア３１２に４画素×４画素の画素アレイが形成されている。また、四角の外に示される各数字は、説明のために付したものであり、画素アレイにおける各画素１２１ａの座標を示している。例えば、図中左上端の画素１２１ａの座標は（０，０）であり、図中右上端の画素１２１ａの座標は（３，０）であり、図中左下端の画素１２１ａの座標は（０，３）であり、図中右下端の画素１２１ａの座標は（３，３）である。また、図中矢印は、走査順序を示す。
【０２９７】
つまり、図２６の例の走査順序の場合、画素１２１ａは、上の行から順に選択される。各行内においては、左から右に向かって１列ずつ（すなわち１画素ずつ）選択される。より具体的には、まず、座標（０，０）から座標（０，３）に向かって１画素ずつ選択され、次に座標（１，０）から座標（１，３）に向かって１画素ずつ選択され、次に座標（２，０）から座標（２，３）に向かって１画素ずつ選択され、次に座標（３，０）から座標（３，３）に向かって１画素ずつ選択される。
【０２９８】
例えばこのような走査順序で１画素ずつ信号が読み出され、そのエリア３１２に対応するエリアADC３２１に供給される。
【０２９９】
上述のように、エリア３１２内における走査順序は任意であり、図２６の例に限定されない。例えば、画素１２１ａが、１列ずつ（各列内において１行ずつ）選択されるようにしてもよいし、斜め方向に順に選択されるようにしてもよいし、渦巻状に順に選択されるようにしてもよい。
【０３００】
また、連続して選択される画素が互いに隣接していなくてもよい。例えば、座標（０，０）、座標（１，２）、座標（３，１）、座標（０，２）、座標（３，３）、・・・のように、不規則な走査順序であってもよい。また、エリア３１２内の一部の画素１２１ａのみを走査するようにしてもよい。さらに、この走査順序は可変であってもよい。例えば、状況に応じて走査順序が複数の候補の中から適応的に選択されるようにしてもよい。また、走査順序がランダムであってもよい。
【０３０１】
また、画素領域３１１内に複数のエリア３１２が存在する場合、各エリア３１２の画素１２１ａからの信号読み出しを互いに平行して行うようにしてもよいし、１エリア３１２ずつ読み出すようにしてもよい。つまり、処理対象（信号読み出しの対象）とするエリア３１２の数は任意である。
【０３０２】
さらに、画素領域３１１内に複数のエリア３１２が存在する場合、各エリア３１２内の走査順序は、互いに同一であるようにしてもよいし、互いに異なるようにしてもよい。
【０３０３】
＜構成＞
つまり、撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、その複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、そのエリアに形成される画素出力単位から読み出される信号を処理し、その出力画素値を得る信号処理部とを備えていればよい。
【０３０４】
このような撮像素子１２１を用いることにより、全画素出力単位から読み出された信号を１つのADCでA/D変換する撮像素子や、画素アレイの各カラムの画素出力単位から読み出された信号をそのカラムに対応するカラムADCでA/D変換する撮像素子等を用いる場合と比較して、より容易により多様な順で画素出力単位から検出信号を読み出すことができる。したがって、撮像装置１００は、全画素出力単位から読み出された信号を１つのADCでA/D変換する撮像素子や、画素アレイの各カラムの画素出力単位から読み出された信号をそのカラムに対応するカラムADCでA/D変換する撮像素子等を用いる場合と比較して、より容易により多様な検出画像を得ることができる。
【０３０５】
＜読み出し制御（動作モード）＞
＜全画素モード＞
次に、読み出し制御部１２２による制御について説明する。撮像装置１００は、図２７に示されるように、撮像素子１２１の全画素の検出信号を読み出し、すべての検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを全画素モードと称する。
【０３０６】
図２７において、撮像素子１２１内の各四角は画素１２１ａ（画素単位出力）を示しており、撮像素子１２１内にその画素アレイの様子が模式図として示されている。なお、図２７においては、水平方向に８画素、垂直方向に６画素の画素アレイが示されているが、撮像素子１２１の画素数は任意である。本明細書では撮像素子１２１が水平方向にＷ画素、垂直方向にＨ画素の画素アレイを有するものとする。
【０３０７】
全画素モードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の全画素から検出信号を読み出させる。つまり、解像度（Ｗ×Ｈ）の検出画像が撮像素子１２１から読み出される。図２７において画素１２１ａの斜線模様は、検出信号が読み出される画素１２１ａを示している。つまり、全画素モードの場合、撮像素子１２１の画素アレイの全画素から検出信号が読み出される。
【０３０８】
また、読み出し制御部１２２は、その読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ×Ｈ）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、解像度（Ｗ×Ｈ）の検出画像と解像度（Ｗ×Ｈ）の復元画像とに対応する、縦（Ｗ×Ｈ）個×横（Ｗ×Ｈ）個の係数からなる復元行列を設定する。
【０３０９】
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１から読み出された解像度（Ｗ×Ｈ）の検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ×Ｈ）個×横（Ｗ×Ｈ）個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ×Ｈ）の復元画像を生成する。
【０３１０】
この検出画像は、撮像素子１２１において得られたものであり、図１乃至図２６を参照して上述した特徴を有する情報である。つまり、検出画像は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、その画素出力単位が形成される画素領域の部分領域であるエリアに対応付けて設けられた、そのエリアに形成される画素出力単位から読み出される信号を処理し、その出力画素値を得る信号処理部とを備える撮像素子により被写体が撮像されて得られた、画素出力単位において得られる検出信号からなる被写体を視認不可能な検出画像である。
【０３１１】
そして、復元行列も、図１乃至図２６を参照して上述した復元行列であり、上述した特徴を有する。つまりこの復元行列は、被写体を視認不可能な検出画像から復元画像を復元する際に用いられる係数からなる行列である。復元部１２４は、このような復元行列を用いて、検出画像から復元画像を復元する。
【０３１２】
＜画素規則性間引きモード＞
また、撮像装置１００は、撮像素子１２１の一部の画素の検出信号を読み出し、読み出したその一部の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを間引きモードと称する。例えば、撮像装置１００は、図２８に示されるように、撮像素子１２１の所定の規則性を有する位置関係にある一部の画素の検出信号を読み出し、読み出した所定の規則性を有する位置関係にある一部の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを画素規則性間引きモードと称する。
【０３１３】
図２８においても、図２７の場合と同様に撮像素子１２１内の画素アレイが示されている。図中、斜線模様で示される画素１２１ａが、検出信号が読み出される画素１２１ａを示している。
【０３１４】
画素規則性間引きモードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイ（複数の画素出力単位）のうち、所定の規則性を有する位置関係にある位置の一部の画素１２１ａ（画素出力単位）を選択し、その選択した画素１２１ａ（図中斜線模様の画素）から検出信号を読み出させる。読み出し制御部１２２は任意の数の画素を選択することができる。例えば、横Ｗ２個×縦Ｈ２個の画素を選択することができる。つまり、解像度（Ｗ２×Ｈ２）の検出画像が撮像素子１２１から読み出される。
【０３１５】
このようにすることにより、検出画像の解像度を低減させることができる。また、画素１２１ａやエリアADC３２１の駆動を低減させることができるので、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３１６】
この場合の信号を読み出す画素は、例えば、画素領域３１１に形成される各エリア３１２の所定の位置の画素としてもよい。例えば、図２９に示されるように、画素領域３１１に４画素×４画素のエリア３１２が隙間なく設定されるとする。
【０３１７】
このように、各エリア３１２の形や大きさが互いに同一の場合、読み出し制御部１２２が、各エリア３１２の所定の位置の画素（例えば左上端の画素（斜線模様で示される画素））から検出信号を読み出すようにすると、容易に、所定の規則性を有する位置関係にある画素（４画素毎に１画素）から検出信号を読み出すことができる。
【０３１８】
上述のように、この場合、検出信号を読み出す画素が全画素モードよりも少ない。つまり、この場合、全画素モードに比べて、駆動させる画素１２１ａの数を低減させることができる。また、この場合、各エリアADC３２１は、自身に対応するエリア３１２の一部の画素１２１ａから読み出された信号をA/D変換すればよい。つまり、この場合、全画素モードに比べて、各エリアADC３２１の処理量を低減させることができる。したがって、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３１９】
さらに、各エリア３１２内の走査順序が互いに同一であるようにしてもよい。例えば、全てのエリア３１２内の走査順序が、図２６の例の順であってもよい。このように各エリア３１２内の走査順序を統一することにより、各エリア３１２内における同位置の画素の読み出しタイミングが略同一となる。つまり、各エリア３１２から読み出される検出信号の生成タイミング（つまり、その検出信号を生成するための被写体からの入射光のタイミング）が略同一となる。したがって、略同一のタイミングの検出信号からなる検出画像を得ることができるので、検出信号の生成タイミングがばらばら（不一致）の場合よりも、歪み等の少ない復元画像（主観的に高画質な復元画像）を生成することができる検出画像を得ることができる。
【０３２０】
例えば動く物体や変形する物体等を被写体として撮像する場合、各画素における検出信号の生成タイミング（撮像タイミング）が異なると、各画素において検出信号が生成される間に被写体の状態が変化するおそれがある。したがって、その撮像画像（復元画像）において、被写体の状態が画素毎に異なり、主観的な画質が低減するおそれがある。上述のように、各エリア３１２内の走査順序が互いに同一であることにより、各エリア３１２から読み出される検出信号の生成タイミングが略同一となるので、このような要因による復元画像の主観的な画質の低減を抑制することができる。
【０３２１】
もちろん、各エリア３１２内の走査順序が統一されていなくても、その画素１２１ａのエリア３１２内における読み出し順（何番目に読み出されるか）が一致していれば同様の効果を得ることができる。
【０３２２】
なお、各エリア３１２内の走査順序を互いに近似させるだけでも、各画素における検出信号の生成タイミング（撮像タイミング）が近似するので、各エリア３１２から読み出される検出信号の生成タイミングが完全に不一致である場合よりも、復元画像の主観的な画質の低減を抑制することができる。
【０３２３】
さらに、その検出信号を読み出す画素１２１ａを、エリア３１２内の走査順序における最初の画素（つまり、エリア３１２内において最初に読み出される画素）としてもよい。このようにすることにより、他の画素から検出信号を読み出す場合よりも、早期に検出信号を読み出すことができる。
【０３２４】
なお、図２９においては、説明の簡略化のために、４画素×４画素の６つのエリア３１２のみを示しているが、上述のようにエリア３１２の形、大きさ、数等は任意である。また、エリア３１２内における検出信号を読み出す画素１２１ａ（画素出力単位）の位置も任意であり、図２９の例（左上端）に限定されない（どの位置でもよい）。
【０３２５】
どの画素（の検出信号）を選択するか（どの画素から検出信号を読み出すか、または、どの画素から読み出した検出信号を選択するか）は、予め定められていてもよい。また、どの画素を選択するかの設定（画素選択設定）の候補が予め複数用意され、読み出し制御部１２２がその複数の候補の中から選択するようにしてもよい。その場合、読み出し制御部１２２が、例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等、任意の条件に基づいてその選択を行うようにしてもよい。
【０３２６】
なお、この画素選択設定の候補は、読み出し制御部１２２内のメモリ（図示せず）や記憶部１１３等、撮像装置１００の任意の処理部等に記憶するようにしてもよい。その場合、その候補は、撮像装置１００の工場出荷時に記憶されているようにしてもよいし、工場出荷後に記憶（または更新）することができるようにしてもよい。もちろん、画素選択設定の候補が撮像装置１００の外部に用意され、読み出し制御部１２２がその外部の候補の中から選択するようにしてもよい。
【０３２７】
また、読み出し制御部１２２が、どの画素（の検出信号）を選択するかを任意に設定することができるようにしてもよい。その場合、例えば、画素選択設定の初期値（初期設定）を用意し、読み出し制御部１２２が、その初期設定を任意の条件（例えば、撮像の動作モード、フレームレート、解像度設定、被写体距離、明るさ、時刻、位置、またはユーザの指示等）に基づいて更新するようにしてもよい。また、例えば、読み出し制御部１２２が、選択する画素を、任意の情報に基づいて設定するようにしてもよい。
【０３２８】
なお、読み出し制御部１２２が、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイの全ての画素１２１ａから検出信号を読み出させ、読み出した検出信号のうち、所定の規則性を有する位置関係にある一部の画素から読み出された検出信号を検出画像に含める検出信号として選択するようにしてもよい。ただしこの場合、撮像素子１２１の画素アレイの全ての画素１２１ａを駆動させる（全てのエリアADC３２１を全画素モードの場合と同様に駆動させる）ことになるので、上述のように一部の画素１２１ａから検出信号を読み出させる場合の方が、この方法の場合よりも、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３２９】
また、読み出し制御部１２２は、撮像素子１２１に供給する読み出し制御信号を復元行列設定部１２３にも供給する。例えば、解像度（Ｗ２×Ｈ２）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、解像度（Ｗ２×Ｈ２）の検出画像と解像度（Ｗ２×Ｈ２）の復元画像とに対応する、縦（Ｗ２×Ｈ２）個×横（Ｗ２×Ｈ２）個の係数からなる復元行列を設定する。
【０３３０】
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１または読み出し制御部１２２から解像度（Ｗ２×Ｈ２）の検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ２×Ｈ２）個×横（Ｗ２×Ｈ２）個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ２×Ｈ２）の復元画像を生成する。
【０３３１】
＜画素任意間引きモード＞
また、撮像装置１００は、間引きモードにおいて、図３０に示されるように、撮像素子１２１の任意の一部の画素の検出信号を読み出し、読み出した任意の一部の画素の検出信号を検出画像とし、その検出画像を復元画像に変換することができる。このような動作モードを画素任意間引きモードと称する。
【０３３２】
図３０においても、図２７の場合と同様に撮像素子１２１内の画素アレイが示されている。図中、斜線模様で示される画素１２１ａが、検出信号が読み出される画素１２１ａを示している。
【０３３３】
画素任意間引きモードの場合、読み出し制御部１２２は、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイ（複数の画素出力単位）のうち、任意の位置の一部の画素１２１ａ（画素出力単位）を選択し、その選択した画素１２１ａ（図中斜線模様の画素）から検出信号を読み出させる。読み出し制御部１２２は任意の数の画素を選択することができる。例えば、Ｔ個の画素を選択することができる。つまり、Ｔ個の検出信号からなる検出画像が撮像素子１２１から読み出される。
【０３３４】
このようにすることにより、画素規則性間引きモードの場合と同様、検出画像の解像度を低減させることができる。また、画素１２１ａやエリアADC３２１の駆動を低減させることができるので、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３３５】
この場合の信号を読み出す画素は、例えば、画素領域３１１に形成される各エリア３１２の任意の位置の画素としてもよい。例えば、図３１に示されるように、画素領域３１１に隙間なく設定された４画素×４画素のエリア３１２のそれぞれの任意の位置の画素１２１ａ（図中斜線模様で示される画素）を、検出信号を読み出す画素１２１ａとしてもよい。各エリア３１２の検出信号を読み出す画素１２１ａの数は、任意であり、全てのエリア３１２において統一されていてもよいし、統一されていなくてもよい。
【０３３６】
上述のように、この場合も、画素規則性間引きモードの場合と同様、検出信号を読み出す画素が全画素モードよりも少ない。つまり、この場合、全画素モードに比べて、駆動させる画素１２１ａの数を低減させることができる。また、この場合、各エリアADC３２１は、自身に対応するエリア３１２の一部の画素１２１ａから読み出された信号をA/D変換すればよい。つまり、この場合、全画素モードに比べて、各エリアADC３２１の処理量を低減させることができる。したがって、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３３７】
さらに、各エリア３１２内の走査順序が統一されていなくてもよい。例えば、各エリア３１２の検出信号を読み出す画素１２１ａ（図中斜線模様で示される画素）の、エリア３１２内における読み出し順（何番目に読み出されるか）が一致するように、各エリア３１２内の走査順序が設定されていてもよい。このようにすることにより、画素規則性間引きモードの場合と同様、略同一のタイミングの検出信号からなる検出画像を得ることができるので、検出信号の生成タイミングがばらばら（不一致）の場合よりも、歪み等の少ない復元画像（主観的に高画質な復元画像）を生成することができる検出画像を得ることができる。つまり、復元画像の主観的な画質の低減を抑制することができる。
【０３３８】
なお、各エリア３１２内の走査順序を互いに近似させるだけでも、各画素における検出信号の生成タイミング（撮像タイミング）が近似するので、各エリア３１２から読み出される検出信号の生成タイミングが完全に不一致である場合よりも、復元画像の主観的な画質の低減を抑制することができる。
【０３３９】
さらに、その検出信号を読み出す画素１２１ａを、エリア３１２内の走査順序における最初の画素（つまり、エリア３１２内において最初に読み出される画素）としてもよい。このようにすることにより、画素規則性間引きモードの場合と同様、他の画素から検出信号を読み出す場合よりも、早期に検出信号を読み出すことができる。
【０３４０】
なお、図３１においては、図２９の場合と同様、説明の簡略化のために、４画素×４画素の６つのエリア３１２のみを示しているが、上述のようにエリア３１２の形、大きさ、数等は任意である。また、エリア３１２内における検出信号を読み出す画素１２１ａ（画素出力単位）の位置も任意であり、図３１の例に限定されない（どの位置でもよい）。
【０３４１】
さらに、各エリア３１２の検出信号を読み出す画素１２１ａの数は任意であり、各エリア３１２から複数画素ずつ読み出すようにしてもよい。また、各エリア３１２における検出信号を読み出す画素１２１ａの数が統一されていてもよいし、統一されていなくてもよい。どの画素を選択するかは、画素規則性間引きモードの場合と同様に、予め定められていてもよいし、読み出し制御部１２２が複数の候補の中から選択するようにしてもよいし、読み出し制御部１２２が任意に設定するようにしてもよい。
【０３４２】
なお、読み出し制御部１２２が、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素アレイの全ての画素１２１ａから検出信号を読み出させ、読み出した検出信号のうち、任意の一部の画素から読みだされた検出信号を検出画像に含める検出信号として選択するようにしてもよい。ただしこの場合、撮像素子１２１の画素アレイの全ての画素１２１ａを駆動させる（全てのエリアADC３２１を全画素モードの場合と同様に駆動させる）ことになるので、上述のように一部の画素１２１ａから検出信号を読み出させる場合の方が、この方法の場合よりも、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３４３】
また、読み出し制御部１２２は、撮像素子１２１に供給する読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ１×Ｈ１）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、Ｔ個の検出信号よりなる検出画像と解像度（Ｗ１×Ｈ１）の復元画像とに対応する、縦（Ｗ１×Ｈ１）個×横Ｔ個の係数からなる復元行列を設定する。
【０３４４】
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１または読み出し制御部１２２からＴ個の検出信号からなる検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ１×Ｈ１）個×横Ｔ個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ１×Ｈ１）の復元画像を生成する。
【０３４５】
＜間引きモード＞
以上のように、撮像装置１００は、間引きモード（画素規則性間引きモードまたは画素任意間引きモード）により、撮像素子１２１から検出画像を読み出すことができる。つまり、撮像素子１２１は、画素領域３１１に形成される複数のエリア３１２の、それぞれの所定の画素１２１ａ（画素出力単位）から信号が読み出され、その複数のエリア３１２のそれぞれに対応付けられた各エリアADC３２１（信号処理部）により、自身に対応するエリア３１２の画素から読み出される検出信号が処理（A/D変換）されるようにしてもよい。このようにすることにより、上述のように、検出画像の解像度を低減させることができる。また、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３４６】
＜画角設定＞
なお、以上の間引きモード（画素任意間引きモードまたは画素規則性間引きモード）のように、検出画像の解像度を低減させる場合、解像度低減後の検出画像全体の入射角指向性が、解像度低減前の検出画像、すなわち、全画素モードの検出画像全体の入射角指向性と同等となるようにしてもよい。つまり、各エリア３１２の、検出信号を読み出す画素（画素出力単位）の集合全体が、画素領域３１１の画素群全体と同等の入射角指向性を持つようにしてもよい。
【０３４７】
入射角指向性が同等であるとは、被写体面の同じ範囲を撮像することができるということ、すなわち、画角が同等であるということである。例えば、図３２の上側に示されるように、撮像素子１２１が画角３６３で被写体面３６１を撮像すると範囲３６２が撮像されるものとする。図中水平方向についてのみ考える場合、撮像素子１２１の各画素１２１ａの入射角指向性の重心は、画角３６３の範囲に分布する。換言するに、撮像素子１２１の各画素１２１ａの入射角指向性の重心の角度範囲が画角３６３となる。つまり、入射角指向性を同等とするように画素を選択する場合、各画素の入射角指向性の重心の角度範囲が、解像度低減前と後とで同等なるように画素（の検出信号）の選択が行われる。
【０３４８】
範囲３６２の目標解像度が決まると画角の分解能３６４の大きさが決まる。この分解能３６４は、言い換えると、各画素の入射角指向性の重心の角度差である。つまり、解像度を低減させると、各画素の入射角指向性の重心の角度差を大きくする必要がある。
【０３４９】
このことは、画角３６３を実現する画素数が低減することからも言える。例えば、図３２の下側に示されるように、水平方向に８種類の位置に開口部が形成された画素（画素１２１ａ−１乃至画素１２１ａ−８）によって画角３６３が実現されるとする。画素１２１ａ−１の光入射面には開口部３５１−１が形成されている。同様に、画素１２１ａ−２乃至画素１２１ａ−８の光入射面には、それぞれ、開口部３５１−２乃至開口部３５１−８が形成されている。図３２に示されるように、各画素における開口部３５１−１乃至開口部３５１−８の位置は、水平方向に左から右に向かうように互いにずれており、開口部３５１−１が画素内の最も左側に形成され、開口部３５１−８が画素内の最も右側に形成されている。ここから例えば画素１２１ａ−１、画素１２１ａ−３、画素１２１ａ−５、画素１２１ａ−７を選択すると、各画素の入射角指向性の重心の角度差が約２倍になり、画角３６３が略同等のまま、解像度を低減させることができる。
【０３５０】
つまり、検出画像の各画素出力単位が表す入射角指向性の重心の角度差を大きくして、画角３６３を維持するように解像度を低減させることにより、解像度を低減させる前と後とで検出画像の入射角指向性を同等とすることができる。
【０３５１】
以上においては水平方向について説明したが、垂直方向についても同様である。つまり、全ての方向について、検出画像の各画素出力単位が表す入射角指向性の重心の角度差を大きくして、画角を維持するように解像度を低減させることにより、解像度を低減させる前と後とで検出画像の入射角指向性を同等とすることができる。
【０３５２】
このようにすることにより、復元画像の画角（FOV（Field Of View））を低減させずに解像度を低減させることができる。つまり、復元画像の内容を変えずに解像度を低減させることができる。
【０３５３】
画素規則性間引きモードでこのようなことを行うには、撮像素子１２１の、所定の規則性を有する位置関係にある画素出力単位群全体が、撮像素子１２１の全画素出力単位と同等の入射角指向性をもつように設計されている必要がある。読み出し制御部１２２は、そのように設計された画素出力単位群を選択すればよい。
【０３５４】
画素任意間引きモードでこのようなことを行うには、読み出し制御部１２２が、選択した画素出力単位の全体が、撮像素子１２１の全画素出力単位と同等の入射角指向性をもつように、画素出力単位を選択すればよい。
【０３５５】
もちろん、画素規則性間引きモードの場合であっても、画素任意間引きモードの場合であっても、検出信号を読み出す画素として選択された画素（画素出力単位）群全体の入射角指向性が、撮像素子１２１の全画素出力単位の入射角指向性と異なるようにしてもよい。どのモードであっても、検出信号を読み出す画素として選択された画素（画素出力単位）群全体の入射角指向性は、復元画像の画質がより適切な状態となるようにすればよい。つまり、そのような入射角指向性が得られる（復元画像の画質が向上する）ように、検出信号を読み出す画素として選択される各画素（画素出力単位）の指向性を設計しておくようにすればよい。
【０３５６】
＜撮像処理の流れ＞
撮像装置１００が、以上のような全画素モードや間引きモードで撮像を行う撮像処理の流れの例を、図３３のフローチャートを参照して説明する。
【０３５７】
撮像処理が開始されると、制御部１０１は、ステップＳ１０１において、動作モード（全画素モードまたは間引きモード）を選択する。ステップＳ１０２において、制御部１０１は、ステップＳ１０１において選択された動作モードが全画素モードであるか否かを判定する。全画素モードであると判定した場合、処理はステップＳ１０３に進む。
【０３５８】
ステップＳ１０３において、撮像装置１００は、全画素モード撮像処理を実行し、全画素モードでの撮像を行う。ステップＳ１０３の処理が終了すると処理はステップＳ１０５に進む。また、ステップＳ１０２において、選択された動作モードが全画素モードでない（間引きモードである）と判定された場合、処理はステップＳ１０４に進む。
【０３５９】
ステップＳ１０４において、撮像装置１００は、間引きモードで撮像を行う。ステップＳ１０４の処理が終了すると処理はステップＳ１０５に進む。
【０３６０】
ステップＳ１０５において、制御部１０１は、撮像処理を終了するか否かを判定する。撮像処理を終了しないと判定された場合、処理はステップＳ１０１に戻る。すなわち、ステップＳ１０５において、撮像処理を終了すると判定されるまで、ステップＳ１０１乃至ステップＳ１０５の各処理が繰り返し実行される。
【０３６１】
ステップＳ１０５において、撮像処理が終了すると判定された場合、撮像処理が終了する。
【０３６２】
＜全画素モード撮像処理の流れ＞
次に、図３４のフローチャートを参照して、図３３のステップＳ１０３において実行される全画素モード撮像処理の流れの例を説明する。
【０３６３】
全画素モード撮像処理が開始されると、読み出し制御部１２２は、ステップＳ１２１において、撮像素子１２１の画素領域３１１の全ての画素１２１ａを、検出信号の読み出し対象として設定する。
【０３６４】
ステップＳ１２２において、撮像素子１２１は、被写体を撮像する。ステップＳ１２３において、読み出し制御部１２２は、撮像素子１２１の画素領域３１１の全ての画素から、ステップＳ１２２の処理により得られた検出信号を読み出し、それを用いて検出画像を生成する。
【０３６５】
ステップＳ１２４において、復元行列設定部１２３は、全画素（全画素モード）および被写体距離に応じた復元行列を設定する。
【０３６６】
ステップＳ１２５において、復元部１２４は、ステップＳ１２４において設定された復元行列を用いて、ステップＳ１２３の処理により得られた検出画像から出力データ（例えば復元画像）を生成する。
【０３６７】
例えば、復元部１２４は、復元係数を用いて検出画像を復元画像に変換する。復元部１２４は、この復元画像のデータを出力データとする。また、例えば、関連付け部１２５は、検出画像のデータに復元係数のデータを関連付けて、出力データとする。
【０３６８】
ステップＳ１２６において、出力データが出力される。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体１１６への記録等が含まれるようにしてもよい。
【０３６９】
まず、Raw画像（同時化処理や色分離処理等（例えば、デモザイク処理等）が施された復元画像でもよい）を出力する場合について説明する。例えば、出力が「表示」の場合、復元部１２４は、Raw画像のデータ等を出力部１１２に供給する。出力部１１２は、そのRaw画像を、画像表示デバイス（例えばLCD（Liquid Crystal Display）等）に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、復元部１２４は、Raw画像のデータ等を出力部１１２に供給する。出力部１１２は、そのRaw画像のデータ等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、復元部１２４は、Raw画像のデータ等を記憶部１１３に供給する。記憶部１１３は、そのRaw画像のデータ等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、復元部１２４は、Raw画像のデータ等を通信部１１４に供給する。通信部１１４は、所定の通信方式で他の装置と通信を行い、そのRaw画像のデータ等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、復元部１２４は、Raw画像のデータ等を記録再生部１１５に供給する。記録再生部１１５は、そのRaw画像のデータ等を、自身に装着された記録媒体１１６に記録する。
【０３７０】
次に、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力する場合について説明する。例えば、出力が「表示」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部１１２に供給する。出力部１１２は、その検出画像のデータおよび画像復元係数等に関する画像や文字などの情報を、画像表示デバイス（例えばLCD（Liquid Crystal Display）等）に表示したり、プロジェクタから投影したりする。また、例えば、出力が「出力」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を出力部１１２に供給する。出力部１１２は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、外部出力端子から他の装置に出力する。さらに、例えば、出力が「記憶」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記憶部１１３に供給する。記憶部１１３は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を通信部１１４に供給する。通信部１１４は、所定の通信方式で他の装置と通信を行い、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、関連付け部１２５は、互いに関連付けられた検出画像のデータおよび画像復元係数等を記録再生部１１５に供給する。記録再生部１１５は、その互いに関連付けられた検出画像のデータおよび画像復元係数等を、自身に装着された記録媒体１１６に記録する。
【０３７１】
出力データが出力されると、全画素モード撮像処理が終了し、処理は図３３に戻る。
【０３７２】
＜間引きモード撮像処理の流れ＞
次に、図３５のフローチャートを参照して、図３３のステップＳ１０４において実行される間引きモード撮像処理の流れの例を説明する。
【０３７３】
間引きモード撮像処理が開始されると、読み出し制御部１２２は、ステップＳ１４１において、撮像素子１２１の画素領域３１１の各エリア３１２から、検出信号を読み出す画素（読み出し画素とも称する）を設定する。
【０３７４】
ステップＳ１４２において、撮像素子１２１は、被写体を撮像する。ステップＳ１４３において、読み出し制御部１２２は、ステップＳ１４１において設定された読み出し画素から、ステップＳ１４２の処理により得られた検出信号を読み出し、それを用いて検出画像を生成する。
【０３７５】
ステップＳ１４４において、復元行列設定部１２３は、その読み出し画素（間引きモード）および被写体距離に応じた復元行列を設定する。
【０３７６】
ステップＳ１４５において、復元部１２４は、ステップＳ１４４において設定された復元行列を用いて、ステップＳ１４３の処理により得られた検出画像から出力データ（例えば復元画像）を生成する。
【０３７７】
例えば、復元部１２４は、復元係数を用いて検出画像を復元画像に変換する。復元部１２４は、この復元画像のデータを出力データとする。また、例えば、関連付け部１２５は、検出画像のデータに復元係数のデータを関連付けて、出力データとする。
【０３７８】
ステップＳ１４６において、出力データが出力される。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体１１６への記録等が含まれるようにしてもよい。
【０３７９】
出力データの出力は、全画素モードの場合と同様であるので、その説明を省略する。出力データが出力されると、間引きモード撮像処理が終了し、処理は図３３に戻る。
【０３８０】
以上のように各処理を実行することにより、検出画像の解像度を制御することができる。
【０３８１】
なお、以上においては、全画素モードと間引きモードの両方のモードで撮像することができる場合について説明したが、例えば、間引きモードのみで撮像することができるようにしてもよい。その場合、撮像装置１００は、間引きモード撮像処理を実行すればよい。
【０３８２】
＜２．第２の実施の形態＞
＜エリア駆動モード＞
また、撮像装置１００は、図３６に示されるように、撮像素子１２１の画素領域３１１内に形成されるエリア３１２内に形成される画素１２１ａ（図中斜線模様の画素）の検出信号を読み出し、読み出したその検出信号を検出画像とし、その検出画像を復元画像に変換することができる。つまり、検出信号を読み出す画素１２１ａ（画素出力単位）（読み出し画素とも称する）の選択を、エリア３１２を単位として行うようにしてもよい。このような動作モードをエリア駆動モードと称する。
【０３８３】
図３６においても、図２２の場合と同様に撮像素子１２１内の画素アレイが示されている。図中、斜線模様で示される画素１２１ａが、検出信号が読み出される画素１２１ａを示している。例えば、所定のエリア３１２が横Ｗ３個×縦Ｈ３個の画素により構成され、読み出し制御部１２２がこのエリア３１２の画素を読み出し画素として選択する場合、解像度（Ｗ３×Ｈ３）の検出画像が撮像素子１２１から読み出される。
【０３８４】
つまり、このようにエリア駆動モードで撮像することにより、検出画像の解像度を低減させることができる。また、画素１２１ａやエリアADC３２１の駆動を低減させることができるので、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３８５】
上述のように、エリア駆動モードの場合、読み出し画素の選択は、エリア３１２毎に（エリア３１２を単位として）行われる。例えば、図３７に示されるように、画素領域３１１に４画素×４画素のエリア３１２が隙間なく設定されるとする。エリア駆動モードの場合、読み出し制御部１２２は、これらのエリア３１２の内のいずれかのエリア３１２の画素１２１ａを、検出信号を読み出す画素（読み出し画素）として選択する。図３７の例の場合、左上端のエリア３１２の画素１２１ａが選択されている。
【０３８６】
このように、撮像装置１００は、エリア駆動モードにより、撮像素子１２１から検出画像を読み出すことができる。つまり、撮像素子１２１は、画素領域３１１に形成される複数のエリア３１２の内の所定の一部のエリア３１２の各画素出力単位から信号が読み出され、その一部のエリア３１２に対応付けられたエリアADC３２１（信号処理部）により、自身に対応するエリア３１２の各画素出力単位から読み出される検出信号が処理（A/D変換）されるようにしてもよい。
【０３８７】
なお、図３７においては、図２９の場合と同様、説明の簡略化のために、４画素×４画素の６つのエリア３１２のみを示しているが、上述のようにエリア３１２の形、大きさ、数等は任意である。
【０３８８】
ところで、上述したように各エリア３１２には、それぞれ、エリアADC３２１が対応付けられている。したがって、選択された１つのエリア３１２内の各画素１２１ａから読み出された信号は、全て、その対応するエリアADC３２１によりA/D変換される。例えば、各エリア３１２に対して１つずつエリアADC３２１が対応付けられているとすると、図３７の例のように、１つのエリア３１２の画素１２１ａが読み出し画素として選択された場合、駆動するエリアADC３２１は、そのエリア３１２に対応する１つのエリアADC３２１のみでよい。つまり、エリア駆動モードの場合、検出信号を読み出すエリア３１２が選択されることにより、駆動させるエリアADC３２１も選択される。したがって、エリア駆動モードの場合、駆動させるエリアADC３２１の数を低減させることができる（不要に駆動させるエリアADC３２１の数を抑制することができる）ので、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０３８９】
図３６に戻り、読み出し制御部１２２は、撮像素子１２１に供給する読み出し制御信号を復元行列設定部１２３にも供給する。解像度（Ｗ３×Ｈ３）の復元画像を生成する場合、復元行列設定部１２３は、その読み出し制御信号に従って、解像度（Ｗ３×Ｈ３）の検出画像と解像度（Ｗ３×Ｈ３）の復元画像とに対応する、縦（Ｗ３×Ｈ３）個×横（Ｗ３×Ｈ３）個の係数からなる復元行列を設定する。
【０３９０】
復元部１２４において復元画像を生成する場合、復元部１２４は、撮像素子１２１または読み出し制御部１２２から解像度（Ｗ３×Ｈ３）の検出画像を取得し、復元行列設定部１２３において設定された縦（Ｗ３×Ｈ３）個×横（Ｗ３×Ｈ３）個の係数からなる復元行列を取得し、それらを用いて解像度（Ｗ３×Ｈ３）の復元画像を生成する。
【０３９１】
なお、各画素１２１ａの被写体からの入射光に対する入射角指向性は、エリア３１２毎に独立して設定することができるようにしてもよい。上述したように、エリア駆動モードの場合、読み出し画素の選択はエリア３１２を単位として行われるのであるから、復元画像の画角は、選択されたエリア３１２の画素出力単位群の全体の画角に対応する。つまり、エリア３１２毎に入射角指向性（画角）を設定することにより、そのエリア３１２において得られる検出画像から生成される復元画像の入射角指向性（画角）を設定することができる。
【０３９２】
例えば、図３８に示されるように、エリア３１２内の各画素１２１ａの構成を、図１４に示される画素領域３１１全体の各画素１２１ａの構成と同様にしてもよい。例えば、図３８に示されるエリア３１２−１内の画素１２１ａの遮光パターン（各画素１２１ａにおける遮光膜１２１ｂおよび矩形開口の位置の分布）が、図１４の例と同様であるようにしてもよい。つまり、このエリア３１２−１内に形成される画素出力単位群全体が、画素領域３１１の全画素出力単位と同等の入射角指向性をもつように設計されているようにしてもよい。
【０３９３】
なお、図１４の例（画素領域３１１全体）と、図３８の例（エリア３１２−１）とでは、処理対象の領域の画素数が異なる。ただし、図３２を参照して説明したように画素を間引けば、同等の入射角指向性を得ることができる。
【０３９４】
このように、信号が読み出されるエリア３１２の画素（画素出力単位）群の全体が、画素領域３１１の画素（画素出力単位）群全体と同等の入射角指向性を持つようにすることにより、そのエリア３１２から、画素領域３１１全体から得られる復元画像と同等の画角の復元画像を得ることができる。つまり、エリア駆動モードにおいても、全画素モードの場合と同様の画角の復元画像を得ることができる。したがって、この場合、エリア駆動モードで撮像を行うことにより、復元画像の画角の変化を抑制しながら解像度を制御することができる。
【０３９５】
また、図３８のエリア３１２−２やエリア３１２−３等、その他のエリア３１２の入射角指向性も、エリア３１２−１と同様になるように設定してもよい。その場合、いずれのエリア３１２が選択されても、同様の画角の復元画像を得ることができる。
【０３９６】
エリア３１２は画素領域３１１の部分領域であるので、少なくとも１つの方向において画素１２１ａの分布範囲が狭い。例えば、図３９に示されるように、ある方向について、画素領域３１１の画素１２１ａの分布範囲が両矢印３８１において示されるとすると、エリア３１２の画素１２１ａの分布範囲は、両矢印３８２により示されるように、それよりも狭い。つまり、エリア駆動モードの場合の、信号を読み出す画素１２１ａの分布範囲は、全画素モードの場合よりも狭い。なお、間引きモードの場合、基本的に、画素１２１ａの範囲に制約が無いので、画素１２１ａの分布範囲は、全画素モードの場合と同等（両矢印３８１）である。
【０３９７】
例えば被写体３８３からの入射光を点線矢印３８４乃至点線矢印３８７で表すとする。この場合、画素領域３１１の両端の画素への入射光は、点線矢印３８４および点線矢印３８５のようになる。また、エリア３１２の両端の画素への入射光は、点線矢印３８６および点線矢印３８７のようになる。
【０３９８】
各画素１２１ａにおいて得られる検出信号の強さ（出力画素値）は、各画素１２１ａの入射角指向性と、入射光の強さ（つまり、強さと角度）に依存する。換言するに、復元画像を正しく求める（各画素値の比を正しく求める）ためには、各画素１２１ａの入射光の入射角が互いに異なる場合、その入射角も考慮しなければならないが、各画素１２１ａの入射光の入射角が一様である場合、入射角を考慮する必要がない。
【０３９９】
したがって、被写体から各画素への入射光が平行光に近い程、正しい復元画像を得るための復元行列の設定が容易になる。例えば、理論上、撮像素子１２１から無限遠に位置する被写体からの光は、平行光となる。
【０４００】
図３９の例の場合、画素領域３１１の両端の画素への入射光（点線矢印３８４および点線矢印３８５）の方が、エリア３１２の両端の画素への入射光（点線矢印３８６および点線矢印３８７）よりも入射角度の差が大きい。つまり、撮像素子１２１から被写体３８３までの距離（一点鎖線両矢印３８８の長さ）が同一である場合、エリア３１２から得られる検出画像の方が、画素領域３１１全体から得られる検出画像よりも、正しい復元画像を得るための復元行列の設定が容易になる。すなわち、エリア駆動モードの場合の方が、全画素モードや間引きモードの場合よりも容易に正しい復元画像を得ることができる。
【０４０１】
また、換言するに、エリア駆動モードの場合の方が、全画素モードや間引きモードの場合よりも近くの被写体３８３を無限遠とみなすことができる。すなわち、エリア駆動モードの場合の方が、全画素モードや間引きモードの場合よりも、被写界深度の深い復元画像が得られる。このように、エリア駆動モードで撮像を行うことにより、復元画像の解像度と被写界深度を制御することができる。
【０４０２】
もちろん、信号が読み出されるエリア３１２の画素（画素出力単位）群の全体が、画素領域３１１の画素（画素出力単位）群全体と異なる入射角指向性を持つようにしてもよい。その場合、エリア駆動モードにすることで、全画素モードの場合と異なる画角の復元画像を得ることができる。つまり、この場合、エリア駆動モードと全画素モードとの切り替えにより復元画像の解像度および画角を制御することができる。
【０４０３】
例えば、所定のエリア３１２の各画素１２１ａ（画素出力単位）の入射角指向性が、全て、画素領域３１１に対して垂直であるようにしてもよい。つまり、信号を読み出すエリア３１２の各画素１２１ａの入射角指向性が統一されており、かつ、偏りがない（画素領域３１１に対して垂直な方向である）ようにしてもよい。撮像素子１２１をこのような構造とすることにより、エリア駆動モードの撮像を、例えば医療等、特定の用途に用いることができる。
【０４０４】
例えば、所定のエリア３１２の画素１２１ａ（画素出力単位）群の全体の画角の大きさが、画素領域３１１の画素１２１ａ（画素出力単位）群全体の画角の大きさと異なっていてもよい。例えば、所定のエリア３１２の画素１２１ａ群の全体の画角が、画素領域３１１の画素１２１ａ群全体の画角よりも大きくてもよいし、小さくてもよい。撮像素子１２１をこのような構造とすることにより、エリア駆動モードと全画素モードとの切り替えにより復元画像の解像度および画角の大きさを制御することができる。
【０４０５】
また、例えば、所定のエリア３１２の画素１２１ａ（画素出力単位）群の全体の画角の向きが、画素領域３１１の画素１２１ａ（画素出力単位）群全体の画角の向きと異なっていてもよい。撮像素子１２１をこのような構造とすることにより、エリア駆動モードと全画素モードとの切り替えにより復元画像の解像度および画角の向きを制御することができる。
【０４０６】
なお、読み出し制御部１２２が、読み出し制御信号を撮像素子１２１に供給し、撮像素子１２１の画素領域３１１の全画素１２１ａ（画素出力単位）から検出信号を読み出させ、読み出した検出信号のうち、所定のエリア３１２内に形成される画素１２１ａから読み出された検出信号を検出画像に含める検出信号として選択するようにしてもよい。ただしこの場合、撮像素子１２１の画素領域３１１の全画素１２１ａ（画素出力単位）を駆動させる（全てのエリアADC３２１を全画素モードの場合と同様に駆動させる）ことになるので、上述のように一部のエリア３１２の画素１２１ａから検出信号を読み出させる場合の方が、この方法の場合よりも、検出信号の読み出しに関する処理の負荷（例えば消費電力）を低減させることができる。
【０４０７】
＜撮像処理の流れ＞
撮像装置１００が、以上のような全画素モードやエリア駆動モードで撮像を行う撮像処理の流れの例を、図４０のフローチャートを参照して説明する。
【０４０８】
撮像処理が開始されると、制御部１０１は、ステップＳ１６１において、動作モード（全画素モードまたはエリア駆動モード）を選択する。ステップＳ１６２において、制御部１０１は、ステップＳ１６１において選択された動作モードが全画素モードであるか否かを判定する。全画素モードであると判定した場合、処理はステップＳ１６３に進む。
【０４０９】
ステップＳ１６３において、撮像装置１００は、全画素モード撮像処理を実行し、全画素モードでの撮像を行う。この場合の全画素モード撮像処理は、図３４のフローチャートを参照して説明した場合と同様であるので、その説明を省略する。
【０４１０】
ステップＳ１６３の処理が終了すると処理はステップＳ１６５に進む。また、ステップＳ１６２において、選択された動作モードが全画素モードでない（エリア駆動モードである）と判定された場合、処理はステップＳ１６４に進む。
【０４１１】
ステップＳ１６４において、撮像装置１００は、エリア駆動モードで撮像を行う。ステップＳ１６４の処理が終了すると処理はステップＳ１６５に進む。
【０４１２】
ステップＳ１６５において、制御部１０１は、撮像処理を終了するか否かを判定する。撮像処理を終了しないと判定された場合、処理はステップＳ１６１に戻る。すなわち、ステップＳ１６５において、撮像処理を終了すると判定されるまで、ステップＳ１６１乃至ステップＳ１６５の各処理が繰り返し実行される。
【０４１３】
ステップＳ１６５において、撮像処理が終了すると判定された場合、撮像処理が終了する。
【０４１４】
＜エリア駆動モード撮像処理の流れ＞
次に、図４１のフローチャートを参照して、図４０のステップＳ１６４において実行されるエリア駆動モード撮像処理の流れの例を説明する。
【０４１５】
エリア駆動モード撮像処理が開始されると、読み出し制御部１２２は、ステップＳ１８１において、撮像素子１２１の画素領域３１１の各エリア３１２から、検出信号を読み出すエリア３１２（読み出しエリアとも称する）を設定する。
【０４１６】
ステップＳ１８２において、撮像素子１２１は、被写体を撮像する。ステップＳ１８３において、読み出し制御部１２２は、ステップＳ１８１において設定された読み出しエリアの各画素１２１ａから、ステップＳ１８２の処理により得られた検出信号を読み出し、それを用いて検出画像を生成する。
【０４１７】
ステップＳ１８４において、復元行列設定部１２３は、その読み出しエリアであるエリア３１２および被写体距離に応じた復元行列を設定する。
【０４１８】
ステップＳ１８５において、復元部１２４は、ステップＳ１８４において設定された復元行列を用いて、ステップＳ１８３の処理により得られた検出画像から出力データ（例えば復元画像）を生成する。
【０４１９】
例えば、復元部１２４は、復元係数を用いて検出画像を復元画像に変換する。復元部１２４は、この復元画像のデータを出力データとする。また、例えば、関連付け部１２５は、検出画像のデータに復元係数のデータを関連付けて、出力データとする。
【０４２０】
ステップＳ１８６において、出力データが出力される。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体１１６への記録等が含まれるようにしてもよい。
【０４２１】
出力データの出力は、全画素モードの場合と同様であるので、その説明を省略する。出力データが出力されると、エリア駆動モード撮像処理が終了し、処理は図４０に戻る。
【０４２２】
以上のように各処理を実行することにより、検出画像の解像度を制御することができる。
【０４２３】
＜エリア駆動モードの適用例＞
例えば、撮像装置１００において静止画像を撮像する場合、出力（表示、出力、送信、記録等）用の撮像画像を得るための撮像は、全画素モードで行い、その撮像の前の、モニタ等に表示するための取り込み画像の取り込み（撮像）は、エリア駆動モードで行うようにしてもよい。
【０４２４】
表示用の取り込み画像は、一般的に、比較的小さなモニタに表示される動画像であり、また主に撮像画像を得る際の構図等を確認するためのものであるので、要求される画質のレベルは撮像画像に比べて低い。例えば取り込み画像を表示するモニタのサイズは一般的に小さく、その表示解像度は、撮像画像に比べて低い場合が多い。また、例えば焦点距離の精度に対して要求されるレベルも低く、おおよそ全体が把握できれば良い場合が多い。
【０４２５】
取り込み画像の取り込みをエリア駆動モードで行うことにより、全画素モードの場合よりも被写界深度を深くすることができるので、より多くの被写体に焦点が合っているように見える取り込み画像を得ることができる。また、エリア駆動モードで撮像する（取り込む）ことにより、上述したように解像度を低減させることができるので、取り込み画像の解像度が不要に高くなることを抑制することができる。つまり、取り込み画像に適した画像を得ることができる。さらに、上述したように負荷の増大を抑制することができる。
【０４２６】
これに対して、撮像画像（静止画像）を得るための撮像を全画素モードで行うことにより、エリア駆動モードでの撮像に比べて、高解像度の撮像画像を得ることができる。また、エリア駆動モードの場合よりも被写界深度を浅くすることができるので、より高精度な焦点距離制御を行うことができる。
【０４２７】
このように用途に応じて全画素モードとエリア駆動モードとを使い分けることにより、撮像画像（静止画像）の解像度や画質の低減を抑制し、かつ、負荷の増大を抑制しながら、より適切な画質の取り込み画像を得ることができる。つまり、より多様な用途に適した撮像を行うことができる。
【０４２８】
＜撮像処理の流れ＞
このような撮像を行う場合の撮像処理の流れの例を、図４２のフローチャートを参照して説明する。
【０４２９】
この場合、撮像処理が開始されると、ステップＳ２０１において、制御部１０１は、動作モードをエリア駆動モードに設定する。
【０４３０】
ステップＳ２０２において、入力部１１１は、静止画像撮像の指示の受付を開始する。
【０４３１】
ステップＳ２０３において、撮像素子１２１、読み出し制御部１２２、復元行列設定部１２３、復元部１２４、および出力部１１２等の各処理部は、エリア駆動モード撮像処理を実行し、エリア駆動モードで被写体を撮像して取り込み画像を生成し、その生成した取り込み画像をモニタに表示する。このエリア駆動モード撮像処理は、図４１のフローチャートを参照して説明した場合と基本的に同様の流れで実行される。したがって、その説明は省略する。
【０４３２】
ステップＳ２０４において、入力部１１１は、静止画撮像の指示を受け付けたか否かを判定する。静止画撮像の指示を受け付けていないと判定された場合、処理は、ステップＳ２０３に戻る。つまり、静止画撮像の指示が受け付けられるまで、エリア駆動モード撮像処理が繰り返し実行される。つまり、取り込み画像が動画像として生成され、モニタに表示される。
【０４３３】
そして、ステップＳ２０４において、例えばユーザにより撮像ボタン（シャッタボタン）が押下される等して、静止画撮像の指示を受け付けたと判定された場合、処理はステップＳ２０５に進む。
【０４３４】
ステップＳ２０５において、制御部１０１は、動作モードを全画素モードに設定する（エリア駆動モードから全画素モードに切り替える）。
【０４３５】
ステップＳ２０６において、撮像素子１２１、読み出し制御部１２２、復元行列設定部１２３、復元部１２４、関連付け部１２５、および出力部１１２等の各処理部は、全画素モード撮像処理を実行し、全画素モードで被写体を撮像して出力データを生成し、その出力データを出力する。この全画素モード撮像処理は、図３４のフローチャートを参照して説明した場合と基本的に同様の流れで実行される。したがって、その説明は省略する。
【０４３６】
つまり、この撮像において得られた出力データは、撮像画像（静止画像）に対応するデータとして出力される。
【０４３７】
ステップＳ２０７において、制御部１０１は、撮像処理を終了するか否かを判定する。撮像処理を終了しないと判定された場合、処理はステップＳ２０１に戻り、それ以降の処理を行う。つまり、撮像処理が終了されるまで、ステップＳ２０１乃至ステップＳ２０７の各処理が繰り返し実行される。
【０４３８】
そして、ステップＳ２０７において、撮像処理を終了すると判定された場合、撮像処理が終了する。
【０４３９】
以上のように全画素モードとエリア駆動モードとを用いて撮像を行うことにより、より多様な用途に適した撮像を行うことができる。
【０４４０】
なお、以上においては、全画素モードとエリア駆動モードとを、取り込み画像の取り込みと撮像画像を得るための撮像とで使い分けるように説明したが、両モードの使い分けはこの例に限定されない。例えば、動画像の撮像と静止画像の撮像とで両モードを使い分けるようにしてもよい。例えば、動画像の撮像を、負荷が比較的小さいエリア駆動モードで行い、静止画像の撮像を、より高画質な画像が得られる全画素モードで行うようにしてもよい。このようにすることにより、上述の取り込み画像と撮像画像との場合と同様に、得られる画像が動画像であるか静止画像であるかに応じて、画質や負荷をより適切に制御することができる。
【０４４１】
＜エリアの選択＞
例えば、画素領域３１１内に、エリア駆動モードにおいて利用可能なエリア３１２を複数設け、そのいずれかを選択して使用することができるようにしてもよい。
【０４４２】
例えば、図２３の画素領域３１１のように、エリア３１２が複数設定されている場合、そのいずれのエリア３１２も、エリア駆動モードにおいて選択することができるようにしてもよい。つまり、その場合、読み出し制御部１２２は、使用するエリア３１２を複数の候補の中から選択し、その選択したエリア３１２内の画素１２１ａから検出信号を読み出す。
【０４４３】
このエリア３１２の選択の根拠（どのような基準で選択するか）は、任意である。例えば、エリア３１２内に、正常に検出信号を読み出せない欠陥画素が存在する（例えば所定数以上の欠陥画素が存在する）場合に、読み出し制御部１２２が、他のエリア３１２に切り替える（他のエリア３１２を選択する）ようにしてもよい。欠陥画素の検出は、例えば、得られた検出画像（の各出力画素値）に基づいて行われるようにしてもよい。
【０４４４】
このようにすることにより、経年劣化や製造不良等による復元画像の画質の低減を抑制することができる。
【０４４５】
また、例えば、画素領域３１１内に特徴が互いに異なる複数のエリア３１２を設け、読み出し制御部１２２が、それらのエリア３１２の中から所望の特徴を持つエリア３１２を選択するようにしてもよい。例えば、エリア３１２の画素出力単位群の全体の入射角指向性が互いに異なる複数のエリア３１２を設け、読み出し制御部１２２が、用途等に応じて、それらのエリア３１２の中から所望の入射角指向性を持つエリア３１２を選択するようにしてもよい。
【０４４６】
例えば、図４３に示されるように、画素領域３１１に、内包する画素出力単位群の全体の画角の大きさが互いに異なる複数のエリア３１２を設けるようにしてもよい。図４３の場合、画素領域３１１内に、エリア３１２の画素出力単位群の全体の画角が比較的広い（広画角の）エリア３１２−１１と、エリア３１２の画素出力単位群の全体の画角が比較的狭い（狭画角の）エリア３１２−１２とが設けられている。読み出し制御部１２２は、復元画像に要求される画角の大きさに応じて、それらの内のいずれか一方を選択する。例えば、広画角の復元画像を得たい場合、読み出し制御部１２２は、エリア３１２−１１を選択する。また、例えば、狭画角の復元画像を得たい場合、読み出し制御部１２２は、エリア３１２−１２を選択する。
【０４４７】
また、例えば、画素領域３１１に、内包する画素出力単位群の全体の画角の向きが互いに異なる複数のエリア３１２を設けるようにしてもよい。
【０４４８】
なお、このように複数のエリア３１２間で比較されるパラメータは、任意であり、入射角指向性（画角）以外であってもよい。例えば、エリア３１２の大きさ、形、内包する画素１２１ａの数、大きさ、形、レイアウト等であってもよい。また、複数のエリア３１２間で比較されるパラメータの数は、任意であり、単数であってもよいし、複数であってもよい。
【０４４９】
このようにすることにより、より多様な用途等に応じた適切な特徴を有する復元画像を得ることができる。
【０４５０】
なお、選択するエリア３１２の数を可変としてもよい。
【０４５１】
＜複数エリア選択＞
例えば、読み出し制御部１２２が、複数のエリア３１２を選択し、それぞれのエリア３１２から検出画像を読み出すことができるようにしてもよい。つまり、複数のエリア３１２の各画素１２１ａ（画素出力単位）から信号が読み出され、その複数のエリアのそれぞれに対応付けられた信号処理部が、自身に対応するエリア３１２の各画素出力単位から読み出される信号を処理するようにしてもよい。
【０４５２】
例えば、画素領域３１１の左側に設けられたエリア３１２と、画素領域３１１の右側に設けられたエリア３１２とを同時に選択し、両方のエリア３１２からそれぞれ検出画像を読み出すようにしてもよい。このようにすることにより、各検出画像から得られる復元画像を互いに視差を有する立体視用の画像とすることができる。また、その両方の復元画像（エリア３１２）間の視差を利用して、例えば奥行情報等を得るようにしてもよい。
【０４５３】
＜３．第３の実施の形態＞
＜低解像度の動作モードの切り替え＞
以上においては間引きモードとエリア駆動モードを説明した。これらの動作モードは、全画素モードに比べて低解像度の動作モードである。撮像装置１００が、このような低解像度の動作モードとして、間引きモードとエリア駆動モードの両方を有するようにしてもよい。つまり、撮像装置１００が、動作モードとして、全画素モード、間引きモード、およびエリア駆動モードを備えるようにしてもよい。
【０４５４】
＜撮像処理の流れ＞
その場合の撮像処理の流れの例を、図４４のフローチャートを参照して説明する。撮像処理が開始されると、制御部１０１は、ステップＳ２２１において、動作モード（全画素モード、間引きモード、またはエリア駆動モード）を選択する。ステップＳ２２２において、制御部１０１は、ステップＳ２２１において選択された動作モードが全画素モードであるか否かを判定する。全画素モードであると判定した場合、処理はステップＳ２２３に進む。
【０４５５】
ステップＳ２２３において、撮像装置１００は、全画素モード撮像処理を実行し、全画素モードでの撮像を行う。この全画素モード撮像処理は、図３４のフローチャートを参照して説明した場合と同様の流れで実行される。したがってその説明は省略する。
【０４５６】
ステップＳ２２３の処理が終了すると処理はステップＳ２２７に進む。また、ステップＳ２２２において、選択された動作モードが全画素モードでない（間引きモードまたはエリア駆動モードである）と判定された場合、処理はステップＳ２２４に進む。
【０４５７】
ステップＳ２２４において、制御部１０１は、ステップＳ２２１において選択された動作モードが間引きモードであるか否かを判定する。間引きモードであると判定した場合、処理はステップＳ２２５に進む。
【０４５８】
ステップＳ２２５において、撮像装置１００は、間引きモード撮像処理を実行し、間引きモードでの撮像を行う。この間引きモード撮像処理は、図３５のフローチャートを参照して説明した場合と同様の流れで実行される。したがってその説明は省略する。
【０４５９】
ステップＳ２２５の処理が終了すると処理はステップＳ２２７に進む。また、ステップＳ２２４において、選択された動作モードが間引きモードでない（エリア駆動モードである）と判定された場合、処理はステップＳ２２６に進む。
【０４６０】
ステップＳ２２６において、撮像装置１００は、エリア駆動モード撮像処理を実行し、エリア駆動モードでの撮像を行う。このエリア駆動モード撮像処理は、図４１のフローチャートを参照して説明した場合と同様の流れで実行される。したがってその説明は省略する。
【０４６１】
ステップＳ２２７において、制御部１０１は、撮像処理を終了するか否かを判定する。撮像処理を終了しないと判定された場合、処理はステップＳ２２１に戻る。すなわち、ステップＳ２２７において、撮像処理を終了すると判定されるまで、ステップＳ２２１乃至ステップＳ２２７の各処理が繰り返し実行される。
【０４６２】
ステップＳ２２７において、撮像処理が終了すると判定された場合、撮像処理が終了する。
【０４６３】
＜用途等に応じたモード選択＞
このように撮像処理を行うことにより、間引きモードとエリア駆動モードとを切り替えることができる。この切り替え（モードの選択）の根拠は任意である。
【０４６４】
例えば、用途等に応じて、間引きモードとエリア駆動モードとを切り替えるようにしてもよい。例えば、読み出し制御部１２２が、生成する復元画像に所望の特徴を持たせるために（すなわち絵作りのために）、間引きモードとエリア駆動モードとの内、より適切な方を選択するようにしてもよい。
【０４６５】
例えば、復元画像の被写界深度を比較的浅くする場合、読み出し制御部１２２が間引きモードを選択するようにしてもよい。また、復元画像の被写界深度を比較的深くする場合、読み出し制御部１２２がエリア駆動モードを選択するようにしてもよい。
【０４６６】
このようにすることにより、撮像装置１００は、より多様な特徴の復元画像を生成することができる。
【０４６７】
＜被写体距離に応じたモード選択＞
また、例えば、被写体までの距離（被写体距離とも称する）に応じて、間引きモードとエリア駆動モードとを切り替えるようにしてもよい。
【０４６８】
例えば、図３９を参照して説明したように、エリア駆動モードの場合（両矢印３８２）の方が、間引きモードの場合（両矢印３８１）よりも、画素分布範囲が狭い。したがって、エリア駆動モードの場合の方が間引きモードの場合よりも、入射光が平行光に近くなる。つまり、エリア駆動モードの場合の方が間引きモードの場合よりも、被写界深度を深くすることができる。したがって、復元画像において、エリア駆動モードの場合の方が間引きモードの場合よりも、被写体距離（一点鎖線両矢印３８８）より近い被写体に対して合焦しているように見せることができる。
【０４６９】
そこで、読み出し制御部１２２が、被写体距離が所定の閾値より短い場合、エリア駆動モードを選択し、被写体距離がその閾値より長い場合、間引きモードを選択するようにしてもよい。
【０４７０】
このようにすることにより、より広範囲の被写体距離において、被写体に合焦させることができる。
【０４７１】
＜画素密度の制御＞
さらに、この間引きモードとエリア駆動モードとの間のモード選択と、第２の実施の形態において説明したエリア３１２の選択との両方を行うようにしてもよい。エリア３１２のレイアウト（配置）は任意であるので、例えば、図４５に示されるように、画素領域３１１内に、エリア４０１乃至エリア４０３を設け、間引きモードとエリア駆動モードとの間のモード選択と、エリア４０１乃至エリア４０３間の選択とを行うようにしてもよい。
【０４７２】
つまり、この場合、間引きモードが選択されると画素領域３１１が選択されることになる。したがって、このような動作モードおよびエリア３１２の選択は、検出信号を読み出す画素１２１ａの範囲を選択しているともいえる。
【０４７３】
ここで、例えば、検出信号を読み出す画素１２１ａの数は、許容される消費電力の大きさに基づいて設定されるようにしてもよい。また、例えば、検出信号を読み出す画素１２１ａ群全体の入射角指向性（すなわち、どのような入射角指向性の画素を選択するか）は、復元画像に要求される画角に応じて設定されるようにしてもよい。そして、検出信号を読み出す画素１２１ａの分布の範囲は、上述した用途等や被写体までの距離に基づいて設定されるようにしてもよい。
【０４７４】
このようにすることにより、撮像装置１００は、より多様な特徴を有する復元画像を得ることができる。
【０４７５】
なお、付言するに、検出信号を読み出す画素１２１ａの数が、許容される消費電力の大きさ等に基づいて設定されている（固定されている）場合、検出信号を読み出す画素１２１ａの分布の範囲を設定することにより、検出信号を読み出す画素１２１ａの密度を設定しているともいえる。つまり、例えば用途や被写体距離等、何らかの要因に基づいて、検出信号を読み出す画素１２１ａの密度を制御することができるようにしてもよい。
【０４７６】
＜撮像装置・画像処理装置の他の構成例＞
以上において、撮像装置１００が撮像素子１２１を有するように説明したが、撮像装置１００が有する撮像素子１２１の数は任意である。撮像装置１００が単数の撮像素子１２１を有するようにしてもよいし、複数の撮像素子１２１を有するようにしてもよい。また、撮像装置１００が複数の撮像素子１２１を有する場合、その複数の撮像素子１２１の性能（例えば画素数、形状、画素構造、撮像特性、撮像方式等）が全て統一されていてもよいし、異なるものが含まれていてもよい。
【０４７７】
また、撮像装置１００が、その他の処理部を複数有するようにしてもよい。例えば、読み出し制御部１２２が複数設けられ、それぞれ、独立に検出画像の解像度を設定して読み出すようにしてもよい。このようにすることにより、例えば、複数の解像度の検出画像を並行して得ることができる。また、それに応じて復元行列設定部１２３を複数備えるようにしてもよい。
【０４７８】
＜４．第４の実施の形態＞
＜監視システム＞
次に、以上のような本技術を適用した撮像装置１００の応用例について説明する。撮像装置１００は、例えば、対象を画像により監視する監視システムに適用することができる。
【０４７９】
図４６は、本技術を適用したシステムの一実施の形態である監視システムの主な構成例を示す図である。図４６に示される監視システム５００は、監視対象を撮像し、その撮像画像により監視対象を監視するシステムである。例えば、監視システム５００は、監視対象の不審検出（異常検出）等を行う。
【０４８０】
図４６に示されるように、監視システム５００は、監視カメラ５１１と、その監視カメラ５１１とケーブル５１２を介して通信可能に接続されるサーバ５５３とを有する。
【０４８１】
監視カメラ５１１は、例えば所定の領域５２１を監視対象として撮像する。そして、監視カメラ５１１は、その撮像画像のデータを、ケーブル５１２を介してサーバ５１３に供給する。
【０４８２】
サーバ５１３は、例えば、ケーブル５１２を介して監視カメラ５１１の駆動を制御する。また、サーバ５１３は、監視カメラ５１１から供給される撮像画像に対して画像処理を行う。さらに、サーバ５１３は、撮像画像を解析し、監視対象の不審な点の検出（異常の検出）を行う。また、サーバ５１３は、必要に応じて、その検出結果に応じた警告等の処理を行う。
【０４８３】
このような監視システム５００において、監視カメラ５１１として、上述の撮像装置１００を適用するようにしてもよい。つまり、監視カメラ５１１は、第１の実施の形態乃至第３の実施の形態において説明した撮像装置１００と同様の構成を有し、撮像装置１００と同様の処理を行うことができる。したがって、監視カメラ５１１は、第１の実施の形態乃至第３の実施の形態において説明したものと同様の効果を得ることができる。
【０４８４】
例えば、監視カメラ５１１が、不審検出結果（監視対象の状況）に応じて、動作モードを切り替えることができるようにしてもよい。例えば、監視対象である領域５２１内に動物体が検出されない状態が、正常である（不審な点がない）とする。その場合、正常な状態にある領域５２１を撮像した撮像画像（復元画像）は、その絵が略変化しない。また、特に注目すべき箇所も存在しない。そのため、撮像画像の解像度が低くても支障はない。
【０４８５】
これに対して、例えば領域５２１内に人５４１が進入すると、動物体である人５４１が、サーバ５１３により不審な点（異常）として検出される。このような場合、人５４１の特徴をより正確に捉える必要があるため、人５４１が注目対象となる。つまり、人５４１の画像はより高解像度化するのが望ましい。
【０４８６】
そこで、監視カメラ５１１は、監視対象が正常な状態である場合には、点線四角５３１内の左側に示されるように、エリア駆動モードで動作し、画素領域３１１の一部のエリア３１２より検出画像を読み出す。
【０４８７】
そして、人５４１が矢印５４２のように領域５２１内に進入し、サーバ５１３がそれを不審な点として検知すると、監視カメラ５１１は、点線四角５３１内の右側に示されるように、動作モードを全画素モードに切り替えて、画素領域３１１の全体より検出画像を読み出す。
【０４８８】
さらに、人５４１が矢印５４３のように領域５２１外に退出すると、領域５２１の不審が検知されなくなる。つまり、領域５２１の状態が正常に戻る。そこで、監視カメラ５１１は、点線四角５３１内の左側に示されるように、動作モードをエリア駆動モードに切り替えて、画素領域３１１の一部のエリア３１２より検出画像を読み出す。
【０４８９】
このように動作モードを切り替えることにより、監視カメラ５１１は、例えば、注目すべき箇所（不審な点）が存在しない平常時においては、撮像画像の解像度を低減させ、データ量の増大を抑制することができる。また、監視対象に不審な点が検出され、注目すべき箇所が存在する場合、監視カメラ５１１は、撮像画像を高解像度化し、画質の低減を抑制することができる。つまり、監視カメラ５１１は、状況に応じて適切なデータ量および画質の撮像画像を得ることができ、その撮像画像に基づいて監視を行う（不審検出を行う）ことができる。つまり、データ量の増大を抑制しながら、より正確な監視を行うことができる。
【０４９０】
＜監視処理の流れ＞
このような監視システム５００により行われる監視処理の流れの例を、図４７のフローチャートを参照して説明する。
【０４９１】
監視処理が開始されると、サーバ５１３は、ステップＳ３０１において、監視対象の不信検知を開始する。
【０４９２】
ステップＳ３０２において、監視カメラ５１１は、動作モードをエリア駆動モードに設定する。
【０４９３】
ステップＳ３０３において、監視カメラ５１１は、エリア駆動モードで監視対象を撮像して出力データを出力する。つまり、監視カメラ５１１は、図４１のフローチャートを参照して説明した場合と同様の流れで、エリア駆動モード撮像処理を行い、エリア駆動モードで出力データを生成し、それをサーバ５１３に出力する。
【０４９４】
ステップＳ３０４において、サーバ５１３は、不審を検知したか否かを判定する。不審を検知していないと判定された場合、処理はステップＳ３０３に戻る。つまり、監視対象が、不審が検知されていない正常な状態である場合、ステップＳ３０３およびステップＳ３０４の処理が繰り返し実行される。つまり、低解像度の撮像画像が得られる。
【０４９５】
また、ステップＳ３０４において、不審が検知されたと判定された場合、処理はステップＳ３０５に進む。
【０４９６】
ステップＳ３０５において、監視カメラ５１１は、動作モードを全画素モードに切り替える（設定する）。
【０４９７】
ステップＳ３０６において、監視カメラ５１１は、全画素モードで監視対象を撮像して出力データを出力する。つまり、監視カメラ５１１は、図３４のフローチャートを参照して説明した場合と同様の流れで、全画素モード撮像処理を行い、全画素モードで出力データを生成し、それをサーバ５１３に出力する。
【０４９８】
ステップＳ３０７において、サーバ５１３は、不審が検知されなくなったか否かを判定する。不審を検知し続けていると判定された場合、処理はステップＳ３０６に戻る。つまり、監視対象が、不審が検知されている状態（異常な状態）である場合、ステップＳ３０６およびステップＳ３０７の処理が繰り返し実行される。つまり、高解像度の撮像画像が得られる。
【０４９９】
また、ステップＳ３０７において、不審が検知されなくなったと判定された場合、処理はステップＳ３０８に進む。
【０５００】
ステップＳ３０８において、監視カメラ５１１は、監視処理を終了するか否かを判定する。監視処理を終了しないと判定された場合、処理はステップＳ３０２に戻る。すなわち、ステップＳ３０８において、監視処理を終了すると判定されるまで、ステップＳ３０２乃至ステップＳ３０８の各処理が繰り返し実行される。
【０５０１】
ステップＳ３０８において、監視処理が終了すると判定された場合、監視処理が終了する。
【０５０２】
以上のように監視処理を実行することにより、データ量の増大を抑制しながら、より正確な監視を行うことができる。
【０５０３】
＜５．第５の実施の形態＞
＜測距＞
撮像装置１００は、例えば、図４８に示されるように、互いに離れた複数のエリア３１２から検出画像を読み出すことができる。これを利用して、それらの検出画像から得られる復元画像を、その画像間の視差を利用して、立体視用画像としてもよい。
【０５０４】
図４８の例の場合、画素領域３１１には、４画素×４画素のエリア３１２が、縦３個×横３個の合計９個設けられている。そして、読み出し制御部１２２は、エリア駆動モードにおいて、その画素領域３１１の左側のエリア３１２−２１の画素１２１ａと、右側のエリア３１２−２２の画素１２１ａとを、読み出し画素として選択する（図中斜線模様で示される画素）。
【０５０５】
エリア３１２−２１とエリア３１２−２２とでは、その位置が互いに異なるので、それらのエリア３１２から得られる復元画像は、互いに視差を有する。つまり、これらの復元画像の組は、立体視用画像とみなすことができる。つまり、この復元画像の組から被写体の奥行情報を得ることができる。
【０５０６】
なお、撮像素子１２１は、エリアADC３２１により各画素１２１ａから読み出された検出信号のA/D変換が行われるので、各復元画像の生成タイミングが互いに略同一とすることができる。したがって、より正確に奥行情報を求めることができる。
【０５０７】
なお、エリア３１２−２１の画角の向きとエリア３１２−２２の画角の向きとが、その視差が広がる方向に、互いに異なるようにしてもよい。このようにすることにより、復元画像間の視差が拡大するので、より正確な奥行情報を求めることができる。
【０５０８】
このような本技術を用いて、例えば、図４９に示されるように、撮像装置１００を用いて被写体５６１を撮像する際に、撮像装置１００から被写体５６１までの距離（点線両矢印５６２）を求める（測距を行う）ことができる。
【０５０９】
＜撮像処理の流れ＞
この場合の撮像装置１００により実行される撮像処理の流れの例を、図５０および図５１のフローチャートを参照して説明する。
【０５１０】
撮像処理が開始されると、撮像装置１００の制御部１０１は、ステップＳ４０１において、被写体距離を初期設定する。
【０５１１】
ステップＳ４０２において、制御部１０１は、動作モードをエリア駆動モードに設定する。
【０５１２】
ステップＳ４０３において、入力部１１１は、静止画撮像の指示の受付を開始する。
【０５１３】
ステップＳ４０４において、撮像装置１００は、エリア駆動モード撮像処理を実行し、エリア駆動モードで被写体を撮像して、取り込み画像を生成し、その取り込み画像をモニタに表示する。このエリア駆動モード撮像処理は、図４１のフローチャートを参照して説明した場合と基本的に同様の流れで実行される。したがって、その説明は省略する。
【０５１４】
ステップＳ４０５において、制御部１０１は、ステップＳ４０４の処理により得られた複数のエリア３１２のそれぞれに対応する複数の復元画像から被写体距離を推定する。
【０５１５】
ステップＳ４０６において、制御部１０１は、被写体距離を更新するか否かを判定する。被写体距離（の推定値）が変化し、被写体距離を更新すると判定された場合、処理はステップＳ４０７に進む。
【０５１６】
ステップＳ４０７において、制御部１０１は、ステップＳ４０５の処理結果に基づいて、被写体距離を更新する。ステップＳ４０７の処理が終了すると処理はステップＳ４０８に進む。
【０５１７】
また、ステップＳ４０６において、被写体距離が変化せず、被写体距離を更新しないと判定された場合、処理はステップＳ４０８に進む。
【０５１８】
ステップＳ４０８において、入力部１１１は、静止画撮像の指示を受け付けたか否かを判定する。静止画の撮像指示を受け付けていないと判定された場合、処理はステップＳ４０４に戻り、それ以降の処理が実行される。つまり、取り込み画像が動画像として取り込まれ、モニタに表示される。また、その取り込み画像のフレーム毎に被写体距離の推定および更新が行われる。
【０５１９】
ステップＳ４０８において静止画撮像の指示を受け付けたと判定されるまで、ステップＳ４０４乃至ステップＳ４０８の処理が繰り返される。
【０５２０】
そして、ステップＳ４０８において、例えばユーザにより撮像ボタン（シャッタボタン）が押下される等して、静止画撮像の指示を受け付けたと判定された場合、処理は図５１に進む。
【０５２１】
図５１のステップＳ４１１において、制御部１０１は、動作モードを全画素モードに切り替える（設定する）。
【０５２２】
ステップＳ４１２において、制御部１０１は、図５０のステップＳ４０５における被写体距離推定結果を測距結果として撮像に利用する（例えば焦点距離調整に利用する）か否かを判定する。この被写体距離推定結果を用いないと判定された場合、処理はステップＳ４１３に進む。
【０５２３】
ステップＳ４１３において、撮像装置１００は、他の方法（任意の方法）により、被写体距離を計測する。ステップＳ４１３の処理が終了すると処理はステップＳ４１４に進む。また、ステップＳ４１２において、被写体距離の推定結果を用いると判定された場合、ステップＳ４１３の処理が省略され、処理はステップＳ４１４に進む。
【０５２４】
ステップＳ４１４において、撮像装置１００は、全画素モード撮像処理を実行し、全画素モードで被写体を撮像して、出力データを生成し、その出力データを出力する。この全画素モード撮像処理は、図３４のフローチャートを参照して説明した場合と基本的に同様の流れで実行される。したがって、その説明は省略する。
【０５２５】
ステップＳ４１５において、制御部１０１は、撮像処理を終了するか否かを判定する。撮像処理を終了しないと判定された場合、処理は図５０のステップＳ４０２に戻り、それ以降の処理を行う。つまり、撮像処理が終了されるまで、図５０のステップＳ４０２乃至図５１のステップＳ４１５の各処理が繰り返し実行される。
【０５２６】
そして、図５１のステップＳ４１５において、撮像処理を終了すると判定された場合、撮像処理が終了する。
【０５２７】
以上のように撮像処理を行うことにより、被写体距離を推定することができ、その被写体距離の推定結果に基づいて撮像を行うことができる。したがって、より正確に焦点距離を被写体に合焦させることができる。
【０５２８】
＜６．第６の実施の形態＞
＜内視鏡システム＞
また、本開示に係る技術は、例えば、内視鏡手術システムに適用されてもよい。
【０５２９】
図５２は、本開示に係る技術が適用され得る内視鏡手術システム５０００の概略的な構成の一例を示す図である。図５２では、術者（医師）５０６７が、内視鏡手術システム５０００を用いて、患者ベッド５０６９上の患者５０７１に手術を行っている様子が図示されている。図示するように、内視鏡手術システム５０００は、内視鏡５００１と、その他の術具５０１７と、内視鏡５００１を支持する支持アーム装置５０２７と、内視鏡下手術のための各種の装置が搭載されたカート５０３７と、から構成される。
【０５３０】
内視鏡手術では、腹壁を切って開腹する代わりに、トロッカ５０２５ａ〜５０２５ｄと呼ばれる筒状の開孔器具が腹壁に複数穿刺される。そして、トロッカ５０２５ａ〜５０２５ｄから、内視鏡５００１の鏡筒５００３や、その他の術具５０１７が患者５０７１の体腔内に挿入される。図示する例では、その他の術具５０１７として、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３が、患者５０７１の体腔内に挿入されている。また、エネルギー処置具５０２１は、高周波電流や超音波振動により、組織の切開及び剥離、又は血管の封止等を行う処置具である。ただし、図示する術具５０１７はあくまで一例であり、術具５０１７としては、例えば攝子、レトラクタ等、一般的に内視鏡下手術において用いられる各種の術具が用いられてよい。
【０５３１】
内視鏡５００１によって撮影された患者５０７１の体腔内の術部の画像が、表示装置５０４１に表示される。術者５０６７は、表示装置５０４１に表示された術部の画像をリアルタイムで見ながら、エネルギー処置具５０２１や鉗子５０２３を用いて、例えば患部を切除する等の処置を行う。なお、図示は省略しているが、気腹チューブ５０１９、エネルギー処置具５０２１及び鉗子５０２３は、手術中に、術者５０６７又は助手等によって支持される。
【０５３２】
（支持アーム装置）
支持アーム装置５０２７は、ベース部５０２９から延伸するアーム部５０３１を備える。図示する例では、アーム部５０３１は、関節部５０３３ａ、５０３３ｂ、５０３３ｃ、及びリンク５０３５ａ、５０３５ｂから構成されており、アーム制御装置５０４５からの制御により駆動される。アーム部５０３１によって内視鏡５００１が支持され、その位置及び姿勢が制御される。これにより、内視鏡５００１の安定的な位置の固定が実現され得る。
【０５３３】
（内視鏡）
内視鏡５００１は、先端から所定の長さの領域が患者５０７１の体腔内に挿入される鏡筒５００３と、鏡筒５００３の基端に接続されるカメラヘッド５００５と、から構成される。図示する例では、硬性の鏡筒５００３を有するいわゆる硬性鏡として構成される内視鏡５００１を図示しているが、内視鏡５００１は、軟性の鏡筒５００３を有するいわゆる軟性鏡として構成されてもよい。
【０５３４】
鏡筒５００３の先端には、対物レンズが嵌め込まれた開口部が設けられている。内視鏡５００１には光源装置５０４３が接続されており、当該光源装置５０４３によって生成された光が、鏡筒５００３の内部に延設されるライトガイドによって当該鏡筒の先端まで導光され、対物レンズを介して患者５０７１の体腔内の観察対象に向かって照射される。なお、内視鏡５００１は、直視鏡であってもよいし、斜視鏡又は側視鏡であってもよい。
【０５３５】
カメラヘッド５００５の内部には光学系及び撮像素子が設けられており、観察対象からの反射光（観察光）は当該光学系によって当該撮像素子に集光される。当該撮像素子によって観察光が光電変換され、観察光に対応する電気信号、すなわち観察像に対応する画像信号が生成される。当該画像信号は、ＲＡＷデータとしてカメラコントロールユニット（ＣＣＵ：Camera  Control  Unit）５０３９に送信される。なお、カメラヘッド５００５には、その光学系を適宜駆動させることにより、倍率及び焦点距離を調整する機能が搭載される。
【０５３６】
なお、例えば立体視（３Ｄ表示）等に対応するために、カメラヘッド５００５には撮像素子が複数設けられてもよい。この場合、鏡筒５００３の内部には、当該複数の撮像素子のそれぞれに観察光を導光するために、リレー光学系が複数系統設けられる。
【０５３７】
（カートに搭載される各種の装置）
ＣＣＵ５０３９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等によって構成され、内視鏡５００１及び表示装置５０４１の動作を統括的に制御する。具体的には、ＣＣＵ５０３９は、カメラヘッド５００５から受け取った画像信号に対して、例えば同時化処理や色分離処理等（例えば、デモザイク処理等）の、当該画像信号に基づく画像を表示するための各種の画像処理を施す。ＣＣＵ５０３９は、当該画像処理を施した画像信号を表示装置５０４１に提供する。また、ＣＣＵ５０３９は、カメラヘッド５００５に対して制御信号を送信し、その駆動を制御する。当該制御信号には、倍率や焦点距離等、撮像条件に関する情報が含まれ得る。
【０５３８】
表示装置５０４１は、ＣＣＵ５０３９からの制御により、当該ＣＣＵ５０３９によって画像処理が施された画像信号に基づく画像を表示する。内視鏡５００１が例えば４Ｋ（水平画素数３８４０×垂直画素数２１６０）又は８Ｋ（水平画素数７６８０×垂直画素数４３２０）等の高解像度の撮影に対応したものである場合、及び／又は３Ｄ表示に対応したものである場合には、表示装置５０４１としては、それぞれに対応して、高解像度の表示が可能なもの、及び／又は３Ｄ表示可能なものが用いられ得る。４Ｋ又は８Ｋ等の高解像度の撮影に対応したものである場合、表示装置５０４１として５５インチ以上のサイズのものを用いることで一層の没入感が得られる。また、用途に応じて、解像度、サイズが異なる複数の表示装置５０４１が設けられてもよい。
【０５３９】
光源装置５０４３は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、術部を撮影する際の照射光を内視鏡５００１に供給する。
【０５４０】
アーム制御装置５０４５は、例えばＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することにより、所定の制御方式に従って支持アーム装置５０２７のアーム部５０３１の駆動を制御する。
【０５４１】
入力装置５０４７は、内視鏡手術システム５０００に対する入力インタフェースである。ユーザは、入力装置５０４７を介して、内視鏡手術システム５０００に対して各種の情報の入力や指示入力を行うことができる。例えば、ユーザは、入力装置５０４７を介して、患者の身体情報や、手術の術式についての情報等、手術に関する各種の情報を入力する。また、例えば、ユーザは、入力装置５０４７を介して、アーム部５０３１を駆動させる旨の指示や、内視鏡５００１による撮像条件（照射光の種類、倍率及び焦点距離等）を変更する旨の指示、エネルギー処置具５０２１を駆動させる旨の指示等を入力する。
【０５４２】
入力装置５０４７の種類は限定されず、入力装置５０４７は各種の公知の入力装置であってよい。入力装置５０４７としては、例えば、マウス、キーボード、タッチパネル、スイッチ、フットスイッチ５０５７及び／又はレバー等が適用され得る。入力装置５０４７としてタッチパネルが用いられる場合には、当該タッチパネルは表示装置５０４１の表示面上に設けられてもよい。
【０５４３】
あるいは、入力装置５０４７は、例えばメガネ型のウェアラブルデバイスやＨＭＤ（Head  Mounted  Display）等の、ユーザによって装着されるデバイスであり、これらのデバイスによって検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。また、入力装置５０４７は、ユーザの動きを検出可能なカメラを含み、当該カメラによって撮像された映像から検出されるユーザのジェスチャや視線に応じて各種の入力が行われる。更に、入力装置５０４７は、ユーザの声を収音可能なマイクロフォンを含み、当該マイクロフォンを介して音声によって各種の入力が行われる。このように、入力装置５０４７が非接触で各種の情報を入力可能に構成されることにより、特に清潔域に属するユーザ（例えば術者５０６７）が、不潔域に属する機器を非接触で操作することが可能となる。また、ユーザは、所持している術具から手を離すことなく機器を操作することが可能となるため、ユーザの利便性が向上する。
【０５４４】
処置具制御装置５０４９は、組織の焼灼、切開又は血管の封止等のためのエネルギー処置具５０２１の駆動を制御する。気腹装置５０５１は、内視鏡５００１による視野の確保及び術者の作業空間の確保の目的で、患者５０７１の体腔を膨らめるために、気腹チューブ５０１９を介して当該体腔内にガスを送り込む。レコーダ５０５３は、手術に関する各種の情報を記録可能な装置である。プリンタ５０５５は、手術に関する各種の情報を、テキスト、画像又はグラフ等各種の形式で印刷可能な装置である。
【０５４５】
以下、内視鏡手術システム５０００において特に特徴的な構成について、更に詳細に説明する。
【０５４６】
（支持アーム装置）
支持アーム装置５０２７は、基台であるベース部５０２９と、ベース部５０２９から延伸するアーム部５０３１と、を備える。図示する例では、アーム部５０３１は、複数の関節部５０３３ａ、５０３３ｂ、５０３３ｃと、関節部５０３３ｂによって連結される複数のリンク５０３５ａ、５０３５ｂと、から構成されているが、図５２では、簡単のため、アーム部５０３１の構成を簡略化して図示している。実際には、アーム部５０３１が所望の自由度を有するように、関節部５０３３ａ〜５０３３ｃ及びリンク５０３５ａ、５０３５ｂの形状、数及び配置、並びに関節部５０３３ａ〜５０３３ｃの回転軸の方向等が適宜設定され得る。例えば、アーム部５０３１は、好適に、６自由度以上の自由度を有するように構成され得る。これにより、アーム部５０３１の可動範囲内において内視鏡５００１を自由に移動させることが可能になるため、所望の方向から内視鏡５００１の鏡筒５００３を患者５０７１の体腔内に挿入することが可能になる。
【０５４７】
関節部５０３３ａ〜５０３３ｃにはアクチュエータが設けられており、関節部５０３３ａ〜５０３３ｃは当該アクチュエータの駆動により所定の回転軸まわりに回転可能に構成されている。当該アクチュエータの駆動がアーム制御装置５０４５によって制御されることにより、各関節部５０３３ａ〜５０３３ｃの回転角度が制御され、アーム部５０３１の駆動が制御される。これにより、内視鏡５００１の位置及び姿勢の制御が実現され得る。この際、アーム制御装置５０４５は、力制御又は位置制御等、各種の公知の制御方式によってアーム部５０３１の駆動を制御することができる。
【０５４８】
例えば、術者５０６７が、入力装置５０４７（フットスイッチ５０５７を含む）を介して適宜操作入力を行うことにより、当該操作入力に応じてアーム制御装置５０４５によってアーム部５０３１の駆動が適宜制御され、内視鏡５００１の位置及び姿勢が制御されてよい。当該制御により、アーム部５０３１の先端の内視鏡５００１を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、アーム部５０３１は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５０３１は、手術室から離れた場所に設置される入力装置５０４７を介してユーザによって遠隔操作され得る。
【０５４９】
また、力制御が適用される場合には、アーム制御装置５０４５は、ユーザからの外力を受け、その外力にならってスムーズにアーム部５０３１が移動するように、各関節部５０３３ａ〜５０３３ｃのアクチュエータを駆動させる、いわゆるパワーアシスト制御を行ってもよい。これにより、ユーザが直接アーム部５０３１に触れながらアーム部５０３１を移動させる際に、比較的軽い力で当該アーム部５０３１を移動させることができる。従って、より直感的に、より簡易な操作で内視鏡５００１を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０５５０】
ここで、一般的に、内視鏡下手術では、スコピストと呼ばれる医師によって内視鏡５００１が支持されていた。これに対して、支持アーム装置５０２７を用いることにより、人手によらずに内視鏡５００１の位置をより確実に固定することが可能になるため、術部の画像を安定的に得ることができ、手術を円滑に行うことが可能になる。
【０５５１】
なお、アーム制御装置５０４５は必ずしもカート５０３７に設けられなくてもよい。また、アーム制御装置５０４５は必ずしも１つの装置でなくてもよい。例えば、アーム制御装置５０４５は、支持アーム装置５０２７のアーム部５０３１の各関節部５０３３ａ〜５０３３ｃにそれぞれ設けられてもよく、複数のアーム制御装置５０４５が互いに協働することにより、アーム部５０３１の駆動制御が実現されてもよい。
【０５５２】
（光源装置）
光源装置５０４３は、内視鏡５００１に術部を撮影する際の照射光を供給する。光源装置５０４３は、例えばＬＥＤ、レーザ光源又はこれらの組み合わせによって構成される白色光源から構成される。このとき、ＲＧＢレーザ光源の組み合わせにより白色光源が構成される場合には、各色（各波長）の出力強度及び出力タイミングを高精度に制御することができるため、光源装置５０４３において撮像画像のホワイトバランスの調整を行うことができる。また、この場合には、ＲＧＢレーザ光源それぞれからのレーザ光を時分割で観察対象に照射し、その照射タイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御することにより、ＲＧＢそれぞれに対応した画像を時分割で撮像することも可能である。当該方法によれば、当該撮像素子にカラーフィルタを設けなくても、カラー画像を得ることができる。
【０５５３】
また、光源装置５０４３は、出力する光の強度を所定の時間ごとに変更するようにその駆動が制御されてもよい。その光の強度の変更のタイミングに同期してカメラヘッド５００５の撮像素子の駆動を制御して時分割で画像を取得し、その画像を合成することにより、いわゆる黒つぶれ及び白とびのない高ダイナミックレンジの画像を生成することができる。
【０５５４】
また、光源装置５０４３は、特殊光観察に対応した所定の波長帯域の光を供給可能に構成されてもよい。特殊光観察では、例えば、体組織における光の吸収の波長依存性を利用して、通常の観察時における照射光（すなわち、白色光）に比べて狭帯域の光を照射することにより、粘膜表層の血管等の所定の組織を高コントラストで撮影する、いわゆる狭帯域光観察（Narrow  Band  Imaging）が行われる。あるいは、特殊光観察では、励起光を照射することにより発生する蛍光により画像を得る蛍光観察が行われてもよい。蛍光観察では、体組織に励起光を照射し当該体組織からの蛍光を観察するもの（自家蛍光観察）、又はインドシアニングリーン（ICG）等の試薬を体組織に局注するとともに当該体組織にその試薬の蛍光波長に対応した励起光を照射し蛍光像を得るもの等が行われ得る。光源装置５０４３は、このような特殊光観察に対応した狭帯域光及び／又は励起光を供給可能に構成され得る。
【０５５５】
（カメラヘッド及びＣＣＵ）
図５３を参照して、内視鏡５００１のカメラヘッド５００５及びＣＣＵ５０３９の機能についてより詳細に説明する。図５３は、図５２に示すカメラヘッド５００５及びＣＣＵ５０３９の機能構成の一例を示すブロック図である。
【０５５６】
図５３を参照すると、カメラヘッド５００５は、その機能として、レンズユニット５００７と、撮像部５００９と、駆動部５０１１と、通信部５０１３と、カメラヘッド制御部５０１５と、を有する。また、ＣＣＵ５０３９は、その機能として、通信部５０５９と、画像処理部５０６１と、制御部５０６３と、を有する。カメラヘッド５００５とＣＣＵ５０３９とは、伝送ケーブル５０６５によって双方向に通信可能に接続されている。
【０５５７】
まず、カメラヘッド５００５の機能構成について説明する。レンズユニット５００７は、鏡筒５００３との接続部に設けられる光学系である。鏡筒５００３の先端から取り込まれた観察光は、カメラヘッド５００５まで導光され、当該レンズユニット５００７に入射する。レンズユニット５００７は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成される。レンズユニット５００７は、撮像部５００９の撮像素子の受光面上に観察光を集光するように、その光学特性が調整されている。また、ズームレンズ及びフォーカスレンズは、撮像画像の倍率及び焦点の調整のため、その光軸上の位置が移動可能に構成される。
【０５５８】
撮像部５００９は撮像素子によって構成され、レンズユニット５００７の後段に配置される。レンズユニット５００７を通過した観察光は、当該撮像素子の受光面に集光され、光電変換によって、観察像に対応した画像信号が生成される。撮像部５００９によって生成された画像信号は、通信部５０１３に提供される。
【０５５９】
撮像部５００９を構成する撮像素子としては、例えばＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）タイプのイメージセンサであり、Ｂａｙｅｒ配列を有するカラー撮影可能なものが用いられる。なお、当該撮像素子としては、例えば４Ｋ以上の高解像度の画像の撮影に対応可能なものが用いられてもよい。術部の画像が高解像度で得られることにより、術者５０６７は、当該術部の様子をより詳細に把握することができ、手術をより円滑に進行することが可能となる。
【０５６０】
また、撮像部５００９を構成する撮像素子は、３Ｄ表示に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成される。３Ｄ表示が行われることにより、術者５０６７は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、撮像部５００９が多板式で構成される場合には、各撮像素子に対応して、レンズユニット５００７も複数系統設けられる。
【０５６１】
また、撮像部５００９は、必ずしもカメラヘッド５００５に設けられなくてもよい。例えば、撮像部５００９は、鏡筒５００３の内部に、対物レンズの直後に設けられてもよい。
【０５６２】
駆動部５０１１は、アクチュエータによって構成され、カメラヘッド制御部５０１５からの制御により、レンズユニット５００７のズームレンズ及びフォーカスレンズを光軸に沿って所定の距離だけ移動させる。これにより、撮像部５００９による撮像画像の倍率及び焦点が適宜調整され得る。
【０５６３】
通信部５０１３は、ＣＣＵ５０３９との間で各種の情報を送受信するための通信装置によって構成される。通信部５０１３は、撮像部５００９から得た画像信号をＲＡＷデータとして伝送ケーブル５０６５を介してＣＣＵ５０３９に送信する。この際、術部の撮像画像を低レイテンシで表示するために、当該画像信号は光通信によって送信されることが好ましい。手術の際には、術者５０６７が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信が行われる場合には、通信部５０１３には、電気信号を光信号に変換する光電変換モジュールが設けられる。画像信号は当該光電変換モジュールによって光信号に変換された後、伝送ケーブル５０６５を介してＣＣＵ５０３９に送信される。
【０５６４】
また、通信部５０１３は、ＣＣＵ５０３９から、カメラヘッド５００５の駆動を制御するための制御信号を受信する。当該制御信号には、例えば、撮像画像のフレームレートを指定する旨の情報、撮像時の露出値を指定する旨の情報、並びに／又は撮像画像の倍率及び焦点を指定する旨の情報等、撮像条件に関する情報が含まれる。通信部５０１３は、受信した制御信号をカメラヘッド制御部５０１５に提供する。なお、ＣＣＵ５０３９からの制御信号も、光通信によって伝送されてもよい。この場合、通信部５０１３には、光信号を電気信号に変換する光電変換モジュールが設けられ、制御信号は当該光電変換モジュールによって電気信号に変換された後、カメラヘッド制御部５０１５に提供される。
【０５６５】
なお、上記のフレームレートや露出値、倍率、焦点等の撮像条件は、取得された画像信号に基づいてＣＣＵ５０３９の制御部５０６３によって自動的に設定される。つまり、いわゆるＡＥ（Auto  Exposure）機能、ＡＦ（Auto  Focus）機能及びＡＷＢ（Auto  White  Balance）機能が内視鏡５００１に搭載される。
【０５６６】
カメラヘッド制御部５０１５は、通信部５０１３を介して受信したＣＣＵ５０３９からの制御信号に基づいて、カメラヘッド５００５の駆動を制御する。例えば、カメラヘッド制御部５０１５は、撮像画像のフレームレートを指定する旨の情報及び／又は撮像時の露光を指定する旨の情報に基づいて、撮像部５００９の撮像素子の駆動を制御する。また、例えば、カメラヘッド制御部５０１５は、撮像画像の倍率及び焦点を指定する旨の情報に基づいて、駆動部５０１１を介してレンズユニット５００７のズームレンズ及びフォーカスレンズを適宜移動させる。カメラヘッド制御部５０１５は、更に、鏡筒５００３やカメラヘッド５００５を識別するための情報を記憶する機能を備えてもよい。
【０５６７】
なお、レンズユニット５００７や撮像部５００９等の構成を、気密性及び防水性が高い密閉構造内に配置することで、カメラヘッド５００５について、オートクレーブ滅菌処理に対する耐性を持たせることができる。
【０５６８】
次に、ＣＣＵ５０３９の機能構成について説明する。通信部５０５９は、カメラヘッド５００５との間で各種の情報を送受信するための通信装置によって構成される。通信部５０５９は、カメラヘッド５００５から、伝送ケーブル５０６５を介して送信される画像信号を受信する。この際、上記のように、当該画像信号は好適に光通信によって送信され得る。この場合、光通信に対応して、通信部５０５９には、光信号を電気信号に変換する光電変換モジュールが設けられる。通信部５０５９は、電気信号に変換した画像信号を画像処理部５０６１に提供する。
【０５６９】
また、通信部５０５９は、カメラヘッド５００５に対して、カメラヘッド５００５の駆動を制御するための制御信号を送信する。当該制御信号も光通信によって送信されてよい。
【０５７０】
画像処理部５０６１は、カメラヘッド５００５から送信されたＲＡＷデータである画像信号に対して各種の画像処理を施す。当該画像処理としては、例えば現像処理、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が含まれる。また、画像処理部５０６１は、ＡＥ、ＡＦ及びＡＷＢを行うための、画像信号に対する検波処理を行う。
【０５７１】
画像処理部５０６１は、ＣＰＵやＧＰＵ等のプロセッサによって構成され、当該プロセッサが所定のプログラムに従って動作することにより、上述した画像処理や検波処理が行われ得る。なお、画像処理部５０６１が複数のＧＰＵによって構成される場合には、画像処理部５０６１は、画像信号に係る情報を適宜分割し、これら複数のＧＰＵによって並列的に画像処理を行う。
【０５７２】
制御部５０６３は、内視鏡５００１による術部の撮像、及びその撮像画像の表示に関する各種の制御を行う。例えば、制御部５０６３は、カメラヘッド５００５の駆動を制御するための制御信号を生成する。この際、撮像条件がユーザによって入力されている場合には、制御部５０６３は、当該ユーザによる入力に基づいて制御信号を生成する。あるいは、内視鏡５００１にＡＥ機能、ＡＦ機能及びＡＷＢ機能が搭載されている場合には、制御部５０６３は、画像処理部５０６１による検波処理の結果に応じて、最適な露出値、焦点距離及びホワイトバランスを適宜算出し、制御信号を生成する。
【０５７３】
また、制御部５０６３は、画像処理部５０６１によって画像処理が施された画像信号に基づいて、術部の画像を表示装置５０４１に表示させる。この際、制御部５０６３は、各種の画像認識技術を用いて術部画像内における各種の物体を認識する。例えば、制御部５０６３は、術部画像に含まれる物体のエッジの形状や色等を検出することにより、鉗子等の術具、特定の生体部位、出血、エネルギー処置具５０２１使用時のミスト等を認識することができる。制御部５０６３は、表示装置５０４１に術部の画像を表示させる際に、その認識結果を用いて、各種の手術支援情報を当該術部の画像に重畳表示させる。手術支援情報が重畳表示され、術者５０６７に提示されることにより、より安全かつ確実に手術を進めることが可能になる。
【０５７４】
カメラヘッド５００５及びＣＣＵ５０３９を接続する伝送ケーブル５０６５は、電気信号の通信に対応した電気信号ケーブル、光通信に対応した光ファイバ、又はこれらの複合ケーブルである。
【０５７５】
ここで、図示する例では、伝送ケーブル５０６５を用いて有線で通信が行われていたが、カメラヘッド５００５とＣＣＵ５０３９との間の通信は無線で行われてもよい。両者の間の通信が無線で行われる場合には、伝送ケーブル５０６５を手術室内に敷設する必要がなくなるため、手術室内における医療スタッフの移動が当該伝送ケーブル５０６５によって妨げられる事態が解消され得る。
【０５７６】
以上、本開示に係る技術が適用され得る内視鏡手術システム５０００の一例について説明した。なお、ここでは、一例として内視鏡手術システム５０００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、本開示に係る技術は、検査用軟性内視鏡システムや顕微鏡手術システムに適用されてもよい。
【０５７７】
本開示に係る技術は、以上説明した構成のうち、撮像部５００９に好適に適用され得る。具体的には、撮像部５００９として、撮像装置１００（図１）を適用するようにしてもよい。このように、撮像部５００９に本開示に係る技術を適用することにより、検出画像（復元画像）の解像度を制御することができる。
【０５７８】
したがって、例えば、手術作業中は全画素モード等により高解像度で撮像を行い、作業（手術）を行っていないときは、間引きモードやエリア駆動モードにより低解像度で撮像を行うようにすることができる。また、例えば、平常時は間引きモードやエリア駆動モードにより低解像度で撮像を行い、術部に例えば出血等の不審が検知された場合、全画素モードに切り替えて高解像度で撮像を行うようにしてもよい。
【０５７９】
このように、状況や目的等に応じて、適切な動作モードで撮像を行うことにより、撮像の負荷の増大を抑制しながら、復元画像の画質の低減を抑制することができる。したがって、手術をより安全にかつより確実に行うことが可能になる。
【０５８０】
＜顕微鏡手術システム＞
また、本開示に係る技術は、例えば、顕微鏡手術システムに適用されてもよい。
【０５８１】
図５４は、本開示に係る技術が適用され得る顕微鏡手術システム５３００の概略的な構成の一例を示す図である。図５４を参照すると、顕微鏡手術システム５３００は、顕微鏡装置５３０１と、制御装置５３１７と、表示装置５３１９と、から構成される。なお、以下の顕微鏡手術システム５３００についての説明において、「ユーザ」とは、術者及び助手等、顕微鏡手術システム５３００を使用する任意の医療スタッフのことを意味する。
【０５８２】
顕微鏡装置５３０１は、観察対象（患者の術部）を拡大観察するための顕微鏡部５３０３と、顕微鏡部５３０３を先端で支持するアーム部５３０９と、アーム部５３０９の基端を支持するベース部５３１５と、を有する。
【０５８３】
顕微鏡部５３０３は、略円筒形状の筒状部５３０５と、当該筒状部５３０５の内部に設けられる撮像部（図示せず）と、筒状部５３０５の外周の一部領域に設けられる操作部５３０７と、から構成される。顕微鏡部５３０３は、撮像部によって電子的に撮像画像を撮像する、電子撮像式の顕微鏡部（いわゆるビデオ式の顕微鏡部）である。
【０５８４】
筒状部５３０５の下端の開口面には、内部の撮像部を保護するカバーガラスが設けられる。観察対象からの光（以下、観察光ともいう）は、当該カバーガラスを通過して、筒状部５３０５の内部の撮像部に入射する。なお、筒状部５３０５の内部には例えばＬＥＤ（Light  Emitting  Diode）等からなる光源が設けられてもよく、撮像時には、当該カバーガラスを介して、当該光源から観察対象に対して光が照射されてもよい。
【０５８５】
撮像部は、観察光を集光する光学系と、当該光学系が集光した観察光を受光する撮像素子と、から構成される。当該光学系は、ズームレンズ及びフォーカスレンズを含む複数のレンズが組み合わされて構成され、その光学特性は、観察光を撮像素子の受光面上に結像するように調整されている。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した信号、すなわち観察像に対応した画像信号を生成する。当該撮像素子としては、例えばＢａｙｅｒ配列を有するカラー撮影可能なものが用いられる。当該撮像素子は、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ又はＣＣＤ（Charge  Coupled  Device）イメージセンサ等、各種の公知の撮像素子であってよい。撮像素子によって生成された画像信号は、ＲＡＷデータとして制御装置５３１７に送信される。ここで、この画像信号の送信は、好適に光通信によって行われてもよい。手術現場では、術者が撮像画像によって患部の状態を観察しながら手術を行うため、より安全で確実な手術のためには、術部の動画像が可能な限りリアルタイムに表示されることが求められるからである。光通信で画像信号が送信されることにより、低レイテンシで撮像画像を表示することが可能となる。
【０５８６】
なお、撮像部は、その光学系のズームレンズ及びフォーカスレンズを光軸に沿って移動させる駆動機構を有してもよい。当該駆動機構によってズームレンズ及びフォーカスレンズが適宜移動されることにより、撮像画像の拡大倍率及び撮像時の焦点距離が調整され得る。また、撮像部には、ＡＥ（Auto  Exposure）機能やＡＦ（Auto  Focus）機能等、一般的に電子撮像式の顕微鏡部に備えられ得る各種の機能が搭載されてもよい。
【０５８７】
また、撮像部は、１つの撮像素子を有するいわゆる単板式の撮像部として構成されてもよいし、複数の撮像素子を有するいわゆる多板式の撮像部として構成されてもよい。撮像部が多板式で構成される場合には、例えば各撮像素子によってＲＧＢそれぞれに対応する画像信号が生成され、それらが合成されることによりカラー画像が得られてもよい。あるいは、当該撮像部は、立体視（３Ｄ表示）に対応する右目用及び左目用の画像信号をそれぞれ取得するための１対の撮像素子を有するように構成されてもよい。３Ｄ表示が行われることにより、術者は術部における生体組織の奥行きをより正確に把握することが可能になる。なお、当該撮像部が多板式で構成される場合には、各撮像素子に対応して、光学系も複数系統が設けられ得る。
【０５８８】
操作部５３０７は、例えば十字レバー又はスイッチ等によって構成され、ユーザの操作入力を受け付ける入力手段である。例えば、ユーザは、操作部５３０７を介して、観察像の拡大倍率及び観察対象までの焦点距離を変更する旨の指示を入力することができる。当該指示に従って撮像部の駆動機構がズームレンズ及びフォーカスレンズを適宜移動させることにより、拡大倍率及び焦点距離が調整され得る。また、例えば、ユーザは、操作部５３０７を介して、アーム部５３０９の動作モード（後述するオールフリーモード及び固定モード）を切り替える旨の指示を入力することができる。なお、ユーザが顕微鏡部５３０３を移動させようとする場合には、当該ユーザは筒状部５３０５を握るように把持した状態で当該顕微鏡部５３０３を移動させる様態が想定される。従って、操作部５３０７は、ユーザが筒状部５３０５を移動させている間でも操作可能なように、ユーザが筒状部５３０５を握った状態で指によって容易に操作しやすい位置に設けられることが好ましい。
【０５８９】
アーム部５３０９は、複数のリンク（第１リンク５３１３ａ〜第６リンク５３１３ｆ）が、複数の関節部（第１関節部５３１１ａ〜第６関節部５３１１ｆ）によって互いに回動可能に連結されることによって構成される。
【０５９０】
第１関節部５３１１ａは、略円柱形状を有し、その先端（下端）で、顕微鏡部５３０３の筒状部５３０５の上端を、当該筒状部５３０５の中心軸と平行な回転軸（第１軸Ｏ１）まわりに回動可能に支持する。ここで、第１関節部５３１１ａは、第１軸Ｏ１が顕微鏡部５３０３の撮像部の光軸と一致するように構成され得る。これにより、第１軸Ｏ１まわりに顕微鏡部５３０３を回動させることにより、撮像画像を回転させるように視野を変更することが可能になる。
【０５９１】
第１リンク５３１３ａは、先端で第１関節部５３１１ａを固定的に支持する。具体的には、第１リンク５３１３ａは略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第１軸Ｏ１と直交する方向に延伸しつつ、当該一辺の端部が第１関節部５３１１ａの外周の上端部に当接するように、第１関節部５３１１ａに接続される。第１リンク５３１３ａの略Ｌ字形状の基端側の他辺の端部に第２関節部５３１１ｂが接続される。
【０５９２】
第２関節部５３１１ｂは、略円柱形状を有し、その先端で、第１リンク５３１３ａの基端を、第１軸Ｏ１と直交する回転軸（第２軸Ｏ２）まわりに回動可能に支持する。第２関節部５３１１ｂの基端には、第２リンク５３１３ｂの先端が固定的に接続される。
【０５９３】
第２リンク５３１３ｂは、略Ｌ字形状を有する棒状の部材であり、その先端側の一辺が第２軸Ｏ２と直交する方向に延伸しつつ、当該一辺の端部が第２関節部５３１１ｂの基端に固定的に接続される。第２リンク５３１３ｂの略Ｌ字形状の基端側の他辺には、第３関節部５３１１ｃが接続される。
【０５９４】
第３関節部５３１１ｃは、略円柱形状を有し、その先端で、第２リンク５３１３ｂの基端を、第１軸Ｏ１及び第２軸Ｏ２と互いに直交する回転軸（第３軸Ｏ３）まわりに回動可能に支持する。第３関節部５３１１ｃの基端には、第３リンク５３１３ｃの先端が固定的に接続される。第２軸Ｏ２及び第３軸Ｏ３まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、水平面内での顕微鏡部５３０３の位置を変更するように、当該顕微鏡部５３０３を移動させることができる。つまり、第２軸Ｏ２及び第３軸Ｏ３まわりの回転を制御することにより、撮像画像の視野を平面内で移動させることが可能になる。
【０５９５】
第３リンク５３１３ｃは、その先端側が略円柱形状を有するように構成されており、当該円柱形状の先端に、第３関節部５３１１ｃの基端が、両者が略同一の中心軸を有するように、固定的に接続される。第３リンク５３１３ｃの基端側は角柱形状を有し、その端部に第４関節部５３１１ｄが接続される。
【０５９６】
第４関節部５３１１ｄは、略円柱形状を有し、その先端で、第３リンク５３１３ｃの基端を、第３軸Ｏ３と直交する回転軸（第４軸Ｏ４）まわりに回動可能に支持する。第４関節部５３１１ｄの基端には、第４リンク５３１３ｄの先端が固定的に接続される。
【０５９７】
第４リンク５３１３ｄは、略直線状に延伸する棒状の部材であり、第４軸Ｏ４と直交するように延伸しつつ、その先端の端部が第４関節部５３１１ｄの略円柱形状の側面に当接するように、第４関節部５３１１ｄに固定的に接続される。第４リンク５３１３ｄの基端には、第５関節部５３１１ｅが接続される。
【０５９８】
第５関節部５３１１ｅは、略円柱形状を有し、その先端側で、第４リンク５３１３ｄの基端を、第４軸Ｏ４と平行な回転軸（第５軸Ｏ５）まわりに回動可能に支持する。第５関節部５３１１ｅの基端には、第５リンク５３１３ｅの先端が固定的に接続される。第４軸Ｏ４及び第５軸Ｏ５は、顕微鏡部５３０３を上下方向に移動させ得る回転軸である。第４軸Ｏ４及び第５軸Ｏ５まわりに顕微鏡部５３０３を含む先端側の構成を回動させることにより、顕微鏡部５３０３の高さ、すなわち顕微鏡部５３０３と観察対象との距離を調整することができる。
【０５９９】
第５リンク５３１３ｅは、一辺が鉛直方向に延伸するとともに他辺が水平方向に延伸する略Ｌ字形状を有する第１の部材と、当該第１の部材の水平方向に延伸する部位から鉛直下向きに延伸する棒状の第２の部材と、が組み合わされて構成される。第５リンク５３１３ｅの第１の部材の鉛直方向に延伸する部位の上端近傍に、第５関節部５３１１ｅの基端が固定的に接続される。第５リンク５３１３ｅの第２の部材の基端（下端）には、第６関節部５３１１ｆが接続される。
【０６００】
第６関節部５３１１ｆは、略円柱形状を有し、その先端側で、第５リンク５３１３ｅの基端を、鉛直方向と平行な回転軸（第６軸Ｏ６）まわりに回動可能に支持する。第６関節部５３１１ｆの基端には、第６リンク５３１３ｆの先端が固定的に接続される。
【０６０１】
第６リンク５３１３ｆは鉛直方向に延伸する棒状の部材であり、その基端はベース部５３１５の上面に固定的に接続される。
【０６０２】
第１関節部５３１１ａ〜第６関節部５３１１ｆの回転可能範囲は、顕微鏡部５３０３が所望の動きを可能であるように適宜設定されている。これにより、以上説明した構成を有するアーム部５３０９においては、顕微鏡部５３０３の動きに関して、並進３自由度及び回転３自由度の計６自由度の動きが実現され得る。このように、顕微鏡部５３０３の動きに関して６自由度が実現されるようにアーム部５３０９を構成することにより、アーム部５３０９の可動範囲内において顕微鏡部５３０３の位置及び姿勢を自由に制御することが可能になる。従って、あらゆる角度から術部を観察することが可能となり、手術をより円滑に実行することができる。
【０６０３】
なお、図示するアーム部５３０９の構成はあくまで一例であり、アーム部５３０９を構成するリンクの数及び形状（長さ）、並びに関節部の数、配置位置及び回転軸の方向等は、所望の自由度が実現され得るように適宜設計されてよい。例えば、上述したように、顕微鏡部５３０３を自由に動かすためには、アーム部５３０９は６自由度を有するように構成されることが好ましいが、アーム部５３０９はより大きな自由度（すなわち、冗長自由度）を有するように構成されてもよい。冗長自由度が存在する場合には、アーム部５３０９においては、顕微鏡部５３０３の位置及び姿勢が固定された状態で、アーム部５３０９の姿勢を変更することが可能となる。従って、例えば表示装置５３１９を見る術者の視界にアーム部５３０９が干渉しないように当該アーム部５３０９の姿勢を制御する等、術者にとってより利便性の高い制御が実現され得る。
【０６０４】
ここで、第１関節部５３１１ａ〜第６関節部５３１１ｆには、モータ等の駆動機構、及び各関節部における回転角度を検出するエンコーダ等が搭載されたアクチュエータが設けられ得る。そして、第１関節部５３１１ａ〜第６関節部５３１１ｆに設けられる各アクチュエータの駆動が制御装置５３１７によって適宜制御されることにより、アーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が制御され得る。具体的には、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、アーム部５３０９の現在の姿勢、並びに顕微鏡部５３０３の現在の位置及び姿勢を把握することができる。制御装置５３１７は、把握したこれらの情報を用いて、ユーザからの操作入力に応じた顕微鏡部５３０３の移動を実現するような各関節部に対する制御値（例えば、回転角度又は発生トルク等）を算出し、当該制御値に応じて各関節部の駆動機構を駆動させる。なお、この際、制御装置５３１７によるアーム部５３０９の制御方式は限定されず、力制御又は位置制御等、各種の公知の制御方式が適用されてよい。
【０６０５】
例えば、術者が、図示しない入力装置を介して適宜操作入力を行うことにより、当該操作入力に応じて制御装置５３１７によってアーム部５３０９の駆動が適宜制御され、顕微鏡部５３０３の位置及び姿勢が制御されてよい。当該制御により、顕微鏡部５３０３を任意の位置から任意の位置まで移動させた後、その移動後の位置で固定的に支持することができる。なお、当該入力装置としては、術者の利便性を考慮して、例えばフットスイッチ等、術者が手に術具を有していても操作可能なものが適用されることが好ましい。また、ウェアラブルデバイスや手術室内に設けられるカメラを用いたジェスチャ検出や視線検出に基づいて、非接触で操作入力が行われてもよい。これにより、清潔域に属するユーザであっても、不潔域に属する機器をより自由度高く操作することが可能になる。あるいは、アーム部５３０９は、いわゆるマスタースレイブ方式で操作されてもよい。この場合、アーム部５３０９は、手術室から離れた場所に設置される入力装置を介してユーザによって遠隔操作され得る。
【０６０６】
また、力制御が適用される場合には、ユーザからの外力を受け、その外力にならってスムーズにアーム部５３０９が移動するように第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータが駆動される、いわゆるパワーアシスト制御が行われてもよい。これにより、ユーザが、顕微鏡部５３０３を把持して直接その位置を移動させようとする際に、比較的軽い力で顕微鏡部５３０３を移動させることができる。従って、より直感的に、より簡易な操作で顕微鏡部５３０３を移動させることが可能となり、ユーザの利便性を向上させることができる。
【０６０７】
また、アーム部５３０９は、ピボット動作をするようにその駆動が制御されてもよい。ここで、ピボット動作とは、顕微鏡部５３０３の光軸が空間上の所定の点（以下、ピボット点という）を常に向くように、顕微鏡部５３０３を移動させる動作である。ピボット動作によれば、同一の観察位置を様々な方向から観察することが可能となるため、より詳細な患部の観察が可能となる。なお、顕微鏡部５３０３が、その焦点距離を調整不可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が固定された状態でピボット動作が行われることが好ましい。この場合には、顕微鏡部５３０３とピボット点との距離を、顕微鏡部５３０３の固定的な焦点距離に調整しておけばよい。これにより、顕微鏡部５３０３は、ピボット点を中心とする焦点距離に対応する半径を有する半球面（図５４に概略的に図示する）上を移動することとなり、観察方向を変更しても鮮明な撮像画像が得られることとなる。一方、顕微鏡部５３０３が、その焦点距離を調整可能に構成される場合には、顕微鏡部５３０３とピボット点との距離が可変な状態でピボット動作が行われてもよい。この場合には、例えば、制御装置５３１７は、エンコーダによって検出された各関節部の回転角度についての情報に基づいて、顕微鏡部５３０３とピボット点との距離を算出し、その算出結果に基づいて顕微鏡部５３０３の焦点距離を自動で調整してもよい。あるいは、顕微鏡部５３０３にＡＦ機能が設けられる場合であれば、ピボット動作によって顕微鏡部５３０３とピボット点との距離が変化するごとに、当該ＡＦ機能によって自動で焦点距離の調整が行われてもよい。
【０６０８】
また、第１関節部５３１１ａ〜第６関節部５３１１ｆには、その回転を拘束するブレーキが設けられてもよい。当該ブレーキの動作は、制御装置５３１７によって制御され得る。例えば、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、制御装置５３１７は各関節部のブレーキを作動させる。これにより、アクチュエータを駆動させなくてもアーム部５３０９の姿勢、すなわち顕微鏡部５３０３の位置及び姿勢が固定され得るため、消費電力を低減することができる。顕微鏡部５３０３の位置及び姿勢を移動したい場合には、制御装置５３１７は、各関節部のブレーキを解除し、所定の制御方式に従ってアクチュエータを駆動させればよい。
【０６０９】
このようなブレーキの動作は、上述した操作部５３０７を介したユーザによる操作入力に応じて行われ得る。ユーザは、顕微鏡部５３０３の位置及び姿勢を移動したい場合には、操作部５３０７を操作し、各関節部のブレーキを解除させる。これにより、アーム部５３０９の動作モードが、各関節部における回転を自由に行えるモード（オールフリーモード）に移行する。また、ユーザは、顕微鏡部５３０３の位置及び姿勢を固定したい場合には、操作部５３０７を操作し、各関節部のブレーキを作動させる。これにより、アーム部５３０９の動作モードが、各関節部における回転が拘束されたモード（固定モード）に移行する。
【０６１０】
制御装置５３１７は、顕微鏡装置５３０１及び表示装置５３１９の動作を制御することにより、顕微鏡手術システム５３００の動作を統括的に制御する。例えば、制御装置５３１７は、所定の制御方式に従って第１関節部５３１１ａ〜第６関節部５３１１ｆのアクチュエータを動作させることにより、アーム部５３０９の駆動を制御する。また、例えば、制御装置５３１７は、第１関節部５３１１ａ〜第６関節部５３１１ｆのブレーキの動作を制御することにより、アーム部５３０９の動作モードを変更する。また、例えば、制御装置５３１７は、顕微鏡装置５３０１の顕微鏡部５３０３の撮像部によって取得された画像信号に各種の信号処理を施すことにより、表示用の画像データを生成するとともに、当該画像データを表示装置５３１９に表示させる。当該信号処理では、例えば同時化処理や色分離処理等（例えば、デモザイク処理等）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）及び／又は拡大処理（すなわち、電子ズーム処理）等、各種の公知の信号処理が行われてよい。
【０６１１】
なお、制御装置５３１７と顕微鏡部５３０３との通信、及び制御装置５３１７と第１関節部５３１１ａ〜第６関節部５３１１ｆとの通信は、有線通信であってもよいし無線通信であってもよい。有線通信の場合には、電気信号による通信が行われてもよいし、光通信が行われてもよい。この場合、有線通信に用いられる伝送用のケーブルは、その通信方式に応じて電気信号ケーブル、光ファイバ、又はこれらの複合ケーブルとして構成され得る。一方、無線通信の場合には、手術室内に伝送ケーブルを敷設する必要がなくなるため、当該伝送ケーブルによって医療スタッフの手術室内の移動が妨げられる事態が解消され得る。
【０６１２】
制御装置５３１７は、ＣＰＵ（Central  Processing  Unit）、ＧＰＵ（Graphics  Processing  Unit）等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。制御装置５３１７のプロセッサが所定のプログラムに従って動作することにより、上述した各種の機能が実現され得る。なお、図示する例では、制御装置５３１７は、顕微鏡装置５３０１と別個の装置として設けられているが、制御装置５３１７は、顕微鏡装置５３０１のベース部５３１５の内部に設置され、顕微鏡装置５３０１と一体的に構成されてもよい。あるいは、制御装置５３１７は、複数の装置によって構成されてもよい。例えば、顕微鏡部５３０３や、アーム部５３０９の第１関節部５３１１ａ〜第６関節部５３１１ｆにそれぞれマイコンや制御基板等が配設され、これらが互いに通信可能に接続されることにより、制御装置５３１７と同様の機能が実現されてもよい。
【０６１３】
表示装置５３１９は、手術室内に設けられ、制御装置５３１７からの制御により、当該制御装置５３１７によって生成された画像データに対応する画像を表示する。つまり、表示装置５３１９には、顕微鏡部５３０３によって撮影された術部の画像が表示される。なお、表示装置５３１９は、術部の画像に代えて、又は術部の画像とともに、例えば患者の身体情報や手術の術式についての情報等、手術に関する各種の情報を表示してもよい。この場合、表示装置５３１９の表示は、ユーザによる操作によって適宜切り替えられてよい。あるいは、表示装置５３１９は複数設けられてもよく、複数の表示装置５３１９のそれぞれに、術部の画像や手術に関する各種の情報が、それぞれ表示されてもよい。なお、表示装置５３１９としては、液晶ディスプレイ装置又はＥＬ（Electro  Luminescence）ディスプレイ装置等、各種の公知の表示装置が適用されてよい。
【０６１４】
図５５は、図５４に示す顕微鏡手術システム５３００を用いた手術の様子を示す図である。図５５では、術者５３２１が、顕微鏡手術システム５３００を用いて、患者ベッド５３２３上の患者５３２５に対して手術を行っている様子を概略的に示している。なお、図５５では、簡単のため、顕微鏡手術システム５３００の構成のうち制御装置５３１７の図示を省略するとともに、顕微鏡装置５３０１を簡略化して図示している。
【０６１５】
図５５に示すように、手術時には、顕微鏡手術システム５３００を用いて、顕微鏡装置５３０１によって撮影された術部の画像が、手術室の壁面に設置される表示装置５３１９に拡大表示される。表示装置５３１９は、術者５３２１と対向する位置に設置されており、術者５３２１は、表示装置５３１９に映し出された映像によって術部の様子を観察しながら、例えば患部の切除等、当該術部に対して各種の処置を行う。
【０６１６】
以上、本開示に係る技術が適用され得る顕微鏡手術システム５３００の一例について説明した。なお、ここでは、一例として顕微鏡手術システム５３００について説明したが、本開示に係る技術が適用され得るシステムはかかる例に限定されない。例えば、顕微鏡装置５３０１は、その先端に顕微鏡部５３０３に代えて他の観察装置や他の術具を支持する、支持アーム装置としても機能し得る。当該他の観察装置としては、例えば内視鏡が適用され得る。また、当該他の術具としては、鉗子、攝子、気腹のための気腹チューブ、又は焼灼によって組織の切開や血管の封止を行うエネルギー処置具等が適用され得る。これらの観察装置や術具を支持アーム装置によって支持することにより、医療スタッフが人手で支持する場合に比べて、より安定的に位置を固定することが可能となるとともに、医療スタッフの負担を軽減することが可能となる。本開示に係る技術は、このような顕微鏡部以外の構成を支持する支持アーム装置に適用されてもよい。
【０６１７】
本開示に係る技術は、以上説明した構成のうち、顕微鏡部５３０３の撮像部に好適に適用され得る。具体的には、顕微鏡部５３０３の撮像部として、図１の撮像装置１００を適用するようにしてもよい。このように、顕微鏡部５３０３の撮像部に本開示に係る技術を適用することにより、検出画像（復元画像）の解像度を制御することができる。
【０６１８】
したがって、例えば、手術作業中は全画素モード等により高解像度で撮像を行い、作業（手術）を行っていないときは、間引きモードやエリア駆動モードにより低解像度で撮像を行うようにすることができる。また、例えば、平常時は間引きモードやエリア駆動モードにより低解像度で撮像を行い、術部に例えば出血等の不審が検知された場合、全画素モードに切り替えて高解像度で撮像を行うようにしてもよい。
【０６１９】
このように、状況や目的等に応じて、適切な動作モードで撮像を行うことにより、撮像の負荷の増大を抑制しながら、復元画像の画質の低減を抑制することができる。したがって、手術をより安全にかつより確実に行うことが可能になる。
【０６２０】
＜体内情報取得装置（カプセル内視鏡）＞
また、本開示に係る技術は、例えば、カプセル型内視鏡を用いた患者の体内情報取得システムに適用されてもよい。
【０６２１】
図５６は、本開示に係る技術が適用され得る体内情報取得システム５４００の概略的な構成の一例を示す図である。図５６を参照すると、体内情報取得システム５４００は、カプセル型内視鏡５４０１と、体内情報取得システム５４００の動作を統括的に制御する外部制御装置５４２３と、から構成される。検査時には、カプセル型内視鏡５４０１が患者によって飲み込まれる。カプセル型内視鏡５４０１は、撮像機能及び無線通信機能を有し、患者から自然排出されるまでの間、胃や腸等の臓器の内部を蠕動運動等によって移動しつつ、当該臓器の内部の画像（以下、体内画像ともいう）を所定の間隔で順次撮像し、その体内画像についての情報を体外の外部制御装置５４２３に順次無線送信する。外部制御装置５４２３は、受信した体内画像についての情報に基づいて、表示装置（図示せず）に当該体内画像を表示するための画像データを生成する。体内情報取得システム５４００では、このようにして、カプセル型内視鏡５４０１が飲み込まれてから排出されるまでの間、患者の体内の様子を撮像した画像を随時得ることができる。
【０６２２】
カプセル型内視鏡５４０１と外部制御装置５４２３の構成及び機能についてより詳細に説明する。図示するように、カプセル型内視鏡５４０１は、カプセル型の筐体５４０３内に、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、給電部５４１５、電源部５４１７、状態検出部５４１９及び制御部５４２１の機能が搭載されて構成される。
【０６２３】
光源部５４０５は、例えばＬＥＤ（light  emitting  diode）等の光源から構成され、撮像部５４０７の撮像視野に対して光を照射する。
【０６２４】
撮像部５４０７は、撮像素子、及び当該撮像素子の前段に設けられる複数のレンズからなる光学系から構成される。観察対象である体組織に照射された光の反射光（以下、観察光という）は、当該光学系によって集光され、当該撮像素子に入射する。当該撮像素子は、観察光を受光して光電変換することにより、観察光に対応した電気信号、すなわち観察像に対応した画像信号を生成する。撮像部５４０７によって生成された画像信号は、画像処理部５４０９に提供される。なお、撮像部５４０７の撮像素子としては、ＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）イメージセンサ又はＣＣＤ（Charge  Coupled  Device）イメージセンサ等、各種の公知の撮像素子が用いられてよい。
【０６２５】
画像処理部５４０９は、ＣＰＵ（Central  Processing  Unit）やＧＰＵ（Graphics  Processing  Unit）等のプロセッサによって構成され、撮像部５４０７によって生成された画像信号に対して各種の信号処理を行う。当該信号処理は、画像信号を外部制御装置５４２３に伝送するための最小限の処理（例えば、画像データの圧縮、フレームレートの変換、データレートの変換及び／又はフォーマットの変換等）であってよい。画像処理部５４０９が必要最小限の処理のみを行うように構成されることにより、当該画像処理部５４０９を、より小型、より低消費電力で実現することができるため、カプセル型内視鏡５４０１に好適である。ただし、筐体５４０３内のスペースや消費電力に余裕がある場合であれば、画像処理部５４０９において、更なる信号処理（例えば、ノイズ除去処理や他の高画質化処理等）が行われてもよい。画像処理部５４０９は、信号処理を施した画像信号を、ＲＡＷデータとして無線通信部５４１１に提供する。なお、画像処理部５４０９は、状態検出部５４１９によってカプセル型内視鏡５４０１の状態（動きや姿勢等）についての情報が取得されている場合には、当該情報と紐付けて、画像信号を無線通信部５４１１に提供してもよい。これにより、画像が撮像された体内における位置や画像の撮像方向等と、撮像画像とを関連付けることができる。
【０６２６】
無線通信部５４１１は、外部制御装置５４２３との間で各種の情報を送受信可能な通信装置によって構成される。当該通信装置は、アンテナ５４１３と、信号の送受信のための変調処理等を行う処理回路等から構成される。無線通信部５４１１は、画像処理部５４０９によって信号処理が施された画像信号に対して変調処理等の所定の処理を行い、その画像信号を、アンテナ５４１３を介して外部制御装置５４２３に送信する。また、無線通信部５４１１は、外部制御装置５４２３から、カプセル型内視鏡５４０１の駆動制御に関する制御信号を、アンテナ５４１３を介して受信する。無線通信部５４１１は、受信した制御信号を制御部５４２１に提供する。
【０６２７】
給電部５４１５は、受電用のアンテナコイル、当該アンテナコイルに発生した電流から電力を再生する電力再生回路、及び昇圧回路等から構成される。給電部５４１５では、いわゆる非接触充電の原理を用いて電力が生成される。具体的には、給電部５４１５のアンテナコイルに対して外部から所定の周波数の磁界（電磁波）が与えられることにより、当該アンテナコイルに誘導起電力が発生する。当該電磁波は、例えば外部制御装置５４２３からアンテナ５４２５を介して送信される搬送波であってよい。当該誘導起電力から電力再生回路によって電力が再生され、昇圧回路においてその電位が適宜調整されることにより、蓄電用の電力が生成される。給電部５４１５によって生成された電力は、電源部５４１７に蓄電される。
【０６２８】
電源部５４１７は、二次電池によって構成され、給電部５４１５によって生成された電力を蓄電する。図５６では、図面が煩雑になることを避けるために、電源部５４１７からの電力の供給先を示す矢印等の図示を省略しているが、電源部５４１７に蓄電された電力は、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、状態検出部５４１９及び制御部５４２１に供給され、これらの駆動に用いられ得る。
【０６２９】
状態検出部５４１９は、加速度センサ及び／又はジャイロセンサ等の、カプセル型内視鏡５４０１の状態を検出するためのセンサから構成される。状態検出部５４１９は、当該センサによる検出結果から、カプセル型内視鏡５４０１の状態についての情報を取得することができる。状態検出部５４１９は、取得したカプセル型内視鏡５４０１の状態についての情報を、画像処理部５４０９に提供する。画像処理部５４０９では、上述したように、当該カプセル型内視鏡５４０１の状態についての情報が、画像信号と紐付けられ得る。
【０６３０】
制御部５４２１は、ＣＰＵ等のプロセッサによって構成され、所定のプログラムに従って動作することによりカプセル型内視鏡５４０１の動作を統括的に制御する。制御部５４２１は、光源部５４０５、撮像部５４０７、画像処理部５４０９、無線通信部５４１１、給電部５４１５、電源部５４１７及び状態検出部５４１９の駆動を、外部制御装置５４２３から送信される制御信号に従って適宜制御することにより、以上説明したような各部における機能を実現させる。
【０６３１】
外部制御装置５４２３は、ＣＰＵ、ＧＰＵ等のプロセッサ、又はプロセッサとメモリ等の記憶素子が混載されたマイコン若しくは制御基板等であり得る。外部制御装置５４２３は、アンテナ５４２５を有し、当該アンテナ５４２５を介して、カプセル型内視鏡５４０１との間で各種の情報を送受信可能に構成される。具体的には、外部制御装置５４２３は、カプセル型内視鏡５４０１の制御部５４２１に対して制御信号を送信することにより、カプセル型内視鏡５４０１の動作を制御する。例えば、外部制御装置５４２３からの制御信号により、光源部５４０５における観察対象に対する光の照射条件が変更され得る。また、外部制御装置５４２３からの制御信号により、撮像条件（例えば、撮像部５４０７におけるフレームレート、露出値等）が変更され得る。また、外部制御装置５４２３からの制御信号により、画像処理部５４０９における処理の内容や、無線通信部５４１１が画像信号を送信する条件（例えば、送信間隔、送信画像数等）が変更されてもよい。
【０６３２】
また、外部制御装置５４２３は、カプセル型内視鏡５４０１から送信される画像信号に対して、各種の画像処理を施し、撮像された体内画像を表示装置に表示するための画像データを生成する。当該画像処理としては、例えば同時化処理や色分離処理等（例えば、デモザイク処理等）、高画質化処理（帯域強調処理、超解像処理、ＮＲ（Noise  reduction）処理及び／又は手ブレ補正処理等）、並びに／又は拡大処理（電子ズーム処理）等、各種の公知の信号処理が行われてよい。外部制御装置５４２３は、表示装置（図示せず）の駆動を制御して、生成した画像データに基づいて撮像された体内画像を表示させる。あるいは、外部制御装置５４２３は、生成した画像データを記録装置（図示せず）に記録させたり、印刷装置（図示せず）に印刷出力させてもよい。
【０６３３】
本開示に係る技術は、以上説明した構成のうち、撮像部５４０７に好適に適用され得る。具体的には、撮像部５４０７として、撮像装置１００（図１）を適用するようにしてもよい。このように、撮像部５４０７に本開示に係る技術を適用することにより、検出画像（復元画像）の解像度を制御することができる。
【０６３４】
したがって、例えば、患部付近は全画素モード等により高解像度で撮像を行い、それ以外の部分は、間引きモードやエリア駆動モードにより低解像度で撮像を行うようにすることができる。
【０６３５】
このように、状況や目的等に応じて、適切な動作モードで撮像を行うことにより、撮像の負荷の増大を抑制しながら、復元画像の画質の低減を抑制することができる。したがって、より鮮明な術部画像を得ることができるため、検査の精度が向上する。また、それとともに、負荷（消費電力）の増大を抑制するため、バッテリを低容量化することができる。したがって、カプセル型内視鏡５４０１をより小型化できるため、患者の負担を更に軽減することができる。
【０６３６】
＜フローサイトメトリー＞
また、本開示に係る技術は、例えば、フローサイトメトリーに適用されてもよい。
【０６３７】
フローサイトメトリー（flow cytometry）とは、微細な粒子を流体中に分散させ、その流体を細く流して、個々の粒子を光学的に分析する手法のことである。例えば、図５７に示されるように、微細な管等よりなる流路６００１に流体を流し、その流体に含まれる微粒子６０１１（例えば細胞等）にレーザ光を照射して励起させながら、撮像部６００２により、その蛍光を撮像させ、検出させる。このようにすることにより、流体中の微粒子６０１１を検出することができる。
【０６３８】
微粒子を選択的に回収することもできる。フローサイトメトリーに用いられる装置をフローサイトメーター（flow cytometers）と称する。分取する装置をソーターと呼び、分取機能を持たない装置をアナライザと呼ぶ。主に細胞を個々に観察する際に用いられる。
【０６３９】
一定波長の光線（通常はレーザー光）を流体に当て、通常は、光線から僅かにずれた方向（光線と同軸上では光源からの強い光によって検出器が飽和してしまう為）の前方散乱（FSC（Forward Scatter））と、光線と直角の方向の側方散乱（SSC（Side Scatter））を検出する。また微粒子を蛍光物質で標識し、レーザ光によって生じた蛍光を検出する蛍光検出器が一つかそれ以上備えられている装置が多い。これらの検出器によって流体中の粒子が影響を及ぼした光、および蛍光を検出する。これらの検出された光の集合から粒子の物理・化学的性質を推定することができる。細胞の場合、FSCからは細胞の大きさが、SSCからは細胞内の複雑さ（核の形、細胞内小器官、膜構造などに由来）を分析できる。各検出器の組み合わせ、蛍光物質や免疫染色により非常に多様な分析が可能である。
【０６４０】
このような撮像部６００２として、撮像装置１００（図１）を適用するようにしてもよい。このように、撮像部５００９に本開示に係る技術を適用することにより、検出画像（復元画像）の解像度を制御することができる。
【０６４１】
なお、撮像レンズを有する撮像装置の場合、レンズの収差等により、光の波長レベルのものは観察が困難になるおそれがある。つまり、このフローサイトメトリーのように、被写体が極端に微細な場合、正しい観察を行うことが困難になるおそれがある。
【０６４２】
これに対して撮像装置１００の撮像素子１２１は、撮像レンズを有していないので、収差が無く、微粒子の観察も十分に可能であり、好適である。
【０６４３】
なお、このフローサイトメトリーのように、被写体が極端に微細な場合、被写体距離も極端に短くなるため、画素毎の入射角指向性を設定しなくても、画素間で検出信号の強さの違いが生じ、被写体の撮像が可能になる。したがって、画素毎の入射角指向性に変化をつけないようにしてもよい。例えば、図５８に示されるように、微粒子の観察に用いるエリア３１２−３１において、各画素の入射角指向性が、全て、画素領域３１１に対して垂直となる（つまり、入射角指向性の偏りがない）ようにしてもよい。
【０６４４】
なお、このようなエリア３１２が、画素領域３１１に単数設けられるようにしてもよいし、複数設けられるようにしてもよい。つまり画素領域３１１に設けられる全てのエリア３１２を、このような入射角指向性の偏りがないエリアとしてもよいし、画素領域３１１に設けられる一部のエリア３１２を、このような入射角指向性の偏りがないエリアとしてもよい。例えば、図５８において、エリア３１２−３２やエリア３１２−３３もエリア３１２−３１と同様にしてもよいし、同様にしなくてもよい。
【０６４５】
＜７．第７の実施の形態＞
＜車載システム＞
また、本開示に係る技術は、例えば、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
【０６４６】
図５９は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図５９に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller  Area  Network）、ＬＩＮ（Local  Interconnect  Network）、ＬＡＮ（Local  Area  Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
【０６４７】
各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図５９では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
【０６４８】
駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock  Brake  System）又はＥＳＣ（Electronic  Stability  Control）等の制御装置としての機能を有してもよい。
【０６４９】
駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
【０６５０】
ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
【０６５１】
バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
【０６５２】
車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time  Of  Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
【０６５３】
環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light  Detection  and  Ranging、Laser  Imaging  Detection  and  Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
【０６５４】
ここで、図６０は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
【０６５５】
なお、図６０には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
【０６５６】
車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０〜７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
【０６５７】
図５９に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
【０６５８】
また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
【０６５９】
車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
【０６６０】
統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal  Digital  Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
【０６６１】
記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read  Only  Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random  Access  Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard  Disc  Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
【０６６２】
汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global  System  of  Mobile  communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long  Term  Evolution）若しくはＬＴＥ−Ａ（LTE−Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ−Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer  To  Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine  Type  Communication）端末）と接続してもよい。
【０６６３】
専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless  Access  in  Vehicle  Environment）、ＤＳＲＣ（Dedicated  Short  Range  Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle  to  Vehicle）通信、路車間（Vehicle  to  Infrastructure）通信、車両と家との間（Vehicle  to  Home）の通信及び歩車間（Vehicle  to  Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
【０６６４】
測位部７６４０は、例えば、ＧＮＳＳ（Global  Navigation  Satellite  System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global  Positioning  System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
【０６６５】
ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
【０６６６】
車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near  Field  Communication）又はＷＵＳＢ（Wireless  USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal  Serial  Bus）、ＨＤＭＩ（登録商標）（High-Definition  Multimedia  Interface）、又はＭＨＬ（Mobile  High-definition  Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
【０６６７】
車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
【０６６８】
統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced  Driver  Assistance  System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
【０６６９】
マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
【０６７０】
音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図５９の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented  Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
【０６７１】
なお、図５９に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
【０６７２】
以上説明した車両制御システム７０００において、図１を用いて説明した本実施形態に係る撮像装置１００は、図５９に示した応用例の撮像部７４１０に適用することができる。このように、撮像部７４１０に本開示に係る技術を適用することにより、検出画像（復元画像）の解像度を制御することができる。
【０６７３】
したがって、例えば、車両の周囲に、人や物等の障害物、前方車両、後続車両、対向車、信号や交通標識、道路上の白線や文字等、注目すべき対象（注目対象）が存在する場合、全画素モード等により高解像度で撮像を行い、これらのような注目対象が存在しない場合、間引きモードやエリア駆動モードにより低解像度で撮像を行うようにすることができる。
【０６７４】
このように、状況や目的等に応じて、適切な動作モードで撮像を行うことにより、撮像の負荷の増大を抑制しながら、復元画像の画質の低減を抑制することができる。したがって、より安全な運転支援を実現することができる。
【０６７５】
＜運転支援処理の流れ＞
このような運転支援処理の流れの例を、図６１のフローチャートを参照して説明する。
【０６７６】
運転支援処理が開始されると、車外情報検出ユニット７４００は、ステップＳ５０１において、車両の周囲に対する注目対象の検知を開始する。
【０６７７】
ステップＳ５０２において、車外情報検出ユニット７４００は、動作モードをエリア駆動モードに設定する。
【０６７８】
ステップＳ５０３において、撮像部７４１０は、エリア駆動モードで監視対象を撮像して出力データを出力する。つまり、撮像部７４１０は、図４１のフローチャートを参照して説明した場合と同様の流れで、エリア駆動モード撮像処理を行い、エリア駆動モードで出力データを生成し、それを車外情報検出ユニット７４００等に出力する。
【０６７９】
ステップＳ５０４において、車外情報検出ユニット７４００は、注目対象を検知したか否かを判定する。注目対象を検知していないと判定された場合、処理はステップＳ５０３に戻る。つまり、注目対象が検出されない正常な状態である場合、ステップＳ５０３およびステップＳ５０４の処理が繰り返し実行される。つまり、低解像度の撮像画像が得られる。
【０６８０】
また、ステップＳ５０４において、注目対象が検出されたと判定された場合、処理はステップＳ５０５に進む。
【０６８１】
ステップＳ５０５において、車外情報検出ユニット７４００は、動作モードを全画素モードに切り替える（設定する）。
【０６８２】
ステップＳ５０６において、撮像部７４１０は、全画素モードで監視対象を撮像して出力データを出力する。つまり、撮像部７４１０は、図３４のフローチャートを参照して説明した場合と同様の流れで、全画素モード撮像処理を行い、全画素モードで出力データを生成し、それを車外情報検出ユニット７４００に出力する。
【０６８３】
ステップＳ５０７において、マイクロコンピュータ７６１０は、注目対象に基づく運転支援を行う。
【０６８４】
ステップＳ５０８において、車外情報検出ユニット７４００は、注目対象が検知されなくなったか否かを判定する。注目対象を検知し続けていると判定された場合、処理はステップＳ５０６に戻る。つまり、注目対象が検知されている状態である場合、ステップＳ５０６およびステップＳ５０７の処理が繰り返し実行される。つまり、高解像度の撮像画像が得られる。
【０６８５】
また、ステップＳ５０８において、注目対象が検知されなくなったと判定された場合、処理はステップＳ５０９に進む。
【０６８６】
ステップＳ５０９において、撮像部７４１０は、運転支援処理を終了するか否かを判定する。運転支援処理を終了しないと判定された場合、処理はステップＳ５０２に戻る。すなわち、ステップＳ５０９において、運転支援処理を終了すると判定されるまで、ステップＳ５０２乃至ステップＳ５０９の各処理が繰り返し実行される。
【０６８７】
ステップＳ５０８において、運転支援処理が終了すると判定された場合、運転支援処理が終了する。
【０６８８】
以上のように運転支援処理を実行することにより、データ量の増大を抑制しながら、より安全な運転支援を行うことができる。
【０６８９】
＜８．第８の実施の形態＞
＜撮像素子の他の構成例＞
以上においては撮像素子１２１の例について説明したが、撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備えていればよく、その構成は任意である。
【０６９０】
例えば、変調素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いて、撮像素子１２１の撮像面に入射される光を白黒パターンまたは光の干渉に応じて変調してもよい。
【０６９１】
図６２は、撮像素子の他の構成を示している。撮像素子８００１は、撮像素子８００２の撮像面ＩＰに対して所定間隔を有するように変調素子であるマスク８００３が撮像素子８００２に固定されており、被写体面ＯＰからの光は、マスク８００３で変調されたのち撮像素子８００２の撮像面ＩＰに入射するように構成されている。
【０６９２】
図６３は、白黒パターンマスクを用いた場合を示している。図６３のＡは、白黒パターンマスクを例示している。白黒パターンマスク８００３BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子８００２の画素サイズと独立に設定されている。図６３のＢは点光源ＰＡから出射された光と点光源ＰＢから出射された光について、撮像面ＩＰに対する照射状態を模式的に示している。また、図６３のＢには、白黒パターンマスク８００３BWを用いた場合の撮像素子の応答の例も、点光源ＰＡから出射された光と点光源ＰＢから出射された光について個々に模式的に示している。被写体面ＯＰからの光は、白黒パターンマスク８００３BWで変調されたのち撮像素子８００２の撮像面ＩＰに入射する。したがって、被写体面ＯＰの点光源ＰＡから出射された光に対応する撮像素子の応答はＳｂｗaとなる。また、被写体面ＯＰの点光源ＰＢから出射された光に対応する撮像素子の応答はＳｂｗbとなる。したがって、撮像素子８００２から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した１画像の情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
【０６９３】
図６４は、光干渉マスクを用いた場合を示している。図６４のＡに示すように、被写体面ＯＰの点光源ＰＡ，ＰＢから出射された光は、光干渉マスク８００３LFを介して撮像素子８００２の撮像面ＩＰに照射される。光干渉マスク８００３LFの例えば光入射面には、図６４のＡに示すように光の波長程度の凹凸が設けられている。また、光干渉マスク８００３LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面ＯＰの点光源ＰＡ，ＰＢから出射された特定波長の光の光干渉マスク８００３LFに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光干渉マスク８００３LFを透過した特定波長の透過光の強度は、図６４のＢに示すように、光干渉マスク８００３LFに対する入射角に応じて変調されて撮像素子８００２の撮像面ＩＰに入射する。したがって、撮像素子８００２の各出力画素単位から出力される画素出力情報は、光干渉マスク８２３LFを透過した各点光源の変調後の光強度を合成した情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
【０６９４】
なお、光学フィルタ８００３ＢＷの代わりに、図６５の光学フィルタ８００３ＨＷを用いるようにしてもよい。光学フィルタ８００３ＨＷは、互いに偏光方向が等しい直線偏光素子８０１１Ａと直線偏光素子８０１１Ｂ、及び、１／２波長板８０１２を備え、１／２波長板８０１２は、直線偏光素子８０１１Ａと直線偏光素子８０１１Ｂの間に挟まれている。１／２波長板８０１２には、光学フィルタ８００３ＢＷの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
【０６９５】
直線偏光素子８０１１Ａは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光成分のみを透過する。以下、直線偏光素子８０１１Ａが、偏光方向が紙面に平行な光成分のみを透過するものとする。直線偏光素子８０１１Ａを透過した偏光光のうち、１／２波長板８０１２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が紙面に垂直な方向に変化する。一方、直線偏光素子８０１１Ａを透過した偏光光のうち、１／２波長板８０１２の白パターン部を透過した偏光光は、偏光方向が紙面に平行な方向のまま変化しない。そして、直線偏光素子８０１１Ｂは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタ８００３ＢＷを用いた場合とほぼ同様の濃淡のパターンが、撮像素子８００２の受光面（撮像面）ＩＰ上に生じる。
【０６９６】
ただし、これらの構成の場合、撮像素子にマスク等の他の構成を付加する必要があるので、第１の実施の形態において説明した構成例の撮像素子１２１の方が、より小型化することができる。
【０６９７】
以上のように、本技術は、撮像素子１２１が、図４を参照して説明したような構成であってもよいし、図５を参照して説明したような構成であってもよいし、図６２や図６３を参照して説明したような構成であってもよいし、図６４を参照して説明したような構成であってもよい。つまり、撮像素子１２１は、撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備えるものであればよい。
【０６９８】
また、本技術は、図４を参照して説明したような構成、または、図５を参照して説明したような構成の撮像素子１２１に適用することができるようにしてもよい。つまり、撮像素子１２１の複数の画素出力単位が、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
【０６９９】
また、本技術は、図４を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子１２１の複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
【０７００】
また、本技術は、図５を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子１２１の複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得るようにしてもよい。
【０７０１】
＜９．その他＞
＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムがインストールされる。
【０７０２】
このプログラムは、例えば、記録媒体からインストールすることができる。例えば図１の撮像装置１００の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている記録媒体１１６により構成される。その場合、例えば、記録媒体１１６を記録再生部１１５に装着することにより、その記録媒体１１６に記憶されているこのプログラムを読み出させ、記憶部１１３にインストールさせることができる。
【０７０３】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図１の撮像装置１００の場合、プログラムは、通信部１１４で受信し、記憶部１１３にインストールすることができる。
【０７０４】
その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図１の撮像装置１００の場合、プログラムは、記憶部１１３や制御部１０１内のROM（図視せず）等に予めインストールしておくこともできる。
【０７０５】
＜補足＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０７０６】
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０７０７】
また、上述した各処理部は、任意の構成により実現することができる。例えば、回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。その際、例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
【０７０８】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０７０９】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０７１０】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０７１１】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０７１２】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０７１３】
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０７１４】
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０７１５】
本技術は以下のような構成も取ることができる。
（１）    撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、
前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部と
を備える撮像素子と、
前記撮像素子の各画素出力単位の出力画素値を選択的に読み出す読み出し制御部と
を備える撮像装置。
（２）    撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、
前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部と
を備える撮像素子
の各画素出力単位の出力画素値を選択的に読み出す
撮像方法。
（３）  撮像レンズおよびピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位と、
前記複数の画素出力単位のうちの少なくとも２つの画素出力単位が形成されるエリアに対応付けて設けられた、前記エリアに形成される画素出力単位から読み出される信号を処理し、前記出力画素値を得る信号処理部と
を備える撮像素子。
（４）  複数のエリアの、それぞれの所定の画素出力単位から信号が読み出され、
前記複数のエリアのそれぞれに対応付けられた各信号処理部は、自身に対応するエリアの前記画素出力単位から読み出される信号を処理する
（３）に記載の撮像素子。
（５）  各エリアの前記画素出力単位は、エリア内において最初に信号が読み出される画素出力単位である
（４）に記載の撮像素子。
（６）  各エリアにおける各画素出力単位の信号の読み出し順は、互いに同一である
（４）または（５）に記載の撮像素子。
（７）  各エリアの前記画素出力単位の集合全体が、画素領域の画素出力単位群全体と同等の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を持つ
（４）乃至（６）のいずれかに記載の撮像素子。
（８）  複数のエリアの内の所定の一部のエリアの各画素出力単位から信号が読み出され、
前記一部のエリアに対応付けられた信号処理部は、自身に対応するエリアの各画素出力単位から読み出される信号を処理する
（３）乃至（７）のいずれかに記載の撮像素子。
（９）  前記信号が読み出されるエリアの画素出力単位群の全体が、画素領域の画素出力単位群全体と同等の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を持つ
（８）に記載の撮像素子。
（１０）  前記信号が読み出されるエリアの画素出力単位群の全体が、画素領域の画素出力単位群全体と異なる、被写体からの入射光の入射角に対する指向性を示す入射角指向性を持つ
（８）に記載の撮像素子。
（１１）  前記信号が読み出されるエリアの各画素出力単位の前記入射角指向性が、全て、前記画素領域に対して垂直である
（１０）に記載の撮像素子。
（１２）  所定のエリアの画素出力単位群の全体の画角の大きさが、他のエリアまたは前記画素領域の画素出力単位群全体の画角の大きさと異なる
（１０）または（１１）に記載の撮像素子。
（１３）  所定のエリアの画素出力単位群の全体の画角の向きが、他のエリアまたは前記画素領域の画素出力単位群全体の画角の向きと異なる
（１０）乃至（１２）のいずれかに記載の撮像素子。
（１４）  複数のエリアの各画素出力単位から信号が読み出され、
前記複数のエリアのそれぞれに対応付けられた信号処理部は、自身に対応するエリアの各画素出力単位から読み出される信号を処理する
（３）乃至（１３）のいずれかに記載の撮像素子。
（１５）  前記信号処理部は、自身に対応するエリアの画素出力単位から読み出される信号をA/D変換して前記出力画素値を得る
（３）乃至（１４）のいずれかに記載の撮像素子。
（１６）  前記構成は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成である
（３）乃至（１５）のいずれかに記載の撮像素子。
（１７）  前記構成は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成である
（３）乃至（１６）のいずれかに記載の撮像素子。
（１８）  前記複数の画素出力単位は、出力に寄与するPD（Photo Diode）を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る
（３）乃至（１７）のいずれかに記載の撮像素子。
【符号の説明】
【０７１６】
１００  撮像装置，  １２０  撮像部，  １２１  撮像素子，  １２２  読み出し制御部，  １２３  復元行列設定部，  １２４  復元部，  １２５  関連付け部，  １２６  センサ部，  ３０１  上基板，  ３０２  下基板，  ３１１  画素領域，  ３１２  エリア，  ３１３  垂直走査部，  ３１４  水平走査部，  ３２１  エリアADC，  ３２２  デジタル信号処理部，  ３２３  タイミング生成部，  ３２４  DAC，  ３３１  比較部，  ３３２  ラッチ部，  ４０１乃至４０３  エリア，  ５００  監視システム，  ５１１  監視カメラ，  ５１２  ケーブル，  ５１３  サーバ
【図１】
2019106999.tif 000005
【図２】
2019106999.tif 000006
【図３】
2019106999.tif 000007
【図４】
2019106999.tif 000008
【図５】
2019106999.tif 000009
【図６】
2019106999.tif 000010
【図７】
2019106999.tif 000011
【図８】
2019106999.tif 000012
【図９】
2019106999.tif 000013
【図１０】
2019106999.tif 000014
【図１１】
2019106999.tif 000015
【図１２】
2019106999.tif 000016
【図１３】
2019106999.tif 000017
【図１４】
2019106999.tif 000018
【図１５】
2019106999.tif 000019
【図１６】
2019106999.tif 000020
【図１７】
2019106999.tif 000021
【図１８】
2019106999.tif 000022
【図１９】
2019106999.tif 000023
【図２０】
2019106999.tif 000024
【図２１】
2019106999.tif 000025
【図２２】
2019106999.tif 000026
【図２３】
2019106999.tif 000027
【図２４】
2019106999.tif 000028
【図２５】
2019106999.tif 000029
【図２６】
2019106999.tif 000030
【図２７】
2019106999.tif 000031
【図２８】
2019106999.tif 000032
【図２９】
2019106999.tif 000033
【図３０】
2019106999.tif 000034
【図３１】
2019106999.tif 000035
【図３２】
2019106999.tif 000036
【図３３】
2019106999.tif 000037
【図３４】
2019106999.tif 000038
【図３５】
2019106999.tif 000039
【図３６】
2019106999.tif 000040
【図３７】
2019106999.tif 000041
【図３８】
2019106999.tif 000042
【図３９】
2019106999.tif 000043
【図４０】
2019106999.tif 000044
【図４１】
2019106999.tif 000045
【図４２】
2019106999.tif 000046
【図４３】
2019106999.tif 000047
【図４４】
2019106999.tif 000048
【図４５】
2019106999.tif 000049
【図４６】
2019106999.tif 000050
【図４７】
2019106999.tif 000051
【図４８】
2019106999.tif 000052
【図４９】
2019106999.tif 000053
【図５０】
2019106999.tif 000054
【図５１】
2019106999.tif 000055
【図５２】
2019106999.tif 000056
【図５３】
2019106999.tif 000057
【図５４】
2019106999.tif 000058
【図５５】
2019106999.tif 000059
【図５６】
2019106999.tif 000060
【図５７】
2019106999.tif 000061
【図５８】
2019106999.tif 000062
【図５９】
2019106999.tif 000063
【図６０】
2019106999.tif 000064
【図６１】
2019106999.tif 000065
【図６２】
2019106999.tif 000066
【図６３】
2019106999.tif 000067
【図６４】
2019106999.tif 000068
【図６５】
2019106999.tif 000069
【国際調査報告】
2019106999.tif 000070
2019106999.tif 000071