(57)【要約】  本技術は、画像の不正な利用や改竄を、より容易に抑制することができるようにする撮像装置および方法、並びに、画像処理装置および方法に関する。撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体を撮像し、その撮像により得られた、撮像素子の画素出力単位において得られる検出信号からなる検出画像を、検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに出力する。本開示は、例えば、撮像装置、画像処理装置、情報処理装置、電子機器、コンピュータ、プログラム、記憶媒体、システム等に適用することができる。
2019078337.tif 000002
【特許請求の範囲】
【請求項１】
撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子と、
前記撮像素子の画素出力単位において得られる検出信号からなる検出画像を、前記検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに出力する出力処理部と
を備える撮像装置。
【請求項２】
前記複数の画素出力単位は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
請求項１に記載の撮像装置。
【請求項３】
前記複数の画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
請求項１に記載の撮像装置。
【請求項４】
前記複数の画素出力単位は、出力に寄与するPD（Photo Diode）を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る構成を有する
請求項１に記載の撮像装置。
【請求項５】
前記撮像素子の各画素出力単位からの前記検出信号の読み出しを制御し、前記検出信号を読み出す画素出力単位を定期的または不定期に切り替える読み出し制御部をさらに備える
請求項１に記載の撮像装置。
【請求項６】
所定の条件が満たされた場合、前記復元行列を設定する復元行列設定部をさらに備え、
前記出力処理部は、前記復元行列設定部により設定された前記復元行列を出力するように構成される
請求項１に記載の撮像装置。
【請求項７】
前記復元行列設定部により設定された前記復元行列を暗号化する暗号化部をさらに備え、
前記出力処理部は、前記暗号化部により暗号化された前記復元行列を出力するように構成される
請求項６に記載の撮像装置。
【請求項８】
前記検出画像は被写体を視認不可能な画像であり、
前記復元画像は前記被写体を視認可能な画像である
請求項１に記載の撮像装置。
【請求項９】
前記復元行列を用いて、前記検出画像から前記復元画像を復元する復元部をさらに備え、
前記出力処理部は、前記復元部により復元された前記復元画像を表示するように構成される
請求項１に記載の撮像装置。
【請求項１０】
撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体を撮像し、
前記撮像により得られた、前記撮像素子の画素出力単位において得られる検出信号からなる検出画像を、前記検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに出力する
撮像方法。
【請求項１１】
撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、前記画素出力単位において得られる検出信号からなる検出画像から復元画像を復元する際に用いられる係数からなる復元行列を用いて、外部の装置より取得した検出画像から復元画像を復元する復元部
を備える画像処理装置。
【請求項１２】
前記復元部による前記復元画像の復元に使用する復元行列を設定する復元行列設定部をさらに備え、
前記復元部は、前記復元行列設定部により設定された前記復元行列を用いて、前記検出画像から復元画像を復元するように構成される
請求項１１に記載の画像処理装置。
【請求項１３】
前記復元行列設定部は、前記復元画像の復元に使用する復元行列を、定期的または不定期に切り替える
請求項１２に記載の画像処理装置。
【請求項１４】
前記復元行列設定部は、前記復元画像の復元に使用する復元行列を生成する
請求項１２に記載の画像処理装置。
【請求項１５】
候補となる復元行列を記憶する復元行列記憶部をさらに備え、
前記復元行列設定部は、前記復元行列記憶部により記憶されている復元行列の中から、前記復元画像の復元に使用する復元行列を設定するように構成される
請求項１２に記載の画像処理装置。
【請求項１６】
通信により前記外部の装置から復元行列を取得する復元行列通信部をさらに備え、
前記復元行列記憶部は、前記復元行列通信部により取得された前記復元行列を記憶するように構成される
請求項１５に記載の画像処理装置。
【請求項１７】
前記復元行列通信部により取得された、暗号化された復元行列を復号する復号部をさらに備え、
前記復元行列記憶部は、前記復号部により復号された前記復元行列を記憶するように構成される
請求項１６に記載の画像処理装置。
【請求項１８】
前記復元行列通信部は、前記検出画像と関連付けられている、暗号化された復元行列を取得する
請求項１７に記載の画像処理装置。
【請求項１９】
前記外部の装置に対して自身の認証処理を行う認証部をさらに備え、
前記復元行列通信部は、前記認証部による認証が成功した場合、前記外部の装置より復元行列を取得するように構成される
請求項１６に記載の画像処理装置。
【請求項２０】
撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、前記画素出力単位において得られる検出信号からなる検出画像から復元画像を復元する際に用いられる係数からなる復元行列を用いて、外部の装置より取得した前記検出画像から復元画像を復元する
画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は、撮像装置および方法、並びに、画像処理装置および方法に関し、特に、画像の不正な利用や改竄を、より容易に抑制することができるようにした撮像装置および方法、並びに、画像処理装置および方法に関する。
【背景技術】
【０００２】
近年、撮像レンズを用いない撮像素子が考えられる等（例えば、特許文献１、特許文献２、および非特許文献１参照）、撮像素子の小型化が進み、より多様なデバイスに搭載されるようになってきた。また、より多様なデバイスがインターネット等のネットワークに接続され、通信を行うようになってきた。そのため、撮像デバイスにおいて撮像された画像もインターネット等を介して伝送され、様々なサービス等に利用されることが多くなってきた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２０１６／１２３５２９号
【特許文献２】特表２０１６-５１０９１０号公報
【非特許文献】
【０００４】
【非特許文献１】M. Salman Asif、他４名、“Flatcam: Replacing lenses with masks and computation”、“2015 IEEE International Conference on Computer Vision Workshop (ICCVW)”、2015年、663-666ページ
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、このような画像の伝送においては、不正なユーザに漏洩するおそれがあり、画像の不正利用や改竄が行われるおそれがあった。これに対して、例えば、伝送の際に画像データを暗号化して伝送することが考えられるが、暗号化等の処理により負荷が増大し、消費電力、処理時間、コスト等が増大するおそれがあった。【０００６】
本開示は、このような状況に鑑みてなされたものであり、画像の不正な利用や改竄を、より容易に抑制することができるようにするものである。
【課題を解決するための手段】
【０００７】
本技術の一側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子と、前記撮像素子の画素出力単位において得られる検出信号からなる検出画像を、前記検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに出力する出力処理部とを備える撮像装置である。【０００８】
前記複数の画素出力単位は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有することができる。【０００９】
前記複数の画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有することができる。【００１０】
前記複数の画素出力単位は、出力に寄与するPD（Photo Diode）を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る構成を有するようにすることができる。【００１１】
前記撮像素子の各画素出力単位からの前記検出信号の読み出しを制御し、前記読み出し制御部は、前記検出信号を読み出す画素出力単位を、定期的または不定期に切り替える読み出し制御部をさらに備えるようにすることができる。【００１２】
所定の条件が満たされた場合、前記復元行列を設定する復元行列設定部をさらに備え、前記出力処理部は、前記復元行列設定部により設定された前記復元行列を出力するように構成されるようにすることができる。【００１３】
前記復元行列設定部により設定された前記復元行列を暗号化する暗号化部をさらに備え、前記出力処理部は、前記暗号化部により暗号化された前記復元行列を出力するように構成されるようにすることができる。【００１４】
前記検出画像は被写体を視認不可能な画像であり、前記復元画像は前記被写体を視認可能な画像であるようにすることができる。【００１５】
前記復元行列を用いて、前記検出画像から前記復元画像を復元する復元部をさらに備え、前記出力処理部は、前記復元部により復元された前記復元画像を表示するように構成されるようにすることができる。【００１６】
本技術の一側面の撮像方法は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体を撮像し、前記撮像により得られた、前記撮像素子の画素出力単位において得られる検出信号からなる検出画像を、前記検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに出力する撮像方法である。【００１７】
本技術の他の側面の画像処理装置は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、前記画素出力単位において得られる検出信号からなる検出画像から復元画像を復元する際に用いられる係数からなる復元行列を用いて、外部の装置より取得した検出画像から復元画像を復元する復元部を備える画像処理装置である。【００１８】
前記復元部による前記復元画像の復元に使用する復元行列を設定する復元行列設定部をさらに備え、前記復元部は、前記復元行列設定部により設定された前記復元行列を用いて、前記検出画像から復元画像を復元するように構成されるようにすることができる。【００１９】
前記復元行列設定部は、前記復元画像の復元に使用する復元行列を、定期的または不定期に切り替えることができる。【００２０】
前記復元行列設定部は、前記復元画像の復元に使用する復元行列を生成することができる。【００２１】
候補となる復元行列を記憶する復元行列記憶部をさらに備え、前記復元行列設定部は、前記復元行列記憶部により記憶されている復元行列の中から、前記復元画像の復元に使用する復元行列を設定するように構成されるようにすることができる。【００２２】
通信により前記外部の装置から復元行列を取得する復元行列通信部をさらに備え、前記復元行列記憶部は、前記復元行列通信部により取得された前記復元行列を記憶するように構成されるようにすることができる。【００２３】
前記復元行列通信部により取得された、暗号化された復元行列を復号する復号部をさらに備え、前記復元行列記憶部は、前記復号部により復号された前記復元行列を記憶するように構成されるようにすることができる。【００２４】
前記復元行列通信部は、前記検出画像と関連付けられている、暗号化された復元行列を取得することができる。【００２５】
前記外部の装置に対して自身の認証処理を行う認証部をさらに備え、前記復元行列通信部は、前記認証部による認証が成功した場合、前記外部の装置より復元行列を取得するように構成されるようにすることができる。【００２６】
本技術の他の側面の画像処理方法は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、前記画素出力単位において得られる検出信号からなる検出画像から復元画像を復元する際に用いられる係数からなる復元行列を用いて、外部の装置より取得した前記検出画像から復元画像を復元する画像処理方法である。【００２７】
本技術の一側面の撮像装置および方法においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像され、その撮像により得られた、撮像素子の画素出力単位において得られる検出信号からなる検出画像が、前記検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けられずに出力される。【００２８】
本技術の他の側面の画像処理装置および方法においては、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、画素出力単位において得られる検出信号からなる検出画像から復元画像を復元する際に用いられる係数からなる復元行列が用いられて、外部の装置より取得した検出画像から復元画像が復元され、その復元された復元画像が表示される。
【発明の効果】
【００２９】
本技術によれば、被写体を撮像する、または、画像を処理することができる。また本技術によれば、画像の不正な利用や改竄を、より容易に抑制することができる。
【図面の簡単な説明】
【００３０】
【図１】検出画像伝送の様子の例を説明するための図である。
【図２】伝送媒体の例を説明するための図である。
【図３】伝送媒体の例を説明するための図である。
【図４】撮像装置の主な構成例を示すブロック図である。
【図５】本開示の技術を適用した撮像装置における撮像の原理を説明する図である。
【図６】従来の撮像素子と本開示の撮像素子との構成の違いを説明する図である。
【図７】撮像素子の第１の構成例を説明する図である。
【図８】撮像素子の第１の構成例を説明する図である。
【図９】入射角指向性の発生の原理を説明する図である。
【図１０】オンチップレンズを利用した入射角指向性の変化を説明する図である。
【図１１】入射角指向性の設計を説明する図である。
【図１２】被写体距離と入射角指向性を表現する係数との関係を説明する図である。
【図１３】狭画角画素と広画角画素との関係を説明する図である。
【図１４】狭画角画素と広画角画素との関係を説明する図である。
【図１５】狭画角画素と広画角画素との関係を説明する図である。
【図１６】変形例を説明する図である。
【図１７】変形例を説明する図である。
【図１８】変形例を説明する図である。
【図１９】変形例を応用して画角を変化させる例を説明する図である。
【図２０】変形例を応用して画角を変化させるとき、複数の画角の画素を組み合わせる例を説明する図である。
【図２１】変形例を説明する図である。
【図２２】遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。
【図２３】遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。
【図２４】遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。
【図２５】遮光範囲を水平方向および垂直方向のそれぞれについて規則を設けることで計算量およびメモリの容量を低減させる理由を説明する図である。
【図２６】変形例を説明する図である。
【図２７】変形例を説明する図である。
【図２８】撮像処理の流れの例を説明するフローチャートである。
【図２９】画像出力装置の主な構成例を示すブロック図である。
【図３０】画像出力処理の流れの例を説明するフローチャートである。
【図３１】検出画像伝送の様子の例を説明するための図である。
【図３２】検出画像伝送の様子の例を説明するための図である。
【図３３】撮像装置の主な構成例を示すブロック図である。
【図３４】撮像処理の流れの例を説明するフローチャートである。
【図３５】画像出力装置の主な構成例を示すブロック図である。
【図３６】画像出力処理の流れの例を説明するフローチャートである。
【図３７】撮像装置の主な構成例を示すブロック図である。
【図３８】復元行列提供処理の流れの例を説明するフローチャートである。
【図３９】画像出力装置の主な構成例を示すブロック図である。
【図４０】復元行列取得処理の流れの例を説明するフローチャートである。
【図４１】撮像装置の主な構成例を示すブロック図である。
【図４２】撮像処理の流れの例を説明するフローチャートである。
【図４３】画像出力装置の主な構成例を示すブロック図である。
【図４４】画像出力処理の流れの例を説明するフローチャートである。
【図４５】サーバを介した検出画像および復元行列の伝送の様子の例を説明するための図である。
【図４６】サーバの主な構成例を示すブロック図である。
【図４７】検出画像伝送処理の流れの例を説明するフローチャートである。
【図４８】検出画像伝送処理の流れの例を説明するフローチャートである。
【図４９】復元行列伝送処理の流れの例を説明するフローチャートである。
【図５０】復元行列伝送処理の流れの例を説明するフローチャートである。
【図５１】撮像装置の主な構成例を示すブロック図である。
【図５２】撮像処理の流れの例を説明するフローチャートである。
【図５３】画像表示処理の流れの例を説明するフローチャートである。
【図５４】カラー画像の場合の検出画像伝送の様子の例を説明するための図である。
【図５５】システムのユースケースについて説明するための図である。
【図５６】システムのユースケースについて説明するための図である。
【図５７】システムのユースケースについて説明するための図である。
【図５８】システムのユースケースについて説明するための図である。
【図５９】撮像素子の主な構成例を示す図である。
【図６０】白黒パターンマスクを用いた場合を示す図である。
【図６１】光干渉マスクを用いた場合を示す図である。
【図６２】撮像素子の変形例を示す図である。
【発明を実施するための形態】
【００３１】
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（撮像表示システム：固有パターン）
２．第２の実施の形態（撮像表示システム：可変パターン）
３．第３の実施の形態（撮像表示システム：復元行列提供）
４．第４の実施の形態（撮像表示システム：関連付け）
５．第５の実施の形態（撮像表示システム：サーバを介した伝送）
６．第６の実施の形態（撮像装置：自己復元）
７．第７の実施の形態（撮像表示システム：カラー画像）
８．第８の実施の形態（撮像表示システム：ユースケース）
９．第９の実施の形態（撮像素子・撮像装置・画像出力装置の他の構成例）
１０．その他
【００３２】
＜１．第１の実施の形態＞
＜検出画像の伝送＞
近年、例えば特許文献１に記載のような、撮像レンズを用いない撮像素子が考えられた。このような撮像素子を用いることにより撮像レンズが不要になるので（撮像レンズフリーとなるので）、撮像デバイスの小型化が可能になり、より多様なデバイスに搭載することができるようになる。
【００３３】
また、近年、より多様なデバイスがインターネット等のネットワークに接続され、通信を行うようになってきた。そのため、撮像デバイスにおいて撮像された画像もインターネット等を介して伝送され、様々なサービス等に利用されることが多くなってきた。
【００３４】
しかしながら、このような画像の伝送においては、不正なユーザに漏洩するおそれがあり、画像の不正利用や改竄が行われるおそれがあった。これに対して、例えば、伝送の際に画像データを暗号化して伝送することが考えられるが、暗号化等の処理により負荷が増大し、消費電力、処理時間、コスト等が増大するおそれがあった。例えば、電池で駆動するデバイスの場合、消費電力が増大することにより、連続駆動時間が低減するおそれがあった。また、例えば低性能なデバイス等においては負荷がデバイスの処理能力を越えてしまい、暗号化を実現することができないおそれもあった。
【００３５】
そこで、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体を撮像し、その撮像により得られた、撮像素子の画素出力単位において得られる検出信号からなる、検出画像を伝送するようにする。特に、検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに検出画像を伝送するようにする。
【００３６】
図１にその概要を示す。詳細については後述するが、撮像側の撮像素子１１−１の画素アレイにはマスクパターンＡの遮光膜が形成されており、これにより、各画素出力単位が「被写体からの入射光の入射角に対する特性（入射角指向性とも称する）」を有する。そのため撮像素子１１−１は、撮像レンズ無しに被写体を撮像することができる。ただし、その撮像により得られる検出画像は、その被写体を視認不可能な画像である。そこで、この被写体を視認不可能な検出画像を伝送するようにする。
【００３７】
この検出画像は、所定の演算を行うことにより、被写体を視認可能な撮像画像（復元画像）に変換することができる。より具体的には、検出画像に復元画像を乗算することにより、復元画像を復元することができる。
【００３８】
つまり、受信側の復元部１２−１において、伝送されてきた検出画像Ａを取得し、その検出画像Ａに復元行列Ａを乗算することにより、復元画像Ａが得られる。復元画像は被写体が視認可能な画像であるので、表示部１３において、この復元画像Ａが表示される。これにより、撮像素子１１−１において撮像された撮像画像を、撮像側から表示側に伝送させて、表示部１３に表示させることができる。
【００３９】
その伝送の際に、被写体を視認不可能な検出画像Ａが伝送されるので、伝送の途中で不正なユーザ等に撮像画像が漏洩することを抑制することができる。つまり、画像の不正な利用や改竄を抑制することができる。
【００４０】
付言するに、撮像側においては、撮像して得られる検出画像をそのまま伝送するのみであるので、暗号化等の処理が不要であり、負荷の増大を抑制することができる。つまり、より容易に、画像の不正な利用や改竄を抑制することができる。
【００４１】
さらに付言するに、検出画像Ａは、マスクパターンＡに影響を受けて生成された画像であるので、このマスクパターンＡの影響を反映した（マスクパターンＡに対応する）係数行列である復元行列Ａを用いなければ、被写体を視認可能な復元画像Ａに変換することができない。つまり、正しい復元行列を用いなければ、検出画像を、被写体を視認可能な画像に変換することができない。したがって、仮に不正なユーザが復元行列を持っていたとしても、その復元行列が検出画像（撮像素子のマスクパターン）と正しく対応していなければ、復元画像を正しく復元することができない。
【００４２】
例えば、撮像素子１１−２には、マスクパターンＡと異なるパターンであるマスクパターンＢの遮光膜が形成されているとする。この撮像素子１１−２においては、撮像により、このマスクパターンＢの影響を受けて、検出画像Ｂが形成される。
【００４３】
受信側の復元部１２−２は、マスクパターンＢに対応する復元行列Ｂを有しており、伝送されてきた検出画像Ｂを取得し、その検出画像Ｂに復元行列Ｂを乗算することにより、復元画像Ｂを得ることができる。したがって、表示部１３において、この復元画像Ｂが表示される。これにより、復元部１２−１の場合と同様に、撮像素子１１−２において撮像された撮像画像を、撮像側から表示側に伝送させて、表示部１３に表示させることができる。
【００４４】
しかしながら、復元部１２−２と同様に復元行列Ｂを有する復元部１２−３が、検出画像Ａを取得しても、その復元行列Ｂでは、正しく復元することができず、被写体を視認可能な画像を表示部１３に表示させることができない。
【００４５】
このように、画像の不正な利用や改竄を抑制することができる。
【００４６】
なお、撮像素子のマスクパターンが個体毎に異なるようにしてもよい。つまり、製造時において、個体毎にマスクパターンを変更して撮像素子を製造するようにしてもよい。このようにすることにより、復元行列が漏洩する可能性を低減させることができる。
【００４７】
＜伝送路＞
なお、検出画像の伝送路は任意である。例えば図２のＡに示されるように、検出画像がネットワークを介して伝送されるようにしてもよい。撮像側の装置を撮像装置１０１とし、表示側の装置を画像出力装置１０２とすると、図２のＡに示されるように、撮像装置１０１および画像出力装置１０２がそれぞれネットワーク１０３に通信可能に接続されている。
【００４８】
ネットワーク１０３は、任意の通信網であり、有線通信の通信網であってもよいし、無線通信の通信網であってもよいし、それらの両方により構成されるようにしてもよい。また、ネットワーク１０３が、１の通信網により構成されるようにしてもよいし、複数の通信網により構成されるようにしてもよい。例えば、インターネット、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、WAN（Wide Area Network）、LAN（Local Area Network）、Bluetooth（登録商標）規格に準拠した通信を行う無線通信網、NFC（Near Field Communication）等の近距離無線通信の通信路、赤外線通信の通信路、HDMI（High-Definition Multimedia Interface）（登録商標）やUSB（Universal Serial Bus）等の規格に準拠した有線通信の通信網等、任意の通信規格の通信網や通信路がネットワーク１０３に含まれるようにしてもよい。
【００４９】
撮像装置１０１と画像出力装置１０２とがこのようなネットワーク１０３を介して通信を行い、その通信により検出画像を伝送するようにしてもよい。
【００５０】
また、例えば、図２のＢに示されるように、検出画像が所定のケーブルを介して伝送されるようにしてもよい。図２のＢの場合、撮像装置１０１と画像出力装置１０２とが例えば、HDMI（登録商標）やUSB等の所定の規格のケーブル１０４により接続されている。撮像装置１０１と画像出力装置１０２とがこのようなケーブル１０４を介して検出画像を伝送するようにしてもよい。
【００５１】
また、例えば、図２のＣに示されるように、検出画像が記録媒体を介して伝送されるようにしてもよい。つまり、撮像装置１０１が自身に装着された記録媒体１０５に検出画像を記録し、その記録媒体１０５が画像出力装置１０２に装着され、画像出力装置１０２が、自身に装着された記録媒体１０５から検出画像を読み出すようにしてもよい。
【００５２】
また、例えば、図３に示されるように、検出画像がサーバを介して伝送されるようにしてもよい。図３の例の場合、ネットワーク１０３にサーバ１０６が接続され、撮像装置１０１および画像出力装置１０２は、そのサーバ１０６を介して検出画像を授受する。つまり、撮像装置１０１は、撮像により得られた検出画像をサーバ１０６にアップロードする。画像出力装置１０２は、そのサーバ１０６から検出画像をダウンロードする。
【００５３】
もちろん、検出画像の伝送方法（伝送路）は任意であり、上述の例に限定されない。
【００５４】
＜撮像装置＞
次に検出画像を生成する撮像装置について説明する。図４は、本技術を適用した撮像装置の一実施の形態である撮像装置の主な構成例を示す図である。図４に示される撮像装置１０１は、被写体を撮像し、その撮像画像に関する電子データを得る装置である。
【００５５】
図４に示されるように、撮像装置１０１は、制御部１１０、入力部１１１、出力部１１２、記憶部１１３、通信部１１４、記録再生部１１５、撮像素子１２１、およびセンサ部１２２等を有する。各処理部等は、バス１２０を介して接続され、互いに情報や命令等を授受することができる。
【００５６】
制御部１１０は、撮像装置１０１内の各処理部等の制御に関する処理を行うように構成される。例えば、制御部１１０は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【００５７】
入力部１１１は、情報の入力に関する処理を行うように構成される。例えば、入力部１１１は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部１１１は、それらの入力デバイスによってユーザ等の外部からの指示（入力された操作に対応する情報）を受け付ける。また、例えば、入力部１１１は、外部入力端子を介して、外部の装置から供給される任意の情報（プログラム、コマンド、データ等）を取得する。また、例えば、入力部１１１は、その受け付けた情報（取得した情報）を、バス１２０を介して他の処理部等に供給する。
【００５８】
なお、入力部１１１が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部１１１が有する入力デバイスは任意であり、その数も任意である。入力部１１１が複数種類の入力デバイスを有するようにしてもよい。例えば、入力部１１１が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部１１１が、上述した例以外の入力デバイスを有するようにしてもよい。さらに、例えば、入力部１１１が、バス１２０を介して供給される自身（入力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００５９】
出力部１１２は、情報の出力に関する処理を行うように構成される。例えば、出力部１１２は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部１１２は、それらの出力デバイス等を用いて、バス１２０を介して他の処理部等から供給される情報を出力する。例えば、出力部１１２は、例えばGUI（Graphical User Interface）等の任意の画像をモニタに表示したり、例えばGUI等の任意の画像をプロジェクタから投影したり、音声（例えば入力操作や処理結果等に対応する音声）を出力したり、任意の情報（プログラム、コマンド、データ等）を外部（他の機器）に出力したりする。
【００６０】
なお、出力部１１２が有する出力デバイス等は任意であり、その数も任意である。出力部１１２が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部１１２が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部１１２が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部１１２が、バス１２０を介して供給される自身（出力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００６１】
記憶部１１３は、情報の記憶に関する処理を行うように構成される。例えば、記憶部１１３は、ハードディスクや半導体メモリ等のような、任意の記憶媒体を有する。例えば、記憶部１１３は、バス１２０を介して他の処理部等から供給される情報（プログラム、コマンド、データ等）をその記憶媒体に記憶する。また、記憶部１１３は、出荷時において任意の情報（プログラム、コマンド、データ等）を記憶しているようにしてもよい。また、記憶部１１３は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス１２０を介して他の処理部等に供給する。
【００６２】
なお、記憶部１１３が有する記憶媒体は任意であり、その数も任意である。記憶部１１３が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部１１３が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部１１３が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部１１３が、バス１２０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００６３】
通信部１１４は、他の装置との通信に関する処理を行うように構成される。例えば、通信部１１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを有する。例えば、通信部１１４は、他の装置と通信を行い、バス１２０を介して他の処理部等より供給される情報（プログラム、コマンド、データ等）を、その通信相手である他の装置に供給する。また、例えば、通信部１１４は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス１２０を介して他の処理部等に供給する。
【００６４】
通信部１１４が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部１１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。また、例えば、通信部１１４が、バス１２０を介して供給される自身（通信デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００６５】
記録再生部１１５は、自身に装着された記録媒体１１６を利用した情報の記録や再生に関する処理を行うように構成される。例えば、記録再生部１１５は、自身に装着された記録媒体１１６に記録されている情報（プログラム、コマンド、データ等）を読み出し、その情報を、バス１２０を介して他の処理部等に供給する。また、例えば、記録再生部１１５は、バス１２０を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体１１６に書き込む（記録する）。なお、例えば、記録再生部１１５が、バス１２０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００６６】
なお、記録媒体１１６は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。
【００６７】
撮像素子１２１は、被写体の撮像に関する処理を行うように構成される。例えば、撮像素子１２１は、被写体を撮像し、その撮像画像に関するデータ（電子データ）を得る。その際、撮像素子１２１は、撮像レンズ、回折格子等の光学フィルタ等やピンホール等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができる。例えば、撮像素子１２１は、被写体を撮像し、所定の演算によりその撮像画像のデータを得ることができるデータ（検出信号等）を得る。
【００６８】
なお、撮像画像は、被写体の像が結像された画素値から構成される、ユーザが目視して画像として認識できる画像である。これに対して撮像素子１２１の画素単位出力における入射光の検出結果である検出信号により構成される画像（検出画像と称する）は、被写体の像が結像されていないことにより、ユーザが目視しても画像として認識することができない（つまり、被写体を視認不可能な）画像である。つまり、検出画像は撮像画像とは異なる画像である。ただし、上述のように、この検出画像のデータに対して所定の演算を行うことにより、撮像画像、すなわち、被写体の像が結像された、ユーザが目視して画像として認識できる（つまり、被写体を視認可能な）画像を復元することができる。この復元された撮像画像を復元画像と称する。つまり、検出画像は復元画像とは異なる画像である。
【００６９】
なお、この復元画像を構成する画像であって、同時化処理や色分離処理等（例えば、デモザイク処理等）の前の画像をRaw画像と称する。このRaw画像も、撮像画像と同様に、ユーザが目視して画像として認識することができる（つまり、被写体を視認可能な）画像である。換言するに、検出画像は、色フィルタの配列に従った画像ではあるが、Raw画像とは異なる画像である。
【００７０】
ただし、撮像素子１２１が、例えば赤外光や紫外光等のような不可視光のみに感度を有する場合、復元画像（Raw画像や撮像画像）も、ユーザが目視して画像として認識することはできない（被写体を視認することができない）画像となる。ただし、これは検出した光の波長域によるものであるので、復元画像は、波長域を可視光域に変換することにより被写体を視認可能な画像とすることができる。これに対して検出画像は、被写体の像が結像されていないので、波長域を変換するだけでは被写体を視認可能な画像とすることはできない。したがって、撮像素子１２１が不可視光のみに感度を有する場合であっても、上述したように検出画像に対して所定の演算を行うことにより得られる画像を復元画像と称する。なお、以下において、特に言及しない限り、基本的に撮像素子１２１が可視光を受光する場合を例に用いて本技術を説明する。
【００７１】
つまり、撮像素子１２１は、被写体を撮像し、検出画像に関するデータを得ることができる。撮像素子１２１は、この検出画像に関するデータを、バス１２０を介して、他の処理部等（例えば、出力部１１２、記憶部１１３、通信部１１４、記録再生部１１５等）に供給する。また、例えば、撮像素子１２１が、バス１２０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００７２】
センサ部１２２は、検出に関する処理を行うように構成される。例えば、センサ部１２２は、任意のセンサを有し、所定のパラメータについての検出を行う。例えば、センサ部１２２は、撮像装置１０１の周辺の状態に関するパラメータや、撮像装置１０１の状態に関するパラメータ等についての検出を行う。例えば、センサ部１２２は、撮像素子１２１の状態に関するパラメータについての検出を行う。また、例えば、センサ部１２２は、検出した情報を、バス１２０を介して他の処理部等に供給する。なお、例えばセンサ部１２２が、バス１２０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【００７３】
なお、出力部１１２、記憶部１１３、通信部１１４、および記録再生部１１５のうちの一部または全部を一体化して、出力処理部１２３としてもよい。出力処理部１２３は、検出画像の出力に関する処理を行うように構成される。出力処理部１２３は、どのような物理的構成により実現されるようにしてもよい。例えば、出力処理部１２３が、システムLSI（Large Scale Integration）等としてのプロセッサとして実現されるようにしてもよい。また、出力処理部１２３が、例えば複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実現されるようにしてもよい。また、出力処理部１２３を装置として実現するようにしてもよい。
【００７４】
＜撮像素子について＞
次に、撮像素子１２１について図５乃至図２７を参照して説明する。
【００７５】
＜画素と画素出力単位＞
本明細書においては、「画素」（または「画素出力単位」）という用語を用いて、本技術を説明する。本明細書において「画素」（または「画素出力単位」）とは、撮像素子１２１の入射光を受光するための物理構成が形成される領域（画素領域とも称する）の、他の画素とは独立して受光することができる物理構成を少なくとも１つ含む分割単位を指すものとする。受光することができる物理構成とは、例えば光電変換素子であり、例えばフォトダイオード（PD（Photo Diode））である。１画素に形成されるこの物理構成（例えばフォトダイオード）の数は任意であり、単数であってもよいし、複数であってもよい。その種類、大きさ、形状等も任意である。
【００７６】
また、この「画素」単位の物理構成には、上述の「受光することができる物理構成」だけでなく、例えば、オンチップレンズ、遮光膜、カラーフィルタ、平坦化膜、反射防止膜等、入射光の受光に関する全ての物理構成を含む。さらに、読み出し回路等の構成も含まれる場合もある。つまり、この画素単位の物理構成はどのような構成であってもよい。
【００７７】
また、「画素」（つまり画素単位の物理構成）から読み出された検出信号を「画素単位（または画素出力単位）の検出信号」等と称する場合もある。さらに、この画素単位（または画素出力単位）の検出信号は、「画素単位検出信号（または画素出力単位検出信号）」とも称する。また、この画素単位検出信号は「画素出力」とも称する。さらに、その値を「出力画素値」とも称する。
【００７８】
撮像素子１２１の画素単位の検出信号の値（出力画素値）は、他と独立して被写体からの入射光の入射角に対する指向性を示す入射角指向性を有することができる。つまり、撮像素子１２１の各画素単位（画素出力単位）は、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を独立に設定可能な構成を有する。例えば、撮像素子１２１において、少なくとも２つの画素単位の出力画素値は、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なるようにすることができる。
【００７９】
なお、上述したように「画素（または画素出力単位）」が有する「受光することができる物理構成」の数は任意であるので、画素単位検出信号は、単数の「受光することができる物理構成」により得られた検出信号であってもよいし、複数の「受光することができる物理構成」により得られた検出信号であってもよい。
【００８０】
また、この画素単位検出信号（出力画素値）は、任意の段階で複数をまとめて１つにすることもできる。例えば、複数の画素の出力画素値を、アナログ信号の状態において加算するようにしてもよいし、デジタル信号に変換してから加算するようにしてもよい。
【００８１】
また、この検出信号は、撮像素子１２１から読み出された後、すなわち、検出画像において、複数の検出信号をまとめて単数化したり、単数の検出信号を複数化したりすることもできる。つまり、検出画像の解像度（データ数）は可変である。
【００８２】
ところで、以下においては説明の便宜上、特に言及しない限り、撮像素子１２１が複数の画素が行列状に配置される（画素アレイが形成される）画素領域を有するものとして説明する。なお、撮像素子１２１の画素（または画素出力単位）の配列パターンは任意であり、この例に限定されない。例えば、画素（または画素出力単位）がハニカム構造状に配置されるようにしてもよい。また、例えば、画素（または画素出力単位）が１行（または１列）状に配置されるようにしてもよい。つまり、撮像素子１２１がラインセンサであってもよい。
【００８３】
なお、撮像素子１２１（の画素）が感度を有する波長域は任意である。例えば、撮像素子１２１（の画素）が、可視光に対して感度を有するようにしてもよいし、赤外光や紫外光のような不可視光に対して感度を有するようにしてもよいし、可視光と不可視光の両方に対して感度を有するようにしてもよい。例えば、撮像素子が不可視光である遠赤外光を検出する場合、その撮像素子において得られる撮像画像を用いてサーモグラフ（熱分布を表す画像）を生成することができる。ただし、撮像レンズを伴う撮像素子の場合、ガラスは遠赤外光を透過することが困難であるため、高価な特殊素材の撮像レンズが必要になり、製造コストが増大するおそれがある。撮像素子１２１は、撮像レンズ等を介さずに被写体を撮像し、その撮像画像に関するデータを得ることができるので、その画素が遠赤外光を検出可能とすることにより、製造コストの増大を抑制することができる。つまり、より安価に遠赤外光の撮像を行うことができる（より安価にサーモグラフを得ることができる）。なお、撮像素子１２１（の画素）が不可視光に対して感度を有する場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。換言するに、復元画像は、可視光の画像であってもよいし、不可視光（例えば、（遠）赤外光や紫外光等）の画像であってもよい。
【００８４】
＜入射角指向性＞
撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を有する。例えば、撮像素子１２１は、その複数の画素出力単位のうち、少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。つまりその場合、撮像素子１２１は、複数画素出力単位分の検出信号（複数の画素出力単位検出信号）を得ることができ、その内の少なくとも２つの画素出力単位検出信号の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が互いに異なる。
【００８５】
ここで「入射角指向性」とは、入射光の入射角度に応じた受光感度特性、すなわち、入射光の入射角度に対する検出感度を指す。例えば、同じ光強度の入射光であってもその入射角度によって検出感度が変化する場合がある。このような検出感度の偏り（偏りがない場合も含む）を「入射角指向性」と称する。
【００８６】
例えば、互いに同一の光強度の入射光が、互いに同一の入射角でその２つの画素出力単位の物理構成に入射すると、各画素出力単位の検出信号の信号レベル（検出信号レベル）は、互いに異なる値となり得る。撮像素子１２１（の各画素出力単位）は、このような特徴を持つ物理構成を有する。
【００８７】
この入射角指向性は、どのような方法により実現されるようにしてもよい。例えば、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様の基本的な構造を有する撮像素子の光電変換素子（フォトダイオード等）の手前（光入射側）に遮光膜を設ける等して入射角指向性を実現するようにしてもよい。
【００８８】
一般的な入射角指向性が互いに同一の画素よりなる撮像素子のみで撮像を行うと、撮像素子の全画素に略同一の光強度の光が入射することになり、結像された被写体の画像を得ることができない。そこで、一般的には、撮像素子の前（光入射側）に撮像レンズやピンホールを設ける。例えば撮像レンズを設けることにより、被写体面からの光を撮像素子の撮像面に結像させることができる。したがって、撮像素子は、各画素においてその結像された被写体の画像に応じたレベルの検出信号を得ることができる（つまり、結像された被写体の撮像画像を得ることができる）。しかしながら、この場合、物理的にサイズが大きくなり、装置の小型化が困難になるおそれがあった。また、ピンホールを設ける場合、撮像レンズを設ける場合よりも小型化が可能になるが、撮像素子に入射する光量が低減するため、露光時間を長くする、または、ゲインを上げる等の対策が必須となり、高速な被写体の撮像においてはボケが生じ易くなる、または、自然な色表現ではなくなるおそれがあった。
【００８９】
これに対して撮像素子１２１は、図５の上段左部で示されるように、各画素の検出感度が互いに異なる入射角指向性を持つ。つまり、入射光の入射角度に応じた受光感度特性が画素毎に異なるということである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素に同一の受光感度特性を持つものが含まれていてもよいし、一部の画素が異なる受光感度特性を持つものであってもよい。
【００９０】
被写体面１３１を構成する光源が点光源であることを前提とした場合、撮像素子１２１においては、同一の点光源より発せられた同一の光強度の光線が、全ての画素に入射されることになるが、画素毎にそれぞれ異なる入射角度で入射される。そして、撮像素子１２１の各画素は、互いに異なる入射角指向性を有しているので、その同一の光強度の光線を互いに異なる感度で検出する。つまり、画素毎に異なる信号レベルの検出信号が検出される。
【００９１】
より詳細には、撮像素子１２１の各画素において受光される入射光の入射角度に応じた感度特性、すなわち、各画素における入射角度に応じた入射角指向性は、入射角度に応じた受光感度を表す係数で表現するものとし、各画素における入射光に応じた検出信号の信号レベル（検出信号レベルとも称する）は、入射光の入射角度に応じた受光感度に対応して設定される係数を乗じることで求められるものとなる。
【００９２】
より具体的には、図５の上段左部で示されるように、位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
【００９３】
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
【００９４】
ここで、α１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＡからの光線の入射角度に応じて設定される係数である。β１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＢからの光線の入射角度に応じて設定される係数である。γ１は、撮像素子１２１上の位置Ｐａにおける復元する被写体面１３１上の点光源ＰＣからの光線の入射角度に応じて設定される係数である。
【００９５】
式（１）に示されるように、位置Ｐａにおける検出信号レベルＤＡは、位置Ｐａにおける点光源ＰＡからの光線の光強度”ａ”と係数α１との積と、位置Ｐａにおける点光源ＰＢからの光線の光強度”ｂ”と係数β１との積と、位置Ｐａにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ１との積との和（合成値）により表現される。以下において、係数αｘ、βｘ、γｘ（ｘは自然数）を合わせて係数セットと称する。
【００９６】
同様に、式（２）の係数セットα２，β２，γ２は、撮像素子１２１上の位置Ｐｂにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｂにおける検出信号レベルＤＢは、上述の式（２）のように、位置Ｐｂにおける点光源ＰＡからの光線の光強度”ａ”と係数α２との積と、位置Ｐｂにおける点光源ＰＢからの光線の光強度”ｂ”と係数β２との積と、位置Ｐｂにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ２との積との和（合成値）により表現される。また、式（３）の係数α３，β３，γ３は、撮像素子１２１上の位置Ｐｃにおける復元する被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣからの光線の入射角度に応じて設定される係数セットである。つまり、位置Ｐｃにおける検出信号レベルＤＣは、上述の式（３）のように、位置Ｐｃにおける点光源ＰＡからの光線の光強度”ａ”と係数α３との積と、位置Ｐｃにおける点光源ＰＢからの光線の光強度”ｂ”と係数β３との積と、位置Ｐｃにおける点光源ＰＣからの光線の光強度”ｃ”と係数γ３との積との和（合成値）により表現される。
【００９７】
以上のように、これらの検出信号レベルは、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度が入り交じったものとなるので、被写体の像が結像されたものとは異なるものである。つまり、図５の上段右部で示される検出信号レベルは、被写体の像が結像された画像（撮像画像）に対応する検出信号レベルではないので、図５の下部右部に示される画素値とは異なるものである（一般的に両者は一致しない）。
【００９８】
ただし、この係数セットα１，β１，γ１、係数セットα２，β２，γ２係数セットα３，β３，γ３と、検出信号レベルＤＡ，ＤＢ，ＤＣを用いた連立方程式を構成し、ａ，ｂ，ｃを変数として上述の式（１）乃至式（３）の連立方程式を解くことにより、図５の下段右部で示されるような各位置Ｐａ，Ｐｂ，Ｐｃの画素値を求めることができる。これにより画素値の集合である復元画像（被写体の像が結像された画像）が復元される。
【００９９】
撮像素子１２１は、このような構成により、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等を必要とせずに、少なくとも２つの画素出力単位において互いに異なる入射角指向性を有する。結果として、撮像レンズ、回折格子等からなる光学フィルタや、ピンホール等が必須構成とならないので、撮像装置の低背化、すなわち、撮像機能を実現する構成における光の入射方向に対する厚さを薄くすることが可能になる。
【０１００】
＜入射角指向性の形成＞
図６の左部は、一般的な撮像素子の画素アレイ部の一部の正面図を示しており、図６の右部は、撮像素子１２１の画素アレイ部の一部の正面図を示している。尚、図６においては、画素アレイ部が水平方向×垂直方向のそれぞれの画素数が６画素×６画素の構成である場合の例を示しているが、画素数の構成は、これに限るものではない。
【０１０１】
入射角指向性は、例えば遮光膜により形成することができる。一般的な撮像素子１５１は、図６の左部の例のように、入射角指向性が同一の画素１５１ａがアレイ状に配置されていることが示されている。これに対して図６の右部の例の撮像素子１２１は、画素１２１ａ毎に、そのフォトダイオードの受光領域の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。
【０１０２】
例えば、画素１２１ａ−１と画素１２１ａ−２とでは、設けられている遮光膜１２１ｂ−１と遮光膜１２１ｂ−２とにより画素を遮光する範囲が異なる（遮光する領域（位置）、および遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ−１においては、フォトダイオードの受光領域における左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ−１が設けられており、画素１２１ａ−２においては、受光領域における右側の一部を、遮光膜１２１ｂ−１よりも水平方向に広い幅だけ遮光するように遮光膜１２１ｂ−２が設けられている。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域における異なる範囲が遮光されるように設けられており、画素アレイ内でランダムに配置されている。
【０１０３】
尚、遮光膜１２１ｂの範囲は、各画素の受光領域を覆い隠す割合が大きくなるほど、受光できる光量が少ない状態となるため、所望の光量が確保できる程度の面積とすることが望ましく、遮光膜１２１ｂの面積を、例えば、最大で受光可能な範囲の全体の３／４程度までといった制限を加えて構成するようにしてもよい。このようにすることで、所望量以上の光量を確保することが可能となる。ただし、各画素について、受光する光の波長に相当する幅の遮光されていない範囲が設けられていれば、最小限の光量を受光することは可能である。すなわち、例えば、B画素（青色画素）の場合、波長は500nm程度となるが、この波長に相当する幅以上に遮光されていなければ、最小限の光量を受光することは可能である。
【０１０４】
＜撮像素子の構成例＞
図７を参照して、この場合の撮像素子１２１の構成例について説明する。図７の上段は、撮像素子１２１の側面断面図であり、図７の中段は、撮像素子１２１の上面図である。また、図７の上段の側面断面図は、図７の中段におけるＡＢ断面となる。さらに、図７の下段は、撮像素子１２１の回路構成例である。
【０１０５】
図７に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。例えば、この撮像素子１２１は、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有する。
【０１０６】
図７の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ−１５，１２１ａ−１６は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
【０１０７】
尚、画素１２１ａ−１５，１２１ａ−１６を区別する必要がない場合、単に、画素１２１ａと称し、他の構成についても、同様に称する。また、図７においては、撮像素子１２１の画素アレイを構成する２画素分の側面図および上面図となっているが、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
【０１０８】
さらに、画素１２１ａ−１５，１２１ａ−１６は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ−１５，１２１ｅ−１６を備えている。また、フォトダイオード１２１ｅ−１５，１２１ｅ−１６の上には、それぞれ上からオンチップレンズ１２１ｃ−１５，１２１ｃ−１６、およびカラーフィルタ１２１ｄ−１５，１２１ｄ−１６が構成されている。
【０１０９】
オンチップレンズ１２１ｃ−１５，１２１ｃ−１６は、入射光をフォトダイオード１２１ｅ―１５，１２１ｅ―１６上に集光させる。
【０１１０】
カラーフィルタ１２１ｄ−１５，１２１ｄ−１６は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。尚、白色の場合、カラーフィルタ１２１ｄ−１５，１２１ｄ−１６は、透明のフィルタでもよいし、無くてもよい。
【０１１１】
画素１２１ａ−１５，１２１ａ−１６の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｐ−１５乃至１２１ｐ−１７が形成されており、隣接する画素間のクロストークを抑制する。
【０１１２】
また、変調素子の１つである遮光膜１２１ｂ−１５，１２１ｂ−１６は、図７の上段および中段で示されるように、受光面Ｓの一部を遮光している。遮光膜１２１ｂにより受光面Ｓの一部が遮光されることにより、画素１２１ａに入射する入射光が入射角度に応じて光学的に変調される。画素１２１ａは、その光学的に変調された入射光を検出するので、入射角指向性を有するようになる。画素１２１ａ−１５，１２１ａ−１６におけるフォトダイオード１２１ｅ−１５，１２１ｅ−１６の受光面Ｓにおいては、遮光膜１２１ｂ−１５，１２１ｂ−１６により、それぞれ異なる範囲が遮光されており、これにより画素ごとに異なる入射角指向性が設定されている。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａのそれぞれにおいて異なることが場合に限らず、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。
【０１１３】
図７の上段で示されるような構成により、遮光膜１２１ｐ−１５の右端部と、遮光膜１２１ｂ−１５の上方端部とが接続されると共に、遮光膜１２１ｂ−１６の左端部と遮光膜１２１ｐ−１６の上方端部とが接続され、側面からみてＬ字型に構成されている。
【０１１４】
さらに、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金より構成される。また、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。尚、遮光膜１２１ｂ−１５乃至１２１ｂ−１７、および遮光膜１２１ｐ−１５乃至１２１ｐ−１７の膜厚は、位置に応じて同一の厚さにしなくてもよい。
【０１１５】
また、図７の下段で示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備えて構成され、垂直信号線１６７を介して電流源１６８に接続されている。
【０１１６】
フォトダイオード１６１は、アノード電極がそれぞれ接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極にそれぞれ接続される構成となっている。
【０１１７】
転送トランジスタ１６２は、転送信号ＴＧに従ってそれぞれ駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
【０１１８】
増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの画素信号を垂直信号線２３に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源電圧ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。
【０１１９】
ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
【０１２０】
選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
【０１２１】
リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
【０１２２】
以上のような回路構成により、図７の下段で示される画素回路は以下のように動作する。
【０１２３】
すなわち、第一動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオンにされ、ＦＤ部１６３に蓄積されている電荷を電源電圧ＶＤＤに排出して、ＦＤ部１６３をリセットする。
【０１２４】
第二動作として、リセットトランジスタ１６６および転送トランジスタ１６２がオフにされ、露光期間となり、フォトダイオード１６１により、入射光の光量に応じた電荷が蓄積される。
【０１２５】
第三動作として、リセットトランジスタ１６６がオンにされて、ＦＤ部１６３がリセットされた後、リセットトランジスタ１６６がオフにされる。この動作により、ＦＤ部１６３がリセットされて、基準電位に設定される。
【０１２６】
第四動作として、リセットされた状態のＦＤ部１６３の電位が、基準電位として増幅トランジスタ１６５より出力される。
【０１２７】
第五動作として、転送トランジスタ１６２がオンにされて、フォトダイオード１６１に蓄積された電荷がＦＤ部１６３に転送される。
【０１２８】
第六動作として、フォトダイオードの電荷が転送されたＦＤ部１６３の電位が、信号電位として増幅トランジスタ１６５より出力される。
【０１２９】
以上の処理により、信号電位から基準電位が減算されて、ＣＤＳ（相関二重サンプリング）により検出信号として出力される。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。
【０１３０】
このように、図７の場合の画素１２１ａは、１個についてフォトダイオード１２１ｅが１個設けられており、画素１２１ａ毎に異なる範囲が遮光膜１２１ｂにより遮光されており、遮光膜１２１ｂを用いた光学的な変調により、１個の画素１２１ａで入射角指向性を備えた検出画像の１画素分の検出信号を表現することができる。
【０１３１】
＜撮像素子の他の構成例＞
また、入射角指向性は、例えば受光素子（例えばフォトダイオード）の画素内における位置、大きさ、形状等により形成することができる。これらのパラメータが異なる画素同士では、同一方向からの同一の光強度の入射光に対する感度が異なる。つまり、これらのパラメータを画素毎に設定することにより、画素毎に入射角指向性を設定することができる。
【０１３２】
例えば、画素内に複数の受光素子（例えばフォトダイオード）を設け、それらが選択的に用いられるようにしてもよい。このようにすることにより、その受光素子の選択によって画素毎に入射角指向性を設定することができるようになる。
【０１３３】
図８は、撮像素子１２１の他の構成例を示す図である。図８の上段には、撮像素子１２１の画素１２１ａの側面断面図が示されており、図８の中段には、撮像素子１２１の上面図が示されている。また、図８の上段の側面断面図は、図８の中段におけるＡＢ断面となる。さらに、図８の下段は、撮像素子１２１の回路構成例である。
【０１３４】
図８に示される構成の撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える。例えば、この撮像素子１２１は、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する。また、この場合の撮像素子１２１は、その複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得る。
【０１３５】
図８に示されるように、撮像素子１２１は、画素１２１ａにおいて、４つのフォトダイオード１２１ｆ−１乃至１２１ｆ−４が形成され、遮光膜１２１ｐが、フォトダイオード１２１ｆ−１乃至１２１ｆ−４同士を分離する領域に形成されている点で、図８の撮像素子１２１と異なる構成となっている。即ち、図８の撮像素子１２１では、遮光膜１２１ｐは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については同一の符号を付し、詳細な説明は省略する。
【０１３６】
図８のように構成された撮像素子１２１では、遮光膜１２１ｐによりフォトダイオード１２１ｆ−１乃至１２１ｆ−４に分離することによって、フォトダイオード１２１ｆ−１乃至１２１ｆ−４間の電気的および光学的なクロストークを防止することができる。即ち、図５の遮光膜１２１ｐは、図４の撮像素子１２１の遮光膜１２１ｐと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
【０１３７】
詳細については後述するが、フォトダイオード１２１ｆ−１乃至１２１ｆ−４は、受光感度特性が高くなる入射角が互いに異なる。つまり、フォトダイオード１２１ｆ−１乃至１２１ｆ−４のいずれから電荷を読み出すかによって、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。つまり、画素１２１ａの出力画素値の入射角指向性を制御することができる。
【０１３８】
図８の撮像素子１２１の構成例においては、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有する。図８の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４で共有するようにした回路構成例を示している。尚、図８の下段において、図７の下段と同一の構成については、その説明を省略する。
【０１３９】
図８の下段において、図７の下段の回路構成と異なる点は、フォトダイオード１６１および転送トランジスタ１６２に代えて、フォトダイオード１６１−１乃至１６１−４（図８の上段におけるフォトダイオード１２１ｆ−１乃至１２１ｆ−４に対応する）および転送トランジスタ１６２−１乃至１６２−４を設け、ＦＤ部１６３を共有する構成としている点である。
【０１４０】
図８の下段に示される回路において、フォトダイオード１６１−１乃至１６１−４を互いに区別して説明する必要がない場合、フォトダイオード１６１と称する。また、転送トランジスタ１６２−１乃至１６２−４を互いに区別して説明する必要がない場合、転送トランジスタ１６２と称する。
【０１４１】
図８の下段に示される回路において、いずれかの転送トランジスタ１６２がオンされると、その転送トランジスタ１６２に対応するフォトダイオード１６１の電荷が読み出され、共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が画素出力単位の検出信号として読み出される。つまり、各フォトダイオード１６１の電荷は互いに独立に読み出すことができ、どの転送トランジスタ１６２をオンにするかによって、どのフォトダイオード１６１から電荷を読み出すかを制御することができる。換言するに、どの転送トランジスタ１６２をオンにするかによって、各フォトダイオード１６１による出力画素値への寄与の度合いを制御することができる。例えば、少なくとも２つの画素間において、電荷を読み出すフォトダイオード１６１を互いに異なるものとすることにより、出力画素値に寄与するフォトダイオード１６１を互いに異ならせることができる。つまり、電荷を読み出すフォトダイオード１６１の選択により、画素１２１ａの出力画素値に所望の入射角指向性を持たせることができる。つまり、各画素１２１ａから出力される検出信号を、被写体からの入射光の入射角に応じて変調された値（出力画素値）とすることができる。
【０１４２】
例えば、図８において、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中左右方向の入射角指向性を持たせることができる。同様に、フォトダイオード１２１ｆ−１およびフォトダイオード１２１ｆ−２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算するようにすることにより、画素１２１ａの出力画素値に図中上下方向の入射角指向性を持たせることができる。
【０１４３】
なお、図８の画素１２１ａの各フォトダイオード１２１ｆのそれぞれの電荷に基づいて得られる信号は、画素から読み出された後に加算するようにしてもよいし、画素内（例えばＦＤ部１６３）において加算するようにしてもよい。
【０１４４】
また、電荷（またはその電荷に対応する信号）を加算するフォトダイオード１２１ｆの組み合わせは任意であり、上述の例に限定されない。例えば、３つ以上のフォトダイオード１２１ｆの電荷（またはその電荷に対応する信号）を加算するようにしてもよい。また、例えば、加算を行わずに、１つのフォトダイオード１２１ｆの電荷を読み出すようにしてもよい。
【０１４５】
なお、電子シャッタ機能を用いて電荷のＦＤ部１６３への読み出しの前にフォトダイオード１６１（フォトダイオード１２１ｆ）に蓄積された検出値（電荷）をリセットすること等で、画素１２１ａ（の検出感度）に所望の入射角指向性を持たせるようにしてもよい。
【０１４６】
例えば、電子シャッタ機能を用いる場合、フォトダイオード１２１ｆの電荷のＦＤ部１６３への読み出しの直前にリセットをすれば、そのフォトダイオード１２１ｆは画素１２１ａの検出信号レベルへの寄与が無い状態とすることができ、リセットとＦＤ部１６３への読み出しの間の時間を持たせれば、部分的に寄与をさせることもできる。
【０１４７】
以上のように、図８の画素１２１ａは、１個について４個のフォトダイオード１２１ｆが設けられており、受光面に対して遮光膜１２１ｂが形成されていないが、遮光膜１２１ｐにより、複数の領域に分割され、４個のフォトダイオード１２１ｆ−１乃至１２１ｆ−４が形成されており、入射角指向性を備えた検出画像の１画素分の検出信号を表現している。換言するに、例えば、フォトダイオード１２１ｆ−１乃至１２１ｆ−４のうち出力に寄与しない範囲が遮光された領域と同様に機能して、入射角指向性を備えた、検出画像の１画素分の検出信号を表現している。尚、フォトダイオード１２１ｆ−１乃至１２１ｆ−４を用いて、１画素分の検出信号を表現する場合、遮光膜１２１ｂは用いられていないので、検出信号は、光学的な変調により得られる信号ではない。
【０１４８】
以上においては画素内に４個のフォトダイオードを配置する例について説明したが、画素内に配置するフォトダイオードの数は任意であり、上述の例に限定されない。つまり、画素内におけるフォトダイオードを配置する部分領域の数も任意である。
【０１４９】
また、以上においては、画素内を４等分した４つの部分領域にフォトダイオードを配置するように説明したが、この部分領域は等分割されたものでなくてもよい。つまり、各部分領域の大きさや形状が全て統一されていなくてもよい（大きさや形状が他と異なる部分領域が含まれていてもよい）。または、各部分領域内に配置されるフォトダイオードの位置（部分領域内における位置）、大きさ、形状等が、フォトダイオード毎（部分領域毎）に異なるようにしてもよい。その際、各部分領域の大きさや形状は、全て統一されていてもよいし、統一されていなくてもよい。
【０１５０】
さらに、撮像素子１２１の全画素において、これらのパラメータが統一されていなくてもよい。つまり、撮像素子１２１の１画素以上において、これらのパラメータの内の１つ以上のパラメータが、他の画素と異なっていてもよい。
【０１５１】
例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割位置が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、部分領域の大きさや形状が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にこの分割位置を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
【０１５２】
また例えば、画素内に配置される複数のフォトダイオードの位置、大きさ、形状等が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置される複数のフォトダイオードの位置、大きさ、形状の内の少なくともいずれか１つが他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎にフォトダイオードの位置、大きさ、形状等を異ならせるようにすることにより、複数の画素で左上のフォトダイオードのみを用いるようにしたとしても、その複数の画素のそれぞれにおいて検出される検出信号の入射角指向性を互いに異なるものとすることができる。
【０１５３】
さらに例えば、部分領域のパラメータ（大きさ、形状）と、フォトダイオードのパラメータ（位置、大きさ、形状）との両方が他の画素と異なる画素を１画素以上有するようにしてもよい。
【０１５４】
また例えば、画素内におけるフォトダイオードを配置する部分領域を形成するための分割数が他の画素と異なる画素が、撮像素子１２１の画素群に含まれるようにしてもよい。つまり、撮像素子１２１が、配置されるフォトダイオードの数が他の画素と異なる画素を１画素以上有するようにしてもよい。例えば、画素毎に分割数（フォトダイオードの数）を異ならせるようにすることにより、より自由に入射角指向性を設定することができる。
【０１５５】
＜入射角指向性を生じさせる原理について＞
撮像素子１２１における各画素の入射角指向性は、例えば、図９で示されるような原理により発生する。尚、図９の左上部および右上部は、図７の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図９の左下部および右下部は、図８の撮像素子１２１における入射角指向性の発生原理を説明する図である。
【０１５６】
また、図９の左上部および右上部における１画素は、いずれも１個のフォトダイオード１２１ｅにより構成される。これに対して、図９の左下部および右下部における１画素は、いずれも２個のフォトダイオード１２１ｆにより構成される。尚、ここでは、１画素が２個のフォトダイオード１２１ｆにより構成される例について説明しているが、これは説明の便宜上であり、１画素を構成するフォトダイオード１２１ｆの数は、その他の個数であってもよい。
【０１５７】
図９の左上部においては、図中の上方から下方に向けて入射光が入射するとき、フォトダイオード１２１ｅ−１１の受光面の右半分を遮光するように遮光膜１２１ｂ−１１が形成されている。また、図９の右上部においては、フォトダイオード１２１ｅ−１２の受光面の左半分を遮光するように遮光膜１２１ｂ−１２が形成されている。尚、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置であって、受光面に対して垂直方向であることを表している。
【０１５８】
例えば、図９の左上部のような構成の場合、図中の一点鎖線に対して入射角θ１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲では受光し易いが、図中の一点鎖線に対して入射角θ２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ−１１の遮光膜１２１ｂ−１１により遮光されていない左半分の範囲では受光し難い。したがって、図９の左上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が高く、左上方からの入射光に対して受光感度特性が低いといった入射角指向性を備えることになる。
【０１５９】
これに対して、例えば、図９の右上部のような構成の場合、図中の一点鎖線に対して入射角θ１１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されている左半分の範囲では受光し難いが、図中の一点鎖線に対して入射角θ１２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｅ−１２の遮光膜１２１ｂ−１２により遮光されていない右半分の範囲で受光し易い。したがって、図９の右上部のような構成の場合、図中の右上方からの入射光に対して受光感度特性が低く、左上方からの入射光に対して受光感度特性が高いといった入射角指向性を備えることになる。
【０１６０】
また、図９の左下部の場合、図中の左右にフォトダイオード１２１ｆ−１，１２１ｆ−２が設けられており、いずれかの一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
【０１６１】
すなわち、図９の左下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ−１，１２１ｆ−２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ−１の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図９の左上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ２１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ−１に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。これに対して、図中の一点鎖線に対して入射角θ２２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ−２に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。
【０１６２】
同様に、図９の右下部で示されるように、画素１２１ａに２個のフォトダイオード１２１ｆ−１１，１２１ｆ−１２が形成されている場合、図中の左側に設けられたフォトダイオード１２１ｆ−１２の検出信号がこの画素１２１ａの検出信号レベルに寄与するようにすることで、図９の右上部における構成と同様の入射角指向性を備えるようにすることができる。すなわち、図中の一点鎖線に対して入射角θ３１を成す矢印で示される、図中の右上方向からの入射光は、フォトダイオード１２１ｆ−１１に入射するが、その検出信号は読み出されず、この画素１２１ａの検出信号レベルに寄与しない。これに対して、図中の一点鎖線に対して入射角θ３２を成す矢印で示される、図中の左上方向からの入射光は、フォトダイオード１２１ｆ−１２に入射して受光され、その検出信号が読み出され、この画素１２１ａの検出信号レベルに寄与する。
【０１６３】
尚、図９においては、垂直方向の一点鎖線が、フォトダイオード１２１ｅの受光面の図中の水平方向の中心位置である例について説明してきたが、説明の便宜上であり、その他の位置であってもよい。垂直方向の一点鎖線で示される遮光膜１２１ｂの水平方向の位置が異なることにより、異なる入射角指向性を生じさせることができる。
【０１６４】
＜オンチップレンズを含む構成における入射角指向性について＞
以上においては、入射角指向性の発生原理について説明してきたが、ここでは、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
【０１６５】
すなわち、撮像素子１２１における各画素の入射角指向性は、上述した遮光膜１２１ｂによるものに加えて、オンチップレンズ１２１ｃを用いることにより、例えば、図１０で示されるように設定される。すなわち、図１０の中段左部においては、図中上方の入射方向より入射光を集光するオンチップレンズ１２１ｃ−１１、所定の波長の光を透過させるカラーフィルタ１２１ｄ−１１、および光電変換により画素信号を生成するフォトダイオード１２１ｅ−１１の順に積層され、図１０の中段右部においては、図中上方の入射方向よりオンチップレンズ１２１ｃ−１２、カラーフィルタ１２１ｄ−１２、およびフォトダイオード１２１ｅ−１２の順に構成されている。
【０１６６】
尚、オンチップレンズ１２１ｃ−１１，１２１ｃ−１２、カラーフィルタ１２１ｄ−１１，１２１ｄ−１２、およびフォトダイオード１２１ｅ−１１，１２１ｅ−１２の、それぞれを区別する必要がない場合、単に、オンチップレンズ１２１ｃ、カラーフィルタ１２１ｄ、およびフォトダイオード１２１ｅと称する。
【０１６７】
撮像素子１２１においては、さらに、図１０の中段左部、および中段右部のそれぞれに示されるように、入射光を受光する領域の一部を遮光する遮光膜１２１ｂ−１１，１２１ｂ−１２が設けられている。
【０１６８】
図１０の中段左部で示されるように、図中のフォトダイオード１２１ｅ−１１の右側半分を遮光するような遮光膜１２１ｂ−１１が設けられている場合、図１０の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１１の検出信号レベルが変化する。
【０１６９】
すなわち、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると（図中の右方向に傾くと））、遮光膜１２１ｂ−１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くと））、遮光膜１２１ｂ−１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１１の検出信号レベルが小さくなる。
【０１７０】
尚、ここでいう入射角度θは、入射光の方向が一点鎖線と一致する場合を０度とし、図中の右上方からの入射光が入射する、図１０の中段左側の入射角度θ２１側の入射角度θを正の値とし、図１０の中段右側の入射角度θ２２側の入射角度θを負の値とする。したがって、図１０においては、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、図１０において、入射光の進行方向が右に傾くほど大きくなり（正の方向に大きくなり）、左に傾くほど小さくなる（負の方向に大きくなる）ものとする。
【０１７１】
また、図１０の中段右部で示されるように、図中のフォトダイオード１２１ｅ−１２の左側半分を遮光するような遮光膜１２１ｂ−１２が設けられている場合、図１０の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ−１２の検出信号レベルが変化する。
【０１７２】
すなわち、図１０の上段における点線の波形で示されるように、フォトダイオード１２１ｅおよびオンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ−１２の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ−１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ−１２の検出信号レベルが大きくなる。
【０１７３】
尚、図１０の上段においては、横軸が入射角度θであり、縦軸がフォトダイオード１２１ｅにおける検出信号レベルを示している。
【０１７４】
この図１０の上段で示される入射角度θに応じた検出信号レベルを示す実線および点線で示される波形は、遮光膜１２１ｂの範囲に応じて変化させることができるので、これにより画素単位で相互に異なる入射角指向性を持たせる（設定する）ことが可能となる。尚、図１０の上段における実線の波形は、図１０の中段左部、および下段左部における入射光が、入射角度θを変化させて集光される様子を示す実線の矢印に対応している。また、図１０の上段における点線の波形は、図１０の中段右部、および下段右部における入射光が、入射角度θを変化させて集光される様子を示す点線の矢印に対応している。
【０１７５】
ここでいう入射角指向性とは、入射角度θに応じた各画素の検出信号レベルの特性（受光感度特性）であるが、図１０の中段の例の場合、これは入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、特定の方向以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図１０の上段で示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
【０１７６】
さらに、図１０の下段左部で示されるように、１個のオンチップレンズ１２１ｃ−１１に対して２個のフォトダイオード１２１ｆ−１，１２１ｆ−２が設けられる構成とする（画素出力単位が２個のフォトダイオード１２１ｆ−１，１２１ｆ−２から構成される）ことにより、図中左部のフォトダイオード１２１ｆ−１のみの検出信号を用いるようにすることで、図１０の中段左部におけるフォトダイオード１２１ｅ−１１の右側を遮光した状態と同じ検出信号レベルを求めるようにすることができる。
【０１７７】
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が読み出されるフォトダイオード１２１ｆ−１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出値が読み出されないフォトダイオード１２１ｆ−２の範囲に光が集光されることで、検出信号レベルが小さくなる。
【０１７８】
また、同様に、図１０の下段右部で示されるように、１個のオンチップレンズ１２１ｃ−１２に対して２個のフォトダイオード１２１ｆ−１１，１２１ｆ−１２が設けられる構成とすることにより、図中右部のフォトダイオード１２１ｆ−１２のみの検出信号を用いるようにすることで、図１０の中段右部におけるフォトダイオード１２１ｅ−１２の左側を遮光した状態と同じ検出信号レベルの出力画素単位の検出信号を得るようにすることができる。
【０１７９】
すなわち、オンチップレンズ１２１ｃの中心位置であって、それぞれに対して垂直となる一点鎖線に対して、入射光のなす角である入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、検出信号が出力画素単位の検出信号に寄与しないフォトダイオード１２１ｆ−１１の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが小さくなる。逆に、入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、検出信号が出力画素単位の検出信号に寄与するフォトダイオード１２１ｆ−１２の範囲に光が集光されることで、出力画素単位の検出信号の検出信号レベルが大きくなる。
【０１８０】
尚、入射角指向性については、ランダム性が高い方が望ましい。例えば、隣り合う画素間で同一の入射角指向性を持つと、上述した式（１）乃至式（３）または、後述する式（４）乃至式（６）が相互に同一の式となる恐れがあり、連立方程式の解となる未知数と式の数の関係が満たせなくなり、復元画像を構成する画素値を求められなくなる恐れがあるためである。また、図１０の中段で示される構成においては、画素１２１ａに、１個のフォトダイオード１２１ｅ−１１およびフォトダイオード１２１ｅ−１２が形成されている。これに対して、図１０の下段で示される構成においては、画素１２１ａに、２個のフォトダイオード１２１ｆ−１および１２１ｆ−２、並びに、フォトダイオード１２１ｆ−１１および１２１ｆ−１２が形成されている。したがって、例えば、図１０の下段においては、フォトダイオード１２１ｆの単体では、１画素は構成されない。
【０１８１】
また、図１０の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、入射角度に応じて、画素出力単位の出力画素値が変調されているとみなすことができる。したがって、出力画素値の特性（入射角指向性）を画素出力単位で異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位での入射角指向性を生じさせる上で、１画素出力単位に対して１個のオンチップレンズ１２１ｃが必須構成となる。
【０１８２】
また、図１０の上段で示されるように、１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２のそれぞれが１画素出力単位を構成する場合、入射角度に応じて、１画素出力単位を構成する１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２への入射光が変調されることにより、結果として出力画素値が変調される。したがって、出力画素値の特性（入射角指向性）が異ならせることが可能となり、１画素出力単位での入射角指向性が設定される。さらに、１個のフォトダイオード１２１ｅ−１１またはフォトダイオード１２１ｅ−１２のそれぞれが１画素出力単位を構成する場合、入射角指向性は、１画素出力単位毎に設けられる遮光膜１２１ｂにより独立して製造時に設定される。
【０１８３】
また、図１０の下段で示されるように、複数のフォトダイオード１２１ｆから１画素出力単位が構成される場合、１画素出力単位毎の入射角指向性を設定するための複数のフォトダイオード１２１ｆの数（１画素出力単位を構成するフォトダイオード１２１ｆの分割数）や位置については、１画素出力単位で独立して製造時に設定され、さらに、このうち、どのフォトダイオード１２１ｆを用いて入射角指向性を設定するかについては、撮像時に切り替えるようにすることができる。
【０１８４】
＜入射角指向性の設定＞
例えば、図１１の上段で示されるように、遮光膜１２１ｂの設定範囲が、画素１２１ａにおける水平方向について、左端部から位置Ａまでの範囲とし、垂直方向について、上端部から位置Ｂまでの範囲とする。
【０１８５】
この場合、各画素の水平方向の中心位置からの入射角度θｘ（ｄｅｇ）に応じた、入射角指向性の指標となる水平方向の０乃至１の重みＷｘを設定する。より詳細には、位置Ａに対応する入射角度θｘ＝θａにおいて、重みＷｘが０．５になると仮定した場合、入射角度θｘ＜θａ−αにおいて重みＷｘが１となり、θａ−α≦入射角度θｘ≦θａ＋αにおいて、重みＷｘが（−（θｘ−θａ）／２α＋１／２）となり、入射角度θｘ＞θａ＋αにおいて重みＷｘが０となるように重みＷｈを設定する。尚、ここでは、重みＷｈが０，０．５，１である例について説明するが、重みＷｈが０，０．５，１となるのは、理想的な条件が満たされるときとなる。
【０１８６】
同様に、各画素の垂直方向の中心位置からの入射角度θｙ（ｄｅｇ）に応じた、入射角指向性の指標となる垂直方向の０乃至１の重みＷｙを設定する。より詳細には、位置Ｂに対応する入射角度θｙ＝θｂにおいて、重みＷｖが０．５になると仮定した場合、入射角度θｙ＜θｂ−αにおいて重みＷｙが０となり、θｂ−α≦入射角度θｙ≦θｂ＋αにおいて、重みＷｙが（（θｙ−θｂ）／２α＋１／２）となり、入射角度θｙ＞θｂ＋αにおいて重みＷｙが１となるように重みＷｙを設定する。
【０１８７】
そして、このようにして求められた重みＷｘ，Ｗｙを用いることにより、それぞれの画素１２１ａの入射角指向性、すなわち、受光感度特性に対応する係数（係数セット）を求めることができる。
【０１８８】
また、このとき、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５の前後となる範囲における重みの変化を示す傾き（１／２α）は、焦点距離の異なるオンチップレンズ１２１ｃを用いることで設定することができる。
【０１８９】
すなわち、曲率の異なるオンチップレンズ１２１ｃを用いることで異なる焦点距離とすることができる。
【０１９０】
例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図１１の下段における実線で示されるように、焦点距離が、遮光膜１２１ｂ上になるように集光されるとき、傾き（１／２α）は、急峻になる。すなわち、図１１の上段における、水平方向の重みＷｘおよび垂直方向の重みＷｙは、０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、急激に０または１に変化する。
【０１９１】
また、例えば、曲率の異なるオンチップレンズ１２１ｃを用いることで、図１１の下段における点線で示されるように、焦点距離が、フォトダイオード１２１ｅ上に集光されるとき、傾き（１／２α）は、緩くなる。すなわち、図１１の上部における、水平方向の重みＷｘおよび垂直方向の重みＷｙが０．５付近となる水平方向の入射角度θｘ＝θａ、および、垂直方向の入射角度θｙ＝θｂの境界付近において、緩やかに０または１に変化する。
【０１９２】
以上のように、曲率の異なるオンチップレンズ１２１ｃを用いて、異なる焦点距離にすることで異なる入射角指向性、すなわち、異なる受光感度特性を得ることができる。
【０１９３】
したがって、画素１２１ａの入射角指向性は、遮光膜１２１ｂによりフォトダイオード１２１ｅが遮光される範囲と、オンチップレンズ１２１ｃの曲率とが異なるようにすることで異なる値に設定することができる。尚、オンチップレンズの曲率は、撮像素子１２１における全ての画素で同一でもよいし、一部の画素において異なる曲率であってもよい。
【０１９４】
＜オンチップレンズと撮像レンズとの違い＞
上述のように、撮像素子１２１は撮像レンズを必要としない。ただし、オンチップレンズ１２１ｃは、少なくとも、図８を参照して説明したような画素内の複数のフォトダイオードを用いて入射角指向性を実現する場合には必要である。オンチップレンズ１２１ｃと撮像レンズとは、物理的作用が異なるものである。
【０１９５】
撮像レンズは、同じ方向から入射した入射光を、互いに隣接する複数の画素へ入射させるための集光機能を持つ。これに対して、オンチップレンズ１２１ｃを通る光は、対応する１画素を構成するフォトダイオード１２１ｅまたは１２１ｆの受光面のみに入射される。換言するに、オンチップレンズ１２１ｃは、画素出力単位毎に設けられ、自身に入射する被写体光を対応する画素出力単位のみに集光する。すなわち、オンチップレンズ１２１ｃは、仮想点光源から出射した拡散光を、互いに隣接する複数の画素へ入射させるための集光機能を持たない。
【０１９６】
＜被写体面と撮像素子との距離の関係＞
次に、図１２を参照して、被写体面と撮像素子１２１との距離の関係について説明する。
【０１９７】
図１２の上段左部で示されるように、撮像素子１２１と被写体面１３１までの被写体距離が距離ｄ１である場合、例えば、被写体面１３１上の点光源ＰＡ，ＰＢ，ＰＣを設定するとき、対応する撮像素子１２１上の位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣが、上述した式（１）乃至式（３）と同一の式で表現できるものとする。
【０１９８】
ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ
・・・（１）
ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ
・・・（２）
ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ
・・・（３）
【０１９９】
これに対して、図１２の下段左部で示されるように、撮像素子１２１との被写体距離が距離ｄ１よりもｄだけ大きな距離ｄ２である被写体面１３１'である場合、すなわち、撮像素子１２１から見て、被写体面１３１よりも奥の被写体面１３１'の場合、検出信号レベルは、図１２の上段中央部、および下段中央部で示されるように、検出信号レベルＤＡ，ＤＢ，ＤＣいずれも同様である。
【０２００】
しかしながら、この場合被写体面１３１'上の点光源ＰＡ'，ＰＢ'，ＰＣ'からの光強度がａ'，ｂ'，ｃ'の光線が撮像素子１２１の各画素において受光される。この際、撮像素子１２１上で受光される、光強度がａ'，ｂ'，ｃ'の光線の入射角度は異なる（変化する）ので、それぞれ異なる係数セットが必要となり、各位置Ｐａ，Ｐｂ，Ｐｃにおける検出信号レベルＤＡ，ＤＢ，ＤＣは、例えば、以下の式（４）乃至式（６）で示されるように表現されることになる。
【０２０１】
ＤＡ＝α１１×ａ'＋β１１×ｂ'＋γ１１×ｃ'
・・・（４）
ＤＢ＝α１２×ａ'＋β１２×ｂ'＋γ１２×ｃ'
・・・（５）
ＤＣ＝α１３×ａ'＋β１３×ｂ'＋γ１３×ｃ'
・・・（６）
【０２０２】
ここで、係数セットα１１，β１１，γ１１、係数セットα１２，β１２，γ１２、係数セットα１３，β１３，γ１３からなる係数セット群は、それぞれ被写体面１３１における係数セットα１，β１，γ１、係数セットα２，β２，γ２、係数セットα３，β３，γ３に対応する被写体面１３１'の係数セット群である。
【０２０３】
従って、式（４）乃至式（６）を、予め設定された係数セット群α１１，β１１，γ１１，α１２，β１２，γ１２，α１３，β１３，γ１３を用いて解くことで、図１２の上段右部で示される被写体面１３１における場合の点光源ＰＡ，ＰＢ，ＰＣにおける光線の光強度（ａ，ｂ，ｃ）を求めた手法と同様の手法で、図１２の下段右部で示されるように、点光源ＰＡ'，ＰＢ'，ＰＣ'からの光線の光強度（ａ'，ｂ'，ｃ'）として求めることが可能となり、結果として、被写体面１３１'の被写体の復元画像を求めることが可能となる。
【０２０４】
すなわち、図４の撮像装置１０１においては、撮像素子１２１からの被写体面までの距離毎の係数セット群を予め記憶しておき、係数セット群を切り替えて連立方程式を構成し、構成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。
【０２０５】
つまり、検出画像を１回撮像するだけで、その後の処理で、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を求めるようにすることで、任意の距離の復元画像を生成することも可能である。
【０２０６】
また、画像認識や可視画像や可視画像以外の被写体の特性を得たい場合は、復元画像を得てから復元画像を基に画像認識などを行わなくとも、撮像素子の検出信号に対し、ディープラーニング等の機械学習を適用し、検出信号自体を用いて画像認識などを行うことも可能である。
【０２０７】
また、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号からなる検出画像を用いて、復元画像を生成するようにしてもよい。このようにすることで、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を求めることができる。
【０２０８】
例えば、図１３の上段で示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図１３の下段で示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ'とを考える。
【０２０９】
画素１２１ａは、例えば、図１４の上段で示されるような、被写体となる人物Ｈ１０１の全体を含む画角ＳＱ１に対応する、図１３の画像Ｉ１を復元するために用いられる。これに対して、画素１２１ａ'は、例えば、図１４の上段で示されるような、被写体となる人物Ｈ１０１の顔の周辺がズームアップされた画角ＳＱ２に対応する、図１３の画像Ｉ２を復元するために用いられる。
【０２１０】
これは、図１３の画素１２１ａが、図１５の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ａとなるため、被写体面１３１上において、水平方向に被写体幅Ｗ１分の入射光を受光することができるからである。
【０２１１】
これに対して、図１３の画素１２１ａ'は、図１３の画素１２１ａよりも遮光される範囲が広いため、図１５の左部で示されるように、撮像素子１２１に対して入射光の入射可能角度範囲Ｂ（＜Ａ）となるため、被写体面１３１上において、水平方向に被写体幅Ｗ２（＜Ｗ１）分の入射光を受光するからである。
【０２１２】
つまり、遮光範囲が狭い図１３の画素１２１ａは、被写体面１３１上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い図１３の画素１２１ａ'は、被写体面１３１上の狭い範囲を撮像するのに適した狭画角画素である。尚、ここでいう広画角画素および狭画角画素は、図１３の画素１２１ａ，１２１ａ'の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
【０２１３】
尚、図１５は、撮像素子１２１の中心位置Ｃ１に対する、被写体面１３１上の位置と、それぞれの位置からの入射光の入射角度との関係を示している。また、図１５においては、被写体面１３１上の位置と、被写体面１３１上のそれぞれの位置からの入射光の入射角度との水平方向に対する関係が示されているが、垂直方向についても同様の関係となる。さらに、図１５の右部には、図１３における画素１２１ａ，１２１ａ'が示されている。
【０２１４】
このような構成により、図１４の下段で示されるように、撮像素子１２１における、点線で囲まれた範囲ＺＡに図１３の画素１２１ａを、一点鎖線で囲まれた範囲ＺＢに図１３の画素１２１ａ'を、それぞれ所定画素数ずつ集めて構成する場合、被写体幅Ｗ１に対応する画角ＳＱ１の画像を復元しようとするときには、画角ＳＱ１を撮像する図１３の画素１２１ａを用いるようにすることで、適切に被写体面１３１の被写体幅Ｗ１の画像を復元することができる。
【０２１５】
同様に、被写体幅Ｗ２に対応する画角ＳＱ２の画像を復元しようとするときには、画角ＳＱ２を撮像する図１３の画素１２１ａ'の検出信号レベルを用いるようにすることで、適切に被写体幅Ｗ２の画像を復元することができる。
【０２１６】
尚、図１４の下段においては、図中の左側に画素１２１ａ'が所定画素数だけ設けられ、右側に画素１２１ａが所定画素数だけ設けられた構成として示されているが、これは説明を簡単にするための例として示されたものであり、画素１２１ａと画素１２１ａ'とは、ランダムに混在して配置されることが望ましい。
【０２１７】
このように、画角ＳＱ２は、画角ＳＱ１よりも画角が狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の所定画素数で復元する場合、画角ＳＱ１の画像よりも、より狭い画角となる画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。
【０２１８】
つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
【０２１９】
尚、画角の広い画像を復元画像として得る場合、広画角画素の全画素を用いるようにしてもよいし、広画角画素の一部を用いるようにしてもよい。また、画角の狭い画像を復元画像として得る場合、狭画角画素の全画素を用いるようにしてもよいし、狭画角画素の一部を用いるようにしてもよい。
【０２２０】
以上のような撮像素子１２１を用いることにより、結果として、撮像レンズ、回折格子等からなる光学素子や、ピンホールなどが不要となるため、装置の設計の自由度を高めることが可能になると共に、入射光の入射方向に対する装置の小型化を実現することが可能となり、製造コストを低減することが可能となる。また、フォーカスレンズなどのような、光学像を結像させるための撮像レンズに相当するレンズも不要となる。
【０２２１】
さらに、撮像素子１２１を用いることにより、検出画像を取得するのみで、その後において、被写体距離や画角に応じた係数セット群を選択的に用いて構成した連立方程式を解いて復元画像を求めることで、様々な被写体距離や画角の復元画像を生成することが可能となる。
【０２２２】
さらに、撮像素子１２１は、画素単位で入射角指向性を持つことができるので、回折格子からなる光学フィルタと従来の撮像素子等と比較して、多画素化を実現することができ、また、高解像度で、かつ、高角度分解能の復元画像を得ることができる。一方、光学フィルタと従来の撮像素子とからなる撮像装置では、画素を微細化しても、光学フィルタの微細化が難しいため、復元画像の高解像度化等の実現が難しい。
【０２２３】
また、撮像素子１２１は、回折格子からなる光学フィルタ等を必要としないので、使用環境が高温になって光学フィルタが熱で歪むといったことがない。したがって、このような撮像素子１２１を用いることにより、環境耐性の高い装置を実現することが可能となる。
【０２２４】
＜第１の変形例＞
図６の右部においては、撮像素子１２１の各画素１２１ａにおける遮光膜１２１ｂの構成として、垂直方向に対しては全体を遮光し、かつ、水平方向に対しての遮光幅や位置を変化させることにより、水平方向の入射角指向性の違いを持たせる例を示したが、遮光膜１２１ｂの構成はこの例に限定されない。例えば、水平方向に対して全体として遮光し、垂直方向の幅（高さ）や位置を変化させるようにして、垂直方向の入射角指向性の違いを持たせるようにしてもよい。
【０２２５】
なお、図６の右部で示される例のように、垂直方向に対しては画素１２１ａ全体を遮光し、かつ、水平方向に対して所定の幅で画素１２１ａを遮光する遮光膜１２１ｂは、横帯タイプの遮光膜１２１ｂと称する。これに対して、水平方向に対しては画素１２１ａ全体を遮光し、かつ、垂直方向に対して所定の高さで画素１２１ａを遮光する遮光膜１２１ｂは、縦帯タイプの遮光膜１２１ｂと称する。
【０２２６】
また、図１６の左部に示される例のように、縦帯タイプと横帯タイプの遮光膜１２１ｂを組み合わせて、画素１２１ａをＬ字型の遮光膜１２１ｂを設けるようにしてもよい。図１６の左部において、黒色で示される部分が遮光膜１２１ｂである。つまり、遮光膜１２１ｂ−２１乃至遮光膜１２１ｂ−２４は、それぞれ、画素１２１ａ−２１乃至画素１２１ａ−２４の遮光膜である。
【０２２７】
これらの各画素（画素１２１ａ−２１乃至画素１２１ａ−２４）は、図１６の右部に示されるような入射角指向性を有することになる。図１６の右部に示されるグラフは、各画素における受光感度を示している。横軸が入射光の水平方向（ｘ方向）の入射角度θｘを表し、縦軸が入射光の垂直方向（ｙ方向）の入射角度θｙを表している。そして、範囲Ｃ４内の受光感度が、範囲Ｃ４の外よりも高く、範囲Ｃ３内の受光感度が、範囲Ｃ３の外よりも高く、範囲Ｃ２内の受光感度が、範囲Ｃ２の外よりも高く、範囲Ｃ１内の受光感度が、範囲Ｃ１の外よりも高い。
【０２２８】
従って、各画素について、範囲Ｃ１内となる、水平方向（ｘ方向）の入射角度θｘと、垂直方向（ｙ方向）の入射角度θｙとの条件を満たす入射光の検出信号レベルが最も高くなり、範囲Ｃ２内，範囲Ｃ３内，範囲Ｃ４内、および、範囲Ｃ４以外の範囲の条件の順に検出信号レベルが低くなることが示されている。このような受光感度の強度は、遮光膜１２１ｂにより遮光される範囲により決定される。
【０２２９】
また、図１６の左部において、各画素１２１ａ内のアルファベットは、カラーフィルタの色を示している（説明の便宜上記載したものであり、実際に表記されているものではない）。画素１２１ａ−２１は緑色のカラーフィルタが配置されるＧ画素であり、画素１２１ａ−２２は赤色のカラーフィルタが配置されるＲ画素であり、画素１２１ａ−２３は青色のカラーフィルタが配置されるＢ画素であり、画素１２１ａ−２４は緑色のカラーフィルタが配置されるＧ画素である。つまり、これらの画素は、ベイヤ配列を形成している。もちろん、これは一例であり、カラーフィルタの配列パターンは任意である。遮光膜１２１ｂの配置とカラーフィルタとは無関係である。例えば、一部または全部の画素において、カラーフィルタ以外のフィルタが設けられるようにしてもよいし、フィルタが設けられないようにしてもよい。
【０２３０】
図１６の左部においては、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中左辺と下辺の側を遮光する例が示されているが、この「Ｌ字型」の遮光膜１２１ｂの向きは任意であり、図１６の例に限定されない。例えば、「Ｌ字型」の遮光膜１２１ｂが、画素１２１ａの図中下辺と右辺の側を遮光するようにしてもよいし、画素１２１ａの図中右辺と上辺の側を遮光するようにしてもよいし、画素１２１ａの図中上辺と左辺の側を遮光するようにしてもよい。もちろん、この遮光膜１２１ｂの向きは、画素毎に独立に設定することができる。なお、この「Ｌ字型」の遮光膜１２１ｂを「Ｌ字タイプの遮光膜１２１ｂ」とも総称する。
【０２３１】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述のＬ字タイプの遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。
【０２３２】
＜第２の変形例＞
以上においては、横帯タイプ、縦帯タイプ、およびＬ字タイプの遮光膜について、遮光されている範囲がランダムに変化するように各画素に配置される例について説明してきたが、例えば、図１７の撮像素子１２１'で示されるように、矩形開口を設けた場合に、個々の画素において光線が受光する位置の近傍の範囲以外を遮光する遮光膜１２１ｂ（図中、黒色で示された範囲）を構成するようにしてもよい。
【０２３３】
すなわち、各画素について、矩形開口を設けた場合に、所定の被写体距離の被写体面を構成する点光源より出射される光線のうち、矩形開口を透過して受光される光線のみを受光するような入射角指向性を有するように遮光膜１２１ｂを設けるようにしてもよい。
【０２３４】
尚、図１７においては、例えば、水平方向の画素配列に対して、遮光膜１２１ｂの水平方向の幅が幅ｄｘ１，ｄｘ２，・・・ｄｘｎと変化しており、これが、ｄｘ１＜ｄｘ２＜・・・＜ｄｘｎの関係となる。同様に、垂直方向の画素配列に対して、遮光膜１２１ｂの垂直方向の高さが高さｄｙ１，ｄｙ２，・・・ｄｙｍと変化しており、これが、ｄｙ１＜ｄｙ２＜・・・＜ｄｘｍの関係となる。また、遮光膜１２１ｂの水平方向の幅、および垂直方向の幅の、それぞれの変化の間隔は、復元する被写体分解能（角度分解能）に依るものである。
【０２３５】
換言すれば、図１７の撮像素子１２１'における各画素１２１ａの構成は、水平方向および垂直方向に対して撮像素子１２１'内の画素配置に対応するように、遮光する範囲を変化させるような入射角指向性を持たせているといえる。
【０２３６】
より詳細には、図１７の各画素１２１ａの遮光範囲は、例えば、図１８の左部で示される画素１２１ａを用いて説明される規則に従って決定される。
【０２３７】
尚、図１８の右部は、図１７と同一の撮像素子１２１'の構成を示している。また、図１８の左部は、図１８（図１７と同一）の右部における撮像素子１２１'の画素１２１ａの構成を示している。
【０２３８】
図１８の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１だけ遮光膜１２１ｂにより遮光し、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１だけ遮光膜１２１ｂにより遮光する。尚、図１８，図１９において、遮光膜１２１ｂは黒色で示された範囲である。
【０２３９】
図１８の左部において、遮光膜１２１ｂが、このように形成されることで遮光される範囲を、以降において、画素１２１ａの主遮光部Ｚ１０１（図１８左部の黒色部）と称し、それ以外の方形状の範囲を範囲Ｚ１０２と称する。
【０２４０】
画素１２１ａにおける、範囲Ｚ１０２内に、遮光膜１２１ｂにより遮光されない矩形開口部Ｚ１１１が設けられるものとする。したがって、範囲Ｚ１０２において、矩形開口部Ｚ１１１以外の範囲は、遮光膜１２１ｂにより遮光される。
【０２４１】
図１７の撮像素子１２１'内の画素配列は、図１８の右部（図１７と同一）で示されるように、左端部で、かつ、上端部の画素１２１ａ−１は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺からｄｙ１の距離に配置する構成とする。
【０２４２】
同様に、画素１２１ａ−１の右隣の画素１２１ａ−２は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ２であって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２４３】
以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１１１の右辺が、画素１２１ａの右辺から幅ｄｘ１，ｄｘ２・・・ｄｘｎと移動する。尚、図１８の範囲Ｚ１０２における右上部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘｎであって、その上辺が画素１２１ａの上辺から高さｄｙ１の距離に配置したときの状態を示している。また、幅ｄｘ１，ｄｘ２・・・ｄｘｎのそれぞれの間隔は、範囲Ｚ１０２の水平方向の幅から矩形開口部Ｚ１１１の幅を引いた幅を水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより水平方向の変化の間隔が決定される。
【０２４４】
また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
【０２４５】
さらに、画素１２１ａ−１の直下に隣接する画素１２１ａ−３は、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙ２の距離に配置して、矩形開口部Ｚ１１１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２４６】
以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１１１の上辺が、画素１２１ａの上辺から高さｄｙ１，ｄｙ２・・・ｄｙｎと移動する。尚、図１８の範囲Ｚ１０２における左下部の点線の方形部分が、矩形開口部Ｚ１１１を、その左辺が画素１２１ａの左辺から幅ｄｘ１であって、その上辺が画素１２１ａの上辺から高さｄｙｍの距離に配置したときの状態を示している。また、高さｄｙ１，ｄｙ２・・・ｄｙｍのそれぞれの間隔は、範囲Ｚ１０２の垂直方向の高さから矩形開口部Ｚ１１１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。
【０２４７】
また、撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１１１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
【０２４８】
さらに、図１８（図１７）で示される撮像素子１２１'を構成する各画素１２１ａの主遮光部Ｚ１０１、および矩形開口部Ｚ１１１を変化させることで、画角を変化させることができる。
【０２４９】
図１９の右部は、図１８（図１７）の撮像素子１２１'に対して画角を広くする場合の撮像素子１２１'の構成を示している。また、図１９の左部は、図１９の右部における撮像素子１２１'の画素１２１ａの構成を示している。
【０２５０】
すなわち、図１９の左部で示されるように、例えば、画素１２１ａ内に、図１８における主遮光部Ｚ１０１よりも遮光範囲が狭い主遮光部Ｚ１５１（図１９左部の黒色部）を設定し、それ以外の範囲を範囲Ｚ１５２に設定する。さらに、範囲Ｚ１５２内に、矩形開口部Ｚ１１１よりも開口面積が広い矩形開口部Ｚ１６１を設定する。
【０２５１】
より詳細には、図１９の左部で示されるように、画素１２１ａの上辺および下辺の端部から画素１２１ａ内に向かって、それぞれ幅ｄｘ１'（＜ｄｘ１）だけ遮光膜１２１ｂにより遮光され、左辺および右辺の端部から画素１２１ａ内に向かって、それぞれ高さｄｙ１'（＜ｄｙ１）だけ遮光膜１２１ｂにより遮光されることで、矩形開口部Ｚ１６１が形成される。
【０２５２】
ここで、図１９の右部で示されるように、左端部で、かつ、上端部の画素１２１ａ−１は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'の距離に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２５３】
同様に、画素１２１ａ−１の右隣の画素１２１ａ−２は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ２'であって、その上辺が画素１２１ａの上辺から高さｄｙ１'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２５４】
以下同様に、水平方向に隣接する画素１２１ａは、配置が図中の右側に進むにしたがって、矩形開口部Ｚ１６１の右辺が、画素１２１ａの右辺から幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'と移動する。ここで、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'のそれぞれの間隔は、範囲Ｚ１５２の水平方向の幅から矩形開口部Ｚ１６１の水平方向の幅を引いた幅を、水平方向の画素数ｎで割った値となる。すなわち、水平方向の画素数ｎで割ることにより垂直方向の変化の間隔が決定される。したがって、幅ｄｘ１'、ｄｘ２'・・・ｄｘｎ'の変化の間隔は、幅ｄｘ１、ｄｘ２・・・ｄｘｎの変化の間隔より大きくなる。
【０２５５】
また、図１９の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の水平方向の位置は、撮像素子１２１'内における水平方向の位置が同一の画素１２１ａ（同一の列の画素１２１ａ）内において同一になる。
【０２５６】
さらに、画素１２１ａ−１の直下に隣接する画素１２１ａ−３は、矩形開口部Ｚ１６１を、その左辺が画素１２１ａの左辺から幅ｄｘ１'であって、その上辺が画素１２１ａの上辺から高さｄｙ２'に配置して、矩形開口部Ｚ１６１以外の範囲を遮光膜１２１ｂにより遮光する構成とする。
【０２５７】
以下同様に、垂直方向に隣接する画素１２１ａは、配置が図中の下側に進むにしたがって、矩形開口部Ｚ１６１の上辺が、画素１２１ａの上辺から高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'と変化する。ここで、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、範囲Ｚ１５２の垂直方向の高さから矩形開口部Ｚ１６１の高さを引いた高さを垂直方向の画素数ｍで割った値となる。すなわち、垂直方向の画素数ｍで割ることにより垂直方向の変化の間隔が決定される。したがって、高さｄｙ１'、ｄｙ２'・・・ｄｙｍ'の変化の間隔は、幅高さｄｙ１、ｄｙ２・・・ｄｙｍの変化の間隔より大きくなる。
【０２５８】
また、図１９の撮像素子１２１'における画素１２１ａ内の矩形開口部Ｚ１６１の垂直方向の位置は、撮像素子１２１'内における垂直方向の位置が同一の画素１２１ａ（同一の行の画素１２１ａ）内において同一になる。
【０２５９】
このように、主遮光部の遮光範囲と開口部の開口範囲との組み合わせを変化させることで、様々な画角の（様々な入射角指向性を持った）画素１２１ａからなる撮像素子１２１'を実現することが可能となる。
【０２６０】
さらに、同一の画角の画素１２１ａのみならず、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させるようにしてもよい。
【０２６１】
例えば、図２０で示されるように、点線で示される２画素×２画素からなる４画素を１個の単位Ｕとして、それぞれの単位Ｕが、広画角の画素１２１ａ−Ｗ、中画角の画素１２１ａ−Ｍ、狭画角の画素１２１ａ−Ｎ、極狭画角の画素１２１ａ−ＡＮの４画素から構成されるようにする。
【０２６２】
この場合、例えば、全画素１２１ａの画素数がXである場合、４種類の画角ごとにX/4画素ずつの検出画像を用いて復元画像を復元することが可能となる。この際、画角毎に異なる４種類の係数セットが使用されて、４種類の異なる連立方程式により、それぞれ異なる画角の復元画像が復元される。
【０２６３】
このため、復元する画角の復元画像を、復元する画角の撮像に適した画素から得られる検出画像を用いて復元することで、４種類の画角に応じた適切な復元画像を復元することが可能となる。
【０２６４】
また、４種類の画角の中間の画角や、その前後の画角の画像を、４種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
【０２６５】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した矩形開口を有する遮光膜１２１ｂによる入射光指向性と同等の入射光指向性を実現することができる。勿論、この場合も、様々な画角の画素１２１ａを組み合わせて撮像素子１２１を実現させることもできる。また、中間の画角や、その前後の画角の画像を、複数種類の画角の画像から補間生成するようにしてもよく、様々な画角の画像をシームレスに生成することで、疑似的な光学ズームを実現するようにしてもよい。
【０２６６】
＜第３の変形例＞
ところで、撮像素子１２１における画素１２１ａの遮光膜１２１ｂの遮光している範囲にランダム性を持たせている場合、遮光膜１２１ｂの遮光している範囲の違いの乱雑さが大きいほど、復元部３２１等による処理の負荷は大きなものとなる。そこで、画素１２１ａの遮光膜１２１ｂの遮光している範囲の違いの一部を規則的なものとして、この違いの乱雑さを低減させることで、処理負荷を低減させるようにしてもよい。
【０２６７】
例えば、縦帯タイプと横帯タイプとを組み合わせたＬ字タイプの遮光膜１２１ｂを構成するようにして、所定の列方向に対しては、同一幅の横帯タイプの遮光膜１２１ｂを組み合わせ、所定の行方向に対しては、同一の高さの縦帯タイプの遮光膜１２１ｂを組み合わせるようにする。このようにすることにより、各画素１２１ａの遮光膜１２１ｂの遮光範囲が、列方向および行方向で規則性を持たせつつ、画素単位ではランダムに異なる値に設定されるようになる。その結果、各画素１２１ａの遮光膜１２１ｂの遮光範囲の違い、すなわち、各画素の入射角指向性の違いの乱雑さを低減させ、復元部３２１等の撮像素子１２１の外部の処理負荷を低減させることができる。
【０２６８】
例えば、図２１の撮像素子１２１''の場合、範囲Ｚ１３０で示される同一列の画素については、いずれも同一の幅Ｘ０の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０で示される同一行の画素については、同一の高さＹ０の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
【０２６９】
同様に、範囲Ｚ１３０に隣接する範囲Ｚ１３１で示される同一列の画素については、いずれも同一の幅Ｘ１の横帯タイプの遮光膜１２１ｂが用いられ、範囲Ｚ１５０に隣接する範囲Ｚ１５１で示される同一行の画素については、同一の高さＹ１の縦帯タイプの遮光膜１２１ｂが用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
【０２７０】
さらに、範囲Ｚ１３１に隣接する範囲Ｚ１３２で示される同一列の画素については、いずれも同一の幅Ｘ２の横帯タイプの遮光膜が用いられ、範囲Ｚ１５１に隣接する範囲Ｚ１５２で示される同一行の画素については、同一の高さＹ２の縦帯タイプの遮光膜が用いられ、各行列で特定される画素１２１ａについては、これらが組み合わされたＬ字タイプの遮光膜１２１ｂが設定されている。
【０２７１】
このようにすることで、遮光膜１２１ｂの水平方向の幅および位置、並びに、垂直方向の高さおよび位置に規則性を持たせつつ、画素単位で遮光膜の範囲を異なる値に設定することができるので、入射角指向性の違いの乱雑さを抑え込むことができる。結果として、係数セットのパターンを低減させることが可能となり、後段（例えば、復元部３２１等）における演算処理の処理負荷を低減させることが可能となる。
【０２７２】
より詳細には、図２２の右上部で示されるように、Ｎ画素×Ｎ画素の検出画像ＰｉｃからＮ×Ｎ画素の復元画像を求める場合、Ｎ×Ｎ行１列の復元画像の各画素の画素値を要素とするベクトルＸ、Ｎ×Ｎ行１列の検出画像の各画素の画素値を要素とするベクトルＹ、および、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａにより、図２２の左部で示されるような関係が成立する。
【０２７３】
すなわち、図２２においては、係数セットからなるＮ×Ｎ行Ｎ×Ｎ列の行列Ａの各要素と、復元画像を表すＮ×Ｎ行１列のベクトルＸとを乗算した結果が、検出画像を表すＮ×Ｎ行１列のベクトルＹとなることが示されており、この関係から連立方程式が求められる。
【０２７４】
尚、図２２においては、行列Ａの範囲Ｚ２０１で示される１列目の各要素が、ベクトルＸの１行目の要素に対応しており、行列Ａの範囲Ｚ２０２で示されるＮ×Ｎ列目の各要素が、ベクトルＸのＮ×Ｎ行目の要素に対応していることを示している。
【０２７５】
換言すれば、図２２で示される行列式に基づいた連立方程式を解くことにより、ベクトルＸの各要素が求められることにより復元画像が求められる。また、ピンホールを用いた場合、および、撮像レンズ等の、同じ方向から入射した入射光を互いに隣接する画素出力単位の双方へ入射させるための集光機能を用いた場合、各画素の位置と光の入射角度の関係が一意に定まるので、行列Ａは、正方行列であって対角成分（（i,i）要素）が全て１からなり、対角成分以外が全て０からなる対角行列になる。逆に、図５の撮像素子１２１のようにピンホールおよび撮像レンズのいずれも用いない場合、各画素の位置と光の入射角度の関係は一意に定まらないので、行列Ａは対角行列にならない。
【０２７６】
ところで、一般的に、図２２の行列式は、両辺に行列Ａの逆行列Ａ−１を左から乗じることにより、図２３で示されるように変形され、検出画像のベクトルＹに逆行列Ａ−１を右から乗じることで、検出画像であるベクトルＸの各要素が求められる。
【０２７７】
しかしながら、現実の行列Ａは、正確に求められない、正確に測定できない、行列Ａの基底ベクトルが線形従属に近いケースで解けない、および、検出画像の各要素にノイズが含まれるといった理由のいずれか、または組み合わせで、連立方程式を解くことができないことがある。
【０２７８】
そこで、様々な誤差に対してロバストな構成を考え、正則化最小二乗法の概念を用いた、以下の式（７）をとる。
【０２７９】
【数１】
2019078337.tif 000003
・・・（７）
【０２８０】
ここで、式（７）にｘの上部に「＾」が付されたものは、ベクトルＸを、Ａは、行列Ａを、Ｙは、ベクトルＹを、γはパラメータを、||Ａ||はL2ノルム（二乗和平方根）を表している。ここで、第一項は、図２２の両辺の差異を最小にするときのノルムであり、第二項は正則化項である。
【０２８１】
この式（７）をｘについて解くと、以下の式（８）で表現される。
【０２８２】
【数２】
2019078337.tif 000004
・・・（８）
【０２８３】
しかしながら、行列Ａは、膨大なサイズであるので、計算時間や計算に大容量のメモリが必要になる。
【０２８４】
そこで、例えば、図２４で示されるように、行列Ａを、Ｎ行Ｎ列の行列ＡＬと、Ｎ行Ｎ列の行列ＡＲＴとに分解し、それぞれ復元画像を表すＮ行Ｎ列の行列Ｘの前段と後段とから掛けた結果が、検出画像を表すＮ行Ｎ列の行列Ｙとなるようにすることを考える。これにより、要素数（Ｎ×Ｎ）×（Ｎ×Ｎ）の行列Ａに対して、要素数が（Ｎ×Ｎ）の行列ＡＬ、ＡＲＴとなるので、要素数を１／（Ｎ×Ｎ）に小さくすることができる。結果として、要素数が（Ｎ×Ｎ）からなる２個の行列ＡＬ，ＡＲＴを用いるだけで済むので、計算量とメモリの容量を低減させることができる。
【０２８５】
ここで、ＡＴは、行列Ａの転置行列であり、γはパラメータであり、Ｉは、単位行列である。式（８）におけるカッコ内の行列を行列ＡＬとし、行列Ａの転置行列の逆行列を行列ＡＲＴとすることで。図２４で示される行列式を実現する。
【０２８６】
このように図２４で示されるような計算は、図２５で示されるように、行列Ｘにおける注目要素Ｘｐに対しては、行列ＡＬの対応する列の各要素群Ｚ２２１を乗算することで、要素群Ｚ２２２が求められる。さらに、要素群Ｚ２２２と行列ＡＲＴの注目要素Ｘｐに対応する行の要素とを乗算することで、注目要素Ｘｐに対応する２次元応答Ｚ２２４が求められる。そして、行列Ｘの全要素に対応する２次元応答Ｚ２２４が積算されることで行列Ｙが求められる。
【０２８７】
そこで、行列ＡＬの各行に対応する要素群Ｚ２２１には、図２１で示される撮像素子１２１の列毎に同一の幅に設定される横帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
【０２８８】
同様に、行列ＡＲＴの各行の要素群Ｚ２２３には、図２１で示される撮像素子１２１の行毎に設定される同一の高さに設定される縦帯タイプの画素１２１ａの入射角指向性に対応する係数セットを持たせる。
【０２８９】
この結果、検出画像に基づいて、復元画像を復元する際に使用する行列を小さくさせることが可能となるので、計算量が低減することで、処理速度を向上させ、計算に係る電力消費を低減させることが可能となる。また、行列を小さくできるので、計算に使用するメモリの容量を低減させることが可能となり、装置コストを低減させることが可能となる。
【０２９０】
尚、図２１の例においては、水平方向、および垂直方向に所定の規則性を持たせつつ、画素単位で遮光される範囲（受光できる範囲）を変化させる例が示されているが、本開示の技術においては、このように画素単位で遮光される範囲（受光できる範囲）が、完全にランダムに設定されてはいないものの、ある程度ランダムに設定されるものについても、ランダムに設定されるものとみなす。換言すれば、本開示においては、画素単位で遮光される範囲（受光できる範囲）が完全にランダムに設定される場合のみならず、ある程度ランダムなもの（例えば、全画素のうち、一部については規則性を持たせた範囲を含むが、その他の範囲はランダムである場合）、または、ある程度規則性がなさそうなもの（全画素のうち、図２１を参照して説明したような規則に従って配置されていることが確認できない配置の場合）についてもランダムであるものとみなす。
【０２９１】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部１２２等の撮像素子１２１の外部の処理負荷を低減させることができる。
【０２９２】
＜第４の変形例＞
画素単位の遮光膜１２１ｂの形状のバリエーションは、任意であり、上述した各例に限定されない。例えば、遮光膜１２１ｂを三角形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせる（設定する）ようにしてもよいし、遮光膜１２ｂを円形に設定し、その範囲を異なるものとすることで異なる入射角指向性を持たせるようにしてもよい。また、例えば、斜め方向の線状の遮光膜などでも良い。
【０２９３】
また、所定数の複数の画素からなるユニットを構成する複数の画素単位で遮光膜１２１ｂのバリエーション（パターン）を設定するようにしてもよい。この１ユニットはどのような画素により構成されるようにしてもよい。例えば、撮像素子１２１がカラーフィルタを備えるものとし、そのカラーフィルタの色配列の単位を構成する画素により構成されるようにしてもよい。また、露光時間の異なる画素を組み合わせた画素グループをユニットとするようにしてもよい。なお、ユニットを構成する各画素における遮光膜１２１ｂが遮光する範囲のパターンのランダム性が高い方が、すなわち、ユニットを構成する画素がそれぞれに異なる入射角指向性を備えている方が望ましい。
【０２９４】
また、ユニット間で遮光膜１２１ｂの配置パターンを設定するようにしてもよい。例えば、ユニット毎に、遮光膜の幅や位置を変えるようにしてもよい。さらに、異なるカテゴリで分類される複数の画素からなるユニット内やユニット間で遮光膜１２１ｂが遮光する範囲のパターンを設定するようにしてもよい。
【０２９５】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、例えば、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、上述した画素１２１ａの遮光膜１２１ｂの遮光している範囲の変化の一部を規則的なものとした場合の入射光指向性と同等の入射光指向性を実現することができる。このようにすることにより、各画素の入射角指向性における乱雑さを低減させ、復元部１２２等の撮像素子１２１の外部の処理負荷を低減させることができる。
【０２９６】
以上においては遮光膜について説明したが、この例の説明は、画素内に配置した複数のフォトダイオードを選択的に用いることにより入射角指向性を持たせる場合にも適用することができる。つまり、分割位置（各部分領域の大きさや形状）や、各フォトダイオードの位置、大きさ、形状等を適切に設定したり、フォトダイオードを適切に選択したりすることにより、例えば、三角形、円形、斜め方向の線状等の、任意の形状の遮光膜による入射光指向性と同等の入射光指向性を実現することができる。
【０２９７】
また、例えば、分割位置（各部分領域の大きさや形状）の設定、各フォトダイオードの位置、大きさ、形状等の設定、およびフォトダイオードの選択等を、上述した遮光膜１２１ｂの場合と同様に、ユニット毎に設定するようにしてもよい。
【０２９８】
＜フォトダイオードの制御＞
図５を参照して上述したような画素内に配置した複数のフォトダイオードを選択的に用いる場合、複数のフォトダイオード１２１ｆのそれぞれの画素出力単位の出力画素値への寄与の有無や程度を切り替えることにより画素出力単位の出力画素値の入射角指向性を様々に変化させることができるようにしてもよい。
【０２９９】
例えば、図１９に示されるように、画素１２１ａに、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９の９個（縦３個×横３個）のフォトダイオード１２１ｆが配置されているとする。この場合、この画素１２１ａを、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９を有する画素１２１ａ−ｂとして用いるようにしてもよいし、フォトダイオード１２１ｆ−１１１、１２１ｆ−１１２、１２１ｆ−１１４、および１２１ｆ−１１５を有する画素１２１ａ−ｓとして用いるようにしてもよい。
【０３００】
例えば、画素１２１ａを画素１２１ａ−ｂとする場合、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９の当該画素１２１ａの出力画素値への寄与の有無や度合いを制御することによって出力画素値の入射角指向性が制御される。これに対して、画素１２１ａを画素１２１ａ−ｓとする場合、フォトダイオード１２１ｆ−１１１、１２１ｆ−１１２、１２１ｆ−１１４、および１２１ｆ−１１５の当該画素１２１ａの出力画素値への寄与の有無や度合を制御することによって出力画素値の入射角指向性が制御される。この場合、その他のフォトダイオード１２１ｆ（フォトダイオード１２１ｆ−１１３、１２１ｆ−１１６、１２１ｆ−１１７乃至１２１ｆ−１１９）は、出力画素値に寄与しないように制御される。
【０３０１】
つまり、例えば複数の画素１２１ａ−ｂ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なる。これに対して、例えば複数の画素１２１ａ−ｓ間で出力画素値の入射角指向性が互いに異なる場合、フォトダイオード１２１ｆ−１１１、１２１ｆ−１１２、１２１ｆ−１１４、および１２１ｆ−１１５の内の少なくともいずれか１つの出力画素値への寄与の有無や度合いが異なり、その他のフォトダイオード１２１ｆ−１１３、１２１ｆ−１１６、１２１ｆ−１１７乃至１２１ｆ−１１９は、これらの画素間で共通して、出力画素値に寄与しない。
【０３０２】
なお、画素１２１ａを画素１２１ａ−ｂとするか画素１２１ａ−ｓとするかは、画素毎に設定することができる。また、この設定をユニット（複数画素）毎に行うことができるようにしてもよい。
【０３０３】
また、上述したように撮像素子１２１の各画素（各画素出力単位）にはオンチップレンズが１つ形成される。つまり、画素１２１ａが図１９に示される例のような構成の場合、図２０に示されるように、そのフォトダイオード１２１ｆ−１１１乃至１２１ｆ−１１９に対して１つのオンチップレンズ１２１ｃが設けられる。したがって、図１９を参照して説明したように画素１２１ａを画素１２１ａ−ｂとする場合も、画素１２１ａ−ｓとする場合も、１画素（１画素出力単位）と１つのオンチップレンズ１２１ｃとが１対１に対応する。
【０３０４】
＜撮像装置の動作＞
以上においては撮像素子１２１について説明した。図４の撮像装置１０１においては、以上のような撮像素子１２１を用いる。次に、この撮像装置１０１の動作について説明する。
【０３０５】
撮像装置１０１は、図１を参照して説明したように、撮像素子１２１において撮像により得られた検出画像を、復元行列に関連付けずに出力する。
【０３０６】
ここで、「関連付ける」という用語は、例えば、一方の情報（データ、コマンド、プログラム等）を処理する際に他方の情報を利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられた情報は、１つのファイル等としてまとめられてもよいし、それぞれ個別の情報としてもよい。例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の伝送路上で伝送されるようにしてもよい。また、例えば、情報Ａに関連付けられた情報Ｂは、その情報Ａとは別の記録媒体（又は同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、情報全体でなく、情報の一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、又はフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
【０３０７】
このようにすることにより、被写体を視認不可能な検出画像が表示側の画像出力装置１０２に伝送させることができるので、より容易に画像の不正な利用や改竄を抑制することができる。
【０３０８】
＜撮像処理の流れ＞
撮像装置１０１は、撮像処理を実行して上述した処理を行う。図２８のフローチャートを参照して、この場合の撮像装置１０１が実行する撮像処理の流れの例を説明する。
【０３０９】
撮像処理が開始されると、撮像装置１０１の撮像素子１２１は、ステップＳ１０１において、被写体を撮像し、検出画像を得る。
【０３１０】
ステップＳ１０２において、出力処理部１２３は、ステップＳ１０１において得られた検出画像を出力する。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体１１６への記録等が含まれるようにしてもよい。
【０３１１】
例えば、出力が「データ出力」の場合、撮像素子１２１は、検出画像のデータ等を出力部１１２に供給する。出力部１１２は、その復元行列が関連付けられていない検出画像のデータ等を、外部出力端子から他の装置に出力する。また、例えば、出力が「記憶」の場合、撮像素子１２１は、検出画像のデータ等を記憶部１１３に供給する。記憶部１１３は、その復元行列が関連付けられていない検出画像のデータ等を、自身が有する記憶媒体に記憶する。また、例えば、出力が「送信」の場合、撮像素子１２１は、検出画像のデータ等を通信部１１４に供給する。通信部１１４は、所定の通信方式で他の装置と通信を行い、その復元行列が関連付けられていない検出画像のデータ等を、その通信相手に送信する。さらに、例えば、出力が「記録」の場合、撮像素子１２１は、検出画像のデータ等を記録再生部１１５に供給する。記録再生部１１５は、その復元行列が関連付けられていない検出画像のデータ等を、自身に装着された記録媒体１１６に記録する。
【０３１２】
ステップＳ１０２の処理が終了すると撮像処理が終了する。以上のように撮像処理を行うことにより、被写体を視認不可能な検出画像を伝送させることができるので、より容易に画像の不正な利用や改竄を抑制することができる。
【０３１３】
＜画像出力装置＞
次に、検出画像から復元画像を復元する画像出力装置について説明する。図２９は、本技術を適用した画像処理装置の一実施の形態である画像出力装置の主な構成例を示す図である。図２９に示される画像出力装置１０２は、他の装置より伝送される検出画像を復元画像に変換して出力する装置である。
【０３１４】
図２９に示されるように、画像出力装置１０２は、制御部３０１、入力部３１１、出力部３１２、記憶部３１３、通信部３１４、記録再生部３１５、および復元部３２１等を有する。各処理部等は、バス３２０を介して接続され、互いに情報や命令等を授受することができる。
【０３１５】
制御部３０１は、画像処理装置１０２内の各処理部等の制御に関する処理を行うように構成される。例えば、制御部３０１は、CPU、ROM、RAM等を有し、そのCPU等を用いてプログラムを実行することにより、上述の処理を行う。
【０３１６】
入力部３１１は、情報の入力に関する処理を行うように構成される。例えば、入力部３１１は、操作ボタン、ダイヤル、スイッチ、タッチパネル、リモートコントローラ、センサ等の入力デバイスや外部入力端子を有する。例えば、入力部３１１は、それらの入力デバイスによってユーザ等の外部からの指示（入力された操作に対応する情報）を受け付ける。また、例えば、入力部３１１は、外部入力端子を介して、外部の装置から供給される任意の情報（プログラム、コマンド、データ等）を取得する。また、例えば、入力部３１１は、その受け付けた情報（取得した情報）を、バス１２０を介して他の処理部等に供給する。
【０３１７】
なお、入力部３１１が有するセンサは、例えば加速度センサ等、ユーザ等の外部からの指示を受け付けることができるものであれば、どのようなものであってもよい。また、入力部３１１が有する入力デバイスは任意であり、その数も任意である。入力部３１１が複数種類の入力デバイスを有するようにしてもよい。例えば、入力部３１１が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、入力部３１１が、上述した例以外の入力デバイスを有するようにしてもよい。さらに、例えば、入力部３１１が、バス３２０を介して供給される自身（入力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【０３１８】
出力部３１２は、情報の出力に関する処理を行うように構成される。例えば、出力部３１２は、モニタ等の画像表示デバイス、プロジェクタ等の画像投影デバイス、スピーカ等の音声出力デバイス、外部出力端子等を有する。例えば、出力部３１２は、それらの出力デバイス等を用いて、バス３２０を介して他の処理部等から供給される情報を出力する。例えば、出力部３１２は、例えばGUI等の任意の画像をモニタに表示したり、例えばGUI等の任意の画像をプロジェクタから投影したり、音声（例えば入力操作や処理結果等に対応する音声）を出力したり、任意の情報（プログラム、コマンド、データ等）を外部（他の機器）に出力したりする。
【０３１９】
なお、出力部３１２が有する出力デバイス等は任意であり、その数も任意である。出力部３１２が複数種類の出力デバイス等を有するようにしてもよい。例えば、出力部３１２が、上述した例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、出力部３１２が、上述した例以外の出力デバイス等を有するようにしてもよい。さらに、例えば、出力部３１２が、バス３２０を介して供給される自身（出力デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【０３２０】
記憶部３１３は、情報の記憶に関する処理を行うように構成される。例えば、記憶部３１３は、ハードディスクや半導体メモリ等のような、任意の記憶媒体を有する。例えば、記憶部３１３は、バス３２０を介して他の処理部等から供給される情報（プログラム、コマンド、データ等）をその記憶媒体に記憶する。また、記憶部３１３は、出荷時において任意の情報（プログラム、コマンド、データ等）を記憶しているようにしてもよい。また、記憶部３１３は、任意のタイミングにおいて、または、他の処理部等からの要求に応じて、その記憶媒体に記憶されている情報を読み出し、読み出した情報を、バス３２０を介して他の処理部等に供給する。
【０３２１】
なお、記憶部３１３が有する記憶媒体は任意であり、その数も任意である。記憶部３１３が複数種類の記憶媒体を有するようにしてもよい。例えば、記憶部３１３が、上述した記憶媒体の例の一部を有するようにしてもよいし、全部を有するようにしてもよい。また、記憶部３１３が、上述した例以外の記憶媒体等を有するようにしてもよい。また、例えば、記憶部３１３が、バス３２０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【０３２２】
通信部３１４は、他の装置との通信に関する処理を行うように構成される。例えば、通信部３１４は、所定の通信媒体（例えばインターネット等の任意のネットワーク）を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスを有する。例えば、通信部３１４は、他の装置と通信を行い、バス３２０を介して他の処理部等より供給される情報（プログラム、コマンド、データ等）を、その通信相手である他の装置に供給する。また、例えば、通信部３１４は、他の装置と通信を行い、その通信相手である他の装置から供給される情報を取得し、その情報を、バス３２０を介して他の処理部等に供給する。
【０３２３】
通信部３１４が有する通信デバイスはどのようなものであってもよい。例えば、ネットワークインタフェースであってもよい。通信方法や通信規格は任意である。例えば、通信部３１４が、有線通信を行うことができるようにしてもよいし、無線通信を行うことができるようにしてもよいし、その両方を行うことができるようにしてもよい。また、例えば、通信部３１４が、バス３２０を介して供給される自身（通信デバイス等）の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【０３２４】
記録再生部３１５は、自身に装着された記録媒体３１６を利用した情報の記録や再生に関する処理を行うように構成される。例えば、記録再生部３１５は、自身に装着された記録媒体３１６に記録されている情報（プログラム、コマンド、データ等）を読み出し、その情報を、バス３２０を介して他の処理部等に供給する。また、例えば、記録再生部３１５は、バス３２０を介して他の処理部等から供給される情報を取得し、その情報を、自身に装着された記録媒体３１６に書き込む（記録する）。なお、例えば、記録再生部３１５が、バス３２０を介して供給される自身の制御情報を取得し、その制御情報に基づいて駆動するようにしてもよい。
【０３２５】
なお、記録媒体３１６は、どのようなものであってもよい。例えば、磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどであってもよい。
【０３２６】
復元部３２１は、復元画像の生成（復元）に関する処理を行うように構成される。例えば、復元部３２１は、バス３２０を介して他の処理部より検出画像を取得する。また、例えば、復元部３２１は、復元行列を用いて検出画像を復元画像に変換する。また、例えば、復元部３２１は、生成した復元画像に関するデータ（画素値等）を、バス３２０を介して他の処理部等に供給する。
【０３２７】
なお、出力部３１２、通信部３１４、および記録再生部３１５のうちの一部または全部を一体化して、出力処理部３２２としてもよい。出力処理部３２２は、検出画像の出力に関する処理を行うように構成される。出力処理部３２２は、どのような物理的構成により実現されるようにしてもよい。例えば、出力処理部３２２が、システムLSI等としてのプロセッサとして実現されるようにしてもよい。また、出力処理部３２２が、例えば複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、または、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実現されるようにしてもよい。また、出力処理部３２２を装置として実現するようにしてもよい。
【０３２８】
＜画像出力装置の動作＞
次に、この画像出力装置１０２の動作について説明する。画像出力装置１０２は、図１を参照して説明したように、撮像側から伝送された、被写体を視認不可能な検出画像を取得し、正当な復元行列を用いてその検出画像を、被写体を視認可能な復元画像に変換する。
【０３２９】
この検出画像は、図１乃至図２８を参照して上述した撮像素子１２１において得られたものであり、特徴を有する情報である。つまり、検出画像は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子（例えば、その複数の画素出力単位のうちの少なくとも２つの画素出力単位の出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性が、互いに異なる特性となるようにするための構成を有する撮像素子）により被写体が撮像されて得られた、画素出力単位において得られる検出信号からなる検出画像である。
【０３３０】
そして、この復元行列も、図１乃至図２８を参照して上述した復元行列であり、上述した特徴を有する。つまりこの復元行列は、検出画像から復元画像を復元する際に用いられる係数からなる行列である。復元部３２１は、このような復元行列を用いて、外部の装置より取得した検出画像から復元画像を復元する。
【０３３１】
より具体的には、画像出力装置１０２は、例えば撮像装置１０１やサーバ１０６等の外部の装置から、ネットワーク、ケーブル、または記録媒体３１６等、任意の伝送路を介して伝送される検出画像（のデータ）を取得する。例えば、画像出力装置１０２の入力部３１１、通信部３１４、または記録再生部３１５等は、このように供給される検出画像を取得し、取得した検出画像を復元部３２１に供給する。
【０３３２】
画像出力装置１０２の復元部３２１は、このように他の処理部から供給された検出画像を、正当な復元行列を用いて復元画像に変換する。
【０３３３】
この復元行列（のデータ）の入手方法は任意である。例えば、記憶部３１３等に予め（工場出荷時等に）復元行列が記憶されているようにしてもよい。その場合、この画像出力装置１０２は、その復元行列に対応するマスクパターンを有する撮像装置１０１が生成する検出画像を出力する専用の装置となる。
【０３３４】
また、例えば、復元行列が、正当なユーザ等により入力されるようにしてもよい。その場合、例えば入力部３１１の入力デバイスがその復元行列の入力を受け付ける。また、例えば、正当なユーザ等が、復元行列が記録されている記録媒体３１６を記録再生部３１５に装着することにより、記録再生部３１５がその復元行列を記録媒体３１６から読み出すようにしてもよい。さらに、例えば、復元行列が、他の装置から供給されるようにしてもよい。その場合、入力部３１１の外部入力端子や通信部３１４等を介して、復元行列のデータが受け付けられる。
【０３３５】
いずれの場合も、任意のタイミングにおいて、または、復元部３２１や制御部３０１等の要求に従って、復元行列がバス３２０を介して復元部３２１に供給される。
【０３３６】
画像出力装置１０２の復元部３２１は、復元した復元画像を出力処理部３２２等に供給し、出力させる。例えば、復元部３２１は、復元画像（のデータ）を出力部３１２に供給するようにしてもよい。その場合、出力部３１２は、その復元画像を、モニタに表示したり、プロジェクタから投影したり、外部出力端子を介して周辺機器等の他の装置に供給したりする。また、例えば、復元部３２１が、復元画像を通信部３１４に供給するようにしてもよい。その場合、通信部３１４は、その復元画像を他の装置に送信する。また、復元部３２１が、復元画像を記録再生部３１５に供給するようにしてもよい。その場合、記録再生部３１５は、その復元画像を記録媒体３１６に記録する。
【０３３７】
なお、復元部３２１が、復元画像を記憶部３１３に供給するようにしてもよい。その場合、記憶部３１３は、その復元画像を自身の記憶媒体に記憶する。
【０３３８】
＜画像出力処理の流れ＞
画像出力装置１０２は、画像出力処理を実行して上述した処理を行う。図３０のフローチャートを参照して、この場合の画像出力装置１０２が実行する画像出力処理の流れの例を説明する。
【０３３９】
画像出力処理が開始されると、画像出力装置１０２の例えば通信部３１４（入力部３１１や記録再生部３１５等でもよい）は、ステップＳ１２１において、伝送された検出画像を取得し、それを復元部３２１に供給する。
【０３４０】
ステップＳ１２２において、記憶部３１３は、自身に記憶されている復元行列を読み出し、それを復元部３２１に供給する。なお、上述したように復元行列は、記憶部３１３以外の処理部から復元部３２１に供給されるようにしてもよい。
【０３４１】
ステップＳ１２３において、復元部３２１は、ステップＳ１２２において取得した復元行列を用いて、ステップＳ１２１において取得した検出画像を復元行列に変換する（復元する）。使用した復元行列が処理対象の検出画像に対応している場合（検出画像に対して正当な復元行列である場合）、この処理により、被写体を視認可能な復元画像が得られる。復元部３２１は、得られた復元画像（のデータ）を出力処理部３２２等に供給する。
【０３４２】
ステップＳ１２４において、出力処理部３２２は、その復元画像を出力する。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体３１６への記録等が含まれるようにしてもよい。
【０３４３】
ステップＳ１２４の処理が終了すると画像出力処理が終了する。以上のように画像出力処理を行うことにより、伝送された検出画像から復元画像を正しく復元することができる。したがって、より容易に画像の不正な利用や改竄を抑制することができる。
【０３４４】
＜２．第２の実施の形態＞
＜有効パターン＞
上述したように撮像素子のマスクパターンは、物理構造（遮光膜）により形成されるため、出荷後に変更することは困難である。つまり、撮像素子の全画素から検出信号を読み出して検出画像とする場合、その検出画像に対する正当な復元行列は、固定的となる。しかしながら、撮像素子のどの画素から検出信号を読み出すかを制御することによって、検出画像を変更することができる。つまり、検出画像に対する正当な復元行列を変更することができる。
【０３４５】
例えば、図３１に示されるように、マスクパターンＡの遮光膜が形成される撮像素子１１において、一部の画素から検出信号を読み出すようにする（一部の画素から検出信号を読み出さないようにする）。この検出信号を読み出す画素のパターンを有効パターンＡとすると、撮像素子１１から読み出される検出画像ＡＡは、マスクパターンＡと有効パターンＡとの組み合わせ（マスクパターンＡ×有効パターンＡ）に影響を受けている。したがって、この検出画像ＡＡは、マスクパターンＡと有効パターンＡとの組み合わせ（マスクパターンＡ×有効パターンＡ）の影響を反映した（マスクパターンＡ×有効パターンＡに対応する）係数行列である復元行列ＡＡを用いなければ、被写体を視認可能な復元画像ＡＡに変換することができない。
【０３４６】
例えば、表示側の復元部１２−１は、この復元行列ＡＡを有しており、伝送されてきた検出画像ＡＡを取得し、その検出画像ＡＡに復元行列ＡＡを乗算することにより、復元画像ＡＡを得ることができる。したがって、表示部１３において、この復元画像ＡＡを表示することができる。
【０３４７】
これに対して、復元部１２−２は、マスクパターンＡに対応する復元行列Ａを有している。したがって、この復元部１２−２が、伝送されてきた検出画像ＡＡを取得しても、その復元行列Ａでは、正しく復元することができず、被写体を視認可能な画像を表示部１３に表示させることができない。
【０３４８】
また、復元部１２−３は、マスクパターンＡと、有効パターンＡと異なる有効パターンＢとの組み合わせ（マスクパターンＡ×有効パターンＢ）に対応する復元行列ＡＢを有している。したがって、この復元部１２−３が、伝送されてきた検出画像ＡＡを取得しても、その復元行列ＡＢでは、正しく復元することができず、被写体を視認可能な画像を表示部１３に表示させることができない。
【０３４９】
このように、撮像素子の検出信号を読み出す画素を選択（制御）することにより、得られる検出画像を設定（制御）することができる。つまり、復元に必要な復元行列を設定（制御）することができる。つまり、出荷後にマスクパターンを更新するのと同様の効果を得ることができる。したがって本技術をより多様なシステムに適用することができる。
【０３５０】
例えば、ユーザ毎に独自の有効パターンを設定することにより、各ユーザに対して互いに異なる復元行列を提供することができる。つまり、撮像装置１０１を複数のユーザで共有する場合であっても、復元行列によって復元画像の閲覧の権利（復元画像へのアクセス権）をユーザ毎に管理することができる。
【０３５１】
また、物理構造のマスクパターンは、例えば撮像素子から解析可能であるので、その物理構造のマスクパターンに対応する復元行列は、その復元行列のデータ自体が漏洩していなくても、撮像素子から漏洩するおそれがある。しかしながら、上述のような有効パターンは、物理構造に依存しないため、撮像素子からの漏洩を抑制することができる。したがって、撮像素子の検出信号を読み出す画素を選択（制御）することにより、復元行列が漏洩する可能性を低減させることができる。
【０３５２】
＜有効パターンの制御＞
さらに、有効パターンは、出荷後であっても容易に変更することができるので、例えば図３２に示されるように、有効パターンを更新することにより、復元に必要な復元行列を更新することができる。
【０３５３】
例えば、マスクパターンＡの撮像素子１１の有効パターンが有効パターンＴ０であるとする。この撮像素子１１において得られる検出画像ＡＴ０は、マスクパターンＡと有効パターンＴ０との組み合わせ（マスクパターンＡ×有効パターンＴ０）に影響を受けている。したがって、この検出画像ＡＴ０は、マスクパターンＡと有効パターンＴ０との組み合わせ（マスクパターンＡ×有効パターンＴ０）の影響を反映した（マスクパターンＡ×有効パターンＴ０に対応する）係数行列である復元行列ＡＴ０を用いなければ、被写体を視認可能な復元画像ＡＴ０に変換することができない。
【０３５４】
例えば、表示側の復元部１２−１は、この復元行列ＡＴ０を有しており、伝送されてきた検出画像ＡＴ０を取得し、その検出画像ＡＴ０に復元行列ＡＴ０を乗算することにより、復元画像ＡＴ０を得ることができる。したがって、表示部１３において、この復元画像ＡＴ０を表示することができる。
【０３５５】
この撮像素子１１の有効パターンを有効パターンＴ１に変更したとする。この撮像素子１１において得られる検出画像ＡＴ１は、マスクパターンＡと有効パターンＴ１との組み合わせ（マスクパターンＡ×有効パターンＴ１）に影響を受けている。したがって、この検出画像ＡＴ１は、マスクパターンＡと有効パターンＴ１との組み合わせ（マスクパターンＡ×有効パターンＴ１）に対応する復元行列ＡＴ１を用いなければ、被写体を視認可能な復元画像ＡＴ１に変換することができない。
【０３５６】
したがって、復元行列ＡＴ０を有する復元部１２−１が、伝送されてきた検出画像ＡＴ１を取得しても、その復元行列ＡＴ０では、正しく復元することができず、被写体を視認可能な画像を表示部１３に表示させることができない。
【０３５７】
この復元行列ＡＴ０を復元行列ＡＴ１に更新することにより、復元部１２−１は、検出画像ＡＴ１を正しく復元することができるようになる。
【０３５８】
つまり、以上のように有効パターンを切り替えることにより、復元に必要な復元行列を更新することができる。したがって、例えば、一度復元行列が漏洩しても、その漏洩した復元行列を無効化することができる。したがって、画像の不正な利用や改竄をさらに抑制することができる。
【０３５９】
また、例えば、復元画像へのアクセス権の期限管理等にも適用することができる。つまり、より多様なシステムに適用することができる。
【０３６０】
＜撮像装置＞
図３３は、この場合の撮像装置１０１の主な構成例を示すブロック図である。図３３に示されるように、この場合の撮像装置１０１は、第１の実施の形態の場合の構成（図４）に加え、読み出し制御部３５１をさらに有する。
【０３６１】
読み出し制御部３５１は、撮像素子１２１の読み出しの制御に関する処理を行うように構成される。例えば、読み出し制御部３５１は、撮像素子１２１のどの画素から制御信号を読み出すかを制御する。すなわち、読み出し制御部３５１は、撮像素子１２１の有効パターンを設定（制御）する。
【０３６２】
撮像素子１２１は、読み出し制御部３５１により検出信号を読み出す画素と指定された画素から検出信号を読み出し、検出画像とする。つまり、この検出画像は、撮像素子１２１の物理構造（遮光膜等）によるマスクパターンと、読み出し制御部３５１により設定された有効パターンとの組み合わせに影響を受ける。つまり、この検出画像は、撮像素子１２１の物理構造（遮光膜等）によるマスクパターンと、読み出し制御部３５１により設定された有効パターンとの組み合わせに対応する復元行列によって、被写体を視認可能な復元画像に変換することができる。
【０３６３】
なお、読み出し制御部３５１は、任意の根拠（トリガ）に基づいて有効パターンを切り替えることができる。例えば、読み出し制御部３５１が、時刻情報に基づいて定期的または不定期に有効パターンを切り替えるようにしてもよい。また、例えば、読み出し制御部３５１が、撮像をトリガとして有効パターンを切り替えるようにしてもよい。例えば、読み出し制御部３５１が、撮像が行われる度に毎回有効パターンを切り替えるようにしてもよいし、所定回数毎に有効パターンを切り替えるようにしてもよい。また、例えば、読み出し制御部３５１が、ユーザ入力等の外部からの指示に基づいて有効パターンを切り替えるようにしてもよい。
【０３６４】
有効パターンの設定方法も任意である。例えば、読み出し制御部３５１が、予め用意された複数の候補の中から所望の（最適な）有効パターンを選択するようにしてもよい。この選択の仕方も任意である。例えば、各候補が所定順に選択されるようにしてもよい。また例えば時刻情報、位置情報、またはパスワード等の何らかの情報に基づいて選択される候補が決定されるようにしてもよい。また、例えば、各候補がランダムに選択されるようにしてもよい。さらに、読み出し制御部３５１が、有効パターンを生成するようにしてもよい。
【０３６５】
＜撮像処理の流れ＞
図３４のフローチャートを参照して、この場合の撮像装置１０１が実行する撮像処理の流れの例を説明する。
【０３６６】
撮像処理が開始されると、撮像装置１０１の読み出し制御部３５１は、ステップＳ２０１において、撮像素子１２１のどの画素から制御信号を読み出すかを制御することにより、撮像素子１２１の有効パターンを設定（制御）する。
【０３６７】
ステップＳ２０２において、撮像装置１０１の撮像素子１２１は、ステップＳ１０１において設定された有効パターンに従って（有効パターンにより検出信号を読み出すと指定される画素で）、被写体を撮像し、検出画像を得る。
【０３６８】
ステップＳ２０３において、出力処理部１２３は、ステップＳ２０２において得られた検出画像を出力する。つまり、撮像素子１２１のマスクパターンと読み出し制御部３５１により設定された有効パターンとの組み合わせに影響を受けた検出画像が出力される。
【０３６９】
なお、この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体１１６への記録等が含まれるようにしてもよい。
【０３７０】
ステップＳ２０３の処理が終了すると撮像処理が終了する。以上のように撮像処理を行うことにより、被写体を視認不可能な検出画像を伝送させることができるので、より容易に画像の不正な利用や改竄を抑制することができる。また、この方法の場合、有効パターンを利用することができるので、より確実に画像の不正な利用や改竄を抑制することができる。また、より多様な用途に適用することができる。
【０３７１】
＜画像出力装置＞
図３５は、この場合の画像出力装置１０２の主な構成例を示すブロック図である。図３５に示されるように、この場合の画像出力装置１０２は、第１の実施の形態の場合の構成（図２９）に加え、復元行列設定部３６１をさらに有する。
【０３７２】
復元行列設定部３６１は、復元部３２１が復元に使用する復元行列の設定に関する処理を行う。例えば、復元行列設定部３６１は、復元部３２１が復元に使用する復元行列を設定し、設定した復元行列を復元部３２１に供給する。復元部３２１は、その復元行列を用いて復元画像の復元を行う。
【０３７３】
なお、この復元行列の設定方法は任意である。例えば、復元行列設定部３６１が、複数の候補の中から所望の（最適な）復元行列を選択するようにしてもよい。その場合、候補の供給元は任意である。予め画像出力装置１０２に登録されているようにしてもよいし、出荷後に外部から取得することができるようにしてもよい。その場合、候補の提供元は任意である。例えば、画像出力装置１０２のユーザであってもよいし、撮像装置１０１（のユーザ）であってもよいし、撮像装置１０１のメーカであってもよいし、画像配信やライセンス提供等のサービスを行うサービス提供者等の第３者であってもよい。また、候補の提供方法も任意である。例えば、ネットワークやケーブルを介して提供されるようにしてもよいし、記録媒体等を介して提供されるようにしてもよい。
【０３７４】
また、選択の基準も任意である。例えば、復元行列設定部３６１が、ユーザ等により指定される候補を選択するようにしてもよいし、時刻情報や位置情報等の任意の情報に基づいて候補を選択するようにしてもよい。
【０３７５】
また、復元行列設定部３６１が、復元行列を生成するようにしてもよい。
【０３７６】
＜画像出力処理の流れ＞
図３６のフローチャートを参照して、この場合の画像出力装置１０２が実行する画像出力処理の流れの例を説明する。
【０３７７】
画像出力処理が開始されると、画像出力装置１０２の例えば通信部３１４（入力部３１１や記録再生部３１５等でもよい）は、ステップＳ２５１において、伝送された検出画像を取得し、それを復元部３２１に供給する。
【０３７８】
ステップＳ２５２において、復元行列設定部３６１は、所定の方法により、処理対象の検出画像に対応する復元行列を設定し、設定した復元行列を復元部３２１に供給する。
【０３７９】
ステップＳ２５３において、復元部３２１は、ステップＳ２５２において設定された復元行列を用いて、ステップＳ２５１において取得した検出画像を復元画像に変換する（復元する）。使用した復元行列が処理対象の検出画像に対応している場合（検出画像に対して正当な復元行列である場合）、この処理により、被写体を視認可能な復元画像が得られる。復元部３２１は、得られた復元画像（のデータ）を出力処理部３２２等に供給する。
【０３８０】
ステップＳ２５４において、出力処理部３２２は、その復元画像を出力する。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体３１６への記録等が含まれるようにしてもよい。
【０３８１】
ステップＳ２５４の処理が終了すると画像出力処理が終了する。以上のように画像出力処理を行うことにより、伝送された検出画像から復元画像を正しく復元することができる。したがって、より容易に画像の不正な利用や改竄を抑制することができる。また、この方法の場合、有効パターンを利用することができるので、より確実に画像の不正な利用や改竄を抑制することができる。また、より多様な用途に適用することができる。
【０３８２】
＜３．第３の実施の形態＞
＜復元行列の提供＞
なお、検出画像に対して正しい復元行列を撮像装置１０１が、表示側である画像出力装置１０２に提供するようにしてもよい。検出画像を生成する撮像装置１０１が復元行列を提供することにより、画像出力装置１０２への正しい復元行列の提供をより容易に行うことができる。例えば第３者から復元行列を提供するようにすると、撮像装置１０１（撮像素子１２１のマスクパターン）と、提供する復元行列との対応関係を保証することが困難になる場合もあり得る。特に第２の実施の形態のように、有効パターンを設定する場合、その有効パターンとの整合性も保証しなければならず、より複雑な制御が必要になる可能性がある。撮像装置１０１であれば、マスクパターンや有効パターンを容易に把握することができるので、それらに対応する復元行列を容易に特定することができる。つまり、正しい復元行列の提供をより容易に行うことができる。
【０３８３】
なお、その場合、復元行列を提供する相手に対して認証処理を行い、認証が成功する場合のみ、すなわち、正当であると判定される装置（ユーザ）に対して復元行列を提供するようにしてもよい。このようにすることにより、復元行列の漏洩を抑制することができ、画像の不正な利用や改竄を抑制することができる。
【０３８４】
また、提供する復元行列を暗号化するようにしてもよい。復元行列を暗号化することにより、復元行列の漏洩を抑制することができ、画像の不正な利用や改竄を抑制することができる。
【０３８５】
＜撮像装置＞
図３７は、この場合の撮像装置１０１の主な構成例を示すブロック図である。図３７に示されるように、この場合の撮像装置１０１は、第２の実施の形態の場合の構成（図３３）に加え、認証部３７１、復元行列設定部３７２、および暗号化部３７３をさらに有する。
【０３８６】
認証部３７１は、認証処理に関する処理を行うように構成される。例えば、認証部３７１は、復元行列を提供する相手の認証を行う。
【０３８７】
復元行列設定部３７２は、復元行列の設定に関する処理を行うように構成される。例えば、復元行列設定部３７２は、読み出し制御部３５１に制御されて撮像素子１２１から読み出される検出画像に対応する復元行列を設定する。撮像素子１２１や読み出し制御部３５１の設定からマスクパターンや有効パターンが既知であるので、復元行列設定部３７２は、出力される検出画像に対応する復元行列を設定することができる。なお、この復元行列の設定方法は任意であるが、有効パターンの設定方法に依存する。設定された復元行列は例えば暗号化部３７３に供給される。
【０３８８】
暗号化部３７３は、暗号化に関する処理を行うように構成される。例えば、暗号化部３７３は、復元行列設定部３７２により設定された復元行列を暗号化する。この暗号化方法は、復元行列の出力先にとって既知である方法であればどのような方法であってもよい。暗号化された復元行列は、出力処理部１２３に供給され、出力される。
【０３８９】
＜復元行列提供処理の流れ＞
撮像装置１０１は、復元行列提供処理を実行することにより、復元行列の提供を行う。図３８のフローチャートを参照して、この場合の撮像装置１０１が実行する復元行列提供処理の流れの例を説明する。
【０３９０】
復元行列提供処理が開始されると、撮像装置１０１の認証部３７１は、ステップＳ４０１において、復元行列の出力先（例えば画像出力装置１０２）を認証する。
【０３９１】
ステップＳ４０２において、認証部３７１は、出力先の認証に成功したか否かを判定する。成功したと判定された場合、処理はステップＳ４０３に進む。
【０３９２】
ステップＳ４０３において、復元行列設定部３７２は、読み出し制御部３５１の有効パターン設定等に基づいて復元行列を設定する。
【０３９３】
ステップＳ４０４において、暗号化部３７３は、ステップＳ４０３において設定された復元行列を暗号化する。
【０３９４】
ステップＳ４０５において、出力処理部１２３は、ステップＳ４０４において暗号化された復元行列を、認証に成功した出力先に出力する。
【０３９５】
なお、この出力には、任意の手法が含まれる。例えば、この出力には、他の装置へのデータ出力、通信相手への送信、記録媒体１１６への記録等が含まれるようにしてもよい。
【０３９６】
ステップＳ４０５の処理が終了すると復元行列提供処理が終了する。また、ステップＳ４０２において、認証に失敗したと判定された場合、ステップＳ４０３乃至ステップＳ４０５の各処理がスキップされ、復元行列提供処理が終了する。
【０３９７】
以上のように復元行列提供処理を行うことにより、正しい復元行列の提供をより容易に行うことができる。また、認証処理を行うことにより、復元行列の漏洩を抑制することができ、画像の不正な利用や改竄を抑制することができる。さらに、復元行列を暗号化することにより、復元行列の漏洩を抑制することができ、画像の不正な利用や改竄を抑制することができる。
【０３９８】
＜画像出力装置＞
図３９は、この場合の画像出力装置１０２の主な構成例を示すブロック図である。図３９に示されるように、この場合の画像出力装置１０２は、第２の実施の形態の場合の構成（図２９）に加え、認証部３８１および復号部３８２をさらに有する。
【０３９９】
認証部３８１は、撮像装置１０１の認証部３７１に対応する処理部であり、認証処理に関する処理を行うように構成される。例えば、認証部３８１は、撮像装置１０１の認証部３７１と情報を授受して認証処理を行い、画像出力装置１０２自身を認証させる。
【０４００】
復号部３８２は、撮像装置１０１の暗号化部３７３に対応する処理部であり、復号に関する処理を行うように構成される。例えば、復号部３８２は、撮像装置１０１より供給される、暗号化された復元行列を復号し、平文の復元行列を得る。この復号方法は、暗号化部３７３の暗号化方法に対応する方法であれば任意である。復号部３８２は、復号して得られた平文の復号行列を例えば記憶部３１３に供給し、記憶させる。
【０４０１】
復元行列設定部３６１は、所定のタイミングにおいて、このように取得された復元行列を記憶部３１３から読み出し、復元部３２１が復元に使用する復元行列として設定する。
【０４０２】
＜復元行列取得処理の流れ＞
画像出力装置１０２は、復元行列取得処理を実行することにより、復元行列の取得を行う。図４０のフローチャートを参照して、この場合の画像出力装置１０２が実行する復元行列取得処理の流れの例を説明する。
【０４０３】
復元行列取得処理が開始されると、画像出力装置１０２の認証部３８１は、ステップＳ４５１において、復元行列の取得元（例えば撮像装置１０１）と認証処理を行う。
【０４０４】
ステップＳ４５２において、認証部３８１は、自身の認証に成功したか否かを判定する。成功したと判定された場合、処理はステップＳ４５３に進む。
【０４０５】
ステップＳ４５３において、画像出力装置１０２の例えば通信部３１４（入力部３１１や記録再生部３１５等でもよい）は、通信により、外部の装置から伝送された、暗号化された復元行列を取得する。
【０４０６】
ステップＳ４５４において、復号部３８２は、ステップＳ４５３において取得された、暗号化された復元行列を復号する。
【０４０７】
ステップＳ４５５において、記憶部３１３は、ステップＳ４０４において復号されて得られた平文の復元行列を記憶する。
【０４０８】
ステップＳ４５５の処理が終了すると復元行列取得処理が終了する。また、ステップＳ４５２において、認証に失敗したと判定された場合、ステップＳ４５３乃至ステップＳ４５５の各処理がスキップされ、復元行列取得処理が終了する。
【０４０９】
以上のように復元行列取得処理を行うことにより、撮像装置１０１から提供される復元行列を取得することができるので、正しい復元行列より容易に取得することができる。また、認証処理を行うことにより、復元行列の漏洩を抑制することができ、画像の不正な利用や改竄を抑制することができる。さらに、暗号化された復元行列を復号することにより、暗号化された復元行列の伝送を実現させることができる。したがって、復元行列の漏洩を抑制することができ、画像の不正な利用や改竄を抑制することができる。
【０４１０】
＜４．第４の実施の形態＞
＜復元行列の関連付け＞
なお、撮像装置１０１が、検出画像とその検出画像に対応する復元行列を関連付けて、表示側である画像出力装置１０２に提供するようにしてもよい。検出画像と復元行列とを関連付けて提供することにより、画像出力装置１０２において、検出画像に対応する復元行列をより容易に把握することができる。したがって利便性を向上させることができる。
【０４１１】
これに対して、第３の実施の形態のように、検出画像と復元行列とを関連付けずに提供するようにすることにより、復元行列と検出画像との対応関係の漏洩を抑制することができ、画像の不正な利用や改竄を抑制することができる。
【０４１２】
＜撮像装置＞
図４１は、この場合の撮像装置１０１の主な構成例を示すブロック図である。図４１に示されるように、この場合の撮像装置１０１は、第３の実施の形態の場合の構成（図３７）に加え、関連付け部３９１をさらに有する。なお、ここでは、認証部３７１を省略しているが、撮像装置１０１が認証部３７１をさらに有するようにしてももちろんよい。
【０４１３】
関連付け部３９１は、情報の関連付けに関する処理を行うように構成される。例えば、関連付け部３９１は、撮像素子１２１から読み出される検出画像と、復元行列設定部３７２により設定された、その検出画像に対応する復元行列であって、暗号化部３７３により暗号化された復元行列とを関連付ける。関連付け部３９１は、その関連付けた検出画像および復元行列を出力処理部１２３に供給し、出力させる。
【０４１４】
＜撮像処理の流れ＞
図４２のフローチャートを参照して、この場合の撮像装置１０１が実行する撮像処理の流れの例を説明する。
【０４１５】
撮像処理が開始されると、撮像装置１０１の読み出し制御部３５１は、ステップＳ５０１において、撮像素子１２１のどの画素から制御信号を読み出すかを制御することにより、撮像素子１２１の有効パターンを設定（制御）する。
【０４１６】
ステップＳ５０２において、撮像装置１０１の撮像素子１２１は、ステップＳ５０１において設定された有効パターンに従って（有効パターンにより検出信号を読み出すと指定される画素で）、被写体を撮像し、検出画像を得る。
【０４１７】
ステップＳ５０３において、復元行列設定部３７２は、ステップＳ５０１において設定された有効パターン等に基づいて、ステップＳ５０２において得られた検出画像に対応する復元行列を設定する。
【０４１８】
ステップＳ５０４において、暗号化部３７３は、ステップＳ５０３において設定された復元行列を暗号化する。
【０４１９】
ステップＳ５０５において、関連付け部３９１は、ステップＳ５０２において得られた検出画像に、ステップＳ５０４において得られた暗号化された復元行列を関連付ける。
【０４２０】
ステップＳ５０６において、出力処理部１２３は、ステップＳ５０５において関連付けられた検出画像と暗号化された復元行列とを出力する。
【０４２１】
ステップＳ５０６の処理が終了すると撮像処理が終了する。以上のように撮像処理を実行することにより、撮像装置１０１は、利便性を向上させることができる。
【０４２２】
＜画像出力装置＞
図４３は、この場合の画像出力装置１０２の主な構成例を示すブロック図である。図４３に示されるように、この場合の画像出力装置１０２は、第３の実施の形態の場合の構成（図３９）から、認証部３８１および復元行列設定部３６１が省略されている。なお、画像出力装置１０２が認証部３７１をさらに有するようにしてももちろんよい。
【０４２３】
＜画像出力処理の流れ＞
図４４のフローチャートを参照して、この場合の画像出力装置１０２が実行する画像出力処理の流れの例を説明する。
【０４２４】
画像出力処理が開始されると、画像出力装置１０２の例えば通信部３１４（入力部３１１や記録再生部３１５等でもよい）は、ステップＳ５５１において、伝送された検出画像と復元行列（互いに関連付けられた検出画像および復元行列）を取得する。この復元行列は暗号化されている。
【０４２５】
ステップＳ５５２において、復号部３８２は、その暗号化された復元行列を復号する。
【０４２６】
ステップＳ５５３において、復元部３２１は、処理対象の検出画像に関連付けられた復元行列を用いて復元画像を復元する。復元部３２１は、得られた復元画像（のデータ）を出力処理部３２２等に供給する。
【０４２７】
ステップＳ５５４において、出力処理部３２２は、その復元画像を出力する。この出力には、任意の手法が含まれる。例えば、この出力には、画像の表示、他の装置へのデータ出力や印刷、記憶媒体への記憶、通信相手への送信、記録媒体３１６への記録等が含まれるようにしてもよい。
【０４２８】
ステップＳ５５４の処理が終了すると画像出力処理が終了する。以上のように画像出力処理を行うことにより、復元部３２１は、関連付けに従って、検出画像に対応する復元行列をより容易に特定することができる。つまり、復元部３２１は、より容易に、検出画像に対応する復元行列を用いて、検出画像を復元画像に変換することができる。つまり、利便性を向上させることができる。
【０４２９】
＜５．第５の実施の形態＞
＜サーバを介した伝送＞
なお、上述したように、検出画像や復元行列は、サーバ１０６を介して伝送するようにしてもよい。
【０４３０】
例えば、図４５に示されるように、撮像装置１０１から画像出力装置１０２へ検出画像を伝送させる場合、その検出画像は、サーバ１０６−１を介して伝送させるようにしてもよい。また、その際、復元行列は、サーバ１０６−２を介して伝送させるようにしてもよいし、サーバを介さずに伝送させるようにしてもよい。
【０４３１】
また、撮像装置１０１から画像出力装置１０２へ復元行列を伝送させる場合、その復元行列は、サーバ１０６−２を介して伝送させるようにしてもよい。また、その際、検出画像は、サーバ１０６−１を介して伝送させるようにしてもよいし、サーバを介さずに伝送させるようにしてもよい。
【０４３２】
なお、復元行列は、撮像装置１０１からではなく、サーバ１０６−３から画像出力装置１０２に供給されるようにしてもよい。
【０４３３】
なお、図４５においては、サーバ１０６−１乃至サーバ１０６−３をそれぞれ分けて説明したが、これらのサーバの一部または全部が１台のサーバ１０６として実現されるようにしてもよい。
【０４３４】
＜サーバ＞
図４６は、サーバ１０６の主な構成例を示すブロック図である。図３に示されるように、サーバ１０６は、CPU５０１、ROM５０２、RAM５０３、バス５０４、入出力インタフェース５１０、入力部５１１、出力部５１２、記憶部５１３、通信部５１４、およびドライブ５１５を有する。
【０４３５】
CPU５０１、ROM５０２、およびRAM５０３は、バス５０４を介して相互に接続されている。バス５０４にはまた、入出力インタフェース５１０も接続されている。入出力インタフェース５１０には、入力部５１１乃至ドライブ５１５が接続されている。
【０４３６】
入力部５１１は、例えば、キーボード、マウス、タッチパネル、イメージセンサ、マイクロホン、スイッチ、入力端子等の任意の入力デバイスを有する。出力部５１２は、例えば、ディスプレイ、スピーカ、出力端子等の任意の出力デバイスを有する。記憶部５１３は、例えば、ハードディスク、RAMディスク、SSD（Solid State Drive）やUSB（Universal Serial Bus）（登録商標）メモリ等のような不揮発性のメモリ等、任意の記憶媒体を有する。通信部５１４は、例えば、イーサネット（登録商標）、Bluetooth（登録商標）、USB、HDMI（High-Definition Multimedia Interface）（登録商標）、IrDA等の、有線若しくは無線、または両方の、任意の通信規格の通信インタフェースを有する。ドライブ５１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリ等の任意の記憶媒体を有するリムーバブル記録媒体５１６をアクセス（駆動）する。
【０４３７】
CPU５０１が、例えば、ROM５０２や記憶部５１３に記憶されているプログラムを、RAM５０３にロードして実行することにより処理が行われる。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４３８】
＜検出画像伝送処理の流れ＞
次に、撮像装置１０１や画像出力装置１０２とサーバ１０６との間の伝送に関する処理について説明する。図４７のフローチャートを参照して、撮像装置１０１とサーバ１０６との間の検出画像伝送処理の流れの例を説明する。
【０４３９】
検出画像伝送処理が開始されると、撮像装置１０１の撮像素子１２１は、ステップＳ６０１において、被写体を撮像する。ステップＳ６０２において、通信部１１４は、ステップＳ６０１の処理により得られた検出画像をサーバ１０６に供給する。
【０４４０】
サーバ１０６の通信部５１４は、ステップＳ６１１において、その供給された検出画像を取得する。ステップＳ６１２において、記憶部５１３は、ステップＳ６１１において取得された検出画像を記憶する。
【０４４１】
このように各処理を実行することにより、撮像装置１０１は、検出画像をサーバ１０６にアップロードすることができる。
【０４４２】
＜検出画像伝送処理の流れ＞
次に、図４８のフローチャートを参照して、サーバ１０６と画像出力装置１０２との間の検出画像伝送処理の流れの例を説明する。
【０４４３】
検出画像伝送処理が開始されると、画像出力装置１０２の通信部３１４は、ステップＳ６３１において、検出画像をサーバ１０６に要求する。サーバ１０６の通信部５１４は、ステップＳ６２１において、その要求を取得する。ステップＳ６２２において、サーバ１０６の記憶部５１３は、その要求された検出画像を読み出す。ステップＳ６２３において、通信部５１４は、ステップＳ６２２において読み出された検出画像を要求元である画像出力装置１０２に供給する。
【０４４４】
ステップＳ６３２において画像出力装置１０２の通信部３１４は、その検出画像を取得する。ステップＳ６３３において、復元部３２１は、得られた検出画像を、その検出画像に対応する復元行列を用いて復元する。
【０４４５】
ステップＳ６３４において出力処理部３２２は、得られた復元画像を出力する。
【０４４６】
このように各処理を実行することにより、画像出力装置１０２は、サーバ１０６から検出画像をダウンロードすることができる。
【０４４７】
また、図４７の処理と図４８の処理との両方を実行することにより、サーバ１０６を介して検出画像を伝送させることができる。
【０４４８】
＜復元行列伝送処理の流れ＞
次に、図４９のフローチャートを参照して、撮像装置１０１とサーバ１０６との間の復元行列伝送処理の流れの例を説明する。
【０４４９】
復元行列伝送処理が開始されると、撮像装置１０１の認証部３７１は、ステップＳ６４１において認証処理を行う。それに対応して、サーバ１０６のCPU５０１もステップＳ６５１において認証処理を行う。つまり、互いの認証を行う。
【０４５０】
認証に成功すると、撮像装置１０１の通信部１１４は、ステップＳ６４２において、復元行列をサーバ１０６に供給する。これに対して、サーバ１０６の通信部５１４は、ステップＳ６５２において、その復元行列を取得する。ステップＳ６５３において、サーバ１０６の記憶部５１３は、ステップＳ６５２の処理により取得された復元行列を記憶する。
【０４５１】
このように各処理を実行することにより、撮像装置１０１は、復元行列をサーバ１０６にアップロードすることができる。
【０４５２】
＜復元行列伝送処理の流れ＞
次に、図５０のフローチャートを参照して、サーバ１０６と画像出力装置１０２との間の復元行列伝送処理の流れの例を説明する。
【０４５３】
復元行列伝送処理が開始されると、サーバ１０６のCPU５０１は、ステップＳ６６１において認証処理を行う。それに対応して、画像出力装置１０２の認証部３８１もステップＳ６７１において認証処理を行う。つまり、互いの認証を行う。
【０４５４】
認証に成功すると、画像出力装置１０２の通信部３１４は、ステップＳ６７２において、復元行列をサーバ１０６に要求する。サーバ１０６の通信部５１４は、ステップＳ６６２において、その要求を取得する。ステップＳ６６３において、サーバ１０６の記憶部５１３は、その要求された復元行列を読み出す。ステップＳ６６４において、通信部５１４は、ステップＳ６６３において読み出された復元行列を要求元である画像出力装置１０２に供給する。
【０４５５】
ステップＳ６７３において画像出力装置１０２の通信部３１４は、その復元行列を取得する。ステップＳ６７４において、記憶部３１３は、得られた復元行列を記憶する。この復元行列は、検出画像から復元画像を復元する際に利用される。
【０４５６】
このように各処理を実行することにより、画像出力装置１０２は、サーバ１０６から復元行列をダウンロードすることができる。
【０４５７】
また、図４９の処理と図５０の処理との両方を実行することにより、サーバ１０６を介して復元行列を伝送させることができる。
【０４５８】
＜６．第６の実施の形態＞
＜自己復元＞
なお、以上においては、画像出力装置１０２において復元画像を復元し、表示するように説明したが、撮像装置１０１において復元画像を復元し、表示するようにしてもよい。つまり、撮像から表示までを全て撮像装置１０１が行うようにしてもよい。例えば、このような処理を行うことにより、撮像装置１０１において取り込み画像を表示するようにしてもよい。
【０４５９】
＜撮像装置＞
図５１は、この場合の撮像装置１０１の主な構成例を示すブロック図である。図５１に示されるように、この場合の撮像装置１０１は、第２の実施の形態の場合の構成（図３３）に加え、復元部５５１をさらに有する。
【０４６０】
復元部５５１は、復元画像の生成（復元）に関する処理を行うように構成される。例えば、復元部５５１は、バス１２０を介して他の処理部より検出画像を取得する。また、例えば、復元部５５１は、復元行列を用いて検出画像を復元画像に変換する。また、例えば、復元部５５１は、生成した復元画像に関するデータ（画素値等）を、バス１２０を介して他の処理部等に供給する。
【０４６１】
復元部５５１は、記憶部１１３等に記憶されている復元行列を取得し、その取得した復元行列を用いて、撮像素子１２１により得られた検出画像を復元画像に変換する。復元部５５１は、復元した復元画像を出力部１１２に供給し、モニタに表示させる。
【０４６２】
＜撮像処理の流れ＞
図５２のフローチャートを参照して、この場合の撮像装置１０１が実行する撮像処理の流れの例を説明する。
【０４６３】
撮像処理が開始されると、撮像装置１０１の読み出し制御部３５１は、ステップＳ７０１において、撮像素子１２１のどの画素から制御信号を読み出すかを制御することにより、撮像素子１２１の有効パターンを設定（制御）する。
【０４６４】
ステップＳ７０２において、撮像装置１０１の撮像素子１２１は、ステップＳ７０１において設定された有効パターンに従って（有効パターンにより検出信号を読み出すと指定される画素で）、被写体を撮像し、検出画像を得る。
【０４６５】
ステップＳ７０３において、記憶部１１３は、ステップＳ７０２において得られた検出画像を記憶する。
【０４６６】
＜画像出力処理の流れ＞
次に、撮像装置１０１により実行される画像表示処理の流れの例を、図５３のフローチャートを参照して説明する。
【０４６７】
画像表示処理が開始されると、撮像装置１０１の例えば通信部１１４（入力部１１１や記録再生部１１５等でもよい）は、ステップＳ７２１において、記憶部３１３に記憶されている検出画像を読み出し、それを復元部５５１に供給する。
【０４６８】
ステップＳ７２２において、入力部１１１は、例えばユーザ等により入力される復元行列の入力を受け付ける。入力部１１１は、受け付けた復元行列を復元部５５１に供給する。
【０４６９】
ステップＳ７２３において、復元部５５１は、ステップＳ７２２において受け付けられた復元行列を用いて、ステップＳ７２１において記憶部３１３より読みされた検出画像を復元画像に変換する（復元する）。使用した復元行列が処理対象の検出画像に対応している場合（検出画像に対して正当な復元行列である場合）、この処理により、被写体を視認可能な復元画像が得られる。復元部３２１は、得られた復元画像（のデータ）を出力部１１２に供給する。
【０４７０】
ステップＳ７２４において、出力部１１２は、その復元画像をモニタに表示する。ステップＳ７２４の処理が終了すると画像表示処理が終了する。以上のように画像表示処理を行うことにより、復元画像を外部に伝送せずに表示させることができる。したがって、画像の不正な利用や改竄を抑制することができる。
【０４７１】
＜７．第７の実施の形態＞
＜カラー画像＞
本技術は、カラー画像にも適用することができる。その場合、図５４に示されるように、色成分毎に上述の場合と同様の処理を行うようにすればよい。例えば、撮像素子１１がベイヤ配列に配置された各色（R、Gr、Gb、B）の画素６０１を有するとする。このような撮像素子１１においては、色成分毎に検出画像が得られる（検出画像Ｒ、検出画像Ｇｒ、検出画像Ｇｂ、検出画像Ｂ）。
【０４７２】
撮像装置１０１は、この色成分毎の検出画像を画像出力装置１０２に伝送する。表示側の復元部１２は、伝送された色成分毎の検出画像に対し、色成分毎の復元行列を用意し、色成分毎に復元画像を生成する。
【０４７３】
例えば、RGB結合部６１２が、色毎の復元画像を結合し、カラー画像を得る。このカラー画像が表示部１３に表示される。
【０４７４】
以上のようにすることにより、カラー画像においても、画像の不正な利用や改竄を抑制することができる。
【０４７５】
＜８．第８の実施の形態＞
＜ユースケース１＞
次に、本技術を適用するシステムの具体例について説明する。本技術は、例えば、図５５に示されるように、車内や機内に設置さえるセキュリティカメラ等に適用することができる。つまり、撮像装置１０１を、自動車７０１やバス７０２等の車内や、飛行機７０３の機内等に設置し、運転・操縦の様子や、車内・機内の様子等の記録に用いるようにする。その際、撮像装置１０１において得られる検出画像を記録するようにすることにより、画像の不正な利用や改竄を抑制することができる。例えば、不要な閲覧を抑制することにより、乗客のプライバシーを保護することができる。
【０４７６】
なお、例えば、事件や事故が発生する等して、画像の閲覧が必要な場合、記録された検出画像を、復元行列を有する正当なユーザ（例えば、捜査機関７１１等）に提供する。その正当なユーザは、正当な復元行列を用いて、検出画像を復元画像に変換することにより、その復元画像（運転・操縦の様子や車内・機内の様子等）を閲覧することができる。
【０４７７】
＜ユースケース２＞
また、本技術は、例えば、図５６に示されるように、自宅の様子を監視するホームセキュリティシステム等に適用することができる。図５６の例においては、撮像装置１０１が、自宅７２２に設置され、ユーザが外出先において、正当な復元行列を登録してあるスマートフォン等の端末装置７２３を画像出力装置１０２として用いて、その自宅の様子を監視するようにする。例えば、撮像装置１０１や端末装置７２３（画像出力装置１０２）を、画像転送サービスを提供する所定のクラウドサービス７２１に登録し、そのクラウドサービス７２１を利用して、自宅７２２の撮像装置１０１から端末装置７２３に検出画像を転送させる。このようにすることにより、転送中等における、第三者等による画像への不正アクセスを抑制することができる。
【０４７８】
＜ユースケース３＞
さらに、本技術は、例えば図５７に示されるように、屋外や屋内に設置されるセキュリティカメラ等に適用することができる。図５７の例においては、屋外７３１や屋内７３２に撮像装置１０１が設置され、そこで得られた検出画像が監視センタ７３３に転送される。正当な復元行列を持つ監視センタ７３３は、その検出画像を復元画像に変換して監視する。このようにすることにより、転送中等における、第三者等による画像への不正アクセスを抑制することができる。
【０４７９】
＜ユースケース４＞
さらに、本技術は、例えば図５８に示されるように、防犯用のウェアラブルカメラ等に適用することができる。図５８の例においては、眼鏡７４１に撮像装置１０１が搭載されている。そして、その撮像装置１０１が、ユーザの周辺の様子を常時撮像し、記録する。その際、撮像装置１０１は、検出画像を生成し、記録する。したがって、例えば、不正なユーザが眼鏡７４１を操作したとしても、記録されているのは検出画像であるので被写体を視認することができない。つまり、被写体のプライバシーを保護することができる。
【０４８０】
なお、例えば、事件や事故が発生する等して、画像の閲覧が必要な場合、記録された検出画像を、復元行列を有する正当なユーザ（例えば、捜査機関７４３等）に提供する。その正当なユーザは、正当な復元行列を用いて、検出画像を復元画像に変換することにより、その復元画像（眼鏡７４１のユーザの周辺の様子等）を閲覧することができる。
【０４８１】
以上のように、本技術は多様な用途のシステムや装置に適用することができる。
【０４８２】
＜９．第９の実施の形態＞
＜撮像素子の他の構成例＞
以上においては撮像素子１２１の例について説明したが、撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備えていればよく、その構成は任意である。
【０４８３】
例えば、変調素子としてランダムな白黒パターンマスクまたは光干渉マスクを用いて、撮像素子１２１の撮像面に入射される光を白黒パターンまたは光の干渉に応じて変調してもよい。
【０４８４】
図５９は、撮像素子の他の構成を示している。撮像素子８２１は、撮像素子８２２の撮像面ＩＰに対して所定間隔を有するように変調素子であるマスク８２３が撮像素子８２２に固定されており、被写体面ＯＰからの光は、マスク８２３で変調されたのち撮像素子８２２の撮像面ＩＰに入射するように構成されている。
【０４８５】
図６０は、白黒パターンマスクを用いた場合を示している。図６０のＡは、白黒パターンマスクを例示している。白黒パターンマスク８２３BWは、光を透過する白パターン部と光を遮光する黒パターン部をランダムに配置した構成であり、パターンサイズは撮像素子８２２の画素サイズと独立に設定されている。図６０のＢは点光源ＰＡから出射された光と点光源ＰＢから出射された光について、撮像面ＩＰに対する照射状態を模式的に示している。また、図６０のＢには、白黒パターンマスク８２３BWを用いた場合の撮像素子の応答の例も、点光源ＰＡから出射された光と点光源ＰＢから出射された光について個々に模式的に示している。被写体面ＯＰからの光は、白黒パターンマスク８２３BWで変調されたのち撮像素子８２２の撮像面ＩＰに入射する。したがって、被写体面ＯＰの点光源ＰＡから出射された光に対応する撮像素子の応答はＳｂｗaとなる。また、被写体面ＯＰの点光源ＰＢから出射された光に対応する撮像素子の応答はＳｂｗbとなる。したがって、撮像素子８２２から出力される画素出力情報は、画素出力単位毎に各点光源の応答を合成した１画像の情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
【０４８６】
図６１は、光干渉マスクを用いた場合を示している。図６１のＡに示すように、被写体面ＯＰの点光源ＰＡ，ＰＢから出射された光は、光干渉マスク８２３LFを介して撮像素子８２２の撮像面ＩＰに照射される。光干渉マスク８２３LFの例えば光入射面には、図６１のＡに示すように光の波長程度の凹凸が設けられている。また、光干渉マスク８２３LFは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面ＯＰの点光源ＰＡ，ＰＢから出射された特定波長の光の光干渉マスク８２３LFに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光干渉マスク８２３LFを透過した特定波長の透過光の強度は、図６１のＢに示すように、光干渉マスク８２３LFに対する入射角に応じて変調されて撮像素子８２２の撮像面ＩＰに入射する。したがって、撮像素子８２２の各出力画素単位から出力される画素出力情報は、光干渉マスク８２３LFを透過した各点光源の変調後の光強度を合成した情報となる。この構成の場合、画素出力単位毎に独立して入射角指向性を設定することができず、近い位置の画素出力単位においては互いに近い入射角指向性を有することになる。
【０４８７】
なお、光学フィルタ８２３ＢＷの代わりに、図６２の光学フィルタ８２３ＨＷを用いるようにしてもよい。光学フィルタ８２３ＨＷは、互いに偏光方向が等しい直線偏光素子８３１Ａと直線偏光素子８３１Ｂ、及び、１／２波長板８３２を備え、１／２波長板８３２は、直線偏光素子８３１Ａと直線偏光素子８３１Ｂの間に挟まれている。１／２波長板８３２には、光学フィルタ８２３ＢＷの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
【０４８８】
直線偏光素子８３１Ａは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光成分のみを透過する。以下、直線偏光素子８３１Ａが、偏光方向が紙面に平行な光成分のみを透過するものとする。直線偏光素子８３１Ａを透過した偏光光のうち、１／２波長板８３２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が紙面に垂直な方向に変化する。一方、直線偏光素子８３１Ａを透過した偏光光のうち、１／２波長板８３２の白パターン部を透過した偏光光は、偏光方向が紙面に平行な方向のまま変化しない。そして、直線偏光素子８３１Ｂは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタ８２３ＢＷを用いた場合とほぼ同様の濃淡のパターンが、撮像素子８２２の受光面（撮像面）ＩＰ上に生じる。
【０４８９】
ただし、これらの構成の場合、撮像素子にマスク等の他の構成を付加する必要があるので、第１の実施の形態乃至第８の実施の形態において説明した構成例の撮像素子１２１の方が、より小型化することができる。
【０４９０】
以上のように、本技術は、撮像素子１２１が、図７を参照して説明したような構成であってもよいし、図８を参照して説明したような構成であってもよいし、図５９や図６０を参照して説明したような構成であってもよいし、図６１を参照して説明したような構成であってもよい。つまり、撮像素子１２１は、撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、その入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備えるものであればよい。
【０４９１】
また、本技術は、図７を参照して説明したような構成、または、図８を参照して説明したような構成の撮像素子１２１に適用することができるようにしてもよい。つまり、撮像素子１２１の複数の画素出力単位が、その出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
【０４９２】
また、本技術は、図７を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子１２１の複数の画素出力単位が、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定可能な構成を有するようにしてもよい。
【０４９３】
また、本技術は、図８を参照して説明したような構成の撮像素子に適用することができるようにしてもよい。つまり、撮像素子１２１の複数の画素出力単位が、出力に寄与するPD（Photo Diode）を互いに異ならせることで、出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を画素出力単位毎に独立に設定し得るようにしてもよい。
【０４９４】
＜撮像装置・画像出力装置の他の構成例＞
以上において、撮像装置１０１が撮像素子１２１を有するように説明したが、撮像装置１０１が有する撮像素子１２１の数は任意である。撮像装置１０１が単数の撮像素子１２１を有するようにしてもよいし、複数の撮像素子１２１を有するようにしてもよい。また、撮像装置１０１が複数の撮像素子１２１を有する場合、その複数の撮像素子１２１の性能（例えば画素数、形状、画素構造、撮像特性、撮像方式等）が全て統一されていてもよいし、異なるものが含まれていてもよい。また、撮像装置１０１が、例えば復元部５５１等、その他の処理部を複数有するようにしてもよい。
【０４９５】
また、以上において画像出力装置１０２が復元部３２１を有するように説明したが、画像出力装置１０２が有する復元部３２１の数は任意であり、単数であってもよいし、複数であってもよい。また、画像出力装置１０２が複数の復元部３２１を有する場合、その複数の復元部３２１の性能が全て統一されていてもよいし、異なるものが含まれていてもよい。また、画像出力装置１０２が、復元部３２１以外の処理部を複数有するようにしてもよい。
【０４９６】
＜１０．その他＞
＜適用例＞
本技術は、撮像機能を有する装置であればどのような装置にも適用することができる。また、本技術は、撮像機能により得られた画像を処理する装置やシステムであれば、どのような装置やシステムにも適用することができる。また、本技術は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に用いられる装置やシステムに適用することができる。
【０４９７】
例えば、本技術は、ディジタルカメラやカメラ機能付きの携帯機器等、鑑賞の用に供される画像を取り扱う装置やシステムに適用することができる。また、本技術は、例えば監視カメラのような、防犯、監視、観測等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば、人物認証、画像解析、測距等の用途に用いられる画像を取り扱う装置やシステムに適用することもできる。また、本技術は、例えば自動車やロボット等の自動運転のような、機械等の制御に用いられる画像を取り扱う装置やシステムに適用することもできる。
【０４９８】
＜ソフトウエア＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。また、一部の処理をハードウエアにより実行させ、他の処理をソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムがインストールされる。
【０４９９】
このプログラムは、例えば、記録媒体からインストールすることができる。例えば図４、図３３、図３７、図４１、および図５１等の撮像装置１０１の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている記録媒体１１６により構成される。その場合、例えば、記録媒体１１６を記録再生部１１５に装着することにより、その記録媒体１１６に記憶されているこのプログラムを読み出させ、記憶部１１３にインストールさせることができる。また例えば図２９、図３５、図３９、および図４３等の画像出力装置１０２の場合、この記録媒体は、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている記録媒体３１６により構成される。その場合、例えば、記録媒体３１６を記録再生部３１５に装着することにより、その記録媒体３１６に記憶されているこのプログラムを読み出させ、記憶部３１３にインストールさせることができる。
【０５００】
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。例えば図４、図３３、図３７、図４１、および図５１等の撮像装置１０１の場合、プログラムは、通信部１１４で受信し、記憶部１１３にインストールすることができる。また例えば図２９、図３５、図３９、および図４３等の画像出力装置１０２の場合、プログラムは、通信部３１４で受信し、記憶部３１３にインストールすることができる。
【０５０１】
その他、このプログラムは、記憶部やROM等に、予めインストールしておくこともできる。例えば図４、図３３、図３７、図４１、および図５１等の撮像装置１０１の場合、プログラムは、記憶部１１３や制御部１１０内のROM（図視せず）等に予めインストールしておくこともできる。また例えば図２９、図３５、図３９、および図４３等の画像出力装置１０２の場合、プログラムは、記憶部３１３や制御部３０１内のROM（図視せず）等に予めインストールしておくこともできる。
【０５０２】
＜補足＞
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０５０３】
例えば、本技術は、装置またはシステムを構成するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。
【０５０４】
また、上述した各処理部は、任意の構成により実現することができる。例えば、回路、LSI、システムLSI、プロセッサ、モジュール、ユニット、セット、デバイス、装置、またはシステム等により構成されるようにしてもよい。また、それらを複数組み合わせるようにしてもよい。その際、例えば、複数の回路、複数のプロセッサ等のように同じ種類の構成を組み合わせるようにしてもよいし、回路とLSI等のように異なる種類の構成を組み合わせるようにしてもよい。
【０５０５】
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
【０５０６】
また、例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
【０５０７】
また、例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０５０８】
また、例えば、上述したプログラムは、任意の装置において実行することができる。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
【０５０９】
また、例えば、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
【０５１０】
コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
【０５１１】
本明細書において複数説明した本技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
【０５１２】
本技術は以下のような構成も取ることができる。
（１）  撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子と、
前記撮像素子の画素出力単位において得られる検出信号からなる検出画像を、前記検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに出力する出力処理部と
を備える撮像装置。
（２）  前記複数の画素出力単位は、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
（１）に記載の撮像装置。
（３）  前記複数の画素出力単位は、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定可能な構成を有する
（１）または（２）に記載の撮像装置。
（４）  前記複数の画素出力単位は、出力に寄与するPD（Photo Diode）を互いに異ならせることで、前記出力画素値の、被写体からの入射光の入射角に対する指向性を示す入射角指向性を前記画素出力単位毎に独立に設定し得る構成を有する
（１）乃至（３）のいずれかに記載の撮像装置。
（５）  前記撮像素子の各画素出力単位からの前記検出信号の読み出しを制御し、前記検出信号を読み出す画素出力単位を、定期的または不定期に切り替える読み出し制御部をさらに備える
（１）乃至（４）のいずれかに記載の撮像装置。
（６）  所定の条件が満たされた場合、前記復元行列を設定する復元行列設定部をさらに備え、
前記出力処理部は、前記復元行列設定部により設定された前記復元行列を出力するように構成される
（１）乃至（５）のいずれかに記載の撮像装置。
（７）  前記復元行列設定部により設定された前記復元行列を暗号化する暗号化部をさらに備え、
前記出力処理部は、前記暗号化部により暗号化された前記復元行列を出力するように構成される
（６）に記載の撮像装置。
（８）  前記検出画像は被写体を視認不可能な画像であり、
前記復元画像は前記被写体を視認可能な画像である
（１）乃至（７）のいずれかに記載の撮像装置。
（９）  前記復元行列を用いて、前記検出画像から前記復元画像を復元する復元部をさらに備え、
前記出力処理部は、前記復元部により復元された前記復元画像を表示するように構成される
（１）乃至（８）のいずれかに記載の撮像装置。
（１０）  撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体を撮像し、
前記撮像により得られた、前記撮像素子の画素出力単位において得られる検出信号からなる検出画像を、前記検出画像から復元画像を復元する際に用いられる係数からなる復元行列と関連付けずに出力する
撮像方法。
【０５１３】
（１１）  撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、前記画素出力単位において得られる検出信号からなる検出画像から復元画像を復元する際に用いられる係数からなる復元行列を用いて、外部の装置より取得した検出画像から復元画像を復元する復元部
を備える画像処理装置。
（１２）  前記復元部による前記復元画像の復元に使用する復元行列を設定する復元行列設定部をさらに備え、
前記復元部は、前記復元行列設定部により設定された前記復元行列を用いて、前記検出画像から復元画像を復元するように構成される
（１１）に記載の画像処理装置。
（１３）  前記復元行列設定部は、前記復元画像の復元に使用する復元行列を、定期的または不定期に切り替える
（１２）に記載の画像処理装置。
（１４）  前記復元行列設定部は、前記復元画像の復元に使用する復元行列を生成する
（１２）または（１３）に記載の画像処理装置。
（１５）  候補となる復元行列を記憶する復元行列記憶部をさらに備え、
前記復元行列設定部は、前記復元行列記憶部により記憶されている復元行列の中から、前記復元画像の復元に使用する復元行列を設定するように構成される
（１２）乃至（１４）のいずれかに記載の画像処理装置。
（１６）  通信により前記外部の装置から復元行列を取得する復元行列通信部をさらに備え、
前記復元行列記憶部は、前記復元行列通信部により取得された前記復元行列を記憶するように構成される
（１５）に記載の画像処理装置。
（１７）  前記復元行列通信部により取得された、暗号化された復元行列を復号する復号部をさらに備え、
前記復元行列記憶部は、前記復号部により復号された前記復元行列を記憶するように構成される
（１６）に記載の画像処理装置。
（１８）  前記復元行列通信部は、前記検出画像と関連付けられている、暗号化された復元行列を取得する
（１７）に記載の画像処理装置。
（１９）  前記外部の装置に対して自身の認証処理を行う認証部をさらに備え、
前記復元行列通信部は、前記認証部による認証が成功した場合、前記外部の装置より復元行列を取得するように構成される
（１６）乃至（１８）のいずれかに記載の画像処理装置。
（２０）  撮像レンズ及びピンホールのいずれも介さずに入射する入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号をそれぞれ１つ出力する複数の画素出力単位を備える撮像素子により被写体が撮像されて得られた、前記画素出力単位において得られる検出信号からなる検出画像から復元画像を復元する際に用いられる係数からなる復元行列を用いて、外部の装置より取得した前記検出画像から復元画像を復元する
画像処理方法。
【符号の説明】
【０５１４】
１０１  撮像装置，  １０２  画像出力装置，  １０６  サーバ，  １１０  制御部，  １１１  入力部，  １１２  出力部，  １１３  記憶部，  １１４  通信部，  １１５  記録再生部，  １２１  撮像素子，  １２２  センサ部，  １２３  出力処理部，  ３０１  制御部，  ３１１  入力部，  ３１２  出力部，  ３１３  記憶部，  ３１４  通信部，  ３１５  記録再生部，  ３２１  復元部，  ３５１  読み出し制御部，  ３６１  復元行列設定部，  ３７１  認証部，  ３７２  復元行列設定部，  ３７３  暗号化部，  ３８１  認証部，  ３８２  復号部，  ３９１  関連付け部，  ５５１  復元部
【図１】
2019078337.tif 000005
【図２】
2019078337.tif 000006
【図３】
2019078337.tif 000007
【図４】
2019078337.tif 000008
【図５】
2019078337.tif 000009
【図６】
2019078337.tif 000010
【図７】
2019078337.tif 000011
【図８】
2019078337.tif 000012
【図９】
2019078337.tif 000013
【図１０】
2019078337.tif 000014
【図１１】
2019078337.tif 000015
【図１２】
2019078337.tif 000016
【図１３】
2019078337.tif 000017
【図１４】
2019078337.tif 000018
【図１５】
2019078337.tif 000019
【図１６】
2019078337.tif 000020
【図１７】
2019078337.tif 000021
【図１８】
2019078337.tif 000022
【図１９】
2019078337.tif 000023
【図２０】
2019078337.tif 000024
【図２１】
2019078337.tif 000025
【図２２】
2019078337.tif 000026
【図２３】
2019078337.tif 000027
【図２４】
2019078337.tif 000028
【図２５】
2019078337.tif 000029
【図２６】
2019078337.tif 000030
【図２７】
2019078337.tif 000031
【図２８】
2019078337.tif 000032
【図２９】
2019078337.tif 000033
【図３０】
2019078337.tif 000034
【図３１】
2019078337.tif 000035
【図３２】
2019078337.tif 000036
【図３３】
2019078337.tif 000037
【図３４】
2019078337.tif 000038
【図３５】
2019078337.tif 000039
【図３６】
2019078337.tif 000040
【図３７】
2019078337.tif 000041
【図３８】
2019078337.tif 000042
【図３９】
2019078337.tif 000043
【図４０】
2019078337.tif 000044
【図４１】
2019078337.tif 000045
【図４２】
2019078337.tif 000046
【図４３】
2019078337.tif 000047
【図４４】
2019078337.tif 000048
【図４５】
2019078337.tif 000049
【図４６】
2019078337.tif 000050
【図４７】
2019078337.tif 000051
【図４８】
2019078337.tif 000052
【図４９】
2019078337.tif 000053
【図５０】
2019078337.tif 000054
【図５１】
2019078337.tif 000055
【図５２】
2019078337.tif 000056
【図５３】
2019078337.tif 000057
【図５４】
2019078337.tif 000058
【図５５】
2019078337.tif 000059
【図５６】
2019078337.tif 000060
【図５７】
2019078337.tif 000061
【図５８】
2019078337.tif 000062
【図５９】
2019078337.tif 000063
【図６０】
2019078337.tif 000064
【図６１】
2019078337.tif 000065
【図６２】
2019078337.tif 000066
【国際調査報告】
2019078337.tif 000067
2019078337.tif 000068
2019078337.tif 000069