(57)【要約】  撮像装置において、差分算出部（１０４）は、異なるタイミングで蓄積された、第１および第２の電荷保持部（１０２，１０３）が保持している電荷信号の差分信号を算出する。加算サンプリング部（１０５）は、この差分信号に対して加算サンプリング処理を行い、アナログデジタル変換部（１０６）は加算サンプリング処理後の信号をデジタル信号に変換する。すなわち、一般画像信号と比較してスパース性の高い差分信号に対して、加算サンプリング処理が行われる。
2014192223.tif 000002
【特許請求の範囲】
【請求項１】
複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第１の電荷保持部と、
前記第１の電荷保持部とは異なるタイミングで、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第２の電荷保持部と、
前記第１の電荷保持部が保持している電荷信号と、前記第２の電荷保持部が保持している電荷信号との差分値を、前記複数の画素毎に算出し、これら差分値からなる差分信号を得る差分算出部と、
前記差分算出部によって得られた差分信号に対して、加算サンプリング処理を行う加算サンプリング部と、
前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えた
ことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記アナログデジタル変換部の出力信号に対して、前記加算サンプリング部が実行する処理に基づく加算サンプリング情報を用いて復元処理を行い、画像信号を得る画像復元部と、
前記画像復元部が復元した画像を出力する出力部とを備えた
ことを特徴とする撮像装置。
【請求項３】
請求項２記載の撮像装置において、
前記画像復元部は、射影空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる
ことを特徴とする撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記射影空間は、Curvelet空間またはRidgelet空間である
ことを特徴とする撮像装置。
【請求項５】
請求項１記載の撮像装置において、
前記加算サンプリング部の入力を、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号に切替え可能である処理切替部を備えた
ことを特徴とする撮像装置。
【請求項６】
請求項５記載の撮像装置において、
前記処理切替部は、撮像開始時において、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
ことを特徴とする撮像装置。
【請求項７】
請求項５記載の撮像装置において、
前記処理切替部は、前記差分信号の信号値を用いて、切り替えの判断を行う
ことを特徴とする撮像装置。
【請求項８】
請求項７記載の撮像装置において、
前記処理切替部は、前記差分信号の信号値が所定値よりも大きいとき、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
ことを特徴とする撮像装置。
【請求項９】
撮像装置における撮像方法であって、
撮像画像の電荷信号を、異なるタイミングで保持し、
異なるタイミングで保持した電荷信号について、画素毎に差分値を算出し、これら差分値からなる差分信号を得て、
前記差分信号に対して、加算サンプリング処理を行い、
前記加算サンプリング処理後の信号を、デジタル信号に変換する
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮センシングを用いた撮像装置に関するものである。
【背景技術】
【０００２】
近年、「圧縮センシング」を用いた画像処理技術が注目されている。この技術は、複数の画素値を加算して撮像することによって画像を圧縮し、画像処理により画像を復元するものである。通常、加算撮像を行うと、画像の情報量が失われてしまうため、復元画像の画質は大きく劣化する。しかし、圧縮センシングでは、画像のスパース性を利用した復元処理により、加算撮像でデータ量を減らしながらも、圧縮しないものと遜色ない画質の復元画像を得ることができる（例えば、非特許文献１）。【０００３】
ここで、画像がスパースであるとは、画像をウエーブレット空間や離散コサイン（ＤＣＴ）空間などへ射影した際、多くの係数値がほぼ０になるという事象を意味する。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。【０００４】
圧縮センシングでは、撮像素子内のアナログデジタル変換器（適宜、ＡＤＣと略記する）以前に単純な加算処理によりデータ量を圧縮することが可能なため、ＡＤＣの駆動周波数を下げることが可能である。これにより、低消費電力化、高ＳＮ化、および、通信帯域の削減を実現できる。【０００５】
特許文献１では、圧縮センシングの概念を利用した固体撮像素子が開示されている。この固体撮像素子では、複数の画素それぞれに異なる配線が接続されており、画素群の複数の画素を、位相をずらしたタイミングで順に駆動して信号を読み出す。この構成により、サンプルおよびホールド回路が不要であり、ノイズ増加による画質劣化、面積増加、速度低下を防止可能になっている。【０００６】
また、非特許文献１では、Improved Iterative Curvelet Thresholding法を利用することによって、画像に対して圧縮センシングを適用する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２４５９５５号公報
【特許文献２】特開２００４−３２５１７号公報
【非特許文献】
【０００８】
【非特許文献１】J. Ma, “Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement,” IEEE Trans. Instrum. Meas., vol.60, no.1, pp.126-136, 2011
【非特許文献２】D. Takhar, J. N. Laska, M. B. Wakin. M. F. Durate, D. Baron, S. Sarvotham, K. F. Kelly, and R. G. Baraniuk, “A New Compressive Imaging Camera Architecture using optical-domain compression”, Proc. of Computational Imaging IV at SPIE Electronic Imaging, 2006
【非特許文献３】Y. Oike and A.E. Gamal, “A 256×256 CMOS Image Sensor with ΔΣ-Based Single-Shot Compressed Sensing”, IEEE International Solid-State Circuits Conference (ISSCC) Dig. of Tech. Papers, pp.386-387, 2012
【非特許文献４】J. Ma,“Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement”,IEEE Transactions on Instrumentation and Measurement, Vol.60, Iss.1,pp.126-136,2011
【非特許文献５】茨木俊秀、福島雅夫著「情報数学講座(全15巻)第14巻 最適化の手法」共立出版株式会社、1993年7月20日初版1刷発行(P159-P164)
【非特許文献６】中静真,“スパース信号表現とその画像処理応用”,映像情報メディア学会誌, Vol.65, No.10, pp.1381-1386
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、圧縮センシングで前提としている画像のスパース性は、一般画像では必ずしも成立しない。例えば、小物が散らかっているようなランダム性の高い画像では、スパース性は乏しい。このため、このような画像においては、非特許文献１で開示されている手法を用いても、復元画像の画質が劣化するという問題があった。【００１０】
本発明は、このような問題を解決するものであり、圧縮センシングを用いた撮像装置において、復元画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様に係る撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第１の電荷保持部と、第１の電荷保持部とは異なるタイミングで、光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第２の電荷保持部と、第１の電荷保持部が保持している電荷信号と、第２の電荷保持部が保持している電荷信号との差分値を、複数の画素毎に算出し、これら差分値からなる差分信号を得る差分算出部と、差分算出部によって得られた差分信号に対して、加算サンプリング処理を行う加算サンプリング部と、加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えている。【００１２】
これによると、撮像装置において、差分算出部は、異なるタイミングで蓄積された、第１および第２の電荷保持部が保持している電荷信号の差分信号を算出する。加算サンプリング部は、この差分信号に対して加算サンプリング処理を行い、アナログデジタル変換部は加算サンプリング処理後の信号をデジタル信号に変換する。すなわち、一般画像信号と比較してスパース性の高い差分信号に対して、加算サンプリング処理が行われる。したがって、圧縮センシングを利用して、高画質の画像復元を実現することができる、
【発明の効果】
【００１３】
本発明によると、圧縮センシングを用いた撮像装置において、スパース性の高い差分信号を用いるため、高画質の復元画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１に係る撮像装置の構成を示すブロック図
【図２】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図
【図３】画素番号を示す模式図
【図４】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図。
【図５】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図。
【図６】実施の形態１に係る撮像装置における処理の例を示すフローチャート
【図７】（ａ）〜（ｃ）は差分画像を利用した復元処理を説明するための模式図
【図８】（ａ）〜（ｆ）は画像の位置、方向、大きさに基づいた情報を抽出するCurvelet変換におけるatomを示した模式図
【図９】圧縮センシングを行った実際の画像例であり、（ａ）は通常撮像画像、（ｂ）は通常画像を加算サンプリング後、復元した画像、（ｃ）は差分画像を加算サンプリング後、復元した画像
【図１０】実施の形態２に係る撮像装置の構成を示すブロック図
【発明を実施するための形態】
【００１５】
本発明の第１態様では、撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第１の電荷保持部と、前記第１の電荷保持部とは異なるタイミングで、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第２の電荷保持部と、  前記第１の電荷保持部が保持している電荷信号と、前記第２の電荷保持部が保持している電荷信号との差分値を、前記複数の画素毎に算出し、これら差分値からなる差分信号を得る差分算出部と、前記差分算出部によって得られた差分信号に対して、加算サンプリング処理を行う加算サンプリング部と、前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えている。
【００１６】
本発明の第２態様では、第１態様の撮像装置は、前記アナログデジタル変換部の出力信号に対して、前記加算サンプリング部が実行する処理に基づく加算サンプリング情報を用いて復元処理を行い、画像信号を得る画像復元部と、前記画像復元部が復元した画像を出力する出力部とを備えている。
【００１７】
本発明の第３態様では、第２態様の撮像装置において、前記画像復元部は、射影空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる。
【００１８】
本発明の第４態様では、第３態様の撮像装置において、前記射影空間は、Curvelet空間またはRidgelet空間である。
【００１９】
本発明の第５態様では、第１態様の撮像装置は、前記加算サンプリング部の入力を、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号に切替え可能である処理切替部を備えている。
【００２０】
本発明の第６態様では、第５態様の撮像装置において、前記処理切替部は、撮像開始時において、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする。
【００２１】
本発明の第７態様では、第５態様の撮像装置において、前記処理切替部は、前記差分信号の信号値を用いて、切り替えの判断を行う。
【００２２】
本発明の第８態様では、第７態様の撮像装置において、前記処理切替部は、前記差分信号の信号値が所定値よりも大きいとき、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする。
【００２３】
本発明の第９態様では、撮像装置における撮像方法は、撮像画像の電荷信号を、異なるタイミングで保持し、異なるタイミングで保持した電荷信号について、画素毎に差分値を算出し、これら差分値からなる差分信号を得て、前記差分信号に対して、加算サンプリング処理を行い、前記加算サンプリング処理後の信号を、デジタル信号に変換するものである。
【００２４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は実施の形態１に係る撮像装置の構成を示すブロック図である。図１の撮像装置は、光電変換部１０１、第１の電荷保持部１０２、第２の電荷保持部１０３、差分算出部１０４、加算サンプリング部１０５、アナログデジタル変換部１０６、画像復元部１０７、および出力部１０８を備えている。
【００２６】
光電変換部１０１は複数の画素を有しており、各画素が、受光した光信号を電気信号に変換する。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。第１および第２の電荷保持部１０２，１０３は、互いに異なるタイミングで、光電変換部１０１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する。これは例えば、電荷の保持に利用するメモリを複数個設けておき、撮像タイミングごとに、利用するメモリを変更することによって実現できる。
【００２７】
差分算出部１０４は、第１の電荷保持部１０２が保持している電荷信号と、第２の電荷保持部１０３が保持している電荷信号との差分値を、各画素毎に算出し、これら差分値からなる差分信号を得る。これは、公知の差動回路により実現することができる。なお、撮像開始時には差分をとるための元画像がまだ得られていないが、この場合は例えば、前回撮像終了時の画像を利用したり、乱数の画像を与えたり、画面全体が黒やグレーの画像を与えればよい。
【００２８】
加算サンプリング部１０５は、差分算出部１０４によって得られた差分信号について加算サンプリング処理を行い、新たな出力信号を生成する。加算サンプリング部１０５が実行する処理を表した加算サンプリング情報は、画像復元部１０７に送信される。ここで、加算サンプリング処理とは、元の電荷信号（ここでは差分信号）から所定位置の画素の信号をサンプリングして加算し、新たな信号を生成する処理のことをいう。そして、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いるためにサンプリングした画素の位置を示す情報を含むものである。なお、後述するように加算時にゲインを与えた場合には、与えたゲインの情報を含めてもよい。
【００２９】
加算サンプリング部１０５が加算サンプリング処理を行うことによって、画像情報の圧縮を行うことができ、画像復元部１０７に送信する信号量を減らすことができる。画像復元部１０７は、受信した加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。
【００３０】
図２は加算サンプリング処理について説明するための模式図である。ここでは、説明の簡略化のため、４×４の１６画素での処理を例にとって説明する。図２（ａ）〜（ｄ）はそれぞれ、ｔ＝１〜４における読み出し画素、すなわち、加算サンプリング処理に用いた画素を表している。また、説明のために、図３に４×４の各画素に付した画素番号を示している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。
【００３１】
図２（ａ）では、画素番号１，６，１１，１６のデータを読み出し、この４画素のデータを加算処理することで、ｔ＝１の出力信号を生成している。同様に、図２（ｂ）では、画素番号３，８，９，１４のデータを読み出し、この４画素のデータを加算し、ｔ＝２の出力信号を生成している。図２（ｃ）では、画素番号２，５，１２，１５のデータを読み出し、この４画素のデータを加算し、ｔ＝３の出力信号を生成している。図２（ｄ）では、画素番号４，７，１０，１３のデータを読み出し、この４画素のデータを加算し、ｔ＝４の出力信号を生成している。
【００３２】
このようにして、４×４＝１６画素のデータをｔ＝１〜４の４個のデータに圧縮する。これにより、後述のアナログデジタル変換部１０５の動作速度を減少させることができるため、より低ノイズの画像を復元できる。
【００３３】
また、図２の加算サンプリング処理の場合、加算サンプリング情報は例えば次のようになる。ｔ＝１〜４において、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図３に示した画素番号順に符号化したデータを、加算サンプリング情報とする。すなわち、
ｔ＝１のとき“１０００  ０１００  ００１０  ０００１”
ｔ＝２のとき“００１０  ０００１  １０００  ０１００”
ｔ＝３のとき“０１００  １０００  ０００１  ００１０”
ｔ＝４のとき“０００１  ００１０  ０１００  １０００”
となるため、加算サンプリング情報は、これらを連結して、
“１０００  ０１００  ００１０  ０００１  ００１０  ０００１  １０００  ０１００  ０１００  １０００  ０００１  ００１０  ０００１  ００１０  ０１００  １０００”
とする。なお、加算サンプリング情報の形式はここで示したものに限られるものではなく、加算のためにサンプリングされた画素の位置が分かるものであればよい。
【００３４】
なお、図２の例では、加算サンプリング処理において各画素を一度ずつ読み出すものとしている。もちろん、加算サンプリング処理において、同じ画素を複数回読み出すようにしてもかまわない。
【００３５】
図４はこのような加算サンプリング処理の例を示す模式図である。図４（ａ）では、画素番号１，３，６，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝１の出力信号を生成している。同様に、図４（ｂ）では、画素番号２，３，５，８，９，１２，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝２の出力信号を生成している。図４（ｃ）では、画素番号２，４，５，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝３の出力信号を生成している。図４（ｄ）では、画素番号１，４，６，７，１０，１１，１３，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝４における出力信号を生成している。
【００３６】
このように、各画素を複数回読み出して加算処理を行うことによって、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することが可能である。このような加算サンプリング処理については、例えば、非特許文献２や非特許文献３に記載されている。
【００３７】
また、加算サンプリング処理において、サンプリングする画素位置を、ランダムに、かつまたは、独立になるように選択してもかまわない。これにより、加算サンプリング処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる。（例えば、非特許文献１のｐｐ.４３−４４参照）。
【００３８】
図５はサンプリングする画素位置がランダムになるように選択した加算サンプリング処理の例を示す模式図である。図５（ａ）では、画素番号１，４，７，８，９，１０，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝１での出力信号を生成している。同様に、図５（ｂ）では、画素番号２，３，５，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝２での出力信号を生成している。図５（ｃ）では、画素番号２，３，５，６，１１，１２，１３，１６の画素のデータを取出し、この８画素のデータを加算し、ｔ＝３での出力信号を生成している。図５（ｄ）では、画素番号１，４，６，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝４での出力信号を生成している。
【００３９】
また、加算サンプリング処理において、複数の画素データを単に加算する代わりに、ゲインを与えて重みづけ加算してもかまわない。複数の画素データを加算すると、加算後のデータのダイナミックレンジが増大し、アナログデジタル変換部１０６の負荷が増える。この問題を解決するためには、画素データを重み付け加算することが有効である。例えば図２のような加算サンプリング処理を行う場合において、加算後のデータのダイナミックレンジを元の画素データに合わせるために正規化処理を行うときは、重み１／４をゲインとして与えればよい。
【００４０】
アナログデジタル変換部１０６は、加算サンプリング部１０５で生成された信号をデジタル信号に変換する。この処理は、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して実行すればよい。
【００４１】
画像復元部１０７は、アナログデジタル変換部１０６が生成したデジタル信号に対して、加算サンプリング部１０５から送信された加算サンプリング情報を用いて復元処理を行い、画像信号を得る。なお、復元した画像は差分画像であるため、例えば、前フレームの画像に復元した差分画像を加算することによって、最終的な復元画像が得られる。なお、ここでの復元処理は、圧縮センシングで広く使われている、Improved Iterative Curvelet Thresholding法（例えば非特許文献４を参照）やアフィンスケーリング法（例えば非特許文献５を参照）などの公知の手法を利用すればよい。
【００４２】
出力部１０８は、画像復元部１０７が復元した画像を、ディスプレイに表示したり、人検出などの画像処理に利用したりするために出力するインターフェイスである。
【００４３】
図６は本実施の形態に係る撮像装置における処理の例を示すフローチャートである。まず、ステップＳ１０１において、光電変換部１０１は光信号を電気信号に変換する。これにより、撮像画像が得られる。そして、前フレームにおいて第１の電荷保持部１０２を利用していない場合（ステップＳ１０２でＮｏ）は、第１の電荷保持部１０２が、光電変換部１０１で変換された電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０３）。一方、前フレームにおいて第１の電荷保持部１０２を利用している場合（ステップＳ１０２でＹｅｓ）は、第２の電荷保持部１０３が、光電変換部１０１で変換された電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０４）。
【００４４】
すなわち、第１の電荷保持部１０２を利用した次のフレームでは第２の電荷保持部１０３を利用し、第２の電荷保持部１０３を利用した次のフレームでは第１の電荷保持部１０２を利用する、というように、第１および第２の電荷保持部１０２，１０３が巡回的に利用される。
【００４５】
次にステップＳ１０５において、差分算出部１０４は、第１の電荷保持部１０２に蓄積されている電荷信号と、第２の電荷保持部１０３に蓄積されている電荷信号との差分信号を算出する。これにより、時間的に隣り合ったフレーム間で、画素ごとの差分情報が差分信号として算出される。
【００４６】
次にステップＳ１０６において、加算サンプリング部１０５は、差分算出部１０４によって算出された差分信号に対し、加算サンプリング処理を行い、新たな出力信号を生成する。そしてステップＳ１０７において、アナログデジタル変換部１０６は、加算サンプリング部１０５で生成された信号をデジタル信号に変換する。
【００４７】
次にステップＳ１０８において、画像復元部１０７は、アナログデジタル変換部１０６が生成したデジタル信号を、加算サンプリング部１０５から送信された加算サンプリング情報を利用して、画像を復元する。そしてステップＳ１０９において、出力部１０８は、復元画像を撮像装置外部に出力する。
【００４８】
ここで、圧縮センシングに差分画像を用いる場合の効果について説明する。
【００４９】
圧縮センシングでは、入力画像をある空間へ射影した際、その係数ベクトルのスパース性が高くなるほど、復元画質が向上することが知られている。すなわち、入力画像をスパースに表現できる空間を利用することが、復元画質の向上にとって重要である。そして本願発明者らの検討によって、電荷信号の差分信号からなる差分画像では、スパース性が高くなることが明らかになった。
【００５０】
図７は差分画像を利用した復元処理を説明するための模式図である。図７（ａ）は人物Ｐをｔ＝１のときに撮像した画像、図７（ｂ）は人物Ｐをｔ＝２のときに撮像した画像を示している。そして図７（ｃ）は、ｔ＝１の画像とｔ＝２の画像との差分画像であり、差分値が存在する領域Ａ１が白く示されている。
【００５１】
ここで、被写体が人物や動物の場合、差分画像は領域Ａ１のように、カーブの組み合わせによって表現される。例えば図７（ｃ）のブロックＡ２を見ると、差分領域として、ブロックの右下にブロックサイズの半分ほどの大きさで、中心を右下方に持つ円弧が存在している。ところでカーブは、位置、角度、大きさの３つの情報で表現される。このことから、差分画像は、位置情報、方向成分、大きさ情報で表現できる空間に射影することによって、スパース性が高くなると考えられる。そこで、差分画像を射影する空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる。これにより、画像のスパース性を向上させることができる。
【００５２】
図８（ａ）〜（ｆ）は画像の位置、方向、大きさに基づいた情報を抽出する変換の一例であるCurvelet変換におけるatomのいくつかを示す模式図である。なお、圧縮センシングでは、着目信号を少数の基本ベクトルの線形和で表現するが、この基本ベクトルのことをatomとよぶ。なお、基本ベクトルが互いに直交するときは、この基本ベクトルを基底と呼ぶ。図７（ｃ）のブロックＡ２内の差分画像は図８（ｆ）に示すatomに似ており、このことから、Curvelet変換が有効であることがわかる。
【００５３】
図９は圧縮センシングを行った実際の画像例であり、（ａ）は加算サンプリングを行わなかった場合の通常撮像画像、（ｂ）は通常画像を加算サンプリング後、Curvelet変換を利用して復元した画像、（ｃ）は差分画像を加算サンプリング後、Curvelet変換を利用して復元した画像に前フレームの画像を加算した画像を示している。
【００５４】
図９のような一般画像では、大域的な成分が支配的であるため、Curvelet変換に用いられる局所的なatomではスパースに表現することができない。このため、図９（ｂ）に示すように、圧縮センシングに通常画像を用いた場合には復元画像に大きな誤差が生じている。一方、その差分画像は、局所的な位置情報と方向成分、大きさ情報で表現できる画像であるため、Curvelet変換によってスパースに表現することができる。したがって、図９（ｃ）に示すように高画質の画像復元が可能である。
【００５５】
なお、画像復元に利用する射影空間は、Curvelet空間に限られるものではない。その他にも例えば、局所的なatomを持ったRidgelet空間を用いてもかまわない。
【００５６】
もちろん、復元手法として、Matching Pursuits法、Matching Pursuits Denoising法などの公知の手法を利用するようにしてもかまわない（例えば、非特許文献６を参照）。
【００５７】
以上説明したように本実施の形態によると、光電変換部１０１によって得られた電気信号を蓄積する第１および第２の電荷保持部１０２，１０３を用いて、撮像画像の差分信号を得る。そして、この差分信号に対して加算サンプリング処理を行い、生成された信号をデジタル信号に変換する。このデジタル信号に対して、圧縮センシング技術に基づいた画像復元処理を行うことで、高画質の復元画像を得ることができる。さらに、圧縮センシングに利用する射影空間として、局所的なatomを有し、画像の位置、方向、大きさに基づいた情報を抽出する空間を利用することによって、さらに高画質の画像復元を実現できる。
【００５８】
なお、複数の電荷保持部を利用した撮像装置としては、ＣＣＤ(Charge Coupled Device)が広く知られている。ただし、本実施の形態に係る撮像装置は、複数の電荷保持部を利用することによって画像の差分信号を算出し、この差分信号に対して加算サンプリング処理を実行することによって、画像のスパース性を上げるものである。したがって、ＣＣＤとは全く異なる技術である。
【００５９】
また、複数のメモリを用いて撮像画像の差分情報を利用する技術は、広く知られている。例えば特許文献２では、高精度のフォーカス制御を可能とするために、複数の加算画像や平均画像、差分画像を利用する手法が開示されている。ただしこれは、アナログデジタル変換を行った後に、得られたデジタル信号に対して、複数のメモリを用いて差分処理等を行うものである。一方、本実施の形態に係る撮像装置は、アナログデジタル変換を行う前に差分処理を行うものであり、従来とはまったく異なっている。すなわち、本実施の形態の撮像装置は、圧縮センシング技術に差分画像を利用するものであり、差分画像に対して加算サンプリング処理を行った後にアナログデジタル変換を行い、得られたデジタル信号から、より高画質の画像を復元している。
【００６０】
（実施の形態２）
図１０は実施の形態２に係る撮像装置の構成を示すブロック図である。図１０において、図１と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【００６１】
図１０の撮像装置は、図１の撮像装置の構成要素に加えて、処理切替部１０９をさらに備えている。
【００６２】
処理切替部１０９は、加算サンプリング部１０５の入力を、差分算出部１０４から出力される差分信号に代えて、第１または第２の電荷保持部１０２，１０３が保持している電荷信号に切り替え可能である。すなわち、処理切替部１０９によって、第１の電荷保持部１０２と第２の電荷保持部１０３とにそれぞれ保持されている電荷信号の差分信号に対して加算サンプリング処理を行うか、または、第１の電荷保持部１０２または第２の電荷保持部１０３のいずれかに保持されている電荷信号に対して加算サンプリング処理を行うか、が切り替えられる。差分算出部１０４は、第１または第２の電荷保持部１０２，１０３が保持している電荷信号に対して加算サンプリング処理を行うときは、差分計算を停止してもよい。
【００６３】
処理切替部１０９は、撮像の状況に従って切り替えの判断を行う。例えば、撮像開始時において、第１または第２の電荷保持部１０２，１０３が保持している電荷信号を加算サンプリング部１０５の入力とする。撮像を開始したばかりのとき、画像復元部１０７は、画像復元に必要な前フレームの画像を持っていない。そこで、処理切替部１０９は、撮像開始時は、第１または第２の電荷保持部１０２，１０３の出力信号を加算サンプリング部１０５に与えて処理させる。これにより、撮像開始時から、画質は低いものの、復元画像を得ることができる。その後、差分画像に対する加算サンプリング処理を実行することによって、復元画像の画質を向上させることができる。
【００６４】
また、処理切替部１０９は、第１の電荷保持部１０２と第２の電荷保持部１０３とにそれぞれ保持されている電荷信号の差分信号の信号値を用いて、切り替えの判断を行ってもよい。この場合は、処理切替部１０９は、差分算出部１０４の出力を利用すればよい。
【００６５】
例えば、差分信号の信号値が所定値よりも大きいときは、差分信号ではなく、第１または第２の電荷保持部１０２，１０３の出力信号を、加算サンプリング部１０５の入力とする。差分値が大きい場合、シーンチェンジや光源変動のために被写体は大きく変わっていると想定される。この場合、差分信号が十分にスパースでなくなり、このため差分信号に対して加算サンプリング処理を行った場合には、かえって画質が劣化してしまう可能性が高い。そこで、差分信号を利用せず、第１または第２の電荷保持部１０２，１０３の出力信号を加算サンプリング部１０５によって処理することによって、復元画像の画質を維持する。
【００６６】
一方、差分値が小さいときは、差分算出部１０４が算出した差分信号を加算サンプリング部１０５の入力とする。差分値が小さいときは、実施の形態１で説明したとおり、差分信号を利用することによって画像をスパースに表現できるため、復元画像の画質を向上させることができる。さらに、差分値がゼロに十分近いときは、その画像について加算サンプリング処理を行わないものとしてもよい。この場合、復元処理は前フレームの画像をそのまま利用すればよいため、その画像の処理を行う必要はないからである。
【００６７】
なお、差分信号の信号値を用いた処理切り替えを行う場合において、切り替えを判断する領域単位は、例えば、加算サンプリング処理を行う領域とすればよい。例えば、加算サンプリング処理を行う領域毎に差分信号の信号値の総和を求め、求めた値を基にして当該領域における処理切り替えの判断を行えばよい。この場合は、画像の中に、差分信号に対して加算サンプリング処理を行う領域と、元の電荷信号に対して加算サンプリング処理を行う領域とが含まれる。なお、切り替えを判断する領域単位は加算サンプリング処理を行う領域に限られるものではなく、その他の所定範囲の領域を単位としてもかまわない。あるいは、画像全体において差分信号の信号値の総和を求め、画像全体について処理切り替えの判断を行うようにしてもかまわない。
【００６８】
以上説明したように本実施の形態によると、処理切替部１０９を設けたことによって、撮像の状況や入力画像の変化に応じて、適切な加算サンプリング処理を選択できるため、より高画質の画像復元を実現できる。
【００６９】
なお、上述の各実施の形態では、撮像装置は、画像復元部および出力部を備えた構成としたが、これに限られるものではない。例えば、画像復元部を備えない構成とし、アナログデジタル変換部によって得られたデジタル信号と、加算サンプリング情報とを、撮像装置の外部に出力するものとしてもよい。
【００７０】
また、画像復元部が用いる加算サンプリング情報は、加算サンプリング部が実行した処理そのものを表す情報である必要は必ずしもない。例えば、加算サンプリング部が実行した処理よりも解像度を低下させた加算サンプリング情報を、画像復元部が用いるようにしてもかまわない。これにより、解像度の低い復元画像が得られる。すなわち、画像復元部が用いる加算サンプリング情報は、加算サンプリング部が実行した処理に基づくものであればよい。
【００７１】
なお、本明細書における撮像装置は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像装置の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図６のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【産業上の利用可能性】
【００７２】
本発明は、撮像装置において、低消費電力化、高ＳＮ化、および、通信帯域の削減を実現しつつ、高画質の画像を復元可能にするのに有用である。
【符号の説明】
【００７３】
１０１  光電変換部
１０２  第１の電荷保持部
１０３  第２の電荷保持部
１０４  差分算出部
１０５  加算サンプリング部
１０６  アナログデジタル変換部
１０７  画像復元部
１０８  出力部
１０９  処理切替部
【図１】
2014192223.tif 000003
【図２】
2014192223.tif 000004
【図３】
2014192223.tif 000005
【図４】
2014192223.tif 000006
【図５】
2014192223.tif 000007
【図６】
2014192223.tif 000008
【図１０】
2014192223.tif 000009
【図７】
2014192223.tif 000010
【図８】
2014192223.tif 000011
【図９】
2014192223.tif 000012
【手続補正書】
【提出日】平成26年8月22日(2014.8.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第１の電荷保持部と、
前記第１の電荷保持部とは異なるタイミングで、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する第２の電荷保持部と、
前記第１の電荷保持部が保持している電荷信号と、前記第２の電荷保持部が保持している電荷信号との差分値を、前記複数の画素毎に算出し、これら差分値からなる差分信号を得る差分算出部と、
前記差分算出部によって得られた差分信号に対して、元の電荷信号から所定位置の画素の信号をサンプリングして加算し、新たな信号を生成する処理である、加算サンプリング処理を行う加算サンプリング部と、
前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えた
ことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記アナログデジタル変換部の出力信号に対して、前記加算サンプリング部が実行する処理に基づく加算サンプリング情報を用いて復元処理を行い、画像信号を得る画像復元部と、
前記画像復元部が復元した画像を出力する出力部とを備えた
ことを特徴とする撮像装置。
【請求項３】
請求項２記載の撮像装置において、
前記画像復元部は、射影空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる
ことを特徴とする撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記射影空間は、Ｃｕｒｖｅｌｅｔ空間またはＲｉｄｇｅｌｅｔ空間である
ことを特徴とする撮像装置。
【請求項５】
請求項１記載の撮像装置において、
前記加算サンプリング部の入力を、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号に切替え可能である処理切替部を備えた
ことを特徴とする撮像装置。
【請求項６】
請求項５記載の撮像装置において、
前記処理切替部は、撮像開始時において、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
ことを特徴とする撮像装置。
【請求項７】
請求項５記載の撮像装置において、
前記処理切替部は、前記差分信号の信号値を用いて、切り替えの判断を行う
ことを特徴とする撮像装置。
【請求項８】
請求項７記載の撮像装置において、
前記処理切替部は、前記差分信号の信号値が所定値よりも大きいとき、前記差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
ことを特徴とする撮像装置。
【請求項９】
撮像装置における撮像方法であって、
撮像画像の電荷信号を、異なるタイミングで保持し、
異なるタイミングで保持した電荷信号について、画素毎に差分値を算出し、これら差分値からなる差分信号を得て、
前記差分信号に対して、元の電荷信号から所定位置の画素の信号をサンプリングして加算し、新たな信号を生成する処理である、加算サンプリング処理を行い、
前記加算サンプリング処理後の信号を、デジタル信号に変換する
ことを特徴とする撮像方法。
【手続補正書】
【提出日】平成26年12月26日(2014.12.26)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
を利用することによって、画像に対して圧縮センシングを適用する方法が開示されている。
先行技術文献
特許文献
［０００７］
特許文献１：特開２０１０−２４５９５５号公報
特許文献２：特開２００４−３２５１７号公報
非特許文献
［０００８］
非特許文献１：田中利幸，“圧縮センシングの数理”，ＩＥＩＣＥ  Ｆｕｎｄａｍｅｎｔａｌｓ  Ｒｅｖｉｅｗ，ｖｏｌ．４，ｎｏ．１，ｐｐ．３９−４７，２０１０
非特許文献２：Ｄ．Ｔａｋｈａｒ，Ｊ．Ｎ．Ｌａｓｋａ，Ｍ．Ｂ．Ｗａｋｉｎ．Ｍ．Ｆ．Ｄｕｒａｔｅ，Ｄ．Ｂａｒｏｎ，Ｓ．Ｓａｒｖｏｔｈａｍ，Ｋ．Ｆ．Ｋｅｌｌｙ，ａｎｄ  Ｒ．Ｇ．Ｂａｒａｎｉｕｋ，“Ａ  Ｎｅｗ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｉｍａｇｉｎｇ  Ｃａｍｅｒａ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｕｓｉｎｇ  ｏｐｔｉｃａｌ−ｄｏｍａｉｎ  ｃｏｍｐｒｅｓｓｉｏｎ”，Ｐｒｏｃ．ｏｆ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｍａｇｉｎｇ  ＩＶ  ａｔ  ＳＰＩＥ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ，２００６
非特許文献３：Ｙ．Ｏｉｋｅ  ａｎｄ  Ａ．Ｅ．Ｇａｍａｌ，“Ａ  ２５６×２５６  ＣＭＯＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ  ｗｉｔｈ  ΔΣ−Ｂａｓｅｄ  Ｓｉｎｇｌｅ−Ｓｈｏｔ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ”，ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ  Ｃｏｎｆｅｒｅｎｃｅ（ＩＳＳＣＣ）Ｄｉｇ．ｏｆ  Ｔｅｃｈ．Ｐａｐｅｒｓ，ｐｐ．３８６−３８７，２０１２
非特許文献４：Ｊ．Ｍａ，“Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ”，ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ，Ｖｏｌ．６０，Ｉｓｓ．１，ｐｐ．１２６−１３６，２０１１
非特許文献５：茨木俊秀、福島雅夫著「情報数学講座（全１５巻）第１４巻  最適化の手法」共立出版株式会社、１９９３年７月２０日初版１刷発行（Ｐ１５９−Ｐ１６４）
非特許文献６：中静真，“スパース信号表現とその画像処理応用”，映像情報メディア学会誌，Ｖｏｌ．６５，Ｎｏ．１０，ｐｐ．１３８１−１３８６
発明の概要
発明が解決しようとする課題
【手続補正書】
【提出日】平成27年6月16日(2015.6.16)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、圧縮センシングを用いた撮像装置に関するものである。
【背景技術】
【０００２】
近年、「圧縮センシング」を用いた画像処理技術が注目されている。この技術は、複数の画素値を加算して撮像することによって画像を圧縮し、画像処理により画像を復元するものである。通常、加算撮像を行うと、画像の情報量が失われてしまうため、復元画像の画質は大きく劣化する。しかし、圧縮センシングでは、画像のスパース性を利用した復元処理により、加算撮像でデータ量を減らしながらも、圧縮しないものと遜色ない画質の復元画像を得ることができる（例えば、非特許文献３）。
【０００３】
ここで、画像がスパースであるとは、画像をウエーブレット空間や離散コサイン（ＤＣＴ）空間などへ射影した際、多くの係数値がほぼ０になるという事象を意味する。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。
【０００４】
圧縮センシングでは、撮像素子内のアナログデジタル変換器（適宜、ＡＤＣと略記する）以前に単純な加算処理によりデータ量を圧縮することが可能なため、ＡＤＣの駆動周波数を下げることが可能である。これにより、低消費電力化、高ＳＮ化、および、通信帯域の削減を実現できる。
【０００５】
特許文献１では、圧縮センシングの概念を利用した固体撮像素子が開示されている。この固体撮像素子では、複数の画素それぞれに異なる配線が接続されており、画素群の複数の画素を、位相をずらしたタイミングで順に駆動して信号を読み出す。この構成により、サンプルおよびホールド回路が不要であり、ノイズ増加による画質劣化、面積増加、速度低下を防止可能になっている。
【０００６】
また、非特許文献４では、Improved Iterative Curvelet Thresholding法を利用することによって、画像に対して圧縮センシングを適用する方法が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１０−２４５９５５号公報
【特許文献２】特開２００４−３２５１７号公報
【非特許文献】
【０００８】
【非特許文献１】田中利幸，“圧縮センシングの数理”，IEICE Fundamentals Review，vol.4，no.1，pp.39-47, 2010
【非特許文献２】D. Takhar, J. N. Laska, M. B. Wakin. M. F. Durate, D. Baron, S. Sarvotham, K. F. Kelly, and R. G. Baraniuk, “A New Compressive Imaging Camera Architecture using optical-domain compression”, Proc. of Computational Imaging IV at SPIE Electronic Imaging, 2006
【非特許文献３】Y. Oike and A.E. Gamal, “A 256×256 CMOS Image Sensor with ΔΣ-Based Single-Shot Compressed Sensing”, IEEE International Solid-State Circuits Conference (ISSCC) Dig. of Tech. Papers, pp.386-387, 2012
【非特許文献４】J. Ma,“Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement”,IEEE Transactions on Instrumentation and Measurement, Vol.60, Iss.1,pp.126-136,2011
【非特許文献５】茨木俊秀、福島雅夫著「情報数学講座(全15巻)第14巻 最適化の手法」共立出版株式会社、1993年7月20日初版1刷発行(P159-P164)
【非特許文献６】中静真,“スパース信号表現とその画像処理応用”,映像情報メディア学会誌, Vol.65, No.10, pp.1381-1386
【発明の概要】
【発明が解決しようとする課題】
【０００９】
しかしながら、圧縮センシングで前提としている画像のスパース性は、一般画像では必ずしも成立しない。例えば、小物が散らかっているようなランダム性の高い画像では、スパース性は乏しい。このため、このような画像においては、非特許文献１で開示されている手法を用いても、復元画像の画質が劣化するという問題があった。
【００１０】
本発明は、このような問題を解決するものであり、圧縮センシングを用いた撮像装置において、復元画像の画質を向上させることを目的とする。
【課題を解決するための手段】
【００１１】
本発明の一態様に係る撮像装置は、撮像したデジタル信号を復元して画像信号を得る撮像システムにおける撮像装置であって、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、光電変換部によって得られた電気信号を蓄積し、復元する画像信号のすべての画素に対応する電荷信号を保持する第１の電荷保持部と、第１の電荷保持部とは異なるタイミングで、光電変換部によって得られた電気信号を蓄積し、すべての画素に対応する電荷信号を保持する第２の電荷保持部と、第１の電荷保持部が保持している電荷信号と、第２の電荷保持部が保持している電荷信号との差分値を、すべての画素毎に算出し、すべての画素に対応する時間差分信号を得る差分算出部と、差分算出部によって得られたすべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行う加算サンプリング部と、加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えている。
【００１２】
これによると、撮像装置において、差分算出部は、異なるタイミングで蓄積された、第１および第２の電荷保持部が保持している、復元する画像信号のすべての画素に対応する電荷信号の時間差分信号を算出する。加算サンプリング部は、この時間差分信号に対して加算サンプリング処理を行い、アナログデジタル変換部は加算サンプリング処理後の信号をデジタル信号に変換する。すなわち、一般画像信号と比較してスパース性の高い差分信号に対して、加算サンプリング処理が行われる。したがって、圧縮センシングを利用して、高画質の画像復元を実現することができる、
【発明の効果】
【００１３】
本発明によると、圧縮センシングを用いた撮像装置において、スパース性の高い差分信号を用いるため、高画質の復元画像を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】実施の形態１に係る撮像装置の構成を示すブロック図
【図２】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図
【図３】画素番号を示す模式図
【図４】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図。
【図５】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図。
【図６】実施の形態１に係る撮像装置における処理の例を示すフローチャート
【図７】（ａ）〜（ｃ）は差分画像を利用した復元処理を説明するための模式図
【図８】（ａ）〜（ｆ）は画像の位置、方向、大きさに基づいた情報を抽出するCurvelet変換におけるatomを示した模式図
【図９】圧縮センシングを行った実際の画像例であり、（ａ）は通常撮像画像、（ｂ）は通常画像を加算サンプリング後、復元した画像、（ｃ）は差分画像を加算サンプリング後、復元した画像
【図１０】実施の形態２に係る撮像装置の構成を示すブロック図
【発明を実施するための形態】
【００１５】
本発明の第１態様では、撮像したデジタル信号を復元して画像信号を得る撮像システムにおける撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、前記光電変換部によって得られた電気信号を蓄積し、復元する画像信号のすべての画素に対応する電荷信号を保持する第１の電荷保持部と、前記第１の電荷保持部とは異なるタイミングで、前記光電変換部によって得られた電気信号を蓄積し、前記すべての画素に対応する電荷信号として保持する第２の電荷保持部と、前記第１の電荷保持部が保持している電荷信号と、前記第２の電荷保持部が保持している電荷信号との差分値を、前記すべての画素毎に算出し、前記すべての画素に対応する時間差分信号を得る差分算出部と、前記差分算出部によって得られた前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行う加算サンプリング部と、前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えている。
【００１６】
本発明の第２態様では、第１態様の撮像装置は、前記アナログデジタル変換部の出力信号に対して、前記加算サンプリング部が実行する処理に基づく加算サンプリング情報を用いて復元処理を行い、画像信号を得る画像復元部と、前記画像復元部が復元した画像を出力する出力部とを備えている。
【００１７】
本発明の第３態様では、第２態様の撮像装置において、前記画像復元部は、射影空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる。
【００１８】
本発明の第４態様では、第３態様の撮像装置において、前記射影空間は、Curvelet空間またはRidgelet空間である。
【００１９】
本発明の第５態様では、第１態様の撮像装置は、前記加算サンプリング部の入力を、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号に切替え可能である処理切替部を備えている。
【００２０】
本発明の第６態様では、第５態様の撮像装置において、前記処理切替部は、撮像開始時において、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする。
【００２１】
本発明の第７態様では、第５態様の撮像装置において、前記処理切替部は、前記時間差分信号の信号値を用いて、切り替えの判断を行う。
【００２２】
本発明の第８態様では、第７態様の撮像装置において、前記処理切替部は、前記時間差分信号の信号値が所定値よりも大きいとき、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする。
【００２３】
本発明の第９態様では、撮像したデジタル信号を復元して画像信号を得る撮像システムにおける、撮像装置における撮像方法は、復元する画像信号に対応するすべての画素の電荷信号を、異なるタイミングで保持し、異なるタイミングで保持した電荷信号について、画素毎に差分値を算出し、前記すべての画素に対応する時間差分信号を得て、前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行い、前記加算サンプリング処理後の信号を、デジタル信号に変換するものである。
【００２４】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２５】
（実施の形態１）
図１は実施の形態１に係る撮像装置の構成を示すブロック図である。図１の撮像装置は、光電変換部１０１、第１の電荷保持部１０２、第２の電荷保持部１０３、差分算出部１０４、加算サンプリング部１０５、アナログデジタル変換部１０６、画像復元部１０７、および出力部１０８を備えている。
【００２６】
光電変換部１０１は複数の画素を有しており、各画素が、受光した光信号を電気信号に変換する。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。第１および第２の電荷保持部１０２，１０３は、互いに異なるタイミングで、光電変換部１０１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する。これは例えば、電荷の保持に利用するメモリを複数個設けておき、撮像タイミングごとに、利用するメモリを変更することによって実現できる。
【００２７】
差分算出部１０４は、第１の電荷保持部１０２が保持している電荷信号と、第２の電荷保持部１０３が保持している電荷信号との差分値を、各画素毎に算出し、これら差分値からなる差分信号を得る。これは、公知の差動回路により実現することができる。なお、撮像開始時には差分をとるための元画像がまだ得られていないが、この場合は例えば、前回撮像終了時の画像を利用したり、乱数の画像を与えたり、画面全体が黒やグレーの画像を与えればよい。
【００２８】
加算サンプリング部１０５は、差分算出部１０４によって得られた差分信号について加算サンプリング処理を行い、新たな出力信号を生成する。加算サンプリング部１０５が実行する処理を表した加算サンプリング情報は、画像復元部１０７に送信される。ここで、加算サンプリング処理とは、元の電荷信号（ここでは差分信号）から所定位置の画素の信号をサンプリングして加算し、新たな信号を生成する処理のことをいう。そして、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いるためにサンプリングした画素の位置を示す情報を含むものである。なお、後述するように加算時にゲインを与えた場合には、与えたゲインの情報を含めてもよい。
【００２９】
加算サンプリング部１０５が加算サンプリング処理を行うことによって、画像情報の圧縮を行うことができ、画像復元部１０７に送信する信号量を減らすことができる。画像復元部１０７は、受信した加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。
【００３０】
図２は加算サンプリング処理について説明するための模式図である。ここでは、説明の簡略化のため、４×４の１６画素での処理を例にとって説明する。図２（ａ）〜（ｄ）はそれぞれ、ｔ＝１〜４における読み出し画素、すなわち、加算サンプリング処理に用いた画素を表している。また、説明のために、図３に４×４の各画素に付した画素番号を示している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。
【００３１】
図２（ａ）では、画素番号１，６，１１，１６のデータを読み出し、この４画素のデータを加算処理することで、ｔ＝１の出力信号を生成している。同様に、図２（ｂ）では、画素番号３，８，９，１４のデータを読み出し、この４画素のデータを加算し、ｔ＝２の出力信号を生成している。図２（ｃ）では、画素番号２，５，１２，１５のデータを読み出し、この４画素のデータを加算し、ｔ＝３の出力信号を生成している。図２（ｄ）では、画素番号４，７，１０，１３のデータを読み出し、この４画素のデータを加算し、ｔ＝４の出力信号を生成している。
【００３２】
このようにして、４×４＝１６画素のデータをｔ＝１〜４の４個のデータに圧縮する。これにより、後述のアナログデジタル変換部１０５の動作速度を減少させることができるため、より低ノイズの画像を復元できる。
【００３３】
また、図２の加算サンプリング処理の場合、加算サンプリング情報は例えば次のようになる。ｔ＝１〜４において、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図３に示した画素番号順に符号化したデータを、加算サンプリング情報とする。すなわち、
ｔ＝１のとき“１０００  ０１００  ００１０  ０００１”
ｔ＝２のとき“００１０  ０００１  １０００  ０１００”
ｔ＝３のとき“０１００  １０００  ０００１  ００１０”
ｔ＝４のとき“０００１  ００１０  ０１００  １０００”
となるため、加算サンプリング情報は、これらを連結して、
“１０００  ０１００  ００１０  ０００１  ００１０  ０００１  １０００  ０１００  ０１００  １０００  ０００１  ００１０  ０００１  ００１０  ０１００  １０００”
とする。なお、加算サンプリング情報の形式はここで示したものに限られるものではなく、加算のためにサンプリングされた画素の位置が分かるものであればよい。
【００３４】
なお、図２の例では、加算サンプリング処理において各画素を一度ずつ読み出すものとしている。もちろん、加算サンプリング処理において、同じ画素を複数回読み出すようにしてもかまわない。
【００３５】
図４はこのような加算サンプリング処理の例を示す模式図である。図４（ａ）では、画素番号１，３，６，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝１の出力信号を生成している。同様に、図４（ｂ）では、画素番号２，３，５，８，９，１２，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝２の出力信号を生成している。図４（ｃ）では、画素番号２，４，５，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝３の出力信号を生成している。図４（ｄ）では、画素番号１，４，６，７，１０，１１，１３，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝４における出力信号を生成している。
【００３６】
このように、各画素を複数回読み出して加算処理を行うことによって、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することが可能である。このような加算サンプリング処理については、例えば、非特許文献２や非特許文献３に記載されている。
【００３７】
また、加算サンプリング処理において、サンプリングする画素位置を、ランダムに、かつまたは、独立になるように選択してもかまわない。これにより、加算サンプリング処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる。（例えば、非特許文献１のｐｐ.４３−４４参照）。
【００３８】
図５はサンプリングする画素位置がランダムになるように選択した加算サンプリング処理の例を示す模式図である。図５（ａ）では、画素番号１，４，７，８，９，１０，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝１での出力信号を生成している。同様に、図５（ｂ）では、画素番号２，３，５，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝２での出力信号を生成している。図５（ｃ）では、画素番号２，３，５，６，１１，１２，１３，１６の画素のデータを取出し、この８画素のデータを加算し、ｔ＝３での出力信号を生成している。図５（ｄ）では、画素番号１，４，６，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝４での出力信号を生成している。
【００３９】
また、加算サンプリング処理において、複数の画素データを単に加算する代わりに、ゲインを与えて重みづけ加算してもかまわない。複数の画素データを加算すると、加算後のデータのダイナミックレンジが増大し、アナログデジタル変換部１０６の負荷が増える。この問題を解決するためには、画素データを重み付け加算することが有効である。例えば図２のような加算サンプリング処理を行う場合において、加算後のデータのダイナミックレンジを元の画素データに合わせるために正規化処理を行うときは、重み１／４をゲインとして与えればよい。
【００４０】
アナログデジタル変換部１０６は、加算サンプリング部１０５で生成された信号をデジタル信号に変換する。この処理は、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して実行すればよい。
【００４１】
画像復元部１０７は、アナログデジタル変換部１０６が生成したデジタル信号に対して、加算サンプリング部１０５から送信された加算サンプリング情報を用いて復元処理を行い、画像信号を得る。なお、復元した画像は差分画像であるため、例えば、前フレームの画像に復元した差分画像を加算することによって、最終的な復元画像が得られる。なお、ここでの復元処理は、圧縮センシングで広く使われている、Improved Iterative Curvelet Thresholding法（例えば非特許文献４を参照）やアフィンスケーリング法（例えば非特許文献５を参照）などの公知の手法を利用すればよい。
【００４２】
出力部１０８は、画像復元部１０７が復元した画像を、ディスプレイに表示したり、人検出などの画像処理に利用したりするために出力するインターフェイスである。
【００４３】
図６は本実施の形態に係る撮像装置における処理の例を示すフローチャートである。まず、ステップＳ１０１において、光電変換部１０１は光信号を電気信号に変換する。これにより、撮像画像が得られる。そして、前フレームにおいて第１の電荷保持部１０２を利用していない場合（ステップＳ１０２でＮｏ）は、第１の電荷保持部１０２が、光電変換部１０１で変換された電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０３）。一方、前フレームにおいて第１の電荷保持部１０２を利用している場合（ステップＳ１０２でＹｅｓ）は、第２の電荷保持部１０３が、光電変換部１０１で変換された電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０４）。
【００４４】
すなわち、第１の電荷保持部１０２を利用した次のフレームでは第２の電荷保持部１０３を利用し、第２の電荷保持部１０３を利用した次のフレームでは第１の電荷保持部１０２を利用する、というように、第１および第２の電荷保持部１０２，１０３が巡回的に利用される。
【００４５】
次にステップＳ１０５において、差分算出部１０４は、第１の電荷保持部１０２に蓄積されている電荷信号と、第２の電荷保持部１０３に蓄積されている電荷信号との差分信号を算出する。これにより、時間的に隣り合ったフレーム間で、画素ごとの差分情報が差分信号として算出される。
【００４６】
次にステップＳ１０６において、加算サンプリング部１０５は、差分算出部１０４によって算出された差分信号に対し、加算サンプリング処理を行い、新たな出力信号を生成する。そしてステップＳ１０７において、アナログデジタル変換部１０６は、加算サンプリング部１０５で生成された信号をデジタル信号に変換する。
【００４７】
次にステップＳ１０８において、画像復元部１０７は、アナログデジタル変換部１０６が生成したデジタル信号を、加算サンプリング部１０５から送信された加算サンプリング情報を利用して、画像を復元する。そしてステップＳ１０９において、出力部１０８は、復元画像を撮像装置外部に出力する。
【００４８】
ここで、圧縮センシングに差分画像を用いる場合の効果について説明する。
【００４９】
圧縮センシングでは、入力画像をある空間へ射影した際、その係数ベクトルのスパース性が高くなるほど、復元画質が向上することが知られている。すなわち、入力画像をスパースに表現できる空間を利用することが、復元画質の向上にとって重要である。そして本願発明者らの検討によって、電荷信号の差分信号からなる差分画像では、スパース性が高くなることが明らかになった。
【００５０】
図７は差分画像を利用した復元処理を説明するための模式図である。図７（ａ）は人物Ｐをｔ＝１のときに撮像した画像、図７（ｂ）は人物Ｐをｔ＝２のときに撮像した画像を示している。そして図７（ｃ）は、ｔ＝１の画像とｔ＝２の画像との差分画像であり、差分値が存在する領域Ａ１が白く示されている。
【００５１】
ここで、被写体が人物や動物の場合、差分画像は領域Ａ１のように、カーブの組み合わせによって表現される。例えば図７（ｃ）のブロックＡ２を見ると、差分領域として、ブロックの右下にブロックサイズの半分ほどの大きさで、中心を右下方に持つ円弧が存在している。ところでカーブは、位置、角度、大きさの３つの情報で表現される。このことから、差分画像は、位置情報、方向成分、大きさ情報で表現できる空間に射影することによって、スパース性が高くなると考えられる。そこで、差分画像を射影する空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる。これにより、画像のスパース性を向上させることができる。
【００５２】
図８（ａ）〜（ｆ）は画像の位置、方向、大きさに基づいた情報を抽出する変換の一例であるCurvelet変換におけるatomのいくつかを示す模式図である。なお、圧縮センシングでは、着目信号を少数の基本ベクトルの線形和で表現するが、この基本ベクトルのことをatomとよぶ。なお、基本ベクトルが互いに直交するときは、この基本ベクトルを基底と呼ぶ。図７（ｃ）のブロックＡ２内の差分画像は図８（ｆ）に示すatomに似ており、このことから、Curvelet変換が有効であることがわかる。
【００５３】
図９は圧縮センシングを行った実際の画像例であり、（ａ）は加算サンプリングを行わなかった場合の通常撮像画像、（ｂ）は通常画像を加算サンプリング後、Curvelet変換を利用して復元した画像、（ｃ）は差分画像を加算サンプリング後、Curvelet変換を利用して復元した画像に前フレームの画像を加算した画像を示している。
【００５４】
図９のような一般画像では、大域的な成分が支配的であるため、Curvelet変換に用いられる局所的なatomではスパースに表現することができない。このため、図９（ｂ）に示すように、圧縮センシングに通常画像を用いた場合には復元画像に大きな誤差が生じている。一方、その差分画像は、局所的な位置情報と方向成分、大きさ情報で表現できる画像であるため、Curvelet変換によってスパースに表現することができる。したがって、図９（ｃ）に示すように高画質の画像復元が可能である。
【００５５】
なお、画像復元に利用する射影空間は、Curvelet空間に限られるものではない。その他にも例えば、局所的なatomを持ったRidgelet空間を用いてもかまわない。
【００５６】
もちろん、復元手法として、Matching Pursuits法、Matching Pursuits Denoising法などの公知の手法を利用するようにしてもかまわない（例えば、非特許文献６を参照）。
【００５７】
以上説明したように本実施の形態によると、光電変換部１０１によって得られた電気信号を蓄積する第１および第２の電荷保持部１０２，１０３を用いて、撮像画像の差分信号を得る。そして、この差分信号に対して加算サンプリング処理を行い、生成された信号をデジタル信号に変換する。このデジタル信号に対して、圧縮センシング技術に基づいた画像復元処理を行うことで、高画質の復元画像を得ることができる。さらに、圧縮センシングに利用する射影空間として、局所的なatomを有し、画像の位置、方向、大きさに基づいた情報を抽出する空間を利用することによって、さらに高画質の画像復元を実現できる。
【００５８】
なお、複数の電荷保持部を利用した撮像装置としては、ＣＣＤ(Charge Coupled Device)が広く知られている。ただし、本実施の形態に係る撮像装置は、複数の電荷保持部を利用することによって画像の差分信号を算出し、この差分信号に対して加算サンプリング処理を実行することによって、画像のスパース性を上げるものである。したがって、ＣＣＤとは全く異なる技術である。
【００５９】
また、複数のメモリを用いて撮像画像の差分情報を利用する技術は、広く知られている。例えば特許文献２では、高精度のフォーカス制御を可能とするために、複数の加算画像や平均画像、差分画像を利用する手法が開示されている。ただしこれは、アナログデジタル変換を行った後に、得られたデジタル信号に対して、複数のメモリを用いて差分処理等を行うものである。一方、本実施の形態に係る撮像装置は、アナログデジタル変換を行う前に差分処理を行うものであり、従来とはまったく異なっている。すなわち、本実施の形態の撮像装置は、圧縮センシング技術に差分画像を利用するものであり、差分画像に対して加算サンプリング処理を行った後にアナログデジタル変換を行い、得られたデジタル信号から、より高画質の画像を復元している。
【００６０】
（実施の形態２）
図１０は実施の形態２に係る撮像装置の構成を示すブロック図である。図１０において、図１と同じ構成要素については同じ符号を用い、詳細な説明を省略する。
【００６１】
図１０の撮像装置は、図１の撮像装置の構成要素に加えて、処理切替部１０９をさらに備えている。
【００６２】
処理切替部１０９は、加算サンプリング部１０５の入力を、差分算出部１０４から出力される差分信号に代えて、第１または第２の電荷保持部１０２，１０３が保持している電荷信号に切り替え可能である。すなわち、処理切替部１０９によって、第１の電荷保持部１０２と第２の電荷保持部１０３とにそれぞれ保持されている電荷信号の差分信号に対して加算サンプリング処理を行うか、または、第１の電荷保持部１０２または第２の電荷保持部１０３のいずれかに保持されている電荷信号に対して加算サンプリング処理を行うか、が切り替えられる。差分算出部１０４は、第１または第２の電荷保持部１０２，１０３が保持している電荷信号に対して加算サンプリング処理を行うときは、差分計算を停止してもよい。
【００６３】
処理切替部１０９は、撮像の状況に従って切り替えの判断を行う。例えば、撮像開始時において、第１または第２の電荷保持部１０２，１０３が保持している電荷信号を加算サンプリング部１０５の入力とする。撮像を開始したばかりのとき、画像復元部１０７は、画像復元に必要な前フレームの画像を持っていない。そこで、処理切替部１０９は、撮像開始時は、第１または第２の電荷保持部１０２，１０３の出力信号を加算サンプリング部１０５に与えて処理させる。これにより、撮像開始時から、画質は低いものの、復元画像を得ることができる。その後、差分画像に対する加算サンプリング処理を実行することによって、復元画像の画質を向上させることができる。
【００６４】
また、処理切替部１０９は、第１の電荷保持部１０２と第２の電荷保持部１０３とにそれぞれ保持されている電荷信号の差分信号の信号値を用いて、切り替えの判断を行ってもよい。この場合は、処理切替部１０９は、差分算出部１０４の出力を利用すればよい。
【００６５】
例えば、差分信号の信号値が所定値よりも大きいときは、差分信号ではなく、第１または第２の電荷保持部１０２，１０３の出力信号を、加算サンプリング部１０５の入力とする。差分値が大きい場合、シーンチェンジや光源変動のために被写体は大きく変わっていると想定される。この場合、差分信号が十分にスパースでなくなり、このため差分信号に対して加算サンプリング処理を行った場合には、かえって画質が劣化してしまう可能性が高い。そこで、差分信号を利用せず、第１または第２の電荷保持部１０２，１０３の出力信号を加算サンプリング部１０５によって処理することによって、復元画像の画質を維持する。
【００６６】
一方、差分値が小さいときは、差分算出部１０４が算出した差分信号を加算サンプリング部１０５の入力とする。差分値が小さいときは、実施の形態１で説明したとおり、差分信号を利用することによって画像をスパースに表現できるため、復元画像の画質を向上させることができる。さらに、差分値がゼロに十分近いときは、その画像について加算サンプリング処理を行わないものとしてもよい。この場合、復元処理は前フレームの画像をそのまま利用すればよいため、その画像の処理を行う必要はないからである。
【００６７】
なお、差分信号の信号値を用いた処理切り替えを行う場合において、切り替えを判断する領域単位は、例えば、加算サンプリング処理を行う領域とすればよい。例えば、加算サンプリング処理を行う領域毎に差分信号の信号値の総和を求め、求めた値を基にして当該領域における処理切り替えの判断を行えばよい。この場合は、画像の中に、差分信号に対して加算サンプリング処理を行う領域と、元の電荷信号に対して加算サンプリング処理を行う領域とが含まれる。なお、切り替えを判断する領域単位は加算サンプリング処理を行う領域に限られるものではなく、その他の所定範囲の領域を単位としてもかまわない。あるいは、画像全体において差分信号の信号値の総和を求め、画像全体について処理切り替えの判断を行うようにしてもかまわない。
【００６８】
以上説明したように本実施の形態によると、処理切替部１０９を設けたことによって、撮像の状況や入力画像の変化に応じて、適切な加算サンプリング処理を選択できるため、より高画質の画像復元を実現できる。
【００６９】
なお、上述の各実施の形態では、撮像装置は、画像復元部および出力部を備えた構成としたが、これに限られるものではない。例えば、画像復元部を備えない構成とし、アナログデジタル変換部によって得られたデジタル信号と、加算サンプリング情報とを、撮像装置の外部に出力するものとしてもよい。
【００７０】
また、画像復元部が用いる加算サンプリング情報は、加算サンプリング部が実行した処理そのものを表す情報である必要は必ずしもない。例えば、加算サンプリング部が実行した処理よりも解像度を低下させた加算サンプリング情報を、画像復元部が用いるようにしてもかまわない。これにより、解像度の低い復元画像が得られる。すなわち、画像復元部が用いる加算サンプリング情報は、加算サンプリング部が実行した処理に基づくものであればよい。
【００７１】
なお、本明細書における撮像装置は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像装置の動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図６のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【産業上の利用可能性】
【００７２】
本発明は、撮像装置において、低消費電力化、高ＳＮ化、および、通信帯域の削減を実現しつつ、高画質の画像を復元可能にするのに有用である。
【符号の説明】
【００７３】
１０１  光電変換部
１０２  第１の電荷保持部
１０３  第２の電荷保持部
１０４  差分算出部
１０５  加算サンプリング部
１０６  アナログデジタル変換部
１０７  画像復元部
１０８  出力部
１０９  処理切替部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像したデジタル信号を復元して画像信号を得る撮像システムにおける撮像装置であって、
複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
前記光電変換部によって得られた電気信号を蓄積し、復元する画像信号のすべての画素に対応する電荷信号を保持する第１の電荷保持部と、
前記第１の電荷保持部とは異なるタイミングで、前記光電変換部によって得られた電気信号を蓄積し、前記すべての画素に対応する電荷信号を保持する第２の電荷保持部と、
前記第１の電荷保持部が保持している電荷信号と、前記第２の電荷保持部が保持している電荷信号との差分値を、前記すべての画素毎に算出し、前記すべての画素に対応する時間差分信号を得る差分算出部と、
前記差分算出部によって得られた前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行う加算サンプリング部と、
前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部とを備えた
ことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記アナログデジタル変換部の出力信号に対して、前記加算サンプリング部が実行する処理に基づく加算サンプリング情報を用いて復元処理を行い、画像信号を得る画像復元部と、
前記画像復元部が復元した画像を出力する出力部とを備えた
ことを特徴とする撮像装置。
【請求項３】
請求項２記載の撮像装置において、
前記画像復元部は、射影空間として、画像の位置、方向、大きさに基づいた情報を抽出する空間を用いる
ことを特徴とする撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記射影空間は、Curvelet空間またはRidgelet空間である
ことを特徴とする撮像装置。
【請求項５】
請求項１記載の撮像装置において、
前記加算サンプリング部の入力を、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号に切替え可能である処理切替部を備えた
ことを特徴とする撮像装置。
【請求項６】
請求項５記載の撮像装置において、
前記処理切替部は、撮像開始時において、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
ことを特徴とする撮像装置。
【請求項７】
請求項５記載の撮像装置において、
前記処理切替部は、前記時間差分信号の信号値を用いて、切り替えの判断を行う
ことを特徴とする撮像装置。
【請求項８】
請求項７記載の撮像装置において、
前記処理切替部は、前記時間差分信号の信号値が所定値よりも大きいとき、前記時間差分信号に代えて、前記第１または第２の電荷保持部が保持している電荷信号を、前記加算サンプリング部の入力とする
ことを特徴とする撮像装置。
【請求項９】
撮像したデジタル信号を復元して画像信号を得る撮像システムにおける、撮像装置における撮像方法であって、
復元する画像信号に対応するすべての画素の電荷信号を、異なるタイミングで保持し、
異なるタイミングで保持した電荷信号について、画素毎に差分値を算出し、前記すべての画素に対応する時間差分信号を得て、
前記すべての画素に対応する時間差分信号に対して、所定位置の画素の時間差分信号を選択して加算し、新たな信号を生成する処理である加算サンプリング処理を行い、
前記加算サンプリング処理後の信号を、デジタル信号に変換する
ことを特徴とする撮像方法。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2014192223.tif 000013
【図２】
2014192223.tif 000014
【図３】
2014192223.tif 000015
【図４】
2014192223.tif 000016
【図５】
2014192223.tif 000017
【図６】
2014192223.tif 000018
【図１０】
2014192223.tif 000019
【図７】
2014192223.tif 000020
【図８】
2014192223.tif 000021
【図９】
2014192223.tif 000022
【国際調査報告】
2014192223.tif 000023
2014192223.tif 000024
2014192223.tif 000025
2014192223.tif 000026