(57)【特許請求の範囲】
【請求項１】
複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、
前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、
前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、
前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、送信する撮像側通信部とを備え、
前記加算サンプリング処理に関する情報として、サンプリング画素位置を表す情報である加算サンプリング情報を送信する
ことを特徴とする撮像装置。
【請求項２】
請求項１記載の撮像装置において、
前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表したものである
ことを特徴とする撮像装置。
【請求項３】
請求項１記載の撮像装置において、
前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、復元処理によって低解像度化された画像信号が得られるように、新たに生成されたものである
ことを特徴とする撮像装置。
【請求項４】
請求項３記載の撮像装置において、
前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報に対して、サンプリング位置を変更したものである
ことを特徴とする撮像装置。
【請求項５】
請求項３記載の撮像装置において、
前記加算サンプリング情報を、互いに異なる解像度に対応する複数種類生成し、送信する
ことを特徴とする撮像装置。
【請求項６】
複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、
前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、
前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、
前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、送信する撮像側通信部とを備え、
前記加算サンプリング処理に関する情報として、複数種類の、サンプリング画素位置を表す情報である加算サンプリング情報の中のいずれかを特定する情報を送信する
ことを特徴とする撮像装置。
【請求項７】
請求項１または６記載の撮像装置において、
加算サンプリング情報を設定する設定部を備え、
前記加算サンプリング部は、前記設定部によって設定された前記加算サンプリング情報に従って、加算サンプリング処理を行う  
ことを特徴とする撮像装置。
【請求項８】
請求項１または６記載の撮像装置から送信された信号を用いて画像復元を行う復元装置であって、
前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を、受信する復元側通信部と、
前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、
前記画像復元部が復元した前記画像信号を出力する出力部とを備えた
ことを特徴とする復元装置。
【請求項９】
撮像装置と、前記撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムであって、
前記撮像装置は、
複数の画素が、受光した光信号を電気信号に変換する光電変換部と、
前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、
前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、
前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、
前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、前記復元装置に送信する撮像側通信部とを備え、
前記復元装置は、
前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を受信する復元側通信部と、
前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、
前記画像復元部が復元した前記画像信号を出力する出力部とを備え、
前記撮像装置は、前記加算サンプリング処理に関する情報として、サンプリング画素位置を表す情報である加算サンプリング情報、または、複数種類の、サンプリング画素位置を表す情報である加算サンプリング情報の中のいずれかを特定する情報を、前記復元装置に送信する
ことを特徴とする撮像システム。
【請求項１０】
請求項９記載の撮像システムにおいて、
前記復元装置は、
加算サンプリング情報を設定する設定部を備え、
前記復元側通信部は、前記設定部によって設定された前記加算サンプリング情報を、前記撮像装置に送信するものであり、
前記撮像装置において、
前記撮像側通信部は、前記復元装置の前記復元側通信部から送信された前記加算サンプリング情報を、受信し、
前記加算サンプリング部は、前記撮像側通信部が受信した前記加算サンプリング情報に従って、加算サンプリング処理を行う
ことを特徴とする撮像システム。
【請求項１１】
請求項９記載の撮像システムにおいて、
前記復元装置を、複数備え、
前記撮像装置は、
前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を、複数生成し、
前記複数の復元装置にそれぞれ、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報のうち少なくともいずれか１つを送信する
ことを特徴とする撮像システム。
【請求項１２】
請求項９記載の撮像システムにおいて、
前記撮像装置は、
前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を、複数生成し、
前記復元装置に、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報を送信し、
前記復元装置は、受信した前記複数の加算サンプリング情報のうちいずれかを選択し、選択した前記加算サンプリング情報を用いて復元処理を行う
ことを特徴とする撮像システム。
【請求項１３】
撮像装置と、前記撮像装置から送信された信号を用いて画像復元を行う復元装置とを備えた撮像システムにおける撮像方法であって、
前記撮像装置が、
撮像画像の電荷信号を保持し、
保持している電荷信号に対して、加算サンプリング処理を行い、
前記加算サンプリング処理後の信号を、デジタル信号に変換し、
前記加算サンプリング処理に関する情報と、前記デジタル信号とを、前記復元装置に送信し、
前記復元装置が、
前記撮像装置から送信された、前記加算サンプリング処理に関する情報と、前記デジタル信号とを、受信し、
前記デジタル信号に対して、前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得て、
復元した前記画像信号を出力するものであり、
前記撮像装置は、前記加算サンプリング処理に関する情報として、サンプリング画素位置を表す情報である加算サンプリング情報、または、複数種類の、サンプリング画素位置を表す情報である加算サンプリング情報の中のいずれかを特定する情報を、前記復元装置に送信する
ことを特徴とする撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置と、この撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムに関する。
【背景技術】
【０００２】
近年、テレビやエアコン、掃除機ロボットなどの家庭用機器に撮像装置が搭載され、この撮像装置によって家庭内でのセンシングを行う技術が普及している。さらに、家庭内で撮像された画像をネットワーク経由で転送し、転送先で処理を行うというクラウド処理技術も広がっている。【０００３】
また、近年、「圧縮センシング」と呼ばれる技術が開発されている。圧縮センシングとは、複数の画素値を加算して撮像することによって画像を圧縮し、画像のスパース性を利用した画像復元を行うことによって、データ量を減らしながら、画質を保持する技術である（例えば、非特許文献１を参照）。ここで、画像がスパースであるとは、画像をウエーブレット空間や離散コサイン（ＤＣＴ）空間などへ投影した際、多くの係数値がほぼ０になるという事象を意味する。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。【０００４】
さらに、圧縮センシングの技術を撮像センサに導入することで、サンプルおよびホールド回路が不要で、ノイズ増加による画質劣化、面積増加、速度低下を防止可能な固体撮像素子も提案されている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−２４５９５５号公報
【非特許文献】
【０００６】
【非特許文献１】田中利幸,“圧縮センシングの数理”,IEICE Fundamentals Review, vol.4, no.1, pp.39-47, 2010
【非特許文献２】J. Ma,“Improved Iterative Curvelet Thresholding for Compressed Sensing and Measurement”, IEEE Transactions on Instrumentation and Measurement, Vol.60, Iss.1,pp.126-136,2011
【非特許文献３】茨木俊秀、福島雅夫著「情報数学講座(全15巻)第14巻 最適化の手法」共立出版株式会社、1993年7月20日初版1刷発行(P159-P164)
【非特許文献４】D. Takhar, J. N. Laska, M. B. Wakin. M. F. Durate, D. Baron, S. Sarvotham, K. F. Kelly, and R. G. Baraniuk, “A New Compressive Imaging Camera Architecture using optical-domain compression”, Proc. of Computational Imaging IV at SPIE Electronic Imaging, 2006
【非特許文献５】Y. Oike and A.E. Gamal, “A 256×256 CMOS Image Sensor with ΔΣ-Based Single-Shot Compressed Sensing”, IEEE International Solid-State Circuits Conference (ISSCC) Dig. of Tech. Papers, pp.386-387, 2012
【非特許文献６】中静真,“スパース信号表現とその画像処理応用”,  映像情報メテ゛ィア学会誌,Vol.65, No.10, pp.1381-1386
【発明の概要】
【発明が解決しようとする課題】
【０００７】
家庭内で撮像された画像は非常にプライベートなものである。このため、上述した家庭内センシング技術では、例えば次のような観点で、高いプライバシー保護が求められる。【０００８】
１）撮像画像が通信中に傍受されることを防ぐこと。【０００９】
２）機器に残された撮像画像データが他人に見られてしまうことを防ぐこと。【００１０】
１）に関しては、通信における秘匿性を保つために、画像を暗号化する手法が広く知られており、公開鍵や秘密鍵を利用する手法が広く普及している。一方、２）に関しては、例えば、機器内のメモリに元の撮像画像データが残っていると、その機器の廃棄後に他人に撮像画像が見られたりコピーされたりする可能性がある。これを防ぐためには、例えば機器の廃棄時にその中の画像データも廃棄するといった方策をとる必要があり、技術的には課題が残されたままである。【００１１】
本発明は、上述の課題を解決するものであり、圧縮センシングの技術を利用して、撮像機器内に撮像画像のデータを残すことなく、所望の画像を取得できる撮像システムを提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明の一態様では、撮像装置と、撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムにおいて、撮像装置が、撮像画像の電荷信号を保持し、保持している電荷信号に対して加算サンプリング処理を行い、加算サンプリング処理後の信号をデジタル信号に変換し、このデジタル信号と加算サンプリング処理に関する情報とを、復元装置に送信する。復元装置が、撮像装置から送信された加算サンプリング処理に関する情報とデジタル信号とを受信し、デジタル信号に対して、加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得て、復元した画像信号を出力する。【００１３】
これによると、撮像装置において、撮像画像の電荷信号に対して加算サンプリング処理が行われ、加算サンプリング処理後の信号がデジタル信号に変換される。そして復元装置において、撮像装置から送信されたデジタル信号に対して、撮像装置から送信された加算サンプリング処理に関する情報を用いて復元処理が行われ、画像信号が復元される。したがって、撮像システムにおいて、加算サンプリング処理後の情報のみがデジタル信号として通信されるため、撮像装置に元の画像データが残らない。したがって、プライバシー保護に優れた撮像システムを実現することができる。
【発明の効果】
【００１４】
本発明によると、撮像装置に元の画像データが残ることなく、復元装置で画像を復元できる。したがって、撮像システムにおいて、優れたプライバシー保護を実現できる。
【図面の簡単な説明】
【００１５】
【図１】実施の形態１に係る撮像システムの構成を示すブロック図
【図２】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図
【図３】画素番号を示す模式図
【図４】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図
【図５】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図
【図６】加算サンプリング情報の例を示す模式図
【図７】（ａ）〜（ｄ）は加算サンプリング処理の例を示す模式図
【図８】（ａ）〜（ｄ）は図７の加算サンプリング処理に対して、復元する画像の解像度を変化させる復元処理を示す模式図
【図９】図７および図８に対応する加算サンプリング情報の例を示す模式図
【図１０】（ａ）〜（ｄ）は図７の加算サンプリング処理に対して、復元する画像の解像度を変化させる復元処理を示す模式図
【図１１】図１０に対応する加算サンプリング情報の例を示す模式図
【図１２】実施の形態２に係る撮像システムの構成を示すブロック図
【図１３】（ａ）〜（ｄ）は加算サンプリング情報設定部の動作を説明するための模式図
【図１４】（ａ）〜（ｄ）は加算サンプリング情報設定部の動作を説明するための模式図
【図１５】図１２の構成における、加算サンプリング情報の設定処理の例を示すフローチャート
【図１６】図１２の構成における、加算サンプリング情報の設定処理の他の例を示すフローチャート
【図１７】実施の形態２に係る撮像システムの他の構成を示すブロック図
【図１８】図１７の構成における、加算サンプリング情報の設定処理の例を示すフローチャート
【図１９】実施の形態３に係る撮像システムの構成を示すブロック図
【図２０】図１９の構成における、加算サンプリング情報の設定処理の例を示すフローチャート
【図２１】実施の形態３に係る他の撮像システムの構成を示すブロック図
【図２２】図２１の構成における復元装置の処理の例を示すフローチャート
【発明を実施するための形態】
【００１６】
本発明の第１態様では、撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、送信する撮像側通信部とを備えたものである。
【００１７】
本発明の第２態様では、第１態様の撮像装置において、前記加算サンプリング処理に関する情報として、サンプリング画素位置を表す情報である加算サンプリング情報を送信するものである。
【００１８】
本発明の第３態様では、第２態様の撮像装置において、前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表したものである。
【００１９】
本発明の第４態様では、第２態様の撮像装置において、前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、復元処理によって低解像度化された画像信号が得られるように、新たに生成されたものである。
【００２０】
本発明の第５態様では、第４態様の撮像装置において、前記加算サンプリング情報は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報に対して、サンプリング位置を変更したものである。
【００２１】
本発明の第６態様では、第４態様の撮像装置において、前記加算サンプリング情報を、互いに異なる解像度に対応する複数種類生成し、送信するものである。
【００２２】
本発明の第７態様では、第１態様の撮像装置において、前記撮像装置と、前記撮像装置から送信された信号を用いて画像を復元する復元装置とは、共通の複数種類の加算サンプリング情報を、それぞれ記憶しており、前記撮像装置は、前記加算サンプリング処理に関する情報として、前記複数種類の加算サンプリング情報の中のいずれかを特定する情報を、前記復元装置に送信するものである。
【００２３】
本発明の第８態様では、第１態様の撮像装置において、加算サンプリング情報を設定する設定部を備え、前記加算サンプリング部は、前記設定部によって設定された前記加算サンプリング情報に従って、加算サンプリング処理を行うものである。
【００２４】
本発明の第９態様では、第１態様の撮像装置から送信された信号を用いて画像復元を行う復元装置は、前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を、受信する復元側通信部と、前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、前記画像復元部が復元した前記画像信号を出力する出力部とを備えたものである。
【００２５】
本発明の第１０態様では、撮像装置と、前記撮像装置から送信された信号を用いて画像を復元する復元装置とを備えた撮像システムにおいて、前記撮像装置は、複数の画素が、受光した光信号を電気信号に変換する光電変換部と、前記光電変換部によって得られた電気信号を蓄積し、電荷信号として保持する電荷保持部と、前記電荷保持部が保持している電荷信号に対して、加算サンプリング処理を行う加算サンプリング部と、前記加算サンプリング部の出力信号を、デジタル信号に変換するアナログデジタル変換部と、前記加算サンプリング部が実行する加算サンプリング処理に関する情報と、前記アナログデジタル変換部から出力された前記デジタル信号とを、前記復元装置に送信する撮像側通信部とを備え、前記復元装置は、前記撮像装置の前記撮像側通信部から送信された、前記加算サンプリング処理に関する情報、および、前記デジタル信号を受信する復元側通信部と、前記復元側通信部が受信した前記デジタル信号に対して、前記復元側通信部が受信した前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得る画像復元部と、前記画像復元部が復元した前記画像信号を出力する出力部とを備えたものである。
【００２６】
本発明の第１１態様では、第１０態様の撮像システムにおいて、前記復元装置は、加算サンプリング情報を設定する設定部を備え、前記復元側通信部は、前記設定部によって設定された前記加算サンプリング情報を、前記撮像装置に送信するものであり、前記撮像装置において、前記撮像側通信部は、前記復元装置の前記復元側通信部から送信された前記加算サンプリング情報を、受信し、前記加算サンプリング部は、前記撮像側通信部が受信した前記加算サンプリング情報に従って、加算サンプリング処理を行うものである。
【００２７】
本発明の第１２態様では、第１０態様の撮像システムにおいて、前記復元装置を、複数備え、前記撮像装置は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を複数生成し、前記複数の復元装置にそれぞれ、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報のうち少なくともいずれか１つを送信するものである。
【００２８】
本発明の第１３態様では、第１０態様の撮像システムにおいて、前記撮像装置は、前記加算サンプリング部が実行する加算サンプリング処理を表す情報から、サンプリング画素位置を表す情報である加算サンプリング情報を、複数生成し、前記復元装置に、前記加算サンプリング処理に関する情報として、生成した前記複数の加算サンプリング情報を送信し、前記復元装置は、受信した前記複数の加算サンプリング情報のうちいずれかを選択し、選択した前記加算サンプリング情報を用いて復元処理を行うものである。
【００２９】
本発明の第１４態様では、撮像装置と、前記撮像装置から送信された信号を用いて画像復元を行う復元装置とを備えた撮像システムにおける撮像方法は、前記撮像装置が、撮像画像の電荷信号を保持し、保持している電荷信号に対して、加算サンプリング処理を行い、  前記加算サンプリング処理後の信号を、デジタル信号に変換し、前記加算サンプリング処理に関する情報と、前記デジタル信号とを、前記復元装置に送信し、前記復元装置が、前記撮像装置から送信された、前記加算サンプリング処理に関する情報と、前記デジタル信号とを、受信し、前記デジタル信号に対して、前記加算サンプリング処理に関する情報を用いて復元処理を行い、画像信号を得て、復元した前記画像信号を出力する。
【００３０】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３１】
（実施の形態１）
図１は実施の形態１に係る撮像システムの構成を示すブロック図である。撮像システム１は、撮像装置１０と、撮像装置１０から送信された信号を用いて画像を復元する復元装置２０とを備えている。撮像装置１０は、光電変換部１０１、電荷保持部１０２、加算サンプリング部１０３、第一通信部１０４、アナログデジタル変換部１０５、および第二通信部１０６を備えている。復元装置２０は、第三通信部２０１、第四通信部２０２、画像復元部２０３、および出力部２０４を備えている。第一通信部１０４および第二通信部１０６によって、撮像側通信部が構成されており、第三通信部２０１および第四通信部２０２によって、復元側通信部が構成されている。
【００３２】
まず、撮像装置１０について説明する。
【００３３】
光電変換部１０１は複数の画素を有しており、各画素が、受光した光信号を電気信号に変換する。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。電荷保持部１０２は、光電変換部１０１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する。
【００３４】
加算サンプリング部１０３は、電荷保持部１０２が保持している複数の画素の電荷信号に対して、加算サンプリング処理を行い、新たな出力信号を生成する。加算サンプリング処理に関する情報の一例としての、加算サンプリング部１０３が実行する処理を表した加算サンプリング情報は、第一通信部１０４によって、復元装置２０に送信される。ここで、加算サンプリング処理とは、元の電荷信号から所定位置の画素の信号をサンプリングして加算し、新たな信号を生成する処理のことをいう。そして、加算サンプリング情報は、加算サンプリング処理後の新たな出力信号の各信号値について、元の電荷信号において加算に用いるためにサンプリングした画素の位置を示す情報を含むものである。なお、後述するように加算時にゲインを与えた場合には、与えたゲインの情報を含めてもよい。
【００３５】
加算サンプリング部１０３が加算サンプリング処理を行うことによって、画像情報の圧縮を行うことができ、復元装置２０に送信する信号量を減らすことができる。復元装置２０は、受信した加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。
【００３６】
図２は加算サンプリング処理について説明するための模式図である。ここでは、説明の簡略化のため、４×４の１６画素での処理を例にとって説明する。図２（ａ）〜（ｄ）はそれぞれ、ｔ＝１〜４における読み出し画素、すなわち、加算サンプリング処理に用いた画素を表している。また、説明のために、図３に４×４の各画素に付した画素番号を示している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。
【００３７】
図２（ａ）では、画素番号１，６，１１，１６のデータを読み出し、この４画素のデータを加算処理することで、ｔ＝１の出力信号を生成している。同様に、図２（ｂ）では、画素番号３，８，９，１４のデータを読み出し、この４画素のデータを加算し、ｔ＝２の出力信号を生成している。図２（ｃ）では、画素番号２，５，１２，１５のデータを読み出し、この４画素のデータを加算し、ｔ＝３の出力信号を生成している。図２（ｄ）では、画素番号４，７，１０，１３のデータを読み出し、この４画素のデータを加算し、ｔ＝４の出力信号を生成している。
【００３８】
このようにして、４×４＝１６画素のデータをｔ＝１〜４の４個のデータに圧縮する。これにより、後述のアナログデジタル変換部１０５の動作速度を減少させることができるため、より低ノイズの画像を復元できる。
【００３９】
また、図２の加算サンプリング処理の場合、加算サンプリング情報は例えば次のようになる。ｔ＝１〜４において、加算のためにサンプリングされた画素を「１」、サンプリングされていない画素を「０」として、図３に示した画素番号順に符号化したデータを、加算サンプリング情報とする。すなわち、
ｔ＝１のとき“１０００  ０１００  ００１０  ０００１”
ｔ＝２のとき“００１０  ０００１  １０００  ０１００”
ｔ＝３のとき“０１００  １０００  ０００１  ００１０”
ｔ＝４のとき“０００１  ００１０  ０１００  １０００”
となるため、加算サンプリング情報は、これらを連結して、
“１０００  ０１００  ００１０  ０００１  ００１０  ０００１  １０００  ０１００  ０１００  １０００  ０００１  ００１０  ０００１  ００１０  ０１００  １０００”
とする。なお、加算サンプリング情報の形式はここで示したものに限られるものではなく、加算のためにサンプリングされた画素の位置が分かるものであればよい。
【００４０】
アナログデジタル変換部１０５は、加算サンプリング部１０３で生成された信号をデジタル信号に変換する。この処理は、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して実行すればよい。
【００４１】
第二通信部１０６は、アナログデジタル変換部１０５によって変換されたデジタル信号を、例えばネットワークを介して、復元装置２０に送信する。
【００４２】
このように、本実施形態に係る撮像装置１０では、アナログデジタル変換処理を行う前に、撮像した電荷情報を加算サンプリング処理して圧縮している。このため、撮像装置１０は、デジタル信号としては、加算サンプリング処理後の圧縮されたデータしか有しておらず、元の撮像画像のデータを保持しない。仮に、加算サンプリング部１０３の出力信号を他人が入手したとしても、そのままでは画像に復元することができない。したがって、プライバシー保護に優れた撮像装置１０を実現できる。
【００４３】
次に、復元装置２０について説明する。
【００４４】
第三通信部２０１は、撮像装置１０の第一通信部１０４から送信された加算サンプリング情報を、例えばネットワークを介して、受信する。受信された加算サンプリング情報は、後述の画像復元部２０３において利用される。第四通信部２０２は、撮像装置１０の第二通信部１０６から送信されたデジタル信号を、例えばネットワークを介して、受信する。
【００４５】
画像復元部２０３は、第四通信部２０２が受信したデジタル信号に対して、第三通信部２０１が受信した加算サンプリング情報を用いて復元処理を行い、画像信号を得る。この復元処理は、圧縮センシングで広く使われているImproved Iterative Curvelet Thresholding法（例えば、非特許文献２を参照）やアフィンスケーリング法（例えば、非特許文献３を参照）などの公知の手法を利用すればよい。復元処理には、加算サンプリング情報が必須である。もし、加算サンプリング情報が未知の場合、圧縮されているデジタル信号から撮像画像情報を取得することは不可能である。このため、加算サンプリング情報を暗号化技術の鍵のように取り扱うことによって、撮像装置１０では圧縮前の画像（正解画像）が未知であっても、復元装置２０は正確な画像を復元できる。
【００４６】
出力部２０４は、画像復元部２０３が復元した画像を、ディスプレイに表示したり、人検出などの画像処理に利用したりするために出力するインターフェイスである。
【００４７】
ＪＰＥＧなど広く知られている画像圧縮処理では、圧縮時に正解画像が必要となるため、正解画像をメモリ上に保持する必要がある。一方、本実施形態の撮像システム１では、圧縮センシングの技術を利用することによって、正解画像が未知であっても、圧縮処理が可能である。このため、撮像装置１０に撮像画像を保持する必要がなくなり、プライバシー保護に優れた画像処理を実現できる。
【００４８】
なお、図２の例では、加算サンプリング処理において各画素を一度ずつ読み出すものとしている。もちろん、加算サンプリング処理において、同じ画素を複数回読み出すようにしてもかまわない。
【００４９】
図４はこのような加算サンプリング処理の例を示す模式図である。図４（ａ）では、画素番号１，３，６，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝１の出力信号を生成している。同様に、図４（ｂ）では、画素番号２，３，５，８，９，１２，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝２の出力信号を生成している。図４（ｃ）では、画素番号２，４，５，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝３の出力信号を生成している。図４（ｄ）では、画素番号１，４，６，７，１０，１１，１３，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝４における出力信号を生成している。
【００５０】
このように、各画素を複数回読み出して加算処理を行うことによって、出力信号のダイナミックレンジを上げることができるため、ノイズを低減することが可能である。このような加算サンプリング処理については、例えば、非特許文献４や非特許文献５に記載されている。
【００５１】
また、加算サンプリング処理において、サンプリングする画素位置を、ランダムに、かつまたは、独立になるように選択してもかまわない。これにより、加算サンプリング処理による画像情報の劣化を防ぐことができ、復元画像の画質を向上できる。（例えば、非特許文献１のｐｐ.４３−４４参照）。
【００５２】
図５はサンプリングする画素位置がランダムになるように選択した加算サンプリング処理の例を示す模式図である。図５（ａ）では、画素番号１，４，７，８，９，１０，１４，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝１での出力信号を生成している。同様に、図５（ｂ）では、画素番号２，３，５，８，９，１１，１４，１６のデータを読み出し、この８画素のデータを加算し、ｔ＝２での出力信号を生成している。図５（ｃ）では、画素番号２，３，５，６，１１，１２，１３，１６の画素のデータを取出し、この８画素のデータを加算し、ｔ＝３での出力信号を生成している。図５（ｄ）では、画素番号１，４，６，７，１０，１２，１３，１５のデータを読み出し、この８画素のデータを加算し、ｔ＝４での出力信号を生成している。
【００５３】
また、加算サンプリング処理において、複数の画素データを単に加算する代わりに、ゲインを与えて重みづけ加算してもかまわない。複数の画素データを加算すると、加算後のデータのダイナミックレンジが増大し、アナログデジタル変換部１０５の負荷が増える。この問題を解決するためには、画素データを重み付け加算することが有効である。例えば図２のような加算サンプリング処理を行う場合において、加算後のデータのダイナミックレンジを元の画素データに合わせるために、正規化処理として、重み１／４をゲインとして与えればよい。
【００５４】
また、撮像装置１０と復元装置２０とが、共通の複数種類の加算サンプリング情報をそれぞれ記憶しており、撮像装置１０は、加算サンプリング情報自体に代えて、加算サンプリング処理に関する情報の一例としての、共有している複数種類の加算サンプリング情報の中のいずれかを特定する情報を、復元装置２０に送信するものとしてもよい。これにより、通信量を大幅に削減することが可能である。
【００５５】
図６は撮像装置１０と復元装置２０とが共有している複数種類の加算サンプリング情報の一例としての、加算サンプリング情報テーブルの例を示した模式図である。図６のテーブル番号１，２，３は、図２，４，５の加算サンプリング処理にそれぞれ対応している。例えば、撮像装置１０において、加算サンプリング部１０３が図２の加算サンプリング処理を行ったとき、テーブル番号「１」を復元装置２０に送信する。復元装置２０は図６のテーブルを参照してテーブル番号「１」の加算サンプリング情報を読み出し、図２の加算サンプリング処理に応じた画像復元を行う。これにより、正確な画像を復元することができる。
【００５６】
なお、第一通信部１０４と第三通信部２０１との通信において、暗号化手法を利用することによって、秘匿通信を行うようにしてもかまわない。このような公知の暗号化手法としては、共通鍵や公開鍵を利用するものが知られている。復元手法は、Matching Pursuits法、Matching Pursuits Denoising法などの公知の手法を利用すればよい（例えば、非特許文献６を参照）。
【００５７】
また、撮像装置１０において、第一通信部１０４と第二通信部１０６とは、同一の通信部を利用して実現してもかまわない。同様に、復元装置２０において、第三通信部２０１と第四通信部２０２とは、同一の通信部を利用して実現してもかまわない。
【００５８】
以上説明したように、本実施の形態によれば、撮像装置１０においてアナログデジタル変換前に加算サンプリング処理を行い、その加算サンプリング情報を復元装置２０に送信する。これにより、撮像装置１０には撮像画像を残すことなく、復元装置２０において正確な画像を復元することができる。このため、プライバシー保護に優れた撮像システム１を実現できる。
【００５９】
なお、上の実施の形態では、撮像装置１０から送信する加算サンプリング情報は、加算サンプリング部１０３が実行する加算サンプリング処理を表したものとした。これに対して、加算サンプリング情報を、加算サンプリング部１０３が利用する撮像時加算サンプリング情報と、画像復元部２０３が利用する復元時加算サンプリング情報との２つに分けてもよい。すなわち、加算サンプリング部１０３が実行する加算サンプリング処理を表す情報から、復元用の加算サンプリング情報を新たに生成し、これを撮像装置１０から送信するようにしてもよい。復元時に、撮像時とは異なる加算サンプリング情報を利用することによって、例えば、復元される画像の解像度を変化させることができる。
【００６０】
図７は加算サンプリング処理の一例を示す模式図であり、図８は図７の加算サンプリング処理に対して復元する画像の解像度を低下させるときの復元処理を示す模式図である。また、図９は加算サンプリング情報の例であり、テーブル番号「４」が図７に対応しており、テーブル番号「５」が図８に対応している。
【００６１】
いま、撮像装置１０の加算サンプリング部１０３が図７の加算サンプリング処理を行ったとする。このとき、撮像装置１０がテーブル番号「４」の加算サンプリング情報を復元装置２０に送信すると、復元装置２０の画像復元部２０３は、撮像時の加算サンプリング処理を正確に表した加算サンプリング情報を利用するため、４×４の解像度の画像を正確に復元することができる。一方、撮像装置１０がテーブル番号「５」の加算サンプリング情報を復元装置２０に送信すると、復元装置２０の画像復元部２０３は、解像度が低い２×２画素の画像を復元する。なお、テーブル番号「５」のような低解像度の画像を復元するための加算サンプリング情報は、例えば、撮像時の加算サンプリング情報を低解像度化することによって作成すればよい。
【００６２】
また、低解像度の復元処理を行うための復元時加算サンプリング情報は、撮像時加算サンプリング情報のサンプリング位置を変更（シャッフル）することによって、作成することも可能である。
【００６３】
図１０は図７の加算サンプリング処理に対して、サンプリング位置を変更することによって、復元する画像の解像度を低下させる例を示す模式図である。また、図１１は加算サンプリング情報の例であり、テーブル番号「６」が図１０に対応している。図１０では、図７から、太線で区切った２×２画素単位の領域内で、それぞれサンプリング位置を変更している。図７の加算サンプリング処理に対応して、図１０の復元処理を行った場合、復元画像ではサンプリング位置を変更した画素値が入れ替わるため、結果的に、２×２画素のサイズに相当する解像度までしか復元することができない。すなわち、撮像装置１０がテーブル番号「６」の加算サンプリング情報を復元装置２０に送信すると、復元装置２０の画像復元部２０３は、解像度が低い画像を復元する。
【００６４】
また、加算サンプリング部１０３が用いる加算サンプリング情報は、撮像装置ごとに変更してもかまわない。これにより、仮に撮像装置から出力されたデジタル信号を他人が入手した場合でも、加算サンプリング情報が容易には分からないため、復元処理を行うことができない。
【００６５】
（実施の形態２）
図１２は実施の形態２に係る撮像システムの構成を示すブロック図である。図１２において、図１と共通の構成要素については同じ符号を用い、詳細な説明を省略する。
【００６６】
撮像システム２は、撮像装置１１と、撮像装置１１から送信された信号を用いて画像を復元する復元装置２０とを備えている。撮像装置１１は、図１の撮像装置１０の構成要素に加えて、加算サンプリング情報設定部１１１を備えている。
【００６７】
加算サンプリング情報設定部１１１は、加算サンプリング部１０３が利用する加算サンプリング情報を設定する。前述のように、加算サンプリング情報により、復元装置２０の画像復元部２０３によって復元される画像の解像度は変化する。そこで、ユーザ所望の解像度で画像が復元されるように、加算サンプリング情報設定部１１１は、加算サンプリング情報を設定する。これにより例えば、ユーザが高解像度で撮像したくない場合には低解像度画像を、高解像度で撮像したい場合には高解像度画像を、復元することが可能である。
【００６８】
加算サンプリング情報設定部１１１は、例えば、ユーザから所望の解像度の指定を受けるものとする。この場合のインターフェイスには、例えば、ボタンやタッチパネル等を用いればよい。加算サンプリング情報設定部１１１は、指定された解像度に合わせて加算サンプリング情報を生成し、加算サンプリング部１０３に与える。この場合、加算サンプリング情報設定部１１１は、例えば、復元できる解像度と加算サンプリング情報との対応関係を表すテーブルを予め保持しておけばよい。加算サンプリング部１０３は、与えられた加算サンプリング情報に基づいて加算サンプリング処理を実行する。
【００６９】
また、ユーザが解像度を直接入力するのではなく、例えば、生活シーンに合わせて解像度を設定するようにしてもかまわない。例えば、「活動中」の場合には「高解像度」、「留守」の場合には「中解像度」、「睡眠」の場合には「低解像度」となるように設定する。生活シーンの入力は、例えば、撮像装置１１に「活動中」「留守」「睡眠」のボタンを設置し、ユーザがこのボタンを操作することによって行えばよい。あるいは、復元装置２０によって復元された画像を利用して、画像認識処理を行うことによって、生活シーンを把握することも可能である。
【００７０】
図１３および図１４は解像度を下げる場合の加算サンプリング処理の例を示す模式図である。ユーザが復元画像の解像度を落とす設定を加算サンプリング情報設定部１１１に行った場合、加算サンプリング情報設定部１１１は、例えば図１３のような加算サンプリング情報を設定する。図１３では、サンプリング最小単位は２×１画素となっている。このとき、画像復元部２０３は、図１４に示すように、サンプリング最小単位である２×１画素を単位とする画像しか復元することができない。したがって、復元画像の解像度が下がる。
【００７１】
図１５は図１２の撮像システム２における、加算サンプリング情報の設定処理の例を示すフローチャートである。
【００７２】
ステップＳ１０１において、ユーザは加算サンプリング情報設定部１１１を通して、復元画像の所望の解像度を設定する。これは例えば、ユーザが、撮像装置１１に設けられた解像度ボタンを操作することによって行えばよい。
【００７３】
ステップＳ１０２において、加算サンプリング情報設定部１１１は、所望の解像度で復元可能な加算サンプリング情報を生成する。
【００７４】
ステップＳ１０３において、加算サンプリング部１０３は、加算サンプリング情報設定部１１１が設定した加算サンプリング情報に従い、加算サンプリング処理を実施する。
【００７５】
以上の処理により、撮像システム２は、ユーザの所望の解像度で画像を復元することが可能である。
【００７６】
なお、加算サンプリング情報設定部１１１は、撮像装置１１が撮像を行うための加算サンプリング情報と、復元装置２０が画像復元を行うために利用する復元時加算サンプリング情報とを、それぞれ設定するようにしてもかまわない。図１６はこの処理の例を示すフローチャートである。図１６において、図１５と共通するステップについては同じ符号を用い、詳細な説明は省略する。
【００７７】
ステップＳ１０１において、ユーザは加算サンプリング情報設定部１１１を通して、復元画像の所望の解像度を設定する。
【００７８】
ステップＳ１０４において、加算サンプリング情報設定部１１１は、所望の解像度で復元可能な撮像時加算サンプリング情報と復元時加算サンプリング情報とを生成する。これは例えば、撮像時加算サンプリング情報として図７に示す情報を、復元時加算サンプリング情報として図８に示す情報を生成すればよい。この場合、加算サンプリング情報設定部１１１は例えば、復元できる解像度と、撮像時加算サンプリング情報および復元時加算サンプリング情報との対応関係を表すテーブルを保持しておけばよい。
【００７９】
ステップＳ１０３において、加算サンプリング部１０３は、加算サンプリング情報設定部１１１が設定した撮像時加算サンプリング情報に従い、加算サンプリング処理を実施する。
【００８０】
ステップＳ１０５において、第一通信部１０４は、加算サンプリング情報設定部１１１が設定した復元時加算サンプリング情報を復元装置２０に送信する。
【００８１】
以上の処理により、撮像システム２は、ユーザの所望の解像度で画像を復元することが可能である。
【００８２】
また、加算サンプリング情報設定部は、撮像装置に設ける代わりに、復元装置に設けてもかまわない。図１７は本実施の形態に係る撮像システムの構成を示すブロック図である。図１７において、図１と共通の構成要素については同じ符号を用い、詳細な説明を省略する。撮像システム２Ａは、撮像装置１０と、撮像装置１０から送信された信号を用いて画像を復元する復元装置２１とを備えている。復元装置２１は、図１の復元装置２０の構成要素に加えて、加算サンプリング情報設定部２１１を備えている。
【００８３】
加算サンプリング情報設定部２１１は、例えば、ユーザから所望の解像度の指定を受けるものとする。この場合のインターフェイスには、例えば、ボタンやタッチパネル等を用いればよい。加算サンプリング情報設定部２１１は、指定された解像度に合わせて加算サンプリング情報を生成し、第三通信部２０１に与える。この場合、加算サンプリング情報設定部２１１は、例えば、復元できる解像度と加算サンプリング情報との対応関係を表すテーブルを予め保持しておけばよい。撮像装置１０の加算サンプリング部１０３は、第一通信部１０４が受信した加算サンプリング情報に基づいて加算サンプリング処理を実行する。
【００８４】
また、ユーザが解像度を直接入力するのではなく、例えば、生活シーンに合わせて解像度を設定するようにしてもかまわない。例えば、「活動中」の場合には「高解像度」、「留守」の場合には「中解像度」、「睡眠」の場合には「低解像度」となるように設定する。生活シーンの入力は、例えば、復元装置２１に「活動中」「留守」「睡眠」のボタンを設置し、ユーザがこのボタンを操作することによって行えばよい。あるいは、復元装置２１によって復元された画像を利用して、画像認識処理を行うことによって、生活シーンを把握することも可能である。
【００８５】
図１８は図１７の撮像システム２Ａにおける、加算サンプリング情報の設定処理の例を示すフローチャートである。
【００８６】
ステップＳ２０１において、復元装置２１のユーザは、加算サンプリング情報設定部２１１を通して、復元画像の所望の解像度を設定する。
【００８７】
ステップＳ２０２において、加算サンプリング情報設定部２１１は、所望の解像度で復元可能な加算サンプリング情報を生成する。
【００８８】
ステップＳ２０３において、復元装置２１の第三通信部２０１は、加算サンプリング情報設定部２１１が生成した加算サンプリング情報を、撮像装置１０に送信する。
【００８９】
ステップＳ２０４において、撮像装置１０の第一通信部１０４は、送信された加算サンプリング情報を、受信する。
【００９０】
ステップＳ２０５において、加算サンプリング部１０３は、第一通信部１０４が受信した加算サンプリング情報に従い、加算サンプリング処理を実施する。
【００９１】
以上説明したように本実施形態によると、撮像装置または復元装置に加算サンプリング情報設定部を設けることによって、ユーザが復元画像の解像度を自由に設定できる。これにより、例えば、ユーザが高解像度で撮像されたくない場合には低解像度画像を、高解像度で撮像されたい場合には高解像度画像を復元することができ、プライバシー保護に優れた撮像システムを実現できる。
【００９２】
また、実施の形態１と同様に、撮像装置１０，１１において、第一通信部１０４と第二通信部１０６とは、同一の通信部を利用して実現してもかまわない。同様に、復元装置２０，２１において、第三通信部１０７と第四通信部１０８とは、同一の通信部を利用して実現してもかまわない。
【００９３】
また、実施の形態１と同様に、図１２の構成では撮像装置１１と復元装置２０とが、図１７の構成では撮像装置１０と復元装置２１とが、共通の複数種類の加算サンプリング情報を、それぞれ記憶していてもよい。この場合、図１２の構成では、撮像装置１１が、加算サンプリング情報自体に代えて、共有している複数種類の加算サンプリング情報の中のいずれかを特定する情報を、復元装置２０に送信する。また、図１７の構成では、復元装置２１が、加算サンプリング情報自体に代えて、共有している複数種類の加算サンプリング情報の中のいずれかを特定する情報を、撮像装置１０に送信する。これにより、通信量を大幅に削減することが可能である。
【００９４】
（実施の形態３）
図１９は実施の形態３に係る撮像システムの構成を示すブロック図である。図１９において、図１２と共通の構成要素については同じ符号を用い、詳細な説明を省略する。
【００９５】
図１９の撮像システム３において、撮像装置１２における加算サンプリング情報設定部１１２は、撮像装置１２が撮像を行うための加算サンプリング情報と、復元装置２０が画像復元を行うために利用する複数の復元時加算サンプリング情報とを設定する。この複数の復元時加算サンプリング情報は、例えば、互いに異なる解像度に対応している複数種類の加算サンプリング情報である。複数の復元時加算サンプリング情報は、第一通信部１０４を通じて、複数の復元装置２０に送信される。このとき、送信される復元時加算サンプリング情報は、設定された複数の復元時加算サンプリング情報のいずれかまたは複数であり、復元装置２０ごとに異なったものでも構わない。復元装置２０では、受信した復元時サンプリング情報を利用して画像復元処理を行うため、本実施形態に係る撮像システム３では、復元装置２０ごとに異なった解像度の画像信号を復元することができる。
【００９６】
図２０は本実施形態に係る撮像システム３の、加算サンプリング情報の設定処理の例を示すフローチャートである。図２０において、図１６と共通するステップについては同じ符号を用い、詳細な説明は省略する。
【００９７】
ステップＳ１０６において、加算サンプリング情報設定部１１２は、複数の復元画像の解像度に対応する加算サンプリング情報を設定する。例えば、復元装置２０の出力部２０４であるディスプレイに想定される解像度を、複数、設定すればよい。ステップＳ１０４において、加算サンプリング情報設定部１１２は、所望の解像度で復元可能な撮像時加算サンプリング情報および復元時加算サンプリング情報を生成する。これは例えば、撮像時加算サンプリング情報として図７に示す情報を生成し、復元時加算サンプリング情報として図８に示す情報を生成すればよい。この場合、加算サンプリング情報設定部１１２は例えば、復元できる解像度と、撮像時加算サンプリング情報および復元時加算サンプリング情報との対応関係を表すテーブルを保持しておけばよい。
【００９８】
ステップＳ１０３において、加算サンプリング部１０３は、加算サンプリング情報設定部１１２が設定した撮像時加算サンプリング情報に従い、加算サンプリング処理を実施する。
【００９９】
ステップＳ１０７において、第一通信部１０４は、加算サンプリング情報設定部１１２が設定した複数の復元時加算サンプリング情報のうち少なくともいずれか１つを復元装置２０に送信する。複数の復元装置２０にどの復元時加算サンプリング情報を送信するかは、復元装置２０の出力部２０４であるディスプレイの解像度から決定すればよい。すなわち、ディスプレイの解像度と等しい画像信号が復元できる復元時加算サンプリング情報を送信すればよい。
【０１００】
図２１は実施の形態３に係る他の撮像システムの構成を示すブロック図である。図２１において、図１９と共通の構成要素については同じ符号を用い、詳細な説明を省略する。
【０１０１】
図２１の撮像システム３Ａにおいて、復元装置２２は、第三通信部２０１、第四通信部２０２、画像復元部２０３、出力部２０４、および加算サンプリング情報選択部２０６を備えている。撮像装置１３は、加算サンプリング情報設定部１１２が設定した複数の復元時加算サンプリング情報のいずれかを復元装置２２に送付するのではなく、複数の復元時加算サンプリング情報を復元装置２２に送付する。復元装置２２は、第三通信部２０１で受信した複数の復元時加算サンプリング情報から最適なものを選択することによって、出力部２０４に最適な画像信号を復元することができる。この処理について、詳しく説明する。
【０１０２】
図２２は本実施形態における復元装置２２の処理の例を示すフローチャートである。
【０１０３】
ステップＳ２０７において、第三通信部２０１は、複数の復元時加算サンプリング情報を受信する。
【０１０４】
ステップＳ２０８において、加算サンプリング情報選択部２０６は、第三通信部２０１が受信した複数の復元時加算サンプリング情報から、最適なものを選択する。これは例えば、ユーザ所望の解像度で画像信号が復元される復元時加算サンプリング情報を選択すればよい。たとえば、ユーザがディスプレイの表示を２倍に拡大した場合、２倍の解像度で画像信号が復元される復元時加算サンプリング情報を選択する。また、ユーザがディスプレイの表示を１／４倍に縮小した場合、１／４倍の解像度で画像信号が復元される復元時加算サンプリング情報を選択する。
【０１０５】
ステップＳ２０９において、第四通信部２０２は、第二通信部１０６から送信されたデジタル信号を、例えばネットワークを介して、受信する。
【０１０６】
ステップＳ２１０において、画像復元部２０３は、第四通信部２０２が受信したデジタル信号に対して、加算サンプリング情報選択部２０６が選択した加算サンプリング情報を用いて復元処理を行い、画像信号を得る。
【０１０７】
ステップＳ２１１において、出力部２０４は、画像復元部２０３が復元した画像を、ディスプレイに表示する。
【０１０８】
以上説明したように、本実施の形態によれば、撮像装置１２，１３においてアナログデジタル変換前に加算サンプリング処理を行い、その加算サンプリング情報を復元装置２０，２２に送信する。加算サンプリング情報設定部１１２は複数の復元時加算サンプリング情報を設定する。これにより、復元装置２０，２２の出力部２０４の解像度やユーザの動作に合わせて、復元画像信号の解像度を変化させることができる。これにより、撮像装置１２，１３には撮像画像を残すことなく、復元装置２０，２２において所望の画像を復元することができる。このため、プライバシー保護に優れた撮像システム３，３Ａを実現できる。
【０１０９】
なお、本明細書における撮像システムは装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像システムの動作を行ってもよい。そのようなコンピュータプログラムは、たとえば図１５のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【産業上の利用可能性】
【０１１０】
本発明に係る撮像システムによると、撮像装置に元の画像データが残ることなく、復元装置で画像を復元できる。したがって例えば、撮像機器を搭載したテレビ、エアコン、掃除用ロボット等の家庭用機器において、優れたプライバシー保護を実現できる。
【符号の説明】
【０１１１】
１，２，２Ａ，３，３Ａ  撮像システム
１０，１１，１２，１３  撮像装置
２０，２１，２２  復元装置
１０１  光電変換部
１０２  電荷保持部
１０３  加算サンプリング部
１０４  第一通信部
１０５  アナログデジタル変換部
１０６  第二通信部
１１１，１１２，２１１  加算サンプリング情報設定部
２０１  第三通信部
２０２  第四通信部
２０３  画像復元部
２０４  出力部
【図１】
0005760195.tif 000002
【図２】
0005760195.tif 000003
【図３】
0005760195.tif 000004
【図４】
0005760195.tif 000005
【図５】
0005760195.tif 000006
【図６】
0005760195.tif 000007
【図７】
0005760195.tif 000008
【図８】
0005760195.tif 000009
【図９】
0005760195.tif 000010
【図１０】
0005760195.tif 000011
【図１１】
0005760195.tif 000012
【図１２】
0005760195.tif 000013
【図１３】
0005760195.tif 000014
【図１４】
0005760195.tif 000015
【図１５】
0005760195.tif 000016
【図１６】
0005760195.tif 000017
【図１７】
0005760195.tif 000018
【図１８】
0005760195.tif 000019
【図１９】
0005760195.tif 000020
【図２０】
0005760195.tif 000021
【図２１】
0005760195.tif 000022
【図２２】
0005760195.tif 000023