(57)【要約】【課題】カラー画像を撮像する際、画質を維持しながら、撮像装置の低消費電力化、高ＳＮ化、転送帯域の削減を実現する。【解決手段】撮像システムは、複数の波長帯域の各電荷信号に加算サンプリング処理を行って画像情報を符号化する符号化装置と、当該画像情報を復号化する復号化装置とを備える。加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、デジタル信号に変換することで、新たな信号を生成する処理である。符号化装置は、各波長帯域について、少なくとも２つの画素群を対象として各波長帯域の電荷信号に当該処理を行い各波長帯域のデジタル画像信号を出力する。少なくとも２つの画素群は互いに異なる配置パターンを有し、配置パターンの組み合わせは、波長帯域間で異なる。復号化装置は、各波長帯域のデジタル画像信号から、加算サンプリング情報を利用して復元画像を生成して出力する。【選択図】図１０
2015216619.tif 000002
【特許請求の範囲】
【請求項１】
複数の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得する取得装置と、
前記各波長帯域の電荷信号に加算サンプリング処理を行って画像情報を符号化する符号化装置と、
前記符号化装置が符号化した画像情報を復号化する復号化装置と
を備えた撮像システムであって、
前記加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、さらにデジタル信号に変換することで、新たな信号を生成する処理であり、
前記符号化装置は、
前記各波長帯域について、前記加算サンプリング処理がそれぞれ行われる少なくとも２つの画素群を特定する加算サンプリング情報を設定する設定部であって、前記少なくとも２つの画素群は、第１の配置パターンを有する第１画素群、および、前記第１の配置パターンと一部が重複する第２の配置パターンを有する第２画素群を含み、かつ、前記第１の配置パターンおよび前記第２の配置パターンの組み合わせは、波長帯域間で異なっている、設定部と、
前記加算サンプリング情報に従って前記各波長帯域の電荷信号に前記加算サンプリング処理を行って、前記各波長帯域のデジタル画像信号を出力する加算サンプリング部とを備え、
前記復号化装置は、
前記各波長帯域のデジタル画像信号から、前記加算サンプリング情報を利用して復元画像を生成する画像復元部と、
前記画像復元部が生成した復元画像を出力する出力部と
を備えた、撮像システム。
【請求項２】
前記各波長帯域のデジタル画像信号を受け取り、デジタル画像信号間の色相関を判定する色相関判定部をさらに備え、
前記設定部は、前記色相関判定部による前記色相関の判定結果を利用して加算サンプリング情報を設定する、請求項１に記載の撮像システム。
【請求項３】
前記画像復元部は、前記各波長帯域のデジタル画像信号に関して、各画像の局所的類似性を利用して画像を復元する、請求項１に記載の撮像システム。
【請求項４】
複数の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得する取得装置と、
前記各波長帯域の電荷信号に加算サンプリング処理を行って画像情報を符号化する符号化装置と
を備え、
前記加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、さらにデジタル信号に変換することで、新たな信号を生成する処理であり、
前記符号化装置、
前記各波長帯域について、前記加算サンプリング処理がそれぞれ行われる少なくとも２つの画素群を特定する加算サンプリング情報を設定する設定部であって、所定の条件下において、前記少なくとも２つの画素群は、第１の配置パターンを有する第１画素群、および、前記第１の配置パターンと一部が重複する第２の配置パターンを有する第２画素群を含み、かつ、前記第１の配置パターンおよび前記第２の配置パターンの組み合わせは、波長帯域間で異なっている、設定部と、
前記加算サンプリング情報に従って前記各波長帯域の電荷信号に前記加算サンプリング処理を行って、前記各波長帯域の画像信号を出力する加算サンプリング部と
を有する、撮像装置。
【請求項５】
前記取得装置は、前記複数の波長帯域として、第１、第２、および第３の波長帯域を含む光を受けて、各波長帯域のアナログ電荷信号を取得し、
前記符号化装置の前記加算サンプリング部は、
前記加算サンプリング情報に従って前記各波長帯域のアナログ電荷信号にアナログ加算処理を行い、前記各波長帯域のアナログ加算信号を生成する加算部と、
前記各波長帯域のアナログ加算信号を、前記各波長帯域のデジタル画像信号に変換する変換部と
を備えた、請求項４に記載の撮像装置。
【請求項６】
前記加算サンプリング部から出力された前記各波長帯域の画像信号を受け取り、画像信号間の色相関を判定する色相関判定部をさらに備え、
前記設定部は、前記所定の条件として、前記色相関判定部による前記色相関の判定結果を利用して加算サンプリング情報を設定する、請求項４または５に記載の撮像装置。
【請求項７】
前記加算サンプリング情報に基づいて前記各波長帯域の電荷信号に行われる加算サンプリング処理は、前記各波長帯域の電荷信号に共通する複数の画素位置の電荷信号を用いた第１加算サンプリング処理と、共通しない複数の画素位置の電荷信号を用いた第２加算サンプリング処理とを含んでおり、
前記色相関判定部は、前記各波長帯域の電荷信号に行われる前記第１加算サンプリング処理によって出力された前記各波長帯域の画像信号を利用して、前記画像信号間の色相関を判定する、請求項６に記載の撮像装置。
【請求項８】
前記設定部は、
前記色相関判定部による前記色相関の判定結果が予め定めた基準を満たしている場合には、前記各波長帯域の画像信号間で、相対的に加算サンプリング処理が異なる割合が高くなるよう加算サンプリング情報を設定し、
前記色相関判定部による前記色相関の判定結果が予め定めた基準を満たしていない場合には、前記各波長帯域の画像信号間で、相対的に加算サンプリング処理が異なる割合が低くなるよう加算サンプリング情報を設定する、
請求項６に記載の撮像装置。
【請求項９】
前記取得装置は、取得された第１、第２、および第３の波長帯域の各々に対応する画像信号である第１、第２、および第３の画像信号を取得し、
前記色相関判定部は、前記第１、第２、および第３の画像信号間の色相関値を計算し、
前記設定部は、前記色相関値が予め定めた基準を満たしている場合には、前記第１の画像信号に行われる加算サンプリング処理と、前記第２の画像信号に行われる加算サンプリング処理とが異なるよう、前記第１の画像信号の加算サンプリング情報および前記第２の画像信号の加算サンプリング情報を設定する、請求項６に記載の撮像装置。
【請求項１０】
前記加算サンプリング情報は、予め複数種類用意されており、
前記設定部は、前記色相関値の大きさに応じて、予め複数種類用意されている前記加算サンプリング情報の中から、前記第１の画像信号に行われる加算サンプリング処理に対応する加算サンプリング情報と、前記第２の画像信号に行われる加算サンプリング処理に対応する加算サンプリング情報とを選択して設定する、請求項６に記載の撮像装置。
【請求項１１】
前記設定部は、前記第１の画像信号に行われる加算サンプリング処理と、前記第２の画像信号に行われる加算サンプリング処理との相違の程度が相対的に高くなるよう、前記加算サンプリング情報を設定する、請求項９に記載の撮像装置。
【請求項１２】
前記取得装置は、取得された第１、第２、および第３の波長帯域の各々に対応する画像信号である第１、第２、および第３の画像信号を取得し、
前記色相関判定部は、前記第１、第２、および第３の画像信号間の色相関値を計算し、
前記設定部は、前記色相関値が予め定めた基準を満たしていない場合には、前記前記第１、第２および第３の画像信号に行われる加算サンプリング処理が同じになるよう、前記第１、第２および第３の画像信号の加算サンプリング情報を設定する、請求項６に記載の撮像装置。
【請求項１３】
前記取得装置は、前記第１、前記第２、および前記第３の波長帯域として、青、緑および赤の波長帯域を含む光を受けて、前記赤、前記緑および前記青の各波長帯域のアナログ電荷信号を取得する、請求項４に記載の撮像装置。
【請求項１４】
前記取得装置は、前記赤、前記緑、および前記青の各波長帯域の電荷信号をそれぞれ生成する３つの撮像素子を備えている、請求項１３に記載の撮像装置。
【請求項１５】
前記取得装置は、前記第１、前記第２、および前記第３の波長帯域として、シアン、マゼンタおよびイエローの各波長帯域を含む光を受けて、前記シアン、前記マゼンタおよび前記イエローの各波長帯域のアナログ電荷信号を取得する、請求項４に記載の撮像装置。
【請求項１６】
前記取得装置は、露光時間の異なる複数の波長帯域を含む光を受けて、各波長帯域のアナログ電荷信号を取得する、請求項４に記載の撮像装置。
【請求項１７】
前記取得装置は、４以上の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得する、請求項４に記載の撮像装置。
【請求項１８】
前記設定部は、前記各波長帯域について、Ｐ×Ｑ（Ｐ、Ｑ：２以上の整数）個の画素の中から前記少なくとも２つの画素群の各々を特定する加算サンプリング情報を設定し、
前記加算サンプリング部は、波長帯域ごとに、前記加算サンプリング情報によって特定される前記少なくとも２つの画素群の各電荷信号に加算サンプリング処理を行って、前記Ｐ×Ｑ個未満の前記各波長帯域の画像信号を出力する、請求項４に記載の撮像装置。
【請求項１９】
前記設定部は、前記各波長帯域について、Ｌ×１または１×Ｌ（Ｌ：４以上の整数）個の画素の中から前記少なくとも２つの画素群の各々を特定する加算サンプリング情報を設定し、
前記加算サンプリング部は、波長帯域ごとに、前記加算サンプリング情報によって特定される前記少なくとも２つの画素群の各電荷信号に加算サンプリング処理を行って、前記Ｌ個未満の前記各波長帯域の画像信号を出力する、請求項４に記載の撮像装置。
【請求項２０】
複数の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得するステップと、
前記各波長帯域の電荷信号に加算サンプリング処理を行って画像情報を符号化するステップと
を包含する撮像方法であって、
前記加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、さらにデジタル信号に変換することで、新たな信号を生成する処理であり、
前記符号化するステップは、
前記各波長帯域について、前記加算サンプリング処理がそれぞれ行われる少なくとも２つの画素群を特定する加算サンプリング情報を設定するステップであって、所定の条件下において、前記少なくとも２つの画素群が、第１の配置パターンを有する第１画素群、および、前記第１の配置パターンと一部が重複する第２の配置パターンを有する第２画素群を含み、かつ、前記第１の配置パターンおよび前記第２の配置パターンの組み合わせが波長帯域間で異なるよう、加算サンプリング情報を設定するステップと、
前記加算サンプリング情報に従って前記各波長帯域の電荷信号に前記加算サンプリング処理を行うステップと、
前記各波長帯域の画像信号を出力するステップと
を包含する、撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、圧縮センシング技術を用いた撮像システムに関する。
【背景技術】
【０００２】
高解像度・高フレームレートの映像を処理する撮像システムでは、撮像素子や撮像モジュールから読み出されるデータの情報量や、それらから転送されるデータの情報量が膨大になる。その結果、転送帯域の拡大が必要となり、伝送周波数の高周波化や、データ転送の並列化といった対策が行われている。しかし、これらの対策は、特に小型化が要求される撮像素子や撮像モジュールにとって、ノイズの増加による画質の低下や、回路サイズ増加によるコストの増大という問題が生じさせる。そのため、データ転送量の削減が望まれている。
【０００３】
データ転送量の削減には、「圧縮センシング」と呼ばれる技術が有効であることが知られている。圧縮センシングとは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータに対して後で復元処理を行うことで信号を復号化する技術である。このセンシング方式を加算サンプリングと呼び、このサンプリング方式をイメージセンサに利用した撮像を加算サンプリング撮像と呼ぶ。従来、このような加算サンプリング撮像を行うと、画像の情報量が失われてしまうため、復元画像の画質は大きく劣化すると考えられてきた。この課題を解決するために、圧縮センシングでは、事前知識として画像のスパース性を利用する。「画像のスパース性」とは、画像をウェーブレット空間や離散コサイン（ＤＣＴ）空間などへ射影した際、多くの係数値がほぼ０になるという知見である。画像のスパース性を利用した画像復元手法として、圧縮センシングでは、Ｌ０ノルム最小化やＬ１ノルム最小化手法を利用する。これにより、加算撮像でデータ量を減らしながらも、圧縮しない画像と遜色ない画質の復元画像を得ることができる。
【０００４】
非特許文献１は、加算サンプリング撮像したデータに関して、事前学習を必要とせずに画像の繰り返し構造を抽出することで、画像を復元する方法を開示している。この手法は、自然画像において、着目領域の近傍には、類似した小領域があるという局所的類似性を事前知識として利用している。
【０００５】
圧縮センシングを用いた撮像装置では、撮像素子内のアナログデジタル変換器（以下、「ＡＤＣ」と記述する）でアナログデジタル変換処理を行う以前に、単純な加算処理でデータを圧縮するため、ＡＤＣの駆動周波数を下げることが可能である。これにより、低消費電力化、高ＳＮ化、転送帯域の削減を実現できる。
【０００６】
たとえば非特許文献２は、圧縮センシングの概念を導入した固体撮像素子を開示する。この固体撮像素子では、ブロック行選択回路及び行選択回路、列ブロック選択回路、マルチプレクサ、疑似ランダムパターン発生回路、カラム並列ΔΣＡＤＣを有する。この構成により加算サンプリング撮像可能な固体撮像素子を実現している。
【先行技術文献】
【非特許文献】
【０００７】
【非特許文献１】Ｊ．  Ｚｈａｎｇ，  Ｄ．  Ｚｈａｏ，  Ｃ．  Ｚｈａｏ，  Ｒ．  Ｘｉｏｎｇ，  Ｓ．  Ｍａ，  ａｎｄ  Ｗ．  Ｇａｏ，  “Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ  Ｒｅｃｏｖｅｒｙ  ｖｉａ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｓｐａｒｓｉｔｙ，”  Ｐｒｏｃ．  ｏｆ  Ｄａｔａ  Ｃｏｍｐｒｅｓｓｉｏｎ  Ｃｏｎｆｅｒｅｎｃｅ，  ｐｐ．２８７−２９６，  ２０１２．
【非特許文献２】Ｙ．  Ｏｉｋｅ  ａｎｄ  Ａ．Ｅ．  Ｇａｍａｌ，  “Ａ  ２５６×２５６  ＣＭＯＳ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ  ｗｉｔｈ  ΔΣ−Ｂａｓｅｄ  Ｓｉｎｇｌｅ−Ｓｈｏｔ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ”，  ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｏｌｉｄ−Ｓｔａｔｅ  Ｃｉｒｃｕｉｔｓ  Ｃｏｎｆｅｒｅｎｃｅ  （ＩＳＳＣＣ）  Ｄｉｇ．  ｏｆ  Ｔｅｃｈ．  Ｐａｐｅｒｓ，  ｐｐ．３８６−３８７，  ２０１２．
【非特許文献３】Ｊ．  Ｍａ，  “Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ，  ｖｏｌ．６０，  ｎｏ．１，  ｐｐ．１２６−１３６，  ２０１１．
【非特許文献４】茨木俊秀、福島雅夫著、「情報数学講座（全１５巻）第１４巻  最適化の手法」共立出版株式会社、１９９３年７月２０日初版１刷発行（Ｐ１５９−Ｐ１６４）．
【非特許文献５】Ｄ．  Ｔａｋｈａｒ，  Ｊ．  Ｎ．  Ｌａｓｋａ，  Ｍ．  Ｂ．  Ｗａｋｉｎ．  Ｍ．  Ｆ．  Ｄｕｒａｔｅ， Ｄ．  Ｂａｒｏｎ，  Ｓ．  Ｓａｒｖｏｔｈａｍ，  Ｋ．  Ｆ．  Ｋｅｌｌｙ  ａｎｄ  Ｒ．  Ｇ．  Ｂａｒａｎｉｕｋ，  “Ａ  Ｎｅｗ  Ｃｏｍｐｒｅｓｓｉｖｅ  Ｉｍａｇｉｎｇ  Ｃａｍｅｒａ  Ａｒｃｈｉｔｅｃｔｕｒｅ  ｕｓｉｎｇ  Ｏｐｔｉｃａｌ−Ｄｏｍａｉｎ  Ｃｏｍｐｒｅｓｓｉｏｎ”，  Ｐｒｏｃ．  ｏｆ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ｉｍａｇｉｎｇ  ＩＶ  ａｔ  ＳＰＩＥ Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ，  ２００６．
【非特許文献６】Ｋ．  Ｄａｂｏｖ，  Ａ．  Ｆｏｉ，  Ｖ．  Ｋａｔｋｏｖｎｉｋ，  Ｋ．  Ｅｇｉａｚａｒｉａｎ，  “Ｉｍａｇｅ  Ｄｅｎｏｉｓｉｎｇ  ｂｙ  Ｓｐａｒｓｅ  ３−Ｄ  Ｔｒａｎｓｆｏｒｍ−Ｄｏｍａｉｎ  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｆｉｌｔｅｒｉｎｇ”，  ＩＥＥＥ  Ｔｒａｎｓ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓ．，  ｖｏｌ．１６，  ｉｓｓ．８，  ｐｐ．２０８０−２０９５，  ２００７．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
圧縮センシング技術において、画像をより高精細に復元するための技術が求められていた。
【０００９】
本願の、限定的ではない例示的なある実施形態は、復元画像の画質を向上させる圧縮センシング技術を提供する。
【課題を解決するための手段】
【００１０】
上記課題を解決するために、本発明の一態様は、複数の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得する取得装置と、前記各波長帯域の電荷信号に加算サンプリング処理を行って画像情報を符号化する符号化装置と、  前記符号化装置が符号化した画像情報を復号化する復号化装置とを備えた撮像システムであって、前記加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、さらにデジタル信号に変換することで、新たな信号を生成する処理であり、前記符号化装置は、前記各波長帯域について、前記加算サンプリング処理がそれぞれ行われる少なくとも２つの画素群を特定する加算サンプリング情報を設定する設定部であって、前記少なくとも２つの画素群は、第１の配置パターンを有する第１画素群、および、前記第１の配置パターンと一部が重複する第２の配置パターンを有する第２画素群を含み、かつ、前記第１の配置パターンおよび前記第２の配置パターンの組み合わせは、波長帯域間で異なっている、設定部と、前記加算サンプリング情報に従って前記各波長帯域の電荷信号に前記加算サンプリング処理を行って、前記各波長帯域のデジタル画像信号を出力する加算サンプリング部とを備え、前記復号化装置は、前記各波長帯域のデジタル画像信号から、前記加算サンプリング情報を利用して復元画像を生成する画像復元部と、前記画像復元部が生成した復元画像を出力する出力部とを備えた撮像システムを含む。
【００１１】
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【００１２】
本開示の一態様にかかる撮像システムによれば、自然画像が持つ色相関特性に着目し、Ｒ画像、Ｇ画像、Ｂ画像それぞれで異なる加算サンプリングを行うことにより、遮蔽エッジ近傍領域においても高画質の画像復元が可能である。たとえば上述の処理は、３板式カメラを用いてカラー映像を撮像する際、撮像画像が高い色相関を有するか有しないかによって、Ｒ画像、Ｇ画像、Ｂ画像それぞれで異なる加算サンプリングを行うか、等しい加算サンプリングを行うかを切り替えることにより、被写体のカラー情報に最適な加算サンプリングを設定し、復元画像の画質を向上させることが可能になる。これにより、常時全ての映像信号を取得する場合よりも、画像圧縮効率を高めることができる。
【図面の簡単な説明】
【００１３】
【図１】本開示の例示的な一実施形態にかかる撮像システム１０のハードウェア構成を示す模式図である。
【図２】制御回路１３のハードウェア構成例を示す図である。
【図３】画像復元回路１５のハードウェア構成例を示す図である。
【図４】本明細書において例示する４×４の１６画素の配置を示す図である。
【図５】（ａ）〜（ｈ）はそれぞれ、Ｒ画像のｔ＝１における８個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す図である。
【図６】（ａ）〜（ｈ）はそれぞれ、Ｒ画像ではなくＧ画像のｔ＝１における８個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す図である。
【図７】（ａ）〜（ｈ）はそれぞれ、Ｂ画像のｔ＝１における８個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す図である。
【図８】画像復元回路１５の機能の詳細を示すブロック図である。
【図９】例示的な実施形態にかかる撮像システム１０の構成を示すブロック図である。
【図１０】例示的な実施形態による撮像システム１０の構成を示すブロック図である。
【図１１】例示的な実施形態による情報取得装置４０と符号化装置５０の主要な処理の手順を示すフローチャートである。
【図１２】情報取得装置４０および符号化装置５０の各構成要素の動作を、Ｒ／Ｇ／Ｂ画像別々に示したフローチャートである。
【図１３】設定部１０３の主要な処理の手順を示すフローチャートである。
【図１４】（ａ）〜（ｈ）は、Ｇ画像に設定される例示的な加算サンプリング情報を例示する図である。
【図１５】（ａ）〜（ｈ）は、Ｂ画像に設定される例示的な加算サンプリング情報を例示する図である。
【図１６】（ａ）〜（ｈ）は、Ｇ画像に設定される例示的な加算サンプリング情報を例示する図である。
【図１７】（ａ）〜（ｈ）は、Ｂ画像に設定される例示的な加算サンプリング情報を例示する図である。
【図１８】（ａ）〜（ｈ）は、Ｒ画像に設定される例示的な加算サンプリング情報を例示する図である。
【図１９】（ａ）〜（ｈ）は、Ｇ画像に設定される例示的な加算サンプリング情報を例示する図である。
【図２０】（ａ）〜（ｈ）は、Ｂ画像に設定される例示的な加算サンプリング情報を例示する図である。
【図２１】設定部１０３の主要な処理の手順を示すフローチャートである。
【図２２】例示的な実施形態による復号化装置３０の主要な処理の手順を示すフローチャートである。
【図２３】符号化データの表現方法の一例として、加算サンプリング情報テーブルの例を示した模式図である。
【図２４】撮像システム１０（図１）の変形例にかかる撮像システム１００の構成を示す図である。
【図２５】撮像モード設定部１１１を設けた撮像システム１００の構成を示すブロック図である。
【図２６】撮像システム１００の、変形例にかかる復号化装置３１の構成を示すブロック図である。
【図２７】復号化装置３１の主要な処理の手順を示すフローチャートである。
【図２８】蓄積部１１３の主要な処理の手順を示すフローチャートである。
【図２９】（ａ）および（ｂ）は、４ｘ４の１６画素から２個のデジタル信号を出力する際の、Ｒ画像に関する加算サンプリング処理を説明するための模式図である。
【図３０】（ａ）および（ｂ）は、４ｘ４の１６画素から２個のデジタル信号を出力する際の、Ｇ画像に関する加算サンプリング処理を説明するための模式図である。
【図３１】（ａ）および（ｂ）は、４ｘ４の１６画素から２個のデジタル信号を出力する際の、Ｂ画像に関する加算サンプリング処理を説明するための模式図である。
【図３２】（ａ）〜（ｄ）は、４ｘ４の１６画素から４個のデジタル信号を出力する際の、Ｒ画像に関する加算サンプリング処理を説明するための模式図である。
【図３３】（ａ）〜（ｄ）は、４ｘ４の１６画素から４個のデジタル信号を出力する際の、Ｇ画像に関する加算サンプリング処理を説明するための模式図である。
【図３４】（ａ）〜（ｄ）は、４ｘ４の１６画素から４個のデジタル信号を出力する際の、Ｂ画像に関する加算サンプリング処理を説明するための模式図である。
【図３５】（ａ）〜（ｄ）は、３ｘ３の１６画素から４個のデジタル信号を出力する際の、Ｒ画像に関する加算サンプリング処理を説明するための模式図である。
【図３６】（ａ）〜（ｄ）は、３ｘ３の１６画素から４個のデジタル信号を出力する際の、Ｇ画像に関する加算サンプリング処理を説明するための模式図である。
【図３７】（ａ）〜（ｄ）は、３ｘ３の１６画素から４個のデジタル信号を出力する際の、Ｂ画像に関する加算サンプリング処理を説明するための模式図である。
【発明を実施するための形態】
【００１４】
従来用いられてきた圧縮センシング技術では、その前提として、画像のスパース性を利用する。
【００１５】
しかしながら本願発明者らは、画像のスパース性は一般画像では必ずしも成立しないことに注目した。例えば、カメラが移動する動画像シーンやカメラの位置が異なる多視点映像などのライトフィールド画像における遮蔽エッジ近傍領域では、被写体の見えが画像間で大きく異なるため、局所的類似性は成り立ちにくい。それらの画像においては、非特許文献１で開示されている手法を用いても、高精細の復元画像を取得することはできない。
【００１６】
そこで本願発明者らは、画像をより高精細に復元するための技術として、以下の技術を完成させるに至った。
【００１７】
本発明の一態様の概要は以下のとおりである。
【００１８】
本発明の一態様である撮像システムは、複数の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得する取得装置と、前記各波長帯域の電荷信号に加算サンプリング処理を行って画像情報を符号化する符号化装置と、前記符号化装置が符号化した画像情報を復号化する復号化装置とを備えた撮像システムであって、前記加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、さらにデジタル信号に変換することで、新たな信号を生成する処理であり、前記符号化装置は、前記各波長帯域について、前記加算サンプリング処理がそれぞれ行われる少なくとも２つの画素群を特定する加算サンプリング情報を設定する設定部であって、前記少なくとも２つの画素群は、第１の配置パターンを有する第１画素群、および、前記第１の配置パターンと一部が重複する第２の配置パターンを有する第２画素群を含み、かつ、前記第１の配置パターンおよび前記第２の配置パターンの組み合わせは、波長帯域間で異なっている、設定部と、前記加算サンプリング情報に従って前記各波長帯域の電荷信号に前記加算サンプリング処理を行って、前記各波長帯域のデジタル画像信号を出力する加算サンプリング部とを備え、前記復号化装置は、前記各波長帯域のデジタル画像信号から、前記加算サンプリング情報を利用して復元画像を生成する画像復元部と、前記画像復元部が生成した復元画像を出力する出力部とを備えている。
【００１９】
前記撮像システムは、前記各波長帯域のデジタル画像信号を受け取り、デジタル画像信号間の色相関を判定する色相関判定部をさらに備え、前記設定部は、前記色相関判定部による前記色相関の判定結果を利用して加算サンプリング情報を設定する。
【００２０】
前記画像復元部は、前記各波長帯域のデジタル画像信号に関して、各画像の局所的類似性を利用して画像を復元する。
【００２１】
本発明の他の一態様である撮像装置は、複数の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得する取得装置と、前記各波長帯域の電荷信号に加算サンプリング処理を行って画像情報を符号化する符号化装置とを備え、前記加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、さらにデジタル信号に変換することで、新たな信号を生成する処理であり、前記符号化装置は、前記各波長帯域について、前記加算サンプリング処理がそれぞれ行われる少なくとも２つの画素群を特定する加算サンプリング情報を設定する設定部であって、所定の条件下において、前記少なくとも２つの画素群は、第１の配置パターンを有する第１画素群、および、前記第１の配置パターンと一部が重複する第２の配置パターンを有する第２画素群を含み、かつ、前記第１の配置パターンおよび前記第２の配置パターンの組み合わせは、波長帯域間で異なっている、設定部と、前記加算サンプリング情報に従って前記各波長帯域の電荷信号に前記加算サンプリング処理を行って、前記各波長帯域の画像信号を出力する加算サンプリング部とを有する。
【００２２】
前記取得装置は、前記複数の波長帯域として、第１、第２、および第３の波長帯域を含む光を受けて、各波長帯域のアナログ電荷信号を取得し、前記符号化装置の前記加算サンプリング部は、前記加算サンプリング情報に従って前記各波長帯域のアナログ電荷信号にアナログ加算処理を行い、前記各波長帯域のアナログ加算信号を生成する加算部と、前記各波長帯域のアナログ加算信号を、前記各波長帯域のデジタル画像信号に変換する変換部とを備えている。
【００２３】
前記撮像装置は、前記加算サンプリング部から出力された前記各波長帯域の画像信号を受け取り、画像信号間の色相関を判定する色相関判定部をさらに備え、前記設定部は、前記所定の条件として、前記色相関判定部による前記色相関の判定結果を利用して加算サンプリング情報を設定する。
【００２４】
前記加算サンプリング情報に基づいて前記各波長帯域の電荷信号に行われる加算サンプリング処理は、前記各波長帯域の電荷信号に共通する複数の画素位置の電荷信号を用いた第１加算サンプリング処理と、共通しない複数の画素位置の電荷信号を用いた第２加算サンプリング処理とを含んでおり、前記色相関判定部は、前記各波長帯域の電荷信号に行われる前記第１加算サンプリング処理によって出力された前記各波長帯域の画像信号を利用して、前記画像信号間の色相関を判定する。
【００２５】
前記設定部は、前記色相関判定部による前記色相関の判定結果が予め定めた基準を満たしている場合には、前記各波長帯域の画像信号間で、相対的に加算サンプリング処理が異なる割合が高くなるよう加算サンプリング情報を設定し、前記色相関判定部による前記色相関の判定結果が予め定めた基準を満たしていない場合には、前記各波長帯域の画像信号間で、相対的に加算サンプリング処理が異なる割合が低くなるよう加算サンプリング情報を設定する。
【００２６】
前記取得装置は、取得された第１、第２、および第３の波長帯域の各々に対応する画像信号である第１、第２、および第３の画像信号を取得し、前記色相関判定部は、前記第１、第２、および第３の画像信号間の色相関値を計算し、前記設定部は、前記色相関値が予め定めた基準を満たしている場合には、前記第１の画像信号に行われる加算サンプリング処理と、前記第２の画像信号に行われる加算サンプリング処理とが異なるよう、前記第１の画像信号の加算サンプリング情報および前記第２の画像信号の加算サンプリング情報を設定する。
【００２７】
前記加算サンプリング情報は、予め複数種類用意されており、前記設定部は、前記色相関値の大きさに応じて、予め複数種類用意されている前記加算サンプリング情報の中から、前記第１の画像信号に行われる加算サンプリング処理に対応する加算サンプリング情報と、前記第２の画像信号に行われる加算サンプリング処理に対応する加算サンプリング情報とを選択して設定する。
【００２８】
前記設定部は、前記第１の画像信号に行われる加算サンプリング処理と、前記第２の画像信号に行われる加算サンプリング処理との相違の程度が相対的に高くなるよう、前記加算サンプリング情報を設定する。
【００２９】
前記取得装置は、取得された第１、第２、および第３の波長帯域の各々に対応する画像信号である第１、第２、および第３の画像信号を取得し、前記色相関判定部は、前記第１、第２、および第３の画像信号間の色相関値を計算し、前記設定部は、前記色相関値が予め定めた基準を満たしていない場合には、前記前記第１、第２および第３の画像信号に行われる加算サンプリング処理が同じになるよう、前記第１、第２および第３の画像信号の加算サンプリング情報を設定する。
【００３０】
前記取得装置は、前記第１、前記第２、および前記第３の波長帯域として、青、緑および赤の波長帯域を含む光を受けて、前記赤、前記緑および前記青の各波長帯域のアナログ電荷信号を取得する。
【００３１】
前記取得装置は、前記赤、前記緑、および前記青の各波長帯域の電荷信号をそれぞれ生成する３つの撮像素子を備えている。
【００３２】
前記取得装置は、前記第１、前記第２、および前記第３の波長帯域として、シアン、マゼンタおよびイエローの各波長帯域を含む光を受けて、前記シアン、前記マゼンタおよび前記イエローの各波長帯域のアナログ電荷信号を取得する。
【００３３】
前記取得装置は、露光時間の異なる複数の波長帯域を含む光を受けて、各波長帯域のアナログ電荷信号を取得する。
【００３４】
前記取得装置は、４以上の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得する。
【００３５】
前記設定部は、前記各波長帯域について、Ｐ×Ｑ（Ｐ、Ｑ：２以上の整数）個の画素の中から前記少なくとも２つの画素群の各々を特定する加算サンプリング情報を設定し、前記加算サンプリング部は、波長帯域ごとに、前記加算サンプリング情報によって特定される前記少なくとも２つの画素群の各電荷信号に加算サンプリング処理を行って、前記Ｐ×Ｑ個未満の前記各波長帯域の画像信号を出力する。
【００３６】
前記設定部は、前記各波長帯域について、Ｎ×Ｎ（Ｎ＝Ｐ＝Ｑ）個の画素の中から前記少なくとも２つの画素群の各々を特定する加算サンプリング情報を設定する。
【００３７】
前記設定部は、前記各波長帯域について、Ｌ×１または１×Ｌ（Ｌ：４以上の整数）個の画素の中から前記少なくとも２つの画素群の各々を特定する加算サンプリング情報を設定し、前記加算サンプリング部は、波長帯域ごとに、前記加算サンプリング情報によって特定される前記少なくとも２つの画素群の各電荷信号に加算サンプリング処理を行って、前記Ｌ個未満の前記各波長帯域の画像信号を出力する。
【００３８】
前記撮像装置は、前記設定部によって設定された前記加算サンプリング情報、および前記加算サンプリング部から出力された前記各波長帯域の画像信号を記録媒体に蓄積する情報蓄積装置をさらに備えている。
【００３９】
前記記録媒体は、情報蓄積装置から着脱可能である。
【００４０】
本発明のさらに他の一態様である撮像方法は、複数の波長帯域を含む光を受けて、各波長帯域の電荷信号を取得するステップと、前記各波長帯域の電荷信号に加算サンプリング処理を行って画像情報を符号化するステップとを包含する撮像方法であって、前記加算サンプリング処理は、所定の配置パターンを有する画素群の各電荷信号をアナログ加算し、さらにデジタル信号に変換することで、新たな信号を生成する処理であり、前記符号化するステップは、前記各波長帯域について、前記加算サンプリング処理がそれぞれ行われる少なくとも２つの画素群を特定する加算サンプリング情報を設定するステップであって、所定の条件下において、前記少なくとも２つの画素群が、第１の配置パターンを有する第１画素群、および、前記第１の配置パターンと一部が重複する第２の配置パターンを有する第２画素群を含み、かつ、前記第１の配置パターンおよび前記第２の配置パターンの組み合わせが波長帯域間で異なるよう、加算サンプリング情報を設定するステップと、前記加算サンプリング情報に従って前記各波長帯域の電荷信号に前記加算サンプリング処理を行うステップと、前記各波長帯域の画像信号を出力するステップとを包含する。
【００４１】
本発明のさらに他の一態様である復号化方法は、各波長帯域の画像信号、および加算サンプリング情報を取得するステップと、前記各波長帯域の画像信号から、前記加算サンプリング情報を利用して復元画像を生成するステップと、前記復元画像を出力するステップとを包含する復号化方法であって、前記各波長帯域の画像信号は、前記各波長帯域の電荷信号に、前記加算サンプリング情報に従って制御された加算サンプリング処理を行って得られた画像信号であり、前記加算サンプリング情報は、所定の条件下において、前記各波長帯域の電荷信号のうちの少なくとも２つに行われる前記加算サンプリング処理を相違させる情報である。
【００４２】
前記復元画像を生成するステップは、前記各波長帯域のデジタル画像信号に関して、各画像の局所的類似性を利用する。
【００４３】
前記復元画像を生成するステップは、前記画像の局所的類似性を計算するために、正規化相互相関を利用する。
【００４４】
以下、添付の図面を参照しながら、本発明の例示的な実施の形態を説明する。
【００４５】
図１は、本開示の一実施形態にかかる撮像システム１０のハードウェア構成を示す模式図である。以下では、説明の簡略化のため、第一の波長帯域である赤色の帯域の波長成分を取得する赤画像（以下「Ｒ画像」と略記する。）、第一の波長帯域とは異なる第二の波長帯域である緑色の帯域の波長成分を取得する緑画像（以下、「Ｇ画像」と略記する。）、第一および第二の波長帯域とは異なる第三の波長帯域である青色の帯域の波長成分を取得する青画像（以下「Ｂ画像」と略記する。）を３つの撮像素子でセンシングする３板式の撮像システムについて説明する。
【００４６】
もちろん、本実施形態の撮像システムは、３板式撮像システムに限られない。たとえば、本開示による撮像システムは、長時間露光画像と短時間露光画像を撮像し、公知の方法、たとえば国際公開公報ＷＯ２００９／０１９８２３に記載された技術を利用して合成することでダイナミックレンジを上げる高ダイナミックレンジ撮像システムとして実現され得る。または、本開示による撮像システムは、複数の波長帯域域の画像を撮像するマルチバンド撮像システム、ベイヤーパターンなどカラーフィルタを画素ごとに異ならせることでカラー画像を撮像する単板式撮像システムなどであってもかまわない。また、３板式撮像システムであっても、利用する波長帯域域はＲ／Ｇ／Ｂの波長帯域に限ったものではなく、たとえば、補色系として知られているシアン／マゼンダ／イエローの３つの波長帯域を利用してもかまわない。
【００４７】
撮像システム１０は、Ｒ／Ｇ／Ｂ画像を撮像する３つの撮像素子１１と、個々の撮像素子１１ごとに、マルチプレクサ（ＭＵＸ）１２と、制御回路１３と、ＡＤＣ１４と、画像復元回路１５とを備えている。
【００４８】
撮像素子１１は、複数の画素から構成される画素アレイである。撮像素子１１は、受光した光信号を電気信号に変換する。より具体的には、撮像素子１１の各画素は、光を受け、入射した光の量に応じた電荷を蓄積し、出力する。Ｒ画像の撮像素子１１は、赤の波長成分を取得する第一のフィルタ（不図示）を搭載する。Ｇ画像の撮像素子１１は、緑の波長成分を取得する第二のフィルタ（不図示）を搭載する。Ｂ画像の撮像素子１１は、青の波長成分を取得する第三のフィルタ（不図示）を搭載する。これにより、各画像の撮像素子１１は、各波長帯域の画像を取得する。
【００４９】
マルチプレクサ１２は、複数の画素の画素値（電荷信号）を加算する処理を行う。この処理は、アナログ加算処理と呼ばれる。より具体的には、アナログ加算処理とは、ある位置の画素の電荷信号に、その位置から所定の関係にある位置の画素の電荷信号を加算し、新たな信号を生成する処理をいう。アナログ加算処理は、アナログの電荷信号に関して行われ、得られる信号もまたアナログの電荷信号である。
【００５０】
制御回路１３は、マルチプレクサ１２におけるアナログ加算処理を制御するための制御信号を生成してマルチプレクサ１２に出力する。この制御信号は、後述の加算サンプリング情報である。
【００５１】
ＡＤＣ１４は、アナログ加算処理の結果得られたアナログの電荷信号をデジタル信号に変換する。マルチプレクサ１２によるアナログ加算処理、およびＡＤＣ１４によるアナログ電荷信号のデジタル信号への変換処理をまとめて、「加算サンプリング処理」と呼ぶこともある。すなわち、「加算サンプリング処理」とは、ある位置の画素の電荷信号に、その位置から所定の関係にある位置の画素の電荷信号をアナログ加算し、さらに、デジタル信号に変換することで、新たな信号を生成する処理をいう。ここで、一つ以上のある位置の画素の電荷信号が、複数回、読みだされ、複数のデジタル信号に加算される。加算サンプリング処理は、アナログの電荷信号に関して行われ、得られる信号はデジタル信号である。本実施形態による加算サンプリング処理の詳細は後述する。
【００５２】
ＡＤＣ１４は、たとえばΔΣ変調器およびデジタルフィルタ（いずれも不図示）を直列に接続して構成されるΔΣ型ＡＤＣである。ΔΣ変調器は、アナログ信号を受け取って、想定されるサンプリングレートよりも高速でサンプリングされた１ビットのパルス波形（デジタル波形）に変換する。デジタルフィルタは、そのパルス波に帯域制限とデシメーション（間引き）を行い、想定されるサンプリングレートの多ビットのデジタル信号を出力する。
【００５３】
画像復元回路１５は、ＡＤＣ１４によって変換されたデジタル信号から、圧縮センシング技術を用いて、撮像素子１１によって当初生成されたであろう画像を生成する。この処理を、本明細書では「画像を復元する」と呼ぶ。なお、画像復元回路１５にとっては、撮像素子１１によって当初生成されたであろう画像は既知ではない。「復元された画像」とは、後述する画像復元回路１５の処理によって生成された画像を意味する。
【００５４】
ここで、図２および図３を参照しながら、制御回路１３および画像復元回路１５のハードウェア構成例を説明する。
【００５５】
以下の説明では、画像復元回路１５は単一の回路ではなく、ＣＰＵやメモリ等が実装された回路であるとして説明する。ただし、これらを１チップ化する等により、画像復元回路１５を見かけ上単一の回路として実現してもよい。本明細書において説明する機能が実現される限り、画像復元回路１５が単一の回路によって実現されるか複数の回路によって実現されるかは問わない。
【００５６】
図２は、制御回路１３のハードウェア構成例を示す。
【００５７】
制御回路１３は、ＣＰＵ１３１と、メモリ１３２と、バス１３３と、インタフェース（Ｉ／Ｆ）１３４とを有している。
【００５８】
ＣＰＵ１３１は、メモリ１３２上のコンピュータプログラム１３５を実行して、圧縮センシングを行うか否かを判定し、その結果を示す圧縮センシング情報を生成する。圧縮センシングを行うと判定した場合、ＣＰＵ１３１は、併せて加算サンプリング情報を生成する。加算サンプリング情報は、複数の画素の各々から得られた画素信号を用いて行われる加算サンプリング処理に関するサンプリング方法を特定する情報であり、換言すれば加算サンプリング処理を制御するために設定される情報である。なお、圧縮センシングを行わない場合には、加算サンプリング情報を送信しなくてもよい。
【００５９】
加算サンプリング処理の一般的な説明、および画像復元処理の説明は後述する。
【００６０】
ＣＰＵ１３１は、生成した圧縮センシング情報および加算サンプリング情報を、バス１３３およびＩ／Ｆ１３４を介して、制御信号としてマルチプレクサ１２に出力する。これにより、制御回路１３は、マルチプレクサ１２において行われる加算サンプリング処理のサンプリング方法を変更させることが可能となる。この処理の詳細は、詳述する。
【００６１】
図３は、画像復元回路１５のハードウェア構成例を示す。
【００６２】
画像復元回路１５は、ＣＰＵ１５１と、メモリ１５２と、バス１５３と、インタフェース（Ｉ／Ｆ）１５４とを有している。Ｉ／Ｆ１５４は、デジタル映像信号、圧縮センシング情報、および状況に応じて加算センシング情報を受け取る。デジタル映像信号は、圧縮サンプリングが行われた、あるいは行われていない画像に関するデジタル信号である。上述のように、圧縮サンプリングが行われたか否かは、圧縮センシング情報によって示される。圧縮サンプリングが行われた場合には加算サンプリング情報がそのサンプリング方法を示している。圧縮センシング情報を送信せずに、加算サンプリング情報の有無によって圧縮センシングが行われたかどうかを判断してもよい。
【００６３】
Ｉ／Ｆ１５４は、受信した映像のデジタル信号を、バス１５３を介してメモリ１５２に送信する。メモリ１５２はそのデジタル信号に対応するデジタルデータを格納する。ＣＰＵ１５１はメモリ１５２上のコンピュータプログラム１５５を実行して所定の処理を行う。たとえばＣＰＵ１５１は、圧縮センシング情報が、圧縮センシングが行われたことを示しているか否かを判定する。圧縮センシングが行われたことを示している場合には、ＣＰＵ１５１はさらに加算サンプリング情報を参照して、加算サンプリング方法を特定する。そしてその加算サンプリング方法に従い、ＣＰＵ１５１はメモリ１５２に格納されたデジタルデータから、撮像素子１１によって当初生成されたであろう画像を復元する。
【００６４】
ここで、これまでに言及した加算サンプリング処理および画像復元処理を説明する。以下では説明の簡略化のため、４×４の１６画素に対し、８個の信号をサンプリングする処理を例に挙げて説明する。
【００６５】
図４は、本明細書において例示する４×４の１６画素の配置を示す。図４には４×４の各画素に画素番号を付している。すなわち、４×４画素において、左上隅の画素から右方向に順に「１」「２」「３」「４」とし、同様に、次行の左端の画素から「５」「６」…とし、右下隅の画素を「１６」としている。例えば画素４０１は画素番号４の画素である。
【００６６】
図５〜図７はＲＧＢ画像それぞれの加算サンプリング処理を説明するための模式図である。加算サンプリング処理は、加算サンプリング情報に基づいてマルチプレクサ１２によって行われる。
【００６７】
図５（ａ）〜（ｈ）はそれぞれ、Ｒ画像のｔ＝１における８個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。つまり、図５（ａ）〜（ｈ）の各々において番号が付された各画素は、加算サンプリング処理に用いられる画素を表し、これらの画素の電荷信号を加算することで１つのデジタル信号が生成される。これらの図に示されるように、加算サンプリング処理では、一つ以上のある位置の画素の電荷信号が、複数回、読みだされ、複数のデジタル信号に加算される。
【００６８】
本明細書では、図５（ａ）〜（ｈ）の各々に示されるような、加算サンプリング処理に用いられるひとまとまりの画素群を「読み出し画素群」と呼ぶ。図５（ａ）〜（ｈ）には、丸で囲まれた番号１−８によってそれぞれ構成される、一点鎖線で囲まれた読み出し画素群２−９が示されている。読み出し画素群２−９は互いに、異なる画素配置パターンを有している。
【００６９】
また、図６（ａ）〜（ｈ）はそれぞれ、Ｒ画像ではなくＧ画像のｔ＝１における８個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。さらに、図７（ａ）〜（ｈ）はそれぞれ、Ｂ画像のｔ＝１における８個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。図５（ａ）〜（ｄ）、図６（ａ）〜（ｄ）、および図７（ａ）〜（ｄ）から理解されるように、読み出し画素群２−５の位置はＲ／Ｇ／Ｂ画像間で同じである。一方、図５（ｅ）〜（ｈ）、図６（ｅ）〜（ｈ）、および図７（ｅ）〜（ｈ）から理解されるように、読み出し画素群６−９の位置はＲ／Ｇ／Ｂ画像間で異なっている。このように、Ｒ／Ｇ／Ｂ画像では、全体として加算サンプリングパターンが一致しないようにサンプリングを行う。後述するように、このような加算サンプリングを行うことで復元画質を向上させる。
【００７０】
図５（ａ）では、Ｒ画像における画素番号１，２，５，６（図４）の電荷信号を読み出し、この４画素分の電荷信号を加算処理することで、ｔ＝１の第１のデジタル信号を生成している。同様に、図５（ｂ）では、Ｒ画像における画素番号３，４，７，８の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第２のデジタル信号を生成している。図５（ｃ）では、Ｒ画像における画素番号９，１０，１３，１４の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第３のデジタル信号を生成している。図５（ｄ）では、Ｒ画像における画素番号１１，１２，１５，１６の電荷信号を読み出し、この４画素分の電荷信号を加算し、ｔ＝１の第４のデジタル信号を生成している。図５（ｅ）〜（ｆ）においても同様に、Ｒ画像における画素番号１，６，１１，１６からｔ＝１の第５のデジタル信号を、画素番号３，８，９，１４からｔ＝１の第６のデジタル信号を、画素番号２，５，１２，１５からｔ＝１の第７のデジタル信号を、画素番号４，７，１０，１３からｔ＝１の第８のデジタル信号を生成している。
【００７１】
このようにして、４×４＝１６画素分の電荷信号を８個のデジタル信号に圧縮する。後述のアナログデジタル変換部１０５（図１０など）は、入力データが圧縮されるため、動作速度を減少させ、低消費電力化、高ＳＮ化、通信帯域の削減が実現できる。
【００７２】
加算サンプリング情報は、後述するように、アナログ加算部１０４およびアナログデジタル変換部１０５が実行する処理の内容を特定するための情報である。具体的には、加算サンプリング情報は、加算サンプリング処理後の新たなデジタル信号の各信号値について、元の電荷信号において加算に用いる画素の位置、どの程度のゲインを与えて加算するかという画素のゲイン情報、さらに、加算したデジタル信号をどの順番で送信するかという順序情報である。
【００７３】
例えば加算サンプリング情報は、アナログ加算処理される画素を「１」、アナログ加算されない画素を「０」として、画素番号順に符号化したデータとして表現すればよい。加算サンプリング情報は、図４に示した画素番号順に符号化したデータとして表現する。具体的には以下のとおりである。
第１のデジタル信号：“１１００  １１００  ００００  ００００”
第２のデジタル信号：“００１１  ００１１  ００００  ００００”
第３のデジタル信号：“００００  ００００  １１００  １１００”
第４のデジタル信号：“００００  ００００  ００１１  ００１１”
第５のデジタル信号：“１０００  ０１００  ００１０  ０００１”
第６のデジタル信号：“００１０  ０００１  １０００  ０１００”
第７のデジタル信号：“０１００  １０００  ０００１  ００１０”
第８のデジタル信号：“０００１  ００１０  ０１００  １０００”
【００７４】
そこで、これらを連結すると、R画像におけるｔ＝１での加算サンプリング情報は以下のとおりとなる。
【００７５】
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ００００    ００００  ００００  １１００  １１００    ００００  ００００  ００１１  ００１１    １０００  ０１００  ００１０  ０００１    ００１０  ０００１  １０００  ０１００    ０１００  １０００  ０００１  ００１０    ０００１  ００１０  ０１００  １０００”
【００７６】
ここで、撮像画像と加算サンプリング出力信号をベクトル表記する。図４の画素番号順に撮像画像の画素値を並べた撮像画像ベクトルをｘ、第１〜第８の加算サンプリング出力信号を並べたデジタル信号ベクトルをｙとすると、以下の関係式が成り立つ。
【００７７】
【数１】
2015216619.tif 000003
【００７８】
行列Ｓは、サンプリング行列である。たとえばＲ画像におけるｔ＝１に関して上述した加算サンプリング情報を行列表現したサンプリング行列ＳRは、以下のように表現される。
【００７９】
【数２】
2015216619.tif 000004
【００８０】
同様に、図６（ａ）〜（ｈ）および図７（ａ）〜（ｈ）より、Ｇ画像およびＢ画像におけるｔ＝１でのサンプリング行列ＳG、ＳBは、以下のように表現される。
【００８１】
【数３】
2015216619.tif 000005
【００８２】
【数４】
2015216619.tif 000006
【００８３】
以上の加算サンプリング処理により、Ｒ／Ｇ／Ｂ画像それぞれにおいて、１６画素分の電荷信号を８個のデジタル信号に圧縮することができる。
【００８４】
次に、画像復元処理を説明する。
【００８５】
図８は、画像復元回路１５の機能の詳細を示すブロック図である。
【００８６】
画像復元回路１５は、受信部１０８と、画像復元部１０９を備えている。
【００８７】
受信部１０８は、コネクタ等の接続端子であり、各ＡＤＣ１４から出力されるデジタル信号を受信し、制御回路１３（図８では省略）からは圧縮センシング情報、および／または加算サンプリング情報を受信する。受信部１０８は図３におけるＩ／Ｆ１５４に対応する。
【００８８】
画像復元部１０９は、図３のＣＰＵ１５１がコンピュータプログラム１５５を実行することによって実現される。なお、ＣＰＵ１５１がコンピュータプログラム１５５を実行することによって画像復元部１０９を実現する代わりに、ハードウェアとして同じ機能を提供する信号処理回路を設けてもよい。
【００８９】
画像復元部１０９は、３つの撮像素子のＡＤＣが出力したＲ／Ｇ／Ｂ画像信号と、加算サンプリング情報設定部１０３が設定した加算サンプリング情報とを利用して、Ｒ／Ｇ／Ｂ画像を復元する。
【００９０】
復元処理は、事前知識として画像の局所的類似性を仮定することで画像の繰り返し構造を抽出し、これを先見情報として利用する手法（例えば非特許文献１を参照）を利用する。もちろん、復元処理はこの手法に限ったものではなく、圧縮センシングで広く使われている、Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ法（例えば非特許文献３を参照）やアフィンスケーリング法（例えば非特許文献４を参照）、Ａｌｔｅｒｎａｔｉｎｇ  Ｄｉｒｅｃｔｉｏｎ  Ｍｅｔｈｏｄ  ｏｆ  Ｍｕｌｔｉｐｌｉｅｒｓ法（例えば非特許文献５を参照）などの公知の手法を利用すればよい。
【００９１】
自然画像において、カラーチャネル間には相関があることが知られている。後述するように、異なるカラーチャネル間で加算サンプリングを変更することで、復元画質を向上させることができる。
【００９２】
以上説明したとおり、圧縮サンプリング処理、および画像復元処理が行われる。
【００９３】
図９は、本実施の形態にかかる撮像システム１０の構成を示すブロック図である。撮像システム１０は、撮像装置２０と、復号化装置３０とを備えている。撮像装置２０は、撮像の結果得られた画像信号を符号化して出力する。復号化装置３０は、撮像装置２０から送信された、符号化された画像信号を用いて画像を復号化および復元する。
【００９４】
撮像装置２０は、Ｒ／Ｇ／Ｂ画像をそれぞれ取得する情報取得装置４０と、符号化装置５０と、情報蓄積装置５２と、送信回路５４とを備えている。
【００９５】
情報取得装置４０は、Ｒ画像、Ｇ画像、Ｂ画像をそれぞれ取得する３つの撮像素子１１を有する。各撮像素子は、光電変換部１０１と、電荷保持部１０２とを備えている。光電変換部１０１および電荷保持部１０２は、図１における撮像素子１１に対応する。
【００９６】
符号化装置５０は、図１のマルチプレクサ１２、制御回路１３、およびＡＤＣ１４に対応する。
【００９７】
情報蓄積装置５２は、符号化装置５０によって符号化されたデジタル信号、および圧縮センシング情報、および／または加算サンプリング情報を蓄積する、二次記憶装置である。情報蓄積装置５２は、たとえばハードディスクドライブ、ソリッドステートドライブ、光ディスクドライブ、および／またはフラッシュメモリデバイスである。情報蓄積装置５２が情報を蓄積する際に利用する記録媒体は、情報蓄積装置５２に固定されていてもよいし、着脱可能であってもよい。
【００９８】
送信回路５４は、上述のデジタル信号、および圧縮センシング情報、および／または加算サンプリング情報を復号化装置３０に送信する通信回路である。送信回路５４と復号化装置３０との間の通信は、無線であってもよいし、有線であってもよい。通信に必要な伝送帯域を例示する。各撮像素子の画素数をいわゆる８Ｋ４Ｋ（水平７６８０画素×垂直４３２０画素）とし、ＹＵＶ４２２でＹ成分を１２ビットで量子化し、６０フレーム／秒で撮影が行われている場合を想定する。圧縮センシングを行わなければ、２４Ｇｂｐｓの伝送帯域が必要である。一方、圧縮センシングを行ってデータを圧縮することにより、伝送帯域を３Ｇｂｐｓにまで低減し得る。すなわち、送信回路５４と復号化装置３０との間の有線通信または無線通信では３Ｇｂｐｓのデータレートを確保できればよい。
【００９９】
復号化装置３０は、図１における画像復元回路１５に対応する。
【０１００】
なお、情報蓄積装置５２は符号化装置５０に内蔵されてもよい。記録にあたっては、他の圧縮符号化技術を複合的に用いてもよい。記録媒体から読み出された画像のデジタルデータおよび加算サンプリング情報が復号化装置３０に送信されればよい。この構成例は以下の実施の形態においても同様に適用される。
【０１０１】
復号化装置３０は、情報蓄積装置５２に蓄積されたデジタル信号、および圧縮センシング情報、および／または加算サンプリング情報を利用して、デジタル信号から画像を事後的に復元することが可能である。すなわち、圧縮センシング、および復元処理は、リアルタイムに行われる必要はない。たとえば情報蓄積装置５２によって可搬性のある光ディスクやフラッシュメモリにデジタル信号、および圧縮センシング情報、および／または加算サンプリング情報が蓄積された場合には、復号化装置３０は、時間的および／または空間的に異なる環境下でそれらの情報を読み出すことにより、画像を復元することができる。
【０１０２】
本開示の一態様における撮像システム１０の撮像装置２０は、圧縮センシングの手法を用いて、アナログデジタル変換前の画像信号を圧縮する。撮像装置２０は、アナログ信号をデジタル信号へと変換して情報記憶装置５２に蓄積し、または復号化装置３０に出力する。復号化装置３０はそのデジタル信号から画像を復元する。
【０１０３】
圧縮処理および復元処理において、加算サンプリング処理は、復元画質に大きく影響するため、如何にそれらの処理を行うかが問題である。
【０１０４】
圧縮処理に関しては、画素に行われる加算サンプリング処理のサンプリング方法（加算サンプリング情報）をＲ画像、Ｇ画像、Ｂ画像によって異なるように設定し、電荷保持部が保持している電荷信号を複数の画素において加算サンプリング情報にしたがってアナログ加算処理する。
【０１０５】
復元処理に関しては、圧縮センシングの技術を利用して、画像を復元する。
【０１０６】
本開示にかかる撮像システム１０によれば、Ｒ画像、Ｇ画像、Ｂ画像によって異なるように加算サンプリング情報を変更しながら撮像を行う。自然画像においては、Ｒ画像、Ｇ画像、Ｂ画像に相関があるため、上記の撮像によって、より高画質の画像復元が可能である。さらに、加算サンプリング処理により、ＡＤＣの駆動周波数を下げられるため、低消費電力化、高ＳＮ化、転送帯域の削減を実現できる。
【０１０７】
なお、図９においては撮像装置２０と復号化装置３０とは別体であるが、撮像装置２０が復号化装置３０を含んでもよい。ＡＤＣ前に画像を圧縮して上述の利点を少なくとも１つ得ることができれば、必ずしも撮像装置２０と復号化装置３０とを別個の装置内に設ける必要はない。
【０１０８】
図１０は、本実施の形態による撮像システム１０の構成を示すブロック図である。また、図１１は、本実施の形態による情報取得装置４０と符号化装置５０の主要な処理の手順を示すフローチャートである。なお、記載の便宜上、図１０には情報蓄積装置５２は示されていないが、情報蓄積装置５２も含まれ得る。情報蓄積装置５２は、送信回路５４から出力される情報と同じ情報を蓄積するよう設けられる。
【０１０９】
情報取得装置４０は、Ｒ／Ｇ／Ｂ画像それぞれの撮像素子における光電変換部１０１と、電荷保持部１０２を備えている。
【０１１０】
符号化装置５０は、加算サンプリング部６０と、加算サンプリング情報設定部１０３と、色相関判定部１０６とを備えている。加算サンプリング部６０は、アナログ加算部１０４およびアナログデジタル変換部１０５を有している。
【０１１１】
復号化装置３０は、受信部１０８と、画像復元部１０９と、出力部１１０を備えている。
【０１１２】
符号化装置５０の送信回路５４、および復号化装置３０の受信部１０８は通信を行って、アナログデジタル変換部の出力信号であるＲ／Ｇ／Ｂ画像のデジタル信号と圧縮センシング情報撮像時に利用した加算サンプリング情報とを授受する。通信は、無線または有線の通信回線（ネットワーク）を介して行われる。
【０１１３】
情報取得装置４０および符号化装置５０の各構成要素の動作を、図１１を参照しながら説明する。以下の説明において、ステップＳ１０１〜Ｓ１０５の処理は、Ｒ／Ｇ／Ｂ画像それぞれで別々に行われるが、説明の簡略化のため、各ステップをＲ／Ｇ／Ｂ画像まとめて説明する。図１２は、これらの処理をＲ／Ｇ／Ｂ画像ごとに別々に示したフローチャートである。
【０１１４】
まず、情報取得装置４０の処理を詳述する。
【０１１５】
Ｒ／Ｇ／Ｂ画像それぞれの光電変換部１０１は複数の画素を有しており、各画素は、受光した光をその光量に応じた電気信号に変換することで、Ｒ／Ｇ／Ｂ画像情報を取得する（ステップＳ１０１）。複数の画素は例えば、フォトダイオードなどの光電変換素子を２次元状に配列することによって実現される。
【０１１６】
Ｒ／Ｇ／Ｂ画像それぞれの電荷保持部１０２は、光電変換部１０１によって得られた電気信号を一定時間蓄積し、電荷信号として保持する（ステップＳ１０２）。これは、電荷の保持に利用するメモリを画素ごとに設置すればよい。
【０１１７】
次に、符号化装置５０の処理を詳述する。
【０１１８】
加算サンプリング情報設定部（以下「設定部」と略記する。）１０３は、以下の２つの基準に従って、アナログ加算部１０４およびアナログデジタル変換部１０５によって加算サンプリング処理が実行されるように、加算サンプリング情報を設定する（ステップＳ１０３）。
【０１１９】
基準１．撮像画像の色相関を計算するため、Ｒ／Ｇ／Ｂ画像それぞれにおいて、同じ位置関係の画素をサンプリングする。
【０１２０】
基準２．復元画像の画質を向上するため、Ｒ／Ｇ／Ｂ画像それぞれにおいて、異なる位置関係の画素をサンプリングする。
【０１２１】
図５〜図７において、第１〜第４のデジタル信号（ａ）〜（ｄ）は基準１にしたがって設定された加算サンプリング情報を、第５〜第８のデジタル信号（ｅ）〜（ｈ）は基準２にしたがって設定された加算サンプリング情報を示している。
【０１２２】
アナログ加算部１０４は、Ｒ／Ｇ／Ｂ画像それぞれの電荷保持部１０２が保持している複数の画素の電荷信号に、設定部１０３が設定した加算サンプリング情報に基づいてアナログ加算処理し、新たな信号を生成し出力する（ステップＳ１０４）。
【０１２３】
アナログデジタル変換部１０５は、Ｒ／Ｇ／Ｂ画像それぞれのアナログ加算部１０４で生成された信号をデジタル信号に変換する（ステップＳ１０５）。この処理は、上述のΔΣ型ＡＤＣを利用して行われてもよいし、広く知られているパイプライン型やカラム型のアナログデジタル変換器を利用して行われてもよい。
【０１２４】
アナログ加算部１０４が加算サンプリング処理を行うことによって、画像情報を圧縮することができ、アナログデジタル変換部１０５に送信する信号量、つまりアナログデジタル変換部１０５が処理すべき信号量を減らすことができる。画像復元部１０９は、撮像に利用した加算サンプリング情報を用いることによって、圧縮された画像情報から、画像を復元することができる。
【０１２５】
色相関判定部１０６は、撮影している画像の色相関を計算する（ステップＳ１０６）。具体的には色相関判定部１０６は、加算サンプリング情報の上記基準１によって取得した情報を利用して行う。図５〜図７において、第１〜第４のデジタル信号はＲ／Ｇ／Ｂ画像すべてにおいて、同じ位置関係の加算サンプリングが行われている。色相関判定部１０６は、これらデジタル信号から、色相関を計算する。
【０１２６】
具体的には、色相関判定部１０６は、以下の関係を満たす場合、対象ブロックの色相関は高いと判断する。
【０１２７】
【数５】
2015216619.tif 000007
【０１２８】
ただし、Ｒ１，Ｒ２，Ｒ３，Ｒ４はＲ画像の第１〜第４のデジタル信号、Ｇ１，Ｇ２，Ｇ３，Ｇ４はＧ画像の第１〜第４のデジタル信号、Ｂ１，Ｂ２，Ｂ３，Ｂ４はＢ画像の第１〜第４のデジタル信号である。また、数５における、上にバーが付されたＲ、Ｇ、Ｂはそれぞれ、下記数６によって表される平均の信号である。
【０１２９】
【数６】
2015216619.tif 000008
【０１３０】
もちろん、色相関を計算する方法は上記の方法に限ったものではなく、例えば、ＲＧＢ画像をＹＵＶ空間へ変換し、ＵＶの値を利用することで計算するようにしてもかまわない。この場合、色相関は次式で計算される。
【０１３１】
【数７】
2015216619.tif 000009
【０１３２】
数７における各記号の意味は下記数８に示される。
【０１３３】
【数８】
2015216619.tif 000010
【０１３４】
設定部１０３は、色相関判定部１０６の推定結果を用いて、加算サンプリング情報を設定する（ステップＳ１０７）。
【０１３５】
図１３は、設定部１０３の主要な処理の手順を示すフローチャートである。設定部１０３は、色相関判定部１０６の判定結果を利用して、被写体に色相関性が成り立っているかどうかを確認する（ステップＳ２０１）。色相関値が閾値以上の場合（ステップＳ２０１でＹｅｓ）、被写体は色相関性が成り立っていると判断し、加算サンプリング処理の相違の程度（異なる割合）がＲ／Ｇ／Ｂ画像間で高くなるように加算サンプリング情報を設定する（ステップＳ２０２）。例えば、Ｒ画像の加算サンプリング情報を図５、Ｇ画像の加算サンプリング情報を図６、Ｂ画像の加算サンプリング情報を図７のように設定すればよい。なお、加算サンプリング情報が設定されると、次回以降の加算サンプリング処理に反映されることになる。
【０１３６】
また、色相関値が閾値よりも小さい場合（ステップＳ２０１でＮｏ）、被写体は色相関性が成り立っていない可能性があると推定されるため、加算サンプリング処理の相違の程度（異なる割合）がＲ／Ｇ／Ｂ画像間で低くなるように加算サンプリング情報を設定する（ステップＳ２０３）。これは、例えば、Ｒ／Ｇ／Ｂ画像すべての加算サンプリング情報を図５のように設定すればよい。後述するように、このように色相関情報を利用することにより、被写体に最適な加算サンプリング情報を設定できるため、より高画質の画像復元が可能である。
【０１３７】
もちろん、加算サンプリング情報設定部１０３は、色相関判定部１０６で色相関値が閾値以上と判定された場合（ステップＳ２０１でＹｅｓ）、加算サンプリング処理をＲ／Ｇ／Ｂ画像間すべてで異ならせるのではなく、加算サンプリング処理の相違の程度が高くなるように加算サンプリング情報を設定してもかまわない。例えば、Ｒ画像の加算サンプリング情報を図５、Ｇ画像の加算サンプリング情報を図１４、Ｂ画像の加算サンプリング情報を図１５のように設定すればよい。
【０１３８】
なお、図１４および図１５、さらに図１６〜図２０では、記載が煩雑になることを避けるため、図５等に示すような、各読み出し画素群を囲む一点鎖線の枠は示していない。丸で囲まれた番号が付された各画素が、各読み出し画素群を構成する。それらを包括して、参照符号２〜９をそれぞれ付している。
【０１３９】
同様に、加算サンプリング情報設定部１０３は、色相関判定部１０６で色相関値が閾値以下と判定された場合（ステップＳ２０１でＮｏ）、加算サンプリング処理をＲ／Ｇ／Ｂ画像間すべてで等しくなるようにするのではなく、加算サンプリング処理の相違の程度が低くなるように加算サンプリング情報を設定してもかまわない。これは、例えば、Ｒ画像の加算サンプリング情報を図５、Ｇ画像の加算サンプリング情報を図１６、Ｂ画像の加算サンプリング情報を図１７のように設定すればよい。
【０１４０】
また、加算サンプリング情報設定部１０３は、より多くの画素加算を行うように加算サンプリング情報を設定してもかまわない。これは、例えば、Ｒ画像の加算サンプリング情報を図１８、Ｇ画像の加算サンプリング情報を図１９、Ｂ画像の加算サンプリング情報を図２０のように設定すればよい。
【０１４１】
また、加算サンプリング情報設定部１０３は、色相関判定部１０６が色相関値を判断し、色相関値の大小で加算サンプリング情報を切り替えるのではなく、色相関値にもとづいて複数の加算サンプリング情報から最適なものを選択するようにしてもかまわない。これは、色相関判定部１０６が計算した色相関値によって、加算サンプリング情報のうちＲ／Ｇ／Ｂ画像間で等しくなる割合を変更するように設定すればよい。
【０１４２】
図２１は、設定部１０３の主要な処理の手順を示すフローチャートである。色相関値が０．７５以上の場合（ステップＳ２０４でＹｅｓ）、加算サンプリング処理の５０％がＲ／Ｇ／Ｂ画像間で等しくなるように加算サンプリング情報を設定する（ステップＳ２０５）。これは、例えば、Ｒ画像の加算サンプリング情報を図５、Ｇ画像の加算サンプリング情報を図６、Ｂ画像の加算サンプリング情報を図７のように設定すればよい。
【０１４３】
また、色相関値が０．７５未満（ステップＳ２０４でＮｏ）、かつ０．５以上の場合（ステップＳ２０６でＹｅｓ）、加算サンプリング処理の６２．５％がＲ／Ｇ／Ｂ画像間で等しくなるように加算サンプリング情報を設定する（ステップＳ２０７）。これは、例えば、Ｒ画像の加算サンプリング情報を図５、Ｇ画像の加算サンプリング情報を図１４、Ｂ画像の加算サンプリング情報を図１５のように設定すればよい。
【０１４４】
また、色相関値が０．５未満（ステップＳ２０６でＮｏ）、かつ０．２５以上の場合（ステップＳ２０８でＹｅｓ）、加算サンプリング処理の７５％がＲ／Ｇ／Ｂ画像間で等しくなるように加算サンプリング情報を設定する（ステップＳ２０９）。これは、例えば、Ｒ画像の加算サンプリング情報を図５、Ｇ画像の加算サンプリング情報を図１６、Ｂ画像の加算サンプリング情報を図１７のように設定すればよい。また、色相関値が０．２５未満の場合（ステップＳ２０８でＮｏ）、加算サンプリング処理すべてがＲ／Ｇ／Ｂ画像間で等しくなるように加算サンプリング情報を設定する（ステップＳ２１０）。これは、例えば、Ｒ画像、Ｇ画像、Ｂ画像すべての加算サンプリング情報を図５のように設定すればよい。
【０１４５】
送信回路５４は、撮像装置２０が撮像した画像のデジタル信号と、撮像時に利用した加算サンプリング情報とを、復号化装置３０に送信する（ステップＳ１０８）。
【０１４６】
次に、復号化装置３０の処理を詳述する。
【０１４７】
復号化装置３０の処理の概要は、図８を参照しながら説明した通りである。以下では本実施の形態による処理の詳細を説明する。
【０１４８】
図２２は、本実施の形態による復号化装置３０の主要な処理の手順を示すフローチャートである。
【０１４９】
受信部１０８は、撮像装置２０の送信回路５４が送信した画像のデジタル信号と圧縮センシング情報、撮像時に利用した加算サンプリング情報とを受信する（ステップＳ１１２）。
【０１５０】
画像復元部１０９は、画像のデジタル信号と、撮像時に利用した加算サンプリング情報から、圧縮センシング技術を利用して、撮像画像を復元する（ステップＳ１１３）。
【０１５１】
画像復元処理は、例えば、非特許文献１に記載されたＣｏｌｌａｂｏｒａｔｉｖｅ  Ｓｐａｒｓｉｔｙを利用することで行う。この手法は、非特許文献６に記載されたＢｌｏｃｋ  Ｍａｔｃｈｉｎｇ  ３Ｄ  Ｆｉｌｔｅｒｉｎｇ  （ＢＭ３Ｄ）を利用した手法である。ＢＭ３Ｄは、以下の３つの処理を行うことで、雑音を抑制する手法である。
【０１５２】
１．  Ｇｒｏｕｐｉｎｇ  ｂｙ  ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ：画像を小ブロックへ分割し、類似したブロックをグループ化することで３次元データを作成。
２．  Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｆｉｌｔｅｒ：３次元データに対して３次元フィルタリングし、３次元係数を取得。さらに、ソフトスレッショルディングなどを行うことでノイズを除去。
３．  Ａｇｇｒｅｇａｔｉｏｎ：３次元係数に対し、３次元フィルタリング逆変換を行い、それぞれの画像ブロックを再構成した後、重みづけ平均処理により、画像を再合成。
【０１５３】
Ｇｒｏｕｐｉｎｇ  ｂｙ  ｂｌｏｃｋ−ｍａｔｃｈｉｎｇ処理において、類似したブロックとは、着目ブロックの画素値をＴ（ｉ，ｊ）、参照ブロックの画素値をＩ（ｉ，ｊ）とすると、以下の誤差自乗和ＳＳＤ（Ｔ，Ｉ）の値が小さいブロックである。なお、「ＳＳＤ」はＳｕｍ  ｏｆ  Ｓｑｕａｒｅｄ  Ｄｉｆｆｅｒｅｎｃｅｓの略記である。
【０１５４】
【数９】
2015216619.tif 000011
【０１５５】
Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｓｐａｒｓｉｔｙによる画像復元処理は、上記Ｃｏｌｌａｂｏｒａｔｉｖｅ  Ｆｉｌｔｅｒによる３次元係数がスパースになることを事前知識としている。そのため、着目ブロックに類似したブロックが十分に存在しない場合、この事前知識は成り立たなくなり、復元画質が劣化してしまう。これは、カメラが移動する動画像シーンやカメラの位置が異なる多視点映像などのライトフィールド画像における遮蔽エッジ近傍領域で生じやすい。
【０１５６】
このような場合における復元画質を向上させるために、本実施形態の撮像システム１０は、カラーチャネル間に存在する相関性を利用する。具体的には、類似ブロックをグループ化する際、着目ブロックのカラーチャネル以外のカラーチャネル画像も加えることで、類似ブロックの数を増やし、復元画質を向上させる。例えば、Ｇ画像の画像復元を行う際、Ｇ画像だけではなく、Ｒ画像やＢ画像も利用して類似したブロックをグループ化する。
【０１５７】
異なるカラーチャネルの画像が高い相関を持つ場合であっても、画素値そのものは異なる場合がほとんどである。これは、Ｒ／Ｇ／Ｂそれぞれのカラーフィルタは通過帯域に重なりを持つ反面、その波長特性は異なるためである。画素値の違いを許容してより多くの類似ブロックをグループ化するためには、画素値間の差ではなく相関情報のみを利用して処理する必要がある。そこで、本実施形態の撮像システム１０における画像復元部１０９は、類似ブロックの評価を、従来のブロック間のＳＳＤから、正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ  Ｃｒｏｓｓ−Ｃｏｒｒｅｌａｔｉｏｎ：ＮＣＣとも呼ばれる。）へ変更する。すなわち、相関値Ｒ（Ｔ，Ｉ）は、次式で表現される。
【０１５８】
【数１０】
2015216619.tif 000012
【０１５９】
これにより、Ｒ／Ｇ／Ｂの画素値の違いに影響されずに、より多くの類似ブロックをグループ化できるため、復元画像の画質を向上させることができる。
【０１６０】
さらに復元画質を向上させるために、本実施形態の撮像システム１０における設定部１０３は、Ｒ／Ｇ／Ｂ画像それぞれにおいて、異なる位置関係の画素をサンプリングする加算サンプリング情報を設定する。色相関特性を持つ画像に対し、（数１０）を利用して類似ブロックをグループした場合、位置が等しく、カラーチャネルのみが異なる領域が選択されやすくなる。このとき、Ｒ／Ｇ／Ｂ画像間で等しい位置関係の加算サンプリングをした場合、入力データの情報量は増えない。一方、Ｒ／Ｇ／Ｂ画像間で位置関係が異なる加算サンプリングをした場合、カラーチャネルごとに異なる加算サンプリングを行うことになり、入力データの情報量を増やすことができる。この内容について、説明する。
【０１６１】
説明を簡略化するために、Ｒ／Ｇ／Ｂ画像が完全に等しい画像を考える。加算サンプリング情報がＲ／Ｇ／Ｂ画像で異なっている、つまり、図５〜図７のサンプリングを行った場合、以下の関係式が成り立つ。
【０１６２】
【数１１】
2015216619.tif 000013
【０１６３】
このｙ1、ｙ2、ｙ3は以下のとおり表現される。
【０１６４】
【数１２】
2015216619.tif 000014
【０１６５】
ここで、ＸR＝ＸG＝ＸB＝Ｘであるから、（数１１）は以下のようになる。
【０１６６】
【数１３】
2015216619.tif 000015
【０１６７】
さらに、図５〜図７の加算サンプリングにおいて、第１〜第４のデジタル信号は、Ｒ／Ｇ／Ｂで等しいことを考慮すると、（数１３）は以下のようになる。
【０１６８】
【数１４】
2015216619.tif 000016
【０１６９】
よって、ｘにおける未知数１６に対し、１６の拘束条件を取得できる。
【０１７０】
一方、加算サンプリング情報がＲ／Ｇ／Ｂ画像で等しい、つまり、図５の加算サンプリングをＲ／Ｇ／Ｂ画像に行った場合、以下の関係式が成り立つ。
【０１７１】
【数１５】
2015216619.tif 000017
【０１７２】
ただし、このｙ’1、ｙ’2、ｙ’3は以下のとおり表現される。
【０１７３】
【数１６】
2015216619.tif 000018
【０１７４】
ここで、ＸR＝ＸG＝ＸB＝Ｘであるから、（数１５）は以下のようになる。
【０１７５】
【数１７】
2015216619.tif 000019
【０１７６】
加算サンプリング情報はＲ／Ｇ／Ｂで等しいことに着目すると、（数１７）は（数１８）に等しい。
【０１７７】
【数１８】
2015216619.tif 000020
【０１７８】
よって、ｘにおける未知数１６に対し、８の拘束条件しか取得できない。
【０１７９】
以上より、加算サンプリング情報をＲ／Ｇ／Ｂ画像間で異なるように設定することで、等しく設定した場合に比べ、多くの拘束条件を取得できることがわかった。未知数ｘは、拘束条件が多いほど、正確な解を推定することができるため、被写体に色相関が成り立つ場合、Ｒ／Ｇ／Ｂ画像で異なった加算サンプリング情報を設定することにより、復元画質を向上させることができる。
【０１８０】
次に、被写体に色相関が成り立たない場合について考える。デモザイキングの分野では、Ｒ／Ｇ／Ｂ画像で色相関が存在しない場合、復元画像に偽色といわれる色ズレが生じることが知られている。これは、Ｒ／Ｇ／Ｂ画像間でサンプリング位置が異なることが原因である。
【０１８１】
そこで、本実施形態の撮像システムは、色相関判定部１０６によって、被写体に色相関が成り立たないと判定された場合、色ズレによる見た目の画質劣化を抑えるために、Ｒ／Ｇ／Ｂ画像で等しい加算サンプリング情報を設定する。
【０１８２】
このように、本実施形態の撮像システムは、色相関判定部１０６によって、被写体に色相関が成り立つと判定された場合、Ｒ／Ｇ／Ｂ画像で異なる加算サンプリング情報を設定することで復元画質を向上させ、被写体に色相関が成り立たないと判定された場合、Ｒ／Ｇ／Ｂ画像で等しい加算サンプリング情報を設定することで色ズレによる見た目画質の劣化を抑える。これにより、被写体に最適な加算サンプリングを実現し、復元画像の画質を向上させることができる。
【０１８３】
出力部１１０は、画像復元部１０９が復元した画像を液晶ディスプレイやプロジェクタに出力する（ステップＳ１１４）。もちろん、出力部１１０は画像を表示するのではなく、無線または有線の通信回線（ネットワーク）を介して復元画像を外部へ送信するようにしてもかまわないし、SDカードやハードディスクのような記録メディアに、復元画像を保持するようにしてもかまわない。
【０１８４】
また、前述の加算サンプリング情報は、上述したように、アナログ加算処理される画素を「１」、アナログ加算されない画素を「０」として、画素番号順に符号化したデータとして表現すればよい。前述のとおり、図５（ａ）〜（ｈ）におけるＲ画像の加算サンプリング情報は以下のとおりとなる。
【０１８５】
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ００００    ００００  ００００  １１００  １１００    ００００  ００００  ００１１  ００１１    １０００  ０１００  ００１０  ０００１    ００１０  ０００１  １０００  ０１００    ０１００  １０００  ０００１  ００１０    ０００１  ００１０  ０１００  １０００”
【０１８６】
本明細書では、上述の数字列を「加算サンプリング情報符号化データ」または簡略化して「符号化データ」と呼ぶ。なお、加算サンプリング情報の形式はここで示したものに限られない。加算のためにサンプリングされた画素の位置が分かる形式であればよい。例えば、符号化データをランレングス符号化などの公知の符号化手法を利用して符号化したデータを加算サンプリング情報としてもかまわない。もちろん、符号化デ―タに関しては、撮像素子内のアナログデジタル変換器に負荷を与えることなくデータの授受を行うことができるため、撮像データの圧縮という観点からは考慮する必要がない。
【０１８７】
また、同様に、図６（ａ）〜（ｈ）におけるＧ画像の加算サンプリング情報は以下のとおりとなる。
【０１８８】
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ００００    ００００  ００００  １１００  １１００    ００００  ００００  ００１１
００１１    ０１００  ０００１  ００１０  １０００    ００１０  １０００  ０００１  ０１００    ０００１  ０１００  ００１０  １０００    １０００  ００１０  ０１００  ０００１”
【０１８９】
同様に、図７（ａ）〜（ｈ）におけるＢ画像の加算サンプリング情報は以下のとおりとなる。
【０１９０】
“１１００  １１００  ００００  ００００    ００１１  ００１１  ００００  ００００    ００００  ００００  １１００  １１００    ００００  ００００  ００１１  ００１１    １０００  ０００１  ０１００  ００１０    ００１０  ０１００  １０００  ０００１    ０１００  ００１０  ０００１  １０００    ０００１  １０００  ００１０  ０１００”
【０１９１】
図２３は、このような符号化データの表現方法の一例としての、加算サンプリング情報テーブルの例を示した模式図である。これらの図におけるテーブル番号１，２，３の各符号化データは、「Ｒ画像」「Ｇ画像」「Ｂ画像」の加算サンプリング処理にそれぞれ対応している。撮像装置２０と復号化装置３０は、このようなテーブルを事前に保持しておき、送信回路５４と受信部１０８の加算サンプリング情報の授受においては、このテーブル番号のみを利用するようにしてもかまわない。つまり、色相関判定部１０６が被写体は色相関性が成り立っていると判断した場合、設定部１０３は、Ｒ画像に対してはテーブル番号１を、Ｇ画像に対してはテーブル番号２を、Ｂ画像に対してはテーブル番号３を設定する。一方、色相関判定部１０６が被写体は色相関性が成り立っていないと判断した場合、設定部１０３は、Ｒ画像に対してはテーブル番号１を、Ｇ画像に対してもテーブル番号１を、Ｂ画像に対してもテーブル番号１を設定する。
【０１９２】
アナログ加算部１０４とアナログデジタル変換部１０５は、一つの画素を複数回、読み出し、さらに複数回の加算処理を行うことで、デジタル信号のダイナミックレンジを上げることができるため、ノイズを低減することも可能である。このような加算サンプリング処理については、例えば、非特許文献５に記載されている。
【０１９３】
上述した説明では、波長帯域として可視光を利用するとして説明したが、利用する波長帯域は可視光に限らず、紫外光、近赤外光、遠赤外光などを利用してもかまわない。例えば、近赤外光を利用する場合、第一の波長帯域として近赤外光画像、第二の波長帯域として赤画像、第三の波長帯域として緑画像を設定すればよい。従来、高解像度の近赤外光画像を取得することは困難であったが、本実施形態の撮像システムでは、低解像度の近赤外光画像と高解像度の赤・緑画像から色相関情報を利用することにより、高解像度の近赤外光画像を取得することが可能である。
【０１９４】
なお、情報取得装置４０が電荷信号を取得する利用する波長帯域は３つに限られない。４つ以上の波長帯域の光をそれぞれ受けて、電荷信号を生成してもよい。たとえばＲ／Ｇ／Ｂの各色画像の電荷信号に加え、近赤外光の波長帯域の電荷信号を取得してもよい。
【０１９５】
さらに情報取得装置４０は、露光時間の異なる複数の画像を取得してもよい。
【０１９６】
上述した実施の形態、たとえば図１０の撮像システム１０では、色相関判定部１０６は、加算サンプリング部６０からデジタル信号を受け取るとして説明した。デジタル信号に基づけば、色相関値はデジタル化される。しかしながらこれは一例に過ぎない。色相関判定部１０６は、被写体の色相関値が閾値以下か否かが判断できればよい。色相関判定部１０６は、デジタル信号ではなく、アナログ信号を受け取り、色相関値の判定を行ってもよい。その場合、色相関値はアナログ信号値として得ることができる。色相関値がデジタル化されていることは必須ではない。なお、アナログ信号に基づく色相関値の判定処理は、たとえば数５を利用して演算可能である。数５の利用に当たっては、数５のΣ（シグマ）は、アナログ信号値の積分演算に置き換えればよい。
【０１９７】
図２４は、撮像システム１０（図１）の変形例にかかる撮像システム１００の構成を示す。撮像システム１００と撮像システム１０（図１）との相違点は、撮像システム１００には、加算サンプリング部６０に代えて加算サンプリング部６１が設けられ、加算サンプリング部６１がアナログ信号を色相関判定部１０６に送信することである。
【０１９８】
また他の変形例として、符号化装置５０は、さらに撮像モード設定部を有し、加算サンプリング情報を自動で設定するのではなく、撮像者が設定するようにしてもかまわない。
【０１９９】
図２５は、撮像モード設定部１１１を設けた撮像システム１００の構成を示すブロック図である。撮像モード設定部１１１は、ユーザインターフェイスであり、例えば、ユーザが撮影モードを「色優先撮影」「圧縮率優先」から選択するようにすればよい。ユーザが「色優先撮影」を選択した場合は、ステップＳ１０７では「基準１．撮像画像の色相関を計算するため、Ｒ／Ｇ／Ｂ画像それぞれにおいて、同じ位置関係の画素をサンプリングする」サンプリング数を増やし、ユーザが「圧縮率優先」を選択した場合は、「基準２．復元画像の画質を向上するため、Ｒ／Ｇ／Ｂ画像それぞれにおいて、異なる位置関係の画素をサンプリングする」サンプリング数を増やすように加算サンプリング情報を設定する。このようにすることで、ユーザの意図を反映した最適な加算サンプリング情報を設定できることができる。
【０２００】
また、上述した説明では、撮像システム１００は、出力部１１０を通して復元した画像を出力する構成として説明したが、画像復元を行わず、撮像装置２０が撮像した画像のデジタル信号と、撮像時に利用した加算サンプリング情報を蓄積する蓄積部１１３を有する構成としてもかまわない。蓄積するデータをさらに圧縮するために、デジタル信号の一部を削除する際、色相関判定部１０６が判定した色相関情報を利用して、削除するデータを選択することで、画質を大幅に劣化させることなく、圧縮率を向上させることができる。この処理を説明する。
【０２０１】
図２６は、撮像システム１００の、変形例にかかる復号化装置３１の構成を示すブロック図である。また、図２７は、復号化装置３１の主要な処理の手順を示すフローチャートである。本実施形態における復号化装置３１は、受信部１０８と、色相関判定部１１２と、蓄積部１１３を備えている。
【０２０２】
受信部１０８は、送信回路５４が送信した画像のデジタル信号と、撮像時に利用した加算サンプリング情報とを受信する（ステップＳ１１２）。
【０２０３】
色相関判定部１１２は、撮影している画像の色相関を計算する（ステップＳ１１５）。これは、前述のステップＳ１０６と同様の処理を行えばよい。
【０２０４】
蓄積部１１３は、色相関判定部１０６の推定結果を用いて、撮像装置２０が撮像した画像のデジタル信号と、撮像時に利用した加算サンプリング情報を蓄積する（ステップＳ１１６）。図２８は、蓄積部１１３の主要な処理の手順を示すフローチャートである。蓄積部１１３は、色相関判定部１１２の判定結果を利用して、被写体に色相関性が成り立っているかどうかを確認する（ステップＳ２１１）。色相関判定部１１２は、前述の色相関判定部１０６と同様の処理を行うことで、被写体の色相関を計算する。色相関値が閾値以上の場合（ステップＳ２１１でＹｅｓ）、被写体は色相関性が成り立っていると判断し、Ｒ／Ｇ／Ｂ画像間で加算サンプリングが等しいデジタル信号を削除することで、データの圧縮率を向上させる（ステップＳ２１２）。これは、例えば、Ｒ画像の加算サンプリングを図５、Ｇ画像の加算サンプリングを図１６、Ｂ画像の加算サンプリングを図１７のように設定されている場合、図５（ｆ）、図１６（ｆ）、図１７（ｆ）に対応するデジタル信号を削除し、残りのＲＧＢそれぞれ７個のデジタル信号を蓄積すればよい。また、色相関値が閾値よりも小さい場合（ステップＳ２１１でＮｏ）、被写体は色相関性が成り立っていない可能性があると推定されるため、Ｒ／Ｇ／Ｂ画像間で加算サンプリングが異なるデジタル信号を削除することで、データの圧縮率を向上させる（ステップＳ２１３）。これは、例えば、Ｒ画像の加算サンプリングを図５、Ｇ画像の加算サンプリングを図１６、Ｂ画像の加算サンプリングを図１７のように設定されている場合、図５（ｇ）、図１６（ｇ）、図１７（ｇ）に対応するデジタル信号を削除し、残りのＲＧＢそれぞれ７個のデジタル信号を蓄積すればよい。蓄積したデータは、SDカードやハードディスクのような記録メディアに保持すればよい。
【０２０５】
このように、本実施形態の撮像システムは、色相関判定部１１２によって、被写体に色相関が成り立つと判定された場合、Ｒ／Ｇ／Ｂ画像で異なる加算サンプリング情報の割合が多くなるようにデジタル信号を蓄積することで画質の低下を抑え、被写体に色相関が成り立たないと判定された場合、Ｒ／Ｇ／Ｂ画像で異なる加算サンプリング情報の割合が低くなるようにデジタル信号を蓄積することで色ズレによる見た目画質の劣化を抑える。これにより、被写体に最適なデジタル信号のみを蓄積することができるため、圧縮率を上げながら復元画像の画質を向上させることができる。そのため、小容量で撮像画像を保持することが可能となり、監視カメラなどの分野で有効である。
【０２０６】
以上の説明では、加算サンプリング処理を４ｘ４の１６画素から８個のデジタル信号を生成する処理として説明したが、生成されるデジタル信号の数は８に限られない。２個以上の任意の数でかまわない。
【０２０７】
図２９〜図３１はそれぞれ、４ｘ４の１６画素から２個のデジタル信号を出力する際の、Ｒ画像、Ｇ画像およびＢ画像に関する加算サンプリング処理を説明するための模式図である。なお、図２９から図３１、および図３２〜図３７においても、記載が煩雑になることを避けるため、図５等に示すような、各読み出し画素群を囲む一点鎖線の枠は示していない。丸で囲まれた番号が付された各画素が、各読み出し画素群を構成する。それらを包括して、参照符号３０１および３０２、または参照符号３０３〜３０６をそれぞれ付している。
【０２０８】
図２９（ａ），（ｂ）はそれぞれ、Ｒ画像のｔ＝１における２個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。つまり、図２９（ａ），（ｂ）の各々において番号が付された各画素は、加算サンプリング処理に用いられる画素を表し、これらの画素の電荷信号を加算することでデジタル信号を生成している。この図には、読み出し画素群３０１、３０２も示されている。また、図３０（ａ），（ｂ）はそれぞれ、Ｒ画像ではなくＧ画像のｔ＝１における２個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。さらに、図３１（ａ），（ｂ）はそれぞれ、Ｂ画像のｔ＝１における２個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。図５（ａ）〜（ｄ）、図６（ａ）〜（ｄ）、および図７（ａ）〜（ｄ）同様、図２９（ａ）、図３０（ａ）、および図３１（ａ）の読み出し画素群３０１の位置はＲ／Ｇ／Ｂ画像間で同じである。一方、図５（ｅ）〜（ｈ）、図６（ｅ）〜（ｈ）、および図７（ｅ）〜（ｈ）同様、図２９（ｂ）、図３０（ｂ）、および図３１（ｂ）の読み出し画素群３０２の位置はＲ／Ｇ／Ｂ画像間で異なっている。前述のとおり、Ｒ／Ｇ／Ｂ画像では、全体として加算サンプリングパターンが一致しないようにサンプリングを行うことで復元画質を向上させる。
【０２０９】
また、図３２〜図３４はそれぞれ、４ｘ４の１６画素から４個のデジタル信号を出力する際の、Ｒ画像、Ｇ画像およびＢ画像に関する加算サンプリング処理を説明するための模式図である。
【０２１０】
図３２（ａ）〜（ｄ）はそれぞれ、Ｒ画像のｔ＝１における４個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。つまり、図３２（ａ）〜（ｄ）の各々において番号が付された各画素は、加算サンプリング処理に用いられる画素を表し、これらの画素の電荷信号を加算することでデジタル信号を生成している。図３２（ａ）〜（ｄ）には、読み出し画素群３０３〜３０６が示されている。また、図３３（ａ）〜（ｄ）はそれぞれ、Ｒ画像ではなくＧ画像のｔ＝１における２個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。さらに、図３４（ａ）〜（ｄ）はそれぞれ、Ｂ画像のｔ＝１における２個のデジタル信号の各々が、どの画素からの電荷信号を加算して得られるかを示す。図３２〜図３４は、図５（ｅ）〜（ｈ）、図６（ｅ）〜（ｈ）、および図７（ｅ）〜（ｈ）同様、読み出し画素群３０３〜３０６の位置はＲ／Ｇ／Ｂ画像間ですべて異なっている。つまり、Ｒ／Ｇ／Ｂ画像それぞれにおいて、同じ位置関係の画素をサンプリングするデジタル信号が存在しないが、図３２、図３３、図３４はいずれも、４個のデジタルデータを加算した場合、１６画素の画素値の総和の2倍になっている。そのため、色相関判定部１０６は、以下の関係を満たす場合、対象ブロックの色相関は高いと判断する。
【０２１１】
【数１９】
2015216619.tif 000021
【０２１２】
ただし、Ｒａｉは対象ブロックｉにおけるＲ画像の第ｉのデジタル信号、ＧａｉはＧ画像の第ｉのデジタル信号、ＢａｉはＢ画像の第ｉのデジタル信号であり、Ａは近傍ブロックである。数１９における、バーが付されたＲａ、Ｇａ、Ｂａはそれぞれ、下記数２０によって表される平均の信号である。
【０２１３】
【数２０】
2015216619.tif 000022
【０２１４】
また、Ｎｕｍ（Ａ）は近傍領域Ａに含まれるブロック数である。
【０２１５】
このように、加算サンプリング処理、すなわちアナログ加算処理１０４の出力するデジタル信号の数を変化させることで、ＡＤＣ１４に入力されるデータ数を変化させることができる。出力するデータ数を減少させることで、ＡＤＣ１４の負荷を減らすことができるが、画像復元部１０９によって復元される画質は劣化する。一方、出力するデータ数を増加させることで、ＡＤＣ１４の負荷は増えるが、画像復元部１０９によって復元される画質は向上する。
【０２１６】
以上の説明では、加算サンプリング処理、すなわちアナログ加算処理１０４を４ｘ４の１６画素のブロックごとに行うとして説明したが、処理を行うブロックサイズは１６画素に限ったものではない。これは、例えば３ｘ３の９画素、８ｘ８の６４画素などであってもかまわない。図３５〜図３７はそれぞれ、３ｘ３の９画素から４個のデジタル信号を出力する際の、Ｒ画像、Ｇ画像およびＢ画像に関する加算サンプリング処理を説明するための模式図である。この図において、加算サンプリング処理や色相関判定部１０６の処理は、図３２〜図３４と同様ため、説明は省略する。
【０２１７】
上述した実施の形態では、Ｎ画素×Ｎ画素（Ｎ＝３、４）の中から、異なる画素配置パターンを有する画素群がＭ個（Ｍ＝２、４、８）選択され、各画素群を特定する加算サンプリング情報が設定されることを説明した。しかしながら、実施の形態は本開示の一例に過ぎず、当業者であれば異なる態様で実施することが可能である。
【０２１８】
たとえば、加算サンプリング情報によって特定される複数の画素群は、Ｎ画素×Ｎ画素の中から選択される必要はなく、Ｐ×Ｑ（Ｐ、Ｑ：２以上の整数、Ｐ＝ＱまたはＰ≠Ｑ）個の画素の中から選択されればよい。Ｎ画素×Ｎ画素は、Ｐ＝Ｑの例である。撮像素子１１において受光領域を構成する画素群の、縦方向および横方向の画素数の公約数を、ＰおよびＱとしてそれぞれ設定すれば、効率的に圧縮センシングを実現できる。このとき、ＰおよびＱは等しいとは限らない。なお「受光領域を構成する画素群」という語の意味は、撮像素子１１に含まれる画素群であっても、受光領域を構成しない画素群が存在することを意味する。たとえば矩形状の撮像素子１１の周囲の画素群は、オプティカルブラック画素として受光領域を構成しない場合があり得る。
【０２１９】
また、Ｐ×Ｑ個の中から選択される画素群の数は、２以上かつＰ×Ｑ未満であればよい。Ｐ×Ｑ未満の数であれば圧縮センシングが行われているということができるからである。本実施の形態のように、選択される画素群が２、４、８個に限られることはない。
【０２２０】
上述の説明では、ＰおよびＱは２以上の整数であるとして説明した。しかしながら、他の例として、上述の複数の画素群は１×ＬまたはＬ×１（Ｌ：４以上の整数）の構成も採り得る。Ｌ個の画素群の中から選択される画素群の数は、２以上かつＬ未満であればよい。ＣＭＯＳイメージセンサはラインごとにデータを読み出すため、１ライン単位で読み出す上述の処理は、比較的効率がよいと言い得る。
【０２２１】
なお、本明細書における撮像装置は装置として実現されなくてもよい。例えば、コンピュータである汎用のプロセッサがコンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムを実行することにより、上述した撮像装置の動作を行ってもよい。そのようなコンピュータプログラムは、例えば図１１のフローチャートによって実現される処理をコンピュータに実行させるための命令群を含んでいる。コンピュータプログラムは、ＣＤ−ＲＯＭ等の記録媒体に記録されて製品として市場に流通され、または、インターネット等の電気通信回線を通じて伝送される。
【産業上の利用可能性】
【０２２２】
本開示にかかる撮像システムは、低消費電力化、高ＳＮ化、転送帯域の削減を実現できる圧縮センシングを利用したカラー情報を取得できる撮像装置において、画質を向上させるために有用である。
【符号の説明】
【０２２３】
１０  撮像システム
２０  撮像装置
３０  復号化装置
４０  情報取得装置（取得装置）
５０  符号化装置
６０  加算サンプリング部
１０１  光電変換部
１０２  電荷保持部
１０３  加算サンプリング情報設定部（設定部）
１０４  アナログ加算部
１０５  アナログデジタル変換部
１０６  色相関判定部
５４  送信回路
１０８  受信部
１０９  画像復元部
１１０  出力部
【図１】
2015216619.tif 000023
【図２】
2015216619.tif 000024
【図３】
2015216619.tif 000025
【図４】
2015216619.tif 000026
【図５】
2015216619.tif 000027
【図６】
2015216619.tif 000028
【図７】
2015216619.tif 000029
【図８】
2015216619.tif 000030
【図９】
2015216619.tif 000031
【図１０】
2015216619.tif 000032
【図１１】
2015216619.tif 000033
【図１２】
2015216619.tif 000034
【図１３】
2015216619.tif 000035
【図１４】
2015216619.tif 000036
【図１５】
2015216619.tif 000037
【図１６】
2015216619.tif 000038
【図１７】
2015216619.tif 000039
【図１８】
2015216619.tif 000040
【図１９】
2015216619.tif 000041
【図２０】
2015216619.tif 000042
【図２１】
2015216619.tif 000043
【図２２】
2015216619.tif 000044
【図２３】
2015216619.tif 000045
【図２４】
2015216619.tif 000046
【図２５】
2015216619.tif 000047
【図２６】
2015216619.tif 000048
【図２７】
2015216619.tif 000049
【図２８】
2015216619.tif 000050
【図２９】
2015216619.tif 000051
【図３０】
2015216619.tif 000052
【図３１】
2015216619.tif 000053
【図３２】
2015216619.tif 000054
【図３３】
2015216619.tif 000055
【図３４】
2015216619.tif 000056
【図３５】
2015216619.tif 000057
【図３６】
2015216619.tif 000058
【図３７】
2015216619.tif 000059