(57)【特許請求の範囲】
【請求項１】
光信号を結像する結像光学系と、
複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと
を備え、
前記複数の波長域は、第１波長域、第２波長域および第３波長域を含み、
前記カラーフィルタの第１位置において、前記第１波長域の透過率は９８〜１００％であり、前記第２波長域および前記第３波長域の各透過率は９８％未満であり、
前記カラーフィルタの、前記第１位置とは異なる第２位置において、前記第２波長域の透過率は９８〜１００％であり、前記第１波長域および前記第３波長域の各透過率は９８％未満であり、
前記カラーフィルタの、前記第１位置および前記第２位置とは異なる第３位置において、前記第３波長域の透過率は９８〜１００％であり、前記第１波長域および前記第２波長域の各透過率は９８％未満である、撮像装置。
【請求項２】
前記カラーフィルタにおける前記複数の波長域の各々に関し、各位置に関する透過率の相関係数は１未満である、
請求項１に記載の撮像装置。
【請求項３】
前記カラーフィルタにおける前記複数の波長域の各々に関し、ｎ個の各位置の透過率と、他のｎ個の各位置の透過率との間には相関はない、
請求項１に記載の撮像装置。
【請求項４】
前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、一様乱数に従う、
請求項１に記載の撮像装置。
【請求項５】
前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、ガウス乱数に従う、
請求項１に記載の撮像装置。
【請求項６】
前記カラーフィルタは、前記複数の画素に対応する位置毎に、前記複数の波長域に対して異なる光透過率を有する空間光変調器を有する、
請求項１に記載の撮像装置。
【請求項７】
前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、
前記カットフィルムは、前記複数の画素に対応する位置毎に、異なる厚さを有する、
請求項１に記載の撮像装置。
【請求項８】
前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、
前記カットフィルムは、前記複数の画素のうち一部の画素に対応する位置のみに配置されている、
請求項１に記載の撮像装置。
【請求項９】
前記カットフィルムは、前記複数の波長域のうち少なくとも一部の波長域において、光透過率が１である、
請求項７または８に記載の撮像装置。
【請求項１０】
前記カラーフィルタの透過率の情報を送信する送信回路をさらに備える、
請求項１に記載の撮像装置。
【請求項１１】
撮像装置と画像生成装置とを備える撮像システムであって、
前記撮像装置は、
光信号を結像する結像光学系と、
複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、
前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路と
を備え、
前記画像生成装置は、
前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、
前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する、
画像生成回路とを
備え、
前記複数の波長域は、第１波長域、第２波長域および第３波長域を含み、
前記カラーフィルタの第１位置において、前記第１波長域の透過率は９８〜１００％であり、前記第２波長域および前記第３波長域の各透過率は９８％未満であり、
前記カラーフィルタの、前記第１位置とは異なる第２位置において、前記第２波長域の透過率は９８〜１００％であり、前記第１波長域および前記第３波長域の各透過率は９８％未満であり、
前記カラーフィルタの、前記第１位置および前記第２位置とは異なる第３位置において、前記第３波長域の透過率は９８〜１００％であり、前記第１波長域および前記第２波長域の各透過率は９８％未満である、撮像システム。
【請求項１２】
撮像装置を備える撮像システムにおいて用いられる画像生成装置であって、
前記撮像装置は、
光信号を結像する結像光学系と、
複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、
前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路と
を備え、
前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、
前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する、
画像生成回路とを
備え、
前記複数の波長域は、第１波長域、第２波長域および第３波長域を含み、
前記カラーフィルタの第１位置において、前記第１波長域の透過率は９８〜１００％であり、前記第２波長域および前記第３波長域の各透過率は９８％未満であり、
前記カラーフィルタの、前記第１位置とは異なる第２位置において、前記第２波長域の透過率は９８〜１００％であり、前記第１波長域および前記第３波長域の各透過率は９８％未満であり、
前記カラーフィルタの、前記第１位置および前記第２位置とは異なる第３位置において、前記第３波長域の透過率は９８〜１００％であり、前記第１波長域および前記第２波長域の各透過率は９８％未満である、画像生成装置。
【請求項１３】
前記画像生成回路は、透過率の情報と前記電気信号とを用いて、圧縮センシング技術を用いて前記画像を生成する、請求項１２に記載の画像生成装置。
【請求項１４】
前記電気信号に対応する変調画像をｙと表し、前記複数の波長域毎の前記画像をｘと表し、予め求められているサンプリング行列をＡと表したとき、ｙ＝Ａｘが成立し、
前記画像生成回路は、
変調画像ｙと復元した信号Axの二乗和誤差｜Ａｘ−ｙ｜2を含む項と、
最小値を演算するための前記画像ｘの画素値の拘束項と、
前記画像の輝度成分と色差成分の勾配を分離したトータル・バリエーション項と
を含む評価式を最小化するｘを、前記画像として生成する、請求項１３に記載の画像生成装置。
【請求項１５】
前記画像生成回路は、前記電気信号に対応する変調画像が飽和していた場合、処理を切り替える、
請求項１２に記載の画像生成装置。
【請求項１６】
前記画像生成回路は、評価関数を最小化する画像ｘを生成するものであり、
前記評価関数は、前記変調画像が飽和している画素において、画像ｘにサンプリング行列を乗算した値が飽和値を超えている場合は０、そうでない場合は∞を与える拘束を含む、
請求項１５に記載の画像生成装置。
【請求項１７】
複数の波長域の光をフィルタリングするカラーフィルタであって、
前記複数の波長域の光が透過する任意の位置において、各波長域の透過率の組み合わせが異なり、
前記複数の波長域は、第１波長域、第２波長域および第３波長域を含み、
第１位置において、前記第１波長域の透過率は９８〜１００％であり、前記第２波長域および前記第３波長域の各透過率は９８％未満であり、
前記第１位置とは異なる第２位置において、前記第２波長域の透過率は９８〜１００％であり、前記第１波長域および前記第３波長域の各透過率は９８％未満であり、
前記第１位置および前記第２位置とは異なる第３位置において、前記第３波長域の透過率は９８〜１００％であり、前記第１波長域および前記第２波長域の各透過率は９８％未満である、カラーフィルタ。
【請求項１８】
前記第１波長域、第２波長域および第３波長域の各々について、
位置毎の透過率の分布は一様乱数およびガウス乱数のいずれかに従う、請求項１７に記載のカラーフィルタ。
【請求項１９】
光信号を結像する結像光学系と、
複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと
を備え、
前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、
前記カットフィルムは、前記複数の画素のうち一部の画素に対応する位置のみに配置されている、撮像装置。
【請求項２０】
前記カットフィルムは、前記複数の波長域のうち少なくとも一部の波長域において、光透過率が１である、
請求項１９に記載の撮像装置。
【請求項２１】
撮像装置を備える撮像システムにおいて用いられる画像生成装置であって、
前記撮像装置は、
光信号を結像する結像光学系と、
複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、
前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、
前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路と
を備え、
前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、
前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する、
画像生成回路とを
備え、
前記画像生成回路は、前記電気信号に対応する変調画像が飽和していた場合、処理を切り替え、
前記画像生成回路は、評価関数を最小化する画像ｘを生成するものであり、
前記評価関数は、前記変調画像が飽和している画素において、画像ｘにサンプリング行列を乗算した値が飽和値を超えている場合は０、そうでない場合は∞を与える拘束を含む、画像生成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、圧縮センシング技術を用いたカラー撮像装置に関する。
【背景技術】
【０００２】
カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３つの異なる波長情報を取得する必要がある。多くのカラー撮像装置では、小型化・低コスト化のためにイメージセンサは一つしか搭載されていないため、一つのイメージセンサでＲ／Ｇ／Ｂ３つの波長情報を取得する必要がある。
【０００３】
従来から、Ｒ／Ｇ／Ｂ３つの波長情報を異なる位置の画素で取得し、デモザイキングと呼ばれる処理を行うことですべての画素のＲ／Ｇ／Ｂ３つの波長情報を取得する手法が知られている。
【０００４】
図１５は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧ画素を全体の画素の１／２、ＲとＢ画素をそれぞれ１／４ずつ取得し、デモザイキング処理によって、すべての画素のＲ／Ｇ／Ｂ３つの波長情報を取得する。
【０００５】
一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングをする技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】Ｕ．Ｓ．  Ｐａｔｅｎｔ  Ｎｏ．  ５６２９７３４
【特許文献２】特表２０１３−５１１９２４
【非特許文献】
【０００７】
【非特許文献１】Ｒｕｄｉｎ  Ｌ．  Ｉ．，  Ｏｓｈｅｒ  Ｓ．  Ｊ．，  ａｎｄ  Ｆａｔｅｍｉ  Ｅ．：  Ｎｏｎｌｉｎｅａｒ  ｔｏｔａｌ  ｖａｒｉａｔｉｏｎ  ｂａｓｅｄ  ｎｏｉｓｅ  ｒｅｍｏｖａｌ  ａｌｇｏｒｉｔｈｍｓ．  Ｐｈｙｓｉｃａ  Ｄ，  ｖｏｌ．  ６０，  ｐｐ．  ２５９−２６８，  １９９２
【非特許文献２】Ｓｈｕｎｓｕｋｅ  Ｏｎｏ，  Ｉｓａｏ  Ｙａｍａｄａ，  “Ｄｅｃｏｒｒｅｌａｔｅｄ  Ｖｅｃｔｏｒｉａｌ  Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ”，  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２０１４
【非特許文献３】Ｊ．  Ｍａ，  “Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ  ＆  Ｍｅａｓｕｒｅｍｅｎｔ，  ｖｏｌ．  ６０，  ｎｏ．  １，  ｐｐ．  １２６−１３６，  ２０１１
【非特許文献４】Ｍ．  Ａｈａｒｏｎ，  Ｍ．  Ｅｌａｄ，  ａｎｄ  Ａ．  Ｍ．  Ｂｒｕｃｋｓｔｅｉｎ，  “Ｋ−ＳＶＤ：  Ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｄｅｓｉｇｎｉｎｇ  Ｏｖｅｒｃｏｍｐｌｅｔｅ  Ｄｉｃｔｉｏｎａｒｉｅｓ  ｆｏｒ  Ｓｐａｒｓｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ｖｏｌ．  ５４，  ｎｏ．  １１，  ｐｐ．  ４３１１−４３２２，  ２００６
【非特許文献５】Ｄ．Ｋｉｋｕ，  Ｙ．Ｍｏｎｎｏ，  Ｍ．Ｔａｎａｋａ  ａｎｄ  Ｍ．Ｏｋｕｔｏｍｉ，  “Ｍｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ  ｒｅｓｉｄｕａｌ  ｉｎｔｅｒｐｏｌａｔｉｏｎ  ｆｏｒ  ｃｏｌｏｒ  ｉｍａｇｅ  ｄｅｍｏｓａｉｃｋｉｎｇ”，  ＩＳ＆Ｔ／ＳＰＩＥ  Ｅｌｅｃｔｒｏｎｉｃ  Ｉｍａｇｉｎｇ  （ＥＩ），  ２０１４．
【非特許文献６】Ｍａｎｙａ Ｖ．Ａｆｏｎｓｏ，Ｊｏｓe  Ｍ．Ｂｉｏｕｃａｓ−Ｄｉａｓ，ａｎｄ  Ｍaｒｉｏ  Ａ．Ｔ．  Ｆｉｇｕｅｉｒｅｄｏ，“Ｆａｓｔ  ＩｍａｇｅＲｅｃｏｖｅｒｙ  Ｕｓｉｎｇ  Ｖａｒｉａｂｌｅ  Ｓｐｌｉｔｔｉｎｇ  ａｎｄＣｏｎｓｔｒａｉｎｅｄ  Ｏｐｔｉｍｉｚａｔｉｏｎ”，ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｒｒｏｃｅｓｓｉｎｇ，  ＶＯＬ．１９，  ＮＯ．９，ｐｐ．２３４５−２３５６，２０１０．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の手法は、イメージセンサの各画素において、Ｒ／Ｇ／Ｂのいずれかの波長情報しか取得できないため、デモザイキング後のカラー画像の解像度が低下し、偽色とよばれるアーチファクトが発生し得る。
【０００９】
本開示の非限定的ではない例示的な一形態は、一つのイメージセンサを利用してカラー画像を取得することにより、解像度の低下やアーチファクトの発生を抑制することが可能な撮像装置である。
【課題を解決するための手段】
【００１０】
本開示の一態様に係る撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタとを備える。
【００１１】
上述の一般的かつ特定の態様は、システム、方法およびコンピュータプログラムを用いて実装され、またはシステム、方法およびコンピュータプログラムの組み合わせを用いて実現され得る。
【発明の効果】
【００１２】
本開示によれば、Ｒ画像、Ｇ画像、Ｂ画像を画素内で加算しながら取得し、圧縮センシング技術で画像復元することにより、一つのイメージセンサしか利用せずに、３板イメージセンサ並みの解像度でカラー画像を取得することができる。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１３】
【図１】図１は、本開示の一実施形態にかかる撮像システム１０の構成を示す模式図である。
【図２】図２は、空間及び波長変調部１０１および変調画像取得部１０２の構成の詳細を示す図である。
【図３】図３は、カラーフィルタ２０２を含む撮像システム１０を模式的に示す。
【図４】図４は、フィルタ１〜３の各波長特性の一部である透過率を示す図である。
【図５】図５は、各フィルタの各画素における厚さを一様分布に従って設定した例を示す図である。
【図６】図６は、各フィルタの各画素における厚さを正規分布に従って設定した例を示す図である。
【図７】図７は、空間光変調器２０４を利用して画素ごとの透過率を変化させる撮像システム１０の変形例を示す図である。
【図８】図８は、フィルタの厚さによって透過率が変化する複数のフィルタと空間光変調器２０４とを組み合わせて画素ごとの透過率を変化させる撮像システム１０のさらなる変形例を示す図である。
【図９】図９は、画像生成装置１２の主要な処理の手順を示すフローチャートである。
【図１０】図１０は、画素数Ｎ＝１６の変調画像と生成画像を示した模式図である。
【図１１】図１１はＲ画像を示す図である。
【図１２】図１２はＧ画像を示す図である。
【図１３】図１３はＢ画像を示す図である。
【図１４】図１４は、全ての色を含むカラー画像の一例を示す図である。
【図１５】図１５は、ベイヤー配列を示した模式図である。
【図１６】図１６は、本実施形態におけるカラー画像生成回路１０５が生成したカラー画像におけるＧ画像の一例である。
【図１７】図１７は、図１６の（ａ）〜（ｃ）の画像の一部の領域を拡大した画像の一例である。
【発明を実施するための形態】
【００１４】
本開示の一態様に係る撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタとを備える。
【００１５】
前記複数の波長域は、３つの波長域であってもよい。
【００１６】
前記カラーフィルタにおける前記複数の画素に対応する各位置において、前記複数の波長域毎に、異なる光透過率を有してもよい。
【００１７】
前記カラーフィルタにおける前記複数の波長域の各々に関し、各位置に関する透過率の相関係数は１未満であってもよい。
【００１８】
前記カラーフィルタにおける前記複数の波長域の各々に関し、ｎ個の各位置の透過率と、他のｎ個の各位置の透過率との間には相関はなくてもよい。
【００１９】
前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、一様乱数に従ってもよい。
【００２０】
前記カラーフィルタにおける前記複数の画素に対応する位置毎の透過率の分布は、ガウス乱数に従ってもよい。
【００２１】
前記カラーフィルタは、前記複数の画素に対応する位置毎に、前記複数の波長域に対して異なる光透過率を有する空間光変調器を有してもよい。
【００２２】
前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、前記カットフィルムは、前記複数の画素に対応する位置毎に、異なる厚さを有してもよい。
【００２３】
前記カラーフィルタは、前記複数の波長域毎にカットフィルムを有し、前記カットフィルムは、前記複数の画素のうち一部の画素に対応する位置のみに配置されていてもよい。
【００２４】
前記カットフィルムは、前記複数の波長域のうち少なくとも一部の波長域において、光透過率が１であってもよい。
【００２５】
前記カラーフィルタの透過率の情報を送信する送信回路をさらに備えてもよい。
【００２６】
本開示の他の一態様に係る撮像システムは、撮像装置と画像生成装置とを備える撮像システムであって、前記撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路とを備え、前記画像生成装置は、前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する画像生成回路とを備える。
【００２７】
本開示の他の一態様に係る画像生成装置は、撮像装置を備える撮像システムにおいて用いられる画像生成装置であって、前記撮像装置は、光信号を結像する結像光学系と、複数の画素を有し、前記複数の画素で前記結像された光信号を受け付け、電気信号に変換する撮像素子と、前記結像光学系及び前記撮像素子の間に配置され、前記複数の画素に対応する位置毎に、複数の波長域に対して異なる光透過率を有するカラーフィルタと、前記カラーフィルタの透過率の情報と、前記電気信号とを送信する送信回路とを備え、前記カラーフィルタの透過率の情報と、前記電気信号とを受信する受信回路と、前記透過率の情報と前記電気信号とを用いて、前記複数の波長域毎に、画像を生成する画像生成回路とを備える。
【００２８】
前記画像生成回路は、透過率の情報と前記電気信号とを用いて、圧縮センシング技術を用いて前記画像を生成してもよい。
【００２９】
前記電気信号に対応する変調画像をｙと表し、前記複数の波長域毎の前記画像をｘと表し、予め求められているサンプリング行列をＡと表したとき、ｙ＝Ａｘが成立し、前記画像生成回路は、変調画像ｙと復元した信号Ａｘの二乗和誤差｜Ａｘ−ｙ｜2を含む項と、  最小値を演算するための前記画像ｘの画素値の拘束項と、前記画像の輝度成分と色差成分の勾配を分離したトータル・バリエーション項とを含む評価式を最小化するｘを、前記画像として生成してもよい。
【００３０】
本開示の他の一態様に係るカラーフィルタは、複数の波長域の光をフィルタリングするカラーフィルタであって、前記複数の波長域の光が透過する任意の位置において、各波長域の透過率の組み合わせが異なる。
【００３１】
前記複数の波長域は、第１波長域、第２波長域および第３波長域を含み、第１位置において、前記第１波長域の透過率は９８〜１００％であり、前記第２波長域および前記第３波長域の各透過率は９８％未満であり、前記第１位置とは異なる第２位置において、前記第２波長域の透過率は９８〜１００％であり、前記第１波長域および前記第３波長域の各透過率は９８％未満であり、前記第１位置および前記第２位置とは異なる第３位置において、前記第３波長域の透過率は９８〜１００％であり、前記第１波長域および前記第２波長域の各透過率は９８％未満であってもよい。
【００３２】
前記第１波長域、第２波長域および第３波長域の各々について、位置毎の透過率の分布は一様乱数およびガウス乱数のいずれかに従ってもよい。
【００３３】
前記画像生成回路は、前記電気信号に対応する変調画像が飽和していた場合、処理を切り替えてもよい。
【００３４】
前記画像生成回路は、評価関数を最小化する画像ｘを生成するものであり、前記評価関数は、前記変調画像が飽和している画素において、画像ｘにサンプリング行列を乗算した値が飽和値を超えている場合は０、そうでない場合は∞を与える拘束を含んでもよい。
【００３５】
以下、添付の図面を参照しながら、撮像装置および画像生成装置を有する、本開示による撮像システムの実施形態を説明する。
【００３６】
（実施の形態１）
図１は、本開示の一実施形態にかかる撮像システム１０の構成を示す模式図である。本実施形態の撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。
【００３７】
撮像装置１１は、空間及び波長変調部１０１と、変調画像取得部１０２と、送信回路１０３とを有している。一方、画像生成装置１２は、受信回路１０４と、カラー画像生成回路１０５と、出力インタフェース装置１０６とを有している。
【００３８】
まず、図２を参照しながら撮像装置１１を説明する。
【００３９】
図２は、空間及び波長変調部１０１および変調画像取得部１０２の構成の詳細を示す。
【００４０】
図２に示されるように、空間及び波長変調部１０１は結像光学系２０１およびカラーフィルタ２０２に対応する。また変調画像取得部１０２は撮像素子２０３に対応する。
【００４１】
（結像光学系２０１）
結像光学系２０１は、少なくとも、１枚または複数枚のレンズと、レンズ位置調整機構とを有する（いずれ図示せず）。１枚または複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は「被写体の像」とも表記しうる。レンズ位置調整機構は、たとえば、レンズによる結像位置を調整するためのアクチュエータおよびアクチュエータの駆動量を制御する制御回路（コントローラ）である。なお、１枚または複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。
【００４２】
（撮像素子２０３）
撮像素子２０３は、複数の画素を有し、複数の各画素により結像光学系２０１が結像した光信号を受け付け、電気信号に変換する。電気信号は画素毎の変調画像を有する。撮像素子２０３は、レンズの焦点距離に配置される。
【００４３】
（カラーフィルタ２０２）
カラーフィルタ２０２は、結像光学系２０１から入射した光が撮像素子２０３に至るまでの光路上に配置される。典型的には、カラーフィルタ２０２は、撮像素子２０３の前面に接して配置される。撮像素子２０３の「前面」とは、撮像素子２０３の上面、または撮像素子２０３の受光面としても規定されうる。
【００４４】
カラーフィルタ２０２は、撮像素子２０３に入射する複数の波長域の光をフィルタリングするために用いられる。カラーフィルタ２０２は、複数の波長域の光が透過する任意の位置において、異なる光透過率を有している。ここで言う「位置」は、一定の面積を有する微小領域の位置を意味している。各微小領域の面積は、たとえば撮像素子２０３の各画素の受光面積と等しい。光透過率は透過する波長域によっても異なっている。本明細書では、カラーフィルタ２０２の「位置」は、上述の通り、撮像素子２０３の画素に対応付けられた領域の位置であるとする。例えば、撮像素子２０３の複数の画素は、第１の画素および第２の画素を含む。複数の波長域は、第１の波長域、第２の波長域、および第３の波長域を含む。第１の波長域、第２の波長域、および第３の波長域のそれぞれに対して、第１の画素に対応するカラーフィルタ２０２の一部は、第２の画素に対応するカラーフィルタ２０２の一部と異なる光透過率を有する。
【００４５】
カラーフィルタ２０２の更なる詳細は後に説明する。
【００４６】
（送信回路１０３）
送信回路１０３は、撮像素子２０３が撮像した変調画像と、カラーフィルタ２０２で設定されたフィルタ情報である変調情報とを、画像生成装置１２に送信する。送信は有線および無線のいずれでもよい。
【００４７】
なお、本実施の形態では、送信回路１０３および受信回路１０４を設け、概ねリアルタイムで変調画像および変調情報が送受信されて処理が行われていることを想定している。しかしながら、変調画像および変調情報を保存する記憶装置（たとえばハードディスクドライブ）を設け、非リアルタイムで処理を行っていてもよい。
【００４８】
再び図１を参照し、画像生成装置１２の受信回路１０４、カラー画像生成回路１０５および出力インタフェース装置１０６をそれぞれ説明する。
【００４９】
（受信回路１０４）
受信回路１０４は、撮像装置１１から出力された変調画像と変調情報とを受け取る。受信回路１０４と送信回路１０３との間の通信は、有線でも無線でも構わない。なお、送信回路１０３が変調画像および変調情報を有線で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０４がこれらの情報を無線で受信してもよい。その逆も同様である。
【００５０】
（カラー画像生成回路１０５）
カラー画像生成回路１０５は、変調画像および変調情報を利用してカラー画像を生成する。カラー画像を生成処理の詳細は後述する。カラー画像生成回路１０５は、生成されたカラー画像を出力インタフェース装置１０６に送る。
【００５１】
（出力インタフェース装置１０６）
出力インタフェース装置１０６は、映像出力端子である。出力インタフェース装置１０６は、カラー画像を、デジタル信号としてまたはアナログ信号として画像生成装置１２の外部に出力する。
【００５２】
次に、図３〜６を参照しながらカラーフィルタ２０２をより詳細に説明する。
【００５３】
図３は、カラーフィルタ２０２を含む撮像システム１０を模式的に示す。以下、カラーフィルタ２０２に注目する。
【００５４】
上述したように、カラーフィルタ２０２は、位置ごとに、かつ波長域に応じて異なる光透過率を有している。つまり、複数の波長域の光が透過する任意の位置において 、各波長域の透過率の組み合わせが異なっている。このような光学特性を実現するために、本実施の形態のカラーフィルタ２０２は、光の透過波長帯域を規定する複数種類のフィルタ１〜３を有し、かつ各フィルタの厚さを位置毎に変えている。「厚さ」は、透過光の光軸に平行な方向に沿う、フィルタのカットフィルム（後述）の長さに対応する。
【００５５】
なお、図３では３つのフィルタ（フィルタ１、フィルタ２、フィルタ３）を組み合わせて記載しているが、これは一例である。組み合わせるフィルタの数は３に限られない。
【００５６】
フィルタ１はカットフィルム２０２ａを有し、フィルタ２はカットフィルム２０２ｂを有し、フィルタ３はカットフィルム２０２ｃを有している。カットフィルム２０２ａ〜２０２ｃの各々は、１層あたり所定の吸収率を有するフィルムを０枚から複数枚積層して構成されている。
【００５７】
図４は、フィルタ１〜３の各波長特性の一部である透過率を示す。
【００５８】
波長特性は、入射した光の各波長がどの程度、反射、透過、吸収するかを示す。反射光、透過光、および吸収光の総和は入射光に等しくなる。透過光と入射光との比率は「透過率」と呼ばれ、吸収光と入射光との比率は「吸収率」とよばれる。吸収率は、入射光の光量から反射光の光量と透過光の光量を減算し、さらに入射光の光量で除算しても求められる。図４はこれらのうちの透過率と波長との関係を示している。
【００５９】
後述するように、カラーフィルタ２０２を構成する３つのフィルタの波長特性はいずれも、いずれかの波長において、厚さが変化しても透過率が変わらない、つまり吸収率が０％であるとしている。
【００６０】
例えば、フィルタ１においては波長４５０ｎｍ前後で、フィルタ２においては波長５８０ｎｍ前後で、フィルタ３においては波長６４０ｎｍ前後で吸収率は０％になる。図４では、フィルタ１の透過率は波長４５０ｎｍ前後で、フィルタ２の透過率は波長５８０ｎｍ前後で、フィルタ３の透過率は波長６４０ｎｍ前後で透過率が非常に大きくなっており、それぞれ１００％である。
【００６１】
本明細書において、吸収率が「０％」であることは理想的であり、０％以外を排除するものではない。吸収率が数％程度であっても本実施の形態のカットフィルム２０２ａ〜２０２ｃとして機能し得る。たとえば現実に吸収率が０〜２％の範囲内であれば、吸収率は０％であるとして取り扱うことができる。同様に、透過率が「１００％」であることは理想的である。９８％以上１００％以下の範囲内であれば、透過率は１００％であるとして取り扱うことができる。
【００６２】
なお、図３に示すように、フィルタ１〜３は順に積層して構成されている。たとえばフィルタ３を例に説明すると、フィルタ２を積層する際の支持のため、カットフィルム２０２ｃが存在しない箇所に、透過波長の透過率または吸収率に実質的に影響を与えない光学部材を充填してもよい。他のフィルタ１および２についても同様である。よって各カットフィルムの２０２ａ〜２０２ｃの光学特性が、フィルタ１〜３の各々の光学特性を決定する。
【００６３】
ここで、波長λに関する、フィルタ１のカットフィルム２０２ａの透過率をＣ１（λ）、フィルタ２のカットフィルム２０２ｂの透過率をＣ２（λ）、フィルタ３のカットフィルム２０２ｃの透過率をＣ３（λ）とする。また、位置（ｕ，ｖ）のカットフィルム２０２ａの厚さをＴ１（ｕ，ｖ）、カットフィルム２０２ｂの厚さをＴ２（ｕ，ｖ）、カットフィルム２０２ｃの厚さをＴ３（ｕ，ｖ）とすると、位置（ｕ，ｖ）における波長特性は、次式で表現される。なお、記載の簡潔化のため、カットフィルムの厚さを、便宜的に「フィルタの厚さ」と記述する。
【数１】
0006653460.tif 000002
【００６４】
ただし、Φ（Ｃ（λ），Ｔ（ｕ，ｖ））はフィルタの波長特性Ｃ（λ）およびフィルタの厚さＴ（ｕ，ｖ）から決まる、波長λの光の透過率を示す関数である。また、Φ（Ｃ（λ），Ｔ（ｕ，ｖ））は、Ｃ（λ）に含まれる吸収率が０、または、Ｔ（ｕ，ｖ）が０のときに固定値をとる関数である。通常、フィルタの厚さが増えると、透過率は低下するが、フィルタの吸収率が０の場合はフィルタの厚さにかかわらず透過率が固定値となる。また、フィルタを配置しない（Ｔ（ｕ，ｖ）＝０）の場合も透過率が固定値になる。このように、フィルタの厚さを位置ごとに変更することで、撮像素子２０３の画素ごとに、波長帯域の透過率が異なるカラーフィルタを得ることができる。このとき、カラーフィルタ２０２の各カットフィルム上では、ｎ個の位置の透過率の集合ｘi（ｉ：１〜ｎの整数）と、他のｎ個の位置の透過率の集合ｙi（ｉ：１〜ｎの整数）の相関係数は０〜０．２程度である。つまり、両集合の間には相関はないと言える。
【００６５】
なお、相関係数は、集合ｘiおよび集合ｙiの共分散を、それぞれの標準偏差で除算することによって求められる。具体的には、相関係数ρは下記の式により求められる。
【数２】
0006653460.tif 000003
【００６６】
カラーフィルタ２０２とベイヤー配列のフィルタ（図１５）とを比較することにより、両者の差異を明らかにする。いま、一例として、ベイヤー配列の赤色の波長を透過する画素（Ｒ画素）に注目する。ベイヤー配列では、全てのＲ画素の波長特性は等しい。よって、Ｒ画素に関する透過率の相関係数を求めると常に１である。
【００６７】
次に、カラーフィルタ２０２の、主として赤色の波長を透過するフィルタ３に注目する。フィルタ３のカットフィルム上では、上述の通り位置に応じてカットフィルムの厚さが異なっており、波長特性が異なる。ある位置の近傍であっても位置が異なれば波長特性が異なる。そのため、フィルタ３に関する位置ごとの透過率の相関係数を求めると常に１未満である。この点において、カラーフィルタ２０２の各カットフィルムと、ベイヤー配列のフィルタとは大きく異なっている。
【００６８】
なお、ベイヤー配列のフィルタの全ての色の画素を含むよう、一定の範囲を設定してその中に入る画素群の透過率の相関係数を求めると１未満になる。しかしながら、そのときの相関係数は一定である。一方、全てのカットフィルムを含むカラーフィルタ２０２に同様の範囲を設定し、その中に入るカラーフィルタ２０２上の位置における透過率の相関係数を求めると、その値は一定ではない。
【００６９】
ここで、各フィルタの厚さは、厚さ０％（フィルタを配置しない）から最大厚さ１００％まで、一様分布となるように設定する。
【００７０】
図５は、各フィルタの各画素における厚さを一様分布に従って設定した例を示す。図５では、フィルタ１〜３の各々を、最大厚さを１００としたときのフィルタの厚さの割合の数値によって示している。このようなカラーフィルタ２０２を採用することにより、画素ごとに各フィルタの厚さが異なるため、数１にしたがって波長ごと、画素ごとに異なる透過率を実現することができる。また、特許文献１に記載のベイヤー配列や、特許文献２に記載のランダムなフィルタ配置の場合、画素ごとの波長特性はＲ画素、Ｇ画素、Ｂ画素の違いはあるが、それぞれの透過率は一定である。つまり、特許文献２に記載のランダムなフィルタ配置であっても、波長ごとには透過率は一定である。上述のようにカラーフィルタ２０２を構成することで、画素ごとでなく、波長ごとにも一様乱数によるランダムサンプリングを実現することができる。
【００７１】
もちろん、各フィルタの厚さは一様乱数に限られない。たとえば、厚さ５０％を平均とした正規分布（ガウス分布）で設定してもかまわない。
【００７２】
図６は、各フィルタの各画素における厚さを正規分布に従って設定した例を示す。図６でも、フィルタ１〜３の各々を、最大厚さを１００としたときのフィルタの厚さの割合の数値によって示している。このようにすることで、波長ごとに正規乱数によるランダムサンプリングを実現することができる。
【００７３】
また、カラーフィルタ２０２は、画素ごとにフィルタの厚さを変更するのではなくてもよい。たとえば、液晶を用いたカラーフィルタや、空間光変調器を利用して実現してもかまわない。空間光変調器とは、空間的・時間的に透過率を変調させる光学素子であり、画素ごとに透過率を変化させることが可能である。
【００７４】
図７は、空間光変調器２０４を利用して画素ごとの透過率を変化させる撮像システム１０の変形例を示す。カラーフィルタ２０２は、フィルタ１、フィルタ２、フィルタ３、空間光変調器２０４から成り立っている。ここで、フィルタ１，２，３の各々には、フィルタが設置されている画素と設置されていない画素が存在する。フィルタ１において、画素（ｕ，ｖ）にフィルタが設置されている場合はＭ１（ｕ，ｖ）＝１、フィルタが設置されていない場合はＭ１（ｕ，ｖ）＝０とする。同様に、フィルタ２において、画素（ｕ，ｖ）にフィルタが設置されている場合はＭ２（ｕ，ｖ）＝１、フィルタが設置されていない場合はＭ２（ｕ，ｖ）＝０、フィルタ３において、画素（ｕ，ｖ）にフィルタが設置されている場合はＭ３（ｕ，ｖ）＝１、フィルタが設置されていない場合はＭ３（ｕ，ｖ）＝０とする。また、画素（ｕ，ｖ）における空間光変調器２０４の透過率をＳ（ｕ，ｖ）とする。このとき、画素位置（ｕ，ｖ）における波長特性は、次式で表現される。
【数３】
0006653460.tif 000004
【００７５】
ただし、Ｐは、各フィルタが設置されているかどうかによって透過率を決定する関数であり、次式で表現される。
【数４】
0006653460.tif 000005
【００７６】
このように、複数のフィルタと空間光変調器２０４とを組み合わせることで、撮像素子２０３の画素ごとに、波長帯域の透過率が異なるカラーフィルタを実現できる。
【００７７】
もちろん、図３に示すカラーフィルタ２０２と空間光変調器２０４とを組み合わせることも可能である。
【００７８】
図８は、フィルタの厚さによって透過率が変化する複数のフィルタと空間光変調器２０４とを組み合わせて画素ごとの透過率を変化させる撮像システム１０のさらなる変形例を示す。このとき、画素位置（ｕ，ｖ）における波長特性は、次式で表現される。
【数５】
0006653460.tif 000006
【００７９】
次に、画像生成装置１２（図１）を説明する。
【００８０】
図９は、画像生成装置１２の主要な処理の手順を示すフローチャートである。
【００８１】
画像生成装置１２の受信回路１０４は、送信回路１０３が送信した変調画像と変調情報を受信する（ステップＳ１０１）。
【００８２】
カラー画像生成回路１０５は、変調画像と変調情報から、画像復元技術（たとえば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ１０２）。
【００８３】
以下、この処理をより詳しく説明する。カラー画像の生成処理は、撮像された変調画像をｙ、生成される生成画像をｘとした場合、以下のように定式化できる。
【数６】
0006653460.tif 000007
【００８４】
ここで、行列Ａは、変調情報によって決まるサンプリング行列である。サンプリング行列Ａは、撮像された変調画像ｙと、生成されるカラーＲＧＢ画像ｘの関係を示している。
【００８５】
以下、サンプリング行列Ａの取得方法を説明する。ここでは、マクベスカラーチェッカーによるカラーキャリブレーションを利用する手法を説明する。マクベスカラーチェッカーは、マンセルカラーシステムに基づいた、２４色の色見本であり、各色見本のＸＹＺ値やｓＲＧＢ値が既定されている。
【００８６】
ここで、この２４色の色見本ｊを本実施形態のカラー撮像装置で撮影した、ある画素ｉ  （ｉ＝１，２，３，…，Ｎ）での変調輝度値をＩ（ｊ，  ｉ）  （ｊ＝１，２，３，…，２４）とし、各色見本のｓＲＧＢ値をＲ’（ｊ），  Ｇ’（ｊ），  Ｂ’（ｊ）とする。すると、以下の関係式が成り立つ。
（数７）
ｃ（１，ｉ）・Ｒ（ｊ）  ＋  ｃ（２，ｉ）・Ｇ（ｊ）  ＋  ｃ（３，ｉ）・Ｂ（ｊ）  ＝  Ｉ（ｊ，ｉ），  ｊ＝１，２，…，２４．
ただし、ｃ（ｘ，ｉ）  （ｘ＝１，２，３）はサンプリング行列Ａのｉ行（３（ｉ−１）＋ｘ）列の要素である。サンプリング行列Ａ  のｉ行（３（ｉ−１）＋ｘ）列（ｉ＝１，２，３，…，Ｎ、ｊ＝１，２，３，…，２４）以外の要素は０である。また、Ｒ（ｊ），  Ｇ（ｊ），  Ｂ（ｊ）は、Ｒ’（ｊ），  Ｇ’（ｊ），  Ｂ’（ｊ）をリニアに変換することによって得られる。具体的には以下のような計算によって得られる。
【数８】
0006653460.tif 000008
【００８７】
数７は、ある画素ｉに対して、未知数（ｃ（１，ｉ））は３、方程式が２４なので、最小二乗法により解くことができる。この処理を、すべての画素ｉに対して行うことにより、サンプリング行列Ａを取得することが可能である。
【００８８】
説明を簡略化するために、撮像素子２０３の画素数はＮ＝１６であるとする。図１０は、画素数Ｎ＝１６の変調画像と生成画像を示した模式図である。この図において、（ａ）は変調画像、（ｂ）は生成画像されたカラー画像の赤（Ｒ）チャネルである生成Ｒ画像、（ｃ）は生成画像されたカラー画像の緑（Ｇ）チャネルである生成Ｇ画像、（ｄ）は生成画像されたカラー画像の青（Ｂ）チャネルである生成Ｂ画像を示している。数６において、ｙおよびｘは以下のようになる。
【数９】
0006653460.tif 000009
【００８９】
この式から明らかなように、数６は、未知数であるｘの要素数４８に対して、観測数であるｙの要素数が１６と少なく、不良設定問題となっている。
【００９０】
この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して後で復元処理を行うことで元の信号を復号化する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識を利用する。自然画像に対する事前知識としては、画像上における近傍との輝度変化の絶対値和であるトータル・バリエーション（Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ）（例えば、非特許文献１、非特許文献２）や、ウェーブレット（Ｗａｖｅｌｅｔ）変換やＤＣＴ変換、カーブレット（Ｃｕｒｖｅｌｅｔ）変換などの線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Ｄｉｃｔｉｏｎａｒｙ  Ｌｅａｒｎｉｎｇ）（例えば、非特許文献４）などを利用すればよい。
【００９１】
ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配を分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制するものである。これは、以下の評価関数を最小化することで実現する。
【数１０】
0006653460.tif 000010
【００９２】
この評価関数は、以下の３つの項から成り立っている。
１．Ｄａｔａ  Ｆｉｄｅｌｉｔｙ項||Ax-y||22：数６を満たすための拘束項
２．Ｄｙｎａｍｉｃ  Ｒａｎｇｅ項：最小値ｍｉｎを演算するためのｘの範囲（ｘが［０，２５５］３×Ｎ）：画素値が０以上２５５以下であるための拘束項。
３．Ｄｅｃｏｒｒｅｌａｔｅｄ  Ｖｅｃｔｏｒｉａｌ  Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ項Ｊ（ｘ）：カラー画像の輝度成分と色差成分の勾配を分離したＴｏｔａｌ  Ｖａｒｉａｔｉｏｎ項。
【００９３】
ここで、以下の式が成り立つ。
【数１１】
0006653460.tif 000011
【００９４】
Ｒは実数、Ｒ＋は非負の実数である。
【００９５】
図１１〜図１３は、本実施形態におけるカラー画像生成回路１０５が生成した色ごとのカラー画像の一例である。図１１はＲ画像を示し、図１２はＧ画像を示し、図１３はＢ画像を示す。本願発明者らは実際にカラー画像を生成し比較したが、本出願では各画像の輝度値を利用して図示している。
【００９６】
これらの図において、（ａ）は３板式カメラで撮影した正解カラー画像、（ｂ）は一般的なデモザイキング手法である特許文献１に記載のＡｄａｐｔｉｖｅ  Ｃｏｌｏｒ  Ｐｌａｎｅ  Ｉｎｔｅｒｐｏｌａｔｉｏｎ法（ＡＣＰＩ法）によるデモザイキング画像、（ｃ）は非特許文献５に記載のＭｉｎｉｍｉｚｅｄ−Ｌａｐｌａｃｉａｎ  Ｒｅｓｉｄｕａｌ
Ｉｎｔｅｒｐｏｌａｔｉｏｎ法（ＭＬＲＩ法）によるデモザイキング画像、（ｄ）は本実施形態におけるカラー画像生成回路１０５による復元画像を示している。
【００９７】
以下では例として図１１を参照して説明するが、図１２および図１３にも同様の説明が適用され得る。
【００９８】
図１１の（ａ）の中央部には、格子状のパターンを有する窓が示されている。
【００９９】
図１１の（ｂ）、（ｃ）は、図１５に示した従来のベイヤー配列によって撮影した画像を利用している。本願発明者らは検証を行い、図１１の（ｂ）に示すＡＣＰＩによるデモザイキング画像では、エッジ近傍に偽色とよばれるアーチファクトが存在することを確認した。具体的には、窓のエッジ部分に実際に偽色の存在を確認した。本願発明者らは、このような偽色は図１１の（ｄ）に示す本実施形態による復元画像には存在していないことも確認した。
【０１００】
図１１の（ｃ）に示すＭＬＲＩ法によるデモザイキング画像では、窓の格子状のパターンなどの、高周波成分が復元できていない。一方、本実施形態におけるカラー画像生成回路１０５は、従来技術に比べ、アーチファクトもなく、高周波領域まで復元できていることがわかる。
【０１０１】
図１４は、全ての色を含むカラー画像の一例である。図１４は、当該カラー画像の輝度値を利用して示されている。窓の格子状のパターンを一見すると明らかなように、本実施の形態による復元画像が正解画像に最も近いと言える。
【０１０２】
出力インタフェース（Ｉ／Ｆ）装置１０６は、カラー画像生成回路１０５が生成したカラー画像をディスプレイに表示したり、人検出などの画像処理に利用したりするために出力する（ステップＳ１０３）。
【０１０３】
なお、撮像素子２０３で受光した信号が飽和している場合、数６は成り立たず、数１０におけるData Fidelity項は復元画質を低下させる原因となってしまう。そこで、カラー画像生成回路１０５は、飽和している画素に対しては、数１０におけるData Fidelity項を変更することで、復元画質を向上させる。これは、数１０における第２項を以下のように変更すればよい。
【数１２】
0006653460.tif 000012
【０１０４】
ここで、上記第２項は、飽和した画素に対するData Fidelity項であり、飽和拘束と呼ぶ。ここで、
【数１３】
0006653460.tif 000013
は、撮像された変調画像ｙの飽和していない画素を、
【数１４】
0006653460.tif 000014
は、撮像された変調画像ｙの飽和している画素を、
【数１５】
0006653460.tif 000015
は、サンプリング行列Ａのi行目を転置したベクトル示している。また、
【数１６】
0006653460.tif 000016
である。これは、推定値xにサンプリング行列Aを乗算した値が飽和している、すなわちyi以上の場合には０、そうでない場合には∞の値を返す関数である。ここで、数１６の近接作用素は
【数１７】
0006653460.tif 000017
で表現される。そのため、Alternating Direction Method of Multipliers (ADMM)などの凸最適化の手法を利用することで、解くことができる。（非特許文献６参照）
【０１０５】
図１６〜図１７は、本実施形態におけるカラー画像生成回路１０５が生成したカラー画像の一例である。ここでは、Ｇ画像を示す。本願発明者らは実際にカラー画像を生成し比較したが、本出願ではＧ画像の輝度値を利用して図示している。
【０１０６】
これらの図において、図１６の（ａ）は３板式カメラで撮影した正解画像、図１６の（ｂ）は数１０の評価関数で復元した画像、つまり飽和拘束なしの復元画像、図１６の（ｃ）は数１０の評価関数における第２項を数１２に変更して復元した画像、つまり飽和拘束ありの復元画像を示している。また、図１７の（ａ）〜（ｃ）は、それぞれ、図１６の（ａ）〜（ｃ）の画像において、図１６の（ｄ）において「拡大対象の領域」と示された領域を拡大した画像である。
【０１０７】
図１６の（ａ）の一部の画素は、輝度値が高く、観測した変調画像の一部の画素は飽和している。そのため、図１６の（ｂ）および図１７の（ｂ）に示すように、飽和拘束を利用していない復元画像では、Data Fidelity項が正確に機能せず、ごま塩ノイズのようなアーチファクトが生じている。一方、図１６の（ｃ）に示す、飽和拘束を利用した本実施形態による復元画像には、このようなアーチファクトが生じていないことを確認した。
【０１０８】
以上のように、本実施形態の撮像システム１０は、カラーフィルタ２０２を利用して撮像を行い、圧縮センシング技術に飽和画素による拘束を導入によってカラー画像生成処理を行うことにより、アーチファクトを低減し、高精細のカラー画像を取得することができる。
【０１０９】
以上のように、本実施形態の撮像システム１０は、カラーフィルタ２０２を利用して撮像を行い、圧縮センシング技術によってカラー画像生成処理を行うことにより、アーチファクトを低減し、高精細のカラー画像を取得することができる。
【産業上の利用可能性】
【０１１０】
本開示にかかる撮像システムは、一つのイメージセンサでＲ／Ｇ／Ｂ３つの波長情報を取得するカラー撮像装置において、解像度の低下やアーチファクトの発生を抑制した画像を取得するために有用である。
【符号の説明】
【０１１１】
１０  撮像システム
１１  撮像装置
１２  画像生成装置
１０１  空間及び波長変調部
１０２  変調画像取得部
１０３  送信回路
１０４  受信回路
１０５  カラー画像生成回路
１０６  出力インタフェース（Ｉ／Ｆ）装置
２０１  結像光学系
２０２  カラーフィルタ
２０３  撮像素子
２０４  空間光変調器
【図１】
0006653460.tif 000018
【図２】
0006653460.tif 000019
【図３】
0006653460.tif 000020
【図４】
0006653460.tif 000021
【図５】
0006653460.tif 000022
【図６】
0006653460.tif 000023
【図７】
0006653460.tif 000024
【図８】
0006653460.tif 000025
【図９】
0006653460.tif 000026
【図１０】
0006653460.tif 000027
【図１１】
0006653460.tif 000028
【図１２】
0006653460.tif 000029
【図１３】
0006653460.tif 000030
【図１４】
0006653460.tif 000031
【図１５】
0006653460.tif 000032
【図１６】
0006653460.tif 000033
【図１７】
0006653460.tif 000034