(57)【要約】【課題】解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。【解決手段】画像生成装置としての撮像システムは、複数種類のカラーフィルタ２０２ａ〜２０２ｃと散乱部２０４とを有するランダムカラーフィルタアレイ２０２と、ランダムカラーフィルタアレイ２０２を透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部と、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成するカラー画像生成回路１０５とを備え、散乱部２０４は、複数種類のカラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に位置し、散乱部２０４は、第１の屈折率を有する材料と、第１の屈折率と異なる第２の屈折率を有する材料とを含む。【選択図】図４
2018107794.tif 000002
【特許請求の範囲】
【請求項１】
複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、
前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、
前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、
前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、
前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む
画像生成装置。
【請求項２】
前記光学フィルタは、カラーフィルタであり、
前記ランダム光学フィルタアレイは、ランダムカラーフィルタアレイであり、
前記生成回路が生成する前記画像は、カラー画像である
請求項１に記載の画像生成装置。
【請求項３】
前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第１の層に散在する前記第２の屈折率を有する材料を含む粒子とを有する
請求項１又は２に記載の画像生成装置。
【請求項４】
前記第２の屈折率は１．９以上である
請求項３に記載の画像生成装置。
【請求項５】
前記粒子は、ＳｉＮ、ＴｉＯ２、ＺｒＯ２、ＺｎＯ又はＴａ２Ｏ５で構成される
請求項３に記載の画像生成装置。
【請求項６】
前記粒子の粒径は、５００ｎｍ以上１０００ｎｍ以下である
請求項３〜５のいずれか一項に記載の画像生成装置。
【請求項７】
前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第２の屈折率を有する材料で構成される第２の層とを含み、
前記ランダム光学フィルタアレイの厚み方向に、前記第１の層と前記第２の層は、積層される
請求項１又は２に記載の画像生成装置。
【請求項８】
前記生成回路が生成する前記画像は、マルチバンド画像である
請求項１に記載の画像生成装置。
【請求項９】
前記生成回路は、圧縮センシング技術を用いて前記画像を生成する
請求項１〜８のいずれか一項に記載の画像生成装置。
【請求項１０】
複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、
前記ランダム光学フィルタアレイを透過した光を受光する複数のフォトダイオードと、
前記複数のフォトダイオードのそれぞれで受光した光をデジタルデータに変換するＡＤ変換部とを備え、
前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、
前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、圧縮センシング技術を用いた画像生成装置等に関する。
【背景技術】
【０００２】
カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの異なる波長域の情報を取得する必要がある。３つのイメージセンサでＲ、Ｇ及びＢの情報を取得するカラー撮像装置も存在する。しかし、多くのカラー撮像装置は、小型化及び低コスト化のために１つのイメージセンサしか搭載していない。そのため、多くのカラー撮像装置は、１つのイメージセンサでＲ、Ｇ及びＢの情報を取得する。
【０００３】
従来、画素毎にＲ、Ｇ及びＢのうち１つの波長域の情報を取得し、デモザイキングと呼ばれる処理を行うことで、画素毎にＲ、Ｇ及びＢの３つの波長域の情報を取得する手法が知られている。
【０００４】
図１８は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧの画素が全体の画素の１／２を占め、Ｒ及びＢの画素がそれぞれ全体の画素の１／４を占める。そして、デモザイキング処理によって、すべての画素に対してＲ、Ｇ及びＢの３つの波長域の情報が取得される。
【０００５】
一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第５６２９７３４号明細書
【特許文献２】特表２０１３−５１１９２４号公報
【非特許文献】
【０００７】
【非特許文献１】Ｒｕｄｉｎ  Ｌ．  Ｉ．，  Ｏｓｈｅｒ  Ｓ．  Ｊ．，  ａｎｄ  Ｆａｔｅｍｉ  Ｅ．：  Ｎｏｎｌｉｎｅａｒ  ｔｏｔａｌ  ｖａｒｉａｔｉｏｎ  ｂａｓｅｄ  ｎｏｉｓｅ  ｒｅｍｏｖａｌ  ａｌｇｏｒｉｔｈｍｓ．  Ｐｈｙｓｉｃａ  Ｄ，  ｖｏｌ．  ６０，  ｐｐ．  ２５９−２６８，  １９９２．
【非特許文献２】Ｓｈｕｎｓｕｋｅ  Ｏｎｏ，  Ｉｓａｏ  Ｙａｍａｄａ，  “Ｄｅｃｏｒｒｅｌａｔｅｄ  Ｖｅｃｔｏｒｉａｌ  Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ”，  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２０１４．
【非特許文献３】Ｊ．  Ｍａ，  “Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ  ＆  Ｍｅａｓｕｒｅｍｅｎｔ，  ｖｏｌ．  ６０，  ｎｏ．  １，  ｐｐ．  １２６−１３６，  ２０１１．
【非特許文献４】Ｍ．  Ａｈａｒｏｎ，  Ｍ．  Ｅｌａｄ，  ａｎｄ  Ａ．  Ｍ．  Ｂｒｕｃｋｓｔｅｉｎ，  “Ｋ−ＳＶＤ：  Ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｄｅｓｉｇｎｉｎｇ  Ｏｖｅｒｃｏｍｐｌｅｔｅ  Ｄｉｃｔｉｏｎａｒｉｅｓ  ｆｏｒ  Ｓｐａｒｓｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ｖｏｌ．  ５４，  ｎｏ．  １１，  ｐｐ．  ４３１１−４３２２，  ２００６．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１及び２の手法では、イメージセンサの各画素において、Ｒ、Ｇ及びＢのうち１つの波長域の情報しか取得されない。そのため、デモザイキング後のカラー画像の解像度が低下し、偽色と呼ばれるアーチファクトが発生し得る。
【０００９】
本開示は、非限定的ではない例示的な一態様として、解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。また、本開示は、適切な画像を生成するために用いられる撮像装置を提供する。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【課題を解決するための手段】
【００１０】
本開示の一態様に係る画像生成装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。
【００１１】
また、本開示の一態様に係る撮像装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。
【００１２】
上述の包括的または具体的な態様は、システム、方法及びコンピュータプログラムを用いて実装されてもよいし、装置、システム、方法及びコンピュータプログラムの組み合わせを用いて実現されてもよい。
【発明の効果】
【００１３】
本開示によれば、解像度の低下が抑制され、適切な画像が生成され得る。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施の形態１に係る撮像システムの構成を示す模式図である。
【図２】図２は、撮像システムにおける波長変調部及び変調画像取得部の構成の詳細を示す図である。
【図３】図３は、撮像システムにおけるランダムカラーフィルタアレイ及び撮像素子の構成を示す模式図である。
【図４】図４は、ランダムカラーフィルタアレイを含む撮像システムの模式図である。
【図５】図５は、実施の形態に係る３種類のフィルタの波長特性としての透過率を示す図である。
【図６】図６は、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。
【図７Ａ】図７Ａは、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の断面を示す模式図である。
【図７Ｂ】図７Ｂは、３種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の断面を示す模式図である。
【図８】図８は、従来のカラー撮像装置におけるカラーフィルタアレイの模式図である。
【図９】図９は、実施の形態に係る４種類のフィルタの波長特性としての透過率を示す図である。
【図１０】図１０は、４種類のフィルタで構成したランダムカラーフィルタアレイ及び撮像素子の２次元平面上の配置を示す模式図である。
【図１１】図１１は、３種類の補色フィルタの波長特性としての透過率を示す図である。
【図１２】図１２は、実施の形態１に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。
【図１３】図１３は、撮像素子の画素数がＮ＝１６である場合の変調画像と生成画像とを示す模式図である。
【図１４】図１４は、実施の形態１におけるカラー画像生成回路等が生成したカラー画像を基にした画像の一例を示す。
【図１５】図１５は、実施の形態２に係る撮像システムの構成を示す模式図である。
【図１６】図１６は、実施の形態２に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。
【図１７】図１７は、撮像素子の画素数がＮ＝１６である場合の生成画像（マルチバンド画像）を示す模式図である。
【図１８】図１８は、ベイヤー配列を示す模式図である。
【発明を実施するための形態】
【００１５】
（本開示の基礎となる知見）
特許文献１及び２に記載の技術では、１つの画素において、Ｒ（赤）、Ｇ（緑）及びＢ（青）のいずれかの情報しか取得されない。このため、取得される情報は必ずしも十分ではなく、解像度の高い適切な画像が生成されない可能性がある。
【００１６】
これに対して、例えばＲ、Ｇ及びＢの各波長帯域の情報を混合して各画素に与え、その混合を画素群に対してランダムに行うことで、各画素からより多くの情報が得られ、得られた情報から圧縮センシング技術によって適切な画像が生成され得る。例えば、主としてＲの波長帯域を透過するＲフィルタ、主としてＧの波長帯域を透過するＧフィルタ、主としてＢの波長帯域を透過するＢフィルタの合計３種類のカラーフィルタ等といった、少ない種類の光学フィルタを用いて、画素群に対して疑似的にランダムな情報の混合を実現することが有用となる。例えば、撮像素子が受光する光の光路上に、光を散乱させる散乱部と比較的少ない種類の各光学フィルタとを配置して構成されるランダム光学フィルタアレイを設置して撮像する。これにより、散乱現象により各光学フィルタを透過した光は１つの画素のみならず近傍画素にも受光され、各画素には多くの情報が与えられることとなるので、解像度が高い適切な画像の生成が可能となり得る。このように、画素においてＲ、Ｇ及びＢのいずれかの情報だけを与えるようにして混色を防止していた従来技術とは異なり、本開示に係る技術は、散乱部を用いて散乱現象により例えば混色等を生じさせることで、解像度が高い画像を生成し得る。以上の知見に基づき、以下、本開示に係る画像生成装置等を説明する。
【００１７】
本開示の一態様に係る画像生成装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間、又は前記複数種類の光学フィルタの前に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。ここで、同じ種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が同じであり、互いに異なる種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が相違する。散乱部が、複数種類の光学フィルタとフォトダイオードの間に位置し、例えばレンズ等の光学系部材を通過した光が受光面に至るまでの光路上に配置される。ランダム光学フィルタアレイの変調情報は、光学フィルタを略平面において複数配置して散乱部を含むランダム光学フィルタアレイにおける光透過率に関する情報であり、その平面上の位置及び光の波長に応じてその光透過率は変化し得る。なお、変調情報は、散乱部に対応する点拡がり関数にも関し、その平面上の位置に応じてその点拡がり関数は変化し得る。
【００１８】
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタを透過する光が分散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
【００１９】
また、例えば、前記光学フィルタは、カラーフィルタであり、前記ランダム光学フィルタアレイは、ランダムカラーフィルタアレイであり、前記生成回路が生成する前記画像は、カラー画像であることとしてもよい。
【００２０】
これにより、例えばＲフィルタ、Ｇフィルタ及びＢフィルタ等のカラーフィルタの複数組のそれぞれを透過した光が、散乱現象により近傍画素のフォトダイオード群において加算され、変調情報に基づいて例えば圧縮センシング技術で、解像度が高い適切なカラー画像が生成され得る。
【００２１】
また、例えば、前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第１の層に散在する前記第２の屈折率を有する材料を含む粒子とを有することとしてもよい。
【００２２】
これにより、ランダム光学フィルタアレイにおける粒子が散在する層を通過する光が散乱するので、画素単位で取得される光の情報量が散乱させない場合より多くなる。生成回路では、散乱に対応して、位置に応じた点拡がり関数に係る情報を含む変調情報が用いられるので、解像度の高い適切な画像が生成され得る。
【００２３】
また、例えば、前記第２の屈折率は１．９以上であることとしてもよい。
【００２４】
これにより、実用上十分な散乱が生じ得るので、十分なランダムさ（ランダム性）を有するランダム光学フィルタアレイが実現され、圧縮センシングにより適切な画像の生成が可能となり得る。
【００２５】
また、例えば、前記粒子は、ＳｉＮ、ＴｉＯ２、ＺｒＯ２、ＺｎＯ又はＴａ２Ｏ５で構成されることとしてもよい。
【００２６】
これにより、比較的容易に有用なランダム光学フィルタアレイを構成し得る。
【００２７】
また、例えば、前記粒子の粒径は、５００ｎｍ以上１０００ｎｍ以下であることとしてもよい。
【００２８】
これにより、散乱部で可視光を十分に散乱させることが可能となり、これにより解像度の高いカラー画像等の生成が可能となり得る。
【００２９】
また、例えば、前記散乱部は、前記第１の屈折率を有する材料で構成される第１の層と、前記第２の屈折率を有する材料で構成される第２の層とを含み、前記ランダム光学フィルタアレイの厚み方向に、前記第１の層と前記第２の層は、積層されることとしてもよい。
【００３０】
これにより、ランダム光学フィルタアレイにおける散乱部の層間を通過する光が屈折することで散乱を生じ得るので、画素単位で取得される光の情報量が従来のベイヤー配列等より多くなり得る。このため、解像度の高い適切な画像が生成され得る。
【００３１】
また、例えば、前記生成回路が生成する前記画像は、マルチバンド画像であることとしてもよい。
【００３２】
これにより、解像度の高いマルチバンド画像が生成され得る。なお、例えば、ランダム光学フィルタアレイを、可視光以外の波長帯域の光を透過する光学フィルタを含めて構成してもよい。
【００３３】
また、例えば、前記生成回路は、圧縮センシング技術を用いて前記画像を生成することとしてもよい。
【００３４】
この圧縮センシングにより、適切に画像が生成され得る。
【００３５】
また、本開示の一態様に係る撮像装置は、複数種類の光学フィルタと散乱部とを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記散乱部は、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置し、前記散乱部は、第１の屈折率を有する材料と、前記第１の屈折率と異なる第２の屈折率を有する材料とを含む。
【００３６】
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタを透過する光が分散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるようになる。このため、各画素の情報を用いて解像度が比較的高い適切な画像が生成され得る。
【００３７】
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。
【００３８】
以下、図面を参照しながら、本開示における画像生成装置に係る撮像システムの実施の形態について説明する。ここで示す実施の形態は、いずれも一例に過ぎない。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって、限定的なものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００３９】
（実施の形態１）
図１は、本実施の形態に係る撮像システム１０の構成を示す。撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。
【００４０】
撮像装置１１は、波長変調部１０１と、変調画像取得部１０２と、送信回路１０３とを有する。一方、画像生成装置１２は、受信回路１０４と、カラー画像生成回路１０５と、出力Ｉ／Ｆ（インタフェース）装置１０６とを有する。撮像装置１１と画像生成装置１２とは、一体化していてもよい。もちろん、撮像装置１１と画像生成装置１２とが一体化している場合、送信回路１０３及び受信回路１０４は省略し得る。
【００４１】
（撮像装置１１）
まず、図２を参照しながら撮像装置１１を説明する。
【００４２】
図２は、波長変調部１０１及び変調画像取得部１０２の構成の詳細を示す。
【００４３】
図２に示されるように、波長変調部１０１は、結像光学系２０１及びランダムカラーフィルタアレイ２０２に対応する。また、変調画像取得部１０２は、撮像素子２０３に対応する。
【００４４】
（結像光学系２０１）
結像光学系２０１は、少なくとも、１枚又は複数枚のレンズと、レンズ位置調整機構とを有する（いずれも図示せず）。１枚又は複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は被写体の像を示す。レンズ位置調整機構は、例えば、レンズによる結像位置を調整するためのアクチュエータ及びアクチュエータの駆動量を制御する制御回路（コントローラ）である。なお、１枚又は複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。また、ピンホールカメラのように、レンズを利用せずに光信号を結像させてもよい。
【００４５】
結像光学系２０１は光学系と呼んでもよい。
【００４６】
（撮像素子２０３）
図３は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の構成の詳細の一例を示す。
【００４７】
撮像素子２０３は、複数のフォトダイオード２０３ａと、少なくとも１つのＡＤ変換部２０３ｂとを含んで構成される。
【００４８】
フォトダイオード２０３ａにより、結像光学系２０１が結像した光信号を受け付け、ＡＤ変換部２０３ｂにより、電気信号に変換する。電気信号は、画素毎の変調された画像である変調画像を示す。即ち、撮像素子２０３は、変調画像を撮像する。撮像素子２０３は、レンズの焦点距離の位置に配置される。
【００４９】
撮像素子２０３は光学系で集光された光を受光して、電気信号を出力する複数の画素を含む。画素は、フォトダイオード２０３ａに対応する。撮像素子２０３の複数のフォトダイオード２０３ａと複数の電気信号とは１対１に対応する。
【００５０】
（ランダムカラーフィルタアレイ２０２）
ランダムカラーフィルタアレイ２０２は、複数種類のカラーフィルタ２０２ａ〜２０２ｃと散乱部２０４とにより構成される。ランダムカラーフィルタアレイ２０２は、例えば、カラーフィルタ２０２ａ〜２０２ｃを複数個、略平面上の互いに異なる位置に配置してなるカラーフィルタの集合体と散乱部２０４とを備える。ランダムカラーフィルタアレイ２０２は、フォトダイオード２０３ａの前、つまり、結像光学系２０１から入射した光が撮像素子２０３に至る光路上（例えば入射光がフォトダイオード２０３ａの受光面に至る手前）に配置される。ランダムカラーフィルタアレイ２０２において複数種類のカラーフィルタ２０２ａ〜２０２ｃは、結像光学系２０１から入射した光がフォトダイオード２０３ａの受光面に至るまでの光路上に配置される。散乱部２０４は、結像光学系２０１とフォトダイオード２０３ａとの間に配置される。散乱部２０４は、複数種類のカラーフィルタ２０２ａ〜２０２ｃの前に配置、すなわち、カラーフィルタ２０２ａ〜２０２ｃは散乱部２０４と撮像素子２０３との間に配置されても、または、散乱部２０４は、カラーフィルタ２０２ａ〜２０２ｃの後であって撮像素子２０３の前に配置、すなわち、散乱部２０４はカラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３との間に配置されてもよい。ここでは、複数種類のカラーフィルタ２０２ａ〜２０２ｃの前に配置、すなわち、カラーフィルタ２０２ａ〜２０２ｃが散乱部２０４と結像光学系２０１との間に配置される例を主に用いて説明する。
【００５１】
カラーフィルタ２０２ａと、カラーフィルタ２０２ｂと、カラーフィルタ２０２ｃとは互いに種類（つまり、光の波長と透過率との関係に係る波長特性）の異なるカラーフィルタである。一例としては、１つの種類のカラーフィルタ２０２ａは、主としてＲの波長帯域の光を透過するＲフィルタであり、別の１つの種類のカラーフィルタ２０２ｂは、主としてＧの波長帯域の光を透過するＧフィルタであり、また別の１つの種類のカラーフィルタ２０２ｃは、主としてＢの波長帯域の光を透過するＢフィルタである。
【００５２】
図３の例は、ランダムカラーフィルタアレイ２０２において、１つのフォトダイオード２０３ａに対応して、３種類のカラーフィルタ２０２ａ〜２０２ｃのうちの１つのカラーフィルタが配置されていること示している。各種類のカラーフィルタ２０２ａ〜２０２ｃの２次元平面上の配置（つまり２次元配列）は、例えばベイヤー配列（図１８参照）等であり得る。
【００５３】
ランダムカラーフィルタアレイ２０２は、撮像素子２０３の前面つまり受光面に接して配置されてもよいし、撮像素子２０３の前に、前面から間隔を空けて配置されてもよい。なお、後述するようにランダムカラーフィルタアレイ２０２におけるカラーフィルタ２０２ａ〜２０２ｃは、例えば、撮像素子２０３から間隔をあけて配置される。
【００５４】
ランダムカラーフィルタアレイ２０２は、撮像素子２０３に入射する光を特定の波長帯域でフィルタリングするために用いられる。ランダムカラーフィルタアレイ２０２を用いて撮像した画像を変調画像と呼ぶ。ランダムカラーフィルタアレイ２０２は、光が透過する任意の位置において、異なる光透過率と異なる点拡がり関数とを有している。ここで言う「位置」は、一定の面積を有する微小領域の位置を意味している。点拡がり関数とは、撮像システムにおける点光源の応答関数のことである。略平面形状の各カラーフィルタ２０２ａ〜２０２ｃを含むランダムカラーフィルタアレイ２０２が略平面形状であるとしてその平面上の各微小領域の位置毎に、光透過率及び点拡がり関数は相違し得る。言い換えると、ランダムカラーフィルタアレイ２０２の平面上の各微小領域の全ての位置で、光透過率及び点拡がり関数は同じではなく、かつ、ランダムカラーフィルタアレイ２０２の平面上の各微小領域の全ての位置のうち少なくとも２つの位置で、光透過率及び点拡がり関数は同じであっても良い。このような位置毎の光透過率及び点拡がり関数は、ランダムカラーフィルタアレイ２０２を構成する複数種類のカラーフィルタ２０２ａ〜２０２ｃの波長特性と、カラーフィルタ２０２ａ〜２０２ｃの位置と、後述するように散乱部２０４である第１の屈折率を有する物質（例えば樹脂、ガラス等）と、第１の屈折率と異なる第２の屈折率を有する物質の構成及び配置とによって決まり、変調情報と呼ぶ。各微小領域の面積は、例えば撮像素子２０３の各フォトダイオード２０３ａの受光面積と等しくてもよいし、その受光面積より小さくてもよい。なお、光透過率は透過する波長（波長帯域）によっても異なり得る。
【００５５】
複数のフォトダイオード２０３ａとランダムカラーフィルタアレイ２０２に係る上述の複数の微小領域の位置とは、１対１で対応してもよい。
【００５６】
ランダムカラーフィルタアレイ２０２の更なる詳細は後に説明する。
【００５７】
（送信回路１０３）
送信回路１０３は、撮像素子２０３が撮像した変調画像と、ランダムカラーフィルタアレイ２０２に対応して設定された変調情報とを、画像生成装置１２に送信する。変調情報は、位置毎の波長特性としての光透過率と点拡がり関数とを示す。送信は、有線通信及び無線通信のいずれで行われてもよい。
【００５８】
なお、本実施の形態では、撮像システム１０が、送信回路１０３及び受信回路１０４を備え、概ねリアルタイムで変調画像及び変調情報を送受信して処理を行うことが想定されている。しかしながら、撮像システム１０は、変調画像及び変調情報を保存する記憶装置（例えばハードディスクドライブ）を備え、非リアルタイムで処理を行ってもよい。
【００５９】
（画像生成装置１２）
再び図１を参照し、画像生成装置１２の受信回路１０４、カラー画像生成回路１０５及び出力インタフェース装置１０６をそれぞれ説明する。
【００６０】
（受信回路１０４）
受信回路１０４は、撮像装置１１から出力された変調画像と変調情報とを受け取る。受信回路１０４と送信回路１０３との間の通信は、有線通信でも無線通信でもよい。なお、送信回路１０３が変調画像及び変調情報を有線通信で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０４がこれらの情報を無線で受信してもよい。その逆も同様である。
【００６１】
（カラー画像生成回路１０５）
カラー画像生成回路１０５は、受信回路１０４が受信した変調画像及び変調情報を利用してカラー画像を生成する。カラー画像を生成する処理（カラー画像生成処理）の詳細については後述する。カラー画像生成回路１０５は、生成されたカラー画像を出力インタフェース装置１０６に送る。
【００６２】
（出力インタフェース装置１０６）
出力インタフェース装置１０６は、映像出力端子等である。出力インタフェース装置１０６は、カラー画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。
【００６３】
（ランダムカラーフィルタアレイ２０２の詳細）
次に、図４〜図７Ａを参照しながら、ランダムカラーフィルタアレイ２０２をより詳細に説明する。
【００６４】
図４は、ランダムカラーフィルタアレイ２０２を含む撮像システム１０の模式図である。
【００６５】
上述したように、ランダムカラーフィルタアレイ２０２は、位置に応じて、かつ、波長帯域に応じて、異なり得る光透過率及び点拡がり関数を有している。つまり、複数の波長帯域の光が透過する任意の複数の位置それぞれでは、各波長帯域の光透過率と点拡がり関数との組み合わせが互いに異なっている。このような光学特性を実現するために、本実施の形態のランダムカラーフィルタアレイ２０２は、光の波長帯域に応じた光透過率の互いに異なる複数種類のカラーフィルタ２０２ａ〜２０２ｃと散乱部２０４とを有している。また、ランダムカラーフィルタアレイ２０２において各位置に配置されたカラーフィルタの種類は相違し得る。即ち、互いに近傍の複数のフォトダイオード２０３ａに対応する位置毎に互いに異なる種類のカラーフィルタが配置され得る。言い換えると、複数のフォトダイオード２０３ａに対応するランダムカラーフィルタアレイ２０２の複数の位置の全ておいてカラーフィルタの種類が同じでなく、ランダムカラーフィルタアレイ２０２の複数の位置のうち少なくとも２つの位置で、カラーフィルタの種類が同じであっても良い。カラーフィルタ２０２ａ〜２０２ｃは、従来のベイヤー配列（図１８参照）のように規則的に配置してもよく、ランダムに配置してもよい。なお、撮像素子２０３における各フォトダイオード２０３ａの前方から見て、各カラーフィルタは、相互に一部重なり合ってもよいが、図４の例のように、相互に重ならないことで、フォトダイオード２０３ａが受光する光量の低減が抑制され得る。
【００６６】
なお、図４では、ランダムカラーフィルタアレイ２０２が３種類のカラーフィルタ２０２ａ〜２０２ｃを含み、１つのカラーフィルタが１つのフォトダイオード２０３ａに対応する例を記載しているが、これは一例に過ぎず、カラーフィルタの種類数は３に限られず、１つのフォトダイオード２０３ａに対応して配置されるカラーフィルタの数も１に限られない。
【００６７】
図５は、３種類のカラーフィルタ２０２ａ〜２０２ｃの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、カラーフィルタ２０２ａであり、フィルタ２は、カラーフィルタ２０２ｂであり、フィルタ３は、カラーフィルタ２０２ｃである。
【００６８】
フィルタの波長特性は、フィルタに入射した光が、波長に応じて、どの程度、反射、透過及び吸収されるかを示す。反射光、透過光及び吸収光の総和は入射光に等しい。透過光と入射光との比率は、「透過率」と呼ばれる。この透過率を、光透過率とも称する。吸収光と入射光との比率は「吸収率」と呼ばれる。吸収率は、入射光の光量から反射光の光量と透過光の光量とを減算し、さらに入射光の光量で除算することでも求められる。図５では、各フィルタにおける光透過率と光の波長との関係を示している。
【００６９】
図６及び図７Ａは、３種類のカラーフィルタ２０２ａ〜２０２ｃで構成したランダムカラーフィルタアレイ２０２の模式図である。図６は、ランダムカラーフィルタアレイ２０２の各カラーフィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。この２次元平面は、例えば撮像素子２０３の受光面に平行な平面である。図６では、カラーフィルタ２０２ａ、２０２ｂ及び２０２ｃをそれぞれ、Ｒ、Ｇ、Ｂで表しており、カラーフィルタ２０２ａ〜２０２ｃが、ランダムに配置された例を示している。ランダムな配置としては、乱数系列を利用して作成してもかまわないし、繰り返しならないパターンを事前に用意し、これを利用して作成してもかまわない。図７Ａは、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の断面を示す。
【００７０】
散乱部２０４は、第１の屈折率を有する物質（例えば樹脂、ガラス等）と、第１の屈折率と異なる第２の屈折率を有する物質（例えば酸化物等）とを有する。
【００７１】
より具体的な一例としては、散乱部２０４は、樹脂層と、樹脂層の内部に位置する複数の粒子２０４ａとを有する。この樹脂層を構成する樹脂は例えば第１の屈折率を有し、この粒子を構成する物質は例えば第２の屈折率を有する。例えば、第２の屈折率は、第１の屈折率と０．４以上異なればよい。樹脂の材料は、第２の屈折率と異なる屈折率を有する材料であればよい。例えば、樹脂の材料は、アクリレート樹脂、エポキシ樹脂、及びメタクリレート樹脂からなる群から選択される少なくとも１つの樹脂であってもよい。樹脂層の内部に位置する粒子の材料は、第１の屈折率と異なる屈折率を有する材料であればよく、例えば、ＴｉＯ２、ＳｉＮ、ＺｒＯ２、ＺｎＯ、及びＴａ２Ｏ５からなる群から選択される少なくとも１つであってもよい。例えば、第２の屈折率は、１．９以上である。また、その粒子の粒径（つまり平均粒子径）は、例えば５００ｎｍ以上１０００ｎｍ以下である。なお、可視光帯域の光を屈折により散乱させるためには、可視光の波長と同等のサイズを有する必要があり、このため、粒径が５００ｎｍ以上１０００ｎｍ以下であることが有用となる。なお、平均粒子径は、レーザ回折及び散乱法を用いて測定される。具体的には、材料にレーザ光を照射し、材料からの回折及び散乱光の強度分布を測定する。回折又は散乱光の強度分布を用いて、平均粒子径を求める。より具体的には、ＪＩＳ（日本工業規格）８８１９−２で規定される粒子径分布からの平均粒子径の計算により測定される。散乱部２０４において複数の粒子２０４ａは、例えばランダムな配置で樹脂層中に散在する。ランダムな配置とは、均一の粒子径の粒子を均一の間隔で配置するのではなく、複数の粒子２０４ａの粒子径を異なせる、かつ／または複数の粒子２０４ａの間隔が均一でないように複数の粒子２０４ａを配置することである。複数の粒子２０４ａの樹脂層中でのランダムな配置は、事前にランダムになるように設定した粒子径の粒子を、ランダムな位置に配置することで実現してもかまわない。複数の粒子２０４ａの樹脂層中でのランダムな配置は、異なる粒子径を有する粒子を場所ごとに密度を変えて配置することで実現してもかまわない。また、複数の粒子２０４ａの樹脂層中でのランダムな配置は、屈折率の異なる物質を塗布した複数の粒子２０４ａを用いても実現できる。さらに、複数の粒子２０４ａの樹脂層中でのランダムな配置は、粒子径を均一にする作業を特別に実施しない複数の粒子２０４ａを用いても実現できる。
【００７２】
図７Ａに示すように、３種類のカラーフィルタ２０２ａ〜２０２ｃは、撮像素子２０３から間隔をあけて配置されており、結像光学系２０１を透過した光が散乱部２０４で散乱され、３種類のカラーフィルタ２０２ａ〜２０２ｃを透過し、複数のフォトダイオード２０３ａで受光される。散乱部２０４での光の散乱により、１つのカラーフィルタを透過した各光を複数のフォトダイオード２０３ａが受光し得るし、複数のカラーフィルタそれぞれを透過した各光を１つのフォトダイオード２０３ａが受光し得る。
【００７３】
図８は、従来のカラー撮像装置におけるベイヤー配列のカラーフィルタアレイ２０６の模式図である。本実施の形態に係るランダムカラーフィルタアレイ２０２（図７Ａ参照）と対比して、従来のカラーフィルタアレイ２０６は、散乱部２０４を有しない。また、従来のカラーフィルタアレイ２０６では、カラーフィルタ間のクロストークを防止するため、カラーフィルタアレイ２０６を構成する各カラーフィルタ（カラーフィルタ２０２ａ等）と撮像素子２０３との間隔は狭くなっている。結像光学系により１つのカラーフィルタを透過した光が撮像素子２０３における１つのフォトダイオードの受光可能領域に集光される。つまり、図８において、実線で示した各光は概ね、１つの配置位置のカラーフィルタ２０２ａのみを透過し、撮像素子２０３においてそのカラーフィルタ２０２ａの配置位置（つまり図８で左端の配置位置）に対応した配置位置（つまり図８で左端の配置位置）の１つのフォトダイオード２０３ａのみに受光される。同様に、点線で示した各光は概ね、１つの配置位置（つまり図８で中央の配置位置）のカラーフィルタ２０２ｂのみを透過し、対応する配置位置（つまり図８で中央の配置位置）の１つのフォトダイオード２０３ａのみに受光され、破線で示した各光は概ね、１つの配置位置（つまり図８で右端の配置位置）のカラーフィルタ２０２ａのみを透過し、対応する配置位置（つまり図８で右端の配置位置）の１つのフォトダイオード２０３ａのみに受光される。
【００７４】
図７Ａに示した本実施の形態に係るランダムカラーフィルタアレイ２０２では、例えば、実線で示す光３２２は、図８の実線で示した光の例と同様に、図７Ａで左端の配置位置のカラーフィルタ２０２ａを透過して、図７Ａで左端の配置位置のフォトダイオード２０３ａに受光されるが、実線で示す光３２１は、粒子２０４ａ等を含む散乱部２０４での屈折で散乱し、図７Ａで左端の配置位置のカラーフィルタ２０２ａを透過して、図８の実線で示した光の例とは異なって、図７Ａで中央の配置位置のフォトダイオード２０３ａに受光される。
【００７５】
また、図７Ａで、点線で示す光３２３は、粒子２０４ａ等を含む散乱部２０４での屈折で散乱し、図７Ａで中央の配置位置のカラーフィルタ２０２ｂを透過して、図８の点線で示した光の例とは異なって、図７Ａで左端の配置位置のフォトダイオード２０３ａに受光される。
【００７６】
また、図７Ａで、破線で示す光３２４は、粒子２０４ａ等を含む散乱部２０４での屈折で散乱し、図８の破線で示した光の例とは異なって、図７Ａで中央の配置位置のカラーフィルタ２０２ｂを透過して、図７Ａで左端の配置位置のフォトダイオード２０３ａに受光される。
【００７７】
このように、本実施の形態のランダムカラーフィルタアレイ２０２は、粒子２０４ａ等を含む散乱部２０４を有することにより、複数の位置の異なるカラーフィルタを透過した光を１つのフォトダイオード２０３ａに受光させ、また、同一の位置のカラーフィルタを透過した光を複数のフォトダイオード２０３ａに受光させる。つまり、ランダムカラーフィルタアレイ２０２は、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有するので、空間的にも、波長的にもランダムなサンプリングを実現可能にする。
【００７８】
なお、図７Ａでは、ランダムカラーフィルタアレイ２０２において散乱部２０４の粒子２０４ａは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置した例を示したが、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間にも更に配置してもよいし、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に配置することとしてもよい。
【００７９】
以上のように、本実施の形態に係る撮像システム１０では、ランダムカラーフィルタアレイ２０２は、カラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３との間に、散乱部２０４における溶媒（例えば樹脂等）とは異なる屈折率を有する粒子２０４ａを有することで、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有し、ランダムな（つまりランダムサンプリングを可能とする）光学フィルタアレイを実現している。なお、例えば、図６に示すように、ランダムカラーフィルタアレイ２０２における、２次元平面上に２次元配列をなす各位置に３種類のカラーフィルタ２０２ａ〜２０２ｃのうちいずれか１つがランダムに選択されて配置されていれば、ランダムに配置されていない場合に比べて、ランダムさが向上し得る。
【００８０】
なお、上述したように、散乱部２０４は、カラーフィルタ２０２ａ〜２０２ｃの後であって撮像素子２０３の前に配置、すなわち、散乱部２０４はカラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３との間に配置されてもよい。この一例を図７Ｂに示す。
【００８１】
以上の説明では、ランダムカラーフィルタアレイ２０２を構成するフィルタは３種類のカラーフィルタ２０２ａ〜２０２ｃとしたが、フィルタを４種類以上にしてもよく、互いに波長特性として光透過率の異なる光学フィルタとして機能するものであれば、必ずしもカラーフィルタでなくてもよい。以下、上述のランダムカラーフィルタアレイ２０２として、４種類のフィルタを利用する形態について、説明する。
【００８２】
図９は、４種類のフィルタの各波長特性としての光透過率を示す。また、図１０は、４種類のフィルタで構成したランダムカラーフィルタアレイ２０２の各フィルタ、及び、撮像素子２０３の各フォトダイオード２０３ａの２次元平面上の配置を示す。図９において、フィルタ１〜３は、カラーフィルタ２０２ａ〜２０２ｃであり、フィルタ４は、全域を透過するフィルタである。図１０においてこのフィルタ４としてのカラーフィルタ２０２ｄをＷで表している。ここでは、ランダムカラーフィルタアレイ２０２における、この全域を透過するフィルタを、便宜上カラーフィルタと称する。このフィルタ４（つまりカラーフィルタ２０２ｄ）は、ランダムカラーフィルタアレイを生成する際、フィルタとしての部材を入れないことで実現可能である。このように部材を入れない部分を設けることで、全域を透過するフィルタを、ランダムカラーフィルタアレイ２０２に含ませると、コストを抑えることができる。また、フィルタの種類を増やすことで、ランダムカラーフィルタアレイ２０２のランダムさを向上させることができる。ランダムカラーフィルタアレイ２０２のランダムさが上がると、後述するように、カラー画像生成回路１０５が生成するカラー画像の画質が向上する。
【００８３】
上述の実施の形態で、ランダムカラーフィルタアレイ２０２を構成する３種類のカラーフィルタ２０２ａ〜２０２ｃは、それぞれ、Ｒ（赤）フィルタ、Ｇ（緑）フィルタ、Ｂ（青）フィルタであることとしたが、フィルタ特性は、これに限らない。例えば、ランダムカラーフィルタアレイ２０２において、Ｒフィルタ、Ｇフィルタ或いはＢフィルタという原色フィルタに比べて透過帯域の広い補色フィルタ（例えばマゼンタ、シアン、黄色のフィルタ）を利用することとしてもよい。
【００８４】
図１１は、３種類の補色フィルタの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、例えばマゼンタのフィルタであり、フィルタ２は、例えばシアンのフィルタであり、フィルタ３は、例えば黄色のフィルタである。
【００８５】
このような補色フィルタを利用することで、透過帯域が広がるため、ノイズを低減した画像を取得することができる。
【００８６】
もちろん、ランダムカラーフィルタアレイ２０２を構成するフィルタとして、Ｒ、Ｇ、Ｂのカラーフィルタつまり原色フィルタと、波長帯域の全域を透過するフィルタと、補色フィルタとを組み合わせるようにしてもよい。例えば、図９と図１１とで示した各フィルタを組み合わせてランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、７種類のフィルタの組み合わせ及び散乱部２０４を有することで、ランダムさが向上し得る。
【００８７】
同様に、図５と図１１とで示した各フィルタを組み合わせ、６種類のフィルタの組み合わせ及び散乱部２０４を有するランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、６種類のフィルタの組み合わせ及び散乱部２０４を有することで、ランダムさが向上し得る。
【００８８】
（画像生成装置１２の処理）
次に、図１２に即して画像生成装置１２（図１参照）における処理について説明する。
【００８９】
図１２は、画像生成装置１２の主要な処理の手順を示すフローチャートである。
【００９０】
画像生成装置１２の受信回路１０４は、撮像装置１１の送信回路１０３が送信した変調画像と変調情報とを受信する（ステップＳ１０１）。
【００９１】
次に、カラー画像生成回路１０５は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ１０２）。
【００９２】
次に、出力インタフェース装置１０６は、カラー画像生成回路１０５が生成したカラー画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０３）。
【００９３】
（カラー画像生成処理）
以下、ステップＳ１０２でのカラー画像生成回路１０５によるカラー画像生成処理について、より詳しく説明する。
【００９４】
カラー画像生成処理は、撮像された変調画像をｙ、生成されるカラーＲＧＢ画像である生成画像をｘとした場合、以下のように定式化できる。
【００９５】
【数１】
2018107794.tif 000003
【００９６】
ここで、行列Ａは、変調情報を示すサンプリング行列である。サンプリング行列Ａは、変調画像ｙと、生成画像ｘとの関係を示している。例えば、画素数がＮである場合、変調画像ｙはＮ行１列の行列で表現され、生成画像ｘは３Ｎ行１列の行列で表現され、サンプリング行列ＡはＮ行３Ｎ列の行列で表現される。
【００９７】
以下、サンプリング行列Ａの取得方法を説明する。
【００９８】
サンプリング行列Ａは、位置毎にかつ波長帯域に応じて異なる光透過率と点拡がり関数とを示す。そこで、例えば、被写体として撮像素子２０３が撮像する視野の全てを覆うようなモニタを配置し、モニタ上に赤、緑及び青のドット画像を順番に表示しながら撮影することで、サンプリング行列Ａを取得することができる。
【００９９】
次に、カラー画像生成回路１０５においてサンプリング行列Ａ及び変調画像ｙから生成画像ｘを取得する方法を説明する。説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６である場合について説明する。
【０１００】
図１３は、撮像素子２０３の画素数がＮ＝１６である場合の変調画像ｙとこの変調画像ｙに基づいて生成される生成画像（カラーＲＧＢ画像）ｘのＲ画像ｒ、Ｇ画像ｇ、Ｂ画像ｂを示す模式図である。この図において、（ａ）は変調画像ｙ、（ｂ）は変調画像ｙに基づいて生成されたカラーＲＧＢ画像の赤（Ｒ）チャネルであるＲ画像ｒ、（ｃ）は変調画像ｙに基づいて生成されたカラー画像の緑（Ｇ）チャネルであるＧ画像ｇ、（ｄ）は変調画像ｙに基づいて生成されたカラー画像の青（Ｂ）チャネルであるＢ画像ｂを示している。変調画像ｙと生成画像ｘとは、次式で表される。
【０１０１】
【数２】
2018107794.tif 000004
【０１０２】
この式２から明らかなように、式１において、未知数であるｘの要素数が４８であり、観測数であるｙの要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式１は、不良設定問題となっている。
【０１０３】
撮像システム１０は、この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して復元処理を行うことで元の信号を復号（復元）する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識が利用される。
【０１０４】
自然画像に対する事前知識として、画像上の近傍位置間における輝度変化の絶対値和であるトータル・バリエーション（Total Variation）（例えば、非特許文献１及び非特許文献２）が利用されてもよい。また、ウェーブレット（Wavelet）変換、ＤＣＴ変換、カーブレット（Curvelet）変換等の線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）が利用されてもよい。また、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Dictionary Learning）（例えば、非特許文献４）等が利用されてもよい。
【０１０５】
ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配とを分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制する。これは、以下の評価関数を最小化することで実現される。
【０１０６】
【数３】
2018107794.tif 000005
【０１０７】
この評価関数は、以下の３つの項から成り立っている。
【０１０８】
１．データフィデリティ（Data Fidelity）項：｜｜Ａｘ−ｙ｜｜２２：式１を満たすための拘束項。
【０１０９】
２．ダイナミックレンジ（Dynamic Range）項：最小値ｍｉｎを演算するためのｘの範囲（［０，２５５］３×Ｎ）：画素値が０以上２５５以下であるための拘束項。
【０１１０】
３．デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）項：Ｊ（ｘ）：カラー画像の輝度成分と色差成分との勾配を分離したトータル・バリエーション（Total Variation）項。
【０１１１】
ここで、｜｜Ａｘ−ｙ｜｜２２は、Ａｘ−ｙの２乗和（Ｌ２ノルムの２乗）を示す。また、Ｊ（ｘ）は、画像全体における輝度成分及び色差成分に関する近傍画素間の差分に対応し、以下の式４〜式８で表現される。なお、式４〜式８において、Ｒは実数、Ｒ＋は非負の実数を示す。
【０１１２】
【数４】
2018107794.tif 000006
【数５】
2018107794.tif 000007
【数６】
2018107794.tif 000008
【数７】
2018107794.tif 000009
【数８】
2018107794.tif 000010
【０１１３】
図１４は、本実施の形態におけるカラー画像生成回路１０５が生成したカラー画像を基にした画像の一例を示す。図１４において、（ａ）は３板式カメラで撮像した正解画像（正解カラー画像）を基にした画像を示す。（ｂ）は一般的なデモザイキング手法であって特許文献１に記載のＡＣＰＩ（Adaptive Color Plane Interpolation）法によるデモザイキング画像を基にした画像を示す。（ｃ）は本実施の形態におけるカラー画像生成回路１０５により、デ・コリレイテッド・ベクトリアル・トータル・バリエーションを用いて、生成した生成カラー画像（復元画像）を基にした画像を示している。本願発明者らは実際にカラー画像を生成し比較したが、図１４では、各画像が、その画像の輝度値（つまり色毎の係数を乗じてＲ、Ｇ及びＢの各成分値を加算することで算定した輝度値）に応じた濃淡により図示されている。また、図１４では、それぞれのカラー画像に対するＲＳＮＲ（Peak Signal-to-Noise Ratio）も示している。
【０１１４】
図１４に示すように、本実施の形態の生成カラー画像（復元画像）は、ＡＣＰＩ法によるカラー画像よりもＰＳＮＲが１ｄＢ以上向上しており、正解画像に最も近いと言える。
【０１１５】
また、圧縮センシングでは、サンプリング行列Ａのランダムさ（ランダム性）が上がれば上がるほど、復元画像の画質が向上することが知られている。本実施の形態のランダムカラーフィルタアレイ２０２は、散乱部２０４を有することでサンプリング行列Ａのランダムさを上げており、これにより復元画像の画質が向上し得る。
【０１１６】
上述したランダムカラーフィルタアレイ２０２を利用して撮像を行う撮像システム１０によれば、圧縮センシング技術によってカラー画像生成処理が行われることにより、アーチファクトが低減された、高精細のカラー画像を取得することができる。
【０１１７】
（実施の形態２）
図１５は、本実施の形態に係る撮像システム１０の構成を示す。本実施の形態に係る撮像システム１０の構成要素のうち、実施の形態１で示した撮像システム１０と同じ構成要素については、図１５において図１と同一の符号を付しており、ここでは説明を適宜省略する。本実施の形態に係る撮像システム１０は、画像生成装置１２において、実施の形態１で示したカラー画像生成回路１０５の代わりに、マルチバンド画像生成回路１０７を備える。この撮像システム１０は、３原色のＲＧＢカラー画像に限られないマルチバンド画像を生成し得る。マルチバンド画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像である。その波長帯域は可視光に限られず、近赤外、赤外、紫外等の波長帯域であってもよく、マルチバンド画像は、例えば近赤外光画像、赤外光画像、紫外光画像等であり得る。
【０１１８】
マルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成する。マルチバンド画像生成回路１０７は、生成されたマルチバンド画像を出力インタフェース装置１０６に送る。
【０１１９】
本実施の形態に係る出力インタフェース装置１０６は、マルチバンド画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。出力インタフェース装置１０６は、明るいシーンでは可視光のカラー画像を出力し、暗いシーンでは近赤外光画像を出力するよう、出力画像を切り替えるようにしてもよい。
【０１２０】
また、本実施の形態に係る撮像システム１０の波長変調部１０１（図１５参照）におけるランダムカラーフィルタアレイ２０２は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ等のカラーフィルタの他に、例えば主として近赤外光を透過するフィルタ等を含む複数種類の光学フィルタの配列として構成されるランダム光学フィルタアレイであることとしてもよい。例えば、マルチバンド画像として近赤外光画像を取得する場合において、ランダム光学フィルタアレイには、近赤外光を透過するフィルタを含ませ得る。
【０１２１】
以下、図１６に即して本実施の形態に係る画像生成装置１２（図１５参照）における処理について説明する。
【０１２２】
図１６は、本実施の形態における画像生成装置１２の主要な処理の手順を示すフローチャートである。同図において、図１２と同じ要素には、同一の符号を付している。
【０１２３】
画像生成装置１２の受信回路１０４は、送信回路１０３が送信した変調画像と変調情報を受信する（ステップＳ１０１）。
【０１２４】
次にマルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成するマルチバンド画像生成処理を行う（ステップＳ１０４）。
【０１２５】
次に、出力インタフェース装置１０６は、マルチバンド画像生成回路１０７が生成したマルチバンド画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０５）。
【０１２６】
（マルチバンド画像生成処理）
以下、ステップＳ１０４でのマルチバンド画像生成処理について、より詳しく説明する。
【０１２７】
マルチバンド画像の生成処理は、撮像された変調画像をｙ’、生成されるＭバンドのマルチバンド画像をｘ’とした場合（Ｍは４以上の整数）、以下のように定式化できる。
【０１２８】
【数９】
2018107794.tif 000011
【０１２９】
ここで、行列Ａは、変調情報を示すサンプリング行列である。
【０１３０】
説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６（図１３参照）であるとすると、この変調画像ｙ’と、この変調画像ｙ’に基づいて生成されるマルチバンド画像である生成画像ｘ’とは、次式で表される。生成画像ｘ’を、Ｍ個のチャネルそれぞれの画像に分けて表すと図１７に示すようになる。
【０１３１】
【数１０】
2018107794.tif 000012
【０１３２】
この式１０から明らかなように、式９において未知数であるｘ’の要素数が１６Ｍであり、観測数であるｙ’の要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式９は、不良設定問題となっている。しかし、実施の形態１で示したように、圧縮センシング技術を利用することでこの不良設定問題を解くことができる。本実施の形態の撮像によりマルチバンド画像を生成する撮像システム１０についても、実施の形態１で示した各種技術を適用し得る。
【０１３３】
以上のように、本実施の形態の撮像システム１０は、ランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイを利用して撮像を行い、圧縮センシング技術によってマルチバンド画像生成処理を行うことにより、アーチファクトを低減し、高精細のマルチバンド画像を取得することができる。
【０１３４】
（他の実施の形態）
以上のように、本開示に係る技術の例示として実施の形態１、２を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。例えば、以下のような変形例も本開示に係る技術の一実施態様に含まれる。
【０１３５】
上記実施の形態では、撮像システム１０が撮像装置１１と画像生成装置１２とを備える例を示したが、本開示に係る画像生成装置は、上述した撮像装置１１を包含したものであってもよく、つまり、上述した撮像システム１０で構成されてもよい。
【０１３６】
上記実施の形態では、カラー画像或いはマルチバンド画像を生成する撮像システム１０を示したが、撮像システム１０は、光の任意の波長帯域を２つ以上の領域に分割した信号で表現する画像を生成することとしてもよく、例えば、撮像システム１０が、赤外光領域を３つの領域に分割した信号で表現する画像を生成することとしてもよい。
【０１３７】
また、上述した結像光学系２０１は、結像のためにレンズを用いるものに限られず、例えば反射鏡等を用いるものであってもよい。
【０１３８】
また、上記実施の形態で示した散乱部２０４を含むランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイに含まれる各光学フィルタの、撮像素子２０３の受光面に並行な２次元平面上でのサイズは、撮像素子２０３におけるフォトダイオード２０３ａのサイズより小さくてもよく、例えば複数種類の光学フィルタ（例えば３種類のカラーフィルタ２０２ａ〜２０２ｃ）からランダムに選択された複数（例えば６個等）の光学フィルタそれぞれが相互に異なる位置において１つのフォトダイオード２０３ａに重なるように配置されてもよい。
【０１３９】
また、上記実施の形態では、散乱部２０４の一例として、第１の屈折率を有する樹脂で構成される樹脂層と、樹脂層の内部に位置し、第２の屈折率を有する物質で構成される複数の粒子２０４ａとを有する散乱部２０４を示した。しかしこれは一例に過ぎず、散乱部２０４は、略平面形状のランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）におけるその２次元平面上の位置に応じて光をランダムに散乱するものであればよく、例えば、第１の屈折率を有する材料で構成される第１の層と、第１の屈折率と異なる第２の屈折率を有する材料で構成される第２の層とが積層されてなる構造体を含むものであることとしてもよい。
【０１４０】
また、上記実施の形態で示した散乱部２０４は、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前に位置することとしたが、例えば散乱部２０４が、複数種類の光学フィルタとフォトダイオード２０３ａとの間にも複数種類の光学フィルタの前に位置するように、つまり、複数種類の光学フィルタを内包するように、配置されていてもよい。
【０１４１】
また、上記の実施の形態で示した撮像システム１０の各構成要素（特に、各回路等）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、マイクロプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体（或いは記録媒体）に記録されたプログラムを読み出して実行することによって、実現されてもよい。
【０１４２】
また、撮像装置１１に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。同様に、画像生成装置１２に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。また、例えば、上記実施の形態における特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、上記実施の形態における各種処理の実行順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【０１４３】
以上説明したように本開示に係る画像生成装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ、或いは、補色フィルタ、可視光以外を主として透過するフィルタ等）と散乱部２０４とを有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂと、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成する生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）とを備え、散乱部２０４は、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前（例えば結像光学系２０１を通過した光が光学フィルタに至るまでの光路上）に位置し、散乱部２０４は、第１の屈折率を有する材料と、第１の屈折率と異なる第２の屈折率を有する材料とを含む。これにより、散乱部２０４での光の散乱により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光する、各画素としてのフォトダイオード２０３ａが、十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
【０１４４】
また、例えば、光学フィルタは、カラーフィルタ２０２ａ〜２０２ｃであり、ランダム光学フィルタアレイは、ランダムカラーフィルタアレイ２０２であり、生成回路は、カラー画像生成回路１０５であることとしてもよい。
【０１４５】
また、例えば、散乱部２０４は、第１の屈折率を有する材料で構成される第１の層（例えば樹脂層）と、第１の層に散在する第２の屈折率を有する材料を含む粒子２０４ａとを有することとしてもよい。
【０１４６】
また、例えば、第２の屈折率は１．９以上あることとしてもよい。
【０１４７】
また、例えば、粒子２０４ａは、ＳｉＮ、ＴｉＯ２、ＺｒＯ２、ＺｎＯ又はＴａ２Ｏ５で構成されることとしてもよい。
【０１４８】
また、例えば、粒子２０４ａの粒径は、５００ｎｍ以上１０００ｎｍ以下であることとしてもよい。
【０１４９】
また、例えば、散乱部２０４は、第１の屈折率を有する材料で構成される第１の層と、第２の屈折率を有する材料で構成される第２の層とを含み、略平面形状のランダム光学フィルタアレイの厚み方向（つまりその平面に直交する方向）に、第１の層と第２の層とは積層されることとしてもよい。
【０１５０】
また、例えば、生成回路は、マルチバンド画像生成回路１０７であることとしてもよい。
【０１５１】
また、例えば、生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）は、圧縮センシング技術を用いて画像を生成することとしてもよい。
【０１５２】
また、本開示に係る撮像装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ等）と散乱部２０４とを有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂとを備え、散乱部２０４は、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前に位置し、散乱部２０４は、第１の屈折率を有する材料と、第１の屈折率と異なる第２の屈折率を有する材料とを含む。これにより、散乱部２０４での光の散乱により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光し得るので、各画素としてのフォトダイオード２０３ａが、十分な情報を取得し得る。
【産業上の利用可能性】
【０１５３】
本開示に係る撮像システムは、各種カメラに適用可能である。
【符号の説明】
【０１５４】
１０  撮像システム
１１  撮像装置
１２  画像生成装置
１０１  波長変調部
１０２  変調画像取得部
１０３  送信回路
１０４  受信回路
１０５  カラー画像生成回路
１０６  出力Ｉ／Ｆ（インタフェース）装置
１０７  マルチバンド画像生成回路
２０１  結像光学系
２０２  ランダムカラーフィルタアレイ
２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ  カラーフィルタ
２０３  撮像素子
２０３ａ  フォトダイオード
２０３ｂ  ＡＤ変換部
２０４  散乱部
２０４ａ  粒子
【図１】
2018107794.tif 000013
【図２】
2018107794.tif 000014
【図３】
2018107794.tif 000015
【図４】
2018107794.tif 000016
【図５】
2018107794.tif 000017
【図６】
2018107794.tif 000018
【図７Ａ】
2018107794.tif 000019
【図７Ｂ】
2018107794.tif 000020
【図８】
2018107794.tif 000021
【図９】
2018107794.tif 000022
【図１０】
2018107794.tif 000023
【図１１】
2018107794.tif 000024
【図１２】
2018107794.tif 000025
【図１３】
2018107794.tif 000026
【図１４】
2018107794.tif 000027
【図１５】
2018107794.tif 000028
【図１６】
2018107794.tif 000029
【図１７】
2018107794.tif 000030
【図１８】
2018107794.tif 000031