(57)【要約】【課題】解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置を提供する。【解決手段】画像生成装置としての撮像システムは、透過特性が異なる複数のカラーフィルタ２０２ａ〜２０２ｃと複数の凹レンズとを有するランダムカラーフィルタアレイ２０２と、ランダムカラーフィルタアレイ２０２を透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂと、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成するカラー画像生成回路１０５とを備え、複数の凹レンズは、複数のカラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に位置する、又は、複数のカラーフィルタ２０２ａ〜２０２ｃは複数の凹レンズとフォトダイオードとの間に位置する。【選択図】図４
2018170757.tif 000002
【特許請求の範囲】
【請求項１】
透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、
前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、
前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、
前記複数の凹レンズは、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する
画像生成装置。
【請求項２】
前記複数の凹レンズの各々は、互いに、大きさ、屈折率、及び、レンズの凹面を規定する曲率のうちの１つ以上が異なる
請求項１に記載の画像生成装置。
【請求項３】
前記画像生成装置は、凸レンズを備え、
前記複数の光学フィルタが前記複数の凹レンズと前記フォトダイオードとの間に位置する場合は、前記複数の凹レンズは前記凸レンズと前記複数の光学フィルタの間に位置し、  前記複数の凹レンズは、前記凸レンズを透過した光を、前記複数の光学フィルタを透過するように発散させる
請求項１又は２記載の画像生成装置。
【請求項４】
前記複数の光学フィルタは、複数のカラーフィルタであり、
前記ランダム光学フィルタアレイは、前記複数のカラーフィルタをランダムに配置し、
前記生成回路が生成する前記画像は、カラー画像である
請求項１〜３のいずれか一項に記載の画像生成装置。
【請求項５】
前記生成回路が生成する前記画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像である
請求項１〜３のいずれか一項に記載の画像生成装置。
【請求項６】
前記生成回路は、圧縮センシング技術を用いて前記画像を生成する
請求項１〜５のいずれか一項に記載の画像生成装置。
【請求項７】
透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、
前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、
前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、
前記複数の凹レンズは、前記複数の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する
撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、圧縮センシング技術を用いた画像生成装置等に関する。
【背景技術】
【０００２】
カラー画像を撮像するためには、光の３原色に相当する赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの異なる波長域の情報を取得する必要がある。３つのイメージセンサでＲ、Ｇ及びＢの情報を取得するカラー撮像装置も存在する。しかし、多くのカラー撮像装置は、小型化及び低コスト化のために１つのイメージセンサしか搭載していない。そのため、多くのカラー撮像装置は、１つのイメージセンサでＲ、Ｇ及びＢの情報を取得する。
【０００３】
従来、画素毎にＲ、Ｇ及びＢのうち１つの波長域の情報を取得し、デモザイキングと呼ばれる処理を行うことで、画素毎にＲ、Ｇ及びＢの３つの波長域の情報を取得する手法が知られている。
【０００４】
図２１は、広く利用されているベイヤー配列を示した模式図である（例えば、特許文献１）。ベイヤー配列では、人間の視覚特性に近いＧの画素が全体の画素の１／２を占め、Ｒ及びＢの画素がそれぞれ全体の画素の１／４を占める。そして、デモザイキング処理によって、すべての画素に対してＲ、Ｇ及びＢの３つの波長域の情報が取得される。
【０００５】
一方、特許文献２では、ランダムな色パターンで光フィルタ要素を配置し、サンプルデータ集合に対して圧縮センシング技術を適用することでデモザイキングを行う技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】米国特許第５６２９７３４号明細書
【特許文献２】特表２０１３−５１１９２４号公報
【特許文献３】特許第５０５４８５６号公報
【特許文献４】特許第５０９５０４０号公報
【非特許文献】
【０００７】
【非特許文献１】Ｒｕｄｉｎ  Ｌ．  Ｉ．，  Ｏｓｈｅｒ  Ｓ．  Ｊ．，  ａｎｄ  Ｆａｔｅｍｉ  Ｅ．：  Ｎｏｎｌｉｎｅａｒ  ｔｏｔａｌ  ｖａｒｉａｔｉｏｎ  ｂａｓｅｄ  ｎｏｉｓｅ  ｒｅｍｏｖａｌ  ａｌｇｏｒｉｔｈｍｓ．  Ｐｈｙｓｉｃａ  Ｄ，  ｖｏｌ．６０，  ｐｐ．２５９−２６８，  １９９２．
【非特許文献２】Ｓｈｕｎｓｕｋｅ  Ｏｎｏ，  Ｉｓａｏ  Ｙａｍａｄａ，  “Ｄｅｃｏｒｒｅｌａｔｅｄ  Ｖｅｃｔｏｒｉａｌ  Ｔｏｔａｌ  Ｖａｒｉａｔｉｏｎ”，  ＩＥＥＥ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ  ａｎｄ  Ｐａｔｔｅｒｎ  Ｒｅｃｏｇｎｉｔｉｏｎ，  ２０１４．
【非特許文献３】Ｊ．  Ｍａ，  “Ｉｍｐｒｏｖｅｄ  Ｉｔｅｒａｔｉｖｅ  Ｃｕｒｖｅｌｅｔ  Ｔｈｒｅｓｈｏｌｄｉｎｇ  ｆｏｒ  Ｃｏｍｐｒｅｓｓｅｄ  Ｓｅｎｓｉｎｇ  ａｎｄ  Ｍｅａｓｕｒｅｍｅｎｔ”，  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｎｓｔｒｕｍｅｎｔａｔｉｏｎ  ＆  Ｍｅａｓｕｒｅｍｅｎｔ，  ｖｏｌ．６０，  ｎｏ．１，  ｐｐ．１２６−１３６，  ２０１１．
【非特許文献４】Ｍ．  Ａｈａｒｏｎ，  Ｍ．  Ｅｌａｄ，  ａｎｄ  Ａ．  Ｍ．  Ｂｒｕｃｋｓｔｅｉｎ，  “Ｋ−ＳＶＤ：  Ａｎ  Ａｌｇｏｒｉｔｈｍ  ｆｏｒ  Ｄｅｓｉｇｎｉｎｇ  Ｏｖｅｒｃｏｍｐｌｅｔｅ  Ｄｉｃｔｉｏｎａｒｉｅｓ  ｆｏｒ  Ｓｐａｒｓｅ  Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ，”  ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｉｍａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ，  ｖｏｌ．５４，  ｎｏ．１１，  ｐｐ．４３１１−４３２２，  ２００６．
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１及び２の手法では、イメージセンサの各画素において、Ｒ、Ｇ及びＢのうち１つの波長域の情報しか取得されない。そのため、デモザイキング後のカラー画像の解像度が低下し、偽色と呼ばれるアーチファクトが発生し得る。
【０００９】
本開示の非限定的ではない例示的な一態様は、解像度の低下を抑制して適切な画像を生成することが可能な画像生成装置である。また、本開示の非限定的ではない例示的な一態様は、適切な画像を生成するために用いられる撮像装置である。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【課題を解決するための手段】
【００１０】
本開示の一態様に係る画像生成装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記複数の凹レンズは、前記複数種類の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。
【００１１】
また、本開示の一態様に係る撮像装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記複数の凹レンズは、前記複数の光学フィルタと前記フォトダイオードとの間に位置する、又は前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。
【００１２】
上述の包括的または具体的な態様は、システム、方法及びコンピュータプログラム、コンピュータ読み取り可能な記録媒体を用いて実装されてもよいし、装置、システム、方法、コンピュータプログラム、及びコンピュータ読み取り可能な記録媒体の組み合わせを用いて実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）などの不揮発性の記録媒体を含む。
【発明の効果】
【００１３】
本開示によれば、解像度の低下が抑制され、適切な画像が生成され得る。本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１以上を得るために全てが必要ではない。
【図面の簡単な説明】
【００１４】
【図１】図１は、実施の形態１に係る撮像システムの構成を示す模式図である。
【図２】図２は、撮像システムにおける波長変調部及び変調画像取得部の構成の詳細を示す図である。
【図３】図３は、撮像システムにおけるランダムカラーフィルタアレイ及び撮像素子の構成を示す模式図である。
【図４】図４は、ランダムカラーフィルタアレイを含む撮像システムの模式図である。
【図５】図５は、実施の形態に係る３種類のフィルタの波長特性としての透過率を示す図である。
【図６】図６は、凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。
【図７】図７は、凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の断面を示す模式図である。
【図８】図８は、従来のカラー撮像装置におけるカラーフィルタアレイの模式図である。
【図９】図９は、変形例１に係る凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。
【図１０】図１０は、変形例２に係る凹レンズ及び３種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。
【図１１】図１１は、実施の形態に係る４種類のフィルタの波長特性としての透過率を示す図である。
【図１２】図１２は、凹レンズ及び４種類のフィルタで構成したランダムカラーフィルタアレイ並びに撮像素子の２次元平面上の配置を示す模式図である。
【図１３】図１３は、３種類の補色フィルタの波長特性としての透過率を示す図である。
【図１４】図１４は、実施の形態１に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。
【図１５】図１５は、撮像素子の画素数がＮ＝１６である場合の変調画像と生成画像とを示す模式図である。
【図１６】図１６は、実施の形態１におけるカラー画像生成回路等が生成したカラー画像の一例を示す。
【図１７】図１７は、実施の形態２に係る撮像システムの構成を示す模式図である。
【図１８】図１８は、実施の形態２に係る撮像システムにおける画像生成装置の主要な処理の手順を示すフローチャートである。
【図１９】図１９は、撮像素子の画素数がＮ＝１６である場合の生成画像（マルチバンド画像）を示す模式図である。
【図２０】図２０は、凹レンズの形状の別の例を示す断面図である。
【図２１】図２１は、ベイヤー配列を示す模式図である。
【発明を実施するための形態】
【００１５】
（本開示の基礎となる知見）
特許文献１及び２に記載の技術では、１つの画素において、Ｒ（赤色）、Ｇ（緑色）及びＢ（青色）のいずれかの情報しか取得されない。このため、取得される情報は必ずしも十分ではなく、解像度の高い適切な画像が生成されない可能性がある。
【００１６】
これに対して、例えばＲ、Ｇ及びＢの各波長帯域の情報を混合して各画素に与え、かつ、その情報の混合を画素群に対してランダムに行うことで、各画素からより多くの情報が得られ、得られた情報から圧縮センシング技術によって適切な画像が生成され得る。例えば、主としてＲの波長帯域を透過するＲフィルタ、主としてＧの波長帯域を透過するＧフィルタ、主としてＢの波長帯域を透過するＢフィルタの合計３種類のカラーフィルタ等といった、少ない種類の光学フィルタを用いて、画素群に対して疑似的にランダムな情報の混合を実現することが有用となる。例えば、撮像素子が受光する光の光路上に、入射した平行光束を収束させずに発散させる凹レンズ等で構成される光線発散部と比較的少ない種類の各光学フィルタとを配置して構成されるランダム光学フィルタアレイを設置して撮像する。これにより、光線発散部での光の発散によって各光学フィルタを透過した光は１つの画素及び近傍画素にも受光され、各画素には多くの情報が与えられることとなるので、解像度が高い適切な画像の生成が可能となり得る。このように、画素にＲ、Ｇ及びＢのいずれかの情報だけを与えるようにして混色を防止していた従来技術とは異なり、本開示に係る技術は、光線発散部を用いて光の発散により例えば混色等を生じさせることで、解像度が高い画像を生成し得る。以上の知見に基づき、以下、本開示に係る画像生成装置等を説明する。
【００１７】
本開示の一態様に係る画像生成装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部と、前記デジタルデータと、前記ランダム光学フィルタアレイの変調情報とを用いて、画像を生成する生成回路とを備え、前記複数の凹レンズは、前記複数種類の光学フィルタと、前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。ここで、同じ種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が同じであり、互いに異なる種類の光学フィルタ同士は、光の波長と光透過率との関係に係る波長特性が相違する。凹レンズが、複数種類の光学フィルタとフォトダイオードの間、又は複数種類の光学フィルタの前（つまりフォトダイオードの受光領域である受光面の前方）に位置し、例えば凸レンズ等の結像光学系部材を通過した光が受光面に至るまでの光路上に配置される。すなわち、（１）複数種類の光学フィルタとフォトダイオードの間に凹レンズを位置させる、又は、（２）凸レンズ等の結像光学系部材を通過した光が複数種類の光学フィルタに入射するまでの光路上に凹レンズを配置させ、かつ、凹レンズとフォトダイオードの間に複数種類の光学フィルタを位置させる。ランダム光学フィルタアレイの変調情報は、光学フィルタを略平面において複数配置して複数の凹レンズを含むランダム光学フィルタアレイにおける光透過率に関する情報であり、その平面上の位置及び光の波長に応じてその光透過率は変化し得る。なお、変調情報は、複数の凹レンズに対応する点拡がり関数にも関し、その平面上の位置に応じてその点拡がり関数は変化し得る。
【００１８】
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数の光学フィルタを透過する光が発散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
【００１９】
また、例えば、前記複数の凹レンズの各々は、互いに、大きさ、屈折率、及び、レンズの凹面を規定する曲率のうちの１つ以上が異なることとしてもよい。
【００２０】
このような互いに異なる複数の凹レンズにより、ランダム光学フィルタアレイは、複数の波長帯域の光が透過する任意の位置において、互いに異なる点拡がり関数を有することになる。このため、点拡がり関数が、単純な規則に従うのではなくランダムなものとなり、十分なランダム性を有するランダム光学フィルタアレイが実現され得る。
【００２１】
また、例えば、前記画像生成装置は、凸レンズを備え、前記複数の光学フィルタが前記複数の凹レンズと前記フォトダイオードとの間に位置する場合は、前記複数の凹レンズは前記凸レンズと前記複数の光学フィルタの間に位置し、前記複数の凹レンズは、前記凸レンズを透過した光を、前記複数の光学フィルタを透過するように発散させることとしてもよい。
【００２２】
これにより、凸レンズを透過した光がフォトダイオードに至るまでに凹レンズで発散されることで複数の光学フィルタを透過するので、画素に多くの情報が与えられることになる。
【００２３】
また、例えば、前記複数の光学フィルタは、複数のカラーフィルタであり、前記ランダム光学フィルタアレイは、前記複数のカラーフィルタをランダムに配置し、前記生成回路が生成する前記画像は、カラー画像であることとしてもよい。
【００２４】
これにより、例えばランダムに配置されたＲフィルタ、Ｇフィルタ及びＢフィルタ等のカラーフィルタの複数組のそれぞれを透過した光が、凹レンズで発散することにより近傍画素のフォトダイオード群において加算され、変調情報に基づいて例えば圧縮センシング技術で、解像度が高い適切なカラー画像が生成され得る。
【００２５】
また、例えば、前記生成回路が生成する前記画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像、すなわちマルバンド画像であることとしてもよい。
【００２６】
これにより、解像度の高いマルチバンド画像が生成され得る。なお、例えば、ランダム光学フィルタアレイを、可視光以外の波長帯域の光を透過する光学フィルタを含めて構成してもよい。
【００２７】
また、例えば、前記生成回路は、圧縮センシング技術を用いて前記画像を生成することとしてもよい。
【００２８】
この圧縮センシングにより、適切に画像が生成され得る。
【００２９】
また、本開示の一態様に係る撮像装置は、透過特性が異なる複数の光学フィルタと複数の凹レンズとを有するランダム光学フィルタアレイと、前記ランダム光学フィルタアレイを透過した光を受光するフォトダイオードと、前記フォトダイオードで受光した光をデジタルデータに変換するＡＤ変換部とを備え、前記複数の凹レンズは、前記複数の光学フィルタと前記フォトダイオードとの間に位置する、又は、前記複数の光学フィルタは前記複数の凹レンズと前記フォトダイオードとの間に位置する。
【００３０】
これにより、光の波長と透過率との関係に係る波長特性が相互に異なる複数の光学フィルタを透過する光が発散してフォトダイオードに受光され、各画素としてのフォトダイオードが十分な情報を取得することができるようになる。このため、各画素の情報を用いて解像度が比較的高い適切な画像が生成され得る。
【００３１】
なお、これらの包括的又は具体的な各種態様には、装置、システム、方法、集積回路、コンピュータプログラム、コンピュータで読み取り可能な記録媒体等の１つ又は複数の組み合わせが含まれる。
【００３２】
以下、図面を参照しながら、本開示における画像生成装置に係る撮像システムの実施の形態について説明する。ここで示す実施の形態は、いずれも一例に過ぎない。従って、以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態、並びに、ステップ及びステップの順序等は、一例であって、限定的なものではない。以下の実施の形態における構成要素のうち、独立請求項に記載されていない構成要素については、任意に付加可能な構成要素である。また、各図は、模式図であり、必ずしも厳密に図示されたものではない。
【００３３】
（実施の形態１）
図１は、本実施の形態に係る撮像システム１０の構成を示す。撮像システム１０は、撮像装置１１と画像生成装置１２とを備える。
【００３４】
撮像装置１１は、波長変調部１０１と、変調画像取得部１０２と、送信回路１０３とを有する。一方、画像生成装置１２は、受信回路１０４と、カラー画像生成回路１０５と、出力Ｉ／Ｆ（インタフェース）装置１０６とを有する。撮像装置１１と画像生成装置１２とは、一体化していてもよい。もちろん、撮像装置１１と画像生成装置１２とが一体化している場合、送信回路１０３及び受信回路１０４は省略し得る。
【００３５】
（撮像装置１１）
まず、図２を参照しながら撮像装置１１を説明する。
【００３６】
図２は、波長変調部１０１及び変調画像取得部１０２の構成の詳細を示す。
【００３７】
図２に示されるように、波長変調部１０１は、結像光学系２０１及びランダムカラーフィルタアレイ２０２に対応する。また、変調画像取得部１０２は、撮像素子２０３に対応する。
【００３８】
（結像光学系２０１）
結像光学系２０１は、少なくとも、１枚又は複数枚のレンズと、レンズ位置調整機構とを有する（いずれも図示せず）。１枚又は複数枚のレンズは被写体からの光を集めて、光信号を結像する。光信号は被写体の像を示す。レンズ位置調整機構は、例えば、レンズによる結像位置を調整するためのアクチュエータ及びアクチュエータの駆動量を制御する制御回路（コントローラ）である。なお、１枚又は複数枚のレンズの焦点が固定されている場合には、レンズ位置調整機構は不要である。また、ピンホールカメラのように、レンズを利用せずに光信号を結像させてもよい。
【００３９】
結像光学系２０１は光学系と呼んでもよい。
【００４０】
（撮像素子２０３）
図３は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の構成の詳細の一例を示す。
【００４１】
撮像素子２０３は、複数のフォトダイオード２０３ａと、少なくとも１つのＡＤ変換部２０３ｂとを含んで構成される。
【００４２】
フォトダイオード２０３ａは結像光学系２０１が結像した光信号を受け付け、ＡＤ変換部２０３ｂはフォトダイオード２０３ａの出力信号を受け付け、デジタル信号に変換する。デジタル信号は、画素毎の変調された画像である変調画像を示す。即ち、撮像素子２０３は、変調画像を生成する。撮像素子２０３は、レンズの焦点距離に配置される。
【００４３】
撮像素子２０３は光学系で集光された光を受光して、電気信号を出力する複数の画素を含む。画素は、フォトダイオード２０３ａに対応する。撮像素子２０３の複数のフォトダイオード２０３ａと複数の電気信号とは１対１に対応する。
【００４４】
（ランダムカラーフィルタアレイ２０２）
ランダムカラーフィルタアレイ２０２は、複数種類のカラーフィルタ２０２ａ〜２０２ｃと光線発散部２０４を含む。ランダムカラーフィルタアレイ２０２は、例えば、カラーフィルタ２０２ａ〜２０２ｃのそれぞれを複数個、略平面上の互いに異なる位置に配置してなるカラーフィルタの集合体と複数の光線発散部２０４とを備える。ランダムカラーフィルタアレイ２０２は、フォトダイオード２０３ａの受光面の前に配置される、つまり、ランダムカラーフィルタアレイ２０２は、結像光学系２０１から出力された光が撮像素子２０３に入射するまでにたどる光路上、例えば、結像光学系２０１の出光面とフォトダイオード２０３ａの受光面の間、に配置される。ランダムカラーフィルタアレイ２０２において複数種類のカラーフィルタ２０２ａ〜２０２ｃは、結像光学系２０１から出力された光がフォトダイオード２０３ａの受光面に入射するまでにたどる光路上に配置される。光線発散部２０４は、結像光学系２０１とフォトダイオード２０３ａとの間に配置される。光線発散部２０４は、結像光学系２０１と複数種類のカラーフィルタ２０２ａ〜２０２ｃの前、すなわち、光線発散部２０４は、結像光学系２０１と複数種類のカラーフィルタ２０２ａ〜２０２ｃの間に配置されてもよい。光線発散部２０４は、カラーフィルタ２０２ａ〜２０２ｃの後であって撮像素子２０３の前、すなわち、光線発散部２０４は、カラーフィルタ２０２ａ〜２０２ｃと撮像素子２０３の間に配置されてもよい。ここでは、光線発散部２０４は、複数種類のカラーフィルタ２０２ａ〜２０２ｃの前、すなわち、光線発散部２０４は、結像光学系２０１と複数種類のカラーフィルタ２０２ａ〜２０２ｃの間に配置される例を主に用いて説明する。
【００４５】
光線発散部２０４は、光線発散部２０４に入射する平行光束を収束させずに発散させるレンズである凹レンズで構成される。図３の例においては、光線発散部２０４である凹レンズは平凹レンズであって、結像光学系２０１からの光が凹レンズに入射する面が凹面形状で、凹レンズに入射した光が、凹レンズから出射する面が平面形状である。
【００４６】
カラーフィルタ２０２ａと、カラーフィルタ２０２ｂと、カラーフィルタ２０２ｃとは互いに種類（つまり、光の波長と透過率との関係に係る波長特性）の異なるカラーフィルタである。一例としては、１つの種類のカラーフィルタ２０２ａは、主としてＲの波長帯域を透過するＲフィルタであり、別の１つの種類のカラーフィルタ２０２ｂは、主としてＧの波長帯域を透過するＧフィルタであり、また別の１つの種類のカラーフィルタ２０２ｃは、主としてＢの波長帯域を透過するＢフィルタである。
【００４７】
図３の例は、ランダムカラーフィルタアレイ２０２において、１つのフォトダイオード２０３ａに対応して、３種類のカラーフィルタ２０２ａ〜２０２ｃのうちの１つのカラーフィルタが配置されていることを示している。各種類のカラーフィルタ２０２ａ〜２０２ｃの２次元平面上の配置（つまり２次元配列）は、例えばベイヤー配列（図２１参照）であり得る。
【００４８】
ランダムカラーフィルタアレイ２０２は、撮像素子２０３の受光面に接して配置されてもよい。ランダムカラーフィルタアレイ２０２は、撮像素子２０３の前に、前面から間隔を空けて配置、つまり、ランダムカラーフィルタアレイ２０２は、撮像素子２０３の受光面に非接触かつ撮像素子２０３の受光面側に配置されてもよい。この場合、ランダムカラーフィルタアレイ２０２と受光面間の距離は、ランダムカラーフィルタアレイ２０２と撮像素子２０３の受光面と反対側の面間の距離より短い。なお、本実施の形態においてはランダムカラーフィルタアレイ２０２に含まれるカラーフィルタ２０２ａ〜２０２ｃは、撮像素子２０３の受光面に非接触かつ撮像素子２０３の受光面側に配置される。
【００４９】
ランダムカラーフィルタアレイ２０２は、撮像素子２０３に入射する複数の波長帯域の光をフィルタリングするために用いられ、ランダムカラーフィルタアレイ２０２を用いて撮像した画像を変調画像と呼ぶ。ランダムカラーフィルタアレイ２０２は、複数の波長帯域の光が透過する任意の位置において、異なる光透過率と異なる点拡がり関数とを有している。ここで言う「位置」は、一定の面積を有する微小領域の位置を意味している。略平面形状の各カラーフィルタ２０２ａ〜２０２ｃを含むランダムカラーフィルタアレイ２０２が略平面形状であるとしてその平面上の各微小領域の位置毎に、光透過率及び点拡がり関数は相違し得る。このような位置毎の光透過率及び点拡がり関数は、ランダムカラーフィルタアレイ２０２を構成する複数種類のカラーフィルタ２０２ａ〜２０２ｃの波長特性と、ランダムカラーフィルタアレイ２０２の配置と、光線発散部２０４の構成及び配置とによって決まり、変調情報と呼ぶ。なお、光線発散部２０４の構成は材質を意味してもよい。また、光線発散部２０４の構成は、光線発散部２０４が凹レンズである場合、例えば凹レンズの大きさ、屈折率、レンズの凹面を規定する曲率の少なくとも１つで規定されてもよい。各微小領域の面積は、例えば撮像素子２０３の各フォトダイオード２０３ａの受光面積と等しくてもよいし、その受光面積より小さくてもよい。なお、光透過率は透過する波長（波長帯域）によっても異なり得る。
【００５０】
複数のフォトダイオード２０３ａとランダムカラーフィルタアレイ２０２に係る上述の複数の微小領域の位置とは、１対１で対応してもよい。
【００５１】
ランダムカラーフィルタアレイ２０２の更なる詳細は後に説明する。
【００５２】
（送信回路１０３）
送信回路１０３は、撮像素子２０３が撮像した変調画像と、ランダムカラーフィルタアレイ２０２に対応して設定された変調情報とを、画像生成装置１２に送信する。変調情報は、位置毎の波長特性としての光透過率と点拡がり関数とを示す。送信は、有線通信及び無線通信のいずれで行われてもよい。
【００５３】
なお、本実施の形態では、撮像システム１０が、送信回路１０３及び受信回路１０４を備え、概ねリアルタイムで変調画像及び変調情報を送受信して処理を行うことが想定されている。しかしながら、撮像システム１０は、変調画像及び変調情報を保存する記憶装置（例えばハードディスクドライブ）を備え、非リアルタイムで処理を行ってもよい。
【００５４】
（画像生成装置１２）
再び図１を参照し、画像生成装置１２の受信回路１０４、カラー画像生成回路１０５及び出力インタフェース装置１０６をそれぞれ説明する。
【００５５】
（受信回路１０４）
受信回路１０４は、撮像装置１１から出力された変調画像と変調情報とを受け取る。受信回路１０４と送信回路１０３との間の通信は、有線通信でも無線通信でもよい。なお、送信回路１０３が変調画像及び変調情報を有線通信で送信したとしても、有線通信を無線通信に変換する機器を経由することにより、受信回路１０４がこれらの情報を無線で受信してもよい。その逆も同様である。
【００５６】
（カラー画像生成回路１０５）
カラー画像生成回路１０５は、受信回路１０４が受信した変調画像及び変調情報を利用してカラー画像を生成する。カラー画像を生成する処理（カラー画像生成処理と称する）の詳細については後述する。カラー画像生成回路１０５は、生成されたカラー画像を出力インタフェース装置１０６に送る。
【００５７】
（出力インタフェース装置１０６）
出力インタフェース装置１０６は、映像出力端子等である。出力インタフェース装置１０６は、カラー画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。
【００５８】
（ランダムカラーフィルタアレイ２０２の詳細）
次に、図４〜図７を参照しながら、ランダムカラーフィルタアレイ２０２をより詳細に説明する。
【００５９】
図４は、ランダムカラーフィルタアレイ２０２を含む撮像システム１０の模式図である。
【００６０】
上述したように、ランダムカラーフィルタアレイ２０２は、位置に応じて、かつ、波長帯域に応じて、異なり得る光透過率及び点拡がり関数を有している。つまり、複数の波長帯域の光が透過する任意の複数の位置それぞれでは、各波長帯域の光透過率と点拡がり関数との組み合わせが互いに異なっている。このような光学特性を実現するために、本実施の形態のランダムカラーフィルタアレイ２０２は、光の波長帯域に応じた光透過率の互いに異なる複数種類のカラーフィルタ２０２ａ〜２０２ｃと複数の光線発散部２０４とを有している。また、ランダムカラーフィルタアレイ２０２において各位置に配置されたカラーフィルタの種類は相違し得る。即ち、互いに近傍の複数のフォトダイオード２０３ａに対応する位置毎に互いに異なる種類のカラーフィルタが配置され得る。カラーフィルタ２０２ａ〜２０２ｃは、従来のベイヤー配列（図２１参照）のように規則的に配置してもよく、ランダムに配置してもよい。なお、撮像素子２０３における各フォトダイオード２０３ａの前方から見て、各カラーフィルタは、相互に一部重なり合ってもよいが、図４の例のように、相互に重ならないことで、フォトダイオード２０３ａが受光する光量の低減が抑制され得る。
【００６１】
なお、図４では、ランダムカラーフィルタアレイ２０２が３種類のカラーフィルタ２０２ａ〜２０２ｃを含み、１つのカラーフィルタが１つのフォトダイオード２０３ａに対応する例を記載しているが、これは一例に過ぎず、カラーフィルタの種類数は３に限られず、１つのフォトダイオード２０３ａに対応して配置されるカラーフィルタの数も１に限られない。
【００６２】
図５は、３種類のカラーフィルタ２０２ａ〜２０２ｃの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、カラーフィルタ２０２ａであり、フィルタ２は、カラーフィルタ２０２ｂであり、フィルタ３は、カラーフィルタ２０２ｃである。
【００６３】
フィルタの波長特性は、フィルタに入射した光が、波長に応じて、どの程度、反射、透過及び吸収されるかを示す。反射光、透過光及び吸収光の総和は入射光に等しい。透過光と入射光との比率は、「透過率」と呼ばれる。この透過率を、光透過率とも称する。吸収光と入射光との比率は「吸収率」と呼ばれる。吸収率は、入射光の光量から反射光の光量と透過光の光量とを減算し、さらに入射光の光量で除算することでも求められる。図５では、各フィルタにおける光透過率と光の波長との関係を示している。
【００６４】
図６及び図７は、凹レンズで構成される光線発散部２０４及び３種類のカラーフィルタ２０２ａ〜２０２ｃで構成したランダムカラーフィルタアレイ２０２の模式図である。図６は、ランダムカラーフィルタアレイ２０２における光線発散部２０４を構成する凹レンズ、及び、各カラーフィルタ、並びに、撮像素子２０３の各フォトダイオード２０３ａの、２次元平面上の配置を示す。この２次元平面は、例えば撮像素子２０３の受光面に平行な平面である。図６では、カラーフィルタ２０２ａ、２０２ｂ及び２０２ｃをそれぞれ、Ｒ、Ｇ、Ｂで表しており、カラーフィルタ２０２ａ〜２０２ｃが、ランダムに配置された例を示している。ランダム配置の実現方法は、例えば、特許文献２、特許文献３、特許文献４に開示されている。また図６では、各光線発散部２０４を構成する凹レンズの外周が円形状である例を表している。図７は、ランダムカラーフィルタアレイ２０２及び撮像素子２０３の断面を示す。ランダムカラーフィルタアレイ２０２において、入射した光線を発散させる凹レンズで構成される光線発散部２０４は、撮像素子に対応して従来備えられた凸レンズであるマイクロレンズを凹レンズに置き換えることで実現され得る。なお、従来のマイクロレンズは、入射光を集光することで撮像素子のフォトダイオードに入射する光量を増加させることを目的としているため、凸レンズで構成されている。一方、光線発散部２０４は、ランダムサンプリングを実現するために、入射光を発散させることを目的としているため、凹レンズを用いて構成される。
【００６５】
光線発散部２０４の凹レンズは、例えば、レンズの表面がレンズの中心に向かって凹む形状を有する。図７の例では、光線発散部２０４である凹レンズは平凹レンズであって、光が凹レンズに入射する面が凹面形状で、凹レンズに入射した光が、凹レンズから出射する面が平面形状である。光線発散部２０４の凹レンズの凹面は、例えば球面の一部と同様の形状である。この凹面が球面の一部と同様の形状を有する凹レンズは、レンズの光軸に垂直な任意の方向から見た、レンズの光軸を通る断面において凹部が円弧の形状を有する。
【００６６】
図７に示すように、３種類のカラーフィルタ２０２ａ〜２０２ｃは、撮像素子２０３から間隔をあけて配置されており、結像光学系２０１を透過した光が光線発散部２０４で発散され、３種類のカラーフィルタ２０２ａ〜２０２ｃを透過し、複数のフォトダイオード２０３ａで受光される。光線発散部２０４での光の発散により、例えば、第１光と第２光が１つのカラーフィルタを透過した場合、複数のフォトダイオード２０３ａに含まれるフォトダイオードＡが第１光、複数のフォトダイオード２０３ａに含まれるフォトダイオードＢが第２光を受光し得るし、ランダムカラーフィルタアレイ２０２に含まれる複数のカラーフィルタに含まれるカラーフィルタＡを透過した第３光と複数のカラーフィルタに含まれるカラーフィルタＢを透過した第４光を１つのフォトダイオード２０３ａが受光し得る。
【００６７】
図８は、従来のカラー撮像装置におけるベイヤー配列のカラーフィルタアレイ２０６の模式図である。本実施の形態に係るランダムカラーフィルタアレイ２０２（図７参照）と対比して、従来のカラーフィルタアレイ２０６は、光線発散部２０４を有しない。また、従来のカラーフィルタアレイ２０６では、カラーフィルタ間のクロストークを防止するため、カラーフィルタアレイ２０６を構成する１つのカラーフィルタ（カラーフィルタ２０２ａ等）を透過した光線が、できる限り同じフォトダイオード２０３ａで受光されるように設計されている。これを以下に説明する。
【００６８】
図８おいて、左端の配置位置である第１配置位置のカラーフィルタ２０２ａは左端の配置位置である第４配置位置のフォトダイオード２０３ａに対応し、中央の配置位置である第２配置位置のカラーフィルタ２０２ｂは中央の配置位置である第５配置位置のフォトダイオード２０３ａに対応し、右端の配置位置である第３配置位置のカラーフィルタ２０２ａは右端の配置位置である第６配置位置のフォトダイオード２０３ａに対応する。図８において、実線で示した光線は、第１配置位置のカラーフィルタ２０２ａを透過し、第２配置位置のカラーフィルタ２０２ｂを透過せず、第３配置位置のカラーフィルタ２０２ａを透過しない。第１配置位置のカラーフィルタ２０２ａに対応する第４配置位置のフォトダイオード２０３ａは実線で示した光線を受光し、第２配置位置のカラーフィルタ２０２ｂに対応する第５配置位置のフォトダイオード２０３ａは実線で示した光線を受光せず、第３配置位置のカラーフィルタ２０２ａに対応する第６配置位置のフォトダイオード２０３ａは実線で示した光線を受光しない。図８おいて、点線で示した光線は、第１配置位置のカラーフィルタ２０２ａを透過せず、第２配置位置のカラーフィルタ２０２ｂを透過し、第３配置位置のカラーフィルタ２０２ａを透過しない。第１配置位置のカラーフィルタ２０２ａに対応する第４配置位置のフォトダイオード２０３ａは点線で示した光線を受光せず、第２配置位置のカラーフィルタ２０２ｂに対応する第５配置位置のフォトダイオード２０３ａは点線で示した光線を受光し、第３配置位置のカラーフィルタ２０２ａに対応する第６配置位置のフォトダイオード２０３ａは点線で示した光線を受光しない。図８おいて、破線で示した光線は、第１配置位置のカラーフィルタ２０２ａを透過せず、第２配置位置のカラーフィルタ２０２ｂを透過せず、第３配置位置のカラーフィルタ２０２ａを透過する。第１配置位置のカラーフィルタ２０２ａに対応する第４配置位置のフォトダイオード２０３ａは破線で示した光線を受光せず、第２配置位置のカラーフィルタ２０２ｂに対応する第５配置位置のフォトダイオード２０３ａは破線で示した光線を受光せず、第３配置位置のカラーフィルタ２０２ａに対応する第６配置位置のフォトダイオード２０３ａは破線で示した光線を受光する。以上で、図８の説明を終える。
【００６９】
図７に示した本実施の形態に係るランダムカラーフィルタアレイ２０２では、例えば、実線で示す光３２２は、図８の実線で示した光の例と同様に、図７で左端の配置位置のカラーフィルタ２０２ａを透過して、図７で左端の配置位置のフォトダイオード２０３ａに受光されるが、実線で示す光３２１は、光線発散部２０４の凹レンズで発散され、図７で左端の配置位置のカラーフィルタ２０２ａを透過して、図８の実線で示した光の例とは異なって、図７で中央の配置位置のフォトダイオード２０３ａに受光される。
【００７０】
また、図７で、点線で示す光３２３は、光線発散部２０４の凹レンズで発散され、図７で中央の配置位置のカラーフィルタ２０２ｂを透過して、図８の点線で示した光の例とは異なって、図７で左端の配置位置のフォトダイオード２０３ａに受光される。
【００７１】
また、図７で、破線で示す光３２４は、光線発散部２０４の凹レンズで発散され、図８の破線で示した光の例とは異なって、図７で中央の配置位置のカラーフィルタ２０２ｂを透過して、図７で左端の配置位置のフォトダイオード２０３ａに受光される。
【００７２】
このように、本実施の形態のランダムカラーフィルタアレイ２０２は、光線発散部２０４を有することにより、複数の位置の異なるカラーフィルタを透過した光を１つのフォトダイオード２０３ａに受光させ、また、同一の位置の同一カラーフィルタを透過した光を複数のフォトダイオード２０３ａに受光させる。つまり、ランダムカラーフィルタアレイ２０２は、光線発散部２０４を有することで、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有するので、空間的にも、波長的にもランダムなサンプリングを実現可能にする。
【００７３】
なお、図７では、ランダムカラーフィルタアレイ２０２において光線発散部２０４である凹レンズは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置し、かつ、光線発散部２０４である凹レンズは、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に配置しない例を示した。
【００７４】
ランダムカラーフィルタアレイ２０２において光線発散部２０４である凹レンズは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置し、かつ、光線発散部２０４である凹レンズはカラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間にも更に配置してもよい。
【００７５】
ランダムカラーフィルタアレイ２０２において光線発散部２０４である凹レンズは、結像光学系２０１とカラーフィルタ２０２ａ〜２０２ｃとの間に配置せず、かつ、光線発散部２０４である凹レンズは、カラーフィルタ２０２ａ〜２０２ｃとフォトダイオード２０３ａとの間に配置することとしてもよい。
【００７６】
また、図６及び図７の例では、個々の光線発散部２０４の凹レンズの大きさは、カラーフィルタ２０２ａ〜２０２ｃ及びフォトダイオード２０３ａと略同等にしたが、光線発散部２０４の凹レンズの大きさは、これに限られず、カラーフィルタ２０２ａ〜２０２ｃ及びフォトダイオード２０３ａよりも大きくてもよく、小さくてもよい。図６に示した光線発散部２０４の凹レンズの大きさを、より大きくした、ランダムカラーフィルタアレイ２０２の変形例１について図９に示す。図９の変形例１では、ランダムカラーフィルタアレイ２０２において、光線発散部２０４を変形して光線発散部２０４ａにしている。また、図９では、各光線発散部２０４ａを構成する凹レンズの外周が円形状である例を表している。この例では、個々の光線発散部２０４ａの凹レンズの大きさを、カラーフィルタ２０２ａ〜２０２ｃ及びフォトダイオード２０３ａより大きくしている。図９に示すように、個々の凹レンズをフォトダイオード２０３ａ等より大きくすることにより、フォトダイオード２０３ａにおける点拡がり関数は位置によるバリエーションが増えるため、よりランダム性を増したランダムカラーフィルタアレイ２０２を実現することができる。ランダムカラーフィルタアレイ２０２のランダム性が上がると、圧縮センシングによりカラー画像生成回路１０５が生成するカラー画像の画質が向上する。
【００７７】
ここまでの説明では、ランダムカラーフィルタアレイ２０２が備える複数の光線発散部２０４或いは複数の光線発散部２０４ａを構成する各凹レンズの大きさが一定である例を示した。しかし、ランダムカラーフィルタアレイ２０２が備える複数の凹レンズのそれぞれは、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なることとしてもよい。曲率は、凹レンズの曲面についての曲率である。凹レンズの曲率は、例えば凹レンズの光軸を通る断面において凹部が円弧の形状を有する場合にその円弧を有する円の半径の逆数である。なお、例えば、複数の凹レンズそれぞれの材質を互いに異ならせることで、凹レンズの屈折率を互いに異なるようにすることができる。ランダムカラーフィルタアレイ２０２の位置毎の点拡がり関数をランダムにすることは、例えば、ランダムカラーフィルタアレイ２０２が備える複数の凹レンズのそれぞれを、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なるようにすることで実現され得る。
【００７８】
図６に示した各凹レンズの大きさを、その凹レンズの位置毎に異なるようにした、ランダムカラーフィルタアレイ２０２の変形例２について図１０に示す。図１０の変形例２では、ランダムカラーフィルタアレイ２０２において、図６に示した光線発散部２０４の凹レンズと、それより大きいサイズである、図９に示した光線発散部２０４ａの凹レンズと、更に大きいサイズにした光線発散部２０４ｂの凹レンズとを含むようにしている。この例では、個々の光線発散部２０４、２０４ａ、２０４ｂの各凹レンズの大きさは、互いに異なる。このようにすることで、ランダムカラーフィルタアレイ２０２の位置毎の点拡がり関数のバリエーションが増加して多様になり、ランダムカラーフィルタアレイ２０２のランダム性を向上させることができる。ランダムカラーフィルタアレイ２０２が備える複数の凹レンズのそれぞれの大きさが互いに異なる他に、複数の凹レンズそれぞれの屈折率が互いに異なる場合、或いは、曲率が互いに異なる場合、或いは、大きさ、屈折率、及び、曲率のうち複数が互いに異なる場合においても、ランダムカラーフィルタアレイ２０２の位置毎の点拡がり関数のバリエーションが増加し、ランダムカラーフィルタアレイ２０２のランダム性を向上させることができる。ランダムカラーフィルタアレイ２０２のランダム性が上がると、圧縮センシングによりカラー画像生成回路１０５が生成するカラー画像の画質が向上する。
【００７９】
このように、光線発散部２０４は、光線発散部２０４ａに置き換えてもよく、光線発散部２０４ａ及び光線発散部２０４ｂと組み合わせてもよい。光線発散部２０４を構成する凹レンズの大きさ、屈折率、或いは、曲率は、凹レンズそれぞれについて任意に変更可能である。
【００８０】
以上のように、本実施の形態に係る撮像システム１０では、ランダムカラーフィルタアレイ２０２は、入射した光線を発散させる光線発散部２０４或いは光線発散部２０４ａ、２０４ｂを有することで、位置及び光の波長に応じて異なる光透過率と点拡がり関数とを有し、ランダムな（つまりランダムサンプリングを可能とする）光学フィルタアレイを実現している。ランダムカラーフィルタアレイ２０２において入射した光線を発散させる複数の凹レンズのそれぞれについて、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なるようにすれば、例えば点拡がり関数をランダムにすることができ、ランダムカラーフィルタアレイ２０２のランダム性を向上させることが可能である。この他に、例えば、図６に示すように、ランダムカラーフィルタアレイ２０２における、２次元平面上に２次元配列をなす各位置に３種類のカラーフィルタ２０２ａ〜２０２ｃのうちいずれか１つがランダムに選択されて配置されていれば、ランダムに配置されていない場合に比べて、ランダム性が向上し得る。
【００８１】
以上の説明では、ランダムカラーフィルタアレイ２０２を構成するフィルタは３種類のカラーフィルタ２０２ａ〜２０２ｃとしたが、フィルタを４種類以上にしてもよく、互いに波長特性として光透過率の異なる光学フィルタとして機能するものであれば、必ずしもカラーフィルタでなくてもよい。以下、上述のランダムカラーフィルタアレイ２０２として、４種類のフィルタを利用する形態について、説明する。
【００８２】
図１１は、４種類のフィルタの各波長特性としての光透過率を示す。また、図１２は、４種類のフィルタで構成したランダムカラーフィルタアレイ２０２の凹レンズ及び各フィルタ、並びに、撮像素子２０３の各フォトダイオード２０３ａの、２次元平面上の配置を示す。図１１において、フィルタ１〜３は、カラーフィルタ２０２ａ〜２０２ｃであり、フィルタ４は、全域を透過するフィルタである。図１２においてこのフィルタ４としてのカラーフィルタ２０２ｄをＷで表している。ここでは、ランダムカラーフィルタアレイ２０２における、この全域を透過するフィルタを、便宜上カラーフィルタと称する。このフィルタ４（つまりカラーフィルタ２０２ｄ）は、ランダムカラーフィルタアレイを生成する際、フィルタとしての部材を入れないことで実現可能である。このように部材を入れない部分を設けることで、全域を透過するフィルタを、ランダムカラーフィルタアレイ２０２に含ませると、コストを抑えることができる。また、フィルタの種類を増やすことで、ランダムカラーフィルタアレイ２０２のランダム性を向上させることができる。ランダムカラーフィルタアレイ２０２のランダム性が上がると、圧縮センシングによりカラー画像生成回路１０５が生成するカラー画像の画質が向上する。
【００８３】
上述の実施の形態で、ランダムカラーフィルタアレイ２０２を構成する３種類のカラーフィルタ２０２ａ〜２０２ｃは、それぞれ、Ｒ（赤色）フィルタ、Ｇ（緑色）フィルタ、Ｂ（青色）フィルタであることとしたが、フィルタ特性は、これに限らない。例えば、ランダムカラーフィルタアレイ２０２において、Ｒフィルタ、Ｇフィルタ或いはＢフィルタという原色フィルタに比べて透過帯域の広い補色フィルタ（例えばマゼンタ、シアン、黄色のフィルタ）を利用することとしてもよい。
【００８４】
図１３は、３種類の補色フィルタの各波長特性としての光透過率を示す図である。同図において、フィルタ１は、例えばマゼンタのフィルタであり、フィルタ２は、例えばシアンのフィルタであり、フィルタ３は、例えば黄色のフィルタである。
【００８５】
このような補色フィルタを利用することで、透過帯域が広がるため、ノイズを低減した画像を取得することができる。
【００８６】
もちろん、ランダムカラーフィルタアレイ２０２を構成するフィルタとして、Ｒ、Ｇ、Ｂのカラーフィルタつまり原色フィルタと、波長帯域の全域を透過するフィルタと、補色フィルタとを組み合わせるようにしてもよい。例えば、図１１と図１３とで示した各フィルタを組み合わせてランダムカラーフィルタアレイ２０２を構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、７種類のフィルタの組み合わせ及び光線発散部２０４を有することで、ランダム性が向上し得る。
【００８７】
同様に、図５と図１３とで示した各フィルタを組み合わせ、６種類のフィルタの組み合わせ及び光線発散部２０４を有するランダムカラーフィルタアレイ２０２を構成してもよい。例えば、ランダムカラーフィルタアレイ２０２を、６種類のフィルタのうちの６個を透過した光が１つのフォトダイオード２０３ａで受光されるように構成してもよい。この場合には、ランダムカラーフィルタアレイ２０２は、６種類のフィルタの組み合わせ及び光線発散部２０４を有することで、ランダム性が向上し得る。
【００８８】
（画像生成装置１２の処理）
次に、図１４に即して画像生成装置１２（図１参照）における処理について説明する。
【００８９】
図１４は、画像生成装置１２の主要な処理の手順を示すフローチャートである。
【００９０】
画像生成装置１２の受信回路１０４は、撮像装置１１の送信回路１０３が送信した変調画像と変調情報とを受信する（ステップＳ１０１）。
【００９１】
次に、カラー画像生成回路１０５は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、カラー画像を生成する（ステップＳ１０２）。
【００９２】
次に、出力インタフェース装置１０６は、カラー画像生成回路１０５が生成したカラー画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０３）。
【００９３】
（カラー画像生成処理）
以下、ステップＳ１０２でのカラー画像生成回路１０５によるカラー画像生成処理について、より詳しく説明する。
【００９４】
カラー画像生成処理は、撮像された変調画像をｙ、生成されるカラーＲＧＢ画像である生成画像をｘとした場合、以下のように定式化できる。
【００９５】
【数１】
2018170757.tif 000003
【００９６】
ここで、行列Ａは、変調情報を示すサンプリング行列である。サンプリング行列Ａは、変調画像ｙと、生成画像ｘとの関係を示している。例えば、画素数がＮである場合、変調画像ｙはＮ行１列の行列で表現され、生成画像ｘは３Ｎ行１列の行列で表現され、サンプリング行列ＡはＮ行３Ｎ列の行列で表現される。
【００９７】
以下、サンプリング行列Ａの取得方法を説明する。
【００９８】
サンプリング行列Ａは、位置毎にかつ波長帯域に応じて異なる光透過率と点拡がり関数とを示す。そこで、例えば、被写体として撮像素子２０３が撮像する視野の全てを覆うようなモニタを配置し、モニタ上に赤、緑及び青のドット画像を順番に表示しながら撮影することで、サンプリング行列Ａを取得することができる。つまり、正解RGB値が既知のL種類の画像xi（i=1,…,L）を提示し、その際に撮像された変調画像をyiとした場合、以下の関係式が成り立つ。
【００９９】
【数２】
2018170757.tif 000004
【０１００】
ここで、サンプリング行列ＡはＮ行３Ｎ列の行列であるため、Lが３N以上であれば、式１’からサンプリング行列Ａを求めることができる。もちろん、このような処理は、実際にモニタ上に画像を表示したり、実際の被写体を配置して行ってもかまわないし、カラーフィルタの波長特性や光線発散部の大きさ、屈折率、及び、曲率などの情報を利用して、コンピュータシミュレーションによって計算してもかまわない。
【０１０１】
次に、カラー画像生成回路１０５においてサンプリング行列Ａ及び変調画像ｙから生成画像ｘを取得する方法を説明する。説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６である場合について説明する。
【０１０２】
図１５は、撮像素子２０３の画素数がＮ＝１６である場合の変調画像ｙとこの変調画像ｙに基づいて生成される生成画像（カラーＲＧＢ画像）ｘのＲ画像ｒ、Ｇ画像ｇ、Ｂ画像ｂを示す模式図である。この図において、（ａ）は変調画像ｙ、（ｂ）は変調画像ｙに基づいて生成されたカラーＲＧＢ画像の赤（Ｒ）チャネルであるＲ画像ｒ、（ｃ）は変調画像ｙに基づいて生成されたカラー画像の緑（Ｇ）チャネルであるＧ画像ｇ、（ｄ）は変調画像ｙに基づいて生成されたカラー画像の青（Ｂ）チャネルであるＢ画像ｂを示している。変調画像ｙと生成画像ｘとは、次式で表される。
【０１０３】
【数３】
2018170757.tif 000005
【０１０４】
この式２から明らかなように、式１において、未知数であるｘの要素数が４８であり、観測数であるｙの要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式１は、不良設定問題となっている。
【０１０５】
撮像システム１０は、この不良設定問題を解くために、圧縮センシング技術を利用する。圧縮センシング技術とは、信号のセンシング時に加算処理（符号化）することによりデータ量を圧縮し、圧縮したデータを利用して復元処理を行うことで元の信号を復号（復元）する技術である。圧縮センシング処理では、不良設定問題を解くために、事前知識が利用される。
【０１０６】
自然画像に対する事前知識として、画像上の近傍位置間における輝度変化の絶対値和であるトータル・バリエーション（Total Variation）（例えば、非特許文献１及び非特許文献２）が利用されてもよい。また、ウェーブレット（Wavelet）変換、ＤＣＴ変換、カーブレット（Curvelet）変換等の線形変換において多くの係数が０になるというスパース性（例えば、非特許文献３）が利用されてもよい。また、上述の線形変換の変換係数を学習によって取得するディクショナリ・ラーニング（Dictionary Learning）（例えば、非特許文献４）等が利用されてもよい。
【０１０７】
ここでは、トータル・バリエーションの一種に分類される手法である、デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）について説明する。この手法は、カラー画像の輝度成分と色差成分の勾配とを分離して計算することにより、偽色と呼ばれるアーチファクトの発生を抑制する。これは、以下の評価関数を最小化することで実現される。
【０１０８】
【数４】
2018170757.tif 000006
【０１０９】
この評価関数は、以下の３つの項から成り立っている。
【０１１０】
１．データフィデリティ（Data Fidelity）項：｜｜Ａｘ−ｙ｜｜２２：式１を満たす
ための拘束項。
【０１１１】
２．ダイナミックレンジ（Dynamic Range）項：最小値ｍｉｎを演算するためのｘの範囲（［０，２５５］３×Ｎ）：画素値が０以上２５５以下であるための拘束項。
【０１１２】
３．デ・コリレイテッド・ベクトリアル・トータル・バリエーション（Decorrelated Vectorial Total Variation）項：Ｊ（ｘ）：カラー画像の輝度成分と色差成分との勾配を分離したトータル・バリエーション（Total Variation）項。
【０１１３】
ここで、｜｜Ａｘ−ｙ｜｜２２は、Ａｘ−ｙの２乗和（Ｌ２ノルムの２乗）を示す。また、Ｊ（ｘ）は、画像全体における輝度成分及び色差成分に関する近傍画素間の差分に対応し、以下の式４〜式８で表現される。なお、式４〜式８において、Ｒは実数、Ｒ＋は非負の実数を示す。
【０１１４】
【数５】
2018170757.tif 000007
【０１１５】
【数６】
2018170757.tif 000008
【０１１６】
【数７】
2018170757.tif 000009
【０１１７】
【数８】
2018170757.tif 000010
【０１１８】
【数９】
2018170757.tif 000011
【０１１９】
図１６は、本実施の形態におけるカラー画像生成回路１０５が生成したカラー画像の一例を示す。図１６において、（ａ）は３板式カメラで撮像した正解画像（正解カラー画像）を示す。（ｂ）は一般的なデモザイキング手法であって特許文献１に記載のＡＣＰＩ（Adaptive Color Plane Interpolation）法によるデモザイキング画像を示す。（ｃ）は本実施の形態におけるカラー画像生成回路１０５により、デ・コリレイテッド・ベクトリアル・トータル・バリエーションを用いて、生成した生成画像（復元画像）を示している。本願発明者らは実際にカラー画像を生成し比較したが、図１６では、各画像が、その画像の輝度値（つまり色毎の係数を乗じてＲ、Ｇ及びＢの各成分値を加算することで算定した輝度値）に応じた濃淡により図示されている。また、図１６では、それぞれの画像に対するＰＳＮＲ（Peak Signal-to-Noise Ratio）も示している。
【０１２０】
図１６に示すように、本実施の形態の生成画像（復元画像）は、ＡＣＰＩ法よりもＰＳＮＲが１ｄＢ以上向上しており、正解画像に最も近いと言える。
【０１２１】
また、圧縮センシングでは、サンプリング行列Ａのランダム性が上がれば上がるほど、復元画像の画質が向上することが知られている。本実施の形態のランダムカラーフィルタアレイ２０２は、光線発散部２０４を有することでサンプリング行列Ａのランダム性を上げており、これにより復元画像の画質が向上し得る。
【０１２２】
上述したランダムカラーフィルタアレイ２０２を利用して撮像を行う撮像システム１０によれば、圧縮センシング技術によってカラー画像生成処理が行われることにより、アーチファクトが低減された、高精細のカラー画像を取得することができる。
【０１２３】
（実施の形態２）
図１７は、本実施の形態に係る撮像システム１０の構成を示す。本実施の形態に係る撮像システム１０の構成要素のうち、実施の形態１で示した撮像システム１０と同じ構成要素については、図１７において図１と同一の符号を付しており、ここでは説明を適宜省略する。本実施の形態に係る撮像システム１０は、画像生成装置１２において、実施の形態１で示したカラー画像生成回路１０５の代わりに、マルチバンド画像生成回路１０７を備える。この撮像システム１０は、３原色のＲＧＢカラー画像に限られないマルチバンド画像を生成し得る。マルチバンド画像は、光の波長帯域を４以上の領域に分割した信号で表現する画像である。その波長帯域は可視光に限られず、近赤外、赤外、紫外等の波長帯域であってもよく、マルチバンド画像は、例えば近赤外光画像、赤外光画像、紫外光画像等であり得る。
【０１２４】
マルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成する。マルチバンド画像生成回路１０７は、生成されたマルチバンド画像を出力インタフェース装置１０６に送る。
【０１２５】
本実施の形態に係る出力インタフェース装置１０６は、マルチバンド画像を、デジタル信号として又はアナログ信号として画像生成装置１２の外部に出力する。出力インタフェース装置１０６は、明るいシーンでは可視光のカラー画像を出力し、暗いシーンでは近赤外光画像を出力するよう、出力画像を切り替えるようにしてもよい。
【０１２６】
また、本実施の形態に係る撮像システム１０の波長変調部１０１（図１７参照）におけるランダムカラーフィルタアレイ２０２は、Ｒフィルタ、Ｇフィルタ、Ｂフィルタ等のカラーフィルタの他に、例えば主として近赤外光を透過するフィルタ等を含む複数種類の光学フィルタの配列として構成され、光線発散部２０４を含むランダム光学フィルタアレイであることとしてもよい。例えば、マルチバンド画像として近赤外光画像を取得する場合において、ランダム光学フィルタアレイには、近赤外光を透過するフィルタを含ませ得る。
【０１２７】
以下、図１８に即して本実施の形態に係る画像生成装置１２（図１７参照）における処理について説明する。
【０１２８】
図１８は、本実施の形態における画像生成装置１２の主要な処理の手順を示すフローチャートである。同図において、図１４と同じ要素には、同一の符号を付している。
【０１２９】
画像生成装置１２の受信回路１０４は、送信回路１０３が送信した変調画像と変調情報を受信する（ステップＳ１０１）。
【０１３０】
次にマルチバンド画像生成回路１０７は、変調画像と変調情報から、画像復元技術（例えば圧縮センシング技術）を利用して、マルチバンド画像を生成するマルチバンド画像生成処理を行う（ステップＳ１０４）。
【０１３１】
次に、出力インタフェース装置１０６は、マルチバンド画像生成回路１０７が生成したマルチバンド画像を、ディスプレイに表示したり人検出等の画像処理に利用したりするために出力する（ステップＳ１０５）。
【０１３２】
（マルチバンド画像生成処理）
以下、ステップＳ１０４でのマルチバンド画像生成処理について、より詳しく説明する。
【０１３３】
マルチバンド画像の生成処理は、撮像された変調画像をｙ’、生成されるＭバンドのマルチバンド画像をｘ’とした場合（Ｍは４以上の整数）、以下のように定式化できる。
【０１３４】
【数１０】
2018170757.tif 000012
【０１３５】
ここで、行列Ａは、変調情報を示すサンプリング行列である。
【０１３６】
説明を簡略化するために、撮像素子２０３の画素数がＮ＝１６（図１５参照）であるとすると、この変調画像ｙ’と、この変調画像ｙ’に基づいて生成されるマルチバンド画像である生成画像ｘ’とは、次式で表される。生成画像ｘ’を、Ｍ個のチャネルそれぞれの画像に分けて表すと図１９に示すようになる。
【０１３７】
【数１１】
2018170757.tif 000013
【０１３８】
この式１０から明らかなように、式９において未知数であるｘ’の要素数が１６Ｍであり、観測数であるｙ’の要素数が１６である。つまり、未知数に対して方程式の数が少ない。そのため、式９は、不良設定問題となっている。しかし、実施の形態１で示したように、圧縮センシング技術を利用することでこの不良設定問題を解くことができる。本実施の形態の撮像によりマルチバンド画像を生成する撮像システム１０についても、実施の形態１で示した各種技術を適用し得る。
【０１３９】
以上のように、本実施の形態の撮像システム１０は、ランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイを利用して撮像を行い、圧縮センシング技術によってマルチバンド画像生成処理を行うことにより、アーチファクトを低減し、高精細のマルチバンド画像を取得することができる。
【０１４０】
（他の実施の形態）
以上のように、本開示に係る技術の例示として実施の形態１、２を説明した。しかしながら、本開示に係る技術は、これらの実施の形態に限定されず、適宜、変更、置き換え、付加、省略等を行った実施の形態にも適用可能である。即ち、本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を上記実施の形態に施した形態、互いに異なる実施の形態における構成要素を組み合わせて構築される形態等は、本開示に係る技術の一実施態様に含まれる。例えば、以下のような変形例も本開示に係る技術の一実施態様に含まれる。
【０１４１】
上記実施の形態では、撮像システム１０が撮像装置１１と画像生成装置１２とを備える例を示したが、本開示に係る画像生成装置は、上述した撮像装置１１を包含したものであってもよく、つまり、上述した撮像システム１０で構成されてもよい。
【０１４２】
上記実施の形態では、カラー画像或いはマルチバンド画像を生成する撮像システム１０を示したが、撮像システム１０は、光の任意の波長帯域を２つ以上の領域に分割した信号で表現する画像を生成することとしてもよく、例えば、撮像システム１０が、赤外光領域を３つの領域に分割した信号で表現する画像を生成することとしてもよい。
【０１４３】
また、上述した結像光学系２０１は、結像のためにレンズを用いるものに限られず、例えば反射鏡等を用いるものであってもよい。
【０１４４】
また、上記実施の形態では図４、図７等で、光線発散部２０４が入射光を透過してフォトダイオード２０３ａへ導く凹レンズで構成される例を示した。凹レンズは、入射した平行光束の光を収束させずに発散させるレンズである。凹レンズは、例えば、入射光を受光する受光面又はその受光面の反対の面が、凹レンズの中心に向かって凹む形状を有する。図４及び図７の例では、光線発散部２０４を構成する凹レンズは、フォトダイオード２０３ａへ向かう入射光が凹レンズに入射する面の形状が凹面であり、凹レンズを透過した光が出射する面の形状が平面である平凹レンズとなっている。この例と逆に、光線発散部２０４を構成する凹レンズは、フォトダイオード２０３ａへ向かう入射光が凹レンズに入射する面の形状が平面であり、凹レンズを透過した光が出射する面の形状が凹面である平凹レンズであってもよい。また、ランダムカラーフィルタアレイ２０２或いはランダム光学フィルタアレイにおいて光線発散部２０４を、図２０に示すように、凹面をレンズの表裏の２面に有する両凹レンズで構成される光線発散部２０４ｃに置き換えてもよい。また、上記実施の形態では、凹レンズの凹面の形状は、例えば、球面と同様の形状であることとしたが、球面に限られず、例えば、回転２次曲面であってもよい。また、凹レンズの外周は円に限られず、例えば楕円であってもよい。また、凹レンズの凹面の形状が、例えば、円柱の側面と同様の形状であってもよい。この場合に凹レンズは、レンズの光軸に垂直な特定方向から見た、レンズの光軸を通る断面において円弧の形状の凹部を有するが、レンズの光軸及びその特定方向の両方に垂直な他の方向から見た、レンズの光軸を通る断面において凹部を有しない形状となる。また、凹レンズは、互いに異なる材質で構成される層を複数重ねた構造を有してもよいし、単一の材料で形成されてもよい。
【０１４５】
また、上記の実施の形態で示した撮像システム１０の各構成要素（特に、各回路等）は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェア（プログラム）を実行することによって実現されてもよい。各構成要素は、マイクロプロセッサ等のプログラム実行部が、ハードディスク又は半導体メモリ等の記憶媒体（或いは記録媒体）に記録されたプログラムを読み出して実行することによって、実現されてもよい。
【０１４６】
また、撮像装置１１に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。同様に、画像生成装置１２に含まれる複数の回路は、全体として１つの回路を構成してもよいし、それぞれ別々の回路でもよい。また、これらの回路は、それぞれ、汎用的な回路でもよいし、専用の回路でもよい。また、例えば、上記実施の形態における特定の構成要素が実行する処理を特定の構成要素の代わりに別の構成要素が実行してもよい。また、上記実施の形態における各種処理の実行順序が変更されてもよいし、複数の処理が並行して実行されてもよい。
【０１４７】
以上説明したように本開示に係る画像生成装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ、或いは、補色フィルタ、可視光以外を主として透過するフィルタ等）と複数の凹レンズ（例えば光線発散部２０４、２０４ａ〜２０４ｃ等を構成する凹レンズ）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂと、そのデジタルデータとランダム光学フィルタアレイの変調情報とを用いて画像を生成する生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）とを備え、その複数の凹レンズは、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前（例えば結像光学系２０１を通過した光が光学フィルタに至るまでの光路上）に位置する。これにより、複数の凹レンズでの光の発散により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光する、各画素としてのフォトダイオード２０３ａが、十分な情報を取得することができるので、解像度の低下が抑制され、適切な画像が生成され得る。
【０１４８】
また、例えば、上述した複数の凹レンズの各々は、互いに、大きさ、屈折率、及び、曲率のうちの１つ以上が異なることとしてもよい。
【０１４９】
また、例えば、画像生成装置は、上述した複数の凹レンズの前に凸レンズ（例えば結像光学系２０１を構成する凸レンズ）を備え、その複数の凹レンズは、その凸レンズを透過した光を、複数の光学フィルタを透過するように発散させることとしてもよい。
【０１５０】
また、例えば、光学フィルタは、カラーフィルタ２０２ａ〜２０２ｃであり、ランダム光学フィルタアレイは、ランダムカラーフィルタアレイ２０２であり、ランダムカラーフィルタアレイ２０２は、複数種類のカラーフィルタ２０２ａ〜２０２ｃをランダムに配置し、生成回路は、カラー画像生成回路１０５であることとしてもよい。
【０１５１】
また、例えば、生成回路は、マルチバンド画像生成回路１０７であることとしてもよい。
【０１５２】
また、例えば、生成回路（例えばカラー画像生成回路１０５、マルチバンド画像生成回路１０７等）は、圧縮センシング技術を用いて画像を生成することとしてもよい。
【０１５３】
また、本開示に係る撮像装置は、複数種類の光学フィルタ（例えばカラーフィルタ２０２ａ〜２０２ｄ等）と複数の凹レンズ（例えば光線発散部２０４、２０４ａ〜２０４ｃ等を構成する凹レンズ）とを有するランダム光学フィルタアレイ（例えばランダムカラーフィルタアレイ２０２）と、ランダム光学フィルタアレイを透過した光を受光するフォトダイオード２０３ａと、フォトダイオード２０３ａで受光した光をデジタルデータに変換するＡＤ変換部２０３ｂとを備え、その複数の凹レンズは、複数種類の光学フィルタとフォトダイオード２０３ａとの間、又は複数種類の光学フィルタの前に位置する。これにより、複数の凹レンズでの光の発散により、波長と透過率との関係に係る波長特性が相互に異なる複数種類の光学フィルタのいくつかを透過した光を受光し得るので、各画素としてのフォトダイオード２０３ａが、十分な情報を取得し得る。
【産業上の利用可能性】
【０１５４】
本開示に係る撮像システムは、各種カメラに適用可能である。
【符号の説明】
【０１５５】
１０  撮像システム
１１  撮像装置
１２  画像生成装置
１０１  波長変調部
１０２  変調画像取得部
１０３  送信回路
１０４  受信回路
１０５  カラー画像生成回路
１０６  出力Ｉ／Ｆ（インタフェース）装置
１０７  マルチバンド画像生成回路
２０１  結像光学系
２０２  ランダムカラーフィルタアレイ
２０２ａ、２０２ｂ、２０２ｃ、２０２ｄ  カラーフィルタ
２０３  撮像素子
２０３ａ  フォトダイオード
２０３ｂ  ＡＤ変換部
２０４、２０４ａ〜２０４ｃ  光線発散部
２０６  従来のカラーフィルタアレイ
【図１】
2018170757.tif 000014
【図２】
2018170757.tif 000015
【図３】
2018170757.tif 000016
【図４】
2018170757.tif 000017
【図５】
2018170757.tif 000018
【図６】
2018170757.tif 000019
【図７】
2018170757.tif 000020
【図８】
2018170757.tif 000021
【図９】
2018170757.tif 000022
【図１０】
2018170757.tif 000023
【図１１】
2018170757.tif 000024
【図１２】
2018170757.tif 000025
【図１３】
2018170757.tif 000026
【図１４】
2018170757.tif 000027
【図１５】
2018170757.tif 000028
【図１６】
2018170757.tif 000029
【図１７】
2018170757.tif 000030
【図１８】
2018170757.tif 000031
【図１９】
2018170757.tif 000032
【図２０】
2018170757.tif 000033
【図２１】
2018170757.tif 000034