(57)【要約】【課題】符号化開口撮像装置において、開口パターンがランダムパターンであればランダムなボケが、あるいは、合成後の開口パターンが方形であれば方形のボケが発生する。【解決手段】開口パターンを変化可能な開口アレイと、開口アレイの開口パターンを制御する開口制御部と、開口アレイを通過した光線を受光して受光データとして出力する撮像素子と、複数の開口パターンで撮影した各々の受光データをそれに対応する開口パターンによって決まるパラメータを用いて画像処理し、画像情報を出力する画像処理部と、を備え、開口アレイは円形の外形を持ち、その内部は同心円を分割した扇形の開口アレイになっており、一つあるいは複数の開口で構成される開口パターンによる一連の開口パターンにおいて全ての開口が少なくとも１回開くように制御する。【選択図】図１
2011166255.tif 000002
【特許請求の範囲】
【請求項１】
光軸に垂直な平面内に配置され、開口パターンを変化可能な開口アレイと、
前記開口アレイの開口パターンを制御する開口制御部と、
開口アレイを通過した光線を受光して受光データとして出力する撮像素子と、
前記受光データを記憶するメモリと、
複数の開口パターンで撮影した各々の受光データをメモリから取り出しそれに対応する開口パターンによって決まるパラメータを用いて画像処理し、画像情報を出力する画像処理部と、
前記開口制御部に開口パターンの選択指令を送り、前記撮像素子と前記メモリとを制御して選択した開口パターンに対応する受光データを前記メモリに記憶させ、複数の開口パターンに対応した複数の受光データを取得した後、前記画像処理部に画像処理開始指令を発する撮像制御部と、
を備え、
前記開口アレイは、円形の外形を持ち、その内部は同心円を分割した扇形の開口アレイになっており、１つまたは複数の開口で構成される開口パターンによる一連の開口パターンにおいて全ての開口が少なくとも１回開くように制御されていることを特徴とする撮像装置。
【請求項２】
前記開口アレイは、１つまたは複数の開口で構成される開口パターンによる一連の開口パターンにおいて全ての開口が１回開くように制御されていることを特徴とする請求項１記載の撮像装置。
【請求項３】
前記一連の開口パターンは、開口アレイの中心に近い開口ほど開く回数が多くなるように制御されていることを特徴とする請求項１記載の撮像装置。
【請求項４】
前記一連の開口パターンは、開口アレイの中心からの距離が等しい開口の開く回数は等しくなるように制御されていることを特徴とする請求項３記載の撮像装置。
【請求項５】
前記一連の開口パターンは、一つの開口パターンが光軸を中心にして一定角度ずつ回転していくものであることを特徴とする請求項１乃至請求項４のいずれかに記載の撮像装置。
【請求項６】
光軸に垂直な平面内に配置され光軸を軸として回転する、開口パターンを加工した開口円板と、
前記開口円板の回転角度を検出する回転角検出部と、
前記開口円板を通過した光線を受光して受光データとして出力する撮像素子と、
前記受光データを記憶するメモリと、
複数の受光データをメモリから取り出しそれに対応する開口円板の角度によって決まるパラメータを用いて画像処理し、画像情報を出力する画像処理部と、
前記回転角検出部の検出角度の一定角度ごとに前記撮像素子と前記メモリを制御して、開口円板の回転角度に対応する受光データを前記メモリに記憶させ、複数の開口円板の回転角度に対応した複数の受光データを取得した後、前記画像処理部に画像処理開始指令を発する撮像制御部と、
によって構成されていることを特徴とする撮像装置。
【請求項７】
光軸に垂直な平面内に配置され、開口パターンを変化可能な開口アレイと、
前記開口アレイの開口パターンを制御する開口制御部と、
開口アレイを通過した光線を受光して受光データとして出力する撮像素子と、
前記受光データを記憶するメモリと、
複数の開口パターンで撮影した各々の受光データをメモリから取り出しそれに対応する開口パターンによって決まるパラメータを用いて画像処理し、画像情報を出力する画像処理部と、
前記開口制御部に開口パターンの選択指令を送り、前記撮像素子と前記メモリとを制御して選択した開口パターンに対応する受光データを前記メモリに記憶させ、複数の開口パターンに対応した複数の受光データを取得した後、前記画像処理部に画像処理開始指令を発する撮像制御部と、
を備え、
前記開口アレイは、方形の外形を持ち、その内部を縦横に区切った碁盤目状の開口アレイになっており、
前記一連の開口パターンは、一つのパターンで一つあるいは複数の開口が開く開口パターンを繰り返して、開口アレイ内の円形領域内のすべての開口が少なくとも１回開くような一連の開口パターンで制御されていることを特徴とする撮像装置。
【請求項８】
前記一連の開口パターンは、一つのパターンで一つあるいは複数の開口が開く開口パターンを繰り返して、開口アレイ内の円形領域内のすべての開口が１回開くような一連の開口パターンで制御されていることを特徴とする請求項７記載の撮像装置。
【請求項９】
前記一連の開口パターンは、前記円形領域の中心に近い開口ほど開く回数が多くなるように制御されていることを特徴とする請求項７記載の撮像装置。
【請求項１０】
前記一連の開口パターンは、一つの開口パターンが一定角度ずつ回転していくものであることを特徴とする請求項７乃至請求項９のいずれかに記載の撮像装置。
【請求項１１】
前記一定角度は９０度であることを特徴とする請求項１０記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特定の開口パターンをもつ開口を経由した入射光を撮像素子に入射して受光データを取得し、該開口パターンによる光変調パラメータを用いてデジタル信号処理を行って撮像画像を生成する撮像装置に関する。
【背景技術】
【０００２】
近年、デジタルカメラなどの普及によって撮像素子上に結像した画像を電気信号に変換、蓄積する技術が急速に進歩しているが、その中にあって、結像光学系を大幅に簡略化して、あるいは、結像光学系を用いないで、デジタル信号処理による２次元画像の生成、あるいは、４Ｄライトフィールドデータの生成などを行う撮像技術が研究、開発されている。
【０００３】
その中で、符号化開口撮像技術は、特定の開口パターンを持つ光学マスクを経由して撮像素子に入射した光線強度を受光データとして取得し、その開口の持つ光学特性を用いて受光データを処理することによって２次元画像、あるいは、４Ｄライトフィールドデータを得るものであり、結像光学系に必要な高度な光学設計・製造技術を不要とし、しかも撮像装置の大幅な小型軽量化を実現できる技術である（特許文献１および非特許文献１参照。）。
【０００４】
図９に、符号化開口撮像技術を用いた従来の撮像装置の模式図を示す。
【０００５】
開口アレイ１０１は任意のパターンの開口を設定可能である。開口制御部１０４は開口アレイ１０１を制御して撮像制御部１０３から指示された開口パターンを構成する。メモリ１０５は撮像制御部１０３の指示により撮像素子１０２が受光した画像データを蓄積する。画像処理部１０６は撮像制御部１０３の制御によってメモリ１０５のデータを対応する開口パターン固有のパラメータによって処理して撮像データを出力する。
【０００６】
なお、開口アレイ１０１は透過型液晶素子が用いられる場合が多い。また、開口アレイの前後のいずれか、あるいは両方に、補助的な光学系を設け、視野角の拡大や縮小、ズーム操作などを光学的に実現する場合もある。
【０００７】
≪従来例動作の説明≫
符号化開口撮像においては、撮像画像の画質や後段の画像処理演算量を考慮して適切な開口パターンを用いた受光データにより撮像画像を得るが、必要な場合には複数の開口パターンによる複数の受光データを処理することにより高品質の撮像画像を得ることが可能である。以下に複数の開口パターンを用いる撮像動作の一例を示す。
【０００８】
まず、撮像制御部１０３は開口制御部１０４に、第１の開口パターンへの切換を指示し、開口制御部１０４は開口アレイ１０１を制御して第１の開口パターンを設定する。
【０００９】
その段階で、撮像素子１０２には第１の開口パターンで変調を受けた光が入射している。
【００１０】
次に、撮像制御部１０３は、撮像素子１０２とメモリ１０５に入射光の撮影を指示し、撮像素子１０２は撮影結果を受光データとして出力し、メモリ１０５はそのデータを第１の受光データとして記憶する。
【００１１】
次に、撮像制御部１０３は開口制御部１０４に第２の開口パターンへの切換を指示、開口制御部１０４は開口アレイ１０１を第２の開口パターンに設定し、その後、撮像制御部１０３は撮像素子１０２にはその撮影を指示して、メモリ１０５には第２の受光データが記憶される。
【００１２】
以下同様に、第Ｎの受光データがメモリ１０５に記憶されるまで繰返し撮影動作が行われる。
【００１３】
このとき、メモリ１０５には受光データに対応する、画像処理に関連するパラメータなどを、受光データに関連づけて記憶しても良い。
【００１４】
第Ｎの受光データの記憶まで完了した後、撮像制御部１０３は画像処理部１０６に画像処理を指示し、画像処理部１０６はメモリ１０５に記憶されたＮ組の受光データとパラメータを用いて撮像画像の生成を開始する。
【００１５】
撮像画像の生成は、Ｎ個の開口パターンによる光変調関数の逆関数を対応する受光データに作用させて、開口アレイの位置する平面内の各開口が占める領域におけるライトフィールド情報を算出し、それらを累算して開口アレイの位置におけるライトフィールド情報を得た後、仮想的な結像光学系を関数として作用させることにより、任意の位置に焦点が合った撮像画像を得ることが出来る。
【００１６】
この際、ある開口パターンでは閉じている開口の位置におけるライトフィールド情報は、その開口が開いている開口パターンで求めるライトフィールド情報によって補完され、また、２つ以上の開口パターンで同じ位置の開口が開いている場合には、それぞれのライトフィールド情報を平均することによりＳ／Ｎの向上を実現することが出来る。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】国際公開第２００６／１２５９７５号
【非特許文献】
【００１８】
【非特許文献１】情報処理学会研究報告  ２００８−ＣＶＩＭ−１６３，Ｐ．８５−９２「合成開口撮影法によるデフォーカスコントロール」
【発明の概要】
【発明が解決しようとする課題】
【００１９】
上記従来の撮像装置における撮像画像生成過程において、開口アレイ１０１の位置におけるライトフィールド情報は、その算出に用いられた開口パターンを合成した形状の領域におけるものであり、撮像画像生成に用いる仮想結像光学系における絞り形状に相当する。よって、撮像画像において非合焦部分には絞り形状に相似な形状のボケが発現することになり、開口パターンがランダムパターンであればランダムなボケが、あるいは、合成後の開口パターンが方形であれば方形のボケが発生する。
【００２０】
このようなボケは、画像の状況によって数多くの繰返しパターンとなるため、撮像画像としてみた場合に非常に見苦しいものとなる。
【００２１】
本発明はこのような課題に鑑み、自然なボケ味を持つ撮像画像を得ることが出来る撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２２】
上記課題を解決するために、本発明の撮像装置は、光軸に垂直な平面内に配置され、開口パターンを変化可能な開口アレイと、開口アレイの開口パターンを制御する開口制御部と、開口アレイを通過した光線を受光して受光データとして出力する撮像素子と、受光データを記憶するメモリと、複数の開口パターンで撮影した各々の受光データをメモリから取り出しそれに対応する開口パターンによって決まるパラメータを用いて画像処理し、画像情報を出力する画像処理部と、開口制御部に開口パターンの選択指令を送り、撮像素子とメモリとを制御して選択した開口パターンに対応する受光データをメモリに記憶させ、複数の開口パターンに対応した複数の受光データを取得した後、画像処理部に画像処理開始指令を発する撮像制御部と、を備え、開口アレイは円形の外形を持ち、その内部は同心円を分割した扇形の開口アレイになっており、一つあるいは複数の開口で構成される開口パターンによる一連の開口パターンにおいて全ての開口が少なくとも１回開くように制御されていることにより、生成された撮像画像におけるボケの形状が円形となることで、撮像画像における非合焦部のボケが自然なボケ方となる。
【００２３】
さらに、本発明の撮像装置は、一連の開口パターンが、開口アレイの中心に近い開口ほど開く回数が多くなるように制御されていることにより、撮像画像における非合焦部のボケの周辺の輝度及び色濃度の傾斜がなめらかとなり、撮像画像における非合焦部のさらに自然なボケを実現できる。
【００２４】
さらに、本発明の撮像装置は、一連の開口パターンを、一つの開口パターンが光軸を中心に一定角度ずつ回転するようなものとすることにより、それぞれの開口パターンに対応したパラメータを同一のものが回転したものとして、複数の画像データを用いた画像処理をシンプルにすることが出来る。
【００２５】
さらに、本発明の撮像装置は、開口パターンを加工した平板を回転させ、その一定角度回転ごとに画像取得を行うものとして、開口パターンを変化させる開口アレイを安価に実現することが出来、さらに、液晶を用いた場合に問題となる波長依存性や入射角によるコントラストの変化などによる画質劣化を改善することが出来る。
【００２６】
さらに、本発明の撮像装置は、四角形の外形を持ち、縦横方向に四角形の開口に分割されている開口アレイにおいて、円形領域に含まれる分割開口のみを用い、前記円形領域内の各分割開口が１回ずつ開くような一連の開口パターンを用いることにより、生成された画像におけるボケの形状が略円形となることで、生成画像における非合焦部のボケが自然に近いボケ方となる
【発明の効果】
【００２７】
本発明の撮像装置によれば、符号化開口方式の撮像装置の撮像画像において、非合焦部のボケの外形が円形となることで、自然なボケ味を持つ画像を得ることが出来る。
【図面の簡単な説明】
【００２８】
【図１】本発明の第１の実施形態の概要を示す模式図
【図２】第１の実施形態における開口パターンの一例を示す図
【図３】第１の実施形態における回転する開口パターンの一例を示す図
【図４】第１の実施形態における開口の開く回数の異なる開口パターンの一例を示す図
【図５】第２の実施形態の概要を示す模式図
【図６】第３の実施形態の開口領域の説明図
【図７】第３の実施形態における回転する開口パターンの一例を示す図
【図８】第３の実施形態における開口の開く回数の異なる開口パターンの一例を示す図
【図９】従来の符号化開口方式の撮像装置の模式図
【発明を実施するための形態】
【００２９】
以下に本発明の撮像装置について説明する。
【００３０】
（第１の実施形態）
図１は本発明の第１の実施形態の概要を示す模式図である。
【００３１】
開口アレイ１は、光軸に垂直な平面内に配置され、円形の外形を持ち、内部を同心円状の扇形に分割した開口を持ち、任意のパターン（組み合わせ）の開口を設定可能である。撮像制御部３は、開口アレイ１の開口パターンを複数記憶しており、それらの開口パターンのうちのひとつを開口制御部４に対して指示する。また、撮像制御部３は、撮像素子２および画像メモリ５に対して開口アレイ１を通した入射光の撮影を指示する。開口制御部４は、開口アレイ１を制御して撮像制御部３から指示された開口パターンを開口アレイ１上に構成する。撮像素子２は、撮像制御部３の指示により入射光を撮影して受光データとして出力する。画像メモリ５は、撮像制御部３の指示により撮像素子２が受光した画像データを蓄積する。画像処理部６は、画像メモリ５のデータを対応する開口パターン固有のパラメータによって処理して撮像データを出力する。
【００３２】
まず、撮像制御部３は開口制御部４に、第１の開口パターンへの切換を指示し、開口制御部４は開口アレイ１を制御して第１の開口パターンを設定する。
【００３３】
その段階で、撮像素子２には第１の開口パターンで変調を受けた光が入射し、次に、撮像制御部３が、撮像素子２と画像メモリ５に入射光の撮影を指示すると、撮像素子２は撮影結果を受光データとして出力し、画像メモリ５はそのデータを第１の受光データとして記憶する。同時に、画像メモリ５は撮像制御部３の指令により受光データに対応する画像処理に関連するパラメータも記憶する。
【００３４】
以下、第Ｎの受光データが画像メモリ５に記憶されるまで繰返し撮影動作が行われる。
【００３５】
第Ｎの受光データの記憶まで完了した後、撮像制御部３が画像処理部６に画像処理を指示すると、画像処理部６は、Ｎ個の開口パターンによる光変調関数の逆関数を対応する受光データに作用させて、開口アレイの位置する平面内の各開口が占める領域におけるライトフィールド情報を算出し、それらを累算して開口アレイの位置におけるライトフィールド情報を得た後、仮想の結像光学系を関数として作用させることにより、任意の位置に焦点が合った撮像画像を出力する。
【００３６】
本発明が従来例と異なるのは、開口アレイ１の外形が円形であり、一連の開口パターンにおいて各開口が１回開くように開口パターンが設定されている点である。
【００３７】
図２はこの一連の開口パターンの一例を示したもので、３つの同心円を合計２８個の扇形に分割した開口を持つ開口アレイにおいて、（ａ）〜（ｇ）の７つの開口パターンを用いることにより、一連の開口パターンにおいて各開口が１回開くような開口パターンが実現できる。
【００３８】
この点により、一連の開口パターンを合成した結果は開口アレイの外形に等しい円形の開口となり、生成された撮像画像の非合焦部のボケが円形になるため、結像光学系を用いた撮像画像と同様の自然なボケを実現することが出来る。
【００３９】
また、扇形に分割した開口による光学特性を、長方形を縦横に分割した画素を持つ撮像素子によって得られた受光データに適用することの煩雑な演算を簡略化するために、一連の開口パターンを、同じパターンが回転するものとしても良く、その一例を図３に示す。８種の開口パターンにおいて各開口が開く回数は１回である。
【００４０】
これは、円形の外形を持ち、その内部の同心円を扇形に分割した開口アレイを用いて、回転角度を前記開口アレイの扇形の中心角の整数倍にすることで初めて可能になる設定である。
【００４１】
この場合の画像処理方法としては、開口パターンによる光変調関数の逆関数は固定として、受光データを座標変換によって回転させる方法が演算量を削減するのに有効である。
【００４２】
また、結像光学系では光学系の光軸から離れるほど光量が減衰する特性があり、それによるボケの変化がある。同様なボケを得るには、光軸に近い開口の開く回数を外周の開口よりも多くすればよい。また、開口の開く回数を光軸対称とすることも、点対称のボケを得るためには重要であり、光軸から開口までの距離が等しい開口が開く回数は等しくする必要がある。その一例を図４に示す。図４において、８種の開口パターンにおいて、内周部の開口は３回、中周部の開口は２回、外周部の開口は１回、開口が開くように設定されている。
【００４３】
なお、開口の開く回数を中心ほど多くする形状は、図４のような円錐状の他に、平均値ゼロの正規分布をＹ軸の周りに回転させた形状、半球状などの形状が考えられる。
【００４４】
なお、図２から図４の説明では簡単のために分割数が２８となっているが、分割数はこの限りではない。また、撮像画像の画質を向上させるために、より多くの分割数とすることが望ましい。
【００４５】
本実施の形態において、開口アレイ１を実現する手段として最も容易に実現できるのは、透過型液晶素子を用いる方法である。その他にはＭＥＭＳ光学素子を用いた反射、屈折、回折などによって実現する方法なども考えられる。
【００４６】
さらに、特許文献１にも記載されているが、開口アレイ１は遮光する構造ではなく、屈折率を変化させるような素子であっても良い。
【００４７】
（第２の実施形態）
次に、開口アレイの構成方法を変えた、第２の実施形態を説明する。
【００４８】
図５は本発明の第２の実施形態の概要を示す模式図である。
【００４９】
開口部５１は、開口円板５１ａとモーター５１ｂとを備える。開口円板５１ａは開口パターンを加工した円板である。モーター５１ｂは開口円板５１ａを回転させる。回転角検出部５４は、開口円板５１ａの回転角度を検出する。画像メモリ５５は、撮像制御部５３の指示により撮像素子５２が受光した画像データを蓄積する。画像処理部５６は、撮像制御部５３の制御によって画像メモリ５５のデータを対応する開口パターン固有のパラメータによって処理して撮像データを出力する。
【００５０】
第１の実施形態との違いは、第１の実施形態では開口パターンが開口制御部４の制御によって切換えられていたのが、本実施形態では固定した開口パターンを持つ回転円板５１ａが単純に回転し続けることと、撮像制御部３が開口パターンの切換を指示していたのが、回転角検出部５４が開口円板５１ａの回転角度を検出して一定角度ごとに撮像制御部５３に検出信号を発する点である。
【００５１】
開口円板５１ａは、金属あるいは樹脂の薄板に穴あけ加工を施して開口パターンとしたもので、液晶素子と比較すると、偏光板による光量減衰がない、光の入射角度によって透過率が変化することがない、光の波長により透過率が変化しない、温度によって応答速度が変化しない、等の点で優れているため、構造的にある程度の大きさとメカニズムが必要となる点が許容できれば、撮像性能を向上させることが出来る。
【００５２】
以下にその動作を説明する。
【００５３】
まず、開口円板５１ａはモーター５１ｂの駆動によって一定速度で回転し続けている。
【００５４】
回転角検出部５４は、開口円板５１ａの回転角の絶対値を検出し、回転角ゼロ度から、例えば、４５度、９０度、１３５度、１８０度、２２５度、２７０度、３１５度の回転角度毎に、回転角度を撮像制御部５３に通知する。
【００５５】
通知を受けた撮像制御部５３は、撮像素子５２に指令して撮影を行い、回転円板５１ａの回転角度に対応した受光データを画像メモリ５５に記憶させ、この例の場合は、開口円板５１ａが１回転する間の８種類の回転角度に対応する受光データを蓄積する。
【００５６】
受光データの蓄積が完了した時点で、撮像制御部５３が画像処理部５６に画像処理を指示して、撮像画像の生成が開始されること以降は第１の実施形態と同様である。
【００５７】
撮像素子５２による撮影の間に開口円板５１ａが回転し続けるために開口が移動してしまう点がこの方法の欠点であるが、超音波モーターなどの高速、高トルク、高精度モーターを用いて開口円板５１ａが一定角度ごとに停止するようにしても良く、それによって弱点を補うことが出来る。
【００５８】
（第３の実施形態）
次に、長方形の外形を持ち、縦横方向に分割した開口を持つ開口アレイを用いた第３の実施形態について説明する。
【００５９】
第３の実施形態と第１の実施形態との違いは開口アレイ１の開口パターンのみであるので、開口パターンについてのみ説明する。
【００６０】
図６は、第３の実施形態における開口アレイの模式図であり、長方形の外形と縦横方向に１４４分割された開口を持つ開口アレイの中の、薄墨で示した円形領域に含まれる８０個の開口のみを用いて一連の開口パターンを実現することを示したものである。
【００６１】
図７は一連の開口パターンの一例を示したもので、縦横方向の分割と相性の良い９０度ごとに回転する４種類の開口パターンを示している。
【００６２】
開口の分割方向が縦横であるので、同じパターンの回転を実現するには９０度ごとの回転しか使うことが出来ない。
【００６３】
図８は光軸に近い開口ほど開口の回数を増やす場合の開口回数による領域分けを示した図である。同心円に出来るだけ近い形状になるように領域を設定し、それぞれの領域ごとに開口が開く回数を変化させることを横のグラフで示している。
【産業上の利用可能性】
【００６４】
本発明は、特定の開口パターンをもつ開口を経由した入射光を撮像素子に入射して受光データを取得し、該開口パターンによる光変調パラメータを用いてデジタル信号処理を行って撮像画像を生成する撮像装置の画質向上に有効である。
【符号の説明】
【００６５】
１  開口アレイ
２  撮像素子
３  撮像制御部
４  開口制御部
５  画像メモリ
６  画像処理部
【図１】
2011166255.tif 000003
【図２】
2011166255.tif 000004
【図３】
2011166255.tif 000005
【図４】
2011166255.tif 000006
【図５】
2011166255.tif 000007
【図６】
2011166255.tif 000008
【図７】
2011166255.tif 000009
【図８】
2011166255.tif 000010
【図９】
2011166255.tif 000011