(57)【要約】  【課題】微細画素のイメージセンサで高画質の映像の撮影が可能な撮像装置を提供する。  【解決手段】光屈折材料をアクチュエータの駆動に連動することにより、レンズで集光された光の経路を連続的にシフトさせながら連続撮影し、連続する複数の画像信号を単一の又は複数のグループを単位として加算平均することにより第１の合成画像信号を生成し、第１の合成画像信号に対して、あらかじめ記憶された回折ぼやけの修正関数と動きぼやけの修正関数を逐次適用し、第２の合成画像信号を生成する。  【選択図】図１０
2019024156.tif 000002
【特許請求の範囲】
【請求項１】
光を集光するレンズと、
伸縮又は回転駆動可能なアクチュエータと、当該アクチュエータの駆動を直接又は間接に伝達可能に配置され、前記レンズで集光された光の入射角をシフト可能な光屈折材料とを有し、当該光屈折材料が当該アクチュエータの駆動に連動することにより、当該光の経路を連続的にシフトする光路変調部と、
前記光路変調部を通過した光を結像し、連続的に画像信号に変換可能な撮像素子と、
前記撮像素子で撮影された連続する複数の画像信号を、単一の又は複数のグループを単位として同時に読み出し可能に記憶する記憶部と、
前記記憶部から単一の又は複数のグループを単位として読み出された複数の画像信号を加算平均することにより第１の合成画像信号を生成する信号合成部と、当該第１の合成画像信号に対して、あらかじめ記憶された動きぼやけの修正関数と回析ぼやけの修正関数を逐次適用し、第２の合成画像信号を生成するデコンボリューション部とを有する信号処理部と、
前記撮像素子、前記光路変調部、前記記憶部及び前記信号処理部を制御するタイミング信号を出力するタイミング制御部と、
を備え、
前記撮像素子のフレーム周波数は、前記アクチュエータの駆動周波数の２倍乃至８倍の範囲内であること、
を特徴とする撮像装置。
【請求項２】
前記記憶部は、連続するｆ／６０フレーム（ｆは、前記撮像素子のフレーム周波数）を単位グループとし、単一のグループ又は連続する複数のグループを単位として複数の画像信号を同時に読み出し可能に記憶すること、
を特徴とする請求項１に記載の撮像装置。
【請求項３】
前記信号合成部は、前記記憶部から単一の又は複数のグループを単位として読み出された複数の画像信号を加算平均して得られる第１の合成画像信号に対して、更にディジタル鮮鋭化処理をすること、
を特徴とする請求項１又は請求項２に記載の撮像装置。
【請求項４】
前記光屈折材料は、光軸に直交する回転軸を介して揺動可能であること、
を特徴とする請求項１乃至請求項３のいずれか１項に記載の撮像装置。
【請求項５】
前記光屈折材料は、光軸を中心に回動可能であること、
を特徴とする請求項１乃至請求項４のいずれか１項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高画質の映像の撮影が可能な撮像装置に関する。
【背景技術】
【０００２】
近年、カメラの小型化と高画素数化に伴い、イメージセンサの画素の微細化が進み、画素ピッチ１μｍ程度の微細画素で十分な映像性能を確保することが次世代映像技術において重要な課題となっている。
【０００３】
ここで、画素ピッチ１μｍは、スーパーハイビジョン映像（８Ｋ映像）を、機動性、コスト、被写界深度等の面で優れた２／３インチサイズのイメージセンサで撮影するのに必要とされる画素ピッチである。
【０００４】
他方、従来から撮像においてイメージセンサの解像性能以上の解像度を得るための種々の技術が提案されている。
【０００５】
例えば、通常モードで撮影した画像と、ピクセルシフト素子を回転させたシフトモードで撮影した画像の２つを合成するものがある（特許文献１）。
【０００６】
また、光の進行方向を変化させるデバイスとして、液晶の電界による屈折率の変化を利用するものがある（特許文献２）。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００６−０５４８７５号公報
【特許文献２】特開２００６−２８４８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、レンズの性能にはＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）による解像限界がある。図１に示すように、例えばＦ値が４以上のレンズの場合、画素ピッチを１μｍとするとＭＴＦは０以下となり、解像が不可能となる。
【０００９】
また、レンズの性能にはエアリーディスクによる解像限界もある。ここで、エアリーディスクとは、集光レンズの対物側にごく微細な１つの点光源があった場合にその結像が一定の広がりをもった像となる現象のことである。
【００１０】
２つの点光源の像において、エアリーディスクにより解像限界となる間隔ｘは、光の波長をλ、レンズの焦点距離をｆ、円形開口の直径をｄとすると、次の式で表される。
【数１】
2019024156.tif 000003
【００１１】
また、ｆ／ｄはレンズのＦ値を表すことから、上式は次のように表すこともできる。
【数２】
2019024156.tif 000004
【００１２】
上式によれば、例えばＦ値が２、波長λが青い光の４５０ｎｍの場合、解像限界となる間隔ｘはおよそ１μｍとなる。すなわち、イメージセンサの画素サイズを１μｍより小さくしても解像度を向上させることはできないことになる。
【００１３】
図２は、撮影パターンの理想の光強度分布を示したグラフである。横軸は位置、縦軸は光強度分布を表す。以下、同様とする。撮影パターンには、黒地に２本の白い縦線を想定している。サイズは、撮像面上で換算すると、線の幅が１μｍ、２本の線の間隔が１μｍである。この撮影パターンを集光レンズを経て撮像面上に結像させた場合、通常、焦点を最良の状態に合わせたとしても一定のぼやけのある像となる。
【００１４】
図３は、この撮影パターンを集光レンズを経て撮像面上で結像した像の光強度分布を示すグラフである。図３に示す光強度分布は滑らかな分布となっている。これは、集光レンズを経て結像した像には、ガウシアン関数型のぼやけ成分が含まれるためと仮定することができる。
【００１５】
図４は、この撮影パターンを画素ピッチ１μｍのイメージセンサで撮影して得られた光強度分布を示すグラフである。図４では、２本の白線を分離できず、十分に解像できないことがわかる。
【００１６】
したがって、画素ピッチ１μｍの微細画素のイメージセンサでは、エアリーディスクによる解像限界のため、このような撮影パターンを十分に解像できなかった。
【００１７】
このような場合、ディジタル画像処理によりイメージセンサの解像性能以上に画質を向上させる方法がある。例えば、空間画素ずらしと呼ばれるディジタル画像合成処理や、スムージングフィルタや鮮鋭化フィルタを適用したディジタルフィルタ処理等がある。ここで、空間画素ずらしとは、像に対してイメージセンサの画素の位置を相対的に所定の量ずつシフトして撮影された複数の画像を加算平均して合成する手法である。
【００１８】
図５は、同様の撮影パターンを、画素ピッチ１μｍのイメージセンサの画素の位置を相対的に画素ピッチの１／４ずつシフトして撮影することにより得られた４つの光強度分布をそれぞれ示したグラフである。図５では、それぞれ異なる階調が得られるが、いずれも２本の白線を分離できず、十分に解像できないことがわかる。
【００１９】
図６は、イメージセンサの画素の位置を相対的に画素ピッチの１／４ずつシフトして撮影することにより得られる４つの光強度分布を加算平均して合成された光強度分布を示したグラフである。図６では、ある程度まで階調を再現することはできるが、２本の白線を分離できず、十分に解像できないことがわかる。
【００２０】
図７は、イメージセンサの画素の位置を相対的に画素ピッチの１／８ずつシフトして撮影することにより得られる８つの光強度分布を加算平均して合成された光強度分布を示したグラフである。図７では、やや滑らかな階調を再現しているが、これでも２本の白線を分離できず、十分に解像できないことがわかる。
【００２１】
図８は、加算平均して合成された光強度分布に対して、スムージングフィルタを適用して得られた分布を示したグラフであり、図９は、こうして得られた光強度分布に対して、鮮鋭化フィルタを適用して得られた分布を示したグラフである。図８乃至図９では、ディジタルフィルタ処理を逐次適用することで、次第に図３に示した分布に近づいていくことがわかる。
【００２２】
しかし、このようなディジタル画像処理の各種手法を適用しても、光学レンズにより集光された光をイメージセンサの撮像面上に結像させた際に含まれているぼやけ成分については除去することができず、レンズ性能以上の解像性能を得ることはできなかった。
【００２３】
また、ディジタル画像合成処理等を適用する前段階の処理として、プリズム等を用いて光を分割し、所定の量ずつ相対的にシフトさせたものをそれぞれ撮影することにより光強度分布を得たとしても、その構造上、光を分割できる数は２乃至４程度が限界であり、解像性能は不十分であった。
【００２４】
他方、特許文献１に開示されている技術では、通常モードで撮影した画像と、手動操作によりピクセルシフト素子の回転方向を切り替えて撮影した画像とを合成するものであるため、動きのある映像を高フレームレートで撮影するには適さないものであった。
【００２５】
また、特許文献２に開示されている技術では、光の透過率が低く、また、セル構造による回折が生じやすい等、解像限界によるぼやけを改善するほどの十分な解像性能は得られなかった。
【００２６】
したがって、従来の技術では、画素サイズ１μｍ程度の微細画素のイメージセンサで十分に高画質な映像を撮影することは困難であった。
【００２７】
本発明は、このような状況に鑑みてなされたものであり、微細画素のイメージセンサで高画質の映像の撮影が可能な撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
本発明は、上記課題を解決するためになされたものであり、
光を集光するレンズと、
伸縮又は回転駆動可能なアクチュエータと、当該アクチュエータの駆動を直接又は間接に伝達可能に配置され、前記レンズで集光された光の入射角をシフト可能な光屈折材料とを有し、当該光屈折材料が該アクチュエータの駆動に連動することにより、当該光の経路を連続的にシフトする光路変調部と、
前記光路変調部を通過した光を結像し、連続的に画像信号に変換可能な撮像素子と、
前記撮像素子で撮影された連続する複数の画像信号を、単一の又は複数のグループを単位として同時に読み出し可能に記憶する記憶部と、
前記記憶部から単一の又は複数のグループを単位として読み出された複数の画像信号を加算平均することにより第１の合成画像信号を生成する信号合成部と、当該第１の合成画像信号に対して、あらかじめ記憶された動きぼやけの修正関数と回析ぼやけの修正関数を逐次適用し、第２の合成画像信号を生成するデコンボリューション部とを有する信号処理部と、
前記撮像素子、前記光路変調部、前記記憶部及び前記信号処理部を制御するタイミング信号を出力するタイミング制御部と、
を備え、
前記撮像素子のフレーム周波数は、前記アクチュエータの駆動周波数の２倍乃至８倍の範囲内であること、
を特徴とする撮像装置である。
【発明の効果】
【００２９】
本発明によれば、撮影画像の解像が向上するとともに、画質を劣化させる原因であったぼやけが除去されることにより、高画質の映像を撮影することができる。
【発明を実施するための形態】
【００３０】
以下、本発明の実施形態について、図面を参照して詳細に説明する。なお、本発明は以下の記述のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。
【００３１】
図１０は、本発明に係る撮像装置１００の実施の形態の機能的構成を示すブロック図である。図１０に示すように、本発明に係る撮像装置１００は、少なくともレンズ１、光路変調部２、撮像素子３、タイミング制御部４、記憶部５、信号処理部６等を備えている。
【００３２】
レンズ１は、被写体からの入射光を集光するためのレンズである。レンズ１は、焦点を合わせるためのフォーカスレンズや、被写体を拡大するためのズームレンズ等も含まれる。
【００３３】
光路変調部２は、主に光屈折材料２１、アクチュエータ２３等を備えており、光屈折材料２１がアクチュエータ２３の駆動を直接又は間接に伝達可能に配置されていることにより、レンズ１で集光された光の入射角をアクチュエータ２３の駆動に連動して連続的にシフトさせ、光の経路を連続的にシフトする。
【００３４】
光屈折材料２１は、レンズ１を通過した光を屈折させ、光の経路をシフトさせる固体材料である。光屈折材料２１としては、屈折率が１．３乃至１．８程度のものが好適である。代表的なものとして、各種ガラス（屈折率１．５）のほか、ポリカーボネート樹脂（屈折率１．６）、ポリメタクリル酸メチル樹脂（屈折率１．７以上）等がある。また、コーティング材を使用したものでもよく、例えば、無機の誘電体薄膜は多層コートすることで光の透過率を向上させることができる。
【００３５】
アクチュエータ２３は、伸縮駆動又は回転駆動する素子、モータ等である。アクチュエータ２３は、伸縮駆動するものでは圧電素子等、回転駆動するものではステッピングモータ、エンコーダ付きモータ等が好適である。
【００３６】
アクチュエータ２３の駆動は、タイミング制御部４で生成されたタイミング信号により制御される。アクチュエータ２３の駆動周波数は、例えば６０Ｈｚ、１２０Ｈｚ、２４０Ｈｚ等がある。ただし、撮像素子３の駆動との関係上、撮像素子３のフレーム周波数の１／８倍乃至１／２倍であることが望ましい。
【００３７】
図１１は、光路変調部２の第１の形態を示す図である。アクチュエータ２３はタイミング制御部４からのタイミング信号に基づいて、機械的に、少ないストロークで伸縮駆動する。アクチュエータ２３の先端は突起部を形成している。光屈折材料２１は略方形板状で、一方の端には回転軸２２が設けられており、回転軸２２を中心に回動可能になっている。また、光屈折材料２１は他方の端には切り欠き部が設けられており、アクチュエータ２３の先端の突起部がこの切り欠き部に係合することにより、アクチュエータ２３の伸縮駆動が伝達される。
【００３８】
よって、この構成によれば、光屈折材料２１がアクチュエータ２３の伸縮駆動に連動して揺動することにより、光屈折材料２１へ入射する光の入射角を連続的にシフトさせることができる。
【００３９】
図１２は、第１の形態に係る光路変調部２において、光屈折材料２１へ入射する光の入射角の変化を示す図である。横軸は光屈折材料２１の振幅に対応する位相、縦軸は光の入射角を表す。図１２では、光屈折材料２１が揺動することにより、光の入射角を滑らかに周期的に変化させることができることがわかる。
【００４０】
図１３は、光屈折材料２１を介することにより、光の経路がシフトすることを説明するための図である。
【００４１】
図１３に示すように、光屈折材料２１へ入射した光は光屈折材料２１内で屈折する。このことは、スネルの法則により、入射角ψ０と屈折角ψ１の関係として次式で表すことができる。ここで、ｎ０及びｎ１はそれぞれ空気及び光屈折材料２１の屈折率である。
【数３】
2019024156.tif 000005
【００４２】
また、図１３に示すように、入射角がψ０となるように光屈折材料２１を置いた場合、光屈折材料２１の端は距離ｓの位置に水平シフトする。また、光屈折材料２１を介した結果、光の経路は入射光に対して距離ｄだけ平行シフトする。
【００４３】
これらを式で表すと次式のようになる。ここで、ｔは光屈折材料２１の厚さ、Ｄは入射光に対する光屈折材料２１の幅である。
【数４】
2019024156.tif 000006
【００４４】
したがって、上式によれば、入射角ψ０をψ０＋Δψ０にシフトさせることにより、光屈折材料２１の端を距離ｓの位置から距離ｓ＋Δｓの位置に水平シフトするとともに、光の経路の平行シフト量ｄをｄ＋Δｄにシフトすることがわかる。
【００４５】
なお、光の経路の平行シフト量ｄの所望値に基づいて、光屈折材料２１の端の水平シフト量ｓを試算することもできる。例えば、ｎ０＝１．０、ｎ１＝１．５、ｔ＝０．５ｍｍ、Ｄ＝５０ｍｍの場合において、光の経路の平行シフト量ｄとして１ｍｍ程度を得るには、光屈折材料２１の端の位置ｓは０．３ｍｍ程度となる。
【００４６】
このように、第１の形態に係る光路変調部２によれば、光屈折材料２１がアクチュエータ２３の伸縮駆動に連動して揺動することにより、レンズ１を通過した光の経路を連続的にシフトさせることができる。
【００４７】
また、第１の形態に係る光路変調部２によれば、既知のデータに基づいて比較的容易に光の経路を所望の量、平行シフトさせることができる。
【００４８】
なお、光屈折材料２１の端の水平シフト量ｓは、０．３ｍｍ程度を最大値とすることが望ましい。
【００４９】
図１４及び図１５は、それぞれ光路変調部２の第２の形態を示す図である。アクチュエータ２３はタイミング制御部４からのタイミング信号に基づいて回転駆動する。略円筒形リングは、その外周面の摩擦力によりアクチュエータ２３の回転駆動が伝達されることによりその円周方向に回動可能に設けられている。また、略円筒形リングの内側には、光屈折材料２１が光軸に対して傾斜角をなすように取り付けられている。
【００５０】
なお、アクチュエータ２３の回転駆動は略円筒形リングに直接に伝達させる以外に、図に示すように回転伝達円板３４を介して間接に伝達させてもよい。
【００５１】
よって、これらの構成によれば、略円筒形リングがアクチュエータ２３の回転駆動に連動して回動することにより、光屈折材料２１へ入射する光の入射角を連続的にシフトさせることができる。
【００５２】
図１６は、第２の形態に係る光路変調部２において、光屈折材料２１へ入射する光の入射角の変化を示す図である。横軸は略円筒形リングの回転角、縦軸は光の入射角を表す。図１６では、略円筒形リングを回転させることにより、光の入射角を滑らかに周期的に変化させることができることがわかる。
【００５３】
なお、光屈折材料２１へ入射する光の入射角がシフトすると、スネルの法則により光の経路がシフトすることは、上述のとおりである。
【００５４】
したがって、第２の形態に係る光路変調部２によれば、光屈折材料２１がアクチュエータ２３の回転運動に連動して回動することにより、レンズを通過した光の経路を連続的にシフトさせることができる。
【００５５】
なお、第２の形態に係る光路変調部２によれば、第１の形態に比べ、音や振動の発生を少なくすることができる。
【００５６】
図１７及び図１８は、それぞれ光路変調部２の第３の形態を示す図である。アクチュエータ２３はタイミング制御部４からのタイミング信号に基づいて回転駆動をする。また、アクチュエータ２３にはカムリング２７が接続され、アクチュエータ２３の回転駆動に連動してカムリング２７も回転する。このカムリング２７には、外周面の全周にわたってスリットが形成されている。光屈折材料２１は略方形板状であり、一方の端に回転軸２２が設けられており、回転軸２２を中心に回動可能になっている。また、他方の端は、その一部がスリットに挿入又は接触することにより係合しており、カムリング２７の回転によりスリット内又はスリット上をスライド可能になっている。
【００５７】
よって、これらの構成によれば、アクチュエータ２３の回転駆動に連動してカムリング２７が回転し、カムリング２７の回転に伴うスリットの案内に従って光屈折材料２１が揺動することにより、光屈折材料２１へ入射する光の入射角を連続的にシフトさせることができる。
【００５８】
図１９は、第３の形態に係る光路変調部２において、光屈折材料２１へ入射する光の入射角の変化を示す図である。横軸はカムリング２７の回転角、縦軸は光の入射角を表す。図１９では、カムリング２７の回転により、光の入射角を周期的に変化させることできることがわかる。
【００５９】
なお、光屈折材料２１へ入射する光の入射角がシフトすると、スネルの法則により光の経路がシフトすることは、上述のとおりである。
【００６０】
したがって、第３の形態に係る光路変調部２によれば、カムリング２７をアクチュエータ２３の回転駆動に連動させ、カムリング２７の回転に伴うスリットの案内に従って光屈折材料２１が揺動することにより、レンズ１を通過した光の経路を連続的にシフトさせることができる。
【００６１】
また、第３の形態に係る光路変調部２によれば、カムリング２７に形成されるスリットのデザインとして、アクチュエータ２３の回転軸に直交する平面に平行する部分を設けることにより、光の入射角を一定時間保持することもできる。
【００６２】
なお、光路変調部２は、上述した形態以外にも、光屈折材料２１を光軸に対してシフトするよう制御して、光の経路をシフトさせるものであってもよい。
【００６３】
撮像素子３は、タイミング制御部４で生成されたタイミング信号に基づいて、光路変調部２を通過した光を結像し、画像信号に変換する光電変換素子であり、例えばＣＭＯＳイメージセンサやＣＣＤイメージセンサがある。
【００６４】
撮像素子３は、静止画像の撮影だけでなく、連続的に動きのある映像の撮影も考慮し、眼の積分時間とされる１／６０ｓで少なくとも４フレーム以上撮影可能なものが望ましい。したがって、撮像素子３のフレーム周波数は、例えば２４０Ｈｚ、４８０Ｈｚ、１０００Ｈｚ等となる。
【００６５】
ただし、撮像素子３のフレーム周波数は、光路変調部２において光の経路が微小にシフトすることにより生じる像の相対的な微小変化に対応できるようにするためには、光路変調部２のアクチュエータの駆動周波数の２倍乃至８倍とすることが望ましい。図２０は、撮像素子３のフレーム周波数を光路変調部２のアクチュエータ２３の駆動周波数の８倍とした場合における光路変調部２へ入射する光の入射角の変化と撮像のタイミングの関係を示した図である。横軸は時間及び撮影タイミング、縦軸は入射角を表す。横軸に表示されている１乃至８の数字は、連続撮影のフレーム番号に相当する。
【００６６】
タイミング制御部４は、ＣＰＵ、ＲＡＭ、ＲＯＭ等で構成されており、本発明の動作に必要な各種のプログラムを実行可能である。
【００６７】
タイミング制御部４は、タイミング信号を生成することにより、撮像素子３、アクチュエータ２３、記憶部５及び信号処理部６を制御する。
【００６８】
図２１は、記憶部５及び信号処理部６の機能的構成を示すブロック図である。
【００６９】
記憶部５は、タイミング制御部４で生成されたタイミング信号に基づいて、撮像素子３で連続撮影された複数の画像信号を単一の又は複数のグループを単位として記憶し、それらを単位として同時に読み出し可能にする。
【００７０】
記憶部５は、主に記憶装置で構成されており、少なくとも第１の記憶部５１と第２の記憶部５２を備えている。第１の記憶部５１は、撮像素子３からの画像信号を、例えば連続する４フレーム又は８フレームを１グループとしてまとめるために一時的に記憶するものである。第２の記憶部５２は、第１の記憶部５１で一時的に記憶された画像信号を単一の又は複数のグループを単位として記憶するとともに、それらを単位として同時に読み出し可能にする。
【００７１】
記憶部５においては、静止画像の表示だけでなく、連続的に動きのある映像を表示することも考慮し、連続するｆ／６０フレーム（ｆは撮像素子３のフレーム周波数）を単位グループとするのが望ましい。
【００７２】
なお、記憶部５においては、例えば、１グループのフレーム数を基本的に４フレームとし、特に動きが少ない静止画の場合等には、後述する画像合成処理による解像性能を高める目的で倍の８フレームとして処理するようにしてもよい。
【００７３】
信号処理部６は、タイミング制御部４で生成されたタイミング信号に基づいて、記憶部５から連続する複数の画像信号を読み出し、各種のディジタル画像処理法を適用することにより、ぼやけが除去された高画質の合成画像信号を出力する。
【００７４】
信号処理部６は、電子回路で構成されており、少なくとも信号合成部６１とデコンボリューション部６２を備えている。
【００７５】
信号合成部６は、記憶部５に記憶された複数の画像信号を単一の又は複数のグループを単位として読み出し、これら複数の画像信号を加算平均して第１の合成画像信号を生成する。
【００７６】
信号合成部６は、加算平均して得られた合成画像信号に対して、さらにスムージングフィルタ、鮮鋭化フィルタ等の各種のディジタル画像処理法を適用し、第１の合成画像信号を生成することが望ましい。
【００７７】
なお、信号合成部６１は、複数の画像信号を適切に加算合成することにより、鮮鋭化処理ができるようにしたものであってもよい。
【００７８】
デコンボリューション部６２は、信号合成部６１で生成された第１の合成画像信号に対して、あらかじめ記憶された修正関数を逐次適用することにより、ぼやけ成分が除去された第２の合成画像信号を生成する。
【００７９】
ここで、静止画像の表示だけでなく、連続的に動きのある映像を表示することも考慮すると、デコンボリューション部６２は、少なくとも眼の積分時間とされる１／６０ｓ当たり１フレーム以上の合成画像信号を出力できることが望ましい。
【００８０】
修正関数には、レンズを含む光学系全体の静的特性に起因する回析ぼやけを修正するものと、光路変調部２の動的特性に起因する動きぼやけを修正するものがある。以下、これらをそれぞれ回折ぼやけの修正関数、動きぼやけの修正関数という。
【００８１】
ここで、回折ぼやけの修正関数と動きぼやけの修正関数の原理について説明する。
【００８２】
まず、本発明に係る撮像装置１００で撮影された画像には、レンズを含めた光学系全体の静的特性に起因する回析ぼやけ成分と、光路変調部２において光路をシフトさせることに起因する動きぼやけが含まれており、これらのぼやけ特性はそれぞれ異なる伝達関数マトリックスで表すことができると仮定する。ここで、これらの伝達関数マトリックスをそれぞれ回折ぼやけカーネル、動きぼやけカーネルという。
【００８３】
この仮定によれば、本撮像装置１００の光学系の伝達特性は、畳み込み演算（コンボリューション演算）により、次式で表せることになる。
【数５】
2019024156.tif 000007
【００８４】
ここで、Ｃｉは撮影画像データ、Ｏｉは理想画像データ、Ｄｂは回折ぼやけカーネル、Ｍｂは動きぼやけカーネルである。また、記号は、畳み込み演算（コンボリューション演算）を表す。
【００８５】
上式において、動きぼやけカーネルと回析ぼやけカーネルの逆マトリックスをそれぞれコンボリューション演算（デコンボリューション演算）すると、次式となる。なお、上付きの−１の文字は、逆マトリックスであることを表す。
【数６】
2019024156.tif 000008
【００８６】
上式によれば、回折ぼやけ成分と動きぼやけ成分を含んだ撮影画像から、動きぼやけカーネルと回折ぼやけカーネルの逆マトリックスをコンボリューション演算（デコンボリューション演算）することにより、これらのぼやけ成分を含まない理想画像を得ることができる。
【００８７】
したがって、回析ぼやけカーネルの逆マトリックスを回析ぼやけの修正関数とし、動きぼやけカーネルの逆マトリックスを動きぼやけの修正関数とすることができる。
【００８８】
なお、これらのぼやけの修正関数は、ぼやけカーネルの逆マトリックスとする以外に、ぼやけカーネルのデコンボリュージョン関数としてもよい。
【００８９】
次に、図２２を参照して、回折ぼやけカーネルと動きぼやけカーネルの推定法について説明する。図２２は、ＰＳＦ（Ｐｏｉｎｔ  Ｓｐｒｅａｄ  Ｆｕｎｃｔｉｏｎ）による伝達関数の推定フローを示すフローチャートである。
【００９０】
まず、理想画像を用意する。これには、例えばデータが既知の解像度パターンを用いることができる。次に、これを被写体として本撮像装置１００で撮影し、光路変調部２を経て合成された画像信号を得る。この画像信号は、通常レンズ等の光学系に起因する回析ぼやけ成分を含んでおり、これは点光源が特定の広がり方をする伝達関数（ＰＳＦ）によって生じたものと考えることができる。この伝達関数は回析ぼやけカーネルに相当する。次に、撮影画像に対して伝達関数をデコンボリューション演算することにより推定画像を得る。ここで、伝達関数は、初めは任意の初期値のものでよい。次に、推定画像を理想画像と比較し、誤差が許容値以上であれば、伝達関数を修正し、更新する。このような推定画像の取得から伝達関数の修正更新までの各ステップを推定画像が理想画像に近づくまで繰り返すことで、回折ぼやけカーネルを算出する。
【００９１】
他方、本撮像装置１００の光学系の設定値、撮影タイミングごとの光のシフト量等は既知であるので、上述した方法により、撮影タイミングごとに動きぼやけカーネルを算出する。
【００９２】
なお、本処理は、本発明に係る撮像装置１００を製造する際に１度行えばよいものであり、使用状態で常時行うことを想定したものではない。ただし、本処理は、レンズが変化したり、撮影条件が変化した際などに、本撮像装置１００の性能を最適化するうえで有効である。
【００９３】
次に、図２３乃至図２５を参照して、合成画像信号に対して動きぼやけの修正関数と回析ぼやけの修正関数をコンボリューション演算（デコンボリューション演算）することにより得られる効果を説明する。
【００９４】
図２３は、図２の撮影パターンを光路変調部２で光の経路を連続的にシフトさせながら連続撮影した画像信号を加算平均して得た第１の合成画像信号の光強度分布を示すグラフである。図２３では、従来の空間画素ずらしにより得られる合成画像信号に比べ解像が改善していることがわかる。しかし、ぼやけ成分は十分に除去できないことがわかる。
【００９５】
図２４は、第１の合成画像信号に対して、動きぼやけの修正関数を適用した結果を示すグラフであり、図２５は、動きぼやけの修正関数を適用して得た合成画像信号に対して、回析ぼやけの修正関数を適用した結果を示すグラフである。
【００９６】
図２４及び図２５では、第１の合成画像信号に対して、動きぼやけの修正関数、解析ぼやけの修正関数を逐次適用することにより、ぼやけ成分が除去され、理想画像に近い合成画像信号が得られることがわかる。
【００９７】
したがって、上述の信号処理部６によれば、光路変調部２で光の経路を連続的にシフトさせながら連続撮影した複数の画像信号を単一の又は複数のグループを単位として加算平均することにより、従来よりも解像が改善された第１の合成画像信号を生成することが可能であり、さらに第１の合成画像信号から動きぼやけ成分と回折ぼやけ成分を除去することにより、理想画像に近い高画質の第２の合成画像信号を生成することが可能である。
【００９８】
また、上述の信号処理部６によれば、第１の合成画像信号に対して、フィルタリング等の各種ディジタル処理法を適用することにより、さらに解像を改善することが可能である。
【００９９】
以上、本発明によれば、撮影画像の解像が向上するとともに、画質を劣化させる原因であったぼやけが除去されることにより、微細画素のイメージセンサで高画質の映像を撮影することが可能となる。
【０１００】
また、本発明によれば、撮像装置を従来よりも小型化、軽量化、低コスト化することが可能となる。
【産業上の利用可能性】
【０１０１】
本発明は、放送、テレビ、映画、医療、広告、セキュリティ等の用途で広く利用することができる。
【０１０２】
本発明は、明細書に記載の実施形態に限定されるものではなく、他の実施例、変形例を含むことは、本明細書の記載の実施形態や思想から本発明の属する分野における当業者にとって明らかである。
【図面の簡単な説明】
【０１０３】
【図１】解像度の理論的な限界を示すグラフである。
【図２】撮影パターンの理想的な光強度分布を示すグラフである。
【図３】撮影パターンを撮像面上で結像した像の光強度分布を示すグラフである。
【図４】撮影パターンをイメージセンサで撮影して得られた光強度分布を示すグラフである。
【図５】イメージセンサの画素の位置を相対的にシフトして得られた光強度分布を示したグラフである
【図６】イメージセンサの画素の位置を相対的にシフトして得られる４つの光強度分布をもとに合成した光強度分布を示したグラフである。
【図７】イメージセンサの画素の位置を相対的にシフトして得られる８つの光強度分布をもとに合成した光強度分布を示したグラフである。
【図８】スムージングフィルタ処理を適用した光強度分布を示すグラフである。
【図９】鮮鋭化フィルタ処理を適用した光強度分布を示すグラフである。
【図１０】本発明の実施の形態の機能的構成を示すブロック図である。
【図１１】光路変調部の第１の形態を示す図である。
【図１２】光路変調部の第１の形態において、光屈折材料へ入射する光の入射角の変化を示すグラフである。
【図１３】光屈折材料を介して光の経路がシフトすることを説明するための説明図である。
【図１４】光路変調部の第２形態を示す説明図である。
【図１５】光路変調部の第２形態を示す斜視図である。
【図１６】光路変調部の第２の形態において、光屈折材料へ入射する光の入射角の変化を示すグラフである。
【図１７】光路変調部の第３形態を示す説明図である。
【図１８】光路変調部の第３形態を示す斜視図である。
【図１９】光路変調部の第３の形態において、光屈折材料へ入射する光の入射角の変化を示すグラフである。
【図２０】光路変調部へ入射する光の入射角の変化と撮像のタイミングの関係を示した図である。
【図２１】記憶部及び信号処理部の機能的構成を示すブロック図である。
【図２２】修正関数の推定フローを示すフローチャートである。
【図２３】光路変調部で光の経路をシフトさせながら連続撮影した画像信号を加算平均して得た第１の合成画像信号の光強度分布を示すグラフである。
【図２４】第１の合成画像信号に対して、動きぼやけの修正関数を適用した結果を示すグラフである。
【図２５】動きぼやけの修正関数を適用して得た画像信号に対して、回析ぼやけの修正関数を適用した結果を示すグラフである。
【符号の説明】
【０１０４】
１      レンズ
２      光路変調部
３      撮像素子
４      タイミング制御部
５      記憶部
６      信号処理部
２０    光線
２１    光屈折材料
２２    回転軸
２３    アクチュエータ
２４    回転伝達円板
２５    外部リング
２６    内部リング
２７    カムリング
３１    撮像のタイミング
３２    撮像のフレーム番号
４１    出力
５１    第１記憶部
５２    第２記憶部
６１    信号合成部
６２    デコンボリューション部
【図１】
2019024156.tif 000009
【図２】
2019024156.tif 000010
【図３】
2019024156.tif 000011
【図４】
2019024156.tif 000012
【図５】
2019024156.tif 000013
【図６】
2019024156.tif 000014
【図７】
2019024156.tif 000015
【図８】
2019024156.tif 000016
【図９】
2019024156.tif 000017
【図１０】
2019024156.tif 000018
【図１１】
2019024156.tif 000019
【図１２】
2019024156.tif 000020
【図１３】
2019024156.tif 000021
【図１４】
2019024156.tif 000022
【図１５】
2019024156.tif 000023
【図１６】
2019024156.tif 000024
【図１７】
2019024156.tif 000025
【図１８】
2019024156.tif 000026
【図１９】
2019024156.tif 000027
【図２０】
2019024156.tif 000028
【図２１】
2019024156.tif 000029
【図２２】
2019024156.tif 000030
【図２３】
2019024156.tif 000031
【図２４】
2019024156.tif 000032
【図２５】
2019024156.tif 000033
【手続補正書】
【提出日】平成29年7月28日(2017.7.28)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】請求項１
【補正方法】変更
【補正の内容】
【請求項１】
光を集光するレンズと、
伸縮又は回転駆動可能なアクチュエータと、当該アクチュエータの駆動を直接又は間接に伝達可能に配置され、前記レンズで集光された光の入射角をシフト可能な光屈折材料とを有し、当該光屈折材料が当該アクチュエータの駆動に連動することにより、当該光の経路を連続的にシフトする光路変調部と、
前記光路変調部を通過した光を結像し、連続的に画像信号に変換可能な撮像素子と、
前記撮像素子で撮影された連続する複数の画像信号を、単一の又は複数のグループを単位として同時に読み出し可能に記憶する記憶部と、
前記記憶部から単一の又は複数のグループを単位として読み出された複数の画像信号を加算平均することにより第１の合成画像信号を生成する信号合成部と、当該第１の合成画像信号に対して、あらかじめ記憶された動きぼやけの修正関数と回折ぼやけの修正関数を逐次適用し、第２の合成画像信号を生成するデコンボリューション部とを有する信号処理部と、
前記撮像素子、前記光路変調部、前記記憶部及び前記信号処理部を制御するタイミング信号を出力するタイミング制御部と、
を備え、
前記撮像素子のフレーム周波数は、前記アクチュエータの駆動周波数の２倍乃至８倍の範囲内であること、
を特徴とする撮像装置。
【手続補正書】
【提出日】平成29年7月28日(2017.7.28)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】変更
【補正の内容】
【００２８】
本発明は、上記課題を解決するためになされたものであり、
光を集光するレンズと、
伸縮又は回転駆動可能なアクチュエータと、当該アクチュエータの駆動を直接又は間接に伝達可能に配置され、前記レンズで集光された光の入射角をシフト可能な光屈折材料とを有し、当該光屈折材料が該アクチュエータの駆動に連動することにより、当該光の経路を連続的にシフトする光路変調部と、
前記光路変調部を通過した光を結像し、連続的に画像信号に変換可能な撮像素子と、
前記撮像素子で撮影された連続する複数の画像信号を、単一の又は複数のグループを単位として同時に読み出し可能に記憶する記憶部と、
前記記憶部から単一の又は複数のグループを単位として読み出された複数の画像信号を加算平均することにより第１の合成画像信号を生成する信号合成部と、当該第１の合成画像信号に対して、あらかじめ記憶された動きぼやけの修正関数と回折ぼやけの修正関数を逐次適用し、第２の合成画像信号を生成するデコンボリューション部とを有する信号処理部と、
前記撮像素子、前記光路変調部、前記記憶部及び前記信号処理部を制御するタイミング信号を出力するタイミング制御部と、
を備え、
前記撮像素子のフレーム周波数は、前記アクチュエータの駆動周波数の２倍乃至８倍の範囲内であること、
を特徴とする撮像装置である。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
修正関数には、レンズを含む光学系全体の静的特性に起因する回折ぼやけを修正するものと、光路変調部２の動的特性に起因する動きぼやけを修正するものがある。以下、これらをそれぞれ回折ぼやけの修正関数、動きぼやけの修正関数という。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８２
【補正方法】変更
【補正の内容】
【００８２】
まず、本発明に係る撮像装置１００で撮影された画像には、レンズを含めた光学系全体の静的特性に起因する回折ぼやけ成分と、光路変調部２において光路をシフトさせることに起因する動きぼやけが含まれており、これらのぼやけ特性はそれぞれ異なる伝達関数マトリックスで表すことができると仮定する。ここで、これらの伝達関数マトリックスをそれぞれ回折ぼやけカーネル、動きぼやけカーネルという。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
上式において、動きぼやけカーネルと回折ぼやけカーネルの逆マトリックスをそれぞれコンボリューション演算（デコンボリューション演算）すると、次式となる。なお、上付きの−１の文字は、逆マトリックスであることを表す。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００８７
【補正方法】変更
【補正の内容】
【００８７】
したがって、回折ぼやけカーネルの逆マトリックスを回折ぼやけの修正関数とし、動きぼやけカーネルの逆マトリックスを動きぼやけの修正関数とすることができる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
まず、理想画像を用意する。これには、例えばデータが既知の解像度パターンを用いることができる。次に、これを被写体として本撮像装置１００で撮影し、光路変調部２を経て合成された画像信号を得る。この画像信号は、通常レンズ等の光学系に起因する回折ぼやけ成分を含んでおり、これは点光源が特定の広がり方をする伝達関数（ＰＳＦ）によって生じたものと考えることができる。この伝達関数は回折ぼやけカーネルに相当する。次に、撮影画像に対して伝達関数をデコンボリューション演算することにより推定画像を得る。ここで、伝達関数は、初めは任意の初期値のものでよい。次に、推定画像を理想画像と比較し、誤差が許容値以上であれば、伝達関数を修正し、更新する。このような推定画像の取得から伝達関数の修正更新までの各ステップを推定画像が理想画像に近づくまで繰り返すことで、回折ぼやけカーネルを算出する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００９３
【補正方法】変更
【補正の内容】
【００９３】
次に、図２３乃至図２５を参照して、合成画像信号に対して動きぼやけの修正関数と回折ぼやけの修正関数をコンボリューション演算（デコンボリューション演算）することにより得られる効果を説明する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００９５
【補正方法】変更
【補正の内容】
【００９５】
図２４は、第１の合成画像信号に対して、動きぼやけの修正関数を適用した結果を示すグラフであり、図２５は、動きぼやけの修正関数を適用して得た合成画像信号に対して、回折ぼやけの修正関数を適用した結果を示すグラフである。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０１０３
【補正方法】変更
【補正の内容】
【０１０３】
【図１】解像度の理論的な限界を示すグラフである。
【図２】撮影パターンの理想的な光強度分布を示すグラフである。
【図３】撮影パターンを撮像面上で結像した像の光強度分布を示すグラフである。
【図４】撮影パターンをイメージセンサで撮影して得られた光強度分布を示すグラフである。
【図５】イメージセンサの画素の位置を相対的にシフトして得られた光強度分布を示したグラフである
【図６】イメージセンサの画素の位置を相対的にシフトして得られる４つの光強度分布をもとに合成した光強度分布を示したグラフである。
【図７】イメージセンサの画素の位置を相対的にシフトして得られる８つの光強度分布をもとに合成した光強度分布を示したグラフである。
【図８】スムージングフィルタ処理を適用した光強度分布を示すグラフである。
【図９】鮮鋭化フィルタ処理を適用した光強度分布を示すグラフである。
【図１０】本発明の実施の形態の機能的構成を示すブロック図である。
【図１１】光路変調部の第１の形態を示す図である。
【図１２】光路変調部の第１の形態において、光屈折材料へ入射する光の入射角の変化を示すグラフである。
【図１３】光屈折材料を介して光の経路がシフトすることを説明するための説明図である。
【図１４】光路変調部の第２形態を示す説明図である。
【図１５】光路変調部の第２形態を示す斜視図である。
【図１６】光路変調部の第２の形態において、光屈折材料へ入射する光の入射角の変化を示すグラフである。
【図１７】光路変調部の第３形態を示す説明図である。
【図１８】光路変調部の第３形態を示す斜視図である。
【図１９】光路変調部の第３の形態において、光屈折材料へ入射する光の入射角の変化を示すグラフである。
【図２０】光路変調部へ入射する光の入射角の変化と撮像のタイミングの関係を示した図である。
【図２１】記憶部及び信号処理部の機能的構成を示すブロック図である。
【図２２】修正関数の推定フローを示すフローチャートである。
【図２３】光路変調部で光の経路をシフトさせながら連続撮影した画像信号を加算平均して得た第１の合成画像信号の光強度分布を示すグラフである。
【図２４】第１の合成画像信号に対して、動きぼやけの修正関数を適用した結果を示すグラフである。
【図２５】動きぼやけの修正関数を適用して得た画像信号に対して、回折ぼやけの修正関数を適用した結果を示すグラフである。