(57)【要約】【課題】被写体のぶれによるぼけ及びフォーカスぼけを容易に低減可能とし、鮮明かつ高品質な画像を取得可能とするカメラシステムを提供すること。【解決手段】実施形態によれば、カメラシステム１は、撮像光学系１１、イメージセンサ１３、フォーカス調整部であるＡＦ駆動ドライバ１５、光量調整部及び画像復元部である画像復元回路１６を有する。イメージセンサ１３は、被写体像を撮像する。フォーカス調整部は、撮像光学系１１のフォーカスを調整する。光量調整部は、撮像光学系１１へ入射した光の光量分布を調整する。画像復元部は、イメージセンサ１３で取得された画像への画像復元処理を実施する。光量調整部での光量分布の調整を経た光によるイメージセンサ１３の露光時間において、フォーカス調整部はフォーカスを連続的に変化させる。【選択図】図１
2015204566.tif 000002
【特許請求の範囲】
【請求項１】
被写体からの光を取り込み、被写体像を結像させる撮像光学系と、
前記被写体像を撮像するイメージセンサと、
前記撮像光学系のフォーカスを調整するフォーカス調整部と、
前記撮像光学系へ入射した光の光量分布を調整する光量調整部と、
前記イメージセンサで取得された画像への画像復元処理を実施する画像復元部と、を有し、
前記光量調整部での前記光量分布の調整を経た光による前記イメージセンサの露光時間において、前記フォーカス調整部はフォーカスを連続的に変化させることを特徴とするカメラシステム。
【請求項２】
前記撮像光学系において光量を調整する絞りを有し、
前記光量調整部は、前記絞りを通過する光の光量分布を調整することを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記光量調整部は、入射した光を減衰させる減衰マスクを備えることを特徴とする請求項１又は２に記載のカメラシステム。
【請求項４】
前記光量調整部は、印加電圧に応じて透過光量を調整する液晶素子を備えることを特徴とする請求項１又は２に記載のカメラシステム。
【請求項５】
前記画像復元部は、あらかじめ設定された点像分布関数を用いる逆畳み込み演算を、前記画像復元処理にて実施することを特徴とする請求項１から４のいずれか一項に記載のカメラシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本実施形態は、カメラシステムに関する。
【背景技術】
【０００２】
カメラシステムは、高感度かつ鮮明な画像を取得できることが求められている。カメラシステムは、感度を向上させるために、例えば露光時間を長くすることで光量を稼ぐ場合がある。露光時間が長くなると、被写体像のぶれ（モーションぼけ）が生じ易くなる。カメラシステムは、例えば、撮像光学系としてＦ値の低いレンズを搭載することで、光量を稼ぐ場合もある。Ｆ値の低いレンズを使用する場合、カメラシステムは、被写界深度が浅くなることで十分なフォーカス調整が難しくなるため、フォーカスぼけが生じ易くなる。
【０００３】
従来、実際の被写体像にぼけが加わった劣化画像から、元の被写体像に近い画像を得るための手法として、劣化画像に生じているぼけの劣化モデルを推定して求めた空間フィルタを使用する画像復元処理が知られている。モーションぼけ及びフォーカスぼけの双方を含む画像については、これらのぼけを含めた劣化モデルを推定することが困難であることから、ぼけの解消が不十分となり、鮮明な画像が得られない場合がある。画像復元処理を実施することで解像感が改善できたとしても、ノイズが強調されることで画像の品質が低下する場合もある。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平１０−３３３２０２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
一つの実施形態は、被写体のぶれによるぼけ及びフォーカスぼけを容易に低減可能とし、鮮明かつ高品質な画像を取得可能とするカメラシステムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
一つの実施形態によれば、カメラシステムは、撮像光学系、イメージセンサ、フォーカス調整部、光量調整部及び画像復元部を有する。撮像光学系は、被写体からの光を取り込む。撮像光学系は、被写体像を結像させる。イメージセンサは、被写体像を撮像する。フォーカス調整部は、撮像光学系のフォーカスを調整する。光量調整部は、撮像光学系へ入射した光の光量分布を調整する。画像復元部は、イメージセンサで取得された画像への画像復元処理を実施する。光量調整部での光量分布の調整を経た光によるイメージセンサの露光時間において、フォーカス調整部はフォーカスを連続的に変化させる。
【図面の簡単な説明】
【０００７】
【図１】図１は、第１の実施形態にかかるカメラシステムの概略構成を示すブロック図である。
【図２】図２は、カメラシステムが備える光学系の構成を示す模式図である。
【図３】図３は、第２の実施形態にかかるカメラシステムの概略構成を示すブロック図である。
【図４】図４は、カメラシステムが備える光学系の構成を示す模式図である。
【発明を実施するための形態】
【０００８】
以下に添付図面を参照して、実施形態にかかるカメラシステムを詳細に説明する。なお、これらの実施形態により本発明が限定されるものではない。
【０００９】
（第１の実施形態）
図１は、第１の実施形態にかかるカメラシステムの概略構成を示すブロック図である。カメラシステム１は、例えば、デジタルカメラである。カメラシステム１は、デジタルスチルカメラ及びデジタルビデオカメラのいずれであっても良い。カメラシステム１は、カメラモジュール２を備える電子機器、例えばカメラ付き携帯端末等でも良い。
【００１０】
カメラシステム１は、カメラモジュール２及び後段処理部３を有する。カメラモジュール２は、レンズモジュール４及び固体撮像装置５を備える。レンズモジュール４は、撮像光学系１１及びレンズ駆動部１２を備える。
【００１１】
撮像光学系１１は、被写体からの光を取り込み、被写体像を結像させる。レンズ駆動部１２は、撮像光学系１１を構成するレンズの少なくともいずれかを、光軸方向において駆動する。
【００１２】
固体撮像装置５は、イメージセンサ１３、撮像処理回路１４及びオートフォーカス（ＡＦ）駆動ドライバ１５を備える。イメージセンサ１３は、被写体像を撮像する。イメージセンサ１３は、例えば、ＣＭＯＳイメージセンサである。イメージセンサ１３は、ＣＭＯＳイメージセンサの他、ＣＣＤであっても良い。
【００１３】
撮像処理回路１４は、イメージセンサ１３からの画像信号に対し、各種の信号処理を実施する。撮像処理回路１４は、各種信号処理として、例えば、キズ補正、ガンマ補正、ノイズ低減処理、レンズシェーディング補正、ホワイトバランス調整、歪曲補正、解像度復元等を実施する。
【００１４】
フォーカス調整部であるＡＦ駆動ドライバ１５は、撮像処理回路１４からの制御信号に応じて、レンズ駆動部１２を制御する。ＡＦ駆動ドライバ１５は、レンズ駆動部１２を制御することで、撮像光学系１１のフォーカスを調整する。
【００１５】
後段処理部３は、イメージシグナルプロセッサ（ＩＳＰ）６、記憶部７及び表示部８を有する。ＩＳＰ６は、画像復元部である画像復元回路１６を備える。画像復元回路１６は、イメージセンサ１３で取得された画像への画像復元処理を実施する。ＩＳＰ６は、画像復元回路１６での画像復元処理のほか、イメージセンサ１３で取得された画像への各種処理、例えばデモザイク処理等を実施する。
【００１６】
記憶部７は、ＩＳＰ６での信号処理を経た画像を格納する。記憶部７は、ユーザの操作等に応じて、表示部８へ画像信号を出力する。表示部８は、ＩＳＰ６あるいは記憶部７から入力される画像信号に応じて、画像を表示する。表示部８は、例えば、液晶ディスプレイである。
【００１７】
カメラシステム１は、本実施形態において撮像処理回路１４が実施するものとした各種信号処理の少なくともいずれかをＩＳＰ６が実施しても良く、ＩＳＰ６が実施するものとした処理の少なくともいずれかを撮像処理回路１４が実施しても良い。画像復元回路１６は、少なくとも、ＩＳＰ６及び撮像処理回路１４の一方に設けられていれば良い。カメラシステム１は、各種処理の少なくともいずれかを、撮像処理回路１４及びＩＳＰ６の双方が実施しても良い。撮像処理回路１４及びＩＳＰ６は、本実施形態で説明する処理以外の処理を実施しても良い。
【００１８】
図２は、カメラシステムが備える光学系の構成を示す模式図である。撮像レンズ２１は、撮像光学系１１を構成する。レンズ駆動部１２は、撮像レンズ２１のいずれかを、光軸方向において移動させる。
【００１９】
絞り２２は、撮像光学系１１において光量を調整する。被写体から撮像光学系１１へ入射した光は、撮像光学系１１を経てメインミラー２３へ入射する。メインミラー２３を透過した光は、サブミラー２４へ入射する。サブミラー２４を透過しメカシャッタ２８を通過した光は、イメージセンサ１３へ入射する。
【００２０】
サブミラー２４で反射した光は、ＡＦセンサ２５へ進行する。カメラシステム１は、ＡＦセンサ２５での検出結果を使用するフォーカス調整を行う。メインミラー２３で反射した光は、レンズ２６及びプリズム２７を経てファインダー２９へ進行する。カメラシステム１が備える光学系は、実施形態で説明するものに限られず、適宜変更しても良い。
【００２１】
光量調整部である減衰マスク２０は、絞り２２の開口に設けられている。減衰マスク２０は、入射した光を減衰させることで、絞り２２を通過する光の光量分布を調整する。減衰マスク２０は、光軸に垂直な二次元方向において透過光量が非均一となるような透過率分布を持つ。減衰マスク２０は、例えば、透過率をランダムに異ならせたマスクパターンを備える。
【００２２】
撮像処理回路１４は、例えば位相差の検出及びコントラストの検出のいずれかを利用して、フォーカスのずれ量を検出する。例えば、撮像処理回路１４は、イメージセンサ１３で撮像された画像と、ＡＦセンサ２５で撮像された画像との位相差に応じて、フォーカスのずれ量を検出する。または、撮像処理回路１４は、レンズ駆動部１２の駆動をＡＦ駆動ドライバ１５へ指示しながらコントラストが大きくなる状態を検索し、フォーカスのずれ量を検出する。
【００２３】
撮像処理回路１４でフォーカスのずれ量が検出されると、イメージセンサ１３の露光時間内において、ＡＦ駆動ドライバ１５は、光軸方向において撮像レンズ２１を移動させる。このとき、ＡＦ駆動ドライバ１５は、合焦時の位置の前及び後の間の所定距離において撮像レンズ２１を移動させる。
【００２４】
これにより、減衰マスク２０での光量分布の調整を経た光によるイメージセンサ１３の露光時間において、ＡＦ駆動ドライバ１５は、フォーカスを連続的に変化させる。イメージセンサ１３は、フォーカスを連続的に変化させて得られる被写体像を撮像する。
【００２５】
画像復元回路１６は、画像復元処理として、空間フィルタを用いる画素値の変換を実施する。空間フィルタは、モーションぼけとフォーカスぼけによる劣化後の画像と、劣化前の原画像との関係を表す。点像分布関数（point  spread  function；ＰＳＦ）は、原点にのみ値を持つ点画像に劣化を表す空間フィルタを適用することで画像として観察される劣化関数である。画像復元回路１６は、例えば、あらかじめ設定された既知のＰＳＦを用いる逆畳み込み演算を、画像復元処理にて実施する。
【００２６】
露光時間においてフォーカスを連続的に変化させることで、固体撮像装置５で取得される画像には、フォーカスがずれているときのフォーカスぼけが重畳している。また、露光時間においてカメラシステム１に対して動きのある被写体を撮像した場合、固体撮像装置５で取得される画像にはモーションぼけが生じることとなる。
【００２７】
仮に、安定したフォーカス調整が困難である状況において、フォーカスのずれ量の検出結果に応じたフォーカス調整を行うこととした場合、画像には、かかる調整により決定されたフォーカスの位置と、実際の合焦位置とのずれに応じたフォーカスぼけが生じることとなる。フォーカスぼけのある画像を復元する場合、被写体距離に応じたＰＳＦを推定して画像復元処理を実施することとなる。
【００２８】
また、モーションぼけは、カメラシステム１に対して被写体が動く方向に応じた方向性を持つ。モーションぼけによるＰＳＦは、被写体の動きの軌跡に応じた係数を持つ空間フィルタにより表される。モーションぼけのある画像を復元する場合、かかる動きの方向を検知し、方向に応じた空間フィルタを用いる複雑な処理を実施することとなる。互いに性質の異なるフォーカスぼけとモーションぼけを含む画像については、ＰＳＦを推定して画像復元処理を実施することが困難である。また、ＰＳＦとして表現しきれていないぼけの成分が含まれている画像に対し逆畳み込み演算を実施することで、当該成分がノイズとなって強調される場合がある。この場合、画像復元処理を実施することで解像感が改善できたとしても、ノイズが強調されることで画像の品質が低下することになる。
【００２９】
本実施形態によると、露光時間においてフォーカスを意図的に変化させることで、固体撮像装置５で得られる画像には、かかるフォーカスの変化に応じたフォーカスぼけが含まれる。フォーカスぼけは、フォーカスを変化させた範囲へ輪郭のぶれを増大させる。
【００３０】
固体撮像装置５は、減衰マスク２０にて透過光量を低下させることで、低照度ではなくても露光時間を長くする撮像が可能となる。露光時間を長くすることで、被写体が移動することによる輪郭のぶれは増大することとなる。露光時間においてフォーカスを変化させることで、モーションぼけについても輪郭のぶれを増大させる。フォーカスを変化させることによる輪郭のぶれは、方向によらず増大することとなるため、モーションぼけが持つ方向性が緩和されることになる。
【００３１】
カメラシステム１は、フォーカスぼけとモーションぼけとについてそれぞれ輪郭のぶれを増大させることで、全体的にぼけのある画像を形成する。かかる画像では、フォーカスぼけについての被写体距離への依存と、モーションぼけについての被写体の動きへの依存とがいずれも低められ、ぼけは要因に関わらずある程度均一となる。
【００３２】
カメラシステム１は、被写体距離及び被写体の動きのいずれについても依存性が軽減された画像に対し、既知のＰＳＦを使用する画像復元処理を実施することで、元の被写体像に近い画像を比較的容易に得ることが可能となる。カメラシステム１は、モーションぼけ及びフォーカスぼけの双方を含めた劣化モデルの推定によらず、あらかじめ設定されたＰＳＦを使用して画像復元処理を実施できる。
【００３３】
カメラシステム１は、ＰＳＦに表現されきれないようなぼけの成分を少ない状態としてから逆畳み込み演算を実施することで、ノイズの強調を抑制することができる。カメラシステム１は、露光時間を長くすることで生じ得るモーションぼけを効果的に抑制することができる。カメラシステム１は、Ｆ値の低い撮像レンズ２１を使用する場合に生じ得るフォーカスぼけを効果的に抑制することができる。露光時間を長くできるとともにＦ値の低いレンズを使用可能とすることで、カメラシステム１は、感度を向上させることができる。
【００３４】
以上により、カメラシステム１は、被写体のぶれによるぼけ及びフォーカスぼけを容易に低減可能とし、鮮明かつ高品質な画像を取得できるという効果を奏する。
【００３５】
画像復元回路１６は、逆畳み込み演算において、例えば、あらかじめ保持する固定のＰＳＦを使用する。例えば、撮像光学系１１に含まれる撮像レンズ２１の歪み（収差）が比較的少ない場合は、固定のＰＳＦを使用することとしても、カメラシステム１は、効果的にぼけが低減された画像を得ることができる。
【００３６】
または、画像復元回路１６は、あらかじめ保持する複数のＰＳＦから適宜選択されたＰＳＦを、逆畳み込み演算において使用しても良い。画像復元回路１６は、例えば像高ごとに設定されたＰＳＦを保持し、像高に応じて選択されたＰＳＦを逆畳み込み演算に使用しても良い。例えば、撮像光学系１１に含まれる撮像レンズ２１の歪みが比較的大きい場合は、像高に応じて選択されたＰＳＦを使用することで、カメラシステム１は、効果的にぼけが低減された画像を得ることができる。像高ごとに設定されたＰＳＦを保持して使用する処理は、例えば、カメラシステム１がカメラ付き携帯端末である場合に有用である。
【００３７】
画像復元回路１６は、例えば、二次元座標における各象限のうち１つの象限についてのＰＳＦを保持することとし、保持するＰＳＦを利用して他の象限のＰＳＦを求めることとしても良い。画像復元回路１６は、複数の画素（例えば７×５画素）からなる画素ブロックごとのＰＳＦを保持することとし、保持するＰＳＦ同士を適宜補間することで、画素ブロック内の位置ごとのＰＳＦを求めることとしても良い。
【００３８】
（第２の実施形態）
図３は、第２の実施形態にかかるカメラシステムの概略構成を示すブロック図である。上記の第１の実施形態と同一の部分には同一の符号を付し、重複する説明を適宜省略する。
【００３９】
レンズモジュール４は、撮像光学系３１及びレンズ駆動部１２を備える。固体撮像装置５は、イメージセンサ１３、撮像処理回路１４、オートフォーカス（ＡＦ）駆動ドライバ１５及び液晶駆動ドライバ３２を備える。
【００４０】
図４は、カメラシステムが備える光学系の構成を示す模式図である。光量調整部である液晶素子３３は、絞り２２の開口に設けられている。液晶素子３３は、印加電圧に応じて透過光量を調整する。液晶素子３３は、入射した光を減衰させることで、絞り２２を通過する光の光量分布を調整する。
【００４１】
液晶駆動ドライバ３２は、撮像処理回路１４からの制御信号に応じて液晶素子３３への印加電圧を調整することで、液晶素子３３の駆動を制御する。液晶素子３３は、例えば液晶駆動ドライバ３２により電圧が印加された状態において、入射した光の一部を遮蔽することで、光の量を調節する。液晶素子３３は、電圧の印加が停止された状態では、入射した光を遮蔽せず透過させる。
【００４２】
液晶素子３３は、入射した光の一部を遮蔽する状態とされているとき、光軸に垂直な二次元方向において透過光量が非均一となるような透過率分布を持つ。液晶素子３３は、入射した光の一部を遮蔽することで、例えば、透過率をランダムに異ならせたマスクパターンとして機能する。なお、液晶素子３３は、電圧の印加が停止されたときに光を遮蔽し、電圧が印加されたときに光を透過させても良い。液晶駆動ドライバ３２は、例えば、カメラシステム１の撮影モードに応じて、液晶素子３３における光の遮蔽及び透過を制御することとしても良い。
【００４３】
液晶素子３３での光量分布の調整を経た光によるイメージセンサ１３の露光時間において、ＡＦ駆動ドライバ１５は、フォーカスを連続的に変化させる。イメージセンサ１３は、フォーカスを連続的に変化させて得られる被写体像を撮像する。固体撮像装置５は、液晶素子３３にて透過光量を低下させることで、低照度ではなくても露光時間を長くする撮像が可能となる。
【００４４】
本実施形態でも、カメラシステム１は、被写体のぶれによるぼけ及びフォーカスぼけを容易に低減可能とし、鮮明かつ高品質な画像を取得できるという効果を奏する。カメラシステム１は、液晶素子３３の駆動を制御することで、モーションぼけ及びフォーカスぼけを低減可能なモードと、通常のモードとに、撮影モードを切り換えることができる。
【００４５】
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【符号の説明】
【００４６】
１  カメラシステム、１１  撮像光学系、１３  イメージセンサ、１５  ＡＦ駆動ドライバ、１６  画像復元回路、２０  減衰マスク、２２  絞り、３１  撮像光学系、３３  液晶素子。
【図１】
2015204566.tif 000003
【図２】
2015204566.tif 000004
【図３】
2015204566.tif 000005
【図４】
2015204566.tif 000006