(57)【要約】【課題】被写体の解像度を低下させることなくモアレを低減した画像が得られる撮像装置を提供すること。【解決手段】撮像光学系を通過した被写体光を第１の被写体光と第２の被写体光に分配する光分配器と、前記第１の被写体光を撮像する第１の撮像素子と、前記第２の被写体光を撮像する、前記第１の撮像素子よりも画素数が少ない第２の撮像素子と、前記第１の撮像素子の前に設けられず、かつ、前記第２の撮像素子の前に設けられる光学ローパスフィルタと、前記第１の撮像素子及び第２の撮像素子で同時に撮像した画像を比較することで、前記第１の撮像素子で撮像した画像に発生したモアレを検出するモアレ検出手段と、前記第１の撮像素子で撮像した画像のエッジを検出し、エッジ信号検出領域をモアレ検出結果から除外する手段と、前記モアレ検出手段で検出したモアレを軽減する手段と、を有することを特徴とする。【選択図】図１
2018207414.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系を通過した被写体光を第１の被写体光と第２の被写体光に分配する光分配器と、
前記第１の被写体光を撮像する第１の撮像素子と、
前記第２の被写体光を撮像する、前記第１の撮像素子よりも画素数が少ない第２の撮像素子と、
前記第１の撮像素子の前に設けられず、かつ、前記第２の撮像素子の前に設けられる光学ローパスフィルタと、
前記第１の撮像素子及び第２の撮像素子で同時に撮像した画像を比較することで、前記第１の撮像素子で撮像した画像に発生したモアレを検出するモアレ検出手段と、
前記第１の撮像素子で撮像した画像のエッジを検出し、エッジ信号検出領域をモアレ検出結果から除外する手段と、
前記モアレ検出手段で検出したモアレを軽減する手段と、
を有することを特徴とする撮像装置。
【請求項２】
前記第１の撮像素子で撮像した画像の前記モアレ検出手段で検出したモアレ領域を前記第２の撮像素子で撮像した画像の信号に置き換えることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記置き換える信号は前記第２の撮像素子で撮像した画像の色信号であることを特徴とする請求項２に記載の撮像装置。
【請求項４】
動画撮影時は前記第２の撮像素子で撮像した画像と、前記第１の撮像素子から水平、垂直方向に複数画素を混合して読み出しを行った画像を出力し、前記２つの画像を比較することで、前記第２の撮像素子で撮像した画像に発生したモアレを検出することを特徴とする請求項１乃至請求項３の何れか一項に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置に関するものであり、特に色モアレを低減する撮像装置に関する。
【背景技術】
【０００２】
一般にナイキストの定理により、サンプリング周波数Ｎの１／２より高い空間周波数を有する被写体像を撮影した場合、折り返し歪み（モアレ）が撮影画像に発生してしまう。このモアレの防止策として、Ｎ／２より高い周波数をカットする光学ローパスフィルタを撮像素子の撮像面に配置することが一般的である。
【０００３】
しかし、光学ローパスフィルタのカットオフ特性を急峻にすることには限界があるため、Ｎ／２より低い周波数も減衰してしまう。そのため、常に画面全体の解像度が低下し、本来の撮像素子の画素数に相当する高画質の画像を得ることができないというデメリットがある。例えば、規則性のある人工物が一切ない自然風景のようなシーンでは、画質を損なうようなモアレが発生する可能性は低いため、ローパスフィルタがデメリットでしかない場合も多い。
【０００４】
そのため、近年、光学ローパスフィルタを装備しないカメラが多く登場している。当然、シーンによっては画質を破たんさせるほどのモアレが発生するため、撮影時、必要な時に限ってモアレを低減するための技術が提案されている。
【０００５】
特許文献１には、合焦状態で撮像された画像から輝度信号を生成し、そこから所定量だけデフォーカスされた状態で撮像された画像から色信号を生成する技術が提案されている。この技術は、高精細かつ色モアレのない画像を得ることができる。しかしながら、画面全体の色解像度が低下してしまう可能性が高い。また、別の被写体にフォーカスし、合焦した箇所とは別の箇所に色モアレが発生する可能性がある。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開平１０−２４８０６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
従来技術では、色モアレを低減するために画面全体の解像度を低下させる技術を用いている。そのため、特に色モアレの発生していない領域における解像度低下が目立ち、高画質の画像を得ることができなかった。また、異なるタイミングで複数枚撮影した画像を使用するため、移動被写体があった場合に適切にモアレを低減することができなかった。
【０００８】
本発明の目的は、被写体の解像度を低下させることなくモアレを低減した画像が得られる撮像装置を提供することにある。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明に係る撮像装置は、
撮像光学系を通過した被写体光を第１の被写体光と第２の被写体光に分配する光分配器と、前記第１の被写体光を撮像する第１の撮像素子と、前記第２の被写体光を撮像する、前記第１の撮像素子よりも画素数が少ない第２の撮像素子と、前記第１の撮像素子の前に設けられず、かつ、前記第２の撮像素子の前に設けられる光学ローパスフィルタと、前記第１の撮像素子及び第２の撮像素子で同時に撮像した画像を比較することで、前記第１の撮像素子で撮像した画像に発生したモアレを検出するモアレ検出手段と、前記第１の撮像素子で撮像した画像のエッジを検出し、エッジ信号検出領域をモアレ検出結果から除外する手段と、前記モアレ検出手段で検出したモアレを軽減する手段と、を有することを特徴とする。
【発明の効果】
【００１０】
本発明に係る撮像装置によれば、被写体の解像度を低下させることなくモアレを低減した画像が得られる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施形態における撮像装置のブロック図である。
【図２】撮像素子１０４の内部構成の概略を示した図である。
【図３】撮像素子１０４、１０６の静止画、動画撮影時の読み出し領域を示した図である。
【図４】撮像素子１０４の動画撮影時の画素混合方法を示した図である。
【図５】本発明の実施形態における静止画撮影時の動作を示したフローチャートである。
【図６】本発明の実施形態における動画撮影時の動作を示したフローチャートである。
【図７】本発明の実施形態におけるエッジ検出処理の概念を示したブロック図である。
【図８】本発明の実施形態におけるモアレ信頼度算出用のグラフを示した図である。
【図９】本発明の実施形態におけるＣＺＰチャート撮影時の画像を示した図である。
【図１０】本発明の実施形態における主画像とモアレ軽減用画像の合成比率を示した図である。
【発明を実施するための形態】
【００１２】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１３】
《第１の実施形態》
図１は、本発明の実施形態に係る撮像装置１１８の全体構成を示すブロック図である。
【００１４】
図１において、１００は撮影レンズ、１０１は絞り、１０２は入射光Ｌを所定の分割比で反射光と透過光の２つの光に分割する光分配器（ビームスプリッター）である。なお、本実施形態では反射光と透過光の光分配比率が１：１のハーフミラー構成とするが、光分配比率についてはこれに限るものではない。
【００１５】
１０４は光分配器１０２の透過光を受ける撮像素子であり、メカニカルなシャッター１０３が前面に配置されている。また、撮像素子１０４の前面には、光学ローパスフィルタ（以下、光学ＬＰＦ）は配置していない。
【００１６】
１０６は光分配器１０２の反射光を受ける撮像素子であり、前面にメカニカルなシャッターはなく、露光制御を電子シャッターで行う構成としている。撮像素子１０６の前面には、光学ＬＰＦ１０５が配置されている。
【００１７】
撮像素子１０４は撮像素子１０６よりも画素数が多く、静止画撮影時は主画像作成用途に使用され、動画撮影時は色モアレ低減用補助画像作成用途として使用される。一方で、撮像素子１０６は撮像素子１０４よりも画素数が少なく、静止画撮影時は色モアレ低減用補助画像作成用途として使用され、動画撮影時は主画像作成用途に使用される。
【００１８】
撮像素子１０４、１０６の静止画撮影時の画像のアスペクト比は同じ３：２で、撮像素子１０４の画素数は撮像素子１０６の画素数よりも４倍多いものとする。動画撮影時については、後述する方法で１６：９のアスペクト比で撮像素子１０４，１０６から読みだす。
【００１９】
また、撮像素子のカラーフィルタについては同じ素材のものを用いて、分光透過率特性を極力同じにしておく。
【００２０】
光学ＬＰＦ１０５の光学特性としては、撮像素子１０６の画素サイズよりも点像分離幅が小さくなるような特性とし、即ちナイキスト周波数よりも高周波側でＭＴＦ（Ｍｏｄｕｌａｔｉｏｎ  Ｔｒａｎｓｆｅｒ  Ｆｕｎｃｔｉｏｎ）特性が０になるような特性としている。光学ＬＰＦ１０５の点像分離幅をナイキスト周波数でＭＴＦ特性が０になる構成としていないのは、その構成にしてしまうと色モアレの発生は抑制できるが解像感も低下してしまうためである。光学ＬＰＦ１０５の構成を前述した構成とすることで、モワレはやや発生してしまうが、解像感の低下を抑えることが出来る。
【００２１】
タイミング発生部１０７及び１０８は、撮像素子１０４及び１０６にクロック信号や制御信号を供給して、各々の動作を制御している。このタイミング発生部１０７，１０８はメモリ制御部１１１及びシステム制御部１１３により制御されている。
【００２２】
画像処理部１１０では、撮像素子１０４，１０６からのデータ或いはメモリ制御部１１１からのデータに対して、ホワイトバランス処理、ＲＧＢベイヤー配列の信号をＲＧＢ３プレーン信号に変換するための色補間処理、ガンマ補正処理、彩度補正、色相補正などの画像処理を施している。また、後述するように撮像素子１０４，１０６のそれぞれで撮影した２枚の画像データを用いて色モアレを低減する処理も、この画像処理部１１０で行われる。
【００２３】
メモリ制御部１１１は、タイミング発生部１０７，１０８、画像処理部１１０、メモリ１１２を制御する。これにより、撮像素子１０４，１０６から出力される画像信号は画像処理部１１０を介して、メモリ１１２に書き込まれる。
【００２４】
メモリ１１２は、撮影した静止画又は動画データを格納する為のメモリである。また、このメモリ１１２は、システム制御部１１３や画像処理部１１０の作業領域としても使用することが可能である。
【００２５】
外部記憶装置１１７は、ＣＦカードやＳＤカードといった着脱可能な外付けの記録媒体である。メモリ１１２に一時的に記録された静止画又は動画データは、最終的にこの外部記憶装置１１７に記録される。
【００２６】
表示部１１６には、色モアレ低減処理の低減量等の選択メニューなどのカメラを制御する為の様々なメニューの表示が行われる。これらのメニューの表示や選択は操作部１１５を操作することで行われる。操作部１１５は、上記メニューの選択動作や動画の記録開始、終了を操作することができる。
【００２７】
なお、システム制御部１１３はこの撮像装置１１８全体の動作を制御している。また、レリーズ釦１１４は静止画の記録動作を開始するスイッチとなる。
【００２８】
次に、撮像素子１０４及び１０６の動画撮影時の信号の読み出し方法の詳細について、図２を用いて説明する。
【００２９】
図２は、撮像素子１０４の内部構成の概略図である。
【００３０】
図２において、２０１は行選択回路であり、ベイヤー配列のＲＧＢそれぞれの画素において、どの行の信号を読みだすかを選択する回路である。２０２は、垂直信号出力線である。
【００３１】
２０３は列回路であり、各列に配置された信号が列回路に出力される。２０４はＡＤコンバーターであり、列回路に出力されたアナログ信号をデジタル信号に変換する回路である。２０５はメモリであり、デジタル信号に変換された信号が一時記録される。２０６がデジタル混合器であり、水平方向に信号を混合する回路である。ここで、垂直方向の画素混合は垂直信号出力線２０２に混合する信号を同時に出力することで行い、水平方向についてはデジタル混合器２０６を用いて信号の混合が行われる。
【００３２】
このように画素混合して読み出しを行うことで、色モアレが抑制された画像を得ることができる。また、撮像素子１０４の画像を高速に読み出すことができるため、動画撮影時にメカニカルなシャッター１０３を用いずに電子シャッター制御でもローリングシャッター歪みの少ない画像が得られる。
【００３３】
次に、撮像素子１０４における静止画、動画それぞれの読み出し領域について、図３を用いて説明する。
【００３４】
３０１は撮像素子１０４の総画素サイズであり、光が入射する有効画素領域３０２と有効画素領域３０２より外側の遮光されたオプティカルブラック領域に分けられる。３対２の静止画撮影時は画素混合は行われず、有効画素領域３０２の全画素が読みだされる。
【００３５】
動画撮影時については、図３の３０４に示すように有効画素領域３０２に対して16対9の領域が読みだされる。その際、図４の４０１、４０２に示すようにＲ，Ｇ，Ｂそれぞれについて垂直方向に3画素を１セットとした信号を垂直出力信号線４０２上で同時に出力させ、信号を垂直出力信号線４０２上で混合させて出力する。
【００３６】
一方で撮像素子１０６については、画素数が少なく高速に読み出しを行えるため、静止画撮影時、動画撮影時いずれの場合も、画素混合は不要である。なお、撮像素子１０６の読み出し領域については、撮像素子１０４と同様に静止画撮影時は図３の３０２に相当する３：２の領域、動画撮影時は図３の３０３に相当する１６：９の領域となる。
【００３７】
（フローチャート）
以下、図５及び図６のフローチャートを参照して、本実施形態の撮像装置の動作について説明する。
【００３８】
最初に、静止画撮影時の動作について図５のフローチャートを参照して説明する。
【００３９】
まずステップＳ５０１で撮像素子１０４、１０６の各撮像素子で同時に撮影を行い２つの画像をメモリ１１２に記録する。その際、撮像素子１０４，１０６はそれぞれ前述したように図３の３０２の領域の信号を３：２のアスペクト比で画素混合処理なしで読みだす。
【００４０】
次に、ステップＳ５０２で、メモリ１１２に記録した２つの画像に対して、ホワイトバランス補正処理、色補間処理、ガンマ補正処理、彩度補正、色相補正といった現像処理を施しＹＵＶ画像を得る。
【００４１】
次に、ステップＳ５０３において主画像のエッジ検出処理を行う。このエッジ検出処理については、処理概念を示した図７のブロック図を参照して説明する。図７の入力画像は、ステップＳ５０２でＹＵＶ信号に現像処理された主画像である。まず、主画像に対してＬＰＦ処理部７０１にてデジタル処理による［１２１］のＬＰＦを適用する。ここで、ＬＰＦ適用後信号レベルを元の明るさに戻すため４で割っておく。このＬＰＦの適用は、画像の水平、垂直それぞれに対して行う。
【００４２】
そして、減算処理部７０２で、元画像からＬＰＦ適用後の画像を減算し、エッジ信号を抽出する。更に抽出したエッジ信号を平滑化するために、デジタル処理による［１２２２１］のＬＰＦを適用する。ここで、ＬＰＦ適用後信号レベルを元の明るさに戻すため８で割っておく。このＬＰＦの適用は、画像の水平、垂直それぞれに対して行う。
【００４３】
最後に任意に設定されたゲイン値Ｋ（任意の小数点）を用いて、レベル調整処理を施しエッジ抽出画像を得る。なお、本実施形態で適用したデジタル処理によるＬＰＦは一例でありこれに限るものではない。以上で、エッジ検出処理Ｓ５０３の説明は終了である。
【００４４】
次に、ステップＳ５０４で、主画像をモアレ低減用補助画像相当の画素数にリサイズ処理を行う。このリサイズ処理は、一般的に知られているバイリニアやバイキュービック法を用いて行う。また、ステップＳ５０３で作成したエッジ抽出画像についても同様にリサイズしておく。
【００４５】
ステップＳ５０４で同一画素数になった主画像とモアレ低減用補助画像について、ステップＳ５０５で色信号の比較を行い、図８に従って各画素のモアレ信頼度を算出する。図８において、横軸は主画像とモアレ低減用補助画像の各画素のＵ、Ｖ信号の差の絶対値の最大値、縦軸はモアレ信頼度である。
【００４６】
図８では差の絶対値の最大値が０のときモアレ信頼度は０であり、Ｓ値以上で最大のモアレ信頼度２５５となる。ここで、Ｓは任意の整数だが、この数値が大きいほど２画像間の差（即ち色モアレ発生領域）が検出されにくくなり、数値が小さいほど検出されやすくなる。
【００４７】
本実施形態ではＳ＝５として処理を行うが、この数値に限定するものではない。また、例えばモアレ低減量について「多め」、「標準」、「少なめ」といったメニューをユーザに選択するようにした場合、このＳ値を「多め」の場合は小さくし、「少なめ」の場合は大きくし、「標準」の場合はその間に設定することで、モアレ低減量を制御できる。
【００４８】
図８を比較画像の全画素に対して実施することで、色モアレ領域を抽出した画像ができる。しかしながら、この手法で差分を抽出した場合、主画像に発生した色モアレだけでなく、モアレ低減用補助画像に発生した色モアレも抽出されてしまう。
【００４９】
図９にＣＺＰ（Ｃｉｒｃｕｌａｒ  Ｚｏｎｅ  Ｐｌａｔｅ）チャートを撮影した際の主画像及びモアレ低減用補助画像の一部を切り出した画像を示した。図９（a）は主画像であり、９０１が主用補助画像の色モアレの発生している領域である。また図９（ｂ）はモアレ低減用補助画像であり、９０２が色モアレの発生している領域である。
【００５０】
図９（a）,（ｂ）から分かるように、モアレ低減用補助画像は主画像よりも画素数が少ない（本実施形態では１／４倍の画素数）ため、ＣＺＰチャートにおいて主画像に対して1/2の周波数領域に色モアレが発生している。
【００５１】
モアレ低減用補助画像は光学ＬＰＦ１０５を搭載した撮像素子１０６で撮影されているが、前述したように動画撮影時の解像度低下を抑制するために、ＬＰＦ効果をやや弱めに設定しているため、モアレが発生してしまう。
【００５２】
このモアレ低減用補助画像に発生した色モアレ領域をモアレ抽出画像から除外するために、本発明のポイントである、ステップＳ５０３で事前に算出しておいたエッジ抽出画像の領域を前記差分抽出により算出した色モアレ抽出画像から除外する処理を行う。
【００５３】
本処理は、具体的には色モアレ抽出画像からエッジ抽出画像を減算することで算出する。なお、減算した結果がマイナスになる場合には０でクリップ処理を行う。また、ステップＳ５０３の図７に示したゲイン値Ｋの数値を調整することで、色モアレ抽出画像におけるエッジ抽出画像の影響度を制御することができる。
【００５４】
図９（ｃ）に、図９（ａ）画像に対応したエッジ抽出画像のイメージ図を示した。図９（ｃ）では、図９（ｂ）の９０２で示した色モアレ発生領域がエッジ信号として抽出されている。このエッジ抽出画像を前述した方法で前記色モアレ抽出画像から減算することで、モアレ低減用補助画像に発生した色モアレの領域を前記色モアレ抽出画像から除外することが出来る。
【００５５】
次に、ステップＳ５０５で算出した色モアレ抽出画像をステップＳ５０６で主画像相当の画素数に拡大処理する。この拡大処理もステップＳ５０４と同様にバイリニアやバイキュービック法を用いて行う。また、モアレ軽減用補助画像についても同様に拡大しておく。
【００５６】
最後にステップＳ５０７で、主画像と主画像相当に拡大処理したモアレ軽減用補助画像を図１０の合成比率にしたがって合成する。
【００５７】
図１０の横軸は前記色モアレ抽出画像の信号レベル、縦軸は主画像とモアレ軽減用画像の合成比率である。図１０の１００１は主画像の合成比率、１００２はモアレ軽減用補助画像の合成比率を示している。図１０では色モアレ抽出画像の信号レベルが低いほど、主画像が多く使用され、信号レベルが大きいほどモアレ軽減用補助画像が多く使用される。
【００５８】
図１０では、横軸の主画像とモアレ軽減用補助画像の比率が０％となる値を１００，１６０としているが、この数値に限るものでは無く、この数値を変更することで主画像とモアレ軽減用補助画像の合成比率を制御できる。
【００５９】
以上で、本実施形態の静止画撮影時のモアレ軽減処理は終了である。なお、本実施形態では、ステップＳ５０７で色モアレ抽出画像に従って、モアレ軽減用補助画像と主画像を合成することで色モアレを軽減しているが、合成画像をモアレ軽減用補助画像の代わりに主画像に平均値処理を施した画像を用いる構成としても良い。この平均値処理とは着目画素に対して、ｎ×ｍ画素の平均値をとることで色モアレを軽減する処理である。なお、ｎ、ｍは任意の整数であり、数値が大きいほど色モアレは軽減するが、解像感が低下する。
【００６０】
更に、動画撮影時の動作について、図６のフローチャートを参照して説明する。
【００６１】
まず、ステップＳ６０１で撮像素子１０４、１０６の各撮像素子で同時に撮影を行い２つの画像をメモリ１１２にとりこむ。その際、撮像素子１０４，１０６はそれぞれ前述したように図３の３０３の領域を１６：９のアスペクト比で、撮像素子１０４は前述のように画素混合を行い、撮像素子１０６は画素混合を行わずにそれぞれ読みだす。なお、以降の処理で動画撮影時は撮像素子１０４で撮影された画像がモアレ低減用補助画像となり、撮像素子１０６で撮影された画像が主画像となる点が静止画撮影時と異なる。
【００６２】
ステップＳ６０２の処理については、静止画撮影時のステップＳ５０２と同様のため割愛する。次に静止画撮影時は、ステップＳ５０４でエッジ抽出処理を行っていたが、動画撮影時は撮像素子１０４を画素混合して読み出すことで色モアレの発生が抑制されるため、エッジ抽出処理は不要となる。
【００６３】
以降、ステップＳ６０４からステップＳ６０７までの処理は基本的には静止画撮影時のステップＳ５０５からステップＳ５０８と同様であるため詳細な説明は割愛する。エッジ抽出画像を使用しない点のみが、異なる点である。
【００６４】
以上で本実施形態の動画撮影時のモアレ軽減処理は終了である。
【００６５】
本実施形態においては、２つの撮像素子を設け１度の露光で撮影した２枚の画像の差分を用いて色モアレを検出することで、被写体の解像度を低下させることなく、移動被写体がある条件においても適切に色モアレを低減した画像が得られる。
【００６６】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６７】
１００  レンズ、１０１  絞り、１０２  光分配器、１０３  シャッター、
１０４  撮像素子、１０５  光学ＬＰＦ、１０６  撮像素子、
１０７  タイミング発生部、１０８  タイミング発生部、１１０  画像処理部、
１１１  メモリ制御部、１１２  メモリ、１１３  システム制御部、
１１４  レリーズ釦、１１５  操作部、１１６  表示部、１１７  外部記憶装置、
１１８  撮像装置
【図１】
2018207414.tif 000003
【図２】
2018207414.tif 000004
【図３】
2018207414.tif 000005
【図４】
2018207414.tif 000006
【図５】
2018207414.tif 000007
【図６】
2018207414.tif 000008
【図７】
2018207414.tif 000009
【図８】
2018207414.tif 000010
【図９】
2018207414.tif 000011
【図１０】
2018207414.tif 000012