(57)【特許請求の範囲】
【請求項１】
撮影光学系により形成される光像を光学的に分解して、第１色成分からなる第１光像と、その他の色成分からなる第２光像とに分ける色分解光学系と、
前記第１光像を撮像して、第１画像データを生成する第１撮像部と、
前記第２光像を、像面に混在配置された微小フィルタを介して、第２色成分と第３色成分とに空間分割する色フィルタアレイと、
前記色フィルタアレイを介して前記第２光像を撮像し、前記第２色成分に対応する第２画像データと、前記第３色成分に対応する第３画像データとを生成する第２撮像部と、
前記第２光像を所定のずらし幅だけ光学的にぼかして、前記第２画像データおよび前記第３画像データに生じるモアレを軽減する光学的ローパスフィルタと、
前記第１画像データに対して空間周波数フィルタの演算処理を施し、前記演算処理後の前記第１画像データの空間周波数帯域を、前記第２画像データおよび前記第３画像データの空間周波数帯域に近づけるフィルタ演算部と、
前記第２画像データ、前記第３画像データ、および前記演算処理後の前記第１画像データに基づいて色差を算出し、色差データを生成する色差演算部と、
前記第１画像データおよび前記色差データに基づいて、カラーの画像データを出力する画像出力部とを備え、
前記フィルタ演算部の前記演算処理は、前記光学的ローパスフィルタと略等価な空間周波数特性を有し、
前記第１撮像部と前記第２撮像部とは、前記光像を基準にして画素位置が空間的にずらして配置され、
前記フィルタ演算部は、非等方な重み係数行列による局所積和演算を前記第１画像データに施すことにより、前記第１画像データ〜第３画像データの画素位置を揃え、
前記色差演算部は、前記フィルタ演算部により画素位置の揃った前記第１画像データ〜前記第３画像データに基づいて、前記色差データを生成し、
前記画像出力部は、前記色差データの画素位置を位相シフトして、前記第１撮像部から出力される前記第１画像データと画素位置を揃えた上で、カラーの前記画像データを出力する
ことを特徴とする２板式画像取り込み装置。
【請求項２】
請求項１に記載の２板式画像取り込み装置において、
前記光学的ローパスフィルタは、画面の縦横２方向に画素ピッチずつ光像をずらす４点分離特性を有し、
前記フィルタ演算部は、
０  ０  ０
０  １  １
０  １  １
からなる３行３列の重み係数行列による局所積和演算を、前記第１画像データに施す
ことを特徴とする２板式画像取り込み装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、２板式画像取り込み装置に関する。
【０００２】
【従来の技術】
従来、２板の撮像部を有する２板式画像取り込み装置が知られている。
この種の装置では、まずダイクロイックミラー等を用いて、被写体の光像が、第１光像および第２光像に色分解される。このうち、第１光像は、一方の撮像部によって撮像される。また、第２光像は、色フィルタアレイによって空間的に色分解された後、もう一方の撮像部によって撮像される。
２板式画像取り込み装置は、これら２板の撮像部からの画像データを処理して、カラーの画像データを生成する。
【０００３】
【発明が解決しようとする課題】
ところで、このような２板式画像取り込み装置では、２板の画像データの処理に際して、偽色を生じやすいといった問題点があった。
そこで、本発明は、このような偽色を改善した２板式画像取り込み装置を提供することを目的とする。
【０００４】
【課題を解決するための手段】
上述した課題を解決するため、本発明は下記のように構成される。
【０００５】
《請求項１》
請求項１の２板式画像取り込み装置は、撮影光学系により形成される光像を光学的に分解して、第１色成分からなる第１光像と、その他の色成分からなる第２光像とに分ける色分解光学系と；第１光像を撮像して、第１画像データを生成する第１撮像部と；第２光像を、像面に混在配置された微小フィルタを介して、第２色成分と第３色成分とに空間分割する色フィルタアレイと；色フィルタアレイを介して第２光像を撮像し、第２色成分に対応する第２画像データと、第３色成分に対応する第３画像データとを生成する第２撮像部と；第２光像を所定のずらし幅だけ光学的にぼかして、第２画像データおよび第３画像データに生じるモアレを軽減する光学的ローパスフィルタと；第１画像データに対して空間周波数フィルタの演算処理を施し、演算処理後の第１画像データの空間周波数帯域を、第２画像データおよび第３画像データの空間周波数帯域に近づけるフィルタ演算部と；第２画像データ、第３画像データ、および演算処理後の第１画像データに基づいて色差を算出し、色差データを生成する色差演算部と；第１画像データおよび色差データに基づいて、カラーの画像データを出力する画像出力部とを備え、フィルタ演算部の演算処理は、この光学的ローパスフィルタと略等価な空間周波数特性を有し、第１撮像部と第２撮像部とが、光像を基準にして画素位置を空間的にずらして配置され；フィルタ演算部は、非等方な重み係数行列による局所積和演算を第１画像データに施すことにより、第１画像データ〜第３画像データの画素位置を揃え；色差演算部は、フィルタ演算部により画素位置の揃った第１画像データ〜第３画像データに基づいて、色差データを生成し；画像出力部は、色差データの画素位置を位相シフトして、第１撮像部から出力される第１画像データと画素位置を揃えた上で、カラーの画像データを出力する。
【０００６】
《請求項２》
請求項２の２板式画像取り込み装置は、請求項１の２板式画像取り込み装置において、光学的ローパスフィルタが、画面の縦横２方向に画素ピッチずつ光像をずらす４点分離特性を有し、
前記フィルタ演算部は、
０  ０  ０
０  １  １
０  １  １
からなる３行３列の重み係数行列による局所積和演算を、前記第１画像データに施す。
【００１０】
【発明の実施の形態】
以下、図面に基づいて本発明にかかる実施形態を説明する。
【００１１】
《第１の実施形態》
図１は、第１の実施形態における２板式画像取り込み装置１１のブロック図である。
図１において、２板式画像取り込み装置１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、ダイクロイックミラーなどの色分解光学系１３が配置される。この色分解光学系１３は、Ｇ成分の第１光像を反射し、ＲＢ成分を含む第２光像を透過する。
【００１２】
この第２光像の結像光路には、光学的ローパスフィルタ１４ａ、および色フィルタアレイ１５ａを介して、撮像素子１６ａが配置される。
また、第１光像の結像光路には、光学的ローパスフィルタ１４ａと同様の光学的厚さを有するダミーの光学部材１４ｂを介して、撮像素子１６ｂが配置される。なお、このようなダミーの光学部材１４ｂを貼り合わせる代わりに、色分解光学系１３の反射側の寸法を、その光学的厚さの分だけ厚く設計してもよい。
【００１３】
撮像素子１６ｂのＧ信号（第１画像データに対応）は、Ａ／Ｄ変換部１７ｂを介してデジタル化された後、信号処理部１８に入力される。一方、撮像素子１６ａのＲＢ信号（第２画像データおよび第３画像データに対応）も、Ａ／Ｄ変換部１７ａを介してデジタル化された後、信号処理部１８に入力される。
この信号処理部１８では、これらの信号に対して、黒レベル補正、ガンマ補正、およびホワイトバランス補正などの信号処理を施す。
【００１４】
信号処理部１８で処理されたＧ信号は、色差演算用のフィルタ演算部１９に入力される。フィルタ演算部１９で演算処理されたＧ信号は、色差演算部２０に入力される。
一方、信号処理部１８で処理されたＲＢ信号も、色差演算部２０に入力される。この色差演算部２０では、ＲＢ信号とＧ信号との色差を画素単位に算出し、色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）を生成する。
【００１５】
この色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）は、色差補間部２１に入力され、色差補間の処理を受ける。なお、ここでの色差補間では、色差信号やＧ信号の類似する方向を考慮し、その方向に重点的に補間演算を行うことが好ましい。
この色差補間部２１で補間処理された色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）は、必要に応じて色差ローパスフィルタ２２を介した後、画像出力部２４に入力される。
【００１６】
一方、信号処理部１８のＧ信号も、必要に応じてエッジ強調処理部２３でエッジ強調処理を受けた後、画像出力部２４に入力される。
この画像出力部２４内の加算器では、Ｇ信号と色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）とが画素単位に加算され、Ｒ信号とＢ信号とが生成される。画像出力部２４は、このように生成されたＲＧＢのカラー画像信号を外部に出力する。
【００１７】
［発明との対応関係］
ここで、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の色分解光学系は、色分解光学系１３に対応する。
請求項記載の第１撮像部は、撮像素子１６ｂに対応する。
請求項記載の色フィルタアレイは、色フィルタアレイ１５ａに対応する。
請求項記載の第２撮像部は、撮像素子１６ａに対応する。
請求項記載のフィルタ演算部は、フィルタ演算部１９に対応する。
請求項記載の色差演算部は、色差演算部２０に対応する。
請求項記載の画像出力部は、画像出力部２４に対応する。
請求項記載の光学的ローパスフィルタは、光学的ローパスフィルタ１４ａに対応する。
【００１８】
［第１の実施形態の特徴点について］
以下、第１の実施形態の特徴点について詳しく説明する。
図２は、撮像素子１６ａ，１６ｂにおける画素配列の様子を示す図である。図２では、説明を分かりやすくするため、像面の向きを揃えた状態で示している。
この図２中の点Ｚ、Ｚ′は、撮像面上において対応する像点の位置を示すものである。なお、撮像素子１６ａの出力画像は、色フィルタアレイ１５ａによって、市松模様状のＲ成分およびＢ成分に空間分割される。
【００１９】
この図２に示されるように、撮像素子１６ａ，１６ｂは、撮像面上の光像を位置の基準にして、画素の位相を一致させて配置される。これは、２板式画像取り込み装置１１の組み立て調整工程において、撮像素子１６ａ，１６ｂの出力画像をモニタ上にオーバーラップ表示しながら、双方の出力画像が一致するように撮像素子１６ａ，１６ｂの位置を合わせることにより実現する。
【００２０】
図３（Ａ）〜（Ｃ）は、光学的ローパスフィルタ１４ａの光学特性と、フィルタ演算部１９の演算処理との関係を示す図である。
この図３（Ａ）に示すように、光学的ローパスフィルタ１４ａは、４点分離特性を有し、画素配列の斜め２方向それぞれに、「画素ピッチＰの１／√２倍」のずらし幅ずつ光像をぼかす。
【００２１】
図３（Ｂ）には、この光学的ローパスフィルタ１４ａにより拡大されるＲＢ画素のアパーチャを示す。このアパーチャの重なり具合を重み係数に置き換えることにより、光学的ローパスフィルタ１４ａと略等価な空間周波数特性を有する重み係数行列が作成される。
【００２２】
図３（Ｃ）は、このように作成されたＧ信号の重み係数行列である。この重み係数行列は、
０  １  ０
１  ４  １
０  １  ０
のような３行３列の要素から構成される。フィルタ演算部１９は、この重み係数行列による局所積和演算をＧ信号に施し、色差演算用のＧ信号を生成する。（なお、図３中に示す『１／８』は、演算処理後のレベル調整用の除数であり、ビットシフト演算などによって実行される）
【００２３】
このように光学的ローパスフィルタ１４ａと略等価な演算処理をフィルタ演算部１９で実行することにより、この色差演算用のＧ信号とＲＢ信号との帯域差がほぼ解消し、帯域差によって発生する偽の色差信号が確実に低減する。その結果、偽の色差信号によって発生していた偽色を改善することが可能になる。
【００２４】
ところで、画像出力部２４では、最終的なＲＧＢ信号の生成に当たって、帯域制限されないＧ信号（フィルタ演算部１９の演算処理を受けていないもの）を使用する。このＧ信号は、視覚感度の高い成分であり、鮮鋭度への寄与が大きい。したがって、画像出力部２４において帯域制限されないＧ信号を使用することにより、鮮鋭度の高いカラーの画像データを出力することが可能になる。
次に、別の実施形態について説明する。
【００２５】
《第２の実施形態》
第２の実施形態における２板式画像取り込み装置の構成は、第１の実施形態（図１，図２）と同じである。そのため、ここでは図１の参照符号をそのまま説明に使用し、構成に関する重複説明を省略する。
【００２６】
図４（Ａ）〜（Ｃ）は、光学的ローパスフィルタ１４ａの光学特性と、フィルタ演算部１９の演算処理との関係を示す図である。
図４（Ａ）に示すように、光学的ローパスフィルタ１４ａは、４点分離特性を有し、画素配列の縦横２方向それぞれに、画素ピッチＰのずらし幅で光像をぼかす。
【００２７】
図４（Ｂ）には、この光学的ローパスフィルタ１４ａにより拡大されるＲＢ画素のアパーチャを示す。このアパーチャの重なり具合を重み係数に置き換えることにより、光学的ローパスフィルタ１４ａと略等価な空間周波数特性を有する重み係数行列が作成される。
【００２８】
図４（Ｃ）は、このように作成されたＧ信号の重み係数行列である。この重み係数行列は、
１  ２  １
２  ４  ２
１  ２  １
のような３行３列の要素から構成される。フィルタ演算部１９は、この重み係数行列による局所積和演算をＧ信号に施して、色差演算用のＧ信号を生成する。（なお、図４中に示す『１／１６』は、演算処理後のレベル調整用の除数であり、ビットシフト演算などによって実行される）
【００２９】
このように光学的ローパスフィルタ１４ａと略等価な演算処理をフィルタ演算部１９で実行することにより、色差演算用のＧ信号とＲＢ信号との帯域差がほぼ解消し、帯域差によって発生する偽の色差信号が確実に低減する。その結果、偽の色差信号による偽色発生を確実に改善することが可能になる。
【００３０】
ところで、画像出力部２４では、最終的なＲＧＢ信号の生成に当たって、帯域制限されないＧ信号（フィルタ演算部１９の演算処理を受けていないもの）を使用する。このＧ信号は、視覚感度の高い成分であり、鮮鋭度への寄与が大きい。したがって、画像出力部２４で、この帯域制限されないＧ信号を使用することにより、鮮鋭度の高いカラーの画像データを出力することが可能になる。
次に、別の実施形態について説明する。
【００３１】
《第３の実施形態》
図５は、第３の実施形態における２板式画像取り込み装置３１のブロック図である。なお、第３の実施形態において、第１の実施形態（図１）と共通する構成要件については同じ参照符号を図５に示し、ここでの重複説明を省略する。
【００３２】
第３の実施形態における構成上の特徴は、図５に示すように、画像出力部２４内に、色差ローパスフィルタ２２が設けられている点である。
以下、第３の実施形態の具体的な特徴点について詳しく説明する。
図６（Ａ）は、撮像素子１６ａ，１６ｂにおける画素配列の様子を示す図である。図６（Ａ）では、説明を分かりやすくするため、像面の向きを揃えた状態で示している。この図６（Ａ）中の点Ｚ、Ｚ′は、撮像面上において対応する像点の位置を示すものである。
【００３３】
図６（Ａ）に示すように、撮像面上の光像（例えば像点Ｚ，Ｚ′）を基準にすると、撮像素子１６ａおよび撮像素子１６ｂは、画素位置が縦横方向に半位相ずれる。これは、撮像素子１６ａ，１６ｂの出力画像をモニタ上に拡大表示しながら、撮像素子１６ａ，１６ｂの画素位置をずらすことによって実現する。
図６（Ｂ）〜（Ｄ）は、光学的ローパスフィルタ１４ａの光学特性と、フィルタ演算部１９の演算処理との関係を示す図である。
【００３４】
図６（Ｂ）に示すように、光学的ローパスフィルタ１４ａは、４点分離特性を有し、画素配列の縦横２方向それぞれに、画素ピッチＰのずらし幅で光像をぼかす。
【００３５】
図６（Ｃ）には、この光学的ローパスフィルタ１４ａにより拡大されるＲＢ画素のアパーチャを示す。このアパーチャの重なり具合を重み係数に置き換えることにより、光学的ローパスフィルタ１４ａと略等価な空間周波数特性を有する重み係数行列が作成される。
【００３６】
図６（Ｄ）は、このように作成されたＧ信号の重み係数行列である。この重み係数行列は、
０  ０  ０
０  １  １
０  １  １
のような３行３列の非等方な要素から構成される。フィルタ演算部１９は、この重み係数行列による局所積和演算をＧ信号に施して、色差演算用のＧ信号を生成する。（なお、図６中に示す『１／４』は、演算処理後のレベル調整用の除数であり、ビットシフト演算などによって実行される）
【００３７】
このとき、非等方な重み係数行列の使用により、色差演算用のＧ信号は、縦横方向に画素が半位相ずつシフトする。その結果、撮像面上においてずれていたＧ信号とＲＢ信号とが一致するようになる。したがって、両信号を画素単位にそのまま減算することが可能になり、色差信号（Ｒ−Ｇ），（Ｂ−Ｇ）を直接的に算出することが可能になる。
【００３８】
さらに、このフィルタ演算部１９の演算処理により、この色差演算用のＧ信号とＲＢ信号との帯域差がほぼ解消する。特に、ここでは、非等方な重み係数行列を使用する。そのため、局所積和演算における画素の参照範囲が狭い。その結果、演算処理による中域成分の消失を防止することが可能になる。したがって、色差演算用のＧ信号とＲＢ信号との帯域特性を中域成分まで揃えることが可能になり、偽色発生をさらに改善することが可能になる。
【００３９】
ところで、このように作成される色差信号（Ｒ−Ｇ），（Ｂ−Ｇ）は、最終的に出力するＧ信号とは画素位置の位相がずれている。そこで、色差ローパスフィルタ２２は、補間処理後の色差信号（あるいは補間処理前の色差信号）に対して、図６（Ｅ）に示すような重み係数行列による局所積和演算を施す。この図６（Ｅ）に示す重み係数行列は、図６（Ｄ）の重み係数行列と点対称な要素から構成される。この色差ローパスフィルタ２２の演算処理により、色差信号（Ｒ−Ｇ），（Ｂ−Ｇ）のノイズ低減と位相シフトとが一度に実行される。
【００４０】
画像出力部２４内の加算器では、位相シフト後の色差信号（Ｒ−Ｇ）、（Ｂ−Ｇ）とＧ信号とが、画素単位に加算され、Ｒ信号とＢ信号とが生成される。画像出力部２４は、このように生成されたＲＧＢのカラー画像信号を外部に出力する。
【００４１】
《実施形態の補足事項》
なお、上述した実施形態では、ダイクロイックミラーなどによる色分解光学系１３を使用している。しかしながら、本発明の色分解光学系は、これに限定されるものではない。例えば、ハーフミラーなどで光像を分解した後で、色フィルタを使用して、第１光像および第２光像をそれぞれ生成してもよい。
【００４２】
また、上述した実施形態では、色分解光学系１３の反射光路側でＧ成分の画像信号を生成している。このように、視覚的に感度の高い成分（疑似的な輝度成分）を反射することにより、色分解用の光学素子（光学薄膜など）を透過する際の光像劣化、像歪み、および結像位置のずれなどを回避することができる。その結果、視覚的に感度の高い成分の良好なカラー画像信号を生成することができる。しかしながら、本発明は、これに限定されるものではない。例えば、色分解光学系１３がＧ成分を透過し、かつＲＢ成分を反射するようにしても勿論かまわない。
【００４３】
また、上述した実施形態では、ＧＲＢの原色成分を第１色成分〜第３色成分にそれぞれ割り当てている。しかしながら、本発明は、特定の色成分に限定されるものではない。例えば、ＹＲＢその他の任意の色成分を、第１色成分〜第３色成分に割り当ててもよい。
【００４４】
なお、上述した実施形態では、局所積和演算による空間周波数フィルタ処理を実施している。しかしながら、本発明は、この局所積和演算に限定されるものではない。一般に、空間周波数成分を操作する演算処理であれば何でもよい。例えば、離散コサイン変換や離散ウェーブレット変換その他の直交変換により、画像データを空間周波数領域に変換した上で、空間周波数領域上で直にフィルタ操作の演算処理を行ってもよい。また、演算処理としても、積和演算に限定されるものではない。メディアン値演算や最大値演算や最小値演算を使用してもちろんよい。
【００４５】
また、上述した実施形態では、最終的なカラーの画像データとして、ＲＧＢ信号を出力している。しかしながら、本発明はこれに限定されるものではない。例えば、別の表色系に従ったカラーの画像データを出力してもよい。また、ＹＣｂＣｒのような輝度／色差からなるカラーの画像データを出力してもよい。
【００４６】
なお、上述した実施形態では、色差データの補間処理を実施している。しかしながら、本発明はこれに限定されるものではない。例えば、色差データについては補間処理を特に行わずに、色差間引きされた状態（例えば、色差間引き率４：２：２の状態）で出力してもよい。
【００４７】
また、第３の実施形態では、色差信号について局所積和演算を実施して、色差信号の位相をシフトしている。しかしながら、位相シフトは局所積和演算に限定されるものではない。例えば、離散的な色差信号から、ナイキスト周波数に基づいて帯域制限された連続波形を再現し、その連続波形を再標本化することで位相シフトを実現してもよい。この場合、色差信号の高域成分が消失しないという効果が得られる。
【００４８】
なお、上述した実施形態では、正方画素を前提として説明を行っている。しかしながら、本発明はこれに限定されるものではない。本発明を、長方画素や斜め配列画素（いわゆるハニカム画素）に適用してももちろんよい。
【００４９】
【発明の効果】
本発明では、色差算出に際して、第１画像データに演算処理を施して空間周波数帯域を制限する。この演算処理により、第１画像データ〜第３画像データの帯域差が縮小し、この帯域差に起因して生じていた偽の色差信号が低減する。その結果、偽の色差信号による偽色発生を改善することが可能になる。
【図面の簡単な説明】
【図１】第１の実施形態における２板式画像取り込み装置１１のブロック図である。
【図２】撮像素子１６ａ，１６ｂにおける画素配列の様子を示す図である。
【図３】第１の実施形態における重み係数行列を説明する図である。
【図４】第２の実施形態における重み係数行列を説明する図である。
【図５】第３の実施形態における２板式画像取り込み装置３１のブロック図である。
【図６】第３の実施形態における演算処理を説明する図である。
【符号の説明】
１１，３１  ２板式画像取り込み装置
１２  撮影レンズ
１３  色分解光学系
１４ａ  光学的ローパスフィルタ
１４ｂ  ダミーの光学部材
１５ａ  色フィルタアレイ
１６ａ，１６ｂ  撮像素子
１７ａ，１７ｂ  Ａ／Ｄ変換部
１８  信号処理部
１９  フィルタ演算部
２０  色差演算部
２１  色差補間部
２２  色差ローパスフィルタ
２３  エッジ強調処理部
２４  画像出力部
【図１】
0004834938.tif 000002
【図２】
0004834938.tif 000003
【図３】
0004834938.tif 000004
【図４】
0004834938.tif 000005
【図５】
0004834938.tif 000006
【図６】
0004834938.tif 000007