(57)【特許請求の範囲】
【請求項１】
二次元配列された各画素に対して、少なくとも３つの異なる色のカラーフィルタの１つ１つが所定の順序で二次元配列された単板カラー撮像素子と、
３次以上の多項近似式による補間処理を行うための補間係数を記憶したテーブルと、
前記単板カラー撮像素子の全画素数に相当する位置及び数の色情報からなる色プレーンを各色について前記補間処理を用いて得る補間手段と、
高域信号に相当する所定の色の色情報に基づいて画像のエッジ情報を抽出するエッジ情報抽出手段と、
前記各色プレーンと前記抽出されたエッジ情報とを合成するエッジ情報合成手段と、を備え、
前記各色プレーンの各々は、前記単板カラー撮像素子の当該色の画素から得られる色情報と前記補間処理により算出される当該色情報との配列からなり、
前記補間係数は、所定数の当該色の画素を含むように予め定めた配列において、他色の画素の位置の各々について、前記所定数の当該色の画素の位置に対応して与えられ、
前記補間処理は、前記単板カラー撮像素子の当該色の画素の位置に応じて、前記予め定めた配列に対応するように、領域を設定し、
前記領域を設定した前記単板カラー撮像素子の当該色の画素の位置の周りの他色の画素の位置の色情報を、前記設定した領域の前記所定数の当該色の画素の色情報を用いて算出することを特徴とする電子カメラ。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、所望の画像を撮像し、この画像情報を記録・表示することが可能な電子カメラに関し、特に、単板からなる撮像素子を用いて擬似３板化した画像処理が可能な電子カメラに関する。
【０００２】
【従来の技術】
従来画素補間を行った場合において、エッジ部分の偽信号発生を回避するために、空間画素ずらし法によって生成された２つの画像を合成して合成画像を作成する撮像装置が報告されている（特開平１０−２４８０６９）。
【０００３】
【発明が解決しようとする課題】
本発明は、少なくとも単板からなる撮像素子で撮影した画像を擬似３板化することにより、安価で高画質の電子カメラを提供することを目的とする。
【０００４】
【課題を解決するための手段】
本発明は、上記の課題を解決するために次のような手段を講じた。
【０００５】
本発明の電子カメラは、単板からなり、二次元配列された各画素に対して、少なくとも３つの異なる色のカラーフィルタの１つ１つが所定の順序で二次元配列された単板カラー撮像素子と、３次以上の多項近似式による補間処理を行うための補間係数を記憶したテーブルと、前記単板カラー撮像素子の全画素数に相当する位置及び数の色情報からなる色プレーンを各色について前記補間処理を用いて得る補間手段と、高域信号に相当する所定の色の色情報に基づいて画像のエッジ情報を抽出するエッジ情報抽出手段と、前記各色プレーンと前記抽出されたエッジ情報とを合成するエッジ情報合成手段と、を備え、前記各色プレーンの各々は、前記単板カラー撮像素子の当該色の画素から得られる色情報と前記補間処理により算出される当該色情報との配列からなり、前記補間係数は、所定数の当該色の画素を含むように予め定めた配列において、他色の画素の位置の各々について、前記所定数の当該色の画素の位置に対応して与えられ、前記補間処理は、前記単板カラー撮像素子の当該色の画素の位置に応じて、前記予め定めた配列に対応するように、領域を設定し、前記領域を設定した前記単板カラー撮像素子の当該色の画素の位置の周りの他色の画素の位置の色情報を、前記設定した領域の前記所定数の当該色の画素の色情報を用いて算出することを特徴とする。
【０００６】
上記の電子カメラにおいて、前記画素における色情報のうち広帯域信号に相当する所定の色情報に基づいて画像のエッジを抽出する手段を更に備え、前記補間手段は、前記生成した各色プレーンのうち前記所定の色情報に対応する色プレーン情報と前記抽出されたエッジ情報とを混合して出力することを特徴とする。
【０００７】
【発明の実施の形態】
図面を参照して本発明の実施の形態を説明する。
【０００８】
図１は、本発明の一実施形態に係る電子カメラのシステム構成を示す概略ブロック図である。図１を参照して本発明に係る電子カメラの概略構成を説明する。
【０００９】
撮影レンズ系１１を通過した被写体の画像は、撮像素子１２で電気信号に変換される。撮像素子１２で変換された電気信号は、撮像回路１３でアナログ画像信号に変換された後に、Ａ／Ｄ変換器１４によってデジタル画像信号に変換される。そして、このデジタル画像信号は、所定の処理を経て、例えば、外部メモリである着脱可能な着脱メモリ２０（例えば、フラッシュメモリ、スマートメディア等）にインターフェース（Ｉ／Ｆ）２１を介して記録される。なお、着脱メモリ２０は通常カードスロット２２に装着される。また、電子カメラは、高速な内蔵メモリ３０（例えば、ランダムアクセスメモリ（ＲＡＭ）等）を有しており、画像の圧縮伸長における作業用メモリとして、或いは一時的な画像記憶手段としての高速バッファとして使用される。内蔵メモリ３０は、本発明においては、補間処理用のメモリ領域３１を有している。なお、このメモリ領域３１は内蔵メモリ３０と独立したメモリであっても良いし、補間処理用の演算回路（又は、ＩＣ）に内蔵されたメモリであってもかまわない。
【００１０】
圧縮伸長回路４０は、デジタル画像信号の圧縮を行ったり、圧縮された画像信号を展開（伸長）するためのものである。
【００１１】
また、電子カメラには、通常画像表示用のＬＣＤ５０（液晶表示装置）が搭載されており、このＬＣＤ５０は、着脱メモリ２０に記録された画像の確認や、撮影しようとする画像を表示する。このＬＣＤ５０に表示される画像は内蔵メモリ３０からの画像情報を一旦ビデオメモリ５１に取り込み、次に、ビデオ出力回路５２で、ビデオ画像に変化して、画像表示ＬＣＤ５０に画像が表示可能となっている。また、ビデオ出力回路５２の出力はビデオ出力用の外部端子５３を介して外部表示装置にビデオ画像が出力できるようになっている。
【００１２】
シスコン７０は、電子カメラの各機器の全体の制御を行うもので、その機能の詳細は後述する。シスコン７０は、レリーズからなる操作部７３からの入力を受け付けて、レリーズの操作によって撮像を行ったり、画像処理を図示しない画像処理回路に依頼したりする。また、シスコン７０は、被写体の撮像時における光量が不足している場合には、ストロボ発光部７１に依頼してストロボをオンにして撮影するように制御する。また、シスコン７０には図示しない撮影距離検出部があり、被写体との距離を検出する機能を有する。また、操作部７３は、各種モードの設定も行うことができるようになっており、そのモード設定はモードＬＣＤ７２に表示される。
【００１３】
外部インターフェース（外部Ｉ／Ｆ）６１は、外部入出力端子６０に接続されて、外部機器とのデータの入出力を行う。この外部入出力端子６０には、例えば、パーソナルコンピュータ等が接続されて、着脱メモリ２０内の画像をパーソナルコンピュータ等に転送したり、パーソナルコンピュータ等から画像データを入力したりする。
【００１４】
また、電子カメラの各部は基本的に電池により駆動するようになっており、電源部８０を介してカメラ電池８１からの電力によってカメラの各部が駆動するようになっている。また、カメラ電池８１は電源部８０の制御により充電可能なものとなっている。
【００１５】
図２は、１次元の補間モデルを示す図である。図２の（ａ）に示すように、従来では、２点間を結ぶ直線によって所望の位置における出力値を計算する直線補間が一般的であった。このようにすると、計算に必要な既知の出力値を有する位置は２点でよいが、あくまでも２点間の比例平均の出力値を求めることになるので、例えば、その２点間に最大値又は最小値がある場合でも、検出できないことになる。本発明では、この補間精度を上げるために、少なくとも３次以上の多次多項式による近似式を用いて所望の位置における出力値を得ている。図２では、４点の値から３次多項式の係数を求めて、求められた３次多項式による近似式に位置データを入れて出力を得ている例を示す。なお、この３次多項式による近似式による補間は「Ｃｕｂｉｃ補間」とも称する。図２において、位置ｎ−１、ｎ、ｎ＋１、ｎ＋２の４点の出力値から３次多項式の係数を求め、その３次多項式から位置ｘ′における出力値を求めることによって所望の位置における補間値が得られることになる。これを例えば、直線補間で行った場合を考慮すると、最大値を有する位置はｎ＋１になるので、本発明の場合と異なり、正確な位置が得られないことが明らかである。
【００１６】
図３は、本発明における補間演算回路９０のブロック図である。補間演算回路９０は補間位置算出部９１と、補間位置修正部９２と、補間係数テーブル９３と、補間演算部９４と、バッファメモリ３１とからなる。なお、補間位置算出部９１から補間演算部９４の機能はシスコン７０で行われる。具体的には、補間演算回路９０は次のような動作を行う。
【００１７】
内蔵メモリ３０からの元画像データが補間位置算出部９１と補間演算部９４とに入力する。補間位置算出部９１は、入力データに基づいて、例えば、図２（ｂ）における、ｎ点とｎ＋１点との間の補間位置ｘ′を算出する。次に、補間位置修正部９２は、演算を簡略化するために、例えば、ｎ点とｎ＋１点との間を１６等分した場合におけるｘ′点に最も近い点に補間位置をメモリ領域３１からのデータに基づいて修正する。このように補間位置を修正することにより、予め用意された補間係数テーブル９３を用いて修正された補間位置における出力を算出することができるので、複雑な計算を行うことなく、高速に補間位置における出力値が算出可能となる。なお、この補間位置の修正による誤差については、テーブルで補間係数を与えるようにしているために、細かくしすぎるとテーブルのデータ量が増えるので現実的ではないが、ある程度、例えば上記のように１６等分した位置とすれば精度的には十分であるし、データ量もさほど多くならないので、現実的といえる。
【００１８】
図４は、高次多項式の近似式により補間を擬似３板化に適用した場合について説明するための図である。
図４の（ａ）に示すように、単板の撮像素子においては、画素毎にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）の色配置が決まっており、１つの画素には１つの色が対応している。本発明では、高次多項式の近似式による補間を用いて、各画素において、例えば、レッドの色情報がない部分にレッドの補間値を埋め込み、グリーンの色情報のない部分にはグリーンの補間値を埋め込み、ブルーの色情報のない部分にはブルーの補間値を埋め込むようにして、擬似３板化を実現している。この様子を図４の（ｂ）に示す。また、その後の処理で、
Ｙ＝ａＲ＋ｂＧ＋ｃＢ
Ｃｂ＝α（Ｂ−Ｙ）
Ｃｒ＝β（Ｒ−Ｙ）
でそれぞれ示される式に基づき、図４の（ｂ）を同図（ｃ）へ置き換えている。
【００１９】
図５は、ＲＧＢの各色についての補間方法を説明するための図である。図５において、ＲＧＢの括弧内の部分の（Ｒ）（Ｇ）（Ｂ）はそれぞれ当該色情報がないことを示している。図５の（ａ）は、Ｒ（レッド）の補間の様子を示す図であって、この場合において、Ｒ（レッド）の色情報を有する周りの点▲１▼と点▲２▼及び点▲３▼におけるＲ（レッド）の色情報は、図中破線Ａで示したデータ（１６個のＲのデータ）を用いて補間できる。また、同様にして、点▲４▼、点▲５▼及び点▲６▼におけるＲ（レッド）の色情報は、図中破線Ｂで示したデータで求めることができる。このような補間方法により、全ての格子点の色情報が求められる。次に、Ｇ（グリーン）の場合には、Ｇのデータのある画素とない画素とが交互に配置されているので、例えば、破線Ｃ内の１６個のデータを用いて、図中の斜線で示した（Ｇ）のデータが得られる。なお、図５の（ｃ）に示すＢ（ブルー）の場合には、配置はＲ（レッド）の場合と同様であるので、Ｒ（レッド）と同様な方法によって画素のない部分におけるデータを補間することができる。この場合において、補間係数テーブルとして用意されているのは、１６画素（３次多項式の２次元補間であれば、上記のように１６個のデータ）分であるので、補間係数テーブルとしては小さいテーブルを用意すれば良く、更にテーブルによって補間係数を与えているので、複雑な計算を要することがないので、小さな回路で、擬似３板化が実現できる。
【００２０】
図６は、ＲＧＢの各色について他の補間方法を説明するための図である。図５ではＲＧＢの各色の補間を行うのに際し、例えば、図５の（ａ）のＲ（レッド）の領域Ａについては、７×７画素（基本的には、８×８画素の領域を抽出）から補間値を求め、図５の（ｂ）のＧ（グリーン）については、菱形の領域を設定して、補間値を求めるようにしている。図５に示すような領域の設定方法によって、補間値を求める場合には、Ｒ（レッド）とＢ（ブルー）は有効帯域が同一にできるが、Ｇ（グリーン）については他の色と有効帯域が異なり、補間方法としては好ましくない。本実施形態においては、ＲＧＢの各色の全てについてＲＧＢ共に４×４画素から各色の補間を行っている。図６の（ａ）はＲ（レッド）の補間例であり、（ｂ）はＧ（グリーン）の補間例であり、（ｃ）はＢ（ブルー）の補間例である。例えば、図６の（ａ）において、４×４画素を抽出すると、抽出された領域には少なくともＲ（レッド）の４画素（すなわち、４つのデータ）が存在することになる。この４つのデータを用いて、図６の（ａ）の○の位置における補間値を３次多項式による近似式を用いて補間して求める。Ｇ（グリーン）Ｂ（ブルー）についてもＲ（レッド）と同様に、補間される。なお、画素データは、その位置と補間係数により周波数帯域が異なるので、その画素位置に応じた補正係数で図示のように補正する。このように、本実施形態においては、補間画素を少なくでき、ＲＧＢの各色について同一の４×４画素から同一の補間係数を用いて各色のデータを生成するために、有効帯域が合わせられるという利点がある。
【００２１】
図７は、Ｇ（グリーン）についての更に他の補間方法を説明するための図である。図７では、図５の（ｂ）で示したＧ（グリーン）のように抽出領域を菱形でなく、Ｒ（レッド）やＢ（ブルー）と同様に正方形としたことにある。図７においては、例えば、（Ｇ）で補間したものと［Ｇ］で補間したものとを加算することによって、補間値を得ている。このようにすると、Ｇ（グリーン）についても、Ｒ（レッド）やＢ（ブルー）と同一の画素領域で同一の補間係数を用いてデータの作成が可能になるので、有効帯域が合わせられる。また、図６の実施形態と比較した場合には、補間に用いる画素数が多くなるので、精度が向上するという利点を有する。
【００２２】
図８は、擬似３板化による処理の流れの概略図である。ＣＣＤからの出力は、ＡＤ変換器によってデジタル信号に変換され、その信号は２つに分かれ、１つはエッジ抽出用、もう１つは擬似３板化用に使用される。エッジは広帯域信号から抽出される。また、擬似３板化は狭帯域信号を用いて行われる。そして、抽出されたエッジが３板化された信号と合成されて画像処理が行われる。このように、「エッジ処理」に相当する処理は、３板化処理（狭帯域信号による処理）にエッジ処理による高帯域成分を補うことによって広帯域化処理を行うものである。この時、エッジ処理で用いる信号としては、例えば、広帯域成分をより多く含む、例えば、上記の図５の実施形態で生成されたＧ（グリーン）信号が用いられる。
【００２３】
上記のように、本発明によれば、例えば、ＲＧＢの色情報のうちＲ（レッド）の画素情報のある画素については、Ｇ（グリーン）及びＢ（ブルー）についてそれぞれ高次多項式を用いた近似式による補間によってＧ（グリーン）とＢ（ブルー）の画素値を求め、Ｒ（レッド）の色情報のない画素については、同様にして補間により画素値を求めている。この高次多項式を用いた近似式による補間では、従来の例えば直線補間比較して極めて精度の良い補間値が得られるので、安価で高画質な電子カメラを提供することを可能となる。
【００２４】
本発明は、上記の発明の実施の形態に限定されるものではない。上記の実施形態においては、近似式として３次多項式の１次元についてのみの例を示したが、４次以上の多項式に拡張も可能であるし、２次元以上の多次元による補間を行うことも可能である。更に、多項式による近似でなく、他の適当な関数（例えば、指数関数等）を使用した更に精度の良い近似式が得られたのであれば、その近似式を使用し、更に、その補間係数をテーブルとして与えておくのも非常に効果的である。
【００２５】
また、本発明の要旨を変更しない範囲で種々変形して実施できるのは勿論である。
【００２６】
【発明の効果】
本発明によれば次のような効果が得られる。
【００２７】
高次多項式を用いた近似式により精度の良い補間を行って擬似３板化を可能としたので、安価で高画質の電子カメラを提供できる。
【００２８】
また、複雑な演算を行わず予め用意されたテーブルを参照して補間演算を実行するので、高速処理が可能になると共に、高性能な演算素子などを必要としない。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る電子カメラのシステム構成を示す概略ブロック図。
【図２】１次元の補間モデルを示す図。
【図３】本発明における補間演算回路９０のブロック図。
【図４】高次多項式の近似式により補間を擬似３板化に適用した場合について説明するための図。
【図５】ＲＧＢの各色についての補間方法を説明するための図。
【図６】ＲＧＢの各色について他の補間方法を説明するための図。
【図７】Ｇについて更に他の補間方法を説明するための図。
【図８】擬似３板化による処理の流れの概略図。
【符号の説明】
１１…撮影レンズ系、
１２…撮像素子、
１３…撮像回路、
１４…Ａ／Ｄ変換器、
２０…着脱メモリ、
２１…インターフェース（Ｉ／Ｆ）、
２２…カードスロット、
３０…内蔵メモリ、
３１…補間処理用のメモリ領域、
４０…圧縮伸長回路、
５０…ＬＣＤ、
５１…ビデオメモリ、
５２…ビデオ出力回路、
５３…外部端子、
７０…シスコン
７３…操作部、
７１…ストロボ発光部、
６１…外部インターフェース（外部Ｉ／Ｆ）、
８０…電源部、
８１…カメラ電池。
【図１】
0003975033.tif 000002
【図２】
0003975033.tif 000003
【図３】
0003975033.tif 000004
【図４】
0003975033.tif 000005
【図５】
0003975033.tif 000006
【図６】
0003975033.tif 000007
【図７】
0003975033.tif 000008
【図８】
0003975033.tif 000009