(57)【要約】【課題】低感度画像データと高感度画像データの両方のＲＡＷデータをメモリに記録するに際し記録情報量の削減を図る。【解決手段】被写体を撮像し高感度画像データと低感度画像データを出力する固体撮像装置１０と、高感度画像データと低感度画像データとの間の相関関係を用いて低感度画像データを圧縮処理する圧縮処理回路１４と、圧縮処理回路１４で圧縮された低感度画像データの圧縮データと高感度画像データとをＲＡＷデータとしてメモリ１５に記録する。これにより、低感度画像データを圧縮せずにメモリ１５に記録する場合に比べて記録情報量を減らすことができる。【選択図】  図３
2004159170.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像し高感度画像データと低感度画像データを出力する固体撮像装置と、前記高感度画像データと前記低感度画像データとの間の相関関係を用いて前記低感度画像データを圧縮処理する圧縮手段と、該圧縮手段で圧縮された前記低感度画像データの圧縮データと前記高感度画像データとをＲＡＷデータとしてメモリに記録する手段とを備えることを特徴とするデジタルカメラ。
【請求項２】
前記固体撮像装置は、前記高感度画像データを出力する高感度画素と前記低感度画像データを出力する低感度画素の両方を１つの半導体基板上に備えることを特徴とする請求項１に記載のデジタルカメラ。
【請求項３】
前記圧縮手段は前記高感度画像データと前記低感度画像データの感度比を用いて該低感度画像データを圧縮することを特徴とする請求項１または請求項２に記載のデジタルカメラ。
【請求項４】
前記圧縮手段は、前記高感度画像データを前記感度比で除算したデータと前記低感度画像データとの差分を前記圧縮データとすることを特徴とする請求項３に記載のデジタルカメラ。
【請求項５】
固体撮像装置から出力される高感度画像データと低感度画像データの両方をＲＡＷデータとしてメモリに記録する撮像画像データ記録方法において、前記高感度画像データと前記低感度画像データとの間の相関関係を用い前記低感度画像データを圧縮処理して圧縮データを生成し、該圧縮データと前記高感度画像データとをＲＡＷデータとしてメモリに記録することを特徴とする撮像画像データ記録方法。
【請求項６】
請求項１乃至請求項４のいずれかに記載のデジタルカメラによって低感度画像データの圧縮データと高感度画像データとがＲＡＷデータとして記録されたメモリから前記圧縮データ及び前記高感度画像データを読み出し前記圧縮データを伸張して低感度画像データを求め、該低感度画像データと前記高感度画像データを合成して撮像画像を生成することを特徴とする画像信号処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は低感度画像と高感度画像の両方を撮像して合成するデジタルカメラとその撮像画像データ記録方法並びに画像信号処理方法に係り、特に、撮像画像データをＲＡＷデータ（固体撮像素子から出力された撮像画像データで未加工のままの生データ）でメモリに記録するデジタルカメラ及び撮像画像データ記録方法並びに画像信号処理方法に関する。
【０００２】
【従来の技術】
デジタルスチルカメラやデジタルビデオカメラ等のデジタルカメラでは、固体撮像素子の各画素を構成するフォトダイオードに蓄積される電荷の飽和量が高画素化すなわちフォトダイオードの微細化に伴って小さくなり、撮像画像のダイナミックレンジが狭くなってしまうという欠点を有している。
【０００３】
この欠点を克服するため、例えば特開平６―１４１２２９号公報（特許文献１）に記載の従来技術では、低速シャッタを切って得られる高感度画像と、高速シャッタを切って得られる低感度画像とを合成することで、画像のダイナミックレンジを広げる様にしている。
【０００４】
また、固体撮像素子に低感度画素と高感度画素の両方を設け、低感度画素によって撮像される低感度画像と高感度画素によって撮像される高感度画像とを合成することで、広ダイナミックレンジの画像を得ることができるようにもなってきている。
【０００５】
【特許文献１】
特開平６―１４１２２９号公報
【発明が解決しようとする課題】
デジタルスチルカメラ等では、固体撮像素子から出力される画像データに対し、カメラ内蔵の画像処理装置でゲイン補正やガンマ補正，色調補正などの処理を施し、更にＪＰＥＧ等のデータに圧縮してメモリに記録するのが一般的である。
【０００６】
しかし、近年の様に固体撮像素子の高画素化が進展してくると、銀塩カメラと同等の画像が撮像されるようになり、このため、固体撮像素子から出力される画像データを未加工のままＲＡＷデータでメモリに保存し、パーソナルコンピュータ等でこの画像データを読み取り、ホワイトバランス補正やガンマ補正，色調補正などを自分の好みに応じて行いたいというユーザの要望が高くなってきている。このため、デジタルカメラには、ＲＡＷデータで画像データを記録するものが増えてきている。
【０００７】
しかしながら、上述したように低感度画像と高感度画像の両方を撮像して合成するデジタルカメラでは、撮像画像データをＲＡＷデータでメモリに記録する場合、低感度画像の撮像画像データと高感度画像の撮像画像データの両方を記録する必要が生じ、記録するデータ量が倍となり必要なメモリ容量が膨大になってしまうという問題がある。
【０００８】
本発明の目的は、低感度画像データと高感度画像データの両方をＲＡＷデータで記録するに際して画像の情報を損なうことなくデータ量を圧縮して記録することができるデジタルカメラ及び撮像画像データ記録方法並びに画像信号処理方法を提供することにある。
【０００９】
【課題を解決するための手段】
上記目的を達成するデジタルカメラは、被写体を撮像し高感度画像データと低感度画像データを出力する固体撮像装置と、前記高感度画像データと前記低感度画像データとの間の相関関係を用いて前記低感度画像データを圧縮処理する圧縮手段と、該圧縮手段で圧縮された前記低感度画像データの圧縮データと前記高感度画像データとをＲＡＷデータとしてメモリに記録する手段とを備えることを特徴とする。この構成により、低感度画像データの情報を損なうことなく記録情報量を削減することができる。
【００１０】
上記目的を達成するデジタルカメラの前記固体撮像装置は、前記高感度画像データを出力する高感度画素と前記低感度画像データを出力する低感度画素の両方を１つの半導体基板上に備えることを特徴とする。この構成により、１回の撮像によって高感度画像データと低感度画像データの両方を得ることができる。
【００１１】
上記目的を達成するデジタルカメラの前記圧縮手段は、前記高感度画像データと前記低感度画像データの感度比を用いて該低感度画像データを圧縮することを特徴とし、また、前記圧縮手段は、前記高感度画像データを前記感度比で除算したデータと前記低感度画像データとの差分を前記圧縮データとすることを特徴とする。この構成により、予め既知のデータを用いてデータ圧縮ができ、圧縮が容易となる。
【００１２】
上記目的を達成する撮像画像データ記録方法は、固体撮像装置から出力される高感度画像データと低感度画像データの両方をＲＡＷデータとしてメモリに記録する撮像画像データ記録方法において、前記高感度画像データと前記低感度画像データとの間の相関関係を用い前記低感度画像データを圧縮処理して圧縮データを生成し、該圧縮データと前記高感度画像データとをＲＡＷデータとしてメモリに記録することを特徴とする。この構成により、低感度画像データの情報を損なうことなく記録情報量を削減することができる。
【００１３】
上記目的を達成する画像信号処理方法は、上述したいずれかに記載のデジタルカメラによって低感度画像データの圧縮データと高感度画像データとがＲＡＷデータとして記録されたメモリから前記圧縮データ及び前記高感度画像データを読み出し前記圧縮データを伸張して低感度画像データを求め、該低感度画像データと前記高感度画像データを合成して撮像画像を生成することを特徴とする。この構成により、少ない情報量のＲＡＷデータから所望の撮像画像を再生することが可能となる。
【００１４】
【発明の実施の形態】
以下、本発明の一実施形態を図面を参照して説明する。
【００１５】
図１は、本発明の一実施形態に係るデジタルスチルカメラに搭載する固体撮像装置の画素配置図である。半導体基板上に形成されたＣＣＤ部分の画素１は、例えば特開平１０―１３６３９１号公報に記載されている画素配置をとり、偶数行の各画素に対して奇数行の各画素が水平方向に１／２ピッチずらして配置され、各画素から読み出された信号電荷を垂直方向に転送する垂直転送路（図示せず）が、垂直方向の各画素１を避けるように蛇行配置される構成をとっている。
【００１６】
そして、本実施形態に係る各画素１は、図示する例では、画素１の面積の約１／５を占める低感度画素２と、残りの約４／５を占める高感度画素３とに分割して設けられ、各低感度画素２の信号電荷と、各高感度画素３の信号電荷とを区別して上記垂直転送路に読み出し転送することができるようになっている。画素１をどのような割合、どの様な位置で分割するかは設計的に決められるものであり、図１は単なる例示に過ぎない。尚、図示するＲ（赤），Ｇ（緑），Ｂ（青）は、各画素１上に配置されるカラーフィルタの色を示す。
【００１７】
斯かる構成の固体撮像装置を用いてカラー画像を撮像する場合、１回の撮像で、低感度画像（低感度画素２で得られた低感度信号による画像）と高感度画像（高感度画素３で得られた高感度信号による画像）を同時に取得でき、各画像を各画素２，３から順次読み出して出力し、合成することで、広ダイナミックレンジの画像を生成することが可能となる。
【００１８】
図２は、低感度信号と高感度信号の露光量に対する信号レベルの一般的傾向を示す図である。図示する例では、低感度信号Ｌの信号飽和レベルｎに対して高感度信号Ｈの信号飽和レベルは４倍の４ｎとなっており、信号レベルが飽和レベルに達する光量は、高感度画素３の光量ｍに対して低感度画素２では２倍の光量２ｍとなっている。
【００１９】
尚、この実施形態では、高感度画素３と低感度画素２の感度比を８：１、飽和比を４：１としているが、信号の飽和比や感度比は、画素の面積比だけがそのまま反映するものではない。
【００２０】
図３は、図１に示すＣＣＤでなる固体撮像装置を搭載したデジタルスチルカメラの構成図である。このデジタルスチルカメラは、固体撮像装置１０と、この固体撮像装置１０から出力される画像信号を相関二重サンプリング処理するＣＤＳ回路１１と、ＣＤＳ回路１１から出力されるアナログ画像信号のゲイン調整を行うアナログゲイン回路１２と、ゲイン調整されたアナログ画像信号をデジタル画像信号に変換するＡ／Ｄ変換器１３と、このデジタル画像信号を後述する様にして圧縮処理する圧縮処理回路１４と、圧縮されたデジタル画像信号をＲＡＷデータとしてメモリ１５に記録する手段とを備える。
【００２１】
本実施形態のデジタルスチルカメラでは、固体撮像装置１０から出力されるデジタル画像信号として、高感度画素３から得られた高感度画像データと、低感度画素２から得られた低感度画像データとがある。これらをそのままＲＡＷデータとしてメモリ１５に記録すると、メモリ容量が膨大となってしまう。
【００２２】
そこで、本実施形態では、画像としての情報量がより多く含まれている高感度画像データはそのままメモリ１５にＲＡＷデータとして記録し、低感度画像データは、次の様にして圧縮処理してから、メモリ１５に記録する。
【００２３】
本実施形態の固体撮像装置１０は１つのセンサとして製造され、低感度画像データと高感度画像データの２種類の画像データが出力される。この低感度画像データは高感度画像データと相互に相関を持ったデータであるため、この相関を利用して、低感度画像データを圧縮すれば、低感度画像の情報を損なうことなく圧縮が可能となる。
【００２４】
すなわち、本実施形態の固体撮像装置１０は、高感度画素３と低感度画素２の面積比などその物理的構成は既知であるため、低感度画像データ／高感度画像データの平均的な感度比は一定である（平均的というのは、データにノイズなどが加わるため実際の画像データは変動するためである。）。
【００２５】
従って、この感度比を用い、高感度画像データ（Ｈ）を感度比で除算したデータと、低感度画像データ（Ｌ）との差分データＤｉｆｆを
〔数１〕
Ｄｉｆｆ＝Ｌ−（Ｈ／感度比）
感度比：上記の図２の例では“８”
として求め、この差分データＤｉｆｆ（圧縮データ）を低感度画像データのＲＡＷデータとしてメモリ１５に記録する。これにより、より少ないビット数で低感度画像データをメモリ１５に記録することが可能となる。
【００２６】
図４は、メモリ１５の構成図である。メモリ１５には、画像ファイル番号等のファイル情報４０と、シャッタ速度や露光量等の撮影情報４１の他に、感度比情報４２がタグ等に記録される。そして、高感度画像データ４３はそのままＲＡＷデータとして記録され、低感度画像データ４４として上記のＤｉｆｆデータがＲＡＷデータとして記録される。これにより、低感度画像データをそのまま圧縮せずにメモリ１５に記録するときに必要となる領域（点線で図示）を削減することができる。
【００２７】
図５は、メモリ１５に記録されているＲＡＷデータを読み出して撮像画像を再生する画像信号処理装置の構成図である。この画像信号処理装置は、パーソナルコンピュータ上のアプリケーションソフトウェアやプリンタ上のアプリケーションソフトウェアで実現される。
【００２８】
この画像信号処理装置は、メモリ１５から読み出した高感度画像データと上記のＤｉｆｆデータとから感度比情報を用いて低感度画像データを伸張する伸張処理回路２１と、メモリ１５から読み出した高感度画像データや伸張処理回路２１から出力される低感度画像データに対してオフセット補正処理を行うオフセット補正回路２２と、オフセット補正後の高感度画像データあるいはオフセット補正後の低感度画像データに対してホワイトバランス処理などのゲイン補正を行うゲイン補正回路２３と、ゲイン補正後の高感度画像データあるいはゲイン補正後の低感度画像データに対してガンマ補正を行うガンマ補正回路２４と、ガンマ補正後の高感度画像データとガンマ補正後の低感度画像データとを合成する合成処理回路２５とを備える。
【００２９】
更にこの画像信号処理装置は、合成処理回路２５によって得られた合成画像データのＲＧＢ色信号を補間演算して各画素位置（図１の画素１の位置）におけるＲＧＢ３色の信号を求めるＲＧＢ補間回路２６と、ＲＧＢ信号から輝度信号Ｙと色差信号Ｃとを求めるＲＧＢ／ＹＣ変換回路２７と、輝度信号Ｙに対して輪郭補正を行う輪郭補正回路２８と、色差信号Ｃに対して色差マトリクスを乗算して色調補正を行う色差補正回路２９と、輪郭補正された輝度信号Ｙと色調補正された色差信号ＣとからＲＧＢ信号を得るＹＣ／ＲＧＢ変換回路３０とを備え、ＹＣ／ＲＧＢ変換回路３０から出力されるＲＧＢ信号により、広ダイナミックな最終画像３１を得る様になっている。
【００３０】
この信号処理装置では、予め高感度画像データは撮像時のデータがそのままＲＡＷデータとしてメモリ１５に記録され、低感度画像データは感度比を用いて圧縮されメモリ１５に記録されていることが分かっているため、低感度画像データを伸張して高感度画像データと合成することができる。このとき、オフセット補正回路２２、ゲイン補正回路２３、ガンマ補正回路２４、輪郭補正回路２８、色差補正回路２９における各補正をユーザが好みに応じて調整できるため、ユーザは所望の最終画像３１を得ることができる。
【００３１】
尚、上述した実施形態では、低感度画像データを圧縮するとき、高感度画像データを感度比で除算したデータと低感度画像データとの差分Ｄｉｆｆを求めて圧縮したが、相関の利用方法はこのような感度比や差分に限定されるものではなく、他の相関関係を利用して圧縮することでもよい。
【００３２】
また、上述した実施形態では、画素１を図１に示す様に所謂ハニカム配置としているが、各画素１を正方格子状に配置した場合にも本発明を適用可能である。また、ＣＣＤの固体撮像装置として説明したが、本発明はＣＭＯＳ型固体撮像装置を搭載したデジタルカメラにも適用可能である。
【００３３】
【発明の効果】
本発明によれば、高感度画像データと低感度画像データの両方をＲＡＷデータで記録するとき低感度画像データを高感度画像データとの相関関係を利用して圧縮するため、メモリ容量を削減することが可能となる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係るデジタルスチルカメラに搭載する固体撮像装置の画素配置図である。
【図２】図１に示す固体撮像装置の高感度画素と低感度画素から得られる信号レベルの説明図である。
【図３】本発明の一実施形態に係るデジタルスチルカメラの構成図である。
【図４】図３に示すメモリのデータ格納例を示す図である。
【図５】図４に示すメモリから読み出したＲＡＷデータから最終画像を得る画像信号処理装置の一例を示す構成図である。
【符号の説明】
１  画素
２  低感度画素
３  高感度画素
１０  ＣＣＤ（固体撮像装置）
１４  圧縮処理回路
１５  ＲＡＷデータ記録用のメモリ
２１  伸張処理回路
２２  オフセット補正回路
２３  ゲイン補正回路
２４  ガンマ補正回路
２５  合成処理回路
２８  輪郭補正回路
２９  色差補正回路
３１  最終画像
【図１】
2004159170.tif 000003
【図２】
2004159170.tif 000004
【図３】
2004159170.tif 000005
【図４】
2004159170.tif 000006
【図５】
2004159170.tif 000007