(57)【要約】【課題】高感度および低感度の撮像を同時に行い、得られた画素データを効率的に記録する固体撮像装置を提供。【解決手段】ディジタルカメラ10は、RAWモードの記録において低感度判別部88の演算部120での演算により低感度画素データに対する感度補正を施して、データ判別部116に供給し、データ判別部116で供給される乗算結果132と高感度画素データ134とを比較して画素それぞれのマップデータを生成し、設定した基本データに対する埋込み条件およびマップデータに応じて画素データを削減し、この削減により生成された記録データおよびマップデータ138と高感度画素データ134を記録する。【選択図】図１
2008263650.tif 000002
【特許請求の範囲】
【請求項１】
入射光を信号電荷に変換する受光素子が複数、２次元アレイ状に配設された固体撮像素子から信号電荷を読み出して、該信号電荷から生成した高感度画素データおよび該高感度画素データより低い感度で得られた低感度画素データに信号処理を施す信号処理手段を含み、該信号処理手段からの出力を記録する固体撮像装置において、
前記信号処理手段は、生の画素データを記録するRAWモードにおいて前記高感度画素データおよび前記低感度画素データの一方に対して圧縮を施すRAW削減手段を含み、
該RAW削減手段は、あらかじめ、前記低感度画素データを前記高感度画素データと同程度の画素データに換算する補正係数が設定され、前記高感度画素データおよび前記低感度画素データのいずれか一方の画素データを基本データに設定し、該基本データに対する前記高感度画素データおよび前記低感度画素データの他方を他方の画素データに設定して、該他方の画素データに前記補正係数を演算する演算手段と、
施した演算結果と前記基本データとの差分した絶対値を、埋込み条件を判定する所定の閾値と比較し、前記埋込み条件に応じて、前記他方の画素データの削減または前記他方の画素データへの前記基本データの埋込みを行って、記録データを生成し、該記録データを出力するデータ判別手段とを含むことを特徴とする固体撮像装置。
【請求項２】
請求項１に記載の装置において、前記データ判別手段は、前記記録データの一部として、前記演算手段にて乗算した結果と前記高感度画素データとの差分絶対値を生成し、該差分絶対値と所定の閾値とを比較することにより、該所定の閾値を境界に設定して該所定の閾値を基に前記低感度画素データの削除または埋込みによって記録しても、削除または埋込みにより記録した低感度画像データが再生において復元可能な範囲内にあるか否かを２値データで表した前記埋込み条件の判別結果を生成することを特徴とする固体撮像装置。
【請求項３】
請求項１または２に記載の装置において、前記データ判別手段は、前記高感度画素データを前記基本データとして設定し、前記演算手段にて乗算した結果と前記高感度画素データとの差分絶対値が所定の閾値以下であることを前記埋込み条件とし、該埋込み条件に該当する前記低感度画素データを削除し、前記RAW削減手段が前記基本データ、削除して残った低感度画素データおよび前記埋込み条件の判別結果を出力することを特徴とする固体撮像装置。
【請求項４】
請求項１に記載の装置において、前記データ判別手段は、前記低感度画素データを前記基本データとして設定し、前記差分絶対値が所定の閾値以下であることを前記埋込み条件とし、該埋込み条件に該当する前記高感度画素データを前記基本データの該当する画素位置に埋め込んだ記録データを生成し、前記RAW削減手段が前記記録データおよび前記埋込み条件の判別結果を出力することを特徴とする固体撮像装置。
【請求項５】
請求項１または２に記載の装置において、前記データ判別手段は、前記高感度画素データを前記基本データとして設定し、該基本データの飽和レベルを上限閾値に設定し、該上限閾値以上にあることを前記埋込み条件とし、該埋込み条件に該当する画素位置の画素データに前記低感度画素データを埋め込んで記録データを生成し、前記RAW削減手段が前記記録データおよび前記埋込み条件の判別結果を出力することを特徴とする固体撮像装置。
【請求項６】
請求項１ないし５のいずれか一項に記載の装置において、該装置は、前記RAW削減手段に前記高感度画素データと前記低感度画素データとを異なるタイミングで供給することを特徴とする固体撮像装置。
【請求項７】
請求項１ないし６のいずれか一項に記載の装置において、前記信号処理手段は、前記RAWモードで記録した前記記録データおよび前記埋込み条件の判別結果を入力し、該埋込み条件の判別結果である削減または埋込みを示す値に応じて前記高感度画素データおよび前記低感度画素データの一方に対して前記補正係数の演算または飽和レベルを示す画素データの置換による復元処理を施して生の画素データすべてを再生するRAW復元手段を含むことを特徴とする固体撮像装置。
【請求項８】
請求項７に記載の装置において、前記RAW復元手段は、前記基本データとして設定した高感度画素データのうち、前記埋込み条件に該当する前記高感度画素データを前記補正係数で除算して、該高感度画素データに該当する低感度画素データを生成し、前記供給される削除して残った低感度画素データと合わせて前記低感度画素データを復元することを特徴とする固体撮像装置。
【請求項９】
請求項７に記載の装置において、前記RAW復元手段は、前記記録データおよび前記埋込み条件の判別結果を入力し、該埋込み条件の判別結果のうち、前記演算手段にて乗算した結果と前記高感度画素データとの差分絶対値が所定の閾値より大きいことを示す前記埋込み条件の判別結果に対応する前記記録データに対して前記補正係数を乗算し、あらかじめ設定したビットの最大値以上の値を示す乗算結果のすべてに対して該最大値を割り当てる処理を施して、前記埋込み条件の判別結果のうち、前記差分絶対値が所定の閾値画素以下を示す前記埋込み条件の判別結果に対応する前記記録データと前記割当処理結果とを合わせて前記高感度画素データを復元し、前記埋込み条件の判別結果のうち、前記差分絶対値が所定の閾値画素以下を示す前記埋込み条件の判別結果に対応する前記記録データに対して前記補正係数で除算し、該除算結果と前記差分絶対値が所定の閾値より大きいことを示す前記埋込み条件の判別結果に対応する前記記録データとを合わせて前記低感度画素データを復元することを特徴とする固体撮像装置。
【請求項１０】
請求項７に記載の装置において、前記RAW復元手段は、前記記録データおよび前記埋込み条件の判別結果を入力し、該前記埋込み条件の判別結果のうち、前記埋込み条件が満たされることを示す値に対してあらかじめ設定したビットの最大値を割り当てて、残る記録データと合わせることにより、高感度画素データを復元し、該埋込み条件の判別結果のうち、前記埋込み条件が満たされることを示す値に対応する前記記録データと、前記埋込み条件から外れたことを示す値に対する前記記録データを前記補正係数で除算した、該除算結果とを合わせることにより、低感度画素データを復元することを特徴とする固体撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像装置に関するものであり、とくに、入射光を一つの受光素子または一画素が異なる感度を有し、画素それぞれから読み出して得られた、未処理の生データを画像データとして記録する固体撮像装置に関するものである。
【背景技術】
【０００２】
現在、固体撮像素子を適用したディジタルカメラが、撮影した画像の高画質化およびまたその撮影した画像を確認できる手軽さ等の利点から、広く普及してきている。さらに、ディジタルカメラは、銀塩ネガフィルムを用いたカメラに近づけるように技術開発が進められている。ところで、両カメラの特性を比較すると、大きな相違がダイナミックレンジに見られる。すなわち、固体撮像素子は、銀塩ネガフィルムの広いラチチュードがもたらすダイナミックレンジに比べて狭いことが問題として挙げられてきた。しかしながら、この問題点も以下に示すような技術開発の進展によってかなり改善されつつある。
【０００３】
特許文献１の画像データ形成装置によれば、既存の画像ファイルとの互換性を保ちながら、画像の明るさや色合いの決まっている再生系に調整された完成画像が得られるように階調変換を行う第１のレンジとこのレンジ以外の第２のレンジとにレンジ分離回路147で分けて、各レンジの画像（映像信号）を互いに関連付けて記録媒体に記録することにより、１枚の画像に対して記録されている各レンジの画像を再生に用いる表示媒体に応じて有効に利用してモニタ表示とフィルムのようなプリント再生のダイナミックレンジそれぞれに対応した画像生成を可能にしている。
【０００４】
特許文献２の広ダイナミックレンジ撮像装置によれば、高感度セル30Hと低感度セル30Lを含むCCD固体撮像デバイス10から得られる信号電荷を個々にアナログ信号12, 14にして、A/D変換器16, 18に供給し、ディジタル化した高感度映像信号データ20と低感度映像信号データ22を記録回路24を介して記録媒体26に関連付けて記録することにより、簡単な構成でありながら、再生等の後処理に対応した補正を可能にして、銀塩写真に匹敵する広ダイナミックレンジの画像を提供することができる。また、この装置は、このように記録しても記録媒体への記憶容量が少なくて済むという特徴も得られる。
【０００５】
また、特許文献３の画像データ記録装置によれば、固定した量子化レベルに設定されている装置でも広ダイナミックレンジに撮像したデータすべてを有効に利用するため、ディジタル信号処理26においてADC 20から供給される処理前の映像信号22に画像加工処理を複数段で信号処理を施し、各段の信号処理出力と一つ前の信号処理出力との差分データを演算生成して、完成画像ファイル30に固定の８ビットデータ23を供給し、サブファイル32に処理された履歴を示すパラメータおよび差分データ25（25A, 25B, 25C, 25D）を対応付けて記録することにより、標準的なファイルフォーマットに対応させて記録し、再生において完全に撮像当初のデータを再現させて有効に利用することができる。
【０００６】
このように記録することにより、特許文献１ないし３は、広ダイナミックレンジ化を図って記録することができる。
【０００７】
現在、ディジタルカメラには、たとえば携帯電話機に搭載されたディジタルカメラ機能との差別化を図る上で、より一層の高画質化が求められている。ところで、高画質化するためには、画素数の増大が要求される。しかしながら、これは、感光領域が減少した受光素子を提供することになる。また、一般的に、固体撮像装置には、撮影する被写体に応じてモアレ等の偽信号が発生することがある。  特許文献４の固体撮像装置は、このような問題に対して画素の高集積化し、受光する光量を増やして、受光効率の向上を図りながら、偽色の低減および広ダイナミックレンジにも対応可能なものを提供する。この提供のために、固体撮像装置では、同一行または同一列における各画素間の距離をピッチとすると、たとえば、行方向および／または列方向に画素が半ピッチずらした、いわゆるハニカム配列に配置されている。さらに、この固体撮像装置は、一つの受光素子における感光領域の大きさが異なるように分割し、サイズの大きい主感光領域と主感光領域より小さいサイズの従感光領域を設けて、それぞれの領域から信号電荷の独立読出し制御や信号電荷の同時読出し制御を可能にするものも提案されている。
【特許文献１】特開2001−8092号公報
【特許文献２】特開2001−8104号公報
【特許文献３】特開2002−152680号公報
【特許文献４】特開平10-136391号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
ディジタルカメラは、所定の画素数で記録するだけでなく、撮影して得られた生データを記録するモード（RAWモード）を備えている。撮影時のデータをすべて記録すると、撮影時の画像処理で非可逆な画像を生成する場合に対して撮影時に得られた生の画素データを用い、撮影後に所望する画像が得られるまで何度でも画像処理を繰り返すことができる。このRAWモードの記録では、少なくとも、固体撮像素子の有効画素数の画素データ記録が生データとして求められる。特許文献４の固体撮像装置は、特許文献２のCCD固体撮像デバイス10に比べて倍の画素数を扱うことになる。
【０００９】
ところで、記録媒体には、数百メガバイトから１ギガバイトの半導体メモリが市場に提供されているが、高価である。安価な半導体メモリは、RAWモードでの記録すると、記録枚数が大幅に少なくなり、すぐに容量不足に陥ってしまう。また、RAWモードでの記録は、記録時間が長くなり、消費電力も増加する。
【００１０】
本発明はこのような従来技術の欠点を解消し、高感度および低感度の撮像を同時に行い、得られた画素データを効率的に記録する固体撮像装置およびその画像記録方法を提供することを目的とする。
【００１１】
また、本発明はこのような課題に鑑み、効率的に記録した画素データをほぼ完全に復元することができる固体撮像装置およびその画像再生方法を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本発明は上述の課題を解決するために、入射光を信号電荷に変換する受光素子が複数、２次元アレイ状に配設された固体撮像素子から信号電荷を読み出して、この信号電荷から生成した高感度画素データおよびこの高感度画素データより低い感度で得られた低感度画素データに信号処理を施す信号処理手段を含み、この信号処理手段からの出力を記録する固体撮像装置において、信号処理手段は、生の画素データを記録するRAWモードにおいて高感度画素データおよび低感度画素データの一方に対して圧縮を施すRAW削減手段を含み、このRAW削減手段は、あらかじめ、低感度画素データを高感度画素データと同程度の画素データに換算する補正係数が設定され、高感度画素データおよび低感度画素データのいずれか一方の画素データを基本データに設定し、この基本データに対する高感度画素データおよび低感度画素データの他方を他方の画素データに設定して、この他方の画素データに補正係数を演算する演算手段と、施した演算結果と基本データとの差分した絶対値を、埋込み条件を判定する所定の閾値と比較し、埋込み条件に応じて、他方の画素データの削減または他方の画素データへの基本データの埋込みを行って、記録データを生成し、この記録データを出力するデータ判別手段とを含むことを特徴とする。
【発明の効果】
【００１３】
本発明の固体撮像装置によれば、RAWモード記録において複数に画素分割して得られる画素データを分割した画素データの関連性に応じて大幅に低減することができる。これにより、記録に要する消費電力も抑制することができる。また、記録量の低減に応じて撮影間隔を短くすることにより、RAWモードでの連写スピードを上げることができる。
【発明を実施するための最良の形態】
【００１４】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【００１５】
本実施例は、本発明の固体撮像装置を図２に示すディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。以下の説明で、信号はその現れる接続線の参照番号で指示する。
【００１６】
ディジタルカメラ10は、図２に示すように、光学系12、撮像部14、前処理部16、信号処理部18、システム制御部20、操作部22、タイミング信号発生器24、ドライバ26、モニタ28およびストレージ30を含む。光学系12には、図示しないが、光学系レンズ、ズーム機構、絞り調節機構、およびオートフォーカス（AF: Automatic Focus)調節機構が含まれている。
【００１７】
ズーム機構は、図示しないが被写界の画角を調整する。AF調節機構は、複数の光学レンズの配置を自動的に変位調節して被写体を焦点の合った位置関係に調節する機構である。機構のそれぞれには、上述した位置に光学レンズを移動させるためモータが配設されている。これらの機構は、各モータにドライバ26からそれぞれ供給される駆動信号32に応動して動作している。
【００１８】
また、絞り調節機構は、具体的に図示しないが入射光量を調節するAE（Automatic Exposure）調節機構であり、ドライバ26からの駆動信号34に応じてリング部を回転させる。リング部は、羽根を部分的に重ならせてアイリスの形状を丸く形成し、入射する光束を通すようにアイリスを形成する。このようにして絞り調節機構はアイリスの口径を変えている。絞り調節機構は、メカニカルシャッタをレンズシャッタとして光学系レンズに組み込んでもよい。
【００１９】
メカニカルシャッタは、撮像部14に撮影のとき以外に光が照射されないように遮光するとともに、露光の開始と終了により露光時間を決める機能を有している。メカニカルシャッタには、たとえば一眼レフカメラで使用されているようなフォーカルプレン式がある。この方式は、シャッタ幕が縦または横に走り、この瞬間にできるスリットで露光を行うものである。また、上述したようにレンズシャッタ式を用いてもよい。メカニカルシャッタは、ドライバ26から供給される駆動信号36に応じてシャッタを開閉する。
【００２０】
撮像部14は、光学ローパスフィルタ38および色フィルタが配された固体撮像素子40を備えている。光学ローパスフィルタ38は、入射光の空間周波数をナイキスト周波数以下にするフィルタである。固体撮像素子40の要部を図３に示す。固体撮像素子40は、電荷結合素子（CCD: Charge Coupled Device)である。図３に示すように、受光素子42は同一の行方向に対する画素ピッチをXPに、同一の列方向に対する画素ピッチはYPに配設され、さらに隣接する受光素子同士の画素ピッチはそれぞれ、XP/2, YP/2に配設されている。このように配設することにより、受光素子42は、稠密に配設される。また、固体撮像素子40は、この配設の間に垂直転送レジスタ44を形成している。垂直転送レジスタ44は、互いにシフトして受光素子42が配設された受光素子42を迂回することから、蛇行しているように形成されている。
【００２１】
受光素子42は一つの受光素子42における八角形の感光領域を分離部46で分割している。分割された感光領域は、相対的に広い感光領域を主感光領域48と狭い感光領域を従感光領域50とする。受光素子42には、感光領域の上に感光領域を覆うように入射光を遮光する遮光膜52がハッチングで示す領域に形成されている。遮光膜52には、入射光を取り込むための開口領域54が形成されている。遮光膜52は、図示していないが、垂直転送レジスタ44も完全に覆って遮光するように形成されている。本実施例の受光素子42は、主感光領域48と従感光領域50が占める面積により感度に差をもたせている。
【００２２】
固体撮像素子40にも図２に示すように、ドライバ26から駆動信号56が供給されている。駆動信号56は、固体撮像素子40の動作モードや読出し制御に応じてフィールドシフトパルス、水平駆動信号φH、垂直駆動信号φVおよびOFD（Over Flow Drain)信号等が供給される。
【００２３】
本実施例では、受光素子42は、図示しないが、主感光領域48と従感光領域50に蓄積した信号電荷をそれぞれ、独立に読み出すため各領域に対して別々にフィールドシフトゲートおよび電極が形成されている。各電極に供給するフィールドシフトパルスは、読出し制御に応じて同じタイミングで供給する場合とそれぞれのタイミングで供給する場合がある。前者の場合が通常の一受光素子からの読出しであり、本実施例では混合読出しという。また、後者の場合を独立読出しという。固体撮像素子40は、これら読出し制御に応じて得られたアナログ電圧信号58を前処理部16に出力する。
【００２４】
なお、固体撮像素子40は、独立読出しにおいて受光素子42の各感光領域における時間経過にともなう飽和量の減少が大きい主感光領域48から先に信号電荷を読み出し、次に従感光領域50から信号電荷を読み出している。固体撮像素子40は、この場合一つの受光素子に対して上述した順序で各領域の信号電荷を独立にインターレースに読み出すとよい。
【００２５】
前処理部16は、図示しないが、ノイズ除去に相関二重サンプリング（Correlated Double Sampling: CDS)回路、ゲイン調整アンプ（GCA: Gain Controlled Amplifier)、およびA/D変換器（Analog-to-Digital Converter)を含む。CDS回路には、タイミング信号発生器24からサンプリング信号としてCDSパルス60が供給され、一方A/D変換器には、変換クロック信号62が供給されている。前処理部16は、供給されるアナログ信号58に対してノイズ除去、波形整形、ディジタル化を行って得られた撮像データのすべてをディジタルデータ、すなわち画像データ64として信号処理部18に出力する。
【００２６】
信号処理部18は、図１に示すように、画像データの広ダイナミックレンジ化を図るように、画像メモリ66, 68、WB（White Balance)ゲイン部70, 72、ガンマ補正部74, 76、画像加算部78、同時化処理部80、補正部82、圧縮／伸長処理部84および画像縮小部86を含み、さらに、本実施例の特徴である低感度判別部88およびデータ作成部90を有している。また、信号処理部18は、ユーザの選択した動作モードに応じた処理をそれぞれ施すためにモード選択スイッチ92, 94, 96が配設されている。制御信号98が動作モードに応じて各構成要素を動作させるように供給されるならば、モード選択スイッチ92, 94, 96は省略してもよい。
【００２７】
画像メモリ66, 68は、バッファメモリであり、同じ画素データを繰り返して読み出す場合、不揮発性メモリを用いることが好ましい。画像メモリ66, 68には、画像データ64が入力され、一時的に記憶される。画像メモリ66は、所望の画像を１枚撮影する場合、たとえば画像メモリ66には受光素子42の内、主感光領域48から得られる画素データまたは受光素子42として得られた主感光領域48および従感光領域50の信号電荷を混合した画素データが格納される高感度画素メモリである。また、画像メモリ68は、従感光領域50から得られる信号電荷を画素データとして格納する低感度画素メモリである。画像メモリ66, 68は、システム制御部20からの制御信号98に応じて書込み／読出し制御が行われる。信号処理部18は、画像メモリ66, 68のようにシステム制御部20により制御を受ける被制御部からたとえば、動作状態を表すステータスをシステム制御部20に返している。画像メモリ66, 68は、受光素子の位置および色の配列を考慮した間引き読出し等も行う。
【００２８】
画像メモリ66は、WBゲイン部70、ガンマ補正部74、画像加算部78、同時化処理部80、補正部82および画像縮小部86とそれぞれ、接続されている。圧縮／伸長処理部84は、モード選択スイッチ92を介して画像メモリ66と接続されている。また、画像メモリ66は、モード選択スイッチ94を介して画像メモリ66からの高感度画素データを低感度判別部88と圧縮／伸長処理部84とにそれぞれ、接続されている。画像メモリ66は、圧縮／伸長処理部84から出力される画素データの内、高感度の画素データをモード選択スイッチ96を介してとりこむように接続されている。
【００２９】
画像メモリ68は、WBゲイン部72、ガンマ補正部76および画素加算部78にそれぞれ、接続されている。また、画像メモリ68は、モード選択スイッチ94を介して画像メモリ68からの低感度画素データを低感度判別部88に供給するように接続されている。また、画像メモリ66は、圧縮／伸長処理部84から出力される画素データの内、低感度の画素データをモード選択スイッチ96を介してとりこむように接続されている。画像メモリ66, 68は、制御信号98に応じて一時的に格納した画素データをWBゲイン部70, 72にそれぞれ出力する。
【００３０】
WBゲイン部70, 72は、供給される画素データに対するホワイトバランス調整・ゲイン補正を行う機能を有している。WBゲイン部70, 72は、システム制御部20の制御により調整した画素データをガンマ補正部74, 76にそれぞれ、送る。ガンマ補正部74, 76には、たとえばガンマ補正用のルックアップテーブルが含まれている。ガンマ補正部74, 76は、供給される画像データをテーブルのデータを用いてガンマ補正する機能を有している。ガンマ補正部74は、システム制御部20の制御に応じてガンマ補正処理を行い、この処理した画像データを画像加算部78および同時化処理部80に出力する。また、ガンマ補正部74は、補正した画素データ100としてシステム制御部20に出力する。ガンマ補正部76は、システム制御部20の制御に応じてガンマ補正を行い、補正した画像データを画像加算部78への出力、および動作停止のいずれかが行われる。
【００３１】
画像加算部78は、供給される画像データを各受光素子42に対応させて加算する機能を有している。この加算機能が広ダイナミックレンジ化をもたらす。ここで、広ダイナミックレンジ化について簡単に図４を用いて説明する。図４は、入射光量に対する出力データの関係を表している。主感光領域48は実線が示すように入射光量が100%で出力が飽和レベルLSになり、これ以上の光量を入射させても飽和レベルで出力する。一方、従感光領域50は破線が示すように入射光量が400%でレベルが飽和する。すなわち感度比は、1：1/4である。画素加算部78は、たとえば100%以上の入射光量で飽和する範囲にわたって一点鎖線で示すように低感度画素データを加算することにより、入射光量の対応範囲を広げることができる。画像加算部78は、システム制御部20の制御に応じて加算結果を同時化処理部80に出力する。
【００３２】
なお、低感度画素データを高感度画素データと同じ感度で比較するためには、低感度画素データを４倍するとよいことがわかる。この倍率が感度補正係数で、本実施例における受光素子42の主感光領域と従感光領域の面積比に応じた補正係数を表している。
【００３３】
同時化処理部80は、供給される加算結果を用いて画素補間処理および色補間処理を行う機能を有している。画素補間処理は、受光素子42の画素ずらし配列にともない生じる受光素子のない空領域、仮想画素の補間を行う。画素補間処理には、生成した画素データを広帯域化する機能を含んでもよい。色補間処理は、単板色フィルタの使用により三原色RGBの内、画素データが一色にしか対応していないので、他の二色に対応する画素データを生成し、全画素に対応して三原色RGBを揃える（同時化）。同時化処理部80は、システム制御部20の制御に応じて補正部82に出力する。
【００３４】
補正部82は、プレーンな３色の画像データを基に色差マトリクス処理、輪郭強調処理およびゲイン調整等の補正処理を施す機能を有している。色差マトリクス処理は、供給される画素データと所定の係数を用いて輝度データYと色データCb, Crまたは色差データ (B-Y), (R-Y)を生成する。補正部82は、さらに生成した画像データに対して階調補正、輪郭強調処理およびゲイン調整を施す。補正部82は、システム制御部20の制御に応じて生成した画像データをモード選択スイッチ92を介して圧縮／伸長処理部84に供給する。
【００３５】
圧縮／伸長処理部84は、通常の記録における静止画や動画（ムービ）モードにではモード選択主一致92を介して供給される画像データにJPEG（Joint Photographic coding Experts Group）やMPEG（Moving Picture coding Experts Group)-1, MPEG-2等の規格でそれぞれ、圧縮処理を施す。また、圧縮／伸長処理部84は、RAWモードではモード選択スイッチ94を介して供給される画素と感度比との関係を基に同一感度に規格化して高感度または低感度のいずれかにおいて削除の可否を表すデータの供給を受ける。換言すると、このデータは再生可能性を表すデータである。このデータが”0”, ”1”で表されたマップデータである。RAWモードでは、後述するようにストレージ30に記録する生の記録データに対して可逆的な圧縮を施してもよい。圧縮／伸長処理部84は、RAWモードに対応したデータ削減処理を低感度判定部88で行って、記録量を削減していることから、生の記録データおよびマップデータを含むデータ138を単にスルーさせてストレージ30に供給することが好ましい。
【００３６】
なお、圧縮／伸長処理部84は、このマップデータに対して圧縮する場合、たとえばランレングス符号を施すとよい。
【００３７】
このように圧縮／伸長処理部84は、ユーザが選択したモードに対応したシステム制御部20からの制御に応じて得られた画像データ102をストレージ30に送って記録する。圧縮／伸長処理部84では、ストレージ30に記録した画像データ102をシステム制御部20の制御に応じて読み出して圧縮の可否に応じた伸長処理が施される。この伸長処理は、上述した圧縮処理の逆処理に対応し、圧縮した画素データを伸長して復元する処理である。
【００３８】
画像縮小部86は、供給される画像データのサイズを考慮して間引き処理を行い、モニタ28の表示サイズ・表示形式データに調整する機能を有している。画像縮小部86は、システム制御部20の制御に応じて調整された画像データ104をモニタ28に供給する。
【００３９】
信号処理部18は、本実施例においてモード選択スイッチ92, 94, 96を有している。モード選択スイッチ92は、記録モードのうち、広ダイナミックレンジ化された画像データや同時読出しで得られた画像データが供給される場合、ならびにこのモードで記録した画像データが圧縮／伸長処理部84から出力される再生モードにおいて導通、すなわちオン状態にする。モード選択スイッチ92は、これ以外のモードではオフ状態にしている。モード選択スイッチ92は、操作部22の操作に応じてシステム制御部20から供給される切換信号106により切り換えられる。モード選択スイッチ92は、出力端子108と圧縮／伸長処理部84の端子110とを接続している。
【００４０】
また、モード選択スイッチ94, 96は、ともに供給される高感度画素データと低感度画素データを同時に切り換える同期選択スイッチである。モード選択スイッチ94は、記録モードのうち、RAWモードが選択された場合にオン状態にする。モード選択スイッチ94は、これ以外の場合、オフ状態にする。モード選択スイッチ94の切換えは、切換信号112で同期切換えが行われる。モード選択スイッチ94は、信号を低感度判別部88に供給する。この信号の供給先をさらに説明すると、モード選択スイッチ94の出力端子114は低感度判別部88のデータ判別部116および圧縮／伸長処理部84の端子110と接続され、出力端子118は低感度判別部88の演算部120およびデータ判別部116に接続されている。
【００４１】
モード選択スイッチ96は、再生モードのうち、RAWモードを選択する場合にオン状態にする。モード選択スイッチ96は、このモード以外の場合、オフ状態にする。モード選択スイッチ96は、切換信号122で同期切換えが行われる。切換信号122は、単にモードの操作に応じて生成するだけでなく、後述するマップデータの有無に応じてRAWモードか否かを判断して生成することが好ましい。モード選択スイッチ94の入力端124, 126には、それぞれ、圧縮／伸長処理部84の端子110とデータ作成部90からの出力が供給されている。図１に示した接続構成において、圧縮／伸長処理部84は、伸長処理された高感度画素を含む記録データおよびマップデータを端子110からデータ作成部90に供給する。モード選択スイッチ94の出力端128, 130は、それぞれ、画像データ64が供給されるラインに接続されている。再生した生の画素データは、各部に供給され、制御信号98の制御によりイネーブル状態にされた構成要素にとりこまれ、ディジタル処理が施される。
【００４２】
低感度判別部88は、演算部120およびデータ判別部116を含む。演算部120には、固体撮像素子40で使用する受光素子42における主感光領域48と従感光領域50との画素データを規格化する感度補正係数があらかじめ設定されている。本実施例で演算部120は、供給される低感度画素データに感度補正係数を乗算する機能を有している。演算部120は、供給される画素データに対してこの演算を行い、演算結果のデータ132をデータ判別部116に出力する。
【００４３】
データ判別部116は、本実施例における低感度画素データをマップデータにするか否かの判別機能を有している。これを実現させるため、データ判別部116には、高感度画素データ134、低感度画素データ136および演算結果のデータ132がそれぞれ供給されている。データ判別部116は、たとえば判別に対応したデータ138を圧縮／伸長処理部84の端子140に出力する。
【００４４】
なお、高感度画素データ134と低感度画素データ136の供給は、同一時刻でなくてもよく、高感度画素データ134の供給後、短い時間間隔で低感度画素データ136を得るようにしてもよい。この場合、高感度画素データ134と低感度画素データ136の入出力ラインは区別せず、一つで済む。この場合、低感度判別部88から圧縮／伸長処理部84への入力、圧縮／伸長処理部84からデータ作成部90への出力を端子110の一つに集約することができる。システム制御部20は、このとき短い時間間隔に応じて低感度判別部88、圧縮／伸長処理部84およびデータ作成部90のうち、動作させる構成要素の組を選択して制御するとよい。
【００４５】
データ判別部116における判別機能を説明すると、データ判別部116は、高感度画素データ134と演算結果のデータ132との差分した絶対値を求め、この絶対値と所定の閾値とを比較する。
【００４６】
なお、本実施例では、差分絶対値を求めるようにしたが、簡単化する場合、単に差分だけでもよい。
【００４７】
所定の閾値は、マップデータの値として”1”および”0”のいずれにするかを判断する値である。所定の閾値より絶対値が大きい場合、データ判別部116は、再現不能と判断して、該当する画素データに対してマップデータ”1”を設定し、低感度画素データ136を圧縮／伸長処理部84の端子140に出力する。また、絶対値が所定の閾値以下の場合、データ判別部116は、マップデータ”0”を設定し、低感度画素データを削除する。したがって、この場合、マップデータだけが圧縮／伸長処理部84に出力される。このとき、低感度画素データのそれぞれに対応する高感度画素データ134は、圧縮／伸長処理部84に供給されている。
【００４８】
データ作成部90は、再生のうち、記録したRAWモードのデータを基に記録したデータを再現する機能を有している。本実施例でデータ作成部90は、伸長したマップデータが”0”に対応する高感度画素データを用いて、高感度画素データを固体撮像素子40の受光素子42に設定された感度比で除算する。データ作成部90は、除算結果のデータを低感度画素データとして出力する。また、データ作成部90は、マップデータに”1”が供給された場合、この位置に対して記録されていた低感度画素データを出力する。各種の復元方法はさらに後段で説明する。
【００４９】
なお、信号処理部18には、図１および図２に示すように、システム制御部20から制御信号98が供給されている。信号処理部18の図示しない信号発生回路も制御信号98に応動して動作する。信号発生回路は、PLL（Phase Locked Loop）回路を有し、VCO（Voltage Controlled Oscillator）で発生させた源発の発振周波数を基準クロックとし、この基準クロックをPLL回路で逓倍することにより、複数種類の周波数を生成している。信号発生回路は、生成したクロック信号を、図示しないがシステム制御部20およびタイミング信号発生器24に出力している。
【００５０】
一方、信号処理部18には、タイミング信号発生器24からタイミング信号142が供給されている。このタイミング信号は、水平同期信号HD、垂直同期信号VDおよび後述する各部の動作クロック等を含んでいる。
【００５１】
図２に戻って、システム制御部20は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU（Central Processing Unit）である。 システム制御部20は、広ダイナミックレンジ（DR: Dynamic Range）判定機能部144を含んでいる。システム制御部20は、操作部22から供給されるモード信号146に応じてディジタルカメラ10を静止画撮影モード、動画撮影モードを設定するだけでなく、記録や再生の設定やRAWモードの設定にもカメラ全体を対応して制御する。システム制御部20は、この設定するモード信号146と、図示しないレリーズシャッタボタンから撮像タイミングを報知するトリガ信号148とを受けて、撮像部14で測光し、この測光により得られた画像データ64に対して補正処理された画素データ100を信号処理部18から入力する。
【００５２】
広DR判定機能部144には、絞り値・シャッタ速度を算出する演算回路が含まれている。広DR判定機能部144は、供給される画像データ100を基に輝度分布の演算処理により測光の評価値を算出する。測光の評価値は、単に積算値を示す場合もあれば、評価関数の値を示す場合もある。測光の評価値は、積算値や評価関数の値を用いてシーンの特性判別を行っている。広DR判定機能部144は、シーンの特性判別において算出した測光評価値と所定の閾値とを比較し、絞り値・シャッタ速度および被写界のシーンに対して広ダイナミックレンジ化を行うか否かを判断する。
【００５３】
広DR判定機能部144は、システム制御部20への配設に限定することなく、信号処理部18に配設するようにしてもよい。この場合、信号処理部18は、ガンマ補正した画像データ100でなく、演算により算出した積算値100をシステム制御部20に供給することになる。
【００５４】
システム制御部20は、広DR判定機能部144での絞り値・シャッタ速度および判断結果に応じた制御信号98, 150, 152をそれぞれ生成する。生成した制御信号98, 150, 152は、システム制御部20により信号電荷読出しを一つの受光素子42に対する独立読出し制御および混合読出し制御のいずれかに応じて生成されている。これら制御信号98, 150, 152は、それぞれ、信号処理部18、タイミング信号発生器24およびドライバ26に供給される。システム制御部20は、信号処理部18内におけるライン補間や信号発生回路に対する制御、および信号処理を行う上での制御をも考慮した制御信号98を生成するとよい。また、図示しないが、システム制御部20は、前処理部16、ストレージ30における読出し／書込み制御も行っている。
【００５５】
操作部22には、図示しないが、モード選択部およびレリーズシャッタボタンが含まれている。モード選択部は、静止画撮影モード／動画撮影モードの動作選択、記録モード／再生モードの選択とともに、選択したモードを通常処理モードとRAWモードのいずれかを選択し、モード信号146として信号処理部18およびシステム制御部20にそれぞれ出力する。モード選択スイッチ92, 94, 96が配設していない場合、信号処理部18へのモード信号146の供給は不要である。
【００５６】
また、レリーズシャッタボタンは、２段階のストロークを有するボタンで、第１段のストロークでディジタルカメラ10を予備撮像の段階（S1)にし、第２段のストロークで本撮像の段階（S2)にするトリガ信号148をシステム制御部20に出力する。操作部22には、この他、ズーム選択スイッチおよび十字ボタンを設けてもよく、液晶表示パネルに表示される条件を選択する機能を持たせてもよい。
【００５７】
タイミング信号発生器24は、信号処理部18から供給されるクロック信号（図示せず）を基準にシステム制御部20から供給される制御信号150に応じてドライバ26に供給するタイミング信号154を生成する。タイミング信号154は、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号、水平転送信号および電子シャッタパルスを含む。タイミング信号発生器24は、この他、前述したCDSパルス60および変換クロック信号62等も生成している。
【００５８】
タイミング信号発生器24は、本実施例において広ダイナミックレンジ化と通常の処理とにそれぞれ対応した信号電荷読出しを行わせるため、フィールドシフトパルスを独立読出し制御と混合読出し制御に応じて異なるタイミングと同時タイミングで供給するように生成している。
【００５９】
ドライバ26は、供給されるタイミング信号154や制御信号152を基に駆動信号32〜36, 56を生成する駆動回路を有している。ドライバ26は、制御信号152を基に駆動信号32, 34を光学系12の光学レンズおよび絞り調節機構にそれぞれ供給してAF調節やAE調節を行わせる。ドライバ26は、レリーズシャッタボタンから供給される本撮像のタイミングに応動してメカニカルシャッタの開閉を行う駆動信号36をメカニカルシャッタに出力する。また、ドライバ26は、タイミング信号154を基に生成した駆動信号56を固体撮像素子40に供給し、各受光素子42の主感光領域48と従感光領域50に信号電荷を露光期間中に蓄積させ、蓄積した信号電荷を前述した条件に応じた制御により独立または同時に垂直転送レジスタ44に読み出して、水平転送レジスタに転送させ、さらに水平転送レジスタ、出力アンプを経てアナログ電圧信号58を出力している。
【００６０】
モニタ28には、信号処理部18からの画像データ104が供給される。モニタ28には、一般的に液晶モニタが用いられる。液晶モニタには、液晶表示コントローラが配設されている。液晶コントローラは、画像データ104を基に液晶分子の並び方や電圧の印加によりスイッチング制御している。この制御により液晶モニタは、画像を表示する。モニタ28は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば十分に用いることができることは言うまでもない。
【００６１】
ストレージ30は、半導体メモリ等を記録媒体として用いて、信号処理部18から供給される画像データ102を記録する。記録媒体には、光ディスクや光磁気ディスク等を用いてもよい。ストレージ30は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み／読出しを行う。データの書込み／読出しは、図示しないがシステム制御部20の制御に応じて行われる。
【００６２】
ディジタルカメラ10は、図１の構成で、RAWモードの高感度画素データおよび低感度画素データのうち、本実施例では高感度画素データの一部をマップデータを基に処理したデータで置き換えて、高感度画素データの一部に対応する低感度画素データを削減して記録することにより、生の画像における高感度画素データと低感度画素データの記録容量をほぼロスすることなく、抑制することができる。また、本実施例ではシーンに依存するが、RAWモードでの記録容量の低減は、このモードでの撮影間隔の短縮にも有効である。すなわち、連写に有効である。ただし、置き換える処理したデータは、本実施例の場合、高感度画素データと同じ程度のデータであるから、置換処理は行わずに済む。
【００６３】
次にディジタルカメラ10におけるRAWモードの記録処理についてより具体的に説明する。図５に示す数値は、たとえば、撮像部14に左端の黒レベルから右端まで徐々に入射光量が増加する画像をとり込んだ際の固体撮像素子40の一部を示すものであり、主感光領域48と従感光領域50とに分割された受光素子42のそれぞれが生成する信号電荷量を便宜上、ディジタル表示したものである。太線で囲んだそれぞれが一つの受光素子42に対応している。また、受光素子42の上段は高感度画素データであり、下段は低感度画素データを示している。
【００６４】
主感光領域48から読み出し、前処理部16の処理によって得られた高感度画素データが、画像メモリ66に供給される。画像メモリ66は、供給される制御信号98により動作が書込みイネーブル状態にされる。この状態を経て画像メモリ66には、図6(a)に示すように高感度画素データが格納される。この後、画像メモリ66の書込みイネーブル状態が書込み禁止状態にされる。次に従感光領域50から読み出し、前処理部16の処理によって得られた低感度画素データが、画像メモリ68に供給される。このとき画像メモリ68は、供給される制御信号98により動作が書込みイネーブル状態にされる。この状態を経て画像メモリ68には、図6(b)に示すように低感度画素データが格納される。
【００６５】
図１のモード選択スイッチ94は、RAWモードの記録であるから、切換信号112によりオン状態にされている。これに対して、モード選択スイッチ92, 96は、オフ状態に切換制御されている。RAWモードにおいてモード選択スイッチ94をオン状態にした後、画像メモリ66, 68は、制御信号98によりともに読出しイネーブル状態にされ、画素それぞれに対応した高感度画素データと低感度画素データとを順次読み出す。このとき低感度判別部88および圧縮／伸長処理部84が、制御信号98により動作状態にされる。
【００６６】
低感度判別部88は、供給される高感度画素データおよび低感度画素データを入力する。演算部120では、低感度画素データが高感度を有した場合に得られる高感度画素データを算出するため、低感度画素データにあらかじめ設定された感度補正係数、本実施例では4を乗算する。演算部120の演算結果のデータ132は、図７に示す通りである。演算部120は、データ132をデータ判別部116に出力する。データ判別部116には、データ132の他、画像メモリ66, 68からそれぞれ読み出された高感度画素データ134と低感度画素データ136が供給されている。データ判別部116は、高感度画素データ134とデータ132とを比較する。この比較にあたりデータ判定部116は、高感度画素データ134とデータ132との差分を求め、この差分の絶対値を画素毎に算出する。データ判定部116は、算出した絶対値とあらかじめ設定した閾値とを比較する。絶対値が閾値以下の場合、高感度画素データから低感度画素データの再現が可能と判断してマップデータ”0”だけを圧縮／伸長処理部84の端子140に出力する。また、絶対値が閾値より大きい場合、高感度画素データから低感度画素データの再現が不可能と判断してマップデータ”1”を生成し、供給された低感度画素データ136も圧縮／伸長処理部84の端子140に出力する。
【００６７】
ここで、図6(a)の高感度画素データと図７のデータ132とを比較する。太線で囲んだ図6(a)の領域156と図７の領域158の画素データは、ほぼ同じ値を示している。圧縮／伸長処理部84には、上述した関係を基に図８に示す高感度画素データ134、データ判別部116から低感度画素データおよびマップデータを含むデータ138が供給される。本実施例では、埋込み条件に応じて低感度画素データと感度補正係数との乗算結果を記録してもよいが、高感度画素データ134を基本データとしてすべて記録することから、埋込み処理を行わずに済ませることができる。圧縮／伸長処理部84は、高感度画素データ134とデータ138をスルー出力したり、データ138のうち、マップデータに対して可逆的な圧縮処理を施してもよい。圧縮／伸長処理部84は、高感度画素データ134とデータ138を記録データとしてストレージ30に供給して一つのファイルとして記録する。
【００６８】
このように記録することにより、高感度画素データと感度に関して線形な関係にある低感度画素データの記録が削減され、ストレージ30に記録する生の記録データ容量を抑制することができる。圧縮／伸長処理部84は、マップデータに対してランレングス符号を施して記録すると、記録量を少なくすることができる。
【００６９】
次にRAWモードでストレージ30に記録したデータを再生する場合を説明する。ユーザは操作部22のモード選択部を再生モードに設定する。操作部22は、この設定に応じた切換信号106, 122の供給によりモード選択スイッチ92, 96をオン状態にする。また、モード選択スイッチ94は、切換信号112によりオフ状態に切り換える。ストレージ30から読み出したファイルを圧縮／伸長処理部84に供給する。圧縮／伸長処理部84は、供給されたファイルがRAWモードの記録データであるか否かを判断する。この判断が真のとき、圧縮／伸長処理部84は、システム制御部20にRAWモードを示すステータスを送る。システム制御部20は、このステータスを受けて、オフ状態にする切換信号106をモード選択スイッチ92に供給する。また、RAWモードでない、通常の再生データと判断されたとき（偽）、圧縮／伸長処理部84は、システム制御部20に通常の再生処理モードを示すステータスを送る。システム制御部20は、このステータスを受けて、オフ状態にする切換信号122をモード選択スイッチ96に供給する。
【００７０】
圧縮／伸長処理部84は、RAWモードの記録データ102が供給された場合、可逆圧縮されたマップデータに対して伸長処理を施して復元する。圧縮／伸長処理部84は、図８に示す記録データとして高感度画素データ134と、低感度画素データおよびマップデータを含むデータ138とをそれぞれ、データ作成部90に供給する。圧縮／伸長処理部84およびデータ作成部90だけが制御信号98により動作イネーブル状態に制御されている。
【００７１】
データ作成部90は、供給された高感度画素データを感度補正係数で除算する。感度補正係数は、従感光領域50を主感光領域48と同じ感度に補正するための係数である。この除算は、補正がほぼ線形関係にある低感度画素データを算出している。データ作成部90は、算出した低感度画素データのうち、マップデータを基に実際に線形関係にある画素を抽出する。抽出する領域は、図８のマップデータが”0”を示している領域である。低感度画素データ136は、図８の低感度画素データとマップデータ”0”に対応して抽出した領域160とをそれぞれの画素として合わせて図９に示すように低感度画素データが復元される。
【００７２】
このように動作させることにより、一つの受光素子42を複数に分割して得られた画素データをRAWモードで記録する場合、感度と線形関係にある画素データに着目して復元可能性を判断しながら、マップデータを作成し、この判断において復元不能な低感度画素データと復元の基となる高感度画素データならびにマップデータを記録することにより、記録量を抑えることができ、再生においてもマップデータの”0”に対応する高感度画素データに補正を施して得られた低感度画素データと復元不能な低感度画素データとの画素位置に割り当てて低感度画素データを復元することができる。
【００７３】
次に本発明を適用したディジタルカメラ10の変形例を説明する。基本的な構成が、先の実施例と同じ構成要素には同じ参照番号を付して、説明の煩雑さを避けるため説明を省略する。先の実施例が高感度画素データを記録データにおける基本データに用いていた。これに対して、本実施例は、基本データを低感度画素データにする。図10に示す信号処理部18は、図１と比べて配線を削減する。圧縮／伸長処理部84への入力を入力端110の一つに集約する。これにともないデータ作成部90は、一入力になる。また、データ作成部90はモード選択スイッチ96の入力端124と接続して高感度画素データが供給されるようにしている。
【００７４】
この構成における動作について説明する。図11に示す低感度画素データ136が演算部120に供給される。演算部120では、供給された低感度画素データ136のそれぞれに感度補正係数を乗算する。演算部120は、図11に示す乗算結果であるデータ132を補正演算データとしてデータ判別部116に供給する。データ判別部116は、供給される高感度画素データ134とデータ132とを比較する。このとき、データ判別部116は高感度画素データ134とデータ132との差分絶対値を算出し、画素それぞれの差分絶対値と所定の閾値とを比較する。差分絶対値が所定の閾値以下の画素に対してマップデータ”0”を割り当て、これ以外の画素にはマップデータ”1”を割り当てる。具体的に比較すると、補正演算データの領域162と高感度画素データ134の領域164は、ほぼ等しい値を有していることがわかる。
【００７５】
データ判別部116は、低感度画素データを基に記録データとマップデータを含むデータ138を生成して圧縮／伸長処理部84に出力する。データ138を図12に示す。記録データは、マップデータが”0”の画素位置には図11の補正演算データが割り当てられ、マップデータが”1”の画素位置には図11の低感度画素データが割り当てられている。記録データは、低感度画素データを基に記録していることから、先の実施例における高感度画素データに比べてデータ量が少なく済む。具体的に記録データの記録量は、シーンに関わらず、高感度画素データおよび低感度画素データを記録する場合のデータ数に対して半分になる。この場合の記録データは、受光素子を分割しない、一つの画素データをRAWモードで記録するデータ量とほぼ同じになる。本実施例のように一つの受光素子を複数に分割して得られるRAWモードの記録において有効である。データ判別部116は、作成したデータ138を圧縮／伸長処理部84に供給する。以後の処理は先の実施例に同じである。これにより、ディジタルカメラ10は、連写の撮影間隔をこれまでの画素分割しない受光素子によるRAWモード記録と同程度にすることができる。
【００７６】
次にRAWモードの記録データを基に高感度画素データおよび低感度画素データの再生を説明する。ここで、受光素子42の主感光領域48と従感光領域50を同じ感度の材料で構成し、両感光領域の面積の大きさで感度差を持たせているので、受光素子に同じ入射光量が入射すると、面積に比例した信号電荷が得られる。この関係に基づいてマップデータが作られている。高感度画素データおよび低感度画素データの復元は、この関係を利用して行う。
【００７７】
圧縮／伸長処理部84は、伸長処理されたデータ138をデータ作成部90に供給する。データ作成部90には、図13(a)に示す記録データが供給される。データ作成部90は、図12に示すマップデータを基に”1”の領域166に位置する低感度画素データに感度補正係数（=4）を乗算する。これにより、低感度画素データは、図13(b)に示す数値の記録データになる。データ判別部90は、この記録データに対して本実施例が扱う設定ビット、たとえば12ビットの数値（4095）より大きい数値を設定ビットの最大値に置換する。この置換処理を”ビットオーバーフロー処理”という。この処理により、図14に示すように高感度画素データが復元される。
【００７８】
また、低感度画素データの復元は、図15(a)に示すマップデータ”0”を基に図15(b)の領域168内の画素データを感度補正係数で除算する。これにより、図15(c)に示す低感度画素データが復元される。
【００７９】
このように動作させると、先の実施例よりも記録量を抑制した記録と、この記録に対応した再生を行うことができる。
【００８０】
さらに、信号処理部18は、図10と構成を同じにしながら、別な処理を施して記録をた低感度判定部88の演算部120を省略するように構成してもよい。演算部120は、マップデータを作成するためにデータ132をデータ判定部116に供給する。データ判定部116は、図16(a)に示す高感度画素データと図16(b)に示す低感度画素データを基に記録データを生成する。記録データは、高感度画素データが飽和している領域170に対応する領域172の低感度画素データで置換して図16(c)の記録データを生成する。また、データ判定部116は、前述したようにデータ132と高感度画素データとを比較してマップデータを生成する。データ判別部116は、データ138として記録データおよびマップデータを圧縮／伸長処理部84に供給し、ストレージ30に記録する。この場合も、RAWモードでの記録データは、シーンに依存することなく、高感度画素データおよび低感度画素データを記録する場合に比べて半分にすることができる。
【００８１】
ストレージ30から読み出して再生する場合、圧縮／伸長処理部84を介してデータ作成部90に図16(c), (d)のデータ138が供給される。データ作成部90は、記録データを基に図16(d)のマップデータのうち、”0”の画素データをそのままにして、一方、マップデータ”1”に対応する領域174は、ブランクにする（図17(a)を参照）。このブランクには、設定ビットの最大値、すなわち飽和値を代入する。これにより、図17(b)に示すように高感度画素データが得られる。
【００８２】
また、低感度画素データは、図18(a), (b)のデータ138を用いて生成する。この生成手順は、前述した処理と同じで、マップデータ”0”に対応する記録データを感度補正係数で除算する。この演算により、図18(c)に示す低感度画素データが復元される。
【００８３】
このように動作させても生の記録量を抑制して記録することができ、再生においてもマップデータを基に各領域から得られた画素データを正確に復元することができる。
【００８４】
なお、本発明は、ディジタルカメラ10における記録および再生の実施例を説明したが、本実施例に限定されることなく、記録および再生のいずれかを行う画像記録装置や画像再生装置等に適用してもよいことは言うまでもない。
【００８５】
以上のように構成することにより、ディジタルカメラ10は、RAWモードの記録において低感度判別部88の演算部120での演算により低感度画素データに対する感度補正を施して、データ判別部116に供給し、データ判別部116で供給される乗算結果と高感度画素データとを比較して画素それぞれのマップデータを生成し、設定した基本データに対する埋込み条件およびマップデータに応じて画素データを削減し、この削減により生成された記録データおよびマップデータ138を出力することにより、単に一受光素子から生の画素データを一つ得て記録する場合に比べて高感度画素データと低感度画素データが得られることにより倍程度まで増加するデータ数を有する記録を、両画素データの関連性に応じて実際記録媒体に記録する記録量を大幅に低減することができ、記録量の低減に応じて撮影間隔を短くすることができる。
【００８６】
データ判別部116は、マップデータを演算部120で乗算した結果と供給される高感度画素データとの差分絶対値を生成し、この差分絶対値と所定の閾値とを比較して２値データを生成することにより、画素それぞれにおける高感度画素データと低感度画素データとの関連性がどのような関係にあるか知ることができる。
【００８７】
データ判別部116は、高感度画素データを基本データとして設定し、差分絶対値が所定の閾値以下の画素に対して関連データを埋め込む埋込み条件を用いて、埋込み条件に該当する低感度画素データを削除し、基本データ、削除して残った低感度画素データ、およびマップデータを出力することができる。この場合、埋込み条件に応じて低感度画素データと感度補正係数との乗算結果を記録してもよいが、高感度画素データ134を基本データとしてすべて記録することから、埋込み処理を行わずに済ませてもよい。
【００８８】
また、データ判別部116は、低感度画素データを基本データとして設定し、差分絶対値が所定の閾値以下の画素に対する埋込み条件を用いて、埋込み条件に該当する高感度画素データを基本データの該当する画素位置に埋め込んだ記録データを生成し、記録データおよびマップデータを出力したり、高感度画素データを基本データとして設定し、この基本データの飽和レベル以上にあることを埋込み条件とし、この埋込み条件に該当する画素位置に低感度画素データを埋め込んで記録データを生成し、記録データおよびマップデータを出力することにより、シーンに依存することなく、記録するデータ数を両画素データの記録に比べて半分に抑制することができる。
【００８９】
ディジタルカメラ10は、低感度判別部88に高感度画素データと低感度画素データとを供給するタイミングを同時と限定することなく、画素の関連性を損なわずに供給されるならば、異なるタイミングで供給してもよい。
【００９０】
信号処理部18においてデータ作成部90は、RAWモードで記録した記録データおよびマップデータを入力し、このマップデータの値に応じて高感度画素データおよび低感度画素データの、少なくとも一方に対して復元処理を施して生の画素データすべてを再生することにより、記録前に得られていた画素データを損失なく復元することができる。
【００９１】
データ作成部90は、基本データとして設定した高感度画素データのうち、埋込み条件に該当する、マップデータ”0”に対応する高感度画素データを感度補正係数で除算して、この高感度画素データに該当する低感度画素データを生成し、データ作成部90に供給される、残った低感度画素データと合わせて低感度画素データを復元することにより、高感度画素データおよび低感度画素データを損失なく、復元することができる。
【００９２】
また、データ作成部90は、記録データおよびマップデータを入力し、このマップデータのうち、差分絶対値が所定の閾値より大きいことを示す、マップデータ”1”に対応する記録データに感度補正係数を乗算し、あらかじめ設定したビットの最大値以上の値を示す乗算結果のすべてに対して該最大値を割り当てるオーバーフロー処理を施して、マップデータのうち、差分絶対値が所定の閾値画素以下を示すマップデータ”0”に対応する記録データと割当処理結果とを合わせて高感度画素データを復元し、マップデータのうち、差分絶対値が所定の閾値画素以下を示すマップデータ”0”に対応する記録データに対して感度補正係数で除算し、この除算結果と差分絶対値が所定の閾値より大きいことを示す、マップデータ”1”に対応する記録データ（すなわち、基本データ）とを合わせて低感度画素データを復元することにより、高感度画素データおよび低感度画素データを損失なく、復元することができる。
【００９３】
さらに、データ作成部90は、記録データおよびマップデータを入力し、マップデータのうち、埋込み条件が満たされることを示す値”1”に対してあらかじめ設定したビットの最大値を割り当てて、残る記録データと合わせることにより、高感度画素データを復元し、マップデータのうち、埋込み条件が満たされることを示す値”1”に対応する記録データと、埋込み条件から外れたことを示す値”0”に対する記録データを感度補正係数で除算した、この除算結果とを合わせることにより、低感度画素データを復元することにより、高感度画素データおよび低感度画素データを損失なく、復元することができる。
【００９４】
本発明の画像記録方法をディジタルカメラ10に適用して、一画素のうち、高感度画素データおよび該画素データより低い感度の画素データの、少なくとも一方に対して画素データの削減を施し、この削減処理において、あらかじめ、感度補正係数を設定し、低感度画素データに感度補正係数を乗算し、この乗算した結果と高感度画素データとの差分絶対値を生成し、この差分絶対値と所定の閾値とを比較して、この所定の閾値を境界として比較対象の画素に２値データを割り当てたマップデータを生成し、高感度画素データおよび低感度画素データのいずれかを基本データに設定して、この基本データに対する埋込み条件およびマップデータに応じて画素データを削減した記録データを生成して、この記録データおよびマップデータを出力することにより、単に一受光素子から生の画素データを一つ得て記録する場合に比べて高感度画素データと低感度画素データが得られることにより倍程度まで増加するデータ数を有する記録を、両画素データの関連性に応じて実際記録媒体に記録する記録量を大幅に低減することができ、記録量の低減に応じて撮影間隔を短くすることができる。
【００９５】
ディジタルカメラ10における画像記録方法は、高感度画素データを基本データとして設定し、差分絶対値が所定の閾値以下であることを埋込み条件とし、この埋込み条件に該当する低感度画素データを削除し、基本データ、削除して残った低感度画素データ、およびマップデータを出力することにより、シーンの依存性を有するが、両感度の画素データすべての記録に比べて記録量を削減することができる。
【００９６】
また、この画像記録方法は、低感度画素データを基本データとして設定し、差分絶対値が所定の閾値以下であることを埋込み条件とし、この埋込み条件に該当する高感度画素データを基本データの該当する画素位置に埋め込んだ記録データを生成し、記録データおよびマップデータを出力したり、高感度画素データを基本データとして設定し、この基本データの飽和レベル以上にあることを埋込み条件とし、この埋込み条件に該当する画素位置に低感度画素データを埋め込んで記録データを生成し、記録データおよびマップデータを出力することにより、シーンに依存することなく、両感度の画素データすべての記録に比べて記録量を半分に削減することができる。
【００９７】
画像記録方法では、高感度画素データと低感度画素データとを異なるタイミングで供給してもよい。
【００９８】
ディジタルカメラ10の画像記録方法に対する画像再生方法は、記録データおよびマップデータを読み出して、このマップデータの値に応じて高感度画素データおよび低感度画素データの、少なくとも一方に対して復元処理を施すことにより、高感度画素データおよび低感度画素データをすべて損失なく、復元することができる。
【００９９】
この画像再生方法は、記録時に基本データとして設定した高感度画素データのうち、埋込み条件に該当する高感度画素データを感度補正係数で除算して、この高感度画素データに該当する低感度画素データを生成し、この生成した低感度画素データと記録時に記録した低感度画素データとを合わせてほぼ完全な前記低感度画素データを復元することにより、すべて損失なく、復元することができる。
【０１００】
また、この画像再生方法は、記録データおよびマッピングデータを入力し、このマップデータのうち、差分絶対値が所定の閾値より大きいことを示すマップデータ”1”に対応する記録データに対して感度補正係数を乗算し、あらかじめ設定したビットの最大値以上の値を示す乗算結果のすべてに対してこの最大値の割当処理を施して、マップデータのうち、差分絶対値が所定の閾値画素以下を示すマップデータ”0”に対応する記録データと割当処理結果とを合わせて高感度画素データを復元し、マップデータのうち、差分絶対値が所定の閾値画素以下を示すマップデータ”0”に対応する記録データに対して感度補正係数で除算し、この除算結果と差分絶対値が所定の閾値より大きいことを示すマップデータ”1”に対応する記録データとを合わせて低感度画素データを復元することにより、半分のデータから高感度画素データおよび低感度画素データをすべて損失なく、復元することができる。
【０１０１】
さらに、この画像再生方法は、記録データおよびマップデータを入力し、このマップデータのうち、埋込み条件が満たされることを示す値”1”に対してあらかじめ設定したビットの最大値を割り当てて、残る記録データと合わせて、高感度画素データを復元し、マップデータのうち、埋込み条件が満たされることを示す値”1”に対応する前記記録データと、埋込み条件から外れたことを示す値”0”に対する記録データを感度補正係数で除算した、この除算結果とを合わせて、低感度画素データを復元することにより、半分のデータから高感度画素データおよび低感度画素データをすべて損失なく、復元することができる。
【０１０２】
上述した固体撮像装置の画像再生方法は、画像記録装置を持たないが、画像記録の条件を踏まえた画像再生装置に適用できることは明らかである。
【図面の簡単な説明】
【０１０３】
【図１】本発明の固体撮像装置を適用したディジタルカメラにおける信号処理部の概略的な構成を示すブロック図である。
【図２】本発明の固体撮像装置を適用したディジタルカメラの概略的な構成を示すブロック図である。
【図３】図２のディジタルカメラにおける撮像部に用いる固体撮像素子の特徴を説明する要部平面図である。
【図４】図１の信号処理における広ダイナミックレンジ化の原理を説明するグラフである。
【図５】図２の固体撮像素子にある入射光を入射させて、各受光素子から得られる画素データを対応させた図である。
【図６】図１の画像メモリに格納される高感度画素データおよび低感度画素データをそれぞれ示す図である。
【図７】図１の演算部における低感度画素データと感度補正係数との乗算結果を示す図である。
【図８】図１の信号処理部がRAWモードで出力するデータを示す図である。
【図９】図８の高感度画素データおよびマップデータを基に復元される低感度画素データを示す図である。
【図１０】図１の信号処理部における変形例の概略的な構成を示すブロック図である。
【図１１】図10の低感度判別部に供給されるデータと、低感度判別部での手順に従って得られるデータを示す図である。
【図１２】図10の低感度判別部が生成する記録データおよびマップデータを示す図である。
【図１３】図12の記録データと、この記録データおよびマップデータを基に記録データに施した演算結果とを示す図である。
【図１４】図13の演算結果を基に復元された高感度画素データを示す図である。
【図１５】図10の記録データおよびマップデータと、これらのデータを基に復元された低感度画素データとを示す図である。
【図１６】図10の低感度判別部に供給されるデータと、低感度判別部での先の手順と異なる処理により得られるデータを示す図である。
【図１７】図16の記録データを基に生成した中間データと、復元された高感度画素データとを示す図である。
【図１８】図16の記録データおよびマップデータと、これらのデータを基に復元された低感度画素データとを示す図である。
【符号の説明】
【０１０４】
10  ディジタルカメラ
12  光学系
14  撮像部
16  前処理部
18  信号処理部
20  システム制御部
22  操作部
24  タイミング信号発生器
26  ドライバ
28  モニタ
30  ストレージ
66, 68  画像メモリ
84  圧縮／伸長処理部
88  低感度判別部
90  データ作成部
92, 94, 96  モード選択スイッチ
116  データ判別部
120  演算部
【図１】
2008263650.tif 000003
【図２】
2008263650.tif 000004
【図３】
2008263650.tif 000005
【図４】
2008263650.tif 000006
【図５】
2008263650.tif 000007
【図６】
2008263650.tif 000008
【図７】
2008263650.tif 000009
【図８】
2008263650.tif 000010
【図９】
2008263650.tif 000011
【図１０】
2008263650.tif 000012
【図１１】
2008263650.tif 000013
【図１２】
2008263650.tif 000014
【図１３】
2008263650.tif 000015
【図１４】
2008263650.tif 000016
【図１５】
2008263650.tif 000017
【図１６】
2008263650.tif 000018
【図１７】
2008263650.tif 000019
【図１８】
2008263650.tif 000020