(57)【要約】  【目的】  偽信号の発生を未然に防止する。  【構成】  ＣＣＤには高感度用のフォトダイオード２と低感度用のフォトダイオード３とが多数配列されている。低感度用のフォトダイオード３に蓄積された信号電荷があたかも高感度用フォトダイオード２に蓄積されたかのように，低感度用のフォトダイオード３に蓄積された信号電荷にもとづいて得られる低感度画像データについて位相ずれ補正が行われる。位相ずれ補正が行われた低感度画像データと高感度用のフォトダイオード２に蓄積された信号電荷にもとづいて得られる高感度画像データとが被写体輝度に応じた合成比率で合成される。被写体像の明るさに応じて合成比率が変わって合成させられると，合成後の画像を表わす位置Ｌが被写体像の明るさに依存してしまい，偽信号が発生するが，あらかじめ位相ずれ補正が行われた後に合成処理が行われるので偽信号の発生が防止される。  【選択図】      図２
2005167532.tif 000002
【特許請求の範囲】
【請求項１】
高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を含み，被写体を撮像することにより上記高感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて高感度画像データを出力し，上記低感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて低感度画像データを出力する撮像手段，
上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように，上記撮像手段から出力された高感度画像データおよび低感度画像データのうち少なくとも一方の画像データの位相ずれ補正を行う位相補正手段，
上記位相補正手段において位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを出力する合成手段，ならびに
上記合成手段から出力された合成画像データを記録媒体に記録する記録制御手段，
を備えた広ダイナミック・レンジ撮像装置。
【請求項２】
上記撮像手段から出力された低感度画像データのノイズを低減するノイズ低減処理手段，
をさらに備えた請求項１に記載の広ダイナミック・レンジ撮像装置。
【請求項３】
上記位相補正手段が，上記ノイズ低減処理手段を用いて低感度画像データについて位相補正を行うものである，
請求項２に記載の広ダイナミック・レンジ撮像装置。
【請求項４】
垂直方向または水平方向に隣接している上記高感度画素用のフォトダイオードと上記低感度画素用のフォトダイオードとのそれぞれの受光面上に同色の光成分を透過する特性を有するカラー・フィルタが形成されている，
請求項１に記載の広ダイナミック・レンジ撮像装置。
【請求項５】
垂直方向に隣接している低感度用フォトダイオードと高感度用のフォトダイオードとのうち，垂直方向の上側に存在する低感度用フォトダイオードと垂直方向の下側に存在する高感度用フォトダイオードとのそれぞれの受光面上に同色の光成分を透過する特性を有するカラー・フィルタが形成されている，
請求項１に記載の広ダイナミック・レンジ撮像装置。
【請求項６】
受光面前方に光学ロウ・パス・フィルタが設けられ，かつ高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を用いて被写体を撮像することにより得られた高感度画像データと低感度画像データと上記光学ロウ・パス・フィルタの分離特性を表すデータとが記録されている記録媒体から，上記高感度画像データ，上記低感度画像データおよび上記分離特性を表すデータを読み取る読取手段，
上記読取手段によって読み取られた上記分離特性データにもとづいて，上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように位相ずれ補正を行う必要があるかどうかを判定する判定手段，
上記判定手段により，位相ずれ補正を行う必要があると判定されたことに応じて，上記読取手段によって読取られた高感度画像データおよび低感度画像データのうち少なくとも一方の画像データについて上記位相ずれ補正を行う位相補正手段，ならびに
上記位相補正手段において位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを出力する合成手段，
を備えた画像データ再生装置。
【請求項７】
高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を含む撮像手段を用いて被写体を撮像することにより，上記高感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて高感度画像データを得，上記低感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて低感度画像データを得，
上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように，上記撮像手段から得られた高感度画像データおよび低感度画像データのうち少なくとも一方の画像データの位相ずれ補正を行い，
位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを得，
得られた合成画像データを記録媒体に記録する，
広ダイナミック・レンジ撮像装置の制御方法。
【請求項８】
受光前方に光学ロウ・パス・フィルタが設けられ，かつ高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を用いて被写体を撮像することにより得られた高感度画像データと低感度画像データと上記光学ロウ・パス・フィルタの分離特性を表すデータとが記録されている記録媒体から，上記高感度画像データ，上記低感度画像データおよび上記分離特性を表すデータを読み取り，
読み取られた上記分離特性データにもとづいて，上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように位相ずれ補正を行う必要があるかどうかを判定し，
位相ずれ補正を行う必要があると判定されたことに応じて，上記記録媒体から読取られた高感度画像データおよび低感度画像データのうち少なくとも一方の画像データについて上記位相ずれ補正を行い，
位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを得る，
画像データ再生装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は，広ダイナミック・レンジ撮像装置および画像データ再生装置ならびにそれらの制御方法に関する。
【背景技術】
【０００２】
低感度撮像素子部と高感度撮像素子部とを含む撮像素子を用いて被写体を撮像し，低感度撮像素子部から得られる映像信号と高感度撮像素子部から得られる映像信号とを，対応する低感度画素と高感度画素との組ごとに合成することにより，ダイナミック・レンジの広い画像を得ることができる高品質ビデオカメラが提案されている（特許文献１参照）。しかしながら，このようなビデオ・カメラは次に述べるような問題を内包している。
【特許文献１】特公平８−34558号公報
【０００３】
図14（Ａ）から（Ｃ）は，高感度画素と低感度画素とを示している。
【０００４】
図14（Ａ）に示すように，高感度画素２に蓄積された信号電荷から得られる高感度映像信号と低感度画素３に蓄積された信号電荷から得られる低感度映像信号とが２：１の合成比率で合成された場合，合成後の映像信号の位相は高感度画素２と低感度画素３との間において高感度画素寄りの位相L1となる。得られた合成後の映像信号は位相L1の位置でサンプリングされたものと等価となる。
【０００５】
図14（Ｂ）に示すように，高感度画素２に蓄積された信号電荷から得られる高感度映像信号と低感度画素３に蓄積された信号電荷から得られる低感度映像信号とが１：１の合成比率で合成された場合，合成後の映像信号の位相は高感度画素２と低感度画素３との間の中間の位相L2となる。得られた合成後の映像信号は位相L2の位置でサンプリングされたものと等価となる。
【０００６】
図14（Ｃ）に示すように，高感度画素２に蓄積された信号電荷から得られる高感度映像信号と低感度画素３に蓄積された信号電荷から得られる低感度映像信号とが１：２の合成比率で合成された場合，合成後の映像信号の位相は高感度画素２と低感度画素３との間において低感度画素寄りの位相L3となる。得られた合成後の映像信号は位相L3の位置でサンプリングされたものと等価となる。
【０００７】
このように，低感度画素と高感度画素との組ごとに低感度撮像素子部から得られる映像信号と高感度撮像素子部から得られる映像信号とを合成する場合には，合成後の映像信号によって表わされる画素はその合成比率に応じた位相（位置）でサンプリングされたものと等価とされる。
【０００８】
適切なダイナミック・レンジが得られるように，被写体輝度に応じて低感度撮像素子部から得られる映像信号と高感度撮像素子部から得られる映像信号との合成比率が変えられることが多い。被写体輝度に依存して合成比率が変わることとなるから，被写体像の明るい部分と暗い部分とによって高感度画素と低感度画素とサンプリング位置との位置関係が変わることとなる。このために偽信号が発生する怖れがある。
【発明の開示】
【０００９】
この発明は，偽信号の発生を未然に防止することを目的とする。
【００１０】
第１の発明による広ダイナミック・レンジ撮像装置は，高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を含み，被写体を撮像することにより上記高感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて高感度画像データを出力し，上記低感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて低感度画像データを出力する撮像手段，上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように，上記撮像手段から出力された高感度画像データおよび低感度画像データのうち少なくとも一方の画像データの位相ずれ補正を行う位相補正手段，上記位相補正手段において位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを出力する合成手段，ならびに上記合成手段から出力された合成画像データを記録媒体に記録する記録制御手段を備えていることを特徴とする。
【００１１】
第１の発明は，上記広ダイナミック・レンジ撮像装置に適した制御方法も提供している。すなわち，この方法は，高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を含む撮像手段を用いて被写体を撮像することにより，上記高感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて高感度画像データを得，上記低感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて低感度画像データを得，上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように，上記撮像手段から得られた高感度画像データおよび低感度画像データのうち少なくとも一方の画像データの位相ずれ補正を行い，位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを得，得られた合成画像データを記録媒体に記録するものである。
【００１２】
第１の発明によると，固体電子撮像素子には，高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている。高感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて固体電子撮像素子から高感度画像データが出力され，低感度画素用のフォトダイオードに蓄積された信号電荷にもとづいて固体電子撮像素子から低感度画像データが出力される。高感度画素用のフォトダイオードに蓄積された信号電荷と低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように，高感度画像データおよび低感度画像データのうち少なくとも一方の画像データの位相ずれ補正が行われる。
【００１３】
位相ずれ補正が行われると，位相ずれ補正が行われた画像データを用いて被写体輝度に応じて合成比率が変えられて高感度画像データと低感度画像データとの合成が行われる。位相ずれ補正が高感度画像データおよび低感度画像データの両方について行われると，位相ずれ補正された両方の画像データを用いて合成処理が行われる。位相ずれ補正が高感度画像データまたは低感度画像データのいずれか一方について行われると，位相ずれ補正が行われた画像データと位相ずれ補正が行われていない画像データとを用いて合成処理が行われる。いずれにしても合成画像データが記録媒体に記録される。
【００１４】
第１の発明によると，高感度画素用のフォトダイオードに蓄積された信号電荷と低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように位相ずれ補正が行われた画像データを用いて合成処理が行われるので，高感度画素と低感度画素とサンプリング位置（合成後の画像データによって表わされる画素の位置）とが被写体輝度に依存することなく一致する。偽信号の発生を未然に防止することができる。
【００１５】
上記撮像手段から出力された低感度画像データのノイズを低減するノイズ低減処理手段をさらに備えるようにしてもよい。この場合，好ましくは，上記位相補正手段は，上記ノイズ低減処理手段を用いて低感度画像データについて位相補正を行うものとなろう。
【００１６】
また，たとえば，垂直方向または水平方向に隣接している上記高感度画素用のフォトダイオードと上記低感度画素用のフォトダイオードとのそれぞれの受光面上に同色の光成分を透過する特性を有するカラー・フィルタが形成されることとなろう。
【００１７】
垂直方向に隣接している上記高感度画素用のフォトダイオードと上記低感度画素用のフォトダイオードとのそれぞれの受光面上に同色の光成分を透過する特性を有するカラー・フィルタが形成されることにより，フォトダイオードに蓄積された信号電荷が撮像素子内において垂直方向に転送させられる場合であっても混色を防ぐことができるようになる。また，水平方向に隣接している上記高感度画素用のフォトダイオードと上記低感度画素用のフォトダイオードとのそれぞれの受光面上に同色の光成分を透過する特性を有するカラー・フィルタが形成されることにより，上記位相補正手段に垂直方向よりも水平方向に長いフィルタを用いることができる。水平方向に長いフィルタは垂直方向に長いフィルタよりも回路を小さくできるので，撮像装置の回路規模を小さくできる。
【００１８】
さらに，垂直方向に隣接している低感度用フォトダイオードと高感度用のフォトダイオードとのうち，垂直方向の上側に存在する低感度用フォトダイオードと垂直方向の下側に存在する高感度用フォトダイオードとのそれぞれの受光面上に同色の光成分を透過する特性を有するカラー・フィルタが形成されていることが好ましい。
【００１９】
低感度用フォトダイオードに蓄積される信号電荷の量よりも高感度用フォトダイオードに蓄積される信号電荷の量の方が多い。信号電荷が転送させられる場合，信号電荷の量が多いほど残留電荷が多くなり，混色が生じることとなる。低感度用フォトダイオードは高感度用フォトダイオードの上側に配置されているから，高感度用フォトダイオードに蓄積された信号電荷は転送時には低感度用フォトダイオードに蓄積された信号電荷と混ざることとなる。しかしながら，高感度用フォトダイオードに蓄積された信号電荷と低感度用フォトダイオードに蓄積された信号電荷とは同じ色成分なので混色が起きない。混色の発生を未然に防止できる。
【００２０】
第２の発明による画像データ再生装置は，受光面前方に光学ロウ・パス・フィルタが設けられ，かつ高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を用いて被写体を撮像することにより得られた高感度画像データと低感度画像データと上記光学ロウ・パス・フィルタの分離特性を表すデータとが記録されている記録媒体から，上記高感度画像データ，上記低感度画像データおよび上記分離特性を表すデータを読み取る読取手段，上記読取手段によって読み取られた上記分離特性データにもとづいて，上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように位相ずれ補正を行う必要があるかどうかを判定する判定手段，上記判定手段により，位相ずれ補正を行う必要があると判定されたことに応じて，上記読取手段によって読取られた高感度画像データおよび低感度画像データのうち少なくとも一方の画像データについて上記位相ずれ補正を行う位相補正手段，ならびに上記位相補正手段において位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを出力する合成手段を備えていることを特徴とする。
【００２１】
第２の発明は，上記画像データ再生装置に適した制御方法も提供している。すなわち，この方法は，受光前方に光学ロウ・パス・フィルタが設けられ，かつ高感度画素用のフォトダイオードと低感度画素用のフォトダイオードとが隣接して配置されている固体電子撮像素子を用いて被写体を撮像することにより得られた高感度画像データと低感度画像データと上記光学ロウ・パス・フィルタの分離特性を表すデータとが記録されている記録媒体から，上記高感度画像データ，上記低感度画像データおよび上記分離特性を表すデータを読み取り，読み取られた上記分離特性データにもとづいて，上記高感度画素用のフォトダイオードに蓄積された信号電荷と上記低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように位相ずれ補正を行う必要があるかどうかを判定し，位相ずれ補正を行う必要があると判定されたことに応じて，上記記録媒体から読取られた高感度画像データおよび低感度画像データのうち少なくとも一方の画像データについて上記位相ずれ補正を行い，位相ずれ補正された画像データを用いて，被写体輝度に応じて合成比率を変えて高感度画像データと低感度画像データとの合成を行い合成画像データを得るものである。
【００２２】
第２の発明によると，記録媒体に記録されている高感度画像データ，低感度画像データおよび光学ロウ・パス・フィルタの分離特性データが読み取られる。読み取られた分離特性データにもとづいて，高感度画素用のフォトダイオードに蓄積された信号電荷と低感度画素用のフォトダイオードに蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように，高感度画像データと低感度画像データとの位相ずれ補正を行う必要があるかどうかが判定される。必要があると判定されたことに応じて，位相ずれ補正が行われる。位相ずれ補正が行われた画像データを用いて被写体輝度に応じて合成比率が変えられて高感度画像データと低感度画像データとの合成が行われ，合成画像データが得られる。
【００２３】
第２の発明によると，位相ずれ補正が必要であると判定されることにより，上記位相ずれ補正が行われる。位相ずれ補正が行われることにより，偽信号の発生が未然に防止される。光学ロウ・パス・フィルタにより上記位相ずれ補正と同じ処理が行われている高感度画像データと低感度画像データとが記録媒体に記録されていると判定されるときには，位相ずれ補正が不要となる。
【実施例】
【００２４】
図１は，この発明の実施例によるディジタル・スチル・カメラに用いられるＣＣＤの一部を模式的に示している。
【００２５】
ＣＣＤ１には，多数のフォトダイオード２および３が水平方向および垂直方向に配列されている。これらのフォトダイオード２および３は，受光面積が異なるものである。一方のフォトダイオード２は受光面積が大きい高感度画素用フォトダイオードであり，他方のフォトダイオード３は受光面積が小さい低感度画素用フォトダイオードである。高感度画素用フォトダイオード２は，奇数行においては奇数列に配置され，偶数行においては偶数列に配置されている。低感度画素用フォトダイオード３は，奇数行においては偶数行に配置され，偶数行においては奇数列に配置されている。もちろん，このような配置にかぎらず，高感度画素用フォトダイオード２と低感度画素用フォトダイオード３との配置関係を逆にしてもよい。
【００２６】
高感度画素用フォトダイオード２および低感度画素用フォトダイオード３の受光面上にはカラー・フィルタが形成されている。赤色の光成分を透過する特性を有するカラー・フィルタが形成されているフォトダイオード２または３には「Ｒ」または「ｒ」の文字が付されている。緑色の光成分を透過する特性を有するカラー・フィルタが形成されているフォトダイオード２または３には「Ｇ」または「ｇ」の文字が付されている。青色の光成分を透過する特性を有するカラー・フィルタが形成されているフォトダイオード２または３には「Ｂ」または「ｂ」の文字が付されている。この実施例においては，高感度画素用フォトダイオード２に形成されているカラー・フィルタの光透過特性とその右側（左側でもよい）に存在する低感度画素用フォトダイオード３に形成されているカラー・フィルタの光透過特性とが同じものとされている。
【００２７】
フォトダイオード２および３の右側には，それぞれのフォトダイオード２および３に蓄積された信号電荷を垂直方向に転送するための垂直転送路４が形成されている。垂直転送路４の出力側（下側）には，信号電荷を水平方向に転送するための水平転送路６が形成されている。水平転送路６の出力側には増幅回路７が形成されている。
【００２８】
２行分の高感度画素用フォトダイオード２に蓄積された信号電荷が１行分の高感度映像信号としてＣＣＤ１から出力される。高感度映像信号の出力後に２行分の低感度用フォトダイオード３に蓄積された信号電荷が１行分の低感度映像信号としてＣＣＤ１から出力される。
【００２９】
図２は，この実施例による位相ずれ補正の様子を示している。
【００３０】
上述したように，光成分を透過する特性が同じカラー・フィルタが形成されている高感度画素用フォトダイオード２の位相（位置）と低感度画素用フォトダイオード３の位相とは左右にずれている。高感度画素用フォトダイオード３に蓄積された信号電荷にもとづいて得られる高感度画像データと低感度画素用フォトダイオード４に蓄積された信号電荷にもとづいて得られる低感度画像データとが合成されると，その合成比率に応じた位置で画素がサンプリングされたものと等価となる。サンプリング位置と高感度画素と低感度画素との位置関係が画像のすべての部分で等しくならなければ，上述したように偽信号が発生する要因となる。このために，この実施例においては，高感度画素用のフォトダイオード２に蓄積された信号電荷と低感度画素用のフォトダイオード３に蓄積された信号電荷とが同じ位置で蓄積されたとみなされるように低感度画像データについてあらかじめ位相ずれ補正が行われる（高感度画像データと低感度画像データの両方について位相ずれ補正をおこなってもよいし，高感度画像データについて位相ずれ補正を行ってもよい。）。位相ずれ補正が行われた低感度画像データと高感度画像データとが合成され，ダイナミック・レンジの広い合成画像データが得られる。
【００３１】
低感度画像データについて位相ずれ補正が行われることにより，低感度画素用フォトダイオード３に蓄積された信号電荷は，高感度画素用フォトダイオード２に蓄積された信号電荷とは同じ位置で蓄積されたとみなされる。すなわち，低感度画素用フォトダイオード３の位置があたかも高感度画素用フォトダイオード２の位置Ｌにあるようになる。
【００３２】
図３は，ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【００３３】
ディジタル・スチル・カメラの全体の動作は，ＣＰＵ10によって統括される。
【００３４】
ＣＰＵ10には，上述したように同じ光透過特性のカラー・フィルタが形成されている高感度画素用フォトダイオード２と低感度画素用フォトダイオード３との位置関係（同じ光透過特性を有するカラーフィルタが形成されているフォトダイオード２および３は左右にあるのか上下にあるのか），後述する光学ロウ・パス・フィルタの分離幅，分離方向などの分離特性などのカメラ情報が記憶されているメモリ９が含まれている。
【００３５】
ディジタル・スチル・カメラには，操作装置11が含まれている。この操作装置11には，二段ストローク・タイプのシャッタ・レリーズ・ボタン，モード設定スイッチ，ストロボ発光スイッチなどが含まれている。操作装置11からの出力信号は，ＣＰＵ10に与えられる。
【００３６】
ディジタル・スチル・カメラは，ストロボ撮影が可能であり，そのためにＣＰＵ10によって発光制御されるストロボ発光装置12が含まれている。また，ストロボ発光装置12からの発光量を一定に保つために受光センサ13が設けられている。受光センサ13から出力される受光信号は，ＣＰＵ10に入力する。
【００３７】
ＣＣＤ１の受光面前方には，レンズ駆動回路14によってそのズーム量が制御されるズーム・レンズ17，絞り駆動回路15により絞り値が制御される絞り18，赤外線カット・フィルタ19および光学的ロウ・パス・フィルタ20が設けられている。これらのズーム・レンズ17，絞り18および赤外線カット・フィルタ19を透過した光は，光学的ロウ・パス・フィルタ20に与えられる。光学ロウ・パス・フィルタ20において，メモリ９に記憶されている分離特性通りに入射光が分離する。光学ロウ・パス・フィルタ20を透過した光はＣＣＤ１の受光面上に入射し，被写体像が結像する。撮像素子駆動回路16によってＣＣＤ１が駆動させられ，ＣＣＤ１から被写体像を表す高感度映像信号および低感度映像信号が順に出力される。
【００３８】
高感度映像信号および低感度映像信号は，アナログ信号処理回路21において白バランス調整などの所定のアナログ信号処理が行われる。アナログ信号処理回路21から出力された映像信号は，アナログ／ディジタル変換回路22において高感度画像データおよび低感度画像データに変換される。
【００３９】
高感度画像データおよび低感度画像データは，ディジタル信号処理回路25において，上述した位相ずれ補正処理，輝度データおよび色差データ生成処理その他の所定のディジタル信号処理が行われる。ディジタル信号処理回路25における処理について詳しくは後述する。ディジタル信号処理回路25において生成された輝度データおよび色差データが表示制御回路30に与えられる。表示装置31の表示画面上に撮像された被写体像が表示される。
【００４０】
シャッタ・レリーズ・ボタンの第１段階の押下があると，上述のようにして生成された輝度データは，積算回路27に与えられ，合焦量および露光量が算出される。算出された合焦量にもとづいて合焦するように，ズーム・レンズ17が制御され，かつ算出された露光量にもとづいて適正露光となるように，絞り18の絞り値およびシャッタ速度がそれぞれ決定される。
【００４１】
シャッタ・レリーズ・ボタンの第２段階の押下があると，被写体が撮像され，ＣＣＤ１からは高感度映像信号および低感度映像信号が順に出力される。上述したように，ディジタル信号処理回路25において生成された輝度データおよび色差データが，圧縮／伸張処理回路26に与えられる。圧縮／伸張処理回路26においてＪＰＥＧ（joint photographic experts group）にもとづくデータ圧縮が行われる。圧縮された合成画像データがメモリ制御回路28によってメモリ・カード29に記録される。メモリ・カード29には，ダイナミック・レンジの広い被写体像を表す画像データが記録されることとなる。
【００４２】
この実施例によるディジタル・スチル・カメラにおいては，位相ずれ補正が行われていない輝度データおよび色差データをメモリ・カード29に記録（ＲＡＷデータ記録モードという）することもできる。操作装置11においてＲＡＷデータ記録モードが設定されると，上述のようにしてアナログ／ディジタル変換回路22から出力された高感度画像データおよび低感度画像データは，メモリ制御回路23の制御によりメイン・メモリ24に一時的に記憶される。高感度画像データおよび低感度画像データはメイン・メモリ24から読み出されメモリ制御回路28によってメモリ・カード29に記録される。メモリ・カード29には，メモリ９に記憶されているカメラ情報なども与えられ，記録される。ＲＡＷデータ記録モードにおいてメモリ・カード29に記録される内容について詳しくは，後述する（図12参照）。
【００４３】
ディジタル・スチル・カメラは再生機能も有しているが，ここでは説明を省略する。
【００４４】
図４は，ディジタル信号処理回路25の電気的構成を示すブロック図である。
【００４５】
ディジタル信号処理回路25に入力した高感度画像データは，オフセット補正回路41およびゲイン補正回路42においてオフセット補正およびゲイン補正が行われ，ガンマ補正回路43に入力する。高感度画像データはガンマ補正回路43においてガンマ補正されて合成処理回路55に入力する。
【００４６】
ディジタル信号処理回路25に入力した低感度画像データは，オフセット補正回路51，ゲイン補正回路52およびガンマ補正回路53においてそれぞれオフセット補正，ゲイン補正およびガンマ補正が行われてフィルタ処理回路54に入力する。フィルタ処理回路54において上述したように，低感度画像データについて位相ずれ補正が行われる（この実施例においては光学ロウ・パス・フィルタ20は位相ずれ補正に相当する光学処理はできないものとする。また，位相ずれ補正は光学ロウ・パス・フィルタ20の分離特性を考慮して行われているのはいうまでもない。）。フィルタ処理回路54において位相ずれ補正が行われた低感度画像データが合成処理回路55に入力する。
【００４７】
図５は，合成処理回路55における合成処理の様子を示している。
【００４８】
横軸が被写体輝度であり，縦軸が得られる画像データのレベルを示している。
【００４９】
上述したように，高感度用フォトダイオード２の受光面積は低感度用フォトダイオード３の受光面積よりも大きい。このために，同じ輝度の被写体を撮像して得られる画像データのレベルは，低感度画像データよりも高感度画像データの方が高い。高感度画像データは所定のしきい値th以上の被写体輝度となると飽和する。この実施例によるディジタル・スチル・カメラにおいては，高感度画像データと低感度画像データとが被写体輝度に応じた合成比率で合成され，合成画像データが生成される。合成画像データによって表される画像はダイナミック・レンジが広いものとなる。
【００５０】
図４に戻って，合成処理回路55から出力された合成画像データは，ＲＧＢ補間回路56に入力し，赤色成分を表すＲ画像データ，緑色成分を表すＧ画像データおよび青色成分を表すＢ画像データが生成される。生成されたＲ画像データＧ画像データおよびＢ画像データはＲＧＢ／ＹＣ変換回路57において輝度データＹおよび色差データＣが生成される。輝度データＹは輪郭補正回路58において輪郭補正が行われ，色差データＣは色差マトリクス回路59において色補正が行われる。輪郭補正回路58および色差マトリクス回路59のそれぞれの出力がディジタル信号処理回路25の出力となる。
【００５１】
図６（Ａ）および（Ｂ）は，フィルタ処理回路54に含まれるフィルタ演算回路60のフィルタ特性を示している。上述したように，フィルタ処理回路54におけるフィルタ処理（位相ずれ補正処理）は高感度画像データについて行われるものである。（Ａ）は，ｒ用の高感度画素から得られる高感度画像データに対して行われるフィルタ処理の特性を示すもので（ｂ用の高感度画像も同様の構成となる），（Ｂ）は，ｇ用の高感度画素から得られる高感度画像データに対して行われるフィルタの特性を示している。また，（Ａ）および（Ｂ）においてｒ，ｇまたはｂの符号は，ＣＣＤ１における低感度用のフォトダイオード３の配置に対応している。また，いわゆる５×５タップの場合のフィルタ特性が実線で示されており，９×５タップの場合のフィルタ特性が波線で示されている。
【００５２】
（Ａ）に示すように，ｒ画素に対するフィルタ処理が行われる場合には，網掛けで示されているように水平方向および垂直方向に２画素（低感度画素用フォトダイオード３のみを抽出して考えた場合であり，高感度画素用フォトダイオード２を考慮すると水平方向および垂直方向に４画素となる）おきに配置されているｒ画素に対応する画像データについてフィルタ処理が行われる。ｂ画素に対するフィルタ処理が行われる場合も同様となる。
【００５３】
低感度用フォトダイオード３に蓄積された信号電荷（高感度用フォトダイオード２に蓄積された信号電荷も同じ）は，上述したように２行分が１行分としてＣＣＤ１から読み出される。すなわち，第ｎ＋１行のフォトダイオードに蓄積された信号電荷と第ｎ＋２行のフォトダイオードに蓄積された信号電荷とが交互にあたかも同一行のフォトダイオードから得られたかのようにして読み出される。同様に，第ｎ＋３行のフォトダイオードに蓄積された信号電荷と第ｎ＋４行のフォトダイオードに蓄積された信号電荷とが交互に読み出される。
【００５４】
フィルタ処理回路を構成する場合，垂直方向の行数から１を引いた数のライン・メモリが必要となる。しかしながら，このように，２行分のフォトダイオードに蓄積された信号電荷が１行分のものとしてＣＣＤ１から読み出されるから，（Ａ）に示すように，５行のフォトダイオードに蓄積された信号電荷から得られる低感度画像データについてフィルタ処理を行う場合には，５行分のライン・メモリではなく，２行分のライン・メモリで足りるようになることは理解できよう。
【００５５】
（ｂ）に示すようにｇ画素に対するフィルタ処理が行われる場合には，網掛けで示されているように水平方向および垂直方向に１画素（低感度画素用フォトダイオード３のみを抽出して考えた場合であり，高感度画素用フォトダイオード２を考慮すると水平方向および垂直方向に２画素となる）おきに配置されているｇ画素に対応する画像データについてフィルタ処理が行われる。この場合も（Ａ）と同様に，第ｍ＋１行のフォトダイオードに蓄積された信号電荷と第ｍ＋２行のフォトダイオードに蓄積された信号電荷とが同一行のフォトダイオードから得られたかのようにして交互に読み出される。第ｍ＋３行および第ｍ＋４行についても同様である。
【００５６】
図７は，フィルタ処理回路54の電気的構成を示すブロック図である。
【００５７】
ガンマ補正回路53から出力された低感度画像データは，フィルタ演算回路60および第１のライン・メモリ61に入力する。第１のライン・メモリ61において低感度画像データが１行分遅延することとなる。第１のライン・メモリ61から出力された低感度画像データはフィルタ演算回路60および第２のライン・メモリ62に入力する。第２のライン・メモリ62から出力した低感度画像データは，フィルタ演算回路10に入力する。
【００５８】
フィルタ演算回路60には，３行分の低感度画像データが入力することとなる。図６（Ａ）を用いて説明したように，２行分の低感度用フォトダイオード３に蓄積された信号電荷があたかも１行分の低感度用フォトダイオード３に蓄積された信号電荷としてＣＣＤ１から読み出されるからフィルタ演算回路60には実質的には６行分（ただし１番上の行のｇデータは図６（Ａ）のフィルタでは用いられない。）の低感度用フォトダイオード３に蓄積された信号電荷にもとづいて得られる画像データが入力することとなる。フィルタ演算回路60において，フィルタ係数にしたがって，位相補正が行われるようなフィルタ処理が実施される。
【００５９】
図８（Ａ）および（Ｂ）は，位相ずれ補正およびノイズ補正が行われる場合のフィルタ係数の一例である。それぞれ，実線がいわゆる５×５タップの場合であり，波線がいわゆる９×５タップの場合である。
【００６０】
（Ａ）は，ｒ画素に対するフィルタ係数の一例であり，（Ｂ）は，ｇ画素に対するフィルタ係数の一例である。
【００６１】
（Ａ）および（Ｂ）のいずれのフィルタ係数も左側に偏りがある。このようなフィルタ係数を用いて低感度画像データにフィルタ処理が行われることにより，低感度用フォトダイオード３に蓄積された信号電荷があたかも高感度用フォトダイオード２に蓄積されたかのように見なされる。フィルタ演算回路60において，図２に示すように，位相ずれ補正が行われることとなる。位相ずれ補正の対象となる画素についての低感度画像データがｒ画素であれば，（Ａ）に示すフィルタ係数を用いてフィルタ処理が行われ，位相ずれ補正の対象となる画素についての低感度画像データがｇ画素であれば，（Ｂ）に示すフィルタ係数を用いてフィルタ処理が行われるのはいうまでもない。
【００６２】
図９（Ａ）および（Ｂ）は，位相ずれ補正が行われずにノイズ補正が行われる場合のフィルタ係数の一例である。それぞれ，実線がいわゆる５×５タップの場合であり，波線がいわゆる９×５タップの場合である。
【００６３】
（Ａ）は，ｒ画素に対するフィルタ係数の一例であり，（Ｂ）は，ｇ画素に対するフィルタ係数の一例である。
【００６４】
図８（Ａ）および（Ｂ）と比較すると分かるように，位相ずれ補正が行われない場合には，図９（Ａ）および（Ｂ）に示すようにフィルタ係数は左右に偏りがない。位相補正が行われることなく，低感度画像データについてノイズ低減処理が行われることとなる。
【００６５】
以上のように，位相ずれ補正が行われた低感度画像データについて高感度画像データとの合成処理が行われるので，偽信号の発生を未然に防止できる。
【００６６】
図10は，他の実施例を示すもので，ＣＣＤの一部を示す模式図である。
【００６７】
この図において図１に示すものと同一物には同一符号を付して説明を省略する。
【００６８】
図１に示すＣＣＤ１においては，高感度画素用フォトダイオード２に形成されているカラー・フィルタの光透過特性とその右側に存在する低感度画素用フォトダイオード３に形成されているカラー・フィルタの光透過特性とが同じものとされている。これに対して，図10に示すＣＣＤ１Ａにおいては，高感度画素用フォトダイオード２に形成されているカラー・フィルタの光透過特性とその上側（下側でもよいが，好ましくは上側）に存在する低感度画素用フォトダイオード３に形成されているカラー・フィルタの光透過特性とが同じものとされている。
【００６９】
フォトダイオード２および３に蓄積された信号電荷は垂直転送路４によって垂直方向に転送させられていく。この実施例においては，上述したように高感度映像信号の出力後に低感度映像信号を出力するのではなく，高感度映像信号と低感度映像信号とが交互にシリアルに出力される。高感度映像信号と低感度映像信号とが交互に出力されても上下方向に位置しているフォトダイオード２および３に形成されているカラー・フィルタの特性が同じなので，混色が起きにくくなる。とくに，信号電荷の蓄積量が多く垂直転送路４において残留電荷を生じさせやすい高感度用のフォトダイオード２が低感度用のフォトダイオード３よりも下側にあるので，残留電荷があったとしても，その後に転送させられる低感度用のフォトダイオード３に蓄積されかつ同色の光成分を表す信号電荷とともに転送させられるので，混色を未然に防止できるようになる。
【００７０】
図11（Ａ）はフォトダイオード２および３ならびに垂直転送路４に形成されている垂直転送電極の関係を示している。図11（Ｂ）は，信号電荷が転送させられる様子を示すタイム・チャートである。
【００７１】
（Ａ）を参照して，高感度用フォトダイオード２および低感度用フォトダイオード３の右側にはそれぞれのフォトダイオード２および３に対応して，垂直転送電極Ｖ１〜Ｖ３およびＶ４〜Ｖ６が形成されている。これらの垂直転送電極Ｖ１〜Ｖ６にそれぞれ撮像素子駆動回路16から垂直転送パルスφＶ１〜φＶ６が与えられることにより，高感度用フォトダイオード２に蓄積された信号電荷および低感度用フォトダイオード３に蓄積された信号電荷が垂直方向に転送させられていく。
【００７２】
（Ｂ）を参照して，時刻ｔ１において垂直転送電極Ｖ３およびＶ６に垂直転送パルスφＶ１およびφＶ６が与えられ，フォトダイオード２および３に蓄積された信号電荷が垂直転送電極Ｖ３およびＶ６の下にシフトされる。時刻ｔ２において，垂直転送電極Ｖ１，Ｖ３，Ｖ４およびＶ６に垂直転送パルスφＶ１，φＶ３，φＶ４およびφＶ６が与えられ，時刻ｔ３において垂直転送電極Ｖ１およびＶ４に垂直転送パルスφＶ１およびφＶ４が与えられることにより，垂直転送電極Ｖ３およびＶ６の下に蓄積されていた信号電荷が垂直転送電極Ｖ１およびＶ４の下に転送させられる。以下同様にして，信号電荷が水平転送路６の方に垂直転送させられていく。
【００７３】
上述したように，信号電荷の蓄積量が多く垂直転送路４において残留電荷が生じやすい高感度用のフォトダイオード２に蓄積された信号電荷が先に転送させられるので，残留電荷があったとしてもその後に転送させられる低感度用のフォトダイオード３に蓄積された同色の光成分を表す信号電荷とともに転送させられることとなる。混色を未然に防止できるようになる。
【００７４】
高感度映像信号と低感度映像信号とがＣＣＤから交互にシリアルに出力される場合には，ディジタル変換されたシリアルの高感度画像データと低感度画像データとをメイン・メモリ24に一時的に記憶し，パラレルの高感度画像データと低感度画像データとして読出す必要があろう。パラレルの高感度画像データと低感度画像データとがディジタル変換信号処理回路25に入力する。また，ディジタル信号処理回路25に含まれるフィルタ処理回路54を構成するライン・センサは必要に応じて増加することとなろう。
【００７５】
図12は，上述したように，ＲＡＷデータ記録モードにおいてメモリ・カードに記録されるＲＡＷデータ・ファイルのファイル構造（データ構造）の一例である。
【００７６】
ＲＡＷデータ・ファイルには，ファイル情報記録領域，カメラ情報記録領域，撮影情報記録領域，高感度画像ＲＡＷデータ記録領域および低感度画像ＲＡＷデータ記録領域が含まれている。ファイル情報記録領域には，ＲＡＷデータ・ファイルを管理する情報が格納されている。
【００７７】
カメラ情報記録領域には，同一の光透過特性を有するカラー・フィルタが配置されている高感度用フォトダイオード２と低感度用フォトダイオード３との位置関係を示す位置情報，光学ロウ・パス・フィルタ20の分離特性（分離幅，分離方向など）を表す情報が記録される。撮影情報記録領域には，画像データが得られたときの露出量，シャッタ速度などの情報が記録される。高感度画像ＲＡＷデータ記録領域には，高感度画素用フォトダイオード２に蓄積された信号電荷にもとづいて得られた高感度画像ＲＡＷデータが記録される。低感度画像ＲＡＷデータ記録領域には，低感度画素用フォトダイオード２に蓄積された信号電荷にもとづいて得られた低感度画像ＲＡＷデータが記録される。
【００７８】
図13は，メモリ・カードに記録されているＲＡＷデータ・ファイルの再生処理手順を示すフローチャートである。再生装置は，図４に示すディジタル信号処理装置25と同様の構成となることは理解できよう。
【００７９】
メモリ・カードからＲＡＷデータ・ファイルが読み取られ，そのＲＡＷデータ・ファイルのカメラ情報に記録されている光学ロウ・パス・フィルタの分離特性および位置情報が読み取られる（ステップ71，72）。
【００８０】
メモリ・カードに記録された高感度画像ＲＡＷデータおよび低感度画像ＲＡＷデータを記録したときに用いられた光学的ロウ・パス・フィルタの分離方向に偏りがあり，メモリ・カードに記録されている低感度画像ＲＡＷデータに上述したように位相ずれ補正が行われているかどうかが判定される（ステップ73）。分離方向に偏りがあると（ステップ73でＹＥＳ），位置情報によって表される同一の光透過特性のカラー・フィルタが形成されているフォトダイオード２および３の位置関係と光学ロウ・パス・フィルタの偏り方向とが一致するかどうかが確認される（ステップ74）。位置情報によって表わされる位置関係と光学ロウ・パス・フィルタの偏り方向とが一致すると（ステップ74でＹＥＳ），位相ずれ補正を行う必要が無いと考えられる。したがって，ノイズ低減のために図９（Ａ）および（Ｂ）に示すような偏りの無い対称フィルタ係数を用いて低感度画像ＲＡＷデータにフィルタ処理が行われる（ステップ75）。
【００８１】
光学ロウ・パス・フィルタの分離方向に偏りが無い（ステップ73でＮＯ）または低感度画素の位置情報と光学ロウ・パス・フィルタの偏りとが一致しない場合には（ステップ74でＮＯ），図８（Ａ）および（Ｂ）に示すような偏りのある非対称フィルタ係数を用いて低感度画像ＲＡＷデータについて位相ずれ補正を行うためのフィルタ処理が行われる（ステップ76）。このように位相ずれ補正が行われた後に高感度画像ＲＡＷデータおよび低感度画像ＲＡＷデータの合成処理が行われ，合成画像データが生成されることとなる。
【図面の簡単な説明】
【００８２】
【図１】ＣＣＤの模式図である。
【図２】位置ずれ補正の様子を示している。
【図３】ディジタル・スチル・カメラの電気的構成を示すブロック図である。
【図４】ディジタル信号処理回路の電気的構成を示すブロック図である。
【図５】高感度画像データと低感度画像データと合成画像データとを示している。
【図６】（Ａ）および（Ｂ）はフィルタ係数の一例である。
【図７】フィルタ処理回路の電気的構成を示すブロック図である。
【図８】（Ａ）および（Ｂ）は位相ずれ補正を行うフィルタの係数の一例である。
【図９】（Ａ）および（Ｂ）は位相ずれ補正をしないうフィルタの係数の一例である。
【図１０】ＣＣＤの模式図である。
【図１１】（Ａ）は，フォトダイオードと垂直転送電極の関係を示し，（Ｂ）は信号電荷が転送させられる様子を示すタイム・チャートである。
【図１２】ＲＡＷデータ・ファイルのファイル構造を示している。
【図１３】ＲＡＷデータ・ファイルの再生処理手順を示すフローチャートである。
【図１４】（Ａ），（Ｂ）および（Ｃ）は，高感度画素と低感度画素と合成後の位相との関係を示している。
【符号の説明】
【００８３】
１，１Ａ  ＣＣＤ
２  高感度用フォトダイオード
３  低位感度用フォトダイオード
10  ＣＰＵ
20  光学ロウ・パス・フィルタ
25  ディジタル信号処理回路
54  フィルタ処理回路
55  合成処理回路
61，62  ライン・メモリ
60  フィルタ演算回路
【図１】
2005167532.tif 000003
【図２】
2005167532.tif 000004
【図３】
2005167532.tif 000005
【図４】
2005167532.tif 000006
【図５】
2005167532.tif 000007
【図６】
2005167532.tif 000008
【図７】
2005167532.tif 000009
【図８】
2005167532.tif 000010
【図９】
2005167532.tif 000011
【図１０】
2005167532.tif 000012
【図１１】
2005167532.tif 000013
【図１２】
2005167532.tif 000014
【図１３】
2005167532.tif 000015
【図１４】
2005167532.tif 000016