(57)【特許請求の範囲】
【請求項１】
二次元アレイ状に配列形成され、周期的位置に設けられた半数の画素に透明フィルタが積層され、残り半数の画素に赤色，緑色，青色の３色のうちのいずれか１色のカラーフィルタが積層され、前記各画素により撮像された画像データが少なくとも２フィールドで読み出され、該２フィールドで読み出された画像データにより前記３色の画像データが揃い、前記２フィールドの各フィールドの夫々で読み出される前記画像データは前記３色のうちのいずれか１色の色データが欠落するカラーフィルタ配列の固体撮像素子と、
該固体撮像素子により被写体が撮像されたとき該撮像の直後に該被写体のカラーによる撮像画像を表示する（以下、この表示をポストビューといい、表示される画像をポストビュー画像という。）表示部と、
前記２フィールドのうちの１フィールドで読み出された画像データから前記ポストビュー画像を生成するに際し、該１フィールドで読み出された画像データのうち前記欠落する１色の画像データを、前記３色のうちの該１フィールドで読み出された残り２色の画像データと前記透明フィルタを積層した画素から読み出された画像データとに基づき推測して前記ポストビュー画像を生成するポストビュー画像生成部とを備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置であって、前記ポストビュー画像生成部は、前記被写体の撮像色の色温度により、前記２フィールドの中から前記ポストビュー画像を生成する画像データの読出フィールドを選択することを特徴とする撮像装置。
【請求項３】
請求項１又は請求項２に記載の撮像装置であって、前記ポストビュー画像生成部は、前記ポストビュー画像を生成する画像データを読出フィールドに先行して他フィールドの画像データを読み出し、該他フィールドの画像データからホワイトバランス補正係数を求め、該ホワイトバランス補正係数によって前記ポストビュー画像のホワイトバランス補正を行うことを特徴とする撮像装置。
【請求項４】
請求項１乃至請求項３のいずれか１項に記載の撮像装置であって、前記ポストビュー画像生成部は、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成することを特徴とする撮像装置。
【請求項５】
請求項４に記載の撮像装置であって、前記ポストビュー画像生成部は、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、算出したホワイトバランス補正係数により前記ポストビュー画像を補正することを特徴とする撮像装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の撮像装置であって、前記固体撮像素子の奇数行または偶数行の一方の画素行が他方の画素行に対して１／２画素ピッチづつずらして配置され、奇数行または偶数行の一方の画素行の各画素には前記透明フィルタが積層され、奇数行または偶数行の他方の画素行の各画素には３色のカラーフィルタがベイヤ配列され、各画素から撮像画像データを読み出すときは各画素を隣接する奇数行及び偶数行の２行の画素行毎に区切り、前記透明フィルタが積層された画素行及び緑色のカラーフィルタと青色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドと、前記透明フィルタが積層された画素行及び赤色のカラーフィルタと緑色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドとを交互に設けた撮像装置。
【請求項７】
請求項１乃至請求項５のいずれか１項に記載の撮像装置であって、前記固体撮像素子の各画素は正方格子配列され、該正方格子配列の各画素のうち市松位置に配置された画素に前記透明フィルタが積層され、残りの市松位置の各画素に赤色，緑色，青色の３色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとを交互に設けた撮像装置。
【請求項８】
請求項１乃至請求項５のいずれか１項に記載の撮像装置であって、前記固体撮像素子の各画素は正方格子配列され、奇数列または偶数列の一方の画素列の各画素に前記透明フィルタが積層され、奇数列または偶数列の他方の画素列の各画素に赤色，緑色，青色の３色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとを交互に設けた撮像装置。
【請求項９】
二次元アレイ状に配列形成され、周期的位置に設けられた半数の画素に透明フィルタが積層され、残り半数の画素に赤色，緑色，青色の３色のうちのいずれか１色のカラーフィルタが積層され、前記各画素により撮像された画像データが少なくとも２フィールドで読み出され、該２フィールドで読み出された画像データにより前記３色の画像データが揃い、前記２フィールドの各フィールドの夫々で読み出される前記画像データは前記３色のうちのいずれか１色の色データが欠落するカラーフィルタ配列の固体撮像素子を搭載し、該固体撮像素子により被写体が撮像されたとき該撮像の直後に該被写体のカラーによる画像をポストビュー画像として表示する撮像装置のポストビュー画像生成方法であって、
前記２フィールドのうちの１フィールドで読み出された画像データから前記ポストビュー画像を生成するとき、該１フィールドで読み出された画像データのうち前記欠落する１色の画像データを、前記３色のうちの該１フィールドで読み出された残り２色の画像データと前記透明フィルタを積層した画素から読み出された画像データとに基づき推測して前記ポストビュー画像を生成するポストビュー画像生成方法。
【請求項１０】
請求項９に記載のポストビュー画像生成方法であって、前記被写体の撮像色の色温度により、前記２フィールドの中から前記ポストビュー画像を生成する画像データの読出フィールドを選択するポストビュー画像生成方法。
【請求項１１】
請求項９又は請求項１０に記載のポストビュー画像生成方法であって、前記ポストビュー画像を生成する画像データを読出フィールドに先行して他フィールドの画像データを読み出し、該他フィールドの画像データからホワイトバランス補正係数を求め、該ホワイトバランス補正係数によって前記ポストビュー画像のホワイトバランス補正を行うポストビュー画像生成方法。
【請求項１２】
請求項９乃至請求項１１のいずれか１項に記載のポストビュー画像生成方法であって、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成するポストビュー画像生成方法。
【請求項１３】
請求項１２に記載のポストビュー画像生成方法であって、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、算出したホワイトバランス補正係数により前記ポストビュー画像を補正するポストビュー画像生成方法。
【請求項１４】
請求項９乃至請求項１３のいずれか１項に記載のポストビュー画像生成方法であって、前記固体撮像素子の奇数行または偶数行の一方の画素行が他方の画素行に対して１／２画素ピッチづつずらして配置され、奇数行または偶数行の一方の画素行の各画素には前記透明フィルタが積層され、奇数行または偶数行の他方の画素行の各画素には３色のカラーフィルタがベイヤ配列され、各画素から撮像画像データを読み出すときは各画素を隣接する奇数行及び偶数行の２行の画素行毎に区切り、前記透明フィルタが積層された画素行及び緑色のカラーフィルタと青色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドと、前記透明フィルタが積層された画素行及び赤色のカラーフィルタと緑色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドとが交互に設けられたポストビュー画像生成方法。
【請求項１５】
請求項９乃至請求項１３のいずれか１項に記載のポストビュー画像生成方法であって、前記固体撮像素子の各画素は正方格子配列され、該正方格子配列の各画素のうち市松位置に配置された画素に前記透明フィルタが積層され、残りの市松位置の各画素に赤色，緑色，青色の３色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとが交互に設けられたポストビュー画像生成方法。
【請求項１６】
請求項９乃至請求項１３のいずれか１項に記載のポストビュー画像生成方法であって、前記固体撮像素子の各画素は正方格子配列され、奇数列または偶数列の一方の画素列の各画素に前記透明フィルタが積層され、奇数列または偶数列の他方の画素列の各画素に赤色，緑色，青色の３色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとが交互に設けられたポストビュー画像生成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、固体撮像素子で撮像した画像データを表示する表示部を備えた撮像装置に係り、特に、被写体を撮像した直後に撮像画像データを表示部に表示する撮像装置及びそのポストビュー画像生成方法に関する。
【背景技術】
【０００２】
撮像装置には、被写体画像を撮影した後、遅滞なく、撮影した画像データを液晶表示部等に表示しユーザに確認させる「ポストビュー機能」とか「レックビュー機能」と呼ばれる機能（以下、この明細書では、ポストビュー機能という。）が搭載されている。
【０００３】
このポストビュー機能を用いて撮像画像データを表示部に表示する場合、表示部等の画素数が少ないため、あまり表示画像の解像度は問われない。そこで、実際に撮像して得た画像データを間引いて表示画像データを生成している。
【０００４】
しかし、近年の固体撮像素子の画素数は数百万画素以上になってきており、ポストビュー用の表示画像データの生成のためのデータアクセスに時間がかかり、撮影直後に表示するのが困難になってきている。
【０００５】
また、固体撮像素子の画素数が増大すると撮像データを固体撮像素子からマルチフィールド読み出しする場合が多くなるが、この場合には、カラー画像生成のために必要となるＲ（赤），Ｇ（緑），Ｂ（青）の３色の撮像データを読み出すまで時間がかかり、これも、撮影直後のポストビュー表示を困難にする要因になっている。
【０００６】
尚、ポストビュー機能に関する従来技術として、下記の特許文献１，２，３等がある。
【０００７】
【特許文献１】特開２００３−６０９６８号公報
【特許文献２】特開２００４−１２９２４２号公報
【特許文献３】特開２００４−２４１８１３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
撮像装置で被写体を撮影したとき、綺麗に撮れているか、ブレていないか、ピントが合っているか等をポストビュー画像により直ぐに確認し、駄目な場合には、シャッターチャンスを逃す前に、再度、被写体を撮影したいというユーザの要望は高い。
【０００９】
しかし、前述した様に、固体撮像素子の画素数が増大するに従って、ポストビュー用の画像データ生成に時間がかかり、撮影直後のポストビュー画像の表示が困難になってきている。
【００１０】
本発明の目的は、ポストビュー用の画像データを生成する時間の短縮を図ることができるポストビュー画像生成方法と、この画像生成方法の実施機能を搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明の撮像装置及びそのポストビュー画像生成方法は、二次元アレイ状に配列形成され、周期的位置に設けられた半数の画素に透明フィルタが積層され、残り半数の画素に赤色，緑色，青色の３色のうちのいずれか１色のカラーフィルタが積層され、前記各画素により撮像された画像データが少なくとも２フィールドで読み出され、該２フィールドで読み出された画像データにより前記３色の画像データが揃い、前記２フィールドの各フィールドの夫々で読み出される前記画像データは前記３色のうちのいずれか１色の色データが欠落するカラーフィルタ配列の固体撮像素子を搭載し、該固体撮像素子により被写体が撮像されたとき該撮像の直後に該被写体のカラーによる画像をポストビュー画像として表示する撮像装置及びそのポストビュー画像生成方法であって、前記２フィールドのうちの１フィールドで読み出された画像データから前記ポストビュー画像を生成するとき、該１フィールドで読み出された画像データのうち前記欠落する１色の画像データを、前記３色のうちの該１フィールドで読み出された残り２色の画像データと前記透明フィルタを積層した画素から読み出された画像データとに基づき推測して前記ポストビュー画像を生成することを特徴とする。
【００１２】
本発明の撮像装置及びそのポストビュー画像生成方法は、前記被写体の撮像色の色温度により、前記２フィールドの中から前記ポストビュー画像を生成する画像データの読出フィールドを選択することを特徴とする。
【００１３】
本発明の撮像装置及びそのポストビュー画像生成方法は、前記ポストビュー画像を生成する画像データを読出フィールドに先行して他フィールドの画像データを読み出し、該他フィールドの画像データからホワイトバランス補正係数を求め、該ホワイトバランス補正係数によって前記ポストビュー画像のホワイトバランス補正を行うことを特徴とする。
【００１４】
本発明の撮像装置及びそのポストビュー画像生成方法は、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドの読み出しデータにより前記ポストビュー画像を生成することを特徴とする。
【００１５】
本発明の撮像装置及びそのポストビュー画像生成方法は、前記被写体の撮像色温度が所定温度より高いときは前記赤色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、前記被写体の撮像色温度が所定温度より低いときは前記青色のカラーフィルタが積層された画素の色データを含むフィールドと異なるフィールドから読み出したデータによりホワイトバランス補正係数を算出し、算出したホワイトバランス補正係数により前記ポストビュー画像を補正することを特徴とする。
【００１６】
本発明の撮像装置及びそのポストビュー画像生成方法は、前記固体撮像素子の奇数行または偶数行の一方の画素行が他方の画素行に対して１／２画素ピッチづつずらして配置され、奇数行または偶数行の一方の画素行の各画素には前記透明フィルタが積層され、奇数行または偶数行の他方の画素行の各画素には３色のカラーフィルタがベイヤ配列され、各画素から撮像画像データを読み出すときは各画素を隣接する奇数行及び偶数行の２行の画素行毎に区切り、前記透明フィルタが積層された画素行及び緑色のカラーフィルタと青色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドと、前記透明フィルタが積層された画素行及び赤色のカラーフィルタと緑色のカラーフィルタとが画素毎に交互に積層された画素行を読み出すフィールドとが交互に設けられたことを特徴とする。
【００１７】
本発明の撮像装置及びそのポストビュー画像生成方法は、前記固体撮像素子の各画素は正方格子配列され、該正方格子配列の各画素のうち市松位置に配置された画素に前記透明フィルタが積層され、残りの市松位置の各画素に赤色，緑色，青色の３色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとが交互に設けられたことを特徴とする。
【００１８】
本発明の撮像装置及びそのポストビュー画像生成方法は、前記固体撮像素子の各画素は正方格子配列され、奇数列または偶数列の一方の画素列の各画素に前記透明フィルタが積層され、奇数列または偶数列の他方の画素列の各画素に赤色，緑色，青色の３色のカラーフィルタが積層され、奇数行の画素行を読み出すフィールドと偶数行の画素行を読み出すフィールドとが交互に設けられたことを特徴とする。
【発明の効果】
【００１９】
本発明によれば、画素数が多い固体撮像素子で被写体画像を撮像した場合でも、高速にポストビュー画像を生成することができるため、撮像直後にポストビュー画像を表示部に表示することが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２１】
図１は、本発明の一実施形態に係る撮像装置（図示する例はデジタルカメラ）の機能ブロック構成図である。この撮像装置は、ＣＣＤ型やＣＭＯＳ型の固体撮像素子１と、固体撮像素子１の出力データを相関二重サンプリング（ＣＤＳ）処理や利得制御処理，アナログデジタル変換処理等を行うアナログフロントエンド（ＡＦＥ）回路２と、撮像装置全体を統括制御する制御部（ＣＰＵ）３と、制御部３からの指示により撮像素子１やＡＦＥ回路２の制御用タイミング信号を生成するタイミングジェネレータ４とを備える。
【００２２】
この撮像装置は更に、ＡＦＥ回路２から出力されたデジタルの撮像画像データを画像処理する画像処理部５と、ＡＦＥ回路２から出力されたデジタルの撮像画像データを簡易画像処理してポストビューデータ処理を行うポストビューデータ専用処理部（ポストビュー画像生成処理部）６と、ＡＦＥ回路２から出力されたデジタルの撮像画像データを一時蓄積するメインメモリ（フレームメモリ）７と、画像処理部５が処理した輝度（Ｙ）及び色差（Ｃ）でなる画像データをＪＰＥＧ画像データに変換しＩＦ部８を通して記録メディア９に保存するＪＰＥＧ変換処理部１０と、カメラ背面等に取り付けられポストビューデータ専用処理部６が生成したポストビュー画像を表示する液晶表示部１１と、これら及び制御部４との間を相互に接続するバス１２とを備える。
【００２３】
制御部（ＣＰＵ）４には、ユーザからの指示を入力する操作部１３が接続されている。この操作部１３は、カメラで静止画像を撮像することに使用する２段シャッタボタンが含まれる。
【００２４】
画像処理部５は、撮像装置で周知の記録処理系を構成する画像処理機能を搭載しており、ＡＦＥ回路２から出力される撮像素子１の撮像画像データの全てを一時蓄積するメインメモリ７の蓄積データを取り込んで、ホワイトバランス補正処理を行うホワイトバランス（ＷＢ）補正処理部５１と、補間処理や正方変換等のマトリクス演算処理を行うマトリクス（ＭＴＸ）演算処理部５２と、ガンマ変換処理を行うガンマ（γ）変換処理部５３と、Ｒ（赤）Ｇ（緑）Ｂ（青）の画像データを輝度（Ｙ）色差（Ｃ）信号に変換するＹＣ変換処理部５４とを備える。
【００２５】
ポストビューデータ専用処理部６は、ポストビュー画像生成のための処理部６１，６２，６３，６４を備える。これらの処理部は、ＡＦＥ回路２から出力されるデータの一部をＡＦＥ回路２から直接取り込み詳細は後述するマトリクス演算処理を行うマトリクス（ＭＴＸ）演算処理部６１と、ＭＴＸ演算処理部６１の演算処理結果を取り込んでホワイトバランス補正処理を行うホワイトバランス（ＷＢ）補正処理部６２と、ＷＢ補正処理部６２の処理結果を取り込んでガンマ変換処理を行うガンマ（γ）変換処理部６３と、γ変換処理部６３の処理結果を取り込んで輝度（Ｙ）色差（Ｃ）データに変換しバス１２に出力して表示部１１に表示させるＹＣ変換処理部６４からなる。
【００２６】
画像処理部５とポストビューデータ専用処理部６とは、デジタルシグナルプロセッサ（ＤＳＰ）で構成される。各々の処理部用に別個のＤＳＰを用意することでも、また、１つのＤＳＰを共用して両処理部５，６を実現しても良い。
【００２７】
図２は、本実施形態で用いるＣＣＤ型の固体撮像素子１の表面模式図である。半導体基板の表面部には、二次元アレイ状に複数の光電変換素子（フォトダイオードＰＤ：以下、画素という。）２１が配列形成されている。
【００２８】
本実施形態の固体撮像素子１は、奇数行の画素行に対して偶数行の画素行が１／２画素ピッチずつずらして配置された、所謂ハニカム画素配列となっている。奇数行（または偶数行）の画素２１には、輝度検出用の透明フィルタ（図２では、ホワイトを示す「Ｗ」と標記。）が積層され、偶数行（または奇数行）の画素にはカラーフィルタが積層されている。
【００２９】
カラーフィルタとしては、三原色の赤色（Ｒ），緑色（Ｇ），青色（Ｂ）が用意されており、カラーフィルタの積層画素だけを見たとき、カラーフィルタはベイヤー配列となっている。
【００３０】
斯かる構成の固体撮像素子１は、入射光の全てが画素に入射する高感度なＷ画素を設けており、また、Ｗ画素の数をあまり増やさずカラーフィルタ画素に対して同数だけとしているため、色解像度を比較的高水準に保ったまま、高Ｓ／Ｎ化を図ることができるという利点がある。また、グレーの信号に対する最高解像度はＷ画素，色画素の合計の画素数分の解像度となる。
【００３１】
各画素列に沿って、各画素から読み出された信号電荷を転送する垂直電荷転送路（ＶＣＣＤ）２２が垂直方向に蛇行して配置され、各垂直電荷転送路２２の転送方向端部に沿って、水平電荷転送路（ＨＣＣＤ）２３が設けられ、水平電荷転送路２３の出力端部に、転送されてきた電荷の電荷量に応じた電圧値信号を撮像画像データとして出力するアンプ２４が設けられている。
【００３２】
図２に示す固体撮像素子１からは、２フィールドに分けて撮像画像データが読み出される。第１フィールドでは、図示する例では、Ｗ画素行と、その直下のＲＧ画素行の各撮像画像データが水平電荷転送路２３に転送され、水平電荷転送路２３は、ＷＲＷＧＷＲＷＧ…と並ぶ信号電荷を転送し、アンプ２４から出力する。
【００３３】
第２フィールドでは、Ｗ画素行と、その直下のＧＢ画素行の各撮像画像データが水平電荷転送路２３に転送され、水平電荷転送路２３は、ＷＧＷＢＷＧＷＢ…と並ぶ信号電荷を転送し、アンプ２４から出力する。
【００３４】
図１に示す画像処理部５は、第１フィールドと第２フィールドで読み出された画像データを画像処理し、フィールド合成することで１枚の静止画像データを生成する。
【００３５】
しかし、フィールド合成して得た１枚の静止画像データからポストビュー画像を生成していたのでは、データ処理する信号数が膨大なためポストビュー画像の表示が遅れてしまう。そこで、本実施形態では、第１フィールドまたは第２フィールドで読み出した画像データを基にポストビュー画像の生成を行い、撮影直後にポストビュー画像の表示を可能としている。
【００３６】
図３は、図１に示す撮像装置で行われる撮像処理手順を示すフローチャートである。先ず、２段シャッタボタンが半押し（スイッチＳ１オン）されたか否かを待機し（ステップＳ１）、半押しされた場合には次のステップＳ２で、撮像素子１から、次処理の自動露出（ＡＥ），焦点位置合わせ（ＡＦ）で必要となるデータを得るために撮像データの間引き読み出しを行う。そして、このデータを基に、露出量の決定（ステップＳ３）と撮影レンズの焦点合わせ（ステップＳ４）を行う。
【００３７】
次に、２段シャッタが全押し（スイッチＳ２がオン）されたか否かを判定し（ステップＳ５）、全押しされていない場合にはステップＳ２に戻ってＡＥ用，ＡＦ用のデータ取得と夫々の決定を繰り返し、全押しされた場合には次のステップＳ６に進む。
【００３８】
ステップＳ６では、２段シャッタが全押しされたときのステップＳ２で得た画像データを解析し、粗いオートホワイトバランス補正係数を求め、更に、被写体の撮像色温度が５０００Ｋより大きいか否かを判定する（ステップＳ７）。
【００３９】
色温度が５０００Ｋより低い場合には（判定結果が否定ＮＯ）、図２に示す第２フィールドを先に読み出し（ステップＳ１０）てから次に第１フィールドを読み出し（ステップＳ１１）し、色温度が５０００Ｋより高い場合には（判定結果が肯定ＹＥＳ）、図２に示す第１フィールドを先に読み出し（ステップＳ８）てから次に第２フィールドを読み出す（ステップＳ９）。
【００４０】
第１フィールドと第２フィールドの各画像データを読み出した後、画像処理部５は、ステップＳ１２で、第１フィールドの画像データと第２フィールドの画像データを合成し、更に周知の画像処理を行う。例えば、撮像素子１から得られる画像データの画素位置が図２に示す様にハニカム位置すなわち市松位置であるため、画素データが無い位置のデータをマトリクス演算処理等で補間したり、各画素位置におけるＲＧＢ３色の色データを求める演算処理を行う。また、ガンマ変換処理等も行う。そして、生成した１枚の静止画像データを、記録メディア９に記録し、この処理を終了する。
【００４１】
ステップＳ８またはステップＳ１０で第１フィールドまたは第２フィールドの画像データが撮像素子１から読み出されると、ポストビューデータ専用処理部６がこの画像データを画像処理部５と並行して受け取り、画像処理部５の画像処理とは別にポストビュー処理（ステップＳ１５）を行う。
【００４２】
ポストビュー処理は、ポストビュー画像生成処理（ステップＳ１５ａ）と、生成したポストビュー画像を表示部１１に表示する処理ステップＳ１５ｂとからなる。
【００４３】
以下、ポストビュー画像データ生成処理（ステップＳ１５ａ）について説明する。ポストビューデータ処理部６が受け取る画像データは、第１フィールドだけ、または第２フィールドだけのデータである。
【００４４】
第１フィールドの画像データには、青色（Ｂ）の画像データが含まれず、また、第２フィールドの画像データには、赤色（Ｒ）の画像データが含まれない。
【００４５】
そこで、ポストビューデータ生成処理では、含まれない色の画像データを生成する簡易処理を行う。本実施形態の撮像素子は、Ｗ画素を有するため、このＷ画素の検出信号と、他の２色の画素の検出信号とから、残り１色の画素の検出信号を算出する。
【００４６】
即ち、Ｗ信号，Ｒ信号，Ｇ信号からなる第１フィールドの画像データに対して、次に示す数１のマトリクス演算処理を施すことで、ＲＧＢ３色の画像データを生成する。あるいは、Ｗ信号，Ｇ信号，Ｂ信号からなる第２フィールドの画像データに対して、数２のマトリクス演算処理を施すことで、ＲＧＢ３色の画像データを生成する。
【００４７】
【数１】
0004852490.tif 000002
【００４８】
【数２】
0004852490.tif 000003
【００４９】
そして、これら３色の画像データを、表示部１１の画素数に合うように間引き処理し、ステップＳ６で求めた粗いオートホワイトバランス補正係数によりホワイトバランス補正を行い、更に、ガンマ変換し、輝度データ（Ｙ）及び色差データ（Ｃ）でなるポストビュー画像データを生成する。
【００５０】
図３に示す処理手順は、全体的に、「露光制御」→「第１（第２）フィールド読出」→「第２（第１）フィールド読出」→「画像データのメモリ７への展開」→「画像処理部５による信号処理」が基本となり、ポストビュー処理は、第１（第２）フィールド読出開始後にその読出データを受けて処理を開始することになる。このため、ポストビュー表示の高速化を図ることが可能となる。このポストビュー処理は、撮像素子１から画像データが読み出されたとき、その画像データを受け取り、これをメモリ展開することなく、逐次処理で行うのが高速化のために好ましい。
【００５１】
図３に示す実施形態では、ステップＳ７で色温度を判定し、色温度によって、第１フィールド，第２フィールドの読出順を制御したが、一律に第１フィールドから先に読み出し、第１フィールドからポストビュー画像を生成することや、その逆も可能である。
【００５２】
しかし、本実施形態では、色温度によって、ポストビュー画像を生成するフィールドを選択する様にしている。その理由は、マトリクス係数が大きいほど処理後のＳ／Ｎが劣化する特性があるためである。そこで、色温度に応じて、ポストビュー画像に使用する最初の読出フィールドを切り替え、ポストビュー画像の画質向上を図っている。
【００５３】
色温度が低い場合には、青色（Ｂ）信号が小さくなるので、Ｂ信号のＳ／Ｎが劣化しないように、Ｇ／Ｂ／Ｗを読み出す第２フィールドからポストビュー画像を生成する。反対に、色温度が高い場合には、Ｒ信号が小さくなるので、Ｒ信号のＳ／Ｎが劣化しないように、Ｒ／Ｇ／Ｗを読み出す第１フィールドからポストビュー画像を生成する。
【００５４】
図３で説明した実施形態では、ポストビュー画像のホワイトバランスは、ステップＳ６で算出した補正係数を用いている。ＣＣＤ型固体撮像素子では、ＡＥ（ステップＳ３）用，ＡＦ（ステップＳ４）用にデータを取得するとき撮像素子基板に印加する電圧は、実際に静止画像を撮像するときに印加される電圧と異なる。このため、ステップＳ６で算出した粗いホワイトバランス補正係数が、実際の精度の高いホワイトバランス補正係数と異なってしまい、ポストビュー画像の画質を劣化させる虞がある。
【００５５】
図４は、ポストビュー画像のホワイトバランス補正精度を向上させた実施形態に係る処理手順を示すフローチャートである。図３に示すステップＳ７までと、ステップ１２以後の処理は、図３の実施形態と同じである。
【００５６】
本実施形態では、色温度が５０００Ｋより低い場合（判定結果がＮＯ）には、ポストビュー画像生成に使用する第２フィールド画像データの読出（ステップＳ１０）に先行して、第１フィールドの画像データ読出を行う（ステップＳ２３）。そして、次に、第１フィールドの画像データＷ（＝Ｒ＋Ｇ＋Ｂ），Ｒ，Ｇに基づき、精度の高いホワイトバランス補正係数を求める（ステップＳ２４）。
【００５７】
尚、第１フィールドの画像データのうちＲ，Ｇのデータを取り出し、次のステップＳ１０で読み出された第２フィールドの画像データからＢのデータを取り出して、ホワイトバランス補正係数を求めることでも良い。以下も同様である。
【００５８】
色温度が５０００Ｋより高い場合（判定結果がＹＥＳ）には、ポストビュー画像生成に使用する第１フィールド画像データの読出（ステップＳ８）に先行して、第２フィールドの画像データ読出を行う（ステップＳ２１）。そして、第２フィールド画像データＷ（＝Ｒ＋Ｇ＋Ｂ），Ｇ，Ｂに基づき、精度の高いホワイトバランス補正係数を求める（ステップＳ２２）。
【００５９】
ステップＳ８により第１フィールド読出が開始した後、あるいはステップＳ１０によって第２フィールド読出が開始した後は、夫々の読出処理に並行して、ポストビュー画像データの生成処理を、ステップＳ２２，２４で得たホワイトバランス補正係数を用い、図１のＡＦＥ回路２からポストビュー処理部６が画像データを直接受け取る毎に、逐次処理で行う。
【００６０】
本実施形態は、図３の実施形態に比較してポストビュー画像の生成処理が１フィールドのデータ読出分だけ遅れるが、別フィールドの画像データから得た精度の高いホワイトバランス補正係数を用いてポストビュー画像のホワイトバランス補正ができるため、精度の高い色再現を行うことが可能となる。
【００６１】
図５は、本発明の別実施形態で用いるＣＣＤ型固体撮像素子の表面模式図である。この固体撮像素子３０は、画素２１が正方格子配列されており、Ｗフィルタが市松位置に配置されている。そして、Ｒ，Ｇ，Ｂの３色のカラーフィルタが、残りの市松位置に配置されている。例えば奇数行の画素行には、ＷＧＷＧＷＧという並びに各フィルタが積層され、偶数行の画素行には、ＢＷＲＷＢＷＲＷ…という並びとＲＷＢＷＲＷＢＷ…という並びが交互に積層されている。
【００６２】
斯かる固体撮像素子において、ＢＷＲＷ…またはＲＷＢＷ…という並びの画素行から画像データを読み出すフィールドを第１フィールドとし、ＷＧＷＧという並びに画素行から画像データを読み出すフィールドを第２フィールドとすると、第１フィールドの画像データを取得すれば、画像データＷＲＢから、次の数３に示すマトリクス演算を行うことで、ＲＧＢ３色のデータを得ることが可能となる。
【００６３】
【数３】
0004852490.tif 000004
【００６４】
この場合には、図３のステップＳ７を削除し、色温度にかかわらず必ず第１フィールドから読み出し、第１フィールドのデータからポストビュー画像を生成することになる。
【００６５】
図６は、本発明の更に別実施形態に係るＣＣＤ型固体撮像素子の表面模式図である。図６のＣＣＤ型固体撮像素子は、複数の画素２１が正方格子状に配列形成され、その中にＷ画素が市松状に配列されている。そして、水平方向に「ＲＷＧＷＲＷＧＷ…」というフィルタ配列を持つ行と、「ＷＧＷＢＷＧＷＢ…」というフィルタ配列を持つ行とが交互に設けられている。この様なフィルタ配列を持つ固体撮像素子では、「ＲＷＧＷＲＷＧＷ」の配列行を第１フィールドとし、「ＷＧＷＢＷＧＷＢ」の配列行を第２フィールドとすることで、上記実施形態と同様の処理が可能となる。
【００６６】
図７は、本発明の更に別の実施形態に係るＣＣＤ型固体撮像素子の表面模式図である。図７のＣＣＤ型固体撮像素子は、複数の画素２１が正方格子状に配列形成され、その中にＷ画素列が１列置きに設けられている。そして、水平方向に「ＧＷＢＷＧＷＢＷ」というフィルタ配列を持つ行と、「ＲＷＧＷＲＷＧＷ」というフィルタ配列を持つ行とが交互に設けられている。この様なフィルタ配列を持つ固体撮像素子では、「ＲＷＧＷＲＷＧＷ」の配列行を第１フィールドとし、「ＧＷＢＷＧＷＢＷ」の配列行を第２フィールドとすることで、上記実施形態と同様の処理が可能となる。
【産業上の利用可能性】
【００６７】
本発明に係るポストビューデータ処理方法は、ポストビュー画像を高速に表示することができるため、デジタルスチルカメラ等に適用すると有用である。
【図面の簡単な説明】
【００６８】
【図１】本発明の一実施形態に係る撮像装置の機能ブロック図である。
【図２】図１に示す固体撮像素子の表面模式図である。
【図３】図１に示す撮像装置で行う撮像処理手順を示すフローチャートである。
【図４】図３に代わる実施形態に係る撮像処理手順のフローチャートである。
【図５】本発明の別実施形態を適用する固体撮像素子の表面模式図である。
【図６】本発明の更に別実施形態を適用する固体撮像素子の表面模式図である。
【図７】本発明の更に別実施形態を適用する固体撮像素子の表面模式図である。
【符号の説明】
【００６９】
１，３０  固体撮像素子
３  制御部
５  画像処理部
６  ポストビューデータ専用処理部
７  メインメモリ
１１  表示部
２１  画素
２２  垂直電荷転送路（ＶＣＣＤ）
２３  水平電荷転送路（ＨＣＣＤ）
２４  出力アンプ
Ｒ  赤色フィルタ
Ｇ  緑色フィルタ
Ｂ  青色フィルタ
Ｗ  輝度フィルタ（透明フィルタ）
【図１】
0004852490.tif 000005
【図２】
0004852490.tif 000006
【図３】
0004852490.tif 000007
【図４】
0004852490.tif 000008
【図５】
0004852490.tif 000009
【図６】
0004852490.tif 000010
【図７】
0004852490.tif 000011