(57)【特許請求の範囲】
【請求項１】
撮像素子より得たカラーの画像データを複数の画面領域に分割する分割手段と、
この分割手段で分割された画面領域毎の画像データから白画素データを抽出する抽出手段と、
この抽出手段で得た特定の画面領域の白画素データを予め設定した基準値と比較する比較手段と、
この比較手段の比較結果に基づいて上記特定の画面領域の画像データを他の画面領域の画像データと重み付けを変えてホワイトバランス調整するホワイトバランス調整手段と
を具備したことを特徴とする撮像装置。
【請求項２】
上記分割手段で分割した複数の画面領域から任意に上記特定の画面領域を指定する指定手段をさらに具備したことを特徴とする請求項１記載の撮像装置。
【請求項３】
上記特定の画像領域は、画面中央部を含むことを特徴とする請求項１記載の撮像装置。
【請求項４】
上記分割手段は、画像データを面積が不均等となるように複数の画面領域に分割し、
上記特定の画像領域は、上記分割手段が分割した面積が最大の画面領域とすることを特徴とする請求項１記載の撮像装置。
【請求項５】
白画素データが最も多く抽出された画像領域を上記特定の画像領域とすることを特徴とする請求項１記載の撮像装置。
【請求項６】
撮像素子より得たカラーの画像データを複数の画面領域に分割する分割ステップと、
この分割ステップで分割された画面領域毎の画像データから白画素データを抽出する抽出ステップと、
この抽出ステップで得た特定の画面領域の白画素データを予め設定した基準値と比較する比較ステップと、
この比較ステップの比較結果に基づいて上記特定の画面領域の画像データを他の画面領域の画像データと重み付けを変えてホワイトバランス調整するホワイトバランス調整ステップと
を有したことを特徴とする撮像装置のホワイトバランス調整方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、特にデジタルカメラに好適な撮像装置及びそのホワイトバランス調整方法に関する。
【０００２】
【従来の技術】
近時、パーソナルコンピュータの普及と共に、ＣＣＤやＣＭＯＳエリアセンサ等の電子撮像素子を用いたデジタルカメラが広く一般に普及している。この主のデジタルカメラでは、銀塩フィルムを使用した、所謂銀塩カメラと比較して、画像の色温度を適正なものとするべく、ホワイトバランス調整を行なわなくてはならない点で大きく異なる。
【０００３】
しかして、このホワイトバランス調整は、一般に撮影画面の全域の画像データ中から白画素データを検出し、検出した白画素データから適正と考えられるホワイトバランスを得るようにしていた。（因みに、ここで白画素データとは、原色ＲＧＢ信号からカラープロセス処理で白抽出を行なう際に白色とみなすエリア内に分布している画素のデータを示す。）
【０００４】
【発明が解決しようとする課題】
しかしながら、画面全域の画像データから白画素データを検出するようにしていたため、被写体の画面中での位置や構図等にかかわらず、画面全体の平均的な色温度により自動的にホワイトバランス調整がなされてしまうこととなり、使用者が撮影したい被写体自体に対しては正確なホワイトバランス調整ができない場合が多いにあり得る。
【０００５】
本発明は上記のような実情に鑑みてなされたもので、その目的とするところは、被写体の位置に合せて正確なホワイトバランス調整を行なうことが可能な撮像装置及びそのホワイトバランス調整方法を提供することにある。
【０００６】
【課題を解決するための手段】
請求項１記載の発明は、撮像素子より得たカラーの画像データを複数の画面領域に分割する分割手段と、この分割手段で分割された画面領域毎の画像データから白画素データを抽出する抽出手段と、この抽出手段で得た特定の画面領域の白画素データを予め設定した基準値と比較する比較手段と、この比較手段の比較結果に基づいて上記特定の画面領域の画像データを他の画面領域の画像データと重み付けを変えてホワイトバランス調整するホワイトバランス調整手段とを具備したことを特徴とする。
【０００７】
このような構成とすれば、被写体の位置に合せて正確なホワイトバランス調整を行なうことが可能となる。
【０００８】
請求項２記載の発明は、上記請求項１記載の発明において、上記分割手段で分割した複数の画面領域から任意に上記特定の画面領域を指定する指定手段をさらに具備したことを特徴とする。
【０００９】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、使用者が任意にその時点で撮像しようとする被写体の画面中の位置に合わせて特定の画面領域を指定することにより、どのような構図の撮影であっても、常に被写体に合わせた正確なホワイトバランス調整を行なうことが可能となる。
【００１０】
請求項３記載の発明は、上記請求項１記載の発明において、上記特定の画像領域は、画面中央部を含むことを特徴とする。
【００１１】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、画面中央部を含む画面領域をより考慮してホワイトバランス調整を行なうこととなるため、画面周辺部の影響を抑制し、中央を重点した正確なホワイトバランス調整を行なうことができる。
【００１２】
請求項４記載の発明は、上記請求項１記載の発明において、上記分割手段は、画像データを面積が不均等となるように複数の画面領域に分割し、上記特定の画像領域は、上記分割手段が分割した面積が最大の画面領域とすることを特徴とする。
【００１３】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、面積が不均等に分割された画面領域の中で最も面積の大きい部分をより考慮してホワイトバランス調整を行なうこととなるため、構図として比較的被写体が位置するパターンが多いと思われる画面中の領域を最も面積の大きなものとすれば、より高い確率で正確なホワイトバランス調整を行なうことができる。
【００１４】
請求項５記載の発明は、上記請求項１記載の発明において、白画素データが最も多く抽出された画像領域を上記特定の画像領域とすることを特徴とする。
【００１５】
このような構成とすれば、上記請求項１記載の発明の作用に加えて、最も白画素が多く、したがって、より正確なホワイトバランスが必要と思われる領域に重きをおいてホワイトバランス調整を行なうため、画面全体でもより自然で違和感のないホワイトバランスとすることができる。
【００１６】
請求項６記載の発明は、撮像素子より得たカラーの画像データを複数の画面領域に分割する分割ステップと、この分割ステップで分割された画面領域毎の画像データから白画素データを抽出する抽出ステップと、この抽出ステップで得た特定の画面領域の白画素データを予め設定した基準値と比較する比較ステップと、この比較ステップの比較結果に基づいて上記特定の画面領域の画像データを他の画面領域の画像データと重み付けを変えてホワイトバランス調整するホワイトバランス調整ステップとを有したことを特徴とする。
【００１７】
このような方法とすれば、被写体の位置に合せて正確なホワイトバランス調整を行なうことが可能となる。
【００１８】
【発明の実施の形態】
以下本発明をデジタルスチルカメラに適用した場合の実施の一形態について図面を参照して説明する。
【００１９】
図１はその回路構成を示すもので、１０がデジタルカメラである。このデジタルカメラ１０は、記録モードと再生モードとを設定可能であり、記録モードの状態においては、レンズ１１の後方に配置されたＣＣＤ１２は、タイミング発生器（ＴＧ）１３、垂直ドライバ１４によって走査駆動され、一定周期毎に光電変換出力を１画面分出力する。
【００２０】
この光電変換出力は、アナログ値の信号の状態でＲＧＢの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路（Ｓ／Ｈ）１５でサンプルホールドされ、Ａ／Ｄ変換器１６でデジタルデータに変換され、カラープロセス回路１７で画素補間処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒが生成され、ＤＭＡ（Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ
Ａｃｃｅｓｓ）コントローラ１８に出力される。
【００２１】
ＤＭＡコントローラ１８は、カラープロセス回路１７の出力する輝度信号Ｙ及び色差信号Ｃｂ，Ｃｒを、同じくカラープロセス回路１７からの同期信号、メモリ書込みイネーブル信号、及びクロック信号を用いて一度ＤＭＡコントローラ１８内部のバッファに書込み、ＤＲＡＭインタフェース（Ｉ／Ｆ）１９を介してＤＲＡＭ２０にＤＭＡ転送を行なう。
【００２２】
ＣＰＵ２１は、上記輝度及び色差信号のＤＲＡＭ２０へのＤＭＡ転送終了後に、この輝度及び色差信号をＤＲＡＭインタフェース１９を介してＤＲＡＭ２０より読出し、ＶＲＡＭコントローラ２２を介してＶＲＡＭ２３に書込む。
【００２３】
デジタルビデオエンコーダ（以下「ビデオエンコーダ」と略称する）２４は、上記輝度及び色差信号をＶＲＡＭコントローラ２２を介してＶＲＡＭ２３より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部２５に出力する。
【００２４】
この表示部２５は、例えばバックライト付のカラー液晶表示パネルとその駆動回路とで構成され、カメラ本体の背面側に配設されて、記録モード時にはＥＶＦ（Ｅｌｅｃｔｒｏｎｉｃ  Ｖｉｅｗ  Ｆｉｎｄｅｒ：電子ビューファインダ）として機能するもので、ビデオエンコーダ２４からのビデオ信号に基づいた表示を行なうことで、その時点でＶＲＡＭコントローラ２２から取込んでいる画像情報に基づく画像を表示することとなる。
【００２５】
そして、このように表示部２５にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、記録保存を行ないたいタイミングでキー入力部２６を構成する複数のキー中のシャッタキーを操作すると、トリガ信号を発生する。
【００２６】
ＣＰＵ２１は、このトリガ信号に応じてその時点でＣＣＤ１２から取込んでいる１画面分の輝度及び色差信号のＤＲＡＭ２０へのＤＭＡ転送の終了後、直ちにＣＣＤ１２からのＤＲＡＭ２０への経路を停止し、記録保存の状態に遷移する。
【００２７】
この記録保存の状態では、ＣＰＵ２１がＤＲＡＭ２０に書込まれている１フレーム分の輝度及び色差信号をＤＲＡＭインタフェース１９を介してＹ，Ｃｂ，Ｃｒの各コンポーネント毎に縦８画素×横８画素の基本ブロックと呼称される単位で読出してＪＰＥＧ回路２７に書込み、このＪＰＥＧ回路２７でＡＤＣＴ（Ａｄａｐｔｉｖｅ  Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：適応離散コサイン変換）、エントロピ符号化方式であるハフマン符号化等の処理によりデータ圧縮し、得た符号データを１画像のデータファイルとして該ＪＰＥＧ回路２７から読出し、このデジタルカメラ１０の記憶媒体として着脱自在に装着される、不揮発性メモリであるフラッシュメモリ２８に書込む。
【００２８】
そして、１フレーム分の輝度及び色差信号の圧縮処理及びフラッシュメモリ２８への全圧縮データの書込み終了に伴なって、ＣＰＵ２１は再度ＣＣＤ１２からＤＲＡＭ２０への経路を起動する。
【００２９】
この際、併せてＣＰＵ２１は、元の画像データの構成画素数を大幅に間引いた画像データを作成し、これをサムネイル画像とも呼称されるプレビュー画像として元の画像データに関連付けてフラッシュメモリ２８に記憶させる。
【００３０】
なお、上記キー入力部２６は、上述したシャッタキーの他に、記録（ＲＥＣ）モードと再生（ＰＬＡＹ）モードとを切換える録／再モード切換えキー、各種撮影モードを選択するためのモードキー、画像選択やホワイトバランスの画面中での重点調整位置の指定等のために上下左右各方向を指示するカーソルキーや選択内容を決定するための「Ｅｎｔｅｒ」キー等から構成され、キー操作に伴なう信号は直接ＣＰＵ２１へ送出される。
【００３１】
また、再生モードでは、ＣＰＵ２１はＣＣＤ１２からＤＲＡＭ２０への経路を停止し、キー入力部２６の画像選択キー等の操作に応じてＣＰＵ２１がフラッシュメモリ２８から特定の１フレーム分の符号データを読出してＪＰＥＧ回路２７に書込み、ＪＰＥＧ回路２７で伸長処理を行なって得られた縦８画素×横８画素の基本ブロック単位に、ＶＲＡＭコントローラ２２を介してＶＲＡＭ２３へ１フレーム分の輝度及び色差信号を展開記憶させる。すると、ビデオエンコーダ２４は、ＶＲＡＭ２３に展開記憶されている１フレーム分の輝度及び色差信号を元にビデオ信号を発生し、表示部２５で表示させる。
【００３２】
次に上記実施の形態の動作について説明する。
【００３３】
まず、上記カラープロセス回路１７内でホワイトバランス調整を行なう回路の概念的な構成を図２に示す。なお、ここでは上記ＣＣＤ１２が原色系（ＲＧＢ）のカラーフィルタを有するものとして説明する。
【００３４】
同図で、ＣＣＤ１２から出力され、サンプルホールド回路１５、Ａ／Ｄ変換器１６を介してデジタル化された画像データは、分解器３１に入力される。
【００３５】
この分解器３１は、入力された画像データをその色成分毎に分解してまとめて出力するもので、最も輝度信号に近いＧ信号は直接マトリクス回路３２及び白抽出回路３３に送られる一方、Ｒ信号はマトリクス回路３２へはアンプ３４ａを介して、白抽出回路３３へは直接送られ、同様にＢ信号はマトリクス回路３２へはアンプ３４ｂを介して、白抽出回路３３へは直接送られる。
【００３６】
分解器３１からＲＧＢ各信号が直接入力される白抽出回路３３は、入力された内容から画像中で白い画素（以下「白画素」と称する）であると思われる位置範囲のものを抽出し、それらの画素の積分値を算出して色温度検出回路３５へ出力する。
【００３７】
色温度検出回路３５は、白抽出回路３３から与えられる積分値により上記アンプ３４ａ，３４ｂのゲイン調整を行ない、マトリクス回路３２に入力されるＲＧＢ信号が、白画素部分でＧ−Ｒ＝Ｇ−Ｂ＝０となるようにするものである。
【００３８】
色温度検出回路３５は、こうして白画素部分に合わせてホワイトバランスが調整されたＲＧＢの各信号からマトリクス演算を行なうことで、色差信号Ｃｂ，Ｃｒを算出して次段に出力する。
【００３９】
次いで主としてカラープロセス回路１７におけるホワイトバランス調整の自動追従動作について説明する。
【００４０】
図３はＣＣＤ１２を駆動して画像データが得られる毎にカラープロセス回路１７で実行されるホワイトバランス調整に係る一連の処理内容を示すものであり、その当初には１フレーム分の画像データを例えば図４に示すように（１）〜（３）の３つのブロック領域に分割した上で（ステップＡ０１）、白抽出回路３３により各ブロック領域毎に白画素の抽出を行ない、白画素の画素数と積分値とを算出して色温度検出回路３５へ出力する（ステップＡ０２）。
【００４１】
色温度検出回路３５では、画面中央のブロック領域（１）の白画素数が予め設定した基準値ｎより大きいか否かによりホワイトバランス調整を行なうか否かを判断する（ステップＡ０３）。
【００４２】
ここで、白画素数が基準値ｎより多いと判断した場合にのみ、画面中央のブロック領域（１）を他の周辺のブロック領域に比して重み付けするものとして、ホワイトバランス調整のためのアンプ３４ａ，３４ｂのゲインコントロールを行なう（ステップＡ０４）。
【００４３】
この重み付けの方法の１つとしては、ブロック領域（１）〜（３）の面積の比に応じて単位面積当たりの白画素数と積分値を算出した上で、それらの値をブロック領域（１）〜（３）の比率が例えば４：１：１となるように画面中央に重み付けを行なうものとして白画素数と積分値とからＲ，Ｂ信号を変動させる値を算出し、その値に基づいてアンプ３４ａ，３４ｂでゲインコントロールを行なうことが考えられる。
【００４４】
こうして、ＣＣＤ１２を駆動して画像データが得られる毎に上記のようなホワイトバランス調整を行なうことにより、常に正しいホワイトバランスが得られるようにデジタルカメラ１０を追従動作させることができる。
【００４５】
なお、上記説明では図４に示したように１フレーム分のデータを面積の異なる複数のブロック領域（１）〜（３）に分割し、その画面中央のブロック領域（１）を重点としてホワイトバランス調整を行なうようにしたため、特にデジタルカメラ１０のＡＥ（自動露出）機能として中央重点露出を、ＡＦ（自動焦点）機能として中央のスポットＡＦをそれぞれ設定している場合にこれらと併用することで、より被写体の画像に適した正確なホワイトバランス調整を行なうことができるようになる。
【００４６】
また、１フレームの画像データを例えば縦３×横３の計９個、あるいは縦５×横５の計２５個の面積が均等なブロック領域に分割し、ホワイトバランス調整のマニュアルモード設定でカーソルキー等の操作によりユーザがその撮影時の構図と被写体の位置関係により重点的にホワイトバランス調整を行なうブロック領域を任意に選択できるものとしてもよく、そうすることで、どのような構図であってもユーザの意図を正確に反映したホワイトバランスでの撮影を行なうことができる。
【００４７】
さらには、画面の領域の分割パターンを工夫して、より多くの構図で共通して被写体が位置すると思われる部分の領域が他のブロック領域よりも面積が大きくなるように設定し、その最も面積が大きい領域を他の領域より重きをおくものとして白画素の重み付けを行ない、ホワイトバランス調整を行なうものとしてもよく、そうすることで、より高い確率で正確なホワイトバランス調整を行なうことができる。
【００４８】
加えて、画面を分割した領域の面積をあえて考慮にいれず、抽出した白画素の数が最も多い領域に他の領域より重きをおくものとして白画素の重み付けを行ない、ホワイトバランス調整を行なうものとしてもよい。
【００４９】
図５はそのような本発明の実施の形態の他の処理内容を示すものであり、その当初には１フレーム分の画像データを予め設定された領域に分割した上で（ステップＢ０１）、白抽出回路３３により各領域毎に白画素の抽出を行ない、白画素の画素数と積分値とを算出して色温度検出回路３５へ出力する（ステップＢ０２）。
【００５０】
色温度検出回路３５では、まずそれぞれの領域毎の白画素数のうちで最大のものとなる領域を選定し（ステップＢ０３）、選定した領域の白画素数の最大値が予め設定した基準値ｎより大きいか否かによりホワイトバランス調整を行なうか否かを判断する（ステップＢ０４）。
【００５１】
ここで、白画素数が基準値ｎより多いと判断した場合にのみ、その選定した領域を他の周辺のブロック領域に比して重み付けするものとして、ホワイトバランス調整のためのアンプ３４ａ，３４ｂのゲインコントロールを行なう（ステップＢ０５）。
【００５２】
この重み付けの方法の１つとしては、ブロック領域（１）〜（３）の面積の比に応じて単位面積当たりの白画素数と積分値を算出した上で、それらの値をブロック領域（１）〜（３）の比率が例えば４：１：１となるように画面中央に重み付けを行なうものとして白画素数と積分値とからＲ，Ｂ信号を変動させる値を算出し、その値に基づいてアンプ３４ａ，３４ｂでゲインコントロールを行なうことが考えられる。
【００５３】
こうして、ＣＣＤ１２を駆動して画像データが得られる毎に上記のようなホワイトバランス調整を行なうことにより、常に正しいホワイトバランスが得られるようにデジタルカメラ１０を追従動作させることができる。
【００５４】
このように、分割した領域の面積をあえて考慮せずに、最も白画素が多く、したがって、より正確なホワイトバランスが必要と思われる領域に重きをおいてホワイトバランス調整を行なうようになるため、画面全体でもより自然で違和感のないホワイトバランスとすることができる。
【００５５】
なお、本発明は実施の形態として撮像素子にＣＣＤを用いたデジタルスチルカメラに適用した場合について説明したが、ホワイトバランス調整が必要なデジタルカメラであれば、本発明は撮像素子やスチルカメラ／ビデオカメラの区別なく適用可能であることは勿論である。
【００５６】
その他、本発明は上記実施の形態に限らず、その要旨を逸脱しない範囲内で種々変形して実施することが可能であるものとする。
【００５７】
さらに、上記実施の形態には種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合わせにより種々の発明が抽出され得る。例えば、実施の形態に示される全構成要件からいくつかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題の少なくとも１つが解決でき、発明の効果の欄で述べられている効果の少なくとも１つが得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【００５８】
【発明の効果】
請求項１記載の発明によれば、被写体の位置に合せて正確なホワイトバランス調整を行なうことが可能となる。
【００５９】
請求項２記載の発明によれば、上記請求項１記載の発明の効果に加えて、使用者が任意にその時点で撮像しようとする被写体の画面中の位置に合わせて特定の画面領域を指定することにより、どのような構図の撮影であっても、常に被写体に合わせた正確なホワイトバランス調整を行なうことが可能となる。
【００６０】
請求項３記載の発明によれば、上記請求項１記載の発明の効果に加えて、画面中央部を含む画面領域をより考慮してホワイトバランス調整を行なうこととなるため、画面周辺部の影響を抑制し、中央を重点した正確なホワイトバランス調整を行なうことができる。
【００６１】
請求項４記載の発明によれば、上記請求項１記載の発明の効果に加えて、面積が不均等に分割された画面領域の中で最も面積の大きい部分をより考慮してホワイトバランス調整を行なうこととなるため、構図として比較的被写体が位置するパターンが多いと思われる画面中の領域を最も面積の大きなものとすれば、より高い確率で正確なホワイトバランス調整を行なうことができる。
【００６２】
請求項５記載の発明によれば、上記請求項１記載の発明の効果に加えて、最も白画素が多く、したがって、より正確なホワイトバランスが必要と思われる領域に重きをおいてホワイトバランス調整を行なうため、画面全体でもより自然で違和感のないホワイトバランスとすることができる。
【００６３】
請求項６記載の発明によれば、被写体の位置に合せて正確なホワイトバランス調整を行なうことが可能となる。
【図面の簡単な説明】
【図１】本発明の実施の一形態に係るデジタルカメラの電子回路構成を示すブロック図。
【図２】図１のカラープロセス回路内でホワイトバランス調整を行なう回路の概念構成を示すブロック図。
【図３】同実施の形態に係るカラープロセス回路でのホワイトバランス調整の処理内容を示すフローチャート。
【図４】同実施の形態に係る１フレーム分の画像データの複数のブロック領域への分割を例示する図。
【図５】同実施の形態に係るカラープロセス回路でのホワイトバランス調整の他の処理内容を示すフローチャート。
【符号の説明】
１０…デジタルカメラ
１１…レンズ
１２…ＣＣＤ
１３…タイミング発生器（ＴＧ）
１４…垂直ドライバ
１５…サンプルホールド回路（Ｓ／Ｈ）
１６…Ａ／Ｄ変換器（Ａ／Ｄ）
１７…カラープロセス回路
１８…ＤＭＡコントローラ
１９…ＤＲＡＭインタフェース（Ｉ／Ｆ）
２０…ＤＲＡＭ
２１…ＣＰＵ
２２…ＶＲＡＭコントローラ
２３…ＶＲＡＭ
２４…ビデオエンコーダ
２５…表示部
２６…キー入力部
２７…ＪＰＥＧ回路
２８…フラッシュメモリ
３１…分解器
３２…マトリクス回路
３３…白抽出回路
３４ａ，３４ｂ…アンプ（Ａｍｐ．）
３５…色温度検出回路
【図１】
0003915404.tif 000002
【図２】
0003915404.tif 000003
【図３】
0003915404.tif 000004
【図４】
0003915404.tif 000005
【図５】
0003915404.tif 000006