(57)【特許請求の範囲】
【請求項１】
撮像画像における輝度または色の違いに基づいて前記撮像画像から画像提示装置によって提示された提示画像の領域の検出を行う提示画像検出部と、
予め前記画像提示装置によって提示された無彩色画像の撮像画像から算出されているホワイトバランス補正係数を用いて前記提示画像の領域のホワイトバランス調整を行い、予め照明に応じて算出されているホワイトバランス補正係数を用いて前記提示画像を除く他の領域のホワイトバランス調整を行うホワイトバランス調整部と
を有する画像処理装置。
【請求項２】
前記ホワイトバランス調整部は、予め設定されているホワイトバランス補正係数を用いて前記検出された提示画像の領域のホワイトバランス調整を行い、前記他の画像における第１の無彩色領域の画像から算出したホワイトバランス補正係数を用いて前記他の画像の領域のホワイトバランス調整を行う、請求項１記載の画像処理装置。
【請求項３】
前記ホワイトバランス調整部は、前記予め設定されているホワイトバランス補正係数に換えて前記検出された提示画像における第２の無彩色領域の画像から算出したホワイトバランス補正係数を用いる、請求項２記載の画像処理装置。
【請求項４】
前記ホワイトバランス調整部は、前記他の画像における第１の無彩色領域の画像と、前記検出された提示画像における第２の無彩色領域の画像との中間である無彩色に応じたホワイトバランス補正係数を算出して、該算出したホワイトバランス補正係数を用いて、前記検出された提示画像の領域と前記他の画像の領域との境界部分のホワイトバランス調整を行う、請求項３記載の画像処理装置。
【請求項５】
前記ホワイトバランス調整部は、前記撮像画像の画像信号が前記提示画像の領域または前記他の画像の領域のいずれであるかに応じてホワイトバランス補正係数を切り換えて、ホワイトバランス調整を行う、請求項１記載の画像処理装置。
【請求項６】
前記ホワイトバランス調整部は、前記他の画像における第１の無彩色領域の画像と、前記検出された提示画像における第２の無彩色領域の画像との中間である無彩色に応じたホワイトバランス補正係数を算出して、該算出したホワイトバランス補正係数を、前記領域毎にそれぞれ設けたホワイトバランス補正係数とする、請求項１記載の画像処理装置。
【請求項７】
撮像画像における輝度または色の違いに基づいて、前記撮像画像から画像提示装置によって提示された提示画像の領域の検出を行う提示画像検出工程と、
予め前記画像提示装置によって提示された無彩色画像の撮像画像から算出されているホワイトバランス補正係数を用いて前記提示画像の領域のホワイトバランス調整を行い、予め照明に応じて算出されているホワイトバランス補正係数を用いて前記提示画像を除く他の領域のホワイトバランス調整を行うホワイトバランス調整工程と
を有する画像処理方法。
【請求項８】
被写体を撮像して撮像画像を得る撮像部と、
前記撮像画像における輝度または色の違いに基づいて、前記撮像画像から画像提示装置によって提示された提示画像の領域の検出を行う提示画像検出部と、
予め前記画像提示装置によって提示された無彩色画像の撮像画像から算出されているホワイトバランス補正係数を用いて前記提示画像の領域のホワイトバランス調整を行い、予め照明に応じて算出されているホワイトバランス補正係数を用いて前記提示画像を除く他の領域のホワイトバランス調整を行うホワイトバランス調整部と
を有する撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、画像処理装置と画像処理方法および撮像装置に関する。詳しくは、撮像画像から提示装置によって提示された提示画像の領域を検出して、この検出された提示画像の領域と提示画像を除く他の画像の領域毎にホワイトバランス調整を行うことで、正しくホワイトバランス調整が行われた撮像画像を得るものである。
【背景技術】
【０００２】
近年、コンピュータ装置をプロジェクタに接続して、スクリーンに資料等の画像を投射してプレゼンテーションを行うことが頻繁に行われるようになってきている。それに伴い、セミナーやミーティングなどの内容を議事録として保存するため、ビデオカメラ等の撮像装置を用いてプレゼンテーションの様子を撮影する機会も増えている。また、スクリーンを撮像して得られる撮像画像を離れている相手先のモニタ装置に表示して、例えば遠隔会議等が行われている。さらに、スクリーンに投影された画像だけでなく、コンピュータ装置のモニタやテレビジョン装置の表示画面を撮影することもよく行われている。
【０００３】
また、撮像装置では、被写体の色をより正確に再現するため、ホワイトバランス調整が行われている。例えば特許文献１の発明では、撮像画像から抽出した各色の照明成分画像を輝度値に応じて分割して、領域毎の各色の輝度平均値に基づき、領域毎の各色のホワイトバランス補正係数を算出して、このホワイトバランス補正係数を用いてホワイトバランス調整を行うことで、被写体の色が偏っていたり、被写界に異なる光源が複数存在する場合でも、正しくホワイトバランス調整を行うことが開示されている。
【０００４】
【特許文献１】特開２００７−１２９６２２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところで、スクリーンに投影された画像等（以下「提示画像」という）を撮像すると、ホワイトバランス調整に失敗して提示画像の変色を生じるおそれがある。このような問題の主要因は、スクリーンに投影された画像における白色が無彩色と判断されないためである。
【０００６】
ホワイトバランス調整では、撮像画像から無彩色領域と定義される画像を抽出し、その領域の三原色信号のレベルが同じになるように色補正が行われている。図１９は（Ｒ／Ｇ）−（Ｂ／Ｇ）平面での無彩色領域を例示したものである。この図１９の無彩色領域ＡＣＳに存在する画素を撮影画像中から見つけ出し、三原色信号のレベルを同じにするように赤色信号と青色信号に対してそれぞれホワイトバランス補正係数を掛け算して、三原色信号のレベルを等しくする。例えば、緑色信号の信号レベルを一定に保つ場合では、赤色信号と青色信号に対するホワイトバランス補正係数は式（１）、（２）で計算できる。なお式（１）（２）において、「Ｋr」は赤色信号に対するホワイトバランス補正係数、「Ｋｂ」は青色信号に対するホワイトバランス補正係数、「ＬＶg」は補正前の緑色信号の信号レベル、「ＬＶｒ」は補正前の赤色信号の信号レベル、「ＬＶｂ」は補正前の青色信号の信号レベルをそれぞれ示している。
Ｋｒ＝ＬＶｇ／ＬＶｒ      ・・・（１）
Ｋｂ＝ＬＶｇ／ＬＶｂ      ・・・（２）
【０００７】
しかしながら、スクリーンに投影された画像における無彩色は、（Ｒ／Ｇ）−（Ｂ／Ｇ）平面において、図１９に示すように、一般的な光源（例えば太陽光や白熱灯）下で撮像した画像における無彩色領域ＡＣＳとは異なる位置ＡＣｐａとなることが実験的に得られている。したがって、スクリーンに投影されている画像を撮像してホワイトバランス調整を行っても、提示画像の白色が無彩色として引き込まれないため、提示画像では正しくホワイトバランス調整が行われなくなってしまう。
【０００８】
図２０は、一般的な光源下で撮像した画像と提示画像における無彩色領域が異なるときの動作を示している。例えば、図２０の（Ａ）に示すように、スクリーンに投影されている提示画像を撮像したとき、白色を基調とした提示画像は図２０の（Ｂ）のように青みを帯びた画像となってしまう。なお、図２０の（Ｂ）において、斜線で示す領域は青みを帯びた提示画像の領域を示している。また、撮像装置にマニュアルホワイトバランス調整機能が設けられており、この機能を用いてホワイトバランス調整を行うものとすれば、白色を基調とした提示画像にできる。しかし、その他の画像（以下「背景画像」という）は図２０の（Ｃ）のように赤みを帯びた画像となってしまう。なお、図２０の（Ｃ）において、斜線で示す領域は赤みを帯びた背景画像の領域を示している。
【０００９】
また、特許文献１の発明のようにホワイトバランス調整を行うものとしても、スクリーンに投影された画像における白色を無彩色範囲と定義していないため、ホワイトバランス調整後も提示画像に対しては自然な色を再現することができない。また、人間の目は画像の領域毎に正確にホワイトバランスを行っているので、ホワイトバランス調整後の撮像画像は実際の被写体と見た目が違ったものになってしまう。
【００１０】
そこで、この発明では、提示画像を撮像した場合であっても、正しくホワイトバランス調整が行われた撮像画像を得ることができるホワイトバランス調整装置とホワイトバランス調整方法および撮像装置を提供するものである。
【課題を解決するための手段】
【００１１】
この発明の概念は、撮像画像から提示装置によって提示された提示画像、例えばプロジェクタによってスクリーンに投影された画像の領域を検出して、提示画像の領域と背景画像の領域に対して領域毎にそれぞれホワイトバランス補正係数を設けてホワイトバランス調整を行うことにより、提示画像と背景画像のそれぞれが正しくホワイトバランス調整された撮像画像を得るものである。
【００１２】
この発明の画像処理装置は、撮像画像における輝度または色の違いに基づいて、撮像画像から画像提示装置によって提示された提示画像の領域の検出を行う提示画像検出部と、予め画像提示装置によって提示された無彩色画像の撮像画像から算出されているホワイトバランス補正係数を用いて提示画像の領域のホワイトバランス調整を行い、予め照明に応じて算出されているホワイトバランス補正係数を用いて提示画像を除く他の領域のホワイトバランス調整を行うホワイトバランス調整部とを有するものである。
【００１３】
また、この発明に係る画像処理方法は、撮像画像における輝度または色の違いに基づいて、撮像画像から画像提示装置によって提示された提示画像の領域の検出を行う提示画像検出工程と、予め画像提示装置によって提示された無彩色画像の撮像画像から算出されているホワイトバランス補正係数を用いて提示画像の領域のホワイトバランス調整を行い、予め照明に応じて算出されているホワイトバランス補正係数を用いて提示画像を除く他の領域のホワイトバランス調整を行うホワイトバランス調整工程とを有するものである。
【００１４】
さらに、この発明に係る撮像装置は、被写体を撮像して撮像画像を得る撮像部と、撮像画像における輝度または色の違いに基づいて、撮像画像から画像提示装置によって提示された提示画像の領域の検出を行う提示画像検出部と、予め画像提示装置によって提示された無彩色画像の撮像画像から算出されているホワイトバランス補正係数を用いて提示画像の領域のホワイトバランス調整を行い、予め照明に応じて算出されているホワイトバランス補正係数を用いて提示画像を除く他の領域のホワイトバランス調整を行うホワイトバランス調整部とを有するものである。
【００１５】
この発明においては、撮像画像から提示画像の領域が検出されて、提示画像の領域と提示画像を除く他の画像の領域に対して、領域毎にそれぞれ設けたホワイトバランス補正係数を用いてホワイトバランス調整が行われる。例えば提示画像の領域は、予め設定されているホワイトバランス補正係数を用いてホワイトバランス調整が行われて、他の画像の領域は、他の画像における第１の無彩色領域の画像から算出したホワイトバランス補正係数を用いてホワイトバランス調整が行われる。また、予め設定されているホワイトバランス補正係数に換えて、検出した提示画像における第２の無彩色領域の画像から算出したホワイトバランス補正係数を用いてホワイトバランス調整が行われる。また、他の画像における第１の無彩色領域の画像と、検出された提示画像における第２の無彩色領域の画像との中間である無彩色に応じたホワイトバランス補正係数を算出して、この算出したホワイトバランス補正係数を用いて、提示画像の領域と他の画像の領域との境界部分のホワイトバランス調整が行われる。また、第１と第２の無彩色領域の画像との中間である無彩色に応じたホワイトバランス補正係数を、領域毎にそれぞれ設けたホワイトバランス補正係数として用いてホワイトバランス調整を行うことも可能とされる。
【発明の効果】
【００１６】
この発明によれば、撮像から提示装置によって提示された提示画像の領域が検出されて、この検出された提示画像の領域と提示画像を除く他の画像の領域に対して、領域毎にそれぞれ設けたホワイトバランス補正係数を用いてホワイトバランス調整が行われる。このため、提示画像の領域と他の画像の領域について、それぞれ正しくホワイトバランス調整が行われた撮像画像を得ることができる。
【発明を実施するための最良の形態】
【００１７】
以下、図を参照しながら、この発明の実施の一形態について説明する。図１は、撮像装置の構成を示している。被写体光は、レンズ部１１と絞り機構１２を介して撮像部２１の撮像素子２１１例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサに入射される。
【００１８】
撮像素子２１１は、受光面に結像された被写体像の撮像光を、画素毎に電気信号に変換して三原色の画像信号を生成する。また、生成した画像信号をＣＤＳ（Correlated Double Sampling circuit）部２１２に供給する。
【００１９】
ＣＤＳ部２１２は、撮像素子から供給された画像信号のノイズ除去を行い、ノイズ除去後の画像信号を増幅部２１３に供給する。増幅部２１３は、ＣＤＳ部２１２から供給された画像信号のゲイン調整を行い、ゲイン調整後の画像信号ＳａをＡ／Ｄ（Analog / Digital）変換部２３に供給する。
【００２０】
タイミング信号発生部２２は、撮像素子２１１で画像信号を生成するための駆動信号ＴＤを生成して撮像素子２１１に供給する。また、タイミング信号発生部２２は、駆動信号ＴＤによって、撮像素子２１１における露光時間（光電変換によって得られた有効電荷の蓄積時間）を制御する。
【００２１】
Ａ／Ｄ変換部２３は、アナログの画像信号Ｓａをディジタルの画像信号ＤＶａに変換して、提示画像検出部３１と検波部３２および画像処理部３５に供給する。
【００２２】
提示画像検出部３１は、画像信号ＤＶａに基づく撮像画像から提示画像の領域を検出する処理を行い、検出結果を示す検出信号ＪＡを生成して画像処理部３５と制御部５１に供給する。
【００２３】
提示画像の検出方法は特定の検出方法に限られるものではなく、撮像画像から提示画像の領域を精度よく検出できれば、いずれの検出方法を用いるものとしてもよい。例えば、提示画像検出部３１は、三原色の画像信号ＤＶａを輝度信号ＤＹと色差信号ＤＣに変換して、輝度信号ＤＹを閾値と比較することで輝度信号ＤＹの２値化を行い、輝度２値化信号ＢＹを生成する。なお、２値化に用いる閾値は、予め固定したレベルに閾値を設定しておくものとしてもよく、撮像画像から提示画像を精度よく検出できるように、撮像画像に応じて設定するものとしてもよい。次に、提示画像検出部３１は、ライン毎に輝度信号ＤＹの信号レベルが閾値よりも高い画素をカウントすることで水平分布を求める。同様に、水平方向の画素位置毎に、輝度信号ＤＹの信号レベルが閾値よりも高い画素を垂直方向にカウントすることで垂直分布を求める。さらに、提示画像検出部３１は、水平分布から上辺および下辺および垂直分布から左辺と右辺の検出を行う。例えば、提示画像検出部３１は、水平分布および垂直分布の立ち上がり（立ち下がり）を生じた位置や立ち上がり（立ち下がり）が完了した位置等から辺の位置を検出する。次に、提示画像検出部３１は、検出した上辺，下辺，左辺および右辺が提示画像の各辺に相当するものであることを判別したとき、例えば検出した上辺，下辺，左辺および右辺で囲まれる領域が提示画像のアスペクト比に近似していることを判別したとき、検出された上辺，下辺，左辺および右辺で囲まれる領域を提示画像の領域として、この提示画像の領域を示す検出信号ＪＡを画像処理部３５と制御部５１に供給する。
【００２４】
また、提示画像検出部３１は、水平分布と垂直分布に基づき画像の頂点を検出して、検出した頂点が提示画像の各頂点に相当するものであることを判別したとき、例えば検出した頂点で囲まれる領域が提示画像のアスペクト比に近似していることを判別したとき、検出した頂点を直線で結んで囲まれる領域を提示画像の領域としてもよい。なお、提示画像検出部３１は、水平分布および垂直分布の立ち上がりを生じた位置や分布の立ち上がりが完了した位置を頂点とする。
【００２５】
また、提示画像検出部３１は、エッジ検出を行い、エッジ検出結果から提示画像の領域を検出するものとしてもよい。すなわち、輝度二値化信号から黒レベルと白レベルの境界であるエッジを検出する。次に、黒レベルの領域と白レベルの領域との境界を示す境界線を検出する。ここで、提示画像は矩形状とされているので、境界線の検出では、直線状の境界線を検出する。さらに、検出された境界線で囲まれる矩形状あるいは台形状の領域から、提示画像に対応する領域を選択する。さらに、提示画像検出部３１は輪郭抽出を行って４つの頂点を求めて、この頂点を直線で結んで囲んだ領域を提示画像の領域とすることもできる。
【００２６】
検波部３２は、供給された画像信号ＤＶａから撮像画像の明るさを示す検波信号ＪＢを生成して制御部５１に供給する。検波部３２は、例えば撮像画像をｍ×ｎ個の検波ブロックに分割し、それぞれのブロックにおける各画素の明るさを示す信号の総和を算出する。さらに、検波部３２は、算出した総和に対してブロック毎に重み付けを行い、重み付け後の総和の加算値を示す検波信号ＪＢを制御部５１に供給する。
【００２７】
画像処理部３５は、Ａ／Ｄ変換部２３から供給された画像信号ＤＶａに対して種々の画像処理を行う。例えばホワイトバランス(ＷＢ)調整部３５１では、撮像画像における白色の被写体が正しく白色として表示されるように、ホワイトバランス調整を行う。ガンマ補正部３５２では、予め設定されたガンマカーブを用いて画像信号のレベル変換を行う。またホワイトバランス調整部３５１は、検出信号ＪＡに基づき、提示画像の領域に対応したホワイトバランス調整と提示画像を除く他の画像（背景画像）の領域に対応したホワイトバランス調整を領域毎に行う。
【００２８】
図２は、ホワイトバランス調整部３５１の構成を示している。ホワイトバランス検波部３５１ａは、画像信号ＤＶａから無彩色領域の画像信号を抽出して、検波信号ＪＣとしてホワイトバランス補正係数設定部３５１ｂに供給する。また、ホワイトバランス検波部３５１ａは、検出信号ＪＡに基づき提示画像の領域と背景画像の領域とで無彩色領域を切り換える。
【００２９】
ホワイトバランス補正係数設定部３５１ｂは、ホワイトバランス検波部３５１ａから供給された検波信号ＪＣからホワイトバランス補正係数Ｋを決定して補正処理部３５１ｃに供給する。
【００３０】
補正処理部３５１ｃは、画像信号ＤＶａに対して補正係数Ｋを乗算することでホワイトバランス調整を行い、ホワイトバランス調整後の画像信号ＤＶｂを図１に示すガンマ補正部３５２に供給する。
【００３１】
また、画像処理部３５は、例えばホワイトバランス調整やガンマ補正等が行われた三原色の画像信号を、静止画像または動画像の画像符号化技術に応じた画像信号例えば輝度信号や色差信号等に変換して圧縮伸長処理を行い、得られた静止画像または動画像の圧縮符号化信号ＧＤａを記録再生部３７出力する。さらに、圧縮伸長処理が行われていない静止画像や動画像の画像信号および／または圧縮符号化信号を外部機器（図示せず）に出力する処理を行う。画像処理部３５は、圧縮符号化信号ＧＤｂが記録再生部３７から供給されたとき、圧縮符号化信号ＧＤｂを圧縮符号化処理前の画像信号に戻す処理を行う。さらに、画像処理部３５は、画像信号ＤＶａから表示画像信号ＨＧを生成して表示部３８に供給する。また、画像処理部３５は、制御部５１から供給された表示信号ＨＥに基づき、提示画像撮像モードに設定されたことを示す情報等がオンスクリーン表示されている表示画像信号ＨＧの生成等も行う。
【００３２】
記録再生部３７は、画像処理部３５から供給された圧縮符号化信号ＧＤａを、記録媒体例えば半導体メモリや光ディスクあるいは磁気テープ等の記録媒体に記録する。また、記録媒体に記録されている圧縮符号化信号ＧＤｂを読み出して画像処理部３５に供給する。
【００３３】
表示部３８は、例えば液晶表示素子等を用いて構成されており、画像処理部３５から供給された表示画像信号ＨＧに基づいて画像表示を行う。
【００３４】
レンズ駆動部４１は、撮像素子２１１の受光面に被写体像が焦点の合った状態で結像されるようにレンズ部１１のフォーカスレンズ(図示せず）を駆動する。また、撮像素子２１１の受光面に結像される被写体像の大きさが所望の大きさとなるようにレンズ部１１のズームレンズ(図示せず）を駆動する。
【００３５】
絞り駆動部４２は、絞り機構１２を駆動して、撮像素子２１１の受光面に結像される被写体像の光量を調整する。
【００３６】
制御部５１には、ユーザインタフェース部５２が接続されている。ユーザインタフェース部５２は、操作キーや外部からの遠隔操作信号を入力するためのインタフェース等で構成されており、ユーザ操作に応じた操作信号ＰＳを生成して制御部５１に供給する。
【００３７】
制御部５１は、ＣＰＵ（Central Processing Unit）５１１や、ＲＯＭ（Read Only Memory）５１２、ＲＡＭ（Random Access Memory）５１３等で構成されている。ＣＰＵ５１１は、ＲＯＭ５１２に格納されているプログラムを実行して、操作信号ＰＳに応じた制御信号を生成して各部に供給することで、撮像装置の動作がユーザ操作に応じて動作となるように制御する。なお、ＲＡＭは、種々の制御を行う際に情報を一時記憶しておくためのワーキングエリア等として用いられる。
【００３８】
また、制御部５１は、提示画像検出部３１から供給された検出信号ＪＡに基づき撮像モードの切り換えを行い、撮像モードに応じた制御信号ＣＴｅを画像処理部３５に供給して、撮像モードに応じてホワイトバランス調整動作を切り換える。
【００３９】
なお、制御部５１は、検波部３２から供給された検波信号ＪＢによって示された検波値が予め設定されている基準値となるように少なくとも制御信号ＣＴｂ，ＣＴｃ，ＣＴｄのいずれかを生成して、生成した制御信号ＣＴｂを絞り駆動部４２、制御信号ＣＴｃをタイミング信号発生部２２、制御信号ＣＴｄを増幅部２１３に供給することで、適正露出となるように絞り機構１２の絞り設定や撮像素子２１１における露光時間の調整、画像信号Ｓａのゲイン調整を行う。また、制御部５１は、制御信号ＣＴａを生成してレンズ駆動部４１に供給して、撮像素子２１１の受光面に被写体像が焦点の合った状態で結像されるようにフォーカスレンズを駆動させる処理等を行わせる。
【００４０】
次に、撮像装置の動作について説明する。図３は、ホワイトバランス調整動作を示すフローチャートである。ステップＳＴ１で制御部５１は、提示画像検出部３１で提示画像検出を行わせてステップＳＴ２に進む。提示画像検出部３１は、提示装置によって提示された提示画像を撮像したときに撮像画像における提示画像の領域の検出を行い、検出結果を示す検出信号ＪＡを生成して画像処理部３５と制御部５１に供給する。
【００４１】
図４は、提示画像検出動作を示すフローチャートである。なお、図４では、水平分布から上辺および下辺および垂直分布から左辺と右辺を検出して、検出した上辺，下辺，左辺および右辺が提示画像の各辺に相当するものであることを判別して、提示画像の領域を検出する場合を例示している。
【００４２】
ステップＳＴ１０１で提示画像検出部３１は、変換処理を行う。提示画像検出部３１は、三原色の画像信号ＤＶａから輝度信号ＤＹと色差信号ＤＣを生成してステップＳＴ１０２に進む。
【００４３】
ステップＳＴ１０２で提示画像検出部３１は２値化処理を行う。提示画像検出部３１は、輝度信号ＤＹと色差信号ＤＣを２値化して、輝度２値化信号と色差２値化信号を生成してステップＳＴ１０３に進む。
【００４４】
２値化処理では、上述のように、輝度信号ＤＹや色差信号ＤＣと閾値を比較することで輝度信号ＤＹや色差信号ＤＣの２値化を行い、輝度２値化信号ＢＹや色差２値化信号ＢＣを生成する。２値化処理に用いる閾値は、予め固定したレベルに設定しておくものとしてもよく、撮像画像から提示画像の領域を精度よく検出できるように、撮像画像に応じて閾値を設定するものとしてもよい。
【００４５】
ここで、撮像画像に応じて閾値を設定する場合、例えば統計的手法を用いて閾値の設定を行う。統計的手法としてはモード法や判別分析法等を用いるものとする。モード法は、撮像画像の輝度レベルのヒストグラムが双峰性を有しており、提示画像の部分と他の画像（以下「背景画像」という）の部分が区分されるとき、谷の位置を閾値として設定する方法である。また、判別分析法は、ヒストグラムを輝度レベルに応じて２つに区分してグループ分けを行い、このグループ間の分散が最大となる区分レベルを閾値として設定する方法である。
【００４６】
ステップＳＴ１０３で提示画像検出部３１は、輝度２値化信号ＢＹを選択してステップＳＴ１０４に進む。
【００４７】
ステップＳＴ１０４で提示画像検出部３１は、水平分布を取得してステップＳＴ１０５に進む。また、ステップＳＴ１０５で提示画像検出部３１は、垂直分布を取得してステップＳＴ１０６に進む。
【００４８】
図５は、水平分布と垂直分布の取得処理を示している。図５の（Ａ）は撮像画像を示しており、図５の（Ｂ）は２値化処理後の撮像画像を示している。提示画像検出部３１は、ライン毎に輝度信号ＤＹの信号レベルが閾値よりも高い画素をカウントすることで、図５の（Ｃ）に示す水平分布を得る。また、垂直方向に輝度信号ＤＹの信号レベルが閾値よりも高い画素をカウントすることで、図５の（Ｄ）に示すように、上述の水平方向と直交する垂直方向の分布を得る。
【００４９】
ステップＳＴ１０６で提示画像検出部３１は、提示画像の上辺と下辺の検出処理を行ってステップＳＴ１０７に進む。
【００５０】
図６，図７は、提示画像の上辺と下辺の検出処理を示している。図６の（Ａ）は２値化処理後の撮像画像を示しており、図６の（Ｂ）はステップＳＴ１０４で取得した水平分布を示している。ここで、提示画像検出部３１は、水平分布を複数領域に区分して、領域毎に対象画素の総和を求める。例えば領域ＲＥｈ１，ＲＥｈ２，ＲＥｈ３，ＲＥｈ４，ＲＥｈ５に区分して、領域毎に対象画素の総和を求める。次に、提示画像検出部３１は、撮像画像の上端から下端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の上辺を含む領域を検出することが可能となる。同様に、提示画像検出部３１は、撮像画像の下端から上端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の下辺を含む領域を検出することが可能となる。
【００５１】
ところで、提示画像の辺が領域の境界に近接していると、領域内の対象画素の総和が大きく異なり、提示画像の辺を含む領域の検出が困難となる場合がある。例えば、提示画像の上辺が領域ＲＥｈ（ｎ）内であって領域ＲＥｈ（ｎ＋１）に近接していると、領域内の対象画素の総和が大きな値とならない。ここで、総和が閾値を超える領域の検出が行われると、提示画像の上辺は領域ＲＥｈ（ｎ＋１）に含まれると誤って判断されてしまうおそれがある。したがって、水平分布を複数領域に区分する際に、他の領域と重なる部分を有するように領域を設ける。例えば領域ＲＥｈ１〜ＲＥｈ５，ＲＥｈ１ｓ〜ＲＥｈ４ｓに示すように領域を設ける。この場合、提示画像の上辺が領域ＲＥｈ１と領域ＲＥｈ２の境界付近であって、領域ＲＥｈ１または領域ＲＥｈ２のいずれの位置であっても、領域ＲＥｈ１ｓにおける対象画素の総和は大きく変動することがない。したがって、このときの領域ＲＥｈ１ｓにおける対象画素の総和と閾値を比較したとき、提示画像の上辺が領域ＲＥｈ１ｓに含まれていると判別されるように閾値を設定すれば、提示画像の辺を含む領域を正しく検出することができる。なお、閾値は、予め固定して設けておくものとしてもよく、上述のように統計的手法を用いて各領域における対象画素の総和から閾値を設定するものとしてもよい。
【００５２】
次に、提示画像検出部３１は、検出した提示画像の辺を含む領域例えば上辺を含む領域ＲＥｈ１ｓにおいて、水平分布におけるライン毎の対象画素の総和を撮像画像の上端から下端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の上辺Ｌａとする。同様に、提示画像検出部３１は、下辺を含む領域ＲＥｈ４ｓにおいて、水平分布におけるライン毎の対象画素の総和を撮像画像の下端から上端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の下辺Ｌｂとする。図７の（Ａ）は２値化処理後の撮像画像を示しており、図７の（Ｂ）は水平分布を示している。ここで、領域ＲＥｈ１ｓが上辺を含む領域として判別されたとき、領域ＲＥｈ１ｓにおけるライン毎の対象画素の総和を撮像画像の上端から下端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の上辺Ｌａとする。同様に、領域ＲＥｈ４ｓが下辺を含む領域として判別されたとき、領域ＲＥｈ４ｓにおけるライン毎の対象画素の総和を撮像画像の下端から上端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の下辺Ｌｂとする。
【００５３】
このように、上辺や下辺を含む領域を検出して、検出した領域から提示画像の上辺や下辺を検出することで、例えばノイズ等によって一つのラインの総和が大きくなってしまっても、このラインが提示画像の上辺と誤って判断されてしまうことを防止できる。
【００５４】
ステップＳＴ１０７で提示画像検出部３１は、提示画像の左辺と右辺の検出処理を行ってステップＳＴ１０８に進む。
【００５５】
図８，図９は、提示画像の左辺と右辺の検出処理を示している。図８の（Ａ）は２値化処理後の撮像画像を示しており、図８の（Ｂ）はステップＳＴ１０５で取得した垂直分布を示している。ここで、提示画像検出部３１は、垂直分布を複数領域例えば領域ＲＥｖ１〜ＲＥｖ６，ＲＥｖ１ｓ〜ＲＥｖ５ｓに区分して、領域毎に対象画素の総和を求める。次に、提示画像検出部３１は、撮像画像の左端から右端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の左辺を含む領域ＲＥｖ２を検出することが可能となる。同様に、提示画像検出部３１は、撮像画像の右端から左端方向に順次領域を選択して、選択した領域における対象画素の総和と閾値を比較して、総和が閾値を超える領域を検出する。このような処理を行うことで、提示画像の右辺を含む領域ＲＥｖ５を検出することが可能となる。なお、このときの閾値は、予め固定して設けておくものとしてもよく、上述のように統計的手法を用いて各領域における対象画素の総和から閾値を設定するものとしてもよい。
【００５６】
次に、提示画像検出部３１は、検出した領域例えば左辺を含む領域ＲＥｖ２において、垂直分布における画素位置毎の対象画素の総和を撮像画像の左端から右端方向に画素位置毎に順次用いて閾値と比較して、総和が閾値を超える画素位置を提示画像の左辺Ｌｃとする。同様に、提示画像検出部３１は、右辺を含む領域ＲＥｖ５において、垂直分布における画素位置毎の対象画素の総和を撮像画像の右端から左端方向に画素位置毎に順次用いて閾値と比較して、総和が閾値を超える画素位置を提示画像の右辺Ｌｄとする。
【００５７】
図９の（Ａ）は２値化処理後の撮像画像を示しており、図９の（Ｂ）は垂直分布を示している。ここで、領域ＲＥｖ２が左辺を含む領域として判別されたとき、領域ＲＥｖ２における画素位置毎の対象画素の総和を撮像画像の左端から右端方向に順次用いて閾値と比較して、総和が閾値を超える画素位置を提示画像の左辺Ｌｃとする。同様に、領域ＲＥｖ５が右辺を含む領域として判別されたとき、領域ＲＥｖ５における画素位置毎の対象画素の総和を撮像画像の右端から左端方向にライン毎に順次用いて閾値と比較して、総和が閾値を超えるラインを提示画像の右辺Ｌｄとする。
【００５８】
ステップＳＴ１０８で提示画像検出部３１は、提示画像であるか否か判別する。提示画像検出部３１は、ステップＳＴ１０６，ＳＴ１０７で検出した上辺と下辺および左辺と右辺からアスペクト比を判別して、このアスペクト比が提示画像のアスペクト比例えばテレビジョン放送で用いられているアスペクト比「４：３」，「１６：９」等に近似しているとき、すなわち、判別したアスペクト比が「４：３±α」，「１６：９±β」であるとき、ステップＳＴ１０６とステップＳＴ１０７で検出した辺によって囲まれる領域を提示画像と判別して提示画像検出処理を終了して図２のステップＳＴ２に進む。なお「α」「β」は、提示画像であると判別するための許容範囲を示す定数であり、予め設定しておくものとする。このように、アスペクト比が所望のアスペクト比に近似しているか否かを判別することで、予め規定されているアスペクト比の提示画像を撮像したとき、撮像画像から提示画像の領域を容易に判別することが可能となる。
【００５９】
また、提示画像検出部３１は、提示画像の上辺と下辺および左辺と右辺を検出できないときや、検出した上辺と下辺および左辺と右辺に基づいて判別したアスペクト比が所望のアスペクト比に近似していないとき、提示画像を検出していないものとしてステップＳＴ１０９に進む。
【００６０】
図１０は、提示画像であるか否かの判別動作を説明するための図である。例えば、図１０の（Ａ）や（Ｂ）に示すように上辺Ｌａと下辺Ｌｂおよび左辺Ｌｃと右辺Ｌｄが検出されて、この検出された上辺，下辺，左辺および右辺で囲まれる画像が、提示画像のアスペクト比に近似していないとき、ステップＳＴ１０９に進む。
【００６１】
ステップＳＴ１０９で提示画像検出部３１は、提示画像の領域の検出が１度目であるか否かを判別する。提示画像検出部３１は、輝度２値化信号を用いて提示画像の検出を行うとき、提示画像の領域の検出が１度目であるからステップＳＴ１１０に進む。
【００６２】
ステップＳＴ１１０で提示画像検出部３１は、色差２値化信号を選択してステップＳＴ１０４に戻り、ステップＳＴ１０４からの処理を繰り返す。
【００６３】
提示画像検出部３１は、ステップＳＴ１０４からの処理を繰り返すことで、色差２値化信号に基づいた提示画像の検出を行う。なお、提示画像検出部３１は、提示画像の上辺と下辺および左辺と右辺を検出できないときや、検出した上辺と下辺および左辺と右辺に基づいて判別したアスペクト比が所望のアスペクト比に近似していないとき、ステップＳＴ１０８からステップＳＴ１０９に進む。
【００６４】
このように、輝度２値化信号だけでなく色差２値信号を用いて提示画像の検出を行うものとすれば、例えば提示画像と背景画像との輝度差が少ないため、輝度２値化信号に基づいて提示画像と背景画像を区分することが困難な場合でも、提示画像が背景画像とは異なる色を基調とした画像であるとき、色の違いから提示画像を検出できるようになる。この提示画像は、自然風景に比べ大きな輝度値を持つという特徴と色が濃いという特徴を持っている。ここで、色の濃さはＹＣＣ空間やＬａｂ空間の色空間における色差成分の大きさやＨＳＶ空間における彩度の大きさを用いて表すことができる。したがって、色差成分の強度や彩度の大きさを用いて提示画像の検出を行うものとすれば、輝度差に基づいて提示画像と背景画像の区分が困難な場合でも、提示画像と背景画像を区分することが可能となり、精度よく提示画像を検出できるようになる。
【００６５】
ステップＳＴ１０９で提示画像検出部３１は、提示画像の領域の検出が１度目であるか否かを判別する。提示画像検出部３１は、輝度２値化信号と色差２値化信号を用いて提示画像の領域の検出を行っており、提示画像の領域の検出が１度目でないことから処理を終了して図３のステップＳＴ２に進む。
【００６６】
なお、提示画像の領域の検出は、図４に示す処理に限られるものではなく、上述のように他の検出方法を用いるものとしてもよい。例えば、撮像画像のエッジ検出を行うことで、提示画像と背景画像の境界を示す輪郭を取得して、この輪郭情報から提示画像の４つの頂点や４つの辺を示す直線を求めて、提示画像の領域を検出する。
【００６７】
図３のステップＳＴ２で制御部５１は、提示画像撮像モードへの切換条件を満たしているか否かの判別を行う。制御部５１は、提示画像撮像モードへの切換条件を満たしていると判別したとき、撮像モードを提示画像撮像モードに設定してステップＳＴ３に進み、満たしていないと判別したとき撮像モードを他の撮像モード（例えば通常撮像モード）に設定してステップＳＴ５に進む。
【００６８】
制御部５１は、提示画像が検出されたフレームの発生状況に応じて、提示画像撮像モードへの切換条件を満たしているか否か判別する。例えば、制御部５１は、提示画像が検出されたフレームを生ずる毎にカウントアップを行い、提示画像が検出されていないフレームが生ずる毎にカウントダウンを行う。なお、カウント値の範囲は「０」〜「数十程度」に設定する。ここで、カウント値が撮像モード判定のために予め設定されている閾値（以下「モード判定閾値」という）以上となったときには提示画像撮像モードに設定して、カウント値がモード判定閾値未満であるときは通常撮像モードに設定する。
【００６９】
また、制御部５１は、提示画像が検出されたフレームの連続数や、提示画像が検出されていないフレームの連続数に基づいて撮像モードの設定を行うものとしてもよい。例えば、提示画像が検出されたフレームの連続数が所定数となったとき、撮像モードを通常撮像モードから提示画像撮像モードに切り換える。また、提示画像が検出されていないフレームの連続数が所定数となったとき、撮像モードを提示画像撮像モードから通常撮像モードに切り換える。このようにすれば、提示画像の検出状況に応じた撮像モードの切り換えを安定して行うことができる。
【００７０】
ステップＳＴ３で制御部５１は、提示画像撮像モード通知処理を行ってステップＳＴ４に進む。制御部５１は、撮像装置が提示画像撮像モードに設定されていることをユーザに通知する。例えば、制御部５１は、提示画像撮像モードに設定されているとき、表示信号ＨＥを生成して画像処理部３５に供給して、画像信号ＤＶａと表示信号ＨＥから表示画像信号ＨＧを生成させることで、表示部３８の画面上に撮像画像と提示画像撮像モードに設定されたことを示す情報を表示させる。なお、図１１は、表示部３８で表示されている撮像画像上に、提示画像撮像モードに設定されたことを示すアイコン表示ＭＨを設けた場合を示している。
【００７１】
ステップＳＴ４で制御部５１は、提示画像と背景画像の領域を区分して各領域のホワイトバランス調整を画像処理部３５のホワイトバランス調整部３５１で行わせてステップＳＴ７に進む。すなわち、制御部５１は、提示画像撮像モードに設定したことを、制御信号ＣＴｅによってホワイトバランス調整部３５１に通知する。ホワイトバランス調整部３５１は、検出信号ＪＡに基づき撮像画像を提示画像と背景画像の領域に区分して、領域毎にホワイトバランス検波を行い、得られた検波信号ＪＣから提示画像と背景画像がそれぞれ正しくホワイトバランス調整が行われるように領域毎にホワイトバランス補正係数を決定して、このホワイトバランス補正係数を用いて対応する画像の画像信号を補正する。
【００７２】
図１９を用いて説明したように一般にスクリーンに投影された画像を撮像した場合、提示画像における無彩色は、その他の一般的な光源下で撮像した画像における無彩色領域ＡＣＳから外れている。したがって、ホワイトバランス調整部３５１は、図１２に示すように、一般的な光源下で撮像した画像における第１の無彩色領域ＡＣＳとスクリーンに投影された提示画像を撮像した場合における第２の無彩色領域ＡＣＲを個々に設けておく。また、ホワイトバランス調整部３５１は、ホワイトバランス検波として比無彩色検波を行い、提示画像ではスクリーンに投影された画像を撮像した場合における無彩色領域ＡＣＳの画像信号、背景画像では一般的な光源下で撮像した画像における無彩色領域ＡＣＲの画像信号を検波信号ＪＣとして抽出する。
【００７３】
ホワイトバランス調整部３５１は、抽出した検波信号ＪＣからホワイトバランス補正係数を決定する。すなわち、ホワイトバランス調整部は、提示画像に対しては、スクリーンに投影された画像を撮像した場合における無彩色領域ＡＣＲの画像が無彩色となるようにホワイトバランス補正係数を決定して、背景画像に対しては、一般的な光源下で撮像した画像における無彩色領域ＡＣＳの画像が無彩色となるようにホワイトバランス補正係数を決定する。
【００７４】
さらに、ホワイトバランス調整部３５１は、提示画像に対して設定されたホワイトバランス補正係数を用いて、提示画像を示す画像信号の補正を行い、背景画像に対して設定されたホワイトバランス補正係数を用いて、背景画像を示す画像信号の補正を行う。
【００７５】
図１３は、提示画像検出部３１からの検出信号ＪＡによって示された撮像画像の領域Ａと背景画像の領域Ｂを例示している。ホワイトバランス調整部３５１は、提示画像のガンマ補正を行うとき、スクリーンに投影された画像を撮像した場合における無彩色領域、すなわち図１２に示す無彩色領域ＡＣＲの画像信号を検波信号ＪＣとして抽出してホワイトバランス調整を行う。また、ホワイトバランス調整部３５１は、背景画像のホワイトバランス調整を行うとき、一般的な光源下で撮像した画像における無彩色領域、すなわち図１２に示す無彩色領域ＡＣＳの画像信号を検波信号ＪＣとして抽出してホワイトバランス調整を行う。
【００７６】
ステップＳＴ２からステップＳＴ５に進むと、制御部５１は通常撮像モード通知処理を行ってステップＳＴ６に進む。制御部５１は、撮像装置が通常撮像モードに設定されていることをユーザに通知する。例えば、制御部５１は、提示画像撮像モードに設定されているとき、表示信号ＨＥを画像処理部３５に供給して、提示画像撮像モードに設定されたことを示すアイコン表示ＭＨを行う場合、表示信号ＨＥの供給を停止してアイコン表示ＭＨを消去することで、通常撮像モードに設定されていることをユーザが識別できるようにする。
【００７７】
ステップＳＴ６で制御部５１は、撮像画像を提示画像と背景画像の領域に区分することなく各画像のホワイトバランス調整を画像処理部３５のホワイトバランス調整部３５１で行わせてステップＳＴ７に進む。すなわち、制御部５１は、通常撮像モードに設定したことを、制御信号ＣＴｅによってホワイトバランス調整部３５１に通知する。ホワイトバランス調整部３５１は、通常撮像モードに設定されたとき、撮像画像の画像信号から例えば一般的な光源下で撮像した画像における無彩色領域ＡＣＳの画像信号を検波信号ＪＣとして抽出する。さらに、抽出した検波信号ＪＣから決定したホワイトバランス補正係数を用いて撮像画像の画像信号の補正を行う。
【００７８】
ステップＳＴ７で制御部５１は、撮像動作の終了であるか否かを判別する。制御部５１は、例えば撮像装置１０の電源オフ操作が行われたり、撮像モードから記録画像を再生する再生モードに切り換える操作が行われたとき、ホワイトバランス調整を終了する。また、電源オフ操作や再生モードへの切り換え操作が行われていないときステップＳＴ１に戻る。
【００７９】
図１４はホワイトバランス調整が行われたときの動作を示している。上述のようにホワイトバランス調整を行うものとすると、図１４の（Ａ）に示す撮像画像は、図１４の（Ｂ）に示す提示画像と図１４の（Ｃ）に示す背景画像に区分される。なお、図１４の（Ｂ）において斜線で示す領域は背景画像の領域、図１４の（Ｃ）において斜線で示す領域は提示画像の領域であることをそれぞれ示している。提示画像の領域に対しては、スクリーンに投影された提示画像を撮像した場合における無彩色領域ＡＣＲの画像を無彩色とする補正が行われる。また、背景画像の領域に対しては、一般的な光源下で撮像した画像における無彩色領域ＡＣＳの画像を無彩色とする補正が行われる。したがって、ホワイトバランス調整後の撮像画像は、提示画像が青みを帯びて表示されたり、背景画像が赤みを帯びて表示されることがなく、図１４の（Ｄ）に示すように、提示画像と背景画像をともに自然な色となる。なお、図１４の（Ａ）（Ｂ）では、青みを帯びた提示画像の領域を破線で示している。
【００８０】
このように、提示画像と背景画像のそれぞれから検波信号ＪＣを生成して、提示画像に応じたホワイトバランス補正係数と背景画像に応じたホワイトバランス補正係数を設定してホワイトバランス調整を行うことで、提示画像とその他の画像のそれぞれが正しくホワイトバランス調整されて、人間の見た目に近い撮像画像を得ることができる。
【００８１】
また、ホワイトバランス検波は、（Ｒ／Ｇ）−（Ｂ／Ｇ）平面上における無彩色領域内の画像信号を検波信号ＪＣとする比無彩色検波に限られるものではなく、差無彩色検波を行って検波信号ＪＣを生成するものとしてもよい。すなわち、（Ｒ−Ｇ）−（Ｂ−Ｇ）平面上やＣｒ−Ｃｂ平面上またはＰｒ−Ｐｂ平面上に、スクリーンに投影された画像を撮像した場合における無彩色領域ＡＣＲと一般的な光源下で撮像した画像における無彩色領域ＡＣＳを設定して、提示画像ではスクリーンに投影された画像を撮像した場合における無彩色領域内の画像信号、背景画像では一般的な光源下で撮像した画像における無彩色領域内の画像信号を検波信号ＪＣとして抽出するものとしてもよい。さらに、比無彩色検波と差無彩色検波でともに無彩色領域内となる画像信号を検波信号ＪＣとして抽出すれば、精度のよくホワイトバランス調整を行うことができる。
【００８２】
ところで、上述のホワイトバランス調整では、提示画像と背景画像のそれぞれから検波信号ＪＣを生成して、提示画像に応じたホワイトバランス補正係数と背景画像に応じたホワイトバランス補正係数を設定するものとしたが、提示画像または背景画像のいずれか一方の画像に対するホワイトバランス補正係数を固定しておき、他方の画像に対するホワイトバランス補正係数は、検波信号ＪＣに基づいて設定するものとしてもよい。
【００８３】
図１５は、一方の画像に対するホワイトバランス補正係数を固定する場合の動作を示すフローチャートである。ステップＳＴ１１で制御部５１は、ステップＳＴ１と同様に提示画像検出部３１で提示画像の検出を行わせてステップＳＴ１２に進む。
【００８４】
ステップＳＴ１２で制御部５１は、ステップＳＴ２と同様に、提示画像撮像モードへの切換条件を満たしているか否かの判別を行う。制御部５１は、提示画像撮像モードへの切換条件を満たしていると判別したとき、撮像モードを提示画像撮像モードに設定してステップＳＴ１３に進み、満たしていないと判別したとき撮像モードを他の撮像モード（例えば通常撮像モード）に設定してステップＳＴ１５に進む。
【００８５】
ステップＳＴ１３で制御部５１は、ステップＳＴ３と同様に、提示画像撮像モード通知処理を行ってステップＳＴ１４に進む。
【００８６】
ステップＳＴ１４で制御部５１は、提示画像と背景画像を区分して、背景画像のみ検波を行うホワイトバランス調整を画像処理部３５のホワイトバランス調整部３５１で行わせてステップＳＴ１７に進む。すなわち、制御部５１は、提示画像撮像モードに設定したことを、制御信号ＣＴｅによってホワイトバランス調整部３５１に通知する。ホワイトバランス調整部３５１は、検出信号ＪＡに基づき撮像画像を提示画像と背景画像に区分して、背景画像に対してホワイトバランス検波を行い、得られた検波信号ＪＣからホワイトバランス補正係数を決定して、このホワイトバランス補正係数を用いて背景画像の画像信号を補正する。また、提示画像については、予め固定して設定されたホワイトバランス補正係数を用いて提示画像の画像信号を補正する。
【００８７】
プロジェクタ装置によってスクリーンに投影された画像における白色は、プロジェクタ装置の特性のばらつき等を生じても、（Ｒ／Ｇ）−（Ｂ／Ｇ）平面上や上述の他の平面上においてほぼ等しい位置となる。したがって、スクリーンに投影された提示画像を撮像した場合における無彩色領域ＡＣＲの画像が無彩色となるホワイトバランス補正係数を予め設定しておき、提示画像に対しては予め設定したホワイトバランス補正係数を用いてホワイトバランス調整を行う。また、背景画像については、ホワイトバランス検波を行って得られた検波信号ＪＣからホワイトバランス補正係数を設定して、このホワイトバランス補正係数を用いてホワイトバランス調整を行う。
【００８８】
ステップＳＴ１２からステップＳＴ１５に進むと、制御部５１はステップＳＴ５と同様に通常撮像モード通知処理を行いステップＳＴ１６に進む。
【００８９】
ステップＳＴ１６で制御部５１は、ステップＳＴ６と同様に提示画像と背景画像を区分することなくホワイトバランス調整をホワイトバランス調整部３５１で行わせてステップＳＴ１７に進む。
【００９０】
ステップＳＴ１７で制御部５１は、撮像動作の終了であるか否かを判別する。制御部５１は、撮像動作の終了であると判別したときホワイトバランス調整を終了する。また、撮像動作の終了と判別していないときはステップＳＴ１１に戻る。
【００９１】
このようにすれば、一方の画像のホワイトバランス調整を行うときには、予め設定されているホワイトバランス補正係数が用いられるので、抽出した検波信号ＪＣからホワイトバランス補正係数を決定する処理を撮像画像におけるそれぞれの画像について行う必要がなく、効率よくホワイトバランス調整を行うことができる。
【００９２】
また、上述のようにホワイトバランス補正係数を切り換えた場合、ホワイトバランス補正係数を切り換えた位置に、不自然な色の境界が生じてしまうおそれがある。そこで、ホワイトバランス補正係数の切り換えが行われる境界部分では、一方のホワイトバランス補正係数を用いたホワイトバランス調整と、他方のホワイトバランス補正係数を用いたホワイトバランス調整との中間であるホワイトバランス調整を行うものとしてもよい。
【００９３】
図１６は、提示画像と背景画像との境界部分に対して、提示画像と背景画像とは異なるホワイトバランス調整を行う場合のフローチャートを示している。ステップＳＴ２１で制御部５１は、ステップＳＴ１と同様に提示画像検出部３１で提示画像の領域の検出を行わせてステップＳＴ２２に進む。
【００９４】
ステップＳＴ２２で制御部５１は、ステップＳＴ２と同様に、提示画像撮像モードへの切換条件を満たしているか否かの判別を行う。制御部５１は、提示画像撮像モードへの切換条件を満たしていると判別したとき、撮像モードを提示画像撮像モードに設定してステップＳＴ２３に進み、満たしていないと判別したとき撮像モードを他の撮像モード（例えば通常撮像モード）に設定してステップＳＴ２５に進む。
【００９５】
ステップＳＴ２３で制御部５１は、ステップＳＴ３と同様に、撮像装置の撮像モードが提示画像撮像モードに設定されていることをユーザが識別可能としてステップＳＴ２４に進む。
【００９６】
ステップＳＴ２４で制御部５１は、提示画像と背景画像を区分して、提示画像と背景画像と境界部分のホワイトバランス調整を画像処理部３５のホワイトバランス調整部３５１で個々に行わせてステップＳＴ２７に進む。すなわち、制御部５１は、提示画像撮像モードに設定したことを、制御信号ＣＴｅによってホワイトバランス調整部３５１に通知する。ホワイトバランス調整部３５１は、検出信号ＪＡに基づき撮像画像を提示画像と背景画像の領域に区分して、領域毎にホワイトバランス検波を行い、得られた検波信号ＪＣから提示画像と背景画像がそれぞれ正しくホワイトバランス調整が行われるように画像毎にホワイトバランス補正係数を決定する。さらに、検波信号ＪＣから（Ｒ／Ｇ）−（Ｂ／Ｇ）平面上における提示画像の無彩色の位置ＡＣｐａと背景画像の無彩色の位置ＡＣｐｂを求めて、位置ＡＣｐａと位置ＡＣｐｂの中間位置ＡＣｐｃを無彩色とするホワイトバランス補正係数を、境界部分のホワイトバランス調整に用いるホワイトバランス補正係数として設定する。なお、図１７は、（Ｒ／Ｇ）−（Ｂ／Ｇ）平面上における位置ＡＣｐａと位置ＡＣｐｂの中間位置ＡＣｐｃを示している。このように提示画像と背景画像および境界部分に対して設定したホワイトバランス補正係数を用いて、それぞれの領域のホワイトバランス調整を行う。
【００９７】
ステップＳＴ２２からステップＳＴ２５に進むと、制御部５１はステップＳＴ５と同様に通常撮像モード通知処理を行いステップＳＴ２６に進む。ステップＳＴ２６で制御部５１は、ステップＳＴ６と同様に提示画像と背景画像を区分することなくホワイトバランス調整をホワイトバランス調整部３５１で行わせてステップＳＴ２７に進む。
【００９８】
ステップＳＴ２７で制御部５１は、撮像動作の終了であるか否かを判別する。制御部５１は、撮像動作の終了であると判別したときホワイトバランス調整を終了する。また、撮像動作の終了と判別していないときはステップＳＴ２１に戻る。
【００９９】
このようにすれば、提示画像と背景画像との境界部分では、提示画像の無彩色と背景画像の無彩色との中間色が無彩色となるようにホワイトバランス調整が行われるので、境界部分を設けない場合に比べて提示画像と背景画像との境界が不自然に見えてしまうことがない。また、境界部分は例えば提示画像と背景画像の境界を中心とした所定幅としてもよく、画像の重要度に応じて境界部分を設けてもよい。例えば提示画像の重要度が高いときには、提示画像と背景画像の境界から重要度の低い背景画像の方向に境界部分とする。このように境界部分を設けるものとすれば、重要度の高い画像において例えば白色の画像部分が背景画像と近傍する部分で赤みを帯びたり青みを帯びることがなく、重要度の高い画像のホワイトバランス調整を優先させることができる。
【０１００】
さらに、境界部分で用いるために求めたホワイトバランス補正係数を、重要度の低い画像例えば背景画像に対するホワイトバランス補正係数としてホワイトバランス調整を行うものとしてもよい。
【０１０１】
ところで、上述の実施の形態のように提示画像と背景画像で画像毎にホワイトバランス調整を行うものとすると、提示画像の検出精度が低い場合、提示画像内や背景画像内でホワイトバランス補正係数の切り換えが行われて、不自然な色の境目が提示画像内や背景画像内に現れてしまうおそれがある。そこで、（Ｒ／Ｇ）−（Ｂ／Ｇ）平面上において提示画像における無彩色の位置と背景画像における無彩色の位置との中間位置を無彩色とするホワイトバランス補正係数を設定して、このホワイトバランス補正係数を用いて提示画像と背景画像のホワイトバランス調整を行うものとしてもよい。
【０１０２】
図１８は、提示画像における無彩色と背景画像における無彩色の中間色を無彩色とするホワイトバランス補正係数を設定してホワイトバランス調整を行う場合のフローチャートである。ステップＳＴ３１で制御部５１は、ステップＳＴ１と同様に提示画像検出部３１で提示画像の領域の検出を行わせてステップＳＴ３２に進む。
【０１０３】
ステップＳＴ３２で制御部５１は、ステップＳＴ２と同様に、提示画像撮像モードへの切換条件を満たしているか否かの判別を行う。制御部５１は、提示画像撮像モードへの切換条件を満たしていると判別したとき、撮像モードを提示画像撮像モードに設定してステップＳＴ３３に進み、満たしていないと判別したとき撮像モードを他の撮像モード（例えば通常撮像モード）に設定してステップＳＴ３５に進む。
【０１０４】
ステップＳＴ３３で制御部５１は、ステップＳＴ３と同様に、撮像装置の撮像モードが提示画像撮像モードに設定されていることをユーザが識別可能としてステップＳＴ３４に進む。
【０１０５】
ステップＳＴ３４で制御部５１は、提示画像における無彩色と背景画像における無彩色の中間色を無彩色とするホワイトバランス調整を画像処理部３５のホワイトバランス調整部３５１で個々に行わせてステップＳＴ３７に進む。すなわち、制御部５１は、提示画像撮像モードに設定したことを、制御信号ＣＴｅによってホワイトバランス調整部３５１に通知する。ホワイトバランス調整部３５１は、検出信号ＪＡに基づき撮像画像を提示画像と背景画像の領域に区分して、領域毎にホワイトバランス検波を行い、得られた検波信号ＪＣから例えば（Ｒ／Ｇ）−（Ｂ／Ｇ）平面上における提示画像の無彩色の位置と背景画像の無彩色の位置を検出する。さらに、提示画像における無彩色の位置と背景画像における無彩色の位置の中間位置を無彩色とするホワイトバランス補正係数を求めて、このホワイトバランス補正係数を用いて提示画像と背景画像のホワイトバランス調整を行う。
【０１０６】
ステップＳＴ３２からステップＳＴ３５に進むと、制御部５１はステップＳＴ５と同様に通常撮像モード通知処理を行いステップＳＴ３６に進む。ステップＳＴ３６で制御部５１は、ステップＳＴ６と同様に提示画像と背景画像を区分することなくホワイトバランス調整をホワイトバランス調整部３５１で行わせてステップＳＴ３７に進む。
【０１０７】
ステップＳＴ３７で制御部５１は、撮像動作の終了であるか否かを判別する。制御部５１は、撮像動作の終了であると判別したときホワイトバランス調整を終了する。また、撮像動作の終了と判別していないときはステップＳＴ３１に戻る。
【０１０８】
このようにすれば、提示画像の領域の検出精度が低い場合であっても、提示画像内や背景画像内でホワイトバランス補正係数の切り換えが行われることがなく、不自然な色の境目が提示画像内や背景画像内に現れてしまうことがない。
【０１０９】
なお、ホワイトバランス調整部は、撮像画像を提示画像と背景画像の領域に区分して、領域毎にホワイトバランス調整部を設けるものとしてもよく、１つのホワイトバランス調整部でホワイトバランス補正係数を画像毎に切り換えてホワイトバランス調整を行うものとしてもよい。
【０１１０】
また、１つのホワイトバランス調整部でホワイトバランス補正係数を画像毎に切り換えてホワイトバランス調整を行う場合、撮像画像の画像信号から提示画像の画像信号と背景画像の画像信号を個々に抽出して、一方の画像の画像信号を用いてホワイトバランス調整を行う。次に、ホワイトバランス補正係数を切り換えて他方の画像の画像信号を用いてホワイトバランス調整を行い、ホワイトバランス調整後の提示画像の画像信号と背景画像の画像信号を合成して１つの撮像画像の画像信号とする。
【０１１１】
さらに、１つのホワイトバランス調整部でホワイトバランス補正係数を画像毎に切り換えてホワイトバランス調整を行う場合、撮像画像の画像信号において、各画素の信号が提示画像あるいは背景画像のいずれの信号であるかに応じてホワイトバランス補正係数を切り換える。このようにすれば、ホワイトバランス調整後の提示画像の画像信号と背景画像の画像信号を合成して１つの撮像画像の画像信号とする処理を行わなくとも、提示画像と背景画像のそれぞれに応じたホワイトバランス補正係数を用いてホワイトバランス調整が行われた撮像画像の画像信号を得ることができる。
【図面の簡単な説明】
【０１１２】
【図１】撮像装置の構成を示す図である。
【図２】ホワイトバランス調整部の構成を示す図である。
【図３】ホワイトバランス調整動作を示すフローチャートである。
【図４】提示画像検出動作を示すフローチャートである。
【図５】水平分布と垂直分布の取得処理を示す図である。
【図６】提示画像の上辺と下辺の検出処理を示す図である。
【図７】提示画像の上辺と下辺の検出処理を示す図である。
【図８】提示画像の左辺と右辺の検出処理を示す図である。
【図９】提示画像の左辺と右辺の検出処理を示す図である。
【図１０】提示画像であるか否かの判別動作を説明するための図である。
【図１１】提示画像撮像モードに設定されたことを示すアイコン表示を設けた場合を示す図である。
【図１２】第１と第２の無彩色領域を示す図である。
【図１３】撮像画像における提示画像の領域と背景画像の領域を示す図である。
【図１４】ホワイトバランス調整が行われたときの動作を説明するための図である。
【図１５】一方の画像に対するホワイトバランス補正係数を固定する場合の動作を示すフローチャートである。
【図１６】提示画像と背景画像との境界部分に対して、提示画像と背景画像とは異なるホワイトバランス調整を行う場合を示すフローチャートである。
【図１７】中間位置を示す図である。
【図１８】提示画像における無彩色と背景画像の無彩色の中間色を無彩色とするホワイトバランス補正係数を設定してホワイトバランス調整を行う場合のフローチャートである。
【図１９】（Ｒ／Ｇ）−（Ｂ／Ｇ）平面での無彩色領域を示す図である。
【図２０】一般的な光源下で撮像した画像と提示画像における無彩色領域が異なるときの動作を示す図である。
【符号の説明】
【０１１３】
１０・・・撮像装置、１１・・・レンズ部、１２・・・絞り機構、２１・・・撮像部、２２・・・タイミング信号発生部、２３・・・Ａ／Ｄ変換部、３１・・・提示画像検出部、３２・・・検波部、３５・・・画像処理部、３７・・・記録再生部、３８・・・表示部、４１・・・レンズ駆動部、４２・・・絞り駆動部、５１・・・制御部、５２・・・ユーザインタフェース部、２１１・・・撮像素子、２１２・・・ＣＤＳ部、２１３・・・増幅部、３５１・・・ホワイトバランス（ＷＢ）調整部、３５１ａ・・・ホワイトバランス検波部、３５１ｂ・・・ホワイトバランス補正係数設定部、３５１ｃ・・・補正処理部、３５２・・・ガンマ補正部
【図１】
0004557036.tif 000002
【図２】
0004557036.tif 000003
【図３】
0004557036.tif 000004
【図４】
0004557036.tif 000005
【図６】
0004557036.tif 000006
【図７】
0004557036.tif 000007
【図８】
0004557036.tif 000008
【図９】
0004557036.tif 000009
【図１２】
0004557036.tif 000010
【図１３】
0004557036.tif 000011
【図１５】
0004557036.tif 000012
【図１６】
0004557036.tif 000013
【図１７】
0004557036.tif 000014
【図１８】
0004557036.tif 000015
【図１９】
0004557036.tif 000016
【図５】
0004557036.tif 000017
【図１０】
0004557036.tif 000018
【図１１】
0004557036.tif 000019
【図１４】
0004557036.tif 000020
【図２０】
0004557036.tif 000021