(57)【要約】【課題】追尾物体の検出精度を損なうことなくＡＷＢ補正処理を施した出力画像を生成可能な画像処理装置及び撮像装置を提供する【解決手段】画像処理部６ａは、入力画像にＷＢ補正処理を施すＷＢ補正部６０と、ＷＢ補正部６０から出力される画像に各種調整処理を施して出力画像を生成する画像調整部６１と、入力画像に各種調整処理を施して追尾用画像を生成する追尾用画像調整部６２と、追尾用画像調整部６２で生成される追尾用画像から追尾物体の検出を行う追尾処理部６３と、を備える。これにより、入力画像にＷＢ補正処理を施すことなく追尾用画像が生成される。【選択図】図２
2010251906.tif 000002
【特許請求の範囲】
【請求項１】
入力画像に基づいて出力画像を生成する出力画像生成部と、
前記入力画像または前記出力画像に基づいて追尾用画像を生成する追尾用画像生成部と、
前記追尾用画像から追尾物体の検出を行う追尾処理部と、を備え、
前記出力画像生成部及び前記追尾用画像生成部のそれぞれで行われるホワイトバランスの補正処理が異なることを特徴とする画像処理装置。
【請求項２】
前記追尾用画像生成部が、前記入力画像のホワイトバランスと略等しいホワイトバランスとなる前記追尾用画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記追尾用画像生成部が、前記入力画像のホワイトバランスを補正せずに、前記追尾用画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記追尾用画像生成部が、前記出力画像生成部で行われる前記入力画像のホワイトバランスの補正処理の逆処理を前記出力画像に施して、前記追尾用画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項５】
順次入力される前記入力画像のホワイトバランスが所定の程度以上変化しない場合、前記追尾用画像生成部が、それぞれの前記入力画像に対するホワイトバランスの補正処理を等しくして、前記追尾用画像を順次生成することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
撮像により前記入力画像を生成する撮像部と、
請求項１〜請求項５のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、入力画像に所定の処理を施して出力画像を生成するとともに追尾処理を行う画像処理装置や、当該画像処理装置を備えた撮像装置に関する。
【背景技術】
【０００２】
近年、撮像によりデジタル方式の画像を得る撮像装置が広く普及している。これらの撮像装置には、画像の色味（ホワイトバランス）を補正するホワイトバランス補正処理（以下、ＷＢ補正処理とする）を実行可能なものがある。特に、撮像時の光源の色（以下、光源色とする）を検出し、当該光源色に応じたＷＢ補正処理を画像に施す、いわゆるオートホワイトバランス補正処理（以下、ＡＷＢ補正処理とする）を実行可能なものがある。また、撮像装置の小型化や簡素化などの観点から、撮像して得られた画像から光源色を検出することとすると好ましい。
【０００３】
また、撮像して得た画像から所定の被写体（以下、追尾物体とする）を検出する追尾処理を行う撮像装置がある。この追尾処理は、画像に種々の処理を施してノイズ等を抑制した一定条件の画像に対して行うこととすると、その検出精度を向上させることができるため好ましい。
【０００４】
しかしながら、追尾処理を上記のＡＷＢ補正処理が施された画像に対して行う場合、ＡＷＢ補正処理の影響によって追尾処理が不安定になる場合が生じ得る。特に、追尾物体の色となる部分を画像内から検出することで追尾物体の検出を行う追尾処理を採用する場合、ＡＷＢ補正処理によって画像のホワイトバランスが誤って補正されると、追尾物体の検出精度が劣化する場合が生じ得る。
【０００５】
追尾物体の検出精度が劣化する場合の具体例について、図面を参照して説明する。図１４は、追尾物体の検出精度が劣化する場合の具体例を示す画像の模式図である。なお、図１４（ａ）は、光源色が正しく検出されてＡＷＢ補正処理が行われた場合の画像を示すものである。即ち、物体の本来の色を示した画像である。一方、図１４（ｂ）は、光源色が誤って検出されてＡＷＢ補正処理が行われた場合の画像を示すものである。また、本例では追尾物体が人物の顔であり、画像内から肌色の部分が検出されることで追尾処理が行われるものとする。
【０００６】
図１４（ａ）では、光源色として誤認されやすい色（薄茶色）の物体（床）が、画像内で占める割合が大きくなっている。このような場合、光源色の誤認が生じやすくなる。そして、床の薄茶色が光源色であると誤認されると、薄茶色は赤色成分が大きい色であるため、画像全体の青色成分を大きくして赤色成分を小さくするＡＷＢ補正処理が施される。すると、図１４（ｂ）に示すように、光源色として誤認された床の色が白色に近い色になり、追尾物体を含めた他の部分が青味を帯びた色になる。このような誤ったＡＷＢ補正処理が頻繁に画像に施されると、追尾物体の色が画像によって異なるものとなったり、追尾物体の画像中の色が検出すべき色からずれたりするため、追尾物体の検出精度が劣化する問題が生じる。
【０００７】
そこで、例えば特許文献１では、ＡＷＢ補正処理の精度を向上させることで、追尾処理の精度を向上させる撮像システムが提案されている。この撮像システムでは、追尾物体の検出を行うための撮像装置の他に、ＡＷＢ補正処理を精度良く行うために参照対象物を継続して撮像する補正用撮像装置を別途設けている。これにより、追尾処理を行う画像に対して精度よくＡＷＢ補正処理を行うことが可能となる。
【先行技術文献】
【特許文献】
【０００８】
【特許文献１】特開平９−３２２１７９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００９】
特許文献１の撮像装置では、追尾処理を行う画像に対して精度良くＡＷＢ補正処理を行うことで、安定した追尾処理を実現することができるが、複数の撮像装置を備えることや、参照対象物を継続して撮像することが必要となる。そのため、固定して使用する撮像装置以外では適用が困難である。また、システム全体が大型になることもあり、汎用性に欠けることが問題となる。
【００１０】
そこで本発明は、追尾物体の検出精度を損なうことなくＡＷＢ補正処理を施した出力画像を生成可能な画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するために本発明の画像処理装置は、入力画像に基づいて出力画像を生成する出力画像生成部と、前記入力画像または前記出力画像に基づいて追尾用画像を生成する追尾用画像生成部と、前記追尾用画像から追尾物体の検出を行う追尾処理部と、を備え、前記出力画像生成部及び前記追尾用画像生成部のそれぞれで行われるホワイトバランスの補正処理が異なることを特徴とする。
【００１２】
なお、以下の実施形態においては、出力画像生成部の一例として、ＷＢ補正部や画像調整部を挙げて説明している。また、追尾用画像生成部の一例として、追尾用画像調整部や逆ＷＢ補正部、逆画像調整部、追尾用画像再調整部、追尾用画像ＷＢ補正部を挙げて説明している。
【００１３】
また、上記構成の画像処理装置において、前記追尾用画像生成部が、前記入力画像のホワイトバランスと略等しいホワイトバランスとなる前記追尾用画像を生成することとしても構わない。
【００１４】
このように構成すると、誤ったホワイトバランスの補正処理が施された追尾用画像が生成されることが抑制される。そのため、追尾処理部による追尾物体の検出精度が劣化することを抑制することが可能となる。
【００１５】
また、上記構成の画像処理装置において、前記追尾用画像生成部が、前記入力画像のホワイトバランスを補正せずに、前記追尾用画像を生成することとしても構わない。
【００１６】
このように構成すると、容易かつ確実に、追尾用画像のホワイトバランスを、入力画像のホワイトバランスと略等しいものにすることが可能となる。
【００１７】
また、上記構成の画像処理装置において、前記追尾用画像生成部が、前記出力画像生成部で行われる前記入力画像のホワイトバランスの補正処理の逆処理を前記出力画像に施して、前記追尾用画像を生成することとしても構わない。
【００１８】
このように構成すると、出力画像を利用して追尾用画像を生成することが可能となる。そのため、出力画像生成部で行われる種々の調整処理を、追尾用画像を生成する際に改めて行うことを不要とすることが可能となる。したがって、構成を簡略化することが可能となる。また、出力画像に対して追尾処理を行う既存の構成に大幅な変更を加えることなく、本発明の構成を実現することが可能となる。
【００１９】
また、上記構成の画像処理装置において、前記追尾用画像生成部が、前記入力画像にホワイトバランスの補正処理を施すとともに所定の調整処理を施して前記出力画像を生成するものであり、前記追尾用画像生成部が、前記出力画像に当該調整処理の逆処理を施すとともに当該ホワイトバランスの補正処理の逆処理を施して前記追尾用画像を生成することとしても構わない。
【００２０】
このように構成すると、出力画像に対して調整処理の逆処理を行うことによって、ホワイトバランスの補正処理の逆処理が好適に実行され得る画像の形式に変換することが可能となる。そのため、追尾用画像のホワイトバランスを、入力画像のホワイトバランスに効果的に近づけることが可能となる。特に、ガンマ補正処理などの非線形の調整処理が施された画像に対してホワイトバランスの補正処理の逆処理を行った場合、ホワイトバランスの補正処理の影響を打ち消すことは困難になる。しかしながら、本構成のように予め調整処理の逆処理を行うことによって調整処理の影響を打ち消すことで、効果的にホワイトバランスの補正処理の影響を打ち消すことが可能となる。
【００２１】
また、上記構成の画像処理装置において、前記追尾用画像生成部が、前記出力画像に前記調整処理の逆処理を施すとともに前記ホワイトバランスの補正処理の逆処理を施し、さらに前記調整処理を施して前記追尾用画像を生成することとしても構わない。
【００２２】
このように構成すると、追尾用画像の形式を出力画像の形式に戻すことが可能となる。そのため、出力画像に対して追尾処理を行う既存の構成に大幅な変更を加えることなく、本発明の構成を実現することが可能となる。また、再度調整処理を施すことによって、追尾用画像を追尾物体の検出に適した画像とすることが可能となる。
【００２３】
また、上記構成の画像処理装置において、順次入力される前記入力画像のホワイトバランスが所定の程度以上変化しない場合、前記追尾用画像生成部が、それぞれの前記入力画像に対するホワイトバランスの補正処理を等しくして、前記追尾用画像を順次生成することとしても構わない。
【００２４】
このように構成すると、追尾用画像のホワイトバランスが頻繁に変動することが抑制される。そのため、追尾処理部による追尾物体の検出精度が劣化することを抑制することが可能となる。
【００２５】
また、上記構成の画像処理装置において、順次入力される前記入力画像のホワイトバランスが所定の程度以上変化する場合に、前記追尾用画像が、当該変化に応じてホワイトバランスの補正処理を変更することとしても構わない。
【００２６】
このように構成すると、入力画像のホワイトバランスが大きく変化する場合に、この変化に対応したホワイトバランスの補正処理を行うこととなる。そのため、追尾処理部による追尾物体の検出精度を向上させることが可能となる。
【００２７】
また、上記構成の画像処理装置において、順次入力される前記入力画像のホワイトバランスが所定の程度以上変化する場合に、前記追尾処理部が、前記追尾用画像から検出する追尾対象値を当該変化に合わせて変更することとしても構わない。
【００２８】
このように構成すると、入力画像のホワイトバランスが大きく変化する場合に、この変化に対応した追尾対象値を設定することとなる。そのため、追尾処理部による追尾物体の検出精度を向上させることが可能となる。
【００２９】
また、本発明の撮像装置は、撮像により前記入力画像を生成する撮像部と、上記のいずれかの画像処理装置と、を備えることを特徴とする。
【発明の効果】
【００３０】
本発明によると、異なるホワイトバランス補正処理が施されて出力画像及び追尾用画像が生成される。そのため、出力画像を生成するために行われるホワイトバランスの補正処理の影響を追尾用画像が受けて、追尾処理部による追尾物体の検出精度が劣化することを抑制することが可能となる。
【図面の簡単な説明】
【００３１】
【図１】は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【図２】は、本発明の実施形態における撮像装置に備えられる画像処理部の第１実施例の構成を示すブロック図である。
【図３】は、ガンマ補正処理の一例について示すグラフである。
【図４】は、本発明の実施形態における撮像装置に備えられる画像処理部の第２実施例の構成を示すブロック図である。
【図５】は、本発明の実施形態における撮像装置に備えられる画像処理部の第３実施例の構成を示すブロック図である。
【図６】は、第３実施例の画像処理部における要部構成の第１例を示すブロック図である。
【図７】は、第３実施例の画像処理部における要部構成の第２例を示すブロック図である。
【図８】は、逆ガンマ補正処理の一例について示すグラフである。
【図９】は、本発明の実施形態における撮像装置に備えられる画像処理部の第４実施例の構成を示すブロック図である。
【図１０】は、第４実施例の画像処理部に備えられる追尾用画像ゲイン設定部による追尾用画像ゲインの設定方法について示すフローチャートである。
【図１１】は、光源候補の具体例を示す色度図である。
【図１２】は、本発明の実施形態における撮像装置に備えられる画像処理部の第５実施例の構成を示すブロック図である。
【図１３】は、第５実施例の画像処理部に備えられる追尾対象値変更指示部による追尾対象値の変更方法について示すフローチャートである。
【図１４】は、追尾処理の精度が劣化する場合の具体例を示す画像の模式図である。
【発明を実施するための形態】
【００３２】
本発明の実施形態について、以下に図面を参照して説明する。最初に、本発明における撮像装置の一例について説明する。なお、以下に説明する撮像装置は、デジタルカメラなどの音声、動画及び静止画の記録が可能なものである。
【００３３】
＜＜撮像装置＞＞
まず、撮像装置の構成について、図１を参照して説明する。図１は、本発明の実施形態における撮像装置の構成を示すブロック図である。
【００３４】
図１に示すように、撮像装置１は、入射される光学像を電気信号に変換するＣＣＤ（Charge Coupled Device）またはＣＭＯＳ（Complimentary Metal Oxide Semiconductor）センサなどの固体撮像素子から成るイメージセンサ２と、被写体の光学像をイメージセンサ２に結像させるとともに光量などの調整を行うレンズ部３と、を備える。レンズ部３とイメージセンサ２とで撮像部が構成され、この撮像部によって画像信号が生成される。なお、レンズ部３は、ズームレンズやフォーカスレンズなどの各種レンズ（不図示）や、イメージセンサ２に入力される光量を調整する絞り（不図示）などを備える。
【００３５】
さらに、撮像装置１は、イメージセンサ２から出力されるアナログ信号である画像信号をデジタル信号に変換するとともにゲインの調整を行うＡＦＥ（Analog Front End）４と、入力される音声を電気信号に変換する集音部５と、ＡＦＥ４から出力される画像信号に適宜処理を施して出力する画像処理部６と、集音部５から出力されるアナログ信号である音声信号をデジタル信号に変換する音声処理部７と、画像処理部６から出力される画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式などの静止画用の圧縮符号化処理を施したり画像処理部６から出力される画像信号と音声処理部７からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの動画用の圧縮符号化処理を施したりする圧縮処理部８と、圧縮処理部８で圧縮符号化された圧縮符号化信号を記録する外部メモリ１０と、画像信号を外部メモリ１０に記録したり読み出したりするドライバ部９と、ドライバ部９において外部メモリ１０から読み出した圧縮符号化信号を伸長して復号する伸長処理部１１と、を備える。
【００３６】
また、撮像装置１は、伸長処理部１１で復号された画像信号をディスプレイなどの表示装置（不図示）で表示可能な種類の信号に変換する画像出力回路部１２と、伸長処理部１１で復号された音声信号をスピーカなどの再生装置（不図示）で再生可能な種類の信号に変換する音声出力回路部１３と、を備える。
【００３７】
また、撮像装置１は、撮像装置１内全体の動作を制御するＣＰＵ（Central Processing Unit）１４と、各処理を行うための各プログラムを記憶するとともにプログラム実行時の信号の一時保管を行うメモリ１５と、撮像を開始するボタンや各種設定の決定を行うボタンなどのユーザからの指示が入力される操作部１６と、各部の動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）部１７と、ＣＰＵ１４と各部との間で信号のやりとりを行うためのバス回線１８と、メモリ１５と各部との間で信号のやりとりを行うためのバス回線１９と、を備える。
【００３８】
なお、外部メモリ１０は画像信号や音声信号を記録することができればどのようなものでも構わない。例えば、ＳＤ（Secure Digital）カードのような半導体メモリ、ＤＶＤなどの光ディスク、ハードディスクなどの磁気ディスクなどをこの外部メモリ１０として使用することができる。また、外部メモリ１０を撮像装置１から着脱自在としても構わない。
【００３９】
次に、撮像装置１の基本動作について図１を参照して説明する。まず、撮像装置１は、レンズ部３より入射される光をイメージセンサ２において光電変換することによって、電気信号である画像信号を取得する。そして、イメージセンサ２は、ＴＧ部１７から入力されるタイミング制御信号に同期して、所定のフレーム周期（例えば、１／３０秒）で順次ＡＦＥ４に画像信号を出力する。そして、ＡＦＥ４によってアナログ信号からデジタル信号へと変換された画像信号は、画像処理部６に入力される。画像処理部６では、画像信号がＹＵＶを用いた信号に変換されるとともに、階調補正や輪郭強調等の各種調整処理が施される。また、メモリ１５はフレームメモリとして動作し、画像処理部６が処理を行なう際に画像信号を一時的に保持する。なお、画像処理部６の構成例及び動作例の詳細については後述する。
【００４０】
また、このとき画像処理部６に入力される画像信号に基づき、レンズ部３において、各種レンズの位置が調整されてフォーカスの調整が行われたり、絞りの開度が調整されて露出の調整が行われたりする。このフォーカスや露出などの各種調整は、ユーザの指示に基づいて手動で行われたり、それぞれ最適な状態となるように所定のプログラムに基づいて自動的に行われたりする。例えば自動的に行われる場合、後述する追尾処理によって検出された追尾物体の位置や大きさに基づいて最適化が図られることとしても構わない。
【００４１】
動画を記録する場合であれば、画像信号だけでなく音声信号も記録される。集音部５において電気信号に変換されて出力される音声信号は音声処理部７に入力されてデジタル化されるとともにノイズ除去などの処理が施される。そして、画像処理部６から出力される画像信号と、音声処理部７から出力される音声信号と、はともに圧縮処理部８に入力され、圧縮処理部８において所定の圧縮方式で圧縮される。このとき、画像信号と音声信号とは時間的に関連付けられており、再生時に画像と音とがずれないように構成される。そして、圧縮された画像信号及び音声信号はドライバ部９を介して外部メモリ１０に記録される。
【００４２】
一方、静止画または音声のみを記録する場合であれば、画像信号または音声信号が圧縮処理部８において所定の圧縮方法で圧縮され、外部メモリ１０に記録される。なお、動画を記録する場合と静止画を記録する場合とで、画像処理部６において行われる処理を異なるものとしても構わない。
【００４３】
外部メモリ１０に記録された圧縮後の画像信号及び音声信号は、ユーザの指示に基づいて伸長処理部１１に読み出される。伸長処理部１１では、圧縮された画像信号及び音声信号を伸長し、画像信号を画像出力回路部１２、音声信号を音声出力回路部１３にそれぞれ出力する。そして、画像出力回路部１２や音声出力回路部１３において、表示装置やスピーカで表示または再生可能な種類の信号に変換されて出力される。
【００４４】
なお、表示装置やスピーカは、撮像装置１と一体となっているものでも構わないし、別体となっており、撮像装置１に備えられる端子とケーブル等を用いて接続されるようなものでも構わない。
【００４５】
また、画像信号の記録を行わずに表示装置などに表示される画像をユーザが確認する、いわゆるプレビューモードである場合に、画像処理部６から出力される画像信号を圧縮せずに画像出力回路部１２に出力することとしても構わない。また、記録する画像が動画像であるか静止画像であるかを問わず、プレビューモードである場合に、画像処理部６が後述する追尾処理を行うこととしても構わない。
【００４６】
また、動画の画像信号を記録する際に、圧縮処理部８で圧縮して外部メモリ１０に記録するのと並行して、画像出力回路部１２を介して表示装置などに画像信号を出力することとしても構わない。
【００４７】
＜＜画像処理部＞＞
次に、図１に示した画像処理部６について各実施例を挙げるとともに図面を参照して説明する。なお、以下の各実施例の説明では、説明の具体化のために画像処理部６に入力される画像信号を画像として表現するとともに、「入力画像」と呼ぶこととする。また、画像処理部６から出力される画像信号を「出力画像」と呼ぶこととする。
【００４８】
＜第１実施例＞
最初に、画像処理部６の第１実施例について説明する。図２は、本発明の実施形態における撮像装置に備えられる画像処理部の第１実施例の構成を示すブロック図である。
【００４９】
図２に示すように、本実施例の画像処理部６ａは、入力画像にＷＢ補正処理（特に、ＡＷＢ補正処理）を施すＷＢ補正部６０と、ＷＢ補正部６０で補正処理が施された入力画像に対して各種調整処理を施して出力画像を生成し出力する画像調整部６１と、入力画像に各種調整処理を施して追尾用画像を生成し出力する追尾用画像調整部６２と、追尾用画像調整部６２から出力される追尾用画像に対して追尾処理を行い追尾物体の画像中の位置や大きさなどを示す情報である追尾情報を生成し出力する追尾処理部６３と、を備える。
【００５０】
出力画像は、例えば外部メモリ１０に記録するために圧縮処理部８に入力されたり、表示装置で表示を行うために画像出力回路部１２に入力されたりする。追尾情報は、例えばＣＰＵ１４に入力されてレンズ部３の制御などに利用される。具体的に例えば、追尾物体が明瞭に表示されるようにフォーカスを調整したり、追尾物体が最適な明るさで表示されるように絞りを調整したりするためなどに、追尾情報が利用される。なお、追尾物体を含む所定の画角を切り出すことで新たな画像を生成する処理を画像処理部６ａが別途行う場合などでも、追尾情報を利用することができる。
【００５１】
以下、本実施例の画像処理部６ａの各部の構成及び動作について説明する。
【００５２】
［ＷＢ補正部］
ＷＢ補正部６０は、入力画像に基づいてＷＢ補正処理を行うためのゲインを設定しゲイン情報として出力するゲイン設定部６０１と、入力されるゲイン情報に基づいてＷＢ補正処理を入力画像に施す補正実行部６０２と、を備える。
【００５３】
ゲイン設定部６０１は、入力画像から光源色を検出するとともに、当該光源色による画像の色味が抑制されるようなゲインを設定する。具体的に例えば、入力画像を複数の領域に分割し、光源色が反映されていると推定される検出領域を一つ以上選別するとともに、当該検出領域に含まれる画素の画素値を種類毎に（例えば、ＲＧＢ毎に）積算、平均化することで光源色を検出する。そして、得られた光源色の各値（例えば、ＲＧＢの各値）の逆比を、ゲインとして設定する。このような方法によってゲインを設定する場合、領域内に含まれる画素値の最大値及び最小値の差が小さい（彩度が小さい、無彩色に近い）領域を、検出領域としても構わない。
【００５４】
以下、説明の具体化のために、入力画像がＲＧＢの画素値を備えるものとする。また、ＲＧＢのそれぞれに対してゲインｇr，ｇg，ｇbが設定された場合について説明する。
【００５５】
補正実行部６０２は、下記式（１）に示すように、ゲイン設定部６０１によって設定されたそれぞれのゲイン（ｇr，ｇg，ｇb）を、入力画像のそれぞれの画素値に乗算することで、ＷＢ補正処理を行う。なお、下記式（１）中、Ｒa，Ｇa，ＢaはＷＢ補正処理前のそれぞれの画素値であり、Ｒb，Ｇb，ＢbはＷＢ補正処理後のそれぞれの画素値である。
【００５６】
【数１】
2010251906.tif 000003
【００５７】
なお、ＷＢ補正部６０が、ＡＷＢ補正処理（上記のようにゲイン設定部６０１によって自動的にゲインが設定されるＷＢ補正処理）を実行するだけでなく、通常のＷＢ補正処理（上記式（１）のそれぞれのゲインをユーザが個別に設定して行うＷＢ補正処理）を実行するものとしても構わない。また、ＡＷＢ補正処理の際に設定されたゲインを、ユーザが調整可能としても構わない。
【００５８】
［画像調整部］
画像調整部６１は、各種調整処理を行う。調整処理とは、例えば色同時化処理、ノイズ低減処理、輪郭強調処理、ガンマ補正処理、ＹＵＶ変換処理などである。なお、以下に各調整処理について説明するが、これらの調整処理は一例に過ぎず、画像調整部６１がこれ以外の調整処理を行うこととしても構わないし、いずれかの調整処理を行わないこととしても構わない。
【００５９】
色同時化処理は、各画素にＲＧＢのいずれか１種類の画素値が備えられる画像（ベイヤ画像）に対して、画素値の種類毎に補間処理を行うことなどによって、各画素にＲＧＢの画素値をそれぞれ備えさせる処理である。これにより、１つの画素にＲＧＢの３種類の画素値を備えた画像が得られる。
【００６０】
ノイズ低減処理や輪郭強調処理は、対象となる画像に対してそれぞれの処理を実行するフィルタ（例えば、メディアンフィルタや、微分フィルタを利用した先鋭化フィルタなど）を適用することなどによって行われる処理である。これにより、周囲から突出した画素値の部分が抑制されたり、急峻に変化する画素値の部分が強調されたりする。
【００６１】
ガンマ補正処理は、画像を表示する際の出力と画素値とのずれを補正するために画素値を変換する処理であり、非線形の処理である。具体的には、図３のガンマ補正処理について示すグラフのように、画素値の補正を行う。また、図３に示す場合の画素値の補正前後の関係を下記式（２）に示す。下記式（２）中、Ｓinは補正前の画素値、Ｓoutは補正後の画素値、γは１より大きい所定の係数である。また、画素値は０〜Ｓmaxの範囲の値となる（Ｓmax＋１階調である）。
【００６２】
【数２】
2010251906.tif 000004
【００６３】
ＹＵＶ変換処理は、各画素のＲＧＢの画素値を、ＹＵＶの画素値に変換する処理である。具体的には、下記式（３）に示すようにＲＧＢのそれぞれの画素値に所定の係数を乗じて合算することによって、ＹＵＶのそれぞれの画素値を得る。
【００６４】
【数３】
2010251906.tif 000005
【００６５】
［追尾用画像調整部］
追尾用画像調整部６２は、画像調整部６１と同様に各種調整処理を入力画像に施すことで、追尾用画像を生成する。なお、画像調整部６１と同じ調整処理を行うこととしても構わないし、いずれかの調整処理を行わなかったり、いずれかの調整処理を加えて行ったりしても構わない。
【００６６】
［追尾処理部］
追尾処理部６３は、追尾用画像調整部６２から出力される追尾用画像に対して追尾処理を行う。例えば、追尾処理開始時に、ユーザやプログラム（顔検出処理など）等によって指定される追尾物体の色を追尾対象値として記憶して、順次入力される追尾用画像から追尾対象値となる画素を検出することで追尾処理を行う。
【００６７】
なお、追尾物体は人の顔に限らず、顔以外の胴体部分などであっても構わないし、人以外の物体であっても構わない。また、追尾用画像をＨ（色相）Ｓ（彩度）Ｖ（明度）などの他の種類の画素値に変換するとともに、特定の画素値（例えば、撮像状況の変化に対して変動しにくいＨなど）を追尾対象値として設定して検出を行うことで、追尾処理を実現しても構わない。
【００６８】
次に、本実施例の画像処理部６ａの全体的な動作について図２を参照して説明する。
【００６９】
図２に示すように、本例の画像処理部６ａでは、入力画像が、ＷＢ補正部６０と追尾用画像調整部６２とのそれぞれに入力される。ＷＢ補正部６０に入力される入力画像は、上述のＷＢ補正処理が施された後に画像調整部６１に入力され、各種調整処理が施されることで出力画像が生成される。一方、追尾画像処理部６２に入力される入力画像は、各種調整処理が施された後に追尾処理部６３に入力され、追尾処理が行われることによって追尾情報が生成される。なお、出力画像を生成するための処理（ＷＢ補正部６０及び画像調整部６１による処理）と、追尾処理を行うための処理（追尾用画像調整部６２及び追尾処理部６３による処理）とは、順に行われることとしても構わないし、並行して行われることとしても構わない。
【００７０】
以上のように、本実施例の画像処理部６ａでは、出力画像を生成する際にはＷＢ補正処理（特に、ＡＷＢ補正処理）が行われるが、追尾用画像を生成する際にはＷＢ補正処理が行われないものとなる。即ち、ＷＢ補正処理の影響を受けない追尾用画像（ホワイトバランスが入力画像と略等しい画像）が得られる。
【００７１】
そのため、ＷＢ補正部６０のゲイン設定部６０１が光源色の誤認を頻発したとしても、追尾用画像はその影響を受けず、ホワイトバランスが変化させられることが抑制される。したがって、追尾処理部６３による追尾物体の検出精度を向上させることが可能となる。
【００７２】
＜第２実施例＞
次に、画像処理部６の第２実施例について図面を参照して説明する。図４は、本発明の実施形態における撮像装置に備えられる画像処理部の第２実施例を示すブロック図であり、第１実施例について示した図２に相当するものである。なお、第１実施例と同様となる部分には同じ符号を付し、その詳細な説明については省略する。
【００７３】
図４に示すように、第２実施例の画像処理部６ｂは、ＷＢ補正部６０と、画像調整部６１と、画像調整部６１から出力される出力画像に逆ＷＢ補正処理を施し追尾用画像を生成し出力する逆ＷＢ補正部６４と、追尾処理部６３と、を備える。なお、ＷＢ補正部６０、画像調整部６１及び追尾処理部６３は、第１実施例に示したものと同様の動作を行う。そのため、ここでは逆ＷＢ補正部６４について説明する。
【００７４】
［逆ＷＢ補正部］
逆ＷＢ補正部６４は、ＷＢ補正部６０のゲイン設定部６０１からゲイン情報を得るとともに、入力される出力画像に対してＷＢ補正処理の逆処理である逆ＷＢ補正処理を施す。これにより、ＷＢ補正部６０の補正実行部６０２で施されたＷＢ補正処理の影響が打ち消された画像（追尾用画像）が生成される。
【００７５】
具体的には、下記式（４）に示すように、ゲイン設定部６０１で設定されたそれぞれのゲインの逆数（１／ｇr，１／ｇg，１／ｇb）を、入力される画像のそれぞれの画素値に乗算することで、逆ＷＢ補正処理を行う。なお、下記式（４）中、Ｒc，Ｇc，Ｂcは逆ＷＢ補正処理前のそれぞれの画素値であり、Ｒd，Ｇd，Ｂdは逆ＷＢ補正処理後のそれぞれの画素値である。
【００７６】
【数４】
2010251906.tif 000006
【００７７】
このように構成すると、第１実施例と同様に、ＷＢ補正処理の影響を受けない追尾用画像（ホワイトバランスが入力画像と略等しい画像）を得ることが可能となる。そのため、ＷＢ補正部６０のゲイン設定部６０１が光源色の誤認を頻発したとしても、追尾用画像はその影響を受けず、ホワイトバランスが変化させられることが抑制される。したがって、追尾処理部６３による追尾物体の検出精度を向上させることが可能となる。
【００７８】
また、本実施例では、調整処理が施された出力画像を利用して、追尾用画像を生成することが可能となる。そのため、構成を簡略化することが可能となる。また、出力画像に対して追尾処理を行う既存の構成に大幅な変更を加えることなく、本実施例の構成を実現することが可能となる。
【００７９】
＜第３実施例＞
次に、画像処理部６の第３実施例について図面を参照して説明する。図５は、本発明の実施形態における撮像装置に備えられる画像処理部の第３実施例を示すブロック図であり、第１実施例について示した図２や第２実施例について示した図４に相当するものである。なお、第１実施例及び第２実施例と同様となる部分には同じ符号を付し、その詳細な説明については省略する。
【００８０】
図６に示すように、第３実施例の画像処理部６ｃは、ＷＢ補正部６０と、画像調整部６１と、画像調整部６１から出力される出力画像に逆調整処理を施して出力する逆画像調整部６５と、逆画像調整部６５から出力される画像に逆ＷＢ補正処理を施して出力する逆ＷＢ補正部６４と、逆ＷＢ補正部６４から出力される画像に調整処理を施し追尾用画像を生成し出力する追尾用画像再調整部６６と、追尾処理部６３と、を備える。なお、ＷＢ補正部６０、画像調整部６１、逆ＷＢ補正部６４及び追尾処理部６３は、第１実施例及び第２実施例に示したものと同様の動作を行う。そのため、ここでは逆画像調整部６５及び追尾用画像再調整部６６について説明する。
【００８１】
［逆画像調整部］
逆画像調整部６５は、画像調整部６１で行われる調整処理の逆処理である、逆調整処理を行う。これにより、調整処理の影響が打ち消された画像を生成する。なお、逆調整処理部６５は、画像調整部６１で行われる全ての調整処理の逆処理を行うとは限らず、少なくとも一つの調整処理に対する逆調整処理を行う。特に、必要な逆調整処理だけ施すこととすると、処理を簡略化できるため好ましい。
【００８２】
［追尾用画像再調整部］
追尾用画像再調整部６６は、逆画像調整部６５で行われた逆調整処理に対応する調整処理を少なくとも一つ行う。そのため、逆画像調整部６５においてその影響が打ち消された調整処理が、追尾用画像再調整部６６によって再度施されることとなる。
【００８３】
このように構成すると、第１及び第２実施例と同様に、ＷＢ補正処理の影響を受けない追尾用画像（ホワイトバランスが入力画像と略等しい画像）を得ることが可能となる。そのため、ＷＢ補正部６０のゲイン設定部６０１が光源色の誤認を頻発したとしても、追尾用画像はその影響を受けず、ホワイトバランスが変化させられることが抑制される。したがって、追尾処理部６３による追尾物体の検出精度を向上させることが可能となる。
【００８４】
また、特に本実施例では、逆画像調整部６５が逆調整処理を行うことによって、出力画像の形式を、逆ＷＢ補正処理が好適に実行され得る形式（例えば、ＷＢ補正処理を施した画像と同様の形式）に変換することが可能となる。そのため、この変換された画像に対して逆ＷＢ補正処理を行うことにより、効果的にＷＢ補正処理の影響を打ち消した画像を得ることが可能となる。
【００８５】
さらに、追尾用画像再調整部６６が再度調整処理を行うことで、逆ＷＢ補正処理後の画像の形式を、出力画像の形式に戻すことが可能となる。そのため、第２実施例と同様に、出力画像に対して追尾処理を行う既存の構成に大幅な変更を加えることなく、本実施例の構成を実現することが可能となる。また、再度調整処理を行うことによって、追尾用画像を追尾物体の検出に適した画像とすることが可能となる。
【００８６】
なお、本実施例の逆画像調整部６５が行う逆調整処理、追尾用画像再調整部６６が行う調整処理の組み合わせの具体例について、以下図面を参照して説明する。
【００８７】
〔第１例〕
図６は、第３実施例の画像処理部における要部構成の第１例を示すブロック図であり、図５の逆画像調整部６５、逆ＷＢ補正部６４、追尾用画像再調整部６６に係る構成について示したものである。
【００８８】
図６に示すように、本例では逆画像調整部６５ａが、出力画像に対して逆ＹＵＶ変換処理を施す逆ＹＵＶ変換部６５１を備える。また、追尾用画像再調整部６６ａが、逆ＷＢ補正部６４から出力される画像に対してＹＵＶ変換処理を施すＹＵＶ変換部６６１を備える。なお、本例では、ＷＢ補正部６０がＲＧＢの画素値を有する入力画像に対してＷＢ補正処理を行うものであり、画像調整部６１が上述のＹＵＶ変換処理を行うものとする。
【００８９】
逆ＹＵＶ変換部６５１は、上述のＹＵＶ変換処理の逆処理であり、各画素のＹＵＶの画素値を、ＲＧＢの画素値に変換する処理である。具体的には、下記式（５）に示すようにＲＧＢのそれぞれの画素値に所定の係数を乗じて合算することによって、ＹＵＶのそれぞれの画素値を得る。
【００９０】
【数５】
2010251906.tif 000007
【００９１】
本例の構成では、画像調整部６１から出力される出力画像の形式（ＹＵＶ）と、ＷＢ補正部６０でＷＢ補正処理が施された画像の形式（ＲＧＢ）と、が異なるものとなる。そのため、上記式（４）のようなＷＢ補正処理のゲインを利用した逆ＷＢ補正処理を、出力画像にそのまま施すことはできない。そこで、本例では、逆画像調整部６５ａの逆ＹＵＶ変換部６５１が、出力画像の形式（ＹＵＶ）をＷＢ補正部６０でＷＢ補正処理が施された画像の形式（ＲＧＢ）へと変換する。
【００９２】
このように構成することにより、出力画像の形式が、ＷＢ補正処理が施された画像の形式と異なるものとなる場合でも、出力画像の形式を変換して逆ＷＢ補正処理を実行することが可能となる。また、ＷＢ補正処理のゲインを利用した逆ＷＢ補正処理を実行することが可能となる。
【００９３】
〔第２例〕
次に、第２例について図面を参照して説明する。図７は、第３実施例の画像処理部における要部構成の第２例を示すブロック図であり、第１例について示した図６に相当するものである。
【００９４】
図７に示すように、本例では逆画像調整部６５ｂが、出力画像に対して逆ＹＵＶ変換処理を施す逆ＹＵＶ変換部６５１と、逆ガンマ補正処理を施す逆ガンマ補正部６５２と、を備える。また、追尾用画像再調整部６６ｂが、逆ＷＢ補正部６４から出力される画像に対してガンマ補正処理を施すガンマ補正部６６２と、ＹＵＶ変換処理を施すＹＵＶ変換部６６１と、を備える。なお、本例では、ＷＢ補正部６０がＲＧＢの画素値を有する入力画像に対してＷＢ補正処理を行うものであり、画像調整部６１が上述のＹＵＶ変換処理を行うものとする。
【００９５】
逆ガンマ補正処理は、上述のガンマ補正処理の逆処理である。具体的には、図８の逆ガンマ補正処理について示すグラフのように、画素値の補正を行う。また、図８に示す場合の画素値の補正前後の関係を下記式（６）に示す。下記式（６）中、Ｓｒinは補正前の画素値、Ｓｒoutは補正後の画素値、γは１より大きい所定の係数である。また、画素値は０〜Ｓmaxの範囲の値となる（Ｓmax＋１階調である）。
【００９６】
【数６】
2010251906.tif 000008
【００９７】
画像調整部６１が、ガンマ補正処理を施した後にＹＵＶ変換処理を行って出力画像を生成する場合、逆画像調整処理部６５ｂは、これとは逆の順に対応する逆処理を行うこととすると好ましい。即ち、逆画像調整処理部６５ｂは、出力画像に対して逆ＹＵＶ変換処理を施した後に、逆ガンマ補正処理を施すこととすると好ましい。また、追尾用画像再調整部６６ｂは、画像調整部６１と同様の順に各種調整処理を行うこととすると好ましい。即ち、追尾用画像再調整部６６ｂは、逆ＷＢ補正部６４から出力される画像に対してガンマ補正処理を施した後に、ＹＵＶ変換処理を施すこととすると好ましい。
【００９８】
本例のように構成すると、第１例と同様に、出力画像の形式が、ＷＢ補正処理が施された画像の形式と異なるものとなる場合でも、出力画像の形式を変換して逆ＷＢ補正処理を実行することが可能となる。また、ＷＢ補正処理のゲインを利用した逆ＷＢ補正処理を実行することが可能となる。
【００９９】
また、ガンマ補正処理及び逆ガンマ補正処理は上述したように非線形の処理である。そして、このような非線形の処理が施された画像に対して逆ＷＢ補正処理を行った場合、ＷＢ補正処理の影響を打ち消すことが困難になる。そのため、本例では逆ＷＢ補正部６４に入力される画像を、非線形の処理の影響が打ち消されたものとする。これにより、逆ＷＢ補正部６４において、効果的にＷＢ補正処理の影響を打ち消した画像を生成することが可能となる。
【０１００】
＜第４実施例＞
次に、画像処理部６の第４実施例について図面を参照して説明する。図９は、本発明の実施形態における撮像装置に備えられる画像処理部の第４実施例を示すブロック図であり、第１実施例について示した図２に相当するものである。なお、第１実施例と同様となる部分には同じ符号を付し、その詳細な説明については省略する。
【０１０１】
図９に示すように、第４実施例の画像処理部６ｄは、ＷＢ補正部６０と、画像調整部６１と、入力画像にＷＢ補正処理を施して出力する追尾用画像ＷＢ補正部６７と、追尾用画像ＷＢ補正部６７から出力される画像に各種調整処理を施して追尾用画像を生成する追尾用画像調整部６２と、追尾処理部６３と、を備える。なお、ＷＢ補正部６０、画像調整部６１、追尾用画像調整部６２及び追尾処理部６３は、第１実施例に示したものと同様の動作を行う。そのため、ここでは追尾用画像ＷＢ補正部６７について説明する。
【０１０２】
［追尾用画像ＷＢ補正部］
追尾用画像ＷＢ補正部６７は、ＷＢ補正部６０のゲイン設定部６０１によって設定されたゲインに基づいて追尾用画像ゲインを設定し追尾用画像ゲイン情報として出力する追尾用画像ゲイン設定部６７１と、入力される追尾用画像ゲイン情報に基づいてＷＢ補正処理を入力画像に施す追尾用画像補正実行部６７２と、を備える。
【０１０３】
追尾用画像ＷＢ補正部６７は、基本的にＷＢ補正部６０と同様の動作を行う。特に、追尾用画像補正実行部６７２は、ＷＢ補正部６０の補正実行部６０２と同様に、追尾用画像ゲイン設定部６７１によって設定された追尾用画像ゲインに基づいて入力画像にＷＢ補正処理を施す。
【０１０４】
ただし、追尾用画像ゲイン設定部６７１による追尾用画像ゲインの設定方法が、ＷＢ補正部６０のゲイン設定部６０１とは異なる。以下、追尾用画像ゲイン設定部６７１の追尾用画像ゲインの設定方法について、図面を参照して説明する。
【０１０５】
図１０は、第４実施例の画像処理部に備えられる追尾用画像ゲイン設定部による追尾用画像ゲインの設定方法について示すフローチャートである。図１０に示すように、追尾処理が開始されると最初に、追尾用画像ゲイン設定部６７１が、ゲイン設定部６０１から出力されるゲイン情報を取得する（ＳＴＥＰ１）。上述のように、ゲイン情報はゲイン設定部６０１が設定するゲインを示すものである。
【０１０６】
追尾用画像ゲイン設定部６７１は、例えば、予め設定されている光源候補に対応するゲイン（以下、光源候補対応ゲインとする）の中からゲイン設定部６０１が設定したゲインに最も近いものを選択して、追尾用画像ゲインとして設定する（ＳＴＥＰ２）。この光源候補の具体例について、図１１を参照して説明する。図１１は、光源候補の具体例を示す色度図である。なお、色度図中の曲線ＢＬは、黒体放射軌跡であり、理想的な光源が発する光の色味を示すものである。
【０１０７】
光源候補は、この曲線ＢＬに沿うように設定される。例えば、夕焼け（色温度２２００Ｋ）Ａ、電球色蛍光灯（色温度３０００Ｋ）Ｂ、昼白色蛍光灯（色温度４５００Ｋ）Ｃ、太陽光（色温度４８００Ｋ）Ｄ、曇天光（色温度６０００Ｋ）Ｅ、Ｄ６５光源（色温度６５００Ｋ）Ｆである。上記の光源候補対応ゲインとは、これらの光源候補の色味を抑制するように設定されたゲインである。なお、これらの光源候補は一例であり、他の光源候補（例えば、白色蛍光灯（４０００Ｋ）やストロボ光（７０００Ｋ）など）を加えたり、いずれかの光源候補を除いたりしても構わない。
【０１０８】
ところで、追尾用画像補正実行部６７２は、ＳＴＥＰ２で設定された追尾用画像ゲインを用いて入力画像にＷＢ補正処理を施した画像を出力する。また、追尾用画像調整部６２は、この画像に各種調整処理を施して追尾用画像を生成する。なお、上述のように、追尾処理部６３では追尾対象値が設定されており、追尾用画像から追尾対象値の画素が検出されることで追尾処理が行われ、追尾情報が生成される。
【０１０９】
またこのとき、例えばＣＰＵ１４などから追尾処理を終了する指示が入力されているか否かを確認する（ＳＴＥＰ３）。即ち、次の入力画像に対して追尾用画像ＷＢ補正部６７がＷＢ補正処理を施すべきか否かを確認する。終了する指示が入力されている場合（ＳＴＥＰ３、ＹＥＳ）は、終了する。
【０１１０】
一方、終了する指示が入力されていない場合は（ＳＴＥＰ３、ＮＯ）、次に入力される画像に基づいてゲイン設定部６０１が生成して出力したゲイン情報を、追尾用画像ゲイン設定部６７１が取得する（ＳＴＥＰ４）。そして、ゲイン情報に基づいて、光源に明らかな変化があったか否かを確認する（ＳＴＥＰ５）。
【０１１１】
光源に明らかな変化があった場合とは、例えば、ＳＴＥＰ２と同様の方法で追尾用画像ゲインを設定しようとしたならば、現在設定されている光源候補対応ゲインとある程度以上異なる（例えば、光源候補が所定の色温度以上異なる、光源候補の順番Ａ〜Ｆが所定の順番以上異なる、など）光源候補対応ゲインが選択され得る場合である。
【０１１２】
光源に明らかな変化がなかった場合（ＳＴＥＰ５、ＮＯ）、追尾用画像ゲイン設定部６７１は、設定されている追尾用画像ゲインをそのまま維持する。そして、ＳＴＥＰ３に戻り終了するか否かを確認する。
【０１１３】
一方、光源に明らかな変化があった場合（ＳＴＥＰ５、ＹＥＳ）、追尾用画像ゲイン設定部６７１は、設定している追尾用画像ゲインを変更する（ＳＴＥＰ６）。例えば、ゲイン設定部６０１が設定したゲインに最も近い光源候補対応ゲインを、新たな追尾用画像ゲインとして設定し直す。そして、ＳＴＥＰ３に戻り終了するか否かを確認する。
【０１１４】
ところで、追尾用画像補正実行部６７２は、ＳＴＥＰ５で維持されたりＳＴＥＰ６で変更されたりした追尾用画像ゲインを用いて入力画像にＷＢ補正処理を施した画像を出力する。また、追尾用画像調整部６２は、この画像に各種調整処理を施して追尾用画像を生成する。そして、上述のように追尾処理部６３が追尾用画像に追尾処理を行うことで追尾情報を生成する。
【０１１５】
本例のように構成すると、第１実施例〜第３実施例とは異なり、ＷＢ補正処理の影響が抑制されない追尾用画像に対して追尾処理が行われることとなる。しかしながら、追尾用画像ゲインが頻繁に変更される（追尾用画像のホワイトバランスが頻繁に変更される）ことが抑制されるため、追尾処理が不安定になることが抑制される。したがって、追尾物体の検出精度を向上させることが可能となる。
【０１１６】
また、光源が明らかに変わる場合に追尾用画像ゲインを変更することで、入力画像のホワイトバランスが大きく変化する状況にも対応することが可能となる。したがって、追尾物体の検出精度をさらに向上させることが可能となる。
【０１１７】
なお、追尾用画像ゲインを、無段階で設定可能としても構わない。この場合、図１０のＳＴＥＰ２やＳＴＥＰ６において、ゲイン設定部６０１で設定されたゲインと略等しいゲインを、追尾用画像ゲインとして設定しても構わない。さらに、ＳＴＥＰ５において、ゲイン設定部６０１で設定されたゲインが、現状で設定されている追尾用画像ゲインよりも所定の大きさ以上異なる場合に、明らかな光源変化があったと判断しても構わない。
【０１１８】
また、ゲイン設定部６０１で設定されるゲインを、光源候補対応ゲインとしても構わない。
【０１１９】
＜第５実施例＞
次に、画像処理部６の第５実施例について図面を参照して説明する。図１２は、本発明の実施形態における撮像装置に備えられる画像処理部の第５実施例を示すブロック図であり、第４実施例について示した図９に相当するものである。なお、第４実施例と同様となる部分には同じ符号を付し、その詳細な説明については省略する。
【０１２０】
図１２に示すように、第５実施例の画像処理部６ｅは、ＷＢ補正部６０と、画像調整部６１と、追尾用画像ＷＢ補正部６７と、追尾用画像調整部６２と、追尾処理部６３と、追尾処理部６３が追尾処理を行う際の追尾対象値の変更を指示する追尾対象値変更指示部６８と、を備える。なお、ＷＢ補正部６０、画像調整部６１、追尾用画像ＷＢ補正部６７、追尾用画像調整部６２及び追尾処理部６３は、第４実施例に示したものと同様の動作を行う。そのため、ここでは追尾対象値変更指示部６８について説明する。
【０１２１】
［追尾対象値変更指示部］
追尾対象値変更指示部６８は、ＷＢ補正部６０のゲイン設定部６０１から出力されるゲイン情報に基づいて、追尾処理部６３で設定されている追尾対象値の変更を指示する。以下、追尾対象値変更指示部６８による追尾対象値の変更方法について、図面を参照して説明する。
【０１２２】
図１３は、第５実施例の画像処理部に備えられる追尾対象値変更指示部による追尾対象値の変更方法について示すフローチャートである。なお、第４実施例について示した図１０のフローチャートと同様となる動作については同じステップ番号を付し、その詳細な動作については省略する。
【０１２３】
図１３に示すように、追尾処理が開始されると最初に、追尾用画像ゲイン設定部６７１が、ゲイン設定部６０１から出力されるゲイン情報を取得し（ＳＴＥＰ１）、追尾用画像ゲインを設定する（ＳＴＥＰ２）。またこのとき、上述のように追尾処理部６３では、追尾対象値が設定されている。なお、以下においては説明の具体化のために、追尾用画像がＲＧＢの画素値を有するものであり、ＲＧＢのそれぞれに対応する追尾対象値をＴr，Ｔg，Ｔbとする。
【０１２４】
そして、終了の要否を確認し（ＳＴＥＰ３）、終了しない場合（ＳＴＥＰ３、ＮＯ）は、次の入力画像から得られる追尾用画像の追尾処理を行う。ここで、本実施例では追尾対象値変更指示部６８がゲイン情報を取得し（ＳＴＥＰ４ａ）、これに基づいて光源の明らかな変化の有無を確認する（ＳＴＥＰ５ａ）。例えば、ゲイン設定部６０１で設定されたゲインが所定の大きさ以上変化した場合に、光源に明らかな変化があったと判断しても構わない。
【０１２５】
光源に明らかな変化がなかった場合（ＳＴＥＰ５ａ、ＮＯ）、追尾対象値変更指示部６８は、設定されている追尾対象値をそのまま維持する。そして、ＳＴＥＰ３に戻り終了するか否かを確認する。
【０１２６】
一方、光源に明らかな変化があった場合（ＳＴＥＰ５ａ、ＹＥＳ）、追尾対象値変更指示部６８は、設定している追尾対象値を変更する（ＳＴＥＰ６ａ）。例えば、下記式（７）に示すように追尾対象値を変更して、ＳＴＥＰ３に戻り終了するか否かを確認する。なお、下記式（３）では、変更前の追尾対象値をＴr1，Ｔg1，Ｔb1、変更後の追尾対象値をＴr2，Ｔg2，Ｔb2、光源変化前にゲイン設定部６０１で設定されたゲインをｇr1，ｇg1，ｇb1、光源変化後にゲイン設定部６０１で設定されたゲインをｇr2，ｇg2，ｇb2とする。
【０１２７】
【数７】
2010251906.tif 000009
【０１２８】
本例のように構成すると、第４実施例と同様にＷＢ補正処理の影響が抑制されない追尾用画像に対して追尾処理が行われることとなる。しかしながら、追尾用画像ゲインが固定されるため、追尾処理が不安定になることが抑制される。したがって、追尾処理の精度を向上させることが可能となる。
【０１２９】
さらに、光源が明らかに変わる場合に追尾対象値を変更することで、入力画像のホワイトバランスが大きく変化する状況にも対応することが可能となる。したがって、追尾物体の検出精度をさらに向上させることが可能となる。
【０１３０】
なお、追尾用画像がＲＧＢの画素値を有するものであり、ＲＧＢのそれぞれに対応する追尾対象値Ｔr，Ｔg，Ｔbが設定される場合を例に挙げて説明したが、追尾用画像が有する画素値をＹＵＶやＨＳＶなどにしても構わなく、追尾対象値をこれらの画素値に対応するものにしても構わない。
【０１３１】
＜＜その他変形例＞＞
追尾処理を撮像装置が（撮像時に）行う場合について主に説明したが、再生装置が（再生時に）追尾処理を行うこととしても構わない。例えば、再生すべき画像中から追尾物体を検出し、検出結果に応じた画像処理（例えば、追尾物体を含む所定の画角を切り出すことで新たな画像を生成する処理など）を当該再生すべき画像に施すこととしても構わない。
【０１３２】
また、本発明の実施形態における撮像装置１について、画像処理部６，６ａ〜６ｅの動作を、マイコンなどの制御装置が行うこととしても構わない。さらに、このような制御装置によって実現される機能の全部または一部をプログラムとして記述し、当該プログラムをプログラム実行装置（例えばコンピュータ）上で実行することによって、その機能の全部または一部を実現するようにしても構わない。
【０１３３】
また、上述した場合に限らず、図１の撮像装置１や図１、図２、図４、図５、図９及び図１２の画像処理部６，６ａ〜６ｅは、ハードウェア、あるいは、ハードウェア及びソフトウェアの組み合わせによって実現可能である。また、ソフトウェアを用いて撮像装置１や画像処理部６，６ａ〜６ｅを構成する場合、ソフトウェアによって実現される部位についてのブロック図は、その部位の機能ブロック図を表すこととする。
【０１３４】
以上、本発明の実施形態についてそれぞれ説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【０１３５】
本発明は、入力画像に所定の処理を施して出力画像を生成するとともに追尾処理を行う画像処理装置や、当該画像処理装置を備えた撮像装置に関する。
【符号の説明】
【０１３６】
１    撮像装置
２    イメージセンサ
３    レンズ部
４    ＡＦＥ
５    集音部
６，６ａ〜６ｅ  画像処理部
６０  ＷＢ補正部
６０１  ゲイン設定部
６０２  補正実行部
６１  画像調整部
６２  追尾用画像調整部
６３  追尾処理部
６４  逆ＷＢ補正部
６５，６５ａ，６５ｂ  逆画像調整部
６５１  逆ＹＵＶ変換部
６５２  逆ガンマ補正部
６６，６６ａ，６６ｂ  追尾用画像再調整部
６６１  ＹＵＶ変換部
６６２  ガンマ補正部
６７    追尾用画像ＷＢ補正部
６７１  追尾用画像ゲイン設定部
６７２  追尾用画像補正実行部
６８  追尾対象値変更指示部
７    音声処理部
８    圧縮処理部
９    ドライバ部
１０    外部メモリ
１１    伸長処理部
１２    画像出力回路部
１３    音声出力回路部
１４    ＣＰＵ
１５    メモリ
１６    操作部
１７    ＴＧ部
１８    バス
１９    バス
【図１】
2010251906.tif 000010
【図２】
2010251906.tif 000011
【図３】
2010251906.tif 000012
【図４】
2010251906.tif 000013
【図５】
2010251906.tif 000014
【図６】
2010251906.tif 000015
【図７】
2010251906.tif 000016
【図８】
2010251906.tif 000017
【図９】
2010251906.tif 000018
【図１０】
2010251906.tif 000019
【図１１】
2010251906.tif 000020
【図１２】
2010251906.tif 000021
【図１３】
2010251906.tif 000022
【図１４】
2010251906.tif 000023