(57)【要約】【課題】撮影時の状況によっては特定被写体の認識精度を向上するのが困難であるという課題がある。【解決手段】ビデオカメラ１００は、被写体像を撮像する撮像部１０と、撮像部１０が出力する画像信号に対して、ホワイトバランス調整を含む画像処理を行う画像処理部１１と、画像情報中の特定被写体を検出する特定被写体検出部１２と、を備え、画像処理部１１は、画像信号に適したホワイトバランス調整を行う第１のホワイトバランス調整部１８と、画像信号に対して、特定被写体検出部１２で特定被写体を検出するのに適したホワイトバランス調整を行う第２のホワイトバランス調整部１９と、を備える。【選択図】図１
2010199817.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像する撮像部と、
前記撮像部が出力する画像信号に対して、ホワイトバランス調整を含む画像処理を行う画像処理部と、
画像情報中の特定被写体を検出する特定被写体検出部と、
を備え、
前記画像処理部は、
前記画像信号に適したホワイトバランス調整を行う第１のホワイトバランス調整部と、
前記画像信号に対して、前記特定被写体検出部で特定被写体を検出するのに適したホワイトバランス調整を行う第２のホワイトバランス調整部と、
を備える撮像装置。
【請求項２】
前記撮像部を制御するカメラ制御部を、
さらに備え、
前記カメラ制御部は、
前記特定被写体の撮像に適した制御を行う
請求項１に記載の撮像装置。
【請求項３】
前記画像処理部の出力画像を表示する表示部と、
前記表示部に表示した画像から特定被写体を選択する操作部と、
をさらに備え、
前記第１のホワイトバランス調整部は、
前記画像信号に適したホワイトバランス調整を行い、
前記第２のホワイトバランス調整部は、
前記画像信号に対して、前記操作部で選択された特定被写体の前記特定被写体検出部による検出に適したホワイトバランス調整を行う
請求項１または２に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置に関するものであり、特に、被写体認識を行い、認識している被写体を表示する撮像装置に関するものである。
【背景技術】
【０００２】
従来、デジタルカメラなどの被写体に対し、ＡＦ、ＡＥ等を最適化して撮影する機能を有する撮像装置において、ＡＦ、ＡＥを合わせるポイントは画面の中心付近、若しくは選択したポイント等となり、必ずしもＡＦ、ＡＥなどを最適化したい被写体に合わせる事が出来なかった。この問題を解決するために被写体を撮像装置自体が認識し、ＡＦ、ＡＥ等を被写体に合わし続ける技術がある。被写体を認識するために赤外線センサーによる被写体の温度情報を用いる方法（特許文献１）や、映像情報中の色情報を用いる方法が考えられている。
【０００３】
以下、図４を用いて従来の被写体認識機能を備えた撮像装置について被写体の認識方法を説明する。
【０００４】
デジタルカメラ１００において、撮像素子１０６は、被写体を含む被写界を複数の画素単位で撮像して撮像データを出力し、撮影者は、スイッチ１０８を介して、検出したい被写体の温度を設定被写体温度として設定し、赤外センサ１０２は、被写界を赤外光成分に分解した上で複数の画素単位で撮像し、複数の画素の各画素単位の赤外成分レベル情報により構成される赤外光データを出力し、温度センサ１０９は、デジタルカメラ１００周辺の周辺温度を検出する。画像処理装置１０７は、赤外センサ１０２からの赤外光データと撮影者が設定した設定被写体温度と温度センサ１０９により検出された周辺温度とに基づいて、撮像データの複数の画素のうち検出したい被写体に対応する画素を特定することが出来る。
【特許文献１】特開２００７−０６７７９２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、赤外線センサーによる被写体の温度情報を用いる方法では被写体が周囲の環境温度とある程度温度差がなければ被写体を認識することが出来ないという課題があった。また撮像素子とは別に赤外線センサーを持つ必要があり、加えて赤外線センサーで検出した被写体位置と撮像素子上の被写体位置を合わせる必要があった。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、上記課題を解決するものであり、被写体像を撮像する撮像部と、前記撮像部が出力する画像信号に対して、ホワイトバランス調整を含む画像処理を行う画像処理部と、画像情報中の特定被写体を検出する特定被写体検出部と、を備え、前記画像処理部は、前記画像信号に適したホワイトバランス調整を行う第１のホワイトバランス調整部と、前記画像信号に対して、前記特定被写体検出部で特定被写体を検出するのに適したホワイトバランス調整を行う第２のホワイトバランス調整部と、を備える。
【発明の効果】
【０００７】
本発明の撮像装置は、上記の構成によって、記録する画像の色再現に影響を与えることなく、被写体の色近傍の色分離度を向上させ、被写体の認識精度をあげることが出来る。
【発明を実施するための最良の形態】
【０００８】
以下、本発明の一実施形態について、図面を用いて詳細に説明する。
（実施の形態１）
（１−１．構成）
図１は、本発明の実施の形態１に係る被写体認識機能を備えたビデオカメラ１００の構成を示すブロック図である。図１において、ビデオカメラ１００は、撮像部１０と、撮像部１０の信号を処理する信号処理部１１と、記録・表示用の画像に対して処理を施す第1のＷＢ部１８と、特定対象検出用画像に対して処理を施す第2のＷＢ部１９と、信号処理された画像より特定対象を検出する特定対象検出部１２と、信号処理された画像を記録する画像記録部１７と、検出された特定対象を表示する表示部１３と、それらを制御するコントローラ１４と、外部からのユーザ操作を受け付ける操作部１６とを備える。
【０００９】
撮像部１０は、光学系と撮像素子とで構成される。光学系は、対物レンズ、ズームレンズ、絞り、ＯＩＳ（Ｏｐｔｉｃａｌ  Ｉｍａｇｅ  Ｓｔａｂｉｌｉｚｅｒ）ユニット、フォーカスレンズ等を含む。光学系は、被写体からの光を集光し、被写体像を形成する。
【００１０】
撮像素子は、光学系で形成された被写体像を撮像して、画像データを生成する。撮像素子は、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサー等である。
【００１１】
信号処理部１１は、ＡＤコンバータ、画像処理部、システムエンコーダ、システムデコーダを含む。ＡＤコンバータは、撮像素子で生成された画像データをデジタル信号に変換する。
【００１２】
画像処理部は、ＡＤコンバータで変換された画像データに対して各種の処理を施す。画像処理部は、システムエンコーダへ入力する画像データを生成したり、表示部１３に表示するための画像データを生成したりする。また、画像処理部は、システムデコーダが出力する画像データに対して画像処理を施し、表示部１３に表示するための画像データを生成したり、システムエンコーダへ再入力するための画像データを生成したりする。画像処理部は、画像前処理部、画像圧縮部、画像伸張部を含む。
【００１３】
画像前処理部は、ＡＤコンバータで変換された画像データに対して、ガンマ補正やホワイトバランス補正などの各種画像処理を行う。ＷＢ部はＷＢ１部１８とＷＢ２部１９とからなり、ＷＢ１部１８は記録及び／又は表示する画像に対してホワイトバランス補正を行い、ＷＢ２部１９は特定対象検出部１２で使用する画像に対してホワイトバランス補正を行う。
【００１４】
画像圧縮部は、ＤＣＴ（離散コサイン変換）、ハフマン符号化などをおこなうことにより、画像データを圧縮する。画像圧縮部は、例えば、ＭＰＥＧ−２や、Ｈ．２６４の規格に準拠した圧縮形式により画像データを圧縮する。但し、本発明は、ＭＰＥＧ−２や、Ｈ．２６４の形式の画像データに限定されない。
【００１５】
画像伸張部は、システムデコーダから出力された圧縮済みの画像データを表示部１３で再生する場合などに、この画像データを非圧縮の状態に復号化する。
【００１６】
システムデコーダは、画像記録部１７に記録されたＡＶデータを復号化し、圧縮画像データを生成する。システムデコーダは、生成した圧縮画像データを画像伸張部へ出力する。
【００１７】
コントローラ１４は、ビデオカメラ１００全体を制御する制御手段である。コントローラ１４は、半導体素子などで実現可能である。コントローラ１４は、ハードウェアのみで構成してもよいし、ハードウェアとソフトウェアを組み合わせることにより実現してもよい。コントローラ１４は、マイクロコンピュータで実現できる。
【００１８】
特定対象検出部１２は、信号処理部１１で生成された画像データを解析し、画像データ中の特定対象を検出する。特定対象は、例えば人の顔等である。コントローラ１４は、特定対象検出部１２で検出された特定対象について、撮像部１０を制御して、
ＡＦ、ＡＥなどを最適化する。特定対象検出部１２は、特定対象を検出するとともに、その特定対象の確からしさを示す信頼度を算出する。本実施の形態では、特定対象検出部１２をコントローラ１４と別に設けているが、コントローラ１４で実現しても良い。
【００１９】
画像記録部１７は、記録媒体制御部と記録媒体で構成される。記録媒体は、メモリカード、ハードディスク、ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）等である。記録媒体は、ビデオカメラ１００に内蔵されていてもよいし、着脱可能であってもよい。
【００２０】
表示部１３は、液晶モニタや電子ビューファインダである。表示部１３は、撮像部１０で撮像された画像データや、画像記録部１７から読み出した画像データを表示可能である。また、表示部１３は、ビデオカメラ１００の各種の設定情報や、撮影時間などを表示可能である。
【００２１】
操作部１６は、各種操作手段を総称した構成要素である。操作部１６は、ユーザの指示を受け付け、その指示をコントローラ１４に伝える。
（１−２．本発明の構成との対応関係）
ビデオカメラ１００は、本発明の撮像装置の一例である。撮像部１０は、本発明の撮像部の一例である。信号処理部１１は、本発明の画像処理部の一例である。表示部１３は、本発明の表示部の一例である。特定対象検出部１２は、本発明の特定被写体検出部の一例である。ＷＢ１部１８は、本発明の第１のホワイトバランス調整部の一例である。ＷＢ２部１９は、本発明の第２のホワイトバランス調整部の一例である。コントローラ１４は、本発明のカメラ制御部の一例である。操作部１６は、本発明の操作部の一例である。
（２．動作）
このように構成された被写体認識機能を備えたビデオカメラ１００について、その動作を説明する。
【００２２】
撮像部１０で撮像された画像データは、信号処理部１１で各種の補正等が行われる。信号処理部１１内部のＷＢ１部１８では撮影している被写体が正しい色再現できるようにホワイトバランス調整が行われ、その出力信号は画像記録部１７で記録される。また、特定対象検出部１２は、信号処理部１１内のＷＢ２部１９で特定対象の検出に最適なホワイトバランス調整を行われた信号をもとに特定対象を検出し、検出箇所は枠表示等を用いて表示する。ＷＢ２部１９で行われるホワイトバランス調整は特定対象を検出しやすい色再現を得るためのホワイトバランス調整であって、被写体の正しい色再現を得るための物ではない。同時にコントローラ１４は特定対象の検出位置に対してＡＦ、ＡＥ等が最適となるように撮像部１０、信号処理部１１等を制御する。
【００２３】
図２を用いて、ＷＢ２部１９がどのように特定対象検出に最適なホワイトバランス調整を行うか説明する。
【００２４】
表示部１３上に複数の被写体が表示された状態で、ユーザは操作を行い、複数の被写体から、認識させたい被写体を選択する（Ｓ２００）。例えば、表示部１３がタッチパネルである場合には、ユーザは、表示部１３上の特定の被写体をタッチすることにより、被写体を選択する。
【００２５】
コントローラ１４は、ＷＢ２部１９にあらかじめ用意したホワイトバランスのテーブル１を設定する（Ｓ２０１）。ホワイトバランステーブル１でホワイトバランス調整を行われた信号をもとに特定対象検出部１２は特定対象の色データを取り込み（Ｓ２０２）、特定被写体の信頼度（背景分離度）を検出し記憶する（Ｓ２０３）。
【００２６】
次にコントローラ１４は、ＷＢ２部１９にあらかじめ用意した別のホワイトバランスのテーブル２を設定する（Ｓ２０１）。ホワイトバランステーブル２でホワイトバランス調整を行われた信号をもとに特定対象検出部１２は特定対象の色データを取り込み（Ｓ２０２）、特定被写体の信頼度（背景分離度）を検出し記憶する（Ｓ２０３）。
【００２７】
コントローラ１４は、ホワイトバランスの設定、特定対象の色データ取り込み、特定対象の信頼度検出の動作を用意したホワイトバランステーブルの数だけ繰り返し（Ｓ２０４でＮＯ）、用意した全てのホワイトバランステーブルの処理が終了すると（Ｓ２０４でＹＥＳ）、信頼度を比較する。
【００２８】
コントローラ１４は、それぞれのホワイトバランステーブルに対して求められた特定対象の信頼度を比較し、信頼度が最大となるホワイトバランステーブルを選択し（Ｓ２０５）、ＷＢ２部１９に設定する（Ｓ２０６）。
【００２９】
特定対象検出部１２は、設定されたホワイトバランステーブルを用いてホワイトバランス調整された信号を基にして特定対象を検出し、被写体を認識する（Ｓ２０７）。
【００３０】
このように、被写体が正しい色再現できるようにホワイトバランス調整を行うのとは別に、特定対象検出部で特定対象を検出するのに最適なホワイトバランス調整を行うホワイトバランス調整部を設けることによって、特定対象を検出する際の精度を向上することができる。
【００３１】
撮像部１０で撮像された画像データは、信号処理部１１で各種の補正等が行われる。信号処理部１１内部のＷＢ１部１８では撮影している被写体が正しい色再現できるようにホワイトバランス調整が行われ、その出力信号は画像記録部１７で記録される。
【００３２】
コントローラ１４は、特定被写体検出部１２で検出した特定被写体について、撮像部１０を制御して、ＡＦ、ＡＥ等が最適化されるよう制御する。さらに、信号処理部１１は各種の補正等を行う。信号処理部１１内部のＷＢ１部１８は、画像信号全体に対して色温度に関わらず白色を正確に映し出すようホワイトバランス調整を行うとともに、特定被写体が正しい色再現できるようにホワイトバランス調整を行うことも可能であり、その出力信号は画像記録部１７で記録される。
（実施の形態２）
本発明の実施の形態２におけるビデオカメラ１００の構成は、実施の形態１と同一であり、説明を省略する。
【００３３】
図３を用いて、本実施の形態２におけるＷＢ２部１９が特定対象検出に最適なホワイトバランス調整を行う際の動作について、説明する。
【００３４】
表示部１３上に複数の被写体が表示された状態で、ユーザは操作を行い、複数の被写体から、認識させたい被写体を選択する（Ｓ３００）。例えば、表示部１３がタッチパネルである場合には、ユーザは、表示部１３上の特定の被写体をタッチすることにより、被写体を選択する。
【００３５】
コントローラ１４は、ＷＢ２部１９に仮のホワイトバランステーブルを設定する（Ｓ３０１）。仮のホワイトバランステーブルは、例えばＷＢ１部１８に設定されているものと同一のものでよい。ＷＢ２部１９は、設定されたホワイトバランステーブルを基にホワイトバランス調整を行い、信号を出力する。特定対象検出部１２は、この信号を基に、特定対象の色分布を解析する（Ｓ３０２）。
【００３６】
コントローラ１４は、上記解析結果を基に特定対象がより検出されやすいホワイトバランステーブルを求め、ＷＢ２部１９に設定する（Ｓ３０３）。
【００３７】
特定対象検出部１２は、上記で設定されたホワイトバランステーブルを基にホワイトバランス調整された信号を用いて、特定対象の信頼度(背景分離度）を検出する（Ｓ３０４）。
【００３８】
コントローラ１４は、上記で検出した信頼度が特定被写体の認識に十分なレベルかを判断し、信頼度が不足している場合（Ｓ３０５でＮＯの場合）は、再度特定被写体の色分布を解析して特定対象がより検出されやすいホワイトバランステーブルを求めてＷＢ２部１９に設定する（Ｓ３０３）。
【００３９】
コントローラ１４は、特定被写体の信頼度が認識に十分なレベルになった時（Ｓ３０５でＹＥＳの場合）、特定対象検出部１２で特定対象を検出し被写体を認識する（Ｓ３０６）。
【００４０】
このように、コントローラ１４は、特定被写体認識に必要な信頼度をＷＢ２部１９により得ることが出来、被写体認識性能の向上を図ることができる。
【００４１】
コントローラ１４は、特定被写体検出部１２で検出した特定被写体について、撮像部１０及び信号処理部１１を制御して、ＡＦ、ＡＥ等を最適化した撮影を行い、画像記録部１７に記録する。
（他の実施の形態）
以上により、本発明の実施の形態として、実施の形態１及び２を説明した。しかし、本発明は、これには限定されない。そこで、本発明の他の実施の形態を本欄にまとめて説明する。
【００４２】
本実施の形態１及び２では、信号処理部１１がＷＢ１部１８およびＷＢ２部１９の２つのホワイトバランス調整部を設ける構成について説明したが、本発明はこれに限定されず、ＷＢ部を一つだけ設け、通常はＷＢ１部１８として動作し、所定のタイミングである期間のみＷＢ２部１９として動作し、一つのＷＢ部を切り替えて動作させる構成であってもよい。
【００４３】
本実施の形態１及び２では、ユーザにより特定被写体を選択する構成について説明したが、本発明はこれに限定されず、ユーザが特定被写体を選択することなく、最初に特定対象検出部１２で検出された特定被写体を、継続して精度よく認識するために、その特定被写体について、ＷＢ２部１９でホワイトバランス調整を行うとしてもよい。
【産業上の利用可能性】
【００４４】
本発明の撮像装置は、特定被写体の認識精度を向上させるためのホワイトバランス回路を持ち、記録、表示される映像には影響を与えることなく特定被写体の認識精度を向上させるホワイトバランスをとることができ、デジタルカメラ、ビデオカメラ等で有用である。
【図面の簡単な説明】
【００４５】
【図１】本発明の一実施の形態における撮像装置の構成を示すブロック図
【図２】本発明の一実施の形態における被写体認識に適したホワイトバランス調整を行う動作を示すフローチャート
【図３】本発明の他の実施の形態における被写体認識に適したホワイトバランス調整を行う動作を示すフローチャート
【図４】従来の特定対象の検出を行う撮像装置の構成を示すブロック図
【符号の説明】
【００４６】
１０    撮像部
１１    信号処理部
１２    特定対象検出部
１３    表示部
１４    コントローラ
１６    操作部
１７    画像記録部
１８    ＷＢ１部
１９    ＷＢ２部
１００    ビデオカメラ
【図１】
2010199817.tif 000003
【図２】
2010199817.tif 000004
【図３】
2010199817.tif 000005
【図４】
2010199817.tif 000006