(57)【要約】【課題】撮像装置において、撮像画面についての適切な補正条件を容易に選択できるようにする。【解決手段】画像処理部によって、画像から特定の被写体（例えば人物の顔）を検出し、その特定の被写体を拡大したものを複数画像上に配置し、その複数の特定の被写体のそれぞれに異なる条件の画像補正を施し、ディスプレイ部に表示する。これらの画像補正条件に基づく画像補正条件をユーザが選べるようにする。【選択図】図７
2009124644.tif 000002
【特許請求の範囲】
【請求項１】
複数の被写体を含む撮像画像に画像処理を施す画像処理部と、前記撮像画像に含まれる被写体のうち特定の被写体を検出する特定被写体検出部と、を備える画像処理装置であって、
前記撮像画像の一部に複数の領域を設け、前記複数の領域に前記特定被写体検出部で検出した特定の被写体を拡大したものを表示し、前記複数の領域の各々に異なる条件の画像処理を施すことを特徴とする画像処理装置。
【請求項２】
前記特定の被写体が、事前に前記特定被写体検出部に登録された被写体であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記特定の被写体が、人物の顔であることを特徴とする請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記特定の被写体が、動体であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記特定の被写体が前記撮像画像に複数含まれる場合に、前記特定の被写体の前記撮像画像中での大きさが最も大きいものを前記複数の領域に表示することを特徴とする請求項１〜４のいずれかに記載の画像処理装置。
【請求項６】
前記複数の領域を、前記画像信号の特性値の順に並べることを特徴とする請求項１〜５のいずれかに記載の画像処理装置。
【請求項７】
前記複数の領域が、前記特定の被写体を拡大したものを分割したものであることを特徴とする、請求項１〜６のいずれかに記載の画像処理装置。
【請求項８】
前記複数の領域の各々が、前記特定の被写体を拡大したものであることを特徴とする、請求項１〜６のいずれかに記載の画像処理装置。
【請求項９】
撮像画像に画像処理を施す画像処理部を備える画像処理装置であって、
前記撮像画像を複数の領域に分割し、各領域に異なる条件の画像処理を施したものを、前記撮像画像中に配置することを特徴とする画像処理装置。
【請求項１０】
前記撮像画像を撮像する撮像部と、
請求項１〜９のいずれかに記載の画像処理装置と、
前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、
を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記撮像画像を記録することを特徴とする撮像装置。
【請求項１１】
請求項１〜９のいずれかに記載の画像処理装置と、
前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、
を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記撮像画像を表示することを特徴とする画像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像の補正処理の可能な画像処理装置及び撮像装置に関し、特に複数の条件の補正処理がなされた画像を同時に確認可能なものに関する。
【背景技術】
【０００２】
現在、デジタルカメラやデジタルビデオカメラのようなデジタル方式の撮像装置が広く普及している。このような撮像装置では、ホワイトバランスや露出補正、シャープネスの補正等の、撮影画像の補正が可能なものが一般的であり、又液晶表示装置等の画像を表示するディスプレイ部を有するため補正した画像をその場で確認できるようになっている。
【０００３】
撮像装置における画像の補正は、従来は設定メニューにおいて適切な補正となるようにパラメータの数値を設定するものである。この方法は、数字とそれによって補正される画質との関係について熟知していないユーザにとっては使いやすいものではない。又、このようなユーザにとって使いやすいものとして、撮像装置のディスプレイ部に表示される補正処理された画像を見ながら補正条件を切り換えて適切な補正条件を選択するものもある。しかし、多くの条件の選択が可能な場合にはそれぞれの条件で補正した画像同士を比較するのは困難である。
【０００４】
そこで引用文献１では、ディスプレイ部の表示領域を分割し、それぞれの分割領域には異なる条件の補正を施した、元の画角のまま縮小した画像を表示する方法が開示されている。この方法によると、異なる条件の補正を施した画像を容易に比較できるため、適切な条件を容易に選択することが可能である。
【特許文献１】特開２００７−８１６２９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかし、撮像装置に設けられたディスプレイ部は大きくないため、引用文献１で提案された方法では、分割領域に表示された画像は小さいものとなる。したがって、撮影者が対象とする被写体（例えば人物の顔）が画像中において比較的小さい場合など、縮小された表示ではその対象とする被写体についての補正状態を比較しにくい場合がある。
【０００６】
そこで、本発明は画像中における対象とする被写体の大きさが比較的小さい場合でも容易に補正状態を比較することが可能である画像処理装置及び撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明の画像処理装置は、複数の被写体を含む撮像画像に画像処理を施し画像処理部と、前記撮像画像に含まれる被写体のうち特定の被写体を検出する特定被写体検出部と、を備える画像処理装置であって、前記撮像画像の一部に複数の領域を設け、前記複数の領域に前記特定被写体検出部で検出した特定の被写体を拡大したものを表示し、前記複数の領域の各々に異なる条件の画像処理を施すことを特徴とする。
【０００８】
又、前記特定の被写体が、事前に前記特定被写体検出部に登録された被写体であってもよく、前記特定の被写体が、人物の顔であっても、動体であってもよい。
【０００９】
又、前記特定の被写体が前記撮像画像に複数含まれる場合に、前記特定の被写体の前記撮像画像中での大きさが最も大きいものを前記複数の領域に表示することおしてもよい。
【００１０】
又、前記複数の領域を、前記画像信号の特性値の順に並べることとしてもよい。
【００１１】
又、前記複数の領域が前記特定の被写体を拡大したものを分割したものであってもよいし、前記複数の領域の各々が前記特定の被写体を拡大したものであってもよい。
【００１２】
又、本発明の画像処理装置は、撮像画像に画像処理を施す画像処理部を備える画像処理装置であって、前記撮像画像を複数の領域に分割し、各領域に異なる条件の画像処理を施したものを、前記撮像画像中に配置することを特徴とする。
【００１３】
又、本発明の撮像装置は、前記撮像画像を撮像する撮像部と、上述の画像処理装置と、前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記撮像画像を記録することを特徴とする。
【００１４】
又、本発明の画像再生装置は、上述の画像処理装置と、前記画像処理装置で生成した画像処理を施した前記複数の領域を含む画像を表示する表示部と、を備え、前記複数の領域に施される画像処理条件に基づく画像処理を施した前記画像を表示することを特徴とする。
【発明の効果】
【００１５】
本発明によると、複数の領域に異なる条件の画像処理を施した画像を表示することができるため、適切な画像処理条件を容易に選択することが可能になる。
【発明を実施するための最良の形態】
【００１６】
本発明の実施形態について、図面を参照して説明する。尚、以下では、本発明における撮影方法を行うデジタルカメラやデジタルビデオなどの、音声及び映像の記録が可能な撮像装置を例に挙げて説明する。尚、撮像装置は動画及び静止画のうち少なくとも一方の撮影が可能なものであればよい。
【００１７】
（撮像装置の構成）
まず、撮像装置の内部構成について、図面を参照して説明する。図１は、本発明の実施形態に係る撮像装置の内部構成を示すブロック図である。
【００１８】
図１の撮像装置は、入射される光を電気信号に変換するＣＣＤ又はＣＭＯＳセンサなどの固体撮像素子（イメージセンサ）１と、被写体の光学像をイメージセンサ１に結像させるズームレンズとズームレンズの焦点距離すなわち光学ズーム倍率を変化させるモータとズームレンズの焦点を被写体に合わせるためのモータとを有するレンズ部２と、イメージセンサ１から出力されるアナログ信号である画像信号をデジタル信号に変換するＡＦＥ（Analog Front End）３と、外部から入力された音声を独立して電気信号に変換するマイク４と、ＡＦＥ３からのデジタル信号となる画像信号に対して、輝度信号及び色差信号の生成を行う前処理及び階調補正や輪郭強調等の各種画像処理を施す画像処理部５と、マイク４からのアナログ信号である音声信号をデジタル信号に変換する音声処理部６と、静止画を撮影する場合は画像処理部５からの画像信号に対してＪＰＥＧ（Joint Photographic Experts Group）圧縮方式など、動画を撮影する場合は画像処理部５からの画像信号と音声処理部６からの音声信号とに対してＭＰＥＧ（Moving Picture Experts Group）圧縮方式などの圧縮符号化処理を施す圧縮処理部７と、圧縮処理部７で圧縮符号化された圧縮符号化信号をＳＤカードなどの外部メモリ２２に記録するドライバ部８と、ドライバ部８で外部メモリ２２から読み出した圧縮符号化信号を伸長して復号する伸長処理部９と、伸長処理部９で復号されて得られた画像信号をアナログ信号に変換するビデオ出力回路部１０と、ビデオ出力回路部１０で変換された信号を出力するビデオ出力端子１１と、ビデオ出力回路部１０からの信号に基づく画像の表示を行うＬＣＤ等を有するディスプレイ部１２と、伸長処理部９からの音声信号をアナログ信号に変換する音声出力回路部１３と、音声出力回路部１３で変換された信号を出力する音声出力端子１４と、音声出力回路部１３からの音声信号に基づいて音声を再生出力するスピーカ部１５と、各ブロックの動作タイミングを一致させるためのタイミング制御信号を出力するタイミングジェネレータ（ＴＧ）１６と、撮像装置内全体の駆動動作を制御するＣＰＵ（Central Processing Unit）１７と、各動作のための各プログラムを記憶するとともにプログラム実行時のデータの一時保管を行うメモリ１８と、静止画撮影用のシャッターボタン、動画撮影用の録画開始ボタン、撮影モードや画像補正条件の選択ボタン等のユーザからの指示が入力される操作部１９と、ＣＰＵ１７と各ブロックとの間でデータのやりとりを行うためのバス回線２０と、メモリ１８と各ブロックとの間でデータのやりとりを行うためのバス回線２１と、を備える。
【００１９】
（撮像装置の基本動作  静止画撮影、再生時）
次に、この撮像装置の静止画撮影時の基本動作について図２のフローチャートを用いて説明する。まず、ユーザが撮像装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ２０１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ２０２）。プレビューモードとは、撮影対象となる画像を記録することなくディスプレイ部１２に表示するモードであり、撮影対象を定め、構図を決定するために用いることができる。続いて撮影モードの入力待ち状態となり、人物撮影に適したモードや移動物の撮影に適したモード、逆光での撮影に適したモード等、撮像装置の機能に応じたモードがユーザによって選択される。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする。同時に、画像補正処理条件の入力待ち状態となり、ホワイトバランスや露出補正等の画像補正条件がユーザによって選択される。画像補正処理条件が入力されない場合は、条件のうちの一つが自動的に選択される（ＳＴＥＰ２０３）。この画像補正条件設定時の動作については後述する。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。
【００２０】
続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ２０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ２０５）。ユーザが撮影画角、構図を決定し、操作部１９のシャッターボタンを半押しすると（ＳＴＥＰ２０６）、ＡＥの調整を行い（ＳＴＥＰ２０７）、ＡＦの最適化処理を行う（ＳＴＥＰ２０８）。
【００２１】
その後、シャッターボタンが全押しされると（ＳＴＥＰ２０９）、ＴＧ１６より、イメージセンサ１、ＡＦＥ３、画像処理部５及び圧縮処理部７それぞれに対してタイミング制御信号が与えられ、各部の動作タイミングを同期させ、イメージセンサ１の駆動モードを静止画撮影モードに設定する（ＳＴＥＰ２１０）。イメージセンサ１から出力されるアナログ信号である画像信号（生データ）は、ＡＦＥ３でデジタル信号に変換され、画像処理部５内の前処理部で前処理が施される（ＳＴＥＰ２１１）。前処理とは、各画素位置のＲＧＢ成分を算出する色同時化処理、輝度信号生成処理、色信号生成処理等の処理のことである。画像処理部５において、前処理が施された画像信号に対して階調補正や輪郭強調等の各種画像処理が施され、画像処理が施された信号が圧縮処理部７においてＪＰＥＧ（Joint Photographic Experts Group）形式に圧縮された（ＳＴＥＰ２１２）後、外部メモリ２２に圧縮画像を書き込み（ＳＴＥＰ２１３）、撮影を完了する。その後、プレビューモードに戻る（ＳＴＥＰ２０２）。
【００２２】
又、外部メモリ２２に記録された静止画像を再生することが、操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号が伸長処理部９において、ＪＰＥＧ圧縮符号方式に基づいて伸長復号されて、画像信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生される。
【００２３】
（撮像装置の基本動作  動画撮影、再生時）
次に、この撮像装置の動画撮影時の基本動作について図３のフローチャートを用いて説明する。まず、ユーザが撮像装置を静止画撮影用に設定して電源をＯＮにすると（ＳＴＥＰ３０１）、撮像装置の駆動モードつまりイメージセンサ１の駆動モードがプレビューモードに設定される（ＳＴＥＰ３０２）。続いて撮影モードの入力待ち状態となる。撮影モードが入力されない場合は通常撮影用のモードが選択されたものとする。同時に、画像補正処理条件の入力待ち状態となり、ホワイトバランスや露出補正等の画像補正条件がユーザによって選択される。画像補正処理条件が入力されない場合は、条件のうちの一つが自動的に選択される（ＳＴＥＰ３０３）。プレビューモードでは、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３においてデジタル信号に変換されて、画像処理部５で前処理及び画像処理が施され、圧縮処理部７で圧縮された現時点の画像に対する画像信号が外部メモリ２２に一時的に記録される。この圧縮信号は、ドライバ部８を経て、伸長処理部９で伸長され、現時点で設定されているレンズ部２のズーム倍率での画角の画像がディスプレイ部１２に表示される。ここで、ディスプレイ部１２で表示される画像は、後述する画像補正設定動作によって設定される表示をするものであってもよい。
【００２４】
続いてユーザが、撮影の対象とする被写体に対して所望の画角となるように、光学ズームでのズーム倍率を設定する（ＳＴＥＰ３０４）。その際、画像処理部５に入力された画像信号を基にＣＰＵ１７によってレンズ部２を制御して、最適な露光制御（Automatic Exposure；ＡＥ）・焦点合わせ制御（オートフォーカス、Auto Focus；ＡＦ）が行われる（ＳＴＥＰ３０５）。
【００２５】
その後、操作部１９の録画開始ボタン（シャッターボタン兼用でも構わない）が全押しされ、撮像動作を行うことが指示されると（ＳＴＥＰ３０６）、イメージセンサ１の光電変換動作によって得られたアナログ信号である画像信号がＡＦＥ３に出力される。このとき、イメージセンサ１では、ＴＧ１６からのタイミング制御信号が与えられることによって、水平走査及び垂直走査が行われて、画素毎のデータとなる画像信号が出力される。そして、ＡＦＥ３において、アナログ信号である画像信号（生データ）がデジタル信号に変換されて、画像処理部５内の前処理部で前処理が施される（ＳＴＥＰ３０７）。
【００２６】
画像処理部５で前処理及び画像処理が施された画像信号が圧縮処理部７に与えられる。このとき、マイク４に音声入力されることで得られたアナログ信号である音声信号が、音声処理部６でデジタル信号に変換されて、圧縮処理部７に与えられる。これにより、圧縮処理部７では、デジタル信号である画像信号及び音声信号に対して、ＭＰＥＧ圧縮符号方式に基づいて圧縮符号化し（ＳＴＥＰ３０８）、ドライバ部８に与えて外部メモリ２２に記録させる（ＳＴＥＰ３０９）。画像信号及び音声補正制御を施した音声信号と共に、音声補正制御を施していない音声信号とインデックスとしてその信号を取得した時点のズーム倍率情報も記録してもよい。又、このとき、外部メモリ２２に記録された圧縮信号がドライバ部８によって読み出されて伸長処理部９に与えられて、伸長処理が施されて画像信号が得られる。この画像信号がディスプレイ部１２に与えられて、現在、イメージセンサ１を通じて撮影されている被写体画像が表示される。その後、再び操作部１９の録画開始ボタンが全押しされるとプレビューモードに戻る（ＳＴＥＰ３０２）。
【００２７】
このように撮像動作を行うとき、ＴＧ１６によって、ＡＦＥ３、画像処理部５、音声処理部６、圧縮処理部７、及び伸長処理部９に対してタイミング制御信号が与えられ、イメージセンサ１による１フレームごとの撮像動作に同期した動作が行われる。
【００２８】
又、外部メモリ２２に記録された動画を再生することが操作部１９を通じて指示されると、外部メモリ２２に記録された圧縮信号は、ドライバ部８によって読み出されて伸長処理部９に与えられる。そして、伸長処理部９において、ＭＰＥＧ圧縮符号方式に基づいて、伸長復号されて、画像信号及び音声信号が取得される。そして、画像信号がディスプレイ部１２に与えられて画像が再生されるとともに、音声信号が音声出力回路部１３を介してスピーカ部１５に与えられて音声が再生される。これにより、外部メモリ２２に記録された圧縮信号に基づく動画が音声とともに再生される。
【００２９】
（画像補正条件設定動作）
次に、本実施形態に係る画像補正設定動作について説明する。図４は本実施形態に係る画像補正設定動作時のディスプレイ部に表示される画像の一例である。
【００３０】
プレビューモードにおいて、撮影者が操作部１９で画質設定を指示すると画像補正条件設定モードとなり、図４に示すようにディスプレイ部１２に表示されている画像３０が縦２列横２行の４個の分割領域に分割され、それぞれに異なる条件の画像補正が施された表示となる。この場合の画像補正としては、ホワイトバランスや露出補正、シャープネスの補正等が挙げられる。ここでは、ホワイトバランスを例に挙げる。尚、ここでは画像３０を４個の分割領域に分割した例を示すが、分割領域の数や配置はこの例の場合に限られない。
【００３１】
各分割領域にはそれぞれ異なるホワイトバランス調整が施され、ホワイトバランスの調整条件を示すアイコンが表示される。図４では各分割領域について、左上は太陽、左下は曇の野外、右上は蛍光灯、右下は白熱灯をそれぞれ光源とする場合についてのホワイトバランス調整を施した画像である。
【００３２】
そして、この異なった種類のホワイトバランス調整が施された画像が表示された状態で、分割領域のうちの１個に表示される枠カーソル３１を撮影者が操作部１９を操作して所望の調整条件を選択する。枠カーソル３１は分割領域の輪郭に表示される四角形の枠であり、操作部１９を操作することにより例えば左上から左下、右上、右下、そして再び左上の順に移動する。図４は右上の分割領域が選択されている場合を示す。所望の調整条件を選択した後、操作部１９の操作により決定を指示すると選択したホワイトバランス調整が施された元の大きさの画像がディスプレイ部１２に表示される。
【００３３】
このように構成することにより、各ホワイトバランスの調整条件を比較することができるため、適切なホワイトバランス調整を容易に選択することが可能となる。
【００３４】
本実施形態において、各画像補正条件の中間の条件に設定したい場合には、操作部１９１の操作により中間条件設定モードに切り換えて、図５に示すようにディスプレイ部１２に補助線３２及び矢印で示す矢印カーソル３３を表示させる。補助線３２は各分割領域の中央を結ぶ線であり、矢印カーソル３３は補助線３２の一点を指し示す。補正条件は、矢印カーソル３３から補助線３２の各々の端部までの距離を基準として、矢印カーソル３３の位置する補助線３２の両端の補正条件を、矢印カーソル３３に近いほうの補正条件の割り合が多くなるように配分して合成したものである。そして、矢印カーソル３３を移動させることにより各補正条件の中間の条件を選択することが可能となる。矢印カーソル３３は、各分割領域を選択する枠カーソル３１と同じ方向に移動する。この場合、その補正条件での補正が施された画像は表示しなくてもよいし、何れかの分割領域に表示してもよい。表示する場合には、矢印カーソル３３が指している位置が含まれる分割領域に表示してもよいし、矢印カーソル３３が指している補助線３２の位置が含まれる分割領域の斜め方向にある分割領域に表示してもよい。矢印カーソル３３が指している補助線３２の位置が含まれる領域の斜め方向にある分割領域に表示した場合、例えば矢印カーソル３３が図５に表示されている位置を指している場合には右上の分割領域に、左上と左下の補正条件の中間の条件で補正が施された画像を設定することになり、中間の条件とその両端の補正条件とが比較しやすくなる。
【００３５】
本実施形態において、特定の被写体を検出し、その被写体を拡大してディスプレイ部１２に表示されている画像３０の一部に表示し、その拡大した被写体を複数の領域に分割してそれぞれの領域に異なる条件の画像補正を施してもよい。特定の被写体の検出方法については後述する。図６は、画像３０の右下に、特定の被写体である人物の顔を拡大した拡大部３４を表示した例である。拡大部３４では縦２列横２行の４個の分割領域に分割されている。拡大部３４のそれぞれの分割領域には異なる条件の画像補正が施され、左上は太陽、左下は曇の野外、右上は蛍光灯、右下は白熱灯をそれぞれ光源とする場合についてのホワイトバランス調整を施している。又、それぞれ分割領域には対応するホワイトバランスの調整条件を示すアイコンを表示する。この場合も、ディスプレイ部１２に表示される画像３０の全体を分割して表示した場合と同様に、拡大部３４の分割領域の１個の輪郭に表示される枠カーソル３１又は拡大部３４に表示される補助線３２と補助線３２の一点を指し示す矢印カーソル３３で補正条件を選択するようにすればよい。図６では枠カーソル３１のみを示し、補助線３２及び矢印カーソル３３は示していない。尚、この拡大した部分の画像中での大きさ及び位置は任意である。
【００３６】
このように、特定の被写体を拡大して表示することによって、例えば人物が画面上で小さく映っている場合には人物の顔色の補正のされ方が比較しやすくなり、適切な補正条件を選択しやすくなる。又、ディスプレイ部１２に表示される画像３０の全体を分割して表示した場合、図４の様に人物が画像３０の中央部に位置している場合にしか顔色の補正条件の比較ができないが、一方、人物の顔を拡大して表示した場合には人物が画像の中央部から外れていても顔色の補正条件を比較することができる。
【００３７】
又、本実施形態において、特定の被写体を検出し、その被写体を拡大したものを複数ディスプレイ部１２に表示される画像３０中に表示し、それぞれの拡大した被写体に異なる条件画像補正を施してもよい。図７は、ディスプレイ部１２に、特定の被写体である人物の顔を拡大した拡大部３４を縦２列横２行の４個表示した例である。それぞれの拡大部３４には異なる画像補正が施され、左上は太陽、左下は曇の野外、右上は蛍光灯、右下は白熱灯をそれぞれ光源とする場合についてのホワイトバランス調整を施している。又、それぞれの拡大部３４には対応するホワイトバランスの調整条件を示すアイコンを表示する。この場合も、ディスプレイ部１２の全体を分割して表示した場合と同様に、拡大部３４の分割領域の１個の輪郭に表示される枠カーソル３１又は拡大部３４に表示される補助線３２と補助線３２の一点を指し示す矢印カーソル３３で補正条件を選択するようにすればよい。図７では枠カーソル３１のみを示し、補助線３２及び矢印カーソル３３は示していない。尚、ここでは画像３０に拡大部３４を４個表示した例を示すが、拡大部３４の数や配置はこの例の場合に限られない。
【００３８】
このように、特定の被写体を拡大したものを複数表示することによって、例えば光の当たり具合や影の出来具合によって顔の部分毎に顔色が大きく異なるような場合にでも顔全体が補正された状態を比較することができるため、適切な補正条件をより選択しやすくなる。
【００３９】
（顔検出処理）
ここで、この撮像装置の、特定の被写体の検出方法の一例として、顔検出処理について説明する。画像処理部５は顔検出装置４０を備え、入力された画像信号から人物の顔を検出することができる。顔検出装置４０の構成及び動作について以下に説明する。
【００４０】
図８は、顔検出装置４０の構成を示すブロック図である。顔検出装置４０は、ＡＦＥ３によって得られた画像データに基づいて１又は複数の縮小画像を生成する縮小画像生成手段４２、入力画像及び縮小画像から構成される各階層画像とメモリ１８に記憶された顔検出用の重みテーブルとを用いて入力画像に顔が存在するか否かを判定する顔判定手段４５、及び顔判定手段４５の検出結果を出力する検出結果出力手段４６を備えている。検出結果出力手段４６は、顔が検出された場合には、検出された顔の入力画像を基準とする大きさと位置及び顔の大きさから推定したその顔までの距離を出力する。
【００４１】
又、メモリ１８に記憶された重みテーブルは、大量の教師サンプル（顔及び非顔のサンプル画像）から求められたものである。このような重みテーブルは、例えば、Adaboostと呼ばれる公知の学習方法を利用して作成することができる（Yoav Freund, Robert E. Schapire,"A decision-theoretic generalization of on-line learning and an application to boosting", European Conference on Computational Learning Theory, September 20，1995．）。
【００４２】
尚、Adaboostは、適応的なブースティング学習方法の１つで、大量の教師サンプルをもとに、複数の弱識別器候補の中から識別に有効な弱識別器を複数個選択し、それらを重み付けして統合することによって高精度な識別器を実現する学習方法である。ここで、弱識別器とは、全くの偶然よりは識別能力は高いが、十分な精度を満たすほど高精度ではない識別器のことをいう。弱識別器の選択時には、既に選択した弱識別器がある場合、選択済の弱識別器によって誤認識してしまう教師サンプルに対して学習を重点化することによって、残りの弱識別器候補の中から最も効果の高い弱識別器を選択する。
【００４３】
図９は、縮小画像生成手段４２によって得られる階層画像の一例を示している。この例では、縮小率を０．８に設定した場合に、生成される複数の階層画像を示している。図９において、５０は入力画像を、５１〜５５は縮小画像を示している。６１は判定領域を示している。この例では、判定領域は縦２４画素、横２４画素の大きさに設定されている。判定領域の大きさは、入力画像及び各縮小画像においても同じである。又、この例では、矢印で示すように、階層画像上で判定領域を左から右に移動させる、水平方向走査を、上方から下方に向かって行うことで、判定領域とマッチングする顔画像の検出を行う。ただし、走査順はこれに限られるものではない。入力画像５０の他に、複数の縮小画像５１〜５５を生成しているのは、１種類の重みテーブルを用いて大きさが異なる顔を検出するためである。
【００４４】
図１０は顔検出処理を説明するための図である。顔判定手段４５による顔検出処理は、各階層画像について行われるが、処理方法は同様なので、ここでは入力画像５０に対して行なわれる顔検出処理についてのみ説明する。図１０には、入力画像５０と、入力画像内に設定された判定領域６１とを示している。
【００４５】
各階層画像について行われる顔検出処理は、画像内に設定された判定領域に対応する画像と重みテーブルとを用いて行なわれる。顔検出処理は粗い判定から順次細かい判定に移行する複数の判定ステップからなり、ある判定ステップにおいて、顔が検出されなかった場合には、次の判定ステップには移行せず、当該判定領域には顔は存在しないと判定する。全ての判定ステップにおいて、顔が検出された場合にのみ、当該判定領域に顔が存在すると判定し、判定領域を走査して次の判定領域での判定に移行する。そして、顔が検出されたとき、いずれの階層画像が用いられていたかによって、入力画像を基準とする顔の大きさ及び顔までの距離を推定することができる。このようにして、検出された顔の位置、大きさ及びその顔を有する人物までの距離は検出結果出力手段４６によって出力される。尚、このような顔検出処理については、本願出願人による特許出願である特願２００６−０５３３０４号に詳しく記載されている。
【００４６】
又、特定の被写体が人物の顔であり、画面内に複数の人物が存在している場合には、顔認識機能を用いて、事前に登録された人物の顔を検出してその顔を拡大して表示してもよい。図１１は画面内に複数の人物が存在している場合のプレビュー画像である。対象となる人物の顔には検出されたことを示す枠３８が表示される。事前に登録したこの状態で操作部１９を操作して画像補正条件の選択を決定することにより、対象となる人物の顔を拡大して表示する。又、事前に登録された人物が複数画面内に存在している場合には、それぞれの人物の顔に枠３８を表示し、操作部１９でいずれかの枠３８を選択するようにしてもよいし、画像３０において顔が最も大きく表示されている人物について表示するものとしてもよい。また、画面内に複数の人物が存在しているものの事前に登録された人物が検出されなかった場合は、画像３０において顔が最も大きく表示されている人物について表示するものとしてもよい。
【００４７】
登録された顔を検出する方法としては、例えば主成分分析を用いることができる。主成分分析とは、多変量で表されるデータの統計から一次結合で表現される新たな変量を構成し、互いに無相関な主成分に要約する方法である。この場合、特定の人物の顔の画像データに基づいて画素値と固有ベクトルを算出し、さらに主成分スコア及び写像を導出する。そして、プレビュー画像中から得られた各人物についての写像と、特定の人物についての写像とを比較して最も近い値を持つ人物の顔を同一の人物の顔と認識するものである。
【００４８】
尚、特定の被写体の検出方法としては、動体追尾を利用してもよい。図１２は動体として動き回る人物を含む画像の一例であり、図１３はこの動き回る人物を拡大して複数表示した画像の一例である。動体追尾により検出された動いている物体を拡大したものをディスプレイ部１２に表示される画像３０中に表示する。この場合、動体追尾を利用することで、特定の被写体が動体であっても、撮影者が対象となる動体を撮影する画像から外さない程度に撮影していれば、その動体を自動的に拡大して表示させることができ、画像補正条件を設定することが容易となる。
【００４９】
動体追尾の方法としては、例えばブロックマッチング法を用いることができる。これは、追尾対象を追尾ブロックとして設定し、これに対して追尾を行うものである。この手法について図１４を参照して簡単に説明する。
【００５０】
図１４（ａ）において、符号１００は第（ｎ−１）フレーム画像を表し、符号１０１は第（ｎ−１）フレーム画像における着目した追尾ブロックを表す。図１４（ｂ）において、符号１１０は第ｎフレーム画像を表し、符号１１１は第ｎフレーム画像における着目した候補ブロックを表し、符号１１２は候補ブロック１１１が位置しうる探索ブロックを表す。尚、第（ｎ−１）フレーム画像及び第ｎフレーム画像とは、それぞれ第（ｎ−１）番目のフレームの撮影によって得られたフレーム画像及び第ｎ番目のフレームの撮影によって得られたフレーム画像を指す。
【００５１】
画像処理部５に設けられた追尾部では、追尾ブロック１０１と候補ブロック１１１との間の相関値を算出する。この際、候補ブロック１１１は、探索ブロック１１２内で水平方向又は垂直方向に１画素ずつ移動させられ、その移動の度に相関値が算出される。相関値は、例えば、追尾ブロック１０１と候補ブロック１１１との間における、各画素の輝度差の絶対値の総和とされる。この相関値は、一般的にＳＡＤ（Sum of Absolute Difference）と呼ばれる。相関値として、輝度差の２乗和（Sum of Squared Difference)を用いてもよい。
【００５２】
相関値は、追尾ブロック１０１の画像と候補ブロック１１１の画像との間の相関が高いほど小さくなる。したがって、相関値が最も小さくなる候補ブロック１１１の位置を求めれば、追跡ブロック１０１が、第ｎフレーム画像内のどこに位置しているかを求めることができると共に、第（ｎ−１）フレーム画像と第ｎフレーム画像間の追尾ブロック１０１の動きベクトルが求められる。隣接するフレーム間で動きベクトルを繰り返し求め、動きベクトルに応じて追跡ブロックを逐次移動させることにより、追跡ブロック内に収まる移動物体を追跡することができる。尚、このような動体追尾処理については、本願出願人による特許出願である特願２００６−２９２１７１号に詳しく記載されている。
【００５３】
以上、画像補正の設定を、プレビュー画像について設定する場合について説明したが、撮影後の画像を表示している場合において、上述の方法で補正条件を選択するようにしてもよい。この場合、補正した画像で補正する前の画像を置き換えてもよいし、補正する前の画像とともに補正した画像を保存するようにしてもよい。
【００５４】
又、複数の領域に異なる補正条件が施された画面が表示されている際に、画像処理部５で自動的に良いと判断した設定条件の順に並べ替えたものを表示してもよい。例えば、最も良いと判断したものを左上に配置し、左下、右上、右下の順に劣ると判断したものを配置する。判断基準としては、例えば各領域の平均輝度や色が所定の基準値からどの程度離れているかを用いることができる。特定の被写体が顔である場合には各領域の色が適正な肌色に各領域の色が近いかどうかを用いることができる。
【００５５】
（画像再生装置）
尚、本実施形態において、図１に示すような構成の撮像装置を例に挙げて、本発明における画像処理方法について説明したが、本発明は撮像装置のみに利用されるものとは限られない。例えば、画像処理の可能な液晶ディスプレイやプラズマテレビ等の表示装置や画像処理の可能なＤＶＤプレーヤやビデオデッキ等の再生装置のような、映像の出力が可能な画像再生装置においても、本発明における画像補正条件の設定動作を利用可能である。図１５に、本実施形態に係る画像補正条件の設定動作を行う画像処理装置（上述の撮像装置における「画像処理部」に相当）を備えた画像再生装置の一例を示す。
【００５６】
図１５に示す画像再生装置は、図１に示す撮像装置と同様に、ドライバ部８、伸長処理部９、ビデオ出力回路部１０、ビデオ出力端子１１、ディスプレイ部１２、音声出力回路部１３、音声出力端子１４、スピーカ部１５、ＴＧ１６、ＣＰＵ１７、メモリ１８、操作部１９、及び外部メモリ２２を備える。ディスプレイ部１２は画像再生装置に内蔵されたものであっても、外付けのものであっても構わない。そして、図１の撮像装置とは異なり、画像処理部５に代えて伸長処理部９で取得した画像信号を処理する画像処理装置５ａを備える。画像処理装置５ａは、図１の画像処理部５と同様の構成である。外部メモリ２２から出力された画像信号に対して、画像処理装置５ａにおいて本実施形態に係る画像補正条件の設定動作を行うことができる。
【００５７】
なお、本発明の実施形態において、図１の画像処理部５及び図１５の画像処理装置５ａは、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。
【００５８】
（変形例）
又、本発明における画像処理の変形例について、図１６を用いて説明する。図１６は図７と同様の図であり、ディスプレイ部１２に、被写体である人物の顔を拡大した拡大部３４を縦２列横２行の４個表示した例について示したものである。なお、本変形例は、画像の特定部位のみに対して画像処理を行う点において、上述した画像処理例と異なる。
【００５９】
具体的には、上述の画像処理例は、ホワイトバランスや露出補正、シャープネスなどの特に画像全体に効果が反映されるものに対して行うものである。しかしながら、本発明は、図１６に示すように画像中の特定部位（例えば、被写体の局部）のみに対して画像処理を行う場合においても適用可能である。以下では、このような特定部位に対してのみ行われる画像処理を局部画像処理として説明するとともに、被写体が人物の顔である場合について説明する。
【００６０】
図１６（ａ）は、被写体の一部（本例では眉及びまぶた）を変形させる種々の局部画像処理を行った場合を示している。また、図１６（ｂ）では、被写体の表情を変化させる局部画像処理や、被写体に飾りを付加する局部画像処理を行った場合について示している。
【００６１】
このような局部画像処理を行う場合、被写体の検出には、例えば上述した顔検出や顔認識機能を用いることができる。そして、検出された顔領域を歪ませる（例えば、目元や口元を上げる又は下げる）などの画像処理を行って被写体の表情を変化させたり、検出した顔領域に対して涙や付け耳などの飾りを付加する局部画像処理を施したりするとともに、局部画像処理を施した被写体画像の拡大部３４をディスプレイ１２に表示する。
【００６２】
即ち、画像処理を施した被写体画像を拡大してディスプレイ１２に表示する点については、上述した画像処理例と同様である。
【００６３】
以上のような構成とすることによって、被写体にのみ局部画像処理を施すことができるため、様々な画像を得ることが可能となる。また、局部画像処理が施される被写体を拡大して表示することで、局部画像処理が施された被写体画像を確認することが容易となる。
【００６４】
なお、複数表示される画像の中に、局部画像処理を施さない画像を含ませてもよい。このような構成とすることで、それぞれの局部画像処理の効果をユーザに明確に認識させることができる。
【００６５】
また、ホワイトバランスなどの画像全体に効果が反映される画像処理と、本変形例における局部画像処理と、を組み合わせて処理した画像をディスプレイ１２に表示する構成としてもよい。例えば、図６や図７などに示すような全体的な画像処理を施した画像を表示する際に、ある局部画像処理を施した被写体の拡大画像を表示してもよい。このように構成することによって、局部画像処理による違和感が低減される画像処理方法をユーザに確認させ、選択させることが可能となる。
【００６６】
また、ユーザによって選択された全体的な画像処理によって補正された画像の画素のパラメータ（例えば、輝度値や色情報など）に基づいて、局部画像処理のパラメータ（例えば、付加する飾りの輝度値や色情報など）を決定するとともに、図１６のように種々の局部画像処理を施した画像を表示してもよい。このように構成することによって、局部画像処理によって得られる画像が全体画像に対して馴染むものとなるため、違和感が低減された画像を得ることが可能となる。
【００６７】
また、上述した局部画像処理は、画像を歪ませたり飾りを付加したりする画像処理に限られない。例えば、特定部位の輝度や色情報を変化させたりする画像処理などであってもよい。また、上述した動体追尾を利用して動体を検出するとともに拡大して表示し、その動体に対して局部画像処理を行うこととしてもよい。
【００６８】
以上、本発明における画像処理装置や撮像装置、画像再生装置の実施形態について説明したが、本発明の範囲はこれに限定されるものではなく、発明の主旨を逸脱しない範囲で種々の変更を加えて実行することができる。
【産業上の利用可能性】
【００６９】
本発明は、画質補正処理を行う画像処理装置、撮像装置及び画像再生装置に適用することができる。
【図面の簡単な説明】
【００７０】
【図１】は、本発明の撮像装置の内部構成を示すブロック図である。
【図２】は、本発明の撮像装置の静止画撮影時の基本動作を説明するためのフローチャートである。
【図３】は、本発明の撮像装置の動画撮影時の基本動作を説明するためのフローチャートである。
【図４】は、画像全体を４個の分割領域に分割した画像の一例である。
【図５】は、図４の画像に補助線及び矢印カーソルを配置した画像の一例である。
【図６】は、画像の右下に、特定の被写体を拡大し分割して配置した画像の一例である。
【図７】は、画像の全体に、特定の被写体を拡大したものを複数配置した画像の一例である。
【図８】は、顔検出装置の構成を示すブロック図である。
【図９】は、縮小画像生成手段によって得られる階層画像の一例である。
【図１０】は、顔検出処理を説明するための図である。
【図１１】は、画面内に複数の人物が含まれる画像の一例である。
【図１２】は、被写体に動体を含む画像の一例である。
【図１３】は、動体を特定の被写体として拡大したものを複数表示した画像の一例である。
【図１４】は、動体追尾を説明するための図である。
【図１５】は、本発明の画像再生装置の内部構成を示すブロック図である。
【図１６】は、画像の全体に、特定の被写体を拡大したものを複数配置した画像の一例である。
【符号の説明】
【００７１】
１    イメージセンサ
２    レンズ部
３    ＡＦＥ
４    マイク
５    画像処理部
５ａ  画像処理装置
６    音声処理部
７    圧縮処理部
８    ドライバ部
９    伸長処理部
１０    ビデオ出力回路部
１１    ビデオ出力端子
１２    ディスプレイ部
１３    音声出力回路部
１４    音声出力端子
１５    スピーカ部
１６    タイミングジェネレータ（ＴＧ）
１７    ＣＰＵ
１８    メモリ
１９    操作部
２０    バス回線
２１    バス回線
２２    外部メモリ
３０    画像
３１    枠カーソル
３２    補助線
３３    矢印カーソル
３４    拡大部
３８    枠
４０    顔検出装置
４２    縮小画像生成手段
４５    顔判定手段
４６    検出結果出力手段
５０    入力画像
５１    縮小画像
５２    縮小画像
５３    縮小画像
５４    縮小画像
５５    縮小画像
６１    判定領域
【図１】
2009124644.tif 000003
【図２】
2009124644.tif 000004
【図３】
2009124644.tif 000005
【図４】
2009124644.tif 000006
【図５】
2009124644.tif 000007
【図６】
2009124644.tif 000008
【図７】
2009124644.tif 000009
【図８】
2009124644.tif 000010
【図９】
2009124644.tif 000011
【図１０】
2009124644.tif 000012
【図１１】
2009124644.tif 000013
【図１２】
2009124644.tif 000014
【図１３】
2009124644.tif 000015
【図１４】
2009124644.tif 000016
【図１５】
2009124644.tif 000017
【図１６】
2009124644.tif 000018