(57)【要約】【課題】高速撮影モードなどでは、符号量が増大していた。【解決手段】顔検出部２４などのオブジェクト検出部は、撮像された動画像から所定のオブジェクトを検出する。制御部２０は、オブジェクト検出部による検出結果に応じて、フレームレートを適応的に変化させる。たとえば、制御部２０は、動画像内にオブジェクトを検出している状態からオブジェクトを検出できない状態に移行すると、オブジェクトを検出している状態のフレームレートより、低いフレームレートに切り換える。【選択図】図１
2008289104.tif 000002
【特許請求の範囲】
【請求項１】
撮像された動画像から所定のオブジェクトを検出するオブジェクト検出部と、
前記オブジェクト検出部による検出結果に応じて、フレームレートを適応的に変化させる制御部と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御部は、前記動画像内に前記オブジェクトを検出している状態から前記オブジェクトを検出しない状態に移行すると、前記オブジェクトを検出している状態のフレームレートより、低いフレームレートに切り換えることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクトの検出態様と評価値とを関連付けた第１テーブルと、
前記評価値とフレームレートとを関連付けた第２テーブルと、をさらに備え、
前記制御部は、前記第１テーブルおよび前記第２テーブルを参照して、前記オブジェクトの検出態様に応じたフレームレートに切り換えることを特徴とする請求項１に記載の画像処理装置。
【請求項４】
前記第１テーブルは、撮影モードに応じて異なる評価値を持つことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
動画像を撮像する撮像素子と、
前記撮像素子により撮像された動画像を処理する請求項１から４のいずれかに記載の画像処理装置と、
を備えることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、顔など、特定のオブジェクトを検出することができる画像処理装置およびそれを搭載した撮像装置に関する。
【背景技術】
【０００２】
デジタルビデオカメラが広く普及してきており、今まで以上に、一般ユーザが動画像を手軽に撮影できるようになってきている。一般ユーザは、運動会で走る子供など、動いている被写体を撮影することが多い。その際、走っている子供の表情など、被写体を鮮明に記録したいという要求が強くなっている。これに対し、毎秒３００コマなど、非常に高いフレームレートで撮像、記録するモードを搭載したデジタルビデオカメラなどが実用化されている。
【０００３】
特許文献１は、顔検出技術を利用した撮像装置を開示する。
【特許文献１】特開２００６−２３７９６１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
当然のことながら、高画質に撮像された動画像は、記録容量を圧迫してしまう。とくに、上述したような高いフレームレートで撮像された動画像では顕著である。そこで、高画質に撮像された動画像を効率的に符号化する技術が求められる。
【０００５】
本発明はこうした状況に鑑みなされたものであり、その目的は、ユーザの撮影意図を満たしつつ、符号量を削減することができる画像処理装置およびそれを搭載した撮像装置を提供することにある。
【課題を解決するための手段】
【０００６】
本発明のある態様の画像処理装置は、撮像された動画像から所定のオブジェクトを検出するオブジェクト検出部と、オブジェクト検出部による検出結果に応じて、フレームレートを適応的に変化させる制御部と、を備える。
【０００７】
なお、以上の構成要素の任意の組み合わせ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
【発明の効果】
【０００８】
本発明によれば、ユーザの意図を満たしつつ、符号量を削減することができる。
【発明を実施するための最良の形態】
【０００９】
本発明の実施の形態は、ユーザが注目している被写体を高画質に記録しつつ、それ以外の領域を被写体より低画質に記録することにより、動画像全体の符号量が増大することを抑制する技術である。この技術がとくに有効なのは、高速撮影モードおよび連写モードである。高速撮影モードは、毎秒３００コマなど、非常に高いフレームレートで撮影するモードである。このモードで撮像された動画像は、スロー再生しても滑らかな映像となる。連写モードは、静止画を連続して撮影するモードである。各静止画の解像度は、動画像モードで撮影された動画像を組成する一枚の画像より高く設定される。連写モードの一つとして、撮像条件を変化させながら連写するスパイラル連写モードがある。このモードは、最適な撮像条件の探索に利用される。
【００１０】
高速撮影モードおよび連写モードに共通する課題は、撮像した画像を記録する際の符号量が増大してしまう点である。本発明の実施の形態は、この課題を有効に解決することができる。もちろん、本発明の実施の形態はそれ以外のモードでの撮影にも適用可能であるが、以下、高速撮影モードに適用される例を中心に説明する。また、本発明の実施の形態は、オブジェクト検出技術を利用するが、オブジェクトの検出として人物の顔を検出する例を説明する。なお、オブジェクトの検出は、人間の顔の検出に限定されるものではなく、犬や猫などペットの顔の検出や、自動車、電車および船舶など物体の検出であってもよい。
【００１１】
図１は、実施の形態１に係る撮像装置５００の構成図である。実施の形態１に係る撮像装置５００は、撮像部１０、画像処理部１００、記録部１６、操作部１８および表示部１９を備える。撮像部１０は、撮像素子１２および信号処理部１４を含む。画像処理部１００は、制御部２０、符号化部２２および顔検出部２４を含む。画像処理部１００の構成は、ハードウェア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウェア的にはメモリにロードされたプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組み合わせによっていろいろな形で実現できることは、当業者には理解されるところである。
【００１２】
撮像素子１２は、ＣＣＤ（Charge Coupled Devices）センサまたはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサで構成され、受光した信号を電気信号に変換し、信号処理部１４に出力する。
【００１３】
信号処理部１４は、撮像素子１２から出力されたＲＧＢフォーマットのアナログ信号を、ＹＵＶフォーマットのデジタル信号に変換する。信号処理部１４は、変換後の画像信号を画像処理部１００に出力する。より具体的には、符号化部２２および顔検出部２４にフレーム単位で並列に出力する。
【００１４】
顔検出部２４は、撮像部１０で撮像され、入力された動画像から人物の顔を検出する。顔検出部２４は、人物を検出するための複数のパターンデータを辞書データとして持ち、それらのパターンデータと一致または近似する領域を対象フレーム内で探索し、照合することにより人物の顔を検出する。
【００１５】
ここで、顔検出は、公知の方法で行えばよく、とくに限定されるものではない。たとえば、エッジ検出法、ブースティング法、色相抽出法または肌色抽出法による顔検出方法を用いることができる。エッジ検出法は、あらかじめ顔の大きさや濃淡値を正規化した顔画像の目、鼻、口、顔の輪郭などを含む顔領域から様々なエッジ特徴を抽出し、顔であるか否かを識別するのに有効な特徴量を統計的手法に基づき学習することにより顔識別器を構築する。
【００１６】
入力画像の中から顔を検出するために、学習の際に正規化した顔サイズで入力画像の端からラスタスキャンしながら、同様な特徴量を抽出する。その特徴量から、識別器によりその領域が顔か否か判断する。特徴量には、例えば、水平エッジ、垂直エッジ、右斜めエッジ、左斜めエッジなどを用いることができる。顔が検出されなければ、入力画像を一定の割合で縮小し、縮小後の画像に対して、上記と同様にラスタスキャンしながら顔を検索する。このような処理を繰り返すことにより、画像中から任意の大きさの顔を見つけることができる。
【００１７】
また、エッジ検出法より精度は低くなるが高速処理したい場合、ブースティング法を用いてもよい。ブースティング法は、エッジを用いずに、目鼻などの顔の陰影をあらかじめ登録された顔検出パターンの陰影と比較することにより、画像中から顔を検出する。
【００１８】
その他の顔検出方法として以下のような方法を用いてもよい。顔候補領域を抽出して、この顔候補領域を小領域に分割して、各領域の特徴量を予め設定した顔領域パターンと照合して、その確度から顔領域を抽出する方法、もしくは顔候補領域を抽出して、各候補領域の重複度から確度を評価して顔領域を抽出する方法を用いてもよい。さらに、顔候補領域を抽出して、各候補領域の濃度が所定の閾値に対応する値である場合に、胴体候補領域を抽出し、顔および胴体候補領域の濃度または彩度コントラストを用いて確度を評価して、顔領域を抽出する方法を用いてもよい。
【００１９】
顔検出部２４は、顔検出処理の結果を制御部２０に通知する。本実施の形態では、フレームごとに顔の有無を通知すればよい。また、フレームごとに通知するのではなく、顔の有無が変化したときのみ通知してもよい。この場合、処理量を削減することができる。なお、顔検出処理は、必ずしもすべてのフレームに対して行う必要はなく、数フレームおきに行ってもよい。この場合も、処理量を削減することができる。
【００２０】
制御部２０は、顔検出部２４による検出結果に応じて、フレームレートを適応的に変化させる。ここで、フレームレートとは、単位時間あたりに撮像すべきフレーム数、単位時間あたりに符号化すべきフレーム数、および単位時間あたりに記録すべきフレーム数のいずれでもよい。単位時間あたりに撮像すべきフレーム数の場合、制御部２０は、撮像部１０に指示して、シャッター回数を所定の値に設定する。符号化すべきフレーム数または記録すべきフレーム数の場合、撮像部１０は、符号化部２２に指示して、符号化すべきフレーム数の割合、または記録すべきフレームの割合を設定する。
【００２１】
制御部２０は、適応的な制御として、動画像内に顔を検出している状態から顔を検出しない状態に移行すると、顔を検出している状態のフレームレートより、低いフレームレートに切り換える。反対に、顔を検出しない状態から顔を検出している状態に移行すると、その低いフレームレートから顔を検出している状態のフレームレートに切り換える。
【００２２】
高速撮影モードを前提にすると、顔を検出している状態のフレームレートは、高画質に記録されるため、毎秒３００コマなど高いフレームレートに設定される。顔を検出しない状態のフレームレートは、そこまで高画質に記録される必要性が低いため、毎秒６０コマ、毎秒１２０コマなど顔を検出している状態より低いフレームレートに設定される。
【００２３】
符号化部２２は、信号処理部１４から入力される画像信号を、所定の規格に準拠し圧縮符号化する。たとえば、国際標準化機関であるＩＳＯ（International Organization for Standardization）／ＩＥＣ（International Electrotechnical Commission）によって標準化されたＭＰＥＧシリーズの規格（ＭＰＥＧ−１、ＭＰＥＧ−２およびＭＰＥＧ−４）、電気通信に関する国際標準機関であるＩＴＵ−Ｔ（International Telecommunication Union-Telecommunication Standardization Sector）によって標準化されたＨ．２６ｘシリーズの規格（Ｈ．２６１、Ｈ．２６２およびＨ．２６３）、もしくは両方の標準化機関によって合同で標準化された動画像圧縮符号化標準規格であるＨ．２６４／ＡＶＣ（両機関における正式勧告名はそれぞれMPEG-4 Part 10: Advanced Video CodingとH.264）に準拠して動画像の符号化を行う。
【００２４】
符号化部２２は、符号化した動画像データを記録部１６に記録する。符号化部２２は、制御部２０から指示を受けて、符号化すべきフレームまたは記録すべきフレームの割合を変化させる。
【００２５】
記録部１６は、メモリーカードスロット、光ディスク、またはＨＤＤを備え、撮像された動画像などを記録媒体に記録する。操作部１８は、シャッターボタンおよび各種設定用のボタンまたはキーを備え、ユーザからの指示を受け付け、制御部２０に伝達する。本実施の形態では、ユーザから高速撮影モードで動作するよう指示を受け付けた場合、その指示を制御部２０に伝達する。表示部１９は、撮像中の画像や、記録部１６に記録された画像を表示したり、各種の設定画面や各種のステータス情報などを表示する。
【００２６】
図２は、顔検出の有無によりフレームレートを適応的に切り換える様子を示す図である。画像３０、画像３２および画像３４は、動画像を組成する画像を示し、時間経過順に示している。画像３０は、人物Ａがフレーム内に存在せず、人物Ａの顔が検出されない状態を示す。画像３２は、人物Ａがフレーム内に存在し、人物Ａの顔を含む領域Ｆと上記パターンデータの一つとの間に所定の設定値を超える一致度が得られた状態を示す。画像３４は、人物Ａがフレーム内に存在せず、人物のＡの顔が検出されない状態を示す。
【００２７】
人物Ａの顔が含まれる画像３２のフレームレートは、人物Ａの顔が含まれない画像３０、３４のフレームレートより高く設定される。たとえば、人物Ａの顔がフレームに収まる前の段階では、制御部２０はフレームレートを毎秒６０コマや毎秒１２０コマに設定し、人物Ａの顔がフレームに収まると、フレームレートを毎秒３００コマに設定し、人物Ａの顔がフレームから外れると、フレームレートを毎秒６０コマや毎秒１２０コマに再度設定する。
【００２８】
図３は、実施の形態１に係る画像処理部１００の動作を示すフローチャートである。顔検出部２４は、入力される動画像を組成する各フレーム内から、顔を検出するためのパターンデータと所定の設定値を超える一致度の領域を探索する（Ｓ１０）。制御部２０は、顔検出の有無を判定し（Ｓ１２）、検出した場合（Ｓ１２のＹ）、高いフレームレートで記録するよう符号化部２２を制御し（Ｓ１４）、検出できない場合（Ｓ１２のＮ）、低いフレームレートで記録するよう符号化部２２を制御する（Ｓ１６）。
【００２９】
以上説明したように実施の形態１によれば、顔検出の有無に応じてフレームレートを適応的に変化させることにより、ユーザの画質に対する要求を満たしつつ、符号量を削減することができる。すなわち、顔が検出された状態では高フレームレートで記録し、検出されない状態では低フレームレートで記録する。顔はユーザが高画質に記録したいと望むオブジェクトである。実施の形態１では、顔が写ったシーンを高画質に記録しつつ、顔が写っていないシーンでは符号量を削減することができる。
【００３０】
とくに、符号量削減の要請が強い高速撮影モードおよび連写モードに有効である。たとえば、高速撮影モードはスポーツ撮影に適しており、被写体が登場する前から撮影を開始すれば、登場前の符号量を削減しつつ、登場すると即座に高画質での記録を開始することができる。
【００３１】
図４は、実施の形態２に係る撮像装置６００の構成図である。実施の形態２に係る撮像装置６００は、実施の形態１に係る撮像装置５００と基本部分は同一である。以下、相違点について説明する。
【００３２】
実施の形態２に係る画像処理部１１０は、実施の形態１に係る画像処理部１００の構成要素に加えて、検出態様／評価値変換テーブル２６（以下、第１テーブルと表記する）および評価値／フレームレート変換テーブル２８（以下、第２テーブルと表記する）を含む。
【００３３】
第１テーブル２６は、顔の検出態様と評価値とを関連付けて管理する。第１テーブル２６は、撮影モードに応じて異なる評価値を持つ。すなわち、撮影モードに応じて、同じ顔の検出態様でも異なる評価値となる。第２テーブル２８は、当該評価値とフレームレートとを関連付けて管理する。顔検出部２４は、顔の検出有無だけでなく、顔の検出態様についても特定する。顔の検出態様の具体例については後述する。制御部２０は、第１テーブル２６および第２テーブル２８を参照して、顔の検出態様に応じたフレームレートを特定し、そのフレームレートに現在のフレームレートから切り換えるよう符号化部２２に指示する。
【００３４】
図５は、第１テーブル２６の一例を示す図である。ここでは、顔の検出態様を、「顔検出数」、「顔の確からしさ」、「顔の向き」、および「顔の大きさ」の四つの項目で表している。なお、顔の検出態様を表す項目として、これらの少なくとも一つが含まれていればよい。
【００３５】
図５（ａ）は、ポートレードモード（一人に設定）における第１テーブル２６の一例を示す図である。「顔検出数」は同一画面内における顔検出数を評価する項目である。ポートレードモード（一人に設定）は人物一人を撮影するためのモードであるから、同一画面内に顔が一つも検出できない状態や二つ以上検出される状態は、ユーザが意図している状態ではなく、評価値は０点となる。同一画面内に顔が一つ検出される状態は、意図している状態であり、評価値は最高の５点となる。
【００３６】
「顔の確からしさ」は、パターンデータとの一致度を評価する項目である。一致度が０．５未満のとき評価値が０点となり、０．５以上０．８以下のとき評価値が３点となり、０．８を超えるとき評価値が５点となる。当然、一致度が高いほど高得点となる。
【００３７】
「顔の向き」は、正面を向いているか、側面を向いているかを評価する項目である。顔の向きを検出するには、正面顔のパターンデータと側面顔のパターンデータをあらかじめ準備して、それぞれと照合すればよい。たま、眼の検出数が二のとき正面顔と判定し、一のとき側面顔と判定してもよい。正面顔のとき評価値が５点とり、側面顔のとき評価値が３点となる。当然、正面顔のほうが高得点となる。
【００３８】
「顔の大きさ」は、画面全体に対する相対的な大きさを評価する項目である。「顔の大きさ」は、画面全体の大きさと画面内で検出された顔の大きさとの比率が算出されることにより、求められる。画面全体に対して顔の占める面積が２％未満のとき評価値が１点となり、２％以上１０％以下のとき評価値が２点となり、１０％を超えるとき評価値が３点となる。当然、大きいほど高得点となる。制御部２０は、各項目の得点をすべて加算することにより、対象画像における顔の検出態様を評価値に変換する。
【００３９】
図５（ｂ）は、ポートレードモード｛ｎ（ｎは二以上の整数）人に設定｝における第１テーブル２６の一例を示す図である。「顔検出数」について、ポートレードモード（ｎ人に設定）は人物ｎ人を撮影するためのモードであるから、同一画面内にｎ個以外｛０〜（ｎ−１）、ｎ＋１＜｝の顔が検出される状態はユーザが意図している状態ではなく、検出されたすべての顔について評価値は０点となる。同一画面内に顔がｎ個検出される状態は意図している状態であり、検出されたすべての顔について評価値は最高の５点となる。
【００４０】
「顔の確からしさ」、「顔の向き」、および「顔の大きさ」は、図５（ａ）に示したポートレードモード（一人に設定）の場合と同様である。本モードでは、制御部２０は、検出された顔のそれぞれについて、「顔検出数」の項目から得られる得点、「顔の確からしさ」の項目から得られる得点、「顔の向き」の項目から得られる得点、および「顔の大きさ」の項目から得られる得点を加算する。さらに、算出した顔ごとの合計得点をすべて合算し、その得点を検出数で割る。この得点を最終的な評価値とする。これにより、検出数の違いによる影響を評価値から取り除きつつ、顔の検出態様を評価値に変換することができる。
【００４１】
図５（ｃ）は、集合写真モードにおける第１テーブル２６の一例を示す図である。「顔検出数」の項目における得点は、検出された顔ごとに評価値として１０点が与えられる。「顔の確からしさ」の評価は、図５（ｂ）に示したポートレードモード（ｎ人に設定）の場合と同様である。「顔の向き」は、正面顔のときその顔の得点に１．０を掛け、側面顔のときその顔の得点に０．５を掛ける。「顔の大きさ」は、画面全体に占める顔の面積が１％未満のときその顔の得点に０．５を掛け、１％以上２％以下のときその顔の得点に０．７を掛け、２％を超えるときその顔の得点に１．０を掛ける。集合写真ではもともと一人一人の顔は小さいが、とくに２％未満のときだけ重み付けを１未満にして評価を下げている。
【００４２】
本モードでは、制御部２０は、検出された顔のそれぞれについて、「顔検出数」の項目から得られると得点と「顔の確からしさ」の項目から得られる得点を合算し、その得点に、「顔の向き」の項目から得られる倍率、および「顔の大きさ」の項目から得られる倍率を掛けて、検出された顔のごとの得点を算出する。さらに、算出した顔ごとの得点をすべて合算し、その得点を検出数で割る。この得点を最終的な評価値とする。これにより、検出数の違いによる影響を評価値から取り除きつつ、顔の検出態様を評価値に変換することができる。なお、本モードでは、顔検出数が多いほど評価値が高くなりやすいように設定されている。集合写真では顔検出数が多いほど、意図している状態に近いと判定すべきだからである。
【００４３】
なお、図５に示した顔検出態様を評価するための項目の内容、各項目の評価結果に対する得点、モードごとの得点の重み付けは、一例であり、設計者が任意に設定することができる。たとえば、まばたきの有無を顔検出態様を評価するための項目に含めてもよい。
【００４４】
図６は、第２テーブル２８の一例を示す図である。第２テーブル２８は、第１テーブル２６で求めた評価値をフレームレートに変換するためのテーブルである。ここでは、評価値に対する高速撮影モードおよび連写モードにおけるフレームレートを示している。
【００４５】
高速撮影モードでは、評価値が０〜５の範囲でフレームレートが３０［ｆｐｓ］、評価値が５〜１０の範囲でフレームレートが６０［ｆｐｓ］、評価値が１０〜１５の範囲でフレームレートが１２０［ｆｐｓ］、および評価値が１５〜２０の範囲でフレームレートが３００［ｆｐｓ］に設定される。
【００４６】
連写モードでは、評価値が０〜５の範囲でフレームレートが１［ｆｐｓ］、評価値が５〜１０の範囲でフレームレートが３［ｆｐｓ］、評価値が１０〜１５の範囲でフレームレートが５［ｆｐｓ］、および評価値が１５〜２０の範囲でフレームレートが１０［ｆｐｓ］に設定される。
【００４７】
評価値が高いほど、被写体とすべき人物が正面を向いてアップで写っている状態など、ユーザが高画質に記録したいと希望する状態に近い状態を示す。したがって、評価値が高いほど、フレームレートを高く設定し、高画質に記録する。
【００４８】
図７は、評価値に応じてフレームレートを切り換える様子を示す図である。画像４０、画像４２および画像４４は、動画像を組成する画像を示し、時間経過順に示している。画像４０は、人物Ａがフレーム内に存在せず、人物Ａの顔が検出されない状態を示す。画像４２は、人物Ａがフレーム内に存在し、人物Ａが側面を向いている状態を示す。画像４４は、人物Ａがフレーム内に存在し、人物のＡが正面を向いている状態を示す。
【００４９】
図５に示したような第１テーブル２６を参照して評価値を算出すると、画像４０の評価値は一番低く、画像４４の評価値が一番高く、画像４２の評価値がその間になる。たとえば、高速撮影モードにて、制御部２０は、画像４０に切り換わるとフレームレートが３０［ｆｐｓ］に設定し、画像４２に切り換わると１２０［ｆｐｓ］に設定し、画像４４に切り換わると３００［ｆｐｓ］に設定する。
【００５０】
図８は、実施の形態２に係る画像処理部１１０の動作を示すフローチャートである。顔検出部２４は、入力される動画像を組成する各フレーム内から、顔およびその検出態様を検出し、制御部２０は、顔の検出態様を第１テーブル２６を参照して、評価値に変換する（Ｓ２０）。つぎにその評価値を第２テーブル２８を参照して、フレームレートに変換し、符号化部２２に設定する（Ｓ２２）。撮影終了指示のない間（Ｓ２４のＮ）、制御部２０は、ステップＳ２０に遷移し、同様の処理を繰り返す。第１テーブル２６において、評価値が各クラスの範囲にとどまる限り、フレームレートが維持される。評価値が各クラスの範囲を超えて変化した場合、フレームレートが変更される。
【００５１】
以上説明したように実施の形態２によれば、顔検出態様の評価値に応じてフレームレートを変化させることにより、画質と符号量のバランスを実施の形態１より最適化することができる。たとえば、正面を向いて大きく写っているシーンを最も高画質に記録し、側面を向いて小さく写っているシーンをそれより低い画質で記録し、顔が写っていないシーンを最も低画質に記録することが可能である。このような処理により、ユーザの画質に対する要求を満たしつつ、符号量を削減することができる。
【００５２】
また、撮影モードごとに評価値を設定することにより、ユーザの撮影意図を満たしつつ、符号量を削減することができる。たとえば、一人撮影用のポートレードモードでは、画像内に複数の人物が写る状況はユーザの意図する状況ではなく、その場合、評価値が低くなるように設定すれば、不必要な符号量の増大を抑制することができる。これに対し、多人数撮影用の集合写真モードでは、顔が前列の人に隠れているなど、画像内に少数の顔しか写っていない状況はユーザの意図する状況ではない。集合写真モードでは、画像内に顔が多く写っているほど、評価値が高くなるように設定すれば、ユーザの意図を満たしつつ、不必要な符号量の増大を抑制することができる。
【００５３】
図９は、実施の形態３に係る撮像装置７００の構成図である。実施の形態３に係る撮像装置７００は、実施の形態２に係る撮像装置６００と大部分の構成が同じであり、以下、相違点について説明する。
【００５４】
実施の形態３に係る画像処理部１２０は、実施の形態２に係る画像処理部１２０の評価値／フレームレート変換テーブル２８の代わりに評価値／ビットレート変換テーブル２９を含む。
【００５５】
第１テーブル２６は、顔の検出態様と評価値とを関連付けて管理する。実施の形態３では、画像全体の評価値を算出する必要はなく、顔を検出した領域ごとに評価値を算出すればよい。したがって、顔ごとの評価値を合算し、検出数で割る処理は不要である。評価値／ビットレート変換テーブル２９は、当該評価値と注目領域（ＲＯＩ；Region Of Interest）のビットレートとを関連付けて管理する。ここでのビットレートとは、注目領域の画素値を、離散コサイン変換係数やウェーブレット変換係数などの直交変換係数に変換する際のビットレートである。第２テーブル２８と同様に、評価値が高いほど、ビットレートが高くなるように設計する。
【００５６】
符号化部２２は、顔を含む領域を注目領域に設定する。たとえば、顔探索のための窓枠と同じ大きさに設定してもよいし、それより上下左右に所定数の画素分、大きく設定してもよい。また、顔を複数検出した場合、顔ごとに注目領域を設定してもよいし、検出した複数の顔のうち、一部の顔について注目領域を設定してもよい。符号化部２２は、注目領域の画素値を、直交変換係数に変換する際、制御部２０から指示されたビットレートで変換する。高ビットレートが指定されると、注目領域を高画質で記録するこができ、低ビットレートが指定されると、注目領域の符号量を削減することができる。
【００５７】
制御部２０は、第１テーブル２６および評価値／ビットレート変換テーブル２９を参照して、顔の検出態様に応じたビットレートを特定し、そのビットレートで、顔を含む注目領域の画素値を係数に変換するよう符号化部２２に指示する。また、同一フレーム内に複数の顔が検出された場合、顔ごとに注目領域を設定し、それぞれの顔の検出態様に応じたビットレートで、それぞれの注目領域の画素値を係数に変換するよう符号化部２２に指示する。
【００５８】
以上説明したように実施の形態３によれば、顔検出態様の評価値に応じて、画素値を係数に変換する際のビットレートを変化させることにより、注目すべきオブジェクトの画質と符号量のバランスを最適化することができる。たとえば、正面を向いている顔を最も高画質に記録し、側面を向いて顔をそれより低い画質で記録し、非注目領域を低画質に記録することが可能である。このような処理により、ユーザの画質に対する要求を満たしつつ、符号量を削減することができる。
【００５９】
以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。
【００６０】
上述した実施の形態では、顔の検出対象として人物の顔を想定したが、犬や猫など動物の顔でもよい。それぞれ、犬用のパターンデータ、猫用のパターンデータを登録しておけば、人物の顔の場合と同様の原理で実施可能である。なお、犬や猫などペットのパターンデータは、ユーザがペットを撮像し、撮像装置内でその画像から特徴点などを抽出して、パターンデータを生成してもよい。この場合、精度の高い、自分のペット用のパターンデータを容易に生成することができる。
【図面の簡単な説明】
【００６１】
【図１】実施の形態１に係る撮像装置の構成図である。
【図２】顔検出の有無によりフレームレートを適応的に切り換える様子を示す図である。
【図３】実施の形態１に係る画像処理部の動作を示すフローチャートである。
【図４】実施の形態２に係る撮像装置の構成図である。
【図５】図５（ａ）は、ポートレードモード（一人に設定）における第１テーブル２６の一例を示す図である。図５（ｂ）は、ポートレードモード｛ｎ（ｎは二以上の整数）人に設定｝における第１テーブル２６の一例を示す図である。図５（ｃ）は、集合写真モードにおける第１テーブル２６の一例を示す図である。
【図６】第２テーブルの一例を示す図である。
【図７】評価値に応じてフレームレートを切り換える様子を示す図である。
【図８】実施の形態２に係る画像処理部の動作を示すフローチャートである。
【図９】実施の形態３に係る撮像装置の構成図である。
【符号の説明】
【００６２】
１０  撮像部、  １２  撮像素子、  １４  信号処理部、  １６  記録部、  １８  操作部、  １９  表示部、  ２０  制御部、  ２２  符号化部、  ２４  顔検出部、  ２６  第１テーブル、  ２８  第２テーブル、  １００  画像処理部、  ５００  撮像装置。
【図１】
2008289104.tif 000003
【図２】
2008289104.tif 000004
【図３】
2008289104.tif 000005
【図４】
2008289104.tif 000006
【図５】
2008289104.tif 000007
【図６】
2008289104.tif 000008
【図７】
2008289104.tif 000009
【図８】
2008289104.tif 000010
【図９】
2008289104.tif 000011