(57)【特許請求の範囲】
【請求項１】
被写体を撮像して画像信号を生成する撮像手段と、
前記撮像手段によって生成された画像信号から人物の顔領域を検出する顔検出手段と、
撮像装置本体の傾きを検出する傾き検出手段と、
前記顔検出手段による検出結果と前記傾き検出手段による検出結果とに基づいて、前記人物の胴体領域を検出する胴体検出手段と、
前記顔検出手段によって検出された顔領域と前記胴体検出手段によって検出された胴体領域とが高画質になるよう量子化処理における量子化ステップサイズを調節して前記画像信号を符号化する符号化手段とを有し、
前記胴体検出手段は、前記傾き検出手段によって検出された傾きのうち、水平面に対する前後の傾きが所定の範囲内である場合は、前記顔検出手段によって検出された顔領域を基点として重力方向の領域を胴体領域と決定し、水平面に対する前後の傾きが所定の範囲を越えた場合は、前記顔領域を基点として、顔の傾き方向と平行な領域を胴体領域と決定することを特徴とする撮像装置。
【請求項２】
前記符号化手段は、前記顔検出手段によって検出された顔領域と、前記胴体検出手段によって検出された胴体領域とに対して、量子化ステップサイズを他の領域よりも相対的に小さくすることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記胴体検出手段は、前記顔検出手段によって検出された顔領域の大きさに応じて胴体領域の大きさを決定することを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
被写体を撮像して画像信号を生成する撮像工程と、
前記撮像工程において生成された画像信号から人物の顔領域を検出する顔検出工程と、
撮像装置本体の傾きを検出する傾き検出工程と、
前記顔検出工程における検出結果と前記傾き検出工程における検出結果とに基づいて、前記人物の胴体領域を検出する胴体検出工程と、
前記顔検出工程において検出された顔領域と前記胴体検出工程において検出された胴体領域とが高画質になるよう量子化処理における量子化ステップサイズを調節して前記画像信号を符号化する符号化工程とを有し、
前記胴体検出工程においては、前記傾き検出工程において検出された傾きのうち、水平面に対する前後の傾きが所定の範囲内である場合は、前記顔検出工程において検出された顔領域を基点として重力方向の領域を胴体領域と決定し、水平面に対する前後の傾きが所定の範囲を越えた場合は、前記顔領域を基点として、顔の傾き方向と平行な領域を胴体領域と決定することを特徴とする撮像方法。
【請求項５】
被写体を撮像して画像信号を生成する撮像工程と、
前記撮像工程において生成された画像信号から人物の顔領域を検出する顔検出工程と、
撮像装置本体の傾きを検出する傾き検出工程と、
前記顔検出工程における検出結果と前記傾き検出工程における検出結果とに基づいて、前記人物の胴体領域を検出する胴体検出工程と、
前記顔検出工程において検出された顔領域と前記胴体検出工程において検出された胴体領域とが高画質になるよう量子化処理における量子化ステップサイズを調節して前記画像信号を符号化する符号化工程とをコンピュータに実行させ、
前記胴体検出工程においては、前記傾き検出工程において検出された傾きのうち、水平面に対する前後の傾きが所定の範囲内である場合は、前記顔検出工程において検出された顔領域を基点として重力方向の領域を胴体領域と決定し、水平面に対する前後の傾きが所定の範囲を越えた場合は、前記顔領域を基点として、顔の傾き方向と平行な領域を胴体領域と決定することを特徴とするプログラム。
【請求項６】
被写体を撮像して画像信号を生成する撮像手段と、
前記撮像手段によって生成された画像信号から人物の顔領域を検出する顔検出手段と、
撮像装置本体に対する重力方向を検出する重力センサーと、
前記顔検出手段による検出結果と前記重力センサーによる検出結果とに基づいて、前記人物の胴体領域を検出する胴体検出手段と、
前記顔検出手段によって検出された顔領域と前記胴体検出手段によって検出された胴体領域とが高画質になるよう量子化処理における量子化ステップサイズを調節して前記画像信号を符号化する符号化手段とを有し、
前記胴体検出手段は、前記重力センサーによる検出結果に基づいて前記撮像装置本体の傾きを判定し、水平面に対する前後の傾きが所定の範囲内である場合は、前記顔検出手段によって検出された顔領域を基点として重力方向の領域を胴体領域と決定し、水平面に対する前後の傾きが所定の範囲を越えた場合は、前記顔領域を基点として、顔の傾き方向と平行な領域を胴体領域と決定することを特徴とする撮像装置。
【請求項７】
前記符号化手段は、前記顔検出手段によって検出された顔領域と、前記胴体検出手段によって検出された胴体領域とに対して、量子化ステップサイズを他の領域よりも相対的に小さくすることを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記胴体検出手段は、前記顔検出手段によって検出された顔領域の大きさに応じて胴体領域の大きさを決定することを特徴とする請求項６または７に記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像装置、撮像方法及びプログラムに関し、特に、人物を高画質に撮影するために用いて好適な技術に関する。
【背景技術】
【０００２】
近年、撮影した画像から人物の顔を検出する技術が急速に発達しており、顔検出によって顔領域の画質を高める提案がなされている。特許文献１には、撮影した画像から人物の顔を検出する顔検出手段を備え、検出された顔部分の量子化パラメータを低くして、人物の顔部分の画像を高画質化する技術が開示されている。また、特許文献２には、画像中の顔部分を肌色検出によって判定して、肌色領域に符号量を多く割り当てて高画質化する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平６−２３３２９２号公報
【特許文献２】特開２００５−２１８０１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
ビデオカメラなどの撮像装置で人物を撮影する場合、顔だけでなく、胴体部分の画質も重要視される。しかしながら、前述した特許文献１に記載された技術においては、顔検出によって顔部分を高画質化することはできるが、胴体部分は顔以外の部分として取り扱われるため、人物の胴体部分を高画質化することができない。また、特許文献２に記載された技術においても、胴体部分は肌色と限らないため、肌色検出だけでは胴体を特定することができず、よって人物の胴体部分を高画質化することが困難である。
【０００５】
本発明は前述の問題点に鑑み、人物の顔部分とともに胴体部分を高画質化できるようにすることを目的としている。
【課題を解決するための手段】
【０００６】
本発明の撮像装置は、被写体を撮像して画像信号を生成する撮像手段と、前記撮像手段によって生成された画像信号から人物の顔領域を検出する顔検出手段と、撮像装置本体の傾きを検出する傾き検出手段と、前記顔検出手段による検出結果と前記傾き検出手段による検出結果とに基づいて、前記人物の胴体領域を検出する胴体検出手段と、前記顔検出手段によって検出された顔領域と前記胴体検出手段によって検出された胴体領域とが高画質になるよう量子化処理における量子化ステップサイズを調節して前記画像信号を符号化する符号化手段とを有し、前記胴体検出手段は、前記傾き検出手段によって検出された傾きのうち、水平面に対する前後の傾きが所定の範囲内である場合は、前記顔検出手段によって検出された顔領域を基点として重力方向の領域を胴体領域と決定し、水平面に対する前後の傾きが所定の範囲を越えた場合は、前記顔領域を基点として、顔の傾き方向と平行な領域を胴体領域と決定することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、胴体領域を適切に検出することができるため、人物の顔部分とともに胴体部分を高画質化することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施形態に係る撮像装置の構成例を示すブロック図である。
【図２】被写体である人物を含む撮影画像の一例を示す図である。
【図３】撮像装置本体を傾斜させている状態の一例を示す図である。
【図４】被写体である人物を撮影している様子を示す図である。
【図５】被写体の人物が顔を傾けていない場合の撮影画像の一例を示す図である。
【図６】被写体の人物が顔を傾けている場合の撮影画像の一例を示す図である。
【図７】被写体である人物の寝顔を撮影している様子を示す図である。
【図８】図７に示した状態で撮影した撮影画像を示す図である。
【図９】胴体領域を決定する処理手順の一例を示すフローチャートである。
【図１０】顔の大きさから胴体領域を決定する方法の一例を示す図である。
【発明を実施するための形態】
【０００９】
（第１の実施形態）
以下、本発明の好適な実施形態について、図面を参照しながら詳細に説明する。
図１は、本実施形態に係る撮像装置１００の構成例を示すブロック図である。
図１において、撮像信号処理部１０２は、レンズ及び撮像素子からなる撮像部１０１により得られた撮像信号をＡ／Ｄ変換し、色マトリクス変換やガンマ補正などの処理を行った画像信号を生成する。撮像信号処理部１０２から出力された画像信号は、符号化部１０３及び顔検出部１０４に入力される。
【００１０】
符号化部１０３は、ＭＰＥＧ−２方式等の圧縮符号化方式により撮像信号処理部１０２から画像信号を符号化する。符号化部１０３では、マクロブロックと呼ばれる１６×１６画素のブロックに画像を分割し、動き補償予測、直交変換を行い、さらにその変換係数を量子化処理し、エントロピー符号化を施して画像の圧縮符号化を行っている。
【００１１】
ここで、量子化とは、直交変換係数の振幅をある代表値で表現することであり、量子化を行うことにより代表値が少なくなり、発生する符号量を少なくすることができる。ところが、量子化を粗く行うと元の変換係数の再現性が低くなり、再現される画像の画質が劣化する。また、量子化を細かく行うと、画質劣化は少なくなるが符号量が多くなる。このような量子化の度合いを設定する量子化パラメータを制御することによって、発生符号量の調整を行っている。
【００１２】
本実施形態では符号化部１０３は、ＭＰＥＧ−２のTest Model（ＴＭ）５と同様の量子化パラメータの制御を行う。すなわち、マクロブロック単位に画像の複雑度を示すアクティビティ値をまず算出する。そして、アクティビティ値を算出することにより、視覚的に劣化の目立ちやすい平坦な画像では量子化パラメータの値（量子化ステップサイズ）を小さくして劣化を発生させないようにする。それとは逆に劣化の比較的目立ち難い複雑な絵柄の画像では量子化パラメータの値（量子化ステップサイズ）を大きくして符号量を減らしつつ画質を保つ制御を行う。また、符号化部１０３は、以下に説明する顔領域及び胴体領域を高画質化するように量子化パラメータの制御を行う。記録部１０７は、以上のような手順で圧縮符号化された画像データを記録媒体１０８に記録する。
【００１３】
顔検出部１０４は、画像信号において人物の顔領域を検出し、顔領域情報として出力する。例えば、図２に示すように人物を撮影した場合、顔部分を取り囲む四角形Ａの位置、大きさ、傾きの情報が出力される。そして、出力された顔領域情報は、胴体検出部１０５及び符号化部１０３に入力される。胴体検出部１０５は、顔検出部１０４から出力された顔領域情報と、傾き検出部１０６から出力された傾き情報とに応じて胴体領域を決定する。胴体領域を決定する処理の流れについては後述する。傾き検出部１０６は、撮像装置本体の傾きを検出するためのものであり、一般に重力センサーと呼ばれるものである。また、傾き検出部１０６は撮像装置１００内部に設置され、垂直面に対する撮像装置１００本体の左右の傾き角度Ｘ、及び水平面に対する前後の傾き角度Ｙを検出する。撮像装置１００本体の傾きと検出される傾き情報との関係については、図３を参照しながら説明する。
【００１４】
図３（ａ）〜図３（ｄ）は、撮像装置１００本体を傾斜させている状態の一例を示す図であり、図３（ａ）及び図３（ｂ）は、撮像装置１００本体をレンズ側から見た正面図である。図３（ａ）は撮像装置１００本体が垂直に保持された状態を示しており、垂直面との左右の傾き角度は０度となっている。また、図３（ｂ）は、撮像装置１００本体が正面から向かって右に傾けられた状態を示しており、垂直面との左右の傾き角度はＸとなっている。なお、左に傾けられた場合はマイナスの角度で表現されるものとする。
【００１５】
図３（ｃ）及び図３（ｄ）は、撮像装置１００本体を側面から見た図である。図３（ｃ）は、撮像装置１００本体の撮影角度が水平に保持された状態を示しており、水平方向との前後の傾き角度は０度となっている。図３（ｄ）は、撮像装置１００本体のレンズ側が下に傾けられた状態を示しており、水平面との前後の傾き角度はＹとなっている。なお、レンズ側が上に傾けられた場合はマイナスの角度で表現されるものとする。
【００１６】
次に、顔検出結果から胴体領域を決定する処理手順について説明する。図９は、胴体検出部１０５による胴体領域を決定する処理手順の一例を示すフローチャートである。
図９において、顔検出部１０４から顔領域情報が入力され、傾き検出部１０６から傾き情報が入力されると、ステップＳ９０１において処理を開始する。そして、ステップＳ９０２において、顔検出部１０４から入力された顔領域情報から顔領域が存在するか否かを判定する。この判定の結果、顔領域が存在しない場合は、ステップＳ９０５において、胴体領域が存在しないものとして符号化部１０３にその情報を送る。そして、ステップＳ９０８において胴体検出の処理を終了する。一方、ステップＳ９０２の判定の結果、顔領域が存在する場合は、ステップＳ９０３において、顔領域情報によって示される顔領域の大きさから胴体領域の大きさを決定する。
【００１７】
図１０は、顔領域の大きさから胴体領域の大きさを決定する方法の一例を示す図である。
図１０において、四角形Ａは、顔領域情報における顔を取り囲むように設定された領域（顔領域）であり、四角形Ｂは、求めるべき胴体領域である。顔を取り囲む四角形Ａの幅Ａｘ及び高さＡｙから、所定の高さ係数及び幅係数をそれぞれ掛け合わせ、胴体領域の四角形Ｂの幅Ｂｘ及び高さＢｙを算出する。
【００１８】
次に、胴体領域の位置を決定する。ステップＳ９０４において、傾き検出部１０６から入力された傾き情報における撮像装置１００本体の前後の傾きＹの絶対値が所定値以下であるか否かを判定する。すなわち、傾き情報における前後の傾き角度をＹとし、所定の角度をＹａとした場合、−Ｙａ≦Ｙ≦Ｙａが成立するか否かを判定する。このように式が成立する場合は、撮像装置１００本体の前後の傾きの絶対値が水平面から角度Ｙａの範囲内ということである。この判定の結果、傾きＹの絶対値が所定値以下である場合は、次のステップＳ９０６へ移行する。
【００１９】
次に、ステップＳ９０６において、顔領域に対する胴体領域の位置を重力方向に従って決定する。手順としては、まず、撮影された画像における重力方向を傾き検出部１０６から入力された傾き情報により求める。傾き検出部１０６で検出された前後の傾きと左右の傾きとにより重力方向を算出することが可能である。そして、顔領域を基点として、重力方向に胴体領域があるものとして位置を決定する。そして、胴体領域情報として符号化部１０３に送る。このような手順にすることによって、被写体の人物が顔を傾けた場合や、撮像者が撮像装置を傾けて撮影した場合などでも胴体領域の位置を適切に決定することができる。以下、具体例として図４〜図６を参照しながら説明する。
【００２０】
図４は、被写体である人物を撮影している様子を示す図であり、撮像装置１００本体の前後の傾きの絶対値が水平面から角度Ｙａ以内である場合、すなわち撮像装置１００のレンズがほぼ水平方向を向いている場合を示している。
【００２１】
図５（ａ）は、被写体の人物が顔を傾けていない場合であって、図３（ａ）に示したように撮像装置１００本体に左右の傾きがない場合の撮影画像の一例を示す図である。また、図５（ｂ）は、被写体の人物が顔を傾けていない場合であって、図３（ｂ）に示したように撮像装置１００本体に左右の傾きがある場合の撮影画像の一例を示す図である。一方、図６（ａ）は、被写体の人物が顔を傾けている場合であって、図３（ａ）に示したように撮像装置１００本体に左右の傾きがない場合の撮影画像の一例を示す図である。また、図６（ｂ）は、被写体の人物が顔を傾けている場合であって、図３（ｂ）に示したように撮像装置１００本体に左右の傾きがある場合の撮影画像の一例を示す図である。
【００２２】
図５（ａ）の５０１、図５（ｂ）の５０２、図６（ａ）の６０１、図６（ｂ）の６０２はそれぞれ、傾き検出部１０６の傾き情報により求められた重力方向を示す矢印である。図５及び図６に示すように、顔領域Ａに対し、重力方向に胴体領域Ｂを決定することによって、胴体部分を適切に胴体領域と決定することができる。
【００２３】
一方、ステップＳ９０４の判定の結果、傾きＹの絶対値が所定値を超える場合は、ステップＳ９０７において、顔領域に対する胴体領域の位置を顔の傾き方向に従って決定する。そして、胴体領域情報として符号化部１０３に送る。このように顔領域を基点として、顔の傾き方向に胴体領域があるものとして決定する。以下、具体例について図７及び図８を参照しながら説明する。
【００２４】
図７は、被写体である人物の寝顔を撮影している様子を示す図である。図７に示す例では、撮像装置１００本体の前後の傾きの絶対値が水平面から角度Ｙａ以上であり、撮像装置１００のレンズがＹａ度以上の斜め下を向いている。また、図８は、図７に示した状態で撮影した撮影画像を示す図である。図８に示すように、顔領域Ａに対し、顔の傾き方向と平行な領域を胴体領域Ｂと決定することによって、胴体部分を適切に胴体領域と決定することができる。
【００２５】
以上のように、ステップＳ９０６またはＳ９０７において胴体領域の位置を決定すると、ステップＳ９０８へ移行し、胴体領域検出処理を終了する。以上のように図９に示した処理により胴体検出部１０５は胴体領域を決定し、胴体領域情報を符号化部１０３に出力する。
【００２６】
符号化部１０３には、前述のように顔検出部１０４から出力された顔領域情報と胴体検出部１０５から出力された胴体領域情報とが入力される。符号化部１０３は、画像信号の量子化処理を行う際に、入力された情報に基づき、顔領域及び胴体領域を含むマクロブロックは前述したアクティビティ算出結果の平坦画像（劣化の目立ちやすいマクロブロック）と同様の扱いにするよう量子化パラメータを制御する。すなわち、符号化部１０３は、画像中の顔領域と胴体領域に対しては、他の領域に比べて量子化ステップサイズを相対的に小さくして量子化する。このように、顔領域及び胴体領域を含むマクロブロックに対しては量子化が細かく行われるように量子化パラメータを調節するため、顔領域及び胴体領域を高画質にすることができる。
【００２７】
以上説明したように本実施形態によれば、様々な撮影状態において、顔領域情報を用いて胴体領域を適切に決定することができる。そして、顔領域及び胴体領域に対しての量子化パラメータを制御することによって、顔領域及び胴体領域を高画質化することができる。
【００２８】
（本発明に係る他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００２９】
１０１  撮像部、１０３  符号化部、１０４  顔検出部、１０５  胴体検出部、１０６  傾き検出部
【図１】
0005424779.tif 000002
【図２】
0005424779.tif 000003
【図３】
0005424779.tif 000004
【図４】
0005424779.tif 000005
【図５】
0005424779.tif 000006
【図６】
0005424779.tif 000007
【図７】
0005424779.tif 000008
【図８】
0005424779.tif 000009
【図９】
0005424779.tif 000010
【図１０】
0005424779.tif 000011