(57)【要約】【課題】顔処理を施す迄の時間を短縮する技術を提供する。【解決手段】撮像装置１は、被写体像を撮像して画像を生成する撮像部２０と、撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部４０と、撮像部２０によって撮像されたスルー画像から顔領域検出部４０によって検出された顔領域を示す領域情報を記憶する記憶部１０と、撮像部２０によって本画像が撮像された場合に、記憶部１０に記憶されている領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部５０と、未対応顔推定領域選択部５０によって選択された未対応顔推定領域に画像処理を施す画像処理部９０とを備える。【選択図】図１
2010191784.tif 000002
【特許請求の範囲】
【請求項１】
被写体像を撮像して画像を生成する撮像部と、
前記撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、
前記撮像部によって撮像されたスルー画像から前記顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、
前記撮像部によって本画像が撮像された場合に、前記記憶部に記憶されている前記領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、
前記未対応顔推定領域選択部によって選択された前記未対応顔推定領域に画像処理を施す画像処理部と
を備えることを特徴とする撮像装置。
【請求項２】
請求項１に記載の撮像装置において、
前記顔領域検出部が前記未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、
前記検出失敗確率に応じた拡縮率によって前記未対応顔推定領域を拡縮させる未対応顔推定領域拡縮部と
を更に備えることを特徴とする撮像装置。
【請求項３】
請求項１に記載の撮像装置において、
前記顔領域検出部が前記未対応顔推定領域おいて顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、
前記未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定するパラメータ設定部と
を更に備え、
前記パラメータ設定部は、
前記検出失敗確率が高ければ高いほどより弱い強度を示す前記パラメータを設定し、
前記画像処理部は、
前記パラメータの強度に応じて未対応顔推定領域に画像処理を施すことを特徴とする撮像装置。
【請求項４】
請求項２または請求項３の何れか１項に記載の撮像装置において、
前記検出失敗確率算出部は、
前記記憶部に記憶されている前記領域情報を参照し、本画像の撮像前一定時間内に撮像された複数のスルー画像のうち前記未対応顔推定領域に対応する顔領域が検出でなかったスルー画像の割合を前記検出失敗確率として算出することを特徴とする撮像装置。
【請求項５】
請求項１に記載の撮像装置において、
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置の変化が所定の閾値よりも小さいときは、最新のスルー画像から検出された顔領域を前記顔推定領域とすることを特徴とする撮像装置。
【請求項６】
請求項１に記載の撮像装置において、
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置が一定方向に移動しているときは、最新のスルー画像から検出された顔領域を一定方向に拡大させた領域を前記顔推定領域とすることを特徴とする撮像装置。
【請求項７】
請求項１に記載の撮像装置において、
前記未対応顔推定領域選択部は、
複数のスルー画像における顔領域の位置が一定方向に移動しているときは、複数のスルー画像における各顔領域を全て含む領域を前記顔推定領域とすることを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関するものである。
【背景技術】
【０００２】
現在、動画像（スルー画像とも称する）において、人物の顔領域を検出する技術が知られている（例えば、特許文献１参照）。また、顔領域に種々の処理（例えば、赤目補正、肌色補正、逆光補正。以下、「顔処理」という）を施す技術も知られている。
【０００３】
特許文献１に記載の装置は、静止画像（本画像とも称する）を撮像後、本画像の撮像前に撮像したスルー画像に基づいて絞り込んだ領域から顔領域を検出する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００７−４２０７２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の装置は、本画像の撮像後に顔領域を検出するため、顔処理を施す迄に時間を要するという問題がある。本発明は、このような事情に鑑みてなされたものであり、顔処理を施す迄の時間を短縮する技術を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記問題を解決するために、本発明の一態様である撮像装置は、被写体像を撮像して画像を生成する撮像部と、撮像部によって撮像された画像から人物の顔領域を検出する顔領域検出部と、撮像部によって撮像されたスルー画像から顔領域検出部によって検出された顔領域を示す領域情報を記憶する記憶部と、撮像部によって本画像が撮像された場合に、撮像部によって本画像が撮像された場合に、記憶部に記憶されている領域情報に基づいて本画像に顔領域が存在すると推定した顔推定領域のなかから、本画像の撮像時に検出された顔領域に対応しない未対応顔推定領域を選択する未対応顔推定領域選択部と、未対応顔推定領域選択部によって選択された未対応顔推定領域に画像処理を施す画像処理部とを備えることを特徴とする。
【０００７】
上記撮像装置は、顔領域検出部が未対応顔推定領域において顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、検出失敗確率に応じた拡縮率によって未対応顔推定領域を拡縮させる未対応顔推定領域拡縮部とを更に備えるようにしてもよい。
【０００８】
上記撮像装置は、顔領域検出部が未対応顔推定領域おいて顔領域の検出に失敗した確率である検出失敗確率を算出する検出失敗確率算出部と、未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定するパラメータ設定部とを更に備え、パラメータ設定部は、検出失敗確率が高ければ高いほどより弱い強度を示すパラメータを設定し、画像処理部は、パラメータの強度に応じて未対応顔推定領域に画像処理を施してもよい。
【０００９】
上記撮像装置において、検出失敗確率算出部は、記憶部に記憶されている領域情報を参照し、本画像の撮像前一定時間内に撮像された複数のスルー画像のうち未対応顔推定領域に対応する顔領域が検出でなかったスルー画像の割合を検出失敗確率として算出してもよい。
【００１０】
上記撮像装置において、未対応顔推定領域選択部は、複数のスルー画像における顔領域の位置の変化が所定の閾値よりも小さいときは、最新のスルー画像から検出された顔領域を顔推定領域としてもよい。また、未対応顔推定領域選択部は、複数のスルー画像における顔領域の位置が一定方向に移動しているときは、最新のスルー画像から検出された顔領域を一定方向に拡大させた領域を顔推定領域としてもよい。また、未対応顔推定領域選択部は、複数のスルー画像における顔領域の位置が一定方向に移動しているときは、複数のスルー画像における各顔領域を全て含む領域を顔推定領域としてもよい。
【発明の効果】
【００１１】
本発明によれば、本画像の撮像後に顔領域を検出せずに未対応顔推定領域に画像処理を施すため、顔処理を施す迄の時間を短縮することができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の第１の実施形態に係る撮像装置１の構成例を示すブロック図である。
【図２】顔領域検出部４０の動作を説明するための説明図である。
【図３】顔領域情報記憶部１０に記憶される顔領域情報の一例を示す図である。
【図４】未対応顔推定領域選択部５０の動作を説明するための説明図である。
【図５】未対応顔推定領域選択部５０の動作を説明するための説明図である。
【図６】未対応顔推定領域選択部５０の動作を説明するための説明図である。
【図７】未対応顔推定領域選択部５０の動作を説明するための説明図である。
【図８】撮像装置１の動作の一例を示すフローチャートである。
【図９】本発明の第２の実施形態に係る撮像装置２の構成例を示すブロック図である。
【図１０】本発明の第２の実施形態に係る撮像装置２の構成例を示すブロック図である。
【図１１】撮像装置３の動作の一例を示すフローチャートである。
【発明を実施するための形態】
【００１３】
[第１の実施の形態]
以下、本発明の第１の実施形態について図面を参照して詳細に説明する。図１は、本発明の第１の実施形態に係る撮像装置１の構成例を示すブロック図である。図２は、顔領域検出部４０の動作を説明するための説明図である。図３は、顔領域情報記憶部１０に記憶される顔領域情報の一例を示す図である。図４〜図７は、未対応顔推定領域選択部５０の動作を説明するための説明図である。撮像装置１は、図１に示すように、顔領域情報記憶部１０、画像記憶部１２、撮像部２０、表示制御部３０、顔領域検出部４０、未対応顔推定領域選択部５０および画像処理部９０を備える。
【００１４】
撮像部２０は、光を集光するレンズ（非図示）、光電変換をする撮像素子（非図示）および電気信号から画像（スルー画像および本画像）を生成する画像生成部（非図示）などを備えるが、既知の技術であるため詳細は省略する。撮像部２０は、撮像時において、レリーズ信号を取得していないときは、所定のタイミング（例えば、３０コマ／秒）でスルー画像を生成する。撮像部２０は、スルー画像を生成する都度、生成したスルー画像を表示制御部３０および顔領域検出部４０に供給する。また、撮像部２０は、撮像時において、レリーズ信号を取得したときは、本画像を生成する。撮像部２０は、本画像を生成した場合、生成した本画像を表示制御部３０、顔領域検出部４０および画像処理部９０に供給する。
【００１５】
顔領域検出部４０は、撮像部２０からスルー画像および本画像を取得する。顔領域検出部４０は、スルー画像を取得した場合、スルー画像から人物の顔領域を検出する。例えば、顔領域検出部４０は、図２（ａ）に示すスルー画像Ｇｎを取得した場合、顔領域Ａｎと顔領域Ｂｎを検出する。本画像を取得した場合も同様である。
【００１６】
顔領域検出部４０は、スルー画像から顔領域を検出した場合、スルー画像から検出した顔領域を示す領域情報（以下、「顔領域情報」という）を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶する。例えば、顔領域検出部４０は、ある時刻Ｔｎに撮像された図２（ａ）に示すスルー画像Ｇｎから顔領域Ａｎと顔領域Ｂｎを検出した場合、スルー画像Ｇｎを識別するスルー画像識別情報「Ｇｎ」（例えば、時刻「Ｔｎ」、撮像順序「ｎ」）、顔領域Ａｎを示す顔領域情報（ＰＡｎ、ＬＡｎｘ、ＬＡｎｙ）、および、顔領域Ｂｎを示す顔領域情報（ＰＢｎ、ＬＢｎｘ、ＬＢｎｙ）を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶する。同様に、顔領域検出部４０は、時刻Ｔｎより１スルー画像撮像時間後の時刻Ｔｎ＋１に撮像された図２（ｂ）に示すスルー画像Ｇｎ＋１から顔領域Ｂｎ＋1を検出した場合には、スルー画像識別情報「Ｇｎ＋１」、および、顔領域Ｂｎ＋1を示す顔領域情報（ＰＢｎ＋１、ＬＢｎ+１ｘ、ＬＢｎ+１ｙ）を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶する。なお、「ＰＡｎ」はスルー画像Ｇｎにおける顔領域Ａｎの左上の座標、「ＬＡｎｘ」はスルー画像Ｇｎにおける顔領域Ａｎの横方向（Ｘ軸方向）の長さ、「ＬＡｎｙ」はスルー画像Ｇｎにおける顔領域Ａｎの縦方向（Ｙ軸方向）の長さである。「ＰＢｎ」はスルー画像Ｇｎにおける顔領域Ｂｎの左上の座標、「ＬＢｎｘ」はスルー画像Ｇｎにおける顔領域Ｂｎの横方向（Ｘ軸方向）の長さ、「ＬＢｎｙ」はスルー画像Ｇｎにおける顔領域Ｂｎの縦方向（Ｙ軸方向）の長さである。「ＰＢｎ＋１」はスルー画像Ｇｎ＋1における顔領域Ｂｎ＋1の左上の座標、「ＬＢｎ＋１ｘ」はスルー画像Ｇｎ＋1における顔領域Ｂｎ＋1の横方向（Ｘ軸方向）の長さ、「ＬＢｎ＋１ｙ」はスルー画像Ｇｎ＋1における顔領域Ｂｎ＋1の縦方向（Ｙ軸方向）の長さである。なお、顔領域検出部４０は、スルー画像から顔領域を検出できなかった場合、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を表示制御部３０に供給する。
【００１７】
図３は、スルー画像Ｇｎから顔領域Ａｎと顔領域Ｂｎを検出し、スルー画像Ｇｎ＋１から顔領域Ｂｎ＋1を検出した場合に顔領域情報記憶部１０に記憶される顔領域情報である。上記の場合、顔領域情報記憶部１０には、スルー画像識別情報「Ｇｎ」に対応付けて顔領域情報（ＰＡｎ、ＬＡｎｘ、ＬＡｎｙ）と顔領域情報（ＰＢｎ、ＬＢｎｘ、ＬＢｎｙ）、スルー画像識別情報「Ｇｎ＋１」に対応付けて顔領域情報（ＰＢｎ＋１、ＬＢｎ＋１ｘ、ＬＢｎ＋１ｙ）が記憶される。なお、顔領域検出部４０は、顔領域の基準座標（左上）、顔領域の横方向（Ｘ軸方向）の長さ、顔領域の縦方向（Ｙ軸方向）の長さから構成される顔領域情報を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶することに代えて、他の形式から構成される顔領域情報を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶してもよい。例えば、顔領域検出部４０は、顔領域の２つの基準座標（例えば、左上および右下）から構成される顔領域情報を表示制御部３０に供給するとともに顔領域情報を顔領域情報記憶部１０に記憶してもよい。
【００１８】
顔領域検出部４０は、本画像から顔領域を検出した場合、本画像から検出した顔領域情報を未対応顔推定領域選択部５０に供給する。なお、顔領域検出部４０は、スルー画像から顔領域を検出した場合に顔領域情報記憶部１０に記憶する形式の顔領域情報と同一の形式の顔領域情報を未対応顔推定領域選択部５０に供給することが好ましい。なお、顔領域検出部４０は、本画像から顔領域を検出できなかった場合、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を未対応顔推定領域選択部５０に供給する。
【００１９】
表示制御部３０は、撮像部２０からスルー画像または本画像を取得する。また、表示制御部３０は、顔領域検出部４０からスルー画像に係る顔領域情報を取得する。表示制御部３０は、スルー画像および顔領域情報を取得した場合には、スルー画像とともに（スルー画像に重畳させて）、当該顔領域情報により示される領域を表す情報（例えば、枠）を表示部（非図示）に表示する。表示制御部３０は、本画像を取得した場合には、本画像を表示部に表示する。
【００２０】
未対応顔推定領域選択部５０は、撮像部２０によって本画像が撮像された場合に、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて本画像に顔領域が存在すると推定した領域（以下、「顔推定領域」という）のなかから、本画像の撮像時に検出された顔領域に対応しない領域（以下、「未対応顔推定領域」という）を選択する。以下、詳細に説明する。
【００２１】
未対応顔推定領域選択部５０は、本画像が撮像されたと判断した場合、まず、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて顔推定領域を抽出する。例えば、未対応顔推定領域選択部５０は、ある時刻Ｔｒに撮像された図４（ｆ）に示す本画像Ｇｒから検出された顔領域情報Ａｒを顔領域検出部４０から取得した場合に、顔領域情報記憶部１０に、時刻Ｔｒより１スルー画像撮像時間前の時刻Ｔｒ−１に撮像された図４（ｅ）に示すスルー画像Ｇｒ−１から検出された顔領域情報Ａｒ−１、時刻Ｔｒ−１より１スルー画像撮像時間前の時刻Ｔｒ−２に撮像された図４（ｄ）に示すスルー画像Ｇｒ−２から検出された顔領域情報Ａｒ−２、時刻Ｔｒ−２より１スルー画像撮像時間前の時刻Ｔｒ−３に撮像された図４（ｃ）に示すスルー画像Ｇｒ−３から検出された顔領域情報Ａｒ−３、時刻Ｔｒ−３より１スルー画像撮像時間前の時刻Ｔｒ−４に撮像された図４（ｂ）に示すスルー画像Ｇｒ−４から検出された顔領域情報Ａｒ−４、および、時刻Ｔｒ−４より１スルー画像撮像時間前の時刻Ｔｒ−５に撮像された図４（ａ）に示すスルー画像Ｇｒ−５から検出された顔領域情報Ａｒ−５が記憶されているときは、顔領域情報Ａｒ−５、顔領域情報Ａｒ−４、顔領域情報Ａｒ−３、顔領域情報Ａｒ−２および顔領域情報Ａｒ−１の位置の変化に基づいて、図４（ｇ）に示すように、時刻Ｔｒにおいて顔領域が存在すると推定される領域Ａｘを顔推定領域として抽出する。
【００２２】
また、未対応顔推定領域選択部５０は、ある時刻Ｔｓに撮像された図５（ｆ）に示す本画像Ｇｓから検出された顔領域情報Ａｓを顔領域検出部４０から取得した場合に、顔領域情報記憶部１０に、図５（ａ）〜図５（ｅ）に示す、時刻Ｔｓ−ｎ（ｎ＝５，４，３，２，１）に撮像された各スルー画像Ｇs−ｎ（ｎ＝５，４，３，２，１）から検出された各顔領域情報Ａｓ−ｎ（ｎ＝５，４，３，２，１）が記憶されているときは、各顔領域情報Ａｓ−ｎ（ｎ＝５，４，３，２，１）の位置および大きさの変化に基づいて、図５（ｇ）に示すように、時刻Ｔｓにおいて顔領域が存在すると推定される領域Ａｘを顔推定領域として抽出する。
【００２３】
即ち、未対応顔推定領域選択部５０は、過去（本画像撮像前）のスルー画像の顔領域の位置および大きさから本画像の顔領域を推測し、顔推定領域として抽出する。なお、図４は、例えば、静止した人物に対して撮像装置１の位置が上に移動する状況若しくは角度（アングル）が上に移動する状況における撮像、または、固定した撮像装置１に対して人物が下に移動する状況における撮像である。また、図５は、例えば、静止した人物に対して撮像装置１の位置が前に移動する状況（被写体への接近）における撮像、固定した撮像装置１に対して人物が前に移動する状況（被写体の接近）における撮像、または、静止した人物かつ固定した撮像装置１において被写体サイズを拡大（ズームイン）させる撮像である。また、図４および図５の例では、５枚のスルー画像を参照して顔推定領域を抽出しているが、参照するスルー画像の枚数は５枚に限定されない。
【００２４】
なお、未対応顔推定領域選択部５０は、複数のスルー画像における顔領域の位置が一定方向に移動している場合には、最新のスルー画像から検出された顔領域を一定方向に拡大させた領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部５０は、図４（ａ）〜図４（ｅ）に示すように、各顔領域Ａｒ−ｎ（ｎ＝５，４，３，２，１）の位置が一定方向に移動しているときは、図４（ｈ）に示すように顔領域Ａｒ−１を一定方向に拡大させた領域Ａｘを顔推定領域として抽出してもよい。なお、未対応顔推定領域選択部５０は、一定方向に移動する移動量に応じて一定方向に拡大させる拡大量を算出してもよい。また、未対応顔推定領域選択部５０は、上記場合に、複数のスルー画像における各顔領域を全て含む領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部５０は、各顔領域Ａｒ−ｎ（ｎ＝５，４，３，２，１）を全て含む図４（ｉ）に示す領域Ａｘを顔推定領域として抽出してもよい。
【００２５】
更に、未対応顔推定領域選択部５０は、複数のスルー画像における顔領域の位置の変化が所定の閾値よりも小さい場合には、最新のスルー画像から検出された顔領域を顔推定領域として抽出してもよい。例えば、未対応顔推定領域選択部５０は、ある時刻Ｔｔに撮像された図６（ｆ）に示す本画像Ｇｔから検出された顔領域情報Ａｔを顔領域検出部４０から取得した場合に、顔領域情報記憶部１０に、図６（ａ）〜図６（ｅ）に示す、時刻Ｔｔ−ｎ（ｎ＝５，４，３，２，１）に撮像された各スルー画像Ｇｔ−ｎ（ｎ＝５，４，３，２，１）から検出された各顔領域情報Ａｔ−ｎ（ｎ＝５，４，３，２，１）が記憶され、かつ、重心が顔領域Ａｔ−１の重心Ｑと同一であってＸ軸方向およびＹ軸方向の長さが顔領域Ａｔ−１のＸ軸方向およびＹ軸方向の長さの２倍（所定の閾値）である矩形領域Ｋに、他の顔領域Ａｔ−ｎ（ｎ＝２，３，４，５）の全てが含まれているときは、図６（ｇ）に示すように、顔領域Ａｔ−１を顔推定領域Ａｘとして抽出してもよい。
【００２６】
なお、未対応顔推定領域選択部５０は、本画像の撮像前一定時間内に撮像された全スルー画像から顔領域（顔領域の位置および大きさから同一の顔に係る顔領域と推定される顔領域）が検出できなかった場合でも、所定の割合以上のスルー画像から当該顔領域が検出できた場合には、当該顔領域に基づいて顔推定領域を抽出してもよい。例えば、所定の割合が８０％である場合、未対応顔推定領域選択部５０は、本画像の撮像前１秒内に撮像された３０枚のスルー画像のうち２４枚以上のスルー画像から顔領域が検出できた場合には、当該顔領域に基づいて顔推定領域を抽出してもよい。
【００２７】
顔推定領域を抽出した未対応顔推定領域選択部５０は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する。例えば、未対応顔推定領域選択部５０は、ある時刻Ｔｕに撮像された図７（ａ）に示す本画像Ｇｕから検出された顔領域情報Ｂｕ、Ｃｕを顔領域検出部４０から取得し、図７（ｄ）〜図７（ｈ）に示す、時刻Ｔｕ−ｎ（ｎ＝５，４，３，２，１）に撮像された各スルー画像Ｇｕ−ｎ（ｎ＝５，４，３，２，１）から各顔領域情報Ａｕ−ｎ（ｎ＝５，４，３，２，１）、Ｂｕ−ｎ（ｎ＝５，４，３，２，１）およびＣｕ−ｎ（ｎ＝５，４，３，２，１）の位置および大きさの変化に基づいて図７（ｂ）に示す顔推定領域Ａｘ、Ｂｘ、Ｃｘを抽出した場合、図７（ｃ）に示すように、顔推定領域Ａｘ、Ｂｘ、Ｃｘのうち本画像Ｇｕ上に対応する顔領域が存在しない顔推定領域Ａｘを未対応顔推定領域Ｘとして選択する。なお、未対応顔推定領域選択部５０は、顔推定領域と本画像の顔領域の位置および大きさが概ね一致している場合（例えば、両領域の位置の差が所定の範囲内であって、かつ、両領域の大きさの差が所定の範囲内である場合）に、両領域は対応すると判断する。
【００２８】
なお、未対応顔推定領域選択部５０は、全ての顔推定領域が本画像から検出された顔領域に対応する場合、未対応顔推定領域を選択しない。例えば、未対応顔推定領域選択部５０は、顔領域情報Ｂｕ、Ｃｕを取得し、顔推定領域Ｂｘ、Ｃｘのみを抽出した場合には、未対応顔推定領域を選択しない。また、未対応顔推定領域選択部５０は、本画像から顔領域を検出しなかったが、顔推定領域を抽出した場合、全ての顔推定領域を未対応顔推定領域として選択する。例えば、未対応顔推定領域選択部５０は、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得し、顔推定領域Ａｘ、Ｂｘ、Ｃｘを抽出した場合には、顔推定領域Ａｘ、Ｂｘ、Ｃｘを未対応顔推定領域Ｘとして選択する。
【００２９】
未対応顔推定領域選択部５０は、未対応顔推定領域を選択した場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）、および、未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。未対応顔推定領域選択部５０は、未対応顔推定領域を抽出しなかった場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給する。
【００３０】
画像処理部９０は、撮像部２０から本画像を取得する。また、画像処理部９０は、未対応顔推定領域選択部５０から顔領域情報（本画像から検出された顔領域情報）、および、未対応顔推定領域を示す顔領域情報を取得する。画像処理部９０は、未対応顔推定領域選択部５０から顔領域情報（本画像から検出された顔領域情報）のみを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域に画像処理（顔処理）を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、顔処理を施さない。画像処理部９０は、未対応顔推定領域選択部５０から顔領域情報（本画像から検出された顔領域情報）と未対応顔推定領域を示す顔領域情報とを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域に顔処理を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、未対応顔推定領域のみ顔処理を施す。
【００３１】
図８は、撮像装置１の動作の一例を示すフローチャートである。具体的には、図８のフローチャートは、スルー画像を撮像中に撮像された本画像に対して顔処理を施す動作を説明するためのフローチャートである。
【００３２】
顔領域検出部４０は、撮像部２０からスルー画像を取得する（ステップＳ１００）。撮像部２０は、生成したスルー画像を顔領域検出部４０に供給する。撮像部２０からスルー画像を取得した顔領域検出部４０は、スルー画像から顔領域を検出する（ステップＳ１１０）。スルー画像から顔領域を検出した顔領域検出部４０は、顔領域を示す顔領域情報を顔領域情報記憶部１０に記憶する（ステップＳ１２０）。
【００３３】
顔領域検出部４０は、撮像部２０から本画像を取得したか否かを判断する（ステップＳ１３０）。顔領域検出部４０は、撮像部２０から本画像を取得していないと判断した場合（ステップＳ１３０：Ｎｏ）、撮像部２０から本画像を取得したと判断する迄（ステップＳ１３０：Ｙｅｓ）、顔領域検出部４０はステップＳ１００からステップＳ１２０を繰り返し実行する。
【００３４】
一方、顔領域検出部４０は、撮像部２０から本画像を取得したと判断した場合（ステップＳ１３０：Ｙｅｓ）、本画像から顔領域を検出する（ステップＳ１４０）。本画像から顔領域を検出した顔領域検出部４０は、顔領域を示す顔領域情報を未対応顔推定領域選択部５０に供給する。
【００３５】
ステップＳ１４０に続いて、未対応顔推定領域選択部５０は、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて顔推定領域を抽出する（ステップＳ１５０）。顔推定領域を抽出した未対応顔推定領域選択部５０は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する（ステップＳ１５５）。未対応顔推定領域を選択した未対応顔推定領域選択部５０は、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）、および、未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。
【００３６】
画像処理部９０は、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域に顔処理を施して画像記憶部１２に記憶する（ステップＳ１９０）。そして本フローチャートは終了する。
【００３７】
[第２の実施の形態]
以下、本発明の第２の実施形態について図面を参照して詳細に説明する。図９は、本発明の第２の実施形態に係る撮像装置２の構成例を示すブロック図である。図１および図９に示すように、撮像装置２は、撮像装置１と未対応顔推定領域選択部５２および検出失敗確率算出部６０および未対応顔推定領域拡縮部７０以外は同様である。従って、未対応顔推定領域選択部５２および検出失敗確率算出部６０および未対応顔推定領域拡縮部７０に関して説明する。
【００３８】
未対応顔推定領域選択部５２は、撮像装置１の未対応顔推定領域選択部５０と同様に、未対応顔推定領域を抽出する。未対応顔推定領域選択部５２は、未対応顔推定領域を抽出した場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給し、未対応顔推定領域を示す顔領域情報を検出失敗確率算出部６０に供給する。未対応顔推定領域選択部５２は、未対応顔推定領域を抽出しなかった場合、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給する。
【００３９】
検出失敗確率算出部６０は、未対応顔推定領域おいて顔領域の検出に失敗した確率（以下、「検出失敗確率」という）を算出する。具体的には、検出失敗確率算出部６０は、未対応顔推定領域選択部５２から未対応顔推定領域を示す顔領域情報を取得した場合、顔領域情報記憶部１０に記憶されている顔領域情報を参照し、本画像の撮像前一定時間内に撮像された複数のスルー画像のうち未対応顔推定領域に対応する顔領域が検出できたスルー画像の割合を検出失敗確率として算出する。例えば、検出失敗確率算出部６０は、本画像の撮像前１秒内に撮像された３０枚のスルー画像のうち一の未対応顔推定領域（顔領域の位置および大きさから同一の顔に係る顔領域と推定される顔領域）に対応する顔領域が検出できなかったスルー画像が３枚であるときは、検出失敗確率を１０％と算出する。検出失敗確率算出部６０は、検出失敗確率を算出した場合、未対応顔推定領域選択部５２から取得した未対応顔推定領域を示す顔領域情報、および、算出した検出失敗確率を未対応顔推定領域拡縮部７０に供給する。
【００４０】
未対応顔推定領域拡縮部７０は、検出失敗確率算出部６０から未対応顔推定領域を示す顔領域情報および検出失敗確率を取得する。未対応顔推定領域拡縮部７０は、未対応顔推定領域拡縮部７０から未対応顔推定領域を示す顔領域情報および検出失敗確率を取得した場合、検出失敗確率に応じた拡縮率によって未対応顔推定領域を拡縮させる。例えば、未対応顔推定領域拡縮部７０は、検出失敗確率が高ければ高いほど大きな拡大率によって未対応顔推定領域を拡大させる。未対応顔推定領域拡縮部７０は、未対応顔推定領域を拡縮させた場合、拡縮後の未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。なお、未対応顔推定領域拡縮部７０は、未対応顔推定領域を拡縮させなかった場合、検出失敗確率算出部６０から取得した未対応顔推定領域を示す顔領域情報を画像処理部９０に供給する。
【００４１】
なお、画像処理部９０は、未対応顔推定領域選択部５２から顔領域情報（本画像から検出された顔領域情報）を取得し、未対応顔推定領域拡縮部７０から未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）を示す顔領域情報を取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）に顔処理を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、未対応顔推定領域のみ顔処理を施す。
【００４２】
[第３の実施の形態]
以下、本発明の第３の実施形態について図面を参照して詳細に説明する。図１０は、本発明の第３の実施形態に係る撮像装置３の構成例を示すブロック図である。図１、図９および図１０に示すように、撮像装置３は、撮像装置１または撮像装置２と検出失敗確率算出部６２、パラメータ設定部８０および画像処理部９２以外は同様である。従って、検出失敗確率算出部６２、パラメータ設定部８０および画像処理部９２に関して説明する。
【００４３】
検出失敗確率算出部６２は、撮像装置２の検出失敗確率算出部６０と同様に、検出失敗確率を算出する。検出失敗確率算出部６２は、検出失敗確率を算出した場合、未対応顔推定領域選択部５２から取得した未対応顔推定領域を示す顔領域情報、および、算出した検出失敗確率を未対応顔推定領域拡縮部７０に供給するとともに、算出した検出失敗確率をパラメータ設定部８０に供給する。
【００４４】
パラメータ設定部８０は、検出失敗確率算出部６２から検出失敗確率を取得する。パラメータ設定部８０は、検出失敗確率算出部６２から検出失敗確率を取得した場合、未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定する。具体的には、パラメータ設定部８０は、検出失敗確率が高ければ高いほど弱い強度を示すパラメータを設定（決定）する。パラメータ設定部８０は、パラメータを設定した場合、設定したパラメータを画像処理部９２に供給する。
【００４５】
画像処理部９２は、撮像部２０から本画像を取得する。画像処理部９２は、未対応顔推定領域選択部５２から顔領域情報（本画像から検出された顔領域情報）を取得する。また、画像処理部９２は、未対応顔推定領域拡縮部７０から未対応顔推定領域を示す顔領域情報を取得する。また、画像処理部９２は、パラメータ設定部８０からパラメータを取得する。
【００４６】
画像処理部９２は、顔領域情報（本画像から検出された顔領域情報）のみを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域に画像処理（顔処理）を施して画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、顔処理を施さない。画像処理部９２は、顔領域情報（本画像から検出された顔領域情報）と未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）を示す顔領域情報とパラメータとを取得した場合には、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域（未拡張若しくは拡張後の未対応顔推定領域）に顔処理を施して（未対応顔推定領域には、パラメータの強度に応じた顔処理を施して）、画像記憶部１２に記憶する。但し、顔領域を特定しない顔領域情報（例えばｎｕｌｌ）を取得した場合には、未対応顔推定領域のみ顔処理を施す。なお、画像処理部９２が強い強度の顔処理を施した場合には、弱い強度の顔処理を施した場合に比べ、顔処理による変化が大きくなったり、顔処理が適用される領域（画素）が多くなったりする。即ち、画像処理部９２は、検出失敗確率が高ければ高いほど、顔処理による変化が小さくなったり、顔処理が適用される領域（画素）が少なくなったりする。
【００４７】
図１１は、撮像装置３の動作の一例を示すフローチャートである。具体的には、図１１のフローチャートは、スルー画像を撮像中に撮像された本画像に対して顔処理を施す動作を説明するためのフローチャートである。なお、図１１に示すステップＳ２００からステップＳ２４０は、図８に示すステップＳ１００からステップＳ１４０と同様であるので、ステップＳ２５０からステップＳ２９０に関して説明する。
【００４８】
未対応顔推定領域選択部５２は、顔領域情報記憶部１０に記憶されている顔領域情報に基づいて顔推定領域を抽出する（ステップＳ２５０）。顔推定領域を抽出した未対応顔推定領域選択部５２は、顔推定領域のうち本画像から検出された顔領域に対応しない未対応顔推定領域を選択する（ステップＳ２５５）。未対応顔推定領域を選択した未対応顔推定領域選択部５２は、顔領域検出部４０から取得した顔領域情報（本画像から検出された顔領域情報）を画像処理部９０に供給し、未対応顔推定領域を示す顔領域情報を検出失敗確率算出部６２に供給する。
【００４９】
未対応顔推定領域を示す顔領域情報を取得した検出失敗確率算出部６２は、検出失敗確率を算出する（ステップＳ２６０）。検出失敗確率を算出した検出失敗確率算出部６２は、未対応顔推定領域選択部５２から取得した未対応顔推定領域を示す顔領域情報、および、検出失敗確率を未対応顔推定領域拡縮部７０に供給するとともに、検出失敗確率をパラメータ設定部８０に供給する。
【００５０】
未対応顔推定領域を示す顔領域情報および検出失敗確率を取得した未対応顔推定領域拡縮部７０は、検出失敗確率に応じた拡縮率によって未対応顔推定領域を拡縮させる（ステップＳ２７０）。未対応顔推定領域を拡縮させた未対応顔推定領域拡縮部７０は、拡縮後の未対応顔推定領域を示す顔領域情報を画像処理部９２に供給する。
【００５１】
検出失敗確率を取得したパラメータ設定部８０は、未対応顔推定領域に画像処理を施すときの強度を示すパラメータを設定する（ステップＳ２８０）。パラメータを設定したパラメータ設定部８０は、設定したパラメータを画像処理部９２に供給する。
【００５２】
未対応顔推定領域を示す顔領域情報を取得した画像処理部９２は、撮像部２０から取得した本画像に対して、顔領域情報（本画像から検出された顔領域情報）により示される顔領域および未対応顔推定領域に顔処理を施して（未対応顔推定領域には、パラメータの強度に応じた顔処理を施して）、画像記憶部１２に記憶する（ステップＳ２９０）。そして本フローチャートは終了する。  
【００５３】
以上、本実施形態によれば、本画像の撮像後に顔領域を検出せずに未対応顔推定領域に画像処理を施すため、顔処理を施す迄の時間を短縮することができる。
【００５４】
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。
【符号の説明】
【００５５】
１、２、３  撮像装置  １０  顔領域情報記憶部  １２  画像記憶部  ２０  撮像部  ３０  表示制御部  ４０  顔領域検出部  ５０、５２  未対応顔推定領域選択部  ６０、６２  検出失敗確率算出部  ７０  未対応顔推定領域拡縮部  ８０  パラメータ設定部  ９０、９２  画像処理部
【図１】
2010191784.tif 000003
【図２】
2010191784.tif 000004
【図３】
2010191784.tif 000005
【図４】
2010191784.tif 000006
【図５】
2010191784.tif 000007
【図６】
2010191784.tif 000008
【図７】
2010191784.tif 000009
【図８】
2010191784.tif 000010
【図９】
2010191784.tif 000011
【図１０】
2010191784.tif 000012
【図１１】
2010191784.tif 000013