(57)【要約】【課題】顔領域に対するビームライトの高精度な追随処理と画像撮影を実現する。【解決手段】撮影画像に基づく顔検出を実行する画像処理部と、光照射を行うビームライトを有し、画像処理部は、投光マップでビームライトの照射領域と、非照射領域を区分し、各区分領域単位で得られる顔特徴点検出と肌色検出を総合して顔検出を実行する。肌色検出においては、ビームライト非照射領域に対して、明るい肌色と暗い肌色が同じ肌色位相になる暗い肌色を算出し、肌色部分が、暗い肌色になるようＣｒＣｂの環境光源の色温度推定値の目標値を設定してホワイトバランス調整を実行する。ビームライト制御部は、顔領域位置情報を用いて、ビームライトを顔領域に追随させる制御を実行する。【選択図】図５
2016015017.tif 000002
【特許請求の範囲】
【請求項１】
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記画像処理部は、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成する撮像装置。
【請求項２】
前記画像処理部は、
前記撮影画像から顔輪郭を検出する顔輪郭検出部と、肌色を検出する肌色検出部を有し、
前記顔輪郭検出部と、前記肌色検出部は、前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で検出処理を実行し、区分領域単位の検出結果を統合して検出結果を生成する請求項１に記載の撮像装置。
【請求項３】
前記画像処理部は、
前記撮影画像から顔輪郭を検出する諧調再現制御部を有し、
前記諧調再現制御部は、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で個別の輪郭特徴点の検出に基づく顔輪郭データを取得する処理を実行する請求項１に記載の撮像装置。
【請求項４】
前記画像処理部は、
前記撮影画像から肌色検出処理を実行する色再現制御部を有し。
前記色再現制御部は、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で個別のホワイトバランス調整処理を実行して生成した区分領域単位のホワイトバランス調整画像を適用して肌色検出処理を実行する請求項１に記載の撮像装置。
【請求項５】
前記色再現制御部は、
ＲＡＷ画像に対するホワイトバランス調整処理を実行するＲＡＷ−ホワイトバランス制御部と、
ＹＣｒＣｂ画像に対するホワイトバランス調整処理を実行する色差ホワイトバランス制御部を有し、
ＲＡＷ−ホワイトバランス制御部、色差ホワイトバランス制御部の双方が、前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で個別のホワイトバランス調整処理を実行する請求項４に記載の撮像装置。
【請求項６】
前記色差ホワイトバランス制御部は、
前記ビームライトの非照射領域に対するホワイトバランス調整処理において、
明るい肌色と暗い肌色が同じ肌色位相になる暗い肌色を算出し、肌色部分が、算出した暗い肌色になるようＣｒＣｂの環境光源の色温度推定値の目標値を設定して色差ホワイトバランス調整を実行する請求項５に記載の撮像装置。
【請求項７】
前記画像処理部は、
前記ビームライトの照射領域と、非照射領域の区分情報を算出するスポットライト照射範囲演算部を有し、
前記画像処理部は、前記スポットライト照射範囲演算部の算出した領域区分情報を用いて、区分領域単位の顔検出を実行する請求項１に記載の撮像装置。
【請求項８】
前記画像処理部は、
前記撮影画像から検出した顔領域を示す顔検出枠を表示部に出力し、
さらに、前記ビームライトを前記顔領域に追随させるための顔領域位置情報を出力する請求項１に記載の撮像装置。
【請求項９】
前記ビームライトの制御を実行するビームライト制御部は、
前記画像処理部から入力する顔領域位置情報を用いて、前記ビームライトを顔領域に追随させる制御を実行する請求項８に記載の撮像装置。
【請求項１０】
前記撮像装置は、
前記画像処理部において検出された顔領域に対するフォーカス制御を実行するフォーカス制御部を有し、
前記フォーカス制御部は、
前記画像処理部において検出された顔領域に設定される顔検出枠の中心に対するフォーカス制御を実行する請求項１に記載の撮像装置。
【請求項１１】
前記撮像装置は、
前記ビームライトの照射領域と非照射領域を含む撮影画像を格納したパケットを構成要素とするトランスポートストリームを生成するトランスポートストリーム生成部と、
前記ビームライトの照射領域に関する画像情報を選択的に格納したメタデータ格納パケットを生成するメタデータパケット生成部と、
前記メタデータ格納パケットに格納するメタデータを生成するメタデータ生成部を有する請求項１に記載の撮像装置。
【請求項１２】
撮像装置に装着される投光装置であり、
光照射を行うビームライトと、
前記ビームライトの照射光の制御を実行するビームライト制御部を有し、
前記ビームライト制御部は、
撮像装置の顔検出部から顔領域位置情報を入力し、入力した顔領域位置情報に基づいて、ビームライトの照射光を顔領域に追随させる制御を実行する投光装置。
【請求項１３】
前記顔検出部は、顔領域に設定する顔検出枠の中心座標と顔検出枠サイズ情報データを出力し、
前記ビームライト制御部は、顔検出枠の中心座標と顔検出枠サイズ情報データに基づいて、ビームライトの照射光を顔領域に追随させる制御を実行する請求項１２に記載の投光装置。
【請求項１４】
撮像装置において実行する画像処理方法であり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記画像処理部が、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成する画像処理方法。
【請求項１５】
撮像装置において実行するビームライト制御方法であり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトと、
前記ビームライトの照射光の制御を実行するビームライト制御部を有し、
前記画像処理部が、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成して、顔検出結果に基づく顔領域位置情報を生成し、
前記ビームライト制御部は、
前記顔領域位置情報に基づいて、ビームライトの照射光を顔領域に追随させる制御を実行するビームライト制御方法。
【請求項１６】
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記プログラムは、前記画像処理部に、
前記ビームライトの照射領域と、非照射領域を区分させ、各区分領域単位で顔検出を実行させ、区分領域単位の検出結果を統合して顔検出結果を生成させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラムに関する。具体的には、カメラの撮影被写体に対してスポットライトを照射する撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラムに関する。
【背景技術】
【０００２】
例えば人の顔などの特定の被写体領域にスポットライトを照射してビデオカメラ等の撮像装置で画像を撮影することで、特定被写体を際立たせた画像の撮影が可能となる。
なお、本開示におけるビームライトは、光学系のレンズや反射鏡を使って希望する方向に光源の光を集める集光性を考えた照明のことである。
また、本開示において説明するビームライト投光マップ（Ｐｒｏｊｅｃｔｉｏｎ  Ｍａｐ）とは、ビームライトの投光で照明する領域データの意味である。
【０００３】
なお、光照射を実行しながら画像撮影を行う装置を開示した従来技術として、例えば特許文献１（特許第３５４８７３３号公報）、特許文献２（特許第３６７７９８７号公報）、特許文献３（特許第５３６９９５２号公報）等がある。
特許文献１（特許第３５４８７３３号公報）は、雲台のインナージンバルを、カメラ内蔵ジャイロを使用して制御する構成を開示している。
特許文献２（特許第３６７７９８７号公報）は、ユーザ指示による照明の被写体追尾構成を開示している。
【０００４】
光照射を行いながら画像撮影を行う具体例としては、例えばスタジオ撮影などにおいてスポットライトを当てながら画像撮影を行う構成や、照明を特定被写体に追尾させて特定被写体を撮影する監視カメラなとがある。
また、既存動画フォーマットの後方互換性を保ちながら新機能メタデータを付加する具体例としては、立体視映像文字表示メタデータを再生時自動判別可能に記録再生するレコーダー、プレーヤー、編集機プログラムなどがある。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３５４８７３３号公報
【特許文献２】特許第３６７７９８７号公報
【特許文献３】特許第５３６９９５２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
照明を人の顔に照射して画像を撮影する場合、顔検出処理によって検出された顔領域にスポットライト光を追尾させる処理が可能となる。
一般的な顔検出処理では、例えば顔の特徴点や肌の色の検出等に基づいた処理を行う。被写体である顔が移動している場合、顔領域の移動に応じて逐次、顔検出を行うことが必要となるが、スポットライトによる光照射がなされている顔領域と、なされていない顔領域では、顔で反射される各光源の明るさと色温度分光特性が大きく異なるのでカメラの取得画像の顔の特徴点明るさと顔の色が大きく異なることになる。
このような状況では顔領域の検出が困難となり、結果として、顔領域に対するスポットライト光の追尾ができなくなるという問題が発生する。
【０００７】
本開示は、例えば上記問題点等に鑑みてなされたものであり、被写体が移動する場合であっても高精度な顔領域の検出を実現するものである。
さらに顔検出結果に基づく高精度なスポットライトの追尾を実行して、スポットライトを照射した顔の撮影をより確実に行うことを可能とする撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本開示の第１の側面は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記画像処理部は、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成する撮像装置にある。
【０００９】
さらに、本開示の第２の側面は、
撮像装置に装着される投光装置であり、
光照射を行うビームライトと、
前記ビームライトの照射光の制御を実行するビームライト制御部を有し、
前記ビームライト制御部は、
撮像装置の顔検出部から顔領域位置情報を入力し、入力した顔領域位置情報に基づいて、ビームライトの照射光を顔領域に追随させる制御を実行する投光装置にある。
【００１０】
さらに、本開示の第３の側面は、
撮像装置において実行する画像処理方法であり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記画像処理部が、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成する画像処理方法にある。
【００１１】
さらに、本開示の第４の側面は、
撮像装置において実行するビームライト制御方法であり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトと、
前記ビームライトの照射光の制御を実行するビームライト制御部を有し、
前記画像処理部が、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成して、顔検出結果に基づく顔領域位置情報を生成し、
前記ビームライト制御部は、
前記顔領域位置情報に基づいて、ビームライトの照射光を顔領域に追随させる制御を実行するビームライト制御方法にある。
【００１２】
さらに、本開示の第５の側面は、
撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記プログラムは、前記画像処理部に、
前記ビームライトの照射領域と、非照射領域を区分させ、各区分領域単位で顔検出を実行させ、区分領域単位の検出結果を統合して顔検出結果を生成させるプログラムにある。
【００１３】
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
【００１４】
本開示のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【発明の効果】
【００１５】
本開示の一実施例の構成によれば、顔領域に対するビームライトの高精度な追随処理と画像撮影が実現される。
具体的には、撮影画像に基づく顔検出を実行する画像処理部と、光照射を行うビームライトを有し、画像処理部は、ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行する。肌色検出においては、ビームライト非照射領域に対して、明るい肌色と暗い肌色が同じ肌色位相になる暗い肌色を算出し、肌色部分が、暗い肌色になるようＣｒＣｂの環境光源の色温度推定値の目標値を設定してホワイトバランス調整を実行する。ビームライト制御部は、顔領域位置情報を用いて、ビームライトを顔領域に追随させる制御を実行する。
本構成により、顔領域に対するビームライトの高精度な追随処理と画像撮影が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
【図面の簡単な説明】
【００１６】
【図１】撮像装置の構成について説明する図である。
【図２】ビームライトの制御例について説明する図である。
【図３】時間推移に伴う顔検出とスポットライト照射領域の変化の例について説明する図である。
【図４】顔領域にスポットライト照射領域と非照射領域が含まれる場合の処理について説明する図である。
【図５】撮像装置の構成例について説明する図である。
【図６】ビームライト制御部の構成例について説明する図である。
【図７】画像信号処理部の構成例について説明する図である。
【図８】顔輪郭検出処理と肌色検出処理の例について説明する図である。
【図９】顔輪郭検出処理と肌色検出処理の例について説明する図である。
【図１０】撮像信号処理部と現像信号処理部の構成と処理について説明する図である。
【図１１】撮像装置の実行する処理シーケンスの一例について説明する図である。
【図１２】撮像装置の実行する処理シーケンスの一例について説明する図である。
【図１３】撮像装置の実行する処理シーケンスの一例について説明する図である。
【図１４】撮影データの記録または出力を行う構成と処理について説明する図である。
【図１５】撮像装置の実行する処理シーケンスの一例について説明する図である。
【図１６】撮影データの表示処理を実行する構成と処理について説明する図である。
【図１７】ビームライトの集光特性とメタデータの例について説明する図である。
【図１８】ビームライトおよび環境光の特性について説明する図である。
【図１９】現像信号処理部の実行する処理例について説明する図である。
【図２０】現像信号処理部の実行する処理例について説明する図である。
【発明を実施するための形態】
【００１７】
以下、図面を参照しながら本開示の撮像装置、投光装置、および画像処理方法、ビームライト制御方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行う。
１．撮像装置の構成と処理の概要について
２．顔検出処理を利用したビームライト制御の概要について
３．本開示の撮像装置の構成について
４．画像処理部の構成と処理の詳細について
５．顔領域にスポットライト照射領域と非照射領域が混在する場合の処理について
６．フォーカス制御処理について
７．本開示の撮像装置が実行する処理シーケンスについて
７−１．スポットライト照射領域が検出されない暗い環境光の下での処理シーケンスについて
７−２．スポットライト照射領域が検出された明るい照明光の下での処理シーケンスについて
７−３．スポットライト照射領域が検出され、かつ、顔が移動した場合の処理シーケンスについて
８．ストリームデータの生成処理例について
９．メタデータの具体例について
１０．撮像信号処理部と現像信号処理部におけるホワイトバランス調整と色変換処理の補足
１１．本開示の構成のまとめ
【００１８】
［１．撮像装置の構成と処理の概要について］
まず、図１以下を参照して、本開示の撮像装置の構成と処理の概要について説明する。
図１に示すように、本開示の撮像装置１０は、投光手段としてのビームライト２０を備えており、撮影画像４０内の被写体の一部にスポットライトを照射する構成を有する。撮影画像４０のスポットライト照射領域４５は、撮影画像４０の他の画像領域より明るくなり、スポットライト照射領域４０内の被写体を際立たせた画像を撮影することができる。
【００１９】
なお、撮像装置１０は、例えば、静止画および動画の双方を撮影可能なカメラである。静止画や動画の撮影時にビームライト２０を点灯して特定領域にスポットライトを照射しながら画像撮影を実行する。
【００２０】
ビームライト２０は、例えば白色光照射型ＬＥＤによって構成される。
ビームライト２０は、指向角制御によりスポットライトの照射方向を制御可能である。また、配光角制御により、スポットライトの照射領域を拡大および縮小する制御が可能である。
【００２１】
図２は、ビームライト２０の（ａ）指向角制御例と、（ｂ）配光角制御例を示す図である。
（ａ）指向角制御は、図２（ａ）に示すように、スポットライトの照射方向を制御する処理である。ビームライト２０は、Ｘ軸（ピッチ）、Ｙ軸（ヨー）、Ｚ軸（ロール）３軸方向に自在に駆動可能な構成であり、任意の方向にスポットライトを照射することができる。図２（ａ）にはスポットライト照射領域４５ａ〜４５ｃの３つの例を示しているが、ビームライト２０の駆動範囲内であれば、任意の領域に照射領域を設定することができる。なお、ビームライト２０の駆動構成の詳細については後段で説明する。
【００２２】
（ｂ）配光角制御は、図２（ｂ）に示すように、スポットライトの大きさ、すなわち照射領域の大きさを変更する制御である。ビームライトの光源の広がりを制御する光学レンズとＬＥＤ光源との配置距離長さの制御によって、配光角を制御する。
図２（ｂ）には、配光角制御によって設定される２つの大きさの異なるスポットライト照射領域４５ｄ〜４５ｅを示している。このように、ビームライト２０の配光角制御可能範囲内であれば、任意の大きさの照射領域を設定することができる。なお、ビームライトの配光角は例えば６°〜２５°の範囲で制御可能である。
【００２３】
ビームライト２０の指向角および配光角の制御は、ユーザの指示入力によって実行することが可能である。ユーザ指示は、例えば、撮像装置１０の入力部を介して行われる。
【００２４】
［２．顔検出処理を利用したビームライト制御の概要について］
次に、図３以下を参照して顔検出処理を利用したビームライト制御の概要について説明する。
本開示の撮像装置１０は、撮影画像に基づく顔検出処理を行ない、ビームライト２０の方向を、顔検出枠の中心方向に制御して顔領域にスポットライトを照射して撮影することを可能とする。なお、ここで撮影画像とは、撮像装置１０によって撮影され、撮像装置の表示部に表示される画像、いわゆるスルー画を含み、メディアに記録される画像のみを意味するものではない。
【００２５】
このような撮影画像に基づく顔検出を行う構成において、被写体である顔は移動する場合があり、移動によって顔領域がスポットライト照明範囲を部分的に出てしまうことがある。
図３は、夜間の屋外で、人物の顔にビームライト２０によるスポットライトを照射して画像（動画像）を撮影した場合の画像例を示す図である。
時間（ｔ１）〜（ｔ４）の時系列に従った４枚の撮影画像の例であり、撮像装置１０の表示部に表示される撮影画像の例である。
撮像装置１０は顔検出機能を備えており、検出された顔領域に顔検出枠を表示する。
【００２６】
時間（ｔ１）の画像は、スポットライト照射前の撮影画像に基づく顔領域検出処理によって検出された顔領域に四角形の二重線で示す顔検出枠を表示した画像の例である。
【００２７】
撮像装置１０は、撮影画像中から顔を検出すると、ビームライト２０の方向制御を実行してスポットライト照射を開始する。
すなわち、ビームライト２０の方向を顔検出枠の中心方向に設定する方向制御を実行してスポットライト照射を開始する。
【００２８】
時間（ｔ２）に示す画像が、検出された顔に対してビームライト２０によるスポットライト照射を開始した時点の撮影画像である。
なお、ビームライト２０は、夜空と判断した領域を除外した範囲を照明範囲として設定したスポットライト照射を実行する。
【００２９】
時間（ｔ３）の画像は、顔検出枠を中心にスポットライト照明している途中で被写体の顔が移動し、顔の一部がスポットライト照明範囲から外れた場合の画像の例である。
このような場合、顔領域の輝度や色はスポットライト光が照射されている画像領域とされていない画像領域では大きく異なってくる。従って、従来型の顔検出処理を行なった場合、正確な顔検出が出来なくなることがある。
【００３０】
このように時間（ｔ３）の画像の被写体の人の顔は、スポットライトの照明の範囲を部分的に外れており、この状態で従来型の顔検出処理である輝度ベースの顔輪郭検出処理や、肌色抽出処理を実行しても顔領域の検出は困難となる。
【００３１】
図４を参照してスポットライトが照射された顔領域と、照射されていない顔領域の均等色空間（ＣＩＥＬＡＢ色空間）上の座標対応点の例について説明する。ここで、本実施例の説明での均等色空間（Ｕｎｉｆｏｒｍ  Ｃｏｌｏｒ  Ｓｐａｃｅ）とは、明るさが違っても同じ色相に見える色同士の距離を均等にした色空間としてＣＩＥ（国際照明委員会）により１９７６年に勧告されているＣＩＥ１９７６（Ｌ＊ａ＊ｂ＊表色系）であって、人が目で色を見たとき感じる色相を良く表現し、本実施例説明ではＣＩＥＬＡＢと記載する。
特にカメラ撮影の際に、明るさが変化した際の被写体で人の見た目では明るい肌色と暗い肌色で色相が変化していないカメラ被写体画像の色相は、ＲＢＧから変換され、出力映像方式の信号規格で定義されるＸＹＺ色空間は均等でない色空間であるため、明るさが変わると人が感じる色相から見て色相が変化してしまうので、この均等色空間（ＣＩＥＬＡＢ）から見た色相で色バランス制御することで、人が見て肌色と感じる肌色色相に制御する。
ＣＩＥＬＡＢ色空間はＸＹＺ色空間で定義される出力映像方式信号の色空間より広色域であるので、後段の信号部出力映像方式信号を生成する際には、後述する３Ｄ−ＬＵＴ部で色信号を出力映像方式信号の信号規格定義範囲内に収めている。
図４に示すＣＩＥＬＡＢ空間の座標点（Ｌ１，ａ１，ｂ１）は、スポットライトが照射された顔領域のＣＩＥＬＡＢ色空間上の座標位置である。
一方、ＣＩＥＬＡＢ空間の座標点（Ｌ２，ａ２，ｂ２）は、スポットライトが照射されていない顔領域のＣＩＥＬＡＢ色空間上の座標位置である。
【００３２】
このように、スポットライトが照射された顔領域とされていない顔領域では、画像の色や輝度が異なるものとなる。
従って、従来型の顔検出処理を行なった場合、顔検出が出来なくなる可能性が高い。
【００３３】
本開示の撮像装置１０は、独自の処理を実行して、このような場合でも確実な顔検出を可能とする。この処理の詳細については後述するが、本開示の撮像装置１０の実行する顔検出の概要について簡単に説明する。
【００３４】
まず、ビームライトの設定方向情報に基づいて撮影画像内の現在のスポットライトの中心座標を取得し、顔検出処理を実行するデータ処理部、すなわち輝度ベースの顔輪郭検出処理や、肌色抽出処理の実行部に対して、画像内のスポットライト照射領域情報を出力する。
【００３５】
輝度ベースの顔輪郭検出処理実行部は、
（１）スポットライト照射領域内での顔輪郭検出処理、
（２）スポットライト照射領域外での顔輪郭検出処理、
これら２つの処理を個別に実行する。
その後、双方の顔輪郭検出結果を統合して、全体的な顔輪郭の検出を行う。
【００３６】
また、肌色抽出処理部は、
（１）スポットライト照射領域内での肌色抽出処理、
（２）スポットライト照射領域外での肌色抽出処理、
これら２つの処理を個別に実行する。
その後、双方の肌色抽出結果を統合して、全体的な顔領域の検出を行う。
なお、スポットライト照射領域外での肌色抽出処理に際しては、暗い肌色に開始目標色相を設定してホワイトバランス制御し、そののちに暗い肌色抽出を行なう。
【００３７】
これらの処理によって、スポットライト照射内外領域の統合結果として得られる２つのデータ、すなわち、
（ａ）統合した顔輪郭データ、
（ｂ）統合した肌色抽出結果データ、
これらのデータを用いて最終的な顔検出を実行する。
【００３８】
図３に示す時間（ｔ３）の画像は、上述した本開示の撮像装置１０の実行する顔検出処理によって顔検出に成功し、検出した顔領域に顔検出枠を追随して表示させた画像である。
なお、本開示の撮像装置１０の実行する顔検出処理については、後段で詳細に説明する。
【００３９】
図３に示す時間（ｔ４）の画像は、顔検出に成功し、顔検出枠を顔に追随させて移動した後、ビームライト２０を制御して、スポッライトを顔検出枠の中心に移動させた後の画像である。
時間（ｔ３）の状態で本開示の処理によって顔検出に成功し、顔の移動に併せて顔検出枠を移動させ、さらに、その顔検出枠の移動に追随させてビームライト２０の方向制御を実行する。
この一連の処理によって、スポットライトを継続的に顔領域に照射し続けることが可能となる。
【００４０】
暗い屋外等の低照度下での画像撮影においては、人の顔をライトアップして撮影したいという要求が多い。
この場合、撮影者がビームライトを手動で操作して方向を設定するのは非常に困難である。
本開示の撮像装置１０は、顔検出機能を用いて検出した顔検出枠の中心方向にビームライト方向を設定するように自動制御する。
撮影者は、カメラを被写体の顔方向に向けるのみでよく、煩わしい操作を行うことなく被写体の顔にスポットライトを照射した画像を撮影可能となる。
【００４１】
また、撮影中に被写体が動いて顔がスポットライト照明から部分的にはずれていっても、本開示の処理を適用することで精度の高い顔検出と、ビームライト２０の顔領域に対する追尾処理が可能となる。
【００４２】
［３．本開示の撮像装置の構成について］
図５は、ビームライトを備えた撮像装置の構成例を示す図である。
撮像部１０１は、ズームレンズ、絞り（Ｉｒｉｓ）、フォーカスレンズ、撮像素子を有する。
なお、撮像素子は、サイズ、画素数等、様々な設定のものが利用可能である。
【００４３】
撮像素子の出力信号は、撮像信号処理部１０２に出力される。撮像信号処理部１０２は、撮像素子の撮像信号であるＲ'Ｇ'Ｂ'信号（ＲＡＷ信号）からＲＧＢ信号を生成するＲＡＷ信号処理等を実行する。
【００４４】
リサイズ処理部１０８は、撮影画像のリサイズ処理によって縮小画像や、一部切り出し画像である部分画像を生成する。
このリサイズ処理によって生成された縮小画像や部分画像は、画像信号処理部（ＤＳＰ：Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）１０９内の色再現制御部１１０、階調再現制御部１２０、およびフォーカス制御部１３０に出力される。
リサイズ処理は、これらの各処理部における処理を高速かつ効率的に実行するための画像を生成するための処理である。
画像信号処理部１０９内の色再現制御部１１０、階調再現制御部１２０、スポットライト照射範囲演算部１５４、顔検出部１６０、およびフォーカス制御部１３０の構成と処理については後段で図４以下を参照して詳細に説明する。
【００４５】
現像信号処理部１０３は、撮像信号処理部１０２の出力するＲＧＢ信号を、輝度信号Ｙと色差信号のＣｒ、Ｃｂ信号に変換し、ＹＣｒＣＢ信号に対する信号処理を行い、メディアに記録する画像信号、および表示部に表示する画像信号を生成する。いわゆる現像信号処理を行い、映像信号処理方式での記録データおよび表示データの生成を行う。この際、ガンマ補正、ＹＣｒＣｂ信号の輝度信号諧調再現での尖鋭度、ノイズリダクション等の各信号処理を行なう。
【００４６】
メディアＩＦ１０４は、現像信号処理部１０３で処理された画像信号を記憶部（メディア）１０５に記録し、また記憶部１０５の記録データの読み出しを実行する。
【００４７】
表示制御部１０６は、画像を表示部１０７に表示するための制御を行う。さらに、顔検出部１６０の検出した顔領域を示す顔検出枠をＣＧ表示する制御などを行う。
表示部１０７は、例えば液晶パネル等によって構成される。また、タッチ入力可能なタッチパネル型の入力部としても機能する。
【００４８】
表示部１０７の入力部は、例えば撮影開始／終了の指示、その他の撮像装置の設定、例えば、ズーム設定、モード設定などの各種の入力を行う。
【００４９】
図に示すもう１つの入力部１５１は、ビームライト１７２の制御用の入力部である。
入力部１５１は、ビームライト１７２の制御モードの設定の他、ビームライトの方向、照射スポットの大きさの調整などを行う。
ビームライト１７２の制御モードには、
（ａ）顔追尾モード、
（ｂ）ユーザ操作モード
これらの２つのモードがある。
【００５０】
顔追尾モードは、顔検出部１６０の検出した顔領域に自動的にビームライト１７２を追尾させるモードである。
ユーザ操作モードは、ユーザがビームライト１７２の方向やスポットの大きさを入力部１５１の操作によって自由に設定可能としたモードである。
【００５１】
ユーザは、入力部１５１を介して上記の（ａ）顔追尾モード、（ｂ）ユーザ操作モード、これらの２つのモードのいずれかのモード設定を行う。
ビームライトモード設定部１５２は、ユーザのモード設定情報に応じた制御情報を画面座標／ビームライト方向角度変換部１５３に出力する。
例えば、顔追尾モードに設定された場合は、顔検出部１６０の検出した顔領域にビームライト１７２を追尾させるための制御情報を出力する。
一方、ユーザ操作モードに設定された場合は、入力部１５１を介したユーザ操作情報に応じた制御情報を画面座標／ビームライト方向角度変換部１５３に出力する。
【００５２】
画面座標／ビーライト方向角度変換部１５３は、ユーザ操作モードの設定時には、入力部１５１を介したユーザ入力情報に応じたビームライトの設定情報をビームライト制御部１７１に出力する。
一方、顔追尾モード設定時は、顔検出部１６０からの顔検出情報を入力して、顔検出枠の中心位置にビームライト１７２の照射中心位置を設定し、顔検出枠のサイズに併せて照射スポットの大きさを設定するための制御情報を生成してビームライト制御部１７１に出力する。
【００５３】
ビームライト制御部１７１は、画面座標／ビーライト方向角度変換部１５３から入力する制御情報に従ってビームライト１７２の方向（指向角）、配光角、出力レベルなどを制御する。
なお、ビームライト制御部１７１は、ライト姿勢センサ部１７３が検出するビームライト１７１の姿勢情報に応じて、ビームライトの位置を所定位置に維持するためのフィードバック制御を継続的に実行する。
【００５４】
図６を参照して、ビームライト制御部１７１の制御機構の１つであるビームライト指向角度駆動部の構成例について説明する。
図６には、
（Ａ）ビームライトを備えたカメラの上面図、
（Ｂ）ビームライトを備えたカメラの側面図、
（Ｃ）ビームライト指向角度駆動部の詳細構成図、
これらの各図を示している。
【００５５】
（Ｃ）ビームライト指向角度駆動部の詳細構成図に示すように、ビームライト指向角度駆動部は、汎用の３軸ジンバル構造による姿勢安定駆動機構を有する。
Ｇ加速度センサで姿勢安定、Ｇｙｒｏ角速度センサでユレ防止を行い、Ｚ軸は常にＧセンサの示す重力方向に向くように設定される。
Ｘ軸とＹ軸の傾き安定は初期設定された角度向きを維持するように安定制御が行われる構成となっている。
【００５６】
図６（Ｃ）に示すように、ビームライト指向角度駆動部は、
Ｘ軸傾き補正を行うＸ軸傾き補正駆動輪、
Ｙ軸傾き補正を行うＹ軸傾き補正駆動輪、
Ｚ軸傾き補正を行うＺ軸傾き補正駆動輪、
ステッピングモータ（ＳＴＭ）駆動によりＸ軸補正を行うステッピングモータ（ＳＴＭ）Ｘ軸補正部、
ステッピングモータ（ＳＴＭ）駆動によりＹ軸補正を行うステッピングモータ（ＳＴＭ）Ｙ軸補正部、
ステッピングモータ（ＳＴＭ）駆動によりＺ軸補正を行うステッピングモータ（ＳＴＭ）Ｚ軸補正部、
これらの構成部を有し、３軸ジンバル構造による姿勢安定駆動を行う。
【００５７】
なお、Ｚ軸傾きを補正するのは、ビームライト照明光形状や色彩などの光デザインを正立で照明するためである。また、Ｚ軸傾きを補正しない場合に比べて、Ｚ軸傾き補正制御を行うことでＺ軸正立状態でより良好なＸ軸Ｙ軸の傾き補正の制御性能を実現するためである。
Ｘ軸、Ｙ軸の傾き補正をモーター駆動で機械的に行うので、Ｘ軸方向傾き補正とＹ軸方向傾き補正のステップ駆動量からＺ軸方向の傾きを検出してＺ軸傾き補正モーターを駆動してＺ軸傾きを補正分担させる。
Ｚ軸が正立位置から大きく傾いた状態になって、Ｚ軸傾きベクトルに対する影響があった場合、モーター駆動によりＺ軸に直行する他のＸ軸方向やＹ軸方向も傾く。この場合、傾き補正制御の補正可能な角度範囲は、Ｚ軸正立の場合に比べて大幅に制約され、Ｘ軸Ｙ軸傾き補正の制御が複雑になってしまう。
しかし、Ｚ軸の傾き補正制御がなされ、正立位置を維持されれば複雑なＸ−Ｚベクトル，Ｙ−Ｚベクトル演算制御を簡単化して、センサからのＸ方向傾き検出情報データ、Ｙ軸方向傾き検出情報データそれぞれへの対応をＸ軸傾き補正モーター駆動とＹ軸傾き補正モーター駆動に分担させることが可能となる。この構成によって、全体の駆動系制御を簡素化し、良好なＸ軸とＹ軸傾き補正の制御性能が実現される。
【００５８】
なお、図５に示すライト姿勢センサ部１７３は、ＸＹＺ各軸周りの角速度傾き変化測定物理量を検出するジャイロセンサ部と、ＸＹＺ各軸をもって重力加速度Ｇ方向と各軸がなす角度測定物理量を検出する加速度センサ部を持つ。
３軸ジャイロセンサと３軸加速度センサの出力データがただちに傾き角度と揺れ変化角度が出力されるのではなく、ジャイロセンサからたとえば帯域８００Ｈｚでローパスフィルター５０Ｈｚの設定で１００ミリ秒単位で出力される角速度測定データを時系列に蓄えて、変化量を測定し、温度ドリフト量を時間軸測定量変化分の一次近似や二次近似から予測してドリフト量として除外してから、角度の変化量である角速度として用い、そこから積分して初期値からの角度を求める。
【００５９】
ＸＹＺ軸それぞれに初期スタート時からの角度変化が求められるので、ブレ補正の安定には好都合な角度変化測定量は得られるが、方向精度を必要とする姿勢安定機能にとっては、精度はたかだか数度であって、このままでは数度のズレが発生してしまい、撮影用途には使用できず、正確な測定物理量を得て角度補正が必要である。
ここで重力加速度Ｇセンサを用いて、ＸＹＺの各軸が重力となす角度をＧの測定値として得る。
重力Ｇの方向は地上では誤差なく鉛直方向の下を指して精度よく一定であることから、重力加速度ＧセンサのＸＹＺ軸と先のジャイロセンサのＸＹＺ軸とを一致させた状態で、Ｚ軸とＸ軸、Ｚ軸とＹ軸のなす角度を求めて、Ｚ軸の現在の角度傾きが何度であるかを検出する。
【００６０】
Ｇセンサの重力方向検出精度はジャイロセンサに比較して１度の小数点以下の高い測定精度であるので、このＺ軸方向を用いてジャイロセンサでの初期値のＺ方向を補正する。ここで重力加速度ＧセンサのＺ軸が鉛直に向けば、Ｘ軸、Ｙ軸での重力加速度値は同じ値になるのでＺ軸を使う。
これでビームライト姿勢制御ブロックの姿勢安定を精度よく実施するための各軸の姿勢安定角度データを得る。
【００６１】
ビームライト制御部１７１は、画面座標／ビームライト方向角度変換部１５３から、ビームライト１７２の方向指定情報を角度データとして入力する。この角度データをビームライト１７２の設定方向の目標値更新データとする。すなわち設定方向の目標を示す角度データに基づいて、傾き角度を目標値へ変更、維持する制御を行う。
なお、ビームライト制御部１７１は、ビームライト１７２の発光量制御も実行する。例えば、撮影被写体が近すぎてスポットライト照明光量が大きすぎる場合に、発光量を減らす。ＬＥＤの発光駆動は定電流源を用いる定電流駆動であって、電流量を切り換えることで明るさ制御を行う。
【００６２】
一般的なＬＥＤはＰＷＭパルス駆動として点滅の点灯期間デューティ比を調整して明るさ調整を行う。しかし、一般のＣＭＯＳ撮像素子のように１／６０秒、１／３０秒などの映像フレーム周期でラインの１〜数ブロックの順次スキャンで画面上端から画面下端までスクロールして撮像するカメラでは、ＰＷＭパルス周期と同調する縞状の光像が撮影される可能性がある。そこで、ビームライト制御部１７１は、電流量のレベル切換え制御により明るさ制御を実施する。
【００６３】
また、ビームライト制御部１７１は、ビームライト１７２のスポット光の大きさ調整処理としての配光角制御も実行する。配向角制御は、光学レンズ部のズーム制御情報に対応してビーム光の開き角度を制御する。ズーム焦点距離が短いズームアウトのワイド画面撮影状態で、フォーカス制御部１３０および顔検出部１６０から被写体との距離が近いと判定された場合には、この開き角度を拡大して顔範囲全体を照明する制御を行う。
【００６４】
ビームライト１７２の発光部はＬＥＤの発光する光を、単焦点レンズを介して投光する構成を持つ。レンズ焦点位置にＬＥＤ発光面を置くことによって、最も集光された疑似的な開き角度６度以上、１００ｍｒａｄ以上で大型拡散光源であるビーム光を投光することが可能となる。さらに、ＬＥＤ光源、あるいはこの単焦点レンズをレンズ焦点位置から光軸方向に前後移動制御させることにより、投光するビーム光の開き角度の大きな拡散ビーム光を投光することが可能となる。
【００６５】
［４．画像処理部の構成と処理の詳細について］
次に、図５に示す装置構成における画像処理部（ＤＳＰ）１０９の構成と処理の詳細について、図７以下を参照して説明する。
なお、以下においては、ビームライトのモード設定が顔追尾モードに設定されている場合に実行される処理を中心として説明する。
顔追尾モードは、図７に示す顔検出部１６０が検出した顔領域に設定される顔検出枠を追尾するようにビームライト１７２を制御するモードである。
【００６６】
図７に示すスポットライト照射範囲演算部１５４は、画面座標／ライト方向角度変換部１５３から、ビームライト１７２の現在の設定に対応する画面座標の照明中心座標位置データと照明範囲データを入力する。
スポットライト照射範囲演算部１５４は、この入力データに基づいて、ビームライト１７２によるスポットライトの照射範囲を算出し、算出情報を色再現制御部１１０、階調再現制御部１２０に出力する。
【００６７】
例えば、ビームライト１７２が顔領域を照射しているときに、検出中の顔が動き、顔の一部がスポットライトの照射範囲から外に出た場合、
スポットライト照射範囲演算部１５４は、画面座標／ライト方向角度変換部１５３から、ビームライト１７２の現在のスポット光に対応する照明中心座標位置データと照明範囲データを得る。
スポットライト照射範囲演算部１５４は、このライト照明中心座標位置データと照明範囲データを画像信号処理部１０９の色再現制御部１１０、諧調再現制御部１２０に出力する。
【００６８】
諧調再現制御部１２０と、色再現制御部１１０は、スポットライト照射範囲演算部１５４からライト照明中心座標位置データと照明範囲データを入力して、
スポットライト照射領域、
スポットライト非照射領域、
これらの２つの領域の判別を行って、各領域単位の処理を実行する。
なお、背景領域は、処理対象外領域として予め除外する処理を行なう。
【００６９】
諧調再現制御部１２０の被写体（顔）輪郭検出部１２３は、撮影画像内の顔領域の輪郭を抽出し、色再現制御部１１０の肌色検出部１１３は、撮影画像内の肌色領域を抽出して顔検出部１６０に出力する。
これらの処理において、
スポットライト照射領域、
スポットライト非照射領域、
これらの２つの領域単位の処理を実行する。
【００７０】
例えば先に図４を参照して説明したように、顔領域にスポットライト照射領域と非照射領域の境界が設定され、明るさ段差がある領域に対して一律の顔輪郭検出動作を実行してしまうと、正確な顔輪郭検出を行うことができない。
諧調再現制御部１２０の被写体（顔）輪郭検出部１２３は、この問題を解決するため、
スポットライト照射領域、
スポットライト非照射領域、
これらの２つの領域を区別して、各領域単位の処理を実行し、処理結果を統合して最終的な処理結果を生成する。
【００７１】
例えば、諧調再現制御部１２０の被写体（顔）輪郭検出部１２３は、明るさ段差領域情報、すなわち、
スポットライト照射領域、
スポットライト非照射領域、
これらの２つの領域情報に基づく画像処理のローカライズを行って、膨張収縮のオープニング画像処理で特異点成分を減らして輪郭を得、収縮膨張のクロージング画像処理で輪郭特徴点の検出に基づく顔輪郭データを得ることで、正確な顔輪郭検出を行う。処理結果を統合する場合に、既知の輪郭であるスポットライト照射領域とスポットライト非照射領域との領域境界線部分との境界線で隣接する輪郭特徴点部分は領域境界線の輪郭を除外した処理結果から統合する被写体の顔輪郭特徴点として一つに統合される。
【００７２】
同様に、色再現制御部１１０において実行する肌色検出も、明るさ段差がある領域に対して、一律の肌色検出動作を行うと、正確な肌色検出ができない。
色再現制御部１１０の肌色検出部１１３は、この問題を解決するため、
スポットライト照射領域、
スポットライト非照射領域、
これらの２つの領域を区別して、各領域単位の処理を実行し、処理結果を統合して最終的な処理結果を生成する。処理結果を統合する場合に、既知の色境界であるスポットライト照射領域とスポットライト非照射領域との境界線で隣接する肌色領域部分をまたがり、処理結果から統合する被写体の顔肌色領域として一つに統合される。
【００７３】
色再現制御部１１０は、諧調再現制御部１２０の被写体（顔）輪郭検出部１２３から、明るさ段差領域情報を適用して得られた正確な顔輪郭領域情報を得る。
さらに、スポットライト照射範囲演算部１５４から入力するスポットライト照射領域情報に基づいて、顔輪郭領域を、
スポットライト照射領域
スポットライト非照射領域
これらの２つの領域に分割する。
【００７４】
色再現制御部１１０は、スポットライト照射領域と非照射領域に対して、個別のホワイトバランス調整を実行して、それぞれのホワイトバランス調整画像を用いて、スポットライト照射領域については、明るい肌色を検出する処理を実行し、スポットライト非照射領域については暗い肌色を検出する処理を実行する。
このように、スポットライト照射領域と、非照射領域に対する個別の処理を行ない、その後、各領域から検出した肌色領域を統合して、最終的な肌色領域検出結果を生成する。
【００７５】
図７に示すように、画像信号処理部（ＤＳＰ）１０９は、
（Ａ）ＲＡＷ信号処理系
（Ｂ）ＹＣｒＣｂ信号処理系
これらの２つの信号処理系を有する。
【００７６】
ノイズ低減（ＮＲ）部２０１は、（Ａ）ＲＡＷ信号処理系としてＲＡＷ信号に対するノイズリダクションであるＲＡＷ−ＮＲ部２０２と、（Ｂ）ＹＣｒＣｂ信号処理系としてＹＣｒＣｂ信号に対するノイズリダクションである現像画像−ＮＲ部２０３を有し、各信号系でのノイズリダクションを行う。
【００７７】
諧調再現制御部１２０は、（Ａ）ＲＡＷ信号処理系としてＲＡＷ信号に対するγ補正処理を行なうγ補正部２２１、ＲＡＷ信号の偽色やモザイク残り処理制御をするエッジ補正部２２２を有する。さらに、環境光の広範な明るさを露出検出して撮像信号のＡＧＣゲイン調整対応制御と光量絞り段切換調整対応、さらにレンズ内装備状況に応じ電子的に透明度９０％−３０％に変化するＮＤフィルターの明るさ制御する露出制御部１２１を有する。
【００７８】
さらに、諧調再現制御部１２０は、ＹＣｒＣｂ信号処理系として、各画像１枚単位の明部と暗部の画素値最適化処理であるダイナミックレンジ拡大処理を行なう輝度ダイナミック（Ｄ）レンジ拡大制御部１２２を有する。
さらに、画像の鮮やかさとシャッキリ感であるシャープネス増大処理を行う鮮鋭度制御部２２３、被写体（顔）輪郭検出部１２３を有する。
【００７９】
被写体（顔）輪郭検出部１２３は、まず、背景領域を処理対象範囲から外し、背景領域以外の領域について、スポットライト照射範囲演算部１５４から入力するスポットライト照射領域情報に基づいて、
スポットライト照射領域
スポットライト非照射領域
これらの２つの領域に区分するローカライズ処理を行なう。
この２つの領域単位で膨張収縮のオープニング画像処理で特異点成分を減らして顔の輪郭情報を抽出し、収縮膨張のクロージング画像処理で最終的な顔輪郭を得る。これらの処理によって正確な顔輪郭特徴点検出を行う。
【００８０】
フォーカス制御部１３０は、ＲＡＷ信号の鮮鋭程度を、フォーカス駆動して焦点を合わせながら時間軸で記憶し、もっとも鮮鋭度の高いところをフォーカス一致点とする制御をする。
【００８１】
色再現制御部１１０の（Ａ）ＲＡＷ信号処理系のＲＡＷホワイトバランス（ＷＢ）制御部１１１は、まず、ＲＡＷ信号中のＲＧＢ各画素値から物体色と呼ばれる塗料着色された色飽和度彩度の高い被写体部分に相当するＲＧＢの信号バランスを大きくはずれた部分領域を除外し、輝度の高い発光部を除外する。この除外領域以外の彩色の薄いＲＡＷ信号ホワイトバランスに使用するＲＧＢ信号が所定信号比率バランス範囲内に相当するグレー画面領域データから環境光の光源照明色温度を推定する。
この推定処理によって得られた光源照明色温度を用いて、撮像素子のカラーフィルタから得られた撮像画素値であるＲ'Ｇ'Ｂ'信号のゲインアンプをレベル調整してホワイトバランス調整を行う。
なお、さらに撮像画像背景の夜空領域が領域別に判別できるシステムであれば夜空領域を用いた黒バランス設定を行うことが好ましい。夜空領域は、スポットライト照明しても明るくならない画面領域であり、黒色の設定に用いるための最適領域である。
【００８２】
（Ｂ）ＹＣｒＣｂ信号処理系の色差ホワイトバランス（ＷＢ）制御部１１２では、ＲＧＢから変換されたＹＣｒＣｂ信号の色差信号に対するホワイトパランス調整処理を実行する。
色信号の変換による輝度信号の変化により、色差信号の色相が影響を受ける。色差ホワイトバランス（ＷＢ）制御部１１２の光源色温度推定部２１２は、この変換に伴う色相の変化を考慮して画像のグレー領域を用いて、光源色温度を推定する。色差ホワイトバランス（ＷＢ）制御部１１２は、この光源色温度推定結果を用いて色差空間におけるホワイトバランス調整を行う。
【００８３】
なお、色差ホワイトバランス（ＷＢ）制御部１１２は、
（ａ）スポットライト照射領域
（ｂ）スポットライト非照射領域、
これらの区分領域単位で個別のホワイトバランス調整を実行する。
【００８４】
撮影画面の明るさが変化、例えば明るいから暗い、または暗いから明るいに変化した場合、撮像信号であるＲＧＢ信号から単純なマトリックス演算で算出されるＹＣｒＣｂ信号中の輝度（Ｙ）値が大きく変化する。この場合、色を表す色差ＣｒＣｂ信号も、Ｙ値の変化に伴い大きく変化する。この結果、算出された色相は人の目でみたとおりの色相にならず、ずれが発生する。このことはＣＩＥの１９７６年ＣＩＥＬＡＢ勧告以来、アナログビデオカメラ時代から現在にいたるまで業界担当者の知るところである。
ＲＡＷホワイトバランス（ＷＢ）制御部１１１におけるホワイトバランス調整後に、色差ホワイトバランス（ＷＢ）制御部１１２において、再度、ホワイトバランス調整を実行するのは、この大きな明るさ変化に伴う色再現の色相ずれの調整の意味がある。
【００８５】
Ｙ輝度レベルが大幅に変化した場合には、人の目で見て同じ色相での照明色温度の再設定が必要となる。
色差ホワイトバランス（ＷＢ）制御部１１２におけるスポットライト非照射領域、すなわち暗い領域に対するホワイトバランス調整は以下のように実行する。
まず、明るい顔から顔輪郭特徴点を検出した顔輪郭内の顔が部分的にスポットライト照明領域をはずれて暗いスポットライト非照明領域に変化する際に、均等色空間であるＣＩＥＬＡＢテーブルを参照し、スポットライト照明領域での明るさＬ＊と、赤色から緑色のａ＊と−ａ＊の色差軸と黄色と青色のｂ＊と−ｂ＊の色差軸の色空間での肌色位相を把握しておく。さらに、明るさＬ＊がスポットライト照明領域をはずれて暗い領域に変化し、スポットライト非照明領域の顔輪郭内で明るいときの肌色から暗いときの肌色へと変化したときにおなじ肌色位相の暗い肌色となる目標値を算出する。
さらに、色差ＣｒＣｂに対して肌色部分が、この暗い肌色になるようＣｒＣｂの環境光源の色温度推定値の目標値を設定してスポットライト非照明領域全体の色差ホワイトバランス調整を実行する。
【００８６】
肌色検出部１１３は、色差ホワイトバランス（ＷＢ）制御部１１２におけるスポットライト非照射領域と、スポットライト照射領域各々の区分領域単位のホワイトバランス調整後の画像を用いて、肌色領域を検出する。色差ホワイトバランス（ＷＢ）は顔のスポットライト照明領域をはずれて暗いスポットライト非照明領域への動きに追随して肌色となる目標値にホワイトバランス制御動作を実施する。均等色空間ＣＩＥＬＡＢテーブルが目標値と示す別の明るさで同一の色相目標値に最初の数秒（１〜３秒）以内で粗調整の色相範囲に急速収束させてのち数１０秒間かけて精緻な色相範囲に調整をする制御とし、最初の数秒以内で粗調整の色相範囲に急速収束させたところから肌色領域の検出を実施するのが最も望ましい。明るさが大きく変化したときの人の目が暗い肌色を等色で肌色色相に認識する判断動作に近似させた動作を実現する。
【００８７】
以上に示す肌色領域検出で、肌色検出部１１３は、スポットライト照射領域については、色差ホワイトバランス（ＷＢ）制御部１１２が生成した明るい画像に基づくホワイトバランス画像を用いて明るい肌色を検出する処理を実行する。
一方、スポットライト非照射領域については、色差ホワイトバランス（ＷＢ）制御部１１２が生成した暗い画像に基づくホワイトバランス画像を用いて暗い肌色を検出する処理を実行する。
【００８８】
なお、色差ホワイトバランス（ＷＢ）制御部１１２が生成する暗い画像に基づくホワイトバランス画像は、この画像から抽出される暗い肌色が、スポットライト照射領域から抽出される明るい肌色と同じ肌色位相となるように調整されたホワイトバランス調整画像である。
【００８９】
このように、スポットライト照射領域と、非照射領域に対する個別の処理を行ない、その後、各領域から検出した肌色領域を統合して、最終的な肌色領域検出結果を生成する。
【００９０】
このように、肌色検出部１１３は、スポットライト照射領域と非照射領域個別のホワイトバランス調整画像を用いて、２つの領域から個別に肌色領域を検出する。
スポットライト照射領域と非照射領域個別のホワイトバランス調整画像の色相は、ほぼ同じ色相に設定されることになり、肌色検出部１１３は２つの領域から、被写体本来の同じ肌色を持つ領域を高精度に抽出することが可能となる。
【００９１】
顔検出部１６０は、
フォーカス制御部１３０におけるフォーカス一致情報、
ノイズ低減（ＮＲ）部２０１におけるノイズ除去画像情報、
諧調再現制御部１２０において生成される顔輪郭情報、
色再現制御部１１０において生成される肌色領域情報、
これらの情報を利用して、フォーカスの一致したノイズ除去された撮影画像を適用して顔領域の検出を行う。顔領域の決定は、顔輪郭領域と肌色領域との両データを利用して実行する。これらの処理によって、顔画像の動き変化につよい（ロバストな）、顔検出が可能となる。
【００９２】
なお、顔検出部１６０による顔検出情報は、フォーカス制御部１３０、諧調再現制御部１２０、色再現制御部１１０にフィードバックされ、その後の処理における補助情報として再利用する構成としてもよい。
【００９３】
［５．顔領域にスポットライト照射領域と非照射領域が混在する場合の処理について］
次に、図８を参照して顔領域にスポットライト照射領域と非照射領域が混在する場合の色再現制御部１１０と、階調再現制御部１２０の実行する処理について説明する。
図８には、処理順にステップＳ１１〜Ｓ１３のステップ番号を示している。
なお、ステップＳ１３は、ステップＳ１３−１〜Ｓ１３−４の処理によって構成される。
【００９４】
（ステップＳ１１）
ステップＳ１１は、ビームライト光源のライト照明範囲の明度境界情報を取得する処理である。これは、色再現制御部１１０と、階調再現制御部１２０がスポットライト照射範囲演算部１５４の出力するデータに基づいて実行する。前述したように、スポットライト照射範囲演算部１５４は、ライト照明中心座標位置データと照明範囲データを色再現制御部１１０、諧調再現制御部１２０に出力する。
色再現制御部１１０と、階調再現制御部１２０は、この入力データに基づいてビームライト光源のライト照明範囲の明度境界情報を取得する。
【００９５】
（ステップＳ１２）
ステップＳ１２は、階調再現制御部１２０の実行する処理である。
階調再現制御部１２０は、明度境界をまたがる範囲を分割し、分割領域単位で顔輪郭を抽出し、統合して顔輪郭データを生成する。
【００９６】
顔領域にスポットライト照射領域と非照射領域の境界があるような、明るさ段差がある領域に対して一律の顔輪郭検出動作を実行してしまうと、正確な顔輪郭検出を行うことができない。諧調再現制御部１２０の被写体（顔）輪郭検出部１２３は、この問題を解決するため、
スポットライト照射領域、
スポットライト非照射領域、
これらの２つの領域を区別して、各領域単位の処理を実行し、処理結果を統合して最終的な処理結果を生成する。
【００９７】
被写体（顔）輪郭検出部１２３は、明るさ段差領域情報に基づく画像処理のローカライズを行って、膨張収縮のオープニング画像処理で特異点成分を減らして輪郭を得、収縮膨張のクロージング画像処理で特徴輪郭を得ることで、正確な顔輪郭検出を行う。
【００９８】
（ステップＳ１３）
ステップＳ１３は、色再現制御部１１０の実行する処理である。
色再現制御部１１０は、明度境界をまたがる範囲を分割して分割領域単位で光源照明色温度推定を伴うホワイトバランス（ＷＢ）調整画像に基づく肌色検出を実行して、各分割領域単位の検出結果を統合して肌色抽出データを生成する。
【００９９】
このステップＳ１３の処理は、具体的には例えば図８に示すステップＳ１３−１〜４の処理順に実行されることになる。
【０１００】
（ステップＳ１３−１）
ステップＳ１３−１の処理は、光量のない黒背景である夜空範囲を黒バランス領域として選択し、黒バランス設定を行う処理である。夜空領域は、スポットライト照明しても明るくならない画面領域であり、黒色の設定に用いるための最適領域である。
【０１０１】
（ステップＳ１３−２）
ステップＳ１３−２は、ステップＳ１１の処理と同様の処理であり、ビームライト光源のライト照明範囲の明度境界情報を取得する処理である。これは、スポットライト照射範囲演算部１５４の出力するライト照明中心座標位置データと照明範囲データに基づいて実行される。
【０１０２】
（ステップＳ１３−３）（ステップＳ１３−４）
ステップＳ１３−３は、スポットライト照射領域における肌色抽出処理である。
ステップＳ１３−４は、スポットライト非照射領域における肌色抽出処理である。
色再現制御部１１０は、諧調再現制御部１２０の被写体（顔）輪郭検出部１２３から、明るさ段差領域情報を適用して得られた正確な顔輪郭領域情報を得る。
さらに、スポットライト照射範囲演算部１５４から入力するスポットライト照射領域情報に基づいて、顔輪郭領域を、
スポットライト照射領域
スポットライト非照射領域
これらの２つの領域に分割する。
【０１０３】
色再現制御部１１０は、スポットライト照射領域と非照射領域に対して、個別のホワイトバランス調整を実行して、それぞれのホワイトバランス調整画像を用いて、スポットライト照射領域については、明るい肌色を検出する処理を実行し、スポットライト非照射領域については暗い肌色を検出する処理を実行する。
このように、スポットライト照射領域と、非照射領域に対する個別の処理を行ない、その後、各領域から検出した肌色領域を統合して、最終的な肌色領域検出結果を生成する。
【０１０４】
なお、前述したように、色差ホワイトバランス（ＷＢ）制御部１１２は、スポットライト非照射領域の暗い画像に基づくホワイトバランス画像を生成するが、このホワイトバランス画像は、この画像から抽出される暗い肌色が、スポットライト照射領域から抽出される明るい肌色と同じ肌色位相となるように調整されたホワイトバランス調整画像である。
【０１０５】
例えば図８に示すＣＩＥＬＡＢ空間内に示すように、明るい肌色のＬＡＢ各値と暗い肌色に対応するＬＡＢ各値は異なるが、色差ホワイトバランス（ＷＢ）制御部１１２は、暗い肌色が、スポットライト照射領域から抽出される明るい肌色と同じ肌色位相となるように調整されたホワイトバランス調整画像を生成する。
【０１０６】
ステップＳ１３−１〜１３−４における肌色抽出処理では、このように、スポットライト照射領域と、非照射領域に対する個別の処理を行ない、その後、各領域から検出した肌色領域を統合して、最終的な肌色領域検出結果を生成する。
【０１０７】
前述したように、図７に示す顔検出部１６０は、
フォーカス制御部１３０におけるフォーカス一致情報、
ノイズ低減（ＮＲ）部２０１におけるノイズ除去画像情報、
諧調再現制御部１２０において生成される顔輪郭情報、
色再現制御部１１０において生成される肌色領域情報、
これらの情報を利用して、フォーカスの一致したノイズ除去された撮影画像を適用して顔領域の検出を行う。顔領域の決定は、顔輪郭領域と肌色領域との両データを利用して実行する。これらの処理によって、顔画像の動き変化につよい（ロバストな）、顔検出が可能となる。
【０１０８】
顔検出部１６０は、検出した顔領域の全体を囲む位置に、顔検出枠を表示させるためのコマンドを表示制御部１０６に出力する。
表示制御部１０６は、このコマンドに応じて、表示部１０７の顔表示領域に顔検出枠を表示する。
【０１０９】
顔検出部１６０は、例えば図８に示すように、スポットライト照射領域と非照射領域を含む明度境界がまたがる顔の領域の検出に成功すると、顔検出枠を検出した顔領域に追随させるように移動して表示する。
ただし、この時点では、まだスポットライトは顔領域の約半分の領域を照射した状態となっている。
【０１１０】
ビームライト制御部１７１は、顔検出が行われ、顔検出枠が移動すると、移動した新たな顔検出枠の中心座標と顔検出枠サイズ情報データを、画面座標／ビームライト方向角度変換部１５３から取得する。この取得情報に基づいて、ビームライト１７２の設定方向とする角度を更新する。この処理によって、ビームライト１７２のスポットライト照射方向が、更新された顔検出枠の中心に設定され、被写体の人の顔全体にスポットライトが照射されるように更新される。
このように、ビームライト１７２ののスポットライト照明は顔検出枠に追随して後から動く設定となる。
【０１１１】
図９は、先に図３を参照して説明した時間（ｔ２）〜（ｔ４）における撮影画像に対応する顔検出枠の設定と、ビームライトの追随処理例を示している。
ステップＳ５１〜Ｓ５５の処理について、順次、説明する。
【０１１２】
（ステップＳ５１）
ステップＳ５１は、時間（ｔ２）の画像に対する処理である。この時間（ｔ２）の画像は、顔検出部１６０の検出した顔領域に対して顔検出枠が設定された画像である。
ビームライト制御部１７１は、この顔検出枠の中心方向にビームライト１７２の方向を向くようにビームライト１７２の角度制御を実行する。この結果として
図に示す時間（ｔ２）の画像のように、ビームライトの照射領域が顔領域の全体に設定される。
【０１１３】
（ステップＳ５２）
ステップＳ５２の処理は、時間（ｔ２）の画像から時間（ｔ３）の画像の間に実行される顔検出部１６０の処理である。
顔検出部１６０は、明度境界をまたがる顔認識を成功させて、顔検出枠を先に画面内で移動させる。
【０１１４】
（ステップＳ５３）
ステップＳ５２の顔検出枠の移動処理の結果として、撮像装置の表示部に表示される撮影画像がステップＳ５３に示す時間（ｔ３）の画像である。
この画像は、顔検出枠は移動した顔の領域に追随して設定されている。なお、顔検出は、先に図７を参照して説明したように、階調再現制御部１２０が検出する顔輪郭データと、色再現制御部１１０が検出する肌色領域データを用いて実行される。
これらの処理においては、スポットライト照射領域と非照射領域個別の処理が実行される。
【０１１５】
この時間（ｔ３）の画像では、ビームライト１７２のスポットライト照射領域は、顔検出枠に追随しておらず、顔領域には、スポットライト照射領域と非照射領域が含まれる。
【０１１６】
（ステップＳ５４）
ステップＳ５４の処理は、図に示す時間（ｔ３）の画像と時間（ｔ４）の画像の間に実行される処理であり、ビームライト制御部１７１の実行するビームライト制御処理である。
【０１１７】
ビームライト制御部１７１は、顔検出枠が移動すると、移動した新たな顔検出枠の中心座標と顔検出枠サイズ情報データを、画面座標／ビームライト方向角度変換部１５３から取得する。この取得情報に基づいて、ビームライト１７２の設定方向とする角度を更新する。この処理によって、ビームライト１７２のスポットライト照射方向が、更新された顔検出枠の中心に設定され、被写体の人の顔全体にスポットライトが照射されるように更新される。
【０１１８】
（ステップＳ５５）
ステップＳ５５に示す時間（ｔ４）の画像は、ステップＳ５４のビームライト制御処理の結果、ビームライト１７２のスポットライト照射方向が顔検出枠の中心方向に設定され、ビームライトの角度更新処理が完了した時点の画像である。
このように、ビームライト１７２ののスポットライト照明は顔検出枠に追随して後から動く設定となる。
【０１１９】
［６．フォーカス制御処理について］
本開示の撮像装置では、顔追尾モードにした場合、顔検出枠が設定された顔領域にフォーカスポイントを設定して画像撮影を実行する。すなわち、顔領域にフォーカスポイントを設定するための顔重点フォーカス処理が行われる。
図１０を参照してこの顔重点フォーカス処理を実行する構成について説明する。
図１０には、以下の各処理部を示している。
（ａ）撮像部１０１、
（ｂ）撮像部１０１から撮像信号を入力してＲＡＷ信号にたいす眼処理をほ実行する撮像信号処理部１０２、
（ｃ）撮像信号処理部１０２の出力信号を入力してＹＣｒＣＢ信号を生成してＹＣｒＣｂ信号に対する処理を実行する現像信号処理部１０３、
（ｄ）フォーカス制御部１３０、
（ｅ）顔検出部１６０、
（ｆ）画面座標／ビームライト方向角度変換部１５３、
（ｇ）フォーカス設定切り替え部２８０、
【０１２０】
撮像信号処理部１０２は、撮像部１０１から撮影画像を入力して撮影画像（ＲＡＷ画像）に対する処理を実行する。
デモザイク処理部２５１は、撮影画像の各画素位置にＲ'Ｇ'Ｂ'画素値を設定するデモザイク処理を実行する。ＲＡＷ−ＷＢ処理部２５２は、デモザイク画像に対するホワイトバランス処理を実行する。
リニアマトリクス部２５３は、ホワイトバランス処理後の画像の画素値として設定されたＲ'Ｇ'Ｂ'各画素値のリニア化処理を実行してＲＧＢ画素値を算出する。
γ補正部２５４はＲＧＢ画像のγ補正を実行する。
リサイズ処理部１０８はフォーカス制御用の縮小画像（リサイズ画像）や一部切り出し画像を生成する。
【０１２１】
フォーカス制御部１３０は、
リサイズ全画面適用オートフォーカス（ＡＦ）制御部２７１、
一部画面適用ォートフォーカス（ＡＦ）制御部２７２、
これら２つのＡＦ制御部を有する。
【０１２２】
顔追尾モード以外のユーザ操作モード等の通常撮影時には、リサイズ全画面適用オートフォーカス（ＡＦ）制御部２７１が、リサイズ画像の全体を利用したオートフォーカス制御を行う。
一方、顔追尾モードの設定時には、一部画面適用ォートフォーカス（ＡＦ）制御部２７２が、リサイズされない画像の一部、具体的には顔検出枠の設定された顔領域の切り出し画像を利用したオートフォーカス制御を行う。
【０１２３】
例えば、高精細な画素数が２メガのフルＨＤ画素数での撮影中のフォーカス制御は、画素数をそのまま取り込んでフォーカスすると処理時間が長くなり、フォーカス追随動作が遅くなってしまう。このような事態を防止するため、画像をリサイズして画素数の少ないデータを利用して高速なフォーカス制御を可能としている。
【０１２４】
ただし、例えば、高精細な画素数が８メガ、３２メガの画素数の高精細動画方式で撮影中のフォーカス制御は、撮像素子サイズがＡＰＳ−Ｃでは画素数面上にフォーカス結像すると判断される範囲である光像の許容錯乱円が１５μｍ〜３０μｍから５μｍ〜６μｍであり、８Ｋ  ＵＨＤではさらに小さく、リサイズされたＲＡＷ画像ではフォーカスの一致判断ができなくなる。
そこで顔領域のみをリサイズなしで切り出した一部切り出し画像を適用してフォーカスを合わせる。
この処理を実行するのが、一部画面適用ォートフォーカス（ＡＦ）制御部２７２である。
【０１２５】
なお、フォーカス設定切り替え部２８０は、撮影処理モードに応じてリサイズ処理部１０８に対するフォーカス重点座標指定データ２８５の切り換え出力を実行する。
【０１２６】
具体的には、以下の３種類のフォーカス重点座標指定データの切り換え出力を行う。
（１）ビームライトによる照射が実行されず、顔検出処理が行われる場合は、顔検出部１６０の出力する顔検出枠中心座標データ２８２を選択して、フォーカス重点座標指定データ２８５として出力する。
（２）顔追尾モードが設定され、ビームライトによる照射が実行され、顔検出処理も行われる場合は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３を選択して、フォーカス重点座標指定データ２８５として出力する。
（３）ビームライトによる照射、顔検出処理のいずれも行われない場合は、現像信号処理部１０３の出力する前画面中心座標データ２８１を選択して、フォーカス重点座標指定データ２８５として出力する。
【０１２７】
上記（１）の場合は、リサイズ処理部１０８は、顔検出部１６０の出力する顔検出枠中心座標データ２８２を中心座標とする顔検出枠設定領域を含む一部切り出し画像を生成してＡＦ制御部１３１に出力する。
ＡＦ制御部１３１の一部画面適用ォートフォーカス（ＡＦ）制御部２７２は、顔検出枠中心座標データ２８２を中心座標とする顔検出枠設定領域を含む一部切り出し画像を適用してＡＦ制御を実行する。
【０１２８】
上記（２）の場合は、リサイズ処理部１０８は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３を中心座標とするスポット光照射領域を含む一部切り出し画像を生成してＡＦ制御部１３１に出力する。
ＡＦ制御部１３１の一部画面適用ォートフォーカス（ＡＦ）制御部２７２は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３を中心座標とする領域を含む一部切り出し画像を適用してＡＦ制御を実行する。
【０１２９】
上記（３）の場合は、リサイズ処理部１０８は、全体画像の縮小画像を生成してＡＦ制御部１３１に出力する。
ＡＦ制御部１３１のリサイズ全画面適用ォートフォーカス（ＡＦ）制御部２７１は、全体画像の縮小画像を適用してＡＦ制御を実行する。
【０１３０】
なお、ＡＦ制御は、一回の処理でフォーカス一致判定ができてもできなくても、所定期間ごとに一部切り出し画像、または縮小画像を繰り返し入力してフォーカス一致判定を繰り返し実行し、フォーカス一致状態が継続していることをチェックし続ける。
【０１３１】
［７．本開示の撮像装置が実行する処理シーケンスについて］
次に、被写体の顔に対するスポットライト照射を行って画像撮影を行う顔追尾モード設定時の処理シーケンスについて説明する。
図１１〜図１３を参照して、以下の３つの例に対応する処理シーケンスについて説明する。
（１）スポットライト照射領域が検出されない暗い環境光の下での処理シーケンス（図１１）
（２）スポットライト照射領域が検出された明るい照明光の下での処理シーケンス（図１２）
（３）スポットライト照射領域が検出され、かつ、顔が移動した場合の処理シーケンス（図１３）
【０１３２】
［７−１．スポットライト照射領域が検出されない暗い環境光の下での処理シーケンスについて］
まず、図１１を参照して、
（１）スポットライト照射領域が検出されない暗い環境光の下での処理シーケンスについて説明する。
図１１には、左からビームライトモード設定部１５２、スポットライト照射範囲演算部１５４、フォーカス制御部１２１、階調再現制御部（顔輪郭検出）１２０、色再現制御部（肌色検出）１１０、顔検出部１６０、画面座標／ビームライト方向角度変換部１５３、ビームライト制御部１７１、ビームライト１７２、これらの各処理部を示している。これらは、図５や図７に示す撮像装置の処理部に対応する。
以下、図１１に示すシーケンス図の各ステップの処理について、順次、説明する。
【０１３３】
（ステップＳ１０１）
まず、ユーザは図７に示す入力部１５１を利用して、画像撮影のためのモード設定を行う。
入力部１５１は、ビームライト１７２の制御モードの設定の他、ビームライトの方向、照射スポットの大きさの調整などを行う。
ビームライト１７２の制御モードには、
（ａ）顔追尾モード、
（ｂ）ユーザ操作モード
これらの２つのモードがある。
【０１３４】
顔追尾モードは、顔検出部１６０の検出した顔領域に自動的にビームライト１７２を追尾させるモードである。
ユーザ操作モードは、ユーザがビームライト１７２の方向やスポットの大きさを入力部１５１の操作によって自由に設定可能としたモードである。
ここでは、「顔追尾モード」の設定を行った場合の処理例について説明する。
【０１３５】
ビームライトモード設定部１５２は、ユーザのモード設定情報に応じて、制御情報を画面座標／ビームライト方向角度変換部１５３に出力する。
例えば、顔追尾モードに設定された場合は、顔検出部１６０の検出した顔領域にビームライト１７２を追尾させるための制御情報を出力する。
【０１３６】
画面座標／ビーライト方向角度変換部１５３は、顔追尾モードに設定されている場合、顔検出部１６０からの顔検出情報を入力して、顔検出枠の中心位置にビームライト１７２の照射中心位置を設定し、顔検出枠のサイズに併せて照射スポットの大きさを設定するための制御情報を生成してビームライト制御部１７１に出力する。
【０１３７】
さらに、画面座標／ライト方向角度変換部１５３は、図５、図７に示すスポットライト照射範囲演算部１５４に対して、ビームライト１７２の現在の設定に対応する画面座標のライト照明中心座標位置データと照明範囲データを出力する。
スポットライト照射範囲演算部１５４は、この入力データに基づいて、ビームライト１７２によるスポットライトの照射範囲を算出し、算出情報を色再現制御部１１０、階調再現制御部１２０に出力する。
【０１３８】
（ステップＳ１１１，ステップＳ１２１）
ステップＳ１１１とステップＳ１２１の処理は、スポットライト照射範囲演算部１５４の処理である。スポットライト照射範囲演算部１５４は、画面座標／ライト方向角度変換部１５３から、ビームライト１７２のライト照明中心座標位置データと照明範囲データを入力し、入力データに基づいて、ビームライト１７２によるスポットライトの照射範囲を算出する。
【０１３９】
この具体的処理として、ステップＳ１１１の夜空範囲領域の検出処理と、ステップＳ１２１の暗い環境光領域、すなわち、
スポットライト非照射領域、
の検出処理を行う。
スポットライト照射範囲演算部１５４は、これらの検出情報を色再現制御部１１０、階調再現制御部１２０に出力する。
【０１４０】
（ステップＳ１１２，ステップＳ１２２）
ステップＳ１１２と、ステップＳ１２２は、顔輪郭検出を実行する階調再現制御部１１０の実行する処理である。
諧調再現制御部１１０は、スポットライト照射範囲演算部１５４から入力した画像領域情報に基づいて、実行する処理を決定する。
夜空領域については、ステップＳ１１２において、顔輪郭検出処理の対象としない処理対象外領域に設定する。
また、暗い環境光領域、すなわち、スポットライト非照射領域については、ステップＳ１２２において低輝度ベースの顔輪郭検出処理を実行する。
【０１４１】
先に図７、図８を参照して説明したように、諧調再現制御部１２０は、ＲＡＷ信号に対するγ補正処理を行なうγ補正部２２１、ＲＡＷ信号の偽色やモザイク残り処理制御をするエッジ補正部２２２を有する。さらに、環境光の広範な明るさを露出検出して撮像信号のＡＧＣゲイン調整対応制御と光量絞り段切換調整対応、さらにレンズ内装備状況に応じ電子的に透明度９０％−３０％に変化するＮＤフィルターの明るさ制御する露出制御部１２１を有する。
さらに、ＹＣｒＣｂ信号処理系として、ダイナミックレンジ拡大処理を行なう輝度ダイナミック（Ｄ）レンジ拡大制御部１２２、シャープネス増大処理を行う鮮鋭度制御部２２３と、被写体（顔）輪郭検出部１２３を有する。
【０１４２】
被写体（顔）輪郭検出部１２３は、背景領域を処理対象範囲から外し、背景領域以外の領域について、スポットライト照射範囲演算部１５４から入力するスポットライト照射領域情報に基づいて、
スポットライト照射領域
スポットライト非照射領域
これらの２つの領域に区分するローカライズ処理を行なう。
この２つの領域単位で膨張収縮のオープニング画像処理で特異点成分を減らして顔の輪郭情報を抽出し、収縮膨張のクロージング画像処理で最終的な顔輪郭を得る。これらの処理によって正確な顔輪郭検出を行う。
【０１４３】
図１１に示すシーケンス図では、スポットライト照射領域が検出されていないので、スポットライト非照射領域である暗い領域のみに対して顔輪郭検出処理を実行する。
【０１４４】
（ステップＳ１１３，ステップＳ１２３）
ステップＳ１１３とステップＳ１２３の処理は、肌色検出を実行する色再現制御部１２０の実行する処理である。
【０１４５】
先に図７、図８を参照して説明したように、色再現制御部１１０は、
ＲＡＷ画像に対するホワイトバランス調整画像を生成するＲＡＷホワイトバランス（ＷＢ）制御部１１１、
ＹＣｒＣｂ信号に変換後の色差信号に対するホワイトパランス調整処理を実行する色差ホワイトバランス（ＷＢ）制御部１１１、
肌色検出部１１３、
を有する。
【０１４６】
色再現制御部１２０は、スポットライト照射範囲演算部１５４から入力した画像領域情報に基づいて、実行する処理を決定する。
夜空領域については、ステップＳ１１３において、黒バランス領域色処理を実行する。
また、暗い環境光領域、すなわち、スポットライト非照射領域については、ステップＳ１２３において低輝度ベースの肌色検出処理を実行する。
【０１４７】
ステップＳ１１３における黒バランス領域色処理は、ホワイトバランスの前処理としての黒色の設定処理である。夜空領域は、スポットライト照明しても明るくならない画面領域であり、黒色の設定に用いるための最適領域であり、この領域を用いて黒バランス設定を行う。
【０１４８】
暗い環境光領域、すなわち、スポットライト非照射領域については、ステップＳ１２３において低輝度ベースの肌色検出処理を実行する。
スポットライト非照射領域に対する肌色検出処理は、ＲＡＷ画像に対するホワイトバランス調整画像の生成後、さらに、色差ホワイトバランス（ＷＢ）制御部１１２がＹＣｒＣｂ信号に変換後の色差信号を利用して生成したホワイトパランス調整画像を利用して実行する。
このホワイトパランス調整画像を利用して暗い肌色を検出する処理を行なう。
【０１４９】
（ステップＳ１２４）
ステップＳ１２４は、顔検出部１６０の実行する処理である。
顔検出部１６０は、先に図７を参照して説明したように、
フォーカス制御部１３０におけるフォーカス一致情報、
ノイズ低減（ＮＲ）部２０１におけるノイズ除去画像情報、
諧調再現制御部１２０において生成される顔輪郭情報、
色再現制御部１１０において生成される肌色領域情報、
これらの情報を利用して、フォーカスの一致したノイズ除去された撮影画像を適用して顔領域の検出を行う。顔領域の決定は、顔輪郭領域と肌色領域との両データを利用して実行する。これらの処理によって、顔画像の動き変化につよい（ロバストな）、顔検出が可能となる。
【０１５０】
顔検出部１６０は、検出した顔領域の全体を囲む位置に、顔検出枠を表示させるためのコマンドを表示制御部１０６に出力する。
表示制御部１０６は、このコマンドに応じて、表示部１０７の顔表示領域に顔検出枠を表示する。
【０１５１】
（ステップＳ１２５）
ステップＳ１２５の処理は、フォーカス制御部１２１の実行する処理である。
この処理は、先に図１０を参照して説明した処理に対応する。
先に図１０を参照して説明したように、フォーカス制御部は、以下の３種類のいずれかのオートフォーカス制御を実行する。
（１）ビームライトによる照射が実行されず、顔検出処理が行われる場合は、顔検出部１６０の出力する顔検出枠中心座標データ２８２をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
（２）顔追尾モードが設定され、ビームライトによる照射が実行され、顔検出処理も行われる場合は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
（３）ビームライトによる照射、顔検出処理のいずれも行われない場合は、現像信号処理部１０３の出力する前画面中心座標データ２８１をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
【０１５２】
図１１に示すシーケンスでは、上記（１）のオートフォーカス制御、すなわち、
（１）ビームライトによる照射が実行されず、顔検出処理が行われる場合は、顔検出部１６０の出力する顔検出枠中心座標データ２８２をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
このオートフォーカス制御を実行する。
【０１５３】
（ステップＳ１２６）
ステップＳ１２６の処理は、画面座標／ビームライト方向角度変換部１５３の実行する処理である。
【０１５４】
画面座標／ビーライト方向角度変換部１５３は、顔追尾モードに設定されている場合、顔検出部１６０からの顔検出情報を入力して、顔検出枠の中心位置にビームライト１７２の照射中心位置を設定し、顔検出枠のサイズに併せて照射スポットの大きさを設定するための制御情報を生成してビームライト制御部１７１に出力する。
画面座標／ビームライト方向角度変換部１５３は、顔検出枠の中心座標と顔検出枠サイズ情報データや、ビームライト１７２の方向指定情報である角度データをビームライト制御部１７１に出力する。
【０１５５】
（ステップＳ１２７）
ビームライト制御部１７１は、画面座標／ビーライト方向角度変換部１５３から入力する制御情報に従ってビームライト１７２の方向、配光角、出力レベルなどを制御する。
なお、ビームライト制御部１７１は、ライト姿勢センサ部１７３が検出するビームライト１７１の姿勢情報に応じて、ビームライトの位置を所定位置に維持するためのフィードバック制御を継続的に実行する。
【０１５６】
［７−２．スポットライト照射領域が検出された明るい照明光の下での処理シーケンスについて］
次に、図１２を参照して、
（２）スポットライト照射領域が検出された明るい照明光の下での処理シーケンスについて説明する。
図１２には、図１１と同様、左からビームライトモード設定部１５２、スポットライト照射範囲演算部１５４、フォーカス制御部１２１、階調再現制御部（顔輪郭検出）１２０、色再現制御部（肌色検出）１１０、顔検出部１６０、画面座標／ビームライト方向角度変換部１５３、ビームライト制御部１７１、ビームライト１７２、これらの各処理部を示している。これらは、図５や図７に示す撮像装置の処理部に対応する。
以下、図１２に示すシーケンス図の各ステップの処理について、順次、説明する。
【０１５７】
（ステップＳ２０１）
まず、ユーザは図７に示す入力部１５１を利用して、画像撮影のためのモード設定を行う。
ここでは、「顔追尾モード」の設定を行った場合の処理例について説明する。
ビームライトモード設定部１５２は、ユーザのモード設定情報に応じて、制御情報を画面座標／ビームライト方向角度変換部１５３に出力する。
例えば、顔追尾モードに設定された場合は、顔検出部１６０の検出した顔領域にビームライト１７２を追尾させるための制御情報を出力する。
【０１５８】
画面座標／ビーライト方向角度変換部１５３は、顔追尾モードに設定されている場合、顔検出部１６０からの顔検出情報を入力して、顔検出枠の中心位置にビームライト１７２の照射中心位置を設定し、顔検出枠のサイズに併せて照射スポットの大きさを設定するための制御情報を生成してビームライト制御部１７１に出力する。
【０１５９】
さらに、画面座標／ライト方向角度変換部１５３は、図５、図７に示すスポットライト照射範囲演算部１５４に対して、ビームライト１７２の現在の設定に対応する画面座標のライト照明中心座標位置データと照明範囲データを出力する。
スポットライト照射範囲演算部１５４は、この入力データに基づいて、ビームライト１７２によるスポットライトの照射範囲を算出し、算出情報を色再現制御部１１０、階調再現制御部１２０に出力する。
【０１６０】
（ステップＳ２１１，ステップＳ２２１）
ステップＳ２１１とステップＳ２２１の処理は、スポットライト照射範囲演算部１５４の処理である。スポットライト照射範囲演算部１５４は、画面座標／ライト方向角度変換部１５３から、ビームライト１７２のライト照明中心座標位置データと照明範囲データを入力し、入力データに基づいて、ビームライト１７２によるスポットライトの照射範囲を算出する。
【０１６１】
この具体的処理として、ステップＳ２１１の夜空範囲領域の検出処理と、ステップＳ２２１の明るい照明光領域、すなわち、
スポットライト照射領域、
の検出処理を行う。
スポットライト照射範囲演算部１５４は、これらの検出情報を色再現制御部１１０、階調再現制御部１２０に出力する。
【０１６２】
（ステップＳ２１２，ステップＳ２２２）
ステップＳ２１２と、ステップＳ２２２は、顔輪郭検出を実行する階調再現制御部１１０の実行する処理である。
諧調再現制御部１１０は、スポットライト照射範囲演算部１５４から入力した画像領域情報に基づいて、実行する処理を決定する。
夜空領域については、ステップＳ２１２において、顔輪郭検出処理の対象としない処理対象外領域に設定する。
また、明るい照明光領域、すなわち、スポットライト照射領域については、ステップＳ２２２において照明光ベースの顔輪郭検出処理を実行する。
【０１６３】
先に図７、図８を参照して説明したように、諧調再現制御部１２０の被写体（顔）輪郭検出部１２３は、背景領域を処理対象範囲から外し、背景領域以外の領域について、スポットライト照射範囲演算部１５４から入力するスポットライト照射領域情報に基づいて、
スポットライト照射領域
スポットライト非照射領域
これらの２つの領域に区分するローカライズ処理を行なう。
この２つの領域単位で膨張収縮のオープニング画像処理で特異点成分を減らして顔の輪郭情報を抽出し、収縮膨張のクロージング画像処理で最終的な顔輪郭を得る。これらの処理によって正確な顔輪郭検出を行う。
【０１６４】
図１２に示すシーケンス図では、スポットライト照射領域が検出されているので、スポットライト照射領域である明るい領域に対して顔輪郭検出処理を実行する。
【０１６５】
（ステップＳ２１３，ステップＳ２２３）
ステップＳ２１３とステップＳ２２３の処理は、肌色検出を実行する色再現制御部１２０の実行する処理である。
【０１６６】
色再現制御部１２０は、スポットライト照射範囲演算部１５４から入力した画像領域情報に基づいて、実行する処理を決定する。
夜空領域については、ステップＳ２１３において、黒バランス領域色処理を実行する。
また、明るい照明光領域、すなわち、スポットライト照射領域については、ステップＳ２２３において照明光ベースの肌色検出処理を実行する。
【０１６７】
スポットライト照射領域に対する肌色検出処理は、ＲＡＷ画像に対するホワイトバランス調整画像の生成後、さらに、色差ホワイトバランス（ＷＢ）制御部１１２がＹＣｒＣｂ信号に変換後の色差信号を利用して生成したホワイトパランス調整画像を利用して実行する。
このホワイトパランス調整画像を利用して明るい肌色を検出する処理を行なう。
【０１６８】
（ステップＳ２２４）
ステップＳ２２４は、顔検出部１６０の実行する処理である。
顔検出部１６０は、先に図７を参照して説明したように、
フォーカス制御部１３０におけるフォーカス一致情報、
ノイズ低減（ＮＲ）部２０１におけるノイズ除去画像情報、
諧調再現制御部１２０において生成される顔輪郭情報、
色再現制御部１１０において生成される肌色領域情報、
これらの情報を利用して、フォーカスの一致したノイズ除去された撮影画像を適用して顔領域の検出を行う。顔領域の決定は、顔輪郭領域と肌色領域との両データを利用して実行する。これらの処理によって、顔画像の動き変化につよい（ロバストな）、顔検出が可能となる。
【０１６９】
顔検出部１６０は、検出した顔領域の全体を囲む位置に、顔検出枠を表示させるためのコマンドを表示制御部１０６に出力する。
表示制御部１０６は、このコマンドに応じて、表示部１０７の顔表示領域に顔検出枠を表示する。
【０１７０】
（ステップＳ２２５）
ステップＳ２２５の処理は、フォーカス制御部１２１の実行する処理である。
この処理は、先に図１０を参照して説明した処理に対応する。
先に図１０を参照して説明したように、フォーカス制御部は、以下の３種類のいずれかのオートフォーカス制御を実行する。
（１）ビームライトによる照射が実行されず、顔検出処理が行われる場合は、顔検出部１６０の出力する顔検出枠中心座標データ２８２をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
（２）顔追尾モードが設定され、ビームライトによる照射が実行され、顔検出処理も行われる場合は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
（３）ビームライトによる照射、顔検出処理のいずれも行われない場合は、現像信号処理部１０３の出力する前画面中心座標データ２８１をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
【０１７１】
図１２に示すシーケンスでは、上記（２）のオートフォーカス制御、すなわち、
（２）顔追尾モードが設定され、ビームライトによる照射が実行され、顔検出処理も行われる場合は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
このオートフォーカス制御を実行する。
【０１７２】
（ステップＳ２２６）
ステップＳ２２６の処理は、画面座標／ビームライト方向角度変換部１５３の実行する処理である。
【０１７３】
画面座標／ビーライト方向角度変換部１５３は、顔追尾モードに設定されている場合、顔検出部１６０からの顔検出情報を入力して、顔検出枠の中心位置にビームライト１７２の照射中心位置を設定し、顔検出枠のサイズに併せて照射スポットの大きさを設定するための制御情報を生成してビームライト制御部１７１に出力する。
画面座標／ビームライト方向角度変換部１５３は、顔検出枠の中心座標と顔検出枠サイズ情報データや、ビームライト１７２の方向指定情報である角度データをビームライト制御部１７１に出力する。
【０１７４】
（ステップＳ２２７）
ビームライト制御部１７１は、画面座標／ビーライト方向角度変換部１５３から入力する制御情報に従ってビームライト１７２の方向、配光角、出力レベルなどを制御する。
なお、ビームライト制御部１７１は、ライト姿勢センサ部１７３が検出するビームライト１７１の姿勢情報に応じて、ビームライトの位置を所定位置に維持するためのフィードバック制御を継続的に実行する。
【０１７５】
［７−３．スポットライト照射領域が検出され、かつ、顔が移動した場合の処理シーケンスについて］
次に、図１３を参照して、
（３）スポットライト照射領域が検出され、かつ、顔が移動した場合の処理シーケンスについて説明する。
図１３には、図１１、図１２と同様、左からビームライトモード設定部１５２、スポットライト照射範囲演算部１５４、フォーカス制御部１２１、階調再現制御部（顔輪郭検出）１２０、色再現制御部（肌色検出）１１０、顔検出部１６０、画面座標／ビームライト方向角度変換部１５３、ビームライト制御部１７１、ビームライト１７２、これらの各処理部を示している。これらは、図５や図７に示す撮像装置の処理部に対応する。
以下、図１３に示すシーケンス図の各ステップの処理について、順次、説明する。
【０１７６】
（ステップＳ３０１）
まず、ユーザは図７に示す入力部１５１を利用して、画像撮影のためのモード設定を行う。
ここでは、「顔追尾モード」の設定を行った場合の処理例について説明する。
ビームライトモード設定部１５２は、ユーザのモード設定情報に応じて、制御情報を画面座標／ビームライト方向角度変換部１５３に出力する。
例えば、顔追尾モードに設定された場合は、顔検出部１６０の検出した顔領域にビームライト１７２を追尾させるための制御情報を出力する。
【０１７７】
画面座標／ビーライト方向角度変換部１５３は、顔追尾モードに設定されている場合、顔検出部１６０からの顔検出情報を入力して、顔検出枠の中心位置にビームライト１７２の照射中心位置を設定し、顔検出枠のサイズに併せて照射スポットの大きさを設定するための制御情報を生成してビームライト制御部１７１に出力する。
【０１７８】
さらに、画面座標／ライト方向角度変換部１５３は、図５、図７に示すスポットライト照射範囲演算部１５４に対して、ビームライト１７２の現在の設定に対応する画面座標のライト照明中心座標位置データと照明範囲データを出力する。
スポットライト照射範囲演算部１５４は、この入力データに基づいて、ビームライト１７２によるスポットライトの照射範囲を算出し、算出情報を色再現制御部１１０、階調再現制御部１２０に出力する。
【０１７９】
（ステップＳ３１１，ステップＳ３２１，ステップＳ３３１）
ステップＳ３１１とステップＳ３２１とステップＳ３３１の処理は、スポットライト照射範囲演算部１５４の処理である。スポットライト照射範囲演算部１５４は、画面座標／ライト方向角度変換部１５３から、ビームライト１７２のライト照明中心座標位置データと照明範囲データを入力し、入力データに基づいて、ビームライト１７２によるスポットライトの照射範囲を算出する。
【０１８０】
この具体的処理として、ステップＳ３１１の夜空範囲領域の検出処理と、ステップＳ３２１の明るい照明光領域、すなわち、スポットライト照射領域の検出処理、
さらに、ステップＳ３３１の変更領域検出、すなわち、顔移動によるスポットライト照明領域から非照明領域に変更された領域を検出する。
スポットライト照射範囲演算部１５４は、これらの検出情報を色再現制御部１１０、階調再現制御部１２０に出力する。
【０１８１】
（ステップＳ３１２，ステップＳ３２２，ステップＳ３３２）
ステップＳ３１２と、ステップＳ３２２、およびステップＳ３３２は、顔輪郭検出を実行する階調再現制御部１１０の実行する処理である。
諧調再現制御部１１０は、スポットライト照射範囲演算部１５４から入力した画像領域情報に基づいて、実行する処理を決定する。
夜空領域については、ステップＳ３１２において、顔輪郭検出処理の対象としない処理対象外領域に設定する。
また、明るい照明光領域、すなわち、スポットライト照射領域については、ステップＳ３２２において照明光ベースの顔輪郭検出処理を実行する。
さらに、ステップＳ３３２では、
スポットライト照射領域と非照射領域の混合領域に対応した顔輪郭検出処理を実行する。
【０１８２】
先に図７、図８を参照して説明したように、諧調再現制御部１２０の被写体（顔）輪郭検出部１２３は、背景領域を処理対象範囲から外し、背景領域以外の領域について、スポットライト照射範囲演算部１５４から入力するスポットライト照射領域情報に基づいて、
スポットライト照射領域
スポットライト非照射領域
これらの２つの領域に区分するローカライズ処理を行なう。
この２つの領域単位で膨張収縮のオープニング画像処理で特異点成分を減らして顔の輪郭情報を抽出し、収縮膨張のクロージング画像処理で最終的な顔輪郭を得る。これらの処理によって正確な顔輪郭検出を行う。
【０１８３】
図１３に示すシーケンス図のステップＳ３３２では、スポットライト照射領域である明るい領域と非照射領域である暗い領域に対して個別に顔輪郭検出処理を実行し、検出結果を最終的に統合する処理を実行する。
【０１８４】
（ステップＳ３１３，ステップＳ３２３，ステップＳ３３３）
ステップＳ３１３とステップＳ３２３、およびステップＳ３３３の処理は、肌色検出を実行する色再現制御部１２０の実行する処理である。
【０１８５】
色再現制御部１２０は、スポットライト照射範囲演算部１５４から入力した画像領域情報に基づいて、実行する処理を決定する。
夜空領域については、ステップＳ３１３において、黒バランス領域色処理を実行する。
また、明るい照明光領域、すなわち、スポットライト照射領域については、ステップＳ３２３において照明光ベースの肌色検出処理を実行する。
【０１８６】
スポットライト照射領域に対する肌色検出処理は、ＲＡＷ画像に対するホワイトバランス調整画像の生成後、さらに、色差ホワイトバランス（ＷＢ）制御部１１２がＹＣｒＣｂ信号に変換後の色差信号を利用して生成したホワイトパランス調整画像を利用して実行する。
このホワイトパランス調整画像を利用して明るい肌色を検出する処理を行なう。
【０１８７】
さらに、ステップＳ３３３においては、スポットライト照射領域と非照射領域が混在する場合の肌色検出処理を実行する。
この処理は、先に図８等を参照して説明した処理である。
【０１８８】
色再現制御部１１０は、明度境界をまたがる範囲を分割して分割領域単位で光源照明色温度推定を伴うホワイトバランス（ＷＢ）調整画像に基づく肌色検出を実行して、各分割領域単位の検出結果を統合して肌色抽出データを生成する。
【０１８９】
色再現制御部１１０は、諧調再現制御部１２０の被写体（顔）輪郭検出部１２３から、明るさ段差領域情報を適用して得られた正確な顔輪郭領域情報を得る。
さらに、スポットライト照射範囲演算部１５４から入力するスポットライト照射領域情報に基づいて、顔輪郭領域を、
スポットライト照射領域
スポットライト非照射領域
これらの２つの領域に分割する。
【０１９０】
色再現制御部１１０は、スポットライト照射領域と非照射領域に対して、個別のホワイトバランス調整を実行して、それぞれのホワイトバランス調整画像を用いて、スポットライト照射領域については、明るい肌色を検出する処理を実行し、スポットライト非照射領域については暗い肌色を検出する処理を実行する。
このように、スポットライト照射領域と、非照射領域に対する個別の処理を行ない、その後、各領域から検出した肌色領域を統合して、最終的な肌色領域検出結果を生成する。
【０１９１】
なお、前述したように、色差ホワイトバランス（ＷＢ）制御部１１２は、スポットライト非照射領域の暗い画像に基づくホワイトバランス画像を生成するが、このホワイトバランス画像は、この画像から抽出される暗い肌色が、スポットライト照射領域から抽出される明るい肌色と同じ肌色位相となるように調整されたホワイトバランス調整画像である。
【０１９２】
例えば図８に示すＣＩＥＬＡＢ空間内に示すように、明るい肌色のＬＡＢ各値と暗い肌色に対応するＬＡＢ各値は異なるが、色差ホワイトバランス（ＷＢ）制御部１１２は、暗い肌色が、スポットライト照射領域から抽出される明るい肌色と同じ肌色位相となるように調整されたホワイトバランス調整画像を生成する。
色再現制御部１２０は、このように、スポットライト照射領域と、非照射領域に対する個別の処理を行ない、その後、各領域から検出した肌色領域を統合して、最終的な肌色領域検出結果を生成する。
【０１９３】
（ステップＳ３３４）
ステップＳ３３４は、顔検出部１６０の実行する処理である。
顔検出部１６０は、先に図７を参照して説明したように、
フォーカス制御部１３０におけるフォーカス一致情報、
ノイズ低減（ＮＲ）部２０１におけるノイズ除去画像情報、
諧調再現制御部１２０において生成される顔輪郭情報、
色再現制御部１１０において生成される肌色領域情報、
これらの情報を利用して、フォーカスの一致したノイズ除去された撮影画像を適用して顔領域の検出を行う。顔領域の決定は、顔輪郭領域と肌色領域との両データを利用して実行する。これらの処理によって、顔画像の動き変化につよい（ロバストな）、顔検出が可能となる。
【０１９４】
顔検出部１６０は、検出した顔領域の全体を囲む位置に、顔検出枠を表示させるためのコマンドを表示制御部１０６に出力する。
表示制御部１０６は、このコマンドに応じて、表示部１０７の顔表示領域に顔検出枠を表示する。
【０１９５】
（ステップＳ３３５）
ステップＳ３３５の処理は、フォーカス制御部１２１の実行する処理である。
この処理は、先に図１０を参照して説明した処理に対応する。
先に図１０を参照して説明したように、フォーカス制御部は、以下の３種類のいずれかのオートフォーカス制御を実行する。
（１）ビームライトによる照射が実行されず、顔検出処理が行われる場合は、顔検出部１６０の出力する顔検出枠中心座標データ２８２をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
（２）顔追尾モードが設定され、ビームライトによる照射が実行され、顔検出処理も行われる場合は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
（３）ビームライトによる照射、顔検出処理のいずれも行われない場合は、現像信号処理部１０３の出力する前画面中心座標データ２８１をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
【０１９６】
図１３に示すシーケンスでは、上記（２）のオートフォーカス制御、すなわち、
（２）顔追尾モードが設定され、ビームライトによる照射が実行され、顔検出処理も行われる場合は、画面座標／ビームライト方向角度変換部１５３の出力するスポット光中心座標データ２８３をフォーカス重点座標指定データ２８５として利用したオートフォーカス制御。
このオートフォーカス制御を実行する。
【０１９７】
（ステップＳ３３６）
ステップＳ３３６の処理は、画面座標／ビームライト方向角度変換部１５３の実行する処理である。
【０１９８】
画面座標／ビーライト方向角度変換部１５３は、顔追尾モードに設定されている場合、顔検出部１６０からの顔検出情報を入力して、顔検出枠の中心位置にビームライト１７２の照射中心位置を設定し、顔検出枠のサイズに併せて照射スポットの大きさを設定するための制御情報を生成してビームライト制御部１７１に出力する。
画面座標／ビームライト方向角度変換部１５３は、顔検出枠の中心座標と顔検出枠サイズ情報データや、ビームライト１７２の方向指定情報である角度データをビームライト制御部１７１に出力する。
【０１９９】
（ステップＳ３３７）
ビームライト制御部１７１は、画面座標／ビーライト方向角度変換部１５３から入力する制御情報に従ってビームライト１７２の方向、配光角、出力レベルなどを制御する。
なお、ビームライト制御部１７１は、ライト姿勢センサ部１７３が検出するビームライト１７１の姿勢情報に応じて、ビームライトの位置を所定位置に維持するためのフィードバック制御を継続的に実行する。
【０２００】
［８．ストリームデータの生成処理例について］
上述したように、本開示の撮像装置は、スポットライトを被写体の顔領域に照射した画像（動画像）を撮影する。
この撮影画像は、例えばディスクやフラッシュメモリ等の記録媒体に記録することが可能である。あるいはネットワークを介して外部に転送することが可能である。
記録メディアに対するデータ記録、あるいはネットワークを介したデータ転送を行う場合、撮影画像データの圧縮を行って記録する。
【０２０１】
画像データに、スポットライト照射領域が含まれる場合、スポットライト照射領域の画像の階調や、色はスポットライト非照射領域と大きく異なることになる。
このスポットライト照射領域の画素値等の画像情報が、所定のエンコード仕様からはずれた規格外のデータになる場合がある。
この場合、スポットライト非照射領域のエンコード処理と、スポットライト照射領域のエンコード処理を同一のエンコードアルゴリズムでは実行できない。
以下に説明する実施例は、このような事態の解決を図る実施例である。
【０２０２】
図１４は、本実施例の撮像装置における記録または送信用データの生成構成を示すブロック図である。
撮像部１０１において撮影された画像は、撮像信号処理部１０２に入力される。
撮像信号処理部１０２は、ＲＯＷ信号対応の処理として例えばデモザイク処理等を実行し、処理信号を現像信号処理部１０３に出力する。
現像信号処理部１０３は、撮像信号処理部１０２から入力するＲＧＢ信号をＹＣｒＣｂ信号に変換して輝度信号（Ｙ）と色差信号（ＣｒＣｂ）に対する処理を実行する。
【０２０３】
図１４に示す構成例では、この現像信号処理部１０３内に、先に図７を参照して説明した階調再現制御部３０１、色再現制御部３０２を有する。さらに輪郭動き制御部３０３を有する。
【０２０４】
投光マップ情報生成部３２１は、撮影画角判定部１４０から撮影画角情報を入力し、ビームライト制御部１７１からビームライトの設定情報を入力する。
投光マップ情報生成部３２１は、これらの入力情報に基づいて、各撮影画像フレーム内に設定されるスポットライト照射領域を算出して、算出したスポットライト照射領域情報を現像信号処理部１０３に出力する。
【０２０５】
現像信号処理部１０３の諧調再現制御部３０１、色再現制御部３０２、輪郭動き制御部３０３は、以下の２つの処理を実行する。
（１）動画エンコード信号規格の範囲内の映像信号に対する処理（階調情報、色情報、輪郭動き情報の生成）を実行して、動画エンコーダ３１１に入力する。
（２）動画エンコード信号規格の範囲から外れる映像信号に対する処理、規格外の諧調の高輝度信号や色域の広色域信号、輪郭動き信号を投光マップ対応拡張メタデータ生成部３３１に入力する。
【０２０６】
動画エンコーダ３１１に入力された信号は、エンコード処理がなされ、画像パケット生成部３１２に出力されたパケット生成が行われる。生成パケットは、トランスポートストリーム（ＴＳ）生成部に出力される。
一方、投光マップ対応拡張メタデータ生成部３３１は、現像信号処理部１０３から入力する規格外データに基づいて、所定の形式のメタデータを生成する。
【０２０７】
メタデータは、図に示す投光マップ対応拡張メタデータの構成を有する。すなわち、
（ａ）投光範囲情報
（ｂ）投光範囲の階調再現拡張情報
（ｃ）投光範囲の色域再現拡張情報
（ｄ）投光範囲のエッジ動き拡張情報
これらの情報を有する。
【０２０８】
（ａ）投光範囲情報は、画像内のビームライトによるスポットライト照射領域を示す情報である。
（ｂ）投光範囲の階調再現拡張情報は、スポットライト照射領域内の高輝度の画素階調を示す情報である。
（ｃ）投光範囲の色域再現拡張情報は、スポットライト照射領域内の色を示す色情報である。
（ｄ）投光範囲のエッジ動き拡張情報は、スポットライト照射領域内エッジ動きを示す情報である。
【０２０９】
投光マップ対応拡張メタデータ生成部３３１の生成した上記（ａ）〜（ｄ）の情報を含む投光マップ対応拡張メタデータは、メタデータエンコーダ３３２に入力され、エンコード処理が実行される。
エンコード結果は、メタデータパケット生成部３３３に入力されパケット化される。
なお、メタデータを格納したパケット（ＴＳパケット（トランスポートストリームパケット））のヘッダ（ＴＳヘッダ）には、メタデータ格納パケットであることを識別可能としたパケットＩＤ（ＰＩＤ）を設定する。
生成されたパケットは、トランスポートストリーム生成部３４１に入力される。
【０２１０】
トランスポートストリーム生成部３４１は、画像パケット生成部３１２から入力する画像パケットと、メタデータパケット生成部３３３から入力するメタデータ格納パケットのマルチプレクス（ＭＵＸ）処理を行ない、記録媒体格納用、あるいは外部出力用のデータ形式であるトランスポートストリームを生成する。
生成したトランスポートストリームは、出力部３４２を介して記録メディアに格納される。あるいはネットワーク等を介して外部に出力される。
【０２１１】
なお、拡張映像メタデータを映像ストリームフォーマットの後方互換性を保ちながらトランスポートストリームに生成する技術にはたとえば本出願人の先の特許出願である特許５３６９９５２号公報において開示した動画新規情報拡張技術が利用できる。
また、ＴＳパケットを３２ｋバイト、６４ｋバイトと最小公倍数の整数倍にアライン可能にしておく技術としては本出願人の先の特許出願である特許４３１０８２１号公報に開示した高速送り出し記録用データのパケット化技術の利用が可能である。
【０２１２】
図１５は、図１４に示す構成を適用したトランスポートストリーム生成処理のシーケンスを示す図である。
図１５には、左から、投光マップ情報生成部３２１、階調再現制御部３０１、色再現制御部３０２、輪郭動き制御部３０３、投光マップ対応拡張メタデータ生成部３３１、メタデータパケット生成部３３３、トランスポートストリーム（ＴＳ）生成部３４１の実行する処理を示している。
以下、各ステップの処理について説明する。
【０２１３】
（ステップＳ４０１）
ステップＳ４０１の処理は、投光マップ情報生成部３２１の実行する処理である。
投光マップ情報生成部３２１は、撮影画角判定部１４０から撮影画角情報を入力し、ビームライト制御部１７１からビームライトの設定情報を入力する。
投光マップ情報生成部３２１は、これらの入力情報に基づいて、各撮影画像フレーム内に設定されるスポットライト照射領域を算出して、算出したスポットライト照射領域情報を現像信号処理部１０３に出力する。
【０２１４】
（ステップＳ４０２〜Ｓ４０４）
ステップＳ４０２〜Ｓ４０４の処理は、現像信号処理部１０３の諧調再現制御部３０１、色再現制御部３０２、輪郭動き制御部３０３の実行する処理である。
これらの各処理部は、以下の２つの処理を実行する。
（１）動画エンコード信号規格の範囲内の映像信号に対する処理（階調情報、色情報、輪郭動き情報の生成）を実行して、動画エンコーダ３１１に入力する。
（２）動画エンコード信号規格の範囲から外れる映像信号に対する処理、規格外の諧調の高輝度信号や色域の広色域信号、輪郭動き信号を投光マップ対応拡張メタデータ生成部３３１に入力する。
【０２１５】
図１５に示すシーケンス図では上記（１）の処理によって生成されたデータについての処理は省略している。（１）の処理によって動画エンコーダ３１１に入力された信号は、エンコード処理がなされ、画像パケット生成部３１２に出力されたパケット生成が行われる。生成パケットは、トランスポートストリーム（ＴＳ）生成部に出力される。
【０２１６】
（ステップＳ４０５）
上記（２）の処理によって生成されたデータ、すなわち、動画エンコード信号規格の範囲から外れる映像信号に対する処理、規格外の諧調の高輝度信号や色域の広色域信号、輪郭動き信号を投光マップ対応拡張メタデータ生成部３３１に入力される。
ステップＳ４０５において、投光マップ対応拡張メタデータ生成部３３１は、現像信号処理部１０３から入力する規格外データに基づいて、所定の形式のメタデータを生成する。
【０２１７】
メタデータは、図に示す投光マップ対応拡張メタデータの構成を有する。すなわち、
（ａ）投光範囲情報
（ｂ）投光範囲の階調再現拡張情報
（ｃ）投光範囲の色域再現拡張情報
（ｄ）投光範囲のエッジ動き拡張情報
これらの情報を有する。
【０２１８】
（ａ）投光範囲情報は、画像内のビームライトによるスポットライト照射領域を示す情報である。
（ｂ）投光範囲の階調再現拡張情報は、スポットライト照射領域内の高輝度の画素階調を示す情報である。
（ｃ）投光範囲の色域再現拡張情報は、スポットライト照射領域内の色を示す色情報である。
（ｄ）投光範囲のエッジ動き拡張情報は、スポットライト照射領域内エッジ動きを示す情報である。
【０２１９】
（ステップＳ４０６）
投光マップ対応拡張メタデータ生成部３３１の生成した上記（ａ）〜（ｄ）の情報を含む投光マップ対応拡張メタデータは、メタデータエンコーダ３３２に入力され、エンコード処理が実行される。
エンコード結果は、メタデータパケット生成部３３３に入力されパケット化される。
【０２２０】
なお、メタデータを格納したパケット（ＴＳパケット（トランスポートストリームパケット））のヘッダ（ＴＳヘッダ）には、メタデータ格納パケットであることを識別可能とした専用に新規定義されたパケットＩＤ（ＰＩＤ）が設定される。
生成されたパケットは、トランスポートストリーム生成部３４１に入力される。
【０２２１】
（ステップＳ４０７）
ステップＳ４０７において、トランスポートストリーム生成部３４１は、画像パケット生成部３１２から入力する画像パケットと、メタデータパケット生成部３３３から入力するメタデータ格納パケットのマルチプレクス（ＭＵＸ）処理を行ない、記録媒体格納用、あるいは外部出力用のデータ形式であるトランスポートストリームを生成する。
生成したトランスポートストリームは、出力部３４２を介して記録メディアに格納される。あるいはネットワーク等を介して外部に出力される。
【０２２２】
図１６は、図１４のデータ記録、送信構成を用いて生成したトランスポートストリームを入力して再生する再生装置の構成例を示す図である。なお、図５に示す撮像装置を再生装置として利用することも可能である。
【０２２３】
入力部３５１は、記録メディアあるいは、外部装置からネットトワーク等を介してトランスポートストリームを入力し、トランスポートストリームパケット判別部３５２に出力する。
【０２２４】
トランスポートストリームパケット判別部３５２は、パケットＩＤ（ＰＩＤ）に基づいてトランスポートストリームを構成するパケットを種類別に判別する。例えば画像格納パケットとメタデータ格納パケットを分類し、画像パケットを画像デコーダ３５３に出力し、メタデータ格納パケットをメタデータデコーダ３５４に出力する。
【０２２５】
画像デコーダ３５３は画像パケットに格納された圧縮（エンコード）された画像データを復号（デコード）して映像再現制御部３５５に出力する。映像再現制御部３５５は、図５等に示す現像信号処理部１０３と同様ＹＣｒＣｂ信号に対する処理を実行する。撮像装置の現像信号処理部１０３は、図１６に示す映像再現制御部３５５として利用することが可能である。
メタデータデコーダ３５４は、メタデータ格納パケットに格納された圧縮（エンコード）されたメタデータを復号（デコード）して映像再現制御部３５５に出力する。
【０２２６】
なお、メタデータには、
（ａ）投光範囲情報
（ｂ）投光範囲の階調再現拡張情報
（ｃ）投光範囲の色域再現拡張情報
（ｄ）投光範囲のエッジ動き拡張情報
これらの情報が含まれる。
【０２２７】
映像再現制御部３５５は、階調再現制御部３７１、色再現制御部３７２、輪郭動き制御部３７３を有する。
映像再現制御部３５５の諧調再現制御部３７１、色再現制御部３７２、輪郭動き制御部３７３は、以下の２つの処理を実行する。
（１）画像パケットから取得した動画エンコード信号規格の範囲内の映像信号に基づく再生データ生成処理（階調情報、色情報、輪郭動き情報の生成）を実行して、規格ないＲＧＢ信号表示制御部３５６に出力する。
（２）メタデータ格納パケットから取得した動画エンコード信号規格の範囲から外れる映像信号に対する処理、規格外の諧調の高輝度信号や色域の広色域信号、輪郭動き信号を規格外ＲＧＢ信号表示制御部３５７に出力する。
なお、上記（２）の処理は、主にビームライトの照射領域内のデータに対応する処理となる。
【０２２８】
規格内ＲＧＢ信号表示制御部３５６は、表示用の規格内ＲＧＢ信号を生成して表示部３５８に出力する。
一方、規格外ＲＧＢ信号表示制御部３５７は、表示用の規格外拡張ＲＧＢ信号を生成して表示部３５８に出力する。
なお、規格外ＲＧＢ信号表示制御部３５７の出力は、規格外拡張ＲＧＢ信号の表示が可能な表示部にたいしてのみ実行する。
具体的には、高コントラスト（例えばＣＲ１０００：１対応）表示、および広色域の均等色空間ＣＩＥＬＡＢ対応表示の可能な表示部に対してのみ出力されることになる。これらは、直下型ＬＥＤダイナミック照明液晶パネルや有機ＥＬパネルで実現されている。
【０２２９】
［９．メタデータの具体例について］
図１４〜図１６において、スポットライト照射領域に関する画像情報をメタデータとして設定して処理を行なう実施例について説明した。
メタデータには、
（ａ）投光範囲情報
（ｂ）投光範囲の階調再現拡張情報
（ｃ）投光範囲の色域再現拡張情報
（ｄ）投光範囲のエッジ動き拡張情報
これらの情報が含まれる。
【０２３０】
このように、メタデータには、ビームライトによるスポット光が照射された画像領域についての情報が含まれる。
このメタデータの一例について、図１７を参照して説明する。
図１７は、ビームライトの集光特性に応じたメタデータの例を説明する図である。
図１７には、以下の各図を示している。
（１）ビームライトの集光特性
（２）ビームライトの距離−明るさ（強度）特性
（３）メタデータの具体例
【０２３１】
（１）ビームライトの集光特性に示すように、ビームライトは拡散時と集光時とでは、スポット光の広がりや届く距離が異なってくる。
具体的には、拡散時は撮像装置からの距離＝約２ｍがスポット光照射可能距離となり、集光時は、約２０ｍがスポット光照射可能距離となる。
スポット光の大きさも距離によって異なるものとなる。
【０２３２】
また、（２）ビームライトの距離−明るさ（強度）特性に示すように、ビームライトの拡散時、集光時とも、距離に応じてビームライトの明るさ（強度）は低下する。
図には、環境光の明るさも示しているが、環境光の明るさはカメラからの距離に応じて変化せず、ほぼ一律の明るさとなる。
【０２３３】
カメラの撮影する画像の画素値は、ビームライトの光（照明光）と環境光との影響が混在したものとなる。
すなわち、ビームライト光源色と環境光光源色との配分に応じて異なる被写体色として撮影される。
【０２３４】
（３）メタデータの具体例には、これらビームライト光源色と環境光光源色との配分に応じて異なる被写体色を説明する図を示している。
【０２３５】
（ａ）ビームライト集光時は、
被写体距離＝２ｍの場合、撮影画像に含まれる被写体の画素値は、環境光の光源色の影響が３０％、ビームライトの光源色の影響が７０％の比率で、それぞれの光源色の影響が反映された画素値となる。
被写体距離＝２０ｍの場合、撮影画像に含まれる被写体の画素値は、環境光の光源色の影響が７０％、ビームライトの光源色の影響が３０％の比率で、それぞれの光源色の影響が反映された画素値となる。
【０２３６】
一方、（ｂ）ビームライト拡散時は、
被写体距離＝２ｍの場合、撮影画像に含まれる被写体の画素値は、環境光の光源色の影響が５０％、ビームライトの光源色の影響が５０％の比率で、それぞれの光源色の影響が反映された画素値となる。
被写体距離＝２０ｍの場合、撮影画像に含まれる被写体の画素値は、環境光の光源色の影響が１００％、ビームライトの光源色の影響が０％の比率で、それぞれの光源色の影響が反映された画素値となる。
【０２３７】
このように、ビームライトのスポット光の領域設定に応じて画像の画素値は異なる画素値となり、この設定に応じて再生画像を生成することが必要となる。
このような情報をメタデータとして格納することで、より精度の高い再生画像を生成することが可能となる。
【０２３８】
なお、ビームライトの光源色は、利用するビームライトに応じて異なるものとなる。
図１８は、ビームライトおよび環境光の光源色の例を説明する図である。図１８には以下の各図を示している。
（１）ビームライトの光源色の一例
（２）環境光の光源色の例
【０２３９】
（１）ビームライトの光源色の一例はＬＥＤを用いたビームライとの光源色の波長−強度特性図（分光特性）である。横軸が波長（ｎｍ）、縦軸が強度を示している。
（２）環境光の光源色の例として、以下の各環境光の波長−強度特性図（分光特性）を示している。
（例１）空の色の分光特性と、水中の色の分光特性
（例２）緑色にピークのある蛍光灯、水銀灯の分光特性
（例３）ランタン、白熱灯、朝焼け、夕焼けの分光特性
【０２４０】
このように、ビームライト、環境光の特性は様々であり、利用するビームライトや撮影環境に応じて、撮影画像の被写体色として設定委される画素値は異なるものとなる。
これらの情報を含むメタデータを生成して、撮影画像に対応付けて記録または送信することで、画像再生時に、メタデータを利用した再生画像を生成することで、被写体の本来の色を再現することが可能となる。
【０２４１】
［１０．撮像信号処理部と現像信号処理部におけるホワイトバランス調整と色変換処理の補足］
上述した実施例において、例えば図１０を参照して説明したように、撮像信号処理部１０２においてはＲＡＷ画像に対するホワイトバランス（ＷＢ）調整画像を生成する。
また、現像信号処理部１０３は撮像信号処理部１０２から入力するＲＧＢ画像をＹＣｒＣｂ信号に変換して、さらにホワイトバランス（ＷＢ）調整処理を実行する。
さらに、現像信号処理部１０３は表示部１０７に表示するための色変換処理を実行する。
以下、これらの処理について、補足的な説明をする。
【０２４２】
色空間は色表現できる色範囲で、一般に所定のＲＧＢ信号が使われる場合にはＲＧＢ３色で表現できる色度図上の三角の範囲であり、色域は色空間で示される範囲で、表現できる表現対応色となる、色の広さである。
撮像信号処理部１０２は、以下の手順でホワイトバランス（ＷＢ）調整を実行する。
まず、環境光色温度の抽出処理を行ない、無色灰色に近似領域と判断される微小振幅信号部から環境光の色温度および分光色バランスを検出する。
次に、撮像素子の出力に対するゲイン制御部に対して、この検出情報に基づく制御信号をフィードバックしてＲＧＢ各色に対するゲイン調整を行う。
これらの処理によってＲＡＷ画像に対するホワイトバランス調整を実行する。
【０２４３】
一方、ＹＣｒＣｂ信号に対する処理を実行する撮像信号処理部１０２は、画像の高彩度以外と判断される領域の明るさ変化に対応した色バランスを考慮したホワイトバランス（ＷＢ）調整を行う。
具体的には、明るさ境界変化に対応する色相変化を、均等色空間であるＣＩＥＬＡＢのＬＵＴを参照して色相シフトを検出、補正し、明るさ変化に対応する色バランスＷＢ制御を実行する。
【０２４４】
なお、図１４を参照して説明した投光マップ情報を利用可能な構成では、撮像信号処理部１０２は、
スポットライト照射領域
スポットライト非照射領域、
これら２つの領域各々について、個別の光源色温度、光源分光特性を推定または取得してこれらの情報を利用して各領域単位の個別にホワイトバランス調整を実行する。
その後、これらのＷＢ調整結果を統合する。
【０２４５】
なお、現像信号処理部１０３は、図５に示すように表示部１０７に出力するための画像信号を生成して出力する。
表示部１０７には、様々なタイプがあり、表示可能な色域も異なる。
図１９、図２０を参照して色域について説明する。
図１９に、例えば２Ｋ  Ｆｕｌｌ−ＨＤ画像の表示可能な色域に相当するＩＴ−Ｕ  Ｒ７０９の色域、および４Ｋ  ＵＨＤ、８Ｋ  ＵＨＤ画像等のスーパーハイビジョンの表示可能な色域に相当するＩＴ−Ｕ  Ｒ２０２０の色域を示す。
【０２４６】
現像信号処理部１０３は、ＷＢ調整によって色バランスされたＣｒＣｂ色信号を、３次元ＬＵＴ（３Ｄ−ＬＵＴ）を用いてＲＧＢ信号に変換して出力する。
このＬＵＴは、図１９に示すように、表示部１０７の表示可能な色域は出力される各映像信号方式フォーマット規格ではＣＩＥＸＹＺ色空間で定義されている色域、ＩＴ−Ｕ  Ｒ７０９、ＩＴ−Ｕ  Ｒ２０２０など、で規定される表現可能なＲＧＢ−Ｗを頂点として設定される３次元ＬＵＴ（３Ｄ−ＬＵＴ）である。
【０２４７】
この３Ｄ−ＬＵＴは、ＹＣｒＣｂから表示部１０７の表現可能な色空間への変換に用いられるルックアップテーブルである。
３Ｄ−ＬＵＴは表示部１０７の表現可能な色空間のＲＧＢ−Ｗを各頂点にもつ中間色を含む色調整点群集合の３Ｄ色空間ＬＵＴデータテーブルであり、色空間で定められる色域内の色調整点のうち最短距離の色調整点データに変換することで、高彩度色データが変換色空間の色域内の最も近い色データに彩度を引き下げた色データに変換可能となる。
このＬＵＴを用いたＲＧＢ信号の生成によって、色相を維持した出力画像信号を生成する。
【０２４８】
なお、スポットライト照射領域などに発生する突出した高彩度色信号のＹＣｒＣｂ信号における色相については、人の感じる均等色空間であるＣＩＥＬＡＢ色空間の色相にある程度、近い近似であると想定し、図１９に示す３次元ＬＵＴ（３Ｄ−ＬＵＴ）を用いて、表示部１０７の表現可能な色域範囲に収めるように変換した色信号を生成する。
また、図１９に示す３次元ＬＵＴ（３Ｄ−ＬＵＴ）は、低彩度に密、高彩度に粗の色調整点群集合とするノンリニア３次元ＬＵＴ（３Ｄ−ＬＵＴ）を用いて色変換することで、低彩度画像の滑らかな色変化、色諧調再現で画質を高めることが可能である。
【０２４９】
なお、４Ｋ、８Ｋ等のスーパーハイビジョン画像に適用される色空間は人間にとって十分広い色域であるＲ２０２０色空間を許容する。従って、例えば先に図１４を参照して説明したメタデータを格納したパケットは、必ずしも利用する必要はない。
しかし２Ｋ  ＨＤ画像を表示する表示部を利用する場合は、狭い色域であるＩＴ−Ｕ  Ｒ７０９色空間への変換が必要となるので、先に図１４を参照して説明した規格外ＲＧ信号の表示制御用のメタデータを格納したパケットを利用する構成とすることが好ましい。
【０２５０】
最後に、低照度シャドー部の諧調と高輝度ハイライト部の諧調をともにフィルム撮影と同じレベルで撮影収録するカメラ撮影映像技術として最近の業務映像制作に利用されるＳ−Ｌｏｇ２で撮影された場合の実施例を簡単に説明する。
図２０に、参考図として、撮像入力信号（ｉｎｐｕｔ）を横軸、出力信号（ｏｕｔｐｕｔ）を縦軸、としたカメラ撮像時のＳ−Ｌｏｇ２の入出力特性を、ＩＴ−Ｕ７０９との比較で図示する。
【０２５１】
現在、ＸＡＶＣ  Ｓ映像記録フォーマットが規格化され、４Ｋ  ＵＨＤ映像をＬｏｎｇ  ＧＯＰで記録できるようになった。また、固体撮像素子を用いた撮影において、ネガフィルムの諧調特性と同等のガンマ値の撮影を実現し、後編集を可能としたＳ−Ｌｏｇ２記録も可能となっている。
【０２５２】
このＸＡＶＣ  Ｓ映像記録方式の１つであるＳ−Ｌｏｇ２記録では、諧調をＳ−Ｌｏｇ２、色域をＳ−Ｇａｍｕｔで記録する。
諧調に業務用カメラ規格のＳ−Ｌｏｇ２を採用し、色域に業務用カメラ規格のＳ−Ｇａｍｕｔを採用して撮影された映像コンテンツは、撮影シーン画面内の暗いシャドー部諧調をフィルムと同等に撮像できる。また、ＩＳＯ感度すなわちカメラゲインを低照度、例えば２０００〜６４００にすることでシャドー部での微小な諧調信号を感度よく撮像できる。また、撮影シーン画面内の明るいハイライト部諧調もフィルムと同等に撮像できる。具体的な処理としては、撮像素子ＲＧＢ信号のニー処理をさせずに独自定義のＬｏｇ特性で圧縮して振幅１３００％を１００％に収め、１０ビット〜１４ビット精度でデジタル信号化することで、ハイライト部分の諧調を損なうことなく撮像し記録することが可能である。
【０２５３】
Ｓ−Ｌｏｇ２記録はポストプロダクションでの映像制作編集を前提とした方式であり、従来はソニー業務用カメラの独自規格であった。特に暗いステージや会場で照明が飛び交うハイライト部とシャドー部のダイナミックレンジの広いシーンの撮影では、よりフィルム特性に近付けた諧調の広い映像表現を実現するために、Ｓ−Ｌｏｇ２を使って濃淡諧調をＬｏｇ圧縮した映像のカメラ記録を行い、撮影収録後にポストプロダクションの映像編集制作で撮影意図にあわせた諧調再現処理を行うグレーディングを行うことを可能としている。
また、Ｓ−Ｇａｍｕｔとは、ソニー製業務用カメラが撮像で対応できる広色域である。ＩＴＵ−Ｒ  ＢＴ．７０９は、ＲＧＢ点で定める色空間より広く、ＩＴＵ−Ｒ  ＢＴ．２０２０がＲＧＢ点で定める人間が識別できる最大限界に近い色空間として定義されるが、Ｓ−Ｇａｍｕｔは、その大半をカバーする。
【０２５４】
ポストプロダクション制作編集では、記録された広い色域Ｓ−Ｇａｍｕｔの、例えばＲ（０．７３０，  ０．２８０）、Ｇ（０．１４０，  ０．８５５）、Ｂ（０．１００，  −０．０５０）から、出力される一般映像信号規格ＩＴＵ−Ｒ  ＢＴ．７０９の色域のＲ（０．６４０，  ０．３３０）、Ｇ（０．３００，  ０．６００）、Ｂ（０．１５０，  ０．０６０）に３Ｄ  ＬＵＴでプロファイル変換を行う。
Ｓ−Ｌｏｇ２記録の映像はそのままではグレー中間調あたりの諧調が緩やかすぎてコントラストに乏しく一般視聴用には耐えられないので、カメラ撮影収録後にポストプロダクション映像制作編集を行う。先ず、３Ｄ  ＬＵＴで７０９へのプロファイル変換を行ってから各映像シーンでの注目部分を中心に撮影制作意図にあう諧調でグレーディングを行う。
【０２５５】
グレーディングは、例えば以下のような場合に実行される。
各撮影シーンのカットで、収録映像コンテンツで注目させたいシャドー部がもつオリジナルの諧調を表現する場合、
これは人の目がシャドー部に目を凝らすと暗さに慣れて本来のディテールが見えるのに対応する。
また、収録映像コンテンツで注目させたいハイライト部がもつオリジナルの諧調を表現する場合、
これは人の目がハイライトの照明や発光ディスプレイに注目すると明るさに慣れて本来のディテールが見える、窓の外の風景に注目すると太陽光を浴びた風景の明るさに慣れて本来のディテールが見えるのに対応する。
このようにポストプロダクション映像制作編集をすることにより、映像表現したい注目部分でフィルムなみの諧調表現を行う。婿の処理により、カメラ撮影者の撮影創作意図を見せて視聴者が楽しめる、プロフェッショナル映像コンテンツの制作が可能となる。
【０２５６】
本開示の処理において、Ｓ−Ｌｏｇ２記録を行う場合、ＹＣＣ変換して記録したあと、ポストプロダクション映像制作編集で、３Ｄ−ＬＵＴでの７０９へのプロファイル変換を行う段階で、Ｓ−Ｌｏｇ２特性での色再現制御を行う。
カラープロファイルの３要素は、ＲＧＢ三刺激値の各色できめる色空間と、白点黒点による白点の色温度、γ特性である。Ｓ−Ｌｏｇ２記録を行うと、ガンマ特性が違い、中間部分の濃度が違って見えるので、全体の色調に影響が出る。また制作したコンテンツの濃淡が違って見える。従来ＩＴＵ−Ｒ  ＢＴ．７０９撮影記録ではカメラのＲＧＢのハイライトレベル制限リミッタ回路であるニーで明るさ上限の諧調が失われ色が消されて撮影収録できなかったハイライト部の映像と光源色の被写体からの反射色は、Ｓ−Ｌｏｇ２／Ｓ−Ｇａｍｕｔ記録を使えば記録可能である。カメラ撮影記録の際の現像信号処理部の色再現制御では色再現制御ホワイトバランスを同じく色演出をせずにおき、このポストプロダクション映像制作の段階で色味を演出創作して加える。
【０２５７】
本開示の処理にＳ−Ｌｏｇ２映像記録を適用すると、ハイライトな投光範囲内でも諧調と色が失われず映像情報データとして維持記録されるので、ハイライトな投光マップ範囲内のＬＥＤビーム光の光源色と環境光色温度は、Ｓ−Ｌｏｇ２諧調特性に対応する投光マップ対応拡張メタデータを付属させることが必要である。特に（ｂ）投光範囲の階調再現拡張情報、（ｃ）投光範囲の色域再現拡張情報を、それぞれＳ−Ｌｏｇ２の投光マップ範囲内のハイライト部までの広範囲な諧調特性レベルに対応させることが必要である。このメタ情報データを用いてポストプロダクション映像制作のグレーディングでハイライトな投光マップ範囲内の被写体の色のグレーディングや、映像演出創作を行うことができる。
【０２５８】
［１１．本開示の構成のまとめ］
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
【０２５９】
なお、本明細書において開示した技術は、以下のような構成をとることができる。
（１）  撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記画像処理部は、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成する撮像装置。
【０２６０】
（２）  前記画像処理部は、
前記撮影画像から顔輪郭を検出する顔輪郭検出部と、肌色を検出する肌色検出部を有し、
前記顔輪郭検出部と、前記肌色検出部は、前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で検出処理を実行し、区分領域単位の検出結果を統合して検出結果を生成する前記（１）に記載の撮像装置。
【０２６１】
（３）  前記画像処理部は、
前記撮影画像から顔輪郭を検出する諧調再現制御部を有し、
前記諧調再現制御部は、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で個別の輪郭特徴点の検出に基づく顔輪郭データを取得する処理を実行する前記（１）または（２）に記載の撮像装置。
【０２６２】
（４）  前記画像処理部は、
前記撮影画像から肌色検出処理を実行する色再現制御部を有し。
前記色再現制御部は、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で個別のホワイトバランス調整処理を実行して生成した区分領域単位のホワイトバランス調整画像を適用して肌色検出処理を実行する前記（１）〜（３）いずれかに記載の撮像装置。
【０２６３】
（５）  前記色再現制御部は、
ＲＡＷ画像に対するホワイトバランス調整処理を実行するＲＡＷ−ホワイトバランス制御部と、
ＹＣｒＣｂ画像に対するホワイトバランス調整処理を実行する色差ホワイトバランス制御部を有し、
ＲＡＷ−ホワイトバランス制御部、色差ホワイトバランス制御部の双方が、前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で個別のホワイトバランス調整処理を実行する前記（４）に記載の撮像装置。
【０２６４】
（６）  前記色差ホワイトバランス制御部は、
前記ビームライトの非照射領域に対するホワイトバランス調整処理において、
明るい肌色と暗い肌色が同じ肌色位相になる暗い肌色を算出し、肌色部分が、算出した暗い肌色になるようＣｒＣｂの環境光源の色温度推定値の目標値を設定して色差ホワイトバランス調整を実行する前記（５）に記載の撮像装置。
【０２６５】
（７）  前記画像処理部は、
前記ビームライトの照射領域と、非照射領域の区分情報を算出するスポットライト照射範囲演算部を有し、
前記画像処理部は、前記スポットライト照射範囲演算部の算出した領域区分情報を用いて、区分領域単位の顔検出を実行する前記（１）〜（６）いずれかに記載の撮像装置。
【０２６６】
（８）  前記画像処理部は、
前記撮影画像から検出した顔領域を示す顔検出枠を表示部に出力し、
さらに、前記ビームライトを前記顔領域に追随させるための顔領域位置情報を出力する前記（１）〜（７）いずれかに記載の撮像装置。
【０２６７】
（９）  前記ビームライトの制御を実行するビームライト制御部は、
前記画像処理部から入力する顔領域位置情報を用いて、前記ビームライトを顔領域に追随させる制御を実行する前記（８）に記載の撮像装置。
【０２６８】
（１０）  前記撮像装置は、
前記画像処理部において検出された顔領域に対するフォーカス制御を実行するフォーカス制御部を有し、
前記フォーカス制御部は、
前記画像処理部において検出された顔領域に設定される顔検出枠の中心に対するフォーカス制御を実行する前記（１）〜（９）いずれかに記載の撮像装置。
【０２６９】
（１１）  前記撮像装置は、
前記ビームライトの照射領域と非照射領域を含む撮影画像を格納したパケットを構成要素とするトランスポートストリームを生成するトランスポートストリーム生成部と、
前記ビームライトの照射領域に関する画像情報を選択的に格納したメタデータ格納パケットを生成するメタデータパケット生成部と、
前記メタデータ格納パケットに格納するメタデータを生成するメタデータ生成部を有する前記（１）〜（１０）いずれかに記載の撮像装置。
【０２７０】
（１２）  撮像装置に装着される投光装置であり、
光照射を行うビームライトと、
前記ビームライトの照射光の制御を実行するビームライト制御部を有し、
前記ビームライト制御部は、
撮像装置の顔検出部から顔領域位置情報を入力し、入力した顔領域位置情報に基づいて、ビームライトの照射光を顔領域に追随させる制御を実行する投光装置。
【０２７１】
（１３）  前記顔検出部は、顔領域に設定する顔検出枠の中心座標と顔検出枠サイズ情報データを出力し、
前記ビームライト制御部は、顔検出枠の中心座標と顔検出枠サイズ情報データに基づいて、ビームライトの照射光を顔領域に追随させる制御を実行する前記（１２）に記載の投光装置。
【０２７２】
（１４）  撮像装置において実行する画像処理方法であり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記画像処理部が、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成する画像処理方法。
【０２７３】
（１５）  撮像装置において実行するビームライト制御方法であり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトと、
前記ビームライトの照射光の制御を実行するビームライト制御部を有し、
前記画像処理部が、
前記ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行し、区分領域単位の検出結果を統合して顔検出結果を生成して、顔検出結果に基づく顔領域位置情報を生成し、
前記ビームライト制御部は、
前記顔領域位置情報に基づいて、ビームライトの照射光を顔領域に追随させる制御を実行するビームライト制御方法。
【０２７４】
（１６）  撮像装置において画像処理を実行させるプログラムであり、
前記撮像装置は、
撮像部と、
前記撮像部の撮影画像に基づく顔検出を実行する画像処理部と、
光照射を行うビームライトを有し、
前記プログラムは、前記画像処理部に、
前記ビームライトの照射領域と、非照射領域を区分させ、各区分領域単位で顔検出を実行させ、区分領域単位の検出結果を統合して顔検出結果を生成させるプログラム。
【０２７５】
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【０２７６】
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
【産業上の利用可能性】
【０２７７】
以上、説明したように、本開示の一実施例の構成によれば、顔領域に対するビームライトの高精度な追随処理と画像撮影が実現される。
具体的には、撮影画像に基づく顔検出を実行する画像処理部と、光照射を行うビームライトを有し、画像処理部は、ビームライトの照射領域と、非照射領域を区分し、各区分領域単位で顔検出を実行する。肌色検出においては、ビームライト非照射領域に対して、明るい肌色と暗い肌色が同じ肌色位相になる暗い肌色を算出し、肌色部分が、暗い肌色になるようＣｒＣｂの環境光源の色温度推定値の目標値を設定してホワイトバランス調整を実行する。ビームライト制御部は、顔領域位置情報を用いて、ビームライトを顔領域に追随させる制御を実行する。
本構成により、顔領域に対するビームライトの高精度な追随処理と画像撮影が実現される。
【符号の説明】
【０２７８】
１０  撮像装置
２０  ビームライト
４０  撮像画像
４５  スポットライト照射領域
１０１  撮像部
１０２  撮像信号処理部
１０３  現像信号所部
１０４メディアＩＦ
１０５  記憶部（メディア）
１０６  表示制御部
１０７  表示部
１０９  画像信号処理部
１１０  色再現制御部
１１１  ＲＡＷ−ＷＢ制御部
１１２  色差ＷＢ制御部
１１３  肌色検出部
１２０  諧調再現制御部
１２１  露出制御部
１２２  輝度Ｄレンジ制御部
１２３  顔輪郭検出部
１３０  フォーカス制御部
１３１  ＡＦ制御部
１３２  ズーム制御部
１４０  撮影画角判定部
１５１  入力部
１５２  ビームライトモード設定部
１５３  画面座標／ビームライト方向角度変換部
１５４  スポットライト照射範囲演算部
１６０  顔検出部
１７１  ビームライト制御部
１７２  ビームライト
１７３  ライト姿勢センサ部
【図１】
2016015017.tif 000003
【図２】
2016015017.tif 000004
【図５】
2016015017.tif 000005
【図７】
2016015017.tif 000006
【図１０】
2016015017.tif 000007
【図１１】
2016015017.tif 000008
【図１２】
2016015017.tif 000009
【図１３】
2016015017.tif 000010
【図１４】
2016015017.tif 000011
【図１５】
2016015017.tif 000012
【図１６】
2016015017.tif 000013
【図１７】
2016015017.tif 000014
【図１８】
2016015017.tif 000015
【図１９】
2016015017.tif 000016
【図２０】
2016015017.tif 000017
【図３】
2016015017.tif 000018
【図４】
2016015017.tif 000019
【図６】
2016015017.tif 000020
【図８】
2016015017.tif 000021
【図９】
2016015017.tif 000022