(57)【要約】【課題】顔の部位に対応する画像情報の消失を抑制することができる映像処理装置、映像処理方法および映像処理プログラムを提供する。【解決手段】映像処理装置３０は、映像取得部３１、映像検出部３３、部位輝度値取得部３５、輝度判定部３６およびフレーム制御部３２を備える。映像取得部３１は、被撮像体の顔を撮影した映像を取得する。映像検出部３３は、映像取得部３１によって取得された映像から顔の部位を検出する。部位輝度値取得部３５は、映像検出部３３により検出された顔の部位における輝度値を取得する。輝度判定部３６は、部位輝度値取得部３５により取得された輝度値が所定の輝度範囲にあるか否かを判定する。フレーム制御部３２は、輝度判定部３６により輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成する。【選択図】図１
2020145536.tif 000002
【特許請求の範囲】
【請求項１】
被撮像体の顔を撮影した映像を取得する映像取得部と、
前記映像取得部によって取得された前記映像から顔の部位を検出する映像検出部と、
前記映像検出部により検出された前記顔の部位における輝度値を取得する輝度値取得部と、
前記輝度値取得部により取得された輝度値が所定の輝度範囲にあるか否かを判定する輝度判定部と、
前記輝度判定部により輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成するフレーム制御部と、
を備えることを特徴とする映像処理装置。
【請求項２】
前記フレーム制御部は、露出制御したフレームにおいて前記輝度判定部により輝度値が所定の輝度範囲内にあると判定された一または複数の部位に対しては、新たに露出制御したフレームを生成しないことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記輝度値取得部は、前記顔の部位に対応する検出枠内における平均化された輝度値を取得することを特徴とする請求項１または２に記載の映像処理装置。
【請求項４】
前記輝度値取得部は、前記顔の部位に対応する検出枠内で重み付けして輝度値を取得することを特徴とする請求項１から３のいずれか１項に記載の映像処理装置。
【請求項５】
前記顔の部位は、右目の部位および左目の部位を有し、
前記フレーム制御部は、右目の部位および左目の部位の少なくともいずれか一方に対して露出制御したフレームを生成することを特徴とする請求項１から４のいずれか１項に記載の映像処理装置。
【請求項６】
被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された前記映像から顔の部位を検出する映像検出ステップと、
前記映像検出ステップにより検出された前記顔の部位における輝度値を取得する輝度値取得ステップと、
前記輝度値取得ステップにより取得された輝度値が所定の輝度範囲にあるか否かを判定する輝度判定ステップと、
前記輝度判定ステップにより輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成するフレーム制御ステップと、
を備えることを特徴とする映像処理方法。
【請求項７】
被撮像体の顔を撮影した映像を取得する映像取得ステップと、
前記映像取得ステップによって取得された前記映像から顔の部位を検出する映像検出ステップと、
前記映像検出ステップにより検出された前記顔の部位における輝度値を取得する輝度値取得ステップと、
前記輝度値取得ステップにより取得された輝度値が所定の輝度範囲にあるか否かを判定する輝度判定ステップと、
前記輝度判定ステップにより輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成するフレーム制御ステップと、
をコンピュータに実行させることを特徴とする映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像処理方法および映像処理プログラムに関する。
【背景技術】
【０００２】
例えば車両に搭載されるドライブレコーダ等では、車両の外部や車室内を撮影して得られる映像を記憶装置に記憶する。車室内を撮影する場合、車室内の様子を映像として記憶することや、運転者を中心に映像を記憶することなどが行われる。
【０００３】
例えば特許文献１には、露光量制御手段、差分画像生成手段、および外乱光変化頻度予測手段を備える映像処理装置が開示されている。露光量制御手段は、撮像手段の露光時間及び絞りのうちの少なくともいずれか一方により撮像手段の露光量を制御する。差分画像生成手段は、照明手段がオンした状態で撮像手段により撮影された被写体の画像と、照明手段がオフした状態で撮像手段により撮影された被写体の画像との差分画像を生成する。外乱光変化頻度予測手段は、撮像手段に入射する外乱光の変化の頻度が所定閾値より小さい車両走行区間（外乱光変化小区間）を予測する。露光量制御手段は、外乱光変化頻度予測手段により予測された外乱光変化小区間において露光量を固定する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１０−２５２２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
特許文献１に記載の従来の映像処理装置は、外乱光変化の頻度予測により黒つぶれや白とびを防ぐよう機能する。しかしながら、外乱光の影響で被撮像体としての顔に、部分的に影が生じるような場合には、影が生じた部分における顔の部位に対応する画像情報が失われてしまうという問題点があった。例えば、顔の左右で一方に影が生じると、顔の部位である右目および左目のうちいずれか一方の画像情報は失われ、映像をもとに目開閉度等の被撮像体の状態を分析することが困難になる。
【０００６】
本発明は、斯かる事情に鑑みてなされたものであり、その目的とするところは、顔の部位に対応する画像情報の消失を抑制することができる映像処理装置、映像処理方法および映像処理プログラムを提供することにある。
【課題を解決するための手段】
【０００７】
本発明のある態様の映像処理装置は、被撮像体の顔を撮影した映像を取得する映像取得部と、前記映像取得部によって取得された前記映像から顔の部位を検出する映像検出部と、前記映像検出部により検出された前記顔の部位における輝度値を取得する輝度値取得部と、前記輝度値取得部により取得された輝度値が所定の輝度範囲にあるか否かを判定する輝度判定部と、前記輝度判定部により輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成するフレーム制御部と、を備える。
【０００８】
また本発明の別の態様は映像処理方法である。この映像処理方法は、被撮像体の顔を撮影した映像を取得する映像取得ステップと、前記映像取得ステップによって取得された前記映像から顔の部位を検出する映像検出ステップと、前記映像検出ステップにより検出された前記顔の部位における輝度値を取得する輝度値取得ステップと、前記輝度値取得ステップにより取得された輝度値が所定の輝度範囲にあるか否かを判定する輝度判定ステップと、前記輝度判定ステップにより輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成するフレーム制御ステップと、を備える。
【発明の効果】
【０００９】
本発明によれば、顔の部位に対応する画像情報の消失を抑制することができる。
【図面の簡単な説明】
【００１０】
【図１】実施形態に係る映像処理装置を含むドライバーモニターの構成を示すブロック図である。
【図２】図２（ａ）は顔全体に対する露出制御を説明するための模式図であり、図２（ｂ）は生成されるフレームについて説明するための模式図である。
【図３】図３（ａ）は目に対する露出制御の例を説明するための模式図であり、図３（ｂ）は生成されるフレームについて説明するための模式図である。
【図４】図４（ａ）は目に対する露出制御の別の例を説明するための模式図であり、図４（ｂ）は生成されるフレームについて説明するための模式図である。
【図５】図５（ａ）は目に対する露出制御の更に別の例を説明するための模式図であり、図５（ｂ）は生成されるフレームについて説明するための模式図である。
【図６】映像処理装置におけるフレーム生成処理の手順を示すフローチャートである。
【図７】映像処理装置における露出制御値の算出処理の手順を示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明を好適な実施の形態をもとに図１から図７を参照しながら説明する。各図面に示される同一または同等の構成要素、部材には、同一の符号を付するものとし、適宜重複した説明は省略する。また、各図面において実施の形態を説明する上で重要ではない部材の一部は省略して表示する。
【００１２】
（実施形態）
図１は、実施形態に係る映像処理装置３０を含むドライバーモニター１００の構成を示すブロック図である。ドライバーモニター１００は、車両に搭載され、車両の車室内を時間的に連続して撮影する。ドライバーモニター１００は撮影した映像を記録するようにしてもよいし、記録せずに破棄してもよい。ドライバーモニター１００は、例えば車両のフロントガラスの下方におけるダッシュボード上などに配置される。ドライバーモニター１００の映像処理装置３０は、例えば車両に搭乗している運転者を被撮像体として撮影し、撮影された被撮像体の顔、顔の目、鼻、口などの部位を検出する。
【００１３】
映像処理装置３０は、顔全体、および顔の各部位について輝度値を取得し、基準輝度値と比較して露出制御する。映像処理装置３０は、顔全体について露出制御を実行するとともに、各部位において輝度基準値との輝度差が大きい場合に、各部位に対応して露出制御したフレームを生成する。映像処理装置３０は、顔全体で露出制御した顔露出制御フレーム、右目露出制御フレーム、および左目露出制御フレームなどを順次生成するようにしてフレーム制御し、時系列的なフレームで構成される映像データを生成する。
【００１４】
映像処理装置３０によって露出制御された映像データにおいて、右目露出制御フレームおよび左目露出制御フレームは、左右の目の輪郭が判別し易くなり、目の開閉度や、左右の目の傾きなど目部分に関する分析に適したものとなる。本実施形態では、目部分に関する分析機能に関して記載を省略するが、映像処理装置３０において、目の開閉度や、左右の目の傾きなど目部分に関する分析機能を設けてもよい。また映像処理装置３０によって蓄積または出力される映像データに基づいて、外部装置において目部分に関して分析してもよい。尚、目の開閉度や左右の目の傾きなど目部分に関する分析機能は、例えば、被撮像体における眠気の度合判定や、感情状態（例えば平常状態や緊張状態など）の判定などに用いられる。
【００１５】
ドライバーモニター１００は、撮像部１０、記録部２０、映像処理装置３０、外部入力部４０および外部出力部４１等を備える。撮像部１０は、例えばＣＣＤ等の検出器を有するカメラであり、車両に搭乗している例えば運転者を被撮像体として撮影する。撮像部１０は、夜間の暗い時でも運転者等の被撮像体が撮影できるように、適宜、赤外光を被撮像体に照射するものとする。撮像部１０は、時間的に連続して映像を取得し、後述する映像処理装置３０の映像取得部３１へ送出する。
【００１６】
記録部２０は、例えばＳＤカードやＵＳＢメモリ等の着脱可能な媒体や、ハードディスクなどであり、映像取得部３１で取得された映像を記録し、削除することができるものとする。以下、記録部２０が設けられた構成について説明するが、ドライバーモニター１００が映像を記録する部分を持たない場合には記録部２０は設けなくてもよい。記録部２０は、ドライバーモニター１００に着脱可能とすることで、ドライバーモニター１００から取り外し、別のＰＣ等で映像を再生等することができる。
【００１７】
外部入力部４０は、車両の速度情報および位置情報等を外部装置から取得する。また外部出力部４１は、映像処理装置３０によって処理された映像情報等を外部装置へ出力する。ドライバーモニター１００は、外部入力部４０によって取得した速度情報および位置情報等を映像に付加して記録または外部へ出力するようにしてもよい。
【００１８】
映像処理装置３０は、映像取得部３１、フレーム制御部３２、映像検出部３３、顔輝度値取得部３４、部位輝度値取得部３５、輝度判定部３６および露出制御値算出部３７を有する。映像処理装置３０は、例えばＣＰＵ（Central Processing Unit）などによって構成され、コンピュータプログラムに従って動作することによって、上述の各部による処理を実行する。記憶部３０ａは、ＲＡＭ（Random Access Memory）、フラッシュメモリ、ハードディスク記憶装置等のデータ記憶装置によって構成されており、映像処理装置３０で実行するコンピュータプログラム等を記憶する。また記憶部３０ａは、撮影された映像から被撮像体の顔や目等を認識するための認識用辞書を記憶している。
【００１９】
映像取得部３１は、撮像部１０において撮影された映像を取得し、フレーム制御部３２へ出力する。尚、映像取得部３１は、撮像部１０を含んで構成されていてもよい。フレーム制御部３２は、映像取得部３１から入力された映像に基づき時系列的にフレームを生成し、記録部２０へ出力する。フレーム制御部３２は、顔、並びに顔の目、鼻および口等の各部位に対応して露出制御し、顔全体に対して露出制御された顔露出制御フレーム、右目露出制御フレーム、および左目露出制御フレームなどを順次生成する。フレーム制御部３２は、映像取得部３１から入力された映像を映像検出部３３へ出力し、映像検出部３３等で露出量を設定するための処理が実行される。フレーム制御部３２については更に後述する。
【００２０】
映像検出部３３は、記憶部３０ａに記憶された認識用辞書に基づいて、フレーム制御部３２から入力された映像から被撮像体の顔、並びに顔の目、鼻および口等の各部位を検出する。記憶部３０ａに記憶した認識用辞書には、顔や顔の各部位等の形状データ等が含まれており、映像検出部３３は、映像に表われている形状パターンを抽出し、認識用辞書に含まれる形状データと照合することによって顔や顔の各部位等を検出する。映像検出部３３は、様々な分野において開発されてきた公知の画像認識処理の手法を用いて、映像から顔や目等を検出することができる。
【００２１】
顔輝度値取得部３４は、顔全体に対する露出制御をするために顔の輝度値を取得する。顔輝度値取得部３４は、顔検出枠内の輝度平均値を算出し、顔の輝度値として取得する。ここで、顔検出枠は、画像認識処理等によって検出された顔部分の画像を含む枠であり、該枠内の輝度平均値を算出することで顔の輝度値が取得される。部位輝度値取得部３５は、顔の目、鼻および口等の各部位に対する露出制御をするために各部位の輝度値を取得する。部位輝度値取得部３５は、目検出枠内、鼻検出枠内および口検出枠内における輝度平均値を算出し、それぞれの部位の輝度値として取得する。尚、目検出枠、鼻検出枠、口検出枠は、顔検出枠と同様に、画像認識処理等によって検出された目、鼻および口の各部位の画像を含む枠であり、該枠内の輝度平均値を算出することで各部位の輝度値が取得される。
【００２２】
輝度判定部３６は、顔輝度値取得部３４により取得された顔の輝度値、および部位輝度値取得部３５により取得された顔の各部位における輝度値が所定の輝度範囲内にあるか否かを判定する。輝度判定部３６は、顔の輝度値と顔の基準輝度値との輝度差を算出し、該輝度差が所定の閾値以下であるか否かを判定することで、顔の輝度値が所定の輝度範囲内であるか否かを判定する。また、輝度判定部３６は、顔の各部位の輝度値と各部位ごとの基準輝度値との輝度差を算出し、該輝度差が所定の閾値以下であるか否かを判定することで、顔の各部位の輝度値が所定の輝度範囲内であるか否かを判定する。輝度判定部３６は、顔および顔の各部位に対する判定結果および輝度差を露出制御値算出部３７へ出力する。
【００２３】
露出制御値算出部３７は、輝度判定部３６から入力された判定結果において、輝度値が所定の輝度範囲外である場合に、露出制御値を算出する。露出制御値算出部３７は、顔および顔の各部位の輝度値がそれぞれに対応する基準輝度値よりも高い場合には、シャッター速度を速くし、ゲインを下げるべく露出制御値を算出する。また、露出制御値算出部３７は、顔および顔の各部位の輝度値がそれぞれに対応する基準輝度値よりも低い場合には、シャッター速度を遅くし、ゲインを上げるべく露出制御値を算出する。露出制御値算出部３７は、顔および顔の各部位に対して算出した露出制御値をフレーム制御部３２へ出力し、フレーム制御部３２では撮像部１０へ露出制御値を出力し、該露出制御値に基づく制御を実行する。
【００２４】
フレーム制御部３２は、露出制御値算出部３７から入力された顔および顔の各部位に対する露出制御値に基づき、フレーム構成を設定する。図２（ａ）は顔全体に対する露出制御を説明するための模式図であり、図２（ｂ）は生成されるフレームについて説明するための模式図である。図２（ａ）に示す例では、露出制御前の顔全体の映像が暗く、顔の輝度値が基準輝度値よりも低く所定の輝度範囲外となっている。フレーム制御部３２は、顔全体に対応して露出制御すべく、露出制御値算出部３７によって算出された露出制御値に基づいて撮像部１０における露出を制御する。この場合、フレーム制御部３２は、シャッター速度を遅く、ゲインを上げる露出制御値により撮像部１０を制御する。フレーム制御部３２による露出制御は、一回の制御で完了するとは限らず、例えば黒つぶれした画像に対して輝度値が適正になるまでゲインを段階的に上げていくといった制御であってもよい。また動画像として取得する映像に関し、フレーム制御部３２は、時系列的に取得するフレームにおいて、前回取得したフレームでの露出制御値を現在のフレームを取得する際にも用いるなどして再利用し、露出制御の試行回数を低減すべく動作するようにしてもよい。フレーム制御部３２は、顔全体に対する露出制御に限らず、後述する顔の各部位に対する露出制御においても、このような段階的な露出制御、露出制御値の再利用などによる露出制御の処理を実行してもよい。尚、以下、特に説明するほか、段階的な露出制御や露出制御値の再利用については、記載の簡潔のため説明を省略する。
【００２５】
露出制御後に撮影された映像は、顔全体としての輝度値が適正となる。フレーム制御部３２は、図２（ｂ）に示すように露出制御後に撮影された映像を顔露出制御フレームとして時系列的に生成し、記録部２０へ出力する。
【００２６】
フレーム制御部３２は、顔露出制御フレームにおける顔の各部位の輝度値に基づき、各部位に対応して露出制御されたフレームを生成する。以下、右目および左目を顔の部位とした例で説明するが、鼻や口等についても同様である。図３（ａ）は目に対する露出制御の例を説明するための模式図であり、図３（ｂ）は生成されるフレームについて説明するための模式図である。図３（ａ）に示す例では、右目の輝度値が基準輝度値よりも低く所定の輝度範囲外、左目の輝度値が輝度範囲内となっている。フレーム制御部３２は、右目に対応して露出制御すべく、露出制御値算出部３７によって算出された露出制御値に基づいて撮像部１０における露出を制御する。露出制御値算出部３７から撮像部１０へ出力される露出制御値は、シャッター速度を遅く、ゲインを上げるものとなる。
【００２７】
露出制御後に撮影された映像は、右目に対して輝度値が適正となる。フレーム制御部３２は、図３（ｂ）に示すように露出制御後に撮影された映像を右目露出制御フレームとして時系列的に生成する。即ち、フレーム制御部３２は、顔露出制御フレームの後、右目露出制御フレームを生成するフレーム構成で、撮影された映像に対するフレームを生成していく。
【００２８】
図４（ａ）は目に対する露出制御の別の例を説明するための模式図であり、図４（ｂ）は生成されるフレームについて説明するための模式図である。図４（ａ）に示す例では、右目の輝度値が基準輝度値よりも低く所定の輝度範囲外、左目の輝度値が基準輝度値よりも高く輝度範囲外となっている。フレーム制御部３２は、右目に対応して露出制御し、続けて左目に対応して露出制御する。
【００２９】
露出制御後に撮影された映像は、右目露出制御フレームにおいて右目の輝度値が適正となり、左目露出制御フレームにおいて左目の輝度値が適正となる。フレーム制御部３２は、図４（ｂ）に示すように露出制御後に撮影された映像を右目露出制御フレームおよび左目露出制御フレームとして時系列的に生成する。即ち、フレーム制御部３２は、顔露出制御フレームの後、右目露出制御フレーム、左目露出制御フレームを生成するフレーム構成で、撮影された映像に対するフレームを生成していく。
【００３０】
図５（ａ）は目に対する露出制御の更に別の例を説明するための模式図であり、図５（ｂ）は生成されるフレームについて説明するための模式図である。図５（ａ）に示す例では、左右の両目の輝度値が基準輝度値よりも低く所定の輝度範囲外となっている。フレーム制御部３２は、左右の両目に対応して露出制御する必要がある。この場合、例えば左目および右目の輝度値の平均値が基準輝度値に近づくように露出制御値を算出すればよいが、この方法に限られるものではない。露出制御後に撮影された映像は、両目に対して輝度値が適正となる。
【００３１】
フレーム制御部３２は、図５（ｂ）に示すように露出制御後に撮影された映像を両目露出制御フレームとして時系列的に生成する。即ち、フレーム制御部３２は、顔露出制御フレームの後、両目露出制御フレームを生成するフレーム構成で、撮影された映像に対するフレームを生成していく。
【００３２】
次に映像処理装置３０の動作について、フレーム生成処理に基づいて説明する。図６は、映像処理装置３０におけるフレーム生成処理の手順を示すフローチャートである。映像処理装置３０は、映像を取得して顔や顔の各部位に対する検出枠が求まっているものとする。映像処理装置３０の顔輝度値取得部３４は、入力された映像から顔の輝度値を取得する（Ｓ１）。輝度判定部３６は、顔の輝度値が所定の輝度範囲内であるか否かを判定する（Ｓ２）。ステップＳ２による判定結果が否であり、顔の輝度値が所定の輝度範囲外である場合（Ｓ２：ＮＯ）、露出制御値算出部３７により顔に対する露出制御値の算出処理を実行する（Ｓ３）。露出制御値の算出処理については、さらに後述する。フレーム制御部３２は、露出制御値算出部３７により算出された顔に対する露出制御値に基づき撮像部１０を露出制御し、顔露出制御フレームを生成し（Ｓ４）、ステップＳ１に戻って処理を繰り返す。
【００３３】
ステップＳ２による判定結果において顔の輝度値が所定の輝度範囲内である場合（Ｓ２：ＹＥＳ）、現在生成されているフレームを顔露出制御フレームとして記録部２０に記録する（Ｓ５）。また、現在の露出制御値を顔に対する露出制御値として記憶部３０ａに記憶する（Ｓ６）。つぎに、部位輝度値取得部３５は、顔の各部位の輝度値を取得する（Ｓ７）。
【００３４】
輝度判定部３６は、顔の各部位の輝度値が所定の輝度範囲内となった部位があるか否かを判定し（Ｓ８）、所定の輝度範囲内である部位があった場合（Ｓ８：ＹＥＳ）、輝度範囲内となった部位について、現在のフレームを部位毎の露出制御フレームとして記録部２０に記録する（Ｓ９）。また、現在の露出制御値を輝度範囲内となった部位に対する露出制御値として記憶部３０ａに記憶する（Ｓ１０）。ステップＳ１０の後、およびステップＳ８において否との判定結果であった場合（Ｓ８：ＮＯ）、フレーム制御部３２は、全ての部位について露出制御フレームを記録したか否かを判定する（Ｓ１１）。
【００３５】
ステップＳ１１において否との判定結果であった場合（Ｓ１１：ＮＯ）、まだ露出制御が不十分な部位があるため、フレーム制御部３２は、露出制御フレームが記録されておらず、輝度値が輝度範囲外の部位に対する露出制御値の算出処理を実行する。ステップＳ１２における露出制御値の算出処理は、ステップＳ３における処理と同等である。フレーム制御部３２は、露出制御値算出部３７により算出されたに露出制御値に基づき撮像部１０を露出制御し、輝度値が輝度範囲外の部位に対する露出制御フレームを生成し（Ｓ１３）、ステップＳ７に戻って処理を繰り返す。ステップＳ１１において、全ての部位について露出制御フレームを記録したとの判定結果であった場合（Ｓ１１：ＹＥＳ）、処理を終了する。
【００３６】
以上の処理により、例えば右目に対応する右目露出制御フレーム、左目に対応する左目露出制御フレーム、このほか、鼻露出制御フレーム、口露出制御フレームが順次生成されて記録部２０に記録される。映像処理装置３０は、顔に対応する顔露出制御フレーム、顔の各部位に対応する露出制御フレームを生成することで、顔や顔の各部位に対応する画像情報の消失を抑制することができ、フレームにおける白とびや黒つぶれを抑制することができる。
【００３７】
図７は、映像処理装置３０における露出制御値の算出処理の手順を示すフローチャートである。図７による露出制御値の算出処理は、図６のステップＳ３における顔の露出制御値の算出、および図６のステップＳ１２における輝度値が所定の輝度範囲外の部位に対する露出制御値の算出に用いる。露出制御値算出部３７は、前回の露出制御値を取得し（Ｓ２１）、輝度値が所定の輝度範囲よりも高いか否かを判定する（Ｓ２２）。露出制御値算出部３７は、輝度値が所定の輝度範囲よりも高い場合（Ｓ２２：ＹＥＳ）、輝度値が低くなるように露出制御値のゲインを下げ（Ｓ２３）、処理を終了する。露出制御値算出部３７は、露出制御値のゲインを下げることのほか、シャッター速度を早くすることや、これらを併用するようにしてもよい。
【００３８】
ステップＳ２２において、輝度値が所定の輝度範囲よりも高くないと判定した場合（Ｓ２２：ＮＯ）、露出制御値算出部３７は、輝度値が所定の輝度範囲よりも低いか否かを判定し（Ｓ２４）、低い場合（Ｓ２４：ＹＥＳ）、輝度値が高くなるように露出制御値のゲインを上げ（Ｓ２５）、処理を終了する。また、ステップＳ２４において輝度値が所定の輝度範囲よりも低くないと判定した場合（Ｓ２４：ＮＯ）、露出制御値を変更することなく処理を終了する。露出制御値算出部３７は、露出制御値のゲインを上げることのほか、シャッター速度を遅くすることや、これらを併用するようにしてもよい。尚、図６に示した処理の手順において、輝度値が所定の輝度範囲内にある場合には露出制御値の算出処理に移行することはないが、輝度値が所定の輝度範囲内である場合には、特に露出制御値を変更する必要はない。
【００３９】
映像処理装置３０は、例えば、顔の右半分に影が生じて暗くなったり、逆に光が射して明るくなっているなど、顔の左右や上下、または一部分で顔の各部位が識別しにくい状態となっている場合に、各部位に対応する露出制御フレームが生成されることになる。映像処理装置３０は、右目および左目の部位に対応した露出制御フレームを生成することで、顔の左右や上下で明暗が生じる場合にも、左右の目それぞれの識別性を高めることができる。映像処理装置３０によって生成された各フレームに基づいて、例えば目の部分に関する分析では、目の輪郭を画像認識し、該輪郭に基づいて目開閉度等が算出される。
【００４０】
また、フレーム制御部３２は、露出制御値が同等となる部位については、個別に露出制御フレームを生成する必要はなく、一つの露出制御フレームにまとめてもよい。フレーム制御部３２は、一つの露出制御フレーム内で、所定の輝度範囲内にあるとされた部位が複数ある場合、それらの各部位に対して個別に新たなフレームを生成する必要はなく、まとめて処理することで、映像処理の負荷や映像のデータ量を低減することができる。
【００４１】
また、フレーム制御部３２は、顔全体の露出制御フレームから、全ての部位が所定の輝度範囲内となる適正な映像が得られた場合には、各部位に対する露出制御フレームを生成しないことで、映像処理の負荷や映像のデータ量を低減することができる。
【００４２】
また、フレーム制御部３２は、各露出制御フレームに、露出制御値の情報および露出制御の対象となっている顔または顔の各部位を識別する情報等を付加してもよく、これらの情報を含めて記録部２０に記録し、目の部分に関する分析等で利用してもよい。
【００４３】
フレーム制御部３２は、各部位を独立に扱ってもよいし、対応関係にある部位について一つの組として扱ってもよい。フレーム制御部３２は、例えば左右の目を目に関する組みとしてもよい。この場合、フレーム制御部３２は、露出制御フレームを、左目について露出制御する左目露出制御グループ、右目について露出制御する右目露出制御グループ、両目を同じ露出制御値を用いる両目露出制御グループ、左右で異なる露出制御値を用いる非対象両目露出制御グループなどに分ける。フレーム制御部３２は、グループ毎に露出制御値をトレースするなどして露出制御処理の簡潔化を図ることができる。
【００４４】
（変形例）
上述の実施形態では、顔や、目、鼻および口等の各部位に対して基準輝度値を予め設定されている例を説明したが、被撮像体の個人差や周囲の光環境の影響をなくすために、動的に変更してもよい。また、顔の角度（ロール、ピッチ、ヨーの各角度）が０ｄｅｇで正面を向いた状態を基準として、顔の角度の一定期間内における平均値に基づいて、動的に基準輝度値を設定するようにしてもよい。
【００４５】
上述の実施形態では、映像処理装置３０の顔輝度値取得部３４および部位輝度値取得部３５は、顔および各部位の検出枠における輝度平均値を取得しているが、例えば検出枠内で部分的に重みづけを変えるなどすることで、顔の部位についての識別性を高めることができる。また、顔輝度値取得部３４および部位輝度値取得部３５は、眼鏡等の反射で局所的に光っている部分を除いて輝度値を取得するようにしてもよい。
【００４６】
上述の実施形態では、顔の各部位として目、鼻および口などを例示したが、このほか、眉毛、頬、額、顎、耳などの部位について、露出制御の対象部位としてもよい。
【００４７】
次に、上述の実施形態に係る映像処理装置３０、映像処理方法および映像処理プログラムの特徴を説明する。
実施形態に係る映像処理装置３０は、映像取得部３１、映像検出部３３、輝度値取得部としての部位輝度値取得部３５、輝度判定部３６およびフレーム制御部３２を備える。映像取得部３１は、被撮像体の顔を撮影した映像を取得する。映像検出部３３は、映像取得部３１によって取得された映像から顔の部位を検出する。部位輝度値取得部３５は、映像検出部３３により検出された顔の部位における輝度値を取得する。輝度判定部３６は、部位輝度値取得部３５により取得された輝度値が所定の輝度範囲にあるか否かを判定する。フレーム制御部３２は、輝度判定部３６により輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成する。これにより、映像処理装置３０は、顔の各部位に対応する画像情報の消失を抑制することができ、フレームにおける白とびや黒つぶれを抑制することができる。
【００４８】
またフレーム制御部３２により露出制御する顔の部位は複数である。フレーム制御部３２は、露出制御したフレームにおいて輝度判定部３６により輝度値が所定の輝度範囲内にあると判定された一または複数の部位に対しては、新たに露出制御したフレームを生成しない。これにより、映像処理装置３０は、映像のデータ量などを低減化することができる。
【００４９】
また部位輝度値取得部３５は、顔の部位に対応する検出枠内で重み付けして輝度値を取得する。これにより、映像処理装置３０は、顔の部位についての識別性を高めることができる。
【００５０】
また顔の部位は、右目の部位および左目の部位を有し、フレーム制御部３２は、右目の部位および左目の部位の少なくともいずれか一方に対して露出制御したフレームを生成する。これにより、映像処理装置３０は、顔の左右や上下で明暗が生じる場合に対して、左右の目の識別性を高めることができる。
【００５１】
実施形態に係る映像処理方法は、映像取得ステップ、映像検出ステップ、輝度値取得ステップ、輝度判定ステップおよびフレーム制御ステップを備える。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像検出ステップは、映像取得ステップによって取得された映像から顔の部位を検出する。輝度値取得ステップは、映像検出ステップにより検出された顔の部位における輝度値を取得する。輝度判定ステップは、輝度値取得ステップにより取得された輝度値が所定の輝度範囲にあるか否かを判定する。フレーム制御ステップは、輝度判定ステップにより輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成する。この映像処理方法によれば、顔の各部位に対応する画像情報の消失を抑制することができ、フレームにおける白とびや黒つぶれを抑制することができる。
【００５２】
実施形態に係る映像処理プログラムは、映像取得ステップ、映像検出ステップ、輝度値取得ステップ、輝度判定ステップおよびフレーム制御ステップをコンピュータに実行させる。映像取得ステップは、被撮像体の顔を撮影した映像を取得する。映像検出ステップは、映像取得ステップによって取得された映像から顔の部位を検出する。輝度値取得ステップは、映像検出ステップにより検出された顔の部位における輝度値を取得する。輝度判定ステップは、輝度値取得ステップにより取得された輝度値が所定の輝度範囲にあるか否かを判定する。フレーム制御ステップは、輝度判定ステップにより輝度範囲外と判定された部位に対応した露出制御値で露出制御したフレームを生成する。この映像処理方法によれば、顔の各部位に対応する画像情報の消失を抑制することができ、フレームにおける白とびや黒つぶれを抑制することができる。
【００５３】
以上、本発明の実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本発明の特許請求範囲内で可能なこと、またそうした変形例および変更も本発明の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。
【符号の説明】
【００５４】
３０  映像処理装置、  ３１  映像取得部、  ３２  フレーム制御部、
３３  映像検出部、  ３５  部位輝度値取得部（輝度値取得部）、
３６  輝度判定部。
【図１】
2020145536.tif 000003
【図２】
2020145536.tif 000004
【図３】
2020145536.tif 000005
【図４】
2020145536.tif 000006
【図５】
2020145536.tif 000007
【図６】
2020145536.tif 000008
【図７】
2020145536.tif 000009