(57)【要約】【課題】動画撮影時に人物の動きにより顔の陰影が変化するのを低減した映像を撮影できる方法及び装置を提供すること。【解決手段】画像取得手段と、取得した画像から被写体の状態を検出する検出手段と、仮想光源位置を指定する指定手段と、被写体の状態に基づいて、仮想光源の位置を決定する決定手段と、決定した仮想光源の位置に基づいて、被写体にリライティング処理を行うリライティング処理手段を持った画像補正方法であって、連続撮影中は、被写体位置及び向きに対する仮想光源の相対位置が一定となるようにリライティング処理を行うことを特徴とする。【選択図】図４
2020010167.tif 000002
【特許請求の範囲】
【請求項１】
画像取得手段と、
取得した画像から被写体の状態を検出する検出手段と、
仮想光源位置を指定する指定手段と、
被写体の状態に基づいて、仮想光源の位置を決定する決定手段と、
決定した仮想光源の位置に基づいて、被写体にリライティング処理を行うリライティング処理手段を持った画像補正方法であって、
連続撮影中は、被写体位置及び向きに対する仮想光源の相対位置が一定となるようにリライティング処理を行うことを特徴とする画像補正方法。
【請求項２】
被写体の状態とは、顔画像の位置と向きであることを特徴とする請求項１に記載の画像補正方法。
【請求項３】
リライティング処理の強度を設定する設定手段があり、設定手段で設定された強度でリライティング処理を行う画像補正方法であって、連続撮影中は、このリライティング処理の強度を一定に保つことを特徴とする請求項１に記載の画像補正方法。
【請求項４】
リライティング処理の一部として、環境光の低減処理を行う画像補正方法であって、連続撮影中は、フレーム毎に、環境光の低減処理を行うことを特徴とする請求項１に記載の画像補正方法。
【請求項５】
仮想光源が複数個指定可能な画像補正方法であって、連続撮影中は、被写体位置及び向きに対する複数個の仮想光源のそれぞれの相対位置が一定となるように、リライティング処理を行うことを特徴とする請求項１に記載の画像補正方法。
【請求項６】
取得した画像内に検出対象となる被写体が複数含まれる場合に、それぞれの被写体に対して、リライティング処理を行う画像補正方法であって、各被写体に対して、それぞれ仮想光源が指定され、連続撮影中は、それぞれの被写体の位置と向きに対して、それぞれ仮想光源の相対位置が一定となるように、リライティング処理を行うことを特徴とする請求項１に記載の画像補正方法。
【請求項７】
請求項１乃至請求項６の何れか一項に記載の画像補正方法を行うことを特徴とする画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置で撮像した画像を補正する方法及び装置に関し、特に動画像として撮影した被写体のライティング補正に関する。
【背景技術】
【０００２】
従来より、撮影した画像に対して、被写体を検出し、後から被写体の照明（ライティング）を補正する技術が知られている。
【０００３】
特許文献１は、人物の顔画像を撮影した後で、最適な顔画像を選択するために、レタッチ処理などで、照明条件を変える技術を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０００５−２２５０２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上記の特許文献１に開示された従来技術では、動画像で撮影する場合については、記載されていない。
【０００６】
特に動画像撮影の場合、ライティングによっては、顔画像の陰影の付き方が変化してしまう場合がある。例えば、図１０の様に、スタジオ内で一灯の照明１００１を用いてビデオカメラ１００２で、人物１００３撮影する場合、照明が固定されていると、人物の動きに応じて、人物の顔に対する照明の向きが変化し、その陰影の付き方が変化する。例えば、図１１の（ａ）の人物の顔に対して、（ｂ）や（ｃ）に示した様に、変化する。すなわち、ひとつの動画像の中の同一人物であっても、人物の動きによって顔の陰影が変化してしまう。
【０００７】
本発明は、リライティング処理により、この陰影の変化を低減可能な画像補正方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記の目的を達成するために、本発明に係る画像補正方法は、
画像取得手段と、取得した画像から被写体の状態を検出する検出手段と、仮想光源位置を指定する指定手段と、被写体の状態に基づいて、仮想光源の位置を決定する決定手段と、決定した仮想光源の位置に基づいて、被写体にリライティング処理を行うリライティング処理手段を持った画像補正方法であって、連続撮影中は、被写体位置及び向きに対する仮想光源の相対位置が一定となるようにリライティング処理を行うことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、連続撮影中、被写体の顔画像の陰影の変化の少ない画像を撮影する画像補正方法を提供することができる。
【図面の簡単な説明】
【００１０】
【図１】全体構成図
【図２】構成図
【図３】顔の位置と向き
【図４】動画像での顔の位置と向き
【図５】第１の実施例のフローチャート
【図６】複数勝目の場合
【図７】第２の実施例のフローチャート
【図８】複数人の場合の顔の位置と向き
【図９】第３の実施例のフローチャート
【図１０】撮影状況
【図１１】照明方向による顔の影の違い
【発明を実施するための形態】
【００１１】
以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。
【００１２】
＜実施例１＞
以下、図１から図５を参照して、本発明の第１の実施例による、画像補正方法について説明する。
【００１３】
図１は、本発明の第１の実施例による画像補正方法を行うカメラである。
【００１４】
図１において、１０１は装置全体、１０２は撮影レンズ、１０３は撮像素子、１０４はカメラ信号処理部、１０５は記録媒体、１０６は本実施例での画像補正処理部である。撮影レンズ１０２により結像された被写体画像は、撮像素子１０３で電気信号に変換され、カメラ信号処理１０４により画像データとなり、記録媒体１０５に記録される。記録媒体１０５は、外部取り出し可能であっても、内蔵のみの媒体でも良い。
【００１５】
画像データは、必要に応じて、画像補正処理部１０６に入力され、画像補正処理を行う。この画像補正処理部の詳細を、図２に示す。図で、２０１は、画像補正処理部全体である。画像補正処理部２０１は、撮影画像２０２に対して、画像補正処理を行い、出力画像２０３を出力する。
【００１６】
画像補正処理部２０１では、撮影画像について、特定の被写体の検出を行う。本実施例では、人物の顔画像を検出するので、顔検出部２０４で、顔検出を行い、撮影画像中の顔画像を検出する。次に、２０５の顔向き決定部で、この顔画像の顔の位置と向きを決定する。顔の位置と向きが決定したら、２０７の光源位置決定部で、２０６の光源指定情報に従って、その顔に対する光源位置を決定する。光源位置が決定したら、２０８のリライティング処理部で、光源位置に従った画像補正処理を行う。
【００１７】
ここで、図３（ａ）から（ｄ）を用いて、顔画像の位置と向きと、光源位置の関係について、説明する。
【００１８】
図３（ａ）は、顔画像の例であり、例えば画面に向かって、やや右側に向いている画像である。こういった顔画像は、顔検出手法で検出され、さらに目や鼻などの顔器官の配置から、顔向きを判定することが可能である。図３（ｂ）は、顔の位置３０１を決定した例である。顔の位置は、顔のどの点を顔位置とするかを定義して置けば、顔検出の結果から、決定できる。図３（ｂ）は、顔位置３０１を、両目と鼻の間とした例である。図３（ｃ）は、さらに顔向きから、顔の座標を決めた例である。
【００１９】
図３において、３０２は顔の正面方向の座標軸であり、３０３は顔の左右方向の座標軸であり、３０４は、顔の上下方向の座標軸である。３０３，３０４及び３０５の顔座標軸は、顔向きを基準に定めるものであるから、顔画像の向きが変化すると、それに応じて向きが変化し、顔に対しては、一定の方向を保つ。
【００２０】
次に、図３（ｄ）は、この顔の位置と向きに対して、仮想光源３０５を設定した例である。
【００２１】
仮想光源３０５の位置は、光源指定情報２０６として指定されたものであり、顔座標軸に対して指定される。例えば、顔座標軸の座標に基づいて、正面座標が正面に１ｍ、左右座標が右に１．５ｍ、上下座標が上に２ｍ等と指定される。あるいは、顔座標軸に対する角度と、顔位置からの距離で有っても良い。
【００２２】
次に、図４（ａ）から（ｄ）を用いて、動画像撮影の場合の本発明のリライティング処理について説明する（図面内の番号は、図３と同じである。）。
【００２３】
動画像撮影の場合、各フレーム毎に、被写体の顔向きが異なることとなる。図４（ａ）から（ｄ）は、被写体の顔向きが画面に向かって、（ａ）やや右向き、（ｂ）正面、（ｃ）やや左向き、（ｄ）左向きの場合を示している。これに対して、顔座標軸（３０２，３０３，３０４）は、顔の向きに応じて定められるものであるから、顔の向きに従って変化していく。
【００２４】
本発明のリライティング処理では、この座標軸に対して、仮想光源位置３０５を指定するものであり、顔向きに従って、画面内の仮想光源位置は変化していく。逆に言うと、顔向きが変化しても、仮想光源の位置は、顔の位置と向きに対して、相対的に同じ位置にあるのである。従って、顔画像に対して、リライティング処理を行った場合、仮想光源の顔画像に対する照明の効果は、同じであるため、顔について同じ陰影が付加された画像を得ることができる。これが動画像の場合、フレーム間で、一定の陰影を保った顔画像が生成されることになる。従って、ひとつの動画中の同一人物の、顔の陰影が、一定の状態であると感じることができる画像が撮影できるのである。
【００２５】
ここで、あらためて、図５のフローチャートを用いて、本実施例の動作について説明する。
【００２６】
動画像撮影が開始されると、各フレーム毎に、５０２で、撮影画像を取得する。これは、通常のカメラ撮影で得られた画像でよく、一旦記憶媒体に記録された画像を取得してもよい。
【００２７】
次に、５０３で、取得した画像から、特定の被写体の画像、ここでは顔画像を検出する。これは、既知の顔検出技術を用いればよく、顔の位置や大きさや傾き、向きなどを求める。次に、５０４で顔検出結果から、顔向き（顔の位置と向き）を決定する。これにも既知の顔位置、顔方向決定技術を用いて行える。
【００２８】
次に、５０５の光源指定情報に従って、５０５で光源位置を決定する。本発明では、光源指定情報５０５は、顔向きに対して、指定されるものであり、既に説明した様に、顔座標の距離や、角度などで指定される。
【００２９】
次に、５０６の光源位置情報に従って、５０７のリライティング処理を行う。
リライティング処理終了後、動画撮影が終了する場合は、終了し、そうでない場合は、５０２の撮影画像取得を繰り返す。
【００３０】
以上、説明した様に、本実施例によれば、被写体の顔画像の陰影を、一定にした画像を撮影できる。
【００３１】
なお、リライティング処理を行う場合、顔の陰影の濃淡を調整するために、リライティングの強度（照明の明るさ、コントラスト等）を指定する場合があるが、本発明の場合、動画像撮影中は、このリライティングの強度を一定に保つことが効果的である。
【００３２】
また、リライティング処理を行う際に、別途求めた環境光（仮想光源でない、本来の照明光、自然光等）の影響を低減させる処理を行うと、本発明の仮想光源による陰影の付き方がより効果的になる。
【００３３】
＜実施例２＞
以下、図６及び図７を参照して、本発明の第２の実施例について説明する。第２の実施例は、第１の実施例に対して、仮想光源が複数指定された場合である。
【００３４】
図６に、仮想光源が複数指定された場合の、顔画像と、顔の位置と向き、及び仮想光源の指定された状態を示す。
【００３５】
図６において、６０１は顔位置であり、図３の３０１に相当する。同様に、６０２は３０２に、６０３は３０３に、６０４は３０４に、それぞれ相当する。６０５と６０６は、指定された仮想光源の例であり、この図では２つ仮想光源が指定された場合を示している。
【００３６】
この場合の処理のフローを、図７（ａ）に示す。図７のフロー図の中で、７０２は、図５の５０２に相当する。同様に、７０３は５０３に、７０４は５０４に、７０５は５０５に、７０６は５０６に、７０８は５０７に、７１０は５０８に、それぞれ相当する。
【００３７】
第２の実施例では、複数の仮想光源が指定される場合であり、７０５の光源指定は、当然複数の仮想光源が指定される。同様に７０６の光源位置決定も、一つの光源位置決定後に、指定された光源数に達したかどうかを判定（７０７）して、光源の数だけ光源位置決定を繰り返す。同様に、７０８のリライティング処理も、一つのリライティング処理終了後に、指定された光源数に達したかどうかを判定（７０９）して、光源の数だけリライティング処理を繰り返す。
【００３８】
また、図７（ｂ）に示す様に、この光源の数だけ行う繰り返し処理は、一つの光源位置決定と、一つのリラティング処理を続けて行い、この一連の処理を光源の数だけ繰り返しても良い。
【００３９】
＜実施例３＞
以下、図８及び図９を参照して、本発明の第３の実施例について説明する。第３の実施例は、第１の実施例に対して、検出される被写体が複数ある場合である。
【００４０】
図８（ａ）に被写体が複数ある場合の例を示す。図８（ａ）では、一つの画面内に二人の人物が撮影されている様子を示す。本実施例では、この場合、それぞれの顔画像が検出されるので、それぞれの顔画像について、顔向き（顔位置と向き）が独立に求まる。この顔向きに応じて仮想光源の位置を決定するのである。仮想光源の指定は、それぞれの被写体に対して異なる効果を狙って、異なる位置をしてしても良く、全ての被写体に対して共通の位置を指定しても良い。
【００４１】
この場合のフローを、図９に記す。図９のフロー図の中で、９０２は、図５の５０２に相当する。同様に、９０３は５０３に、９０４は５０４に、９０５は５０５に、９０６は５０６に、９０８は５０７に、９０９は５０８に、それぞれ相当する。
【００４２】
第３の実施例では、複数の被写体が検出される場合であり、９０５の光源指定は、複数の被写体に応じて指定される。これは前述したように、それぞれの顔画像に対して、それぞれの光源位置であっても良く、全ての被写体に共通の位置を指定しても良い。この光源指定に従って９０６の光源位置決定を行い、９０７のリライティング処理を行った後、全ての被写体の処理を行ったか被写体の数を範囲（９０８）し、被写体の数だけ、光源位置決定とリライティング処理を繰り返す。
【００４３】
なお、第２の実施例の図７で示した様に、光源位置決定と、リライティング処理を、それぞれ被写体の数だけ繰り返す様に、フローを修正することは、容易なことである。
【００４４】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００４５】
１０１  装置全体、１０２  撮影レンズ、１０３  撮像素子、
１０４  カメラ信号処理部、１０５  記録媒体、１０６は  画像補正処理部
【図１】
2020010167.tif 000003
【図２】
2020010167.tif 000004
【図３】
2020010167.tif 000005
【図４】
2020010167.tif 000006
【図５】
2020010167.tif 000007
【図６】
2020010167.tif 000008
【図７】
2020010167.tif 000009
【図８】
2020010167.tif 000010
【図９】
2020010167.tif 000011
【図１０】
2020010167.tif 000012
【図１１】
2020010167.tif 000013