(57)【要約】【課題】ストロボ発光画像とストロボ非発光画像を略同一タイミングで取得して、特に動きが大きい被写体であっても容易に画像合成が可能なストロボ光成分と外光成分を高精度で抽出する画像処理技術を提供する。【解決手段】画像処理装置は、複数のタイミングで露光時間を２ライン毎に独立して設定可能な撮像素子１０１を露光時間Ｔｖ１で露光することにより、静止画１の画像信号を読み出す第１撮像処理と、露光時間Ｔｖ２で撮像素子１０１を露光することにより、静止画２の画像信号を読み出す第２撮像処理とを２ライン毎に行い、前記第１露光時間および前記第２露光時間のうち、少なくとも前記第１露光時間にストロボ光の発光期間が含まれるように撮像素子１０１の露光を制御する露光制御手段と、静止画１、静止画２、露光時間Ｔｖ１および露光時間Ｔｖ２に基づいて、ストロボ光成分と外光成分を算出する算出手段と、を備える。【選択図】図３
2018056638.tif 000002
【特許請求の範囲】
【請求項１】
ストロボ光を発光した撮影により取得した画像を処理する画像処理装置であって、
複数のタイミングで露光時間を複数のライン毎に独立して設定可能な撮像素子を第１露光時間で露光することにより、第１静止画の画像信号を読み出す第１撮像処理と、第２露光時間で前記撮像素子を露光することにより、第２静止画の画像信号を読み出す第２撮像処理とを複数のライン毎に行い、前記第１露光時間および前記第２露光時間のうち、少なくとも前記第１露光時間に前記ストロボ光の発光期間が含まれるように前記撮像素子の露光を制御する露光制御手段と、
前記第１静止画、前記第２静止画、前記第１露光時間および第２露光時間に基づいて、ストロボ光成分と外光成分を算出する算出手段と、を備えることを特徴とする画像処理装置。
【請求項２】
前記第２露光時間は、前記第１露光時間より長い時間に設定され、
前記露光制御手段は、前記第１露光時間および前記第２露光時間のそれぞれに前記ストロボ光の発光期間が含まれるように前記撮像素子の露光を制御することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記ストロボ光成分および前記外光成分のそれぞれに補正ゲイン値を乗算して生成した画像の加重加算を行うことで画像を合成する画像合成手段を備えることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記ストロボ光成分および前記外光成分のそれぞれに補正ゲイン値を乗算する際に、さらに前記ストロボ光成分および前記外光成分に応じたホワイトバランス係数を乗算して前記画像を生成することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
ストロボ光を発光した撮影により取得した画像を処理する画像処理装置の制御方法であって、
複数のタイミングで露光時間を複数のラインごとに独立して設定可能な撮像素子を第１露光時間で露光することにより、第１静止画の画像信号を読み出す第１撮像処理と、前記第１露光時間より長い第２露光時間で前記撮像素子を露光することにより、第２静止画の画像信号を読み出す第２撮像処理とを複数のライン毎に行い、前記第１露光時間および前記第２露光時間のうち、少なくとも前記第１露光時間に前記ストロボ光の発光期間が含まれるように前記撮像素子の露光を制御する露光制御ステップと、
前記第１静止画、前記第２静止画、前記第１露光時間および第２露光時間に基づいて、ストロボ光成分と外光成分を算出する算出ステップと、を備えることを特徴とする画像処理装置の制御方法。
【請求項６】
請求項５に記載の画像処理装置の制御方法の各ステップをコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラ等の撮像装置を含む画像処理装置に関し、特にストロボ発光して撮像される画像に対して、ストロボ光成分と外光成分を抽出する画像処理技術に関する。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置では、ストロボ発光画像と複数枚のストロボ非発光画像を合成して画像を生成する技術が提案されている。ストロボ発光画像は、ストロボ光が照射された画像と外光が照射された画像の両方の光成分を有し、ストロボ非発光画像は、外光が照射された画像の光成分のみを有する。ストロボ光が照射された画像の光成分のみを取得するためには、ストロボ発光画像から外光が照射された画像の光成分を減算する必要がある。
【０００３】
従来、ストロボ発光画像とストロボ非発光画像を取得して、ストロボ発光画像から明るいストロボ照射領域を抽出し、複数枚のストロボ非発光画像を位置合わせして合成する画像処理技術が提案されている（特許文献１）。この提案では、ストロボ発光画像とストロボ非発光画像の輝度値からストロボ光と外光の比率を計算し、その比率に基づいてストロボ非発光画像とストロボ照射領域が抽出されたストロボ発光画像を合成する手法が開示されている。
【０００４】
また、ストロボ発光画像の撮影感度を下げることで、外光成分ができるだけ映らないように撮影し、ストロボ非発光画像の合成画像とストロボ発光画像を合成する手法が開示されている（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１３−２１９４３４号公報
【特許文献２】特開２０１３−２２５７４６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、上記特許文献１，２では、ストロボ非発光画像とストロボ発光画像の撮影時には、ストロボ発光画像を露光してその画像の読み出しを行い、次に、ストロボ非発光画像を露光してその画像の読み出しを行う。このため、ストロボ発光画像及びストロボ非発光画像の取得に時間がかかり、その間の画像の差分が大きい。特に動きが大きい被写体の場合、ストロボ発光画像とストロボ非発光画像では、被写体の位置が大きく変化してしまうため、ストロボ光成分と外光成分を精度よく抽出することが難しい。
【０００７】
この場合、ストロボ発光画像とストロボ非発光画像から被写体の動きを検出して、位置合わせ合わせしてからストロボ光成分と外光成分を取得する方法も考えられるが、ストロボ発光画像とストロボ非発光画像で位置がずれている。このため、動きがあった領域で外光成分とストロボ光成分の光量比の演算が原理的に不可能である。
【０００８】
そこで、本発明は、ストロボ発光画像とストロボ非発光画像を略同一タイミングで取得して、特に動きが大きい被写体であっても容易に画像合成が可能なストロボ光成分と外光成分を高精度で抽出する画像処理技術を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明は、ストロボ光を発光した撮影により取得した画像を処理する画像処理装置であって、複数のタイミングで露光時間を複数のライン毎に独立して設定可能な撮像素子を第１露光時間で露光することにより、第１静止画の画像信号を読み出す第１撮像処理と、前記第１露光時間より長い第２露光時間で前記撮像素子を露光することにより、第２静止画の画像信号を読み出す第２撮像処理とを複数のライン毎に行い、前記第１露光時間および前記第２露光時間のうち、少なくとも前記第１露光時間に前記ストロボ光の発光期間が含まれるように前記撮像素子の露光を制御する露光制御手段と、前記第１静止画、前記第２静止画、前記第１露光時間および第２露光時間に基づいて、ストロボ光成分と外光成分を算出する算出手段と、を備えることを特徴とする。
【発明の効果】
【００１０】
本発明によれば、ストロボ発光画像とストロボ非発光画像を略同一タイミングで取得して、特に動きが大きい被写体であっても容易に画像合成が可能なストロボ光成分と外光成分を高精度で抽出することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の画像処理装置の第１の実施形態であるデジタルカメラのシステム構成を示すブロック図である。
【図２】撮像素子の露光制御を説明する模式図である。
【図３】撮像素子の第１撮像処理と第２撮像処理における露光制御を説明するタイミングチャート図である。
【図４】デジタルカメラにおけるストロボ撮影動作を説明するフローチャート図である。
【図５】外光成分及びストロボ光成分を抽出する例を説明する図である。
【図６】本発明の画像処理装置の第２の実施形態であるデジタルカメラにおいて、撮像素子の第１撮像処理と第２撮像処理における露光制御を説明するタイミングチャート図である。
【図７】外光成分及びストロボ光成分を抽出する例を説明する図である。
【発明を実施するための形態】
【００１２】
以下、図面を参照して、本発明の実施形態を説明する。
【００１３】
（第１の実施形態）
図１は、本発明の画像処理装置の第１の実施形態であるデジタルカメラのシステム構成を示すブロック図である。
【００１４】
図１において、システム制御部１０７は、ＣＰＵ、ＲＡＭ及びＲＯＭ等を含み、カメラ全体の制御を司る。システム制御部１０７は、例えばユーザインタフェース１１２を介して撮影指示があると、レンズユニット２００の撮影光学系の焦点位置や絞り・メカニカルシャッタを制御するとともに、ＣＭＯＳセンサ等の撮像素子１０１の駆動を制御する。また、システム制御部１０７は、ストロボユニット１６０による被写体へのストロボ発光時には、ストロボ制御回路１６１に対して発光量を伝えてストロボユニット１６０の発光を制御する。
【００１５】
撮影動作が開始されると、撮像素子１０１から出力された画像信号は、Ａ／Ｄ変換回路１５０によりＡ／Ｄ変換され、バッファメモリ１０３に蓄えられる。また、システム制御部１０７は、ホワイトバランス補正係数やガンマパラメータなどの様々な信号処理パラメータを信号処理回路１４０に設定し、信号処理回路１４０によって画像生成用の信号処理がなされてＹＵＶ画像が生成される。
【００１６】
被写体検出回路１２０は、バッファメモリ１０３に蓄えられた画像から顔検出を行い、画像中の座標位置を出力する。また、バッファメモリ１０３に蓄えられた画像は、ブロック積分回路１３１によりブロック毎の積分値が取得される。画像記録が行われる場合には、バッファメモリ１０３に蓄えられた画像は、圧縮・伸長回路１０４によりＪＰＥＧファイルとして画像圧縮され、記録・読み出し回路１０５によって記録媒体１０６に記録される。また、バッファメモリ１０３に蓄えられた画像は、表示制御回路１０８及びＤ／Ａ変換回路１０９を介してＬＣＤ等の表示装置１１０に表示される。
【００１７】
図２は、撮像素子１０１の露光制御を説明する模式図である。図２に示すように、撮像素子１０１は、第１撮像処理と第２撮像処理を２行ライン毎に異なるタイミングで実行して画像信号を出力可能に構成されている。
【００１８】
図３は、撮像素子１０１の第１撮像処理と第２撮像処理における露光制御を説明するタイミングチャート図である。本実施形態では、図３に示すように、撮像素子１０１の露光開始である画素部のリセットと撮像素子１０１の露光終了である画素部から電荷蓄積部分への画像読み出しは、２ライン毎に行われる。
【００１９】
一般に、ＣＭＯＳセンサでは、露光開始である画素部の電荷リセットと露光終了である画素部からの画像読み出しはライン毎に行われ、画面上部から画面下部に向けて水平同期信号に合わせてライン毎に行われる。図３においても、撮像素子１０１での第１撮像処理における静止画１の露光時間は、画素部のリセットが画面上部から下部にかけてライン毎に順に行われ、同様に、画像読み出しも一定期間後に画面上部から画面下部に向けて順に行われている。
【００２０】
図３では、撮像素子１０１の第２撮像処理の露光が開始する前に第１撮像処理においてストロボ発光撮影の露光時間Ｔｖ１が終了している。第１撮像処理では、露光時間Ｔｖ１で露光がなされて画像読み出しが行われ、そのＴｖ１期間にストロボ撮影が行われ、ストロボ発光画像が取得される。第１撮像処理での撮像素子１０１からの静止画１の出力には、外光成分とストロボ光成分の信号が含まれていることを示している。一方、撮像素子１０１の第２撮像処理では、露光時間Ｔｖ２でストロボ発光後に露光が行われるため、静止画２は、外光成分のみのストロボ非発光画像となることを示している。
【００２１】
ここで、露光時間Ｔｖ１は、本発明の第１露光時間の一例に相当し、露光時間Ｔｖ２は、本発明の第２露光時間の一例に相当し、静止画１は、本発明の第１静止画の一例に相当し、静止画２は、本発明の第２静止画の一例に相当する。
【００２２】
図４は、上記構成のデジタルカメラにおけるストロボ撮影動作を説明するフローチャート図である。図４の各処理は、システム制御部１０７のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。
【００２３】
図４において、システム制御部１０７は、ステップＳ２０１で撮像素子１０１の露光が開始されると、ステップＳ４０２で撮像素子１０１の第１撮像処理で生成される静止画１（ストロボ発光画像）を読み出し、バッファメモリ１０３に保存する。また、システム制御部１０７は、ステップＳ４０４で撮像素子１０１の第２撮像処理で生成される静止画２（ストロボ非発光画像）を読み出し、バッファメモリ１０３に保存する。
【００２４】
次に、システム制御部１０７は、ステップＳ４０５において、ステップＳ４０４で取得した静止画２とステップＳ４０２で取得した静止画１とを比較して画像の位置合わせを実施する。位置合わせ方法としては、公知の位置合わせ方法を採用することができ、例えば、画像のエッジ情報などの画像特徴量を抽出し、画像特徴量に対して位置をずらしながらテンプレートマッチングを行う等して画像の位置ずれを検出する。画像のずれ量の検出は、画面全体で行い、画面中心と画面の動き量のベクトルを算出して画面全体のずれ量を補正する。
【００２５】
本実施形態では、静止画１と静止画２の読みだしの時間が非常に近いか、または露光時間が重なっているため、ほとんど静止画１と静止画２の位置ずれが発生しないが、露光時間の重心時間がずれるため、微小なずれ量を補正することが望ましい。
【００２６】
次に、ステップＳ４０６では、システム制御部１０７は、ステップＳ４０５で静止画２の位置ずれを補正した画像から外光成分を抽出する。また、ステップＳ４０７では、システム制御部１０７は、ステップＳ４０２で取得した静止画１からステップＳ４０６で抽出した外光成分を減算してストロボ光成分を抽出する。
【００２７】
図５は、図４のステップＳ４０６及びステップＳ４０７において、それぞれ外光成分及びストロボ光成分を抽出する例を説明する図である。
【００２８】
図５（ａ）は、ステップＳ４０６において、外光成分の信号量を抽出する例を示している。図５（ａ）では、静止画２に対して図３の第１撮像処理と第２撮像処理の露光量の比率Ｔｖ１／Ｔｖ２を乗算して外光成分Ｏを抽出する。図５（ｂ）は、ステップＳ４０７において、ストロボ光成分の信号量の抽出する例を示している。図５（ｂ）では、静止画１（ストロボ発光画像）から外光成分Ｏを減算してストロボ光成分Ｆを抽出する。
【００２９】
図４に戻って、ステップＳ４０８では、システム制御部１０７は、ステップＳ４０６で抽出した外光成分の信号レベルを適正にする補正ゲイン値を算出する。ここでは、ストロボ非発光画像として、ＡＥが適性になる補正ゲイン値を算出する。例えば、ステップＳ４０６で抽出した外光成分の信号に対して、ブロック積分回路１３１によりブロック積分値を算出し、ＡＥの測光重みを乗算してＡＥターゲット値と比較し、補正ゲイン値を算出する。
【００３０】
ステップＳ４０９では、システム制御部１０７は、ステップＳ４０６で抽出した外光成分に対して、ステップＳ４０８で算出した補正ゲイン値を乗算して得た画像をバッファメモリ１０３に保存する。なお、ここで補正ゲイン値を乗算するに当たり、外光成分に適したＷＢ係数（ホワイトバランス係数）を乗算してもよい。
【００３１】
ステップＳ４１０では、システム制御部１０７は、ストロボ光成分に対する補正ゲイン値を算出する。具体的には、ステップＳ４０７で抽出したストロボ光成分に対してブロック積分回路１３１にてブロック積分を行う。そして、被写体検出回路１２０で検出された被写体領域に対して、ステップＳ４０９で補正された外光成分の信号値から主要被写体の適正レベルに対する不足分を求めて、ストロボ光成分に対する補正ゲイン値を算出する。
【００３２】
なお、本実施形態では、自動的に外光成分の補正ゲイン値とストロボ光成分の補正ゲイン値を算出しているが、これに限定されない。例えば、ユーザインタフェース１１２によりスローシンクロ風の画像の撮影が選択された場合は、外光成分の補正ゲイン値を大きめにし、通常の撮影の場合は、外光成分の補正ゲイン値を小さめにしてもよい。
【００３３】
ステップＳ４１１では、システム制御部１０７は、ストロボ光成分に対して補正ゲイン値を乗算して得た画像をバッファメモリ１０３に保存する。なお、ここで補正ゲインを乗算するに当たり、ストロボ光成分に適したＷＢ係数を乗算してもよい。
【００３４】
ステップＳ４１２では、システム制御部１０７は、ステップＳ４１１で補正したストロボ光成分の現像処理を行い、ＹＵＶ画像を生成してバッファメモリ１０３に保存する。ステップＳ４１３では、システム制御部１０７は、ステップＳ４０９で補正した外光成分の現像処理を行い、ＹＵＶ画像を生成してバッファメモリ１０３に保存する。
【００３５】
ステップＳ４１４では、システム制御部１０７は、ステップＳ４１２及びステップＳ４１３でそれぞれ生成したＹＵＶ画像の加重加算を行うことで画像合成を行う。ステップＳ４１５では、ステップＳ４１４で合成した画像を表示装置１１０に表示し、処理を終了する。
【００３６】
本実施形態では、撮像素子１０１での第１撮像処理と第２撮像処理により２ライン毎に間欠的に静止画１（ストロボ発光画像）と静止画２（ストロボ非発光画像）を取得する。そのため、ステップＳ４０２及びステップＳ４０４で静止画１及び静止画２を読み出した際に、ラインの補間演算をしてもよく、また、画像相関法等により高解像度化処理を行うことで、より高精細な画像を得ることができる。
【００３７】
また、静止画１及び静止画２をＲＡＷデータとしてバッファメモリ１０３に保存しておくことで、撮影後にストロボ光成分に対する補正ゲイン値と外光成分に対するゲイン量を後から変更することができる。これにより、撮影後にスローシンクロのような画像や通常ストロボ光の画像を自由に生成することができ、ユーザの自由度が高めることができる。
【００３８】
また、本実施形態では、ストロボ光成分と外光成分のそれぞれに補正ゲイン値を設定しているが、そのゲイン値に応じて最適にノイズ低減処理を行うことで、より最適な画像を得ることができる。
【００３９】
また、ステップＳ４０２で取得する静止画１の露光時間とステップＳ４０４で取得する静止画２の露光時間は、Ｔｖ１を通常ストロボ撮影時の露光時間に設定し、Ｔｖ１とＴｖ２の合計値がスローシンクロ撮影時に使用される露光時間になるようにＴｖ２を設定する。これにより、画像合成するときに通常ストロボ撮影とスローシンクロ撮影の画像の両方を生成する際に、演算量が少なくて済み、より良好な画像を得ることが可能である。
【００４０】
また、本実施形態では、撮像素子１０１での第１撮像処理の出力ゲインと第２撮像処理の出力ゲインは同じ値に設定されているが、異なるゲインに設定してもよい。例えば第２撮像処理の出力アンプのゲイン値を高感度に設定しておくことで、ステップＳ４０９で乗算するゲイン値を小さく設定することが可能となり、よりノイズの少ない最適な画像を得ることができる。その場合、ストロボ光成分および外光成分の信号量を演算する際に、ゲイン値の差分を換算して演算する必要がある。
【００４１】
以上説明したように、本実施形態では、複数のタイミングで撮像素子１０１の露光時間を独立に設定可能なカメラを用いることで、略同一タイミングでストロボ発光画像とストロボ非発光画像を別々に読み出して取得することができる。そして、取得した両画像を使用することで、特に動きが大きい被写体であっても、位置ずれが少なく、誤差が少ないストロボ光成分と外光成分を抽出して容易に画像を合成することができる。
【００４２】
（第２の実施形態）
次に、図６及び図７を参照して、本発明の画像処理装置の第２の実施形態であるデジタルカメラについて説明する。なお、本実施形態では、上記第１の実施形態と重複する部分について、図及び符号を流用して相違点についてのみ説明する。
【００４３】
図６は、撮像素子１０１の第１撮像処理と第２撮像処理における露光制御を説明するタイミングチャート図である。図６に示すように、第１撮像処理では、ストロボ発光時間を含む露光時間Ｔｖ１で静止画１（ストロボ発光画像）を取得し、第２撮像処理では、ストロボ発光期間を含み、かつＴｖ１、Ｔｖ２よりも長い露光時間Ｔｖ３で静止画２を取得する。
【００４４】
図７は、静止画２及び静止画１からそれぞれ外光成分及びストロボ光成分を抽出する例を説明する図である。図７（ａ）は、外光成分の信号量を抽出する例を示している。図７（ａ）では、静止画２の信号量から静止画１の信号量を減算した値に対し、第１撮像処理の露光量と、第２撮像処理の露光量から第１撮像処理の露光量を減算した露光量の比率Ｔｖ１／（Ｔｖ３−Ｔｖ１）を乗算して外光成分Ｏを抽出する。
【００４５】
図７（ｂ）は、ストロボ光成分の信号量の抽出する例を示している。図７（ｂ）では、上記第１の実施形態と同様にして、静止画１（ストロボ発光画像）から外光成分Ｏを減算してストロボ光成分Ｆを抽出する。
【００４６】
本実施形態では、静止画１及び静止画２の露光期間がいずれもストロボ発光期間を含むため、被写体の動きが激しい場合でも、取得した画像の位置ずれ量を小さくすることが可能となる。その他の構成、及び作用効果は、上記第１の実施形態と同様である。
【００４７】
なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能であり、また、上記第１の実施形態と上記第２の実施形態を被写体の動き量などに応じて切り替えて適用してもよい。
【００４８】
また、上記各実施形態では、デジタルカメラに本発明を適用して場合を例示したが、デジタルカメラ以外の撮像装置や撮像装置以外の画像処理装置に本発明を適用してもよい。
【００４９】
また、上記各実施形態では、第１撮像処理と第２撮像処理を２行ライン毎に異なるタイミングで実行して画像信号を出力可能に構成された撮像素子を用いた例を説明したが、撮像素子の構成はその他の構成でもよい。例えば、１つの画素に複数の光電変換部が設けられた構成で、第１撮像処理と第２撮像処理を同一画素内の光電変換部毎に異なるタイミングで実行して画像信号を出力するようにしてもよい。このように、同一画素内の複数の光電変換部を用いて第１撮像処理と第２撮像処理を行うことで、異なるラインを用いて第１撮像処理と第２撮像処理を行う構成よりも静止画１と静止画２の位置ずれを小さくすることができる。
【００５０】
また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５１】
１０１  撮像素子
１０３  バッファメモリ
１０７  システム制御部
１４０  信号処理回路
１６０  ストロボユニット
【図１】
2018056638.tif 000003
【図２】
2018056638.tif 000004
【図３】
2018056638.tif 000005
【図４】
2018056638.tif 000006
【図５】
2018056638.tif 000007
【図６】
2018056638.tif 000008
【図７】
2018056638.tif 000009