(57)【特許請求の範囲】
【請求項１】
第１のフラッシュ照明で撮影された映像の各フレームの平均輝度値を算出し、前記各フレームの平均輝度値から各フレームの補正係数を算出し、前記第１のフラッシュ照明による撮影の後の第２のフラッシュ照明で撮影された映像の各フレームの画像データと前記各フレームの補正係数を用いて補正済み画像データを生成する演算部と、
前記演算部が算出した前記各フレームの補正係数を記録する補正係数記録部
を備える画像輝度自動補正装置。
【請求項２】
前記演算部は、前記第１のフラッシュ照明で撮影された映像の各フレームの画像データから補正係数を算出するのに代えて、前記第１のフラッシュ照明による撮影の後の第２のフラッシュ照明で撮影された映像の各フレームの平均輝度値から各フレームの補正係数を算出し、前記第１のフラッシュ照明で撮影された映像の各フレームの画像データと該各フレームの補正係数を用いて補正済み画像データを生成する請求項１に記載の画像輝度自動補正装置。
【請求項３】
前記補正係数は、［１／各フレームの平均輝度値］に比例する値であって、
前記演算部は各フレームの画像データに該補正係数を乗算して補正済み画像データを生成する請求項１または２に記載の画像輝度自動補正装置。
【請求項４】
前記演算部は、各フレームの平均輝度値および全フレームの平均輝度値を算出し、前記各フレームの平均輝度値および前記全フレームの平均輝度値から各フレームの補正係数を算出し、
前記補正係数は、［全フレームの平均輝度値／各フレームの平均輝度値］である請求項３に記載の画像輝度自動補正装置。
【請求項５】
前記演算部は、各フレームの全ピクセルの輝度値を平均することにより各フレームの平均輝度値を算出する請求項１乃至４のいずれか１項に記載の画像輝度自動補正装置。
【請求項６】
請求項１乃至５のいずれか１項に記載の画像輝度自動補正装置を備えた高速度撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高速度撮影装置でのストロボ光源を用いた撮影において、照明光源の輝度変化を測定し、これを基に撮影画像の輝度を自動的に補正する装置およびこの装置を備えた高速度撮影装置に関する。
【背景技術】
【０００２】
従来、高速な現象を撮影する際には、一般的な撮像装置よりも高速度で撮影できる高速度撮影装置が用いられる。高速度撮影においては、１フレームあたりの露光時間が撮影速度に比例して減少するため、十分な照明がないと撮影画像は暗くなってしまう。そのため、撮影速度が数万ｆｐｓ（frames per second）を超えるような超高速度撮影の場合にはストロボ光源が用いられることも多い。ところが、ストロボ光源は図１に示すように、発光開始から徐々に輝度が増加していき、最高輝度に達すると少しずつ輝度が減少していく、という発光特性を持つため、常に同じ明るさで照明することができない。例えば、発光時間（最大輝度から半分以上の輝度である時間とする）が１ｍｓのストロボ照明を用いるとすると、撮影速度を１０万ｆｐｓにすると発光時間は１００フレーム分に相当する。この１００フレームそれぞれでフラッシュ光源に照らされた被写体の明るさが変化してしまう。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特公平６−７１３１９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
本来、ストロボ照明は写真撮影に使用されているものであり、シャッター速度に比べてストロボ照明の発光の時間変化ははるかに短く、発せられた全ての光が１枚の画像に利用されるため、図２（ａ）に示すように発光特性があっても問題にならない。
【０００５】
ところが、高速度撮影の際には撮影速度によっては１フレームの露光時間が発光時間に対して十分短くなるため、図２（ｂ）に示すようにストロボ照明の発光特性によって照明光量もフレーム毎に変化し、均一な輝度の照明を用いたときと同様な撮影ができない。特許文献１のように、フレーム毎の映像信号から輝度変化を検出し、固体撮像素子の電子シャッター機能を用い露光時間を自動制御するものは既にあるが、ストロボ照明での高速度撮影を行うような場合は処理時間が追いつかなくなる可能性がある。また、被写体が高速で移動する場合などは露光時間によっては動きボケがでることがあるが、フレーム毎に露光時間を変化させると動きボケの量もそれに合わせて変化するため、映像としてみると不自然なものになってしまう可能性もある。
【０００６】
そのため、これまでは輝度変化を受け入れてそのまま撮影することが多かった。
【０００７】
本発明は、上記課題に鑑みなされたものであって、光源の輝度レベル変動に合わせて取得画像の輝度レベルを画像撮影後に自動的に適切な輝度レベルへと補正する装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本明細書において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
【０００９】
（１）本発明は、第１のフラッシュ照明で撮影された映像の各フレームの平均輝度値を算出し、前記各フレームの平均輝度値から各フレームの補正係数を算出し、前記第１のフラッシュ照明による撮影の後の第２のフラッシュ照明で撮影された映像の各フレームの画像データと前記各フレームの補正係数を用いて補正済み画像データを生成する演算部と、前記演算部が算出した各フレームの補正係数を記録する補正係数記録部を備える画像輝度自動補正装置である。
【００１０】
（２）上記（１）において、前記演算部は、前記第１のフラッシュ照明で撮影された映像の各フレームの画像データから補正係数を算出するのに代えて、前記第１のフラッシュ照明による撮影の後の第２のフラッシュ照明で撮影された映像の各フレームの平均輝度値から各フレームの補正係数を算出し、前記第１のフラッシュ照明で撮影された映像の各フレームの画像データと該各フレームの補正係数を用いて補正済み画像データを生成する。
【００１１】
（３）上記（１）または（２）において、前記補正係数は、［１／各フレームの平均輝度値］に比例する値であって、前記演算部は各フレームの画像データに該補正係数を乗算して補正済み画像データを生成する。
【００１２】
（４）上記（３）において、前記演算部は、各フレームの平均輝度値および全フレームの平均輝度値を算出し、前記各フレームの平均輝度値および前記全フレームの平均輝度値から各フレームの補正係数を算出し、前記補正係数は、［全フレームの平均輝度値／各フレームの平均輝度値］である。
【００１３】
（５）上記（１）〜（４）において、前記演算部は、各フレームの全ピクセルの輝度値を平均することにより各フレームの平均輝度値を算出する。
【００１４】
（６）上記（１）〜（５）のいずれかの画像輝度自動補正装置を備えた高速度撮影装置である。
【発明の効果】
【００１５】
本発明はフラッシュ照明が必要な高速度撮影において、フラッシュ照明の持つ発光特性を事前に測定しておき、撮影後の画像を自動で補正することで、あたかも輝度一定の強力な照明を用いて撮影を行ったような画像を得られるようにする装置を提供するものである。
【図面の簡単な説明】
【００１６】
【図１】ストロボ光源の発光時間特性例を示す図である。
【図２】写真の場合と高速度撮影での露光時間の違いを示す図である。
【図３】本発明の実施形態の輝度補正のイメージを示す図である。
【図４】本発明の実施例の高速度撮影装置を示す図である。
【図５】本発明の実施例の画像輝度自動調整装置のブロック図である。
【発明を実施するための形態】
【００１７】
以下、本発明の実施形態を図を用いて説明する。
【００１８】
図３は本発明の実施形態の輝度補正のイメージを示す図である。図３（ａ）はストロボ照明を被写体の無い背景に対して発光させて撮影したときの各フレームの平均輝度の時間変化を示す図、図３（ｂ）はストロボ照明で被写体があるときに撮影したときの各フレームの平均輝度の時間変化を示す図、図３（ｃ）はストロボ照明の輝度の時間変化より計算した補正係数を示す図、図３（ｄ）はストロボ並に強力で、その発光強度が変化しない均一な照明があるとして、その照明を用いて撮影したときの各フレームの平均輝度の時間変化を示す図である。
【００１９】
被写体の無い背景に対してストロボを発光させ、それを高速度撮影した映像が図３（ａ）のような輝度変化をしたとする。この映像から計算される補正係数を時間に対してプロットしたものは図３（ｃ）のグラフとなる。すなわち、まず、例えば被写体無しの状態でストロボだけ発光させて撮影すると、図３（ａ）のような輝度変化にしたがって各フレームの明るさが変化した映像が得られる。その映像より各フレームの画面の平均輝度値を計算(検出)するとともに全フレームについての平均輝度値を求め、各フレーム平均輝度値および全フレームの平均輝度値から各フレームの補正係数を計算して記録する。このようにして記録された補正係数が図３（ｃ）に示す補正係数である。
【００２０】
次に、例えば高速で移動する被写体をストロボを使って撮影すると図３（ｂ）のような輝度変化を持つ映像が得られる。この図は、途中で被写体の反射などにより一時的に輝度が上がっている様子を示している。この映像の各フレームの画像データと記録されている補正係数を掛け合わせると、図３（ｄ）に示すような均一な照明で撮影したときの輝度変化と同様な輝度変化を持つ映像を出力することができる。
【００２１】
図３（ｄ）のように、事前撮影で得られた照明光の時間変化パターンから補正係数を算出し、輝度レベルが低いときは画像全体を明るくするように補正し、輝度レベルが上がってきたところでは逆に画面全体を暗くするように補正することで、輝度が変化するストロボ照明での撮影にもかかわらず輝度一定の照明で撮影したかのような映像を得ることができることとなる。
【００２２】
なお、補正係数が各フレーム平均輝度値に逆比例していれば、被写体を撮影した画像データに対して照明光の時間に渡っての相対的な補正が可能である。さらに補正係数を全フレームの平均輝度値に比例させるならば、全フレームの平均輝度値と同じ明るさとなる輝度一定な照明で撮影したかのような映像が得られる。
【実施例】
【００２３】
以下、本発明の一実施例の高速度撮像装置および画像輝度自動補正装置について図面を用いて説明する。
【００２４】
図４に本発明の一実施例の高速度撮影装置を示す。１は高速度撮影装置、２は撮像素子、３はメモリ、４は制御回路、５は画像輝度自動補正装置、６は被写体、７はストロボ照明装置である。
【００２５】
図４において、ストロボ照明装置７を用いて撮影を行うと、高速度撮影装置１では撮像素子２から、被写体６を撮影した画像データが制御回路４を通してメモリ３に記憶される。最初の撮影では、画像輝度自動補正装置５は、メモリ３のデータを読み込み、各フレームの平均輝度値および全フレームの平均輝度値を算出する。
【００２６】
図５は画像輝度自動補正装置のブロック図である。５は画像輝度自動補正装置、５１は１フレーム分の画像を蓄積する画像蓄積部、５２はフラッシュ照明で撮影された映像の各フレームの平均輝度値や全フレームの平均輝度値や各フレームの補正係数を算出するとともに、画像蓄積部５１からの映像とその映像の撮影以前の撮影によって得られた補正係数より補正済み画像データを算出する演算部、５３は演算部が算出した各フレームの補正係数を記録する補正係数記録部である。
【００２７】
最初に背景に対して実際の撮影と同様にフラッシュ光源を用いて撮影を行い、その画像データを１フレーム毎に画像蓄積部５１へ取り込み、演算部５２にて取り込んだフレームの全てのピクセルの輝度の平均値を算出する。これを順次全フレームに渡って繰り返し、各フレームの輝度平均値から全フレームの輝度値の平均を求める。そして、これらの各フレームの平均輝度値、全フレームの平均輝度値をもとに補正係数を計算し、その値を補正係数記録部５３にて保持する。演算部５２では、例えば、［受け取ったフレームの輝度平均値／全フレームの平均輝度値］の逆数を補正係数とし、次に撮影する各フレームのデータにこれを掛けて補正済みデータを作成する、補正係数は補正係数記録部５３へ記録する。各フレームの補正係数を時間順に並べると図３（ｃ）のようなグラフになる。
【００２８】
以降の撮影においては、メモリ３から画像データを１フレーム単位で読み込み、最初の撮影で記録している補正係数を用いて自動的に輝度補正をしたデータをメモリ３へ書き戻す。
【００２９】
すなわち、２度目以降の撮影では演算部５２が画像蓄積部５１の１フレームの画像データと補正係数記録部５３に記録されたそのフレームの補正係数を用いて画像データを補正し、出力する。以上を撮影フレーム数分繰り返す。これにより、演算部５２は、画像蓄積部５１からの画像データ（図３（ｂ）参照）と補正係数記録部５３に記録されている補正係数（図３（ｃ）参照）を掛け合わせて、あたかも輝度一定の強力な照明を用いて撮影を行ったような輝度変化を持つ画像（図３（ｄ）参照）を出力する。
【００３０】
なお、画像蓄積部５１は図４のメモリ３を用いることにして省略する構成も可能である。
【００３１】
撮影の際には、フラッシュ照明装置７へ外部から信号を送ることで発光させる。また、高速度撮影装置１には多くの場合トリガ信号を入力することができ、撮影のタイミングを外部信号で制御できるので、フラッシュ照明装置７へ送る外部信号をカメラにも入力することでフラッシュの発光とカメラの動作を同期させることができる。このようにフラッシュの発光とカメラの動作を同期させることによって、１度目の撮影時のフレームと２度目以降の撮影時のフレームを対応させることができる。また、他の方法で１度目の撮影時のフレームと２度目以降の撮影時のフレームを対応させてもよい。
【００３２】
以上、本発明の実施例を詳細に説明したが、本発明の画像輝度自動補正装置は、第１のフラッシュ照明で撮影された映像の各フレームの平均輝度値を算出し、その各フレームの平均輝度値から各フレームの補正係数を算出し、第１のフラッシュ照明による撮影の後の第２のフラッシュ照明で撮影された映像の各フレームの画像データと各フレームの補正係数を用いて補正済み画像データを生成する演算部５２と、演算部５２が算出した各フレームの補正係数を記録する補正係数記録部５３を備えていればよい。
【００３３】
また、撮影フレーム数を半分に減らすならば、１回目に被写体の入った画像を撮影してメモリ３に蓄積し、その後に２回目の撮影を被写体の無い背景の状態で行って演算部５２が各フレームの補正係数を求め、補正係数記録部５３に記憶するようにし、その後に輝度補正した映像を出力するようにしてもよい。この場合は２回目の撮影を１回目の直ぐ後にできるので、被写体に影響を与えるなど事前にフラッシュを発光させて補正値を取得しておくことが難しい場合にも対応できる。
【００３４】
補正係数は［１／各フレームの平均輝度値］に比例した値であって、撮影された映像の各フレームの画像データに補正係数を乗算して補正済み画像データを作成してもよい。
【００３５】
この補正係数は［全フレームの平均輝度値／各フレームの平均輝度値］とすることができる。
【００３６】
また、演算部５２は、各フレームのピクセルの輝度値を平均することにより各フレームの平均輝度値を算出すればよく、全フレームの平均輝度値は各フレームの平均輝度値から算出すればよい。
【００３７】
本発明の実施例の高速度撮影装置１は、以上の画像輝度自動補正装置を備えていればよい。また、フラッシュ照明装置７へ送る信号が入力されることによりフラッシュ照明装置７の発光と同期して撮影するものであってもよい。
【００３８】
以上、本発明者によってなされた発明を、前記実施例に基づき具体的に説明したが、本発明は、前記実施例に限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは勿論である。
【符号の説明】
【００３９】
１…高速度撮影装置、２…撮像素子、３…メモリ、４…制御回路、５…画像輝度自動補正装置、６…被写体、７…ストロボ（フラッシュ）照明装置、５１…画像蓄積部、５２…演算部、５３…補正係数記録部
【図１】
0005509128.tif 000002
【図２】
0005509128.tif 000003
【図３】
0005509128.tif 000004
【図４】
0005509128.tif 000005
【図５】
0005509128.tif 000006