(57)【要約】【課題】被写体の明るさが急激に変化する場合でも露出オーバーや露出アンダーの少ない良好な画像を取得する。【解決手段】事前に、撮影対象である現象（被写体１０）を生起させ、その明るさの時間的変化を光センサ３及び光量変化取得部４１により取得する。適正露光時間・ゲイン演算部４２は、計測された明るさの時間的変化情報に基づきフレーム毎に露出条件が適正範囲に入るように露光時間とゲインとを決め、撮影条件タイムテーブル作成部４３はトリガ信号を基準とする露光時間やゲインの時間的変化を示すタイムテーブルを作成・記憶する。このタイムテーブルは高速度ビデオカメラ２の記憶部２５に転送され、撮影制御部２４は実際に被写体１０を撮影する際に、タイムテーブルに従って露光時間やゲインが変化するように撮像素子２１、増幅器２２及び画像処理部２３を制御する。その結果、露出条件が適正範囲に収まった良好な画像が得られる。【選択図】図１
2012156805.tif 000002
【特許請求の範囲】
【請求項１】
a)撮像素子、該撮像素子で得られる画像信号を増幅する増幅器、増幅された画像信号をデジタル化するＡ／Ｄ変換器、及び、デジタル化された画像信号を処理して画像を再構成する信号処理部、を含む撮像手段と、
b)被写体の明るさの時間的変化を予め計測する計測手段と、
c)前記計測手段により計測された明るさの時間的変化情報に基づいて、前記被写体の撮影時に再構成画像の露出条件が適正になる又は適正範囲に入るように露光時間の時間的変化及び／又は前記増幅器以降の段階におけるアナログ的若しくはデジタル的なゲインの時間的変化を求め、この時間的変化に基づくタイムテーブルを作成して記憶するタイムテーブル作成手段と、
d)前記被写体を実際に撮影する際に、前記タイムテーブル作成手段により作成・記憶されているタイムテーブルに従って露光時間とゲインとの両方又は一方を変化させるように前記撮像手段を制御する撮影制御手段と、
を備えることを特徴とする高速度撮影システム。
【請求項２】
請求項１に記載の高速度撮影システムであって、
前記計測手段は撮影時のフレームレートにおいて各フレームで少なくとも１回被写体の明るさを計測し、前記タイムテーブル作成手段は、前記被写体を撮影する際に露出条件が適正範囲に入るように、フレーム毎に露光時間及び／又はゲインを求めてタイムテーブルを作成することを特徴とする高速度撮影システム。
【請求項３】
請求項１又は２に記載の高速度撮影システムであって、
前記計測手段は、光検出器として前記撮像素子を用いて画素毎に明るさの時間的変化を計測し、前記タイムテーブル作成手段は画素毎に露光時間の時間的変化及び／又はゲインの時間的変化を表すタイムテーブルを作成し、前記撮影制御手段は該タイムテーブルに従って画素毎に露光時間とゲインとの両方又は一方を変化させるように前記撮像手段を制御することを特徴とする高速度撮影システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は高速の現象を撮影するための高速度撮影システムに関し、さらに詳しくは、放電、燃焼といった光の放出や光の吸収を伴う高速の現象を撮影するのに好適な高速度撮影システムに関する。
【背景技術】
【０００２】
爆発、破壊、燃焼、衝突、放電、或いは物体の高速移動といった、通常のビデオカメラでは捉えることが困難であるような高速の現象を連続的に撮影するために、専用の高速ビデオカメラが開発されている。例えば非特許文献１、２に記載の高速度ビデオカメラは、画素周辺記録型撮像素子（ＩＳ−ＣＣＤ＝image storage-CCD）と呼ばれる特殊な構造の撮像素子を搭載しており、最高で１００万フレーム／秒（１Mfps）もの極めて高速度の撮影が可能である。
【０００３】
一般に、ＣＣＤやＣＭＯＳイメージセンサ等の固体撮像素子を用いたビデオカメラでは、撮像素子から出力される信号を増幅する増幅器のゲインを被写体の明るさに応じて自動的に調整する自動ゲイン調整（オートゲインコントロール：ＡＧＣ）を利用することで、或いは、フィルムカメラと同様に、各フレームの露光量を調整する自動露出（オートエクスポーズ：ＡＥ）機能により絞りやシャッタ速度を調節することで、常に適切な露光が得られるような制御がなされている（特許文献１参照）。ＡＧＣ、ＡＥいずれの手法でも、光量の計測結果に基づく演算処理を実行し、その処理結果に応じてゲインや絞りなどを調整する必要があるため、処理速度には限界があり、上記のような１Mfpsもの超高速の撮影速度には対応できない。
【０００４】
そのため、上記高速度ビデオカメラで明るさの時間的変化が大きな現象を撮影すると、明るすぎるフレームでは露出オーバーとなり易く、逆に暗いフレームでは露出が不足して画像全体が真っ黒になり易い。また、明るいフレームに露出を合わせると、殆どのフレームで画像が暗すぎて十分な観測ができないということが起こり得る。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平５−１０３２６９号公報
【非特許文献】
【０００６】
【非特許文献１】近藤、ほか５名、「高速度ビデオカメラHyperVision HPV-1の開発」、島津評論、島津評論編集部、２００５年９月発行、第６２巻、第１・２号、ｐ．７９−８６
【非特許文献２】近藤、ほか５名、「高速度ビデオカメラHPV-2と高速撮影アプリケーション」、島津評論、島津評論編集部、２００９年３月発行、第６５巻、第３・４号、ｐ．２１９−２２７
【発明の概要】
【発明が解決しようとする課題】
【０００７】
本発明は上記課題を解決するためになされたものであり、その目的とするところは、高速撮影時に被写体の明るさが大きく変化する場合にも、画像信号の飽和や露光不足の発生を防止し、被写体の変化の状態を確実に観測できるような良好な動画像を取得できる高速度撮影システムを提供することである。
【課題を解決するための手段】
【０００８】
上記課題を解決するために成された本発明に係る高速度撮影システムは、
a)撮像素子、該撮像素子で得られる画像信号を増幅する増幅器、増幅された画像信号をデジタル化するＡ／Ｄ変換器、及び、デジタル化された画像信号を処理して画像を再構成する信号処理部、を含む撮像手段と、
b)被写体の明るさの時間的変化を予め計測する計測手段と、
c)前記計測手段により計測された明るさの時間的変化情報に基づいて、前記被写体の撮影時に再構成画像の露出条件が適正になる又は適正範囲に入るように露光時間の時間的変化及び／又は前記増幅器以降の段階におけるアナログ的若しくはデジタル的なゲインの時間的変化を求め、この時間的変化に基づくタイムテーブルを作成して記憶するタイムテーブル作成手段と、
d)前記被写体を実際に撮影する際に、前記タイムテーブル作成手段により作成・記憶されているタイムテーブルに従って露光時間とゲインとの両方又は一方を変化させるように前記撮像手段を制御する撮影制御手段と、
を備えることを特徴としている。
【０００９】
ここでは、被写体は明るさの時間的変化の再現性が高い現象であり、例えば放電現象やプラズマ現象などである。また、被写体はそれ自体が光を放出するものでなく、照射される光の吸収度合や反射度合などが変化することで撮像手段から見たときの明るさが変化するものであってもよいことは当然である。
【００１０】
本発明に係る高速度撮影システムにおいて、計測手段は、例えば外部から与えられるトリガ信号を契機として生起する現象を被写体として、該被写体から到来する光の強度（光量）の時間的変化を上記トリガ信号の発生タイミングを基準として計測する。タイムテーブル作成手段は、計測された光強度の時間的変化に基づき、例えば各フレームにおいて再構成画像の露出条件が所定の適正範囲に入るように、例えば光強度が弱いフレームに対しては露光時間を長く、逆に光強度が強すぎるフレームに対しては露光時間を短くするように、露光時間の時間的変化を設定する。露光時間を短くすれば光強度が強くても撮像素子での信号飽和が起こりにくく、露光時間を長くすれば光強度が弱くても撮像素子での検出感度を上げることができる。ただし、撮影のフレームレートが決まっていれば露光時間には上限がある。そこで、露光時間を最大限長くしても光量が不足する場合には、さらにゲインを上げることによって露出の不足を補うようにすればよい。
【００１１】
なお、ここでいう「再構成画像の露出条件が適正」である状態とは、再構成された画像上で、被写体つまり目的とする現象の生起の観測が十分に行えるような明るさとなる状態のことである。具体的には、被写体が明るい場合には露出オーバーとならない、つまりは画面全体が白っぽくなって被写体とその周囲との区別がつかないことがないような状態であり、逆に被写体が暗い場合には露出アンダーとならない、つまりは画面全体が黒っぽくなって被写体とその周囲との区別がつかないことがないような状態、である。
【００１２】
タイムテーブル作成手段は、露光時間やゲインの時間的変化が求まったならば、それに基づき、トリガ信号の発生タイミングを基準とした露光時間やゲインのタイムテーブルを作成して記憶する。ここまでの作業・処理は実際の撮影前に行っておく。
【００１３】
明るさの時間的変化を事前に計測した現象を再び生起させて実際に撮影する際には、撮影制御手段は、上述したように作成・記憶されているタイムテーブルに従って、トリガ信号の生成タイミング時点から露光時間とゲインとの両方又は一方を変化させるように撮像手段を制御する。具体的には、露光時間の制御は撮像素子の電子シャッタの開閉時間の制御により行うことができる。また、ゲインの制御は、増幅器の段階でアナログ的に行う場合と、Ａ／Ｄ変換器又は信号処理部の段階でデジタル的に行う場合とがあり得る。
【００１４】
本発明に係る高速度撮影システムでは、複数のフレーム単位で露光時間やゲインを変化させるようにしてもよいが、観測対象の現象によっては連続するフレーム間で明るさが急激に変化する場合もある。そこで、本発明に係る高速度撮影システムの好ましい態様として、前記計測手段は撮影時のフレームレートにおいて各フレームで少なくとも１回被写体の明るさを計測し、前記タイムテーブル作成手段は、前記被写体を撮影する際に露出条件が適正範囲に入るように、フレーム毎に露光時間及び／又はゲインを求めてタイムテーブルを作成する構成とするとよい。これにより、明るさが急激に変化するような被写体に対しても良好な画像を得ることができ、観測者は目的とする現象をより的確に把握することができるようになる。
【００１５】
また、本発明に係る高速度撮影システムの一態様として、前記計測手段は、光検出器として前記撮像素子を用いて画素毎に明るさの時間的変化を計測し、前記タイムテーブル作成手段は画素毎に露光時間の時間的変化及び／又はゲインの時間的変化を表すタイムテーブルを作成し、前記撮影制御手段は該タイムテーブルに従って画素毎に露光時間とゲインとの両方又は一方を変化させるように前記撮像手段を制御する構成としてもよい。この構成によれば、例えばほぼ同時に生じる複数の現象を撮影するような場合でも、各現象の生起に伴う明るさの変化にそれぞれ対応して各現象を適切に捉え得るような良好な画像を取得することができる。
【発明の効果】
【００１６】
本発明に係る高速度撮影システムによれば、被写体の明るさが時間的に変化する場合でもその変化に応じて適正な露出条件が設定されるので、露出オーバーや露出アンダーが起こりにくく、被写体を確実に捉えた良好な画像を取得することができる。それにより、きわめて高速の現象も的確に観測することが可能となる。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施例である高速度撮影システムの要部の構成図。
【図２】本実施例の高速度撮影システムの動作説明図。
【図３】本実施例の高速度撮影システムの動作説明図。
【発明を実施するための形態】
【００１８】
本発明に係る高速度撮影システムの一実施例について添付図面を参照して説明する。図１は本実施例の高速度撮影システムの要部の構成図である。
【００１９】
本実施例の高速度撮影システム１は、被写体１０に対する高速撮影を行う高速度ビデオカメラ２と、被写体１０から到来する光を検出するフォトダイオード等の光センサ３と、コンピュータを中心に構成される制御装置４と、を含む。高速度ビデオカメラ２は、例えば非特許文献１、２等に記載のビデオカメラであり、撮像素子２１、増幅器２２、画像処理部２３、撮影制御部２４、撮影条件タイムテーブル記憶部２５などを含む。撮像素子２１は素子自体に１００フレーム以上の画像信号記憶部が内蔵された例えば画素周辺記録型撮像素子等の超高速撮影対応の素子であり、これにより、この高速度ビデオカメラ２は１Mfpsものフレームレートで１００フレーム程度以上の連続撮影が可能である。
【００２０】
また、光センサ３による検出信号が入力される制御装置４は、特徴的な機能ブロックとして、光量変化取得部４１、適正露光時間・ゲイン演算部４２、撮影条件タイムテーブル作成部４３などを含む。本実施例の構成では、光センサ３及び光量変化取得部４１が本発明における計測手段に相当し、適正露光時間・ゲイン演算部４２及び撮影条件タイムテーブル作成部４３が本発明におけるタイムテーブル作成手段に相当し、撮影制御部２４が本発明における撮影制御手段に相当する。
【００２１】
次に、本実施例の高速度撮影システムの動作について説明する。ここでは、被写体１０は例えば放電、プラズマ発光など、撮影対象である現象に伴う明るさの時間的変化の再現性が高く、且つトリガ信号を契機として生起する現象である。
このシステムを用いて被写体１０を撮影する際には事前に、被写体１０の明るさの時間的変化を計測し、その計測結果に基づいて制御用のデータを作成しておく。即ち、トリガ信号を契機として撮影対象の現象を生起させ、制御装置４の光量変化取得部４１はそのときの被写体１０から到来する光量の時間的変化を光センサ３により検出して記録する。このとき、光量変化取得部４１は撮影のフレームレートに応じて、各フレームで少なくとも１回光量値が得られるように光センサ３による検出信号をサンプリングする。これにより、フレーム単位での露出調整が可能となる。図２（ａ）は記録される光量の時間的変化の一例である。
【００２２】
制御装置４において適正露光時間・ゲイン演算部４２は、記録された光量の時間的変化のデータに基づいて、撮影時のフレーム毎の適正な露光時間及びゲインを計算する。撮像素子２１においては、図３に示すように、１フレームの画像を構成するための光電荷を蓄積する動作と、その蓄積した光電荷による画像信号を転送する動作とが繰り返されるが、その光電荷蓄積期間が露光時間である。フレームの繰り返し周期、つまり１フレーム期間の長さはフレームレートで決まるが、露光時間は撮像素子２１に内蔵された電子シャッタの開閉により調整可能である。一方、ここではゲインは増幅器２２の増幅率であるが、画像処理部２３に含まれるＡ／Ｄ変換器のゲインやデータ処理段でのゲインとしてもよい。
【００２３】
撮像素子２１において信号飽和が起こるような光量上限値は既知であるから、適正露光時間・ゲイン演算部４２は、光量が大きい場合には撮像素子２１で信号飽和が起こらないように露光時間を短くし、他方、光量が不足している場合には露光時間をできるだけ長くするように、フレーム毎の光量に応じた露光時間を求める。全ての光量値に対して露光時間をきめ細かく調整しても構わないが、撮影後に再現される画像上で露出条件が或る適正範囲に収まれば十分であるから、必ずしも全ての光量値に対して露光時間をきめ細かく調整する必要はない。そこで、例えば光量が所定範囲である場合には露光時間を所定値に固定し、光量がその所定範囲を上回っていた場合には、その上回り量に応じて露光時間を所定値から短くし、光量がその所定範囲を下回っていた場合には、その下回り量に応じて露光時間を所定値から長くしてもよい。
【００２４】
ただし、露光時間の最小値に制約はないが、露光時間の最大値には１フレーム期間が決まっていることによる制約がある。そこで、露光時間を最大限長くしても光量が不足する場合には、ゲインを上げることにより露出が適正範囲に入るようにする。これにより、例えば図２（ａ）に示した被写体１０の光量の時間的変化に対して図２（ｂ）に示すような露光時間及びゲインの時間的変化が求まる。
【００２５】
撮影条件タイムテーブル作成部４３は、上記のような露光時間の時間的変化及びゲインの時間的変化に基づいて、トリガ信号入力時点を基準とした各フレームの撮影条件を規定する撮影条件タイムテーブルを作成する。この撮影条件タイムテーブルには、フレーム毎の露光時間、ゲイン以外の、撮影に関する様々なパラメータを含むようにすることができる。
【００２６】
上記撮影条件タイムテーブルは撮影前の適宜の時点で制御装置４から高速度ビデオカメラ２に転送され、撮影条件タイムテーブル記憶部２５に格納される。様々な現象の被写体１０について予め光量を計測して撮影条件タイムテーブルを作成し、制御装置４の内部に保持しておくこともでき、それら被写体１０のうちの一つを実際に撮影する前に、該被写体１０に対応した撮影条件タイムテーブルを選択して制御装置４から高速度ビデオカメラ２に読み込むようにしておけば、撮影をスムーズに行うことができる。
【００２７】
実際に高速度撮影を行う際には、高速度ビデオカメラ２において撮影制御部２４は撮影条件タイムテーブル記憶部２５から撮影条件タイムテーブルを読み出し、トリガ信号入力時点から開始される撮影時間中の各フレームの撮影条件、即ち露光時間やゲインなどが撮影条件タイムテーブルに従ったものとなるように撮影プログラムを作成する。そして、トリガ信号の入力を受けて撮影制御部２４は、上記撮影プログラムに従った撮影を行うように撮像素子２１、増幅器２２、及び画像処理部２３をそれぞれ制御し、撮影を実行する。
【００２８】
上述した事前の明るさの時間的変化計測時と同様に、トリガ信号を契機として撮影対象の現象は生起するから、これを被写体１０として高速度ビデオカメラ２は撮影を実行する。トリガ信号が入力された時点以降の露光時間やゲインは、再現される画像の露出条件が適正範囲に入るように、被写体１０の明るさの時間的変化に応じて変化する。
【００２９】
ただし、撮像素子２１は、撮影制御部２４から撮影終了の指示が与えられるまで、決まった記憶容量である画像信号記憶部に繰り返し画像信号を上書きすることができる。したがって、トリガ信号が入力された時点から画像信号記憶部の記憶容量に相当する所定フレーム数の画像が得られた時点で撮影を終了すれば、トリガ信号入力時点を起点とした所定フレーム数分の動画像を得ることができるし、それよりも遅れて撮影を終了すれば、トリガ信号入力時点からではなく、それよりも適宜遅れた時点を起点とした所定フレーム数分の動画像を得ることができる。いずれにしても、撮影条件タイムテーブル中に撮影条件が規定された時間内であれば、被写体１０の明るさの変化に拘わらず適正な露出条件となるようにすることができる。
【００３０】
上記実施例では、被写体１０の明るさの変化を計測するために光センサ３を用いていたが、この場合に計測される明るさは被写体１０全体の平均的な明るさである。そのため、例えば、僅かに異なるタイミングで光を放出する複数の物体を同時に撮影する場合には、先に発光した一つの物体からの光量に合わせて画像全体の露光時間を短くしてしまうと、未だ十分に発光していない他の物体が暗くなりすぎて見えないようなことがあり得る。そこで、こうした問題を解決するには、撮影する画像を複数の小領域に分割し、その小領域毎に明るさの時間的変化を計測し、その計測結果に基づき、上記小領域に対応する画素毎に露光時間やゲインの時間的変化を定めるようにするとよい。
【００３１】
具体的には、上記実施例の高速度撮影システムにおいて、光センサ３０を用いる代わりに、露光時間やゲインが一定である所定条件の下で高速度ビデオカメラ２により被写体１０をテスト撮影する。制御装置４は、そのテスト撮影により実際に取得された画像信号に基づいて画素毎に輝度の時間的変化を求め、画素毎に露出条件が適正になるような露光時間及びゲインを求め、撮影条件タイムテーブルを作成する。実際に被写体１０を撮影する際には、撮影制御部２４は撮像素子２１の画素毎に露光時間を調整し、また各画素で得られた画像信号毎に増幅器２２のゲインを調整する。これにより、画素毎に露出条件が適切になり、上述したように複数の物体を同時に撮影する場合でもそれぞれの物体の発光輝度に応じた良好な画像を得ることができる。
【００３２】
なお、上記実施例は本発明の一例であり、本発明の趣旨の範囲で適宜修正、変形、追加を行っても本願特許請求の範囲に包含されることは当然である。
【符号の説明】
【００３３】
１…高速度撮影システム
１０…被写体
２…高速度ビデオカメラ
２１…撮像素子
２２…増幅器
２３…画像処理部
２４…撮影制御部
２５…撮影条件タイムテーブル記憶部
３…光センサ
４…制御装置
４１…光量変化取得部
４２…適正露光時間・ゲイン演算部
４３…撮影条件タイムテーブル作成部
【図１】
2012156805.tif 000003
【図２】
2012156805.tif 000004
【図３】
2012156805.tif 000005