"撮像光学系によって結像された光学像を光電変換する撮像素子と、露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、前記撮像素子から出力される画像の画素値と、露光時間中に変動する参照信号の代表値との積を取得する相関画像取得手段と、前記撮像素子から出力を取得し、露光時間分の前記積の総和を相関画像として算出する相関画像算出手段と、を有することを特徴とする撮像装置。前記相関画像算出手段は、前記積を前記所定の分割数で割って総和を求めることを特徴とする請求項1に記載の撮像装置。前記撮像素子の露光量を決定するシャッターと、分割時間内で一定のシャッター速度を有するように前記シャッターの開閉を制御すると共に、前記シャッターの開閉に同期して光電変換するように前記撮像素子を制御する露光制御手段と、を更に有し、前記相関画像算出手段は前記相関画像取得手段として機能することを特徴とする請求項1または2に記載の撮像装置。前記撮像素子の露光量を決定するシャッターと、前記参照信号の前記代表値によって変調されたシャッター速度を有するように前記シャッターの開閉を制御すると共に、前記シャッターの開閉に同期して光電変換するように前記撮像素子を制御する露光制御手段と、を更に有し、前記撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記シャッターは前記相関画像取得手段として機能することを特徴とする請求項1または2に記載の撮像装置。前記撮像素子に入射する入射光の光量を変化させる光量変調素子と、前記光量変調素子を経た前記入射光の光量の割合を0から1で規格化し、前記参照信号を規格化し、規格化された前記参照信号の前記代表値によって前記入射光の光量の割合が変調されるように前記光量変調素子を制御する露光制御手段と、を更に有し、前記撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記光量変調素子は前記相関画像取得手段として機能することを特徴とする請求項1または2に記載の撮像装置。前記規格化された参照信号は前記参照信号の絶対値をとった信号であって、かつ、該絶対値をとった信号の最大値が1になるように規格化されており、前記相関画像算出手段は、前記相関画像を算出する際に、前記規格化された参照符号のマイナスに対応する前記積の符号を反転させることを特徴とする請求項5に記載の撮像装置。前記相関画像取得手段は、複数の種類の参照信号のそれぞれに対して前記積を取得し、前記相関画像算出手段は、前記複数の種類の参照信号のそれぞれに対して前記相関画像を算出することを特徴とする請求項1または2に記載の撮像装置。複数の種類の参照信号の数だけ入射光を分割する光束分割手段と、前記複数の種類の参照信号の数に対応する複数の撮像素子に対応し、それぞれが対応する撮像素子に入射する入射光の光量を変化させる複数の光量変調素子と、前記光量変調素子を経た前記入射光の光量の割合を0から1で規格化し、前記参照信号の絶対値をとった信号を0から1で規格化し、規格化された前記参照信号の前記代表値によって前記入射光の光量の割合が変調されるように前記光量変調素子を制御する露光制御手段と、を更に有し、各撮像素子が出力する前記画像は前記積であり、前記露光制御手段と前記光量変調素子は前記相関画像取得手段として機能し、前記相関画像算出手段は、前記複数の撮像素子から出力を取得し、前記相関画像を算出する際に、前記規格化された参照符号のマイナスに対応する前記積の符号を反転させることを特徴とする請求項1または2に記載の撮像装置。前記光束分割手段は前記複数の種類の参照信号の数に1を加えた数だけ入射光を分割し、前記複数の種類の参照信号の数に1を加えた数に対応する複数の撮像素子が設けられ、前記光量変調素子と経ずに入射光が入射した撮像素子からは前記相関画像の形成に使用されない前記積が出力されることを特徴とする請求項8に記載の撮像装置。前記参照信号は、正弦波であることを特徴とする請求項1に記載の撮像装置。前記参照信号は、複数の異なる位相の正弦波であることを特徴とする請求項7乃至9のうちいずれか1項に記載の撮像装置。前記参照信号は、複数の異なる位相の正弦波を合成した信号であることを特徴とする請求項7乃至9のうちいずれか1項に記載の撮像装置。前記参照信号は、正弦波と固定値を合成した信号であることを特徴とする請求項7乃至9のうちいずれか1項に記載の撮像装置。しかしながら、特許文献1では、特殊なイメージセンサを使用するため、生産コストが増加すると共に、1つのフォトダイオードに複数のコンデンサが必要となるため1画素が大きくなり高解像度化が困難になる。なお、特許文献2、3は、物体の経時的な情報を取得することには着目していない。そこで、本発明は、汎用のイメージセンサを使用して高解像度な画像と被写体の経時的な情報を取得することが可能な撮像装置を提供することを目的とする。本発明の撮像装置は、撮像光学系によって結像された光学像を光電変換する撮像素子と、露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、前記撮像素子から出力される画像の画素値と、露光期間中に変動する参照信号の代表値との積である相関画像を取得する相関画像取得手段と、露光時間分の前記相関画像の総和を相関画像として算出する相関画像算出手段と、を有することを特徴とする。本発明によれば、汎用のイメージセンサを使用して高解像度な画像と被写体の経時的な情報を取得することが可能な撮像装置を提供することができる。本実施形態の撮像装置は、サブフレーム相関画像を取得するサブフレーム相関画像取得手段と、撮像素子から出力を取得し、露光時間分の前記サブフレーム相関画像の総和を相関画像として算出する相関画像算出手段と、を有する。ここで、サブフレーム相関画像は、露光時間を所定の分割数によって分割した複数の分割時間のいずれかにおいて、撮像素子から出力される画像の画素値と参照信号の代表値との積である。相関画像算出手段がサブフレーム相関画像取得手段として機能してもよいし、後述する露光制御手段およびシャッター/光量変調素子がサブフレーム相関画像取得手段として機能してもよい。サブフレーム相関画像は分割時間ごとに生成されなくてもよく、複数の分割時間のいずれかにおいて生成されれば足りる。本実施形態では、相関画像算出手段は撮像素子から出力を受け取ってその外部で相関画像を算出し、撮像素子内では算出しないため、撮像素子に特殊なイメージセンサを使用する必要がなく、コストアップを防止することができる。以下、本発明の好ましい実施例について添付図面を参照して説明する。図1a、bは、それぞれ実施例1の撮像装置の異なる構成を示すブロック図である。図1aにおいて、101は、被写体の光学像を形成する撮像光学系であり、入射光をイメージセンサ104上に結像させる。102は、イメージセンサ104の露光量を決定するメカニカルシャッターで、高速にかつ異なる速度で開閉することが可能である。103は、シャッター速度やシャッターの開閉タイミングの制御を行う露光制御手段である。イメージセンサ104は、光学像を光電変換する撮像素子で、メカニカルシャッター102の開閉に合わせて高速に画像を読み出すことが可能である。105は、イメージセンサ104からの信号から後述する相関画像を算出する相関画像算出手段である。なお、露光制御手段103と相関画像算出手段105は、プロセッサマイクロコンピュータとして具現化可能である。106は、参照信号を露光制御手段103に供給する参照信号供給手段であり、外部とのコネクタまたは参照信号を格納したメモリから構成される。107は、相関画像を保存するためのメモリ記憶手段である。図1のbは、図1のaに示す構成からメカニカルシャッター102を除いた構成を有する撮像装置のブロック図である。この場合、露光制御手段103はイメージセンサ104を制御して高速にその露光量を決定する電子シャッターを切り、図1のaの構成と同様の撮像を行うことが可能となる。まず、相関画像について説明する。相関画像とは、入射光が撮像光学系101を通り、イメージセンサ104によって光電変換された通常の撮影画像と、参照信号との時間相関によって得られる画像である。画素i,jにおけるイメージセンサ104の出力である画像の画素値をfi,jt、参照信号をgt、1フレーム時間をTとすると相関画像Ii,jtは次式で表される。これは露光時間1フレーム時間内の画素値と参照信号の積分値である。数式1を離散的に表すと次式のようになる。つまり、露光時間を更に微小な時間Δtで分割し、tnΔtにおけるイメージセンサ104の出力fi,jtnΔtと参照信号値gtnΔtの積を求めることで相関画像を得ることが可能となる。ここで、露光時間を微小時間に分割して撮像した際の各画像をサブフレームとし、nはサブフレームの番号である。動作において、物体から入射する光は、撮像光学系101によりシャッターが開いている間イメージセンサ104上に結像する。撮像光学系101とイメージセンサ104は、通常の撮像装置と同様のものを利用することが可能であるが、イメージセンサ104は高速な読み出しおよび高速な電子シャッターが可能なイメージセンサとする。露光制御手段103は、参照信号に基づき撮像装置全体を制御する。図2は、露光制御手段103の動作を示すフローチャートである。図2において、Sはステップの略であり、これは他のフローチャートでも同様である。撮像が開始されると、まず、露光制御手段103は参照信号供給手段106から参照信号を取得するS1002。参照信号は露光時間中に変動する信号であり、例えば、図3に示すような露光時間が1周期に対応する正弦波信号を使用することができる。ここで、露光時間は、静止画においては最適な露出時間となるシャッター速度であり、動画像においては1フレーム時間動画を構成する静止画1枚分の時間である。動画像における1フレーム時間は、一般に、1/30秒もしくは1/60秒である。なお、参照信号の形状は限定されず、その数も一つに限定されない。以下、図3に示す正弦波を参照信号とし、動画像において相関画像を連続的に取得する例について説明する。参照信号gtを取得するとS1002、露光制御手段103は、参照信号gに基づいて1フレーム時間内の分割数を決定し、サブフレームのシャッター速度を算出するS1004。決定した分割数は参照信号gtの情報と共に相関画像算出手段105に送られる。例えば、露光制御手段103は、サンプリング定理よりサンプリング数が参照信号の最大周波数の2倍以上となるように分割数を設定する。なお、分割数を決定する部材は露光制御手段103でなくてもよく、外部から入力されてもよい。参照信号gtを外部から入力する場合は、周波数が未知のため同時には分割数を決定できないため、1フレーム時間の参照信号を取得して周波数を解析し、分割数を決定するのが望ましい。よって、動画像撮像時における参照信号は、1フレーム時間内の参照信号を繰り返して入力するのが好適である。しかし、1フレーム時間ごとに異なる参照信号を入力してもよく、その場合は最大周波数に従って分割数を決めるのが良く、最大周波数を入力可能な構成にするのが望ましい。次に、決定した分割数と1フレーム時間から微小時間Δtを算出し、そこからシャッター速度を算出する。シャッター速度はΔt間に1回シャッターを切るような速度とし、ノイズを考慮するとその間に最大露光量となるようなシャッター速度とするのが望ましい。また、シャッター速度は、分割ごとに変えるのではなく1フレーム中で一定速度とし、その速度で繰り返しシャッターを切るものとする。例えば、図4は、参照信号gtの1周期を20分割した場合を示しており、1フレーム時間が1/60秒であった場合、微小時間Δtは1/1200秒となる。シャッターのタイムラグを1/12000秒とすると、Δtの間に最大露光するためのシャッター速度は3/4000秒となる。次に、露光制御手段103は、S1004で決定されたシャッター速度を用い、図5に示すように一定間隔で即ち、サブフレームの時間内で一定のシャッター速度を有するように、メカニカルシャッター102の開閉を制御するS1006。ここで、図5は、シャッターの開閉タイミングを表す図である。図5の縦軸は不図示のシャッター駆動回路に供給される電圧値、横軸は時間で、立ち上がりでシャッターが開口し、立ち下りでシャッターが閉口し、パルス幅がシャッター速度に対応する。図1bの場合は、イメージセンサ104の電子シャッターを制御する。次に、露光制御手段103は、シャッターと同期して入射光を光電変換するようにイメージセンサ104を制御し、露光されたサブフレーム画像を相関画像算出手段105に出力させるS1008。次に、露光制御手段103は、所定の分割数に基づいて1フレーム時間の撮像が終了したかを判定するS1010。終了していない場合はS1010のN、ステップS1006に戻り、シャッターおよびイメージセンサ104を制御して撮像を行い、終了した場合はS1010のY、1フレームを終了する。次に、露光制御手段103は、撮像の終了判定を行いS1012、撮像が続行される場合はS1012のN、S1006に戻って処理を繰り返し、撮像終了の場合はS1012Y、撮像を終了する。イメージセンサ104は、通常の撮像装置のイメージセンサの構成と同様であり、露光制御手段103により制御され、シャッターの開閉に合わせて入射する光を光電変換して得られた画像を相関画像算出手段105に出力する。従って、特許文献1のような特殊な時間相関イメージセンサを使用しないので生産コストの増加を抑えることができる。イメージセンサ104は、高速な電子シャッターおよび高速な読み出す必要がある。通常の動画撮像用のイメージセンサが60fpsで撮像しているが、本実施例では、1フレームをさらに分割して撮像する。1フレーム中に1周期の参照信号gtで撮影する場合、参照信号gtを再現するためには最低でも2分割して撮像する必要がある。前述のように、20分割して変調動画像を撮像する場合には、1200fpsでの撮像が可能なイメージセンサが必要となる。相関画像算出手段105は、露光制御手段103から送られた参照信号gtおよび分割数を利用し、イメージセンサ104から1フレーム間を分割して撮像したサブフレーム画像と合わせて露光時間分のサブフレーム相関画像の総和を相関画像として出力する。図6は、相関画像算出手段105の1フレームにおける動作を説明するためのフローチャートである。まず、相関画像算出手段105は、露光制御手段103から参照信号gtおよび1フレーム間の分割数を取得するS1022。次に、相関画像算出手段105は、イメージセンサ104からサブフレーム画像を取得するS1024。サブフレーム画像はAD変換されたデジタル画像であり、γ補正等はサブフレーム画像によらず一定値であるとする。次に、相関画像算出手段105は、1フレーム中のn番目の時刻tnからΔtだけ露光したサブフレーム画像Intnに対応時刻の参照信号値gtnを掛けて時刻tnにおけるサブフレーム相関画像Cntnを算出するS1026。従って、この場合は、相関画像算出手段105はサブフレーム相関画像取得手段として機能する。ここで、Cntnは次式で与えられる。例えば、図4に示す参照信号のように1フレーム間に1周期の正弦波で分割数が20である場合、1番目のサブフレーム画像撮像開始時刻t1における参照信号値gt1は0である。これをサブフレーム画像I1t1にかけ合わせるとサブフレーム相関画像Cntnは0となる。なお、ここでは、サブフレーム画像撮像開始時刻における参照信号値を用いたが、分割した微小時間内でも参照信号は変化するためこの分割数が少ない場合は参照信号値の変化が大きく好ましくない。分割数が少ない場合は、微小時間内の中間時刻における参照信号値を代表値とするのが好適である。具体的には、20分割した場合の微小時間Δtにおける位相変化はπ/10であるため、1フレーム中の1枚目のサブフレーム画像の場合の参照信号値gt1は、微小露光時間の中間位相π/20における参照信号の値sinπ/20となる。分割数が十分多い場合はサブフレームの終了時刻を用いてもよく、分割数が少ない場合はΔt間の参照信号値の平均値を代表値としてもよい。次に、相関画像算出手段105は、S1026で算出されたサブフレーム相関画像Cntnを順次加算して相関画像保存用のメモリ107に保存するS1028。つまり、2番目のサブフレーム相関画像C2t2が送られてくると1番目のサブフレーム相関画像C1t1との和をとり、それを相関画像Cとして保存していく。但し、1フレーム間のサブフレーム相関画像に対してそのまま和をとった場合、分割数サブフレーム数が多くなるほど総和が大きくなりオーバーフローしてしまうため、サブフレーム相関画像を所定の分割数で割って加算する。つまり、1フレーム全体における相関画像Cは次式で与えられる。nはサブフレーム数である。次に、相関画像算出手段105は、S1022で取得した分割数から1フレーム分の分割画像の全ての取り込みを完了したか判定しS1030、1フレーム分に達していない場合はS1030のN、S1024に戻る。一方、相関画像算出手段105は、1フレーム分に達したらS1030のY、S1028でメモリ107に保存された相関画像を出力して1フレームを終了するS1032。相関画像は、サブフレーム相関画像の和がとられているため、1つの参照信号gtが入力された場合1フレームで1枚出力される。前述したように、参照信号は複数あってもよく、例えば、図7に示すように、図3の正弦波信号の位相をずらした信号を用意し、同じサブフレーム画像に異なる参照信号との相関をとって相関画像出力することが可能である。この場合は、入力される参照信号の種類と同数のメモリ107を用意して参照信号ごとに参照信号値をサブフレーム画像に掛けて、サブフレーム相関画像の和をとって保存していく。結果として参照信号の数だけ相関画像を算出して出力する。なお、参照信号にgt=1を指定した場合は、通常の1フレーム間の画像強度画像を分割撮影したことと等価である。よって同時に通常の画像も出力可能である。以上、本実施例によれば、特許文献1の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。以下、実施例1の変形例について説明する。撮像装置の構成は図1に示すものと同様であるが、露光制御手段103および相関画像算出手段105の動作が異なる。変形例では、一定のシャッター速度で微小時間だけ露光したサブフレーム画像に参照信号をかけ合わせることと同じ効果が得られるようにシャッター速度制御して撮像を行う。この結果、参照信号の代表値によってシャッター速度が変調される。そして、得られた露光時間の異なるサブフレーム画像の和をとって1フレームにおける相関画像を算出する。より具体的には、露光制御手段103の動作フローは図2と同様であるが、S1004の内容が異なる。実施例1では分割数と1フレーム時間から算出された微小時間内分割時間内で最大の露光時間となるように決定し、一定のシャッター速度で撮像を行っていた。一方、変形例では、シャッターは微小時間内で変化するシャッター速度を有し、露光時間により露光量を変え、結果として参照信号を掛け合わせた場合と同じ信号値になるようにしている。具体的には、微小露光時間で最大の露光時間になる場合を1と規格化し、参照信号も最大値が1となるよう規格化する。例えば、図4に示す参照信号を考える。分割した微小時間内でも参照信号は変化するため、この微小時間内の参照信号値を代表する代表値を決め、それをもとにシャッター速度を決定する。例えば、微小時間内の中間時刻における参照信号値を代表値とすると、位相変化はπ/10であるため、1フレーム中の1枚目のサブフレーム画像の場合の参照信号値は、微小露光時間の中間位相π/20における参照信号の値sinπ/20となる。このときのシャッター速度は、参照信号の値に比例して変化する時間、即ち、最大露光時間×sinπ/20となり、1フレーム間の各シャッター速度は、図8に示すような開閉タイミングになる。図8の縦軸と横軸は図5と同様である。参照信号値は0~1に規格化して使用する。また、シャッター速度には限界があるので、参照信号値は最速のシャッター速度に合わせた離散的な値となる。なお、参照信号の代表値は微小時間内の参照信号値の平均値としてもよい。変形例では、露光制御手段103とシャッターがサブフレーム相関画像取得手段として機能する。上述したように、参照信号値は複数あってもよいが、同時に複数の参照信号値のシャッター速度を実現することはできないため、順番に参照信号を選択してその時刻の信号の値からシャッター速度を決定する。図9は、g1t=1、g2t=sinωt、g3t=cosωtという3つの参照信号が入力された場合の時分割の参照信号を示している。即ち、参照信号は、少なくとも異なる2つのサブフレームに対してそれぞれ選択された異なる2つの種類の参照信号を合成することによって形成されている。第1サブフレームではg1t=1固定値が選択され、第2サブフレームではg2t=sinωt、第3サブフレームではg3t=cosωtが参照信号値として選択している。これを繰り返して合成された参照信号値を実線で示している。この合成された参照信号値をシャッター速度にすると図10に示すような開閉タイミングとなる。図10の縦軸と横軸は図5と同様である。このとき、S1034で制御されたイメージセンサ104から相関画像算出手段105に出力されるサブフレーム画像は、シャッター速度によって参照信号値との相関が取られており、サブフレーム画像がサブフレーム相関画像となっている。図11は、変形例における相関画像算出手段105の動作を説明するためのフローチャートであり、図6と同様のステップには同様の符号を付している。まず、相関画像算出手段105は、1フレーム中の分割数を露光制御手段103から取得するがS1022A、参照信号は取得しなくともよい。次に、相関画像算出手段105は、イメージセンサ104からサブフレーム画像を取得するS1024。S1024では、サブフレーム画像がサブフレーム相関画像となっているので、S1026は行われない。次に、相関画像算出手段105は、S1024で取得するサブフレーム相関画像露光時間分の総和をとって相関画像保存用のメモリ107に保存するS1028。その後は、実施例1のステップS1030およびS1032と同様である。以上、この変形例においても、特許文献1の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。図12abは、それぞれ実施例2の撮像装置の異なる構成を示すブロック図であり、図1と同様の構成要素には同一の参照符号を付している。図12aに示す撮像装置は、撮影光学系101とメカニカルシャッター102との間に配置され、イメージセンサ104に入射する入射光の光量を変化させる光量変調素子102を有する点で図1aに示す撮像装置と相違している。図12bは、図12aにおいてメカニカルシャッター102が無い構成である点は図1bと同様である。露光制御手段103Aの構成は露光制御手段103と同様であるが、図2に示す動作フローの一部が異なる。イメージセンサ104は実施例1と同様に通常の撮像装置のイメージセンサである。相関画像算出手段105Aの構成は相関画像算出手段105と同様であるが、図6に示す動作フローの一部が異なる。本実施例は、光量変調素子108を用いて参照信号に応じて入射光量を変調して相関画像を撮像する。図13は、露光制御手段103の動作を示すフローチャートであり、図2と同様のステップには同様の参照符号を付している。図13はS1005を有する点で図2と相違する。参照信号の例として図3、図4のものを使用できる点は図2と同様である。図2と同様に、S1002とS1004が行った後で、露光制御手段103Aは、参照信号に応じてサブフレーム毎に光量変調素子108に通電される電流または電圧を制御することによって透過する光量変調量を調節するS1005。そのためには、光量変調素子108の透過率イメージセンサ104に入射する光量の割合を最大の場合を1、最小の場合を0と規格化し、参照信号gtの最大値と最小値と対応付ける必要がある。参照信号gtはマイナスの値もとりうるため、参照信号値の絶対値をとった後に0~1に規格化し、画像を保存する際にマイナス符号をつける。露光制御手段103Aは、時刻tnにおける参照信号gtnの値を算出し、参照信号gtnに対応する透過率になるように光量変調素子108に通電される電流または電圧を制御する。本実施例では、露光制御手段103Aと光量変調素子108がサブフレーム相関画像取得手段として機能する。ここで、図14に示す規格化された参照信号を考える。1フレーム間に1周期の正弦波で分割数が20、光量変調素子108の透過率をマイナスの値にすることはできないので振幅が-1~1の正弦波の絶対値をとって0~1に規格化している。1番目のサブフレーム画像撮像開始時刻t1における参照信号値gt1は0となるので、露光制御手段103Aは、光量変調素子108の透過率が0になるように制御する。実施例1と同様に、分割数に応じて参照信号値の代表値を設定することができる。その後、図2と同様に、S1006~S1012が行われるが、このときS1008で出力されるサブフレーム画像は、光量変調素子108により参照信号gtとの相関がとられているためサブフレーム相関画像である。n番目のサブフレーム相関画像をCntn、n番目のサブフレーム間の入射光量をInt、参照信号をgtn、シャッター開放時間をΔtとすると、サブフレーム相関画像は次式で表される。図15は、相関画像算出手段105Aの1フレームにおける動作を説明するためのフローチャートであり、図6と同様のステップには同様の参照符号を付している。図15はS1026の代わりにS1027を有する点で図6と相違する。図6と同様に、S1022が行われた後で、相関画像算出手段105Aは、イメージセンサ104からサブフレーム相関画像を取得するS1024。S1024では、サブフレーム画像がサブフレーム相関画像となっているので、S1026は行われない。S1005で露光制御手段103Aは参照信号gtを0~1に規格化しているが、本来の参照信号は0~1ではなくマイナスの値も採り得るため、取得したサブフレーム相関画像を参照信号に合わせて変換する必要がある。このため、相関画像算出手段105Aは、図11と異なり、取得されたサブフレーム相関画像を参照信号gtに合わせて変換する。例えば、図14に示す参照信号の場合は、-1~1の信号の絶対値をとって0~1に規格化したため、相関画像算出手段105Aは、参照信号gtnがマイナスのサブフレームの場合はサブフレーム相関画像Cntnの符号を次式のように反転させる。次に、図6と同様に、S1028が行われる。この場合、図6と同様に、数式4が適用可能である。その後、S1030、S1032が行われる。なお、本実施例でも、複数の参照符号が使用されてもよい。例えば、図7のように図3の正弦波信号の位相をずらした信号の場合を考える。しかし、同時に複数の参照信号値の光量変調実現することはできないため、順番に参照信号を選択してその時刻の参照信号の値から光量変調素子の透過率を決定する。図16にはg1t=1、g2t=sinωt、g3t=cosωtという3つの参照信号が入力された場合の絶対値をとった時分割の参照信号を示している。第1サブフレームではg1t=1が選択され、第2サブフレームではg2t=sinωt、第3サブフレームではg3t=cosωtが参照信号値として選択している。これを繰り返して合成された参照信号値を実線で示している。複数の参照信号が入力される場合は、参照信号の種類と同数のメモリを用意し、同じ参照信号ごとにサブフレーム相関画像の和をとって保存していく。結果として参照信号の数だけ相関画像を算出して出力する。参照信号にgt=1を指定した場合に通常の画像を出力することができる点も実施例1と同様である。以上、本実施例によれば、特許文献1の特殊なイメージセンサを使用せずに、相関画像を取得することが可能となり、撮像装置のコストアップを防止することができる。なお、実施例1で説明されている参照信号の変換方法正弦波を0~1に規格化は、実施例2でも使用でき、実施例2で説明されている参照信号の変換方法正弦波の絶対値化は実施例1でも使用できる。図17abは、それぞれ実施例3の撮像装置の異なる構成を示すブロック図であり、図1、12と同様の構成要素には同一の参照符号を付している。本実施例では、相関画像と同時に通常の強度画像を取得する場合や複数の種類の参照信号に応じた相関画像を取得する場合に好適な例を示す。図17aに示す撮像装置は、ビームスプリッタ光束分割手段109によって撮像光学系101から入射する光を互いの光量が等しくなるように複数の種類の参照信号の数である2つに分割する。露光制御手段103Bの構成は露光制御手段103Aと同様である。但し、露光制御手段103Bは、2つの参照信号に応じて2つの光量変調素子108を独立に制御し、それに同期して光電変換するように2つのイメージセンサ104とイメージセンサ104の電子シャッターを制御する点で露光制御手段103Aと相違する。実施例2では、2つの参照信号が入力された場合は時分割で参照信号の変調を行っていたが、本実施例では、参照信号の種類に応じた光量変調素子108およびイメージセンサ104があるため、同時刻に複数種類の参照信号の相関をとることができる。このため、露光制御手段103Bは、参照信号ごとに光量変調素子108をサブフレームに同期して制御する。また、複数のイメージセンサ104の電子シャッターの制御もサブフレームごとに同期して行う。露光制御手段103Bによって光量変調およびシャッター制御されて撮像された画像は相関画像算出手段105Bに出力される。相関画像算出手段105Bは、相関画像算出手段105Aと同様の構成を有するが、相関画像算出手段105Bに入力される画像の数と総和の方法は相違する。相関画像算出手段105Aでは、1つのイメージセンサ104からの入力であったが相関画像算出手段105Bで2つの複数のイメージセンサ104から画像を取得する。図15に示す画像加算S1028では、相関画像算出手段105Aは複数の参照信号の場合は1つの入力画像をサブフレームごとに時分割された参照信号の種類を判別して別のメモリに保存していた。これに対して、相関画像算出手段105Bではサブフレームごとに参照信号の種類に応じたサブフレーム相関画像が得られるため時分割することなく複数の入力画像を別のメモリに保存する。図16bに示す撮像装置は、ビームスプリッタ109を撮像光学系101の光軸上に2枚配置し、入射光を3分割して即ち、複数の種類の参照信号の数に1を加えた数だけ分割して独立に変調して画像を取得する。図16bでは、光量変調素子108が2つだけ配置され、2つのイメージセンサ104は2つの参照信号に対する相関画像を取得する。また、2つのビームスプリッタ109を透過した光を受光するイメージセンサ104は光量変調素子を経ないで相関画像の形成に使用されない通常の強度画像サブフレーム画像を出力する。但し、3つのイメージセンサの前にそれぞれ光量変調素子108を配置してもよい。動作は上述の図10aの動作を3種類の入力信号に拡張した場合と同様である。図16bでは、入射光を3つに分割するため、ビームスプリッタ109を2枚配置している。但し、3分割された光の光量を一定にするには、1枚目のビームスプリッタ109は1/3の入射光量を反射し、残りの2/3の入射光量を透過させ、2番目のビームスプリッタ109はハーフミラーとするのがよい。以上、本実施例によれば、複数の光量変調素子108およびイメージセンサ104を配置することで、複数の参照信号に対する相関画像を同時に取得できる。また、1つの光量変調素子108およびイメージセンサ104を使用する場合に複数の参照信号を与えられた場合には、十分な分割数の相関画像を取得するために高速な駆動が必要であった。しかし、本実施例によれば、光量変調素子108およびイメージセンサ104の駆動速度を抑えることができる。以上、本発明の実施形態について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。"