(57)【特許請求の範囲】
【請求項１】
第１の中心波長を有し光の強度を第１の参照信号によって変調した第１の強度変調光と、第２の中心波長を有し光の強度を前記第１の参照信号と略同一の波形で位相が異なる第２の参照信号で変調した第２の強度変調光と、第３の中心波長を有し一定の強度の一定照明光とで、露光期間中に被写体を同時に照明する照明手段と、
前記第１の強度変調光に対応する第１の画像、前記第２の強度変調光に対応する第２の画像、および前記一定照明光に対応する第３の画像を生成する画像生成手段と、
前記画像生成手段によって生成された前記第１から第３の画像に基づいて、画像中の前記被写体の動き情報を取得する動き情報取得手段と、
を備え、
前記露光期間中に含まれる前記第１の参照信号および前記第２の参照信号の周期が整数である、動き情報取得装置。
【請求項２】
前記第１の参照信号と前記第２の参照信号は、周波数が略同一で、露光開始時の位相差が６０°以上１２０°以下の２つの正弦波であり、露光開始時の位相差と露光終了時の位相差の変化が−３０°以上３０°以下である、
請求項１に記載の動き情報取得装置。
【請求項３】
前記照明手段は、露光期間中に含まれる前記第１の参照信号および前記第２の参照信号の周期が整数となるように、前記第１の参照信号および前記第２の参照信号の周波数を調整する、
請求項１または２に記載の動き情報取得装置。
【請求項４】
前記照明手段は、露光期間中に含まれる前記第１の参照信号および前記第２の参照信号の周期が整数となるように、露光期間を調整する、
請求項１または２に記載の動き情報取得装置。
【請求項５】
前記照明手段は、前記第１の参照信号および前記第２の参照信号の周波数を、取得する被写体の速度に応じて決定する、
請求項１から４のいずれか１項に記載の動き情報取得装置。
【請求項６】
前記画像生成手段は、前記照明手段からの照明光を含まない画像である環境光画像も生成し、
前記動き情報取得手段は、前記第１から第３の画像と前記環境光画像とから動き情報を取得する、
請求項１から５のいずれか１項に記載の動き情報取得装置。
【請求項７】
前記画像生成手段は、第４の中心波長および所定のスペクトル分布を有する環境光に対応する前記環境光画像を生成し、
前記第１から第４の中心波長において隣り合う中心波長の間隔が５０ｎｍ以内である、請求項６に記載の動き情報取得装置。
【請求項８】
前記第１の強度変調光、前記第２の強度変調光、前記一定照明光、および前記環境光のうち中心波長が隣り合う２つの光について、中心波長の間隔が、一方の光のスペクトル分布の半値半幅と他方の光のスペクトル分布の半値半幅の和よりも広い、
請求項７に記載の動き情報取得装置。
【請求項９】
前記第１の強度変調光、前記第２の強度変調光、前記一定照明光、および前記環境光と略同一の中心波長およびスペクトル分布を有するカラーフィルタを含む撮像素子をさらに備え、
前記画像生成手段は、１回の撮影により前記第１から第３の画像および前記環境光画像を生成する、
請求項７または８に記載の動き情報取得装置。
【請求項１０】
前記第１から第３の中心波長において隣り合う中心波長の間隔は５０ｎｍよりも離れており、
前記画像生成手段は、前記第１から第３の中心波長からそれぞれ５０ｎｍ以内の中心波長と所定のスペクトル分布を有する第１から第３の環境光に対応する３つの前記環境光画像を取得する、
請求項６に記載の動き情報取得装置。
【請求項１１】
前記第１の強度変調光と前記第１の環境光、前記第２の強度変調光と前記第２の環境光、および前記一定照明光と前記第３の環境光のそれぞれの組み合わせについて、中心波長の間隔が、一方の光のスペクトル分布の半値半幅と他方の光のスペクトル分布の半値半幅の和よりも広い、
請求項１０に記載の動き情報取得装置。
【請求項１２】
前記第１の強度変調光、前記第２の強度変調光、前記一定照明光、および前記第１から第３の環境光と略同一の中心波長およびスペクトル分布を有するカラーフィルタを含む撮像素子をさらに備え、
前記画像生成手段は、１回の撮影により前記第１から第３の画像および前記第１から第３の環境光に対応する３つの前記環境光画像を生成する、
請求項１０または１１に記載の動き情報取得装置。
【請求項１３】
前記第１から第３の環境光の中心波長は、それぞれ前記第１から第３の中心波長と略同一であり、
前記画像生成手段は、前記照明手段による照明を行いつつ撮影することにより前記第１から第３の画像を生成し、前記照明手段による照明を行わずに撮影することにより前記第１から第３の環境光に対応する３つの前記環境光画像を生成する、
請求項１０に記載の動き情報取得装置。
【請求項１４】
前記第１の強度変調光、前記第２の強度変調光、および前記一定照明光のスペクトル分布は、それぞれ、４３０ｎｍから５００ｎｍの範囲、５８０ｎｍから６５０ｎｍの範囲、５００ｎｍから５８０ｎｍの範囲にある、
請求項１０から１３のいずれか１項に記載の動き情報取得装置。
【請求項１５】
前記画像生成手段は、前記第１から第３の環境光に対応する３つの前記環境光画像から、カラー画像を生成する、
請求項１４に記載の動き情報取得装置。
【請求項１６】
前記第１の強度変調光、前記第２の強度変調光、および前記一定照明光のスペクトル分布は、いずれも不可視帯域にある、
請求項１から１３のいずれか１項に記載の動き情報取得装置。
【請求項１７】
前記第１の強度変調光、前記第２の強度変調光、および前記一定照明光のスペクトル分布は、いずれも７５０ｎｍから１．４μｍの範囲にある、
請求項１６に記載の動き情報取得装置。
【請求項１８】
前記第１の強度変調光、前記第２の強度変調光、および前記一定照明光に対応するカラーフィルタと、カラー画像を取得するためのカラーフィルタとを含む撮像素子をさらに備える、
請求項１６または１７に記載の動き情報取得装置。
【請求項１９】
前記照明手段は、第５の中心波長を有し光の強度を第３の参照信号によって変調した第３の強度変調光と、第６の中心波長を有し光の強度を前記第３の参照信号と略同一の波形で位相が異なる第４の参照信号で変調した第４の強度変調光とをさらに照射し、
前記第３および第４の参照信号の周波数は、前記第１および第２の参照信号の周波数と異なり、
前記画像生成手段は、前記第３の強度変調光に対応する第４の画像および前記第４の強度変調光に対応する第５の画像も生成し、
前記動き情報取得手段は、前記画像生成手段によって生成された、前記第１から第５の画像に基づいて、前記画像中の被写体の動き情報を取得する、
請求項１から１８のいずれか１項に記載の動き情報取得装置。
【請求項２０】
前記動き情報取得手段は、前記第１から第３の画像に基づく動き情報と、前記第３から第５の画像に基づく動き情報とを求め、画素ごとに動きが大きい方の動き情報を当該画素の動き情報とする、
請求項１９に記載の動き情報取得装置。
【請求項２１】
動き情報取得装置が行う動き情報取得方法であって、
第１の中心波長を有し光の強度を第１の参照信号によって変調した第１の強度変調光と、第２の中心波長を有し光の強度を前記第１の参照信号と略同一の波形で位相が異なる第２の参照信号で変調した第２の強度変調光と、第３の中心波長を有し一定の強度の一定照明光とを、露光期間中に被写体に同時に照明する照明ステップと、
前記第１の強度変調光、前記第２の強度変調光、および前記一定照明光を被写体に照射しつつ撮影を行って、前記第１の強度変調光に対応する第１の画像、前記第２の強度変調光に対応する第２の画像、および前記一定照明光に対応する第３の画像を生成する画像生成ステップと、
前記画像生成ステップにおいて生成された前記第１から第３の画像に基づいて、画像中の前記被写体の動き情報を取得する動き情報取得ステップと、
を含み、
前記露光期間中に含まれる前記第１の参照信号および前記第２の参照信号の周期が整数である、動き情報取得方法。
【請求項２２】
請求項２１に記載の方法の各ステップをコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像から動き情報を取得する動き情報取得装置に関し、特に、時間相関画像から動き情報を取得する動き情報取得装置に関する。
【背景技術】
【０００２】
オプティカルフローなどの画像中の動き情報を取得する分野では、連続して撮影した２画像の差分から動き情報取得を行うことが一般的である。この手法では、大きな動きを正しく取得できないので、高速な撮影を行うことで画像上での動きを小さくして対応している。しかし、高速撮影を行うと、記憶容量の増加と高速処理が必要となるという問題が発生する。
【０００３】
そこで、時間相関画像を取得することによって、１回の撮影のみにより動き情報を取得する技術が研究されている。時間相関画像とは、通常の撮影によって得られる画像信号と所定の参照信号との時間相関を表す画像である。特許文献１は、時間相関画像を取得するために、光電変換して得られた電流に対し参照信号を与えて、変調された電流を時間積分して出力する撮像素子を使用することを提案している。しかしながら、この手法で用いられる撮像素子は、一般に流通している撮像素子と構造が異なり、大幅な設計変更が必要となる。よって生産コストが増加してしまう。
【０００４】
特許文献２は、汎用の撮像素子を用いて時間相関画像を取得する手法を提案している。特許文献２では、１枚の画像を取得する際に、参照信号に応じてシャッターや光量変調素子を制御し、入射光量を変調することを提案している。これにより、汎用の撮像素子を用いて、参照信号との時間相関を表す時間相関画像が取得できる。しかしながら、この手法ではシャッターまたは光量変調素子により時間相関画像を取得しているので、複数の参照信号との相関を同時に取得する場合は時分割で参照信号を変える必要がある。したがって、参照信号のサンプリング数が低下してしまうという課題がある。また、サンプリング数を上げる場合は、複数の光量変調素子および撮像素子が必要となり装置が大型化してしまうという課題がある。
【０００５】
特許文献３は、波長が異なる光による分光測定を複雑な分光器を用いずに１回の測定で実施するために、波長ごとに異なる周波数で振幅変調させた光を被写体に照射し、変調周波数に対応する成分を抽出する方法を提案している。特許文献３は、分光情報を取得することを目的としており、動き情報取得のために時間相関画像を取得することは考慮していない。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特許第５４４１２０４号公報
【特許文献２】特開２０１３−６２５８２号公報
【特許文献３】特開２００４−１０１４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
上記の実情を考慮し、本発明は、簡易な装置構成で高品質な時間相関画像および動き情報を取得可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一態様に係る動き情報取得装置は、第１の中心波長を有し光の強度を第１の参照信号によって変調した第１の強度変調光と、第２の中心波長を有し光の強度を前記第１の参照信号と略同一の波形で位相が異なる第２の参照信号で変調した第２の強度変調光と、第３の中心波長を有し一定の強度の一定照明光とで、露光期間中に被写体を同時に照明する照明手段と、前記第１の強度変調光に対応する第１の画像、前記第２の強度変調光に対応する第２の画像、および前記一定照明光に対応する第３の画像を生成する画像生成手段と、前記画像生成手段によって生成された前記第１から第３の画像に基づいて、画像中の前記被写体の動き情報を取得する動き情報取得手段と、を備え、前記露光期間中に含まれる前記第１の参照信号および前記第２の参照信号の周期が整数である。
【０００９】
本発明の別の態様に係る動き情報取得方法は、動き情報取得装置が行う動き情報取得方法であって、第１の中心波長を有し光の強度を第１の参照信号によって変調した第１の強度変調光と、第２の中心波長を有し光の強度を前記第１の参照信号と略同一の波形で位相が異なる第２の参照信号で変調した第２の強度変調光と、第３の中心波長を有し一定の強度の一定照明光とを、露光期間中に被写体に同時に照明する照明ステップと、前記第１の強度変調光、前記第２の強度変調光、および前記一定照明光を被写体に照射しつつ撮影を行って、前記第１の強度変調光に対応する第１の画像、前記第２の強度変調光に対応する第２の画像、および前記一定照明光に対応する第３の画像を生成する画像生成ステップと、前記画像生成ステップにおいて生成された前記第１から第３の画像に基づいて、画像中の前記被写体の動き情報を取得する動き情報取得ステップと、を含み、前記露光期間中に含まれる前記第１の参照信号および前記第２の参照信号の周期が整数である。
【発明の効果】
【００１０】
本発明によれば、簡易な装置構成で高品質な時間相関画像が取得可能であり、さらにこの時間相関画像から高品質な動き情報が取得可能である。
【図面の簡単な説明】
【００１１】
【図１】実施形態１に係る撮像装置の構成を示すブロック図
【図２】動き情報取得の流れを示すフローチャート
【図３】実施形態１における照明光のスペクトル分布を説明する図
【図４】参照信号および照明光強度を説明する図
【図５】実施形態１における撮像素子を説明する図
【図６】実施形態２における照明光のスペクトル分布と撮像素子を説明する図
【図７】実施形態３における照明光のスペクトル分布と撮像素子を説明する図
【図８】実施形態３における動き情報取得の流れを示すフローチャート
【図９】実施形態４における照明光のスペクトル分布と撮像素子を説明する図
【発明を実施するための形態】
【００１２】
＜時間相関画像と動き情報取得原理の説明＞
本発明の実施形態を説明する前に、時間相関画像の説明と、時間相関画像から動き情報（動きベクトル、オプティカルフロー）を取得する方法の説明を行う。
【００１３】
［時間相関画像］
時間相関画像とは、入射光が撮像光学系を通り撮像素子によって光から電荷に変換され輝度信号として生成される通常の撮影画像と、外部から与えられる時間的に変化する参照信号との相関によって得られる画像である。つまり、画素（i, j）における撮像素子の出力をｆi,j(t)、参照信号をg(t)、１フレーム時間をＴとすると、時間相関画像Ｉi,j(t)は次式で表される。これは１フレーム時間内の画素値と時間変化する参照信号との相互相関値である。
【数１】
0006521676.tif 000002
数式１は参照信号をアナログ信号で与えた場合であり、参照信号をデジタル信号で与えた場合は離散的な表現となる。数式１を離散的に表すと次式のようになる。
【数２】
0006521676.tif 000003
つまり、１フレーム時間Ｔを更にｍ個に分割した微小な時間Δｔ刻みの離散時刻ｎΔｔにおける撮像素子の出力ｆi,jと参照信号値ｇを掛け合わせて積算することで時間相関画
像を得ることが可能となる。ここで１フレーム時間を微少時間に分割して撮像した際の各フレームをサブフレームとし、ｎはサブフレームの番号である。
【００１４】
ここまで、入射光が撮像素子で光電変換された後に参照信号と相関をとる場合を説明したが、入射光強度を参照信号に応じて時間的に制御することで同等の時間相関画像を出力することが可能である。
【００１５】
［動きベクトル（オプティカルフロー）取得の説明］
次に前述した時間相関画像を用いた動きベクトルの演算方法に関して説明する。
【００１６】
画像中の点（ｘ，ｙ）の時刻ｔにおける輝度値がｆ（ｘ，ｙ，ｔ）であり、微小時間Δｔの間に変化しないと仮定すると次式が成り立つ。
【数３】
0006521676.tif 000004
数式３をテイラー展開して２次以上の項を無視した場合、次式が成り立つ。
【数４】
0006521676.tif 000005
ここで、Ｖｘ，Ｖｙは、点（ｘ，ｙ）における動きベクトルＶのｘ成分およびｙ成分を表す。
【００１７】
数式４はオプティカルフロー拘束方程式と呼ばれ、これを解くことで動きベクトルＶを計算できる。ここで問題となるのは、数式４における時間による偏微分項の取得方法である。二つのフレーム間の画像の差分をとることでこの偏微分項を計算することが一般的に行われるが、この手法では大きい動きを精度良く求めることは困難である。
【００１８】
ある時間Ｔ内に明暗ｆ（ｘ，ｙ，ｔ）を露光した画像を考慮する。そこで数式４を時間Ｔにおいて積分すると、次式が得られる。
【数５】
0006521676.tif 000006
更に露光中にｃｏｓ（ωｔ）、ｓｉｎ（ωｔ）を参照信号とした時間相関画像を考える。２つの参照信号によって取得した時間相関画像を合わせた相関画像Ｉ（ｘ，ｙ）を考慮すると、Ｉ（ｘ，ｙ）は次式で表される。
【数６】
0006521676.tif 000007
ここで、数式５および数式６における最終変形式を見ると、時刻Ｔ／２と時刻−Ｔ／２における輝度値ｆ（ｘ，ｙ，ｔ）の差分が含まれている。この差分は、現実的には時刻Ｔ／２および−Ｔ／２における画像が未知なので計算できない。しかし、数式６において、ωＴ＝２ｎπ（ｎ：整数）の場合は、次式が成り立つ。
【数７】
0006521676.tif 000008
つまり、露光中に整数周期の正弦波を与えた場合には、数式５と数式６における差分項が符号を除いて等しくなり、次式が成り立つ。
【数８】
0006521676.tif 000009
【００１９】
数式８は、複素方程式であり、２つの未知数Ｖｘ、Ｖｙに対し、実部の式と虚部の式を立てることができる。この式を解くことで動きベクトルＶを取得することが可能となる。
【００２０】
また、数式８は、通常の強度画像Ｉ０と、ｃｏｓ波、ｓｉｎ波を参照信号とした時間相関画像Ｉによって成り立っている。つまり、１フレーム中で強度画像Ｉ０と正弦波による時間相関画像Ｉを１回の撮影で同時に取得すれば、２フレーム画像の差分による近似なしに速度ベクトルＶが取得可能となる。
【００２１】
なお、上記の説明では簡単のために参照信号が正弦波（ｃｏｓ波およびｓｉｎ波）であるとしたが、位相が異なる略同一の形状の周期信号を参照信号としても上記と同様に速度ベクトルを算出可能である。
【００２２】
（第１の実施形態）
上記のように、時間相関画像は、撮像素子から得られる信号と参照信号との相関として得られる。例えば、特許文献２では、シャッターや光学変調素子を参照信号に応じて制御することで、撮像素子への入射光量を変調させている。本発明の実施形態においては、上記の正弦波の参照信号を変調信号として利用し、被写体に照射する照明光の強度を参照信号に応じて変調させることで、撮像素子への入射光量を変調させる。本実施形態は、このようにして時間相関画像を取得し、それに基づいて被写体の動き情報を取得する。
【００２３】
＜システム構成＞
図１は、本発明の第一実施形態に係る撮像装置のシステム構成図である。撮像装置１は、照明１０、照明制御部１１、撮像光学系１２、撮像素子１３、撮影制御部１４、画像処理部１５、メモリ１６、動き演算部１７、入力部１８、表示部１９、記憶部２０を有する。
【００２４】
照明１０は、ＬＥＤやレーザーなど狭帯域のスペクトルの光を出力可能な光源で構成し
、かつ複数のスペクトルを出力可能な構成とする。スペクトルの中心波長を特に限定はしないが、紫外領域から赤外領域の波長帯を用いることが好ましい。本実施形態では、照明１０は、互いに近接する３つの異なる中心波長λ０〜λ２のスペクトルを出力する。
【００２５】
照明制御部１１は、照明１０における照明光源に対し、予め保持した参照信号または不図示の入力手段によって入力された参照信号に応じてスペクトルごとに独立に強度の変調を制御する。
【００２６】
撮像光学系１２は、複数のレンズから構成され、入射する光を撮像素子１３の像面上に結像させる光学系である。撮像光学系１２は可変焦点の光学系であり、撮影制御部１４のオートフォーカス機能により自動焦点合わせが可能である。オートフォーカスの方式はパッシブ方式でもアクティブ方式でもよい。
【００２７】
撮像素子１３は、ＣＣＤやＣＭＯＳなどを有する撮像素子であり、異なる中心波長の画像を同時に取得可能な構成とする。異なる中心波長の画像を取得するために、撮像素子１３は複数の異なるカラーフィルタを有する撮像素子でもよいし、回折を利用して波長を分離する構成の撮像素子でもよい。更には、３板式の撮像素子といった異なる波長に対応する複数の撮像素子を有するような構成でも良い。撮像素子１３は少なくとも照明１０が有する照明光源から照射される中心波長λ０〜λ２のスペクトルに対応するスペクトルと、照明１０からの照明光を含まない中心波長λ３のスペクトルを取得可能な構成とする。
【００２８】
撮影制御部１４は、フォーカスや露出の制御、および照明と撮像のタイミング制御といった撮影全般の制御を行う。
【００２９】
画像処理部１５は、撮像素子１３から出力された信号に対して処理を行う。具体的には、アナログ信号のＡ／Ｄ変換やノイズ除去、デモザイキング、輝度信号変換、収差補正、ホワイトバランス調整、色補正などの一般的な処理と、照明光源波長に応じた補正処理を行う。補正処理の詳細は後述する。画像処理部１５から出力されるデジタル画像データは、一時的にメモリ１６に蓄積された後、表示部１９への表示、記憶部２０への記録（保存）などが実施され、所望の処理が行われる。
【００３０】
動き演算部１７は、画像処理部１５で生成されメモリ１６に蓄積された複数の画像を用いて、画像中における被写体の動き情報を取得する。画像中での被写体の動き情報は、被写体の動き情報と撮影時の撮像装置の動き情報が合成された動き情報となる。そこで、撮像装置の動き情報を、加速度センサなどを利用して別途取得し、撮像装置の動き情報を差し引いた被写体の動き情報を出力してもよい。また、静止被写体を撮影することで撮像装置の動き情報を取得して出力してもよい。出力結果は一時的にメモリ１６に蓄積された後、表示部１９への表示、記憶部２０への記録（保存）などが実施されるなど所望の処理が行われる。
【００３１】
入力部１８は、ユーザが操作し、撮像装置１に対して情報入力や設定変更を行うためのインターフェイスである。例えばダイヤル、ボタン、スイッチ、タッチパネルなどを利用することができる。
【００３２】
表示部１９は、液晶ディスプレイや有機ＥＬディスプレイなどで構成される表示手段である。表示部１９は、撮影時の構図確認、撮影・記録した画像の閲覧、各種設定画面やメッセージ情報の表示などに利用される。
【００３３】
記憶部２０は、撮影された画像データや、撮像装置１で利用されるパラメータデータなどが格納される不揮発性の記憶媒体である。記憶部２０としては、高速に読み書きでき、
且つ、大容量の記憶媒体を用いることが好ましい。例えばフラッシュメモリなどを好適に用いることができる。
【００３４】
＜複数参照信号に対する時間相関画像の同時取得方法＞
次に、撮像装置１が行う時間相関画像撮影から動き情報取得までの一連の動作について、撮影から処理の流れを示したフローチャートである図２を参照しながら詳細に説明する。
【００３５】
ユーザが入力部１８を操作して撮影を開始すると、撮影制御部１４がオートフォーカス（ＡＦ）や自動露光制御（ＡＥ）を実行し、フォーカス位置と絞り（Ｆナンバー）を決定する（ステップＳ１１）。次に、撮影制御部１４によって得られた撮影条件をもとに、照明制御部１１がフォーカス位置に応じて照明１０の光の最大強度を決定する（ステップＳ１２）。照明１０の光の最大強度は、フォーカス位置（被写体距離）が遠いほど強くすることが好ましいが、フォーカス位置によらずにあらかじめ定められた値としても構わない。
【００３６】
ここで、照明１０における照明光源の条件に関して説明する。照明を参照信号に応じて強度変化させることで取得される時間相関画像は、照明光の強度（Ｌ）、環境光の分光分布（ＥＬ）、被写体の分光反射率（Ｒ）、撮像素子上のカラーフィルタの透過率（Ｔ）、撮像素子の感度（Ｓ）によって決定される。ここで、撮影時の被写体の分光反射率、および環境光の分光分布は一般に未知である。よって、異なる波長の光源を用いて照明を行う際に、照明光の最大強度を同一としても、得られる画像の強度は一定とはならない。つまり、複数の光源の最大強度を一致させて強度変調して照明しても、強度の最大値が同じ参照信号の時間相関画像を取得することができない。
【００３７】
この問題に対処するために、本実施形態では、狭い波長域のスペクトルを用いて撮影を行う。被写体の分光反射率は、連続した波長では一般に連続的に変化すると考えられ、急激に変化することは稀である。図３（Ａ）に実線で紫外光から近赤外光までの被写体の分光反射率の一例を表す。図３（Ａ）においてある特定の狭い波長域（λ０〜λ３）に注目した場合、その波長域では被写体の分光反射率がほぼ一定とみなせる。その波長域内において、中心波長がλ０、λ１、λ２、λ３である更に狭いスペクトルに分割して画像を取得することを考える。すると、分光反射率による強度変化の影響をほぼ無視可能でありながら、異なる波長の画像を別々に取得することが可能となる。同様に、環境光の分光分布も狭い波長域であれば同等の強度とみなすことができ、環境光による影響も一定とみなすことができる。
【００３８】
以上のような条件を満たすように、照明光源の中心波長およびスペクトル分布と、カラーフィルタの中心波長およびスペクトル分布は狭帯域に設定されている。図３（Ａ）中の複数種類の点線は、撮像装置１が撮影に用いる中心波長（λ０〜λ３）を示している。より詳細には、中心波長λ０〜λ２は照明１０の複数の照明光源が照射する光の中心波長であり、中心波長λ０〜λ３は撮像素子１３が取得する光の中心波長である。また図３（Ｂ）には、λ０〜λ２の波長域における照明光源のスペクトル分布、λ３の波長域における撮像素子のカラーフィルタのスペクトル分布の例を示す。λ３は環境光を測定するためのスペクトルであるため、このスペクトルにおいては照明１０からは照明光が照射されない。また、λ０〜λ２の波長域におけるカラーフィルタのスペクトル分布は、照明光源のスペクトル分布と略同一であるので図３（Ｂ）では省略している。
【００３９】
これら４つのスペクトルの中心波長間隔が狭いほど、被写体の分光反射率および環境光の分光分布の変動が低減され、精度の良い時間相関画像が取得できる。また、スペクトル幅を狭くし互いの重複領域を少なくするほど、他のスペクトルからの影響を小さくできる
。隣り合うスペクトルの中心波長間隔とスペクトル幅の関係は、図３（Ｃ）に示すように、中心波長間隔を、一方のスペクトルの半値幅の半分（半値半幅）と他方のスペクトルの半値幅の半分（半値半幅）を足した距離よりも広くするのが良い。
【００４０】
レーザーを光源とした場合は、スペクトル幅を数ｎｍにすることも可能であり複数の照明光源の波長を十数ｎｍの範囲に設定することが可能となる。一方、ＬＥＤを照明光源として利用した場合は、スペクトル幅を数ｎｍに抑えることは困難であるため、夫々の中心波長の間隔は５０ｎｍ以内、かつスペクトルの半値幅が５０ｎｍ以内であることが好ましい。一方の照明光源のスペクトルの半値幅をＷλｉ、もう一方の照明光源のスペクトルの半値幅をＷλｊとすると、隣り合う中心波長間隔ＣＷは次式を満たすように設定する。
【数９】
0006521676.tif 000010
なお、照明１０は、中心波長λ０〜λ２の３つのスペクトルのみを照射するが、中心波長やスペクトル幅を決定する際には、λ３のスペクトルも照射すると仮定して、これら４つのスペクトル間で上記条件を満たすようにすることが好ましい。
【００４１】
ステップＳ１３にて、照明制御部１１は、ステップＳ１１で得られた撮影条件に応じて露光中の参照信号周期および参照信号周波数を決定し、決定した参照信号を用いて照明１０の照明光源の波長ごとに異なる強度変調を与えて照明を行う。
【００４２】
照明制御部１１で用いる参照信号は、被写体の明暗との相関をとるための信号であり、時間的に変動する任意の信号を入力することができる。参照信号の一例としては図４（Ａ）に示すような、位相が９０°ずれた２つの正弦波信号（ｃｏｓ波信号およびｓｉｎ波信号）を挙げられる。他にも矩形波や鋸波などの周期的な信号が利用できる。また、同時に用いる異なる参照信号は、互いの信号の位相、周波数、振幅の少なくとも一つが異なる信号であり、波形の種類は同じであることが好ましい。
【００４３】
本実施形態において照明制御部１１は、λ０とλ２の照明光源をそれぞれｃｏｓ波とｓｉｎ波で強度変調して強度変調光として照射する。照明制御部１１は、λ１の照明光源は強度変調せずに一定値の出力を有する一定照明光として照射する。図４（Ｂ）に、２つの強度変調光の強度Ｌλ０，Ｌλ２および一定照明光の強度Ｌλ１を示す。これらの光の強度は、具体的には、次のように表される。
【数１０】
0006521676.tif 000011
ここで、Ｌ０は定数値であり、ωは参照信号周波数である。参照信号周波数ωの決定方法については後述する。
【００４４】
複数の照明光源の強度が同じ場合、正弦波の最大振幅の値と一定の出力値は同じ値であることが望ましいが、出力の差異を用いて後述する取得画像を補正することもできる。また、上記の例ではλ０およびλ２の最小振幅をゼロとしているが、最小振幅をゼロより大きくしてもよい。
【００４５】
また、２つの正弦波参照信号の位相差は９０°であることが望ましいが、±３０°以内のずれを許容しても良い。すなわち、２つの参照信号の位相は９０°±３０°以内（６０°以上１２０°以下）異なっていてよい。ただし、位相差が９０°からずれるほど、動き
情報取得の精度が低下するため２つの正弦波の位相差が±１０°以内（８０°以上１００°以下）であるのがより好ましい。また、周波数ωは２つの正弦波において一致していることが最適であるが、異なっていてもよい。周波数が異なる場合は、露光開始時の２つの正弦波の位相差と露光終了時の２つの正弦波の位相差の変化が±３０°以内（−３０°以上３０°以下）に抑えられていることが望ましい。露光中の位相差変化が大きくなるほど動き情報取得の精度が低下するため、より好ましくは露光開始時の２つの正弦波の位相差と露光終了時の２つの正弦波の位相差の変化を±１０°以下（−１０°以上１０°以下）とするのが良い。すなわち、２つの周波数をω１，ω２、露光期間をＴとしたときに、｜ω１−ω２｜×Ｔ≦１０°（または３０°）を満たすことが好ましい。ただし、２つの正弦波の位相差は、露光期間中において９０°±３０°以内（６０°以上１２０°以下）とすることが好ましく、９０°±１０°以内（８０°以上１００°以下）とすることがより好ましい。露光期間中に２つの正弦波の位相差が常に９０°であることが最も好ましい。
【００４６】
照明制御部１１は、不図示の参照信号入力部により外部から参照信号を入力するように構成することができる。また、予め決定した参照信号値を照明制御部１１内のメモリや記憶部２０に保存して、照明制御部１１がこの値を読みだして利用しても良い。また、関数とその係数を保持しておき、照明制御部１１が信号値を生成して利用しても良い。
【００４７】
次に、参照信号周波数ωの決定方法について説明する。照明制御部１１は、ステップＳ１１の露光制御で決定した露光期間中に含まれる参照信号の周期が整数個となるように参照信号周波数を調整する。すなわち、照明制御部１１は、参照信号周波数ωを、次のように設定する。
【数１１】
0006521676.tif 000012
ここで、Ｔは露光期間を表す。また、ｎは整数であり、露光中に正弦波の周期数に対応する。
【００４８】
照明制御部１１は、ｎの値として、予め記憶部２０に保存されている値を利用してもよいし、ユーザが選択した値を利用してもよい。また、照明制御部１１は、あらかじめ保存されたあるいはユーザから取得された範囲にωが収まるように整数ｎを決定してもよい。
【００４９】
一方、露光中の参照信号の周波数ωおよび露光中に含まれる参照信号の周期ｎがあらかじめ定められた条件を満たすように、撮影制御部１４が、シャッター速度（露光期間Ｔ）と絞りの値を変更して適正露出になるように撮影することもできる。
【００５０】
また、動きの速い被写体の動きを取得する場合は、動きが遅い被写体の動きを取得する場合に比べ、変調周波数ωを高くするのが好適である。例えば、入力部１８からユーザが取得する被写体速度を入力し、照明制御部１１は、入力された被写体速度に応じて整数ｎを決定することもできる。被写体速度と適切な変調周波数の関係はあらかじめ把握できるので、照明制御部１１は、被写体速度に応じた適切な変調周波数に近くなるように整数ｎを決定すればよい。
【００５１】
ステップＳ１４において、撮影制御部１４が撮影処理を実施する。撮影は、具体的には、撮影制御部１４からの信号に基づいて、照明制御部１１が２つの強度変調照明光と一定照明光の照射を開始するとともに、同時に不図示のシャッターが開いて露光が行われる。照明１０によって照射された光は被写体で反射され、撮像光学系１２を通して撮像素子１３に結像する。不図示のシャッターはメカニカルシャッターもしくは電子シャッターで構成される。
【００５２】
撮影制御部１４は、露光開始のタイミングで照明の変調を開始して整数周期の照明変調を含むように露光を完了するように照明制御部１１および撮像素子１３を制御する。または、予め照明制御部１１により変調照明を実行させておき、露光時間中に整数周期の変調が含まれるように露光時間を制御して撮影を行うこともできる。動画像を撮影する場合においては、決められた１フレーム時間に整数周期の変調が行われるように照明制御部１１で参照信号の周波数を決定し、露光に同期して連続して変調照明を実施することとなる。
【００５３】
ここで撮像素子１３の構成に関して説明する。撮像素子１３は、図５（Ａ）に示すように、照明１０を構成する複数の照明光源の波長帯λ０〜λ２と環境光測定用の波長帯λ３とに対応した所定のスペクトル分布を有する少なくとも４種類のカラーフィルタを有する。撮像素子１３は、図５（Ａ）では、４種類のカラーフィルタを有する４画素が２行２列で配置され、この４画素からなる画素群が二次元に配列されている。それぞれのカラーフィルタの中心波長およびスペクトル分布は、一例として図３（Ｂ）に示した照明光のスペクトル分布と略同一である必要がある。このような撮像素子１３によって、２つの強度変調光と一定照明光に対応する画像と、環境光測定用の画像（環境光画像）を取得できる。なお、撮像素子１３における波長の分離は、カラーフィルタ以外にも回折を用いて行うことも可能である。また、一つの撮像素子上に異なる複数の波長を透過するカラーフィルタを配置する構成としても良いし、複数の撮像素子を用いて各撮像素子ごとに異なる波長を透過するカラーフィルタを配置する構成としても良い。
【００５４】
なお、照明光源のスペクトルと撮像素子のカラーフィルタのスペクトルは必ずしも同一である必要はない。波長の重複をより低減するために、照明光源とカラーフィルタの波長特性をずらして構成することも可能である。例えば、図５（Ｂ）のように照明光源とカラーフィルタの中心波長をずらすことによって、互いのスペクトルが重複する領域をより少なくするように設計するのも有効である。更には、図５（Ｃ）のように照明光源とカラーフィルタのどちらか一方をより狭帯域なスペクトル特性を持つように構成し、中心波長を合わせることで重複領域を低減することも有効である。
【００５５】
シャッターが閉じると撮影制御部１４は撮像素子１３から画像を取り込み、画像を画像処理部１５へと転送する。画像処理部１５は、撮像素子１３で取得した画像の信号値の入力を受け付け、カラーフィルタの波長ごとに画像生成を行う（ステップＳ１５）。画像処理部１５は、この画像生成処理において、照明光源の波長ごとの強度の違い、撮像素子上のカラーフィルタの透過率の違い、撮像素子での波長ごとの感度の違いによる補正も行う。画像処理部１５は、また、照明を行わない波長帯（λ３）の画素から得られる画素値を用いて、環境光による被写体からの反射光の影響の補正を行う。なお、この補正処理は波長別の画像を生成する前に画素ごとに補正することも可能である。補正された画像は、メモリ１６に一時的に蓄積され、必要に応じて表示部１９で表示され、記憶部２０に記憶される。
【００５６】
ここで、上記の補正処理についてより詳細に説明する。補正においては、環境光（ＥＬ）、被写体の反射率（Ｒ）、照明光源強度（Ｌ）、カラーフィルタ透過率（Ｔ）、撮像素子感度（Ｓ）を考慮し、これらによる信号強度の変動をなくす必要がある。波長λ０における、時間変化のない環境光をＥＬ（λ０）、移動する被写体の分光反射率をＲ（λ０,
ｔ）、照明光源の強度をＬ（λ０，ｔ）、カラーフィルタの透過率をＴ（λ０）、撮像素子の感度をＳ（λ０）と表す。なお、波長λ０における強度変調光の強度Ｌ（λ０，ｔ）は、数式１０に示すように、０．５×Ｌ０×（１＋ｃｏｓ（ωｔ））である。画素（ｉ，ｊ）における画像の輝度値Ｉλ０（ｉ，ｊ，λ０）は次式のようになる。
【数１２】
0006521676.tif 000013
この輝度値Ｉλ０（ｉ，ｊ，λ０）は強度変調光の反射による輝度値以外に環境光の反射による輝度値も含まれている。照明を行わない波長λ３の画像（環境光画像）には、照明光の反射光は含まれていない。したがって、環境光による輝度値は環境光画像に基づいて除去できる。波長λ３の環境光画像の輝度値Ｉλ３（ｉ，ｊ，λ３）は次式で表される。
【数１３】
0006521676.tif 000014
また、一定照明光を照射する波長λ１における画像の輝度値Ｉλ１（ｉ，ｊ，λ１）は次式で表される。ここで、数式１０に示すように、照明強度Ｌ（λ１，ｔ）＝Ｌ（λ１）＝Ｌ０である。
【数１４】
0006521676.tif 000015
同様に、波長λ２での画像の輝度値Ｉλ２（ｉ，ｊ，λ２）は次式で表される。波長λ２での照明光源の強度Ｌ（λ２，ｔ）は、数式１０に示すように、０．５×Ｌ０×（１＋ｓｉｎ（ωｔ））である。
【数１５】
0006521676.tif 000016
【００５７】
画像処理部１５は、これらの４つの画像Ｉλ０〜Ｉλ３を用いて、環境光による影響および波長による影響の補正を行う。まず、波長の違いにより生じるカラーフィルタの透過率Ｔの違い、および撮像素子の感度Ｓの違いを補正する。各カラーフィルタの透過率Ｔの違い、および撮像素子の波長による感度Ｓの違いは予め計測により知ることが可能である。よって、これらの値を計測し、基準となる波長での値と一致させるための補正係数を記憶しておき、画像処理部１５はこの補正係数を用いて規格化を行う。例えば一定値で照明する光源波長λ１を基準とし、λ０における透過率Ｔ（λ０）、照明光強度Ｌ（λ０）、撮像素子感度Ｓ（λ０）の積が波長λ１の場合の積Ｔ（λ１）Ｌ（λ１）Ｓ（λ１）と一致するように補正を行う。各波長が近くカラーフィルタの透過率Ｔ、撮像素子の感度Ｓも一定とみなせる場合や動き情報の算出精度を落としても構わない場合は、この補正処理を省略しても良い。
【００５８】
次に、未知である測定時の各波長における環境光強度ＥＬおよび各波長の被写体の反射率Ｒの補正を行う。ここでは、波長λ０からλ３が狭い波長帯にある場合、未知である被写体の各波長における反射率Ｒおよび各波長の環境光強度ＥＬは一定であると仮定できる。この仮定の下では照明を行わずに撮影した画像Ｉλ３は、環境光による照明ＥＬと被写体の反射率Ｒを表している。よって、照明を行った波長の画像Ｉλ０、Ｉλ１、Ｉλ２から照明を行わない波長の環境光画像Ｉλ３を差し引くことで環境光の影響を除去した画像Ｉλ０’、Ｉλ１’、Ｉλ２’を得る。
【００５９】
補正画像Ｉλ１’は、環境光を除いた一定照明によって得られた画像を表し、補正画像Ｉλ０’はｃｏｓ波との時間相関画像、補正画像Ｉλ２’はｓｉｎ波との時間相関画像を表す。なお、実際には波長λ０とλ２における照明の強度は、数式１０に示すように定められるので、ｃｏｓ（ωｔ）とｓｉｎ（ωｔ）との時間相関画像を取得するためには、以下の計算を行う必要がある。
【数１６】
0006521676.tif 000017
なお、ここまで照明光の最大値が全ての波長でＬ０と一定の場合を例に挙げて説明したが波長ごとの照明強度が異なる場合には、この段階で規格化を行う必要がある。
【００６０】
数式８における通常の強度画像Ｉ０（ｘ，ｙ）は、上記のＩλ１’’に相当する。また、数式８の時間相関画像Ｉ（ｘ、ｙ）は、Ｉλ０’’−ｉＩλ２’’に相当する。
【００６１】
なお、波長帯に対する参照信号の割り当て方として、一定値の参照信号による照明の波長帯を中心として、その短波長側および長波長側に変調照明を行う波長帯を配置するのが好適である。上記の例では、λ０＜λ１＜λ２とするのが好適である。また、照明を行わない波長帯と一定値の照明の波長帯を中心として、その短波長側および長波長側に変調照明を行う波長帯を配置するのも好適である。上記の例では、λ０＜λ１＜λ２かつλ０＜λ３＜λ２とするのが好適である。
【００６２】
次に動き演算部１７で、メモリ１６に蓄積された強度画像Ｉ１、時間相関画像Ｉ０、Ｉ２を用いて数式８を演算することで動き情報を取得する（ステップＳ１６）。数式８の演算を行う際、単一画素の値のみを用いて演算しても良いが、安定性を考慮し注目画素の近傍領域の画素の値を用いて局所最小二乗解を演算するのが好適である。取得された動き情報は、記憶部２０に保存されたり、他のアプリケーションで利用されたりするなど所望の処理に使われる。
【００６３】
以上のように、複数の照明光源のスペクトルおよび撮像素子で取得する画像のスペクトルを対応させ、かつスペクトル幅を狭くし中心波長を近づけることで、被写体の分光反射率および環境光の分光分布による撮影画像の強度変化を低減することができる。これにより、環境光の分光分布および被写体の分光反射率を計測することなしに参照信号の最大振幅が一致する時間相関画像を１回の撮影で同時に取得することが可能となる。また、取得した時間相関画像を用いて、２フレーム間の差分による近似を必要としない高精度・高解像度な動きベクトル取得の演算が可能となる。
【００６４】
本実施形態の構成により、従来の撮像素子の回路の大幅な改良なしにカラーフィルタを変え、照明を改良するのみで同時に複数の参照信号との時間相関画像を取得することが可能となり、撮像装置のコストを削減できるという効果がある。
【００６５】
また、１つの撮像素子を用いてシャッターや光強度変調器によって同時に複数の参照信号との時間相関画像を取得する場合に比べ、参照信号のサンプリング数が低下することなく時間相関画像を取得可能になるという効果がある。
【００６６】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態は、第１の実施形態と比較して、照明光源の中心波長が離れている点が異なる。この場合、環境光強度および被写体の分光反射率が各波長で同一であるという仮定は成立しなくなる。そこで、本実施形態では、照明光源の中心波長が離れた場合でも参照信号の最大振幅が一致した時間相関画像を取得できるように、第１の実施形態から構成を変更する。撮像装置１の構成は、基本的には第１の実施形態のものと同様のため、同一の構成については同一の符号を用いて説明を行う。以下、第１の実施形態との相違点を主に説明する。
【００６７】
本実施形態における照明１０は、中心波長λ０〜λ２のスペクトルを照射する点では第１の実施形態と同様であるが、中心波長間の間隔が第１の実施形態と比較して大きく、５０ｎｍ以上である点が異なる。中心波長間隔が異なることを除けば、照明光については第１の実施形態と同様である。
【００６８】
このように照明光の中心波長が大きく離れていると、それぞれの帯域における環境光の分光分布（ＥＬ）および被写体の分光反射率（Ｒ）も大きく異なる可能性がある。その結果、画像処理部１５で照明光源の波長による強度（Ｌ）の違い、カラーフィルタの透過率（Ｔ）の違い、撮像素子での波長による感度（Ｓ）の違いを補正しても時間相関画像の強度が波長帯によって大きく異なってしまう。よって、環境光の分光分布（ＥＬ）の影響および被写体の分光反射率（Ｒ）の影響を補正する必要がある。
【００６９】
そのため、撮像素子１３に配置するカラーフィルタの種類を変更する。本実施形態においては、照明１０の各照明光に対応する画像を取得するとともに、それぞれの照明光と近い波長において照明光の影響を含まない画像（環境光画像）を取得する。そのため、撮像素子１３に、照明１０の各光源装置と略同一な中心波長λ０〜λ２とスペクトルを持つカラーフィルタと、各光源装置の中心波長に近い中心波長λ０’〜λ２’と同様のスペクトルを持つカラーフィルタとをペアで配置する。具体的なカラーフィルタのスペクトルの例を図６（Ａ）に示す。撮像素子１３は、図６（Ａ）に示す中心波長λ０〜λ２およびλ０’〜λ２’の６種類のスペクトルをもつカラーフィルタを備えた画素を有する。中心波長がλ０、λ１、λ２のカラーフィルタのスペクトルは、照明１０の各光源装置のスペクトルと略同一である。また、中心周波数λ０’、λ１’、λ２’のスペクトルは、それぞれ中心波長λ０、λ１、λ２のスペクトルとの間で、数式９の条件を満たすように設定される。異なる照明光源のスペクトルにおける被写体の分光反射率は大きく異なりうるが、ペアとなるカラーフィルタのスペクトル間では被写体の分光反射率は略同一とみなせる。
【００７０】
撮像素子１３上でのカラーフィルタの配列の一例を図６（Ｂ）（Ｃ）に示す。図６（Ｂ）は中心波長が近いペアとなるカラーフィルタを横方向に隣接して配置し、縦方向に異なる中心周波数のカラーフィルタのペアを周期的に配置した例である。図６（Ｃ）はペアとなるカラーフィルタを縦方向に隣接して配置し、横方向に異なる中心周波数のカラーフィルタのペアを周期的に配置した例である。それぞれのペアとなるカラーフィルタは図６（Ｂ），６（Ｃ）に示すように隣接して配置するのが好適であるが、カラーフィルタの配置順はこの限りではない。
【００７１】
次に、画像処理部１５が行う時間相関画像の生成方法について説明する。この際、画像処理部１５は、第１の実施形態と同様に波長による各種パラメータの違いを補正するが、その具体的な処理内容が第１の実施形態と異なる。
【００７２】
画像処理部１５は、まず、ペアとなる波長の撮影画像において、波長の違いによる撮像素子上のカラーフィルタの透過率Ｔの違い、撮像素子での波長ごとの感度Ｓの違いを補正する。ここでペアとなる波長が十分に小さい場合はこれらのパラメータの間に違いがないとみなして処理を省いてもよい。次に、画像処理部１５は、ペアとなるカラーフィルタ間で、照明を行わない中心波長λ０’〜λ２’の画像を、照明を行った中心波長λ０〜λ２の時間相関画像から差し引く。これにより、環境光の分光分布ＥＬによる影響を除くことができ、照明光Ｌによる影響のみの３つの画像が得られる。これらの照明光画像は波長帯が大きく異なるため、被写体の分光反射率Ｒ、照明光源の強度Ｌ、カラーフィルタの透過率Ｔ、撮像素子の感度Ｓが大きく異なる。したがって、画像処理部１５は、次に、予め計測した照明光源の強度Ｌ、カラーフィルタの透過率Ｔ、撮像素子の感度Ｓを用いて、同じ輝度値が同じ強度の信号で変調されたように補正を行う。
【００７３】
ここで、被写体の分光反射率Ｒの影響が残存する。これを補正するために、中心波長λ０’〜λ２’の環境光による画像を用いる。まず、環境光画像においてカラーフィルタの透過率Ｔ、撮像素子の感度Ｓの補正を行う。すると観光強画像に残存する違いは環境光の分光分布ＥＬと被写体の分光反射率Ｒの影響となる。ここで、補正した画像からホワイトバランスを算出する。ホワイトバランスは環境光の分光分布を表しており、これを用いて画像を補正することで被写体の分光反射率Ｒを算出する。環境光画像から求めた分光反射率Ｒを用いて照明光画像における被写体の分光反射率を補正できる。
【００７４】
以上の補正処理により、波長の違いによる影響を除いた、一定照明によって得られた画像、ｃｏｓ波との時間相関画像、ｓｉｎ波との時間相関画像が得られる。これらの画像からの動き情報の算出は、第１の実施形態と同様に行える。
【００７５】
本実施形態において、３つの異なるスペクトルの照明光源の中心波長を通常のカラー画像を取得する際のＲＧＢカラーフィルタの中心波長の近くに配置するのが好適である。Ｒのカラーフィルタの中心波長は５８０ｎｍから６５０ｎｍの範囲にあり、Ｇのカラーフィルタの中心波長は５００ｎｍから５８０ｎｍの範囲にあり、Ｂのカラーフィルタの中心波長４３０ｎｍから５００ｎｍの範囲とするのが一般的である。照明光源の３つのスペクトルを上記のＲＧＢのカラーフィルタの帯域にそれぞれ分けて設定する。本実施形態では、各照明光源の中心波長に近い中心波長を持つカラーフィルタをペアで撮像素子上に配置する。よって、照明を行わない３つの波長による画像は、それぞれＲＧＢのカラープレーン画像に対応し、カラーフィルタのスペクトルが狭く色再現性は低いがＲＧＢカラー画像を同時に取得することが可能となる。また、一定照明で撮影した色（波長）については、ペアの波長のカラーフィルタによる２つの画像を合成した画像を一つのカラープレーン画像とみなすことで波長帯域を広げることが可能となり、色再現の精度が向上する。
【００７６】
なお、ここではカラー画像としてＲＧＢカラー画像を例に説明したが、補色フィルタなど他のカラーフィルタによるカラー画像の場合でも適用可能である。
【００７７】
以上のように、撮像素子１３におけるカラーフィルタの種類を増やすことで、照明光源の中心波長が離れている場合でも被写体の分光反射率および環境光の分光分布の影響を低減して時間相関画像を取得可能となる。
【００７８】
また、照明光源の中心波長およびペアとなる撮像素子上のカラーフィルタの中心波長を赤領域、緑領域、青領域に分離して配置することで、ＲＧＢカラー画像を同時に取得することが可能となる。更に変調照明を行わない場合は、スペクトルの近いペアのカラーフィルタを合成することでカラーフィルタの帯域幅を広げ、変調照明を行う場合より色再現性の高いカラー画像を取得することが可能となる。
【００７９】
（第３の実施形態）
本発明の第３の実施形態について説明する。第３の実施形態は、第１の実施形態と比較すると照明光源の中心波長が離れている点が相違する。そして、本実施形態では、照明光源の中心波長が離れた場合でも参照信号の最大振幅が一致した時間相関画像を取得できるように、複数回の撮影を行う点で第２の実施形態と相違する。本実施形態における撮像装置１の構成は、基本的に第１の実施形態のものと同様のため、同一の構成については同一の符号を用いて説明を行う。以下、第１の実施形態とのの相違点を主に説明する。
【００８０】
まず、照明１０における照明光源の中心波長とスペクトルに関して相違を説明する。照明１０が３つの中心波長の光を照射し、照射光強度がｃｏｓ変調、ｓｉｎ変調、変調なしである点は第１及び第２の実施形態と同様である。照明光源の中心波長は第２の実施形態と同様に互いに５０ｎｍ以上離れた波長帯に設定する。より好ましくは、３つの中心波長
をＲＧＢの中心波長の近くに配置する。本実施形態においては、スペクトルは、第１および第２の実施形態のように必ずしも狭帯域にする必要はない。ただし、数式９を満たすように隣り合う波長の中心波長間隔が、互いのスペクトルの半値幅の半分の幅を足し合わせた距離よりも離れるように配置するのが好適である（図７（Ａ））。また、撮像素子１３は、照明光源に対応するスペクトルのカラーフィルタを持つ構成とし、例えば図７（Ｂ）に示すようなベイヤー配列を採用できる。重複を避けつつＲＧＢ領域をカバーするようなスペクトルにすることで、本実施形態の撮像素子１３は、第２の実施形態より色再現性の高いカラー画像を取得することができる。
【００８１】
本実施形態の構成の場合、被写体の分光反射率および環境光の分光分布の影響で、１回の撮影からでは規格化された時間相関画像を得ることができない。そこで参照信号によって変調した照明を照射しての撮影と、照明なしでの２回撮影を行う。
【００８２】
撮影のフローチャートを図８に示す。ステップＳ２１からステップＳ２４までは、第１の実施形態と同様である。次にステップＳ２５では照明を行わずに撮影を行う。なお、照明を行わない撮影を照明を行う撮影の前に行ってもよく、これらの撮影の順序は問わない。撮影した画像は撮像素子１３から読みだされ一時的にメモリ１６に格納される。
【００８３】
次にステップＳ２６に移り、画像処理部１５で時間相関画像の生成を行う。照明を行わずに撮影した画像は、環境光の分光分布と被写体の分光反射率の情報が含まれている。同じ波長の画像において、照明を行って撮影した時間相関画像から照明を行わずに撮影した画像を差し引くことで、環境光および分光反射率の影響を除去可能となる。なお、照明を行わずに撮影した画像は、カラー画像として記憶部２０に保存しても良い。
【００８４】
画像処理部１５で補正された時間相関画像は、メモリ１６に格納された後、動き演算部１７から読みだされ動き情報取得処理が実行される（ステップＳ２７）。生成された動き情報は、記憶部２０に記憶される。
【００８５】
本実施形態による構成の場合、照明光源のおよび撮像素子１３上のカラーフィルタのスペクトル幅の制限を緩和可能となる。例えば、図７（Ａ）に示すように幅広い波長域に分けて照明光源の中心波長を設定することで、変調照明を行わず撮影した場合に第２の実施形態よりも色再現性の高いカラー画像が取得可能となる。よって、一つの撮像装置で時間相関画像とカラー画像を取得可能となる。
【００８６】
（第４の実施形態）
本発明の第４の実施形態について説明する。本実施形態は、狭い波長幅にある中心波長λ０〜λ２の照明光と中心波長λ０〜λ３の４つのカラーフィルタを用いて撮影を行う点は第１の実施形態と同様である。ただし、本実施形態では、上記中心波長の全てを不可視領域に設定する点で異なる。また、照明光の中心波長を不可視領域とすることで、撮像素子上に通常の画像を取得するためのＲＧＢのカラーフィルタを配置する点で第１の実施形態と相違する。撮像装置１の構成は、基本的には第１の実施形態のものと同様のため、同一の構成については同一の符号を用いて説明を行う。以下、第１の実施形態との相違点を主に説明する。
【００８７】
本実施形態では、照明１０の複数の照明光源の中心波長帯を全て不可視帯域にする。特にこれらの波長を７５０ｎｍから１．４μｍの近赤外（ＩＲ）波長とするのが好適である。これらの照明光源のスペクトルは、第１の実施形態と同様にスペクトルの重複が少なくかつ中心波長が近いことが好ましく、数式９を満たすように中心波長間隔およびスペクトル幅を選択する。
【００８８】
撮像素子１３は図９（Ａ）に示すように、照明光源に対応する中心波長（λ０〜λ３）が近赤外領域の狭いスペクトルのカラーフィルタと、可視領域のＲＧＢのスペクトルのカラーフィルタを有する。カラーフィルタの配列は図９（Ｂ）に示すように、ベイヤー配列の４画素から成るＲＧＢフィルタとλ０〜λ３の４画素から成るＩＲフィルタを交互に配置する。これにより、ＲＧＢのカラー画像と近赤外の時間相関画像の双方の画像が高解像度に取得可能である。
【００８９】
ただし、ＲＧＢフィルタとＩＲのフィルタの割合は同じとする必要はない。例えば、図９（Ｃ）に示すようにＲＧＢフィルタの配置をＩＲフィルタより相対的に増やすことでＲＧＢのカラー画像を高解像度に取得するフィルタ配置にしても良い。あるいは反対に図９（Ｄ）に示すようにＩＲフィルタをＲＧＢフィルタより相対的に増やし時間相関画像を高解像度に取得するようなフィルタ配置にすることも可能である。ここで、ＲＧＢフィルタおよびＩＲフィルタの中心波長の配置やフィルタ数の割合は図９（Ｂ）〜９（Ｄ）に限られない。
【００９０】
ここまで可視光と近赤外光を同時に取得する方法として、撮像素子の面内において複数の波長帯に分割して取得する方法を例に説明を行ったが、他にも撮像素子の深さ方向で分離する方法、時分割方式、複数撮像素子利用も採用可能である。
【００９１】
撮像素子の深さ方向で分離する場合は、例えば可視波長を光電変換する層と赤外波長を光電変換する層に分けて深さ方向に重ねて配置することで可視光と近赤外光を同時に取得することができる。この場合、複数フィルタを面内に配置する場合に比べ解像度の低下を防ぐ効果がある。
【００９２】
時分割方式の場合は、可視光カットフィルタと赤外カットフィルタを切り替えて撮影することで可視波長と赤外波長を別々に取得することができる。この方式も複数フィルタを面内に配置する場合に比べ解像度の低下を防ぐ効果がある。
【００９３】
複数撮像素子を利用する方式は、波長ごとに光を分離して別々の撮像素子で画像を取得する方式である。この場合、波長ごとに高解像度な撮影が可能となるが撮像素子数が多くなり装置も大型化する。よって可視と近赤外に分離して二つの撮像素子でそれぞれの波長帯の画像を取得するのが好適である。
【００９４】
本実施形態のような構成にすることで、不可視帯域の時間相関画像を用いることで動き情報を取得すると同時に、通常のＲＧＢカラー画像を取得することが可能となるという効果がある。
【００９５】
なお、ここでは照明光の中心波長を狭い波長幅内に配置する第１の実施形態を変形して、この条件を保ちつつ中心波長を不可視領域に設定する例を説明したが、照明光の中心波長を離して配置する第２の実施形態において照明光を不可視領域に設定しても良い。また、照明光の中心波長を近赤外領域に設定する例を説明したが、照明光の中心波長を紫外域（例えば、２００ｎｍ〜３８０ｎｍ）に設定しても良い。
【００９６】
（第５の実施形態）
本発明の第５の実施形態について説明する。第５の実施形態では、取得する時間相関画像の数が相違する。撮像装置１の構成は第一実施形態のものと同様のため、同一の符号を用いて説明を行う。
【００９７】
本実施形態では、照明１０における照明光源の波長の数が第１の実施形態よりも２波長多い構成とする。追加する照明光源の中心波長をλ４、λ５とする。更に、入力する参照
信号の数も２種類多い構成とする。追加する２つの参照信号は、第１の実施形態と同様にｓｉｎ波、ｃｏｓ波であるが周波数が異なる。例えば、ｓｉｎ（２ωｔ）とｃｏｓ（２ωｔ）の参照信号を入力する。これにより、より幅広い大きさの動き情報を取得することが可能となる。なお、２つの変調周波数の比は１：２とする必要はなく、任意であってかまわない。しかしながら、露光時間中にいずれの変調信号も整数波長だけ含まれるようにする必要があるので、２つの変調周波数の最小公倍数が大きくならないようすることが好ましい。
【００９８】
撮像素子１３は、追加した２つの照明光源λ４、λ５に対応するカラーフィルタを追加した構成とする。λ４、λ５に対応するカラーフィルタによる画像は、それぞれｓｉｎ（２ωｔ）、ｃｏｓ（２ωｔ）による時間相関画像Ｉλ４、Ｉλ５とする。画像処理部１５では、照明なしによる画像Ｉλ３を用いて一定値の照明による強度画像Ｉλ１および時間相関画像Ｉλ０、Ｉλ２、Ｉλ４、Ｉλ５の補正を実行する。
【００９９】
動き演算部１７では、動き情報取得処理を２回実行する。一つは、強度画像Ｉλ１および時間相関画像Ｉλ０、Ｉλ２を用いた動き情報取得処理であり、もう一方は、強度画像Ｉλ１および時間相関画像Ｉλ４、Ｉλ５を用いた動き情報取得処理である。さらに、動き演算部１７は、取得された２つの動き情報を対応するそれぞれ画素位置において比較し、画素ごとに動きが大きい方の動き情報を当該画素における動き情報として選択する。このようにすることで、異なる変調周波数から得られた動き情報を統合することができる。統合された動き情報は記憶部２０に格納される。
【０１００】
以上、本実施形態による構成では、２つの位相と２つの周波数の組み合わせによる参照信号による時間相関画像を同時に取得することが可能となる。さらに、異なる周波数のｓｉｎ波、ｃｏｓ波のペアによる参照信号を用いることで、異なる動きの大きさの取得が可能となりより幅広い大きさの動き情報取得が可能となる効果がある。
【０１０１】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１０２】
１：撮像装置  １０：照明    １１：照明制御部
１５：画像処理部    １７：動き演算部
【図１】
0006521676.tif 000018
【図２】
0006521676.tif 000019
【図３】
0006521676.tif 000020
【図４】
0006521676.tif 000021
【図５】
0006521676.tif 000022
【図６】
0006521676.tif 000023
【図７】
0006521676.tif 000024
【図８】
0006521676.tif 000025
【図９】
0006521676.tif 000026