(57)【特許請求の範囲】
【請求項１】
光の波長が相互に異なる第１の光と第２の光とを各波長に応じた屈折率で曲げて、前記第１の光の第１の画像と前記第２の光の第２の画像との位置をずらす光学部材と、
前記第１の光のみ透過させる第１のフィルタ領域と、前記第２の光のみ透過させる第２のフィルタ領域とを有する光透過フィルタと、
前記第１のフィルタ領域を透過した前記第１の光および前記第２のフィルタ領域を透過した前記第２の光をそれぞれ瞳分割して選択的に受光する複数の画素を有する指向性センサであって、前記第１の光を受光する画素と前記第２の光を受光する画素とが交互に配列された指向性センサと、
前記指向性センサから、前記第１の画像および前記第２の画像を取得する画像取得部と、を備え、
前記光学部材は、前記第１の光の波長と前記第２の光の波長との相違による屈折率の違いにより、前記第１の画像と前記第２の画像との位置を前記指向性センサ上で前記画素のピッチ分ずらす撮像装置。
【請求項２】
前記第１の画像と前記第２の画像との対応する位置の出力値を比較する比較部を備える請求項１に記載の撮像装置。
【請求項３】
前記光学部材は、プリズムまたは平行平面ガラスである請求項１または２に記載の撮像装置。
【請求項４】
前記光透過フィルタは、前記第１の光と前記第２の光とが透過する撮影レンズの内部に設けられている請求項１から３のいずれか１項に記載の撮像装置。
【請求項５】
前記光透過フィルタは、第１のレンズ群と第２のレンズ群とから構成される前記撮影レンズの前記第１のレンズ群と前記第２のレンズ群との間に設けられる請求項４に記載の撮像装置。
【請求項６】
前記第１の光は赤色の波長帯域の光であり、前記第２の光は近赤外の波長帯域の光である請求項１から５のいずれか１項に記載の撮像装置。
【請求項７】
前記指向性センサは、チェスボードのパターンで配列された前記第１の光を受光する画素と前記第２の光を受光する画素とを有する請求項１から６のいずれか１項に記載の撮像装置。
【請求項８】
前記指向性センサは、交互に配列された前記第１の光を受光する画素の列と前記第２の光を受光する画素の列を有する請求項１から６のいずれか１項に記載の撮像装置。
【請求項９】
前記指向性センサは、長方形の形状であり、
前記光学部材は、前記指向性センサの前記長方形の長辺方向に、または、前記指向性センサの前記長方形の短辺方向に前記第１の画像と前記第２の画像の位置をずらす請求項１から８のいずれか１項に記載の撮像装置。
【請求項１０】
光の波長が相互に異なる第１の光と第２の光とを各波長に応じた屈折率で曲げて、前記第１の光の第１の画像と前記第２の光の第２の画像との位置を光学部材によりずらすステップと、
前記第１の光のみ透過させる第１のフィルタ領域と、前記第２の光のみ透過させる第２のフィルタ領域とを有する光透過フィルタにより前記第１の光および前記第２の光を透過させるステップと、
前記第１のフィルタ領域を透過した前記第１の光および前記第２のフィルタ領域を透過した前記第２の光をそれぞれ瞳分割して選択的に受光する複数の画素を有する指向性センサであって、前記第１の光を受光する画素と前記第２の光を受光する画素とが交互に配列された指向性センサにより前記第１の光および前記第２の光を受光するステップと、
前記指向性センサから、前記第１の画像および前記第２の画像を取得するステップと、を含み、
光学部材によりずらすステップでは、前記第１の光の波長と前記第２の光の波長との相違による屈折率の違いにより、前記第１の画像と前記第２の画像との位置を前記指向性センサ上で前記画素のピッチ分ずらす撮像方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置および撮像方法に関し、特に光学部材により光を屈折させて複数の画像を取得する撮像装置および撮像方法に関する。
【背景技術】
【０００２】
従来より、複数の特定の波長帯域の光による像を取得する技術が提案されている。例えば、マルチスペクトルカメラまたはハイパースペクトルカメラと呼ばれ、複数の特定の波長帯域の画像を取得するカメラが提案されている。ここで、複数の特定の波長帯域の画像を取得する方法として、以下の方法が知られている。【０００３】
複数のカメラで１回の撮影により複数の特定の波長帯域の画像を取得する方法では、特定の波長帯域の光の像を取得できるカメラを複数台準備し、各カメラでそれぞれ特定の波長帯域の光の像を取得させる。【０００４】
一方、１台のカメラで複数回の撮影により複数の特定の波長帯域の画像を取得する方法では、特定の波長帯域の光のみを通すフィルタを複数枚用意して撮影毎にフィルタを交換して撮影を行う。【０００５】
また、特許文献１に記載されているような光学系を使用することにより、１台のカメラで１回の撮影により複数の特定の波長帯域の画像を取得することができる。【０００６】
また、特許文献２には、分光素子により分光された像を取得することにより、複数の特定の波長帯域の光の像を取得する技術が記載されている。具体的には、分光素子としてプリズムおよび回折格子を使用して分光させた光を、符号化素子により光の強度を変調させて符号化し、その後分光分離画像を圧縮センシングの技術を使用して再構成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】国際公開第２０１３／０１８４７１号公報
【特許文献２】特開２０１６−９０２９０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ここで複数の特定波長帯域の画像の用途として、取得した複数の特定波長帯域の画像をそれぞれ比較して行う検査がある。例えば農作物の発育検査や海洋検査等様々な分野において、複数の特定波長帯域の画像を比較することにより行われる検査がある。【０００９】
複数の特定波長帯域の画像を比較する場合には、複数の画像間において正確な位置合わせを行うことが必要となる。すなわち比較を行う場合には、画像内の被写体像を正確に重ね合わせることにより、有効な比較を行うことができる。【００１０】
しかしながら、上述した複数のカメラで１回の撮影および１台のカメラで複数回の撮影により、複数の特定の波長帯域の画像を取得する場合には、取得された画像間の位置合わせが困難な場合がある。【００１１】
また、特許文献１に記載されているような光学系を使用した場合には、取得された画像間の位置合わせは困難ではないものの、取得した画像は厳密には被写体の同一の位置から反射した光の情報に基づいてないので、比較の精度が低下する。【００１２】
また特許文献２に記載された技術では、分光素子により分離された画像（分光分離画像）の再構成を圧縮センシングの技術を使用しているので、カメラに符号化素子を備えることを必要とし、符号化の計算処理（再構成）が必要となる。この計算処理は、ＣＰＵ（Central Processing Unit）には非常に負担になり、時間を要するものである。したがって、特許文献２に記載された技術によるリアルタイムの動画での観察などは困難な場合が多い。【００１３】
本発明はこのような事情に鑑みてなされたもので、その目的は、複数の特定波長の画像間において位置合わせの必要がなく、被写体の同一の位置から光の情報に基づいた複数の特定波長の画像を取得することができ、複数の特定波長の画像を取得するための計算負荷が抑制された撮像装置および撮像方法を提供することである。
【課題を解決するための手段】
【００１４】
上記目的を達成するための本発明の一の態様である撮像装置は、光の波長が相互に異なる第１の光と第２の光とを各波長に応じた屈折率で曲げて、第１の光の第１の画像と第２の光の第２の画像との位置をずらす光学部材と、第１の光のみ透過させる第１のフィルタ領域と、第２の光のみ透過させる第２のフィルタ領域とを有する光透過フィルタと、第１のフィルタ領域を透過した第１の光および第２のフィルタ領域を透過した第２の光をそれぞれ瞳分割して選択的に受光する複数の画素を有する指向性センサであって、第１の光を受光する画素と第２の光を受光する画素とが交互に配列された指向性センサと、指向性センサから、第１の画像および第２の画像を取得する画像取得部と、を備え、光学部材は、第１の光の波長と第２の光の波長との相違による屈折率の違いにより、第１の画像と第２の画像との位置を指向性センサ上で画素のピッチ分ずらす。【００１５】
本態様によれば、第１の光と第２の光との波長の違いによる屈折率の違いを利用して光学部材によりずらされた第１の画像と第２の画像とが指向性センサにより取得される。したがって本態様では、光軸を同じにして第１の画像と第２の画像とが取得されるので、第１の画像と第２の画像の位置は合っており、画像取得後の画像間の位置合わせの必要がない。【００１６】
また本態様によれば、光学部材により第１の画像と第２の画像の指向性センサ上の位置が画素のピッチ分ずらされており、且つ指向性センサは第１の光を受光する画素と第２の光を受光する画素とが交互に配列されている。したがって本態様では、被写体の同じ位置から反射した第１の光および第２の光をそれぞれ異なる画素により受光し、第１の画像および第２の画像が生成されるので、被写体の同一の位置からの光情報に基づいた第１の画像および第２の画像を取得することができる。【００１７】
また本態様によれば、第１の光および第２の光をそれぞれ瞳分割して選択的に受光する画素（第１の光を受光する画素および第２の光を受光する画素）で構成された指向性センサにより、第１の画像および第２の画像が取得される。これにより本態様では、第１の光を受光する画素で取得した情報に基づいて第１の画像が生成され、第２の光を受光する画素で取得した情報に基づいて第２の画像が生成されるので、第１の画像と第２の画像とを分離して生成するための特別な計算が必要なく計算負荷が軽減される。【００１８】
好ましくは、撮像装置は、第１の画像と第２の画像との対応する位置の出力値を比較する比較部を備える。【００１９】
本態様によれば、比較部により第１の画像と第２の画像との対応する位置の出力値が比較されるので、被写体の第１の光と第２の光の反射の程度を比較することができる。【００２０】
好ましくは、光学部材は、プリズムまたは平行平面ガラスである。【００２１】
本態様によれば、光学部材はプリズムまたは平行平面ガラスであるので、正確に第１の光および第２の光を各波長に応じて屈折させることができる。【００２２】
好ましくは、光透過フィルタは、第１の光と第２の光とが透過する撮影レンズの内部に設けられている。【００２３】
本態様によれば、光透過フィルタが撮影レンズの内部に設けられているので、正確に第１の光および第２の光を透過させることができ、光透過フィルタが第１の画像および第２の画像に及ぼす影響が抑制される。【００２４】
好ましくは、光透過フィルタは、第１のレンズ群と第２のレンズ群とから構成される撮影レンズの第１のレンズ群と第２のレンズ群との間に設けられる。【００２５】
本態様によれば、光透過フィルタは第１のレンズ群と第２のレンズ群との間に設けられるので、正確に第１の光および第２の光を透過させることができ光透過フィルタが第１の画像および第２の画像に及ぼす影響が抑制される。【００２６】
好ましくは、第１の光は赤色の波長帯域の光であり、第２の光は近赤外の波長帯域の光である。【００２７】
本態様によれば、第１の光は赤色の波長帯域の光であり、第２の光は近赤外の波長帯域の光であるので、被写体の赤色の波長帯域の光の反射に基づいた画像と近赤外の波長帯域の光の反射に基づいた画像を取得することができる。
【００２８】
好ましくは、指向性センサは、チェスボードのパターンで配列された第１の光を受光する画素と第２の光を受光する画素とを有する。【００２９】
本態様によれば、指向性センサは、チェスボードのパターンで配列された第１の光を受光する画素と第２の光を受光する画素とを有する。したがって本態様では、光学部材により第１の画像と第２の画像との位置を画素のピッチ分ずらす場合であって特に１画素分ずらす場合には、１画素の隣接４方向のいずれかへずらすことができる。【００３０】
好ましくは、指向性センサは、交互に配列された第１の光を受光する画素の列と第２の光を受光する画素の列を有する。【００３１】
本態様によれば、指向性センサは、交互に配列された第１の光を受光する画素の列と第２の光を受光する画素の列を有する。したがって本態様では、光学部材により第１の画像と第２の画像との位置を画素のピッチ分ずらす場合であって特に１画素分ずらす場合には、１画素の対向する隣接２方向のいずれかへずらすことができる。【００３２】
好ましくは、指向性センサは、長方形の形状であり、光学部材は、指向性センサの長方形の長辺方向に、または、指向性センサの長方形の短辺方向に第１の画像と第２の画像との位置をずらす。【００３３】
本態様によれば、指向性センサの長方形の長辺方向に、または指向性センサの長方形の短辺方向に第１の画像と第２の画像との位置をずらす。これにより本態様では、長方形の指向性センサの形状に応じた第１の画像と第２の画像との位置をずらすことができる。【００３４】
本発明の他の態様である撮像方法は、光の波長が相互に異なる第１の光と第２の光とを各波長に応じた屈折率で曲げて、第１の光の第１の画像と第２の光の第２の画像との位置を光学部材によりずらすステップと、第１の光のみ透過させる第１のフィルタ領域と、第２の光のみ透過させる第２のフィルタ領域とを有する光透過フィルタにより第１の光および第２の光を透過させるステップと、第１のフィルタ領域を透過した第１の光および第２のフィルタ領域を透過した第２の光をそれぞれ瞳分割して選択的に受光する複数の画素を有する指向性センサであって、第１の光を受光する画素と第２の光を受光する画素とが交互に配列された指向性センサにより第１の光および第２の光を受光するステップと、指向性センサから、第１の画像および第２の画像を取得するステップと、を含み、光学部材によりずらすステップでは、第１の光の波長と第２の光の波長との相違による屈折率の違いにより、第１の画像と第２の画像との位置を指向性センサ上で画素のピッチ分ずらす。
【発明の効果】
【００３５】
本発明によれば、第１の光と第２の光との波長の違いによる屈折率の違いを利用して光学部材によりずらされた第１の画像と第２の画像とが指向性センサにより取得されるので、光軸を同じにして第１の画像と第２の画像とが取得され、第１の画像と第２の画像の位置は合っており、画像取得後の画像間の位置合わせの必要がない。また本発明によれば、光学部材により第１の画像と第２の画像の指向性センサ上の位置が画素の１ピッチ分ずらされており、且つ指向性センサは第１の光を受光する画素と第２の光を受光する画素とが交互に配列されているので、被写体の同じ位置から反射した第１の光および第２の光をそれぞれ異なる画素により受光し、第１の画像および第２の画像が生成されるので、被写体の同一の位置からの光情報に基づいた第１の画像および第２の画像を取得することができる。また本発明によれば、第１の光および第２の光をそれぞれ瞳分割して選択的に受光する画素（第１の光を受光する画素および第２の光を受光する画素）で構成された指向性センサにより、第１の画像および第２の画像が取得されるので、第１の光を受光する画素で取得した情報に基づいて第１の画像が生成され、第２の光を受光する画素で取得した情報に基づいて第２の画像が生成され、第１の画像と第２の画像とを分離して生成するための特別な計算が必要なく計算負荷が軽減される。
【図面の簡単な説明】
【００３６】
【図１】撮像装置の一例であるデジタルカメラを示す斜視図である。
【図２】光線の経路を示す概念図である。
【図３】光学部材の一例であるプリズムに関して説明する図である。
【図４】光学部材の一例であるプリズムに関して説明する図である。
【図５】光透過フィルタを示す図である。
【図６】デジタルカメラの機能構成例を示すブロック図である。
【図７】指向性センサを示す図である。
【図８】第１の画像および第２の画像の取得に関して説明する図である。
【図９】プリズムが無い場合の第１の画像および第２の画像の取得に関して説明する図である。
【図１０】デジタルカメラの動作フローを示す。
【図１１】光線の経路を示す概念図である。
【図１２】平行平面ガラスに関して説明する図である。
【図１３】平行平面ガラスに関して説明する図である。
【図１４】指向性センサの画素の配列を示した図である。
【発明を実施するための形態】
【００３７】
以下、添付図面にしたがって本発明に係る撮像装置および撮像方法の好ましい実施の形態について説明する。
【００３８】
図１は、本発明の撮像装置の一例であるデジタルカメラ１０を示す斜視図である。図１に示す例では、デジタルカメラ１０のカメラ本体の前面に撮像部１１およびフラッシュ１３等が設けられ、カメラ本体の上面にレリーズボタン１２等が設けられている。図１の符号「Ｌ」は、撮像部１１の光軸を表す。また、撮影光学系１４の一部として、光学部材の一例としてのプリズム１０１が点線で示されている。プリズム１０１は、デジタルカメラ１０の内部に設けられている。
【００３９】
図２は、デジタルカメラ１０での光線の経路を示す概念図である。図２では、被写体Ｓで反射した第１の光Ｖおよび第２の光Ｗはデジタルカメラ１０に捉えられる。ここで第１の光Ｖおよび第２の光Ｗは、互いに異なる波長または波長帯域を有する光である。第１の光Ｖおよび第２の光Ｗの波長帯域は、特に限定されるものではないが、例えば第１の光Ｖが赤色の波長帯域の光であり、第２の光Ｗは近赤外の波長帯域の光である。ここで赤色の波長帯域は０．６２μｍ以上０．７５μｍ未満の範囲であり、近赤外の波長帯域は０．７５μｍ以上１．４μｍ未満の範囲である。なお、被写体Ｓの第１の光Ｖの像を第１の画像Ｕ１とし、第２の光Ｗの像を第２の画像Ｕ２とする。
【００４０】
プリズム１０１は、光学部材の一例である。プリズム１０１は撮影レンズ１０９の前方に設けられ、第１の光Ｖおよび第２の光Ｗは撮影レンズ１０９に入射する前にプリズム１０１に入射する。プリズム１０１は、光の波長が相互に異なる第１の光Ｖと第２の光Ｗとを各波長に応じた屈折率で曲げて、第１の光Ｖの第１の画像と第２の光Ｗの第２の画像との位置をずらす。すなわち、第１の光Ｖの波長と第２の光Ｗの波長との相違による屈折率の違いにより、第１の画像と第２の画像との位置を指向性センサ上で画素のピッチ分だけずらす。なお、指向性センサ１７上で画素のピッチ分だけ第１の画像および第２の画像をずらすためには、プリズム１０１、第１の光Ｖおよび第２の光Ｗ、指向性センサ１７の１ピッチを調整する必要がある。以下に、第１の画像と第２の画像との位置を指向性センサの画素の１ピッチ分ずらす場合の具体例に関して説明する。なお、本発明の適用範囲は１ピッチ分ずらす例に限定されるものではない。
【００４１】
図３および図４は、光学部材の一例であるプリズムに関して説明する図である。図３には、光学部材の一例のプリズム１０１の断面図が示されており、図４にはプリズム１０１を進む第１の光Ｖと第２の光Ｗの進行方向が示されている。
【００４２】
先ず、図３に示された頂角αのプリズム１０１にほぼ対称の入射角と出射角で光線Ｇが透過するケースでの光線の進行角度について説明する。なお、プリズム１０１はテーパーガラスまたはウェッジ板とも呼ばれる。
【００４３】
光線Ｇが屈折率ｎ１の媒質から屈折率ｎ２のプリズム１０１へ進む場合に、スネルの法則により以下の式（１）が成り立つ。
【００４４】
ｎ１×ｓｉｎθ＝ｎ２×ｓｉｎ（α／２）…（１）
そして、式（１）からθを求める式は以下の式（２）となる。
【００４５】
θ＝ａｓｉｎ（（ｎ２／ｎ１）ｓｉｎ（α／２））…（２）
次に、波長の異なる第１の光Ｖおよび第２の光Ｗのプリズム１０１における進行について説明する。図４では、被写体Ｓの１点から反射された第１の光Ｖと第２の光Ｗとが、図３で説明を行ったプリズム１０１を通過することが示されている。
【００４６】
被写体Ｓから出射した第１の光Ｖと第２の光Ｗは、同じ経路を経てプリズム１０１に入射する。しかし、第１の光Ｖと第２の光Ｗは波長が異なるので、プリズム１０１で分散される。第１の光Ｖの波長が６７０ｎｍであって、第２の光Ｗの波長が７８０ｎｍである場合には以下のように、θ１およびθ２を算出することができる。
【００４７】
代表的なガラス材料ＢＫ７の屈折率は、波長６７０ｎｍでｎ＝１．５１４、波長７８０ｎｍでｎ＝１．５１２である。ガラス材料ＢＫ７の頂角５．０度のプリズム１０１を透過させると、上述の式（１）および（２）より以下のようにθが求められる。
【００４８】
α＝５．０，ｎ１＝１．０，ｎ２＝１．５１４のとき、θ１＝３．７８７
α＝５．０，ｎ１＝１．０，ｎ２＝１．５１２のとき、θ２＝３．７８２
そしてθ１とθ２との差が以下の式（３）で算出される。
【００４９】
θ１−θ２＝△θ＝０．００５…（３）
光線がプリズム１０１を透過する場合には、プリズム１０１に入射してプリズム１０１から出射するので、光線の曲がる角度は△θ×２となり、０．０１度の差が生じる。よって、波長６７０ｎｍの光と波長７８０ｎｍの光とが被写体Ｓの同一の場所から出射されてガラス材料ＢＫ７の頂角５．０度のプリズム１０１を透過すると、各々の波長の光は０．０１度の角度差をもって進む。
【００５０】
ここで、撮影レンズ１０９の画角が３０度、画素数が３０００画素の指向性センサ１７を使用した場合、１画素だけずらすための入射角の差は０．０１度になる。したがって、テーパ角度５．０度のＢＫ７のガラス（プリズム１０１）を設けることにより、赤（波長６７０ｎｍ）と近赤外（波長７８０ｎｍ）の像の位置が指向性センサ１７上で１画素ずらすことが可能となる。これにより、例えば指向性センサ１７の奇数画素および偶数画素で被写体Ｓの同一の位置の情報を、第１の光Ｖと第２の光Ｗとによりそれぞれで獲得できることになる。
【００５１】
図２に戻って、プリズム１０１に曲げられた第１の光Ｖおよび第２の光Ｗは、撮影レンズ１０９の前群１０５を通過して、光透過フィルタ１０３を透過し、後群１０７を通過する。光透過フィルタ１０３は、第１のレンズ群（前群）と第２のレンズ群（後群）とから構成される撮影レンズ１０９の、第１のレンズ群と第２のレンズ群との間に設けられる。なお光透過フィルタ１０３は、第１の光Ｖおよび第２の光Ｗを効率良く透過させるのであれば、撮影レンズ１０９の内部のいずれかの場所に設けてもよい。
【００５２】
図５は光透過フィルタ１０３を示す図である。図５に示された光透過フィルタ１０３は円形状である。また、光透過フィルタ１０３は内側の円の領域に第１の光Ｖのみ透過させる第１のフィルタ領域１１１を有し、外側の同心円に第２の光Ｗのみ透過させる第２のフィルタ領域１１３を有する。なお、光透過フィルタ１０３の形状は、円形状に限定されるものではなく、様々な形状が採用される。
【００５３】
図６は、デジタルカメラ１０の機能構成例を示すブロック図である。
【００５４】
図６に示すようにデジタルカメラ１０は、プリズム１０１、光透過フィルタ１０３、および撮影レンズ１０９を有する撮影光学系１４と、マイクロレンズアレイ１６およびイメージセンサ１８を有する指向性センサ１７とからなる撮像部１１を備えている。
【００５５】
撮像部１１は、撮影光学系１４および指向性センサ１７を介して時系列の画像を撮像するものであり、撮影光学系１４を介して指向性センサ１７（イメージセンサ１８）の各受光セル（光電変換素子）の受光面に結像された被写体像は、その入射光量に応じた量の信号電圧（または電荷）に変換される。
【００５６】
イメージセンサ１８に蓄積された信号電圧（または電荷）は、受光セルそのもの若しくは付設されたキャパシタに蓄えられる。蓄えられた信号電圧（または電荷）は、Ｘ−Ｙアドレス方式を用いたＭＯＳ型撮像素子（いわゆるＣＭＯＳセンサ）の手法を用いて、受光セル位置の選択とともに読み出される。
【００５７】
これにより、イメージセンサ１８から第１の光Ｖに基づいた第１の画像を示す画素信号と、第２の光Ｗに基づいた第２の画像を示す画素信号とを読み出すことができる。なお、イメージセンサ１８からは、所定のフレームレート（例えば、１秒当たりのフレーム数２４ｐ，３０ｐ，または６０ｐ）で、第１の画像および第２の画像を示す画素信号が連続して読み出される。
【００５８】
イメージセンサ１８から読み出された画素信号（電圧信号）は、相関二重サンプリング処理（センサ出力信号に含まれるノイズ（特に熱雑音）等を軽減することを目的として、受光セル毎の出力信号に含まれるフィードスルー成分レベルと信号成分レベルとの差をとることにより正確な画素データを得る処理）により受光セル毎の画素信号がサンプリングホールドされ、増幅されたのちＡ／Ｄ変換器２０に加えられる。Ａ／Ｄ変換器２０は、順次入力する画素信号をデジタル信号に変換して画像取得部２２に出力する。なお、ＭＯＳ型センサでは、Ａ／Ｄ変換器２０が内蔵されているものがあり、この場合、イメージセンサ１８から直接デジタル信号が出力される。
【００５９】
画像取得部２２は、イメージセンサ１８の受光セル位置を選択して画素信号を読み出すことにより、第１の画像を示す画素信号と第２の画像を示す画素信号とを同時に、または選択的に取得することができる。
【００６０】
即ち、イメージセンサ１８の第１の光Ｖが入射する受光セル（画素）の画素信号を選択的に読み出すことにより、第１の画像を示す画素信号を取得することができ、一方、イメージセンサ１８の第２の光Ｗが入射する受光セル（画素）の画素信号を選択的に読み出すことにより、第２の画像を示す画素信号を取得することができる。よって、第１の光Ｖを受光する画素と第２の光Ｗを受光する画素は、第１の光Ｖおよび第２の光Ｗを瞳分割して選択的受光する。
【００６１】
なお、イメージセンサ１８から全ての画素信号を読み出してバッファメモリに一時的に記憶させ、バッファメモリに記憶させた画素信号から、第１の画像と第２の画像の２つの画像の画素信号のグループ分けを行ってもよい。
【００６２】
画像取得部２２により取得された第１の画像および第２の画像を示す画素信号は、それぞれデジタル信号処理部４０に出力される。
【００６３】
デジタル信号処理部４０は、入力するデジタルの画素信号に対して、オフセット処理、ガンマ補正処理、および補間処理の信号処理を行う。ここで補間処理とは、受光しなかった画素に関してその画素の回りの画素信号に基づいて、値を生成することである。すなわち、指向性センサ１７で取得される画素信号は、指向性センサ１７が第１の光Ｖを受光する画素と第２の光Ｗを受光する画素とが交互に配列された構成であるために、被写体Ｓの全領域に対応した画素信号が取得されない（図８（Ｂ）および図９（Ｂ）を参照）。したがって、被写体Ｓの画像を生成する場合には、画素信号が取得できなかった箇所に対して回りの画素信号に基づいて補間する必要がある。
【００６４】
デジタル信号処理部４０は比較部４５を有する。比較部４５は前記第１の画像と前記第２の画像との対応する位置の出力値を比較する。ここで出力値とは画像を構成する画素の値であり、指向性センサから出力された光電変換の値でもよいし、補間後の値でもよい。なお図６では、デジタル信号処理部４０が比較部４５を有する例を示したが、これに限定されるものではない。例えば、画像取得部２２が比較部４５を有していてもよい。
【００６５】
デジタル信号処理部４０で処理された第１の画像および第２の画像を示す画素信号は、それぞれ記録部４２および表示部４４に出力される。記録部４２は、デジタル信号処理部４０により処理された第１の画像および第２の画像を示す動画記録用の画素信号を記録媒体（ハードディスク、メモリカード等）に記録する。
【００６６】
表示部４４は、デジタル信号処理部４０により処理された第１の画像および第２の画像を示す動画表示用の画素信号により、第１の画像および第２の画像を表示する。なお、表示部４４は、記録部４２に記録された画素信号に基づいて第１の画像および第２の画像を再生することもできる。
【００６７】
図７は、指向性センサ１７を示す図である。図７に示された指向性センサ１７では、第１の光Ｖを受光する画素１５５および第２の光Ｗを受光する画素１５７は、チェスボードのパターンのように交互に配列されて構成されている。第１の光Ｖを受光する画素１５５は、例えば第１の光Ｖのみ透過させるフィルタが設けられることにより、第１の光Ｖのみを受光する画素とされる。また、第２の光Ｗを受光する画素１５７は、例えば第２の光Ｗのみ透過させるフィルタが設けられることにより、第２の光Ｗのみを受光する画素とされる。
【００６８】
指向性センサ１７は長方形の形状である。そして、第１の画像Ｕ１と第２の画像Ｕ２とは、長方形の長辺方向（図中のＸ軸方向）に第１の画像の位置と第２の画像の位置を画素の１ピッチ分ずらされている。なお、第１の画像Ｕ１と第２の画像Ｕ２とは、長方形の短辺方向（図中のＹ軸方向）にずらしてもよい。
【００６９】
図８は、第１の画像および第２の画像の取得に関して説明する図である。図８（Ａ）は図７で説明した指向性センサ１７上での第１の光Ｖと第２の光Ｗとの光分布を示す図であり、図８（Ｂ）は第１の光Ｖを受光する画素１５５および第２の光Ｗを受光する画素１５７（瞳選択画素）の光分布を別々に示す図であり、図８（Ｃ）は光電変換信号の分布を示している。
【００７０】
図８（Ａ）に示すように、プリズム１０１により、第１の光Ｖおよび第２の光Ｗは屈折させられるので、第１の光Ｖの光分布と第２の光Ｗの光分布はずれる。図８（Ａ）に示す場合は、上述したように指向性センサ１７の画素の１ピッチ分ずれるようにプリズム１０１、第１の光Ｖおよび第２の光Ｗの波長が選択されているため、第１の光Ｖの光分布と第２の光Ｗの光分布は、指向性センサ１７の画素の１ピッチ分ずれている。
【００７１】
図８（Ｂ）には、指向性センサ１７の第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７とが分離して示されている。図８（Ｂ）に示すように、第１の光Ｖおよび第２の光Ｗはプリズム１０１により画素の１ピッチ分曲げられているので、被写体Ｓの同じ位置で反射した第１の光Ｖと第２の光Ｗとをそれぞれ画素により受光することができる。すなわち、第１の光Ｖおよび第２の光Ｗはプリズム１０１により隣り合う画素にそれぞれ入射させられるので、被写体Ｓの同じ位置から反射する第１の光Ｖと第２の光Ｗとをそれぞれ隣り合う別の画素で受光することができる。
【００７２】
図８（Ｃ）には、第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７とが受光した光に基づいて、光電変換した信号を概念的に示している。このように、第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７とが図８（Ｂ）に示すように受光した場合には、受光した光に基づいた光電変換信号の値を有する。例えば、第１の光Ｖを受光する画素１５５におけるＤ１画素と、第２の光Ｗを受光する画素１５７におけるＤ２画素の出力値を比較することによって、被写体Ｓの同じ位置で反射した第１の光Ｖと第２の光Ｗとを比較することができる。
【００７３】
図８に示すように本発明では、被写体Ｓの同じ位置で反射した第１の光Ｖおよび第２の光Ｗを、指向性センサ１７の画素の１ピッチ分ずれるようにプリズム１０１で屈折させてそれぞれ隣り合う別の画素で受光させている。したがって、被写体Ｓの同じ位置で反射した第１の光Ｖと第２の光Ｗとを、画素で受光した光に基づく光電変換後の画素信号により比較することができる。
【００７４】
一方、第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７とで構成される指向性センサ１７を用いた場合であっても、プリズム１０１を設けないと、被写体Ｓの同じ位置で反射した第１の光Ｖおよび第２の光Ｗを各画素で受光することができない。以下にこのことについて説明をする。
【００７５】
図９は、プリズムが無い場合の第１の画像および第２の画像の取得に関して説明する図である。図９（Ａ）は第１の光Ｖと第２の光Ｗとの光分布を示す図であり、図９（Ｂ）は第１の光Ｖを受光する画素１５５および第２の光Ｗを受光する画素１５７（瞳選択画素）の光分布を示す図であり、図９（Ｃ）は光電変換信号の分布を示している。
【００７６】
図９（Ａ）に示されるように、プリズム１０１が無い場合には、第１の光Ｖおよび第２の光Ｗは屈折されない。したがって、指向性センサ入射面での第１の光Ｖおよび第２の光Ｗの光分布はずれない。
【００７７】
図９（Ｂ）には、指向性センサ１７の第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７とが分離して示されている。図９（Ｂ）に示すように、第１の光Ｖおよび第２の光Ｗはプリズム１０１により屈折させられていないので、被写体Ｓの同じ位置で反射した第１の光Ｖおよび第２の光Ｗのいずれか一方が指向性センサ１７で受光されている。すなわち、被写体Ｓのある箇所で反射した第１の光Ｖおよび第２の光Ｗは１つの画素に入射されるが、その入射した画素は第１の光Ｖを受光する画素１５５または第２の光Ｗを受光する画素１５７であるので、第１の光Ｖまたは第２の光Ｗのいずれか一方のみしか指向性センサで受光されない。
【００７８】
図９（Ｃ）には、第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７とが受光した光に基づいて、光電変換した信号を概念的に示している。このように、第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７とが図９（Ｂ）に示すように受光した場合には、受光した光に基づいた光電変換信号の値を有する。
【００７９】
この場合、被写体Ｓのある箇所で反射した第１の光Ｖおよび第２の光Ｗはいずれか一方のみ指向性センサ１７で受光されるので、図８（Ｃ）で示したように被写体Ｓの同じ位置で反射した第１の光Ｖと第２の光Ｗを厳密に比較することができない。例えば、第１の光Ｖを受光する画素１５５におけるＥ１画素に対応する、第２の光Ｗを受光する画素１５７における画素は第２の光Ｗを受光する画素１５７では存在しない。したがって、被写体Ｓの同じ位置で反射した第１の光Ｖと第２の光Ｗとの正確な比較は、この場合行うことができない。
【００８０】
図１０は、デジタルカメラ１０の動作フローを示す。
【００８１】
先ずデジタルカメラ１０は、被写体Ｓから反射した第１の光Ｖと第２の光Ｗとを取り込み、プリズム１０１により第１の光Ｖと第２の光Ｗとを屈折させて、指向性センサ１７における第１の画像の位置と第２の画像の位置とをずらす（ステップＳ１０）。その後、プリズム１０１に曲げられた第１の光Ｖおよび第２の光Ｗを、光透過フィルタ１０３に透過させる（ステップＳ１１）。第１の光Ｖは第１の光Ｖのみ透過させる第１のフィルタ領域１１１を透過し、第２の光Ｗは第２の光Ｗのみ透過させる第２のフィルタ領域１１３を透過する。そして、第１の光Ｖおよび第２の光Ｗは指向性センサ１７で受光される（ステップＳ１２）。指向性センサ１７では、第１の画像と第２の画像とは指向性センサ１７の画素の１ピッチ分ずれている。そして、第１の画像および第２の画像を取得する（ステップＳ１３）。
【００８２】
上述の各構成および機能は、任意のハードウェア、ソフトウェア、或いは両者の組み合わせによって適宜実現可能である。例えば、上述の処理ステップ（処理手順）をコンピュータに実行させるプログラム、そのようなプログラムを記録したコンピュータ読み取り可能な記録媒体（非一時的記録媒体）、或いはそのようなプログラムをインストール可能なコンピュータに対しても本発明を適用することが可能である。
【００８３】
次に変形例に関して説明する。
【００８４】
（変形例１）
変形例１は、上述した発明において、光学部材をプリズム１０１から平行平面ガラス１５１に代えたものである。平行平面ガラス１５１もプリズム１０１と同様に光の波長に応じて異なる屈折率で光を曲げることができるため、第１の画像および第２の画像をずらすことができる。
【００８５】
図１１は、本例のデジタルカメラでの光線の経路を示す概念図である。図１１では図２と比較して光学部材がプリズム１０１から平行平面ガラス１５１に変わっている。なお、図２で既に説明を行った箇所は同じ符号を付し説明は省略する。
【００８６】
図１１に示すように、斜めに置かれた平行平面ガラス１５１を透過する場合に、波長の異なる光は屈折率が異なるため、ガラスに入射する際に曲がる角度が異なる。すなわち、被写体Ｓから反射した第１の光Ｖおよび第２の光Ｗは、波長が異なるので、異なる屈折率により曲げられる。
【００８７】
平行平面ガラス１５１を透過した後に出射した第１の光Ｖおよび第２の光Ｗは、再び屈折して平行平面ガラス１５１に入射する前の第１の光Ｖおよび第２の光Ｗと平行に進むが、平行平面ガラス１５１の透過後の出射位置は異なる。
【００８８】
そして、第１の光Ｖおよび第２の光Ｗを指向性センサ１７で受光すると第１の画像の位置と第２の画像の位置が、平行移動（シフト）する。その平行移動の量が光の波長によって異なるので、第１の画像と第２の画像とがシフト方向にずれて写る。このずれ量を、指向性センサ１７の画素の１ピッチと一致させる。
【００８９】
図１２および図１３は、光学部材としての平行平面ガラス１５１に関して説明する図である。図１２には、光学部材の一例の平行平面ガラス１５１の断面図が示されており、図１３には平行平面ガラス１５１を進む第１の光Ｖと第２の光Ｗの進行方向が示されている。
【００９０】
図１２に示された幅ｔの平行平面ガラス１５１を透過する光線Ｈのシフト量（図中ではｓｆｔで示す）について説明する。
【００９１】
平行平面ガラス１５１を傾けて、光線Ｈを斜めに入射させると、入射光線と出射光線は、斜め面に沿った方向に平行シフトする。シフト量（ｓｆｔ）は、平行平面ガラス１５１の傾き、厚さ、および屈折率によって決まる。
【００９２】
図１２に示された光線Ｈは、スネルの法則により以下の式（４）が成り立つ。
【００９３】
ｎ１×ｓｉｎθ１＝ｎ２×ｓｉｎθ２…（４）
そして、式（４）からθ２を求める式は以下の式（５）となる。
【００９４】
θ２＝ａｓｉｎ（（ｎ１／ｎ２）ｓｉｎθ１）…（５）
一方、図１２中のｂおよびａは、以下のように表せる。
【００９５】
ｂ＝ｔ×ｔａｎθ１、ａ＝ｔ×ｔａｎθ２、ｂ−ａ＝ｔ（ｔａｎθ１−ｔａｎθ２）
そして、シフト量（ｓｆｔ）、（ｂ−ａ）、およびθ１の関係は、以下の式（６）となる。
【００９６】
ｓｆｔ／（ｂ−ａ）＝ｃｏｓθ１…（６）
式（６）に上述θ２および（ｂ−ａ）の値を代入することにより、以下の式（７）のようにシフト量（ｓｆｔ）を求めることができる。
【００９７】
シフト量（ｓｆｔ）＝ｔ（ｔａｎθ１−ｔａｎθ２）ｃｏｓθ１＝ｔ（ｔａｎθ１−ｔａｎ（ａｓｉｎ（（ｎ１／ｎ２）ｓｉｎθ１）））ｃｏｓθ１…（７）
以下に具体例を示す。図１３は、平行平面ガラス１５１に第１の光Ｖおよび第２の光Ｗが入射する場合が示されている。図１３に示された平行平面ガラス１５１は平行平面ガラスの厚さｔ＝２０．０、傾け角度θ１＝３３．７度，ガラス材料ＢＫ７である。なお、図１３中のｎ１＝１．０とする。
【００９８】
この場合、第１の光Ｖ（波長６７０ｎｍ）はｎ２＝１．５１４であるので、ｓｆｔ＝４．５４３１となる。また第２の光Ｗ（波長７８０ｎｍ）はｎ２＝１．５１２であるので、ｓｆｔ＝４．５３３１となる。第１の光Ｖと第２の光Ｗとのシフト量の差△は△＝０．０１００となる。
【００９９】
指向性センサ１７では、第１の光Ｖの像および第２の光Ｗの像がシフト量の差△だけずれる。
【０１００】
大きさ５０ｍｍの物体が像面で５０００画素のサイズになるような撮影倍率のとき、波長６７０ｎｍの像と波長７８０ｎｍの像とは、指向性センサの画素の１ピッチずれて写ることになる。
【０１０１】
このように、光学部材としてプリズム１０１の代わりに平行平面ガラス１５１を使用することが可能である。なお、第１の画像Ｕ１と第２の画像Ｕ２とのずらし量が大きい場合にはプリズム１０１が使用され、ずらし量が小さい場合には平行平面ガラス１５１が使用される。
【０１０２】
（変形例２）
次に変形例２について説明する。変形例２では、上述の発明において指向性センサ１７の第１の光Ｖを受光する画素と第２の光Ｗを受光する画素の配列が図７で説明をしたものと異なる。
【０１０３】
図１４は、本例の指向性センサ１７の画素の配列を示した図である。図１４に示した図では、第１の光Ｖを受光する画素１５５と第２の光Ｗを受光する画素１５７は、図中のＹ軸方向（長方形の短辺方向）に沿って交互に配列されている。すなわち、指向性センサ１７は、Ｙ軸方向にそって交互に配列された第１の光Ｖを受光する画素１５５の列と第２の光Ｗを受光する画素１５７の列を有する。また、指向性センサ１７は、Ｘ軸方向（長方形の長辺方向）に沿って交互に配列された第１の光Ｖを受光する画素１５５の列と第２の光Ｗを受光する画素１５７の列を有してもよい。
【０１０４】
以上で本発明の例に関して説明してきたが、本発明は上述した実施の形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
【符号の説明】
【０１０５】
１０    デジタルカメラ
１１    撮像部
１２    レリーズボタン
１３    フラッシュ
１４    撮影光学系
１６    マイクロレンズアレイ
１７    指向性センサ
１８    イメージセンサ
２０    Ａ／Ｄ変換器
２２    画像取得部
４０    デジタル信号処理部
４２    記録部
４４    表示部
４５    比較部
１０１  プリズム
１０３  光透過フィルタ
１０９  撮影レンズ
１１１  第１のフィルタ領域
１１３  第２のフィルタ領域
１５１  平行平面ガラス
１５５  第１の光を受光する画素
１５７  第２の光を受光する画素
ステップＳ１０〜ステップＳ１３    撮像方法の工程
【図１】
0006677818.tif 000002
【図２】
0006677818.tif 000003
【図３】
0006677818.tif 000004
【図４】
0006677818.tif 000005
【図５】
0006677818.tif 000006
【図６】
0006677818.tif 000007
【図７】
0006677818.tif 000008
【図８】
0006677818.tif 000009
【図９】
0006677818.tif 000010
【図１０】
0006677818.tif 000011
【図１１】
0006677818.tif 000012
【図１２】
0006677818.tif 000013
【図１３】
0006677818.tif 000014
【図１４】
0006677818.tif 000015