(57)【要約】  本発明の撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域(123)と、レンズアレイの近傍に配置され温度を検知する温度センサ(126)と、温度に基づいて撮像領域で撮像された画像の倍率に相関する補正係数を含む補正係数を作成する補正係数作成部(142)と、補正係数に基づいて、撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部(143,144)と、を備える。
2010010707.tif 000002
【特許請求の範囲】
【請求項１】
複数のレンズを含むレンズアレイと、
前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、
前記レンズアレイの近傍に配置され温度を検知する温度センサと、
前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、
前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、撮像装置。
【請求項２】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項１に記載の撮像装置。
【請求項３】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項１に記載の撮像装置。
【請求項４】
前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、
前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、
前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、半導体回路素子。
【請求項６】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項５に記載の半導体回路素子。
【請求項７】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項５に記載の半導体回路素子。
【請求項８】
前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項５〜７のいずれかに記載の半導体回路素子。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離計測可能な撮像装置及びその撮像装置に用いられる半導体回路素子に関する。
【背景技術】
【０００２】
距離計測が可能な従来の撮像装置として、特許文献１の撮像装置がある。図２４は、特許文献１の撮像装置の分解斜視図である。また、図２５は、同じく撮像装置の撮像ブロックを説明するための図である。図２４及び図２５に示すように、複眼撮像系である撮像装置９０１は、絞り部材９０２と、光学レンズアレイ９０３と、遮光ブロック９０４と、光学フィルタ９０６と、撮像ユニット９０７とを備えている。この撮像装置９０１において、４つの開口部９０２−１、９０２−２、９０２−３、９０２−４を持つ絞り部材９０２と、４つの光学ブロック（レンズ）９０３−１、９０３−２、９０３−３、９０３−４を持つ光学レンズアレイ９０３とにより、４つの撮像光学系が構成されており、それぞれを通過した光線がそれぞれ撮像ユニット９０７上の４つの撮像ブロック９０７−１、９０７−２、９０７−３、９０７−４に結像する。ＣＣＤセンサなどで形成された撮像ユニット９０７は、当該撮像ユニット９０７を駆動する駆動回路９０８と、これら複数の撮像ブロック９０７−１〜９０７−４により撮像された画像間の視差情報を算出する視差算出回路９０９と共に、半導体基板９１０上に形成される。【０００３】
上述したように、絞り部材９０２の開口部９０２−１〜９０２−４を通過した光線は、それぞれレンズ９０３−１〜９０３−４により屈折作用を受けた後、遮光ブロック９０４内及び光学フィルタ９０６を通過し、撮像ブロック９０７−１〜９０７−４に結像する。そして、例えば、撮像ブロック９０７−１により撮像された画像と撮像ブロック９０７−２により撮像された画像との類似度をブロックマッチングを用いて演算し、その類似度に基づき視差ｄを求めた後、下記式（１）のように、視差ｄから距離Ｌを求める。ここで、ｆはレンズ９０３−１及び９０３−２の焦点距離であり、Ｂはレンズ９０３−１及び９０３−２の光軸の間隔であり、ｐはレンズ９０３−１と９０３−２との光軸を結ぶ方向の撮像ユニット９０７の画素間隔である。
L = (f * B) / (p * d) …(1)【０００４】
しかしながら、レンズアレイ９０３は温度変化により変形し、それに伴いレンズの光軸の間隔Ｂが変化するため、温度が変化すると正しく距離を求められない。【０００５】
このような温度変化に対応する撮像装置が特許文献２に開示されている。その構造は温度センサを有している点を除いて特許文献１の撮像装置と同様であるため、図２４を参照しながら説明すると、特許文献２の撮像装置は、等間隔に配置されたレンズ９０３−１〜９０３−４と、それらのレンズ９０３−１〜９０３−４近傍の温度Ｔを測定する温度センサとを備え、その温度Ｔを用いて、撮像ブロック９０７−１〜９０７−４により撮像された画像Ｉ１〜Ｉ４を補正する。【０００６】
より詳細に説明すると、この撮像装置は、下記式（２）のように、基準温度Ｔ０に対する温度変化量（Ｔ−Ｔ０）を演算し、レンズアレイの熱線膨張率ａＬと撮像ユニット９０７の線膨張率ａＳとの差（ａＬ−ａＳ）に基づき、温度変化による各レンズの光軸の間隔Ｂの変化量ｚを求める。そして、下記式（３）のように、撮像ブロック９０７−１により撮像された画像Ｉ１を基準として、下記式（４）、（５）及び（６）のように、撮像ブロック９０７−２、９０７−３、９０７−４により撮像された画像Ｉ２、Ｉ３、Ｉ４を、各レンズの光軸の間隔の変化分だけ補正する。ここで、レンズ９０３−１及び９０３−２、並びにレンズ９０３−３及び９０３−４がそれぞれ互いにｘ軸方向に離れて配置され、レンズ９０３−１及び９０３−３、並びにレンズ９０３−２及び９０３−４がそれぞれ互いにｙ軸方向に離れて配置されている。そして、ｐは撮像ユニット９０７画素間隔であり、ｘ軸方向とｙ軸方向とで同一である。Ｉ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）、Ｉ３（ｘ，ｙ）、Ｉ４（ｘ，ｙ）は座標（ｘ、ｙ）における各画像の輝度を示す。温度変化により、レンズ９０３−１と比較し、レンズ９０３−２はｘ軸方向にｚ／ｐ画素だけ移動するため、式（４）のように、Ｉ２（ｘ，ｙ）をｘ軸方向にｚ／ｐだけ移動するように補正する。また、温度変化により、レンズ９０３−３は、レンズ９０３−１と比較してｙ軸方向にｚ／ｐ画素だけ移動するため、式（５）のように、Ｉ３（ｘ，ｙ）をｙ軸方向にｚ／ｐだけ移動するように補正する。さらに、温度変化により、レンズ９０３−４は、レンズ９０３−１と比較してｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するため、式（６）のように、Ｉ４（ｘ，ｙ）をｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するように補正する。
z = B (aL - aS) (T - T0) …(2)
I1(x, y) = I1(x, y) …(3)
I2(x, y) = I2(x+z/p, y) …(4)
I3(x, y) = I3(y, x+z/p) …(5)
I4(x, y) = I4(x+z/p, y+z/p) …(6)
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１４３４５９号公報
【特許文献２】特開２００２−２０４４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のように、特許文献２に記載された従来の撮像装置は、撮像ブロック９０７−１により撮像された画像Ｉ１を基準として、式（４）、（５）及び（６）のように、撮像ブロック９０７−２、９０７−３、９０７−４により撮像された画像Ｉ２、Ｉ３、Ｉ４を、レンズの光軸の間隔の変化分だけ補正する。【０００９】
しかしながら、特許文献２に記載された従来の撮像装置は、光軸は補正されるが、撮像された画像の倍率の変化は考慮されない。すなわち、レンズアレイの温度変化により、屈折率が変化し、レンズの焦点距離ｆが変化する。また、鏡筒の温度変化により、レンズアレイから撮像領域までの距離が変化する。これらの場合、いずれも、撮像された画像の倍率が変化する。そのため、その倍率の変化分だけ演算される視差及び被写体距離が変化するため、距離演算精度が悪化する。【００１０】
本発明は、上記問題に鑑みなされたもので、温度が変化し、撮像された画像の倍率が変化しても、高精度な距離計測を可能にする撮像装置及びその撮像装置に用いられる半導体回路素子を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記レンズアレイの近傍に配置され温度を検知する温度センサと、前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。ここで、「撮像領域で撮像された画像の倍率に相関する補正
係数」とは、撮像領域で撮像された画像の倍率と相関関係を有する物理量を補正する補正係数を意味し、典型的には、撮像領域で撮像された画像の倍率自体、及び複数のレンズの各々の焦点距離が該当する。また、これらと相関関係を有する、レンズアレイを収容する鏡筒の伸び又は縮み、複数のレンズの各々の屈折率等も該当する。【００１２】
この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び／又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。【００１３】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。【００１４】
この構成によれば、温度が変化し、鏡筒が伸びても、その鏡筒の伸び又は縮みによって生じる、撮像領域で撮像される画像の倍率変化を補償することができる。【００１５】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。【００１６】
この構成によれば、温度が変化し、レンズアレイの屈折率または焦点距離が変化しても、その変化によって生じる、撮像領域で撮像された画像の倍率変化を補償することができる。【００１７】
また、前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成してもよい。【００１８】
１つの鏡筒と複数のレンズを含む１つのレンズアレイとを用いて構成される撮像装置において、複数の撮像領域に対して１つの倍率相関補正係数が作成されるため、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。【００１９】
また、本発明の半導体回路素子は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。【００２０】
この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び／又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。【００２１】
本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
【発明の効果】
【００２２】
本発明によれば、温度変化が変化し、撮像された画像の倍率が変化しても、それを補償するため、高精度な距離計測が可能となる。
【図面の簡単な説明】
【００２３】
【図１】図１は本発明の実施の形態１に係る撮像装置の構成を示す断面図である。
【図２】図２は本発明の実施の形態１に係る撮像装置のレンズアレイの構成を示す平面図である。
【図３】図３は本発明の実施の形態１に係る撮像装置の回路部の構成を示す平面図である。
【図４】図４は本発明の実施の形態１に係る撮像装置の撮像素子の構成を示す平面図である。
【図５】図５は本発明の実施の形態１に係る撮像装置の温度センサの回路図である。
【図６】図６は本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。
【図７】図７は本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図である。
【図８】図８は本発明の実施の形態１に係る鏡筒伸びによる倍率変化を説明する図である。
【図９】図９は本発明の実施の形態１に係る鏡筒伸びの温度補正の原理を説明する図である。
【図１０】図１０は本発明の実施の形態１に係る鏡筒伸びの温度補正の効果を説明する図である。
【図１１】図１１は本発明の実施の形態１に係る温度に対する屈折率と焦点距離の変化を説明する図である。
【図１２】図１２は本発明の実施の形態１に係る焦点距離変化による倍率変化を説明する図である。
【図１３】図１３は本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図１４】図１４は本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。
【図１５】図１５は本発明の実施の形態１に係る係数保存部を説明するための図である。
【図１６】図１６は本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図である。
【図１７】図１７は本発明の実施の形態１に係る撮像装置の距離演算部の動作を示すフローチャートである。
【図１８】図１８は本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図である。
【図１９】図１９は本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。
【図２０】図２０は本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。
【図２１】図２１は実施の形態１の変形例２に係る撮像装置のレンズアレイの構成を示す平面図である。
【図２２】図２２は実施の形態１の変形例３に係る撮像装置のレンズアレイの構成を示す平面図である。
【図２３】図２３は本発明の実施の形態２に係る撮像装置のレンズアレイの構成を示す平面図である。
【図２４】図２４は従来の撮像装置の分解斜視図である。
【図２５】図２５は従来の撮像装置の撮像ブロックを説明するための図である。
【発明を実施するための形態】
【００２４】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００２５】
（実施の形態１）
本発明の実施の形態１に係る撮像装置は、温度センサにより検知された温度に基づき複数のレンズの光軸の間隔の変化量を求め、複数のレンズの光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、歪みの影響を適切に低減できるため、高精度な視差を検知でき、高精度に距離測定できる。また、温度センサにより検知された温度に基づいて画像の倍率を補正するので、より高精度に距離測定できる。
【００２６】
［構成及び動作］
図１は、本発明の実施の形態１に係る撮像装置の構成を示す断面図である。図１に示すように、撮像装置１０１は、回路部１２０と、その回路部１２０の上方に設けられたレンズモジュール部１１０とを備えている。
【００２７】
レンズモジュール部１１０は、円筒状の鏡筒１１１と、その鏡筒１１１の開口を覆う上部カバーガラス１１２と、その上部カバーガラス１１２の下方であって鏡筒１１１の内部に設けられたレンズアレイ１１３とを有している。また、回路部１２０は、基板１２１と、その基板１２１上に設けられたパッケージ１２２、撮像素子１２３、パッケージカバーガラス１２４、半導体回路素子であるシステムＬＳＩ（以下、ＳＬＳＩと記す）１２５、及びレンズアレイ１１３近傍の温度を検出する温度センサ１２６とを有している。
【００２８】
鏡筒１１１は、上述のとおり円筒状であって、その内壁面は光の乱反射を防止するためにつやが消された黒で着色されており、樹脂を射出成形し形成される。上部カバーガラス１１２は、円盤状であり、光学ガラス材あるいは透明樹脂などから形成され、鏡筒１１１の上部の内壁に接着剤などにより固着され、その表面には摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。
【００２９】
図２は、本発明の実施の形態１に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ１１３は、略円盤状であり、光学ガラス材又は透明樹脂などから形成され、円形の第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄが２行２列で碁盤目状に配設されている。第１〜第４のレンズ部１１３ａ〜１１３ｄの配置方向に沿って、図２に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出され、撮像素子１２３上に４つの像が結像される。なお、図２に示すように、第１のレンズ部１１３ａの光軸及び第２のレンズ部１１３ｂの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向では一致する。第１のレンズ部１１３ａの光軸及び第３のレンズ部１１３ｃの光軸は、ｘ軸方向では一致しており、ｙ軸方向ではＤｙだけ離れている。第３のレンズ部１１３ｃの光軸及び第４のレンズ部１１３ｄの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向は一致する。第４のレンズ部１１３ｄの光軸及び第１のレンズ部１１３ａの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向ではＤｙだけ離れている。
【００３０】
基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部１１０と回路部１２０とが固定され、撮像装置１０１を構成する。
【００３１】
パッケージ１２２は、金属端子を有する樹脂からなり、鏡筒１１１の内側において、基板１２１の上面にその金属端子部が半田づけ等されて固着される。
【００３２】
撮像素子１２３は、ＣＣＤセンサやＣＭＯＳセンサのような固体撮像素子であり、その受光面が第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄの光軸と略垂直になるようにして配置される。撮像素子１２３の各端子は、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ１２５と電気的に接続される。撮像素子１２３の受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気の情報へ変換され、その電気の情報がＳＬＳＩ１２５に転送される。
【００３３】
図３は、本発明の実施の形態１に係る撮像装置の回路部１２０の構成を示す平面図である。パッケージカバーガラス１２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。なお、図３においては、便宜上、パッケージカバーガラス１２４を透して見える撮像素子１２３などは省略する。
【００３４】
ＳＬＳＩ１２５は、後述の方法で、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種演算を行い、上位ＣＰＵと通信を行い、外部に画像情報や距離情報などを出力する。なお、ＳＬＳＩ１２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）に接続される。
【００３５】
図４は、本発明の実施の形態１に係る撮像装置の撮像素子の構成を示す平面図である。図４に示すように、撮像素子１２３は、第１の撮像領域１２３ａ、第２の撮像領域１２３ｂ、第３の撮像領域１２３ｃ、及び第４の撮像領域１２３ｄを含んで構成されている。これらの第１〜第４の撮像領域１２３ａ〜１２３ｄは、それぞれの受光面が、第１〜第４のレンズ部１１３ａ〜１１３ｄの光軸と略垂直になるようにして２行２列で配置される。これらの各撮像領域１２３ａ〜１２３ｄにて撮像信号が生成される。
【００３６】
図５は、本発明の実施の形態１に係る撮像装置の温度センサの回路図である。図５に示すように、温度センサ１２６は、第１の固定抵抗１２６ａとサーミスタ１２６ｂと第２の固定抵抗１２６ｃとが直列に接続されて構成されている。ここで、第１の固定抵抗１２６ａの他端（サーミスタ１２６ｂに接続されない端）は電源１２６ｄ（例えば３．３Ｖ）に接続され、第２の固定抵抗１２６ｃの他端（サーミスタ１２６ｂに接続されない端）はグランド１２６ｅ（例えば、０Ｖ。ＳＬＳＩ１２５のグランドと同一電位）に接続される。また、第１の固定抵抗１２６ａとサーミスタ１２６ｂとの接続点１２６ｆがＳＬＳＩ１２５に接続されている。
【００３７】
次に、被写体距離と視差との関係を説明する。本発明の実施の形態１に係る撮像装置は、４つのレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）を有するため、４つのレンズ部がそれぞれ形成する４つの物体像の相対的位置が、被写体距離に応じて変化する。
【００３８】
図６は、本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。図６においては、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。無限遠の物体１０からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と、第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行である（ここで、物体１０は２つ描画されているが、単一である。無限遠の物体１０を有限な紙面上に描画できない。そのため、入射光Ｌ１と入射光Ｌ２とが平行であることを明示するために、２つの位置の無限遠の物体１０を描画している）。このため、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸との間の距離と、撮像素子１２３上の物体像１１ａが結像される位置と物体像１１ｂが結像される位置との間の距離は等しい。すなわち、視差はない。
【００３９】
図７は、本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体の位置を説明するための図である。図７において、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。有限距離の物体１２からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行ではない。従って、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸との間の距離に比べて、撮像素子１２３上の物体像１３ａが結像される位置と物体像１３ｂが結像される位置との間の距離は長い。すなわち、視差がある。
【００４０】
第１のレンズ部１１３ａの主点から物体（被写体）１２までの距離（被写体距離）をＡ、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの光軸間距離をＤ、レンズ部１１３ａ，１１３ｂの焦点距離をｆとすると、図７の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似であることより、視差値Δは、下記式（７）のように表される。
Δ＝ｆ＊Ｄ／Ａ ・・・(7)
【００４１】
その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１３ａ，１１３ｂ，１１３ｃ，１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差値Δが大きくなる。そこで、下記式（８）のように、式（７）を被写体距離Ａについて解くことにより、視差値Δから被写体距離Ａを求めることができる。
Ａ＝ｆ＊Ｄ／Δ ・・・(8)
【００４２】
次に、光軸中心の温度補償の原理を説明する。図２の矢印のように、温度上昇に伴いレンズアレイ１１３が膨張し光軸中心がレンズ外側に移動する。レンズアレイが温度上昇に比例し等方的に膨張すると仮定すると、光軸中心の間隔は、下記式（９）、（１０）で表される。ここで、ddxは温度上昇に伴う光軸間の間隔のｘ方向の変化量であり、単位は撮像素子１２３の受光素子の間隔である。また、ddyは温度上昇に伴う光軸間の間隔のｙ方向の変化量であり、単位は撮像素子１２２の受光素子の間隔である。また、Dxは基準温度Th0におけるｘ方向のレンズ間の光軸の間隔であり、Dyは基準温度Th0におけるｙ方向のレンズ間の光軸の間隔であり、aLはレンズアレイ１１３の熱線膨張率であり、aSは撮像素子１２３の熱線膨張率であり、Tは温度であり、Th0は基準温度であり、pは撮像素子１２３の受光素子の間隔である。
ddx = Dx * (aL - aS) * (T - Th0) / p ・・・(9)
ddy = Dy * (aL - aS) * (T - Th0) / p ・・・(10)
【００４３】
そして、温度上昇に伴い各レンズ部の光軸中心は等方的に膨張するため、図２のように、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ移動する。すなわち、第１のレンズ部１１３ａの光軸中心は、ｘ方向に-p*ddx/2、ｙ方向に-p*ddy/2だけ移動する。また、第２のレンズ部１１３ｂの光軸中心は、ｘ方向に+p*ddx/2、ｙ方向に-p*ddy/2だけ移動する。また、第３のレンズ部１１３ｃの光軸中心は、ｘ方向に-p*ddx/2、ｙ方向に+p*ddy/2だけ移動する。また、第４のレンズ部１１３ｄの光軸中心は、ｘ方向に+p*ddx/2、ｙ方向に+p*ddy/2だけ移動する。
【００４４】
したがって、温度Tを検知し、その温度Tからレンズアレイ１１３の各レンズ間の光軸の間隔の変化ddx,ddyを求め、その変化ddx,ddyの半分だけレンズアレイ１１３の各レンズの光軸が移動すると推定し補償することにより、温度変化に伴うレンズアレイ１１３の膨張の影響を低減し、正確な視差を求めることができ、それゆえ、正確な距離を求めることができる。
【００４５】
次に、温度変化による鏡筒伸びの影響を低減するための温度補正の原理を説明する。図８は、本発明の実施の形態１に係る鏡筒伸びによる倍率変化を説明する図である。図８において、説明を簡単にするため、第１のレンズ部１１３ａに関する部分のみを示す。図８（ａ）は、基準温度Ｔｈ０における倍率の説明を示し、図８（ｂ）は、基準温度よりも高い温度Ｔｈにおける倍率の説明を示す。基準温度Ｔｈ０において、図８（ａ）のように、第１のレンズ部１１３ａの主点Ｈから被写体１４までの距離はＡであり、第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ａまでの距離はＢである。被写体１４の下端からの主光線Ｌ１１は、被写体１４の下端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ａの上端に達する。一方、被写体１４の上端からの主光線は、被写体１４の上端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ａの下端に達する。ここで、被写体１４の下端、上端、主点Ｈを結ぶ三角形と、被写体像１５ａの上端、下端、主点Ｈを結ぶ三角形は相似であるため、下記式（１１０）のように、被写体１４の長さＸに対する被写体像１５ａの長さＹａの比で示される基準温度Ｔｈ０における倍率β（Ｔｈ０）は、被写体１４から主点Ｈまでの距離Ａに対する主点Ｈから被写体像１５ａまでの距離Ｂとの比となる。
β(Th0) = Ya/X = B/A ・・・(110)
【００４６】
一方、温度Ｔｈにおいて、図８（ｂ）のように、第１のレンズ部１１３ａの主点Ｈから被写体１４までの距離はＡであり、第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ｂまでの距離はＢ・（１＋α）である。温度上昇により、鏡筒１１１が伸びるため、基準温度Ｔｈ０に対して、温度Ｔｈではα倍分だけ第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ｂまでの距離が増加する。被写体１４の下端からの主光線Ｌ１１は、被写体１４の下端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ｂの上端に達する。一方、被写体１４の上端からの主光線は、被写体１４の上端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ｂの下端に達する。ここで、被写体１４の下端、上端、主点Ｈを結ぶ三角形と、被写体像１５ｂの上端、下端、主点Ｈを結ぶ三角形は相似であるため、下記式（１１１）のように、被写体１４の長さＸに対する被写体像１５ｂの長さＹｂとの比で示される温度Ｔｈにおける倍率β（Ｔｈ）は、被写体１４から主点Ｈまでの距離Ａに対する主点Ｈから被写体像１５ｂまでの距離Ｂ・（１＋α）の比となる。式（１１０）と式（１１１）の比較から明瞭に、温度が基準温度Ｔｈ０から温度Ｔｈに上昇すると、鏡筒が元の長さのα倍分だけ伸び又は縮み、それに伴い主点Ｈと第１の撮像領域１２３ａまでの距離Ｂが鏡筒の膨張によって伸び又は縮んだ分だけ鏡筒長が変化し（すなわち、ＢからＢ・（１＋α）に増加又は減少し）、倍率は１＋α倍に増加又は減少する（すなわち、Ｂ／ＡからＢ・（１＋α）／Ａに増加又は減少する）。以下、本実施の形態においては鏡筒長が伸びた場合（すなわち、α＞０の場合）を例にとって説明する。
β(Th) = Yb/X = B・(1+α)/A ・・・(111)
【００４７】
図９は、本発明の実施の形態１に係る鏡筒伸びの温度補正の原理を説明する図である。図９において、説明を簡単にするため、第１のレンズ部１１３ａ、および第２のレンズ部１１３ｂに対応する第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２のみを示す。また、図９において、適宜、レンズ間の光軸の移動に対する補正がなされているものとする。図９（ａ）は、基準温度Ｔｈ０における画像と視差とを示し、図９（ｂ）は、基準温度よりも高い温度Ｔｈにおける鏡筒伸びの補正前の画像と視差とを示し、図９（ｃ）は、基準温度よりも高い温度Ｔｈにおける鏡筒伸びの補正後の画像と視差とを示す。基準温度Ｔｈ０において、図９（ａ）のように、第１の撮像信号Ｉ１に被写体像１６ａａが撮像され、第２の撮像信号Ｉ２に被写体像１６ｂａが撮像され、それぞれの視差がΔとなるものとする。ここで、温度が基準温度Ｔｈ０から温度Ｔｈまで上昇すると、式（１１１）のように倍率が１＋α倍に増加するため、同一の被写体を撮像したとき、図９（ｂ）のように、第１の撮像信号Ｉ１に撮像される被写体像１６ａｂの大きさ、および第２の撮像信号Ｉ２に撮像される被写体像１６ｂｂの大きさが、それぞれ１＋α倍に増加する。そのため、それぞれの視差が１＋α倍に増加する（すなわち、Δ・（１＋α）となる）。そこで、図９（ｃ）のように、この１＋α倍に大きくなった被写体像１６ａｂ、１６ｂｂが基準温度Ｔｈ０のときの被写体像１６ａａ、１６ｂａと同一の大きさになるように、第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２を補正し（画像の大きさが１／（１＋α）倍になるのように補正し、）被写体像１６ａｃ、１６ｂｃとする。すると、補正された被写体像１６ａｃ、１６ｂｃの大きさは、基準温度Ｔｈ０のときの被写体像１６ａａ、１６ｂａの大きさと同一となり、それゆえ、視差がΔとなり、基準温度Ｔｈ０のときの視差Δに一致する。
【００４８】
図１０は、本発明の実施の形態１に係る鏡筒伸びの温度補正の効果を説明する図である。上述のように、温度Ｔｈが変化すると膨張による鏡筒の伸び又は縮みに伴って各撮像領域に撮像される画像の倍率が変化する。図１０（ａ）は、基準温度Ｔｈ０（図１０において、基準温度Ｔｈ０を２０℃とする）のときの倍率β（Ｔｈ０）に対する温度Ｔｈのときの倍率β（Ｔｈ）の比（１＋α）を示したものであり、基準温度Ｔｈ０のとき１（α＝０）であったものが、基準温度Ｔｈ０以上のときは１以上（αが０以上）となり、基準温度Ｔｈ０以下のときは１以下（αが０以下）となる。そして、温度Ｔｈが基準温度Ｔｈ０から離れるほど、基準温度Ｔｈ０のときの倍率β（Ｔｈ０）に対するＴｈ０のときの倍率β（Ｔｈ）の比（１＋α）は１から離れる。そして、上述のように視差Δも、同様に変化する。ここで、被写体距離Ａは、式（８）において視差Δに反比例し、視差Δに基づき式（８）に従って演算される。そのため、鏡筒伸びに伴う撮像画像の倍率変化に関する補正なしに測距演算を行うと、図１０（ｂ）のように、温度Ｔｈが基準温度Ｔｈ０以外のとき測距誤差が発生する。そこで、上述のように、鏡筒伸びに伴う撮像画像の倍率変化に関する補正を行い、基準温度Ｔｈ０のときと同一の倍率とし、同一の視差とすることにより、図１０（ｃ）のように、温度変化に対する測距誤差をなくすことができる。
【００４９】
このように、基準温度から温度が変化すると、鏡筒伸びにより画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
【００５０】
なお、測距誤差αは、鏡筒に用いられる材料の線熱膨張係数と許容温度変化幅とを掛け合わせることにより求められる。従って、図１０における測距誤差αは、例えば、樹脂製の鏡筒に用いられる一般的な樹脂の線熱膨張係数の値として、０．００００７[／℃]を用い、車載用途などに用いた場合の許容温度変化幅を１００℃とする(−２０℃から８０℃まで変化すると仮定する)と、α＝０．００００７×１００＝０．００７、すなわち、０．７％（中心値に対して±０．３５％）程度となることがわかる。ここで、測距装置の必要精度としては、±１％以下が求められることがある。従って、鏡筒の長さ変化による測距誤差が上述のように中心値に対して±０．３５％とすると、鏡筒の長さ変化による測距誤差が必要精度の１／３を占めることになる。測距誤差は、鏡筒の長さ変化以外の様々な要因によっても発生するため、必要精度の１／３を占める鏡筒の長さ変化よる誤差の影響を除去することは、測距精度±１％以下の実現のために重要である。
【００５１】
そこで、本実施の形態のように、温度変化による鏡筒の長さ変化を補正することにより、この測距誤差を大きく低減することが可能となる。これにより、成形により安価に量産が可能な樹脂を用いて鏡筒を形成しても、高精度な測距装置を実現することができる。
【００５２】
次に、焦点距離の温度補正の原理を説明する。図１１は、本発明の実施の形態１に係る温度に対する屈折率と焦点距離の変化を説明する図である。図４（ａ）のように、温度が上昇すると、レンズアレイ１１３の屈折率が減少する。すると、第１のレンズアレイ１１３ａの焦点距離ｆが変化する。図４（ｂ）は、基準温度Ｔｈ０（図１１において、基準温度Ｔｈ０を２０℃とする）における焦点距離ｆに対する温度Ｔｈにおける焦点距離ｆの比を示し、基準温度Ｔｈ０のとき１であったものが、基準温度Ｔｈ０以上のときは１以上となり、基準温度Ｔｈ０以下のときは１以下となり、基準温度Ｔｈ０から離れるほど１から離れる。
【００５３】
図１２は、本発明の実施の形態１に係る焦点距離変化による倍率変化を説明する図である。図１２において、説明を簡単にするため、第１のレンズ部１１３ａに関する部分のみを示す。図１２において、被写体距離がＡ、第１のレンズ部１１３ａの焦点距離がｆａのとき、第１の撮像領域１２３ａに合焦するように各部品が配置されているものとする。そのため、理想的には、被写体１７の１点から発せられたあらゆる光は、第１のレンズ部１１３ａを通過した後、撮像領域１２３ａ上の１点に集光する。すなわち、被写体１７の上端からの主光線Ｌ２０は、被写体１７の上端から発し、第１のレンズ部１１３ａの主点Ｈを通過し、屈折せずに第１の撮像領域１２３ａ上の被写体像１８ａの下端（第１のレンズ部１１３ａの光軸１９からＹだけ離れた位置）に達する。また、被写体１７の上端から光軸１９に平行な光線Ｌ２１ａは、点Ｐで屈折され、後側焦点Ｎａを通過し、被写体像１８ａの下端（光軸１９からＹだけ離れた位置）に達する。また、被写体１７の上端から前側焦点Ｍａを通過する光線Ｌ２２ａは、点Ｑａで屈折され、光軸１９と平行になり、被写体像１８ａの下端（光軸１９からＹだけ離れた位置）に達する。
【００５４】
次に、温度が上昇し、焦点距離がｆａからｆｂ（＞ｆａ）に変化したときを考える。このとき、前側焦点がＭａからＭｂにレンズから遠ざかる向きに変化し、後側焦点がＮａからＮｂにレンズから遠ざかる向きに変化する。被写体１７の上端からの主光線Ｌ２０は、被写体１７の上端から発し、第１のレンズ部１１３ａの主点Ｈを通過し、屈折せずに第１の撮像領域１２３ａ上の被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端（第１のレンズ部１１３ａの光軸１９からＹだけ離れた位置）に達する。一方、被写体１７の上端から光軸１９に平行な光線Ｌ２１ｂは、点Ｐで屈折され、後側焦点Ｎｂを通過し、被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端よりも光軸１９に近い側（光軸１９からＹｕだけ離れた位置）に達する。また、被写体１７の上端から前側焦点Ｍｂを通過する光線Ｌ２２ｂは、点Ｑｂで屈折され、光軸１９と平行になり、被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端よりも光軸１９から遠い側（光軸１９からＹｄだけ離れた位置）に達する。すなわち、被写体１７の１点から発せられたあらゆる光は、第１のレンズ部１１３ａを通過した後、撮像領域１２３ａ上の１点に集光せずにぼける。また、Ｙに対するＹｕのずれの大きさとＹに対するＹｄのずれの大きさとが異なるため、倍率が変化する。
【００５５】
このように、温度が変化すると、焦点距離が変化し、倍率が変化する。そして、図９および図１０を用いて説明したとおり、倍率変化により測距誤差が発生する。そこで、光学解析などにより焦点距離変化による倍率変化、すなわち、基準温度Ｔｈ０における倍率に対する温度Ｔｈにおける倍率変化を求め、基準温度Ｔｈ０のときの倍率になるように倍率を補正する。
【００５６】
このように、基準温度から温度が変化すると、焦点距離変化により画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
【００５７】
次に、本発明の実施の形態１に係る撮像装置の動作を説明する。
【００５８】
図１３は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。ＳＬＳＩ１２５は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、温度センサ信号入力部１３４、入出力部１３５、係数保存部１４１、温度補償演算部（補正係数作成部）１４２、撮像信号補正部１４３、及び距離演算部１４４を有する。そして、撮像信号補正部１４３及び距離演算部１４４が補正演算部を構成する。
【００５９】
システム制御部１３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ１２５の全体を制御する。なお、図１３においては、図を見やすくするため、システム制御部１３１と各ブロックとの間で授受される信号の図示を省略している。
【００６０】
図１４は、本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ１２５のシステム制御部１３１により、撮像装置１０１は、このフローチャートのとおりに動作される。
【００６１】
ステップＳ１０１０において、撮像装置１０１は動作を開始する。例えば、上位ＣＰＵ（図示せず）が、入出力部１３５を介し、撮像装置１０１（正確にはシステム制御部１３１）に動作の開始を命令することにより、撮像装置１０１は、動作を開始する。
【００６２】
次に、ステップＳ１０２０において、撮像装置１０１は撮像信号を入力する。具体的には、撮像素子駆動部１３２は、ロジック回路などから構成され、システム制御部１３１の命令により電子シャッターや転送を行うための信号撮像素子１２３を駆動する信号を発生し、この信号に応じた電圧を撮像素子１２２に印加する。撮像信号入力部１３３は、ＣＤＳ回路（相関二重サンプリング回路：Correlated Double Sampling Circuit）、ＡＧＣ（自動利得制御器：Automatic Gain Controller）、ＡＤＣ（アナログ／ディジタル変換器：Analog Digital Converter）が直列に接続されて構成され、撮像素子１２３からの電気信号が入力される。撮像信号入力部１３３は、入力される電気信号を、ＣＤＳ回路により固定ノイズを除去し、ＡＧＣによりゲインを調整し、ＡＤＣによりアナログ信号からディジタル値に変換しするようにして、撮像信号I0を出力する。ここで、撮像信号入力部１３３は、撮像信号I0(x,y)を、ｘ方向にH0画素、ｙ方向にV0画素だけ、I0(0,0)（(x,y)=(0,0)）、I0(1,0)、I0(2,0)、・・・、I0(H0-1,V0-1)の順に出力する。
【００６３】
次に、ステップＳ１０３０において、撮像装置１０１は温度センサ信号を入力する。具体的には、温度センサ信号入力部１３４は、ＡＤＣ（Analog Digital Converter：アナログ・デジタル変換器）などから構成され、温度センサ１２６からアナログ電圧信号である温度センサ信号を入力される。そして、この温度センサ信号を、アナログ信号からディジタル値に変換し、温度センサ信号Tsとして出力する。例えば12bitのADCを用いると、温度センサ信号Tsは、0〜4095までの値を取る。以下、温度センサ信号Tsは、12bitのADCを用いて作成されたものとして説明する。
【００６４】
次に、ステップＳ１１１０において、撮像装置１０１は各種の係数を温度補償する。具体的には、温度補償演算部１４２は、温度センサ信号Tsを入力され、この温度センサ信号Tsと係数保存部１４１に保存されたデータとを用いて、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxを出力する。
【００６５】
図１５は、本発明の実施の形態１に係る係数保存部を説明するための図である。図１５において、簡単のため、第１のレンズ部１１３ａの光軸中心ｘ座標xc1のみが記述されている。図１５に示すように、温度センサ信号Tsの値が０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの光軸中心ｘ座標xc1の値がそれぞれxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096として、温度センサ信号Tsの当該各値に対応させて係数保存部１４１に保存されている。そして、温度補償演算部１４２は、温度センサ信号Tsの値に対応する光軸中心ｘ座標xc1を補間演算し作成する。例えば、温度センサ信号Tsの値が512以上768未満のときには、温度センサ信号Ts=512、768のときの光軸中心ｘ座標xc1_512、xc1_768を用いて、下記式（１１）のように補間演算を行い、xc1を作成する。他の係数も同様に作成する。すなわち、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値が保存され、温度センサ信号Tsに関して補間演算を行い作成される。
xc1 = xc1_512 + (Ts-512)/(768-512)*(xc_768-xc1_512) ・・・(11)
【００６６】
なお、係数保存部１４１に保存される係数は以下のように作成され保存される。各レンズ部の光軸中心は、式（９）、（１０）に基づき、下記式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。ここで、T(Ts)はADCによりディジタル値に変換された温度センサ信号Tsの値によって表される物理的な温度を示す。具体的には、下記式（１４）、（１５）のように、第１のレンズ部１１３ａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（１６）（１７）のように、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（１８）（１９）のように、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に-ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。また、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に+ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。
ddx = Dx * (aL - aS) * (T(Ts) - Th0) / p ・・・(12)
ddy = Dy * (aL - aS) * (T(Ts) - Th0) / p ・・・(13)
xc1 = xc10 - ddx/2 ・・・(14)
yc1 = yc10 - ddy/2 ・・・(15)
xc2 = xc20 + ddx/2 ・・・(16)
yc2 = yc20 - ddy/2 ・・・(17)
xc3 = xc30 - ddx/2 ・・・(18)
yc3 = yc30 + ddy/2 ・・・(19)
xc4 = xc40 + ddx/2 ・・・(20)
yc4 = yc40 + ddy/2 ・・・(21)
【００６７】
歪曲係数k2,k4は、光学解析や実験などで各温度における値を求めることにより、作成される。
【００６８】
鏡筒の長さlkは下記式（２２）のように推定される。ここで、Th0は基準温度であり、lk0は基準温度Th0における鏡筒の長さであり、kkは鏡筒の熱線膨張率、T(Ts)は温度センサ信号Tsが示す温度センサの物理的な温度である。ここで、レンズ主点と撮像領域の撮像面の距離は、鏡筒の長さに比例する。そして、前述の式（１１１）のように、倍率はレンズ主点と撮像領域の撮像面の距離に比例する。したがって、倍率は、鏡筒の長さの変化に比例する。そこで、鏡筒の長さの変化の前後における比率を倍率比とする。具体的には、下記式（２３）、（２４）のように、鏡筒長変化によるｘ方向の倍率比rkx、鏡筒長変化によるｙ方向の倍率比rkyとして作成する。
lk = lk0*{1+kk*(T(Ts)-Th0)} ・・・(22)
rkx = {1+kk*(T(Ts)-Th0)} ・・・(23)
rky = {1+kk*(T(Ts)-Th0)} ・・・(24)
【００６９】
焦点距離変化による倍率変化を光学解析などで各温度における値を求め、下記式（１１２）、（１１３）のように、温度センサの値Tsに応じ、焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyを作成する。なお、焦点距離は主に屈折率変化によって変化するため、光学解析によって焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyを求めるにあたり、焦点距離の代わりに、屈折率を変化させてもよい。
rfx = rfx(Ts) ・・・(112)
rfy = rfy(Ts) ・・・(113)
【００７０】
そして、下記式（１１４）、（１１５）のように、両者の乗算結果を、ｘ方向の倍率rx、ｙ方向の倍率ryとし、倍率補正に利用する。
rx = rkx * rfx ・・・(114)
ry = rky * rfy ・・・(115)
【００７１】
なお、温度による焦点距離変化に伴う倍率変化と比較し、温度による鏡筒長変化に伴う倍率変化が大きいとき、焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyをそれぞれ１として、温度による鏡筒長変化に伴う倍率変化の補正のみを行ってもよい。
【００７２】
一方、温度による鏡筒長変化に伴う倍率変化と比較し、温度による焦点距離変化に伴う倍率変化が大きいとき、鏡筒長変化によるｘ方向の倍率比rkx、鏡筒長変化によるｙ方向の倍率比rkyをそれぞれ１として、温度による焦点距離変化に伴う倍率変化の補正のみを行ってもよい。
【００７３】
また、光学解析において、温度に応じ焦点距離（あるいは屈折率）と鏡筒伸びとを同時に変化させ、各温度における倍率を求め、基準温度に対する比をｘ方向の倍率rx、ｙ方向の倍率ryとしてもよい。
【００７４】
なお、鏡筒長変化に伴う倍率変化を補正する場合及び焦点距離変化に伴う倍率変化を補正する場合のいずれにおいても、焦点距離ｆは、基準温度における焦点距離を用いる。
【００７５】
ｘ方向の光軸間距離Dxは、ｘ方向の光軸間距離の変化量が式（１２）のddxで示されることより、このddxを用いて下記式（２５）のように作成する。
Dx = Dx0 + ddx * p ・・・(25)
【００７６】
なお、各温度において各種方法により測定された係数を保存してもよい。
【００７７】
次に、ステップＳ１１２０において、撮像装置１０１は画像を補正し切り出す。具体的には、撮像信号補正部１４３は、撮像信号I0、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、及び第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を入力され、撮像信号I0から各レンズ部により結像された被写体像を撮像した画像を切り出し、この切り出した画像に歪曲補正などの補正処理を行い、これらを、それぞれ、第１のレンズ部１１３ａに対応する第１の撮像信号I1(x,y)、第２のレンズ部１１３ｂに対応する第２の撮像信号I2(x,y)、第３のレンズ部１１３ｃに対応する第３の撮像信号I3(x,y)、及び第４のレンズ部１１３ｄに対応する第４の撮像信号I4(x,y)として出力する。
【００７８】
図１６は、本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図である。歪みがなく、温度によるレンズの膨張がない場合、図１６に示すように、第１の撮像信号I1(x,y)は、撮像信号I0を、原点(x01,y01)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第２の撮像信号I2(x,y)は、撮像信号I0を、原点(x02,y02)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第３の撮像信号I3(x,y)は、撮像信号I0を、原点(x03,y03)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第４の撮像信号I4(x,y)は、撮像信号I0を、原点(x04,y04)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像である。実施の形態１の撮像装置は、熱膨張による光軸中心の移動、歪み補正、倍率補正を加味し、以下のような処理を行う。
【００７９】
下記式（２６）、（２７）、（２８）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)を用いて、第１の撮像信号用の参照先座標(tx1,ty1)を演算し、下記式（２９）のように、第１の撮像信号用の参照先座標(tx1,ty1)を用いて撮像信号I0から第１の撮像信号I1(x,y)を演算する。なお、第１の撮像信号用の参照先座標(tx1, ty1)は、小数点を持ってもよい。その場合、第１の撮像信号用の参照先座標(tx1,ty1)の整数部分を(tx1i,ty1i)とし、小数部分を(tx1f,ty1f)とし、下記式（３０）のように４画素を利用し演算する。ここで、式（２６）、(２７）、（２８）、（２９）、（３０）において、ｘに関して０からH1-1まで、ｙに関して０からV1-1までの演算を行う。同様に、下記式（３１）、（３２）、（３３）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)を用いて、第２の撮像信号用の参照先座標(tx2,ty2)を演算し、下記式（３４）のように、第２の撮像信号用の参照先座標(tx2,ty2)を用いて撮像信号I0から第２の撮像信号I2(x,y)を演算する。また、下記式（３５）、（３６）、（３７）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)を用いて、第３の撮像信号用の参照先座標(tx3,ty3)を演算し、下記式（３８）のように、第３の撮像信号用の参照先座標(tx3,ty3)を用いて撮像信号I0から第３の撮像信号I3(x,y)を演算する。また、下記式（３９）（４０）（４１）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を用いて、第４の撮像信号用の参照先座標(tx4,ty4)を演算し、下記式（４２）のように、第１の撮像信号用の参照先座標(tx4,ty4)を用いて撮像信号I0から第４の撮像信号I4(x,y)を演算する。下記式において、^2は２乗演算を表し、^4は４乗演算を表す。
tx1 = x01 + xc1 + (x - xc1) * (1 + kd2 * r1^2 + kd4 * r1^4) * rx ・・・(26)
ty1 = y01 + yc1 + (y - yc1] * (1 + kd2 * r1^2 + kd4 * r1^4) * ry ・・・(27)
r1^2 = (x - xc1)^2 + (y - yc1)^2、r1^4 = (r1^2)^2 ・・・(28)
I1(x,y) = I0(tx1,ty1) ・・・(29)
I1(x,y) = (1 - tx1f) * (1 - ty1f) * I0(tx1i,ty1i)
+ tx1f * (1 - ty1f) * I0(tx1i+1,ty1i)
+ (1 - tx1f) * ty1f * I0(tx1i,ty1i+1)
+ tx1f * ty1f * I0(tx1i+1,ty1i+1) ・・・(30)
tx2 = x02 + xc2 + (x - xc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * rx ・・・(31)
ty2 = y02 + yc2 + (y - yc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * ry ・・・(32)
r2^2 = (x - xc2)^2 + (y - yc2)^2、r2^4 = (r2^2)^2 ・・・(33)
I2(x,y) = I0(tx2,ty2) ・・・(34)
tx3 = x03 + xc3 + (x - xc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * rx ・・・(35)
ty3 = y03 + yc3 + (y - yc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * ry ・・・(36)
r3^2 = (x - xc3)^2 + (y - yc3)^2、r3^4 = (r3^2)^2 ・・・(37)
I3(x,y) = I0(tx3,ty3) ・・・(38)
tx4 = x04 + xc4 + (x - xc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * rx ・・・(39)
ty4 = y04 + yc4 + (y - yc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * ry ・・・(40)
r4^2 = (x - xc4)^2 + (y - yc4)^2、r4^4 = (r4^2)^2 ・・・(41)
I4(x,y) = I0(tx4,ty4) ・・・(42)
【００８０】
なお、上記の変換において、歪みがなく、倍率を補正しないときは、下記式（４３）、（４４）、（４５）、（４６）のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式（４７）、（４８）、（４９）、（５０）のように、平行移動することを意味する。
I1(x, y) = I0(x + x01, y + y01) ・・・(43)
I2(x, y) = I0(x + x02, y + y02) ・・・(44)
I3(x, y) = I0(x + x03, y + y03) ・・・(45)
I4(x, y) = I0(x + x04, y + y04) ・・・(46)
I1(x, y) = I1(x-ddx/2, y-ddy/2) ・・・(47)
I2(x, y) = I2(x+ddx/2, y-ddy/2) ・・・(48)
I3(x, y) = I3(y-ddx/2, x+ddy/2) ・・・(49)
I4(x, y) = I4(x+ddx/2, y+ddy/2) ・・・(50)
【００８１】
次に、ステップＳ１２００において、撮像装置１０１は距離を演算する。具体的には、距離演算部１４４は、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、第４の撮像信号I4、焦点距離ｆ、ｘ方向の光軸間距離Dxを入力され、距離を演算し、距離データDISを出力する。
【００８２】
図１７は、本発明の実施の形態１に係る撮像装置の距離演算部の動作を示すフローチャートである。図１７のフローチャートは、ステップＳ１２００の動作の詳細を示す。ステップＳ１２００の演算では、まず、ステップＳ１２１０を実行する。
【００８３】
ステップＳ１２１０において、距離演算部は演算の動作を開始する。
【００８４】
次に、ステップＳ１２３０において、距離演算部はブロックを分割する。
【００８５】
図１８は、本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図である。図１８において、第１の撮像信号Ｉ１は、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素を有する長方形状のブロックに分割され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。
【００８６】
次に、ステップＳ１２４０において、距離演算部はブロックを選択する。ステップＳ１２１０（図１７）を実行後、初めてこのステップＳ１２４０を実行するときは(0,0)で示されるブロックを選択し、以後、ステップＳ１２４０が実行されるときは、右側（＋ｘ方向）に順にずらしたブロックを選択する。なお、図１８において右端のブロック（(Nh-1,0)、(Nh-1,1)、・・・で示されるブロック）を選択した次は、１つ下の行の左端の（ｙ方向に＋１かつｘ＝０となる）ブロック（(0,1)、(0,2)、・・・で示されるブロック）を選択する。すなわち、ステップＳ１２１０を実行後、初めてこのステップＳ１２４０を実行するときを０番目としたとき、ｉ番目において(i%Nh, int(i/Nh))で示されるブロックを選択する。ここで、i%NhはｉをNhで除算したときの剰余、int(i/Nh)はｉをNhで除算したときの商の整数部である。以後このブロックを選択ブロックB(ih,iv)と呼ぶ。
【００８７】
次に、ステップＳ１２５０において、距離演算部は視差演算する。まず、第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差と視差信頼度とを演算する。最初に、第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差評価値R12(kx)を演算する。ここで、kxは画像をどれだけずらすかを示すずらし量であり、kx=0、1、2、・・・、SBのように変化させる。
【００８８】
図１９は、本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。図１９において、I１で示される領域は、第１のレンズ撮像信号I1の選択ブロックB(ih,iv)で選択された領域を示し、I2で示される領域は、選択ブロックの座標からｘ方向にkxだけずれた領域の第２のレンズ撮像信号I2である。ずらし量kx=0からSBについて、下記式（５１）に示される絶対値差分総和(SAD：Sum of Absolute Differences)を演算し、視差評価値R12(kx)とする。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R12(kx)を演算する。
R12(kx) = ΣΣ|I1(x,y)-I2(x+kx,y)| ・・・ (51)
【００８９】
この視差評価値R12(kx)は、選択ブロックB(ih,iv)の第１のレンズ撮像信号I1と選択ブロックからｘ方向にkxだけずれた領域における第２のレンズ撮像信号I2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。
【００９０】
図２０は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。図２０に示すように、視差評価値R12(kx)はずらし量kxの値によって変化し、ずらし量kx=Δのとき極小値を持つ。そのため、選択ブロックB(ih,iv)の第１のレンズ撮像信号I1と選択ブロックからｘ方向にΔだけずれた領域における第２のレンズ撮像信号I2とが最も相関が高い、すなわち、最も似ていることを示す。従って、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差がΔであることが分かる。そこで、下記式（５２）のように、この視差Δを選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差値Δ12(ih,iv)とし、下記式（５３）のように、視差評価値R12(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差信頼度C12(ih,iv)とする。
Δ12(ih,iv) = Δ ・・・ (52)
C12(ih,iv) = R12(Δ) ・・・ (53)
【００９１】
次に、第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との視差と視差信頼度も同様に求める。ただし、ずらす方向をｙ方向に変更し、ずらし量をkyとする。下記式（５４）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3の視差評価値R13(ky)を求める。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R13(ky)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式（５５）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との視差値Δ13(ih,iv)とし、下記式（５６）のように、視差評価値R13(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との信頼度C13(ih,iv)とする。
R13(ky) = ΣΣ|I1(x,y)-I3(x,y+ky)| ・・・ (54)
Δ13(ih,iv) = Δ ・・・ (55)
C13(ih,iv) = R13(Δ) ・・・ (56)
【００９２】
次に、第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との視差と視差信頼度も同様に求める。ただし、ずらす方向を斜め方向（第１のレンズ部１１３ａの光軸と第４のレンズ部１１３ｄの光軸とを結ぶ方向）に変更し、ずらし量はｘ方向にkx、ｙ方向にkx*Dy/Dxとする。下記式（５７）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4の視差評価値R14(kx)を求める。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R14(kx)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式（５８）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との視差値Δ14(ih,iv)とし、下記式（５９）のように、視差評価値R14(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との信頼度C14(ih,iv)とする。なお、式（５７）において座標(x+kx,y+kx*Dy/Dx)が小数となるとき、レンズ撮像信号I4は周辺画素から線形補間などにより求める。なお、図２のように、Dx、及びDyは、第１のレンズ部１１３ａと第４のレンズ部１１３ｄにおけるｘ方向のレンズ部の間隔、及びｙ方向のレンズ部の間隔である。
R14(ky) = ΣΣ|I1(x,y)-I4(x+kx,y+kx*Dy/Dx)| ・・・ (57)
Δ14(ih,iv) = Δ ・・・ (58)
C14(ih,iv) = R14(Δ) ・・・ (59)
【００９３】
そして、上記３つの視差信頼度を比較し最も信頼できる視差値をこのブロックにおける視差値とする。すなわち、下記式（６０）のように、３つの視差信頼度C12(ih,iv)、C13(ih,iv)、C14(ih,iv)を比較し、C12(ih,iv)が最も小さいときΔ12(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C13(ih,iv)が最も小さいときΔ13(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C14(ih,iv)が最も小さいときΔ14(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とする。なお、信頼度（C12、C13、C14）として絶対値差分総和（式(53)、(56)、(59)）を用いたが正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をｘ方向に統一するため、Δ13(ih,iv)を採用するとき、レンズ部の間隔の比であるDx/Dyを乗ずる。
Δ(ih,iv) = Δ12(ih,iv)   （C12(ih,iv)が最も小さいとき） ・・・ (60)
= Δ13(ih,iv)＊Dx/Dy （C13(ih,iv)が最も小さいとき）
= Δ14(ih,iv)   （C14(ih,iv)が最も小さいとき）
【００９４】
次に、ステップＳ１２６０において、距離演算部は視差から距離を演算する。式（７）を距離Ａについて解くと式（８）のように表されるため、ブロックB(ih,iv)に含まれる領域の距離DIS(x,y)は、下記式（６１）にように示される。ここで、ｆは焦点距離、Dxはｘ方向の光軸間距離、ｐは撮像素子１２３の受光素子の間隔である。視差値Δが画素単位であるため、視差値Δにｐを乗ずることにより、焦点距離ｆなどと同一の単位系に変換する。
DIS(x,y) = [f＊Dx]/[p*Δ(ih,iv)] （(x,y)はB(ih,iv)の範囲） ・・・ (61)
【００９５】
次に、ステップＳ１２７０において、距離演算部は距離演算を終了するかどうかを判断する。距離演算部は、全てのブロックが選択されたとき（選択ブロックがB(Nh-1,Nv-1)のとき）、距離演算を終了すると決定し、次に、ステップＳ１２８０を実行する。一方、全てのブロックが選択されていないとき（選択ブロックがB(Nh-1,Nv-1)でないとき）、距離演算を継続すると決定し、次に、ステップＳ１２４０を実行する。
【００９６】
ステップＳ１２８０において、距離演算部は距離演算を終了し、上位ルーチンへ戻る。このようにして、切出し後の座標(x,y)における距離DIS(x,y)が求められる。
【００９７】
次に、ステップＳ１９１０（図１４）において、撮像装置１０１は、データ出力を行う。具体的には、入出力部１３５は、画像データ、距離データ、及び温度データを撮像装置１０１の外部に出力する。画像データとして、撮像信号I0、あるいは第１の撮像信号I1を出力する。距離データとして、距離DISを出力する。温度データとして、温度センサ信号Tsを出力する。
【００９８】
次に、ステップＳ１９２０において、撮像装置１０１は動作を終了するかどうかを判断する。例えば、システム制御部１３１は、入出力部１３５を介し、上位ＣＰＵ（図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位ＣＰＵが終了を命令すれば動作を終了し、次に、ステップＳ１９３０を実行する。一方、上位ＣＰＵが終了を命令しなければ動作を継続し、次に、ステップＳ１０２０を実行する。すなわち、上位ＣＰＵが終了を命令しない限り、ステップＳ１０２０、ステップＳ１０３０、ステップＳ１１１０、ステップＳ１１２０、ステップＳ１２００、及びステップＳ１９１０のループの実行を継続する。
【００９９】
ステップＳ１９３０において、撮像装置１０１は動作を終了する。
【０１００】
［作用効果］
本実施の形態の撮像装置が以上のように構成されて動作することにより、以下の効果が奏される。
【０１０１】
以上のとおり、実施の形態１の撮像装置は、温度センサ１２６によりレンズアレイ１１３の周囲温度を計測し、温度センサ信号Tsとして入力する。そして、レンズアレイ１１３が略円形であるために等方的に膨張することを利用し、式（１２）及び（１３）によって、レンズアレイ１１３の温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを求め、その間隔の半分だけ光軸が変化するものとして、式（１４）から（２１）によって、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、及び第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を作成し、これらに基づき座標変換する。このことにより、温度が変化しレンズアレイ１１３が変形しても、光軸の位置を正しく補償することができるため、温度の影響を低減した視差を得て、この視差に基づき正しい距離計測ができる。また、温度センサ１２６により検知された温度に基づき複数のレンズ部の間隔の変化量を求め、複数のレンズの光軸原点をその変化量の半分だけ移動させて、光軸原点周りの歪みをなくすように画像を補正することにより、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
【０１０２】
温度によりレンズ部の光軸の位置が変化すると、撮影される画像が移動することになる。例えば、自動車の前方監視に撮像装置を利用する場合、その撮像装置により得られた画像中心を運転者が見た画像の中心に合わせても、温度が変化すると画像中心がずれる。そのため、運転者は違和感を覚える。これに対し、実施の形態１の撮像装置の場合、温度が変化しても、画像中心の変化を抑制することができる。そのため、自動車の前方監視にも適した撮像装置を実現することができる。
【０１０３】
なお、光軸中心から離れるほど歪曲が大きくなり、測距精度が悪くなる。本実施の形態の撮像装置によれば、光軸を上記のように補償することにより、歪曲が大きい領域の利用を避けるという効果を奏する。
【０１０４】
また、本発明の第１の実施の形態の撮像装置は、例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1であれば、温度センサ信号Tsに応じた複数組の補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096）を係数保存部１４１に保存し、温度センサ信号Tsに関して式（１１）のように補間処理を行い、作成する。同様に、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値を保存し、温度センサ信号Tsを用いて補間演算を行い作成する。
【０１０５】
このことより、補正式から補正係数を演算すること（例えば、式（１２）から（２１）のような演算をすること）が不要になるため、その分だけ演算時間や演算回路が不要となり、低コストな撮像装置を実現する。また、温度に応じて複雑な非線形な変化をする補正係数について、光学解析や実験で求めた値を保存し用いることにより、補正式で表現される変化と実際の変化との誤差を防止し、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
【０１０６】
また、本発明の実施の形態１の撮像装置は、予め各温度センサ信号Tsに応じた補正係数を保存するにあたり、全ての温度センサ信号Ts（０から４０９５までのディジタル値を取る）に対応した補正係数を保存せずに２５６おきに間引いた補正係数を保存し、温度に対して補間した補正係数を作成する。例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1ならば、温度センサ信号Tsに対し２５６おきに間引いた補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096）を保存し、温度センサ信号Tsに関して補間して用いる。このことにより、間引いた分だけ記憶領域を省略することができる（使用される記憶領域が１／２５６倍になる）ため、その分だけ回路規模を縮小した低コストな撮像装置を実現することができる。
【０１０７】
また、本発明の第１の実施の形態の撮像装置は、撮像信号補正部１４３において、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry)に基づき、式（２６）、（２７）、（２８）を用いて第１の撮像信号用の参照先座標(tx1,ty1)を求め、式（３１）、（３２）、（３３）を用いて第２の撮像信号用の参照先座標(tx2,ty2)を求め、式（３５）、（３６）、（３７）を用いて第３の撮像信号用の参照先座標(tx3,ty3)を求め、式（３９）、（４０）、（４１）を用いて第４の撮像信号用の参照先座標(tx4,ty4)を求め、参照先座標が示す複数の撮像信号を参照し式（２９）、（３０）、（３４）、（３８）、（４２）のように補間処理を施し補正後撮像信号である第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4を作成する。
【０１０８】
予め参照先座標を演算し保持する場合、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）の全ての画素（全て合わせて画素数が4*H1*V1）に関し参照先座標（第１の撮像信号用の参照先座標(tx1,ty1)、第２の撮像信号用の参照先座標(tx2,ty2)、第３の撮像信号用の参照先座標(tx3,ty3)、及び第４の撮像信号用の参照先座標(tx4,ty4)）が必要となるため、膨大な記憶容量が必要となり、その分だけ高コストとなる。特に、温度により参照先座標を変化させる必要がある場合、温度毎の参照先座標が必要であり、さらに膨大な記憶容量が必要となる。本発明の構成により、逐次、補正係数（第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry)）から参照先座標（第１の撮像信号用の参照先座標(tx1,ty1)、第２の撮像信号用の参照先座標(tx2,ty2)、第３の撮像信号用の参照先座標(tx3,ty3)、及び第４の撮像信号用の参照先座標(tx4,ty4)）を求め、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。このことにより、補正係数のみに記憶領域を割り当てればよく、大きな容量の記憶領域は不要であるため、低コストな撮像装置を実現する。特に、温度により参照先座標を変化させる必要がある場合、その効果は顕著となる。
【０１０９】
また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。温度変化に伴い鏡筒１１１の長さ（レンズアレイ１１３の各レンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）の主点と撮像素子１２３の受光面との距離）が変化し、その分だけ倍率が変化するため、倍率変化を考慮しなければ鏡筒の長さが温度変化する分だけ距離精度が悪化する。本発明の構成により、鏡筒１１１の長さの温度変化に対応した倍率比(rkx,rky)を作成し、この倍率比(rkx,rky)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、鏡筒の長さの温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
【０１１０】
同様に、焦点距離変化に対応した倍率比(rfx,rfy)を作成し、倍率比(rfx,rfy)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、焦点距離の温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
【０１１１】
また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。すなわち、各撮像信号において、温度に対して同一の倍率補正を行う。鏡筒が１つであるため、鏡筒長変化に伴う倍率変化は全ての撮像信号において等しい。また、各撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号）に対応するレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）は１つのレンズアレイ１１３に一体形成されたものであり、全てのレンズ部の屈折率の温度変化、それゆえ全てのレンズ部の焦点距離の温度変化が等しい。このように、１つの鏡筒１１３と複数のレンズ部を含む１つのレンズアレイ１１３を用いて撮像装置が構成されるため、各レンズ部において温度に関して同一の倍率変化とみなすことができる。従って、複数の撮像領域に対して１つの倍率相関補正係数を作成するだけでよく、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
【０１１２】
一組のレンズ部に対応した撮像信号において、それぞれのレンズ部の光軸中心を結ぶ直線に平行な形状をなす撮像対象に対しては、それぞれのレンズ部により得られる撮像信号において同一形状となるため、視差を求めることができない。実施の形態１の撮像装置によれば、３つの撮像信号の組（第１の撮像信号I1及び第２の撮像信号I2、第１の撮像信号I1及び第３の撮像信号I3、並びに第１の撮像信号I1及び第４の撮像信号I4）を選択し、それぞれの組に対しそれぞれの視差Δ12(ibx,iby)、Δ13(ibx,iby)、及びΔ14(ibx,iby)を得る。このことにより、１つの組で正しく視差を求められない撮像対象であっても、他の組で正しく視差を求めることができるため、その視差に基づき距離を計測できる。例えば、水平な線状の撮像対象は、水平方向に並べられた組（第１の撮像信号I1及び第２の撮像信号I2）からは距離を計測することができないが、鉛直方向に並べられた組（第１の撮像信号I1及び第３の撮像信号I3、並びに第２の撮像信号I2及び第４の撮像信号I4）、及び斜めに並べられた組（第１の撮像信号I1及び第４の撮像信号I4）を用いることにより、距離を計測することができる。そのため、多様な形状の撮像対象に対応することができる。
【０１１３】
また、実施の形態１の撮像装置によれば、複数の前記視差の信頼度(C12(ih,iv)、C13(ih,iv)、及びC14(ih,iv))をそれぞれ演算し、ブロックB(ih,iv)毎に、視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))のうち信頼度が最も大きい視差Δ(ih,iv)を特定し、その視差Δ(ih,iv)に基づいて距離を演算する。このように、信頼性が高い視差Δ(ih,iv)に基づき視差演算するため、信頼性が高い距離計測が可能となる。また、全ての組の視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))において距離演算を行わず、信頼性が高い視差(Δ(ih,iv))のみの距離演算を行うため、高速な距離計測が可能となる。
【０１１４】
また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。そのため、温度が変化しても補正後撮像信号上の被写体像の大きさが変化しない。そのため、撮像装置から距離情報のみならず、補正後撮像信号を画像情報として出力し、後段のコントローラで、例えば、顔認識の画像処理を行う場合、温度が変化しても被写体像の大きさが変化しないため、正しい顔の大きさを求めることができる。
【０１１５】
［変形例］
本発明の実施の形態１の撮像装置には種々の変形例が考えられる。以下、これを説明する。
【０１１６】
＜変形例１＞
実施の形態１に係る撮像装置において、レンズアレイ１１３は略円形に成型されているが、これに限定されない。図２１は、実施の形態１の変形例２に係る撮像装置のレンズアレイの構成を示す平面図である。図２１（ａ）に示すレンズアレイ１１３Ａのように、矩形状に成型されてもよい。さらに、図２１（ｂ）に示すレンズアレイ１１３Ｂのように、その端面等に平面方向に伸びる突起等が設けられていてもよい。このようにレンズアレイが略円形でない構成においても、レンズ部はほぼ等方に膨張するため、実施の形態１と同様に動作させることにより、実施の形態１の場合と同様の効果を得ることができる。
【０１１７】
＜変形例２＞
実施の形態１に係る撮像装置において、レンズアレイ１１３は４つのレンズ部を持ったがレンズ部の数はこれに限定されない。図２２は、実施の形態１の変形例３に係る撮像装置のレンズアレイの構成を示す平面図である。図２２（ａ）に示すレンズアレイ１１３Ｃのように、ｘ方向にDxだけ離れた２つのレンズ部（第１のレンズ部１１３Ｃａ、及び第２のレンズ部１１３Ｃｂ）を持つものでもよい。なお、係数保存部１４１にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。具体的には、下記式（６４）、（６５）のように、第１のレンズ部１１３Ｃａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2だけ移動するように作成する。また、下記式（６６）、（６７）のように、第２のレンズ部１１３Ｃｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx/2だけ移動するように作成する。
xc1 = xc10 - ddx/2 ・・・(64)
yc1 = yc10 ・・・(65)
xc2 = xc20 + ddx/2 ・・・(66)
yc2 = yc20 ・・・(67)
【０１１８】
また、図２２（ｂ）に示すレンズアレイ１１３Ｄのように、最外周部のレンズ部同士がｘ方向にDxだけ、ｙ方向にDyだけ離れた９つのレンズ部（第１のレンズ部１１３Ｄａ、第２のレンズ部１１３Ｄｂ、第３のレンズ部１１３Ｄｃ、第４のレンズ部１１３Ｄｄ、第５のレンズ部１１３Ｄｅ、第６のレンズ部１１３Ｄｆ、第７のレンズ部１１３Ｄｇ、第８のレンズ部１１３Ｄｈ、及び第９のレンズ部１１３Ｄｉ。ｘ方向、ｙ方向に関してそれぞれ等間隔に配置されたもの）を持つものでもよい。なお、係数保存部１４１にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。具体的には、下記式（６８）、（６９）のように、第１のレンズ部１１３Ｄａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７０）、（７１）のように、第２のレンズ部１１３Ｄｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７２）、（７３）のように、第３のレンズ部１１３Ｄｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に+ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７４）、（７５）のように、第４のレンズ部１１３Ｄｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に-ddx/2だけ移動するように作成する。また、下記式（７６）、（７７）のように、第５のレンズ部１１３Ｄｅの光軸中心(xc5,yc5)は、基準温度Th0における光軸中心(xc10,yc10)から移動しないように作成する。また、下記式（７８）、（７９）のように、第６のレンズ部１１３Ｄｆの光軸中心(xc6,yc6)は、基準温度Th0における光軸中心(xc60,yc60)からｘ方向に+ddx/2だけ移動するように作成する。また、下記式（８０）、（８１）のように、第７のレンズ部１１３Ｄｇの光軸中心(xc7,yc7)は、基準温度Th0における光軸中心(xc70,yc70)からｘ方向に-ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。また、下記式（８２）、（８３）のように、第８のレンズ部１１３Ｄｈの光軸中心(xc8,yc8)は、基準温度Th0における光軸中心(xc80,yc80)からｙ方向に+ddy/2だけ移動するように作成する。また、下記式（８４）、（８５）のように、第９のレンズ部１１３Ｄｉの光軸中心(xc9,yc9)は、基準温度Th0における光軸中心(xc90,yc90)からｘ方向に+ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。
xc1 = xc10 - ddx/2 ・・・(68)
yc1 = yc10 - ddy/2 ・・・(69)
xc2 = xc20 ・・・(70)
yc2 = yc20 - ddy/2 ・・・(71)
xc3 = xc30 + ddx/2 ・・・(72)
yc3 = yc30 - ddy/2 ・・・(73)
xc4 = xc40 - ddx/2 ・・・(74)
yc4 = yc40 ・・・(75)
xc5 = xc50 ・・・(76)
yc5 = yc50 ・・・(77)
xc6 = xc60 + ddx/2 ・・・(78)
yc6 = yc60 ・・・(79)
xc7 = xc70 - ddx/2 ・・・(80)
yc7 = yc70 + ddy/2 ・・・(81)
xc8 = xc80 ・・・(82)
yc8 = yc80 + ddy/2 ・・・(83)
xc9 = xc90 + ddx/2 ・・・(84)
yc9 = yc90 + ddy/2 ・・・(85)
【０１１９】
これ以外の点は、上述の実施の形態１と同様である。これにより、実施の形態１と同様の効果が得られる。
【０１２０】
＜その他の変形例＞
なお、実施の形態１に係る撮像装置において、温度センサ１２６は、基板１２１上に配設されている。このように、温度センサ１２６を基板１２１上に配設する場合、基板１２１上の配線を用いて温度センサ１２６と温度センサ信号入力部１３４とを接続すればよいため、実装が容易であるという利点がある。しかし、このような構成に限定されるわけではない。温度センサ１２６は、レンズアレイ１１３近傍の基板１２１の温度を検出しているが、その目的は、レンズアレイ１１３の温度を検出することにある。レンズアレイ１１３の温度は直接又は間接的に検出することができる。レンズアレイ１１３の温度を間接的に検出するには、レンズアレイ１１３の温度と相関関係を有する温度あるいは温度以外の物理量を検出すればよい。そして、それらをレンズアレイ１１３の温度に補正し、あるいはレンズアレイ１１３の温度との差異を見込むことによって、それらを、直接検出するレンズアレイ１１３の温度の代わりに用いることができる。本実施の形態では、この観点から、レンズアレイ１１３近傍の基板１２１の温度を検出している。従って、これ以外に、例えば、温度センサ１２６をパッケージ１２２内部の撮像素子１２３に並列して配設するようにしてもよい。この場合、撮像素子１２３の近傍に温度センサ１２６が配置されるため、温度センサ１２６の実装時にゴミ等が撮像素子１２３に付着しないようにする配慮が必要となるものの、レンズアレイ１１３により近くなることにより、温度検出の精度が増す。その結果、光軸の変化をより正しく補正し、歪曲をより正しく補正することができるので、距離測定精度を向上させることができる。
【０１２１】
また、ＳＬＳＩ１２５の一部が温度センサ１２６となるような製造プロセスを用いてＳＬＳＩ１２５を作成してもよい。この場合、温度センサ１２６を実装する必要がないため、その分だけ実装コストを低減できる。
【０１２２】
また、温度センサ１２６が、鏡筒１１１の外壁又は内壁に貼設されていてもよい。この場合、温度センサ１２６の配線に考慮が必要だが、レンズアレイ１１３に近い鏡筒１１１に温度センサ１２６を配置することができるため、温度検出の精度が増す。よって、光軸の変化をより正しく補正し、歪曲をより正しく補正することができ、距離測定精度を向上させることができる。また、鏡筒１１１の内部に埋設されていてもよい。この場合、温度センサ１２６の配線及び鏡筒１１１の製造方法に考慮が必要だが、レンズアレイ１１３に近い鏡筒１１１の内部に温度センサ１２６を配置することができるため、同様にして距離測定精度を向上させることができる。
【０１２３】
また、温度センサ１２６をレンズアレイ１１３の適宜の位置に配設し、適宜配線により接続してもよい。この場合、温度センサ１２６の配線に考慮が必要だが、レンズアレイ１１３に温度センサ１２６を直接配設するため、さらに温度検出の精度が増し、その結果距離測定精度を向上させることができる。また、レンズ部の内部に埋設されていてもよい。この場合、温度センサ１２６の配線及びレンズアレイ１１３の製造方法に考慮が必要だが、レンズアレイ１１３の内部に温度センサ１２６を配置するため、さらに温度検出の精度が増し、距離測定精度を向上させることができる。
【０１２４】
また、実施の形態１の撮像装置は、すべてのレンズ部において、同一の倍率を用いているが、レンズ部毎に倍率が異なっていてもよい。この場合、測定などによりぞれぞれの倍率を求める。
【０１２５】
また、実施の形態１の撮像装置は、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxを温度補償し、撮像信号を補正したが、これに限定されない。例えば、高次歪曲係数や、各レンズ部の倍率や、各レンズ部の回転などを補正してもよい。
（実施の形態２）
本発明の実施の形態１に係る撮像装置は、レンズアレイ１１３が略円形に成型され、各レンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）がレンズアレイ１１３の中心から同一距離に配置されている。そして、温度センサ１２６によって検知された温度に基づきレンズアレイ１１３の各レンズ部の光軸の間隔の変化量を求め、各レンズ部の光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、温度が変化しても正しく歪みの影響を低減できるため、高精度な視差を検知し、それゆえ高精度に距離測定する撮像装置を実現した。また、温度が変化しても、画像中心が変化しない撮像装置を実現した。
【０１２６】
これに対し、本発明の実施の形態２に係る撮像装置は、レンズアレイの中心から同一距離に配置されない各レンズ部を備えている。このように、各レンズ部がレンズアレイの中心から同一距離に配置されない場合においても、温度変化に影響されることなく高精度な視差を検知し、それゆえ高精度に距離測定し、かつ、画像中心の変化を抑制することができる。
【０１２７】
実施の形態２の撮像装置は、実施の形態１のレンズアレイ１１３をレンズアレイ２１３に置換え、さらに、実施の形態１の係数保存部１４１にレンズアレイ２１３に対応する補正係数を保存するよう構成したものである。その他の構成は実施の形態１と同様である。従って、図２３において、図２と同一又は相当する要素には、同一の符号を付与し、その説明を省略する。また、以下では、実施の形態１の図面を用いて説明する場合がある。
【０１２８】
図２３は、本発明の実施の形態２に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ２１３は、略円盤状であり、光学ガラス材や透明樹脂などから形成され、第１のレンズ部２１３ａ、第２のレンズ部２１３ｂ、第３のレンズ部２１３ｃ、及び第４のレンズ部２１３ｄが碁盤目状に配置される。第１〜第４のレンズ部２１３ａ〜２１３ｄの配置方向に沿って、図２３に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部２１３ａ、第２のレンズ部２１３ｂ、第３のレンズ部２１３ｃ、及び第４のレンズ部２１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出し、撮像素子１２３上に４つの像を結像する（図１参照）。なお、図２３に示すように、第１のレンズ部２１３ａの光軸と第２のレンズ部２１３ｂの光軸とは、水平方向（ｘ軸方向）ではＤｘだけ離れ、垂直方向（ｙ軸方向）では一致しており、レンズアレイ２１３の中心２１３ｏを通るｙ軸方向の軸に対して対称な位置に配置される。そして、第１のレンズ部２１３ａの光軸と第２のレンズ部２１３ｂの光軸とは、レンズアレイ２１３の中心２１３ｏからｙ軸方向にＤｙ１だけ離れて配置される。また、第３のレンズ部２１３ｃの光軸と第４のレンズ部２１３ｄの光軸とは、水平方向（ｘ軸方向）ではＤｘだけ離れ、垂直方向（ｙ軸方向）では一致しており、レンズアレイの中心２１３ｏを通るｙ軸方向の軸に対して対称な位置に配置される。そして、第３のレンズ部２１３ｃの光軸と第４のレンズ部２１３ｄの光軸とは、レンズアレイ２１３の中心２１３ｏからｙ軸方向にＤｙ２だけ離れて配置される。
【０１２９】
なお、係数保存部１４１（図１３参照）に保存される各レンズ部の光軸中心を以下のように決定する。レンズアレイ２１３の温度が上昇した場合、各レンズ部２１３ａ〜２１３ｄが膨張する。この場合、レンズアレイ２１３は略円形であるため、図２３において矢印で示すように、各レンズ部２１３ａ〜２１３ｄの光軸中心がレンズアレイ２１３の中心２１３ｏに対して各レンズ部がレンズ外側に移動する。この移動量は、レンズアレイ２１３の中心２１３ｏから各レンズ部２１３ａ〜２１３ｄの光軸までの距離に略比例する。すなわち、温度上昇によるレンズアレイ２１３の膨張に伴う第１のレンズ部２１３ａのｘ軸方向の移動量dbx1及びｙ軸方向の移動量dby1は、撮像素子１２３の画素間隔を単位として、下記式（８６）及び（８７）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ２１３の中心２１３ｏを通るｘ軸方向の軸と第１のレンズ部２１３ａの光軸との距離であり、Dy1は同じくｙ軸方向の軸と第１のレンズ部２１３ａの光軸との距離である。また、aLはレンズアレイ２１３の熱線膨張率であり、aSは撮像素子１２３の熱線膨張率であり、T(Ts)は温度センサ信号がTsのときの温度センサの物理的な温度であり、Th0は基準温度であり、pは撮像素子１２３の画素間隔である。また、温度上昇によるレンズアレイ膨張に伴う第２のレンズ部２１３ｂのｘ軸方向の移動量dbx2及びｙ軸方向の移動量dby2は、撮像素子１２３の画素間隔を単位として、下記式（８８）及び（８９）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ２１３の中心２１３ｏを通るｘ軸方向の軸と第２のレンズ部２１３ｂの光軸との距離であり、Dy1は同じくｙ軸方向の軸と第２のレンズ部２１３ｂの光軸との距離である。また、温度上昇によるレンズアレイ膨張に伴う第３のレンズ部２１３ｃのｘ軸方向の移動量dbx3及びｙ軸方向の移動量dby3は、撮像素子１２３の画素間隔を単位として、下記式（９０）及び（９１）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心２１３ｏを通るｘ軸方向の軸と第３のレンズ部２１３ｃの光軸との距離であり、Dy2は同じくｙ軸方向の軸と第３のレンズ部２１３ｃの光軸との距離である。さらに、温度上昇によるレンズアレイ膨張に伴う第４のレンズ部２１３ｄのｘ軸方向の移動量dbx4及びｙ軸方向の移動量dby4は、撮像素子１２３の画素間隔を単位として、下記式（９２）及び（９３）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心２１３ｏを通る軸と第４のレンズ部２１３ｄの光軸との距離であり、Dy2は同じくｙ軸方向の軸と第４のレンズ部２１３ｄの光軸との距離である。
ddx1 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(86)
ddy1 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(87)
ddx2 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(88)
ddy2 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(89)
ddx3 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(90)
ddy3 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(91)
ddx4 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(92)
ddy4 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(93)
【０１３０】
そして、各レンズ部の光軸中心は、上述の移動量だけ光軸が移動するとして作成する。具体的には、下記式（９４）、（９５）のように、第１のレンズ部２１３ａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx1、ｙ方向に+ddy1だけ移動するように作成する。また、下記式（９６）、（９７）のように、第２のレンズ部２１３ｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx2、ｙ方向に+ddy2だけ移動するように作成する。また、下記式（９８）、（９９）のように、第３のレンズ部２１３ｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に-ddx3、ｙ方向に+ddy3だけ移動するように作成する。また、下記式（１００）、（１０１）のように、第４のレンズ部２１３ｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に+ddx4、ｙ方向に+ddy4だけ移動するように作成する。
xc1 = xc10 - ddx1 ・・・(94) 
yc1 = yc10 + ddy1 ・・・(95)
xc2 = xc20 + ddx2 ・・・(96) 
yc2 = yc20 + ddy2 ・・・(97)
xc3 = xc30 - ddx3 ・・・(98) 
yc3 = yc30 + ddy3 ・・・(99)
xc4 = xc40 + ddx4 ・・・(100)
yc4 = yc40 + ddy4 ・・・(101)
【０１３１】
なお、歪曲係数k2、k4、倍率(rx,ry)、焦点距離ｆ、及びｘ方向の光軸間距離Dxは、実施の形態１の撮像装置と同様の方法で作成し保存すればよい。
【０１３２】
なお、歪みが生じない場合、上記の座標変換テーブルを用いてなされる座標変換は、下記式（１０２）から（１０５）のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式（１０６）から（１０９）のように、平行移動することを意味する。
I1(x, y) = I0(x + x01, y + y01) ・・・(102)
I2(x, y) = I0(x + x02, y + y02) ・・・(103)
I3(x, y) = I0(x + x03, y + y03) ・・・(104)
I4(x, y) = I0(x + x04, y + y04) ・・・(105)
I1(x, y) = I1(x-ddx1, y+ddy1) ・・・(106)
I2(x, y) = I2(x+ddx2, y+ddy2) ・・・(107)
I3(x, y) = I3(y-ddx3, x+ddy3) ・・・(108)
I4(x, y) = I4(x+ddx4, y+ddy4) ・・・(109)
【０１３３】
本実施の形態の撮像装置が以上のように構成されて動作することにより、実施の形態１と同様の効果が奏される。
【０１３４】
なお、実施の形態２を、実施の形態１の変形例と同様に変形することが可能であることは言うまでもない。
【０１３５】
上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。
【産業上の利用可能性】
【０１３６】
本発明の撮像装置は、距離計測可能な小型の撮像装置であるため、カメラ機能を備えた携帯型電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、及び立体画像入力カメラ等に有用である。
【符号の説明】
【０１３７】
１０１  カメラモジュール
１１０  レンズモジュール
１１１  鏡筒
１１２  カバーガラス
１１３、２１３  レンズアレイ
１２０  回路部
１２１  基板
１２２  パッケージ
１２３  撮像素子
１２４  パッケージカバーガラス
１２５  ＳＬＳＩ
１２６  温度センサ
１２７  金線
１３１  システム制御部
１３２  撮像素子駆動部
１３３  撮像信号入力部
１３４  温度センサ信号入力部
１３５  入出力部
１４１  係数保存部
１４２  温度補償演算部
１４３  撮像信号補正部
１４４  距離演算部
【図１】
2010010707.tif 000003
【図２】
2010010707.tif 000004
【図３】
2010010707.tif 000005
【図４】
2010010707.tif 000006
【図５】
2010010707.tif 000007
【図６】
2010010707.tif 000008
【図７】
2010010707.tif 000009
【図８】
2010010707.tif 000010
【図９】
2010010707.tif 000011
【図１０】
2010010707.tif 000012
【図１１】
2010010707.tif 000013
【図１２】
2010010707.tif 000014
【図１３】
2010010707.tif 000015
【図１４】
2010010707.tif 000016
【図１５】
2010010707.tif 000017
【図１６】
2010010707.tif 000018
【図１７】
2010010707.tif 000019
【図１８】
2010010707.tif 000020
【図１９】
2010010707.tif 000021
【図２０】
2010010707.tif 000022
【図２１】
2010010707.tif 000023
【図２２】
2010010707.tif 000024
【図２３】
2010010707.tif 000025
【図２４】
2010010707.tif 000026
【図２５】
2010010707.tif 000027
【手続補正書】
【提出日】平成21年11月30日(2009.11.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離計測可能な撮像装置及びその撮像装置に用いられる半導体回路素子に関する。
【背景技術】
【０００２】
距離計測が可能な従来の撮像装置として、特許文献１の撮像装置がある。図２４は、特許文献１の撮像装置の分解斜視図である。また、図２５は、同じく撮像装置の撮像ブロックを説明するための図である。図２４及び図２５に示すように、複眼撮像系である撮像装置９０１は、絞り部材９０２と、光学レンズアレイ９０３と、遮光ブロック９０４と、光学フィルタ９０６と、撮像ユニット９０７とを備えている。この撮像装置９０１において、４つの開口部９０２−１、９０２−２、９０２−３、９０２−４を持つ絞り部材９０２と、４つの光学ブロック（レンズ）９０３−１、９０３−２、９０３−３、９０３−４を持つ光学レンズアレイ９０３とにより、４つの撮像光学系が構成されており、それぞれを通過した光線がそれぞれ撮像ユニット９０７上の４つの撮像ブロック９０７−１、９０７−２、９０７−３、９０７−４に結像する。ＣＣＤセンサなどで形成された撮像ユニット９０７は、当該撮像ユニット９０７を駆動する駆動回路９０８と、これら複数の撮像ブロック９０７−１〜９０７−４により撮像された画像間の視差情報を算出する視差算出回路９０９と共に、半導体基板９１０上に形成される。
【０００３】
上述したように、絞り部材９０２の開口部９０２−１〜９０２−４を通過した光線は、それぞれレンズ９０３−１〜９０３−４により屈折作用を受けた後、遮光ブロック９０４内及び光学フィルタ９０６を通過し、撮像ブロック９０７−１〜９０７−４に結像する。そして、例えば、撮像ブロック９０７−１により撮像された画像と撮像ブロック９０７−２により撮像された画像との類似度をブロックマッチングを用いて演算し、その類似度に基づき視差ｄを求めた後、下記式（１）のように、視差ｄから距離Ｌを求める。ここで、ｆはレンズ９０３−１及び９０３−２の焦点距離であり、Ｂはレンズ９０３−１及び９０３−２の光軸の間隔であり、ｐはレンズ９０３−１と９０３−２との光軸を結ぶ方向の撮像ユニット９０７の画素間隔である。
L =(f * B)/(p * d) …(1)
【０００４】
しかしながら、レンズアレイ９０３は温度変化により変形し、それに伴いレンズの光軸の間隔Ｂが変化するため、温度が変化すると正しく距離を求められない。
【０００５】
このような温度変化に対応する撮像装置が特許文献２に開示されている。その構造は温度センサを有している点を除いて特許文献１の撮像装置と同様であるため、図２４を参照しながら説明すると、特許文献２の撮像装置は、等間隔に配置されたレンズ９０３−１〜９０３−４と、それらのレンズ９０３−１〜９０３−４近傍の温度Ｔを測定する温度センサとを備え、その温度Ｔを用いて、撮像ブロック９０７−１〜９０７−４により撮像された画像Ｉ１〜Ｉ４を補正する。
【０００６】
より詳細に説明すると、この撮像装置は、下記式（２）のように、基準温度Ｔ０に対する温度変化量（Ｔ−Ｔ０）を演算し、レンズアレイの熱線膨張率ａＬと撮像ユニット９０７の線膨張率ａＳとの差（ａＬ−ａＳ）に基づき、温度変化による各レンズの光軸の間隔Ｂの変化量ｚを求める。そして、下記式（３）のように、撮像ブロック９０７−１により撮像された画像Ｉ１を基準として、下記式（４）、（５）及び（６）のように、撮像ブロック９０７−２、９０７−３、９０７−４により撮像された画像Ｉ２、Ｉ３、Ｉ４を、各レンズの光軸の間隔の変化分だけ補正する。ここで、レンズ９０３−１及び９０３−２、並びにレンズ９０３−３及び９０３−４がそれぞれ互いにｘ軸方向に離れて配置され、レンズ９０３−１及び９０３−３、並びにレンズ９０３−２及び９０３−４がそれぞれ互いにｙ軸方向に離れて配置されている。そして、ｐは撮像ユニット９０７画素間隔であり、ｘ軸方向とｙ軸方向とで同一である。Ｉ１（ｘ，ｙ）、Ｉ２（ｘ，ｙ）、Ｉ３（ｘ，ｙ）、Ｉ４（ｘ，ｙ）は座標（ｘ、ｙ）における各画像の輝度を示す。温度変化により、レンズ９０３−１と比較し、レンズ９０３−２はｘ軸方向にｚ／ｐ画素だけ移動するため、式（４）のように、Ｉ２（ｘ，ｙ）をｘ軸方向にｚ／ｐだけ移動するように補正する。また、温度変化により、レンズ９０３−３は、レンズ９０３−１と比較してｙ軸方向にｚ／ｐ画素だけ移動するため、式（５）のように、Ｉ３（ｘ，ｙ）をｙ軸方向にｚ／ｐだけ移動するように補正する。さらに、温度変化により、レンズ９０３−４は、レンズ９０３−１と比較してｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するため、式（６）のように、Ｉ４（ｘ，ｙ）をｘ軸方向にｚ／ｐ画素、ｙ軸方向にｚ／ｐ画素だけ移動するように補正する。
z = B (aL - aS)(T - T0) …(2)
I1(x, y) = I1(x, y) …(3)
I2(x, y) = I2(x+z/p, y) …(4)
I3(x, y) = I3(y, x+z/p) …(5)
I4(x, y) = I4(x+z/p, y+z/p) …(6)
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００３−１４３４５９号公報
【特許文献２】特開２００２−２０４４６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述のように、特許文献２に記載された従来の撮像装置は、撮像ブロック９０７−１により撮像された画像Ｉ１を基準として、式（４）、（５）及び（６）のように、撮像ブロック９０７−２、９０７−３、９０７−４により撮像された画像Ｉ２、Ｉ３、Ｉ４を、レンズの光軸の間隔の変化分だけ補正する。
【０００９】
しかしながら、特許文献２に記載された従来の撮像装置は、光軸は補正されるが、撮像された画像の倍率の変化は考慮されない。すなわち、レンズアレイの温度変化により、屈折率が変化し、レンズの焦点距離ｆが変化する。また、鏡筒の温度変化により、レンズアレイから撮像領域までの距離が変化する。これらの場合、いずれも、撮像された画像の倍率が変化する。そのため、その倍率の変化分だけ演算される視差及び被写体距離が変化するため、距離演算精度が悪化する。
【００１０】
本発明は、上記問題に鑑みなされたもので、温度が変化し、撮像された画像の倍率が変化しても、高精度な距離計測を可能にする撮像装置及びその撮像装置に用いられる半導体回路素子を提供することを目的とする。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明の撮像装置は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、前記レンズアレイの近傍に配置され温度を検知する温度センサと、前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。ここで、「撮像領域で撮像された画像の倍率に相関する補正係数」とは、撮像領域で撮像された画像の倍率と相関関係を有する物理量を補正する補正係数を意味し、典型的には、撮像領域で撮像された画像の倍率自体、及び複数のレンズの各々の焦点距離が該当する。また、これらと相関関係を有する、レンズアレイを収容する鏡筒の伸び又は縮み、複数のレンズの各々の屈折率等も該当する。
【００１２】
この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び／又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。
【００１３】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。
【００１４】
この構成によれば、温度が変化し、鏡筒が伸びても、その鏡筒の伸び又は縮みによって生じる、撮像領域で撮像される画像の倍率変化を補償することができる。
【００１５】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されていてもよい。
【００１６】
この構成によれば、温度が変化し、レンズアレイの屈折率または焦点距離が変化しても、その変化によって生じる、撮像領域で撮像された画像の倍率変化を補償することができる。
【００１７】
また、前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成してもよい。
【００１８】
１つの鏡筒と複数のレンズを含む１つのレンズアレイとを用いて構成される撮像装置において、複数の撮像領域に対して１つの倍率相関補正係数が作成されるため、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
【００１９】
また、本発明の半導体回路素子は、複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える。
【００２０】
この構成によれば、温度センサにより検知された温度に基づいて作成された、撮像領域で撮像された画像の倍率に相関する補正係数に基づいて、撮像領域において生成された撮像信号を補正し及び／又はその補正後の撮像信号を用いて視差を演算するので、温度が変化し、撮像された画像の倍率が変化しても、その温度変化による倍率の変化を補償することができる。その結果、高精度な距離計測が可能になる。
【００２１】
本発明の上記目的、他の目的、特徴、及び利点は、添付図面参照の下、以下の好適な実施態様の詳細な説明から明らかにされる。
【発明の効果】
【００２２】
本発明によれば、温度変化が変化し、撮像された画像の倍率が変化しても、それを補償するため、高精度な距離計測が可能となる。
【図面の簡単な説明】
【００２３】
【図１】図１は本発明の実施の形態１に係る撮像装置の構成を示す断面図である。
【図２】図２は本発明の実施の形態１に係る撮像装置のレンズアレイの構成を示す平図である。
【図３】図３は本発明の実施の形態１に係る撮像装置の回路部の構成を示す平面図である。
【図４】図４は本発明の実施の形態１に係る撮像装置の撮像素子の構成を示す平面図である。
【図５】図５は本発明の実施の形態１に係る撮像装置の温度センサの回路図である。
【図６】図６は本発明の実施の形態１に係る撮像装置において、無限遠にある物体位置を説明するための図である。
【図７】図７は本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体像の位置を説明するための図である。
【図８】図８は本発明の実施の形態１に係る鏡筒伸びによる倍率変化を説明する図である。
【図９】図９は本発明の実施の形態１に係る鏡筒伸びの温度補正の原理を説明する図である。
【図１０】図１０は本発明の実施の形態１に係る鏡筒伸びの温度補正の効果を説明する図である。
【図１１】図１１は本発明の実施の形態１に係る温度に対する屈折率と焦点距離の変化を説明する図である。
【図１２】図１２は本発明の実施の形態１に係る焦点距離変化による倍率変化を説明する図である。
【図１３】図１３は本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図１４】図１４は本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。
【図１５】図１５は本発明の実施の形態１に係る係数保存部を説明するための図である。
【図１６】図１６は本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図である。
【図１７】図１７は本発明の実施の形態１に係る撮像装置の距離演算部の動作を示すフローチャートである。
【図１８】図１８は本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図である。
【図１９】図１９は本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。
【図２０】図２０は本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。
【図２１】図２１は実施の形態１の変形例２に係る撮像装置のレンズアレイの構成を示す平面図である。
【図２２】図２２は実施の形態１の変形例３に係る撮像装置のレンズアレイの構成を示す平面図である。
【図２３】図２３は本発明の実施の形態２に係る撮像装置のレンズアレイの構成を示す平面図である。
【図２４】図２４は従来の撮像装置の分解斜視図である。
【図２５】図２５は従来の撮像装置の撮像ブロックを説明するための図である。
【発明を実施するための形態】
【００２４】
以下、本発明の好ましい実施の形態を、図面を参照しながら説明する。
【００２５】
（実施の形態１）
本発明の実施の形態１に係る撮像装置は、温度センサにより検知された温度に基づき複数のレンズの光軸の間隔の変化量を求め、複数のレンズの光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、歪みの影響を適切に低減できるため、高精度な視差を検知でき、高精度に距離測定できる。また、温度センサにより検知された温度に基づいて画像の倍率を補正するので、より高精度に距離測定できる。
【００２６】
［構成及び動作］
図１は、本発明の実施の形態１に係る撮像装置の構成を示す断面図である。図１に示すように、撮像装置１０１は、回路部１２０と、その回路部１２０の上方に設けられたレンズモジュール部１１０とを備えている。
【００２７】
レンズモジュール部１１０は、円筒状の鏡筒１１１と、その鏡筒１１１の開口を覆う上部カバーガラス１１２と、その上部カバーガラス１１２の下方であって鏡筒１１１の内部に設けられたレンズアレイ１１３とを有している。また、回路部１２０は、基板１２１と、その基板１２１上に設けられたパッケージ１２２、撮像素子１２３、パッケージカバーガラス１２４、半導体回路素子であるシステムＬＳＩ（以下、ＳＬＳＩと記す）１２５、及びレンズアレイ１１３近傍の温度を検出する温度センサ１２６とを有している。
【００２８】
鏡筒１１１は、上述のとおり円筒状であって、その内壁面は光の乱反射を防止するためにつやが消された黒で着色されており、樹脂を射出成形し形成される。上部カバーガラス１１２は、円盤状であり、光学ガラス材あるいは透明樹脂などから形成され、鏡筒１１１の上部の内壁に接着剤などにより固着され、その表面には摩擦などによる損傷を防止する保護膜と、入射光の反射を防止する反射防止膜とが設けられている。
【００２９】
図２は、本発明の実施の形態１に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ１１３は、略円盤状であり、光学ガラス材又は透明樹脂などから形成され、円形の第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄが２行２列で碁盤目状に配設されている。第１〜第４のレンズ部１１３ａ〜１１３ｄの配置方向に沿って、図２に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出され、撮像素子１２３上に４つの像が結像される。なお、図２に示すように、第１のレンズ部１１３ａの光軸及び第２のレンズ部１１３ｂの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向では一致する。第１のレンズ部１１３ａの光軸及び第３のレンズ部１１３ｃの光軸は、ｘ軸方向では一致しており、ｙ軸方向ではＤｙだけ離れている。第３のレンズ部１１３ｃの光軸及び第４のレンズ部１１３ｄの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向は一致する。第４のレンズ部１１３ｄの光軸及び第１のレンズ部１１３ａの光軸は、ｘ軸方向ではＤｘだけ離れており、ｙ軸方向ではＤｙだけ離れている。
【００３０】
基板１２１は、樹脂基板から構成され、上面に鏡筒１１１がその底面を接して接着剤などにより固着される。このようにして、レンズモジュール部１１０と回路部１２０とが固定され、撮像装置１０１を構成する。
【００３１】
パッケージ１２２は、金属端子を有する樹脂からなり、鏡筒１１１の内側において、基板１２１の上面にその金属端子部が半田づけ等されて固着される。
【００３２】
撮像素子１２３は、ＣＣＤセンサやＣＭＯＳセンサのような固体撮像素子であり、その受光面が第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄの光軸と略垂直になるようにして配置される。撮像素子１２３の各端子は、パッケージ１２２の内側の底部の金属端子にワイヤーボンディングにより金線１２７で接続され、基板１２１を介して、ＳＬＳＩ１２５と電気的に接続される。撮像素子１２３の受光面に、第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄから射出された光がそれぞれ結像し、その光の情報がフォトダイオードにより電気の情報へ変換され、その電気の情報がＳＬＳＩ１２５に転送される。
【００３３】
図３は、本発明の実施の形態１に係る撮像装置の回路部１２０の構成を示す平面図である。パッケージカバーガラス１２４は、平板状であり、透明樹脂により形成され、パッケージ１２２の上面に接着などにより固着される。なお、図３においては、便宜上、パッケージカバーガラス１２４を透して見える撮像素子１２３などは省略する。
【００３４】
ＳＬＳＩ１２５は、後述の方法で、撮像素子１２３を駆動し、撮像素子１２３からの電気情報を入力し、各種演算を行い、上位ＣＰＵと通信を行い、外部に画像情報や距離情報などを出力する。なお、ＳＬＳＩ１２５は、電源（例えば３．３Ｖ）とグランド（例えば、０Ｖ）に接続される。
【００３５】
図４は、本発明の実施の形態１に係る撮像装置の撮像素子の構成を示す平面図である。図４に示すように、撮像素子１２３は、第１の撮像領域１２３ａ、第２の撮像領域１２３ｂ、第３の撮像領域１２３ｃ、及び第４の撮像領域１２３ｄを含んで構成されている。これらの第１〜第４の撮像領域１２３ａ〜１２３ｄは、それぞれの受光面が、第１〜第４のレンズ部１１３ａ〜１１３ｄの光軸と略垂直になるようにして２行２列で配置される。これらの各撮像領域１２３ａ〜１２３ｄにて撮像信号が生成される。
【００３６】
図５は、本発明の実施の形態１に係る撮像装置の温度センサの回路図である。図５に示すように、温度センサ１２６は、第１の固定抵抗１２６ａとサーミスタ１２６ｂと第２の固定抵抗１２６ｃとが直列に接続されて構成されている。ここで、第１の固定抵抗１２６ａの他端（サーミスタ１２６ｂに接続されない端）は電源１２６ｄ（例えば３．３Ｖ）に接続され、第２の固定抵抗１２６ｃの他端（サーミスタ１２６ｂに接続されない端）はグランド１２６ｅ（例えば、０Ｖ。ＳＬＳＩ１２５のグランドと同一電位）に接続される。また、第１の固定抵抗１２６ａとサーミスタ１２６ｂとの接続点１２６ｆがＳＬＳＩ１２５に接続されている。
【００３７】
次に、被写体距離と視差との関係を説明する。本発明の実施の形態１に係る撮像装置は、４つのレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）を有するため、４つのレンズ部がそれぞれ形成する４つの物体像の相対的位置が、被写体距離に応じて変化する。
【００３８】
図６は、本発明の実施の形態１に係る撮像装置において、無限遠にある物体像の位置を説明するための図である。図６においては、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。無限遠の物体１０からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と、第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行である（ここで、物体１０は２つ描画されているが、単一である。無限遠の物体１０を有限な紙面上に描画できない。そのため、入射光Ｌ１と入射光Ｌ２とが平行であることを明示するために、２つの位置の無限遠の物体１０を描画している）。このため、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸との間の距離と、撮像素子１２３上の物体像１１ａが結像される位置と物体像１１ｂが結像される位置との間の距離は等しい。すなわち、視差はない。
【００３９】
図７は、本発明の実施の形態１に係る撮像装置において、有限距離の位置にある物体の位置を説明するための図である。図７において、簡単のため、レンズアレイ１１３において、第１のレンズ部１１３ａ、及び第２のレンズ部１１３ｂのみを記す。有限距離の物体１２からの光の第１のレンズ部１１３ａへの代表的な入射光Ｌ１と第２のレンズ部１１３ｂへの代表的な入射光Ｌ２とは平行ではない。従って、第１のレンズ部１１３ａの光軸と第２のレンズ部１１３ｂの光軸との間の距離に比べて、撮像素子１２３上の物体像１３ａが結像される位置と物体像１３ｂが結像される位置との間の距離は長い。すなわち、視差がある。
【００４０】
第１のレンズ部１１３ａの主点から物体（被写体）１２までの距離（被写体距離）をＡ、第１のレンズ部１１３ａと第２のレンズ部１１３ｂとの光軸間距離をＤ、レンズ部１１３ａ，１１３ｂの焦点距離をｆとすると、図７の直角を挟む２辺の長さがＡ、Ｄの直角三角形と、直角を挟む２辺の長さがｆ、Δの直角三角形とが相似であることより、視差値Δは、下記式（７）のように表される。
Δ＝ｆ＊Ｄ／Ａ・・・(7)
【００４１】
その他のレンズ部についても同様の関係が成立する。このように、被写体距離に応じて４つのレンズ部１１３ａ，１１３ｂ，１１３ｃ，１１３ｄがそれぞれ形成する４つの物体像の相対的位置が変化する。例えば、被写体距離Ａが小さくなると、視差値Δが大きくなる。そこで、下記式（８）のように、式（７）を被写体距離Ａについて解くことにより、視差値Δから被写体距離Ａを求めることができる。
Ａ＝ｆ＊Ｄ／Δ ・・・(8)
【００４２】
次に、光軸中心の温度補償の原理を説明する。図２の矢印のように、温度上昇に伴いレンズアレイ１１３が膨張し光軸中心がレンズ外側に移動する。レンズアレイが温度上昇に比例し等方的に膨張すると仮定すると、光軸中心の間隔は、下記式（９）、（１０）で表される。ここで、ddxは温度上昇に伴う光軸間の間隔のｘ方向の変化量であり、単位は撮像素子１２３の受光素子の間隔である。また、ddyは温度上昇に伴う光軸間の間隔のｙ方向の変化量であり、単位は撮像素子１２２の受光素子の間隔である。また、Dxは基準温度Th0におけるｘ方向のレンズ間の光軸の間隔であり、Dyは基準温度Th0におけるｙ方向のレンズ間の光軸の間隔であり、aLはレンズアレイ１１３の熱線膨張率であり、aSは撮像素子１２３の熱線膨張率であり、Tは温度であり、Th0は基準温度であり、pは撮像素子１２３の受光素子の間隔である。
ddx = Dx * (aL - aS) * (T - Th0) / p ・・・(9)
ddy = Dy * (aL - aS) * (T - Th0) / p ・・・(10)
【００４３】
そして、温度上昇に伴い各レンズ部の光軸中心は等方的に膨張するため、図２のように、温度上昇に伴うレンズ間の光軸間の間隔の変化の半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ移動する。すなわち、第１のレンズ部１１３ａの光軸中心は、ｘ方向に-p*ddx/2、ｙ方向に-p*ddy/2だけ移動する。また、第２のレンズ部１１３ｂの光軸中心は、ｘ方向に+p*ddx/2、ｙ方向に-p*ddy/2だけ移動する。また、第３のレンズ部１１３ｃの光軸中心は、ｘ方向に-p*ddx/2、ｙ方向に+p*ddy/2だけ移動する。また、第４のレンズ部１１３ｄの光軸中心は、ｘ方向に+p*ddx/2、ｙ方向に+p*ddy/2だけ移動する。
【００４４】
したがって、温度Tを検知し、その温度Tからレンズアレイ１１３の各レンズ間の光軸の間隔の変化ddx,ddyを求め、その変化ddx,ddyの半分だけレンズアレイ１１３の各レンズの光軸が移動すると推定し補償することにより、温度変化に伴うレンズアレイ１１３の膨張の影響を低減し、正確な視差を求めることができ、それゆえ、正確な距離を求めることができる。
【００４５】
次に、温度変化による鏡筒伸びの影響を低減するための温度補正の原理を説明する。図８は、本発明の実施の形態１に係る鏡筒伸びによる倍率変化を説明する図である。図８において、説明を簡単にするため、第１のレンズ部１１３ａに関する部分のみを示す。図８（ａ）は、基準温度Ｔｈ０における倍率の説明を示し、図８（ｂ）は、基準温度よりも高い温度Ｔｈにおける倍率の説明を示す。基準温度Ｔｈ０において、図８（ａ）のように、第１のレンズ部１１３ａの主点Ｈから被写体１４までの距離はＡであり、第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ａまでの距離はＢである。被写体１４の下端からの主光線Ｌ１１は、被写体１４の下端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ａの上端に達する。一方、被写体１４の上端からの主光線は、被写体１４の上端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ａの下端に達する。ここで、被写体１４の下端、上端、主点Ｈを結ぶ三角形と、被写体像１５ａの上端、下端、主点Ｈを結ぶ三角形は相似であるため、下記式（１１０）のように、被写体１４の長さＸに対する被写体像１５ａの長さＹａの比で示される基準温度Ｔｈ０における倍率β（Ｔｈ０）は、被写体１４から主点Ｈまでの距離Ａに対する主点Ｈから被写体像１５ａまでの距離Ｂとの比となる。
β(Th0) = Ya/X = B/A ・・・(110)
【００４６】
一方、温度Ｔｈにおいて、図８（ｂ）のように、第１のレンズ部１１３ａの主点Ｈから被写体１４までの距離はＡであり、第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ｂまでの距離はＢ・（１＋α）である。温度上昇により、鏡筒１１１が伸びるため、基準温度Ｔｈ０に対して、温度Ｔｈではα倍分だけ第１のレンズ部１１３ａの主点Ｈから第１の撮像領域１２３ａ上の被写体像１５ｂまでの距離が増加する。被写体１４の下端からの主光線Ｌ１１は、被写体１４の下端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ｂの上端に達する。一方、被写体１４の上端からの主光線は、被写体１４の上端を発し、第１のレンズ部１１３ａの主点Ｈを通り、被写体像１５ｂの下端に達する。ここで、被写体１４の下端、上端、主点Ｈを結ぶ三角形と、被写体像１５ｂの上端、下端、主点Ｈを結ぶ三角形は相似であるため、下記式（１１１）のように、被写体１４の長さＸに対する被写体像１５ｂの長さＹｂとの比で示される温度Ｔｈにおける倍率β（Ｔｈ）は、被写体１４から主点Ｈまでの距離Ａに対する主点Ｈから被写体像１５ｂまでの距離Ｂ・（１＋α）の比となる。式（１１０）と式（１１１）の比較から明瞭に、温度が基準温度Ｔｈ０から温度Ｔｈに上昇すると、鏡筒が元の長さのα倍分だけ伸び又は縮み、それに伴い主点Ｈと第１の撮像領域１２３ａまでの距離Ｂが鏡筒の膨張によって伸び又は縮んだ分だけ鏡筒長が変化し（すなわち、ＢからＢ・（１＋α）に増加又は減少し）、倍率は１＋α倍に増加又は減少する（すなわち、Ｂ／ＡからＢ・（１＋α）／Ａに増加又は減少する）。以下、本実施の形態においては鏡筒長が伸びた場合（すなわち、α＞０の場合）を例にとって説明する。
β(Th) = Yb/X = B・(1+α)/A ・・・(111)
【００４７】
図９は、本発明の実施の形態１に係る鏡筒伸びの温度補正の原理を説明する図である。図９において、説明を簡単にするため、第１のレンズ部１１３ａ、および第２のレンズ部１１３ｂに対応する第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２のみを示す。また、図９において、適宜、レンズ間の光軸の移動に対する補正がなされているものとする。図９（ａ）は、基準温度Ｔｈ０における画像と視差とを示し、図９（ｂ）は、基準温度よりも高い温度Ｔｈにおける鏡筒伸びの補正前の画像と視差とを示し、図９（ｃ）は、基準温度よりも高い温度Ｔｈにおける鏡筒伸びの補正後の画像と視差とを示す。基準温度Ｔｈ０において、図９（ａ）のように、第１の撮像信号Ｉ１に被写体像１６ａａが撮像され、第２の撮像信号Ｉ２に被写体像１６ｂａが撮像され、それぞれの視差がΔとなるものとする。ここで、温度が基準温度Ｔｈ０から温度Ｔｈまで上昇すると、式（１１１）のように倍率が１＋α倍に増加するため、同一の被写体を撮像したとき、図９（ｂ）のように、第１の撮像信号Ｉ１に撮像される被写体像１６ａｂの大きさ、および第２の撮像信号Ｉ２に撮像される被写体像１６ｂｂの大きさが、それぞれ１＋α倍に増加する。そのため、それぞれの視差が１＋α倍に増加する（すなわち、Δ・（１＋α）となる）。そこで、図９（ｃ）のように、この１＋α倍に大きくなった被写体像１６ａｂ、１６ｂｂが基準温度Ｔｈ０のときの被写体像１６ａａ、１６ｂａと同一の大きさになるように、第１の撮像信号Ｉ１、および第２の撮像信号Ｉ２を補正し（画像の大きさが１／（１＋α）倍になるのように補正し、）被写体像１６ａｃ、１６ｂｃとする。すると、補正された被写体像１６ａｃ、１６ｂｃの大きさは、基準温度Ｔｈ０のときの被写体像１６ａａ、１６ｂａの大きさと同一となり、それゆえ、視差がΔとなり、基準温度Ｔｈ０のときの視差Δに一致する。
【００４８】
図１０は、本発明の実施の形態１に係る鏡筒伸びの温度補正の効果を説明する図である。上述のように、温度Ｔｈが変化すると膨張による鏡筒の伸び又は縮みに伴って各撮像領域に撮像される画像の倍率が変化する。図１０（ａ）は、基準温度Ｔｈ０（図１０において、基準温度Ｔｈ０を２０℃とする）のときの倍率β（Ｔｈ０）に対する温度Ｔｈのときの倍率β（Ｔｈ）の比（１＋α）を示したものであり、基準温度Ｔｈ０のとき１（α＝０）であったものが、基準温度Ｔｈ０以上のときは１以上（αが０以上）となり、基準温度Ｔｈ０以下のときは１以下（αが０以下）となる。そして、温度Ｔｈが基準温度Ｔｈ０から離れるほど、基準温度Ｔｈ０のときの倍率β（Ｔｈ０）に対するＴｈ０のときの倍率β（Ｔｈ）の比（１＋α）は１から離れる。そして、上述のように視差Δも、同様に変化する。ここで、被写体距離Ａは、式（８）において視差Δに反比例し、視差Δに基づき式（８）に従って演算される。そのため、鏡筒伸びに伴う撮像画像の倍率変化に関する補正なしに測距演算を行うと、図１０（ｂ）のように、温度Ｔｈが基準温度Ｔｈ０以外のとき測距誤差が発生する。そこで、上述のように、鏡筒伸びに伴う撮像画像の倍率変化に関する補正を行い、基準温度Ｔｈ０のときと同一の倍率とし、同一の視差とすることにより、図１０（ｃ）のように、温度変化に対する測距誤差をなくすことができる。
【００４９】
このように、基準温度から温度が変化すると、鏡筒伸びにより画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
【００５０】
なお、測距誤差αは、鏡筒に用いられる材料の線熱膨張係数と許容温度変化幅とを掛け合わせることにより求められる。従って、図１０における測距誤差αは、例えば、樹脂製の鏡筒に用いられる一般的な樹脂の線熱膨張係数の値として、０．００００７[／℃]を用い、車載用途などに用いた場合の許容温度変化幅を１００℃とする(−２０℃から８０℃まで変化すると仮定する)と、α＝０．００００７×１００＝０．００７、すなわち、０．７％（中心値に対して±０．３５％）程度となることがわかる。ここで、測距装置の必要精度としては、±１％以下が求められることがある。従って、鏡筒の長さ変化による測距誤差が上述のように中心値に対して±０．３５％とすると、鏡筒の長さ変化による測距誤差が必要精度の１／３を占めることになる。測距誤差は、鏡筒の長さ変化以外の様々な要因によっても発生するため、必要精度の１／３を占める鏡筒の長さ変化よる誤差の影響を除去することは、測距精度±１％以下の実現のために重要である。
【００５１】
そこで、本実施の形態のように、温度変化による鏡筒の長さ変化を補正することにより、この測距誤差を大きく低減することが可能となる。これにより、成形により安価に量産が可能な樹脂を用いて鏡筒を形成しても、高精度な測距装置を実現することができる。
【００５２】
次に、焦点距離の温度補正の原理を説明する。図１１は、本発明の実施の形態１に係る温度に対する屈折率と焦点距離の変化を説明する図である。図４（ａ）のように、温度が上昇すると、レンズアレイ１１３の屈折率が減少する。すると、第１のレンズアレイ１１３ａの焦点距離ｆが変化する。図４（ｂ）は、基準温度Ｔｈ０（図１１において、基準温度Ｔｈ０を２０℃とする）における焦点距離ｆに対する温度Ｔｈにおける焦点距離ｆの比を示し、基準温度Ｔｈ０のとき１であったものが、基準温度Ｔｈ０以上のときは１以上となり、基準温度Ｔｈ０以下のときは１以下となり、基準温度Ｔｈ０から離れるほど１から離れる。
【００５３】
図１２は、本発明の実施の形態１に係る焦点距離変化による倍率変化を説明する図である。図１２において、説明を簡単にするため、第１のレンズ部１１３ａに関する部分のみを示す。図１２において、被写体距離がＡ、第１のレンズ部１１３ａの焦点距離がｆａのとき、第１の撮像領域１２３ａに合焦するように各部品が配置されているものとする。そのため、理想的には、被写体１７の１点から発せられたあらゆる光は、第１のレンズ部１１３ａを通過した後、撮像領域１２３ａ上の１点に集光する。すなわち、被写体１７の上端からの主光線Ｌ２０は、被写体１７の上端から発し、第１のレンズ部１１３ａの主点Ｈを通過し、屈折せずに第１の撮像領域１２３ａ上の被写体像１８ａの下端（第１のレンズ部１１３ａの光軸１９からＹだけ離れた位置）に達する。また、被写体１７の上端から光軸１９に平行な光線Ｌ２１ａは、点Ｐで屈折され、後側焦点Ｎａを通過し、被写体像１８ａの下端（光軸１９からＹだけ離れた位置）に達する。また、被写体１７の上端から前側焦点Ｍａを通過する光線Ｌ２２ａは、点Ｑａで屈折され、光軸１９と平行になり、被写体像１８ａの下端（光軸１９からＹだけ離れた位置）に達する。
【００５４】
次に、温度が上昇し、焦点距離がｆａからｆｂ（＞ｆａ）に変化したときを考える。このとき、前側焦点がＭａからＭｂにレンズから遠ざかる向きに変化し、後側焦点がＮａからＮｂにレンズから遠ざかる向きに変化する。被写体１７の上端からの主光線Ｌ２０は、被写体１７の上端から発し、第１のレンズ部１１３ａの主点Ｈを通過し、屈折せずに第１の撮像領域１２３ａ上の被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端（第１のレンズ部１１３ａの光軸１９からＹだけ離れた位置）に達する。一方、被写体１７の上端から光軸１９に平行な光線Ｌ２１ｂは、点Ｐで屈折され、後側焦点Ｎｂを通過し、被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端よりも光軸１９に近い側（光軸１９からＹｕだけ離れた位置）に達する。また、被写体１７の上端から前側焦点Ｍｂを通過する光線Ｌ２２ｂは、点Ｑｂで屈折され、光軸１９と平行になり、被写体像１８ａ（焦点距離がｆａのときの被写体像）の下端よりも光軸１９から遠い側（光軸１９からＹｄだけ離れた位置）に達する。すなわち、被写体１７の１点から発せられたあらゆる光は、第１のレンズ部１１３ａを通過した後、撮像領域１２３ａ上の１点に集光せずにぼける。また、Ｙに対するＹｕのずれの大きさとＹに対するＹｄのずれの大きさとが異なるため、倍率が変化する。
【００５５】
このように、温度が変化すると、焦点距離が変化し、倍率が変化する。そして、図９および図１０を用いて説明したとおり、倍率変化により測距誤差が発生する。そこで、光学解析などにより焦点距離変化による倍率変化、すなわち、基準温度Ｔｈ０における倍率に対する温度Ｔｈにおける倍率変化を求め、基準温度Ｔｈ０のときの倍率になるように倍率を補正する。
【００５６】
このように、基準温度から温度が変化すると、焦点距離変化により画像の倍率が変化するため、画像の倍率の変化分を打ち消すように画像の大きさを補正する倍率補正を行うことにより、温度が変化しても常に正しい視差を求めることができ、それゆえ、温度が変化しても常に正しい距離測定ができる。
【００５７】
次に、本発明の実施の形態１に係る撮像装置の動作を説明する。
【００５８】
図１３は、本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。ＳＬＳＩ１２５は、システム制御部１３１、撮像素子駆動部１３２、撮像信号入力部１３３、温度センサ信号入力部１３４、入出力部１３５、係数保存部１４１、温度補償演算部（補正係数作成部）１４２、撮像信号補正部１４３、及び距離演算部１４４を有する。そして、撮像信号補正部１４３及び距離演算部１４４が補正演算部を構成する。
【００５９】
システム制御部１３１は、ＣＰＵ（中央演算処理装置：Central Processing Unit）、ロジック回路などから構成され、ＳＬＳＩ１２５の全体を制御する。なお、図１３においては、図を見やすくするため、システム制御部１３１と各ブロックとの間で授受される信号の図示を省略している。
【００６０】
図１４は、本発明の実施の形態１に係る撮像装置の動作を示すフローチャートである。ＳＬＳＩ１２５のシステム制御部１３１により、撮像装置１０１は、このフローチャートのとおりに動作される。
【００６１】
ステップＳ１０１０において、撮像装置１０１は動作を開始する。例えば、上位ＣＰＵ（図示せず）が、入出力部１３５を介し、撮像装置１０１（正確にはシステム制御部１３１）に動作の開始を命令することにより、撮像装置１０１は、動作を開始する。
【００６２】
次に、ステップＳ１０２０において、撮像装置１０１は撮像信号を入力する。具体的には、撮像素子駆動部１３２は、ロジック回路などから構成され、システム制御部１３１の命令により電子シャッターや転送を行うための信号撮像素子１２３を駆動する信号を発生し、この信号に応じた電圧を撮像素子１２２に印加する。撮像信号入力部１３３は、ＣＤＳ回路（相関二重サンプリング回路：Correlated Double Sampling Circuit）、ＡＧＣ（自動利得制御器：Automatic Gain Controller）、ＡＤＣ（アナログ／ディジタル変換器：Analog Digital Converter）が直列に接続されて構成され、撮像素子１２３からの電気信号が入力される。撮像信号入力部１３３は、入力される電気信号を、ＣＤＳ回路により固定ノイズを除去し、ＡＧＣによりゲインを調整し、ＡＤＣによりアナログ信号からディジタル値に変換しするようにして、撮像信号I0を出力する。ここで、撮像信号入力部１３３は、撮像信号I0(x,y)を、ｘ方向にH0画素、ｙ方向にV0画素だけ、I0(0,0)（(x,y)=(0,0)）、I0(1,0)、I0(2,0)、・・・、I0(H0-1,V0-1)の順に出力する。
【００６３】
次に、ステップＳ１０３０において、撮像装置１０１は温度センサ信号を入力する。具体的には、温度センサ信号入力部１３４は、ＡＤＣ（Analog Digital Converter：アナログ・デジタル変換器）などから構成され、温度センサ１２６からアナログ電圧信号である温度センサ信号を入力される。そして、この温度センサ信号を、アナログ信号からディジタル値に変換し、温度センサ信号Tsとして出力する。例えば12bitのADCを用いると、温度センサ信号Tsは、0〜4095までの値を取る。以下、温度センサ信号Tsは、12bitのADCを用いて作成されたものとして説明する。
【００６４】
次に、ステップＳ１１１０において、撮像装置１０１は各種の係数を温度補償する。具体的には、温度補償演算部１４２は、温度センサ信号Tsを入力され、この温度センサ信号Tsと係数保存部１４１に保存されたデータとを用いて、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxを出力する。
【００６５】
図１５は、本発明の実施の形態１に係る係数保存部を説明するための図である。図１５において、簡単のため、第１のレンズ部１１３ａの光軸中心ｘ座標xc1のみが記述されている。図１５に示すように、温度センサ信号Tsの値が０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの光軸中心ｘ座標xc1の値がそれぞれxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096として、温度センサ信号Tsの当該各値に対応させて係数保存部１４１に保存されている。そして、温度補償演算部１４２は、温度センサ信号Tsの値に対応する光軸中心ｘ座標xc1を補間演算し作成する。例えば、温度センサ信号Tsの値が512以上768未満のときには、温度センサ信号Ts=512、768のときの光軸中心ｘ座標xc1_512、xc1_768を用いて、下記式（１１）のように補間演算を行い、xc1を作成する。他の係数も同様に作成する。すなわち、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値が保存され、温度センサ信号Tsに関して補間演算を行い作成される。
xc1 = xc1_512 + (Ts-512)/(768-512)*(xc_768-xc1_512) ・・・(11)
【００６６】
なお、係数保存部１４１に保存される係数は以下のように作成され保存される。各レンズ部の光軸中心は、式（９）、（１０）に基づき、下記式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。ここで、T(Ts)はADCによりディジタル値に変換された温度センサ信号Tsの値によって表される物理的な温度を示す。具体的には、下記式（１４）、（１５）のように、第１のレンズ部１１３ａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（１６）（１７）のように、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（１８）（１９）のように、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に-ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。また、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に+ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。
ddx = Dx * (aL - aS) * (T(Ts) - Th0) / p ・・・(12)
ddy = Dy * (aL - aS) * (T(Ts) - Th0) / p ・・・(13)
xc1 = xc10 - ddx/2 ・・・(14)
yc1 = yc10 - ddy/2 ・・・(15)
xc2 = xc20 + ddx/2 ・・・(16)
yc2 = yc20 - ddy/2 ・・・(17)
xc3 = xc30 - ddx/2 ・・・(18)
yc3 = yc30 + ddy/2 ・・・(19)
xc4 = xc40 + ddx/2 ・・・(20)
yc4 = yc40 + ddy/2 ・・・(21)
【００６７】
歪曲係数k2,k4は、光学解析や実験などで各温度における値を求めることにより、作成される。
【００６８】
鏡筒の長さlkは下記式（２２）のように推定される。ここで、Th0は基準温度であり、lk0は基準温度Th0における鏡筒の長さであり、kkは鏡筒の熱線膨張率、T(Ts)は温度センサ信号Tsが示す温度センサの物理的な温度である。ここで、レンズ主点と撮像領域の撮像面の距離は、鏡筒の長さに比例する。そして、前述の式（１１１）のように、倍率はレンズ主点と撮像領域の撮像面の距離に比例する。したがって、倍率は、鏡筒の長さの変化に比例する。そこで、鏡筒の長さの変化の前後における比率を倍率比とする。具体的には、下記式（２３）、（２４）のように、鏡筒長変化によるｘ方向の倍率比rkx、鏡筒長変化によるｙ方向の倍率比rkyとして作成する。
lk = lk0*{1+kk*(T(Ts)-Th0)} ・・・(22)
rkx = {1+kk*(T(Ts)-Th0)} ・・・(23)
rky = {1+kk*(T(Ts)-Th0)} ・・・(24)
【００６９】
焦点距離変化による倍率変化を光学解析などで各温度における値を求め、下記式（１１２）、（１１３）のように、温度センサの値Tsに応じ、焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyを作成する。なお、焦点距離は主に屈折率変化によって変化するため、光学解析によって焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyを求めるにあたり、焦点距離の代わりに、屈折率を変化させてもよい。
rfx = rfx(Ts) ・・・(112)
rfy = rfy(Ts) ・・・(113)
【００７０】
そして、下記式（１１４）、（１１５）のように、両者の乗算結果を、ｘ方向の倍率rx、ｙ方向の倍率ryとし、倍率補正に利用する。
rx = rkx * rfx ・・・(114)
ry = rky * rfy ・・・(115)
【００７１】
なお、温度による焦点距離変化に伴う倍率変化と比較し、温度による鏡筒長変化に伴う倍率変化が大きいとき、焦点距離変化によるｘ方向の倍率比rfx、焦点距離変化によるｙ方向の倍率比rfyをそれぞれ１として、温度による鏡筒長変化に伴う倍率変化の補正のみを行ってもよい。
【００７２】
一方、温度による鏡筒長変化に伴う倍率変化と比較し、温度による焦点距離変化に伴う倍率変化が大きいとき、鏡筒長変化によるｘ方向の倍率比rkx、鏡筒長変化によるｙ方向の倍率比rkyをそれぞれ１として、温度による焦点距離変化に伴う倍率変化の補正のみを行ってもよい。
【００７３】
また、光学解析において、温度に応じ焦点距離（あるいは屈折率）と鏡筒伸びとを同時に変化させ、各温度における倍率を求め、基準温度に対する比をｘ方向の倍率rx、ｙ方向の倍率ryとしてもよい。
【００７４】
なお、鏡筒長変化に伴う倍率変化を補正する場合及び焦点距離変化に伴う倍率変化を補正する場合のいずれにおいても、焦点距離ｆは、基準温度における焦点距離を用いる。
【００７５】
ｘ方向の光軸間距離Dxは、ｘ方向の光軸間距離の変化量が式（１２）のddxで示されることより、このddxを用いて下記式（２５）のように作成する。
Dx = Dx0 + ddx * p ・・・(25)
【００７６】
なお、各温度において各種方法により測定された係数を保存してもよい。
【００７７】
次に、ステップＳ１１２０において、撮像装置１０１は画像を補正し切り出す。具体的には、撮像信号補正部１４３は、撮像信号I0、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、及び第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を入力され、撮像信号I0から各レンズ部により結像された被写体像を撮像した画像を切り出し、この切り出した画像に歪曲補正などの補正処理を行い、これらを、それぞれ、第１のレンズ部１１３ａに対応する第１の撮像信号I1(x,y)、第２のレンズ部１１３ｂに対応する第２の撮像信号I2(x,y)、第３のレンズ部１１３ｃに対応する第３の撮像信号I3(x,y)、及び第４のレンズ部１１３ｄに対応する第４の撮像信号I4(x,y)として出力する。
【００７８】
図１６は、本発明の実施の形態１に係る撮像装置の撮像信号の切り出し位置を説明するための図である。歪みがなく、温度によるレンズの膨張がない場合、図１６に示すように、第１の撮像信号I1(x,y)は、撮像信号I0を、原点(x01,y01)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第２の撮像信号I2(x,y)は、撮像信号I0を、原点(x02,y02)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第３の撮像信号I3(x,y)は、撮像信号I0を、原点(x03,y03)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像であり、第４の撮像信号I4(x,y)は、撮像信号I0を、原点(x04,y04)から、ｘ方向にH1画素、ｙ方向にV1画素だけ切り出した領域の画像である。実施の形態１の撮像装置は、熱膨張による光軸中心の移動、歪み補正、倍率補正を加味し、以下のような処理を行う。
【００７９】
下記式（２６）、（２７）、（２８）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)を用いて、第１の撮像信号用の参照先座標(tx1,ty1)を演算し、下記式（２９）のように、第１の撮像信号用の参照先座標(tx1,ty1)を用いて撮像信号I0から第１の撮像信号I1(x,y)を演算する。なお、第１の撮像信号用の参照先座標(tx1, ty1)は、小数点を持ってもよい。その場合、第１の撮像信号用の参照先座標(tx1,ty1)の整数部分を(tx1i,ty1i)とし、小数部分を(tx1f,ty1f)とし、下記式（３０）のように４画素を利用し演算する。ここで、式（２６）、(２７）、（２８）、（２９）、（３０）において、ｘに関して０からH1-1まで、ｙに関して０からV1-1までの演算を行う。同様に、下記式（３１）、（３２）、（３３）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)を用いて、第２の撮像信号用の参照先座標(tx2,ty2)を演算し、下記式（３４）のように、第２の撮像信号用の参照先座標(tx2,ty2)を用いて撮像信号I0から第２の撮像信号I2(x,y)を演算する。また、下記式（３５）、（３６）、（３７）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)を用いて、第３の撮像信号用の参照先座標(tx3,ty3)を演算し、下記式（３８）のように、第３の撮像信号用の参照先座標(tx3,ty3)を用いて撮像信号I0から第３の撮像信号I3(x,y)を演算する。また、下記式（３９）（４０）（４１）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を用いて、第４の撮像信号用の参照先座標(tx4,ty4)を演算し、下記式（４２）のように、第１の撮像信号用の参照先座標(tx4,ty4)を用いて撮像信号I0から第４の撮像信号I4(x,y)を演算する。下記式において、^2は２乗演算を表し、^4は４乗演算を表す。
tx1 = x01 + xc1 + (x - xc1) * (1 + kd2 * r1^2 + kd4 * r1^4) * rx ・・・(26)
ty1 = y01 + yc1 + (y - yc1] * (1 + kd2 * r1^2 + kd4 * r1^4) * ry ・・・(27)
r1^2 = (x - xc1)^2 + (y - yc1)^2、r1^4 = (r1^2)^2 ・・・(28)
I1(x,y) = I0(tx1,ty1) ・・・(29)
I1(x,y) = (1 - tx1f) * (1 - ty1f) * I0(tx1i,ty1i)
+ tx1f * (1 - ty1f) * I0(tx1i+1,ty1i)
+ (1 - tx1f) * ty1f * I0(tx1i,ty1i+1)
+ tx1f * ty1f * I0(tx1i+1,ty1i+1) ・・・(30)
tx2 = x02 + xc2 + (x - xc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * rx ・・・(31)
ty2 = y02 + yc2 + (y - yc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * ry ・・・(32)
r2^2 = (x - xc2)^2 + (y - yc2)^2、r2^4 = (r2^2)^2 ・・・(33)
I2(x,y) = I0(tx2,ty2) ・・・(34)
tx3 = x03 + xc3 + (x - xc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * rx ・・・(35)
ty3 = y03 + yc3 + (y - yc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * ry ・・・(36)
r3^2 = (x - xc3)^2 + (y - yc3)^2、r3^4 = (r3^2)^2 ・・・(37)
I3(x,y) = I0(tx3,ty3) ・・・(38)
tx4 = x04 + xc4 + (x - xc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * rx ・・・(39)
ty4 = y04 + yc4 + (y - yc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * ry ・・・(40)
r4^2 = (x - xc4)^2 + (y - yc4)^2、r4^4 = (r4^2)^2 ・・・(41)
I4(x,y) = I0(tx4,ty4) ・・・(42)
【００８０】
なお、上記の変換において、歪みがなく、倍率を補正しないときは、下記式（４３）、（４４）、（４５）、（４６）のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式（４７）、（４８）、（４９）、（５０）のように、平行移動することを意味する。
I1(x, y) = I0(x + x01, y + y01) ・・・(43)
I2(x, y) = I0(x + x02, y + y02) ・・・(44)
I3(x, y) = I0(x + x03, y + y03) ・・・(45)
I4(x, y) = I0(x + x04, y + y04) ・・・(46)
I1(x, y) = I1(x-ddx/2, y-ddy/2) ・・・(47)
I2(x, y) = I2(x+ddx/2, y-ddy/2) ・・・(48)
I3(x, y) = I3(y-ddx/2, x+ddy/2) ・・・(49)
I4(x, y) = I4(x+ddx/2, y+ddy/2) ・・・(50)
【００８１】
次に、ステップＳ１２００において、撮像装置１０１は距離を演算する。具体的には、距離演算部１４４は、第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、第４の撮像信号I4、焦点距離ｆ、ｘ方向の光軸間距離Dxを入力され、距離を演算し、距離データDISを出力する。
【００８２】
図１７は、本発明の実施の形態１に係る撮像装置の距離演算部の動作を示すフローチャートである。図１７のフローチャートは、ステップＳ１２００の動作の詳細を示す。ステップＳ１２００の演算では、まず、ステップＳ１２１０を実行する。
【００８３】
ステップＳ１２１０において、距離演算部は演算の動作を開始する。
【００８４】
次に、ステップＳ１２３０において、距離演算部はブロックを分割する。
【００８５】
図１８は、本発明の実施の形態１に係る撮像装置において、ブロック分割を説明する図である。図１８において、第１の撮像信号Ｉ１は、ｘ方向にＨＢ画素、ｙ方向にＶＢ画素を有する長方形状のブロックに分割され、ｘ方向にＮｈ個、ｙ方向にＮｖ個のブロックを持つ。
【００８６】
次に、ステップＳ１２４０において、距離演算部はブロックを選択する。ステップＳ１２１０（図１７）を実行後、初めてこのステップＳ１２４０を実行するときは(0,0)で示されるブロックを選択し、以後、ステップＳ１２４０が実行されるときは、右側（＋ｘ方向）に順にずらしたブロックを選択する。なお、図１８において右端のブロック（(Nh-1,0)、(Nh-1,1)、・・・で示されるブロック）を選択した次は、１つ下の行の左端の（ｙ方向に＋１かつｘ＝０となる）ブロック（(0,1)、(0,2)、・・・で示されるブロック）を選択する。すなわち、ステップＳ１２１０を実行後、初めてこのステップＳ１２４０を実行するときを０番目としたとき、ｉ番目において(i%Nh, int(i/Nh))で示されるブロックを選択する。ここで、i%NhはｉをNhで除算したときの剰余、int(i/Nh)はｉをNhで除算したときの商の整数部である。以後このブロックを選択ブロックB(ih,iv)と呼ぶ。
【００８７】
次に、ステップＳ１２５０において、距離演算部は視差演算する。まず、第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差と視差信頼度とを演算する。最初に、第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差評価値R12(kx)を演算する。ここで、kxは画像をどれだけずらすかを示すずらし量であり、kx=0、1、2、・・・、SBのように変化させる。
【００８８】
図１９は、本発明の実施の形態１に係る撮像装置において、第１の撮像信号と第２の撮像信号を利用したときの視差演算における視差評価値の演算領域を説明する図である。図１９において、I１で示される領域は、第１のレンズ撮像信号I1の選択ブロックB(ih,iv)で選択された領域を示し、I2で示される領域は、選択ブロックの座標からｘ方向にkxだけずれた領域の第２のレンズ撮像信号I2である。ずらし量kx=0からSBについて、下記式（５１）に示される絶対値差分総和(SAD：Sum of Absolute Differences)を演算し、視差評価値R12(kx)とする。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R12(kx)を演算する。
R12(kx) = ΣΣ|I1(x,y)-I2(x+kx,y)| ・・・ (51)
【００８９】
この視差評価値R12(kx)は、選択ブロックB(ih,iv)の第１のレンズ撮像信号I1と選択ブロックからｘ方向にkxだけずれた領域における第２のレンズ撮像信号I2とがどれだけ相関があるかを示し、値が小さいほど相関が大きい（よく似ている）ことを示す。
【００９０】
図２０は、本発明の実施の形態１に係る撮像装置の第１の撮像信号と第２の撮像信号を利用したときの視差演算におけるずらし量と視差評価値との関係を説明する図である。図２０に示すように、視差評価値R12(kx)はずらし量kxの値によって変化し、ずらし量kx=Δのとき極小値を持つ。そのため、選択ブロックB(ih,iv)の第１のレンズ撮像信号I1と選択ブロックからｘ方向にΔだけずれた領域における第２のレンズ撮像信号I2とが最も相関が高い、すなわち、最も似ていることを示す。従って、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差がΔであることが分かる。そこで、下記式（５２）のように、この視差Δを選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差値Δ12(ih,iv)とし、下記式（５３）のように、視差評価値R12(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第２のレンズ撮像信号I2との視差信頼度C12(ih,iv)とする。
Δ12(ih,iv) = Δ ・・・ (52)
C12(ih,iv) = R12(Δ) ・・・ (53)
【００９１】
次に、第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との視差と視差信頼度も同様に求める。ただし、ずらす方向をｙ方向に変更し、ずらし量をkyとする。下記式（５４）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3の視差評価値R13(ky)を求める。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R13(ky)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式（５５）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との視差値Δ13(ih,iv)とし、下記式（５６）のように、視差評価値R13(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第３のレンズ撮像信号I3との信頼度C13(ih,iv)とする。
R13(ky) = ΣΣ|I1(x,y)-I3(x,y+ky)| ・・・ (54)
Δ13(ih,iv) = Δ ・・・ (55)
C13(ih,iv) = R13(Δ) ・・・ (56)
【００９２】
次に、第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との視差と視差信頼度も同様に求める。ただし、ずらす方向を斜め方向（第１のレンズ部１１３ａの光軸と第４のレンズ部１１３ｄの光軸とを結ぶ方向）に変更し、ずらし量はｘ方向にkx、ｙ方向にkx*Dy/Dxとする。下記式（５７）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4の視差評価値R14(kx)を求める。すなわち、第１のレンズ撮像信号I1を基準として、視差評価値R14(kx)を演算する。そして、最小値を与えるずらし量、すなわち視差Δを、下記式（５８）のように、選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との視差値Δ14(ih,iv)とし、下記式（５９）のように、視差評価値R14(Δ)を選択ブロックB(ih,iv)における第１のレンズ撮像信号I1と第４のレンズ撮像信号I4との信頼度C14(ih,iv)とする。なお、式（５７）において座標(x+kx,y+kx*Dy/Dx)が小数となるとき、レンズ撮像信号I4は周辺画素から線形補間などにより求める。なお、図２のように、Dx、及びDyは、第１のレンズ部１１３ａと第４のレンズ部１１３ｄにおけるｘ方向のレンズ部の間隔、及びｙ方向のレンズ部の間隔である。
R14(ky) = ΣΣ|I1(x,y)-I4(x+kx,y+kx*Dy/Dx)| ・・・ (57)
Δ14(ih,iv) = Δ ・・・ (58)
C14(ih,iv) = R14(Δ) ・・・ (59)
【００９３】
そして、上記３つの視差信頼度を比較し最も信頼できる視差値をこのブロックにおける視差値とする。すなわち、下記式（６０）のように、３つの視差信頼度C12(ih,iv)、C13(ih,iv)、C14(ih,iv)を比較し、C12(ih,iv)が最も小さいときΔ12(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C13(ih,iv)が最も小さいときΔ13(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とし、C14(ih,iv)が最も小さいときΔ14(ih,iv)をブロックB(ih,iv)における視差値Δ(ih,iv)とする。なお、信頼度（C12、C13、C14）として絶対値差分総和（式(53)、(56)、(59)）を用いたが正規化相関係数を用いてもよい。この場合、最も大きい信頼度を与える視差値を選択する。ここで、視差値をｘ方向に統一するため、Δ13(ih,iv)を採用するとき、レンズ部の間隔の比であるDx/Dyを乗ずる。
Δ(ih,iv) = Δ12(ih,iv)   （C12(ih,iv)が最も小さいとき） ・・・ (60)
= Δ13(ih,iv)＊Dx/Dy （C13(ih,iv)が最も小さいとき）
= Δ14(ih,iv)   （C14(ih,iv)が最も小さいとき）
【００９４】
次に、ステップＳ１２６０において、距離演算部は視差から距離を演算する。式（７）を距離Ａについて解くと式（８）のように表されるため、ブロックB(ih,iv)に含まれる領域の距離DIS(x,y)は、下記式（６１）にように示される。ここで、ｆは焦点距離、Dxはｘ方向の光軸間距離、ｐは撮像素子１２３の受光素子の間隔である。視差値Δが画素単位であるため、視差値Δにｐを乗ずることにより、焦点距離ｆなどと同一の単位系に変換する。
DIS(x,y) = [f＊Dx]/[p*Δ(ih,iv)] （(x,y)はB(ih,iv)の範囲） ・・・ (61)
【００９５】
次に、ステップＳ１２７０において、距離演算部は距離演算を終了するかどうかを判断する。距離演算部は、全てのブロックが選択されたとき（選択ブロックがB(Nh-1,Nv-1)のとき）、距離演算を終了すると決定し、次に、ステップＳ１２８０を実行する。一方、全てのブロックが選択されていないとき（選択ブロックがB(Nh-1,Nv-1)でないとき）、距離演算を継続すると決定し、次に、ステップＳ１２４０を実行する。
【００９６】
ステップＳ１２８０において、距離演算部は距離演算を終了し、上位ルーチンへ戻る。このようにして、切出し後の座標(x,y)における距離DIS(x,y)が求められる。
【００９７】
次に、ステップＳ１９１０（図１４）において、撮像装置１０１は、データ出力を行う。具体的には、入出力部１３５は、画像データ、距離データ、及び温度データを撮像装置１０１の外部に出力する。画像データとして、撮像信号I0、あるいは第１の撮像信号I1を出力する。距離データとして、距離DISを出力する。温度データとして、温度センサ信号Tsを出力する。
【００９８】
次に、ステップＳ１９２０において、撮像装置１０１は動作を終了するかどうかを判断する。例えば、システム制御部１３１は、入出力部１３５を介し、上位ＣＰＵ（図示せず）と通信し、動作を終了するかどうかの命令を要求する。そして、上位ＣＰＵが終了を命令すれば動作を終了し、次に、ステップＳ１９３０を実行する。一方、上位ＣＰＵが終了を命令しなければ動作を継続し、次に、ステップＳ１０２０を実行する。すなわち、上位ＣＰＵが終了を命令しない限り、ステップＳ１０２０、ステップＳ１０３０、ステップＳ１１１０、ステップＳ１１２０、ステップＳ１２００、及びステップＳ１９１０のループの実行を継続する。
【００９９】
ステップＳ１９３０において、撮像装置１０１は動作を終了する。
【０１００】
［作用効果］
本実施の形態の撮像装置が以上のように構成されて動作することにより、以下の効果が奏される。
【０１０１】
以上のとおり、実施の形態１の撮像装置は、温度センサ１２６によりレンズアレイ１１３の周囲温度を計測し、温度センサ信号Tsとして入力する。そして、レンズアレイ１１３が略円形であるために等方的に膨張することを利用し、式（１２）及び（１３）によって、レンズアレイ１１３の温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを求め、その間隔の半分だけ光軸が変化するものとして、式（１４）から（２１）によって、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、及び第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を作成し、これらに基づき座標変換する。このことにより、温度が変化しレンズアレイ１１３が変形しても、光軸の位置を正しく補償することができるため、温度の影響を低減した視差を得て、この視差に基づき正しい距離計測ができる。また、温度センサ１２６により検知された温度に基づき複数のレンズ部の間隔の変化量を求め、複数のレンズの光軸原点をその変化量の半分だけ移動させて、光軸原点周りの歪みをなくすように画像を補正することにより、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
【０１０２】
温度によりレンズ部の光軸の位置が変化すると、撮影される画像が移動することになる。例えば、自動車の前方監視に撮像装置を利用する場合、その撮像装置により得られた画像中心を運転者が見た画像の中心に合わせても、温度が変化すると画像中心がずれる。そのため、運転者は違和感を覚える。これに対し、実施の形態１の撮像装置の場合、温度が変化しても、画像中心の変化を抑制することができる。そのため、自動車の前方監視にも適した撮像装置を実現することができる。
【０１０３】
なお、光軸中心から離れるほど歪曲が大きくなり、測距精度が悪くなる。本実施の形態の撮像装置によれば、光軸を上記のように補償することにより、歪曲が大きい領域の利用を避けるという効果を奏する。
【０１０４】
また、本発明の第１の実施の形態の撮像装置は、例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1であれば、温度センサ信号Tsに応じた複数組の補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096）を係数保存部１４１に保存し、温度センサ信号Tsに関して式（１１）のように補間処理を行い、作成する。同様に、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値を保存し、温度センサ信号Tsを用いて補間演算を行い作成する。
【０１０５】
このことより、補正式から補正係数を演算すること（例えば、式（１２）から（２１）のような演算をすること）が不要になるため、その分だけ演算時間や演算回路が不要となり、低コストな撮像装置を実現する。また、温度に応じて複雑な非線形な変化をする補正係数について、光学解析や実験で求めた値を保存し用いることにより、補正式で表現される変化と実際の変化との誤差を防止し、正しく歪みの影響を低減できるため、視差の検知及び距離測定を高精度に行うことができる。
【０１０６】
また、本発明の実施の形態１の撮像装置は、予め各温度センサ信号Tsに応じた補正係数を保存するにあたり、全ての温度センサ信号Ts（０から４０９５までのディジタル値を取る）に対応した補正係数を保存せずに２５６おきに間引いた補正係数を保存し、温度に対して補間した補正係数を作成する。例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1ならば、温度センサ信号Tsに対し２５６おきに間引いた補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3040、xc1_4096）を保存し、温度センサ信号Tsに関して補間して用いる。このことにより、間引いた分だけ記憶領域を省略することができる（使用される記憶領域が１／２５６倍になる）ため、その分だけ回路規模を縮小した低コストな撮像装置を実現することができる。
【０１０７】
また、本発明の第１の実施の形態の撮像装置は、撮像信号補正部１４３において、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry)に基づき、式（２６）、（２７）、（２８）を用いて第１の撮像信号用の参照先座標(tx1,ty1)を求め、式（３１）、（３２）、（３３）を用いて第２の撮像信号用の参照先座標(tx2,ty2)を求め、式（３５）、（３６）、（３７）を用いて第３の撮像信号用の参照先座標(tx3,ty3)を求め、式（３９）、（４０）、（４１）を用いて第４の撮像信号用の参照先座標(tx4,ty4)を求め、参照先座標が示す複数の撮像信号を参照し式（２９）、（３０）、（３４）、（３８）、（４２）のように補間処理を施し補正後撮像信号である第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4を作成する。
【０１０８】
予め参照先座標を演算し保持する場合、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）の全ての画素（全て合わせて画素数が4*H1*V1）に関し参照先座標（第１の撮像信号用の参照先座標(tx1,ty1)、第２の撮像信号用の参照先座標(tx2,ty2)、第３の撮像信号用の参照先座標(tx3,ty3)、及び第４の撮像信号用の参照先座標(tx4,ty4)）が必要となるため、膨大な記憶容量が必要となり、その分だけ高コストとなる。特に、温度により参照先座標を変化させる必要がある場合、温度毎の参照先座標が必要であり、さらに膨大な記憶容量が必要となる。本発明の構成により、逐次、補正係数（第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、及び倍率(rx,ry)）から参照先座標（第１の撮像信号用の参照先座標(tx1,ty1)、第２の撮像信号用の参照先座標(tx2,ty2)、第３の撮像信号用の参照先座標(tx3,ty3)、及び第４の撮像信号用の参照先座標(tx4,ty4)）を求め、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。このことにより、補正係数のみに記憶領域を割り当てればよく、大きな容量の記憶領域は不要であるため、低コストな撮像装置を実現する。特に、温度により参照先座標を変化させる必要がある場合、その効果は顕著となる。
【０１０９】
また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。温度変化に伴い鏡筒１１１の長さ（レンズアレイ１１３の各レンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）の主点と撮像素子１２３の受光面との距離）が変化し、その分だけ倍率が変化するため、倍率変化を考慮しなければ鏡筒の長さが温度変化する分だけ距離精度が悪化する。本発明の構成により、鏡筒１１１の長さの温度変化に対応した倍率比(rkx,rky)を作成し、この倍率比(rkx,rky)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、鏡筒の長さの温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
【０１１０】
同様に、焦点距離変化に対応した倍率比(rfx,rfy)を作成し、倍率比(rfx,rfy)に基づき倍率(rx,ry)を作成し、倍率(rx,ry)だけ撮像信号を補正することにより、焦点距離の温度変化の影響を低減することができるため、高精度な視差演算を実現し、それゆえ高精度な距離演算を実現することができる。
【０１１１】
また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。すなわち、各撮像信号において、温度に対して同一の倍率補正を行う。鏡筒が１つであるため、鏡筒長変化に伴う倍率変化は全ての撮像信号において等しい。また、各撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号）に対応するレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）は１つのレンズアレイ１１３に一体形成されたものであり、全てのレンズ部の屈折率の温度変化、それゆえ全てのレンズ部の焦点距離の温度変化が等しい。このように、１つの鏡筒１１３と複数のレンズ部を含む１つのレンズアレイ１１３を用いて撮像装置が構成されるため、各レンズ部において温度に関して同一の倍率変化とみなすことができる。従って、複数の撮像領域に対して１つの倍率相関補正係数を作成するだけでよく、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
【０１１２】
一組のレンズ部に対応した撮像信号において、それぞれのレンズ部の光軸中心を結ぶ直線に平行な形状をなす撮像対象に対しては、それぞれのレンズ部により得られる撮像信号において同一形状となるため、視差を求めることができない。実施の形態１の撮像装置によれば、３つの撮像信号の組（第１の撮像信号I1及び第２の撮像信号I2、第１の撮像信号I1及び第３の撮像信号I3、並びに第１の撮像信号I1及び第４の撮像信号I4）を選択し、それぞれの組に対しそれぞれの視差Δ12(ibx,iby)、Δ13(ibx,iby)、及びΔ14(ibx,iby)を得る。このことにより、１つの組で正しく視差を求められない撮像対象であっても、他の組で正しく視差を求めることができるため、その視差に基づき距離を計測できる。例えば、水平な線状の撮像対象は、水平方向に並べられた組（第１の撮像信号I1及び第２の撮像信号I2）からは距離を計測することができないが、鉛直方向に並べられた組（第１の撮像信号I1及び第３の撮像信号I3、並びに第２の撮像信号I2及び第４の撮像信号I4）、及び斜めに並べられた組（第１の撮像信号I1及び第４の撮像信号I4）を用いることにより、距離を計測することができる。そのため、多様な形状の撮像対象に対応することができる。
【０１１３】
また、実施の形態１の撮像装置によれば、複数の前記視差の信頼度(C12(ih,iv)、C13(ih,iv)、及びC14(ih,iv))をそれぞれ演算し、ブロックB(ih,iv)毎に、視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))のうち信頼度が最も大きい視差Δ(ih,iv)を特定し、その視差Δ(ih,iv)に基づいて距離を演算する。このように、信頼性が高い視差Δ(ih,iv)に基づき視差演算するため、信頼性が高い距離計測が可能となる。また、全ての組の視差(Δ12(ih,iv)、Δ13(ih,iv)、及びΔ14(ih,iv))において距離演算を行わず、信頼性が高い視差(Δ(ih,iv))のみの距離演算を行うため、高速な距離計測が可能となる。
【０１１４】
また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。そのため、温度が変化しても補正後撮像信号上の被写体像の大きさが変化しない。そのため、撮像装置から距離情報のみならず、補正後撮像信号を画像情報として出力し、後段のコントローラで、例えば、顔認識の画像処理を行う場合、温度が変化しても被写体像の大きさが変化しないため、正しい顔の大きさを求めることができる。
【０１１５】
［変形例］
本発明の実施の形態１の撮像装置には種々の変形例が考えられる。以下、これを説明する。
【０１１６】
＜変形例１＞
実施の形態１に係る撮像装置において、レンズアレイ１１３は略円形に成型されているが、これに限定されない。図２１は、実施の形態１の変形例２に係る撮像装置のレンズアレイの構成を示す平面図である。図２１（ａ）に示すレンズアレイ１１３Ａのように、矩形状に成型されてもよい。さらに、図２１（ｂ）に示すレンズアレイ１１３Ｂのように、その端面等に平面方向に伸びる突起等が設けられていてもよい。このようにレンズアレイが略円形でない構成においても、レンズ部はほぼ等方に膨張するため、実施の形態１と同様に動作させることにより、実施の形態１の場合と同様の効果を得ることができる。
【０１１７】
＜変形例２＞
実施の形態１に係る撮像装置において、レンズアレイ１１３は４つのレンズ部を持ったがレンズ部の数はこれに限定されない。図２２は、実施の形態１の変形例３に係る撮像装置のレンズアレイの構成を示す平面図である。図２２（ａ）に示すレンズアレイ１１３Ｃのように、ｘ方向にDxだけ離れた２つのレンズ部（第１のレンズ部１１３Ｃａ、及び第２のレンズ部１１３Ｃｂ）を持つものでもよい。なお、係数保存部１４１にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。具体的には、下記式（６４）、（６５）のように、第１のレンズ部１１３Ｃａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2だけ移動するように作成する。また、下記式（６６）、（６７）のように、第２のレンズ部１１３Ｃｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx/2だけ移動するように作成する。
xc1 = xc10 - ddx/2 ・・・(64)
yc1 = yc10 ・・・(65)
xc2 = xc20 + ddx/2 ・・・(66)
yc2 = yc20 ・・・(67)
【０１１８】
また、図２２（ｂ）に示すレンズアレイ１１３Ｄのように、最外周部のレンズ部同士がｘ方向にDxだけ、ｙ方向にDyだけ離れた９つのレンズ部（第１のレンズ部１１３Ｄａ、第２のレンズ部１１３Ｄｂ、第３のレンズ部１１３Ｄｃ、第４のレンズ部１１３Ｄｄ、第５のレンズ部１１３Ｄｅ、第６のレンズ部１１３Ｄｆ、第７のレンズ部１１３Ｄｇ、第８のレンズ部１１３Ｄｈ、及び第９のレンズ部１１３Ｄｉ。ｘ方向、ｙ方向に関してそれぞれ等間隔に配置されたもの）を持つものでもよい。なお、係数保存部１４１にぞれぞれのレンズ部の光軸中心を以下のように決定し保存する。式（１２）、（１３）のように、温度上昇に伴う光軸間の間隔のｘ方向の変化量ddx、ｙ方向の変化量ddyを演算し、その半分（ｘ方向にp*ddx/2、ｙ方向にp*ddy/2）だけ光軸中心が移動するとして作成する。具体的には、下記式（６８）、（６９）のように、第１のレンズ部１１３Ｄａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７０）、（７１）のように、第２のレンズ部１１３Ｄｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７２）、（７３）のように、第３のレンズ部１１３Ｄｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に+ddx/2、ｙ方向に-ddy/2だけ移動するように作成する。また、下記式（７４）、（７５）のように、第４のレンズ部１１３Ｄｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に-ddx/2だけ移動するように作成する。また、下記式（７６）、（７７）のように、第５のレンズ部１１３Ｄｅの光軸中心(xc5,yc5)は、基準温度Th0における光軸中心(xc10,yc10)から移動しないように作成する。また、下記式（７８）、（７９）のように、第６のレンズ部１１３Ｄｆの光軸中心(xc6,yc6)は、基準温度Th0における光軸中心(xc60,yc60)からｘ方向に+ddx/2だけ移動するように作成する。また、下記式（８０）、（８１）のように、第７のレンズ部１１３Ｄｇの光軸中心(xc7,yc7)は、基準温度Th0における光軸中心(xc70,yc70)からｘ方向に-ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。また、下記式（８２）、（８３）のように、第８のレンズ部１１３Ｄｈの光軸中心(xc8,yc8)は、基準温度Th0における光軸中心(xc80,yc80)からｙ方向に+ddy/2だけ移動するように作成する。また、下記式（８４）、（８５）のように、第９のレンズ部１１３Ｄｉの光軸中心(xc9,yc9)は、基準温度Th0における光軸中心(xc90,yc90)からｘ方向に+ddx/2、ｙ方向に+ddy/2だけ移動するように作成する。
xc1 = xc10 - ddx/2 ・・・(68)
yc1 = yc10 - ddy/2 ・・・(69)
xc2 = xc20 ・・・(70)
yc2 = yc20 - ddy/2 ・・・(71)
xc3 = xc30 + ddx/2 ・・・(72)
yc3 = yc30 - ddy/2 ・・・(73)
xc4 = xc40 - ddx/2 ・・・(74)
yc4 = yc40 ・・・(75)
xc5 = xc50 ・・・(76)
yc5 = yc50 ・・・(77)
xc6 = xc60 + ddx/2 ・・・(78)
yc6 = yc60 ・・・(79)
xc7 = xc70 - ddx/2 ・・・(80)
yc7 = yc70 + ddy/2 ・・・(81)
xc8 = xc80 ・・・(82)
yc8 = yc80 + ddy/2 ・・・(83)
xc9 = xc90 + ddx/2 ・・・(84)
yc9 = yc90 + ddy/2 ・・・(85)
【０１１９】
これ以外の点は、上述の実施の形態１と同様である。これにより、実施の形態１と同様の効果が得られる。
【０１２０】
＜その他の変形例＞
なお、実施の形態１に係る撮像装置において、温度センサ１２６は、基板１２１上に配設されている。このように、温度センサ１２６を基板１２１上に配設する場合、基板１２１上の配線を用いて温度センサ１２６と温度センサ信号入力部１３４とを接続すればよいため、実装が容易であるという利点がある。しかし、このような構成に限定されるわけではない。温度センサ１２６は、レンズアレイ１１３近傍の基板１２１の温度を検出しているが、その目的は、レンズアレイ１１３の温度を検出することにある。レンズアレイ１１３の温度は直接又は間接的に検出することができる。レンズアレイ１１３の温度を間接的に検出するには、レンズアレイ１１３の温度と相関関係を有する温度あるいは温度以外の物理量を検出すればよい。そして、それらをレンズアレイ１１３の温度に補正し、あるいはレンズアレイ１１３の温度との差異を見込むことによって、それらを、直接検出するレンズアレイ１１３の温度の代わりに用いることができる。本実施の形態では、この観点から、レンズアレイ１１３近傍の基板１２１の温度を検出している。従って、これ以外に、例えば、温度センサ１２６をパッケージ１２２内部の撮像素子１２３に並列して配設するようにしてもよい。この場合、撮像素子１２３の近傍に温度センサ１２６が配置されるため、温度センサ１２６の実装時にゴミ等が撮像素子１２３に付着しないようにする配慮が必要となるものの、レンズアレイ１１３により近くなることにより、温度検出の精度が増す。その結果、光軸の変化をより正しく補正し、歪曲をより正しく補正することができるので、距離測定精度を向上させることができる。
【０１２１】
また、ＳＬＳＩ１２５の一部が温度センサ１２６となるような製造プロセスを用いてＳＬＳＩ１２５を作成してもよい。この場合、温度センサ１２６を実装する必要がないため、その分だけ実装コストを低減できる。
【０１２２】
また、温度センサ１２６が、鏡筒１１１の外壁又は内壁に貼設されていてもよい。この場合、温度センサ１２６の配線に考慮が必要だが、レンズアレイ１１３に近い鏡筒１１１に温度センサ１２６を配置することができるため、温度検出の精度が増す。よって、光軸の変化をより正しく補正し、歪曲をより正しく補正することができ、距離測定精度を向上させることができる。また、鏡筒１１１の内部に埋設されていてもよい。この場合、温度センサ１２６の配線及び鏡筒１１１の製造方法に考慮が必要だが、レンズアレイ１１３に近い鏡筒１１１の内部に温度センサ１２６を配置することができるため、同様にして距離測定精度を向上させることができる。
【０１２３】
また、温度センサ１２６をレンズアレイ１１３の適宜の位置に配設し、適宜配線により接続してもよい。この場合、温度センサ１２６の配線に考慮が必要だが、レンズアレイ１１３に温度センサ１２６を直接配設するため、さらに温度検出の精度が増し、その結果距離測定精度を向上させることができる。また、レンズ部の内部に埋設されていてもよい。この場合、温度センサ１２６の配線及びレンズアレイ１１３の製造方法に考慮が必要だが、レンズアレイ１１３の内部に温度センサ１２６を配置するため、さらに温度検出の精度が増し、距離測定精度を向上させることができる。
【０１２４】
また、実施の形態１の撮像装置は、すべてのレンズ部において、同一の倍率を用いているが、レンズ部毎に倍率が異なっていてもよい。この場合、測定などによりぞれぞれの倍率を求める。
【０１２５】
また、実施の形態１の撮像装置は、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxを温度補償し、撮像信号を補正したが、これに限定されない。例えば、高次歪曲係数や、各レンズ部の倍率や、各レンズ部の回転などを補正してもよい。
（実施の形態２）
本発明の実施の形態１に係る撮像装置は、レンズアレイ１１３が略円形に成型され、各レンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）がレンズアレイ１１３の中心から同一距離に配置されている。そして、温度センサ１２６によって検知された温度に基づきレンズアレイ１１３の各レンズ部の光軸の間隔の変化量を求め、各レンズ部の光軸原点を変化量の半分だけ移動し、光軸原点周りの歪みをなくすように画像を補正する。これにより、温度が変化しても正しく歪みの影響を低減できるため、高精度な視差を検知し、それゆえ高精度に距離測定する撮像装置を実現した。また、温度が変化しても、画像中心が変化しない撮像装置を実現した。
【０１２６】
これに対し、本発明の実施の形態２に係る撮像装置は、レンズアレイの中心から同一距離に配置されない各レンズ部を備えている。このように、各レンズ部がレンズアレイの中心から同一距離に配置されない場合においても、温度変化に影響されることなく高精度な視差を検知し、それゆえ高精度に距離測定し、かつ、画像中心の変化を抑制することができる。
【０１２７】
実施の形態２の撮像装置は、実施の形態１のレンズアレイ１１３をレンズアレイ２１３に置換え、さらに、実施の形態１の係数保存部１４１にレンズアレイ２１３に対応する補正係数を保存するよう構成したものである。その他の構成は実施の形態１と同様である。従って、図２３において、図２と同一又は相当する要素には、同一の符号を付与し、その説明を省略する。また、以下では、実施の形態１の図面を用いて説明する場合がある。
【０１２８】
図２３は、本発明の実施の形態２に係る撮像装置のレンズアレイの構成を示す平面図である。レンズアレイ２１３は、略円盤状であり、光学ガラス材や透明樹脂などから形成され、第１のレンズ部２１３ａ、第２のレンズ部２１３ｂ、第３のレンズ部２１３ｃ、及び第４のレンズ部２１３ｄが碁盤目状に配置される。第１〜第４のレンズ部２１３ａ〜２１３ｄの配置方向に沿って、図２３に示すようにｘ軸及びｙ軸を設定する。第１のレンズ部２１３ａ、第２のレンズ部２１３ｂ、第３のレンズ部２１３ｃ、及び第４のレンズ部２１３ｄにおいて、被写体側から入射した光は、撮像素子１２３側へ射出し、撮像素子１２３上に４つの像を結像する（図１参照）。なお、図２３に示すように、第１のレンズ部２１３ａの光軸と第２のレンズ部２１３ｂの光軸とは、水平方向（ｘ軸方向）ではＤｘだけ離れ、垂直方向（ｙ軸方向）では一致しており、レンズアレイ２１３の中心２１３ｏを通るｙ軸方向の軸に対して対称な位置に配置される。そして、第１のレンズ部２１３ａの光軸と第２のレンズ部２１３ｂの光軸とは、レンズアレイ２１３の中心２１３ｏからｙ軸方向にＤｙ１だけ離れて配置される。また、第３のレンズ部２１３ｃの光軸と第４のレンズ部２１３ｄの光軸とは、水平方向（ｘ軸方向）ではＤｘだけ離れ、垂直方向（ｙ軸方向）では一致しており、レンズアレイの中心２１３ｏを通るｙ軸方向の軸に対して対称な位置に配置される。そして、第３のレンズ部２１３ｃの光軸と第４のレンズ部２１３ｄの光軸とは、レンズアレイ２１３の中心２１３ｏからｙ軸方向にＤｙ２だけ離れて配置される。
【０１２９】
なお、係数保存部１４１（図１３参照）に保存される各レンズ部の光軸中心を以下のように決定する。レンズアレイ２１３の温度が上昇した場合、各レンズ部２１３ａ〜２１３ｄが膨張する。この場合、レンズアレイ２１３は略円形であるため、図２３において矢印で示すように、各レンズ部２１３ａ〜２１３ｄの光軸中心がレンズアレイ２１３の中心２１３ｏに対して各レンズ部がレンズ外側に移動する。この移動量は、レンズアレイ２１３の中心２１３ｏから各レンズ部２１３ａ〜２１３ｄの光軸までの距離に略比例する。すなわち、温度上昇によるレンズアレイ２１３の膨張に伴う第１のレンズ部２１３ａのｘ軸方向の移動量dbx1及びｙ軸方向の移動量dby1は、撮像素子１２３の画素間隔を単位として、下記式（８６）及び（８７）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ２１３の中心２１３ｏを通るｘ軸方向の軸と第１のレンズ部２１３ａの光軸との距離であり、Dy1は同じくｙ軸方向の軸と第１のレンズ部２１３ａの光軸との距離である。また、aLはレンズアレイ２１３の熱線膨張率であり、aSは撮像素子１２３の熱線膨張率であり、T(Ts)は温度センサ信号がTsのときの温度センサの物理的な温度であり、Th0は基準温度であり、pは撮像素子１２３の画素間隔である。また、温度上昇によるレンズアレイ膨張に伴う第２のレンズ部２１３ｂのｘ軸方向の移動量dbx2及びｙ軸方向の移動量dby2は、撮像素子１２３の画素間隔を単位として、下記式（８８）及び（８９）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイ２１３の中心２１３ｏを通るｘ軸方向の軸と第２のレンズ部２１３ｂの光軸との距離であり、Dy1は同じくｙ軸方向の軸と第２のレンズ部２１３ｂの光軸との距離である。また、温度上昇によるレンズアレイ膨張に伴う第３のレンズ部２１３ｃのｘ軸方向の移動量dbx3及びｙ軸方向の移動量dby3は、撮像素子１２３の画素間隔を単位として、下記式（９０）及び（９１）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心２１３ｏを通るｘ軸方向の軸と第３のレンズ部２１３ｃの光軸との距離であり、Dy2は同じくｙ軸方向の軸と第３のレンズ部２１３ｃの光軸との距離である。さらに、温度上昇によるレンズアレイ膨張に伴う第４のレンズ部２１３ｄのｘ軸方向の移動量dbx4及びｙ軸方向の移動量dby4は、撮像素子１２３の画素間隔を単位として、下記式（９２）及び（９３）のように表される。ここで、Dx/2は基準温度Th0におけるレンズアレイの中心２１３ｏを通る軸と第４のレンズ部２１３ｄの光軸との距離であり、Dy2は同じくｙ軸方向の軸と第４のレンズ部２１３ｄの光軸との距離である。
ddx1 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(86)
ddy1 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(87)
ddx2 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(88)
ddy2 = Dy1 * (aL - aS) * (T(Ts) - Th0) / p ・・・(89)
ddx3 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(90)
ddy3 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(91)
ddx4 = (Dx/2) * (aL - aS) * (T(Ts) - Th0) / p ・・・(92)
ddy4 = Dy2 * (aL - aS) * (T(Ts) - Th0) / p ・・・(93)
【０１３０】
そして、各レンズ部の光軸中心は、上述の移動量だけ光軸が移動するとして作成する。具体的には、下記式（９４）、（９５）のように、第１のレンズ部２１３ａの光軸中心(xc1,yc1)は、基準温度Th0における光軸中心(xc10,yc10)からｘ方向に-ddx1、ｙ方向に+ddy1だけ移動するように作成する。また、下記式（９６）、（９７）のように、第２のレンズ部２１３ｂの光軸中心(xc2,yc2)は、基準温度Th0における光軸中心(xc20,yc20)からｘ方向に+ddx2、ｙ方向に+ddy2だけ移動するように作成する。また、下記式（９８）、（９９）のように、第３のレンズ部２１３ｃの光軸中心(xc3,yc3)は、基準温度Th0における光軸中心(xc30,yc30)からｘ方向に-ddx3、ｙ方向に+ddy3だけ移動するように作成する。また、下記式（１００）、（１０１）のように、第４のレンズ部２１３ｄの光軸中心(xc4,yc4)は、基準温度Th0における光軸中心(xc40,yc40)からｘ方向に+ddx4、ｙ方向に+ddy4だけ移動するように作成する。
xc1 = xc10 - ddx1 ・・・(94) 
yc1 = yc10 + ddy1 ・・・(95)
xc2 = xc20 + ddx2 ・・・(96) 
yc2 = yc20 + ddy2 ・・・(97)
xc3 = xc30 - ddx3 ・・・(98) 
yc3 = yc30 + ddy3 ・・・(99)
xc4 = xc40 + ddx4 ・・・(100)
yc4 = yc40 + ddy4 ・・・(101)
【０１３１】
なお、歪曲係数k2、k4、倍率(rx,ry)、焦点距離ｆ、及びｘ方向の光軸間距離Dxは、実施の形態１の撮像装置と同様の方法で作成し保存すればよい。
【０１３２】
なお、歪みが生じない場合、上記の座標変換テーブルを用いてなされる座標変換は、下記式（１０２）から（１０５）のように、撮像信号I0(x,y)から画像を切り出し、その後、下記式（１０６）から（１０９）のように、平行移動することを意味する。
I1(x, y) = I0(x + x01, y + y01) ・・・(102)
I2(x, y) = I0(x + x02, y + y02) ・・・(103)
I3(x, y) = I0(x + x03, y + y03) ・・・(104)
I4(x, y) = I0(x + x04, y + y04) ・・・(105)
I1(x, y) = I1(x-ddx1, y+ddy1) ・・・(106)
I2(x, y) = I2(x+ddx2, y+ddy2) ・・・(107)
I3(x, y) = I3(y-ddx3, x+ddy3) ・・・(108)
I4(x, y) = I4(x+ddx4, y+ddy4) ・・・(109)
【０１３３】
本実施の形態の撮像装置が以上のように構成されて動作することにより、実施の形態１と同様の効果が奏される。
【０１３４】
なお、実施の形態２を、実施の形態１の変形例と同様に変形することが可能であることは言うまでもない。
【０１３５】
上記説明から、当業者にとっては、本発明の多くの改良や他の実施形態が明らかである。従って、上記説明は、例示としてのみ解釈されるべきであり、本発明を実行する最良の態様を当業者に教示する目的で提供されたものである。本発明の精神を逸脱することなく、その構造及び／又は機能の詳細を実質的に変更できる。
【産業上の利用可能性】
【０１３６】
本発明の撮像装置は、距離計測可能な小型の撮像装置であるため、カメラ機能を備えた携帯型電話機、デジタルスチルカメラ、車載用カメラ、監視用カメラ、三次元計測器、及び立体画像入力カメラ等に有用である。
【符号の説明】
【０１３７】
１０１  カメラモジュール
１１０  レンズモジュール
１１１  鏡筒
１１２  カバーガラス
１１３、２１３  レンズアレイ
１２０  回路部
１２１  基板
１２２  パッケージ
１２３  撮像素子
１２４  パッケージカバーガラス
１２５  ＳＬＳＩ
１２６  温度センサ
１２７  金線
１３１  システム制御部
１３２  撮像素子駆動部
１３３  撮像信号入力部
１３４  温度センサ信号入力部
１３５  入出力部
１４１  係数保存部
１４２  温度補償演算部
１４３  撮像信号補正部
１４４  距離演算部
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のレンズを含むレンズアレイと、
前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、
前記レンズアレイの近傍に配置され温度を検知する温度センサと、
前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、
前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、撮像装置。
【請求項２】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項１に記載の撮像装置。
【請求項３】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項１に記載の撮像装置。
【請求項４】
前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、
前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）を含む補正係数を作成する補正係数作成部と、
前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備える、半導体回路素子。
【請求項６】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項５に記載の半導体回路素子。
【請求項７】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項５に記載の半導体回路素子。
【請求項８】
前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項５〜７のいずれかに記載の半導体回路素子。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2010010707.tif 000028
【図２】
2010010707.tif 000029
【図３】
2010010707.tif 000030
【図４】
2010010707.tif 000031
【図５】
2010010707.tif 000032
【図６】
2010010707.tif 000033
【図７】
2010010707.tif 000034
【図８】
2010010707.tif 000035
【図９】
2010010707.tif 000036
【図１０】
2010010707.tif 000037
【図１１】
2010010707.tif 000038
【図１２】
2010010707.tif 000039
【図１３】
2010010707.tif 000040
【図１４】
2010010707.tif 000041
【図１５】
2010010707.tif 000042
【図１６】
2010010707.tif 000043
【図１７】
2010010707.tif 000044
【図１８】
2010010707.tif 000045
【図１９】
2010010707.tif 000046
【図２０】
2010010707.tif 000047
【図２１】
2010010707.tif 000048
【図２２】
2010010707.tif 000049
【図２３】
2010010707.tif 000050
【図２４】
2010010707.tif 000051
【図２５】
2010010707.tif 000052
【手続補正書】
【提出日】平成22年3月10日(2010.3.10)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００４８
【補正方法】変更
【補正の内容】
【００４８】
図１０は、本発明の実施の形態１に係る鏡筒伸びの温度補正の効果を説明する図である。上述のように、温度Ｔｈが変化すると膨張による鏡筒の伸び又は縮みに伴って各撮像領域に撮像される画像の倍率が変化する。図１０（ａ）は、基準温度Ｔｈ０（図１０において、基準温度Ｔｈ０を２０℃とする）のときの倍率β（Ｔｈ０）に対する温度Ｔｈのときの倍率β（Ｔｈ）の比（１＋α）を示したものであり、基準温度Ｔｈ０のとき１（α＝０）であったものが、基準温度Ｔｈ０以上のときは１以上（αが０以上）となり、基準温度Ｔｈ０以下のときは１以下（αが０以下）となる。そして、温度Ｔｈが基準温度Ｔｈ０から離れるほど、基準温度Ｔｈ０のときの倍率β（Ｔｈ０）に対するＴｈのときの倍率β（Ｔｈ）の比（１＋α）は１から離れる。そして、上述のように視差Δも、同様に変化する。ここで、被写体距離Ａは、式（８）において視差Δに反比例し、視差Δに基づき式（８）に従って演算される。そのため、鏡筒伸びに伴う撮像画像の倍率変化に関する補正なしに測距演算を行うと、図１０（ｂ）のように、温度Ｔｈが基準温度Ｔｈ０以外のとき測距誤差が発生する。そこで、上述のように、鏡筒伸びに伴う撮像画像の倍率変化に関する補正を行い、基準温度Ｔｈ０のときと同一の倍率とし、同一の視差とすることにより、図１０（ｃ）のように、温度変化に対する測距誤差をなくすことができる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００５２
【補正方法】変更
【補正の内容】
【００５２】
次に、焦点距離の温度補正の原理を説明する。図１１は、本発明の実施の形態１に係る温度に対する屈折率と焦点距離の変化を説明する図である。図１１（ａ）のように、温度が上昇すると、レンズアレイ１１３の屈折率が減少する。すると、第１のレンズ部１１３ａの焦点距離ｆが変化する。図１１（ｂ）は、基準温度Ｔｈ０（図１１において、基準温度Ｔｈ０を２０℃とする）における焦点距離ｆに対する温度Ｔｈにおける焦点距離ｆの比を示し、基準温度Ｔｈ０のとき１であったものが、基準温度Ｔｈ０以上のときは１以上となり、基準温度Ｔｈ０以下のときは１以下となり、基準温度Ｔｈ０から離れるほど１から離れる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６５
【補正方法】変更
【補正の内容】
【００６５】
図１５は、本発明の実施の形態１に係る係数保存部を説明するための図である。図１５において、簡単のため、第１のレンズ部１１３ａの光軸中心ｘ座標xc1のみが記述されている。図１５に示すように、温度センサ信号Tsの値が０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの光軸中心ｘ座標xc1の値がそれぞれxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3840、xc1_4096として、温度センサ信号Tsの当該各値に対応させて係数保存部１４１に保存されている。そして、温度補償演算部１４２は、温度センサ信号Tsの値に対応する光軸中心ｘ座標xc1を補間演算し作成する。例えば、温度センサ信号Tsの値が512以上768未満のときには、温度センサ信号Ts=512、768のときの光軸中心ｘ座標xc1_512、xc1_768を用いて、下記式（１１）のように補間演算を行い、xc1を作成する。他の係数も同様に作成する。すなわち、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、焦点距離f、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値が保存され、温度センサ信号Tsに関して補間演算を行い作成される。
xc1 = xc1_512 + (Ts-512)/(768-512)*(xc_768-xc1_512) ・・・(11)
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００７９
【補正方法】変更
【補正の内容】
【００７９】
下記式（２６）、（２７）、（２８）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第１のレンズ部１１３ａの光軸中心(xc1,yc1)を用いて、第１の撮像信号用の参照先座標(tx1,ty1)を演算し、下記式（２９）のように、第１の撮像信号用の参照先座標(tx1,ty1)を用いて撮像信号I0から第１の撮像信号I1(x,y)を演算する。なお、第１の撮像信号用の参照先座標(tx1, ty1)は、小数点を持ってもよい。その場合、第１の撮像信号用の参照先座標(tx1,ty1)の整数部分を(tx1i,ty1i)とし、小数部分を(tx1f,ty1f)とし、下記式（３０）のように４画素を利用し演算する。ここで、式（２６）、(２７）、（２８）、（２９）、（３０）において、ｘに関して０からH1-1まで、ｙに関して０からV1-1までの演算を行う。同様に、下記式（３１）、（３２）、（３３）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)を用いて、第２の撮像信号用の参照先座標(tx2,ty2)を演算し、下記式（３４）のように、第２の撮像信号用の参照先座標(tx2,ty2)を用いて撮像信号I0から第２の撮像信号I2(x,y)を演算する。また、下記式（３５）、（３６）、（３７）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)を用いて、第３の撮像信号用の参照先座標(tx3,ty3)を演算し、下記式（３８）のように、第３の撮像信号用の参照先座標(tx3,ty3)を用いて撮像信号I0から第３の撮像信号I3(x,y)を演算する。また、下記式（３９）（４０）（４１）のように、歪曲係数kd2,kd4、倍率(rx,ry)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)を用いて、第４の撮像信号用の参照先座標(tx4,ty4)を演算し、下記式（４２）のように、第４の撮像信号用の参照先座標(tx4,ty4)を用いて撮像信号I0から第４の撮像信号I4(x,y)を演算する。下記式において、^2は２乗演算を表し、^4は４乗演算を表す。
tx1 = x01 + xc1 + (x - xc1) * (1 + kd2 * r1^2 + kd4 * r1^4) * rx ・・・(26)
ty1 = y01 + yc1 + (y - yc1) * (1 + kd2 * r1^2 + kd4 * r1^4) * ry ・・・(27)
r1^2 = (x - xc1)^2 + (y - yc1)^2、r1^4 = (r1^2)^2 ・・・(28)
I1(x,y) = I0(tx1,ty1) ・・・(29)
I1(x,y) = (1 - tx1f) * (1 - ty1f) * I0(tx1i,ty1i)
+ tx1f * (1 - ty1f) * I0(tx1i+1,ty1i)
+ (1 - tx1f) * ty1f * I0(tx1i,ty1i+1)
+ tx1f * ty1f * I0(tx1i+1,ty1i+1) ・・・(30)
tx2 = x02 + xc2 + (x - xc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * rx ・・・(31)
ty2 = y02 + yc2 + (y - yc2) * (1 + kd2 * r2^2 + kd4 * r2^4) * ry ・・・(32)
r2^2 = (x - xc2)^2 + (y - yc2)^2、r2^4 = (r2^2)^2 ・・・(33)
I2(x,y) = I0(tx2,ty2) ・・・(34)
tx3 = x03 + xc3 + (x - xc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * rx ・・・(35)
ty3 = y03 + yc3 + (y - yc3) * (1 + kd2 * r3^2 + kd4 * r3^4) * ry ・・・(36)
r3^2 = (x - xc3)^2 + (y - yc3)^2、r3^4 = (r3^2)^2 ・・・(37)
I3(x,y) = I0(tx3,ty3) ・・・(38)
tx4 = x04 + xc4 + (x - xc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * rx ・・・(39)
ty4 = y04 + yc4 + (y - yc4) * (1 + kd2 * r4^2 + kd4 * r4^4) * ry ・・・(40)
r4^2 = (x - xc4)^2 + (y - yc4)^2、r4^4 = (r4^2)^2 ・・・(41)
I4(x,y) = I0(tx4,ty4) ・・・(42)
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０４
【補正方法】変更
【補正の内容】
【０１０４】
また、本発明の第１の実施の形態の撮像装置は、例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1であれば、温度センサ信号Tsに応じた複数組の補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3840、xc1_4096）を係数保存部１４１に保存し、温度センサ信号Tsに関して式（１１）のように補間処理を行い、作成する。同様に、第１のレンズ部１１３ａの光軸中心ｙ座標yc1、第２のレンズ部１１３ｂの光軸中心(xc2,yc2)、第３のレンズ部１１３ｃの光軸中心(xc3,yc3)、第４のレンズ部１１３ｄの光軸中心(xc4,yc4)、歪曲係数k2,k4、倍率(rx,ry)、及び各レンズ部のｘ方向の光軸間距離Dxは、それぞれ係数保存部１４１に各温度での値を保存し、温度センサ信号Tsを用いて補間演算を行い作成する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１０６
【補正方法】変更
【補正の内容】
【０１０６】
また、本発明の実施の形態１の撮像装置は、予め各温度センサ信号Tsに応じた補正係数を保存するにあたり、全ての温度センサ信号Ts（０から４０９５までのディジタル値を取る）に対応した補正係数を保存せずに２５６おきに間引いた補正係数を保存し、温度に対して補間した補正係数を作成する。例えば、第１のレンズ部１１３ａの光軸中心ｘ座標xc1ならば、温度センサ信号Tsに対し２５６おきに間引いた補正係数（センサ温度信号Tsが０、２５６、５１２、７６８、１０２４、・・・、３８４０、４０９６のときの値であるxc1_0、xc1_256、xc1_512、xc1_768、xc1_1024、・・・、xc1_3840、xc1_4096）を保存し、温度センサ信号Tsに関して補間して用いる。このことにより、間引いた分だけ記憶領域を省略することができる（使用される記憶領域が１／２５６倍になる）ため、その分だけ回路規模を縮小した低コストな撮像装置を実現することができる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１１１
【補正方法】変更
【補正の内容】
【０１１１】
また、本発明の第１の実施の形態の撮像装置は、温度補償演算部１４２において温度センサ信号Tsに基づき倍率(rx,ry)を作成し、撮像信号補正部１４３において倍率(rx,ry)などに基づき撮像信号I0を補正し、補正後撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号I4）を作成する。すなわち、各撮像信号において、温度に対して同一の倍率補正を行う。鏡筒が１つであるため、鏡筒長変化に伴う倍率変化は全ての撮像信号において等しい。また、各撮像信号（第１の撮像信号I1、第２の撮像信号I2、第３の撮像信号I3、及び第４の撮像信号）に対応するレンズ部（第１のレンズ部１１３ａ、第２のレンズ部１１３ｂ、第３のレンズ部１１３ｃ、及び第４のレンズ部１１３ｄ）は１つのレンズアレイ１１３に一体形成されたものであり、全てのレンズ部の屈折率の温度変化、それゆえ全てのレンズ部の焦点距離の温度変化が等しい。このように、１つの鏡筒１１１と複数のレンズ部を含む１つのレンズアレイ１１３を用いて撮像装置が構成されるため、各レンズ部において温度に関して同一の倍率変化とみなすことができる。従って、複数の撮像領域に対して１つの倍率相関補正係数を作成するだけでよく、その分だけ、演算時間を削減でき、低コストで高精度に距離演算する撮像装置を実現することができる。
【手続補正８】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のレンズを含むレンズアレイと、
前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域と、
前記レンズアレイの近傍に配置され温度を検知する温度センサと、
前記温度センサにより検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）と、温度変化による複数のレンズの光軸の間隔の変化を補償する補正係数と
を含む補正係数を作成する補正係数作成部と、
前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備え
前記補正係数作成部は、前記温度センサにより検知された温度の変化に伴う前記撮像領域で撮像された画像の倍率の変化を打ち消すように、前記倍率相関補正係数を作成するよう構成されている、撮像装置。
【請求項２】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイ及び前記複数の撮像領域を収容する鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を
補正するよう構成されている、請求項１に記載の撮像装置。
【請求項３】
前記補正係数作成部は、前記温度が高い場合は前記倍率が低くなるように、前記温度が低い場合は前記倍率が高くなるように、前記補正係数を作成する、請求項２に記載の撮像装置。
【請求項４】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項１に記載の撮像装置。
【請求項５】
前記補正係数作成部は、前記レンズアレイの屈折率または焦点距離の変化による倍率変化を打ち消すように、前記補正係数を作成する、請求項４に記載の撮像装置。
【請求項６】
前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項１〜５のいずれかに記載の撮像装置。
【請求項７】
複数のレンズを含むレンズアレイと、前記複数のレンズと一対一に対応して設けられ、対応する前記レンズの光軸方向に対して略垂直な受光面をそれぞれ有する複数の撮像領域とを有する撮像装置に用いられる半導体回路素子であって、
前記レンズアレイの近傍に配置された温度センサによって検知された温度に基づいて、前記撮像領域で撮像された画像の倍率に相関する補正係数（以下、倍率相関補正係数という）と、温度変化による複数のレンズの光軸の間隔の変化を補償する補正係数とを含む補正係数を作成する補正係数作成部と、
前記補正係数に基づいて、前記撮像領域において生成された撮像信号を補正するとともに該補正後の撮像信号を用いて視差を演算する補正演算部と、を備え、
前記補正係数作成部は、前記温度センサにより検知された温度の変化に伴う前記撮像領域で撮像された画像の倍率の変化を打ち消すように、前記倍率相関補正係数を作成するよう構成されている、半導体回路素子。
【請求項８】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として鏡筒の伸び又は縮みを補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項７に記載の半導体回路素子。
【請求項９】
前記補正係数作成部は、前記温度が高い場合は前記倍率が低くなるように、前記温度が低い場合は前記倍率が高くなるように、前記補正係数を作成する、請求項８に記載の半導体回路素子。
【請求項１０】
前記補正係数作成部は、前記温度センサにより検知された温度に基づいて、前記倍率相関補正係数として、前記レンズアレイの屈折率または焦点距離の変化を補正する倍率を作成するよう構成されており、
前記補正演算部は、前記倍率に基づいて、前記撮像領域において生成された撮像信号を補正するよう構成されている、請求項７に記載の半導体回路素子。
【請求項１１】
前記補正係数作成部は、前記レンズアレイの屈折率または焦点距離の変化による倍率変化を打ち消すように、前記補正係数を作成する、請求項１０に記載の半導体回路素子。
【請求項１２】
前記補正係数作成部は、前記複数の撮像領域のそれぞれに対する前記倍率相関補正係数を前記温度の変化に対して同一の割合だけ変化させるように作成する、請求項７〜１１のいずれかに記載の半導体回路素子。
【国際調査報告】
2010010707.tif 000053
2010010707.tif 000054
2010010707.tif 000055
2010010707.tif 000056