(57)【要約】【課題】複数の自由曲面プリズムと１の撮像素子とを用いて得た、撮像する画角が大きく歪の少ない広範囲の画像を、広ダイナミックレンジで、使用者にとって見やすい画像として表示装置に表示させるカメラシステムおよび制御方法を提供すること。【解決手段】所定の周期で被写体像を電気信号に変換する１の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像を各自由曲面プリズムによって撮像素子上の所定の領域に結像させる光学系と、撮像素子からの電気信号に基づいて第１の動画像を生成する手段と、第１の動画像を各領域に対応する部分画像に分割する手段と、部分画像ごとに被写体像の明るさを検出する手段と、被写体像の明るさに応じて、各領域の露光量が所定の範囲内になるように調整する手段と、部分画像を所定の配置で第２の動画像に合成する手段と、第２の動画像を表示装置に表示させる手段を備える。【選択図】図１０
2010074703.tif 000002
【特許請求の範囲】
【請求項１】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、
複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、
前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、
前記像分割手段によって分割された部分画像ごとに前記被写体像の明るさを検出する測光手段と、
前記測光手段によって検出された前記被写体像の明るさに応じて、前記各領域の露光量が所定の範囲内になるように調整する露光量制御手段と、
前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、
前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、
を備えることを特徴とするカメラシステム。
【請求項２】
前記光学系は、被写体に対して前記撮像素子の直前に配置されていることを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記光学系は、前記各領域が重ならないように前記各自由曲面プリズムが配置されていることを特徴とする請求項１に記載のカメラシステム。
【請求項４】
前記撮像素子上の各領域に入射する光の光量を調整するフィルタ手段と、
を更に備え、
前記露光量制御部は、前記領域の露光量に応じて、前記フィルタ部の対応する領域の透過率を制御することを特徴とする請求項１乃至３の何れか１項に記載のカメラシステム。
【請求項５】
前記カメラシステムは、撮像装置部とカメラ制御部を備え、
前記撮像装置部は、前記撮像素子と前記光学系を有し、
前記カメラ制御部は、前記動画像生成手段と前記像分割手段と前記測光手段と前記露光量制御手段と前記像合成手段と前記表示制御手段を有する、
ことを特徴とする請求項１に記載のカメラシステム。
【請求項６】
前記撮像装置部は、車両の外部を撮像するように前記車両に配置されていることを特徴とする請求項５に記載のカメラシステム。
【請求項７】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備える撮像装置を制御するカメラ制御方法であって、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、
前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、
前記分割された部分画像ごとに前記被写体像の明るさを検出し、
前記検出された前記被写体像の明るさに応じて、前記各領域の露光量が所定の範囲内になるように調整し、
前記分割された前記部分画像を所定の配置で第２の動画像に合成し、
前記合成された前記第２の動画像を表示装置に表示させる、
ことを特徴とするカメラ制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを制御するカメラシステムおよびカメラ制御方法に関し、特に、複数のプリズムで光路が制御された異なる方向からの各被写体像を単一の撮像素子で結像したカメラを制御するカメラシステムおよびカメラ制御方法に関する。
【背景技術】
【０００２】
近年、車載センサーとしてのカメラや、車両の前方、後方、両サイドを撮像するためのカメラ等、カメラを使用する場面が増えてきている。
このようなカメラに用いられる従来の撮影光学ユニットとしては、撮像レンズの前方にプリズムを配置し、このプリズムより入射された光を結像レンズに通して単一の撮像素子の撮像面で結像させることによって、複数の視野を同時に映し出す構造の車載カメラユニットが知られている（例えば、特許文献１参照。）。
【０００３】
しかしながら、特許文献１のような撮影光学ユニットを用いた場合、プリズムと撮像素子との間に配される撮像レンズが複合レンズとして構成されており、ホルダ内に内包されて１つのレンズに組み立てられているため、該プリズムの入射位置と撮像素子の受光面との間を、その構造上短縮することが困難であり、したがって撮影光学ユニットそのもののサイズの小型化が困難である。
【０００４】
さらに、撮像素子１つに対し複数画面を構成するカメラの場合、撮像素子の全領域の平均的な測光結果によりシャッタースピード、ゲインが決まり、適正な露光量を設定する。
しかし、この撮像素子1つに対し複数画面を構成する場合には、平均的では１画面への入射光が飽和レベルに達した場合、他の複数画像が暗くなってしまう。逆に、暗い場面では他の画像が明るくなってしまう。近年車載用として提案されている高ダイナミックレンジの撮像素子を利用したとしても限界があり、また、ＣＣＤでは、特徴的に入射光の強さにより画素の上下になだれ現象（スミア）が発生する。
【０００５】
さらに、このような撮像素子のダイナミックレンジに頼ることなく液晶パネルを適用し、複数に分割された領域を部分的に液晶の透過率を可変することによって輝度補正する方法も開示されている（例えば、特許文献２参照。）。
【特許文献１】特開２０００−８９３０１号公報
【特許文献２】特開２００７−２０８６１０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来の撮影光学ユニットは、小型化が困難である上、視認性に優れていない画像しか表示できない、という問題点があった。
本発明は、上述のような実状に鑑みたものであり、複数の自由曲面プリズムと単一の撮像素子とを用いることにより得た、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、ダイナミックレンジが広く、使用者にとって見やすい画像として表示装置に表示させるカメラシステムおよびカメラ制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明のカメラシステムは、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する像分割手段と、前記像分割手段によって分割された部分画像ごとに前記被写体像の明るさを検出する測光手段と、前記測光手段によって検出された前記被写体像の明るさに応じて、前記各領域の露光量が所定の範囲内になるように調整する露光量制御手段と、前記像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する像合成手段と、前記像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段を備えることを特徴とする。
【０００８】
また、本発明のカメラシステムは、前記光学系が、被写体に対して前記撮像素子の直前に配置されていることが望ましい。
また、本発明のカメラシステムは、前記各領域が重ならないように前記各自由曲面プリズムが配置されていることが望ましい。
【０００９】
また、本発明のカメラシステムは、前記撮像素子上の各領域に入射する光の光量を調整するフィルタ手段を更に備え、前記露光量制御部が、前記領域の露光量に応じて、前記フィルタ部の対応する領域の透過率を制御することが望ましい。
【００１０】
また、本発明のカメラシステムは、撮像装置部とカメラ制御部を備え、前記撮像装置部が、前記撮像素子と前記光学系を有し、前記カメラ制御部が、前記動画像生成手段と前記像分割手段と前記測光手段と前記露光量制御手段と前記像合成手段と前記表示制御手段を有することが望ましい。
【００１１】
また、本発明のカメラシステムは、前記撮像装置部が、車両の外部を撮像するように前記車両に配置されていることが望ましい。
また、本発明の一態様によれば、本発明のカメラ制御方法は、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備える撮像装置を制御するカメラ制御方法である。そして、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、前記分割された部分画像ごとに前記被写体像の明るさを検出し、前記検出された前記被写体像の明るさに応じて、前記各領域の露光量が所定の範囲内になるように調整し、前記分割された前記部分画像を所定の配置で第２の動画像に合成し、前記合成された前記第２の動画像を表示装置に表示させることを特徴とする。
【発明の効果】
【００１２】
本発明によれば、撮像する画角が大きく、かつ、歪の少ない広範囲の画像を、ダイナミックレンジが広く、使用者にとって見やすい画像として表示装置に表示させることが可能となる。
【発明を実施するための最良の形態】
【００１３】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１は、撮影光学ユニットの外観を表す図（その１）であり、図２は、撮影光学ユニットの外観を表す図（その２）であり、図３は、図１および図２に示した撮影光学ユニットの分解状態を示した図であり、図４は、図１におけるＡ−Ａ断面を示した図である。
【００１４】
フレーム１は、複数個の自由曲面プリズム４、５、６を組み入れるためのものである（図３参照）。このフレーム１には、長手方向の中央部分に天面壁１ａから底面壁１ｂに向けて貫通孔ｈが形成されており、天面壁１ａ、底面壁１ｂの両側に位置する傾斜側壁１ｃ、１ｄ（傾斜側壁１ｄは不図示）には該貫通孔ｈに連通するように切り欠かれた区画凹所ｅ1〜ｅ3（区画凹所ｅ3は不図示）が設けられている。そして、該区画凹所ｅ1〜ｅ3の底部の対向位置には、２つで１組になる座部ｔ1〜ｔ6（座部ｔ3、ｔ4、ｔ5は不図示）が形成されている（図３参照）。
【００１５】
また、ホルダ２は、前記フレーム１を載置するためのものであり、カバー体３は、このホルダ２に合わさって自由曲面プリズム４、５、６をフレーム１とともに内側に収納するためのものである。カバー体３には、自由曲面プリズム４、５、６の第１面（入射面）において開口する窓孔３ａ〜３ｃが設けられており、フレーム１とは螺子や接着によって着脱自在に固定される。カバー体３の窓孔３ａ〜３ｃには、異物の侵入を防止するためカバーガラス等が適宜設けられ、窓孔３ａ〜３ｃの開放角度は、自由曲面プリズム４、５、６の性能（撮影できる視野の範囲）や絞りに応じて設定される。
【００１６】
また、自由曲面プリズム４（以下、第1の光学素子ということもある。）は、左側視野を真横（カバー体３に形成された凹部である窓孔３ｃの外表面）から前方に向けて角度θ1：６０度の範囲で撮影を可能とした自由曲面のプリズムである（図３、図４、図６参照）。
【００１７】
自由曲面プリズム（以下、第２の光学素子ということもあり、外観形状は自由曲面プリズム４と同じ。）５は、第１の光学素子４と同様の自由曲面のプリズムである（図３参照）。この第２の光学素子５は、入射面である第１面を第１の光学素子４とは正反対に指向させて貫通孔ｈに並列に配置されるものであり、右側の視野を真横から前方に向かって角度θ2：６０度の範囲で撮影することが可能になっている。ここで、正反転に配置するとは、具体的に図３に示したように、第１の光学素子４に対し撮像素子１５へ向かう軸上主光線の周りで１８０度回転させて相互に平行となる配置をいう。
【００１８】
また、自由曲面プリズム（以下、第３の光学素子ということもある。）６は、第１の光学素子４、第２の光学素子５と同様の構成になる自由曲面のプリズムである（図３参照）。この第３の光学素子６は、第２の光学素子５とは入射面である第１面６ａの向きを正反対に指向させて貫通孔ｈに並列に配置されるものであり（図３参照）、その第１面６ａの入側には三角柱状あるいは台形状等にて形成された前段プリズム７が配置されている（図１〜４参照）。
【００１９】
前段プリズム７より入射された光は、第３の光学素子６を経て撮像素子１５において結像される。すなわち、該第３の光学素子６は、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ3：６０度の範囲における視野（前方視野）の撮影を可能としている。
【００２０】
撮像素子１５の下側には基板（フレキシブルプリント基板等）１７を介して放熱板１８が設けられ、該撮像素子１５の上には保護板１９（ガラス等）が設けられている。基板１７、放熱板１８、保護板１９は、撮像素子１５とともにホルダ２の貫通開口においてフレーム１の貫通孔ｈに対応するよう配置されている（パッケージ化されている）。撮像素子１５は、シリコンシート等の絶縁部材を配置することにより、基板１７、放熱板１８とは適宜絶縁処理がなされている。
【００２１】
上記のような構成の撮影光学ユニットにおいては、第１の光学素子４を通して出射された光が右側６０度の視野として撮像素子１５において結像され、第２の光学素子５を通して出射された光が左側６０度の視野として撮像素子１５において並列に結像され、さらに、前段プリズム７及び第３の光学素子６を通して出射された光が前方６０度の視野として撮像素子１５において並列に結像される。すなわち、単一の撮像素子１５において３つの視野が並列に結像される。このような構成の撮影光学ユニットにおいては、右側から左側、あるいは左側から右側にわたる１８０度の範囲における撮影が可能となる。
【００２２】
本発明の実施の形態では、右側６０度、左側６０度、前方６０度の範囲における視野を結像させる撮影光学ユニットを例として説明したが、撮影可能な視野の範囲は使用する自由曲面プリズム４、５、６そのものの性能や組合せによって適宜変更することができるものであり、各自由曲面プリズム４、５、６の視野が６０度の範囲に限定されるものではない。
【００２３】
また、第１の光学素子４と第２の光学素子５の２つのみで撮影光学ユニットを構成してもよいし、左側又は右側の何れか一方と、前方あるいは後方の何れか一方の視野を結像させるように別の光学素子を組み込んで撮影光学ユニットを構成することも可能である。このような構成では光学素子の設置個数が少なくて済む分、構造をより簡素化することができ撮影光学ユニット自体のさらなる小型化が可能となる。
【００２４】
また、３６０度の視野を撮像することを可能にするために、本実施の形態に示した構成の撮影光学ユニットを２組み背面合わせとした構成を採用することはもちろん、さらに上下に組み込んだ構成を採用することもできる。
【００２５】
本発明を提供した撮影光学ユニットは、特に車両に搭載して外部の視野を撮影するのに好適であるばかりでなく、車両の内部に設置して車両の内外を監視する監視カメラとしても有用であり、またカプセル型内視鏡等にも適用し得る。
【００２６】
図５は、撮影光学ユニットを車両に搭載した例を示す図である。
図５に示すように、左右両方向を同時に撮影可能とする本発明を適用した撮影光学ユニットＵを、車両のフロントグリルの中央部に取り付けて、両サイド及び前方のモニタとして使用することができる。このような使用例においては、車両の走行に際して両サイドにおける安全性がより高まる。
【００２７】
図６は、本発明の第１の実施形態に係る撮影光学ユニットの概要を説明するための図であり、図７は、本発明の第１の実施形態に係る画面のサイズ及び撮像素子１５に結像されるイメージを説明するための図であり、図８は、被写体の例を示す図である。
【００２８】
図６に示したように、本発明の第１の実施形態に係る撮影光学ユニットは、前述の自由曲面プリズム４、５、６および前段プリズム７から構成されるプリズム群５０と、撮像素子１５と、これらプリズム群５０と撮像素子１５との間に液晶パネル６６を配置した構成となっている。
【００２９】
一般的なカメラなどの通常の撮像素子では、画面のアスペクト比が４対３であり、画面サイズの長い４の方向が水平方向、短い３の方向が垂直方向に被写体を正対する。ところが、本発明の第１の実施形態に係る撮影光学ユニットでは、通常の画面を９０度回転させ、図７に示されるように３分割された画像の垂直方向が画面サイズの長い４の方向に配置し、短い３の方向に３分割された画像の水平方向を撮像するよう構成されている。すなわち、図７に示した画像５１ａは、自由曲面プリズム４による左側視野６０度で撮像された画像であり、画像５１ｂは、自由曲面プリズム５による右側視野６０度で撮像された画像であり、画像５１ｃは、自由曲面プリズム６と前段プリズム７による中心視野６０度で撮像された画像である。
【００３０】
図８に示されている画像は、被写体のイメージであり、例えば、車体の正面に設置されたカメラの画像を運転者から見た画像で表示装置上に正対した像として映し出すものとする。この図８に示されたイメージを撮像した場合の画像は、図７に示した画像５１ａ、５１ｂ、５１ｃから構成されることを現している。
【００３１】
図９は、単一の撮像素子に複数の画面を合成した際の撮像画像を示す図である。
図９中のｂに示したように、左画面に太陽光が差した場合、平均的な露光量の設定では１画面への入射光がゲインオーバーするため、他の複数画像が暗い露出量の設定になってしまう。
【００３２】
また、太陽光や夜間の車の対向車のヘッドライトなどが入射すると、撮像素子のＣＣＤにおいては、フレアが発生してしまい、後段のセンサーとしての性能に欠陥が生じることになる。
【００３３】
図１０は、撮影光学ユニットの構成を示す図である。
図１０において、撮影光学ユニットは、撮像装置部５２、カメラコントローラ７１、ドライビングコントローラ７２を備えている。
【００３４】
前記撮像装置部５２は、前述の自由曲面プリズム４、５、６、前段プリズム７、撮像素子１５、液晶パネル６６の他、ＴＧ／ＳＳＧ部６０、アナログアンプ部６７、Ａ／Ｄ部６８、デジタル信号処理部６２、シリアル（Ｓｅｒｉａｌ）Ｉ／Ｆ６３、通信Ｉ／Ｆ７４を備えている。
【００３５】
前記カメラコントローラ７１は、ＣＰＵ５３、操作入力部５４、画像処理ＭＰＵ５７、メモリ５８、通信Ｉ／Ｆ７５、通信Ｉ／Ｆ７７を備えている。
また、前記ドライビングコントローラ７２は、画像表示部５５、液晶コントローラ５６、通信Ｉ／Ｆ７８が、バス７９を介して接続されている。
【００３６】
なお、撮影画像のホワイトバランスや露出補正、シャッタースピードなどの設定については、一般的な車載カメラなどと同等であり、詳細は省略する。
撮像装置部５２は、動画と静止画を撮像可能であり、この撮像装置部５２に対してカメラコントローラ７１のＣＰＵ５３及び画像処理ＭＰＵ５７が、通信Ｉ／Ｆ７４、７５を介して接続されている。画像処理ＭＰＵ５７は、画像の反転、回転、鏡像、縮小、拡大、画像張り合わせ等の処理を行う。そして、その画像処理ＭＰＵ５７で処理された画像を、通信Ｉ／Ｆ７７、７８、および液晶コントローラ５６を介して、モニタ装置として使用される画像表示部５５に出力する。
【００３７】
また、撮像装置部５２は、図８に示したような被写体イメージを撮像するための自由曲面のプリズム群５０、及びこのプリズム群５０による結像位置に配置されたＣＭＯＳ／ＣＣＤでなる撮像素子１５を有する。撮像素子１５で得た画像情報は、後述するＣＰＵ５３により、動画、静止画、上述したホワイトバランス、露出補正、シャッタースピードなどを制御し、画像表示部５５に出力される。
【００３８】
撮像装置部５２のＴＧ／ＳＳＧ部６４は、駆動タイミング、パルスを発生し撮像素子１５の動作タイミングを生成している。撮像装置部５２のアナログアンプ部６７およびＡ／Ｄ部６８は、撮像素子１５から得られた画像情報を相関二重サンプリングし信号量に応じて利得を調整しＡ／Ｄ変換され、デジタル信号処理６２に送られる。そして、デジタル信号処理６２では、カラー信号補間、カラー補正、ホワイトバランスなどの処理が行われ、画像情報をＭＰＵ５７に供給する。
【００３９】
画像処理ＭＰＵ５７は、撮像素子１５で得られた画像のうち予め定められた領域、例えば撮像範囲の中心部分および撮像画像全体の輝度を求め、撮像画像全体が所定の定められた輝度になるように露出量の計算を行う。そして、所定の露出量に制御するよう、ＣＰＵ５３からシリアル通信によりシリアルＩ／Ｆ６３を介して、撮像素子１５を適正露出に制御する。
【００４０】
メモリ５８は、画像データの色処理などを行う際に、画像を格納する作業用メモリとして用いられる。
シリアルＩ／Ｆ６３は、ＣＰＵ５３からの情報に従って、撮像素子１５自体の各種信号のデフォルト値や可変されたシャッタースピード、利得などのコマンドを実行し、撮像装置部５２の制御を行う。
【００４１】
供給された画像情報は、ＣＰＵ５３からの画像表示方法の指示に基づき、画像の処理を行い、液晶コントローラ５６を介して画像表示部５５にて表示される。近年、グラフィック表示機能が充実しており、画像の反転、回転、鏡像の表示は、液晶コントローラ５６で行い、画像処理ＭＰＵ５７の負担を軽減することもできる。
【００４２】
シャッター制御部６５は、ＣＰＵ５３からの必要情報に従って、シリアルＩ／Ｆ６３を通じ、液晶パネル６６を３画面ごとに制御する。操作入力部５４は、各種条件設定等の入力が行われる。
【００４３】
ここで、本実施の形態において実現させた高ダイナミックレンジ化について説明する。
液晶パネル６６の動作は、通常のものと同様、液晶の分子をガラスでできた２枚の電極基板にて挟持し、その両電極に電圧を印加することにより、液晶の配向を変化させて光の透過率を制御するものである。
【００４４】
使用方法としては、液晶への飽和レベルの電場を印加すれば、光の透過はオンかオフとなり、このタイミングを操作することにより液晶によるメカ的シャッターを構成することができる。また、電圧の印加量を制御すれば、任意の光の透過率を制御できるため、光学的なフィルタを構成することができるようになる。
【００４５】
このように、液晶パネル６６の液晶層を、図７に示した３画面の領域に３つに分類することによって、３つの画面のそれぞれを個別にシャッター制御、透過制御することが可能となり、高ダイナミックレンジ化が可能となる。
【００４６】
次に、画像取り込み、画像処理、および画像処理後の液晶表示までの流れを説明する。
図１１は、露出制御には無関係なカメラ制御処理の流れを示すフローチャートであり、図１２は、本発明を適用したカメラシステムの機能ブロックを示す図であり、図１３は、第１のフレームメモリの構成を示す図であり、図１４は、第２のフレームメモリの構成を示す図である。
【００４７】
自由曲面プリズム４、５、６を介して撮像素子１５に結像された像は、前述した通り、図７の画像５１のように撮像される。
まず、ステップＳ７０１において、撮像部７０１が画像を撮像し、次のステップＳ７０２において、撮像された画像が、ＡＤＣ（Ａ／Ｄコンバータ）７０２によってＡ／Ｄ変換される。そして、ステップＳ７０３において、画像生成部７０３によって、カラー信号補間、カラー補正、ホワイトバランス、ガンマ補正の処理に付された後、次のステップＳ７０４において、第１のフレームメモリ７０４に格納される。
【００４８】
この際、第１のフレームメモリ７０４に格納される画像は、図１３に示される通り、撮像素子１５から読み取られた操作順に格納される。図１３に示した例では、１Ａ、１Ｂ、１Ｃ、２Ａ、２Ｂ、２Ｃ、３Ａ、３Ｂ、３Ｃの順で、第１のフレームメモリ７０４に格納されることになる。
【００４９】
なお、撮像装置部５２は、一般のビデオカメラ、デジタルスティルカメラなどと同様に、露出検出部７１７と露出コントローラ７１８とを適宜備え、撮像素子１５からの輝度情報により算出された露出値に応じて撮影露出の自動調整を行っている。
【００５０】
次に、ステップＳ７０５において、第１のフレームメモリ７０４に格納された元画像は、読出／書込コントローラ７０５によって、アドレスメモリ７０６を参照し、アドレスメモリ７０６の画像分割アドレスの指定に従って演算され、ステップＳ７０６において、第２のフレームメモリ７０７に格納される。図１４に示した例では、１Ａ、２Ａ、３Ａ、１Ｃ、２Ｃ、３Ｃ、１Ｂ、２Ｂ、３Ｂの順で、第２のフレームメモリ７０７に格納されることになる。
【００５１】
この際、第２のフレームメモリ７０７に格納される画象は、図１４に示される通り、第１のフレームメモリ７０４に格納された画像を上下および左右反転し、さらに左側視野６０度、右側視野６０度、中心視野６０度の撮像された画像が正対した画像になるよう配列され格納されることになる。
【００５２】
そして、ステップＳ７０７の「表示設定処理」のサブルーチンが実行される。本実施の形態では、画像表示部５５に表示するモニタ表示形式は、前述したように少なくとも２つ以上の選択肢を設けている。
【００５３】
図１５は、カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートであり、図１６は、縮小して３画面表示した場合の表示例を示す図であり、図１７は、３画面を２段表示にした表示例を示す図である。
【００５４】
画像素子１５をＷＶＧＡとした場合、前述したように現在車載用として主流であるＷＶＧＡ（横７５０画素×縦４８０画素）のサイズの液晶画像表示部５５では、３画面が４８０×３＝１４４０となり、横方向に３画面が並ばない。そのため、画像を縮小する必要がある。
【００５５】
まず、ステップＳ７１０において、ユーザーによるモニタ表示形式の設定を確認する。すなわち、表示モードスイッチ７１５で切り替えの指示があるか否かを検出する。
モニタ表示形式の設定に変更があれば（ステップＳ７１０：ＹＥＳ）は、ステップＳ７１１に進み、表示パターンを参照して対応するアドレスパターンを設定する。他方、モニタ表示形式の設定に変更がなければ（ステップＳ７１０：ＮＯ）、変更前の表示バターンのままで、次のステップＳ７１２に進む。
【００５６】
そして、ステップＳ７１２において、表示パターンが単画面表示か否かを判断する。ここで、単画面表示の場合は、表示する画像を縮小することになり、単画面表示でない場合は、縮小せずに画素そのままとする。
【００５７】
表示パターンが単画面表示である場合（ステップＳ７１２：ＹＥＳ）、ステップＳ７１４において、アドレスメモリ７０６を参照して、縮小のための演算を実行する。例えば、ある画素の周囲の４ピクセルを線形あるいは３次元関数を用いて画素を作り、補間を行う方法も開示されている。
【００５８】
そして、ステップＳ７１５において、第２のフレームメモリ７０７から読み出し、ステップＳ７１６において、補間部７０９が、読み出した画像を上述のような方法を用いて補間する。
【００５９】
次に、ステップＳ７１７において、補間した画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７１８において、第３のフレームメモリ７１０に格納する。
【００６０】
そして、ステップＳ７１９において、全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７１９：ＮＯ）、ステップＳ７１４に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７１９：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１６に示したような画面を表示パネル７１２へ表示する。
【００６１】
図１５のステップＳ７１２で、表示パターンが単画面表示でないと判断された場合（ステップＳ７１２：ＮＯ）は、表示する画像を縮小せず、画素そのままを表示するか、あるいは、図１２に示したように、画像表示部５５上の画面の上半分の領域に左側視野および右側視野の２画像５１ａ、５１ｂを配列し、下半分の領域に中心視野の画像５１ｃを配列した表示を行うかが選択可能である。
【００６２】
すなわち、表示パターンが単画面表示でない場合（ステップＳ７１２：ＮＯ）、例えば、図１２に示したような、中心視野、右視野および左視野の３画面を２段表示にする場合、ステップＳ７２２において、アドレスメモリ７０６を参照して、表示のための演算を実行し、ステップＳ７２３において、例えば中心視野を中心に表示する場合は、第２のフレームメモリ７０７から所定のアドレスを読み出す。
【００６３】
次に、ステップＳ７２４において、表示する画像に画像表示部５５への水平スタートアドレス、水平エンドアドレス、垂直スタートアドレス、垂直エンドアドレスの書き込みアドレスを付加し、ステップＳ７２５において、第３のフレームメモリ７１０に格納する。
【００６４】
そして、ステップＳ７２６において、第３のフレームメモリ７１０に対する３枚全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７２６：ＮＯ）、ステップＳ７２２に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７２６：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図１２に示したような画面を表示パネル７１２へ表示する。
【００６５】
次に、露出制御の流れを説明する。
図１８は、露出制御を含む本発明を適用したカメラ制御処理の流れを示すフローチャートであり、図１９は、補正カーブを示す図であり、図２０は、露出量の制御を説明するための図である。
【００６６】
上述した通り、自由曲面プリズム群５０を介して撮像素子１５に結像された像は、前述したとおり図７の５１の画面のように撮像される。そして、前述した撮像素子１５から得られた画像に対してカラー信号補間、カラー補正、ホワイトバランスなどの処理が施された後、図１１のステップＳ７０１からＳ７０−３に示す通り、映像入力の処理がなされ、ステップＳ７０４に示す通り、第１のフレームメモリ７０４へ元画像が格納される。
【００６７】
露出制御を含む本発明を適用したカメラ制御処理では、ステップＳ７３０において、第１のフレームメモリ７０４に格納された元画像を読み込む。
次に、ステップＳ７３１において、３分割する画像５１ａ、５１ｂおよび５１ｃの領域アドレス値を、アドレスメモリ７０６から参照する。
【００６８】
次に、ステップＳ７３２において、画像５１ａ、５１ｂおよび５１ｃの領域毎に入射光の輝度値の平均を算出する。
次に、ステップＳ７３３において、図１９に示す補正カーブのように、例えば、「晴れ」の補正カーブであれば、露出の補正を低く抑え、「夜」の場合は、補正出力を高く設定する補正カーブを補正テーブル７１６に有しており、その補正テーブル７１６からそれぞれの場面に応じた設定値を参照する。
【００６９】
次に、ステップＳ７３４において、領域毎の入射光の輝度値の平均が図２０に示す閾値Ａ２を超えているか否かを判断する。
そして、閾値Ａ２を超えていないと判断された画像の場合（ステップＳ７３４：ＮＯ）は、ステップＳ７３５において、閾値の初期値で上限の範囲を超えていない場合、液晶パネル６６の透過率を１００％に設定し、画像素子１５自体の露出量設定を行う。
【００７０】
他方、ステップＳ７３４で閾値Ａ２を超えていると判断された画像の場合（ステップＳ７３４：ＹＥＳ）は、ステップＳ７３６において、入射した画像の平均輝度が図２０の閾値Ａ１と閾値Ａ２の間に入るように該当する画像の液晶パネル６６の透過量を可変させる。
【００７１】
そして、ステップＳ７３７において、３画面分の設定が完了したか監視し、完了していなければ（ステップＳ７３７：ＮＯ）、ステップＳ７３２以降を再度繰り返す。
他方、３画面の設定が完了した場合（ステップＳ７３７：ＹＥＳ）は、ステップＳ７３８において、露出設定完了後の第１のフレームメモリ７０４に格納されている画像を読み出し、ステップのＳ７３９において、３画面毎の平均輝度値を算出し、ステップＳ７４０において、３画面毎の平均輝度値が適正な輝度値になっているか否かを判断する。
【００７２】
そして、３画面毎の平均輝度値が適正な輝度値になっていると判断された場合（ステップＳ７４０：ＹＥＳ）は、ステップＳ７４１において、表示の更新を行う。他方、３画面毎の平均輝度値が適正な輝度値でないと判断された場合（ステップＳ７４０：ＮＯ）は、ステップＳ７３２以降を繰り返す。
【００７３】
図２１は、スミアが発生した画像の補正前後の輝度分布を示す図である。
図２１中のａは、スミアが発生した場合の画像全体の輝度分布（スペクトラム分布）であり、図２１中のｂは、補正後の輝度分布（スペクトラム分布）を示す。
【００７４】
図２１に示すように、液晶パネル６６による補正前と補正後で、ピークが押さえられ全体的に輝度分布が下がっている。
なお、ある１画面の入射光の輝度値の平均値が図１９に示す閾値Ａ２を超え、他の２画面が閾値Ａ２を超えない場合、閾値Ａ２を超えない２画面の平均出力値をさらに平均し、得られた輝度値に適正に該当する画像の液晶パネル６６の透過量を可変させるようにしてもよい。
【００７５】
結果的に、図９中のａに示したように、左画面に太陽光が差した場合、平均的な露光量の設定では、１画面への入射光がゲインオーバーするため、図９中のｂに示したように、他の複数画面が暗い露光量の設定になってしまう。また、ＣＣＤでは特徴的に入射光の強さにより画素の上下になだれ現象（スミア）が発生する。
【００７６】
本実施の形態を適用したカメラ制御処理の方法を用いると、得られる出力の画面のイメージは、図９中のｃに示したように、入射光による影響を受けない。
なお、上述の液晶パネル６６の制御については、液晶パネル６６に印加する電圧値の変化によって、液晶パネル６６の透過率を可変とし、撮像素子１５への輝度値を下げるシャッターとしての効果を得る場合と、ＯＮ／ＯＦＦを繰り返しそのタイミングを制御することで、露出制御を行うことも可能となる。
【００７７】
さらに、輝度値が予め設定された閾値の初期値に対して上限を超えていない画面については、液晶パネル６６を使用しない説明になっているが、液晶パネル６６を常に使用して液晶パネル６６の絶対値を可変させる方法も可能である。
【００７８】
また、運転者に任意にそのダイナミックレンジの絶対値を可変設定可能としても良い。
ここで、液晶パネル６６の動作設定条件について説明する。
図２２は、液晶パネルの動作条件を表にした図である。
【００７９】
図２２に示したように、例えば３つのテーブルにより、入力輝度を高中低と設定している、想定は順に「晴れ」、「曇り」、「夜」と設定する。
例えば、「夜」の場合、シャッタースピードを最も遅い１／３０秒の固定、撮像素子１５の信号ゲインは０ｄＢからＭＡＸに可変可能である。このとき液晶パネル６６の透過率を１００％から１５％の透過率で可変可能にすることで、対向車のヘッドライトなどに対応することが可能となる。
【００８０】
以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用されるカメラシステムは、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ、ＷＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【００８１】
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、カメラシステムに供給し、そのカメラシステムのコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００８２】
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。
【００８３】
プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。
【００８４】
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。
【００８５】
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。
【００８６】
すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は形状を取ることができる。
【図面の簡単な説明】
【００８７】
【図１】撮影光学ユニットの外観を表す図（その１）である。
【図２】撮影光学ユニットの外観を表す図（その２）である。
【図３】図１および図２に示した撮影光学ユニットの分解状態を示した図である。
【図４】図１におけるＡ−Ａ断面を示した図である。
【図５】撮影光学ユニットを車両に搭載した例を示す図である。
【図６】本発明の第１の実施形態に係る撮影光学ユニットの概要を説明するための図である。
【図７】本発明の第１の実施形態に係る画面のサイズ及び撮像素子１５に結像されるイメージを説明するための図である。
【図８】被写体の例を示す図である。
【図９】単一の撮像素子に複数の画面を合成した際の撮像画像を示す図である。
【図１０】撮影光学ユニットの構成を示す図である。
【図１１】露出制御には無関係なカメラ制御処理の流れを示すフローチャートである。
【図１２】本発明を適用したカメラシステムの機能ブロックを示す図である。
【図１３】第１のフレームメモリの構成を示す図である。
【図１４】第２のフレームメモリの構成を示す図である。
【図１５】カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートである。
【図１６】縮小して３画面表示した場合の表示例を示す図である。
【図１７】３画面を２段表示にした表示例を示す図である。
【図１８】露出制御を含む本発明を適用したカメラ制御処理の流れを示すフローチャートである。
【図１９】補正カーブを示す図である。
【図２０】露出量の制御を説明するための図である。
【図２１】スミアが発生した画像の補正前後の輝度分布を示す図である。
【図２２】液晶パネルの動作条件を表にした図である。
【符号の説明】
【００８８】
ｅ1〜ｅ3    区画凹所
ｈ          貫通孔
ｔ1〜ｔ6    座部
Ｕ          撮影光学ユニット
１          フレーム
１ａ        天面壁
１ｂ        底面壁
１ｃ        傾斜側壁
２          ホルダ
３          カバー体
３ａ〜３ｃ  窓孔
４、５、６  自由曲面プリズム
６ａ        第１面
７          前段プリズム
１５        撮像素子
１７        基板（フレキシブルプリント基板等）
１８        放熱板
１９        保護板
５０        プリズム群
５１、５１ａ、５１ｂ、５１ｃ  画像
５２        撮像装置部
５３        ＣＰＵ
５４        操作入力部
５５        画像表示部
５６        液晶コントローラ
５７        画像処理ＭＰＵ
５８        メモリ
６０        ＴＧ／ＳＳＧ部
６２        デジタル信号処理部
６３        シリアルＩ／Ｆ
６５        シャッター制御部
６６        液晶パネル
６７        アナログアンプ部６７
６８        Ａ／Ｄ部
７１        カメラコントローラ
７２        ドライビングコントローラ
７４        通信Ｉ／Ｆ
７５        通信Ｉ／Ｆ
７７        通信Ｉ／Ｆ
７８        通信Ｉ／Ｆ
７９        バス
７０１      撮像部
７０２      ＡＤＣ（Ａ／Ｄコンバータ）
７０３      画像生成部
７０４      第１のフレームメモリ
７０５      読出／書込コントローラ
７０６      アドレスメモリ
７０７      第２のフレームメモリ
７０８      読み出しコントローラ
７０９      補間部
７１０      第３のフレームメモリ
７１１      表示コントローラ
７１２      表示パネル
７１５      表示モードスイッチ
７１６      補正テーブル
７１７      露出検出部
７１８      露出コントローラ
【図６】
2010074703.tif 000003
【図７】
2010074703.tif 000004
【図８】
2010074703.tif 000005
【図１０】
2010074703.tif 000006
【図１１】
2010074703.tif 000007
【図１２】
2010074703.tif 000008
【図１３】
2010074703.tif 000009
【図１４】
2010074703.tif 000010
【図１５】
2010074703.tif 000011
【図１６】
2010074703.tif 000012
【図１７】
2010074703.tif 000013
【図１８】
2010074703.tif 000014
【図１９】
2010074703.tif 000015
【図２２】
2010074703.tif 000016
【図１】
2010074703.tif 000017
【図２】
2010074703.tif 000018
【図３】
2010074703.tif 000019
【図４】
2010074703.tif 000020
【図５】
2010074703.tif 000021
【図９】
2010074703.tif 000022
【図２０】
2010074703.tif 000023
【図２１】
2010074703.tif 000024