(57)【要約】【課題】複数の自由曲面プリズムと単一の撮像素子とを用いることにより得た、撮像する画角が大きく、かつ、歪の少ない画像を、使用者にとって見やすい画像として表示装置に表示させるカメラシステムおよびカメラ制御方法を提供すること。【解決手段】所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ各自由曲面プリズムによって撮像素子上の所定の領域に結像させる光学系と、撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、動画像生成手段によって生成された第１の動画像を各領域に対応する部分画像に分割する画像分割手段と、画像分割手段によって分割された部分画像を所定の配置で第２の動画像に合成する画像合成手段と、画像合成手段によって合成された第２の動画像を表示装置に表示させる表示制御手段を備える。【選択図】図１２
2010124164.tif 000002
【特許請求の範囲】
【請求項１】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、
複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、
前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する画像分割手段と、
前記画像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する画像合成手段と、
前記画像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御手段と、
を備えることを特徴とするカメラシステム。
【請求項２】
前記自由曲面プリズムは、当該プリズムの入射面に、楕円形状になる固定絞りを配置し、Ｙ−Ｚ面内において該入射面である第１面が負の屈折力を有し、出射面である第２面および反射作用を有する第３面が正の屈折力を有することを特徴とする請求項１に記載のカメラシステム。
【請求項３】
前記光学系は、被写体に対して前記撮像素子の直前に配置されていることを特徴とする請求項２に記載のカメラシステム。
【請求項４】
前記光学系は、前記所定の領域が重ならないように前記各自由曲面プリズムが配置されていることを特徴とする請求項２に記載のカメラシステム。
【請求項５】
前記画像合成手段は、前記画像分割手段で分割された部分画像を合成して、第２の動画像としてパノラマ画像を生成することを特徴とする請求項１乃至４の何れか１項に記載のカメラシステム。
【請求項６】
前記カメラシステムは、カメラユニットとカメラ制御ユニットを備え、
前記カメラユニットは、少なくとも前記撮像素子と前記光学系を有し、
前記カメラ制御ユニットは、少なくとも前記動画像生成手段と前記画像分割手段と前記画像合成手段と前記表示制御手段を有する、
ことを特徴とする請求項５に記載のカメラシステム。
【請求項７】
前記カメラユニットは、車両の外部を撮像するように前記車両に配置されていることを特徴とする請求項５に記載のカメラシステム。
【請求項８】
前記車両の進行方向を検出する方向検出装置からの角度信号を取得する角度信号取得手段、
を更に備え、
前記表示制御手段は、前記表示装置に前記第２の動画像のフレームの一部分を表示し、前記角度信号取得手段によって取得された前記角度信号に基づく前記車両の進行方向に対応して前記表示装置に表示させる前記第２の動画像のフレームの部分を移動させることを特徴とする請求項７に記載のカメラシステム。
【請求項９】
前記角度信号取得手段は、前記車両の車輪の向きまたはハンドルの回転角度を取得することを特徴とする請求項８に記載のカメラシステム。
【請求項１０】
前記車両の速度を検出する速度検出装置からの速度信号を取得する速度信号取得手段、
を更に備え、
前記表示制御手段は、前記角度信号取得手段によって取得された前記角度信号に基づく前記車両の進行方向および前記速度信号取得手段によって取得された前記速度信号に基づく前記車両の速度に対応して前記表示装置に表示させる前記第２の動画像のフレームの部分を移動させることを特徴とする請求項９に記載のカメラシステム。
【請求項１１】
前記車両の方向指示器の操作を検出するウインカー検出手段、
を更に備え、
前記表示制御手段は、前記表示装置に前記第２の動画像のフレームの一部分を表示し、前記ウインカー検出手段によって検出された前記方向指示器の操作に対応して前記表示装置に表示させる前記第２の動画像のフレームの部分を移動させることを特徴とする請求項７に記載のカメラシステム。
【請求項１２】
前記表示制御手段は、前記表示装置に前記第２の動画像のフレームの一部分を表示する第１の表示モードと、前記表示装置に前記第２の動画像のフレームの全体を表示する第２の表示モードとを有し、使用者の操作に応じて前記第１の表示モードと前記第２の表示モードとが選択可能であることを特徴とする請求項１乃至１１の何れか１項に記載のカメラシステム。
【請求項１３】
前記各自由曲面プリズムに入射する前記被写体像の方向は、前記車両の前方方向、左方方向および右方方向であることを特徴とする請求項７に記載のカメラシステム。
【請求項１４】
所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備える撮像装置を制御するカメラ制御方法であって、
前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、
前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、
前記分割された前記部分画像を所定の配置で第２の動画像に合成し、
前記合成された前記第２の動画像を表示装置に表示させる、
ことを特徴とするカメラ制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラを制御するカメラシステムおよびカメラ制御方法に関し、特に、複数のプリズムで光路が制御された異なる方向からの各被写体像を単一の撮像素子で結像したカメラを制御するカメラシステムおよびカメラ制御方法に関する。
【背景技術】
【０００２】
近年、車載センサーとしてのカメラや、車両の前方、後方、両サイドを撮像するためのカメラ等、カメラを使用する場面が増えてきている。
このようなカメラに用いられる従来の撮影ユニットとしては、撮像レンズの前方にレンズとプリズムで構成される光学系を配置し、この光学系より入射された光を結像レンズに通して単一の撮像素子の撮像面で結像させることによって、複数の視野を同時に映し出す構造の車載カメラユニットが知られている（例えば、特許文献１参照。）。
【０００３】
しかしながら、特許文献１のような撮影ユニットを用いた場合、プリズムと撮像素子との間に配される撮像レンズが複合レンズとして構成されており、ホルダ内に内包されて１つのレンズに組み立てられているため、該プリズムの入射位置と撮像素子の受光面との間を、その構造上短縮することが困難であり、したがって撮影ユニットそのもののサイズの小型化が困難である。
【０００４】
また、従来のこの種の撮影ユニットとしては、２００度程度の画角を持つ魚眼レンズを使用し、必要な画角を切り取り歪補正後に運転者に画像の情報を提供する方法がある（例えば、特許文献２参照。）が、このような撮影ユニットを用いた場合は、魚眼レンズ故に周辺部の歪が非常に大きく解像度の高い画像が得られず、歪補正を行ったとしても周辺の情報不足により視認性の高い画像を得ることができなかった。
【特許文献１】特開２０００−８９３０１号公報
【特許文献２】特開２００６−２６２４４７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
以上のように、従来の光学系を使用した撮影ユニットでは、小型で、なおかつ広い視野に渡って視認性高い画像を得ることができない、という問題点があった。
本発明は、上述のような実状に鑑みたものであり、複数の自由曲面プリズムと単一の撮像素子とを用いることにより得た、撮像する水平画角が大きく、かつ、周辺に至るまで歪の少ないパノラマ画像を取得し、そのパノラマ画像の全体叉は一部を使用者にとって見やすい画像として表示装置に表示させるカメラシステムおよびカメラ制御方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記課題を解決するため、下記のような構成を採用した。
すなわち、本発明の一態様によれば、本発明のカメラシステムは、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異なる方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系と、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成する動画像生成手段と、前記動画像生成手段によって生成された前記第１の動画像を前記各領域に対応する部分画像に分割する画像分割手段と、前記画像分割手段によって分割された前記部分画像を所定の配置で第２の動画像に合成する画像合成手段と、前記画像合成手段によって合成された前記第２の動画像を表示装置に表示させる表示制御
手段とを備えることを特徴とする。
【０００７】
また、本発明のカメラシステムは、前記自由曲面プリズムが、当該プリズムの入射面に、楕円形状になる固定絞りを配置し、Ｙ−Ｚ面内において該入射面である第１面が負の屈折力を有し、出射面である第２面および反射作用を有する第３面が正の屈折力を有することが望ましい。
【０００８】
また、本発明のカメラシステムは、前記光学系が、被写体に対して前記撮像素子の直前に配置されていることが望ましい。
また、本発明のカメラシステムは、前記所定の領域が重ならないように前記各自由曲面プリズムが配置されていることが望ましい。
【０００９】
また、本発明のカメラシステムは、前記画像合成手段が、前記画像分割手段で分割された部分画像を合成して第２の動画像としてパノラマ画像を生成することが望ましい。
また、本発明のカメラシステムは、カメラユニットとカメラ制御ユニットを備え、前記カメラユニットが、少なくとも前記撮像素子と前記光学系を有し、前記カメラ制御ユニットが、少なくとも前記動画像生成手段と前記画像分割手段と前記画像合成手段と前記表示制御手段を有することが望ましい。
【００１０】
また、本発明のカメラシステムは、前記カメラユニットが、車両の外部を撮像するように前記車両に配置されていることが望ましい。
また、本発明のカメラシステムは、前記車両の進行方向を検出する方向検出装置からの角度信号を取得する角度信号取得手段を更に備え、前記表示制御手段が、前記表示装置に前記第２の動画像のフレームの一部分を表示し、前記角度信号取得手段によって取得された前記角度信号に基づく前記車両の進行方向に対応して前記表示装置に表示させる前記第２の動画像のフレームの部分を移動させることが望ましい。
【００１１】
また、本発明のカメラシステムは、前記角度信号取得手段が、前記車両の車輪の向きまたはハンドルの回転角度を取得することが望ましい。
また、本発明のカメラシステムは、前記車両の速度を検出する速度検出装置からの速度信号を取得する速度信号取得手段を更に備え、前記表示制御手段が、前記角度信号取得手段によって取得された前記角度信号に基づく前記車両の進行方向および前記速度信号取得手段によって取得された前記速度信号に基づく前記車両の速度に対応して前記表示装置に表示させる前記第２の動画像のフレームの部分を移動させることが望ましい。
【００１２】
また、本発明のカメラシステムは、前記車両の方向指示器の操作を検出するウインカー検出手段を更に備え、前記表示制御手段が、前記表示装置に前記第２の動画像のフレームの一部分を表示し、前記ウインカー検出手段によって検出された前記方向指示器の操作に対応して前記表示装置に表示させる前記第２の動画像のフレームの部分を移動させることが望ましい。
【００１３】
また、本発明のカメラシステムは、前記表示制御手段が、前記表示装置に前記第２の動画像のフレームの一部分を表示する第１の表示モードと、前記表示装置に前記第２の動画像のフレームの全体を表示する第２の表示モードとを有し、使用者の操作に応じて前記第１の表示モードと前記第２の表示モードとが選択可能であることが望ましい。
【００１４】
また、本発明のカメラシステムは、前記各自由曲面プリズムに入射する前記被写体像の方向が、前記車両の前方方向、左方方向および右方方向であることが望ましい。
また、本発明の一態様によれば、本発明のカメラ制御方法は、所定の周期で被写体像を電気信号に変換する単一の撮像素子と、複数の自由曲面プリズムで構成され、複数の異な
る方向からの被写体像をそれぞれ前記各自由曲面プリズムによって前記撮像素子上の所定の領域に結像させる光学系とを備える撮像装置を制御するカメラ制御方法である。そして、前記撮像素子から出力した電気信号に基づいて第１の動画像を生成し、前記生成された前記第１の動画像を前記各領域に対応する部分画像に分割し、前記分割された前記部分画像を所定の配置で第２の動画像に合成し、前記合成された前記第２の動画像を表示装置に表示させることを特徴とする。
【発明の効果】
【００１５】
本発明によれば、撮像部を小型化すると共に、撮像する水平画角が大きく、かつ、歪の少ないパノラマ画像を取得し、そのパノラマ画像の全体または一部を使用者にとって見やすい画像として表示装置に表示させることが可能となる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の実施の形態について図面を参照しながら説明する。
図１の（Ａ）および（Ｂ）は、撮影ユニットの外観のそれぞれ異なる方向からの斜視図であり、図２は、図１の（Ａ）および（Ｂ）に示した撮影ユニットの分解状態を示した図である。図３Ａは、自由曲面プリズムを組み入れるフレーム１の外観図であり、図３Ｂは、フレーム１に自由曲面プリズム４、５、６を組み入れた外観を表す図であり、図４Ａは、図１におけるＡ−Ａ断面を示した図であり、図４Ｂは、自由曲面プリズム４、５、６のＹ−Ｚ面を示した図であり、図５は、自由曲面プリズム４、５、６の外形を表す斜視図であり、図６は、前段プリズム７の外形を表す斜視図であり、図７は、各光学面の各面内における屈折力の正負を表にした図である。
【００１７】
フレーム１には、長手方向の中央部分に天面１ａから底面１ｂに向けて貫通孔ｈが形成されており、天面１ａ、底面１ｂの両側に位置する傾斜側面１ｃ、１ｄには該貫通孔ｈに連通するように切り欠かれた区画凹所ｅ1〜ｅ3が設けられている。そして、該区画凹所ｅ1〜ｅ3の底部の対向位置には、２つで１組になる座部ｔ1〜ｔ6（ｔ１、ｔ２で１組、ｔ３、ｔ４で１組、ｔ５、ｔ６で１組）が形成されている（図３Ａ、図４Ａ参照）。  また、ホルダ２は、前記フレーム１を載置するためのものであり、カバー体３は、このホルダ２に合わさって自由曲面プリズム４、５、６をフレーム１とともに内側に収納するためのものである。カバー体３には、自由曲面プリズム４、５、６の第１面（入射面）において開口する窓孔３ａ〜３ｃが設けられており、フレーム１とは螺子や接着によって固定される。カバー体３の窓孔３ａ〜３ｃには、異物の侵入を防止するためカバーガラス等が適宜設けられ、また窓孔３ａ〜３ｃの開放角度は、自由曲面プリズム４、５、６の性能（撮影できる視野の範囲）や固定絞り１２〜１４に応じて設定される（図４Ｂ参照）。
【００１８】
自由曲面プリズム４（以下、第１の光学素子ということもある。）は、左側視野を真横（カバー体３に形成された凹部である窓孔３ｃの外表面）から前方に向けて角度θ1＝６０度の範囲で撮影を可能とした自由曲面のプリズムである（図３Ｂ、図９参照）。第１の光学素子４は、図４Ｂ並びに図５の（Ａ）および（Ｂ）にその形状を具体的に示すように、光の透過作用を有する第１面（入射面）４ａ、光の内部反射と透過作用を有する第２面（出射面であり貫通孔ｈの底面壁１ｂの出側に位置する）４ｂ及び光の反射作用を有する第３面４ｃの３つの光学面を有し、そのうちの第２面４ｂ、第３面４ｃがレンズ機能を兼ね備えており、該第２面４ｂの両側の端部にはフレーム１の座部ｔ５及びｔ６に適合して簡単かつ正確に位置決め配置することができる段差ｋ１、ｋ２が形成されている（図３Ａ、図４Ｂ）。
【００１９】
自由曲面プリズム５（以下、第２の光学素子ということもあり、外観形状は自由曲面プリズム４と同じ。）は、第１の光学素子４と同様の自由曲面のプリズムである（図２、図５参照）。この第２の光学素子５は、入射面である第１面を第１の光学素子４とは逆方向
を向くように、第１の光学素子を図４Ｂの撮像素子１５の撮像面の軸の回りに１８０度回転させて貫通孔ｈに並列に配置されるものであり、右側の視野を真横から前方に向かって角度θ2＝６０度の範囲で撮影することが可能になっている。
【００２０】
また、自由曲面プリズム６（以下、第３の光学素子ということもある。）は、第１の光学素子４、第２の光学素子５と同様の構成になる自由曲面のプリズムである（図２、図５参照）。この第３の光学素子６は、第１の光学素子４と同じ向きに並列して貫通孔ｈに配置されるものであり（図３Ｂ参照）、その第１面６ａの入側には三角柱状あるいは台形状等にて形成された前段プリズム７が配置されている（図４Ａ参照）。
【００２１】
図６の（Ａ）および（Ｂ）にその外形を具体的に示す前段プリズム７より入射された光は、第３の光学素子６を経て撮像素子１５において結像される（図４Ａ参照）。すなわち、該第３の光学素子６は、真正面を基準に右側、左側へそれぞれ３０度、合計で角度θ3：６０度の範囲における視野（前方視野）の撮影を可能としている（図９参照）。なお、この前段プリズム７は撮影しようとする視野の光をより多く取り入れるため第３の光学素子６の厚さＷよりも厚い厚Ｗ１を有し（図５の（Ａ）、図６の（Ａ）参照）。
【００２２】
撮像素子１５の背面には基板（フレキシブルプリント基板等）１７を介して放熱板１８が設けられ、該撮像素子１５の前面には保護板１９（ガラス等）が設けられている。基板１７、放熱板１８、保護板１９は、撮像素子１５とともにホルダ２の貫通開口においてフレーム１の貫通孔ｈに対応するよう配置されている（パッケージ化されている）。撮像素子１５は、シリコンシート等の絶縁部材を配置することにより、基板１７、放熱板１８とは適宜絶縁処理がなされている。
【００２３】
本発明の実施の形態のカメラの撮影ユニットで用いる第１〜３の光学素子４〜６は、同一形状、同一媒質の自由曲面プリズムであって、屈折率が１．３１倍より大きい媒質にて構成されており、何れの光学面もＹ−Ｚ面を唯一の対称面とする自由曲面からなり、光束にパワーを与えかつ偏心により発生する収差を補正する回転非対称な面形状を有するように構成され、かつ、３面の中の第１面、第３面が回転非対称面になっているものを適用することができる。ここに、Ｙ−Ｚ面とは図４Ｂに示したような面（ここでは全てのプリズム光学素子の向きを同じにして表示してある）であり、第１〜３のプリズム光学素子４〜６を用いることで撮像レンズの如きは不要となり広画角で、高精細な画像の撮影が可能となる。なお、図４Ｂ中ｌ１が軸上主光線であり、０が絞りの中心である。
【００２４】
また、本実施の形態において適用する自由曲面プリズムでは、光の入射側から光線の通る順に、第１面４ａ〜６ａを透過し、第２面４ｂ〜６ｂ及び第３面４ｃ〜６ｃで内部反射し、さらに再び第２面４ｂ〜６ｂを透過して撮像素子１５に至ることになり、図７に示すように、第１面４ａ〜６ａは上掲図４Ｂで表記したところのＸ−Ｚ面内では正の屈折力を有し、Ｙ−Ｚ面内では負の屈折力を有する。また、第２面４ｂ〜６ｂはＸ−Ｚ面内では負の屈折力を有し、Ｙ−Ｚ面内では正の屈折力を有し、さらに、第３面４ｃ〜６ｃではＸ−Ｚ、Ｙ−Ｚ面内ともに正の屈折力を有する。
【００２５】
従って、本発明の実施の形態のカメラで使用する自由曲面をプリズム４〜６では、Ｙ−Ｚ面内では第１面４ａ〜６ａから出射面である第２面４ｂ〜６ｂまで、負、正、正、正であり、単純化すると入射側から負、正の屈折力の組合せとなるため、いわゆるレトロフォーカスの配置になっている。このためバックフォーカスを長くすることが可能となり、撮像素子１５と光学素子（自由曲面プリズム）との間の距離を適切に確保することができ、さらにＩＲカットフィルター、光学的ローパスフィルター等の光学部材を配備するにも有利となる。
【００２６】
また、Ｘ−Ｚ面内においては、第１面４ａ〜６ａ、第２面４ｂ〜６ｂは正の屈折力と負の屈折力によってコマ収差の補正を行っており、第３面４ｃ〜６ｃが主な正の屈折力を有する反射面であり負の屈折力を有する第２面４ｂ〜６ｃ（この場合出射面）で像面をフラットにする作用を持つことになる。
【００２７】
さらに、このような光学面の配置によれば、軸外光線においては第３面４ｃ〜６ｃの正の屈折力で像面に対して内側に傾いた主光線を、第２面４ｂ〜６ｂ（この場合出射面）の負の屈折力によって撮像面に対して略垂直な光線にしてＸ−Ｚ面内における像側テレセントリック条件を満たすことに寄与することになる。
【００２８】
上記のような構成の撮影ユニットにおいては、第１の光学素子４により集束された左側６０度の視野の光像が撮像素子１５において結像し、第２の光学素子５を通して集束された右側６０度の視野の光像が撮像素子１５において左６０度視野の光像に並列に結像され、さらに、前段プリズム７及び第３の光学素子６を通して集束された前方６０度の視野の光像が撮像素子１５においてそれら光像に並列に結像される。すなわち、単一の撮像素子１５において３つの視野が並列に結像される。このような構成の撮影ユニットにおいては、左側から前方、右側にわたる１８０度の範囲における撮影が可能となる。
【００２９】
本発明の実施の形態では、左側６０度、右側６０度、前方６０度の範囲における視野を結像させる撮影ユニットを例として説明したが、撮影可能な視野の範囲は使用する自由曲面プリズム４、５、６そのものの形状や材料、組合せによって適宜変更することができるものであり、各自由曲面プリズム４、５、６の視野が６０度の範囲に限定されるものではない。
【００３０】
また、第１の光学素子４と第２の光学素子５の２つのみで撮影ユニットを構成してもよいし、左側又は右側の何れか一方と、前方あるいは後方の何れか一方の視野を結像させるように別の光学素子を組み込んで撮影ユニットを構成することも可能である。このような構成では光学素子の設置個数が少なくて済む分、構造をより簡素化することができ撮影ユニット自体のさらなる小型化が可能となる。
【００３１】
また、３６０度の視野を撮像することを可能にするために、本実施の形態に示した構成の撮影ユニットを２組み背面合わせとした構成を採用することはもちろん、さらに上下に組み込んだ構成を採用することもできる。
【００３２】
本発明を提供した撮影ユニットは、特に車両に搭載して外部の視野を撮影するのに好適であるばかりでなく、車両の内部に設置して車両の内外を監視する監視カメラとしても有用であり、またカプセル型内視鏡等にも適用し得る。
【００３３】
図８は、本発明の第１の実施の形態の撮影ユニットを有するカメラを車両に搭載した例を示す図である。
図８に示すように、左右両方向及び前方を同時に撮影可能とするカメラＵを、車両のフロントグリルの中央部に取り付けて、両サイド及び前方のモニタとして使用することができる。このような使用例においては、車両の走行に際して両サイドにおける安全性がより高まる。
【００３４】
図９は、本発明の第１の実施形態に係る撮影ユニットの概要を説明するための図であり、図１０は、被写体の撮影範囲の例を示す図であり、図１１は、図１０の被写体の光像（イメージ）を撮影したときに本発明の第１の実施形態に係る撮像素子１５で撮影される３つの画像の位置関係と、画像サイズを説明するための図である。
【００３５】
図９に示したように、本発明の第１の実施形態に係る撮影ユニットは、前述の自由曲面プリズム４、５、６および前段プリズム７から構成されるプリズム群５０と１つの撮像素子１５とが配置されている。
【００３６】
一般的なカメラの撮像素子は、長方形であり、風景を撮影する場合は、画面の長辺が水平方向、短辺が垂直方向になるように配置して被写体を正対する。一方、本発明の第１の実施形態に係るカメラは、撮像素子の短辺が被写体の水平方向となるように配置され、カメラの撮影ユニットは、図１１に示されるように分割された３画像が撮像素子の長辺方向に積み重ねられた画像として結像するよう構成されている。図１１に示した画像５１ａは、自由曲面プリズム４による左側視野６０度で撮像された画像であり、画像５１ｂは、自由曲面プリズム５による右側視野６０度で撮像された画像であり、画像５１ｃは、自由曲面プリズム６と前段プリズム７による中心視野６０度で撮像された画像である。
【００３７】
図１０に示されている画像は、被写体の例であり、車体の正面に設置されたカメラが、進行方向を中心に左右１８０度の範囲を撮影する場合の被写体のイメージである。この図１０に示された被写体を撮像した場合に得られる撮影画像は、図１１に示した画像５１ａ、５１ｂ、５１ｃから構成されることを表わしている。
【００３８】
図１２は、本実施の形態のカメラシステムの構成を示す図である。
図１２において、カメラシステムは、撮像装置であるカメラユニット５２、カメラコントローラ７１、ドライビングコントローラ７２を備えている。
【００３９】
前記カメラユニット５２は、前述の自由曲面プリズム４、５、６、前段プリズム７、撮像素子１５の他、ＴＧ／ＳＳＧ部６０、ＣＤＳ／ＡＧＣ／Ａ／Ｄ部６１、デジタル信号処理部６２、シリアル（Ｓｅｒｉａｌ）Ｉ／Ｆ６３、通信Ｉ／Ｆ７４を備えている。
【００４０】
前記カメラコントローラ７１は、ＣＰＵ５３、操作入力部５４、画像処理ＭＰＵ５７、メモリ５８、通信Ｉ／Ｆ７５、通信Ｉ／Ｆ７７を備えている。
また、前記ドライビングコントローラ７２は、ディスプレー５５、ディスプレーコントローラ５６、ＧＰＳ／ナビ６５、回転角センサー６６、方向指示器６７、速度センサー６８、通信Ｉ／Ｆ７８が、バス７９を介して接続されている。
【００４１】
なお、撮影画像のホワイトバランスや露出補正、シャッタースピードなどの設定については、一般的な車載カメラなどと同等であり、詳細は省略する。
カメラユニット５２は、動画と静止画を撮像可能であり、このカメラユニット５２に対してカメラコントローラ７１のＣＰＵ５３及び画像処理ＭＰＵ５７が、通信Ｉ／Ｆ７４、７５を介して接続されている。画像処理ＭＰＵ５７は、画像の反転、回転、鏡像、縮小、拡大、歪補正、画像張り合わせ等の処理を行う。そして、その画像処理ＭＰＵ５７で処理された画像を、通信Ｉ／Ｆ７７、７８、およびディスプレーコントローラ５６を介して、モニタ装置として使用されるディスプレー５５に出力する。
【００４２】
また、カメラユニット５２は、図１０に示したような被写体イメージを結像するためのプリズム群５０、及びこのプリズム群５０による結像位置に配置されたＣＭＯＳ／ＣＣＤでなる撮像素子１５を有する。カメラユニット５２により、撮像素子１５が出力した信号から図１１の撮影画像が生成され、カメラコントローラ７１が撮影画像から表示用の画像を生成する。カメラコントローラ７１で生成された表示画像は、ドライビングコントローラ７２のディスプレー５５に出力される。
【００４３】
カメラユニット５２のＴＧ／ＳＳＧ部６０は、撮影タイミングパルスを発生し撮像素子１５を駆動する。カメラユニット５２のＣＤＳ／ＡＧＣ／ＡＤ６１は、撮像素子１５が出
力した画像信号を相関二重サンプリングし、信号量に応じて利得を調整し、Ａ／Ｄ変換して、デジタル信号処理６２に出力する。そして、デジタル信号処理６２では、入力したデジタル画像信号にカラー信号補間、カラー補正、ホワイトバランスなどの処理を行ない撮影画像データとして生成したカラー画像データをカメラコントローラ７１に出力する。
【００４４】
シリアルＩ／Ｆ６３は、ＣＰＵ５３からの露出設定や利得調整などのコマンドに従って、撮影装置部５２の各部分の制御を行う。
カメラコントローラ７１に入力した撮影画像データは、ＣＰＵ５３からの画像表示方法の指示に基づき、後述する画像の処理を行い、ディスプレーコントローラ５６を介してディスプレー５５にて表示される。
【００４５】
次に、ディスプレー５５に画像を表示するための画像処理および加工について説明する。
前出の図１１は、自由曲面プリズム４、５、６を介して撮像素子１５に結像された像を表しているが、撮像素子１５の画素数を７５０画素×４８０画素とすると、図１１に示したように、３分割であれば各視野の画像の画素数は、縦２５０画素、横４８０画素となる。
【００４６】
一方、この３分割された画像は、左６０度５１ａ、右６０度５１ｂ、中心６０度５１ｃの計１８０度の視野を撮像することになるが、このまま縦２５０画素、横４８０画素の画像を３つ合成してディスプレー５５に表示しようとすると、縦方向は問題ないが、横方向に１４４０画素必要となり、車載用として一般的なＷＶＧＡ（横８００画素×縦４８０画素）のサイズの液晶ディスプレー５５では３画像を合成したパノラマ画像をそのまま表示することができない。
【００４７】
そこで、画像処理ＭＰＵ５７は、後述する各種表示方法に応じた画像の縮小、拡大、切り出しなどの処理を実行する。
ディスプレーコントローラ５６への画像データ転送は、この図１２では車内ＬＡＮを使用する例となっている。
【００４８】
ここで、車内ＬＡＮに接続されている各デバイスについて説明する。
ＧＰＳ／ナビ６５は、ＧＰＳ測位情報に基づくカーナビゲーションのシステムで車内ＬＡＮを通じて、ＣＰＵ５３に取り込んだ地図情報を、画像の表示形式に従って画像処理ＭＰＵ５７で加工し、その画像をディスプレー５５に表示する。
【００４９】
回転角センサー６６は、車両の運転者が操作したステアリングハンドルの回転角度の情報をＣＰＵ５３に転送する。画像処理ＭＰＵ５７は、その回転角度情報から算出した車輪の操舵角に対応する進行方向の画像をパノラマ画像から切り出し、設定された画像の表示形式に従って加工しディスプレー５５に表示する。
【００５０】
方向指示器６７は、車両の運転者が操作した方向指示器の情報をＣＰＵ５３に転送し、画像処理ＭＰＵ５７はその情報により指定される所定の進行方向に対応する視野の画像を切り出した後、設定された表示形式に従って加工し、ディスプレーコントローラ５６がその画像をディスプレー５５に表示する。
【００５１】
また、速度センサー６８は、車両の速度を検出する。
次に、画像取り込み、画像処理、および画像処理後の画像表示までの流れを説明する。
図１３は、本実施の形態のカメラ制御処理の流れを示すフローチャートであり、図１４は、本実施の形態のカメラシステムの機能ブロックを示す図であり、図１５は、第１のフレームメモリの構成を示す図であり、図１６は、第２のフレームメモリの構成を示す図で
あり、図１７は、パノラマ画像生成テーブルの構成示す図である。
【００５２】
自由曲面プリズム４、５、６を介して撮像素子１５に結像された像は、前述した通り、図１１の画像５１のように撮像される。
まず、ステップＳ７０１において、撮像部７０１が画像を撮像し、次のステップＳ７０２において、撮像して得られた画像信号が、ＡＤＣ（Ａ／Ｄコンバータ）７０２によってデジタル画像信号に変換される。そして、ステップＳ７０３において、画像生成部７０３によって、デジタル画像信号にカラー信号補間、カラー補正、ホワイトバランス、ガンマ補正等の処理が付された後、次のステップＳ７０４において、第１のフレームメモリ７０４にカラーの撮影画像データとして格納される。
【００５３】
この際、第１のフレームメモリ７０４に格納される画像は、図１５に示される通り、撮像素子１５に結像した像と同じカラー画像データが格納される。
なお、カメラユニット５２は、一般のビデオカメラ、デジタルスティルカメラなどと同様に、露出検出部７１７と露出コントローラ７１８とを適宜備え、撮像素子１５からの輝度情報により算出された露出値に応じて撮影露出の自動調整を行っている。
【００５４】
次に、ステップＳ７０５において、第１のフレームメモリ７０４に格納された撮影画像データは、読出／書込コントローラ７０５によって、アドレスメモリ７０６に記憶されたパノラマ画像生成用のアドレス変換テーブルを参照して読み出され、同アドレス変換テーブル参照して、第２のフレームメモリ７０７に格納される（図１７参照）。図１５及び図１６に示した例では、第１のフレームメモリ７０４のアドレス（１、１）から（１、７５０）まで、すなわち図１５の１Ａに対応するアドレス（１、１）から（１、２５０）、１Ｂに対応するアドレス（１、２５１）から（１、５００）、１Ｃに対応するアドレス（１、５０１）から（１、７５０）の順番に読み出された画像データは、それぞれ第２のフレームメモリ７０７のアドレス（２５０、１）から（１、１）に書き込まれ、続いてアドレス（２５０、９６１）から（１、９６１）に書き込まれ、続いてアドレス（２５０、４８１）から（１、４８１）に書き込まれる。すなわち、図１５の１Ａラインは図１６の１Ａに書き込まれ、図１５の１Ｂラインは図１６の１Ｂラインに書き込まれ、図１５の１ＢＣラインは図１６の１ＢＣラインに書き込まれる。このような処理を第１のフレームメモリ７０４に格納された撮影画像データ全体に実行する。
【００５５】
この処理により、図１６に示される通り、第１のフレームメモリ７０４に格納された画像を上下および左右反転し、さらにそれら左側視野６０度、中央視野６０度、右側視野６０度の画像が１８０度の視野に対応する1つの画像になるよう配列され、第２のフレームメモリ７０７にパノラマ画像として格納されることになる。
【００５６】
ところで、自由曲面プリズムで結像する被写体像は、一般的に幾何学的に歪んでいる。従って、上記のように撮影で得られた撮影画像データを３つに分割して各部分画像を回転や反転処理して第２のフレームメモリに書き込んでも、そのままでは図１６のように部分画像を１つのパノラマ画像として合成することができない。ステップＳ７０６では、第２のフレームメモリ７０７に記憶された３つの自由曲面プリズム４、５、６により結像した各像に対応する３つの部分画像のそれぞれについて幾何学的に補正して、歪みを除去する。
【００５７】
図１８の（Ａ）及び（Ｂ）は、歪み補正の原理を説明するための図面であり、図１９は、補間処理を説明するための図面である。図１８の（Ａ）に示される長方形のメッシュを被写体として撮影して得られた画像の一例が図１８の（Ｂ）である。自由曲面プリズムによる幾何学収差により、長方形のメッシュが歪んでしまう。図１８の（Ａ）の長方形のメッシの格子点（ｉ、ｊ）の座標を（Ｘｉ，ｊ、Ｙｉ，ｊ）としたとき、その格子点は撮像
部７０１による撮影によって、撮影画像の座標（ｘｉ，ｊ、ｙｉ，ｊ）に写像される。（Ｘｉ，ｊ、Ｙｉ，ｊ）と（ｘｉ，ｊ、ｙｉ，ｊ）の組を基に、下記式１で表わされた二乗誤差ρが最小となるように、下記式２及び下記式３の補正多項式の係数
【００５８】
【数１】
2010124164.tif 000003
【００５９】
及び
【００６０】
【数２】
2010124164.tif 000004
【００６１】
を決定する。決定された
【００６２】
【数３】
2010124164.tif 000005
【００６３】
及び
【００６４】
【数４】
2010124164.tif 000006
【００６５】
を代入した式２及び式３で、歪んだ画像から歪みの無い画像を得ることができる。
【００６６】
【数５】
2010124164.tif 000007
【００６７】
第２のフレームメモリの各画素ごとに、その画素の中心のアドレスを座標として、二乗
誤差ρを最小にするように求められた、
【００６８】
【数６】
2010124164.tif 000008
【００６９】
及び
【００７０】
【数７】
2010124164.tif 000009
【００７１】
を代入した補正多項式（上記式２および上記式３）で写像先のアドレスを計算してアドレスメモリ７０６に歪補正アドレス変換テーブルとして、予めアドレスメモリ７０６に記憶しておき、ステップＳ７０５のパノラマ画像データ生成の処理後、第２のフレームメモリ７０７に記憶された画像の各画素を読み出して、アドレスメモリ７０６に記憶された歪補正アドレス変換テーブルを参照して写像先のアドレスを特定する。
【００７２】
なお、写像前の画素の中心の座標が整数あっても、上記式２及び上記式３の補正多項式で写像された座標は整数にならない場合がある。例えば図１９の（Ａ）の画素Ｐ２２を補正多項式（式２および式３）で写像した結果、図１９の（Ｂ）のＰ´２２に写像されたとしても、中心が整数の画素のＱ２２の位置には写像されずにずれてしまう。その場合は、注目している画素（Ｐ２２）と共に周囲の画素（Ｐ１１〜Ｐ３３）を上記式２及び上記式３で算出した座標に写像し、それら写像先の画素の中心座標と画素値から、中心が整数の座標位置の画素Ｑ２２の画素値を補間により算出する。なお、補間処理としては、バイリニア補間やバイキュービック補間など公知の技術を使用する。なお、バイキュービック補間の場合は、画素Ｐ１１〜Ｐ３３のさらに外側の画素も使用して補間処理する。
【００７３】
すなわち、第２のフレーメモリの各画素について、その画素およびその周辺の画素を式２及び式３で写像し、写像後の座標と画素値とから補間部７１９で補間処理して、歪補正後の画像として、第１のフレームメモリ７０４に記憶する。そして、３つの部分画像の歪み補正が完了後、画像データを第１のフレームメモリ７０４から第２のフレームメモリ７０７に転送して歪の無いパノラマ画像を生成する。
【００７４】
上記説明では、第１のフレームメモリ７０４に記憶された撮影画像データを３分割して、各部分画像を回転や反転して第２のフレームメモリ７０７に一旦記憶し、第２のフレームメモリ７０７に記憶された部分画像毎に歪み補正するようになっているが、第１のフレームメモリ７０４に記憶された撮影画像データを３分割して、各部分画像を回転や反転処理すると同時に歪補正を実行しても良い。また、歪補正処理は読み出しコントローラ７０８、補間部７０９、第３のフレームメモリ７１０を使用しても良い。
【００７５】
次に、ステップＳ７０７の「表示設定処理」のサブルーチンが実行される。本実施の形態では、画像をディスプレー５５に、前述したように少なくとも２つ以上の形式で表示することができる。
【００７６】
図２０は、カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートであり、図２１は、全視野（１８０度）の中心部分を拡大して表示する場合のアドレスメモリ７０６に記憶された表示画像作成用のアドアレス変換テーブルの構成を示す図であり、図２２は、視野の中心部分（約５２度の範囲）を拡大してディスプレー５５の画面全体に表示した場合の表示例を示す図であり、図２３は、全視野（１８０度）をパノラマ画像として縮小して表示する場合の表示画像生成用のアドレス変換テーブルの構成を示す図であり、図２４は、全視野のパノラマ画像をディスプレー５５に縮小して表示した場合の
表示例を示す図である。
【００７７】
図２０に示したフローは、ステップＳ７０６までの処理で得られた被写体のパノラマ画像から、車輪の操舵角度に応じて視野を設定し、ディスプレー５５に表示する処理のフローを示したものである。
【００７８】
まず、ステップＳ７１０において、モニタ表示形式の設定の変更を検出する。すなわち、表示モードスイッチ７１４で表示形式の切り替えの指示があったか否かを検出する。
モニタ表示形式の設定に変更があれば（ステップＳ７１０：ＹＥＳ）は、ステップＳ７１１に進み、アドレスメモリ７０６に記憶された、表示形式に対応するアドレス変換テーブルを選択する。他方、モニタ表示形式の設定に変更がなければ（ステップＳ７１０：ＮＯ）、選択されたアドレス変換テーブルのままで、次のステップＳ７１２に進む。
【００７９】
そして、ステップＳ７１２において、表示パターンが単画面表示か否かを判断する。ここで本実施の形態に於いては、単画面表示の場合は、表示する画像を拡大または縮小し、単画面表示でない場合は、拡大も縮小もせずに表示するものとする。
【００８０】
表示パターンが単画面表示である場合（ステップＳ７１２：ＹＥＳ）、ステップＳ７１３において、センサーコントローラ７２０が、ステアリングハンドルの回転角センサー７１６の情報から車輪の操舵角を検出する。そしてその操舵角から車両の進行方向を特定する。車両の進行方向の検出方法については、後述する幾つかの方法でも良い。
【００８１】
次に、ステップＳ７１４において、読み出しコントローラ７０８がアドレスメモリ７０６に記載された現在の表示形式に対応するアドレス変換テーブルを選択し、車両の進行方向に対応して第２のフレームメモリ７０７に記憶されたパノラマ画像から部分画像中の画素を読み出すアドレスを算出する。例えば、ディスプレー５５の画面全体に１つの画像を表示する形式が設定されている場合、車輪の操舵角が０度のときには、図２１のアドレス変換テーブルが選択され、そのアドレス変換テーブルを参照して、図１６のパノラマ画像の中央部分約５２度の範囲を拡大して、ディスプレー５５の画面全体に表示できるようにする。すなわち、アドレス（１、４９１）と（２５０、９６０）で囲まれる範囲の画素が読み出され、その読み出された部分の画像を、ステップＳ７１５でアドレス変換テーブルを参照してディスプレー５５に対応するＷＶＧＡ（４８０×８００画素）サイズの画像に、１．９２倍に拡大する。
【００８２】
一般に、拡大率が整数でない場合には、読み出した画素の多くはアドレス変換により、非整数のアドレスに写像される。ここで、非整数のアドレスとは、画素の中心が非整数のアドレスであることを表わす。その場合、第２のフレームメモリ７０７から読み出した画素と共にその画素の周辺の画素もブロックとして読み出し（ステップＳ７１５）、アドレスコントローラ７０８が読み出されたブロック内の各画素のアドレスと拡大率により写像先のアドレスを算出し、書き込み先のアドレス（非整数）を決定する（ステップＳ７１６）。続いて、補間部７０９がそれらブロック読み出しした画素の画素値と写像先の非整数のアドレスから補間処理により、ステップＳ７１６で決定されたディスプレーの整数アドレスに位置する画素の画素値を算出する（ステップＳ７１７）。補間方法としては、上述のように、バイリニア補間やバイキュービック補間などの公知の方法を使用する。
【００８３】
次に、ステップＳ７１８において、補間処理により算出された画素値が、図示しない書き込みコントローラにより第３のフレームメモリ７１０の設定されたアドレスに格納される。
【００８４】
そして、ステップＳ７１９において、第３のフレームメモリ７１０の全画素の書き込み
が完了したか否かを判断し、完了していなければ（ステップＳ７１９：ＮＯ）、ステップＳ７１４に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７１９：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により第３のフレームメモリ７１０に記憶された画像データがディスプレー５５に伝送されて表示画像の更新処理が行われ、図２２に示したような画面が表示パネル７１２へ表示される。
【００８５】
なお、図１４の表示コントローラ７１１は図１０のディスプレーコントローラ５６に対応し、表示パネル７１２はディスプレー５５に対応する。また図１４の第１のフレームメモリ７０４、第２のフレームメモリ７０７、第３のフレームメモリ７１０、アドレスメモリ７０６は図１０のメモリ５８に確保され、図１４の読出／書込コントローラ７０５、読み出しコントローラ７０８、補間部７０９、補間部７１９、センサーコントローラ７２０の各機能は図１２のＣＰＵ５３により実行される。
【００８６】
一方、全視野をディスプレー５５に表示する表示形式が設定された場合、ディスプレー５５の画面の画素数をＷＶＧＡ（横８００画素×縦４８０画素）とした場合には、前述したように、７５０×４８０画素の撮像素子１５で得られた３画面を合成して生成される全視野１８０度のパノラマ画像は、横方向の画素数が４８０×３＝１４４０となり、第２のフレームメモリ７０７に記憶されているパノラマ画像データをそのままのサイズでディスプレー５５に表示することはできない。そのため、画像を縮小する必要がある。この場合は、上述のステップＳ７１４からステップＳ７１９において縮小処理が実行される。なお、ステップＳ７１４においては、図２３に示したようなアドレス変換テーブルを参照し、ステップＳ７１７の補間ステップにおいては、拡大同様に縮小の場合も、ある画素とその画素の周囲の画素を用いてバイリニア補間あるいはバイキュービック補間等の処理により縮小し、ステップＳ７２０においては、表示コントローラ７１１によりディスプレー５５の表示画面の更新処理が行われ、図２４に示したような１８０度視野のパノラマ画面を表示パネル７１２へ表示する。
【００８７】
なお、図２２のようにパノラマ画像の一部分、すなわちカメラユニット５２が撮影した視野の一部のみをディスプレー５５に表示する場合には、車両の進行する方向に応じて、表示する視野を自動的に切り換えることも可能である。
【００８８】
図２５は、視野の中央部分を撮影画像の１画素がディスプレー５５の１画素に対応するように等倍率（拡大率１倍）で表示する場合のアドレス変換テーブルの構成を示す図であり、図２６は、左側９０度から前方をカバーする視野の撮影画像を等倍率で表示する場合のアドレス変換テーブルを示す図であり、図２７は、右側９０度から前方をカバーする視野の撮影画像を等倍率で表示する場合のアドレス変換テーブルを示す図であり、図２８は、図２５のアドレス変換テーブルで変換した中心視野の画像の表示例を示す図であり、図２９は、図２６のアドレス変換テーブルで変換した左視野の画像の表示例を示す図であり、図３０は、図２７のアドレス変換テーブルで変換した右視野の画像の表示例を示す図である。
【００８９】
上述のステップＳ７１３において、読み出しコントローラ７０８が、ステアリングハンドルの回転角センサー７１６の情報から車輪の操舵角を検出する代わりに、方向指示器６７からの運転者の設定した方向指示器スイッチ７１５の方向を検出してもよい。この場合、ステップＳ７１４において、方向指示器スイッチの設定方向に応じてアドレスメモリ７０６に記憶された図２５、２６、２７に示したアドレス変換テーブルの何れかを参照し、ステップ７２０において、ステップＳ７１３で検出された方向指示器スイッチ７１５の設定方向と同方向の画面が、ディスプレー５５に表示される。
【００９０】
また、図２８、２９、３０に示すような画面を切り換える代わりに、図２８から図２９
へ、又は図２８から図３０へ連続的視野が変化するようにディスプレー５５の画面の表示を変化させることも可能ある。なお、視野の連続的な変化については、前述した回転角センサー６６により運転者が操作したハンドル回転角度を検出し、その回転角度から車輪の操舵角度を算出するのに替えて、回転各センサー６６で車輪の操舵角度を直接検出してもよい。
【００９１】
なお、車輪の操舵角度に同期して視野を変化させる場合、ステップＳ７１３からステップＳ７１９の処理で実行されるが、ステップＳ７１４の読み出しアドレス算出では、車輪の操舵角度から、車両がこれから進行する方向の画像がディスプレー５５に表示するように、画像の読み出しアドレスを算出する機能を備えている。そして、この算出された画像の読み出しアドレスに従って、ステップＳ７１３からステップＳ７１９の処理が同様に実行される。
【００９２】
図３１Ａは、車輪の操舵角度α（車両の前方に対して右方向をプラスとする）に応じて表示画面の視野を変化させる場合の、アドレス変換テーブルの読み出しアドレス及び書き込みアドレスの算出を説明するための図である。
【００９３】
以下の説明においては、第２のフレームメモリ７０７に記憶されるパノラマ画像の画素数（縦×横）をＨ×Ｗ、ディスプレー５５の表示画面の画素数（縦×横）をＭ×Ｎとし、パノラマ画像の横方向の全視野の角度をθ、パノラマ画像の中央（車両の前方）に対する表示中心の横方向の角度をφ（右方向をプラス）とする。そして、図３１Ａに示したように、ディスプレー５５の画面にパノラマ画像が上下に外接するように表示させる。この場合の、ディスプレー５５に表示されるパノラマ画像の横方向の画素数をＡ，その画素数Ａに対応する視野の角度をηとし、表示される視野の左端のパノラマ画像中の位置を画素単位でＹ，角度単位でξ、表示される視野の右端のパノラマ画像中の位置を画素単位でＺとする。
【００９４】
図３１から以下の式４乃至式８が成り立つ。
Ｍ／Ｈ＝Ｎ／Ａ            （式４）
Ｗ／Ａ＝θ／η            （式５）
ξ＝φ＋（θ−η）／２    （式６）
Ｗ／θ＝Ｙ／ξ            （式７）
Ｚ＝Ｙ＋Ａ              （式８）
これらの式４乃至式８より、図３１Ａのパノラマ画像の画素ａ、ｂ、ｃ、ｄの横方向のアドレスＹおよびＺが、下記の式９および式１０から得られる。
【００９５】
【数８】
2010124164.tif 000010
【００９６】
【数９】
2010124164.tif 000011
【００９７】
従って、第２のフレームメモリ７０７に格納されたパノラマ画像の画素ａ（１，Ｙ）はディスプレー５５のアドレス（１，１）に写像され、画素ｂ（Ｈ，Ｙ）はディスプレー５５のアドレス（Ｍ，１）に写像され、画素ｃ（１，Ｚ）はディスプレー５５のアドレス（１，Ｎ）に写像され、画素ｄ（Ｈ，Ｚ）はディスプレー５５のアドレス（Ｍ，Ｎ）に写像される。また、パノラマ画像のそれら画素ａ、ｂ、ｃ、ｄで囲まれた範囲にあるアドレス
（Ｓ，Ｔ）の画素ｅは、ディスプレー５５のアドレス（Ｓ・Ｍ／Ｈ，（Ｔ−Ｙ）・Ｍ／Ｈ）に写像される。このアドレスが整数アドレスの場合はそのまま画面に表示するが、非整数アドレスの場合には、上述したように、画素ｅおよび周辺の画素をディスプレーの画面に写像して、その画面上のアドレスと画素値から補正により整数アドレスの画素値を算出する。
【００９８】
なお、車輪の操舵角度αと視野の方向φとは比例するようにする。すなわち、下記式１１が成り立つようにする。
φ＝Ｋ・α              （式１１）
ここで、Ｋは比例定数である。視野の方向を車輪の操舵角度に一致させる場合はＫ＝１にすればよい。また、αの変化範囲を複数に分割し、それぞれの範囲ではφを固定値としてもよい。また、車両の速度に応じて、上記式１１の比例定数Ｋを変化させてもよい。例えば速度センサー６８で検出した車両の速度が低速の範囲では比例定数Ｋ１とし、高速の範囲でＫ１より大きいＫ２を比例定数としてもよい。
【００９９】
図３１Ｂは、車輪の操舵角度（α度）の２倍の角度を視野の中心としてディスプレー５５の画面全体にパノラマ画像の一部分を表示する場合（Ｋ＝２）のアドレス変換テーブルの例を示す図である。
【０１００】
図３１Ｂに示したアドレス変換テーブルは、第２のフレームメモリに格納された、左右視野１８０度のパノラマ画像のサイズを２５０画素×１４４０画素（Ｈ×Ｗ）、ディスプレーの画面のサイズ４８０画素×８００画素（Ｍ×Ｎ）、車輪の操舵角度をα度とし、表示の中心の方向φが操舵角度の２倍（φ＝２α）となる場合のアドレス変換テーブルである。なお、図３１Ｂ中の読み出しアドレスの少数点以下は切り捨ててある。
【０１０１】
図３２は、３画面を２段表示にした表示例を示す図であり、図３３は、３画面を２段表示にする場合のアドレスメモリの構成を示す図であり、図３４は、左右視野の２画面とＧＰＳ情報を含む地図情報とを２段表示にした表示例を示す図である。
【０１０２】
図２０のステップＳ７１２で、表示パターンが単画面表示でないと判断された場合（ステップＳ７１２：ＮＯ）は、表示する画像を拡大または縮小せず、第２のフレームメモリ７０７に格納されたパノラマ画像の一部分をそのままディスプレー５５に表示することになる。
【０１０３】
すなわち、表示パターンが単画面表示でない場合（ステップＳ７１２：ＮＯ）、例えば、図３２に示したような、中心視野、右視野および左視野の３画面を２段表示にする場合、ステップＳ７２１において、読み出しコントローラ７０８が、ステアリングハンドルの回転角センサー７１６の情報から車輪の操舵角を検出する。方向の検出方法については、前述した幾つかの方法でも良い。
【０１０４】
次に、ステップＳ７２２において、アドレスメモリ７０６に記憶されたアドレス変換テーブル（例えば図３３）を参照して、第２のフレームメモリ７０７から読み出す画素のアドレスを設定し、フレームメモリ７０７からステップＳ７２２で設定されたアドレスの画素を読み出す。
【０１０５】
次に、ステップＳ７２４において、図３３のアドレス変換テーブルを参照してステップＳ７２３で読み出した画素の第３のフレームメモリの書き込み先のアドレスを特定し、ステップＳ７２５において、ステップＳ７２３で読み出した画素を第３のフレームメモリ７１０のステップ７２４で特定されたアドレスに格納する。
【０１０６】
そして、ステップＳ７２６において、第３のフレームメモリ７１０に対する３枚（あるいは２枚）全画面の書き込みが完了したか否かを判断し、完了していなければ（ステップＳ７２６：ＮＯ）、ステップＳ７２２に戻ってそれ以降を繰り返し、完了していれば（ステップＳ７２６：ＹＥＳ）、ステップＳ７２０において、表示コントローラ７１１により表示の更新処理が行われ、図３２に示したような画面を表示パネル７１２へ表示する。
【０１０７】
なお、図３２に示したような画面の代わりに、図３４に示したような地図情報を含む画面を表示することも可能である。ここで、図３４に示したような画面は、縦２５０画素、横４８０画素の画像の上下５画素削除して縦２４０画素の２段にし、左側８０画素を削除して横を４００画素の左視野画像と右側８０画素を削除した左視野画像を上段に、中心の縦２４０画素、構４８０画素を下段に表示し前述のカーナビゲーションシステムの地図情報を表示した例である。
【０１０８】
また、ＧＰＳが指示された場合は、ＧＰＳ７１３からのＧＰＳ画像を読み出しコントローラ７０８で読み出し、縮小または拡大の補間された画像を第３のフレームメモリ７１０に格納する。同様に、ドライバーモニタへの水平および垂直スタートアドレスを設定し、画像生成出力さるようにしても良い。
【０１０９】
以上、本発明の各実施の形態を、図面を参照しながら説明してきたが、本発明が適用されるカメラシステムは、その機能が実行されるのであれば、上述の各実施の形態等に限定されることなく、単体の装置であっても、複数の装置からなるシステムあるいは統合装置であっても、ＬＡＮ等のネットワークを介して処理が行なわれるシステムであってもよいことは言うまでもない。
【０１１０】
また、バスに接続されたＣＰＵ、ＲＯＭやＲＡＭのメモリ、入力装置、出力装置、外部記録装置、媒体駆動装置、可搬記憶媒体、ネットワーク接続装置で構成されるシステムでも実現できる。すなわち、前述してきた各実施の形態のシステムを実現するソフトウェアのプログラムコードを記録したＲＯＭやＲＡＭのメモリ、外部記録装置、可搬記憶媒体を、カメラシステムに供給し、そのカメラシステムのコンピュータがプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【０１１１】
この場合、可搬記憶媒体等から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記録した可搬記憶媒体等は本発明を構成することになる。
【０１１２】
プログラムコードを供給するための可搬記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、磁気テープ、不揮発性のメモリーカード、ＲＯＭカード、電子メールやパソコン通信等のネットワーク接続装置（言い換えれば、通信回線）を介して記録した種々の記憶媒体などを用いることができる。
【０１１３】
また、コンピュータがメモリ上に読み出したプログラムコードを実行することによって、前述した各実施の形態の機能が実現される他、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳなどが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現される。
【０１１４】
さらに、可搬型記憶媒体から読み出されたプログラムコードやプログラム（データ）提供者から提供されたプログラム（データ）が、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ
などが実際の処理の一部又は全部を行ない、その処理によっても前述した各実施の形態の機能が実現され得る。
【０１１５】
すなわち、本発明は、以上に述べた各実施の形態等に限定されるものではなく、本発明の要旨を逸脱しない範囲内で種々の構成又は形状を取ることができる。
【図面の簡単な説明】
【０１１６】
【図１】撮影ユニットの外観のそれぞれ異なる方向からの斜視図である。
【図２】図１の（Ａ）および（Ｂ）に示した撮影ユニットの分解状態を示した図である。
【図３Ａ】自由曲面プリズムを組み入れるフレーム１の外観を表す図である。
【図３Ｂ】フレーム１に自由曲面プリズム４、５、６を組み入れた外観を表す図である。
【図４Ａ】図１におけるＡ−Ａ断面を示した図である。
【図４Ｂ】自由曲面プリズム４、５、６のＹ−Ｚ面を示した図である。
【図５】自由曲面プリズム４、５、６の外形を表す斜視図である。
【図６】前段プリズム７の外形を表す斜視図である。
【図７】各光学面の各面内における屈折力の正負を表にした図である。
【図８】本発明の第１の実施の形態の撮影ユニットを有するカメラを車両に搭載した例を示す図である。
【図９】本発明の第１の実施形態に係る撮影ユニットの概要を説明するための図である。
【図１０】被写体の撮影範囲の例を示す図である。
【図１１】図１０の被写体の光像（イメージ）を撮影したときに本発明の第１の実施形態に係る撮影画像および画面のサイズを説明するための図である。
【図１２】本発明のカメラシステムの構成を示す図である。
【図１３】本発明を適用したカメラ制御処理の流れを示すフローチャートである。
【図１４】本発明を適用したカメラシステムの機能ブロックを示す図である。
【図１５】第１のフレームメモリの構成を示す図である。
【図１６】第２のフレームメモリの構成を示す図である。
【図１７】パノラマ画像生成テーブルの構成示す図である。
【図１８】歪み補正の原理を説明するための図面であり、（Ａ）は、歪み補正パラメータを算出するための被写体の一例であり、（Ｂ）は、（Ａ）を撮影したときに得られる画像データの一例である。
【図１９】補間処理を説明するための図面である。
【図２０】カメラ制御処理のサブルーチン「表示設定処理」の流れを示すフローチャートである。
【図２１】視野の中心部分を拡大して表示する場合のアドレスメモリ７０６に記憶された表示画像作成用のアドアレス変換テーブルの構成を示す図である。
【図２２】視野の中心部分（約５２度の範囲）を拡大してディスプレー５５の画面全体に表示した場合の表示例を示す図である。
【図２３】全視野（１８０度）をパノラマ画像として縮小して表示する場合の表示画像生成用のアドレス変換テーブルの構成を示す図である。
【図２４】縮小して３画面表示した場合の表示例を示す図である。
【図２５】視野の中央部分を撮影画像１画素がディスプレー５５の１画素に対応するように等倍率（拡大率１倍）で表示する場合のアドレス変換テーブルの構成を示す図である。
【図２６】左側９０度からの視野の撮影画像を等倍率で表示する場合のアドレス変換テーブルを示す図である。
【図２７】右側９０度からの視野の撮影画像を等倍率で表示する場合のアドレス変換テーブルを示す図である。
【図２８】図２５のアドレス変換テーブルで変換した中心視野の画像の表示例を示す図である。
【図２９】図２６のアドレス変換テーブルで変換した左視野の画像の表示例を示す図である。
【図３０】図２７のアドレス変換テーブルで変換した右視野の画像の表示例を示す図である。
【図３１Ａ】車輪の操舵角度α（右方向をプラスとする）に応じて表示画面の視野を変化させる場合の、アドレス変換テーブルの読み出しアドレス及び書き込みアドレスの算出を説明するための図である。
【図３１Ｂ】車輪の操舵角度（α度）の２倍の角度を視野の中心としてディスプレー全体に画像を表示する場合のアドレス変換テーブルの例を示す図である。
【図３２】３画面を２段表示にした表示例を示す図である。
【図３３】３画面を２段表示にする場合のアドレスメモリの構成を示す図である。
【図３４】左右視野の２画面と地図情報とを２段表示にした表示例を示す図である。
【符号の説明】
【０１１７】
ｅ1〜ｅ3    区画凹所
ｈ          貫通孔
ｔ1〜ｔ6    座部
Ｕ          カメラ
１          フレーム
１ａ        天面壁
１ｂ        底面壁
１ｃ        傾斜側壁
２          ホルダ
３          カバー体
３ａ〜３ｃ  窓孔
４、５、６  自由曲面プリズム
６ａ        第１面
７          前段プリズム
１５        撮像素子
１７        基板（フレキシブルプリント基板等）
１８        放熱板
１９        保護板
５０        プリズム群
５１、５１ａ、５１ｂ、５１ｃ  画像
５２        カメラユニット
５３        ＣＰＵ
５４        操作入力部
５５        ディスプレー
５６        ディスプレーコントローラ
５７        画像処理ＭＰＵ
５８        メモリ
６０        ＴＧ／ＳＳＧ部
６１        ＣＤＳ／ＡＧＣ／Ａ／Ｄ部
６２        デジタル信号処理部
６３        シリアルＩ／Ｆ
６５        ＧＰＳ／ナビ
６６        回転角センサー
６７        方向指示器
６８        速度センサー
７１        カメラコントローラ
７２        ドライビングコントローラ
７４        通信Ｉ／Ｆ
７５        通信Ｉ／Ｆ
７７        通信Ｉ／Ｆ
７８        通信Ｉ／Ｆ
７９        バス
７０１      撮像部
７０２      ＡＤＣ（Ａ／Ｄコンバータ）
７０３      画像生成部
７０４      第１のフレームメモリ
７０５      読出／書込コントローラ
７０６      アドレスメモリ
７０７      第２のフレームメモリ
７０８      読み出しコントローラ
７０９      補間部
７１０      第３のフレームメモリ
７１１      表示コントローラ
７１２      表示パネル
７１３      ＧＰＳ
７１４      表示モードスイッチ
７１５      方向指示器スイッチ
７１６      回転角センサー
７１７      露出検出部
７１８      露出コントローラ
７１９      補間部
７２０      センサーコントローラ
【図７】
2010124164.tif 000012
【図９】
2010124164.tif 000013
【図１０】
2010124164.tif 000014
【図１１】
2010124164.tif 000015
【図１２】
2010124164.tif 000016
【図１３】
2010124164.tif 000017
【図１４】
2010124164.tif 000018
【図１５】
2010124164.tif 000019
【図１６】
2010124164.tif 000020
【図１７】
2010124164.tif 000021
【図１８】
2010124164.tif 000022
【図１９】
2010124164.tif 000023
【図２０】
2010124164.tif 000024
【図２１】
2010124164.tif 000025
【図２２】
2010124164.tif 000026
【図２３】
2010124164.tif 000027
【図２４】
2010124164.tif 000028
【図２５】
2010124164.tif 000029
【図２６】
2010124164.tif 000030
【図２７】
2010124164.tif 000031
【図２８】
2010124164.tif 000032
【図２９】
2010124164.tif 000033
【図３０】
2010124164.tif 000034
【図３１Ｂ】
2010124164.tif 000035
【図３２】
2010124164.tif 000036
【図３３】
2010124164.tif 000037
【図３４】
2010124164.tif 000038
【図１】
2010124164.tif 000039
【図２】
2010124164.tif 000040
【図３Ａ】
2010124164.tif 000041
【図３Ｂ】
2010124164.tif 000042
【図４Ａ】
2010124164.tif 000043
【図４Ｂ】
2010124164.tif 000044
【図５】
2010124164.tif 000045
【図６】
2010124164.tif 000046
【図８】
2010124164.tif 000047
【図３１Ａ】
2010124164.tif 000048