(57)【要約】【課題】  魚眼カメラの撮像素子で検知された受像画像の一部を拡大し、歪みが少ない状態で表示画面に表示できるようにした撮像装置を提供するものであり、さらに魚眼カメラが傾いて取り付けられたときにその補正を行うことができるようにする。【解決手段】  魚眼カメラ１１で撮像した受像画像２０の一部の区画３０ａの画像を拡大し、しかも区画３０ａ内の各箇所によって拡大率を相違させた状態で、表示画面に表示させる。その画像処理では、画角の拡大率を場所により相違させた変化関数を使用し、さらに中心射影に変換して表示画面を生成し、像点の天頂角と方位角を求める。この方位角に角度補正値を加算して表示画像を生成することにより、魚眼カメラ１１の取付け角度誤差の補正ができる。【選択図】図５
2009123131.tif 000002
【特許請求の範囲】
【請求項１】
レンズと、前記レンズで集光された光を検知する撮像素子と、前記撮像素子で検知された受像信号に基づいて所定の面積の表示画面に画像を表示させるための画像データを生成する画像処理部と、が設けられた撮像装置において、
前記画像処理部では、前記撮像素子で検知された受像画角内の一部の区画の画像を拡大して前記表示画面で表示させる画像処理を行い、前記画像処理では、受像画像の回転方向の補正が可能であることを特徴とする撮像装置。
【請求項２】
極座標変換で、空間点の方位角に補正値を与えることで、回転方向の補正が行なわれる請求項１記載の撮像装置。
【請求項３】
前記画像処理では、表示画面のそれぞれの画素Ｐｉに対して以下の演算が行われ、この画素Ｐｉと撮像素子の検知点の受像信号とを対応させる処理が行われる請求項１または２記載の撮像装置。
（１）表示画面上での画素Ｐｉに対応するＸ方向の画角αｘとＹ方向の画角αｙ、および表示画像の拡大倍率に対応する焦点距離ｆとから、表示画面における像点の位置ｒｘとｒｙを算出する。
（２）前記ｒｘおよびｒｙとから、画素Ｐｉに映し出されるべき空間点の天頂角θｉと方位角Φｉを求める。
（３）前記方位角Φｉに回転角度の補正値ΔΦを加算する。
（４）前記天頂角θｉおよび角度補正後の方位角（Φｉ＋ΔΦ）と、前記レンズの射影多項式とから、前記画素Ｐｉを、撮像素子のいずれかの検知点で検出された撮像信号に対応させる。
（５）前記処理（１）ないし（４）を、表示画面の全ての画素に対して行う。
【請求項４】
前記処理（１）では、表示画面上での画素ＰｉのＸ軸方向の座標位置を変化関数に代入して、前記座標位置に相当するＸ方向の画角αｘを算出し、表示画面上での画素ＰｉのＹ軸方向の座標位置を変化関数に代入して、前記座標位置に相当するＹ方向の画角αｙを求める請求項３記載の撮像装置。
【請求項５】
前記処理（１）は、ｒｘ＝ｆ・ｔａｎ（αｘ）、ｒｙ＝ｆ・ｔａｎ（αｙ）の演算によって行われる請求項３または４記載の撮像装置。
【請求項６】
前記処理（４）では、以下の演算により、撮像素子上の画素Ｐｉに対応する検知点の座標ｍｘ，ｍｙが算出される請求項３ないし５のいずれかに記載の撮像装置。
ｒ（θｉ）＝ｋ１θｉ＋ｋ２θｉ３＋ｋ３θｉ５＋ｋ４θｉ７＋・・・・・
ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ＋ΔΦ）
ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ＋ΔΦ）
（ただし、前記ｒ（θｉ）は、任意の次数の項以後を切り捨てた多項式で計算される）
【請求項７】
前記受像画像の回転方向の補正は、撮像装置内に設けられた記憶手段に補正値を入力することで行われる請求項１ないし６のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、魚眼レンズや広角レンズあるいは望遠レンズなどのレンズで集光された光を撮像素子で検知し、撮像素子で検知された受像信号の一部を、拡大し、歪みを修正して表示画面に表示させることができる撮像装置に関する。
【背景技術】
【０００２】
魚眼レンズや広角レンズなどと撮像素子とを備えたカメラを使用して、外部の景色を撮影し、その画像を表示装置に表示する撮像装置は、防犯用や車載用などとして使用されている。特に、車載用では魚眼レンズや広角レンズを備えたカメラが車体に取り付けられて、車体の外側の広い範囲の景色が前記カメラで撮影される。しかし、魚眼レンズなどを使用したカメラの撮像素子に検知される受像画像は、レンズの光軸から画角が広がるにしたがって、画像の歪みが大きくなる。
【０００３】
そこで、以下の特許文献１には、カメラで検知された受像画像に対して、歪曲収差の演算を行って画像の歪みを修正する発明が開示されている。しかし、特許文献１には、歪曲収差の演算をどのようにして行うかが記載されていない。魚眼レンズなどを備えたカメラで撮影される画像は三次元的な奥行きを有しているため、歪曲収差の演算を行う際には、三次元幾何学処理が必要になり、その演算量は莫大なものになる。よって、カメラで撮影されている受像画像に対して、時間を継続して前記演算を行うには、ＣＰＵの負担が大きすぎる。
【０００４】
特許文献２に記載されている表示システムは、湾曲画像の歪みを矯正する変換テーブルを設定しておき、カメラで検知された湾曲画像を、前記変換テーブルを用いて表示用データに変換するというものである。
【０００５】
しかし、この方法は、変換テーブルが、カメラで撮像される受像画像のうちの定められた位置の定められた大きさの区画にのみ対応するものであるため、カメラで検知された受像画像のうちの複数の区画を取り出して表示装置に表示しようとすると、それぞれの区画ごとに変換テーブルを用意することが必要になる。つまり、変換テーブルは、カメラで撮影される領域の一定の空間に対応するものであるため、汎用性に乏しく、例えばカメラの取り付け角度がずれて、実際の画像が変換テーブルで予定している区画の画像と相違するようなときには、受像画像に正常な補正を与えることができなくなる。
【０００６】
以下の特許文献３に記載の発明も、予め表示領域に対応したマッチングテーブルを用意し、複数のカメラで検知した受像画像の画素を、マッピングテーブルの予め決められた座標位置に対応させて表示するというものである。特許文献３に記載の発明も、特許文献２に記載の発明と同様に、予め決められた区画の画像に対してしか歪み補正を与えることはできない。
【０００７】
また、歪み補正した画像は、平面展開原理にしたがったものであるため、全体の画角が狭くなることを避けることができない。
【０００８】
さらに特許文献２および３に記載された発明は、いずれも予め決められた変換テーブルに、撮像素子で検知された各検知点での受像信号（輝度信号）を当てはめる方式であるため、例えば、自動車の車体などにカメラが傾いて取り付けられると、撮像素子で検知された受像画像と変換テーブルとで、画像の回転方向に角度誤差が生じてしまう。その結果、表示画面上において規定されるべき位置に異なる位置の受像信号が与えられてしまい、本来の表示画像を得ることができなくなる。
【０００９】
そのため、魚眼レンズなどを備えたカメラを、自動車の車体などに高精度に位置決めして取り付けることが必要になり、取付け作業がきわめて煩雑になる。
【特許文献１】特開２０００−３２４３８６号公報
【特許文献２】特開２００４−４０４１１号公報
【特許文献３】特許第３３００３３４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上記従来の課題を解決するものであり、魚眼レンズや広角レンズまたは望遠レンズなどのレンズを備えたカメラで検知した受像画像を、広い視野で自然な画像として表示できる撮像装置を提供することを目的としている。
【００１１】
また、本発明は、前記カメラの取り付け角度精度がラフであっても、正確な角度の表示画像が得られる撮像装置を提供することを目的としている。
【課題を解決するための手段】
【００１２】
本発明は、レンズと、前記レンズで集光された光を検知する撮像素子と、前記撮像素子で検知された受像信号に基づいて所定の面積の表示画面に画像を表示させるための画像データを生成する画像処理部と、が設けられた撮像装置において、
前記画像処理部では、前記撮像素子で検知された受像画角内の一部の区画の画像を拡大して前記表示画面で表示させる画像処理を行い、前記画像処理では、受像画像の回転方向の補正が可能であることを特徴とするものである。
【００１３】
本発明は、極座標変換で、空間点の方位角に補正値を与えることで、回転方向の補正を行なうことも可能である。
【００１４】
本発明は、前記画像処理では、表示画面のそれぞれの画素Ｐｉに対して以下の演算が行われ、この画素Ｐｉと撮像素子の検知点の受像信号とを対応させる処理が行われるものとして構成できる。
【００１５】
（１）表示画面上での画素Ｐｉに対応するＸ方向の画角αｘとＹ方向の画角αｙ、および表示画像の拡大倍率に対応する焦点距離ｆとから、表示画面における像点の位置ｒｘとｒｙを算出する。
（２）前記ｒｘおよびｒｙとから、画素Ｐｉに映し出されるべき空間点の天頂角θｉと方位角Φｉを求める。
（３）前記方位角Φｉに回転角度の補正値ΔΦを加算する。
（４）前記天頂角θｉおよび角度補正後の方位角（Φｉ＋ΔΦ）と、前記レンズの射影多項式とから、前記画素Ｐｉを、撮像素子のいずれかの検知点で検出された撮像信号に対応させる。
（５）前記処理（１）ないし（４）を、表示画面の全ての画素に対して行う。
【００１６】
例えば、前記処理（１）では、表示画面上での画素ＰｉのＸ軸方向の座標位置を変化関数に代入して、前記座標位置に相当するＸ方向の画角αｘを算出し、表示画面上での画素ＰｉのＹ軸方向の座標位置を変化関数に代入して、前記座標位置に相当するＹ方向の画角αｙを求めることが好ましい。
【００１７】
前記変化関数は、画素Ｐｉの位置情報の画角に対して拡大率を与えるものであるが、本明細書での拡大率とは、画角を拡張する文字どおりの拡大を意味することのみならず、画角を縮小する率をも意味する概念である。
【００１８】
また、前記処理（１）は、ｒｘ＝ｆ・ｔａｎ（αｘ）、ｒｙ＝ｆ・ｔａｎ（αｙ）の演算によって行われる。
【００１９】
さらに、前記処理（４）では、以下の演算により、撮像素子上の画素Ｐｉに対応する検知点の座標ｍｘ，ｍｙが算出される。
【００２０】
ｒ（θｉ）＝ｋ１θｉ＋ｋ２θｉ３＋ｋ３θｉ５＋ｋ４θｉ７＋・・・・・
ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ＋ΔΦ）
ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ＋ΔΦ）
（ただし、前記ｒ（θｉ）は、任意の次数の項以後を切り捨てた多項式で計算される）
【００２１】
また、本発明は、前記受像画像の回転方向の補正は、撮像装置内に設けられた記憶手段に補正値を入力することで行われるものとすることが可能である。
【発明の効果】
【００２２】
本発明の撮像装置は、魚眼レンズや広角レンズまたは望遠レンズなどのレンズを備えたカメラに設けられている撮像素子で検知した受像画像の一部を取り出し、その内部での画角の拡大率を場所に応じて相違させることにより、受像画像の一部を拡大しまたは縮小して表示画面に表示できる。その結果、広い視野の画像を表示することができる。
【００２３】
さらに、受像画像の回転方向の補正が可能であるため、表示画面に表示される表示画像の方位角を自由に設定できる。そのため、例えば、カメラが自動車の車体などに傾いて取り付けられたとしても、回転角度を補正した表示画像を表示させることができる。
【発明を実施するための最良の形態】
【００２４】
図１は本発明の実施の形態の撮像装置のブロック図である。
撮像装置１０は魚眼カメラ１１を有している。魚眼カメラ１１は例えば自動車１の車体に取り付けられる。図１の実施の形態では、魚眼カメラ１１が自動車１のフェンダーミラー２に取り付けられており、その光軸は、前輪３と後輪４との間に位置している。また前記光軸は、図１の紙面の手前方向に向けられ、且つ地面の表面とほぼ４５度の角度で下向きに設置されている。
【００２５】
図２（Ａ）に示すように、魚眼カメラ１１は、魚眼レンズ１２と、魚眼レンズ１２で集光された光を検知する複数の検知点を有する撮像素子１３とを有している。撮像素子１３は、ＣＣＤまたはＣＭＯＳである。
【００２６】
撮像素子１３の各検知点で検知された受像信号（輝度信号）は、画像検出部１４でディジタル値に変換されて画像処理部１５に与えられる。画像処理部１５には記憶手段としてメモリ１６が併設され、画像処理部１５とメモリ１６は、制御部１７により制御される。画像処理部１５は、画像検出部１４から送られたディジタル値の画像信号の演算処理を行うことができる。制御部１７は、ＣＰＵを主体とするものであり、前記画像処理部１５を制御するとともに、表示ドライバ１８を制御することが可能である。画像処理部１５で処理されて得られた画像データは、表示ドライバ１８に送られ、車内に設けられた液晶表示パネルなどの表示パネル１９に画像が表示される。
【００２７】
さらに、撮像装置１０には入力部が設けられており、この入力部から制御部１７に角度補正値（ΔΦ）を入力することができる。入力された角度補正値（ΔΦ）は、メモリ１６に格納される。この入力部は、撮像装置１０が自動車に取り付けられたときに、自動車のインストルメントパネルに設けられた操作釦のいずれかを使用して操作できるようにしてもよい。あるいは、撮像装置１０の回路内のいずれかに端子を設け、この端子にコンピュータを接続して、撮像装置１０を自動車１に搭載する際に、その作業の一環として、コンピュータから制御部１７へ角度補正値（ΔΦ）を与えてもよい。
【００２８】
図４には、直交軸であるＸ軸とＹ軸を含む平面Ｈと、Ｘ軸とＹ軸との交点を起点として平面Ｈに垂直に延びるＺ軸を示している。平面Ｈを撮像素子の撮像面とし、平面の前方に位置するＡ１を撮像素子に映し出すべき空間点としたときに、この空間点Ａ１のＺ軸に対する天頂角はθｉであり、Ｘ軸を基準としたときの空間点Ａ１の方位角はΦｉである。
【００２９】
図２（Ｂ）は、魚眼カメラ１１に設けられた前記撮像素子１３の平面図である。魚眼レンズの一般的なモデルは、等距離射影であり、像点Ａ２の像高をｒａとし焦点距離をｆとしたときに、ｒａ＝ｆ・θｉである。その他のモデルとして、等立体角射影は、ｒａ＝２ｆ・ｓｉｎ（θｉ／２）であり、正射影は、ｒａ＝ｆ・ｓｉｎθｉである。
【００３０】
これら種々のタイプの魚眼レンズを１つのモデル式で表現すると、像高ｒａをｒ（θｉ）として、次のように表すことができる。
ｒ（θｉ）＝ｋ１θｉ＋ｋ２θｉ３＋ｋ３θｉ５＋ｋ４θｉ７＋・・・・・
【００３１】
この実施の形態では任意の高次の項を省略した魚眼レンズのモデル式である多項式がメモリ１６内に記憶されている。例えば、メモリ１６には、以下の多項式が記憶されている。ただし、多項式の次数は任意に設定することが可能である。
ｒ（θｉ）＝ｋ１θｉ＋ｋ２θｉ３
【００３２】
図３は、ピンホールや収差のない理論的な凸レンズなどを使用した射影モデルである中心射影を示している。中心射影では、像高ｒと焦点距離ｆとの関係は以下の通りである。
ｒ＝ｆ・ｔａｎθ
【００３３】
図３に示す中心射影のモデルでは、歪みのない画像を撮像できるが、限られた面積の撮像素子に対して投影できる画角は狭い。これに対し、図２（Ａ）（Ｂ）に示す魚眼レンズ１２を使用した魚眼カメラ１１では、撮像素子１３に広角の画像を結像させることができ、その画角はほぼ１８０度である。ただし、魚眼カメラ１１の撮像素子１３に結像する受像画像は、画角が広がるにしたがって画像の歪みが大きくなる。
【００３４】
図５は、魚眼カメラ１１で撮像したときに撮像素子１３に結像している受像画像２０の一例を示している。図５では、魚眼レンズ１２の光軸の位置をＯ１点として示している。また、図６は、表示パネル１９の画面１９ａに表示される表示画像３０が示され、図８には画面１９ａに表示される表示画像３０Ａが示されている。図６に示す表示画像３０は角度補正値ΔΦによる補正が行われていないものであり、図８に示す表示画像３０Ａは前記角度補正値ΔΦによる補正が行われたものである。
【００３５】
図６に示す表示画像３０および図８に示す表示画像３０Ａは、図５に示す受像画像２０のうちの一部の区画３０ａを切り出して拡大して示している。図５に示す受像画像２０は、魚眼レンズ１２で結像されているため、光軸Ｏ１から離れるにしたがって歪み量が大きくなる。よって、画像処理部１５では、図５に示す受像画像２０の区画３０ａ内の画角を場所により拡大率が相違するように拡大し場所によっては縮小して歪みを修正し、表示画面１９ａに表示するための画像データ生成している。
【００３６】
このとき、光軸Ｏ１から離れる位置にしたがって画角の拡大率を変化させる。例えば、光軸Ｏ１に近い領域は画角を拡大し、光軸Ｏ１に離れるにしたがって拡大率を小さくしまたは徐々に縮小する。または、逆に、光軸Ｏ１から離れるにしたがって拡大率を徐々に大きくしてもよい。このような画像処理を行なうことで、表示画像３０として表示する画像を広い視野角で見やすい状態で表示できる。
【００３７】
図５に示す例では、受像画像２０の一部の区画３０ａを拡大して表示画像３０または表示画像３０Ａを生成する画像処理において、図７に示すＸ軸方向の変化関数Ｔ（ｘ）が使用される。この変化関数Ｔ（ｘ）は、画像処理の補正のために予め決められたものであり、メモリ１６に保持されている。
【００３８】
図６では、表示画面３０において、Ｘ軸方向の座標位置を、右端から左端へ向けて、０、０．１、０．２、０．３、・・・で示している。図７の横軸には、表示画面３０の前記Ｘ軸方向の座標位置が示され、縦軸には、横軸に示されているＸ軸方向のそれぞれの位置の画像の点の画角をどのくらい拡大して画像処理すべきかが数値化されて示されている。
【００３９】
図７に示す変化関数Ｔ（ｘ）は、例えば、図６の表示画面１９ａのＸ軸方向の「０．１」の座標位置に表示すべき情報を、Ｘ軸方向の「０．１８」の位置まで画角を拡大して処理することを示しており、例えば、図６におけるＸ軸方向の「０．９」の座標位置に表示すべき情報を、Ｘ軸方向の「１．０」の位置まで画角を拡大して処理することを示している。
【００４０】
同様に、メモリ１６には、Ｙ軸方向の画角の変化関数Ｔ（ｙ）も保持されている。このＹ軸方向の画角の変化関数Ｔ（ｙ）は、Ｘ軸方向の画角の変化関数Ｔ（ｘ）と相違する曲率の関数である。
【００４１】
変化関数Ｔ（ｘ）とＴ（ｙ）を使用して、画像処理を行なうことにより、場所によって画角の拡大率が相違するのみならず、場所によって画角を拡大させる方向を徐々に相違させた画像を生成することができる。
【００４２】
図７に示す変化関数Ｔ（ｘ）は、魚眼カメラ１１の受像画像２０の一部の区画３０ａを拡大して図６に示す表示画面１９ａとして表示する際に、場所によって拡大率を相違させる補正関数であり、この変化関数Ｔ（ｘ）を使用することで、注目する領域を拡大し、全体として歪みのない見やすい表示画像１９ａを生成することができる。この変化関数Ｔ（ｘ）は、魚眼カメラ１１の受像画像２０において画像を切り出す区画３０ａの位置、区画３０ａの面積、および区画３０ａの画像の拡大率などに応じて生成される。
【００４３】
この変化関数Ｔ（ｘ）は、受像画像２０から切り出すべき区画３０ａの位置、面積、拡大率に応じて、複数箇所の拡大率を決め、複数の拡大率をＢスプライン曲線などのパラメトリック曲線で結ぶことで生成される。つまり、メモリ１６に、複数の拡大率の位置情報とパラメトリック曲線の関数を与えることで、図７に示す変化関数Ｔ（ｘ）をメモリ１６に保持できる。
【００４４】
画像処理方法は以下の手順で行われる。この画像処理では、図６または図８に示す表示パネル１９の表示画面１９ａの任意の画素Ｐｉに、撮像素子１３のどの検知点で検知された受像信号（輝度信号）を対応させて表示するかを決める。
【００４５】
まず、画素ＰｉのＸ軸方向の位置を図７に示す変化関数Ｔ（ｘ）の横軸に代入して、正規化する画角αｘを求める。例えば画素ＰｉのＸ軸方向の位置が「０．１」であるとき、この「０．１」を図７の変化関数に代入すると、Ｘ軸方向の位置が「０．１８」である。画像処理部１５では、Ｘ軸方向の前記「０．１８」の位置が、Ｘ軸方向のどの程度の画角に相当するかが求められる。求められた値が正規化した受像画角αｘである。
【００４６】
図５に示す例では、区画３０ａのＸ軸の「０」点が、光軸Ｏ１のＸ方向位置に一致している。すなわち、図６のＸ軸座標の原点は、光軸Ｏ１と同じＸ座標位置である。よって、この例では、図７に示す縦軸が、画角の拡大率を意味している。例えば、画素ＰｉがＸ軸座標上の位置「０．１」にあるとき、図６の表示画面１６ａにおける「０．１」の位置の画角を１．８倍することで、正規化した受像画角αｘを求めることができる。同様にして、Ｙ軸方向の変化関数Ｔ（ｙ）を用いて、画素ＰｉのＹ軸方向での正規化した受像画角αｙを求めることができる。図７の変化関数Ｔ（ｘ）では、光軸Ｏ１から離れるにしたがって画角の拡大率が徐々に小さくなる。
【００４７】
次に、表示画像の拡大倍率に対応する焦点距離ｆ、および前記画角αｘと前記画角αｙとから、表示画像における像点の位置ｒｘとｒｙを算出する。
【００４８】
例えば、正規化した受像画角αｘとαｙを使用し、図３に示すような歪みを伴なわない中心射影での受像面Ｈａ上の結像位置を求める。この演算では、図５に示す受像画像２０の区画３０ａを、図６に示す表示画像３０として表示するための全体の拡大率に相当する倍率から得られる焦点距離ｆの値が使用される。すなわち、中心射影に関する以下の式から、画素Ｐｉの中心射影に相当する正規化した座標位置ｒｘ、ｒｙを求めることができる。
【００４９】
ｒｘ＝ｆ・ｔａｎ（αｘ）
ｒｙ＝ｆ・ｔａｎ（αｙ）
【００５０】
前記のように正規化した座標位置ｒｘ，ｒｙを知ることにより、図４に示す天頂角θｉと、方位角Φｉを知ることができる。この天頂角θｉと方位角Φｉは、図７に示す変化関数Ｔ（ｘ）で補正された正規化した天頂角および方位角であり、画素Ｐｉに映し出されるべき空間点の天頂角および方位角である。
【００５１】
図６に示す表示画像３０は、前記天頂角θｉと方位角Φｉを使用して以下の演算を行った結果を示している。これに対し、図８に示す表示画像３０Ａは、前記方位角Φｉに対して角度補正値ΔΦを加算した（Φｉ＋ΔΦ）を方位角として使用し、以下の演算を行った結果である。図６に示す表示画像３０は、自動車１の車体に対して、魚眼カメラ１１がやや角度が傾いて取り付けられたときのものである。図８に示す表示画面３０Ａは、前記取付け角度の傾きを補正する角度補正値ΔΦを加算した（Φｉ＋ΔΦ）を方位角として使用し、取付け角度の誤りを補正している。
【００５２】
画像処理方法では、魚眼カメラ１１に使用されている魚眼レンズ１２のモデル式に、前記天頂角θｉを代入して、像高であるｒ（θｉ）を求める。
【００５３】
ｒ（θｉ）＝ｋ１・θｉ＋ｋ２・θｉ３、
なお、ｒ（θｉ）は、ｒ（θｉ）＝ｋ１θｉ＋ｋ２θｉ３＋ｋ３θｉ５＋ｋ４θｉ７＋・・・・・の任意の高次の項以降を省略した多項式であれば、どの項数の式であっても使用できる。
【００５４】
次に、前記像高ｒ（θｉ）と方位角Φｉまたは（Φｉ＋ΔΦ）とから、図５に示す受像画像２０内のどの位置の検知点の受像信号（輝度信号）を、表示画面１９ａの画素Ｐｉの画像データとして使用するかを求める。
【００５５】
図６に示す表示画像３０は、以下の演算を行って得られる。
ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ）
ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ）
【００５６】
図８に示す表示画像３０Ａは、以下の演算を行って得られる。
ｍｘ＝ｒ（θｉ）・ｃｏｓ（Φｉ＋ΔΦ）
ｍｙ＝ｒ（θｉ）・ｓｉｎ（Φｉ＋ΔΦ）
前記処理が、表示画面１９ａ内の全ての画素Ｐｉに対して行われる。
【００５７】
以上の画像処理方法では、魚眼カメラ１１の撮像素子１３に結像した画像を、中心射影映像に変換することで、図６に示す拡大された表示画像３０および図８に示す表示画像３０Ａにおいて歪みを修正できる。ただし、撮像素子１３で得られた広角の画像データを単純に中心射影の映像へ変換すると、表示画面に表示された映像は、光軸Ｏ１に近い領域が極端に縮小され、光軸Ｏ１から離れた領域が極端に拡大されて、視認性が著しく損なわれた画像となる。
【００５８】
これに対し、前記画像処理では、図７に示すように予め決められた変化関数Ｔ（ｘ）を用いて、画素Ｐｉに対応する画像位置の正規化された画角αｘとαｙを求め、この画角αｘとαｙを用い、中心射影の式から天頂角θｉと方位角Φｉを求めている。そして、この天頂角θｉと方位角Φｉを、使用している魚眼レンズ１２のモデル式に代入して、表示画面１９ａの画素Ｐｉに与えるべき、受像画像２０上の検知点の位置（ｍｘ，ｍｙ）を算出している。
【００５９】
前記変化関数を用いることにより、魚眼カメラの画像を直接に中心射影の映像に変換するときのような、極端な拡大領域と縮小領域が発生するのを補正でき、視認性の良い表示画像３０を得ることができる。
【００６０】
さらに、図８に示す表示画像３０Ａでは、前記方位角Φｉに対して角度補正値ΔΦを与えているため、表示画像の回転角度を補正できる。そのため、魚眼かメタ１１が自動車１の車体などに傾いて取り付けられたときに、前記入力部などを使用し、角度補正値ΔΦを与えることにより、図６に示すように傾いた表示画像３０ではなく、図８に示すように傾きを補正した表示画像３０Ａを得ることができる。
【００６１】
なお、回転方向の補正方法として、極座標変換で、空間点の方位角に補正値を与えることで、回転方向を補正することもできる。
【００６２】
また、本発明は、前記実施の形態のように魚眼レンズを備えたカメラを使用したものに限定されず、例えば広角レンズや、望遠レンズを使用したものであっても適用可能である。広角レンズは、画角がおよそ６０度またはそれ以上であり、周辺部分に認識できる程度の歪みを生じするものである。本明細書では、広角レンズは魚眼レンズを含む概念である。
【図面の簡単な説明】
【００６３】
【図１】本発明の実施の形態の撮像装置を示すブロック図、
【図２】（Ａ）は魚眼レンズと撮像素子の側面図、（Ｂ）は撮像素子の正面図、
【図３】中心射影モデルの説明図、
【図４】空間点と、天頂角および方位角の説明図、
【図５】魚眼カメラの受像画像の一例を示す説明図、
【図６】角度補正値ΔΦで補正していない表示画像の説明図、
【図７】Ｘ軸方向の変化関数Ｔ（ｘ）の説明図、
【図８】角度補正値ΔΦで補正した表示画像の説明図、
【符号の説明】
【００６４】
１１  魚眼カメラ
１２  魚眼レンズ
１３  撮像素子
１５  画像処理部
１９  表示パネル
１９ａ  表示画面
２０  受像画像
３０  補正前の表示画像
３０Ａ  補正後の表示画像
３０ａ  区画
【図１】
2009123131.tif 000003
【図２】
2009123131.tif 000004
【図３】
2009123131.tif 000005
【図４】
2009123131.tif 000006
【図５】
2009123131.tif 000007
【図６】
2009123131.tif 000008
【図７】
2009123131.tif 000009
【図８】
2009123131.tif 000010