(57)【特許請求の範囲】
【請求項１】
広角レンズを用いた撮像装置による入力画像を、１画面毎に座標変換して出力する画像変換装置において、
１画面の入力画像を記憶する入力画像保持手段と、
１画面の出力画像を記憶する出力画像保持手段と、
出力画像の座標と入力画像の座標とを対応付けることにより、前記入力画像保持手段の１画面の入力画像のデータから１画面の出力画像のデータを形成する座標変換手段とから成り、
前記座標変換手段における出力画像の座標と入力画像の座標との対応付けが、
出力画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、
前記広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを前記撮像装置により撮像して解析することにより、入力画像の歪みを完全に無くす変換が、
R＝R'＋k1R'3＋k2R'5＋…＋knR'2n+1
及びθ＝θ'
により決定されるとき、歪みを完全には無くさないような変換式
R＝p(R'＋k'1R'3＋k'2R'5＋…＋k'nR'2n+1)
及びθ＝θ'
ただし、pは0でない定数、ki＝０となるi(1≦i≦n)について、k'i＝０、
その他のi(1≦i≦n)について、1＞k'1/k1＞k'2/k2＞…＞k'n/kn＞０
により構成されることを特徴とする画像変換装置。
【請求項２】
請求項１において、ki≠０である全てのi(1≦i≦n)について、
k'i/ki＝ａi、０＜a＜１
である画像変換装置。
【請求項３】
広角レンズを用いた撮像装置による入力画像を変換する画像変換装置において、
１画面の入力画像を記憶する入力画像保持手段と、
１画面の中間画像を記憶する中間画像保持手段と、
１画面の出力画像を記憶する出力画像保持手段と、
中間画像の座標と入力画像の座標とを対応付けることにより、前記入力画像保持手段の１画面の入力画像のデータから１画面の中間画像のデータを形成する第１の座標変換手段と、
出力画像の座標と中間画像の座標とを対応付けることにより、前記中間画像保持手段の１画面の中間画像のデータから１画面の出力画像のデータを形成する第２の座標変換手段とから成り、
前記第１の座標変換手段における中間画像の座標と入力画像の座標との対応付けが、
前記広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを前記撮像装置により撮像して解析することにより、得られる中間画像の歪みを完全に無くす第１の変換であって、
中間画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、
R＝p(R'＋k1R'3＋k2R'5＋…＋knR'2n+1)
及びθ＝θ'
により決定され、
前記第２の座標変換手段における出力画像の座標と中間画像の座標との対応付けが、
歪みの無い中間画像から、周辺部において歪みを持たせる第２の変換であって、
レンズ中心点に対応するディジタル座標を(0,0)とした座標系における出力画像の座標を(x'',y'')とし、対応する中間画像の座標を(x',y')としたとき、
x'＝px''(1＋k1''x''2＋k2''x''4＋…＋km''x''2m)
及びy'＝qy''
により構成されることを特徴とする画像変換装置。
【請求項４】
広角レンズを用いた撮像装置による入力画像を変換する画像変換装置において、
１画面の入力画像を記憶する入力画像保持手段と、
１画面の中間画像を記憶する中間画像保持手段と、
１画面の出力画像を記憶する出力画像保持手段と、
中間画像の座標と入力画像の座標とを対応付けることにより、前記入力画像保持手段の１画面の入力画像のデータから１画面の中間画像のデータを形成する第１の座標変換手段と、
出力画像の座標と中間画像の座標とを対応付けることにより、前記中間画像保持手段の１画面の中間画像のデータから１画面の出力画像のデータを形成する第２の座標変換手段とから成り、
前記第１の座標変換手段における中間画像の座標と入力画像の座標との対応付けが、
前記広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを前記撮像装置により撮像して解析することにより、得られる中間画像の歪みを完全に無くす第１の変換であって、
中間画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、
R＝p(R'＋k1R'3＋k2R'5＋…＋knR'2n+1)
及びθ＝θ'
により決定され、
前記第２の座標変換手段における出力画像の座標と中間画像の座標との対応付けが、
歪みの無い中間画像から、周辺部において歪みを持たせる第２の変換であって、
レンズ中心点に対応するディジタル座標を(0,0)とした座標系における出力画像の座標を(x'',y'')とし、対応する中間画像の座標を(x',y')としたとき、
x'＝px''及び
y'＝qy''(1＋k1''y''2＋k2''y''4＋…＋km''y''2m)
により構成されることを特徴とする画像変換装置。
【請求項５】
広角レンズを用いた撮像装置による入力画像を変換する画像変換装置において、
１画面の入力画像を記憶する入力画像保持手段と、
１画面の中間画像を記憶する中間画像保持手段と、
１画面の出力画像を記憶する出力画像保持手段と、
中間画像の座標と入力画像の座標とを対応付けることにより、前記入力画像保持手段の１画面の入力画像のデータから１画面の中間画像のデータを形成する第１の座標変換手段と、
出力画像の座標と中間画像の座標とを対応付けることにより、前記中間画像保持手段の１画面の中間画像のデータから１画面の出力画像のデータを形成する第２の座標変換手段とから成り、
前記第１の座標変換手段における中間画像の座標と入力画像の座標との対応付けが、
前記広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを前記撮像装置により撮像して解析することにより、得られる中間画像の歪みを完全に無くす第１の変換であって、
中間画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、
R＝p(R'＋k1R'3＋k2R'5＋…＋knR'2n+1)
及びθ＝θ'
により決定され、
前記第２の座標変換手段における出力画像の座標と中間画像の座標との対応付けが、
歪みの無い中間画像から、周辺部において歪みを持たせる第２の変換であって、
レンズ中心点に対応するディジタル座標を(0,0)とした座標系における出力画像の座標を(x'',y'')とし、対応する中間画像の座標を(x',y')としたとき、
x'＝px''(1＋k1''x''2＋k2''x''4＋…＋km''x''2m)
及び
y'＝qy''(1＋k1''y''2＋k2''y''4＋…＋km''y''2m)
により構成されることを特徴とする画像変換装置。
【請求項６】
請求項１乃至請求項５のいずれか１項に記載の画像変換装置を組み込んだ撮像及び／又は表示装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は広角レンズを用いた撮像装置により得られた画像のような、いわゆる樽歪みを有する画像を、視認しやすい画像に変換する画像変換装置並びに、それを組み込んだ撮像及び／又は表示装置に関する。本発明は自動車、船舶、航空機等の移動体における画像処理及び状況把握、施設における広範囲の監視等に有用である。
【０００２】
【従来の技術】
撮像装置による歪みを解析する為、例えば図１１に示すようなキャリブレーションパターンを撮像し、各格子点が画像上のどの座標に変換されたかを基に歪みを解析する方法が知られている。この方法としては、例えば特開２０００−３５０２３９記載の方法が知られている。
【０００３】
【発明が解決しようとする課題】
さて、「ほとんど完全に」歪みを無くした変換画像は、実は視認者には必ずしも認識しやすい画像ではない。実際、広角レンズを用いた撮像装置による入力画像として例えば６４０×４８０画素の矩形画像として図１２の（ａ）、（ｂ）のような画像が得られたとする。ここで図１２の（ａ）は駐車スペースに駐車された３台の車両の右側面、正面、左側面を示している。図１２の（ｂ）は同じ撮像装置による図１１に示したキャリブレーションパターンである。上記技術により、「ほとんど完全に」歪みを無くした画像に変換すると、それぞれ図１３の（ａ）、（ｂ）のようになる。外枠である４辺が湾曲するのは図１２の（ａ）、（ｂ）の情報を極力使用することによる。また、図１３の（ａ）、（ｂ）では画素は１２８０×９６０である。図１３の（ｂ）を見れは、確かに「ほとんど完全に」歪み自体はなくなっているが、図１３の（ａ）を見ると、周辺部に見える車両が異様に視認されることがわかる。これは特に距離感がずれて視認される為であり、このような距離感のずれは移動体の運転又は操縦においては問題となる。
【０００４】
そこで図１３（ａ）、（ｂ）の中央部付近の画像のみ取り出すことも考えられるが、６４０×４８０画素取り出した図１４（ａ）、（ｂ）を見ると、「ほとんど完全に」歪みは無いものの、情報量が大幅に減ってしまうことが明らかである。
【０００５】
本発明はこのような問題点を解決する為に成されたものである。即ち、本発明の目的は、視認者に認識しやすい画像を出力する画像変換装置を提供することである。
【０００６】
【課題を解決するための手段】
上記の課題を解決する為、請求項１に記載の手段によれば、広角レンズを用いた撮像装置による入力画像を、１画面毎に座標変換して出力する画像変換装置において、１画面の入力画像を記憶する入力画像保持手段と、１画面の出力画像を記憶する出力画像保持手段と、出力画像の座標と入力画像の座標とを対応付けることにより、入力画像保持手段の１画面の入力画像のデータから１画面の出力画像のデータを形成する座標変換手段とから成り、座標変換手段における出力画像の座標と入力画像の座標との対応付けが、出力画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを撮像装置により撮像して解析することにより、入力画像の歪みを完全に無くす変換が、
R＝R'＋k1R'3＋k2R'5＋…＋knR'2n+1
及びθ＝θ'
により決定されるとき、歪みを完全には無くさないような変換式
R＝p(R'＋k'1R'3＋k'2R'5＋…＋k'nR'2n+1)
及びθ＝θ'
ただし、pは0でない定数、ki＝０となるi(1≦i≦n)について、k'i＝０、
その他のi(1≦i≦n)について、1＞k'1/k1＞k'2/k2＞…＞k'n/kn＞０
により構成されることを特徴とする。
【０００７】
また、請求項２に記載の手段によれば、請求項１において、ki≠０である全てのi(1≦i≦n)について、k'i/ki＝ａi、０＜a＜１とすることである。
【０００８】
請求項３乃至５は、いずれも共通する部分を有する。即ち、いずれも広角レンズを用いた撮像装置による入力画像を変換する画像変換装置において、１画面の入力画像を記憶する入力画像保持手段と、１画面の中間画像を記憶する中間画像保持手段と、１画面の出力画像を記憶する出力画像保持手段と、中間画像の座標と入力画像の座標とを対応付けることにより、入力画像保持手段の１画面の入力画像のデータから１画面の中間画像のデータを形成する第１の座標変換手段と、出力画像の座標と中間画像の座標とを対応付けることにより、中間画像保持手段の１画面の中間画像のデータから１画面の出力画像のデータを形成する第２の座標変換手段とから成り、第１の座標変換手段における中間画像の座標と入力画像の座標との対応付けが、広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを撮像装置により撮像して解析することにより、得られる中間画像の歪みを完全に無くす第１の変換であって、中間画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、
R＝p(R'＋k1R'3＋k2R'5＋…＋knR'2n+1)
及びθ＝θ'
により決定され、第２の座標変換手段における出力画像の座標と中間画像の座標との対応付けが、レンズ中心点に対応するディジタル座標を(0,0)とした座標系における出力画像の座標を(x'',y'')とし、対応する中間画像の座標を(x',y')としたとき、各々次の変換とするものである。
【０００９】
請求項３においては、
x'＝px''(1＋k1''x''2＋k2''x''4＋…＋km''x''2m)
及びy'＝qy''
請求項４においては、
x'＝px''及び
y'＝qy''(1＋k1''y''2＋k2''y''4＋…＋km''y''2m)
請求項５においては、
x'＝px''(1＋k1''x''2＋k2''x''4＋…＋km''x''2m)
及び
y'＝qy''(1＋k1''y''2＋k2''y''4＋…＋km''y''2m)
ここでいずれの請求項においてもpq≠０であることは言うまでもない。
【００１０】
請求項６に記載の発明は、請求項１乃至請求項５に記載の画像変換装置を組み込んだ、撮像装置、表示装置又は撮像及び表示装置である。
【００１１】
【作用及び発明の効果】
広角レンズを有する撮像装置のキャリブレーションパターンからの解析においては、画像変換の入出力画像において、光軸（画像上で点）に原点があるものとするとその原理が容易に理解できる。光軸を原点としてｘｙ座標、極座標のどちらを用いても結論は同等である。広角レンズを有する撮像装置が光軸を軸としてＣ∞の点対称を有していれば、光軸に垂直な直線は、撮像装置により、入力画像上の原点を通る直線となる。また、入力画像上の位置は、当該光軸からの半画角のみにより決定される。即ち、図１のように、レンズからの距離Ｚの位置に光軸からＬ離れた点の入力画像上の位置は、半画角φ＝Arctan(L/Z)に依存する。
【００１２】
すると、焦点距離ｆ上の歪みを有する入力画像上の座標(x,y)、極座標(R,θ)（ただしx＝Rcosθ,y＝Rsinθ）を、歪みの無い出力画像の座標(x',y')、極座標(R',θ')（ただしx'＝R'cosθ',y'＝R'sinθ'）に変換する変換は、極座標表示においては原点からの距離Rにのみ依存する。良く知られた簡単な考察から、そのような変換はRの奇関数で示すことができる。逆に、出力画像の座標からの変換を考えても、R'の奇関数で置くことができる。
【００１３】
これを
R＝R'＋k1R'3＋k2R'5＋…＋knR'2n+1
及びθ＝θ'
と求めたのち、各項の係数k1、k2、…、knのうち０でないものを、いずれも符号が同一で小さい絶対値を有し、且つR'の高次項の係数ほど絶対値をより小さくした変換を考える。当該変換は、「ほとんど」歪みのない変換と比較して、周辺部の歪みを残す形の変換であることは容易に理解できる。即ち、出力画像の原点からの距離R'が大きいところで、より大きく影響すべきR'の高次項の係数が、絶対値のより小さなものであるので、補正すべき歪みが、完全には補正されず、緩和された歪みのまま残ることとなる。この新しい変換の係数を適当に選択することにより、歪みを完全に無くしてしまうことによる距離感の喪失を、歪みと距離感のバランスの取れたものとすることができる（請求項１）。
【００１４】
請求項１において、ki≠０である全てのi(1≦i≦n)について、k'i/ki＝ａi、０＜a＜１とすれば、容易に係数を設定することができる。この場合、１個の変数ａのみで全係数kiを操作できるので、画像変換装置の設計が容易となる（請求項２）。
【００１５】
請求項３乃至５は、歪みを有する入力画像を一旦歪みをほとんど無くした中間画像に変換したのち、ｘ軸方向及び／又はｙ軸方向にゆるやかな歪みを持たせた出力画像に変換するものである。入力画像が点対称の歪みであるのに対し、これらの出力画像は点対称でないゆるやかな歪みを有することとなる。この歪みは任意に設定できるので、撮像装置が撮像する対象により、種々の歪みを持たせることができる。一旦ほとんど歪みを無くした中間画像に対して、ｘ軸、ｙ軸に平行な直線は保存される（請求項３乃至請求項５）。
【００１６】
このように、完全に歪みを無くした画像に比較しゆるやかな歪みを持たせる画像変換装置は、係数の設定により距離感を喪失することを無くすことができ、視認性の良い出力画像を提供できる。このような画像変換装置は、撮像装置に組み込んでも、表示装置に組み込んでも、又は撮像装置と表示装置とが一体となった撮像及び表示装置に組み込んでも良い（請求項６）。
【００１７】
【発明の実施の形態】
〔第１実施例〕
図２は、本願の第１の実施例に係る画像変換装置１００と、広角レンズを有する撮像装置２及び表示装置３と共に示した構成図である。画像変換装置１００は、広角レンズを有する撮像装置２から入力された１画面の画像データを保持する入力メモリ１０、座標変換器１１、座標変換テーブル１２及び表示装置３へ出力する１画面の画像データを保持する出力メモリ１３とから成る。座標変換器１１は、図３に示すフローチャートに従うＣＰＵから成る。尚、本実施例はモノクロ画像についてのものである。
【００１８】
画像変換装置１００の座標変換器１１の作用を図３のフローチャートに示す。以下、Ｓ１１等はステップ１１を示すものである。図３のフローチャートは、入力メモリ１０に１画面のモノクロ画像データが読み込まれたのち、始動する。まず、Ｓ１１において、出力画素の初期座標(x',y')が読み込まれる。この初期座標は任意であるが、例えば１画面の最も小さい座標の(x',y')である。次にＳ１２で、出力画素（座標(x',y')）に対応する入力座標(x,y)（必ずしも各画素に一致しない）が、座標変換テーブル１２から読み込まれる。
【００１９】
次にＳ１３で、出力座標(x',y')に対応する入力座標(x,y)が存在するか否かが判定される。存在しない場合（入力画像の外に対応点が有る場合）はＳ１４に進み、入力座標(x,y)の輝度Ｉを予め設定されたＩ0に等しく置かれ、Ｓ１６に進む。出力座標(x',y')に対応する入力座標(x,y)が存在する場合は、当該入力座標(x,y)の輝度Ｉを直近画素から演算する。例えば当該入力座標(x,y)を囲む４格子点の４つの輝度を入力メモリ１０から読み込み、加重平均により入力座標(x,y)の輝度Ｉを求め、Ｓ１６に進む。
【００２０】
こうして、出力座標(x',y')に対応する入力座標(x,y)の輝度Ｉが求められると、Ｓ１６で、輝度Ｉが出力座標(x',y')の輝度として出力メモリ１３に出力され、Ｓ１７に進む。Ｓ１７では出力画素（座標(x',y')）の次画素の座標の存在を判定し、存在すればＳ１８に進む。Ｓ１８では、次画素の座標に出力画素の座標(x',y')を更新してＳ１２に戻る。出力画素（座標(x',y')）の次画素が存在しない、即ち出力画像の１画面が完成すれば、終了する。こののち、出力メモリ１３から、表示装置３へ画像データが出力される。
【００２１】
実際の画像データを用いた変換と、キャリブレーションパターンを用いた変換を図４の（ａ）、（ｂ）に示す。まず、図１２（ｂ）の６４０×４８０画素の入力画像（極座標(R,θ)）から、図１３（ｂ）の完全に歪みを取った１２８０×９６０画素の画像（極座標(R',θ')）への変換が、次のように確定された。
【数１】
R＝R'＋k1R'3＋k2R'5＋k3R'7＋k4R'9＋k5R'11
θ＝θ'
k1＝-1.125×10-1
k2＝ 1.436×10-2
k3＝-1.224×10-3
k4＝ 5.729×10-5
k5＝-1.106×10-6
R、R'の単位はmmであり、R2＝x2＋y2、R'2＝x'2＋y'2。
【００２２】
そこで、ａ＝2/3、k'i/ki＝ａiとして入力画像（極座標(R,θ)）から、画像（極座標(R',θ')）への変換を、
【数２】
R＝R'＋k'1R'3＋k'2R'5＋k'3R'7＋k'4R'9＋k'5R'11
θ＝θ'
R2＝x2＋y2、R'2＝x'2＋y'2
とした。この関係が、全出力画素について変換テーブル１２に用意されている。図１２の（ａ）、（ｂ）の入力画像からこの変換を施した画像を図４の（ａ）、（ｂ）に示す。図４の（ｂ）のように、この変換はゆるやかな歪みを残した変換であるが、従来の図１３の（ａ）のような距離感を喪失したものでなく、図４の（ａ）のように距離感と歪みのバランスの取れた、視認性の良い画像を出力する変換となる。
【００２３】
〔第２実施例〕
図５は、本願の第２の実施例に係る画像変換装置２００と、広角レンズを有する撮像装置２及び表示装置３と共に示した構成図である。画像変換装置２００は、広角レンズを有する撮像装置２から入力された１画面の画像データを保持する入力メモリ２０、第１座標変換器２１、第１座標変換テーブル２２、中間メモリ２３、第２座標変換器２４、第２座標変換テーブル２５及び表示装置３へ出力する１画面の画像データを保持する出力メモリ２６とから成る。第１座標変換器２１は、図６に示すフローチャートに従うＣＰＵから成り、第２座標変換器２４は、図７に示すフローチャートに従うＣＰＵから成る。尚、本実施例もモノクロ画像についてのものである。
【００２４】
画像変換装置２００の前半の作用である第１座標変換器２１を図６のフローチャートに示す。Ｓ２１等はステップ２１を示すものである。図６のフローチャートは、入力メモリ２０に１画面のモノクロ画像データが読み込まれたのち、始動する。まず、Ｓ２１において、中間画素の初期座標(x',y')が読み込まれる。この初期座標は任意であるが、例えば１画面の最も小さい座標の(x',y')である。次にＳ２２で、中間画素（座標(x',y')）に対応する入力座標(x,y)（必ずしも各画素に一致しない）が、第１座標変換テーブル２２から読み込まれる。
【００２５】
次にＳ２３で、中間座標(x',y')に対応する入力座標(x,y)が存在するか否かが判定される。存在しない場合（入力画像の外に対応点が有る場合）はＳ２４に進み、入力座標(x,y)の輝度Ｉが予め設定されたＩ0に等しく置かれ、Ｓ２６に進む。中間座標(x',y')に対応する入力座標(x,y)が存在する場合は、当該入力座標(x,y)の輝度Ｉを直近画素から演算する。例えば当該入力座標(x,y)を囲む４格子点の４つの輝度を入力メモリ２０から読み込み、加重平均により入力座標(x,y)の輝度Ｉを求め、Ｓ２６に進む。
【００２６】
こうして、中間座標(x',y')に対応する入力座標(x,y)の輝度Ｉが求められると、Ｓ２６で、輝度Ｉが中間座標(x',y')の輝度として中間メモリ２３に出力され、Ｓ２７に進む。Ｓ２７では中間画素（座標(x',y')）の次画素の座標の存在を判定し、存在すればＳ２８に進む。Ｓ２８では、次画素の座標に中間画素の座標(x',y')を更新してＳ２２に戻る。中間画素（座標(x',y')）の次画素が存在しない、即ち中間画像の１画面が完成すれば、終了する。
【００２７】
図７のフローチャートは、中間メモリ２３に１画面のモノクロ画像データが書き込まれたのち、始動する。まず、Ｓ３１において、出力画素の初期座標(x'',y'')が読み込まれる。この初期座標は任意であるが、例えば１画面の最も小さい座標の(x'',y'')である。次にＳ３２で、出力画素（座標(x'',y'')）に対応する中間座標(x',y')（必ずしも各画素に一致しない）が、第２座標変換テーブル２５から読み込まれる。
【００２８】
次にＳ３３で、出力座標(x'',y'')に対応する中間座標(x',y')が存在するか否かが判定される。存在しない場合（中間画像の外に対応点が有る場合）はＳ３４に進み、中間座標(x',y')の輝度Ｉ'を予め設定されたＩ0に等しく置かれ、Ｓ３６に進む。出力座標(x'',y'')に対応する中間座標(x',y')が存在する場合は、当該中間座標(x',y')の輝度Ｉ'を直近画素から演算する。例えば当該中間座標(x',y')を囲む４格子点の４つの輝度を中間メモリ２３から読み込み、加重平均により中間座標(x',y')の輝度Ｉ'を求め、Ｓ３６に進む。
【００２９】
こうして、出力座標(x'',y'')に対応する中間座標(x',y')の輝度Ｉ'が求められると、Ｓ３６で、輝度Ｉ'が出力座標(x'',y'')の輝度として出力メモリ２６に出力され、Ｓ３７に進む。Ｓ３７では出力画素（座標(x'',y'')）の次画素の座標の存在を判定し、存在すればＳ３８に進む。Ｓ３８では、次画素の座標に出力画素の座標(x'',y'')を更新してＳ３２に戻る。出力画素（座標(x'',y'')）の次画素が存在しない、即ち出力画像の１画面が完成すれば、終了する。こののち、出力メモリ２６から、表示装置３へ画像データが出力される。
【００３０】
実際の画像データを用いた変換と、キャリブレーションパターンを用いた変換を図８の（ａ）、（ｂ）に示す。まず、図１２（ｂ）の６４０×４８０画素の入力画像（極座標(R,θ)）から、図１３（ｂ）の完全に歪みを取った１２８０×９６０画素の中間画像（極座標(R',θ')）への変換が、第１実施例同様、次のように確定された。
【数３】
R＝R'＋k1R'3＋k2R'5＋k3R'7＋k4R'9＋k5R'11
θ＝θ'
k1＝-1.125×10-1
k2＝ 1.436×10-2
k3＝-1.224×10-3
k4＝ 5.729×10-5
k5＝-1.106×10-6
R、R'の単位はmmであり、R2＝x2＋y2、R'2＝x'2＋y'2。この関係が、全中間画素について第１座標変換テーブル２２に用意されている。
【００３１】
そこで、中間画像（座標(x',y')、x'＝R'cosθ',y'＝R'sinθ'）から、出力画像（座標(x'',y'')）への変換を、
【数４】
x'＝x''(1＋2.0×10-6x''2＋2.0×10-11x''4＋4.0×10-16x''6)
y'＝1.5 y''
とした。この関係が、全出力画素について第２座標変換テーブル２５に用意されている。図１３の（ａ）、（ｂ）の中間画像からこの変換を施した画像を図８の（ａ）、（ｂ）に示す。図８の（ｂ）のように、この変換は横方向にゆるやかな歪みを加えた変換であるが、従来の図１３の（ａ）のような距離感を喪失したものでなく、図８の（ａ）のように距離感と歪みのバランスの取れた、視認性の良い画像を出力する変換となる。
【００３２】
〔第３実施例〕
本実施例においては、図５に示す第２実施例の構成において、第２座標変換テーブル２５の内容を下記の通りに変更したものである。即ち、中間画像（座標(x',y')、x'＝R'cosθ',y'＝R'sinθ'）から、出力画像（座標(x'',y'')）への変換を、
【数５】
x'＝x''
y'＝1.5 y''(1＋2.0×10-6ｙ''2＋2.0×10-11ｙ''4＋4.0×10-16ｙ''6)
とした。図１３の（ａ）、（ｂ）の中間画像からこの変換を施した画像を図９の（ａ）、（ｂ）に示す。図９の（ｂ）のように、この変換は縦方向にゆるやかな歪みを加えた変換であるが、従来の図１３の（ａ）のような距離感を喪失したものでなく、図９の（ａ）のように距離感と歪みのバランスの取れた、視認性の良い画像を出力する変換となる。
【００３３】
〔第４実施例〕
本実施例においては、図５に示す第２実施例の構成において、第２座標変換テーブル２５の内容を下記の通りに変更したものである。即ち、中間画像（座標(x',y')、x'＝R'cosθ',y'＝R'sinθ'）から、出力画像（座標(x'',y'')）への変換を、
【数６】
x'＝x''(1＋2.0×10-6x''2＋2.0×10-11x''4＋4.0×10-16x''6)
y'＝1.5 y''(1＋2.0×10-6ｙ''2＋2.0×10-11ｙ''4＋4.0×10-16ｙ''6)
とした。図１３の（ａ）、（ｂ）の中間画像からこの変換を施した画像を図１０の（ａ）、（ｂ）に示す。図１０の（ｂ）のように、この変換は縦及び横方向にゆるやかな歪みを加えた変換であるが、従来の図１３の（ａ）のような距離感を喪失したものでなく、図１０の（ａ）のように距離感と歪みのバランスの取れた、視認性の良い画像を出力する変換となる。
【００３４】
上記の実施例では、メモリとＣＰＵから成るコンピュータシステムで実現したが、ロジック回路で実現することも可能である。また、第２実施例乃至第４実施例においては、中間メモリを設け、２段階の座標変換としたが、１個のＣＰＵで可能なことも、１段階の座標変換で当該変換が可能であることも明らかである。
【００３５】
特許請求の範囲に記載した発明、発明の実施の形態の欄に説明した発明は、画像変換装置についてのものであるが、当然ながら方法発明として、即ち画像変換方法としても認識される。即ち、出力画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを前記撮像装置により撮像して解析することにより、入力画像の歪みを完全に無くす変換が、
R＝R'＋k1R'3＋k2R'5＋…＋knR'2n+1
及びθ＝θ'
により決定されるとき、歪みを完全には無くさないような変換式
R＝p(R'＋k'1R'3＋k'2R'5＋…＋k'nR'2n+1)
及びθ＝θ'
ただし、pは0でない定数、ki＝０となるi(1≦i≦n)について、k'i＝０、
その他のi(1≦i≦n)について、1＞k'1/k1＞k'2/k2＞…＞k'n/kn＞０
により構成されることを特徴とする画像変換方法、及び、ki≠０である全てのi(1≦i≦n)について、k'i/ki＝ａi、０＜a＜１である画像変換方法。
【００３６】
同様に、広角レンズの光軸に垂直な平面に設けられた歪み補正の為のキャリブレーションパターンを前記撮像装置により撮像して解析することにより、得られる中間画像の歪みを完全に無くす第１の変換であって、
中間画像の座標を極座標で距離R'、角度θ'としたとき、対応する入力画像の座標を極座標で距離R、角度θとして、
R＝p(R'＋k1R'3＋k2R'5＋…＋knR'2n+1)
及びθ＝θ'
により決定され、歪みの無い中間画像から、周辺部において歪みを持たせる第２の変換であって、出力画像の座標を(x'',y'')とし、対応する中間画像の座標を(x',y')としたとき、下記（１）乃至（３）のいずれかである画像変換方法。
（１）
x'＝px''(1＋k1''x2＋k2''x4＋…＋km''x''2m)
及びy'＝qy''
（２）
x'＝px''及び
y'＝qy''(1＋k1''y2＋k2''y4＋…＋km''y''2m)
（３）
x'＝px''(1＋k1''x2＋k2''x4＋…＋km''x''2m)
及び
y'＝qy''(1＋k1''y2＋k2''y4＋…＋km''y''2m)
【図面の簡単な説明】
【図１】画像の歪みを示す概念図。
【図２】本発明の第１の実施例に係る画像変換装置と撮像装置及び表示装置の組合せを示す構成図。
【図３】第１の実施例に係る画像変換装置の作用を示すフローチャート。
【図４】第１の実施例に係る画像変換装置による出力画像。
【図５】本発明の第２の実施例に係る画像変換装置と撮像装置及び表示装置の組合せを示す構成図。
【図６】第２の実施例に係る画像変換装置の作用の前半を示すフローチャート。
【図７】第２の実施例に係る画像変換装置の作用の後半を示すフローチャート。
【図８】本発明の第２の実施例に係る画像変換装置による出力画像。
【図９】本発明の第３の実施例に係る画像変換装置による出力画像。
【図１０】本発明の第４の実施例に係る画像変換装置による出力画像。
【図１１】キャリブレーションパターンの１例を示す図。
【図１２】広角レンズを有する撮像装置による入力画像。
【図１３】図１２の入力画像から生成した「ほとんど歪みの無い」出力画像。
【図１４】図１３の画像の中心部分を２倍に拡大した画像
【符号の説明】
１００、２００  画像変換装置
２  広角レンズを有する撮像装置
３  表示装置
１０  入力メモリ
１１  座標変換器
１２  座標変換テーブル
１３  出力メモリ
２０  入力メモリ
２１  第１座標変換器
２２  第１座標変換テーブル
２３  中間メモリ
２４  第２座標変換器
２５  第２座標変換テーブル
２６  出力メモリ
【図１】
0004613465.tif 000002
【図２】
0004613465.tif 000003
【図３】
0004613465.tif 000004
【図４】
0004613465.tif 000005
【図５】
0004613465.tif 000006
【図６】
0004613465.tif 000007
【図７】
0004613465.tif 000008
【図８】
0004613465.tif 000009
【図９】
0004613465.tif 000010
【図１０】
0004613465.tif 000011
【図１１】
0004613465.tif 000012
【図１２】
0004613465.tif 000013
【図１３】
0004613465.tif 000014
【図１４】
0004613465.tif 000015