(57)【要約】【課題】広角レンズを用いることによって歪んでしまった画像を、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行う。【解決手段】本発明に係る画像歪み補正方法は、広角レンズ１５を用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、広角レンズ１５に用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、広角レンズ１５を用いて撮像された歪みのある画像を、歪みが緩和された画像に変換させることを特徴とする。【選択図】  図１
2004199350.tif 000002
【特許請求の範囲】
【請求項１】
広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、
前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、
前記広角レンズを用いて撮像された歪みのある画像を、歪みが緩和された画像に変換させることを特徴とする画像歪み補正方法。
【請求項２】
前記歪みの緩和の程度は、設定される歪み補正量に応じて変化することを特徴とする請求項１に記載の画像歪み補正方法。
【請求項３】
広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、
前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とに基づいて、前記広角レンズを用いて撮像された歪みのある画像を歪みが緩和された画像に変換させる画像変換関数を算出する情報処理手段と、
該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段と
を備えることを特徴とする画像歪み補正装置。
【請求項４】
広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、
画像歪みの歪み補正量を設置するための補正量設定手段と、
前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、前記広角レンズを用いて撮像された歪みのある画像を、前記補正量設定手段により設定された前記歪み補正量に対応させて歪みを緩和させた画像に変換させる画像変換関数を算出する情報処理手段と、
該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段と
を備えることを特徴とする画像歪み補正装置。
【請求項５】
車両に搭載して、前記広角レンズを用いて該車両の周囲の様子を撮像することを特徴とする請求項３または請求項４に記載の画像歪み補正装置。
【請求項６】
前記画像補正手段は、補正された画像を俯瞰画像に変換するための俯瞰画像変換機能を備えることを特徴とする請求項３又は請求項４に記載の画像歪み補正装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、広角レンズを用いて撮像することによって歪んでしまった画像を補正するための画像歪み補正方法及び画像歪み補正装置に関する。
【０００２】
【従来の技術】
従来より、広範囲の撮影を行うために、広角レンズがカメラに多く用いられている。しかしながら、広角レンズを用いて撮影された画像は、標準レンズを用いて撮影された画像１（図６）と較べて歪んだ画像２（図７）となってしまうので、とても見づらくなってしまう傾向があった。このため、広角レンズを用いることによって歪んでしまった画像の歪みを取り除く方法が数多く提案されている（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−２３２９２０号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、特許文献１等により提案されている技術を用いて歪んだ画像２の補正を行った場合には、図８に示すように、歪みのあった画像が、全く歪みのない画像に補正されてしまうので、補正により広角レンズでは撮像できなかった部分４が画像情報（撮像情報）の欠如した部分として画面３に表示されていた。このため、表示画面に対する画像情報を表示する部分（画像情報部分）５の面積が減少してしまい、画面８に表示される画像情報表示が非効率的なものになってしまっていた。さらに、一般的なユーザは完璧に歪みが補正されるよりも、多少樽型に歪みがあるほうが表示画面に対する画像情報部分５の割合が増加するので違和感を感じにくい傾向にあり、慣れてしまうと多少歪みがある方が自然な印象を受ける場合もある。
【０００５】
本発明は上記課題に鑑みて為されたものであり、広角レンズを用いることによって歪んでしまった画像を、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行う画像歪み補正方法及び画像歪み補正装置を提供することを課題とする。
【０００６】
【課題を解決するための手段】
上記課題を解決するために、請求項１に係る発明は、広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、前記広角レンズを用いて撮像された歪みのある画像を、歪みが緩和された画像に変換させる画像歪み補正方法であることを特徴とする。
【０００７】
請求項２に係る発明は、請求項１に記載の画像歪み補正方法において、前記歪みの緩和の程度が、設定される歪み補正量に応じて変化することを特徴とする。
【０００８】
請求項３に係る発明は、広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とに基づいて、前記広角レンズを用いて撮像された歪みのある画像を歪みが緩和された画像に変換させる画像変換関数を算出する情報処理手段と、該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段とを備える画像歪み補正装置であることを特徴とする。
【０００９】
請求項４に係る発明は、広角レンズを用いて撮像された画像の歪みを補正するための画像歪み補正装置であって、画像歪みの歪み補正量を設置するための補正量設定手段と、前記広角レンズを用いて撮像された歪みのある画像を歪みのない画像に変換する補正変換関数と、前記広角レンズを用いて撮像された歪みのある画像をそのままの画像に置換する無変換関数とを用いて、前記広角レンズを用いて撮像された歪みのある画像を、前記補正量設定手段により設定された前記歪み補正量に対応させて歪みを緩和させた画像に変換させる画像変換関数を算出する情報処理手段と、該情報処理部により算出された前記画像変換関数を用いて、前記広角レンズを用いて撮像された画像の歪みを補正する画像補整手段とを備える画像歪み補正装置であることを特徴とする。
【００１０】
請求項５に記載の発明は、請求項３又は請求項４に記載の画像歪み補正装置を車両に搭載し、前記広角レンズを用いて該車両の周囲の様子を撮像することを特徴とする。
【００１１】
請求項６に記載の発明は、請求項３又は請求項４に記載の画像歪み補正装置において、前記画像補正手段が、補正された画像を俯瞰画像に変換するための俯瞰画像変換機能を備えることを特徴とする。
【００１２】
【発明の実施の形態】
以下、本発明に係る画像歪み補正装置について、図面を用いて説明する。
【００１３】
図１は、画像歪み補正装置を用いた画像歪み補正システムを示したブロック図であり、画像歪み補正システム１０は車両に設置されている。画像歪み補正システム１０は、画像歪み補正装置１１と、車両後方を撮影するカメラ１２と、インナーパネル等に設置されるインターフェース部１３と、画像歪み補正装置１１によって補正された画像を表示するための画像表示部１４とを備えている。
【００１４】
カメラ１２には、広角レンズ１５が用いられており、広角レンズ１５を介して撮影することによって、通常のレンズを用いる場合に較べて広画角の撮影が可能となるが、図８に示すように、撮影された画像は中心部に較べて周辺部が歪んだ画像となる。
【００１５】
インターフェース部１３は、画像歪み補正装置１１により補正させる画像の歪み補正値（歪み補正量）の設定及び画像倍率の変更等の入力を行うための操作手段である。画像表示部１４は、車内のインナーパネル等の運転者が画面を見やすい位置に設置される。
【００１６】
画像表示部１４、カメラ１２、インターフェース部１３はそれぞれ画像歪み補正装置１１に接続されている。
【００１７】
画像歪み補正装置１１は、デコーダ２０、エンコーダ２１、入力用メモリ２２、出力用メモリ２３、画像補整部２４、情報処理部２５、変形パターンメモリ２６を備えている。カメラ１２によって広角レンズ１５を介して撮影された画像データは、デコーダ２０によりデジタルデータに変換されて入力用メモリ２２に記録される。
【００１８】
インターフェース部１３において入力された情報は、情報処理部２５に伝達される。情報処理部２５は、カメラ１２に用いられる広角レンズ１５の特性及びカメラ１２自体の構造等に関する情報を記憶しており、広角レンズ１５のレンズ特性等に応じて、インターフェース部１３より入力された歪み補正値や画像倍率等に対応する画像変形パターンを作成し、変形パターンメモリ２６に記憶させる。
【００１９】
画像補正部２４は、入力用メモリ２２に記憶された画像データを、変形パターンメモリ２６に記憶された画像変形パターンに基づいて補正し、出力用メモリ２３に記憶させる。
【００２０】
エンコーダ２１は、出力用メモリ２３に記憶された歪み補正後の画像データをアナログデータ化し、画像表示部１４は、アナログデータ化された歪み補正後の画像データを表示する。
【００２１】
次に、情報処理部２５および画像補正部２４における画像歪み補正方法について説明する。画像歪みの補正を行う場合、その補正方法は広角レンズのレンズ特性等に応じて幾通りも存在するが、ここでは、広角レンズ１５がレンズの中心を基準とする完全な点対称である場合を例に用いて説明する。なお、広角レンズのレンズ特性が相違することによって画像歪みの補正方法が異なる場合であっても、基本的な補正手法の考え方は同一である。
【００２２】
広角レンズ１５が完全な点対称である場合には、等間隔に配列された格子点群を、広角レンズを用いて撮影すると、図２に示すように、歪んでしまった画像（歪み画像）もレンズの中心（図２においては、図の中心点ｐ）を基準とする完全な点対称となる。図３は、図２に示した歪み画像を補正することによって歪みがなくなった画像を示している。
【００２３】
ここで、レンズを介して撮像された画像において、画像の中心点ｐから特定点Ｑに対応する点ｑまでの距離をｒとし、歪みを完全に補正した後の画像において、画像の中心点Ｐから特定の点Ｑまでの距離をＲとする。図４は、広角レンズ１５を用いて撮像された画像における距離ｒと、その画像の歪みを補正することによって歪みがなくなった画像における距離Ｒとの関係をグラフに示したものである。
【００２４】
Ｒとｒとの関係を示したグラフ（図４）は、用いられるレンズの特性やカメラの構造に依存して変化するが、広角レンズ１５を用いる場合には一般的に下方向に凸を示すグラフ特性となる。なお、広角レンズ１５を用いて撮像された画像における距離ｒと完全に補正された画像における距離Ｒとの関係を求める方法については、いわゆる当業者に公知の技術であるためここでの説明は省略する（特開２００２−２３２９２０号公報、特表平６−５０１５８５号公報参照）。
【００２５】
ここで、広角レンズを用いて撮像された画像（図２）の中心点ｐから点ｑまでの位置ベクトルａと、その画像を完全に補正した画像（図３）における中心点Ｐから点Ｑまでの位置ベクトルＡとを比較すると、ベクトルａとベクトルＡとはその方向が一致しているが、距離（Ｒ、ｒ）が相違する関係となっている。歪み画像を完全に補正する場合には、図２に示した画像に対して、ベクトルａの方向は変えずにベクトルの長さをｒからＲに変更すればよい。
【００２６】
図５は、広角レンズ１５を用いて撮像された画像における距離ｒと、その画像を全く補正しないで画像表示部１４に表示させた画像における距離Ｒとの関係をグラフに示したものである。図５に示したグラフのように、距離ｒと距離Ｒとの関係は直線状の比例関係を示すこととなり、歪み補正後の画像の倍率が等倍（１倍）である場合には直線の傾きが１となる。歪み補正後の画像の倍率を大きくする場合には直線の傾きを１より大きくし、倍率を小さくする場合には直線の傾きを１より小さくする。
【００２７】
画像歪み補正装置１１は、広角レンズ１５の歪みを補正する装置ではあるが、歪んだ画像を完全に補正するだけでなく、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行うことも可能となっている。違和感を感じない程度の歪みを持たせつつ補正を行うためには、その目的にあった曲線を示すＲとｒとの関係式を求めることが必要とされる。ここで、図４に示したグラフの関係式をＲ＝ｆ（ｒ）、図５に示したグラフの関係式をＲ＝ｇ（ｒ）とし、さらに、違和感がない程度の歪みを持ったグラフをＲ＝ｈ（ｒ）とすると、
【００２８】
【数１】
ｈ（ｒ）＝ｆ（ｒ）＋α（（ｇ（ｒ）−ｆ（ｒ））    ・・・・数式１
但し  ０≦α≦１
で表される。この数式において定数αは歪み補正値である。
【００２９】
α＝０のときには      ｈ（ｒ）＝ｆ（ｒ）
α＝１のときには      ｈ（ｒ）＝ｇ（ｒ）
となり、歪み補正値αを連続的に変えることによってｆ（ｒ）とｇ（ｒ）との間でｈ（ｒ）を連続的に変形させることが可能となり、αの値に応じて画像の歪みを変化させることができる。
【００３０】
情報処理部２５は、既に記憶されている広角レンズ１５の特性及びカメラ１２の構造に基づく情報を用いて、インターフェース部１３より入力された歪み補正値や画像倍率値に対応する画像変形パターンを求めて数式１を導き出す。
【００３１】
ここで、Ｒ＝ｇ（ｒ）の関係式は、ｒとＲとが比例関係となることからＲ＝ｋｒ（ｋ：傾き＝完全な歪み補正画像における倍率、定数）となり、完全な歪み補正画像における倍率が等倍である場合には、ｋ＝１であり
【００３２】
【数２】
ｇ（ｒ）＝ｒ    ・・・・数式２
となる。
【００３３】
数式２を数式１に代入すると、数式１は
2004199350.tif 000003
インターフェース部１３において入力された画像倍率（違和感を感じない程度まで補正を行った後の画像の倍率）をＫとすると、
【００３４】
【数３】
ｈ（ｒ）＝Ｋ｛（１−α）ｆ（ｒ）＋αｒ｝    ・・・・数式３
となる。  数式３において、Ｋ、αは定数であって、インターフェース部１３において入力された画像倍率値及び歪み補正値が代入される。
【００３５】
その後、画像補正部２４は入力用メモリ２２に記憶された画像に基づいてＲ＝ｆ（ｒ）の関係式を求め、このｆ（ｒ）に基づいてｈ（ｒ）を求める。
【００３６】
これらの処理手順に基づいて、画像補整部２４は
【００３７】
【数４】
Ｒ＝Ｋ｛（１−α）ｆ（ｒ）＋αｒ｝    ・・・・数式４
を求め、広角レンズ１５を用いて撮像された画像における画素毎の画素情報（画像の中心部ｐからのベクトルａ（距離、方向）等）を入力して補整後の画素情報を求めることにより、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行う。ユーザは、補正された画像の歪みに違和感を感じる場合には、インターフェース部１３において再度、歪み補正量や画像倍率値を入力することによって歪み画像の補正を行うことが可能である。
【００３８】
なお、画像歪み補正装置システムに俯瞰画像処理機能（特願２００２−１８７１０６号公報参照）を付加してもよい。例えば画像補正部２４に俯瞰画像処理機能を付加することによって、カメラ１２によって撮像された画像を、車両上方より車両後部を見下ろした画像（俯瞰画像）へ連続的に変形させる処理において、俯瞰画像に対して徐々に歪みを加えたり除いたりすることで「歪みのない俯瞰画像」から「違和感のない程度に歪みがある画像」へと連続的に変形させることができ、俯瞰画像処理により生ずる画像の違和感をより軽減させることが可能となる。
【００３９】
以上説明したように本発明に係る画像歪み補正装置１１を用いた画像歪み補正システム１０を使用することによって、広角レンズ１５を用いることによって歪んでしまった画像を、ユーザが違和感を感じない程度に歪みを持たせつつ補正することが可能となる。
【００４０】
なお、本発明に係る画像歪み補正装置１１は、発明の実施の形態に示した内容に限定されるものではない。例えば、発明の実施の形態において、歪みの補正方法の説明を行うために数式１を用いたが、実際に補正処理を行う場合には、ｆ（ｒ）の関係式に基づいてｇ（ｒ）を求めることができるので、ｆ（ｒ）から直接ｈ（ｒ）の関係式を求めることが可能である。
【００４１】
ｆ（ｒ）より一度に式変形を行うと、
Ｒ＝ｈ-1（ｆ（ｒ））
と表すことが可能であり、広角レンズ１５を用いて撮像された画像から直接補整を行うことも可能である。
【００４２】
【発明の効果】
以上説明したように本発明に係る画像歪み補正装置を用いることによって、広角レンズを用いることによって歪んでしまった画像を、ユーザが違和感を感じない程度に歪みを持たせつつ補正を行うことが可能となる。
【図面の簡単な説明】
【図１】本発明に係る画像歪み補正システムを示したブロック図である。
【図２】広角レンズを用いて撮影された格子点群の画像を示した図である。
【図３】図２に示された画像を完全に補正した画像を示した図である。
【図４】実施例におけるR＝ｆ（ｒ）の関係式を示したグラフである。
【図５】実施例におけるR＝ｇ（ｒ）の関係式を示したグラフである。
【図６】通常のレンズを用いて撮像された画像を示した図である。
【図７】広角レンズを用いて撮像された画像を示した図である。
【図８】広角レンズを用いて撮像された画像の歪み補正を完全に補正した画像を示した図である。
【符号の説明】
１０  画像補整歪み補正システム
１１  画像補整歪み補正装置
１２  カメラ
１３  インターフェース部
１４  画像表示部
１５  広角レンズ
２０  デコーダ
２１  エンコーダ
２２  入力用メモリ
２３  出力用メモリ
２４  画像補正部
２５  情報処理部
２６  変形パターンメモリ
【図１】
2004199350.tif 000004
【図２】
2004199350.tif 000005
【図３】
2004199350.tif 000006
【図４】
2004199350.tif 000007
【図５】
2004199350.tif 000008
【図６】
2004199350.tif 000009
【図７】
2004199350.tif 000010
【図８】
2004199350.tif 000011