(57)【要約】【課題】旋回する可動部材に搭載されたカメラが出力する画像データの傾きを簡易に補正する画像補正装置を提供すること。【解決手段】旋回する可動部材ＬＭに搭載されたカメラ２であり、車体の一部を撮影範囲に含めるカメラ２が出力する画像データの傾きを補正する画像補正装置ＳＹＳは、可動部材ＬＭの旋回にかかわらず車体の輪郭線が通過すると想定される被撮影平面上の点を仮想点ＶＰとして設定する仮想点設定手段１００と、画像データにおいて隣接する画素に対する輝度差が所定値以上となる画素を特徴点ＦＰとして抽出する特徴点抽出手段１０１と、仮想点ＶＰ及び特徴点ＦＰで規定される直線と基準線ＢＬとの間の角度θの度数分布に基づいて画像データの傾きを検出する傾き角検出手段１０と、傾き角検出手段１０が検出した傾き角に基づいて画像データを補正する画像補正手段１２と、を備える。【選択図】図１
2009130763.tif 000002
【特許請求の範囲】
【請求項１】
旋回する可動部材に搭載されたカメラであり、車体の一部を撮影範囲に含めるカメラが出力する画像データの傾きを補正する画像補正装置であって、
前記可動部材の旋回にかかわらず前記車体の輪郭線が通過すると想定される被撮影平面上の点を仮想点として設定する仮想点設定手段と、
前記画像データにおいて隣接する画素に対する輝度差が所定値以上となる画素を特徴点として抽出する特徴点抽出手段と、
前記仮想点及び前記特徴点で規定される直線と基準線との間の角度の度数分布に基づいて前記画像データの傾きを検出する傾き角検出手段と、
前記傾き角検出手段が検出した傾き角に基づいて前記画像データを補正する画像補正手段と、
を備えることを特徴とする画像補正装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、旋回する可動部材に搭載されたカメラが出力する画像データの傾きを補正する画像補正装置に関する。
【背景技術】
【０００２】
従来、車両前方を撮影した画像データに含まれるボンネットの輪郭線を認識し、その傾き及び位置ずれを検出し、検出した傾き及び位置ずれに応じて画像データの座標を回転させ、かつ、平行移動させることで画像データ中の所定領域を常に同じ角度、同じ大きさ、同じ位置で表示できるようにする画像データの前処理方法が知られている（例えば、特許文献１参照。）。
【０００３】
この前処理方法は、車室内に固定的に設置されたカメラが撮影する画像データに適用され、カメラの位置ずれや傾きによって生ずる画像データの位置ずれや傾きを補正し、その画像データを利用する白線位置認識処理や先行車認識処理といった画像処理における悪影響を防止する。
【０００４】
また、車両に搭載された開閉式のドアミラーを構成する筐体に取り付けられ車両の側方を撮影するカメラとドアミラーの開閉状態を検出する状態センサとを備え、カメラから取り込んだ画像データを状態センサの出力に基づいて補正する運転支援画像生成装置が知られている（例えば、特許文献２参照。）。
【特許文献１】特開平６−２１５１３４号公報
【特許文献２】特開２００４−１９４０７１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の前処理方法は、車室内に固定的に設置されたカメラが撮影する画像データの微小な位置ずれや傾きを高精度に補正することを目的としており、ドアミラーのような旋回する可動部材に搭載されたカメラが撮影する画像データの位置ずれや傾きを補正して運転者に表示するといった場面では、演算量が過剰となるため不適切である。
【０００６】
また、特許文献２に記載の運転支援画像生成装置は、ドアミラーの開閉状態を検出する状態センサを設置する必要があり、ハードウェア構成が複雑となり、ひいては、製造コストを増大させてしまう。
【０００７】
上述の点に鑑み、本発明は、旋回する可動部材に搭載されたカメラが出力する画像データの傾きを簡易に補正する画像補正装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
上述の目的を達成するために、第一の発明に係る画像補正装置は、旋回する可動部材に搭載されたカメラであり、車体の一部を撮影範囲に含めるカメラが出力する画像データの傾きを補正する画像補正装置であって、前記可動部材の旋回にかかわらず前記車体の輪郭線が通過すると想定される被撮影平面上の点を仮想点として設定する仮想点設定手段と、前記画像データにおいて隣接する画素に対する輝度差が所定値以上となる画素を特徴点として抽出する特徴点抽出手段と、前記仮想点及び前記特徴点で規定される直線と基準線との間の角度の度数分布に基づいて前記画像データの傾きを検出する傾き角検出手段と、前記傾き角検出手段が検出した傾き角に基づいて前記画像データを補正する画像補正手段と、を備える。
【発明の効果】
【０００９】
上述の手段により、本発明は、旋回する可動部材に搭載されたカメラが出力する画像データの傾きを簡易に補正する画像補正装置を提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、図面を参照しつつ、本発明を実施するための最良の形態の説明を行う。
【実施例】
【００１１】
図１は、本発明に係る画像補正装置の構成例を示すブロック図であり、画像補正装置ＳＹＳは、制御装置１、カメラ２、車速センサ３、記憶装置４及び表示装置５を含む。
【００１２】
制御装置１は、ＣＰＵ（Central  Processing  Unit）、ＲＡＭ(Random  Access  Memory)、ＲＯＭ（Read  Only  Memory）等を備えたコンピュータであって、例えば、傾き角検出手段１０、ルックアップテーブル検索手段１１、画像補正手段１２及び表示制御手段１３のそれぞれに対応するプログラムをＲＯＭに記憶しながら、各手段に対応する処理をＣＰＵに実行させる。
【００１３】
制御装置１は、カメラ２が出力する画像データを取得し、取得した画像データの回転ずれや位置ずれを補正し、その補正した画像データを表示装置５に表示させる。
【００１４】
カメラ２は、旋回する可動部材に搭載され車両外部を撮影する装置であり、例えば、ＣＣＤ（Charge-Coupled  Device）やＣＭＯＳ（Complementary  Metal-Oxide  Semiconductor）等の撮像素子を備えたカメラであり、夜間でも撮影が可能な赤外線カメラであってもよい。また、カメラ２は、広範囲の撮影が可能となるよう、魚眼レンズ等の広角レンズを装着していてもよい。
【００１５】
図２は、カメラ２の設置例を説明するための図であり、カメラ２は、例えば、開閉する左右のドアミラーＲＭ、ＬＭを備えた右ハンドル車の左ドアミラーＬＭ背面に設置され、車両の左側方の路面を撮影し、取得した画像データを制御装置１に出力する。カメラ２が撮影した画像を表示装置５に表示させ、運転者が、死角領域にある路肩、側溝、縁石等の走行可能領域の境界や障害物を視認できるようにするためである。なお、左ハンドル車の場合、カメラ２は、右ドアミラーＲＭ背面に設置される。
【００１６】
車速センサ３は、車両の速度を測定するセンサであり、例えば、各車輪に取り付けられ各車輪とともに回転する磁石による磁界の変化をＭＲ（Magnetic  Resistance）素子が磁気抵抗として読み取り、これを回転速度に比例したパルス信号として取り出すことで車輪の回転速度及び車両の速度を検出する。
【００１７】
記憶装置４は、各種情報を記憶するための装置であり、例えば、ハードディスクやＤＶＤ（Digital  Versatile  Disk）等の記憶媒体であって、ルックアップテーブル（ＬＵＴ：Look Up Table）４０を記憶する。なお、ＬＵＴ４０については後述する。
【００１８】
表示装置５は、各種情報を表示するための装置であり、例えば、液晶ディスプレイ等であって、カメラ２が取得し、かつ、制御装置１が補正した画像データを表示する。
【００１９】
次に、制御装置１が有する各種手段について説明する。
【００２０】
傾き角検出手段１０は、カメラ２が撮影した画像データの傾き角を検出するための手段であり、例えば、仮想点設定手段１００及び特徴点抽出手段１０１を用いて画像データの傾き角を検出する。
【００２１】
図３〜図９は、仮想点設定手段１００及び特徴点抽出手段１０１による傾き角の検出を説明するための図である。
【００２２】
図３は、旋回中心ＲＡの周りを旋回する左ドアミラーＬＭの五段階の開閉状態Ｍ１〜Ｍ５と各開閉状態におけるカメラ２の撮影範囲Ｇ１〜Ｇ５（図中の矩形領域で示される。）との間の関係を示す。
【００２３】
また、カメラ２は、左ドアミラーＬＭが何れの開閉状態にあっても車両のボディＢＤの一部（図中、灰色部分を参照。）をその撮影範囲に含むこととする。
【００２４】
また、カメラ２は、説明の都合上、矢印形状の道路標示ＰＴを撮影範囲に含めるが、実際には、死角領域にある路肩、側溝、縁石等の走行可能領域の境界や障害物を撮影するようにしてもよい。
【００２５】
図４は、左ドアミラーＬＭが五段階の開閉状態Ｍ１〜Ｍ５のそれぞれにある場合にカメラ２が撮影した画像データの一例を示し、図４（Ａ）が開閉状態Ｍ１における撮影範囲Ｇ１に対応し、同様に、図４（Ｂ）、（Ｃ）、（Ｄ）及び（Ｅ）が、開閉状態Ｍ２における撮影範囲Ｇ２、開閉状態Ｍ３における撮影範囲Ｇ３、開閉状態Ｍ４における撮影範囲Ｇ４、及び、開閉状態Ｍ５における撮影範囲Ｇ５のそれぞれに対応する。
【００２６】
図５（Ａ）〜（Ｅ）は、図４（Ａ）〜（Ｅ）に示す撮影範囲Ｇ１〜Ｇ５で取得される画像データをそれぞれ示し、これら画像データは、二値化処理が施されているものとする。
【００２７】
図６は、図５（Ａ）〜（Ｅ）の五つの画像データを重ね合わせた状態を示す図であり、五つの画像データのそれぞれに含まれるボディＢＤの輪郭線の全てが、円形領域Ｒ１を通過することを示す。
【００２８】
なお、領域Ｒ１は、カメラ２の左ドアミラーＬＭ上の設置位置と左ドアミラーＬＭの旋回中心ＲＡとの間の位置関係に基づいて予め登録される微小領域であり、後述の仮想点ＶＰの座標を決定するために用いられる。
【００２９】
図７は、開閉状態Ｍ３における撮影範囲Ｇ３で取得される画像データを示し、その画像データが所定の画素数間隔（例えば、５ピクセル間隔である。）で区分された状態を縦横のグリッド線で示す。
【００３０】
仮想点設定手段１００は、例えば、左ドアミラーＬＭがどのような開閉状態になったとしても車体の輪郭線が常に通過すると想定される被撮影平面上の点を仮想点ＶＰとして設定するための手段である。なお、車体の輪郭線は、必ずしも仮想点ＶＰを通過する必要はない。
【００３１】
「被撮影平面」とは、左ドアミラーＬＭの各開閉状態におけるカメラ２の各撮影範囲を全て含む平面であって、カメラ２の各撮影範囲以外の範囲（カメラ２で撮影できない範囲）をも含めた平面を意味する。すなわち、カメラ２の各撮影範囲は、被撮影平面の一部を切り取ったものである。
【００３２】
仮想点設定手段１００は、例えば、左ドアミラーＬＭの旋回中心ＲＡとカメラ２の設置位置との間の距離に基づいて、左ドアミラーＬＭがどのような開閉状態になったとしても車体の輪郭線が常に通過する領域としてカメラ２の撮影範囲内に領域Ｒ１を予め登録しておき、その領域Ｒ１に含まれる隣接する一対の画素であって、輝度差（エッジ強度）が最も大きい一対の画素のうちの一つ（例えば、輝度の大きい方である。）を仮想点ＶＰとして設定する。
【００３３】
また、仮想点設定手段１００は、左ドアミラーＬＭの旋回中心ＲＡとカメラ２の設置位置との間の位置関係に基づいて、カメラ２の撮影範囲内又は範囲外に仮想点ＶＰの座標点そのものを予め登録しておき、その登録された座標点を読み出すことでその座標点を仮想点ＶＰとして設定するようにしてもよい。
【００３４】
このように仮想点設定手段１００は、仮想点ＶＰを含み得る領域として複数の画素を含む領域Ｒ１を予め登録しておくことで、仮想点ＶＰをより適切に決定できるという利点を有し、また、一座標点を仮想点ＶＰとして予め登録しておくことで、仮想点ＶＰを絞り込む処理を省略できるという利点を有する。
【００３５】
被撮影平面上の座標点（Ｘ、Ｙ）は、例えば、カメラ２の解像度（ＤＰＩ：Dot  Per  Inch）を決める画素（ピクセル）を最小単位としながらカメラ２の撮影範囲の左上隅を原点（０、０）として表現され、座標点（１６０、６０）は、その座標点がカメラ２の撮影範囲内に含まれるか否かにかかわらず、原点から１６０ピクセル右で６０ピクセル下の位置にある点を表すものとしてもよい。なお、仮想点ＶＰを原点としてもよい。
【００３６】
一方、特徴点抽出手段１０１は、例えば、隣接する一対の画素であって、輝度差が所定値以上となる一対の画素のうちの一つ（例えば、輝度の大きい方であり、以下、「境界画素」とする。）と縦横のグリッド線の交差点にある画素とが一致する場合に、それらの画素を特徴点として抽出する。特徴点ＦＰ１〜ＦＰ９は、抽出された特徴点の例である。
【００３７】
図８は、図７に示す撮影範囲Ｇ３で取得される画像データ内の仮想点ＶＰと特徴点ＦＰ１〜ＦＰ９との間の関係を示す図であり、図の明瞭化のため、グリッド線、及び、境界画素が形成する境界線（ボディＢＤの輪郭線を含む。）が省略されている。
【００３８】
傾き角検出手段１０は、仮想点ＶＰと特徴点ＦＰ１〜ＦＰ９のそれぞれとで規定される直線と基準線ＢＬとの間の角度（以下、「直線間角度」とする。）を算出し、算出した直線間角度の度数を計数する。
【００３９】
なお、仮想点ＶＰ（Ｘ０、Ｙ０）と特徴点ＦＰ１（Ｘ１、Ｙ１）とで規定される直線と基準線ＢＬとの間の直線間角度θは、
【００４０】
【数１】
2009130763.tif 000003
によって求められる。
【００４１】
傾き角検出手段１０は、例えば、図８に示すように、仮想点ＶＰ及び特徴点ＦＰ１で規定される直線Ｌ１と基準線ＢＬとの間の直線間角度θ１を算出し、また、仮想点ＶＰ及び特徴点ＦＰ７で規定される直線Ｌ７と基準線ＢＬとの間の直線間角度θ７を算出する。他の特徴点ＦＰ２〜ＦＰ６、ＦＰ８及びＦＰ９に対しても同様である。
【００４２】
なお、基準線ＢＬは、左ドアミラーＬＭを最大限開いた状態（開閉状態Ｍ１）又は最大限閉じた状態（開閉状態Ｍ５）においてボディＢＤの輪郭線が形成する直線であってもよく、カメラ２の撮影範囲の横線又は縦線に平行な直線であってもよい。
【００４３】
図９は、傾き角検出手段１０によって計数された直線間角度の度数分布の一例を示す図であり、所定の角度範囲（例えば、５°刻みである。）を一区分とした度数分布を示す。
【００４４】
この場合、区分Ｃ１は、四つの特徴点ＦＰ１〜ＦＰ４によって形成された直線間角度の度数に対応し、区分Ｃ２は、特徴点ＦＰ７によって形成された直線間角度の度数に対応し、区分Ｃ３は、特徴点ＦＰ５及びＦＰ６によって形成された直線間角度の度数に対応し、区分Ｃ４は、特徴点ＦＰ９によって形成された直線間角度の度数に対応し、区分Ｃ５は、特徴点ＦＰ８によって形成された直線間角度の度数に対応する。
【００４５】
ここでは、説明を簡単にするため、特徴点の数が９つに限定されているが、実際には、より多くの特徴点が存在するものとする。
【００４６】
その後、傾き角検出手段１０は、最も度数が高く、かつ、その度数が閾値ＴＨ以上となる区分が表す直線間角度を傾き角として検出する。仮想点ＶＰを通る同一直線上の複数の特徴点ＦＰは、全て同じ直線間角度θ（最大度数となる可能性が高い。）を有するからであり、その同一直線は、ボディＢＤの輪郭線に相当し、その輪郭線の傾き角は、画像データの傾き角に相当するからである。
【００４７】
このように、傾き角検出手段１０は、周期的に画像データの傾き角を検出し、後述のＬＵＴ検索手段１１、画像補正手段１２及び表示制御手段１３がその傾き角に基づいて、カメラ２の撮影範囲における所定領域を同じ角度、同じ大きさ、同じ範囲で継続的に表示装置５に表示させることができるようにする。なお、表示装置５に表示される画像は、カメラ２が取得する画像データの傾き角がどのように変化しようとも、好適には、車両の進行方向が常に画面上方に対応するように補正される。
【００４８】
また、傾き角検出手段１０は、車速センサ３の出力に応じて、画像データの傾き角を検出する周期を変化させるようにしてもよい。
【００４９】
例えば、ＬＵＴ検索手段１１は、自車速度が所定速度（例えば、１０ｋｍ／ｈ）以上の場合、傾き角検出手段１０による傾き角の検出周期を伸張させるようにしてもよい（検出頻度を小さくすることを意味する。）。自車が所定速度以上で走行している場合、ドアミラーを途中で開閉させることは希であると考えられるからであり、傾き角が発生するのも希であると考えられるからである。
【００５０】
反対に、ＬＵＴ検索手段１１は、自車速度が所定速度（例えば、１０ｋｍ／ｈ）未満の場合、傾き角検出手段１０による傾き角の検出周期を短縮させるようにしてもよい（検出頻度を大きくすることを意味する。）。駐車や狭い道路での対向車とのすれ違い等、ドアミラーを開閉させる機会が多いと考えられるからであり、傾き角が発生し、変化する機会が多いと考えられるからである。
【００５１】
また、傾き角検出手段１０は、車室内に設置されたリモートコントローラ等を介して左ドアミラーＬＭを開閉させた場合に、そのリモートコントローラからの制御信号に応じて画像データの傾き角を一度だけ検出するようにしてもよい。
【００５２】
ルックアップテーブル検索手段１１（以下、「ＬＵＴ検索手段１１」とする。）は、記憶装置４に記憶されたＬＵＴ４０を検索するための手段であり、例えば、傾き角検出手段１０が検出した傾き角を用いてＬＵＴ４０を検索し、切り出し位置及び変倍率を抽出する。
【００５３】
「切り出し位置」とは、カメラ２が出力する画像データから局所領域を切り出そうとする場合に、その局所領域を特定するための座標値であり、例えば、その局所領域の左上の座標点を示す値である。
【００５４】
また、「変倍率」とは、切り出した局所領域を拡大又は縮小するときの倍率であり、変倍率によってその局所領域の縦の長さと横の長さが同時に特定されるものとする。切り出し位置に応じて局所領域の範囲の大きさが変化するからであり、この変倍率は、その変化する局所領域を同じ大きさで表示させるために利用される。
【００５５】
図１０は、ＬＵＴの構成例を示す図であり、ＬＵＴ４０は、例えば、傾き角フィールド、切り出し位置フィールド及び変倍率フィールドを有するレコードで構成されるデータベースである。
【００５６】
ＬＵＴ検索手段１１は、傾き角検出手段１０が検出した傾き角（例えば、２５°）を検索キーとして取得し、そのキーを用いてＬＵＴ４０を検索し、検索キー（傾き角２５°）に合致するレコードを特定する。
【００５７】
その後、ＬＵＴ検索手段１１は、特定したレコードの切り出し位置フィールドの値を読み取って切り出し位置座標（１６０、６０）を抽出し、また、変倍率フィールドの値を読み取って変倍率２．１０を抽出する。
【００５８】
なお、図１０のＬＵＴ４０は、傾き角２°刻みでレコードを準備するが、より大きな刻み幅（例えば、５°刻み）でレコードを準備するようにしてもよく、より小さな刻み幅（例えば、０．５°刻み）でレコードを準備するようにしてもよい。
【００５９】
より大きな刻み幅は、ＬＵＴ４０のサイズを圧縮して、必要とされるコンピュータ資源を簡素化するためであり、一方で、より小さな刻み幅は、局所領域をより高精度に切り出し、かつ、拡大縮小できるようにするためである。
【００６０】
刻み幅の制約により検索キーに合致するレコードを特定できない場合、ＬＵＴ検索手段１１は、切り出し位置座標及び変倍率の抽出を省略してもよく、或いは、最も近似する傾き角を有するレコードを特定して、そのレコードから切り出し位置座標及び変倍率を抽出するようにしてもよい。
【００６１】
また、ＬＵＴ検索手段１１は、刻み幅の制約により検索キーに合致するレコードを特定できない場合、車速センサ３の出力に基づいて、切り出し位置座標及び変倍率の抽出を省略するか、或いは、最も近似する傾き角を有するレコードから切り出し位置座標及び変倍率を抽出するかを選択するようにしてもよい。
【００６２】
例えば、ＬＵＴ検索手段１１は、自車が停止中の場合、切り出し位置座標及び変倍率の抽出を省略し、自車が走行中の場合、最も近似する傾き角を有するレコードから切り出し位置座標及び変倍率を抽出するようにする。
【００６３】
自車が停止している場合にはその瞬間の画像データを表示装置５で表示させる必要性が低いからであり、自車が走行している場合には、画像データに多少の位置ずれが存在するとしても、その瞬間の画像データを表示装置５で表示させたほうがよい場合があるからである。
【００６４】
画像補正手段１２は、カメラ２が取得した画像データを補正して表示装置５に表示可能な状態にするための手段であり、例えば、傾き角検出手段１０が検出した傾き角とＬＵＴ検索手段１１が抽出した切り出し位置及び変倍率とに基づいて画像データの局所領域を切り出し、切り出した局所領域を旋回させて拡大縮小させる。
【００６５】
また、画像補正手段１２は、カメラ２が広角レンズを用いて画像データを取得した場合には、予め登録されたレンズの特性に基づいてレンズ歪みを補正するようにしてもよい。
【００６６】
また、画像補正手段１２は、ＬＵＴ検索手段１１が切り出し位置及び変倍率の抽出を省略した場合、新たな切り出し位置及び変倍率を用いた局所領域の切り出し、旋回及び拡大縮小を省略する。これにより、画像補正手段１２は、画像データに対する過度の更新（補正）を避け、補正処理に掛かる負荷を低減させることができる。この場合、表示装置５における画像データの表示は、中断されることとなる。
【００６７】
なお、画像補正手段１２は、ＬＵＴ検索手段１１が切り出し位置及び変倍率の抽出を省略した場合であっても、前回の切り出し位置及び変倍率を用いて局所領域の切り出し、旋回及び拡大縮小を実行するようにしてもよい。これにより、画像補正手段１２は、有用な画像データを継続的に表示装置５に表示させることができる。
【００６８】
表示制御手段１３は、表示装置５における表示内容を制御するための手段であり、例えば、画像補正手段１２によって切り出され、旋回させられ、かつ、拡大縮小された局所領域を表示装置５に表示させる。
【００６９】
以上の構成により、画像補正装置ＳＹＳは、左ドアミラーＬＭがどのような開閉状態になったとしても、カメラ２の撮影範囲における所定領域を同じ角度、同じ大きさ、同じ範囲で表示装置５に表示させることができ、狭い道路で対向車とすれ違う場合等、左ドアミラーＬＭを収納する必要がある場合であっても、表示画像が旋回して表示され運転者に違和感を与えてしまうようなことなく、死角領域の視認を支援することができる。
【００７０】
また、画像補正装置ＳＹＳは、カメラ２の左ドアミラーＬＭへの組み付けが不適切で撮影範囲がずれている場合にも左ドアミラーＬＭの開閉が行われた場合と同様に対応することができ、カメラ２の組み付け公差に求められる精度の厳密性を緩和させることができる。
【００７１】
また、画像補正装置ＳＹＳは、回転センサ等のハードウェアを利用することなく、画像処理のみによって画像データの傾き角を検出するので、製造コストを低減させることができる。
【００７２】
また、画像補正装置ＳＹＳは、仮想点及び特徴点で規定される直線と基準線との間の直線間角度の度数分布に基づいて画像データの傾き角を検出するので、ハフ変換等の従来の直線検出方法を用いた場合に比べ演算量を低減させることができ、処理を高速化させ、また、所要のコンピュータ資源を簡素化することができる。
【００７３】
次に、図１１及び図１２を参照しながら、傾き角検出手段１０が画像データの傾き角を検出する際の例外処理について説明する。
【００７４】
図１１は、画像データ内の仮想点ＶＰと特徴点ＦＰ１０〜ＦＰ１６との間の関係を示す図であり、グリッド間の画素数間隔が図７で示す場合よりも細かく設定された場合を示す。
【００７５】
図１１に示すように、仮想点ＶＰがボディＢＤの描く輪郭線ＳＬから僅かに逸れた位置に設定された場合、仮想点ＶＰと特徴点ＦＰ１２〜ＦＰ１４のそれぞれとで規定される直線Ｌ１２〜Ｌ１４と基準線との間の直線間角度は、仮想点ＶＰと他の特徴点ＦＰ１０、ＦＰ１１、ＦＰ１５、ＦＰ１６のそれぞれとで規定される直線と基準線との間の直線間角度とは大きく異なるものとなってしまう。
【００７６】
これは、仮想点ＶＰと特徴点ＦＰ１２〜ＦＰ１４のそれぞれとの間の距離が短いためであり、傾き角検出手段１０が直線間角度の度数を計数する際のノイズとなり得る。
【００７７】
そこで、傾き角検出手段１０は、仮想点ＶＰから所定範囲Ｒ２（例えば、半径１０ピクセル）内に存在する特徴点ＦＰ１２〜ＦＰ１４に対しては直線間角度の算出を省略し、不要な計数を避けて傾き角の検出精度を向上させ、また、傾き角検出の処理速度を向上させるようにする。
【００７８】
図１２は、図９と同様、傾き角検出手段１０によって計数された直線間角度の度数分布の例を示す図である。
【００７９】
仮想点ＶＰがボディＢＤの描く輪郭線から僅かに逸れた位置に設定されたような場合、直線間角度の度数分布は、図１２に示すように、閾値ＴＨを上回る複数の区分を生じさせる場合がある。
【００８０】
この場合、傾き角検出手段１０は、最も度数が高い区分Ｃ１と次に度数が高い区分Ｃ２との間の度数差を算出し、その度数差が所定値未満であり、かつ、最も度数が高い区分Ｃ１が表す傾き角と次に度数が高い区分Ｃ２が表す傾き角との間の角度差が所定値未満となる場合には、それら傾き角の中間値を傾き角として採用するようにしてもよい。最も度数の高い区分Ｃ１が表す傾き角と次に度数の高い区分Ｃ２が表す傾き角とが共にボディＢＤの輪郭線の傾き角（画像データの傾き角に相当する。）に由来するものと推定されるからである。
【００８１】
また、傾き角検出手段１０は、その度数差が所定値以上である場合、或いは、その度数差が所定値未満であっても角度差が所定値以上となる場合、最も度数が高い区分Ｃ１が表す傾き角を採用するようにしてもよい。最も度数の高い区分Ｃ１が表す傾き角のみが、ボディＢＤの輪郭線の傾き角に相当するものと考えられるからである。
【００８２】
次に、図１３〜図１５を参照しながら、画像補正装置ＳＹＳによる傾き角の別の検出方法について説明する。
【００８３】
図１３は、図３同様、旋回中心ＲＡの周りを旋回する左ドアミラーＬＭの五段階の開閉状態Ｍ１〜Ｍ５と各開閉状態におけるカメラ２の撮影範囲Ｇ１〜Ｇ５（図中の矩形領域で示される。）との間の関係を示す。
【００８４】
また、カメラ２は、左ドアミラーＬＭが何れの開閉状態であってもボディＢＤ上に配置されるマーカーＭＫをその撮影範囲に含めるようにする。
【００８５】
マーカーＭＫは、画像補正装置ＳＹＳが画像処理を用いて識別可能な印であり、ボディＢＤに塗装されていてもよく、突起物として取り付けられていてもよく、或いは、シールとして貼り付けられていてもよい。また、マーカーＭＫは、近赤外光を発光又は反射する、肉眼では視認できない不可視マーカーであってもよい。車両の外観を損ねないようにするためである。
【００８６】
図１４は、左ドアミラーＬＭの五段階の開閉状態Ｍ１〜Ｍ５のそれぞれにおけるカメラ２で撮影された画像データを重ね合わせた状態を示す図であり、五つの画像データのそれぞれに含まれるマーカーＭＫが、軌跡ＲＴに沿って図中の下から上に遷移することを示す。
【００８７】
このように、カメラ２で撮影された画像データにおけるマーカーＭＫの座標とその時点における左ドアミラーＬＭの開閉状態とは一対一に対応しており、制御装置１は、画像データにおけるマーカーＭＫの座標を取得するだけで、その時点における左ドアミラーＬＭの開閉状態を特定できる。
【００８８】
図１５は、ＬＵＴの別の構成例を示す図であり、ＬＵＴ４０ａは、マーカー位置フィールド、切り出し位置フィールド、変倍率フィールド及び傾き角フィールドを有するレコードで構成されるデータベースである。
【００８９】
制御装置１がマーカーＭＫの座標を取得すると、ＬＵＴ検索手段１１は、その座標を検索キーとして取得し、その検索キーを用いてＬＵＴ４０ａを検索して、検索キー（例えば、マーカー位置座標（２８２、８４））に合致するレコードを特定する。
【００９０】
その後、ＬＵＴ検索手段１１は、特定したレコードの切り出し位置フィールドの値を読み取って切り出し位置座標（１６１、６２）を抽出し、変倍率フィールドの値を読み取って変倍率２．１０を抽出し、また、傾き角フィールドの値を読み取って傾き角２６°を抽出する。
【００９１】
なお、図１５のＬＵＴ４０ａは、マーカー位置のＸ座標又はＹ座標が２ピクセル刻みで変化するようレコードを準備するが、より大きな刻み幅（例えば、５ピクセル）でレコードを準備するようにしてもよく、より小さな刻み幅（例えば、１ピクセル）でレコードを準備するようにしてもよい。
【００９２】
より大きな刻み幅は、ＬＵＴ４０ａのサイズを圧縮して、必要とされるコンピュータ資源を簡素化するためであり、一方で、より小さな刻み幅は、局所領域をより高精度に切り出し、かつ、拡大縮小できるようにするためである。
【００９３】
その後、画像補正手段１２は、ＬＵＴ検索手段１１が抽出した切り出し位置座標、変倍率及び傾き角に基づいて画像データの局所領域を切り出し、かつ、切り出した局所領域を旋回させて拡大縮小させる。
【００９４】
その後、表示制御手段１３は、画像補正手段１２によって切り出され、旋回させられ、かつ、拡大縮小された局所領域を表示装置５に表示させる。
【００９５】
以上の構成により、画像補正装置ＳＹＳは、仮想点及び特徴点に基づいて傾き角を検出しながら画像を補正する場合と同様の効果を得ることができる。
【００９６】
なお、画像補正装置ＳＹＳは、二つのマーカーを撮影範囲に含めさせるようにし、画像データにおけるそれら二つのマーカーを結ぶ直線と基準線との間の直線間角度に基づいて傾き角を検出するようにしてもよい。
【００９７】
以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなしに上述した実施例に種々の変形及び置換を加えることができる。
【００９８】
例えば、上述の実施例において、傾き角検出手段１０は、ボディＢＤの輪郭線の傾き角と画像データの傾き角とが一対一に対応するものとしてそのボディＢＤの輪郭線の傾き角を直接的に導き出すが、ボディＢＤの輪郭線の傾き角を検出した上で、ＬＵＴ検索手段１１により、そのボディＢＤの輪郭線の傾き角を画像データの傾き角に変換するようにしてもよい。
【００９９】
ボディＢＤの輪郭線の傾き角と画像データの傾き角とが一対一に対応しない場合に対処するためであり、この場合、ＬＵＴ４０は、各レコードに輪郭線傾き角フィールドと画像データ傾き角フィールドとを備えるようにする。
【０１００】
また、上述の実施例において、画像補正装置ＳＹＳは、ＬＵＴ検索手段１１によりＬＵＴ４０を参照し、切り出し位置及び変倍率を抽出するが、ＬＵＴ４０の代わりに所定の数式を用いて切り出し位置及び変倍率を算出するようにしてもよい。
【図面の簡単な説明】
【０１０１】
【図１】本発明に係る画像補正装置の構成例を示すブロック図である。
【図２】カメラの設置例を説明するための図である。
【図３】左ドアミラーの五段階の開閉状態と各開閉状態におけるカメラの撮影範囲との間の関係を示す図（その１）である。
【図４】左ドアミラーが五段階の開閉状態のそれぞれにある場合にカメラが撮影した画像データの一例を示す図である。
【図５】図４（Ａ）〜（Ｅ）に示す撮影範囲で取得される二値化処理が施された画像データを示す図である。
【図６】図５（Ａ）〜（Ｅ）の画像データを重ね合わせた状態を示す図である。
【図７】画像データが所定の画素数間隔で区分された状態を示す。
【図８】仮想点と特徴点との間の関係を示す図（その１）である。
【図９】直線間角度の度数分布の一例を示す図（その１）である。
【図１０】ＬＵＴの構成例を示す図（その１）である。
【図１１】仮想点と特徴点との間の関係を示す図（その２）である。
【図１２】直線間角度の度数分布の一例を示す図（その２）である。
【図１３】左ドアミラーの五段階の開閉状態と各開閉状態におけるカメラの撮影範囲との間の関係を示す図（その２）である。
【図１４】マーカーを撮影した複数の画像データを重ね合わせた状態を示す図である。
【図１５】ＬＵＴの構成例を示す図（その２）である。
【符号の説明】
【０１０２】
１      制御装置
２      カメラ
３      車速センサ
４      記憶装置
５      表示装置
１０    傾き角検出手段
１１    ＬＵＴ検索手段
１２    画像補正手段
１３    表示制御手段
４０、４０ａ  ＬＵＴ
１００  仮想点設定手段
１０１  特徴点抽出手段
ＢＤ    ボディ
ＢＬ    基準線
ＦＰ１〜ＦＰ１６  特徴点
Ｇ１〜Ｇ５  撮影範囲
ＬＭ    左ドアミラー
Ｍ１〜Ｍ５  開閉状態
ＭＫ    マーカー
ＰＴ    道路標示
ＲＡ    旋回中心
ＲＭ    右ドアミラー
ＲＴ    軌跡
ＳＬ    輪郭線
ＳＹＳ  画像補正装置
ＶＰ    仮想点
θ１、θ７  直線間角度
【図１】
2009130763.tif 000004
【図２】
2009130763.tif 000005
【図３】
2009130763.tif 000006
【図４】
2009130763.tif 000007
【図５】
2009130763.tif 000008
【図６】
2009130763.tif 000009
【図７】
2009130763.tif 000010
【図８】
2009130763.tif 000011
【図９】
2009130763.tif 000012
【図１０】
2009130763.tif 000013
【図１１】
2009130763.tif 000014
【図１２】
2009130763.tif 000015
【図１３】
2009130763.tif 000016
【図１４】
2009130763.tif 000017
【図１５】
2009130763.tif 000018