(57)【要約】【課題】撮像手段の欠陥画素の画素値補正と撮像手段により撮影された画像データの歪み補正との双方を低コストに処理する画像データの幾何変換装置等を提供すること。【解決手段】出力画像の出力画素の位置情報（Ｘ０，Ｙ０）に、撮像手段１１により入力される入力画像の入力画素の位置情報（Ｘｉ，Ｙｉ）を対応づけ、さらに、入力画素の欠陥情報を記憶した幾何変換テーブル２１と、出力画素の位置情報に対応する入力画素の位置情報を幾何変換テーブル２１から抽出し、抽出した入力画素の位置情報の位置から所定距離内の複数の第１近傍画素（Ａ〜Ｄ）の画素値を用いて出力画素の画素値を算出する幾何変換手段２２と、を有し、出力画素の位置情報に基づき参照した入力画素の欠陥情報に、第１近傍画素に欠陥画素がある場合、幾何変換手段２２は、当該欠陥画素以外の第１近傍画素の画素値を用いて出力画素の画素値を算出する、ことを特徴とする。【選択図】図２
2008289008.tif 000002
【特許請求の範囲】
【請求項１】
出力画像の出力画素の位置情報に、撮像手段により入力される入力画像の入力画素の位置情報を対応づけ、さらに、前記入力画素の欠陥情報を記憶した幾何変換テーブルと、
前記出力画素の位置情報に対応する前記入力画素の位置情報を前記幾何変換テーブルから抽出し、抽出した前記入力画素の位置情報の位置から所定距離内の複数の第１近傍画素の画素値を用いて前記出力画素の画素値を算出する幾何変換手段と、を有し、
前記出力画素の位置情報に基づき参照した前記入力画素の前記欠陥情報に、前記第１近傍画素に欠陥画素が存在することを示す情報が記憶されている場合、前記幾何変換手段は、当該欠陥画素以外の前記第１近傍画素の画素値を用いて前記出力画素の画素値を算出する、
ことを特徴とする画像データの幾何変換装置。
【請求項２】
前記欠陥画素の画素値を、当該欠陥画素から所定距離内の複数の第２近傍画素、及び、前記第１欠陥画素の少なくとも一方を用いて推定する画素値推定手段を有し、
前記第１近傍画素に欠陥画素が含まれる場合、前記幾何変換手段は、前記画素値推定手段により推定された前記欠陥画素の画素値、及び、当該欠陥画素以外の前記第１近傍画素の画素値を用いて前記出力画素の画素値を算出する
ことを特徴とする請求項１記載の画像データの幾何変換装置。
【請求項３】
前記画素値推定手段は、前記第２近傍画素のうち前記欠陥画素から距離の近い順に４つの画素又は欠陥画素に隣接する２つの画素、の画素値から前記欠陥画素の画素値を推定する、
ことを特徴とする請求項２記載の画像データの幾何変換装置。
【請求項４】
請求項１〜３に記載された幾何変換装置により幾何変換された出力画像を表示する表示装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像手段により撮影された画像データを幾何変換する幾何変換装置、及び、幾何変換された画像データを表示する表示装置に関する。
【背景技術】
【０００２】
撮像手段により撮影した画像データに基づき駐車区画を認識し駐車区画への目標経路を演算したり、白線を認識して車線区画に沿った走行を支援する等、画像データを利用した運転支援が実現されている。ＣＣＤやＣＭＯＳなどの撮影手段は、撮像素子数の増加や撮像素子の縮小化等により不良の発生率をゼロにすることが困難で、所定数の不良の撮像素子が含まれている場合が多い。この不良の撮像素子は、被写体にかかわらず常時白画素入力となる白キズ又は常時黒画素入力となる黒キズとして知られている。白キズや黒キズがそのまま出力画像に変換されると違和感を生じさせるので、欠陥画素の画素値の補正方法が提案されている（例えば、特許文献１参照。）。特許文献１記載の補正方法は、欠陥画素の位置をメモリに記憶しておき、欠陥画素とその周囲の画素の画素値を別のメモリに記憶する。そして、欠陥画素の画素値を周囲の画素の画素値から算出し、当該補正値で入力画像の画像データの画素値を置き換える。
【０００３】
また、ＣＣＤ等の撮影手段が撮影した画像データには幾何学的な歪みが含まれることが多く、撮像手段が撮影した画像データには画像処理装置により、増幅、Ａ／Ｄ変換、ガンマ補正、白色補正等の公知の補正の後、歪み補正が施される（例えば、特許文献１参照。）。
【０００４】
図１０（ａ）は、撮像手段に撮影された歪み補正前の入力画像と歪み補正後に例えば車室内の表示装置に表示された出力画像の一例を示す。入力画像では、白線等の地物が歪んでいるが、出力画像では白線等の地物の歪みが除去されている。
【特許文献１】特開平０６−１０５２４２号公報
【特許文献２】特開２００６−１１３７５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
このように、従来の画像データの補正は、図１０（ｂ）に示すように、欠陥画素の画素値補正と歪み補正、という２段階の手順を踏んでいる。ここで欠陥画素の画素値補正は撮像手段側の処理であって、歪み補正は撮像手段を利用して構築されたシステム側の処理になる。このため、画像データを幾何変換するシステムを構築する場合、撮像手段側で欠陥画素の補正が行われた画像データ（図１０（ａ）の入力画像）に対し、その画像データを画像処理装置が幾何変換することになり、欠陥画素の画素値補正と歪み補正とが全く独立に行われていた。この結果、撮像手段側には欠陥画素の画素値補正のハードウェアが、システム側は歪み補正のためのハードウェアが、それぞれ別体に必要であり低コスト化や小型化を阻害するという問題があった。
【０００６】
本発明は、上記課題に鑑み、撮像手段の欠陥画素の画素値補正と撮像手段により撮影された画像データの歪み補正との双方を低コストに処理する画像データの幾何変換装置、表示装置、を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記課題に鑑み、本発明は、出力画像の出力画素の位置情報に、撮像手段により入力される入力画像の入力画素の位置情報を対応づけ、さらに、入力画素の欠陥情報を記憶した幾何変換テーブルと、出力画素の位置情報に対応する入力画素の位置情報を幾何変換テーブルから抽出し、抽出した入力画素の位置情報の位置から所定距離内の複数の第１近傍画素（例えば、画素Ａ〜Ｄ）の画素値を用いて出力画素の画素値を算出する幾何変換手段と、を有し、出力画素の位置情報に基づき参照した入力画素の欠陥情報に、第１近傍画素に欠陥画素が存在することを示す情報が記憶されている場合、幾何変換手段は、当該欠陥画素以外の第１近傍画素の画素値を用いて出力画素の画素値を算出する、ことを特徴とする。
【０００８】
本発明によれば、歪み補正と欠陥画素補正が同時に処理されるので、これまで別体であったハードウェア構成を一体に構成し小型化しまた低コスト化することができる。
【０００９】
また、本発明の一形態において、欠陥画素の画素値を、当該欠陥画素から所定距離内の複数の第２近傍画素（例えば、画素Ｅ、Ｆ、Ｂ、Ｄ）、及び、第１欠陥画素の少なくとも一方を用いて推定する画素値推定手段を有し、第１近傍画素に欠陥画素が含まれる場合、幾何変換手段は、画素値推定手段により推定された欠陥画素の画素値、及び、当該欠陥画素以外の第１近傍画素の画素値を用いて出力画素の画素値を算出する、ことを特徴とする。
【００１０】
本発明によれば、欠陥画素がある場合にその画素値を推定するので、出力画像の画質を向上させることができる。
【００１１】
また、本発明の一形態において、画素値推定手段は、第２近傍画素のうち欠陥画素から距離の近い順に４つの画素又は欠陥画素に隣接する２つの画素、の画素値から欠陥画素の画素値を推定する、ことを特徴とする。
【００１２】
本発明によれば、欠陥画素の近傍の４つ又は２つの画素の画素値から、欠陥画素の画素値を推定することができる。
【発明の効果】
【００１３】
撮像手段の欠陥画素の画素値補正と撮像手段により撮影された画像データの歪み補正との双方を低コストに処理する画像データの幾何変換装置、表示装置、を提供することができる。
【発明を実施するための最良の形態】
【００１４】
以下、本発明を実施するための最良の形態について図面を参照しながら実施例を挙げて説明する。
【実施例１】
【００１５】
図１は、幾何変換装置１３の概略構成図を示す。幾何変換装置１３は、欠陥画素の画素値補正（以下、単に欠陥画素補正という）及び歪み補正を一度に処理するＬＳＩやマイコンなどである。本実施例では、歪み補正と同時に欠陥画素補正を実行するので、これまで別体であったハードウェア構成を小型化しまた低コスト化することができる。
【００１６】
カメラ１１はＣＣＤやＣＭＯＳなど固体撮像素子であり、１枚のシリコン基板上に形成された多数の受光素子（数百万画素）に、レンズにより集光された被写体から入射した入射光をその強度に応じて光電変換する。このアナログの電気信号は、ゲイン制御や相関二重サンプリング（ＣＤＳ）によりノイズを低減された後Ａ／Ｄ変換回路１２に出力され、所定の輝度階調のデジタル信号に変換される。なお、カメラ１１の受光素子にはこのような光電変換ができない、白キズ又は黒キズの受光素子が含まれている。
【００１７】
画像処理装置１４は、幾何変換装置１３が欠陥画素補正及び歪み補正した画像データを取得し、駐車区画を区切る白線の認識、障害物の検出など、運転支援のための画像処理を行うコンピュータである。画像処理の結果により例えば駐車区画までの目標軌跡が設定され目標軌跡上の位置に応じた操舵支援、また例えば障害物の接近を注意喚起するなどの警報出力が実現される。
【００１８】
また、幾何変換装置１３が出力する画像データはディスプレイ１５に出力され、図１０（ａ）のような出力画像として運転者に表示される。ディスプレイ１５は、画素を格子状に均等配列したドットマトリクスタイプの液晶パネル、有機ＥＬ等であり、各画素を駆動するアクティブ素子を画素毎に配置して、画素値に応じた輝度値（表示色）が画素毎に制御される。画素数は例えば６４０×４８０（ＶＧＡ）、８００×６００（ＳＶＧＡ）等である。
【００１９】
幾何変換装置１３について説明する。幾何変換装置１３は、ＣＰＵ、ＲＡＭ、ＲＯＭ、フラッシュメモリ、入出力インターフェイスが内部バスにより接続されたマイコンやＬＳＩである。ＣＰＵがＲＯＭに記憶されたプログラムを実行することで、出力画像の画素値を算出すると共に歪み補正する画素値・歪み補正手段２２、欠陥画素の画素値を推定する画素値推定手段２３、が実現される。
【００２０】
幾何変換装置１３の例えばフラッシュメモリには幾何変換テーブル２１が記憶されている。図２（ａ）は幾何変換テーブル２１の一例を示す図である。幾何変換テーブル２１は、出力画像（本実施例ではディスプレイ１５に表示される）の画素の位置情報に入力画像（本実施例ではカメラ１１により撮影される）の画素の位置情報を対応づける。位置情報は例えば所定の原点を基準にした座標であって、幾何変換テーブル２１は、出力画像のラスタースキャン順（出力画像の座標順）に並べてあり、出力画像の画素の座標（Ｘ０、Ｙ０）に基づき幾何変換テーブル２１を参照すると入力画像の座標（Ｘｉ、Ｙｉ）が抽出されるようになっている。
【００２１】
ところで、出力画像の画素の画素位置と入力画像の画素の画素位置が１対１に対応していれば、座標（Ｘ０、Ｙ０）と座標（Ｘｉ、Ｙｉ）も１対１に対応するが、任意の幾何変換では、出力画像の画素位置と出力画像の画素位置が１対１に対応しない。このため、出力画像の座標（Ｘ０、Ｙ０）は整数であるが、出力画像の座標（Ｘｉ、Ｙｉ）は少数以下の値を持つ実数になる。
【００２２】
図３は、入力画像の座標と出力画像の座標の対応関係を示す図である。図３では入力画像と出力画像のいずれも格子の交点が画素位置を示す。出力画像の座標（Ｘｏ、Ｙｏ）は画素位置に一致するのに対し、入力画像の座標（Ｘｉ，Ｙｉ）は画素位置に一致しないが、このように対応関係を予め定めておくことで任意の幾何変換（本実施例では歪み補正）が実現される。
【００２３】
座標（Ｘｏ、Ｙｏ）と座標（Ｘｉ，Ｙｉ）の対応関係について簡単に説明する。図４（ａ）は、歪み補正前の入力画像を、図４（ｂ）は歪み補正後の出力画像の一例を示す図である。
【００２４】
例えば、画像データの中央から上又は下方向に離れるほどひずみ量が大きくなっている場合、幾何変換による歪み補正では、上下方向の画素位置に応じて画像データの幅方向にずらした画素位置を対応づける。すなわち、線分Ｖ１とＶ２上の画素はそれぞれ異なる長さの線分Ｗ１、Ｗ２上の画素に変換される。例えば、単位画素数当たり（入力画像の上下方向について）ひずみ量をα、線分Ｖ２とＶ１の間の画素数をＬとすれば、線分Ｗ２はＷ１線よりもＬ・α長くなるように、線分Ｖ２上の画素位置が線分Ｗ２上の画素位置に対応づけられる。
【００２５】
このように本実施例では、撮影対象と歪み補正前の画像データに基準点セットを設け、その関係から入力画像と出力画像の座標を対応づける、いわゆる非系統的補正により対応を求めた。座標（Ｘｏ、Ｙｏ）と座標（Ｘｉ，Ｙｉ）の対応は、所定の座標変換式（高次多項式）により決定される。なお、幾何学的にひずみの発生モデルを想定してその変換式から決定する方法（系統的補正）により座標変換式を決定してもよい。
【００２６】
カメラ１１の位置及び光軸が固定であれば歪み量も一定なので、車高位置に応じて若干の補正を加えるだけで、任意の歪み補正が可能となる。
【００２７】
また、座標（Ｘｏ、Ｙｏ）と座標（Ｘｉ，Ｙｉ）の対応が明らかになった後、画素同士が１対１には対応しないので画素値の再配列が必要になる。一例として本実施例では、最近隣法を用いる。
【００２８】
図３に戻り、最近隣法について説明する。最近隣法は、座標（Ｘｉ，Ｙｉ）に近傍の格子点のうち、最も距離が短い格子点の画素Ａ〜Ｄの画素値を座標（Ｘｉ，Ｙｉ）の画素値に置き換える方法である。また、画素Ａ〜Ｄにそれぞれ重み付けをしてもよい。例えば、画素のアルファベットＡ〜Ｄをその画素値とすると、図３の「欠陥画素なし」の場合、座標（Ｘｉ，Ｙｉ）の画素値ＮはＮ＝ａＡ＋ｂＢ＋ｃＣ＋ｄＤで算出される画素値に置き換えられる。
【００２９】
なお、最近隣法は一例であって、近傍の４点の格子点の画素の画素値から比例計算により非格子点画素の輝度値を推定する共一次法、近傍の１６点の格子点の画素の画素値から、畳み込みにより非格子点画素の輝度値を推定する三次畳み込み法等を用いてもよい。
【００３０】
このように、出力画像の座標に対応する入力画像の座標（Ｘｉ，Ｙｉ）に近傍の４つの画素に欠陥画素がない場合、画素値・歪み補正手段２２は、近傍４画素Ａ〜Ｄの画素値に適当な重み付けを行って歪み補正を実行することで、座標（Ｘ０，Ｙ０）の画素の画素値を算出する。
【００３１】
欠陥情報について説明する。図２（ａ）に示すように、幾何変換テーブル２１には欠陥情報が記憶されている。欠陥情報は、出力画像の生成に用いる４つの画素Ａ〜Ｄに欠陥画素があるか否か、及び、ある場合にはＡ〜Ｄのどの画素に欠陥があるかを示す情報である。
【００３２】
図２（ｂ）は欠陥情報の一例を示す。欠陥情報が「０」であれば４つの画素Ａ〜Ｄに欠陥画素がないことを表し、「１」であれば左上の画素Ａが欠陥画素であることを、「２」であれば右上の画素Ｄが欠陥画素であることを、「３」であれば左下の画素Ｂが欠陥画素であることを、「４」であれば右下の画素Ｃが欠陥画素であることを、それぞれ示す。４つの画素Ａ〜Ｄに複数の欠陥画素がある場合は、欠陥画素の位置に対応する１〜４の複数の番号が記憶される。
【００３３】
例えば、図３の「欠陥画素あり」では、出力画像を生成するのに用いる４つの画素Ａ〜Ｄのうち画素Ａが欠陥画素であるので、欠陥情報には「１」が記憶される。
【００３４】
なお、欠陥画素の位置は、カメラ１１の出荷テスト時に既知となっている。例えば、密閉された空間を撮影した画像データから所定値以上の輝度値の画素があればその画素を白キズと、白板を撮影した画像データから所定値以下の輝度値の画素があればその画素を黒キズと、判定することで欠陥画素の位置が検出される。
【００３５】
画素値・歪み補正手段２２は、出力画像の画素の座標（Ｘ０，Ｙ０）の欠陥情報を参照して欠陥がある場合は、近傍４画素Ａ〜Ｄのうち、欠陥のない３画素（又は２〜１画素）の画素値に適当な重み付けを行って歪み補正を実行すると共に、座標（Ｘ０，Ｙ０）の画素の画素値を算出する。例えば、画素Ａが欠陥画素である場合、座標（Ｘｉ，Ｙｉ）の画素値ＮはＮ＝ｂＢ＋ｃＣ＋ｄＤで算出される画素値に置き換えられる。
【００３６】
したがって、本実施例の幾何変換装置１３は、歪み補正と欠陥画素補正を同時に処理できるので、これまで別体であったハードウェア構成を小型化しまた低コスト化することができる。
【００３７】
図５は、幾何変換装置１３が歪み補正と欠陥画素補正を同時に処理する手順を示すフローチャート図である。図５のフローチャート図の処理は、画像データが幾何変換装置１３に入力されるとスタートし、出力画像の全ての座標の画素値が算出されるまで１座標毎に繰り返し実行される。
【００３８】
画素値・歪み補正手段２２は、幾何変換テーブル２１を参照し出力画像の座標（Ｘ０，Ｙ０）に対応した入力画像の座標（Ｘｉ、Ｙｉ）、及び、入力画像の座標（Ｘｉ、Ｙｉ）の欠陥情報を抽出する（Ｓ１０）。そして、欠陥情報に基づき、欠陥があるか否かを判定する（Ｓ２０）。
【００３９】
欠陥がない場合（Ｓ２０のＮｏ）、画素値・歪み補正手段２２は入力画像の座標（Ｘｉ、Ｙｉ）の４つの近傍画素Ａ〜Ｄの画素値から出力画像の座標（Ｘ０，Ｙ０）の画素値を算出する（Ｓ３０）。
【００４０】
欠陥がある場合（Ｓ２０のＹｅｓ）、画素値・歪み補正手段２２は入力画像の座標（Ｘｉ、Ｙｉ）の４つの近傍画素Ａ〜Ｄのうち、欠陥画素以外の３つの画素の画素値から出力画像の座標（Ｘ０，Ｙ０）の画素値を算出する（Ｓ４０）。
【００４１】
以上説明したように、本実施例の幾何変換装置１３は、歪み補正と欠陥画素補正を同時に処理することで、小型化及び低コスト化を実現できる。
【実施例２】
【００４２】
実施例１では入力画像の対応する座標の４つの近傍画素Ａ〜Ｄに欠陥画素があった場合、欠陥画素を用いずに出力画像の画素値を算出した。本実施例では近傍画素Ａ〜Ｄに欠陥画素があった場合、欠陥画素の画素値を推定することで、４つの近傍画素Ａ〜Ｄの画素値から出力画像の座標（Ｘ０，Ｙ０）の画素の画素値を算出する。このように画素値を算出することで、欠陥画素があっても出力画像の画質を向上させることができる。
【００４３】
図６は、欠陥画素の画素値の推定方法を説明するための図である。図６（ａ）に示すように、出力画像の座標（Ｘ０，Ｙ０）に対応する入力画像の座標（Ｘｉ，Ｙｉ）の４近傍画素Ａ〜Ｄのうち画素Ａは欠陥画素である。
【００４４】
近傍画素Ａ〜Ｄのいずれかに欠陥画素がある場合、画素値推定手段２３は、欠陥画素Ａの４近傍画素Ｅ、Ｆ、Ｂ、Ｄの画素値を用いて欠陥画素Ａの画素値を推定する。欠陥画素Ａの位置は明らかなので、欠陥画素Ａの４近傍画素の位置及び画素値も明らかである。
【００４５】
画素値の推定は、出力画像の画素値を算出する場合と同様に、４近傍画素Ｅ、Ｆ、Ｂ、Ｄの画素値に適当な重み付けをして算出する。例えば、欠陥画素Ａの画素値はＡ＝ｅＥ＋ｆＦ＋ｂＢ＋ｄＤ  と推定される。
【００４６】
欠陥画素Ａの画素値が推定されれば、入力画像の座標（Ｘｉ，Ｙｉ）の４近傍画素に欠陥画素はないものとして扱うことができるので、画素値・歪み補正手段２２は、画素Ｂ、Ｃ、Ｄの画素値及び欠陥画素Ａの推定された画素値から、座標（Ｘ０，Ｙ０）の画素の画素値を算出することができる。例えば、出力画像の座標（Ｘ０，Ｙ０）の画素の画素値Ｎは、Ｎ＝ａＡ＋ｂＢ＋ｃＣ＋ｄＤ  と推定される。
【００４７】
なお、本実施例では、欠陥画素の画素値の推定と、出力画像の画素値の算出を分けて説明したが、出力画像の画素値は５つの画素Ｅ、Ｆ、Ｂ、Ｄ、Ｃから算出することができるため、１回の演算で座標（Ｘ０，Ｙ０）の画素の画素値を算出することができる。例えば、出力画像の座標（Ｘ０，Ｙ０）の画素の画素値Ｎは、
Ｎ＝ａＡ＋ｂＢ＋ｃＣ＋ｄＤ
＝ａ（ｅＥ＋ｆＦ＋ｂＢ＋ｄＤ）＋ｂＢ＋ｃＣ＋ｄＤ
である。
【００４８】
図７は、幾何変換装置１３が歪み補正と欠陥画素補正を同時に処理する手順を示すフローチャート図である。図７のフローチャート図の処理は、画像データが幾何変換装置１３に入力されるとスタートし、出力画像の全ての座標の画素値が算出されるまで１座標毎に繰り返し実行される。
【００４９】
画素値・歪み補正手段２２は、幾何変換テーブル２１を参照し出力画像の座標（Ｘ０，Ｙ０）に対応した入力画像の座標（Ｘｉ、Ｙｉ）、及び、入力画像の座標（Ｘｉ、Ｙｉ）の欠陥情報を抽出する（Ｓ１０）。そして、欠陥情報に基づき、欠陥があるか否かを判定する（Ｓ２０）。
【００５０】
欠陥がない場合（Ｓ２０のＮｏ）、画素値・歪み補正手段２２は入力画像の座標（Ｘｉ、Ｙｉ）の４つの近傍画素Ａ〜Ｄの画素値から出力画像の座標（Ｘ０，Ｙ０）の画素値を算出する（Ｓ３０）。
【００５１】
欠陥がある場合（Ｓ２０のＹｅｓ）、画素値推定手段２３は欠陥画素Ａの画素値を推定する（Ｓ２５）。画素値推定手段２３は欠陥画素Ａの位置により定まる欠陥画素の４近傍画素Ｅ、Ｆ、Ｂ、Ｄの画素値から欠陥画素Ａの画素値を推定する。なお、欠陥画素の近傍の画素Ｅ、Ｆにも欠陥画素がある場合、画素Ｅ、Ｆの近傍の画素の画素値から画素Ｅ、Ｆの画素値を推定してもよい。
【００５２】
そして、画素値・歪み補正手段２２は、欠陥画素Ａ以外の３つの近傍画素Ｂ、Ｃ、Ｄの画素値と、推定された欠陥画素Ａの画素値から出力画像の画素値を算出する（Ｓ４１）。
【００５３】
本実施例の幾何変換装置１３は、実施例１の効果に加え、出力画像の画質を向上させることができる。
【実施例３】
【００５４】
実施例２では入力画像の座標（Ｘｉ、Ｙｉ）の近傍画素Ａ〜Ｄに欠陥画素があった場合、欠陥画素Ａの４近傍画素Ｅ、Ｆ、Ｂ、Ｄの画素値から欠陥画素Ａの画素値を推定したが、本実施例では欠陥画素Ａの２近傍画素の画素値から欠陥画素Ａの画素値を推定する。
【００５５】
画素値の推定に２近傍画素の画素値のみ用いることで、推定にかかる演算処理を簡素化でき、処理を高速化することができる。
【００５６】
図８は、欠陥画素Ａの画素値の推定方法を説明するための図である。幾何変換テーブル２１によれば、出力画像の座標（Ｘ０，Ｙ０）に対応する入力画像の座標（Ｘｉ，Ｙｉ）の近傍画素Ａは欠陥画素である。
【００５７】
近傍画素Ａ〜Ｄのいずれかに欠陥画素Ａがある場合、画素値推定手段２３は、欠陥画素Ａの２近傍画素Ｆ、Ｄの画素値を用いて欠陥画素Ａの画素値を推定する。欠陥画素Ａの位置は明らかなので、欠陥画素の２近傍画素の位置及び画素値も明らかである。
【００５８】
画素値の推定は、２近傍画素Ｆ、Ｄの画素値に適当な重み付けをして算出する。例えば、欠陥画素Ａの画素値はＡ＝ｆＦ＋ｄＤ  と推定される。
【００５９】
欠陥画素Ａの画素値が推定されれば、入力画像の座標（Ｘｉ，Ｙｉ）の４近傍画素に欠陥画素はないものとして扱うことができるので、画素値・歪み補正手段２２は、画素Ｂ、Ｃ、Ｄの画素値及び欠陥画素Ａの推定された画素値から、出力画像の座標（Ｘ０，Ｙ０）の画素値を算出することができる。例えば、出力画像の座標（Ｘ０，Ｙ０）の画素の画素値Ｎは、Ｎ＝ａＡ＋ｂＢ＋ｃＣ＋ｄＤ  と算出される。
【００６０】
なお、実施例２と同様に、欠陥画素の画素値の推定と、出力画像の画素値の算出を分ける必要はなく、１回の演算で出力画像の座標（Ｘ０，Ｙ０）の画素値を算出することができる。
【００６１】
また、図８では、欠陥画素Ａの左右に隣接する近傍画素Ｆ、Ｄにより欠陥画素Ａの画素値を推定したが、欠陥画素Ａの上下に隣接する近傍画素Ｅ、Ｂにより欠陥画素Ａの画素値を推定してもよい。また、厳密な近傍画素でないが、欠陥画素Ａの右上、右下、左上、左下の近傍画素のうち２画素の画素値から欠陥画素Ａの画素値を推定してもよい。
【００６２】
図９は、幾何変換装置１３が歪み補正と欠陥画素補正を同時に処理する手順を示すフローチャート図である。なお、図９において図７と同一ステップの説明は省略する。
【００６３】
欠陥がある場合（Ｓ２０のＹｅｓ）、画素値推定手段２３は欠陥画素Ａの画素値を推定する（Ｓ２６）。画素値推定手段２３は欠陥画素Ａの位置により定まる欠陥画素の２近傍画素Ｄ、Ｆの画素値から欠陥画素の画素値を推定する。
【００６４】
そして、画素値・歪み補正手段２２は、欠陥画素以外の３つの近傍画素Ｂ、Ｃ、Ｄの画素値と、推定された欠陥画素Ａの画素値から出力画像の画素値を算出する（Ｓ４１）。
【００６５】
本実施例の幾何変換装置１３は、実施例２の効果に加え、推定にかかる演算処理を簡素化でき、処理を高速化することができる。
【００６６】
以上説明したように、本実施形態の幾何変換装置１３は、歪み補正と同時に欠陥画素補正を同じ回路で同時に実行するので、これまで別体であったハードウェア構成を小型化しまた低コスト化することができる。
【図面の簡単な説明】
【００６７】
【図１】幾何変換装置の概略構成図である。
【図２】幾何変換テーブルの一例を示す図である。
【図３】入力画像の座標と出力画像の座標の対応関係を示す図である。
【図４】歪み補正前の入力画像と歪み補正後の出力画像の一例を示す図である。
【図５】幾何変換装置が歪み補正と欠陥画素補正を同時に処理する手順を示すフローチャート図である（実施例１）。
【図６】欠陥画素の画素値の推定方法を説明するための図である（実施例２）。
【図７】幾何変換装置が歪み補正と欠陥画素補正を同時に処理する手順を示すフローチャート図である（実施例２）。
【図８】欠陥画素の画素値の推定方法を説明するための図である（実施例３）。
【図９】幾何変換装置が歪み補正と欠陥画素補正を同時に処理する手順を示すフローチャート図である（実施例３）。
【図１０】撮像手段に撮影された歪み補正前の入力画像と歪み補正後に車室内の表示装置に表示された出力画像の一例を示す図である。
【符号の説明】
【００６８】
１１      カメラ
１２      Ａ／Ｄ変換回路
１３      幾何変換装置
１４      画像処理装置
１５      ディスプレイ
２１      幾何変換テーブル
２２      画素値・歪み補正手段
２３      画素値推定手段
【図１】
2008289008.tif 000003
【図２】
2008289008.tif 000004
【図３】
2008289008.tif 000005
【図４】
2008289008.tif 000006
【図５】
2008289008.tif 000007
【図６】
2008289008.tif 000008
【図７】
2008289008.tif 000009
【図８】
2008289008.tif 000010
【図９】
2008289008.tif 000011
【図１０】
2008289008.tif 000012