(57)【要約】【課題】歪曲補正および傾き補正を行うことができ、これにより歪みや傾きのない画像を表示することができる画像処理装置を提供する。【解決手段】ビデオメモリ３には、ビデオカメラによって撮像された画像データ（キャプチャデータ）が書き込まれる。このビデオメモリ３内のデータが画像補正回路１２によって補正され、ラインバッファ１３ａ、１３ｂを介して表示装置へ出力される。画像補正回路１２は、表示装置における画像の表示位置の各ドットについて、拡大／縮小率の逆数および表示位置を示すデータに基づいて拡大／縮小処理前の位置を算出し、算出された各位置について、傾き角度に基づいて傾き補正前の位置を算出し、算出された各位置について、歪倍率に基づいて歪曲補正前の位置を算出し、算出された位置のカラーデータを、ビデオメモリ３内の該位置の周囲のドットのカラーデータに基づいて算出する。【選択図】図２
2007293457.tif 000002
【特許請求の範囲】
【請求項１】
画像メモリに書き込まれた画像を歪倍率に基づいて歪曲補正し、傾き角度に基づいて傾き補正して表示装置に表示する画像処理装置において、
前記表示装置における前記画像の表示位置の各ドットについて、傾き角度に基づいて傾き補正前の位置を算出する第１の演算手段と、
前記第１の演算手段によって算出された各位置について、歪倍率に基づいて歪曲補正前の位置を算出する第２の演算手段と、
前記第２の演算手段によって算出された位置のカラーデータを、前記画像メモリ内の該位置の周囲のドットのカラーデータに基づいて算出するカラーデータ算出手段と、
を具備することを特徴とする画像処理装置。
【請求項２】
画像メモリに書き込まれた画像を歪倍率に基づいて歪曲補正し、傾き角度に基づいて傾き補正し、拡大／縮小率に基づいて拡大／縮小して表示装置に表示する画像処理装置において、
前記表示装置における前記画像の表示位置の各ドットについて、拡大／縮小率の逆数および表示位置を示すデータに基づいて拡大／縮小処理前の位置を算出する第1の演算手段と、
前記第1の演算手段によって算出された各位置について、傾き角度に基づいて傾き補正前の位置を算出する第２の演算手段と、
前記第２の演算手段によって算出された各位置について、歪倍率に基づいて歪曲補正前の位置を算出する第３の演算手段と、
前記第３の演算手段によって算出された位置のカラーデータを、前記画像メモリ内の該位置の周囲のドットのカラーデータに基づいて算出するカラーデータ算出手段と、
を具備することを特徴とする画像処理装置。
【請求項３】
前記カラーデータ算出手段は、バイリニア方式によってカラーデータを算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記カラーデータ算出手段は、二アレストネイバー方式によってカラーデータを算出することを特徴とする請求項１または請求項２に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラによって撮像されたＮＴＳＣ形式、ＰＡＬ形式等の画像データを実時間で表示する表示装置等に用いられる画像処理装置に関する。
【背景技術】
【０００２】
近年、ビデオカメラによって撮像された画像データ（ビデオキャプチャによる画像データ）を、実時間で拡大または縮小してディスプレイ画像データに表示する装置が開発されている。この装置は、例えば、車両の後部にビデオカメラが取り付けられ、車両内部に画像処理装置および表示装置が取り付けられ、運転者に見えない車両後方のモニタ用等に使用される。
【特許文献１】特開2004-147285号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、周知のように、ビデオカメラの画像にはレンズによる歪曲がある。また、カメラを車両等に取り付ける場合において、完全に水平に取り付けることは難しく、傾きが生じることは避けられない。
本発明は上記事情を考慮してなされたもので、その目的は、歪曲補正および傾き補正を行うことができ、これにより歪みや傾きのない画像を表示することができる画像処理装置を提供することにある。
【課題を解決するための手段】
【０００４】
この発明は上記の課題を解決するためになされたもので、請求項１に記載の発明は、画像メモリに書き込まれた画像を歪倍率に基づいて歪曲補正し、傾き角度に基づいて傾き補正して表示装置に表示する画像処理装置において、前記表示装置における前記画像の表示位置の各ドットについて、傾き角度に基づいて傾き補正前の位置を算出する第１の演算手段と、前記第１の演算手段によって算出された各位置について、歪倍率に基づいて歪曲補正前の位置を算出する第２の演算手段と、前記第２の演算手段によって算出された位置のカラーデータを、前記画像メモリ内の該位置の周囲のドットのカラーデータに基づいて算出するカラーデータ算出手段とを具備することを特徴とする画像処理装置である。
【０００５】
請求項２に記載の発明は、画像メモリに書き込まれた画像を歪倍率に基づいて歪曲補正し、傾き角度に基づいて傾き補正し、拡大／縮小率に基づいて拡大／縮小して表示装置に表示する画像処理装置において、前記表示装置における前記画像の表示位置の各ドットについて、拡大／縮小率の逆数および表示位置を示すデータに基づいて拡大／縮小処理前の位置を算出する第1の演算手段と、前記第1の演算手段によって算出された各位置について、傾き角度に基づいて傾き補正前の位置を算出する第２の演算手段と、前記第２の演算手段によって算出された各位置について、歪倍率に基づいて歪曲補正前の位置を算出する第３の演算手段と、前記第３の演算手段によって算出された位置のカラーデータを、前記画像メモリ内の該位置の周囲のドットのカラーデータに基づいて算出するカラーデータ算出手段とを具備することを特徴とする画像処理装置である。
【０００６】
請求項３に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記カラーデータ算出手段は、バイリニア方式によってカラーデータを算出することを特徴とする。
【０００７】
請求項４に記載の発明は、請求項１または請求項２に記載の画像処理装置において、前記カラーデータ算出手段は、二アレストネイバー方式によってカラーデータを算出することを特徴とする。
【発明の効果】
【０００８】
この発明によれば、歪曲補正および傾き補正を行って画像表示をすることができ、これにより、歪みや傾きのない画像を表示することができる。
【発明を実施するための最良の形態】
【０００９】
以下、図面を参照して本発明の実施形態について説明する。
図１は、本発明の一実施形態に係るＶＤＰ（Video Display Processor；画像処理装置）の構成を示す構成図である。図１において、ＶＤＰ１は映像入力をキャプチャし、ビデオメモリ３に書き込んだ後に表示解像度に合わせてＣＲＴ表示装置（図示せず）に表示させるものである。また、ＶＤＰ１はＣＰＵ（Central Processing Unit）２から描画コマンドを入力し映像入力に対するＯＳＤ(On Screen Display)表示を行う機能を備える。
【００１０】
本実施形態では、描画コマンドとしてＬＩＮＥコマンド、ＦＩＬＬコマンド、ＣＯＰＹコマンドの３種類を使用する。ＬＩＮＥコマンドは始点と終点を指定して直線の描画を行うためのコマンドであり、ＦＩＬＬコマンドは矩形領域を指定して塗りつぶしを行うためのコマンドである。ＣＯＰＹコマンドは、転送元のアドレスと転送先のアドレスとを指定してビデオメモリ空間内でデータのコピーを行うためのコマンドである。さらに、ＣＯＰＹコマンドには、フォーマット変換を指定する情報と透明色制御およびαブレンディングの設定情報も含まれる。
【００１１】
ＶＤＰ１内のＣＰＵインターフェイスモジュール１０１は、ＣＰＵ２との間の通信を司るものであり、ＣＰＵ２から入力した描画コマンドをＤＰＵ１０６に出力する機能や、ＣＰＵ２からビデオメモリ３へのアクセスを制御する機能を備える。ＶＲＡＭインターフェイスモジュール１０２は、ＶＤＰ１内の各部からビデオメモリ３へのアクセスを制御するものである。
【００１２】
ＶＤＵ（Video Decoder Unit）１０３は、アナログ画像信号を入力し、ディジタル画像信号へと変換するものである。ＶＣＣ（Video Capture Controller）１０４は、ＶＤＵ１０３から出力されるディジタル画像信号または外部から直接入力されるディジタル画像信号のキャプチャを行い、画像データとしてビデオメモリ３に書き込むものである。なお、ＶＤＵ１０３のデコーダ回路およびＶＣＣ１０４のキャプチャ回路はそれぞれ２回路ずつ備えており、２チャネルのアナログ画像信号入力を同時にキャプチャすることができる。
【００１３】
ＣＰＣ（Capture Plane Controller）１０５は、ビデオメモリ３から画像データを読み込み、ＰＤＣ１０８へと出力するものである。ＤＰＵ（Drawing Processor Unit）１０６は、ＣＰＵインターフェイスモジュール１０１から入力した描画コマンドを解釈し、ビデオメモリ３内に直線や矩形を描画したり、描画したデータに対して所定の処理を行うものである。なお、ＣＰＵ２は、描画コマンドを使わずに直接ビデオメモリ３内に描画することもできる。
【００１４】
ＯＳＤプレーンコントローラ１０７は、ＯＳＤ画像として表示させるデータをビデオメモリ８から読み出し、ＰＤＣ１０８へ出力するものである。ＰＤＣ(Pixel Data Controller)１０８は、画像入力、すなわち、外部から入力されたディジタル画像信号に基づく画像と、ＶＤＵ１０３でデコード後のディジタル画像信号に基づく画像とをそれぞれ、バックドロップ面でそのまま表示させる。また、ＣＰＣ１０５から出力されるキャプチャ画像データと、ＯＳＤプレーンコントローラ１０７から出力されるＯＳＤ画像として表示させるデータを入力し、各プレーンのフォーマットを統一し、表示の優先順位およびαブレンディングの設定等に基づいて合成処理を行うものである。
【００１５】
ＶＤＰ１では、外部から入力される画像を表示するバックドロップ面と、キャプチャ画像データを表示する２つの表示プレーンと、ＯＳＤ画像を表示する２つの表示プレーンの４つの表示プレーンとバックドロップ面による階層表示が可能であり、ＰＤＣ１０８は４つの表示プレーンとバックドロップ面の合成処理を行う。
【００１６】
なお、「表示プレーン」の用語は、１つの矩形状画像データを外部表示装置の所定の場所に所定のサイズで表示するために必要な全ての構成を包括したものを示し、あるいは、外部表示装置に供給される表示データそのものを示す。
【００１７】
ＰＤＣ１０８は、合成後の表示データをディジタル画像信号としてそのまま外部に出力し、また、ＤＡＣ(Digital Analog Converter)１０９を介してアナログ画像信号として出力する。ＣＲＴコントローラ１１０は、ＣＲＴ表示装置で表示する際のタイミング信号を出力し、また、モニタ表示に関する情報をＶＤＰ１内の各部へ出力する。クロックジェネレータ１１１は、ＶＤＰ１内の各部で使用するクロックを生成するものである。
【００１８】
図２は、図１におけるＣＰＣ１０５の詳細を示すブロック図であり、このＣＰＣ１０５は、同一構成による２個の表示プレーン１０５ａおよび１０５ｂから構成されている。表示プレーン１０５ａにおいて、１２は画像補正回路であり、ビデオメモリ３からＶＲＡＭインターフェイスモジュール１０２を介してビデオカメラの画像データを読み出し、レンズによる歪曲を補正し、また、カメラの傾きによる画像の傾きを補正し、さらに拡大または縮小してラインバッファ１３ａまたは１３ｂに書き込む。ラインバッファ１３ａおよび１３ｂは交互に書き込み、読み出しが行われる先入れ先出し式バッファメモリであり、画像補正回路１２の出力がラインバッファ１３ａに書き込まれている時はラインバッファ１３ｂ内のデータ読み出され、また、画像補正回路１２の出力がラインバッファ１３ｂに書き込まれている時はラインバッファ１３ａ内のデータ読み出され、この動作が交互に行われる。１５はコントローラであり、メモリ１６内のデータに基づいて回路各部を制御する。
【００１９】
次に、画像補正回路１２について詳述する。
図３は画像補正回路１２において行われる処理の内容を示す図である。この図において、（ａ）はビデオカメラによって取得されたキャプチャデータを示し、（ｂ）は歪曲補正後の画像データを示す。キャプチャデータにおける点（ｘ，ｙ）のドットは歪曲補正によって点（ｘｄ，ｙｄ）へ移動する。なお、点（Ｃｘ，Ｃｙ）は歪曲補正、傾き補正の基準となる画像データの中心点である。（ｃ）は傾き補正後の画像データを示す。歪曲補正後の点（ｘｄ，ｙｄ）は傾き補正によって点（ｘｓ，ｙｓ）へ移動する。（ｄ）は拡大／縮小処理後の画像データを示す。この図は（ｃ）における表示領域Ａを拡大した場合であり、傾き補正後の点（ｘｓ，ｙｓ）は点（Ｘ，Ｙ）に表示される。
【００２０】
以上が画像補正回路１２における処理の内容であるが、実際の処理は上記と逆の順に行われる。その理由は、キャプチャデータはドットデータであるが、キャプチャデータによってカラー表示される各ドットの位置は、補正処理および拡大／縮小処理を行った場合に、表示画像のドット位置に一致するとは限らず、むしろ一致しない場合が多いからである。逆に、表示画像のドット位置からキャプチャデータのドット位置を求めれば、求めた位置の周囲のドットのカラーデータから表示画像のドットのカラーデータを求めることができる。
図４は画像補正回路１２における処理の過程を示すフローチャートである。いま、図３における座標（Ｘ，Ｙ）を拡大処理後のあるドットの座標であるとすると、画像補正回路１２は、まず、点（Ｘ，Ｙ）が傾き補正後の画像データ（図３（ｃ））における点の座標（ｘｓ，ｙｓ）を求める（ステップＳ１）。この場合、表示装置４に表示が開始される点の座標を基準とする相対座標によって計算する。次に、点（ｘｓ，ｙｓ）が歪曲補正後の画像データ（図３（ｂ））における点の座標（ｘｄ，ｙｄ）を求める（ステップＳ２）。この場合、画像データの中心座標（Ｃｘ，Ｃｙ）を基準点とする相対座標で計算する。次に、点（ｘｄ，ｙｄ）がキャプチャデータ（図３（ａ））における点の座標（ｘ，ｙ）を求める（ステップＳ３）。この場合、画像データの中心座標（Ｃｘ，Ｃｙ）を基準点とする相対座標で計算する。次に、相対座標を絶対座標に変換し（ステップＳ４）、次に、点（Ｘ，Ｙ）のドットのカラーデータを算出する（ステップＳ５）。
【００２１】
以下、上記の処理を具体的に説明する。
（１）拡大／縮小
図５において、Ｇ２を傾き補正後の仮想画像データとし、Ｇ１を仮想画像データＧ２の表示領域Ａを拡大した画像データとする。ここで、仮想画像データとは、実際に表示される画像データではなく、説明の便宜上、仮に考えた画像データである。一方、画像データＧ１は、表示装置に実際に表示される画像データである。
【００２２】
いま、表示領域Ａの左上隅の点の座標を（Ｓｘ，Ｓｙ）とする。ここで、座標原点は画像データＧ２の左上隅の点である。また、画像データＧ１内のあるドットＰ１（Ｘ，Ｙ）に対応する表示領域Ａ内の点をＰ２とする。この時、点Ｐ２の、画像データＧ２の左上隅を原点とする座標（ｘｓ，ｙｓ）は次式によって求められる。
ｘｓ＝Scalx・Ｘ ＋ Ｓｘ    …(1)
ｙｓ＝Scaly・Ｙ ＋ Ｓｙ    …(2)
但し、Scalx、Scalyは拡大／縮小率の逆数
【００２３】
（２）傾き補正
図６は傾き補正を説明するための図であり、図において、点Ｐ２は傾き補正後の点の位置、点Ｐ３は傾き補正前の点の位置、角度θは補正角度である。この場合、画像データＧ２の中心座標（Ｃｘ，Ｃｙ）から点Ｐ３までのｘ軸方向の距離（ｘｄ−Ｃｘ）、ｙ軸方向の距離（ｙｄ−Ｃｙ）、および中心座標（Ｃｘ，Ｃｙ）から点Ｐ２までのｘ軸方向の距離（ｘｓ−Ｃｘ）、ｙ軸方向の距離（ｙｓ−Ｃｙ）は各々中心点と点Ｐ２、Ｐ３までの距離をａとすると次式によって求められる。
（ｘｄ−Ｃｘ）＝ａ・ｃｏｓα            …(3)
（ｙｄ−Ｃｙ）＝ａ・ｓｉｎα            …(4)
（ｘｓ−Ｃｘ）＝ａ・ｃｏｓ（θ＋α）    …(5)
（ｙｓ−Ｃｙ）＝ａ・ｓｉｎ（θ＋α）    …(6)
【００２４】
上記(5)式および(6)式から、
（ｘｓ−Ｃｘ）＝ａ・ｃｏｓα・ｃｏｓθ−ａ・ｓｉｎα・ｓｉｎθ      …(7)
（ｙｓ−Ｃｙ）＝ａ・ｓｉｎα・ｃｏｓθ＋ａ・ｃｏｓα。ｓｉｎθ      …(8)
なる式が得られ上記(7)、(8)式に(3)、(4)式を代入すると、
（ｘｓ−Ｃｘ）＝（ｘｄ−Ｃｘ）・ｃｏｓθ−（ｙｄ−Ｃｙ）・ｓｉｎθ    …(9)
（ｙｓ−Ｃｙ）＝（ｙｄ−Ｃｙ）・ｃｏｓθ＋（ｘｄ−Ｃｘ）・ｓｉｎθ    …(10)
なる式が得られ、これら(9)、(10)式から、傾き補正前の点Ｐ３の座標（ｘｄ，ｙｄ）が次のように求まる。
ｘｄ＝Ｃｘ＋（ｘｓ−Ｃｙ）・ｃｏｓθ＋（ｙｓ−Ｃｙ）・ｓｉｎθ    …(11)
ｙｄ＝Ｃｙ＋（ｙｓ＋Ｃｙ）・ｃｏｓθ―（ｘｓ−Ｃｘ）・ｓｉｎθ    …(12)
【００２５】
（３）歪曲補正
図７、図８は歪率補正を説明するための図である。図７において、光軸からＹの距離にある物体は理想的にはＨの位置に結像されるが、レンズの影響で実際にはｈの位置に結像される。この時、ｈ／Ｈが倍率となる。この倍率がＨの値によらず一定であれば歪曲収差
は生じない。しかし、Ｈの増加に対し倍率が減少する場合は樽型歪が発生し、増加する場合は糸巻型歪が発生する。倍率ｈ／Ｈは次の多項式で近似できる。
ｈ／Ｈ＝１＋ｋ１・Ｈ２＋ｋ２・Ｈ２＋Ｋ３・Ｈ２＋・・・    …(13)
この式から、ｈは、
ｈ＝Ｈ・（１＋ｋ１・Ｈ２＋ｋ２・Ｈ２＋Ｋ３・Ｈ２＋・・・）    …(14)
として求められる。
【００２６】
次に、図８において、Ｐ３は歪曲補正後の点の位置Ｐ４は歪曲補正前の点の位置である。いま、中心点（Ｃｘ，Ｃｙ）から点Ｐ４までの距離をｒ、点Ｐ３までの距離をＲとすると、
ｒ＝Ｒ・（１＋ｋ１・Ｒ２＋ｋ２・Ｒ２＋Ｋ３・Ｒ２＋・・・）    …(15)
なる関係が成り立つ。また、
ｒ／Ｒ＝（ｘ−Ｃｘ）／（ｘｄ−Ｃｘ）＝（ｙ−Ｃｙ）／（ｙｄ−Ｃｙ）  …(16)
なる関係が成り立つ。これら(15)式および(16)式から、
（ｘ−Ｃｘ）＝（ｘｄ−Ｃｘ）・（１＋ｋ１・Ｒ２＋ｋ２・Ｒ２＋Ｋ３・Ｒ２＋・・・）
…(17)
（ｙ−Ｃｙ）＝（ｙｄ−Ｃｙ）・（１＋ｋ１・Ｒ２＋ｋ２・Ｒ２＋Ｋ３・Ｒ２＋・・・）
…(18)
なる関係が得られ、これら(17)、(18)式において歪曲補正を２次近似とすると、
（ｘ−Ｃｘ）＝（ｘｄ−Ｃｘ）・（１＋ｋ１・Ｒ２）    …(19)
（ｙ−Ｃｙ）＝（ｙｄ−Ｃｙ）・（１＋ｋ１・Ｒ２）    …(20)
なる式が得られ、これらの式から、
ｘ＝Ｃｘ＋（ｘｄ−Ｃｘ）・（１＋ｋ１・Ｒ２）    …(21)
ｙ＝Ｃｙ＋（ｙｄ−Ｃｙ）・（１＋ｋ１・Ｒ２）    …(22)
但し、Ｒ２＝（ｘｄ−Ｃｘ）２＋（ｙｄ−Ｃｙ）２
として点Ｐ４の座標（ｘ，ｙ）が求められる。
【００２７】
（４）カラーデータ算出
以上のような演算によって、図５に示す表示画像データＧ１上のドットＰ１がキャプチャデータ（図３（ａ））のどの位置の点であるかが求められる。この求められた点が点Ｐ４（ｘ、ｙ）である。この点Ｐ４はキャプチャデータのドット位置に丁度一致する場合もあるが、異なっている場合も多い。そこで、画像補正回路１２は、点Ｐ４の周囲の４点のキャプチャデータ（カラーデータ）からバイリニア方式によって点Ｐ４のカラーデータ、すなわち、点Ｐ１のカラーデータを求める。
【００２８】
図９において、点Ｐ４の周囲の４個のドットをＤ１ないしＤ４とし、点Ｐ４と点Ｄ１の横方向の距離をａ、点Ｐ４と点Ｄ２の横方向の距離をｂ、点Ｐ４と点Ｄ１の縦方向の距離をｃ、点Ｐ４と点Ｄ３の縦方向の距離をｄとすると、点Ｐ４のカラーデータは次の式で求められ、実際の演算はＦＩＲフィルタによって行われる。
点Ｙ１のカラーデータ：（ｄＤ１／（ｃ＋ｄ））＋（ｃＤ３／（ｃ＋ｄ））
点Ｙ２のカラーデータ：（ｄＤ２／（ｃ＋ｄ））＋（ｃＤ４／（ｃ＋ｄ））
点Ｐ４のカラーデータ：（ｂＹ１／（ａ＋ｂ））＋（ａＹ２／（ａ＋ｂ））
【００２９】
なお、上述したバイリニア方式に代えて、ニアレストネイバー方式によって点Ｐ４のカラーデータを求めてもよい。この二アレストネイバー方式の場合、上記４点Ｄ１ないしＤ４の内で最も近いドットのカラーデータを点Ｐ４のカラーデータとする。
なお、上記実施形態は歪曲補正、傾き補正、拡大／縮小の各機能を具備しているが、いずれか１つまたは２つの機能のみを具備する回路として構成してもよい。
【産業上の利用可能性】
【００３０】
この発明は、ビデオカメラによって撮像されたＮＴＳＣ形式、ＰＡＬ形式等の画像データを実時間で表示する表示装置等に用いられる。
【図面の簡単な説明】
【００３１】
【図１】この発明の一実施形態による画像処理装置の構成を示すブロック図である。
【図２】同画像処理装置におけるＣＰＣ１０５の構成を示すブロック図である。
【図３】同ＣＰＣ１０５における画像補正回路１２の動作を説明するための説明図である。
【図４】同画像補正回路１２の動作を説明するためのフローチャートである。
【図５】同画像補正回路１２における拡大／縮小処理を説明するための説明図である。
【図６】同画像補正回路１２における傾き補正処理を説明するための説明図である。
【図７】同画像補正回路１２における歪曲補正処理を説明するための説明図である。
【図８】同画像補正回路１２における歪曲補正処理を説明するための説明図である。
【図９】同画像補正回路１２における画像データ算出処理を説明するための説明図である。
【符号の説明】
【００３２】
１…画像処理装置、２…ＣＰＵ、３…ビデオメモリ、４…表示装置、１２…画像補正回路、１３ａ、１３ｂ…ラインバッファ、１５…コントローラ、１０５…ＣＰＣ、１０５ａ、１０５ｂ…表示プレーン、１１０…ＣＲＴコントローラ。
【図１】
2007293457.tif 000003
【図２】
2007293457.tif 000004
【図３】
2007293457.tif 000005
【図４】
2007293457.tif 000006
【図５】
2007293457.tif 000007
【図６】
2007293457.tif 000008
【図７】
2007293457.tif 000009
【図８】
2007293457.tif 000010
【図９】
2007293457.tif 000011