(57)【要約】【課題】低コストで画像の歪みを補正し、高品質な画像をリアルタイムに生成するための画像処理装置とカメラシステム及び画像処理方法を提供する。【解決手段】歪みを持った原画像を補正する画像処理装置であって、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段と、前記水平補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段とを備えたことを特徴とする画像処理装置を提供する。【選択図】図２
2008092602.tif 000002
【特許請求の範囲】
【請求項１】
歪みを持った原画像を補正する画像処理装置であって、
前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段と、
前記水平補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段と
を備えたことを特徴とする画像処理装置。
【請求項２】
前記水平補正手段は、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮すると共に、
前記垂直補正手段は、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮する
請求項１に記載の画像処理装置。
【請求項３】
前記水平補正手段は、
前記水平補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第一データ取得手段と、
前記水平補正パラメータの小数成分に応じて補間係数を生成する第一補間係数生成手段と、
前記第一データ取得手段により取得された前記画像データと、前記第一補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第一補間演算手段とを含み、
前記垂直補正手段は、
前記垂直補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第二データ取得手段と、
前記垂直補正パラメータの小数成分に応じて補間係数を生成する第二補間係数生成手段と、
前記第二データ取得手段により取得された前記画像データと、前記第二補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第二補間演算手段と
を含む請求項１に記載の画像処理装置。
【請求項４】
前記水平補正手段による補正により得られた水平補正画像を記憶する記憶手段をさらに備え、
前記垂直補正手段は、
前記記憶手段から前記垂直補正パラメータに応じた前記水平補正画像を取得するデータ取得手段と、
前記データ取得手段により取得された前記水平補正画像に対して、前記垂直補正パラメータを用いた補間演算を施す補間演算手段と
を含む請求項１に記載の画像処理装置。
【請求項５】
前記水平補正手段は、補間演算を施すことにより、前記原画像の水平方向における歪みを補正し、
前記垂直補正手段は、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する
請求項１に記載の画像処理装置。
【請求項６】
歪みを持った原画像を補正する画像処理装置であって、
前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を前記原画像に対して施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段と、
前記垂直補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いた補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段と
を備えたことを特徴とする画像処理装置。
【請求項７】
前記垂直補正手段は、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮すると共に、
前記水平補正手段は、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮する
請求項６に記載の画像処理装置。
【請求項８】
前記垂直補正手段は、
前記垂直補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第一データ取得手段と、
前記垂直補正パラメータの小数成分に応じて補間係数を生成する第一補間係数生成手段と、
前記第一データ取得手段により取得された前記画像データと、前記第一補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第一補間演算手段とを含み、
前記水平補正手段は、
前記水平補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第二データ取得手段と、
前記水平補正パラメータの小数成分に応じて補間係数を生成する第二補間係数生成手段と、
前記第二データ取得手段により取得された前記画像データと、前記第二補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第二補間演算手段と
を含む請求項６に記載の画像処理装置。
【請求項９】
前記垂直補正手段による補正により得られた垂直補正画像を記憶する記憶手段をさらに備え、
前記水平補正手段は、
前記記憶手段から前記水平補正パラメータに応じた前記垂直補正画像を取得するデータ取得手段と、
前記データ取得手段により取得された前記垂直補正画像に対して、前記水平補正パラメータを用いた補間演算を施す補間演算手段と
を含む請求項６に記載の画像処理装置。
【請求項１０】
前記垂直補正手段は、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正し、
前記水平補正手段は、補間演算を施すことにより、前記原画像の水平方向における歪みを補正する
請求項６に記載の画像処理装置。
【請求項１１】
被写体からの光を集光するレンズと、
前記レンズからの射影光より撮像画像信号を生成する撮像素子と、
前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、
前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、
前記信号処理回路からの記録画像データを記録する記録部と
を含むカメラシステムであって、
前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備し、
前記画像補正手段は、
前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段と、
前記水平補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段と
を備えたことを特徴とするカメラシステム。
【請求項１２】
被写体からの光を集光するレンズと、
前記レンズからの射影光より撮像画像信号を生成する撮像素子と、
前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、
前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、
前記信号処理回路からの記録画像データを記録する記録部と
を含むカメラシステムであって、
前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備し、
前記画像補正手段は、
前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段と、
前記垂直補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いた補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段と
を備えたことを特徴とするカメラシステム。
【請求項１３】
歪みを持った原画像を補正する画像処理方法であって、
前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の水平方向における歪みを補正する第一のステップと、
前記第一のステップにおいて得られた画像に対し、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する第二のステップと
を有することを特徴とする画像処理方法。
【請求項１４】
少なくとも前記第一のステップにおいて、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することにより前記原画像を水平方向において伸縮し、または
前記第二のステップにおいて、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することにより前記原画像を垂直方向において伸縮する
請求項１３に記載の画像処理方法。
【請求項１５】
前記第一のステップにおける補正により得られた水平補正画像を記憶手段に記憶させるステップをさらに備え、
前記第二のステップは、
前記記憶手段から前記垂直補正パラメータに応じた前記水平補正画像を取得するデータ取得ステップと、
前記データ取得ステップにおいて取得された前記水平補正画像に対して、前記垂直補正パラメータを用いた補間演算を施す補間演算ステップと
を含む請求項１３に記載の画像処理方法。
【請求項１６】
前記第一のステップは、補間演算を施すことにより、前記原画像の水平方向における歪みを補正し、
前記第二のステップは、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する
請求項１３に記載の画像処理方法。
【請求項１７】
歪みを持った原画像を補正する画像処理方法であって、
前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する第一のステップと、
前記第一のステップにおいて得られた画像に対し、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いた補間演算を施すことにより、前記原画像の水平方向における歪みを補正する第二のステップと
を有することを特徴とする画像処理方法。
【請求項１８】
少なくとも前記第一のステップにおいて、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することにより前記原画像を垂直方向において伸縮し、
または
前記第二のステップにおいて、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することにより前記原画像を水平方向において伸縮する
請求項１７に記載の画像処理方法。
【請求項１９】
前記第一のステップにおける補正により得られた垂直補正画像を記憶手段に記憶させるステップをさらに備え、
前記第二のステップは、
前記記憶手段から前記水平補正パラメータに応じた前記垂直補正画像を取得するデータ取得ステップと、
前記データ取得ステップにおいて取得された前記垂直補正画像に対して、前記水平補正パラメータを用いた補間演算を施す補間演算ステップとを含む
請求項１７に記載の画像処理方法。
【請求項２０】
前記第一のステップは、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正し、
前記第二のステップは、補間演算を施すことにより、前記原画像の水平方向における歪みを補正する
請求項１７に記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はビデオカメラやデジタルスチルカメラ、銀塩カメラなどに用いられる画像処理装置とカメラシステム及び画像処理方法に関するものである。
【背景技術】
【０００２】
従来より、ビデオカメラやデジタルスチルカメラ、あるいは銀塩カメラなどにより撮像された画像においては、撮像レンズの歪曲収差特性の影響により歪みが生じていた。ここで、高精度で高性能なレンズにおいて該歪みは目立たないが、コストが低いレンズを使用する場合や光学ズームレンズを使用する場合には、画歪みの影響を完全に回避することは難しい。
【０００３】
そこで、近年、該歪みを信号処理により補正する画像処理装置が提案されてきている。図３３は、従来における画像処理装置１００の構成を示す。図３３に示されるように従来の画像処理装置１００は、レンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイコン７００、同期信号生成部８００、補正データテーブル１０１０、記録部１１００、再生部１２００、及び表示系処理部１３００とを備える。
【０００４】
ここで、図３４のフローチャートを参照しつつ、上記画像処理装置１００の動作の概要を説明する。まずステップＳ１では、レンズ２００及び撮像素子３００を介して被写体１０１に対するアナログ画像信号を入力する。そして、ステップＳ２ではデータ変換部４００で該アナログ画像信号をデジタル画像信号に変換し、画像１０２を生成する。
【０００５】
次に、ステップＳ３において、信号処理部５００は補正データテーブル１０１０に格納された歪み補正ベクトル（以下、単に「補正ベクトル」ともいう）を用いて歪んだ画像１０２に対し補正演算を施す。そして、ステップＳ４において、制御マイコン７００は画像の入力を終了するか否かを判断し、終了しないと判断した場合にはステップＳ１へ戻る。
【０００６】
以上が、図３３に示された従来の画像処理装置１００の動作の概要であるが、以下において該動作を詳しく説明する。
【０００７】
レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影する。また、撮像素子３００はCCDやCMOSセンサなどから構成され、写影された映像をキャプチャーして、アナログの画像信号を生成する。また、データ変換部４００は撮像素子３００から供給された該アナログ信号をデジタルの画像信号に変換し、画像１０２を生成する。一方、制御マイコン７００は外部のユーザインタフェースへの入力に応じて、所定の動作を命令するコマンドを発行する。
【０００８】
また、信号処理部５００は制御マイコン７００から供給されたコマンドに応じてデータ変換部４００により生成されたデジタル画像信号を画像メモリ６００へ格納する。そして、信号処理部５００は補正データテーブル１０１０に予め記録された全画素に対応する補正ベクトルを該テーブルから読み出し、該補正情報に応じて画像メモリ６００から必要な画像信号を取得した後、該画像信号につき２次元補間方式による幾何学補正を実行することによって、データ変換部４００から出力された画像１０２の歪みを補正する。
【０００９】
ここで、信号処理部５００において生成された画像信号は、表示系処理部１３００へ供給されることにより該画像がモニタに表示され、あるいは記録部１１００へ供給されることにより外部のテープやディスクあるいはメモリなどのメディア１４００に記録される。また、メディア１４００に記録された画像信号は、再生部１２００により再生され、該再生信号が表示系処理部１３００へ供給されることにより該再生画像がモニタに表示される。
【００１０】
なお、同期信号生成部８００は、外部から供給されるクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部１０へ供給する。
【００１１】
図３５は、図３３に示された信号処理部５００の構成を示すブロック図である。図３５に示されるように、信号処理部５００はタイミング制御部５１０と補間位相・入力データ座標計算部５２０、データ取得部５３０、補間係数生成部５４０、データ補間計算部５５０、出力データバッファ５６０、及びデータ書き込み部５７０とを含む。
【００１２】
ここで、データ書き込み部５７０はデータ変換部４００から供給されたデジタル画像信号を書き込み制御信号Ｓｗと共に画像メモリ６００へ供給し、画像メモリ６００に対して該デジタル画像信号を格納させる。
【００１３】
また、タイミング制御部５１０は同期信号生成部８００から供給された内部同期信号に応じて制御タイミング信号Ｓｔを生成し、補間位相・入力データ座標計算部５２０は供給された制御タイミング信号Ｓｔに応じて出力画像の座標を計算し、得られた座標に対する補正ベクトルを要求する補正ベクトル要求信号Ｓａを補正データテーブル１０１０へ供給する。
【００１４】
補正データテーブル１０１０は、内蔵する該テーブルにより補正ベクトル要求信号Ｓａに応じた補正ベクトルを求め、データ取得部５３０及び補間係数生成部５４０へ供給する。データ取得部５３０は、読み出し制御信号Ｓｒを画像メモリ６００へ供給することにより、補正データテーブル１０１０から出力された補正ベクトルの整数成分に応じた補間用データを画像メモリ６００から取得する。なお、データ取得部５３０は取得した該補間用データをデータ補間計算部５５０へ供給する。
【００１５】
一方、補間係数生成部５４０は、補正データテーブル１０１０から供給された補正ベクトルの小数成分に応じて補間係数を生成し、データ補間計算部５５０へ供給する。そして、データ補間計算部５５０はデータ取得部５３０から供給された補間用データと、補間係数生成部５４０から供給された補間係数とに応じて補間演算を実行する。なお、該補間演算として２次元の補間演算が実行される。
【００１６】
以下、２次元補間による画像変換を図３６を参照しつつ説明する。図３６（ａ）は２次元補間の前後における画像を示し、図３６（ｂ）は図３６（ａ）の一部を拡大した図を示す。
【００１７】
ここで、例えば図３６（ａ）に示された点ａ１から点ａ４までを結ぶ矢印が出力画像であるとき、該出力画像を構成する点ａ１から点ａ４までに対応する画像１０２上の点は点Ａ１から点Ａ４までとする。従って、図３６（ａ）では点Ａ１から点Ａ４までを結ぶ矢印からなる原画像が、２次元補間により点ａ１から点ａ４までを結ぶ出力画像に変換された場合が示される。
【００１８】
このときｘ及びｙ方向においてそれぞれ２つ（２×２）の画像データを用いて出力画像の各点の画像を決定する場合には、例えば点Ａ１を囲む４つの格子点Ｋ００，Ｋ０１，Ｋ１０，Ｋ１１における画像データを用いて点ａ１の画像データが決定される。なお、点Ａ２から点Ａ４までについても同様な演算が実行されることにより、点ａ２から点ａ４の画像データが決定される。ここで、上記４つの格子点Ｋ００，Ｋ０１，Ｋ１０，Ｋ１１は、補正データテーブル１０１０から出力された補正座標に応じて決定される。
【００１９】
また、図３６（ｂ）に示されるように、格子点Ｋ００と格子点Ｋ１０との間、及び格子点Ｋ１０と格子点Ｋ１１との間の距離を共に１としたとき、ｘ方向及びｙ方向における点Ａ１の位置はそれぞれ小数パラメータＰｘ，Ｐｙにより特定される。このとき、点ａ１の画像データを算出する際に用いられる格子点Ｋ００，Ｋ０１，Ｋ１０，Ｋ１１の各画像データの重み付け（補間係数）Ｃｎ（ｎ＝１〜４）は、補正データテーブル１０１０から供給される上記補正ベクトルの小数成分、すなわち該小数パラメータＰｘ，Ｐｙにより決定される。
【００２０】
また、データ補間計算部５５０による補間演算の結果得られたデータは、出力データバッファ５６０に保持され、所定のタイミングで表示系処理部１３００又は記録部１１００へ出力される。
【００２１】
ここで、従来のデータ補間計算部５５０は図３７に示されるように構成される。なお、図３７においては、ｘ及びｙ方向にそれぞれ４つ並んだ（４×４）合計１６個からなる画像データを用いて出力画像の各点の画像が決定される場合の構成が示される。
【００２２】
図３７に示されるように、従来のデータ補間計算部５５０は４つのラインメモリ９００と、各ラインメモリ９００の出力ノードにそれぞれ４つずつ直列接続された合計１６個のレジスタ９０１と、各レジスタ９０１から出力された画像データと対応する補間係数ＣＨｎ（ｎ＝００〜３３）とをそれぞれ乗算する１６個の乗算回路９０２と、該１６個の乗算回路９０２により得られたデータを加算する加算回路９０４と、加算回路９０４により得られたデータを除算する除算回路９０５とを含む。
【発明の開示】
【発明が解決しようとする課題】
【００２３】
しかしながら、上記のような従来の画像処理装置によれば、リアルタイムに画像の歪みを補正することもできるが、全画素に対応する補正ベクトルを持つ必要があるために回路規模が大きくなり、コストがかかるという問題がある。
【００２４】
さらに、レンズ２００の位置を変動させる場合やレンズ交換を行う場合には、該レンズの歪曲収差特性の変化に応じて補正ベクトルを更新する必要があるため、コストの高い大容量の補正データテーブル１０１０が必要となる。
【００２５】
また、補正データテーブル１０１０の該更新は、ユーザインタフェースからの指示により制御マイコン７００により実行されるが、制御マイコン７００と補正データテーブル１０１０との間においては大きな通信容量が必要とされるため、制御マイコン７００によるリアルタイム処理が困難になるという問題もある。
【００２６】
なお、補正データテーブル１０１０を備える代わりに該補正ベクトルを逐次演算する方法もあるが、かかる方法ではいわゆるフレーム遅延のないリアルタイム処理が困難であり、リアルタイム処理を実現するためには大きなハードウェアが必要となってコストがかかるという問題がある。
【００２７】
また、上記のように２次元補間では、１点の画像データを補正するために画像が形成される２次元平面上の複数の点における画像データが用いられるが、質の高い画像を得るためには多数の点における画像データが必要となるため、画像メモリ６００に対するアクセス頻度が高くなり動作の高速化を図ることができないという問題がある。
【００２８】
また、２次元補間を実行する場合には、画像メモリ６００のポート幅が出力レートの数倍のバンド幅であることが必要となる。すなわち例えば、２次元補間において４画素の画像データから１画素の画像データを生成する場合には、該ポート幅は１画素のバンド幅の４倍であることが必要となる。
【００２９】
このように、２次元補間を実行する場合には該ポート幅に一定の条件が必要とされるため、高次タップ（「タップ」とは、画像処理の対象とされる一方向におけるデータ数を意味する）の高性能フィルタを用いることが非常に困難であることから、高画質な画像を得ることが難しいという問題がある。
【００３０】
本発明は上記のような問題を解消するためになされたもので、低コストで画像の歪みを補正し、高品質な画像をリアルタイムに生成するための画像処理装置とカメラシステム及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【００３１】
本発明は、歪みを持った原画像を補正する画像処理装置であって、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段と、前記水平補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段とを備えたことを特徴とする。
【００３２】
好適には、前記水平補正手段は、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮すると共に、前記垂直補正手段は、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮する。
【００３３】
好ましくは、前記水平補正手段は、前記水平補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第一データ取得手段と、前記水平補正パラメータの小数成分に応じて補間係数を生成する第一補間係数生成手段と、前記第一データ取得手段により取得された前記画像データと、前記第一補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第一補間演算手段とを含み、前記垂直補正手段は、前記垂直補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第二データ取得手段と、前記垂直補正パラメータの小数成分に応じて補間係数を生成する第二補間係数生成手段と、前記第二データ取得手段により取得された前記画像データと、前記第二補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第二補間演算手段とを含む。
【００３４】
好ましくは、前記水平補正手段による補正により得られた水平補正画像を記憶する記憶手段をさらに備え、前記垂直補正手段は、前記記憶手段から前記垂直補正パラメータに応じた前記水平補正画像を取得するデータ取得手段と、前記データ取得手段により取得された前記水平補正画像に対して、前記垂直補正パラメータを用いた補間演算を施す補間演算手段とを含む。
【００３５】
好ましくは、前記水平補正手段は、補間演算を施すことにより、前記原画像の水平方向における歪みを補正し、前記垂直補正手段は、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する。
【００３６】
また本発明は、歪みを持った原画像を補正する画像処理装置であって、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を前記原画像に対して施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段と、前記垂直補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いた補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段とを備えたことを特徴とする。
【００３７】
好適には、前記垂直補正手段は、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することによって、前記原画像を垂直方向において伸縮すると共に、前記水平補正手段は、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することによって、前記原画像を水平方向において伸縮する。
【００３８】
好ましくは、前記垂直補正手段は、前記垂直補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第一データ取得手段と、前記垂直補正パラメータの小数成分に応じて補間係数を生成する第一補間係数生成手段と、前記第一データ取得手段により取得された前記画像データと、前記第一補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第一補間演算手段とを含み、前記水平補正手段は、前記水平補正パラメータの整数成分に応じて前記画素点における画像データを選択的に取得する第二データ取得手段と、前記水平補正パラメータの小数成分に応じて補間係数を生成する第二補間係数生成手段と、前記第二データ取得手段により取得された前記画像データと、前記第二補間係数生成手段により生成された前記補間係数とを用いて前記補間演算を実行する第二補間演算手段とを含む。
【００３９】
好ましくは、前記垂直補正手段による補正により得られた垂直補正画像を記憶する記憶手段をさらに備え、前記水平補正手段は、前記記憶手段から前記水平補正パラメータに応じた前記垂直補正画像を取得するデータ取得手段と、前記データ取得手段により取得された前記垂直補正画像に対して、前記水平補正パラメータを用いた補間演算を施す補間演算手段とを含む。
【００４０】
好ましくは、前記垂直補正手段は、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正し、前記水平補正手段は、補間演算を施すことにより、前記原画像の水平方向における歪みを補正する。
【００４１】
また本発明は、被写体からの光を集光するレンズと、前記レンズからの射影光より撮像画像信号を生成する撮像素子と、前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、前記信号処理回路からの記録画像データを記録する記録部とを含むカメラシステムであって、前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備し、前記画像補正手段は、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段と、前記水平補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段とを備えたことを特徴とする。
【００４２】
また本発明は、被写体からの光を集光するレンズと、前記レンズからの射影光より撮像画像信号を生成する撮像素子と、前記撮像素子からの撮像画像信号をデジタル画像信号に変換するデータ変換回路と、前記データ変換回路からのデジタル画像信号を信号処理して記録画像データを生成する信号処理回路と、前記信号処理回路からの記録画像データを記録する記録部とを含むカメラシステムであって、前記信号処理回路は、レンズ歪みを持った原画像を補正する画像補正手段を具備し、前記画像補正手段は、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する垂直補正手段と、前記垂直補正手段による補正により得られた画像に対し、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いた補間演算を施すことにより、前記原画像の水平方向における歪みを補正する水平補正手段とを備えたことを特徴とする。
【００４３】
また本発明は、歪みを持った原画像を補正する画像処理方法であって、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の水平方向における歪みを補正する第一のステップと、前記第一のステップにおいて得られた画像に対し、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いた補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する第二のステップとを有することを特徴とする。
【００４４】
好適には、少なくとも前記第一のステップにおいて、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することにより前記原画像を水平方向において伸縮し、または前記第二のステップにおいて、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することにより前記原画像を垂直方向において伸縮する。
【００４５】
好ましくは、前記第一のステップにおける補正により得られた水平補正画像を記憶手段に記憶させるステップをさらに備え、前記第二のステップは、前記記憶手段から前記垂直補正パラメータに応じた前記水平補正画像を取得するデータ取得ステップと、前記データ取得ステップにおいて取得された前記水平補正画像に対して、前記垂直補正パラメータを用いた補間演算を施す補間演算ステップとを含む。
【００４６】
好ましくは、前記第一のステップは、補間演算を施すことにより、前記原画像の水平方向における歪みを補正し、前記第二のステップは、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する。
【００４７】
また本発明は、歪みを持った原画像を補正する画像処理方法であって、前記原画像を構成する画素点における垂直方向の補正量を示す垂直補正パラメータを用いて前記原画像に対し補間演算を施すことにより、前記原画像の垂直方向における歪みを補正する第一のステップと、前記第一のステップにおいて得られた画像に対し、前記原画像を構成する画素点における水平方向の補正量を示す水平補正パラメータを用いた補間演算を施すことにより、前記原画像の水平方向における歪みを補正する第二のステップとを有することを特徴とする。
【００４８】
好適には、少なくとも前記第一のステップにおいて、前記補間演算により画像データを求める画素点の垂直方向における間隔を調整することにより前記原画像を垂直方向において伸縮し、または前記第二のステップにおいて、前記補間演算により画像データを求める画素点の水平方向における間隔を調整することにより前記原画像を水平方向において伸縮する。
【００４９】
好ましくは、前記第一のステップにおける補正により得られた垂直補正画像を記憶手段に記憶させるステップをさらに備え、前記第二のステップは、前記記憶手段から前記水平補正パラメータに応じた前記垂直補正画像を取得するデータ取得ステップと、前記データ取得ステップにおいて取得された前記垂直補正画像に対して、前記水平補正パラメータを用いた補間演算を施す補間演算ステップとを含む。
【００５０】
好ましくは、前記第一のステップは、補間演算を施すことにより、前記原画像の垂直方向における歪みを補正し、前記第二のステップは、補間演算を施すことにより、前記原画像の水平方向における歪みを補正する。
【発明の効果】
【００５１】
本発明に係る画像処理装置とカメラシステム及び画像処理方法によれば、低コストでリアルタイムに原画像の歪みを補正することができるため、高品質な画像を容易に得ることができる。
【発明を実施するための最良の形態】
【００５２】
以下において、本発明の実施の形態を図面を参照しつつ詳しく説明する。なお、図中同一符号は同一または相当部分を示す。
【００５３】
図１は、本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。図１に示されるように、本発明の実施の形態に係る画像処理システムは画像処理装置２と前処理装置３及びメディア１４００を備え、画像処理装置２はレンズ２００と撮像素子３００、データ変換部４００、信号処理部１０、画像メモリ７、制御マイコン８、補正パラメータデコーダ９、同期信号生成部８００、記録部１１００、再生部１２００、及び表示系処理部１３００とを含み、前処理装置３は補正パラメータエンコーダ５と補正パラメータ導出部６とを含む。
【００５４】
ここで、レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであっても良い。また、撮像素子３００はCCDやCMOSセンサなどから構成され、同期信号生成部８００から供給された内部同期信号に応じて、写影された映像をキャプチャーしアナログ画像信号を生成する。
【００５５】
データ変換部４００は撮像素子３００に接続され、同期信号生成部８００から供給された内部同期信号に応じて、撮像素子３００により生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２を生成する。
【００５６】
信号処理部１０は、制御マイコン８とデータ変換部４００、画像メモリ７、補正パラメータデコーダ９及び同期信号生成部８００に接続される。そして、信号処理部１０は、制御マイコン８から供給されたコマンドに応じて、データ変換部４００から供給されるデジタル画像信号を画像メモリ７へ格納すると共に、補正パラメータデコーダ９から供給される補正量パラメータによって格納された該画像信号に対する補正処理を実行する。そして、信号処理部１０は、該補正により得られた画像信号を表示系処理部１３００及び記録部１１００へ供給する。なお、信号処理部１０については後に詳しく説明する。
【００５７】
一方、補正パラメータ導出部６は、レンズ２００の歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ５は補正パラメータ導出部６及びユーザインタフェースに接続され、ユーザインタフェースから供給された制御信号Ｌｎ，Ｌｗに応じて、補正パラメータ導出部６から供給された補正量ベクトルを圧縮（エンコード）し、該圧縮データＰｃを補正パラメータデコーダ９へ供給する。
【００５８】
なお、補正パラメータ導出部６における演算及び上記エンコードは、共に非常に負荷の大きな演算となるが、別途パーソナルコンピュータ等を用いて計算すればよく、画像処理装置２によるリアルタイム処理に影響を与えるものでない。
【００５９】
また、本発明の実施の形態に係る画像処理システムでは、前処理装置３は必須の構成要素とされず、画像処理装置２の外から上記圧縮データＰｃが補正パラメータデコーダ９へ供給される種々の実施の形態が同様に考えられる。
【００６０】
また、制御マイコン８はユーザインタフェースからの制御信号に応じて、所定の動作を命令するコマンド等を信号処理部１０へ出力すると共に、レンズ２００の位置情報などを補正パラメータデコーダ９へ供給する。
【００６１】
補正パラメータデコーダ９は、補正パラメータエンコーダ５と制御マイコン８及び信号処理部１０に接続される。そして、補正パラメータデコーダ９は、制御マイコン８から供給された情報等に応じて、補正パラメータエンコーダ５から供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸長（デコード）し、該補正量パラメータを信号処理部１０へ供給する。
【００６２】
ここで、補正パラメータデコーダ９は、信号処理部１０において実行される補間方式によらず、上記補正量パラメータを信号処理部１０へ供給する。なお、上記補正パラメータエンコーダ５及び補正パラメータデコーダ９については、後に詳しく説明する。
【００６３】
また、記録部１１００は信号処理部１０に接続され、信号処理部１０により生成された画像信号をテープやフレキシブルディスク、DVD（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１４００に記録する。なお、信号処理部１０により生成された画像信号は、インターネットやワイヤレス通信等を用いてメディア１４００に記録されるようにすることもできる。
【００６４】
また、再生部１２００はメディア１４００に接続され、メディア１４００に格納された画像信号を再生して表示系処理部１３００へ供給する。表示系処理部１３００は信号処理部１０及び再生部１２００に接続され、信号処理部１０又は再生部１２００から供給された画像信号をモニタに表示する。
【００６５】
なお、同期信号生成部８００は外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００及び信号処理部１０へ供給する。
【００６６】
図２は、図１に示された信号処理部１０の構成を示すブロック図である。図２に示されるように、信号処理部１０は水平１次元補間部５０１と垂直１次元補間部５０２とを含む。なお、画像メモリ７は水平処理用ＦＩＦＯメモリからなる画像メモリ６０１と垂直処理用ラインバッファからなる画像メモリ６０２とを含み、補正パラメータデコーダ９はｘ方向用の画歪補正パラメータデコーダ３３とｙ方向用の画歪補正パラメータデコーダ３４とを含む。
【００６７】
なお、画像メモリ６０２は垂直方向の歪み補正を実現するために必要な最小限のライン数分に渡るデータを格納できるだけの容量を有するものとされるが、この点については後述する。また、通常上記容量は、出力データバッファ３２に供給される出力同期信号の周波数に応じて決定される。
【００６８】
そして、水平１次元補間部５０１はデータ書き込み部２１と演算制御部２２、補間位相・入力データ座標計算部２３、データ取得部２４、補間係数生成部２５、及びデータ補間計算部２６を含み、垂直１次元補間部５０２は演算制御部２７と補間位相・入力データ座標計算部２８、データ取得部２９、補間係数生成部３０、データ補間計算部３１、及び出力データバッファ３２を含む。
【００６９】
ここで、データ書き込み部２１はデータ変換部４００に接続され、演算制御部２２は同期信号生成部８００に接続される。また、補間位相・入力データ座標計算部２３は演算制御部２２及び制御マイコン８に接続され、データ取得部２４は補間位相・入力データ座標計算部２３と画像メモリ６０１及び画歪補正パラメータデコーダ３３に接続される。また、補間係数生成部２５は画歪補正パラメータデコーダ３３に接続され、データ補間計算部２６はデータ取得部２４及び補間係数生成部２５に接続される。
【００７０】
なお、画像メモリ６０１はデータ書き込み部２１及びデータ取得部２４に接続され、画像メモリ６０２はデータ補間計算部２６及びデータ取得部２９に接続される。また、画歪補正パラメータデコーダ３３は補間位相・入力データ座標計算部２３及びデータ取得部２４に接続される。
【００７１】
一方、演算制御部２７は同期信号生成部８００に接続され、補間位相・入力データ座標計算部２８は演算制御部２７及び制御マイコン８に接続される。また、データ取得部２９は補間位相・入力データ座標計算部２８と画像メモリ６０２及び画歪補正パラメータデコーダ３４に接続され、補間係数生成部３０は画歪補正パラメータデコーダ３４に接続される。また、データ補間計算部３１はデータ取得部２９及び補間係数生成部３０に接続され、出力データバッファ３２はデータ補間計算部３１及び同期信号生成部８００に接続される。
【００７２】
なお、出力データバッファ３２の出力ノードは表示系処理部１３００及び記録部１１００に接続される。また、画歪補正パラメータデコーダ３４は補間位相・入力データ座標計算部２８に接続される。
【００７３】
上記のような構成を有する信号処理部１０では、まず水平１次元補間部５０１が水平方向（ｘ方向）の１次元補間演算を実行し、続いて垂直１次元補間部５０２が垂直方向（ｙ方向）の１次元補間演算を実行する。ここで、信号処理部１０による該演算の概要を、図３を参照しつつ説明する。なお、図３においては、ｘ及びｙ方向にそれぞれ４つ並んだ（４×４）合計１６個からなる画像データを用いて出力画像の各点の画像データが決定される場合が例示される。
【００７４】
そして、図３（ａ）はｘ方向の補正により、歪みを伴う原画像を構成する点Ｂ１〜Ｂ４に対応してそれぞれ点Ｂ１０〜Ｂ４０の画像データが算出されたことを示し、図３（ｂ）はさらにｙ方向の補正により、点Ｂ１０〜Ｂ４０に対応して点ｂ１〜ｂ４の画像データが算出されたことを示す。
【００７５】
より具体的には、例えば水平方向に連続した点Ｂ１を跨ぐ４つの格子点の画像データに所定の補間演算を施すことにより点Ｂ１０の画像データが算出され、同様に点Ｂ２〜Ｂ４に対応してそれぞれ点Ｂ２０〜Ｂ４０の画像データが算出される。
【００７６】
次に、図３（ｂ）に示されるように、例えば点Ｂ３０に対しては、垂直方向に連続した点Ｂ３０を跨ぐ破線内の４つの格子点（点Ｋ２０〜Ｋ２３）における画像データに所定の補間演算を施すことにより点ｂ３の画像データが算出される。また同様に、点Ｂ１０，Ｂ２０，Ｂ４０に対応してそれぞれ点ｂ１，ｂ２，ｂ４の画像データが算出される。
【００７７】
ここで、上記のような水平方向における１次元補間演算は、データ補間計算部２６に含まれる図４に示された水平処理回路４０により実現される。図４に示されるように水平処理回路４０は、ラインメモリ９００と、ラインメモリ９００の出力ノードに直列接続された４つのレジスタ９０１と、各レジスタ９０１から出力されたデータと対応する補間係数CHｋ（ｋ＝０〜３）とを乗算する４つの乗算回路９０２と、４つの乗算回路９０２により得られたデータを加算する加算回路９０３とを含む。
【００７８】
なお、上記のような垂直方向における１次元補間演算は後述する図２５に示された回路により実現されるが、これについては後に詳しく説明する。
【００７９】
次に、図２に示された信号処理部１０の動作の概要を説明する。まずデータ変換部４００から水平１次元補間部５０１へ入力された画像データは、データ書き込み部２１によって書き込み制御信号と共に画像メモリ６０１へ供給され、該書き込み制御信号に応じて画像メモリ６０１に書き込まれる。
【００８０】
このとき、データ取得部２４は読み出し制御信号を水平処理用の画像メモリ６０１へ供給することにより、画歪補正パラメータデコーダ３３から供給されるｘ方向用の補正量パラメータＸｍに応じて、画像メモリ６０１から水平方向に並ぶ画像データを補間用データとして取得する。
【００８１】
そして、データ補間計算部２６が補間係数生成部２５から供給された補間係数を用いて水平方向の１次元補間演算を実行し、垂直処理用の画像メモリ６０２が該演算結果を格納する。
【００８２】
次に、垂直１次元補間部５０２では、データ取得部２９が画歪補正パラメータデコーダ３４から供給されるｙ方向用の補正量パラメータＹｍに応じて、垂直処理用の画像メモリ６０２から垂直方向に並ぶ画像データを補間用データとして取得する。そして、データ補間計算部３１が補間係数生成部３０から供給された補間係数を用いて垂直方向の１次元補間演算を実行し、出力データバッファ３２は出力同期信号に応じて該演算結果を出力する。
【００８３】
なお、上記のように、水平１次元補間部５０１及び垂直１次元補間部５０２により実行される補間演算は１次元補間演算とされるため、キュービック補間のような４タップのフィルタ、又はより高次タップ数のフィルタを用いることができる。
【００８４】
すなわち、１次元補間演算は上記のように簡易な回路により実現されるため、２次元補間演算では難しい高次タップのフィルタによる演算が容易に実現できることから、より高画質な画像を得ることができる。なお、一般的な画素数変換回路などは１次元補間を実行する回路とされているため、既存の該回路を上記演算に共用しても良い。
【００８５】
また、上記においては、水平方向の１次元補間演算を実行した後に垂直方向の１次元補間演算を実行する実施の形態を説明したが、逆に垂直方向の１次元補間演算を先に実行し、その後に水平方向の1次元補間演算を実行するようにしても良い。なお、この場合にはデータ変換部４００から出力される画像データは垂直1次元補間部５０２へ入力され、垂直１次元補間演算が施された後に一旦水平処理用の画像メモリ６０１へ格納される。そして、このように画像メモリ６０１に格納された画像データは、さらに水平1次元補間部５０１により水平１次元補間演算が施され、完全に歪みが補正されて信号処理部１０の外部へ出力される。
【００８６】
また、上記における演算処理は１系統のデータに適用するのみならず、色信号（ＲＧＢ，ＹＵＶ）に対して系統毎に適用しても良い。さらに、動画像に対して該補間演算を施す場合には、垂直同期信号に同期して該演算を実行すれば良い。
【００８７】
ところで、ビデオカメラやデジタルスチルカメラなどの撮像装置では、いわゆる光学ズーム機能や手ぶれ補正機能が搭載されることが多い。ここで、上記機能により光学ズームを行うと、テレ（ズームアップ）かワイド（ズームダウン）かに応じてレンズの歪み特性が変動する。すなわち、一般的に、ワイドの向きにレンズ２００が移動すると画像に樽歪みが生じ、テレの向きにレンズ２００が移動すると画像に糸巻き型の歪みが発生する。
【００８８】
このとき、該光学ズームに応じた適切な補正ベクトルにより該画像が補正されないときは画質が劣化するため、補正パラメータデコーダ９はレンズの位置に応じた最適な補正量パラメータを選択するものとされる。
【００８９】
具体的には、補正パラメータデコーダ９は制御マイコン８からレンズ２００の位置を示す情報を受け取り、補正パラメータエンコーダ５から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードする。
【００９０】
このように、図１に示された画像処理装置２によれば、レンズ２００の特性が変動するような場合においても、該特性に応じてデコードされた補正量パラメータのみが補間演算に使用されるため、該演算に使用されるデータ量を最小限に抑えることができ、その結果として製造コストを低減することができる。
【００９１】
次に、上記手ぶれ補正機能について説明する。一般的に、手ぶれによる画像の歪みを補正する方法には、アクティブプリズム方式やアクティブレンズ方式のようにレンズ等の位置を制御して該画像を光学的に補正する方法と、アクティブイメージエリア方式のように得られた画像信号に所定の処理を施すことにより電気的に補正する方法とがある。
【００９２】
ここで、光学的な補正方法はレンズ２００の位置に応じてレンズ特性が変動することから、本発明の実施の形態に係る画像処理装置２で実現するのは難しい。
【００９３】
一方、上記の電気的な補正方法は、角速度センサ等により検知された手ぶれ位置の情報に基づいて、画像全体から一部（有効エリア）の画像を切り出す信号処理により実現される。このとき、該有効エリアの位置等に応じて画像処理の対象が変化するため、該対象に応じて補間演算を施す際に使用する補正ベクトルを変更する必要がある。
【００９４】
そこで、補正パラメータデコーダ９はさらに、制御マイコン８から手ぶれ位置の情報を受け取り、補正パラメータエンコーダ５から供給された圧縮データＰｃを該位置情報に応じて選択的にデコードすることによって、手ぶれ補正を実現する。
【００９５】
なお、本実施の形態に係る画像処理装置２では、レンズ２００を交換したような場合にも同様に、補正パラメータデコーダ９が該新たなレンズ２００等に応じて選択的に該圧縮データＰｃをデコードすることとすれば、部品交換後においても容易に高画質の画像を得ることができる。
【００９６】
次に、図５及び図６のフローチャートを参照しつつ、図２に示された水平１次元補間部５０１の動作を詳しく説明する。まず、演算制御部２２は、同期信号生成部８００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２３は、演算制御部２２から供給された制御タイミング信号に応じて動作し、信号処理部１０に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。
【００９７】
具体的には、ステップＳ１において補間位相・入力データ座標計算部２３は、図７（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３３へ補正パラメータ要求信号Ｒｘを供給する。一方、ステップＳ２において、画歪補正パラメータデコーダ３３は供給された補正パラメータ要求信号Ｒｘ及び該座標（Ｓｘ，Ｓｙ）に対応する補正量パラメータＸｍを求め、データ取得部２４及び補間係数生成部２５へ供給する。
【００９８】
ここで画歪補正パラメータデコーダ３３は、例えばＲＯＭ（Read Only Memory）を内蔵し、該ＲＯＭにｘ座標と補正量パラメータＸｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＸｍをｘ座標のある関数として近似し、該関数を用いて補正量パラメータＸｍを求めても良いが、後に詳しく説明する。
【００９９】
次に、ステップＳ３において、データ取得部２４は補間位相・入力データ座標計算部２３から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３３から供給された補正量パラメータＸｍに応じた補正量ベクトル（Ｘｍ，０）を加える。これより、図７（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ＋Ｘｍ，Ｙ）、すなわち補正ベクトルが求められたことになる。
【０１００】
なお、データ取得部２４の替わりに、画歪補正パラメータデコーダ３３が補間位相・入力データ座標計算部２３から供給されたｘ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２４へ供給するようにしても良い。
【０１０１】
このとき、データ取得部２４はｘ座標の整数値がＸｍを加えることで変化したか否かを判断し、変化したと判断した場合にはステップＳ５へ進み、変化していないと判断した場合にはステップＳ６へ進む。
【０１０２】
ステップＳ５では、データ取得部２４が、さらに該整数値は２以上変化したか否かを判断し、２以上変化したと判断した場合にはステップＳ８へ進み、１のみ変化したと判断した場合にはステップＳ７へ進む。一方、ステップＳ６では、画像メモリ６０１がデータ取得部２４から供給されたホールド信号Ｓｈに応じて、前サイクルに出力したものと同じ補間用データを再度データ取得部２４へ供給する。
【０１０３】
上記において、データ取得部２４は生成された補正ベクトルのｘ成分（Ｘ＋Ｘｍ）の整数値に応じて画像メモリ６０１から読み出すべきデータのアドレスを生成し、読み出し制御信号を画像メモリ６０１に供給することによって該アドレスに応じた補間用データを取得する。
【０１０４】
ここで、画像メモリ６０１は先頭アドレスからアドレスを１づつインクリメントしつつ該アドレスに応じた補間用データを順次出力すると共に、データ取得部２４からホールド信号Ｓｈが供給されることによって、上記インクリメントを一時的に停止する。
【０１０５】
なお、画像メモリ６０１はデータ取得部２４から読み出し開始アドレスを受け取り、該読み出し開始アドレスを上記先頭アドレスとした所定数の連続データを出力するものであっても良い。
【０１０６】
ここで、上記ホールド信号Ｓｈ及び読み出し開始アドレスは、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの整数成分から求められる。
【０１０７】
一方、補間係数生成部２５は、画歪補正パラメータデコーダ３３から供給される補正量パラメータＸｍの小数成分を水平補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。なお、このような動作は、信号処理部１０に入力される画像１０２がＲＧＢフォーマットの場合に適用される。一方、ＹＵＶフォーマットの場合には輝度信号Ｙのフィルタ位相はＲＧＢフォーマットのフィルタ位相と同じように扱うことができ、色差信号Ｃｂ／Ｃｒについては、補正量パラメータＸｍの小数成分だけでなく整数成分も併用して該位相を算出することができる。
【０１０８】
そして、ステップＳ７においてデータ補間計算部２６は、データ取得部２４から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行し、ステップＳ９へ進む。
【０１０９】
ここで、上記の１次元補間演算では、例えばＹＵＶフォーマットにおいては、図７（ｃ）に示されるように補正ベクトル（Ｘ＋Ｘｍ，Ｙ）の近傍から水平方向において８画素の輝度データＤｔが補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データ等として利用され、これより水平方向の歪みが補正される。
【０１１０】
一方、ステップＳ８ではデータ取得部２４が補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６へスキップ信号ｓｋを供給し、これら補間位相・入力データ座標計算部２３と画歪補正パラメータデコーダ３３及びデータ補間計算部２６の動作を停止させる。
【０１１１】
ここで、ステップＳ５においてｘ座標が２以上変化したと判断される場合は、実際に補間演算する中心座標が２画素以上移動する場合を意味するため、データ補間計算部２６による画像メモリ６０２へのデータ出力が中断される。また、実際に補間演算する中心座標が２画素以上移動する場合は、画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍの小数成分（補間位相）は次サイクルまで保持されることから、画歪補正パラメータデコーダ３３の動作が停止される。
【０１１２】
そして、ステップＳ１３では、補間位相・入力データ座標計算部２３がｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ２へ進む。なお、この拡大縮小パラメータＨａは、補正後の画像に対する歪みを持った原画像の水平方向における長さの比により決定され、補正後に画像を水平方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。
【０１１３】
ステップＳ９ではデータ補間計算部２６が、得られた画像データを垂直処理用ラインバッファからなる画像メモリ６０２へ格納する。そして、ステップＳ１０では補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ１１へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ１３へ進む。
【０１１４】
ステップＳ１１では補間位相・入力データ座標計算部２３がｘ座標をＳｘとすると共に、ｙ座標に１を加える。そして、ステップＳ１２では補間位相・入力データ座標計算部２３がさらにｙ座標を基に１フレーム分、すなわち出力垂直ライン数分の画像データが画像メモリ６０２へ出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ１３へ進む。
【０１１５】
以上より、水平１次元補間部５０１は、歪みを持った原画像に対して水平方向の１次元補間演算を施すことにより、水平画歪み補正処理と水平方向の拡大・縮小処理を同時に実現し、得られた画像を垂直処理用の画像メモリ６０２に保存する。
【０１１６】
なお、上記水平１次元補間による等倍変換の具体例が図８に示される。ここで、図８は輝度信号に関する変換を示し、図８（ａ）は信号処理部１０に入力された補間用データＤ０〜Ｄ９、図８（ｂ）及び図８（ｆ）は補正量パラメータＸｍ、図８（ｃ）及び図８（ｄ）はそれぞれ補正後の画像を構成するデータのサンプリング位置及び番号を示す。
【０１１７】
また、図８（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）を示し、図８（ｇ）はデータ取得部２４により生成される補正ベクトルのｘ座標（補正パラメータ）、図８（ｈ）は補正前の画像における補間用データのアドレス、図８（ｉ）は補間位相をそれぞれ示す。
【０１１８】
例えば、図８に示されるように、補正後の画像においてｘ座標が2.0の点に位置するデータの補正量パラメータＸｍは1.25とされる。その結果、補正前の画像における該点の対応点のｘ座標は、該2.0に補正量パラメータＸｍを加算して3.25と求められる。このとき、該ｘ座標（3.25）の整数成分（３）が補正前の画像における該データのアドレスを示し、0.25が補間位相を示す。従って、補正後の画像におけるｘ座標が2.0の点の輝度信号は、補正前の画像において３近傍のｘアドレスを有する複数の連続データを対象とし、水平補間フィルタの位相を0.25とした1次元補間演算により求められることになる。
【０１１９】
図９は、図８に示された等倍変換の動作タイミングを示すタイミング図である。ここで、図９（ａ）は演算制御部２２に供給される内部同期信号を示し、図９（ｂ）は演算制御部２２により生成される制御タイミング信号、図９（ｃ）はデータ取得部２４から画像メモリ６０１に供給される読み出し制御信号、図９（ｄ）は画像メモリ６０１からデータ取得部２４へ入力される補間用データ、図９（ｅ）は補間位相・入力データ座標計算部２３から画歪補正パラメータデコーダ３３へ供給されるｘ座標（ｘｔ）をそれぞれ示す。
【０１２０】
また、図９（ｆ）は画歪補正パラメータデコーダ３３から出力される補正量パラメータＸｍを示し、図９（ｇ）はデータ取得部２４により生成される補正パラメータ、図９（ｈ）は補正前の画像における補間用データのアドレス、図９（ｉ）は補間位相、図９（ｊ）及び図９（ｋ）はそれぞれデータ取得部２４により生成されるスキップ信号ｓｋ及びホールド信号Ｓｈ、図９（ｌ）は画像メモリ６０１から読み出される２タップのデータ、図９（ｍ）はデータ補間計算部２６から画像メモリ６０２へ出力されるデータ、図９（ｎ）はデータ補間計算部２６で内部生成される出力イネーブル信号をそれぞれ示す。なお、ここでは説明を簡略化するために、一つのデータを得るための補間演算においては、図９（ｌ）に示される２タップのデータが使用されるものとする。
【０１２１】
図９（ｂ）に示されるように、時刻Ｔ１において制御タイミング信号が内部同期信号に応じてハイレベルに活性化されると、図９（ｅ）に示されるように補間位相・入力データ座標計算部２３は0.0から1.0づつインクリメントされるｘ座標（ｘｔ）を順次画歪補正パラメータデコーダ３３へ供給する。
【０１２２】
これより、図９（ｆ）に示されるように画歪補正パラメータデコーダ３３は対応する補正量パラメータＸｍを求め、その後にデータ取得部２４は図９（ｇ）に示される補正パラメータを算出する。ここで、図９（ｈ）に示されるように、データ取得部２４は該補正パラメータの整数成分から補正前の画像における補間用データの先頭アドレスを０と特定する。そして、図９（ｃ）及び図９（ｄ）に示されるように、データ取得部２４は活性化された読み出し制御信号と共に、上記のように特定されたアドレス０を画像メモリ６０１へ供給する。
【０１２３】
これより、図９（ｄ）に示されるように、画像メモリ６０１は該先頭アドレス０に対応するデータＤ０から順次補間用データをデータ取得部２４へ連続的に出力する。
【０１２４】
また、図９（ｇ）及び図９（ｊ）に示されるように、時刻Ｔ２においてデータ取得部２４は補正パラメータの整数成分が２以上増加したと判断すると、ハイレベル（Ｈ）のスキップ信号ｓｋを生成して補間位相・入力データ座標計算部２３とデータ補間計算部２６及び画歪補正パラメータデコーダ３３へ供給する。この結果、図９（ｅ）から図９（ｇ）に示されるように時刻Ｔ３から１サイクルの間補正パラメータの生成動作が停止されると共に、図９（ｍ）及び図９（ｎ）に示されるように出力イネーブル信号がロウレベルに不活性化されることによって、データ補間計算部２６から画像メモリ６０２へのデータ出力が停止される。
【０１２５】
また、図９（ｇ）及び図９（ｋ）に示されるように、データ取得部２４は時刻Ｔ４において生成された補正パラメータ（8.75）の整数成分が１サイクル前の補正パラメータ（8.25）の整数成分と同じであると判断し、時刻Ｔ４においてホールド信号Ｓｈをハイレベルに活性化させる。これより、図９（ｌ）に示されるように時刻Ｔ５において、データ取得部２４は画像メモリ６０１から前サイクルと同じ２タップの補間用データＤ８，Ｄ９を取得する。
【０１２６】
なお、図１０は図８と同様に水平１次元補間による拡大変換の具体例を示し、図１１は図９と同様に該拡大変換の動作タイミングを示す。この拡大変換の例では、図１０（ｅ）に示されるように、データ番号が２から６近傍までのデータが水平方向の拡大縮小パラメータＨａを0.5として水平方向に拡大される。ここで、図１０（ｂ）はデータ番号が０から９までの１０個のデータについての補正量パラメータＸｍを示し、図１０（ｆ）は該拡大による補間点、すなわちｘ座標が2.0から6.5までにおける0.5間隔の１０個の点における補正量パラメータＸｍを示す。
【０１２７】
そして、このような拡大変換においては、図１１（ｇ）に示されるように時刻Ｔ２，Ｔ３，Ｔ４，Ｔ５，Ｔ６において補正パラメータの整数成分が変化しないため、各時刻において１サイクルの間ホールド信号Ｓｈがハイレベルに活性化される。
【０１２８】
次に、図１２及び図１３のフローチャートを参照しつつ、図２に示された垂直１次元補間部５０２の動作を詳しく説明する。まず、演算制御部２７は、同期信号生成部８００から供給される内部同期信号に応じて制御タイミング信号を生成する。そして、補間位相・入力データ座標計算部２８は、演算制御部２７から供給された制御タイミング信号に応じて動作し、信号処理部１０に入力された画像に歪みがない場合における座標系での補間点の座標を小数点付きで計算する。
【０１２９】
具体的には、ステップＳ１において補間位相・入力データ座標計算部２８は、図１４（ａ）に示されるように歪み補正され等倍変換された画像上の座標（ｘ，ｙ）として、切り出した画像ＣＩの左上の座標（Ｓｘ，Ｓｙ）を初期設定し、画歪補正パラメータデコーダ３４へ補正パラメータ要求信号Ｒｙを供給する。一方、ステップＳ２において、画歪補正パラメータデコーダ３４は供給された補正パラメータ要求信号Ｒｙに応じて該ｙ座標に対応する補正量パラメータＹｍを求め、データ取得部２９及び補間係数生成部３０へ供給する。
【０１３０】
ここで画歪補正パラメータデコーダ３４は、例えばＲＯＭ（Read Only Memory）を内蔵し、該ＲＯＭにｙ座標と補正量パラメータＹｍとの間の対照テーブルを予め格納しておくようにしても良いし、補正量パラメータＹｍをｙ座標のある関数として近似し、該関数を用いて補正量パラメータＹｍを求めても良いが、後に詳しく説明する。
【０１３１】
次に、ステップＳ３において、データ取得部２９は補間位相・入力データ座標計算部２８から供給された座標（Ｘ，Ｙ）に、画歪補正パラメータデコーダ３４から供給された補正量パラメータＹｍに応じた補正量ベクトル（０，Ｙｍ）を加える。これより、図１４（ｂ）に示されるように、補正前の原画像ＯＩにおいて上記座標（Ｘ，Ｙ）に対応する点の座標（Ｘ，Ｙ＋Ｙｍ）、すなわち補正ベクトルが求められる。このとき、データ取得部２９は生成された補正ベクトルのｙ成分（Ｙ＋Ｙｍ）の整数値に応じて画像メモリ６０２から読み出すべきデータのアドレスを生成し、メモリ制御信号と共に画像メモリ６０２へ供給する。
【０１３２】
なお、データ取得部２９の替わりに、画歪補正パラメータデコーダ３４が補間位相・入力データ座標計算部２８から供給されたｙ座標に応じて上記補正ベクトルを求め、該補正ベクトルをデータ取得部２９等へ供給するようにしても良い。
【０１３３】
そして、ステップＳ４においては、垂直処理用の画像メモリ６０２が供給された上記アドレスに応じて、座標Ｘにおいて垂直方向に複数ラインに渡って並ぶ複数の補間用データを同時にデータ取得部２９へ出力する。
【０１３４】
ここで、画像メモリ６０２は、データ取得部２９から読み出しを開始する先頭アドレスを受け取り、該アドレスを１づつインクリメントすることにより該アドレスに応じた補間用データを順次出力するか、あるいは、アドレスをインクリメントすることなく、受け取った該先頭アドレスから所定数連続したデータを出力するものとされる。ここで、上記先頭アドレスは、画歪補正パラメータデコーダ３４から出力される補正量パラメータＹｍの整数成分から求められる。
【０１３５】
一方、補間係数生成部３０は、画歪補正パラメータデコーダ３４から供給される補正量パラメータＹｍの小数成分を垂直補間フィルタの位相として扱い、該小数成分に応じて補間係数を生成する。
【０１３６】
そして、ステップＳ５においてデータ補間計算部３１は、データ取得部２９から供給された補間用データと上記補間係数とに応じて１次元補間演算を実行する。なお、上記補間演算は、信号処理部１０に入力される画像１０２がＲＧＢフォーマットの場合にのみ適用されるものでない。すなわち、ＹＵＶフォーマットの場合、輝度信号と色差信号の垂直方向におけるデータ密度が同じ場合には輝度信号のフィルタ位相を色差信号のフィルタ位相としても利用でき、該データ密度が異なる場合には補正量パラメータＹｍの小数成分だけでなく整数成分も併用することにより色差信号のフィルタ位相が算出される。
【０１３７】
また、ＹＵＶフォーマットにおいては、図１４（ｃ）に示されるように補正ベクトル（Ｘ，Ｙ＋Ｙｍ）の近傍から垂直方向において例えば８画素の輝度データＤｔ等が補間用データとして利用され、上記小数成分を位相とした８タップの補間演算が実行される。なお、該補間演算により得られた結果は出力画像の輝度データや色差データとして利用され、これより垂直方向の歪みが補正される。
【０１３８】
次に、ステップＳ６において、出力データバッファ３２は該補間演算により得られた画像データを出力する。ステップＳ７では、補間位相・入力データ座標計算部２３が現時点のｘ座標を基に１ライン分、すなわち出力水平画素数ＨＳ分の画像データが出力されたか否かを判断し、１ライン分のデータが出力されたと判断した場合にはステップＳ８へ進み、１ライン分のデータが出力されていないと判断した場合にはステップＳ１０へ進む。
【０１３９】
ステップＳ８では、補間位相・入力データ座標計算部２８がｘ座標をＳｘとすると共に、ｙ座標に垂直方向の拡大縮小パラメータＶａを加算する。一方、ステップＳ１０ではｘ座標に水平方向の拡大縮小パラメータＨａを加算し、ステップＳ２へ戻る。なお、上記拡大縮小パラメータＶａは、補正後の画像に対する歪みを持った原画像の垂直方向における長さの比により決定され、補正後に画像を垂直方向に拡大する場合には１より小さな値とされ、逆に縮小する場合は１より大きな値とされ、等倍の場合には１とされる。
【０１４０】
ステップＳ９では補間位相・入力データ座標計算部２８がさらにｙ座標を基に１フレーム分、すなわち垂直ライン数（垂直画素数）分の画像データが出力データバッファ３２から出力されたか否かを判断し、１フレーム分のデータが出力されたと判断した場合には動作を終了し、１フレーム分のデータが出力されていないと判断した場合にはステップＳ１０へ進む。
【０１４１】
なお、以上のような垂直方向における１次元補間では、水平方向に関するデータの補間や画像の拡大・縮小を伴わないため、図１４（ａ）に示される水平方向のスキャンにおいては毎サイクル同様な動作が繰り返される。しかしながら、補正量パラメータＹｍが大きいときには、画像メモリ６０２における格納場所に応じて然るべき補間用データを読み出す時間が大きくなる場合がある。このような場合に、データ取得部２９は補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４へ活性化された待機信号ＷＴを供給し、待機信号ＷＴの該活性期間において補間位相・入力データ座標計算部２８及び画歪補正パラメータデコーダ３４の動作を中断させる。
【０１４２】
以上より、垂直１次元補間部５０２は、歪みを持った原画像に対して垂直方向の１次元補間演算を施すことにより、垂直画歪み補正処理と垂直方向の拡大・縮小処理を同時に実現し、完全に歪みの取れた画像を生成して出力する。
【０１４３】
なお、上記垂直１次元補間による等倍変換の具体例が図１５に示される。ここで、図１５は輝度信号に関する変換を示すグラフであり、横軸はｘ座標、縦軸は補正されたｙ座標（Ｙ＋Ｙｍ）を示す。
【０１４４】
そして、図１５において、ｙ座標が０でｘ座標が0.0から10.0の１０個の点は補正後の画像上における点を示し、矢印は該各点に対応する原画像上の点までの補正量パラメータＹｍを示す。すなわち例えば、補正後の画像において座標（1.0，0）の点は、補正前の原画像において座標（1.0，7.1）の点に対応し、補正量パラメータが7.1で補間位相がその小数成分0.1とされる。
【０１４５】
次に、図１に示された前処理装置３及び補正パラメータデコーダ９について詳しく説明する。最初に、図１６に示されたフローチャートを参照しつつ、前処理装置３及び補正パラメータデコーダ９の動作の概要を説明する。
【０１４６】
図１６に示されるように、ステップＳ１では、補正パラメータエンコーダ５が補正パラメータ導出部６から全画素点の補正量ベクトルを読み込む。次に、ステップＳ２に示されるように、補正パラメータエンコーダ５は該全画素点の補正量ベクトルを区分毎に分割するための格子線を決定する。なお、該格子線の決定については後に詳しく説明する。
【０１４７】
ステップＳ３では、補正パラメータエンコーダ５が該格子線により分割された各区分の補正量ベクトルを圧縮して圧縮データＰｃとして補正パラメータデコーダ９へ供給すると共に、ステップＳ４では撮像素子３００が画像を撮像する。なお、補正量ベクトルの該圧縮については後に詳しく説明する。
【０１４８】
そして、ステップＳ５ではデータ変換部４００が該撮像により生成されたアナログ画像信号をデジタル画像信号に変換する。ステップＳ６では、補正パラメータデコーダ９は補正量パラメータの信号処理部１０への読み出しに必要な格子を決定し、ステップＳ７において信号処理部１０から供給された座標を該格子に応じて正規化する。
【０１４９】
次にステップＳ８においては、補正パラメータデコーダ９が該格子を利用して補正パラメータエンコーダ５から供給された圧縮データＰｃをデコードし、得られた補正量パラメータを信号処理部１０へ供給する。そして、ステップＳ９においては、信号処理部１０が該補正量パラメータを用いて原画像に対する補間演算を施す。ここで、ステップＳ１０において制御マイコン８が信号処理部１０への原画像の入力を終了させるか否かを判断し、終了させると判断した場合には画像処理装置２の動作を終了させ、該入力を終了させないと判断した場合にはステップＳ４へ戻る。
【０１５０】
図１７は、図１に示された補正パラメータエンコーダ５の構成を示すブロック図である。図１７に示されるように、補正パラメータエンコーダ５は格子分割部１１とパラメータ圧縮部１２とを含む。ここで、格子分割部１１はユーザインタフェースに接続され、パラメータ圧縮部１２は格子分割部１１と補正パラメータ導出部６に接続される。以下において、図１８から図２３を参照しつつ、補正パラメータエンコーダ５の動作を詳しく説明する。
【０１５１】
まず、格子分割部１１はデータ変換部４００により得られた画像１０２を複数の領域に分割するための格子線を決定する。そして、パラメータ圧縮部１２は、このような格子線により分割された領域毎に格子点を利用して画像の補正量ベクトルを圧縮し、得られた圧縮データＰｃを補正パラメータデコーダ９へ供給する。
【０１５２】
このような方法によれば、補正パラメータデコーダ９により保持すべき補正量ベクトルの数を削減することができると共に、全点の補正量ベクトルを保持する場合と同様にｘ及びｙ方向の補正ベクトルを分けて演算することができ、高速な補間演算を実現することができる。
【０１５３】
以下において、図１７に示された格子分割部１１による格子分割動作を説明する。なお、実際にはデータ変換部４００により生成された画像１０２の歪みは中心（原点）に対して点対称に発生するため、図１８（ａ）に示されるように、画像１０２の１／４の領域、例えば第一象限Ｑ１のみを格子分割の対象領域とすれば足りる。
【０１５４】
すなわち、上記歪みは中心からの距離によって決まるため、第一象限Ｑ１における画像処理はｘ座標又はｙ座標、あるいはその双方の符号を反転させることにより他の象限における画像処理にそのまま適用することができる。
【０１５５】
格子分割決定方法には、所定の領域をｘ方向及びｙ方向において均等に分割する方法（均等分割）と、各格子の幅が２のべき乗となるように分割する方法（べき乗分割）と、最適分割位置において分割する方法（最適分割）とがある。
【０１５６】
ここで、格子分割部１１はユーザインタフェースから格子分割方法を指定する信号Ｌｗと格子分割数を指定する信号Ｌｎとを受け取り、図１８（ｂ）に示されるように、該指定された方法により格子５０を用いて画像１０２を指定された分割数に分割する。
【０１５７】
このとき、上記のような格子分割により得られた格子点における補正量ベクトル、すなわち各方向につき（１／格子幅）毎の補正量ベクトルのみが該補間演算に利用される。なお、上記べき乗分割では格子の幅が２のべき乗とされることにより、各格子点における補正量ベクトルの演算が容易となるため、回路規模を軽減することができる。
【０１５８】
以下において、図１９及び図２０のフローチャートを参照しつつ、格子分割部１１により実行される上記最適分割方法を説明する。
【０１５９】
ステップＳ１では、まず画像処理における走査方向をｘ方向と決定する。次に、ステップＳ２では図１８（ａ）に示される画面上端における１ラインＬ１の補正量パラメータを取得して、該補正量パラメータのｘ依存性を調べる。そして例えば、基準点をｘ＝０としたときにおける該補正量パラメータＸｍ（ｘ）のｘ依存性の一例が図２１（ａ）に示される。
【０１６０】
ステップＳ３では、該基準点（原点）の２画素右方にターゲット点を設定し、基準点と該ターゲット点との間（一区分）における全点を２次多項式（以下、「区分２次多項式」ともいう）でフィッティングする。
【０１６１】
このとき、該区分において補正量パラメータＸｍ（ｘ）の値と該２次多項式により求められた補正量との差（コストともいう）が所定値より小さいという条件を満たす場合には、ターゲット点をさらに右へ１画素ずらして該コスト計算を繰り返す。このようにして、上記条件を満足する最大点を探索する（右方向探索）。
【０１６２】
ステップＳ４では基準点をターゲット点にずらし、次区分における右方向探索を実行する。なお、このような方法により、例えば図２１（ｂ）に示された点Ｘ１，Ｘ２，Ｘ３が順次決定され、ｘの関数としての補正量パラメータＸｍ（ｘ）が区分毎に２次多項式で近似される。
【０１６３】
ステップＳ５ではターゲット点が右端であるか否かを判断し、右端であると判断した場合にはステップＳ６へ進むと共に、右端でないと判断した場合にはステップＳ３へ戻る。
【０１６４】
ステップＳ６では右端のデータを基準点として該基準点の２画素左方にターゲット点を設定し、上記右方向探索と同様に左方向探索を実行する。そして、該コスト計算によりある区分が決定された後は、ステップＳ７において基準点を該ターゲット点にずらし、次区分における左方向探索を実行する。なお、このような方法により、例えば図２１（ｃ）に示された点Ｘ５，Ｘ４が順次決定され、ｘの関数としての補正量パラメータＸｍ（ｘ）が区分毎に２次多項式で近似される。
【０１６５】
ステップＳ８ではターゲット点が左端であるか否かを判断し、左端であると判断した場合にはステップＳ９へ進むと共に、左端でないと判断した場合にはステップＳ６へ戻る。
【０１６６】
次にステップＳ９においては、図２１（ｄ）に示されるように、上記右方向探索により求められた点と左方向探索により求められた点とを比較し、全体の該コストが最小となる分割位置（最適点）を求める。ここで例えば、図２１（ｄ）に示されるように、点Ｘ４と点Ｘ１とを比較することにより点Ｘ６を決定し、点Ｘ５と点Ｘ２とを比較することによって点Ｘ７を決定する。
【０１６７】
ステップＳ１０では、分割位置の探索方向がｘ方向であるか否かを判断し、ｘ方向であると判断した場合にはステップＳ１１へ進むと共に、ｘ方向でなくｙ方向であると判断した場合には動作を終了する。
【０１６８】
ステップＳ１１では、分割対象領域の右端における１ラインの補正量パラメータを取得して該補正量パラメータのｙ依存性を調べ、ステップＳ３へ戻る。なお、基準点をｙ＝０とし、横軸をｙ座標、縦軸を補正量パラメータＸｍ（ｙ）とした関数は図２１（ａ）と同様に示され、該関数に対してｘ方向と同様に該探索動作が実行される。格子分割部１１は、このようにｘ方向及びｙ方向においてそれぞれ分割位置を決定して格子５０を確定する。なお、この確定された格子位置は、格子情報Ｌｉとしてパラメータ圧縮部１２へ供給される。
【０１６９】
図１７に示されたパラメータ圧縮部１２は、格子分割部１１から供給された格子情報Ｌｉに応じて、各格子点における補正量ベクトルのみを保持する。そしてパラメータ圧縮部１２は、図２２（ａ）に示されるように格子５０を構成する線分Ｌ２を処理対象として決定する。ここで例えば、線分Ｌ２の両端のｘ座標をＸ０及びＸ２とし、これら両端における補正量パラメータをそれぞれＸｍ０及びＸｍ２としたとき、線分Ｌ２上の各点におけるｘ座標と補正量パラメータとの関係は例えば図２２（ｂ）のように示される。このとき、線分Ｌ２上の画素におけるｘ座標をＸ１、補正量パラメータをＸｍ１として、以下の式（１）を満たす係数Ｃａ，Ｃｂ，Ｃｃを算出する。
【０１７０】
【数１】
2008092602.tif 000003
なお、図２２（ｂ）及び図２２（ｃ）に示されるように、Ｘ１はＸ０からＸ２まで順次１だけインクリメントされ、線分Ｌ２上の各点において補正量パラメータの大きさと該区分２次多項式による近似値との差が順次比較される。そして、該差が最小となる点のｘ座標及び補正量パラメータが、それぞれＸ１及びＸｍ１として上記式（１）に代入される。
【０１７１】
ここでパラメータ圧縮部１２は、格子５０をなす全線分について上記係数Ｃａ，Ｃｂ，Ｃｃを算出して保持すると共に、これらの係数Ｃａ，Ｃｂ，Ｃｃを圧縮データＰｃとして補正パラメータデコーダ９へ供給する。
【０１７２】
図２３は、図２に示されたｘ方向用の画歪補正パラメータデコーダ３３の構成を示すブロック図である。図２３に示されるように、画歪補正パラメータデコーダ３３は歪みパラメータバッファ６１と格子決定部６２、正規化部６３、関数変換部６４、及び平面補間部６５を含む。
【０１７３】
ここで、歪みパラメータバッファ６１は制御マイコン８及び補正パラメータエンコーダ５に接続され、格子決定部６２と正規化部６３及び関数変換部６４は共に歪みパラメータバッファ６１に接続される。さらに、格子決定部６２は信号処理部１０に接続され、正規化部６３は格子決定部６２に接続される。また、関数変換部６４は正規化部６３に接続され、平面補間部６５は関数変換部６４に接続される。なお、信号処理部１０は平面補間部６５に接続される。
【０１７４】
上記のような構成を有する画歪補正パラメータデコーダ３３は、補正パラメータエンコーダ５から供給された圧縮データＰｃをデコードして画面上の各点におけるｘ方向の補正量パラメータを復元するが、該動作を以下に詳しく説明する。
【０１７５】
なお、図２に示されたｙ方向用の画歪補正パラメータデコーダ３４は、ｘ方向用の画歪補正パラメータデコーダ３３と同様な構成を有し、該画歪補正パラメータデコーダ３３と同様に動作する。
【０１７６】
まず歪みパラメータバッファ６１は、補正パラメータエンコーダ５より圧縮データＰｃと、該圧縮データＰｃに対応する格子の位置を示す格子位置情報Ｌｐと、該格子の幅の逆数からなる格子定数情報Ｌｃとを入力して格納すると共に、制御マイコン８からコマンド信号Ｃｄを入力する。
【０１７７】
格子決定部６２は、信号処理部１０から補正後の画像を求める点のｘ座標（ｘｔ）及びｙ座標（ｙｔ）を補正パラメータ要求信号Ｒｘと共に受領し、該点が含まれる格子枠を決定する。ここで、格子決定部６２は供給された座標（ｘｔ，ｙｔ）と歪みパラメータバッファ６１から供給される格子情報ＬＩとを比較することにより該格子枠を決定する。
【０１７８】
次に、正規化部６３は格子決定部６２により決定された格子枠の範囲で所定の補間演算を実行するため、座標（ｘｔ，ｙｔ）を以下の式（２）により正規化する。但し、ここでは図２４（ａ）に示されるように、座標（ｘｔ，ｙｔ）を含む格子枠の四隅の座標が（Ｘ０，Ｙ０）と（Ｘ０，Ｙ２）、（Ｘ２，Ｙ０）及び（Ｘ２，Ｙ２）であると仮定する。
【０１７９】
【数２】
2008092602.tif 000004
なお、上記式（２）における１／（Ｘ２−Ｘ０）及び１／（Ｙ２−Ｙ０）の値は補正パラメータエンコーダ５に含まれた格子分割部１１において算出され、正規化部６３は歪みパラメータバッファ６１から該値を格子定数情報Ｌｃとして受領する。これより、正規化部６３において上記値を用いた乗算を実行することによって、座標（ｐｘ，ｐｙ）が算出される。
【０１８０】
関数変換部６４は、図２４（ｂ）に示されるように座標（ｘｔ，ｙｔ）を含む該格子枠において、ｘ又はｙの関数としての補正量パラメータｆ（ｘ）とｇ（ｘ）、ｍ（ｙ）、及びｎ（ｙ）を求める。また関数変換部６４は、上記４つの関数のそれぞれにおける係数Ｃａ，Ｃｂ，Ｃｃを、係数情報ＣＬとして歪みパラメータバッファ６１から受領する。
【０１８１】
そして、関数変換部６４は、上記４つの関数を用いて上記座標（ｘｔ，ｙｔ）の補正量パラメータを求めるが、ｘ方向及びｙ方向における関数の連続性を担保するため、該４つの関数ｆ，ｇ，ｍ，ｎを例えば下記の式（３）に示されるような重み付けを考慮した近似関数Ｆ，Ｇ，Ｍ，Ｎに変換する。なお、式（３）におけるｆａ，ｆｂ，ｆｃは、関数ｆにおいて上記係数Ｃａ，Ｃｂ，Ｃｃに対応する係数を示し、同様にｇａ，ｇｂ，ｇｃは関数ｇの、ｍａ，ｍｂ，ｍｃは関数ｍの、ｎａ，ｎｂ，ｎｃは関数ｎの該係数をそれぞれ示す。
【０１８２】
【数３】
2008092602.tif 000005
なお、関数変換部６４は正規化部６３より供給された座標（ｐｘ，ｐｙ）を、そのまま平面補間部６５へ供給する。
【０１８３】
そして、平面補間部６５は、関数変換部６４により得られた関数Ｆ，Ｇ，Ｍ，Ｎと上記座標（ｐｘ，ｐｙ）を示す情報とを用いて、下記の式（４）によって上記座標（ｘｔ，ｙｔ）における補正量パラメータＸｍを算出する。
【０１８４】
【数４】
2008092602.tif 000006
平面補間部６５は、このような方法により算出された補正量パラメータＸｍを、該パラメータの算出動作が終了したことを示すイネーブル信号ＥＮと共に信号処理部１０へ供給する。なお、ｙ方向用の画歪補正パラメータデコーダ３４は、上記と同様な方法により補正量パラメータＹｍを算出し、イネーブル信号ＥＮと共に信号処理部１０へ供給する。
【０１８５】
なお、格子枠をなす上記関数ｆ，ｇ，ｍ，ｎは、上記のように区分２次多項式によって近似する他、一般的にｎ次多項式（ｎは自然数）により近似しても良い。
【０１８６】
図２５は、図２に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の構成を示す図である。なお、図２５は、画像処理装置２が（４×４）タップの１６画素の画像データを利用した補間演算によって各画素の画像データを生成する場合の構成を示す。
【０１８７】
図２５に示されるように、画像メモリ６０２はセレクタ６７と、垂直タップ数より１だけ大きな５つのメモリ、すなわちＡメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５を含み、データ取得部２９は制御部８０とＡバッファ８１、Ｂバッファ８２、Ｃバッファ８３、Ｄバッファ８４、Ｅバッファ８５、サイクル分割部５６０、及びセレクタ９６〜９９を含む。なお、サイクル分割部５６０はセレクタ９１〜９５を含む。
【０１８８】
ここで、データ取得部２９には、上記のように垂直タップ数より１だけ多い５つのバッファ（Ａバッファ８１からＥバッファ８５）及び対応する５つのセレクタ９１〜９５と、垂直タップ数である４つのセレクタ９６〜９９が含まれることになる。
【０１８９】
また、データ補間計算部３１は４つのレジスタ９０１及び乗算回路９０２と加算回路４３を含む。
【０１９０】
上記において、セレクタ６７はデータ補間計算部２６及び制御部８０に接続され、Ａメモリ７１とＢメモリ７２、Ｃメモリ７３、Ｄメモリ７４、及びＥメモリ７５はセレクタ６７に接続される。
【０１９１】
また、制御部８０は画歪補正パラメータデコーダ３４に接続され、Ａバッファ８１はＡメモリ７１に接続され、Ｂバッファ８２はＢメモリ７２に接続される。同様に、Ｃバッファ８３はＣメモリ７３に接続され、Ｄバッファ８４はＤメモリ７４に接続され、Ｅバッファ８５はＥメモリ７５に接続される。
【０１９２】
また、セレクタ９１はＡバッファ８１に接続され、セレクタ９２はＢバッファ８２に接続され、セレクタ９３はＣバッファ８３に接続される。同様に、セレクタ９４はＤバッファ８４に接続され、セレクタ９５はＥバッファ８５に接続される。また、セレクタ９６〜９９はそれぞれ５つのセレクタ９１〜９５に接続される。なお、セレクタ９１〜９９はそれぞれ制御部８０により制御される。
【０１９３】
また、セレクタ９６〜９９にはそれぞれレジスタ９０１が接続され、各レジスタ９０１には乗算回路９０２が接続される。そして、４つの乗算回路９０２は一つの加算回路４３が接続される。
【０１９４】
ここで、上記のように、データ補間計算部２６により水平方向の補間処理がなされたデータは画像メモリ６０２へ書き込まれ、同時にデータ取得部２９により画像メモリ６０２から取得されたデータに垂直方向の補間処理が施されるため、処理待ち時間としてのフレーム遅延を生じさせることなく画歪み補正が実行される。
【０１９５】
以下において、図２５に示された画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１の動作を詳しく説明する。まず、水平方向の補間処理がなされたデータはデータ補間計算部２６から順次セレクタ６７へ供給されるが、該データは制御部８０により制御されるセレクタ６７によってＡメモリ７１からＥメモリ７５までの５つのメモリへ振り分けられて格納される。
【０１９６】
そして、Ａメモリ７１に格納されたデータはＡバッファ８１を介してセレクタ９１へ供給され、Ｂメモリ７２に格納されたデータはＢバッファ８２を介してセレクタ９２へ供給される。同様に、Ｃメモリ７３に格納されたデータはＣバッファ８３を介してセレクタ９３へ供給され、Ｄメモリ７４に格納されたデータはＤバッファ８４を介してセレクタ９４へ供給され、Ｅメモリ７５に格納されたデータはＥバッファ８５を介してセレクタ９５へ供給される。
【０１９７】
ここで、サイクル分割部５６０に含まれた各セレクタ９１〜９５は、制御部８０による制御に応じて、Ａバッファ８１からＥバッファ８５へ例えば２画素単位で読み出されたデータを分割し、１サイクル毎に１画素分のデータをセレクタ９６〜９９へ供給する。
【０１９８】
そして、各セレクタ９６〜９９はセレクタ９１〜９５から供給されたデータを制御部８０による制御により選択的にレジスタ９０１へ出力する。これより、垂直方向の補間処理に必要なタップ数である４つのデータが、選択的にデータ補間計算部３１へ供給されることになる。
【０１９９】
さらに、レジスタ９０１に格納された各データは、各乗算回路９０２において補間係数Ｃ０〜Ｃ３との間で積がとられ、該４つの積が加算回路４３で加算されることにより垂直方向の補間演算が施され、出力データバッファ３２へ供給される。
【０２００】
ここで、図２６を参照しつつ、本発明の実施の形態に係る画像処理装置２の動作を説明する。なお、図２６（ａ）〜（ｄ）においては、１フレーム分の画像データが示される。
【０２０１】
まず図２６（ａ）に示されるように、時刻Ｔ１から信号処理部１０へ画像データが入力されると、時刻Ｔ２から水平１次元補間部５０１により水平方向の補間処理が施される。そして、図２６（ｃ）に示されるように、水平方向の補間処理が施された画像は時刻Ｔ２以降において、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５へ順次書き込まれる。ここで、例えば奇数サイクルにおいて画像メモリ６０２からデータ取得部２９へ垂直処理用のデータが読み出され、偶数サイクルにおいてデータ補間計算部２６から水平処理がなされたデータが画像メモリ６０２へ書き込まれることによって、２サイクル周期による歪み補正処理が実行される。
【０２０２】
このとき、図２７に示されるように、画像１０２における水平ラインの最大歪み曲線１０４における垂直方向の最大歪み量に応じたライン数分のデータＤｍｘが画像メモリ６０２に格納された時刻Ｔ３から、各ラインの垂直方向における補間演算が順次実行される。従って、該補間演算における遅延時間は時刻Ｔ１から時刻Ｔ３までとされ、１フレーム分のデータに水平方向の補間処理が施される時間（フレーム遅延）を待ち時間とする必要がないため、リアルタイムに画歪み補正を実行することができる。
【０２０３】
また、全体として画像メモリ６０２は、垂直方向においては上記最大歪み量に対応したライン数と垂直処理用タップ数（例えば４タップ）を加算した数、水平方向においては信号処理部１０へ入力された画像の水平方向画素数分のデータを記憶するメモリ容量を有する。なお、図２５に示されたＡメモリ７１からＥメモリ７５までの５つのメモリは例えば同容量とされ、各メモリのポート幅は例えば３２ビットとされる。
【０２０４】
ここで、画像１０２の領域１０２Ｐにおけるデータを画像メモリ６０２へ格納する方法が図２８に示される。なお、図２８において「Ａ」から「Ｅ」は、それぞれ図２５に示された「Ａメモリ」７１から「Ｅメモリ」７５を意味する。また、上記のように各メモリのポート幅が３２ビットで、１画素分のデータがＹ信号（輝度情報）とＣ信号（色差情報）を含む１６ビットからなる場合には、セレクタ６７は２画素分のデータを単位として該データをＡメモリ７１からＥメモリ７５へ順次格納する。
【０２０５】
すなわちセレクタ６７は、図２８に示されるように、まず０ライン目の０から２３画素目までのデータをＡメモリ７１に格納し、次に１ライン目の０から２３画素目までのデータをＢメモリ７２に格納する。また同様に、セレクタ６７は２ライン目の０から２３画素目までのデータをＣメモリ７３に格納し、３ライン目の０から２３画素目までのデータをＤメモリ７４に格納し、４ライン目の０から２３画素目までのデータをＥメモリ７５に格納する。なお、セレクタ６７は、以下同様に各ラインのデータをライン毎に順次Ａメモリ７１からＥメモリ７５へ格納する。
【０２０６】
以下において、データ取得部２９に垂直タップ数より１多い数のバッファが必要とされる理由を説明する。歪みを持った画像１０２を局所的に見た場合、図２９（ａ）〜（ｃ）のパターン１から３に示されるように、水平方向に隣接する２画素間においては画像データが垂直方向に２画素以上移動していることはない。
【０２０７】
すなわち、図２９（ａ）のパターン１に示されるように水平方向に隣接する画素間で該画像データは垂直方向に全く移動しないか、図２９（ｂ）や図２９（ｃ）のパターン２やパターン３に示されるように垂直方向に１画素分移動するものの、図３０（ａ）や図３０（ｂ）に示されるように、水平方向に隣接する画素間で該画像データが垂直方向に２画素分以上移動することはない。
【０２０８】
ここで、該垂直４タップ処理においては、図３１に示されるように中心画素Ｉｃに対して垂直方向に隣接する３つの周辺画素Ｉｐを含めた４画素のデータを用いてフィルタリング処理が実行される。
【０２０９】
このとき、図３２に示されるように、画像メモリ６０２に含まれたＡメモリ７１からＥメモリ７５の５つのメモリは、例えばそれぞれ３２ビットのポートを持つものとされ、この場合には１回のアクセスにより該各ポートを介して１６ビットの画像データが２画素分出力される。
【０２１０】
すなわち、図３２に示されるように、１回のアクセスによってＡメモリ７１からは各々１６ビットからなる画像データＩａ０，Ｉａ１が２画素単位で読み出され、Ｂメモリ７２からは各々１６ビットからなる画像データＩｂ０，Ｉｂ１が２画素単位で読み出され、Ｃメモリ７３からは各々１６ビットからなる画像データＩｃ０，Ｉｃ１が２画素単位で読み出される。また同様に、Ｄメモリ７４からは各々１６ビットからなる画像データＩｄ０，Ｉｄ１が２画素単位で読み出され、Ｅメモリ７５からは各々１６ビットからなる画像データＩｅ０，Ｉｅ１が２画素単位で読み出される。
【０２１１】
このように、隣接する２画素分の画像データを垂直方向にタップ数より１だけ多く読み出すことによって、隣接画素間の変化が図２９（ａ）から図２９（ｃ）に示されるパターン１からパターン３までのいずれであっても、各列において同じ処理が実行される。すなわち例えば図３２の斜線部に示されるように、各列において中心画素Ｉｃの１つ上の画素から２つ下の画素まで垂直方向に並ぶ４つの画素における画像データを対象としたフィルタリング処理を実行することにより、水平方向に隣接する２画素の画像データがそれぞれ生成される。
【０２１２】
なお、隣接画素間の該変化が図２９（ａ）から図２９（ｃ）に示されたパターン１からパターン３のどれにあたるかは、制御部８０により該フィルタリング処理前に予め識別される。
【０２１３】
より具体的には、制御部８０が画歪補正パラメータデコーダ３４から水平方向に隣接する２列における２つの中心画素Ｉｃのｙ座標を受け、該ｙ座標の差に応じてセレクタ９６〜９９を制御することにより、図３２の斜線部に示された画像データがフィルタリング処理の対象として選択的にデータ補間計算部３１へ供給される。
【０２１４】
なお、上記においては例として４タップのフィルタリング処理を説明したが、本発明の実施の形態に係る画像処理方法は、画像メモリ６０２とデータ取得部２９及びデータ補間計算部３１をタップ数に応じた構成とし、画像メモリ６０２に対するデータの入出力サイクルを変更することによって４タップ以外のフィルタリング処理にも適用することができることはいうまでもない。
【０２１５】
以上より、本発明の実施の形態に係る画像処理システムによれば、撮像された光学歪みを伴う画像に対して水平及び垂直方向に１次元補間演算が施され、補正ベクトルが効率的に利用されるため、静止画像だけでなくリアルタイム処理が必要な動画像に対する歪み補正が簡易な構成により実現され、歪みの無い高画質な画像を容易に得ることができる。
【０２１６】
また、本発明の実施の形態に係る画像処理システムによれば、信号処理によりリアルタイムに画像の歪みを補正することができるため、レンズ設計の自由度を高めることができ、レンズの小型化やレンズの低コスト化を容易に実現することができる。
【図面の簡単な説明】
【０２１７】
【図１】本発明の実施の形態に係る画像処理システムの構成を示すブロック図である。
【図２】図１に示された信号処理部の構成を示すブロック図である。
【図３】図２に示された信号処理部により実行される１次元補間演算の概要を説明する図である。
【図４】図２に示されたデータ補間計算部に含まれる水平処理回路の構成を示す図である。
【図５】図２に示された水平１次元補間部の動作を示す第一のフローチャートである。
【図６】図２に示された水平１次元補間部の動作を示す第二のフローチャートである
【図７】図５及び図６に示された動作を説明する図である。
【図８】水平１次元補間における等倍変換の一例を示す図である。
【図９】図８に示された等倍変換の動作タイミングを示すタイミング図である。
【図１０】水平１次元補間における水平拡大変換の一例を示す図である。
【図１１】図１０に示された水平拡大変換の動作タイミングを示すタイミング図である。
【図１２】図２に示された垂直１次元補間部の動作を示す第一のフローチャートである。
【図１３】図２に示された垂直１次元補間部の動作を示す第二のフローチャートである。
【図１４】図１２及び図１３に示された動作を説明する図である。
【図１５】垂直１次元補間における垂直拡大変換の一例を示す図である。
【図１６】図１に示された前処理装置及び補正パラメータデコーダの動作の概要を示すフローチャートである。
【図１７】図１に示された補正パラメータエンコーダの構成を示すブロック図である。
【図１８】図１７に示された格子分割部の動作の概要を説明する図である。
【図１９】最適分割の方法を示す第一のフローチャートである。
【図２０】最適分割の方法を示す第二のフローチャートである。
【図２１】図１９及び図２０に示された動作を説明する第一の図である。
【図２２】図１９及び図２０に示された動作を説明する第二の図である。
【図２３】図２に示されたｘ方向用の画歪補正パラメータデコーダの構成を示すブロック図である。
【図２４】図２３に示された補正パラメータデコーダの動作を説明する図である。
【図２５】図２に示された画像メモリとデータ取得部及びデータ補間計算部の構成を示す図である。
【図２６】水平１次元補間処理及び垂直１次元補間処理のタイミングを示すタイミング図である。
【図２７】水平１次元補間及び垂直１次元補間を実行するために必要なメモリ容量を説明する図である。
【図２８】図２５に示された画像メモリへのデータ格納方法を説明する図である。
【図２９】隣接画素における垂直方向の取り得る変化パターンを示す図である。
【図３０】隣接画素における垂直方向の有り得ない変化パターンを示す図である。
【図３１】垂直４タップ処理を説明する図である。
【図３２】図２５に示された画像メモリからのデータ読み出し方法を説明する図である。
【図３３】従来における画像処理装置の構成を示すブロック図である。
【図３４】図３３に示された画像処理装置の動作の概要を示すフローチャートである。
【図３５】図３３に示された信号処理部の構成を示すブロック図である。
【図３６】２次元補間による画像変換の原理を示す図である。
【図３７】図３５に示されたデータ補間計算部の構成を示すブロック図である。
【符号の説明】
【０２１８】
２，１００  画像処理装置、３  前処理装置、５  補正パラメータエンコーダ、６  補正パラメータ導出部、７，６００，６０１，６０２  画像メモリ、８，７００  制御マイコン、９  補正パラメータデコーダ、１０，５００  信号処理部、１１  格子分割部、１２  パラメータ圧縮部、２１，５７０  データ書き込み部、２２，２７  演算制御部、２３，２８，５２０  補間位相・入力データ座標計算部、２４，２９，５３０  データ取得部、２５，３０，５４０  補間係数生成部、２６，３１，５５０  データ補間計算部、３２，５６０  出力データバッファ、３３，３４  画歪補正パラメータデコーダ、４０  水平処理回路、４２，４３，９０３，９０４  加算回路、６１  歪みパラメータバッファ、６２  格子決定部、６３  正規化部、６４  関数変換部、６５  平面補間部、６７，９１〜９８  セレクタ、７１  Ａメモリ、７２  Ｂメモリ、７３  Ｃメモリ、７４  Ｄメモリ、７５  Ｅメモリ、８０  制御部、８１  Ａバッファ、８２  Ｂバッファ、８３  Ｃバッファ、８４  Ｄバッファ、８５  Ｅバッファ、２００  レンズ、３００  撮像素子、４００  データ変換部、５０１  水平１次元補間部、５０２
垂直１次元補間部、５１０  タイミング制御部、８００  同期信号生成部、９００  ラインメモリ、９０１  レジスタ、９０２  乗算回路、９０５  除算回路、１０１０  補正データテーブル、１１００  記録部、１２００  再生部、１３００  表示系処理部、１４００  メディア。
【図１】
2008092602.tif 000007
【図２】
2008092602.tif 000008
【図３】
2008092602.tif 000009
【図４】
2008092602.tif 000010
【図５】
2008092602.tif 000011
【図６】
2008092602.tif 000012
【図７】
2008092602.tif 000013
【図８】
2008092602.tif 000014
【図９】
2008092602.tif 000015
【図１０】
2008092602.tif 000016
【図１１】
2008092602.tif 000017
【図１２】
2008092602.tif 000018
【図１３】
2008092602.tif 000019
【図１４】
2008092602.tif 000020
【図１５】
2008092602.tif 000021
【図１６】
2008092602.tif 000022
【図１７】
2008092602.tif 000023
【図１８】
2008092602.tif 000024
【図１９】
2008092602.tif 000025
【図２０】
2008092602.tif 000026
【図２１】
2008092602.tif 000027
【図２２】
2008092602.tif 000028
【図２３】
2008092602.tif 000029
【図２４】
2008092602.tif 000030
【図２５】
2008092602.tif 000031
【図２６】
2008092602.tif 000032
【図２７】
2008092602.tif 000033
【図２８】
2008092602.tif 000034
【図２９】
2008092602.tif 000035
【図３０】
2008092602.tif 000036
【図３１】
2008092602.tif 000037
【図３２】
2008092602.tif 000038
【図３３】
2008092602.tif 000039
【図３４】
2008092602.tif 000040
【図３５】
2008092602.tif 000041
【図３６】
2008092602.tif 000042
【図３７】
2008092602.tif 000043