(57)【要約】【課題】区分ｎ次多項式を用いることによる内分点増加に伴う回路規模の増大を抑え、かつ、それにほぼ等しい画質を再現することが可能な画像処理装置および画像処理方法並びに、カメラシステムを提供する。【解決手段】画像処理装置１１０Ａは、入力画像を格子状に区切る格子点におけるエンコードされた歪み補正ベクトルを保持するデータ保持メモリ１０２０Ａと、補正を行う格子を決定する格子決定を含み、格子決定部により決定された格子の四辺のそれぞれにおいて、格子区間の二点およびそれに隣接するｎ−１の格子点における歪み補正ベクトルと、前記歪み補正ベクトルから導出されるｎ次多項式とを利用して画像を補正する補正パラメータデコーダ１０００Ａとを有する。【選択図】図７
2008079202.tif 000002
【特許請求の範囲】
【請求項１】
歪みを持った入力画像を外部から供給された歪み補正ベクトルに応じて補正する画像補正手段を含む画像処理装置であって、
前記画像補正手段は、
前記入力画像を格子状に区切る格子点におけるエンコードされた歪み補正ベクトルを保持するデータ保持手段と、
補正を行う格子を決定する格子決定手段と、
前記格子決定手段により決定された格子の四辺のそれぞれにおいて、格子区間の二点およびそれに隣接するｎ−１の格子点における歪み補正ベクトルと、前記歪み補正ベクトルから導出されるｎ次多項式とを利用して画像を補正するデコード手段と
を有する画像処理装置。
【請求項２】
前記画像補正手段は、
格子で画面を区切る格子分割手段と、
前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置および前記パラメータ導出手段より得られたデータを利用して演算に必要なデータを圧縮するパラメータ圧縮手段と、を含み、
前記デコード手段は、
前記圧縮手段により圧縮されたｎ＋１個のデータを用いてｎ次多項式を再現する
請求項１記載の画像処理装置。
【請求項３】
前記格子分割手段は、
圧縮するためのパラメータのサンプリングポイントを決定するために出力画像を生成するための入力画像の画面内で必要な部分に対してのみパラメータを格子で均等に区切り、
前記パラメータ圧縮手段は、
前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置および前記パラメータ導出手段で得られたデータを利用し、演算に必要なデータを圧縮し、
前記デコード手段は、
前記圧縮手段により圧縮されたｎ＋１個のデータを用いてｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
請求項２記載の画像処理装置。
【請求項４】
前記格子分割手段は、
圧縮するためのパラメータのサンプリングポイントを決定するために出力画像を生成するための入力画像の画面内で必要な部分に対してのみパラメータを格子で非均等に区切り、
前記パラメータ圧縮手段は、
前記格子分割手段で決定した格子位置を利用し、前記格子の交差位置および前記パラメータ導出手段で得られたデータを利用し、演算に必要なデータを圧縮し、
前記デコード手段は、
前記圧縮手段により圧縮されたｎ＋１個のデータを用いてｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する
請求項２記載の画像処理装置。
【請求項５】
前記デコード手段は、各画素位置の水平方向、垂直方向の歪みパラメータを伸張し、歪補正に利用する
請求項３記載の画像処理装置。
【請求項６】
前記デコード手段は、各画素位置の水平方向、垂直方向の歪みパラメータを伸張し、歪補正に利用する
請求項４記載の画像処理装置。
【請求項７】
前記デコード手段は、
入力画像のエリアを水平方向および垂直方向に格子分割し、格子位置の座標および補正すべき座標を設定し、水平および／または垂直方向の歪みパラメータを伸張する際は、ｎ＋１点より、ｎ次多項式を再現し、再現されたｎ次多項式を用いて任意の補正すべき座標の歪パラメータを伸張する際の一つの多項式とする
請求項５記載の画像処理装置。
【請求項８】
前記デコード手段は、
入力画像のエリアを水平方向および垂直方向に格子分割し、格子位置の座標および補正すべき座標を設定し、水平および／または垂直方向の歪みパラメータを伸張する際は、ｎ＋１点より、ｎ次多項式を再現し、再現されたｎ次多項式を用いて任意の補正すべき座標の歪パラメータを伸張する際の一つの多項式とする
請求項６記載の画像処理装置。
【請求項９】
前記デコード手段は、
入力画像のエリアを水平方向および垂直方向に格子分割し、格子位置の座標および補正すべき座標を設定し、水平および／または垂直方向の歪みパラメータを伸張する際は、格子点座標および補正すべき座標を格子中心点からの距離座標に変換し、それぞれｎ＋１点からｎ次多項式を再現する
請求項５記載の画像処理装置。
【請求項１０】
前記デコード手段は、
入力画像のエリアを水平方向および垂直方向に格子分割し、格子位置の座標および補正すべき座標を設定し、水平および／または垂直方向の歪みパラメータを伸張する際は、格子点座標および補正すべき座標を格子中心点からの距離座標に変換し、それぞれｎ＋１点からｎ次多項式を再現する
請求項６記載の画像処理装置。
【請求項１１】
前記デコード手段は、
格子の最外枠の水平方向のサイズ、および／または垂直方向のサイズを設定し、補正すべき座標に応じた所定の条件に従ってｎ＋１点から、ｎ次多項式を再現する
請求項９記載の画像処理装置。
【請求項１２】
前記デコード手段は、
格子の最外枠の水平方向のサイズ、および／または垂直方向のサイズを設定し、補正すべき座標に応じた所定の条件に従ってｎ＋１点から、ｎ次多項式を再現する
請求項１０記載の画像処理装置。
【請求項１３】
歪みを持った入力画像を外部から供給された歪み補正ベクトルに応じて補正する画像補正手段を含むカメラシステムであって、
前記画像補正手段は、
前記入力画像を格子状に区切る格子点におけるエンコードされた歪み補正ベクトルを保持するデータ保持手段と、
補正を行う格子を決定する格子決定手段と、
前記格子決定手段により決定された格子の四辺のそれぞれにおいて、格子区間の二点およびそれに隣接するｎ−１の格子点における歪み補正ベクトルと、前記歪み補正ベクトルから導出されるｎ次多項式とを利用して画像を補正するデコード手段と、を含む
カメラシステム。
【請求項１４】
歪みを持った入力画像を外部から供給された歪み補正ベクトルに応じて補正する画像処理方法であって、
前記入力画像を格子状に区切る補正ベクトルを持った格子から補正に利用する決定する第１のステップと、
前記第１のステップにより決定された格子の四辺のそれぞれにおいて、格子区間の二点およびそれに隣接するｎ−１の格子点における歪み補正ベクトルと、前記歪み補正ベクトルから導出されるｎ次多項式とを利用して画像を補正する第２のステップと
を有する画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ビデオカメラ、デジタルスチルカメラ、車載カメラ、監視カメラなどに用いられる画像処理装置および画像処理方法、並びに、画像処理装置および画像処理方法を適用したカメラシステムに関するものである。
【背景技術】
【０００２】
撮像装置において、撮像レンズの歪曲収差特性の影響により、撮像された画像においては撮像レンズの歪曲収差特性の影響により歪が生じていた。
高精度・高性能なレンズにおいては、歪みが目立たないが、レンズコストを抑える場合や、光学ズームレンズを搭載する撮像装置においては、画歪みの影響を完全に取り除くことは難しい。さらに、車載カメラや監視カメラにおいては、広角な撮像範囲を必要とするためより強い歪が生じていた。
【０００３】
そこで、近年、この歪みを信号処理により補正する画像処理装置が提案されてきている（たとえば、本願の出願人による特許出願に関する特許文献１および２参照）。
【０００４】
これら特許文献１，２によれば、画像入力手段としてレンズおよび撮像素子を備え、予め効率よく圧縮された水平方向と垂直方向を独立な補正パラメータを、レンズの光学ズームポジションに基づき、適切な補正パラメータを選択し、リアルタイムにデコードする手段と、デコードされた補正パラメータにより水平方向と垂直方向を独立に補間演算を実現する手段とを備える撮像装置を提供している。
この撮像装置は、メモリアーキテクチャの工夫と、補正パラメータの圧縮とを行うことにより、メモリアーキテクチャの特徴を活かして画歪み補正を実現しながら、同時に拡大縮小処理も行うための信号処理回路と補間回路も用意している。
【０００５】
図１は、本願の出願人が先に出願した画像処理システムの構成を示す図である。
【０００６】
図１に示されるように、先の出願に係る画像処理システム１００は、画像処理装置１１０、前処理装置１５００、およびメディア１６００を備えている。
画像処理装置１１０は、レンズ２００と撮像素子３００、データ変換部４００、信号処理部５００、画像メモリ６００、制御マイクロコンピュータ（以下、制御マイコンという）７００、補正パラメータデコーダ１０００、同期信号生成部１４００、記録部１１００、再生部１２００、および表示系処理部１３００とを含み、前処理装置１５００は補正パラメータエンコーダ９００と補正パラメータ導出部８００とを含む。
【０００７】
ここで、レンズ２００は被写体１０１からの反射光を集光して撮像素子３００に写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであってもよい。
また、撮像素子３００はＣＣＤやＣＭＯＳセンサなどから構成され、同期信号生成部１４００から供給された内部同期信号に応じて写影された映像をキャプチャしアナログ画像信号を生成する。
【０００８】
データ変換部４００は撮像素子３００に接続され、同期信号生成部１４００から供給された内部同期信号に応じて、撮像素子３００により生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２を生成する。
信号処理部５００は、制御マイコン７００、データ変換部４００、画像メモリ６００、補正パラメータデコーダ１０００、および同期信号生成部１４００に接続される。
【０００９】
そして、信号処理部５００は、制御マイコン７００から供給されたコマンドに応じて、データ変換部４００から供給されるデジタル画像信号を画像メモリ６００へ格納するとともに、この画像信号に対する補正処理を実行する。そして、信号処理部５００は、補正により得られた画像信号を表示系処理部１３００および記録部１１００へ供給する。
【００１０】
一方、補正パラメータ導出部８００は、レンズ２００の歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ９００は補正パラメータ導出部８００およびユーザインターフェースに接続され、ユーザインターフェースから供給された制御信号応じて、補正パラメータ導出部８００から供給された補正量ベクトルを圧縮（エンコード）し、圧縮データＰｃを補正パラメータデコーダ１０００へ供給する。
【００１１】
なお、補正パラメータ導出部８００における演算および上記エンコードは、ともに非常に負荷の大きな演算となるが、別途パーソナルコンピュータなどを用いて計算すればよく、画像処理装置１１０によるリアルタイム処理に影響を与えるものではない。また、補正パラメータエンコーダ９００から供給される圧縮データＰｃなどの情報は、歪み補正メモリ１０２０にも格納され実際の補正パラメータデコーダ１０００の処理においては、歪み補正メモリ１０２０に格納された情報が使用される。
【００１２】
さらに、制御マイコン７００は、ユーザインターフェースからの制御信号に応じて、所定の動作を命令するコマンドなどを信号処理部５００へ出力するとともに、レンズ２００の位置情報などを補正パラメータデコーダ１０００へ供給する。
【００１３】
補正パラメータデコーダ１０００は、補正パラメータエンコーダ９００、歪み補正メモリ１０２０、制御マイコン７００、および信号処理部５００に接続される。
そして、補正パラメータデコーダ１０００は、制御マイコン７００から供給された情報などに応じて、補正パラメータエンコーダ９００または歪み補正メモリ１０２０から供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸張（デコード）し、補正量パラメータを信号処理部５００へ供給する。
【００１４】
また、記録部１１００は信号処理部５００に接続され、信号処理部５００により生成された画像信号をテープやフレキシブルディスク、ＤＶＤ（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１６００に記録する。なお、信号処理部５００により生成された画像信号は、インターネットやワイヤレス通信などを用いてメディア１６００に記録されるようにすることもできる。
【００１５】
また、再生部１２００は、メディア１６００に接続され、メディア１６００に格納された画像信号を再生して表示系処理部１３００へ供給する。表示系処理部１３００は、信号処理部５００および再生部１２００に接続され、信号処理部５００または再生部１２００から供給された画像信号をモニタに表示する。
【００１６】
なお、同期信号生成部１４００は外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００とデータ変換部４００および信号処理部５００へ供給する。
【００１７】
従来例における、パラメータの圧縮・伸張方法の詳細を以下に述べる。
【００１８】
補正パラメータエンコーダ９００において、補正パラメータ導出部８００より画面全画素に対する歪補正パラメータを読み込む。画面を均等または非均等に水平Ｍ×垂直Ｎに格子分割し、格子線分の両端および格子線分をｎ分割して得られる内分点ｎ−１上における歪み補正パラメータをデコードするための補正データとして歪み補正メモリ１０２０へ転送する。また、分割した座標情報も補正パラメータデコーダ１０００へ転送する。
【００１９】
補正パラメータデコーダ１０００は、格子情報を受け取った後、歪み補正の要求がくるまでウェイト（ＷＡＩＴ）し、要求が来たら信号処理部５００からターゲット点の座標を受け取り、ターゲット点の座標を囲む４格子点または４格子線分を決定する。
４つのｎ次多項式により平面関数を導出し、ターゲット点の歪み補正パラメータを導出する。信号処理部５００から受け取る各ターゲット点に対し、上記作業を行う。
【００２０】
さらに、補正パラメータデコーダ１０００の詳細を図２に関連付けて説明する。
補正パラメータデコーダ１０００は、補正パラメータエンコーダ９００より得られる圧縮データより画面の各点の歪補正座標を信号処理部５００の要求に従って復元する機能ブロックである。
【００２１】
図２において、補正パラメータデコーダ１０００は、補正パラメータエンコーダ９００よりｘ，ｙそれぞれの方向の区分位置を示す格子情報が入力される。入力された格子情報は、格子情報バッファ１００１に格納される。
そして、信号処理部５００より歪み補正を必要とする座標（ｘｔ，ｙｔ）のリクエストを受けると、格子決定部１００２にてターゲットとなる座標（ｘｔ，ｙｔ）が包含される格子を格子バッファ１００１の格子位置情報と比較し算出する。
【００２２】
さらに、求められた格子を囲む４つの格子線分上の圧縮データの格納されているアドレスを生成し、歪補正メモリ１０２０にリード要求する。また同時に決定された格子位置を正規化部１００３に送る。正規化部１００３では、ターゲットとなる座標（ｘｔ，ｙｔ）と格子位置，格子情報より、囲まれた格子４線において利用する相対座標（ｘｔ’，ｙｔ’）を算出する。
【００２３】
これにより、関数算出部１００４では、得られた各ｎ＋１点の歪み情報を元に区分ｎ次多項式を再構築する。また、関数変換部１００５にて、平面補間で利用する関数形式に変換する。さらに、平面補間部１００６は、関数変換部１００５によって得られた平面関数の係数を用いて平面関数を作成し、それぞれの座標を正規化部１００３より得て所望の歪補正座標を計算し、計算結果を信号処理部５００へ送る。
【００２４】
具体的な例として、画面を均等に格子分割し、各格子線分を均等２分割し、区分２次多項式を用いてパラメータを圧縮・伸張する方法を図３（ａ），（ｂ）に関連付けて説明する。
【００２５】
補正パラメータエンコーダ９００において、補正パラメータ導出部８００より画面全画素に対する歪補正パラメータを読み込み。画面を均等に格子分割し、格子線分を２分割して得られる内分点上における歪み補正パラメータをデコードするための圧縮データとして歪み補正メモリ１０２０へ転送する。また、分割した座標情報も補正パラメータデコーダ１０００へ転送する。
【００２６】
補正パラメータデコーダ１０００は、図３（ａ）左図に示すように、信号処理部５００より得られたアドレス（ｘｔ，ｙｔ）が当てはまる格子位置を算出する。
すなわち、区分２次多項式につき格子線分で３点ずつの歪補正パラメータを読み出す。図３（ａ）右図（吹き出し部）にあるように、Ｔａｒｇｅｔ（ｘｔ，ｙｔ）を囲む８個の補正データを読み出す。
【００２７】
さらに、４格子線分の各線における３点の位置と歪補正パラメータの関係はｘ１は、ｘ２とｘ０の中点であるので、次のようになる。
【００２８】
［数１］
ｘ１＝（ｘ２−ｘ０）／２
【００２９】
したがって、次式で表すことができる。
【００３０】
［数２］
ｐ（ｘ０）＝ａ＊ｘ０＾２  ＋  ｂ＊ｘ０  ＋  ｃ
ｐ（ｘ２）＝ａ＊ｘ２＾２  ＋  ｂ＊ｘ２  ＋  ｃ
ｐ（ｘ１）＝ａ＊（（ｘ２−ｘ０）／２）＾２  ＋  
ｂ＊（（ｘ２−ｘ０）／２）  ＋  ｃ
【００３１】
したがって、上記ａ，ｂ，ｃを求めることで区分２次多項式を再現する。
【００３２】
ここで、ｘ０を規準に正規化し、ｘ０＝０、ｘ２＝格子幅、とすると、上式は、以下のようになる。
【００３３】
［数３］
ｃ＝ｐ（ｘ０）
ａ＊ｘ２＾２  ＋  ｂ＊ｘ２  ＋  ｃ  ＝  ｐ（ｘ２）
ａ＊（ｘ２／２）＾２  ＋  ｂ＊（ｘ２／２）  ＋  ｃ  ＝  ｐ（ｘ２）
【００３４】
よって、図３（ｂ）に示すように、次の区分２次多項式となる。
［数４］
ａ＝（２＊ｐ（ｘ２）−４＊ｐ（ｘ１）＋ｐ（ｘ０））／（ｘ２＾２）
ｂ＝（４＊ｐ（ｘ１）−ｐ（ｘ２）−３＊ｐ（ｘ０））／ｘ２
ｃ＝ｐ（ｘ０）
【００３５】
これにより、格子の４格子線分を用いてを用いて、ターゲットとなる点の歪補正座標を求めるが、ここでは、それぞれの関数の係数を変形する。
【００３６】
［数５］
ｆ（ｘ）：ａｆ，ｂｆ，ｃｆ
ｇ（ｘ）：ａｇ，ｂｇ，ｃｇ
ｍ（ｙ）：ａｍ，ｂｍ，ｃｍ
ｎ（ｙ）：ａｎ，ｂｎ，ｃｎ
【００３７】
すなわち、次のようになる。
【００３８】
［数６］
Ｆ（ｘ）  ＝  ２＊ａｆ＊ｘ＾２  ＋（ｂｆ−ａｆ）＊ｘ  ＋  ｃｆ
Ｇ（ｘ）  ＝  ２＊ａｇ＊ｘ＾２  ＋（ｂｇ−ａｇ）＊ｘ  ＋  ｃｇ
Ｍ（ｘ）  ＝  ２＊ａｍ＊ｘ＾２  ＋（ｂｍ−ａｍ）＊ｘ  ＋  ｃｍ
Ｎ（ｘ）  ＝  ２＊ａｎ＊ｘ＾２  ＋（ｂｎ−ａｎ）＊ｘ  ＋  ｃｎ
【００３９】
ここで正規化ブロック１００３は、格子情報からｘｔ，ｙｔをそれぞれ次のように変換し、変換したｘｔ，ｙｔを上記の関数に代入する。
【００４０】
ｘｔ’  ＝  ｘｔ  −  ｘ０
ｙｔ’  ＝  ｙｔ  −  ｙ０
【００４１】
そして、平面補間部１００５で、求めた新たな４関数とｘｔ’，ｙｔ’により、ターゲット点の歪補正座標を求める。
【００４２】
ターゲット点の歪補正座標Ｔａｒｇｅｔは、次式で計算される。
［数７］
Ｔａｒｇｅｔ＝（１／２）＊（（１−ｙｔ’）＊Ｆ（ｘｔ’）＋
ｙｔ’＊Ｇ（ｘｔ’）＋（１−ｘｔ’）＊Ｎ（ｙｔ’）＋
ｘｔ’＊Ｍ（ｙｔ’））
【００４３】
このようにして、図３（ａ），（ｂ）に示した補正パラメータデコーダ１０００の処理は行われる。
【００４４】
【特許文献１】特開２００４−８０５４５号公報
【特許文献２】特開２００４−２３４３７９号公報
【発明の開示】
【発明が解決しようとする課題】
【００４５】
ここで、区分ｎ次多項式を用いて格子点内の各座標の補正データを再現する意味を考える。最も簡単に格子点内の各座標の補正データを再現するのは、格子点上の補正データとｎ＝１つまり、線形補間を用いることである。
【００４６】
しかし、歪のきつい画面周辺部などにおいて、図４（ａ）に示すように、ｘ０，ｘ２を格子点上の圧縮データとし、点線で示した分布を内部座標の実データの分布とする。このとき、線形補間を用いると、各データは、図４（ｂ）の二重線部の分だけ、実データとの誤差が生じる。これは、画像としては、図５（ａ）に示すように，直線が波打ったような画像になってしまう。
【００４７】
こうした画質への影響を回避するために、区分ｎ次多項式を用い、格子点内部の座標に対する各補正データを再現する。
ｎの次数を高くするほどより、図５（ａ）に示す実データの曲線に近くなり、精度良く平面補間データを求めることが可能であり、前述したような区分ｎ次多項式を用いて、パラメータを圧縮・伸張することができる。
【００４８】
しかし、画質の向上は見られるが、格子点間の内分点が増えるため、回路規模の増大を招くという課題が生じる。
【００４９】
たとえば、画面を８×８に格子分割し、各格子線分を２分割し、区分２次多項式を用いてパラメータを伸張する場合、図６に示すように、格子点上の圧縮パラメータが８１ポイント、内分点の圧縮パラメータが１４４ポイントとなり、単に格子点上の補正データと線形補間を用いる場合に対して、総圧縮データ数は、約２．８倍となる。これは、そのまま歪補正メモリ１０２０の回路規模に効いてくる。
【００５０】
このように、区分ｎ次多項式のｎの次数をあげることでより画質の向上が望める一方で、回路規模の増大を招く。
【００５１】
本発明は、区分ｎ次多項式を用いることによる内分点増加に伴う回路規模の増大を抑え、かつ、それにほぼ等しい画質を再現することが可能な画像処理装置および画像処理方法並びに、カメラシステムを提供することある。
【課題を解決するための手段】
【００５２】
本発明の第１の観点は、歪みを持った入力画像を外部から供給された歪み補正ベクトルに応じて補正する画像補正手段を含む画像処理装置であって、前記画像補正手段は、前記入力画像を格子状に区切る格子点におけるエンコードされた歪み補正ベクトルを保持するデータ保持手段と、補正を行う格子を決定する格子決定手段と、前記格子決定手段により決定された格子の四辺のそれぞれにおいて、格子区間の二点およびそれに隣接するｎ−１の格子点における歪み補正ベクトルと、前記歪み補正ベクトルから導出されるｎ次多項式とを利用して画像を補正するデコード手段とを有する。
【００５３】
本発明の第２の観点は、歪みを持った入力画像を外部から供給された歪み補正ベクトルに応じて補正する画像補正手段を含むカメラシステムであって、前記画像補正手段は、前記入力画像を格子状に区切る格子点におけるエンコードされた歪み補正ベクトルを保持するデータ保持手段と、補正を行う格子を決定する格子決定手段と、前記格子決定手段により決定された格子の四辺のそれぞれにおいて、格子区間の二点およびそれに隣接するｎ−１の格子点における歪み補正ベクトルと、前記歪み補正ベクトルから導出されるｎ次多項式とを利用して画像を補正するデコード手段と、を含む。
【００５４】
本発明の第３の観点は、歪みを持った入力画像を外部から供給された歪み補正ベクトルに応じて補正する画像処理方法であって、前記入力画像を格子状に区切る補正ベクトルを持った格子から補正に利用する決定する第１のステップと、前記第１のステップにより決定された格子の四辺のそれぞれにおいて、格子区間の二点およびそれに隣接するｎ−１の格子点における歪み補正ベクトルと、前記歪み補正ベクトルから導出されるｎ次多項式とを利用して画像を補正する第２のステップとを有する。
【００５５】
本発明においては、従来例と同じく区分ｎ次多項式を用いて補正データを再現する点は同じであるが、区分ｎ次多項式を求めるために用いる圧縮データを格子点間の内分点上のｎ−１個と格子点を合わせたｎ個を用いて区分ｎ次多項式の各次数の係数を求めるのではなく、格子点上の圧縮データをｎ＋１個用いて、区分ｎ次多項式を生成し、各補正データを再現する。
【発明の効果】
【００５６】
本発明に係る画像処理装置と画像処理システムおよび画像処理方法によれば、低コストでリアルタイムに原画像の歪み補正をすることができるため、高品質な画像を容易で得ることができる。
【発明を実施するための最良の形態】
【００５７】
以下、本発明の実施形態を添付図面に関連付けて説明する。
【００５８】
＜第１実施形態＞
図７は、本発明の第１の実施形態に係るカメラシステムにおける画像処理システムの構成を示す図である。
【００５９】
本画像処理システム１００Ａは、画像処理装置１１０Ａ、前処理装置１５００Ａ、およびメディア１６００Ａを備えている。
【００６０】
画像処理装置１１０は、レンズ２００Ａと撮像素子３００Ａ、データ変換部４００Ａ、信号処理部５００Ａ、画像メモリ６００Ａ、制御マイクロコンピュータ（以下、制御マイコンという）７００Ａ、補正パラメータデコーダ１０００Ａ、同期信号生成部１４００Ａ、記録部１１００Ａ、再生部１２００Ａ、および表示系処理部１３００Ａとを含み、前処理装置１５００Ａは補正パラメータエンコーダ９００Ａと補正パラメータ導出部８００Ａとを含む。
【００６１】
ここで、レンズ２００Ａは、被写体１０１Ａからの反射光を集光して撮像素子３００Ａに写影するものであって、単焦点のレンズにとどまらずズーム機能を有するものであってもよい。
また、撮像素子３００Ａは、ＣＣＤやＣＭＯＳセンサなどから構成され、同期信号生成部１４００Ａから供給された内部同期信号に応じて写影された映像をキャプチャしアナログ画像信号を生成する。
【００６２】
データ変換部４００Ａは撮像素子３００Ａに接続され、同期信号生成部１４００Ａから供給された内部同期信号に応じて、撮像素子３００Ａにより生成されたアナログ画像信号をデジタル画像信号に変換し画像１０２Ａを生成する。
信号処理部５００Ａは、制御マイコン７００Ａとデータ変換部４００Ａ、画像メモリ６００Ａ、補正パラメータデコーダ１０００Ａ、および同期信号生成部１４００Ａに接続される。
【００６３】
そして、信号処理部５００Ａは、制御マイコン７００Ａから供給されたコマンドに応じて、データ変換部４００Ａから供給されるデジタル画像信号を画像メモリ６００Ａへ格納するとともに、この画像信号に対する補正処理を実行する。そして、信号処理部５００Ａは、補正により得られた画像信号を表示系処理部１３００Ａおよび記録部１１００Ａへ供給する。
【００６４】
一方、補正パラメータ導出部８００Ａは、レンズ２００Ａの歪曲収差に関するデータなどから、全画素の各位置に応じた補正量ベクトルを予め計算する。また、補正パラメータエンコーダ９００Ａは補正パラメータ導出部８００Ａおよびユーザインターフェースに接続され、ユーザインターフェースから供給された制御信号応じて、補正パラメータ導出部８００Ａから供給された補正量ベクトルを圧縮（エンコード）し、圧縮データＰｃを補正パラメータデコーダ１０００Ａへ供給する。
【００６５】
なお、補正パラメータ導出部８００Ａにおける演算および上記エンコードは、ともに非常に負荷の大きな演算となるが、別途パーソナルコンピュータなどを用いて計算すればよく、画像処理装置１１０Ａによるリアルタイム処理に影響を与えるものではない。また、補正パラメータエンコーダ９００Ａから供給される圧縮データＰｃなどの情報は、歪み補正メモリ１０２０Ａにも格納され実際の補正パラメータデコーダ１０００Ａの処理においては、歪み補正メモリ１０２０Ａに格納された情報が使用される。
【００６６】
さらに、制御マイコン７００Ａは、ユーザインターフェースからの制御信号に応じて、所定の動作を命令するコマンドなどを信号処理部５００Ａへ出力するとともに、レンズ２００Ａの位置情報などを補正パラメータデコーダ１０００Ａへ供給する。
【００６７】
補正パラメータデコーダ１０００Ａは、補正パラメータエンコーダ９００Ａ、歪み補正メモリ１０２０Ａ，制御マイコン７００Ａ、および信号処理部５００Ａに接続される。
そして、補正パラメータデコーダ１０００Ａは、制御マイコン７００Ａから供給された情報などに応じて、補正パラメータエンコーダ９００Ａまたは歪み補正メモリ１０２０Ａから供給されたエンコードされた圧縮データＰｃを各画素に対応した補正量パラメータに伸張（デコード）し、補正量パラメータを信号処理部５００Ａへ供給する。
補正パラメータデコーダ１０００Ａは、本実施形態の画像処理システムの特徴的な構成を有し、その具体的な処理については、後で説明する。
【００６８】
また、記録部１１００Ａは信号処理部５００Ａに接続され、信号処理部５００Ａにより生成された画像信号をテープやフレキシブルディスク、ＤＶＤ（デジタル多用途ディスク）、ハードディスク、メモリなどのメディア（記録媒体）１６００Ａに記録する。なお、信号処理部５００Ａにより生成された画像信号は、インターネットやワイヤレス通信などを用いてメディア１６００Ａに記録されるようにすることもできる。
【００６９】
また、再生部１２００Ａは、メディア１６００Ａに接続され、メディア１６００Ａに格納された画像信号を再生して表示系処理部１３００Ａへ供給する。表示系処理部１３００Ａは、信号処理部５００Ａおよび再生部１２００Ａに接続され、信号処理部５００Ａまたは再生部１２００Ａから供給された画像信号をモニタに表示する。
【００７０】
なお、同期信号生成部１４００Ａは外部から供給されたクロック信号ＣＬＫに応じて内部同期信号を生成し、撮像素子３００Ａとデータ変換部４００Ａおよび信号処理部５００Ａへ供給する。
【００７１】
本第１の実施形態においては、区分ｎ次多項式を再現する際に、図８に示すように、左上格子点からの距離の座標で考えている。
【００７２】
補正パラメータエンコーダ９００Ａにおいて、画面をＭ×Ｎに格子分割し、格子点の座標位置、および、格子点の歪パラメータを圧縮データとして歪補正メモリ１０２０Ａへ送る。従来例の区分ｎ次多項式のｎ＝１の場合、つまり線形補間から格子点内の補正データを求める場合と同じ圧縮データ量である。
本実施形態において、特許文献１，２に記載された技術と本質的に異なる点は、補正パラメータデコーダ１０００Ａ内の処理である。
【００７３】
図９は、本発明の第１の実施形態に係る補正パラメータデコーダのブロック図である。
【００７４】
図９の補正パラメータデコーダ１０００Ａは、格子情報バッファ１００１Ａ、格子決定部２００２、正規化部１００３Ａ、関数算出部１００４Ａ、関数変換部１００５Ａ、および平面補間部１００６Ａを有している。
図９の補正パラメータデコーダ１０００Ａが、図２の補正パラメータデコーダ１０００と大きく異なる点は、格子決定部２００２の処理にある。
【００７５】
特許文献１，２に開示されている技術においては、図１０の斜線部のある４格子線に囲まれた内部の座標位置に相当する補正データを求めようとしたとき、図１０に示すように、各格子点間をｎ分割して圧縮されたｎ＋１個の圧縮データを用いて、区分ｎ次多項式の各次数の係数を求め、格子点内の補正データを再現した。
【００７６】
本発明の第１の実施形態においては、格子点間をｎ分割した座標と圧縮データを用いるのではなく、区分ｎ次多項式を用いる場合は、格子点をｎ＋１個の座標と圧縮データを使用することで、区分ｎ次多項式の各次数の係数を求め、格子点内の補正データを再現する。
図１１に示すように斜線部内の座標位置に相当する補正データを求めようとした場合、図１１に示すように周囲の格子点をｎ＋１個用い、４つの区分ｎ次多項式ｆ（ｘ）、ｇ（ｘ）、ｍ（ｙ）、ｎ（ｙ）を生成し、斜線部内の補正データを再現する。
【００７７】
具体的に区分２次式を例に用いて補正データを再現する場合を以下で説明する。
【００７８】
格子分割数を画面を８×８の分割するものとすると、図１２に示すように画面を８×８の格子ＬＴＣに分割し、補正パラメータエンコーダ９００Ａにおいては、各格子点上の歪パラメータを抽出し、パラメータの圧縮をし、歪補正メモリ１０２０Ａに転送する。
【００７９】
補正パラメータデコーダ１０００Ａは、補正パラメータエンコーダ９００Ａよりｘ，ｙそれぞれの方向の区分位置を示す格子情報が入力される。入力された格子情報は、格子情報バッファ１００１Ａに格納される。
そして、信号処理部５００Ａより歪み補正を必要とする座標（ｘｔ，ｙｔ）のリクエストを受けると、格子決定部２００２にてターゲットとなる座標（ｘｔ，ｙｔ）が包含される格子を格子バッファ１００１Ａの格子位置情報と比較し算出し、提案されている技術（従来例）と同様に格子位置を決定する。
【００８０】
さらに、求められた格子を囲む４つの格子線分上の歪補正パラメータの格納されているアドレスを生成し、歪補正メモリ１０２０Ａにリード要求する。このとき、提案されている技術では、図３（ａ）に示したとおり（ｘｔ，ｙｔ）を含む各格子点および、その内分点を歪補正メモリに対しリード要求していた。
これに対して、本実施形態においては、図１３に示すように、（ｘｔ，ｙｔ）を含む水平・垂直各３点ずつのｘ０〜ｘ７で示した８個の格子点情報となり、区分２次多項式を生成するために必要な３点の情報を提案技術のように格子点と内分点は、使用せず、求めるべき（ｘｔ，ｙｔ）を含む格子点から持ってくる点が異なっている。
【００８１】
格子決定部２００２で決定した格子点情報を元に、正規化部１００３Ａで（ｘｔ，ｙｔ）から相対座標（ｘｔ’，ｙｔ’）に変換し、格子決定部２００２で決定した格子点情報に基づき、得られた３点の歪情報をもとに格子線４線それぞれで区分２次多項式を構成する。
関数変換部１００５Ａにて、歪補正メモリ１０２０Ａより受け取った関数の係数から、平面補間で利用する関数形式に変換する。
さらに、平面補間部１００６Ａは、関数変換部１００５Ａによって得られた平面関数の係数を用いて平面関数を作成し、それぞれの座標を正規化部１００３Ａより得て所望の歪補正座標を計算し、計算結果を信号処理部５００Ａへ送る。
【００８２】
また、係数の算出方法も前述した区分２次多項式を例とした提案技術と同様であり、区分２次多項式の各係数を求めるために必要な３点の情報を各格子点と内分点から求めるのか、格子点各３点から求めるかの違いが特徴的な機能である。
【００８３】
＜第２実施形態＞
さらに、本発明の第２の実施形態を以下に説明する。
本発明の第２の実施形態は、第１の実施形態とほぼ同じ構成、方法をとるが、区分ｎ次多項式を生成する際に、図１４に示すように、格子ＬＴＣの中心を原点とした距離の座標で考える点が異なっている。
【００８４】
第２の実施形態においては、歪補正データを求めるべき任意の（ｘｔ，ｙｔ）に対し、また、各格子点についても格子中心からの距離の座標に変換し、（ｘｔ，ｙｔ）が含まれる格子点を図１５や図１６や図１７などのパターンでｎ＋１の格子点を選択し、区分ｎ次多項式を用いて補正データを再現する。
【００８５】
図１８は、本発明の第２の実施形態に係る補正パラメータデコーダのブロック図である。
【００８６】
図１８に示す補正パラメータデコーダ１０００Ｂは、内部構成については、図９に示した第１の実施形態のブロック図とほぼ同じであり、第１の実施形態が、格子左上点を基準とした距離で格子点座標、および（ｘｔ，ｙｔ）を扱っていたのに対し、第２の実施形態では、格子中心を基準とした距離で格子点、および（ｘｔ，ｙｔ）を扱うため、それぞれ座標変換するブロック、格子座標変換部３００６、リクエスト座標変換部３００７を追加している。
【００８７】
格子座標変換部３００６、リクエスト座標変換部３００７の内部処理は同じであり、具体的に行っていることを以下で説明する。
【００８８】
格子情報バッファ１００１Ａには、図１９に示すように１格子の横幅を４０とし、縦幅を３０とし、８×８に格子分割した３２０×２４０の画像を考えるとき、格子左上点を基準とした座標で考えられているので、たとえば、信号処理部５００Ａからのリクエスト座標がＴ（ｘｔ，ｙｔ）＝（１００，７５）とした場合、それを囲む４格子点は、Ｘ０（８０，６０）、Ｘ１（１２０，６０）、Ｘ２（１２０，９０）、Ｘ３（８０，９０）となる。
このとき、第２の実施形態においては、図１９の格子中心座標の（１６０，１２０）を基準とした距離の座標で考えるため、Ｘ０、Ｘ１、Ｘ２、Ｘ３は、格子座標変換部３００６により、Ｘ０（８０，６０）、Ｘ１（４０，６０）、Ｘ２（４０，３０）、Ｘ３（８０，３０）へと変換される。
また、Ｔは、リクエスト座標変換部３００７により、Ｔ（６０，４５）へと変換される。他のブロックはこの変換された座標値を基準に区分ｎ次多項式を生成し、（ｘｔ，ｙｔ）の補正データを再現する。
【００８９】
すなわち、格子点座標変換部３００６とリクエスト座標変換部３００７は、以下の式により、座標変換を行っている。
【００９０】
［数８］
ｘｔ’＝｜Ｘｃ−ｘｔ｜
ｙｔ’＝｜Ｙｃ−ｙｔ｜
【００９１】
（ｘｔ、ｙｔ）は入力座標を示し、（ｘｔ’，ｙｔ’）は変換後の座標を示している。また、（Ｘｃ，Ｙｃ）は、格子左上点を基準としたときの格子中心の座標を示している。
【００９２】
座標変換後のフローは第１の実施形態と同様であり、たとえば、２次多項式を用いる場合を考えた時、図２０に示す通り、ターゲット点（ｘｔ，ｙｔ）に対し、ｘ０〜ｘ７のように格子点を決定し、ｘ０、ｘ１、ｘ２から２次多項式ｆ（ｘ）を、ｘ３、ｘ４、ｘ５から２次多項式ｇ（ｘ）を、ｘ０、ｘ３、ｘ６から２次多項式ｍ（ｙ）をｘ１、ｘ４、ｘ７から２次多項式ｎ（ｙ）を生成し、（ｘｔ，ｙｔ）に対する補正データを再現している。
【００９３】
これにより、本発明第１および第２の実施形態においては、歪補正メモリ１０２０Ａに必要な歪補正パラメータ量は、図２１に示すように画面を８×８に格子分割した場合は、９×９の８１ポイントで済む。これは、提案されている技術において区部ｎ次多項式をｎ＝１とした単なる線形補間と同様のポイント数となり、８×８に格子分割する場合の最小のポイント数である。また、提案されている技術において、８×８で区分２次多項式を用いた場合に２２５ポイントだったことに比べれば実に少量で済む。
【００９４】
ただし、（ｘｔ，ｙｔ）を含む格子線（提案されている技術は、図３、本発明第１の実施形態は図１３、本発明第２の実施形態は図２０の各斜線部）を図４（ａ）にあるようなもともとの歪補正情報の曲線に近い形で再現できるかという点では、提案されている技術の方式のほうがより近い形となる。
しかし、歪補正メモリ１０２０Ａに本発明の実施形態と同様の圧縮データを持ち、線形補間で格子点内部の点を再現した提案されている技術においては、図５（ａ）に示したような直線が波打つような現象が見られた。
同様に本発明の第１および第２の実施形態の結果では、図５（ｂ）に示した通りとなる。波うちの現象は消え、十分直線に近い形で再現されていることが分かる。
【００９５】
提案されている技術と比較し、本発明第１および第２の実施形態においては、回路規模差以上の効果が画質として期待できる。
【００９６】
以上説明したように、本実施形態によれば、圧縮するためのパラメータのサンプリングポイントを決定するために出力画像を生成するための入力画像の画面内で必要な部分に対してのみパラメータを格子で均等あるいは非均等に区切り、決定した格子位置を利用し、この格子の交差位置およびパラメータ導出部で得られたデータを利用し、演算に必要なデータを圧縮し、補正パラメータデコーダ１０００Ａは、圧縮されたｎ＋１個のデータを用いてｎ次多項式を再現し、再現されたｎ次多項式を用いて伸張し、歪補正に利用する。
【００９７】
そして、補正パラメータデコーダ１０００Ａは、格子分割を用いて、入力画像のエリアを水平Ｍ分割、垂直Ｎ分割に格子分割し、格子位置の座標を、（Ｘ０，Ｙ０）、（Ｘ１，Ｙ０）・・・（ＸＭ，ＹＮ）とし、補正すべき座標を（ｘｔ，ｙｔ）とし、
Ｘｉ≦ｘｔ≦Ｘｉ＋ｎ  ただし、Ｘｉ＋ｎ  ≦  ＸＭ、
Ｙｊ≦ｙｔ≦Ｙｊ＋ｎ  ただし、Ｙｊ＋ｎ  ≦  ＹＮ、
とし、（ｘｔ，ｙｔ）は、
ｘ＝Ｘｋ、ｘ＝Ｘｋ＋１、ｙ＝Ｙｌ、ｙ＝Ｙｌ＋１、
ただし、Ｘｉ≦Ｘｋ≦Ｘｋ＋１≦ＸＭ、Ｙｉ≦Ｙｋ≦Ｙｋ＋１≦ＹＮ、
の４線で囲まれる点としたとき、ｙ＝Ｙｌの水平方向の歪みパラメータを伸張する際は、
（Ｘｉ，Ｙｌ）、（Ｘｉ＋１、Ｙｌ）・・・（Ｘｉ＋ｎ、Ｙｌ）
のｎ＋１点より、ｎ次多項式を再現し、再現されたｎ次多項式を用いて任意の（ｘｔ，ｙｔ）の歪パラメータを伸張する際の一つの多項式とする。
ｙ＝ｙｌ＋１においても同様である。また、ｘ＝ｘｋの任意の垂直方向の歪みパラメータを伸張する際は、
（Ｘｋ，Ｙｊ）、（Ｘｋ、Ｙｊ＋１）・・・（Ｘｋ、Ｙｊ＋ｎ）
のｎ＋１点より、ｎ次多項式を再現し、再現されたｎ次多項式を用いて任意の（ｘｔ，ｙｔ）の歪パラメータを伸張する際の一つの多項式とする。このようにして、各画素位置の水平方向、垂直方向の歪みパラメータを伸張し、歪補正に利用する。
【００９８】
また、補正パラメータデコーダ１０００Ａは、格子分割を用いて、入力画像のエリアを水平Ｍ分割、垂直Ｎ分割に格子分割し、格子位置の座標を、（Ｘ０，Ｙ０）、（Ｘ１，Ｙ０）・・・（ＸＭ，ＹＮ）とし、補正すべき座標を（ｘｔ，ｙｔ）とする。このとき、格子点座標を格子中心点からの距離座標（Ｘ０’，Ｙ０’）、（Ｘ１’，Ｙ０’）・・・ＸＭ’，ＹＮ’）に変換し、（Ｘｔ，Ｙｔ）も（Ｘｔ’，Ｙｔ’）と変換する。
（Ｘｔ’，Ｙｔ’）が、（Ｘｉ’，Ｙｊ’）、（Ｘｉ＋１’，Ｙｊ’）、（Ｘｉ’，Ｙｊ＋１’）、（Ｘｉ＋１’，Ｙｊ＋１’）の４格子点に囲まれる時、次のようにする。
【００９９】
［数９］
（Ｘｉ’    ，Ｙｊ’）    （Ｘｉ＋１’，Ｙｊ’）    ・・・（Ｘｉ＋ｎ’，Ｙｊ’）    −（１−１）
（Ｘｉ’    ，Ｙｊ＋１’）（Ｘｉ＋１’，Ｙｊ＋１’）・・・（Ｘｉ＋ｎ’，Ｙｊ＋１’）−（１−２）
（Ｘｉ’    ，Ｙｊ’）    （Ｘｉ’    ，Ｙｊ＋１’）    ・・・（Ｘｉ’，Ｙｊ＋ｎ’）−（１−３）
（Ｘｉ＋１’，Ｙｊ’）    （Ｘｉ＋１’，Ｙｊ＋１’）・・・（Ｘｉ＋１’，Ｙｊ＋ｎ’）−（１−４）
【０１００】
ただし、格子の最外枠の水平サイズをＬＨ、垂直サイズをＬＶとしたとき、Ｘｉ＋ｎ’＜ＬＨ／２、Ｙｊ＋ｎ’＜ＬＶ／２とする。
または、次のようにする。
【０１０１】
［数１０］
（Ｘｉ’    ，Ｙｊ−ｌ’）・・・（Ｘｉ’    ，Ｙｊ’）    （Ｘｉ’    ，Ｙｊ＋１’）・・・（Ｘｉ’    ，Ｙｊ＋ｍ’）−（２−１）
（Ｘｉ＋１’，Ｙｊ−ｌ’）・・・（Ｘｉ＋１’，Ｙｊ’）    （Ｘｉ＋１’，Ｙｊ＋１’）・・・（Ｘｉ＋１’，Ｙｊ＋ｍ’）−（２−２）
（Ｘｉ−ｌ’，Ｙｊ’）    ・・・（Ｘｉ’    ，Ｙｊ’）    （Ｘｉ＋１’，Ｙｊ’）    ・・・（Ｘｉ＋ｍ’，Ｙｊ’）    −（２−３）
（Ｘｉ−ｌ’，Ｙｊ＋１’）・・・（Ｘｉ’    ，Ｙｊ＋１’）（Ｘｉ＋１’，Ｙｊ＋１’）・・・（Ｘｉ＋ｍ’，Ｙｊ＋１’）−（２−４）
【０１０２】
ただし、格子の最外枠の水平サイズをＬＨ、垂直サイズをＬＶとしたとき、Ｘｉ＋ｍ’＜ＬＨ／２、Ｙｊ＋ｍ’＜ＬＶ／２とする。
または、次のようにする。
【０１０３】
［数１１］
（Ｘｉ−ｎ＋１’，Ｙｊ＋１’）    ・・・（Ｘｉ’    ，Ｙｊ＋１’）（Ｘｉ＋１’，Ｙｊ＋１’）−（３−１）
（Ｘｉ−ｎ＋１’，Ｙｊ’）        ・・・（Ｘｉ’    ，Ｙｊ’）    （Ｘｉ＋１’，Ｙｊ’）    −（３−２）
（Ｘｉ’        ，Ｙｊ−ｎ＋１’）・・・（Ｘｉ’    ，Ｙｊ’）    （Ｘｉ’    ，Ｙｊ＋１’）−（３−３）
（Ｘｉ＋１’    ，Ｙｊ−ｎ＋１’）・・・（Ｘｉ＋１’，Ｙｊ’）    （Ｘｉ＋１’，Ｙｊ＋１’）−（３−４）
【０１０４】
ただし、格子の最外枠の水平サイズをＬＨ、垂直サイズをＬＶとしたとき、Ｘｉ’＜ＬＨ／２、Ｙｊ’＜ＬＶ／２とする。
【０１０５】
ただし、格子の最外枠の水平サイズをＬＨ、垂直サイズをＬＶとしたとき、（Ｘｔ，Ｙｔ）の座標により（１−１）、（１−２）、（１−３）、（１−４）または、（２−１）、（２−２）、（２−３）、（２−４）または、（３−１）、（３−２）、（３−３）、（３−４）を選択し、それぞれｎ＋１点から、ｎ次多項式を再現する。
このようにして、各画素位置の水平方向、垂直方向の歪みパラメータを伸張し、歪補正に利用する。
【０１０６】
このような特徴を有する本実施形態によれば、低コストでリアルタイムに原画像の歪み補正をすることができるため、高品質な画像を容易で得ることができる。
【図面の簡単な説明】
【０１０７】
【図１】画歪補正システムのブロック図である。
【図２】提案されている技術における補正パラメータデコーダの内部ブロック図である。
【図３】提案されている技術における（ｘｔ，ｙｔ）を求めるために必要な格子点情報の図である。
【図４】格子点間の全ての歪補正パラメータの例示とそれを線形補間により求めた場合の誤差のイメージを示した図である。
【図５】提案されている技術および本発明の実施形態の具体的な結果画像の図である。
【図６】従来例における画面を８×８に格子分割した場合の必要となるすべて格子点および内分点の図である。
【図７】本発明の第１の実施形態に係るカメラシステムにおける画像処理システムの構成を示す図である。
【図８】本発明の第１の実施形態における基準座標イメージの図である。
【図９】本発明の第１の実施形態における補正パラメータデコーダの内部ブロック図である。
【図１０】提案されている技術における斜線部内の任意の点を補間して求めるために必要な格子点上情報の図である。
【図１１】本発明の第１の実施形態における斜線部内の任意の点を補間して求めるために必要な格子点上情報の図である。
【図１２】提案されている技術における画面を８×８に格子分割した場合の必要となるすべて格子点の図である。
【図１３】本発明の第１の実施形態における（ｘｔ，ｙｔ）を求めるために必要な格子点情報の図である。
【図１４】本発明の第２の実施形態における基準座標イメージの図である。
【図１５】本発明の第２の実施形態における決定格子点例１の図である。
【図１６】本発明の第２の実施形態における決定格子点例２の図である。
【図１７】本発明の第２の実施形態における決定格子点例３の図である。
【図１８】本発明第２の実施形態における補正パラメータデコーダの内部ブロック図である。
【図１９】本発明の第２の実施形態における格子点およびターゲット点の座標の図である。
【図２０】本発明の第２の実施形態における２次近似を生成するための格子点とターゲット点の図である。
【図２１】本発明の第２の実施形態における格子点およびターゲット点の座標の図である。
【符号の説明】
【０１０８】
１００Ａ・・・画像処理システム、１１０Ａ・・・画像処理装置、２００Ａ・・・レンズ、３００Ａ・・・撮像素子、４００Ａ・・・データ変換部、５００Ａ・・・信号処理部、６００Ａ・・・画像メモリ、７００Ａ・・・制御マイクロコンピュータ（制御マイコン）、８００Ａ・・・補正パラメータ導出部、９００Ａ・・・補正パラメータエンコーダ、１０００Ａ・・・補正パラメータデコーダ、１１００Ａ・・・記録部、１２００Ａ・・・再生部、１３００Ａ・・・表示系処理部、１４００Ａ・・・同期信号生成部、１５００・・・前処理装置、１６００Ａ・・・メディア、１００１Ａ・・・格子情報バッファ、２００２・・・格子決定部、１００３Ａ・・・正規化部、１００４Ａ・・・関数算出部、１００５Ａ・・・関数変換部、１００６Ａ・・・平面補間部、３００６・・・格子座標変換部、３００７・・・リクエスト座標変換部。
【図１】
2008079202.tif 000003
【図２】
2008079202.tif 000004
【図３】
2008079202.tif 000005
【図４】
2008079202.tif 000006
【図５】
2008079202.tif 000007
【図６】
2008079202.tif 000008
【図７】
2008079202.tif 000009
【図８】
2008079202.tif 000010
【図９】
2008079202.tif 000011
【図１０】
2008079202.tif 000012
【図１１】
2008079202.tif 000013
【図１２】
2008079202.tif 000014
【図１３】
2008079202.tif 000015
【図１４】
2008079202.tif 000016
【図１５】
2008079202.tif 000017
【図１６】
2008079202.tif 000018
【図１７】
2008079202.tif 000019
【図１８】
2008079202.tif 000020
【図１９】
2008079202.tif 000021
【図２０】
2008079202.tif 000022
【図２１】
2008079202.tif 000023