(57)【要約】【課題】  規模の小さい処理回路により、光学ズームを利用した場合にも、撮像画像に生じる光学歪みを精度よく補正する。【解決手段】  画像無効期間において、歪み補正パラメータをパラメータ記憶部１３１から補間演算器１２２に供給してズーム方向の補間演算を行い、結果をＹ−Ｘ圧縮データ保持部１２３に順次格納する。Ｙ−Ｘ圧縮データ保持部１２３に、ｙ方向の１つの格子線分上の歪み補正パラメータが格納されると、これらを補間演算器１２２に供給してｙ方向の補間演算を行い、結果をＸ圧縮データ保持部１２４に格納する。以上の処理をｘ方向の格子点数分だけ繰り返して、各格子点に対応する歪み補正パラメータをＸ圧縮データ保持部１２４に格納した後、画像有効期間において、これらのデータを補間演算器１２２に供給してｘ方向の補間演算を行い、この結果デコードされた歪み補正座標を歪み補正処理に利用する。【選択図】  図６
2005063154.tif 000002
【特許請求の範囲】
【請求項１】
光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理装置において、
入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、
歪み補正対象の画素の座標を指定する座標指定手段と、
前記光学ズーム機構においてレンズ位置状態が変化するズーム方向と、歪み補正後の画像の水平方向および垂直方向とに対して圧縮された歪み補正用の補正パラメータを基に、前記座標指定手段によって指定された前記座標と、前記ズーム位置取得手段によって取得された前記ズーム位置とに対応する前記補正パラメータを補間演算により算出するパラメータデコード手段と、
前記パラメータデコード手段によって算出された前記補正パラメータを基にして前記入力画像の歪みを補正する画像補正手段と、
を有し、
前記パラメータデコード手段は、前記水平方向の１ライン分の補正処理を行う際に、水平帰線期間において、前記ズーム位置と前記１ラインに対応する前記垂直方向の座標とから、前記１ラインに必要な前記ズーム方向および前記垂直方向に対する前記補正パラメータの補間演算を行い、前記水平帰線期間終了後の画像有効期間において、算出された前記水平方向に圧縮された前記補正パラメータを用いた前記水平方向の各画素についての補間演算を行うことを特徴とする画像処理装置。
【請求項２】
前記パラメータデコード手段は、
入力された圧縮された前記補正パラメータを用いて位相係数に応じた補間演算を行う補間演算手段と、
前記補間演算手段により前記ズーム方向に対して補間された、前記１ライン分の補正処理に必要な前記補正パラメータを一時的に保持するＹ−Ｘ圧縮データ保持手段と、
前記補間演算手段により前記垂直方向に対して補間された、前記１ライン分の補正処理に必要な前記補正パラメータを一時的に保持するＸ圧縮データ保持手段と、
前記水平方向、前記垂直方向および前記ズーム方向に圧縮された、前記ズーム位置に対応する前記補正パラメータと、前記Ｙ−Ｘ圧縮データ保持手段から読み出された前記補正パラメータと、前記Ｘ圧縮データ保持手段から読み出された前記補正パラメータとを、選択的に前記補間演算手段に入力させる入力選択手段と、
前記座標指定手段によって指定された前記座標と、前記ズーム位置取得手段によって取得された前記ズーム位置とに応じて、前記入力選択手段における選択動作を制御するとともに、前記位相係数を算出して前記補間演算手段に供給する制御手段と、
を具備することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、前記入力選択手段が、前記水平帰線期間において、前記水平方向、前記垂直方向および前記ズーム方向に圧縮された、前記ズーム位置に対応する前記補正パラメータを選択した後、前記Ｙ−Ｘ圧縮データ保持手段から読み出した前記補正パラメータを選択し、さらに、前記水平帰線期間終了後の画像有効期間において、前記Ｘ圧縮データ保持手段から読み出した前記補正パラメータを選択するように制御することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記制御手段は、前記入力選択手段に前記水平方向、前記垂直方向および前記ズーム方向に圧縮された前記補正パラメータを選択させた時は、前記ズーム方向に対する前記位相係数を算出し、前記入力選択手段に前記Ｙ−Ｘ圧縮データ保持手段からの読み出しデータを選択させた時は、前記垂直方向に対する前記位相係数を算出し、前記入力選択手段に前記Ｘ圧縮データ保持手段からの読み出しデータを選択させた時は、前記水平方向に対する前記位相係数を算出することを特徴とする請求項３記載の画像処理装置。
【請求項５】
前記パラメータデコード手段に供給される前記補正パラメータは、前記歪み補正後の画像を格子状に区分し、各格子点の位置を利用して格子線分に対応する前記補正パラメータが前記水平方向および前記垂直方向に圧縮された後、前記光学ズーム機構におけるレンズ位置状態をワイド端からテレ端までの間でその両端を含む複数段階に順次区分したズーム区分点を利用して、前記水平方向および前記垂直方向に圧縮されたレンズ位置状態ごとの前記補正パラメータが前記ズーム方向にさらに圧縮されて生成されることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記パラメータデコード手段は、前記ズーム位置に基づいて選択された複数の前記ズーム区分点と、前記座標指定手段によって指定された前記座標に基づいて選択された格子内の前記各格子点とに対応する前記補正パラメータと、前記ズーム位置および前記座標の前記ズーム区分点間および前記格子内における相対座標を示す位相係数とを基に、線形補間による補間演算を行うことを特徴とする請求項５記載の画像処理装置。
【請求項７】
前記パラメータデコード手段は、前記ズーム位置に基づいて選択された２つの前記ズーム区分点と、前記座標指定手段によって指定された前記座標に基づいて選択された格子内の前記各格子点と、選択された前記各ズーム区分点間および前記格子内の前記各格子線分をそれぞれｎ分割（ただし、ｎは自然数）することで得られる内分点とにそれぞれ対応する前記補正パラメータを基に、選択された前記各ズーム区分点間および前記格子内の前記各格子線分にそれぞれ対応する前記補正パラメータの推移を近似したｎ次多項式を再現して、前記ズーム位置および前記座標の前記ズーム区分点間および前記格子内における相対座標を示す位相係数を前記ｎ次多項式に適用することで補間演算を行うことを特徴とする請求項５記載の画像処理装置。
【請求項８】
光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理システムにおいて、
入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、
歪み補正対象の画素の座標を指定する座標指定手段と、
前記光学ズーム機構においてレンズ位置状態が変化するズーム方向と、歪み補正後の画像の水平方向および垂直方向とに対して歪み補正用の補正パラメータを圧縮するパラメータエンコード手段と、
前記パラメータエンコード手段によって圧縮された前記補正パラメータを基に、前記座標指定手段によって指定された前記座標と、前記ズーム位置取得手段によって取得された前記ズーム位置とに対応する前記補正パラメータを補間演算により算出するパラメータデコード手段と、
前記パラメータデコード手段によって算出された前記補正パラメータを基にして前記入力画像の歪みを補正する画像補正手段と、
を有し、
前記パラメータデコード手段は、前記水平方向の１ライン分の補正処理を行う際に、水平帰線期間において、前記ズーム位置と前記１ラインに対応する前記垂直方向の座標とから、前記１ラインに必要な前記ズーム方向および前記垂直方向に対する前記補正パラメータの補間演算を行い、前記水平帰線期間終了後の画像有効期間において、算出された前記水平方向に圧縮された前記補正パラメータを用いた前記水平方向の各画素についての補間演算を行うことを特徴とする画像処理装置。
【請求項９】
前記パラメータデコード手段は、
入力された圧縮された前記補正パラメータを用いて位相係数に応じた補間演算を行う補間演算手段と、
前記補間演算手段により前記ズーム方向に対して補間された、前記１ライン分の補正処理に必要な前記補正パラメータを一時的に保持するＹ−Ｘ圧縮データ保持手段と、
前記補間演算手段により前記垂直方向に対して補間された、前記１ライン分の補正処理に必要な前記補正パラメータを一時的に保持するＸ圧縮データ保持手段と、
前記水平方向、前記垂直方向および前記ズーム方向に圧縮された、前記ズーム位置に対応する前記補正パラメータと、前記Ｙ−Ｘ圧縮データ保持手段から読み出された前記補正パラメータと、前記Ｘ圧縮データ保持手段から読み出された前記補正パラメータとを、選択的に前記補間演算手段に入力させる入力選択手段と、
前記座標指定手段によって指定された前記座標と、前記ズーム位置取得手段によって取得された前記ズーム位置とに応じて、前記入力選択手段における選択動作を制御するとともに、前記位相係数を算出して前記補間演算手段に供給する制御手段と、
を具備することを特徴とする請求項８記載の画像処理システム。
【請求項１０】
光学ズーム機構を具備する集光レンズ群を用いて画像を撮像する撮像装置において、
前記光学ズーム機構のレンズ位置状態を示すズーム位置を検知するズーム位置検知手段と、
歪み補正対象の画素の座標を指定する座標指定手段と、
前記光学ズーム機構においてレンズ位置状態が変化するズーム方向と、歪み補正後の画像の水平方向および垂直方向とに対して圧縮された歪み補正用の補正パラメータを基に、前記座標指定手段によって指定された前記座標と、前記ズーム位置検知手段によって検知された前記ズーム位置とに対応する前記補正パラメータを補間演算により算出するパラメータデコード手段と、
前記パラメータデコード手段によって算出された前記補正パラメータを基にして前記入力画像の歪みを補正する画像補正手段と、
を有し、
前記パラメータデコード手段は、前記水平方向の１ライン分の補正処理を行う際に、水平帰線期間において、前記ズーム位置と前記１ラインに対応する前記垂直方向の座標とから、前記１ラインに必要な前記ズーム方向および前記垂直方向に対する前記補正パラメータの補間演算を行い、前記水平帰線期間終了後の画像有効期間において、算出された前記水平方向に圧縮された前記補正パラメータを用いた前記水平方向の各画素についての補間演算を行うことを特徴とする撮像装置。
【請求項１１】
前記パラメータデコード手段は、
入力された圧縮された前記補正パラメータを用いて位相係数に応じた補間演算を行う補間演算手段と、
前記補間演算手段により前記ズーム方向に対して補間された、前記１ライン分の補正処理に必要な前記補正パラメータを一時的に保持するＹ−Ｘ圧縮データ保持手段と、
前記補間演算手段により前記垂直方向に対して補間された、前記１ライン分の補正処理に必要な前記補正パラメータを一時的に保持するＸ圧縮データ保持手段と、
前記水平方向、前記垂直方向および前記ズーム方向に圧縮された、前記ズーム位置に対応する前記補正パラメータと、前記Ｙ−Ｘ圧縮データ保持手段から読み出された前記補正パラメータと、前記Ｘ圧縮データ保持手段から読み出された前記補正パラメータとを、選択的に前記補間演算手段に入力させる入力選択手段と、
前記座標指定手段によって指定された前記座標と、前記ズーム位置取得手段によって取得された前記ズーム位置とに応じて、前記入力選択手段における選択動作を制御するとともに、前記位相係数を算出して前記補間演算手段に供給する制御手段と、
を具備することを特徴とする請求項１０記載の撮像装置。
【請求項１２】
光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正するための画像処理方法において、
入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得する第１のステップと、
前記光学ズーム機構においてレンズ位置状態が変化するズーム方向と、歪み補正後の画像の水平方向および垂直方向とに対して圧縮された歪み補正用の補正パラメータを基に、歪み補正対象の画素を指定する座標と、取得した前記ズーム位置とに対応する前記補正パラメータを補間演算により算出する第２のステップと、
算出された前記補正パラメータを基にして前記入力画像の歪みを補正する第３のステップと、
を有し、
前記第２のステップでは、前記水平方向の１ライン分の補正処理を行う際に、水平帰線期間において、前記ズーム位置と前記１ラインに対応する前記垂直方向の座標とから、前記１ラインに必要な前記ズーム方向および前記垂直方向に対する前記補正パラメータの補間演算を行い、前記水平帰線期間終了後の画像有効期間において、算出した前記水平方向に圧縮された前記補正パラメータを用いた前記水平方向の各画素についての補間演算を行うことを特徴とする画像処理方法。
【請求項１３】
前記第２のステップでは、
前記水平帰線期間において、前記水平方向、前記垂直方向および前記ズーム方向に圧縮された、前記ズーム位置に対応する前記補正パラメータと、前記ズーム位置に対応する位相係数とを用いて、前記ズーム方向に対する補間演算を行い、算出した前記補正パラメータを第１の記憶領域に一時的に格納し、
次に、前記第１の記憶領域から読み出した前記補正パラメータと、前記１ラインに対応する前記垂直方向の座標から求めた前記位相係数とを用いて、前記垂直方向に対する補間演算を行い、算出した前記補正パラメータを第２の記憶領域に一時的に格納し、
前記水平帰線期間後の画像有効期間において、前記第２の記憶領域から読み出した前記補正パラメータと、前記水平方向の各座標から求めた前記位相係数とを用いて、前記水平方向に対する補間演算を行う、
ことを特徴とする請求項１２記載の画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像された画像の歪みを補正する画像処理装置、画像処理システム、撮像装置および画像処理方法に関し、特に、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像に対して、ズーム位置に応じた歪み補正を行うことが可能な画像処理装置、画像処理システム、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
ビデオカメラやスチルカメラ等の撮像装置では、撮像レンズの歪曲収差特性の影響により、撮像した画像に歪みが生じることが知られている。高精度・高性能なレンズを用いた場合にはこのような歪みは目立たないが、コストの低いレンズを使用した場合や、光学ズームレンズを使用した場合には、歪みによる画質への影響を回避することは難しい。そこで、近年では、このような光学歪みを信号処理によって補正する画像処理システムが提案されている。
【０００３】
図１４は、このような信号処理機能を具備する従来の画像撮像システムの構成例を示すブロック図である。
図１４に示す画像撮像システムは、撮像装置３と、前処理装置４とを具備している。なお、ここでは、撮像装置３としてデジタルビデオカメラを想定する。また、前処理装置４は、例えばこの撮像装置３の外部に設置されたパーソナルコンピュータ等として構成される。
【０００４】
撮像装置３は、光学ブロック１０１、撮像素子１０２、画像前処理部１０３、画像信号処理部１０４、画像メモリ１０５、表示処理部１０６、モニタ１０７、圧縮・伸長処理部１０８、記録再生部１０９、記録媒体１１０、制御マイクロコンピュータ（以下、制御マイコンと呼称する）３１１、補正パラメータデコーダ３１２、および歪み補正メモリ３１３を具備する。また、前処理装置４は、補正パラメータ導出部４０１と、補正パラメータエンコーダ４０２とを具備する。
【０００５】
撮像装置３において、被写体からの反射光は光学ブロック１０１に入射される。光学ブロック１０１は、複数のレンズやこれらの駆動機構等からなり、入射光を撮像素子１０２に集光する。撮像素子１０２は、ＣＣＤ（Charge Coupled Device）等からなり、入射光を電気信号に変換して画像前処理部１０３に供給する。画像前処理部１０３では、撮像素子１０２から出力された画像信号に対して、ＣＤＳ（Correlated Double Sampling）処理やＡＧＣ（Auto Gain Control）処理、Ａ／Ｄ変換処理等が行われ、デジタル化された画像信号が画像信号処理部１０４に供給される。
【０００６】
画像信号処理部１０４では、入力されたデジタル画像信号が画像メモリ１０５に格納されるとともに、このデジタル画像信号に対して、補正パラメータデコーダ３１２から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理が行われる。処理後の画像信号は表示処理部１０６に供給されて、モニタ１０７で表示される画像信号が生成され、これにより撮像画像がモニタ１０７に表示される。なお、モニタ１０７は、例えばＬＣＤ（Liquid Crystal Display）等からなる。
【０００７】
また、画像信号処理部１０４で画質補正処理された画像信号は、圧縮・伸長処理部１０８において所定の画像フォーマットで圧縮符号化処理され、記録再生部１０９により記録媒体１１０に書き込まれる。これにより、撮像画像の記録が行われる。なお、記録媒体１１０としては、例えば磁気テープ、半導体メモリ、光ディスク、ハードディスク等を用いることが可能である。
【０００８】
一方、記録媒体１１０に記録された画像データを再生する場合には、この画像データは記録再生部１０９によって読み出されて、圧縮・伸長処理部１０８において伸長復号化処理され、処理後の画像信号が表示処理部１０６に供給されることにより、再生画像がモニタ１０７に表示される。
【０００９】
このような画像の記録・再生動作は制御マイコン３１１によって制御される。制御マイコン３１１は、図示しないユーザインタフェース（Ｉ／Ｆ）からの制御信号に応じて、所定の動作を命令する制御信号等を画像信号処理部１０４や補正パラメータデコーダ３１２に供給する。
【００１０】
補正パラメータデコーダ３１２は、画像信号処理部１０４から指定された座標に応じて、歪み補正メモリ３１３から読み出した圧縮データを、各画素に対応した補正量パラメータに伸長（デコード）し、画像信号処理部１０４に供給する。歪み補正メモリ３１３は、補正パラメータデコーダ３１２からの要求に応じて、保持している歪み補正パラメータを補正パラメータデコーダ３１２に供給する。
【００１１】
ここで、画像信号処理部１０４において実行される歪み補正処理の例について説明する。画像信号処理部１０４では、例えば、歪み補正後の画像を格子状に分割し、補正対象の画素を含むｘ方向、ｙ方向の複数の格子点の座標を用いて、各方向について補間演算することにより、歪みを補正する。
【００１２】
補正パラメータデコーダ３１２からは、例えば、ｘ方向、ｙ方向に対する補正座標および補間位相を与える補正量パラメータが出力される。そして、画像信号処理部１０４は、これらの補正量パラメータに基づいて各方向に対する補正ベクトルおよび補間係数を算出し、各方向について一次元補間演算を順次行う。このような処理により、比較的負荷の低い処理により各方向の歪みを補正することができる。
【００１３】
一方、前処理装置４において、補正パラメータ導出部４０１は、撮像画像における全画素の歪み補正座標を、光学ブロック１０１に搭載されているレンズのレンズデータに基づいて作成し、補正パラメータエンコーダ４０２に出力する。
【００１４】
補正パラメータエンコーダ４０２は、歪み補正後の画像を格子状に区分し、その格子位置を利用して、補正パラメータ導出部４０１からの全画素の歪み補正座標をｘ方向、ｙ方向にそれぞれ圧縮する。これにより生成された歪み補正パラメータは、歪み補正メモリ３１３に格納される。
【００１５】
なお、歪み補正パラメータは、歪み補正処理の実行のたびに補正パラメータエンコーダ４０２においてリアルタイムに生成され、歪み補正メモリ３１３に供給されてもよい。あるいは、電源投入時等の初期動作時に歪み補正メモリ３１３に一括してロードされるようにしてもよい。
【００１６】
補正パラメータデコーダ３１２は、画像信号処理部１０４から補正対象とする座標の指定を受けて、この座標を含む格子に対応する歪み補正パラメータを、歪み補正メモリ３１３から読み出し、ｘ方向、ｙ方向にそれぞれ補間処理を行うことにより歪み補正座標を伸長して、補正量パラメータを生成する。
【００１７】
このように、全画像を格子分割して、各画素についての歪み補正座標を圧縮しておき、補正パラメータデコーダ３１２において伸長するような構成により、必要なデータ量や演算処理の負担が軽減され、リアルタイム処理が可能となる。
【００１８】
ところで、光学ズーム機能を具備する撮像装置においては、ズーミング動作によりレンズ位置が変化すると、歪みの特性が大きく変化することが知られている。このため、レンズ位置の変化に応じて最適な歪み補正座標を利用することが望ましい。
【００１９】
上記の画像撮像システムでは、例えば、補正パラメータエンコーダ４０２が、歪み補正パラメータをレンズ位置ごとに生成して歪み補正メモリ３１３に格納するとともに、制御マイコン３１１がレンズ位置を補正パラメータデコーダ３１２に通知し、補正パラメータデコーダ３１２が、このレンズ位置に応じた歪み補正パラメータを選択的にデコードすることにより、レンズ位置に応じた適切な歪み補正を行うことができる。
【００２０】
しかし、レンズ位置に応じた歪み量の特性は非線形であり、かつ、画像内の各点において変化量が異なる。このため、歪みを補正するためには、すべてのレンズ位置に対応する全画素の歪み補正用データを用意する必要がある。これらのデータを算出するためには膨大な演算量が必要となり、またこれらのデータを保持するためには、大きなメモリ容量が必要となる。
【００２１】
なお、低コストな回路を用いて、レンズ位置に応じた歪みの補正を行うことが可能な従来の例として、撮像ズームレンズの撮像ポジションが歪曲収差の大きいポジション内であることが検出されている場合には、固体撮像素子の画像データを幾何学的変形に基づいて読み出すことにより像の歪みを補正するように構成された固体撮像カメラがあった（例えば、特許文献１参照）。
【特許文献１】特許第２９２５８７１号公報（段落番号〔００１５〕〜〔００２０〕、第１図）
【発明の開示】
【発明が解決しようとする課題】
【００２２】
上述したように、ズーミング動作時のレンズ位置に応じた適切な歪み補正をデジタル信号処理により行うためには、すべてのレンズ位置に対応する全画素の歪み補正用データを用意しなければならず、必要な演算能力や回路規模、消費電力等が増大し、製造コストが高くなることが問題であった。また、レンズ交換等によりレンズ系の歪曲収差の特性が変わった場合には、新たな特性に応じた歪み補正用データを用意する必要があり、このような場合に対応することは困難であった。
【００２３】
図１４に例示した従来の画像撮像システムにおいて、歪み補正パラメータのデータ量を抑制するためには、例えば、レンズ位置を区分して各区分点に対応するデータのみ用意し、レンズ位置が区分点に合致しない場合はこれに近い区分点のデータを選択して、近似的なデータにより補正する方法が考えられる。しかし、この方法では、分割点の数を減らしてデータ量を少なくするほど、歪み補正の精度が低下し、画質が劣化してしまう。
【００２４】
このため、上記の区分点を利用してズーム方向に対しても歪み補正データを圧縮することで、必要なデータ量をさらに抑制する方法も考えられる。しかし、この場合、歪み補正メモリ３１３から読み出した歪み補正パラメータのデコードは、まずズーム方向に対する補間処理を行い、次に例えば画面上のｙ方向の補間処理を行い、さらにｘ方向の補間処理を行うという手順が採られる。従って、このような各方向への補間処理を行うことから、処理回路の規模が大きくなってしまうという問題がある。
【００２５】
また、画像データに対する歪み補正処理では、一般に水平方向（ｘ方向）の１ライン分の画素に対して順次処理した後、次のラインに移って処理を行っていく。しかし、このような処理に従って上記のような歪み補正データのデコードを行っていく場合には、ズーム方向やｘ方向に対する処理の動作確率が低く、このことがデコード回路の規模を大きくする原因の１つとなっていた。
【００２６】
なお、上記の特許文献１で開示した固体撮像カメラでは、レンズ位置が歪曲収差の大きい領域内であるときだけ歪み補正を行うので、補正精度が低く、歪みを目立たなくすることは困難であった。
【００２７】
本発明はこのような点に鑑みてなされたものであり、規模の小さい処理回路により、光学ズームを利用した場合にも、撮像画像に生じる光学歪みを精度よく補正することが可能な画像処理装置を提供することを目的とする。
【００２８】
また、本発明の他の目的は、規模の小さい処理回路により、光学ズームを利用した場合にも、撮像画像に生じる光学歪みを精度よく補正することが可能な画像処理システムを提供することである。
【００２９】
さらに、本発明の他の目的は、規模の小さい処理回路により、光学ズームを利用した場合にも、撮像画像に生じる光学歪みを精度よく補正することが可能な撮像装置を提供することである。
【００３０】
また、本発明の他の目的は、規模の小さい処理回路により、光学ズームを利用した場合にも、撮像画像に生じる光学歪みを精度よく補正することが可能な画像処理方法を提供することである。
【課題を解決するための手段】
【００３１】
本発明では上記課題を解決するために、光学ズーム機構を具備する集光レンズ群を用いて撮像された画像の入力を受けてその画像の歪みを補正する画像処理装置において、入力画像の撮像時における前記光学ズーム機構のレンズ位置状態を示すズーム位置を取得するズーム位置取得手段と、歪み補正対象の画素の座標を指定する座標指定手段と、前記光学ズーム機構においてレンズ位置状態が変化するズーム方向と、歪み補正後の画像の水平方向および垂直方向とに対して圧縮された歪み補正用の補正パラメータを基に、前記座標指定手段によって指定された前記座標と、前記ズーム位置取得手段によって取得された前記ズーム位置とに対応する前記補正パラメータを補間演算により算出するパラメータデコード手段と、前記パラメータデコード手段によって算出された前記補正パラメータを基にして前記入力画像の歪みを補正する画像補正手段とを有し、前記パラメータデコード手段は、前記水平方向の１ライン分の補正処理を行う際に、水平帰線期間において、前記ズーム位置と前記１ラインに対応する前記垂直方向の座標とから、前記１ラインに必要な前記ズーム方向および前記垂直方向に対する前記補正パラメータの補間演算を行い、前記水平帰線期間終了後の画像有効期間において、算出された前記水平方向に圧縮された前記補正パラメータを用いた前記水平方向の各画素についての補間演算を行うことを特徴とする画像処理装置が提供される。
【００３２】
ここで、ズーム位置取得手段は、入力画像の撮像時における光学ズーム機構のレンズ位置状態を示すズーム位置を取得する。座標指定手段は、歪み補正対象の画素の座標を指定する。また、パラメータデコード手段には、光学ズーム機構においてレンズ位置状態が変化するズーム方向と、歪み補正後の画像の水平方向および垂直方向とに対して圧縮された歪み補正用の補正パラメータが入力される。そして、パラメータデコード手段は、このように圧縮された補正パラメータを基にして、座標指定手段によって指定された座標と、ズーム位置取得手段によって取得されたズーム位置とに対応する補正パラメータを補間演算により算出する。これにより、指定された座標に対応する補正パラメータがズーム方向、水平方向および垂直方向に対して伸長され、画像補正手段は、伸長された補正パラメータを基にして入力画像の歪みを補正する。
【００３３】
ここで、パラメータデコード手段は、水平方向の１ライン分の補正処理を行う際に、水平帰線期間において、ズーム位置と１ラインに対応する垂直方向の座標とから、この１ラインに必要なズーム方向および垂直方向に対する補正パラメータの補間演算を行い、この水平帰線期間終了後の画像有効期間において、算出された水平方向に圧縮された補正パラメータを用いた水平方向の各画素についての補間演算を行う。従って、画像有効期間では、水平方向に対する補正パラメータ伸長処理のみが指定された画素について順次行われることで、１ライン分の歪み補正処理が行われる。
【００３４】
また、このような画像処理装置は、例えば、パラメータデコード手段が、入力された圧縮された補正パラメータを用いて位相係数に応じた補間演算を行う補間演算手段と、この補間演算手段によりズーム方向に対して補間された、１ライン分の補正処理に必要な補正パラメータを一時的に保持するＹ−Ｘ圧縮データ保持手段と、補間演算手段により垂直方向に対して補間された、１ライン分の補正処理に必要な補正パラメータを一時的に保持するＸ圧縮データ保持手段と、水平方向、垂直方向およびズーム方向に圧縮された、ズーム位置に対応する補正パラメータと、Ｙ−Ｘ圧縮データ保持手段から読み出された補正パラメータと、Ｘ圧縮データ保持手段から読み出された補正パラメータとを、選択的に補間演算手段に入力させる入力選択手段と、座標指定手段によって指定された座標と、ズーム位置取得手段によって取得されたズーム位置とに応じて、入力選択手段における選択動作を制御するとともに、位相係数を算出して補間演算手段に供給する制御手段とを具備するように構成することができる。
【００３５】
このような構成の場合、入力選択手段を制御することにより、補正パラメータのズーム方向に対する伸長処理、垂直方向に対する伸長処理、および水平方向に対する伸長処理が、共通の補間演算手段により時分割で順次実行され、伸長された補正パラメータが画像補正手段に供給される。
【発明の効果】
【００３６】
本発明の画像処理装置によれば、ズーム方向と、画像の水平方向および垂直方向とに対して圧縮された歪み補正用の補正パラメータを、指定された座標とズーム位置とを基にして各方向に伸長して、画像の歪み補正に利用する構成としたことで、必要とされる歪み補正用データのデータ量が削減されながらも、ズーム位置に応じた高精度の歪み補正を行うことが可能となる。また、１ライン分の歪み補正処理を行う際に、ズーム方向および垂直方向に対する補正パラメータの補間演算を水平帰線期間に実行し、得られた補正パラメータを用いて、その後の画像有効期間に水平方向に対する補正パラメータの補間演算を実行することで、歪み補正処理時における補正パラメータの伸長処理の負荷を軽減することができる。これにより、伸長処理回路の規模およびその製造コストを抑制することができ、また、各方向に対する伸長処理を１つの処理回路で共用することも可能となる。
【発明を実施するための最良の形態】
【００３７】
以下、本発明の実施の形態について図面を参照して詳細に説明する。なお、以下の実施の形態では、画像を撮像して記録する撮像装置を含む画像撮像システムに本発明を適用した場合を例に挙げて説明する。また、撮像装置としては、デジタルビデオカメラを想定する。
【００３８】
図１は、本発明の実施の形態に係る画像撮像システムの構成例を示すブロック図である。
図１に示す画像撮像システムは、画像を撮像してデジタルデータとして記録媒体に記録するためのものであり、撮像装置１と、前処理装置２とを具備している。
【００３９】
撮像装置１は、光学ブロック１０１、撮像素子１０２、画像前処理部１０３、画像信号処理部１０４、画像メモリ１０５、表示処理部１０６、モニタ１０７、圧縮・伸長処理部１０８、記録再生部１０９、記録媒体１１０、制御マイクロコンピュータ（以下、制御マイコンと呼称する）１１１、補正パラメータデコーダ１１２、および歪み補正メモリ１１３を具備する。また、前処理装置２は、補正パラメータ導出部２０１と、補正パラメータエンコーダ２０２とを具備する。
【００４０】
撮像装置１において、光学ブロック１０１は、被写体からの反射光を集光するレンズ群やこれらを駆動するための駆動機構等からなり、入射光を撮像素子１０２に集光する。特に、本実施の形態では、光学ブロック１０１は光学ズーム機能を備えている。光学ズーミング動作時のレンズ駆動は、制御マイコン１１１からの制御信号によって制御される。
【００４１】
撮像素子１０２は、ＣＣＤやＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサ等からなり、光学ブロック１０１において集光された光を電気信号に変換して、アナログ画像信号を画像前処理部１０３に供給する。
【００４２】
画像前処理部１０３は、撮像素子１０２から供給されたアナログ画像信号に対して、ＣＤＳ処理やＡＧＣ処理、Ａ／Ｄ変換処理等を行い、デジタル画像信号を画像信号処理部１０４に供給する。
【００４３】
画像信号処理部１０４は、画像前処理部１０３からのデジタル画像信号を画像メモリ１０５に格納するとともに、このデジタル画像信号に対して、補正パラメータデコーダ１１２から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理を行う。画像メモリ１０５は、例えばＤＲＡＭ（Dynamic Random Access Memory）等の半導体メモリ等によって構成される。
【００４４】
表示処理部１０６は、画像信号処理部１０４または圧縮・伸長処理部１０８からの画像信号から、モニタ１０７に表示させるための画像信号を生成して、モニタ１０７に出力する。モニタ１０７は、例えばＬＣＤ等により構成される。
【００４５】
圧縮・伸長処理部１０８は、画像信号処理部１０４からの画像信号を所定の画像フォーマットで圧縮符号化処理し、記録再生部１０９に供給する。また、記録再生部１０９からの画像信号を伸長復号化処理し、表示処理部１０６に供給する。
【００４６】
記録再生部１０９は、圧縮・伸長処理部１０８によって圧縮符号化された画像信号を、記録媒体１１０に書き込む。また、記録媒体１１０から読み出した画像データを、圧縮・伸長処理部１０８に供給する。記録媒体１１０は、例えば、可搬型の半導体メモリ、光ディスク、ハードディスク等からなる。
【００４７】
制御マイコン１１１は、図示しないユーザインタフェース（Ｉ／Ｆ）からの制御信号に応じて、所定の動作を命令するコマンド等を画像信号処理部１０４等に出力する。また、光学ブロック１０１内のレンズの位置情報等を補正パラメータデコーダ１１２に供給する。また、歪み補正メモリ１１３に対して、メモリの読み書きのためのクロック信号を与える。
【００４８】
補正パラメータデコーダ１１２は、制御マイコン１１１から供給された情報等に応じて、歪み補正メモリ１１３から読み出した歪み補正パラメータを、各画素に対応した補正量パラメータとして画面の水平方向（ｘ方向）および垂直方向（ｙ方向）と、光学ズーム機構内のレンズ移動方向（ズーム方向、ｚ方向）にデコードし、この補正量パラメータを画像信号処理部１０４に供給する。
【００４９】
歪み補正メモリ１１３は、前処理装置２の補正パラメータエンコーダ２０２から、歪み補正座標を圧縮して生成された歪み補正パラメータの入力を受けて、これらを保持する。そして、補正パラメータデコーダ１１２からの要求に応じて、保持している歪み補正パラメータを出力する。
【００５０】
また、前処理装置２において、補正パラメータ導出部２０１は、撮像画像における全画素に対応する歪み補正座標を、光学ブロック１０１に搭載されているレンズのレンズデータに基づいて作成し、補正パラメータエンコーダ２０２に出力する。
【００５１】
補正パラメータエンコーダ２０２は、補正パラメータ導出部２０１からの全画素の歪み補正座標をｘ−ｙ−ｚ方向に圧縮（エンコード）して歪み補正パラメータを生成し、歪み補正メモリ１１３に格納する。また、エンコード時に用いた格子情報を補正パラメータデコーダ１１２に供給する。
【００５２】
なお、前処理装置２は、撮像装置１の外部に設置されたパーソナルコンピュータ等の外部情報処理機器により構成されればよい。例えば、補正パラメータ導出部２０１および補正パラメータエンコーダ２０２における演算は、非常に負荷の大きな演算となるが、これらを外部情報処理機器において実行させることにより、撮像装置１の撮像動作に対するリアルタイムの歪み補正処理に影響が及ばなくなる。また、補正パラメータエンコーダ２０２から歪み補正メモリ１１３や補正パラメータデコーダ１１２に供給される情報は、例えば電源投入時等の初期動作時にあらかじめ供給されればよい。
【００５３】
ここで、まず、上記の撮像装置１における基本的な動作について説明する。
被写体からの反射光は、光学ブロック１０１によって撮像素子１０２に集光され、撮像素子１０２からはアナログ画像信号が画像前処理部１０３に出力される。画像前処理部１０３では、撮像素子１０２からのアナログ画像信号に対してＣＤＳ処理やＡＧＣ処理等が施され、さらにＡ／Ｄ変換されて、デジタル化された画像信号が画像信号処理部１０４に供給される。
【００５４】
画像信号処理部１０４では、入力されたデジタル画像信号が画像メモリ１０５に格納されるとともに、このデジタル画像信号に対して、補正パラメータデコーダ１１２から受け取った補正量パラメータに基づく歪み補正処理等の画質補正処理が行われる。処理後の画像信号は表示処理部１０６に供給され、これにより、歪みが補正された撮像画像がモニタ１０７に表示される。
【００５５】
また、画像信号処理部１０４で画質補正処理された画像信号は、圧縮・伸長処理部１０８において所定の画像フォーマットで圧縮符号化処理され、記録再生部１０９により記録媒体１１０に書き込まれる。これにより、撮像画像の記録が行われる。なお、圧縮符号化された画像データは、この他に、例えば通信Ｉ／Ｆを通じて外部の機器に対して送信されてもよい。
【００５６】
一方、記録媒体１１０に記録された画像データを再生する場合には、この画像データは記録再生部１０９によって読み出されて、圧縮・伸長処理部１０８において伸長復号化処理され、処理後の画像信号が表示処理部１０６に供給されることにより、再生画像がモニタ１０７に表示される。
【００５７】
ところで、撮像した画像信号を表示・記録する際には、画像信号処理部１０４において、原画像に生じた光学歪みに対するデジタル補正処理が行われる。この光学歪みは、光学ブロック１０１内のレンズの光学的特性に起因するものである。このような光学歪みを補正するために、レンズの特性に応じた画像上の画素ごとに設定した歪み補正座標を用いて、撮像された画像をデジタル処理により補正する。
【００５８】
歪み補正座標は画像上の全画素についてそれぞれ設定する必要があり、データ量が膨大であることから、これらの歪み補正座標を画像上のｘ方向、ｙ方向に圧縮して利用する。このデータ圧縮は、歪み補正後の画像を格子状に分割し、これらの格子位置を利用することで行う。
【００５９】
さらに、光学歪みの特性は、光学ズーム動作時のレンズ位置状態によって異なるため、レンズ位置状態に応じた補正データを利用する必要がある。しかし、レンズ位置に応じた歪み量の特性は非線形であり、かつ、画像内の各点において変化量が異なる。このため、高精度な歪み補正を行うためには、すべてのレンズ位置に対応する歪み補正パラメータを用意する必要があるが、そのデータ量は膨大なものとなってしまう。
【００６０】
そこで、画像のｘ方向、ｙ方向に加えて、ズーム方向（ｚ方向）に対しても歪み補正座標を圧縮する。このために、レンズ位置状態をワイド端からテレ端までの間で複数段階に区分し、この区分を利用して歪み補正座標をｚ方向に圧縮する。なお、以下の説明では、光学ズーム機構内のレンズ位置状態をズーム位置と呼称し、また、レンズ位置状態をワイド端からテレ端までの間で区分した区分点（両端部を含む）を、ズームポイントと呼称する。
【００６１】
上記の画像撮像システムでは、前処理装置２において、全画素分の歪み補正座標をｚ方向、ｙ方向およびｘ方向にエンコードし、歪み補正パラメータとして歪み補正メモリ１１３に格納する。そして、制御マイコン１１１から撮像画像上の座標を受けた補正パラメータデコーダ１１２が、歪み補正メモリ１１３から必要な歪み補正パラメータを読み出し、このときのズーム位置と補正対象の画素の座標とを基に補間演算を行うことで、この画素に設定された歪み補正座標をデコードして、画像信号処理部１０４に出力する。これにより、画像信号処理部１０４は、受け取った歪み補正座標等を用いて歪み補正処理を行うことが可能となっている。
【００６２】
なお、光学ズーム機構のズーム位置は、ユーザＩ／Ｆを通じて入力される制御信号に基づいて、制御マイコン１１１によって制御される。制御マイコン１１１は、この制御信号に応じて光学ブロック１０１にズーム位置制御のための制御信号を出力するとともに、ズーム位置情報を補正パラメータデコーダ１１２に出力する。このとき、制御マイコン１１１は、指定されたズーム位置のワイド端側に存在するズームポイントを認識し、このズームポイントを識別する数値と、このズームポイントのテレ端側に隣接するズームポイント間での区間におけるズーム位置の位相係数とを加算した値を、ズーム位置情報として設定する。ここで、位相係数は、ズームポイント間の距離を１とした場合に、ズームポイント間の基準点からズーム位置までの距離を表す。本実施の形態ではその基準点をワイド端側のズームポイントとする。この場合、ズーム位置情報の整数部がワイド端側のズームポイントを示し、小数部がこのズームポイントを基準とした位相係数を示すことになる。
〔線形補間を利用した場合〕
次に、歪み補正データのｘ−ｙ−ｚ方向に対する補間演算として線形補間を利用した場合を例示して、上記の画像撮像システムについて詳しく説明する。まず、歪み補正パラメータを算出する動作について説明する。
【００６３】
図２は、前処理装置２内の補正パラメータエンコーダ２０２の内部構成例を示すブロック図である。
補正パラメータエンコーダ２０２は、図２に示すように、格子分割部２１１と、圧縮データ導出部２１２とを具備している。
【００６４】
格子分割部２１１は、ユーザＩ／Ｆを通じて、あるいは撮像装置１から入力された格子分割の方法を示す格子情報や、ズームポイントの設定方法を示すズームポイント情報、画面サイズの情報等に基づいて、全画面に対する格子の分割方法を決定し、格子情報として圧縮データ導出部２１２および補正パラメータデコーダ１１２に出力する。また、ズーム位置を区分したズームポイントの区分方法を決定し、ズームポイント情報として圧縮データ導出部２１２および歪み補正メモリ１１３に出力する。
【００６５】
圧縮データ導出部２１２は、補正パラメータ導出部２０１から全画素および全ズーム位置に対応する歪み補正座標の入力を受け、格子分割部２１１からの格子情報とズームポイント情報とに基づいて、画面のｘ−ｙ方向およびズーム方向（ｚ方向）のそれぞれについて歪み補正座標を圧縮し、歪み補正パラメータを算出する。なお、ここでは、ｘ方向、ｙ方向、ｚ方向のデコードにおいて、同じ補間演算の方法が採られる。
【００６６】
ここで、図３は、線形補間を利用した歪み補正データのｘ−ｙ−ｚ方向に対する補間演算を説明するための図である。
上述したように、圧縮データ導出部２１２では、全画素および全ズーム位置に対応する歪み補正座標を、ｘ−ｙ方向に分割した格子の情報と、ｚ方向に分割したズームポイントの情報とからエンコードする。線形補間を利用する場合、図３（Ａ）に示すように、１つの格子では、その４つの格子点に対応する歪み補正座標が、エンコードされた歪み補正パラメータとされる。また、隣接する格子では格子点が共有されるため、１画面では格子点の数だけの歪み補正座標が必要とされる。さらに、ｚ方向についても線形補間によりエンコードされるので、これらの歪み補正座標がズームポイントの数だけ必要とされる。
【００６７】
上記の画像撮像システムでは、例えば、圧縮データ導出部２１２において、すべての画素およびズームポイントについてエンコードした歪み補正パラメータをあらかじめ生成しておき、撮像装置１の電源投入時等の初期動作時に、これらの歪み補正パラメータを歪み補正メモリ１１３に格納する。なお、このとき、格子情報およびズームポイント情報を補正パラメータデコーダ１１２に通知する。そして、補正パラメータデコーダ１１２は、歪み補正処理時に、必要な歪み補正パラメータを歪み補正メモリ１１３から読み出してデコードする。
【００６８】
ここで、１フィールド（あるいは１フレーム）の画像に対する歪み補正処理を行うために、補正パラメータデコーダ１１２が取得する必要のある歪み補正パラメータは、線形補間を用いた場合は、図３（Ａ）に示すように、指定されたズーム位置を跨ぐ２つのズームポイントから抽出した歪み補正座標となる。エンコードにより歪み補正座標のデータ量が削減されるので、歪み補正メモリ１１３のメモリ容量を小さくして、部品コストや回路規模を削減することが可能となる。
【００６９】
なお、この他に、例えば、補正パラメータデコーダ１１２におけるデコード処理時に、補正パラメータエンコーダ２０２に対してデータ転送を要求して、これに応じて補正パラメータエンコーダ２０２が必要な歪み補正パラメータを生成して、歪み補正メモリ１１３に格納するようにしてもよい。この場合、歪み補正メモリ１１３には、指定されたズーム位置を跨ぐ２つのズームポイントにそれぞれ対応する歪み補正パラメータが転送される。従って、歪み補正メモリ１１３は、これらの各ズームポイントに対応する２つのメモリ領域を具備すればよい。
【００７０】
次に、補正パラメータデコーダ１１２におけるデコード処理について説明する。
補正パラメータデコーダ１１２は、１フィールドの画像に対する歪み補正処理が開始されると、制御マイコン１１１から受け取ったズーム位置情報に基づくズーム位置を跨ぐ２つのズームポジションをズームポジション情報に基づいて識別して、これらの対応する歪み補正パラメータを歪み補正メモリ１１３から読み出す。そして、図３（Ａ）に示すように、各ズームポイントに対応する画面上の１つの格子について、４点に対応する歪み補正座標をそれぞれ受け取る。
【００７１】
そして、補正パラメータデコーダ１１２は、その格子内の各格子点について、各ズームポイント間で線形補間による補間演算を行い、ｚ方向に対してデコードする。このとき、ズーム位置情報に基づいて、指定されたズーム位置の各ズームポジション間における位相係数ｃｏｅｆ＿ｚを、補間演算に利用する。この結果、図３（Ｂ）に示すように、指定されたズーム位置に対応する格子の各格子点の歪み補正座標が算出される。
【００７２】
さらに、補正パラメータデコーダ１１２は、補正対象の画素のｙ座標と格子情報とに基づいて、この画素のｙ方向の格子線間における相対座標（すなわち、位相係数ｃｏｅｆ＿ｙ）を利用して、ｙ方向の各格子線上に設定された歪み補正座標についてｙ方向に補間演算し、ｙ方向に対してデコードする。この結果、指定されたｙ座標に対応する格子線上の各格子点の歪み補正座標が算出される。
【００７３】
そして、補正パラメータデコーダ１１２は、同様に、補正対象の画素のｘ座標と格子情報とに基づいて、ｘ方向の格子線間における相対座標（すなわち、位相係数ｃｏｅｆ＿ｘ）を利用して、各格子線上に設定された歪み補正座標についてｘ方向に補間演算し、ｘ方向に対してデコードする。これにより、１つの画素に対応する歪み補正座標が算出されて、画像信号処理部１０４に供給される。
【００７４】
このように、１つの画素についての歪み補正座標をデコードするためには、ｚ方向、ｙ方向、ｘ方向について順次補間演算処理を行う必要がある。ところで、画像信号処理部１０４では、画像上の画素を水平方向に順次走査して、各画素の歪み補正処理を行う。
【００７５】
図４は、歪み補正処理時の画素の走査について模式的に説明する図である。
図４に示すように、歪み補正処理は、画面の左上から水平方向の１ラインについて画素を順次選択し、さらにラインを垂直方向に順次選択することにより実行される。従って、このような走査に従って補正パラメータデコーダ１１２に座標が順次指定され、指定された画素に対応する歪み補正座標がデコードされる。
【００７６】
ここで、１ライン分の歪み補正処理を行う場合には、補正パラメータデコーダ１１２に対して指定されるｙ座標が変化しないことから、１ライン分のデコード処理時では、ｚ方向およびｙ方向に対してデコードして算出した歪み補正パラメータを共通に使用することができる。このことから、上記の撮像装置１では、１ライン分の処理を開始する直前の水平帰線期間を利用して、このラインに共通に使用可能な歪み補正パラメータを算出しておき、画像の有効期間ではｘ方向に対するデコードのみ行うようにすることが可能である。これにより、デコード処理の負荷を分散させることができる。
【００７７】
図５は、１ライン分の歪み補正パラメータのデコード処理タイミングを示す図である。
図５は、ｘ方向の格子分割数が３の場合の処理タイミングを示している。この図５において、「Ｈ＿ＡＣＴＩＶＥ」は１ライン中における画像の有効期間を示し、水平同期信号（Ｈ＿ＳＹＮＣ）および垂直同期信号に基づいて、撮像装置１内で生成される。また、「Ｚ−Ｙ０処理」は、対象のラインを含む格子の上側の格子点について、歪み補正パラメータをｚ方向に対してデコードする処理を示し、「Ｚ−Ｙ１処理」はその格子の下側の格子点について同様にデコードする処理を示している。また、「Ｘ処理」は、ｚ方向およびｙ方向にデコードされた歪み補正パラメータを用いて、ｘ方向に走査される各画素についてデコードする処理を示している。
【００７８】
ここで、線形補間を用いた場合には、「Ｚ−Ｙ０処理」「Ｚ−Ｙ１処理」の１つの組み合わせにより、ｙ方向の１本の格子線分上における歪み補正座標がデコードされる。従って、これらの処理をｘ方向に交差する４本の格子線分（すなわち４つの格子点）についてそれぞれ行うことで、ｚ方向およびｙ方向に対してデコードされた（すなわち、格子ごとにｘ方向にエンコードされた）歪み補正座標が生成される。以上の処理を、画像の無効期間に実行し、有効期間には「Ｘ処理」のみを行うように制御する。
【００７９】
このような制御により、デコード処理の負荷が分散されるので、処理能力のより低いデコード処理回路を用いた場合にも、歪み補正パラメータのデコード処理を各画素の歪み補正処理に容易に同期させることが可能となる。
【００８０】
また、各方向に対するデコード処理が時分割されて実行されるので、各方向について同じ補間演算の方法を用いた場合には、補間演算の処理回路を共用させることが可能となる。以下、補間演算の処理回路が共用される回路構成の例について説明する。
【００８１】
図６は、補正パラメータデコーダ１１２および歪み補正メモリ１１３の内部構成例を示すブロック図である。
図６に示す補正パラメータデコーダ１１２は、データ選択部１２１、補間演算器１２２、Ｙ−Ｘ圧縮データ保持部１２３、Ｘ圧縮データ保持部１２４、および制御部１２５を具備している。また、歪み補正メモリ１１３は、パラメータ記憶部１３１と、アドレス生成器１３２とを具備している。
【００８２】
データ選択部１２１は、歪み補正メモリ１１３内のパラメータ記憶部１３１、Ｙ−Ｘ圧縮データ保持部１２３およびＸ圧縮データ保持部１２４からそれぞれ読み出された歪み補正パラメータを、制御部１２５からの選択信号に従って選択的に補間演算器１２２に出力する。
【００８３】
補間演算器１２２は、ｘ方向、ｙ方向およびｚ方向に対する各デコード処理で共用される演算回路で、データ選択部１２１から供給された歪み補正パラメータと、制御部１２５から供給された該当方向への位相係数とを用いて補間演算を行い、演算結果をＹ−Ｘ圧縮データ保持部１２３、Ｘ圧縮データ保持部１２４、画像信号処理部１０４のいずれかに出力する。
【００８４】
Ｙ−Ｘ圧縮データ保持部１２３は、補間演算器１２２によってｚ方向にデコードされた（すなわち、ｙ方向およびｘ方向にエンコードされた状態の）歪み補正パラメータを一時的に保持して、これらのデータをデータ選択部１２１に出力する。
【００８５】
Ｘ圧縮データ保持部１２４は、補間演算器１２２によってｚ方向およびｙ方向にデコードされた（すなわち、ｘ方向にエンコードされた状態の）歪み補正パラメータを一時的に保持して、これらのデータをデータ選択部１２１に出力する。
【００８６】
制御部１２５は、画像信号処理部１０４からの歪み補正対象画素の座標と、制御マイコン１１１からのズーム位置情報とに基づいて、データ選択部１２１に選択信号を出力してその選択動作を制御する。これとともに、座標およびズーム位置情報と、補正パラメータエンコーダ２０２から通知された格子情報およびズームポイント情報とに基づいて、対応する方向への位相係数を算出して、補間演算器１２２に供給する。また、対応するズームポイントと座標とをアドレス生成器１３２に通知して、パラメータ記憶部１３１に対して歪み補正パラメータの読み出しを要求する。
【００８７】
一方、パラメータ記憶部１３１には、補正パラメータエンコーダ２０２から転送された歪み補正パラメータが格納される。そして、アドレス生成器１３２からのアドレス指定に応じて、格納された歪み補正パラメータをデータ選択部１２１に転送する。
【００８８】
アドレス生成器１３２は、補正パラメータデコーダ１１２の制御部１２５から、ズームポイントおよび画素の座標の指定を受けて、演算に必要な歪み補正パラメータが格納されているメモリアドレスに変換し、これを読み出しアドレスとしてパラメータ記憶部１３１に対して指定する。
【００８９】
ここで、アドレス生成器１３２は、補正パラメータデコーダ１１２から受け取ったズーム位置情報により指定されたズーム位置（すなわち撮像中の現在のズーム位置）に基づき、このズーム位置を跨ぐ２つのズームポイント間でエンコードされた歪み補正パラメータを、補間に利用する値として指定する。線形補間の場合、ｚ方向のデコードのためには、対象となる２つのズームポイントにそれぞれ対応する１つずつの歪み補正座標が利用されるため、アドレス生成器１３２は、ズーム位置の指定を受けた後、制御部１２５より順次座標の指定を受けると、各ズームポイントに対応する歪み補正座標を交互に（あるいは同時に）読み出して、データ選択部１２１に供給する。
【００９０】
図７は、ｘ方向の格子分割数が３の場合の補正パラメータデコーダ１１２のより詳細な回路構成例を示す図である。
データ選択部１２１は、補間演算器１２２に対して入力させる２つの歪み補正パラメータをそれぞれ選択するセレクタＳＥＬ１およびＳＥＬ２と、Ｘ圧縮データ保持部１２４内の記憶領域からの出力をセレクタＳＥＬ１およびＳＥＬ２に対して選択的に入力させるセレクタＳＥＬ３およびＳＥＬ４が設けられる。
【００９１】
Ｙ−Ｘ圧縮データ保持部１２３には、ｙ方向に対して１つの歪み補正パラメータをデコードするのに必要となる、２つのズームポジション間の歪み補正パラメータの数だけの記憶領域が設けられる。線形補間を用いた場合、ｙ方向に対する１つの格子線分上のデコードのためには、各ズームポジションに対応する１つずつの歪み補正座標が必要となることから、図７に示すように、これらを格納するための２つのレジスタＲＹ０およびＲＹ１が設けられる。レジスタＲＹ１の出力は、レジスタＲＹ０およびセレクタＳＥＬ２の入力に接続され、レジスタＲＹ０の出力は、セレクタＳＥＬ１の入力に接続される。
【００９２】
また、Ｘ圧縮データ保持部１２４には、ｘ方向に対するデコードを１ライン分だけ行うのに必要とされる、ｚ−ｙ方向にデコードされた歪み補正パラメータの数だけの記憶領域が設けられる。ｘ方向の格子分割数が３で線形補間を行う場合には、ｘ方向に存在する４つの格子点に対応する歪み補正座標が必要となることから、図７に示すように、これらを格納するための４つのレジスタＲＸ０、ＲＸ１、ＲＸ２およびＲＸ３が設けられる。
【００９３】
レジスタＲＸ３の出力は、レジスタＲＸ２、セレクタＳＥＬ３およびＳＥＬ４の入力に接続される。同様に、レジスタＲＸ２の出力はレジスタＲＸ１、セレクタＳＥＬ３およびＳＥＬ４の入力に接続され、レジスタＲＸ１の出力はレジスタＲＸ０、セレクタＳＥＬ３およびＳＥＬ４の入力に接続されて、レジスタＲＸ０の出力はセレクタＳＥＬ３およびＳＥＬ４の入力に接続される。
【００９４】
そして、セレクタＳＥＬ３およびＳＥＬ４の出力は、セレクタＳＥＬ１およびＳＥＬ２の入力にそれぞれ接続される。セレクタＳＥＬ１は、パラメータ記憶部１３１からの一方のズームポイントに対応する歪み補正パラメータと、レジスタＲＹ１からの歪み補正パラメータと、セレクタＳＥＬ３からの歪み補正パラメータとを、補間演算器１２２の一方の入力に選択的に入力させる。同様に、セレクタＳＥＬ２は、パラメータ記憶部１３１からの他方のズームポイントに対応する歪み補正パラメータと、レジスタＲＹ０からの歪み補正パラメータと、セレクタＳＥＬ４からの歪み補正パラメータとを、補間演算器１２２の他方の入力に選択的に入力させる。
【００９５】
図８は、補正パラメータデコーダ１１２の制御シーケンスを示す図である。
補正パラメータデコーダ１１２は、制御部１２５により図８に示すような状態遷移に従って制御される。まず、垂直同期信号Ｖ＿ＳＹＮＣがＨレベルとなって、１フィールドの期間が開始されると、状態ＳＴ１となる。状態ＳＴ１では、制御部１２５は、制御マイコン１１１からのズーム位置情報の整数部で指定されるズーム位置を、歪み補正メモリ１１３のアドレス生成器１３２に通知する。これにより、アドレス生成器１３２は、以後、制御部１２５より座標が指定されると、これに対応する２つのズームポイントにおける歪み補正パラメータの読み出しアドレスを指定して、各パラメータをパラメータ記憶部１３１から読み出し、データ選択部１２１に出力させるようになる。
【００９６】
なお、フィールドごとに必要な歪み補正パラメータを、補正パラメータエンコーダ２０２からその都度受けとって歪み補正メモリ１１３に格納する場合には、この状態ＳＴ１において、指定されたズーム位置を跨ぐ２つのズームポイントを補正パラメータエンコーダ２０２に通知する。これにより、補正パラメータエンコーダ２０２から、２つのズームポイントに対応する歪み補正パラメータのみが歪み補正メモリ１１３に格納される。
【００９７】
状態ＳＴ１の処理が終了すると、画像の無効期間（Ｈ＿ＡＣＴＩＶＥ＝Ｌ）中に状態ＳＴ２に移行する。この状態ＳＴ２には、水平同期信号Ｈ＿ＳＹＮＣの入力に応じて移行してもよい。状態ＳＴ２では、セレクタＳＥＬ１およびＳＥＬ２を通じて、パラメータ記憶部１３１から、指定されたズーム位置を跨ぐ２つのズームポイントに対応する歪み補正パラメータを補間演算器１２２に供給し、ｚ方向の補間演算を実行させる。状態ＳＴ２の処理は、ｙ方向の１つの格子線上でデコードすべき歪み補正パラメータの数だけ実行される。本実施の形態では、各ズームポイントに対応する歪み補正パラメータがデコードされるため、状態ＳＴ２は２回繰り返される。これにより、ｚ方向に対してデコードされた歪み補正パラメータが、Ｙ−Ｘ圧縮データ保持部１２３内の各レジスタＲＹ０、ＲＹ１に格納される。
【００９８】
状態ＳＴ３では、セレクタＳＥＬ１およびＳＥＬ２を切り換えて、Ｙ−Ｘ圧縮データ保持部１２３に格納された歪み補正パラメータを補間演算器１２２に供給し、ｙ方向に対する補間演算を実行させる。演算結果はＸ圧縮データ保持部１２４のレジスタＲＸ３に格納され、これにより１つの歪み補正パラメータがｙ方向にデコードされる。この後、制御上のアイドル処理が行われる状態ＳＴ４を経て、状態ＳＴ２に戻る。
【００９９】
状態ＳＴ２（２回）、ＳＴ３およびＳＴ４の遷移は、ｘ方向の１ライン分でデコードすべき歪み補正パラメータの数だけ実行される。本実施の形態では、このライン上に存在する格子点の数だけ実行される。これにより、各格子点に対応する歪み補正パラメータが、レジスタＲＸ０〜ＲＸ３にそれぞれ格納される。
【０１００】
状態ＳＴ５には、上記遷移の終了後に、画像の有効期間が開始されると（Ｈ＿ＡＣＴＩＶＥ＝Ｈ）移行する。状態ＳＴ５では、セレクタＳＥＬ１およびＳＥＬ２の入力としてセレクタＳＥＬ３およびＳＥＬ４の出力を選択する。そして、ｘ方向の画素の座標指定に応じて、セレクタＳＥＬ３およびＳＥＬ４により各レジスタＲＸ０〜ＲＸ３からの歪み補正パラメータの出力の組み合わせを選択して、これらをｘ方向に対してデコードする。これにより、１ライン分の歪み補正座標が順次デコードされて、信号処理部１０４に供給される。
【０１０１】
１ライン分の処理が終了し、画像の有効期間が終了すると（Ｈ＿ＡＣＴＩＶＥ＝Ｌ）、全ラインが終了していない場合には状態ＳＴ２に移行して、以上の状態ＳＴ２〜ＳＴ５で行われる処理が全ラインについて繰り返される。そして、全ラインの処理が終了して、垂直同期信号Ｖ＿ＳＹＮＣが入力されると、状態ＳＴ１に移行して、次のフィールドの処理が実行される。
【０１０２】
図９は、補正パラメータデコーダ１１２における処理の流れを示すフローチャートである。以下、この図９を用いて、制御部１２５による補正パラメータデコーダ１１２および歪み補正メモリ１１３の動作制御の流れについて、具体的に説明する。
【０１０３】
ステップＳ９０１において、垂直同期信号Ｖ＿ＳＹＮＣの入力を待機し、入力があったときにステップＳ９０２に進む。
ステップＳ９０２は、状態ＳＴ１に相当する。ステップＳ９０２では、制御部１２５は、制御マイコン１１１からのズーム位置情報の整数部で指定されるズーム位置を、歪み補正メモリ１１３のアドレス生成器１３２に通知する。
【０１０４】
ステップＳ９０３〜Ｓ９０５は、状態ＳＴ２に相当する。ステップＳ９０３において、制御部１２５は、指定されたｙ座標から処理対象のライン位置を識別してアドレス生成器１３２に通知し、このラインに交差する格子線分上の歪み補正パラメータの読み出しを要求する。これとともに、セレクタＳＥＬ１およびＳＥＬ２の入力として、パラメータ記憶部１３１からの出力を選択させる。これにより、指定されたズーム位置を跨ぐ２つのズームポイントに対応する歪み補正パラメータが読み出され、補間演算器１２２に供給される。
【０１０５】
ステップＳ９０４において、各ズームポイント間におけるズーム位置の位相係数ｃｏｅｆ＿ｚを算出して、補間演算器１２２に供給する。そして、ｙ方向の１つの格子線分上の歪み補正パラメータについて、ｚ方向に対する補間処理を実行させる。
【０１０６】
ステップＳ９０５において、対象ラインに交差するｙ方向の格子線分上のすべての歪み補正パラメータをデコードしたか否かを判定し、デコードが終了していない場合はステップＳ９０３に戻る。これにより、格子線分上のすべての歪み補正パラメータがデコードされるまで状態ＳＴ２が繰り返され、ステップＳ９０６に進む。
【０１０７】
具体的には、まず、ｘ方向の最初の格子点に交差するｙ方向の格子線分が選択され、この格子線分上の一方の格子点に対応する歪み補正パラメータＤｉｓｔ＿ｘ０＿ｙ０＿ｚ０およびＤｉｓｔ＿ｘ０＿ｙ０＿ｚ１をパラメータ記憶部１３１から読み込み（ステップＳ９０３）、次の式（１）によるｚ方向の補間演算を補間演算器１２２に実行させて、歪み補正パラメータＤｉｓｔ＿ｘ０＿ｙ０をデコードする（ステップＳ９０４）。このとき、制御部１２５は、ズーム位置情報の小数部からズーム方向の位相係数ｃｏｅｆ＿ｚを抽出して、補間演算器１２２に通知する。
Ｄｉｓｔ＿ｘ０＿ｙ０＝Ｄｉｓｔ＿ｘ０＿ｙ０＿ｚ０＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ０＿ｙ０＿ｚ１＊ｃｏｅｆ＿ｚ                                      ……（１）
この演算結果をレジスタＲＹ１に格納した後、再び状態ＳＴ２の処理として、格子線分上の他方の格子点に対応する歪み補正パラメータＤｉｓｔ＿ｘ０＿ｙ１＿ｚ０およびＤｉｓｔ＿ｘ０＿ｙ１＿ｚ１を読み込み（ステップＳ９０３）、次の式（２）により格子線分上の他方の歪み補正パラメータＤｉｓｔ＿ｘ０＿ｙ１をデコードする（ステップＳ９０４）。
Ｄｉｓｔ＿ｘ０＿ｙ１＝Ｄｉｓｔ＿ｘ０＿ｙ１＿ｚ１＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ０＿ｙ１＿ｚ１＊ｃｏｅｆ＿ｚ                                      ……（２）
このとき、制御部１２５は、レジスタＲＹ１のデータをレジスタＲＹ０に待避させた後、式（２）の演算結果をレジスタＲＹ１に格納させる。以上の処理の終了後に、ステップＳ９０６（状態ＳＴ３)に移行する。
【０１０８】
ステップＳ９０６において、Ｙ−Ｘ圧縮データ保持部１２３に格納されたデータを用いて、ｙ方向の１格子線分上の補間処理を実行する。制御部１２５は、セレクタＳＥＬ１およびＳＥＬ２の入力として、それぞれレジスタＲＹ０およびＲＹ１からの入力を選択し、指定されたライン（すなわちｙ座標）の格子線分上の位相係数ｃｏｅｆ＿ｙを算出して補間演算器１２２に供給する。そして、次の式（３）によるｙ方向の補間演算を実行させて、歪み補正パラメータＤｉｓｔ＿ｘ０をデコードする。
Ｄｉｓｔ＿ｘ０＝Ｄｉｓｔ＿ｘ０＿ｙ０＊（１−ｃｏｅｆ＿ｙ）＋Ｄｉｓｔ＿ｘ０＿ｙ１＊ｃｏｅｆ＿ｙ                                                        ……（３）
式（３）の演算結果はレジスタＲＸ３に格納される。この後、制御上のアイドル状態となる状態ＳＴ４を経て、ステップＳ９０７において、ｘ方向の１ライン分のすべての歪み補正パラメータをデコードしたか否かを判定する。終了していない場合はステップＳ９０３に進む。すなわち、再び状態ＳＴ２に戻り、ｙ方向に対する次の格子線分に対する補間処理を実行する。従って、ステップＳ９０３〜Ｓ９０６の処理、すなわち状態ＳＴ２（２回）、ＳＴ３、ＳＴ４の遷移が、ｘ方向の格子線上に存在する歪み補正パラメータの数（すなわち格子点の数）だけ繰り返されることにより、ｚ−ｙ方向のデコードが終了することになり、ステップＳ９０８に進む。
【０１０９】
ここで、上記のステップＳ９０３〜Ｓ９０５の遷移についてさらに具体的に説明すると、２度目の遷移（ステップＳ９０３〜Ｓ９０６）では、ｘ方向の２つ目の格子点に交差するｙ方向の格子線分が選択され、必要な歪み補正パラメータＤｉｓｔ＿ｘ１＿ｙ０＿ｚ０およびＤｉｓｔ＿ｘ１＿ｙ０＿ｚ１をパラメータ記憶部１３１から読み込んで、次の式（４）によるｚ方向の補間演算を補間演算器１２２に実行させて、歪み補正パラメータＤｉｓｔ＿ｘ１＿ｙ０をデコードする。
Ｄｉｓｔ＿ｘ１＿ｙ０＝Ｄｉｓｔ＿ｘ１＿ｙ０＿ｚ０＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ１＿ｙ０＿ｚ１＊ｃｏｅｆ＿ｚ                                      ……（４）
この演算結果はレジスタＲＹ１に格納され、さらに同じ格子線分上の他方の歪み補正パラメータＤｉｓｔ＿ｘ１＿ｙ１のデコードが、式（５）により行われる。
Ｄｉｓｔ＿ｘ１＿ｙ１＝Ｄｉｓｔ＿ｘ１＿ｙ１＿ｚ０＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ１＿ｙ１＿ｚ１＊ｃｏｅｆ＿ｚ                                      ……（５）
このとき、レジスタＲＹ１のデータをレジスタＲＹ０に待避させた後、演算結果をレジスタＲＹ１に格納する。次に、状態ＳＴ３に移行して、セレクタＳＥＬ１およびＳＥＬ２を切り換え、該当格子線分上のｙ方向のデコードを式（６）により行い、歪み補正パラメータＤｉｓｔ＿ｘ１を算出する。
Ｄｉｓｔ＿ｘ１＝Ｄｉｓｔ＿ｘ１＿ｙ０＊（１−ｃｏｅｆ＿ｙ）＋Ｄｉｓｔ＿ｘ１＿ｙ１＊ｃｏｅｆ＿ｙ                                                        ……（６）
ここで、レジスタＲＸ３のデータをレジスタＲＸ２に待避させた後、演算結果をレジスタＲＸ３に格納する。
【０１１０】
次に、状態ＳＴ４を経て状態ＳＴ２に戻り、３回目の遷移に移行する。この遷移でも同様に、次の式（７）および（８）により、歪み補正パラメータＤｉｓｔ＿ｘ２＿ｙ０およびＤｉｓｔ＿ｘ２＿ｙ０を順にデコードする。
Ｄｉｓｔ＿ｘ２＿ｙ０＝Ｄｉｓｔ＿ｘ２＿ｙ０＿ｚ０＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ２＿ｙ０＿ｚ１＊ｃｏｅｆ＿ｚ                                      ……（７）
Ｄｉｓｔ＿ｘ２＿ｙ１＝Ｄｉｓｔ＿ｘ２＿ｙ１＿ｚ０＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ２＿ｙ１＿ｚ１＊ｃｏｅｆ＿ｚ                                      ……（８）
上記と同様に、式（７）の演算結果をレジスタＲＹ１に格納した後、レジスタＲＹ１のデータをレジスタＲＹ０に待避させて、式（８）の演算結果をレジスタＲＹ１に格納する。そして、状態ＳＴ３に移行してｙ方向のデコードを式（９）により行い、歪み補正パラメータＤｉｓｔ＿ｘ２を算出する。
Ｄｉｓｔ＿ｘ２＝Ｄｉｓｔ＿ｘ２＿ｙ０＊（１−ｃｏｅｆ＿ｙ）＋Ｄｉｓｔ＿ｘ２＿ｙ１＊ｃｏｅｆ＿ｙ                                                        ……（９）
ここで、レジスタＲＸ３およびＲＸ２のデータをそれぞれレジスタＲＸ２およびＲＸ１に待避させた後、演算結果をレジスタＲＸ３に格納する。
【０１１１】
次に、状態ＳＴ４を経て状態ＳＴ２に戻り、４回目の遷移に移行する。この遷移でも同様に、次の式（１０）および（１１）により、歪み補正パラメータＤｉｓｔ＿ｘ３＿ｙ０およびＤｉｓｔ＿ｘ３＿ｙ０を順にデコードする。
Ｄｉｓｔ＿ｘ３＿ｙ０＝Ｄｉｓｔ＿ｘ３＿ｙ０＿ｚ０＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ３＿ｙ０＿ｚ１＊ｃｏｅｆ＿ｚ                                    ……（１０）
Ｄｉｓｔ＿ｘ３＿ｙ１＝Ｄｉｓｔ＿ｘ３＿ｙ１＿ｚ０＊（１−ｃｏｅｆ＿ｚ）＋Ｄｉｓｔ＿ｘ３＿ｙ１＿ｚ１＊ｃｏｅｆ＿ｚ                                    ……（１１）
上記と同様に、式（１０）の演算結果をレジスタＲＹ１に格納した後、レジスタＲＹ１のデータをレジスタＲＹ０に待避させて、式（１１）の演算結果をレジスタＲＹ１に格納する。そして、状態ＳＴ３に移行してｙ方向のデコードを次の式（１２）により行い、歪み補正パラメータＤｉｓｔ＿ｘ３を算出する。
Ｄｉｓｔ＿ｘ３＝Ｄｉｓｔ＿ｘ３＿ｙ０＊（１−ｃｏｅｆ＿ｙ）＋Ｄｉｓｔ＿ｘ３＿ｙ１＊ｃｏｅｆ＿ｙ                                                      ……（１２）
ここで、レジスタＲＸ３、ＲＸ２およびＲＸ１のデータをそれぞれレジスタＲＸ２、ＲＸ１およびＲＸ０に待避させた後、演算結果をレジスタＲＸ３に格納する。以上の処理により、画像の無効期間において、ｘ方向の各格子点に対応する歪み補正パラメータがデコードされて、それぞれレジスタＲＸ０、ＲＸ１、ＲＸ２およびＲＸ３に格納される。すなわち、１ラインのデコードに必要な、ｚ−ｙ方向にデコードされた歪み補正パラメータが用意されたことになる。
【０１１２】
なお、指定されたズーム位置を跨ぐ２つのズームポイントをそれぞれｚｔ＿０、ｚｔ＿１、対象ラインを囲むｙ方向の各格子のｙ座標をそれぞれｙｔ＿０、ｙｔ＿１とし、ｘ方向を跨ぐｙ方向への格子線分の数（すなわち格子点の数）をｍとすると、１ライン処理時の状態ＳＴ２においてパラメータ記憶部１３１に指定される読み出しアドレスは、以下のようになる。
〈１回目〉
ａｄｄ〔０〕〔ｙｔ＿０〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿０〕〔ｚｔ＿１〕
〈２回目〉
ａｄｄ〔０〕〔ｙｔ＿１〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿１〕〔ｚｔ＿１〕
〈３回目〉
ａｄｄ〔１〕〔ｙｔ＿０〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿０〕〔ｚｔ＿１〕
〈４回目〉
ａｄｄ〔１〕〔ｙｔ＿１〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿１〕〔ｚｔ＿１〕
〈５回目〉
ａｄｄ〔２〕〔ｙｔ＿０〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿０〕〔ｚｔ＿１〕
〈６回目〉
ａｄｄ〔２〕〔ｙｔ＿１〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿１〕〔ｚｔ＿１〕
・・・・・・・
・・・・・・・
〈（２ｍ−１）回目〉
ａｄｄ〔ｍ〕〔ｙｔ＿０〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿０〕〔ｚｔ＿１〕
〈（２ｍ）回目〉
ａｄｄ〔ｍ〕〔ｙｔ＿１〕〔ｚｔ＿０〕，ａｄｄ〔０〕〔ｙｔ＿１〕〔ｚｔ＿１〕
次に、ステップＳ９０８において、画像の有効期間の開始（Ｈ＿ＡＣＴＩＶＥ＝Ｈ）を待機し、開始後にステップＳ９０９に進む。ステップＳ９０９は状態ＳＴ５に相当し、Ｘ圧縮データ保持部１２４の格納データを用いてｘ方向の補間処理を実行して、１ライン分の歪み補正座標をデコードする。なお、この処理については次の図１０において説明する。
【０１１３】
ステップＳ９１０において、１フィールド内のすべてのラインについてデコードが終了したか否かを判定し、終了していない場合はステップＳ９０３に進み、再び状態ＳＴ２に遷移して、次のラインの処理を実行する。また、終了した場合はステップＳ９１１に進み、処理の終了を判定して、終了しない場合はステップＳ９０１に戻り、次のフィールドに対する処理を実行する。
【０１１４】
図１０は、ステップＳ９０９に示したｘ方向に対する補間処理の流れを示すフローチャートである。
図１０の処理は、状態ＳＴ５に相当する。状態ＳＴ５では、Ｘ圧縮データ保持部１２４に格納された歪み補正パラメータを用いて、ｘ方向の1ライン分のデコードを行う。ここでは、まず、セレクタＳＥＬ１およびＳＥＬ２の入力として、セレクタＳＥＬ３およびＳＥＬ４の出力をそれぞれ選択する。
【０１１５】
そして、ステップＳ１００１において、指定されたｘ座標が含まれる格子の両側の格子点に対応する歪み補正パラメータをセレクタＳＥＬ３およびＳＥＬ４によりそれぞれ選択して、補間演算器１２２に供給させる。
【０１１６】
ステップＳ１００２において、ｘ座標に応じた格子点間の位相係数ｃｏｅｆ＿ｘを算出して補間演算器１２２に供給し、補間演算器１２２に、ｘ方向の１つの格子線上における歪み補正座標の補間演算を実行させる。
【０１１７】
例えば、１つ目の格子線上においては、レジスタＲＸ０およびＲＸ１からの入力データをセレクタＳＥＬ３およびＳＥＬ４でそれぞれ選択させて（ステップＳ１００１）、指定座標に対応する歪み補正座標Ｄｉｓｔ＿ｔａｒｇｅｔを、次の式（１３）により算出する（ステップＳ１００２）。
Ｄｉｓｔ＿ｔａｒｇｅｔ＝Ｄｉｓｔ＿ｘ０＊（１−ｃｏｅｆ＿ｘ）＋Ｄｉｓｔ＿ｘ１＊ｃｏｅｆ＿ｘ                                                          ……（１３）
そして、ステップＳ１００３において、ｘ座標から次の格子点までの全画素のデコードが終了したか否かを判定し、終了していない場合はステップＳ１００２に進み、次の画素についてあらためて位相係数ｃｏｅｆ＿ｘを算出し、デコードを実行させる。
【０１１８】
そして、ステップＳ１００３の判定により、次の格子点を越えると、ステップＳ１００４において、ｘ方向のすべての格子点までデコードが終了したか否かを判定し、終了していない場合はステップＳ１００１に戻る。
【０１１９】
ここで、ステップＳ１００１に戻って、セレクタＳＥＬ３およびＳＥＬ４の入力としてレジスタＲＸ１およびＲＸ２を選択して、次の式（１４）により補間演算を行う。
Ｄｉｓｔ＿ｔａｒｇｅｔ＝Ｄｉｓｔ＿ｘ１＊（１−ｃｏｅｆ＿ｘ）＋Ｄｉｓｔ＿ｘ２＊ｃｏｅｆ＿ｘ                                                          ……（１４）
同様に、次の格子点を越えると、セレクタＳＥＬ３およびＳＥＬ４の入力としてレジスタＲＸ２およびＲＸ３を選択して、次の式（１５）により補間演算を行う。
Ｄｉｓｔ＿ｔａｒｇｅｔ＝Ｄｉｓｔ＿ｘ２＊（１−ｃｏｅｆ＿ｘ）＋Ｄｉｓｔ＿ｘ３＊ｃｏｅｆ＿ｘ                                                          ……（１５）
以上の状態ＳＴ５の処理により、１ライン分の各画素に対応する歪み補正座標がデコードされて画像信号処理部１０４に供給され、各画素の歪み補正座標の供給に同期して、その画素に対する歪み補正処理が行われる。この後、ステップＳ１００４の判定によりｘ方向の１ライン分の補間処理を終了し、ステップＳ９１０に進む。
【０１２０】
以上の処理により、ｚ方向、ｙ方向、ｘ方向の補間処理を、１つの補間演算器１２２を共用して実行することができる。ここで、図１１に、従来の補正パラメータデコーダにおける回路構成例を参考のために示す。
【０１２１】
従来の補正パラメータデコーダ３１２は、図１１に示すように、ｚ方向、ｙ方向およびｘ方向に対してそれぞれ個別の演算器（ｚ方向補間演算器１２６、ｙ方向補間演算器１２７、ｘ方向補間演算器１２８）が直列に設けられていた。このため、演算器の設置面積を小さくすることができなかった。なお、制御部１２９は、入力されるズーム位置情報および座標から、ｚ方向、ｙ方向およびｘ方向の位相係数をそれぞれの演算器に供給している。
【０１２２】
このような回路に対して、本実施の形態の補正パラメータデコーダ１１２は、１つの補間演算器１２２のみ設けられるので、回路規模を削減できるとともに、このような演算器とレジスタ、セレクタという単純な回路構成により実現されるので、製造コストを削減することが可能となる。また、１つの演算器としたことで、クロック信号の供給量が削減され、消費電力を低減することができる。このように、回路規模や製造コスト、消費電力を小さくしながらも、ｘ方向、ｙ方向、ｚ方向に補間処理を用いた高精度の歪み補正処理を実行することが可能である。
〔区分ｎ次多項式を利用した場合〕
次に、歪み補正パラメータの補間処理に、区分ｎ次多項式による近似を用いた場合の回路構成および動作について、補足説明する。
【０１２３】
図１２は、ｘ−ｙ−ｚ方向の補間演算にｎ次多項式を用いた場合の歪み補正パラメータについて説明するための図である。
ｘ−ｙ方向の補間演算に区分ｎ次多項式を用いた場合には、ｘ方向、ｙ方向の各格子線分上の座標に対応する歪み補正座標を区分ｎ次多項式により近似した後、各格子線分をｎ分割して、その内分点に対応する歪み補正座標を、求められた区分ｎ次多項式から算出する。
【０１２４】
ここで、ｎ次多項式は以下の式（１５）で表され、区分ｎ次多項式とは、ある有効範囲で区切られた区間のみを、式（１５）のようなｎ次多項式で表したものである。なお、ｎは自然数とする。
Ｆ（ｘ）＝ａ（ｎ）＊ｘｎ＋ａ（ｎ−１）＊ｘ（ｎ−１）＋ａ（ｎ−２）＊ｘ（ｎ−２）＋・・・＋ａ（０）                                                  ……（１５）
このようなｎ次多項式の算出は、例えば以下のように行われる。ここでは、２次多項式を例に挙げて説明する。まず、１つの格子線分を選択する。ここで、例えばｘ１＝ｘ０＋１として、（ｘ０，ｈ（ｘ０））、（ｘ１，ｈ（ｘ１））、（ｘ２，ｈ（ｘ２））の３点を通る区分ｎ次多項式を算出するものとすると、選択した格子線分のｘ方向の両端ｘ０とｘ２との間において、ｘ０からｘ２に対してｘ１の値を１ずつずらしていき、ｘ２−１の点まで上記の算出を行う。このようにして、すべての区分２次多項式の中で、元の関数との誤差が最も小さい区分ｎ次多項式を算出する。
【０１２５】
次に、処理対象とした格子線分をｎ分割して、その内分点に対応する歪み補正パラメータを、求めた区分ｎ次多項式から導出する。区分２次多項式を用いた場合、格子線分上の中点と両端の格子点とが分割点に決定され、これらの３点に対応する歪み補正座標が歪み補正パラメータとされる。従って、１つの格子に対して必要とされる歪み補正パラメータは、４つの格子点と４つの格子線分の中点の合計８点における歪み補正座標とされるので、データ量を圧縮することができる。
【０１２６】
さらに、このような方法をｚ方向に対して拡張する。この場合、ｘ−ｙ方向のデータ圧縮で歪み補正パラメータの抽出点とされたすべての格子点および内分点について、さらにｚ方向に対して同様なデータ圧縮が行われる。すなわち、補正パラメータエンコーダ２０２は、ズーム位置を跨ぐ２つのズームポジションでそれぞれ抽出されたすべての格子点の間、および内分点の間で、歪み補正座標の推移を示す関数を区分ｎ次多項式で近似し、格子点間、内分点間をそれぞれｎ分割してその内分点に対応する歪み補正座標を歪み補正パラメータとする。
【０１２７】
図１２は、区分２次多項式により近似した場合の歪み補正座標の抽出点を示しており、ズーム位置を跨ぐ２つのズームポジションにそれぞれ対応する格子で囲まれる直方体の範囲では、２４カ所の格子点および内分点に対応する歪み補正座標が、歪み補正パラメータとして出力される。これらの歪み補正パラメータが、補正パラメータエンコーダ２０２から歪み補正メモリ１１３に格納されることになる。従って、補正パラメータデコーダ１１２は、１つの格子線分や１組のズームポジション間において補間演算を行う場合には、３つの歪み補正パラメータを利用する必要がある。
【０１２８】
ここで、図１３は、区分２次多項式を用いた場合の補正パラメータデコーダ１１２の内部構成例を示す図である。
アドレス生成器１３２からのアドレス指定により、パラメータ記憶部１３１からは、指定されたズーム位置を跨ぐ２つのズームポイントと、その中間点とにそれぞれ対応する３つの歪み補正座標が読み出されて、データ選択部１２１に供給される。そして、これらの３つの歪み補正座標により、補間演算器１２２において区分２次多項式を復元し、位相係数ｃｏｅｆ＿ｚを適用することにより、ｚ方向の補間演算が行われる。従って、補間演算器１２２への入力を選択するためには、３つのセレクタＳＥＬ１１〜１３が設けられる。
【０１２９】
また、ｙ方向の１つの格子線分上には、同様に３つの歪み補正パラメータが存在するので、Ｙ−Ｘ圧縮データ保持部１２３では、これらを格納するための３つのレジスタＲＹ１０〜ＲＹ１２が設けられる。すなわち、補間演算器１２２からレジスタＲＹ１２、ＲＹ１１、ＲＹ１０までが直列に接続されるとともに、各レジスタＲＹ１０〜ＲＹ１２の出力がそれぞれセレクタＳＥＬ１１〜ＳＥＬ１３の入力に接続される。そして、各レジスタＲＹ１０〜ＲＹ１２に格納された歪み補正座標を用いて、補間演算器１２２において区分２次多項式を復元し、位相係数ｃｏｅｆ＿ｙを適用することにより、ｙ方向の補間演算が行われる。
【０１３０】
さらに、ｘ方向の１つの格子線分上には、同様に３つずつの歪み補正パラメータが存在するので、格子分割数が３の場合、Ｘ圧縮データ保持部１２４には７個のレジスタＲＸ１０〜ＲＸ１６が設けられる。すなわち、補間演算器１２２からレジスタＲＸ１６、ＲＸ１５、ＲＸ１４、ＲＸ１３、ＲＸ１２、ＲＸ１１、ＲＸ１０までが直列に接続され、このうち、ｙ方向のデコードが終了した段階で、格子点に対応する歪み補正パラメータが格納されるレジスタＲＸ１０、ＲＸ１２、ＲＸ１４、およびＲＸ１６の出力が、セレクタＳＥＬ１４およびＳＥＬ１６によりそれぞれセレクタＳＥＬ１１およびＳＥＬ１３の入力に選択的に接続され、また内分点に対応する歪み補正パラメータが格納されるレジスタＲＸ１１、ＲＸ１３およびＲＸ１５の出力が、セレクタＳＥＬ１５によりセレクタＳＥＬ１２の入力に選択的に接続される。
【０１３１】
従って、画像の有効期間において、レジスタＲＸ１０〜ＲＸ１６から３つずつの歪み補正パラメータを選択して、補間演算器１２２において区分２次多項式を復元し、位相係数ｃｏｅｆ＿ｘを適用することにより、ｘ方向の補間演算が行われる。
【０１３２】
なお、区分ｎ次多項式を用いた場合には、１つの格子線分上およびズームポイント間では、（ｎ＋１）個の歪み補正座標が歪み補正パラメータとされる。従って、補間演算器１２２への入力を選択するセレクタを（ｎ＋１）個設け、Ｙ−Ｘ圧縮データ保持部１２３には（ｎ＋１）個のレジスタを設ければよい。また、ｘ方向の格子分割数を（ｍ−１）（すなわち、ｘ方向の格子数をｍ）とすると、Ｘ圧縮データ保持部１２４には（ｎ＊（ｍ−１）＋１）個のレジスタを設ければよい。このような構成として、上記の図８のように、画像の無効期間で１ライン分の歪み補正処理に必要な歪み補正パラメータのｚ方向およびｙ方向のデコードを順次実行してＸ圧縮データ保持部１２４の全レジスタにデータを格納し、その後の画像有効期間でこれらのデータを用いてｘ方向のデコードを実行することで、補間演算器１２２を共用した歪み補正パラメータのデコード処理が実現される。
【０１３３】
なお、上記の各実施の形態では、撮像装置としてデジタルビデオカメラを想定したが、この他に、デジタルスチルカメラや、撮像機能を具備する携帯型電話機、ＰＤＡ（Personal Digital Assistant）等の情報処理機器を適用することも可能である。また、撮像機能を有していない機器において、すでに撮影済みの画像データを例えば記録媒体から読み出して、あるいは通信により受信して、撮像時のズーム位置情報を基にして歪み補正処理を行う場合にも、本発明を適用可能である。
【産業上の利用可能性】
【０１３４】
本発明は、上記のように撮像した画像の歪みを補正する用途以外に、例えば、ディスプレイ装置におけるミスコンバージェンスを補正する用途にも適用することが可能である。この場合、本発明の画像処理装置の機能は例えばディスプレイ装置の内部に設けられ、入力画像信号から生成したＲＧＢ信号に対して、各色について異なる補正データを用いて歪み補正を行うことで、表示画面上の色ずれを解消することができる。また、上記の実施の形態における光学ズーム機構のズーム位置に相当する信号として、ユーザからの入力操作により各色の色ずれの調整量を指定する制御信号が入力される。ここで、調整量としてとり得る範囲を区分して、その区分点（ズームポイントに対応）ごとに歪み補正データを用意しておき、入力された調整量に近接する区分点の歪み補正データを用いて補間演算を行うことで、必要な歪み補正データのデータ量を削減しながら、調整量に応じた高精度な色ずれ補正を行うことが可能となる。
【図面の簡単な説明】
【０１３５】
【図１】本発明の実施の形態に係る画像撮像システムの構成例を示すブロック図である。
【図２】前処理装置内の補正パラメータエンコーダの内部構成例を示すブロック図である。
【図３】線形補間を利用した歪み補正データのｘ−ｙ−ｚ方向に対する補間演算を説明するための図である。
【図４】歪み補正処理時の画素の走査について模式的に説明する図である。
【図５】１ライン分の歪み補正パラメータのデコード処理タイミングを示す図である。
【図６】補正パラメータデコーダおよび歪み補正メモリの内部構成例を示すブロック図である。
【図７】ｘ方向の格子分割数が３の場合の補正パラメータデコーダのより詳細な回路構成例を示す図である。
【図８】補正パラメータデコーダの制御シーケンスを示す図である。
【図９】補正パラメータデコーダにおける処理の流れを示すフローチャートである。
【図１０】ｘ方向に対する補間処理の流れを示すフローチャートである。
【図１１】従来の補正パラメータデコーダにおける回路構成例を示すブロック図である。
【図１２】ｘ−ｙ−ｚ方向の補間演算にｎ次多項式を用いた場合の歪み補正パラメータについて説明するための図である。
【図１３】区分２次多項式を用いた場合の補正パラメータデコーダの内部構成例を示す図である。
【図１４】光学歪みを信号処理により補正する機能を具備する従来の画像撮像システムの構成例を示すブロック図である。
【符号の説明】
【０１３６】
１……撮像装置、２……前処理装置、１０１……光学ブロック、１０２……撮像素子、１０３……画像前処理部、１０４……画像信号処理部、１０５……画像メモリ、１０６……表示処理部、１０７……モニタ、１０８……圧縮・伸長処理部、１０９……記録再生部、１１０……記録媒体、１１１……制御マイコン、１１２……補正パラメータデコーダ、１１３……歪み補正メモリ、１２１……データ選択部、１２２……補間演算器、１２３……Ｙ−Ｘ圧縮データ保持部、１２４……Ｘ圧縮データ保持部、１２５……制御部、１３１……パラメータ記憶部、１３２……アドレス生成器、２０１……補正パラメータ導出部、２０２……補正パラメータエンコーダ
【図１】
2005063154.tif 000003
【図２】
2005063154.tif 000004
【図３】
2005063154.tif 000005
【図４】
2005063154.tif 000006
【図５】
2005063154.tif 000007
【図６】
2005063154.tif 000008
【図７】
2005063154.tif 000009
【図８】
2005063154.tif 000010
【図９】
2005063154.tif 000011
【図１０】
2005063154.tif 000012
【図１１】
2005063154.tif 000013
【図１２】
2005063154.tif 000014
【図１３】
2005063154.tif 000015
【図１４】
2005063154.tif 000016