(57)【要約】【課題】撮像素子で得たＲＡＷ画像についてＲＧＢ変換せずに画像劣化の少ない歪み補正処理を実現し、高速処理かつメモリ量削減が可能な画像歪み補正方法、画像歪み補正装置及び画像形成装置を提供する。【解決手段】この画像歪み補正方法は、レンズ光学系Ａを通して撮像素子１１により撮像された画像の画像歪みを補正する際に、レンズ光学系の光学特性に基づいて得た画像歪み補正係数を保存し、レンズ光学系を通して撮像素子で撮像したＲＡＷ画像について画像歪み補正係数に基づいて歪み補正を行う。【選択図】図７
2009157733.tif 000002
【特許請求の範囲】
【請求項１】
レンズ光学系を通して撮像素子により撮像された画像の画像歪みを補正する画像歪み補正方法において、
前記レンズ光学系の光学特性に基づいて得た画像歪み補正係数を保存し、
前記レンズ光学系を通して撮像素子で撮像したＲＡＷ画像について前記画像歪み補正係数に基づいて歪み補正を行うことを特徴とする画像歪み補正方法。
【請求項２】
前記撮像素子で撮像されたＲＡＷ画像は各画素が所定の配列で並んでおり、
前記歪み補正の際に各画素の画素値を周囲の画素の画素値に基づいて求める請求項１に記載の画像歪み補正方法。
【請求項３】
前記画素値を求める際に歪み補正前後で画素の色が異なるとき周囲の４画素の画素値を用いて補間する請求項２に記載の画像歪み補正方法。
【請求項４】
レンズ光学系を通して撮像素子により撮像された画像の画像歪みを補正する画像歪み補正装置において、
前記レンズ光学系からの画像を撮影する撮像素子と、
前記撮像素子で撮影したＲＡＷ画像を一時保存する画像バッファメモリと、
前記光学系のレンズ特性から得た画像歪み補正係数を保存する記憶素子と、
前記画像バッファメモリ内のＲＡＷ画像について前記画像歪み補正係数に基づいて歪み補正制御を行う補正制御手段と、を備えることを特徴とする画像歪み補正装置。
【請求項５】
前記撮像素子で撮像されたＲＡＷ画像は各画素が所定の配列で並んでおり、
前記補正制御手段は前記歪み補正の際に各画素の画素値を周囲の画素の画素値に基づいて求めるように制御する請求項４に記載の画像歪み補正装置。
【請求項６】
前記補正制御手段は前記画素値を求める際に歪み補正前後で画素の色が異なるとき周囲の４画素の画素値を用いて補間するように制御する請求項５に記載の画像歪み補正装置。
【請求項７】
前記補正制御手段は、前記画像歪み補正係数に基づいて生成された補正ルックアップテーブルを用いて前記歪み補正制御を行う請求項４，５または６に記載の画像歪み補正装置。
【請求項８】
請求項４乃至７のいずれか１項に記載の画像歪み補正装置と、
前記画像歪み補正装置で歪み補正された画像について画像処理を行う画像処理部と、を備える画像形成装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、レンズ光学系を通して撮像素子により撮像された画像の画像歪みを補正する画像歪み補正方法、画像歪み補正装置及び画像形成装置に関する。
【背景技術】
【０００２】
広角レンズ・魚眼レンズは、車載用カメラやセキュリティ用監視カメラなどの分野で広く使われており、一つのレンズで広い画角の画像を得ることが特徴であるが、画像周辺部の歪みが大きいため、歪み補正処理により画像を目的に合わせて加工することがある。この歪み補正処理は、従来、下記特許文献１のようにＲＡＷ画像からＲＧＢの各色毎のデータ系列に分離する色分離処理することでＲＧＢ画像への変換をしてから、ＲＧＢ画像に対する画素の入れ替えをすることで行われていた。
【０００３】
また、下記特許文献２は、ＲＡＷデータをハーフデコードして縮小ＲＧＢ画像を作成する際に、より高画質な縮小ＲＧＢ画像を作成可能にするために、色配列の周期性が異なる複数色の画素列からなる原画像から、原画像よりも画素数の少ない画素列からなる縮小画像を生成する画像処理装置を開示する。
【特許文献１】特開平１０−１６４６０２号公報
【特許文献２】特開２００７−６０３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、上述の従来の歪み補正処理では、撮像素子であるＣＣＤ／ＣＭＯＳセンサからの画像はＲＡＷ画像であり、ＲＧＢ画像に変換する必要があった。一般的にＲＧＢ画像はＲＡＷ画像の３倍のメモリ容量が必要であるため、ＲＧＢ画像に変換する従来の歪み補正処理は、処理速度やコストを圧迫する原因になっていた。また、ＩＳＰ処理（ホワイトバランス・色補正・ガンマ補正処理等の画像処理）は、ＲＡＷ画像に対して行うため、歪み補正処理の前に行う必要があった。また、特許文献２では、ＲＡＷ画像のまま縮小をすることはできるが、歪み補正処理のようにランダムな画素入れ替えをすることはできない。
【０００５】
本発明は、上述のような従来技術の問題に鑑み、撮像素子で得たＲＡＷ画像についてＲＧＢ変換せずに画像劣化の少ない歪み補正処理を実現し、高速処理かつメモリ量削減が可能な画像歪み補正方法、画像歪み補正装置及び画像形成装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、本実施形態による画像歪み補正方法は、レンズ光学系を通して撮像素子により撮像された画像の画像歪みを補正する画像歪み補正方法であって、前記レンズ光学系の光学特性に基づいて得た画像歪み補正係数を保存し、前記レンズ光学系を通して撮像素子で撮像したＲＡＷ画像について前記画像歪み補正係数に基づいて歪み補正を行うことを特徴とする。
【０００７】
この画像歪み補正方法によれば、撮像素子で撮影したＲＡＷ画像について画像歪み補正係数に基づいて歪み補正を行うので、ＲＧＢ変換せずに画像劣化の少ない歪み補正処理が可能となり、高速処理かつメモリ量削減を達成できる。
【０００８】
上記画像歪み補正方法において前記撮像素子で撮像されたＲＡＷ画像は各画素が所定の配列で並んでおり、前記歪み補正の際に各画素の画素値を周囲の画素の画素値に基づいて求めることが好ましい。撮像素子で撮像されたＲＡＷ画像の各画素がベイヤー配列等の所定の配列で並んでいるために各画素の色が決まっていても各画素の画素値を周囲の画素の画素値に基づいて求めることができ、画像劣化の少ない歪み補正処理を実現できる。
【０００９】
この場合、前記画素値を求める際に歪み補正前後で画素の色が異なるとき周囲の４画素の画素値を用いて補間することが好ましい。これにより、一層画像劣化の少ない歪み補正処理を実現できる。
【００１０】
本実施形態による画像歪み補正装置は、レンズ光学系を通して撮像素子により撮像された画像の画像歪みを補正する画像歪み補正装置において、前記レンズ光学系からの画像を撮影する撮像素子と、前記撮像素子で撮影したＲＡＷ画像を一時保存する画像バッファメモリと、前記光学系のレンズ特性から得た画像歪み補正係数を保存する記憶素子と、前記画像バッファメモリ内のＲＡＷ画像について前記画像歪み補正係数に基づいて歪み補正制御を行う補正制御手段と、を備えることを特徴とする。
【００１１】
この画像歪み補正装置によれば、上述の画像歪み補正方法を実行でき、撮像素子で撮影したＲＡＷ画像について画像歪み補正係数に基づいて歪み補正を行うので、ＲＧＢ変換せずに画像劣化の少ない歪み補正処理が可能となり、高速処理かつメモリ量削減を達成できる。
【００１２】
上記画像歪み補正装置において前記撮像素子で撮像されたＲＡＷ画像は各画素が所定の配列で並んでおり、前記補正制御手段は前記歪み補正の際に各画素の画素値を周囲の画素の画素値に基づいて求めるように制御することが好ましい。撮像素子で撮像されたＲＡＷ画像の各画素がベイヤー配列等の所定の配列で並んでいるために各画素の色が決まっていても各画素の画素値を周囲の画素の画素値に基づいて求めることができ、画像劣化の少ない歪み補正処理を実現できる。
【００１３】
この場合、前記補正制御手段は前記画素値を求める際に歪み補正前後で画素の色が異なるとき周囲の４画素の画素値を用いて補間するように制御することが好ましい。これにより、一層画像劣化の少ない歪み補正処理を実現できる。
【００１４】
また、前記補正制御手段は、前記画像歪み補正係数に基づいて生成された補正ルックアップテーブルを用いて前記歪み補正制御を行うように構成できる。画像歪み補正係数に基づいて生成された補正ルックアップテーブルによりＲＡＷ画像について歪み補正を行うことができる。
【００１５】
本実施の形態による画像形成装置は、上述の画像歪み補正装置と、前記画像歪み補正装置で歪み補正された画像について画像処理を行う画像処理部と、を備える。
【００１６】
この画像形成装置によれば、上述のようなＲＡＷ画像に対する歪み補正処理後にＲＡＷ画像を画像処理部に出力し、ＩＳＰ処理等の画像処理前に歪み補正処理を行うことができる。このように歪み補正後の画像に対して画像処理を行うことで、より自然な画像を得ることができる。なお、上記画像形成装置は、画像を表示する画像表示部や画像を保存する画像メモリ部を備えてもよい。
【発明の効果】
【００１７】
本発明によれば、撮像素子で撮像して得たＲＡＷ画像について歪み補正を行うので、ＲＧＢ変換せずに画像劣化の少ない歪み補正処理が可能となり、高速処理かつメモリ量削減を達成できる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明を実施するための最良の形態について図面を用いて説明する。図１は本実施の形態において画像歪み補正前の画像を説明するための図（ａ）及び画像歪み補正後の画像を説明するための図（ｂ）である。図２は撮像素子からのＲＡＷ画像における一般的なベイヤー(Bayer)配列を模式的に示す図である。
【００１９】
広角レンズや魚眼レンズで得た画像の歪み補正は、図１（ａ）、（ｂ）のように画素を入れ替えることで行われる。すなわち、図１（ａ）のように、画像歪み補正前の円形画像領域内のある点の画素座標を（Ｘ、Ｙ）とし、その歪み補正後の矩形画像領域内の画素座標を（Ｘ’、Ｙ’）とすると、（Ｘ、Ｙ）→（Ｘ’、Ｙ’）として補正前の画素を補正後の画素に入れ替えるが、中央（０，０）から各座標までの各直線の傾斜角θが同一であるので、補正前の中央（０，０）からの距離をＬとし、その点に対応する歪み補正後の中央（０，０）からの距離をＬ’とすると、Ｌ→Ｌ’として補正前の画素を補正後の画素に入れ替える。
【００２０】
上述の図１（ａ）、（ｂ）の歪み補正前の距離Ｌと歪み補正後の距離Ｌ’との関係を画像歪み補正係数として広角レンズや魚眼レンズのレンズ特性に基づいて予め求めておき、かかる画像歪み補正係数に基づいて撮影画像に対してＬ→Ｌ’とする画素の入れ替えを行うことで歪み補正を行うことができる。
【００２１】
従来、広角レンズまたは魚眼レンズの歪み補正をする場合の上述の画素の入れ替えは、ＲＧＢ画像に変換した後に行っていた。一般的にイメージセンサ（撮像素子）からのＲＡＷ画像は、図２のようなベイヤー配列で並んだ画素で出力されるが、かかるベイヤー配列では、図２のように画素位置によって色（ＲＧＢ）が決まっているためにランダムな画素の入れ替えをすることができない。このため、歪み補正をＲＧＢ画像への変換後に行う必要があったのである。そこで、本実施の形態では、目的座標の画素を周辺画素から補間計算してつくり出すことにより、ＲＧＢ画像へ変換せずにＲＡＷ画像のまま歪み補正処理を行うことができるようにしている。
【００２２】
次に、ベイヤー配列の周辺画素の画素値から補間計算により目的座標の画素の画素値を演算する具体例について図３〜図６を参照して説明する。図３は本実施の形態による補間計算における補正係数の計算を説明するための図である。
【００２３】
（１）補間後の画素がＲ（赤）である場合
【００２４】
図４は本実施の形態において補間後の画素がＲ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＲであり、Ｒ→Ｒの場合（ａ）、同じくＢ→Ｒの場合（ｂ）、同じくoddＧ→Ｒの場合（ｃ）、同じくevenＧ→Ｒの場合（ｄ）を説明するための図である。
【００２５】
図４（ａ）のように、補間前の画素５１がＲである場合（Ｒ→Ｒ）、補間前のＲの画素５１の画素値をそのまま補間後の画素値とする。
【００２６】
図４（ｂ）のように、補間前の画素５２がＢである場合（Ｂ→Ｒ）、画素５２の周囲四隅にあるＲの４画素５２ａ，５２ｂ，５２ｃ，５２ｄの画素値Ｒ１，Ｒ２，Ｒ３，Ｒ４を用いて次式（数１）から補間後の画素値Ｒを求める。
【００２７】
【数１】
2009157733.tif 000003
【００２８】
ここで、各補正係数（coData0，coData1，coData2，coData3）は、図３に示す座標系で座標（Ｘ，Ｙ）の相対位置から計算でき、coData0＋coData1＝１，coData2＋coData3＝１である。
【００２９】
図４（ｃ）のように、補間前の画素５３が奇数番目のＧである場合（oddＧ→Ｒ）、画素５３の図の上下の画素５３ａ、５３ｃ及び図の右側で最も近い画素５３ｂ、５３ｄの４画素の画素値Ｒ１，Ｒ２，Ｒ３，Ｒ４を用いて上記式（数１）から補間後の画素値Ｒを求める。
【００３０】
図４（ｄ）のように、補間前の画素５４が偶数番目のＧである場合（evenＧ→Ｒ）、画素５４の図の左右の画素５３ａ、５３ｂ及び図の下側で最も近い画素５３ｃ、５３ｄの４画素の画素値Ｒ１，Ｒ２，Ｒ３，Ｒ４を用いて上記式（数１）から補間後の画素値Ｒを求める。
【００３１】
（２）補間後の画素がＢ（青）である場合
【００３２】
図５は本実施の形態において補間後の画素がＢ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＢであり、Ｂ→Ｂの場合（ａ）、同じくＲ→Ｂの場合（ｂ）、同じくoddＧ→Ｂの場合（ｃ）、同じくevenＧ→Ｂの場合（ｄ）を説明するための図である。
【００３３】
図５（ａ）のように、補間前の画素６１がＢである場合（Ｂ→Ｂ）、補間前のＢの画素６１の画素値をそのまま補間後の画素値とする。
【００３４】
図５（ｂ）のように、補間前の画素６２がＲである場合（Ｒ→Ｂ）、画素６２の周囲四隅にある４画素６２ａ，６２ｂ，６２ｃ，６２ｄの画素値Ｂ１，Ｂ２，Ｂ３，Ｂ４を用いて次式（数２）から補間後の画素値Ｂを求める。
【００３５】
【数２】
2009157733.tif 000004
【００３６】
ここで、各補正係数（coData0，coData1，coData2，coData3）は、図３に示す座標系で座標（Ｘ，Ｙ）の相対位置から計算でき、coData0＋coData1＝１，coData2＋coData3＝１である。
【００３７】
図５（ｃ）のように、補間前の画素６３が奇数番目のＧである場合（oddＧ→Ｂ）、画素６３の図の左右の画素６３ａ、６３ｂ及び図の下側で最も近い画素６３ｃ、６３ｄの４画素の画素値Ｂ１，Ｂ２，Ｂ３，Ｂ４を用いて上記式（数２）から補間後の画素値Ｂを求める。
【００３８】
図５（ｄ）のように、補間前の画素６４が偶数番目のＧである場合（evenＧ→Ｂ）、画素６４の図の上下の画素６４ａ、６４ｃ及び図の右側で最も近い画素６４ｂ、６４ｄの４画素の画素値Ｂ１，Ｂ２，Ｂ３，Ｂ４を用いて上記式（数２）から補間後の画素値Ｂを求める。
【００３９】
（３）補間後の画素がＧ（緑）である場合
【００４０】
図６は本実施の形態において補間後の画素がＧ（緑）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＧであり、Ｇ→Ｇの場合（ａ）、補間前の画素がＧ以外であり、Ｇ以外→Ｇの場合（ｂ）を説明するための図である。
【００４１】
図６（ａ）のように、補間前の画素７１がＧである場合（Ｇ→Ｇ）、画素７１の周囲四隅にあるＧの４画素７１ａ、７１ｂ、７１ｃ、７１ｄ及び画素７１の画素値Ｇ１，Ｇ２，Ｇ３，Ｇ４，Ｇ５を用いて次式（数３）から補間後の画素値Ｇを求める。
【００４２】
【数３】
2009157733.tif 000005
【００４３】
ここで、各補正係数（coData0，coData1，coData2，coData3）は、図３に示す座標系で座標（Ｘ，Ｙ）の相対位置から計算でき、coData0＋coData1＝１，coData2＋coData3＝１である。
【００４４】
図６（ｂ）のように、補間前の画素７２がＧ以外のＲまたはＢである場合（Ｇ以外→Ｇ）、画素７２の図の上下左右の画素７２ａ、７２ｂ、７２ｃ、７２ｄの４画素の画素値Ｇ１，Ｇ２，Ｇ３，Ｇ４を用いて次式（数４）から補間後の画素値Ｇを求める。
【００４５】
【数４】
2009157733.tif 000006
【００４６】
ここで、各補正係数（coData0，coData1，coData2，coData3）は、図３に示す座標系で座標（Ｘ，Ｙ）の相対位置から計算でき、coData0＋coData1＝１，coData2＋coData3＝１である。
【００４７】
以上のように、図１（ａ）、（ｂ）の歪み補正前の距離Ｌを歪み補正後の距離Ｌ’にして画素の入れ替えを行うことで歪み補正を行う際に、入れ替え前後で画素の色が異なる場合でも、入れ替え後の画素の画素値を入れ替え前の画素の周辺の４画素から補間計算することで精度よく求めることができ、従来のようにＲＧＢ変換せずにＲＡＷ画像のまま画像劣化の少ない歪み補正処理を行うことができる。
【００４８】
次に、本実施の形態による画像歪み補正装置について図７を参照して説明する。図７は本実施の形態による画像歪み補正装置の概略的構成を示すブロック図である。
【００４９】
図７に示すように、画像歪み補正装置１０は、撮影像からの光が広角レンズＡを通して入射する撮像素子１１と、カウンタ１２と、距離演算部１３と、歪み補正係数記憶部１４と、演算部１５と、補正ＬＵＴ算出部１６と、歪み補正処理部１７と、画像バッファメモリ１９と、メモリ制御部１８と、を備える。広角レンズＡは複数枚のレンズからなるレンズ光学系から構成され、広い画角の画像を得ることができる。
【００５０】
撮像素子１１は、多数の画素からなるＣＣＤやＣＭＯＳ等のイメージセンサから構成され、撮影像のＲＡＷ画像を図２のベイヤー配列にしたがって出力する。カウンタ１２は、撮像素子１１からの垂直同期信号ＶＤまたは水平同期信号ＨＤを検出して歪み補正後座標（Ｘ’，Ｙ’）を出力する。距離演算部１３は、図１（ｂ）のような歪み補正後座標（Ｘ’，Ｙ’）から中央からの距離Ｌ’を演算する。
【００５１】
歪み補正係数記憶部１４は、ＲＯＭやＲＡＭ等からなり、広角レンズＡのレンズ特性に応じた画像歪み補正係数を記憶する。演算部１５は、歪み補正後の中央からの距離Ｌ’及び歪み補正係数記憶部１４に記憶された画像歪み補正係数に基づいて歪み補正前の中央からの距離Ｌを演算するとともに、歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ’，Ｙ’）とから歪み補正前座標（Ｘ、Ｙ）を算出する。
【００５２】
補正ＬＵＴ算出部１６は、上述のようにして得られた各距離Ｌ、Ｌ’及び各座標（Ｘ、Ｙ）、（Ｘ’，Ｙ’）を対応付けた補正ＬＵＴ（ルックアップテーブル）を算出する。
【００５３】
歪み補正処理部１７は、入力したＲＡＷ画像データＰについて補正ＬＵＴ算出部１６で算出した補正ＬＵＴを参照して画素を入れ替えて歪み補正し、このとき、入れ替え後の各画素値を上述の図３〜図６のような補間計算により求めるようになっている。このようにして歪み補正処理部１７から歪み補正後のＲＡＷ画像データＰ’を出力する。
【００５４】
画像バッファメモリ１９は、撮像素子１１で撮影したＲＡＷ画像データを一時保存する。メモリ制御部１８は、画像バッファメモリ１９と歪み補正処理部１７との間のＲＡＷ画像データの出入力を制御する。
【００５５】
次に、図７の画像歪み補正装置１０における画像歪み補正の各ステップＳ０１〜Ｓ０５について図８のフローチャートを参照して説明する。
【００５６】
まず、撮像素子１１からの電気信号からカウンタ１２が垂直同期信号ＶＤまたは水平同期信号ＨＤを検出すると（Ｓ０１）、カウンタ１２から歪み補正後座標（Ｘ’、Ｙ’）を出力する（Ｓ０２）。この歪み補正後座標（Ｘ’、Ｙ’）の出力は、例えば、図１（ｂ）の歪み補正後画像の矩形領域の左上を起点（０，０）にして開始する。
【００５７】
次に、歪み補正後座標（Ｘ’、Ｙ’）から距離演算部１３で中央からの距離Ｌ’を算出する（Ｓ０３）。
【００５８】
次に、歪み補正係数記憶部１４から読み出した画像歪み補正係数に基づいて演算部１５で中央からの距離Ｌ’から歪み補正前の中央からの距離Ｌを算出する（Ｓ０４）。
【００５９】
次に、補正ＬＵＴ算出部１６で歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ’，Ｙ’）とから歪み補正前座標（Ｘ、Ｙ）を算出する（Ｓ０５）。
【００６０】
上述の各ステップＳ０１〜Ｓ０５を、図１（ｂ）の歪み補正後画像の矩形領域の左上を起点（０，０）にして１画素（ピクセル）ずつずらして右下の終点、例えば（６４０，４８０）までの各画素（ピクセル）について実行することで、図１（ｂ）の歪み補正後画像の全画素について歪み補正が行われる。
【００６１】
図７の撮像素子１１からのＲＡＷ画像データＰがいったん画像バッファメモリ１９に保存されてからメモリ制御部１８の制御によりＲＡＷ画像データが随時読み出されて歪み補正処理部１７に入力し、ＲＡＷ画像データについて補正ＬＵＴを参照して補正前の距離Ｌを補正後の距離Ｌ’にして画素を入れ替えることで歪み補正する際に、歪み補正後の各画素値を上述の図３〜図６のような補間計算により求める。かかる画素の入れ替え及び補間計算を図１（ｂ）の歪み補正後画像の全画素について行うことで歪み補正後の画像データＰ’を出力する。
【００６２】
以上のように、本実施の形態の画像歪み補正装置及び方法によれば、目的座標の画素の画素値を周辺画素の画素値から補間計算することで求めることにより、ＲＧＢ画像に変換せずにＲＡＷ画像のまま画像劣化の少ない歪み補正処理を行うことができる。このため、高速処理が可能となり、画素の入れ替えに必要なメモリ量を削減することができる。また、他の補間計算（バイリニア・バイキュービック）と同じように、画像のグラデーションが滑らかになるという効果も得られる。また、入出力がＲＡＷ画像になることでＩＳＰ処理を歪み補正処理の後に行うことができ、歪み補正をした画像に対してＩＳＰ処理による画像処理を行うことができる。
【００６３】
次に、図７の画像歪み補正装置を含む画像形成装置について図９を参照して説明する。図９は本実施の形態による画像形成装置の概略的構成を示すブロック図である。
【００６４】
図９のように、画像形成装置５０は、広角レンズＡと、図７の画像歪み補正装置１０と、ＩＳＰ処理部２０と、画像表示部３０と、画像メモリ部４０と、を備え、デジタルスチルカメラを構成可能である。
【００６５】
画像形成装置５０は、広角レンズＡを通して撮影像の光が図７の撮像素子１１に入射すると、撮像素子１１からのＲＡＷ画像データＰを上述の図３〜図８のように歪み補正処理し、その歪み補正後のＲＡＷ画像データＰ’がＩＳＰ処理部２０に入力し、歪み補正後のＲＡＷ画像についてＩＳＰ処理部２０でホワイトバランスや色補正やガンマ補正処理等の画像処理を行い、その画像処理後の画像を液晶等からなる画像表示部３０に表示するとともに、画像メモリ部４０に保存する。
【００６６】
以上のように、図９の画像形成装置５０によれば、広角レンズＡを通して得られたＲＡＷ画像を歪み補正処理したＲＡＷ画像をＩＳＰ処理部２０に出力し、歪み補正後のＲＡＷ画像に対してＩＳＰ処理を行うので、ＩＳＰ処理の前に歪み補正処理をすることができる。このように、歪み補正後のＲＡＷ画像に対してＩＳＰ処理を行うため、より自然な画像を得ることができる。
【００６７】
以上のように本発明を実施するための最良の形態について説明したが、本発明はこれらに限定されるものではなく、本発明の技術的思想の範囲内で各種の変形が可能である。例えば、図７，図９では、撮像素子１１に前置されるレンズを広角レンズとしたが、本発明はこれらに限定されず、広視野画像を得ることのできる魚眼レンズであってもよく、さらに、歪み補正の必要な他のレンズであってもよい。
【図面の簡単な説明】
【００６８】
【図１】本実施の形態において画像歪み補正前の画像を説明するための図（ａ）及び画像歪み補正後の画像を説明するための図（ｂ）である。
【図２】撮像素子からのＲＡＷ画像における一般的なベイヤー(Bayer)配列を模式的に示す図である。
【図３】本実施の形態による補間計算における補正係数の計算を説明するための図である。
【図４】本実施の形態において補間後の画素がＲ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＲであり、Ｒ→Ｒの場合（ａ）、同じくＢ→Ｒの場合（ｂ）、同じくoddＧ→Ｒの場合（ｃ）、同じくevenＧ→Ｒの場合（ｄ）を説明するための図である。
【図５】本実施の形態において補間後の画素がＢ（赤）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＢであり、Ｂ→Ｂの場合（ａ）、同じくＲ→Ｂの場合（ｂ）、同じくoddＧ→Ｂの場合（ｃ）、同じくevenＧ→Ｂの場合（ｄ）を説明するための図である。
【図６】本実施の形態において補間後の画素がＧ（緑）である場合に補間計算に用いる周辺画素を示す図であり、補間前の画素がＧであり、Ｇ→Ｇの場合（ａ）、補間前の画素がＧ以外であり、Ｇ以外→Ｇの場合（ｂ）を説明するための図である。
【図７】本実施の形態による画像歪み補正装置の概略的構成を示すブロック図である。
【図８】図７の画像歪み補正装置１０による画像歪み補正の各ステップＳ０１〜Ｓ０５を説明するためのフローチャートである。
【図９】本実施の形態による画像形成装置の概略的構成を示すブロック図である。
【符号の説明】
【００６９】
１０ 画像歪み補正装置
１１ 撮像素子
１６ 補正ＬＵＴ算出部
１７ 歪み補正処理部（補正制御手段）
１８ メモリ制御部
１９ 画像バッファメモリ
２０ ＩＳＰ処理部（画像処理部）
３０ 画像表示部
４０ 画像メモリ部
５０ 画像形成装置
Ａ 広角レンズ（レンズ光学系）
Ｌ 歪み補正前の中心からの距離
Ｌ’ 歪み補正後の中心からの距離
【図１】
2009157733.tif 000007
【図２】
2009157733.tif 000008
【図３】
2009157733.tif 000009
【図４】
2009157733.tif 000010
【図５】
2009157733.tif 000011
【図６】
2009157733.tif 000012
【図７】
2009157733.tif 000013
【図８】
2009157733.tif 000014
【図９】
2009157733.tif 000015