(57)【要約】【課題】画質がよく、メモリー容量を削減でき、高速で歪み補正処理を行うことができる画像処理装置を提供する。【解決手段】記憶部１１１は、複数の画像バッファメモリーを有し、取得した画像データを記憶する。ＲＧＢ／ＹＣＣ変換部１０８は、撮像素子１０１によって得られた複数の画素データをそれぞれ輝度信号と色差信号とに変換する。メモリー制御部１１０は、ＲＧＢ／ＹＣＣ変換部１０８によって変換された複数の画素データからなる歪み補正処理前の画像データを所定の大きさの領域毎に分け、該領域毎に分けられた画像データを所定の順序で切り換えて複数のメモリーに記憶させる。歪み補正処理部１０９は、複数の画像バッファメモリーから領域毎に画像データを読み出して歪み補正処理を行う。【選択図】図２
2014092828.tif 000002
【特許請求の範囲】
【請求項１】
光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
複数のメモリーを有し、前記取得した画像データを記憶する記憶部と、
前記撮像素子によって得られた複数の画素データをそれぞれ輝度信号と色差信号とに変換する画像信号変換部と、
前記画像信号変換部によって変換された前記複数の画素データからなる前記歪み補正処理前の画像データを所定の大きさの領域毎に分け、該領域毎に分けられた画像データを所定の順序で切り換えて前記複数のメモリーに記憶させるメモリー制御部と、
前記複数のメモリーから前記領域毎に画像データを読み出して前記歪み補正処理を行う歪み補正処理部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記画像信号変換部は、前記輝度信号と前記色差信号とに変換した各画素データを、前記色差信号のデータ量が前記輝度信号に対して１／４以下となる画像フォーマットに変換することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記画像信号変換部は、前記輝度信号と前記色差信号とに変換した各画素データを、４：２：０フォーマットに変換することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記画像信号変換部は、変換後の各画素データを、８ｂｉｔのデータサイズからなる輝度信号と、６ｂｉｔ以下のデータサイズからなる色差信号とにすることを特徴とする請求項１〜３の何れか一項に記載の画像処理装置。
【請求項５】
前記記憶部は、２ｎ（ｎ≧２）個のメモリーを有し、
前記歪み補正処理部は、前記歪み補正処理を行う際に、周囲の１６画素の輝度信号及び前記周囲の１６画素のうちの少なくとも一部の画素の色差信号を用いて補間して歪み補正処理後の画素の画素値を得ることを特徴とする請求項１〜４の何れか一項に記載の画像処理装置。
【請求項６】
前記歪み補正処理部は、前記周囲の１６画素についてエッジ領域か否かを判定し、前記周囲の１６画素のうちエッジ領域と判定された画素を含まない画素の輝度信号及び色差信号を用いて補間して歪み補正処理後の画素の画素値を得ることを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記歪み補正処理部は、前記周囲の１６画素のうちエッジ領域と判定された画素があるときは、前記周囲の１６画素のうちエッジ領域と判定された画素を含まない画素に対して当該エッジ領域と判定された画素の位置とは反対の位置に補間の対象とする画素を拡張することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記歪み補正処理部は、歪み補正処理後の座標から所定の歪み補正係数を用いて歪み補正処理前の座標を算出するとともに、前記歪み補正処理前の座標の周囲の１６画素の輝度信号及び前記周囲の１６画素のうちの少なくとも一部の画素の色差信号を用いた補間を行うときに前記歪み補正処理前の座標からの距離に応じた重み付け量で重み付けをすることを特徴とする請求項５〜７の何れか一項に記載の画像処理装置。
【請求項９】
前記歪み補正処理部は、前記歪み補正処理前の座標の周囲の１６画素のうち前記歪み補正処理前の座標の近傍の４画素に対する重み付け量と、該４画素の周囲の画素に対する重み付け量とを異ならせて補間を行うことを特徴とする請求項８に記載の画像処理装置。
【請求項１０】
前記歪み補正処理部は、前記画像データから特定される画像の中心からの距離に応じて、前記歪み補正処理前の座標の周囲の１６画素のうち前記歪み補正処理前の座標の近傍の４画素に対する重み付け量と、該４画素の周囲の画素に対する重み付け量とを設定することを特徴とする請求項９に記載の画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置に関する。
【背景技術】
【０００２】
従来、車載用カメラやセキュリティ用監視カメラ等の撮像装置において広角レンズ・魚眼レンズが広く使われている。このような焦点距離の短いレンズや画角の大きなレンズを備えた光学系により撮影した画像は歪曲を伴うため、歪曲を補正する画像処理が行われていた。
【０００３】
このような画像処理を行う画像処理装置において、例えば、歪み補正処理後の座標に対して歪み補正ＬＵＴ（Look Up Table）等のテーブルを用いて歪み補正処理前の座標を求め、その近傍の画素を補間して歪み補正処理後の座標における画素データを生成するようにしたものが広く知られている（例えば、特許文献１）。
【０００４】
そして、このような画像処理装置において、ＹＵＶフォーマットやＹＣｂＣｒフォーマットにて画素の補間を行うようにしたものがある。このように構成された画像処理装置では、ＲＧＢフォーマットにて画素の補間を行うものに比べて偽色が減少されて画質を向上させることができるとともに、画素データの圧縮が可能であるのでメモリー容量の削減が可能である（例えば、特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−１５７７３３号公報
【特許文献２】米国特許７８８１５６３号明細書
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記特許文献２に記載の画像処理装置では、例えば、歪み補正処理前の座標の周辺４画素を補間して歪み補正処理後の座標における画素データを生成する場合には、図１７（ａ）に示すように、歪み補正ＬＵＴデータの１回の読み出しサイクル毎に少なくとも４画素分の輝度信号（Ｙ）及び色差信号（Ｃｂ・Ｃｒ）をそれぞれのメモリーから読み出す必要がある。ところが、色差信号（Ｃｂ・Ｃｒ）については通常は圧縮されてメモリーに保存されるため、歪み補正ＬＵＴデータの読み出しサイクル毎に必要なデータをメモリーから読み出すことは可能であるが、輝度信号（Ｙ）については画質が低下するために通常は圧縮されずにメモリーに保存される。そのため、４画素分の輝度信号（Ｙ）の読み出し中において次の歪み補正ＬＵＴデータの読み出しサイクルが到達してしまい、読み出し中の輝度信号（Ｙ）の読み出しと次の歪み補正ＬＵＴデータの読み出しサイクルに伴う輝度信号（Ｙ）の読み出しとが競合してしまう場合がある。この競合を回避するには、図１７（ｂ）に示すように、歪み補正ＬＵＴデータの読み出しサイクルを大きくすることが考えられるが、フレームレートが低下してしまう問題がある。
【０００７】
本発明の課題は、画質がよく、メモリー容量を削減でき、高速で歪み補正処理を行うことができる画像処理装置を提供することである。
【課題を解決するための手段】
【０００８】
以上の課題を解決するため、請求項１に記載の発明は、光学系を介して複数の画素を有する撮像素子に受光して得られた複数の画素データを用いて歪み補正処理した画像データを得る画像処理装置であって、
複数のメモリーを有し、前記取得した画像データを記憶する記憶部と、
前記撮像素子によって得られた複数の画素データをそれぞれ輝度信号と色差信号とに変換する画像信号変換部と、
前記画像信号変換部によって変換された前記複数の画素データからなる前記歪み補正処理前の画像データを所定の大きさの領域毎に分け、該領域毎に分けられた画像データを所定の順序で切り換えて前記複数のメモリーに記憶させるメモリー制御部と、
前記複数のメモリーから前記領域毎に画像データを読み出して前記歪み補正処理を行う歪み補正処理部と、
を備えたことを特徴とする。
【０００９】
請求項２に記載の発明は、請求項１に記載の画像処理装置において、
前記画像信号変換部は、前記輝度信号と前記色差信号とに変換した各画素データを、前記色差信号のデータ量が前記輝度信号に対して１／４以下となる画像フォーマットに変換することを特徴とする。
【００１０】
請求項３に記載の発明は、請求項２に記載の画像処理装置において、
前記画像信号変換部は、前記輝度信号と前記色差信号とに変換した各画素データを、４：２：０フォーマットに変換することを特徴とする。
【００１１】
請求項４に記載の発明は、請求項１〜３の何れか一項に記載の画像処理装置において、
前記画像信号変換部は、変換後の各画素データを、８ｂｉｔのデータサイズからなる輝度信号と、６ｂｉｔ以下のデータサイズからなる色差信号とにすることを特徴とする。
【００１２】
請求項５に記載の発明は、請求項１〜４の何れか一項に記載の画像処理装置において、
前記記憶部は、２ｎ（ｎ≧２）個のメモリーを有し、
前記歪み補正処理部は、前記歪み補正処理を行う際に、周囲の１６画素の輝度信号及び前記周囲の１６画素のうちの少なくとも一部の画素の色差信号を用いて補間して歪み補正処理後の画素の画素値を得ることを特徴とする。
【００１３】
請求項６に記載の発明は、請求項５に記載の画像処理装置において、
前記歪み補正処理部は、前記周囲の１６画素についてエッジ領域か否かを判定し、前記周囲の１６画素のうちエッジ領域と判定された画素を含まない画素の輝度信号及び色差信号を用いて補間して歪み補正処理後の画素の画素値を得ることを特徴とする。
【００１４】
請求項７に記載の発明は、請求項６に記載の画像処理装置において、
前記歪み補正処理部は、前記周囲の１６画素のうちエッジ領域と判定された画素があるときは、前記周囲の１６画素のうちエッジ領域と判定された画素を含まない画素に対して当該エッジ領域と判定された画素の位置とは反対の位置に補間の対象とする画素を拡張することを特徴とする。
【００１５】
請求項８に記載の発明は、請求項５〜７の何れか一項に記載の画像処理装置において、
前記歪み補正処理部は、歪み補正処理後の座標から所定の歪み補正係数を用いて歪み補正処理前の座標を算出するとともに、前記歪み補正処理前の座標の周囲の１６画素の輝度信号及び前記周囲の１６画素のうちの少なくとも一部の画素の色差信号を用いた補間を行うときに前記歪み補正処理前の座標からの距離に応じた重み付け量で重み付けをすることを特徴とする。
【００１６】
請求項９に記載の発明は、請求項８に記載の画像処理装置において、
前記歪み補正処理部は、前記歪み補正処理前の座標の周囲の１６画素のうち前記歪み補正処理前の座標の近傍の４画素に対する重み付け量と、該４画素の周囲の画素に対する重み付け量とを異ならせて補間を行うことを特徴とする。
【００１７】
請求項１０に記載の発明は、請求項９に記載の画像処理装置において、
前記歪み補正処理部は、前記画像データから特定される画像の中心からの距離に応じて、前記歪み補正処理前の座標の周囲の１６画素のうち前記歪み補正処理前の座標の近傍の４画素に対する重み付け量と、該４画素の周囲の画素に対する重み付け量とを設定することを特徴とする。
【発明の効果】
【００１８】
本発明によれば、画質がよく、メモリー容量を削減でき、高速で歪み補正処理を行うことができる。
【図面の簡単な説明】
【００１９】
【図１】（ａ）は、本実施の形態において画像歪み補正前の画像を説明するための図であり、（ｂ）は、画像歪み補正後の画像を説明するための図である。
【図２】本実施の形態による画像処理装置の概要的構成を示すブロック図である。
【図３】撮像素子からのＲＡＷ画像における一般的なベイヤー（Bayer）配列を模式的に示す図である。
【図４】本実施の形態による補間計算における補正係数の計算を説明するための図である。
【図５】歪み補正前座標とその周辺４画素との関係について説明する図である。
【図６】輝度信号の画像バッファメモリーへの保存について説明する図である。
【図７】画像歪み補正の手順について説明するフローチャートである。
【図８】画像バッファメモリーからの画素の読み出しについて説明する図である。
【図９】画素の読み出しタイミングについて説明する図である。
【図１０】撮像装置の概略的構成を示すブロック図である。
【図１１】第２の実施の形態における画像処理装置の記憶部の概略的構成を示すブロック図である。
【図１２】輝度信号の画像バッファメモリーへの保存について説明する図である。
【図１３】歪み補正前座標とその周辺１６画素との関係について説明する図である。
【図１４】画素の読み出しタイミングについて説明する図である。
【図１５】歪み補正前座標と中央との距離と歪曲収差との関係について説明する図である。
【図１６】エッジ領域を含む画素の補間計算について説明する図である。
【図１７】従来の画像処理装置における画素の読み出しタイミングについて説明する図である。
【発明を実施するための形態】
【００２０】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、発明の範囲は図示例に限定されない。
【００２１】
広角レンズや魚眼レンズで得た画像の歪み補正は、図１（ａ）、（ｂ）のように画素を入れ替えることで行われる。すなわち、図１（ａ）のように、画像歪み補正前の円形画像領域内のある点の画素座標を（Ｘ，Ｙ）とし、その歪み補正後の矩形画像領域内の画素座標を（Ｘ´，Ｙ´）とすると、（Ｘ，Ｙ）→（Ｘ´，Ｙ´）として補正前の画素を補正後の画素に入れ替えるが、中央（０，０）からの距離をＬとし、その点に対応する歪み補正後の中央（０，０）からの距離をＬ´とすると、Ｌ→Ｌ´として補正前の画素を補正後の画素に入れ替える。
【００２２】
上述の図１（ａ）、（ｂ）の歪み補正前の距離Ｌと歪み補正後の距離Ｌ´との関係を画像歪み補正係数として広角レンズや魚眼レンズのレンズ特性に基づいて予め求めておき、かかる画像歪み補正係数に基づいて撮影画像に対してＬ→Ｌ´とする画素の入れ替えを行うことで歪み補正を行うことができる。
【００２３】
（第１の実施の形態）
次に、第１の実施の形態における画像処理装置について図２を参照しながら説明する。
【００２４】
図２に示すように、画像処理装置１０は、撮影像からの光が広角レンズＡを通して入射する撮像素子１０１と、カウンター１０２と、距離演算部１０３と、歪み補正係数記憶部１０４と、演算部１０５と、補正ＬＵＴ算出部１０６と、ＲＧＢ処理部１０７と、ＲＧＢ／ＹＣＣ変換部１０８と、歪み補正処理部１０９と、メモリー制御部１１０と、記憶部１１１とを備えている。広角レンズＡは複数枚のレンズからなるレンズ光学系から構成され、広い画角の画像を得ることができる。なお、本実施の形態では、広角レンズＡに代えて魚眼レンズや歪み補正の必要な他のレンズを適用することもできる。
【００２５】
撮像素子１０１は、多数の画素からなるＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等のイメージセンサーから構成され、撮影像のＲＡＷ画像を図３に示されるようなベイヤー配列にしたがって出力する。カウンター１０２は、撮像素子１０１からの垂直同期信号ＶＤ又は水平同期信号ＨＤを検出して歪み補正後座標（Ｘ´，Ｙ´）を出力する。距離演算部１０３は、図１（ｂ）に示すように、歪み補正後座標（Ｘ´，Ｙ´）から、中央（０，０）からの距離Ｌ´を演算する。
【００２６】
歪み補正係数記憶部１０４は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）等からなり、広角レンズＡのレンズ特性に応じた画像歪み補正係数を記憶する。演算部１０５は、歪み補正後の中央からの距離Ｌ´及び歪み補正係数記憶部１０４に記憶された画像歪み補正係数に基づいて歪み補正前の中央からの距離Ｌを演算するとともに、歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ´，Ｙ´）とから歪み補正前座標（Ｘ，Ｙ）を算出する。
【００２７】
補正ＬＵＴ算出部１０６は、上述のようにして得られた各距離Ｌ、Ｌ´及び各座標（Ｘ，Ｙ）、（Ｘ´，Ｙ´）を対応付けた補正ＬＵＴ（Look Up Table）を算出する。
【００２８】
ＲＧＢ処理部１０７は、入力したベイヤー配列であるＲＡＷ画像データについて画素毎にＲＧＢの各画素値を算出する。具体的には、ＲＧＢ処理部１０７は、画素値を算出すべき画素の近傍の複数の画素を補間してＲＧＢの各画素値を得る。ＲＡＷ画像データは、例えば、図３に示すように、上から３番目、左から３番目の画素にはＧの画素値が入力されている。この画素について、まず上下の画素にＲの画素値が入力されているので、これらの画素の画素値を補間してＲの画素値を求める。そして、左右の画素にＢの画素値が入力されているので、これらの画素の画素値を補間してＢの画素値を求める。Ｇの画素値については、この画素にはＧの画素値が入力されているのでこれをそのまま用いる。なお、この画素の斜め４か所に隣接する画素にはＧの画素値が入力されているので、これらを補間してＧの画素値を求めるようにしてもよい。また、補間の方法は上述したものに限定されず、適宜の方法を採用することができる。以上のようにして、各画素についてＲＧＢの画素値を得ることができる。
【００２９】
ＲＧＢ／ＹＣＣ変換部１０８は、ＲＧＢ処理部１０７において各画素にＲＧＢの画素値が入力された画像データをＹＣｂＣｒフォーマットに変換する。具体的には、ＲＧＢ／ＹＣＣ変換部１０８は、各画素に入力されたＲＧＢの各画素値から下記式（１）〜（３）により、輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）をそれぞれ求めることにより、ＹＣｂＣｒフォーマットに変換することができる。
Ｙ  ＝0.29891R＋0.58661G＋0.11448B  ・・・（１）
Ｃｂ＝−0.16874R−0.33126G＋0.50000B＋128  ・・・（２）
Ｃｒ＝0.50000R−0.41869G−0.08131B＋128  ・・・（３）
【００３０】
また、ＲＧＢ／ＹＣＣ変換部１０８は、上述のようにしてＹＣｂＣｒフォーマットに変換された画素値を、４：２：０フォーマットに圧縮する。すなわち、ＲＧＢ／ＹＣＣ変換部１０８は、色差信号（Ｃｂ，Ｃｒ）をそれぞれ輝度信号（Ｙ）に対して１／４となるように圧縮する。なお、輝度信号（Ｙ）に対する色差信号（Ｃｂ，Ｃｒ）のデータの圧縮比率は１／４に限らず、それ以下であってもよく、例えば、１／８や１／１６としてもよい。また、４：１：１フォーマットや４：２：２フォーマットにより圧縮するようにしてもよい。
【００３１】
上述した輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）は、それぞれ８ｂｉｔのデータによって構成されているが、本実施の形態では、ＲＧＢ／ＹＣＣ変換部１０８は、色差信号（Ｃｂ，Ｃｒ）については、それぞれ８ｂｉｔからなるデータのうちの下位２ｂｉｔを削除し、６ｂｉｔのデータに変換する。これにより、メモリーのバス幅を小さくすることができ、コストの低減を図ることができるようになる。なお、８ｂｉｔからなる色差信号（Ｃｂ，Ｃｒ）を、５ｂｉｔ以下に変換するようにしてもよい。また、色差信号のデータの削除を行わず、８ｂｉｔのままとしてもよい。
【００３２】
このように、ＲＧＢ／ＹＣＣ変換部１０８は、撮像素子によって得られた複数の画素データをそれぞれ輝度信号と色差信号とに変換する画像信号変換部として機能する。
【００３３】
歪み補正処理部１０９は、ＹＣｂＣｒフォーマットに変換された画像データについて補正ＬＵＴ算出部１０６で算出した補正ＬＵＴを参照して画素を入れ替えて歪み補正し、このとき、入れ替え後の各画素値を補間計算により求める。ここで、図４は、本実施の形態による補間計算における補正係数の計算を説明するための図である。
【００３４】
具体的には、以下のようにして入れ替え後の各画素値を求めることができる。
まず、上述のようにして得られた歪み補正前座標（Ｘ，Ｙ）の周辺４画素を用いて、下記式（４）〜（６）により、輝度信号（Ｙ）及び色差信号（Ｃｂ，Ｃｒ）で表された画素値を求める。ここで、Ｙ１〜Ｙ４は、図５（ａ）に示される位置における輝度信号（Ｙ）の画素値を表し、Ｃｂ１〜Ｃｂ４は、図５（ｂ）に示される位置における色差信号（Ｃｂ）の画素値を表し、Ｃｒ１〜Ｃｒ４は、図５（ｃ）に示される位置における色差信号（Ｃｒ）の画素値を表す。
Ｙ  ＝coData0・coData1・Y1＋coData2・coData1・Y2
＋coData0・coData3・Y3＋coData2・coData3・Y4  ・・・（４）
Ｃｂ＝coData0・coData1・Cb1＋coData2・coData1・Cb2
＋coData0・coData3・Cb3＋coData2・coData3・Cb4  ・・・（５）
Ｃｒ＝coData0・coData1・Cr1＋coData2・coData1・Cr2
＋coData0・coData3・Cr3＋coData2・coData3・Cr4  ・・・（６）
【００３５】
歪み補正処理部１０９は、以上のようにして求めた画像データＰを出力する。
【００３６】
記憶部１１１は、輝度信号（Ｙ）で表された画像データを保存するための２つの画像バッファメモリーと、色差信号（Ｃｂ，Ｃｒ）で表された画像データを保存するための２つの画像バッファメモリーとを備えており、これらにより撮像素子１０１で撮影されてＹＣｂＣｒフォーマットに変換された画像データを一時保存する。メモリー制御部１１０は、記憶部１１１と歪み補正処理部１０９との間の画像データの出入力を制御する。
【００３７】
本実施の形態では、メモリー制御部１１０により、連続する２画素を１単位のブロック画素（所定の大きさの領域）として画像バッファメモリーを切り換えて画像データを保存するようにしている。すなわち、メモリー制御部１１０は、ＲＧＢ／ＹＣＣ変換部１０８によって変換された複数の画素データからなる歪み補正処理前の画像データを所定の大きさの領域毎に分け、該領域毎に分けられた画像データを所定の順序で切り換えて複数の画像バッファメモリーに記憶させる。具体的には、例えば、画像データのうちの輝度信号（Ｙ）を保存する場合には、図６に示すように、まず、画像データの左上から連続する２画素（Ｙ１−１，Ｙ１−２）のデータをブロック画素として画像バッファメモリーＹ１に保存する。続いて、これに連続する２画素（Ｙ１−３，Ｙ１−４）のデータをブロック画素として画像バッファメモリーＹ２に保存する。以降は、同様にして保存先を画像バッファメモリーＹ１と画像バッファメモリーＹ２とに切り換えながら２画素をブロック単位としたデータの保存を行う。また、画像バッファメモリーからデータを読み出す場合には、読出し要求毎にブロック単位での画素のデータの読み出しが行われる。以上の動作は、色差信号（Ｃｂ，Ｃｒ）を保存する場合も同様である。
【００３８】
次に、図２の画像処理装置１０における画像歪み補正処理について図７を参照しながら説明する。
【００３９】
まず、撮像素子１０１からの電気信号からカウンター１０２が垂直同期信号ＶＤ又は水平同期信号ＨＤを検出すると（ステップＳ１０１）、カウンター１０２から歪み補正後座標（Ｘ´，Ｙ´）を出力する（ステップＳ１０２）。この歪み補正後座標（Ｘ´，Ｙ´）の出力は、例えば、図１（ｂ）の歪み補正後画像の矩形領域の左上を基点（０，０）にして開始する。
【００４０】
次に、歪み補正後座標（Ｘ´，Ｙ´）から距離演算部１０３で中央からの距離Ｌ´を算出する（ステップＳ１０３）。
【００４１】
次に、歪み補正係数記憶部１０４から読み出した画像歪み補正係数に基づいて演算部１０５で中央からの距離Ｌ´から歪み補正前の中央からの距離Ｌを算出する（ステップＳ１０４）。
【００４２】
次に、補正ＬＵＴ算出部１０６で歪み補正前の中央からの距離Ｌと歪み補正後座標（Ｘ´，Ｙ´）とから歪み補正前座標（Ｘ，Ｙ）を算出する（ステップＳ１０５）。
【００４３】
上述の各ステップＳ１０１〜Ｓ１０５を、図１（ｂ）の歪み補正後画像の矩形領域の左上を起点（０，０）にして１画素ずつずらして右下の終点（例えば、（６４０，４８０））までの各画素について実行することで、図１（ｂ）の歪み補正後画像の全画素について歪み補正が行われる。
【００４４】
図２の撮像素子１０１からのＲＡＷ画像データがＹＣｂＣｒの４：２：０フォーマットに変換されて記憶部１１１に保存されてからメモリー制御部１１０の制御により画像データが随時読み出されて歪み補正処理部１０９に入力され、画像データについて補正ＬＵＴを参照して補正前の距離Ｌを補正後の距離Ｌ´にして画素を入れ替えることで歪み補正をする際に、歪み補正後の各画素値を上述したような補間計算により求める。かかる画素の入れ替え及び補間計算を図１（ｂ）の歪み補正後画像の全画素について行うことで歪み補正後の画像データＰを出力する。
【００４５】
ここで、上述した補正前座標（Ｘ，Ｙ）の周辺４画素を用いた補間計算の処理の要領について具体的に説明する。
【００４６】
図８（ａ）は、２つのブロック画素（２×２画素）のデータを読み出すことにより補間計算を行うことができる場合の例を示している。すなわち、図８（ａ）の例では、２つのブロック画素（１ａ，１ｂ）を画像バッファメモリーから読み出すことにより、補間計算に必要な補正前座標（Ｘ，Ｙ）の周辺４画素のデータを全て読み出すことができる。このような場合は、最大で２回の画素の読出し要求により読み出しに必要な画素の全てを読み出すことができる。
【００４７】
具体的には、図９に示すように、例えば、１回目の補正ＬＵＴの読み出しが行われた後、この補正ＬＵＴの示す補正前座標（Ｘ，Ｙ）の周辺４画素のデータが何れも画像バッファメモリーＹ１に保存されていた場合でも、２回の読出し要求でこの周辺４画素のデータを読み出すことができる。このような場合には、２回目の補正ＬＵＴに対応する画素データの読み出しタイミングが遅延することがなく、高速フレームレートによる出力が維持される。なお、２つのブロック画素（１ａ，１ｂ）がそれぞれ画像バッファメモリーＹ１及び画像バッファメモリーＹ２に保存されている場合には、画像バッファメモリーＹ１及び画像バッファメモリーＹ２に対する１度の読出し要求でそれぞれブロック画素の読み出しを行うことができる。すなわち、１回の読出し要求で周辺４画素のデータを一度に読み出すことが可能である。
【００４８】
一方、図８（ｂ）は、２つのブロック画素のデータの読み出しでは補間計算に必要な周辺４画素のデータを読み出すことができず、４つのブロック画素のデータを読み出すことにより補間計算が可能となる場合の例を示している。すなわち、図８（ｂ）の例では、周辺４画素のうちの左上の１画素がブロック画素（３ａ）に含まれて画像バッファメモリーＹ１に保存されており、この左上の画素の右側に隣接する右上の１画素がブロック画素（３ｂ）に含まれて画像バッファメモリーＹ２に保存されている。これは、上述したように、保存先を画像バッファメモリーＹ１と画像バッファメモリーＹ２とに切り換えながら２画素をブロック単位としたデータの保存が行われているからである。同様に、周辺４画素のうちの左上の画素の下方に隣接する左下の１画素がブロック画素（３ｃ）に含まれて画像バッファメモリーＹ１に保存されており、この左下の画素の右側に隣接する右下の１画素がブロック画素（３ｄ）に含まれて画像バッファメモリーＹ２に保存されている。したがって、補間計算に必要な補正前座標（Ｘ，Ｙ）の周辺４画素のデータを全て読み出すためには、最大で４つのブロック画素のデータの読み出しが必要ということになる。
【００４９】
本実施の形態では、このような場合には、図９に示すように、例えば、３回目の補正ＬＵＴの読み出しが行われた後、１度目の読出し要求により、画像バッファメモリーＹ１から画素ブロック（３ａ）が、画像バッファメモリーＹ２から画素ブロック（３ｂ）がそれぞれ読み出される。続いて、２度目の読出し要求により、画像バッファメモリーＹ１から画素ブロック（３ｃ）が、画像バッファメモリーＹ２から画素ブロック（３ｄ）がそれぞれ読み出される。これにより、４回目の補正ＬＵＴに対応する画素データの読み出しタイミングが遅延することがなく、高速フレームレートによる出力が維持される。
【００５０】
このように、本実施の形態では、ＲＧＢフォーマットからＹＣｂＣｒフォーマットに変換して歪み補正処理を行うので、偽色が減少されて画質を向上させることができるようになる。また、画像データを圧縮して４：２：０フォーマットに変換して歪み補正処理を行うので、メモリー容量を削減することができる。さらに、本実施の形態では、複数の画像バッファメモリーを設け、画像バッファメモリーを切り換えて画素データ（ブロック画素）を保存及び読み出しを行って歪み補正処理を行うので、画素データの読み出し速度を向上させることができるようになる。
【００５１】
次に、図２の画像処理装置を含む撮像装置について図１０を参照しながら説明する。
【００５２】
図１０に示すように、撮像装置５０は、広角レンズＡと、図２の画像処理装置１０と、ＩＳＰ処理部２０と、画像表示部３０と、画像メモリー部４０とを備え、デジタルスチルカメラを構成可能である。
【００５３】
撮像装置５０は、広角レンズＡを通して撮影像の光が図２の撮像素子１０１に入射されると、撮像素子１０１からのＲＡＷ画像データに基づいて上述のようにして歪み補正処理が行われる。そして、その歪み補正後の画像データＰがＩＳＰ処理部２０に入力され、歪み補正後の画像についてＩＳＰ処理部２０でホワイトバランスや色補正やガンマ補正処理等の画像処理が行われる。その画像処理後の画像が液晶等からなる画像表示部３０に表示されるとともに、画像メモリー部４０に保存される。
【００５４】
以上のように、図１０の撮像装置５０によれば、広角レンズＡを通して得られたＲＡＷ画像に基づいて歪み補正処理された画像をＩＳＰ処理部２０に出力し、歪み補正後の画像に対してＩＳＰ処理が行われるので、ＩＳＰ処理の前に歪み補正処理をすることができる。そのため、より自然な画像を得ることができるようになる。
【００５５】
（第２の実施の形態）
次に、第２の実施の形態について説明する。第２の実施の形態は、記憶部が第１の実施の形態と異なる他は、第１の実施の形態と同様の構成であるので、第２の実施の形態では第１の実施の形態とは異なる部分のみ説明し、第１の実施の形態と同様の構成については説明を省略する。
【００５６】
第２の実施の形態における記憶部１１１ａは、図１１に示すように、輝度信号（Ｙ）で表された画像データを保存するための４つの画像バッファメモリーと、色差信号（Ｃｂ，Ｃｒ）で表された画像を保存するための４つの画像バッファメモリーとを備えており、これらにより撮像素子１０１で撮影されてＹＣｂＣｒフォーマットに変換された画像データを一時保存する。
【００５７】
第２の実施の形態においても、連続する２画素を１単位のブロック画素として画像バッファメモリーを切り換えて画像データを保存するようにしている。具体的には、例えば、画像データのうちの輝度信号（Ｙ）を保存する場合には、図１２に示すように、まず、画像データの左上から連続する２画素（Ｙ１−１，Ｙ１−２）のデータをブロック画素として画像バッファメモリーＹ１１に保存する。続いて、これに主走査方向（水平方向）に連続する２画素（Ｙ１−３，Ｙ１−４）のデータをブロック画素として画像バッファメモリーＹ１２に保存する。以降は、同様にして保存先を画像バッファメモリーＹ１１と画像バッファメモリーＹ１２とに切り替えながら２画素をブロック単位としたデータの保存を行う。そして、主走査方向への画像バッファメモリーへのブロック画素の保存が完了すると、次に、副走査方向（垂直方向）に隣接する画素の画像バッファメモリーへの保存を行うが、本実施の形態では、まず、左端から連続する２画素（Ｙ２−１，Ｙ２−２）のデータをブロック画素として画像バッファメモリーＹ２１に保存する。続いて、これに主走査方向に連続する２画素（Ｙ２−３，Ｙ２−４）のデータをブロック画素として画像バッファメモリーＹ２２に保存する。以降は、同様にして保存先を画像バッファメモリーＹ２１と画像バッファメモリーＹ２２とに切り替えながら２画素をブロック単位としたデータの保存を行う。以降は、画像バッファメモリーＹ１１及び画像バッファメモリーＹ１２へのブロック画素の保存、画像バッファメモリーＹ２１及び画像バッファメモリーＹ２２へのブロック画素の保存を副走査方向に移行する毎に切り換え、これを繰り返し実行することにより、画像データの保存を行う。
【００５８】
また、第２の実施の形態では、歪み補正処理部１０９は、歪み補正前座標（Ｘ，Ｙ）の周辺１６画素を用いて補間計算により入れ替え後の各画素値を求める。
ここで、歪み補正前座標（Ｘ，Ｙ）の周辺１６画素を用いた補間計算の処理の要領について具体的に説明する。
【００５９】
図１３は、８つのブロック画素のデータを読み出すことにより補間計算が可能となる場合の例を示している。すなわち、図１３の例では、左上の第１の画素と第２の画素とからなるブロック画素（１ａ）は画像バッファメモリーＹ１１に保存されており、この左上のブロック画素の右側に隣接する第３の画素と第４の画素とからなるブロック画素（１ｂ）は画像バッファメモリーＹ１２に保存されている。また、ブロック画素（１ａ）の下方に隣接する第５の画素と第６の画素とからなるブロック画素（１ｃ）は画像バッファメモリーＹ２１に保存されており、このブロック画素の右側に隣接する第７の画素と第８の画素とからなるブロック画素（１ｄ）は画像バッファメモリーＹ２２に保存されている。また、ブロック画素（１ｃ）の下方に隣接する第９の画素と第１０の画素とからなるブロック画素（１ｅ）は画像バッファメモリーＹ１１に保存されており、このブロック画素の右側に隣接する第１１の画素と第１２の画素とからなるブロック画素（１ｆ）は画像バッファメモリーＹ１２に保存されている。また、ブロック画素（１ｅ）の下方に隣接する第１３の画素と第１４の画素とからなるブロック画素（１ｇ）は画像バッファメモリーＹ２１に保存されており、このブロック画素の右側に隣接する第１５の画素と第１６の画素とからなるブロック画素（１ｈ）は画像バッファメモリーＹ２２に保存されている。したがって、補間計算に必要な補正前座標（Ｘ，Ｙ）の周辺１６画素のデータを全て読み出すためには、８つのブロック画素のデータの読み出しが必要ということになる。
【００６０】
本実施の形態では、このような場合には、図１４に示すように、例えば、１回目の補正ＬＵＴの読み出しが行われた後、１度目の読出し要求により、画像バッファメモリーＹ１１から画素ブロック（１ａ）が、画像バッファメモリーＹ１２から画素ブロック（１ｂ）が、画像バッファメモリーＹ２１から画素ブロック（１ｃ）が、画像バッファメモリーＹ２２から画素ブロック（１ｄ）がそれぞれ読み出される。続いて、２度目の読み出し要求により、画像バッファメモリーＹ１１から画素ブロック（１ｅ）が、画像バッファメモリーＹ１２から画素ブロック（１ｆ）が、画像バッファメモリーＹ２１から画素ブロック（１ｇ）が、画像バッファメモリーＹ２２から画素ブロック（１ｈ）がそれぞれ読み出される。これにより、２回目の補正ＬＵＴに対応する画素データの読み出しタイミングが遅延することなく、高速フレームレートによる出力が維持される。
【００６１】
このように、本実施の形態では、４個の画像バッファメモリーを備え、補正前座標の周辺１６画素の輝度信号及び色差信号を用いて補間して歪み補正後の画素の画素値を得ることができる。そのため、高速フレームレートを維持しつつ、より広い範囲で補間を行うことができ、高周波成分が抑制され、偽色やモアレを抑制することができる。
なお、本実施の形態では、補正前座標の周辺１６画素の輝度信号及び周辺１６画素の色差信号を用いて補間して歪み補正後の画素の画素値を得るようにしてもよく、また、補正前座標の周辺１６画素の輝度信号及び周辺１６画素のうちの一部の画素の色差信号を用いて補間して歪み補正後の画素の画素値を得るようにしてもよい。例えば、輝度信号については、補正前座標の周辺１６画素の輝度信号を用いて補間し、色差信号については、補正前座標の周辺４画素の色差信号を用いて補間して、歪み補正後の画素の画素値を得るようにしてもよい。人間の視感度特性においては、輝度の視感度に比べて色差の視感度は低いので、色差信号については、補正前座標の周辺１６画素のうちの一部の画素（例えば、周辺４画素）を用いて補間することで、歪み補正処理後の画質を十分な高画質にして処理の高速化を図ることができるようになる。
【００６２】
なお、本実施の形態では、補間計算を行うときにおいて、歪み補正前座標からの距離に応じて重み付け量を異ならせるようにしてもよい。例えば、歪み補正前座標（Ｘ，Ｙ）の近傍の４画素については、重み付け量を１にするなどして大きくし、この４画素の周囲の１２画素については、重み付け量を０．５にするなどして小さくする。これによれば、より良好な画質を得ることができるようになる。
【００６３】
また、この場合において、歪み補正前座標（Ｘ，Ｙ）と中央との距離Ｌに応じて、歪み補正前座標（Ｘ，Ｙ）の近傍の４画素の周囲の１２画素についての重み付け量を変更するようにしてもよい。具体的には、例えば、図１５に示すように、歪曲収差は歪み補正前座標（Ｘ，Ｙ）と中央との距離に応じて変化するが、ある距離を境界にして歪曲収差の変化量が異なっている。そのため、この境界よりも距離Ｌが小さい場合には、歪み補正前座標（Ｘ，Ｙ）の近傍の４画素とその周囲の１２画素との相関が大きく、一方、境界よりも距離Ｌが大きい場合には、歪み補正前座標（Ｘ，Ｙ）の近傍の４画素とその周囲の１２画素との相関が小さいことがわかる。そこで、歪み補正前座標（Ｘ，Ｙ）の周辺１６画素にて補間計算を行って歪み補正後の画素の画素値を得る場合において、歪み補正前座標（Ｘ，Ｙ）の近傍４画素の周辺の１２画素については、この相関の大きさに応じて重み付け量を変化させるようにするのが好適である。これにより、画質の向上を図ることができるようになる。
【００６４】
また、本実施の形態では、補正前座標の周辺１６画素のデータを用いて補間を行うようにしたが、この１６画素においてエッジが含まれている場合がある。そこで、本実施の形態において、補正前座標の周辺１６画素についてエッジ検出を行い、エッジと判定された領域（画素）については、補間計算の対象とする画素から除外するようにしてもよい。例えば、図１６（ａ）に示すように、補正前座標（Ｘ，Ｙ）の周辺１６画素についてエッジ検出を行った結果、上端の４画素がエッジ領域と判定された場合、当該４画素を除いた１２画素で補間計算を行って入れ替え後の画素値を求めるようにしてもよい。なお、エッジ検出の方法は公知の何れのものを適用することができる。エッジの検出は、輝度信号（Ｙ）によって行うのが好適である。
【００６５】
また、このとき、例えば、図１６（ｂ）に示すように、補正前座標（Ｘ，Ｙ）の周辺１６画素のうちエッジと判定された領域の画素を含まない領域に対し、エッジと判定された領域とは反対の領域に含まれる画素を補間の対象に含めるようにしてもよい。
【００６６】
このように、補間計算を行う場合において、エッジと判定された領域を除外することにより、エッジ部分で偽色が生じるのを抑制することができる。
【００６７】
以上説明したように、第１及び第２の実施の形態によれば、記憶部１１１（１１１ａ）は、複数の画像バッファメモリーを有し、取得した画像データを記憶する。ＲＧＢ／ＹＣＣ変換部１０８は、撮像素子１０１によって得られた複数の画素データをそれぞれ輝度信号と色差信号とに変換する。メモリー制御部１１０は、ＲＧＢ／ＹＣＣ変換部１０８によって変換された複数の画素データからなる歪み補正処理前の画像データを所定の大きさの領域毎に分け、該領域毎に分けられた画像データを所定の順序で切り換えて複数のメモリーに記憶させる。歪み補正処理部１０９は、複数の画像バッファメモリーから領域毎に画像データを読み出して歪み補正処理を行う。その結果、画素データを輝度信号と色差信号とに変換して歪み補正を行うので画質を良好にすることができる。また、データの圧縮が可能となるのでメモリー容量を削減できる。また、複数のメモリーから画像データの読み出しを行うことができるので高速で歪み補正処理を行うことができる。
【００６８】
また、第１及び第２の実施の形態によれば、ＲＧＢ／ＹＣＣ変換部１０８は、輝度信号と色差信号とに変換した各画素データを、色差信号のデータ量が輝度信号に対して１／４以下となる画像フォーマットに変換する。その結果、メモリー容量を削減し、処理速度を向上させることができる。
【００６９】
また、第１及び第２の実施の形態によれば、ＲＧＢ／ＹＣＣ変換部１０８は、輝度信号と色差信号とに変換した各画素データを、４：２：０フォーマットに変換する。その結果、メモリー容量を削減し、処理速度を向上させることができる。
【００７０】
また、第１及び第２の実施の形態によれば、ＲＧＢ／ＹＣＣ変換部１０８は、変換後の各画素データを、８ｂｉｔのデータサイズからなる輝度信号と、６ｂｉｔ以下のデータサイズからなる色差信号とにする。その結果、メモリーのバス幅を小さくすることができ、コストを低減することができるようになる。
【００７１】
また、第２の実施の形態によれば、記憶部１１１ａは、２ｎ（ｎ≧２）個のメモリーを有する。歪み補正処理部１０９は、歪み補正処理を行う際に、周囲の１６画素の輝度信号及び周囲の１６画素のうちの少なくとも一部の画素の色差信号を用いて補間して歪み補正処理後の画素の画素値を得る。その結果、高速フレームレートを維持しつつ、より広い範囲で補間を行うことができ、高周波成分が抑制され、偽色やモアレを抑制することができる。
【００７２】
また、第２の実施の形態によれば、歪み補正処理部１０９は、周囲の１６画素についてエッジ領域か否かを判定し、周囲の１６画素のうちエッジ領域と判定された画素を含まない画素の輝度信号及び色差信号を用いて補間して歪み補正処理後の画素の画素値を得る。その結果、高周波成分を低減することができるので、偽色やモアレを抑制することができる。
【００７３】
また、第２の実施の形態によれば、歪み補正処理部１０９は、周囲の１６画素のうちエッジ領域と判定された画素があるときは、周囲の１６画素のうちエッジ領域と判定された画素を含まない画素に対して当該エッジ領域と判定された画素の位置とは反対の位置に補間の対象とする画素を拡張する。その結果、偽色やモアレの抑制効果をより向上させることができる。
【００７４】
また、第２の実施の形態によれば、歪み補正処理部１０９は、歪み補正処理後の座標から所定の歪み補正係数を用いて歪み補正処理前の座標を算出するとともに、歪み補正処理前の座標の周囲の１６画素の輝度信号及び周囲の１６画素のうちの少なくとも一部の画素の色差信号を用いた補間を行うときに歪み補正処理前の座標からの距離に応じた重み付け量で重み付けをする。その結果、画質をより向上させることができるようになる。
【００７５】
また、第２の実施の形態によれば、歪み補正処理部１０９は、歪み補正処理前の座標の周囲の１６画素のうち歪み補正処理前の座標の近傍の４画素に対する重み付け量と、該４画素の周囲の画素に対する重み付け量とを異ならせて補間を行う。その結果、画質をより向上させることができるようになる。
【００７６】
また、第２の実施の形態によれば、歪み補正処理部１０９は、画像データから特定される画像の中心からの距離に応じて、歪み補正処理前の座標の周囲の１６画素のうち歪み補正処理前の座標の近傍の４画素に対する重み付け量と、該４画素の周囲の画素に対する重み付け量とを設定する。その結果、歪みを考慮した重み付けを行って画素の補間を行うことができるので、画質をより向上させることができるようになる。
【００７７】
なお、本実施の形態における記述は、本発明に係る画像処理装置の一例であり、これに限定されるものではない。画像処理装置を構成する各機能部の細部構成及び細部動作に関しても適宜変更可能である。
【００７８】
また、本実施の形態では、画像バッファメモリーへの画素データの保存について、２画素を１単位のブロック画素として保存するようにしたが、１画素単位で保存するようにしてもよい。また、３画素以上を１単位のブロック画素として保存するようにしてもよい。
【００７９】
また、本実施の形態では、ＲＧＢフォーマットからＹＣｂＣｒフォーマットに変換して画素の補間を行うようにしたが、ＲＧＢフォーマットからＹＵＶフォーマットに変換して画素の補間を行うようにしてもよい。
【００８０】
また、本実施の形態では、本発明に係るプログラムのコンピュータ読み取り可能な媒体としてハードディスクや半導体の不揮発性メモリー等を使用した例を開示したが、この例に限定されない。その他のコンピュータ読み取り可能な媒体として、ＣＤ−ＲＯＭ等の可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ（搬送波）も適用される。
【符号の説明】
【００８１】
１０  画像処理装置
１０１  撮像素子
１０８  ＲＧＢ／ＹＣＣ変換部（画像信号変換部）
１０９  歪み補正処理部
１１０  メモリー制御部
１１１  記憶部
【図１】
2014092828.tif 000003
【図２】
2014092828.tif 000004
【図３】
2014092828.tif 000005
【図４】
2014092828.tif 000006
【図５】
2014092828.tif 000007
【図６】
2014092828.tif 000008
【図７】
2014092828.tif 000009
【図８】
2014092828.tif 000010
【図９】
2014092828.tif 000011
【図１０】
2014092828.tif 000012
【図１１】
2014092828.tif 000013
【図１２】
2014092828.tif 000014
【図１３】
2014092828.tif 000015
【図１４】
2014092828.tif 000016
【図１５】
2014092828.tif 000017
【図１６】
2014092828.tif 000018
【図１７】
2014092828.tif 000019