(57)【特許請求の範囲】
【請求項１】
広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された複数の色成分からなる画像データを処理する画像処理装置であって、
複数の色成分の画像データについてそれぞれ倍率色収差の最大ずれ量に応じた記憶領域を有して、処理対象の複数の色成分の画像データが順次書き込まれる、複数ポートのＳＲＡＭからなる第１の座標変換用メモリと、
前記第１の座標変換メモリに書き込まれた処理対象の複数の色成分の画像データについて、特定の色成分の画像データは座標変換を行わずにそのまま読み出し、前記特定の色成分以外の画像データは、前記特定の色成分の画像データの座標を基準に補正量を求め、該補正量により変換座標を算出して座標変換を行って読み出す倍率色収差補正手段と、
前記倍率色収差補正された各色成分の画像データを合成する合成手段と、
複数の色成分の画像データに共通の最大１画面分の記憶容量を有し、前記合成された画像データが書き込まれる、単一ポートのＤＲＡＭからなる第２の座標変換用メモリと、
前記第２の座標変換メモリに書き込まれた画像データについて、各色成分の画像データに共通の変換座標を算出して座標変換を行って読み出す歪曲収差補正手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記特定の色成分は緑（Ｇ）であり、それ以外の色成分は赤（Ｒ）と青（Ｂ）であることを特徴とする請求項１記載の画像処理装置。
【請求項３】
広画角で倍率色収差及び歪曲収差が大きい光学系と、
前記光学系を通して撮像された画像を読み取る撮像素子と、
前記請求項１もしくは２に記載の画像処理装置と、
を有することを特徴とする画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像を処理する画像処理装置、及び画像撮像装置に関する。
【背景技術】
【０００２】
近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。
【０００３】
倍率色収差や歪曲収差がある光学系を用いた撮像装置において、収差補正する従来技術としては、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する方法がある（例えば、特許文献１参照）。
【０００４】
【特許文献１】特開２００６−３４５０５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ＲＧＢ各色成分ごとに独立に座標変換して倍率色収差と歪曲収差を同時に補正する従来の方法では、ＲＧＢ各色対応に、大容量で、かつ、ＳＲＡＭのようにランダムアクセス時にレイテンシが小さいメモリまたは多ポートのメモリが必要であった。しかしながら、大容量のＳＲＡＭや、複数のポートを持つメモリは非常に高価であり、特に大容量が必要となる高解像度の場合には装置の値段が非常に高価となっていた。
【０００６】
一方、ＲＧＢ各色成分共通に座標変換して歪曲収差のみを補正する方法は、大容量のメモリを必要とするものの、１チップ構成の価格の低いＤＲＡＭ等を使用することが可能であるが、広画角で倍率色収差が無視できなくなると適用できない。
【０００７】
歪曲収差はＲＧＢ各色成分で一様であるが、倍率色収差は各色成分毎に異なる。また、倍率色収差は歪曲収差に比べて小さい。このため、倍率色収差と歪曲収差とは別に補正するのが好ましい。
【０００８】
ところで、倍率色収差の補正には、通常、各色成分毎に独立の補正回路が必要であり、コスト低減のためには、最小の回路規模で倍率色収差補正を行う必要がある。
【０００９】
本発明の目的は、最小限の回路規模で、かつ、補正性能を劣化させることなく、倍率色収差補正を行い、さらに歪曲収差補正を行う画像処理装置を提供することにある。
【００１０】
また、本発明の目的は、小さな回路規模で倍率色収差補正を行う画像処理装置を実装することで、低コストの画像撮像装置を提供することにある。
【課題を解決するための手段】
【００１１】
本発明では、広画角で倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像を、特定の色成分の画像については座標変換を行わず、該特定の色成分以外の色成分の画像についてのみ座標変換を行うことで倍率色収差補正を行うようにする。ここで、特定の色成分は例えば緑（Ｇ）であり、それ以外の色成分は赤（Ｒ）と青（Ｂ）である。これにより、特定の色成分については補正回路が不要となり、回路規模を軽減できる。座標用メモリには、各色成分ごとではあるが、倍率色収差の最大ずれ量に応じた小容量の複数ポートのＳＲＡＭを用いる。これにより、回路規模を更に小さくできる。
【００１３】
また、本発明では、倍率色収差補正を行った後、各色成分の画像に共通に歪曲収差補正を行うようにする。この座標用メモリには、各色成分に共通の単一ポートのＤＲＡＭを用いる。
【発明の効果】
【００１４】
本発明の画像処理装置によれば、最小の回路規模で倍率色収差補正を行うことが可能となる。したがって、本発明の画像撮像装置によれば、更なる低コスト化が可能となる。さらに、各色成分の画像に共通に歪曲収差補正を行うことで、倍率色収差及び歪曲収差が大きい光学系を用いて撮像された画像に対処できる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は倍率色収差に加えて歪曲収差も補正する構成とする。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。
【００１６】
図１は本発明が適用される画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図１では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、もちろん用途はこれに限らない。
【００１７】
図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。
【００１８】
撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号を入力として撮像素子１１０の内部で生成して、撮像素子１１０から順次、後段に与えることでもよい。
【００１９】
Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画像データをデジタル信号に変換してベイヤー補完部１３０に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、ここでは、省略する。
【００２０】
ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データ（画素データ）を線形補完によって生成し、倍率色収差補完部１４０に送出する。
【００２１】
図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ0は次式により求める。
Ｇ0＝（Ｇ2＋Ｇ4＋Ｇ6＋Ｇ8）／４            （１）
また、Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0は次式により求める。
Ｒ2＝（Ｒ1＋Ｒ3）／２                      （２）
Ｒ4＝（Ｒ3＋Ｒ5）／２                      （３）
Ｒ6＝（Ｒ5＋Ｒ7）／２                      （４）
Ｒ8＝（Ｒ1＋Ｒ7）／２                      （５）
Ｒ0＝（Ｒ1＋Ｒ3＋Ｒ5＋Ｒ7）／４            （６）
Ｂ2，Ｂ4，Ｂ6，Ｂ8，Ｂ0は上記Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0の場合と同じであるので省略する。
【００２２】
なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。このように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要である。
【００２３】
倍率色収差補正部１４０は、ベイヤー補完されたＲ，Ｇ，Ｂ画像データを入力して、所定の多項式等によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。この倍率色収差補正部１４０については後で詳述するが、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することが可能である。さらに本発明を適用することにより、座標変換演算部の回路規模を小さくすることが可能である。
【００２４】
ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正（高域強調）されたＲＧＢ画像データを出力する。
【００２５】
図３にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲＧＢ画像データをＹＣｂＣｒ画像データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ        （７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ        （８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ      （９）
【００２６】
ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図４にＦＩＲフィルタの係数の一例を示す。
【００２７】
逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ                              （10）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ              （11）
Ｂ＝Ｙ＋１.７７２Ｃｂ                              （12）
【００２８】
歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。この歪曲収差補正部１６０での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。この歪曲収差補正部１６０については後で詳述する。
【００２９】
ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。このガンマ補正部１７０の出力画像データが表示部（不図）に送られてモニタ表示される。
【００３０】
以上が図１に示した実施形態の全体的動作であるが、以下では倍率色収差補正部１４０と歪曲収差補正部１６０について詳述する。はじめに、倍率色収差補正と歪曲収差補正の原理を説明する。
【００３１】
図５に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画像データ（画素データ）は、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画像データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。ここで、２，３，４の位置を座標変換元の座標、１の位置を座標変換先の座標と称す。
【００３２】
光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。
【００３３】
図６は倍率色収差と歪曲収差を同時に補正する方法を模式的に示したものである。すなわち、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画像データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正することができる。しかしながら、この方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図６の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。さらに、ＲＧＢそれぞれに座標変換演算回路あるいは座標変換テーブル（ＬＵＴ）が必要となる。
【００３４】
図７は倍率色収差と歪曲収差を別々に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、ＲＧＢ各色成分の画像データをそれぞれ座標変換して、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画像データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。
【００３５】
さらに、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれる。そこで、倍率色収差補正は、ＲＢの色成分のみを座標変換して、Ｇ成分の位置にコピーすることで実現する。これにより、倍率色収差補正のための座標変換演算回路あるいは座標変換テーブル（ＬＵＴ）はＲＢ色成分のみでよく、回路規模を小さくでき、全体としてさらなるコスト低減が可能になる。
【００３６】
図７の（ａ）は倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画像データ（画素データ）について座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図７の（ｂ）は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画像データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。
【００３７】
図７の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図６の場合に比較して、全体しては低コスト化が可能となる。さらに、倍率色収差補正用の座標変換演算回路あるいは座標変換テーブルはＲＢ色成分のみでよく、全体として更なる低コスト化が可能となる。
【００３８】
なお、ここで対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。
【００３９】
図８に倍率色収差補正部１４０の一実施形態の構成図を示す。１４２は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１４４は所定の座標変換式に従いＲＧＢ（実際にはＲＢのみ）それぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１４６は座標変換式に使用される係数を保持する座標変換係数テーブルである。
【００４０】
倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットとすると、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。
【００４１】
このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、小容量であるため、当該画像撮像装置の画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。
【００４２】
倍率色収差と歪曲収差を受けた撮像画像の各ＲＧＢ画像データが、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画像データが書き込まれると、先頭ラインの画像データから順次捨てられ、代って後続ラインの画像データが新しく書き込まれていく。こうして、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画像データが順次格納される。
【００４３】
ここで、座標値（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値（ｘ，ｙ）をそのまま座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の書込みアドレスに使用することができない。このため、座標値（ｘ，ｙ）を座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の実アドレスに変換する必要があるが、図８ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値（Ｘ，Ｙ）と座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の読出しアドレスとの関係でも同様である。
【００４４】
倍率色収差補正座標変換算出部１４４は、座標変換先座標である座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの座標変換元座標である座標値（Ｘ，Ｙ）を出力する。図７（ａ）に示したように、倍率色収差補正では、ＲＢの色成分のみを座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１４４では、Ｇ成分については、入力された座標値（ｘ，ｙ）をそのまま変換後の座標値（Ｘ，Ｙ）として出力し、ＲＢ色成分について、所定の座標変換式を用いてそれぞれ入力された座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ）に変換し、その変換後の座標値（Ｘ，Ｙ）を出力する。これを座標値（ｘ，ｙ）ごとに繰り返す。
【００４５】
ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ2］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ2］×ｙ
（13）
と表わすことができる。ａｂｓ（  ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル146に保持される。
【００４６】
座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１４４から出力される座標値（Ｘ，Ｙ）に基づいて（実際には、座標値（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画像データを順次読み出していく。この場合、座標変換メモリ１４２（Ｇ）からは、書込み時と同じ位置のＧ成分画像データが読み出される。一方、座標変換メモリ１４２（Ｒ），１４２（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画像データが読み出される。
【００４７】
以上の処理により、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）からは、倍率色収差補正されたＲＧＢ画像データが出力されることになる。すなわち、座標変換元座標値（Ｘ，Ｙ）のＲＧＢ画像データが、座標変換先座標値（ｘ，ｙ）のＲＧＢ画像データとして出力される。
【００４８】
図９乃至図１３に倍率色収差補正座標変換演算部１４４のいくつかの構成例を示す。なお、ここでは、Ｇの色成分を基準とするが、ＲやＢを基準とすることも可能である。
【００４９】
図９は、Ｇの色成分は座標変換を行われず、入力された座標値（ｘ，ｙ）をそのまま、座標変換元のＧ用座標値（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１４４１、１４４２により、入力された座標値（ｘ，ｙ）を式（１３）などを用いて変換して、座標変換元のＲ用座標値（Ｘ，Ｙ）、Ｂ用座標値（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲとＢ色成分のみでよいため、回路規模が少なくてすむ。
【００５０】
図１０、図１１は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図７（ａ）参照）。ここで、図１０は、座標変換演算部１４４３により、座標値（ｘ，ｙ）について補正量（ずれ量）を求め、減算部１４４４で補正量分だけ座標値（ｘ，ｙ）から減算した値をＢ用座標値（Ｘ，Ｙ）とし、一方、加算部１４４５で補正量分だけ座標値（ｘ，ｙ）に加算した値をＲ用座標値（Ｘ，Ｙ）とする実施例である。図９と同様に、Ｇ用座標値（Ｘ，Ｙ）には座標値（ｘ，ｙ）をそのまま出力する。図１１は、対称位置のずれを考慮し、さらにゲイン回路１４４６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図１０，図１１の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。
【００５１】
以上の構成はＲ，Ｇ，Ｂ画素に加えてＩｒ画素を持つような赤外領域を取得できるセンサなどにおいても同様に使用することができる。その場合、例えば図１２に示すように、図１１の構成にＩｒ用のゲイン回路１４６１と加算部１４６２を追加することで、一つの座標変換演算部１４４３よりＢ用座標値，ゲインを通じてＲ用とＩｒ用座標値を計算することができ、本来３つの座標変換演算部が必要である座標変換演算部が一つで済み、回路規模をさらに小さくできる。
【００５２】
図１３及び図１４は倍率色収差補正と同時に歪曲収差補正を実施する構成例である。この場合、後述の歪曲収差補正部１６０は不要となる。
【００５３】
図１３は、座標変換演算部１４４７により、座標値（ｘ，ｙ）について、所定の多項式等を用いてＲＧＢ共通の歪曲収差分の補正量（ずれ量）を求め、加算部１４４８で該補正量だけ座標値（ｘ，ｙ）に加算して、該加算部１４４８の出力をＧ用座標値（Ｘ，Ｙ）とする共に、減算部１４４４及び加算部１４４５の一方の入力とする実施例である。座標変換演算部１４４３、減算部１４４４、加算部１４４５の動作は図１０と同様である。図１３の構成とすることにより、ＲＧＢ用座標値（Ｘ，Ｙ）はそれぞれ倍率色収差と歪曲収差の両補正量分の座標変換元座標を示すことになる。
【００５４】
図１４は、座標変換演算部１４４７により、同じく所定の多項式等を用いてＲＧＢ共通の歪曲収差の補正量を求め、加算部１４４９で加算部１４４５の出力と座標変換演算部１４４７の出力とを加算した値をＲ用座標値（Ｘ，Ｙ）とし、加算部１４５０で入力座標値（ｘ，ｙ）と座標変換演算部１４４７の出力とを加算した値をＧ用座標値（ｘ，ｙ）とし、また、加算部１４５１で減算部１４４４の出力と座標変換演算部１４４７の出力とを加算した値をＢ用座標値（Ｘ，Ｙ）とする実施例である。図１４の構成とすることにより、図１３と同様に、ＲＧＢ用座標値（Ｘ，Ｙ）はそれぞれ倍率色収差と歪曲収差の両補正量分の座標変換元座標を示すことになる。
【００５５】
ここで、図９の座標変換演算部１４４１、１４４２のかわりにＲとＢの各色成分毎に入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図１０乃至図１４の座標変換演算部１４４３，１４４７のかわりに入力座標値（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標値（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正、あるいは倍率色収差と歪曲収差補正は、基本的にメモリチップのみで実現可能となる。
【００５６】
次に、図１５に歪曲収差補正部１６０の一実施形態の構成図を示す。先に述べたように、倍率色収差補正部１４０が図１３や図１４の座標変換演算部を用いる場合には、該歪曲収差補正部１６０は不要である。図１５において、１６１はＲＧＢ３つの画像データを一つに合成するＲＧＢ合成部、１４２はＲＧＢ画像データに共通の歪曲収差補正用座標変換メモリ、１６３は合成されたＲＧＢ画像データを元の各色成分に分離するＲＧＢ分離部、１６４は合成されたＲＧＢ画像データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１６５は座標変換式に使用される係数を保持する座標変換係数テーブルである。
【００５７】
歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画像データを最大１画面分記憶しておくバッファメモリが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画像データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画像データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ１６２は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。
【００５８】
このように、歪曲収差補正用座標変換メモリ１６２は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。
【００５９】
ＲＧＢ合成部１６１は、順次、倍率色収差補正済みの各ＲＧＢ画像データ（各８ビット）を入力し、一つの画像データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画像データが、座標変換メモリ１６２に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。
【００６０】
一方、歪曲収差補正座標変換演算部１６４は、座標変換先の座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（１３）式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル１６５に保持される。
【００６１】
上述のように、歪曲収差補正用の座標変換式は、倍率色収差補正用と同じ例えば（１３）式でよく、この（１３）式中で使われるｘ2，ｙ2，ａｂｓ(x)，ａｂｓ(y)の項を、倍率色収差補正での計算結果を用いると（メモリ等に保持しておいて）、新たに計算する必要がなくなり、演算部１６４の回路規模を小さくできる。
【００６２】
座標変換メモリ１６２は、先のＲＧＢ合成画像データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１６４から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画像データを順次読み出していく。ＲＧＢ分離部１６３は、座標変換メモリ１６２から読み出されたＲＧＢ合成画像データ（２４ビット）を元のＲＧＢ各色成分の画像データ（８ビット）に分離する。
【００６３】
以上の処理により、ＲＧＢ分離部１６３からは、倍率色収差及び歪曲収差の補正された各ＲＧＢ画像データが出力されることになる。すなわち、各ＲＧＢ画像データが本来の位置（ｘ，ｙ）にコピーされる。
【００６４】
なお、歪曲収差補正処理でも、入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。
【図面の簡単な説明】
【００６５】
【図１】本発明による画像撮像装置の一実施形態の全体ブロック図。
【図２】ベイヤー配列カラーフィルタを示す図。
【図３】ＭＴＦ補正部の概略構成図。
【図４】ＦＩＲフィルタの一例を示す図。
【図５】倍率色収差及び歪曲収差の説明図。
【図６】倍率色収差及び歪曲収差を同時に補正する説明図。
【図７】倍率色収差及び歪曲収差補正を別々に補正する説明図。
【図８】倍率色収差補正部の一実施形態を示す構成図。
【図９】倍率色収差補正座標変換演算部の第１の実施例の構成図。
【図１０】倍率色収差補正座標変換演算部の第２の実施例の構成図。
【図１１】倍率色収差補正座標変換演算部の第３の実施例の構成図。
【図１２】倍率色収差補正座標変換演算部の第４の実施例の構成図。
【図１３】倍率色収差補正座標変換演算部の第５の実施例の構成図。
【図１４】倍率色収差補正座標変換演算部の第６の実施例の構成図。
【図１５】歪曲収差補正部の一実施形態を示す構成図。
【符号の説明】
【００６６】
１１０  撮像素子
１２０  Ａ／Ｄ変換器
１３０  ベイヤー補完部
１４０  倍率色収差補正部
１５０  ＭＴＦ補正部
１６０  歪曲収差補正部
１７０  ガンマ補正部
１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）  座標変換メモリ（ＳＲＡＭ）
１４４  倍率色収差補正座標変換演算部
１４６  座標変換係数テーブル
１６１  ＲＧＢ合成部
１６２  座標変換メモリ（ＤＲＡＭ）
１６３  ＲＧＢ分離部
１６４  歪曲収差補正座標変換演算部
１６５  座標変換係数テーブル
【図１】
0005078148.tif 000002
【図２】
0005078148.tif 000003
【図３】
0005078148.tif 000004
【図４】
0005078148.tif 000005
【図５】
0005078148.tif 000006
【図６】
0005078148.tif 000007
【図７】
0005078148.tif 000008
【図８】
0005078148.tif 000009
【図９】
0005078148.tif 000010
【図１０】
0005078148.tif 000011
【図１１】
0005078148.tif 000012
【図１２】
0005078148.tif 000013
【図１３】
0005078148.tif 000014
【図１４】
0005078148.tif 000015
【図１５】
0005078148.tif 000016