(57)【要約】【課題】倍率色収差補正処理機能を備えた車載カメラ等の画像撮像装置において、倍率色収差補正時の光源や照明光等の変化により生じる画像の劣化を抑える。【解決手段】倍率色収差補正の座標変換パラメータを光源や照明光等の種別毎に複数用意しておき、光源や照明光等が変化した場合に、座標変換パラメータを切り替えて倍率色収差補正を行うようにする。光源や照明光等の変化は、例えば車の照明光のスイッチ操作、車のブレーキランプやバックランプのＯＮ／ＯＦＦなどで検出する。【選択図】図８
2009218909.tif 000002
【特許請求の範囲】
【請求項１】
広画角で少なくとも倍率色収差が大きい光学系と、前記光学系を通して撮像された画像を読取る撮像素子と、前記撮像素子で読取られた画像を座標変換して倍率色収差補正を行う倍率色収差補正手段とを具備する画像撮像装置において、
前記倍率色収差補正手段は、倍率色収差補正の座標変換パラメータを複数備え、光源や照明光が変化した場合、座標変換パラメータを切り替えて倍率色収差補正を行うことを特徴とする画像撮像装置。
【請求項２】
光源や照明光の変化を検出して、座標変換パラメータの切替制御信号を出力する制御手段を有し、
前記倍率色収差補正手段は、前記制御手段から出力される切替制御信号に基づいて倍率色収差補正の座標変換パラメータを切り替えることを特徴とする請求項１記載の画像撮像装置。
【請求項３】
前記制御手段は、車の照明光のスイッチ操作に合わせて前記切替制御信号を出力することを特徴とする請求項２記載の画像撮像装置。
【請求項４】
前記制御手段は、車のブレーキランプのＯＮ／ＯＦＦに合わせて前記切替制御信号を出力することを特徴とする画像撮像装置。
【請求項５】
前記制御手段は、車のバックランプのＯＮ／ＯＦＦに合わせて前記切替制御信号を出力することを特徴とする画像撮像装置。
【請求項６】
前記制御手段は、複数の色成分を順番に点滅する光源の点滅に合わせて前記切替制御信号を出力することを特徴とする画像撮像装置。
【請求項７】
前記撮像素子は高感度のモノクロ撮像素子であり、各色成分の照射タイミングに合わせて各色成分チャンネルに前記撮像素子からの出力を割り振ることでカラー画像を得ることを特徴とする請求項６記載の画像撮像装置。
【請求項８】
前記倍率色収差補正手段は、特定の色成分の画像については座標変換を行わず、前記特定の色成分以外の色成分の画像についてのみ座標変換を行う請求項１乃至７のいずれか１項に記載の画像撮像装置。
【請求項９】
前記倍率色収差補正手段は、前記特定の色成分の画像の座標を基準に補正量を求め、前記補正量により前記特定の色成分以外の色成分の画像について座標変換を行うことを特徴とする請求項８記載の画像撮像装置。
【請求項１０】
前記倍率色収差補正手段は、前記特定の色成分以外のある色成分の画像については、座標値にさらに所定のゲインをかけて調整することを特徴とする請求項９記載の画像撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像撮像装置に係り、特に取得した画像の倍率色収差を補正する処理機能を備えた画像撮像装置に関する。
【背景技術】
【０００２】
近年、車のバックモニタなどの用途に向け、広角の撮像装置の需要が増大している。しかしながら、広角になるほど倍率色収差や歪曲収差が大きくなり、収差が小さい光学系を設計するのが困難で、画像処理と組み合わせて性能を向上させる必要がある。
【０００３】
倍率色収差や歪曲収差がある光学系を用いた撮像装置において、収差補正する従来技術としては、ＣＣＤやＣＭＯＳセンサといった撮像素子より得られたＲ（赤）、Ｇ（緑）、Ｂ（青）信号を後段で、ＲＧＢ各色成分毎に独立に座標変換して倍率色収差と歪曲収差を同時に補正する方法、あるいは、倍率色収差は無視し、ＲＧＢ各色成分一緒に座標変換して歪曲収差のみを補正する方法が知られているが（例えば、特許文献１参照）、座標変換パラメータは固定である。
【０００４】
【特許文献１】特開２００６−３４５０５４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
収差補正処理機能を備えた撮像装置において、倍率色収差が大きい光学系を用いて撮像された画像を倍率色収差補正した場合、該倍率色収差補正により逆に画像が劣化してしまうことがあった。例えば、車載カメラにおいて、車がトンネルに入ってトンネル内の光源がナトリウムランプであった場合などでは、倍率色収差補正により逆に画像が劣化してしまうことがあった。同様のことは車の各種ライトをオン、オフした際にも見られた。
【０００６】
これは、光源（照明光）により波長分布（スペクトル）がずれているために、倍率色収差補正の座標変換パラメータをいずれかに合わせると、他に切替わった場合に画像に色にじみが生じるためであることが分かった。すなわち、倍率色収差補正を行う場合、照明光のスペクトルにより倍率色収差補正の座標変換パラメータを変化させた方が、高画質の画像を得られることが分かった。しかしながら、従来は座標変換パラメータは固定であり、光源や照明光等が変化した場合、倍率色収差補正により逆に画像が劣化することは避けられなかった。
【０００７】
本発明の目的は、車載カメラ等の画像撮像装置において、倍率色収差が大きい光学系を用いて撮像された画像を倍率色収差補正する場合に、光源や照明光等の変化により生じる画像の劣化を抑えて、高画質の画像を得ることにある。
【課題を解決するための手段】
【０００８】
本発明は、倍率色収差補正の座標変換パラメータを光源や照明光等の種別毎に複数用意しておき、光源や照明光等が変化した場合に、座標変換パラメータを切り替えて倍率色収差補正を行うようにする。車載カメラの場合、光源や照明光等の変化は、例えば車の照明光のスイッチ操作、車のブレーキランプやバックランプのＯＮ／ＯＦＦなどで検出することができる。
【発明の効果】
【０００９】
本発明によれば、倍率色収差補正処理機能を備えた車載カメラ等の画像撮像装置において、倍率色収差補正時の光源や照明光等の変化により生じる画像の劣化を抑えて、高画質な画像を得ることができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の一実施の形態について図面を用いて説明する。実施形態は、広画角で倍率色収差と歪曲収差が大きい光学系を用いて被写体を撮像する画像撮像装置とし、画像処理系は倍率色収差に加えて歪曲収差も補正する構成とするが、本発明の特徴は倍率色収差補正にあり、画像は少なくとも広画角で倍率色収差が大きい光学系を用いて撮像された画像であればよい。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。
【００１１】
図１は本発明が適用される画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。画像撮像装置は、他に操作部、画像記憶部、画像表示部などを備えているが、図１では省略してある。本画像撮像装置は、例えば、車載カメラとして使用されるが、もちろん用途はこれに限らない（店内カメラ、その他）。
【００１２】
図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。該制御部１００は倍率色収差座標変換パラメータ切替制御手段１０５を備えて、光源や照明光等が変わった場合に、倍率色収差補正部１４０に対して倍率色収差補正の座標変換パラメータの切替制御信号を送出する。なお、倍率色収差座標変換パラメータ切替制御手段１０５は、制御部１００とは独立に、別途具備することでもよい。
【００１３】
撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画像データ）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画像データが、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号を入力として撮像素子１１０の内部で生成して、撮像素子１１０から順次、後段に与えることでもよい。
【００１４】
Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画像データをデジタル信号に変換してベイヤー補完部１３０に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、ここでは、省略する。
【００１５】
ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画像データを入力して、ＲＧＢ各色独立に、全座標位置の画像データ（画素データ）を線形補完によって生成し、倍率色収差補完部１４０に送出する。
【００１６】
図２にベイヤー配列のカラーフィルタを示す。ここで、Ｇ0は次式により求める。
Ｇ0＝（Ｇ2＋Ｇ4＋Ｇ6＋Ｇ8）／４            （１）
また、Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0は次式により求める。
Ｒ2＝（Ｒ1＋Ｒ3）／２                      （２）
Ｒ4＝（Ｒ3＋Ｒ5）／２                      （３）
Ｒ6＝（Ｒ5＋Ｒ7）／２                      （４）
Ｒ8＝（Ｒ1＋Ｒ7）／２                      （５）
Ｒ0＝（Ｒ1＋Ｒ3＋Ｒ5＋Ｒ7）／４            （６）
Ｂ2，Ｂ4，Ｂ6，Ｂ8，Ｂ0は上記Ｒ2，Ｒ4，Ｒ6，Ｒ8，Ｒ0の場合と同じであるので省略する。
【００１７】
なお、本実施例ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。このように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要である。
【００１８】
倍率色収差補正部１４０は、ベイヤー補完されたＲ，Ｇ，Ｂ画像データを入力して、多項式等の座標変換式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画像データを出力する。該倍率色収差補正部１４０は、各種光源や照明光対応にそれぞれ座標変換パラメータ（座標変換係数）を保持した座標変換パラメータテーブルを有し、倍率色収差座標変換パラメータ切替手段１０５からの切替制御信号に基づいて、所定の座標変換パラメータテーブルを選択して、座標変換式に使用する座標変換パラメータを切り替える。この倍率色収差補正部１４０については後で詳述するが、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することが可能である。さらに光源や照明光に応じて座標変換式に使用するパラメータを切り替えることで、常に高品質な画像が得られる。
【００１９】
ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画像データを入力して、ＦＩＲフィルタを用いてＭＴＦ補正処理を施し、ＭＴＦ補正（高域強調）されたＲＧＢ画像データを出力する。
【００２０】
図３にＭＴＦ補正部１５０の概略構成を示す。変換部１５２は次式によりＲＧＢ画像データをＹＣｂＣｒ画像データに変換する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ        （７）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ        （８）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ      （９）
【００２１】
ＦＩＲフィルタ（５×５フィルタ）１５４では、ＹＣｂＣｒのうち輝度信号Ｙのみを入力して所定のＭＴＦ補正を行う。Ｙ信号のみのフィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。図４にＦＩＲフィルタの係数の一例を示す。
【００２２】
逆変換部１５６は、ＣｂＣｒ信号及びＭＴＦ補正されたＹ信号を入力して、次式により逆変換しＲＧＢ画像データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ                              （10）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ              （11）
Ｂ＝Ｙ＋１.７７２Ｃｂ                              （12）
【００２３】
歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画像データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画像データを出力する。この歪曲収差補正部１６０での座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。この歪曲収差補正部１６０については後で詳述する。
【００２４】
ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画像データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画像データを出力する。このガンマ補正部１７０の出力画像データが表示部（不図）に送られてモニタ表示される。
【００２５】
以上が図１に示した実施形態の全体的動作であるが、以下では倍率色収差補正部１４０と歪曲収差補正部１６０について詳述する。はじめに、倍率色収差補正と歪曲収差補正の原理を説明する。
【００２６】
図５に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画像データ（画素データ）は、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画像データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。ここで、２，３，４の位置を座標変換元の座標、１の位置を座標変換先の座標と称す。
【００２７】
光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。
【００２８】
図６は倍率色収差と歪曲収差を同時に補正する方法を模式的に示したものである。すなわち、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画像データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正することができる。しかしながら、この方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図６の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。さらに、ＲＧＢそれぞれに座標変換演算回路あるいは座標変換テーブル（ＬＵＴ）が必要となる。
【００２９】
図７は倍率色収差と歪曲収差を別々に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、ＲＧＢ各色成分の画像データをそれぞれ座標変換して、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画像データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。
【００３０】
さらに、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対象にずれる。そこで、倍率色収差補正は、ＲＢの色成分のみを座標変換して、Ｇ成分の位置にコピーすることで実現する。これにより、倍率色収差補正のための座標変換演算回路あるいは座標変換テーブル（ＬＵＴ）はＲＢ色成分のみでよく、回路規模を小さくでき、全体としてさらなるコスト低減が可能になる。
【００３１】
図７の（ａ）は倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画像データ（画素データ）について座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図７の（ｂ）は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画像データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。
【００３２】
図７の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図６の場合に比較して、全体しては低コスト化が可能となる。さらに、倍率色収差補正用の座標変換演算回路あるいは座標変換テーブルはＲＢ色成分のみでよく、全体として更なる低コスト化が可能となる。
【００３３】
なお、ここで対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。
【００３４】
図８に倍率色収差補正部１４０の一実施形態の構成図を示す。１４２は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１４４は所定の座標変換式に従いＲＧＢ（実際にはＲＢのみ）それぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１４６は座標変換式に使用されるパラメータ（座標変換係数）を保持する座標変換パラメータテーブルである。ここで、座標変換パラメータテーブル１４６は、各種光源や照明光対応に複数の座標変換パラメータテーブルで構成される。１４７は倍率色収差座標変換パラメータ切替制御手段１０５からの切替制御信号に基づいて、所定の座標変換ピラメータテーブルを選択して、その座標変換パラメータを倍率色収差補正座標変換演算部１４４に送出する座標変換パラメータ選択回路である。
【００３５】
倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットとすると、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）とも、書込み読出しは８ビット単位で行われる。
【００３６】
このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、小容量であるため、当該画像撮像装置の画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。
【００３７】
倍率色収差と歪曲収差を受けた撮像画像の各ＲＧＢ画像データが、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画像データが書き込まれると、先頭ラインの画像データから順次捨てられ、代って後続ラインの画像データが新しく書き込まれていく。こうして、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画像データが順次格納される。
【００３８】
ここで、座標値（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値（ｘ，ｙ）をそのまま座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の書込みアドレスに使用することができない。このため、座標値（ｘ，ｙ）を座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の実アドレスに変換する必要があるが、図８ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値（Ｘ，Ｙ）と座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）の読出しアドレスとの関係でも同様である。
【００３９】
倍率色収差補正座標変換演算部１４４は、座標変換先座標である座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの座標変換元座標である座標値（Ｘ，Ｙ）を出力する。図７（ａ）に示したように、倍率色収差補正では、ＲＢの色成分のみを座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１４４では、Ｇ成分については、入力された座標値（ｘ，ｙ）をそのまま変換後の座標値（Ｘ，Ｙ）として出力し、ＲＢ色成分について、所定の座標変換式を用いてそれぞれ入力された座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ）に変換し、その変換後の座標値（Ｘ，Ｙ）を出力する。これを座標値（ｘ，ｙ）ごとに繰り返す。
【００４０】
ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ2］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ2］×ｙ
（13）
と表わすことができる。ａｂｓ（  ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換パラメータ（座標変換係数）である。
【００４１】
座標変換パラメータは、あらかじめ座標変換パラメータテーブル１４６に保持されるが、先に述べたように、座標変換パラメータテーブル１４６は、光源や照明光等の種類に応じて複数の用意される。ここで、ａ(1)〜ａ(4)やｂ(1)〜ｂ(4)のパラメータ値は、例えば、あらかじめ光源や照明光毎に、該パラメータ値を変化させながら倍率色収差補正シミュレーションを繰り返して画像の色にじみが最小となる値を求め、光源ＩＤなどと共に座標変換パラメータテーブル１４６に保持しておく。また、照明光が単一スペクトルの光源であった場合、倍率色収差補正をＯＦＦにするために、座標変換パラメータテーブル１４６の一つには、ａ(1)〜ａ(4)やｂ(1)〜ｂ(4)のパラメータ値を０に設定することでもよい。
【００４２】
また、近年ＬＥＤによる各種ランプ光源が広がっているが、その場合、例えば白色光源を得るためにＲＧＢのＬＥＤを時分割でＲ，Ｇ，Ｂと順番に照射する方法がある。その場合には、照射タイミングに合わせてＲの時の座標変換パラメータ、Ｇの時の座標変換パラメータ、Ｂの時の座標変換パラメータと切り替えることで、高品質な画像が得られる。そのため、それぞれＲ用の座標変換パラメータ、Ｇ用の座標変換パラメータ、Ｂ用の座標変換パラメータを保持した座標変換パラメータテーブル１４６を更に用意することでもよい。
【００４３】
さらに、感度が高いモノクロ撮像素子を用いてＲ、Ｇ、Ｂの照射タイミングに合わせてＲ，Ｇ，Ｂチャンネルに撮像素子からの信号を割り振ることでカラー映像を得ることが可能である。その場合にも照射タイミングに合わせてＲの時の座標変換パラメータ、Ｇの時の座標変換パラメータ、Ｂの時の座標変換パラメータと変化させることで高品質な画像を得られる。そのため、それぞれＲ用の座標変換パラメータ、Ｇ用の座標変換パラメータ、Ｂ用の座標変換パラメータを保持した座標変換パラメータテーブル１４６を更に用意することでもよい。
【００４４】
倍率色収差座標変換パラメータ切替制御手段１０５は、先に述べたように、光源や照明光等が変わった場合に、座標変換パラメータ選択回路１４７に所定の切替制御信号を送出する。この倍率色収差座標変換パラメータ切替制御手段１０５では、例えば、車の照明光のスイッチ操作、車のブレーキランプのＯＮ／ＯＦＦ、車のバックランプのＯＮ／ＯＦＦなどにあわせて切替制御信号を送出する。また、ＲＧＢのＬＥＤ等を時分割で順次点灯する光源の場合には、ＲＧＢの照射タイミングに合わせて、それぞれＲＧＢ用の座標変換パラメータの切替制御信号を送出する。また、感度が高いモノクロ撮像素子を用いてＲ、Ｇ、Ｂの照射タイミングに合わせてＲ，Ｇ，Ｂチャンネルに撮像素子からの信号を割り振ることでカラー映像を得る場合には、同様にＲＧＢの照射タイミングに合わせて、それぞれＲＧＢ用の座標変換パラメータの切替制御信号を送出する。
【００４５】
図８に戻り、座標変換パラメータ選択回路１４７は、倍率色収差座標変換パラメータ切替制御手段１０５からの切替制御信号に基づいて、所定の座標変換パラメータテーブル１４６を選択してその座標変換パラメータを倍率色収差補正座標変換演算部１４４に送る。なお、座標変換パラメータ選択回路１４７では、例えば、通常（デフォルト）は太陽光（自然光）の時の座標変換パラメータを保持している座標変換パラメータテーブルが選択されるようにする。
倍率色収差補正座標変換演算部１４４は、座標変換先座標である座標値（ｘ，ｙ）、及び座標変換パラメータ選択回路１４７で選択された座標変換パラメータを入力して、式（１３）の座標変換式を用いて、ＲＧＢそれぞれについて（実際はＲＢのみ）、座標変換元座標（Ｘ，Ｙ）を計算して出力する。
【００４６】
座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１４４から出力される座標値（Ｘ，Ｙ）に基づいて（実際には、座標値（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画像データを順次読み出していく。この場合、座標変換メモリ１４２（Ｇ）からは、書込み時と同じ位置のＧ成分画像データが読み出される。一方、座標変換メモリ１４２（Ｒ），１４２（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画像データが読み出される。
【００４７】
以上の処理により、座標変換メモリ１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）からは、倍率色収差補正されたＲＧＢ画像データが出力されることになる。すなわち、座標変換元座標値（Ｘ，Ｙ）のＲＧＢ画像データが、座標変換先座標値（ｘ，ｙ）のＲＧＢ画像データとして出力される。この倍率色収差補正のための座標変換パラメータは、該倍率色収差補正時の光源や照明光に合わせて切替わるため、倍率色収差補正による画像の劣化は抑止され、高品質な画像を得ることが可能になる。
【００４８】
図９乃至図１１に倍率色収差補正座標変換演算部１４４のいくつかの構成例を示す。なお、ここでは、Ｇの色成分を基準とするが、ＲやＢを基準とすることも可能である。
【００４９】
図９は、Ｇの色成分は座標変換を行われず、入力された座標値（ｘ，ｙ）をそのまま、座標変換元のＧ用座標値（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１４４１、１４４２により、入力された座標値（ｘ，ｙ）を式（１３）などを用いて変換して、座標変換元のＲ用座標値（Ｘ，Ｙ）、Ｂ用座標値（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲとＢ色成分のみでよいため、回路規模が少なくてすむ。
【００５０】
図１０、図１１は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図７（ａ）参照）。ここで、図１０は、座標変換演算部１４４３により、座標値（ｘ，ｙ）について補正量（ずれ量）を求め、減算部１４４４で補正量分だけ座標値（ｘ，ｙ）から減算した値をＢ用座標値（Ｘ，Ｙ）とし、一方、加算部１４４５で補正量分だけ座標値（ｘ，ｙ）に加算した値をＲ用座標値（Ｘ，Ｙ）とする実施例である。図９と同様に、Ｇ用座標値（Ｘ，Ｙ）には座標値（ｘ，ｙ）をそのまま出力する。図１１は、対称位置のずれを考慮し、さらにゲイン回路１４４６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図１０，図１１の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。
【００５１】
次に、図１２に歪曲収差補正部１６０の一実施形態の構成図を示す。図１２において、１６１はＲＧＢ３つの画像データを一つに合成するＲＧＢ合成部、１４２はＲＧＢ画像データに共通の歪曲収差補正用座標変換メモリ、１６３は合成されたＲＧＢ画像データを元の各色成分に分離するＲＧＢ分離部、１６４は合成されたＲＧＢ画像データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１６５は座標変換式に使用される座標変換パラメータを保持する座標変換パラメータテーブルである。
【００５２】
歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画像データを最大１画面分記憶しておくバッファメモリが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画像データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画像データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ１６２は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。
【００５３】
このように、歪曲収差補正用座標変換メモリ１６２は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。
【００５４】
ＲＧＢ合成部１６１は、順次、倍率色収差補正済みの各ＲＧＢ画像データ（各８ビット）を入力し、一つの画像データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画像データが、座標変換メモリ１６２に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。
【００５５】
一方、歪曲収差補正座標変換演算部１６４は、座標変換先の座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（１３）式で表わすことができる。ただし、使用される座標変換パラメータは当然異なる。その座標変換パラメータは、あらかじめ座標変換係数テーブル１６５に保持される。
【００５６】
上述のように、歪曲収差補正用の座標変換式は、倍率色収差補正用と同じ例えば（１３）式でよく、この（１３）式中で使われるｘ2，ｙ2，ａｂｓ(x)，ａｂｓ(y)の項を、倍率色収差補正での計算結果を用いると（メモリ等に保持しておいて）、新たに計算する必要がなくなり、演算部１６４の回路規模を小さくできる。
【００５７】
座標変換メモリ１６２は、先のＲＧＢ合成画像データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１６４から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画像データを順次読み出していく。ＲＧＢ分離部１６３は、座標変換メモリ１６２から読み出されたＲＧＢ合成画像データ（２４ビット）を元のＲＧＢ各色成分の画像データ（８ビット）に分離する。
【００５８】
以上の処理により、ＲＧＢ分離部１６３からは、倍率色収差及び歪曲収差の補正された各ＲＧＢ画像データが出力されることになる。すなわち、各ＲＧＢ画像データが本来の位置（ｘ，ｙ）にコピーされる。
【００５９】
なお、入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正は基本的にメモリチップのみで実現可能となる。
【図面の簡単な説明】
【００６０】
【図１】本発明による画像撮像装置の一実施形態の全体ブロック図。
【図２】ベイヤー配列カラーフィルタを示す図。
【図３】ＭＴＦ補正部の概略構成図。
【図４】ＦＩＲフィルタの一例を示す図。
【図５】倍率色収差及び歪曲収差の説明図。
【図６】倍率色収差及び歪曲収差を同時に補正する説明図。
【図７】倍率色収差及び歪曲収差補正を別々に補正する説明図。
【図８】倍率色収差補正部の一実施形態を示す構成図。
【図９】倍率色収差補正座標変換演算部の第１の実施例の構成図。
【図１０】倍率色収差補正座標変換演算部の第２の実施例の構成図。
【図１１】倍率色収差補正座標変換演算部の第３の実施例の構成図。
【図１２】歪曲収差補正部の一実施形態を示す構成図。
【符号の説明】
【００６１】
１００  制御部
１０５  倍率色収差座標変換パラメータ切替制御手段
１１０  撮像素子
１２０  Ａ／Ｄ変換器
１３０  ベイヤー補完部
１４０  倍率色収差補正部
１５０  ＭＴＦ補正部
１６０  歪曲収差補正部
１７０  ガンマ補正部
１４２（Ｒ），１４２（Ｇ），１４２（Ｂ）  座標変換メモリ（ＳＲＡＭ）
１４４  倍率色収差補正座標変換演算部
１４６  座標変換パラメータテーブル
１４７  座標変換パラメータ選択回路
１６１  ＲＧＢ合成部
１６２  座標変換メモリ（ＤＲＡＭ）
１６３  ＲＧＢ分離部
１６４  歪曲収差補正座標変換演算部
１６５  座標変換パラメータテーブル
【図１】
2009218909.tif 000003
【図２】
2009218909.tif 000004
【図３】
2009218909.tif 000005
【図４】
2009218909.tif 000006
【図５】
2009218909.tif 000007
【図６】
2009218909.tif 000008
【図７】
2009218909.tif 000009
【図８】
2009218909.tif 000010
【図９】
2009218909.tif 000011
【図１０】
2009218909.tif 000012
【図１１】
2009218909.tif 000013
【図１２】
2009218909.tif 000014