(57)【要約】  【課題】対応レンズの特性に汎用性があり、かつ、安価で小型化が要求される車載用カメラや監視カメラなどに最適な形状歪補正機能を内蔵した固体撮像素子を提供する。  【解決手段】ＣＭＯＳ撮像素子２１を、エリアセンサ８５と、垂直走査回路８４及び水平走査回路８３と、入力した水平と垂直の走査タイミング信号に基づいて、画像の補正量に対応したエリアセンサ８５の読出画素アドレスを生成する形状歪補正手段１０と、画像補正手段１０に走査するタイミングを供給すると共に、ＣＭＯＳ撮像素子８１から出力される画素信号に対する水平、垂直同期信号を外部に出力するタイミング発生回路８２とで構成する。また、形状歪補正手段１０を、タイミング発生回路８２からのＸ，Ｙ走査タイミングを入力する補正アドレス生成手段１０ａと、装着される光学レンズの補正特性に対応したデータのテーブルを格納した補正ＲＯＭ１０ｂとで構成する。【選択図】図１
2007189361.tif 000002
【特許請求の範囲】
【請求項１】
光学レンズを通して入射する光を画素信号に変換する光電素子をアレイ状に配置し、同光電素子から取り出す画素信号の位置を縦方向と横方向との画素位置として指定されるエリアセンサと、同エリアセンサの前記画素位置を指定するカウント値をアドレスとして順番に指定するタイミング発生回路とを備えてなるイメージセンサにおいて、
前記光学レンズの光学的形状歪に対応して、前記タイミング発生回路からのアドレスを補正アドレスに変換する形状歪補正手段を設け、前記補正アドレスを用いて前記エリアセンサから前記画素信号を取り出すことにより、前記光学的形状歪を補正してなることを特徴とするイメージセンサ。
【請求項２】
前記形状歪補正手段は、前記光学レンズの光学的形状歪に対応する前記補正アドレスを生成する補正テーブルを格納した補正記憶手段と、入力した前記アドレスを前記補正テーブルのデータに従って前記補正アドレスに変換し、同補正アドレスで前記エリアセンサの読み出し位置を指定する補正アドレス生成手段とを備えてなることを特徴とする請求項１記載のイメージセンサ。
【請求項３】
前記補正テーブルは、前記アドレスの順に配置された前記補正アドレスからなることを特徴とする請求項２記載のイメージセンサ。
【請求項４】
前記補正テーブルは、前記補正アドレスの開始値と、隣接する前記補正アドレスの補正値の差分とからなることを特徴とする請求項２または請求項３に記載のイメージセンサ。
【請求項５】
撮像された画像の画角と同じ画角となり、形状歪補正された画像を理想画像とし、同理想画像に対応する前記補正テーブルを理想画像補正テーブルとした時、
前記補正テーブルは、前記理想画像の水平及び垂直の中心線と対応する前記光学レンズのディストーション特性に対応して、前記理想画像補正テーブルにおける水平及び垂直の画素ラインと対応する前記補正アドレスのデータを間引いて生成されてなることを特徴とする請求項２乃至請求項４のいずれかに記載のイメージセンサ。
【請求項６】
前記エリアセンサの縦方向及び横方向のそれぞれ中央を軸として区画される４つエリアのうち、１つ又は２つの前記エリアと対応する前記補正アドレスを前記補正テーブルとしてなることを特徴とする請求項２乃至請求項５のいずれかに記載のイメージセンサ。
【請求項７】
請求項１から請求項６のいずれかに記載のイメージセンサを搭載してなることを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、車載用カメラや監視カメラに用いられる固体撮像素子に係わり、より詳細には、固体撮像素子と組み合わされて使用される光学レンズの光学的形状歪を内部で自動的に補正するイメージセンサに関する。
【背景技術】
【０００２】
周知のように、光学レンズには収差があるため、例えば、方形格子の光学像は、図１１（Ａ）や図１０（Ｂ）に示すような糸巻形ないし樽形の形状歪が生ずる。また、ズームレンズの場合、焦点距離の変化に伴って歪の方向が変動し、同一のレンズであっても、その形状歪が、例えば樽形から糸巻形まで変化する。
従って本発明で説明する画像の補正とは、被写体がレンズを通過することにより発生する光学的な形状歪、例えば樽形や糸巻形などの形状歪を本来の形状の画像に戻すことを意味する。
【０００３】
レンズの形状歪は、レンズの使用条件に応じて特定することができるので、例えば、フレームメモリを用意し、固体撮像素子の各画素からの映像データをそのままフレームメモリに書き込み、レンズの使用条件毎の形状歪に応じて、アドレスをずらしてフレームメモリから読み出すことにより、メモリ上で形状歪を補正することが考えられる。しかしながら、この場合は、回路の規模が大きくなり、結果的に高価な装置になるという問題があった。
【０００４】
この問題を改善するものとして、図１０のブロック図に示す構成とし、固体撮像装置の映像信号処理装置において、レンズの形状歪情報に基づき、デジタル信号処理（標本化格子変換処理）技法を用いて、形状歪がある光学像の各画素を、それぞれの歪ベクトルと同じ大きさで逆方向に、または、それぞれの歪ベクトルが同率となるように、等価的に変位させて、本来の歪のない各画素を等価的に形成することにより、レンズによる光学的形状歪を、小さい回路規模で、比較的容易に補正することができる映像信号処理装置があった。
【０００５】
図１０において、１１１はズームレンズ、１１２は例えばＣＣＤのような固体撮像素子（イメージセンサ）であって、ズームレンズ１１１を介して、被写体１０１の光学像が撮像素子１１２の受光面上に結ばれる。１２０は標本化格子変換手段であって、補間演算用の２次元デジタルフィルタ１２１と画像データメモリ１２２とを含み、撮像素子１１２の出力は、Ａ−Ｄ変換器１２３とバッファメモリ１２４とを経て、デジタルフィルタ１２１に供給され、デジタルフィルタ１２１の出力が画像データメモリ１２２に書き込まれる。
【０００６】
１２５はアドレス信号発生回路であって、カウンタ１２５ｃを含み、この信号発生回路１２５からのアドレス信号により、画像データメモリ１２２の書き込みと読み出しが制御される。画像データメモリ１２２から読み出された画像データが、Ｄ−Ａ変換器１２６を経て、端子ＯＵＴに導出される。１２７はシステム制御回路であって、補正量メモリ１２８と接続され、ズームレンズ１１１からのレンズ情報が供給される。
【０００７】
補正量メモリ１２８には、レンズの使用条件毎に、画面の各部について予め定まる補正量（ベクトル）が格納され、これに基づく制御信号が、制御回路１２７から２次元デジタルフィルタ１２１、バッファメモリ１２４及びアドレス信号発生回路１２５にそれぞれ供給される構成になっている（例えば、特許文献１参照。）。
このような構成は、固体撮像素子１１２から受けた信号を、映像信号処理装置内で補正しようとする考え方である。
【０００８】
一方、映像信号処理装置内で補正せずに、固体撮像素子の受光面上で補正を行なう方法もある。この方法の説明の前に固体撮像素子（イメージセンサ）の構成について説明する。
図１３は固体撮像素子の１つであるＣＭＯＳ型イメージセンサの回路ブロック図である。このＣＭＯＳ型イメージセンサ８１は、光学レンズを通して入射する光を画素信号に変換する光電素子をアレイ状に配置すると共に、指定された位置の画素を読み出して対応する画素信号を出力するエリアセンサ８５（撮像素子）と、このエリアセンサ８５から読み出す画素の縦横位置を指定する垂直走査回路８４及び水平走査回路８３と、これらの走査回路に走査するタイミングを供給すると共に、ＣＭＯＳ型イメージセンサ８１から出力される画素信号に対応した水平、垂直同期信号を外部に出力するタイミング発生回路８２とで構成されている。
【０００９】
このようなＣＭＯＳ型イメージセンサ８１のエリアセンサ８５は、通常、図１２（Ａ）のように光電素子２０２が格子状に整列して配置されている。従って、レンズによる光学的な形状歪がない光を受光するのであれば何の問題もない。しかし、前述のように、例えば広角レンズからの光を受光した場合は、図１１（Ｂ）のように樽型の形状に歪んだ光が受光されることになり、これを図１２（Ａ）のエリアセンサ８５でそのまま光電変換すれば、当然のごとく歪んだ画像になる。
【００１０】
そこで、使用するレンズの歪特性が判明していれば、図１２（Ｂ）のように、予め、例えば樽型歪と同じ形に、光電素子２０２の配列を変形して配置しておくことにより、歪を相殺した読み出し画像を得る事ができるようにしている。もしくは、図１２（Ａ）のように光電素子２０２を格子状に整列して配置し、エリアセンサ８５全体をレンズの特性に合わせて光軸方向に断面を凹状に形成し、歪を相殺するようにしている（例えば、特許文献２参照。）。
【００１１】
しかしながら、特許文献１の方法では、Ａ／Ｄコンバータや画像データメモリなど比較的高価な部品を使用しており、また、回路規模が大きくなるために一部の高機能な監視カメラなどでしか使用できなかった。
また、特許文献２の方法では、小型化が可能であるが、レンズの特性とエリアセンサの光電素子の配列を合わせる必要性があり、汎用性に欠けるという問題があった。
このため、対応レンズの特性に汎用性があり、かつ、安価で小型化が要求される車載用カメラや監視カメラなどに最適な形状歪補正機能を内蔵した撮像素子が求められていた。
【００１２】
【特許文献１】特許第３０３５９９２号公報（第２−４頁、図１）
【特許文献２】特開２００３−２２９５６３号公報（第２頁、図１）
【発明の開示】
【発明が解決しようとする課題】
【００１３】
本発明は以上述べた問題点を解決し、対応レンズの特性に汎用性があり、かつ、安価で小型化が要求される車載用カメラや監視カメラなどに最適な形状歪補正機能を内蔵した固体撮像素子を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は上述の課題を解決するため、光学レンズを通して入射する光を画素信号に変換する光電素子をアレイ状に配置し、同光電素子から取り出す画素信号の位置を縦方向と横方向との画素位置として指定されるエリアセンサと、同エリアセンサの前記画素位置を指定するカウント値をアドレスとして順番に指定するタイミング発生回路とを備えてなるイメージセンサにおいて、
前記光学レンズの光学的形状歪に対応して、前記タイミング発生回路からのアドレスを補正アドレスに変換する形状歪補正手段を設け、前記補正アドレスを用いて前記エリアセンサから前記画素信号を取り出すことにより、前記光学的形状歪を補正する。
【００１５】
また、前記形状歪補正手段は、前記光学レンズの光学的形状歪に対応する前記補正アドレスを生成する補正テーブルを格納した補正記憶手段と、入力した前記アドレスを前記補正テーブルのデータに従って前記補正アドレスに変換し、同補正アドレスで前記エリアセンサの読み出し位置を指定する補正アドレス生成手段とを備える構成にする。
【００１６】
また、前記補正テーブルは、前記アドレスの順に配置された前記補正アドレスからなる構成にする。
【００１７】
もしくは、前記補正テーブルは、前記補正アドレスの開始値と、隣接する前記補正アドレスの補正値の差分とからなる構成にする。
【００１８】
また、撮像された画像の画角と同じ画角となり、形状歪補正された画像を理想画像とし、同理想画像に対応する前記補正テーブルを理想画像補正テーブルとした時、前記補正テーブルは、前記理想画像の水平及び垂直の中心線と対応する前記光学レンズのディストーション特性に対応して、前記理想画像補正テーブルにおける水平及び垂直の画素ラインと対応する前記補正アドレスのデータを間引いて生成されてなるように構成する。
【００１９】
また、前記エリアセンサの縦方向及び横方向のそれぞれ中央を軸として区画される４つエリアのうち、１つ又は２つの前記エリアと対応する前記補正アドレスを前記補正テーブルとしてなる構成にする。
【００２０】
そして、カメラに請求項１から請求項５のいずれかに記載のイメージセンサを搭載する。
【発明の効果】
【００２１】
以上の手段を用いることにより、本発明によるイメージセンサによれば、
請求項１に係わる発明は、タイミング発生回路からのアドレスを補正アドレスに変換する形状歪補正手段により、画素読み出しに関するランダムアクセス機能を利用して、高価なフレームメモリやＡ／Ｄコンバータなどを用いないで安価に光学的形状歪を補正でき、かつ、イメージセンサ内部に形状歪補正回路を備えることができるため、これを搭載するカメラを小型化できる。
【００２２】
請求項２に係わる発明は、補正アドレス生成手段と補正記憶手段とを備えることにより、画像補正回路を簡単に、また、安価に構成できる。さらに、補正記憶手段の補正データを変更することにより、複数のレンズの補正に対応でき、汎用性を向上させることができる。
【００２３】
請求項３に係わる発明は、形状歪補正手段がほぼ補正記憶手段と等しい構成になり、形状歪補正手段を簡略化することができる。
【００２４】
請求項４に係わる発明は、補正テーブルのデータ量を削減し、補正記憶手段を容量が小さくて安価なメモリで構成することができ、コストダウンを図ることができる。
【００２５】
請求項５に係わる発明は、実際に使用する補正テーブルを、理想画像補正テーブルからレンズのディストーション特性に対応して水平及び垂直ラインを間引いて作成することにより、出力される画像の画角が広がるにも係わらず、画面上における同心円状の歪みが補正される。
【００２６】
請求項６に係わる発明は、エリアセンサの縦方向及び横方向のそれぞれ中央を軸として４つに区画し、区画されたエリアに共通の補正アドレスにより補正テーブルを構成する。つまり、各エリアの上下や左右、斜め方向の補正アドレスを共通使用することにより、補正テーブルのデータ量を削減し、補正記憶手段を容量が小さくて安価に構成することができ、コストダウンを図ることができる。これは、光学的形状歪の特性が光軸を中心として、上下左右や斜めで対象となることを利用している。
【００２７】
さらに、本発明によるイメージセンサを用いたカメラによれば、
請求項７に係わる発明は、イメージセンサ内部に形状歪補正手段を備えることができるため、これを搭載するカメラを小型化して安価に構成できる。さらに、補正記憶手段に複数のレンズに対応して複数の補正データを格納できるために汎用性が向上する。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態を、添付図面に基づいた実施例として詳細に説明する。なお、背景技術で説明した部分につては同じ名称と番号を付与し、詳細な説明を省略する。
【実施例１】
【００２９】
本発明の特徴は、固体撮像素子として、読み出す画素位置をランダムに指定できる素子、例えばＣＭＯＳ型イメージセンサを用い、このイメージセンサ内部でレンズの光学的な形状歪を補正する形状歪補正手段を内蔵したことにある。また、形状歪補正手段は例えばＲＯＭなどに格納された補正データを参照することにより、種々の光学的形状歪の特性に適応できることにある。
【００３０】
本発明のイメージセンサは、車載用カメラに搭載すると最もその効果を発揮できる。車載用カメラは、バックモニターなど使用され、広範囲な視野を確保するために広角レンズと併用される場合が多い。また、同じ固体撮像素子を用いた共通の電気ブロックや筐体を使用し、車載用カメラの取付位置や車種によって焦点距離が異なるレンズを装着する場合が多い。従って、１種類のカメラの形状補正処理は複数のパターンに対応できなければ特定レンズ専用機種となって汎用性に欠けてしまう。このため、複数のパターンの形状補正に容易に対応できる構成も本発明の特徴の１つである。
【００３１】
次に図１の車載用カメラのブロック図を用いて、本発明によるイメージセンサについて説明する。
車載用カメラ２は被写体１を撮像して、その画像を映像信号に変換し、例えばカーナビゲーションなどからなる表示モニター３に車外の状況を写し出すように構成されている。
【００３２】
そして、車載用カメラ２は、被写体１を撮影する広角のレンズユニット２０と、この受光した光を画素信号に変換するＣＭＯＳ型イメージセンサ２１と、変換された画素信号を入力し、ＮＴＳＣなどの映像信号に変換して出力する映像信号生成回路２２とで構成されている。
【００３３】
ＣＭＯＳ型イメージセンサ２１は、エリアセンサ８５と、垂直走査回路８４及び水平走査回路８３と、入力する水平と垂直の走査タイミング信号に基づいて、画像の補正量に対応したエリアセンサ８５の読出画素アドレスを生成する形状歪補正手段１０と、形状歪補正手段１０に走査するタイミングを供給すると共に、ＣＭＯＳ型イメージセンサ８１から出力される画素信号に対する水平、垂直同期信号を外部に出力するタイミング発生回路８２とで構成されている。
【００３４】
また、形状歪補正手段１０は、タイミング発生回路８２からのＸ，Ｙ走査タイミングを入力する補正アドレス生成手段１０ａと、装着される光学レンズの補正特性に対応したデータのテーブルを格納した補正記憶手段の１つである補正ＲＯＭ１０ｂとで構成されている。補正ＲＯＭ１０ｂは、補正アドレス生成手段１０ａから選択用のアドレス信号を入力し、対応するデータを補正アドレス生成手段１０ａへ返すように構成されている。
【００３５】
またこの補正ＲＯＭ１０ｂは、映像信号生成回路２２から補正データ切換信号を入力しており、映像信号生成回路２２に予め設定してある機能仕様スイッチ（ディップスイッチなど）の状態に基づいて、複数種類のレンズに対応したデータを出力するようになっている。これは、補正アドレス生成手段１０ａからのアドレス信号を補正ＲＯＭ１０ｂの下位アドレス線に接続し、補正ＲＯＭ１０ｂの上位アドレス線に、補正データ切換信号接続することで実現している。
【００３６】
これにより、装着するレンズが異なる種類でも、機能仕様スイッチをこれに対応して切り換えれば最適な補正を行なうことができる。
また、例えば、レンズにズームレンズを用いる場合、補正データ切換信号をこのズームレンズのズーム位置に対応した信号とし、補正ＲＯＭにズームレンズのズーム位置に対応した補正データを格納しておくことにより、各ズーム位置での補正をリアルタイムで行なうことができ、結果的に、ズームによる形状歪を低減させたカメラを実現できる。
【００３７】
形状歪補正手段１０は、タイミング発生回路８２からのＸ，Ｙ走査タイミングに対応して、補正ＲＯＭ１０ｂにアドレス信号を出力し、これに対応する補正ＲＯＭ１０ｂの出力データを入力する。そして、このデータに基づいて実際に走査するＸ’，Ｙ’走査タイミングを出力する。なお、各走査タイミングとは、エリアセンサ８５の水平／垂直（横縦）の位置を特定するカウンタの値であり、ここではＸ，Ｙ走査タイミングをそれぞれＸアドレス、Ｙアドレスと呼称する。同様にＸ’，Ｙ’走査タイミングをそれぞれ、Ｘ’アドレス、Ｙ’アドレスと呼称する。
【００３８】
次に本発明における形状歪補正の原理を図２を用いて説明する。図２は補正の原理を説明する説明図であり、図２（Ａ）は補正前の実画像を、図２（Ｂ）は補正後の画像を示している。なお、説明を容易にするため、図２の画像エリアは、縦方向（Ｙアドレス）を１７画素、横方向（Ｘアドレス）を２１画素としており、また、補正は横方向のみの処理としている。
【００３９】
図２（Ａ）は三角形の山を撮像した画像であり、横方向の左右の端が歪んだ画像（収縮した画像）になっている。従って、これを補正するためには、横方向の左右の端部を横方向に拡大すればよいことになる。なお、拡大率はレンズの形状歪の特性と一致させる必要があり、この例では実際の被写体に対して、横方向のアドレス０〜２と１８〜２０とが１／３に縮小され、横方向のアドレス３〜４と１６〜１７とが１／２に縮小され、横方向のアドレス５〜１５までは歪がないものとする。
【００４０】
このため、図２（Ｂ）に示すように、タイミング発生回路８２からのＸアドレスが０〜２０に変化する間、実際にエリアセンサ８５から読み出すＸ’方向の画素を前述した縮小を打ち消すように読み出せばよいことになる。つまり、Ｘが０〜２のときは、Ｘ’の３を読み出し、Ｘが３〜４のときは、Ｘ’の４を読み出す。Ｘが５〜１５までは歪がないのでそのままＸ’の５〜１５を読み出し、Ｘが１６〜１７まではＸ’の１６を読み出し、Ｘが１８〜２０まではＸ’の１７を読み出す。
【００４１】
このようにすると、図２（Ｂ）に示すように、横方向がレンズの形状歪の特性を打ち消すように拡大された画像になり、結果的に補正が行なわれたことになる。これは撮像素子がＣＭＯＳ型であるため、任意の画素をランダムに読み出せるからである。
なお、比較を容易にするため、図２（Ａ）と図２（Ｂ）とに、被写体の山の輪郭を点線で示す。図２（Ａ）において欠落していた山の左右端が、図２（Ｂ）においてやや凹凸が存在しながらも補正されていることがわかる。
【００４２】
もちろん、図示しないが、通常、同時に縦方向（Ｙ方向）の補正を行なうようにしている。また、この例のように拡大する補正するだけでなく、縮小する場合もある。この場合は逆に画素の読み出しを間引きすることで実現する。例えば図示しないが、Ｘが０の時はＸ’の０を読み出し、Ｘが１の時はＸ’の２を読み出すことにより、１／２に縮小することができる。
【００４３】
また、補正は必ずしも２倍、３倍や１／２でなく、画像エリアの位置と光学特性に対応して４倍や５倍、１／３や１／４に補正する場合もある。つまり、補正特性（補正ＲＯＭ１０ｂ）の内容により、周期的に変化するＸアドレス、Ｙアドレスを実際にエリアセンサ８５から読み出すＸ’アドレス、Ｙ’アドレスに変換することで画像補正を行なうようになっている。
【００４４】
なお、図２（Ａ）の撮像された画像の全エリアを完全に補正すると、実質的な画素数が増えるため、レンズの特性にもよるが、例えば元の画像の１．９倍程度の画素数となる。しかしながら、出力すべき画像の画素数は、これを表示させる表示装置に適応させるため、一般的に元の画像の画素数と同じにする場合が多い。
【００４５】
従って、図２（Ｂ）の補正された画像、つまり、出力すべき画像の画素数を元の画像の画素数と同じにしている。この結果、図２（Ａ）の撮像された画像におけるＸ’アドレスの０〜２、及び１８〜２０に相当する画素は、図２（Ｂ）の補正された画像のエリアからはみ出すことになり、実際には表示されないことになる。これは、図８（Ａ）の画像が補正され、図８（Ｂ）の画像になったとき、その周囲が表示されていない現象として現れる。なお、この対策方法については後で説明する。
【００４６】
次に光学的形状歪について図３を用いて説明する。図３において横軸が画像の左右に相当し、縦軸が一般的な広角レンズの歪の度合いを表す。上方が歪み大となる。
説明の都合上、エリアセンサ８５の画素構成を横６４０×縦４８０とする。従ってＸアドレスは０〜６３９となり、３１９の場合が左右のほぼ中央となる。一般的に単焦点レンズは、図３に示すように光の入射角が大きいほど、つまり、レンズの左右（レンズの周縁）ほど光学的形状歪が大きくなり、その度合いも曲線状に変化する。これは上下方向（Ｙアドレス方向）も同様である。
【００４７】
このため、歪み度合いが一律とならず、縦方向や横方向の各アドレス値により、それぞれのアドレスに対応する所定の補正を行なう必要がある。本実施例では前述のように、補正ＲＯＭ１０ｂを用いて読み出しアドレスの変換、つまり、補正を行なうようになっている。なお、補正ＲＯＭ１０ｂを用いなくても演算を用いて読み出しアドレスの変換を行なっても同様の効果を得る事ができる。
【００４８】
次に図４を用いて補正ＲＯＭ１０ｂを用いた場合のアドレスの変換方法を説明する。なお、説明を容易にするためにここではＸ（横）方向の説明だけを行なうが、実際にはＹ（縦）方向も同時に行なう必要がある。図４（Ａ）は補正ＲＯＭを表す模式図であり、図４（Ｂ）は補正ＲＯＭに格納されたデータと、それを説明する図である。また、この変換方法は最も簡単な変換方法であり、補正アドレス生成手段１０ａは、タイミング発生回路８２から受け取ったＸアドレスをそのまま補正ＲＯＭ１０ｂの入力アドレス端子へ接続し、補正ＲＯＭから出力されるデータ（変換されたＸ’アドレス）を直接、水平走査回路８３へ出力する構成にしている。
【００４９】
図４（Ａ）において、エリアセンサ８５の画素構成が横６４０画素であるため、これを表すアドレスは２進数で１０ｂｉｔ（１０２４アドレス）になり、補正ＲＯＭの入力アドレス端子も１０ｂｉｔになる。そして、図４（Ｂ）に示すように補正ＲＯＭ１０ｂには、入力アドレスに対応して変換されるアドレスがデータとして格納されている。従って格納されているデータが連続して同じ値の場合は、連続するデータの数だけＸ方向の画像が拡大されることになる。
【００５０】
なお、この連続する数をデータの列の隣にデータの数として記載しておくが、これは説明のための値であり、実際にはデータの欄の値のみが補正ＲＯＭに格納されている。
図４（Ｂ）において、入力アドレス０〜３までが同じアドレス００６であり、連続するデータの数は４になる。つまり、４倍に拡大されることになる。同様に、入力アドレス４〜６までが連続するデータの数が３に、入力アドレス７〜８までが２になる。それ以降は入力アドレス３１９（画像左右の中心）まで、すべて１となり拡大はされない。
なお、図４（Ｂ）では入力アドレス３２０〜６３９までの図示を省略しているが、図３で示すように、入力アドレス３２０〜６３９の間は、入力アドレス０〜３１９までの逆パターンのデータを格納すればよい。
【００５１】
このように、連続する同一データの数を変化させることにより、光学的形状歪の特性を補正している。なお、図示しないが、格納されているデータの値が不連続で昇順となっている場合は横方向（Ｘアドレス）の間引きであり、画像は縮小されることになる。さらに、ここではＸ（横）方向の説明だけ行なったが、Ｙ（縦）方向も同様である。また、Ｘ（横）方向とＹ（縦）方向の補正を１つのＲＯＭで行なう場合は、補正ＲＯＭの入力アドレス端子を１９ｂｉｔ（Ｘ方向１０ｂｉｔ、Ｙ方向９ｂｉｔ）にし、さらに、出力データ幅を１９ｂｉｔにすればよい。
【００５２】
以上説明したように、タイミング発生回路からのアドレス（カウンタ値）を補正アドレス（カウンタ値）に変換する形状歪補正手段により、画素読み出しに関するランダムアクセス機能を利用して、高価なフレームメモリやＡ／Ｄコンバータなどを用いないで安価に光学的形状歪を補正でき、かつ、イメージセンサ内部に形状歪補正回路を備えることができるため、これを搭載するカメラを小型化できる。
【００５３】
また、補正アドレス生成手段と補正記憶手段とを備えることにより、画像補正回路を簡単に、また、安価に構成できる。さらに、補正記憶手段の補正データを変更することにより、複数のレンズの補正に対応でき、汎用性を向上させることができる。また、図４の変換方式は、形状歪補正手段がほぼ補正記憶手段と等しい構成になり、形状歪補正手段を簡略化することができる。
【００５４】
次に形状歪補正手段１０の別の実施例について図５を用いて説明する。この実施例では補正ＲＯＭのデータ量を減らすことを目的としている。図５（Ａ）は、補正ＲＯＭに格納されているデータを示す説明図であり、図５（Ｂ）はこのデータを用いて変換アドレスを算出する過程を示す説明図である。なお、この説明もＸ（横）方向の説明だけ行なうが、Ｙ（縦）方向の場合も同様である。
【００５５】
この別の実施例の特徴は、変換されるアドレスの値が隣接するアドレスで見た場合に急激な変化がない事を利用して、隣接アドレスのデータの差分だけを補正ＲＯＭに格納していることにある。これは、図３で説明したように歪みの変化は曲線状となるため、隣接するアドレスを見た場合にその変化の差異が小さいからである。
【００５６】
図５（Ａ）において、補正ＲＯＭ内の未使用のエリア、例えば１０２４番地に変換されるアドレスの開始値、例えば００６を格納しておく。そして、この開始値００６と入力アドレス０００に格納されているデータである０とを加算する。この結果００６を図５（Ｂ）に示すように算出アドレスとして一時保管しておく。この算出アドレスが変換されたＸ’のアドレスとなる。
【００５７】
次に、この算出アドレスの値に入力アドレス００１に格納されているデータである０とを加算し、算出アドレスとして一時保管しておく。この動作を繰り返すことにより、図５（Ｂ）に示すように算出アドレスが得られる。この算出アドレスの値は図４（Ｂ）で補正ＲＯＭに格納しているアドレス値と同じになり、同じ機能を有することが解る。
【００５８】
なお、図示しないが、格納されているデータの値が２以上の場合は、実際に読み出されるデータが読み飛ばされること（Ｘ方向アドレスの間引き）になり、結果的に画像の縮小になる。つまり、この値が２のときは１／２に縮小され、３のときは１／３に縮小されることになる。
【００５９】
この方式は図４（Ｂ）の方式に比べて加減算回路が必要となるが、大幅なデータ量の削減が可能になる。例えば、図４（Ｂ）ではＸ’のデータは１０ｂｉｔ必要であるが、図５（Ａ）のデータは隣接するアドレスに格納されているデータの差分でよいため、最大差分を３とした場合、この３を表す２ｂｉｔを確保すればよく、（（１０ｂｉｔ−２ｂｉｔ）×６４０画素−開始値１０ｂｉｔ）×４８０画素＝２４５２８００ｂｉｔの節約になる。
【００６０】
同様にＹ’のデータは９ｂｉｔ必要であるが、最大差分を３とした場合に２ｂｉｔを確保すればよく、（（９ｂｉｔ−２ｂｉｔ）×４８０画素−開始値９ｂｉｔ）×６４０画素＝２１４４６４０ｂｉｔの節約になる。つまり、合計で４５９７４４０ｂｉｔの節約になる。
図４（Ｂ）の場合は、合計１９ｂｉｔ×６４０画素×４８０画素＝５８３６８００ｂｉｔであるため、これに比較して図５（Ａ）の場合は約７９％も節約することができる。
【００６１】
従ってＲＯＭ容量を大幅に削減してコストダウンを図ることができる。また、図３で説明したように、光学的形状歪は画像の中央（レンズの中心）では基本的に発生せず、この点を中心として歪み特性のグラフは左右上下で対称となる。従って、全画面の１／４の面積の補正データを用意しておき、アドレスが画面中央を越えたら補正ＲＯＭの読み出し方向を変えることにより、さらに大幅な補正ＲＯＭのデータ量削減を図ることができる。
このような構成にすることにより、補正テーブルのデータ量を削減し、補正記憶手段を容量が小さくて安価な構成することができ、さらにコストダウンを図ることができる。
【００６２】
具体的には、図３でＸ方向を考えた場合Ｘアドレスが０〜３１９までは、図５（Ａ）の入力アドレス０００〜３１９を順にアクセスし、Ｘアドレスが３２０〜６３９までは、図５（Ａ）の入力アドレス３１９〜０００を逆順にアクセスすればよい。なお、Ｙ方向の場合も画像の中心アドレスおよび画像の幅が異なるのみで考え方は同様である。
【００６３】
このように、エリアセンサの縦方向及び横方向のそれぞれ中央、例えば、Ｘアドレスが３１９、Ｙアドレスが２３９の位置を軸として４つに区画し、区画されたエリアに共通の補正アドレスにより補正テーブルを構成する。つまり、各エリアの上下や左右、斜め方向の補正アドレスを共通使用することにより、補正テーブルのデータ量を削減し、補正記憶手段を容量が小さくて安価に構成することができ、コストダウンを図ることができる。これは、光学的形状歪の特性が光軸を中心として、上下左右や斜めで対象となることを利用している。
【００６４】
次に補正ＲＯＭのデータ作成方法について説明する。図６はあるレンズのディストーション（歪曲収差）特性を表す図であり、補正データはこの特性に基づいて作成される。図６の縦軸は光の入射角（単位：度）を示し、横軸はディストーション（歪み度合い）を示している。
【００６５】
図７（Ａ）は補正ＲＯＭのデータ作成を説明する図であり、エリアセンサの受光面における実際に光が入射した画素（実像高）と  本来入射すべき画素（理想像高）の関係を示している。なお、エリアセンサの各画素の大きさは、例えば、横７．２μｍ×５．６μｍの矩形であり、また、エリアセンサの受光面における左右上下の中心位置を中心座標（ｘｃ，ｙｃ）と規定する。従って中心座標（ｘｃ，ｙｃ）はレンズの光軸中心と一致するものとする。なお、”ｃ”はＸ方向、Ｙ方向でのそれぞれ中心位置を示す値である。
【００６６】
また、図７（Ｂ）は受光する光の入射角と受光面における実像高と理想像高との距離の関係を示した説明図である。縦軸が受光面からの距離ｆを示し、横軸が受光面エリアセンサの受光面における実像高ｒ’と理想像高ｒとの中心座標（ｘｃ，ｙｃ）からの距離を示している。
【００６７】
図６〜図７を用いて補正ＲＯＭのデータ作成方法について説明する。まず、図７（Ａ）において理想像高（ｘ，ｙ）を指定する。これはタイミング発生回路におけるＸ，Ｙのアドレスと対応する。そして、中心座標（ｘｃ，ｙｃ）から理想像高（ｘ，ｙ）に至る距離ｒと角度θとを求める。
【００６８】
そして、図７（Ｂ）に示すように、距離ｒと、対象となるレンズの焦点距離ｆとにより入射角θｚを求める。そして、入射角θｚと対応するディストーションを図６のグラフから求め、これを用いて図７（Ｂ）における実像高ｒ’を次の式で算出する。
実像高ｒ’＝理想像高ｒ×（１＋ディストーション）
従って、ディストーションの値がマイナス値の場合は樽型（収縮）歪を表し、プラスの場合が糸巻型（拡大）歪を表していることになる。
【００６９】
次に、図７（Ａ）に示すように実像高ｒ’の距離と中心座標（ｘｃ，ｙｃ）から理想像高（ｘ，ｙ）に向かう角度θとから実像高（ｘ’，ｙ’）を算出する。なお、ｘ’、ｙ’はアドレスであるため、算出結果が小数点を含む場合は、例えば小数点以下を四捨五入などにより整数化し、実像高に最も近いアドレスを選択できるようにしている。
【００７０】
以上の手順を繰り返して変換されるアドレスのｘ’、ｙ’を全ての画素位置に対して求める。図４で説明した変換方法であれば、このデータをそのまま補正ＲＯＭに格納すればよい。もし、図５で説明した変換方法であれば、このデータを前述した規則に従って再度変換し、ＲＯＭデータ量の削減を図る。
【００７１】
図８は実際に本実施例を用いて撮影した駐車場の画像である。図８（Ａ）は補正前の画像を、図８（Ｂ）は補正後の画像である。なお、画像中の格子線は補正の様子を分かりやすくするために付加したものであり、樽型歪みが補正されて綺麗な格子に戻った様子を見ることができる。また、駐車場の区画線（太い白帯）も湾曲が補正されて実際の目視に近い状態に補正されている。
【００７２】
このように補正を施すことにより、従来のバックモニターカメラでは掴めなかった遠近感が再現され、非常に認識し易い画面になっている。また、補正ＲＯＭに複数のレンズデータを書き込んでおけば色々なレンズに対応できて汎用性が増し、生産性や保守性に優れた車載用カメラを作ることができる。また、補正回路が撮像素子に内蔵されているため、小型化を図ることができ、また低価格で車載用カメラを提供することができる。
【００７３】
ところで、図８に示すように広角レンズを用いた場合は樽型の形状歪になり、これを補正すると画像の一部を拡大するため、結果的に画像の周辺部が表示の範囲外となる。実際には、図８（Ａ）のメッシュの範囲が図８（Ｂ）の表示範囲になる。車載用カメラではできるだけ広範囲な視野が必要であるため、撮像された範囲と同じ範囲で表示されることが望ましい。
【００７４】
そこで、さらに画角（視野範囲）が広い補正ＲＯＭのデータを作成する方法を図９の説明図を用いて説明する。前提条件として撮像画像、つまり、エリアセンサの大きさが６４０×４８０画素であるとする。そして、これを補正して同じ大きさの画像として出力するものとする。
【００７５】
まず、補正を施した結果得られる理想画像の大きさの補正テーブルを作成する。この方法は前述した方法である。理想画像の大きさは対応するレンズの特性や出力で求められる画像のサイズで決めればよいが、ここでは１０２４×５６７画素とする。もし、出力される画像を表示する表示装置が、この画像サイズを表示できるのであれば、ＣＭＯＳ型イメージセンサ内部のタイミング発生回路で１０２４×５６７画素の走査タイミングと水平／垂直同期タイミングを発生させればよい。
【００７６】
しかしながら、一般的に表示装置の解像度や水平／垂直同期タイミングには対応範囲があり、単純に接続しても表示できるとは限らない。特に一般的な映像表示装置に使用されるビデオ信号（ＮＴＳＣ方式など）は解像度や水平／垂直同期タイミングが固定であり、出力する画像はこの規格に適合させる必要がある。
【００７７】
従って、何らかの方法で理想画像のサイズを出力画像のサイズまで縮小する必要がある。具体的には、理想画像の大きさの補正テーブルから縦横の画素ラインと対応する補正データを間引きする。この間引きには幾つかの方法があり、前述したように、理想画像の周辺部を完全に削除する方法や、横方向や縦方向にそれぞれ均等に間引く方法などがある。
【００７８】
しかしながら、これらの２つの方法では、表示される範囲が狭くなったり、画質が悪化したりすることになる。次に説明する方法は、撮像画像サイズと出力画像サイズとが同じ大きさで、表示される範囲を出来るだけ広くして、かつ、画質もあまり悪化させない補正テーブルの作成方法である。
【００７９】
この方法の特徴は、カメラの使用者が主として注目する画像の中央付近の画像品質を悪化させないで、カメラの使用者が補助的に確認する画像周辺部の画像品質を落とすようにしたことにある。つまり、画像の上下左右周辺部のライン間引き率を、画像の中央付近の間引き率より大きくすることにある。
【００８０】
具体的には、理想画像における垂直の中心線と水平の中心線上での間引きの割合を、この直交軸の中心線上におけるレンズのディストーション特性に対応させるようにしている。従って、この方式によるラインの間引きで得られた補正データを用いて、形状歪補正を行なうと画角が広がるにも係わらず、画面上における同心円状の歪みが補正される。ただし、画像の直交軸方向の上下左右周辺部には若干の歪が残る。
なお、補正テーブルでのラインの間引きとは、対応する補正アドレスのデータを削除し、補正テーブル上でデータ配列を詰めることを意味する。
【００８１】
このように、撮像された画像の画角と同じ画角となり、形状歪補正された画像を理想画像とし、同理想画像に対応する補正テーブルを理想画像補正テーブルとした時、補正テーブルは、理想画像の水平及び垂直の中心線と対応する光学レンズのディストーション特性に対応して、理想画像補正テーブルにおける水平及び垂直の画素ラインと対応する補正アドレスのデータを間引いて生成される。そして、この補正テーブルを補正ＲＯＭに格納して、前述のイメージセンサに装着する。
【００８２】
なお、本実施例は車載用カメラを例として説明しているがこれに限るものでなく、監視カメラや携帯電話に内蔵のカメラ、デジタルカメラなどでも同様である。また、これらに搭載されるＣＭＯＳ型イメージセンサなどのように、ランダムに読み出し画素位置を指定できる撮像素子を搭載したカメラであれば全て応用することができる。
また、図示しないが、補正ＲＯＭをＩＣソケットを介して装着し、交換を容易にしたり、もしくは、補正ＲＯＭをフラッシュメモリで構成し、ＣＭＯＳ型イメージセンサの外から補正データを書き換える構成にしてもよい。このような構成にすることで、汎用性がさらに向上し、いろいろなレンズの特性に迅速に対応できる。
【図面の簡単な説明】
【００８３】
【図１】本発明によるイメージセンサを用いたカメラの実施例を示すブロック図である。
【図２】本発明による画像の補正方法の原理を説明する説明図であり、（Ａ）は原画像を、（Ｂ）は補正後の画像を示す。
【図３】レンズの光学的形状歪み特性を説明する説明図である。
【図４】本発明による形状歪補正手段の実施例を示す説明図であり、（Ａ）は補正ＲＯＭのブロック図を、（Ｂ）は補正ＲＯＭの格納データと、その規則性を示している。
【図５】本発明による形状歪補正手段の他の実施例を示す説明図であり、（Ａ）は補正ＲＯＭの格納データを、（Ｂ）は変換されるアドレスの算出過程を示している。
【図６】レンズの光学特性の一例を示すディストーショングラフである。
【図７】画像補正データを作成する手順を説明する説明図であり、（Ａ）はエリアセンサの受光面の模式図であり、（Ｂ）は入射角と画像の関係を示す説明図でる。
【図８】実際に本実施例を用いて撮影した駐車場の画像である。図８（Ａ）は補正前の画像を、図８（Ｂ）は補正後の画像を示す。
【図９】画角を保ったまま画像を補正する補正テーブルの作成を説明する図である。
【図１０】従来の固体撮像素子を用いて形状歪を補正する映像信号処理装置のブロック図である。
【図１１】光学的形状歪の種類を表す説明図であり、（Ａ）は糸巻型歪を、（Ｂ）は樽型歪を表している。
【図１２】固体撮像素子を用いた従来の形状歪補正方法を表すエリアセンサ受光面の模式図であり、（Ａ）は画素の均等配置を、（Ｂ）は形状歪に対応した画素の配置を示している。
【図１３】従来のＣＭＯＳ型イメージセンサを示すブロック図である。
【符号の説明】
【００８４】
１  被写体
２  車載用カメラ
３  表示モニター
１０  形状歪補正手段
１０ａ  補正アドレス生成手段
１０ｂ  補正ＲＯＭ（補正記憶手段）
２０  レンズユニット
２１  ＣＭＯＳ型イメージセンサ
２２  映像信号生成回路
８１  ＣＭＯＳ型イメージセンサ
８２  タイミング発生回路
８３  水平走査回路
８４  垂直走査回路
８５  エリアセンサ
【図１】
2007189361.tif 000003
【図２】
2007189361.tif 000004
【図３】
2007189361.tif 000005
【図４】
2007189361.tif 000006
【図５】
2007189361.tif 000007
【図６】
2007189361.tif 000008
【図７】
2007189361.tif 000009
【図８】
2007189361.tif 000010
【図９】
2007189361.tif 000011
【図１０】
2007189361.tif 000012
【図１１】
2007189361.tif 000013
【図１２】
2007189361.tif 000014
【図１３】
2007189361.tif 000015