(57)【特許請求の範囲】
【請求項１】
イメージセンサからの画像データを処理する画像処理装置であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリと、
該画像データの前記メモリへの書き込みと、前記メモリからの画像データの読み出しとを制御する制御手段と、
前記イメージセンサから１ライン分毎に順次転送される画像データのデータ数をカウントするカウンタと、
前記イメージセンサから順次転送される各画素の画像データを現在転送されてきた画素の画像データ以外の画像データに基づいて補正処理して出力する補正回路と、
を有し、
前記制御手段は、前記カウンタのカウント数が前記メモリの前記第２の領域中の欠陥画素の位置情報に対応する数に一致した場合に、前記メモリの前記第１の領域中の前記欠陥画素の格納位置に前記補正回路により補正された画像データを書き込み、該カウント数が前記欠陥画素の位置情報に対応する数に一致しない場合には、前記イメージセンサからの画像データを前記第１の領域に格納する画像処理装置。
【請求項２】
前記メモリの前記第２の領域は、欠陥画素が単独か、あるいは連続欠陥画素の連続数を示す情報と、各ライン中の欠陥画素の位置を示す情報とを格納している請求項１記載の画像処理装置。
【請求項３】
前記補正回路は、対象画素の前後の画素データの平均値を演算して出力する請求項１又は２のいずれかに記載の画像処理装置。
【請求項４】
イメージセンサからの画像データを処理する画像処理方法であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリを用い、前記イメージセンサの１ライン分の欠陥画素位置情報を該メモリより取り込む段階と、
前記イメージセンサから、画素データを１ライン分毎、順次取り込む段階と、
前記１ライン分毎の画素データを取り込む際に画素データの数をカウントする段階と、
前記イメージセンサから順次転送される画素データを現在転送されてきた画素データ以外の画像データに基づいて補正処理する段階と、
前記メモリの、前記第２の領域の各ラインの欠陥画素位置情報が格納されるロウアドレスと同一のロウアドレスの前記第１の領域に、前記カウント数が前記欠陥画素位置情報に対応する数に一致した場合前記補正処理した補正データを、該カウント数が前記欠陥画素位置情報に対応する数に一致しない場合前記イメージセンサからの補正処理しない画素データを、各ライン毎に書き込む段階と
を有する画像処理方法。
【請求項５】
前記補正処理は、対象画素の前後の画素データの平均値を演算して出力する請求項４記載の画像処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、イメージセンサから出力された画像データを処理する技術に関し、特にイメージセンサの画素欠陥を補償するデジタルデータ処理を行う画像処理装置と画像処理方法とに関する。
【０００２】
【従来の技術】
図５に従来の画像処理装置の構成を示す。画像処理装置としては、例えばデジタルカメラを含む。イメージセンサ（ＣＣＤ）１０から出力された画像データは１ライン分毎にＤＲＡＭ１１に順次書きこまれて行く。そして、全ラインの画素データすなわち、１フレーム分の画像データが一旦すべてＤＲＡＭ１１に書き込まれる。
【０００３】
ＤＲＡＭ１１に一旦書きこまれた１フレーム分の画像データは、ホストＣＰＵ１２の制御の下で読み出されて、別の記録媒体に書きこまれるか、表示装置に出力されるか、あるいはさらに別のデータ処理を施されて出力されたりする。
【０００４】
半導体工場で製造されるイメージセンサ１０の生産歩留まりを高めるために、数十万あるいは百万単位の画素の一部に、ある程度の数の欠陥画素が混在していたとしても、製品としては許容される。しかし、画素の欠陥は画質を低下させるので、デジタルデータ処理技術により欠陥画素のデータを補正することが望ましい。
【０００５】
イメージセンサ上の欠陥画素の位置はあらかじめ製造時の検査により判っている。欠陥画素の位置情報はイメージセンサの供給メーカから提供されて、外部メモリ装置１３に保存されている。外部メモリ装置１３からホストＣＰＵ１２に欠陥画素の位置情報が送られる。つまり、以下のような手順によりイメージセンサの欠陥画素のデータ補正処理が実行される。
【０００６】
イメージセンサ１０からの１フレーム分の画像データは、欠陥画素の画素データも含め一旦全部がＤＲＡＭ１１に書きこまれる。次に、外部メモリ装置１３から最初の１ライン分の欠陥画素の位置情報を取り込む。さらに、欠陥画素位置情報により指定された欠陥画素のデータを補正する処理をする。この欠陥データ補正を欠陥画素のあるラインすべてに対してライン毎に行う。
【０００７】
図４を参照して欠陥画素のデータ補正の例をさらに詳細に説明する。図４（Ａ）は白黒画像データの場合であり、白黒イメージセンサの１ラインの一部の画素配列を模式的に示す。今、画素２１（×印）が欠陥画素であったとする。ホストＣＰＵ１２は、欠陥画素位置情報に基づき画素２１の一つ前の正常な画素２０のデータと、一つ後の正常な画素２２のデータとをＤＲＡＭ１１から読み出す。そして、二つのデータの平均値を計算する。そして、ＤＲＡＭ１１の欠陥画素２１のアドレスの欠陥データを、この平均値の補正データに書き換える。このデータ補正処理を各ライン毎に、欠陥画素のあるラインすべてについて実行して、ＤＲＡＭ１１のデータに対して欠陥補正を行う。
【０００８】
図４（Ｂ）はカラーイメージセンサの２ライン分の一部の画素配列を模式的に示す。この画素配列はベイヤ配列と呼ばれる。ベイヤ配列は、Ｒ(赤)画素と、Ｇ(緑)画素とが交互に並ぶラインと、Ｂ（青）画素とＧ(緑)画素とが交互にならぶラインとが縦方向に交互に配列している。
【０００９】
今、注目しているラインｎのＲ画素３１(×印)が欠陥画素であったとする。ホストＣＰＵ１２は、欠陥位置情報に基づきＲ画素３１の前の一番近い正常なＲ画素３０のデータと、後の一番近い正常なＲ画素３２のデータとをＤＲＡＭ１１から読み出す。そして、二つのデータの平均値を計算する。そして、ＤＲＡＭ１１のＲ画素３１のアドレスの欠陥データを、この平均値の補正データに書き換える。Ｂ画素及びＧ画素の欠陥データも同様の手順で補正する。このようなデータ補正処理を各ライン毎に欠陥画素のあるラインすべてについて実行して、ＤＲＡＭ１１のデータに対して欠陥補正を行う。
【００１０】
欠陥補正の済んだ１フレーム分の画像データはＤＲＡＭ１１から読み出されて次の処理、すなわち他の記録媒体に書きこまれるか、表示装置に出力されたり、あるいはさらに別のデータ処理を施されたりする。
【００１１】
【発明が解決しようとする課題】
上述した従来の画像処理装置では、一旦ＤＲＡＭ１１にイメージセンサからの１フレーム分の画像データを書きこんだ後に欠陥画素の補正処理を行う。ＤＲＡＭ１１からの欠陥画素の近隣正常画素のデータ読み出しと、補正演算処理と、ＤＲＡＭのデータ書き換えという３段階の一連の動作に１０クロック分程度の時間を要していた。
【００１２】
この処理を欠陥画素の数だけ繰り返すので、欠陥数が多い場合には欠陥画素すべての補正を終えてＤＲＡＭに補正後のデータを書き込むまでに相当な時間を必要としていた。したがって、欠陥画素のあるイメージセンサで撮影された１フレーム分の画像データを補正して最終的に外部へ出力するまでにはかなりな時間を要し、撮影した画像が見られるまでの待ち時間が長かった。また、補正時間が長いことにより、１秒当たり３０フレームのフレームレートを有する動画の補正処理はできなかった。
【００１３】
本発明の目的は、簡単な回路構成で高速に欠陥画素のデータ補正を行うことのできる画像処理装置又はその方法を提供することである。
【００１４】
【課題を解決するための手段】
本発明の一観点によれば、
イメージセンサからの画像データを処理する画像処理装置であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリと、
該画像データの前記メモリへの書き込みと、前記メモリからの画像データの読み出しとを制御する制御手段と、
前記イメージセンサから１ライン分毎に順次転送される画像データのデータ数をカウントするカウンタと、
前記イメージセンサから順次転送される各画素の画像データを現在転送されてきた画素の画像データ以外の画像データに基づいて補正処理して出力する補正回路と、
を有し、
前記制御手段は、前記カウンタのカウント数が前記メモリの前記第２の領域中の欠陥画素の位置情報に対応する数に一致した場合に、前記メモリの前記第１の領域中の前記欠陥画素の格納位置に前記補正回路により補正された画像データを書き込み、該カウント数が前記欠陥画素の位置情報に対応する数に一致しない場合には、前記イメージセンサからの画像データを前記第１の領域に格納する画像処理装置
が提供される。
【００１５】
本発明の他の観点によれば、
イメージセンサからの画像データを処理する画像処理方法であって、
ロウアドレスとカラムアドレスにより特定されるＤＲＡＭであって、第１の領域と第２の領域を有し、前記第１の領域は１フレーム分の画像データの各ライン分のデータをＤＲＡＭの対応するロウアドレスに格納し、前記第２の領域は画像データの該各ラインに対応する前記イメージセンサの欠陥画素の位置情報を前記ロウアドレスと同一のロウアドレスに格納する書き換え可能なメモリを用い、前記イメージセンサの１ライン分の欠陥画素位置情報を該メモリより取り込む段階と、
前記イメージセンサから、画素データを１ライン分毎、順次取り込む段階と、
前記１ライン分毎の画素データを取り込む際に画素データの数をカウントする段階と、
前記イメージセンサから順次転送される画素データを現在転送されてきた画素データ以外の画像データに基づいて補正処理する段階と、
前記メモリの、前記第２の領域の各ラインの欠陥画素位置情報が格納されるロウアドレスと同一のロウアドレスの前記第１の領域に、前記カウント数が前記欠陥画素位置情報に対応する数に一致した場合前記補正処理した補正データを、該カウント数が前記欠陥画素位置情報に対応する数に一致しない場合前記イメージセンサからの補正処理しない画素データを、各ライン毎に書き込む段階と
を有する画像処理方法
が提供される。
【００１６】
メモリにイメージセンサの画像データを１フレーム分一旦全部書きこんだ後に、そのメモリから画像データを読み出し欠陥画素のデータをすべて補正して、メモリの欠陥画素データを補正データで書きなおしていた従来の処理方式とは異なり、本発明においては、イメージセンサから画素データを取り込み、その時点で欠陥画素のデータ補正処理を並行して行い、正常画素の画素データ又は欠陥画素を補正したデータをメモリに書きこんで行くので、高速に画像処理を行うことができる。
【００１７】
【発明の実施の形態】
図１は、本発明の実施例による画像処理装置の構成を示すブロック図であり、図２は、図１に示す装置による欠陥画素のデータ補正処理を含む画像処理方法の手順を示すフローチャートである。以下、図面を参照しながら、実施例の装置の動作を説明する。
【００１８】
図１（Ａ）において、１はイメージセンサ（ＣＣＤ）１０から例えば１２．２７ＭＨｚのクロック信号に従ってシリアル転送される１フレーム分の画像データのデータ数をカウントするカウンタであり、２は欠陥画素データの補正回路であり、３は画像データの遅延装置であり、４は少なくとも１フレーム分の画像データと欠陥画素情報を格納するＤＲＡＭであり、５は以上の各要素を制御するホストＣＰＵであり、６はバスラインであり、１３はイメージセンサの供給メーカより提供されたイメージセンサ１０の欠陥画素情報を格納する外部メモリ装置である。
【００１９】
ＤＲＡＭ４のメモリ領域は、１フレーム分の画像データを格納する画像データ領域４ａと、欠陥画素情報を格納する欠陥情報領域４ｂとからなる。欠陥情報領域４ｂには、予め外部メモリ装置１３からイメージセンサ１０の欠陥画素情報が供給され、書きこまれている。
【００２０】
図１（Ｂ）に、ＤＲＡＭ４のメモリ領域の構造を模式的に示す。ＤＲＡＭ４は、ロウアドレスＲＡとカラムアドレスＣＡにより特定される。画像データ領域４ａにはイメージセンサ１０の各ラインの画像データが同一ロウアドレスＲＡの領域Ｌ１〜Ｌｎ（ｎはライン数）に格納され、画像データの各ラインに対応する欠陥画素情報も同一ロウアドレスの領域Ｄ１〜Ｄｎに格納されている。例えば、第１ラインの画素データは、第１のロウアドレスの領域Ｌ１に格納され、第１ライン内の欠陥画素の情報は同じ第１のロウアドレスの領域Ｄ１に格納される。
【００２１】
図１（Ｃ）は、欠陥画素情報の領域Ｄｎのフォーマットを示す。上位４ビットのフラグ５１が０を示す場合は欠陥がその第ｎラインで単独画素の欠陥であることを表し、フラグが１を示す場合は欠陥がその第ｎラインで連続する２個の画素であることを表し、フラグが２を示す場合は欠陥がその第ｎラインで連続する３個の画素であることを表し、フラグが３を示す場合は欠陥がその第ｎラインで連続する４個の画素であることを表す。下位１２ビットの欠陥画素の位置情報５２は、欠陥画素のライン上の位置を示し、連続して欠陥がある場合には、先頭の欠陥画素の位置を示す。
【００２２】
ＤＲＡＭ４は、例えば１つのアドレスに１６ビットのデータを格納することができる。領域Ｄｎの各々は、図１（Ｃ）に示す１６ビットの欠陥画素情報を例えば４組有する。但し、この数値はあくまで一例であって、本実施例をこれらの数値に限定する意図はない。なお、そのラインに欠陥画素が無い場合を表す場合には、下位１２ビットの位置情報５２をすべて１にする。
【００２３】
この実施例のフォーマットを使用すれば、イメージセンサの画像サイズが例えば、ＶＧＡ（水平方向６４０画素×４８０ライン）の場合には、最大で４連続欠陥×４組×４８０ラインで計７６８０個の欠陥位置情報を記録でき、その欠陥画素のデータを補正することができる。
【００２４】
図２を参照して本発明の実施例による画像処理の手順を説明する。まず、イメージセンサ１０からの最初の第１ラインの画像データの取り込みを開始する前に、ステップ４０において、その第１ラインの欠陥画素データをＤＲＡＭ４の欠陥画素情報の領域４ｂから読み出す。読み出した情報はカウンタ１に与えられる。
【００２５】
次に、ステップ４１において、イメージセンサ１０からの画素データの取り込みを開始する。そのデータ取り込みの間に、カウンタ１は取り込み中のデータの計数を行う。さらに画像データ取り込みと並行して、補正回路３において補正データの作成(演算)を行う。補正データは欠陥の有る無しに関わらず、すべての画素データに対して行う。補正データの作成(演算)は、図４を参照して説明した方法と同様である。但し、補正データの作成は、図５の従来の装置では、ホストＣＰＵ１２が行っていたものを、本実施例では、個別の補正回路２が行う。
【００２６】
図３に白黒画像データの場合の補正回路２の一例を示す。第１ラインのｍ番目（ｍは任意の正の整数）の画素のための補正データを作成する場合は、加算器にイメージセンサからのｍ−１番目の画素データ（８ビット）とｍ＋１番目(８ビット)の画素データとを入力し、その９ビットの出力のうちの上位８ビットを取り出す。その上位８ビットの値が二つの入力データの平均値となり、補正データとして使用される。カラー画像データの場合も基本的に同様である。なお、補正データの作成方法は、この例の方法以外にも公知の別の方法が使用できるであろう。
【００２７】
次にステップ４２でカウント値が欠陥画素情報４ｂの欠陥位置情報に対応する値と一致した場合には、ステップ４３において、ステップ４１で作成した補正データをＤＲＡＭ４のデータ領域４ａの欠陥位置に該当するアドレスに書きこむ。一方、ステップ４２でカウント値が欠陥画素情報４ｂの欠陥位置情報に対応する値と一致しなかった場合には、ステップ４４において、イメージセンサ１０から遅延回路３を通って転送された画像データをそのままＤＲＡＭ４のデータ領域４ａの該当するアドレスに書きこむ。
【００２８】
次に、ステップ４７において、当該ライン内の全ての画素データの処理が終了したか否かをチェックする。終了していない場合には、ステップ４１に戻り、次の画素データの処理を繰り返す。当該ライン内の全ての画素データの処理が終了したときには、ステップ４５へ進む。
【００２９】
ステップ４５において、全ラインのデータ書き込みが終了したかどうかを判定し、終了してない場合には、次の第２番目のラインを指定して処理を行うためにステップ４０に戻り、それ以降のステップを繰り返す。そして、ＤＲＡＭ４に１フレームの全ラインの画像データの書き込みが終了するまで、上記の処理が繰り返される。
【００３０】
補正データも含めすべての画像データがＤＲＡＭ４に書きこまれると、ステップ４６において、画像データはＤＲＡＭ４から読み出され、必要に応じてさらに処理が加えられ、表示装置に供給される。
【００３１】
イメージセンサ１０から受け取る動画の画像データのクロックは、例えば１２．２７ＭＨｚである。表示装置へ供給する動画の画像データのクロックも、例えば１２．２７ＭＨｚである。本実施例によれば、イメージセンサ１０から受け取った動画の画像データを欠陥補正して、リアルタイムで３０フレーム／秒の動画を表示装置に表示させることができる。
【００３２】
なお、ＤＲＡＭ４からのデータ読出しの時間がデータの転送レートに比べてかなり速い場合には、ステップ４３と４４のデータ書き込みが終わる度に、データを読み出して出力してもよいであろう。
【００３３】
１ラインの端の画素が欠陥画素の場合には、その画素に隣接するデータと同じ画素データを使用することにより、補正を行うことができる。１ライン内で欠陥画素が連続している場合には、垂直方向に補間を行うことにより、補正を行ってもよい。重み付け平均を用いてもよい。
【００３４】
本実施例によれば、メモリに欠陥画素情報を格納する領域を設けて、イメージセンサから画素データを取り込む度に、その時点でデータ補正処理を並行して行い、欠陥画素情報を基に画像データ又は補正データのいずれかを選択してメモリに書きこんで行くので、１ライン毎に実質的にリアルタイムの画像処理ができる。欠陥画素のあるイメージセンサで撮影した画像でも、欠陥補正された映像が高速に再生可能で、動画も実質的にリアルタイムで再生可能となる。カウンタと補正回路の簡単な構成で欠陥画素の補正が可能となる。
【００３５】
以上説明した実施例は単なる例示であって、当業者であれば、本願明細書の開示に基づき、様々な変形や応用が可能であろう。
【００３６】
【発明の効果】
以上説明したように、本発明によれば、実質的にリアルタイムの画像処理ができるので、欠陥画素のあるイメージセンサで撮影した画像でも、欠陥補正された映像が高速に再生可能で、動画も実質的にリアルタイムで再生可能となる。また、簡単な構成で欠陥画素の補正が可能となる。
【図面の簡単な説明】
【図１】本発明の実施例による画像処理装置のブロック図である。
【図２】本発明の実施例による画像処理方法のフローチャートである。
【図３】本発明の実施例による画像処理装置の欠陥補正回路の構成を示すブロック図である。
【図４】欠陥画素のデータ補正のやり方を説明するための画素の配列図である。
【図５】従来の技術による画像処理装置のブロック図である。
【符号の説明】
１    カウンタ
２    欠陥補正回路
３    遅延回路
４    ＤＲＡＭ
５    ホストＣＰＵ
６    バスライン
１０  ＣＣＤ
１３  外部メモリ装置
５１  フラグ
５２  欠陥画素位置情報
６１  加算器
【図１】
0004199874.tif 000002
【図２】
0004199874.tif 000003
【図３】
0004199874.tif 000004
【図４】
0004199874.tif 000005
【図５】
0004199874.tif 000006