(57)【要約】【課題】撮像装置において、出荷当初に判明した欠陥は固定的な機能の欠陥補正回路で対応が可能であるが、経年使用による後天的な欠陥に対応することができない。そこで再構成ロジック装置が適用を考えられるが、回路規模が増大になる課題がある。【解決手段】動的構成制御装置１０１を用いることで、再構成ロジック装置１０５を撮像素子に対して時分割、かつ空間的に分割適用することで低コスト化を実現しつつも、従来対応できなかった後天性の欠陥補間への対応や、ゴミは機構的に取り除いていた機構的なシステムを搭載せずに対応が可能となる。【選択図】図１
2009290421.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子が出力する画像を所定の画像信号処理を行って撮影する撮影装置であって、
撮像素子の露光時間と画像信号出力のタイミングを生成するタイミング信号発生装置と、
前記タイミング信号発生装置が出力するタイミング信号に応じて撮影する前記撮像素子と、
前記撮像素子が出力する画像信号を入力し、この入力した信号を増幅する増幅装置と、
前記増幅装置から出力した画像信号を入力する再構成ロジック装置と、を備え、
前記再構成ロジック装置は動的構成制御装置によって出力される制御信号に応じてロジック機能を構成変更する特徴を有し、
前記動的構成制御装置は前記タイミング信号発生装置が出力するタイミング信号に応じて、すなわち撮像素子の撮影動作と連動して前記再構成ロジック装置のロジック機能を変更する特徴を有する撮影画像処理装置。
【請求項２】
前記動的構成制御装置は、
前記タイミング信号発生装置が出力するタイミング信号と、前記再構成ロジック装置と前記撮影素子それぞれの回路規模を設定するレジスタに情報を設定する設定信号を入力し、
前記タイミング信号を入力する座標情報生成装置と画素色テーブル発生装置に入力し、
前記再構成演算装置の回路規模設定レジスタの出力値と、前記座標位置生成装置と前記画素色テーブル発生装置のぞれぞれの出力値を入力し、前記撮像素子が出力する画素の座標及び色情報を含んだ画素情報を出力する画素情報生成装置があって、
前記再構成ロジック装置と前記撮像素子の回路規模情報より求める分割数情報を出力する特徴を備えた請求項１記載の撮影画像処理装置。
【請求項３】
前記撮影画像処理装置が出力する画像データを保持するバッファ装置と、
前記バッファ装置に保持された画像データを所定の画像処理を実行する画像信号処理装置と、
前記画像信号処理装置が出力する画像データを記録する記録媒体と、
画像データを表示する表示装置と、
前記撮影素子の欠陥検出処理を制御する欠陥検出制御装置と、
これら装置を制御するＣＰＵと、
前記ＣＰＵ及び前記再構成ロジック装置のプログラムを記録されたプログラムメモリと、を更に備えた請求項１または２に記載の撮影画像処理装置。
【請求項４】
請求項３に記載の撮影画像処理装置における画素欠陥補正方法であって、
前記撮影画像処理装置の初期起動時、または前記撮影画像処理装置を構成する装置の一部の動作状態が切り替わった際に、
前記ＣＰＵが前記欠陥検出装置に対して撮像素子の欠陥検出動作状態に、前記撮影画像処理装置と前記動的構成制御装置を遷移し、
前記撮影画像処理装置に含まれる増幅装置がゲイン値を変更しながら撮影素子からの画像データを前記再構成ロジック装置に入力し、
前記再構成ロジック装置は前記ＣＰＵによりプログラムメモリに存在する欠陥機能をもとに欠陥検出機能に設定され、また前記動的構成制御装置により撮像素子からの読み出し動作をしながら欠陥を検出していき、
前記再構成ロジック装置は前記画素位置生成装置と前記画素色テーブル装置が出力する画素データを元に欠陥を検出し欠陥であった場合はこれらの画素データを再構成ロジック装置内部に保持する特徴を有し、
欠陥検出状態から通常の撮影モードに変更し、
前記通常撮影モードにおいては前記保持した欠陥画素の欠陥情報を元に前記再構成ロジック装置は欠陥画素が対象の場合は通常の撮影処理に加え欠陥補正処理を実施する特徴を有する画素欠陥補正方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は撮像素子を用いた撮像装置において、欠陥補正部分に再構成ロジック装置を適用した撮影装置に関するものである。
【背景技術】
【０００２】
図１１に示すとおり従来の出荷時に固定的な欠陥を検査し、キズ補正回路による補正処理を行ったり、センサに付着したゴミを振動、エラー、静電処理によって取り除く撮像装置（カメラ）は存在していた（特許文献１参照）。
【０００３】
また、経年使用している場合に発生する欠陥に対しては、CPUやDSPといったソフトウェア処理による撮影後の後処理で行っていた（特許文献２参照）。ただし、この方式は処理に時間がかかるため、近年、再構成ロジック装置を搭載した撮像装置が考案されてきた。
【特許文献１】特開2002-281388号公報
【特許文献２】特開2003-174595号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、前記従来の構成では、再構成ロジック装置のプロセッサエレメントと撮像素子の画素が１対１で対応しているため回路規模が大きいという課題を有していた。
【０００５】
本発明は、前記従来の課題を解決するもので、撮像装置に対して低コストな再構成ロジック装置を搭載したプログラマブルなカメラ信号処理を提供することを目的とする。
【課題を解決するための手段】
【０００６】
第１の発明のは、撮像素子の露光時間と画像信号の出力のタイミングを生成するタイミング信号発生装置と、このタイミング信号発生装置が出力したタイミング信号に応じて撮影する撮影素子があり、次にこの撮影素子が出力した画像信号を増幅する増幅装置があり、この増幅装置によりゲイン制御された画像信号を入力する再構成ロジック装置があって、この再構成ロジック装置は動的に構成制御装置によって出力される制御信号に応じてロジック機能を構成変更する特徴があり、撮影素子の撮影動作と再構成ロジック装置のロジック機能を連動して変更することが可能な撮影画像処理装置である。
【０００７】
この発明によって、撮影素子と再構成ロジック装置が連動して再構成ロジック装置の機能を切り替えが可能となり、撮像素子の画素単位で再構成ロジック装置の論理を変更することが可能となる。
【０００８】
次に、第２の発明のは、タイミング信号発生装置が出力したタイミング信号と、再構成ロジック装置と撮影装置それぞれの回路規模を設定するレジスタに情報を設定する設定信号を入力し、また先ほどのタイミング信号を入力する座標情報生成装置と画素色テーブル発生装置に入力し、再構成ロジック装置の回路規模設定レジスタの出力値と、座標位置生成装置と画素色テーブル発生装置からのそれぞれの出力値を入力して、撮像素子が出力する画素の座標、及び色情報を含んだ画素情報を出力する画素情報生成装置があり、再構成ロジックと撮像素子の回路情報より求められた分割数情報を出力する特徴を備えた動的構成制御装置である。
【０００９】
この発明の動的構成制御装置を用いることで、第１の発明の再構成ロジック装置を備えた撮影画像処理装置で実現した撮影素子単位での再構成ロジック装置の切り替え可能であるところに、さらに入力する撮影素子のデータに対して座標位置情報、色情報を付加して再構成ロジック装置に投入可能となり、より撮像素子の画素座標、色に合わせた画像処理を再構成ロジック装置で行うことが可能となる。
【００１０】
第３の発明の撮影装置は、第２の発明動的構成制御装置と、またこの動的構成制御装置を備えた第１の発明の撮影画像処理装置を搭載し、撮影画像処理装置が出力する画像データを保持するバッファ装置があり、このバッファ装置に蓄積、保持された画像データに対して所定の画像処理を実行する画像信号処理装置があり、また画像データを記録する記録媒体と、この画像を外部に表示する表示装置を備えており、これら装置を制御するＣＰＵと、ＣＰＵまたは再構成ロジック装置のプログラムを格納するプログラムメモリを備えることで撮影装置を実現することが出来る。
【００１１】
また、第４の発明は撮影素子の欠陥検出、及び欠陥補正手法のフローであり、撮影装置ないし撮影装置を構成する一部の装置の動作状態が切り替わった際にＣＰＵが欠陥検出装置に対して撮像素子の欠陥検出動作状態に、撮影画像処理装置と動的構成制御装置を遷移させ、前記撮影画像処理装置に含まれる増幅装置がゲイン値を変化しながら撮像素子からの画像データを前記再構成ロジック装置に入力して、前記再構成ロジック装置はＣＰＵによりプログラムメモリに記憶していた欠陥機能をもとに欠陥検出機能に設定され、また前記動的構成制御装置により撮像阻止からの読み出し動作を行いながら画素の欠陥を検出していき、前記再構成ロジック装置は画素位置生成装置と画素色テーブル装置が出力する画素データをもとに欠陥を検出し欠陥であった場合はこれらの画素データを再構成ロジック装置内部のデータ記録部分に保持する特徴を持っており、欠陥検出処理状態から通常の撮影モードに変更し、通常撮影モードにおいては前記保持した欠陥画素の欠陥情報をもとに前記再構成ロジック装置は欠陥画素が対象の場合は通常の撮影処理に加え欠陥補正処理を実施する特徴を有するが祖欠陥検出及び欠陥補正手法である。
【００１２】
前記再構成ロジック装置は動的構成制御装置によって出力される制御信号に応じてロジック機能を構成変更する特徴を持つ撮影画像処理装置と、座標情報と画素色テーブルと分割数情報を出力する特徴を備えた動的構成制御装置があって、これら撮影画像処理装置と動的構成制御装置を持つ撮影装置があり、再構成ロジック装置を撮影画像処理装置に回路規模的に最適な構成で実現することができる。また、画素欠陥検出及び欠陥補正手法を適用することで、再構成ロジック装置の特徴である動的な機能変更を用いた画素欠陥と、欠陥補正並びに通常の撮影処理を適用することが可能となる。よって、経年キズや、付着ゴミといった後天的な画素欠陥に対する画素欠陥処理が可能になる。また、動的構成制御装置により、接続する撮像素子に対して再構成ロジック装置の分割適用をサイズに応じて切り替えが可能となり、撮像素子の選択が任意に可能で拡張性を持つ撮影装置を実現することが出来る。
【発明の効果】
【００１３】
本発明の撮影装置と、欠陥検出及び欠陥補正手法によれば、再構成ロジック装置を適用した場合の回路規模の最適化、つまり再構成ロジック装置のプロセッサエレメント(PE)1つに対して撮影素子の複数の画素に対応することができ、加え再構成ロジック装置を分割使用するために任意の撮像素子数に対して使用することが出来る。これにより、再構成ロジック装置を撮像装置に適用が可能となり、本来の再構成ロジック装置の利点であるプログラマブル性を実現でき、後天的な欠陥の対応や、様々な欠陥補正、画像処理を搭載できる撮像装置が得られることが出来る。
【発明を実施するための最良の形態】
【００１４】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００１５】
（実施の形態１）
図１は本実施の形態に係る撮影装置である。撮像素子（センサ）１０２はCCDや、CMOSセンサといった画素に相当するアレイ状に配置したフォトダイオードの光電効果を用いて感光するデバイスである。撮像素子１０２はタイミング生成装置１０３が発生する画素クロック（PCLK）、フレームの区切りタイミングを示す垂直同期信号（VSYNC）、撮像素子のライン方向の区切りタイミングを示す水平同期信号（HSYNC）のすべてを供給、またはいずれかの信号をもとに一部の信号を撮像素子が供給することがある。信号の機能的仕様としては上記クロックと、垂直・水平の同期タイミングを表している。撮像素子１０２はタイミング生成装置１０３が生成するクロック、垂直・水平同期信号に同期し増幅装置１０４に画像データを出力する。増幅装置１０４は必要に応じて増幅動作を行い（感光した画像データを単純に増幅・増感）して、更に再構成ロジック装置１０５に入力する。再構成ロジック装置１０５は動的構成制御装置１０１によって内部の構成状態を制御され、結果をバッファ装置（ワークメモリ）に所定の処理を実行した結果を出力する。
【００１６】
ここで、図３に再構成ロジック装置１０５の構成を示す。再構成ロジック装置１０５は、最小の演算処理を行うプロセッサエレメント（PE）と、PE間の接続を切り替える動的接続ユニット（DCU）がある。図３は、PEが３行４列の例であり、PEは３０１ａ，３０１ｂ，３０１ｃ，３０１ｄ，３０２ａ，３０２ｂ，３０２ｃ，３０２ｄ，３０３ａ，３０３ｂ，３０３ｃ，３０３ｄ、DCUは３０４ａ，３０４ｂ，３０４ｃとある。PEとDCUで演算処理した結果はメモリI/F装置３０５を経由して出力端子３０６より出力する。本実施例の撮影装置ではバッファ装置（ワークメモリ）であり、メモリI/F装置３０５はDMAのようなデータ転送機能を備えていることが言える。増幅装置１０４から出力された画像データは入力端子３０７より再構成ロジック装置１０５に共有され、先ほどの出力端子３０６に結果が出力される。この間、PEとDCUを所定の信号処理を実行できるように構成を変更制御するPE構成信号３０８とDCU構成信号３０９である。
【００１７】
図４はPEの具体的な構成図である。PEの演算を司るプログラマブルDSPコア(PDC)４０１がある。さらに具体的なPDCの具体的な構成については、本発明にとってかかわるところではないが、一般的なFPGAやPLDで搭載しているDSPマクロを想定しており、固定ビット長の回路規模が小さいDSPコアである。PDC４０１はプログラムレジスタ４０２に格納したPDC用命令コードに指定された処理を実行する。プログラムレジスタ４０２は図１のCPUと接続されたCPU I/F４０３より入力される。PEはデータ入力端子４０４，４０５よりデータを入力し、出力端子４０６より結果を出力する。図４のFFはフリップフロップ、つまりデータ用レジスタやRAMであり、PE構成信号３０８によって複数存在するFFを切り替える（図４のFFは二つ）。またPDCの出力は入力フィードバック線４０７にも接続しており、入力データ用FFに対して入力端子４０４，４０５と選択して入力データFFに入力される。最後に、PE構成信号３０８はプログラムレジスタ４０２の切り替えを行うことができるため、PDCのプログラムを変更可能である。なお、PE構成信号３０８は図４では1線であるが、必ずしも1線ではなく複数腺であり、つまりFFとプログラムレジスタの値が都度参加されるようなことはない。
【００１８】
次に、図５を用いてDCUの実施例について説明する。PE同様に、DCU構成信号３０９によって、DCU入力端子５０１，５０２とDCU出力端子５０３，５０４，５０６，５０７との接続関係を選択する。切り替えの組み合わせは、設定レジスタ５０８にセットされており、マルチプレクサ５０９により接続が決定される。ちなみに、この図５では2入力4出力になっているが、設定レジスタ５０８、マルチプレクサ５０９の組み合わせ構成を増やすことで、入力端子、出力端子数を増やすことは可能である。
【００１９】
よって、再構成ロジック装置１０５は、図４のPE、図５のDCUにより内部接続構成や、PE内部のPDC機能を切り替えることで機能を切り替えることができる。また、PE構成信号３０８、DUC構成信号３０９により、PE構成信号３０８ではPE内部でデータレジスタの復帰・退避が可能であったり、出力から入力へのフィードバックが行えたり、また当然ながらDCU構成信号３０９はPE間のデータパス構成をプログラマブルに設定することが可能である。
【００２０】
また、動的構成制御装置について図２で詳細を説明する。この動的構成制御装置は、再構成ロジック装置１０５のある特定の回路規模、例えば図１では3行4列の12個のPEがあり、このPEを撮像素子１０２に対して時間的、及び空間的に分割適用することを実現するために、PE構成信号３０８とDCU構成信号３０９を生成する装置である。まず、CPUよりPE情報レジスタ２０１とセンサ情報レジスタ２０２に、再構成ロジック装置１０５のPEサイズと、撮像素子１０２のフォトダイオード個数を設定し、単純に割り算し分割数情報２０３を出力する。次に、PCLK２０４とVSYNC２０５とHSYNC２０６をもとに座標情報生成装置２０７に入力する。座標情報生成装置２０７はPCLK２０４をベースクロックとしたカウンタであり、VSYNC２０５とHSYNC２０６が示すフレームの区切り、またはラインの区切りタイミングを認識して、現在の画素のXY座標を認識する。座標情報生成装置２０７では画素のXY座標のみの認識であるため、CPUより画素色テーブル発生装置２０８に画素の色順番を設定し、画素情報生成装置２０９で座標と色順番を同期化した画素情報２１０を出力する。
【００２１】
具体的な実施例を、図６を使って説明する。図６は一般的なCMOSセンサにおけるベイヤ配列を示した図である。X方法にX6画素、Y方向にY6画素あり、X方向にスキャンしながら、Y方向にライン方向にカウントアップしていく。そこでRは赤、Bは青、G1とG2は緑のカラーフィルターを装着したフォトダイオードに相当しており、この撮像素子はG1(緑)→R(赤)→G1(緑)→R(赤)．．．B(青)→G2(緑)→B(青)→G2(緑)．．．と読み出されていく。図７にこのベイヤ配列から各画素位置におけるRGB、つまり一般的に現像処理と呼ばれる式を以下に示す。以下の式は、図７のG1(X=3,Y=3)の画素を示す。以下、(x,y)の表記でX座標と、Y座標を示す。
【００２２】
G1(3,3)の各RGB値は、以下のとおりである。
【００２３】
r(3,3) = { R(2,1) + R(4,1) + 2 * ( R(2,3) + R(4,3) ) + R(2,5) + R(4,5) } / 8
b(3,3) = { B(1,2) + 2 * B(3,2) + B(5,2) + B(1,4) + 2 * B(3,4) + B(5,4) } / 8
g(3,3) = { G2(2,2) + G2(4,2) + 4 * G1(3,3) + G2(2,4) + G2(4,4) } / 8
図７（ａ）は、G1(3,3)のr値の算出に必要な画素の関係を示している。さらに、b値、g値に必要な画素を合わせて抽出した図が図７（ｂ）となる。そこで、図７の領域７０１が再構成ロジック装置が一度に処理を行わなければならない画素アレイとなり、この画素データをPE内のデータレジスタFFに保持しておくことで、画素G1(3,3)のRGB要素（r値，b値，g値）を算出することができる。また当然ながら周辺の画素のRGB要素を算出することもPEのアレイ構成を適用することで求めることが可能で、その際はPEのデータレジスタFFに保持しているデータを共有して処理は可能であることは想像ができる。
【００２４】
本発明のもう一つの実施例として、画素欠陥の欠陥補正について説明する。欠陥補正の具体的な一例として図８に示す。この例では画素G1(3,3)が画素欠陥が発生しているとすると、今回この画素G1(3,3)を周辺のG2画素G2(2,2),G2(4,2)，G2(2,4)，G1(4,4)より単純に平均値で補間すると、先ほどの撮像処理と同様に再構成ロジック装置１０５内の隣接するPEのデータレジスタに補間で使用するG2画素がいずれか存在するため、それらのデータを読み出すことで補間処理を実行することは容易に可能である。
【００２５】
以上のように、撮影画像処理装置、そして動的構成制御装置を搭載した図１の撮影装置について説明を行った。
【００２６】
更に、画素欠陥検出及び欠陥補正方法について、図９と図１０を用いて説明する。
【００２７】
図９に画素欠陥検出及び欠陥補正方法についてフローチャートで図示する。請求項１の撮像素子全体、または一部の装置、特に撮像素子の動作状態が変更、またはリセットが行われた場合９０１に、CPUが図９のフローチャートに沿って欠陥検出を行う。まず、CPUが再構成ロジック装置１０５を欠陥検出モードに設定する（９０２）。次に、増幅回路１０４を初期値に移行する（９０３）。初期値とは増幅（ゲイン）０でも、最大でもよく、この実施例では図１０のように増幅０とする。次に撮像素子の画素を読み出す。ここで、先ほど説明したとおり、再構成ロジック装置１０５は撮像素子に対して時分割、領域分割した状態でPEと撮影素子が対応している。欠陥を検出する方法としては、読み出し〜テスト終了判断のループ９０４を行う。テスト終了とは、図１０で述べるところの時間１０００になる。つまり、ゲイン変更と読み出しを行い画素の差分を累積することで、各種キズ、ゴミを判定することができる。白キズの場合はゲインが低いときでも読み出し値が高く、一方黒キズ、ゴミの場合はゲインを上げても読み出し値が変更しない。ここで、正常な画素はゲインに応じて読み出し値が高低するため、単純に差分を取ることで欠陥検出が可能となる。
【００２８】
ループ９０４の途中で欠陥であることを判定したら、PEのデータレジスタに欠陥画素の状態を記録することで、通常の現像処理モードにした場合にPEのデータレジスタに保持された欠陥判定情報に基づいて対象の画素のみに補間処理を加えた現像処理を行うことが可能となる。
【産業上の利用可能性】
【００２９】
本発明にかかる撮像装置は、再構成ロジック装置を有し、撮像素子から入力したカメラ処理の前段処理、すなわち欠陥検出、及び補正、また撮像処理等として有用である。またノイズ除去、ゆがみ補正、感度調整、色補正等といった一般的なカメラ入力処理の用途にも応用できる。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態１における撮像処理装置と撮影装置を示す図
【図２】本発明の実施の形態２における動的構成制御装置を示す図
【図３】再構成ロジック装置の実施の形態を示す図
【図４】プロセッサエレメントの実施の形態を示す図
【図５】動的接続ユニットの実施の形態を示す図
【図６】撮像素子の例（CMOSセンサ  ベイヤ配列）を示す図
【図７】撮像素子に対する再構成ロジック装置の適用例（撮像処理）を示す図
【図８】撮像素子に対する再構成ロジック装置の適用例（欠陥補正）を示す図
【図９】請求項４のフローチャート
【図１０】増幅制御による欠陥検出方法の説明図
【図１１】従来のキズ補正回路ありの撮像素子を示す図
【図１２】従来のキズ補正回路を再構成ロジック装置にした撮像素子を示す図
【符号の説明】
【００３１】
１０１    動的構成制御装置
１０３    タイミング生成装置
１０４    増幅装置
１０５    再構成ロジック装置
２０１    PE情報レジスタ
２０２    センサ情報レジスタ
２０７    座標生成カウンタ
２０８    ピクセルカラーテーブル
２０９    対応座標生成装置
【図１】
2009290421.tif 000003
【図２】
2009290421.tif 000004
【図３】
2009290421.tif 000005
【図４】
2009290421.tif 000006
【図５】
2009290421.tif 000007
【図６】
2009290421.tif 000008
【図７】
2009290421.tif 000009
【図８】
2009290421.tif 000010
【図９】
2009290421.tif 000011
【図１０】
2009290421.tif 000012
【図１１】
2009290421.tif 000013
【図１２】
2009290421.tif 000014