(57)【要約】【課題】特別な手段を用いることなくコストを抑えつつも、空間解像度の劣化を殆ど引き起こすことのないような処理を行い、動的な欠陥要因により生じる欠陥画素を補正する撮像装置などを提供する。【解決手段】撮像光学系と、前記撮像光学系の焦点距離を調節するズームモータ１５０、シャッタモータ１６０、フォーカスモータ１７０と、被写体を撮像により、前記撮像光学系を経由した光信号を電気信号に変換するＣＣＤ１４０と、前記ＣＣＤ１４０により変換された電気信号に基づいて生成された画像データの画像処理を行う画像処理部３１０を有し、一の被写体の撮像を、前記撮像光学系の焦点距離を異ならせるように調節して複数回行い、当該撮像に係る画像データに基づいて前記ＣＣＤ１４０における、動的な欠陥要因に由来する欠陥画素を補正する。【選択図】図１
2007174199.tif 000002
【特許請求の範囲】
【請求項１】
撮像光学系と、
前記撮像光学系の焦点距離を調節する焦点調節手段と、
被写体を撮像により、前記撮像光学系を経由した光信号を電気信号に変換する光電変換手段と、
前記光電変換手段により変換された電気信号に基づいて生成された画像データの画像処理を行う画像処理手段を有し、
一の被写体の撮像を、前記撮像光学系の焦点距離を異ならせるように調節して複数回行い、当該撮像に係る画像データに基づいて前記光電変換手段における、動的な欠陥要因に由来する欠陥画素を補正することを特徴とする撮像装置。
【請求項２】
第１の撮像を第１の焦点距離で行い、第２の撮像を前記第１の焦点距離よりも小さな第２の焦点距離で行い、
前記画像処理手段は前記第１の焦点距離と前記第２の焦点距離の比に基づいて前記第２の撮像に係る画像データの拡大処理を行い、
前記第１の撮像に係る画像データと前記拡大処理した前記第２の撮像に係る画像データを比較して、前記第１の撮像に係る画像データにおける前記欠陥画素を検出することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記検出がなされた欠陥画素のアドレスデータを、前記拡大処理した前記第２の撮像に係る画像データのアドレスデータのうち対応する部分に置き換えることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記欠陥画素の補正を行う補正条件は、前記光電変換手段における電荷蓄積時間が所定時間以上であることを特徴とする請求項１から３の何れかに記載の撮像装置。
【請求項５】
前記撮像装置の位置の固定を検出する位置固定検出手段を有し、
前記欠陥画素の補正を行う補正条件は、前記位置固定検出手段による検出が行われていることを特徴とする請求項１から３の何れかに記載の撮像装置。
【請求項６】
一の被写体の撮像を、撮像光学系の焦点距離を異ならせるように調節して複数回行う撮像工程と、
当該撮像に係る画像データに基づいて、撮像光学系を経由した光信号を電気信号に変換する光電変換手段における、動的な欠陥要因に由来する欠陥画素を補正する補正工程を有することを特徴とする撮像装置の画像処理方法。
【請求項７】
コンピュータに、
撮像光学系と、
前記撮像光学系の焦点距離を調節する焦点調節手段と、
被写体を撮像により、前記撮像光学系を経由した光信号を電気信号に変換する光電変換手段と、
前記光電変換手段により変換された電気信号に基づいて生成された画像データの画像処理を行う画像処理手段として機能させ、
一の被写体の撮像を、前記撮像光学系の焦点距離を異ならせるように調節して複数回行わせ、当該撮像に係る画像データに基づいて前記光電変換手段における、動的な欠陥要因に由来する欠陥画素を補正させることを特徴とする撮像装置のプログラム。
【請求項８】
請求項７に記載のプログラムを格納した記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルスチルカメラなどの撮像装置における画像処理方法などに関する発明である。
【背景技術】
【０００２】
デジタルスチルカメラの撮像素子として主に用いられるＣＣＤ(Charge Coupled Device)においては、その製造過程において受光素子の一部に欠陥を生じてしまうことがある。欠陥を生じてしまった画素のことを「欠陥画素（キズ）」という。
【０００３】
近年の高画素数化の要求に伴い、欠陥画素の問題も顕著になってきている。ＣＣＤを構成する複数の光電変換素子の欠陥を１画素も許容しないとすると、ＣＣＤの歩留まりが悪くなり、撮像素子の単価を上昇させ、結局、デジタルスチルカメラそのものの値段が高くなってしまうからである。そこで、ある程度の欠陥画素を含むことを許容し、信号処理によって、その欠陥画素を補正するのが一般的になっている。
【０００４】
まず、欠陥画素にはどのようなものがあるのかについて説明する。
欠陥画素の種類としては、「黒キズ」、「明時白キズ」、「温度キズ」に大別される。黒キズと呼ばれる欠陥画素は、画素の光入射面に付着する塵などに起因して生じる欠陥を有する画素である。明時白キズと呼ばれる欠陥画素は、画素の光入射面に形成されるカラーフィルタや、マイクロレンズの欠損などに起因して、部分的に本来の光学特性が得られなくなることにより生じる欠陥を有する画素である。この２つの欠陥画素は、ＣＣＤの動作環境とは関係無く生じる静的な欠陥要因という特徴がある。また、これらの欠陥画素は、製造プロセスにおけるＶＬＳＩ技術の進歩に歩調をあわせる形で、その改善が講じられている。
【０００５】
しかし、温度キズは、「暗電流キズ」とも呼ばれ、黒キズ、明時白キズとは異なり、暗電流が増えたり、蓄積されたりする条件、つまりＣＣＤの温度が上昇したり、露光時間が長くなるほど影響が大きくなるという動的な欠陥要因に起因して生じる欠陥を有する画素である。ゆえに、単に製造プロセスの改善により解消される要因ではなく、流通市場に置いた後の使用状況の如何により生じる要因であり、その使用状況を考慮して改善を試みないといけない。
【０００６】
また、宇宙線が大気中の原子と衝突し発生した中性子・陽子などの素粒子がＣＣＤに衝突し、暗電流を増加させてしまう所謂「後発キズ」というキズも、長くデジタルスチルカメラを使用する上では発生することが知られている。
【０００７】
これらのキズを補正する方法は種々考案されている。特許文献１は、欠陥画素のアドレス情報を撮影毎に更新することで、温度キズや後発キズにも対応できるようにしたものである。しかし、欠陥画素のアドレスを登録するための不揮発性のメモリーが必要であり、その結果、機器の価格を上昇させてしまうおそれがある。また、欠陥画素のアドレスが分かっても、その欠陥画素のデータを隣接の画素データで置き換えるという処理も行っているが、これでは実質的にその周辺部分を平滑化したことになり、空間解像度を劣化させることになるなどの問題があった。
【０００８】
他の先行技術としては、温度キズの補正方法として特許文献２で述べられているように、メカシャッタを開いて通常の撮影を行ったデータから、メカシャッタを閉じて暗電流成分だけのデータとを採取し、通常撮影のデータから暗電流成分を引き算することで、温度キズの補正をする方法が知られている。しかし、この場合、遮光するための手段（メカシャッタ）が必要になり、必ずしも遮光手段を必要としない撮像素子（プログレッシブスキャンタイプのＣＣＤやＣＭＯＳセンサー等）を使用した場合に機器のコスト高を招くことになる。また、引き算した結果、周辺の画素よりも低い値になり、黒キズのようになってしまうなどの問題が生じる。
【０００９】
この問題を解決するする方法として特許文献３のように引き算により発生したキズを補正する方法が知られているが、この場合もその補正後に生じたキズを補正するためには隣接画素の情報を基に補正するため、空間解像度を劣化させることになってしまう。
【００１０】
空間解像度を劣化させずに温度キズを補正する方法としては、特許文献４で述べられているように、撮像素子や光学系を移動または変形させ、同一被写体を撮像素子の異なる領域で撮影し、キズの画素についてはどちらかのデータを使用して補う方法があるが、この場合、撮像素子や光学系を移動または変形させるための手段が必要になるため、やはり機器のコスト高を招くことになってしまう。
【特許文献１】特開２００２−２８１３９１号公報
【特許文献２】特開昭６０−５３３８３号公報
【特許文献３】特開２００３−１０１８８７号公報
【特許文献４】特開２００１−８６４１１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
上記事情を鑑みて特別な手段を用いることなくコストを抑えつつも、空間解像度の劣化を殆ど引き起こすことのないような処理を行い、動的な欠陥要因により生じる欠陥画素を補正する撮像装置などを提供する。
【課題を解決するための手段】
【００１２】
上記課題を解決する本発明の態様は、撮像光学系と、前記撮像光学系の焦点距離を調節する焦点調節手段と、被写体を撮像により、前記撮像光学系を経由した光信号を電気信号に変換する光電変換手段と、前記光電変換手段により変換された電気信号に基づいて生成された画像データの画像処理を行う画像処理手段を有し、一の被写体の撮像を、前記撮像光学系の焦点距離を異ならせるように調節して複数回行い、当該撮像に係る画像データに基づいて前記光電変換手段における、動的な欠陥要因に由来する欠陥画素を補正することを特徴とする撮像装置に関するものである。
【００１３】
ここで、第１の撮像を第１の焦点距離で行い、第２の撮像を前記第１の焦点距離よりも小さな第２の焦点距離で行い、前記画像処理手段は前記第１の焦点距離と前記第２の焦点距離の比に基づいて前記第２の撮像に係る画像データの拡大処理を行い、前記第１の撮像に係る画像データと前記拡大処理した前記第２の撮像に係る画像データを比較して、前記第１の撮像に係る画像データにおける前記欠陥画素を検出することを特徴とする。さらに、前記検出がなされた欠陥画素のアドレスデータを、前記拡大処理した前記第２の撮像に係る画像データのアドレスデータのうち対応する部分に置き換えることを特徴とする。
【００１４】
前記欠陥画素の補正を行う補正条件は、前記光電変換手段における電荷蓄積時間が所定時間以上であることを特徴とし、または、前記撮像装置の位置の固定を検出する位置固定検出手段を有する場合には、前記位置固定検出手段による検出が行われていることを特徴とする。
【００１５】
本発明の他の態様は、一の被写体の撮像を、撮像光学系の焦点距離を異ならせるように調節して複数回行う撮像工程と、当該撮像に係る画像データに基づいて、撮像光学系を経由した光信号を電気信号に変換する光電変換手段における、動的な欠陥要因に由来する欠陥画素を補正する補正工程を有することを特徴とする撮像装置の画像処理方法に関するものである。
【００１６】
また、本発明の他の態様は、コンピュータに、撮像光学系と、前記撮像光学系の焦点距離を調節する焦点調節手段と、被写体を撮像により、前記撮像光学系を経由した光信号を電気信号に変換する光電変換手段と、前記光電変換手段により変換された電気信号に基づいて生成された画像データの画像処理を行う画像処理手段として機能させ、一の被写体の撮像を、前記撮像光学系の焦点距離を異ならせるように調節して複数回行わせ、当該撮像に係る画像データに基づいて前記光電変換手段における、動的な欠陥要因に由来する欠陥画素を補正させることを特徴とする撮像装置のプログラムに関するものである。
【００１７】
また、本発明の他の態様は、上記プログラムを格納した記録媒体に関するものである。
【発明の効果】
【００１８】
本発明の撮像装置により、近年、撮像装置の機能として一般的に搭載されることの多い、いわゆるズーム機能を使用することで、コストを抑えつつも欠陥画素のアドレスを記憶することなく、かつ、空間解像度の劣化が殆どない形で動的な欠陥要因により生じる欠陥画素を補正することができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の撮像装置を実施するための最良の形態について説明する。説明する際には、本明細書と同時に提出する図面を適宜参照することにする。
【００２０】
〈構成〉
図１は、本形態の撮像装置としてのデジタルスチルカメラの内部の回路構成をブロック図として図示したものである。このデジタルスチルカメラは鏡胴ユニット１００、ＣＤＳ(Correlated Double Sampling)２１０、ＡＧＣ（Auto Gain Control）２２０、ＡＤＣ（Analog to Digital Convertor）２３０、モータドライバ２４０、ＴＧ(Timing Generator)２５０、画像処理ＬＳＩ(Large Scale Integration)３００、ＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)４１０、プログラムＲＯＭ(Read Only Memory)４２０、カードコントローラ４３０、記録メディア４４０、レリーズスイッチ５１０、三脚有無検出スイッチ５２０、ＬＣＤ(Liquid Crystal Display)６１０、操作ボタン６２０、ビデオアンプ６３０を有し構成されている。鏡胴ユニット１００はズームレンズ１１０、シャッタ１２０、フォーカスレンズ１３０、ＣＣＤ１４０、ズームモータ１５０、シャッタモータ１６０、フォーカスモータ１７０を有し構成されている。ズームレンズ１１０、シャッタ１２０、フォーカスレンズ１３０により撮像光学系が形成されている。画像処理ＬＳＩ３００は画像処理部３１０、ＣＰＵ３２０を有して構成されている。レリーズスイッチ５１０は第１レリーズ５１１、第２レリーズ５１２を有する２段スイッチとして構成されている。
【００２１】
〈動作〉
撮像処理を行うにあたり、利用者が被写体に鏡胴ユニット１００のレンズを向けてレリーズスイッチ５１０を押す。レリーズスイッチ５１０を少し押すと第１レリーズ５１１が作動し、被写体との焦点距離が調節される。この調節においては、モータドライバ２４０が画像処理ＬＳＩ３００の制御信号に基づいてズームモータ１５０、シャッタモータ１６０、フォーカスモータ１７０を駆動し、それぞれズームレンズ１１０の位置、シャッタ１２０の開閉、フォーカスレンズ１３０の位置の調節がなされる。その後、レリーズスイッチ５１０を押し切ると、第２レリーズ５１２が作動し、露光量を調節しつつＣＣＤ１４０による電荷蓄積が行われる。
【００２２】
被写体像は、鏡胴ユニット１００内の撮像光学系を経由してＣＣＤ１４０の表面に結像される。ＣＣＤ１４０で光電変換された電荷は、ＣＤＳ２１０でリセットノイズを取り除くためにダブルサンプリングされ、次段のＡＧＣ２２０に送られる。ＴＧ２５０はＣＣＤ１４０の駆動を行うパルスを出力し、また、駆動モードの切り替え、露光量制御のための電子シャッタの出力なども、ＣＰＵ３２０から制御されて相応のパルスが出力されることによりなされる。ＡＧＣ２２０においては、ＣＣＤ１４０とＡＤＣ２３０のダイナミックレンジの整合をとるため、基準ゲインと呼ばれるゲイン量がかけられる。適正な信号量になった映像信号はＡＤＣ２２０でアナログ信号からデジタル信号へ変換され、画像処理ＬＳＩ３００へ送られる。
【００２３】
画像処理ＬＳＩ３００内部では、画像処理部３１０がＣＰＵ３２０による中央処理制御の下でペデスタル処理、色分離処理、補間処理、ホワイトバランス処理、γ処理、ＲＧＢ→ＹＵＶ変換処理などが行われ、画像データが生成される。また、後述する画像の拡大処理もこの画像処理ＬＳＩ３００内で行われ、拡大用の画像データが生成される。ＣＰＵ３２０がそれらの処理の制御を行うときにはプログラムＲＯＭ４２０に格納されているプログラムが読み出される。生成された画像データはＳＤＲＡＭ４１０に保存される。
【００２４】
これらの処理を施され、モニタリングを行う場合は画像が連続的にＬＣＤ６１０に出力表示される。静止画記録の際は操作ボタン６２０の操作により、記録フレームの露光後、シャッタ１２０を閉じ、ＣＣＤ１４０の駆動をフレーム読出しモードに設定し、画像処理部３１０によりＳＤＲＡＭ４１０から対象画像データの全画素を読み出す。その後、モニタリングと同様の処理を施し、ＪＰＥＧ圧縮し、カードコントローラ４３０に差し込まれた外部記録媒体としての記録メディア４４０に記録される。
【００２５】
ＳＤＲＡＭ４１０に保存された画像データは、ビデオアンプ６３０に接続した外部ＴＶ６４０に送信され、外部ＴＶ６４０の画面上に表示することができる。また、撮像処理においてデジタルカメラの位置を固定するために三脚を用いるときは、その三脚をデジタルカメラに取り付けると、その取り付け部分に設けられた三脚有無検出スイッチ５２０が作動し、ＣＰＵ３２０がその状況に応じた制御を行う。
【００２６】
次に、本形態で行う欠陥画素補正処理について説明する。図２は、欠陥画素補正処理を行った際の処理経過の様子を（ａ）〜（ｃ）で表した図である。（ａ）は所望の焦点距離で１枚目の撮像処理を行ったときに生成された画像データのイメージである（ＳＤＲＡＭ４１０に保存された画像データのイメージでもあり、ＬＣＤ６１０に出力表示したときの画像に相当する）。（ｂ）は１枚目の焦点距離よりも小さな焦点距離で２枚目の撮像処理を行ったときに生成された画像データのイメージである。（ｃ）は（ｂ）に対し、画像処理部３１０により拡大処理を施した拡大用の画像データのイメージである。動的な欠陥画素としての温度キズを黒い四角Ａ、Ｂ、Ｂ’で表している。
【００２７】
１度目の撮像処理において、露光時間が長かった際には顕著にこの温度キズが撮影画像に入ってしまう。温度キズデータの入った画像データは、ＣＣＤ１４０から読み出され、ＣＤＳ２１０、ＡＧＣ２２０、ＡＤＣ２３０で所定の処理が施され、画像処理ＬＳＩ３００に送られ、補間処理等を施した後、一旦ＳＤＲＡＭ４１０にデータを格納する。そのＳＤＲＡＭ４１０上の画像データの様子が図２の（ａ）である。
【００２８】
次に、ＣＰＵ３２０は撮像光学系が１度目の撮影よりも短い焦点距離になるようにズームモータ１５０を駆動し、２度目の撮像処理を行う。この２度目に撮影された画像データは１度目の撮影と同じように補間処理等所定の処理を施した後、ＳＤＲＡＭ４１０にデータを保存するものとする。その様子が図２の（ｂ）である。
【００２９】
次に、画像処理ＬＳＩ３００の拡大機能（周知慣用の画像データの拡大に係る演算処理方法で十分である。）を使用し、１回目の撮影と２回目の撮影との焦点距離の比分、２回目の画像データを拡大処理する。例えば、１回目の撮影が焦点距離５mmであり、２回目の撮影が焦点距離４mmだとすると、５／４＝１．２５倍相当の拡大処理を行う。その様子を図２の（ｃ）に示す。このように２枚の同一被写体を撮影した画像データ（ａ）、（ｃ）ができる。
【００３０】
その後、画像処理部３１０が温度キズを補正するにあたり、ＳＤＲＡＭ４１０から画像データを読み出し、１枚目の画像において周囲の画素データと比較し、所定の閾値より大きかった画素のアドレスデータについて、２枚目の対応するアドレスデータに係る画素の画素データに置きかえるように処理すれば良い。この所定の閾値は、８ビットでレンジ２５６からなる画像データの場合には、過去感応評価指数を２０[lsb]に設定することが望ましい。図２でいえば、１枚目の（ａ）の画像のうち「Ａ」で示した画素は、その画素データの過去感応評価指数が２０[lsb]より大きいので、温度キズとしての欠陥画素として検出される。その後、２枚目の（ｂ）の画像のうち「Ｂ」で示した画素を欠陥画素として扱い、拡大処理を行う。その結果が（ｃ）であるが、「Ｂ」で示した画素は「Ｂ’」に相当するものである。そして、１枚目の画像において欠陥画素として検出されたアドレスデータに対応する２枚目のアドレスデータに係る画素は「Ｃ」であるので、この「Ｃ」の画素を、（ａ）の画像のうち「Ａ」と置き換えるように処理することにより欠陥画素補正処理を完了する。
【００３１】
また、他の処理方法として、２枚の画像の差分を求め、差分が前記所定の閾値より大きかった画素のアドレスデータについては、当該閾値（具体的には、過去感応評価指数）の低い方のデータを採用するようにしても良い。温度キズの画素データの閾値は、温度キズのない画素データの閾値よりも大きくなることは明白だからである。但し、この際、２枚の画像の露出条件（シャッタ１２０の絞りの値、シャッタ１２０の開閉による露光時間、ＡＧＣ２２０の利得）は同じになるように注意しなければならい。
【００３２】
また、上記欠陥画素補正処理を実行する際、異なる時間で同一被写体を少なくとも２回、焦点距離を変えて撮影する必要があるので、三脚等のデジタルスチルカメラの位置を固定する器具を使用し撮影するようにした方がその補正の精度が保障される。逆に、三脚を使用しないで撮影した２枚の画像で上記欠陥画素補正処理をすると正常な画像にならない可能性がある。そこで、三脚にデジタルスチルカメラを取り付けた状態か否かを判断できるように、例えば、デジタルスチルカメラに設けられた三脚穴の中にプッシュスイッチなどで具現化された三脚有無検出スイッチ５２０を持たせ、三脚にデジタルスチルカメラを固定させた場合のみ、欠陥画素補正処理を行うようにした方がよい。このときは、三脚がデジタルスチルカメラを固定することにより三脚有無検出スイッチ５２０は入力状態になり、ＣＰＵ３２０にその入力状態に係る検出信号を送出する。ＣＰＵはその検出信号により欠陥画素補正処理を行う。または、そのような特殊な機構を持たせることが困難な場合は、ＬＣＤ６１０にて表示される撮影メニューにこの方法による撮影を行うか否かの設定を設け、ユーザがその撮影を行う場合には、操作ボタン６２０より所定の入力を行うようにし、ユーザの判断に委ねるようにしても良い。
【００３３】
また、温度キズの特性上、露光時間の短い場合には画像に悪影響を及ぼす程のレベルにまで達することがないので、露光時間が所定の時間より長い撮影のときだけ、欠陥画素補正処理を行うようにしてもよい。ユーザは操作ボタン６２０を入力してその時間を設定することができる。これにより、被写体条件によっては撮影時間を短縮することができるようになる。
【００３４】
本形態のデジタルスチルカメラを実施することにより以下の効果を奏する。即ち、特別な機構を持たない安価な構成で、欠陥画素の補正を、空間解像度を落とすことなく行うことができる。また、調整などで欠陥画素を登録する方法と異なり、後発的発生したキズや、温度条件や、露光時間などによってレベルや個数の変化する動的な欠陥画素に対しても補正することが可能になる。
【００３５】
特に、画像の品質に影響を及ぼす温度キズに対してのみ、欠陥画素補正処理を行うようにすることで、露光時間の短くなる被写体条件では撮影時間を短縮することが可能になる。また、デジタルスチルカメラが固定されていることを検知する機構を設けることで、手ぶれなどによって異常な補正が行われることが無いように、未然に防止することができる。
【００３６】
なお、上述した形態は本発明のデジタルスチルカメラを実施するための最良のものであるが、これに限定する趣旨ではない。従って、本発明の要旨を変更しない範囲においてその実施形式を種々変形することは可能である。
【産業上の利用可能性】
【００３７】
本発明の撮像処理機能を搭載したカメラ付携帯電話、デジタルビデオカメラなどの開発が望まれる。
【図面の簡単な説明】
【００３８】
【図１】本形態の撮像装置としてのデジタルスチルカメラの内部の回路構成をブロック図として図示したものである。
【図２】欠陥画素補正処理を行った際の処理経過の様子を（ａ）〜（ｃ）で表した図である。
【符号の説明】
【００３９】
１００    鏡胴ユニット
１１０    ズームレンズ
１２０    シャッタ
１３０    フォーカスレンズ
１４０    ＣＣＤ
１５０    ズームモータ
１６０    シャッタモータ
１７０    フォーカスモータ
２１０    ＣＤＳ
２２０    ＡＧＣ
２３０    ＡＤＣ
２４０    モータドライバ
２５０    ＴＧ
３００    画像処理ＬＳＩ
３１０    画像処理部
３２０    ＣＰＵ
４１０    ＳＤＲＡＭ
４２０    プログラムＲＯＭ
４３０    カードコントローラ
４４０    記録メディア
５１０    レリーズスイッチ
５１１    第１レリーズ
５１２    第２レリーズ
５２０    三脚有無検出スイッチ
６１０    ＬＣＤ
６２０    操作ボタン
６３０    ビデオアンプ
６４０    外部ＴＶ
【図１】
2007174199.tif 000003
【図２】
2007174199.tif 000004