(57)【要約】【課題】撮像後に、撮像画像に対する欠陥画素及び暗電流補正をＰＣ等を使用して複雑な処理アルゴリズム、高速の処理装置を使用して行うこと、或はその処理の任意複数回の実施、更に、再度の実行（やり直し）、手動による補正も可能とする撮像装置の提供。【解決手段】撮像信号と、撮像素子の構成画素個々の情報を出力する。撮像信号と、入射光の無い時の撮像素子構成画素個々の出力信号（暗電流）と、その画素が欠陥画素であるか否かの情報を同時に出力する。撮像信号のみと、撮像信号に加えその撮像素子の構成画素個々の情報を含む信号を、出力として切り換えが可能である。欠陥画素補正及び暗電流補正を行った撮像信号と、撮像素子の構成画素個々の情報を含む信号を出力し、その撮像信号中の欠陥画素補正及び暗電流補正の補正の度合いを任意に変更可能である。【選択図】図１
2006033302.tif 000002
【特許請求の範囲】
【請求項１】
撮像信号と、撮像素子の構成画素個々の情報を出力することを特徴とする撮像装置。
【請求項２】
撮像信号と、入射光の無い時の撮像素子の構成画素個々の出力信号（暗電流）を出力することを特徴とする請求項１記載の撮像装置。
【請求項３】
撮像信号と、撮像素子の構成画素個々につき欠陥画素であるか否かの情報を出力することを特徴とする請求項１記載の撮像装置。
【請求項４】
撮像信号と、入射光の無い時の撮像素子構成画素個々の出力信号（暗電流）と、その画素が欠陥画素であるか否かの情報を同時に出力することを特徴とする撮像装置。
【請求項５】
撮像信号のみと、撮像信号に加えその撮像素子の構成画素個々の情報を含む信号を、出力として切り換えが可能であることを特徴とする撮像装置。
【請求項６】
欠陥画素補正及び暗電流補正を行った撮像信号と、撮像素子の構成画素個々の情報を含む信号を出力し、その撮像信号中の欠陥画素補正及び暗電流補正の補正の度合いを任意に変更可能であることを特徴とする撮像装置。
【請求項７】
信号圧縮方式としてＪＰＥＧ２０００又はＭＪＰＥＧ２０００を使用し、撮像信号の他に、その撮像素子の構成画素個々の情報を別コンポーネントとして構成し、同一ファイルとして出力することを特徴とする請求項１〜５の何れかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像の圧縮記録を行う撮像装置に関するものである。
【背景技術】
【０００２】
図１０は従来の一般的な撮像装置（ディジタルスチルカメラ）のブロック図であって、被写体からの光１はレンズ２、絞り３を通って撮像素子４に入り、電気信号に変換される。撮像素子４からの撮像素子出力信号２４は欠陥画素補正１６にて欠陥画素の補正を、欠陥画素検出６からのデータ１５により行い、次に暗電流補正２１で、暗電流の補正をメモリ２７からの予めストアされた暗電流データ１９により行う。
【０００３】
次の信号処理５では、撮像信号に基本的な、ガンマ、ホワイトバランス、ホワイトクリップ等の信号処理を施し、画像情報圧縮７において撮像信号のファイルサイズを圧縮し、記録装置等へ画像信号出力８として出力する。
【０００４】
マイクロプロセッサ９は撮影者がシャッターボタン１０を押すと、順次上述の処理を遂行すべく各ブロックの制御を行う。
【０００５】
図１１は従来例のマイクロプロセッサ９の動作フローチャートの一例であって、ａにて撮影者によりシャッターボタンがＯＮ（押される）と、ｂにてＡＥ（自動露出）制御が行われ、撮像素子４への入射光量は絞り３をマイクロプロセッサ９からの絞り制御信号１１により制御し、最適に調整される。このブロックはサブルーチンとなっていて、本発明の実施例と共通であるため、詳細は実施例にて後述する。
【０００６】
次のｃで画像を撮像し、ｄにおいてその画像の欠陥画素補正を行い、ｅで暗電流補正を行う。そして、ｏで撮影画像が図１０のブロック図上の流れで画像信号出力８として出力される。
【０００７】
次のｌで絞りをクローズし再度ｃ撮像を行い、ｆでメモリ２７に格納するが、このデータは次回撮像時のｅ暗電流補正で使用する。
【０００８】
ｎはスタンバイ（待機状態）で、次回撮像でのシャッターボタンＯＮまでここで待機する。
【０００９】
尚、ｐで装置の電源ＯＮしてからの初期動作はｌの絞りをクローズから始まり、暗電流補正用の黒画像をメモリに格納し、スタンバイ状態に入り、シャーターボタンＯＮを待つ。
【００１０】
【特許文献１】特開平１０−１５５１００号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
従来の撮像装置において、撮像素子には、光が入力しても電気信号を出力しない欠陥画素が存在し、その画素の情報は画像信号から欠落するため、点として出力信号に混在し、不自然な絵となるのを防止するため、周辺の画素の情報より、その欠陥画素で本来出力されるであろう情報を予測して作り出す（画素補間）ことが行われている。
【００１２】
図３はその説明図であって、図中の格子の１つ１つが撮像素子の画素を示し、これらの画素に中には、全く信号出力を出さない黒点、或る一定のレベルを常に出力している白点等と呼ばれる欠陥画素が存在する。
【００１３】
ここで、黒点１０１に注目すると、この画素は欠陥画素であって、光が入射してもそれに対応した電気信号の出力が無いため、周囲の画素１１０〜１１７よりこの画素１０１の情報を合成する必要がある。
【００１４】
以下にその一例を示す。その情報をＩ１０１とし、周囲画素ｎ個の情報をＩ１１０〜Ｉｎとすれば、
Ｉ１０１＝（Ｉ１１０＋Ｉ１１１＋Ｉ１１２＋…＋Ｉｎ）／ｎ  …（式１）
上式１において明らかなように、欠陥画素の情報は周囲の画素の情報より作り出すので、その画素の周囲の画素の分解能、即ち解像度は低下し、画質が悪化する。
【００１５】
しかし、次式での補正方法を用いることにより、解像度の低下は画面の横方向だけで済む。
【００１６】
Ｉ１０１＝（Ｉ１１４＋Ｉ１１３）／２  …（式２）
同様に次式では解像度の低下は画面の縦方向だけで済む。
【００１７】
Ｉ１０１＝（Ｉ１１１＋Ｉ１１６）／２  …（式３）
これらの画素補間の方法を比較すると、式１は縦横斜めあらゆる方向にコントラストを持つ被写体画像に対して補間を行うことができるが、解像度は全ての方向に対し低下する。
【００１８】
しかし、式２或は式３は、特定の方向即ち補間に使用する画素と９０度異なる方向にコントラストがあった場合に対して全く補間が不可能である、という問題点がある。
【００１９】
このように画素補間の方法は撮像した被写体画像により最適な方法を切り替えることが最上の結果を得ることができるが、これを一般的なディジタルカメラに内蔵するためには、大規模な回路と、非常に複雑なプログラムが必要である。
【００２０】
一方で、撮像素子の他の課題として、暗電流が存在する。
【００２１】
暗電流は、図５に示すような、画素に光が入力されないときでも、出力される一定の信号で、これらは画素個々ごとに異なる値を取るので、入射光量の少ない（暗い）被写体の撮像時に、この画素ごとの暗電流のばらつきが目立ち、非常に見苦しい画となってしまう場合がある。
【００２２】
この画素ごとの暗電流のばらつき（暗電流ムラ）を軽減するために、従来より、下式の処理が一般的に行われている。
【００２３】
被写体の撮像画像をＤ１、絞りを閉じて撮像した暗電流ムラのみの画像をＤ２とすれば、処理後の画像Ｄは、
Ｄ＝Ｄ１−Ｄ２    …（式４）
これにより暗電流ムラは軽減できるが、以下の課題が依然として存在している。
【００２４】
１）ランダムノイズについては引き算してもゼロにはならず逆に増加するため、画質が低下する。
【００２５】
２）上式のＤ１，Ｄ２は時間的に全く同時に撮像したものではないので、温度の微妙な変化により大幅に値が変化する暗電流ムラに対し、完全な補正を行うことは難がある。
【００２６】
これらの課題に対しても、複雑な処理或は画像に応じ手動での補正を行うことにより、最上の結果を得ることができるが、やはりディジタルカメラに内蔵できる機能としては限定される。特に、１）のランダムノイズについては、一度引き算をやってしまうと増加したノイズは元に戻すことは不可能である。
【００２７】
本発明は上述の問題点に鑑みなされたもので、撮像装置の出力信号として、従来の撮像信号の他に、欠陥画素及び暗電流に関する情報を含ませることにより、撮像後に、撮像画像に対する欠陥画素及び暗電流補正をＰＣ等を使用して複雑な処理アルゴリズム、高速の処理装置を使用して行うこと、或はその処理の任意複数回の実施、更に、再度の実行（やり直し）、手動による補正も可能とする撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００２８】
上記目的を達成するため、請求項１記載の発明は、撮像信号と、撮像素子の構成画素個々の情報を出力することを特徴とする。
【００２９】
請求項２記載の発明は、請求項１記載の発明において、撮像信号と、入射光の無い時の撮像素子の構成画素個々の出力信号（暗電流）を出力することを特徴とする。
【００３０】
請求項３記載の発明は、請求項１記載の発明において、撮像信号と、撮像素子の構成画素個々につき欠陥画素であるか否かの情報を出力することを特徴とする。
【００３１】
請求項４記載の発明は、撮像信号と、入射光の無い時の撮像素子構成画素個々の出力信号（暗電流）と、その画素が欠陥画素であるか否かの情報を同時に出力することを特徴とする。
【００３２】
請求項５記載の発明は、撮像信号のみと、撮像信号に加えその撮像素子の構成画素個々の情報を含む信号を、出力として切り換えが可能であることを特徴とする。
【００３３】
請求項６記載の発明は、請求項１記載の発明において、欠陥画素補正及び暗電流補正を行った撮像信号と、撮像素子の構成画素個々の情報を含む信号を出力し、その撮像信号中の欠陥画素補正及び暗電流補正の補正の度合いを任意に変更可能であることを特徴とする。
【００３４】
請求項７記載の発明は、請求項１〜５の何れかに記載の発明において、信号圧縮方式としてＪＰＥＧ２０００又はＭＪＰＥＧ２０００を使用し、撮像信号の他に、その撮像素子の構成画素個々の情報を別コンポーネントとして構成し、同一ファイルとして出力することを特徴とする。
【発明の効果】
【００３５】
本発明によれば、撮影画像の出力に、欠陥画素と暗電流の情報を含ませることにより、撮像後に、撮像画像に対する欠陥画素及び暗電流補正を、複雑な処理アルゴリズムを使用し、ＰＣ等高速の処理装置を使用して行うこと、或は何度でも行ったり、やり直しも可能、更に手動による補正も可能となり、その結果として求め得る最高の撮像画像を得ることができる。
【００３６】
又、従来の撮像装置に内蔵した欠陥画素及び暗電流補正機能の使用と、本発明の欠陥画素と暗電流の情報を撮影画像出力に含ませることを切換可能とし、使用用途に応じて選択できるようにしたことにより、例えば、撮影者が、通常は内蔵の欠陥画素と暗電流補正の機能を使用し、特別に選択した画像のみに欠陥画素と暗電流の情報を撮像画像に含ませるようにする等、多様な用途への対応が可能となる。
【発明を実施するための最良の形態】
【００３７】
以下に本発明の実施の形態を添付図面に基づいて説明する。
【００３８】
＜実施の形態１＞
以下、図面に従い本発明の実施例を説明する。
【００３９】
図１は本発明の実施の形態１に係る撮像装置の構成を示すブロック図であり、図示の撮像装置においては、被写体からの光１はレンズ２に入り、絞り３を経て撮像素子４に導かれ電気信号に変換され、撮像素子出力信号２４となるが、この撮像画像は絞りをクローズして撮像した第１画像と、通常の被写体を撮像した第２画像との２つを順次撮像するものとして以下を説明する。
【００４０】
第１画像の場合は、欠陥画素検出６で、欠陥画素を通常に機能している画素から選別する。
【００４１】
欠陥画素の検出は多くの方法が考案されているが、その一例を以下に示す。
【００４２】
１）撮像画像の信号の連続性を画素単位で両隣と比較し、大きな変化がある場合を欠陥画素とする（白欠陥）
２）信号の全くない（暗電流も出力しない）画素を欠陥画素とする（黒欠陥）
以上の方法で検出した欠陥画素の情報１５は欠陥画素マーキング１４に入力される。
【００４３】
図４は欠陥画素マーキングの説明図であって、欠陥画素としてマーキングを行う一例を示し、欠陥画素情報１５により、欠陥画素として検出した画素を全て白レベルとしている。これを前述の第１画像に対して行い、その出力信号はメモリ２７に格納される。
【００４４】
次に、第２画像の場合は欠陥画素検出６と、欠陥画素マーキング１４は機能を停止し、撮像信号はそのまま通過し、メモリ２７に格納される。
【００４５】
この時点で、メモリ２７には、第１、第２の２枚の画像が格納されていて、これを順次読み出し、信号処理５に入り、この中では色分離、ホワイトバランス、γ処理等の処理が行われ、画像情報圧縮７に入力される。
【００４６】
メモリは第１、第２の２枚の画像を信号処理５に入力するに当たり、信号のタイミングを揃えるためのもので、マイクロプロセッサ９からのメモリ制御信号２６により信号の書き込み、読み出しを制御する。
【００４７】
そして、最終的に圧縮された圧縮出力信号８が出力されるが、この実施の形態では、動画像情報の圧縮アルゴリズムとしてＪＰＥＧ２０００の可逆変換（ロスレス）モードを使用している。
【００４８】
図７は画像情報圧縮７に含まれるＪＰＥＧ２０００符号化器（可逆変換モード）の全体構成を図示したものである。
【００４９】
信号処理５から、本符号化器に入力される画像信号データをコンポーネント変換部２０１で色空間変換を施し、変換された各色成分の信号データを各別コンポーネントとして出力する。
【００５０】
又、ここで更なる別コンポーネントとして別の画像データを含ませることができ、本実施の形態では上述の第２画像に加え、第１画像を別コンポーネントとして処理を行う。
【００５１】
尚、コンポーネント構成制御信号２８は本実施の形態では使用しない。
【００５２】
以下の説明は上述の方法にて得られた各画像コンポーネント毎に行われる処理を説明するものである。
【００５３】
タイル分割部２０２は、入力した画像信号データを複数個の所定の大きさの矩形タイル領域に分割し出力する。このタイルの大きさは最大で各色成分の信号データ全体の大きさまで設定とすることができ、この場合は実質的にタイル分割は行われないことになる。尚、後述の説明は上述の方法にて得られた各色成分のタイル毎に行われる処理を説明するものである。
【００５４】
離散ウェーブレット変換部２０３は入力した各タイルの画像信号データに対して２次元の離散ウェーブレット変換を施して周波数成分に分解し、所定複数の周波数帯域のそれぞれに属する複数の変換係数群（サブバンド）を出力する。
【００５５】
尚、離散ウェーブレット変換部２０３では符号化を行う。可逆符号化を行う場合にはウェーブレット変換後の係数が整数になる整数型のフィルタが用いられる。
【００５６】
エントロピ符号化部２０５は、入力したサブバンドを更に複数の矩形領域ブロック（以降、「コードブロック」と呼ぶ）に分割（サブバンドと矩形ブロックが同サイズの時は分割しない）し、このコードブロックを単位として独立にエントロピ符号化を行い、符号化データを生成し、圧縮信号として出力する。
【００５７】
ここで、図１に戻ると、マイクロプロセッサ９は、シャッターボタン１０よりの撮影者からの撮像の指示を受け、以後、所定の手順で絞り制御信号１１、撮像制御信号１２、欠陥画素マーキング信号１３、メモリ制御信号２６を介して本撮像装置の制御を行う。
【００５８】
図２は本実施の形態におけるマイクロプロセッサ９の動作フローチャートであって、ｐで撮像装置の電源がＯＮになると、ｌにて絞りをクローズし、ｃ撮像を行って第１画像を得る。
【００５９】
次に、ｍ欠陥画素をマーキングし、ｆメモリに格納し、ｎスタンバイ（待機）状態に入る。
【００６０】
そして、ａで撮影者よりのシャッターボタンＯＮ（撮像）の指示を受けると、ｂでＡＥ（自動露出制御）を行う。これはサブルーチンになっていて、そのフローを図６に示す。
【００６１】
図６において、マイクロプロセッサには撮像素子からの撮像素子出力信号２４が入力されていて予めそのレベルを読み込んでいる。
【００６２】
次に、基準レベルデータＢからＡＥというサーボ動作を行うための基準レベルの読み込みＡを行う。
【００６３】
次に、Ｃにて信号のレベルと基準レベルを比較し、同様即ちＡＥ制御が最適であればこのサブルーチンは収束し次に進む。
【００６４】
同様でない場合として、信号レベルの小さい場合はＥにて絞り値を減少（開ける）制御を、絞り制御信号１１により行い、Ｃに戻る。
【００６５】
信号レベルの大きい場合は、絞り値を増加（絞る）制御を同様に行いＣに戻る。
【００６６】
以上の動作により、撮像素子出力信号２４のレベルは被写体の変化がある場合にも一定に保たれる。
【００６７】
図２に戻ると、ＡＥ制御が最適になった状態でｃ撮像を行い、ｆでメモリに格納する。
【００６８】
以上のように、メモリに格納された２枚の画像、第１画像として暗電流画像に加えて、欠陥画素にマーキングを施した信号、第２画像については、被写体の撮像画像そのもの、の各々画像をｏメモリからを出力し、５信号処理を介して、７画像情報圧縮においてＪＰＥＧ２０００の別コンポーネントとして圧縮し、１つのファイルとして出力する。
【００６９】
＜実施の形態２＞
図８は本発明の実施の形態２に係る撮像装置の構成を示すブロック図であって、上述の実施の形態１と基本的には同様で、更に、機能を追加した例である。従って、以下に、この実施の形態に付け加えられた機能のみを説明する。
【００７０】
１６は欠陥画素補正で、欠陥画素検出６から出力された欠陥画素情報１５により、第２画像に対して欠陥画素補正を行う。
【００７１】
その方法については上述したが、２２は欠陥画素の補正度合いの調整ノブであって、具体的な動作としては、一例として、前記式１〜式３各式何れかの分母の数字を可変することにより実現可能である。
【００７２】
１７は欠陥画素補正を入り／切りするための制御信号で欠陥画素補正を第２画像のみに行うよう、マイクロプロセッサ９により制御される。
【００７３】
２１は暗電流補正で、メモリ２７に格納されている第１画像を使用し、上述の式４により第２画像に対し暗電流補正を行う。又、２３は暗電流補正度合い調整ノブであって、具体的な動作例として、式４におけるＤ２のレベルを減少させることにより実現可能である。
【００７４】
２０は暗電流補正を入り／切りするための制御信号で暗電流補正を第２画像のみに行うよう、マイクロプロセッサ９により制御される。
【００７５】
又、２４は動作モードの切換スイッチで、画像信号出力として、以下の１）、２）を切換可能としたものである。
【００７６】
１）第２画像の信号のみでコンポーネントを構成し、出力
２）第２画像と、第１画像でコンポーネントを構成し出力
上記何れの場合も第２画像への欠陥画素、暗電流各補正は可能であり、その補正の度合いは２２及び２３のノブで調整可能。
【００７７】
このスイッチにより、出力信号として通常の欠陥画素、暗電流補正を撮像装置内で行った画像信号のみ、と、その信号に加え暗電流情報と欠陥画素情報を含む画像を切換えることが可能となり、更に各補正の調整により、全く補正をしない第２画像の出力も可能である。
【００７８】
図９は本発明の実施の形態２におけるマイクロプロセッサの動作フローチャートで、図２の実施の形態１のマイクロプロセッサの動作フローチャートをベースとし、以下を追加している。
【００７９】
ｄ欠陥画素補正は第２画像に対し欠陥画素補正を行う。
【００８０】
ｅ暗電流補正は第２画像に対し、メモリに格納された第１画像を使用し、暗電流補正を行う。
【００８１】
ｇモード切替スィッチの状態をｈで読み込みを行い、
ｉの出力画像の選択においてｊ第１画像と第２画像を出力、或はｋ第２画像のみを出力する。
【図面の簡単な説明】
【００８２】
【図１】本発明の実施の形態１に係る撮像装置の構成を示すブロック図である。
【図２】本発明の実施の形態１におけるマイクロプロセッサの動作フローチャートである。
【図３】欠陥画素の説明図である。
【図４】欠陥画素マーキングの説明図である。
【図５】暗電流の説明図である。
【図６】ＡＥ制御サブルーチン（ｂ）におけるマイクロプロセッサの動作フローチャートである。
【図７】ＪＰＥＧ２０００符号化器（可逆圧縮モード）の構成である。
【図８】本発明の実施の形態２に係る撮像装置の構成を示すブロック図である。
【図９】本発明の実施の形態２におけるマイクロプロセッサの動作フローチャートである。
【図１０】従来例のブロック図である。
【図１１】従来例のマイクロプロセッサの動作フローチャートである。
【符号の説明】
【００８３】
１    被写体からの光
２    レンズ
３    絞り（アイリス）
４    撮像素子
５    信号処理
６    欠陥画素検出
７    画像情報圧縮
８    画像信号出力（記録装置の入力へ）
９    マイクロプロセッサ
１０  シャッターボタン
１１  絞り制御信号
１２  撮像制御信号
１３  欠陥画素マーキング制御信号
１４  欠陥画素マーキング
１５  欠陥画素情報
１６  欠陥画素補正
１７  欠陥画素補正制御信号
１８  暗電流補正制御信号
１９  暗電流情報
２０  モード切り替えスィッチ
２１  暗電流補正
２２  欠陥画素補正度合い調整
２３  暗電流補正度合い調整
２４  撮像素子出力信号
２６  メモリ制御信号
２７  メモリ
２８  コンポーネント構成制御信号
１０１  欠陥画素（黒欠陥）
１０２  欠陥画素（白欠陥）
１０３  撮像素子上の画素
１０６  マーキングされた欠陥画素
１１０〜１１７  欠陥画素の隣接画素
２０１  コンポーネント変換部
２０２  タイル分割部
２０３  離散ウェーブレット変換部
２０５  エントロピ符号化部
２０６  符号列形成部
ａ    シャッタースィッチＯＮ
ｂ    ＡＥ制御（サブルーチン）
ｃ    撮像
ｄ    欠陥画素補正
ｅ    暗電流補正
ｆ    メモリに格納
ｇ    モード切替スィッチの状態
ｈ    モード切替スィッチの状態の読み込み
ｉ    出力画像の選択
ｊ    第１画像と第２画像を出力
ｋ    第１画像のみを出力
ｌ    絞りをクローズ
ｍ    欠陥画素をマーキング
ｎ    スタンバイ
ｏ    画像信号を出力
ｐ    電源ＯＮ
ｑ    メモリより読み出し
Ａ    基準レベルの読み込み
Ｂ    基準レベルデータ
Ｃ    信号レベルと基準レベルの比較
Ｄ    絞り値増加（絞る）
Ｅ    絞り値減少（開ける）
【図１】
2006033302.tif 000003
【図２】
2006033302.tif 000004
【図３】
2006033302.tif 000005
【図４】
2006033302.tif 000006
【図５】
2006033302.tif 000007
【図６】
2006033302.tif 000008
【図７】
2006033302.tif 000009
【図８】
2006033302.tif 000010
【図９】
2006033302.tif 000011
【図１０】
2006033302.tif 000012
【図１１】
2006033302.tif 000013