(57)【要約】【課題】欠陥画素の補正を高速に行うことが可能な技術を提供すること。【解決手段】補正情報作成装置は、撮像素子１０７に含まれる各欠陥画素６０２について、撮像素子１０７の読み出し方向（ｙ方向）において直前に存在する、欠陥画素６０２及び読み出し方向（ｙ方向）において最初に読み出される画素からの画素数と、補正の要否を示す情報と、を関連付けてメモリ１１６に記憶させる記憶制御部１２３を備える。【選択図】図１
2008187402.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子に含まれる各欠陥画素について、前記撮像素子の読み出し方向において直前に存在する、前記欠陥画素及び前記読み出し方向において最初に読み出される画素からの画素数と、補正の要否を示す情報と、を関連付けて記憶部に記憶させる記憶制御部を備えることを特徴とする補正情報作成装置。
【請求項２】
前記撮像素子の読み出し方向において最後に読み出される画素をダミーの欠陥画素として設定する設定部を備え、
前記記憶制御部は、前記欠陥画素及び前記ダミーの欠陥画素の各々について、前記読み出し方向において直前に存在する、前記欠陥画素及び前記ダミーの欠陥画素からの画素数と、補正の要否を示す情報と、を関連付けて記憶部に記憶させることを特徴とする請求項１に記載の補正情報作成装置。
【請求項３】
前記設定部は、前記ダミーの欠陥画素が欠陥を有する場合には、前記欠陥画素として設定を行うことを特徴とする請求項２に記載の補正情報作成装置。
【請求項４】
前記記憶制御部は、前記欠陥画素については、補正が必要であることを示す情報を、前記ダミーの欠陥画素については、補正が必要でないことを示す情報を、前記補正の要否を示す情報として前記記憶部に記憶させることを特徴とする請求項２又は請求項３に記載の補正情報作成装置。
【請求項５】
前記撮像素子と、
請求項１乃至請求項４のいずれか１項に記載の補正情報作成装置と、
前記撮像素子から読み出された画素を、前記記憶部に記憶された前記画素数及び前記補正の要否を示す情報に基づいて補正する補正部と
を備えることを特徴とする撮像装置。
【請求項６】
前記補正部は、前記記憶部に記憶された画素数に基づいて前記撮像素子における前記欠陥画素の位置を特定し、前記記憶部に記憶された前記欠陥画素の補正の要否を示す情報に従って、特定した前記欠陥画素の補正を行うことを特徴とする請求項５に記載の撮像装置。
【請求項７】
光学系と、
請求項５又は請求項６に記載の撮像装置と、
を備えることを特徴とする撮像システム。
【請求項８】
撮像素子に含まれる複数の欠陥画素の位置をあらわす情報を、前記撮像素子の読み出し方向において最初に読み出される画素からの画素数として記録した記憶部と、
前記撮像素子から読み出された画素を、前記記憶部に記憶された情報に基づいて補正する補正部と、
を備えることを特徴とする撮像装置。
【請求項９】
撮像素子の読み出し方向において最後に読み出される画素をダミーの欠陥画素とし、撮像素子に含まれる複数の欠陥画素の位置をあらわす情報を、前記ダミーの欠陥画素からの画素数として記録した記憶部と、
前記撮像素子から読み出された画素を、前記記憶部に記憶された情報に基づいて補正する補正部と、
を備えることを特徴とする撮像装置。
【請求項１０】
撮像素子に含まれる各欠陥画素について、前記撮像素子の読み出し方向において直前に存在する、前記欠陥画素及び前記読み出し方向において最初に読み出される画素からの画素数と、補正の要否を示す情報と、を関連付けて記憶部に記憶させることを特徴とする補正情報作成方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、補正情報作成装置及びその方法、撮像装置並びに撮像システム、特に、撮像素子の欠陥画素補正技術に関する。
【背景技術】
【０００２】
近年、電子スチルカメラやビデオカメラでは撮像素子の高画素化が進んでおり、それに伴って撮像素子中の欠陥画素を補正することが重要となってきている。
【０００３】
このような状況において、従来から欠陥画素による画質劣化を補正する技術が提案されている。例えば、撮像素子内の欠陥画素の位置や欠陥レベルを含む欠陥補正データを予めメモリに格納し、この欠陥補正データに基づいて欠陥画素を補正する技術がある。
【０００４】
しかしながら、撮像素子内の各画素に対して欠陥補正データをメモリに格納すると、撮像素子内の全画素に対応する欠陥補正データをメモリに格納しなければならず、データ量が増大してしまうという問題がある。そこで、欠陥補正データのデータ量を低減するための技術が提案されている。
【０００５】
特許文献１は、欠陥画素間の相対アドレスを用いて欠陥画素の位置を表すことにより、欠陥補正データのデータ量を低減する技術を開示している。特許文献１では、相対アドレスの値が大きい場合には、ダミーの欠陥画素を設定することにより、相対アドレスの最大値が小さくなるようにしている。
【特許文献１】特開平１−１０３３７６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１の技術では、ダミーの欠陥画素の位置が欠陥画素の位置に依存して変化するため、相対アドレスをそのまま使用して欠陥画素の位置を求めることができない。そのため、相対アドレスから欠陥画素の位置に変換する処理に時間がかかり、特に、動画撮影において高速動作の妨げとなるという問題がある。
【０００７】
本発明は、上記の問題点に鑑みてなされたものであり、欠陥画素の補正を高速に行うことが可能な技術を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の第１の側面は、補正情報作成装置に係り、撮像素子に含まれる各欠陥画素について、前記撮像素子の読み出し方向において直前に存在する、前記欠陥画素及び前記読み出し方向において最初に読み出される画素からの画素数と、補正の要否を示す情報と、を関連付けて記憶部に記憶させる記憶制御部を備えることを特徴とする。
【０００９】
本発明の第２の側面は、前記撮像素子と、上記の補正情報作成装置と、前記撮像素子から読み出された画素を、前記記憶部に記憶された前記画素数及び前記補正の要否を示す情報に基づいて補正する補正部とを備えることを特徴とする。
【００１０】
本発明の第３の側面は、撮像システムに係り、光学系と、上記の撮像装置と、を備えることを特徴とする。
【００１１】
本発明の第４の側面は、撮像装置に係り、撮像素子に含まれる複数の欠陥画素の位置をあらわす情報を、前記撮像素子の読み出し方向において最初に読み出される画素からの画素数として記録した記憶部と、前記撮像素子から読み出された画素を、前記記憶部に記憶された情報に基づいて補正する補正部と、を備えることを特徴とする。
【００１２】
本発明の第５の側面は、撮像装置に係り、撮像素子の読み出し方向において最後に読み出される画素をダミーの欠陥画素とし、撮像素子に含まれる複数の欠陥画素の位置をあらわす情報を、前記ダミーの欠陥画素からの画素数として記録した記憶部と、前記撮像素子から読み出された画素を、前記記憶部に記憶された情報に基づいて補正する補正部と、を備えることを特徴とする。
【００１３】
本発明の第６の側面は、補正情報作成方法に係り、撮像素子に含まれる各欠陥画素について、前記撮像素子の読み出し方向において直前に存在する、前記欠陥画素及び前記読み出し方向において最初に読み出される画素からの画素数と、補正の要否を示す情報と、を関連付けて記憶部に記憶させることを特徴とする。
【発明の効果】
【００１４】
本発明によれば、欠陥画素の補正を高速に行うことが可能な技術を提供することができる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の好適な実施の形態について、図面を参照して詳細に説明する。
【００１６】
図１は、デジタルカメラなどの撮像システムを示すブロック図である。図１の撮像システムは、撮像素子１０７を有する撮像装置と、撮像素子１０７に被写体の光学像を結像させる光学系１０１と、を備える。撮像システムは、撮像素子１０７内の画素の欠陥を補正するための欠陥補正データ１１８を生成する補正情報作成装置１２１に接続される。
【００１７】
レンズなどで構成される光学系１０１は、絞り機構を内包し、被写体の光学像を撮像素子１０７に結像させる。光学系駆動装置１０２は、光学系１０１のフォーカスと絞り機構の制御を行う。
【００１８】
ミラー１０３は、光学系１０１を通った光学像を不図示のファインダーに導くためのミラーであり、一般的にクイックリターン（ＱＲ）ミラーといわれる。ミラー１０３は、撮影時以外では不図示のファインダーに光を導いているが、撮影時には上に上がって撮像素子１０７に光学像が届くように動作する。ミラー駆動装置１０４は、上述のようにミラー１０３を駆動する。シャッタ１０５は、フォーカルプレーン型のシャッタの先幕と後幕に相当するシャッタ幕を有する。シャッタ駆動装置１０６は、光学系１０１を通した光学像の露光時間と遮光を制御する。測光装置１１３は、被写体の輝度を測定する。測距装置１１４は、被写体までの距離を測定する。フォーカス及び露光量の制御は、測光装置１１３及び測距装置１１４の出力信号に基づいて、光学系駆動装置１０２とシャッタ駆動装置１０６とを制御することにより行われる。撮像素子１０７は、光学系１０１により結像された被写体を画像信号として取り込む。撮像信号処理回路１０８は、撮像素子１０７の画像信号の読み出し、読み出した画像信号の増幅、アナログ−ディジタル変換（Ａ／Ｄ変換）、Ａ／Ｄ変換後の画像データに対するキズ補正等の各種の補正、データ圧縮などを行う。撮像信号処理回路１０８は、撮像素子１０７から読み出された画素を、欠陥補正データ１１８に基づいて補正する補正部としての欠陥補正回路１１７を含む。タイミング発生部１０９は、撮像素子１０７と撮像信号処理回路１０８に各種タイミング信号を出力する。制御部１１５は、各種演算を行うと共に、撮像装置全体を制御する。メモリ１１６は、画像データを一時的に記憶したり、調整値などを恒久的に記憶したりするために用いられる記憶部として機能し、キズ補正用の欠陥補正データ１１８を格納するデータ領域を含む。インターフェース（記録媒体制御Ｉ／Ｆ部）１１０は、記録媒体１１１にデータを記録したり、記録媒体１１１からデータを読み出したりする。記録媒体１１１は、着脱可能に構成されうる。記録媒体１１１としては、例えば、半導体メモリを用いることができる。インターフェース（外部Ｉ／Ｆ部）１１２は、外部コンピュータ等と通信する。表示装置１２０は、撮影した静止画像や動画像等を表示する。ＳＷインターフェース（ＳＷＩ／Ｆ）１１９は、ＳＷ１、ＳＷ２等の不図示のスイッチ類を制御する。
【００１９】
補正情報作成装置１２１は、欠陥画素を設定するための設定部１２２を備える。設定部１２２は、撮像素子１０７に含まれる複数の画素のうち欠陥を有する画素を欠陥画素として設定し、撮像素子１０７に含まれる複数の画素のうち撮像素子１０７の読み出し方向において最後に読み出される画素をダミーの欠陥画素として設定する。また、補正情報作成装置１２１は、設定部１２２が設定した欠陥画素及びダミーの欠陥画素の各々について、欠陥画素及びダミーの欠陥画素からの画素数と、補正の要否を示す情報と、を関連付けてメモリ１１６に記憶させる記憶制御部１２３を備える。このとき、記憶制御部１２３は、読み出し方向において直前に存在する、欠陥画素及びダミーの欠陥画素からの画素数と、上記の補正の要否を示す情報と、を関連付けてメモリ１１６に記憶させる。なお、本実施形態では、補正情報作成装置１２１を撮像システムの外部に配置したが、撮像システム内に配置してもよい。
【００２０】
次に、図１に示す撮像システムの撮影時における動作について説明する。
【００２１】
不図示のメイン電源がオンすると、各駆動装置の電源がオンされ、撮像信号処理回路１０８などの撮像系の回路の電源がオンする。不図示のレリーズボタンが半押しされると、制御部１１５は、露光量を制御するために、測光装置１１３で被写体輝度を測定すると共に、測距装置１１４で被写体距離を測定し、その測距結果に応じて光学系駆動装置１０２で光学系１０１の合焦動作を行う。不図示のレリーズボタンが全押しされると、制御部１１５は、測光装置１１３の測光値に基づいて光学系駆動装置１０２を通じて光学系１０１の絞りを制御する。
【００２２】
制御部１１５は、画像を撮影するために、タイミング発生部１０９と撮像信号処理回路１０８とを制御し、撮像素子１０７を初期化して、撮像素子１０７が画像信号を蓄積できるように制御する。ミラー駆動装置１０４はミラー１０３を上げ、シャッタ駆動装置１０６は測光装置１１３の測光値に基づいてシャッタ１０５を所定の時間だけ開くように制御する。所定時間経過後は、シャッタ駆動装置１０６はシャッタ１０５を閉じ、ミラー駆動装置１０４はミラー１０３を下げるように制御する。
【００２３】
その後、制御部１１５は、画像信号を読み出すために、タイミング発生部１０９と撮像信号処理回路１０８とを制御すると共に、撮像素子１０７から静止画用の画像信号を読み出す。これと同時に、欠陥補正回路１１７は、欠陥補正データ１１８を用いて欠陥画素を補正する。メモリ１１６は、読み出された画像信号を画像データとして一旦保存する。そして、インターフェース１１０は、メモリ１１６に保存された画像データを記録媒体１１１に記録する。
【００２４】
以上により、一連の撮像シーケンスが終了し、また元に戻る。
【００２５】
図２は、本発明の好適な実施の形態に係る撮像システムの撮影制御を示すフローチャートである。
【００２６】
ステップＳ２０１では、制御部１１５は、撮影開始前に静止画の欠陥補正データ１１８から動画表示用、特に、動画部分拡大表示用のインデックスデータを作成する。インデックスデータの作成方法については、後述する。
【００２７】
ステップＳ２０２では、制御部１１５は、撮像システムのＳＷ１の状態を確認し、ＳＷ１がオンされるのを待つ。ここで、ＳＷ１は、レリーズ釦を半押しした時にオンされるＳＷ（スイッチ）であり、撮影者が撮像システムに撮影準備の開始を指示するために用いられる。また、ＳＷ１は、ＳＷインターフェース１１９に接続されている。
【００２８】
ステップＳ２０２では、制御部１１５は、ＳＷ１がオンされたことを確認すると、ステップＳ２０３へ進む。
【００２９】
ステップＳ２０３では、制御部１１５は、各駆動装置、タイミング発生装置、撮像信号処理回路、撮像素子、測光測距装置などの撮影のために必要な各ブロックへの電源の供給を開始する。これ以外の、メモリ１１６、外部インターフェース部、記録媒体制御インターフェース部などの撮影以外でも使用される各ブロックへの電源の供給は、本撮影制御前にメインＳＷがオンされた時に開始されているものとする。
【００３０】
ステップＳ２０４では、制御部１１５は、現在設定されている撮影モードを判定し、静止画撮影モードであればステップＳ２０５へ進み、動画撮影モードであればステップＳ２０６へ進む。撮影モードの切り替え手段としては、本撮影制御以外で撮影モードの設定動作を行うよう構成された、例えば、モードダイヤルやメニュー画面などの手段が考えられる。
【００３１】
ステップＳ２０５の静止画撮影及びステップＳ２０６の動画撮影における撮影制御については、後述する。
【００３２】
ステップＳ２０５の静止画撮影又はステップＳ２０６の動画撮影における撮影制御が終了すると、制御部１１５は、ステップＳ２０７へ進む。
【００３３】
ステップＳ２０７では、制御部１１５は、ステップＳ２０４で電源供給を開始した各ブロックへの電源供給を停止する。
【００３４】
その後、制御部１１５は、一連の撮影制御を終了するが、撮影が引き続き行われる場合には、ステップＳ２０１へ戻る。
【００３５】
図３は、図２のステップＳ２０５における撮影制御をより詳細に示すフローチャートである。
【００３６】
ステップＳ３０１では、制御部１１５は、測光装置１１３と測距装置１１４を用いて、外光の明るさ（測光情報）と被写体までの距離（測距情報）とを検出する。
【００３７】
ステップＳ３０２では、光学系駆動装置１０２は、ステップＳ３０１で検出した測距情報に基づいて被写体にピントが合うように光学系１０１を駆動する。
【００３８】
ステップＳ３０３では、制御部１１５は、撮像システムのＳＷ２の状態を確認し、ＳＷ２がオンされるのを待つ。ここで、ＳＷ２は、レリーズ釦を全押しした時にオンされるＳＷ（スイッチ）であり、撮影者が撮像システムに本撮影の開始を指示するために用いられる。また、ＳＷ２は、ＳＷインターフェース１１９に接続されている。
【００３９】
ステップＳ３０４では、制御部１１５は、タイミング発生部１０９と撮像信号処理回路１０８とを制御する。制御部１１５はまた、撮像素子１０７を初期化して、撮像素子１０７が画像信号を蓄積できるように制御する。
【００４０】
ステップＳ３０５では、光学系駆動装置１０２は、ステップＳ３０１で検出した測光情報に基づいて光学系１０１の光学系の絞りを所定の開き位置まで駆動する。
【００４１】
ステップＳ３０６では、ミラー駆動装置１０４は、ミラー１０３を上げ、シャッタ駆動装置１０６はシャッタ１０５を開く。
【００４２】
ステップＳ３０７では、制御部１１５は、ステップＳ３０１で検出した測光情報に基づいてシャッタの露光時間が経過するのを待つ。ステップＳ３０７でシャッタの露光時間が経過すると、制御部１１５は、ステップＳ３０８へ進む。
【００４３】
ステップＳ３０８では、制御部１１５は、シャッタ１０５を閉じ、ミラー１０３を下げるように制御する。
【００４４】
ステップＳ３０９では、制御部１１５は、ステップＳ３０５で測光情報に基づいて絞っていた絞りを開放位置まで開くように制御する。
【００４５】
ステップＳ３１０では、制御部１１５は、タイミング発生部１０９と撮像信号処理回路１０８とを制御し、撮像素子１０７に蓄積された画像信号を読み出す。このとき、撮像信号処理回路１０８は、アナログの画像信号に対してＡ／Ｄ変換を行い、読み出した画像信号を一時的にメモリ１１６へ蓄積する。撮像信号処理回路１０８は、この蓄積時に予め画像信号の現像及び圧縮を行っておくことが好ましい。これにより、画像１枚に対するメモリの消費量を減らすことができる。本発明の好適な実施の形態に係る欠陥画素の補正は、この読み出し時に予め作成しておいた欠陥補正データ１１８に基づいて補正を行うが、その詳細な説明は後述する。
【００４６】
ステップＳ３１１では、制御部１１５は、ステップＳ３１０で一時的にメモリ１１６へ格納した画像信号を外部の記録媒体１１１へ記録する。本実施形態では、単写の撮影制御を例に挙げたが、連続撮影の場合についても以下に述べる。連続撮影の場合には、画像信号の読み出し速度に合わせて連射速度を設定するため、画像信号の読み出しからメモリ１１６への一時蓄積までは連続的に行われる。この読み出しから蓄積までの速度に対して、メモリ１１６から読み出して外部の記録媒体１１１へ記録するまでの速度は格段に遅いため、この部分がボトルネックとなる。そのため、メモリ１１６へ画像信号を一時的に蓄積しておき、撮影された順序で記録するときに、記録が遅れてもメモリ１１６に空きがある限り、連続撮影を行うことができる。そして、メモリ１１６の画像データが全て外部の記録媒体１１１へ記録し終えると、静止画像の撮影制御が終了する。
【００４７】
その後、制御部１１５は、静止画撮影の撮影制御を終了し、図２のステップＳ２０７へと進む。
【００４８】
図４は、図２のステップＳ２０６における撮影制御をより詳細に示すフローチャートである。
【００４９】
ステップＳ４０１では、制御部１１５は、タイミング発生部１０９と撮像信号処理回路１０８とを制御し、撮像素子１０７を初期化して、撮像素子１０７が画像信号を蓄積できるようにする。
【００５０】
ステップＳ４０２では、ミラー駆動装置１０４はミラー１０３を上げ、シャッタ駆動装置１０６はシャッタ１０５を開く。
【００５１】
ステップＳ４０３では、制御部１１５は、現在設定されている動画撮影のモードを判定し、全画面を表示するモード（以下「全画面表示」という。）であればステップＳ４０４へ進み、画面を部分的に拡大して表示するモード（以下「部分拡大表示」という。）であればステップＳ４０６へと進む。ここで、動画撮影モードの切り替え手段については説明を省略するが、動画撮影制御中に不図示のＳＷ（スイッチ）を操作して切り替えが行えるようなシステムであれば、撮影者が容易に動画撮影モードに切り替えることができる。
【００５２】
ステップＳ４０４では、制御部１１５は、タイミング発生部１０９と撮像信号処理回路１０８とを制御し、撮像素子１０７に蓄積された画像信号を読み出す。このとき、撮像信号処理回路１０８は、アナログの画像信号に対してＡ／Ｄ変換を行い、読み出した画像信号を一時的にメモリ１１６へ蓄積する。撮像信号処理回路１０８は、この蓄積時に画像信号の現像を行う。また、表示装置に必要な画像データの量は、静止画撮影時の画像データの量と比較して格段に小さく、静止画時の画像信号を撮像素子１０７から読み出すと、読み出しに時間が掛かってしまい、動画像にならなくなる。そのため、全画面表示を行う場合には、撮像素子１０７から必要な画像信号を間引いて読み出す。本実施形態に係る欠陥画素の補正では、この読み出し時に予め作成しておいた欠陥補正データ１１８に基づいて、欠陥画素の補正を行う。その詳細な説明は、後述する。
【００５３】
ステップＳ４０５では、撮像信号処理回路１０８は、ステップＳ４０４で読み出した画像データが表示装置１２０の表示用サイズとなるように修正する。これは、全画面を間引きにより読み出した場合、表示装置１２０の表示用サイズとは一致しないからである。そして、撮像信号処理回路１０８は、修正した画像データを表示装置１２０に表示させる。  ステップＳ４０６では、撮像信号処理回路１０８は、ステップＳ４０４と同様に撮像素子１０７から画像信号を読み出し、現像処理を行う。ただし、ステップＳ４０６では、ステップＳ４０４とは読み出し方法が異なる。全画面表示を行う場合には、画面全体を間引いて読み出しを行っていたのに対し、部分拡大表示を行う場合には、必要な領域を読み出して表示を行う。本実施形態に係る欠陥画素の補正では、この読み出し時に予め作成しておいた欠陥補正データ１１８に基づいて、欠陥画素の補正を行う。その詳細な説明は、後述する。
【００５４】
ステップＳ４０７では、撮像信号処理回路１０８は、ステップＳ４０６で読み出した領域の画像信号の中から表示領域に対応する領域を切り出す。これは、読み出した領域に対して表示領域はその一部であるため、表示に必要な領域を切り出して、この画像データを表示装置１２０に表示するためである。
【００５５】
ステップＳ４０８では、制御部１１５は、外光の明るさ（測光情報）と被写体までの距離（測距情報）とを検出する。ただし、ここでは測光装置１１３と測距装置１１４とを用いずに、ステップＳ４０４又はステップＳ４０６で読み出した画像信号に基づいて、測光情報と測距情報とを検出する。これは、本実施形態に係る撮像システムでは、ミラー１０３が上がった状態では、測光装置１１３と測距装置１１４へ光を導くことができず、両装置とも使用できないためである。
【００５６】
ステップＳ４０９では、光学系駆動装置１０２は、ステップＳ４０８で検出した測距情報に基づいて被写体にピントが合うように光学系１０１を駆動する。
【００５７】
ステップＳ４１０では、光学系駆動装置１０２は、ステップＳ４０８で検出した測光情報に基づいてを光学系１０１の絞りを所定の開き位置まで駆動する。
【００５８】
ステップＳ４１１では、制御部１１５は、ＳＷ２の状態を確認してＳＷ２がオンしているかどうかを判定する。制御部１１５は、ＳＷ２がオンしていなければ、ステップＳ４１３へ進む。この場合、画像の記録は行われず、表示装置１２０に動画像が表示されるだけである。ＳＷ２がオンしていれば、ステップＳ４１２へ進む。
【００５９】
ステップＳ４１２では、撮像信号処理回路１０８は、ステップＳ４０４又はステップＳ４０６で一時的にメモリ１１６へ格納された画像信号を記録画像のサイズに修正する。或いは、その画像信号の一部を切り出して記録画像のサイズに修正し、記録用に画像の圧縮を行ってから、外部の記録媒体１１１へ記録する。この場合の圧縮率は、外部の記録媒体１１１への書き込み速度に応じて調整される。
【００６０】
ステップＳ４１３では、制御部１１５は、ＳＷ１の状態を確認し、ＳＷ１がオンしていればステップＳ４０３へ戻り、上述した一連の撮影動作を繰り返す。ＳＷ１がオンしていない場合は、ステップＳ４１４へ進む。
【００６１】
ステップＳ４１４では、制御部１１５は、シャッタ１０５を閉じ、ミラー１０３を下げるように制御する。
【００６２】
ステップＳ４１５で、制御部１１５は、ステップＳ４１０で測光情報に基づいて絞っていた絞りを開放位置まで開くように制御する。
【００６３】
その後、制御部１１５は、動画撮影のシーケンスを終了し、図２のステップＳ２０７へと進む。
【００６４】
次に、図３のステップＳ３１０における欠陥画素を補正するときの欠陥補正データ１１８について、図５及び図６を用いて更に詳細に説明する。
【００６５】
図５は、撮像素子１０７内の欠陥画素の位置を示す図である。図６は、撮像素子１０７内の欠陥画素の位置と撮像システムに記憶する欠陥補正データ１１８の形式を示す図である。図５に示す各四角形は画素６０１をそれぞれ表し、その中にクロスの斜線が引かれている画素が欠陥を有する欠陥画素６０２である。ここでは、撮像素子１０７全体を１２×８の画素６０１とし、その中に欠陥画素６０２を表しているが、本発明はこれに限定されない。また、多数の欠陥画素６０２を例示的に示したが、実際には、この程度の画素数の中にこれ程の欠陥画素６０２が存在することはほとんどないと思われる。
【００６６】
図６の左側に示す欠陥補正データ１１８では、欠陥画素６０２の位置情報がｘｙ座標で表されているが、このままではデータ量が大きくなる。そのため、図６の右側に示すように、ｘｙ座標で表された絶対アドレスのデータを、各画素間の相対アドレスで表されたオフセットデータに変換し、撮像システム内に記憶する。このオフセットデータは、ある欠陥画素の位置から次の欠陥画素の位置までの画素数（移動量）を表している。そして、撮像素子１０７は、左上の画素から右方向に順に読み出され、右端の画素まで進んだら、ｙ座標を一つ進めて再度左から右方向に順に読み出されるように構成される。そのため、このようなオフセットのデータ形式に変換することにより、欠陥画素間の画素数に基づいて、欠陥画素の位置を特定することができる。また、欠陥画素毎に予め検出した欠陥レベルを関連付けて記憶しておくことが好ましい。この欠陥レベルは、補正が必要であるか否かを示す情報に対応し、これによって撮影シーン毎にどの欠陥レベルまで補正を行うかを切り替えることができる。
【００６７】
このような欠陥画素の補正は、静止画撮影において予めオフセットデータと欠陥レベルデータとを求めておき、撮像システム内に記憶しておくことによって、静止画撮影時にこの欠陥補正データ１１８に基づいて行われる。このように作成した欠陥補正データ１１８を用いて、撮像素子１０７から読み出される画像データが、欠陥画素の位置にあるかどうかを逐一判定し、欠陥画素であると判定した場合には、この欠陥画素を周りの正常な画素を用いて補正する。
【００６８】
次に、図４のステップＳ４０４における欠陥画素の補正について、図７及び図８を用いて更に詳細に説明する。
【００６９】
図７は、図５と同様に撮像素子１０７内の欠陥画素６０２の位置を示す図である。ただし、動画で全画面表示する場合には、撮像素子１０７から静止画と同じ画素数を読み出していると、読み出しに時間が掛かかり、滑らかな動画表示にならない。そこで、一般的には、画素の読み出すときに、間引きを行うことによって、読み出し時間を短くしている。この場合、静止画に比べて画素数が減少するが、滑らかな動画表示を行うことができる。図７において、太い線で囲まれた画素１０１１は、間引かれずに読み出される画素を示す。図７では、ｙ方向に２分の１の間引きを行い、ｘ方向に２分の１の間引きを行っている。その結果、読み出される画素数は、全画素数の４分の１（例えば、図７では２４画素）となる。
【００７０】
図８は、図７の間引き読み出しに対応する欠陥補正データ１１８を示す図である。欠陥画素と欠陥画素とのオフセット量は、間引きを行うと静止画撮影の場合とは異なってしまう。そのため、全画面表示する場合における動画撮影用に、図８に示す欠陥補正データ１１８を予め作成し、撮像システム内に記憶しておく必要がある。ただし、動画の場合には、一画像に使用可能な時間が制限されるため、静止画に対して蓄積時間（露光時間）の最大時間が格段に短くなる。そのため、長秒撮影用の欠陥補正データ１１８は必要なくなり、データ数は間引きによる減少数よりも更に小さくなる。従って、撮像システムの欠陥補正データ１１８の容量はそれ程大きくはならない。このように作成した欠陥補正データ１１８を用いて、撮像素子１０７から読み出される画像データが、欠陥画素の位置にあるかどうかを逐一判定し、欠陥画素であると判定した場合には、この欠陥画素を周りの正常な画素を用いて補正する。
【００７１】
本実施形態の動画撮影時における部分拡大表示では、撮像素子１０７内の一部を間引きなしで読み出し、その読み出された一部の画像を表示装置１２０の画面全体に表示する。その結果、全画面表示に対する拡大表示となる。図９を参照してこれを説明すると、全画面表示の場合には、撮像素子１０７全体を間引きで読み出し、表示装置１２０のサイズで表示することにより全画面表示となる。また、部分拡大表示の場合には、間引きなしで撮像素子１０７の一部を読み出し、表示領域を表示装置１２０のサイズにして表示することによって部分拡大表示となる。この場合、間引き画像を拡大した場合と異なり画質が劣化しない。
【００７２】
このような部分拡大表示の画像を読み出して表示する場合には、撮像素子１０７の中心部のみを拡大表示すれば、図１０に示すように撮像素子１０７の中心部分を読み出し、図１１に示すようにこの読み出しに対応した欠陥補正データ１１８を作成すればよい。これにより、欠陥画素の補正を行うことができる。また、拡大表示位置が例えば１ヶ所だけあれば、欠陥補正データ１１８は大きく増加することはない。
【００７３】
しかしながら、このような方法では、部分拡大表示する位置が変わる度に、その位置に対応した欠陥補正データ１１８が必要となる。その結果、現在主流である数百万画素の撮像素子１０７においては、移動可能な位置が非常に多く存在し、これを補正するためには膨大な量の欠陥補正データ１１８が必要となる。
【００７４】
次に、図４のステップＳ４０６における欠陥画素の補正について、図１２〜図１４を用いて更に詳細に説明する。また、図２のステップＳ２０１における欠陥画素を補正するためのインデックスデータの作成についても併せて説明する。
【００７５】
図１２は、図５と同様に撮像素子１０７内の欠陥画素６０２の位置を示す図である。図１２において、横線が引かれた画素は、動画撮影時に部分拡大表示を行うために追加したダミーの欠陥画素８０１である。本実施形態では、撮像素子１０７の読み出し方向における最後の画素（右端の画素）をダミーの欠陥画素８０１として設定し、ダミーの欠陥画素８０１に欠陥補正データ１１８を関連付ける。このように、撮像素子１０７の読み出し方向における最後の画素をダミーの欠陥画素と設定し、そのダミーの欠陥画素からのオフセットデータを読み出し開始ラインの先頭からの画素数（アドレス）とすることができる。そのため、読み出しの際に、オフセットデータを変換する処理を行わずに、オフセットデータをそのまま使用することができるため、特に、動画像の処理において有利である。ダミーの欠陥画素８０１は、欠陥画素間の画素数を算出する際には欠陥を有する欠陥画素と同様に扱われるが、補正処理が行われない点で相違する。図１２では、横線が引かれた画素８０１がダミーの欠陥画素に対応し、図１３では、番号２、４、６、８、１０、１１がダミーの欠陥画素に対応する。また、図１３では、ダミーの欠陥画素の欠陥レベルは、欠陥を有する画素と区別するために、補正が必要でないこと示す“０”に設定されている。なお、番号１３のように、撮像素子１０７の読み出し行の最後の画素が欠陥を有する画素である場合には、欠陥を有する画素として欠陥補正データ１１８を設定し、ダミーの欠陥画素としては欠陥補正データ１１８を設定しない。
【００７６】
次に、この欠陥補正データ１１８を用いた場合における部分拡大表示について説明する。
【００７７】
図９に示したように、部分拡大表示の場合には、撮像素子１０７全体に対して、画像信号を読み出す領域は、縦方向においては表示領域を包含する長さを有し、横方向においては撮像素子１０７の長さを有するとする。図９では、図示の都合上、読み出す領域の縦方向の長さが、撮像素子１０７全体の半分以上となっているが、実際には撮像素子１０７全体の５分の１程度である。そして、このように横長に読み出された画像信号の内、表示領域のみを表示装置１２０のサイズで表示し、部分拡大表示を行う。例えば、図１２において３行目の画素（ｘ，ｙ）＝（１，３）から画像信号を読み出す場合、欠陥補正データ１１８として、一つ前の画素（ｘ，ｙ）＝（１２，２）のオフセットデータ、図１３では番号４の画素のオフセットデータを使用する。同様に、図１２において５行目の画素（ｘ，ｙ）＝（１，５）から画像信号を読み出す場合、欠陥補正データ１１８として、一つ前の画素（ｘ，ｙ）＝（１２，４）のオフセットデータ、図１３では番号８の画素のオフセットデータを使用する。この場合、上述したように、オフセットデータを変換する処理が不要であり、高速動作が可能となる。
【００７８】
しかしながら、撮像システムには、図１３の欠陥補正データ１１８しか記憶されていない。そのため、読み出し毎に、画像信号の読み出し行に応じて、図１３の何番目のデータから使用すればよいのかを、欠陥補正データ１１８の先頭から検索する必要がある。
【００７９】
これを解消するためには、図２のステップＳ２０２のタイミングで欠陥補正データ１１８を先頭から検索する。次いで、図１４に示したような画像信号を読み出す行とその行に対応した使用開始の欠陥補正データ１１８の番号とを対にした、インデックスデータを作成すればよい。図１４のような欠陥補正データ１１８に対するインデックスデータを予め作成することによって、画像信号の読み出し行が変わる度に、欠陥補正データ１１８の先頭から検索をする必要がなくなる。
【００８０】
本実施形態では、撮影前に撮像システムがインデックスデータの作成を行ったが、撮影動作開始までの時間を更に短くしたい場合、工場調整などで予めインデックスデータを作成し、撮像システム内に記憶してもよい。これによって、インデックスデータの作成時間を撮影動作開始までの時間だけ短くすることができる。
【００８１】
また、図５と図１２とを比較すると、ダミーの欠陥画素６０２に対応する欠陥補正データ１１８の他は同じであり、ダミーの欠陥画素６０２に対応する欠陥補正データ１１８に対しては補正処理を行わない。そのため、図１２の動画の部分拡大表示用の欠陥補正データ１１８を図５のものの代わりに静止画の欠陥補正データ１１８として用いることができる。その結果、欠陥補正データ１１８の総数を減らすことができる。
【００８２】
図１５を用いて、欠陥補正データ１１８の形式について説明する。
【００８３】
上述した欠陥補正データ１１８の形式では、図６のような静止画撮影用の欠陥補正データ１１８に対し、行の切り替わりが分かるように、図１３のようにダミーの欠陥補正データ１１８を追加していた。これに対して、図６のような欠陥補正データ１１８を用いて欠陥画素補正を行うために、図１５のような形式の欠陥補正データ１１８を予め生成しておく。このデータ形式は、１行で撮像素子１０７の１行分のデータである。そして、左から、何行目のデータか、その行に対する欠陥画素の個数、その行の先頭の画素から欠陥画素までの画素数（先頭の画素も画素数に含む）、その行に存在する欠陥補正データ１１８が並んでいる。静止画撮影用の欠陥補正データ１１８として利用する場合には、撮像素子１０７の最初から順番に読み込んでいくので、それに対応して欠陥補正データ１１８を先頭から利用する。また、例えば、部分拡大表示用として撮像素子１０７の最初からではなく、３行目から読み込んでいく場合には、３行目に対応した欠陥補正データ１１８から利用することにより、欠陥画素の補正を行うことができる。そして、１行分の欠陥画素の補正が完了したら、次の行のデータに移動して、再度行の先頭から補正を行う。
【００８４】
図１６を用いて、欠陥補正データ１１８の形式について説明を行う。
【００８５】
図１５で説明を行ったのと同様に、図６のような欠陥補正データ１１８を用いて欠陥画素補正を行うためのデータ形式である。このデータ形式は、１行で撮像素子１０７の１行分のデータである。そして、左から、何行目のデータか、その行の先頭の画素から欠陥画素までの画素数（先頭の画素も画素数に含む）、その行の撮像素子１０７の画素数、その行に存在する欠陥補正データ１１８が並んでいる。部分拡大表示用として、撮像素子１０７の最初からではなく、３行目から読み込む場合には、３行目に対応した欠陥補正データ１１８から利用することにより、欠陥画素の補正を行うことができる。そして、オフセットの数を加算し、１行分の撮像素子１０７画素数よりも多くなったら、次の行のデータに移動して再度行の先頭から補正を行う。
【００８６】
図１５、図１６で説明したように欠陥補正データ１１８のデータ形式を行毎に完結する形式にしておく。そうすれば、全画面用の読み出しで行だけを間引いて読み出すような場合、静止画撮影用の欠陥補正データ１１８を全画面表示用のものとして用いることもできる。
【００８７】
以上のように、本発明の好適な実施の形態によれば、撮像素子の読み出し方向において最初に読み出される画素からの画素数を利用して、欠陥画素の位置を高速に求めることができる。その結果、欠陥画素の補正を高速に行うことが可能な技術を提供することが可能となる。
【００８８】
また、複数個必要であった動画撮影時の撮像素子内の任意領域拡大用の欠陥補正データを一つで共用することができる。これにより欠陥補正データの記憶に必要なＲＯＭ容量を大幅に減らすことができる。
【００８９】
また、従来は別々であった、静止画撮影用の欠陥補正データと動画撮影時のセンサ内の任意領域拡大用の欠陥補正データとを共通にすることによって、更なるＲＯＭ容量の低減を行うことができる。
【００９０】
また、動画撮影時の撮像素子内の任意領域拡大用の欠陥補正データを一つのデータで共用するためのインデックスデータを、カメラの起動時に欠陥補正データを先頭からスキャンし、データに対応したインデックスデータを作成する。これによって、ＲＯＭ容量を余分に消費することがなくなる。また、このインデックスデータを欠陥補正データを作成するときに共に作成し、カメラ内に記憶しておく。これによって、起動時にインデックスデータを作成する必要がなり、起動時間が長くなるという不具合を解消できる。
【図面の簡単な説明】
【００９１】
【図１】本発明の好適な実施の形態に係る撮像システムのブロック図である。
【図２】本発明の好適な実施の形態に係る撮像システムの撮影制御を示すフローチャートを示す図である。
【図３】図２のステップＳ２０５における撮影制御をより詳細に示すフローチャートを示す図である。
【図４】図２のステップＳ２０６における撮影制御をより詳細に示すフローチャートを示す図である。
【図５】撮像素子内の欠陥画素の位置を示す図である。
【図６】撮像素子内の欠陥画素の位置と撮像システムに記憶する欠陥補正データの形式を示す図である。
【図７】撮像素子内の欠陥画素の位置を示す図である。
【図８】図７に示す間引き読み出しに対応する欠陥補正データを示す図である。
【図９】撮像素子全体における読み出し領域と表示領域との関係を示す図である。
【図１０】部分拡大表示における欠陥画素の補正位置を示す図である。
【図１１】部分拡大表示における欠陥補正データを示す図である。
【図１２】本発明の好適な実施の形態に係る撮像素子内の欠陥画素の位置を示す図である。
【図１３】本発明の好適な実施の形態に係る欠陥補正データを示す図である。
【図１４】本発明の好適な実施の形態に係るインデックスデータを示す図である。
【図１５】本発明の好適な実施の形態に係る欠陥補正データの他の形式を示す図である。
【図１６】本発明の好適な実施の形態に係る欠陥補正データの更に他の形式を示す図である。
【符号の説明】
【００９２】
１０７  撮像素子
１１６  メモリ
１２３  記憶制御部
６０２  欠陥画素
【図１】
2008187402.tif 000003
【図２】
2008187402.tif 000004
【図３】
2008187402.tif 000005
【図４】
2008187402.tif 000006
【図５】
2008187402.tif 000007
【図６】
2008187402.tif 000008
【図７】
2008187402.tif 000009
【図８】
2008187402.tif 000010
【図９】
2008187402.tif 000011
【図１０】
2008187402.tif 000012
【図１１】
2008187402.tif 000013
【図１２】
2008187402.tif 000014
【図１３】
2008187402.tif 000015
【図１４】
2008187402.tif 000016
【図１５】
2008187402.tif 000017
【図１６】
2008187402.tif 000018