(57)【要約】【課題】欠陥画素を救済することができるようにすることである。【解決手段】撮像装置は、行列状に配列され、各々が信号を出力する複数の画素と、前記複数の画素の行毎の読み出しを制御する制御部とを有し、前記複数の画素の各々は、光を電荷に変換する光電変換部と、前記光電変換部により変換された電荷を保持する保持部とを有し、前記制御部は、前記複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御する。【選択図】図８
2019121924.tif 000002
【特許請求の範囲】
【請求項１】
行列状に配列され、各々が信号を出力する複数の画素と、
前記複数の画素の行毎の読み出しを制御する制御部とを有し、
前記複数の画素の各々は、
光を電荷に変換する光電変換部と、
前記光電変換部により変換された電荷を保持する保持部とを有し、
前記制御部は、前記複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御することを特徴とする撮像装置。
【請求項２】
前記欠陥画素は、前記保持部が原因の欠陥画素であることを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記制御部は、前記欠陥画素の周囲の画素の出力信号レベルに対する前記欠陥画素の出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御することを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像装置は、前記複数の画素の中の欠陥画素を検出する欠陥画素検出部をさらに有することを特徴とする請求項１に記載の撮像装置。
【請求項５】
前記撮像装置は、前記保持部が原因の欠陥画素を検出することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記欠陥画素検出部は、前記欠陥画素の周囲の画素の出力信号レベルに対する前記欠陥画素の出力信号レベルを検出し、
前記制御部は、前記欠陥画素の周囲の画素の出力信号レベルに対する前記欠陥画素の出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御することを特徴とする請求項４又は５に記載の撮像装置。
【請求項７】
前記欠陥画素検出部は、前記欠陥画素の周囲の画素の出力信号レベルに対する前記欠陥画素の出力信号レベルを、前記保持部が電荷を保持する期間が所定の期間である場合の出力信号レベルに正規化することを特徴とする請求項６に記載の撮像装置。
【請求項８】
前記複数の画素の各々は、前記光電変換部により変換された電荷を前記保持部に転送する転送スイッチをさらに有することを特徴とする請求項４〜７のいずれか１項に記載の撮像装置。
【請求項９】
前記欠陥画素検出部は、前記転送スイッチが前記光電変換部により変換された電荷を前記保持部に転送しない場合の画素の出力信号レベルを基に欠陥画素を検出することを特徴とする請求項８に記載の撮像装置。
【請求項１０】
前記制御部は、前記欠陥画素検出部が欠陥画素を検出する時の前記保持部の電荷蓄積期間が、撮影時の前記保持部の電荷蓄積期間より長くなるように制御することを特徴とする請求項４〜９のいずれか１項に記載の撮像装置。
【請求項１１】
前記制御部は、前記複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行い、その後、欠陥画素が存在しない行の読み出しを行うように制御することを特徴とする請求項１〜１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記制御部は、前記複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行う場合の、前記欠陥画素の出力信号レベルを算出し、前記算出した欠陥画素の出力信号レベルが第１の閾値より多い欠陥画素を除外し、前記複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行い、その後、前記算出した欠陥画素の出力信号レベルが前記第１の閾値より多い欠陥画素の読み出しを行うように制御することを特徴とする請求項１〜１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記制御部は、同一行に複数の欠陥画素が存在する場合、前記欠陥画素が存在する行毎に、前記欠陥画素が存在する行の読み出し順番と前記読み出し順番の場合の前記行に存在する欠陥画素の出力信号レベルが第２の閾値以下になる欠陥画素の個数を算出し、前記欠陥画素の出力信号レベルが前記第２の閾値以下になる欠陥画素の個数が全行合わせて最大となるように、前記欠陥画素が存在する行の読み出し順序を決定することを特徴とする請求項１〜１２のいずれか１項に記載の撮像装置。
【請求項１４】
前記複数の画素の前記光電変換部は、すべて、同時に電荷蓄積を開始し、同時に電荷蓄積を終了することを特徴とする請求項１〜１３のいずれか１項に記載の撮像装置。
【請求項１５】
行列状に配列され、各々が信号を出力する複数の画素と、
前記複数の画素の行毎の読み出しを制御する制御部とを有し、
前記複数の画素の各々は、
光を電荷に変換する光電変換部と、
前記光電変換部により変換された電荷を保持する保持部とを有し、
前記制御部は、同一行に複数の欠陥画素が存在する場合、前記欠陥画素が存在する行毎に、前記欠陥画素が存在する行の読み出し順番と前記読み出し順番の場合の前記行に存在する欠陥画素の出力信号レベルが第２の閾値以下になる欠陥画素の個数を算出し、前記欠陥画素の出力信号レベルが前記第２の閾値以下になる欠陥画素の個数が全行合わせて最大となるように、前記欠陥画素が存在する行の読み出し順序を決定することを特徴とする撮像装置。
【請求項１６】
行列状に配列され、各々が信号を出力する複数の画素と、
前記複数の画素の行毎の読み出しを制御する制御部とを有し、
前記複数の画素の各々は、
光を電荷に変換する光電変換部と、
前記光電変換部により変換された電荷を保持する保持部とを有する撮像装置の制御方法であって、
前記複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御することを特徴とする撮像装置の制御方法。
【請求項１７】
行列状に配列され、各々が信号を出力する複数の画素と、
前記複数の画素の行毎の読み出しを制御する制御部とを有し、
前記複数の画素の各々は、
光を電荷に変換する光電変換部と、
前記光電変換部により変換された電荷を保持する保持部とを有する撮像装置の制御方法であって、
同一行に複数の欠陥画素が存在する場合、前記欠陥画素が存在する行毎に、前記欠陥画素が存在する行の読み出し順番と前記読み出し順番の場合の前記行に存在する欠陥画素の出力信号レベルが第２の閾値以下になる欠陥画素の個数を算出するステップと、
前記欠陥画素の出力信号レベルが前記第２の閾値以下になる欠陥画素の個数が全行合わせて最大となるように、前記欠陥画素が存在する行の読み出し順序を決定するステップと
を有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置及び撮像装置の制御方法に関するものである。
【背景技術】
【０００２】
従来、ＣＭＯＳを用いた撮像素子は、ローリングシャッター方式で読み出しを行っていた。しかし、ローリングシャッター方式で読み出しを行った場合、ライン毎に露光期間がずれてしまうため、動きのある被写体などを撮影した場合に、その露光期間のずれにより、撮影した被写体に歪みが生じてしまうという課題がある。
【０００３】
それに対し、全画素の露光期間にずれを無くしたグローバルシャッター方式の読み出しを行う撮像素子がある。グローバルシャッター方式を用いた撮像素子は、全画素のフォトダイオードを同時にリセットし、所定の露光期間を経た後、全画素同時に、フォトダイオードから撮像素子内部の保持部へ電荷を転送し、保持部に記憶された電荷を、行毎に順次読み出しを行う。この読み出し方法では、全画素の露光期間のタイミングが一致するため、ローリングシャッター方式のような動きのある被写体の歪みは生じない。
【０００４】
また、特許文献１は、フィールドシャッター機能とｋＴＣノイズキャンセル機能を同時に実現し得る固体撮像装置を開示している。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００２−０６４７５１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のグローバルシャッター方式では、先に読み出す上部の行よりも、後に読み出す下部の行の方が、保持部をリセットしてから読み出すまでの時間が長いため、保持部に起因する欠陥画素のレベルが大きくなってしまう。そのため、保持部に起因する欠陥画素が、下部の行の方に多く存在した場合、補正すべき画素が多くなってしまい、画質が劣化してしまうという課題がある。
【０００７】
本発明の目的は、欠陥画素を救済することができるようにすることである。
【課題を解決するための手段】
【０００８】
本発明の撮像装置は、行列状に配列され、各々が信号を出力する複数の画素と、前記複数の画素の行毎の読み出しを制御する制御部とを有し、前記複数の画素の各々は、光を電荷に変換する光電変換部と、前記光電変換部により変換された電荷を保持する保持部とを有し、前記制御部は、前記複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御する。
【発明の効果】
【０００９】
本発明によれば、欠陥画素を救済することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成例を示すブロック図である。
【図２】撮像素子における１画素の回路構成例を示す図である。
【図３】欠陥画素検出を示すフローチャートである。
【図４】撮像素子の読み出しタイミングを示す図である。
【図５】第１の欠陥画素データの一例を示す図である。
【図６】第２の欠陥画素データの一例を示す図である。
【図７】撮像素子の読み出しタイミングを示す図である。
【図８】読み出し順序を決定する処理を示すフローチャートである。
【図９】読み出し順序を決定する処理を示すフローチャートである。
【発明を実施するための形態】
【００１１】
（第１の実施形態）
図１は、本発明の第１の実施形態による撮像装置１００の構成例を示すブロック図である。撮像装置１００は、デジタルカメラ、ビデオカメラの他、スマートフォン、タブレット、工業用カメラ、医療用カメラ等に適用可能である。
【００１２】
レンズ１０１は、被写体の光学像を形成する撮影光学系であり、変倍に際して光軸方向に移動する変倍レンズ（ズームレンズ）と、焦点調節（合焦）に際して光軸方向に移動するフォーカスレンズとを有する。また、レンズ１０１は、入射光量を制御する絞りとＮＤを備えている。レンズ１０１は、光学像を形成する。
【００１３】
撮像素子１０２は、レンズ１０１が形成した光学像を電荷（電気信号）に光電変換する。撮像素子１０２は、行列状に配列された複数の画素を有し、グローバルシャッター方式で露光を行う。複数の画素の各々は、信号を出力する。映像信号処理部１０３は、撮像素子１０２が出力した信号を所定のフォーマットの映像信号に変換する。全体制御演算部１０４は、制御部であり、撮像装置１００全体を制御する。全体制御演算部１０４は、映像信号処理部１０３の出力信号を基に、適切な露出量を算出し、レンズ１０１内部にある絞りとＮＤ、撮像素子１０２のシャッタースピード、さらに映像信号処理部１０３でかけるゲインの値を制御する。ここでいうシャッタースピードとは、電子シャッターの露光時間のことであり、全体制御演算部１０４が撮像素子１０２に電荷の蓄積開始タイミングと電荷の読み出しタイミングを出力することによって制御する。
【００１４】
ＲＡＭ１０５は、全体制御演算部１０４の演算結果や映像信号処理部１０３の出力信号を一時的に記憶する。ＲＯＭ１０６は、欠陥画素データや種々の調整値を記憶する。記録媒体１０７は、ＤＶＤ、ハードディスク、不揮発性メモリなどである。外部Ｉ／Ｆ部１０８は、撮影した映像を外部のモニタやレコーダに出力したり、他の撮像装置やプレーヤから映像を入力したりできる。また、撮像装置１００は、外部Ｉ／Ｆ部１０８を介してコンピュータと接続し、コンピュータからインターネットを介して必要な情報を取得することができる。欠陥画素検出部１０９は、ＲＡＭ１０５に格納された画像情報を用いて、撮像素子１０２内の複数の画素の中の欠陥画素を検出し、欠陥画素データをＲＡＭ１０５及びＲＯＭ１０６に記憶する。欠陥画素補正部１１０は、欠陥画素検出部１０９で検出された欠陥画素データを用いて、欠陥画素を補正する。
【００１５】
図２は、撮像素子１０２における１画素の構成例を示す回路図である。撮像素子１０２は、行列状に配列された複数の画素を有する。複数の画素の各々は、図２の構成を有する。フォトダイオード（ＰＤ）２００は、光を電荷に変換する光電変換部であり、入射光に比例した電荷を発生させる。保持部（ＭＥＭ）２０１は、ＰＤ２００により変換された電荷を一時的に保持する容量である。フローティングディフュージョン（ＦＤ）２０２は、ＭＥＭ２０１から転送されてきた電荷を一時的に保持する。転送スイッチ２０３及び２０４は、トランジスタである。転送スイッチ２０３は、転送信号ＴＸＰに応じて、ＰＤ２００により変換された電荷をＭＥＭ２０１へ転送する。撮像素子１０２内の全画素の転送スイッチ２０３は、同時に電荷を転送する。転送スイッチ２０４は、転送信号ＴＸＭに応じて、ＭＥＭ２０１で保持している電荷をＦＤ２０２へ転送する。転送スイッチ２０４は、撮像素子１０２内の行列状の画素の行毎に順次、電荷を転送する。
【００１６】
リセットスイッチ２０５は、ＦＤ２０２の電荷をリセットするためのスイッチである。ソースフォロアアンプ２０６は、ＦＤ２０２の電荷を増幅し、信号を後段の回路へ出力する。行選択スイッチ２０７は、選択信号ＳＥＬに応じて、ソースフォロアアンプ２０６の出力信号を、垂直線２０８に出力する。
【００１７】
垂直線２０８は、行選択スイッチ２０７で選択されたソースフォロアアンプ２０６の出力を列アンプ２０９へ伝達する。垂直線２０８は、撮像素子１０２内の行列状の画素の各列に一本ずつ設けられ、同列の画素で共有して使用される。列アンプ２０９は、垂直線２０８の信号を増幅し、その増幅した信号をアナログデジタル変換回路（ＡＤＣ）２１０へ出力する。
【００１８】
アナログデジタル変換回路２１０は、列アンプ２０９の出力信号を、サンプルホールドした後、アナログからデジタルに変換する。アナログデジタル変換回路２１０は、映像信号とノイズ信号を別々のタイミングでアナログからデジタルに変換し、それぞれ別のメモリに一時的に格納する。その後、アナログデジタル変換回路２１０は、デジタルの映像信号からデジタルのノイズ信号を減算した後に、その減算した信号を後段の回路へ出力する。
【００１９】
第１の実施形態では、レベルの大きい欠陥画素が存在する行を優先して読み出しを行う例を示す。
図３は、第１の実施形態における欠陥画素検出処理を示すフローチャートである。ステップＳ３００では、全体制御演算部１０４は、撮像素子１０２を、ＭＥＭ２０１が原因の欠陥画素を検出するための駆動モードに変更する。次に、ステップＳ３０１では、欠陥画素検出部１０９は、撮像素子１０２内の行列状の複数の画素からＭＥＭ２０１が原因の欠陥画素を検出し、第１の欠陥画素データを生成する。次に、ステップＳ３０２では、欠陥画素検出部１０９は、第１の欠陥画素データを正規化し、第２の欠陥画素データを生成する。次に、ステップＳＳ３０３では、全体制御演算部１０４は、撮像素子１０２を所定の駆動モードに戻す。
【００２０】
図４は、図３のステップＳ３００におけるＭＥＭ２０１が原因の欠陥画素を検出する場合の撮像素子１０２の読み出しタイミングを示す図である。全体制御演算部１０４は、撮像素子１０２の複数の画素の行毎の読み出しを制御する。
【００２１】
時刻Ｔ４０１では、撮像素子１０２は、０行目からＮ行目までの全画素のＰＤ２００のリセットを解除し、全画素のＰＤ２００の電荷蓄積を開始させる。次に、時刻Ｔ４０２では、撮像素子１０２は、０行目からＮ行目までの全画素のＭＥＭ２０１のリセットを解除する。次に、時刻Ｔ４０３では、０行目からＮ行目までの全画素のＰＤ２００は、電荷蓄積を終了するが、転送スイッチ２０３は、ＰＤ２００からＭＥＭ２０１への電荷の転送は行わない。
【００２２】
次に、時刻Ｔ４０４では、０行目の画素において、転送スイッチ２０４は、ＭＥＭ２０１に保持されていた電荷をＦＤ２０２に転送し、行選択スイッチ２０７は、信号を垂直線２０８に出力する。
【００２３】
次に、時刻Ｔ４０５では、ｋ行目の画素において、転送スイッチ２０４は、ＭＥＭ２０１に保持されていた電荷をＦＤ２０２に転送し、行選択スイッチ２０７は、信号を垂直線２０８に出力する。
【００２４】
次に、時刻Ｔ４０６では、Ｎ行目の画素において、転送スイッチ２０４は、ＭＥＭ２０１に保持されていた電荷をＦＤ２０２に転送し、行選択スイッチ２０７は、信号を垂直線２０８に出力する。
【００２５】
ここで、時刻Ｔ４０２から時刻Ｔ４０３までの時間をｔＦＬとする。また、時刻Ｔ４０３から時刻Ｔ４０４までの時間をｔＭｄｉｆｆ（０）とする。また、時刻Ｔ４０３から時刻Ｔ４０６までの時間をｔＭｄｉｆｆ（Ｎ）とする。この場合、ｋ行目の画素のＭＥＭ２０１における電荷の保持時間ｔＭ（ｋ）は、以下の式で算出できる。
【００２６】
ｔＭ（ｋ）＝ｔＦＬ
＋（（ｔＭｄｉｆｆ（Ｎ）−ｔＭｄｉｆｆ（０））／Ｎ）×ｋ
＋ｔＭｄｉｆｆ（０）
【００２７】
図４の読み出し方法では、転送スイッチ２０３は、ＰＤ２００が原因の欠陥画素を誤検出しないために、ＰＤ２００からＭＥＭ２０１への電荷の転送を行わない。また、ＭＥＭ２０１が原因の欠陥画素を強調するために、時間ｔＦＬは可能な範囲で長くしておく。欠陥画素検出部１０９は、アナログデジタル変換回路２１０の出力信号を基に、ＭＥＭ２０１が原因の欠陥画素を検出することができる。
【００２８】
図５は、図３のステップＳ３０１で生成する第１の欠陥画素データの一例を示す図である。第１の欠陥画素データは、アドレス、レベル、種類の３つの要素で構成されている。アドレスは、画像における欠陥画素の座標情報であり、水平アドレスと垂直アドレスの２次元アドレスを用いてもよいし、画像の左上から数えた画素数の相対値である１次元アドレスを用いてもよい。レベルは、周囲画素のメディアン値もしくは平均値と、着目画素のレベル差の情報である。種類は、欠陥画素の種類であり、どのような特性を持った欠陥であるかといった情報である。例えば、種類は、ＰＤ２００が原因の欠陥画素はＫ１、ＭＥＭ２０１が原因の欠陥画素はＫ２、という情報である。ＰＤ２００が原因の欠陥画素の検出方法に関しては、公知であるので、説明を省略する。
【００２９】
図６は、図３のステップＳ３０２で生成する第２の欠陥画素データの一例を示す図である。第２の欠陥画素データは、図５の第１の欠陥画素データと同様に、アドレス、レベル、種類から構成されており、データ数も第１の欠陥画素データのものと同じである。第２の欠陥画素データのアドレスと種類は、第１の欠陥画素データのアドレスと種類と同じ情報である。第２の欠陥画素データのレベルのうち、種類がＫ１であるレベル値は、第１の欠陥画素データとレベルと同じ値である。第２の欠陥画素データのレベルのうち、種類がＫ２であるレベル値は、第１の欠陥画素データのレベルを正規化した値である。
【００３０】
第１の欠陥画素データにおけるレベルをＬｎ、正規化後の電荷保持時間をｔＲＥＦ、欠陥画素の垂直アドレスをＹｎとすると、正規化後のレベルＬｎ＿ＲＥＦは、以下の式で求められる。ステップＳ３０２で生成された第２の欠陥画素データは、ＲＡＭ１０５及びＲＯＭ１０６に記憶される。
Ｌｎ＿ＲＥＦ＝Ｌｎ×ｔＲＥＦ／ｔＭ（Ｙｎ）
【００３１】
図７は、撮影時の撮像素子１０２の読み出しタイミングを示す図である。全体制御演算部１０４は、撮像素子１０２の複数の画素の行毎の読み出しを制御する。時刻Ｔ７０１では、撮像素子１０２は、０行目からＮ行目までの全画素のＰＤ２００のリセットを解除し、全画素のＰＤ２００の電荷蓄積を開始させる。次に、時刻Ｔ７０２では、撮像素子１０２は、０行目からＮ行目までの全画素のＭＥＭ２０１のリセットを解除する。時刻Ｔ７０３では、０行目からＮ行目までの全画素において、転送スイッチ２０３は、ＰＤ２００からＭＥＭ２０１への電荷の転送を行い、ＰＤ２００の電荷蓄積を終了させる。
【００３２】
次に、時刻Ｔ７０４では、０行目の画素において、転送スイッチ２０４は、ＭＥＭ２０１に保持されていた電荷をＦＤ２０２に転送し、行選択スイッチ２０７は、信号を垂直線２０８に出力する。
【００３３】
次に、時刻Ｔ７０５では、ｋ行目の画素において、転送スイッチ２０４は、ＭＥＭ２０１に保持されていた電荷をＦＤ２０２に転送し、行選択スイッチ２０７は、信号を垂直線２０８に出力する。
【００３４】
次に、時刻Ｔ７０６では、Ｎ行目の画素において、転送スイッチ２０４は、ＭＥＭ２０１に保持されていた電荷をＦＤ２０２に転送し、行選択スイッチ２０７は、信号を垂直線２０８に出力する。
【００３５】
ここで、時刻Ｔ７０２から時刻Ｔ７０３までの時間をｔＦＳとする。また、時刻Ｔ７０３から時刻Ｔ７０４までの時間をｔＭｄｉｆｆ（０）とする。また、時刻Ｔ７０３から時刻Ｔ７０６までの時間をｔＭｄｉｆｆ（Ｎ）とする。この場合、ｋ行目の画素のＭＥＭ２０１における電荷の保持時間ｔＭｓ（ｋ）は、以下の式で算出できる。
【００３６】
ｔＭｓ（ｋ）＝ｔＦＳ
＋（（ｔＭｄｉｆｆ（Ｎ）−ｔＭｄｉｆｆ（０））／Ｎ）×ｋ
＋ｔＭｄｉｆｆ（０）
【００３７】
以上のように、全体制御演算部１０４は、図４の欠陥画素検出部１０９が欠陥画素を検出する時のＭＥＭ２０１の電荷蓄積期間ｔＭ（０）が、図７の撮影時のＭＥＭ２０１の電荷蓄積期間ｔＭｓ（０）より長くなるように制御する。また、図４及び図７において、複数の画素のＰＤ２００は、すべて、同時に電荷蓄積を開始し、同時に電荷蓄積を終了する。
【００３８】
図８は、第１の実施形態における読み出し順序を決定する処理を示すフローチャートである。ステップＳ８０１では、映像信号処理部１０３は、読み出し順序を表す変数ｋに、最初に読み出す行であることを示す値０を代入し、ステップＳ８０２へ進む。ステップＳ８０２では、映像信号処理部１０３は、第２の欠陥画素データの中で、選択されていないＭＥＭ２０１の欠陥画素データのうち、最もレベルの大きい欠陥画素データを選択し、ステップＳ８０３へ進む。
【００３９】
ステップＳ８０３では、映像信号処理部１０３は、選択された欠陥画素データが、読み出し順序が決定されていない行であるか否かを判定する。映像信号処理部１０３は、選択された欠陥画素データが、読み出し順序が決定されていない行である場合には、ステップＳ８０４へ進み、選択された欠陥画素データが、読み出し順序が決定されている行である場合には、ステップＳ８０７へ進む。
【００４０】
ステップＳ８０４では、映像信号処理部１０３は、選択された欠陥画素データの画素を含む行をｋ番目に読み出すと、選択された欠陥画素データの画素のレベルが所定値ＴＨ以下になるか否かを判定する。映像信号処理部１０３は、選択された欠陥画素データの画素を含む行をｋ番目に読み出しを行った場合のその画素のレベルＬｎ＿ｋを以下の式で算出する。
Ｌｎ＿ｋ＝Ｌｎ＿ＲＥＦ×ｔＭｓ（ｋ）／ｔＲＥＦ
【００４１】
ここで、Ｌｎ＿ＲＥＦは、第２の欠陥画素データのレベルである。ｔＭｓ（ｋ）は、ｋ番目に読み出した場合のＭＥＭ２０１の電荷の保持時間である。ｔＲＥＦは、正規化後の電荷保持時間である。ｔＭｓ（ｋ）は、ｋが小さいほど値が小さくなる、つまり、早く読み出しを行った方がＬｎ＿ｋは小さくなる。
【００４２】
所定値ＴＨは、欠陥画素として画質に影響のないレベルとする。Ｌｎ＿ｋ≦ＴＨであれば、その画素を補正しなくてよいが、Ｌｎ＿ｋ＞ＴＨであれば、その画素を補正する必要がある。ｋ番目に読み出すことにより、順序を変えない場合よりも欠陥画素レベルが小さくなったとしても、Ｌｎ＿ｋ＞ＴＨであれば、結局、欠陥画素補正部１１０が欠陥画素補正を行う必要があり、早く読み出す意味がなくなってしまう。そのため、この場合は、ｋ番目に読み出すことはしない。
【００４３】
ステップＳ８０４において、映像信号処理部１０３は、選択された欠陥画素データの画素のレベルが所定値ＴＨ以下になる場合には、ステップＳ８０５へ進み、選択された欠陥画素データの画素のレベルが所定値ＴＨより大きい場合には、ステップＳ８０７へ進む。
【００４４】
ステップＳ８０５では、映像信号処理部１０３は、選択されている欠陥画素データの画素が含まれる行をｋ番目に読み出す行として決定し、ステップＳ８０６へ進む。ステップＳ８０６では、映像信号処理部１０３は、読み出し順序を表す変数ｋに１を加算し、ステップＳ８０７へ進む。
【００４５】
ステップＳ８０７では、映像信号処理部１０３は、第２の欠陥画素データの中で、選択されていないＭＥＭ２０１の欠陥画素データがあるか否かを判定する。映像信号処理部１０３は、選択されていないＭＥＭ２０１の欠陥画素データがある場合には、ステップＳ８０２に戻り、選択されていないＭＥＭ２０１の欠陥画素データがない場合には、ステップＳ８０８へ進む。
【００４６】
ステップＳ８０８では、映像信号処理部１０３は、読み出し順序が決定していない行のうち、最も上の行をｋ番目に読み出す行として決定し、ステップＳ８０９へ進む。ステップＳ８０９では、映像信号処理部１０３は、読み出し順序を表す変数ｋに１を加算し、ステップＳ８１０へ進む。
【００４７】
ステップＳ８１０では、映像信号処理部１０３は、撮像素子１０２内の画素の全ての行に対して読み出し順序が決定したか否かを判定する。映像信号処理部１０３は、全ての行に対して読み出し順序が決定していない場合には、ステップＳ８０８に戻り、全ての行に対して読み出し順序が決定した場合には、処理を終了する。
【００４８】
映像信号処理部１０３は、上記の決定した読み出し順序をＲＡＭ１０５にデータとして書き込む。全体制御演算部１０４は、ＲＡＭ１０５内の読み出し順序に従い、撮像素子１０２の読み出しを制御する。撮像素子１０２は、上記の読み出し順序で、行単位で画素信号を読み出す。映像信号処理部１０３は、後段の回路で処理しやすいように、撮像素子１０２が読み出した画素信号の順序をＲＡＭ１０５上で並び替えてもよい。
【００４９】
以上のように、全体制御演算部１０４は、撮像素子１０２内の複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御する。欠陥画素は、ＭＥＭ２０１が原因の欠陥画素である。欠陥画素検出部１０９は、欠陥画素の周囲の画素の出力信号レベルに対する欠陥画素の出力信号レベルを検出する。そして、欠陥画素検出部１０９は、欠陥画素の周囲の画素の出力信号レベルに対する欠陥画素の出力信号レベルを、ＭＥＭ２０１が電荷を保持する期間が所定の期間である場合の出力信号レベルに正規化する。全体制御演算部１０４は、欠陥画素の周囲の画素の出力信号レベルに対する欠陥画素の出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように制御する。
【００５０】
ステップＳ８０４では、映像信号処理部１０３は、複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行う場合の、欠陥画素の出力信号レベルを算出する。そして、映像信号処理部１０３は、その算出した欠陥画素の出力信号レベルが第１の閾値より多い欠陥画素を除外し、複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行うように読み出し順序を決定する。その後、映像信号処理部１０３は、その算出した欠陥画素の出力信号レベルが第１の閾値より多い欠陥画素の読み出しを行うように読み出し順序を決定する。
【００５１】
また、映像信号処理部１０３は、複数の画素内の欠陥画素のうちの出力信号レベルが大きい欠陥画素が存在する行から順番に読み出しを行い、その後、欠陥画素が存在しない行の読み出しを行うように、読み出し順序を決定する。全体制御演算部１０４は、映像信号処理部１０３が決定した読み出し順序で、撮像素子１０２の読み出しを制御する。
【００５２】
以上、説明したように、第１の実施形態では、撮像装置１００は、レベルの大きい欠陥画素が存在する行を優先して先に読み出すことで、欠陥画素のレベルを低減することが可能である。また、行の読み出し順序を変えることにより、読み出し順序を変えない場合よりも、欠陥画素補正部１１０の補正対象となる欠陥画素が少なくなるため、補正することによる画質劣化を抑えることが可能である。
【００５３】
（第２の実施形態）
第２の実施形態では、補正の必要のない欠陥画素が最も多くなるように読み出しを行う例を示す。
【００５４】
図９は、第２の実施形態による読み出し順序を決定する処理を示すフローチャートである。ステップＳ９０１では、映像信号処理部１０３は、第２の欠陥画素データにおいて、ＭＥＭ２０１の欠陥画素が存在する行毎に、読み出す順序が何番目になった場合に、その行の欠陥画素のうちの何個の画素のレベルが所定のレベル以下になるかを算出する。
【００５５】
例えば、同じ行にＭＥＭ２０１の欠陥画素が３つ存在する場合、０〜Ａ番目に読み出せば３画素、（Ａ＋１）〜Ｂ番目に読み出せば２画素、（Ｂ＋１）〜Ｃ番目に読み出せば１画素、（Ｃ＋１）〜Ｎ番目に読み出せば０画素、のレベルが所定のレベル以下になる。映像信号処理部１０３は、このような画素の個数を算出する。
【００５６】
次に、ステップＳ９０２では、映像信号処理部１０３は、ＭＥＭ２０１の欠陥画素が存在する行に関して、所定のレベル以下になる欠陥画素の個数が全行合わせて最大となるように、読み出し順序を決定する。まず、映像信号処理部１０３は、ＭＥＭ２０１の欠陥画素が存在する行のみを読み出し、全ての組み合わせの読み出し順序に対して、ステップＳ９０１の情報を基に、それぞれ合計何個の欠陥画素が所定のレベル以下になるかを算出する。次に、映像信号処理部１０３は、そのうち、所定のレベル以下になる欠陥画素の個数の合計が最大となるものを、ＭＥＭ２０１の欠陥画素が存在する行の読み出し順序として決定する。
【００５７】
次に、ステップＳ９０３では、映像信号処理部１０３は、ＭＥＭ２０１の欠陥画素が存在しない行に関して、読み出し順序を決定する。例えば、映像信号処理部１０３は、撮像素子１０２の画素の行数が０〜Ｎ行あるとし、例えばステップＳ９０２で０〜Ｙ番目の行の読み出し順序が決定したとすると、残りの（Ｙ＋１）〜Ｎ番目の行の読み出し順序をステップＳ９０３で決定する。まず、映像信号処理部１０３は、ＭＥＭ２０１の欠陥画素が存在しない行の中で、最も上の行を（Ｙ＋１）番目に読み出す行として決定する。次に、映像信号処理部１０３は、残りの行の中で、最も上の行を（Ｙ＋２）番目に読み出す行として決定する。次に、映像信号処理部１０３は、残った行のうち、最も上の行を次に読み出す行として決定する方法を繰り返し、Ｎ番目までの行の順序を決定する。
【００５８】
映像信号処理部１０３は、上記の決定した読み出し順序をＲＡＭ１０５にデータとして書き込む。全体制御演算部１０４は、ＲＡＭ１０５内の読み出し順序に従い、撮像素子１０２の読み出しを制御する。撮像素子１０２は、上記の読み出し順序で、行単位で画素信号を読み出す。映像信号処理部１０３は、後段の回路で処理しやすいように、撮像素子１０２が読み出した画素信号の順序をＲＡＭ１０５上で並び替えてもよい。
【００５９】
本実施形態は、同一行に複数の欠陥画素が存在する場合を説明する。ステップＳ９０１では、映像信号処理部１０３は、欠陥画素が存在する行毎に、欠陥画素が存在する行の読み出し順番とその読み出し順番の場合のその行に存在する欠陥画素の出力信号レベルが第２の閾値以下になる欠陥画素の個数を算出する。ステップＳ９０２では、映像信号処理部１０３は、欠陥画素の出力信号レベルが第２の閾値以下になる欠陥画素の個数が全行合わせて最大となるように、欠陥画素が存在する行の読み出し順序を決定する。全体制御演算部１０４は、映像信号処理部１０３により決定された読み出し順序で、撮像素子１０２の読み出しを制御する。
【００６０】
以上、説明したように、第２の実施形態では、撮像装置１００は、同一の行に複数の欠陥画素があった場合などにも、レベルを低減できる欠陥画素の個数を考慮し、補正の必要のない欠陥画素が最も多くなるように行の読み出し順序を決定する。第２の実施形態は、欠陥画素の発生状況によっては、第１の実施形態よりも補正対象となる欠陥画素を少なくすることができ、補正することによる画質劣化を抑えることができる。
【００６１】
第１及び第２の実施形態によれば、グローバルシャッター方式を用いた撮像素子１０２のＭＥＭ２０１が原因の欠陥画素のレベルを低減することができる。
【００６２】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００６３】
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
【符号の説明】
【００６４】
１０２  撮像素子、１０３  映像信号処理部、１０４  全体制御演算部、１０９  欠陥画素検出部、２００  ＰＤ、２０１  ＭＥＭ、２０３  転送スイッチ
【図１】
2019121924.tif 000003
【図２】
2019121924.tif 000004
【図３】
2019121924.tif 000005
【図４】
2019121924.tif 000006
【図５】
2019121924.tif 000007
【図６】
2019121924.tif 000008
【図７】
2019121924.tif 000009
【図８】
2019121924.tif 000010
【図９】
2019121924.tif 000011