【手続補正書】
【提出日】平成27年12月18日(2015.12.18)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像を行って、時間的に連続するフレームの各々を構成する複数の画素の、画素毎の画素値を示す撮像信号を生成する撮像信号生成部と、
前記撮像信号生成部で生成された撮像信号に基づいて、前記連続するフレームの各々内において、当該フレーム内の画素を順次指定し、指定された画素について、同じフレーム内において、前記指定された画素の周辺に位置する画素のうち、前記指定された画素との画素値の相関性が高い画素を選択し、選択された画素の画素値と、前記指定された画素の画素値を加算して加算結果を当該指定された画素についての面内増感信号として出力する面内画素加算部と、
前記連続するフレームを順次注目フレームとして指定し、前記注目フレーム内の画素を順次注目画素として指定し、各注目画素について、当該注目フレームの近傍に位置する１又は２以上のフレームの各々から、前記注目画素と同じ位置及びその周辺に位置する画素の各々について、前記注目画素との前記面内増感信号の相関性を、相関有無判定閾値と比較判定し、該比較判定により相関が有ると判定された画素の中から相関性が高い画素を選択し、前記１又は２以上の近傍のフレームの各々から選択された画素についての前記面内増感信号と前記注目画素についての前記面内増感信号を加算して加算結果を三次元増感信号として出力する面間画素加算部と
を有する撮像装置。
【請求項２】
前記面内画素加算部は、
各々前記指定された画素とその周辺の画素で形成される、予め定められた複数の領域のうち、相互間の相関性が高い画素から成る領域を選択し、選択された領域内の画素の位置を示す加算画素位置情報と、選択された領域のパターンを示す加算画素パターン符号を出力する領域選択部と、
前記指定された画素の撮像信号について、前記領域選択部で選択された領域に含まれる画素の撮像信号を加算することで得られる加算結果を当該指定された画素についての面内増感信号として出力する選択加算部とを有し、
前記面間画素加算部は、
前記近傍のフレームのうちの少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素についての前記面内増感信号及び前記加算画素パターン符号と、前記注目画素についての前記面内増感信号及び前記加算画素パターン符号と、前記注目画素についての前記面内増感信号と注目画素以外の前記面内増感信号との相関有無を判別する相関有無判定閾値との比較の結果に基づいて、当該フレームから一つの画素を選択する
ことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記パターンは前記指定された画素及びその周辺の画素から成る領域の、前記指定された画素に対する相対的位置又は方位によって定義されるものであることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記パターンは前記指定された画素及びその周辺の画素から成る領域の、形状によっても定義されるものであることを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記面間画素加算部は、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の中に、前記相関有無判定閾値との比較結果により、前記注目画素との相関が有ると判定された画素が存在し、さらに前記注目画素と前記加算画素パターン符号が同じである画素が存在する場合には、前記加算画素パターン符号が一致する画素のうちで、前記注目画素と、前記面内増感信号の相関性が最も高い画素を選択し、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素のうち、前記相関有無判定閾値との比較結果により、前記注目画素との相関が有ると判定された画素が１つも存在しない場合、或いは前記注目画素と前記加算画素パターン符号が同じである画素が存在しない場合には、前記注目画素と同じ位置及びその周辺に位置する画素のうちで、前記注目画素と、前記面内増感信号の相関性が最も高い画素を選択する
ことを特徴とする請求項２から４のいずれか１項に記載の撮像装置。
【請求項６】
前記面内画素加算部は、
前記撮像信号生成部で生成された撮像信号を互いに異なる時間だけ遅延させて、前記指定された画素とその周辺の画素の画素値を表す信号を同時に抽出する画素抽出部をさらに有し、
前記領域選択部は、
前記画素抽出部で抽出された画素のうちの、前記指定された画素と、その周辺に位置する１又は２以上の画素とから成る組合せを複数個形成し、該複数個の組合せのうち、当該組合せを構成する画素の画素値の最大値と最小値の差が最小である組合せを、前記相互間の相関性が高い画素から成る領域を構成するものとして選択する
ことを特徴とする請求項２から５のいずれか１項に記載の撮像装置。
【請求項７】
前記面間画素加算部は、
前記面内画素加算部から出力された前記加算画素パターン符号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記加算画素パターン符号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記加算画素パターン符号を同時に抽出するパターン符号抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記加算画素パターン符号が前記注目フレームの前記注目画素についての前記加算画素パターン符号と同じか否かの判定を行うパターン判別部と
を備えることを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項８】
前記面間画素加算部は、
前記面内画素加算部から出力された前記面内増感信号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記面内増感信号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記面内増感信号を同時に抽出する面内増感信号抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記面内増感信号と前記注目フレームの前記注目画素についての前記面内増感信号と前記相関有無判定閾値との比較結果に基づいて当該フレーム内において、前記注目画素と同じ位置及びその周辺に位置する画素のうちのいずれかを選択する相関判別部と
を備えることを特徴とする請求項７に記載の撮像装置。
【請求項９】
前記面内画素加算部は、
前記面内増感信号と、前記加算画素パターン符号とを結合して、複合信号を生成して出力する信号結合部を有し、
前記面間画素加算部は、
前記面内画素加算部の前記信号結合部から出力された前記複合信号を互いに異なる時間だけ遅延させて前記注目フレームの前記注目画素についての前記複合信号と、前記近傍のフレーム内に位置し、前記注目画素と同じ位置及びその周辺に位置する画素についての前記複合信号を同時に抽出する抽出部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々ついての前記複合信号に含まれる前記加算画素パターン符号が前記注目フレームの前記注目画素についての前記複合信号に含まれる前記加算画素パターン符号と同じか否かの判定を行うパターン判別部と、
少なくとも前記注目フレームに隣接するフレームの各々内において、前記注目画素と同じ位置及びその周辺に位置する画素の各々についての前記複合信号に含まれる前記面内増感信号と前記注目フレームの前記注目画素についての前記複合信号に含まれる前記面内増感信号と前記相関有無判定閾値との比較結果と、前記パターン判別部での判定結果とに基づいて当該フレーム内において前記注目画素と同じ位置及びその周辺に位置する画素のうちのいずれかを選択する相関判別部と
を備えることを特徴とする請求項２から６のいずれか１項に記載の撮像装置。
【請求項１０】
前記近傍のフレームは、前記注目フレームに隣接するフレームのみならず、前記注目フレームから２フレーム以上離れたフレームをも含み、
前記パターン判別部は、
前記注目フレームから２フレーム以上離れたフレーム内の画素についての前記加算画素パターン符号が、当該フレームに対して前記注目フレーム側で隣接する他のフレームにおいて選択された画素についての前記加算画素パターン符号と一致するか否かの判定を行い、
前記相関判別部は、前記注目フレームから２フレーム以上離れたフレーム内の画素についての前記面内増感信号と、当該フレームに対して前記注目フレーム側で隣接する他のフレームにおいて選択された画素についての前記面内増感信号と前記相関有無判定閾値との比較結果と、前記パターン判別部での判定結果とに基づいて、当該フレーム内において、前記注目画素と同じ位置及びその周辺位置する画素のうちのいずれかを選択する
ことを特徴とする請求項８又は９に記載の撮像装置。
【請求項１１】
前記近傍のフレームは、
前記注目フレームに対して１フレーム期間前のフレーム及び１フレーム期間後のフレームの少なくとも一方を含む
ことを特徴とする請求項１から１０のいずれか１項に記載の撮像装置。
【請求項１２】
前記近傍のフレームは、
前記注目フレームに対して１フレーム期間前のフレームと、
前記注目フレームに対して２フレーム期間前のフレームと、
前記注目フレームに対して１フレーム期間後のフレームと、
前記注目フレームに対して２フレーム期間後のフレームとを含む
ことを特徴とする請求項１から１１のいずれか１項に記載の撮像装置。
【請求項１３】
前記面内画素加算部における画素値の加算、及び前記面間画素加算部における前記面内増感信号の加算の少なくとも一方は、増感倍率に基づいて定められた加算係数を用いた加重加算により行われ、
被写体の照度を表す照度情報を生成する照度情報生成部と、
前記照度情報に基づいて前記増感倍率を決定する制御部とをさらに備える
ことを特徴とする請求項１から１２のいずれか１項に記載の撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
なお、上記のように、同じ画素選択部５７０、変化幅算出部５７１〜５８２、及び最小値算出部５８５に、Ｇ画素を注目画素とする場合と、Ｒ画素又はＢ画素を注目画素とする場合とで異なる動作をさせる、或いはＲ画素又はＢ画素を注目画素とする場合に、出力された画素の一部を用いないこととする代わりに、Ｇ画素を注目画素とする場合の同じ画素選択部、変化幅算出部、及び最小値算出部と、Ｒ画素又はＢ画素を注目画素とする場合の画素選択部、変化幅算出部、及び最小値算出部とを別個に設けても良い。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１１２
【補正方法】変更
【補正の内容】
【０１１２】
画素加算部５９５は、画素選択部５９３から供給された４個の画素の画素値を加算して、加算の結果得られる値Ｐｅを面内増感信号ＶＡＬとして、出力端子６０６を介して信号結合部２４へ供給する。この加算に当たり、加算前の画素値に対して加算結果が所定の増感倍率Ｌａを有するように、加算係数（重み付け係数）が掛けられる。
例えば、４個の画素の画素値をＰｓ１、Ｐｓ２、Ｐｓ３、Ｐｓ４、増感倍率をＬａとすると、
Ｐｅ＝（Ｐｓ１＋Ｐｓ２＋Ｐｓ３＋Ｐｓ４）×Ｌａ／４
で表される演算により、面内増感信号（の値）Ｐｅを求める。以下の説明で、Ｇ画素についての面内増感信号（の値）はＧｅで、Ｒ画素についての面内増感信号（の値）はＲｅで、Ｂ画素についての面内増感信号（の値）はＢｅで示される。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１３４
【補正方法】変更
【補正の内容】
【０１３４】
１フレーム遅延部３１４から出力された信号ＭＩＸ（Ｆ４，Ｐ５５）は、２画素遅延部３３２０で遅延されて信号ＭＩＸ（Ｆ４，Ｐ３５）となる。また１ライン遅延部３２１５及び１画素遅延部３４０７で遅延されて信号ＭＩＸ（Ｆ４，Ｐ４４）となり、さらに２画素遅延部３３２１で遅延されて信号ＭＩＸ（Ｆ４，Ｐ２４）となる。
１ライン遅延部３２１５の出力は、１ライン遅延部３２１６で遅延されて信号ＭＩＸ（Ｆ４，Ｐ５３）となり、また、２画素遅延部３３２２で遅延されて信号ＭＩＸ（Ｆ４，Ｐ３３）となり、さらに２画素遅延部３３２３で遅延されて信号ＭＩＸ（Ｆ４，Ｐ１３）となる。
１ライン遅延部３２１６の出力は、１ライン遅延部３２１７及び１画素遅延部３４０８で遅延されて信号ＭＩＸ（Ｆ４，Ｐ４２）となり、さらに２画素遅延部３３２４で遅延されて信号ＭＩＸ（Ｆ４，Ｐ２２）となる。
１ライン遅延部３２１７の出力は、１ライン遅延部３２１８及び２画素遅延部３３２５で遅延されて信号ＭＩＸ（Ｆ４，Ｐ３１）となる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１４８
【補正方法】変更
【補正の内容】
【０１４８】
第１の画素選択部３５１のパターン判別部３６１は、図２０に示すように、第１乃至第９の判別部３６１１〜３６１９を有する。
第１の判別部３６１１は、図２１に示すように、信号分離部３６１１１と、判定部３６１１２を有する。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１８１
【補正方法】変更
【補正の内容】
【０１８１】
実施の形態２．
上記の実施の形態１では、面間画素加算に当たり、注目フレームＦ２に対して１フレーム離れた（１フレーム期間後及び１フレーム期間前の）フレームＦ１、Ｆ３と、２フレーム離れた（２フレーム期間後及び２フレーム期間前の）フレームＦ０、Ｆ４のいずれについても注目フレームＦ２の注目画素についての加算画素パターン符号ＰＡＴとの一致／不一致、及び注目フレームＦ２の注目画素についての面内増感信号ＶＡＬとの相関に基づいて加算対象画素を選択している。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０２１４
【補正方法】変更
【補正の内容】
【０２１４】
即ち、パターン判別部が、各フレーム（例えば注目フレームからｍフレーム（ｍは正の整数）離れたフレーム）内の画素についての加算画素パターン符号ＰＡＴが、当該フレームに対して注目フレーム側で隣接する他のフレーム（注目フレームから（ｍ−１）フレーム離れたフレーム）において選択された画素についての加算画素パターン符号ＰＡＴと一致するか否かの判定を行い、相関判別部が、当該フレーム（注目フレームからｍフレーム離れたフレーム）内の画素についての面内増感信号ＶＡＬと、当該フレームに対して注目フレーム側で隣接する他のフレーム（注目フレームから（ｍ−１）フレーム離れたフレーム）において選択された画素についての面内増感信号ＶＡＬとの相関性と、上記パターン判別部での判定結果とに基づいて、当該フレーム内において、注目画素位置及びその周辺位置する画素のうちのいずれかを選択することとすれば良い。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０２２２
【補正方法】変更
【補正の内容】
【０２２２】
検波部１５は、上記の検波において、全有効画素の画素値の総和を全有効画素数で除算することで信号振幅の平均レベルの検出値ＡＳＡを求める。
このような平均レベルの算出は、例えば垂直走査周期毎に行われ、例えば積分処理と割算処理とにより実行される。上記のようにして求められる信号振幅の平均レベルの「算出値」を、信号振幅の平均レベルの「検出値」とも言う。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２３９
【補正方法】変更
【補正の内容】
【０２３９】
ノイズレベルの検出値ＡＮＬは、ノイズ低減処理によりノイズ成分を抽出し、全有効画素範囲のノイズ成分の絶対値の総和を全有効画素数で除算することで求まる。ノイズ低減処理により、入力信号のノイズを低減したノイズ低減信号ＮＲＳが得られる。上記入力信号（映像信号処理部７内でノイズ低減処理を行う前の信号）から上記ノイズ低減信号ＮＲＳを減算することでノイズ成分を抽出できる。上記のようにして求められるノイズレベルの「算出値」を、「検出値」と言うことがある。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２４０
【補正方法】変更
【補正の内容】
【０２４０】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第１の所定のノイズ割合ＮＰＲ１は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御部１２ｂは、プログラマブル利得増幅部４に設定している利得、及び映像信号処理部７から制御部１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の上限値ＵＧＬを決めてプログラマブル利得増幅部４及び三次元画素加算部６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第１の所定のノイズ割合ＮＰＲ１に達する増幅利得を測定し、上記所定の上限値ＵＧＬとして、撮像装置の電源を切っても記憶内容を保持できる記憶部（不揮発性のメモリ、電池でバックアップされた揮発性のメモリなど）１６に書込み、制御部１２ｂは上記増幅利得の所定の上限値ＵＧＬを参照してプログラマブル利得増幅部４及び三次元画素加算部６を制御するようにしても良い。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２４２
【補正方法】変更
【補正の内容】
【０２４２】
用途によって被写体の視認にあたり許容できるノイズレベルは異なるため、上記第２の所定のノイズ割合ＮＰＲ２は、Ｓ／Ｎを重視するか、画像解像度を重視するか等、撮像装置の用途によって変わる。制御部１２ｂは、プログラマブル利得増幅部４に設定している利得、及び映像信号処理部７から制御部１２ｂへ供給されるノイズレベルの検出値ＡＮＬを観測しながらダイナミックに上記増幅利得の所定の下限値ＬＧＬを決めてプログラマブル利得増幅部４及び三次元画素加算部６を制御することとしても良く、撮像装置を工場から出荷する前にノイズレベルの検出値ＡＮＬが信号振幅の平均レベルの検出値ＡＳＡに対して第２の所定のノイズ割合ＮＰＲ２に達する増幅利得を測定し、上記所定の下限値ＬＧＬとして、撮像装置の電源を切っても記憶内容を保持できる記憶部１６に書込み、制御部１２ｂは上記増幅利得の所定の下限値ＬＧＬを参照してプログラマブル利得増幅部４及び三次元画素加算部６を制御するようにしても良い。
【手続補正１２】
【補正対象書類名】図面
【補正対象項目名】図１５
【補正方法】変更
【補正の内容】
【図１５】
2015035737.tif 000001