(57)【要約】【課題】撮像装置において、閃光によるフィールド内の明るさの不均一を緩和し、かつ動画として連続性を確保した映像を得る。【解決手段】被写体から入射する光信号を電気信号に変換して第１の映像信号を取得する撮像部と、第１の映像信号が閃光の影響を受けているか否かを検出する閃光検出部と、閃光検出部により第１の映像信号が閃光の影響を受けていると判断された場合、第１の映像信号に存在する閃光の影響を補正するノイズ除去部と、を備え、ノイズ除去部は、混合部と遅延部とを有し、遅延部は、混合部から出力される第２の映像信号を単位画像時間だけ遅延させて第３の映像信号として出力し、混合部は、第１の映像信号および第３の映像信号を所定の割合で混合し、所定の割合は、第１の映像信号が閃光の影響を受けていると判断された場合、第３の映像信号の割合を増加させると共に第１の映像信号の割合を減少させる。【選択図】図１
2010273079.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を有し、被写体から入射する光信号を電気信号に変換して第１の映像信号を取得し、出力する撮像部と、
前記第１の映像信号が閃光の影響を受けているか否かを検出する閃光検出部と、
前記閃光検出部により前記第１の映像信号が閃光の影響を受けていると判断された場合、前記第１の映像信号に存在する閃光の影響を補正するノイズ除去部と、
を備え、
前記ノイズ除去部は、混合部と遅延部とを有し、
前記遅延部は、混合部から出力される第２の映像信号を、前記第１の映像信号により形成される単位画像に相当する時間である単位画像時間だけ遅延させて第３の映像信号として出力し、
前記混合部は、前記第１の映像信号および前記第３の映像信号を所定の割合で混合し、
前記所定の割合は、前記第１の映像信号が閃光の影響を受けていると判断された場合、前記第３の映像信号の割合を増加させると共に前記第１の映像信号の割合を減少させる、
撮像装置。
【請求項２】
前記単位画像は、フィールド画像であり、
前記単位画像時間は、フィールド時間である、
請求項１に記載の撮像装置。
【請求項３】
前記加算部および前記選択部は、前記加算部及び前記選択部に入力される２つの映像信号の垂直位相が互いに０．５ラインずれているとき、どちらかの映像信号を０．５ライン分シフトして垂直方向の位相を合わせた上で信号を加算及び選択する、
請求項１から２のいずれかに記載の撮像装置。
【請求項４】
閃光の影響が終了した次のフィールドでは、閃光補正部から出力される映像信号を、撮像部から出力される映像信号とする、
請求項１から３のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、連続画像を撮像するデジタルカメラやビデオカメラなどの撮像装置に活用される技術であって、外部閃光による悪影響を緩和することができる撮像装置に関する。
【背景技術】
【０００２】
撮像装置（カメラ等）のフラッシュなどの外部閃光により、撮像装置により撮像（取得）される画像において、画面が急に明るくなりすぎることがある。このとき、ＣＣＤ型撮像素子（ＣＣＤ型イメージセンサ）を使用した撮像装置では、外部閃光による影響は、撮像画像の画面全体にほぼ一律に現れる。これは、ＣＣＤ型撮像素子の画素ごとに設けられたフォトダイオードから電荷をバッファとなるＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ）に送る動作が、全てのフォトダイオードで同時に行われるためである。
【０００３】
しかしながら、近年、撮像装置に搭載されるようになった、ＣＭＯＳ型撮像素子（ＣＭＯＳ型イメージセンサ）は、ＣＭＯＳ型撮像素子の画素ごとに設けられたフォトダイオードの電荷（蓄積電荷）を画面（撮像素子面）の上から順にバッファとなる部分に送る。このため、ＣＭＯＳ型撮像素子では、画面（撮像素子面）の上部に配置されているフォトダイオードにより蓄積された電荷がバッファに転送される期間と、画面（撮像素子面）の下部に配置されているフォトダイオードにより蓄積された電荷がバッファに転送される期間とにずれが生じる。
【０００４】
例えば、図４（ａ）に示すような期間に、フラッシュによる強い光がＣＭＯＳ型撮像素子に入ったとすると、図４（ａ）に示すように、このＣＭＯＳ型撮像素子により取得される撮像画像の画面の下の部分では、「フィールド２」が、画面の上の部分では、「フィールド３」が、それぞれ、フラッシュ光による影響を受ける。その結果、図４（ｂ）に示す通り、「フィールド２」では、撮像画像の画面の下だけが明るくなり、「フィールド３」では、撮像画像の画面の上だけが明るくなってしまう。そして、フラッシュの光は強い光なので、このような状況下では、その明るくなる部分が白く飛ぶことになり（いわゆる「白飛び」現象が発生し）、白い帯状になる（画像（映像上）に白い帯状の高輝度部分が発生する）ことが多い。
【０００５】
こうした映像に対し、特許文献１に開示されている技術（従来の撮像装置）では、映像を記録するときに、閃光による帯状の映像が含まれるフィールドを記録せず、代わりに帯状の映像の影響を受けていない前後の映像を記録するようにしている。例えば、図４（ｂ）に示すような映像（画像）の場合、従来の撮像装置では、「フィールド２」の映像（画像）と「フィールド３」の映像（画像）の代わりに、「フィールド１」の映像（画像）を記録する。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３０６２２５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、従来の方法では、静止画を撮影する場合は良いが、動画を撮影する場合、閃光の影響により置き換えられた箇所で映像が不連続になりぎこちなさが生じる。また、従来の方法により撮像した映像では、閃光が入った映像が残らないため、閃光の有無もわからない。従来の撮像装置により、実際に閃光があったシーンを撮像する場合、現実には、閃光があったにも関わらず、撮像映像では閃光が存在しないため、現実のシーンを忠実に再現していないことになる。
【０００８】
本発明は、上記従来の課題を解決するもので、外部閃光による明るい横帯のある不自然な画面（撮像画像）を緩和し、閃光が入ったかどうかもわかるようにし、動画として連続性を確保した画像（映像）を出力する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
第１の発明は、撮像素子を有し、被写体から入射する光信号を電気信号に変換して第１の映像信号を取得し、出力する撮像部と、
前記第１の映像信号が、閃光の影響を受けているか否かを検出する閃光検出部と、
前記閃光検出部により、前記第１の映像信号が、閃光の影響を受けていると判断された場合、前記第１の映像信号に存在する閃光の影響の補正とノイズの除去を行い、閃光の影響を受けていないと判断されたときは、前記第１の映像信号からノイズの除去を行うノイズ除去部と、
を備え、
前記ノイズ除去部は、混合部と遅延部を有し、
前記遅延部は、混合部から出力される第２の映像信号を、前記第１の映像信号により形成される単位画像に相当する時間である単位画像時間だけ遅延させて出力し、
前記混合部は、前記第１の映像信号および前記遅延部から出力された第３の映像信号を所定の割合で混合し、
前記所定の割合は、前記第１の映像信号が閃光の影響を受けていると判断された場合、前記第３の映像信号の割合を増加させ、同時に増加させた分だけ、前記第１の映像信号の割合を減少させる。
【００１０】
この撮像装置では、上記構成により、その画面の一部（例えば、画面上部または画面下部）において閃光の影響を受けて明るくなっている単位画像（例えば、フィールド画像やフレーム画像）を検出し、当該単位画像を、閃光の影響を受けて明るくなっている画像領域（例えば、画面上部または画面下部）を用いて補正することができる。その結果、この撮像装置により取得される映像において、閃光の影響が不自然に発生することを緩和することができる。
【００１１】
これにより、この撮像装置では、外部閃光による明るい横帯のある不自然な画面を緩和し、また、閃光が撮像装置に入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像（画像）を得ることができる。
【００１２】
なお、「処理対象となっている単位画像において、前記画面の下部（上部）に相当する期間」とは、例えば、「単位画像」を「フィールド画像」とした場合、現在、撮像装置が処理対象としているフィールド画像において、そのフィールド画像の画面の下部（上部）を形成する映像信号が、撮像装置において処理対象となる時間（期間）のことをいう。
【発明の効果】
【００１３】
本発明によれば、外部閃光による明るい横帯のある不自然な画面を緩和し、また、閃光が入ったかどうかも分かるようにしつつ、動画として連続性を確保した映像（画像）を得ることができる撮像装置を実現することができる。
【図面の簡単な説明】
【００１４】
【図１】実施形態の撮像装置１のブロック図
【図２】実施形態のノイズ除去部１０３のブロック図
【図３】実施形態の各部の映像の様子を示す図
【図４】ＣＭＯＳ型撮像素子を使用したときに閃光が入ったときの例を示す図
【図５】閃光の影響を無視してノイズ除去を実施したときの各部の映像の様子を示す図
【発明を実施するための形態】
【００１５】
以下、実施形態について、図面を参照しながら説明する。
【００１６】
＜１．１：撮像装置の構成＞
図１に、実施形態にかかる撮像装置１のブロック図（概略構成図）を示す。
【００１７】
なお、以下では、説明の便宜のため、フィールド単位での処理について説明する。
【００１８】
図１に示すように、撮像装置１は、被写体を撮像して映像信号ＶＩを生成する撮像部１０１と、撮像部１０１で生成した映像信号ＶＩから外部閃光の有無をフィールド単位で検出し、検出結果の情報を含む閃光検出信号ＦＤを生成するする閃光検出部１０２と、閃光検出部１０２により生成された閃光検出信号ＦＤに従って外部閃光の影響を受けた撮像部１０１の出力映像信号ＶＩを補正して映像信号ＶＯを出力するノイズ除去部１０３と、を備える。
【００１９】
撮像部１０１は、例えば、ＣＭＯＳ型撮像素子（ＣＭＯＳ型イメージセンサ等）を含み、被写体からの光を集光し、集光した光を光電変換することにより映像信号ＶＩとして取得する。撮像部１０１は、取得した映像信号ＶＩを閃光検出部１０２およびノイズ除去部１０３に出力する。
【００２０】
閃光検出部１０２は、撮像部１０１から出力される映像信号ＶＩを入力とし、映像信号ＶＩから外部閃光の影響の有無を検出し、外部閃光の影響があるときは「１」を、ないときは「０」となる信号ＦＤをライン単位で生成する。ここで、検出方法については本発明の主とするところではないので詳細な説明は省略するが、例えば次のように構成することができる。閃光検出部１０２は、入力された映像信号ＶＩに対して、各ラインの平均輝度レベルを計算し、入力された信号の各ラインの平均輝度レベルが大幅に増加した場合、増加したライン以降のラインについて外部閃光の影響があると判断する。例えば、平均輝度レベルが１００％以上増加した場合、閃光検出部１０２は、フラッシュのような外部閃光が検出されたと判定し、ライン単位で閃光検出信号ＦＤとして「１」を出力する。一方、外部閃光を検出していない場合、閃光検出部１０２は、閃光検出信号ＦＤとして「０」を出力する。そして、閃光検出部１０２は、生成した閃光検出信号ＦＤをノイズ除去部１０３に出力する。
【００２１】
ノイズ除去部１０３は、撮像部１０１から出力される映像信号ＶＩと、閃光検出部１０２から出力される閃光検出信号ＦＤと、を入力として、閃光検出信号ＦＤに基づいて、映像信号ＶＩに対して、閃光補正処理及びノイズ除去処理を行い、閃光補正処理及びノイズ除去がなされた映像信号ＶＯを出力する。
【００２２】
図２に示すように、ノイズ除去部１０３は、混合部２０１と、遅延部２０２と、を有する。
【００２３】
遅延部２０２は、混合部２０１から出力された映像信号ＶＯを１フィールド遅延させた映像信号ＶＲを生成し、混合部２０１に出力する。
【００２４】
混合部２０１は、映像信号ＶＩと映像信号ＶＲとを先行検出信号ＦＤに基づいて決められた比率で混合する。閃光検出信号ＦＤが「０」のときは、映像信号ＶＩに対する映像信号ＶＯの比率を低くして混合し、閃光検出信号ＦＤが「１」のときは、映像信号ＶＩに対する映像信号ＶＯの比率を高くして混合する。本実施形態では、閃光検出信号ＦＤが「０」のときは、映像信号ＶＩと映像信号ＶＯを３対１の比で混合し、閃光検出信号ＦＤが「１」のときは、映像信号ＶＩと映像信号ＶＯを１対３の比で混合する。
【００２５】
＜１．２：撮像装置の動作＞
以上のように構成された撮像装置１について、その動作を、図３を併用し説明する。
【００２６】
図３は、図４（ａ）に示すタイミングで閃光が、撮像装置１に入射した場合の映像信号ＶＩ、ＶＲ、ＶＯ、および、閃光検出信号ＦＤの関係を、時間軸を合わせて示す図であり、それぞれにより形成される画像（映像）における閃光の影響の様子を模式的に示している。図３で、フィールドＮ（Ｎは整数）のＶＩの信号をＶｉｎＮと表現している。
【００２７】
また、図５は、閃光の影響を考慮せず、ノイズ除去の処理だけを実施した場合の映像信号ＶＩ、ＶＲ、ＶＯ、および、閃光検出信号ＦＤの関係を、時間軸を合わせて示す図である。
【００２８】
まず、撮像部１０１では、撮像部１０１に含まれるレンズを通して、ＣＭＯＳ型撮像素子に入った光学像（被写体からの光）が電気信号に変換される。その電気信号に対して、Ａ／Ｄ変換を行い、さらに、ホワイトバランスなどの処理が行われることで生成（取得）された信号は、映像信号ＶＩとして、撮像部１０１から閃光検出部１０２およびノイズ除去部１０３に出力される。
【００２９】
そして、この映像（映像信号ＶＩにより形成される映像）に対して、図４に示すようなタイミングで閃光が入ると、図３に示したＶＩのような映像（フィールド画像）になる。すなわち、閃光が入ったとき、「フィールド２」の上部は、既に映像信号として出力された後なので（「フィールド２」の上部に相当する部分の映像（画像）を形成する映像信号を生成するための蓄積電荷（撮像部１０１のＣＭＯＳ型撮像素子の画素に蓄積される電荷）は、（閃光の前に）既に、撮像部１０１のＣＭＯＳ型撮像素子から読み出されているので）、閃光の影響を受けておらず、通常の映像となる。一方、「フィールド２」の下部は、閃光により明るくなって、図３のＶＩの「フィールド２」すなわちＶｉｎ２に示すような映像になる。これは、「フィールド２」の下部に相当する部分の映像（画像）を形成する映像信号を生成するための蓄積電荷（撮像部１０１のＣＭＯＳ型撮像素子の画素に蓄積される電荷）が、閃光があった後に、撮像部１０１のＣＭＯＳ型撮像素子から読み出されるからである。そして、「フィールド３」は、閃光が入っている間にフィールドの上部の映像が生成されるので（「フィールド３」の上部に相当する部分の映像（画像）を形成する映像信号を生成するための蓄積電荷（撮像部１０１のＣＭＯＳ型撮像素子の画素に蓄積される電荷）は、閃光があった後に、撮像部１０１のＣＭＯＳ型撮像素子から読み出されるので）、「フィールド３」のフィールド上部は、明るい映像になり、「フィールド３」のフィールド下部の映像が生成されるときには、閃光がなくなっているので、「フィールド３」のフィールド下部は、閃光の影響を受けることなく通常の映像となり、図３のＶＩの「フィールド３」すなわちＶｉｎ３に示すような映像になる。
【００３０】
この映像信号ＶＩに基づいて、閃光検出部１０２により、図３に示すように、閃光の影響を受けている期間、すなわち、フィールド２の下部とフィールド３の上部で「１」になり、それ以外で「０」になる閃光検出信号ＦＤが生成される。
【００３１】
（１．２．１：ノイズ除去部１０３の動作）
次に、図３の「フィールド１」から「フィールド５」までの映像信号ＶＩが、ノイズ除去部１０３に入力されたときの動作について、説明する。なお、ここで、「フィールド１」の前のフィールドの映像を「フィールド０」とし、「フィールド０」では外部閃光の影響はないものとする。また、閃光の影響がないときの映像信号の輝度レベルを２０とし、閃光の影響があるときに映像信号の輝度レベルを１００とする。
【００３２】
（「フィールド１」のとき）：
映像信号ＶＩが「フィールド１」のときは、閃光の影響はなく、閃光検出信号ＦＤの値が常に「０」なので、混合部２０１では、映像信号ＶＩと映像信号ＶＲとが３対１の比率で混合される。すなわち（映像信号ＶＲ＋映像信号ＶＩ×３）／４の演算が行われる。
【００３３】
ここで、遅延部２０２の出力である映像信号ＶＲは、１フィールド前の映像信号が出力されるので、図３に示すように、「フィールド０」のＶＯすなわちＶｏｕｔ０となる。従って、フィールド１のときのＶＯであるＶｏｕｔ１は、（Ｖｏｕｔ０＋Ｖｉｎ１×３）／４となる。そして、このＶｏｕｔ１は遅延部２０２に入力され、次のフィールドの映像信号ＶＲとなる。
【００３４】
（「フィールド２」のとき）：
次のフィールドでは、「フィールド２」、すなわち、図３に示すようにフィールドの下部が閃光の影響で明るくなった映像が入力される。このとき、フィールドの上部では閃光の影響がないので、閃光検出信号ＦＤの値は「０」であり、「フィールド１」のときと同じ動作になる。従って、遅延部２０２の出力である映像信号ＶＲはＶｏｕｔ１となり、混合部２０１の出力である映像信号ＶＯは、（Ｖｏｕｔ１＋Ｖｉｎ２×３）／４となり、ノイズ除去部１０３としての出力にもなり、同時に遅延部２０２へ入力される。
【００３５】
そして、フィールドの下部では閃光の影響があるので、閃光検出信号ＦＤの値は「１」である。このとき、遅延部２０２の出力である映像信号ＶＲはＶｏｕｔ１であるが、混合部２０１の出力である映像信号ＶＯは、（Ｖｏｕｔ１×３＋Ｖｉｎ２）／４となり、ノイズ除去部１０３としての出力にもなり、同時に遅延部２０２へ入力される。ここで、信号の値としては、フィールド上部は２０、フィールド下部は（２０×３＋１００）／４なので、４０となり、映像信号ＶＯの下部が少し明るくなる。これは、図５に示すように、閃光の影響を考慮せずに、（Ｖｏｕｔ１＋Ｖｉｎ２×３）／４の演算をした場合、（２０＋１００×３）／４すなわち、８０になる場合に比べ、急な明るさの変化が抑えられている。
【００３６】
（「フィールド３」のとき）：
次のフィールドでは、「フィールド３」、すなわち、図３に示すようにフィールドの上部が閃光の影響で明るくなった映像が入力される。このとき、フィールドの上部では閃光の影響があるので、閃光検出信号ＦＤの値は「１」である。そして、遅延部２０２の出力である映像信号ＶＲはＶｏｕｔ２であり、フィールドの上部では、閃光の影響がないときの映像信号になるので、信号の値は２０であり、フィールドの下部は信号の値が４０となる。このＶｏｕｔ２に対して、混合部２０１の出力である映像信号ＶＯは、（Ｖｏｕｔ２×３＋Ｖｉｎ３）／４となり、ノイズ除去部１０３としての出力にもなり、同時に遅延部２０２へ入力される。ここで、信号の値としては、フィールド上部は（２０×３＋１００）／４なので、４０となり、映像信号ＶＯの上部が少し明るくなる。これは、図５に示すように、閃光の影響を考慮せずに、（Ｖｏｕｔ２＋Ｖｉｎ３×３）／４の演算をした場合、（２０＋１００×３）／４すなわち、８０になる場合に比べ、急な明るさの変化が抑えられている。
【００３７】
そして、フィールドの下部では閃光の影響がないので、閃光検出信号ＦＤの値は「０」であり、動作としてはフィールド１のときと同じになる。しかし、遅延部２０１の出力である映像信号ＶＲの値が８０なので、混合部２０２では、（Ｖｏｕｔ２＋Ｖｉｎ３×３）／４、すなわち、（４０＋２０×３）／４の演算が行われ、信号の値が２５である映像信号ＶＯを得る。ここでも、図５に示すように、閃光の影響を考慮せずに、（Ｖｏｕｔ２＋Ｖｉｎ３×３）／４の演算をした場合、（８０＋２０×３）／４すなわち、３５になる場合に比べ、急な明るさの変化が抑えられている。
【００３８】
（「フィールド４」のとき）：
さらに次のフィールドでは、図３に示すような「フィールド４」の映像信号が入力される。このとき、閃光検出信号ＦＤの値は、「０」なので、「フィールド１」が入力されるときと同じ動作になるので、詳細な説明は省略する。但し、前のフィールドの信号である遅延部２０２からの出力に閃光の影響が残っているために、フィールド上部では、（４０＋２０×３）／４すなわち、２５となり、フィールド下部では、（２５＋２０×３）／４すなわち、２１となる。
【００３９】
（「フィールド５」のとき）：
さらに次のフィールドでは、図３に示すような「フィールド５」の映像信号が入力される。このとき、閃光検出信号ＦＤの値は、「０」なので、「フィールド１」が入力されるときと同じ動作になるので、詳細な説明は省略する。但し、前のフィールドの信号である遅延部２０２からの出力に閃光の影響が残っているために、フィールド上部では、（２５＋２０×３）／４すなわち、２１となり、フィールド下部では、（２１＋２０×３）／４すなわち、２０となり、閃光の影響がフィールド４に比べ少なくなっている。
【００４０】
そして、以降のフィールドでも同様の処理がなされ、閃光の影響は徐々になくなり、フィールド５の２フィールド先になくなる。
【００４１】
以上の動作により、撮像装置１では、撮像して得た映像信号に閃光の影響があるとき、前のフィールドの信号を多く加算することで、フィールドに不均一に現れる閃光の影響を緩和することができる。図３の映像信号ＶＩのように「フィールド２」でフィールドの下部が、「フィールド３」でフィールドの上部が、それぞれ、閃光の影響で明るい映像になっていた映像信号を、図３の出力映像信号ＶＯのように、映像信号ＶＩの「フィールド２」および「フィールド３」に相当するところで、明るい映像になり、閃光が入ったことがわかり、なおかつ、閃光の影響を無視した場合（図５）に比べると、閃光の影響が緩和された映像信号を得ることができる。
【００４２】
なお、撮像部１０１で生成される映像信号が、インターレースの形式のときには、図２の混合部２０１で映像信号を混合するとき映像信号ＶＩの方を０．５ライン分垂直方向にシフトして映像信号ＶＲと垂直のフィールドの位置が同じになるように補正してから加算する。このとき、何タップかの垂直方向のＦＩＲフィルタにて０．５ライン分のシフトを実現するので、上記で説明した場合とは遅延量が変わることになるが、遅延部２０２から映像信号ＶＲを読み出すタイミングを変えることで調整すれば良い。
【００４３】
また、本実施形態では、撮像装置１において、閃光が入ったかどうかを判断するための情報として映像信号ＶＩを使用したが、これに限定されることはなく、例えば、閃光そのものを検出する専用のセンサーを撮像装置１に設け、撮像装置１では、そのセンサーから得られる信号で閃光検出信号ＦＤを生成するようにしても良い。
【００４４】
≪変形例≫
また、閃光の影響が終わった次のフィールド（フィールド４）だけ、閃光の影響が残らないように、映像信号ＶＩをそのまま映像信号ＶＯとしても良い。
【産業上の利用可能性】
【００４５】
本発明にかかる撮像装置は、外部閃光による高輝度の横帯が撮像した映像（画像）に発生するのを防止し、かつ、動画として連続性を確保した画像（映像）を出力することが可能になるため、連続画像を撮像するデジタルカメラやビデオカメラなどに有用である。
【符号の説明】
【００４６】
１  撮像装置
１０１  撮像部
１０２  閃光検出部
１０３  ノイズ除去部
２０１  混合部
２０２  遅延部
【図１】
2010273079.tif 000003
【図２】
2010273079.tif 000004
【図３】
2010273079.tif 000005
【図４】
2010273079.tif 000006
【図５】
2010273079.tif 000007