(57)【要約】【課題】巡回型のノイズリダクション回路を持ち、加算平均した映像信号を使用することを前提とし、加算平均するフレーム数に応じて巡回係数を変更することができる撮像装置を提供する。【解決手段】撮像部１０２により出力された第１のフレームレートの信号を複数に分岐する信号処理部１０６を備える。また、分岐された第１のフレームレートの信号の一部または複数を加算平均して、表示部１１４のフレームレートである第２のフレームレートの信号を生成する加算平均回路１０９を備える。また、第１のフレームレートの信号と第２のフレームレートの信号のそれぞれに対応し、ノイズを低減するＮＲ回路Ａ１０８、ＮＲ回路Ｂ１１０を備える。【選択図】図１
2010147774.tif 000002
【特許請求の範囲】
【請求項１】
露光された光を電気信号に変換する変換手段と、
前記変換手段により変換された前記電気信号を第１のフレームレートで出力する出力手段と、
前記出力手段により出力された第１のフレームレートの信号を複数に分岐する分岐手段と、
前記分岐手段により分岐された前記第１のフレームレートの信号の一部または複数を加算平均して、前記第１のフレームレートよりも低速な第２のフレームレートの信号を生成する加算平均手段と、
前記第１のフレームレートの信号と前記第２のフレームレートの信号のそれぞれに対応した異なるノイズ低減処理を実行する巡回型の低減手段と、
を備えることを特徴とする撮像装置。
【請求項２】
露光された光を電気信号に変換する変換手段と、
前記変換手段により変換された前記電気信号を第１のフレームレートで出力する出力手段と、
前記出力手段により出力された信号を複数に分岐する分岐手段と、
前記分岐手段により分岐された信号の一部または複数を加算平均する加算平均手段と、
前記分岐手段により分岐された信号と前記加算平均手段により加算平均された信号のそれぞれに異なるノイズ低減処理を実行する巡回型の低減手段と、
を備えることを特徴とする撮像装置。
【請求項３】
露光された光を電気信号に変換する変換手段と、
前記変換手段により変換された前記電気信号を第１のフレームレートで出力する出力手段と、
前記出力手段により出力された第１のフレームレートの信号を記録する記録手段と、
再生時に前記第１のフレームレートの信号を加算平均する加算平均手段と、
前記加算平均手段により加算平均された信号のノイズを低減する巡回型の低減手段と、
加算平均されるフレーム数に応じて巡回係数を変更しながら前記第１のフレームレートよりも低速な第２のフレームレートで再生する再生手段と、
を備えることを特徴とする撮像装置。
【請求項４】
前記第１のフレームレートは表示装置のフレームレートより高い第１のフレームレートであることを特徴とする請求項１〜３のいずれかに記載の撮像装置。
【請求項５】
前記第２のフレームレートは表示装置のフレームレートである第２のフレームレートであることを特徴とする請求項１、３、及び４のいずれかに記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置に関し、特に、表示装置のフレームレートより高いフレームレートで出力される信号を記録、再生する際のノイズの低減（リダクション）手法に特徴のある撮像装置に関する。
【背景技術】
【０００２】
近年、表示装置のフレームレート（第２のフレームレート）より高いフレームレート（第１のフレームレート）で映像信号を記録することができるデジタルビデオカメラ（撮像装置）が提案されている。
【０００３】
このデジタルビデオカメラにおいては、第１のフレームレートで撮影した映像を記録しておき、再生時には第２のフレームレートで再生を行う。従って、従来のスロー再生のようにフレームを間引くことがなく、表示装置のフレームレートの映像を表示している状態でスロー映像となるため、高画質なスロー再生映像を得ることができる。
【０００４】
フレームレートの異なる映像を記録する技術が、特許文献１に提案されている。
【０００５】
特許文献１では、３０フレームよりも高いフレームレートの映像信号が撮影可能なカメラにおいて、複数のメモリを備え、高いフレームレートで出力される映像の中で、３０フレーム毎の出力を記録するメモリと、それ以外の出力を記録するメモリを備える。
【０００６】
そして、通常の再生は３０フレーム毎の映像を記録しているメモリからの出力を再生する。スロー再生時には複数のメモリに記録している信号を撮影された順序で再生する。
【０００７】
しかしながらこの技術では、高いフレームレートで撮影した映像出力の１フレームを抜き出して、３０フレームでの再生の１フレームとしているため、３０フレームの映像は高速シャッターのように露光時間が途切れた映像になる。また露光時間が短くなり、感度が悪くなる。
【０００８】
そこで、高いフレームレートの出力信号を加算平均し、表示装置のフレームレートに変換することが考えられる。
【０００９】
図３は、撮像装置における加算平均回路の処理の概念図である。
【００１０】
表示装置のフレームレートが３０フレーム、撮像素子からの信号出力のフレームレートが１２０フレームであったとする。撮像素子の出力であるフレームレートが１２０の時の１フレームの映像信号３０１は、図に示すように、１／１２０［ｓ］毎に出力される。
【００１１】
表示装置のフレームレートに合わせるために、１２０フレームで得られた信号の４フレームを加算平均し、フレームレートが３０の時の１フレームの映像信号３０２を生成する。
【００１２】
このようにすれば、フレームレートが１２０の時の４フレームの映像信号を使用してフレームレートが３０の映像信号を作っているため、撮像素子の出力のフレームレートが３０の時と同等の映像信号を得ることができる。
【特許文献１】特開２００７−１０４５８４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
加算平均を行う画像信号に相関がなければ、加算平均を行うとノイズは一様に低減する。例えば、画素信号をＸｎとする。ＸｎのノイズをＮとする。例えば、４フレームの加算平均である場合、４フレームの映像信号Ｘｎ、Ｘｎ＋１、Ｘｎ＋２、Ｘｎ＋３は独立でそれぞれのノイズはＮであるため、４フレームの加算平均を行うとノイズ量Ｎ′は、
【００１４】
【数１】
2010147774.tif 000003
となり、ノイズ量は半分になる。
【００１５】
しかしながら、巡回型のノイズリダクション（巡回型ＮＲ）のような、フレーム間に相関を持たせるような信号処理を行った信号は互いに独立ではなくなるため、４フレームの加算平均を行っても一様にノイズ量が半分とならない。
【００１６】
図４は、従来例に係る撮像装置の巡回型ＮＲ回路の構成図である。
【００１７】
フレームメモリ４０１は、１フレーム前の信号を記憶している。入力をＸｎ、巡回係数をＫとすると、出力Ｙｎは以下の式で表される。
【００１８】
【数２】
2010147774.tif 000004
Ｘｎのノイズ成分はＮであるので、Ｙｎのノイズ量Ｎ″は
【００１９】
【数３】
2010147774.tif 000005
となる。一方、Ｙｎの４フレームを加算平均したときのノイズ量Ｎ'''は
【００２０】
【数４】
2010147774.tif 000006
【００２１】
となる。巡回型ＮＲ回路を通った信号は元信号に対して式（３）に示すように、ノイズを抑圧される。この信号が第１のフレームレートの信号として使用される。
【００２２】
一方、この信号の４フレーム加算平均した信号は、式（４）に示すように、ノイズを抑圧する。この信号が第２のフレームレートの信号として使用される。
【００２３】
図５は、図４の巡回型ＮＲ回路における巡回係数とノイズ比の関係を示す図である。
【００２４】
２つの波形は、元信号に対する巡回型ＮＲの出力のノイズ比（第１のフレームレート）と元信号に対する巡回型ＮＲ処理と加算平均処理を行った信号のノイズ比（第２のフレームレート）を示す。横軸は巡回係数、縦軸は元信号に対するノイズ比を示す。
【００２５】
上述したように、第２のフレームレートのノイズ比は第１のフレームレートのノイズ比に対して、４フレーム加算平均している分、小さくなっているが、巡回係数が大きくなるに従い差が小さくなっている。
【００２６】
照度が低くなった際、ノイズを低減するために巡回係数Ｋを大きくする場合、または巡回係数を最適化する際等、巡回係数を変更した場合、加算平均している信号としていない信号ではノイズの低減の変化が異なり、両方の信号に対して最適化することが難しい。
【００２７】
一方、動解像度は次のような違いが生じる。ある画素の信号がＳ１からＳ２に変化したとする。つまり巡回型ＮＲ回路の入力信号ＸｎがＳ１からＳ２に変化したとする。ノイズを無視して考えると、出力信号Ｙｎは式（２）より
【００２８】
【数５】
2010147774.tif 000007
【００２９】
となる。式（５）を見て分かるように、入力信号ＸｎがＳ１からＳ２に変化したとき、巡回型ＮＲ回路の出力信号ＹｎがほぼＳ２に変化するまでにかかるフレーム数は巡回係数Ｋによって異なる。仮にＫが０．５であったとすると、出力Ｙｎが９９％以上Ｓ２となるには７フレームかかる。
出力信号Ｙｎを４フレーム加算平均すると、
【００３０】
【数６】
2010147774.tif 000008
【００３１】
となる。この場合は信号出力４フレームで１フレームの映像を作る。そのため、ｎフレームの次はｎ＋４フレームからの加算となり、（Ｙｎ＋４＋Ｙｎ＋５＋Ｙｎ＋６＋Ｙｎ＋７）／４となる。巡回型ＮＲ回路の出力が９９％以上Ｓ２となるには２フレームかかる。
【００３２】
これは、加算平均した影響がほぼそのまま生じており、加算平均する前の信号に対して、加算平均した信号は概ね１／４のフレーム数で収束する。
【００３３】
ある画素の信号変化に対して収束する時間は、加算平均した信号、即ち、第２のフレームレート用の信号の方が短い。第１のフレームレートの信号の収束する時間を短くしようとすると、巡回係数を小さくする必要があり、第２のフレームレートの映像信号のノイズ劣化の原因となってしまう。
【００３４】
このように、加算平均されている信号とされていない両方の信号に対して、巡回係数の変化に対してノイズ低減比が非線形の関係にあることや、映像信号として求められるノイズ、動解像度等の要素が異なるため、巡回係数を最適化することは困難である。
【００３５】
本発明の目的は、巡回型のノイズリダクション回路を持ち、加算平均した映像信号を使用することを前提とし、加算平均するフレーム数に応じて巡回係数を変更することができる撮像装置を提供することにある。
【課題を解決するための手段】
【００３６】
上記目的を達成するために、請求項１記載の撮像装置は、露光された光を電気信号に変換する変換手段と、前記変換手段により変換された前記電気信号を第１のフレームレートで出力する出力手段と、前記出力手段により出力された第１のフレームレートの信号を複数に分岐する分岐手段と、前記分岐手段により分岐された前記第１のフレームレートの信号の一部または複数を加算平均して、前記第１のフレームレートよりも低速な第２のフレームレートの信号を生成する加算平均手段と、前記第１のフレームレートの信号と前記第２のフレームレートの信号のそれぞれに対応した異なるノイズ低減処理を実行する巡回型の低減手段とを備えることを特徴とする。
【００３７】
請求項２記載の撮像装置は、露光された光を電気信号に変換する変換手段と、前記変換手段により変換された前記電気信号を第１のフレームレートで出力する出力手段と、前記出力手段により出力された信号を複数に分岐する分岐手段と、前記分岐手段により分岐された信号の一部または複数を加算平均する加算平均手段と、前記分岐手段により分岐された信号と前記加算平均手段により加算平均された信号のそれぞれに異なるノイズ低減処理を実行する巡回型の低減手段とを備えることを特徴とする。
【００３８】
請求項３記載の撮像装置は、露光された光を電気信号に変換する変換手段と、前記変換手段により変換された前記電気信号を第１のフレームレートで出力する出力手段と、前記出力手段により出力された第１のフレームレートの信号を記録する記録手段と、再生時に前記第１のフレームレートの信号を加算平均する加算平均手段と、前記加算平均手段により加算平均された信号のノイズを低減する巡回型の低減手段と、加算平均されるフレーム数に応じて巡回係数を変更しながら前記第１のフレームレートよりも低速な第２のフレームレートで再生する再生手段とを備えることを特徴とする。
【発明の効果】
【００３９】
本発明の撮像装置によれば、巡回型のノイズリダクション回路を持ち、加算平均した映像信号を使用することを前提とし、加算平均するフレーム数に応じて巡回係数を変更することができる。
【発明を実施するための最良の形態】
【００４０】
以下、本発明を図面を参照しながら詳細に説明する。
【００４１】
図１は、本発明の第１の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。
【００４２】
以下、その構成を動作と併せて説明する。
【００４３】
図１において、アイリス、レンズ等の光学系１０１を通った光はＣＭＯＳ、ＣＣＤ等で構成される撮像部１０２で光電変換される。光電変換された信号は、ＴＧ（タイミングジェネレータ）１０３で制御され、表示部１１４より高いフレームレート（以下、第１のフレームレート）で撮像部１０２より出力される。
【００４４】
撮像部１０２より出力された信号は、ＡＦＥ（アナログフロントエンド）１０４でＡ／Ｄ変換やゲインコントロールを行われ、カメラ信号処理部１０５に送られる。
【００４５】
カメラ信号処理部１０５では、まず、信号処理部１０６で、ガンマ補正や輪郭補正、色ゲイン補正等の画像信号処理が行われる。静止画撮影時には、静止画用の圧縮等の信号処理が行われた後、静止画記録媒体１０７に信号が送られ記録される。
【００４６】
動画撮影時には、上記画像信号処理を行った後、第１のフレームレート用の巡回型ノイズリダクション回路（以下、巡回型ＮＲ回路Ａ）１０８と表示装置のフレームレート（以下、第２のフレームレート）に変更するための加算平均回路１０９に送られる。第２のフレームレートは、第１のフレームレートより低速である。
【００４７】
加算平均された信号は第２のフレームレート用の巡回型ノイズリダクション回路（以下、巡回型ＮＲ回路Ｂ）１１０に送られる。画像信号は、巡回型ＮＲ回路Ａ１０８、巡回型ＮＲ回路Ｂ１１０で各々の巡回係数ＫＡ、ＫＢに基づき、ノイズが低減される。
【００４８】
巡回型ＮＲ回路Ａ１０８、巡回型ＮＲ回路Ｂ１１０を通った信号は、ビデオ信号処理部１１１に送られる。ビデオ信号処理部１１１では、第１のフレームレートの信号と第２のフレームレートの信号に対してそれぞれ圧縮伸張等の処理を行う。
【００４９】
ビデオ信号処理部１１１で信号処理された信号は、メモリカードやＤＶＤ等の動画記録媒体１１２に送られ、書き込まれる。この際、第１のフレームレートと第２のフレームレートの信号がそれぞれ記録される。
【００５０】
また、第２のフレームレートの映像信号は、ビデオ信号処理部１１１より表示回路１１３にも送られ、表示用の信号に変換された後、ＬＣＤ等の表示部１１４で表示される。
【００５１】
ＣＰＵ１１５は、以下の各種の情報を元に光学系１０１、ＴＧ１０３、カメラ信号処理部１０５、ビデオ信号処理部１１１等を制御する。
【００５２】
各種の情報とは、光学系制御回路１１６より取得するアイリスの位置やズームの位置等の光学系１０１の状態に関する情報、操作部１１７よりユーザーの操作した情報、カメラ信号処理部１０５より送られた輝度情報や色情報等である。
【００５３】
通常再生時は、動画記録媒体１１２に記録されている第２のフレームレートの信号を再生する。スロー再生時には動画記録媒体１１２に記録されている第１のフレームレートの信号を再生する。
【００５４】
ここで、撮像部１０２は、露光された光を電気信号に変換する変換手段と、変換手段により変換された電気信号を表示部１１４のフレームレートより高い第１のフレームレートで出力する出力手段として機能する。
【００５５】
また、信号処理部１０６は、出力手段により出力された第１のフレームレートの信号を複数に分岐する分岐手段として機能する。
【００５６】
また、加算平均回路１０９は、分岐手段により分岐された第１のフレームレートの信号の一部または複数を加算平均して、表示部１１４のフレームレートである第２のフレームレートの信号を生成する加算平均手段として機能する。
【００５７】
また、巡回型ＮＲ回路Ａ１０８、巡回型ＮＲ回路Ｂ１１０は、第１のフレームレートの信号と第２のフレームレートの信号のそれぞれに対応し、異なるノイズ低減処理を実行する巡回型の低減手段として機能する。
【００５８】
上述した構成にすれば、第１のフレームレート用の信号と第２のフレームレート用の信号に対してそれぞれ巡回型ＮＲ回路を持つため、それぞれの信号に適した巡回係数を決めることができる。
【００５９】
例えば、低照度時にゲインが上がった際、第２のフレームレートの信号に対してはＳ／Ｎを重視して巡回係数を大きくし、第１のフレームレートでは、動解像度を重視して、巡回係数を維持しておく等の設定を行うことができる。
【００６０】
本実施の形態では、加算平均回路１０９を１個用意する例を示した。加算平均回路１０９と巡回型ＮＲ回路は複数個あっても良い。
【００６１】
例えば、第２のフレームレートが３０、第１のフレームレートが１２０の時は、第２のフレームレートの信号を作成するために４フレームを加算平均する。再生時には１／４のスピードの再生となる。
【００６２】
加算平均回路と巡回型ＮＲ回路を複数個用意し、２フレーム、３フレームの加算平均の信号を記録しておけば、１／２、３／４等のスピードのスロー映像を再生することが可能となる。
【００６３】
図２は、本発明の第２の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。
【００６４】
以下、その構成を動作と併せて説明する。
【００６５】
アイリス、レンズ等の光学系１０１を通った光はＣＭＯＳ、ＣＣＤ等で構成される撮像部１０２で光電変換される。光電変換された信号はＴＧ１０３で制御され、表示部１１４より高い第１のフレームレートで撮像部１０２より出力される。
【００６６】
撮像部１０２より出力された信号は、ＡＦＥ１０４でＡ／Ｄ変換やゲインコントロールを行われ、カメラ信号処理部１０５に送られる。
【００６７】
カメラ信号処理部１０５では、信号処理部１０６でガンマ補正や輪郭補正、色ゲイン補正等の画像信号処理が行われる。
【００６８】
静止画撮影時には、静止画用の圧縮等の信号処理が行われた後、静止画記録媒体１０７に信号が送られ記録される。動画撮影時には、上記画像信号処理を行われた信号は、ビデオ信号処理部１１１に送られる。
【００６９】
ビデオ信号処理部１１１では圧縮伸張等の処理を行う。ビデオ信号処理部１１１で信号処理された信号は、メモリカードやＤＶＤ等の動画記録媒体１１２に送られ、記録される。
【００７０】
また、信号は、ビデオ信号処理部１１１より表示回路１１３にも送られ、表示用の信号に変換された後、ＬＣＤ等の表示部１１４で表示される。
【００７１】
ＣＰＵ１１５は、以下の各種の情報を元に光学系１０１、ＴＧ１０３、カメラ信号処理部１０５、ビデオ信号処理部１１１等を制御する。
【００７２】
各種の情報とは、光学系制御回路１１６より取得するアイリスの位置やズームの位置等の光学系１０１の状態に関する情報、操作部１１７よりユーザーの操作した情報、カメラ信号処理部１０５より送られた輝度情報や色情報等である。
【００７３】
本実施の形態では、動画記録媒体１１２には第１のフレームレートの映像信号が記録されている。再生時、記録されている映像信号は、ビデオ信号処理部１１１で再生用に信号処理が行われる。ビデオ信号処理部１１１で信号処理された信号は、加算平均回路１０９に送られる。
【００７４】
通常再生時は、加算平均回路１０９で、第１のフレームレートの信号を加算平均し、第２のフレームレートの信号に変換する。加算平均回路１０９は、第１のフレームレートが１２０、第２のフレームレートが３０であれば、第１のフレームレートの４画素を加算平均し、フレームレートが３０の信号に変換する。加算平均回路１０９は、スロー再生が選択されたときは選んだスピードに応じて加算平均する。
【００７５】
例えば、１／４のスピードが選択されれば、信号はそのまま巡回型ＮＲ回路２０１に送られる。１／２のスピードが選択された場合には、２フレームが加算された信号が巡回型ＮＲ回路２０１に送られる。３／４のスピードが選択された場合には、３フレームが加算された信号が巡回型ＮＲ回路２０１に送られる。
【００７６】
加算平均回路１０９より出力された信号は、巡回型ＮＲ回路２０１で巡回型のノイズリダクションの信号処理が行われる。巡回係数は、予め、再生スピード、照度等に応じて決められており、それぞれの条件に合わせて切り替えられる。
【００７７】
巡回型ＮＲ回路２０１で信号処理された信号は、再び、ビデオ信号処理部１１１で再生用に信号変換され、表示部１１４やＴＶ等の外部の表示装置で表示される。
【００７８】
ここで、動画記録媒体１１２は、撮像部１０２により出力された第１のフレームレートの信号を記録する記録手段として機能する。
【００７９】
また、ビデオ信号処理部１１１は、加算平均されるフレーム数に応じて巡回係数を変更しながら表示部１１４のフレームレートである第２のフレームレートで再生する再生手段として機能する。
【００８０】
本実施の形態では、再生時に加算平均、巡回型のノイズリダクションを行う。そのため記録時は第１のフレームレートの映像のみを記録すれば良い。また、再生時にモードに応じて加算平均フレーム数、巡回係数を変更するため、１個の巡回型ＮＲ回路で再生モードに応じて巡回係数を変更することができる。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。
【図２】本発明の第２の実施の形態に係る撮像装置としてのデジタルビデオカメラの概略構成図である。
【図３】撮像装置における加算平均回路の処理の概念図である。
【図４】従来例に係る撮像装置の巡回型ＮＲ回路の構成図である。
【図５】図４の巡回型ＮＲ回路における巡回係数とノイズ比の関係を示す図である。
【符号の説明】
【００８２】
１０１  光学系
１０２  撮像部
１０３  タイミングジェネレータ（ＴＧ）
１０４  ＡＦＥ
１０５  カメラ信号処理部
１０６  信号処理部
１０７  静止画記録媒体
１０８  第１のフレームレート用の巡回型ノイズリダクション回路（ＮＲ回路Ａ）
１０９  加算平均回路
１１０  第２のフレームレート用の巡回型ノイズリダクション回路（ＮＲ回路Ｂ）
１１１  ビデオ信号処理部
１１２  動画記録媒体
１１３  表示回路
１１４  表示部
１１５  ＣＰＵ
１１６  光学系制御回路
１１７  操作部
【図１】
2010147774.tif 000009
【図２】
2010147774.tif 000010
【図３】
2010147774.tif 000011
【図４】
2010147774.tif 000012
【図５】
2010147774.tif 000013