(57)【特許請求の範囲】
【請求項１】
光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから時間的に異なるタイミングで出力される少なくとも２つの画像信号を現像して少なくとも２つの原画像データを生成する画像現像部と、
前記画像現像部が現像した前記少なくとも２つの原画像データを用いてモアレが発生している領域を判定するモアレ判定部と、
前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号に対するモアレ除去処理を行なうモアレ除去処理部と、
を備え、
前記モアレ判定部は、前記少なくとも２つの原画像データにおける、前記ベイヤ配列における最も画素数の多い色である緑と、前記ベイヤ配列における緑以外の色であるマゼンタとの繰り返しパタンの違いが生じた場所を利用して、前記パタンの急峻さと、前記パタンの変化度合いと、他の領域に比べて大きく異なる色が現れている領域かどうかと、連続するフレームの画像間で模様の位置が異なっている範囲の大きさによってモアレが発生している領域と判定することを特徴とする、画像処理装置。
【請求項２】
前記モアレ除去処理部が行なうモアレ除去処理は、２つの前記画像信号に基づいてノイズが除去された後の画像信号に対して前記判定結果を用いたフィルタ処理であることを特徴とする、請求項１に記載の画像処理装置。
【請求項３】
前記モアレ除去処理部が行なう前記フィルタ処理は、斜め方向の画素値を隣接する斜め方向の画素値に加算する処理であることを特徴とする、請求項２に記載の画像処理装置。
【請求項４】
前記モアレ判定部での判定に用いる２つの前記画像信号に基づいてノイズを除去するノイズ除去部をさらに備えることを特徴とする、請求項２に記載の画像処理装置。
【請求項５】
前記モアレ除去処理部が行なうモアレ除去処理は、前記判定結果を用いた前記原画像データに対する補間処理であることを特徴とする、請求項１に記載の画像処理装置。
【請求項６】
光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから時間的に異なるタイミングで出力される少なくとも２つの画像信号を現像して少なくとも２つの原画像データを生成する画像現像ステップと、
前記画像現像ステップで現像された前記少なくとも２つの原画像データを用いてモアレが発生している領域を判定するモアレ判定ステップと、
前記モアレ判定ステップによるモアレが発生している領域の判定結果を用いて前記画像信号に対するモアレ除去処理を行なうモアレ除去処理ステップと、
を含み、
前記モアレ判定ステップは、前記少なくとも２つの原画像データにおける、前記ベイヤ配列における最も画素数の多い色である緑と、前記ベイヤ配列における緑以外の色であるマゼンタとの繰り返しパタンの違いが生じた場所を利用して、前記パタンの急峻さと、前記パタンの変化度合いと、他の領域に比べて大きく異なる色が現れている領域かどうかと、連続するフレームの画像間で模様の位置が異なっている範囲の大きさによってモアレが発生している領域と判定することを特徴とする、画像処理方法。
【請求項７】
光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイを備える撮像部と、
前記撮像部から時間的に異なるタイミングで出力される少なくとも２つの画像信号を現像して少なくとも２つの原画像データを生成する画像現像部と、
前記画像現像部が現像した前記少なくとも２つの原画像データを用いてモアレが発生している領域を判定するモアレ判定部と、
前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号に対するモアレ除去処理を行なうモアレ除去処理部と、
を備え、
前記モアレ判定部は、前記少なくとも２つの原画像データにおける、前記ベイヤ配列における最も画素数の多い色である緑と、前記ベイヤ配列における緑以外の色であるマゼンタとの繰り返しパタンの違いが生じた場所を利用して、前記パタンの急峻さと、前記パタンの変化度合いと、他の領域に比べて大きく異なる色が現れている領域かどうかと、連続するフレームの画像間で模様の位置が異なっている範囲の大きさによってモアレが発生している領域と判定することを特徴とする、撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法及び撮像装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ（Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）やデジタルビデオカメラ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｃａｍｅｒａ）等の撮像装置において静止画像や動画像の撮像に用いられるイメージセンサ（Ｉｍａｇｅ  Ｓｅｎｓｏｒ）には、ベイヤ（Ｂａｙｅｒ）配列のＣＭＯＳイメージセンサまたはＣＣＤイメージセンサが用いられるのが主流である。
【０００３】
ベイヤ配列は、緑２画素に対して、赤１画素、青１画素の４画素が１組となった構成となっている配列である。元々は光を分光しＲＧＢを別のセンサで受光していたものを、複雑な光学系の設計を軽減し、画素ずれが無いように開発されたのがベイヤ配列である。このベイヤ配列は、人間の目は赤や青の解像度には鈍感であり、緑や白黒に対して敏感であるといった特性を利用している。
【０００４】
ベイヤ配列のイメージセンサから出力される信号からＹＣｂＣｒ色空間またはＲＧＢカラーモデルによる画像を生成（現像）する際に、各色の存在周期より精細な画像の照射に起因する偽色（色モアレ）が発生する場合がある。この偽色（色モアレ）を除去するための技術が開発されている（例えば特許文献１、２等参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００５−２１０２１８号公報
【特許文献２】特開２０１０−４３９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１で開示されている技術は、ベイヤ配列を変更することで色モアレの低減を図るものである。また特許文献２で開示されている技術は、三次元ノイズリダクション方式によってノイズを低減する際に、時間的に異なる色補間画像を用いて色モアレも抑えるものである。しかし、いずれの技術も、ベイヤ配列全体のデータからそのまま現像した際の色モアレの低減には効果がないという問題があった。
【０００７】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、時間的に異なる複数の画像の比較により、ベイヤ配列全体のデータからそのまま現像した際の色モアレの除去を効果的に行なうことが可能な、新規かつ改良された画像処理装置、画像処理方法及び撮像装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、本発明のある観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから時間的に異なるタイミングで出力される少なくとも２つの画像信号を現像して少なくとも２つの原画像データを生成する画像現像部と、前記画像現像部が現像した前記少なくとも２つの原画像データを用いてモアレが発生している領域を判定するモアレ判定部と、前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号に対するモアレ除去処理を行なうモアレ除去処理部と、を備えることを特徴とする、画像処理装置が提供される。
【０００９】
かかる構成によれば、画像現像部は、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから時間的に異なるタイミングで出力される少なくとも２つの画像信号を現像して少なくとも２つの原画像データを生成し、モアレ判定部は、画像現像部が現像した少なくとも２つの原画像データを用いてモアレが発生している領域を判定し、モアレ除去処理部は、モアレ判定部によるモアレが発生している領域の判定結果を用いて画像信号に対するモアレ除去処理を行なう。画像処理装置は、かかる構成を有することにより、時間的に異なる複数の画像を比較してベイヤ配列全体のデータからそのまま現像した際の色モアレの除去が可能になる。
【００１０】
前記モアレ判定部は、前記少なくとも２つの原画像データにおける第１の色と第２の色との繰り返しパタンの違いが生じた場所をモアレが発生している領域と判定してもよい。
【００１１】
前記第１の色は、前記ベイヤ配列における最も画素数の多い色であり、前記第２の色は、前記ベイヤ配列における前記第１の色以外の色から生成される色であってもよい。
【００１２】
前記第１の色は緑であり、前記第２の色はマゼンタであってもよい。
【００１３】
前記モアレ除去処理部が行なうモアレ除去処理は、２つの前記画像信号に基づいてノイズが除去された後の画像信号に対して前記判定結果を用いたフィルタ処理であってもよい。
【００１４】
前記モアレ除去処理部が行なう前記フィルタ処理は、斜め方向の画素値を隣接する斜め方向の画素値に加算する処理であってもよい。
【００１５】
上記画像処理装置は、前記モアレ判定部での判定の用いる２つの前記画像信号に基づいてノイズを除去するノイズ除去部をさらに備えてもよい。
【００１６】
前記モアレ除去処理部が行なうモアレ除去処理は、前記判定結果を用いた前記原画像データに対する補間処理であってもよい。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイから時間的に異なるタイミングで出力される少なくとも２つの画像信号を現像して少なくとも２つの原画像データを生成する画像現像ステップと、前記画像現像ステップで現像された前記少なくとも２つの原画像データを用いてモアレが発生している領域を判定するモアレ判定ステップと、前記モアレ判定ステップによるモアレが発生している領域の判定結果を用いて前記画像信号に対するモアレ除去処理を行なうモアレ除去処理ステップと、を含むことを特徴とする、画像処理方法が提供される。
【００１８】
また、上記課題を解決するために、本発明の別の観点によれば、光学系を介した光束を受光して光電変換する複数の受光素子を二次元状にベイヤ配列で配置したセンサアレイを備える撮像部と、前記撮像部から時間的に異なるタイミングで出力される少なくとも２つの画像信号を現像して少なくとも２つの原画像データを生成する画像現像部と、前記画像現像部が現像した前記少なくとも２つの原画像データを用いてモアレが発生している領域を判定するモアレ判定部と、前記モアレ判定部によるモアレが発生している領域の判定結果を用いて前記画像信号に対するモアレ除去処理を行なうモアレ除去処理部と、を備えることを特徴とする、撮像装置が提供される。
【発明の効果】
【００１９】
以上説明したように本発明によれば、時間的に異なる複数の画像の比較により、ベイヤ配列全体のデータからそのまま現像した際の色モアレの除去を効果的に行なうことが可能な、新規かつ改良された画像処理装置、画像処理方法及び撮像装置を提供することができる。
【図面の簡単な説明】
【００２０】
【図１】ベイヤ配列を示す説明図である。
【図２】撮像される元となる画像の例を示す説明図である。
【図３】図２に示した画像を撮像した際に色モアレが発生した画像の例を示す説明図である。
【図４】シアンとオレンジの色モアレが発生している様子をベイヤ配列で示す説明図である。
【図５】シアンとオレンジの色モアレが発生している様子をベイヤ配列で示す説明図である。
【図６】緑とマゼンタの色モアレが発生している様子をベイヤ配列で示す説明図である。
【図７】本発明の一実施形態に係る撮像装置１００の機能構成例を示す説明図である。
【図８】本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の機能構成例を示す説明図である。
【図９】本発明の一実施形態に係る撮像装置１００の動作例を示す流れ図である。
【図１０】（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データの一部を切り出した例を示す説明図である。
【図１１】本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の機能構成例を示す説明図である。
【発明を実施するための形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
＜１．背景＞
本発明の好適な実施の形態について詳細に説明する前に、本発明の実施の形態に至った背景について説明する。
【００２３】
上述したように、デジタルスチルカメラやデジタルビデオカメラ等の撮像装置において静止画像や動画像の撮像に用いられるセンサには、ベイヤ配列のＣＭＯＳイメージセンサまたはＣＣＤイメージセンサが用いられるのが主流である。
【００２４】
図１は、ベイヤ配列を示す説明図である。ベイヤ配列は、緑（Ｇ）２画素に対して、赤（Ｒ）１画素、青（Ｂ）１画素の４画素が１組となった構成となっている配列である。元々は光を分光しＲＧＢを別のイメージセンサで受光していたものを、複雑な光学系の設計を軽減し、画素ずれが無いように開発されたのが、図１に示したようなベイヤ配列である。この図１に示したベイヤ配列は、人間の目は赤や青の解像度には鈍感であり、緑や白黒に対して敏感であるといった特性を利用している。なお、便宜上赤（Ｒ）の行にある緑（Ｇ）の画素をＧｒ、青（Ｂ）の行にある緑（Ｇ）の画素をＧｂと称する。
【００２５】
ベイヤ配列が、緑（Ｇ）２画素に対して、赤（Ｒ）１画素、青（Ｂ）１画素の４画素が１組となった構成となっているため、緑色は水平および垂直方向ではイメージセンサの水平画素数及び垂直画素数と等しい帯域を持っているが、斜め４５度の方向の帯域では水平及び垂直の半分に減る。従って、輝度信号は斜め方向の帯域が少ない。またベイヤ配列が、緑（Ｇ）２画素に対して、赤（Ｒ）１画素、青（Ｂ）１画素の４画素が１組となった構成となっているため、青と赤の領域は緑の半分しかない。
【００２６】
このベイヤ配列のイメージセンサで正常な画像を得るためには、従来は例えば、ほぼベイヤ配列の基本の４画素よりも細かい線を解像しないフィルタをイメージセンサ上に搭載して各色をぼかすことが行われてきた。
【００２７】
しかし、そのようなフィルタをイメージセンサに搭載すると、赤と青の細かい線はイメージセンサから出力されず、また輝度の主要成分である緑も２画素幅よりも細かい線はセンサから出力されない。
【００２８】
そして、当然ながらこのようなフィルタをイメージセンサに搭載することは、コスト上昇の要因となり、また実際の画素数よりも表現される画像の解像度が低くなってしまう要因ともなる。この結果、このフィルタを排除し、解像度の改善とコスト低下を同時に満たす必要性が叫ばれており、解像度の改善とコスト低下を同時に満たすことを目的とするような製品も販売されている。
【００２９】
しかし、フィルタを排除したイメージセンサを用いると、ベイヤ配列のイメージセンサから出力される信号からＹＣｂＣｒ色空間またはＲＧＢカラーモデルによる画像を生成（現像）する際に、各色の存在周期より精細な画像の照射に起因する偽色（色モアレ）が発生する場合がある。
【００３０】
フィルタを排除したイメージセンサを用いると、例えばイメージセンサの赤の存在周期より精細な赤の画像が照射される。イメージセンサの赤の存在周期より精細な赤の画像が照射されることは、赤に対して折り返しが発生する要因となる。
【００３１】
これは赤だけでなく、同じように４画素中に１画素だけ存在する青についても同様のことが言える。また緑についても、斜め方向に精細な緑の画像が照射されることは、緑に対しては斜め方向には折り返しが発生する要因となる。この折り返しが、ベイヤ配列のイメージセンサから出力される信号からＹＣｂＣｒ色空間またはＲＧＢカラーモデルによる画像を生成（現像）する際に画像生じ得る色モアレとなる。
【００３２】
最も大きな問題は、斜め方向の細線を現像した際に生じる緑とマゼンタのモアレである。これは斜め方向の妨害を表している。このような緑とマゼンタのモアレの現象が発生するのは、撮影画像で斜め方向に非常に細い線が存在するためである。
【００３３】
図２は、撮像される元となる画像の例を示す説明図である。そして図３は、図２に示した画像を撮像した際に色モアレが発生した画像の例を示す説明図である。
【００３４】
図２に示したような、非常に細い白色及び黒色の線が混み入った画像を撮像すると、元の画像には白色及び黒色以外の色は存在しないのに、図３に示したように渦状の偽色（色モアレ）が発生することがある。図３の符号１１は、シアンとオレンジの渦状の偽色（色モアレ）が発生した場所を示している。図３の符号１２は、緑とマゼンタの渦状の偽色（色モアレ）が発生した場所を示している。
【００３５】
図３の符号１１で示した場所で発生しているシアンとオレンジの色モアレは、縦または横の細い線を再現しようとして生じるものである。図４及び図５は、シアンとオレンジの色モアレが発生している様子をベイヤ配列で示す説明図である。
【００３６】
図４及び図５に示したように、シアンとオレンジの色モアレが発生している場合は、シアンとオレンジの境界で緑の場所が変化していることが分かる。従って、緑との相関をとることでシアンとオレンジの色モアレが発生しているかどうかを判定することができる。そして、シアンとオレンジの色モアレが発生している場合には、例えばその色モアレが生じている場所を白色で繋ぐ等の方法で色モアレの除去が可能となる。
【００３７】
一方、図３の符号１２で示した場所で発生している緑とマゼンタの色モアレは、斜め方向の細い線を再現しようとして生じるものである。図６は、緑とマゼンタの色モアレが発生している様子をベイヤ配列で示す説明図である。
【００３８】
しかし、この緑とマゼンタの色モアレは、シアンとオレンジの色モアレのように緑との相関をとることで色モアレの発生を判定することが出来ない。シアンとオレンジの色モアレと違って、図６に示したように、常に緑がついているとは限らないからである。
【００３９】
そこで本件発明者は、色モアレを除去するための技術、特に、緑との相関をとることで色モアレの発生を判定することが出来ない緑とマゼンタの色モアレを効果的に除去するための技術について鋭意検討を行った。その結果、本件発明者は、以下で説明するように、時間的に異なる少なくとも２つの画像を比較することで色モアレかどうかを判定し、判定結果に基づいて色モアレを除去することが出来る技術を考案するに至った。
【００４０】
以上、本発明の実施の形態に至った背景について説明した。続いて、本発明の一実施形態について詳細に説明する。
【００４１】
＜２．本発明の一実施形態＞
［２．１．機能構成例］
まず、本発明の一実施形態に係る撮像装置の機能構成例について詳細に説明する。図７は、本発明の一実施形態に係る撮像装置１００の機能構成例を示す説明図である。以下、図７を用いて本発明の一実施形態に係る撮像装置１００の機能構成例について説明する。
【００４２】
図７に示したように、本発明の一実施形態に係る撮像装置１００は、撮像部１０２と、ノイズ除去部１０４と、補間処理部１０６と、コーデック部１０８と、通信部１１０と、バス１１２と、制御部１１４と、ＤＤＲ  ＳＤＲＡＭ（Ｄｏｕｂｌｅ  Ｄａｔａ  Ｒａｔｅ  Ｓｙｎｃｈｒｏｎｏｕｓ  Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１１６と、を含んで構成される。
【００４３】
撮像部１０２は、ズームレンズ（Ｚｏｏｍ  Ｌｅｎｓ）やフォーカスレンズ（Ｆｏｃｕｓ  Ｌｅｎｓ）を含む複数のレンズ群やイメージセンサなどで構成される。撮像部１０２は、イメージセンサの受光面に形成される被写体像を光電変換して、所定のノイズ除去処理や感度調整処理、アナログ／デジタル変換（Ａ／Ｄ変換）等の信号処理を施すことでデジタル画像信号を生成する。
【００４４】
撮像部１０２に設けられるイメージセンサは、ＣＣＤイメージセンサでもＣＭＯＳイメージセンサでもよい。また撮像部１０２に設けられるイメージセンサの受光面には、カラー画像の撮像のためにベイヤ配列の原色フィルタが設けられる。撮像部１０２が生成したデジタル画像信号は、バス１１２を経由してＤＤＲ  ＳＤＲＡＭ１１６に格納される。
【００４５】
ノイズ除去部１０４は、撮像部１０２が生成し、ＤＤＲ  ＳＤＲＡＭ１１６に格納されたデジタル画像信号に対してノイズ除去処理を行なう。本実施形態では、ノイズ除去部１０４は、撮像部１０２が異なる時間で生成した少なくとも２つのデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６からバス１１２を経由して読み出して、三次元ノイズリダクション（３ＤＮＲ）によってデジタル画像信号に対するノイズの除去を行う。３ＤＮＲは、時間的に連続した少なくとも２つのデジタル画像信号を比較することでノイズを検出し、検出したノイズを除去するノイズ除去処理である。
【００４６】
そして本実施形態では、ノイズ除去部１０４は、ノイズ除去処理のために読み出した少なくとも２つのデジタル画像信号を用いて、色モアレ、特に、緑とマゼンタの色モアレが発生しているかどうかを判定する。本発明の一実施形態に係る撮像装置１００は、ノイズ除去処理のために読み出した少なくとも２つのデジタル画像信号を用いて色モアレが発生しているかどうかを判定することで、色モアレを検出するための構成をノイズ除去処理のための構成と共通化出来る。
【００４７】
補間処理部１０６は、ノイズ除去部１０４によってノイズを除去し、ＤＤＲ  ＳＤＲＡＭ１１６に格納された後のデジタル画像信号に対して補間処理、例えばＣＦＡ（Ｃｏｌｏｒ  Ｆｉｌｔｅｒ  Ａｒｒａｙ）補間処理を行うことで現像処理を行なう。補間処理部１０６による現像処理を行って得られる画像データは、バス１１２を経由してＤＤＲ  ＳＤＲＡＭ１１６に格納される。
【００４８】
コーデック部１０８は、補間処理部１０６によって生成された画像データに対するエンコード処理や、エンコードされた画像データのデコード処理を行なう。エンコード処理及びデコード処理を総称してコーデック処理という。コーデック部１０８によってコーデック処理された画像データは、バス１１２を経由してＤＤＲ  ＳＤＲＡＭ１１６に格納される。
【００４９】
通信部１１０は、外部の装置に対する情報の送信処理や、外部の装置からの情報の受信処理を実行する。例えば通信部１１０は、コーデック部１０８によってエンコードされた画像データを外部の装置に送信する。
【００５０】
制御部１１４は、例えばＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）などで構成され、撮像装置１００の各部の動作を制御する。
【００５１】
なお図１には図示しないが、撮像装置１００は、撮像部１０２に対して画像の撮像をユーザが指示するためのシャッタボタン、撮像装置１００に対するユーザの操作を受け付ける操作ボタン、補間処理部１０６によって生成された画像データを保存するための記録媒体などを備えていても良い。補間処理部１０６によって生成された画像データを保存するための記録媒体は、撮像装置１００からの取り外しが可能なものであってもよい。
【００５２】
以上、図７を用いて本発明の一実施形態に係る撮像装置１００の機能構成例について説明した。続いて、本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の詳細な機能構成例について説明する。
【００５３】
図８は、本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の機能構成例を示す説明図である。以下、図８を用いて本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の機能構成例について説明する。
【００５４】
図８に示したように、本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４は、ＲＤＭＡ（Ｒｅａｄ  Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）コントローラ１２１ａ、１２１ｂと、減算部１２２と、ノイズ評価部１２３と、ノイズ除去部１２４と、フィルタ処理部１２５と、簡易現像部１２６ａ、１２６ｂと、モアレ判定部１２７と、ＷＤＭＡ（Ｗｒｉｔｅ  Ｄｉｒｅｃｔ  Ｍｅｍｏｒｙ  Ａｃｃｅｓｓ）コントローラ１２８と、を含んで構成される。
【００５５】
ＲＤＭＡコントローラ１２１ａ、１２１ｂは、撮像部１０２が異なる時間で生成した少なくとも２つのデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６からバス１１２を経由して読み出す。図８に示した例では、ＲＤＭＡコントローラ１２１ａは（Ｎ−１）番目のフレームのデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６から読み出し、ＲＤＭＡコントローラ１２１ｂは、（Ｎ−１）番目のフレームの次のフレームであるＮ番目のフレームのデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６から読み出す。ＲＤＭＡコントローラ１２１ａ、１２１ｂは、このように連続したフレームのデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６から読み出してもよく、連続していないが短い間隔で得られたデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６から読み出してもよい。
【００５６】
ＲＤＭＡコントローラ１２１ａ、１２１ｂは、ＤＤＲ  ＳＤＲＡＭ１１６からバス１１２を経由して読み出した（Ｎ−１）番目のフレームとＮ番目のフレームのデジタル画像信号を、それぞれ減算部１２２及び、簡易現像部１２６ａ、１２６ｂに送る。なおＲＤＭＡコントローラ１２１ａ、１２１ｂは、デジタル画像信号を、それぞれ減算部１２２及び、簡易現像部１２６ａ、１２６ｂに送る際に、図示しないバッファメモリを介しても良い。
【００５７】
減算部１２２は、ＲＤＭＡコントローラ１２１ａ、１２１ｂから送られる（Ｎ−１）番目のフレーム及びＮ番目のフレームのデジタル画像信号に対する減算処理を行なう。具体的には、減算部１２２は、Ｎ番目のフレームのデジタル画像信号から（Ｎ−１）番目のフレームのデジタル画像信号を画素単位で減算する減算処理を行う。減算部１２２は、減算後のデジタル画像信号をノイズ評価部１２３に送る。
【００５８】
本実施形態では、減算部１２２が、時間的に連続するフレームのデジタル画像信号の減算処理を行うことで、後段のノイズ評価部１２３においてノイズの評価、具体的にはノイズの発生の有無の判定及びノイズの発生場所の検知を行わせることが出来る。
【００５９】
ノイズ評価部１２３は、減算部１２２から送られる、Ｎ番目のフレームのデジタル画像信号から（Ｎ−１）番目のフレームのデジタル画像信号を画素単位で減算した後のデジタル画像信号に対してノイズの評価を行なう。
【００６０】
ノイズ評価部１２３は、ノイズの評価として、具体的に、Ｎ番目のフレームのデジタル画像信号から（Ｎ−１）番目のフレームのデジタル画像信号を画素単位で減算した後のデジタル画像信号に対して、ノイズの発生の有無の判定及びノイズの発生場所の検知を行なう。三次元ノイズリダクションの基本的な考え方は、時間的に連続する２つのフレームのデジタル画像信号で大きく異なっている所があれば、その部分がノイズであると判定するものである。ノイズ評価部１２３は、Ｎ番目のフレームのデジタル画像信号から（Ｎ−１）番目のフレームのデジタル画像信号を画素単位で減算した後のデジタル画像信号に対してノイズの評価を行なうと、評価の結果をノイズ除去部１２４に送る。
【００６１】
ノイズ除去部１２４は、ノイズ評価部１２３から送られるノイズの評価結果に基づいて、Ｎ番目のフレームのデジタル画像信号に対するノイズの除去処理を行なう。ノイズ除去部１２４は、ノイズを除去した後のＮ番目のフレーム（以下、便宜的にＮ’番目のフレームとする）のデジタル画像信号をフィルタ処理部１２５に送る。
【００６２】
なお、ノイズ除去部１２４におけるノイズの除去処理は、特定の処理に限定されるものではなく、三次元ノイズリダクションに対応する処理であれば良い。
【００６３】
フィルタ処理部１２５は、ノイズを除去した後のＮ’番目のフレームのデジタル画像信号に対して、モアレ判定部１２７による色モアレの判定結果に基づいたフィルタ処理を行なう。フィルタ処理部１２５が行なう、色モアレの判定結果に基づいたフィルタ処理は、色モアレ、特に、緑とマゼンタの色モアレが発生している場所に対して、斜め４５度の方向で隣接している画素に対する加算処理によって、現像結果が白黒になるように色モアレを除去するフィルタ処理を行なう。色モアレが発生している方向は、例えば各画素の画素値を見ることで検出することが出来る。なお、フィルタ処理部１２５によるフィルタ処理は、緑とマゼンタの色モアレを除去するような処理であれば、上述した斜め４５度の方向で隣接している画素に対する加算処理に限定されるものではない。
【００６４】
フィルタ処理部１２５は、ノイズを除去した後のＮ’番目のフレームのデジタル画像信号に対して、モアレ判定部１２７による色モアレの判定結果に基づいたフィルタ処理を行なうことで、Ｎ’番目のフレームのデジタル画像信号に生じている色モアレ、特に緑とマゼンタとが繰り返し現れる色モアレを除去することができる。フィルタ処理部１２５は、色モアレを除去した後のＮ’番目のフレームのデジタル画像信号をＷＤＭＡコントローラ１２８に送る。
【００６５】
簡易現像部１２６ａ、１２６ｂは、ＲＤＭＡコントローラ１２１ａ、１２１ｂから送られる（Ｎ−１）番目のフレーム及びＮ番目のフレームのデジタル画像信号に対する簡易的な現像処理を行なって画像データを生成する。簡易現像部１２６ａ、１２６ｂはそれぞれ、デジタル画像信号に対して簡易的な現像処理を行なって画像データを生成すると、生成した画像データをモアレ判定部１２７に送る。
【００６６】
モアレ判定部１２７は、簡易現像部１２６ａ、１２６ｂから送られる（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データに対して色モアレ、特に緑とマゼンタの色モアレが発生しているかどうかを判定する処理を行う。本実施形態によるモアレ判定処理の詳細については後に詳述するが、一例を挙げれば、モアレ判定部１２７は、簡易現像後の画像データを所定の数の領域に分割し、その領域のそれぞれに対して、色モアレの発生の有無を判定する。
【００６７】
本実施形態では、色モアレの発生の有無を判定する際に、色モアレである確からしさを複数の段階、例えば１から１０の１０段階で判定してもよい。この場合、数字が大きい方を色モアレである確からしさが高いとしてもよい。モアレ判定部１２７は、（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データに対して行った色モアレの判定結果を、それぞれの領域を識別する情報と紐付けてフィルタ処理部１２５に送る。
【００６８】
領域を識別する情報は、例えば、縮小画像データの左上の領域を０として、右方向に向かって値が増加し、一番右端の領域に達したら１段下に移り、左端から右方向に向かって再び値が増加し、これを右下の領域に達するまで繰り返すものであってもよい。
【００６９】
ＷＤＭＡコントローラ１２８は、フィルタ処理部１２５によって色モアレが除去されたＮ’番目のフレームのデジタル画像信号を、バス１１２を経由してＤＤＲ  ＳＤＲＡＭ１１６へ記録する。
【００７０】
本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４は、図７に示したような構成を有することで、時間的に連続した２つのデジタル画像信号を用いてノイズを除去するとともに、その２つのデジタル画像信号を現像して得られる画像データから色モアレの発生の有無を判定し、色モアレが発生していればその色モアレを除去することが出来る。
【００７１】
以上、図８を用いて本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の詳細な機能構成例について説明した。続いて、本発明の一実施形態に係る撮像装置１００の動作例について説明する。
【００７２】
［２．２．動作例］
図９は、本発明の一実施形態に係る撮像装置１００の動作例を示す流れ図である。図８に示したのは、時間的に連続した２つのデジタル画像信号を現像して得られる画像データから色モアレの発生の有無を判定し、色モアレが発生していればその色モアレを除去する際の、本発明の一実施形態に係る撮像装置１００の動作例である。以下、図９を用いて本発明の一実施形態に係る撮像装置１００の動作例について説明する。
【００７３】
撮像装置１００は、まず時間的に異なる、特に時間的に連続した２つのデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６からバス１１２を経由して読み出す（ステップＳ１０１）。このステップＳ１０１の読み出し処理は、例えばＲＤＭＡコントローラ１２１ａ、１２１ｂが行なう。
【００７４】
上記ステップＳ１０１で時間的に異なる２つのデジタル画像信号をＤＤＲ  ＳＤＲＡＭ１１６から読みだすと、続いて撮像装置１００は、その読み出した２つのデジタル画像信号を簡易的に現像して、２つの画像データを生成する（ステップＳ１０２）。このステップＳ１０２の簡易的な現像処理は、例えば簡易現像部１２６ａ、１２６ｂが実行する。
【００７５】
上記ステップＳ１０２で２つのデジタル画像信号を簡易的に現像して、２つの画像データを生成すると、続いて撮像装置１００は、その２つの画像データに対して色モアレの発生している場所を判定する（ステップＳ１０３）。このステップＳ１０３の判定処理は、例えばモアレ判定部１２７が実行する。
【００７６】
ステップＳ１０３の判定処理について詳細に説明する。本実施形態では、画像データを所定の数の領域に分割し、その領域のそれぞれに対して、色モアレの発生の有無を判定する。本実施形態では、色モアレの発生の有無を判定する際に、色モアレである確からしさを複数の段階、例えば１から１０の１０段階で判定してもよい。この場合、数字が大きい方を色モアレである確からしさが高いとしてもよい。
【００７７】
図１０は、（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データの一部を切り出した例を示す説明図である。図１０は、（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データについて、同じ場所を切り出したものの例を示したものである。
【００７８】
図１０に示した例では、（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データの一部には、緑とマゼンタの模様が発生している。本実施形態では、この緑とマゼンタの模様が本当に色モアレによるものであるかどうかは、以下のようにして判定される。
【００７９】
図１０に示した例では、（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データの一部で発生している緑とマゼンタの模様の位置が異なっていることが分かる。図９に示したような変化が２つの連続するフレームの画像間で生じた場合、本実施形態では、このパタンの急峻さと、パタンの変化度合いから色モアレであるかどうかを評価している。また本実施形態では、他の領域に比べて大きく異なる色が現れている領域かどうかも、色モアレであるかどうかの評価材料としている。
【００８０】
また本実施形態では、色モアレである確からしさは、例えば２つの連続するフレームの画像間で模様の位置が異なっている範囲の大きさによって判定され得る。
【００８１】
上記ステップＳ１０３で、色モアレの発生している場所を判定すると、続いて撮像装置１００は、上記ステップＳ１０３での色モアレの発生している場所の判定結果に基づいて、Ｎ番目のデジタル画像信号、特にノイズが除去された後のＮ’番目のフレームのデジタル画像信号に対する色モアレの除去を行なう（ステップＳ１０４）。ステップＳ１０４の色モアレの除去処理は、例えばフィルタ処理部１２５が行なう。
【００８２】
フィルタ処理部１２５は、例えば、色モアレ、特に緑とマゼンタの色モアレが発生している場所に対して、斜め４５度の方向で隣接している画素に対する加算処理によって、現像結果が白黒になるように色モアレを除去するフィルタ処理を行なう。なお、上記ステップＳ１０４におけるフィルタ処理は、緑とマゼンタの色モアレを除去するような処理であれば、上述した斜め４５度の方向で隣接している画素に対する加算処理に限定されるものではない。
【００８３】
本実施形態に係る撮像装置１００は、上述したような一連の動作を実行することで、色モアレ、特に緑とマゼンタの色モアレを効果的に除去して、色モアレの無い画像を生成することが出来る。
【００８４】
［２．３．変形例］
上述した撮像装置１００では、ノイズ除去部１０４がノイズ除去に加えて色モアレの除去を行っていたが、本発明は係る例に限定されるものではない。例えば、ノイズ除去部１０４は、色モアレの発生場所の判定処理のみに留め、補間処理部１０６が、その判定結果を用いて色モアレを除去しながら補間処理を行って画像データを生成してもよい。
【００８５】
図１１は、本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の機能構成例を示す説明図である。以下、図１１を用いて本発明の一実施形態に係る撮像装置１００に含まれるノイズ除去部１０４の機能構成例について説明する。
【００８６】
図１１に示したノイズ除去部１０４は、図８に示したノイズ除去部１０４とは異なり、フィルタ処理部１２５が含まれていない。
【００８７】
従って、ノイズ除去部１２４は、ノイズ評価部１２３から送られるノイズの評価結果に基づいて、Ｎ番目のフレームのデジタル画像信号に対するノイズの除去処理を行ない、ノイズを除去した後のＮ番目のフレーム（以下、便宜的にＮ’番目のフレームとする）のデジタル画像信号をＷＤＭＡコントローラ１２８に送る。
【００８８】
またモアレ判定部１２７は、簡易現像部１２６ａ、１２６ｂから送られる（Ｎ−１）番目のフレーム及びＮ番目のフレームの画像データに対して色モアレ、特に緑とマゼンタの色モアレが発生しているかどうかを判定する処理を行い、色モアレの判定結果をＷＤＭＡコントローラ１２８に送る。
【００８９】
そしてＷＤＭＡコントローラ１２８は、ノイズ除去部１２４から送られたノイズを除去した後のＮ’番目のフレームのデジタル画像信号及びモアレ判定部１２７から送られた各領域に対する色モアレの判定結果を、領域を識別する情報と紐付けて、バス１１２を経由してＤＤＲ  ＳＤＲＡＭ１１６へ記録する。
【００９０】
ノイズ除去部１０４が図１１に示したような構成を有していることで、撮像装置１００は、補間処理部１０６において、ＤＤＲ  ＳＤＲＡＭ１１６に記録されたＮ’番目のフレームのデジタル画像信号及び色モアレの判定結果を読み出して、モアレを除去しながら補間処理を行って画像データを生成することが可能となる。
【００９１】
また本発明の一実施形態に係る撮像装置１００は、このように補間処理部１０６において、ＤＤＲ  ＳＤＲＡＭ１１６に記録されたＮ’番目のフレームのデジタル画像信号及び色モアレの判定結果を読み出して、モアレを除去しながら補間処理を行って画像データを生成することで、フィルタ処理を行なう場合に比べて精細で色モアレのない画像を生成することが可能となる。
【００９２】
＜３．まとめ＞
以上説明したように本発明の一実施形態によれば、時間的に異なる、特に、時間的に連続するタイミングで取得されたデジタル画像信号を比較することで色モアレの発生、特に緑とマゼンタの色モアレの発生の有無を判定する撮像装置１００が提供される。また本発明の一実施形態によれば、色モアレの発生、特に緑とマゼンタの色モアレの発生の有無を判定して、その判定結果に基づいて色モアレを除去する処理を行なう撮像装置１００が提供される。
【００９３】
本発明の一実施形態に係る撮像装置１００は、このように時間的に異なる、特に、時間的に連続するタイミングで取得されたデジタル画像信号を用いることで、色モアレの判定のためのメモリの容量を増やすことなく、色モアレの発生、特に緑とマゼンタの色モアレの発生の有無を判定することが可能になる。特に、本発明の一実施形態に係る撮像装置１００は、これまでは困難であった斜めの画素ピッチ近傍の細線に起因する緑とマゼンタの色モアレを判定し、その色モアレを除去することが出来る。
【００９４】
本明細書における装置が実行する処理における各ステップは、必ずしもフローチャート（ｆｌｏｗｃｈａｒｔ）やシーケンス（ｓｅｑｕｅｎｃｅ）図として記載された順序に沿って時系列に処理される必要はない。例えば、各装置が実行する処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても良く、並列的に処理されてもよい。
【００９５】
また上述した各装置の構成と同等の機能を、本明細書における装置に内蔵されるＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）およびＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などのハードウェア（図示せず）に発揮させるためのコンピュータプログラムも作成されることができる。また、該コンピュータプログラムを記憶させた記憶媒体も提供されることが可能である。また、機能ブロック図で示したそれぞれの機能ブロックをハードウェアで構成することで、一連の処理をハードウェアで実現することもできる。
【００９６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００９７】
１００    ：撮像装置
１０２    ：撮像部
１０４    ：ノイズ除去部
１０６    ：補間処理部
１０８    ：コーデック部
１１０    ：通信部
１１２    ：バス
１１４    ：制御部
１１６    ：ＳＤＲＡＭ
１２１ａ  ：ＲＤＭＡコントローラ
１２１ｂ  ：ＲＤＭＡコントローラ
１２２    ：減算部
１２３    ：ノイズ評価部
１２４    ：ノイズ除去部
１２５    ：フィルタ処理部
１２６ａ  ：簡易現像部
１２６ｂ  ：簡易現像部
１２７    ：モアレ判定部
１２８    ：ＷＤＭＡコントローラ
【図１】
0006626272.tif 000002
【図２】
0006626272.tif 000003
【図３】
0006626272.tif 000004
【図４】
0006626272.tif 000005
【図５】
0006626272.tif 000006
【図６】
0006626272.tif 000007
【図７】
0006626272.tif 000008
【図８】
0006626272.tif 000009
【図９】
0006626272.tif 000010
【図１０】
0006626272.tif 000011
【図１１】
0006626272.tif 000012