(57)【要約】【課題】高度な位置合わせ技術を必要とせず、また、Ｓ／Ｎの劣化を抑制して、ダイナミックレンジの広い画像信号を取得できる画像処理装置を提供する。【解決手段】異なる露光時間で露光された第１の画素グループの画素の画素信号と第２の画素グループの画素の画素信号とを含む１つの画像の画像データから、画素グループ毎に、異なる画素グループの画素が存在する位置の画素信号を生成する画素補間処理や露光時間の差異を相殺するためのデジタルゲイン処理を行って複数枚の画像を同時刻に取得できるようにし、高度な位置合わせ技術を必要とせず、また、Ｓ／Ｎの劣化を抑制して、ダイナミックレンジの広い画像信号を取得できるようにする。【選択図】図１
2015185917.tif 000002
【特許請求の範囲】
【請求項１】
第１の画素グループの画素の画素信号と、前記第１の画素グループとは異なる露光時間で露光された第２の画素グループの画素の画素信号とを含む１つの画像の画像データが入力される入力手段と、
前記第１の画素グループの露光時間と前記第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を、入力される画素信号に施すデジタルゲイン手段と、
前記第２の画素グループの画素が存在する位置の画素信号を、当該位置の周辺の前記第１の画素グループの画素の画素信号を用いて補間し生成する第１の画素補間手段と、
前記デジタルゲイン手段、及び前記第１の画素補間手段によって処理された画素信号を合成し撮像画像を生成する合成手段とを有することを特徴とする画像処理装置。
【請求項２】
前記第１の画素グループの画素が存在する位置の画素信号を、当該位置の周辺の前記第２の画素グループの画素の画素信号を用いて補間し生成する第２の画素補間手段を有し、
前記合成手段は、前記デジタルゲイン手段、前記第１の画素補間手段、及び前記第２の画素補間手段によって処理された画素信号を合成し撮像画像を生成することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記合成手段は、前記第２の画素グループの画素の画素信号に対して前記第１の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を施す前記デジタルゲイン手段から出力される画素信号と、前記第１の画素補間手段から出力される画素信号とを合成する第１の合成手段と、
前記第１の画素グループの画素の画素信号に対して前記第１の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を施す前記デジタルゲイン手段から出力される画素信号と、前記第２の画素補間手段から出力される画素信号とを合成する第２の合成手段と、
前記第１の合成手段から出力される画素信号と前記第２の合成手段から出力される画素信号とを合成し前記撮像画像を生成する第３の合成手段とを有することを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記合成手段は、前記第１の画素グループの画素の画素信号に対して前記第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を施す前記デジタルゲイン手段から出力される画素信号と、前記第１の画素補間手段から出力される画素信号に対して前記第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を施す前記デジタルゲイン手段から出力される画素信号と、前記第２の画素補間手段から出力される画素信号とを合成し前記撮像画像を生成することを特徴とする請求項２記載の画像処理装置。
【請求項５】
前記第１の画素グループの画素の画素信号及び前記第２の画素グループの画素の画素信号の少なくとも一方に基づいて、入力される画像のエッジ情報を検出するエッジ検出手段を有し、
前記第１の画素補間手段及び前記第２の画素補間手段は、前記エッジ検出手段により検出されたエッジ情報に基づいて補間処理を行い、
前記合成手段は、前記エッジ検出手段により検出されたエッジ情報に基づいて画素信号を合成し前記撮像画像を生成することを特徴とする請求項２〜４の何れか１項に記載の画像処理装置。
【請求項６】
前記合成手段は、前記エッジ検出手段により検出されたエッジ情報のエッジ強度に応じて、複数の画素信号を加重加算し前記撮像画像を生成することを特徴とする請求項５記載の画像処理装置。
【請求項７】
請求項１〜６の何れか１項に記載の画像処理装置と、
前記第１の画素グループ及び前記第２の画素グループに分けた複数の画素を有し、画素グループ毎に異なる露光時間を設定し、前記第１の画素グループ及び前記第２の画素グループに並行して露光を行わせ、前記画像データを出力する撮像手段とを有することを特徴とする撮像装置。
【請求項８】
第１の画素グループの画素の画素信号と、前記第１の画素グループとは異なる露光時間で露光された第２の画素グループの画素の画素信号とを含む１つの画像の画像データが入力される入力工程と、
前記第１の画素グループの露光時間と前記第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を、入力される画素信号に施すデジタルゲイン工程と、
前記第２の画素グループの画素が存在する位置の画素信号を、当該位置の周辺の前記第１の画素グループの画素の画素信号を用いて補間し生成する第１の画素補間工程と、
前記デジタルゲイン工程、及び前記第１の画素補間工程によって処理された画素信号を合成し撮像画像を生成する合成工程とを有することを特徴とする画像処理方法。
【請求項９】
前記第１の画素グループの画素が存在する位置の画素信号を、当該位置の周辺の前記第２の画素グループの画素の画素信号を用いて補間し生成する第２の画素補間工程を有し、
前記合成工程では、前記デジタルゲイン工程、前記第１の画素補間工程、及び前記第２の画素補間工程によって処理された画素信号を合成し撮像画像を生成することを特徴とする請求項８記載の画像処理方法。
【請求項１０】
第１の画素グループの画素の画素信号と、前記第１の画素グループとは異なる露光時間で露光された第２の画素グループの画素の画素信号とを含む１つの画像の画像データが入力される入力ステップと、
前記第１の画素グループの露光時間と前記第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を、入力される画素信号に施すデジタルゲインステップと、
前記第２の画素グループの画素が存在する位置の画素信号を、当該位置の周辺の前記第１の画素グループの画素の画素信号を用いて補間し生成する第１の画素補間ステップと、
前記デジタルゲインステップ、及び前記第１の画素補間ステップによって処理された画素信号を合成し撮像画像を生成する合成ステップとをコンピュータに実行させるためのプログラム。
【請求項１１】
前記第１の画素グループの画素が存在する位置の画素信号を、当該位置の周辺の前記第２の画素グループの画素の画素信号を用いて補間し生成する第２の画素補間ステップを有し、
前記合成ステップでは、前記デジタルゲインステップ、前記第１の画素補間ステップ、及び前記第２の画素補間ステップによって処理された画素信号を合成し撮像画像を生成することを特徴とする請求項１０記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法、及び撮像装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ等の撮像装置では、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の固体撮像素子が使用されている。しかし、固体撮像素子を用いた撮像装置では、一般的に銀塩方式の撮像装置に比べて入射光量に対するダイナミックレンジが狭いため、撮影した画像に黒つぶれや白とびが発生することがある。
【０００３】
そこで、異なる露光量の複数枚の画像信号を合成することでダイナミックレンジの広い画像信号を撮像する撮像装置が提案されている（例えば、特許文献１参照）。特許文献１によれば、撮像装置によって算出された適正露光量に対して、適正露光又はオーバー露光によって撮像された第１の画像信号と、アンダー露光で撮像された第２の画像信号とを取得する。そして、取得された第１の画像信号と第２の画像信号とを位置ずれの補正をしつつ合成することでダイナミックレンジの広い画像信号を取得することが可能としている。
【０００４】
また、アンダー露光で撮像された画像信号に対して、ガンマ変換特性を適正露光時と異なるものとすることで、１枚の画像信号からダイナミックレンジの広い画像信号を撮像する撮像装置が提案されている（例えば、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４０２４５８１号公報
【特許文献２】特開２００６−２１７０８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の技術では、複数枚の画像に対する高度な位置合わせ技術が必須であり、位置合わせが不十分な場合には合成後の画像が劣化してしまう。また、特許文献２に記載の技術では、ガンマ変換特性を適正露光時に対して相対的に高いゲインがかかる特性とする必要があるため、Ｓ／Ｎ（信号・ノイズ比）の劣化や、それを補うために高度なノイズリダクション技術が必要となる問題があった。本発明は、高度な位置合わせ技術を必要とせず、また、Ｓ／Ｎの劣化を抑制して、ダイナミックレンジの広い画像信号を取得できる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
本発明に係る画像処理装置は、第１の画素グループの画素の画素信号と、前記第１の画素グループとは異なる露光時間で露光された第２の画素グループの画素の画素信号とを含む１つの画像の画像データが入力される入力手段と、前記第１の画素グループの露光時間と前記第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を、入力される画素信号に施すデジタルゲイン手段と、前記第２の画素グループの画素が存在する位置の画素信号を、当該位置の周辺の前記第１の画素グループの画素の画素信号を用いて補間し生成する第１の画素補間手段と、前記デジタルゲイン手段、及び前記第１の画素補間手段によって処理された画素信号を合成し撮像画像を生成する合成手段とを有する。
【発明の効果】
【０００８】
本発明によれば、高度な位置合わせ技術を必要とせず、Ｓ／Ｎの劣化を低減した上で、ダイナミックレンジの広い画像信号を取得することが可能である。
【図面の簡単な説明】
【０００９】
【図１】本発明の第１の実施形態における画像処理部の構成例を示す図である。
【図２】第１の実施形態における画像処理部の処理の流れを示すフローチャートである。
【図３】本発明の実施形態における撮像装置の構成例を示す図である。
【図４】固体撮像素子における画素グループを説明するための図である。
【図５】エッジ検出処理における処理を説明するための図である。
【図６】エッジ検出処理説明用の固体撮像素子の画素配列を示す図である。
【図７】ＨＶエッジ強度判定処理に用いる変換テーブルの例を示す図である。
【図８】Ｄエッジ強度判定処理に用いる変換テーブルの例を示す図である。
【図９】画素補間処理説明用の固体撮像素子の画素配列を示す図である。
【図１０】第１の画素補間処理における処理を説明するための図である。
【図１１】第１の合成処理における処理を説明するための図である。
【図１２】輝度係数算出処理に用いる変換テーブルの例を示す図である。
【図１３】第２の合成処理における処理を説明するための図である。
【図１４】本発明の第２の実施形態における画像処理部の構成例を示す図である。
【図１５】第２の実施形態における画像処理部の処理の流れを示すフローチャートである。
【図１６】合成処理における処理を説明するための図である。
【図１７】輝度係数算出処理に用いる変換テーブルの例を示す図である。
【図１８】固体撮像素子における画素グループの他の例を説明するための図である。
【図１９】本実施形態における画像処理装置を実現可能なコンピュータ機能を示すブロック図である。
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態を図面に基づいて説明する。
【００１１】
（第１の実施形態）
本発明の第１の実施形態について説明する。
図３は、本発明の実施形態における撮像装置の概略構成の一例を示すブロック図である。撮像装置３００は、固体撮像素子３０１、Ａ／Ｄ変換（アナログ／デジタル変換）回路部３０２、画像処理部１００、記録部３０３、及びシステム制御部３０４を有する。
【００１２】
撮像装置３００による撮像は、まずシステム制御部３０４からの制御信号に基づいて、固体撮像素子３０１により被写体像を撮像する。ここで、本実施形態では、固体撮像素子３０１が有する画素は、第１の画素グループと第２の画素グループとの２つの画素グループに分割されている。
【００１３】
図４は、固体撮像素子３０１における２つの画素グループの画素の配列パターンを説明するための図である。図４に示すように、２つの画素グループは、２列の画素で構成された第１の画素グループの画素列と、２列の画素で構成された第２の画素グループの画素列とが、縦方向に交互に並んで配列されている。このように本実施形態では、固体撮像素子３０１が有する画素は、２列毎に組となって２つの画素グループに分割されている。なお、本実施形態の固体撮像素子におけるカラーフィルタはベイヤー配列であり、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の３色のカラーフィルタで構成される。また、図４では、説明の便宜上、固体撮像素子３０１が有する画素のうちの一部を示している。
【００１４】
固体撮像素子３０１は、１回の露光期間内に画素グループ毎に異なる露光時間を設定することが可能となっている。例えば、第２の画素グループの露光時間を第１の画素グループの露光時間に対して２倍として、第１の画素グループ及び第２の画素グループに並行して露光を行わせることが可能である。固体撮像素子３０１の出力は、Ａ／Ｄ変換回路部３０２でデジタル画像データに変換される。Ａ／Ｄ変換回路部３０２から出力された画像データは、画像処理部１００でダイナミックレンジを拡大するための処理と、ホワイトバランス補正、色分離、アパーチャ補正、ガンマ補正等の処理を行った後に記録部３０３に出力される。記録部３０３では、入力された画像データを、ＪＰＥＧ等のフォーマットに圧縮処理を行った後、ＳＤカード等の記録媒体に記録する。
【００１５】
次に、第１の実施形態における画像処理部１００における処理を、図１に示すブロック図及び図２に示すフローチャートを用いて説明する。なお、以下では、第１の画素グループの露光時間よりも第２の画素グループの露光時間が長く設定されているものとして説明する。
【００１６】
ステップＳ２００では、Ａ／Ｄ変換回路部３０２から出力された画像データが、画像処理部１００内の異露光画像生成部１０１に入力される。入力された画像データは、第１のデジタルゲイン処理１０２、第２のデジタルゲイン処理１０３、第１の画素補間処理１０５、及び第２の画素補間処理１０６にそれぞれ入力される。
【００１７】
ステップＳ２０１では、第１のデジタルゲイン処理１０２において、入力された画像データのうち、露光時間の長い第２の画素グループに属する各画素の画素信号に対して、第１の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理が行われる。例えば、第２の画素グループの露光時間が、第１の画素グループの露光時間の２倍の露光時間である場合には、デジタルゲインを０．５とする。
【００１８】
具体的には、第１の画素グループでは露光時間Ｔ１で露光し、第２の画素グループでは露光時間Ｔ２で露光した場合、第１のデジタルゲイン処理１０２におけるデジタルゲインαは、以下の式で算出される。
α＝Ｔ１／Ｔ２  …(式1)
このとき、第２の画素グループの各画素のうち、画素信号が飽和していない画素に関しては第１の画素グループの画素と同様の画素信号レベルとなるが、画素信号が飽和している画素に関しては第１の画素グループの画素とは異なる画素信号レベルとなる。第１のデジタルゲイン処理１０２の出力は、第１の合成処理１０７に入力される。
【００１９】
ステップＳ２０２では、第２のデジタルゲイン処理１０３において、入力された画像データのうち、露光時間の短い第１の画素グループに属する各画素の画素信号に対して、第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理が行われる。例えば、第１の画素グループの露光時間が、第２の画素グループの露光時間の半分の露光時間である場合には、デジタルゲインを２．０とする。
【００２０】
具体的には、第１の画素グループでは露光時間Ｔ１で露光し、第２の画素グループでは露光時間Ｔ２で露光した場合、第２のデジタルゲイン処理１０３におけるデジタルゲインβは、以下の式で算出される。
β＝Ｔ２／Ｔ１  …(式2)
このとき、第２のデジタルゲイン処理により信号が増幅された第１の画素グループの各画素は、同時に画素信号に含まれるノイズ成分も同様に増幅されるため、第２の画素グループに対してノイズ成分が強調された画素信号となる。第２のデジタルゲイン処理１０３の出力は、エッジ検出処理１０４及び第２の合成処理１０８にそれぞれ入力される。
【００２１】
ステップＳ２０３では、エッジ検出処理１０４において、第２のデジタルゲイン処理１０３から出力される画像データからエッジ情報が検出される。図５は、エッジ検出処理１０４における処理を説明するブロック図である。第２のデジタルゲイン処理１０２から出力された画像データが、ＨＢＰＦ５００、ＶＢＰＦ５０１、Ｄ４５ＢＰＦ５０２、及びＤ１３５ＢＰＦ５０３にそれぞれ入力される。
【００２２】
ＨＢＰＦ５００では、入力された画像データに対して、画素毎に水平方向の同色画素に対してバンドパスフィルタ処理が行われる。例えば、図６に示す画素配列であった場合、中心の画素Ｒ２２に対して、水平方向に（−１、０、２、０、−１）／２のような係数でのフィルタ処理が行われる。このとき、図６に示した画素Ｒ２２に対するＨＢＰＦ５００の出力Ｒ２２＿ＨＢＰＦは、以下の式で算出される。
Ｒ２２＿ＨＢＰＦ＝（２×Ｒ２２−（Ｒ２０＋Ｒ２４））／２  …(式3)
【００２３】
以下では、この水平方向に並んだ画素の信号を用いて検出するエッジを、水平方向のエッジということにする。このバンドパスフィルタ処理によって、例えば図６に示した画素Ｒ２２の位置に縦線等の水平方向のエッジが存在する場合には、出力Ｒ２２＿ＨＢＰＦはエッジの振幅に応じた正又は負の値となる。図６に示した画素Ｒ２２の位置に水平方向のエッジが存在しない場合には、出力Ｒ２２＿ＨＢＰＦは０又は０に近い値となる。ＨＢＰＦ５００の出力は、ＡＢＳ５０４に入力され絶対値が算出される。この結果、各画素位置に水平方向のエッジが存在する場合には、ＡＢＳ５０４の出力はエッジの振幅に応じて高い値となり、各画素位置に水平方向のエッジが存在しない場合には、ＡＢＳ５０４の出力は０又は０に近い値となる。ＡＢＳ５０４の出力は減算器５０８に入力される。
【００２４】
ＶＢＰＦ５０１では、入力された画像データに対して、画素毎に垂直方向の同色画素に対してバンドパスフィルタ処理が行われる。例えば、図６に示す画素配列であった場合、中心の画素Ｒ２２に対して、垂直方向に（−１、０、２、０、−１）／２のような係数でのフィルタ処理が行われる。このとき、図６に示した画素Ｒ２２に対するＶＢＰＦ５０１の出力Ｒ２２＿ＶＢＰＦは、以下の式で算出される。
Ｒ２２＿ＶＢＰＦ＝（２×Ｒ２２−（Ｒ０２＋Ｒ４２））／２  …(式4)
【００２５】
以下では、この垂直方向に並んだ画素の信号を用いて検出するエッジを、垂直方向のエッジということにする。このバンドパスフィルタ処理によって、例えば図６に示した画素Ｒ２２の位置に横線等の垂直方向のエッジが存在する場合には、出力Ｒ２２＿ＶＢＰＦはエッジの振幅に応じた正又は負の値となる。図６に示した画素Ｒ２２の位置に垂直方向のエッジが存在しない場合には、出力Ｒ２２＿ＶＢＰＦは０又は０に近い値となる。ＶＢＰＦ５０１の出力は、ＡＢＳ５０５に入力され絶対値が算出される。この結果、各画素位置に垂直方向のエッジが存在する場合には、ＡＢＳ５０５の出力はエッジの振幅に応じて高い値となり、各画素位置に垂直方向のエッジが存在しない場合には、ＡＢＳ５０５の出力は０又は０に近い値となる。ＡＢＳ５０５の出力は減算器５０８に入力される。
【００２６】
Ｄ４５ＢＰＦ５０２では、入力された画像データに対して、画素毎に斜め４５度方向の同色画素に対してバンドパスフィルタ処理が行われる。例えば、図６に示す画素配列であった場合、中心の画素Ｒ２２に対して、斜め４５度方向に（−１、０、２、０、−１）／２のような係数でのフィルタ処理が行われる。このとき、図６に示した画素Ｒ２２に対するＤ４５ＢＰＦ５０２の出力Ｒ２２＿Ｄ４５ＢＰＦは、以下の式で算出される。
Ｒ２２＿Ｄ４５ＢＰＦ＝（２×Ｒ２２−（Ｒ０４＋Ｒ４０））／２  …(式5)
【００２７】
以下では、この斜め４５度方向に並んだ画素の信号を用いて検出するエッジを、４５度方向のエッジということにする。このバンドパスフィルタ処理によって、例えば図６に示した画素Ｒ２２の位置に斜め１３５度線等の斜め４５度方向のエッジが存在する場合には、出力Ｒ２２＿Ｄ４５ＢＰＦはエッジの振幅に応じた正又は負の値となる。図６に示した画素Ｒ２２の位置に斜め４５度方向のエッジが存在しない場合には、出力Ｒ２２＿Ｄ４５ＢＰＦは０又は０に近い値となる。Ｄ４５ＢＰＦ５０２の出力は、ＡＢＳ５０６に入力され絶対値が算出される。この結果、各画素位置に斜め４５度方向のエッジが存在する場合には、ＡＢＳ５０６の出力はエッジの振幅に応じて高い値となり、各画素位置に斜め４５度方向のエッジが存在しない場合には、ＡＢＳ５０６の出力は０又は０に近い値となる。ＡＢＳ５０６の出力は減算器５０９に入力される。
【００２８】
Ｄ１３５ＢＰＦ５０３では、入力された画像データに対して、画素毎に斜め１３５度方向の同色画素に対してバンドパスフィルタ処理が行われる。例えば、図６に示す画素配列であった場合、中心の画素Ｒ２２対して、斜め１３５度方向に（−１、０、２、０、−１）／２のような係数でのフィルタ処理が行われる。このとき、図６に示した画素Ｒ２２に対するＤ１３５ＢＰＦ５０３の出力Ｒ２２＿Ｄ１３５ＢＰＦは、以下の式で算出される。
Ｒ２２＿Ｄ１３５ＢＰＦ＝（２×Ｒ２２−（Ｒ００＋Ｒ４４））／２  …(式6)
【００２９】
以下では、この斜め１３５度方向に並んだ画素の信号を用いて検出するエッジを、１３５度方向のエッジということにする。このバンドパスフィルタ処理によって、例えば図６に示した画素Ｒ２２の位置に斜め４５度線等の斜め１３５度方向のエッジが存在する場合には、出力Ｒ２２＿Ｄ１３５ＢＰＦはエッジの振幅に応じた正又は負の値となる。図６に示した画素Ｒ２２の位置に斜め１３５度方向のエッジが存在しない場合には、出力Ｒ２２＿Ｄ１３５ＢＰＦは０又は０に近い値となる。Ｄ１３５ＢＰＦ５０３の出力は、ＡＢＳ５０７に入力され絶対値が算出される。この結果、各画素位置に斜め１３５度方向のエッジが存在する場合には、ＡＢＳ５０７の出力はエッジの振幅に応じて高い値となり、各画素位置に斜め１３５度方向のエッジが存在しない場合には、ＡＢＳ５０７の出力は０又は０に近い値となる。ＡＢＳ５０７の出力は減算器５０９に入力される。
【００３０】
減算器５０８では、ＡＢＳ５０４の出力から、ＡＢＳ５０５の出力が減算される。例えば各画素に対して縦線等の水平方向のエッジが存在する場合には、ＡＢＳ５０４の出力はエッジの振幅に応じて高い値となり、ＡＢＳ５０５の出力は０又は０に近い値となるため、減算器５０８の出力はエッジの振幅に応じた正の値となる。また、例えば各画素に対して横線等の垂直方向のエッジが存在する場合には、ＡＢＳ５０４の出力は０又は０に近い値となり、ＡＢＳ５０５の出力はエッジの振幅に応じて高い値となるため、減算器５０８の出力はエッジの振幅に応じた負の値となる。同様に、例えば各画素に対して孤立点状のエッジが存在する場合には、ＡＢＳ５０４及びＡＢＳ５０５の出力がともにエッジの振幅に応じた高い値となるため、減算器５０８の出力は０又は０に近い値となる。また、例えば各画素に対してエッジが存在しない場合には、ＡＢＳ５０４及びＡＢＳ５０５の出力がともに０又は０に近い値となるため、減算器５０８の出力も０又は０に近い値となる。減算器５０８の出力はＨＶエッジ強度判定処理５１０に入力される。
【００３１】
減算器５０９では、ＡＢＳ５０６の出力から、ＡＢＳ５０７の出力が減算される。例えば各画素に対して斜め１３５度線等の斜め４５度方向のエッジが存在する場合には、ＡＢＳ５０６の出力はエッジの振幅に応じて高い値となり、ＡＢＳ５０７の出力は０又は０に近い値となるため、減算器５０９の出力はエッジの振幅に応じた正の値となる。例えば各画素に対して斜め４５度線等の斜め１３５度方向のエッジが存在する場合には、ＡＢＳ５０６の出力は０又は０に近い値となり、ＡＢＳ５０７の出力はエッジの振幅に応じて高い値となるため、減算器５０９の出力はエッジの振幅に応じた負の値となる。同様に、例えば各画素に対して孤立点状のエッジが存在する場合には、ＡＢＳ５０６及びＡＢＳ５０７の出力がともにエッジの振幅に応じた高い値となるため、減算器５０９の出力は０又は０に近い値となる。また、例えば各画素に対してエッジが存在しない場合には、ＡＢＳ５０６及びＡＢＳ５０７の出力がともに０又は０に近い値となるため、減算器５０９の出力も０又は０に近い値となる。減算器５０９の出力はＤエッジ強度判定処理５１１に入力される。
【００３２】
ＨＶエッジ強度判定処理５１０では、減算器５０８の出力に基づいて、画素毎に水平方向又は垂直方向のエッジ強度を示す縦横エッジ強度ＨＶ＿ＲＡＴＩＯが算出される。図７は、ＨＶエッジ強度判定処理５１０で縦横エッジ強度ＨＶ＿ＲＡＴＩＯの算出に用いる変換テーブルの一例を示す図である。図７においては、入力される減算器５０８の出力を横軸に示し、縦軸をＨＶエッジ強度判定処理５１０の出力である縦横エッジ強度ＨＶ＿ＲＡＴＩＯとする。
【００３３】
縦横エッジ強度ＨＶ＿ＲＡＴＩＯは、縦、横エッジのエッジ強度を示し、エッジ強度が低い、つまりエッジが存在しないと判定する場合（減算器５０８の出力が閾値７００から閾値７０２の間である場合）には０を出力する。また、水平方向のエッジ強度が十分高い場合には２５６を出力し、水平方向のエッジ強度が高くもなく低くもない場合には、水平方向のエッジ強度に応じて０〜２５６の値を出力する。同様に、垂直方向のエッジ強度が十分高い場合には−２５６を出力し、垂直方向のエッジ強度が高くもなく低くもない場合には、垂直方向のエッジ強度に応じて０〜−２５６の値を出力する。
【００３４】
図７に示した閾値７００、７０２はノイズ等の成分を誤ってエッジと判別しないような値に設定することが望ましい。また、傾き７０１、７０３はエッジの振幅が高く、縦線や横線がはっきりと検出される場合に２５６もしくは−２５６が出力されるように設定されるのが望ましい。ＨＶエッジ強度判定処理５１０の出力は、第１の画素補間処理１０５、第２の画素補間処理１０６、及び第２の合成処理１０８にそれぞれ入力される。
【００３５】
次に、Ｄエッジ強度判定処理５１１では、減算器５０９の出力に基づいて、画素毎に斜め４５度方向又は斜め１３５度方向のエッジ強度を示す斜めエッジ強度Ｄ＿ＲＡＴＩＯが算出される。図８は、Ｄエッジ強度判定処理５１１で斜めエッジ強度Ｄ＿ＲＡＴＩＯの算出に用いる変換テーブルの一例を示す図である。図８においては、入力される減算器５０９の出力を横軸に示し、縦軸をＤエッジ強度判定処理５１１の出力である斜めエッジ強度Ｄ＿ＲＡＴＩＯとする。
【００３６】
斜めエッジ強度Ｄ＿ＲＡＴＩＯは、斜め４５度方向、斜め１３５度方向のエッジのエッジ強度を示し、エッジ強度が低い、つまりエッジが存在しないと判定する場合（減算器５０９の出力が閾値８００から閾値８０２の間である場合）には０を出力する。また、斜め４５度方向のエッジ強度が十分高い場合には２５６を出力し、斜め４５度方向のエッジ強度が高くもなく低くもない場合には、斜め４５度方向のエッジ強度に応じて０〜２５６の値を出力する。同様に、斜め１３５度方向のエッジ強度が十分高い場合には−２５６を出力し、斜め１３５度方向のエッジ強度が高くもなく低くもない場合には、斜め１３５度方向のエッジ強度に応じて０〜−２５６の値を出力する。
【００３７】
図８に示した閾値８００、８０２はノイズ等の成分を誤ってエッジと判別しないような値に設定することが望ましい。また、傾き８０１、８０３はエッジの振幅が高く、斜め１３５度線や斜め４５度線がはっきりと検出される場合に２５６もしくは−２５６が出力されるように設定されるのが望ましい。Ｄエッジ強度判定処理５１１の出力は、第１の画素補間処理１０５及び第２の画素補間処理１０６にそれぞれ入力される。
【００３８】
ステップＳ２０４では、第１の画素補間処理１０５において、Ａ／Ｄ変換回路部３０２から入力された画像データのうち、露光時間の長い第２の画素グループに属する画素が存在する各画素位置に対して画素補間処理が行われる。この第１の画素補間処理１０５での画素補間処理は、ＨＶエッジ強度判定処理５１０及びＤエッジ強度判定処理５１１の出力に基づいて、その周辺に存在する第１の画素グループの画素の画素信号を用いて行われる。例えば、図９に示す画像データがＡ／Ｄ変換回路部３０２から入力され、そのうちＲ００、Ｇ１０の画素列及びＲ４０、Ｇ５０の画素列が第１の画素グループであり、それ以外の画素列が第２の画素グループであるとする。この場合、第２の画素グループに属する画素Ｒ２２の位置に対して、その周辺に存在する第１の画素グループに属する同色画素Ｒ００、Ｒ０２、Ｒ０４、Ｒ４０、Ｒ４２、Ｒ４４の画素信号を用いて補間処理が行われる。
【００３９】
具体的な処理について、図１０を用いて説明する。Ａ／Ｄ変換回路部３０２から入力された画像データは、ＡＶＥ＿ＨＯＫＡＮ１０００、Ｖ＿ＨＯＫＡＮ１００１、Ｄ４５＿ＨＯＫＡＮ１００２、及びＤ１３５＿ＨＯＫＡＮ１００３にそれぞれ入力される。
【００４０】
ＡＶＥ＿ＨＯＫＡＮ１０００では、第２の画素グループに属する画素が存在する各画素位置に対して、その周辺に存在する第１の画素グループに属する画素の平均値を算出する。例えば、図９に示した画素Ｒ２２の位置に対して処理を行う場合、その周辺に存在する第１の画素グループに属する同色画素Ｒ００、Ｒ０２、Ｒ０４、Ｒ４０、Ｒ４２、Ｒ４４の画素信号から、以下の式によって出力となる平均値Ｒ２２＿ＡＶＥを算出する。
R22_AVE＝(R00＋R02＋R04＋R40＋R42＋R44)／6  …(式7)
ＡＶＥ＿ＨＯＫＡＮ１０００の出力は、セレクタ１００４及びＤ加重加算処理１００６にそれぞれ入力される。
【００４１】
Ｖ＿ＨＯＫＡＮ１００１では、第２の画素グループに属する画素が存在する各画素位置に対して、その周辺に存在する第１の画素グループの画素のうち垂直方向に存在する画素の平均値を算出する。例えば、図９に示した画素Ｒ２２の位置に対して処理を行う場合、その周辺に存在する第１の画素グループに属する同色画素Ｒ０２、Ｒ４２の画素信号から、以下の式によって出力となる平均値Ｒ２２＿Ｖを算出する。
R22_V＝(R02＋R42)／2  …(式8)
Ｖ＿ＨＯＫＡＮ１００１の出力は、セレクタ１００４に出力される。
【００４２】
Ｄ４５＿ＨＯＫＡＮ１００２では、第２の画素グループに属する画素が存在する各画素位置に対して、その周辺に存在する第１の画素グループの画素のうち斜め４５度方向に存在する画素の平均値を算出する。例えば、図９に示した画素Ｒ２２の位置に対して処理を行う場合、その周辺に存在する第１の画素グループに属する同色画素Ｒ０４、Ｒ４０の画素信号から、以下の式によって出力となる平均値Ｒ２２＿Ｄ４５を算出する。
R22_D45＝(R04＋R40)／2  …(式9)
Ｄ４５＿ＨＯＫＡＮ１００２の出力は、セレクタ１００５に出力される。
【００４３】
Ｄ１３５＿ＨＯＫＡＮ１００３では、第２の画素グループに属する画素が存在する各画素位置に対して、その周辺に存在する第１の画素グループの画素のうちの斜め１３５度方向に存在する画素の平均値を算出する。例えば、図９に示した画素Ｒ２２の位置に対して処理を行う場合、その周辺に存在する第１の画素グループに属する同色画素Ｒ００、Ｒ４４の画素信号から、以下の式によって出力となる平均値Ｒ２２＿Ｄ１３５を算出する。
R22_D135＝(R00＋R44)／2  …(式10)
Ｄ１３５＿ＨＯＫＡＮ１００３の出力は、セレクタ１００５に出力される。
【００４４】
セレクタ１００４では、ＨＶエッジ強度判定処理５１０の出力に基づいて、ＡＶＥ＿ＨＯＫＡＮ１０００の出力又はＶ＿ＨＯＫＡＮ１００１の出力の何れかを選択して出力する。具体的には、ＨＶエッジ強度判定処理５１０の出力が正である場合、つまり水平方向のエッジが存在する場合には、垂直方向からの補間結果であるＶ＿ＨＯＫＡＮ１００１の出力を選択する。また、ＨＶエッジ強度判定処理５１０の出力が負である場合、つまり垂直方向のエッジが存在する場合には、水平方向に第１の画素グループに属する画素がないため、周辺の平均値による補間結果であるＡＶＥ＿ＨＯＫＡＮ１０００の出力を選択する。この結果、垂直方向のエッジが存在する場合には解像度の劣化が生じる。セレクタ１００４の出力はＨＶ加重加算処理１００７に入力される。
【００４５】
セレクタ１００５では、Ｄエッジ強度判定処理５１１の出力に基づいて、Ｄ４５＿ＨＯＫＡＮ１００２の出力又はＤ１３５＿ＨＯＫＡＮ１００３の出力の何れかを選択して出力する。具体的には、Ｄエッジ強度判定処理５１１の出力が正である場合、つまり斜め４５度方向のエッジが存在する場合には、斜め１３５度方向からの補間結果であるＤ１３５＿ＨＯＫＡＮ１００３の出力を選択する。また、Ｄエッジ強度判定処理５１１の出力が負である場合、つまり斜め１３５度方向のエッジが存在する場合には、斜め４５度方向からの補間結果であるＤ４５＿ＨＯＫＡＮ１００２の出力を選択する。セレクタ１００５の出力はＤ加重加算処理１００６に入力される。
【００４６】
Ｄ加重加算処理１００６では、Ｄエッジ強度判定処理５１１の出力に基づいて、ＡＶＥ＿ＨＯＫＡＮ１０００の出力とセレクタ１００５の出力とが加重加算される。具体的には、Ｄエッジ強度判定処理５１１の出力をＤ＿ＲＡＴＩＯ、ＡＶＥ＿ＨＯＫＡＮ１０００の出力をＡＶＥ＿ＯＵＴ、セレクタ１００５の出力をＤ＿ＳＥＬ＿ＯＵＴとしたとき、Ｄ加重加算処理１００６の出力Ｄ＿ＯＵＴは、以下の式で算出される。
D_OUT＝(|D_RATIO|×D_SEL_OUT＋(256−|D_RATIO|)×AVE_OUT)／256  …(式11)
【００４７】
この結果、Ｄエッジ強度判定処理５１１で４５度方向又は１３５度方向のエッジがあると判断される画素については、そのエッジの方向に応じて補間された結果が出力される。一方、Ｄエッジ強度判定処理５１１で４５度方向又は１３５度方向のエッジがないと判断される画素については、周辺の平均値で補間された結果が出力される。Ｄ加重加算処理１００６の出力は、ＨＶ加重加算処理１００７に入力される。
【００４８】
ＨＶ加重加算処理１００７では、ＨＶエッジ強度判定処理５１０の出力に基づいて、Ｄ加重加算処理１００６の出力とセレクタ１００４の出力とが加重加算される。具体的には、ＨＶエッジ強度判定処理５１１の出力をＨＶ＿ＲＡＴＩＯ、Ｄ加重加算処理１００６の出力をＤ＿ＯＵＴ、セレクタ１００４の出力をＨＶ＿ＳＥＬ＿ＯＵＴとしたとき、ＨＶ加重加算処理１００７の出力ＨＶ１＿ＯＵＴは、以下の式で算出される。
HV1_OUT＝(|HV_RATIO|×HV_SEL_OUT＋(256−|HV_RATIO|)×D_OUT)／256  …(式12)
【００４９】
この結果、ＨＶエッジ強度判定処理５１０で水平方向のエッジがあると判断される画素については、垂直方向から補間された結果が出力される。一方、ＨＶエッジ強度判定処理５１０で垂直方向のエッジがあると判断される画素については、周辺の平均値で補間された結果が出力される。また、ＨＶエッジ強度判定処理５１０で水平方向、垂直方向のエッジがないと判断される画素については、Ｄ加重加算処理１００６の出力Ｄ＿ＯＵＴが出力される。つまり、斜め方向のエッジがある場合には斜めの方向から補間された結果が出力され、斜め方向のエッジがない場合には周辺の平均値から補間された結果が出力される。ＨＶ加重加算処理１００７の出力は、第１の画素補間処理１０５の出力として、第１の合成処理１０７に入力される。
【００５０】
ステップＳ２０５では、第２の画素補間処理１０６において、Ａ／Ｄ変換回路部３０２から入力された画像データのうち、露光時間の短い第１の画素グループに属する画素が存在する各画素位置に対して画素補間処理が行われる。この第２の画素補間処理１０６での画素補間処理は、第１の画素補間処理１０５と同様に、ＨＶエッジ強度判定処理５１０及びＤエッジ強度判定処理５１１の出力に基づいて、その周辺に存在する第２の画素グループの画素の画素信号を用いて行われる。例えば、図９に示した画像データがＡ／Ｄ変換回路部３０２から入力され、そのうちＲ２０、Ｇ３０の画素列及びＲ６０、Ｇ７０の画素列が第２の画素グループであり、それ以外の画素列が第１の画素グループであるとする。この場合、第１の画素グループに属する画素Ｒ４２の位置に対して、その周辺に存在する第２の画素グループに属する同色画素Ｒ２０、Ｒ２２、Ｒ２４、Ｒ６０、Ｒ６２、Ｒ６４の画素信号を用いて補間処理が行われる。
【００５１】
具体的な処理については、第１の画素補間処理１０５と同様である。処理対象の画素に対して、周辺の画素の平均値を用いた補間処理の出力、垂直方向からの補間処理の出力、斜め４５度方向からの補間処理の出力、斜め１３５度方向からの補間処理の出力を用いて加重加算処理を行った結果が出力される。第２の画素補間処理１０６の出力は、第２の合成処理１０８に入力される。
【００５２】
ステップＳ２０６では、第１の合成処理１０７において、第２の画素グループに属する画素が存在する各画素位置に対して、第１のデジタルゲイン処理１０２の出力と第１の画素補間処理１０５の出力とが合成される。第１のデジタルゲイン処理１０２の出力と第１の画素補間処理１０５の出力とは、Ａ／Ｄ変換回路部３０２の出力に基づいた係数によって合成される。
【００５３】
具体的な処理について、図１１を用いて説明する。Ａ／Ｄ変換回路部３０２の出力が輝度係数算出処理１１００に入力される。輝度係数算出処理１１００では、合成対象の第２の画素グループの画素の信号値（輝度値）に基づいて輝度係数が算出される。図１２は、輝度係数算出処理１１００で輝度係数ＹＭＩＸ＿ＲＡＴＩＯの算出に用いる変換テーブルの一例を示す図である。図１２においては、入力されるＡ／Ｄ変換回路部３０２の出力を横軸に示し、縦軸を輝度係数算出処理１１００の出力である輝度係数ＹＭＩＸ＿ＲＡＴＩＯとする。
【００５４】
輝度係数ＹＭＩＸ＿ＲＡＴＩＯは、各画素の信号値（輝度値）が飽和レベルに対して十分に低い場合には２５６を出力し、飽和レベルに近づくにつれて２５６から０となるような値を出力し、飽和レベル付近の所定の値以上では０を出力する。図１２に示した閾値１２００は飽和レベルに対してノイズ等の影響を鑑みて設定されることが望ましい。また、傾き１２０１は飽和レベルに対して十分に低い場合には２５６を出力するように設定されるのが望ましい。輝度係数算出処理１１００の出力は、加重加算処理１１０１に入力される。
【００５５】
加重加算処理１１０１では、輝度係数算出処理１１００の出力に基づいて、第２の画素グループに属する画素に対して第１のデジタルゲイン処理１０２の出力と第１の画素補間処理１０５の出力とが加重加算される。輝度係数算出処理１１００の出力をＹＭＩＸ＿ＲＡＴＩＯ、第１のデジタルゲイン処理１０２の出力をＤＧＡＩＮ１＿ＯＵＴ、第１の画素補間処理１０５の出力をＨＶ１＿ＯＵＴとしたとき、加重加算処理１１０１の出力ＤＡＲＫ＿ＯＵＴは、以下の式で算出される。
DARK_OUT＝(YMIX_RATIO×DGAIN1_OUT＋(256−YMIX_RATIO)×HV1_OUT)／256  …(式13)
【００５６】
この結果、輝度係数算出処理１１００で画素の信号値が飽和レベルより十分に低いと判断される画素については、第１のデジタルゲイン処理１０２においてデジタルゲイン処理がなされた画素値が出力される。輝度係数算出処理１１００で画素の信号値が飽和レベルに近いと判断される画素については、第１の画素補間処理１０５で補間処理により生成された画素値が出力される。このため、画素の信号値が飽和しておらず、第１のデジタルゲイン処理１０２によって第１の画素グループとの差異が相殺可能な画素に関しては、その画素位置でサンプリングされた第１のデジタルゲイン処理の結果が出力される。また、画素の信号値が飽和しており、第１のデジタルゲイン処理１０２によって第１の画素グループとの差異が相殺不可能な画素に関しては、第１の画素補間処理１０５によって周辺の画素値から補間された結果が出力される。この処理によって、加重加算処理１１０１の出力は、第２の画素グループに属する画素においても、デジタルゲイン処理又は画素補間処理によって第１の画素グループと相対的に同等の画素信号レベルとなる。加重加算処理１１０１の出力は、異露光画像生成部１０１の出力として、第１の現像処理１０９に入力される。
【００５７】
ステップＳ２０７では、第２の合成処理１０８において、第１の画素グループに属する画素が存在する各画素位置に対して、ＨＶエッジ強度判定処理５１０の出力に基づいて第２のデジタルゲイン処理１０３の出力と第２の画素補間処理１０６の出力が合成される。
【００５８】
具体的な処理について、図１３を用いて説明する。図１３に示す加重加算処理１３００では、ＨＶエッジ強度判定処理５１０の出力に基づいて、第１の画素グループに属する画素に対して第２のデジタルゲイン処理１０３の出力と第２の画素補間処理１０６の出力とが加重加算される。ＨＶエッジ強度判定処理５１０の出力をＨＶ＿ＲＡＴＩＯ、第２のデジタルゲイン処理１０３の出力をＤＧＡＩＮ２＿ＯＵＴ、第２の画素補間処理１０６の出力をＨＶ２＿ＯＵＴとしたとき、加重加算処理１３００の出力ＨＩ＿ＯＵＴは、以下の式で算出される。
IF (HV_RATIO <0) ｛
HI_OUT＝(|HV_RATIO|×DGAIN2_OUT＋(256−|HV_RATIO|)×HV2_OUT）／256
｝ ELSE ｛
HI_OUT＝HV2_OUT
｝ …  (式14)
【００５９】
この結果、ＨＶエッジ強度判定処理５１０の出力が負である場合、つまり垂直方向のエッジがあると判断された場合には、そのエッジ強度に応じた結果が出力される。垂直方向のエッジ強度が高いと判断された場合には、第２のデジタルゲイン処理１０３の結果が出力され、垂直方向のエッジ強度が低いと判断された場合には、第２の画素補間処理１０６の結果が出力される。また、ＨＶエッジ強度判定処理５１０の出力が正である場合、つまり垂直方向のエッジがないと判断された場合には、第２の画素補間処理１０６の結果が出力される。
【００６０】
このため、対象画素に垂直エッジが存在しない場合には、第２の画素補間処理１０６による画素補間結果が出力され、第２のデジタルゲイン処理１０３のデジタルゲイン処理によるノイズ成分が増幅された結果は出力されない。また、対象画素に垂直エッジが存在し、かつそのエッジ強度が高い場合には、第２のデジタルゲイン処理１０３によるデジタルゲイン処理の結果が出力される。したがって、水平方向に第２の画素グループが存在しないため、それ以外の方向から補間することによって解像度の劣化した第２の画素補間処理１０６による画素補間結果は出力されない。この処理によって、加重加算処理１３００の出力は、第１の画素グループに属する画素においても、デジタルゲイン処理又は画素補間処理によって第２の画素グループと相対的に同等の画素信号レベルとなる。加重加算処理１３００の出力は、異露光画像生成部１０１の出力として、第２の現像処理１１０に入力される。
【００６１】
ステップＳ２０８では、第１の現像処理１０９及び第２の現像処理１１０において、それぞれホワイトバランス補正、色分離、アパーチャ補正、ガンマ補正等の処理等が行われる。第１の現像処理１０９及び第２の現像処理１１０の出力は、それぞれＨＤＲ合成処理１１１に入力される。第１の現像処理１０９の出力は、すべての画素において第１の画素グループに属する画素と相対的に同等の信号レベルをもつ画像に対して現像処理が行われたものである。また、第２の現像処理１１０の出力は、すべての画素において第２の画素グループに属する画素と相対的に同等の信号レベルをもつ画像に対して現像処理が行われたものである。
【００６２】
ステップＳ２０９では、ＨＤＲ合成処理１１１において、前述した特許文献１等に記載の公知の手法を用いて、第１の現像処理１０９の出力と第２の現像処理１１０の出力とを合成し、黒つぶれや白とびを低減したダイナミックレンジの広い撮像画像を生成する。
【００６３】
このように第１の実施形態では、固体撮像素子３０１が有する画素を２つの画素グループに分け、１回の露光期間内に２つの画素グループでそれぞれ異なる露光時間で撮像する。そして、それぞれの画素グループに属さない画素位置の画素信号を、デジタルゲイン処理又は画素補間処理により生成した画素信号で代用することで、複数枚の画像を同時刻に取得する。したがって、ダイナミックレンジの広い画像信号を取得するための画像合成時に高度な位置合わせ技術を用いる必要がない。また、デジタルゲイン処理の出力と画素補間処理の出力とを適宜選択して用いることにより、Ｓ／Ｎの劣化や、画素補間による解像度の劣化を低減した撮像画像を取得することが可能である。
【００６４】
なお、図２に示した画像処理部１００の処理の流れは一例であって、これに限定されるものではない。例えば、第１のデジタルゲイン処理は、第１の合成処理を開始する前に完了していれば良く、第２のデジタルゲイン処理は、エッジ検出処理を開始する前に完了していれば良い。また、例えば、第１の画素補間処理及び第２の画素補間処理は順不同であり、同様に第１の合成処理及び第２の合成処理も順不同である。
【００６５】
（第２の実施形態）
次に、本発明の第２の実施形態について説明する。第２の実施形態は、前述した第１の実施形態とは画像処理部１００の構成及び処理が異なり、その他は第１の実施形態と同様である。第２の実施形態における画像処理部１００における処理を、図１４に示すブロック図及び図１５に示すフローチャートを用いて説明する。
【００６６】
ステップＳ１５００では、Ａ／Ｄ変換回路部３０２から出力された画像データが、画像処理部１００内のダイナミックレンジ拡大部１４００に入力される。入力された画像データは、第１のデジタルゲイン処理１４０１、第１の画素補間処理１４０３、及び第２の画素補間処理１４０４にそれぞれ入力される。
【００６７】
ステップＳ１５０１では、第１のデジタルゲイン処理１４０１において、入力された画像データのうち、露光時間の短い第１の画素グループに属する各画素の画素信号に対して、第２の画素グループの露光時間との差異を相殺するためのデジタルゲイン処理を行う。例えば、第１の画素グループの露光時間が、第２の画素グループの露光時間の半分の露光時間である場合には、デジタルゲインを２．０とする。
【００６８】
具体的には、第１の画素グループでは露光時間Ｔ１で露光し、第２の画素グループでは露光時間Ｔ２で露光した場合、第１のデジタルゲイン処理１４０１におけるデジタルゲインγは以下の式で算出される。
γ＝Ｔ２／Ｔ１  …(式15)
このとき、第１のデジタルゲイン処理により信号が増幅された第１の画素グループの各画素は、同時に画素信号に含まれるノイズ成分も同様に増幅されるため、第２の画素グループに対してノイズ成分が強調された画素信号となる。第１のデジタルゲイン処理１４０１の出力は、エッジ検出処理１４０２及び合成処理１４０６にそれぞれ入力される。
【００６９】
ステップＳ１５０２では、エッジ検出処理１４０２において、第１のデジタルゲイン処理１４０１から出力される画像データからエッジ情報が検出される。エッジ検出処理１４０２の処理の詳細は、第１の実施形態におけるエッジ検出処理１０４と同様である。エッジ検出処理１４０２では、水平方向又は垂直方向のエッジ強度を示すＨＶエッジ強度判定処理の結果が出力され、第１の画素補間処理１４０３、第２の画素補間処理１４０４、及び合成処理１４０６にそれぞれ入力される。また、同様に斜め４５度方向又は斜め１３５度方向のエッジ強度を示すＤエッジ強度判定処理の結果が出力され、第１の画素補間処理１４０３及び第２の画素補間処理１２０４にそれぞれ入力される。
【００７０】
ステップＳ１５０３では、第１の画素補間処理１４０３において、第１の実施形態における第１の画素補間処理１０５と同様の画素補間処理が行われる。すなわち、第１の画素補間処理１４０３では、Ａ／Ｄ変換回路部３０２から入力された画像データのうち、露光時間の長い第２の画素グループに属する画素が存在する各画素位置に対して画素補間処理が行われる。第１の画素補間処理１４０３での画素補間処理は、ＨＶエッジ強度判定処理及びＤエッジ強度判定処理の出力に基づいて、その周辺に存在する第１の画素グループの画素の画素信号を用いて行われる。この結果、第２の画素グループに属する画素位置においても、画素補間処理によって第１の画素グループと相対的に同等の画素信号レベルとなる。第１の画素補間処理１４０３の出力は、第２のデジタルゲイン処理１４０５に入力される。
【００７１】
ステップＳ１５０４では、第２の画素補間処理１４０４において、第１の実施形態における第２の画素補間処理１０６と同様の画素補間処理が行われる。すなわち、第２の画素補間処理１４０４では、Ａ／Ｄ変換回路部３０２から入力された画像データのうち、露光時間の短い第１の画素グループに属する画素が存在する各画素位置に対して画素補間処理が行われる。第２の画素補間処理１４０４での画素補間処理は、ＨＶエッジ強度判定処理及びＤエッジ強度判定処理の出力に基づいて、その周辺に存在する第２の画素グループの画素の画素信号を用いて行われる。この結果、第１の画素グループに属する画素位置においても、画素補間処理によって第２の画素グループと相対的に同等の画素信号レベルとなる。第２の画素補間処理１４０４の出力は、合成処理１４０６に入力される。
【００７２】
ステップＳ１５０５では、第２のデジタルゲイン処理１４０５において、第１の画素補間処理１４０３の結果が入力され、すべての画素に対してデジタルゲイン処理が行われる。第２のデジタルゲイン処理１４０５におけるデジタルゲインとしては、第１のデジタルゲイン処理と同様に、露光時間の長い第２の画素グループの露光時間との差異を相殺するためのデジタルゲインγを用いる。この結果、すべての画素において第２の画素グループと相対的に同等な信号レベルとなり、第２の画素グループのうち飽和レベルに達することで情報が失われていた画素信号に対しても信号値を再現することが可能である。第２のデジタルゲイン処理１４０５の出力は、合成処理１４０６に入力される。
【００７３】
ステップＳ１５０６では、合成処理１４０６において、第１のデジタルゲイン処理１４０１、第２の画素補間処理１４０４、第２のデジタルゲイン処理１４０５、及びエッジ検出処理１４０２の結果が入力され合成処理が行われる。合成処理１４０６における処理について、図１６を用いて説明する。
【００７４】
第１の加重加算処理１６００では、エッジ検出処理１４０２のＨＶエッジ強度判定処理の出力に基づいて、第１のデジタルゲイン処理１４０１の出力と第２の画素補間処理１４０４の出力が加重加算される。エッジ検出処理１４０２のＨＶエッジ強度判定処理の出力をＨＶ２＿ＲＡＴＩＯ、第１のデジタルゲイン処理１４０１の出力をＤＧＡＩＮ３＿ＯＵＴ、第２の画素補間処理１４０４の出力をＨＶ３＿ＯＵＴとする。このとき、第１の加重加算処理１６００の出力ＷＡ１＿ＯＵＴは、以下の式で算出される。
IF (HV2_RATIO <0) ｛
WA1_OUT＝(|HV2_RATIO|×DGAIN3_OUT＋(256−|HV2_RATIO|)×HV3_OUT)／256
｝ ELSE ｛
WA1_OUT＝HV3_OUT
｝ …(式16)
【００７５】
この結果、エッジ検出処理１４０２のＨＶエッジ強度判定処理の出力が負である場合、つまり垂直方向のエッジがあると判断された場合には、そのエッジの強度に応じた結果が出力される。垂直方向のエッジ強度が高いと判断された場合には、第１のデジタルゲイン処理１４０１の結果が出力され、垂直方向のエッジ強度が低いと判断された場合には、第２の画素補間処理１４０４の結果が出力される。また、ＨＶエッジ強度判定処理の出力が正である場合、つまり垂直方向のエッジがないと判断された場合には、第２の画素補間処理１４０４の結果が出力される。
【００７６】
このため、対象画素に垂直エッジが存在しない場合には、第２の画素補間処理１４０４による画素補間結果が出力され、第１のデジタルゲイン処理１４０１のデジタルゲイン処理によるノイズ成分が強調された結果は出力されない。また、対象画素に垂直エッジが存在し、かつそのエッジ強度が高い場合には、第１のデジタルゲイン処理１４０１によるデジタルゲイン処理の結果が出力され、画素補間処理により解像度の劣化した第２の画素補間処理１４０４による画素補間結果は出力されない。第１の加重加算処理１６００の出力は、第２の加重加算処理１６０２に入力される。
【００７７】
輝度係数算出処理１６０１では、第２のデジタルゲイン処理１４０５の結果が入力され、各画素の信号値（輝度値）に基づいて輝度係数が算出される。図１７は、輝度係数算出処理１６０１で輝度係数ＹＭＩＸ２＿ＲＡＴＩＯの算出に用いる変換テーブルの一例を示す図である。図１７においては、入力される第２のデジタルゲイン処理１４０５の出力を横軸に示し、縦軸を輝度係数算出処理１１６０１の出力である輝度係数ＹＭＩＸ２＿ＲＡＴＩＯとする。
【００７８】
輝度係数ＹＭＩＸ２＿ＲＡＴＩＯは、各画素の信号値（輝度値）がＡ／Ｄ変換回路部３０２の出力時の第２の画素グループに対する飽和レベルに対して十分に低い場合には２５６を出力する。また、各画素の信号値（輝度値）が飽和レベルに近づくにつれて２５６から０となるよう変化する値を出力し、Ａ／Ｄ変換回路部３０２の出力時の第２の画素グループに対する飽和レベル又はそれ以上の信号レベルでは０を出力する。図１７に示した閾値１８００はＡ／Ｄ変換回路部３０２の出力時の第２の画素グループに対する飽和レベルに対してノイズ等の影響を鑑みて設定されることが望ましい。また、傾き１８０１はＡ／Ｄ変換回路部３０２の出力時の第２の画素グループに対する飽和レベルに対して十分に低い場合には２５６を出力するように設定されるのが望ましい。輝度係数算出処理１６０１の出力は、第２の加重加算処理１６０２に入力される。
【００７９】
第２の加重加算処理１６０２では、第２のデジタルゲイン処理１４０５、第１の加重加算処理１６００、及び輝度係数算出処理１６０１の結果が入力される。第２の加重加算処理１６０２では、輝度係数算出処理１６０１の出力に基づいて、第２のデジタルゲイン処理１４０５の出力と第１の加重加算処理１６００の出力とが加重加算される。輝度係数算出処理１６０１の出力をＹＭＩＸ２＿ＲＡＴＩＯ、第２のデジタルゲイン処理１４０５の出力をＤＧＡＩＮ３＿ＯＵＴ、第１の加重加算処理１６００の出力をＷＡ１＿ＯＵＴとする。このとき、第２の加重加算処理１６０２の出力ＷＡ２＿ＯＵＴは、以下の式で算出される。
WA2_OUT＝(YMIX2_RATIO×WA1_OUT＋(256−YMIX2_RATIO)×DGAIN3_OUT)／256  …(式17)
【００８０】
この結果、輝度係数算出処理１６０１で画素の信号値がＡ／Ｄ変換回路部３０２の出力時の第２の画素グループに対する飽和レベルより十分に低いと判断される画素については、第１の加重加算処理１６００の結果が出力される。輝度係数算出処理１６０１で画素の信号値がＡ／Ｄ変換回路部３０２の出力時の第２の画素グループに対する飽和レベル又はそれ以上だと判断される画素については、第２のデジタルゲイン処理１４０５の結果が出力される。このため、対象画素がＡ／Ｄ変換回路部３０２の出力時の第２の画素グループに対する飽和レベルに達しておらず、デジタルゲイン処理又は第２の画素グループの画素補間で対象画素の画素値を生成可能な場合、第１の加重加算処理１６００の結果が出力される。また、対象画素が飽和レベルに達しており、デジタルゲイン処理又は第２の画素グループに属する画素に対する画素補間処理では同様に飽和してしまう画素に関しては、対象画素の情報を復元可能な第２のデジタルゲイン処理１４０５の結果が出力される。第２の加重加算処理１６０２の出力は、合成処理１４０６の出力として、現像処理１４０７に入力される。
【００８１】
ステップＳ１５０７では、現像処理１４０７において、ホワイトバランス補正、色分離、アパーチャ補正、ガンマ補正等の処理等が行われる。このとき、第２の画素グループで飽和レベルに達している画素に対しても、第２のデジタルゲイン処理１４０５により画素情報が復元されるため、現像処理１４０７ではその情報を用いることでダイナミックレンジの広い画像を生成することが可能である。
【００８２】
このように第２の実施形態では、固体撮像素子３０１が有する画素を２つの画素グループに分け、１回の露光期間内に２つの画素グループでそれぞれ異なる露光時間で撮像する。そして、それぞれの画素グループに属さない画素位置の画素信号を、デジタルゲイン処理又は画素補間処理により生成した画素信号で代用することで、１回の撮像でダイナミックレンジの広い撮像画像を取得することが可能である。
【００８３】
なお、図４に示した固体撮像素子３０１における２つの画素グループの画素の配列パターンは一例であり。これに限定されるものではない。例えば、固体撮像素子３０１として図１８に示すように斜め方向に第１の画素グループ、第２の画素グループが並ぶ構成であってもよい。図１８に示す固体撮像素子３０１を用いた場合には、着目画素の周囲の上下左右方向に互いに異なるグループに属する同色画素が存在するため、図４に示した固体撮像素子３０１を用いた場合に比べ、垂直方向の解像度の劣化を低減することが可能である。
【００８４】
（本発明の他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、前述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００８５】
例えば、第１及び第２の実施形態に示した画像処理装置は、図１９に示すようなコンピュータ機能１９００を有し、そのＣＰＵ１９０１により第１及び第２の実施形態での動作が実施される。コンピュータ機能１９００は、図１９に示すように、ＣＰＵ１９０１と、ＲＯＭ１９０２と、ＲＡＭ１９０３とを備える。また、操作部（ＣＯＮＳ）１９０９のコントローラ（ＣＯＮＳＣ）１９０５と、ＣＲＴやＬＣＤ等の表示部としてのディスプレイ（ＤＩＳＰ）１９１０のディスプレイコントローラ（ＤＩＳＰＣ）１９０６とを備える。さらに、ハードディスク（ＨＤ）１９１１、及びフレキシブルディスク等の記憶デバイス（ＳＴＤ）１９１２のコントローラ（ＤＣＯＮＴ）１９０７と、ネットワークインタフェースカード（ＮＩＣ）１９０８とを備える。それら機能部１９０１、１９０２、１９０３、１９０５、１９０６、１９０７、１９０８は、システムバス１９０４を介して互いに通信可能に接続された構成としている。
【００８６】
ＣＰＵ１９０１は、ＲＯＭ１９０２又はＨＤ１９１１に記憶されたソフトウェア、又はＳＴＤ１９１２より供給されるソフトウェアを実行することで、システムバス１９０４に接続された各構成部を総括的に制御する。すなわち、ＣＰＵ１９０１は、前述したような動作を行うための処理プログラムを、ＲＯＭ１９０２、ＨＤ１９１１、又はＳＴＤ１９１２から読み出して実行することで、第１及び第２の実施形態での動作を実現するための制御を行う。ＲＡＭ１９０３は、ＣＰＵ１９０１の主メモリ又はワークエリア等として機能する。ＣＯＮＳＣ１９０５は、ＣＯＮＳ１９０９からの指示入力を制御する。ＤＩＳＰＣ１９０６は、ＤＩＳＰ１９１０の表示を制御する。ＤＣＯＮＴ１９０７は、ブートプログラム、種々のアプリケーション、ユーザファイル、ネットワーク管理プログラム、及び第１及び第２の実施形態における前記処理プログラム等を記憶するＨＤ１９１１及びＳＴＤ１９１２とのアクセスを制御する。ＮＩＣ１９０８はネットワーク１９１３上の他の装置と双方向にデータをやりとりする。
【００８７】
なお、前記実施形態は、何れも本発明を実施するにあたっての具体化のほんの一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【符号の説明】
【００８８】
１００：画像処理部  １０１：異露光画像生成部  １０２：第１のデジタルゲイン処理  １０３：第２のデジタルゲイン処理  １０４：エッジ検出処理  １０５：第１の画素補間処理  １０６：第２の画素補間処理  １０７：第１の合成処理  １０８：第２の合成処理  １０９：第１の現像処理  １１０：第２の現像処理  １１１：ＨＣＲ合成処理  ３０１：固体撮像素子  ３０４：システム制御部  １４００：ダイナミックレンジ拡大部  １４０１：第１のデジタルゲイン処理  １４０２：エッジ検出処理  １４０３：第１の画素補間処理  １４０４：第２の画素補間処理  １４０５：第２のデジタルゲイン処理  １４０６：合成処理  １４０７：現像処理
【図１】
2015185917.tif 000003
【図２】
2015185917.tif 000004
【図３】
2015185917.tif 000005
【図４】
2015185917.tif 000006
【図５】
2015185917.tif 000007
【図６】
2015185917.tif 000008
【図７】
2015185917.tif 000009
【図８】
2015185917.tif 000010
【図９】
2015185917.tif 000011
【図１０】
2015185917.tif 000012
【図１１】
2015185917.tif 000013
【図１２】
2015185917.tif 000014
【図１３】
2015185917.tif 000015
【図１４】
2015185917.tif 000016
【図１５】
2015185917.tif 000017
【図１６】
2015185917.tif 000018
【図１７】
2015185917.tif 000019
【図１８】
2015185917.tif 000020
【図１９】
2015185917.tif 000021