(57)【要約】【課題】  １枚のＨＤＲ画像を従来よりも少ない撮影回数で取得するための技術を提供すること。【解決手段】  分光透過率におけるピーク波長が同じで分光透過率の分布が互いに異なる第１のカラーフィルタ群及び該第１のカラーフィルタ群の何れとも分光透過率におけるピーク波長が異なる第２のカラーフィルタ群がベイヤ配置に従って２次元的に配置されている撮像センサを有する。【選択図】  図１
2018056848.tif 000002
【特許請求の範囲】
【請求項１】
分光透過率におけるピーク波長が同じで分光透過率の分布が互いに異なる第１のカラーフィルタ群及び該第１のカラーフィルタ群の何れとも分光透過率におけるピーク波長が異なる第２のカラーフィルタ群がベイヤ配置に従って２次元的に配置されている撮像センサを有する撮像装置。
【請求項２】
前記第１のカラーフィルタ群は、分光透過率におけるピーク波長として緑色に対応するピーク波長を有し且つ第１の分光透過率を有するカラーフィルタと、分光透過率におけるピーク波長として緑色に対応するピーク波長を有し且つ該第１の分光透過率よりも低い第２の分光透過率を有するカラーフィルタと、を含むことを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記第２のカラーフィルタ群は、分光透過率におけるピーク波長が緑色に対応するピーク波長よりも長いカラーフィルタと、分光透過率におけるピーク波長が緑色に対応するピーク波長よりも短いカラーフィルタと、を含むことを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
前記撮像装置は更に、
前記第１のカラーフィルタ群のうち前記第１の分光透過率を有するカラーフィルタに対応する前記撮像センサ上の撮像素子の出力である第１のカラー画像、前記第１のカラーフィルタ群のうち前記第２の分光透過率を有するカラーフィルタに対応する前記撮像センサ上の撮像素子の出力である第２のカラー画像、を取得する手段と、
前記第１のカラー画像の輝度値と前記第２のカラー画像の輝度値とを画素ごとに選択的に用いて第３のカラー画像の輝度成分を決定する手段と、
前記第２のカラーフィルタ群に対応する前記撮像センサ上の撮像素子の出力であるカラー画像の輝度値に基づいて、前記第３のカラー画像の色差成分を決定する決定手段と
を備えることを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記決定手段は、前記第２のカラーフィルタ群に対応する前記撮像センサ上の撮像素子の出力であるカラー画像を合成した画像の輝度値に基づいて、前記第３のカラー画像の色差成分を決定することを特徴とする請求項４に記載の撮像装置。
【請求項６】
前記決定手段は、前記第２のカラーフィルタ群において同じピーク波長を有するカラーフィルタごとに、該カラーフィルタに対応する前記撮像センサ上の撮像素子の出力であるカラー画像の輝度値を画素ごとに選択的に用いて第４のカラー画像を生成し、該第４のカラー画像に基づいて前記第３のカラー画像の色差成分を決定することを特徴とする請求項４に記載の撮像装置。
【請求項７】
前記撮像装置は更に、
前記第３のカラー画像に対してデモザイキング処理を含む画像処理を施して画像処理済み画像を生成し、該画像処理済み画像を出力する手段を備えることを特徴とする請求項４乃至６の何れか１項に記載の撮像装置。
【請求項８】
分光透過率におけるピーク波長が同じで分光透過率の分布が互いに異なる第１のカラーフィルタ群及び該第１のカラーフィルタ群の何れとも分光透過率におけるピーク波長が異なる第２のカラーフィルタ群がベイヤ配置に従って２次元的に配置されている撮像センサを有する撮像装置が、
前記第１のカラーフィルタ群のうち分光透過率におけるピーク波長として緑色に対応するピーク波長を有し且つ第１の分光透過率を有するカラーフィルタに対応する前記撮像センサ上の撮像素子の出力である第１のカラー画像、前記第１のカラーフィルタ群のうち分光透過率におけるピーク波長として緑色に対応するピーク波長を有し且つ該第１の分光透過率よりも低い第２の分光透過率を有するカラーフィルタに対応する前記撮像センサ上の撮像素子の出力である第２のカラー画像、を取得し、
前記第１のカラー画像の輝度値と前記第２のカラー画像の輝度値とを画素ごとに選択的に用いて第３のカラー画像の輝度成分を決定し、
前記第２のカラーフィルタ群に対応する前記撮像センサ上の撮像素子の出力であるカラー画像の輝度値に基づいて、前記第３のカラー画像の色差成分を決定する
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ＨＤＲ画像の生成技術に関するものである。
【背景技術】
【０００２】
高いダイナミックレンジ（ＨＤＲ：Ｈigh Ｄynamic Ｒange）の動画撮影が可能な画像処理装置において、異なるシャッター速度の画像を複数枚ずつＨＤＲ合成すると、計算上シャッター速度以上のフレームレートで合成画像を作成することはできない。さらに、複数ショットからの合成では、動いている物体を撮影してＨＤＲ合成した際に、うまく合成できないという問題がある。
【０００３】
しかし次のような構成によれば、１ショットでＨＤＲ画像を取得することが可能となる（特許文献１）。即ちこの構成は、第１の光学領域および第２の光学領域を有するレンズ光学系と、レンズ光学系を通過した光が入射する、少なくとも複数の第１の画素と複数の第２の画素とを有する撮像素子と、を有する。更にこの構成は、第１の光学領域および第２の光学領域にそれぞれ位置する第１の調光部および第２の調光部とを含む分割調光素子と、分割調光素子の第１の調光部の透過率および第２の調光部の透過率の少なくとも一方を変更する制御部と、を有する。更にこの構成は、レンズ光学系と撮像素子との間に配置されたアレイ状光学素子であって、第１の光学領域を通過した光を複数の第１の画素に入射させ、第２の光学領域を通過した光を複数の第２の画素に入射させるアレイ状光学素子を有する。
【０００４】
また、ＣＣＤ撮像素子の色フィルタには、２×２の４画素ブロックが同色で、ブロックを単位とした場合の配列がベイヤ配列であるような複ベイヤ配列が用いられる。この場合、４画素ブロックからなる各複画素内には高低２つの濃度の同色フィルタが市松配置（対角配置）されている。例えばＲの複画素はＲの分光感度特性を持つ２×２の４画素から構成されるが、このうちの対角配置された２画素はフィルタ濃度の低い高感度画素（ＬＲ）であり、別の対角配置された２画素はフィルタ濃度の高い低感度画素（ｄＲ）である。Ｇ，Ｂの複画素についても同様の構造であり、複画素の色の違いを無視して考えれば、画素配列全体にわたって高低２種類の感度の画素（Ｌ、ｄ）が市松配置された形式となっている（特許文献２）。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】国際公開第２０１３／１１４８８９号
【特許文献２】特開２００２−１６５２２６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら特許文献１に記載の発明では複雑な光学系を必要とし、さらにＮＤフィルタのような調光部を用いてフィルタの透過率を変えているため、装置が高価になってしまう。特許文献２に記載の発明では、ＲＧＢすべてのフィルタを濃淡のそれぞれについて用意し、ＲＧ１Ｇ２Ｂの４画素を一組として濃淡制御しているため、デモザイクした際に不規則なモアレが生じる危険性が高い。
【０００７】
本発明はこのような問題に鑑みてなされたものであり、１枚のＨＤＲ画像を従来よりも少ない撮影回数で取得するための技術を提供する。
【課題を解決するための手段】
【０００８】
本発明の一様態は、分光透過率におけるピーク波長が同じで分光透過率の分布が互いに異なる第１のカラーフィルタ群及び該第１のカラーフィルタ群の何れとも分光透過率におけるピーク波長が異なる第２のカラーフィルタ群がベイヤ配置に従って２次元的に配置されている撮像センサを有する。
【発明の効果】
【０００９】
本発明の構成によれば、１枚のＨＤＲ画像を従来よりも少ない撮影回数で取得することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成例を示すブロック図。
【図２】ＨＤＲ合成処理のフローチャート。
【図３】ステップＳ３における処理の詳細を示すフローチャート。
【図４】第１の実施形態の効果を説明するための図。
【図５】カラーフィルタ及びプレーンを示す図。
【図６】変形例２を説明するための図。
【図７】ステップＳ３における処理の詳細を示すフローチャート。
【図８】ステップＳ３における処理の詳細を示すフローチャート。
【図９】カラーフィルタ及びプレーンを示す図。
【図１０】第２の実施形態の効果を説明するための図。
【発明を実施するための形態】
【００１１】
以下、添付図面を参照し、本発明の実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１２】
［第１の実施形態］
以下の各実施形態や変形例に係る撮像装置は、次のような構成を有する撮像装置の一例として説明する。すなわち、分光透過率におけるピーク波長が同じで分光透過率の分布が互いに異なる第１のカラーフィルタ群及び該第１のカラーフィルタ群の何れとも分光透過率におけるピーク波長が異なる第２のカラーフィルタ群がベイヤ配置に従って２次元的に配置されている撮像センサを有する撮像装置の一例として説明する。
【００１３】
更に、以下の各実施形態や変形例に係る撮像装置は、次のような構成を有する撮像装置の一例として説明する。ここで、第１のカラーフィルタ群は、分光透過率におけるピーク波長として緑色に対応するピーク波長を有し且つ第１の分光透過率を有するカラーフィルタと、分光透過率におけるピーク波長として緑色に対応するピーク波長を有し且つ該第１の分光透過率よりも低い第２の分光透過率を有するカラーフィルタと、を含む。そして撮像装置は、第１のカラーフィルタ群のうち第１の分光透過率を有するカラーフィルタに対応する撮像センサ上の撮像素子の出力である第１のカラー画像、第１のカラーフィルタ群のうち第２の分光透過率を有するカラーフィルタに対応する撮像センサ上の撮像素子の出力である第２のカラー画像を取得する。そして、第１のカラー画像の輝度値と第２のカラー画像の輝度値とを画素ごとに選択的に用いて第３のカラー画像の輝度成分を決定する。さらに、第２のカラーフィルタ群に対応する撮像センサ上の撮像素子の出力であるカラー画像の輝度値に基づいて、第３のカラー画像の色差成分を決定する。
【００１４】
先ず、本実施形態に係る撮像装置の構成例について、図１のブロック図を用いて説明する。なお、図１には以下の説明に関連する主要な構成を示しており、本実施形態に係る撮像装置が有する全ての構成を示したわけではない。また、図１に示した機能部のうち１以上を１つの機能部に纏めても構わない。
【００１５】
設定部１は、適正露出状態となるようにシャッター速度／絞り／露光感度の何れかを適当な撮影条件に設定する。撮像部２は、シャッター、撮像レンズ、絞りや光学ＬＰＦ（Low Pass Filter）、カラーフィルタ、撮像センサ、Ａ／Ｄ変換部等を有し、設定部１による設定に応じてシャッター速度／絞り／露光感度のいずれかを変更しながら撮像を行う。
【００１６】
被写体等、外界からの光束は、絞り・フォーカス機能を有する撮像レンズを介して光学ＬＰＦに入光し、光学ＬＰＦでローパスフィルタ加工がなされて、カラーフィルタに入光する。カラーフィルタは周知の通り、画素毎（撮像センサが有する撮像素子毎）に対応する分光透過率特性を有する。撮像センサは、ＣＭＯＳ、ＣＣＤなどの撮像素子群が２次元的に配置されたもので、この撮像センサには、カラーフィルタを透過した光が入光する。それぞれの撮像素子は、自身が受けた光の光量に応じた電荷量の信号（画素信号）を生成して出力する。Ａ／Ｄ変換部は、それぞれの撮像素子から出力された画素信号、即ち、撮像センサから出力された画像信号に対してＡ／Ｄ変換を行うことで、アナログ信号としての画像信号をディジタル信号としての画像信号に変換する。この変換により得られるディジタル信号としての画像信号は、モザイク状のカラー画像となっている。
【００１７】
合成部３は、撮像部２がシャッター速度／絞り／露光感度のいずれかを変更しながら撮像を行うことによって得られるそれぞれの画像（モザイク状のカラー画像）についてＨＤＲ合成を行って、該それぞれの画像に対応するＨＤＲ画像を生成する。出力部４は、合成部３が生成したそれぞれのＨＤＲ画像を出力する。
【００１８】
制御部９は、撮像装置内の不図示のメモリに格納されているコンピュータプログラムやデータを用いて処理を実行することで、上記の各機能部を含む撮像装置全体の動作制御を行う。
【００１９】
次に、図１に示した構成を有する撮像装置によるＨＤＲ合成処理について、図２のフローチャートに従って説明する。ステップＳ１では、設定部１は撮像部２の撮影条件を設定する。撮影条件は、シャッター速度、絞り、露光感度の３種類で、設定部１は適正露出状態となるように、シャッター速度、絞り、露光感度のうち１以上を設定する。このとき、設定部１は、被写体に応じて１つもしくは２つの撮影条件を固定してもよい。たとえば、動く被写体の場合はシャッター速度を速めに固定し、屋内では露光感度を高く、屋外では露光感度を低くして、残りの絞りは適正露出になるように設定する。また、屋外で風景のＨＤＲ画像を取得したいときには、露光感度を低く、絞りを高めに固定し、適正露出になるようにシャッター速度を設定する。
【００２０】
ステップＳ２では、撮像部２は、設定部１により設定された撮影条件に従ってシャッター速度、絞り、露光感度のいずれかを変更しながら撮像を行い、該撮像により得られるそれぞれのカラー画像を後段の合成部３に対して出力する。
【００２１】
ステップＳ３では、合成部３は、撮像部２から出力されるそれぞれのカラー画像についてＨＤＲ合成処理を行ってＨＤＲ画像を生成する。ステップＳ３における処理の詳細については後述する。
【００２２】
ステップＳ４では、出力部４は、合成部３によって生成されたＨＤＲ画像を出力する。出力部４は、生成したＨＤＲ画像そのものを出力しても良いし、該ＨＤＲ画像に対してデモザイキング処理を含む画像処理を施したことで得られる画像処理済み画像を出力しても良い。出力部４によるＨＤＲ画像／画像処理済み画像の出力先については特定の出力先に限らず、撮像装置内の不図示のメモリ、撮像装置に挿入されているコンパクトフラッシュ（登録商標）やＳＤカード等の記録媒体をＨＤＲ画像／画像処理済み画像の出力先としても良い。また出力部４は、ＵＳＢケーブルや無線を介して外部の機器に対してＨＤＲ画像／画像処理済み画像を出力しても良い。また出力部４は、画像処理済み画像を、撮像装置が有する不図示の表示画面に表示しても良い。
【００２３】
次に、上記のステップＳ３における処理の詳細について、図３のフローチャートに従って説明する。図３のフローチャートに従った処理は、１枚のカラー画像から１枚のＨＤＲ画像を生成するための処理である。然るに、撮像部２から出力されるそれぞれのカラー画像について図３のフローチャートに従った処理を行うことで、複数枚のＨＤＲ画像を生成することができる。
【００２４】
ステップＳ３１では、合成部３は、撮像部２から出力されたモザイク状のカラー画像を、色ごとのプレーンに分解する。本実施形態では、撮像部２が有するカラーフィルタは図５（ａ）に示す構成を有するものとする。すなわち、２画素（１つのマスが１画素を表す）×２画素を１単位とした場合に、該１単位において左上及び右下の画素位置にはそれぞれＲ（赤）の画素とＢ（青）の画素とが配置されている。また、該１単位において左下及び右上の画素位置にはそれぞれＧ（緑）の画素とＧ２（暗い緑）の画素とが配置されている。ここで、Ｒの画素とは、分光透過率においてピーク波長が赤の波長となっている画素であり、Ｂの画素とは、分光透過率においてピーク波長が青の波長となっている画素であり、Ｇの画素とは、分光透過率においてピーク波長が緑の波長となっている画素である。また、Ｇ２の画素とは、分光透過率においてピーク波長が緑の波長となっており、且つＧの分光透過率の分布において各波長に対応する分光透過率を（１／ｎ）倍したものである。ｎは例えば２〜４である。なお、ピーク波長については、Ｂの画素のピーク波長＜Ｇ（Ｇ２）の画素のピーク波長＜Ｒの画素のピーク波長となっている。
【００２５】
周知の通り、カラーフィルタとは、撮像センサ上の各撮像素子に対して特定の色の光を透過させる為のものである。然るに、図５（ａ）において、例えば「Ｒ」が付されている箇所には、Ｒ（赤）の色の光を透過させる為のカラーフィルタ及びこのカラーフィルタを透過した光を受光するための撮像素子が配されていることになる。以下では、Ｒの色の光を透過させる為のカラーフィルタ（Ｒの画素）を透過した光を受光するための撮像素子を「撮像素子Ｒ」と呼称する場合がある。これは他の色（図５（ａ）の場合、Ｂ，Ｇ，Ｇ２）についても同様である。よって、図５（ａ）に示したものは、撮像センサ上における撮像素子Ｒ、撮像素子Ｂ、撮像素子Ｇ、撮像素子Ｇ２の配置分布でもある。
【００２６】
ステップＳ３１では合成部３は、カラー画像において撮像素子Ｇに対応する対応画素（Ｇ画素）以外の画素の輝度値を０とした画像（Ｇプレーン：図５（ｂ）の左上）を生成する。更に合成部３は、カラー画像において撮像素子Ｇ２に対応する対応画素（Ｇ２画素）以外の画素の輝度値を０とした画像（Ｇ２プレーン：図５（ｂ）の左下）を生成する。更に合成部３は、カラー画像において撮像素子Ｒに対応する対応画素（Ｒ画素）以外の画素の輝度値を０とした画像（Ｒプレーン：図５（ｂ）の右上）を生成する。更に合成部３は、カラー画像において撮像素子Ｂに対応する対応画素（Ｂ画素）以外の画素の輝度値を０とした画像（Ｂプレーン：図５（ｂ）の右下）を生成する。
【００２７】
ステップＳ３２では合成部３は、各プレーンに対して暈かしフィルタを用いた暈かし処理（デモザイク処理）を行って、非対応画素の輝度値を対応画素の輝度値で補間する（図５（ｃ））。暈かしフィルタとして例えば以下のような構成を有するフィルタを用いても良い。
【００２８】
｜１  ２  １｜
１／４×｜２  ４  ２｜
｜１  ２  １｜
このような暈かしフィルタを用いてプレーンに対して暈かし処理を行うことで、非対応画素に隣接する上下位置、左右位置、斜め４方向の位置の何れかの位置に対応画素がある場合は、該対応画素の輝度値の平均値が該非対応画素の輝度値となる。
【００２９】
ステップＳ３３では合成部３は、暈かし処理を行ったＧプレーンとＧ２プレーンとを合成する。Ｇプレーンにおける着目画素の輝度値をＧ、Ｇ２プレーンにおいて該着目画素と同位置の画素の輝度値をＧ２とする。このとき、ＧプレーンとＧ２プレーンとを合成した合成プレーン（ＨＤＲ画像の輝度成分に対応するプレーン：輝度プレーン）において該着目画素と同位置の画素の輝度値Ｇａは以下の式によって得られる。
【００３０】
Ｇａ＝ｍａｘ（Ｇ、Ｇ２×ｎ）
ここで、ｍａｘ（ａ、ｂ）は、ａ及びｂのうち大きい方を返す関数である。このような式に基づいて輝度プレーンの各画素の輝度値を決定することで、Ｇプレーンのみでは白く飛んでしまった部分の階調が輝度プレーン上で再現できるようになる。ステップＳ３３における処理は、ＨＤＲ画像における各画素の輝度成分を決定させる処理に相当する。
【００３１】
ステップＳ３４では合成部３は、ステップＳ３３で生成した合成プレーンの各画素のうち、該画素の輝度値がＧプレーンにおいて該画素と同位置の画素の輝度値を超えている画素（輝度値Ｇ２×ｎを採用した画素）を対象画素として特定する。そして合成部３は、Ｒプレーンにおいて該対象画素と同位置の画素のうち輝度値が最大輝度値（輝度値が０〜２５５の値をとる場合、最大輝度値は２５５）の画素の輝度値を該対応画素の輝度値に更新する。同様に合成部３は、Ｂプレーンにおいて該対象画素と同位置の画素のうち輝度値が最大輝度値（輝度値が０〜２５５の値をとる場合、最大輝度値は２５５）の画素の輝度値を該対応画素の輝度値に更新する。このような処理によって、ＨＤＲ画像の各画素に対応するＲの輝度値、Ｂの輝度値を決定させることができる。このように、もともと適正露出で飛んでしまっていた部分は、Ｇ２×ｎと同じ値にすることによって正確に階調を再現でき、逆に飛んでいない部分は正確に色を再現することができる。ステップＳ３４における処理は、ＨＤＲ画像における色差成分を決定させる処理に相当する。
【００３２】
このように、本実施形態によれば、１回の撮像でＨＤＲ画像の輝度成分及び色差成分を決定させることができる（つまりＨＤＲ画像を完成させることができる）。また、１回の撮像のため高フレームレートの撮影が可能であるから、動いている被写体でもぶれることなく、かつデモザイクの際にモアレが発生することもない。この点について図４を用いて説明する。
【００３３】
従来であれば、１台のカメラで１枚のＨＤＲ画像を作成する場合、露出を変えて少なくとも２枚の画像を撮影する必要があり、そのため図４（ａ）に示す如く、８回の撮影で４枚のＨＤＲ画像（合成画像）が作成される。これに対し、本実施形態のように１回の撮影で１枚のＨＤＲ画像を作成することができれば、図４（ｂ）に示す如く、６回の撮影で６枚のＨＤＲ画像（合成画像）が作成可能となり、図４（ａ）と比較して１．５倍のフレーム数で動画像を作成することができる。
【００３４】
＜変形例１＞
本変形例を含め、以下の各実施形態や変形例では、第１の実施形態との差分について重点的に説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。第１の実施形態ではカラーフィルタにおけるＧ２の画素は、Ｇの分光透過率の分布において各波長に対応する分光透過率を（１／ｎ）倍したものとし、これにより輝度値の高い領域（強い反射等で白飛びを起こしている部分）の階調再現を改善することができた。しかし、カラーフィルタにおけるＧ２の画素を、Ｇの分光透過率の分布において各波長に対応する分光透過率をｎ倍したものとしても良い。ｎは例えば２〜４である。これにより、輝度値の低い領域（光の影になっている部分など）の階調再現を改善することができる。
【００３５】
本実施形態では、合成部３は、図３のフローチャートの各ステップのうち、ステップＳ３３では、暈かし処理を行ったＧプレーンとＧ２プレーンとを合成する。Ｇプレーンにおける着目画素の輝度値をＧ、Ｇ２プレーンにおいて該着目画素と同位置の画素の輝度値をＧ２とする。このとき、ＧプレーンとＧ２プレーンとを合成した合成プレーン（ＨＤＲ画像の輝度成分に対応するプレーン：輝度プレーン）において該着目画素と同位置の画素の輝度値Ｇａは以下の式によって得られる。
【００３６】
Ｇａ＝ｍｉｎ（Ｇ、Ｇ２×１／ｎ）
ここで、ｍｉｎ（ａ、ｂ）は、ａ及びｂのうち小さい方を返す関数である。このような式に基づいて輝度プレーンの各画素の輝度値を決定することで、Ｇプレーンのみでは黒くつぶれてしまった部分の階調が再現できるようになる。
【００３７】
また、ステップＳ３４では、合成部３は、Ｒプレーン及びＧプレーンについては第１の実施形態とは異なり、輝度値の更新は行わない。このように、本変形例によれば、もともと適正露出で黒くつぶれてしまっていた部分は、Ｇ２プレーンによって正確に階調を再現できるようになる。
【００３８】
＜変形例２＞
色差成分の画素値を共有する方法では、色差成分のノイズが強調されてしまう可能性がある。そこで、図６に示すように、色差成分のノイズを低減するために、２回の撮像により得られるそれぞれのカラー画像について得られるＲプレーン同士、Ｂプレーン同士を合成した合成プレーン（合成色差画像）を作成し、輝度プレーンと合成する。これにより、ＨＤＲ画像における色差成分のノイズを低減することができる。
【００３９】
本変形例では、合成部３は、ステップＳ３において図７のフローチャートに従った処理を行う。図７のフローチャートにおいて図３に示した処理ステップと同じ処理ステップには同じステップ番号を付しており、該処理ステップに係る説明は省略する。
【００４０】
ステップＳ３８では、合成部３は、２回の撮像により得られる２枚のカラー画像のうち一方のカラー画像から生成したＲプレーン（Ｒ１プレーン）と、他方のカラー画像から生成したＲプレーン（Ｒ２プレーン）と、を合成する。Ｒ１プレーンにおける着目画素の輝度値をＲ１、Ｒ２プレーンにおいて該着目画素と同位置の画素の輝度値をＲ２とすると、Ｒ１プレーンとＲ２プレーンとを合成した合成プレーンにおいて該着目画素と同位置の画素の輝度値Ｒは以下の式によって得られる。
【００４１】
Ｒ＝（Ｒ１＋Ｒ２）／２
同様に合成部３は、２回の撮像により得られる２枚のカラー画像のうち一方のカラー画像から生成したＢプレーン（Ｂ１プレーン）と、他方のカラー画像から生成したＢプレーン（Ｂ２プレーン）と、を合成する。Ｂ１プレーンにおける着目画素の輝度値をＢ１、Ｂ２プレーンにおいて該着目画素と同位置の画素の輝度値をＢ２とすると、Ｂ１プレーンとＢ２プレーンとを合成した合成プレーンにおいて該着目画素と同位置の画素の輝度値Ｂは以下の式によって得られる。
【００４２】
Ｂ＝（Ｂ１＋Ｂ２）／２
ステップＳ３９では、合成部３は、Ｒ１プレーンとＲ２プレーンとの合成プレーンをＲプレーン、Ｂ１プレーンとＢ２プレーンとの合成プレーンをＢプレーンとして上記のステップＳ３４における処理を行う。
【００４３】
＜変形例３＞
第１の実施形態及び変形例２におけるステップＳ３３ではＧプレーンとＧ２プレーンを合成した合成プレーンにおける画素の輝度値Ｇａとし、Ｇプレーンにて対応する画素の輝度値及びＧ２プレーンにて対応する画素の輝度値×ｎのうち大きい方を採用していた。しかし、第１の実施形態及び変形例２において輝度値Ｇａを決定する際には他の方法を採用しても良い。たとえば、ノイズを考慮してある閾値Ｔｈ（＝Ｇプレーンにおける最大輝度値の９割程度の値）を設定し、以下の式に従って輝度値Ｇａを決定してもよい。
【００４４】
Ｇａ＝Ｇ        （Ｇ＜Ｔｈの場合）
Ｇ２×ｎ  （Ｇ≧Ｔｈの場合）
このような式に従って輝度値Ｇａを決定することで、ノイズがより目立たなくなり、かつＧプレーンのみでは白く飛んでしまった部分の階調が再現できるようになる。同様に、変形例１におけるステップＳ３３では、ＧプレーンとＧ２プレーンを合成した合成プレーンにおける画素の輝度値Ｇａとし、Ｇプレーンにて対応する画素の輝度値及びＧ２プレーンにて対応する画素の輝度値×１／ｎのうち小さい方を採用していた。しかし、変形例１において輝度値Ｇａを決定する際には他の方法を採用しても良い。たとえば、ノイズを考慮してある閾値Ｔｈ２（＝Ｇ２プレーンにおける最大輝度値×１／ｎの９割程度の値）を設定し、以下の式に従って輝度値Ｇａを決定してもよい。
【００４５】
Ｇａ＝Ｇ２×１／ｎ  （Ｇ２×１／ｎ＜Ｔｈの場合）
Ｇ            （Ｇ２×１／ｎ≧Ｔｈの場合）
このような式に従って輝度値Ｇａを決定することで、ノイズがより目立たなくなり、かつＧプレーンのみでは黒くつぶれてしまった部分の階調が再現できるようになる。
【００４６】
［第２の実施形態］
第１の実施形態及びその変形例では、Ｇプレーン、Ｇ２プレーン、Ｒプレーン、Ｂプレーンの４つのプレーンを用いてＨＤＲ画像の輝度成分及び色差成分を作成していたが、使用するプレーンはこれらのプレーンの組み合わせに限らない。たとえば、Ｇプレーンについては４種類のプレーン、Ｒプレーン、Ｂプレーンについてはそれぞれ２種類のプレーンを作成しても良い。このような場合、撮像部２が有するカラーフィルタは図９（ａ）に示すような構成を有することになる。即ち４画素（１つのマスが１画素を表す）×４画素を１単位とした場合に該１単位内にＲ２の画素、Ｒ４の画素、Ｇ１の画素、Ｇ２の画素、Ｇ３の画素、Ｇ４の画素、Ｂ２の画素、Ｂ４の画素の８画素が図９（ａ）に示す配置パターンで２画素ずつ配置されている。
【００４７】
ここで、Ｒ２の画素とは、分光透過率においてピーク波長が赤の波長となっている画素であり、Ｂ２の画素とは、分光透過率においてピーク波長が青の波長となっている画素である。Ｒ４の画素とは、分光透過率においてピーク波長が赤の波長となっており、且つＲ２の分光透過率の分布において各波長に対応する分光透過率を（１／ｍ）倍したものである。Ｂ４の画素とは、分光透過率においてピーク波長が青の波長となっており、且つＢ２の分光透過率の分布において各波長に対応する分光透過率を（１／ｍ）倍したものである。ここでｍ＝ｎ×ｎである。Ｇ１の画素とは、分光透過率においてピーク波長が緑の波長となっている画素である。Ｇ２の画素とは、分光透過率においてピーク波長が緑の波長となっており、且つＧ１の分光透過率の分布において各波長に対応する分光透過率を（１／ｎ）倍したものである。Ｇ３の画素とは、分光透過率においてピーク波長が緑の波長となっており、且つＧ２の分光透過率の分布において各波長に対応する分光透過率を（１／ｎ）倍したものである。Ｇ４の画素とは、分光透過率においてピーク波長が緑の波長となっており、且つＧ３の分光透過率の分布において各波長に対応する分光透過率を（１／ｎ）倍したものである。ｎは例えば１．４〜２である。
【００４８】
図９（ａ）において、例えば「Ｒ２」が付されている箇所には、Ｒ２（赤）の色の光を透過させる為のカラーフィルタ及びこのカラーフィルタを透過した光を受光するための撮像素子が配されていることになる。以下では、Ｒ２の色の光を透過させる為のカラーフィルタ（Ｒ２の画素）を透過した光を受光するための撮像素子を「撮像素子Ｒ２」と呼称する場合がある。これは他の色（図９（ａ）の場合、Ｒ４，Ｂ２，Ｂ４，Ｇ１，Ｇ２，Ｇ３，Ｇ４）についても同様である。よって、図９（ａ）に示したものは、撮像センサ上における撮像素子Ｒ２，Ｒ４、撮像素子Ｂ２，Ｂ４、撮像素子Ｇ１〜Ｇ４の配置分布でもある。
【００４９】
本実施形態では、合成部３は、ステップＳ３において図８のフローチャートに従った処理を行う。ステップＳ３０１では合成部３は、カラー画像において撮像素子Ｇｉ（ｉ＝１，２，３，４）に対応する対応画素（Ｇｉ画素）以外の画素の輝度値を０とした画像（Ｇｉプレーン：図９（ｂ）の左）を生成する。更に合成部３は、カラー画像において撮像素子Ｒｊ（ｊ＝２，４）に対応する対応画素（Ｒｊ画素）以外の画素の輝度値を０とした画像（Ｒｊプレーン：図９（ｂ）の右）を生成する。更に合成部３は、カラー画像において撮像素子Ｂｊに対応する対応画素（Ｂｊ画素）以外の画素の輝度値を０とした画像（Ｂｊプレーン：図９（ｂ）の右）を生成する。
【００５０】
ステップＳ３０２では合成部３は、各プレーンに対して暈かしフィルタを用いた暈かし処理（デモザイク処理）を行って、非対応画素の輝度値を対応画素の輝度値で補間する（図９（ｃ））。暈かしフィルタとして例えば以下のような構成を有するフィルタを用いても良い。
【００５１】
｜０    ３    ６    ３  ０｜
｜３  １２  １８  １２  ３｜
１／２４×｜６  １８  ２４  １８  ６｜
｜３  １２  １８  １２  ３｜
｜０    ３    ６    ３  ０｜
ステップＳ３０３では合成部３は、暈かし処理を行ったＧ１〜Ｇ４プレーンを合成する（図９（ｄ））。Ｇ１プレーンにおける着目画素の輝度値をＧ１、Ｇ２プレーンにおいて該着目画素と同位置の画素の輝度値をＧ２、Ｇ３プレーンにおいて該着目画素と同位置の画素の輝度値をＧ３、Ｇ４プレーンにおいて該着目画素と同位置の画素の輝度値をＧ４、とする。このとき、Ｇ１〜Ｇ４プレーンを合成した合成プレーン（ＨＤＲ画像の輝度成分に対応するプレーン：輝度プレーン）において該着目画素と同位置の画素の輝度値Ｇａは以下の式によって得られる。
【００５２】
Ｇａ＝ｍａｘ（ｍａｘ（Ｇ、Ｇ２×ｎ）、ｍａｘ（Ｇ３×ｎ×ｎ、Ｇ４×ｎ×ｎ×ｎ））
このような式に基づいて輝度プレーンの各画素の輝度値を決定することで、Ｇ１プレーンのみでは白く飛んでしまった部分の階調が合成プレーン上で再現できるようになる。
【００５３】
ステップＳ３０４では合成部３は、暈かし処理を行ったＢ２プレーンとＢ４プレーンとを合成すると共に、暈かし処理を行ったＲ２プレーンとＲ４プレーンとを合成する。Ｂ２プレーンにおける着目画素の輝度値をＢ２、Ｂ４プレーンにおいて該着目画素と同位置の画素の輝度値をＢ４とすると、Ｂ２プレーンとＢ４プレーンとを合成した合成プレーンにおいて該着目画素と同位置の画素の輝度値Ｂａは以下の式によって得られる。
【００５４】
Ｂａ＝ｍａｘ（Ｂ２、Ｂ４×ｍ）
このようにしてＢ２プレーンとＢ４プレーンとの合成プレーンにおける輝度値を決定することで、Ｂ２プレーンのみでは再現出来なかった部分の階調が再現できるようになる。同様に、Ｒ２プレーンにおける着目画素の輝度値をＲ２、Ｒ４プレーンにおいて該着目画素と同位置の画素の輝度値をＲ４とする。このとき、Ｒ２プレーンとＲ４プレーンとを合成した合成プレーンにおいて該着目画素と同位置の画素の輝度値Ｂｂは以下の式によって得られる。
【００５５】
Ｂｂ＝ｍａｘ（Ｒ２、Ｒ４×ｍ）
ステップＳ３０５では、合成部３は、Ｇ１〜Ｇ４プレーンの合成プレーンの各画素のうち、該画素の輝度値がＧ１プレーンにおいて該画素と同位置の画素の輝度値を超えている画素（Ｇ２×ｎ、Ｇ３×ｎ×ｎ、Ｇ４×ｎ×ｎ×ｎの何れかを採用した画素）を対象画素として特定する。そして合成部３は、Ｒ２，Ｒ４プレーンのそれぞれについて、該プレーンにおいて該対象画素と同位置の画素のうち輝度値が最大輝度値（輝度値が０〜２５５の値をとる場合、最大輝度値は２５５）の画素の輝度値を該対応画素の輝度値に更新する。同様に合成部３は、Ｂ２，Ｂ４プレーンのそれぞれについて、該プレーンにおいて該対象画素と同位置の画素のうち輝度値が最大輝度値（輝度値が０〜２５５の値をとる場合、最大輝度値は２５５）の画素の輝度値を該対応画素の輝度値に更新する。このような処理によって、ＨＤＲ画像の各画素に対応するＲの輝度値、Ｂの輝度値を決定させることができる。このように、もともと適正露出で飛んでしまっていた部分は、Ｇ２×ｎ、Ｇ３×ｎ×ｎ、Ｇ４×ｎ×ｎ×ｎの何れかと同じ値にすることによって正確に階調を再現でき、逆に飛んでいない部分は正確に色を再現することができる。
【００５６】
ここで、従来であれば、１台のカメラで１枚のＨＤＲ画像を作成する場合、露出を変えて複数枚の画像を撮影する必要があるため、図１０（ａ）に示す如く、複数回（図１０（ａ）では１２回）の撮影で３枚のＨＤＲ画像（合成画像）が作成される。これに対し、本実施形態のように１回の撮影で１枚のＨＤＲ画像を作成することができれば、図１０（ｂ）に示す如く、６回の撮影で６枚のＨＤＲ画像（合成画像）が作成可能となり、図１０（ａ）と比較して３倍のフレーム数で動画像を作成することができる。なお、第１の実施形態やその変形例、第２の実施形態において説明した構成の一部若しくは全部は適宜組み合わせて若しくは選択的に使用しても構わない。
【００５７】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００５８】
１：設定部  ２：撮像部  ３：合成部  ４：出力部  ９：制御部
【図１】
2018056848.tif 000003
【図２】
2018056848.tif 000004
【図３】
2018056848.tif 000005
【図４】
2018056848.tif 000006
【図５】
2018056848.tif 000007
【図６】
2018056848.tif 000008
【図７】
2018056848.tif 000009
【図８】
2018056848.tif 000010
【図９】
2018056848.tif 000011
【図１０】
2018056848.tif 000012