(57)【特許請求の範囲】
【請求項１】
複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子と、
該撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフト部と、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正部と、
該位相差画素補正部による補正後の前記撮像素子の各前記画素の画素値を前記シフト部のシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶部と、
該画素記憶部に記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成部とを備え、
前記シフト部が、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、
前記高解像画像合成部が、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する撮像装置。
【請求項２】
前記高解像画像合成部が、前記高解像画像における少なくとも位相差検出画素に対応する位置において、前記合成比率を、その位置のコントラストに基づいて制御する請求項１に記載の撮像装置。
【請求項３】
同じカラーにおいて複数の画素値が存在する画素の画素値から、その位置の動体度合を検出する動体検出部を備え、 
前記高解像画像合成部が、前記合成比率を、その位置の動体度合に基づいて制御する請求項２に記載の撮像装置。
【請求項４】
前記動体検出部が、前記位相差検出画素の補正された画素値を前記動体度合の検出に用いない請求項３に記載の撮像装置。
【請求項５】
複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、
該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、
該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとを含み、
前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、
前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得方法。
【請求項６】
複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、
該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、
該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムであって、
前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、
前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得プログラム。
【請求項７】
複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、
前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、
該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、
該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、
前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置、画像取得方法および画像取得プログラムおよび記憶媒体に関するものである。
【背景技術】
【０００２】
被写体を撮像する撮像素子の一部の画素（以下、位相差画素という。）の光学特性を他の撮像画素と異ならせて焦点検出に用いることにより、焦点検出のための２次光学系を不要にした撮像装置が知られている（例えば、特許文献１参照。）。
位相差画素は通常の撮像画素と開口等が異なり、撮像画素とは異なる画素値が取得されてしまうため、周辺の画素値との連続性が失われて、そのまま通常の画像化処理を行うと傷があるように見えてしまう。この問題を解決する手法として、位相差画素の位置に相当する画素値を周辺の撮像画素の画素値を用いた補間により補正する方法が知られている。【０００３】
また、撮像素子をずらして撮影した複数枚の低解像なベイヤー配列画像を高解像領域上に配置して、より高解像な画像を取得する技術（以下、画素ずらし超解像という。）が知られている（例えば、特許文献２参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特許第５３７１３３１号公報
【特許文献２】特開２０１５−０７６７９６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
位相差画素による像面焦点検出ができる装置で画素ずらし超解像を実行すると、位相差画素を通常の撮像画素に変更することは困難であり、補間により補正された画素値を利用せざるを得ない。しかし、画素値の空間的変動が激しい被写体領域では撮像画素であれば得られた画素値に対して誤差を有する場合が多く、画素ずらし超解像で得られる高解像度画像の解像が劣化する場合がある。また、画素ずらし超解像では、複数枚の低解像度画像の撮影時間が異なることから発生する画素値変動によるアーティファクトが発生する場合がある。【０００６】
本発明は上述した事情に鑑みてなされたものであって、位相差画素の補間誤差による解像劣化および低解像度画像間の画素値変動によるアーティファクトの両方を補正することができる撮像装置、画像取得方法、画像取得プログラムおよび記憶媒体を提供することを目的としている。
【課題を解決するための手段】
【０００７】
本発明の一態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子と、該撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフト部と、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正部と、該位相差画素補正部による補正後の前記撮像素子の各前記画素の画素値を前記シフト部のシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶部と、該画素記憶部に記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成部とを備え、前記シフト部が、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、前記高解像画像合成部が、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する撮像装置である。【０００８】
本態様によれば、通常撮像画素と位相差検出画素とを備える撮像素子をシフト部によりシフトさせて撮像を繰り返し、位相差画素により取得された画素値を位相差画素補正部により通常撮像画素相当に補正した後に、画素記憶部によりシフト部のシフト方向およびシフト量に応じた記憶領域に配置して記憶し、記憶領域に記憶された複数の画素の画素値が高解像画像合成部により合成されることにより、撮像素子の解像度より高い解像度の高解像画像が生成される。【０００９】
この場合において、高解像画像の位相差検出画素と同一画素位置に、特定カラーに対応する通常撮像画素の画素値を含む複数の画素値が存在するようにシフト部が撮像素子をシフトさせ、高解像画像合成部が、特定カラーに対応する複数の画素値を所定の合成比率で合成するので、高解像画像の合成において位相差検出画素の画素値を用いることなく通常撮像画素の画素値を用いて高解像画像を合成することができ、解像の劣化を防止することができる。また、同一のタイミングでは取得されない複数画素の画素値を合成することにより、照明等の変動による画素値差の発生を低減し、アーティファクトの発生を抑制することができる。【００１０】
上記態様においては、前記高解像画像合成部が、前記高解像画像における少なくとも位相差検出画素に対応する位置において、前記合成比率を、その位置のコントラストに基づいて制御してもよい。
コントラストが大きい領域では、位相差検出画素の補間による補正の誤差が大きくなり易く、照明等の変動による画素値差は目立ちにくい。また、コントラストが小さい領域では、位相差検出画素の補間による補正の誤差は小さく、照明等の変動による画素値差が目立ち易くなる。したがって、コントラストに基づいて合成比率を制御することにより、補正の誤差、および、照明等の変動による画素値差の影響を抑えることができる。【００１１】
上記態様においては、同じカラーにおいて複数の画素値が存在する画素の画素値から、その位置の動体度合を検出する動体検出部を備え、前記高解像画像合成部が、前記合成比率を、その位置の動体度合に基づいて制御してもよい。
このようにすることで、動体が存在する領域では、撮像タイミングと配置の関係から動体の画素値と背景の画素値とが空間方向に不連続に配置されるので、動体度合に基づいて複数の画素値の合成比率を制御することにより、画像の乱れが平均されて乱れ具合を低減することができる。【００１２】
また、上記態様においては、前記動体検出部が、前記位相差検出画素の補正された画素値を前記動体度合の検出に用いなくてもよい。
このようにすることで、位相差検出画素の位置では動体検出の精度が低下するので、この画素値を用いないことにより、動体度合の検出を精度よく行うことができる。【００１３】
また、本発明の他の態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとを含み、前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトし、前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得方法である。【００１４】
また、本発明の他の態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムであって、前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する画像取得プログラムである。【００１５】
また、本発明の他の態様は、複数のカラーを有するカラーフィルタを周期的に備える通常撮像画素と、焦点検出に用いられる位相差検出画素とを備える撮像素子を小数画素単位のシフト量で所定のシフト方向にシフトさせるシフトステップと、前記位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正ステップと、該位相差画素補正ステップによる補正後の前記撮像素子の各前記画素の画素値を前記シフトステップのシフト方向およびシフト量に応じた記憶領域に配置して記憶する画素記憶ステップと、該画素記憶ステップにより記憶された複数の画素の画素値を合成することにより、前記撮像素子の解像度より高い解像度の高解像画像を生成する高解像画像合成ステップとをコンピュータに実行させる画像取得プログラムを記憶した非一時的なコンピュータ読み取り可能な記憶媒体であって、前記シフトステップが、前記通常撮像画素に設けられた少なくとも１種類のカラーフィルタの特定カラーについて、前記高解像画像における前記位相差検出画素と同一画素位置に、前記特定カラーに対応する、少なくとも１つの前記通常撮像画素の画素値を含む複数の画素値が存在するように前記撮像素子をシフトさせ、前記高解像画像合成ステップが、前記特定カラーに対応する複数の画素値を所定の合成比率で合成する記憶媒体である。
【発明の効果】
【００１６】
本発明によれば、位相差画素の補間誤差による解像劣化および低解像度画像間の画素値変動によるアーティファクトの両方を補正することができるという効果を奏する。
【図面の簡単な説明】
【００１７】
【図１】本発明の一実施形態に係る撮像装置を示すブロック図である。
【図２】図１の撮像装置の撮像素子の画素配置の一例を部分的に示す図である。
【図３】図１の撮像装置の位相差画素補正部により出力された画素値一例を示す図である。
【図４】図１の撮像装置におけるシフト制御部によるシフト制御の一例を示すタイミングチャートである。
【図５Ａ】図４のシフト制御により得られたＧｒ画素またはＧｐ画素の高解像配置データの画素配置例を示す図である。
【図５Ｂ】図４のシフト制御により得られたＧｂ画素の高解像配置データの画素配置例を示す図である。
【図５Ｃ】図４のシフト制御により得られたＲ画素の高解像配置データの画素配置例を示す図である。
【図５Ｄ】図４のシフト制御により得られたＢ画素の高解像配置データの画素配置例を示す図である。
【図６】図５Ａおよび図５Ｂに示されるＧｒ画素またはＧｐ画素の画素値とＧｂ画素の画素値との加重平均に用いる重みのコントラストとの関係を示す図である。
【図７】図１の撮像装置の変形例を示すブロック図である。
【図８】図７の動体検出部により検出された動体度合とＧｂの重みとの関係を示す図である。
【発明を実施するための形態】
【００１８】
本発明の一実施形態に係る撮像装置１００および画像取得方法について、図面を参照して以下に説明する。
本実施形態に係る撮像装置１００は、図１に示されるように、撮像素子１０１と、位相差画素補正部１０２と、シフト機構（シフト部）２００と、シフト制御部２０１と、画素記憶部２０２と、高解像画像合成部２０３とを備えている。
【００１９】
撮像素子１０１は、図２に示されるように、複数のカラーＧｒ，Ｇｂ，Ｒ，Ｂのカラーフィルタを有するベイヤー配列の撮像画素（以下、Ｇｒ画素、Ｇｂ画素、Ｒ画素、Ｂ画素という。）と、Ｇｒ画素の一部を縦横１つおきに置き換えた位相差画素Ｐｈとを備えている。位相差画素Ｐｈは、例えば、カラーフィルタの代わりにオフセットさせたスリット（図示略）を配置することにより、位相差画像情報を取得することができるようになっている。
【００２０】
位相差画素補正部１０２は、撮像素子１０１から受け取った画素値に基づいて、位相差画素の画素値を補間により補正するようになっている（位相差画素補正ステップ）。
シフト機構２００は、撮像素子１０１をその光軸中心に直交する２方向、例えば、撮像素子１０１の中心軸が図１に示されるように略水平に配置されている場合に、中心軸に直交する水平方向および鉛直方向に小数画素単位でシフトさせることができるようになっている。
【００２１】
シフト制御部２０１は、シフト機構２００によって撮像素子１０１をシフトさせる方向とシフト量とを撮像ごとに制御するようになっている（シフトステップ）。
画素記憶部２０２は、シフト制御部２０１により制御されたシフト方向およびシフト量に基づき、位相差画素補正部１０２からの画素値データを所定位置に配置するようになっている（画素記憶ステップ）。
【００２２】
高解像画像合成部２０３は、画素記憶部２０２で配置された画素値に後述の合成処理を施して高解像な静止画像を合成し出力するようになっている（高解像画像合成ステップ）。
図示しない光学系が被写体からの光を集光し、撮像素子１０１の像面上に被写体の光学像を形成すると、撮像素子１０１は、画素ごとに、その位置に入射した被写体の光学像に対応した画素値を出力するようになっている。
【００２３】
位相差画素補正部１０２は、撮像素子１０１からの画素値のうち、位相差画素Ｐｈの画素値を、その近辺の通常撮像画素の画素値を用いて補間し、画素値Ｇｐを算出するようになっている。
補間手法は、斜め方向に隣接する４つのＧｂ画素の画素値を平均する簡単な方法や、画素値の連続方向を検出して補間に利用する画素値を選択する複雑な方法等がある。複雑な方法ほど補間誤差を抑制できるが装置への実装は困難になるため、画質劣化との兼ね合いで選択すればよい。
【００２４】
シフト制御部２０１は、図５Ａおよび図５Ｂに示されるように、市松模様に構成される高解像配置領域の同一位置に、Ｇｒ画素またはＧｐ画素と、Ｇｂ画素とが１つずつ配置されるように制御するようになっている。Ｇｒ画素、Ｇｐ画素およびＧｂ画素は特定カラーＧに対応する画素である。
図４に本実施形態に係る撮像装置１００におけるシフト制御部２０１による制御方法を示す。
【００２５】
撮像枚数Ｎが、Ｎ＝８で縦横２倍の高解像度画像を生成するとき、図２のベイヤー配列構造を持つ撮像素子１０１を、図４に示すように１枚目を基準として、
２枚目はＸ方向に０．５画素、Ｙ方向に０．５画素、
３枚目はＸ方向に１．０画素、Ｙ方向に０．０画素、
４枚目はＸ方向に１．５画素、Ｙ方向に０．５画素、
５枚目はＸ方向に１．０画素、Ｙ方向に１．０画素、
６枚目はＸ方向に１．５画素、Ｙ方向に１．５画素、
７枚目はＸ方向に０．０画素、Ｙ方向に１．０画素、
８枚目はＸ方向に０．５画素、Ｙ方向に１．５画素
に相当する分だけシフトしながら８枚を時系列に撮像し低解像度画像を取得するようになっている。
【００２６】
このようにして取得された低解像度画像を、位相差画素補正部１０２で補正した後に、画素記憶部２０２により画素配置すると、図５Ａから図５Ｄに示すような高解像配置データとなる。図５Ａから図５Ｄは、図３の縦横４画素分が配置された範囲を図示している。
【００２７】
図５Ａは、１枚目から８枚目のＧｒ画素またはＧｐ画素が配置された高解像配置データを表す（画素内の数値は撮像枚目を示す）。また、図５Ｂは、１枚目から８枚目のＧｂ画素が配置された高解像配置データを表す。
【００２８】
同一位置にＧｒ画素またはＧｐ画素と、Ｇｂ画素が１つずつ配置されており、少なくとも１つは通常の撮像画素によるカラーＧの画素である。また、Ｒ画素とＢ画素についても、同様に市松模様に配置された高解像配置データが得られる（図５Ｃおよび図５Ｄ）。
【００２９】
高解像画像合成部２０３は、画素記憶部２０２で生成された（ＧｒまたはＧｐ、Ｇｂ、Ｒ、Ｂの市松状の）高解像配置データから、ＲＧＢ三板データを生成するようになっている。
ここで、ＲＧＢカラーのうちＧの値は、同一位置のＧｒまたはＧｐとＧｂとを加重平均して１つの画素値Ｇｓとするようになっている。
【００３０】
位相差画素に由来するＧｐ画素の位置におけるＧｂ画素の加算重みＷ＿Ｇｂ（０から１）は以下のように算出されるようになっている。
まず、Ｇｐ画素位置近傍のＧｂ画素の画素値から、その位置の局所コントラスト値を算出する。ここで、Ｇｂ画素を利用するのは、一般的にＧカラーが輝度値として代用できることと、本実施形態では位相差画素が存在しないからである。
【００３１】
ここでは、その位置を中心とした５×５画素の範囲の最大値Ｇｂ＿ｍａｘと最小値Ｇｂ＿ｍｉｎを探し出し、
コントラスト値ｃｏｎｔｒ＝Ｇｂ＿ｍａｘ−Ｇｂ＿ｍｉｎ
として算出する。
【００３２】
Ｇｂ側の重み：Ｗ＿Ｇｂ＝ｆ１（ｃｏｎｔｒ）
ここで、関数ｆ１は、図６のように、コントラストが大きいほど１．０に、コントラストが小さいほど０．５になるような関数である。関数ｆ１は、画像のノイズレベルや補間の手法などに応じて調整すればよい。
【００３３】
また、位相差画素に由来しないＧｒ画素の位置では、Ｗ＿Ｇｂ＝０．５とする。
そして、加重平均値Ｇｓは、
Ｇｓ＝Ｇｂ＊Ｗ＿Ｇｂ＋Ｇｒ＊（１．０−Ｗ＿Ｇｂ）          （１）
となる。
【００３４】
理想的な状況では、位相差画素位置ではＧｂのみ利用すればよいが、同一位置のＧｒ画素とＧｂ画素は構成上同一タイミングには取得されないため、照明等の変動で画素値差が発生することがあり、Ｇｒ画素とＧｂ画素の画素値を平均することで、この画素値差が出力画像にアーティファクトとして現れるのを抑制する効果がある。
【００３５】
コントラストが大きい領域では位相差画素補間値の誤差が大きくなりやすいため、Ｇｂ画素の画素値の重みを重くすることで本来の値に近づき、被写体本来の解像を再現することができる。他方、照明等の変動による画素値差はコントラストが高い領域では目立ちにくい。
【００３６】
逆に、コントラストが小さい領域では補間による誤差は小さく、逆に位相差画素位置のみＧｂ画素になると、照明等の変動による差がＧｂ画素とＧｒ画素の画素値が均等平均されている周辺との間で目立つことになるため、周囲と同様にＧｒ画素の画素値と均等に平均したほうが好ましい。
【００３７】
高解像画像合成部２０３は、このように生成されたＧｓ，Ｒ，Ｂの市松模様上に画素値が存在しない位置を補間してＲＧＢ三板データとして出力するようになっている。最後に、図示しない画像処理部は、ＲＧＢ三板データを受取り、階調変換などの処理をして表示や保存用の出力画像を生成する。
【００３８】
このように、本実施形態に係る撮像装置１００によれば、市松模様に構成される高解像配置データの同一位置に、Ｇｒ画素またはＧｐ画素と、Ｇｂ画素とが１つずつ配置されるようにシフト方向およびシフト量を制御し、得られた画素値をその画素の局所コントラストに応じた重みで加重平均するので、位相差画素の補間誤差を補正することができるとともに、低解像度画像間に発生する変動も効果的に補正することができるという利点がある。これにより、アーティファクトの発生を抑制しつつ解像の劣化を防止することができる。
【００３９】
これに対して、特許文献１では、位相差画素の補正制御で、空間周波数の高さ（標準偏差／平均値）を利用している。空間周波数はコントラストと一部類似する概念ではあるが、コントラストより算出方法が複雑で多量の計算が必要である。本実施形態によれば、周波数が高くても振幅成分が小さい場合は補正による誤差はあまり目立たない傾向があるため、コントラストの利用には利点がある。
【００４０】
また、Ｇ画素のコントラストによる加重平均は、位相差画素のみに限定する必要はなく、画像の連続性向上のために全Ｇ画素について行ってもよい。この場合でも、Ｇｂ画素のみ利用すると、各画素位置の撮像タイミングが異なるために、照明等の変動による差がＧｂ高解像配置データ上で隣接画素間の画素値差として現れるため、Ｇｒ画素の画素値との平均は有効である。
【００４１】
なお、本実施形態においては、図７に示されるように。さらに動体検出部２０４を備えていてもよい。
動体検出部２０４は、画素記憶部２０２からの高解像配置データから、画素ごとに複数枚の低解像画像撮影中に動体が存在したか否かを検出するようになっている。
【００４２】
そして、動体検出部２０４において、動体が存在することが検出された領域では、低解像画像の撮像と動体の移動とのタイミングによって、Ｇｂ画素とＧｒ画素の画素値が動体と背景のどちらかに別れる画素が存在し、その差分値が大きくなることを利用して、動体の存在した可能性が高いほど大きくなる値（動体度合、Ｐｍｏｖｅ）を画素毎に生成するようになっている。
【００４３】
この際、位相差画素の位置では、画素値の補間誤差により差分値が大きくなって動体が存在していないのに動体度合が大きくなることがあるため、動体検出をしないことが望ましい。必要であれば、位相差画素の位置の動体度合の空間的補間をしてもよい。
【００４４】
動体が存在することが検出された領域では、撮像タイミングと配置の関係から、動体と背景の画素値が空間方向に不連続に配置されるため、Ｇｂ画素の高解像配置データは動体と背景が空間方向で入り混じった乱れた画像となり、かつ、Ｇｂ画素により算出されるコントラストが大きな値となることがある。
例えば、低解像撮像中の１から４枚目は背景、５から８枚目に動体、となった領域では、図５ＢのＧｂ画素の高解像配置データにおいて、背景の画素値と動体の画素値とが２行ごとに交互に配置されることになる。また、この時、図５ＡのＧｒ画素の高解像配置データでは背景と動体が逆になる。
【００４５】
この領域ではＧｒ画素の高解像配置データも同様に乱れているが、同一画素位置のＧｂ画素とは撮影タイミングが異なるため、Ｇｂ画素の画素値とＧｒ画素の画素値とを均等に平均することで乱れ具合を低減することができる。
これを実現するには、式（１）におけるコントラストによるＧｂ重みＷ＿Ｇｂを、動体度合Ｐｍｏｖｅが大きいほどを０．５に近づける処理を行えばよい。
Ｗ＿Ｇｂ＝ｆ２（Ｗ＿Ｇｂ，Ｐｍｏｖｅ）
関数ｆ２の例を図８に示す。関数ｆ２は、動体の性質等に応じて調整すればよい。
【００４６】
上記実施形態においては、縦横２倍の解像度に拡大する場合として説明しているが、シフト機構２００のサブピクセルシフトの制御精度が十分であるなら、拡大倍率は２倍以上に設定してもよい。また、撮像素子１０１のシフト制御部２０１によるシフト方向の順番やシフト量も任意のパターンに設定してもよい。
【００４７】
さらには、上記実施形態ではＧ画素にのみ位相差画素がある場合を示したが、本発明はＧ画素だけに限らずその他のカラーフィルタに位相差画素がある撮像素子でも適用できる。
【００４８】
また、本実施形態に係る画像取得方法は、上記のような撮像装置１００によって実施される場合の他、コンピュータにより実行することができる画像取得プログラムによっても実施することができる。この場合、ＣＰＵ等のプロセッサが画像取得プログラムを実行することで、本実施形態に係る画像取得方法が実施される。
【００４９】
具体的には記憶媒体に記憶された画像取得プログラムが読み出され、読み出された画像取得プログラムがＣＰＵ等のプロセッサにより実行される。ここで、記憶媒体は、プログラムやデータ等を格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ハードディスクドライブあるいはメモリ（カード型メモリ、ＲＯＭ等）などにより実現できる。
【符号の説明】
【００５０】
１００  撮像装置
１０１  撮像素子
１０２  位相差画素補正部
２００  シフト機構（シフト部）
２０２  画素記憶部
２０３  高解像画像合成部
２０４  動体検出部
【要約】
位相差画素の補間誤差による解像劣化およびアーティファクトを補正することを目的として、本発明の撮像装置（１００）は、通常撮像画素と位相差検出画素とを備える撮像素子（１０１）と、撮像素子（１０１）を小数画素単位のシフト量でシフトさせるシフト部（２００）と、位相差検出画素により取得された画素値を補間により通常撮像画素相当に補正する位相差画素補正部（１０２）と、補正後の撮像素子（１０１）の画素値をシフト量に応じた記憶領域に配置して記憶する画素記憶部（２０２）と、記憶された複数の画素値を合成して高解像画像を生成する高解像画像合成部（２０３）とを備え、シフト部（２００）が特定カラーについて高解像画像の位相差検出画素と同一画素位置に通常撮像画素の画素値を含む複数の画素値が存在するように撮像素子（１０１）をシフトし、高解像画像合成部（２０３）が特定カラーに対応する複数の画素値を所定の合成比率で合成する。【図１】
0006045767.tif 000002
【図２】
0006045767.tif 000003
【図３】
0006045767.tif 000004
【図４】
0006045767.tif 000005
【図５Ａ】
0006045767.tif 000006
【図５Ｂ】
0006045767.tif 000007
【図５Ｃ】
0006045767.tif 000008
【図５Ｄ】
0006045767.tif 000009
【図６】
0006045767.tif 000010
【図７】
0006045767.tif 000011
【図８】
0006045767.tif 000012