(57)【要約】【課題】１つの撮像素子を用いて高精度の画素ずらし量を有する複数の画素ずらし画像の取得を可能とする。【解決手段】撮像素子１０３を用いて超解像画像の生成に用いられる複数の画素ずらし画像を取得する際に使用される光学機器１は、撮像光学系１００と、光束が通過する開口の位置を光軸方向に直交する面内で変更可能な開口位置可変手段１０１と、撮像光学系および上記開口を通過した被写体からの光束が結像する結像面と撮像素子との光軸方向での位置関係を変更可能な位置関係可変手段１００ａ，１０５と、結像面と撮像素子とが画素ずらし画像間での画素ずらし量に応じた光軸方向での位置差を有するように上記位置関係を設定するとともに、画素ずらし画像のそれぞれを取得するための撮像ごとに上記開口の位置を変更する制御手段１０９，１０６，１０７とを有する。【選択図】図１
2015033032.tif 000002
【特許請求の範囲】
【請求項１】
撮像素子を用いて超解像画像の生成に用いられる複数の画素ずらし画像を取得する際に使用される光学機器であって、
撮像光学系と、
光束が通過する開口の位置を光軸方向に直交する面内で変更可能な開口位置可変手段と、
前記撮像光学系および前記開口を通過した被写体からの光束が結像する結像面と前記撮像素子との光軸方向での位置関係を変更可能な位置関係可変手段と、
前記結像面と前記撮像素子とが前記画素ずらし画像間での画素ずらし量に応じた光軸方向での位置差を有するように前記位置関係を設定するとともに、前記画素ずらし画像のそれぞれを取得するための撮像ごとに前記開口の位置を変更する制御手段とを有することを特徴とする光学機器。
【請求項２】
前記制御手段は、前記位置関係の設定を行った後に、前記撮像ごとに前記開口の位置を変更することを特徴とする請求項１に記載の光学機器。
【請求項３】
前記開口位置可変手段は、前記開口の形状を変更可能であることを特徴とする請求項１または２に記載の光学機器。
【請求項４】
前記開口位置可変手段は、前記光軸方向に直交する面内に複数の領域を有し、該複数の領域のうち前記開口を形成する領域を光通過状態として他の領域を遮光状態とすることを特徴とする請求項１から３のいずれか一項に記載の光学機器。
【請求項５】
前記位置関係可変手段は、前記撮像光学系に含まれるフォーカス素子を光軸方向に移動させて前記撮像素子に対する前記結像面の位置を変更することを特徴とする請求項１から４のいずれか一項に記載の光学機器。
【請求項６】
前記位置関係可変手段は、前記撮像素子を光軸方向に移動させて前記結像面に対する前記撮像素子の位置を変更することを特徴とする請求項１から４のいずれか一項に記載の光学機器。
【請求項７】
撮像素子と、
該撮像素子からの出力により複数の画素ずらし画像を生成し、該複数の画素ずらし画像を用いて超解像画像を生成する画像生成手段とをさらに有することを特徴とする請求項１から６のいずれか一項に記載の光学機器。
【請求項８】
撮像素子を用いて超解像画像の生成に用いられる複数の画素ずらし画像を取得する際に使用される画素ずらし画像取得方法であって、
光束が通過する開口の位置を光軸方向に直交する面内で変更可能とし、
撮像光学系および前記開口を通過した被写体からの光束が結像する結像面と前記撮像素子との光軸方向での位置関係を変更可能とし、
前記結像面と前記撮像素子とが前記画素ずらし画像間での画素ずらし量に応じた光軸方向での位置差を有するように前記位置関係を設定するとともに、前記画素ずらし画像のそれぞれを取得するための撮像ごとに前記開口の位置を変更することを特徴とする画素ずらし画像取得方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数の画素ずらし画像を合成して超解像画像を得るために用いられる光学機器に関する。
【背景技術】
【０００２】
超解像画像の合成に用いられる複数の画素ずらし画像を取得する方法には、複数の撮像素子を互いにずらして配置する方法や、特許文献１にて開示された方法がある。特許文献１には、被写体からの光束が通過する開口の位置を可変としたり複数の開口を設けたりすることで、互いに異なる位置の開口を通過した複数の光束によりそれぞれ形成された複数の被写体像を複数の撮像素子で撮像する方法が開示されている。
【０００３】
ただし、特許文献１にて開示された方法のように複数の撮像素子を用いると、光学機器の小型化や低コスト化を図ることが難しい。このため、撮像素子の数を減らして画素ずらし画像を取得する方法が特許文献２，３にて開示されている。特許文献２には、光学系と撮像素子との間に反射鏡を配置し、該反射鏡を微小変位させることで１つの撮像素子上に形成される被写体像の画素ずらしを行って複数の画素ずらし画像を取得する方法が提案されている。また、特許文献３には、偏心したレンズを回転させることで、１つの撮像素子上に形成される被写体像の画素ずらしを行って複数の画素ずらし画像を取得する方法が提案されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平０７-２２２０３８号公報
【特許文献２】特開２００２-０７７６９６号公報
【特許文献３】特開２００４-１８７０４７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献２にて開示された微小変位が可能な反射鏡を用いる方法では、反射鏡を変位させる機構のがたによって所望の画素ずらし量を精度良く得ることが難しい。また、このような反射鏡を撮影光学系から撮像素子までが一体に構成されたコンパクトデジタルカメラに搭載することは難しい。
【０００６】
また、特許文献３にて開示された方法では、偏心レンズを回転させるための径方向のスペースが光学機器内に必要となるため、光学機器が大型化し易いという問題がある。
【０００７】
本発明は、１つの撮像素子を用いて高精度の画素ずらし量を有する複数の画素ずらし画像の取得を可能としつつ、光学機器の大型化を回避できるようにした光学機器および画素ずらし画像取得方法を提供する。
【課題を解決するための手段】
【０００８】
本発明の一側面としての光学機器は、撮像素子を用いて超解像画像の生成に用いられる複数の画素ずらし画像を取得する際に使用される。該光学機器は、撮像光学系と、光束が通過する開口の位置を光軸方向に直交する面内で変更可能な開口位置可変手段と、撮像光学系および上記開口を通過した被写体からの光束が結像する結像面と撮像素子との光軸方向での位置関係を変更可能な位置関係可変手段と、結像面と前記撮像素子とが画素ずらし画像間での画素ずらし量に応じた光軸方向での位置差を有するように上記位置関係を設定するとともに、画素ずらし画像のそれぞれを取得するための撮像ごとに上記開口の位置を変更する制御手段とを有することを特徴とする。
【０００９】
また、本発明の他の一側面としての画素ずらし画像取得方法は、撮像素子を用いて超解像画像の生成に用いられる複数の画素ずらし画像を取得するために使用される。該画素ずらし画像取得方法は、光束が通過する開口の位置を光軸方向に直交する面内で変更可能とし、撮像光学系および上記開口を通過した被写体からの光束が結像する結像面と撮像素子との光軸方向での位置関係を変更可能とし、該結像面と撮像素子とが画素ずらし画像間での画素ずらし量に応じた光軸方向での位置差を有するように上記位置関係を設定するとともに、画素ずらし画像のそれぞれを取得するための撮像ごとに上記開口の位置を変更することを特徴とする。
【発明の効果】
【００１０】
本発明では、結像面と撮像素子との位置差を画素ずらし量に応じて設定するとともに光束が通過する開口の位置を変更しながら複数の画素ずらし画像を取得するための撮像を行う。このため、本発明によれば、１つの撮像素子を用いて高精度の画素ずらし量を有する複数の画素ずらし画像の取得を可能としつつ、光学機器の大型化を回避することができる。
【図面の簡単な説明】
【００１１】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１の撮像装置の動作を示すフローチャート。
【図３】実施例１の撮像装置における開口の形状を示す図。
【図４】実施例１の撮像装置におけるデフォーカス制御を示すフローチャート。
【図５】実施例１の撮像装置により得られる画素ずらし量とその他のパラメータとの関係を示す図。
【図６】実施例１の撮像装置における超解像処理を示すフローチャート。
【図７】本発明の実施例２である撮像装置の構成を示すブロック図。
【図８】実施例２の撮像装置における開口の形状を示す図。
【図９】実施例２の撮像装置におけるデフォーカス制御を示すフローチャート。
【図１０】実施例２の撮像装置により得られる画素ずらし量とその他のパラメータとの関係を示す図。
【発明を実施するための形態】
【００１２】
以下、本発明の実施例について図面を参照しながら説明する。
【実施例１】
【００１３】
図１には、本発明の実施例１であるビデオカメラやデジタルスチルカメラ等の撮像装置（光学機器）の構成を示す。１００は撮像光学系であり、撮像素子１０３上に被写体を形成する。撮像光学系１００は、その光軸方向に移動可能なフォーカスレンズ（フォーカス素子）１００ａを含む。１０５はフォーカスレンズ１００ａの移動を制御するフォーカス制御部である。フォーカスレンズ１００ａの移動により、撮像光学系１００（および後述する可変開口絞り１０１の開口）を通過した光束が結像する結像面の撮像素子１０３に対する光軸方向での位置、つまりは結像面と撮像素子１０３との同方向での位置関係が変更可能である。フォーカスレンズ１００ａおよびフォーカス制御部１０５により、位置関係可変手段が構成される。
【００１４】
開口位置可変手段としての可変開口絞り１０１は、撮像光学系１００と撮像素子１０３との間であって撮像光学系１００の瞳面の位置に配置されている。可変開口絞り１０１は、液晶素子等で構成されており、瞳面における任意の位置に任意の形状を有する開口を形成することができる。被写体からの光束は、撮像光学系１００を通過した後、この可変開口絞り１０１の開口を通過して撮像素子１０３に向かう。１０２は可変開口絞り１０１と撮像素子１０３との間に配置されたシャッタであり、開閉動作することで撮像素子１０３の露光を制御する。
【００１５】
撮像素子１０３は、被写体像を電気信号に変換して出力するＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子により構成される。１０４は撮像素子１０３から出力されたアナログ撮像信号をデジタル撮像信号に変換するＡ／Ｄ変換部である。
【００１６】
１０６はデフォーカス制御部であり、後述する撮像制御部１０９からの指令を受けて、画像ずらし画像間の画素ずらし量に応じて撮像素子１０３に対する被写体像の結像面の位置を変更するようフォーカス制御部１０５に対して指令を出す。１０７は開口制御部であり、撮像制御部１０９からの指令を受けて、可変開口絞り１０１において形成する開口の位置と形状を制御する。１０８は露光制御部１０８であり、開口制御部１０７を通じて可変開口絞り１０１の開口サイズを制御したり、シャッタ１０２の開閉動作を制御したりする。
【００１７】
撮像制御部１０９は、撮像装置１全体の動作を司る。また、撮像制御部１０９は、Ａ／Ｄ変換部１０４から出力されるデジタル撮像信号のうち輝度成分から可変開口絞り１０１の開口サイズやシャッタ１０２の開閉速度（シャッタ速度）を含む露光条件を決定する。さらに、撮像制御部１０９は、Ａ／Ｄ変換部１０４からのデジタル撮像信号から高周波成分を抽出して画像のコントラストを示す評価値を生成し、その該評価値がピークとなるフォーカスレンズ１００ａの位置である合焦位置を検出する。この合焦位置にフォーカスレンズ１００ａを移動させれば、撮像光学系１００による被写体像の結像面の位置が撮像素子１０３の撮像面の位置に一致した合焦状態が得られる。つまり、オートフォーカスが行われる。この撮像制御部１０９と、上述したデフォーカス制御部１０６および開口制御部１０７とにより制御手段が構成される。
【００１８】
１１０は撮像制御部１０９で用いる制御用データや処理プログラム等を記憶したフラッシュＲＯＭ等により構成されるメモリである。１１１は各種調整値等の情報を記憶したＥＥＰＲＯＭ等の不揮発性メモリである。
【００１９】
１１２は超解像処理部であり、Ａ／Ｄ変換部１０４からのデジタル撮像信号を用いて画素ずらし画像を生成するとともに、複数の画素ずらし画像を合成して超解像画像（超解像度画像ともいう）を生成する超解像処理を行う。超解像画像は、撮像素子１０３の画素数に対応する各画素ずらし画像の解像度よりも高い解像度である超解像度を有する画像である。超解像処理部１１２は、画像生成手段に相当する。
【００２０】
１１３は画像処理部であり、生成された超解像画像をより視覚的に好ましい画像にする処理を行う。具体的には、超解像画像に対してオートゲインコントロール、オートホワイトバランス、画素補間処理および色変換処理等を行う。
【００２１】
１１４は圧縮部であり、超解像画像をＪＰＥＧ等の圧縮方式で圧縮する。１１５は第１フレームメモリであり、Ａ／Ｄ変換部１０４でデジタル化された画像を数フレーム記憶するである。１１６は第２フレームメモリであり、超解像処理部１１２で生成され、画像処理部１１３で処理された画像を一時的に記憶する。１１７は第１および第２フレームメモリ１１０，１１１に対する画像の入出力を制御するメモリ制御部である。１１８は生成された超解像画像を不図示の表示装置や記録装置に出力するための画像出力部である。
【００２２】
次に、本実施例の撮像装置１（撮像制御部１０９、デフォーカス制御部１０６、開口制御部１０７および超解像処理部１１２）が行う撮像動作について、図２のフローチャートを用いて説明する。撮像動作には、被写体を撮像して複数の画素ずらし画像を取得する動作（画素ずらし画像取得方法）と、該複数の画素ずらし画像を合成して超解像画像を生成して表示装置や記録装置に出力する動作とを含む。この撮像動作は、コンピュータとしての撮像制御部１０９、デフォーカス制御部１０６、開口制御部１０７および超解像処理部１１２によりコンピュータプログラムである画素ずらし画像取得プログラムおよび超解像処理プログラムに従って実行される。
【００２３】
ステップＳ１０１では、撮像制御部１０９は、ユーザにより不図示の撮像開始ボタンが押されると、画素ずらし画像を取得するための露光条件およびフォーカス条件を含む撮像条件を算出（決定）する。このとき、撮像制御部１０９は、不揮発性メモリ１１１に記憶された必要な画素ずらし画像の数に応じて可変開口絞り１０１の開口形状を決定する。画素ずらし画像の数はユーザが設定してもよい。
【００２４】
以下の説明では、撮像素子１０３の画素数（解像度）に対して縦横２倍の解像度を有する超解像画像を生成するために４枚の画素ずらし画像を取得する（画素ずらし撮像を行う）場合について説明する。ただし、４枚の画素ずらし画像は例に過ぎず、他の枚数の画素ずらし画像を取得してもよい。
【００２５】
図３（ａ）には、液晶素子により構成された可変開口絞り１０１を、その中心を通り互いに直交する２つのラインにより４つの１／４円形状（瞳面を４分割した形状）の領域に分割した例を示している。図３（ａ）では、それら４つの領域のうち１つの領域を透過状態（光通過状態）とすることで１／４円形状の開口を形成し、他の３つの領域を遮光状態としている。４枚の画素ずらし画像を取得する際には、１枚の画素ずらし画像を取得するための１回の撮像ごとに透過状態とする領域を変更することにより、互いに異なる４つの開口を通過した光束により形成される４つの被写体像を順次撮像する。
【００２６】
なお、開口の形状は、必ずしも図３（ａ）のように１／４円形状でなくてもよい。例えば、正方配列の撮像素子が用いられる場合には、４つの開口のそれぞれの中心が正方形の頂点となるように配置されていれば、図３（ｂ）に示すような円形等、任意の形状とすることができる。また、開口の形状およびサイズは露光条件に応じて決まり、図３（ａ），（ｂ）に示すように４つの開口が互いに重なり合わない形状および大きさであってもよいし、一部同士が重なり合う形状および大きさであってもよい。つまり、４つの開口は、光軸方向に対して直交する面内（瞳面内）においてそれらの中心（または重心）の位置が互いに異なればよい。
【００２７】
ステップＳ１０２では、撮像制御部１０９は、デフォーカス制御部１０６に、不揮発性メモリ１１１に記憶された必要な画素ずらし量の画素ずらし撮像を行うためのデフォーカス制御を行わせる。このデフォーカス制御の動作を、図４のフローチャートを用いて説明する。
【００２８】
ステップＳ２０１では、デフォーカス制御部１０６は、撮像素子１０３の画素サイズμと、撮像光学系１００の焦点距離ｆと、被写体距離（撮像光学系１００の前側主点からフォーカス面上の被写体までの距離）ａとを取得する。被写体距離ａは、フォーカスレンズ１００ａの合焦位置等から算出してもよいし、測距センサを用いて測定してもよい。また、デフォーカス制御部１０６は、撮像光学系１００の光軸から可変開口絞り１０１における開口の中心までの距離である開口距離Ｒを取得する。
【００２９】
そして、デフォーカス制御部１０６は、これら画素サイズμ、焦点距離ｆ、被写体距離ａおよび開口距離Ｒに応じて、画素ずらしをするために必要な撮像光学系１００のフォーカス面の位置の補正量（以下、フォーカス補正量という）ｄを算出する。撮像光学系１００のピントが合う被写体側のフォーカス面の位置を補正して、撮像光学系１００を被写体に対してデフォーカス状態とすることにより、被写体像の結像面が撮像素子１０３（撮像面）に対して位置差を持つ。開口距離Ｒは、ステップＳ１０１で決定された開口形状に応じて算出され、予め不揮発性メモリ１１１に記憶しておいてもよい。
【００３０】
撮像光学系１００のフォーカス面の位置を補正するのは、以下の理由による。図５（ａ）に実線で示すように、フォーカス面上のある一点からの光束は、可変開口絞り１０１における開口の位置を変更しても同じ結像面（つまりは撮像面）上の一点に結像するため、画素ずらしすることができない。一方、撮像光学系１００がデフォーカスした面（デフォーカス面）上のある一点からの光束の可変開口における主光線は、図５（ａ）に点線で示すように、可変開口絞り１０１における開口の位置を変更することで、撮像面上の異なる位置に到達するため、画素ずらしすることができる。可変開口絞り１０１における開口の位置を変更して画素ずらしする場合において、撮像面上での画素ずらし量Ｓは、フォーカス面の位置を変更したときに該開口を通過する主光線の変更前後での結像面のずれ量に対応する。
【００３１】
このとき、撮像光学系１００のデフォーカスによって撮像面上ではフォーカス面の像はぼけるが、画素ずらし量をサブ画素のレベルに設定することによって、ぼけ量は微小となり、画質に対する影響は小さい。ＲＧＢ等のベイヤー配列の場合、画素ずらし量を１画素に設定しても良いが、この場合であってもぼけ量は小さく、画像に対する影響は小さい。
【００３２】
以上のように、フォーカス面の被写体に対して画素ずらし撮像を行うために、該被写体に対して撮像光学系１００を合焦状態とした後に、必要な画素ずらし量に応じて該被写体に対して撮像光学系１００をデフォーカスさせるようにフォーカス面の位置を補正する。
【００３３】
画素ずらし量Ｓは、以下の式（１）により表される。式（１）において、ａはフォーカス面までの被写体距離であり、ｂはフォーカス面に合焦している撮像光学系１００の後側主点（図５（ｂ）では前側主点と後側主点とを同一点として示している）から像面までの距離を像距離である。また、ａ′はデフォーカス面までの被写体距離であり、ｂ′はデフォーカス面に合焦していると仮定したときの像距離である。このとき
【００３４】
【数１】
2015033032.tif 000003
【００３５】
である。
【００３６】
４枚の単色の画素ずらし画像を取得する場合、これらのうち１枚の画像に対する他の３枚の画像の画素ずらし量は、横方向にのみ半画素、縦方向にのみ半画素および横方向と縦方向に半画素ずつとするのが望ましい。この場合、対角方向では半画素×√２の画素ずらし量となる。図５（ａ）では、可変開口絞り１０１において対角方向に位置する開口における主光線の軌跡を示している。図５（ａ）に示す画素ずらし量Ｓの２倍の画素ずらし量が、対角方向での画素ずらし量である半画素×√２に対応する。このため、画素サイズをμとすると、半画素はμ/２となり、画素ずらし量Ｓは、
【００３７】
【数２】
2015033032.tif 000004
【００３８】
となる。
【００３９】
図５（ｂ）には、補正後のフォーカス面（補正前のフォーカス面上の被写体に対してデフォーカスした後のフォーカス面）からの主光線、すなわち画素ずらし撮像を行うときに撮像面上に結像する主光線を実線で示す。このようにフォーカス面の位置を補正することで、補正前のフォーカス面上の被写体からの主光線は、撮像面上における補正前の到達位置からずれた位置に到達する。この到達位置のずれ量が画素ずらし量Ｓに相当する。
【００４０】
被写体側でのフォーカス面の補正量であるフォーカス補正量ｄは、図５（ｂ）から分かるように、
【００４１】
【数３】
2015033032.tif 000005
【００４２】
である。このため、式（１）〜（３）より、半画素ずつの画素ずらし量を有する４枚の画素ずらし画像を取得するための画素ずらし撮像を行うときの被写体側でのフォーカス補正量ｄは、
【００４３】
【数４】
2015033032.tif 000006
【００４４】
と表すことができる。式（４）からフォーカス補正量ｄは、被写体距離ａが決まることで一意に算出することができる。
【００４５】
ステップＳ２０２では、デフォーカス制御部１０６は、ステップＳ２０１で算出したフォーカス補正量ｄに応じて、フォーカス制御部１０５を介してフォーカスレンズ１００ａの光軸方向での位置を変更する。
【００４６】
なお、本実施例では、被写体側でのフォーカス補正量を求めて撮像光学系１００のデフォーカス制御を行う場合について説明したが、像側でのフォーカス補正量を求めてデフォーカス制御を行ってもよい。つまり、可変開口絞り１０１の開口を通過した光束の結像面と撮像素子１０３（撮像面）とが、画素ずらし量に応じた光軸方向位置差（デフォーカス量）を有する位置関係となるようにフォーカスレンズ１００ａの位置を制御する。
【００４７】
図２に戻り、ステップＳ１０３では、撮像制御部１０９は、ステップＳ１０１で算出した撮影条件と画素ずらし撮像の回数とに応じて、開口制御部１０７を介して可変開口絞り１０１の開口の位置と形状を制御する。
【００４８】
そして、ステップＳ１０４では、撮像制御部１０９は、ステップＳ１０１で決定したシャッタ速度で画素ずらし撮像を行う。撮像素子１０３からは、被写体像を光電変換して得られたアナログ撮像信号が出力され、該アナログ撮像信号はＡ／Ｄ変換部１０４でデジタル撮像信号に変換されてメモリ制御部１１７を介してフレームメモリ１１５に記憶される。
【００４９】
次にステップＳ１０５では、撮像制御部１０９は、画素ずらし撮像の回数がＮ回（画素ずらし画像の取得枚数がＮ枚）であるか否か、本実施例では４回（４枚）か否かを判定する。画素ずらし撮像の回数がＮ（＝４）回に達していない場合はステップＳ１０３に戻り、可変開口絞り１０１での開口の位置を変更し、再びステップＳ１０４に戻って画素ずらし撮像を行う。画素ずらし撮像の回数がＮ（＝４）回に達した場合は次のステップＳ１０６に進む。
【００５０】
ステップＳ１０６では、撮像制御部１０９は、超解像処理部１１２に、取得したＮ（＝４）枚の画素ずらし画像を用いて超解像処理を行い、超解像画像を生成する。この超解像処理を図６のフローチャートを用いて説明する。ここでは、超解像処理として、再構成型超解像処理を行う場合について説明する。
【００５１】
まずステップＳ３０１において、超解像処理部１１２は、ステップＳ１０５までで取得されたＮ枚の画素ずらし画像（１枚の超解像処理の対象画像としてのリファレンス画像と他の３枚の画像）の入力を受ける。
【００５２】
そして、同ステップにおいて、超解像処理部１１２は、入力されたリファレンス画像に対して、設定された拡大倍率に応じた拡大処理を行い、最初の推定超解像画像（以下、初期推定超解像画像という）を生成する。拡大処理としては、単純な線形補間やスプライン補間等、どのような方法を用いてもよい。
【００５３】
次にステップＳ３０２では、超解像処理部１１２は、ステップＳ３０１にて生成した初期推定超解像画像に対する劣化過程を演算し、Ｎ枚の低解像画像を生成する。ここにいう劣化過程は、撮像光学系１００および撮像素子１０３を含む撮像系による画像の劣化過程である。この劣化過程の演算には、劣化過程をモデル化して得られた観測モデルを使用する。観測モデルは、撮像系の応答関数ＰＳＦ（点像分布関数）を用いて以下の式（５）により与えられる。
【００５４】
【数５】
2015033032.tif 000007
【００５５】
ここで、Ｘは超解像画像を示し、Ｙ′ｋは劣化過程後のｋ枚目の低解像画像を示す。＊は畳み込み演算（コンボリューション）を示し、ｎは付加的なノイズを示す。ＰＳＦｋはｋ枚目の画素ずらし画像に対する撮像系の応答関数を示す。
【００５６】
ステップＳ１０５までで取得したＮ枚の画素ずらし画像は、可変開口絞り１０１の開口位置の変更に伴い撮像光学系１００内の異なる位置を通過した光束により形成された被写体像を撮像して得られた画像である。このため、同じ撮像光学系１００を用いて撮像された画像であるが、互いに異なるＰＳＦにより劣化する。劣化過程の演算は、式（５）の右辺の第一項を用いて行う。なお、観測モデルに関しては、上記式（５）で与えられるものに限らず、撮像系の特性や超解像処理のアルゴリズムに応じて適宜決定すればよい。また、劣化過程を演算する際には、画像を複数に分割して得られた複数の分割領域のうち演算する画素が含まれる分割領域に対応する撮像系の応答関数を用いて式（５）を演算する。
【００５７】
次にステップＳ３０３では、超解像処理部１１２は、劣化過程の演算により生成したＮ枚の低解像画像を用いて評価値（以下、超解像評価値という）を演算する。
超解像評価値Ｊは、例えば、以下の式（６）により算出する。
【００５８】
【数６】
2015033032.tif 000008
【００５９】
ここで、Ｙｋはｋ枚目の画素ずらし画像（撮影画像）を示し、Ｙ′ｋはｋ枚目の低解像画像を示す。αは拘束パラメータを示し、ｃは推定超解像画像に対する事前情報を表す行列を示す。また、
2015033032.tif 000009
【００６０】
はＬ２ノルムを示す。
【００６１】
式（６）の右辺の第一項は、撮影画像と推定超解像画像を劣化させて生成した低解像画像とを比較することで、推定超解像画像の評価を行う項である。また、式（６）の右辺の第二項は、推定超解像画像の尤もらしさを評価する項であり、推定超解像画像に対する既知の情報や性質を使用して評価する。拘束パラメータαは、画像や撮像系に合わせて適宜設定され、ｃはハイパスフィルタ等を表す行列である。なお、超解像評価値Ｊとして、式（６）で示すものに代えて、
“Multiframe Demosaicing and Super-Resolution of ColorImages”(IEEE TRANSACTION ON IMAGE PROCESSING,VOL.15,NO.1,JANUARY 2006)
で説明される、バイラテラルフィルタを用いて評価する方法や、色の相関を用いて評価する方法を用いてもよい。
【００６２】
次にステップＳ３０４では、超解像処理部１１２は、ステップＳ３０３で算出した超解像評価値Ｊが閾値β以下であるか否かを判定する。閾値βは、画像の種類や撮像系の性能、さらに超解像処理の目的に応じて適宜設定される。Ｊ＞βである場合はステップＳ３０５に進み、Ｊ≦βである場合には、超解像処理を終了し、推定超解像画像を超解像画像に設定する。
【００６３】
ステップＳ３０５では、超解像処理部１１２は、ステップＳ３０３で算出した超解像評価値Ｊを最適化する方向に推定超解像画像を更新する。更新の方法としては、どのような最適化手法を用いてもよいが、例として最急降下法を用いて、
【００６４】
【数７】
2015033032.tif 000010
【００６５】
として更新すればよい。ここで、Ｘ′は更新後の超解像画像を示し、γは更新ステップサイズを設定する定数である。これ以降、Ｘ′を推定超解像画像としてステップＳ３０２からの処理をステップＳ３０４にてＪ≦βとなるまで繰り返して超解像画像を得る。
【００６６】
図２に戻り、ステップＳ１０７では、撮像制御部１０９は、ステップＳ１０６で生成された超解像画像をメモリ１１６に保存する。このとき必要に応じて、超解像画像を圧縮部１１４に圧縮させてからメモリ１１６に保存する。
【００６７】
本実施例によれば、１つの撮像素子１０３を用いて、撮像光学系１００を被写体に対してデフォーカス状態とするとともに可変開口絞り１０１の開口の位置を変更して光束の通過位置を変更することにより、複数の画素ずらし画像を取得することができる。これにより、撮像装置を大型化することなく、高精度に所望の画素ずらし量が与えられた複数の画素ずらし画像を取得することができる。したがって、これらの画素ずらし画像を用いた超解像処理によって良好な超解像画像を生成することができる。
【００６８】
また、本実施例では、可変開口絞り１０１の開口の形状も可変としているため、様々な画素ずらし量に対応することができる。
【００６９】
なお、本実施例では静止画としての画素ずらし画像を用いて静止画としての超解像画像を生成する場合について説明したが、動画像に対しても開口の位置を変更しながら高速撮像を行うことで、動画像としての超解像画像を生成することも可能である。
【実施例２】
【００７０】
図７には、本発明の実施例２である撮像装置２の構成を示している。本実施例において、実施例１の撮像装置１と共通する構成要素には、実施例１と同符号を付して説明に代える。また、本実施例での撮像動作の流れも、基本的には、実施例１にて図２を用いて説明した撮像動作と同じである。ただし、本実施例では、可変開口絞り２０２は、複数の開口を選択的に開閉可能な構造を有する。また、本実施例では、撮像素子１０３が光軸方向に移動可能な構成を有しており、これとの関係で撮像動作中のデフォーカス制御の内容が実施例１において図４を用いて説明したデフォーカス制御とは異なる。
【００７１】
可変開口絞り２０１は、図８に示すように、その中心を通り互いに直交する２つのラインにより分割された４つの領域のそれぞれに円形の開口を有する基板２０１ａと、各開口を開閉するための遮光羽根２０１ｂとを有する。遮光羽根２０１ｂは、各開口に対して複数設けられており、該遮光羽根２０１ｂを開くことで開口は光通過状態となり、遮光羽根２０１ｂを閉じることで開口は遮光状態となる。基板２０１ａには、各開口に設けられた複数の遮光羽根２０１ｂを開閉駆動する不図示のアクチュエータが取り付けられている。遮光羽根２０１ｂを開く１つの開口と遮光羽根２０１ｂ閉じる３つの開口を切り替えることで、可変開口絞り２０１において被写体からの光束が通過する開口の位置を変更可能である。また、各開口に設けられた遮光羽根２０１ｂの開閉方向での位置を変更することで、開口の大きさを変更して通過光量を調節することができる。
【００７２】
デフォーカス制御部２０６は、ピエゾ素子等で構成された撮像素子移動部２１９を制御して撮像素子１０３を光軸方向に移動させる。本実施例では、この撮像素子１０３の移動により、撮像光学系１００および可変開口絞り２０１の開口を通過した光束が結像する結像面に対する撮像素子１０３の光軸方向での位置、つまりは結像面と撮像素子１０３との同方向での位置関係を変更可能としている。撮像素子１０３と撮像素子移動部２１９により位置関係可変手段が構成される。デフォーカス制御部２０６は、撮像制御部２０９からの指令を受けて、上記結像面と撮像素子１０３（撮像面）とが、画素ずらし量に応じた光軸方向位置差（デフォーカス量）を有する位置関係となるように撮像素子１０３の位置を制御する。
【００７３】
なお、本実施例の撮像光学系１００は、実施例１と同様にフォーカスレンズ１００ａを含んでいる。ただし、フォーカスレンズ１００ａは、フォーカス制御部２０５によってオートフォーカス（またはマニュアルフォーカス）によるフォーカシングを行うためにのみ光軸方向に移動される。
【００７４】
次に、本実施例におけるデフォーカス制御部２０６が行うデフォーカス制御の動作を図９のフローチャートを用いて説明する。
【００７５】
ステップＳ４０１では、デフォーカス制御部２０６は、所望の画素ずらし量を得るための撮像素子１０３の移動量（補正量）である撮像素子移動量ｄを算出する。撮像素子移動量ｄは、図１０に示す関係より、以下の式（８）により算出される。
【００７６】
【数８】
2015033032.tif 000011
【００７７】
ここで、Ｓは画素ずらし量であり、ｂは像距離である。Ｒは撮像光学系１００の光軸から可変開口絞り２０１の開口の中心までの距離である。
【００７８】
本実施例では、Ｎ（＝４）枚の画素ずらし画像として、ベイヤー配列のカラー画像（カラー画素ずらし画像）を取得する。該４枚のカラー画素ずらし画像うち１枚の画像に対する他の３枚の画像の画素ずらし量は、横方向にのみ１画素、縦方向にのみ１画素および横方向と縦方向に１画素ずつとするのが望ましい。この場合、対角方向では１画素×√２の画素ずらし量となる。そして、実施例１で説明した式（２）と同様に画素サイズをμとすると、画素ずらし量Ｓは、以下の式（９）で表される。
【００７９】
【数９】
2015033032.tif 000012
【００８０】
式（８）に式（９）を代入することで、４枚のカラー画素ずらし画像を撮影する場合の撮像素子移動量ｄは、以下の式（１０）により算出される。
【００８１】
【数１０】
2015033032.tif 000013
【００８２】
次にステップＳ４０２では、デフォーカス制御部２０６は、撮像素子移動部２１９を介してステップＳ４０１で算出された撮像素子移動量ｄだけ撮像素子１０３を光軸方向に移動させる。
【００８３】
なお、被写体距離が遠くなるほど撮像素子移動量ｄがより微小となり、撮像素子１０３の位置を制御可能な位置分解能を超えてしまう。このため、被写体距離に対して閾値を設け、被写体距離が該閾値を超える場合は撮像素子１０３の移動によるデフォーカス制御御を行わないようにしてもよい。
【００８４】
本実施例では、メカニカルな開閉構造により開閉が可能な開口を複数有する可変開口絞り２０１を用いることで、実施例１に比べて簡易的な構成で画素ずらし撮像を行うことができる。開口形状の自由度は減るが、液晶に比べ遮光性の点で優れているといった利点もある。また、本実施例では撮像素子を移動させることでデフォーカスによる画素ずらしを行っているが、この方法は実施例１にも適用可能である。
【００８５】
なお、上記各実施例では、撮像光学系を一体に備えた撮像装置について説明したが、本発明は、撮像装置に対して着脱が可能な交換レンズ等の光学機器にも適用することができる。
【００８６】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【産業上の利用可能性】
【００８７】
良好な画素ずらし画像を取得可能とする小型の光学機器を提供することができる。
【符号の説明】
【００８８】
１，２  撮像装置
１００  撮像光学系
１０１，２０１  可変開口絞り
１０３  撮像素子
１０６，２０６  デフォーカス制御部
１０７，２０７  開口制御部
１０９，２０９  撮像制御部
１１２  超解像処理部
【図１】
2015033032.tif 000014
【図２】
2015033032.tif 000015
【図３】
2015033032.tif 000016
【図４】
2015033032.tif 000017
【図５】
2015033032.tif 000018
【図６】
2015033032.tif 000019
【図７】
2015033032.tif 000020
【図８】
2015033032.tif 000021
【図９】
2015033032.tif 000022
【図１０】
2015033032.tif 000023