(57)【要約】  本開示は、再構成時の解像度が高い撮像装置を提供することを目的とする。本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
2015132831.tif 000002
【特許請求の範囲】
【請求項１】
光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、
メインレンズと、
撮像素子と、
前記メインレンズと前記撮像素子の間に配置され、前記撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、
任意の焦点位置の仮想撮像面に、前記光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える、
撮像装置。
【請求項２】
前記回転角は、略１．０度以上である、
請求項１記載の撮像装置。
【請求項３】
前記回転角は、前記仮想撮像面へ前記撮像素子から光線方向に従って前記仮想撮像面に投影した光線の交わる点である光線中心の位置と、前記リフォーカス画像を構成する画素の位置との距離を評価するコスト関数の極小値を探索することで決定される角度である、
請求項１記載の撮像装置。
【請求項４】
前記任意の焦点位置は、前記マイクロレンズアレイと前記撮像素子の距離に対して±５の範囲である、
請求項３記載の撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
【背景技術】
【０００２】
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ  ｃａｍｅｒａ）が登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。【０００３】
ライトフィールドカメラは、メインレンズとマイクロレンズアレイと撮像素子で構成される。被写体から入射した光はメインレンズを通過した後、マイクロレンズアレイを通過し撮像素子に入射する。撮像素子では光の方向毎に区別され記録されるため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含む。【０００４】
そのため、撮影後に任意の焦点位置の画像を生成するリフォーカス処理が可能である。例えば、撮像素子の受光した光を電気信号に変換した各画素から、仮想撮像面へ光線方向にしたがって投影することで、仮想撮像面に撮像素子を置いた場合のリフォーカス画像を生成できる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ．  Ｎｇ，  ｅｔ  ａｌ，  “Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ”，  Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−２
【発明の概要】
【０００６】
本開示は、ライトフィールドカメラで画像を再構成して任意の焦点位置に合わせたリフォーカス画像を生成する際、画像の解像度を向上する撮像装置を提供する。
【０００７】
本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
【０００８】
本開示の撮像装置は、ライトフィールドカメラで画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１におけるライトフィールドカメラの構成を示すブロック図である。
【図２】図２は、仮想撮像面上の光線中心の分布を示す図である。
【図３】図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。
【図４】図４は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。
【図５】図５は、実施の形態１におけるコスト関数の一例を説明する図である。
【図６】図６は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
【図７】図７は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。
【図８】図８は、実施の形態１におけるリフォーカス距離が＋４．５付近における光線中心の分布を示す図である。
【図９】図９は、実施の形態１におけるリフォーカス距離が＋２．５付近における光線中心の分布を示す図である。
【図１０】図１０は、実施の形態１におけるリフォーカス距離が−３．５付近における光線中心の分布を示す図である。
【図１１】図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
【図１２】図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
【００１３】
［１−１．光線中心と画像の解像度の関係］
まず、光線中心と画像の解像度の関係について説明する。ライトフィールドカメラでは、撮像素子で受光した光を電気信号に変換した画素を処理して画像を再構成してリフォーカス画像を生成する場合、光線中心が重要な役割を果たす。光線中心とは、任意の焦点位置に合わせて画像を再構成する仮想撮像面へ、撮像素子から光線方向に従って仮想撮像面に投影した光線の交わる点である。従って、再構成する画像の各画素は、撮像素子から光線方向に従って、仮想撮像面に投影した仮想撮像面上の光線中心のうち、再構成する画像内のそれぞれの画素に近い光線中心を用いて補完する。この時、光線中心の数は、撮像素子の画素数で固定されるため、仮想撮像面上の光線中心が一箇所に固まると、仮想撮像面上の光線中心の混みあいの程度を示す密度が低い領域では再構成時の画像の解像度が低くなってしまう。
【００１４】
［１−２．ライトフィールドカメラの構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図１は、実施の形態１にかかるライトフィールドカメラの構成図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、撮像部３１０と、信号処理部３２０で構成される。撮像部３１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部３２０は、ＬＳＩ（ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
【００１５】
被写体１０１を通過する光は、メインレンズ１０２、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
【００１６】
撮像素子１０４で受光した光を電気信号に変換した各画素は、信号処理部３２０に送られる。信号処理部３２０は、任意の焦点位置で撮影した時の画像を再構成するために、撮像素子１０４を任意の空間上の平面へ仮想的に配置した仮想撮像面１０５が設定されると、撮像素子１０４の各画素から、仮想撮像面１０５へ光線方向に従って投影した光線中心１０６の位置を計算する。その後、光線中心１０６を用いて画像を再構成することで、仮想撮像面１０５におけるリフォーカス画像を生成する。
【００１７】
図２は、仮想撮像面上の光線中心の分布を示す図である。マイクロレンズアレイ１０３は、直径が約１８画素で、ハニカム構造（ｈｏｎｅｙｃｏｍｂ  ｓｔｒｕｃｔｕｒｅ）で配置されており、撮像素子１０４は、ベイヤ構造（Ｂａｙｅｒ  ｓｔｒｕｃｔｕｒｅ）で配置されている。光線中心の分布２１０は、本実施の形態のライトフィールドカメラ１００の光線中心の分布である。
【００１８】
図２において、光線中心の分布２１０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行でなく所定の角度を有し、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａは撮像素子１０４の水平方向Ｂ−Ｂに対して傾いている。すなわち、マイクロレンズアレイ１０３は撮像素子１０４に対して垂直方向に所定の回転角を有している。
【００１９】
図２において、光線中心の分布２２０は、従来のライトフィールドカメラの光線中心の分布である。光線中心の分布２２０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ｃ−Ｃと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行であり、傾いていない。すなわち、マイクロレンズアレイが撮像素子に対して垂直方向に回転していない。
【００２０】
図２において、光線中心の分布２１０と光線中心の分布２２０を比較すると、光線中心の分布２１０のほうが、光線中心の重なりが少なく、仮想撮像面１０５に対して光線中心の密度が高い。仮想撮像面１０５に対して光線中心の密度が高いと、画像を再構成してフォーカス画像を生成する際、画像の解像度がより高くなる。すなわち、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有することで、仮想撮像面１０５に投影した光線中心の密度は、より高くなる。
【００２１】
以上のように構成されたライトフィールドカメラ１００において、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な回転角を算出したので、以下説明する。
【００２２】
［１−３．最適な回転角］
［１−３−１．光線中心の位置］
まず、仮想撮像面１０５上の光線中心の位置の計算方法について説明する。
【００２３】
図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。図３において、マイクロレンズアレイ１０３と撮像素子１０４の距離をｂ、マイクロレンズアレイ１０３と仮想撮像面１０５の距離をｂｂとする。
【００２４】
マイクロレンズアレイ１０３のｉ番目のマイクロレンズ４０１の中心位置を撮像素子１０４の方向に水平に伸ばして撮像素子１０４と交差する位置である中心位置４０２の座標を、
【００２５】
【数１】
2015132831.tif 000003
【００２６】
とする。
【００２７】
撮像素子１０４上の任意の画素を画素４０３、中心位置４０２から画素４０３までの方向ベクトル４０４を、
【００２８】
【数２】
2015132831.tif 000004
【００２９】
とする。また、ｉ番目のマイクロレンズ４０１の直径をｄとする。
【００３０】
ここで、撮像素子１０４上の画素４０３の仮想撮像面１０５上に投影した際の光線中心の座標４０５は、ｉ番目のマイクロレンズ４０１の中心を通過して直線に光が進むと仮定すると、
【００３１】
【数３】
2015132831.tif 000005
【００３２】
となる。
【００３３】
また仮想撮像面１０５における光線の幅をｄｄとすると、ｉ番目のマイクロレンズ４０１の直径ｄで捉えた光線が撮像素子１０４の画素４０３へ集光されると考えると、ｄｄ＝ｄとなる。これにより、撮像素子１０４上の各画素から、仮想撮像面１０５に投影した光線中心の位置および、光線の幅を計算できる。
【００３４】
［１−３−２．コスト値の算出］
マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を算出するため、コスト関数を用いて評価を行った。具体的には、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角を、０度から３０度までの間で０．１度刻みに変化させ、それぞれの回転角に対してコスト関数を用いてコスト値を算出する。算出したコスト値を用いて評価を行い、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。
【００３５】
ここで、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順について説明する。図４は、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。
【００３６】
マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角のコスト値は、想定される全ての仮想撮像面に対して算出する。想定される全ての仮想撮像面１０５は、撮像素子１０４から所定の焦点距離内で予め設定された間隔で決定されるリフォーカス距離の仮想撮像面１０５の全てである。
【００３７】
（Ｓ５０１）まず、コスト関数のコスト値や変数等をゼロに初期化する。
【００３８】
（Ｓ５０２）次に、想定される仮想撮像面を全てに対して処理が完了したか否かを判定する。全て処理した場合（Ｙｅｓの場合）は、コスト値とコスト値の算出を実施した回転角を出力して終了する。想定される仮想撮像面を全て処理してない場合（Ｎｏの場合）、ステップＳ５０３へ処理を進める。
【００３９】
（Ｓ５０３）予め設定された間隔に従って、対象とするリフォーカス距離の仮想撮像面を設定する。
【００４０】
（Ｓ５０４）次に、設定された仮想撮像面上の指定範囲内において、指定範囲内のすべての画素に対しコスト値を計算したか否かを判定する。全ての画素に対してコスト値を計算した場合（Ｙｅｓの場合）は、ステップＳ５０２に戻る。指定範囲内の全ての画素に対してコスト値を計算してない場合（Ｎｏの場合）、ステップＳ５０５へ処理を進める。
【００４１】
（Ｓ５０５）仮想撮像面上の指定範囲内の計算してない画素の位置を取得する。
【００４２】
（Ｓ５０６）次に、撮像素子１０４上の各画素から予め計算しておいた仮想撮像面１０５へ投影した光線中心の位置に対し、ステップＳ５０５で取得した画素の位置から最も近い光線中心を探索し、光線中心の位置を特定する。
【００４３】
（Ｓ５０７）次に、ステップＳ５０６で求めた光線中心の位置と、ステップＳ５０５で取得した画素の位置の距離を、コスト値に追加し、ステップＳ５０４へ戻る。
【００４４】
［１−３−３．コスト関数の一例］
次に、コスト値を算出するコスト関数の詳細について説明する。図５は、実施の形態１におけるコスト関数の一例を説明する図である。図５において、仮想撮像面１０５上に、コスト関数を計算する範囲を特定するための指定範囲をＲとし、指定範囲Ｒ内に存在するｒ番目の注目画素Ｐ（ｒ）の位置を、
【００４５】
【数４】
2015132831.tif 000006
【００４６】
と定義する。
【００４７】
次に仮想撮像面１０５の位置をｆとし、撮像素子１０４上のｎ番目の画素を、位置fにある仮想撮像面１０５へ投影した場合の光線中心の位置Ｒａｙ（ｆ，ｎ）を、
【００４８】
【数５】
2015132831.tif 000007
【００４９】
と定義する。
【００５０】
この時、注目画素の位置Ｐ（ｒ）と、光線中心の位置Ｒａｙ（ｆ，ｎ）との距離Ｄｉｓｔ（Ｐ（ｒ），Ｒａｙ（ｆ、ｎ））は、例えば、最小距離の２乗誤差として定義すれば、
【００５１】
【数６】
2015132831.tif 000008
【００５２】
となる。
【００５３】
想定される仮想撮像面全ての集合をｆｏｃｕｓ、指定範囲をＲ、撮像素子１０４上の画素全体の集合をＮとした場合、コスト関数Ｃｏｓｔ（ｆｏｃｕｓ，Ｒ，Ｎ）は、
【００５４】
【数７】
2015132831.tif 000009
【００５５】
と定義できる。
【００５６】
（数７）で定義したコスト関数は、想定される仮想撮像面１０５全てにおいて、指定範囲Ｒ、つまり、再構成する画像の範囲で、それぞれの再構成する画素の位置と再構成時に用いる光線中心の位置の距離を評価することと等価である。そして、再構成時の画素と光線中心の距離が全体的に近いほど、仮想撮像面１０５に対して光線中心の密度が高く、高い解像度を得られることに基づく式となっている。
【００５７】
［１−３−４．最適な回転角の算出］
（数７）のコスト関数を用いて、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。図６から図１０を用いて説明する。
【００５８】
図６は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。図６において、横軸をマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角、縦軸をコスト関数の平均値とする。
【００５９】
コスト関数の平均値は、算出したコスト値を、計算に用いた仮想撮像面１０５上の画素数で割った値である。コスト関数の平均値は、値が低いほど高い解像度で画像の再構成ができる。
【００６０】
図６において、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度から３０度の範囲で０．１度刻みにコスト関数の平均値をプロットしており、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時に最もコスト関数の平均値が高く、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の時が最もコスト関数の平均値が低い結果となった。また、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度から約２８．３度の間であればマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時よりもコスト関数の平均値が低いので、高い解像度で画像の再構成ができ、さらにマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度、約６．６度、約１２．４度、約１７．６度、及び約２３．４度でコスト関数の平均値が極小値となり、より高い解像度で画像の再構成ができる。
【００６１】
次に、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度における、撮像素子１０４から仮想撮像面１０５までの距離であるリフォーカス距離に対するコスト関数の平均値の関係について説明する。
【００６２】
図７は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。横軸のリフォーカス距離は、マイクロレンズアレイ１０３と撮像素子１０４の距離を１としたときの相対距離を示している。図７において、リフォーカス距離を−５から＋５まで変化させた時の、コスト関数の平均値をグラフ化している。なお、リフォーカス距離が−１〜＋１の区間は評価しない。図７におけるリフォーカス距離が＋４．５付近、＋２．５付近、−３．５付近に対する仮想撮像面１０５上の光線中心の分布について説明する。
【００６３】
図８は、リフォーカス距離が＋４．５付近の光線中心の分布を示す図である。図８において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は４．８である。
【００６４】
図９は、リフォーカス距離が＋２．５付近の光線中心の分布を示す図である。図９において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．５であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は１．１である。
【００６５】
図１０は、リフォーカス距離が−３．５付近の光線中心の分布を示す図である。左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の光線中心の分布を示している。マイクロレンズアレイ１０３の回転角が６．６度におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度におけるコスト関数の平均値は３．９である。
【００６６】
図８、９、１０より、コスト関数の平均値が１．４の光線中心の分布とコスト関数の平均値が３．９の光線中心の分布を比較すると、コスト関数の平均値が１．４の光線中心の分布のほうがコスト関数の平均値３．９の光線中心の分布よりも光線中心が重ならず、仮想撮像面１０５に対して密度が高く配置されていることが分かる。同様に、コスト関数の平均値が１．１、１．５の光線中心の分布は、仮想撮像面１０５に対して密度が高く配置され、コスト関数の平均値が４．８の光線中心の分布は光線中心が重なっている。
【００６７】
従って、図８、９、１０コスト関数の平均値が低いほど、光線中心の分布が、仮想撮像面１０５に対して密度が高いことが視覚的に確認できる。すなわち、コスト関数の平均値が低いほど、画像を再構成する際、再構成して求めたい画素付近に光線中心が存在するので、リフォーカス画像の解像度が高くなる。
【００６８】
また、図７から、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合に比べ、リフォーカス距離が−５から＋５までの全般にわたって、概ねコスト関数の平均値が低いことがわかる。
【００６９】
これにより、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有していると、画像の再構成時において、リフォーカス画像の解像度が向上する。
【００７０】
なお、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度であるとしたが、実際には製造時の精度の制約等により０．２度以下の回転角となることがあり得る。しかしながら、本実施の形態では、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有するとは、製造時の制度の制約を超えた、約１度以上の回転角であることを意図している。
【００７１】
さらに、マイクロレンズアレイ１０３の構造が別の構成である場合についても最適な回転角を見出した。図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図であり、図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図である。
【００７２】
図１１は、マイクロレンズアレイ１０３は直径が約１７画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角約６．６度及び約２３．４度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
【００７３】
さらに、図１２は、マイクロレンズアレイ１０３は直径が約１６画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約３．９度、約１３．８度、約１６．２度、及び約２６．１度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
【００７４】
［１−４．効果等］
以上のように、本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
【００７５】
これにより、画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上できる。
【産業上の利用可能性】
【００７６】
本開示の撮像装置は、ライトフィールドカメラに適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラなどに用いるライトフィールドカメラに適用可能である。
【符号の説明】
【００７７】
１００  ライトフィールドカメラ
１０１  被写体
１０２  メインレンズ
１０３  マイクロレンズアレイ
１０４  撮像素子
１０５  仮想撮像面
１０６  光線中心
２０１  マイクロレンズ
２１０，２２０  光線中心の分布
３１０  撮像部
３２０  信号処理部
４０１  ｉ番目のマイクロレンズ
４０２  中心位置
４０３  画素
４０４  方向ベクトル
４０５  光線中心の座標
【図１】
2015132831.tif 000010
【図４】
2015132831.tif 000011
【図６】
2015132831.tif 000012
【図７】
2015132831.tif 000013
【図１１】
2015132831.tif 000014
【図１２】
2015132831.tif 000015
【図２】
2015132831.tif 000016
【図３】
2015132831.tif 000017
【図５】
2015132831.tif 000018
【図８】
2015132831.tif 000019
【図９】
2015132831.tif 000020
【図１０】
2015132831.tif 000021
【手続補正書】
【提出日】平成28年6月30日(2016.6.30)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、マイクロレンズにより光線方向を分離して記録するライトフィールドカメラに関する。
【背景技術】
【０００２】
近年、光学系と撮像素子を一体化し、撮影後に好みの位置にピントを合わせ、任意の焦点位置の画像を生成するリフォーカス処理が可能なライトフィールドカメラ（Ｌｉｇｈｔ−ｆｉｅｌｄ  ｃａｍｅｒａ）が登場している。ライトフィールドカメラは、例えば、非特許文献１に開示されている。
【０００３】
ライトフィールドカメラは、メインレンズとマイクロレンズアレイと撮像素子で構成される。被写体から入射した光はメインレンズを通過した後、マイクロレンズアレイを通過し撮像素子に入射する。撮像素子では光の方向毎に区別され記録されるため、一般的なカメラと異なり、撮像素子の受光面には光の強度に加えて、その光の進行方向の情報も含む。
【０００４】
そのため、撮影後に任意の焦点位置の画像を生成するリフォーカス処理が可能である。例えば、撮像素子の受光した光を電気信号に変換した各画素から、仮想撮像面へ光線方向にしたがって投影することで、仮想撮像面に撮像素子を置いた場合のリフォーカス画像を生成できる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Ｒｅｎ．  Ｎｇ，  ｅｔ  ａｌ，  “Ｌｉｇｈｔ  Ｆｉｅｌｄ  Ｐｈｏｔｏｇｒａｐｈｙ  ｗｉｔｈ  ａ  Ｈａｎｄ−Ｈｅｌｄ  Ｐｌｅｎｏｐｔｉｃ  Ｃａｍｅｒａ”，  Ｓｔａｎｆｏｒｄ  Ｔｅｃｈ  Ｒｅｐｏｒｔ  ＣＴＳＲ  ２００５−２
【発明の概要】
【０００６】
本開示は、ライトフィールドカメラで画像を再構成して任意の焦点位置に合わせたリフォーカス画像を生成する際、画像の解像度を向上する撮像装置を提供する。
【０００７】
本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。回転角は、仮想撮像面へ撮像素子から光線方向に従って仮想撮像面に投影した光線の交わる点である光線中心の位置と、リフォーカス画像を構成する画素の位置との距離を評価するコスト関数の極小値を探索することで決定される角度である。
【０００８】
本開示の撮像装置は、ライトフィールドカメラで画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上することができる。
【図面の簡単な説明】
【０００９】
【図１】図１は、実施の形態１におけるライトフィールドカメラの構成を示すブロック図である。
【図２】図２は、仮想撮像面上の光線中心の分布を示す図である。
【図３】図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。
【図４】図４は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。
【図５】図５は、実施の形態１におけるコスト関数の一例を説明する図である。
【図６】図６は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
【図７】図７は、実施の形態１におけるマイクロレンズアレイの撮像素子に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。
【図８】図８は、実施の形態１におけるリフォーカス距離が＋４．５付近における光線中心の分布を示す図である。
【図９】図９は、実施の形態１におけるリフォーカス距離が＋２．５付近における光線中心の分布を示す図である。
【図１０】図１０は、実施の形態１におけるリフォーカス距離が−３．５付近における光線中心の分布を示す図である。
【図１１】図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
【図１２】図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。
【発明を実施するための形態】
【００１０】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【００１１】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【００１２】
（実施の形態１）
以下、図１〜１２を用いて、実施の形態１を説明する。
【００１３】
［１−１．光線中心と画像の解像度の関係］
まず、光線中心と画像の解像度の関係について説明する。ライトフィールドカメラでは、撮像素子で受光した光を電気信号に変換した画素を処理して画像を再構成してリフォーカス画像を生成する場合、光線中心が重要な役割を果たす。光線中心とは、任意の焦点位置に合わせて画像を再構成する仮想撮像面へ、撮像素子から光線方向に従って仮想撮像面に投影した光線の交わる点である。従って、再構成する画像の各画素は、撮像素子から光線方向に従って、仮想撮像面に投影した仮想撮像面上の光線中心のうち、再構成する画像内のそれぞれの画素に近い光線中心を用いて補完する。この時、光線中心の数は、撮像素子の画素数で固定されるため、仮想撮像面上の光線中心が一箇所に固まると、仮想撮像面上の光線中心の混みあいの程度を示す密度が低い領域では再構成時の画像の解像度が低くなってしまう。
【００１４】
［１−２．ライトフィールドカメラの構成］
実施の形態１において、撮像装置としてライトフィールドカメラを用いて説明する。図１は、実施の形態１にかかるライトフィールドカメラの構成図である。図１において、ライトフィールドカメラ１００は、被写体１０１を撮影する。ライトフィールドカメラ１００は、撮像部３１０と、信号処理部３２０で構成される。撮像部３１０は、メインレンズ１０２、マイクロレンズアレイ１０３、撮像素子１０４で構成される。信号処理部３２０は、ＬＳＩ（ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ）などのプロセッサを用いて実現される。
【００１５】
被写体１０１を通過する光は、メインレンズ１０２、マイクロレンズアレイ１０３を通過し、撮像素子１０４に記録される。この時、撮像素子１０４の各画素は、光の強度だけでなく、光の進行方向も同時に記録される。
【００１６】
撮像素子１０４で受光した光を電気信号に変換した各画素は、信号処理部３２０に送られる。信号処理部３２０は、任意の焦点位置で撮影した時の画像を再構成するために、撮像素子１０４を任意の空間上の平面へ仮想的に配置した仮想撮像面１０５が設定されると、撮像素子１０４の各画素から、仮想撮像面１０５へ光線方向に従って投影した光線中心１０６の位置を計算する。その後、光線中心１０６を用いて画像を再構成することで、仮想撮像面１０５におけるリフォーカス画像を生成する。
【００１７】
図２は、仮想撮像面上の光線中心の分布を示す図である。マイクロレンズアレイ１０３は、直径が約１８画素で、ハニカム構造（ｈｏｎｅｙｃｏｍｂ  ｓｔｒｕｃｔｕｒｅ）で配置されており、撮像素子１０４は、ベイヤ構造（Ｂａｙｅｒ  ｓｔｒｕｃｔｕｒｅ）で配置されている。光線中心の分布２１０は、本実施の形態のライトフィールドカメラ１００の光線中心の分布である。
【００１８】
図２において、光線中心の分布２１０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行でなく所定の角度を有し、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ａ−Ａは撮像素子１０４の水平方向Ｂ−Ｂに対して傾いている。すなわち、マイクロレンズアレイ１０３は撮像素子１０４に対して垂直方向に所定の回転角を有している。
【００１９】
図２において、光線中心の分布２２０は、従来のライトフィールドカメラの光線中心の分布である。光線中心の分布２２０は、マイクロレンズアレイ１０３を構成するマイクロレンズ２０１のうち、隣接する３つのマイクロレンズ２０１の中心を結ぶ線Ｃ−Ｃと、撮像素子１０４の水平方向Ｂ−Ｂとが、互いに平行であり、傾いていない。すなわち、マイクロレンズアレイが撮像素子に対して垂直方向に回転していない。
【００２０】
図２において、光線中心の分布２１０と光線中心の分布２２０を比較すると、光線中心の分布２１０のほうが、光線中心の重なりが少なく、仮想撮像面１０５に対して光線中心の密度が高い。仮想撮像面１０５に対して光線中心の密度が高いと、画像を再構成してフォーカス画像を生成する際、画像の解像度がより高くなる。すなわち、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有することで、仮想撮像面１０５に投影した光線中心の密度は、より高くなる。
【００２１】
以上のように構成されたライトフィールドカメラ１００において、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な回転角を算出したので、以下説明する。
【００２２】
［１−３．最適な回転角］
［１−３−１．光線中心の位置］
まず、仮想撮像面１０５上の光線中心の位置の計算方法について説明する。
【００２３】
図３は、実施の形態１における仮想撮像面上の光線中心の位置の計算方法を説明する図である。図３において、マイクロレンズアレイ１０３と撮像素子１０４の距離をｂ、マイクロレンズアレイ１０３と仮想撮像面１０５の距離をｂｂとする。
【００２４】
マイクロレンズアレイ１０３のｉ番目のマイクロレンズ４０１の中心位置を撮像素子１０４の方向に水平に伸ばして撮像素子１０４と交差する位置である中心位置４０２の座標を、
【００２５】
【数１】
2015132831.tif 000022
【００２６】
とする。
【００２７】
撮像素子１０４上の任意の画素を画素４０３、中心位置４０２から画素４０３までの方向ベクトル４０４を、
【００２８】
【数２】
2015132831.tif 000023
【００２９】
とする。また、ｉ番目のマイクロレンズ４０１の直径をｄとする。
【００３０】
ここで、撮像素子１０４上の画素４０３の仮想撮像面１０５上に投影した際の光線中心の座標４０５は、ｉ番目のマイクロレンズ４０１の中心を通過して直線に光が進むと仮定すると、
【００３１】
【数３】
2015132831.tif 000024
【００３２】
となる。
【００３３】
また仮想撮像面１０５における光線の幅をｄｄとすると、ｉ番目のマイクロレンズ４０１の直径ｄで捉えた光線が撮像素子１０４の画素４０３へ集光されると考えると、ｄｄ＝ｄとなる。これにより、撮像素子１０４上の各画素から、仮想撮像面１０５に投影した光線中心の位置および、光線の幅を計算できる。
【００３４】
［１−３−２．コスト値の算出］
マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を算出するため、コスト関数を用いて評価を行った。具体的には、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角を、０度から３０度までの間で０．１度刻みに変化させ、それぞれの回転角に対してコスト関数を用いてコスト値を算出する。算出したコスト値を用いて評価を行い、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。
【００３５】
ここで、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順について説明する。図４は、マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角に対してコスト関数を用いてコスト値を算出する手順を示すフローチャートである。
【００３６】
マイクロレンズアレイ１０３の撮像素子１０４に対する任意の垂直方向の回転角のコスト値は、想定される全ての仮想撮像面に対して算出する。想定される全ての仮想撮像面１０５は、撮像素子１０４から所定の焦点距離内で予め設定された間隔で決定されるリフォーカス距離の仮想撮像面１０５の全てである。
【００３７】
（Ｓ５０１）まず、コスト関数のコスト値や変数等をゼロに初期化する。
【００３８】
（Ｓ５０２）次に、想定される仮想撮像面を全てに対して処理が完了したか否かを判定する。全て処理した場合（Ｙｅｓの場合）は、コスト値とコスト値の算出を実施した回転角を出力して終了する。想定される仮想撮像面を全て処理してない場合（Ｎｏの場合）、ステップＳ５０３へ処理を進める。
【００３９】
（Ｓ５０３）予め設定された間隔に従って、対象とするリフォーカス距離の仮想撮像面を設定する。
【００４０】
（Ｓ５０４）次に、設定された仮想撮像面上の指定範囲内において、指定範囲内のすべての画素に対しコスト値を計算したか否かを判定する。全ての画素に対してコスト値を計算した場合（Ｙｅｓの場合）は、ステップＳ５０２に戻る。指定範囲内の全ての画素に対してコスト値を計算してない場合（Ｎｏの場合）、ステップＳ５０５へ処理を進める。
【００４１】
（Ｓ５０５）仮想撮像面上の指定範囲内の計算してない画素の位置を取得する。
【００４２】
（Ｓ５０６）次に、撮像素子１０４上の各画素から予め計算しておいた仮想撮像面１０５へ投影した光線中心の位置に対し、ステップＳ５０５で取得した画素の位置から最も近い光線中心を探索し、光線中心の位置を特定する。
【００４３】
（Ｓ５０７）次に、ステップＳ５０６で求めた光線中心の位置と、ステップＳ５０５で取得した画素の位置の距離を、コスト値に追加し、ステップＳ５０４へ戻る。
【００４４】
［１−３−３．コスト関数の一例］
次に、コスト値を算出するコスト関数の詳細について説明する。図５は、実施の形態１におけるコスト関数の一例を説明する図である。図５において、仮想撮像面１０５上に、コスト関数を計算する範囲を特定するための指定範囲をＲとし、指定範囲Ｒ内に存在するｒ番目の注目画素Ｐ（ｒ）の位置を、
【００４５】
【数４】
2015132831.tif 000025
【００４６】
と定義する。
【００４７】
次に仮想撮像面１０５の位置をｆとし、撮像素子１０４上のｎ番目の画素を、位置fにある仮想撮像面１０５へ投影した場合の光線中心の位置Ｒａｙ（ｆ，ｎ）を、
【００４８】
【数５】
2015132831.tif 000026
【００４９】
と定義する。
【００５０】
この時、注目画素の位置Ｐ（ｒ）と、光線中心の位置Ｒａｙ（ｆ，ｎ）との距離Ｄｉｓｔ（Ｐ（ｒ），Ｒａｙ（ｆ、ｎ））は、例えば、最小距離の２乗誤差として定義すれば、
【００５１】
【数６】
2015132831.tif 000027
【００５２】
となる。
【００５３】
想定される仮想撮像面全ての集合をｆｏｃｕｓ、指定範囲をＲ、撮像素子１０４上の画素全体の集合をＮとした場合、コスト関数Ｃｏｓｔ（ｆｏｃｕｓ，Ｒ，Ｎ）は、
【００５４】
【数７】
2015132831.tif 000028
【００５５】
と定義できる。
【００５６】
（数７）で定義したコスト関数は、想定される仮想撮像面１０５全てにおいて、指定範囲Ｒ、つまり、再構成する画像の範囲で、それぞれの再構成する画素の位置と再構成時に用いる光線中心の位置の距離を評価することと等価である。そして、再構成時の画素と光線中心の距離が全体的に近いほど、仮想撮像面１０５に対して光線中心の密度が高く、高い解像度を得られることに基づく式となっている。
【００５７】
［１−３−４．最適な回転角の算出］
（数７）のコスト関数を用いて、マイクロレンズアレイ１０３の撮像素子１０４に対する最適な垂直方向の回転角を見出した。図６から図１０を用いて説明する。
【００５８】
図６は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。図６において、横軸をマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角、縦軸をコスト関数の平均値とする。
【００５９】
コスト関数の平均値は、算出したコスト値を、計算に用いた仮想撮像面１０５上の画素数で割った値である。コスト関数の平均値は、値が低いほど高い解像度で画像の再構成ができる。
【００６０】
図６において、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度から３０度の範囲で０．１度刻みにコスト関数の平均値をプロットしており、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時に最もコスト関数の平均値が高く、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の時が最もコスト関数の平均値が低い結果となった。また、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度から約２８．３度の間であればマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の時よりもコスト関数の平均値が低いので、高い解像度で画像の再構成ができ、さらにマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約１．７度、約６．６度、約１２．４度、約１７．６度、及び約２３．４度でコスト関数の平均値が極小値となり、より高い解像度で画像の再構成ができる。
【００６１】
次に、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度における、撮像素子１０４から仮想撮像面１０５までの距離であるリフォーカス距離に対するコスト関数の平均値の関係について説明する。
【００６２】
図７は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度と６．６度におけるリフォーカス距離に対するコスト関数の平均値を示す図である。横軸のリフォーカス距離は、マイクロレンズアレイ１０３と撮像素子１０４の距離を１としたときの相対距離を示している。図７において、リフォーカス距離を−５から＋５まで変化させた時の、コスト関数の平均値をグラフ化している。なお、リフォーカス距離が−１〜＋１の区間は評価しない。図７におけるリフォーカス距離が＋４．５付近、＋２．５付近、−３．５付近に対する仮想撮像面１０５上の光線中心の分布について説明する。
【００６３】
図８は、リフォーカス距離が＋４．５付近の光線中心の分布を示す図である。図８において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は４．８である。
【００６４】
図９は、リフォーカス距離が＋２．５付近の光線中心の分布を示す図である。図９において、左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合の光線中心の分布を示している。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合におけるコスト関数の平均値は１．５であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合におけるコスト関数の平均値は１．１である。
【００６５】
図１０は、リフォーカス距離が−３．５付近の光線中心の分布を示す図である。左側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の光線中心の分布を示しており、右側はマイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の光線中心の分布を示している。マイクロレンズアレイ１０３の回転角が６．６度におけるコスト関数の平均値は１．４であり、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度におけるコスト関数の平均値は３．９である。
【００６６】
図８、９、１０より、コスト関数の平均値が１．４の光線中心の分布とコスト関数の平均値が３．９の光線中心の分布を比較すると、コスト関数の平均値が１．４の光線中心の分布のほうがコスト関数の平均値３．９の光線中心の分布よりも光線中心が重ならず、仮想撮像面１０５に対して密度が高く配置されていることが分かる。同様に、コスト関数の平均値が１．１、１．５の光線中心の分布は、仮想撮像面１０５に対して密度が高く配置され、コスト関数の平均値が４．８の光線中心の分布は光線中心が重なっている。
【００６７】
従って、図８、９、１０コスト関数の平均値が低いほど、光線中心の分布が、仮想撮像面１０５に対して密度が高いことが視覚的に確認できる。すなわち、コスト関数の平均値が低いほど、画像を再構成する際、再構成して求めたい画素付近に光線中心が存在するので、リフォーカス画像の解像度が高くなる。
【００６８】
また、図７から、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が６．６度の場合は、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度の場合に比べ、リフォーカス距離が−５から＋５までの全般にわたって、概ねコスト関数の平均値が低いことがわかる。
【００６９】
これにより、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有していると、画像の再構成時において、リフォーカス画像の解像度が向上する。
【００７０】
なお、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が０度であるとしたが、実際には製造時の精度の制約等により０．２度以下の回転角となることがあり得る。しかしながら、本実施の形態では、マイクロレンズアレイ１０３が撮像素子１０４に対して垂直方向に回転角を有するとは、製造時の制度の制約を超えた、約１度以上の回転角であることを意図している。
【００７１】
さらに、マイクロレンズアレイ１０３の構造が別の構成である場合についても最適な回転角を見出した。図１１は、実施の形態１における別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図であり、図１２は、実施の形態１におけるさらに別のマイクロレンズアレイの撮像素子に対する回転角に対するコスト関数の平均値を示す図である。
【００７２】
図１１は、マイクロレンズアレイ１０３は直径が約１７画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角約６．６度及び約２３．４度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
【００７３】
さらに、図１２は、マイクロレンズアレイ１０３は直径が約１６画素で、ハニカム構造で配置されており、撮像素子１０４の画素はベイヤ構造で配置された構成における、マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角に対するコスト関数の平均値を示す図である。マイクロレンズアレイ１０３の撮像素子１０４に対する垂直方向の回転角が約３．９度、約１３．８度、約１６．２度、及び約２６．１度でコスト関数の平均値が極小値となり、リフォーカス画像の解像度が向上することを見出した。
【００７４】
［１−４．効果等］
以上のように、本開示の撮像装置は、光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、メインレンズと、撮像素子と、メインレンズと撮像素子の間に配置され、撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、任意の焦点位置の仮想撮像面に、光線情報を用いてリフォーカス画像を生成する信号処理部と、を備える。
【００７５】
これにより、画像を再構成してリフォーカス画像を生成する際、画像の解像度を向上できる。
【産業上の利用可能性】
【００７６】
本開示の撮像装置は、ライトフィールドカメラに適応可能である。具体的には、車載カメラや監視カメラ、デジタルカメラ、ムービー、ウェアラブルカメラなどに用いるライトフィールドカメラに適用可能である。
【符号の説明】
【００７７】
１００    ライトフィールドカメラ
１０１    被写体
１０２    メインレンズ
１０３    マイクロレンズアレイ
１０４    撮像素子
１０５    仮想撮像面
１０６    光線中心
２０１    マイクロレンズ
２１０，２２０    光線中心の分布
３１０    撮像部
３２０    信号処理部
４０１    ｉ番目のマイクロレンズ
４０２    中心位置
４０３    画素
４０４    方向ベクトル
４０５    光線中心の座標
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
光の進行方向と進行方向に対する強度で構成される光線情報が記録可能な撮像装置であって、
メインレンズと、
撮像素子と、
前記メインレンズと前記撮像素子の間に配置され、前記撮像素子に対して垂直方向に所定の回転角を有するマイクロレンズアレイと、
任意の焦点位置の仮想撮像面に、前記光線情報を用いてリフォーカス画像を生成する信号処理部と、を備え、
前記回転角は、前記仮想撮像面へ前記撮像素子から光線方向に従って前記仮想撮像面に投影した光線の交わる点である光線中心の位置と、前記リフォーカス画像を構成する画素の位置との距離を評価するコスト関数の極小値を探索することで決定される角度である、
請求項１記載の撮像装置。
撮像装置。
【請求項２】
前記回転角は、略１．０度以上である、
請求項１記載の撮像装置。
【請求項３】
前記任意の焦点位置は、前記マイクロレンズアレイと前記撮像素子の距離に対して±５の範囲である、
請求項１記載の撮像装置。
【手続補正３】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正の内容】
【図１】
2015132831.tif 000029
【図４】
2015132831.tif 000030
【図２】
2015132831.tif 000031
【図３】
2015132831.tif 000032
【図５】
2015132831.tif 000033
【図６】
2015132831.tif 000034
【図７】
2015132831.tif 000035
【図８】
2015132831.tif 000036
【図９】
2015132831.tif 000037
【図１０】
2015132831.tif 000038
【図１１】
2015132831.tif 000039
【図１２】
2015132831.tif 000040
【国際調査報告】
2015132831.tif 000041
2015132831.tif 000042