(57)【特許請求の範囲】
【請求項１】
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から所定の切り出しサイズの部分画像を切り出す画像切り出し手段と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定するサイズ設定手段と
を備えた画像処理装置。
【請求項２】
ボケ度合いを設定する手段を更に備え、
前記サイズ設定手段は前記ボケ度合いが大きくなると前記切り出しサイズを大きくする
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記複数の副画像から第１の画像を選択する第１の選択手段と、
前記第１の画像に含まれる第１の画素を選択する画素選択手段と、
前記複数の副画像から第２の画像を選択する第２の選択手段と、
前記第２の画像に含まれる画素の中から、前記第１の画素に対応する第２の画素を探索する探索手段と、
前記第１の画素と第２の画素の位置関係と、再焦点距離と、に応じたボケ強度に従って前記第１の画素と第２の画素にボケ付加処理を施して前記複数の副画像を加工する画素加工手段と、
前記画素加工手段によって加工された前記複数の副画像から画像を再構成する再構成手段と
を備えた画像処理装置。
【請求項４】
前記再構成手段は、
前記副画像から所定の切り出しサイズの部分画像を切り出す画像切り出し手段と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定するサイズ設定手段と
を含むことを特徴とする請求項３に記載の画像処理装置。
【請求項５】
メインレンズと、撮像素子と、各々のマイクロレンズが該撮像素子の複数の画素をカバーするマイクロレンズアレイを含む光学系からなる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
ことを特徴とする請求項１乃至４に記載の画像処理装置。
【請求項６】
被写体を複数の視点から見た複数の副画像が整列した画像を取得する工程と、
前記副画像から所定の切り出しサイズの部分画像を切り出す工程と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する工程と、
再焦点距離を設定する工程と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する工程と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定する工程と
を備えた画像処理方法。
【請求項７】
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段を備えた画像処理装置のコンピュータに、
前記副画像から所定の切り出しサイズの部分画像を切り出す手順と、
前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する手順と、
再焦点距離を設定する手順と、
前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する手順と、
前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定する手順と
を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
近年、入射光線の方向分布（ｄｉｒｅｃｔｉｏｎ  ｄｉｓｔｒｉｂｕｔｉｏｎ）についての情報を取り込む撮像装置、即ち「プレノプティック（ｐｌｅｎｏｐｔｉｃ）カメラ」と呼ばれる撮像装置が研究開発されている（特許文献１参照）。
プレノプティックカメラの光学系においては、従来の撮像レンズ（以下、「メインレンズ」と呼ぶ）と撮像素子との間に、極小のレンズ（以下、「マイクロレンズ」と呼ぶ）を縦横に連続して繰り返し配置した複眼状レンズ（以下、「マイクロレンズアレイ」と呼ぶ）が挿入されている。
【０００３】
マイクロレンズアレイを構成する個々のマイクロレンズは、メインレンズによって集光された光を、その到達した角度に応じて、撮像素子内の複数の画素群に分配する。
即ち、個々のマイクロレンズの各々によって撮像素子に集光された像を、以下「サブイメージ」と呼ぶならば、複数のサブイメージの集合体からなる画像のデータが、撮像画像のデータとして撮像素子から出力される。
なお、このようなプレノプティックカメラの撮像画像、即ち、複数のサブイメージの集合体からなる画像を、以下、「ライトフィールド画像」と呼ぶ。
ライトフィールド画像は、このように従来のメインレンズのみならず、マイクロレンズアレイを介して入射された光により生成される。このため、ライトフィールド画像は、従来の撮像画像にも含まれていた２次元の空間情報を有することは勿論のこと、さらに、従来の撮像画像には含まれていなかった情報として、撮像素子からみて何れの方向から到達した光線なのかを示す２次元の方向情報を有している。
【０００４】
そこで、プレノプティックカメラは、このような２次元の方向情報を利用して、ライトフィールド画像の撮像後に、当該ライトフィールド画像のデータを用いて、撮像時に任意の距離だけ前方に離間していた面の像を再構成することができる。
換言すると、プレノプティックカメラは、所定距離で焦点を合わせずにライトフィールド画像を撮像した場合であっても、その撮像後に、当該ライトフィールド画像のデータを用いることで、当該所定距離で合焦して撮像したような画像（以下、「再構成画像」と呼ぶ）のデータを自在に作り出すことができる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特表２００８−５１５１１０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
特許文献１に記載のプレノプティックカメラは、光センサーアレイにおける互いに異なった光センサーで検出された光線が物理焦点面上の特定の場所において入射するときの入射角を、物理焦点面上の特定の場所に対する光センサーの位置に基づいて判定し、光センサーアレイによって検出された光線のデータを、判定された光線の入射角に基づいて選択的に組み合わせることにより再構成画像のデータを生成しているため、計算量が極めて大きなものであった。
このため、より簡易な計算で再構成画像を生成する手法が求められている。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、プレノプティックカメラと呼ばれる撮像装置により撮像されたライトフィールド画像から、簡易な計算で再構成画像を生成することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成するため、本発明の一態様の画像処理装置は、被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、前記副画像から所定の切り出しサイズの部分画像を切り出す画像切り出し手段と、前記部分画像を当該部分画像に対応する副画像の並び順に所定の間隔で配置して再構成画像を生成する画像生成手段と、再焦点距離を設定する再焦点距離設定手段と、前記部分画像が配置される前記間隔を前記再焦点距離に応じて設定する間隔設定手段と、前記再構成画像上で隣接する前記部分画像の一部領域が互いに重複するように前記部分画像の前記切り出しサイズを設定するサイズ設定手段とを備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、プレノプティックカメラにより撮像されたライトフィールド画像から再構成画像が生成する際の計算量を軽減させることができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の一実施形態に係る画像処理装置のハードウェアの構成を示すブロック図である。
【図２】図１の構成を有する画像処理装置のうち、光学系の構成例を示す模式図である。
【図３】図１の画像処理装置が実行する再構成処理の流れを説明するフローチャートである。
【図４】図１の画像処理装置が実行する再構成処理における、サブイメージと中間画像の関係を説明する模式図である。
【図５】図１の画像処理装置が実行する再構成処理における、サブイメージと中間画像の関係を説明する模式図である。
【図６】図１の画像処理装置が実行する再構成処理における、サブイメージと中間画像の関係を説明する模式図である。
【図７】図１の画像処理装置が実行する再構成処理における、サブイメージと中間画像の関係を説明する模式図である。
【図８】図１の画像処理装置が実行する再構成処理で生成される再構成画像の一例を示した図である。
【発明を実施するための形態】
【００１１】
以下、本発明の一実施形態を図面に基づいて説明する。
【００１２】
図１は、本発明の一実施形態に係る画像処理装置１のハードウェアの構成を示すブロック図である。
【００１３】
画像処理装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、入力部１７と、出力部１８と、記憶部１９と、通信部２０と、ドライブ２１と、を備えている。
【００１４】
ＣＰＵ１１は、ＲＯＭ１２に格納されているプログラム、又は、記憶部１９からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００１５】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００１６】
ＣＰＵ１１、ＲＯＭ１２、及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、入力部１７、出力部１８、記憶部１９、通信部２０及びドライブ２１が接続されている。
【００１７】
撮像部１６は、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、を備えている。なお、撮像部１６のさらなる詳細については、図２を参照して後述する。
【００１８】
入力部１７は、図示せぬシャッタ釦等の各種釦により構成され、ユーザの指示操作に応じた各種情報を入力する。
出力部１８は、モニタやスピーカ等により構成され、各種画像や各種音声を出力する。
記憶部１９は、ハードディスクやＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、後述するライトフィールド画像や再構成画像等、各種画像のデータを記憶する。
通信部２０は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００１９】
ドライブ２１には、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリ等よりなる、リムーバブルメディア２２が適宜装着される。ドライブ２１によってリムーバブルメディア２２から読み出されたプログラムは、必要に応じて記憶部１９にインストールされる。また、リムーバブルメディア２２は、記憶部１９に記憶されている画像のデータ等の各種データも、記憶部１９と同様に記憶することができる。
【００２０】
図２は、このような構成を有する画像処理装置１のうち、光学系の構成例を示す模式図である。
【００２１】
画像処理装置１の光学系においては、被写体たる物体面ｏｂからみて、メインレンズ３１と、マイクロレンズアレイ３２と、撮像素子３３と、がその順番で配置されている。
マイクロレンズアレイ３２においては、Ｎ個（Ｎは２以上の任意の整数値）のマイクロレンズ３２−１乃至３２−Ｎの各々が規則的に連続して繰り返して配置されている。
【００２２】
メインレンズ３１は、光源から射出された光束を集光して、所定の面Ｍａに結像させ、マイクロレンズアレイ３２に入射させる。なお、以下、メインレンズ３１により結像される面Ｍａを、「メインレンズ結像面Ｍａ」と呼ぶ。
【００２３】
マイクロレンズアレイ３２内のマイクロレンズ３２−ｉ（ｉは、１乃至Ｎの範囲内の整数値）は、物体面ｏｂからメインレンズ３１を介して入射されてくる光束を入射方向毎に集光して、撮像素子３３の上にサブイメージを結像させる。
即ち、撮像素子３３においては、複数のマイクロレンズ３２−１乃至３２−Ｎの各々により複数のサブイメージが結像され、これらの複数のサブイメージの集合体であるライトフィールド画像が生成される。
このようにして、同一の被写体に対して異なる角度から見た像が、対応する複数のサブイメージに記録される。言い換えると被写体を複数の視点から見た複数の副画像が整列した画像が得られる。
【００２４】
こうして得られたサブイメージは、同一の被写体に対して異なる角度から見た像を含む。そのため、複数のサブイメージから適切な画素を選択して合成することで、撮像時に任意の距離だけ前方に離れていた面に焦点を合わせた画像を再構成することができる。
なお、このようにして画像処理装置１が再構成画像のデータを生成するまでの処理を、以下、「再構成処理」と呼び、再構成対象の面を、「再構成面」と呼ぶ。
【００２５】
図３は、図１の画像処理装置１が実行する再構成処理の流れを説明するフローチャートである。
なお、画像処理装置１は、再構成処理の前に、被写体を撮像して、その結果得られるライトフィールド画像のデータを記憶部１９等に記憶しているものとする。
【００２６】
ステップＳ１１において、画像処理装置１のＣＰＵ１１は、ライトフィールド画像のデータを記憶部１９等から取得する。ステップＳ１２において、画像処理装置１のＣＰＵ１１は、ライトフィールド画像の各画素について被写体距離推定を行う。
【００２７】
被写体距離推定は以下の様に行う。
まずサブイメージを第１のサブイメージとして選択する。第１のサブイメージの中の画素から、例えば、サブイメージの中央の画素を注目画素として選択する。次に他のサブイメージ、例えば、隣接するサブイメージを第２のサブイメージとして選択する。そして、注目画素と第２のサブイメージの画素との差分を調べる。まず、注目画素の対応点、この場合、第２のサブイメージの中央からスタートし、起こりうる視差の範囲について調べる。差分が最小値である画素の対応点からの位置ずれ（位置関係）から被写体までの距離を推定する。この被写体距離推定はライトフィールド画像上の各サブイメージについて行われる。
【００２８】
注目画素が非常に遠くにある被写体を撮影した点である場合には位置ずれは小さく、近くにある被写体を撮影した点である場合には位置ずれは大きい。この位置ずれと、実世界における被写体とカメラの距離の関係は、メインレンズ３１、マイクロレンズアレイ３２内のマイクロレンズ３２−ｉの焦点距離と、撮像素子３３の置かれた位置および大きさによって決まる。これらの対応関係は予めＲＯＭ１２に格納されている。
【００２９】
ステップＳ１３において、ＣＰＵ１１は、メインレンズ３１の前方の所定距離の位置にある面の像を、再構成面として設定する。この所定距離を以下再焦点距離と呼ぶ。ステップＳ１４において、ＣＰＵ１１は、再構成処理に於いて付加するボケ度合いを設定する。
【００３０】
ステップＳ１５において、画像処理装置１のＣＰＵ１１は、ライトフィールド画像の各画素についてボケ付加を行う。再焦点距離と被写体までの距離の差が所定値以上あれば設定されたボケ強度に従ってボケ付加処理を行う。ボケ付加処理には例えばガウシアンフィルターを用いる。
【００３１】
ステップＳ１６において、ＣＰＵ１１は、サブイメージから切り出された部分画像を再構成画像に配置する際の間隔をＲＯＭ１２から読み出して配置間隔として設定する。配置間隔は、メインレンズ３１、マイクロレンズアレイ３２内のマイクロレンズ３２−ｉの焦点距離と、撮像素子３３の置かれた位置と、再焦点距離によって定まる。
【００３２】
遠くにある被写体ほどマイクロレンズ毎の見込み角度の差が小さくなるためサブイメージ内での移動も小さい。これに従い配置間隔を小さくする。逆に近くにある被写体ほどマイクロレンズ毎の見込み角度の差が大きくなるためサブイメージ内での移動も大きい。これに従い配置間隔を大きくする。
【００３３】
ステップＳ１７において、ＣＰＵ１１は、サブイメージから切り出す部分画像の大きさをＲＯＭ１２から読み出して切り出しサイズとして設定する。ＲＯＭ１２には再焦点距離と切り出しサイズの対応テーブルが記憶されている。切り出しサイズは、部分画像の再構成画像に対する配置間隔とボケ強度によって定まる。
【００３４】
この切り出しサイズの一辺は配置間隔よりも大きいものである。そのため、部分画像が再構成画像に配置された際には部分画像同士の重なりが生ずる。また、重ねられる部分画像の枚数が多いほどボケが強くなる。そのため、設定されたボケ強度が強ければ、切り出しサイズを大きくする。
【００３５】
ステップＳ１８において、ＣＰＵ１１は、処理すべきサブイメージを選択する。ステップＳ１９において、ＣＰＵ１１は、選択されたサブイメージから部分画像を切り出す。ステップＳ２０において、ＣＰＵ１１は、この部分画像を切り出しサイズと配置間隔に基づいて部分画像が互いに重複するように再構成画像に配置する。この際、メインレンズの焦点が撮像素子よりもメインレンズ側にある、図２のような光学系で撮影されたライトフィールド画像においては、各部分画像の上下左右を反転して再構成画像に配置する。メインレンズの焦点が撮像素子の後ろ側にある光学系の場合には部分画像の上下左右の反転を行わない。
【００３６】
ステップＳ２１において、ＣＰＵ１１は、全てのサブイメージを処理したかを判定する。判定結果がＮｏであれば、ＣＰＵ１１は、ステップＳ１８に戻り、次のサブイメージを選択して処理を繰り返す。判定結果がＹｅｓであれば、ステップＳ２２においてＣＰＵ１１は、作成された再構成画像を出力部１８から表示出力し、リムーバブルメディア２２に保存する。これにより、再構成処理は終了となる。
【００３７】
Ｓ１８〜Ｓ２２の処理について図４〜図７を用いて説明する。部分画像Ｃの一辺が配置間隔の２倍の例である。画像の端の部分を除いて、部分画像Ｃが４枚ずつ重なる。
始めにライトフィールド画像ＬＦの左上のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１９）、この部分画像Ｃが中間画像の左上に配置される（Ｓ２０）。ここまでを図解したのが図４である。
【００３８】
次に右隣のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１９）、この部分画像Ｃが、先ほど中間画像内に配置された部分画像Ｃの右隣に配置される（Ｓ２０）。切り出された部分画像Ｃの一辺が配置間隔の２倍であるので図５のように水平方向に重なりをもって配置される。重なり部分の画素値はバッファ上で加算される。
【００３９】
この作業がライトフィールド画像ＬＦの右端まで繰り返される。右端のサブイメージＳの処理が済んだら、ライトフィールド画像ＬＦの左端に戻り、上から２段目のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出され（Ｓ１９）、この部分画像Ｃが最初に中間画像内に配置された部分画像Ｃの下側に配置される（Ｓ２０）。切り出された部分画像Ｃの一辺が配置間隔の２倍であるので図６のように垂直方向に重なりをもって配置される。重なり部分の画素値はバッファ上で加算される。
【００４０】
次に右隣のサブイメージＳが選択される（Ｓ１８）。選択されたサブイメージＳから部分画像Ｃが切り出されて（Ｓ１９）、この部分画像Ｃが、先ほど中間画像内に配置された部分画像Ｃの右隣に配置される（Ｓ２０）。切り出された部分画像Ｃの一辺が配置間隔の２倍であるので図７のように水平方向に重なりをもって配置される。重なり部分の画素値はバッファ上で加算される。
【００４１】
一段目と同様にこの作業がライトフィールド画像ＬＦの右端まで繰り返される。右端のサブイメージＳの処理が済んだら、ライトフィールド画像ＬＦの次の段のサブイメージＳが処理される。これらの作業が繰り返される。ライトフィールド画像ＬＦの右下のサブイメージＳまで処理したと判定されたら（Ｓ２１）、作成された再構成画像Ｒは出力部１８から表示出力され、リムーバブルメディア２２に保存される。（Ｓ２２）。
【００４２】
図８は、上述の手法が、Ｔｏｄｏｒ  Ｇｅｏｒｇｉｅｖがｈｔｔｐ：／／ｗｗｗ．ｔｇｅｏｒｇｉｅｖ．ｎｅｔ／で公開しているライトフィールドデータに適用されたものである。図８（ａ）の全体像の点線で囲まれた部分のライトフィールド画像を、図８（ｂ）に示す。図を見やすくするために、マイクロレンズにより生ずる各サブイメージの上下左右の反転は修正されている。また、見やすさのためにライトフィールド画像へのボケ加工を行っていない作例を図示している。また、図８（ｂ）の４個のサブイメージが重ね合わされた結果を、図８（ｃ）に示す。再構成面から離れた被写体にボケが生じているのがわかる。このように重ね書きにより少ない計算量でボケを付加することができる。
【００４３】
ライトフィールド画像に対するボケ加工はサブイメージ毎に為されるため、ステップＳ１２での被写体距離推定に誤りが含まれていた場合でも、ステップＳ１８〜Ｓ２１の重ね書きにより平均化され、誤りの影響が緩和される。
【００４４】
また、重ね書きによるボケ付加と、被写体距離推定後のフィルター処理によるボケ付加を併用しているため、この両者の強度を調整することでボケの味わいを変化させることができる。
【００４５】
また、再焦点距離の設定は、マニュアル操作で設定しても良いし、焦点を合わせたい被写体までの距離を測定して設定しても良い。さらに、再構成画像の表示後にタッチパネルなどにより焦点を合わせたい被写体を選択し直して、再焦点距離を再設定するようにしても良い。
【００４６】
本実施形態に於いては、撮像処理を画像処理装置内で行ったが、他の撮像装置で生成されたライトフィールド画像を画像処理装置に読み込み、この画像処理装置で再構成処理を行ってもよい。この場合、他の撮像装置は、タッチパネルで選んだ被写体の位置とライトフィールド画像をリムーバブルメディア２２に記憶しておくようにしても良い。これにより画像処理装置での再構成が容易になる。また、撮影時に測定した被写体距離とライトフィールド画像をリムーバブルメディア２２に記憶しておくようにしても良い。
【００４７】
以上、本発明の実施形態について説明したが、この実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれると共に、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【００４８】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記副画像から部分画像を切り出す画像切り出し手段と、
前記部分画像を配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定するサイズ設定手段と
を備えた画像処理装置。
［付記２］
ボケ度合いを設定する手段を更に備え、
前記サイズ設定手段は前記ボケ度合いが大きくなると前記切り出しサイズを大きくする
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段と、
前記複数の副画像から第１の画像を選択する第１の選択手段と、
前記第１の画像に含まれる第１の画素を選択する画素選択手段と、
前記複数の副画像から第２の画像を選択する第２の選択手段と、
前記第２の画像に含まれる画素の中から、前記第１の画素に対応する第２の画素を探索する探索手段と、
前記第１の画素と第２の画素の位置関係に基づいて前記第１の画素と第２の画素を加工する画素加工手段と、
前記画素加工手段によって加工された前記複数の副画像から画像を再構成する再構成手段と
を備えた画像処理装置。
［付記４］
前記再構成手段は、
前記副画像から部分画像を切り出す画像切り出し手段と、
前記部分画像を配置して再構成画像を生成する画像生成手段と、
再焦点距離を設定する再焦点距離設定手段と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する間隔設定手段と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定するサイズ設定手段と、
を含むことを特徴とする付記３に記載の画像処理装置。
［付記５］
メインレンズと、撮像素子と、各々のマイクロレンズが該撮像素子の複数の画素をカバーするマイクロレンズアレイを含む光学系からなる撮像手段を更に備え、
前記画像取得手段は、前記撮像手段によって撮像された画像を取得する
ことを特徴とする付記１乃至４に記載の画像処理装置。
［付記６］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する工程と、
前記副画像から部分画像を切り出す工程と、
前記部分画像を配置して再構成画像を生成する工程と、
再焦点距離を設定する行程と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する工程と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定する工程と
を備えた画像処理方法。
［付記７］
被写体を複数の視点から見た複数の副画像が整列した画像を取得する画像取得手段を備えた画像処理装置のコンピュータに、
前記副画像から部分画像を切り出す手順と、
前記部分画像を配置して再構成画像を生成する手順と、
再焦点距離を設定する手順と、
前記部分画像が配置される間隔を前記再焦点距離に応じて設定する手順と、
前記再構成画像上で前記部分画像が互いに重複するように前記部分画像の切り出しサイズを設定する手順と
を実行させるプログラム。
【符号の説明】
【００４９】
１・・・画像処理装置、１１・・・ＣＰＵ、１２・・・ＲＯＭ、１３・・・ＲＡＭ、１４・・・バス、１５・・・入出力インターフェース、１６・・・撮像部、１７・・・入力部、１８・・・出力部、１９・・・記憶部、２０・・・通信部、２１・・・ドライブ、２２・・・リムーバブルメディア、３１・・・メインレンズ、３２・・・マイクロレンズアレイ、３２−ｉ・・・マイクロレンズ、３３・・・撮像素子
【図１】
0005354005.tif 000002
【図２】
0005354005.tif 000003
【図３】
0005354005.tif 000004
【図４】
0005354005.tif 000005
【図５】
0005354005.tif 000006
【図６】
0005354005.tif 000007
【図７】
0005354005.tif 000008
【図８】
0005354005.tif 000009