【手続補正書】
【提出日】平成26年4月1日(2014.4.1)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の視点位置から撮影して得られる多視点画像データを合成することにより、曲面であるフォーカス面にフォーカスが合った合成画像データを生成する画像生成手段を有することを特徴とする画像処理装置。
【請求項２】
前記画像生成手段は、前記合成画像データが表す画像中の各画素において、前記曲面であるフォーカス面にフォーカスが合った合成画像データを生成することを特徴とする請求項1に記載された画像処理装置。
【請求項３】
さらに、前記合成画像データが表す画像においてフォーカスを合わせるべき複数の位置を示すフォーカス座標を取得する取得手段と、
前記取得されたフォーカス座標から、前記曲面であるフォーカス面を生成する面生成手段とを有することを特徴とする請求項1または請求項2に記載された画像処理装置。
【請求項４】
前記面生成手段は、被写体までの距離と前記取得されたフォーカス座標から前記曲面であるフォーカス面を生成することを特徴とする請求項3に記載された画像処理装置。
【請求項５】
前記面生成手段は、前記取得されたフォーカス座標の数に応じた次数の、前記フォーカス座標を通る曲線を設定し、前記曲線を拡張して前記フォーカス面とすることを特徴とする請求項3または請求項4に記載された画像処理装置。
【請求項６】
前記面生成手段は、所定数を超えないように前記次数を制限することを特徴とする請求項5に記載された画像処理装置。
【請求項７】
さらに、前記多視点画像データの被写界深度を入力する入力手段を有し、
前記面生成手段は、前記被写界深度に基づき前記フォーカス座標をグループ化したグループの数に応じた次数の、前記グループの代表フォーカス座標を通る曲線を設定し、前記曲線を拡張して 前記フォーカス面とすることを特徴とする請求項3または請求項4に記載された画像処理装置。
【請求項８】
さらに、前記多視点画像データおよび前記多視点画像データの撮影位置を示す情報を入力する入力手段と、
前記多視点画像データおよび前記撮影位置を示す情報から前記被写体までの距離を推定する推定手段とを有することを特徴とする請求項4に記載された画像処理装置。
【請求項９】
前記画像生成手段は、前記多視点画像データそれぞれの重み係数を設定する手段と、
前記撮影位置を示す情報および前記フォーカス面を示す情報に基づき前記多視点画像データそれぞれが表す画像のシフト量を算出する手段と、
前記多視点画像データそれぞれを前記シフト量分シフトし、前記シフトした多視点画像データそれぞれに前記重み係数を乗算し、前記重み係数を乗算した多視点画像データを合成した前記合成画像データを生成する手段とを有することを特徴とする請求項8に記載された画像処理装置。
【請求項１０】
複数の視点位置から被写体を撮影する複数の撮像手段と、
請求項1から請求項9の何れか一項に記載された画像処理装置とを有することを特徴とする撮像装置。
【請求項１１】
複数の視点位置から撮影して得られる多視点画像データを合成することにより、曲面であるフォーカス面にフォーカスが合った合成画像データを生成することを特徴とする画像処理方法。
【請求項１２】
コンピュータを請求項1から請求項9の何れか一項に記載された画像処理装置の各手段として機能させるためのプログラム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
本発明にかかる画像処理は、複数の視点位置から撮影して得られる多視点画像データを合成することにより、曲面であるフォーカス面にフォーカスが合った合成画像データを生成することを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
このような撮像装置140により、同一の被写体を複数の視点位置から撮影した画像データ群を得ることができる。ここでは撮像部の数が九個の例を示すが、複数の撮像部があれば本発明を適用することが可能であり、撮像部の数は任意である。また、撮像部の配置は、正方格子状に均等な配置である必要はなく、撮像部の配置も任意である。例えば、放射状や直線状に配置してもよいし、全くランダムな配置でもよい。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】変更
【補正の内容】
【００２０】
撮影インタフェイス(I/F)104は、例えばUSBやIEEE1394などのシリアルバスインタフェイスであり、撮像装置140が接続される。CPU101は、撮像I/F104を介して、撮像装置140を制御して撮影を行い、撮像装置140から撮像データをから入力することが可能である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
図9によりフォーカス点pnとフォーカス座標Pnの関係を説明する。フォーカス座標Pnは基準画像160のxy座標として表現され、フォーカス点pnは、フォーカス座標Pnに対応する、現実の三次元空間におけるフォーカス点をxyz座標で表現する。デプス画像の二次元配列をDmap、フォーカス座標をPn=(xn, yn)とすると、フォーカス座標Pnの、撮像装置140からの距離はDmap(Pn)と表される。従って、フォーカス点はpn(x, y, z)=(xn, yn, Dmap(xn, yn))である。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００６８
【補正方法】変更
【補正の内容】
【００６８】
図14により重み係数を説明する。図14(a)は撮像部131-139の位置Pcm (cm=0-8)を表し、位置Pcmに対応する画像データが表す画像をIm、画像Imに対応する重み係数をA(m)とする。ここでは、中央P4に配置された撮像部135の重み係数A(4)を中心にガウス関数に従う重み係数を設定し、重み係数の和が1になるよう正規化する（図14(b)参照）。こうすれば、仮想ピント面から外れた領域の暈けを滑らかに増加させることができる。言い換えれば、撮像部135が撮影した画像を中心に、撮像部131-139が撮影した画像を合成する。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００７５
【補正方法】変更
【補正の内容】
【００７５】
図15のブロック図により実施例2の画像処理装置の機能構成例を説明する。なお、図15に示す機能構成は、CPU101が画像処理のプログラムを実行することにより実現される。実施例2の機能構成において、実施例1と異なる点は、被写界深度取得部201が追加されたことである。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
被写界深度取得部201は、撮像装置情報が示す絞り値から撮像データが撮影された際の被写界深度を取得し、被写界深度を示す情報を出力する。なお、絞り値と撮像装置140の被写界深度の関係は、例えばHDD105などに格納されたテーブルに格納されている。あるいは、撮像装置情報に付加された被写界深度を示す情報を取得してもよいし、ユーザが入力してもよい。仮想ピント面設定部113は、フォーカス座標、デプス画像、被写界深度を示す情報を入力して曲面パラメータおよびフォーカス点を算出する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
CPU101は、フォーカス座標Pnを取得(S102)した後、被写界深度取得部201により被写界深度を取得する(S201)。また、デプス画像を生成(S103)した後、仮想ピント面設定部113により仮想ピント面設定処理を実行して曲面パラメータSとフォーカス点pnを算出する(S202)。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００８４
【補正方法】変更
【補正の内容】
【００８４】
また、グループ化されたフォーカス点の平均的な座標をグループのフォーカス点として以降の処理を行う。例えば、フォーカス点p1とp2をグループ化した場合、当該グループの代表フォーカス点Gi(x, y, z)を次式により計算する。なお、フォーカス点を一つしか含まないグループの代表フォーカス点は当該フォーカス点に等しいことは言うまでもない。
Gi(x) = {p1(x) + p2(x)}/2
Gi(y) = {p1(y) + p2(y)}/2      …(9)
Gi(z) = {p1(z) + p2(z)}/2