(57)【要約】【課題】複数視点画像を用いてリフォーカス処理を行うと、各視点画像の光沢が平均化されることによって、光沢強度の低下や、光沢感のぼけが発生してしまうといった問題があった。【解決手段】画像処理装置であって、複数の視点画像における光沢成分を、基準となる１つの視点画像の光沢成分で置き換える光沢処理手段と、光沢成分が置き換えられた前記複数の視点画像を、指定された合成条件に基づいて合成する画像合成処理手段とを備えることを特徴とする。【選択図】図７
2014049895.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点画像における光沢成分を、基準となる１つの視点画像の光沢成分で置き換える光沢処理手段と、
光沢成分が置き換えられた前記複数の視点画像を、指定された合成条件に基づいて合成する画像合成処理手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記合成条件は、仮想ピント位置、仮想ピント距離、仮想ボケ量のうち少なくとも１つの情報を含むことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記複数の視点画像には、視差のある撮像画像から生成された仮想視点位置における仮想視点画像を含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記光沢処理手段は、
前記複数の視点画像の光沢成分を特定する手段と、
前記複数の視点画像から、前記特定された光沢成分を除去する手段と、
前記基準となる１つの視点画像から光沢成分を抽出する手段と、
前記抽出された光沢成分を、光沢成分の除去された前記他の視点画像に加算する手段と、
を含むことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項５】
前記光沢処理手段は、前記複数の視点画像における光沢成分を、基準となる１つの視点画像の非ピント領域における光沢成分で置き換え、
前記画像合成処理手段は、前記非ピント領域における光沢成分が置き換えられた前記複数の視点画像を、指定された合成条件に基づいて合成し、
前記合成後の画像に、前記基準となる１つの視点画像のピント領域における光沢成分を加算する手段をさらに備える、
ことを特徴とする請求項１〜３のいずれか１項に記載の画像処理装置。
【請求項６】
前記複数の視点画像を、ピント領域と非ピント領域に分離する手段をさらに備えたことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
複数の視点画像における光沢成分を、基準となる１つの視点画像の光沢成分で置き換えるステップと、
光沢成分が置き換えられた前記複数の視点画像を、指定された合成条件に基づいて合成するステップと、
を含むことを特徴とする画像処理方法。
【請求項８】
コンピュータを、請求項１〜６のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、視点位置の異なる複数の画像から、新たな画像を生成する画像処理方法に関する。
【背景技術】
【０００２】
従来から、ある被写体を位置の異なる多くの視点から撮像した画像（複数視点画像）を基に、高画質な画像を生成する方法が提案されている。例えば、低解像度画像から、高解像度画像を生成する超解像処理などがよく知られている。
【０００３】
また、複数視点画像を利用することで撮像後にフォーカス距離や被写界深度を調整した画像を再構成するリフォーカス処理なども提案されている。リフォーカス処理は、まず、複数視点画像内の被写体のうち、ピント領域に含まれる被写体の位置が一致するように各画像の変形やシフトを行う。その後、各画像を重み付け加算して画像を再構成することでフォーカス距離等が異なる新たな画像が得られる。この場合、非ピント領域にある被写体にはずれが生じるため、ボケとして再現される。
【０００４】
ここで、一般的なカメラを用いた撮像の場合、絞りやレンズ口径を変えることで画像のボケを調整する。一方、リフォーカス処理においては、上述のように撮像した複数視点画像の変形処理や重み付け加算処理によってボケが調整される。例えば、特許文献１では、複数視点画像撮像時の光線情報に基づいて重み付けした画像を合成することで、撮像後に画像の被写界深度を調整したり、特徴的なボケを再現したりする手法が提案されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１０−１７７７４１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
光沢のある被写体を撮像した複数視点画像を用いてリフォーカス処理を行う場合を考える。一般的に、物体の光沢は、物体表面の光の入射角と出射角に対する反射率を表すＢＲＤＦ(Bidirectional Reflectance Distribution Function)に大きく依存する。図１は、ＢＲＤＦの説明図である。図１に示されるように、光沢のある物体では、入射角と出射角が等しくなる正反射の近傍においてＢＲＤＦの値が大きくなる。
【０００７】
図２は、複数視点画像を１度の撮像で取得可能ないわゆる多眼カメラで球状の物体を撮像する様子を示している。この場合、多眼カメラを構成する個々のカメラ（個眼カメラ）毎に、レンズ、物体、照明の相対的な位置関係が異なる。そのため、撮像される反射特性が異なるものになってしまう。特に物体表面での正反射光、すなわち光沢における差が顕著であり、同じ物体を撮像しているにも関わらず、個眼カメラ毎に光沢の有無、強度、位置に差が生じてしまう。その結果、撮像された画像は、視点ごとに異なる光沢を持つ複数視点画像となり、このような複数視点画像を用いてリフォーカス処理を行うと、各視点画像の光沢が平均化されることによって、光沢強度の低下や、光沢感のぼけが発生してしまう。また、リフォーカス処理における各視点画像の加算時の重みが、別途設定される被写界深度に応じて変化するため、被写界深度の変更に伴いリフォーカス後の光沢強度や光沢感のぼけも変化してしまう。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、複数の視点画像における光沢成分を、基準となる１つの視点画像の光沢成分で置き換える光沢処理手段と、光沢成分が置き換えられた前記複数の視点画像を、指定された合成条件に基づいて合成する画像合成処理手段と、を備えることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、多眼カメラなどで撮像した複数視点画像を用いてリフォーカスを行う場合に、安定した光沢感を持つ画像を生成することができる。
【図面の簡単な説明】
【００１０】
【図１】ＢＲＤＦの説明図である。
【図２】多眼カメラで球状の物体を撮像する様子を示す図である。
【図３】多眼カメラの外観を示す図である。
【図４】多眼カメラの内部構成を示すブロック図である。
【図５】撮像部の内部構成を示す図である。
【図６】実施例１に係る画像処理部の内部構成を示す図である。
【図７】実施例１に係る画像処理部における画像処理の流れを示すフローチャートである。
【図８】ユーザが合成条件を指定するためのＵＩ画面の一例を示す図である。
【図９】補間処理の流れを示すフローチャートである。
【図１０】仮想視点位置の一例を示す図である。
【図１１】光沢処理の流れを示すフローチャートである。
【図１２】視点画像内の光沢成分を特定する処理の流れを示すフローチャートである。
【図１３】画像合成処理の流れを示すフローチャートである。
【図１４】各視点画像に対して設定された重みの一例を示す図である。
【図１５】仮想ボケ量と設定される重みとの関係を説明する図であり、（ａ）は仮想ボケ量が小さい場合の各視点画像に対する重み、（ｂ）は仮想ボケ量が大きい場合の各視点画像に対する重みを示す図である。
【図１６】実施例２に係る画像処理部の内部構成を示す図である。
【図１７】実施例２に係る画像処理部における画像処理の流れを示すフローチャートである。
【図１８】ピント領域分離処理の流れを示すフローチャートである。
【図１９】三角測量の原理に基づく測距方法を説明する図である。
【図２０】非ピント領域光沢処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
［実施例１］
図３は、１度の撮像で複数視点画像を取得可能な多眼方式の撮像装置（多眼カメラ）の外観を示す図である。多眼カメラ３００は、カラー画像を取得する９個の撮像部３０１〜３０９及び撮像ボタン３１０を備えている。
【００１２】
ユーザが撮像ボタン３１０を押下すると、撮像部３０１〜３０９が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換されて、複数のカラー画像（デジタルデータ）が同時に取得される。このようにして、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。
【００１３】
なお、ここでは撮像部の数を９個としたが撮像部の数は９個に限定されない。撮像装置が複数の撮像部を有する限りにおいて本発明は適用可能である。
【００１４】
また、ここでは９個の撮像部３０１〜３０９が正方格子上に均等に配置される例について説明したが、撮像部の配置は任意である。例えば、放射状や直線状に配置してもよいし、まったくランダムに配置してもよい。
【００１５】
図４は、本実施例に係る多眼カメラ３００の内部構成を示すブロック図である。
【００１６】
各撮像部３０１〜３０９は、被写体の光情報を撮像素子で受光し、受光した信号をＡ／Ｄ変換して、カラー撮像データ（デジタルデータ）を取得する。撮像部の詳細については後述する。
【００１７】
中央処理装置（ＣＰＵ）４０１は、以下に述べる各部を統括的に制御する。
【００１８】
ＲＡＭ４０２は、ＣＰＵ４０１の主メモリ、ワークエリア等として機能する。
【００１９】
ＲＯＭ４０３は、ＣＰＵ４０１で実行される制御プログラム等を格納している。
【００２０】
バス４０４は各種データの転送経路であり、例えば、撮像部３０１〜３０９によって取得されたデジタル撮像データはこのバス４０４を介して所定の処理部に送られる。
【００２１】
ユーザの指示を受け取る操作部４０５には、ボタンやモードダイヤルなどが含まれる。
【００２２】
撮像画像や文字の表示を行う表示部４０６には、例えば、液晶ディスプレイが用いられる。表示部４０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部４０５の入力として扱うことも可能である。
【００２３】
表示制御部４０７は、表示部４０６に表示される撮像画像や文字の表示制御を行う。
【００２４】
撮像部制御部４０８は、フォーカスを合わせる、シャッターを開く・閉じる、開口絞りを調節するなどの、ＣＰＵ４０１からの指示に基づいた撮像系の制御を行う。
【００２５】
デジタル信号処理部４０９は、バス４０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。
【００２６】
エンコーダ部４１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。
【００２７】
外部メモリ制御部４１１は、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に繋ぐためのインターフェースである。
【００２８】
画像処理部４１２は、撮像部３０１〜３０９で取得されたカラー撮像データ或いは、デジタル信号処理部４０９から出力されるカラー撮像データから、リフォーカス処理などの画像処理を行う。画像処理部４１２の詳細については後述する。なお、画像処理部４１２は、多眼カメラ３００から独立した画像処理装置としても成立し得るものである。
【００２９】
なお、多眼カメラの構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。
【００３０】
図５は、撮像部３０１〜３０９の内部構成を示す図である。
【００３１】
撮像部３０１〜３０９のそれぞれは、レンズ５０１〜５０３、絞り５０４、シャッター５０５、光学ローパスフィルタ５０６、ｉＲカットフィルタ５０７、からーフィルタ５０８、センサ５０９及びＡ／Ｄ変換部５１０で構成される。レンズ５０１〜５０３は夫々、ズームレンズ５０１、フォーカスレンズ５０２、ぶれ補正レンズ５０３である。センサ５０９は、例えばＣＭＯＳやＣＣＤなどのセンサである。
【００３２】
センサ５０９で被写体の光量を検知すると、検知された光量がＡ／Ｄ変換部５１０によってデジタル値に変換され、デジタルデータとなって後述の撮像画像取得部６０１へ出力される。
【００３３】
なお、複数視点画像を取得するための撮像装置は、上述の多眼カメラのような多眼方式に限られるものではない。例えば、単眼方式の撮像装置を用いて、視点位置を変えながら複数回の撮像を行って取得してもよい。
【００３４】
図６は、本実施例に係る画像処理部４１２の内部構成を示す図である。
【００３５】
画像処理部４１２は、撮像画像取得部６０１、合成条件取得部６０２、補間処理部６０３、光沢処理部６０４、合成処理部６０５、出力部６０６で構成される。
【００３６】
撮像画像取得部６０１は、撮像部３０１〜３０９で撮像された、視差のある複数の視点画像で構成される撮像画像（以下、単に「撮像画像」と呼ぶ。）の画像データを取得する。また、撮像画像取得部６０１は、撮像部３０１〜３０９の各視点位置、レンズの水平視野角θｗ及び垂直視野角θｈといった撮像装置に固有の情報（以下、「撮像装置情報」と呼ぶ。）も取得する。なお、撮像装置情報は、例えばＲＯＭ４０３に予め格納しておき、それを取得するようにすればよい。
【００３７】
合成条件取得部６０２は、ユーザが指定した合成条件、具体的には、仮想ピント位置、仮想ぼかし量、基準画像情報（撮像画像のうちどの視点画像を基準画像として選択されたのかを示す情報）といった画像合成処理において参照される各種の情報を取得する。ここで、「基準画像」とは、画像合成処理において基準となる画像（合成画像の視点位置を特定するための基準となる１の画像）のことである。
【００３８】
補間処理部６０３は、撮像画像取得部６０１で取得した撮像画像データに対し補間処理を行い、仮想視点位置における画像（仮想視点画像）を生成する。なお、撮像画像が、十分に細かい視点間隔で撮像されている場合（十分な数の視点画像で構成される場合）は、この補間処理部６０３を省略してもよい。
【００３９】
光沢処理部６０４は、仮想視点画像を含むすべての視点画像における光沢成分を特定し、基準画像の光沢成分で置き換える処理を行う。
【００４０】
合成処理部６０５は、光沢処理部６０４で光沢成分の置き換え処理がなされた視点画像を、指定された合成条件に従って合成し、合成画像を生成する。
【００４１】
画像出力部６０６は、合成処理部６０５で生成された合成画像データを、外部に接続された表示部４０６としてのディスプレイに出力したり、ハードディスクなどの外部記憶装置に外部メモリ制御部４１１を介して出力する。
【００４２】
図７は、本実施例に係る画像処理部４１２における画像処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ４０３からＲＡＭ４０２上に読み込んだ後、ＣＰＵ４０１によって該プログラムを実行することによって実施される。
【００４３】
ステップ７０１において、撮像画像取得部６０１は、撮像画像データ（具体的には、撮像部３０１〜３０９で取得されたカラー撮像データ或いは、デジタル信号処理部４０９から出力されるカラー撮像データ）を取得する。
【００４４】
ステップ７０２において、合成条件取得部６０２は、上述の合成条件を取得する。図８は、ユーザが合成条件を指定するための、タッチスクリーン機能を有する表示部４０６に表示されるＵＩ画面の一例を示す図である。図８において、ＵＩ画面８００は、第１の画像表示領域８０１、第２の画像表示領域８０２、ボケ量調整用スライドバー８０３で構成される。ユーザは、第１の画像表示領域８０１に表示された撮像部３０１〜３０９にそれぞれ対応する９つの視点画像の中から基準画像を選択する。選択された基準画像は、第２の画像表示領域８０２に表示される。ユーザは、第２の画像表示領域８０２に表示された基準画像上の点／領域を適宜指示することで、仮想ピント位置、仮想被写界深度、仮想ピント距離などのピントに関する情報（以下、「ピント情報」と呼ぶ。）を決定する。そして、スライドバー８０３で調整したボケ量に応じて画像処理された基準画像が第２の画像表示領域８０２に示される（図８の（ｂ）及び（ｃ）を参照）。ユーザは、第２の画像表示領域８０２に表示される所定のボケが加えられた画像を確認しながら所望のボケ量を指示することができる。なお、図８で示すＵＩ画面は一例であり、上述のピント情報やボケ量を任意に指示可能であればどのような形態のＵＩでも構わない。
【００４５】
ステップ７０３において、補間処理部６０３は、取得された撮像画像データに対して補間処理を行って、仮想視点画像を生成する。
【００４６】
ステップ７０４において、光沢処理部６０４は、仮想視点画像を含むすべての視点画像における光沢成分を特定し、当該特定された光沢成分を、基準画像の光沢成分で置き換える光沢処理を行う。
【００４７】
ステップ７０５において、合成処理部６０５は、ステップ７０２で取得した合成条件に従い、ステップ７０４で光沢成分が置き換えられた視点画像データを用いて、リフォーカス処理（画像合成処理）を行う。
【００４８】
ステップ７０６において、出力部６０６は、生成された合成画像データを表示部４０６やハードディスクなどの外部メモリへ出力する。
【００４９】
以上が、本実施例に係る画像処理部４１２における画像処理の概要である。以下、上述した補間処理、光沢処理、画像合成処理の詳細について、それぞれ説明する。
【００５０】
（補間処理）
図９は、補間処理の流れを示すフローチャートである。
【００５１】
ステップ９０１において、補間処理部６０３は、撮像画像データおよび撮像装置情報を撮像画像取得部６０１から取得する。
【００５２】
ステップ９０２において、補間処理部６０３は、隣り合う撮像部間の各中間位置を、補間処理のための仮想視点位置に設定する。ここで、仮想視点位置は、横方向に隣り合う２枚の画像から補間を行うための仮想視点位置（横方向仮想視点位置）と、縦方向に隣り合う２枚の画像から補間を行うための仮想視点位置（縦方向仮想視点位置）の２種類について設定を行う。図１０は、設定された仮想視点位置の一例を示す図である。中心の撮像部３０５の視点位置を（０，０）として、仮想視点位置を含めたすべての視点位置を、整数ｍ、ｎ（−２≦ｍ≦２、−２≦ｎ≦２）で表している。各撮像部３０１〜３０９に対応する９個の視点位置の間を埋めるように、横方向仮想視点位置（６個）と縦方向仮想視点位置（１０個）が設定されているのが分かる。なお、ここでは各撮像部の中間点に１の仮想視点位置を設定しているが、仮想視点位置は中間点以外の任意の位置に設定してもよいし、また、撮像部間に複数の仮想視点位置を設定してもよい。ただし、撮像画像の視点位置（各撮像部の位置）及び仮想視点位置は、いずれも等間隔になるよう配置することが望ましい。一般に、仮想視点位置を細かく設定するほどピント領域から外れた領域におけるボケが滑らかで綺麗に再現することが可能となる。しかし、仮想視点位置の数が多くなるほど補間処理に時間が掛かり、仮想視点画像データを一時的に記憶しておくメモリ領域も必要となる。そのため、仮想視点位置は、計算時間、メモリサイズ、求められる画質のバランスを考慮して設定するのが望ましい。
【００５３】
ステップ９０３において、補間処理部６０３は、ステップ９０２で設定した仮想視点位置のうち、横方向仮想視点位置について補間処理を行う。具体的には、処理対象となる横方向仮想視点位置を挟んだ両隣の視点位置に対応する撮像部で撮像された２枚の画像を用いて補間処理を行って、横方向仮想視点位置に対応する仮想視点画像を生成する。
【００５４】
ステップ９０４において、補間処理部６０３は、ステップ９０２で設定した仮想視点位置のうち、縦方向仮想視点位置について補間処理を行う。具体的には、処理対象となる縦方向仮想視点位置を挟んだ上下の視点位置に対応する、撮像部で撮像された２枚の視点画像又は横方向の補間処理で生成された２枚の仮想視点画像、を用いて補間処理を行う。このようにして縦方向仮想視点位置に対応する仮想視点画像を生成する。
【００５５】
なお、ステップ９０３（横方向）及びステップ９０４（縦方向）における補間処理においては公知の補間技術を適用すればよい。例えば、２つの画像にブロックマッチングを行って算出した各画素の視差量を基に、仮想視点位置に対応する画像を生成してもよい。或いは２つの画像から抽出した特徴点を対応付け、各特徴点の対応関係を基にモーフィング処理を行うことで仮想視点位置に対応する画像を生成してもよい。
【００５６】
以上が補間処理の内容である。
【００５７】
（光沢処理）
図１１は、光沢処理の流れを示すフローチャートである。
【００５８】
ステップ１１０１において、光沢処理部６０４は、上述の基準画像情報を取得し、合成画像における視点位置として、基準視点位置（ｍeye，ｎeye）を設定する。本実施例では、合成画像の視点位置を、ユーザが選択した基準画像の視点位置に設定するようにしているが、例えば、真ん中の撮像部３０５の視点位置が常に合成画像の視点位置となるように固定してもよい。その場合は本ステップを省略可能である。
【００５９】
ステップ１１０２において、光沢処理部６０４は、撮像画像データ、撮像装置情報、及び仮想視点画像データを取得する。
【００６０】
ステップ１１０３において、光沢処理部６０４は、仮想視点画像を含むすべての視点画像における光沢成分を特定する。視点画像内の光沢成分（光沢領域）の特定は、例えば以下のような方法で行う。
【００６１】
図１２は、視点画像内の光沢成分を特定する処理の流れを示すフローチャートである。この場合において、視点画像はｓＲＧＢ画像であるものとする。
【００６２】
ステップ１２０１において、光沢処理部６０４は、各視点画像を輝度情報へ変換する。ここで、視点位置（ｍ、ｎ）における視点画像のＲＧＢの各値をＩＲmn、ＩＧmn、ＩＢmnとすると、各視点画像は、以下の式（１）〜式（３）によって輝度Ｙ0へと変換される。
【００６３】
【数１】
2014049895.tif 000003
【００６４】
【数２】
2014049895.tif 000004
【００６５】
【数３】
2014049895.tif 000005
【００６６】
ステップ１２０２において、光沢処理部６０４は、ステップ１２０１で算出された輝度Ｙ0に基づき、視点画像内の各画素が光沢領域に含まれるか否かを判定する。光沢領域及びその周辺の輝度変化が前述のＢＲＤＦ（図１を参照）に依存する場合、光沢領域に相当する画素の輝度Ｙ0は高くなり、且つその周辺画素との輝度差が大きくなる。そこで、対象画素の輝度をＹ0、光沢の最低輝度をＹL、対象画素とその周囲画素との輝度差をΔＹ0、光沢と非光沢との輝度差をΔＹLとし、次の式（４）を満たす画素を光沢領域として特定する。
【００６７】
【数４】
2014049895.tif 000006
【００６８】
なお、ＹLは予め設定した固定値でもよいし、光沢の強さなどに応じた可変値としてもよい。また、対象画素の輝度やその周辺画素との輝度差は絶対値である必要はなく、各視点画像中の相対的な輝度の関係が把握できるものであればよい。このようにして、各視点画像中の光沢領域が特定される。また、本実施例では、視点画像毎に独立して光沢領域の特定を行っているが、他の視点画像と比較することで光沢領域の特定を行うことも可能である。
【００６９】
図１１のフローチャートの説明に戻る。
【００７０】
ステップ１１０４において、光沢処理部６０４は、ステップ１１０３で特定した光沢成分（光沢領域）を各視点画像から除去する。光沢成分の除去には、例えば、光沢領域を画像の欠損と見做し、画像修復を行うことで除去する方法がある。画像修復のアルゴリズムは各種方法が提案されており、最も単純な画像修復の方法としては、光沢領域の周辺画素の値から補間を行う方法がある。なお、基準画像については、光沢成分の除去を行う必要はない。
【００７１】
ステップ１１０５において、光沢処理部６０４は、基準視点位置（ｍeye，ｎeye）から撮像した画像である基準画像の光沢成分を抽出する。ここで、基準視点位置における光沢成分除去前の画像をＩmeye,neye、光沢成分除去後の画像をＩ'meye,neyeとし、両者の差分を取ることで基準画像の光沢成分Ｓmeye,neyeを抽出することができる。
【００７２】
この場合において、画像にＲ、Ｇ、Ｂの３成分が含まれる場合は、成分毎に差分を取り、Ｒ、Ｇ、Ｂのそれぞれについて光沢成分Ｓmeye,neyeを得るものとする。
【００７３】
ステップ１１０６において、光沢処理部６０４は、基準画像から抽出した光沢成分を、光沢成分除去後の各視点画像に加算する。ここで、基準画像から抽出した光沢成分を各視点画像に加算する際には、当該光沢成分と各視点画像との位置を合わせる必要がある。位置合わせには、例えば、光沢成分の周辺画素と各視点画像との間でパターンマッチングを行う方法がある。以下、説明する。
【００７４】
まず、基準画像から光沢成分とその周辺画素を切り出し、各視点画像とのＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）を、以下の式（５）により求める。
【００７５】
【数５】
2014049895.tif 000007
【００７６】
ここで、（ｕ，ｖ）は各視点画像上におけるパターンマッチングを計算する領域の位置を表している。このＳＳＤを（ｕ，ｖ）を変えながら計算し、ＳＳＤが最も小さくなる位置（ｕmin，ｖmin）を求めることで光沢成分を加算する位置を特定する。なお、上記では、光沢成分除去後の各視点画像Ｉ'ｍ,ｎと基準視点位置から撮影した画像の光沢成分Ｓｍｅｙｅ,ｎｅｙｅとのＳＳＤを計算したが、光沢成分除去後の各視点画像Ｉ'ｍ,ｎと、光沢成分除去後の基準視点位置から撮影した画像Ｉ'ｍｅｙｅ,ｎｅｙｅとのＳＳＤを計算し、最小となる位置を求めてもよい。
【００７７】
視点画像中の座標を（ｘ、ｙ）、光沢成分除去後の視点画像をＩ’m、n、位置合わせにより得られた光沢成分の加算位置を（ｕmin，ｖmin）とすると、基準画像の光沢成分を加算した画像Ｉ”m、nは、以下の式（６）によって求められる。
【００７８】
【数６】
2014049895.tif 000008
【００７９】
以上が光沢処理の内容である。
【００８０】
（画像合成処理）
図１３は、画像合成処理の流れを示すフローチャートである。
【００８１】
ステップ１３０1において、合成処理部６０５は、合成条件取得部６０２から合成条件を取得する。ここでは、合成画像におけるピント位置を表す仮想ピント位置、ピント位置から外れた領域のぼかし具合を表す仮想ボケ量、どの視点画像が基準画像として選択されたのかを示す基準画像情報の３つのパラメータが取得されたものとして、以下説明する。
【００８２】
ステップ１３０２において、合成処理部６０５は、すべての視点画像データ（基準画像及び基準画像の光沢成分が加算された各視点画像の画像データ）、及び撮像装置情報を取得する。
【００８３】
ステップ１３０３において、合成処理部６０５は、後述のステップ１３０５の重み付け加算における重み（合成時に用いる各視点画像に対する重み）を設定する。重みＷは、式（７）で示すような、視点位置（ｍ、ｎ）の画像に対する関数（ここでは、２次元ガウス関数）で与えられる。
【００８４】
【数７】
2014049895.tif 000009
【００８５】
ここで、（ｍeye、ｎeye）は基準視点位置、σは仮想ボケ量をそれぞれ表す。図１４は、図１０において基準視点位置を（０，０）とした場合における、各視点画像に対して設定された重みの一例を示す図である。中心に位置する基準画像に対して最も大きな値の重みが与えられており、中心から離れるほど重みの値は小さくなっているのが分かる。図１５は、ユーザが指定する仮想ボケ量と設定される重みとの関係を説明する図であり、（ａ）は仮想ボケ量が小さい場合の各視点画像に対する重み、（ｂ）は仮想ボケ量が大きい場合の各視点画像に対する重みをそれぞれ示している。仮想ボケ量が小さい図１５の（ａ）の場合、基準視点位置（ｍeye、ｎeye）近傍の重みの値が大きく、外縁部はゼロないしはゼロに近い値の重みとなっている。これにより、後述の画像加算時には、基準視点位置からの視差が少ない視点画像の影響が大きくなるため、非ピント領域におけるボケが少なくなる。一方、仮想ボケ量が大きい図１５の（ｂ）の場合、基準視点位置（ｍeye、ｎeye）近傍の重みの値はそれほど大きくはなく、外縁部にも比較的大きな値の重みが設定されている。そのため、画像加算時には、基準視点位置との視差が大きい視点画像の影響が増し、非ピント領域におけるボケが大きくなる。
【００８６】
なお、重みＷを与える関数はガウス関数に限られるものではないが、上述のガウス関数のように、基準視点位置（ｍeye，ｎeye）において最も大きな値を取り、基準視点位置（ｍeye、ｎeye）から離れるに従い単調減少するような関数が望ましい。また、Ｗ（ｍ、ｎ）の全ての係数の和が１となるよう、係数を正規化することが望ましい。
【００８７】
ステップ１３０４において、合成処理部６０５は、取得した仮想ピント位置に基づいて、基準画像以外の各視点画像のシフト量を求める。シフト量はピント領域内の対応点が一致するように各視点画像をシフトすることで得られる。視点位置（ｍ、ｎ）の視点画像におけるシフト量Δｘm、n、Δｙm、nは、各撮像部の水平視点位置をｓm,n、垂直視点位置をｔm、n、ピント距離をｄ、カメラの画素数をｗ、ｈ、カメラの水平視野角θｗ、垂直視野角θｈとすると、以下の式（８）で表される。
【００８８】
【数８】
2014049895.tif 000010
【００８９】
ステップ１３０５において、合成処理部６０５は、ステップ１３０３で設定した各視点画像に対する重みに基づいて、すべての視点画像を加算し、合成画像を生成する。合成画像Ｉoutは、視点位置（ｍ、ｎ）における視点画像Ｉ”ｍｎとその重みＷ（ｍ、ｎ）から以下の式（９）によって求めることができる。
【００９０】
【数９】
2014049895.tif 000011
【００９１】
ここで、（ｘ、ｙ）は合成画像中の座標を表す。
【００９２】
以上が、画像合成処理の内容である。
【００９３】
なお、本実施例では、撮像部３０１〜３０９で取得される撮像画像がすべてカラー画像であることを前提に各部の構成や処理を説明したが、撮像画像の一部或いは全部がモノクロ画像でも構わない。その場合、図５のカラーフィルタ５０８は省略される。
【００９４】
また、本実施例では、多眼カメラに設けられた表示部４０６において、合成条件を入力するためのＵＩ画面の表示や生成された合成画像の表示を行っているが、別途接続されたモニタ等の外部表示装置で行ってもよい。
【００９５】
以上説明したように、本実施例に係る発明によれば、各視点画像の光沢成分が基準画像の光沢成分に置き換えられて、全ての画像の反射特性が一致することになる。その結果、リフォーカス処理に伴う光沢感の変化を防ぐことができる。
【００９６】
［実施例２］
実施例１では、画像合成処理に先立って、基準画像から抽出した光沢成分を、光沢成分除去後の各視点画像に加算する処理を行っていた。この場合、基準画像から抽出した光沢成分を他の視点画像に加算する際の位置合わせの精度が問題になり得る。具体的には、ピント領域における位置合わせが高精度でないと、合成画像における光沢がぼけてしまう恐れがある。
【００９７】
そこで、基準画像の非ピント領域から抽出した光沢成分のみを画像合成処理の前に各視点画像へ加算し、基準画像のピント領域から抽出した光沢成分については画像合成処理後の画像に加算する態様について、実施例２として説明する。なお、実施例１と共通する部分については説明を簡略化ないしは省略し、ここでは差異点を中心に説明することとする。
【００９８】
図１６は、本実施例に係る画像処理部４１２の内部構成を示す図である。
【００９９】
実施例１に係る画像処理部４１２と比較すると（図６参照）、本実施例に係る画像処理部４１２では、ピント領域分離処理部１６０１、ピント領域光沢加算処理部１６０３が追加され、光沢処理部６０４の代わりに非ピント領域光沢処理部１６０２が設けられている。
【０１００】
ピント領域分離処理部１６０１は、仮想視点画像を含むすべての視点画像をピント領域と非ピント領域とに分離する処理を行う。
【０１０１】
非ピント領域光沢処理部１６０２は、各視点画像の光沢領域を特定し、基準画像の非ピント領域から抽出した光沢成分で置き換える処理を行う。
【０１０２】
ピント領域光沢加算部１６０３は、基準画像のピント領域から抽出した光沢成分を、画像合成処理後の画像に対し加算する処理を行う。
【０１０３】
図１７は、本実施例に係る画像処理部４１２における画像処理の流れを示すフローチャートである。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムをＲＯＭ４０３からＲＡＭ４０２上に読み込んだ後、ＣＰＵ４０１によって該プログラムを実行することによって実施される。
【０１０４】
撮像画像データ及び合成条件が取得されると（ステップ１７０１及びステップ１７０２）、取得された撮像画像データに対して補間処理がなされ、仮想視点画像が生成される（ステップ１７０３）。
【０１０５】
ステップ１７０４において、ピント領域分離処理部１６０１は、仮想視点画像を含むすべての視点画像を、ピント領域と非ピント領域とに分離する処理を行う。
【０１０６】
ステップ１７０５において、非ピント領域光沢処理部１６０２は、仮想視点画像を含むすべての視点画像における光沢成分を特定・除去した後、基準画像の非ピント領域から抽出した光沢成分を、光沢成分除去後の各視点画像に加算する。
【０１０７】
そして、ステップ１７０２で取得された合成条件に従い、基準画像の非ピント領域の光沢成分が加算された各視点画像データを用いて、リフォーカス処理（画像合成処理）が行われる（ステップ１７０６）。
【０１０８】
そして、ステップ１７０７において、ピント領域光沢加算部１６０３は、基準画像のピント領域から抽出した光沢成分を、ステップ１７０６で生成された合成後の画像に対し加算する。
【０１０９】
そして、基準画像のピント領域の光沢成分が加算された合成画像データが、表示部４０６やハードディスクなどの外部メモリへ出力される（ステップ１７０８）。
【０１１０】
以上が、本実施例に係る画像処理部４１２における画像処理の概要である。
【０１１１】
以下、ピント領域分離処理（ステップ１７０４）、非ピント領域光沢処理（ステップ１７０５）、ピント領域光沢加算処理（ステップ１７０７）の詳細について、それぞれ説明する。
【０１１２】
（ピント領域分離処理）
図１８は、ピント領域分離処理の流れを示すフローチャートである。
【０１１３】
ステップ１８０１において、ピント領域分離処理部１６０１は、各視点画像についてデプスマップを作成する。デプスマップは、視差のある２つの視点画像における対応点の位置関係から、三角測量の原理に基づいて被写体までの距離を求めることで得ることができる。
【０１１４】
図１９は、三角測量の原理に基づく測距方法を説明する図である。図１９では、円筒の被写体１９０１を異なる２つの視点Ｃ1，Ｃ2から撮像した場合の例を示している。図１９において、１９０２は視点Ｃ1に対応するレンズであり、１９０３は視点Ｃ1に対応するセンサである。また、１９０４は視点Ｃ2に対応するレンズであり、１９０５は視点Ｃ2に対応するセンサである。いま、被写体１９０１上の点Ｐ1は、視点Ｃ1ではＰ1'に投影され、視点Ｃ2ではＰ1"に投影され、被写体１９０１上の点Ｐ2は、視点Ｃ1ではＰ2'に投影され、視点Ｃ2ではＰ2"に投影されている。
【０１１５】
一般には、異なる視点から撮像した画像を重ねても、被写体の投影点Ｐ1'とＰ1"及びＰ2'とＰ2"は一致せず、Ｐ1'Ｐ1"の移動量が生じる。ここで、視点Ｃ1、Ｃ2から被写体までの距離Ｌ1、Ｌ2が焦点距離ｆより十分大きいとすると、被写体の結像面はＣ1、Ｃ2で一致する。従って、視点Ｃ1と視点Ｃ2間の基線長をｓとすると、相似の関係から以下の式（１０）が成り立つ。
【０１１６】
【数１０】
2014049895.tif 000012
【０１１７】
よって、被写体１９０１上の点Ｐ1及びＰ2までの距離Ｌ1、Ｌ2は、式（１１）で表される。
【０１１８】
【数１１】
2014049895.tif 000013
【０１１９】
このようにして、基準画像とそれ以外の視点画像との間でマッチングを行うことで被写体上の各対応点の距離を得ることができ、得られた距離を基にデプスマップを作成する。
【０１２０】
ステップ１８０２において、ピント領域分離処理部１６０１は、作成されたデプスマップと合成条件取得部６０２で取得されるピント情報を用いて、各視点画像のピント領域と非ピント領域とを決定する。具体的には、ピント情報として与えられる仮想ピント距離と仮想被写界深度とに基づき、デプスマップを参照して合焦範囲を特定し、各視点画像をピント領域と非ピント領域とに分離する。
【０１２１】
以上が、ピント領域分離処理の内容である。
【０１２２】
（非ピント領域光沢処理）
図２０は、非ピント領域光沢処理の流れを示すフローチャートである。
【０１２３】
ステップ２００１〜ステップ２００４の各ステップは、実施例１に係る光沢処理の流れを示す図１１のフローチャートのステップ１１０１〜ステップ１１０４と同一であるため説明を省略する。
【０１２４】
ステップ２００５において、非ピント領域光沢処理部１６０２は、基準画像の光沢成分を抽出する。抽出処理自体は、実施例１に係る光沢処理におけるステップ１１０５と同一である。本ステップとステップ１１０５との違いは、抽出された光沢成分を、ピント領域から得られた部分と、非ピント領域から得られた部分とが識別可能なように、ＲＡＭ４０２等に記憶しておく点にある。
【０１２５】
ステップ２００６において、非ピント領域光沢処理部１６０２は、ステップ２００５で得られた    光沢成分のうち非ピント領域から抽出した光沢成分のみを、光沢成分除去後の各視点画像に対して加算する。視点画像中の座標を（ｘ、ｙ）、光沢成分除去後の視点画像Ｉ’m、n、光沢成分の加算位置を（ｕmin，ｖmin）とすると、基準画像の非ピント領域の光沢成分を加算した画像Ｉ”m、nは、以下の式（１２）によって求められる。
【０１２６】
【数１２】
2014049895.tif 000014
【０１２７】
以上のようにして、基準画像の非ピント領域から抽出した光沢成分のみが、光沢成分除去後の各視点画像に加算される。
【０１２８】
（ピント領域光沢加算処理）
上述の非ピント領域光沢処理で基準画像から抽出された光沢成分のうちピント領域における光沢成分を、合成処理部６０５で生成された合成画像Ｉoutに対して加算する。合成画像中の座標を（ｘ、ｙ）、光沢成分の加算位置を（ｕmin，ｖmin）とすると、基準画像のピント領域における光沢成分が加算された合成画像Ｉ’outは、以下の式（１３）によって求められる。
【０１２９】
【数１３】
2014049895.tif 000015
【０１３０】
このようにして、基準画像のピント領域から抽出した光沢成分については画像合成処理後の画像に加算されることになる。
【０１３１】
以上説明したように、本実施例に係る発明によれば、基準画像から抽出した光沢成分を他の視点画像へ加算する際の高精度な位置合わせが難しい場合でも、光沢の劣化のない合成画像を生成することができる。
【図１】
2014049895.tif 000016
【図２】
2014049895.tif 000017
【図３】
2014049895.tif 000018
【図４】
2014049895.tif 000019
【図５】
2014049895.tif 000020
【図６】
2014049895.tif 000021
【図７】
2014049895.tif 000022
【図８】
2014049895.tif 000023
【図９】
2014049895.tif 000024
【図１０】
2014049895.tif 000025
【図１１】
2014049895.tif 000026
【図１２】
2014049895.tif 000027
【図１３】
2014049895.tif 000028
【図１４】
2014049895.tif 000029
【図１５】
2014049895.tif 000030
【図１６】
2014049895.tif 000031
【図１７】
2014049895.tif 000032
【図１８】
2014049895.tif 000033
【図１９】
2014049895.tif 000034
【図２０】
2014049895.tif 000035