(57)【要約】【課題】計算コストを抑えながら滑らかなボケの再現が可能なリフォーカス処理を可能とする。【解決手段】ステップＳ４０１では、ユーザがシャッターボタン１１１を操作して撮影を行う。ステップＳ４０２では、撮影した画像を画像入力部３０１に入力し、現像処理部３０２にて現像処理を行うことで多視点画像を生成する。ステップＳ４０３では、生成した多視点画像から奥行マップを生成する。ステップＳ４０４では、生成した奥行マップを用いて、中間視点画像の生成数を算出する。ステップＳ４０５では、算出された中間視点画像の生成数を基に、生成した多視点画像と、生成した奥行マップとを用いて、中間視点画像を生成する。ステップＳ４０８では画像合成部３０８にて、ステップＳ４０２において生成した多視点画像、ステップＳ４０５において作成した中間視点画像、ステップＳ４０７において設定したリフォーカスパラメータを用いて画像合成を行う。【選択図】図４
2013175821.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像部を有する撮像装置により取得された多視点画像データを入力する多視点画像入力手段と、
前記多視点画像の特徴量に応じて、予め定められた特性を満たす合成画像を得るために生成が必要な中間視点画像の生成数を算出する中間視点画像生成数算出手段と、
前記中間視点画像生成数算出手段にて算出された生成数の、前記多視点画像データの中間視点画像データを生成する中間視点画像生成手段と、
前記中間視点画像生成手段により生成された中間視点画像データを用いて合成画像データを生成する画像合成手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記特徴量は、前記多視点画像から得られる被写体の奥行を示す奥行範囲であることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記中間視点画像の生成数は、前記奥行範囲がより狭い中間視点位置における中間視点画像の生成数よりも多いことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記特徴量は、前記多視点画像間の類似度であることを特徴とする請求項１に記載の画像処理装置。
【請求項５】
前記中間視点画像の生成数は、前記類似度がより高い中間視点位置における中間視点画像の生成数より多いことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記特徴量は前記多視点画像データを周波数解析して得られる周波数成分であることを特徴とする請求項１に記載の画像処理装置。
【請求項７】
前記中間視点画像の生成数は、前記周波数成分が高周波成分をより含まない中間視点位置における中間視点画像の生成数よりも多いことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記予め定められた特性は、リフォーカス処理をする際の非ピント面のボケの精度であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
複数の撮像部を有する撮像装置により取得された多視点画像データを入力する多視点画像入力工程と、
前記多視点画像の特徴量に応じて、予め定められた特性を満たす合成画像を得るために生成が必要な中間視点画像の生成数を算出する中間視点画像生成数算出工程と、
前記中間視点画像生成数算出工程にて算出された生成数の、前記多視点画像データの中間視点画像データを生成する中間視点画像生成工程と、
前記中間視点画像生成工程により生成された中間視点画像データを用いて合成画像データを生成する画像合成工程と
を有することを特徴とする画像処理方法。
【請求項１０】
コンピュータを請求項１乃至８のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像処理方法およびプログラムに関し、より具体的には視点位置の異なる複数の画像を用いて画像を生成する画像処理方法、画像処理装置およびプログラムに関するものである。
【背景技術】
【０００２】
従来から、二つ以上の視点から撮影した画像（以下、多視点画像）を合成することによって、新たな画像を生成する技術がある。例えば、多視点画像に対して、仮想的なピント面やボケ量を設定し、画像処理によって合成することで新たな画像を生成するリフォーカス技術が提案されている（例えば、特許文献１や非特許文献１参照）。リフォーカス技術では、設定したピント面において被写体位置が一致するように各画像を合成することで、設定したピント面においてピントの合った画像を生成する。一方、非ピント面では位置をずらして合成することによって、非ピント面においてボケ像が再現できる。また、合成する枚数や重みを調整することによって、ボケの大きさを制御することが可能となる。特許文献１では、多視点画像撮影時の光線情報に基づいて、重み付けして合成することでボケの大きさ調整や特徴的なボケの再現を行う。また、非特許文献１では、多視点画像の中間視点画像を推定することで、滑らかなボケを再現することが可能となる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−１５９３５７号公報
【非特許文献】
【０００４】
【非特許文献１】楠本夏未他、"未較正合成開口撮影法によるデフォーカスコントロール"、MIRU2008画像の認識・理解シンポジウム論文集、日本、2008年、1057-1062頁
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１の方法の場合、計算コストを抑えることができるが、多視点撮影時の光線情報のみに基づいてボケの再現を行っているため、被写体に奥行がある場合に滑らかなボケを再現できないという問題がある。一方、非特許文献１の方法は、被写体に奥行があったとしても、滑らかなボケを再現することができるが、すべての多視点画像間において中間視点画像を生成するため、生成される画像が多数となり計算コストが増大するという問題がある。
【課題を解決するための手段】
【０００６】
本発明は、画像処理装置であって、複数の撮像部を有する撮像装置により取得された多視点画像データを入力する多視点画像入力手段と、多視点画像の特徴量に応じて、予め定められた特性を満たす合成画像を得るために生成が必要な中間視点画像の生成数を算出する中間視点画像生成数算出手段と、中間視点画像生成数算出手段にて算出された生成数の、多視点画像データの中間視点画像データを生成する中間視点画像生成手段と、中間視点画像生成手段により生成された中間視点画像データを用いて合成画像データを生成する画像合成手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明は、多視点画像間の特徴量に基づいて中間視点画像の生成数を算出し、その値に応じて中間視点画像の疎密を切り替えることで計算コストを抑えながら滑らかなボケの再現が可能なリフォーカス処理が可能となる。
【図面の簡単な説明】
【０００８】
【図１】実施例１における撮像装置の一例を示す図である。
【図２】実施例１における撮像装置の内部構成を示すブロック図である。
【図３】実施例１における画像処理の構成を示すブロック図である。
【図４】実施例１における処理の流れを示すフローチャートである。
【図５】実施例１におけるリフォーカスパラメータ設定のユーザインタフェース例である。
【図６】実施例１の奥行マップ生成における処理の流れを示すフローチャートである。
【図７】実施例１における撮像位置間隔と被写体までの距離との関係を示す図である。
【図８】実施例１の中間視点画像の生成数算出における処理の流れを示すフローチャートである。
【図９】実施例１における多視点画像間のシフト量算出の例を示す図である
【図１０】実施例１における中間視点画像の生成数の例を示す図である。
【図１１】実施例１の画像合成部の処理の流れを示すフローチャートである。
【図１２】実施例１におけるピント位置及びシフト量の概要を示す図である。
【図１３】実施例１における重み係数を説明するための図である。
【図１４】実施例２における処理の流れを示すフローチャートである。
【図１５】実施例２の画像間の類似度算出における処理の流れを示すフローチャートである。
【図１６】実施例２における中間視点画像の生成数の例を示す図である。
【図１７】実施例３における処理の流れを示すフローチャートである。
【図１８】実施例３における画像の周波数解析を示すフローチャートである。
【図１９】実施例３における多視点画像の周波数特性を示す模式図である。
【図２０】実施例３における中間視点画像の生成数の例を示す図である。
【図２１】実施例１における撮像装置の裏面の一例を示す図である。
【発明を実施するための形態】
【０００９】
［実施例１］
図１および２１は、本実施例における撮像装置の一例を示す図である。図１に示すように、撮像装置の筺体１０１は、多眼撮像部１０２〜１１０を備える。また、図２１に示すように、撮像装置１０１の上部には動作を開始するための撮影ボタン１１１が備えられている。また、撮像装置１０１の裏面には撮像装置１０１を操作するための操作ボタン１１２および画像やグラフィックユーザーインタフェースを表示するための表示部１１３が備えられている。
【００１０】
図２は、本実施例における撮像装置１０１の内部構成を示すブロック図である。多眼撮像部１０２〜１１０は、ズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッター、光学ローパスフィルタ、ｉＲカットフィルタ、カラーフィルタ、及びＣＭＯＳまたはＣＣＤの撮像センサなどから構成される。このような構成により、レンズを通りフォーカスされた被写体の光量を検知することができる。Ａ／Ｄ変換部２０１は、多眼撮像部１０２〜１１０にて検知した被写体の光量をデジタル信号値に変換する。画像処理部２０２は、変換されたデジタル信号値に対して、画像処理を行うが、詳細については後述する。Ｄ／Ａ変換部２０３は、上記デジタル信号値をアナログ信号に変換する。エンコーダ部２０４は、上記デジタル信号値をＪｐｅｇなどの本技術分野で知られた種々のファイルフォーマットに変換処理を行う。メディアＩ／Ｆ２０５は、ＰＣ／メディア２０６（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカード、ＵＳＢメモリなど）につなぐためのインタフェースである。
【００１１】
ＣＰＵ２０７は、各構成の処理全てに関わり、ＲＯＭ２０８やＲＡＭ２０９に格納された命令を順に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部２１０は、多眼撮像部１０２〜１１０に対して、フォーカスを合わせ、シャッターを開き、絞りを調整するなど、ＣＰＵ２０７から指示された制御を行う。制御部２１１は、シャッターボタン１１１や操作ボタン１１２などからのユーザ指示によって、全体処理の開始及び終了などの種々の制御を行う。キャラクタージェネレーション部２１２は、文字やグラフィックなどを生成し、表示部１１３に表示する。表示部１１３は、通常は液晶ディスプレイなどが用いられ、キャラクタージェネレーション部２１２やＤ／Ａ変換部２０３から受け取った画像データ、文字、グラフィックインタフェースなどを表示する。また、表示部１１３にはタッチスクリーン機能をもたせるようにすることもでき、その場合は、タッチスクリーンを介したユーザ指示を制御部２１１の入力とすることも可能である。尚、本実施例では、図1に示すように多眼撮像装部として９個を例として挙げたが、２つ以上の撮像部をもつものであればこれに限定されない。
【００１２】
図３は、本実施例の画像処理を実行するための機能を示すブロック図である。多視点画像入力手段である画像入力部３０１は、多視点撮像部１０２〜１１０にて撮像し、Ａ／Ｄ変換部２０１にてデジタル信号値として生成された画像データを受け取る。現像処理部３０２は、画像入力部３０１にて入力した画像データに対して、デモザイク、ホワイトバランス、ノイズリダクション、ガンマ、シャープネスなどの処理を行う。
【００１３】
中間視点画像生成数算出部３０３は、最適な中間視点画像の生成数、つまり各多視点画像に応じて、滑らかなボケを再現するために必要な最低限の生成数を算出する。すなわち、中間視点画像の数が少ない場合、多視点画像データと中間視点画像データを合成した際に格子状のノイズが発生してしまう。また、一般に多視点画像によって必要な中間視点画像の数が異なるにもかかわらず、従来のように一律に多くの中間視点画像データを算出すると、滑らかなボケは再現できるが無駄な計算コストがかかってしまう。そこで、このような問題を解決するために、最適な中間視点画像の生成数を算出する指標として多視点画像もしくは多視点画像間の特徴量を算出し、算出した特徴量を基に多視点画像間を内挿する中間視点画像の最適な生成数を算出する。
【００１４】
中間視点画像生成部３０４は、中間視点画像生成数算出部３０３にて算出された生成数に基づいて現像処理された多視点画像データから中間視点画像を生成する。リフォーカスパラメータ入力部３０５は、ユーザによって操作ボタン１１２を用いて指示されたピント位置３０６やボケの大きさ３０７を受けとる。画像合成部３０８は、多視点画像、中間視点画像、ピント位置３０６及びボケの大きさ３０７を用いて画像合成を行う。画像出力部３０９は、合成画像データをＤ／Ａ変換部２０３にてアナログ信号に変換し表示部１１３に表示し、もしくはエンコーダ部２０４にてエンコードし、ＰＣ／メディア２０６に出力する。
【００１５】
図４は、本実施例の撮像装置の処理の流れを示すフローチャートである。本実施例では、特徴量として奥行マップを用いて中間視点画像の生成数を算出する。ここで、奥行マップとは、奥行情報、つまり画像に記録された被写体の撮像装置からの距離に関する情報を画像上にマッピングしたものであり、本実施例では中間視点画像の生成数を定めるためにこれを用いるが、これに限られない。すなわち、本実施例では被写体間の距離に応じてボケの処理の制度を最適化できるよう中間視点画像の生成数を決定するため、被写体間の距離を示す、奥行マップのような何らかの指標を用いるが、本技術分野で知られたその他の指標も用いることができる。
【００１６】
ステップＳ４０１では、ユーザがシャッターボタン１１１を操作して撮影を行う。ステップＳ４０２では、ステップＳ４０１にて撮影した画像データを画像入力部３０１に入力し、現像処理部３０２にて現像処理を行うことで多視点画像データを生成する。
【００１７】
ステップＳ４０３では、ステップＳ４０２にて生成した多視点画像から奥行マップを生成する。ステップＳ４０４では、ステップＳ４０３にて生成した奥行マップを用いて、中間視点画像の生成数を算出する（尚、ステップＳ４０３、ステップＳ４０４の詳細については後述する）。
【００１８】
ステップＳ４０５では、ステップＳ４０４にて算出された中間視点画像の生成数を基に、ステップＳ４０２にて生成した多視点画像データ、ステップＳ４０３にて生成した奥行マップとを用いて、中間視点画像データを生成する。具体的には、まず多視点画像を任意のサイズのブロック領域に分け、ブロック単位で対応領域を探索するパターンマッチングを行い、対象画像中から注目画素に対応する画素（対応画素）を求める。対応画素の探索方法としては、これらに限定されるものではなく、多視点画像について対応画素を探索する方法であれば何でもよい。次に、探索した対応画素を用いて、仮想カメラ位置における中間視点画像データを生成する。
【００１９】
仮想カメラ位置における中間視点画像データの生成方法は、対応画素から仮想カメラ位置における視点画像データを生成する方法であれば何でもよい。例えば、対応するカメラ位置が既知であることから、三角測量法により対応画素までの奥行を算出し、仮想カメラ位置における任意の画像位置については、算出した周囲の対応画素の奥行情報を用いて算出する。ステップＳ４０６では、ユーザがリフォーカスパラメータを設定する際に使用するための画像を表示部１１３に表示する。ここで、表示する画像は対象被写体全体を撮影した画像であることが望ましく、例えば、多眼撮像装置１０６によって撮影した画像を表示する。ステップＳ４０７では、リフォーカスに必要なパラメータであるピント位置とボケの大きさの設定を行う。
【００２０】
図５は、リフォーカスに必要なパラメータを設定するためのユーザインタフェースの一例である。図５に示すようにステップＳ４０６にて、表示したパラメータ設定用の画像に加え、表示部にボケの大きさを指定するためのバー５０１や、ピント位置５０２を設定するためのポインタを同時に表示する。ユ−ザは、これらに対して、操作ボタン１１２や、表示部１１３に表示されているバー５０１やポインタ５０２を操作することで、リフォーカスに必要なパラメータであるピント位置３０６やボケの大きさ３０７を設定する。
【００２１】
ステップＳ４０８では画像合成部３０８にて、ステップＳ４０２において生成した多視点画像データ、ステップＳ４０５において作成した中間視点画像データ、ステップＳ４０７において設定したリフォーカスパラメータを用いて画像合成を行う。尚、ステップＳ４０８の詳細については後述する。最後に、ステップＳ４０９では、ステップＳ４０８において合成した画像データを画像出力部３０９にて表示部１１３に表示し、あるいはＰＣ／メディア２０６に送信するが、これに限られず、本技術分野で知られた出力形態で出力する。
【００２２】
＜奥行マップの生成＞
ここでは、ステップＳ４０３で行う奥行マップの生成について説明する。奥行マップは、多視点画像をもとに、撮像したシーンの奥行を推定することで生成される。奥行推定方法には既存の方法を利用する。例えば、ステレオ法、マルチベースラインステレオ法などが適用可能である。本実施形態では、ステレオ法によって奥行推定を行い、奥行マップを生成する。
【００２３】
図６は、奥行マップ生成処理の流れを示すフローチャートである。ステップＳ６０１において、多視点画像から処理に使用する２画像を選択する。この際、全ての多視点画像のペアについて選択し、後述する処理を全ペアに対して行ってもよいし、２画像内に同一被写体が写っており、基線長が最も離れている１組のペアに対してのみ行ってもよい。一般的にステレオ法において、奥行の変化に対して視差の変化が大きいほど計測精度は高くなる。したがって、基線長が離れているほど視差が大きくなるため、後述する奥行マップの生成精度が向上する。本実施形態では撮像装置１０１の左中央のカメラユニット１０５で撮像された画像と、右中央のカメラユニット１０７で撮像された画像とから奥行マップを算出する場合を例に説明する。以下、前者を基準画像、後者を対象画像とする。
【００２４】
ステップＳ６０２において、以降の処理を行う注目画像の奥行値を初期化する。ステップＳ６０３において、S６０５で算出される奥行値が全画素で求められたかを判定する。全画素で奥行値が求められている場合はステップＳ６０７へ進んで出力処理を実行し、奥行値の求められていない画素がある場合はステップＳ６０４へ進み注目が祖について奥行値を求める。ステップＳ６０４では、多視点画像を任意のサイズのブロック領域に分け、ブロック単位で対応領域を探索するパターンマッチングを行い、対象画像中から注目画素に対応する画素（対応画素）を求める。
【００２５】
次にステップＳ６０５において、注目画素とＳ６０４で求めた対応画素を基に注目画素に対応する奥行値ｄを求める。図７を参照すると理解できるように、奥行値ｄは、α、β、ｂを基に以下の式で表される。ここで、αはカメラユニット１０５の水平画角、基準画像の撮像位置および注目画素の座標から算出される。βはカメラユニット１０７の水平画角、対象画像の撮像位置および対象画素の座標から算出される。ｂはカメラユニット１０５および１０７間の距離であり、基準画像および対象画像の撮像位置より算出される。またｘ、ｚはそれぞれ、水平方向、奥行方向を示す軸である。
【００２６】
【数１】
2013175821.tif 000003
【００２７】
ステップＳ６０６において、注目画素を更新しＳ６０３へ戻り、同様の処理を実行する。ステップＳ６０３で全ての画素につき奥行値が求められたと判断されると、ステップＳ６０７において、各画素値を基準画像の奥行値とする奥行マップを出力する。
【００２８】
＜中間視点画像の生成数算出＞
図４のステップS４０４の中間視点画像の生成数算出について説明する。本実施例における中間視点画像の生成数算出は、ステップS４０３で生成した奥行マップから奥行範囲を求め、算出した奥行範囲に基づいて行う。奥行範囲が大きい画像は視差が大きいため、その分中間視点画像を密に生成しなければ精度の高いボケの再現ができない。逆に奥行範囲が小さい画像は視差が小さいため、中間視点画像は少なくてよい。以下、図８に示すフローチャートを参照して、被写体の奥行の程度を示す奥行範囲を算出し、中間視点画像の生成数算出を説明する。
【００２９】
本実施形態では、撮像装置１０１の中央のカメラユニット１０６で撮像された画像と、右中央のカメラユニット１０７で撮像された画像を例に、図９を参照して説明する。本実施形態では、奥行範囲として撮像装置から被写体までの最大の距離と最小の拒理戸に基づき以下のように算出される奥行範囲Dを使用するが、これに限られない。図９において、ｂは多視点画像間の距離、ｗは水平画素数、θwは水平画角、ｄは奥行値を表している。まず、ステップＳ８０１で、奥行マップを入力する。次に、ステップＳ８０２で、ステップＳ８０１にて入力した奥行マップに対して、奥行マップの各画素（ｉ，ｊ）の画素値を距離値ｄ（ｉ，ｊ）とし、最小距離値ｄmin及び最大距離値ｄmaxを算出する。そして、ステップＳ８０３では、ステップＳ８０２において、算出した最小距離値ｄminと最大距離値ｄmaxを基に多視点画像間に何画素の視差があるかをシフト量として算出する。ｄminとなる被写体、すなわちシーン内において最も手前にある被写体のシフト量S minは次式にて求めることができる。
【００３０】
【数２】
2013175821.tif 000004
【００３１】
同様にｄmaxとなる被写体、すなわちシーン内において最も奥にある被写体のシフト量S maxは次式にて求めることができる。
【００３２】
【数３】
2013175821.tif 000005
【００３３】
したがって、次式によりS minとS maxから奥行範囲D[pix]を算出する。
【００３４】
【数４】
2013175821.tif 000006
【００３５】
本実施例では、この奥行範囲Ｄ[pix]を切り上げた整数値を中間視点画像の生成数とする。本実施例では、水平方向に並んだカメラユニット１０６および１０７で撮像された多視点画像を例に中間視点画像の生成数の算出を行った。しかし、垂直方向に並んだ場合は、式（２）および（３）において、水平画素数ｗを垂直画素数ｈ、水平画角θwを垂直画角θhに置き換えることにより同様に奥行範囲Ｄ[pix]を計算して中間視点画像の生成数を得ることができる。
【００３６】
図１０に、奥行範囲と中間視点画像の生成数との関係をグラフを用いて示す。図１０において、実線で描かれた四角形は多視点画像を表し、点線で描かれた円は中間視点画像を表している。すなわち、元の多視点画像でカバーできない部分を、点線で描いた中間視点画像で補完していくというイメージとなり、（ｂ）よりも（Ｃ）の方が中間視点画像を多く使用するので、より緻密に補完が可能となり滑らかなボケを再現することができる。またグラフの横軸は奥行範囲を表し、縦軸は中間視点画像の生成数を表しており、奥行範囲が広いほど中間支店画像の生成数を増加させることが理解できる。
【００３７】
したがって、本実施例では、図１０に示すグラフの（ｂ）、（ｃ）に示すように奥行範囲Ｄが広い程中間視点画像の生成数を多くするので、画像（Ｂ）、（Ｃ）に示すように奥行範囲Ｄが広い程より蜜に中間視点画像データが生成される。ここでは図１０（ｂ）、（ｃ）を例に、それぞれ３および５としたが、中間視点画像の生成数はこれらに限定されない。
【００３８】
一方、図１０（ａ）に示すように、奥行範囲Ｄが限りなく狭い場合には中間視点画像は必要ない。以上より、奥行範囲Ｄに応じて中間視点画像の生成数を算出することで必要な分だけ中間視点画像データを生成すればいいので、計算コストを最小限に抑えることができる。本実施例では、奥行範囲Ｄと中間視点画像の生成数の関係が線形且つ単調増加となる場合、すなわち図１０のグラフが右肩上がりの直線となる場合を説明したが、単調増加であればよいため、必ずしも線形である必要はなく非線形でもよい。
【００３９】
＜画像合成＞
図４のステップＳ４０８の画像合成について詳細に説明する。図１１は、合成処理の流れを示すフローチャートである。また、図１２は、ピント位置及びシフト量の概要を示す図である。まず、ステップＳ１１０１では、ステップＳ４０２において作成した多視点画像データと、ステップＳ４０５において成した中間視点画像データを入力する。ステップＳ１１０２では、ステップＳ４０７において設定したピント位置３０６に基づいて、図１２（ａ）に示すようにユーザによって指示されたピント位置５０２を取得する。図５で指定されたピント位置５０２は、図１２では、ピント位置１２１１および１２１２に対応する。ステップＳ１１０３では、ステップＳ１１０２にて取得したピント位置に基づいて、図１２（ｂ）に示すような各多視点画像及び中間視点画像間のピント位置１２１１および１２１２間のシフト量Δｘi、Δｙiを次式にて算出する。
【００４０】
【数５】
2013175821.tif 000007
【００４１】
【数６】
2013175821.tif 000008
【００４２】
ここで、ｂmおよびｃmは、それぞれ多視点画像および中間視点画像間の水平距離、垂直距離、ｄは奥行値、θwは水平画角、θhは垂直画角、ｗは水平画素数、ｈは垂直画素数を表している。ステップＳ１１０４では、ステップＳ４０７にて設定したボケの大きさの制御値に基づいて、重み係数を算出する。
【００４３】
一般的に、多視点カメラにおいて撮影した画像は、カメラ間の距離が大きいほど視差が大きくなる。あるピント位置において画像を正確に合わせるとき、多視点画像と中間視点画像間のシフト量Δｘi、Δｙiを基に画像をシフトさせる。このとき、ピント位置以外では、ずれて重なる。その結果、ずれた画像を重ね合わせた場合、「ボケ」となる。そこで、合成の基準とするカメラ（以下、合成基準カメラ）と、どの程度はなれたカメラで取得した画像を、どの程度合成するかによってボケを制御することができる。すなわち、ボケの制御値として、合成基準カメラから離れたカメラの合成基準カメラとの距離に応じた重み係数を考慮して合成することで、ボケの大きさの制御が可能となる。
【００４４】
図１３は、ボケの大きさの制御値に対応する重み係数ｗkの一例である。本実施例の重み係数ｗkは、合成基準カメラを中心としたガウス関数に従った値を持っている。合成基準カメラに近いほど、図１３に示すように重み係数ｗkは大きくなり、合成基準カメラから離れるほど重み係数ｗkは小さくなる。ここで、多視点画像データと中間視点画像データとを合成して合成画像データを生成する際、重み係数ｗkの和が１に正規化されるように、各画像の重み係数ｗkを全画像の重み係数ｗkの総和で割る。最後に、ステップＳ１１０５では、ステップＳ１１０３にて、算出した各多視点画像及び中間画像間のピント位置のシフト量Δｘi、Δｙiと撮影モードとボケの大きさの制御値に応じた重み係数ｗkを用いて、合成画像I(x,y)は次式によって算出される。
【００４５】
【数７】
2013175821.tif 000009
【００４６】
ここで、Ｊiは、多視点画像及び中間視点画像、Ｄは多視点画像及び中間視点画像の中央画像からの距離、ｍは多視点画像及び中間視点画像の総数である。尚、本実施例ではシーン全体の奥行マップから中間視点画像の生成数を算出したが、シーン内の領域ごとに中間視点画像の生成数を算出してもよい。
【００４７】
以上により、本発明は奥行マップの奥行範囲に応じて、中間視点画像の生成数を算出し、その値に応じた中間視点画像データの生成を行う。これにより、余計な中間視点画像データを生成せずに演算コストを抑えることができる撮像装置を提供する。
【００４８】
［実施例２］
実施例１では、画像解析部３０３において多視点画像をもとに生成した奥行マップから奥行範囲を算出し、算出された値に応じて中間視点画像の生成数を算出する方法について説明した。本実施例においては、画像解析部３０３において多視点画像間の類似度をもとに中間視点画像の生成数を算出する。
【００４９】
本実施例における画像処理部の内部構成は実施例１と同じである。本実施例の撮像装置の処理の流れを図１４に示す。ステップＳ１４０１、Ｓ１４０２、Ｓ１４０５〜Ｓ１４０９はそれぞれ実施例１で説明した図４のステップＳ４０１、ステップＳ４０２、ステップＳ４０５〜ステップＳ４０９と同様の処理である。すなわち、ステップＳ１４０３および１４０４が実施例１と異なる。ステップＳ１４０３では、ステップＳ１４０２で生成された多視点画像から画像間の類似度を算出する。ステップＳ１４０４では、ステップＳ１４０３で算出した類似度をもとに中間視点画像の生成数を算出する。
【００５０】
＜画像間の類似度算出＞
本実施例における画像間の類似度の算出方法について以下に説明する。本実施例における画像間の類似度の算出は、多視点画像を用いて行う。以下、図１５に示すフローチャートを参照して、画像間の類似度の算出方法を説明する。
【００５１】
まずステップＳ１５０１において、多視点画像から、処理に使用する２画像を選択する。ただし、これら２画像内に同一被写体が写っているものとする。本実施例では撮像装置１０１の中央のカメラユニット１０６で撮像された画像と、それと横方向に隣接するカメラユニット１０７で撮像された画像とを例に説明する。以下、前者を基準画像、後者を対象画像とする。
【００５２】
ステップＳ１５０２において、基準画像I(x,y)と対象画像J(x,y)の全画素について、同一画素の画素値の差分値Ｋを次式にて算出する。
【００５３】
【数８】
2013175821.tif 000010
【００５４】
ステップＳ１５０３において、基準画像I(x,y)と対象画像J(x,y)との類似度を算出する。類似度の算出方法には本技術分野で知られたいずれの方法も利用することができる。例えば、ＰＳＮＲ、相関係数、平均二乗誤差などが適用可能である。本実施例では、ＰＳＮＲを類似度とする。ＰＳＮＲは、次式によって算出される。
【００５５】
【数９】
2013175821.tif 000011
【００５６】
【数１０】
2013175821.tif 000012
【００５７】
ここで、ＭＡＸは基準画像がとりうる最大画素値であり、ＭＳＥは平均二乗誤差である。またｍ、ｎが基準画像の縦、横のサイズである。
【００５８】
＜中間視点画像の生成数算出＞
本実施例における中間視点画像の生成数算出について説明する。本実施例では、画像間の類似度に基づいて中間視点画像の生成数を算出する。
【００５９】
図１６は、中間視点画像の生成数算出を説明するための画像である。図１６において、実線で描かれた四角形は多視点画像を表し、点線で描かれた円は中間視点画像を表している。また、グラフの横軸は類似度（PSNR）を表し、縦軸は中間視点画像の生成数を表している。類似度が小さい場合、多視点画像間において差異が大きいため、類似度が大きい場合に比べて中間視点画像を密に生成する必要がある。例えば、ＰＳＮＲが２０、３０の場合、図１６（ａ）（ｂ）に示すように類似度が低いほど中間視点画像が多く必要となり、図１６（Ａ）、（Ｂ）に示すようにより多くの中間視点画像でより密に処理される。
【００６０】
これに対し、類似度が大きい場合、多視点画像間における差異が小さいため、作成する中間視点位置としては均一であって、それほど密である必要はない。例えば、ＰＳＮＲが５０の場合、類似度は非常に高いため、図１６（ｃ）に示すように中間視点画像はなく、図１６（Ｃ）に示すように元の多視点画像のみとなる。本実施例では、多視点画像間の類似度と中間視点画像の生成数の関係が線形且つ単調増加となる場合、すなわち図１６のグラフが右肩下がりの直線となる場合を説明したが、単調増加であればよいため、必ずしも線形である必要はなく非線形でもよい。
【００６１】
尚、本実施例ではシーン全体の類似度から中間視点画像の生成数を算出したが、シーン内の領域ごとに中間視点画像の生成数を算出してもよい。
【００６２】
以上により、本発明は画像間の類似度に応じて、中間視点画像の生成数を算出し、その値に応じた中間視点画像の生成を行う。これにより、余計な中間視点画像を生成せずに演算コストを抑えることができる撮像装置を提供する。
【００６３】
［実施例３］
本実施例では、画像解析部３０３において多視点画像データを周波数解析して得られる周波数成分をもとに中間視点画像の生成数を算出する。本実施例における画像処理部の内部構成は実施例１、２と同じである。本実施例の撮像装置の処理の流れを図１７に示す。
【００６４】
ステップＳ１７０１、Ｓ１７０２、Ｓ１７０５〜Ｓ１７０９はそれぞれ実施例１で説明した図４のステップＳ４０１、ステップＳ４０２、ステップＳ４０５〜ステップＳ４０９と同様の処理である。すなわち、ステップＳ１７０３および１７０４が実施例１と異なる。ステップＳ１７０３では、ステップＳ１７０２で生成された多視点画像データを周波数解析し、空間周波数領域に変換する。ステップＳ１７０４では、ステップＳ１７０３で変換した空間周波数領域の空間周波数成分に応じて中間視点画像の生成数を算出する。
【００６５】
＜画像の周波数解析＞
ここでは、本実施例における画像の周波数解析について説明する。以下、図１８に示すフローチャートを参照して、画像データの周波数解析を説明する。
【００６６】
まずステップＳ１８０１において、多視点画像データを順に空間周波数領域へ変換する。ここで空間周波数領域とは、画像データを正弦波に分解して周波数ごとに並び変えたものである。
【００６７】
次にステップＳ１８０２において、画像データの周波数特性を算出する。画像データを空間周波数領域へ変換すると、その画像の性質に応じて周波数成分が得られる。全体的に濃淡変化の少ない画像の場合、低周波成分が多く含まれ（図１９の曲線（ａ））、変化の大きい領域を含む画像の場合、高周波成分が多く含まれる（図１９の曲線（ｂ））。本来、画像データの場合は水平方向および垂直方向の成分が存在するが、ここでは単純に両方の周波数成分の和を１つの周波数成分としており、横軸を周波数成分、縦軸を各周波数成分が持つエネルギー値としている。
【００６８】
＜中間視点画像の生成数算出＞
本実施例における中間視点画像の生成数算出について説明する。図２０は、中間視点画像の生成数算出を説明するための画像である。本実施例における中間視点画像の生成数算出は、画像を周波数解析し、その結果得られた周波数成分に基づいて行う。高周波成分を多く含む画像は複雑なシーンであるため、中間視点画像データは密に生成する必要がある。逆に高周波成分をあまり含まない場合は単調なシーンであるため、中間視点画像は少なくてよい。つまり、周波数成分の内、高周波成分をどれだけ含むかによって中間視点画像の生成数を決定することができる。
【００６９】
図２０に、本実施例の高周波成分と中間視点画像の生成数の関係をグラフで表した例を示す。図２０において実線で描かれた四角形は多視点画像を表し、点線で描かれた円は中間視点画像を表している。また、グラフの横軸は周波数成分を表し、縦軸は中間視点画像の生成数を表している。図２０（ａ）のように各多視点画像データの高周波成分がほとんどない場合は、図２０（Ａ）に示すように中間視点画像データを生成しなくてもよい。一方、図２０（ｂ）、（ｃ）のように各多視点画像データが高周波成分を多く含むほど、図２０（Ｂ）、（Ｃ）に示すように中間視点画像データを多く生成する必要がある。
【００７０】
本実施例では、周波数成分と中間視点画像の生成数の関係が線形且つ単調増加の場合、すなわち図２０のグラフが右肩上がりの直線となる場合を説明したが、単調増加であればよいため、必ずしも線形である必要はなく非線形でもよい。尚、本実施例ではシーン全体の周波数成分の内、高周波成分に基づいて中間視点画像の生成数を算出したが、シーン内の領域ごとに中間視点画像の生成数を算出してもよい。
【００７１】
以上により、本発明は画像データの周波数成分に応じて、中間視点画像の生成数を算出し、その値に応じた中間視点画像の生成を行う。これにより、余計な中間視点画像データを生成せずに演算コストを抑えることができる撮像装置を提供する。
【００７２】
［その他の実施例］
実施例１ないし３において多視点画像もしくは多視点画像間の特徴量に基づいて中間視点画像の生成数を算出したが、これらの実施例を任意に組み合わせて用いてもよい。また、ＰＣなどで処理しても良い。
【００７３】
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
【図１】
2013175821.tif 000013
【図２】
2013175821.tif 000014
【図３】
2013175821.tif 000015
【図４】
2013175821.tif 000016
【図５】
2013175821.tif 000017
【図６】
2013175821.tif 000018
【図７】
2013175821.tif 000019
【図８】
2013175821.tif 000020
【図９】
2013175821.tif 000021
【図１０】
2013175821.tif 000022
【図１１】
2013175821.tif 000023
【図１２】
2013175821.tif 000024
【図１３】
2013175821.tif 000025
【図１４】
2013175821.tif 000026
【図１５】
2013175821.tif 000027
【図１６】
2013175821.tif 000028
【図１７】
2013175821.tif 000029
【図１８】
2013175821.tif 000030
【図１９】
2013175821.tif 000031
【図２０】
2013175821.tif 000032
【図２１】
2013175821.tif 000033