(57)【要約】【課題】撮影した位置とは異なる位置を視点とする画像を提供すること。【解決手段】画像処理装置は、異なる位置で撮像された複数の画像の画像データを取得する画像データ取得部と、複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得部と、複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定部と、位置関係および視点位置に基づいて複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、視点位置を視点とする画像を生成する画像生成部とを備える。【選択図】図２
2012209896.tif 000002
【特許請求の範囲】
【請求項１】
異なる位置で撮像された複数の画像の画像データを取得する画像データ取得部と、
前記複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得部と、
前記複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定部と、
前記位置関係および前記視点位置に基づいて前記複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する画像生成部と
を備える画像処理装置。
【請求項２】
前記画像生成部は、前記複数の画像が撮像された画角、前記位置関係および前記視点位置に基づいて、前記複数の画像のそれぞれから選択すべき部分領域の位置を特定し、特定した位置の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する
請求項１に記載の画像処理装置。
【請求項３】
前記画像生成部は、前記複数の画像が撮像された画角、前記視点位置を視点とする画像の画角、前記位置関係および前記視点位置に基づいて、前記複数の画像のそれぞれから選択すべき部分領域の位置を特定し、特定した位置の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する
請求項２に記載の画像処理装置。
【請求項４】
前記視点位置設定部は、前記複数の画像の撮像位置よりも被写体に近い視点位置を設定する
請求項３に記載の画像処理装置。
【請求項５】
前記視点位置設定部は、前記複数の画像の撮像位置から被写体に接近すべき距離を示す距離情報をユーザから取得し、取得した距離情報に基づいて、前記複数の画像の撮像位置よりも被写体に近い視点位置を設定する
請求項４に記載の画像処理装置。
【請求項６】
前記複数の画像の撮像位置と、画像内の被写体の位置とに基づいて、前記被写体までの距離である被写体距離を特定する距離取得部
をさらに備え、
前記画像生成部は、前記被写体距離および前記接近すべき距離に基づいて、前記視点位置を視点とする画像を生成する
請求項５に記載の画像処理装置。
【請求項７】
請求項１から６のいずれか一項に記載の画像処理装置と、
前記複数の画像を撮像する撮像部と
を備える撮像装置。
【請求項８】
前記撮像部が前記複数の画像を撮像した位置を検出する位置検出部
をさらに備え、
前記位置関係取得部は、前記位置検出部が検出した位置に基づいて、前記相対的な位置関係を取得する
請求項７に記載の撮像装置。
【請求項９】
前記撮像部は、予め定められた値よりも大きい絞りで撮像する
請求項７または８に記載の撮像装置。
【請求項１０】
前記撮像部は、撮像条件を変化させずに前記複数の画像を撮像する
請求項７から９のいずれか一項に記載の撮像装置。
【請求項１１】
前記撮像部は、ズーム値を変化させずに前記複数の画像を撮像する
請求項１０に記載の撮像装置。
【請求項１２】
前記撮像部は、露出設定を変化させずに前記複数の画像を撮像する
請求項１０に記載の撮像装置。
【請求項１３】
前記撮像部は、ホワイトバランス設定を変化させずに前記複数の画像を撮像する
請求項１０に記載の撮像装置。
【請求項１４】
異なる位置で撮像された複数の画像の画像データを取得する画像データ取得ステップと、
前記複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得ステップと、
前記複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定ステップと、
前記位置関係および前記視点位置に基づいて前記複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、前記視点位置を視点とする画像を生成する画像生成ステップと
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
立体撮影ができる立体カメラが知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開平１０−７０７４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００３】
撮影した位置を視点とする画像しか提供することができないという課題があった。
【課題を解決するための手段】
【０００４】
本発明の第１の態様においては、画像処理装置は、異なる位置で撮像された複数の画像の画像データを取得する画像データ取得部と、複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得部と、複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定部と、位置関係および視点位置に基づいて複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、視点位置を視点とする画像を生成する画像生成部とを備える。
【０００５】
本発明の第２の態様においては、撮像装置は、上記画像処理装置と、複数の画像を撮像する撮像部とを備える。
【０００６】
本発明の第３の態様においては、プログラムは、異なる位置で撮像された複数の画像の画像データを取得する画像データ取得ステップと、複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得ステップと、複数の画像の撮像位置とは異なる位置に、視点位置を設定する視点位置設定ステップと、位置関係および視点位置に基づいて複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、視点位置を視点とする画像を生成する画像生成ステップとをコンピュータに実行させる。
【０００７】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態に係る撮像装置１００のシステム構成図を示す。
【図２】撮像装置１００の利用環境の一例を示す。
【図３】被写体、撮像位置および視点位置の位置関係を模式的に示す。
【図４】連写撮影で得られた撮像画像の一部および接近画像の一例を模式的に示す。
【図５】画像から切り出す部分領域の一例を示す。
【図６】多視点画像を生成するための視点位置の一例を示す。
【図７】撮像装置１００が連写撮影する場合の処理フローを示す。
【図８】全体画像の表示例を示す。
【図９】接近画像を生成するフローの一例を示す。
【発明を実施するための形態】
【０００９】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１０】
図１は、本実施形態に係る撮像装置１００のシステム構成図を示す。撮像装置１００は、ズームレンズ、フォーカスレンズ等により構成される光学系１０１を有する。被写体光は光軸に沿って光学系１０１に入射し、シャッタ１０２を通過して撮像素子１０３の受光面に被写体像として結像する。
【００１１】
撮像素子１０３は、被写体像である光学像を光電変換する素子である。撮像素子１０３としては、例えばＣＣＤ、ＣＭＯＳセンサが用いられる。撮像素子１０３で光電変換された被写体像は、電荷として読み出されてアナログ信号としてＡ／Ｄ変換器１０５へ転送され、Ａ／Ｄ変換器１０５でデジタル信号に変換される。撮像素子１０３の電荷読み出し、シャッタ１０２の駆動等の制御は、システム制御部１１４の同期制御を受けたタイミング発生部１１２が供給するクロック信号により制御される。
【００１２】
デジタル信号に変換された被写体像は、画像データとして順次処理される。Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、画像処理部１０７へ引き渡されて処理される。具体的には、Ａ／Ｄ変換器１０５によりデジタル信号に変換された画像データは、メモリ制御部１０６の制御により、内部メモリ１０８に一旦記憶される。
【００１３】
内部メモリ１０８は、高速で読み書きのできるランダムアクセスメモリであり、例えばＤＲＡＭ、ＳＲＡＭなどが用いられる。内部メモリ１０８は、連写撮影、動画撮影において高速に連続して画像データが生成される場合に、画像処理の順番を待つバッファメモリとしての役割を担う。また、内部メモリ１０８は、画像処理部１０７が行う画像処理、圧縮処理において、ワークメモリとしての役割も担う。特に、本実施形態において、画像処理部１０７は、連写撮影した複数の画像から、後述する接近画像を生成する処理を行う。したがって、内部メモリ１０８は、これらの役割を担うに相当する十分なメモリ容量を備える。メモリ制御部１０６は、いかなる作業にどれくらいのメモリ容量を割り当てるかを制御する。
【００１４】
画像処理部１０７は、設定されている撮像モード、ユーザからの指示に従って、画像データを規格化された画像フォーマットの画像データに変換する。例えば、撮像装置１００の撮像モードの一部として静止画撮像モードおよび動画撮像モードを有しており、静止画撮像モードで静止画像としてＪＰＥＧファイルを生成する場合、画像処理部１０７は、色変換処理、ガンマ処理、ホワイトバランス補正等の画像処理を行った後に適応離散コサイン変換等を施して圧縮処理を行う。また、例えば動画撮像モードで動画像としてのＭＰＥＧファイル、Ｈ．２６４ファイルを生成する場合、画像処理部１０７は、生成された連続する静止画としてのフレーム画像に対して、フレーム内符号化、フレーム間符号化、量子化、エントロピー符号化等を施して圧縮処理を行う。フレーム間符号化には、動きベクトルを算出する処理が含まれる。画像処理部１０７は、ＡＳＩＣ等の演算装置によって実装されてよい。
【００１５】
変換された画像データは再び内部メモリ１０８に保管される。画像処理部１０７によって処理された静止画像データ、動画像データは、システム制御部１１４の制御により、内部メモリ１０８から記録媒体ＩＦ１１１を介して、不揮発性メモリである記録媒体１２２に記録される。記録媒体１２２は、フラッシュメモリ等により構成される。記録媒体１２２は、撮像装置１００の本体に対して着脱可能な不揮発性メモリであってよい。
【００１６】
画像処理部１０７は、記録用に処理される画像データに並行して、表示用の画像データを生成する。画像処理部１０７は、記録用に処理される画像データに並行して、後述する変倍処理を施すことによって表示用の画像データを生成する。生成された表示用の画像データは、表示制御部１０９の制御に従って、液晶パネル等で構成される表示部１１０に表示される。また、表示制御部１０９は、画像の表示と共に、もしくは画像を表示することなく、撮像装置１００の各種設定に関する様々なメニュー項目を、表示部１１０に表示することができる。
【００１７】
撮像装置１００は、上記の画像処理における各々の要素も含めて、システム制御部１１４により直接的または間接的に制御される。システム制御部１１４は、ＭＰＵ等の演算装置によって実装されてよい。システム制御部１１４は、電気的に消去・記録可能な不揮発性メモリであるシステムメモリを有する。システムメモリは、ＥＥＰＲＯＭ（登録商標）等により構成される。システム制御部１１４が有するシステムメモリは、撮像装置１００の動作時に必要な定数、変数、プログラム等を、撮像装置１００の非動作時にも失われないよう記録している。システム制御部１１４は、定数、変数、プログラム等を適宜内部メモリ１０８に展開して、撮像装置１００の制御に利用する。
【００１８】
撮像装置１００は、ユーザからの操作を受け付ける操作部材１２０を備えている。システム制御部１１４は、操作部材１２０が操作されたことを検知する。システム制御部１１４は、検出された操作に応じた動作を実行する。例えば、操作部材１２０としてのレリーズスイッチが操作されたことを検知したときには、システム制御部１１４は、被写体像を光電変換して画像データを生成する一連の撮像動作を実行する。
【００１９】
加速度センサ１２４は、撮像装置１００の加速度を検出して、加速度情報をシステム制御部１１４に供給する。システム制御部１１４は、加速度センサ１２４が検出した加速度情報を用いて、撮像時の撮像装置１００の位置を検出する。本実施形態では、システム制御部１１４は、連写撮影で撮影した各画像の撮像位置を、加速道情報を用いて算出する。システム制御部１１４および加速度センサ１２４は、複数の画像を撮像した位置を検出する位置検出部として機能する。ここで、各画像の撮像位置は、撮像位置の相対的な位置関係を示す。すなわち、システム制御部１１４および加速度センサ１２４は、複数の画像の撮像位置の相対的な位置関係を取得する位置関係取得部として機能する。
【００２０】
光学系１０１は、レンズ制御部１１３によって制御される。レンズ制御部１１３は、例えば、ユーザの指示に応じてズームレンズを駆動し、被写体像の画角を変更する。また、レンズ制御部１１３は、ＡＦ情報に基づいてフォーカスレンズを駆動し、被写体像を撮像素子１０３の受光面上で合焦させる。レンズ制御部１１３は、操作部材１２０等を通じてユーザによって指定された被写体に対して、オートフォーカスの制御を実行してよい。また、レンズ制御部１１３は、画像処理部１０７が処理した画像データまたは測光センサの出力を解析して露出値を算出する。レンズ制御部１１３は、算出した露出値に従って、光学系１０１が有する絞りの制御信号を出力する。
【００２１】
図２は、撮像装置１００の利用環境の一例を示す。撮像装置１００は、異なる位置から撮影した複数の画像の画像データを用いて、いずれの撮像位置とも異なる位置を視点とする画像の画像データを生成する。例えば、撮像装置１００は、被写体に近寄った位置を視点とする画像の画像データを生成する。本実施形態の説明において、被写体に近寄った位置を視点とする画像を、接近画像と呼ぶ。
【００２２】
例えば、ユーザは、物体２００から一定距離離れた位置から、撮像装置１００を用いて連写撮影する。例えば、光学系１０１の光軸に略垂直なｘｙ面内で撮像装置１００を移動させながら、連写撮影する。これにより、撮像装置１００は、ｘｙ面内の異なる位置で撮像した画像データを得ることができる。撮像装置１００は、連写撮影中に、ｘｙ面内の位置を撮像位置として検出する。撮像装置１００は、例えば連写撮影中に加速度センサ１２４から出力された加速度情報に基づき、各画像を撮像した撮像位置を算出する。なお、本実施形態において、ｘ方向は左右方向に対応し、ｙ方向は上下方向に対応する。
【００２３】
撮像装置１００は、接近画像を生成する指示をユーザから受け付けると、連写撮影で得た複数の画像データを用いて、指定された位置を視点とする接近接近画像２５０の画像データを生成して表示する。
【００２４】
本図の例では、実線で示した撮像装置１００の位置からは、物体２００ａは遮蔽物３５０ａに遮られて見ることができない。また、物体２００ｃの一部は、遮蔽物３５０ｂに視野を遮られてれて見ることができない。しかし、画像処理部１０７は、破線で示した撮像装置１００の位置から撮像した画像を部分的に使用することで、物体２００ａの一部および物体２００ｃが写り込んだ接近接近画像２５０を生成する。
【００２５】
図３は、被写体、撮像位置および視点位置の位置関係を模式的に示す。図４は、連写撮影で得られた撮像画像の一部および接近画像の一例を模式的に示す。
【００２６】
撮像装置１００は、一定の画角θで連写撮影するものとする。撮像装置１００が位置Ｐ０にある場合、撮像装置１００は範囲３１０ａ〜３１０ｂを撮影することができる。位置Ｐ０からでは、遮蔽物３５０ａおよび３５０ｂよりも遠くに位置する物体は、位置Ａ１〜Ａ２の範囲しか撮像することができない。したがって、位置Ｐ０を撮像位置とする画像４００には、物体２００ａは写っていない。また、画像４００には、物体２００ｃの一部しか写っていない。
【００２７】
一方、位置Ｐ０よりも被写体に近い位置Ｐ０'から視野角θで見た場合、範囲３２０ａ〜３２０ｂに対応する位置Ｂ１〜Ｂ２の範囲の物体を見ることができる。したがって、位置Ｐ０'からは、物体２００ａの一部を見ることができる。また、位置Ｐ０'からは、物体２００ｃを見ることができる。したがって、単に画像４００を拡大するだけでは、位置Ｐ０'を視点とする画像を得たことにはならない。
【００２８】
ここで、位置Ｐ０よりも左方の位置Ｐ１から撮影した画像４１０には、位置Ｐ０'から位置Ｂ１に向かう方向で見たときの被写体像が含まれる。具体的には、画像４１０には、物体２００ｃの像が含まれる。また、位置Ｐ０よりも右方の位置Ｐ２から撮影した画像４２０には、位置Ｐ０'から位置Ｂ２に向かう方向で見たときの被写体像が含まれる。具体的には、画像４１０には、物体２００ａの一部の像が含まれる。
【００２９】
そこで、画像処理部１０７は、画像４００から中央の部分領域４０２を切り出す。また、画像４１０の右方の部分領域４１２を切り出す。また、画像４２０の左方の部分領域４２２を切り出す。そして画像処理部１０７は、切り出した部分領域の画像をつなぎ合わせて、位置Ｐ０'を視点とする接近接近画像２５０を生成する。
【００３０】
なお、位置Ｐ０から被写体に近づいた距離である接近距離Δｚが与えられると、仮想の視点となる位置Ｐ０'が定まる。そして、位置Ｐ０'からの視野角θが与えられると、接近接近画像２５０の右方の部分領域の画像を提供する位置Ｐ１と、接近画像２５０の左方の部分領域の画像を提供する位置Ｐ２が定まる。例えば、位置Ｐ０からｘ軸の両方向にΔｚ×ｔａｎ（θ／２）だけ離れた点を、Ｐ１およびＰ２とすることができる。画像処理部１０７は、位置Ｐ１からＰ２までの範囲内に撮像位置を持つ複数の画像を選択して、接近接近画像２５０を生成する。具体的には、画像処理部１０７は、視点Ｐ０'からの複数の視線方向のそれぞれについて、視線方向に一致する方向で撮像された部分領域を持つ画像を、撮像位置に基づいて選択して、当該部分領域を切り出す。そして画像処理部１０７は、切り出した部分画像を、接近画像２５０の対応する画像領域の部分画像として適用する。
【００３１】
図５は、画像から切り出す部分領域の一例を示す。画像処理部１０７は、画像４００の中央の部分画像、画像４１０の右端の部分画像および画像４２０の左端の部分画像を、それぞれ接近画像２５０の中央の画像領域、接近画像２５０の右端の画像領域、接近画像２５０の左端の画像領域の部分画像として適用する。
【００３２】
画像５００ａ、５１０ａおよび５２０ａは、画像４００、４１０および４２０よりも上方の位置から撮像して得られた画像である。画像５００ａ、５１０ａおよび５２０ａは、接近画像２５０の下方の画像領域の画像として適用される。具体的には、画像処理部１０７は、画像５００ａの中央下端の部分画像、画像５１０ａの右下端の部分画像および画像５２０ａの左下端の部分画像を、それぞれ接近画像２５０の中央下端の画像領域、接近画像２５０の右下端の画像領域、接近画像２５０の左下端の画像領域の部分画像として適用する。
【００３３】
画像５００ｂ、５１０ｂおよび５２０ｂは、画像４００、４１０および４２０よりも下方の位置から撮影して得られた画像である。画像５００ｂ、５１０ｂおよび５２０ｂは、接近画像２５０の上方の画像領域の画像として適用される。具体的には、画像処理部１０７は、画像５００ｂの中央上端の部分画像、画像５１０ｂの右上端の部分画像および画像５２０ｂの左上端の部分画像を、それぞれ接近画像２５０の中央上端の画像領域、接近画像２５０の右上端の画像領域、接近画像２５０の左上端の画像領域の部分画像として適用する。
【００３４】
本図では、複数の画像のうち、中央の画像４００の他に、左端、右端、上端および下端の部分画像を提供する９個の画像を取り上げて、それぞれから切り出した部分画像を接近画像２５０の対応する部分画像として適用することを説明した。画像処理部１０７は、これら９個の画像の他、これらの間の位置から撮像した画像からも同様に部分画像を切り出して、接近画像２５０の対応する部分画像として適用する。
【００３５】
なお、画像処理部１０７は、被写体に接近した距離に応じて切り出した部分画像を拡大して、接近画像２５０の対応する部分画像として適用してよい。画像処理部１０７は、被写体距離と接近距離とから定まる拡大率に従って、切り出した部分画像を拡大してよい。画像処理部１０７は、画像データから物体像の視差ズレを特定し、視差ズレに基づいて被写体距離を算出してよい。このように、画像処理部１０７は、複数の画像の撮像位置と、画像内の被写体の位置とに基づいて、被写体距離を特定することができる。なお、図３の例では、被写体となる物体２００、遮蔽物３５０および３６０は、互いの近傍に位置する。このような場合、部分領域毎に被写体距離を算出しなくとも、一定の拡大率を適用できる場合がある。
【００３６】
以上に説明したように、撮像装置１００によれば、撮像位置よりも被写体に接近した位置に自由に視点位置を設定して、その視点位置からの視野を正しく反映した接近画像を生成することができる。
【００３７】
図６は、多視点画像を生成するための視点位置の一例を示す。本図において、位置Ｐ０'は左眼の視点位置に対応し、位置Ｐ０' 'は右眼の視点位置に対応する。例えば、Ｐ０''の位置を、人間の両眼の間隔として予め定められた距離だけＰ０'からｘ方向にシフトした位置に設定する。例えば、Ｐ０''の位置を、Ｐ０'から基線長６５ｍｍだけｘ方向にシフトした位置に設定する。位置Ｐ０'が左眼の視点位置に対応する場合、左眼に提示すべき画像である左眼用画像として接近画像２５０を適用することができる。
【００３８】
右眼用画像を生成する場合、接近画像２５０と同様に、位置Ｐ０''を視点とする範囲６２０ａ〜６２０ｂに対応する位置Ｐ３およびＰ４を決定する。そして、画像処理部１０７は、位置Ｐ３からＰ４までの範囲内に撮像位置を持つ複数の画像を選択して、右眼用画像を生成する。具体的には、画像処理部１０７は、視点Ｐ０''からの複数の視線方向のそれぞれについて、視線方向に一致する方向で撮像された部分領域を持つ画像を、撮像位置に基づいて選択して、当該部分領域を切り出す。そして画像処理部１０７は、切り出した部分画像を、右眼用画像の対応する画像領域の部分画像として適用する。
【００３９】
表示部１１０は、左眼用画像をユーザの左眼に提示し、右眼用画像をユーザの右眼に提示してよい。例えば表示部１１０は、パララックスバリア方式等を適用して左眼用画像および右眼用画像を表示してよい。
【００４０】
図７は、撮像装置１００が連写撮影する場合の処理フローを示す。本フローは、撮像装置１００の動作モードが、接近画像を生成するための連写撮影モードに設定された場合に、開始される。例えば、動作モードを本連写撮影モードに設定する操作が操作部材１２０になされたことをシステム制御部１１４が検出した場合に、開始される。
【００４１】
ステップＳ７０２において、システム制御部１１４は、連写撮影で適用する撮像条件を設定する。システム制御部１１４は、連写撮影が終了するまで、一定のズーム値、露出値および絞り値で撮影するようレンズ制御部１１３を設定する。また、システム制御部１１４は、一定のホワイトバランス設定で撮像信号を前処理させる。このように、撮像装置１００は、本連写撮影モードに設定されている場合、撮像条件が固定された状態で連写撮影を行う。このため、撮像される画像の明るさ、ぼけ等の条件を均一化することができる。また、システム制御部１１４は、被写界深度が予め定められた値よりも長くなるよう、絞り値を予め定められた値以上に設定してよい。
【００４２】
ステップＳ７０４において、システム制御部１１４は連写撮影の開始指示を待って、ステップＳ７０６に処理を進める。例えば、システム制御部１１４は、操作部材１２０の一部としてのレリーズボタンが押し込まれたことを検出した場合に、ステップＳ７０６に処理を進める。
【００４３】
ステップＳ７０６において、システム制御部１１４が撮像装置１００の各部を制御して撮影を行う。ステップＳ７０８において、システム制御部１１４は、撮像制御に同期して、加速度センサ１２４で検出された加速度を時間積分して、撮像位置を算出する。具体的には、システム制御部１１４は、ｘｙ面内の加速度に基づいてｘｙ面内の撮像位置を算出してよい。ステップＳ７１０において、システム制御部１１４は、内部メモリ１０８または記録媒体１２２の少なくとも一方に、画像データを撮像位置に対応づけて記録する。
【００４４】
ステップＳ７１２において、システム制御部１１４は、連写撮影を終了するか否かを判断する。例えば、システム制御部１１４は、操作部材１２０に対して連写撮影を停止する旨の操作がなされたことを検出した場合に、連写撮影を終了する旨を判断する。なお、システム制御部１１４は、撮像装置１００の移動が終了したことを検出した場合に、連写撮影を終了する旨を判断してもよい。例えば、撮像装置１００が実質的に静止した状態が予め定められた期間続いた場合に、連写撮影を終了する旨を判断してもよい。システム制御部１１４は、撮像装置１００の加速度が予め定められた閾値より小さく、かつ、加速度の時間積分値が予め定められた閾値より小さい場合に、撮像装置１００が実質的に静止した状態にあると判断してよい。
【００４５】
連写撮影を終了しないと判断した場合には、ステップＳ７０６に処理を進めて、次の画像を撮像する。連写撮影を終了すると判断した場合には、ステップＳ７１４に処理を進める。すなわち、連写撮影を終了する旨が判断されるまで、連続して被写体を撮像することにより、連写撮影を行う。
【００４６】
ステップＳ７１４において、撮像装置１００は、全体画像を生成して表示する。例えば、画像処理部１０７は、連写撮影で得た複数の画像の画像データから、１つのパノラマ画像の画像データを生成する。具体的には、画像処理部１０７は、テンプレートマッチング処理等により、複数の画像内に同一の被写体が写り込んでいる領域を特定する。そして、画像処理部１０７は、被写体像を繋ぎ合わせることにより、パノラマ画像の画像データを生成する。そして、表示部１１０が、生成したパノラマ画像の画像データを表示する。
【００４７】
続いて、ステップＳ７１６において、接近画像を生成して表示する。接近画像を生成するフローについては、図９に関連して説明する。
【００４８】
図８は、全体画像の表示例を示す。表示部１１０は、パノラマ画像８００とともに、接近可能距離を示す文字８１０を表示する。接近可能距離は、視点位置を被写体に接近させることができる最大の距離を示す。接近可能距離は、連写撮影で得た各画像の撮像位置に基づいて算出することができる。図３等に関連して説明したように、位置Ｐ０'を視点とする接近画像を生成するためには、Ｐ０から離れた位置Ｐ１、Ｐ２等から撮像した画像を用いる。したがって、連写撮影時に撮像装置１００を大きく移動させるほど、被写体のより近くに視点位置を設定することが可能になる。システム制御部１１４は、連写撮影で得た各画像の撮像位置に基づいて接近可能距離を算出して、接近可能距離を示す文字８１０を表示部１１０に表示させる。
【００４９】
撮像装置１００は、操作部材１２０の一部としての操作ダイヤル８５０を介して、視点位置を設定する指示を受け付ける。具体的には、システム制御部１１４は、ｘｙ面内の位置の設定と、ｚ方向の位置の設定とを、操作ダイヤル８５０を介して受け付ける。例えば、操作ダイヤル８５０は、予め定められた上下左右の４つのキー位置のいずれかを押し込むことが可能な４方向キーとして機能する。システム制御部１１４は、操作ダイヤル８５０に対して押し込み操作されたキー位置を検出することで、対応する方向にｘｙ面内の視点位置をシフトする指示を受け付ける。例えば、左右方向のキー位置がｘ方向の移動に対応し、上下方向のキー位置がｙ方向の移動に対応する場合、左方向のキー位置が押し込まれたときは、画面の左方向に予め定められた量だけ視点位置を移動させ、上方向のキー位置が押し込まれた場合、画面の上方向に予め定められた量だけ視点位置を移動させる旨を検出する。画像処理部１０７は、設定された視点位置が画像領域の中央に位置するよう、指定された量だけパノラマ画像８００をシフトさせる。
【００５０】
また、操作部材１２０の一部としての操作ダイヤル８５０を回転させることにより、被写体に近づく距離を設定する。例えば、システム制御部１１４は、操作ダイヤル８５０が時計回りに回転された場合に、回転量に応じた距離だけ被写体に近い位置に、視点位置を設定する。したがって、操作ダイヤル８５０を時計回りに回転させることで、視点位置を被写体に近づけることができ、操作ダイヤル８５０を反時計回りに回転させることで、視点位置を被写体から遠ざけることができる。すなわち、ユーザは、操作ダイヤル８５０の回転を調節することで、被写体に接近した距離を調節することができる。システム制御部１１４は、操作ダイヤル８５０の回転量に基づいて接近距離Δｚを算出して、当該距離を示す文字８２０を表示する。
【００５１】
図９は、接近画像を生成するフローの一例を示す。ステップＳ９０２において、システム制御部１１４はｘｙ面内の視点位置を取得する。具体的には、図８に関連して説明したように、システム制御部１１４は、４方向キーとして機能する操作ダイヤル８５０を介して、ｘｙ面内の視点位置を設定する指示を取得する。
【００５２】
ステップＳ９０４において、ｚ方向の接近距離を取得する。図８に関連して説明したように、システム制御部１１４は、ダイヤルキーとして機能する操作ダイヤル８５０を介して、ｚ方向の視点位置を設定する指示を取得する。具体的には、システム制御部１１４は、操作ダイヤル８５０の回転量に基づいて接近距離Δｚを算出する。
【００５３】
ステップＳ９０６において、画像処理部１０７は、ｘｙ面内の視点位置および接近距離Δｚ、ならびに画像の撮像位置に基づいて、複数の画像の中から、接近画像を生成するのに用いる画像データを選択する。例えば、図３の例では、位置Ｐ１〜Ｐ２の範囲に撮像位置を持つ画像を選択する。そして、ステップＳ９０８において、画像処理部１０７は、選択した複数の画像のそれぞれについて、いずれの部分領域を接近画像の部分領域に適用するかを各画像の撮像位置に基づいて設定する。
【００５４】
続いて、ステップＳ９１０において、画像処理部１０７は、選択した複数の画像のそれぞれから部分領域を切り出す。ステップＳ９１２において、画像処理部１０７は、切り出した部分領域の画像を、接近画像の対応する画像領域の画像として適用する。例えば、図４、５等に関連して説明したように、切り出した部分画像の画像データを、接近画像において視線方向が対応する画像領域の画像データとして適用する。これにより、接近画像の画像データが内部メモリ１０８内に生成される。なお、接近画像として立体視用の画像を生成する場合、ステップＳ９０６からステップＳ９１２の処理を、左眼用画像および右眼用画像をそれぞれ生成すべく適用してよい。
【００５５】
ステップＳ９１４において、システム制御部１１４は、接近画像の画像データを表示部１１０に表示させて、処理を終了する。
【００５６】
以上に説明したように、撮像装置１００は、異なる位置で撮像された複数の画像の画像データを取得した場合に、複数の画像の撮像位置とは異なる位置に、視点位置を設定する。そして、撮像装置１００は、当該位置関係および視点位置に基づいて複数の画像からそれぞれ選択した複数の部分領域の画像データを用いて、当該視点位置を視点とする画像を生成することができる。以上の説明において、撮像装置１００の動作を分かり易く説明すべく、撮像装置１００の画角を固定とした。しかし、画角は可変でもよい。画角が可変である場合、画角を考慮して接近画像を生成してよい。すなわち、撮像装置１００は、複数の画像が撮像された画角、撮像位置の位置関係および視点位置に基づいて、複数の画像のそれぞれから選択すべき部分領域の位置を特定して、特定した位置の部分領域の画像データを用いて、視点位置を視点とする画像を生成する。具体的には、撮像装置１００は、複数の画像が撮像された画角、視点位置を視点とする画像の画角、位置関係および視点位置に基づいて、複数の画像のそれぞれから選択すべき部分領域の位置を特定し、特定した位置の部分領域の画像データを用いて、視点位置を視点とする画像を生成する。
【００５７】
なお、以上の説明では、多視点画像の一例として、例えば立体視用の左眼用画像および右眼用画像を生成するとした。しかし、撮像装置１００による多視点画像は、立体視用途に限らず、計測用途、観測用途等、種々の用途に適用できる。例えば、衛星から撮影した複数の画像から、例えば観測用途としての多視点画像を生成する場面に適用できる。
【００５８】
本実施形態の撮像装置１００に関連して説明した処理は、撮像装置１００の各部、例えばシステム制御部１１４等が、プログラムに従って動作することにより、実現することができる。すなわち、当該処理を、いわゆるコンピュータ装置によって実現することができる。コンピュータ装置は、上述した処理の実行を制御するプログラムをロードして、読み込んだプログラムに従って動作して、当該処理を実行してよい。コンピュータ装置は、当該プログラムを記憶しているコンピュータ読取可能な記録媒体を読み込むことによって、当該プログラムをロードすることができる。
【００５９】
本実施形態において、撮像装置１００を取り上げて、画像処理装置の一例としての動作を説明した。撮像装置としては、レンズ交換式の一眼レフカメラ、コンパクトデジタルカメラ、ミラーレス一眼カメラ、ビデオカメラ、撮像機能付きの携帯電話機、撮像機能付きの携帯情報端末、撮像機能付きのゲーム機器等の娯楽装置、撮像機能を有する人工衛星等、撮像機能を有する機器を適用の対象とすることができる。しかし、画像処理装置は、パーソナルコンピュータ、テレビ、ビデオ、デジタルフォトフレーム、ゲーム機器等の娯楽装置等の電子機器として実現されてよい。
【００６０】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００６１】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【符号の説明】
【００６２】
１００  撮像装置、１０１  光学系、１０２  シャッタ、１０３  撮像素子、１０５  Ａ／Ｄ変換器、１０６  メモリ制御部、１０７  画像処理部、１０８  内部メモリ、１０９  表示制御部、１１０  表示部、１１１  記録媒体ＩＦ、１１２  タイミング発生部、１１３  レンズ制御部、１１４  システム制御部、１２０  操作部材、１２２  記録媒体、１２４  加速度センサ、２００  物体、４００、４１０、４２０、５００、５１０、５２０  画像、２５０  接近画像、３１０、６２０  範囲、３５０  遮蔽物、４０２、４１２、４２２  部分領域、８５０  操作ダイヤル、８００  パノラマ画像、８１０、８２０  文字
【図１】
2012209896.tif 000003
【図２】
2012209896.tif 000004
【図３】
2012209896.tif 000005
【図４】
2012209896.tif 000006
【図５】
2012209896.tif 000007
【図６】
2012209896.tif 000008
【図７】
2012209896.tif 000009
【図８】
2012209896.tif 000010
【図９】
2012209896.tif 000011