(57)【要約】【課題】撮影現場でオクルージョン領域を合成できる画像を取得できているか否かを確認することができない。【解決手段】撮像デバイスの複数の視点から撮像することにより得られる多視点画像データに基づいて、被写体の形状を示す形状情報を取得する取得手段と、前記形状情報に基づいて、前記複数の視点から撮像することができない被写体中のオクルージョン領域を特定する特定手段と、前記オクルージョン領域を撮像するために要する撮像デバイスの移動量を導出する導出手段とを備える。【選択図】図４
2015002529.tif 000002
【特許請求の範囲】
【請求項１】
複数の視点から得られる多視点画像データに基づいて、前記複数の視点から撮像することができない領域である被写体中のオクルージョン領域を特定する特定手段と、
前記オクルージョン領域を撮像するために要する移動量を導出する導出手段と
を有する画像処理装置。
【請求項２】
前記移動量をユーザに報知する報知手段を更に有することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記報知手段は、前記移動量に応じた移動後の画像とライブ画像とをオーバーレイ表示することで、前記移動量をユーザに報知する特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記移動量に応じた移動の後に、前記被写体を本撮像する指示を行う指示手段を更に有することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。
【請求項５】
前記本撮像により得られた複数の視点から得られる多視点画像データに基づいて、被写体中の不要物の除去を行う不要物除去手段を更に有することを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記不要物除去手段は、前記本撮像により得られた複数の視点から得られる多視点画像データの少なくとも一部を合成することによって前記不要物の除去を行うことを特徴とする請求項５に記載の画像処理装置。
【請求項７】
前記特定手段は、前記多視点画像データに基づいて得られる被写体の形状を示す形状情報に基づいて前記オクルージョン領域を特定することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
【請求項８】
前記導出手段は、前記被写体の距離情報を導出し、前記被写体の距離情報に基づいて前記オクルージョン領域の大きさを導出し、導出した被写体の距離情報とオクルージョン領域の大きさとに基づいて移動量を導出することを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
【請求項９】
移動量の制限値を保持する保持手段を更に有し、
前記導出手段により導出された移動量が前記制限値を超えた場合、導出された移動量が前記制限値を超えたことをユーザに通知する通知手段を更に有することを特徴とする請求項１から８のいずれか一項に記載の画像処理装置。
【請求項１０】
複数の視点位置に設けられた複数の撮像手段と、
前記複数の撮像手段から得られる多視点画像データに基づいて、前記複数の視点から撮像することができない領域である被写体中のオクルージョン領域を特定する特定手段と、
前記オクルージョン領域を撮像するために要する移動量を導出する導出手段と、
を有する撮像装置。
【請求項１１】
前記撮像手段のうちの少なくとも１つは移動可能な機構を有し、
前記導出手段で導出された移動量に基づいて前記移動可能な機構を有する撮像手段を移動させる制御手段をさらに有することを特徴とする請求項１０に記載の撮像装置。
【請求項１２】
複数の視点から得られる多視点画像データに基づいて、前記複数の視点から撮像することができない領域である被写体中のオクルージョン領域を特定する特定工程と、
前記オクルージョン領域を撮像するために要する移動量を導出する導出工程と
を有する画像処理方法。
【請求項１３】
コンピュータを請求項１から９のいずれか一項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、異なる視点から撮像された複数の画像データを用いる画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、複数の視点から撮像された画像データ（以下、多視点画像データという）を用いて被写体までの距離や形状を推定し、後からピント位置の調節（リフォーカス）や特定物の除去を可能とする画像処理技術が知られている。例えば、特許文献１では、被写体が不要物によって遮られている部分（以下、オクルージョン領域という）を、別の視点から撮像された画像データを用いて合成することにより、不要物を除去する技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−２０５８１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１では、オクルージョン領域が不要物によって遮られていない視点から撮像された画像データが必要であり、撮影現場でそのような画像データを取得できているか否かを確認することができない。また、オクルージョン領域を含まない合成画像を示す合成画像データを生成するために、どの視点から撮像した画像データが必要なのかが撮影現場においてわからないという課題がある。
【課題を解決するための手段】
【０００５】
本発明にかかる情報処理装置は、複数の視点から得られる多視点画像データに基づいて、前記複数の視点から撮像することができない領域である被写体中のオクルージョン領域を特定する特定手段と、前記オクルージョン領域を撮像するために要する移動量を導出する導出手段とを有する。
【発明の効果】
【０００６】
本発明によれば、撮影現場において、不要物を除去するための多視点画像データを効率的に取得することができる。
【図面の簡単な説明】
【０００７】
【図１】複数の撮像部を備えた多眼方式の撮像装置の一例を示す図である。
【図２】多眼方式の撮像装置の内部構成の一例を示すブロック図である。
【図３】撮像部の内部構成の一例を示す図である。
【図４】画像処理部および表示制御部の構成を示すブロック図である。
【図５】画像処理部の動作を示すフローチャート図である。
【図６】撮像装置と被写体との位置関係を示す概念図である。
【図７】多視点画像データの一例である。
【図８】被写体情報を説明する概念図である。
【図９】オクルージョン領域を説明する概念図である。
【図１０】移動量導出部の動作を示すフローチャート図である。
【図１１】移動量の導出方法を説明する概念図である。
【図１２】不要物を除去した画像データの一例である。
【図１３】移動量を報知する表示部の一例である。
【図１４】移動量の制限を通知する表示部の一例である。
【図１５】複数の撮像部を備えた多眼方式の撮像装置の別の例を示す図である。
【発明を実施するための形態】
【０００８】
以下に図面を参照して、発明の実施の形態を詳しく説明する。なお、以下の実施の形態はあくまで例示であり、本発明の範囲を限定する趣旨のものではない。
【０００９】
［実施例１］
図１は、複数の撮像部を備えた多眼方式による多視点撮像装置の一例を示す図である。撮像装置１００は、カラー画像を取得する３個の撮像部１０１〜１０３及び撮影ボタン１０４を備えている。図１に示すように３個の撮像部は、直線上に均等に配置されている。ユーザが撮影ボタン１０４を押下すると、撮像部１０１〜１０３が被写体の光情報をセンサ（撮像素子）で受光し、受光した信号がＡ／Ｄ変換され、複数のカラー画像データ（デジタルデータ）が同時撮像される。
【００１０】
このような多眼方式の撮像装置により、同一の被写体を複数の視点位置から撮像したカラー画像群を得ることができる。このように同時撮像された複数の画像データのことを総称して多視点画像データと称する。なお、ここでは撮像部の数を３個としたが撮像部の数は３個に限定されず、撮像装置が複数の撮像部を有する限りにおいてその数によらず本実施例は適用可能である。
【００１１】
図２は、撮像装置１００の内部構成を示すブロック図である。中央処理装置（ＣＰＵ）２０１は、以下に述べる各部を統括的に制御する。ＲＡＭ２０２は、ＣＰＵ２０１の主メモリ、ワークエリア等として機能する。ＲＯＭ２０３は、ＣＰＵ２０１で実行される制御プラグラム等を格納している。
【００１２】
バス２０４は、各種データの転送経路となる。例えば、撮像部１０１〜１０３によって取得されたデジタルデータは、このバス２０４を介して所定の処理部に送られる。操作部２０５はユーザの指示を受け取る。具体的にはボタンやモードダイヤルなどが含まれる。表示部２０６は撮像画像や文字の表示を行い、例えば、液晶ディスプレイが用いられる。表示部２０６はタッチスクリーン機能を有していても良く、その場合はタッチスクリーンを用いたユーザ指示を操作部２０５の入力として扱うことも可能である。
【００１３】
表示制御部２０７は、表示部２０６に表示される撮像画像や文字の表示制御を行う。また、表示制御部２０７では、ユーザに撮像装置の移動量の報知および本撮像の指示を行う。これらを含む表示制御部２０７の詳細については後述する。
【００１４】
撮像制御部２０８は、フォーカスを合わせる、シャッターを開く・閉じる、絞りを調節するなどの、ＣＰＵ２０１からの指示に基づいた撮像部の制御を行う。デジタル信号処理部２０９は、バス２０４を介して受け取ったデジタルデータに対し、ホワイトバランス処理、ガンマ処理、ノイズ低減処理などの各種処理を行う。エンコード部２１０は、デジタルデータをＪＰＥＧやＭＰＥＧなどのファイルフォーマットに変換する処理を行う。外部メモリ制御部２１１は、撮像装置１００を、ＰＣやその他のメディア（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）に結合するためのインターフェースである。
【００１５】
画像処理部２１２は、撮像部１０１〜１０３で取得されたカラー画像群或いは、デジタル信号処理部２０９から出力されるカラー画像群から、画像合成などの画像処理を行う。画像処理部２１２は、複数の視点で撮像された画像データを用いて移動量の導出および不要物の除去を行う。画像処理部２１２の詳細については後述する。
【００１６】
なお、撮像装置の構成要素は上記以外にも存在するが、本実施例の主眼ではないので、説明を省略する。
【００１７】
図３は、撮像部１０１の内部構成を示す図である。なお、撮像部１０２、１０３についても同様の構成とする。撮像部１０１は、レンズ３０１〜３０３、絞り３０４、シャッター３０５、光学ローパスフィルタ３０６、ｉＲカットフィルタ３０７、カラーフィルタ３０８、センサ３０９及びＡ／Ｄ変換部３１０で構成される。レンズ３０１〜３０３は夫々、ズームレンズ３０１、フォーカスレンズ３０２、ぶれ補正レンズ３０３である。センサ３０９は、例えばＣＭＯＳやＣＣＤなどのセンサであり、上記の各レンズでフォーカスされた被写体の光量を検知する。検知された光量はアナログ値としてセンサ３０９から出力され、Ａ／Ｄ変換部３１０によってデジタル値に変換されて、デジタルデータとなってバス２０４に出力される。
【００１８】
図４は、画像処理部２１２および表示制御部２０７の構成を示すブロック図である。以下では、画像処理部２１２および表示制御部２０７の詳細について説明する。
【００１９】
（画像処理部）
ここでは、画像処理部２１２の詳細について説明する。画像処理部２１２は、多視点画像取得部４０１、被写体選定部４０２、被写体情報取得部４０３、オクルージョン領域特定部４０４、移動量導出部４０５、および不要物除去部４０６を有する。
【００２０】
多視点画像取得部４０１は、撮像部１０１〜１０３で複数の視点で撮像されたカラー画像データ群を多視点画像データとして取得する。被写体選定部４０２は、ユーザによる操作部２０５の操作などによって被写体を選定する。被写体情報取得部４０３は、被写体選定部４０２によって選定された被写体の被写体情報を取得する。オクルージョン領域特定部４０４は、被写体情報取得部４０３で取得された被写体情報と、多視点画像取得部４０１にて取得された多視点画像データとに基づいてオクルージョン領域を特定する。
【００２１】
移動量導出部４０５は、オクルージョン領域特定部４０４によって特定されたオクルージョン領域を含まない合成画像を生成するために用いられる多視点画像データを撮像するために必要な撮像装置の移動量を導出する。
【００２２】
不要物除去部４０６は、オクルージョン領域特定部４０４によって特定されたオクルージョン領域における不要物を除去する処理を行う。
【００２３】
図５は、画像処理部２１２の動作を示すフローチャート図である。以下、図５を参照して画像処理部２１２の処理について説明する。なお、図５に示すフローチャートは、ＲＡＭ２０２に展開されたプログラムをＣＰＵ２０１が実行することにより実現される。
【００２４】
まず、ステップＳ５０１では、多視点画像取得部４０１が撮像部１０１〜１０３で撮像した多視点画像データを取得する。多視点画像データは、撮影ボタン１０４または操作部２０５からのユーザの指示に基づいて、撮像制御部２０８が撮像部１０１〜１０３のシャッターを閉じることにより得られる画像データ群である。また、これらの多視点画像データは、ＲＡＭ２０２またはＰＣやその他のメディアから外部メモリ制御部２１１を通じて画像入力されるものでも構わない。
【００２５】
ここで、撮像装置と被写体との位置関係について説明する。図６は、本実施例で用いる撮像装置と被写体との位置関係を示す概念図である。図６は、撮像装置と被写体との位置関係を上から見た図であり、撮像装置の前に、奥側に被写体Ａがあり手前側に被写体Ｂがあり、各々、撮像装置からｄ１、ｄ２離れた距離に配置されている。また、１つの撮像部で撮像できる範囲は視野範囲ａの広さを持つ。
【００２６】
図７は、本実施例で用いる多視点画像データの一例である。画像データ７０１〜７０３は、各々、撮像部１０１〜１０３で撮像されたものである。図７において、被写体Ａは各々７０４、７０５、７０６であり、被写体Ｂは各々７０７、７０８、７０９である。なお、図７に示す画像データを取得した際の撮像のことを、後述する本撮像に対して、以下、プレ撮像と呼ぶ。
【００２７】
次にステップＳ５０２では、被写体選定部４０２が被写体を選定する。例えば、顔認識技術を用いて特定の人物を被写体として選定したり、フォーカスの合った被写体を自動的に選定したりすることができる。もちろん、操作部２０５からのユーザの指示に基づいて被写体を選定しても構わない。例えば、表示部２０６にタッチパネルを用いて、表示部２０６に表示された被写体をタッチすることにより被写体を選定しても構わない。
【００２８】
次に、ステップＳ５０３では、被写体情報取得部４０３が被写体情報を取得する。被写体情報は、画像データにおいて被写体を特定可能な情報であればよい。例えば、被写体選定部４０２で選定された被写体が撮像されている画像中の画素の座標情報を領域情報として保持すればよい。図８は、被写体情報を説明する概念図であり、被写体Ａの領域情報８０１が被写体情報となる。なお、ここでは、被写体情報を領域情報として説明したが、より高度には被写体の形状情報を保持することが望ましい。被写体の形状情報を用いれば、後述する移動量の導出を高精度に行うことができる。被写体の形状情報は、レーザ光や赤外光などを用いて計測したり、予め既知の物体であれば３次元のモデルデータなどを用いたりして取得することができる。また、多視点画像データを用いて被写体の距離や形状を推定する方法が知られているが、本実施例の主眼ではないため詳細は省略する。
【００２９】
次に、ステップＳ５０４では、オクルージョン領域特定部４０４が被写体中のオクルージョン領域を特定する。一般的にオクルージョン領域とは、被写体が前方にある物体によって遮られている領域のことであるが、本実施例では、いずれの撮像部からも見ることができない被写体の領域のことを示すものとする。
【００３０】
図９は、オクルージョン領域を説明する概念図である。ここでは、撮像部１０２の画像データ７０２におけるオクルージョン領域について説明する。画像データ７０２において、被写体Ａが被写体Ｂによって遮られている領域は７０８である。しかし、画像データ７０１によれば、被写体Ａの領域の一部９０１が撮像されていることがわかる。同様に、画像データ７０３によれば、被写体Ａの領域の一部９０２が撮像されていることがわかる。したがって、いずれの撮像部からも見ることができない領域、すなわちオクルージョン領域は、９０３となる。なお、被写体Ａの領域の一部９０１および９０２は、被写体の特徴点を抽出し、特徴点を対応づける写像関数を求めることにより画像データ７０２に合成することができる。
【００３１】
次に、ステップＳ５０５では、オクルージョン領域特定部４０４は、オクルージョン領域があるか否かを判定する。オクルージョン領域があるか否かの判定は、例えば被写体の特徴点の対応付けができるか否かによって判定することができる。オクルージョン領域がある場合はステップＳ５０６へ、そうでない場合はステップＳ５０８へ進む。
【００３２】
ステップＳ５０６では、移動量導出部４０５が撮像装置１００の撮影位置の移動量を導出する。ここでは、ステップＳ５０４で特定したオクルージョン領域を含まなくなるように移動量が決定される。図１０は、移動量導出部４０５の動作を示すフローチャート図である。
【００３３】
まず、ステップＳ１００１で移動量導出部４０５は、多視点画像データから被写体の特徴点を抽出し、特徴点に対応する画素（対応画素）を導出する。対応画素の導出には、パターンマッチング法などを用いればよい。
【００３４】
次に、ステップＳ１００２で移動量導出部４０５は、各被写体の距離情報を導出する。図１１は距離情報の導出と移動量導出とを説明する概念図である。例えば被写体までの距離ｄ１は、図１１（ａ）に示すα、β、ｓを用いて以下の式で表わされる。
【００３５】
【数１】
2015002529.tif 000003
【００３６】
ここで、αは被写体の特徴点１１０１と撮像部１０１とのなす角であり、対応画素の座標より導出される。また、βは被写体の特徴点１１０１と撮像部１０２とのなす角であり、対応画素の座標より導出される。また、ｓは撮像部１０１と撮像部１０２との距離であり、この距離は既知である。同様に、ステップＳ１００２において移動量導出部４０５は、被写体Ｂまでの距離ｄ２も同様に導出する。
【００３７】
次に、ステップＳ１００３で移動量導出部４０５は、オクルージョン領域の大きさを導出する。オクルージョン領域の大きさｎは、図１１（ｂ）に示すθ、ｄ１を用いて以下の式で表わされる。
【００３８】
【数２】
2015002529.tif 000004
【００３９】
ここで、θは撮像部１０２の画角であり、Ｗは画像データの水平方向の画素数であり、ｘはオクルージョン領域の水平方向の画素数である。画像データの水平方向の画素数Ｗ及び画角θは既知である。オクルージョン領域の水平方向の画素数ｘは、ステップＳ５０４において導出されている。
【００４０】
最後に、ステップＳ１００４で移動量導出部４０５は、カメラ移動量を導出する。カメラ移動量ｐは、図１１（ｃ）に示すｄ１、ｄ２を用いて以下の式で表わされる。
【００４１】
【数３】
2015002529.tif 000005
【００４２】
ここで、ｄ１は被写体Ａまでの距離であり、ｄ２は被写体Ｂまでの距離である。以上により、カメラ移動量を導出できる。図１１（ｃ）の例では、撮像部１０３がカメラ移動量ｐだけ移動して１０３’の位置で撮像することで、被写体Ａのオクルージョン領域９０３に対応する領域を撮像することが可能である。
【００４３】
次に、ステップＳ５０７では、移動量導出部４０５が導出した移動量を報知部４０７に通知する。報知部４０７の詳細については、後述の表示制御部で説明する。
【００４４】
最後に、ステップＳ５０８では、不要物除去部４０６が不要物を除去した画像データを生成する。不要物を除去した画像データは、ステップＳ５０４におけるオクルージョン領域の特定と同様の方法で合成できる。すなわち、被写体の特徴点を抽出し、特徴点を対応づける写像関数を求めることにより各画像データを合成する。図１２は、不要物を除去した画像データの一例であり、被写体Ｂが除去できていることがわかる。
【００４５】
（表示制御部）
次に、図４に戻り、表示制御部２０７の詳細について説明する。表示制御部２０７は、図４に示すように、報知部４０７、本撮像指示部４０８、保持部４０９を有する。
【００４６】
報知部４０７は、画像処理部２１２から通知されたカメラ移動量を表示部２０６を介してユーザに報知する。図１３は、報知部４０７がユーザに移動量を報知する際のＧＵＩ（グラフィカルユーザインタフェース）の一例である。図１３では、画像を表示する表示領域１３０１、ユーザの操作を入力する操作部１３０２、ユーザへ情報を報知する表示領域１３０３を示している。なお、表示領域１３０１に表示する画像は、任意の撮像部１０１〜１０３で得られた画像であってよく、図１３の例では、撮像部１０２で得られた画像を表示している。
【００４７】
図１３（ａ）では、報知部４０７は表示領域１３０３にカメラ移動量に関する情報を表示する。例えば、移動量が４ｃｍであった場合、「右に４ｃｍ移動してください」などと表示する。また、矢印などの図形を用いて移動量を表示したり、移動量に基づいて矢印の大きさを変化させたりしても構わない。また、ここでは、画像を表示する表示領域１３０１と情報を報知する表示領域１３０３とを分けて説明したが、報知する情報を画像上にオーバーレイ表示するなどして同一の表示領域に表示してもよいことは言うまでもない。
【００４８】
図１３（ｂ）では、報知部４０７は表示領域１３０１に移動後の撮影位置に関する情報を表示する。例えば、プレ撮像時の画像とカメラ移動量とに基づいて移動後の合成画像を画像処理部２１２にて生成させて、表示領域１３０１にオーバーレイ表示する。なお、プレ撮像時の画像の移動後の合成画像には、プレ撮像時にオクルージョン領域が含まれている場合には、オクルージョン領域が含まれた状態の画像となる。移動後の合成画像の生成には、多視点画像を用いて自由視点画像を生成する方法が知られているが詳細は省略する。また、簡単には、図９に示すオクルージョン領域の水平方向の画素数だけプレ撮像画像をシフトしたものを用いてもよい。
【００４９】
図１３（ｂ）の表示領域１３０１では、任意の撮像部からのライブ画像１３０５の上に、カメラ移動後の合成画像１３０４が半透明でオーバーレイ表示されている。なお、ここではオーバーレイ表示の例をわかりやすく説明するために、ライブ画像１３０５を表示している撮像部の位置は、例えば図６の撮像部１０１よりも左側に位置している例を挙げている。図１３（ｂ）では、移動後の合成画像１３０４の特徴として、「ＤＥＦＧ」が表示されており、ライブ画像１３０５には「ＡＢＣＤＥ」が表示されている。ユーザは移動後の画像１３０４にライブ画像１３０５を合わせることにより撮影位置を決定できる。なお、移動後の撮影位置に関する情報は、被写体の特徴点などを用いて示してもよいことは言うまでもない。また、上記の例では、任意の撮像部からのライブ画像にカメラ移動後の合成画像がオーバーレイ表示される例を説明したが、合成画像ではなく、カメラ移動後の位置に対応する任意の撮像部からの画像をオーバーレイ表示してもよい。
【００５０】
本撮像指示部４０８は、移動量に基づいて撮像装置が移動した際に、本撮像をユーザに指示する。例えば、図１３（ｂ）に示すように、ライブ画像が移動後の画像に近づいた際に、本撮影が指示されるようにすればよい。もちろん、本撮影を自動的に行ってもよいことは言うまでもない。
【００５１】
保持部４０９は、移動量に制限がある場合に、制限値を保持する。例えば、撮影場所が制限されており移動できるスペースが限られている場合や、構図を維持したい場合などにユーザが制限値を設定することができる。図１４は、報知部４０７がユーザに移動量の制限を通知する際のＧＵＩの一例である。図１４では、制限値を表示する表示表示領域１４０１が備わっており、操作部１３０２を介して制限値を入力することができる。そして、移動量が制限値を超える場合、制限に関する情報を表示領域１３０３に表示する。例えば、移動量が制限値を超える場合に、「移動できません」などと表示する。これにより、撮影現場において、オクルージョン領域を小さくするための多視点画像データを得られたかをユーザに知らせることができる。また、プレ撮像のやり直しや制限値の変更を促す情報を表示しても構わない。
【００５２】
以上により、オクルージョン領域がある場合に、本撮像位置への移動量をユーザに報知することができる。これにより、ユーザはオクルージョン領域を小さくするための多視点画像データを効率的に取得することができる。
【００５３】
[実施例２]
上述した実施例１では、カメラ移動量をユーザに報知し、ユーザによってカメラ位置が移動される例について説明した。実施例２では、撮像部１０１〜１０３のうち、少なくとも１つの撮像部に移動可能な機構が備えられている例を説明する。すなわち、撮像装置自体を移動するのではなく個々の撮像部を移動することによっても実施例１と同様の効果を得ることができる。
【００５４】
図１５は、実施例２における、複数の撮像部を備えた多眼方式による多視点撮像装置の一例を示す図である。撮像装置１５００は、カラー画像を取得する３個の撮像部１５０１〜１５０３及び撮影ボタン１５０４を備えている。図１５に示すように３個の撮像部は、直線上に均等に配置されている。また、撮像部１５０３は移動機構１５１０が備えられており、左右に移動可能になっている。移動機構１５１０によって撮像部１５０３が、導出されたカメラ移動量だけ移動することができる。
【００５５】
ここで、カメラ移動量を導出する際には、移動機構１５１０が備えられている撮像部１５０３が移動の対象としてカメラ移動量を導出すればよい。その他の実施例２における撮像装置１５００の内部構成やカメラ移動量の導出方法やユーザへの報知方法については実施例１で説明したものと同様とすることができるので説明を省略する。
【００５６】
また、撮像部の移動可能な機構はユーザによって操作されて移動可能であってもよいし、導出された移動量に基づいて自動的に移動制御されてもよい。移動的に移動制御される機構が備わっている場合には、カメラ移動量に基づいて移動後の撮像部を用いて撮像され合成された画像をユーザに表示してもよい。この場合、ユーザにはカメラ移動量に応じた合成画像が表示され、撮影現場で不要物が除去できる多視点画像データを得られたかを確認することができる。
【００５７】
また、撮像部の移動機構による移動量が、導出された移動量よりも小さい場合には、その旨をユーザに報知して撮像装置自体を移動することをユーザに促してもよい。すなわち、撮像部の移動機構による移動量が、導出された移動量よりも小さい場合は、実施例１で説明した報知方法を行ってもよい。
【００５８】
［その他の実施形態］
また、本発明は、以下の処理を実行することによっても実現される。すなわち、上述した実施例の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。また、本発明は、複数のプロセッサが連携して処理を行うことによっても実現できるものである。
【図１】
2015002529.tif 000006
【図２】
2015002529.tif 000007
【図３】
2015002529.tif 000008
【図４】
2015002529.tif 000009
【図５】
2015002529.tif 000010
【図６】
2015002529.tif 000011
【図７】
2015002529.tif 000012
【図８】
2015002529.tif 000013
【図９】
2015002529.tif 000014
【図１０】
2015002529.tif 000015
【図１１】
2015002529.tif 000016
【図１２】
2015002529.tif 000017
【図１５】
2015002529.tif 000018
【図１３】
2015002529.tif 000019
【図１４】
2015002529.tif 000020