(57)【要約】      （修正有）【課題】被写体を異なる視点位置から撮像する複数の撮像装置の撮像条件を決定する。【解決手段】情報処理装置は、被写体の３次元形状情報を取得する形状情報取得部３０１と、取得された被写体の３次元形状情報に基づいて複数の撮像装置のそれぞれの撮像条件を決定する撮像条件決定部３０４とを有する。形状情報取得部３０１が被写体の形状情報を取得し、注目被写体形状情報抽出部３０３が、取得した形状情報と、注目被写体指定情報とから、フォーカスを合わせる被写体の形状情報を抽出する。撮像条件決定部３０４が、抽出した注目被写体形状情報から撮像条件を決定する。【選択図】図３
2014216674.tif 000002
【特許請求の範囲】
【請求項１】
被写体を異なる視点位置から撮像する複数の撮像装置の撮像条件を決定する情報処理装置であって、
前記被写体の３次元形状情報を取得する取得手段と、
取得された前記被写体の３次元形状情報に基づいて前記複数の撮像装置のそれぞれの撮像条件を決定する決定手段と
を有することを特徴とする情報処理装置。
【請求項２】
前記取得手段は、前記複数の撮像装置により前記被写体を異なる視点位置から撮像した複数の画像を用いて、前記被写体の３次元形状情報を推定することを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記３次元形状情報は、前記複数の撮像装置のそれぞれから前記被写体を構成する各点までの光軸方向の距離を示す深度値を含むことを特徴とする請求項１または２に記載の情報処理装置。
【請求項４】
前記決定手段は、前記複数の撮像装置のそれぞれに関して、前記被写体を構成する各点のうち、最小深度値の点と最大深度値の点の両方が被写界深度内に含まれるように撮像条件を決定することを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記決定手段は、前記複数の撮像装置のそれぞれに関して、前記被写体を構成する各点のうち、最小深度値の点と最大深度値の点の両方が被写界深度内に含まれるような最小の絞り値を決定することを特徴とすることを請求項４に記載の情報処理装置。
【請求項６】
注目被写体を特定する特定手段と、
前記特定手段によって特定された注目被写体の３次元形状情報を、前記被写体の３次元形状情報から抽出する抽出手段と
をさらに備え、前記決定手段は、抽出された前記注目被写体の３次元形状情報に基づいて前記複数の撮像装置のそれぞれの撮像条件を決定することを特徴とする請求項１から５のいずれかに記載の情報処理装置。
【請求項７】
前記抽出手段は、前記被写体の３次元形状情報に基づいて前記被写体を複数のポリゴンに細分化し、前記特定手段によって特定されたポリゴン、前記特定されたポリゴンと辺を共有する周辺ポリゴン、および前記周辺ポリゴンと辺を共有するポリゴン群を前記注目被写体として抽出することを特徴とする請求項６に記載の情報処理装置。
【請求項８】
前記３次元形状情報は、各撮像装置から前記複数の被写体を構成する各点が見えているか否かを示すビジビリティ情報を含み、
前記抽出手段は、前記複数の撮像装置のそれぞれに関して、前記ビジビリティ情報に基づき、前記注目被写体を構成する各点のうち見えている点のみの３次元形状情報を前記注目被写体の３次元形状情報として抽出することを特徴とする請求項６または７に記載の情報処理装置。
【請求項９】
前記取得手段は、前記複数の撮像装置により前記被写体を異なる視点位置から撮像した複数の画像を用いて前記ビジビリティ情報を取得することを特徴とする請求項８に記載の情報処理装置。
【請求項１０】
前記撮像条件は、合焦距離、絞り値、ＩＳＯ感度、およびシャッター速度を含むことを特徴とする請求項１から９のいずれかに記載の情報処理装置。
【請求項１１】
他の撮像装置と共に被写体を異なる視点位置から撮像する撮像装置であって、
前記被写体の３次元形状情報に基づいて請求項１に記載の情報処理装置によって決定された撮像条件を用いて撮像することを特徴とする撮像装置。
【請求項１２】
被写体を異なる視点位置から撮像する複数の撮像装置の撮像条件を決定する情報処理方法であって、
前記被写体の３次元形状情報を取得する取得ステップと、
取得された前記被写体の３次元形状情報に基づいて前記複数の撮像装置のそれぞれの撮像条件を決定する決定ステップと
を備えることを特徴とする情報処理方法。
【請求項１３】
コンピュータを請求項１から１０のいずれかに記載の装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は情報処理装置および情報処理方法に関し、より具体的には、被写体を異なる視点位置から撮像する複数の撮像装置の撮像条件を決定する情報処理装置および情報処理方法に関する。
【背景技術】
【０００２】
従来、複数の撮像装置が同一被写体にフォーカスを合わせる技術として、例えば、特許文献１と特許文献２記載の技術が知られている。特許文献１記載の技術は、全撮像装置の合焦位置が被写界深度内に入るように、撮像条件を算出するものであった。また、特許文献２記載の技術は、各撮像装置による撮像画像に顔認識処理を施し、同一の顔にフォーカスを合わせるものであった。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２−４４５４０号公報
【特許文献２】特開２０１０−１１４７１２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１記載の技術は、被写体が複数の場合、各撮像装置がＡＦ（オートフォーカス）処理によって別々の被写体上に合焦位置を算出し、それら全ての合焦位置が被写界深度内に入るように、Ｆ値の大きい撮像条件を算出してしまう。Ｆ値が大きいと、露出を適正にするためにＩＳＯ感度を大きくするか、シャッタースピードを遅く必要がある。ＩＳＯ感度を大きくすればノイズが増えるという問題があり、シャッタースピードを遅くすれば被写体ぶれが発生するという問題がある。また、特許文献２記載の技術は、各撮像装置が異なる方向から撮像を行うと、顔を正面から撮像していない撮像装置では顔認識を行うことができず、どこにフォーカスを合わせればよいか判断することができないという問題がある。
【０００５】
そこで本発明では、複数の撮像装置が複数の被写体を異なる方向から撮像する場合でも、複数の被写体の中のある一つの被写体に対して、各撮像装置がフォーカスを合わせることを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、被写体を異なる視点位置から撮像する複数の撮像装置の撮像条件を決定する情報処理装置であって、前記被写体の３次元形状情報を取得する取得手段と、取得された前記被写体の３次元形状情報に基づいて前記複数の撮像装置のそれぞれの撮像条件を決定する決定手段とを有することを特徴とする。
【発明の効果】
【０００７】
本発明によれば、複数の撮像装置が複数の被写体を異なる方向から撮像する場合でも、複数の被写体の中のある一つの被写体に対して、各撮像装置がフォーカスを合わせることができる。
【図面の簡単な説明】
【０００８】
【図１】撮像システム構成例を示す図である。
【図２】情報処理装置の内部構成を示す図である。
【図３】情報処理装置の機能構成を示す図である。
【図４】実施例１における処理全体の流れを示すフローチャートである。
【図５】撮像画像上の点と被写体点の関係を示す図である。
【図６】撮像部１０１〜１０８から取得した撮像画像の例を示す図である。
【図７】注目被写体形状情報抽出部３０３の処理の流れを示すフローチャートである。
【図８】注目被写体形状情報抽出部３０３の処理を説明するための図である。
【図９】実施例１における形状情報の例を示す図である。
【図１０】実施例１における注目被写体形状情報の例を示す図である。
【図１１】実施例１における撮像条件決定処理部３０４の処理の流れを示すフローチャートである。
【図１２】深度値について説明するための図である。
【図１３】注目被写体点を深度値順に並べて示す図である。
【図１４】実施例２における被写体形状情報の例を示す図である。
【図１５】実施例２における注目被写体形状情報の例を示す図である。
【発明を実施するための形態】
【０００９】
［実施例１］
＜撮像システム＞
図１は、本実施例の撮像システムの構成例を示す図である。本撮像システムは、撮像部１０１〜１０８と情報処理装置１０９とを含む。撮像部１０１〜１０８は、被写体の光情報をセンサで受光し、Ａ／Ｄ変換を施すことによって撮像画像のデジタルデータ（撮像画像データ）を取得する撮像装置である。情報処理装置１０９は、撮像部１０１〜１０８が複数の被写体を撮像する場合において、複数の被写体の中のある一つの被写体に対して、各撮像装置がフォーカスを合わせるように、撮像部１０１〜１０８の撮像条件を決定する。そして、決定した撮像条件に応じて撮像部１０１〜１０８を制御する。
【００１０】
＜情報処理装置の内部構成＞
図２は、情報処理装置１０９の内部構成を示すブロック図である。情報処理装置１０９は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ＨＤＤＩ／Ｆ２０４、ＨＤＤ２０５、入力Ｉ／Ｆ２０６、出力Ｉ／Ｆ２０７、およびシステムバス２０８を含む。
【００１１】
ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３に格納されたプログラムを実行し、システムバス２０８を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。
【００１２】
ＨＤＤＩ／Ｆ２０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、二次記憶装置としてのＨＤＤ２０５を接続する。ＣＰＵ２０１は、ＨＤＤＩ／Ｆ２０４を介してＨＤＤ２０５からのデータ読み出し、およびＨＤＤ２０５へのデータ書き込みを行うことが可能である。さらにＣＰＵ２０１は、ＨＤＤ２０５に格納されたデータをＲＡＭ２０２に展開し、同様に、ＲＡＭ２０２に展開されたデータをＨＤＤ２０５に保存することが可能である。そしてＣＰＵ２０１は、ＲＡＭ２０２に展開したデータをプログラムとみなし、実行することができる。なお、二次記憶装置はＨＤＤの他、光ディスクドライブ等の記憶デバイスでもよい。
【００１３】
入力Ｉ／Ｆ２０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。ＣＰＵ２０１は、入力Ｉ／Ｆ２０６を介して、撮像部１０１〜１０８、操作部２０９（例えば、マウスやキーボード）、外部メモリ２１１（例えば、ハードディスク、メモリーカード、ＣＦカード、ＳＤカード、ＵＳＢメモリ）などからデータを取得する。どのようなデータを取得するかについては後述する。
【００１４】
出力Ｉ／Ｆ２０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスである。ＣＰＵ２０１は、出力Ｉ／Ｆ２０７を介して、表示部２１０（ディスプレイなどの各種出力デバイス）に、撮像部１０１〜１０８の撮像画像や後述する任意視点画像を表示する。なお、タッチパネル式のディスプレイが操作部２０９と表示部２１０を兼ねてもよい。
【００１５】
＜情報処理装置の機能構成＞
図３は、本実施例に係る情報処理装置１０９の機能構成を示すブロック図である。情報処理装置１０９は、形状情報取得部３０１、注目被写体指定情報取得部３０２、注目被写体形状情報抽出部３０３および撮像条件決定部３０４を含む。形状情報取得部３０１は、撮像画像データ取得部３０５、撮像部位置姿勢情報取得部３０６、および形状情報推定部３０７を含む。
【００１６】
図４は、本実施例に係る一連の処理の流れを示すフローチャートである。以下では、図４を参照して、本実施例に係る一連の処理の流れを説明する。
【００１７】
＜被写体形状情報の取得＞
ステップＳ４０１において、形状情報取得部３０１が被写体の形状情報（３次元形状情報）を取得する。以下、ステップＳ４０１の処理を詳細に説明する。
【００１８】
撮像画像データ取得部３０５は、入力Ｉ／Ｆ２０６を介して撮像部１０１〜１０８から撮像画像データを取得する。ここで、取得した撮像画像データは、被写体を撮像部１０１〜１０８のそれぞれの視点位置から撮像した画像データである。
【００１９】
撮像部位置姿勢情報取得部３０６は、入力Ｉ／Ｆ２０６を介して撮像部１０１〜１０８または外部メモリ２１１から撮像部位置姿勢情報を取得する。撮像部位置姿勢情報は、撮像部１０１〜１０８が被写体を撮像した時の位置情報と姿勢情報を含む。位置情報は撮像部の位置を表す三次元座標とすることができる。姿勢情報は、撮像部の撮像方向を表す三次元ベクトルとすることができ、例えば、前方を表す三次元ベクトルと、上方を表す三次元ベクトルとを含むことができる。
【００２０】
形状情報推定部３０７は、撮像画像データ取得部３０５により取得した撮像画像データと撮像部位置姿勢情報取得部３０６により取得した撮像部位置姿勢情報とから被写体の形状情報を推定する。本実施例において、形状情報は、図９に示すように、被写体上の点（以下、被写体点と記す）の識別番号と関連付けられている、各被写体点を撮像部１０１〜１０８から見た時の深度値である。撮像画像データと撮像部位置姿勢情報とから形状情報を算出する方法として、例えば、米国特許出願公開第２００９／００５２７９６号明細書に記載の形状推定方法を用いることができる。すなわち、複数の撮像装置で撮像した画像の画素値との整合がとれるように、被写体上の点を生成することで、被写体形状を推定する。以下では、撮像画像上の点と被写体点の関係を示す図５を用いて、形状情報を算出する方法の概略を説明する。
【００２１】
まず、撮像画像間の対応点マッチングを行う。対応点マッチングとは、同じ被写体点を写している異なる撮像画像上の対応点を判定し、これらの対応点の二次元座標を算出する処理である。例えば、被写体点５１０を写している対応点５１１と対応点５１２、被写体点５２０を写している対応点５２１と対応点５２２の二次元座標を算出する。なお、対応点を判定するために、例えば、ＨａｒｒｉｓやＤＯＣ（Ｄｉｆｆｅｒｅｎｃｅ−ｏｆ−Ｇａｕｓｓｉａｎ）など作用素による特徴検出を行い、撮像画像間で特徴マッチングを行うことができる。
【００２２】
次に、算出した対応点５１１、５１２、５２１、５２２の二次元座標と撮像部位置姿勢情報とから、射影幾何の原理を用いて、被写体点５１０、５２０の三次元座標を算出する。
【００２３】
最後に、算出した被写体点５１０、５２０の三次元座標と撮像部位置姿勢情報とから、撮像部１０１〜１０８と被写体点５１０、５２０との全組み合わせについて、被写体点５１０、５２０の深度値を算出する。深度値とは、図１２に示すように、被写体点から撮像部の光軸に下ろした垂線と当該光軸との交点から、撮像部の光学中心までの距離（光軸方向の距離）を指しており、射影幾何の原理を用いて算出できる。深度値の単位として任意の単位を用いてよいが、以下では、深度値の単位がｃｍであるとして、説明を行う。
【００２４】
なお、本実施例において、撮像部位置姿勢情報は撮像部位置姿勢情報取得部３０６によって外部から取得されるが、これに限定されない。撮像部位置姿勢情報取得部３０６は、撮像画像データ取得部３０５から取得した撮像画像データからｓｔｒｕｃｔｕｒｅ  ｆｒｏｍ  ｍｏｔｉｏｎなどの既存手法により、撮像部位置姿勢情報を算出しても構わない。
【００２５】
また、本実施例において、形状情報取得部３０１は、撮像画像データと撮像部位置姿勢情報とから、各被写体点の三次元座標を算出し、算出した各被写体点の三次元座標と撮像部位置姿勢情報とから各被写体点の深度値を算出するが、これに限定されない。形状情報取得部３０１は、外部から各被写体点の三次元座標を取得し、取得した各被写体点の三次元座標と撮像部位置姿勢情報とから各被写体点の深度値を算出しても構わない。あるいは、形状情報取得部３０１は、各被写体点の深度値を内部で算出するのではなく、入力Ｉ／Ｆ２０６を介して外部メモリ２１１から各被写体点の深度値を取得しても構わない。
【００２６】
＜注目被写体指定情報の取得＞
ステップＳ４０２において、注目被写体指定情報取得部３０２が、入力Ｉ／Ｆ２０６を介して操作部２０９から注目被写体指定情報を取得する。注目被写体指定情報とは、どの被写体にフォーカスを合わせるか指定する情報であり、例えば、撮像画像上においてユーザーが指定した二次元座標である。注目被写体指定情報によって、注目被写体を特定することができる。以下、注目被写体指定情報を取得する方法について、撮像部１０１〜１０８から取得した撮像画像の例を示す図６を用いて説明する。
【００２７】
まず、撮像画像を出力Ｉ／Ｆ２０７を介して表示部２１０に表示する。そして、操作部２０９からユーザーが撮像画像上において指定した位置（図６のユーザー指定位置）の二次元座標を取得する。ここで、表示部２１０と操作部２０９は図２において別々に示されているが、同一のものとしてもよい。なお、表示部２１０に表示する画像は、撮像部１０１〜１０８のどの撮像部で撮像した画像でも構わない。また、表示部２１０は、撮像部１０１〜１０８の撮像画像とステップＳ４０１で取得した被写体の形状情報とを用いて生成した任意視点画像を表示してもよい。
【００２８】
＜注目被写体形状情報の抽出＞
ステップＳ４０３において、注目被写体形状情報抽出部３０３が、ステップＳ４０１で取得した形状情報と、ステップＳ４０２で取得した注目被写体指定情報とから、フォーカスを合わせる被写体の形状情報（注目被写体形状情報）を抽出する。
【００２９】
図７は注目被写体形状情報抽出部３０３の処理の流れを示すフローチャートである。また、図８は注目被写体形状情報抽出部３０３の処理を説明するための図である。以下では、図７と図８を用いて、注目被写体形状情報抽出部３０３の処理の詳細を説明する。
【００３０】
ステップＳ７０１において、ステップＳ４０１で取得した被写体点（形状情報）をポリゴン化する。例えば、図８（ａ）で示す被写体点は、図８（ｂ）のようにポリゴン化（複数のポリゴンに細分化）できる。ポリゴン化の方法として例えば、Ｐｏｉｓｓｏｎ  Ｓｕｒｆａｃｅ  Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎなどの既存手法を用いることができる。
【００３１】
ステップＳ７０２において、ステップＳ４０２で取得した注目被写体指定情報を用いて、ステップＳ７０１で生成したポリゴンの中から、注目被写体のポリゴンを抽出する。図８（ｃ）は、図８（ｂ）にユーザー指定位置（注目被写体指定情報）を重畳表示したものである。注目被写体指定情報によって指定されたポリゴンと、その指定ポリゴンと辺を共有する周辺ポリゴン、さらに周辺ポリゴンと辺を共有するポリゴン群を注目被写体として抽出する。図８（ｃ）の例では、被写体１が注目被写体として抽出される。
【００３２】
ステップＳ７０３において、注目被写体の形状情報（注目被写体形状情報）を抽出する。例えば、ステップＳ４０１で取得した形状情報が図９で示され、そのうち、識別番号２、４、５、９、１１、１２の被写体点が注目被写体として抽出された場合、図１０に示す注目被写体形状情報が抽出される。
【００３３】
以上の処理によって、形状情報と注目被写体指定情報とに基づいて、注目被写体形状情報を抽出する。
【００３４】
＜撮像条件の決定＞
ステップＳ４０４において、撮像条件決定部３０４が、ステップＳ４０３で抽出した注目被写体形状情報から撮像条件を決定する。
【００３５】
図１１は、実施例１における撮像条件決定部３０４が、撮像部１０１〜１０８のうち１つの撮像部の撮像条件を決定する処理の流れを示すフローチャートである。以下では、図１１を参照して、実施例１における撮像条件決定部３０４の処理の詳細を説明する。
【００３６】
ステップＳ１１０１において、撮像条件決定部３０４が合焦距離を決定する。以下では、注目被写体点を深度値順に並べて示した図１３を用いて、合焦距離の決定について説明する。本実施例においては、注目被写体全体にフォーカスを合わせることが望ましい。そのため、各撮像部に関して、各撮像部の合焦距離はその撮像部から注目被写体の最小深度値と最大深度値の平均値付近とすることができる。以下、合焦距離はｄで表す。例えば、図１０の撮像部１０１の例では、最小深度値が５ｃｍであり、最大深度値が２２ｃｍなので、撮像部１０１の合焦距離ｄは、（５＋２２）／２＝１３．５（ｃｍ）とすることができる。ただし、合焦距離ｄの決定方法は、これに限定されず、後述するステップＳ１１０２において、最小深度値と最大深度値が共に被写界深度内に含まれるようなレンズの絞り値（Ｆ値）を決定するのであれば、合焦距離ｄは任意の距離とすることができる。
【００３７】
ステップＳ１１０２において、撮像条件決定部３０４がＦ値を決定する。以下では、図１３を用いてＦ値の決定方法について説明する。
【００３８】
注目被写体全体にフォーカスを合わせるためには、注目被写体の最小深度値と最大深度値が共に被写界深度内に含まれるという条件を満たす必要がある。被写界深度は、近点距離（撮像部から手前側の被写界深度端までの距離）から遠点距離（撮像部から奥側の被写界深度端までの距離）までの範囲である。近点距離はＤｆで表し、遠点距離はＤｂで表すとすれば、上記条件は、近点距離Ｄｆが最小深度値以下であり、かつ遠点距離Ｄｂが最大深度値以上であるという条件と同等とみなす。なお、本ステップで決定されるＦ値はαで表す。Ｆ値αの決定には、近点距離Ｄｆおよび遠点距離Ｄｂと合焦距離ｄおよびＦ値αとの関係を定義する以下の式（１）および式（２）が用いられる。
【００３９】
【数１】
2014216674.tif 000003
【００４０】
ここで、ｆはレンズの焦点距離を表している。εは許容錯乱円の直径を表しており、どのくらいまでの大きさのボケを許容するかを示す値である。許容錯乱円の直径εは、例えば、０．０２ｍｍという値を用いることができる。
【００４１】
もう一つの条件として、Ｆ値はできるだけ小さいことが望ましい。その原因は、Ｆ値が小さいほど、後述するステップＳ１１０３で決定される撮像条件は、ＩＳＯ感度が低く、シャッター速度が速いものとなり、ノイズと被写体ぶれの少ない撮像画像を得られるからである。
【００４２】
これらの条件を満たすようなＦ値を決定する。具体的には、式（１）、（２）を式変形して以下の式（３）、（４）を得る。
【００４３】
【数２】
2014216674.tif 000004
【００４４】
式（３）から、近点距離Ｄｆが最小深度値以下となるような最小のＦ値は、最小深度値を式（３）の近点距離Ｄｆに代入して算出されるαであることが分かる。一方、式（４）から、遠点距離Ｄｂが最大深度値以上となるような最小のＦ値は、最大深度値を式（４）の遠点距離Ｄｂに代入して算出されるαであることが分かる。よって、近点距離Ｄｆが最小深度値以下となり、かつ遠点距離Ｄｂが最大深度値以上となるような最小のＦ値は、式（３）、（４）から算出されるαのうち、大きい方のαである。また、Ｆ値の算出方法は、これに限定されず、既存の最適化技術を用いて、式（１）、（２）を満たす最小のＦ値を算出してもよい。
【００４５】
ステップＳ１１０３において、撮像条件決定部３０４がその他撮像条件を決定する。その他撮像条件は、ＩＳＯ感度とシャッター速度を含む。ＩＳＯ感度とシャッター速度は、既存のＡＥ（自動露出）処理で決定することができる。なお、ＩＳＯ感度とシャッター速度のどちらを優先的に決定するかは任意である。例えば、ＩＳＯ感度とシャッター速度のうち片方の値をユーザーにあらかじめ設定させ、その設定において適正な露出となるように、もう片方の値を決定すればよい。あるいは、ノイズと被写体ぶれのバランスを考慮して、ＩＳＯ感度とシャッター速度の両方を撮像条件決定部３０４が決定してもよい。
【００４６】
撮像条件決定部３０４は、上記ステップＳ１１０１〜Ｓ１１０３の処理を撮像部１０１〜１０８それぞれについて行う。それによって、注目被写体指定情報によって指定された注目被写体全体に対して撮像部１０１〜１０８それぞれがフォーカスを合わせるような撮像条件が決定される。
【００４７】
以上説明した処理制御を行うことで、複数の撮像装置が複数の被写体を異なる方向から撮像する場合でも、複数の被写体の中の注目被写体全体に対して、各撮像装置がフォーカスを合わせることができる。また、注目被写体の形状情報に基づいて撮像条件を決定するため、注目被写体の全体がぎりぎり被写界深度内に入るようなＦ値を決定することができる。このことにより、ＩＳＯ感度は低く、シャッター速度は速い撮像条件が決定されるため、ノイズと被写体ぶれの少ない撮像処理が可能となる。
【００４８】
［実施例２］
実施例１では、被写体の形状情報として、各被写体点を撮像部１０１〜１０８から見た時の深度値を取得し、取得した深度値を用いて撮像部１０１〜１０８の撮像条件を決定する。本実施例においては、被写体の形状情報として、深度値と後述するビジビリティ情報を取得し、取得した深度値とビジビリティ情報を用いて撮像部１０１〜１０８の撮像条件を決定する。なお、実施例１と同じ処理については説明を省略する。
【００４９】
図１４は、本実施例における形状情報取得部３０１がステップＳ４０１で取得した被写体の形状情報の例を示す図である。本実施例における形状情報は、図１４に示すように、被写体点の識別番号、各被写体点を撮像部１０１〜１０８から見た時の深度値、及びビジビリティ情報を含む。ビジビリティ情報は、撮像部から各被写体点が見えているか否かの情報である。ビジビリティ情報は、形状情報推定部３０７における形状推定処理中に算出することができる。例えば、図５の例では、対応点５１１と対応点５１２の対応から被写体点５１０の三次元座標を算出しており、被写体点５１０が撮像画像５０１と撮像画像５０２に写っていることが分かる。つまり、被写体点５１０は、撮像画像５０１を撮像した撮像部と撮像画像５０２を撮像した撮像部から見えていることが分かる。
【００５０】
図７を用いて、本実施例における注目被写体形状情報抽出部３０３の処理の詳細を説明する。なお、ステップＳ７０１、Ｓ７０２の処理は実施例１と同一であるため、説明を省略する。
【００５１】
ステップＳ７０３において、注目被写体形状情報抽出部３０３が注目被写体の形状情報を抽出する。本実施例では、注目被写体のうち、各撮像部から見えている（図１４において、ビジビリティがＯＮである）被写体点の形状情報のみを注目被写体形状情報として抽出する。例えば、ステップＳ４０１で取得した形状情報が図１４で示され、そのうち、識別番号２、４、５、９、１１、１２の被写体点が注目被写体として抽出された場合、図１５に示す注目被写体形状情報が抽出される。図１５に示すように、撮像部１０１に関して、識別番号５、９、１１の被写体点の形状情報が抽出され、撮像部１０２に関して、識別番号２、４、５の被写体点の形状情報が抽出され、撮像部１０３に関して、識別番号２、９の被写体点の形状情報が抽出される。
【００５２】
以上により、注目被写体を構成する被写体点のうち、各撮像部から見えている被写体点にのみフォーカスを合わせることができる。見えていない被写体点を被写界深度から除くことで、各撮像部が注目被写体の見えている部分全体にフォーカスを合わせながら、よりＦ値の小さい撮像条件を決定することができる。Ｆ値が小さくなることによって、ＩＳＯ感度はより小さく、シャッター速度はより早くなるため、よりノイズと被写体ブレの少ない撮像画像を得られる。
【００５３】
（その他の実施例）
本発明は各実施例で説明した搬送路形態を有する画像形成装置に限定されない。つまり、裏紙を原稿とする原稿画像を読み取り、読み取った原稿画像データに基づいて余白領域を判定し、その余白領域に印刷内容に対応する画像を形成可能な画像形成装置であれば、いずれの形態であっても本発明を適用することができる。
【００５４】
また、本実施例ではオンプリント処理における裏紙印刷について説明したが、他の形態の印刷処理において適用することも可能である。例えば、記録紙を給紙する給紙部近傍に画像読取部を設ける構成を採用してもよい。そして、給紙部に裏紙を格納する形態であってもよい。
【００５５】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【図１】
2014216674.tif 000005
【図２】
2014216674.tif 000006
【図３】
2014216674.tif 000007
【図４】
2014216674.tif 000008
【図５】
2014216674.tif 000009
【図６】
2014216674.tif 000010
【図７】
2014216674.tif 000011
【図８】
2014216674.tif 000012
【図９】
2014216674.tif 000013
【図１０】
2014216674.tif 000014
【図１１】
2014216674.tif 000015
【図１２】
2014216674.tif 000016
【図１３】
2014216674.tif 000017
【図１４】
2014216674.tif 000018
【図１５】
2014216674.tif 000019