(57)【要約】【課題】撮像装置の姿勢を変更しながら被写体を分割撮影する場合に、例えば平面状をなす被写体がたわみや歪みを含んだ形状をしているときにも、ピントの合った範囲が相互に重なるようにして撮影を実行できるようにする。【解決手段】情報処理装置１００は、被写体３を分割撮影するための撮像装置１の姿勢を設定する。姿勢算出部５０３は、撮像装置１の既に決まった第１の姿勢に対して所定の条件を満たす撮像装置１の第２の姿勢を算出する。被写界深度内撮影範囲算出部５０４は、被写体３の形状情報に基づいて、姿勢算出部５０３で算出した第２の姿勢での撮影可能範囲の中で被写界深度内撮影範囲を算出する。姿勢補正部５０５は、被写界深度内撮影範囲算出部５０４で算出した第２の姿勢での被写界深度内撮影範囲が、第１の姿勢での被写界深度内撮影範囲に重なるように、姿勢算出部５０３で算出した第２の姿勢を補正する。【選択図】図５
2020010213.tif 000002
【特許請求の範囲】
【請求項１】
被写体を分割撮影するための撮像装置の姿勢を設定する情報処理装置であって、
前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定する手段を備えたことを特徴とする情報処理装置。
【請求項２】
前記撮像装置の姿勢を設定する手段として、
前記撮像装置の既に決まった第１の姿勢に対して所定の条件を満たす前記撮像装置の第２の姿勢を算出する姿勢算出手段と、
前記被写体の形状情報に基づいて、前記姿勢算出手段で算出した前記第２の姿勢での撮影可能範囲の中で前記被写界深度内撮影範囲を算出する被写界深度内撮影範囲算出手段と、
前記被写界深度内撮影範囲算出手段で算出した前記第２の姿勢での前記被写界深度内撮影範囲が、前記第１の姿勢での前記被写界深度内撮影範囲に重なるように、前記姿勢算出手段で算出した第２の姿勢を補正する姿勢補正手段とを備えたことを特徴とする請求項１に記載の情報処理装置。
【請求項３】
前記被写体の形状情報は、前記被写体の奥行き方向の形状に関する情報であることを特徴とする請求項１又は２に記載の情報処理装置。
【請求項４】
前記被写体の形状情報は、前記被写体の奥行き方向の最凸部と最凹部との差分値であることを特徴とする請求項３に記載の情報処理装置。
【請求項５】
前記被写体の形状情報は、前記被写体のデプス値であることを特徴とする請求項３に記載の情報処理装置。
【請求項６】
前記撮像装置の姿勢としてパン及びチルトそれぞれの回転角を設定することを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
【請求項７】
被写体を分割撮影するための撮像装置の姿勢を設定する撮像装置の姿勢の設定方法であって、
前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定するステップを有することを特徴とする撮像装置の姿勢の設定方法。
【請求項８】
被写体を分割撮影するための撮像装置の姿勢を設定する撮像装置の姿勢の設定方法であって、
前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定する処理をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体を分割撮影するための撮像装置の姿勢を設定する情報処理装置、撮像装置の姿勢の設定方法及びプログラムに関する。
【背景技術】
【０００２】
従来から、絵画や屏風等の美術品を、電動雲台とデジタルカメラを使って分割撮影（対象物を区分けして区分毎に撮影）し、それにより得られた撮影画像を結合することで、超高解像度の画像データとしてデジタルアーカイブする技術が知られている。
分割撮影に関する技術として、例えば特許文献１には、撮影対象の撮影を行う縦横の大きさである撮影範囲の画角を所定角度で分割して前記撮影範囲を区分した分割フレームを生成し、各分割フレーム内の錯乱円径を考慮して、互いのピント範囲が重なる様に各分割フレームをレイアウトする技術が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−１１４５７５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、被写体となる絵画や屏風等の美術品は、厚みを有する平面状をなすが、完全な平面ではなく、たわみや歪みを含んだ形状をしていることがある。
このように完全な平面ではない被写体を分割撮影する場合、特許文献１の手法では、ピント範囲の判定に誤判定が生じ、正しくピント範囲が重なる様に各分割フレームをレイアウトできなくなるおそれがある。
【０００５】
本発明は上記のような点に鑑みてなされたものであり、撮像装置の姿勢を変更しながら被写体を分割撮影する場合に、例えば平面状をなす被写体がたわみや歪みを含んだ形状をしているときにも、ピントの合った範囲が相互に重なるようにして撮影を実行できるようにすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の情報処理装置は、被写体を分割撮影するための撮像装置の姿勢を設定する情報処理装置であって、前記被写体の形状情報に基づいて、前記被写体が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、前記被写体を分割撮影するための前記撮像装置の姿勢を設定する手段を備えたことを特徴とする。
【発明の効果】
【０００７】
本発明によれば、撮像装置の姿勢を変更しながら被写体を分割撮影する場合に、例えば平面状をなす被写体がたわみや歪みを含んだ形状をしているときにも、ピントの合った範囲が相互に重なるようにして撮影を実行することができる。
【図面の簡単な説明】
【０００８】
【図１】第１の実施形態に係る撮影システムの構成を示す図である。
【図２】第１の実施形態に係る情報処理装置のシステム構成図である。
【図３】撮影画像群の一例を示す図である。
【図４】第１の実施形態に係る撮影システムの分割撮影処理の流れを示すフローチャートである。
【図５】第１の実施形態に係る情報処理装置の回転角設定処理に関わる機能構成を示すブロック図である。
【図６】第１の実施形態における回転角設定処理の詳細を示すフローチャートである。
【図７】第１の実施形態における被写体の形状情報を説明するための図である。
【図８】撮影画像群の一例を示す図である。
【図９】第１の実施形態における回転角補正処理を説明するための図である。
【図１０】第２の実施形態における回転角設定処理の詳細を示すフローチャートである。
【図１１】第２の実施形態における回転角補正処理を説明するための図である。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照して、本発明の好適な実施形態について説明する。
［第１の実施形態］
図１は、実施形態に係る撮影システムの構成を示す図である。
電動雲台２に、デジタルカメラ等の撮像装置１が搭載される。電動雲台２は、パン、チルト動作により撮像装置１の姿勢を変更する。被写体３は、例えば絵画や屏風等の美術品であり、厚みを有する平面状をなし、幅Ｗ、高さＨのサイズを持つ。撮像装置１から被写体３までの距離である被写体距離は所定の距離Ｌに設定される。
情報処理装置１００は、電動雲台２及び撮像装置１を制御する装置であり、電動雲台２にパン、チルトの回転角を指定して動作させるための回転動作コマンドや、撮像装置１に撮影を実行させるための撮影コマンドを送信する。
【００１０】
このようにした撮影システムでは、情報処理装置１００の制御下で、電動雲台２により撮像装置１の姿勢を変更しながら、撮像装置１により被写体３を順次分割撮影し、被写体３全体を包含するように撮影画像群を取得する。
図３に、撮影画像群の一例を示す。図中の一の四角が一の撮影画像を表す。この例では、各撮影画像に示す数字の順で、左上から右下に向かってパン、チルトの回転角を変更しながら被写体３を撮影し、１５枚の撮影画像を取得するように分割フレームをレイアウトしている。斜線で示す領域は、相互に隣接する撮影画像間の重複領域である。最終的には、これら撮影画像群に対してレンズ収差補正や重複領域の位置ずれが最小となるような幾何補正処理を施した上で結合処理を行い、１枚の高解像度な画像を生成する。
【００１１】
本実施形態では、以下に詳述するが、被写体３の形状情報である被写体３のマクロな奥行きに基づいて、被写体３が被写界深度に収まる範囲である被写界深度内撮影範囲が相互に重なるように、被写体３を分割撮影するための撮像装置１の姿勢を設定する。被写界深度内撮影範囲はピントの合った撮影範囲となるので、ピントの合った撮影範囲が相互に重なるように撮像装置１の姿勢を設定することができる。
【００１２】
図２を参照して、実施形態に係る情報処理装置１００の構成例を説明する。
ＣＰＵ１０１は、ＲＡＭ１０２をワークメモリとして、ＲＯＭ１０３及びハードディスクドライブ（ＨＤＤ）１０５に格納されたプログラムを実行し、システムバス１１１を介して後述する各構成を制御する。これにより、後述する様々な処理が実行される。ＨＤＤＩ／Ｆ１０４は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、ＨＤＤ１０５や光ディスクドライブ等の二次記憶装置を接続する。ＣＰＵ１０１は、ＨＤＤＩ／Ｆ１０４を介して、ＨＤＤ１０５からのデータ読み出し、及びＨＤＤ１０５へのデータ書き込みが可能である。さらにＣＰＵ１０１は、ＨＤＤ１０５に格納されたデータをＲＡＭ１０２に展開し、同様に、ＲＡＭ１０２に展開されたデータをＨＤＤ１０５に保存することが可能である。そして、ＣＰＵ１０１は、ＲＡＭ１０２に展開したデータをプログラムとみなし、実行することができる。
【００１３】
入力Ｉ／Ｆ１０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスであり、キーボードやマウス等の入力デバイス１０７を接続する。ＣＰＵ１０１は、入力Ｉ／Ｆ１０６を介して入力デバイス１０７からデータを読み込むことが可能である。出力Ｉ／Ｆ１０８は、例えばＤＶＩやＨＤＭＩ（登録商標）等の映像出力インタフェイスであり、液晶ディスプレイ等の出力デバイス１０９を接続する。ＣＰＵ１０１は、出力Ｉ／Ｆ１０８を介して出力デバイス１０９にデータを送り、表示を実行させることができる。撮像装置Ｉ／Ｆ１１０は、例えばＵＳＢ等のシリアルバスインタフェイスであり、撮像装置１を接続する。電動雲台Ｉ／Ｆ１１２は、ＵＳＢ等のシリアルバスインタフェイスであり、電動雲台２を接続する。
【００１４】
次に、図４を参照して、実施形態に係る撮影システムの分割撮影処理の流れを説明する。図４は、実施形態に係る撮影システムの分割撮影処理の流れを示すフローチャートである。
ステップＳ４０１で、情報処理装置１００のＣＰＵ１０１は、被写体３を分割撮影するための撮像装置１の姿勢、具体的には電動雲台２のパン、チルトそれぞれの回転角を設定し、この値をＲＡＭ１０２又はＨＤＤ１０５に記憶する。この回転角設定処理の詳細は後述する。
【００１５】
ステップＳ４０２で、情報処理装置１００のＣＰＵ１０１は、ステップＳ４０１においてＲＡＭ１０２又はＨＤＤ１０５に記憶した回転角の中から未処理の回転角を一つ読み出す。
ステップＳ４０３で、情報処理装置１００のＣＰＵ１０１は、電動雲台Ｉ／Ｆ１１２を通して、ステップＳ４０３において読み出した回転角を回転動作コマンドとともに電動雲台２に送信する。これにより、電動雲台２は、受信した回転角だけパン、チルト動作する。
【００１６】
ステップＳ４０４で、情報処理装置１００のＣＰＵ１０１は、撮像装置Ｉ／Ｆ１１０を通して、撮影コマンドを撮像装置１に送信する。これにより、撮像装置１は、撮影を実行して、撮影画像のデータを撮像装置１内の記憶部に記憶する。
【００１７】
ステップＳ４０５で、情報処理装置１００のＣＰＵ１０１は、撮像装置Ｉ／Ｆ１１０を通して、画像転送コマンドを撮像装置１に送信する。これにより、撮像装置１は、自身の記憶部に記憶する撮影画像のデータを情報処理装置１００に転送する。情報処理装置１００のＣＰＵ１０１は、撮像装置１から転送される撮影画像のデータをＲＡＭ１０２又はＨＤＤ１０５に記憶する。
【００１８】
ステップＳ４０６で、情報処理装置１００のＣＰＵ１０１は、ステップＳ４０１において設定した全ての回転角において撮影が終了したか否かを判定する。撮影が終了していない場合、ステップＳ４０２に戻って処理を継続し、撮影が終了している場合、本処理を終了する。
以上により、電動雲台２のパン、チルトの回転角を設定し、それぞれの回転角における撮影を実行させることができる。このように電動雲台２により撮像装置１の姿勢を変更しながら、撮像装置１により被写体３を順次分割撮影し、被写体３全体を包含するように撮影画像群を取得することができる。
【００１９】
以下、ステップＳ４０１の回転角設定処理の詳細について説明する。
図５は、実施形態に係る情報処理装置１００の回転角設定処理に関わる機能構成を示すブロック図である。
回転角設定処理に関わる機能ブロックとして、被写体情報取得部５０１、撮影パラメータ設定部５０２、姿勢算出部５０３、被写界深度内撮影範囲算出部５０４、姿勢補正部５０５がある。
ＣＰＵ１０１は、ＲＯＭ１０３又はＨＤＤ１０５に格納されたプログラムを読み出してＲＡＭ１０２をワークエリアとして実行することで、図５に示す各機能ブロックとしての役割を果たす。なお、ＣＰＵ１０１が全ての機能ブロックの役割を果たす必要はなく、各機能ブロックに対応する専用の処理回路を設けるようにしてもよい。
【００２０】
図６は、第１の実施形態におけるステップＳ４０１の回転角設定処理の詳細を示すフローチャートである。
ステップＳ６０１で、被写体情報取得部５０１は、入力デバイス１０７により被写体３のサイズ（幅Ｗ、高さＨ）を取得する。なお、被写体３のサイズを入力デバイス１０７により取得するとしたが、ＲＡＭ１０２やＨＤＤ１０５に予め記憶された情報から取得するようにしてもよい。
【００２１】
ステップＳ６０２で、被写体情報取得部５０１は、入力デバイス１０７により被写体距離Ｌを取得する。なお、被写体距離を入力デバイス１０７により取得するとしたが、ＲＡＭ１０２やＨＤＤ１０５に予め記憶された情報から取得するようにしてもよい。
【００２２】
ステップＳ６０３で、撮影パラメータ設定部５０２は、撮像装置１に対してシャッタースピード、Ｆ値、ＩＳＯ感度等を設定する。また、撮影パラメータ設定部５０２は、撮像装置１の撮像センサのサイズや画素数、レンズの焦点距離を取得して、ＲＡＭ１０２やＨＤＤ１０５に記憶する。また、撮影パラメータ設定部５０２は、入力デバイス１０７により相互に隣接する分割フレーム間の重複領域の大きさ（以下、重複量と呼ぶ）を取得する。重複量としては、例えば全ての分割フレームに対して一定の値が予め与えられている。なお、重複量を入力デバイス１０７により取得するとしたが、ＲＡＭ１０２やＨＤＤ１０５に予め記憶された情報から取得するようにしてもよい。
【００２３】
ステップＳ６０４で、被写体情報取得部５０１は、入力デバイス１０７により被写体３のマクロな奥行きを取得する。なお、被写体３のマクロな奥行きを入力デバイス１０７により取得するとしたが、ＲＡＭ１０２やＨＤＤ１０５に予め記憶された情報から取得するようにしてもよい。ここで、被写体３のマクロな奥行きとは、被写体３の奥行き方向の形状に関する情報であり、図７（ａ）、（ｂ）に示すように、被写体３のたわみや歪みを考慮した場合に、どの程度の奥行き範囲に被写体３が収まっているかを示す情報である。図７（ｂ）に示すように、被写体３のマクロな奥行きは、被写体３を真上又は真横から見たときの、被写体の奥行き方向の最凸部と最凹部との差分値ｄとして考えることができる。
【００２４】
ステップＳ６０５で、姿勢算出部５０３は、以後の処理の基準となる基準分割フレームを設定する。例えばパン、チルトの回転角がそれぞれ０度で、撮像装置１が被写体３と正対関係にある状態での撮影可能範囲を基準分割フレームとする。
ステップＳ６０６で、姿勢算出部５０３は、カウンタｉを１に初期化する。
【００２５】
ステップＳ６０７で、姿勢算出部５０３は、ｉ番目の分割フレームに対応するパン、チルトの回転角を算出する。具体的には、既に回転角の決まった隣接分割フレームとの間で、ステップＳ６０３において設定した重複量で重なるように、ｉ番目の分割フレームに対応する回転角を算出する。例えば図８に示すような順で回転角を算出する場合を考える。例えばステップＳ６０５において設定した基準分割フレームを分割フレーム１とする。分割フレーム２に対応する回転角は、既に回転角の決まった隣接分割フレームである分割フレーム１との間で、ステップＳ６０３において設定した重複量で重なるように算出される。また、分割フレーム６に対応する回転角は、既に回転角の決まった隣接分割フレームである分割フレーム２及び分割フレーム４との間で、ステップＳ６０３において設定した重複量で重なるように算出される。このように姿勢算出部５０３は、撮像装置１の既に決まった第１の姿勢に対して所定の条件を満たす撮像装置１の第２の姿勢を算出し、本発明でいう姿勢算出手段として機能する。
【００２６】
ステップＳ６０８で、姿勢算出部５０３は、ステップＳ６０７において算出した回転角において撮影可能な範囲である撮影可能範囲９０１を算出する。図９は、回転角補正処理を説明するための図であり、パンの回転角θnと撮影可能範囲９０１との関係の例を示す。図９では、説明を簡略化するためにパン方向のみに着目するが、チルト方向についても同様である。撮影可能範囲９０１は、撮像装置１の撮像センサのサイズとレンズの焦点距離から計算される画角ω、被写体距離Ｌ、被写体３のマクロな奥行きｄ、及び回転角θnを用いて算出することができる。その際、被写体３の全体が厚みｄを持った平面であると仮定し、被写体距離を（Ｌ−ｄ／２）として撮影可能範囲９０１を算出する。図９に示すように、回転角θnが大きくなるほど、撮影可能範囲９０１が広がる傾向にある。
【００２７】
ステップＳ６０９で、被写界深度内撮影範囲算出部５０４は、ステップＳ６０８において算出した撮影可能範囲９０１の中で被写界深度内撮影範囲９０２を算出する。被写界深度内撮影範囲９０２は、撮影可能範囲９０１の中のピントの合った撮影範囲となる。被写界深度ｓは、式（１）により計算される。
【００２８】
【数１】
2020010213.tif 000003
【００２９】
ここで、ｆmainはレンズの焦点距離、Δｘは許容錯乱円径、ＦはレンズのＦ値、ｓfocusはフォーカス距離であり、ステップＳ６０３において設定した撮影パラメータに基づいて計算することができる。そして、被写体距離が（Ｌ±ｄ／２）であるとして、前方被写界深度ｓ1及び後方被写界深度ｓ2から被写界深度内撮影範囲９０２を算出する。図９に、パンの回転角θnと被写界深度内撮影範囲９０２との関係の例を示す。回転角θnが大きくなるほど、撮影可能範囲９０１に対する被写界深度内撮影範囲９０２の割合が小さくなる傾向にある。このように被写界深度内撮影範囲算出部５０４は、被写体３のマクロな奥行きに基づいて、姿勢算出部５０３で算出した第２の姿勢での撮影可能範囲の中で被写界深度内撮影範囲を算出し、本発明でいう被写界深度内撮影範囲算出手段として機能する。
【００３０】
ステップＳ６１０で、姿勢補正部５０５は、ステップＳ６０７において算出したパン、チルトの回転角の補正を行う。ここでは、ステップＳ６０９において算出した被写界深度内撮影範囲９０２が、既に回転角の決まった隣接分割フレームにおいて同様に算出された被写界深度内撮影範囲９０２との間で、ステップＳ６０３において設定した重複量で重なるように回転角を補正する。補正後の回転角θn’は、式（２）によって算出される。
【００３１】
【数２】
2020010213.tif 000004
【００３２】
ここで、ｘは被写界深度内撮影範囲９０２の移動量であり、被写界深度内撮影範囲９０２を、既に回転角の決まった隣接分割フレームの被写界深度内撮影範囲９０２との間で、予め設定された重複量で重なるようにするための移動量を示す。図９に、移動量ｘの例を示す。既述したように、回転角θnが大きくなるほど、撮影可能範囲９０１に対する被写界深度内撮影範囲９０２の割合が小さくなる傾向にあるので、回転角θnが大きくなるほど、その補正量は大きくなる。結果として、図８に示すように被写体３の中央部分から分割撮影を始めた場合、外側に行くに従って回転角のステップが細かくなり、撮影枚数が多くなる。ここではパン方向のみについて示したが、チルト方向も同様に計算することができる。ここで算出した回転角θn’を現在処理しているｉ番目の分割フレームに対応する回転角としてＲＡＭ１０２やＨＤＤ１０５に記憶する。このように姿勢補正部５０５は、被写界深度内撮影範囲算出部５０４で算出した第２の姿勢での被写界深度内撮影範囲が、第１の姿勢での被写界深度内撮影範囲に重なるように、姿勢算出部５０３で算出した第２の姿勢を補正し、本発明でいう姿勢補正手段として機能する。
【００３３】
ステップＳ６１１で、姿勢算出部５０３は、終端条件に至ったか否かを判定する。終端条件は、被写体３のサイズに応じて定められる。終端条件に至っていない場合、ステップＳ６１２に進み、終端条件に至った場合、本処理を終了する。
ステップＳ６１２で、姿勢算出部５０３は、カウンタｉをインクリメントして、ステップＳ６０７に戻る。
【００３４】
以上のように、平面状をなす被写体３がたわみや歪みを含んだ形状をしているときにも、被写体３のマクロな奥行きに基づいて、ピントの合った範囲である被写界深度内撮影範囲９０２が相互に重なるように分割フレームをレイアウトして、撮影を実行することができる。
【００３５】
なお、本実施形態では、ステップＳ４０１において全ての分割フレームに対応する回転角を設定してから、ステップＳ４０４において撮影を実行する例を説明したが、例えば回転角を都度決めながら撮影を実行するようにしてもよい。
また、重複量は、全ての分割フレームに対して一定の値としたが、例えば被写体の撮影位置に応じて変化させるようにしてもよい。
また、回転角の補正について、式（２）に従う方法を説明したが、例えば回転角を少しずつ変更しながら被写界深度内撮影範囲を算出し、目的の回転角に補正する方法を利用することも可能である。
【００３６】
［第２の実施形態］
第１の実施形態では、被写体３の形状情報として被写体３のマクロな奥行きを利用したのに対して、第２の実施形態では、被写体３の形状情報として被写体３のデプス値を利用する形態を説明する。なお、撮像装置１、電動雲台２、及び情報処理装置１００の構成、及び図４のフローチャートを含む基本的な処理については第１の実施形態と同様であり、以下では、第１の実施形態との相違点となる回転角設定処理を中心に説明する。
【００３７】
図１０は、第２の実施形態におけるステップＳ４０１の回転角設定処理の詳細を示すフローチャートである。
ステップＳ１００１〜ステップＳ１００３は、図６のステップＳ６０１〜ステップＳ６０３と同様の処理であり、ここではその説明を省略する。
ステップＳ１００４で、被写体情報取得部５０１は、例えばＨＤＤ１０５に予め記憶された被写体３のデプスマップを取得する。ここで、デプスマップとは、各撮影画素に対応するデプス値を表すものであり、例えば撮像装置１と同じ場所からレーザスキャナ等で測定した被写体３の各位置における距離情報を示す。なお、デプスマップの取得方法はこれに限らず、様々な手法を適用することが可能である。例えば被写体のある位置の奥行きに対する相対的な奥行きとして被写体全体のデプス情報を保持しておいて、撮像装置と被写体の位置関係から絶対的な距離情報に変換するようにしてもよい。
【００３８】
ステップＳ１００５〜ステップＳ１００７は、図６のステップＳ６０５〜ステップＳ６０７と同様の処理であり、ここではその説明を省略する。
ステップＳ１００８で、姿勢算出部５０３は、ステップＳ１１０７において算出した回転角において撮影可能な撮影可能範囲１１０１を算出する。図１１は、回転角補正処理を説明するための図であり、パンの回転角θnと撮影可能範囲１１０１との関係の例を示す。図１１では、説明を簡略化するためにパン方向のみに着目するが、チルト方向についても同様である。撮影可能範囲１１０１は、撮像装置１の撮像センサのサイズとレンズの焦点距離から計算される画角ω、被写体距離Ｌ、及び回転角θnを用いて算出することができる。図１１に示すように、回転角θnが大きくなるほど、撮影可能範囲１１０１が広がる傾向にある。
【００３９】
ステップＳ１００９で、被写界深度内撮影範囲算出部５０４は、ステップＳ１００４において取得したデプスマップから撮影可能範囲１１０１に対応するデプス値を取得する。図１１に、撮影可能範囲１１０１に対応するデプス値のイメージを示す。
【００４０】
ステップＳ１０１０で、被写界深度内撮影範囲算出部５０４は、ステップ１００８において算出した撮影可能範囲１１０１の中で被写界深度内撮影範囲１１０２を算出する。各撮影画素に対応するデプス値を参照して被写体３までの距離を取得し、それが前方被写界深度ｓ1と後方被写界深度ｓ2の間に入っているかを確認することで被写界深度内撮影範囲１１０２を算出することができる。なお、被写界深度ｓは、式（１）により計算される。図１１に、パンの回転角θnと被写界深度内撮影範囲１１０２との関係の例を示す。回転角θnが大きくなるほど、撮影可能範囲１１０１に対する被写界深度内撮影範囲１１０２の割合が小さくなる傾向にある。
【００４１】
ステップＳ１０１１〜ステップＳ１０１３は、図６のステップＳ６１０〜ステップＳ６１２と同様の処理であり、ここではその説明を省略する。
以上のように、平面状をなす被写体３がたわみや歪みを含んだ形状をしているときにも、被写体３のデプス値に基づいて、ピントの合った範囲である被写界深度内撮影範囲１１０２が相互に重なるように分割フレームをレイアウトして、撮影を実行することができる。
【００４２】
以上、本発明を実施形態と共に説明したが、上記実施形態は本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００４３】
１：撮像装置、２：電動雲台、３：被写体、１００：情報処理装置、５０１：被写体情報取得部、５０２：撮影パラメータ設定部、５０３：姿勢算出部、５０４：被写界深度内撮影範囲算出部、５０５：姿勢補正部
【図１】
2020010213.tif 000005
【図２】
2020010213.tif 000006
【図３】
2020010213.tif 000007
【図４】
2020010213.tif 000008
【図５】
2020010213.tif 000009
【図６】
2020010213.tif 000010
【図７】
2020010213.tif 000011
【図８】
2020010213.tif 000012
【図９】
2020010213.tif 000013
【図１０】
2020010213.tif 000014
【図１１】
2020010213.tif 000015