(57)【要約】【課題】画像データに対応する撮影画角が広角である場合であっても、効果的に奥行き感を持たせた立体画像データを生成することができる画像処理装置を提供する。【解決手段】画像データに対応する立体画像データを生成するデジタルカメラ１００を設ける。デジタルカメラ１００は、画像データと、画像データに対応する被写体の奥行き方向の深さを示す深度情報とを取得する。また、デジタルカメラ１００は、画像データに対応する撮影情報に応じて、立体画像データの背景面を設定する。そして、デジタルカメラ１００は、設定した背景面を用いて、画像データと前記深度情報とに基づいて、立体画像データを生成する。【選択図】図１
2018081534.tif 000002
【特許請求の範囲】
【請求項１】
画像データに対応する立体画像データを生成する画像処理装置であって、
前記画像データと、前記画像データに対応する被写体の奥行き方向の深さを示す深度情報とを取得する第１の取得手段と、
前記画像データに対応する撮影画角に応じて、前記立体画像データの背景面を設定する設定手段と、
前記背景面を用いて、前記画像データと前記深度情報とに基づいて、前記立体画像データを生成する生成手段とを備える
ことを特徴とする画像処理装置。
【請求項２】
前記撮影情報を取得する第２の取得手段と、
前記撮影情報に基づいて、前記撮影画角を算出する算出手段とを備え、
前記設定手段は、前記算出された撮影画角に応じて、前記背景面を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の取得手段は、前記撮影情報として、撮像素子のサイズ、焦点距離、またはレンズ特性のうちの少なくともいずれかを取得する
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記設定手段は、
前記撮影画角が閾値より大きいかを判断し、
前記撮影画角が前記閾値より大きい場合に、前記背景面を曲面に設定する
ことを特徴とする請求項２または請求項３に記載の画像処理装置。
【請求項５】
前記設定手段は、前記撮影画角が前記閾値以下である場合に、前記背景面を平面に設定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記生成手段は、前記背景面から、前記画像データの領域毎に前記深度情報が示す深さに応じた奥行きを付けることによって、前記立体画像データを生成する
ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記生成手段は、前記画像データに対応する被写体を、前記深度情報が示す深さに応じて、前記背景面から突出させる
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記深度情報は、撮影される複数の視点画像の視差量に基づく像ずれマップ、デフォーカス量に基づくデフォーカスマップ、画像データにおける各被写体の相対的な距離関係を示す距離マップ、またはＴＯＦ法により取得された、被写体までの距離を示す距離情報のうちのいずれかである
ことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項９】
被写体光を光電変換して前記画像データを出力する撮像素子を備える
ことを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置として機能する撮像装置。
【請求項１０】
画像データに対応する立体画像データを生成する画像処理装置の制御方法であって、
前記画像データと、前記画像データに対応する被写体の奥行き方向の深さを示す深度情報とを取得する工程と、
前記画像データに対応する撮影画角に応じて、前記立体画像データの背景面を設定する工程と、
前記背景面を用いて、前記画像データと前記深度情報とに基づいて、前記立体画像データを生成する工程とを有する
ことを特徴とする制御方法。
【請求項１１】
コンピュータを、請求項１乃至７のいずれか１項に記載の画像処理装置が備える各手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置および制御方法に関する。
【背景技術】
【０００２】
樹脂や石膏粉末などの記録材を積層することで立体を造形する装置である３Ｄプリンタが広く普及し始めている。３Ｄプリンタを用いて、撮影画像と、その奥行きを示す距離情報に基づいて、撮影画像を立体的なレリーフ、即ち立体画像を出力する装置やシステムが提案されている。
【０００３】
立体画像を出力する方法として、３Ｄプリンタを用いた方法以外にも、熱膨張性シートを熱変形させることで立体を造形する方法や、型押し印刷やエンボス加工印刷や、レーザー彫刻など様々な方法が考えられる。いずれの出力方法も、出力する立体画像の最大高低差に制約があったり、高低差を付けるほど多くの記録材を積層するので、コストがかかる。特許文献１は、隣り合う複数の被写体の境界線を実際より差が際立つように、被写体ごとの奥行き方向の位置関係を強調して立体出力を行う立体画像出力装置を開示している。また、特許文献２は、立体画像を厚さの上限値に収まるようにして出力する立体画像出力装置を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１３３２０号公報
【特許文献２】特許第４９９８３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
魚眼レンズや焦点距離の短い広角レンズ等の、広い画角で撮影できるレンズを用いた撮影を行う場合を想定する。魚眼レンズ等の広角なレンズを用いて撮影した画像を、従来の立体画像出力装置で出力する場合、撮影範囲が広いので、近距離から遠距離までの奥行き方向に広範囲の被写体を撮影されることが多い。したがって、画像中の領域を全て立体表現するために、多くの記録材を必要とする。また、厚さに上限がある立体画像出力装置では、立体画像に出力しても、立体化される領域が少なく、所望の立体感を得ることができない。本発明は、画像データに対応する撮影画角が広角である場合であっても、効果的に奥行き感を持たせた立体画像データを生成することができる画像処理装置の提供を目的とする。
【課題を解決するための手段】
【０００６】
本発明の一実施形態の画像処理装置は、画像データに対応する立体画像データを生成する画像処理装置であって、前記画像データと、前記画像データに対応する被写体の奥行き方向の深さを示す深度情報とを取得する第１の取得手段と、前記画像データに対応する撮影画角に応じて、前記立体画像データの背景面を設定する設定手段と、前記背景面を用いて、前記画像データと前記深度情報とに基づいて、前記立体画像データを生成する生成手段とを備える。
【発明の効果】
【０００７】
本発明の画像処理装置によれば、画像データに対応する撮影画角が広角である場合であっても、効果的に奥行き感を持たせた立体画像データを生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本実施形態の画像処理装置の構成例を示す図である。
【図２】撮影画像と深度情報とを説明する図である。
【図３】イメージセンササイズと焦点距離と撮影画角との関係を示す図である。
【図４】レンズの特性を説明する図である。
【図５】撮影画角から背景面への変換処理を説明する図である。
【図６】立体画像データの生成処理を説明する図である。
【図７】立体画像データの生成処理を説明するフローチャートである。
【発明を実施するための形態】
【０００９】
図１は、本実施形態の画像処理装置の構成例を示す図である。
本実施形態の画像処理装置は、撮像装置の一例としてのデジタルカメラ１００である。デジタルカメラ１００は、撮像により取得された画像データに対応する立体画像データを生成する機能を有する撮像装置である。デジタルカメラ１００は、内部バス１０２乃至ＬＣＤ１１６を備える。ＬＣＤは、Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌｙの略称である。内部バス１０２は、各ブロックを接続する。システム制御部１０１は、内部バス１０２で接続された各ブロックの制御を行う。
【００１０】
ＦＬＡＳＨメモリコントローラ１０３は、システム制御部１０１に制御されて、ＦＬＡＳＨメモリ１０４に対する不揮発性データの読み書きを行う。システム制御部１０１は、ＦＬＡＳＨメモリ１０４に格納されたプログラムを元に動作し、撮像によって得られた画像データなどの不揮発性データをＦＬＡＳＨメモリ１０４に格納する。ＤＲＡＭコントローラ１０５は、各ブロックからの要求に基づき、ＤＲＡＭ１０６に対するデータの読み書きを行う。ＤＲＡＭは、Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙの略称である。ＤＲＡＭ１０６には、動作中の一時データなどが格納される。
【００１１】
操作部１０７は、ユーザの操作にしたがって、システム制御部１０１に指令を伝える。操作部１０７は、デジタルカメラ１００の外装に設けられたボタン等を有する。撮像部１０８は、被写体を撮影する撮像部である。撮像部１０８は、レンズと、被写体光を光電変換して像信号を出力するＣＣＤやＣＭＯＳ素子等の撮像素子（イメージセンサ）とを有する。ＣＣＤは、Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。撮像部１０８は、システム制御部１０１の制御によって、撮像素子で得られた像信号を画像信号処理部１０９に渡す。また、撮像部１０８は、システム制御部１０１の制御によって、撮像素子で得られた視点の異なる２像（視点画像）の領域毎のピントのずれ量、つまりデフォーカス量を測定する。また、撮像部１０８は、システム制御部１０１の制御にしたがって撮影時の撮影情報を取得する。すなわち、システム制御部１０１は、撮影情報を取得する第２の取得手段として機能する。撮影情報は、撮影時の焦点距離、撮影に用いられたレンズ特性、イメージセンササイズのうちの少なくともいずれかを含む。
【００１２】
画像信号処理部１０９は、システム制御部１０１の指示に基づいて、撮影により得られた画像データをＤＲＡＭ１０６に格納する。また、画像信号処理部１０９は、撮影と同時に、撮像部１０８が測定したデフォーカス量を画像データとともにＤＲＡＭ１０６に格納する。また、画像信号処理部１０９は、画像データを表示用に縮小して、ＤＲＡＭ１０６に設けられた表示用フレームメモリに格納する。
【００１３】
深度情報生成部１１０は、システム制御部１０１の制御にしたがって、ＤＲＡＭ１０６に格納された画像データと、デフォーカス量とに基づき、画像の領域毎の深度情報を生成して、ＤＲＡＭ１０６に格納する。すなわち、システム制御部１０１は、画像データと、画像データに対応する深度情報とを取得する第１の取得手段として機能する。本実施形態において、深度情報は、画像データに対応する被写体の奥行き方向の深さを示す。深度情報には、撮像手段としてのカメラから被写体までの距離（被写体距離）を絶対値として距離値で表わすデータや、画像データにおける相対的な距離関係（画像の深度）を示すデータ（視差量の分布、デフォーカス量の分布等）を含む。
【００１４】
深度情報に関して、さまざまな実施形態がある。つまり、被写体の深さに対応するデータが示す情報は、画像内における撮像装置から被写体までの被写体距離を直接的に表すか、または画像内の被写体の距離（被写体距離）や深さの相対関係を表す情報であればよい。例えば、システム制御部１０１が、合焦位置を変更する制御を行い、撮影された複数の撮像画像データが取得される。それぞれの撮像画像データの合焦領域と、撮像画像データの合焦位置情報から深度情報を取得することができる。この他にも、撮像素子が瞳分割型の画素構成を有する場合、一対の像信号の位相差から各画素に対する深度情報を取得可能である。具体的には、撮像素子は、撮像光学系の異なる瞳部分領域を通過する一対の光束が光学像としてそれぞれ結像したものを電気信号に変換し、対をなす画像データ（視点画像）を複数の光電変換部から出力する。対をなす画像データ間の相関演算によって各領域の像ずれ量が算出され、像ずれ量の分布を表す像ずれマップが算出される。あるいはさらに像ずれ量がデフォーカス量に換算され、デフォーカス量の分布（撮像画像の２次元平面上の分布）を表すデフォーカスマップが生成される。このデフォーカス量を撮像光学系や撮像素子の条件に基づいて被写体距離に換算すると、被写体距離の分布を表す距離マップデータが得られる。像ずれマップデータ、デフォーカスマップデータ、あるいはデフォーカス量から変換される被写体距離の距離マップデータを取得可能である。
【００１５】
また、被写体への投光から反射光を受けるまでの遅延時間を測定して被写体までの距離計測を行うＴＯＦ（Ｔｉｍｅ  Ｏｆ  Ｆｌｉｇｈｔ）法を用いて画像内における撮像装置から被写体までの被写体距離を直接的に取得してもよい。ＴＯＦ法では、投光手段により被写体（対象物）にパルス光を投射して、その反射光を撮像部１０８で受光し、このパルス光の飛行時間（遅れ時間）を測定することで被写体距離（対象物までの距離）を測り、深度情報を取得する。
【００１６】
撮影情報取得部１１１は、撮像部１０８から撮影時の撮影情報を取得し、ＤＲＡＭ１０６に格納する。画角情報生成部１１２は、撮影情報取得部１１１が取得した撮影情報情報に基づいて、記録した撮影画像の撮影範囲（以下、「撮影画角」と記述）を生成する。背景面変換部１１３は、画角情報生成部１１２が生成した撮影画角に基づいて、立体画像データの背景面を設定する。立体画像データ生成部１１４は、ＤＲＡＭ１０６から画像データを取得する。また、立体画像データ生成部１１４は、深度情報生成部１１０が生成した深度情報を取得する。そして、立体画像データ生成部１１４は、システム制御部１０１の制御にしたがって、背景面を用いて、画像データと深度情報とに基づき、立体画像データを生成する。立体画像データの出力先として、外部の３Ｄプリンタなどを接続することで、出力した立体画像データを実体化することができる。
【００１７】
ＬＣＤコントローラ１１５は、ＤＲＡＭ１０６に格納された表示用フレームメモリの内容を読み出して、ＬＣＤ１１６に表示する。なお、図１に示して説明したデジタルカメラ１００の構成は一例であり、以下に説明する動作を実行できるのであれば、デジタルカメラ１００の構成は、図１に示した構成に限定されるものではない。
【００１８】
図２は、撮影画像と深度情報とを説明する図である。
図２に示す例では、深度情報は、距離マップである。図２（Ａ）は、画像を撮影した時の撮影状況を示す図である。被写体として人物２０１が、奥行き方向のｄ１に位置している。１０１は、デジタルカメラ１００の撮影画角を示す。ｚは、カメラの光軸方向を示す。ｙは、地面に垂直の軸を示す。
【００１９】
図２（Ｂ）は、デジタルカメラ１００を用いて、図２（Ｂ）に示す撮影状況により得られた撮影画像２００を示す。人物２０１に加えて、背景には樹木２０２が写っている。ｘは、水平方向を示す。ｙは、垂直方向の軸を示す。
【００２０】
図２（Ｃ）は、図２（Ａ）に示す撮影状況で得られた撮影画像２００に対する距離マップ２２０を示す。深度情報生成部１１０は、例えば、撮像部１０８から取得した画像データの領域毎のデフォーカス量を用いて、距離マップ２２０を生成する。距離マップ２２０においては、色が濃い領域が手前、薄い領域が奥に位置することを示す。カメラに近い、画像の下部分が最も濃く、次いで人物２０１がやや濃い色になっている。本実施形態では、デジタルカメラ１００は、撮影時に、撮影画像２００と、距離マップ２２０を生成するためのデフォーカス量とを取得する。
【００２１】
次に、撮影画像２００と距離マップ２２０とに基づく立体画像データの生成処理について説明する。図２（Ｄ）は、画像の撮影状況と、立体画像データとの関係を示す。２５０は、生成される立体画像データである。図２（Ｄ）に示すように、立体画像データ生成部１１４は、距離マップ２２０に基づいて、人物２０１より遠い領域を立体画像データ２５０の背景面２４０とし、背景面２４０から人物２０１に奥行きを付ける。立体画像データ生成部１１４では、背景面変換部１１３で設定した背景面２４０を用いて、奥行きを付ける。
【００２２】
以下に、図３を参照して、撮影画角の算出処理について説明する。画角情報生成部１１２は、撮影情報取得部１１１で取得した撮影情報をもとに、２つの関係式を用いて、撮影画角を算出する。１つ目の関係式は、焦点距離と撮影画角の関係を示す式である。
【００２３】
図３は、撮影情報に含まれるイメージセンササイズと、焦点距離と、撮影画角との関係を説明する図である。
図３の３０１は撮像部１０８を構成するイメージセンサであり、Ｘはイメージセンサの垂直方向のサイズである。３０２は撮像部１０８を構成するレンズであり、Ｆはレンズからイメージセンサまでの距離を示す焦点距離である。θは撮影画角である。
【００２４】
図３より、撮影画角θと焦点距離Ｆ、イメージセンサ垂直サイズＸは次式で表せる。
ｔａｎ（θ／２）＝Ｘ／（２×Ｆ）  ・・・式１
上記の式１は後述するレンズの特性により、関係式が変化する。式１では一般的なレンズに用いられる、平射影方式の場合の関係式を示している。上記の関係式より、撮影画角θについて表すと次式になり、次式より撮影画角を算出する。
θ＝１８０／π×２ａｒｃｔａｎ（Ｘ／（２×Ｆ））［度］  ・・・式２
画角情報生成部１１２は、水平方向の撮影画角を、垂直方向の撮影画角と同様の算出方法で算出する。
【００２５】
２つ目の関係式は、レンズ特性と撮影画角の関係を示す式である。以下に、レンズの特性と種類について述べる。図４は、レンズの特性を説明する図である。
一般的にレンズの種類は射影方式によって定義される。図４を参照して、射影方式の原理、特に、正射影方式の原理を説明する。半球面Ｇは、レンズによって結像面上に結像される画像の範囲を直径とした仮想球面である。ここで、すべての射影方式において、画像の中心Ｏが球面Ｇの天頂に相当する。そして、画像内の一点Ｐ（これを像点と呼ぶ）に着目する。それぞれの射影方式による画像における中心Ｏからその像点Ｐまでの距離（これを像高と呼ぶ）は入射光の天頂角（入射角と呼ぶ）と特定の関係がある。
【００２６】
像高をｒｐ、入射角をφとしてその関係を数式で表す。
（ａ）等距離射影方式（Ｅｑｕｉｄｉｓｔａｎｔ  Ｐｒｏｊｅｃｔｉｏｎ）
像高ｒｐは、入射角φに比例する。一般的な魚眼レンズに多い。
ｒｐ∝φ  ・・・式３
（ｂ）平射影方式（Ｓｔｅｒｅｏｇｒａｐｈｉｃ  Ｐｒｏｊｅｃｔｉｏｎ）
像高ｒｐは、入射角φの半角の正接に比例する。一般的なレンズに用いられることが多い。
ｒｐ∝ｔａｎ（φ／２）  ・・・式４
（ｃ）等立体角射影方式（Ｅｑｕｉｓｏｌｉｄａｎｇｌｅ  Ｐｒｏｊｅｃｔｉｏｎ）
像高ｒｐは、入射角φの半角の正弦に比例する。
ｒｐ∝ｓｉｎ（φ／２）  ・・・式５
被写体のとる立体角と像の面積とが比例するという特徴があり、画面上の面積を測定することで、被写体の面積比を正しく算出できる。この特徴が、全天の雲量測定や森林の植生分布などの測量に利用される。
（ｄ）正射影方式（Ｏｒｔｈｏｇｒａｐｈｉｃ  Ｐｒｏｊｅｃｔｉｏｎ）
像高ｒｐは、入射角φの正弦に比例する。
ｒｐ∝ｓｉｎφ  ・・・式６
【００２７】
式６で示す関係は、天球をそのままフィルム面、像側に射影したものに等しい。画面に占める面光源の面積が撮影した場所での照度に比例という特徴があり、これより照度測定や建築照明など学術研究用途に利用されることが多い。
式１のイメージセンサ垂直サイズＸ／２は、像高ｒｐの最大値を示しているので、Ｘ／２＝ｒｐに置き換えると、次式となる。
ｒｐ＝Ｆ・ｔａｎ（θ／２）  ・・・式７
式４と同様に、入射角φ、つまり撮影画角θは、レンズ特性である撮影画角θの正接及び、焦点距離Ｆ、イメージセンササイズｒｐによって、撮影画角θが変化することがわかる。像高と入射角には、レンズ特性に合わせて前述したような関係式が成り立つ。画角情報生成部１１２は、撮影情報取得部１１１で取得した撮影情報であるイメージセンササイズと、焦点距離と、レンズ特性とのうち、少なくともいずれか１つに基づいて、撮影画角を算出する。
【００２８】
図５は、背景面変換部による撮影画角から背景面への変換処理を説明する図である。
図５（Ａ）の５０１は、撮影画角を示す。５０２は、水平方向の撮影画角を示す。また、５０３は、垂直方向の撮影画角を示す。５０４は、背景面変換部１１３が変換した背景面を示す。背景面変換部１１３は、撮影画角が閾値より大きい場合に、図５に示すように撮影画角（角度）から平面球面変換を行う。これにより、背景面を曲面に設定する。また、撮影画角が閾値より小さい場合は、背景面を平面に設定する。
【００２９】
平面球面変換について、図５（Ｂ），（Ｃ）を用いて説明する。図５（Ｂ）は、仮想的な球面上に設けられた撮影領域を示す図である。中心Ｏが、撮影時のデジタルカメラ１００の位置である。Ｓは、撮影画角５０１の中心を示す。
【００３０】
図５（Ｃ）は、図５（Ｂ）に示す球面を撮影画角５０１の中心Ｓを通る水平軸上の面で切り出したときの平面図である。図５（Ｃ）のＯは、球の中心を示す。ｒは、球の半径を示す。Ｐは、撮影画角内の座標を示す。三角形ＯＰＳと三角形ＯＰ’Ｓ’とは、相似であり、撮影画角内の点Ｐ（ｘ、ｙ）から球面状の点Ｐ’（ｘ’、ｙ’）を算出することが可能である。背景面変換部１１３は、撮影画角の範囲内で点Ｐ（ｘ、ｙ）を移動させ、球面上の座標点Ｐ’（ｘ’、ｙ’）を算出することで、背景面を球面に変換する。
【００３１】
図６は、背景面に曲面を設定した場合の立体画像データの生成処理を説明する図である。
図６（Ａ）の６００は、撮影画角が１８０度で撮影可能な円周魚眼レンズ（等距離射影方式のレンズ）で撮影した場合に得られる画像データを示す。点６０１は、画像中心であり、デジタルカメラ１００の撮影方向の中心である。円６０２の内部が、円周魚眼レンズを通った光をイメージセンサで取り込んだ領域である。撮影画角が１８０度であるので、円６０２に沿った領域には、デジタルカメラの撮影方向から９０度の領域が撮影されている。また、等距離射影方式のレンズを用いるので、円６０３には６０度の領域が撮影されている。また、円６０４には、３０度の領域が撮影されている。
【００３２】
図６（Ｂ）の６１０は、画像データ６００を用いた立体画像データの背景面を示す。撮影画角が１８０度であるので、背景面６１０は、１８０度の半球となっている。図６（Ｂ）の点６１１は、背景面６１０における図６（Ａ）の点６０１に対応する点である。点６１５は、背景面６１０における図６（Ａ）の点６０５に対応する点である。
【００３３】
点６２０は、背景面６１０の半球の中心であり、デジタルカメラ１００の撮影位置である。点６１１は、画像データ６００の画像中心の点６０１と対応している。したがって、矢印６３０の方向を中心として撮影を行ったことになる。立体画像データ生成部１１４は、背景面６１０上の各領域から中心６２０に向かって、深度情報に基づいて奥行きを付ける。点６１５に対応する領域を例にとると、立体画像データ生成部１１４は、矢印６２５の方向に向かって奥行き付けを行う。これにより、画像データに対応する被写体が、深度情報が示す深さに応じて、背景面から突出する。立体画像データ生成部１１４は、奥行き付けの処理を背景面６１０の全領域に対して行うことで、立体画像データを生成する。
【００３４】
図７は、立体画像データの生成処理を説明するフローチャートである。
ステップＳ７０１において、システム制御部１０１が、撮影画像とデフォーカス量をＤＲＡＭ１０６に格納する。また、撮影情報取得部１１１が、撮像部１０８より撮影情報を取得し、ＤＲＡＭ１０６に格納する。続いて、ステップＳ７０２において、深度情報生成部１１０が、撮影画像に対応する深度情報を生成する。例えば、深度情報生成部１１０は、ステップＳ７０１で取得されたデフォーカス量を用いて、距離マップを生成する。
【００３５】
次に、ステップＳ７０３において、画角情報生成部１１２が、撮影情報取得部１１１によって取得された撮影情報に基づいて、撮影画像に対応する撮影画角を生成する。続いて、ステップＳ７０４において、背景面変換部１１３が、ステップＳ７０３で生成された撮影画角が閾値より大きいかを判断する。撮影画角が閾値より大きい場合は、処理がステップＳ７０５に進む。撮影画角が閾値以下である場合は、処理がステップＳ７０６に進む。続いて、ステップＳ７０５において、背景面変換部１１３が、生成された撮影画角に基づいて、曲面を算出し、立体画像データの背景を算出した曲面として設定する。そして、処理がステップＳ７０７に進む。ステップＳ７０６において、背景面変換部１１３が、立体画像データの背景を平面として設定する。そして、処理がステップＳ７０７に進む。ステップＳ７０７において、立体画像データ生成部１１４が、背景面変換部１１３が設定した背景面を用いて立体画像データを生成する。
【００３６】
なお、本実施形態では、立体画像データを実体として出力する方式として、３Ｄプリンタによる出力方式を採用するが、従来技術で採用している他の方式で立体画像を出力してもよい。また、本発明は、外部で撮影された画像と、その深度情報とを入力して、立体画像データを出力する３Ｄプリンタなどの出力装置や、コンピュータ上のプログラムにも適用可能である。
【００３７】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００３８】
１００  デジタルカメラ
１０１  システム制御部
【図１】
2018081534.tif 000003
【図２】
2018081534.tif 000004
【図３】
2018081534.tif 000005
【図４】
2018081534.tif 000006
【図５】
2018081534.tif 000007
【図６】
2018081534.tif 000008
【図７】
2018081534.tif 000009