(57)【要約】【課題】被写体が写った画像を効率的に立体画像として出力可能とする。【解決手段】立体画像生成装置であって、被写体を撮像して得られた画像を、前記被写体に関する距離情報に基づき変換して立体画像を生成する生成手段であって、前記画像の各画素を前記距離情報に基づき奥行き方向に配置して生成されたデータにおいて、前記奥行き方向に所定の傾きを有する互いに平行な背景面と前景面とを、前記被写体を構成する画素を挟むように設定し、前記データにおいて前記背景面よりも奥行き方向で後方に位置する画素を前記背景面に投影することにより前記立体画像を生成する生成手段を備える。【選択図】図１
2016131297.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮像して得られた画像を、前記被写体に関する距離情報に基づき変換して立体画像を生成する生成手段であって、
前記画像の各画素を前記距離情報に基づき奥行き方向に配置して生成されたデータにおいて、前記奥行き方向に所定の傾きを有する互いに平行な背景面と前景面とを、前記被写体を構成する画素を挟むように設定し、
前記データにおいて前記背景面よりも奥行き方向で後方に位置する画素を前記背景面に投影することにより前記立体画像を生成する
生成手段を備えることを特徴とする立体画像生成装置。
【請求項２】
前記生成手段は、前記データにおいて前記前景面よりも奥行き方向で前方に位置する画素を前記前景面に投影することにより前記立体画像を生成することを特徴とする請求項１に記載の立体画像生成装置。
【請求項３】
前記画像が複数の被写体を含む場合、前記生成手段は、少なくとも１つの被写体を構成する画素が前記背景面と前記前景面とに挟まれるように、前記背景面と前記前景面とを設定することを特徴とする請求項１又は２に記載の立体画像生成装置。
【請求項４】
前記生成手段は、前記画像から検出された前記被写体の特徴領域に基づき、前記背景面と前記前景面とを設定することを特徴とする請求項１乃至３のいずれか１項に記載の立体画像生成装置。
【請求項５】
前記特徴領域は領域の大きさに応じた奥行きを有し、前記生成手段は、前記特徴領域の奥行きの少なくとも一部が前記背景面と前記前景面とに挟まれた空間内に含まれるように、前記背景面と前記前景面とを設定することを特徴とする請求項４に記載の立体画像生成装置。
【請求項６】
前記生成手段は、前記被写体を構成する画素と前記背景面とを接続する奥行き領域が、前記背景面と直交するように前記立体画像を生成することを特徴とする請求項１乃至５のいずれか１項に記載の立体画像生成装置。
【請求項７】
前記生成手段は、前記背景面における前記奥行き領域が接している領域のうち、前記被写体を構成する画素を前記背景面に投影した領域と重ならない部分について、前記背景面に投影された周辺画素の情報により補間することを特徴とする請求項６に記載の立体画像生成装置。
【請求項８】
前記生成手段は、前記傾きに応じて前記背景面を縮小することを特徴とする請求項１乃至７のいずれか１項に記載の立体画像生成装置。
【請求項９】
被写体を撮像し、前記画像を生成する撮像手段と、
前記距離情報を生成する距離情報生成手段と、
前記撮像手段が撮像した画像をプレビュー表示する表示手段と
を更に備え、
前記表示手段は、前記生成手段が前記画像を立体画像に変換した場合に、該画像において立体表示される領域と前記背景面に投影される領域とを識別可能に表示することを特徴とする請求項１乃至８のいずれか１項に記載の立体画像生成装置。
【請求項１０】
前記立体画像を出力する出力手段を更に備えることを特徴とする請求項１乃至９のいずれか１項に記載の立体画像生成装置。
【請求項１１】
前記所定の傾きは、前記立体画像の出力結果を設置する際の設置角度に基づき決定されることを特徴とする請求項１乃至１０のいずれか１項に記載の立体画像生成装置。
【請求項１２】
前記傾きは、前記立体画像の奥行き方向に直交する平面に対する傾きであることを特徴とする請求項１乃至１１のいずれか１項に記載の立体画像生成装置。
【請求項１３】
前記背景面と前記前景面との距離は、前記立体画像を出力する際の最大高低差に基づくことを特徴とする請求項１乃至１２のいずれか１項に記載の立体画像生成装置。
【請求項１４】
被写体を撮像して得られた画像を、前記被写体に関する距離情報に基づき変換して立体画像を生成する立体画像生成方法であって、
前記画像の各画素を前記距離情報に基づき奥行き方向に配置して生成されたデータにおいて、前記奥行き方向に所定の傾きを有する互いに平行な背景面と前景面とを、前記被写体を構成する画素を挟むように設定する工程と、
前記データにおいて前記背景面よりも奥行き方向で後方に位置する画素を前記背景面に投影することにより前記立体画像を生成する工程と
を有することを特徴とする立体画像生成方法。
【請求項１５】
コンピュータを請求項１乃至１３のいずれか１項に記載の生成手段として機能させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、立体画像生成装置及び、立体画像生成方法及びプログラムに関する。
【背景技術】
【０００２】
近年、３Ｄプリンタが広く普及し始めている。３Ｄプリンタは樹脂や石膏粉末などの記録材を積層することで立体を造形する装置である。これを用いて、撮影画像と、その奥行きを示す距離情報とを元に、撮影画像を立体的なレリーフ、即ち立体画像を出力する装置やシステムが提供されるようになった。
【０００３】
こうした立体画像は、従来の平面的な写真に代えて、室内などで鑑賞用に用いられる。写真を飾る場合は、写真立てに入れ、スタンドや壁で支持して斜めに傾けられることが多い。立体画像も同様に、斜めに傾けて飾ることができれば、見やすく、かつ、倒れにくくすることができる。
【０００４】
また、こうした立体画像を出力する方法には、３Ｄプリンタ以外にも、熱膨張性シートを熱変形させることで立体を造形する方法や、型押し印刷やエンボス加工印刷や、レーザー彫刻など様々なものがある。いずれの出力方法も、出力する立体画像の最大高低差に制約があったり、高低差を付けるほど多くの記録材を積層するためコストがかかるといった特徴がある。
【０００５】
例えば、背の低い人物が手前に、背の高い人物が奥にいるような典型的な撮影画像を立体化する場合、最大高低差の範囲内でそれぞれの人物に奥行きを付けることになる。よって、人物の立体感だけでなく人物の位置関係を出すためにも高低差が利用されることになるので、各人物の立体感が薄れてしまう。
【０００６】
特許文献１の装置では、入力された画像を線画にして、被写体の距離情報に対応する厚さの立体層を媒体に形成する際に、上部を厚く、下部に向かうに従って薄くなるよう立体化することで、立体感を強調している。また、特許文献２の装置では、最大高低差に制約がある立体画像の出力方法において、画素毎の高さを最大高低差で除して、その剰余に画素の高さを置き換えて、立体画像を出力することで、最大高低差の制約を満たしている。特許文献３の装置では、粉体材料を記録材とする３Ｄプリンタにおいて、出力したい本体を囲う枠体を同時に出力することで、枠体の外の記録材を不要としている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２０１３−１５７５９７号公報
【特許文献２】特開２００９−１９９２３０号公報
【特許文献３】特開２０１１−１５６７８３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
しかしながら、特許文献１は入力画像を線画とするため、被写体の立体的な形状を十分に表現できない場合がある。また、下部に向かうほど薄くなることで、被写体の本来の立体的な形状が表現できない場合がある。特許文献２の装置では、撮影画像の光軸方向の高さがなだらかに変化する領域が、最大高低差で割り切れる毎に高さがノコギリ状に変化してしまうので、人物などの被写体を立体的に表現すると見た目の違和感が大きい立体画像となってしまう。特許文献３の装置では、ｚ軸方向に対しては、入力された画像と距離情報が持つ高低差の記録材をそのまま積層するので、高低差が大きい場合には大量の記録材が必要になってしまう。
【０００９】
そこで本発明では、被写体が写った画像を効率的に立体画像として出力可能とする。
【課題を解決するための手段】
【００１０】
上記課題を解決するための本発明は、立体画像生成装置であって、
被写体を撮像して得られた画像を、前記被写体に関する距離情報に基づき変換して立体画像を生成する生成手段であって、
前記画像の各画素を前記距離情報に基づき奥行き方向に配置して生成されたデータにおいて、前記奥行き方向に所定の傾きを有する互いに平行な背景面と前景面とを、前記被写体を構成する画素を挟むように設定し、
前記データにおいて前記背景面よりも奥行き方向で後方に位置する画素を前記背景面に投影することにより前記立体画像を生成する生成手段を備える。
【発明の効果】
【００１１】
本発明によれば、被写体が写った画像を効率的に立体画像として出力できる。
【図面の簡単な説明】
【００１２】
【図１】発明の実施形態１に対応する立体画像生成装置の構成例を示す図。
【図２】発明の実施形態１に対応する立体画像生成のための条件を設定する方法、及び、立体画像撮影時のプレビュー画面の一例を説明するための図。
【図３】発明の実施形態に対応する撮影画像と距離情報とを説明するための図。
【図４】発明の実施形態１に対応する立体画像の生成処理の一例を示すフローチャート及び生成処理を説明するための図。
【図５】発明の実施形態２に対応する画像撮影時のプレビュー画面の一例を示す図。
【図６】発明の実施形態３に対応する立体画像生成装置の構成例を示す図。
【図７】発明の実施形態３に対応する立体画像の生成処理の一例を示すフローチャート。
【図８】発明の実施形態３に対応する立体画像の生成処理を説明するための図。
【図９】発明の実施形態４に対応する立体画像の見え方を説明するための図。
【図１０】発明の実施形態４に対応する立体画像の生成処理を説明するための図。
【図１１】発明の実施形態４に対応する背景面の処理の一例を説明するための図。
【発明を実施するための形態】
【００１３】
［実施形態１］
発明の第１の実施形態として、立体画像データ出力機能を有する立体画像生成装置を説明する。まず、図１を参照して、発明の実施形態に対応する立体画像生成装置の構成例を説明する。発明の実施形態に対応する装置は、たとえばデジタルカメラとして構成される。それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、デジタルビデオカメラなどの任意の情報処理端末或いは撮像装置とすることができる。なお、本発明の実施形態に対応する立体画像生成処理は、撮影画像と、該画像に含まれる被写体の距離情報が用意できればよいので、係る情報が得られるのであれば立体画像生成装置は必ずしも撮影機能及び測距機能を有していなくても良い。その場合、外部で撮影された画像と、その距離情報の入力に基づき立体画像を出力する３Ｄプリンタなどの出力装置やコンピュータ上のプログラムとして構成されても良い。
【００１４】
図１（ａ）において、デジタルカメラ１００は、以下の構成を有する。なお、デジタルカメラ１００において、撮像素子、表示素子のような物理的デバイスを除き、各ブロックは専用ロジック回路やメモリを用いてハードウェア的に構成されてもよい。或いは、メモリに記憶されている処理プログラムをＣＰＵ等のコンピュータが実行することにより、ソフトウェア的に構成されてもよい。
【００１５】
制御部１０１は、内部バス１０２で接続された各ブロックの制御を行う。ＦＬＡＳＨメモリコントローラ１０３は制御部１０１からの要求に基づき、ＦＬＡＳＨメモリ１０４に対する不揮発性データの読み書きを行う。制御部１０１はＦＬＡＳＨメモリ１０４に格納されたプログラムを元に動作し、撮影した画像などの不揮発性のデータをＦＬＡＳＨメモリ１０４に格納する。
【００１６】
ＤＲＡＭコントローラ１０５は、各ブロックからの要求に基づきＤＲＡＭ１０６に対するデータの読み書きを行う。制御部１０１や各ブロックは、動作中の一時データなどをＤＲＡＭ１０６に格納して用いる。操作部１０７はデジタルカメラ１００の外装に設けられたシャッターボタン等で構成され、使用者のボタン操作を、制御部１０１へ伝える。カメラ信号処理部１０８は制御部１０１の指示に基づき、カメラ１０９を制御して被写体を撮影して、得られた画像データをＤＲＡＭ１０６に格納する。
【００１７】
本実施形態のカメラ１０９は、複数の視差画像を一度の撮影（露光）で取得することができる。このようなカメラとしてはステレオカメラの様な多眼カメラを代表としてさまざまなものが知られているが、本実施形態では、撮像素子が受光面上に撮像レンズの射出瞳を分割するマイクロレンズアレイ（以下、ＭＬＡ）を備えている。図１（ｂ）は撮像素子４をカメラ１の正面および側方から見た状態を模式的に示している。撮像素子４が有する画素群１４３の受光面上にはＭＬＡ１４１が形成され、画素群１４３を構成する各画素は、図１（ｃ）に示すように、一つのマイクロレンズ１４２と二つのフォトダイオード（光電変換領域）１４３ａ、１４３ｂで構成される。
【００１８】
また図１（ｃ）は撮像レンズ２の射出瞳１４４を概念的に示しており、Ａ像瞳１４５ａとＡピクセル１４３ａ、Ｂ像瞳１４５ｂとＢピクセル１４３ｂは、それぞれマイクロレンズ１４２により共役の関係を有する。従って、撮像素子の各画素は瞳分割機能を有し、Ａピクセル１４３ａには射出瞳１４４の右半分のＡ像瞳１４５ａを通過した光束が、Ｂピクセル１４３ｂには射出瞳１４４の左半分のＢ像瞳１４５ｂを通過した光束が入射する。従って、Ａピクセル群からなる画像と、Ｂピクセル群からなる画像は視差画像である。そして、このような撮像素子で得られる複数の視差画像の位相差を検出することで、被写体の距離情報（奥行き情報）を得ることができる。また、各視差画像や視差画像を加算した加算画像は、被写体の２次元情報として用いることができる。
【００１９】
カメラ信号処理部１０８は、カメラ１０９からの電気信号をデジタル信号に変換するＡ／Ｄ変換や、ガンマ処理、ノイズ低減処理、エッジ強調処理等の現像処理を行う。また、撮影と同時に、カメラ１０９によって被写体の領域毎のデフォーカス量を測定して、画像データとともにＤＲＡＭ１０６に格納する。また、画像データを表示用に縮小して、ＤＲＡＭ１０６に設けた表示用フレームメモリに格納する。
【００２０】
カメラ１０９は、例えばフォーカスレンズや絞り、シャッター等の光学系、センサ、及び撮像制御部を含むことができる。センサは、光学系において結像された被写体の光量を光電変換によって電気信号に変換し、例えばＣＭＯＳやＣＣＤ等の撮像素子として構成される。撮像制御部は光学系のフォーカスや絞り、シャッターや撮像素子の撮影感度等の制御を行う。
【００２１】
距離マップ生成部１１１はＤＲＡＭ１０６に格納された領域毎のデフォーカス量から、画像の領域毎に距離情報生成を行い、ＤＲＡＭ１０６に格納する。立体画像生成部１１２は、ＤＲＡＭ１０６に格納された画像データと、距離情報を元に、制御部１０１の制御に応じて立体画像データを生成して、ＤＲＡＭ１０６に格納する。メモリカードコントローラ１１３は、ＤＲＡＭ１０６に格納された立体画像データをデジタルカメラ１００本体に接続されたメモリカード１５０に記録する。立体画像データの最終的な記録（出力）形式としては例えばＳＴＬ形式とする。このメモリカードに格納した立体画像データを外部の３Ｄプリンタなどで出力することで、立体画像データを実体化することができる。
【００２２】
グラフィック描画部１１４は制御部１０１の指示に基づき、使用者に通知する情報などを、ＤＲＡＭ１０６に確保した表示用フレームメモリに文字や図形として描画する。ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）コントローラ１１５は、ＤＲＡＭ１０６に格納された表示用フレームメモリの内容を読みだして、ＬＣＤタッチパネル１１６で表示する。タッチパネルコントローラ１１７は、ＬＣＤタッチパネル１１６に対する使用者のタッチ操作を検出し、制御部１０１に伝える。
【００２３】
次に、図２を参照して、立体画像生成のための条件を設定する方法、及び、立体画像撮影時のプレビュー画面の一例を説明する。まず、図２（ａ）は、デジタルカメラ１００のＬＣＤタッチパネル１１６に表示される入力画面２００の一例を示す。当該入力画面２００を用いることでデジタルカメラ１００の使用者は、出力する立体画像のサイズと角度を入力することができる。また、使用者（ユーザ）に少なくとも奥行きを含む３次元情報を入力させて、その領域（直方体）に収まるように、入力画像のサイズ及び傾きが設定されるようにしてもよい。
【００２４】
具体的に入力画面２００では、立体画像の背景面であるベース部分２０１と、ベース部分２０１から手前方向に最大高低差を隔てた前景面２０２が示される。使用者は入力画面２００を見ながら、立体画像のサイズを、画像の幅ｗ２０３、画像の高さｈ２０４の各入力ボックスにより設定できる。また、ベース部分２０１と前景面２０２との距離、即ち、立体画像の奥行き方向の最大高低差２０５を設定することができる。さらに、立体画像を設置する際の設置角度θ２０６を設定することができる。
【００２５】
使用者がいずれかの入力ボックスにタッチすると、制御部１０１はＬＣＤタッチパネル１１６にテンキー等を表示する。使用者は、ＬＣＤタッチパネル１１６に対してタッチ操作を行い各値を設定することができる。なお、テンキー等の表示や、それに対するタッチ操作は一般的であるので、ここでは図示を省略する。キャンセルボタン２０７は画面で入力した値を使用者が取り消すためのボタンである。決定ボタン２０８は、画面で入力した値の設定を使用者が確定させるためのボタンである。決定ボタン２０８が操作されると、入力画面２００で設定されたサイズ、角度、奥行きの値に従い、これ以降で立体画像の生成が行われる。
【００２６】
次に、図２（ｂ）は画像撮影時のプレビュー画面の一例を示す。ＬＣＤタッチパネル１１６に表示されているのは、カメラ１０９で撮影された撮影画像２１１である。撮影画像２１１は図２（ａ）で示した入力画面２００で入力された立体画像の所定のサイズ及び角度に応じたアスペクト比となっている。即ち、立体画像の幅ｗ、高さｈ、角度θとにつき、撮影画像のアスペクト比はｗ／（ｈ・ｃｏｓθ）となる。ＬＣＤタッチパネル１１６の幅をWidth、高さをHeightとすると、本図の例ではWidth／Height＜ｗ／（ｈ・ｃｏｓθ）であって、撮影画像２１１の方が横長であるとする。そこで、撮影画像２１１はＬＣＤタッチパネル１１６の幅Ｗに合わせて表示され、撮影画像２１１がＬＣＤタッチパネルの高さHeightに足りない部分は上下に黒帯２１２と２１３を付けて表示される。
【００２７】
次に、図３を参照して、撮影画像と距離情報の例について説明する。図３（ａ）はデジタルカメラ１００で画像を撮影している状況を横から俯瞰した概略図である。この例では、デジタルカメラ１００の撮影方向に、被写体３０１と被写体３０２とが異なる距離ｄ１、ｄ２で位置している。なお、図３では被写体として人物を例として示しているが、被写体は人物に限定されない。ｚはカメラの光軸で、ｙは天地方向の軸を示している。図３（ｂ）は、図３（ａ）で撮影された画像の一例を示す。画像３１０には被写体３０１と３０２に加えて、背景に太陽３０３が写っている。ｘは水平方向、ｙは天地方向の軸を示している。
【００２８】
図３（ｃ）は、図３（ａ）に示す撮影時に得られた画像３１０に対応する距離情報の一例を示す。距離情報３２０では、色が濃い領域が手前、薄い領域が奥に位置する。デジタルカメラ１００に近い被写体３０１が比較的濃く、次いで被写体３０２がやや濃くなっている。太陽３０３は無限遠に位置するため距離情報は得られない。なお、図３（ｄ）は、画像３１０に対して、特徴検出部６０１が注目被写体として検出した被写体３０１と３０２の顔の位置とサイズを枠３１１と３１２で囲って示した図である。図３（ｄ）は、後述する第３の実施形態で参照する。
【００２９】
次に、図４を参照して、立体画像の生成処理の流れを説明する。図４（ａ）は制御部１０１の制御に基づき、立体画像生成部１１２が立体画像を生成する処理の一例を示すフローチャートである。また、図４（ｂ）から（ｅ）は生成処理の各ステップにおいて、立体画像生成部１１２が一時的または最終的に生成した立体画像データの例を示す。
【００３０】
図４のフローチャートに対応する処理は、例えば、立体画像生成部１１２として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。まずＳ４０１において、ＤＲＡＭ１０６に格納された撮影画像と距離情報を元に、撮影画像の各画素を奥行き方向（ｚ方向）に配置して、立体画像の元となるデータを生成する。図４（ｂ）は、撮影画像３１０に含まれる被写体３０１と３０２とを距離情報３２０に基づき立体化した立体画像４２１を横から見た図である。画像の領域毎にｚ軸方向に奥行きが付けられ、無限遠の領域が背景４１１となり、被写体３０１と３０２とは奥行きを付けて立体化されている。
次にＳ４０２において、Ｓ４０１で得られた立体画像に対して前景面と背景面とを設定する。図４（ｃ）は、立体画像４２１に対して前景面４１２と背景面４１３とを設定した場合を示す図である。前景面４１２は背景４１１に対して予め入力された角度θだけ傾けて設けられ、立体画像４２１にｚ軸方向の手前側で接する位置に配置される。また、背景面４１３は前景面４１２よりもｚ軸方向の奥側に予め定められた最大高低差Ｈを隔てて、前景面４１２と平行に配置される。これにより、前景面４１２と背景面４１３とは、被写体３０１と３０２とを構成する画素を挟むように設定されることになる。
【００３１】
次にＳ４０３において、背景面４１３への投影を行う。先に示した図４（ｃ）において、背景面４１３より奥行き方向（ｚ方向）で後方にある被写体の領域を、ｚ軸方向に背景面４１３に投影する。その結果が図４（ｄ）で、背景面４１３に投影された背景４１４を持つ立体画像４２２となる。
【００３２】
更にＳ４０４において、立体画像の回転を行う。先に示した図４（ｄ）の背景４１４がベースとなるように立体画像４２２を９０度−θだけ回転する。図４（ｅ）は回転後の立体画像４２２を示す。ｚ軸とｙ軸に対して、９０度−θだけ回転したｒ軸とｑ軸を設けて、これらの軸を基準として立体画像４２２のデータをＤＲＡＭ１０６に格納することで、立体画像の生成処理を終える。
【００３３】
なお、本実施形態の説明では、立体画像を実体として出力する方式として、３Ｄプリンタを挙げているが、従来技術に記載した他の方式で立体画像を出力する場合でも、同様の効果が得られる。また、本実施形態の説明では、距離マップをカメラから得た領域毎のデフォーカス量から生成しているが、２眼の撮像系により得た視差画像を用いたり、異なる焦点距離で撮影した複数枚の画像から焦点距離毎の領域を検出するなど他の方法で生成しても良い。
【００３４】
また、本実施形態の説明では、前景面を配置する際に、立体画像全体のｚ軸方向の手前側で接するようにしているが、画像中の複数の被写体のうちで注目被写体を検出して、注目被写体が前景面と背景面の間に収まるように配置するよう構成しても良い。その場合、前景面より奥行き方向で前方にも被写体が存在することがあるので、背景面４１３に対して投影を行うのと同様に、前景面４１２より手前の被写体をｚ軸方向に前景面４１２に投影する。
【００３５】
［実施形態２］
次に、発明の第２の実施形態を説明する。本実施形態では、画像撮影時のプレビュー画面表示中に、プレビュー画像を元に立体画像を生成して、どの領域が立体となるかを表示する点が第１の実施形態と異なる。
【００３６】
図５を参照して本実施形態における画像撮影時のプレビュー画面を説明する。図５は画像撮影時のプレビュー画面の一例を示す。実施形態１の図２と異なるのは、背景面に投影されて平面となる領域を識別可能に示す点である。例えば、図５のように、平面になる領域にゼブラパターン（縞模様）を重畳して、立体表示がされる領域と平面表示される領域とを識別可能とすることができる。図５では、画像３１１の背景に加えて、被写体の背景面に投影される部分５０１と５０２とに対して、ゼブラパターンが重畳されている。また、５００は立体画像が前景面と接する領域を示す点滅パターンである。例えば、白色と透過色とを交互に表示させて点滅させてもよい。
【００３７】
本実施形態ではプレビュー画面の表示中に、立体画像生成部１１２が制御部１０１の制御に基づき、図４（ａ）のフローチャートに対応する立体画像生成処理を撮影画像に対して繰り返し行う。制御部１０１はＤＲＡＭ１０６に格納された立体画像データから、背景面となる領域を抽出し、グラフィック描画部１１４がＤＲＡＭ１０６に格納された表示用フレームに対してゼブラパターンの描画を行う。また、前景面に接する領域を抽出して、ＤＲＡＭ１０６に格納された表示用フレームに対して点滅パターンの描画を行う。なお、前景面に被写体が投影される場合は、当該前景面に投影された部分を、背景面とは異なるパターンを用いて識別可能に表示しても良い。
【００３８】
こうしたプレビュー表示により、使用者はこのまま撮影を行うと、被写体のどの領域が立体化されるか認識することができる。
【００３９】
［実施形態３］
次に、上述の実施形態１及び２の変形例として発明の第３の実施形態を説明する。図６は、本実施形態に対応する立体画像生成装置としてのデジタルカメラ６００の構成を示す図である。デジタルカメラ６００は実施形態１及び２のデジタルカメラ１００と基本的な構成は同一であり、対応するブロックには同一の参照番号を付している。以下、デジタルカメラ６００に特有の構成について説明し、図１と共通の構成については説明を省略する。
【００４０】
特徴検出部６０１は、ＤＲＡＭ１０６に格納された画像データから、注目被写体として人物の顔を検出し、その位置とサイズを制御部１０１に通知する。制御部は位置とサイズを元に、注目被写体のスコアを付け、最もスコアが高い注目被写体を主被写体として取り扱う。立体画像出力部６０２は、ＤＲＡＭ１０６に格納された立体画像データを外部に出力する。出力先として外部の３Ｄプリンタなどを接続することで、立体画像データを実体化した出力結果を得ることができる。或いは、立体画像出力部６０２自体が３Ｄプリンタとして機能しても良い。ＬＣＤ６０３は液晶表示装置であって図１のＬＣＤタッチパネル１１６の代わりに用いられる。本実施形態では図１のＬＣＤタッチパネル１１６のようにタッチパネルでなくても良いが、ＬＣＤタッチパネル１１６をそのまま用いても良い。
【００４１】
次に、図７及び図８を参照して、本実施形態における立体画像の生成処理の流れを説明する。図７は制御部１０１の制御に基づき、立体画像生成部１１２が立体画像を生成する処理の一例を示すフローチャートである。また、図８は生成処理の各ステップにおいて、立体画像生成部１１２が一時的または最終的に生成した立体画像データの例を示す。図７のフローチャートに対応する処理は、例えば、立体画像生成部１１２として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。
【００４２】
まずＳ７０１において、ＤＲＡＭ１０６に格納された撮影画像と距離情報を元に、画像の立体化を行う。図８（ａ）が、撮影画像３１０に含まれる被写体３０１と３０２とを距離情報３２０に基づき立体化した立体画像８１１を横から見た図である。画像の領域毎にｚ軸方向に奥行きが付けられ、無限遠の領域が背景８０１となり、被写体３０１と３０２とは奥行きを付けて立体化されている。
【００４３】
次にＳ７０２において、立体画像８１１に対して背景面と前景面とを初期設定する。まず、図８（ｂ）に示すように背景面８０３と前景面８０２が予め定められた初期設定位置に仮に設定される。ここで、背景面８０３は無限遠の背景８０１と同一面に配置され、予め定められた最大高低差Ｈを隔てて、手前に背景面８０３と平行な前景面８０２が配置される。なお、図８（ｂ）に示す枠３１１と枠３１２は、特徴検出部６０１が検出した図３（ｄ）に示す被写体３０１と３０２の顔枠に対応する。
【００４４】
続くＳ７０３において、背景面８０３と前景面８０２の移動および回転を行う。枠３１１と３１２は、顔が検出された位置とその領域の距離情報を元に配置され、検出されたサイズに応じた奥行きをｚ軸方向に設けて立体化されている。これらの枠が、少なくとも一部において背景面８０３と前景面８０２とに挟まれた空間内に含まれるように、背景面８０３と前景面８０２を最大高低差Ｈの間隔を保ったまま、移動および回転させる。なお、図３（ｄ）では、特徴検出部６０１が検出した被写体３０１と３０２の顔の位置とサイズを枠３１１と３１２で示し、人物の顔を特徴領域として利用する場合を示した。しかし、被写体には人物以外も含まれうるので、被写体に応じた特徴領域を設定することができる。例えば植物であれば、花や実の部分を特徴領域として枠を設定することができる。その他、被写体の種類に応じてユーザが感心を有する特徴領域を設定することができる。
【００４５】
図８（ｃ）は背景面８０３及び前景面８０２の移動及び回転の結果を示す。ここでは背景面８０３と前景面８０２とに挟まれる空間内に、主被写体である被写体３０１の枠３１１と、他の注目被写体である被写体３０２の枠３１２とが含まれている。ここでは、背景面８０３と前景面８０２がｙ軸に対してθの角度まで回転されているが、この回転角度には予め制約を設けることができる。例えば、説明に用いている画像のように、水平方向に光軸をとって撮影した撮影画像から生成した立体画像データを、実体化してフォトフレームとして立てて飾る場合、傾ける角度の範囲としては、θを０〜３０度程度とすることが適当である。
【００４６】
背景面と前景面の移動および回転は、上記空間内に主被写体の枠を納めることを最優先として行い、次いで空間内に収まった注目被写体のスコアの合計値が最も高くなるように行う。それらを満たした上で、移動および回転の余地があれば、回転角度をできる限り０度に近づける。それでも、移動の余地があれば、奥にずらしたときに背景面より奥の被写体が占める領域と、手前にずらしたときに前景面より手前の被写体が占める領域の大きさを比較する。前者であれば、手前より奥の被写体が占める領域が大きいので、背景面と前景面を余地の範囲内で奥にずらし、後者であれば手前にずらす。
【００４７】
次にＳ７０４において、背景面と前景面への投影を行う。先に示した図８（ｃ）において、背景面８０３より後ろにある被写体の領域を、ｚ軸方向に背景面８０３に投影する。この例では、前景面８０２より手前には被写体が存在しないが、存在する場合にはその領域をｚ軸方向に前景面８０２に投影する。その結果が図８（ｄ）で、背景面８０３に投影された背景８０４を持つ立体画像８１２となる。
【００４８】
続くＳ７０５において、立体画像の回転を行う。先に示した図８（ｄ）の背景８０４がベースとなるように立体画像８１２を９０度−θだけ回転する。図８（ｅ）が回転後の立体画像８１２を示す図である。ｚ軸とｙ軸に対して、９０度−θだけ回転したｒ軸とｑ軸を設けて、これらの軸を基準として立体画像８１２のデータをＤＲＡＭ１０６に格納することで、立体画像の生成処理を終える。こうして生成された立体画像８１２は、立体画像出力部６０２によって、背景８０４から順次スライス状に出力することで、接続された外部の３Ｄプリンタなどで実体化することができる。
【００４９】
本実施形態に対応する立体画像出力装置としてのデジタルカメラ６００によれば、撮影画像に写った複数の注目被写体を立体表現する際に、ベースとなる背景面の傾きにより、立体表現に必要な記録剤を少なくすることができる。また、立体画像を出力する装置に最大高低差の制約がある場合でも、制約の範囲内で複数の注目被写体を効率よく立体表現することができる。
【００５０】
なお、本実施形態の説明では、単純化のために、背景面と前景面をｘ軸を基準に回転する構成で説明を行ったが、ｙ軸を含めて回転を行うよう構成してもよい。そのように構成すれば、複数の人物が異なる距離で、カメラから見て横並びになっている画像に対しても、本発明の効果を得ることができる。また、複数の注目被写体として、複数人数の人物の顔を例として説明しているが、１つの注目被写体の複数箇所を、それぞれ複数の注目被写体として扱っても、本発明の効果を得ることができる。
【００５１】
［実施形態４］
次に、上述の実施形態１乃至３の変形例として発明の第４の実施形態を説明する。本実施形態では、制御部１０１の制御に応じて立体画像を生成する立体画像生成部１１２が、傾けた背景面の法線方向から立体画像を見たときの違和感を少なくするように、立体画像を生成する。
【００５２】
図９を参照して、背景面の法線方向からの立体画像の見え方を説明する。図９（ａ）の立体画像８１２は実施形態３に対応する立体画像生成処理により生成した立体画像である。図９（ｂ）の立体画像９１２は本実施形態に対応する立体画像生成処理により生成した立体画像である。
【００５３】
まず、図９（ａ）では、撮影時の光軸方向の視点９０１から立体画像４１２を見ると、画像９２１に示すように撮影画像と同等に見える。一方で、背景面８０４の法線方向の視点９０２から立体画像８１２を見ると、画像９２２に示すように奥行きが付けられ、立体化された被写体３０１と３０２の一部の領域９６１、９６２が延びて見えてしまう。また、画像９２２では、θの角度まで傾けられた背景面に投影された撮影画像を法線方向から見ているため、画像９２１ではｈだった縦方向の長さが、画像９２２では（ｈ／ｃｏｓθ）に延びて見えてしまう。
【００５４】
これに対して、図９（ｂ）では立体画像９１２に対して、被写体３０１と３０２の奥行きの付け方を、撮影時の光軸方向から背景面の法線方向へ変更している。これにより視点９０２から立体画像９１２を見ると、９３２に示す画像のように見える。画像９３２では、先に示した画像９２２のように、被写体３０１と３０２の一部が延びて見えることはない。なお、頭部の奥に描かれている領域９７１、９７２は、後述する処理により背景面に平坦に描かれた影である。
【００５５】
一方、視点９０１から立体画像９１２を見ると、画像９３１のように見える。画像９３１では、先に示した画像９２１に比べて、被写体３０１と３０２の首の後ろに、奥行きを付けて立体化された被写体の一部の領域９８１、９８２が延長部分として見えてしまう。ただ、図９（ａ）の画像９２２での領域９６１、９６２に比べれば見える範囲は小さいため、相対的には見た目の違和感は小さい。また、延びて見える領域９８１、９８２は画像の下側方向（地面方向）に向いているので、立体画像９１２を照らす照明が天井方向にあれば、これらの面は影になるため目立ちにくく、より違和感が小さくなる。もしくは、奥行きを付けて立体化した部分について、撮影画像に写っていない面に対しては、その面が地面方向を向いている割合に応じて、明度を下げて影のように描き出力してもよい。
【００５６】
さらに、図９（ｂ）の立体画像９１２の背景面９０４は、図９（ａ）で示した立体画像８１２の背景面８０４に対して、縦方向の長さを（ｃｏｓθ＋１）／２倍に縮めている。これにより、視点９０２から見た背景面は縦方向の長さがｈ（１＋１／ｃｏｓθ）／２と延び具合が緩和される。一方で、視点９０１から見た背景面は縦方向の長さがｈ（ｃｏｓθ＋１）／２と撮影画像よりも縮んで見えるが、先に示した画像９２２の縦方向の延び具合に比べれば違和感が小さい。
【００５７】
次に、図１０を参照して本実施形態に対応する立体画像の生成処理を説明する。図１０は、本実施形態に対応する立体画像の生成処理において、立体画像生成部１１２が一時的または最終的に生成した立体画像データの一例を示す。本実施形態の立体画像の生成処理は、途中まで実施形態１の図４や実施形態３の図７における処理と同様であるため、以降の差異のある部分のみ図示して説明する。
【００５８】
図１０（ａ）は、図４（ｅ）の立体画像４２２や図８（ｅ）で示した立体画像８１２に対して、撮影画像には写っていない、即ち撮影画像の画素を構成しないｚ軸方向の奥行きを付けた領域１００１、１００２を斜線で示している。本実施形態では、この領域１００１及び１００２を取り除き、替わって背景面８０４と直交するｒ軸方向の奥行きを付けて立体化を行う。図１０（ｂ）は、ｒ軸方向に奥行きを付けて立体化した立体画像１０１２を示す。
【００５９】
さらに本実施形態では、背景面８０４をｑ軸方向に（ｃｏｓθ＋１）／２倍に縮める。図１０（ｃ）は背景面を縮めて得られた立体画像９１２を示す。立体画像９１２の背景面９０４の縦方向の長さはｈ（１＋１／ｃｏｓθ）／２に縮められる。こうして得られたｒ軸とｑ軸を基準とする立体画像９１２のデータをＤＲＡＭ１０６に格納することで、立体画像の生成処理を終える。
【００６０】
次に、図１１を参照して立体画像１０１２の背景面の処理を説明する。本実施形態では、撮影時の光軸とは異なる方向に奥行きを付ける処理や、背景面を縦方向に縮める処理を行うため、背景面に対して投影される撮影画像が不足する領域が生じる。図１１では、背景面に対して投影される撮影画像が不足する領域を示す。
【００６１】
図１１（ａ）は立体画像生成部１１２が一時的に生成した立体画像８１２に対して、背景面８０４をｚ軸方向から見たときに、背景面８０４より手前の被写体が存在する領域１１０１、１１０２を示している。背景面８０４の領域１１０１と１１０２には、投影すべき撮影画像は無い。
【００６２】
図１１（ｂ）は立体画像生成部１１２が最終的に生成した図１０（ｃ）の立体画像９１２の背景面９０４において、図１１（ａ）の背景面８０４で領域１１０１と１１０２が占めていた領域を１１１１、１１１２として示している。背景面８０４をｑ軸方向に縮めて背景面９０４としているので、これらの領域もｑ軸方向に縮んでいる。背景面９０４の領域１１１１と１１１２には、投影すべき撮影画像は無い。
【００６３】
図１１（ｃ）は立体画像生成部１１２が一時的に生成した図１０（ｂ）の立体画像１０１２に対して、背景面８０４をｚ軸方向から見たときに、立体化された部分を背景面８０４で切断した断面１１２１、１１２２を示している。これらの断面には、撮影画像を投影する必要はない。
【００６４】
図１１（ｄ）は立体画像生成部１１２が最終的に生成した図１０（ｃ）立体画像９１２の背景面において、立体化された部分を背景面９０４で切断した断面１１２１と１１２２を示している。断面１１２１と１１２２の位置や形状は（ｃ）と変化がない。また、（ｄ）に示した領域１１３１、１１３２は、（ｂ）で示した背景面９０４の領域１１１１、１１１２のうち、断面１１２１、１１２２に重ならない部分である。これらの領域１１３１、１１３２が背景面に対して投影される撮影画像が不足する領域である。これらの領域に対して、立体画像生成部１１２は、背景面上の周辺画素領域に基づき補間する。例えば、周辺画素領域の輝度と色の平均値を求め、得られた画素値に対して明度を落とした影を描いて領域を補間する。これにより、背景面の法線方向から立体画像５１２を見たときに、撮影画像が不足する背景面の領域についても、違和感が小さくなる。
【００６５】
このように構成することで、傾けた背景面の法線方向から立体画像を見たときの違和感を少なくすることができる。
【００６６】
なお、本実施形態では、前景面より手前には被写体が存在しない撮影画像を例に挙げて説明したが、それらが存在する場合、前景面は縦方向の長さを変えるように構成しても、変えないように構成しても、それらを切り替えるよう構成してもよい。前景面は背景面よりも、投影する撮影画像が不足した領域が目立つため、画像の内容によっては違和感が大きくなることがある。しかし、前景面に投影される撮影画像のデフォーカス量が大きく、不足した領域に対して、周辺領域の輝度と色の平均値で埋めることで、違和感が大きくならない場合もある。そのため、前景面に投影される撮影画像に応じて、長さを変えるか否かを切り替えても良い。
【００６７】
また、本実施形態では、単純化のために、背景面と前景面をｘ軸を基準に回転する構成で説明を行ったが、ｙ軸を含めて回転を行うよう構成してもよい。そのように構成する場合は、背景面と前景面の縦方向の長さだけではなく、横方向の長さも変えることで、背景面の法線方向から見た場合の違和感を軽減させることができる。
【００６８】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【００６９】
１００：立体画像生成装置、１０１：制御部、１０２：内部バス、１０３：ＦＬＡＳＨメモリコントローラ、１０４：ＦＬＡＳＨメモリ、１０５：ＤＲＡＭコントローラ、１０６：ＤＲＡＭ、１０７：操作部、１０８：カメラ信号処理部、１０９：カメラ、１１１：距離情報生成部、１１２：立体画像生成部、１１３：メモリカードコントローラ、１１４：グラフィック描画部、１１５：ＬＣＤコントローラ、１１６：ＬＣＤタッチパネル、１１７：タッチパネルコントローラ、１５０：メモリカード、６０１：特徴検出部、６０２：立体画像出力部、６０３：ＬＣＤ
【図１】
2016131297.tif 000003
【図４】
2016131297.tif 000004
【図６】
2016131297.tif 000005
【図７】
2016131297.tif 000006
【図８】
2016131297.tif 000007
【図１０】
2016131297.tif 000008
【図２】
2016131297.tif 000009
【図３】
2016131297.tif 000010
【図５】
2016131297.tif 000011
【図９】
2016131297.tif 000012
【図１１】
2016131297.tif 000013