(57)【要約】【課題】複数の画像が重複する場合であっても許容される厚みに収まり、かつ立体感を適切に表現できる三次元印刷データを生成する技術を実現する。【解決手段】三次元印刷データ生成装置は、被写体領域ごとの距離情報を含む複数の画像を入力する入力手段と、各画像の位置、サイズおよび重複する順序を含むレイアウト情報を設定する設定手段と、前記レイアウト情報から重複する画像数を求め、前記重複する画像数と許容される厚みとに基づいて各画像に割り当てる厚みを決定する割り当て手段と、前記割り当て手段により決定された厚みに基づいて各画像の距離情報を厚み情報に変換する変換手段と、前記レイアウト情報と前記厚み情報とを用いて各画像を合成した三次元印刷データを生成する生成手段と、を有する。【選択図】図２
2017079016.tif 000002
【特許請求の範囲】
【請求項１】
被写体領域ごとの距離情報を含む複数の画像を入力する入力手段と、
各画像の位置、サイズおよび重複する順序を含むレイアウト情報を設定する設定手段と、
前記レイアウト情報から重複する画像数を求め、前記重複する画像数と許容される厚みとに基づいて各画像に割り当てる厚みを決定する割り当て手段と、
前記割り当て手段により決定された厚みに基づいて各画像の距離情報を厚み情報に変換する変換手段と、
前記レイアウト情報と前記厚み情報とを用いて各画像を合成した三次元印刷データを生成する生成手段と、を有することを特徴とする三次元印刷データ生成装置。
【請求項２】
ユーザ操作を受け付ける操作手段をさらに有し、
前記割り当て手段は、前記操作手段を介したユーザ操作に応じて各画像に割り当てる厚みを決定することを特徴とする請求項１に記載の三次元印刷データ生成装置。
【請求項３】
三次元印刷データにおける各画像の許容厚みを決定する許容厚み決定手段をさらに有し、
前記割り当て手段は、前記許容厚みと前記重複する画像数とに基づいて各画像に割り当てる厚みを決定することを特徴とする請求項１または２に記載の三次元印刷データ生成装置。
【請求項４】
前記割り当て手段は、重複順序が上位の画像に対する各画像の面積比率に基づいて各画像に割り当てる厚みを決定することを特徴とする請求項１または２に記載の三次元印刷データ生成装置。
【請求項５】
前記割り当て手段は、画像間の距離情報の範囲に基づき割り当てる厚みを決定することを特徴とする請求項１または２に記載の三次元印刷データ生成装置。
【請求項６】
画像が重なる位置関係にある画像群をグルーピングするグルーピング手段をさらに有し、
前記割り当て手段は、画像群ごとに重複画像数を算出することを特徴とする請求項１乃至５のいずれか１項に記載の三次元印刷データ生成装置。
【請求項７】
前記割り当て手段は、画像群ごとの重複画像数に基づいて、画像群ごとに割り当てる厚みを算出することを特徴とする請求項６に記載の三次元印刷データ生成装置。
【請求項８】
前記割り当て手段は、画像群ごとの重複画像数の最大値に基づいて、全ての画像群に割り当てる厚みを算出することを特徴とする請求項６に記載の三次元印刷データ生成装置。
【請求項９】
三次元印刷データにおける各画像の高さ方向の基準となる基底面を画像群ごとに決定する基底面決定手段をさらに有し、
前記生成手段は、画像ごとに変換された距離情報が基底面から許容厚みまでの範囲内に収まるように合成した三次元印刷データを生成することを特徴とする請求項８に記載の三次元印刷データ生成装置。
【請求項１０】
ユーザ操作を受け付ける操作手段をさらに有し、
前記基底面決定手段は、前記操作手段を介したユーザ操作に応じて基底面を決定することを特徴とする請求項９に記載の三次元印刷データ生成装置。
【請求項１１】
前記基底面決定手段は、画像群ごとに個別に基底面を決定することを特徴とする請求項９に記載の三次元印刷データ生成装置。
【請求項１２】
前記基底面決定手段は、画像群ごとに重複順序が上側の画像に基づいて基底面を決定することを特徴とする請求項９に記載の三次元印刷データ生成装置。
【請求項１３】
前記基底面決定手段は、画像群ごとに重複順序が下側の画像に基づいて基底面を決定することを特徴とする請求項９に記載の三次元印刷データ生成装置。
【請求項１４】
前記割り当て手段は、重複した状態で隣接する画像それぞれの基準点における高さの差分が所定値以内に収まるように各画像の厚みを割り当てることを特徴とする請求項１に記載の三次元印刷データ生成装置。
【請求項１５】
前記割り当て手段は、重複した状態で隣接する画像それぞれの境界部分を基準点とすることを特徴とする請求項１４に記載の三次元印刷データ生成装置。
【請求項１６】
前記割り当て手段は、重複する画像の上側の画像の最も低い位置と、下側の画像の最も高い位置を基準点とすることを特徴とする請求項１４または１５に記載の三次元印刷データ生成装置。
【請求項１７】
前記割り当て手段は、重複する画像の上側の画像の最も低い位置と、下側の画像の最も高い位置の間の距離が所定値以上離れているか否かに基づいて基準点の決定方法を切り替えることを特徴とする請求項１６に記載の三次元印刷データ生成装置。
【請求項１８】
入力手段が、被写体領域ごとの距離情報を含む複数の画像を入力する工程と、
設定手段が、各画像の位置、サイズおよび重複する順序を含むレイアウト情報を設定する工程と、
割り当て手段が、前記レイアウト情報から重複する画像数を求め、前記重複する画像数と許容される厚みとに基づいて各画像に割り当てる厚みを決定する工程と、
変換手段が、前記決定された厚みに基づいて各画像の距離情報を厚み情報に変換する工程と、
生成手段が、前記レイアウト情報と前記厚み情報とを用いて各画像を合成した三次元印刷データを生成する工程と、を有することを特徴とする三次元印刷データ生成方法。
【請求項１９】
コンピュータを、請求項１乃至１７のいずれか１項に記載された三次元印刷データ生成装置の各手段として機能させるためのプログラム。
【請求項２０】
コンピュータを、請求項１乃至１７のいずれか１項に記載された三次元印刷データ生成装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、距離情報を有する複数の画像から三次元の印刷データを生成する技術に関する。
【背景技術】
【０００２】
従来から、三次元の印刷データに用いて、硬化性インクを積層させて印刷を行うことにより、立体的な印刷物を出力する技術がある（特許文献１）。
【０００３】
また、画像の領域ごとの距離情報を厚み情報に換算し、厚み情報を用いて凹凸のある立体的な画像を印刷するための印刷データ生成装置がある（特許文献２）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００１−３０１２６７号公報
【特許文献２】特許第４８８２８２３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
上記特許文献２は、三次元の印刷データの印刷装置（３Ｄプリンタ）によって許容される印刷可能な厚みを超えないように、画像の領域ごとの距離情報を厚み情報に変換することで、三次元の印刷データを生成している。
【０００６】
ここで、複数の画像が重なり合う状態や隣接する状態で合成された重複画像から三次元印刷データを生成する場合、上記特許文献２の方法で各々の画像の距離情報を換算すると、重複する画像の枚数が多い箇所ほど印刷可能な厚みを超えてしまう可能性がある。この場合、複数の画像が重複する箇所の厚みを一律に圧縮することも考えられるが、重複する画像の枚数が増加するのに従って画像ごとに割り当て可能な厚みが減少してしまい、立体感を十分に表現できなくなってしまう。
【０００７】
本発明は、上記課題に鑑みてなされ、その目的は、複数の画像が重複する場合であっても許容される厚みに収まり、かつ立体感を適切に表現できる三次元印刷データを生成する技術を実現することである。
【課題を解決するための手段】
【０００８】
上記課題を解決し、目的を達成するために、本発明の三次元印刷データ生成装置は、被写体領域ごとの距離情報を含む複数の画像を入力する入力手段と、各画像の位置、サイズおよび重複する順序を含むレイアウト情報を設定する設定手段と、前記レイアウト情報から重複する画像数を求め、前記重複する画像数と許容される厚みとに基づいて各画像に割り当てる厚みを決定する割り当て手段と、前記割り当て手段により決定された厚みに基づいて各画像の距離情報を厚み情報に変換する変換手段と、前記レイアウト情報と前記厚み情報とを用いて各画像を合成した三次元印刷データを生成する生成手段と、を有する。
【発明の効果】
【０００９】
本発明によれば、複数の画像が重複する場合であっても許容される厚みに収まり、かつ立体感を適切に表現できる三次元印刷データを生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本実施形態の装置構成を示すブロック図。
【図２】実施形態１の３Ｄプリントデータ生成処理を示すフローチャート。
【図３】本実施形態のレイアウト操作画面を例示する図。
【図４】実施形態１の割り当て厚み算出処理を示すフローチャート。
【図５】実施形態１により生成される合成３Ｄプリントデータの断面図。
【図６】実施形態２の３Ｄプリントデータ生成処理を示すフローチャート。
【図７】実施形態２の割り当て厚み算出処理を示すフローチャート。
【図８】実施形態２により生成される合成３Ｄプリントデータの断面図。
【発明を実施するための形態】
【００１１】
以下に、本発明を実施するための形態について詳細に説明する。尚、以下に説明する実施の形態は、本発明を実現するための一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【００１２】
以下、本発明の三次元印刷データ生成装置を、静止画や動画を撮影可能なデジタルカメラなどの撮像装置に適用した実施の形態について、添付図面を参照して詳細に説明する。
【００１３】
＜装置構成＞図１を参照して、本実施形態のデジタルカメラの構成及び機能について説明する。
【００１４】
撮影レンズ１０３はズームレンズ、フォーカスレンズを含むレンズ群である。シャッター１０４は絞り機能を備える。撮像部１０５は被写体の光学像を電気信号に変換するＣＣＤやＣＭＯＳ等で構成される撮像素子である。撮像部１０５は、ステレオ法、ＴＯＦ（Ｔｉｍｅ Ｏｆ Ｆｌｉｇｈｔ）、ＤＦＦ（Ｄｅｐｔｈ Ｆｒｏｍ Ｆｏｃｕｓ）などの既存の方法により画像中の被写体領域ごとの距離情報（距離マップ）を取得することができる。例えば、ＤＦＦ方式では、特開２０１５−３２１４４号公報に記載されているように、撮影レンズ１０３を駆動してフォーカス位置を変更しながら撮像部１０５によりフォーカス位置が異なる複数の画像を撮像する。そして、複数の画像の中で、被写体領域中の最も合焦しているフォーカス位置を決定し、そのフォーカス位置における焦点距離と物体距離から既知の結像公式（特開２０１５−３２１４４号公報に記載された式２）を用いて像面側距離を求め、像面上でのフォーカス位置から求めたデフォーカス量を用いて物体側距離に変換することで距離マップを取得することができる。
【００１５】
Ａ／Ｄ変換器１０６は、アナログ信号をデジタル信号に変換する。Ａ／Ｄ変換器１０６は、撮像部１０５から出力されるアナログ信号をデジタル信号に変換するために用いられる。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０４、撮像部１０５を含む撮像系の汚れや破損を防止する。
【００１６】
画像処理部１０７は、Ａ／Ｄ変換器１０６からのデータ、又は、メモリ制御部１０９からのデータに対し所定の画素補間、縮小といったリサイズ処理、色変換処理、領域分割処理、認識処理などを行う。また、画像処理部１０７では、撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいてシステム制御部１０１が露光制御、測距制御を行う。これにより、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理が行われる。画像処理部１０７ではさらに、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。
【００１７】
３Ｄプリントデータ生成部１２４は、撮像した画像データや距離マップ、レイアウト情報、後述する各種設定に基づいて、被写体領域ごとの厚み情報を有する各画像の三次元印刷データ（３Ｄプリントデータ）を合成して合成３Ｄプリントデータを生成する。３Ｄプリントデータの生成処理は、例えば上記特許文献１に記載されたように、各画像の距離マップをリニアな厚み情報に変換する方法によって実現できる。
【００１８】
Ａ／Ｄ変換器１０６からの出力データは、画像処理部１０７及びメモリ制御部１０９を介して、或いは、メモリ制御部１０９を介してメモリ１１０に直接書き込まれる。メモリ１１０は、撮像部１０５によって得られ、Ａ／Ｄ変換器１０６によりデジタルデータに変換された画像データや、表示部１１１に表示するための画像データを格納する。メモリ１１０は、所定枚数の静止画や所定時間の動画および音声を格納するのに十分な記憶容量を備えている。
【００１９】
また、メモリ１１０は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１０８は、メモリ１１０に格納されている画像表示用のデータをアナログ信号に変換して表示部１１１に供給する。こうして、メモリ１１０に書き込まれた表示用の画像データはＤ／Ａ変換器１０８を介して表示部１１１により表示される。
【００２０】
表示部１１１は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１０８からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器１０６によって一旦Ａ／Ｄ変換され、メモリ１１０に蓄積されたデジタル信号をＤ／Ａ変換器１０８においてアナログ変換し、表示部１１１に逐次転送して表示することで、電子ビューファインダ（ＥＶＦ）として機能し、ライブビューによるスルー画像の表示を行える。
【００２１】
不揮発性メモリ１１２は、電気的に消去・記憶可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ１１２には、システム制御部１０１の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。
【００２２】
システム制御部１０１は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ１１２に記憶されたプログラムを実行することで、後述する本実施形態の各処理を実現する。１１３はシステムメモリであり、ＲＡＭが用いられる。システムメモリ１１３には、システム制御部１０１の動作用の定数、変数、不揮発性メモリ１１２から読み込んだプログラム等を展開する。また、システム制御部１０１はメモリ１１０、Ｄ／Ａ変換器１０８、表示部１１１等を制御することにより表示制御も行う。
【００２３】
システムタイマー１１４は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。
【００２４】
モード切替ボタン１１５、第１シャッタースイッチ１１６ａ、第２シャッタースイッチ１１６ｂ、操作部１１７はシステム制御部１０１に各種の動作指示を入力するための操作手段である。
【００２５】
モード切替ボタン１１５は、システム制御部１０１の動作モードを静止画撮影モード、動画記録モード、再生モードなどのいずれかに切り替える。静止画撮影モードに含まれるモードとして、オートモード、オートシーン判別モード、マニュアルモード、シーン別撮影モード、プログラムＡＥモード、カスタムモードなどがある。モード切替ボタン１１５で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替ボタン１１５で静止画撮影モードに一旦切り替えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画記録モードにも複数のモードが含まれていてもよい。
【００２６】
第１シャッタースイッチ１１６ａは、デジタルカメラ１００に設けられたシャッターボタン１１６の操作途中、いわゆる半押し（撮影準備指示）でオンとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理、ＥＦ処理等の動作を開始する。
【００２７】
第２シャッタースイッチ１１６ｂは、シャッターボタン１１６の操作完了、いわゆる全押し（撮影指示）でオンとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部１０１は、第２シャッタースイッチ信号ＳＷ２により、撮像部１０５からの信号読み出しから記録媒体１２５に画像データを書き込むまでの一連の撮影処理の動作を開始する。
【００２８】
操作部１１７の各操作部材は、表示部１１１に表示される種々の機能アイコンを選択操作することなどにより、シーンごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン、メニューボタンなどがある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部１１１に表示される。ユーザは、表示部１１１に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。
【００２９】
なお、操作部１１７の１つとして、表示部１１１に対する接触を検知可能なタッチパネルを有する。タッチパネルと表示部１１１とは一体的に構成することができる。例えば、タッチパネルを光の透過率が表示部１１１の表示を妨げないように構成し、表示部１１１の表示面の上層に取り付ける。そして、タッチパネルにおける入力座標と、表示部１１１上の表示座標とを対応付ける。これにより、あたかもユーザが表示部１１１上に表示された画面を直接的に操作可能であるかのようなＧＵＩを構成することができる。
【００３０】
電源スイッチ１１８は、カメラ１００の電源のオン、オフを切り替えるための操作信号をシステム制御部１０１へ送出する。電源スイッチ１１８がオンされると電源制御部１１９がカメラ１００の各部へ必要な電圧の供給を開始すると共に、システム制御部１０１がカメラ１００の動作制御を開始する。
【００３１】
電源制御部１１９は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部１１９は、その検出結果及びシステム制御部１０１の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体１２５を含む各部へ供給する。
【００３２】
電源部１２０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、リチウムイオン電池等の二次電池、ＡＣアダプタ等からなる。
【００３３】
記録媒体Ｉ／Ｆ１２１は、メモリカードやハードディスク等の記録媒体１２５とのインターフェースである。記録媒体１２５は、撮像部１０５で撮像された画像データや外部機器から取得した画像データ、およびこれらの画像データに関する距離マップを記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。
【００３４】
通信部１２２は、無線アンテナや有線ケーブルによって外部機器と通信可能に接続し、映像や音声の送受信を行う。通信部１２２は無線ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）やインターネットにも接続可能である。通信部１２２は撮像部１０５で撮像された画像データ（スルー画像を含む）や、記録媒体１２５に記録されている画像ファイルを外部機器に送信でき、また、外部機器から画像データや距離マップ、その他の各種情報を受信できる。
【００３５】
姿勢検知部１２３は、重力方向に対するデジタルカメラ１００の姿勢を検知する。姿勢検知部１２３で検知された姿勢に応じて、撮像部１０５で撮像された画像がデジタルカメラ１００を横に構えて撮影されたものか、縦に構えて撮影されたものかを判別可能である。システム制御部１０１は、姿勢検知部１２３で検知された姿勢に関する情報を撮像部１０５で撮像された画像データに付加したり、画像データを回転して記憶することが可能である。姿勢検知部としては、加速度センサやジャイロセンサ等を用いることができる。
【００３６】
なお、ハードウェアの構成は図１に示すものに限定されず、例えば１つのハードウェアが表示制御、通信制御、撮影制御、画像処理制御等を行い、デジタルカメラ１００の各手段として機能してもよい。また、複数のハードウェアが協働して１つの手段として機能してもよい。
【００３７】
＜３Ｄプリントデータ生成処理＞図２を参照して、本実施形態による３Ｄプリントデータ生成処理について説明する。
【００３８】
本実施形態の３Ｄプリントデータ生成処理は、複数の画像が重なり合いかつ隣接する状態や、あるいは重複も隣接もしていない状態にレイアウトされた画像について、画像の被写体領域ごとの距離情報を厚み情報に変換した部分３Ｄプリントデータを生成し、これら各画像の部分３Ｄプリントデータから後述するレイアウト情報や各種設定に応じて許容厚みに収まるように合成３Ｄプリントデータを生成するものである。
【００３９】
なお、図２の処理は、操作部１１７からの操作信号に応じて合成３Ｄプリントデータ生成機能が起動されると開始され、不揮発性メモリ１１２に格納されたプログラムをシステムメモリ１１３に展開してシステム制御部１０１が実行し、図１の各ブロックを制御することにより実現される。後述する図４、６、７でも同様である。
【００４０】
ステップＳ２００では、システム制御部１０１は、メモリ制御部１０９を制御して、記録媒体１２５に記録された画像データのサムネイルを表示部１１１に一覧表示する。また、システム制御部１０１は、操作部１１７からのユーザ操作を受け付け、合成３Ｄプリントデータを生成する対象となる画像を選択する。
【００４１】
ステップＳ２０１では、システム制御部１０１は、メモリ制御部１０９を制御して、表示部１１１に図３のようなレイアウト操作画面を表示する。また、システム制御部１０１は、操作部１１７からのユーザ操作を受け付け、ステップＳ２００において選択した画像の（重心）位置、回転角度、サイズおよび拡大率並びに重ね合せたときの重複順序などのレイアウト情報の設定を行う。なお、上記レイアウト情報は一例であり、これらに限定されるものではない。
【００４２】
図３の画面例では、選択画像３００、３０１、３０２が、ユーザ操作により指定された位置、拡大率および重複順序で表示されている。図３の画面例では、選択画像３００と選択画像３０１が部分的に重複かつ隣接する位置関係とされ、選択画像３００が上位（上側、前面）、選択画像３０１が下位（下側、背面）となって重なり合う位置関係（重複順序）にレイアウトされている。また、選択画像３０１と選択画像３０２は互いに重複もしていなければ隣接もしていない位置関係とされる。
【００４３】
ステップＳ２０２では、システム制御部１０１は、操作部１１７からの各種設定値の変更指示があるか否かを判定し、変更指示があった場合はステップＳ２０３に進み、ない場合はステップＳ２０４に進む。
【００４４】
ステップＳ２０３では、システム制御部１０１は、操作部１１７からの各種設定の変更指示を受け付ける。各種設定とは、後述する許容厚みモード、厚み割り当てモード、基底面モードの少なくともいずれかを含む。許容厚みモードは、本処理により生成される合成３Ｄプリントデータにおける各画像の厚みを設定するためのモードである。厚み割り当てモードは、各画像に割り当てる厚みを決定する処理を切り替えるためのモードであり、除算モード、面積比率モード、距離分布モードを含む。基底面モードは、合成３Ｄプリントデータにおける各画像の厚みについて、高さ方向（奥行き方向）の基準位置を決定するためのモードである。基底面モードは、画像ごとに個別に決定される個別モード（図５（ａ））、重複も隣接もしていない画像の最上部の位置を揃える前詰めモード（図５（ｂ））、重複も隣接もしていない画像の最下部の位置を揃える奥詰めモード（図５（ｃ））を含む。
【００４５】
ステップＳ２０４では、システム制御部１０１は、ステップＳ２０１で設定したレイアウト情報に基づいて、ステップＳ２００で選択した画像が互いに重なる位置関係にあるか否かを判定し、判定結果に応じて画像のグルーピングを行う。図３の画面例では、画像の一部が互いに重複する選択画像３００と選択画像３０１は同一のグループに分類され、選択画像３０１に重複も隣接もしていない位置関係にある選択画像３０２は別のグループに分類される。なお、図３の画面例のように選択画像３００と選択画像３０１が重複かつ隣接している状態で、選択画像３０１と選択画像３０２が互いに重複している場合は、選択画像３０２は選択画像３００、３０１と同一のグループに分類される。
【００４６】
ステップＳ２０５では、システム制御部１０１は、ステップＳ２０４でグルーピングされた画像群ごとに重複する画像数を算出する。図３の画面例では、画像３００と画像３０１のグループは重複画像数が２枚、画像３０２のグループは重複画像数が１枚として算出される。
【００４７】
ステップＳ２０６では、システム制御部１０１は、ステップＳ２０３で設定された厚み割り当てモードに応じて、ステップＳ２０４でグルーピングされた画像ごとに割り当て厚みを算出する。割り当て厚みとは、合成３Ｄプリントデータにおいて、各画像を被写体領域ごとに立体的な凹凸として表現するための厚み情報である。厚み割り当てモードごとの割り当て厚み算出処理の詳細は後述する。
【００４８】
ステップＳ２０７では、システム制御部１０１は、ステップＳ２０３で設定された基底面モードに応じて、ステップＳ２０４でグルーピングされた画像ごとに基底面を決定する。基底面モードごとの基底面決定処理の詳細は後述する。
【００４９】
ステップＳ２０８では、システム制御部１０１は、ステップＳ２０５〜Ｓ２０７で求められた各種算出値とこれら算出値やレイアウト情報に基づく３Ｄ画像データを表示部１１１にプレビュー表示する。各種算出値とは、記録媒体１２５から読み出された画像と距離マップ、ステップＳ２０６で算出された画像ごとの割り当て厚み、ステップＳ２０７で算出された画像ごとの基底面を含む。プレビュー表示は、例えば３Ｄ画像を立体的に表示し、操作部１１７のユーザ操作に応じてレビュー角度などを変更可能に表示する処理である。
【００５０】
ステップＳ２０９では、システム制御部１０１は、操作部１１７からのユーザによる手動変更指示があったか否かを判定し、手動変更指示があった場合はステップＳ２１０に進み、ない場合はステップＳ２１１に進む。
【００５１】
ステップＳ２１０では、システム制御部１０１は、操作部１１７からのユーザによる手動変更指示を受け付け、ステップＳ２０８でレビュー表示した各種算出値を、ユーザにより変更された値に更新する。
【００５２】
ステップＳ２１１では、システム制御部１０１は、操作部１１７からの各種算出値の最終決定指示があったか否かを判定し、最終決定指示があった場合はステップＳ２１２に進み、ない場合はステップＳ２０２に戻る。
【００５３】
ステップＳ２１２では、システム制御部１０１は、３Ｄプリントデータ生成部１２４により、ステップＳ２０１で設定したレイアウト情報およびステップＳ２０６で算出した割り当て厚みに基づいて、ステップＳ２００で選択した各画像の距離マップを、各画像の被写体領域ごとの厚み情報を有する３Ｄプリントデータに変換する。
【００５４】
ステップＳ２１３では、システム制御部１０１は、３Ｄプリントデータ生成部１２４により、ステップＳ２１２で変換された各画像の部分３Ｄプリントデータを、ステップＳ２０１で設定したレイアウト情報とステップＳ２０７で決定した基底面に基づいて合成し、合成３Ｄプリントデータを生成する。
【００５５】
＜割り当て厚み算出処理＞次に、図４を参照して、図２のステップＳ２０６における割り当て厚み算出処理について説明する。
【００５６】
図４（ａ）は、厚み割り当てモードに含まれる除算モードにおける割り当て厚み算出処理を示している。
【００５７】
ステップＳ４００では、システム制御部１０１は、以下の式１から求めた厚みを全画像の割り当て厚みとして算出する。
【００５８】
（式１）
割り当て厚み＝許容厚み÷重複画像数
図４（ｂ）は、厚み割り当てモードに含まれる面積比率モードにおける割り当て厚み算出処理を示している。
【００５９】
ステップＳ４０１では、システム制御部１０１は、以下の式２から各グループの画像ごとの可視面積を求める。
【００６０】
（式２）
可視面積＝（画像サイズ×拡大率）−重複順序が上位の画像の重複する可視面積
ステップＳ４０２では、システム制御部１０１は、同じグループ内で重複順序が下位の画像があるか否か判定し、下位の画像があった場合はステップＳ４０１に戻り、ない場合はステップＳ４０３に進む。
【００６１】
ステップＳ４０３では、システム制御部１０１は、同じグループ内の各画像の可視面積を全て加算して可視面積和を求める。
【００６２】
ステップＳ４０４では、システム制御部１０１は、以下の式３から各画像の割り当て厚みを求める。
【００６３】
（式３）
割り当て厚み＝許容厚み×（画像ごとの可視面積÷可視面積和）
ステップＳ４０５では、システム制御部１０１は、同じグループ内に割り当て厚みを未算出の画像があるか否かを判定し、未算出の画像があった場合はステップＳ４０４に戻り、ない場合はステップＳ４０６に進む。
【００６４】
ステップＳ４０６では、システム制御部１０１は、未処理のグループがあるか否かを判定し、未処理のグループがあった場合はステップＳ４０１に戻り、ない場合は割り当て厚み算出処理を終了する。
【００６５】
図４（ｃ）は、厚み割り当てモードに含まれる距離分布モードにおける割り当て厚み算出処理を示している。
【００６６】
ステップＳ４０７では、システム制御部１０１は、記録媒体１２５から各画像に対応した距離マップを読み出し、各グループの画像ごとに以下の式４から距離分布範囲を求める。
【００６７】
（式４）
距離分布範囲＝距離マップ中で最も遠い距離−距離マップ中で最も近い距離
ステップＳ４０８では、システム制御部１０１は、同じグループ内で未処理の画像があるか否か判定し、未処理の画像があった場合はステップＳ４０７に戻り、ない場合はステップＳ４０９に進む。
【００６８】
ステップＳ４０９では、システム制御部１０１は、同じグループ内の各画像の距離分布範囲を全て加算して距離分布和を求める。
【００６９】
ステップＳ４１０では、システム制御部１０１は、以下の式５から割り当て厚みを求める。
【００７０】
（式５）
割り当て厚み＝許容厚み×（画像ごとの距離分布範囲÷総距離分布和）
ステップＳ４１１では、システム制御部１０１は、同じグループ内に割り当て厚みを未算出の画像があるか否かを判定し、未算出の画像があった場合はステップＳ４１０に戻り、ない場合はステップＳ４１２に進む。
【００７１】
ステップＳ４１２では、システム制御部１０１は、未処理のグループがあるか否かを判定し、未処理のグループがあった場合はステップＳ４０７に戻り、ない場合は割り当て厚み算出処理を終了する。
【００７２】
図５は、図２のステップＳ２００で選択された画像３００、３０１、３０２について、基底面モードにより各基底面が決定された場合に生成される合成３Ｄプリントデータの厚み情報を視覚的に表現した断面図を例示している。
【００７３】
図５（ａ）の合成３Ｄプリントデータ５００、５０１、５０２は、個別モードで基底面が決定された場合を例示している。個別モードでは、グループごとに算出された重複画像数に基づいて画像群の画像５００、５０１、５０３ごとに基底面および割り当て厚みが決定される。
【００７４】
図５（ｂ）の合成３Ｄプリントデータ５０３、５０４、５０５は、前詰めモードで基底面が決定された場合を例示している。前詰めモードでは、グループごとに算出された重複画像数のうち最大値に基づいて割り当て厚みが決定されると共に、重複も隣接もしていない画像または画像群５０３、５０５の最上部の位置を揃えるように基底面が決定される。
【００７５】
図５（ｃ）の合成３Ｄプリントデータ５０６、５０７、５０８は、奥詰めモードで基底面が決定された場合を例示している。奥詰めモードでは、グループごとに算出された重複画像数のうち最大値に基づいて割り当て厚みが決定されると共に、重複も隣接もしていない画像または画像群５０７、５０８の最下部の位置を揃えるように基底面が決定される。
【００７６】
本実施形態によれば、複数の画像が重複するレイアウトであっても許容厚みの範囲内でレイアウトを自由に変更でき、立体感を適切に表現できる合成３Ｄプリントデータを生成することができる。
【００７７】
［実施形態２］次に、図６から図８を参照して、実施形態２について説明する。
【００７８】
本実施形態は、実施形態１の図２で説明した３Ｄプリントデータ生成処理に対して、重複する画像間や重複していない画像間の高低差に上限を設けることで、見た目の違和感を低減する構成である。
【００７９】
なお、本実施形態の装置構成は、図１と同様であるため、説明を省略する。
【００８０】
図６は、本実施形態の３Ｄプリントデータ生成処理を示し、図２と同様の処理は説明を省略する。
【００８１】
ステップＳ６００及びＳ６０１では、図２のステップＳ２００及びＳ２０１と同様の処理を行う。
【００８２】
ステップＳ６０２では、システム制御部１０１は、操作部１１７からの許容厚みの変更指示があったか否かを判定し、変更指示があった場合はステップＳ６０３に進み、ない場合はステップＳ６０４に進む。
【００８３】
ステップＳ６０３では、システム制御部１０１は、操作部１１７からの許容厚みの変更指示を受け付ける。
【００８４】
ステップＳ６０４及びＳ６０５では、図２のステップＳ２０４及びＳ２０５と同様の処理を行う。
【００８５】
ステップＳ６０６では、システム制御部１０１は、ステップＳ６０４でグルーピングされた画像ごとに割り当て厚みおよび基底面を算出する。割り当て厚み算出処理および基底面算出処理の詳細は後述する。
【００８６】
ステップＳ６０７及びＳ６０８では、図２のステップＳ２１２及びＳ２１３と同様の処理を行う。
【００８７】
＜割り当て厚み算出処理＞以下、図７を参照して、図６のステップＳ６０６における割り当て厚みおよび基底面算出処理について説明する。
【００８８】
ステップＳ７００では、システム制御部１０１は、以下の式６から求めた割り当て厚み及び基底面の座標を全画像の割り当て厚みおよび基底面として仮決定する。
【００８９】
（式６）
割り当て厚み＝許容厚み÷重複画像数
基底面＝重複順序が下位の画像数×割り当て厚み
ステップＳ７０１では、システム制御部１０１は、ステップＳ６０４でグルーピングした画像グループから割り当て厚みが未算出の画像グループを選択する。
【００９０】
ステップＳ７０２では、システム制御部１０１は、ステップＳ７０１で選択した画像グループから割り当て厚みが未算出の基準画像を選択する。
【００９１】
ステップＳ７０３では、システム制御部１０１は、ステップＳ７０１で選択した画像グループから隣接する下位画像（以下、隣接下位画像）を選択する。隣接下位画像は、ステップＳ７０２で選択した基準画像と重複する領域を有し、かつ重複順序が下位の画像から選択する。候補となる画像が複数ある場合には、例えば重複する領域の面積が大きい画像を優先的に選択すれば良い。
【００９２】
ステップＳ７０４では、システム制御部１０１は、厚み切り替え判定距離を算出する。具体的には、基準画像における最も距離が遠い座標と、隣接下位画像における最も距離が近い座標を判定座標として設定し、これら判定座標の間の画像平面上における２次元距離を厚み切り替え判定距離として算出する。なお、判定座標は、基準画像と隣接下位画像の距離マップを参照することで定まり、厚み切り替え判定距離は、レイアウト情報を参照することで定まる。
【００９３】
ステップＳ７０５では、システム制御部１０１は、ステップＳ７０４で算出した厚み切り替え判定距離が所定の閾値以下であるか否かを判定する。判定の結果、閾値以下であった場合は境界判定モードに遷移すると共にステップＳ７０６に進み、閾値以下でない場合は高さ判定モードに遷移すると共にステップＳ７０９に進む。
【００９４】
ステップＳ７０６では、システム制御部１０１は、境界判定モードにおける基準画像および隣接下位画像の各基準点を決定する（詳細は後述する）。
【００９５】
ステップＳ７０７では、システム制御部１０１は、ステップＳ７０６で決定した基準点の高さの差分が所定値以上離れているか否かを判定し、所定値以上離れていた場合はステップＳ７０８に進み、離れていない場合はステップＳ７１１に進む。
【００９６】
ステップＳ７０８では、システム制御部１０１は、ステップＳ７０６で決定した基準点の高さの差分に基づいて、境界判定モードにおける基準画像および隣接下位画像の各割り当て厚みおよび基底面の更新を行う（詳細は後述する）。
【００９７】
一方、ステップＳ７０９では、システム制御部１０１は、高さ判定モードにおける基準画像および隣接下位画像の各基準点を決定する（詳細は後述する）。
【００９８】
ステップＳ７１０では、システム制御部１０１は、ステップＳ７０９で決定した基準点の高さ差分に基づき、高さ判定モードにおける基準画像および隣接下位画像の各割り当て厚みおよび基底面の更新を行う（詳細は後述する）。
【００９９】
ステップＳ７１１では、システム制御部１０１は、ステップＳ７０１で選択した画像グループについて、ステップＳ７０２で基準画像に選択されていない画像があるか否か判定する。判定の結果、選択されていない画像があった場合はステップＳ７０１に戻り、選択されていない画像がない場合はステップＳ７１２に進む。
【０１００】
ステップＳ７１２では、システム制御部１０１は、ステップＳ７０１で選択されていない画像グループがあるか否かを判定し、選択されていない画像グループがあった場合はステップＳ７０１に戻り、ない場合は処理を終了する。
【０１０１】
＜基準点決定、割り当て厚み／基底面の更新＞次に、図８を参照して、図７のステップＳ７０６、Ｓ７０８、Ｓ７０９およびＳ７１０における基準点決定、割り当て厚み算出、基底面更新の各処理について詳細に説明する。
【０１０２】
図８（ａ）は、本実施形態の境界判定モードにおける更新前の割り当て厚みおよび基底面に基づいて生成された合成３Ｄプリントデータの厚み情報を視覚的に表現した断面図を例示している。図８（ａ）において、基準画像および隣接下位画像はそれぞれステップＳ７００で仮決定した割り当て厚みおよび基底面に基づいて、部分３Ｄプリントデータ８００、８０１のようになる。また、境界判定モードでは、基準画像および隣接下位画像の合成画像平面上の境界部分の座標を探索することにより基準点８０２及び８０３を決定する。
【０１０３】
図８（ｂ）は、本実施形態の境界判定モードにおける更新後の割り当て厚みおよび基底面に基づいて生成された合成３Ｄプリントデータの厚み情報を視覚的に表現した断面図を例示している。図８（ｂ）において、更新された割り当て厚みおよび基底面は、例えば以下の式７から求められる。
【０１０４】
（式７）
更新された割り当て厚み＝仮割り当て厚み×（高さ差分÷所定値）
更新された基底面＝仮基底面−（更新された割り当て厚み−仮割り当て厚み）
そして、更新された割り当て厚みおよび基底面に基づいて合成３Ｄプリントデータを更新することで、部分３Ｄプリントデータ８００、８０１は、部分３Ｄプリントデータ８０４、８０５のように厚み情報が拡大されたものに更新される。また、基準点８０２、８０３は、基準点８０６、８０７のように所定値に収まるように更新される。
【０１０５】
このように、基準点８０２、８０３の高さ差分が所定値以内に収まるように基準画像と隣接下位画像の割り当て厚みと基底面が更新される。
【０１０６】
図８（ｃ）は、本実施形態の高さ判定モードにおける更新前の割り当て厚みおよび基底面に基づいて生成された合成３Ｄプリントデータの厚み情報を視覚的に表現した断面図を例示している。図８（ｃ）において、部分３Ｄプリントデータ８０８、８０９は、図８（ａ）に示した部分３Ｄプリントデータ８００、８０１と同様である。図８（ｃ）において、距離マップを参照して、基準画像のうち最も距離が遠い座標と、隣接下位画像のうち最も距離が近い座標を探索することにより基準点８１０、８１１を決定する。
【０１０７】
図８（ｄ）は、本実施形態の高さ判定モードにおける更新後の割り当て厚みおよび基底面に基づいて生成された合成３Ｄプリントデータの厚み情報を視覚的に表現した断面図を例示している。図８（ｄ）において、更新された割り当て厚みおよび基底面は、例えば以下の式８から求められる。
【０１０８】
（式８）
更新された割り当て厚み＝仮割り当て厚み＋所定値
更新された基底面＝仮基底面−（更新された割り当て厚み−仮割り当て厚み）
そして、更新された割り当て厚みおよび基底面に基づいて合成３Ｄプリントデータを更新することで、部分３Ｄプリントデータ８０８、８０９は、部分３Ｄプリントデータ８１２、８１３のように厚み情報が拡大されたものに更新される。また、基準点８１０、８１１は、基準点８１４、８１５のように更新される。
【０１０９】
このように、基準点８１０、８１１の高さ差分が所定値以内に収まるように基準画像と隣接下位画像の割り当て厚みと基底面が更新される。
【０１１０】
本実施形態によれば、複数の画像が重複するレイアウトであっても許容厚みの範囲内で各画像の割り当て厚みを拡張するので、見た目の違和感を低減したレイアウトに変更でき、立体感を適切に表現できる合成３Ｄプリントデータを生成することができる。
【０１１１】
なお、上述した実施形態においては、本発明をデジタルカメラ等の撮像装置に適用した場合を例に説明したが、本発明はこの例に限定されず、３Ｄプリントデータ生成機能を有する装置であれば適用可能である。すなわち、本発明は、パーソナルコンピュータやその一種であるタブレット、携帯電話の一種であるスマートフォンなどに適用可能である。
【０１１２】
［他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【０１１３】
１００…デジタルカメラ、１０１…システム制御部、１０５…撮像部、１０７…画像処理部、１１７…操作部、１２４…３Ｄプリントデータ生成部、１２５…記録媒体
【図１】
2017079016.tif 000003
【図２】
2017079016.tif 000004
【図３】
2017079016.tif 000005
【図４】
2017079016.tif 000006
【図５】
2017079016.tif 000007
【図６】
2017079016.tif 000008
【図７】
2017079016.tif 000009
【図８】
2017079016.tif 000010