(57)【要約】      （修正有）【課題】撮影画像に写った複数の被写体を立体表現する際に、立体画像を出力する装置の厚さの上限値の範囲内で複数の被写体を効率よく立体表現することができる画像出力装置を提供する。【解決手段】画像出力装置は、複数の被写体を含む画像データを取得する取得手段と、画像データの記複数の被写体の距離に対応する深度情報を生成する生成手段１１１と、画像データにおける複数の被写体の領域毎の特徴情報を検出する検出手段１１０と、生成された深度情報を、領域毎に検出された特徴情報に基づいて、奥行き情報に変換する変換手段１１２と、画像データと奥行き情報に基づいて立体画像データを出力する出力手段１１３と、を備える画像出力装置１００。【選択図】図１
2018042106.tif 000002
【特許請求の範囲】
【請求項１】
複数の被写体を含む画像データを取得する取得手段と、
前記画像データの前記複数の被写体の距離に対応する深度情報を生成する生成手段と、
前記画像データにおける前記複数の被写体の領域毎の特徴情報を検出する検出手段と、
前記生成された深度情報を、前記領域毎に前記検出された特徴情報に基づいて、奥行き情報に変換する変換手段と、
前記画像データと前記奥行き情報に基づいて立体画像データを出力する出力手段と、
を備える
ことを特徴とする画像出力装置。
【請求項２】
前記変換手段は、予め決められた最大厚さの制約を満たすように前記奥行き情報に変換する
ことを特徴とする請求項１に記載の画像出力装置。
【請求項３】
前記生成手段は、前記画像データの領域毎のデフォーカス量を用いて前記深度情報を生成する
ことを特徴とする請求項１または２に記載の画像出力装置。
【請求項４】
前記複数の被写体の領域毎の深度情報と前記予め決められた最大厚さを比較する比較手段
をさらに備え、
前記変換手段は、前記比較手段の比較結果に応じて、前記深度情報を前記奥行き情報に変換する
ことを特徴とする請求項２または３に記載の画像出力装置。
【請求項５】
前記変換手段は、前記比較手段の結果に応じて、前記領域毎に厚さ方向にオフセット付加量を付ける
ことを特徴とする請求項４に記載の画像出力装置。
【請求項６】
前記変換手段は、前記比較手段の結果に応じて、前記領域毎に距離の圧縮比率を変更する
ことを特徴とする請求項４に記載の画像出力装置。
【請求項７】
前記検出手段は、前記画像から前記特徴情報として、人物の顔を検出する
ことを特徴とする請求項１〜６のいずれか１項に記載の画像出力装置。
【請求項８】
複数の被写体を含む画像データを取得する取得工程と、
前記画像データの前記複数の被写体の距離に対応する深度情報を生成する生成工程と、
前記画像データにおける前記複数の被写体の領域毎の特徴情報を検出する検出工程と、
前記生成された深度情報を、前記領域毎に前記検出された特徴情報に基づいて、奥行き情報に変換する変換工程と、
前記画像データと前記奥行き情報に基づいて立体画像データを出力する出力工程と、
を有する
ことを特徴とする画像出力方法。
【請求項９】
請求項１〜７のいずれか１項に記載の画像出力装置の各手段としてコンピュータを機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像出力装置、画像出力方法、及び撮像装置に関し、特に入力された画像と距離情報から立体画像を出力する画像出力装置に関する。
【背景技術】
【０００２】
近年、樹脂や石膏粉末などの記録材を積層することで立体を造形する装置である、３Ｄプリンタが広く普及し始めている。そして、この３Ｄプリンタを用いて、撮影画像と、その奥行きを示す距離情報を元に、撮影画像を立体的なレリーフ、すなわち立体画像を出力する装置やシステムが提供されるようになった。立体画像を出力する方法としては、３Ｄプリンタ以外にも、熱膨張性シートを熱変形させることで立体を造形する方法や、型押し印刷やエンボス加工印刷や、レーザー彫刻など様々なものが提供されている。いずれの出力方法も、出力する立体画像の厚さに上限値があったり、厚みをつけるほど多くの記録材を積層するためにコストが掛かる恐れがある。３Ｄプリンタは、他の方式に比べて厚さの最大高低差が大きいので、立体画像をそのまま出力が可能となるが、大量の記録材を必要とする。
【０００３】
そこで、特許文献１および特許文献２では、厚さの上限値がある立体画像出力方法や、厚さを圧縮した際の立体画像出力方法について記載されている。具体的には、特許文献１では、隣り合う複数の被写体の境界線を実際より差が際立つように立体出力を行う方法が開示されている。つまり、奥行き方向に手前の人物１と奥の人物２の境界において、人物１の境界を実際より手前になるよう、人物２の境界を実際より奥になるよう立体出力する方法が開示されている。境界の厚さの差分を大きくすることで、厚さを圧縮した場合でも、被写体ごとの奥行き方向の位置関係を強調することが可能となる。また、特許文献２では、厚さの上限値がある立体画像の出力方法において、画素毎の高さを厚さの上限値で除して、その剰余に画素の高さを置き換えて、立体画像を出力することで、厚さの上限値に収まるような方法を開示している。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−２１３３２０号公報
【特許文献２】特許第４９９８３１７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の立体画像の出力装置では、複数の注目被写体が写った撮影画像を立体画像として出力する際に、記録材を多く消費してしまったり、厚さの上限があるなかでは最適な立体表現を得られないことがあった。例えば、特許文献１の装置では、境界線を際立たせることができるが、被写体自身の立体感、つまり被写体内の凹凸は圧縮されているので立体感を十分に表現することが難しい。また、特許文献２の装置では、ｚ軸方向の高さがなだらかに変化する領域が、厚さの上限値で割り切れる毎に高さがノコギリ状に変化してしまうので、人物などの被写体を立体的に表現すると見た目の違和感が大きい立体画像となってしまう。
【０００６】
本発明は、上記課題を鑑みて、撮影画像に写った複数の被写体を立体表現する際に、立体画像を出力する装置の厚さの上限値の範囲内で複数の被写体を効率よく立体表現することができる画像出力装置を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上記の課題を解決するために、本発明の画像出力装置は、複数の被写体を含む画像データを取得する取得手段と、前記画像データの前記複数の被写体の距離に対応する深度情報を生成する生成手段と、前記画像データにおける前記複数の被写体の領域毎の特徴情報を検出する検出手段と、前記生成された深度情報を、前記領域毎に前記検出された特徴情報に基づいて、奥行き情報に変換する変換手段と、前記画像データと前記奥行き情報に基づいて立体画像データを出力する出力手段と、を備えることを特徴とする。
【発明の効果】
【０００８】
本発明によれば、撮影画像に写った複数の被写体を立体表現する際に、立体画像を出力する装置の厚さの上限値の範囲内で複数の被写体を効率よく立体表現することができる画像出力装置を提供することができる。
【図面の簡単な説明】
【０００９】
【図１】実施例の立体画像データ出力機能付きデジタルカメラのブロック図である。
【図２】撮影画像と距離情報と立体出力を例示した概略図である。
【図３】撮影画像と距離情報と立体出力を例示した概略図である。
【図４】立体出力を生成するフローを示すフローチャートである。
【図５】距離情報変換部のブロック図である。
【図６】生成した立体出力データを例示した概略図である。
【図７】厚さ情報を反映した立体出力データを例示した概略図である。
【図８】特徴の関係を反映した立体出力データを例示した概略図である。
【発明を実施するための形態】
【００１０】
以下、本発明を実施するための最良の形態について図面などを参照して説明する。
【００１１】
本実施形態に係る立体画像データ出力機能付きデジタルカメラの構成について図１を参照して説明する。図１に示すデジタルカメラ（画像出力装置）１００は、立体画像データ出力機能付きデジタルカメラ本体である。内部バス１０２は、各ブロックを接続する内部バスである。システム制御部１０１は、内部バス１０２で接続された各ブロックの制御を行う。ＦＬＡＳＨメモリコントローラ１０３は、システム制御部１０１からの要求に基づき、ＦＬＡＳＨメモリ１０４に対する不揮発性データの読み書きを行う。システム制御部１０１は、ＦＬＡＳＨメモリ１０４に格納されたプログラムを元に動作し、撮影した画像などの不揮発性データをＦＬＡＳＨメモリ１０４に格納する。ＤＲＡＭコントローラ１０５は、各ブロックからの要求に基づきＤＲＡＭ１０６に対するデータの読み書きを行う。システム制御部１０１や各ブロックは、動作中の一時データなどのＤＲＡＭ１０６に格納して用いる。
【００１２】
操作部１０７は、デジタルカメラの外装に設けられたボタン等で構成され、使用者はそれを操作することで、システム制御部１０１へ指示を伝えることができる。撮像部１０８は、被写体を撮影する撮像部である。また、撮像部１０８は、被写体の光学像を取り込むレンズ及び光学像を電気信号に変換するＣＣＤやＣＭＯＳ素子等のイメージセンサで構成される。イメージセンサでは、取り込んだ光学像の領域毎のピントのずれ量、つまりデフォーカス量を測定する。
【００１３】
画像信号処理部１０９は、システム制御部１０１の指示に基づき、撮像部１０８を制御して被写体を撮影して得られた画像データをＤＲＡＭ１０６に格納する。また、撮影と同時に、撮像部１０８で測定したデフォーカス量を、画像データとともにＤＲＡＭ１０６に格納する。さらに、画像データを表示用に縮小して、ＤＲＡＭ１０６に設けた表示用フレームメモリに格納する。特徴検出部（検出手段）１１０は、ＤＲＡＭ１０６に格納された画像データから、注目被写体として人物の顔を検出し、その位置とサイズをシステム制御部１０１に通知する。システム制御部１０１は、位置とサイズを元に、注目被写体のスコアを付け、最もスコアが高い注目被写体を主被写体として取り扱う。
【００１４】
厚さ情報取得部１１４は、外部の３Ｄプリンタなどの立体出力を実体化する機器の出力する厚さの上限値となる厚さ情報を取得する。距離情報生成部（生成手段）１１１は、ＤＲＡＭ１０６に格納された画像データと、デフォーカス量を元に、画像の領域毎の距離マップ（深度情報）を生成して、ＤＲＡＭ１０６に格納する。距離情報変換部（変換手段）１１２は、特徴検出部１１０の結果を元に、システム制御部１０１の制御に応じて、距離マップを立体出力の奥行き情報に変換する。立体出力生成部（出力手段）１１３は、ＤＲＡＭ１０６に格納された画像データと、距離情報変換部１１２で変換した立体出力の奥行き情報の２つを合わせて、立体画像データとして外部に出力する。出力先として外部の３Ｄプリンタなどを接続することで、出力した立体画像データを実体化することができる。ＬＣＤコントローラ１１５は、ＤＲＡＭ１０６に格納された表示用フレームメモリの内容を読み出して、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）１１６に表示する。
【００１５】
なお、図１に示して説明した立体画像データ出力機能付きデジタルカメラの構成は一例であり、以下に説明する動作を実行できるのであれば、本発明に係る立体画像データ出力機能付きデジタルカメラの構成は、図１に示した構成に限定されるものではない。
【００１６】
次に、立体画像データ出力機能付きデジタルカメラ１００の立体画像データ出力処理について説明する。まず、図２および図３を参照して、デジタルカメラ１００の撮影画像と撮影時に取得する付加情報について説明する。ここで、本実施形態における付加情報とは、撮影画像の距離マップと、撮影画像から検出した特徴情報である。図２（Ａ）は、画像を撮影した時の状況を横から俯瞰した概略図である。デジタルカメラ１００はデジタルカメラ本体であって、被写体として人物２０１と２０２が、デジタルカメラ１００からの異なる距離ｄ１とｄ２に位置している。軸ｚはカメラの光軸方向で、軸ｙは地面に垂直の軸を示している。図２（Ｂ）に示す画像２００は、デジタルカメラ１００を用いて、図２（Ａ）に示した撮影状況により得られた撮影画像である。人物２０１と２０２に加えて、背景には樹木２０３が写っている。なお、軸ｘは水平方向、軸ｙは垂直方向の軸を示している。
【００１７】
図２（Ｃ）に示す距離マップ２２０は、図２（Ａ）に示した撮影時に得られた撮影画像２００に対する距離マップである。距離マップ２２０は、撮像部１０８から取得した画像データの領域毎のデフォーカス量を用いて、距離情報生成部１１１が生成する。距離マップ２２０においては、色が濃い領域が手前、薄い領域が奥に位置することを示す。デジタルカメラ１００に近い人物２０１が最も濃く、次いで人物２０２がやや濃くなっている。
【００１８】
図２（Ｄ）は、撮影画像２００に対して、特徴検出部１１０が注目被写体として検出した人物２０１と２０２の位置とサイズを枠２１１と２１２で囲った図である。本実施形態に係るデジタルカメラ１００では、撮影時に図２（Ｂ）の撮影画像と、付加情報として図２（Ｃ）の距離マップと、図２（Ｄ）の特徴情報を取得する。
【００１９】
次に、撮影画像と上記の付加情報を元に行う立体出力処理について説明する。図３は、画像を撮影した時の状況を横から俯瞰した概略図と立体出力の関係を示す図である。距離情報変換部１１２は、図２（Ｃ）に示した距離マップ２２０を立体出力の奥行き情報に変換する。特徴検出部１１０が注目被写体として検出した人物２０１と２０２の奥行き方向の存在範囲Ｈ１を立体化範囲として立体出力の奥行き情報に変換を行う。図３に示すように、人物２０２より遠い無限遠の領域が背景２４０となり、人物２０１と２０２は奥行きを付けている。立体出力生成部１１３では、図２（Ｂ）に示した撮影画像２００と距離情報変換部１１２で変換した立体出力の奥行き情報を元に立体化を行う。
【００２０】
次に、図４を参照して、本実施形態に係る立体出力データの生成処理について説明する。図４は、システム制御部１０１の制御に基づき、立体出力生成部１１３が立体出力を生成する処理を示すフローチャートである。まず、ステップＳ３０１では、撮像部１０８で撮影した信号を、画像信号処理部１０９を経由して、撮影画像とデフォーカス量をＤＲＡＭ１０６に格納する。次に、ステップＳ３０２では、ステップＳ３０１で取得したデフォーカス量を用いて、距離情報生成部１１１で撮影画像に対応する距離マップを生成する。次に、ステップＳ３０３では、特徴検出部１００でＤＲＡＭ１０６に格納された撮影画像から、特徴となる被写体およびそれらの位置関係を検出する。
【００２１】
次に、ステップＳ３０４では、ステップＳ３０３で検出した被写体、およびそれらの位置関係に基づいて、距離情報変換部１１２で予め与えられた最大厚さの制約を満たすように立体出力の奥行き情報に変換する。そして、ステップＳ３０５では、距離情報変換部１１２で変換した立体出力の奥行き情報を基に立体出力生成部１１３で立体化を行う。立体出力生成部１１３で生成した立体出力データをＤＲＡＭ１０６に格納し、立体出力生成フローを終える。こうして生成された立体出力データは、例えば、背景から順次スライス状に出力することで、接続された外部の３Ｄプリンタなどで実体化することができる。
【００２２】
次に、本実施形態に係る距離情報変換部１１２の変換処理について、図５を用いて詳細に説明する。図５は、距離情報変換部１１２の構成を示すブロック図である。距離情報変換部１１２では、図５に示すように、被写体変換部１５０と、厚さ情報変換部１５１と、距離比較変換部１５２を用いて距離マップの変換処理を行う。
【００２３】
次に、被写体変換部１５０の処理について、図６を参照して説明する。図６（Ａ）は、画像を撮影した時の状況を横から俯瞰した概略図である。図６（Ａ）に示す奥行きＨ２は、人物２０１の奥行き方向の範囲を示し、奥行きＨ３は、人物２０２の奥行き方向の範囲を示している。被写体変換部１５０では、先に示した図２（Ｃ）の距離マップ２２０より、特徴検出部１１０が検出した人物２０１、２０２の奥行きＨ２、Ｈ３の範囲を、人物２０１、２０２ごとに各々に対応した２つの立体出力の奥行き情報に変換を行う。図６（Ｂ）は、被写体変換部１５０で変換した立体出力の奥行き情報を用いて人物２０１と２０２を立体化したものを横から見た図である。変換した立体出力の奥行き情報を用いて、背景２４０から人物２０１と２０２の各々に対してｚ軸方向に奥行きＨ２、Ｈ３の奥行きが付けられ、立体化されている。以上のように、被写体変換部１５０では、距離マップから、特徴検出部１１０が検出した被写体毎に立体出力の奥行き情報に変換を行う。
【００２４】
厚さ情報変換部１５１および距離比較変換部１５２について図７および図８を参照して説明する。厚さ情報変換部１５１および距離比較変換部１５２では、被写体変換部１５０で変換した立体出力の奥行き情報に対してさらに変換処理を行う。まず、厚さ情報変換部１５１の処理について図７を用いて説明する。厚さ情報変換部１５１では、厚さ情報取得部１１４で取得した厚さ情報を用いて変換を行う。図７は、変換した立体出力の奥行き情報が厚さの上限値を超えてしまう場合の、立体出力の奥行き情報を変換する方法を示す図である。図７に示す厚さ情報Ｈは、厚さ情報取得部１１４で取得した厚さ情報である。距離比較変換部１５２は、厚さ情報Ｈと立体出力の奥行き情報Ｈ３またはＨ２との比較結果に応じて、厚さ情報Ｈの制約に収まるように変換を行う。つまり、取得した厚さ情報Ｈより立体出力の奥行き情報Ｈ３またはＨ２が大きくなってしまう場合、取得した厚さ情報Ｈにあわせて、人物２０１、２０２ごとに奥行き情報を圧縮し、厚さ情報Ｈの制約に収まるように変換を行う。本実施形態では、人物２０１、２０２の奥行きが厚さの上限値を超えていたため、人物２０１、２０２の奥行きが厚さ情報Ｈより小さくなるように厚さ情報Ｈ２及び、Ｈ３を圧縮している。
【００２５】
次に、距離比較変換部１５２の処理について図８を参照して説明する。距離比較変換部１５２では、特徴の奥行き方向の距離における位置関係を用いて変換を行う。図８は、変換した立体出力の奥行き情報を人物２０１と２０２の奥行き方向の距離の位置関係を反映して変換する方法を示す図である。奥行き方向の距離とは、先に示した図２（Ａ）の人物２０１と２０２の奥行き方向の位置を示す距離ｄ１とｄ２である。図２（Ａ）の距離ｄ１とｄ２からわかるように、人物２０２に対して、人物２０１は、ｚ軸方向に近い距離に位置している。しかし、図６（Ｂ）に示した立体出力の奥行き情報では、人物２０１の奥行き情報Ｈ２は、人物２０２の奥行き情報Ｈ３より、遠い距離に位置している。そのため、人物２０１と２０２の奥行き方向の距離ｄ１とｄ２を反映して立体出力の奥行き情報の変換を行う。以下に奥行き方向の位置に基づいて立体出力の奥行き情報を変換する方法を３つ説明する。
【００２６】
１つ目の変換方法では、図８（Ａ）に示すように、人物２０２の背景２４０からの高低差より人物２０１の高低差が大きくなるように人物２０１の高低差にオフセット（オフセット付加量）５０１を付け、人物２０２の高低差より大きくなるように変換を行う。２つ目の図８（Ｂ）では、図８（Ａ）とは反対に人物２０２の高低差にマイナスのオフセットをつけることで人物２０２の高低差が人物２０１より小さくなるように変換を行う。３つ目の図８（Ｃ）では、人物２０２の高低差を圧縮比率を変更することで人物２０１の高低差より小さくなるように変換を行う。上記３つの変換を使い分けたり、組み合わせて用いることで、立体出力の奥行き情報に特徴毎の距離の位置関係を反映する。使い分けとしては、前述の厚さ情報を用いて、厚さの上限値に対して奥行き情報に余裕がある場合は、図８（Ａ）の方法を用いる。反対に、厚さの上限値に近い場合は図８（Ｂ）や図８（Ｃ）を用いて、厚さの上限値を超えないよう制御する。
【００２７】
なお、本実施形態では、立体出力データを実体として出力する方式として、３Ｄプリンタを挙げているが、他の方式で立体画像を出力する場合でも、同様の効果が得られる。また、本実施形態では、距離マップをカメラから得た領域毎のデフォーカス量から生成しているが、２眼の撮像系により得た視差画像を用いたり、異なる焦点距離で撮影した複数枚の画像から焦点距離毎の領域を検出するなど他の方法で生成してもよい。また、本実施形態では、画像を撮影する機能を持つデジタルカメラとして説明しているが、外部で撮影された画像と、その距離マップを入力して、立体出力データを出力する３Ｄプリンタなどの出力装置や、コンピューター上のプログラムであってもよい。
【００２８】
また、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
【符号の説明】
【００２９】
１００  デジタルカメラ
１１１  距離情報生成部
１１２  距離情報変換部
１１３  立体出力生成部
【図１】
2018042106.tif 000003
【図２】
2018042106.tif 000004
【図３】
2018042106.tif 000005
【図４】
2018042106.tif 000006
【図５】
2018042106.tif 000007
【図６】
2018042106.tif 000008
【図７】
2018042106.tif 000009
【図８】
2018042106.tif 000010