(57)【要約】【課題】印刷結果物から動体の動きの躍動感が伝わる画像データを生成することができる画像処理装置を提供する。【解決手段】画像処理装置としてのカメラ１００は、立体画像情報抽出部１１２ａ、立体画像情報付加部１１２ｂ、及び立体画像情報置換部１１２ｃを備え、立体画像情報抽出部１１２ａは画像データＰ１におけるボール２０２ｂが存在する領域の立体画像情報Ｈ１を画像データＰ１の立体画像情報から抽出し、立体画像情報付加部１１２ｂは立体画像情報Ｈ１に補正情報値ΔＨを付加して新規な立体画像情報Ｈ２を取得し、立体画像情報置換部１１２ｃは画像データＰ０のボール２０２ａの領域が存在する領域においてボール２０２ｂが存在する領域に対応する領域の立体画像情報Ｈ３を立体画像情報Ｈ２に置換する。【選択図】図５Ａ
2016103676.tif 000002
【特許請求の範囲】
【請求項１】
立体画像に関する立体画像情報を有する第１の画像データ及び前記第１の画像データよりも前に撮影され且つ前記立体画像情報を有する第２の画像データを合成して第３の画像データを生成する画像処理装置において、
前記第１の画像データから動く被写体の存在を検出し、前記第１の画像データにおいて前記動く被写体が存在する第１の領域を特定するとともに、前記第２の画像データから前記動く被写体の存在を検出し、前記第２の画像データにおいて前記動く被写体が存在する第２の領域を特定する特定手段と、
前記特定された第１の領域の前記立体画像情報を取得し、該立体画像情報に補正値を付加する付加手段と、
前記第１の画像データ及び前記第２の画像データを合成して前記第３の画像データを生成するとき、前記第２の領域において前記第１の領域に対応する領域である第３の領域の前記立体画像情報を、前記補正値が付加された前記第１の領域の前記立体画像情報に置換する置換手段とを備え、
前記補正値は撮影時間に応じて変化する立体画像の厚みに該当することを特徴とする画像処理装置。
【請求項２】
前記付加手段は前記特定された第１の領域の前記立体画像情報に、前記立体画像の裾の広がりを表す角度情報値を付加することを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記動く被写体の移動速度が速いほど前記角度情報値が表す前記立体画像の裾の広がりが大きくなることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記付加手段は前記動く被写体の移動に応じて変化する色情報を付加することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
立体画像に関する立体画像情報を有する第１の画像データ及び前記第１の画像データよりも前に撮影され且つ前記立体画像情報を有する第２の画像データを合成して第３の画像データを生成する画像処理方法であって、
前記第１の画像データから動く被写体の存在を検出し、前記第１の画像データにおいて前記動く被写体が存在する第１の領域を特定するとともに、前記第２の画像データから前記動く被写体の存在を検出し、前記第２の画像データにおいて前記動く被写体が存在する第２の領域を特定する特定ステップと、
前記特定された第１の領域の前記立体画像情報を取得し、該立体画像情報に補正値を付加する付加ステップと、
前記第１の画像データ及び前記第２の画像データを合成して前記第３の画像データを生成するとき、前記第２の領域において前記第１の領域に対応する領域である第３の領域の前記立体画像情報を、前記補正値が付加された前記第１の領域の前記立体画像情報に置換する置換ステップとを有し、
前記補正値は撮影時間に応じて変化する立体画像の厚みに該当することを特徴とする画像処理方法。
【請求項６】
立体画像に関する立体画像情報を有する第１の画像データ及び前記第１の画像データよりも前に撮影され且つ前記立体画像情報を有する第２の画像データを合成して第３の画像データを生成する画像処理方法をコンピュータに実行させるプログラムであって、
前記画像処理方法は、
前記第１の画像データから動く被写体の存在を検出し、前記第１の画像データにおいて前記動く被写体が存在する第１の領域を特定するとともに、前記第２の画像データから前記動く被写体の存在を検出し、前記第２の画像データにおいて前記動く被写体が存在する第２の領域を特定する特定ステップと、
前記特定された第１の領域の前記立体画像情報を取得し、該立体画像情報に補正値を付加する付加ステップと、
前記第１の画像データ及び前記第２の画像データを合成して前記第３の画像データを生成するとき、前記第２の領域において前記第１の領域に対応する領域である第３の領域の前記立体画像情報を、前記補正値が付加された前記第１の領域の前記立体画像情報に置換する置換ステップとを有し、
前記補正値は撮影時間に応じて変化する立体画像の厚みに該当することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法、並びにプログラムに関する。
【背景技術】
【０００２】
カメラによって撮影された画像データはカメラと被写体との間の距離に関する距離情報を有することから、当該距離情報に基づいて画像データの凹凸に関する立体情報を生成する画像処理装置が知られている（例えば、特許文献１参照）。特許文献１の画像処理装置はさらに画像データ及び立体情報に基づいて立体的な画像データを生成する。生成された立体的な画像データは立体的な画像データを印刷する専用の印刷装置で印刷され、当該印刷装置は立体的な画像データに基づいた立体的な印刷結果物を出力する。この印刷結果物では画像が厚みを有する。
【０００３】
また、動画データから複数の画像データを抽出し、抽出された複数の画像データを合成して動く被写体（以下、「動体」という。）の動きの軌跡を示す平面的な画像データを生成する画像処理装置が知られている（例えば、特許文献２参照）。
【０００４】
ところで、動体の動きの軌跡を、立体的な画像データを印刷する専用の印刷装置から出力される立体的な印刷結果物において再現したいというニーズがある。このニーズに対応するために、特許文献１の画像処理装置が生成するような立体的な画像データを複数重ね合わせることが考えられる。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第４８８２８２３号公報
【特許文献２】特開２０００−１８７４７８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、複数の立体的な画像データを単純に重ね合わせ、複数の画像データが重複する箇所では画像データが上書されるようにした場合、複数の立体的な画像データが重ね合わされた合成画像データにおいて、異なる時間に撮影された複数の画像の厚みｄに大きな差のない印刷結果物が得られる（図１４参照）。その結果、複数の立体的な画像データが重ね合わされている印刷結果物の観者は印刷結果物に対して動体の動きの軌跡を示す平面的な画像データが印刷された印刷結果物を見たときと同一の印象を抱き、立体的表現に基づく動体の動きの躍動感が印刷結果物の観者に伝わらないという問題がある。すなわち、従来の画像処理装置は、印刷結果物から動体の動きの躍動感が伝わる画像データを生成することができないという問題がある。
【０００７】
本発明の目的は、印刷結果物から動体の動きの躍動感が伝わる画像データを生成することができる画像処理装置及び画像処理方法、並びにプログラムを提供することにある。
【課題を解決するための手段】
【０００８】
上記目的を達成するために、本発明の画像処理装置は、立体画像に関する立体画像情報を有する第１の画像データ及び前記第１の画像データよりも前に撮影され且つ前記立体画像情報を有する第２の画像データを合成して第３の画像データを生成する画像処理装置において、前記第１の画像データから動く被写体の存在を検出し、前記第１の画像データにおいて前記動く被写体が存在する第１の領域を特定するとともに、前記第２の画像データから前記動く被写体の存在を検出し、前記第２の画像データにおいて前記動く被写体が存在する第２の領域を特定する特定手段と、前記特定された第１の領域の前記立体画像情報を取得し、該立体画像情報に補正値を付加する付加手段と、前記第１の画像データ及び前記第２の画像データを合成して前記第３の画像データを生成するとき、前記第２の領域において前記第１の領域に対応する領域である第３の領域の前記立体画像情報を、前記補正値が付加された前記第１の領域の前記立体画像情報に置換する置換手段とを備え、前記補正値は撮影時間に応じて変化する立体画像の厚みに該当することを特徴とする。
【発明の効果】
【０００９】
本発明によれば、印刷結果物から動体の動きの躍動感が伝わる画像データを生成することができる。
【図面の簡単な説明】
【００１０】
【図１】本発明の第１の実施の形態に係る画像処理装置としてのカメラの内部構成を示すブロック図である。
【図２】図１のカメラによって撮影された動体としてのボールを撮影したときに取得される画像データを説明するために用いられる図である。
【図３】図１における距離情報生成部によって生成される距離情報を説明するために用いられる図である。
【図４】図１における距離情報生成部によって実行される距離情報生成処理の手順を示すフローチャートである。
【図５Ａ】図１における立体印刷データ生成部によって実行される立体印刷データ生成処理の手順を示すフローチャートである。
【図５Ｂ】図５ＡのステップＳ５０８，Ｓ５１４，Ｓ５２０において生成される画像データを説明するために用いられる図である。
【図６】図５ＡのステップＳ５２０において生成された画像データを説明するために用いられる図であり、図６（ａ）は該画像データの平面図であり、図６（ｂ）は図６（ａ）におけるVI−VI線に沿う断面図である。
【図７】本発明の第２の実施の形態に係る画像処理装置としてのカメラの内部構成を示すブロック図である。
【図８】図７における角度情報付加部によって立体画像情報に付加される角度情報値を説明するために用いられる図である。
【図９Ａ】図７における立体印刷データ生成部によって実行される立体印刷データ生成処理の手順を示すフローチャートである。
【図９Ｂ】図９ＡのステップＳ９０３，Ｓ９０６，Ｓ９０９において生成される画像データを説明するために用いられる図である。
【図１０】図９ＡのステップＳ９０９において生成された画像データを説明するために用いられる図であり、図１０（ａ）は該画像データの平面図であり、図１０（ｂ）は図１０（ａ）におけるＸ−Ｘ線に沿う断面図である。
【図１１】本発明の第３の実施の形態に係る画像処理装置としてのカメラの内部構成を示すブロック図である。
【図１２Ａ】図１１における立体印刷データ生成部によって実行される立体印刷データ生成処理の手順を示すフローチャートである。
【図１２Ｂ】図１２ＡのステップＳ１２０２，Ｓ１２０４，Ｓ１２０６において生成される画像データを説明するために用いられる図である。
【図１３】図１２ＡのステップＳ１２０６において生成された画像データを説明するために用いられる図であり、図１３（ａ）は該画像データの平面図であり、図１３（ｂ）は図１３（ａ）におけるＸIII−ＸIII線に沿う断面図である。
【図１４】複数の立体的な画像データが単純に重ね合された合成画像データを説明するために用いられる図である。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について図面を参照しながら詳述する。
【００１２】
図１は、本発明の第１の実施の形態に係る画像処理装置としてのカメラ１００の内部構成を示すブロック図である。
【００１３】
カメラ１００は対物レンズ１０１、撮像素子１０２、アナログ信号処理部１０３、画像処理部１０４、カメラ制御部１０５、操作部１０６、メモリ１０７、動体領域検出部１０８、測距部１０９、距離情報生成部１１０、立体画像情報取得部１１１、立体画像情報加工処理部１１２、立体印刷データ生成部１１３、表示部１１４、及び外部Ｉ／Ｆ１１５を備え、立体画像情報加工処理部１１２は立体画像情報抽出部１１２ａ、立体画像情報付加部１１２ｂ、及び立体画像情報置換部１１２ｃを備える。
【００１４】
画像処理部１０４、カメラ制御部１０５、メモリ１０７、動体領域検出部１０８、測距部１０９、距離情報生成部１１０、立体画像情報取得部１１１、立体画像情報抽出部１１２ａ、立体画像情報付加部１１２ｂ、立体画像情報置換部１１２ｃ、立体印刷データ生成部１１３、表示部１１４、及び外部Ｉ／Ｆ１１５はバス１１６を介して互いに接続されている。撮像素子１０２、アナログ信号処理部１０３、及び操作部１０６はカメラ制御部１０５に接続され、アナログ信号処理部１０３は撮像素子１０２に接続されている。
【００１５】
対物レンズ１０１は光束を集光する。撮像素子１０２は、例えば、ＣＣＤ等であり、対物レンズ１０１を通過した光束を光電変換してアナログ画像信号に変換し、アナログ信号処理部１０３に出力する。アナログ信号処理部１０３は入力されたアナログ画像信号に対して相関ダブルサンプリング処理（ＣＤＳ）、ゲイン調整処理、Ａ／Ｄ変換処理等の信号処理をカメラ制御部１０５の指示に応じて施し、アナログ画像信号をデジタル画像信号に変換する。変換されたデジタル画像信号は画像処理部１０４に転送される。画像処理部１０４はデジタル画像信号に対してホワイトバランス調整、補間、輪郭強調、ガンマ補正、階調変換等の画像処理をカメラ制御部１０５の指示に応じて施し、画像データを生成する。生成された画像データはメモリ１０７に格納される。
【００１６】
カメラ制御部１０５は操作部１０６を介して受け付けたユーザの指示を実行するためにカメラ１００の各構成要素を制御する。操作部１０６は、例えば、シャッターボタン１０６ａや撮影モードを決定する撮影モード決定ボタン１０６ｂを備え、シャッターボタン１０６ａや撮影モード決定ボタン１０６ｂはカメラ１００のユーザによって押下される。メモリ１０７は各種データ、例えば、撮影された画像データや複数の画像データが合成された画像データを格納する。また、メモリ１０７はアナログ信号処理部１０３によって変換されたデジタル画像信号を記録する。
【００１７】
動体領域検出部１０８は画像処理部１０４によって生成された画像データに含まれる動体を検出して当該動体が画像データに存在する領域（以下、「動体領域」という。）を特定する。動体が画像データに存在する領域は、例えば、２つの画像データを夫々の対応する画素毎に比較して輝度や色度が一致するか否かに基づいて特定される。測距部１０９はカメラ１００から被写体までの距離を、例えば、位相差方式や三角測距によって測定する。
【００１８】
距離情報生成部１１０は測距部１０９が測定したカメラ１００から被写体までの距離に基づいて距離情報（デプスマップ）を生成する。具体的に、図２（ａ）〜図２（ｄ）の夫々の画像データを用いて距離情報が生成される工程を説明する。図２（ａ）の画像データは時刻ｔ＝ｔ０に撮影された画像データＰ０であり、図２（ｂ）の画像データは時刻ｔ＝ｔ１（ｔ１＞ｔ０）に撮影された画像データＰ１であり、図２（ｃ）の画像データは時刻ｔ＝ｔ２（ｔ２＞ｔ１）に撮影された画像データＰ２であり、図２（ｄ）の画像データは時刻ｔ＝ｔ３（ｔ３＞ｔ２）に撮影された画像データＰ３である。
【００１９】
画像データＰ０〜Ｐ３は地面２０１の上を図２（ａ）中の矢印の方向に移動するボール２０２ａ〜２０２ｄを、真上から撮影したときに取得される。ボール２０２ａ〜２０２ｄは真上から撮影されているため、画像データＰ０〜Ｐ３における地面２０１はカメラ１００から最も離れた部分であり、ボール２０２ａ〜２０２ｄの中央部分はカメラ１００に最も接近している部分である。
【００２０】
距離情報生成部１１０は、カメラ１００と地面２０１やボール２０２ａ〜２０２ｄ（被写体）との距離に基づいて画像データＰ０〜Ｐ３に対応する距離情報３０１〜３０４（図３）を生成する。距離情報３０１〜３０４は白と黒の２階調から構成され、地面２０１の明度が最も低く、ボール２０２の中央部分の明度が最も高い。すなわち、距離情報３０１〜３０４では距離が大きいほど明度が低くなり、距離が小さいほど明度が低い。生成された距離情報３０１〜３０４はメモリ１０７に格納される。なお、距離情報３０１〜３０４がカメラ１００と被写体との距離に基づいて生成される場合を説明したが、距離情報３０１〜３０４は、測距部１０９が被写体に対してパルス状の光を照射して被写体から反射された光の強度レベルに基づいて生成されてもよい。
【００２１】
立体画像情報取得部１１１は距離情報３０１〜３０４に基づいて立体画像に関する立体画像情報（以下、単に「立体画像情報」という。）を取得する。立体画像情報は立体的な画像データを生成するときに使用される情報であり、主に距離情報３０１〜３０４からなる。立体画像情報抽出部１１２ａは立体画像情報取得部１１１によって取得された立体画像情報から動体領域の立体画像情報Ｈを抽出し、抽出された動体領域の立体画像情報Ｈを立体画像情報付加部１１２ｂに転送する。立体画像情報付加部１１２ｂは動体領域の立体画像情報Ｈに補正情報値ΔＨ（補正値）を付加する。具体的に、立体画像情報抽出部１１２ａは画像データＰ１（第１の画像データ）の動体としてのボール２０２ｂの領域（第１の領域）の立体画像情報Ｈ１を抽出し、立体画像情報付加部１１２ｂは立体画像情報Ｈ１に補正情報値ΔＨ（補正値）を付加して新規な立体画像情報Ｈ２を取得する。
【００２２】
立体画像情報置換部１１２ｃは、例えば、上記画像データＰ０（第２の画像データ）と画像データＰ１を合成する際、画像データＰ０のボール２０２ａの領域（第２の領域）において画像データＰ１のボール２０２ｂの領域に対応する領域（すなわち、ボール２０２ａとボール２０２ｂとが重複する領域、以下、「ボール２０２ｂの重複領域」という。）（第３の画像データ）の立体画像情報Ｈ３を上述の新規な立体画像情報Ｈ２に置換する。立体印刷データ生成部１１３は、例えば、上記画像データＰ０（第２の画像データ）と画像データＰ１を合成する際、画像データＰ０のボール２０２ｂの重複領域の立体画像情報Ｈ３が新規な立体画像情報Ｈ２に置換された画像データＰ４（第３の画像データ）を生成する。なお、画像データＰ４では、画像データＰ１のボール２０２ｂの領域であって、画像データＰ０のボール２０２ａが存在しない領域（すなわち、ボール２０２ａとボール２０２ｂとが重複しない領域であって、ボール２０２ｂのみが存在する領域、以下、「ボール２０２ｂの非重複領域」という。）の立体画像情報Ｈ１も新規な立体画像情報Ｈ２に置換される。その結果、画像データＰ４では、ボール２０２ｂの全体の領域の立体画像情報Ｈ１、Ｈ３が新規な立体画像情報Ｈ２に置換される。画像データＰ４は立体的な画像データを印刷する専用の印刷装置で印刷するための立体印刷データである。生成された立体印刷データの形式は、例えば、ＳＴＬ（Standard Triangle Language）形式やＶＲＭＬ（Virtual Reality Modeling Language）形式であればよい。なお、上述した立体画像情報Ｈ１への補正情報値ΔＨの付加やボール２０２ｂの重複領域の立体画像情報Ｈ３の新規な立体画像情報Ｈ２への置換については後に詳述する。
【００２３】
表示部１１４は、例えば、ＬＣＤ（液晶表示装置）であり、画像処理部１０４で処理された撮像画像やメモリ１０７から読み出した画像を表示する。外部Ｉ／Ｆ１１５は、カメラ１００及び外部機器としての印刷装置を接続する。
【００２４】
図４は、図１における距離情報生成部１１０によって実行される距離情報生成処理の手順を示すフローチャートである。図４の処理が実行されると、撮影された画像データＰ０〜Ｐ３毎に距離情報３０１〜３０４が生成される。
【００２５】
図４において、まず、カメラ制御部１０５はシャッターボタン１０６ａが押下されたか否かを判別する（ステップＳ４０１）。ステップＳ４０１の判別の結果、シャッターボタン１０６ａが押下されていないとき、ステップＳ４０１に戻り、シャッターボタン１０６ａが押下されたとき、被写体が撮影される。次いで、撮影された被写体を含む画像データとして、例えば、画像データＰ０がメモリ１０７に格納され（ステップＳ４０２）、測距部１０９はメモリ１０７に格納された画像データＰ０に基づいてカメラ１００と被写体との距離を測定し、距離情報生成部１１０は測距部１０９によって測定されたカメラ１００と被写体との距離に基づいて、距離情報３０１を生成し（ステップＳ４０３）、カメラ制御部１０５はシャッターボタン１０６ａがさらに押下されたか否かを判別する（ステップＳ４０４）。
【００２６】
ステップＳ４０４の判別の結果、シャッターボタン１０６ａが押下されていないとき、本処理を終了し、シャッターボタン１０６ａが押下されたとき、ステップＳ４０２に戻り、画像データＰ１〜Ｐ３をメモリ１０７に格納し、画像データＰ１〜Ｐ３に基づいて距離情報３０２〜３０４を生成する。
【００２７】
図５Ａは、図１における立体印刷データ生成部１１３によって実行される立体印刷データ生成処理の手順を示すフローチャートである。図５Ａの処理が実行されると、立体的な画像データが生成される。生成された立体的な画像データは当該画像データを印刷する専用の印刷装置で印刷される。なお、図５Ａの処理では図２の画像データＰ０〜Ｐ３に基づいて立体的な画像データＰ４〜Ｐ６を生成する場合を説明する。
【００２８】
図５Ａにおいて、まず、距離情報生成部１１０はボール２０２ａを含む画像データＰ０の距離情報３０１を生成し（ステップＳ５０１）、立体画像情報取得部１１１は生成された距離情報３０１に基づいて画像データＰ０の立体画像情報を取得し（ステップＳ５０２）、距離情報生成部１１０はボール２０２ｂを含む画像データＰ１の距離情報３０２を生成し（ステップＳ５０３）、立体画像情報取得部１１１は生成された距離情報３０２に基づいて画像データＰ１の立体画像情報を取得する（ステップＳ５０４）。動体領域検出部１０８は画像データＰ０及び画像データＰ１を比較して画像データＰ１におけるボール２０２ｂが存在する領域を特定し、立体画像情報抽出部１１２ａは特定された画像データＰ１におけるボール２０２ｂが存在する領域の立体画像情報Ｈ１を画像データＰ１の立体画像情報から抽出する（ステップＳ５０５）。
【００２９】
次いで、立体画像情報付加部１１２ｂは抽出された立体画像情報Ｈ１に補正情報値ΔＨを付加して新規な立体画像情報Ｈ２を取得し（ステップＳ５０６）、立体画像情報置換部１１２ｃは置換処理を実行する。具体的に、立体画像情報置換部１１２ｃは、ボール２０２ｂの重複領域の立体画像情報Ｈ３を新規な立体画像情報Ｈ２に置換する（ステップＳ５０７）。その後、立体印刷データ生成部１１３はボール２０２ｂの重複領域の立体画像情報Ｈ３が新規な立体画像情報Ｈ２に置換された画像データＰ４（図５Ｂ（ａ）参照）を生成する（ステップＳ５０８）。このとき、画像データＰ４では、ボール２０２ｂの非重複領域の立体画像情報Ｈ１も新規な立体画像情報Ｈ２に置換される。したがって、ボール２０２ｂの全体の領域について立体画像情報Ｈ１、Ｈ３が新規な立体画像情報Ｈ２に置換される。
【００３０】
次いで、距離情報生成部１１０はボール２０２ｃを含む画像データＰ２の距離情報３０３を生成し（ステップＳ５０９）、立体画像情報取得部１１１は生成された距離情報３０３に基づいて画像データＰ２の立体画像情報を取得し（ステップＳ５１０）、動体領域検出部１０８は画像データＰ１及び画像データＰ２を比較して画像データＰ２におけるボール２０２ｃが存在する領域を特定し、立体画像情報抽出部１１２ａは特定された画像データＰ２におけるボール２０２ｃが存在する領域の立体画像情報Ｈ４を画像データＰ２の立体画像情報から抽出する（ステップＳ５１１）。
【００３１】
次いで、立体画像情報付加部１１２ｂは抽出された立体画像情報Ｈ４に補正情報値Δ２Ｈを付加して他の新規な立体画像情報Ｈ５を取得し（ステップＳ５１２）、立体画像情報置換部１１２ｃは置換処理を実行する。具体的に、立体画像情報置換部１１２ｃは、画像データＰ４においてボール２０２ｃが存在する領域に対応する領域（以下、「ボール２０２ｃの重複領域」という。）の立体画像情報Ｈ６を他の新規な立体画像情報Ｈ５に置換する（ステップＳ５１３）。その後、立体印刷データ生成部１１３はボール２０２ｃの重複領域の立体画像情報Ｈ６が他の新規な立体画像情報Ｈ５に置換された画像データＰ５（図５Ｂ（ｂ）参照）を生成する（ステップＳ５１４）。このとき、画像データＰ５では、ボール２０２ｃの非重複領域（ボール２０２ｂとボール２０２ｃとが重複しない領域であって、ボール２０２ｃのみが存在する領域）の立体画像情報Ｈ４も他の新規な立体画像情報Ｈ５に置換される。したがって、ボール２０２ｃの全体の領域について立体画像情報Ｈ４、Ｈ６が他の新規な立体画像情報Ｈ５に置換される。
【００３２】
次いで、距離情報生成部１１０はボール２０２ｄを含む画像データＰ３の距離情報３０４を生成し（ステップＳ５１５）、立体画像情報取得部１１１は生成された距離情報３０４に基づいて画像データＰ３の立体画像情報を取得し（ステップＳ５１６）、動体領域検出部１０８は画像データＰ２及び画像データＰ３を比較して画像データＰ３におけるボール２０２ｄが存在する領域を特定し、立体画像情報抽出部１１２ａは特定された画像データＰ３におけるボール２０２ｄが存在する領域の立体画像情報Ｈ７を画像データＰ３の立体画像情報から抽出する（ステップＳ５１７）。
【００３３】
次いで、立体画像情報付加部１１２ｂは立体画像情報Ｈ７に補正情報値Δ３Ｈを付加してさらに他の新規な立体画像情報Ｈ８を取得し（ステップＳ５１８）、立体画像情報置換部１１２ｃは置換処理を実行する。具体的に、立体画像情報置換部１１２ｃは、画像データＰ３においてボール２０２ｄが存在する領域に対応する領域（以下、「ボール２０２ｄの重複領域」という。）の立体画像情報Ｈ９をさらに他の新規な立体画像情報Ｈ８に置換する（ステップＳ５１９）。その後、立体印刷データ生成部１１３はボール２０２ｄの重複領域の立体画像情報Ｈ９が他の新規な立体画像情報Ｈ８に置換された画像データＰ６（図５Ｂ（ｃ）参照）を生成し（ステップＳ５２０）、本処理を終了する。このとき、画像データＰ６では、ボール２０２ｄの非重複領域（ボール２０２ｃとボール２０２ｄとが重複しない領域であって、ボール２０２ｄのみが存在する領域）の立体画像情報Ｈ７もさらに他の新規な立体画像情報Ｈ８に置換される。したがって、ボール２０２ｄの全体の領域について立体画像情報Ｈ７、Ｈ９がさらに他の新規な立体画像情報Ｈ８に置換される。
【００３４】
図５Ａの処理では、ボール２０２ｂの全体の領域の立体画像情報Ｈ１に補正情報値ΔＨが付加されて画像データＰ４が生成され、ボール２０２ｃの全体の領域の立体画像情報Ｈ４に補正情報値Δ２Ｈが付加されて画像データＰ５が生成され、ボール２０２ｄの全体の領域の立体画像情報Ｈ７に補正情報値Δ３Ｈが付加されて画像データＰ６が生成される。ところで、本実施の形態では、補正情報値ΔＨ〜Δ３Ｈは撮影時間に応じて増加する値として規定される。したがって、図５Ｂに示すように、撮影時間が後になるほどボール２０２ｂ〜２０２ｄの立体画像の立体画像情報Ｈ２、Ｈ５、Ｈ８の値が増加する。換言すれば、撮影時間が後になるほどボール２０２ｂ〜２０２ｄの立体画像の厚みが増す。また、ボール２０２ｂの重複領域、ボール２０２ｃの重複領域及びボール２０２ｄの重複領域では、立体画像情報が立体画像情報Ｈ２、Ｈ５、Ｈ８に置換されるため、２つの立体画像情報が累積されることがない。その結果、画像データＰ０〜Ｐ４が合成された画像データＰ６（図６（ａ）参照）では、撮影時間が後になるほどボール２０２ｂ〜２０２ｄの立体画像の厚みが増すだけでなく、ボール２０２ｂの重複領域、ボール２０２ｃの重複領域及びボール２０２ｄの重複領域において不自然に画像の厚みが増すことが無い。すなわち、画像データＰ６では、撮影時間が後になるほどボール２０２ｂ〜２０２ｄの立体画像の厚みが自然に増す（図６（ｂ）参照）。
【００３５】
図５Ａの処理によれば、例えば、画像データＰ１におけるボール２０２ｂが存在する領域の立体画像情報Ｈ１が画像データＰ１の立体画像情報から抽出され（ステップＳ５０５）、立体画像情報Ｈ１に撮影時間に応じて増加する補正情報値ΔＨが付加されて新規な立体画像情報Ｈ２が取得され（ステップＳ５０６）、ボール２０２ｂの重複領域の立体画像情報Ｈ３が立体画像情報Ｈ２に置換される（ステップＳ５０７）。これにより、画像データＰ０及び画像データＰ１を合成した画像データＰ４においてボール２０２ｂの立体画像の厚みが、ボール２０２ａの立体画像の厚みに対して画像データＰ０及び画像データＰ１の撮影時間の差に応じて増加するため、画像データＰ４が印刷された印刷結果物においてボール２０２ａ，２０２ｂの動きを立体画像の厚みの変化で表現することができ、もって、印刷結果物から動く被写体の動きの躍動感が伝わる画像データを生成することができる。
【００３６】
次に、本発明の第２の実施の形態について説明する。
【００３７】
本発明の第２の実施の形態は、その構成、作用が上述した第１の実施の形態と基本的に同じであり、動体の残像を表現する点で本発明の第１の実施の形態と異なる。以下、重複した構成、作用については説明を省略し、異なる構成、作用についての説明を行う。
【００３８】
図７は、本発明の第２の実施の形態に係る画像処理装置としてのカメラ１００の内部構成を示すブロック図である。図１のカメラ１００と比較して、本実施の形態に係るカメラ１００は移動量取得部７０１をさらに備えるとともに、立体画像情報加工処理部１１２は角度情報付加部７０２をさらに備える点で異なる。画像処理部１０４、カメラ制御部１０５、メモリ１０７、動体領域検出部１０８、測距部１０９、距離情報生成部１１０、立体画像情報取得部１１１、立体画像情報抽出部１１２ａ、立体画像情報付加部１１２ｂ、立体画像情報置換部１１２ｃ、立体印刷データ生成部１１３、表示部１１４、外部Ｉ／Ｆ１１５に加えて移動量取得部７０１、及び角度情報付加部７０２はバス１１６を介して互いに接続されている。
【００３９】
移動量取得部７０１は動体の移動量を取得する。例えば、移動量取得部７０１は画像データＰ０及び画像データＰ１を重畳して比較し、画像データＰ０におけるボール２０２ａの中心と画像データＰ１におけるボール２０２ｂの中心との距離を取得する。
【００４０】
角度情報付加部７０２は取得された立体画像情報に角度情報値を付加する。角度情報値が立体画像情報に付加されたとき、例えば、ボール２０２ｂの立体画像の後端部８０１、印刷端部８０２、及び交点８０３が角度θを形成し、立体画像の裾が広がる（図８）。
【００４１】
具体的に、画像データＰ１のボール２０２ｂの領域の立体画像情報Ｈ１に補正情報値ΔＨが付加されるとともに、角度情報値Ａ１が付加されたとき、後述の図１０において説明するようにボール２０２ｂからボール２０２ａに向かってボール２０２ｂの立体画像の裾が広がり、ボール２０２ａ及びボール２０２ｂの間に残像が形成される。
【００４２】
図９Ａは、図７における立体印刷データ生成部１１３によって実行される立体印刷データ生成処理の手順を示すフローチャートである。図９ＡのステップＳ５０１〜Ｓ５０７，Ｓ５０９〜Ｓ５１３，Ｓ５１５〜Ｓ５１９の処理は図５ＡのステップＳ５０１〜Ｓ５０７，Ｓ５０９〜Ｓ５１３，Ｓ５１５〜Ｓ５１９の処理と同一であり、図５Ａの処理と異なる点のみ説明する。
【００４３】
図９Ａにおいて、まず、ステップＳ５０１〜Ｓ５０５の処理を実行し、次いで、移動量取得部７０１は画像データＰ０及び画像データＰ１を重畳してボール２０２ａの中心とボール２０２ｂの中心との距離を取得し（ステップＳ９０１）、ステップＳ５０６の処理を実行した後、角度情報付加部７０２はボール２０２ａの中心とボール２０２ｂの中心との距離に応じて新規な立体画像情報Ｈ２にさらに角度情報値Ａ１を付加する（ステップＳ９０２）。その後、ステップＳ５０７の処理が実行される。次いで、立体印刷データ生成部１１３はボール２０２ｂの重複領域の立体画像情報Ｈ３が新規な立体画像情報Ｈ２に置換され且つ角度情報値Ａ１が付加された画像データＰ４（図９Ｂ（ａ）参照）を生成する（ステップＳ９０３）。その後、ステップＳ５０９〜Ｓ５１１の処理が実行される。
【００４４】
次いで、移動量取得部７０１は画像データＰ１及び画像データＰ２を重畳してボール２０２ｂの中心とボール２０２ｃの中心との距離を取得し（ステップＳ９０４）、ステップＳ５１２の処理を実行した後、角度情報付加部７０２はボール２０２ｂの中心とボール２０２ｃの中心との距離に応じて他の新規な立体画像情報Ｈ５にさらに角度情報値Ａ２を付加する（ステップＳ９０５）。その後、ステップＳ５１３の処理が実行される。次いで、立体印刷データ生成部１１３はボール２０２ｃの重複領域の立体画像情報Ｈ６が他の新規な立体画像情報Ｈ５に置換され且つ角度情報値Ａ２が付加された画像データＰ５（図９Ｂ（ｂ）参照）を生成する（ステップＳ９０６）。その後、ステップＳ５１５〜Ｓ５１７の処理が実行される。
【００４５】
次いで、移動量取得部７０１は画像データＰ２及び画像データＰ３を重畳してボール２０２ｂの中心とボール２０２ｃの中心との距離を取得し（ステップＳ９０７）、ステップＳ５１８の処理を実行した後、角度情報付加部７０２はボール２０２ｃの中心とボール２０２ｄの中心との距離に応じてさらに他の新規な立体画像情報Ｈ８にさらに角度情報値Ａ３を付加する（ステップＳ９０８）。その後、ステップＳ５１９の処理が実行される。次いで、立体印刷データ生成部１１３はボール２０２ｄの重複領域の立体画像情報Ｈ９が他の新規な立体画像情報Ｈ８に置換され且つ角度情報値Ａ３が付加された画像データＰ６（図９Ｂ（ｃ）参照）を生成し（ステップＳ９０９）、本処理を終了する。
【００４６】
図１０は、図９ＡのステップＳ９０９において生成された画像データＰ６を説明するために用いられる図であり、図１０（ａ）は該画像データＰ６の平面図であり、図１０（ｂ）は図１０（ａ）におけるＸ−Ｘ線に沿う断面図である。
【００４７】
上述した図９Ａの処理により、画像データＰ６では、ボール２０２ｂの重複領域の新規な立体画像情報Ｈ２に角度情報値Ａ１が付加され、ボール２０２ｃの重複領域の他の新規な立体画像情報Ｈ５に角度情報値Ａ２が付加され、ボール２０２ｄの重複領域の他の新規な立体画像情報Ｈ８に角度情報値Ａ３が付加されるため、図１０（ｂ）に示すように、ボール２０２ｂからボール２０２ａに向かってボール２０２ｂの立体画像の裾が広がり、ボール２０２ｃからボール２０２ｂに向かってボール２０２ｃの立体画像の裾が広がり、ボール２０２ｄからボール２０２ｃに向かってボール２０２ｄの立体画像の裾が広がり、各裾の広がりが図１０（ａ）の残像１００１〜１００３を形成する。
【００４８】
図９Ａの処理によれば、例えば、ボール２０２ａの中心とボール２０２ｂの中心との距離が取得され（ステップＳ９０１）、当該距離に応じて新規な立体画像情報Ｈ２にさらにボール２０２ｂの立体画像の裾の広がりを表す角度情報値Ａ１が付加される（ステップＳ９０２）。立体画像の裾の広がりは印刷結果物における動体の残像に対応するので、印刷結果物からボール２０２ｂの残像を視覚的に認識することができ、もって、印刷結果物からボール２０２ｂの動きの躍動感がさらに伝わる画像データを生成することができる。
【００４９】
なお、ボール２０２ａ〜２０２ｄの移動速度が速いほど角度θを大きくしてもよい。角度θが大きいほど角度情報値が表すボール２０２ｂ〜２０２ｄの立体画像の裾の広がりが大きくなるので、ボール２０２ａ〜２０２ｄの移動速度が速いほど残像が大きくなり、ボール２０２ａ〜２０２ｄが移動する際のスピード感を強調することができる。
【００５０】
次に、本発明の第３の実施の形態について説明する。
【００５１】
本発明の第３の実施の形態は、その構成、作用が上述した第２の実施の形態と基本的に同じであり、動体の移動する様子を色の変化に基づいて表現する点で本発明の第２の実施の形態と異なる。以下、重複した構成、作用については説明を省略し、異なる構成、作用についての説明を行う。
【００５２】
図１１は、本発明の第３の実施の形態に係る画像処理装置としてのカメラ１００の内部構成を示すブロック図である。図２のカメラ１００と比較して、本実施の形態に係るカメラ１００は色情報付加部１１０１をさらに備える点で異なる。画像処理部１０４、カメラ制御部１０５、メモリ１０７、動体領域検出部１０８、測距部１０９、距離情報生成部１１０、立体画像情報取得部１１１、立体画像情報抽出部１１２ａ、立体画像情報付加部１１２ｂ、立体画像情報置換部１１２ｃ、立体印刷データ生成部１１３、表示部１１４、外部Ｉ／Ｆ１１５、移動量取得部７０１、角度情報付加部７０２に加えて色情報付加部１１０１はバス１１６を介して互いに接続されている。
【００５３】
色情報付加部１１０１は取得された立体画像情報に色情報を付加する。色情報が立体画像情報に付加されたとき、例えば、ボール２０２ａ〜２０２ｄは白と黒の２階調からなるグラデーションで表現される。
【００５４】
図１２Ａは、図１１における立体印刷データ生成部１１３によって実行される立体印刷データ生成処理の手順を示すフローチャートである。図１２ＡのステップＳ５０１〜Ｓ５０７，Ｓ５０９〜Ｓ５１３，Ｓ５１５〜Ｓ５１９，Ｓ９０１〜Ｓ９０２，Ｓ９０４〜Ｓ９０５，Ｓ９０７〜Ｓ９０８の処理は図９ＡのステップＳ５０１〜Ｓ５０７，Ｓ５０９〜Ｓ５１３，Ｓ５１５〜Ｓ５１９，Ｓ９０１〜Ｓ９０２，Ｓ９０４〜Ｓ９０５，Ｓ９０７〜Ｓ９０８の処理と同一であり、図９Ａの処理と異なる点のみ説明する。
【００５５】
図１２Ａにおいて、まず、ステップＳ５０１〜Ｓ９０２の処理が実行される。次いで、色情報付加部１１０１は新規な立体画像情報Ｈ２に色情報Ｃ１を付加する（ステップＳ１２０１）。その後、ステップＳ５０７の処理が実行される。次いで、立体印刷データ生成部１１３は重複領域の立体画像情報Ｈ３が新規な立体画像情報Ｈ２に置換され且つ角度情報値Ａ１と色情報Ｃ１とが付加された画像データＰ４（図１２Ｂ（ａ）参照）を生成する（ステップＳ１２０２）。その後、ステップＳ５０９〜Ｓ９０５の処理が実行される。
【００５６】
次いで、色情報付加部１１０１は他の新規な立体画像情報Ｈ５に色情報Ｃ１とは異なる色情報Ｃ２を付加する（ステップＳ１２０３）。その後、ステップＳ５１３の処理が実行される。次いで、立体印刷データ生成部１１３はボール２０２ｃの重複領域の立体画像情報Ｈ６が他の新規な立体画像情報Ｈ５に置換され且つ角度情報値Ａ２と色情報Ｃ２とが付加された画像データＰ５（図１２Ｂ（ｂ）参照）を生成する（ステップＳ１２０４）。その後、ステップＳ５１５〜Ｓ９０８の処理が実行される。
【００５７】
次いで、色情報付加部１１０１はさらに他の新規な立体画像情報Ｈ８に色情報Ｃ１，Ｃ２とは異なる色情報Ｃ３を付加する（ステップＳ１２０５）。その後、ステップＳ５１９の処理が実行される。次いで、立体印刷データ生成部１１３はボール２０２ｄの重複領域の立体画像情報Ｈ９がさらに他の新規な立体画像情報Ｈ８に置換され且つ角度情報値Ａ３と色情報Ｃ３とが付加された画像データＰ６（図１２Ｂ（ｃ）参照）を生成し（ステップＳ１２０６）、本処理を終了する。
【００５８】
図１３は、図１２ＡのステップＳ１２０６において生成された画像データＰ６を説明するために用いられる図であり、図１３（ａ）は該画像データＰ６の平面図であり、図１３（ｂ）は図１３（ａ）におけるＸIII−ＸIII線に沿う断面図である。
【００５９】
上述した図１２Ａの処理により、画像データＰ６では、ボール２０２ｂの新規な立体画像情報Ｈ２に色情報Ｃ１が付加され、ボール２０２ｃの他の新規な立体画像情報Ｈ５に色情報Ｃ２が付加され、ボール２０２ｄのさらに他の新規な立体画像情報Ｈ８に色情報Ｃ３が付加される。ここで、色情報Ｃ１〜Ｃ３が順次変化するように各立体画像情報Ｈ２、Ｈ５、Ｈ８に付加されると、図１３（ａ）及び図１３（ｂ）に示すように、ボール２０２ａ〜２０２ｄの立体画像は、ボール２０２ｄからボール２０２ａに向かう白と黒の２階調からなるグラデーションで表現されるが、グラデーションはボール２０２ａ〜２０２ｄのそれぞれの厚みの差を強調する。具体的には、ボール２０２ｄの立体画像が最も濃い色で表現され、ボール２０２ａの立体画像が最も淡い色で表現される。
【００６０】
図１２Ａの処理によれば、ボール２０２ａ〜２０２ｄの移動に応じて順次変化する色情報Ｃ１〜Ｃ３が付加される（ステップＳ１２０１，Ｓ１２０３，Ｓ１２０５）。順次変化する色情報Ｃ１〜Ｃ３はグラデーションを構成し、グラデーションはボール２０２ａ〜２０２ｄの立体画像の厚みの差を強調するので、ボール２０２ａ〜２０２ｄの動きをより躍動的に感じることができる。
【００６１】
上述した実施の形態の機能を実現するソフトウェア（プログラム）をネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理において、そのプログラム、及び該プログラムを格納するコンピュータ読み取り可能な記憶媒体は本発明を構成する。
【符号の説明】
【００６２】
１００  カメラ
１０５  カメラ制御部
１０８  動体領域検出部
１１１  立体画像情報取得部
１１２ａ  立体画像情報抽出部
１１２ｂ  立体画像情報付加部
１１２ｃ  立体画像情報置換部
ΔＨ，Δ２Ｈ，Δ３Ｈ  補正情報値
【図１】
2016103676.tif 000003
【図２】
2016103676.tif 000004
【図３】
2016103676.tif 000005
【図４】
2016103676.tif 000006
【図５Ａ】
2016103676.tif 000007
【図５Ｂ】
2016103676.tif 000008
【図６】
2016103676.tif 000009
【図７】
2016103676.tif 000010
【図８】
2016103676.tif 000011
【図９Ａ】
2016103676.tif 000012
【図９Ｂ】
2016103676.tif 000013
【図１０】
2016103676.tif 000014
【図１１】
2016103676.tif 000015
【図１２Ａ】
2016103676.tif 000016
【図１２Ｂ】
2016103676.tif 000017
【図１３】
2016103676.tif 000018
【図１４】
2016103676.tif 000019