(57)【要約】【課題】鑑賞者に現実感のある自然な画像を提示することを可能にする画像表示装置を提供すること。【解決手段】奥行き情報取得部１１は、原画像データ２２に付加された奥行き情報を取得する。部分画像データ取得部１２は、奥行き情報に基づいて、原画像データ２２から、奥行きに基づいて規定された階層ごとに部分画像データ２３−１，２３−２を生成する。重ね合せ画像データ生成部１３は、オブジェクトデータ２４を加工し、階層に応じたサイズのオブジェクトが配置された画像の画像データ２５−１，２５−２を、重ね合せ画像データとして階層ごとに生成する。画像重ね合わせ処理部１４は、奥行き情報の階層順に配置された複数の部分画像データ２３−１，２３−２のそれぞれの前段に対して、同一階層の重ね合せ画像データ２５−１，２５−２を重ね合わせる。表示制御部１５は、重ね合わせ後の表示画像データが表わす表示画像を表示部１６に表示させる。【選択図】図１
2011070495.tif 000002
【特許請求の範囲】
【請求項１】
実世界の奥行きに基づいて規定した階層に従って、原画像の原画像データを構成する部分画像データを分類して得られる、前記階層ごとの部分画像データを取得する部分画像データ取得部と、
前記原画像に重ね合わせる画像のデータを、前記重ね合わせる画像のサイズが前記階層ごとに異なるように加工することによって、前記階層ごとの重ね合せ画像データを生成する重ね合せ画像データ生成部と、
前記階層ごとに、前記重ね合せ画像データを同一の階層の前記部分画像データに対して選択的に重ね合わせることによって、表示画像データを生成する画像重ね合わせ処理部と、
前記画像重ね合わせ処理部により生成された前記表示画像データに基づく画像を表示する表示制御部と、
を備える画像表示装置。
【請求項２】
前記原画像の原画像データから、前記原画像の奥行きに関する情報を取得する奥行き情報取得部をさらに備え、
前記部分画像データ取得部は、前記奥行き情報取得部により取得された前記奥行き情報に基づいて、前記階層ごとに前記原画像を領域に分類し、分類された前記領域を含む画像を部分画像として、前記部分画像データを取得する、
請求項１に記載の画像表示装置。
【請求項３】
前記画像重ね合せ処理部は、同一の階層では、前記重ね合わせる画像が前記部分画像データが表す画像よりも鑑賞者から見て前段に表示されるように、前記表示画像データを生成する、
請求項１又は２に記載の画像表示装置。
【請求項４】
前記画像重ね合わせ処理部は、前記階層ごとに前記重ね合せ画像データを前記部分画像データに重ね合わせて前記表示画像データを生成する際に、
前記部分画像データの少なくとも一部に対して、同一の階層の前記重ね合せ画像データを重ね合わせることを禁止する、
請求項１乃至３の何れか１項に記載の画像表示装置。
【請求項５】
前記画像重ね合わせ処理部は、前記階層ごとに前記重ね合せ画像データを前記部分画像データに重ね合わせて前記表示画像データを生成する際に、鑑賞者から見える一番手前の階層に属する前記部分画像データに対して、同一の階層の前記重ね合せ画像データを重ね合わせることを禁止する、
請求項４に記載の画像表示装置。
【請求項６】
実世界の奥行きに基づいて規定した階層に従って、原画像の原画像データを構成する部分画像データを分類して得られる、前記階層ごとの部分画像データを取得する部分画像データ取得ステップと、
前記原画像に重ね合わせる画像のデータを、前記重ね合わせる画像のサイズが前記階層ごとに異なるように加工することによって、前記階層ごとの重ね合せ画像データを生成する重ね合せ画像データ生成ステップと、
前記階層ごとに、前記重ね合せ画像データを同一の階層の前記部分画像データに対して選択的に重ね合わせることによって、表示画像データを生成する画像重ね合わせ処理ステップと、
前記画像重ね合わせ処理ステップが生成した前記表示画像データに基づく画像を表示する表示制御ステップと、
を含む画像表示方法。
【請求項７】
画像処理を制御するコンピュータに、
実世界の奥行きに基づいて規定した階層に従って、原画像の原画像データを構成する部分画像データを分類して得られる、前記階層ごとの部分画像データを取得する部分画像データ取得ステップと、
前記原画像に重ね合わせる画像のデータを、前記重ね合わせる画像のサイズが前記階層ごとに異なるように加工することによって、前記階層ごとの重ね合せ画像データを生成する重ね合せ画像データ生成ステップと、
前記階層ごとに、前記重ね合せ画像データを同一の階層の前記部分画像データに対して選択的に重ね合わせることによって、表示画像データを生成する画像重ね合わせ処理ステップと、
前記画像重ね合わせ処理ステップが生成した前記表示画像データに基づく画像を表示する表示制御ステップと、
を含む制御処理を実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理技術に関し、例えば、鑑賞者に現実感のある自然な画像を提示することを可能にする画像表示装置及び方法並びにプログラムに関する。
【背景技術】
【０００２】
従来より、静止画像や動画像の上に、他の画像をレイヤ構造を異にして重ね合わせる手法が存在し、画像に字幕を重ね合わせる処理をはじめとする様々な画像処理に適用されている（例えば、特許文献１参照）。かかる重ね合わせ手法を適用した画像処理を実行することによって、例えば、「桜が舞う」、「落ち葉が舞う」、「雪が降る」等の演出効果等を画像に付与することができる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００６−１５７３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、例えば、特許文献１に開示された手法も含めて、従来の重ね合わせ手法を適用した画像表示装置は、静止画像や動画像の上に、他の画像を単に一様に重ねるに過ぎなかった。従って、従来の重ね合わせ手法を用いて表示された画像は、鑑賞する鑑賞者に遠近感や前後関係のはっきりしない不自然な画像として視認される場合があった。このため、鑑賞者に現実感のある自然な画像を提示することができる画像処理技術の実現が求められている。
【０００５】
本発明は、上記課題に鑑みてなされたものであり、鑑賞者に現実感のある自然な画像を提示することができる画像表示装置及び方法並びにプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の第１の観点によると、実世界の奥行きに基づいて規定した階層に従って、原画像の原画像データを構成する部分画像データを分類して得られる部分画像データを取得する部分画像データ取得部と、前記原画像に重ね合わせる画像のデータを、前記重ね合わせる画像のサイズが前記階層ごとに異なるように加工することによって、前記階層ごとの重ね合せ画像データを生成する重ね合せ画像データ生成部と、前記階層ごとに、前記重ね合せ画像データを同一の階層の前記部分画像データに対して選択的に重ね合わせることによって、表示画像データを生成する画像重ね合わせ処理部と、前記画像重ね合わせ処理部により生成された前記表示画像データに基づく画像を表示する表示制御部と、を備える画像表示装置を提供する。
【０００７】
本発明の第２の観点によると、前記原画像の原画像データから、前記原画像の奥行きに関する情報を取得する奥行き情報取得部をさらに備え、前記部分画像データ取得部は、前記奥行き情報取得部により取得された前記奥行き情報に基づいて、前記階層ごとに前記原画像を領域に分類し、分類された前記領域を含む画像を部分画像として、前記部分画像データを取得する、画像表示装置を提供する。
【０００８】
本発明の第３の観点によると、前記画像重ね合せ処理部は、同一の階層では、前記重ね合わせる画像が前記部分画像よりも鑑賞者から見て前段に表示されるように、前記表示画像データを生成する、画像表示装置を提供する。
【０００９】
本発明の第４の観点によると、前記画像重ね合わせ処理部は、前記階層ごとに前記重ね合せ画像データを前記部分画像データに重ね合わせて前記表示画像データを生成する際に、前記部分画像データの少なくとも一部に対して、同一の階層の前記重ね合せ画像データを重ね合わせることを禁止する、画像表示装置を提供する。
【００１０】
本発明の第５の観点によると、前記画像重ね合わせ処理部は、前記階層ごとに前記重ね合せ画像データを前記部分画像データに重ね合わせて前記表示画像データを生成する際に、鑑賞者から見える一番手前の階層に属する前記部分画像データに対して、同一の階層の前記重ね合せ画像データを重ね合わせることを禁止する、画像表示装置を提供する。
【００１１】
本発明の第６の観点によると、実世界の奥行きに基づいて規定した階層に従って、原画像の原画像データを構成する部分画像データを分類して得られる、前記階層ごとの部分画像データを取得する部分画像データ取得ステップと、前記原画像に重ね合わせる画像のデータを、前記重ね合わせる画像のサイズが前記階層ごとに異なるように加工することによって、前記階層ごとの重ね合せ画像データを生成する重ね合せ画像データ生成ステップと、前記階層ごとに、前記重ね合せ画像データを同一の階層の前記部分画像データに対して選択的に重ね合わせることによって、表示画像データを生成する画像重ね合わせ処理ステップと、前記画像重ね合わせ処理ステップが生成した前記表示画像データに基づく画像を表示する表示制御ステップと、を含む画像表示方法を提供する。
【００１２】
本発明の第７の観点によると、画像処理を制御するコンピュータに、実世界の奥行きに基づいて規定した階層に従って、原画像の原画像データを構成する部分画像データを分類して得られる、前記階層ごとの部分画像データを取得する部分画像データ取得ステップと、前記原画像に重ね合わせる画像のデータを、前記重ね合わせる画像のサイズが前記階層ごとに異なるように加工することによって、前記階層ごとの重ね合せ画像データを生成する重ね合せ画像データ生成ステップと、前記階層ごとに、前記重ね合せ画像データを同一の階層の前記部分画像データに対して選択的に重ね合わせることによって、表示画像データを生成する画像重ね合わせ処理ステップと、前記画像重ね合わせ処理ステップが生成した前記表示画像データに基づく画像を表示する表示制御ステップと、を含む制御処理を実行させるプログラムを提供する。
【発明の効果】
【００１３】
本発明によれば、鑑賞者に現実感のある自然な画像を提示することを可能にすることができる
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施の形態に係る画像表示装置の機能的構成を示す機能ブロック図である。
【図２】本発明の一実施の形態に係る画像表示装置の画像重ね合わせ処理部が実行する処理の一例を説明する図である。
【図３】本発明の一実施の形態に係る画像表示装置により表示される画像と、従来の手法により表示される画像とを比較するための図である。
【図４】本発明の一実施の形態に係る画像表示装置のハードウェアの構成を示すブロック図である。
【図５】本発明の一実施の形態における画像表示処理の流れの一例を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態を図面に基づいて説明する。
【００１６】
図１は、本発明の一実施の形態に係る画像表示装置１の機能的構成を示す機能ブロック図である。
【００１７】
本実施の形態の画像表示装置１は、図示せぬ撮影装置が撮影した画像（以下、「原画像」と呼ぶ）の画像データ（以下、「原画像データ」と呼ぶ）に対して各種の画像処理を施して、原画像に所定の画像（以下、「重ね合せ画像」と呼ぶ）を重ね合わせて表示する。
【００１８】
画像表示装置１は、奥行き情報取得部１１と、部分画像データ取得部１２と、重ね合せ画像データ生成部１３と、画像重ね合わせ処理部１４と、表示制御部１５と、表示部１６と、データ記憶部１７と、を備える。画像表示装置１は、例えばデジタルフォトフレームやパーソナルコンピュータ等により構成することができる。
【００１９】
奥行き情報取得部１１は、原画像データ２２に付加された情報から、原画像データ２２が表す原画像の奥行きに関する情報（以下、「奥行き情報」と呼ぶ）を取得する。
【００２０】
ここで、付加された情報とは、原画像データ２２が生成時には有していなかったが、後に原画像データ２２に付加される情報、例えば本実施の形態ではメタデータ２１を含む。さらに、付加された情報とは、適当な画像処理や画像解析により原画像データ２２から抽出される情報であって、原画像データ２２自体が潜在的に有する情報も含む。原画像データ２２自体から抽出される奥行き情報の一例として、例えば、原画像を構成する各領域のボケ度合を挙げることができる。本実施の形態では原画像として、遠方に山があり近傍に木のある風景を撮影した画像を用いて説明する。また、この原画像の原画像データ２２はデータ記憶部１７に予め記憶されており、さらに、この原画像のメタデータ２１も、原画像データ２２と対応付けられてデータ記憶部１７に予め記憶されているものとする。
【００２１】
また、奥行き情報とは、画像を撮影した撮影装置から各被写体までの絶対的な距離を表す情報のみならず、例えば、画像の中の前景領域と背景領域とを区別できる情報等、画像の中の各被写体の相対的な距離関係を表す情報も含む。
【００２２】
奥行き情報取得部１１は、データ記憶部１７に記憶されたメタデータ２１及び原画像データ２２のうち少なくとも一方を読み出し、読み出したデータから奥行き情報を取得する。奥行き情報取得部１１により取得された奥行き情報は、部分画像データ取得部１２に供給される。
【００２３】
部分画像データ取得部１２は、奥行き情報から得られる原画像の奥行きに基づいて、原画像を領域に分類して、分離した各領域の画像データを原画像データ２２から抽出する。本実施の形態では、部分画像データ取得部１２は、実世界の奥行きに基づいて規定された階層ごとに、対応する原画像の領域を奥行き情報に基づいて特定することによって、各領域を分類する。ここで、「階層」とは、実世界における撮影装置又は鑑賞者からの奥行きを、所定の範囲に分けて規定したグループを意味する。ここでいう奥行きとは、撮影装置からの絶対的な実距離のみならず、例えば、所定の実物体に対して手前側とか奥側のような相対的な距離関係も含む。こうして部分画像データ取得部１２は、分類された領域に対応する画像データを、階層ごとに原画像データ２２から抽出する。
【００２４】
このようにして階層ごとに抽出された画像データを、以下、「各々の階層の部分画像データ」と呼ぶ。また、各々の階層の部分画像データが表わす画像を、「各々の階層の部分画像」と呼ぶ。
【００２５】
本実施の形態では、原画像を構成する領域ごとに、撮影装置からの距離を示す距離情報が事前に算出されており、この距離情報がメタデータ２１に含まれているものとする。奥行き情報取得部１１は、この領域ごとの距離情報を奥行き情報としてメタデータ２１から取得する。部分画像データ取得部１２は、所定の距離（例えば１０ｍ）を閾値として設定し、奥行き情報に基づいて、各領域の距離が閾値よりも近距離であるか或いは遠距離であるかを判定する。部分画像データ取得部１２は、閾値よりも近距離の領域を撮影装置（又は鑑賞者）から見て手前側の第１の階層に分類する。一方、部分画像データ取得部１２は、閾値よりも遠距離の領域を撮影装置（鑑賞者）から見て奥側の第２の階層に分類する。
【００２６】
メタデータ２１は、例えば、原画像のフォーカス位置や被写界深度を含むことができる。奥行き情報取得部１１は、このメタデータ２１に含まれるフォーカス位置を中心として原画像データ２２の高周波解析を行い、その高周波解析の結果及び被写界深度に基づいて、原画像のボケ度合を領域ごとに求めることができる。奥行き情報取得部１１は、こうして求めた領域ごとのボケ度合を奥行き情報として取得して、部分画像データ取得部１２に供給してもよい。この場合、部分画像データ取得部１２は、ボケ度合が低い領域を手前側の第１の階層に分類し、ボケ度合が高い領域を奥側の第２の階層に分類する。
【００２７】
ここで、第１の階層に分類された領域を含む画像を、第１の階層の部分画像と呼び、その画像データを、第１の階層の部分画像データと呼ぶ。また、第２の階層に分類された領域を含む画像を、第２の階層の部分画像と呼び、その画像データを、第２の階層の部分画像データと呼ぶ。部分画像データ取得部１２は、原画像データ２２から、第１の階層の部分画像データ２３−１と第２の階層の部分画像データ２３−２とをそれぞれ分離して取得する。
【００２８】
具体的には、原画像データ２２が表わす原画像において、「木」の領域が手前側の第１の階層に分類され、「山」の領域が奥側の第２の階層に分類される。従って、「木」の領域を含む画像が、第１の階層の部分画像となる。このため、部分画像データ取得部１２は、原画像データ２２から、「木」についての部分画像データ２３−１を第１の階層の部分画像データとして分離して取得する。また、「山」の領域を含む画像が、第２の階層の部分画像となる。このため、部分画像データ取得部１２は、原画像データ２２から、「山」についての部分画像データ２３−２を第２の階層の部分画像データとして分離して取得する。
【００２９】
部分画像データ取得部１２により取得された複数の階層ごとの部分画像データ、例えば図１の例では第１の階層の部分画像データ２３−１及び第２の階層の部分画像データ２３−２はデータ記憶部１７に保存される。なお、部分画像データの保存形式については特に限定されない。また、部分画像データ取得部１２が部分画像データを取得する際に用いた階層の種類については、重ね合せ画像データ生成部１３に通知される。
【００３０】
重ね合せ画像データ生成部１３は、原画像に重ね合わせるオブジェクトの画像データ（以下、「オブジェクトデータ」と呼ぶ）、例えば図１の例ではオブジェクトデータ２４をデータ記憶部１７から取得する。このオブジェクトが、原画像に重ね合わせられる対象となる。例えば、図１のオブジェクトデータ２４が表わすオブジェクトは、雪を模した六角形の形状のオブジェクト（以下、「雪オブジェクト」と呼ぶ）である。このような雪オブジェクトを原画像に重ね合わせることで、あたかも雪が降っている風景を鑑賞者に提示することが可能になる。
【００３１】
重ね合せ画像データ生成部１３は、このようにしてデータ記憶部１７から取得したオブジェクトデータ２４を加工して、表示するオブジェクトのサイズを階層ごとに変化させる。さらに、重ね合せ画像データ生成部１３は、階層ごとに、対応するサイズに変更されたオブジェクトを１以上含む画像を「重ね合せ画像」として、その画像データを生成する。このようにして生成された重ね合せ画像の画像データを「重ね合せ画像データ」と呼ぶ。
【００３２】
具体的には、重ね合せ画像データ生成部１３は、撮影装置（鑑賞者）から見て手前側の第１の階層の雪オブジェクトのサイズが大きくなるようにオブジェクトデータ２４を加工することによって、第１の階層の重ね合せ画像データ２５−１を生成する。第１の階層の重ね合せ画像データ２５−１が表わす重ね合せ画像には、こうしてサイズを大きくした雪オブジェクト（以下、「大きい雪」と呼ぶ）が１以上含まれている。なお、サイズが大きいとは、撮影装置（鑑賞者）から見て奥側の第２の階層の雪オブジェクトと比較してサイズが大きいことを意味し、実サイズは特に限定されない。一方、重ね合せ画像データ生成部１３は、撮影装置（鑑賞者）から見て奥側の第２の階層の雪オブジェクトのサイズが小さくなるようにオブジェクトデータ２４を加工することによって、第２の階層の重ね合せ画像データ２５−２を生成する。重ね合せ画像データ２５−２が表わす重ね合せ画像には、こうしてサイズを小さくした雪オブジェクト（以下、「小さい雪」と呼ぶ）が１以上含まれている。なお、サイズが小さいとは、撮影装置（鑑賞者）から見て手前側の第１の階層の雪オブジェクトと比較してサイズが小さいことを意味し、実サイズは特に限定されない。
【００３３】
本実施の形態では、重ね合せ画像に表示するオブジェクトの数量と、オブジェクトの表示態様（例えば表示位置、揺らぎや動き等の変形表示方式）は、パラメータで管理されている。重ね合せ画像データ生成部１３は、階層ごとに、オブジェクトのサイズを変更する。さらに、重ね合せ画像データ生成部１３は、オブジェクトを配置する数量と、表示位置、揺らぎや動き等の各種表示態様にそれぞれ対応するパラメータを設定することによって、サイズが変更されたオブジェクトを用いた重ね合せ画像データを生成する。パラメータ管理の詳細については、当業者であれば公知であるので説明を省略する。ただし、重ね合せ画像データの生成手法は、本実施の形態の手法に特に限定されず、階層に合わせてオブジェクトのサイズを変化させる処理を含むものであれば如何なる手法を用いてもよい。換言すると、各々の階層の重ね合せ画像に含まれるオブジェクトは、各々の階層に応じたサイズを有していれば足り、その他の要素、例えば量や各種表示態様は特に限定されない。
【００３４】
重ね合せ画像データ生成部１３により階層ごとに生成された重ね合せ画像データ、図１の例では、第１の階層の重ね合せ画像データ２５−１及び第２の階層の重ね合せ画像データ２５−２はデータ記憶部１７に保存される。
【００３５】
画像重ね合わせ処理部１４は、各々の階層の部分画像データ及び重ね合せ画像データをデータ記憶部１７から取得する。画像重ね合わせ処理部１４は、各々の階層の部分画像データに対して階層が同一の重ね合せ画像データをそれぞれ重ね合せることによって、表示画像データを生成する。本実施の形態では、画像重ね合わせ処理部１４は、同一の階層では重ね合せ画像が部分画像よりも鑑賞者から見て前段に表示されるように、表示画像データを生成する。表示制御部１５は、この表示画像データに基づいて、表示画像を表示部１６に表示させる。
【００３６】
具体的には例えば、図１の例では、第１の部分画像データ２３−１及び第２の部分画像データ２３−２、並びに、第１の重ね合せ画像データ２５−１及び第２の重ね合せ画像データ２５−２が取得される。そして、これらの各画像データが、図２に示すように重ね合わせられることによって、表示画像データが生成される。
【００３７】
図２は、画像重ね合わせ処理部１４による処理の一例を説明する図である。矢印Ａは、撮影装置（鑑賞者）から見て手前側から奥側に向かう方向を示し、矢印Ａの方向に向かうに従って奥行きは深くなり、階層も深くなる。図２では、第１の階層の部分画像データ２３−１と、第２の階層の部分画像データ２３−２とを矢印Ａの方向に合わせて配置して示している。図２に示すように、第１の階層の部分画像データ２３−１の前段には、階層が同一の第１の階層の重ね合せ画像データ２５−１が重ね合わせられ、第２の階層の部分画像データ２３−２の前段には、階層が同一である第２の階層の重ね合せ画像データ２５−２が重ね合わせられる。これにより表示画像データが生成される。このように、画像重ね合わせ処理部１４は、撮影装置（鑑賞者）から見て手前側から順に、第１の階層の重ね合せ画像データ２５−１、第１の階層の部分画像データ２３−１、第２の階層の重ね合せ画像データ２５−２、及び、第２の階層の部分画像データ２３−２を、独立したプレーン画像データとして順次重ね合わせていくことで、表示画像データを生成する。
【００３８】
図３Ａに、図１の画像重ね合わせ処理部１４が図２を参照して説明した処理を実行して生成した表示画像データに基づいて、表示部１６に表示される表示画像の一例を示す。図３Ａの表示画像３１では、鑑賞者（撮影装置）から見て手前側の木４２の付近には大きい雪４１−１が降っており、鑑賞者（撮影装置）から見て奥側の山４３の付近には小さい雪４１−２が降っている様子が演出して表現されている。
【００３９】
これに対して、図３Ｂに、図１の原画像データ２２から、前述した従来の重ね合わせ手法に従って生成した画像データに基づいて、所定の表示装置に表示される表示画像の一例を示す。図３Ｂの表示画像３２では、鑑賞者（撮影装置）から見て手前側の木４２の付近も、鑑賞者（撮影装置）から見て奥側の山４３の付近も、一様に同一の表示サイズの雪４１が一律に降っているに表現されている。このため、遠近感や前後関係のはっきりしないため、不自然な画像となっている。
【００４０】
本実施の形態の画像表示装置１により表示される図３Ａの表示画像３１は、図３Ｂの従来の表示画像３２と比較すると、遠近感の効果や、前後関係がはっきりした奥行きある演出効果が際立った画像になっている。
【００４１】
このように、単に、オブジェクトを一様に原画像に重ね合わせる従来の重ね合わせ手法では、遠近感や前後関係のはっきりしない不自然な画像が表示されることになる。これに対して、本実施の形態の画像表示装置１は、原画像内の奥行きに応じてサイズを変更したオブジェクトを、原画像に重ね合わせることができる。この結果、遠近感の効果や、前後関係がはっきりした奥行きある演出効果の際立たった画像、すなわち、鑑賞者にとって現実感のある自然な画像を表示することが可能になる。
【００４２】
図４は、画像表示装置１のハードウェアの構成例を示すブロック図である。
【００４３】
画像表示装置１は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１０１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１０２と、ＲＡＭ１０３と、バス１０４と、入出力インターフェース１０５と、入力部１０６と、出力部１０７と、記憶部１０８と、通信部１０９と、ドライブ１１０と、を備えている。
【００４４】
ＣＰＵ１０１は、ＲＯＭ１０２に記録されているプログラムに従って各種の処理を実行する。又は、ＣＰＵ１０１は、記憶部１０８からＲＡＭ１０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ１０３にはまた、ＣＰＵ１０１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００４５】
本実施の形態では、図１の奥行き情報取得部１１乃至表示制御部１５の各機能を実行するプログラムが、ＲＯＭ１０２や記憶部１０８に記憶されている。従って、ＣＰＵ１０１が、このプログラムに従った処理を実行することで、奥行き情報取得部１１乃至表示制御部１５の各機能を実現することができる。なお、以下、このプログラムに従った処理を、画像表示処理と呼ぶ。画像表示処理の一例については、図５のフローチャートを参照して後述する。
【００４６】
ＣＰＵ１０１、ＲＯＭ１０２、及びＲＡＭ１０３は、バス１０４を介して相互に接続されている。このバス１０４にはまた、入出力インターフェース１０５も接続されている。
【００４７】
入出力インターフェース１０５には、入力部１０６、図１の表示部１６を含む出力部１０７、及び、ハードディスク等より構成される記憶部１０８が接続されている。記憶部１０８には、図１のデータ記憶部１７が含まれている。入出力インターフェース１０５にはまた、モデム、ターミナルアダプタ等より構成される通信部１０９が接続されている。通信部１０９は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００４８】
入出力インターフェース１０５にはまた、必要に応じてドライブ１１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなるリムーバブルメディア１１１が適宜装着される。そして、それらから読み出されたプログラムが、必要に応じて記憶部１０８にインストールされる。また、リムーバブルメディア１１１は、図１の例ではデータ記憶部１７に記憶されている原画像データ２２等の各種データも記憶することができる。
【００４９】
図５は、図４の画像表示装置１による画像表示処理の流れの一例を示すフローチャートである。
【００５０】
ステップＳ１において、ＣＰＵ１０１は、原画像データに付加された奥行き情報を取得する。具体的には例えば、図１の例では、ＣＰＵ１０１は、データ記憶部１７に記憶された原画像データ２２から、原画像の各領域のボケ度合を算出して、その各領域のボケ度合を奥行き情報として取得する。或いは、例えば、ＣＰＵ１０１は、メタデータ２１に含まれた領域ごとの距離情報を奥行き情報として取得する。
【００５１】
ステップＳ２において、ＣＰＵ１０１は、奥行き情報に基づいて、奥行きに基づいて分類した階層ごとに、原画像データから部分画像データを生成する。具体的には、ＣＰＵ１０１は、ステップＳ１で取得した奥行き情報に基づいて、原画像を構成する各領域を何れかの階層にそれぞれ分類する。ＣＰＵ１０１は、分類された領域を構成する画素に基づいて、階層ごとに原画像データから部分画像データを生成する。例えば図１の例では、第１の階層の部分画像データ２３−１と、第２の階層の部分画像データ２３−２とが生成される。
【００５２】
ステップＳ３において、ＣＰＵ１０１は、原画像に対する重ね合わせ用のオブジェクトデータを取得する。具体的には例えば、図１の例では、ＣＰＵ１０１は、データ記憶部１７からオブジェクトデータ２４を取得する。
【００５３】
ステップＳ４において、ＣＰＵ１０１は、オブジェクトデータを加工し、階層に応じてサイズを変化させたオブジェクトの画像の画像データを重ね合せ画像データとして、階層ごとに生成する。具体的には例えば、図１の例では、ＣＰＵ１０１は、オブジェクトデータ２４を加工して、第１の階層の重ね合せ画像データ２５−１と第２の階層の重ね合せ画像データ２５−２を生成する。
【００５４】
ステップＳ５において、ＣＰＵ１０１は、同一の階層では重ね合せ画像が部分画像よりも前段に表示されるように、奥行きに従って階層ごとに重ね合せ画像データを同一の階層の部分画像データに重ね合わせていく。これにより、表示画像データが生成される。具体的には例えば、図１と図２の例では、ＣＰＵ１０１は、鑑賞者（撮影装置）から見て手前側から順に、第１の階層の重ね合せ画像データ２５−１、第１の階層の部分画像データ２３−１、第２の階層の重ね合せ画像データ２５−２、及び、第２の階層の部分画像データ２３−２を重ね合せることによって、表示画像データを生成する。
【００５５】
ステップＳ６において、ＣＰＵ１０１は、ステップＳ５の処理で重ね合せて生成した表示画像データが表わす表示画像を表示部１６に表示させる。具体的には例えば、図１乃至図３の例では、ＣＰＵ１０１は、図３Ａに示す表示画像３１を表示部１６に表示させる。
【００５６】
これにより、画像表示処理が終了となる。
【００５７】
以上説明したように、本実施の形態の画像表示装置１は、実世界の奥行きに基づいて規定した階層ごとに、原画像の原画像データを構成する部分画像データを取得する。次に、画像表示装置１は、部分画像に重ね合わせる画像であるオブジェクトを階層ごとにサイズが異なるように、重ね合せ画像データを生成する。画像表示装置１は、階層ごとに、重ね合せ画像データを同一の階層の部分画像データに対して選択的に重ね合わせることによって、表示画像データを生成する。このように、画像表示装置１は、原画像内の奥行きに応じてサイズを変更したオブジェクトを、原画像に重ね合わせることができる。従って、画像表示装置１は、遠近感の効果や、前後関係がはっきりした奥行きある演出効果が際立った画像の表示、すなわち、鑑賞者にとっては現実感のある自然な画像の表示が可能になる。
【００５８】
なお、本発明は、本実施の形態に限定されるものではなく、本発明の目的を達成できる範囲で変形、改良等は本発明に含まれるものである。
【００５９】
本実施の形態では、画像表示装置１は、画像表示処理を実行するごとに原画像に関する奥行き情報をその都度取得し、取得した奥行き情報に基づいて部分画像データを階層ごとに生成するものとして説明したが、本発明はこれに限定されない。例えば、画像表示装置１の部分画像データ取得部１２は、初回又は事前に、部分画像データを階層ごとに生成し、その際にさらに、部分画像データが属しうる階層の数を表す階層数及び各階層が示す奥行きに関する情報（以下、「画像情報」と呼ぶ）を生成してもよい。そして、部分画像データ取得部１２は、階層ごとに部分画像データと画像情報とを関連づけて、データ記憶部１７に記憶させるようにしてもよい。換言すると、部分画像データの保存形式として、階層ごとに、部分画像データと、部分画像データが属しうる階層の数を表す階層数及び各階層が示す奥行きを含む画像情報とを関連づけて保存する形式を採用してもよい。例えば、このような保存形式を図１の例に採用した場合には、階層数が「２」であり、第１の階層が示す奥行きが「０乃至１０ｍ」であり、第２の階層が示す奥行きが「１０ｍ乃至無限大」である画像情報が生成される。そして、この画像情報に、第１の階層の部分画像データ２３−１及び第２の階層の部分画像データ２３−２が関連づけられてデータ記憶部１７に記憶される。このような保存形式を採用することで、画像表示装置１は、次回以降の画像表示処理を実行する際に、同様の部分画像データを繰り返し生成することが不要となる。すなわち、図５のステップＳ１，Ｓ２の処理を不要とし、表示画像を容易かつ短時間で再生することが可能になる。
【００６０】
さらに、部分画像データ取得部１２は、上述した画像情報に加えてさらに、或いは、単独で、階層ごとに、原画像に重ね合せる効果に関する情報（以下、「効果情報」と呼ぶ）を部分画像データと関連づけて、データ記憶部１７に記憶させるようにしてもよい。換言すると、部分画像データの保存形式として、上述した画像情報に加えてさらに、或いは単独で、効果情報を関連づけて保存する形式を採用してもよい。効果情報としては、例えば、オブジェクトの名称、重ね合わせる部分画像データの階層、オブジェクトの大きさ（サイズ）、オブジェクトの出現頻度、オブジェクトの移動方向と速度等を含めることができる。オブジェクトの大きさ（サイズ）、オブジェクトの出現頻度、及びオブジェクトの移動方向と速度は、階層ごとに生成することができ、オブジェクトの移動方向と速度は、例えば、移動ベクトルで表現してもよい。具体的には、このような保存形式が図１の例に採用された場合、オブジェクトの名称が「雪」で、重ねる部分画像データの階層を「第１の階層」とする第１の階層のオブジェクトの効果情報を、大きさが「大」であり、出現頻度が「中」であり、移動ベクトルで表した移動方向と速度が「Ｘ＝２，Ｙ＝１０」とする情報をさらに含んで生成することがでる。また、オブジェクトの名称が「雪」で、重ねる部分画像データの階層を「第２の階層」とする第２の階層のオブジェクトの効果情報については、大きさが「小」であり、出現頻度が「多」であり、移動方向と速度が「Ｘ＝１，Ｙ＝５」である情報をさらに含んで生成することがでる。このような効果情報を含む保存形式を採用することで、画像表示装置１は、次回以降の画像表示処理を実行する際に、さらに容易かつ短時間で表示画像を再生することができるようになる。なお、効果情報の分類形態は、特に上述の例に限定されない。例えば、効果情報の種類を鑑賞者に選択させる場合、鑑賞者が直感的に理解できる分類形態を採用することが好ましい。具体的には例えば、効果オブジェクトの移動方向に基づいて、「降らせる」や「飛び立つ」などに効果を分類しておき、オブジェクトの名称も、「降らせる」に対しては、「雪」、「桜の花びら」、「雨」、「落ち葉」などを、同様に、「飛び立つ」に対しては、「鳩」、「鶴」、「飛行機」などを選べるようにして、鑑賞者が選択しやすくするようにしてもよい。
【００６１】
また、撮影装置が、原画像を撮影する際に、画像の各領域の距離を測定することによって、予め部分画像データを階層ごとに生成するようにしてもよい。この場合、画像表示装置には、原画像データとともに階層ごとの部分画像データが予め与えられる。さらに、撮影装置は、上述の部分画像データの保存形式に従って、階層ごとの部分画像データや画像情報などをひとまとめにして、画像表示装置に供給してもよい。これにより、画像表示装置は、図１の機能的構成に対して、奥行き情報取得部１１及び部分画像データ取得部１２を省略することができる。この場合の画像表示装置のハードウェア構成としては、図４の構成をそのまま採用してもよい。また、この場合の画像表示処理としては、図５のステップＳ１，Ｓ２の処理を省略し、撮影装置から階層ごとの部分画像データが供給された後に、ステップＳ３乃至Ｓ６の処理を実行する処理を採用してもよい。
【００６２】
本実施の形態では、画像表示装置１は、原画像に関する奥行き情報を取得し、その奥行き情報に基づいて部分画像データを階層ごとに生成するものとして説明したが、本発明はこれに限定されない。例えば、撮影装置が、原画像を撮影する際に、画像の各領域の距離を測定することによって、予め部分画像データを階層ごとに生成するようにしてもよい。この場合、画像表示装置には、原画像データとともに階層ごとの部分画像データが予め与えられる。従って、画像表示装置は、図１の機能的構成に対して、奥行き情報取得部１１及び部分画像データ取得部１２を省略することができる。この場合の画像表示装置のハードウェア構成としては、図４の構成をそのまま採用してもよい。また、この場合の画像表示処理としては、図５のステップＳ１，Ｓ２の処理を省略し、撮影装置から階層ごとの部分画像データが供給された後に、ステップＳ３乃至Ｓ６の処理を実行する処理を採用してもよい。
【００６３】
また、本実施の形態では、撮影して得たデータである原画像データ２２が表わす原画像を表示対象として用いて説明したが、本発明はこれに限定されない。本発明は、奥行きの異なる複数の領域に区分可能な画像であれば、アニメや動画など、如何なる画像にも適用可能である。さらに、本実施の形態では、１つの原画像データから階層ごとに複数の部分画像データを分離して生成するものとして説明したが、本発明はこれに限定されず、部分画像データは、実世界の奥行きに基づいて規定された階層のうち何れかに分類することが可能な画像データであれば、如何なるデータであってもよい。例えば、１つの原画像データから階層ごとに複数の部分画像データを分離して生成する代わりに、原画像とは独立した別の画像の画像データから得た画像データを何れかの階層の部分画像データとして用いてもよい。
【００６４】
本実施の形態では、各々の階層の部分画像データのそれぞれの前段に、同一階層の重ね合せ画像データを重ね合わせるものとして説明したが、本発明はこれに限定されない。すなわち、各々の階層の部分画像データの全ての前段に、同一階層の重ね合せ画像データを重ね合わせなくてもよい。例えば、一部の階層の部分画像データに対して、その前段に同一階層の重ね合せ画像データを重ね合わせることを禁止するようにしてもよい。例えば、鑑賞者（撮影装置）から見て一番手前側の第１の階層の部分画像に人物の顔が含まれる場合、第１の階層の部分画像データの前段に重ね合せ画像データを重ね合わせると、人物の顔がオブジェクトによって隠されて表示されてしまうことがある。そこで、例えば、第１の階層の部分画像データについては、その前段に重ね合せ画像データを重ね合わせることを禁止するようにして、人物の顔がオブジェクトによって隠されてしまうことを回避するようにしてもよい。また、分類する階層の数も二つに限らず、任意の数でよい。
【００６５】
また、本実施の形態では、図１の奥行き情報取得部１１乃至表示制御部１５をソフトウェアとハーウェア（ＣＰＵ１０１を含む関連部分）の組み合せにより構成するものとして説明したが、かかる構成は当然ながら例示にしか過ぎず、本発明はこれに限定されない。例えば、奥行き情報取得部１１乃至表示制御部１５のそれぞれを、専用のハードウェアで構成してもよし、ソフトウェアで構成してもよい。
【００６６】
このように、本発明に係る一連の処理は、ソフトウェアにより実行させることも、ハードウェアにより実行させることもできる。
【００６７】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムを、コンピュータ等にネットワークを介して、或いは、記録媒体からインストールすることができる。コンピュータは、専用のハードウェアを組み込んだコンピュータであってもよいし、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータであってもよい。
【００６８】
本発明に係わる一連の処理を実行するための各種プログラムを含む記録媒体は、画像表示装置本体とは別に、ユーザにプログラムを提供するために配布されるリムーバブルメディアでもよく、或いは、画像表示装置本体に予め組み込まれた記録媒体等でもよい。リムーバブルメディアは、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた記録媒体としては、例えば、プログラムが記録されている、図４のＲＯＭ１０２や、図４の記憶部１０８に含まれるハードディスク等でもよい。
【００６９】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
【符号の説明】
【００７０】
１・・・画像表示装置、１１・・・奥行き情報取得部、１２・・・部分画像データ取得部、１３・・・重ね合せ画像データ生成部、１４・・・画像重ね合わせ処理部、１５・・・表示制御部、１６・・・表示部、１７・・・データ記憶部、１０１・・・ＣＰＵ、１０２・・・ＲＡＭ、１０３・・・ＲＯＭ、１０７・・・表示部、１０８・・・記憶部、１１１・・・リムーバブルメディア
【図１】
2011070495.tif 000003
【図２】
2011070495.tif 000004
【図３】
2011070495.tif 000005
【図４】
2011070495.tif 000006
【図５】
2011070495.tif 000007