(57)【要約】【課題】  撮影データに画像データを合成処理する際に、違和感の無い画像データを高速に生成することができる画像処理装置および画像処理方法を提供することを目的とする。【解決手段】  位置情報取得部１０４は、位置情報を取得し、日時情報取得部１０３は、位置情報の取得時の日時である日時情報を取得し、そして、気象情報取得部１０２は、気象情報を取得する。そして、照明環境計算部１０５は、照明環境情報を計算し、画像処理部１０９は、計算された照明環境情報に基づいて、オブジェクト記憶部１０８から必要なオブジェクトを取り出し、照明環境情報に基づいたオブジェクトを生成する。一方、撮影部１０６は、撮影した撮影データを取得し、画像処理部１０９は、取得された撮影データと、生成されたオブジェクトとを合成して、表示部１１０は、オブジェクトが合成された撮影データを表示することができる。【選択図】  図１
2011223331.tif 000002
【特許請求の範囲】
【請求項１】
撮影した撮影データを取得する撮影データ取得手段と、
前記撮影データ取得手段による撮影データ取得時における自機の位置を示す位置情報を取得する位置情報取得手段と、
前記撮影データ取得手段による撮影データ取得時の日時を示す日時情報を取得する日時情報取得手段と、
前記撮影データ取得手段による撮影データ取得時における気象状態を示す気象情報を取得する気象情報取得手段と、
前記位置情報取得手段により取得された位置情報、前記日時情報取得手段により取得された日時情報、および気象情報取得手段により取得された気象情報に基づいて照明環境を計算する照明環境計算手段と、
前記照明環境計算手段により計算された照明環境に基づいて画像データを生成する画像生成手段と、
前記撮影データ取得手段により取得された撮影データと、前記画像生成手段により生成された画像データとを合成して合成画像データを取得する合成手段と、
前記合成手段により合成された合成画像データを出力する出力手段と、
を備える画像処理装置。
【請求項２】
前記照明環境計算手段は、前記位置情報取得手段により取得された位置情報および前記日時情報取得手段により取得された日時情報から太陽の位置を計算して、画像データの光源分布を計算することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記照明環境計算手段は、前記気象情報取得手段により取得された気象情報に基づいて画像データの光源分布を計算することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
撮影した撮影データを取得する撮影データ取得ステップと、
前記撮影データ取得ステップによる撮影データ取得時における自機の位置を示す位置情報を取得する位置情報取得ステップと、
前記撮影データ取得ステップによる撮影データ取得時の日時を示す日時情報を取得する日時情報取得ステップと、
前記撮影データ取得ステップによる撮影データ取得時における気象状態を示す気象情報を取得する気象情報取得ステップと、
前記位置情報取得ステップにより取得された位置情報、前記日時情報取得ステップにより取得された日時情報、および気象情報取得ステップにより取得された気象情報に基づいて照明環境を計算する照明環境計算ステップと、
前記照明環境計算ステップにより計算された照明環境に基づいて画像データを生成する画像生成ステップと、
前記撮影データ取得ステップにより取得された撮影データと、前記画像生成ステップにより生成された画像データとを合成して合成画像データを取得する合成ステップと、
前記合成ステップにより合成された合成画像データを出力する出力ステップと、
を備える画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータグラフィックスにより生成した画像データと実写画像である撮影データとを合成する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
近年、いわゆる拡張現実といわれているＡＲ（Augmented Reality）技術を用いたサービスが数多く提供・発表されている。このＡＲサービスにおいては、例えば、現実の空間座標と、画像データ（いわゆるオブジェクト）とを対応付けてサーバなどに記憶しておく。そして、携帯電話に搭載されているＧＰＳを利用して、その携帯電話の位置を特定し、また携帯電話に搭載されているカメラおよび磁気センサを利用して、撮影した範囲に配置されている画像データをサーバから読み出す。そして、カメラで撮影して得た撮影データと、サーバから読み出した画像データとを重畳表示することができる。
【０００３】
ここで撮影データと、画像データとを重畳表示して違和感の無い画像データを得るために、以下の非特許文献１に記載されているような処理が考えられている。
【先行技術文献】
【非特許文献】
【０００４】
【非特許文献１】Paul Debevec. Rendering SyntheticObjects Into Real Scenes: Bridging Traditional and Image-Based Graphics WithGlobal Illumination and High Dynamic Range Photography, Proceedings of SIGGRAPH 98, pp. 189-198
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、この非特許文献１に記載の処理では、高精細な照明環境情報を取得する必要があり、またそのための特殊な装置が必要となる。また、照明環境情報を考慮しないで、撮影データと画像データとを重畳表示させると、違和感のある画像データが生成されてしまうという問題がある。
【０００６】
そこで、上述の課題を解決するために、本発明は、撮影データに画像データを合成処理する際に、違和感の無い画像データを高速に生成することができる画像処理装置および画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００７】
上述の課題を解決するために、本発明の画像処理装置は、撮影した撮影データを取得する撮影データ取得手段と、前記撮影データ取得手段による撮影データ取得時における自機の位置を示す位置情報を取得する位置情報取得手段と、前記撮影データ取得手段による撮影データ取得時の日時を示す日時情報を取得する日時情報取得手段と、前記撮影データ取得手段による撮影データ取得時における気象状態を示す気象情報を取得する気象情報取得手段と、前記位置情報取得手段により取得された位置情報、前記日時情報取得手段により取得された日時情報、および気象情報取得手段により取得された気象情報に基づいて照明環境を計算する照明環境計算手段と、前記照明環境計算手段により計算された照明環境に基づいて画像データを生成する画像生成手段と、前記撮影データ取得手段により取得された撮影データと、前記画像生成手段により生成された画像データとを合成して合成画像データを取得する合成手段と、前記合成手段により合成された合成画像データを出力する出力手段と、を備えている。
【０００８】
また、本発明の画像処理方法は、撮影した撮影データを取得する撮影データ取得ステップと、前記撮影データ取得ステップによる撮影データ取得時における自機の位置を示す位置情報を取得する位置情報取得ステップと、前記撮影データ取得ステップによる撮影データ取得時の日時を示す日時情報を取得する日時情報取得ステップと、前記撮影データ取得ステップによる撮影データ取得時における気象状態を示す気象情報を取得する気象情報取得ステップと、前記位置情報取得ステップにより取得された位置情報、前記日時情報取得ステップにより取得された日時情報、および気象情報取得ステップにより取得された気象情報に基づいて照明環境を計算する照明環境計算ステップと、前記照明環境計算ステップにより計算された照明環境に基づいて画像データを生成する画像生成ステップと、前記撮影データ取得ステップにより取得された撮影データと、前記画像生成ステップにより生成された画像データとを合成して合成画像データを取得する合成ステップと、前記合成ステップにより合成された合成画像データを出力する出力ステップと、を備えている。
【０００９】
この発明によれば、位置情報、日時情報、および気象情報に基づいて照明環境を計算し、計算された照明環境に基づいて画像データを生成する。そして、撮影した撮影データを取得し、取得された撮影データと、生成された画像データとを合成して合成画像データを取得して、出力することができる。これにより、撮影データと合成する際において、比較的簡単な処理で、違和感の無い画像データを生成することができる。
【００１０】
また、本発明の画像処理装置において、前記照明環境計算手段は、前記位置情報取得手段により取得された位置情報および前記日時情報取得手段により取得された日時情報から太陽の位置を計算して、画像データの光源分布を計算することを特徴とすることが好ましい。
【００１１】
この発明によれば、取得された位置情報および日時情報から太陽の位置を計算して、画像の光源分布を計算するものであり、これにより太陽光の照射方向を正確に把握することができる。よって、合成対象となる画像データを違和感の無いものとすることができる。
【００１２】
また、本発明の画像処理装置において、前記照明環境計算手段は、前記気象情報取得手段により取得された気象情報に基づいて画像データの光源分布を計算することが好ましい。
【００１３】
この発明によれば、気象情報に基づいて画像の光源分布を計算することで、太陽光の強さを正確に把握することができ、よって、合成対象となる画像データを違和感の無いものとすることができる。
【発明の効果】
【００１４】
本発明によれば、撮影データと合成する際において、比較的簡単な処理で、違和感の無い画像データを生成することができる。
【図面の簡単な説明】
【００１５】
【図１】本実施形態の画像処理装置１００の機能を示すブロック図である。
【図２】画像処理装置１００のハードウェア構成を示すブロック図である。
【図３】画像処理装置１００の処理を示すフローチャートである。
【図４】変形例における画像処理装置１００ａの機能を示すブロック図である。
【図５】画像処理装置１００ａの処理を示すフローチャートである。
【発明を実施するための形態】
【００１６】
添付図面を参照しながら本発明の実施形態を説明する。可能な場合には、同一の部分には同一の符号を付して、重複する説明を省略する。
【００１７】
図１は、本実施形態の画像処理装置１００の機能を示すブロック図である。図１に示されるように、画像処理装置１００は、通信部１０１、気象情報取得部１０２（気象情報取得手段）、日時情報取得部１０３（日時情報取得手段）、位置情報取得部１０４（位置情報取得手段）、照明環境計算部１０５（照明環境計算手段）、撮影部１０６（撮影データ取得手段）、撮影画像記憶部１０７、オブジェクト記憶部１０８、画像処理部１０９（画像生成手段、合成手段）、および表示部１１０（出力手段）を含んで構成されている。
【００１８】
この画像処理装置１００は、例えば、携帯電話であって、図２に示されるようなハードウェア構成をとる。図２は、画像処理装置１００のハードウェア構成を示すブロック図である。図１に示される画像処理装置１００は、物理的には、図２に示すように、ＣＰＵ１１、主記憶装置であるＲＡＭ１２及びＲＯＭ１３、入力デバイスであるキーボード及びマウス等の入力装置１４、ディスプレイ等の出力装置１５、ネットワークカード等のデータ送受信デバイスである通信モジュール１６、ハードディスク等の補助記憶装置１７などを含むコンピュータシステムとして構成されている。図１において説明した各機能は、図２に示すＣＰＵ１１、ＲＡＭ１２等のハードウェア上に所定のコンピュータソフトウェアを読み込ませることにより、ＣＰＵ１１の制御のもとで入力装置１４、出力装置１５、通信モジュール１６を動作させるとともに、ＲＡＭ１２や補助記憶装置１７におけるデータの読み出し及び書き込みを行うことで実現される。以下、図１に示す機能ブロックに基づいて、各機能ブロックを説明する。
【００１９】
通信部１０１は、移動体通信網（いわゆる３Ｇ回線）などを介してインターネットに接続する部分であり、本実施形態においては、無線通信を実行する部分である。この通信部１０１は、移動体通信網のほかにＷｉ−Ｆｉなど無線ＬＡＮを利用したものでもよい。
【００２０】
気象情報取得部１０２は、撮影部１０６において撮影した時点および撮影した場所における気象情報を、通信部１０１を介してサーバから取得する部分である。気象情報とは、例えば、晴れ、曇り、雨、雪などの気象状態を表す情報である。なお、このような抽象的な情報にかえて、太陽光の光の強さを取得するようにしてもよい。
【００２１】
日時情報取得部１０３は、撮影部１０６において撮影した時点の時刻を取得する部分であり、例えば内蔵するタイマーから取得してもよいし、外部ネットワークから取得してもよい。
【００２２】
位置情報取得部１０４は、撮影部１０６において撮影した時点における、画像処理装置１００の現在位置情報を取得する部分であり、例えばＧＰＳモジュールを利用して緯度経度からなる位置情報を取得する。なお、ＧＰＳモジュールに限定するものではなく、Ｗｉ−Ｆｉ、ＲＦＩＤなどの位置測位手段を用いて現在位置を取得してもよい。また、位置情報はこれらモジュールを用いて装置内部で算出してもよいし、基地局との関係で基地局において算出された位置情報を取得し、自機の位置情報としてもよい。
【００２３】
照明環境計算部１０５は、気象情報取得部１０２において取得された気象情報、日時情報取得部１０３において取得された日時情報、位置情報取得部１０４において取得された日時情報に基づいて、照明環境情報を計算する部分である。すなわち、照明環境計算部１０５は、位置情報および日時情報から太陽光がどの方向から照らされているか、その方位を計算し、気象情報から太陽光の強さを計算する。また、照明環境計算部１０５は、気象情報から、太陽光の拡散度合いも算出する。ここで算出した太陽光の拡散度合いは、画像処理部１０９において、レンダリング処理を行う際に利用される。なお、気象情報として「曇り」という状態であることが判断されると、拡散度合いは、大きくなるように定められており、また「晴れ」（すなわち雲が少ない）状態である場合には、拡散度合いは、０に近い値になるように定められる。気象情報から得られる曇りの度合いに応じて、予め拡散度合いの数値が定められる。
【００２４】
撮影部１０６は、レンズを介して撮影した映像データを取得する部分であり、例えばカメラである。
【００２５】
撮影画像記憶部１０７は、撮影部１０６において撮影した撮影データを一時的に記憶する部分である。
【００２６】
オブジェクト記憶部１０８は、撮影データに合成するためのオブジェクト、すなわち画像データを記憶する部分である。このオブジェクトは、撮影した撮影データに合成されるものであることから、立体感をもった三次元的な画像データであることが好ましい。このオブジェクト記憶部１０８は、形状（球形など）を表す形状情報、反射特性（反射率）、撮影データに対する合成位置を記憶している。
【００２７】
画像処理部１０９は、オブジェクト記憶部１０８に記憶されている複数のオブジェクトから、撮影データに対する合成対象となるオブジェクトを取得する。これは撮影方向、撮影位置に基づいて算出された、撮影データ内に配置すべきオブジェクトを取得する。そして、この画像処理部１０９は、照明環境計算部１０５において計算された照明環境情報に基づいて、オブジェクト記憶部１０８において記憶されているオブジェクトのレンダリング処理を行い、そのオブジェクトを撮影データにおける所定の位置に合成して、合成画像データを生成する部分である。
【００２８】
例えば、画像処理部１０９は、太陽の光の方向およびその強さ、ならびにオブジェクトの物体形状、物体反射率を利用して、当該オブジェクトが太陽光に照らされているようにレンダリング処理を行うことで、撮影データにそのオブジェクトを合成しても違和感のないようにする。
【００２９】
以下、レンダリング処理について、詳細に説明する。以下の参考文献１に記載されているように、一般にオブジェクト（ＣＧ画像）を生成する際、物体形状、反射特性（反射率）、および光源分布（照明環境情報）が必要となる。
［参考文献１］
佐藤洋一，向川康博， “インバースレンダリング”, 情報処理学会研究報告CVIM 2004-145-9, pp.65-76, Sep.2004.
【００３０】
本実施形態では、オブジェクト記憶部１０８が、物体形状の形状データおよび反射特性データを記憶しており、画像処理部１０９は、これら形状データおよび反射特性データ、ならびに照明環境計算部１０５により計算された照明環境情報を用いて光源分布を求め、レンダリング処理を行うことができる。レンダリング処理は、式（１）に基づいて行われる。
【数１】
2011223331.tif 000003
但し、ｘは、任意のオブジェクト上における任意点（座標）である。ωは、視線ベクトルである。Ｌｏ（ｘ，ω）は、任意点ｘが視線ベクトルωに放射する放射輝度である。Ｌｅ（ｘ，ω）は任意の物体が自己発光体である場合に視線ベクトルωに放射する放射輝度である。Ωは、任意点ｘを包括する天球の面全体である。ω’は、任意点ｘから天球上における任意の点への任意ベクトルである。ｆｒ（ｘ，ω，ω’）は、任意点ｘに入射した光が視線ベクトルωにどれだけの光を反射するかを決定付けるものであって、任意の物体が備える物性に応じて決定される双方向反射率分布関数（ＢＲＤＦ：Bidirectional Reflectance Distribution Function）である。Ｌｉ（ｘ，ω’）は、ベクトルω’から任意点ｘに入射する入射光の輝度である。ｎは、３次元オブジェクトにおける表面の座標ｘにおける法線ベクトルである。
【００３１】
本実施形態では、Ｌｉ（ｘ，ω’）を太陽光で近似しており、またΩは太陽の方向のみとなるため、上記式（１）の積分がなくなり、最終的には以下の式（２）による計算を行う。
【数２】
2011223331.tif 000004
【００３２】
すなわち、オブジェクトの一点から放たれる光の強さは、オブジェクトの一点において光る強さと全方向からの光を特定の方向に反射した光の強さの合計とを加算した値となる。照明環境計算部１０５において計算された照明環境情報は、光の照射する方向とその強さを示す情報であり、Ｌｉ（ｘ，ω’）となる。Ｌｉ（ｘ，ω’）は、以下の式（３）で表されるとおり、気象状態から求められた入射光（太陽光）の強さと光の広がりとを乗算した値である。具体的には、照明環境情報により特定された太陽光の照射方向（照射ベクトル）と、その輝度（太陽光の強さ）とが式に当てはめられ、Ｌｉ（ｘ，ω’）が算出される。なお、太陽光を無限遠の光源と考えると、入射する座標ｘには依存しないため、Ｌｉ（ω’）となる。
【数３】
2011223331.tif 000005
なお、ここでＡは、気象状態から求められた入射光の強さを表す係数、ｅは自然対数の底、σは気象状態から求められた太陽光の拡散度合いの係数であり、雲が少ないときには０に近い値をとり、曇っているほど値が大きくなるように、気象情報に基づいて予め定めた値、θは太陽光の入射角度を表している。
【００３３】
画像処理部１０９は、撮影部１０６から取得された撮影データに、画像処理部１０９においてレンダリング処理されたオブジェクトを合成する。合成する位置は実写画像の特徴点に基づく方法（以下参考文献２を参照）や、マーカーを利用する方法（非特許文献３を参照）が、ある。
［参考文献２］
"Method and apparatus for identifyingscale invariant features in an image and use of same for locating an object inan image", David G. Lowe, US Patent 6,711,293 (March 23, 2004). Provisional applicationfiled March 8, 1999. Asignee: The University of British Columbia）
［参考文献３］
ARToolkit：URL http://www.hitl.washington.edu/artoolkit/）
【００３４】
表示部１１０は、画像処理部１０９において、レンダリング処理されたオブジェクトを撮影データに合成された画像を表示する部分である。
【００３５】
このようにして、光源分布が適切にとれたオブジェクトを撮影データに合成することができるため、違和感の無い画面を得ることができる。
【００３６】
つぎに、このように構成された画像処理装置１００の処理について説明する。図３は、画像処理装置１００の処理を示すフローチャートである。
【００３７】
ＡＲアプリケーションが起動されると（Ｓ１０１）、撮影部１０６により撮影データが取得される（Ｓ１０２）。そして、位置情報取得部１０４により画像処理装置１００の位置情報が取得され（Ｓ１０３）、日時情報取得部１０３により日時情報が取得され（Ｓ１０４）、気象情報取得部１０２により気象情報が取得される（Ｓ１０５）。
【００３８】
そして、これら取得した日時情報、位置情報、気象情報に基づいて、照明環境計算部１０５により照明環境情報が計算される（Ｓ１０６）。
【００３９】
画像処理部１０９により、オブジェクト記憶部１０８から対象となるオブジェクトが読み出され、照明環境情報に基づいてオブジェクトのレンダリング処理が行われる（Ｓ１０８）。そして、画像処理部１０９により、撮影画像記憶部１０７から撮影データが取得され、その撮影データとレンダリング処理されたオブジェクトとが合成処理され（Ｓ１０９）、表示部１１０において、合成処理された画像データが表示される。
【００４０】
つぎに、本実施形態の変形例について説明する。図４は、変形例における画像処理装置１００ａの機能を示すブロック図である。この変形例における画像処理装置１００ａは、照度情報取得部１０２ａ、日時情報取得部１０３、位置情報取得部１０４、照明環境計算部１０５、撮影部１０６、撮影画像記憶部１０７、オブジェクト記憶部１０８、画像処理部１０９、および表示部１１０を含んで構成されている。この変形例においては、通信部１０１および気象情報取得部１０２を備えていない代わりに、照度情報取得部１０２ａを備えている。この照度情報取得部１０２ａは、画像処理装置１００ａに備えられている照度センサ（図示せず）から取得した明るさ（光の強さ）を計測する部分である。
【００４１】
そして、照明環境計算部１０５は、照度情報取得部１０２ａ、日時情報取得部１０３、位置情報取得部１０４において、それぞれ取得された照度情報、日時情報、位置情報に基づいて照明環境情報を計算することができる。他の構成については、図１における本実施形態と同じであるため、その説明は省略する。
【００４２】
つぎに、この変形例における画像処理装置１００ａの処理について説明する。図５は、画像処理装置１００ａの処理を示すフローチャートである。
【００４３】
図３と同様に、ＡＲアプリケーションが起動されると（Ｓ１０１）、撮影データが取得される（Ｓ１０２）。そして、位置情報、日常方、照度情報が取得される（Ｓ１０３、Ｓ１０４、Ｓ１０５ａ）。そして、これら取得された情報に基づいて、照明環境情報が計算される（Ｓ１０６ａ）。その後、オブジェクトが読み出され（Ｓ１０７）、日照環境情報に基づいて、レンダリング処理が行われる（Ｓ１０８）。レンダリング処理されたオブジェクトと、撮影データとが合成される（Ｓ１０９）。
【００４４】
このようにして、気象情報にかえて照度情報を取得することで、屋内における照明環境情報を計算し、取得することができる。
【００４５】
つぎに、本実施形態の画像処理装置１００および１００ａの作用効果について説明する。
【００４６】
本実施形態の画像処理装置１００において、位置情報取得部１０４は、画像処理装置１００の位置を示す位置情報を取得し、日時情報取得部１０３は、位置情報の取得時の日時である日時情報を取得し、そして、気象情報取得部１０２は、気象（晴れ、くもりなど）の気象情報を取得する。そして、照明環境計算部１０５は、照明環境情報を計算し、画像処理部１０９は、計算された照明環境情報に基づいて、オブジェクト記憶部１０８から必要なオブジェクトを取り出し、照明環境情報に基づいたオブジェクトを生成する。一方、撮影部１０６は、撮影した撮影データを取得し、画像処理部１０９は、取得された撮影データと、生成されたオブジェクトとを合成して、表示部１１０は、オブジェクトが合成された撮影データを表示することができる。これにより、撮影データにオブジェクトを合成処理する際に、違和感の無いオブジェクトを高速にかつ比較的簡易な処理で生成することができる。
【００４７】
本実施形態の画像処理装置１００において、照明環境計算部１０５は、取得された位置情報および日時情報から太陽の位置を計算して、画像の光源分布を計算するものであり、これにより太陽光の照射方向を正確に把握することができる。よって、合成対象となる画像データであるオブジェクトを違和感の無いものとすることができる。
【００４８】
また、気象情報取得部１０２は、気象情報に基づいて画像の光源分布を計算することで、太陽光の強さを正確に把握することができ、よって、合成対象となる画像データであるオブジェクトを違和感の無いものとすることができる。
【００４９】
また、画像処理装置１００ａにおいては、気象情報取得部１０２にかえて、照度情報取得部１０２ａを備えたものであり、照明環境計算部１０５は、照度情報取得部１０２ａにより取得された情報に基づいて照明環境を計算することができる。よって、室内における照明環境を適切に計算することができる。
【符号の説明】
【００５０】
１００…画像処理装置、１００ａ…画像処理装置、１０１…通信部、１０２…気象情報取得部、１０２ａ…照度情報取得部、１０３…日時情報取得部、１０４…位置情報取得部、１０５…照明環境計算部、１０６…撮影部、１０７…撮影画像記憶部、１０８…オブジェクト記憶部、１０９…画像処理部、１１０…表示部。
【図１】
2011223331.tif 000006
【図２】
2011223331.tif 000007
【図３】
2011223331.tif 000008
【図４】
2011223331.tif 000009
【図５】
2011223331.tif 000010