(57)【要約】【課題】特殊な画像を用意することなく、１枚の画像から違和感のない自然な背景を構成する背景シーンオブジェクトを生成することができる背景シーンオブジェクト生成装置および背景シーンオブジェクト生成方法を提供すること。【解決手段】元背景シーンオブジェクト記憶部３１０は、背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトを記憶する。背面用領域決定部３２１は、入力画像７００の少なくとも一部の領域を背面用領域に決定し、背面用画像生成部３３１は、入力画像７００のうち背面用領域に対応する画像に基づいて、背面用画像を生成する。背面用画像マッピング部３４１は、背面用画像と、背面用画像を特定の方向に反転させた画像とを、この特定の方向に隣接配置して元背景シーンオブジェクトにマッピングする。【選択図】図２
2008021046.tif 000002
【特許請求の範囲】
【請求項１】
入力画像から、３次元コンピュータグラフィックスの背景を構成する背景シーンオブジェクトを生成する背景シーンオブジェクト生成装置において、
背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトを記憶する元背景シーンオブジェクト記憶部と、
前記入力画像に基づく背面用画像と、前記背面用画像を特定の方向に反転させた画像とを、前記特定の方向に隣接配置して前記元背景シーンオブジェクトの背面にマッピングする背面用画像マッピング部と、
を有する背景シーンオブジェクト生成装置。
【請求項２】
前記背面用画像マッピング部は、
円筒状の前記元背景シーンオブジェクトの背面にマッピングする際、前記入力画像に基づく背面用画像と、前記背面用画像を前記元背景シーンオブジェクトの背面が成す円筒の周方向に反転させた画像とを、前記元背景シーンオブジェクトの背面が成す円筒の周方向に交互に配置する、請求項１記載の背景シーンオブジェクト生成装置。
【請求項３】
前記入力画像の少なくとも一部の領域を背面用領域として決定する背面用領域決定部と、
前記入力画像のうち前記背面用領域決定部によって決定された背面用領域に対応する画像に基づいて、前記背面用画像を生成する背面用画像生成部と、
をさらに有する請求項１記載の背景シーンオブジェクト生成装置。
【請求項４】
前記元背景シーンオブジェクト記憶部が記憶する前記元背景シーンオブジェクトは、天井面として定義した面をさらに有し、
前記入力画像の少なくとも一部の領域を天井面用領域として決定する天井面用領域決定部と、
前記入力画像のうち前記天井面用領域決定部によって決定された天井面用領域に対応する画像に基づいて、天井面用画像を生成する天井面用画像生成部と、
前記天井面用画像生成部によって生成された天井面用画像を前記元背景シーンオブジェクトの天井面にマッピングする天井面用画像マッピング部と、
をさらに有する請求項３記載の背景シーンオブジェクト生成装置。
【請求項５】
前記元背景シーンオブジェクト記憶部が記憶する前記元背景シーンオブジェクトは、床面として定義した面をさらに有し、
前記入力画像の少なくとも一部の領域を床面用領域として決定する床面用領域決定部と、
前記入力画像のうち前記床面用領域決定部によって決定された床面用領域に対応する画像に基づいて、床面用画像を生成する床面用画像生成部と、
前記床面用画像生成部によって生成された床面用画像を前記元背景シーンオブジェクトの床面にマッピングする床面用画像マッピング部と、
をさらに有する請求項３記載の背景シーンオブジェクト生成装置。
【請求項６】
操作者の入力操作に応じて入力画像の少なくとも一部の領域を指定する領域指定部、をさらに有し、
前記背面用領域決定部は、
前記領域指定部によって指定された領域に基づいて、前記背面用領域を決定する、
請求項３記載の背景シーンオブジェクト生成装置。
【請求項７】
入力画像に対して、入力画像の消失点位置を検出する処理、入力画像を分割した分割領域ごとに色のヒストグラムを作成する処理、および入力画像の人物領域を検出する処理のうち、少なくとも１つの処理を実行する画像解析部、をさらに有し、
前記背面用領域決定部は、
前記画像解析部の解析結果に基づいて、前記背面用領域を決定する、
請求項３記載の背景シーンオブジェクト生成装置。
【請求項８】
入力画像に付与された入力画像の撮影軸の仰角と垂直画角を示す情報に基づいて、入力画像の水平線の位置を特定する画像付与情報解析部、をさらに有し、
前記背面用領域決定部は、
前記画像付与情報解析部の解析結果に基づいて、前記背面用領域を決定する、
請求項３記載の背景シーンオブジェクト生成装置。
【請求項９】
前記天井面用領域決定部は、前記入力画像のうち、前記背面用領域よりも上方の領域を前記天井面用領域として決定する、請求項４記載の背景シーンオブジェクト生成装置。
【請求項１０】
前記床面用領域決定部は、前記入力画像のうち、前記背面用領域よりも下方の領域を前記床面用領域として決定する、請求項５記載の背景シーンオブジェクト生成装置。
【請求項１１】
前記元背景シーンオブジェクトにマッピングされる画像に対して、コントラストを変換する処理、濃淡を変換する処理、明度を変換する処理、彩度を変換する処理、色相を変換する処理、および解像度を変換する処理のうち、少なくとも１つの処理を実行する画像編集部を有する、
請求項１記載の背景シーンオブジェクト生成装置。
【請求項１２】
入力画像から、３次元コンピュータグラフィックスの背景を構成する背景シーンオブジェクトを生成する背景シーンオブジェクト生成方法であって、
前記入力画像の少なくとも一部の領域を決定する領域決定ステップと、
背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトの背面に、前記入力画像のうち前記領域決定ステップで決定された領域に対応する画像に基づく背面用画像と、前記背面用画像を特定の方向に反転させた画像とを、前記特定の方向に隣接配置してマッピングする背面用画像マッピングステップと、
を有する背景シーンオブジェクト生成方法。
【請求項１３】
入力画像から、３次元コンピュータグラフィックスの背景を構成する背景シーンオブジェクトを生成する背景シーンオブジェクト生成プログラムであって、
コンピュータに、
前記入力画像の少なくとも一部の領域を決定する領域決定ステップと、
背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトの背面に、前記入力画像のうち前記領域決定ステップで決定された領域に対応する画像に基づく背面用画像と、前記背面用画像を特定の方向に反転させた画像とを、前記特定の方向に隣接配置してマッピングする背面用画像マッピングステップと、
を実行させる背景シーンオブジェクト生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元コンピュータグラフィックスの背景を構成する背景シーンオブジェクトを生成する背景シーンオブジェクト生成装置および背景シーンオブジェクト生成方法に関する。
【背景技術】
【０００２】
近年、個人が予め用意された複数のキャラクタオブジェクトの中からいずれかを選択して映像コンテンツを作成することを可能にする、いわゆるアバターサービスが提供されている。作成された映像コンテンツは、たとえば、個人のウェブサイトに掲載するなどして利用することができる。
【０００３】
このようなアバターサービスでは、ユーザの嗜好に沿った装飾品でキャラクタオブジェクトをカスタマイズすることができる。また、キャラクタオブジェクトなどの前景部分に対して、サービス提供者側で予め用意した画像を背景部分として合成することも可能となっている。これにより、各ユーザは、ユニークな映像コンテンツを作成することができる。
【０００４】
また、キャラクタオブジェクトは、３次元コンピュータグラフィックスで作成されている場合も多い。このような場合、映像化する際の仮想視点の位置を変化させることによって、キャラクタオブジェクトの見せ方を変化させるという演出効果を与えることができる。
【０００５】
ところが、背景部分が固定された２次元画像のままでは、演出効果が薄れてしまい、映像コンテンツとしての面白みに欠ける。そこで、３次元コンピュータグラフィックスで作成されたポリゴンオブジェクトに、背景用の画像をマッピングすることによって、背景部分を３次元画像で作成する技術が、たとえば、特許文献１および特許文献２に記載されている。以下、映像コンテンツの背景部分として利用されるオブジェクトを、「背景シーンオブジェクト」という。
【０００６】
特許文献１記載の技術では、所定の位置に置かれた視点を３６０度回転させながら得た複数の画像をつなぎ合わせた１枚の画像を、円筒状のポリゴンオブジェクトの内側面（背面）にマッピングして、背景シーンオブジェクトを生成する。これにより、仮想視点の位置の変化に対応して変化する背景を、キャラクタオブジェクトの仮想視点から向かって後方に実現することができる。
【０００７】
特許文献２記載の技術では、背景画像の基となる１枚の画像を複数枚コピーし、隣り合う画像の一部分を半透明にして重ね合わせた状態で、ポリゴンオブジェクトの面の形状に合うように複数の画像を並べてマッピングして、背景シーンオブジェクトを生成する。これにより、たとえば、地面や波などのパターン化された画像であれば、その画像を基に、任意のサイズの背景シーンオブジェクトを生成することができる。
【特許文献１】特開２００１−１４９６３９号公報
【特許文献２】特開２００５−１０００４９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記した特許文献１および特許文献２記載の技術には、次のような問題がある。
【０００９】
まず、特許文献１記載の技術では、背景シーンオブジェクトの背面にマッピングするための背面用画像として、視点を変化させて得た複数の画像をつなぎ合わせた１枚の画像といった特殊な画像を用意しなくてはならない。このような特殊な画像を個人で用意することは困難が伴う。
【００１０】
また、個人が所有している画像（たとえば、風景写真など）は、背景シーンオブジェクトの背面とは縦横比が異なる場合がほとんどである。したがって、たとえば、個人が所有している画像を、上記した特殊な画像の代わりに背面用画像として使用しようとしても、画像を一方向に大きく引き伸ばしてマッピングを行わなければならず、背景が歪んで不自然となってしまう。
【００１１】
また、特許文献２記載の技術では、特殊な画像を用意したり画像を一方向に大きく引き伸ばしたりすることなく１枚の画像から上記した背面用画像を生成できるものの、パターン化されていない画像を使用すると、画像を半透明にして重ね合わせた領域が不自然な画像となるとともに、この領域と他の重ね合わせを行っていない領域との境目が目立ってしまう。キャラクタオブジェクトの背景には、たとえば、風景画像が適しているが、このような風景画像はパターン化されていない画像であることが多い。
【００１２】
すなわち、特許文献１記載の技術および特許文献２記載の技術のいずれも、ユーザが個人で所有する通常の画像を気軽に利用して、違和感のない自然な背景（つまり、引き伸ばしによる画像の歪みや隣り合う画像の境界の不連続性などがない背景）を構成する背景シーンオブジェクトを生成するということができない。したがって、よりユニークな映像コンテンツを生成したいという市場の要求に応えることが難しい。
【００１３】
本発明は、かかる点に鑑みてなされたものであり、特殊な画像を用意することなく、１枚の画像から、違和感のない自然な背景を構成する背景シーンオブジェクトを生成することができる背景シーンオブジェクト生成装置および背景シーンオブジェクト生成方法を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明は、入力画像から、３次元コンピュータグラフィックスの背景を構成する背景シーンオブジェクトを生成する背景シーンオブジェクト生成装置であって、背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトを記憶する元背景シーンオブジェクト記憶部と、前記入力画像に基づく背面用画像と、前記背面用画像を特定の方向に反転させた画像とを、前記特定の方向に隣接配置して前記元背景シーンオブジェクトの背面にマッピングする背景用画像マッピング部と、を有する構成を採る。
【００１５】
本発明は、入力画像から、３次元コンピュータグラフィックスの背景を構成する背景シーンオブジェクトを生成する背景シーンオブジェクト生成方法であって、前記入力画像の少なくとも一部の領域を決定する領域決定ステップと、背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトの背面に、前記入力画像のうち前記領域決定ステップで決定された領域に対応する画像に基づく背面用画像と、前記背面用画像を特定の方向に反転させた画像とを、前記特定の方向に隣接配置してマッピングする背面用画像マッピングステップと、を有するようにした。
【００１６】
本発明は、入力画像から、３次元コンピュータグラフィックスの背景を構成する背景シーンオブジェクトを生成する背景シーンオブジェクト生成プログラムであって、コンピュータに、前記入力画像の少なくとも一部の領域を決定する領域決定ステップと、背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトの背面に、前記入力画像のうち前記領域決定ステップで決定された領域に対応する画像に基づく背面用画像と、前記背面用画像を特定の方向に反転させた画像とを、前記特定の方向に隣接配置してマッピングする背面用画像マッピングステップと、を実行させるようにした。
【発明の効果】
【００１７】
本発明によれば、隣り合う画像の境界の不連続が軽減された状態で、入力画像に基づく背面用画像が複数枚並べられて元背景シーンオブジェクトの背面にマッピングされる。したがって、特殊な画像を用意することなく、違和感のない自然な背景を構成する背景シーンオブジェクトを生成することができる。
【発明を実施するための最良の形態】
【００１８】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。なお、各図において同一の構成または機能を有する構成要素および相当部分には、同一の符号を付してその説明は繰り返さない。
【００１９】
（実施の形態１）
図１は、本発明の実施の形態１に係る背景シーンオブジェクト生成装置を含む３次元コンピュータグラフィックスアニメーション生成システムの構成を示すシステム構成図である。
【００２０】
図１において、３次元コンピュータグラフィックスアニメーション生成システム（以下「３Ｄアニメーション生成システム」という）１００は、キャラクタオブジェクトデータ記憶装置（以下「キャラクタ記憶装置」という）２００、背景シーンオブジェクト生成装置３００、背景シーンオブジェクトデータ記憶装置（以下「背景記憶装置」という）４００、３次元コンピュータグラフィックスアニメーション生成装置（以下「３Ｄアニメーション生成装置」という）５００、および表示装置６００を有する。
【００２１】
キャラクタ記憶装置２００は、３次元コンピュータグラフィックスアニメーション（以下「３Ｄアニメーション」という）を構成するのに必要な骨格となる情報として、１つまたは複数のポリゴンで作成された、キャラクタオブジェクトを構成するデータ（以下「キャラクタオブジェクトデータ」という）を記憶する。
【００２２】
背景シーンオブジェクト生成装置３００は、入力画像７００を基にして、３Ｄアニメーションの背景を構成する背景シーンオブジェクトを生成する。
【００２３】
背景記憶装置４００は、背景シーンオブジェクト生成装置３００によって生成された背景シーンオブジェクトのデータ（以下「背景シーンオブジェクトデータ」という）を記憶する。
【００２４】
３Ｄアニメーション生成装置５００は、３次元コンピュータグラフィックス生成に必要な情報を定義する設定情報８００を入力する。この設定情報８００には、キャラクタオブジェクトおよび背景シーンオブジェクトの配置座標、キャラクタオブジェクトの骨格の回転および移動のパラメータを時間軸上で定義したアニメーション情報、仮想視点の位置情報などが含まれる。また、３Ｄアニメーション生成装置５００は、キャラクタ記憶装置２００からキャラクタオブジェクトデータを取得するとともに、背景記憶装置４００から背景シーンオブジェクトデータを取得し、入力された設定情報８００に基づいて３Ｄアニメーションを生成する。
【００２５】
表示装置６００は、３Ｄアニメーション生成装置５００で生成された３Ｄアニメーションを映像化して表示する。この３Ｄアニメーションの表示は、たとえば、液晶ディスプレイなどの画面で実現される。なお、３Ｄアニメーション生成装置５００で生成された３Ｄアニメーションは、表示装置６００に表示させるのではなく、外部の記憶装置に保存したり、通信手段を使用して他の装置に送信するようにしてもよい。
【００２６】
図２は、本発明の一実施の形態に係る背景シーンオブジェクト生成装置の構成を示すブロック図である。
【００２７】
図２において、背景シーンオブジェクト生成装置３００は、元背景シーンオブジェクト記憶部３１０、背景用領域決定部３２０、背景用画像生成部３３０、および背景用画像マッピング部３４０を有する。
【００２８】
元背景シーンオブジェクト記憶部３１０は、背面として定義した面を含む複数のポリゴンで形成した面を有する元背景シーンオブジェクトを記憶するための装置部である。
【００２９】
図３は、元背景シーンオブジェクト記憶部３１０に記憶される元背景シーンオブジェクトの一例を示す模式図である。ここで、元背景シーンオブジェクト記憶部３１０は、本実施の形態の一例として、円柱の形状の元背景シーンオブジェクト３１１を、予め記憶しているものとする。
【００３０】
元背景シーンオブジェクト３１１は、図３に示すように、側面の円筒の形状をした背面３１２、上方の円の形状をした面を天井面３１３、および下方の円の形状をした面を床面３１４として、それぞれ定義している。また、元背景シーンオブジェクト３１１には、元背景シーンオブジェクトを構成する各面の種類を示す情報を含むメタデータが付与されている。ここでは、このメタデータは、背面、天井面、および床面を示す情報を含んでいる。
【００３１】
図２に示す背景用領域決定部３２０は、入力画像７００に対し、図３に示す元背景シーンオブジェクト３１１にマッピングするための画像を切り出す画像領域としての背景用領域を決定する。背景用領域決定部３２０は、背面用領域決定部３２１、天井面用領域決定部３２２、および床面用領域決定部３２３を有する。
【００３２】
図４は、背景用領域決定部３２０の構成を示すブロック図である。背景用領域決定部３２０は、領域指定部３２６をさらに備えている。
【００３３】
図２に示す背景用画像生成部３３０は、入力画像７００から、背景用領域決定部３２０で決定された画像領域の画素情報を取得し、取得した画素情報を基に、元背景シーンオブジェクト３１１にマッピングするための背景用画像を生成する。背景用画像生成部３３０は、背面用画像生成部３３１、天井面用画像生成部３３２、および床面用画像生成部３３３を有する。
【００３４】
図５は、背景用画像生成部３３０の構成を示すブロック図である。背景用画像生成部３３０は、領域画像編集部３３６をさらに備えている。
【００３５】
図２に示す背景用画像マッピング部３４０は、背景用画像生成部３３０で生成された背景用画像を、元背景シーンオブジェクト３１１にマッピングして背景シーンオブジェクトデータを生成する。そして、背景用画像マッピング部３４０は、生成した背景シーンオブジェクトデータを、背景記憶装置４００に記憶させる。背景用画像マッピング部３４０は、背面用画像マッピング部３４１、天井面用画像マッピング部３４２、および床面用画像マッピング部３４３を有する。
【００３６】
まず、図２に示す背景用領域決定部３２０について説明する。
【００３７】
背面用領域決定部３２１は、背面３１２にマッピングする画像の基となる画像の領域（以下「背面用領域」という）を決定する。天井面用領域決定部３２２は、天井面３１３にマッピングする画像の基となる画像の領域（以下「天井面用領域」という）を決定する。また、床面用領域決定部３２３は、床面３１４にマッピングする画像の基となる画像の領域（以下「床面用領域」という）を決定する。背面用領域決定部３２１、天井面用領域決定部３２２、および床面用領域決定部３２３は、それぞれ、図４に示す領域指定部３２６を使用して、画像領域の決定を行う。
【００３８】
領域指定部３２６は、図１示す表示装置６００に、ユーザに入力画像７００の一部の領域を背景用領域として指定させるための領域指定画面を表示させる。
【００３９】
図６は、領域指定画面を示す平面図である。領域指定画面９００は、入力画像表示部９１０、背面用領域決定部（ウインドウ）９２０、床面用領域決定部（ウインドウ）９３０、天井面用領域決定部（ウインドウ）９４０、および完了ボタン９５０を有する。背面用領域決定部（ウインドウ）９２０は、背面用領域指定ボタン９２１および背面用領域パラメータ表示部９２２を有する。また、床面用領域決定部（ウインドウ）９３０は、床面用領域指定ボタン９３１および床面用領域パラメータ表示部９３２を有する。また、天井面用領域決定部（ウインドウ）９４０は、天井面用領域指定ボタン９４１および天井面用領域パラメータ表示部９４２を有する。
【００４０】
３Ｄアニメーション生成システム１００は、ポインティングデバイスとしてのマウス（図示せず）を備えている。領域指定部３２６は、このマウスを介して、ユーザによるポインタ９６０の移動や、ボタンおよび領域の選択を受け付ける。領域指定部３２６は、背面用領域指定ボタン９２１、床面用領域指定ボタン９３１、天井面用領域指定ボタン９４１のいずれかが選択されると、対応する領域指定モードに移行する。そして、領域指定部３２６は、いずれかの領域指定モードに移行すると、入力画像表示部９１０上に示された背面用領域指定枠９１１、天井面用領域指定枠９１２、床面用領域指定枠９１３の、対応するものの領域を、ポインタ９６０で変更できる状態にする。
【００４１】
背面用領域指定枠９１１、天井面用領域指定枠９１２、床面用領域指定枠９１３の領域は、たとえば、矩形領域の場合、矩形の対角線上に位置する２つの頂点の座標といったパラメータによってそれぞれ示される。他にも、たとえば、矩形の４つの頂点のいずれか１つの座標と幅と高さや、矩形の縦横比と対角線の長さと重心の座標など、領域を一意に示すものを用いることができる。背面用領域指定枠９１１、天井面用領域指定枠９１２、床面用領域指定枠９１３を示すパラメータは、それぞれ背面用領域パラメータ表示部９２２、床面用領域パラメータ表示部９３２、天井面用領域パラメータ表示部９４２に表示される。そして、領域指定部３２６は、完了ボタン９５０が選択されると、決定された背面用領域、床面用領領域および天井面用領域を示すパラメータを、背景用領域を示す情報として、背景用画像生成部３３０へ出力する。
【００４２】
このように、背景用領域決定部３２０では、領域指定部３２６を使用して背景用領域が決定され、その背景用領域を示す情報が背景用画像生成部３３０へ出力される。
【００４３】
なお、背面用領域、天井面用領域、および床面用領域は、それぞれマッピングの対象となる元背景シーンオブジェクト３１１の該当面の形状に応じた形状で選択できるようにしてもよい。たとえば、図３に示す元背景シーンオブジェクト３１１の天井面３１３と床面３１４は、それぞれ円形となっている。したがって、領域指定部３２６は、たとえば中心点と円周通過点の選択によって円形領域を指定させ、指定された円形領域を、天井面用領域あるいは床面用領域に決定するようにしてもよい。
【００４４】
次に、図２に示す背景用画像生成部３３０について説明する。
【００４５】
背面用画像生成部３３１は、入力画像７００のうち、背面用領域決定部３２１によって決定された背面用領域に該当する画像部分を基に、背面用画像を生成する。具体的には、背面用画像生成部３３１は、たとえば、図６に示す入力画像表示部９１０の背面用領域指定枠９１１で囲まれた画像部分を基に、背面用画像を生成する。
【００４６】
天井面用画像生成部３３２は、入力画像７００のうち、天井面用領域決定部３２２によって決定された天井面用領域に該当する画像部分を基に、天井面用画像を生成する。具体的には、天井面用画像生成部３３２は、たとえば、図６に示す入力画像表示部９１０の天井面用領域指定枠９１２で囲まれた画像部分を基に、天井面用画像を生成する。
【００４７】
床面用画像生成部３３３は、入力画像７００のうち、床面用領域決定部３２３によって決定された床面用領域に該当する画像部分を基に、床面用画像を生成する。具体的には、床面用画像生成部３３３は、たとえば、図６に示す入力画像表示部９１０の床面用領域指定枠９１３で囲まれた画像部分を基に、床面用画像を生成する。
【００４８】
背面用画像生成部３３１、天井面用画像生成部３３２および床面用画像生成部３３３は、必要に応じて、図５に示す領域画像編集部３３６を使用して、背景用画像に対し、一般的に行われている画像編集方法によって領域画像編集を施す。
【００４９】
領域画像編集部３３６が画像に対して行う領域画像編集には、たとえば、コントラストの変換、濃淡の変換、明度の変換、彩度の変換、色相の変換、解像度の変換処理が含まれる。領域画像編集部３３６は予め定められたパラメータに従って、領域画像編集を行う。パラメータは、背面用画像、天井面用画像、床面用画像のそれぞれに定義されており、画像の用途に適した画像編集を施すことが可能である。たとえば、明るさおよびコントラストのパラメータについては、予め、「天井面用画像：明るさ＜＋２＞、コントラスト＜＋２＞」、「床面用画像：明るさ＜−２＞、コントラスト＜＋２＞」、「背面用画像：明るさ＜±０＞、コントラスト＜−４＞」と記述される。なお、これらのパラメータは、ユーザが入力画像７００ごとに任意に定義することもできる。この場合には、たとえば、領域画像編集部３３６が、マウス操作によって各パラメータの値を任意に増減させる画面を、表示装置６００に表示させるようにすればよい。
【００５０】
このように、背景用画像生成部３３０では、背景用画像が生成され、背景用画像マッピング３４０へ出力されるとともに、領域画像編集部３３６を使用して背景用画像に編集が施される。
【００５１】
次に、図２に示す背景用画像マッピング部３４０について説明する。
【００５２】
背景用画像マッピング部３４０は、元背景シーンオブジェクト記憶部３１０から元背景シーンオブジェクト３１１を読み出す。背面用画像マッピング部３４１は、背面用画像生成部３３１によって生成された背面用画像を、読み出された元背景シーンオブジェクト３１１の背面３１２にマッピングする。また、天井面用画像マッピング部３４２は、天井面用画像生成部３３２によって生成された天井面用画像を、読み出された元背景シーンオブジェクト３１１の天井面３１３にマッピングする。また、床面用画像マッピング部３４３は、床面用画像生成部３３３によって生成された床面用画像を、読み出された元背景シーンオブジェクト３１１の床面３１４にマッピングする。
【００５３】
天井面用画像マッピング部３４２は、天井面用画像のサイズおよび形状が元背景シーンオブジェクト３１１の天井面３１３のサイズおよび形状に一致していない場合には、天井面用画像に対し、拡大縮小する、複数枚コピーして並べるなどの処理を行う。
【００５４】
また、床面用画像マッピング部３４３も、床面用画像のサイズおよび形状が元背景シーンオブジェクト３１１の床面３１４のサイズおよび形状に一致していない場合には、床面用画像に対し、拡大縮小する、複数枚コピーして並べるなどの処理を行う。
【００５５】
ただし、図６からも明らかなように、天井面用画像および床面用画像はパターン化された画像であるのに対し、背面用画像はパターン化されていない画像となっている。したがって、既に説明したように、背面用画像を単に複数枚コピーして並べたり、拡大縮小するだけでは、不自然は背景画像が生成されてしまう。そこで、背面用画像マッピング部３４１は、背面用画像を複数枚コピーし、一枚おきに並べる方向と垂直の方向を軸に反転させて並べて、マッピングを行う。
【００５６】
図７は、背景用画像マッピング部３４０による背景用画像マッピング処理の概要を示す説明図である。ここで、図３で説明した元背景シーンオブジェクト３１１の背面３１２を、平面に展開した状態で示す。
【００５７】
背面用画像マッピング部３４１は、背面用画像生成部３３１で生成された背面用画像９８１を複数枚コピーして、背面３１２の長辺方向（水平方向）に並べてマッピングする。この際、背面用画像マッピング部３４１は、隣り合う領域（たとえば領域９８５と領域９８６）にマッピングする画像のどちらかを、水平方向に反転させ（９８３）、反転させた背面用画像９８２と反転させていない背面用画像９８１とを水平方向に隣接配置してマッピングする（９８４）。すなわち、背面３１２の水平方向に並べてマッピングされる複数枚の背面用画像は、一枚おきに並べる方向と垂直の方向を軸に反転された状態となる。これにより、背面用画像を複数枚並べた場合の隣り合う背面用画像の境界の不連続性が解消される。
【００５８】
なお、本実施例において、元背景シーンオブジェクト３１１の背面３１２は円筒状の閉曲面であるため、背面用画像９８１、９８２を同数ずつマッピングしている。これにより、背面用画像９８１、９８２は全周にわたって交互に配置され、水平の全ての方向において隣り合う背面用画像の境界の不連続性が解消された状態となる。背面３１２のサイズに連結された複数の背景用画像のサイズを適合させるには、たとえば、連結する背面用画像の枚数を予め所定の偶数に設定して背面用画像のサイズを決定しておき、図６で説明した背面用領域指定枠９１１の指定を制限するようにすればよい。
【００５９】
具体的には、たとえば、背面用領域決定部３２１は、領域指定部３２６を使用する場合、図６に示す入力画像表示部９１０に、決定された背面用画像サイズと同じサイズの背面用領域指定枠９１１を表示し、背面用領域指定枠９１１の位置のみをユーザに決定させるようにすればよい。
【００６０】
また、違和感のある画像とならない範囲内で、元背景シーンオブジェクト３１１の背面３１２に合うように、背面用画像の拡大縮小を行うようにしてもよい。具体的には、たとえば、背面用画像の水平方向の長さをＬＸ、背面用画像の垂直方向の長さをＬＹ、背面３１２の水平方向の長さをＷＸ、背面３１２の垂直方向の長さをＷＹとしたとき、背面用画像マッピング部３４１は、以下の式（１）および（２）を用いて、マッピングする画像の枚数Ｎを算出する。
【００６１】
ｘ ＝ ＷＸ／（ＷＹ×ＬＸ／ＬＹ）    ……（１）
Ｎ＝ＦＬＯＯＲ（ｘ）    ……（２）
【００６２】
ただし、ＦＬＯＯＲ（ｘ）は、ｘの値以下で、最大の整数を返す関数である。背面用画像マッピング部３４１は、算出された画像の枚数Ｎを用いて、背面用画像に対して、垂直方向の長さをＷｙ／Ｌｙ倍、水平方向の長さを、Ｗｘ／（Ｎ×Ｌｘ）倍する。これにより、背面３１２のサイズに合わせて背景用画像を拡大縮小することができ、各種の背面３１２のサイズおよび背面用画像のサイズに対応することができる。また、基の背景用画像の縦横比の変化をできるだけ抑えた状態で、マッピングを行うことができる。
【００６３】
さらに、背面３１２のように、マッピングの対象となる面がキャラクタオブジェクトを３６０度にわたって囲うような形状であれば、偶数枚の画像をマッピングすることで、上記したように、背面用画像と背面用画像を反転させた画像とを交互に配置することができ、全ての画像の境目の違和感を無くすことが出来る。具体的には、たとえば、上記した式（１）および（２）に替えて、以下の式（３）および（４）を用いる。
【００６４】
ｘ ＝ ＷＸ／（ＷＹ×２×ＬＸ／ＬＹ）    ……（３）
Ｎ＝ＦＬＯＯＲ（ｘ）×２    ……（４）
【００６５】
これにより、マッピングする画像の枚数Ｎを、偶数とすることができる。なお、以上説明した画像の拡大縮小の手法は、天井面用画像や床面用画像などの各種背景用画像に適用できることは勿論である。
【００６６】
図１に示す３Ｄアニメーション生成システム１００は、図示しないが、ＣＰＵ（Central Processing Unit）と、制御プログラムを格納したＲＯＭ（Read Only Memory）と、ＣＰＵの作業用メモリとしてのＲＡＭ（Random Access Memory）とを備えている。すなわち、上記した３Ｄアニメーション生成システム１００の各部の機能は、ＣＰＵが制御プログラムを実行することによって実現される。
【００６７】
以上の構成を有する３Ｄアニメーション生成システム１００について、背景シーンオブジェクト生成装置３００の動作を中心に説明を行う。
【００６８】
図８は、背景シーンオブジェクト生成装置３００による背景シーンオブジェクト生成処理の流れを示すフローチャートである。
【００６９】
ステップＳ１１００において、背景シーンオブジェクト生成装置３００は、入力画像７００を取得する。たとえば、背景シーンオブジェクト生成装置３００がカメラ付きの携帯電話機に搭載されている場合には、このカメラを使用してユーザが撮影した画像を、入力画像７００とすることができる。また、通信機能を使用して、各種画像を格納するデータベースにアクセスして所望の画像をダウンロードし、ダウンロードした画像を入力画像７００としてもよい。
【００７０】
次に、ステップＳ１２００において、背面用領域決定部３２１は、ステップＳ１１００で取得された入力画像７００に対して背面用領域を決定し、決定された背面用領域を示す情報を背景用画像生成部３３０へ出力する。
【００７１】
次に、ステップＳ１３００において、天井面用領域決定部３２２は、ステップＳ１１００で取得された入力画像７００に対して天井面用領域を決定し、決定された天井面用領域を示す情報を背景用画像生成部３３０へ出力する。
【００７２】
次に、ステップＳ１４００において、床面用領域決定部３２３は、ステップＳ１１００で取得された入力画像７００に対して床面用領域を決定し、決定された床面用領域を示す情報を背景用画像生成部３３０へ出力する。
【００７３】
このように、ステップＳ１２００〜Ｓ１４００において、背景用領域が決定され、その背景用領域を示す情報が背景用画像生成部３３０へ入力される。また、これらステップＳ１２００〜Ｓ１４００で実行される背景用領域の決定は、図４に示す領域指定部３２６を使用して行われる。領域指定部３２６は、図６で既に説明したように、領域指定画面９００を用いて背景用領域を決定する。
【００７４】
ステップＳ１５００において、背面用画像生成部３３１は、背面用領域決定部３２１から入力された背面用領域を示す情報を基に、入力画像７００の該当する領域を切り出して、背面用画像を生成する。そして、背面用画像生成部３３１は、生成した背面用画像を、背景用画像マッピング部３４０へ出力する。
【００７５】
次に、ステップＳ１６００において、天井面用画像生成部３３２は、天井面用領域決定部３２２から入力された天井面用領域を示す情報を基に、入力画像７００の該当する領域を切り出して、天井面用画像を生成する。そして、天井面用画像生成部３３２は、生成した天井面用画像を、背景用画像マッピング部３４０へ出力する。
【００７６】
次に、ステップＳ１７００において、床面用画像生成部３３３は、床面用領域決定部３２３から入力された床面用領域を示す情報を基に、入力画像７００の該当する領域を切り出して、床面用画像を生成する。そして、床面用画像生成部３３３は、生成した床面用画像を、背景用画像マッピング部３４０へ出力する。
【００７７】
このように、ステップＳ１５００〜Ｓ１７００において、背景用画像が生成され、生成された背景用画像は、背景用画像マッピング部３４０へ入力される。
【００７８】
なお、以上のステップＳ１５００〜Ｓ１７００において、背面用画像生成部３３１、天井面用画像生成部３３２および床面用画像生成部３３３は、必要に応じて、領域画像編集部３３６を使用し、上記した領域画像編集を背景用画像に対して施す。
【００７９】
ステップＳ１８００において、背景用画像マッピング部３４０は、元背景シーンオブジェクト記憶部３１０から図３に示す元背景シーンオブジェクト３１１を読み出す。そして、背面用画像マッピング部３４１は、図７で説明した手順によって、背面用画像生成部３３１から入力された背面用画像を、元背景シーンオブジェクト３１１の背面３１２にマッピングする。
【００８０】
次に、ステップＳ１９００において、天井面用画像マッピング部３４２は、ステップＳ１８００で読み出された元背景シーンオブジェクトに、天井面が定義されているか否かを判別する。この判別は、背景シーンオブジェクト３１１に付与されたメタデータに、天井面を示す情報が含まれているか否かを判別することによって行われる。ここでは、元背景シーンオブジェクト３１１に天井面３１３が定義されているので（Ｓ１９００：ＹＥＳ）、ステップＳ２０００へ進む。一方、元背景シーンオブジェクトに天井面が定義されていない場合には（Ｓ１９００：ＮＯ）、ステップＳ２１００へ進む。
【００８１】
ステップＳ２０００において、天井面用画像マッピング部３４２は、天井面用画像生成部３３２で生成された天井面用画像を、ステップＳ１８００で読み出された元背景シーンオブジェクト３１１の天井面３１３にマッピングする。
【００８２】
ステップＳ２１００において、床面用画像マッピング部３４３は、ステップＳ１８００で読み出された元背景シーンオブジェクトに、床面が定義されているか否かを判別する。この判別は、背景シーンオブジェクト３１１に付与されたメタデータに、床面を示す情報が含まれているか否かを判別することによって行われる。ここでは、元背景シーンオブジェクト３１１に床面３１４が定義されているので（Ｓ２１００：ＹＥＳ）、ステップＳ２２００へ進む。一方、元背景シーンオブジェクトに床面が定義されていない場合には（Ｓ２１００：ＮＯ）、ステップＳ２３００へ進む。
【００８３】
ステップＳ２２００において、床面用画像マッピング部３４３は、床面用画像生成部３３３で生成された床面用画像を、ステップＳ１８００で読み出された元背景シーンオブジェクト３１１の床面３１４にマッピングする。
【００８４】
このように、ステップＳ１８００〜Ｓ２２００の処理によって、元背景シーンオブジェクト３１１を構成する各面へのマッピングが完了すると、背景シーンオブジェクトデータが生成される。
【００８５】
ステップＳ２３００において、背景シーンオブジェクト生成装置は、生成した背景シーンオブジェクトデータを背景記憶装置４００に記憶させて保存し、一連の処理を終了する。
【００８６】
以上のようにして、背景シーンオブジェクト生成装置は、１枚の入力画像７００を基にして背景用画像を生成し、生成した背景用画像を元背景シーンオブジェクト３１１にマッピングし、背景シーンオブジェクトデータを生成することができる。したがって、入力画像７００は、背景シーンオブジェクト向けの特別な画像である必要がない。このため、たとえば、個人が多く保有している風景写真を流用することが可能である。
【００８７】
なお、ステップＳ１８００の処理を実行する前に、天井面および床面と同様に、マッピングの対象となる元背景シーンオブジェクト３１１に背面が定義されているか否かを、背景シーンオブジェクト３１１に付与されたメタデータから判別するようにしてもよい。また、マッピングの対象となる元背景シーンオブジェクト３１１が、図３に示す形状であることが既知である場合には、上記した背面が定義されているか否かの判別処理と、ステップＳ１９００およびＳ２１００の処理を省略してもよい。
【００８８】
図９は、以上説明した処理によって、背景シーンオブジェクト生成装置３００で元背景シーンオブジェクト３１１の背面３１２に画像がマッピングされる様子の一例を示す説明図である。
【００８９】
図９（Ａ）に示すように、背景用領域決定部３２０は、入力画像７００に対して、矩形の背面用領域９９１と、円形の天井面用領域９９２および床面用領域９９３を決定したとする。すると、背面用画像生成部３３１は、入力画像７００の背面用領域９９１を切り出して背面用画像を生成する。図９（Ｂ）に示すように、背面用画像マッピング部３４１は、生成された背面用画像を複数枚コピーし、水平方向に並べてマッピングするが、このとき、図９（Ｃ）に示すように、１枚置きに背面用画像を反転させる。この結果、隣り合う背面用画像の境界を判別しにくくなり、背面３１２は、あたかも全周にわたって連続した風景の画像がマッピングされているかのように見える。
【００９０】
また、天井面用画像生成部３３２は、入力画像７００の天井面用領域９９２を切り出して天井面用画像を生成し、床面用画像生成部３３３は、入力画像７００の床面用領域９９３を切り出して床面用画像を生成する。そして、天井面用画像マッピング部３４２と床面用画像マッピング部３４３は、生成された天井面用領画像および床面用画像を、それぞれ元背景シーンオブジェクト３１１の天井面３１３および床面３１４の大きさに一致するように拡大させて、マッピングする。この結果、背景シーンオブジェクト生成装置３００は、各面に画像がマッピングされた背景シーンオブジェクトデータを生成し、背景記憶装置４００に記憶させる。図９（Ｄ）は、このようにして生成された背景シーンオブジェクトデータを模式的に示したものである。なお、この図９（Ｄ）では、元背景シーンオブジェクト３１１の背面３１２に相当する部分のうち、手前側の部分の図示を省略している。
【００９１】
図１０は、図９（Ｄ）の背景シーンオブジェクトデータを使用して、３Ｄアニメーション生成装置５００で生成される３Ｄアニメーションの一例を示す説明図である。
【００９２】
図１０（Ａ）に示すように、３Ｄアニメーション生成装置５００は、背景記憶装置４００から読み出した背景シーンオブジェクトデータを基に３次元の背景シーンオブジェクトを構成するとともに、キャラクタ記憶装置２００から読み出したキャラクタオブジェクトデータを基に３次元のキャラクタオブジェクトを構成する。また、このとき、３Ｄアニメーション生成装置５００は、背景シーンオブジェクトの内部にキャラクタオブジェクトを配置する。なお、この図１０（Ａ）では、元背景シーンオブジェクト３１１の背面３１２に相当する部分のうち、手前側の部分の図示を省略している。
【００９３】
さらに、３Ｄアニメーション生成装置５００は、背景シーンオブジェクトの内部からキャラクタオブジェクトをみるように、仮想視点を配置して、３Ｄアニメーションを生成し、表示装置６００へ出力する。すると、たとえば、図１０（Ｂ）、（Ｃ）に示すように、表示装置６００は、キャラクタオブジェクトの向こう側に、図９（Ｃ）に示した画像を配置するとともに、キャラクタオブジェクトの下方に、図９（Ａ）に示した入力画像７００の床面用領域９９３を基とする画像を配置した映像を表示させる。
【００９４】
したがって、３Ｄアニメーション生成システム１００は、図１０（Ｂ）、（Ｃ）に示すように、キャラクタオブジェクトの側方に水平方向に連続しているようにみえる背景を配置することができる。また、３Ｄアニメーション生成システム１００は、入力画像７００の地面あるいは床面に相当する領域を基に生成した背景を、キャラクタオブジェクトの下方に配置し、入力画像７００の空あるは天井に相当する領域を基に生成した背景を、キャラクタオブジェクトの下方に配置することができる。これにより、３Ｄアニメーション生成システム１００は、仮想視点の場所によらず、違和感のない自然な背景映像を実現することができる。
【００９５】
以上説明したように、本実施の形態によれば、背景用画像マッピング部３４０は、円筒の周面にあたる元背景シーンオブジェクト３１１の背面３１２に、背面用画像を複数枚コピーして一方向に並べてマッピングする際に、背面用画像を一枚おきに並べる方向と垂直の方向を軸に反転させる。これにより、隣り合う背景用画像の境界の不連続が軽減される。したがって、所定の位置に置かれた視点を回転させながら得た複数の画像をつなぎ合わせた画像といった特殊な画像を用意することなく、違和感のない自然な背景を構成する背景シーンオブジェクトを生成することができる。
【００９６】
また、背景用領域決定部３２０は、入力画像７００に対して、ユーザ指定によって、適切な天井面用領域、背面用領域、および床面用領域を決定する。そして、背景用画像生成部３３０は、入力画像７００から、決定された天井面用領域、背面用領域、および床面用領域に該当する画像領域を基に、天井面用画像、背面用画像、および床面用画像を生成する。これにより、天井面用画像、背面用画像、および床面用画像をわざわざ作成する必要がなくなり、ユーザへの負担を軽減できるとともに、背景の基となる画像の選択の自由度が高くなり、より柔軟かつ簡単な映像コンテンツ作成を実現することができる。
【００９７】
なお、本実施の形態では、元背景シーンオブジェクトを円柱形として説明したが、円筒、楕円柱、平面、曲面など、３Ｄアニメーションの背景として使用できる各種の形状の元背景シーンオブジェクトに適用できることはもちろんである。
【００９８】
また、異なる風景画像であっても、一般的に、天井や床に相当する部分の画像は類似している場合が多い。したがって、青空、星空、および屋内の天井などの画像や、石畳、芝生、およびフローリングなどの画像をあらかじめ用意しておき、天井面用画像および床面用画像としてこれらの用意した画像を用いてもよい。これにより、天井面用領域や床面用領域を決定する処理、および天井面用画像や床面用画像を生成する処理を省略することができ、装置負荷を軽減し、処理の高速化や装置の低コスト化を図ることができる。
【００９９】
（実施の形態２）
実施の形態１の背景シーンオブジェクト生成装置では、ユーザ操作によって背景用領域を決定するようにしたが、適切な背景用領域を、背景シーンオブジェクト生成装置で自動的に決定することも可能である。
【０１００】
図１１は、本発明の実施の形態２に係る背景シーンオブジェクト生成装置の背景用領域決定部の構成を示すブロック図である。背景用領域決定部３２０ａは、実施の形態１における図２に示す背景シーンオブジェクト生成装置３００と同様の構成の背景シーンオブジェクト生成装置に適用される。具体的には、背景用領域決定部３２０ａは、図２の背景用領域決定部３２０に相当する部分として配置されるものである。そこで、実施の形態２に係る背景シーンオブジェクト生成装置については、背景用領域決定部３２０ａ以外の各部の図示および説明を省略する。
【０１０１】
図１１において、背景用領域決定部３２０ａは、背面用領域決定部３２１ａ、天井面用領域決定部３２２ａ、床面用領域決定部３２３ａ、および領域指定部３２６を有する。さらに、背景用領域決定部３２０ａは、画像解析部３２７および画像付与情報解析部３２８を有する。
【０１０２】
画像解析部３２７は、入力画像７００を解析し、背景用領域に適した領域を特定する。画像付与情報解析部３２８は、入力画像７００に付与された情報を元に、背景用領域に適した領域を特定する。背面用領域決定部３２１ａ、天井面用領域決定部３２２ａ、および床面用領域決定部３２３ａは、実施の形態１とは異なり、領域指定部３２６、画像解析部３２７、および画像付与情報解析部３２８のうち、１つまたは複数を使用して、画像領域の決定を行う。
【０１０３】
まず、画像解析部３２７の機能について説明する。画像解析部３２７は、入力画像７００を解析し、画像の消失点の位置を検出する。ここで、消失点とは、３次元空間に存在する平行線群の収束点であり、入力画像７００の撮影主体の視線の高さや位置の基準として利用できるものである。入力画像７００において、この消失点の検出の手法については、従来より一般的に行われているため、ここでの説明を省略する。以下、入力画像７００の座標系は、左上点を原点であり、Ｘ軸は右方向、Ｙ軸は下方向へ増加する値をとるものする。
【０１０４】
背面用領域決定部３２１は、検出された消失点の座標を中心として、予め定められた幅と高さを持つ矩形領域を、背面用領域として決定し、背面用領域を示す情報を出力する。これは、入力画像７００の消失点の高さと仮想視点の高さをほぼ一致させることによって、自然な３Ｄアニメーションを構成することができるためである。
【０１０５】
天井面用領域決定部３２２は、検出された消失点の座標よりも上方の点を中心として、予め定められた幅と高さを持つ矩形領域を、天井面用領域として決定し、天井面用領域を示す情報を出力する。天井面用領域の中心のＸ座標およびＹ座標は、たとえば、消失点のＸ座標の値と、消失点のＹ座標を０.２倍した値とを、それぞれ適用すればよい。これは、通常の風景写真では、消失点の上方の消失点よりも少し離れた領域に、空や天井といった天井面３１３へのマッピングに適した画像が配置されていることが多いためである。
【０１０６】
床面用領域決定部３２３は、検出された消失点の座標よりも下方の点を中心として、予め定められた幅と高さを持つ矩形領域を、床面用領域として決定し、床面用領域を示す情報を出力する。床面用領域の中心のＸ座標およびＹ座標は、たとえば、消失点のＸ座標の値と、入力画像７００全体の高さと消失点のＹ座標の和を０.５倍した値とを、それぞれ適用すればよい。これは、通常の風景写真では、消失点の下方の消失点よりも少し離れた領域に、地面や床といった床面３１４へのマッピングに適した画像が配置されていることが多いためである。
【０１０７】
このように、画像解析部３２７は、入力画像７００の消失点を検出することにより、ユーザに指定させることなく、適切な背景用領域を決定することができる。
【０１０８】
また、画像解析部３２７は、入力画像７００を予め定められた複数の矩形領域に分割して、それぞれの分割領域について色相のヒストグラムを作成するようにしてもよい。この色相のヒストグラムの作成の手法については、従来より一般的に行われているため、ここでの説明を省略する。
【０１０９】
この場合、天井面用領域決定部３２２ａは、天井面用画像に適した画像の色相のヒストグラムを予め記憶しており、その記憶された色相のヒストグラムと、上記した各分割領域の色相のヒストグラムとの相関を取る。そして、天井面用領域決定部３２２ａは、最も類似した色相のヒストグラムを有する分割領域を、天井面用領域として決定する。
【０１１０】
同様に、床面用領域決定部３２３ａは、床面用画像に適した画像の色相のヒストグラムを予め記憶しており、その記憶された色相のヒストグラムと、上記した各分割領域の色相のヒストグラムとの相関を取る。そして、床面用領域決定部３２３ａは、最も類似した色相のヒストグラムを有する分割領域を、床面用領域として決定する。
【０１１１】
背面用領域決定部３２１ａは、入力画像７００のうち、たとえば、天井面用領域決定部３２２ａと床面用領域決定部３２３ａで決定された天井面用領域と床面用領域のいずれも含まない最大の矩形領域を、背面用領域として決定する。
【０１１２】
このように、画像解析部３２７は、入力画像７００の分割領域ごとの色相のヒストグラムを作成することにより、ユーザに指定させることなく、適切な背景用領域を決定することができる。
【０１１３】
さらに、画像解析部３２７は、入力画像７００から人物の領域を検出し、背景用画像の対象から人物領域を除外するようにしてもよい。この人物領域を検出する手法については、従来より一般的に行われているため、ここでの説明を省略する。
【０１１４】
この場合、天井面用領域決定部３２２ａは、入力画像７００の人物領域よりも上方に所定の大きさ以上の画像領域が存在すれば、その領域のうち任意の矩形領域を、天井面用領域として決定する。
【０１１５】
同様に、床面用領域決定部３２３ａは、入力画像７００の人物領域よりも下方に所定の大きさ以上の画像領域が存在すれば、その領域のうち任意の矩形領域を、床面用領域として決定する。
【０１１６】
背面用領域決定部３２１ａは、入力画像７００ののうち、画像解析部３２７で検出された人物領域と、天井面用領域決定部３２２ａと床面用領域決定部３２３ａで決定された天井面用領域と床面用領域のいずれも含まない最大の矩形領域を、背面用領域として決定する。
【０１１７】
このように、画像解析部３２７は、入力画像７００の人物領域を検出することにより、ユーザに指定させることなく、適切な背景用領域を決定することができる。
【０１１８】
次に、画像付与情報解析部３２８の機能について説明する。入力画像７００のデータには、ヘッダ部分や画像付与情報として設けられたデータ領域に、画像撮影時の情報が記述されているものがある。画像付与情報解析部３２８は、このような付与情報から、入力画像７００を撮影したカメラの撮影軸の水平に対する上向きの角度（仰角）を示す角度情報と、撮影に使用したレンズの画角を示す画角情報を抽出する。
【０１１９】
天井面用領域決定部３２２ａは、抽出された角度情報と画角情報を基に、入力画像７００の水平線の位置を算出し、その位置より上方の領域で天井面用領域を決定する。入力画像７００の水平角は、垂直画角の中心となる角度から、撮影軸の仰角を差し引いた角度である。たとえば、画像付与情報解析部３２８で、垂直画角が２７度、撮影軸の仰角が−２度とする情報が抽出された場合、入力画像７００の上端から、入力画像７００の垂直方向幅のおよそ０.４３（≒｛（２７／２）−２｝／２７）倍した長さを下がった位置を、水平線の位置とすればよい。
【０１２０】
床面用領域決定部３２３ａは、天井面用領域決定部３２２ａと同様に、抽出された角度情報と画角情報を基に、入力画像７００の水平線の位置を算出し、その位置より下方の領域で床面用領域を決定する。
【０１２１】
背面用領域決定部３２１ａは、入力画像７００のうち、たとえば、天井面用領域決定部３２２ａと床面用領域決定部３２３ａで決定された天井面用領域と床面用領域のいずれも含まない最大の矩形領域を、背面用領域として決定する。
【０１２２】
このように、画像付与情報解析部３２８は、入力画像７００に付与された情報を解析することにより、ユーザに指定させることなく、適切な背景用領域を決定することができる。
【０１２３】
図１１に示す背面用領域決定部３２１ａ、天井面用領域決定部３２２ａ、および床面用領域決定部３２３ａは、以上説明した画像解析部３２７および画像付与情報解析部３２８を使用することによって、ユーザ操作を伴わずに、自動的に背景用領域を決定することができる。
【０１２４】
なお、領域指定部３２６、画像解析部３２７、および画像付与情報解析部３２８のうち、いずれを使用するかは、ユーザが指定するようにしたり、入力画像７００を解析して決定するようにすればよい。
【０１２５】
入力画像７００を解析する場合には、たとえば、背景用領域決定部３２０ａは、まず、角度情報および画角情報を抽出可能な情報が入力画像７００に付与されているか否かを判別し、付与されている場合には、画像付与情報解析部３２８を使用することを決定する。角度情報および画角情報を抽出可能な情報が入力画像７００に付与されていない場合には、背景用領域決定部３２０ａは、次に、入力画像７００において消失点を検出できるか否かを判別し、消失点を検出できる場合には、画像解析部３２７を使用することを決定する。消失点を検出できない場合には、背景用領域決定部３２０ａは、領域指定部３２６を使用することを決定する。このようにすれば、できるだけユーザへの負担を軽減した形で、適切な背景用領域を選択することが可能となる。
【０１２６】
また、背面用領域決定部３２１ａ、天井面用領域決定部３２２ａ、床面用領域決定部３２３ａは、それぞれ、領域指定部３２６、画像解析部３２７、画像付与情報解析部３２８を組み合わせて使用して領域決定を行うようにしても良い。また、背景用領域決定部３２０ａは必ずしも領域指定部３２６と、画像解析部３２７と、画像付与情報解析部３２８の全てを備えていなくてもよい。たとえば、背景用領域を示す座標情報が予め背景用領域決定部３２０ａに設定されている場合や、外部機器から背景用領域を指定されるような場合には、領域指定部３２６、画像解析部３２７および画像付与情報解析部３２８のいずれも備える必要がない。
【０１２７】
このように、本実施の形態によれば、ユーザ指定、画像解析、画像付与情報の解析のうち適切なものを利用して背景用領域を決定できるので、各種の入力画像７００を利用できるだけでなく、ユーザの嗜好に沿った背景用領域の決定手法を選択することができる。
【産業上の利用可能性】
【０１２８】
本発明に係る背景シーンオブジェクト生成装置および背景シーンオブジェクト生成方法は、特殊な画像を用意することなく、自然な背景を構成する背景シーンオブジェクトを生成することができ、ユーザ毎にユニークな映像コンテンツを簡易に作成することができるという効果を有するため、ユーザ識別に利用されるアバター映像コンテンツの提供サービスに有用である。また、３Ｄアニメーションなどの映像コンテンツのサービスを受ける携帯電話、携帯端末、パソコン、またはゲーム機などの端末装置に適用できる。
【図面の簡単な説明】
【０１２９】
【図１】本発明の実施の形態１に係る背景シーンオブジェクト生成装置を含む３次元コンピュータグラフィックスアニメーション生成システムの構成を示すシステム構成図
【図２】本発明の実施の形態１に係る背景シーンオブジェクト生成装置の構成を示すブロック図
【図３】本実施の形態における元背景シーンオブジェクトの一例を示す模式図
【図４】本実施の形態における背景用領域決定部の構成を示すブロック図
【図５】本実施の形態における背景用画像生成部の構成を示すブロック図
【図６】本実施の形態における領域指定画面を示す平面図
【図７】本実施の形態における背景用画像マッピング処理の概要を示す説明図
【図８】本実施の形態における背景シーンオブジェクト生成処理の流れを示すフローチャート
【図９】本実施の形態における元背景シーンオブジェクトの背面に画像がマッピングされる様子の一例を示す説明図
【図１０】本実施の形態における３Ｄアニメーション生成装置で生成される３Ｄアニメーションの一例を示す説明図
【図１１】本発明の実施の形態２に係る背景シーンオブジェクト生成装置の背景用領域決定部の構成を示すブロック図
【符号の説明】
【０１３０】
１００  ３Ｄアニメーション生成システム
２００  キャラクタ記憶装置
３００  背景シーンオブジェクト生成装置
３１０  元背景シーンオブジェクト記憶部
３２０、３２０ａ  背景用領域決定部
３２１、３２１ａ  背面用領域決定部
３２２、３２２ａ  天井面用領域決定部
３２３、３２３ａ  床面用領域決定部
３２６  領域指定部
３２７  画像解析部
３２８  画像付与情報解析部
３３０  背景用画像生成部
３３１  背面用画像生成部
３３２  天井面用画像生成部
３３３  床面用画像生成部
３３６  領域画像編集部
３４０  背景用画像マッピング部
３４１  背面用画像マッピング部
３４２  天井面用画像マッピング部
３４３  床面用画像マッピング部
４００  背景記憶装置
５００  ３Ｄアニメーション生成装置
６００  表示装置
【図１】
2008021046.tif 000003
【図２】
2008021046.tif 000004
【図３】
2008021046.tif 000005
【図４】
2008021046.tif 000006
【図５】
2008021046.tif 000007
【図６】
2008021046.tif 000008
【図７】
2008021046.tif 000009
【図８】
2008021046.tif 000010
【図９】
2008021046.tif 000011
【図１０】
2008021046.tif 000012
【図１１】
2008021046.tif 000013