(57)【要約】【課題】任意の視点からの２次元画像が得られるとともに、特定の方向で特殊な表現手法が用いられている場合でも、その表現手法を反映した２次元画像を取得可能な画像処理装置及び画像処理プログラムを提供する。【解決手段】対象物の基本となる３次元モデルを基本３次元モデル生成部１で生成し、それをもとに特定方向における表現を反映した方向３次元モデルを方向３次元モデル生成部２で生成して、基本３次元モデルとともに特定方向と対応付けて記憶部３に記憶させておく。参照方向受付部４が参照方向を受け付けると、選択部５は、参照方向に従って記憶部３に記憶されている複数の方向３次元モデルを選択する。そして補間処理部６は、選択された複数の方向３次元モデル間で参照方向に従った補間処理を行い、参照方向における３次元モデルを生成する。【選択図】図１
2009294895.tif 000002
【特許請求の範囲】
【請求項１】
複数の特定方向に対応した３次元形状を示す方向３次元モデルを記憶する記憶手段と、指示された参照方向に従って複数の前記方向３次元モデルを選択する選択手段と、前記選択手段で選択した複数の前記方向３次元モデル間で補間処理を行い前記参照方向の３次元モデルを生成する補間手段を有することを特徴とする画像処理装置。
【請求項２】
記憶手段に記憶されている複数の特定方向に対応した３次元形状を示す方向３次元モデルのうち指示された参照方向に従って複数の前記方向３次元モデルを選択して読み出す選択処理と、前記選択処理で選択した複数の前記方向３次元モデル間で補間処理を行い前記参照方向の３次元モデルを生成する補間処理をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、３次元の物体のモデルを得る画像処理装置及び画像処理プログラムに関するものである。
【背景技術】
【０００２】
人物などを含む３次元物体を、任意の視点から参照した場合の２次元画像を得る技術は、ゲームやアニメーションなど、広い分野で利用されている。一般的には、まず３次元モデルを作成し、その３次元モデルを用いて参照方向から見た２次元画像を生成している。３次元モデルを作成する技術としては、例えば人物であれば特許文献１や特許文献２に記載されているように、複数の角度から撮影した人物の映像から特徴点を抽出し、視差などから３次元モデルを作成している。また地形や一般の３次元構造物であれば、例えば特許文献３などに記載されているように、対象物に標点を設けておいて、複数の角度から撮影した画像から３次元モデルを作成している。
【０００３】
このようにして３次元モデルができあがると、既知のコンピュータグラフィックス技術を用いることによって、任意の視点から見た２次元画像を得ることができる。例えば特許文献４、特許文献５、特許文献６などに記載されている。特許文献５，特許文献６では、作成した３次元モデルを変形させた状態での２次元画像を得ている。
【０００４】
上述のように複数の画像があれば３次元モデルを作成できることから、漫画のキャラクタなどを３次元モデル化し、任意の方向から見たキャラクタの２次元画像を得ることも可能である。しかし、漫画家が描いたキャラクタは３次元形状を忠実に再現したものではなく、むしろ、その時々でキャラクタの仕草や状況、感情などが読者に伝わるように表現方法に様々な工夫を凝らしている。そのため、現実の世界ではあり得ないような表現も多々行われている。
【０００５】
図６は、漫画における表現の一例の説明図である。例えば、キャラクタの顔を正面から描いた場合が図６（Ａ）であるとする。このキャラクタが横向きで描かれた場合、漫画では図６（Ｂ）に示すようにキャラクタの口のほとんどが見える状態で描かれる。一般の３次元モデルを用いた場合、横向きの顔では図６（Ｃ）に示すように口はほとんど描かれず、図６（Ｂ）のような２次元画像が得られることはない。図６（Ｂ）のようなキャラクタを３次元モデル化して正面から見た２次元画像を作成すると、図６（Ｄ）のように不自然な顔になってしまう。
【０００６】
このように漫画において描かれるキャラクタは３次元モデルから得られるものとは異なり、表情や会話の状況など、様々な状況を表現するために図６（Ｂ）に示すような表現で描かれている。漫画の読者にもこのような表現が広く受け入れられており、逆に３次元モデルから得られる現実的な表現には違和感を覚える読者も少なくない。このような漫画特有の表現方法は、口の位置に限られるものではなく、目の位置や髪型など、様々な表現において見られる。
【０００７】
そのため、３次元モデルのように任意の視点からの２次元画像を生成することができ、しかも漫画の表現方法が反映された２次元画像が得られるシステムが要求されていた。
【０００８】
一方、本願発明に関連する別の画像処理技術としてモーフィングがある。モーフィングは、２つの異なる画像があるとき、一方の画像から他方の画像へ徐々に画像を変化させて行く技術である。例えば特許文献４では自分の容姿とタレントや理想のスタイルとの間でモーフィングを行うことが例示されている。また、特許文献７ではゲーム中に表示する弾丸の形状をモーフィングにより生成することが記載されている。このモーフィングでは、異なる２つの画像を与えて、その２つの画像間で変化させるものであり、任意の視点からの画像を提供するものではない。
【０００９】
【特許文献１】特開２００５−７８６４６号公報
【特許文献２】特表２０００−５０３１７７号公報
【特許文献３】特開２００５−１７０３６号公報
【特許文献４】特開２００２−４２１６９号公報
【特許文献５】特開２００２−３０４６４０号公報
【特許文献６】特許第３５９７７９２号公報
【特許文献７】特開２００２−１６３６７７号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
本発明は、上述した事情に鑑みてなされたもので、任意の視点からの２次元画像が得られるとともに、例えば漫画に見られるような１つの３次元モデルでは対応できない表現手法が用いられている場合でも、その表現手法を反映した２次元画像を取得可能な画像処理装置及び画像処理プログラムを提供することを目的とするものである。
【課題を解決するための手段】
【００１１】
本発明は、複数の特定方向に対応した３次元形状を示す方向３次元モデルを記憶しておき、参照方向が指示されると、その参照方向に従って複数の方向３次元モデルを選択し、その複数の方向３次元モデル間で補間処理を行って、参照方向の３次元モデルを生成することを特徴とするものである。
【００１２】
なお、各特定方向に対応した方向３次元モデルは、基本となる３次元モデルを変形して生成しておけばよい。
【発明の効果】
【００１３】
本発明によれば、任意の視点からの２次元画像が得られるとともに、例えば漫画に見られるような１つの３次元モデルでは対応できない表現手法が用いられている場合でも、方向３次元モデルを用意しておいて、参照方向に応じて補間処理を行うことによって３次元モデルを生成する。得られた３次元モデルを用いて２次元画像を生成すれば、例えば漫画で用いられているような表現手法を反映した画像を取得することが可能になるという効果がある。
【発明を実施するための最良の形態】
【００１４】
図１は、本発明の実施の一形態を示すブロック図である。図中、１は基本３次元モデル生成部、２は方向３次元モデル生成部、３は記憶部、４は参照方向受付部、５は選択部、６は補間処理部である。
【００１５】
基本３次元モデル生成部１は、対象物の基本となる３次元モデルを基本３次元モデルとして生成する。生成方法は任意であり、種々の周知の方法を使用すればよい。例えば複数方向からの対象物が含まれる２次元画像を用い、対応点の位置関係から基本３次元モデルを作成することができる。
【００１６】
方向３次元モデル生成部２は、対象物を特定の方向から見た場合の３次元モデルを生成する。例えば基本３次元モデルを変形したり、あるいは特定方向からの３次元モデルを別途生成してもよい。変形の手法や生成方法は任意である。この方向３次元モデルとして、基本３次元モデルでは得られない、特定方向において特徴的な表現を反映させておけばよい。
【００１７】
なお、この基本３次元モデル生成部１および方向３次元モデル生成部２は、複数の方向３次元モデルが記憶部３に記憶されていれば、設けずに構成してもよい。
【００１８】
記憶部３は、方向３次元モデル生成部２で生成した方向３次元モデルを、その方向３次元モデルを生成した際の特定方向と対応付けて記憶する。基本３次元モデル生成部１で生成した基本３次元モデルも、１ないし複数の特定方向に対応した方向３次元モデルとして記憶してもよい。
【００１９】
参照方向受付部４は、対象物に対する参照方向を受け付ける。参照方向の受付方法は任意であり、例えば、利用者からの指示を受けたり、他のソフトウェアあるいは他の装置からの要求を受け付けるように構成することができる。
【００２０】
選択部５は、参照方向受付部４で受け付けた参照方向に従って、記憶部３に記憶されている方向３次元モデルの中から、参照方向に近い複数の特定方向に対応する方向３次元モデルを選択する。
【００２１】
補間処理部６は、選択部５で選択した複数の方向３次元モデル間で補間処理を行い、参照方向の３次元モデルを生成する。例えば２つの方向３次元モデルを用いてモーフィングにより変形させ、参照方向の３次元モデルを得ることができる。モーフィングによる処理を行う場合、方向３次元モデルをモーフィングターゲットして、参照方向に応じた補間処理を行えばよい。補間処理としては、線形補間のほか、球面補間などの各種の補間処理を用いることができる。また、特定方向に近いほどその特定方向に対応する方向３次元モデルの影響を強く受けるように重み付けするなど、任意に重み付けした補間処理を行ってもよい。もちろんモーフィングのほか、ジョイント変形などを用いてもよい。
【００２２】
このようにして、対象物に関しての参照方向における３次元モデルが生成される。他の対象物などについても同様の処理を行い、レンダリング処理を行うことにより、参照方向から見た２次元画像が得られることになる。あるいは、得られた３次元モデルをもとに参照方向から見た対象物の２次元画像を得て、背景画像などと合成してもよい。もちろん、このほかの利用も可能である。
【００２３】
このようにして得られた２次元画像は、特定方向について特徴的な表現が反映されている方向３次元モデルを用いているため、特定方向以外の参照方向でも、その参照方向に応じて、特定方向における特徴的な表現が反映されることになる。
【００２４】
なお、例えば基本３次元モデルを通常は用い、参照方向が特定方向に近い場合に方向３次元モデルを使用した補間処理を行うように構成してもよい。すなわち、記憶部３に別途記憶させておき、参照方向受付部４で受け付けた参照方向が特定方向から所定の範囲内である場合について、選択部５で当該特定方向に対応する方向３次元モデルと基本３次元モデル又は他の方向３次元モデルを選択し、補間処理部６で補間処理を施した３次元モデルを生成するように構成してもよい。
【００２５】
以下、具体例を用いて説明して行く。ここでは漫画的な表現を反映させた３次元モデルを得る場合について説明することとし、図６でも示したキャラクタの例を用いる。すなわち、正面では図６（Ａ）に示す２次元画像が得られ、横向きでは図６（Ｂ）に示す２次元画像が得られるようにした例を示す。なお、顔のキャラクタの下部に格子状のラインを付しているが、これは各図がどの方向から見たものであるかを分かりやすくしたものである。
【００２６】
図２は、方向３次元モデルの具体例の説明図、図３は、各方向３次元モデルについて、ある方向から見た場合の説明図、図４は、特定方向及び参照方向の一例の説明図である。まず、基本３次元モデル生成部１において、例えば図２（Ａ）（図６（Ａ）と同じ）に示す通常の状態のキャラクタで基本３次元モデルを作成する。さらに、この基本３次元モデルをもとに、ここでは４５°方向と９０°方向（横向き）を特定方向とする方向３次元モデルを方向３次元モデル生成部２で生成する。各方向を図４に示している。生成した４５°方向における方向３次元モデルを図２（Ｂ）に、また９０°方向における方向３次元モデルを図２（Ｃ）に、それぞれ示している。ここでは図示の都合上、各方向３次元モデルを対応する特定方向から見た２次元画像として示している。逆に言えば、各特定方向において図示した２次元画像が得られるように、それぞれの方向３次元モデルを生成する。
【００２７】
図２（Ａ）〜（Ｃ）に示した基本３次元モデル（以下では、この基本３次元モデルも１つの方向３次元モデルとして扱う）及び各特定方向に対応する方向３次元モデルをそのまま用いて斜め上方向から見た２次元画像を生成すると、図３（Ａ）〜（Ｃ）に示す２次元画像が得られる。例えば図２（Ｂ）に示した４５°方向を特定方向とする方向３次元モデルでは、目と口の位置をずらしている。４５°方向から見れば、例えば漫画などでよく用いられる表現である。この方向３次元モデルをそのまま用いて別の方向、例えば斜め上から見ると、図３（Ｂ）に示すようになる。同様に、例えば図２（Ｃ）に示した９０°方向を特定方向とする方向３次元モデルでは、図２（Ｂ）に示した４５°方向の場合よりも、さらに口の位置をずらしている。９０°方向から横向きとして見れば、例えば漫画などでは自然な表現である。この方向３次元モデルをそのまま用いて別の方向、例えば斜め上から見ると、図３（Ｃ）に示すようになる。このように、方向３次元モデル生成部２で生成する方向３次元モデルは、特定方向から参照した場合について、例えば漫画などで行われる表現方法を反映したものであり、他の方向からの参照についてまで最良のものというわけではない。
【００２８】
これらの方向３次元モデル（基本３次元モデル生成部１で生成した基本３次元モデル及び方向３次元モデル生成部２で生成した方向３次元モデル）は、それぞれの特定方向と対応付けて記憶部３に記憶させておく。なお、基本３次元モデルは少なくとも０°を特定方向とする方向３次元モデルであるとして記憶させておくものとする。
【００２９】
ここで、参照方向受付部４が図４に参照方向ａとして示す２２．５°の方向の指定を受けたとする。この場合、選択部５は、参照方向ａが特定方向が０°と４５°の間にあることから、特定方向が０°の方向３次元モデル（基本３次元モデル）と、特定方向が４５°の方向３次元モデルを選択する。
【００３０】
選択部５で選択された方向３次元モデルは補間処理部６に渡され、例えば、渡された方向３次元モデルをモーフィングターゲットとするモーフィングなどの補間処理が施される。この場合には参照方向ａが特定方向０°と４５°の中間であることから、両者の中間の３次元モデルが生成されることになる。図５は、生成された参照方向の３次元モデルから得られる２次元画像の具体例の説明図である。参照方向ａが与えられて補間処理部６で生成された３次元モデルを用いて、参照方向ａから見た２次元画像を生成すると、図５（Ａ）に示すような画像が得られる。この画像は、図２（Ａ）と図２（Ｂ）の中間的な画像となっている。
【００３１】
同様に、参照方向受付部４が図４に参照方向ｂとして示す６７．５°の方向の指定を受けたとする。この場合、選択部５は、参照方向ｂが特定方向が４５°と９０°の間にあることから、特定方向が４５°の方向３次元モデルと、特定方向が９０°の方向３次元モデルを選択する。
【００３２】
この場合には参照方向ｂが特定方向０°と４５°の中間であることから、両者の中間の３次元モデルが生成されることになる。この場合に補間処理部６で生成された３次元モデルを用いて、参照方向ｂから見た２次元画像を生成すると、図５（Ｂ）に示すような画像が得られる。この画像は、図２（Ｂ）と図２（Ｃ）の中間的な画像となっている。
【００３３】
漫画においては各コマにキャラクタなどが描かれることになるが、描かれたキャラクタはいくつかの方向からしか描かれていない。本願発明を用いると、これらのコマに描かれたキャラクタをもとに基本３次元モデルを生成し、さらに特定の方向のキャラクタにおける表現手法を方向３次元モデルとして生成することにより、任意の参照方向から見たキャラクタを再現できるとともに、特定の方向についての表現を、その参照方向においてもある程度反映させた画像を得ることができる。もちろん、参照方向を少しずつずらして行けば、連続的に変化するアニメーション映像を得ることもできる。その場合、特定方向に近づくにつれてその特定方向で用いられている表現が次第に反映された映像が得られることになる。
【００３４】
上述の基本３次元モデル生成部１、方向３次元モデル生成部２、参照方向受付部４、選択部５、補間処理部６における一部又は全部の機能は、コンピュータにおいて実行されるプログラムとして実現することもできる。この場合、 記憶部３はコンピュータ内のメモリあるいは外部（ネットワークを通じて接続されたものも含む）の記憶装置によって実現すればよい。また、方向３次元モデル生成部２、参照方向受付部４は、ユーザインタフェースを介して利用者が指示を行うのを支援するプログラムとして構成してもよい。
【図面の簡単な説明】
【００３５】
【図１】本発明の実施の一形態を示すブロック図である。
【図２】方向３次元モデルの具体例の説明図である。
【図３】各方向３次元モデルについて、ある方向から見た場合の説明図である。
【図４】特定方向及び参照方向の一例の説明図である。
【図５】生成された参照方向の３次元モデルから得られる２次元画像の具体例の説明図である。
【図６】漫画における表現の一例の説明図である。
【符号の説明】
【００３６】
１…基本３次元モデル生成部、２…方向３次元モデル生成部、３…記憶部、４…参照方向受付部、５…選択部、６…補間処理部。
【図１】
2009294895.tif 000003
【図２】
2009294895.tif 000004
【図３】
2009294895.tif 000005
【図４】
2009294895.tif 000006
【図５】
2009294895.tif 000007
【図６】
2009294895.tif 000008