(57)【特許請求の範囲】
【請求項１】
入力画像からその画像に含まれる対象物体のキャラクタ画像を生成する画像処理装置であって、
顔画像を入力する画像入力部と、
顔の３次元モデルおよび胴体部位の画像、ならびに胴体部位の画像に対応付けられた顔の向き、位置および大きさの情報を複数記憶している記憶部と、
前記画像入力部により入力された顔画像中の任意の位置をユーザが指定する位置指定手段、および前記記憶部に記憶された胴体部位の画像を選択する胴体選択手段を備えたユーザ入力部と、
前記位置指定手段により指定された位置情報、ならびに、前記胴体選択手段により選択された胴体部位の画像に対応付けられた顔の向き、位置および大きさ情報により、入力画像を変形して顔の３次元モデルに貼りこんで、頭部の静止画像を生成する顔画像生成手段、および前記胴体選択手段により選択された胴体部位の画像と前記顔画像生成手段により生成された画像とを組み合わせてキャラクタ画像を生成する合成手段を備えた画像処理部と、
この画像処理部で生成したキャラクタ画像を出力する出力部と、を備えたことを特徴とする画像処理装置。
【請求項２】
前記位置指定手段により指定された位置情報をもとに入力画像を予め定めた位置および方向から見た、予め定めた大きさのテクスチャ画像を生成するテクスチャ画像生成手段と、
このテクスチャ画像生成手段により生成されたテクスチャ画像を保存しておくテクスチャ画像記憶手段とをさらに備え、
前記顔画像生成手段は、前記胴体選択手段により選択された胴体部位の画像に対応付けられた顔の向き、位置および大きさ情報により顔のモデルを回転したうえ、顔のモデルに前記テクスチャ画像を貼りこんで、頭部の静止画像を生成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記記憶部は髪のモデルを記憶し、
前記顔画像生成手段は、髪の毛を描画することをさらに特徴とする請求項１または請求項２に記載の画像処理装置。
【請求項４】
前記記憶部は、複数の顔のモデルを記憶しており、前記ユーザ入力部は、前記記憶部に記憶されているこれら複数の顔のモデルを選択できるモデル選択手段を備えたことを特徴とする請求項２に記載の画像処理装置。
【請求項５】
前記テクスチャ画像記憶手段にテクスチャ画像を保存しておくことで、前記胴体選択手段による胴体部位の画像の選択が変更された場合でも、前記顔画像生成手段は、前記テクスチャ画像記憶手段に保存しているテクスチャ画像に基づき、変更後の胴体部位の画像に対応した顔の向き、位置および大きさの情報により回転して、頭部の画像を生成することを特徴とする請求項２に記載の画像処理装置。
【請求項６】
前記テクスチャ画像記憶手段にテクスチャ画像を保存しておくことで、前記モデル選択手段によるモデルの選択が変更された場合でも、前記顔画像生成手段は、前記テクスチャ画像記憶手段に保存しているテクスチャ画像に基づき、変更後のモデルを胴体部位の画像に対応付けられた顔の向き、位置および大きさの情報により回転して、頭部の画像を生成することを特徴とする請求項４に記載の画像処理装置。
【請求項７】
前記記憶部は、連続する動作を表す胴体の複数枚の画像を記憶しており、
前記合成手段は、３次元の動画像を生成することを特徴とする請求項１ないし請求項６のいずれかに記載の画像処理装置。
【請求項８】
前記記憶部は、胴体部位の画像を生成するためのベクトル静止画データを記憶しており、
前記合成手段は、前記記憶部に記憶されているベクトル静止画データに基づいて胴体部位の画像を生成することを特徴とする請求項１ないし請求項７のいずれかに記載の画像処理装置。
【請求項９】
前記記憶部は、胴体部位の動画像を生成するためのベクトルアニメーションデータを記憶しており、
前記合成手段は、前記記憶部に記憶されているベクトルアニメーションデータに基づいて胴体部位の動画像を生成することを特徴とする請求項７に記載の画像処理装置。
【請求項１０】
入力画像からその画像に含まれる対象物体のキャラクタ画像を生成する画像処理方法であって、
画像入力部から顔画像を入力する画像入力ステップと、
顔の３次元モデルおよび胴体部位の画像、ならびに胴体部位の画像に対応付けられた顔の向き、位置および大きさの情報を記憶部に複数記憶する記憶ステップと、
前記画像入力部により入力された顔画像中の任意の位置をユーザが指定する位置指定ステップと、
前記記憶部に記憶された胴体部位の画像を選択する胴体選択ステップと、
前記位置指定ステップにより指定された位置情報、ならびに、前記胴体選択ステップにより選択された胴体部位の画像に対応付けられた顔の向き、位置および大きさ情報により、入力画像を変形して顔の３次元モデルに貼りこんで、頭部の静止画像を生成する顔画像生成ステップと、
前記胴体選択ステップにより選択された胴体部位の画像と前記顔画像生成ステップにより生成された画像とを組み合わせてキャラクタ画像を生成する合成ステップと、
前記合成ステップにより生成したキャラクタ画像を出力する出力ステップと、を備えたことを特徴とする画像処理方法。
【請求項１１】
前記位置指定ステップにより指定された位置情報をもとに入力画像を予め定めた位置および方向から見た、予め定めた大きさのテクスチャ画像を生成するテクスチャ画像生成ステップと、
このテクスチャ画像生成ステップにより生成されたテクスチャ画像をテクスチャ画像記憶手段に保存しておくテクスチャ画像記憶ステップとをさらに備え、
前記顔画像生成ステップは、前記胴体選択ステップにより選択された胴体部位の画像に対応付けられた顔の向き、位置および大きさ情報により顔のモデルを回転したうえ、顔のモデルに前記テクスチャ画像を貼りこんで、頭部の静止画像を生成することを特徴とする請求項１０に記載の画像処理方法。
【請求項１２】
前記記憶ステップは、前記記憶部に髪のモデルを記憶し、前記顔画像生成ステップは、髪の毛を描画することをさらに特徴とする請求項１０または請求項１１に記載の画像処理方法。
【請求項１３】
前記記憶部は、複数の顔のモデルを記憶しており、
前記記憶部に記憶されているこれら複数の顔のモデルを選択できるモデル選択ステップをさらに備えたことを特徴とする請求項１１に記載の画像処理方法。
【請求項１４】
前記テクスチャ画像記憶手段にテクスチャ画像を保存しておくことで、前記胴体選択ステップによる胴体部位の画像の選択が変更された場合でも、前記顔画像生成ステップは、前記テクスチャ画像記憶手段に保存しているテクスチャ画像に基づき、変更後の胴体部位の画像に対応した顔の向き、位置および大きさの情報により回転して、頭部の画像を生成することを特徴とする請求項１１に記載の画像処理方法。
【請求項１５】
前記テクスチャ画像記憶手段にテクスチャ画像を保存しておくことで、前記モデル選択ステップによるモデルの選択が変更された場合でも、前記顔画像生成ステップは、前記テクスチャ画像記憶手段に保存しているテクスチャ画像に基づき、変更後のモデルを胴体部位の画像に対応付けられた顔の向き、位置および大きさの情報により回転して、頭部の画像を生成することを特徴とする請求項１３に記載の画像処理方法。
【請求項１６】
前記記憶部は、連続する動作を表す胴体の複数枚の画像を記憶しており、
前記合成ステップは、３次元の動画像を生成することを特徴とする請求項１０ないし請求項１５のいずれかに記載の画像処理方法。
【請求項１７】
前記記憶部は、胴体部位の画像を生成するためのベクトル静止画データを記憶しており、
前記合成ステップは、前記記憶部に記憶されているベクトル静止画データに基づいて胴体部位の画像を生成することを特徴とする請求項１０ないし請求項１６のいずれかに記載の画像処理方法。
【請求項１８】
前記記憶部は、胴体部位の動画像を生成するためのベクトルアニメーションデータを記憶しており、
前記合成ステップは、前記記憶部に記憶されているベクトルアニメーションデータに基づいて胴体部位の動画像を生成することを特徴とする請求項１６に記載の画像処理方法。
【請求項１９】
前記請求項１０ないし請求項１８のいずれかに記載の画像処理方法をコンピュータにより実現するための画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像を利用したリアルな３次元モデルを生成する画像生成装置および画像処理方法ならびに画像処理プログラムに関する。
【０００２】
【従来の技術】
従来より、画像を利用したリアルな３次元キャラクタ画像を生成する技術が種々提案されている。
【０００３】
例えば、特開２００１−１０９９０７号公報に記載の３次元モデル生成装置では、入力画像中の顔画像の位置を指定することにより、３次元モデルを入力画像に合わせて変形し、テクスチャ画像を生成する際の対応関係を計算によって求めて、正面向きテクスチャ画像に変形し、また、テクスチャ画像において顔の輪郭の外側を輪郭の内側の画素値で埋めることにより、より自然な３次元キャラクタ画像を生成するようになっている。
【０００４】
また、特願平１１−２８３３８７号（特開２００１−１０９９１３号公報）に記載の３次元モデル生成装置では、３次元キャラクタ画像を作る際、各部位のモデルを選択できる手段を備えることにより、使用者の好みに応じて、動作や髪型を自由に変更した画像を生成できるようになっている。
【０００５】
【発明が解決しようとする課題】
上記従来技術では、画像を利用してリアルな３次元キャラクタ画像を生成するために、顔、髪の毛、胴体といった各部位についてそれぞれの３次元モデルを持っており、それらを画像化する計算を、顔画像を生成するときに同時に行うことによって、各部位が奥行き方向の配置に関して矛盾が生じないようにする方法がとられていた。
【０００６】
この方法では、モデルの回転ステップと、それぞれの表面に画像であるテクスチャ画像を貼りこむステップと、各面の奥行き方向の整合性をとるステップとにおいて、非常に多くの計算量を必要とし、また、その計算のために大容量の記憶装置が必要であった。そのため、この方法でリアルな３次元キャラクタ画像を生成するためには、画像処理専用に構築された演算装置を使用するか、高い処理能力の汎用演算機能を持ったパーソナルコンピュータに、特定の装置に特化した画像処理プログラムを組み込んだ装置を使用する必要があった。
【０００７】
つまり、従来の方法では、大容量の記憶装置を持たない計算機や携帯型コンピュータなどでは動作せず、リアルな３次元キャラクタ画像を生成することができないといった問題があった。また、記憶装置の問題が解決できたとしても、画像処理専用の演算装置を持たず、比較的処理能力も劣る計算機や、携帯型コンピュータなどでは、計算に時間がかかり過ぎ、使用者に不快感を与えるなどの問題が残ることになる。
【０００８】
本発明はかかる問題を解決すべく創案されたもので、その目的は、画像処理専門の演算装置を持たず、また、比較的処理能力が低く、特化された画像処理プログラムを持たない計算機や携帯型コンピュータを使って、リアルで複雑なキャラクタ画像を簡単な操作で生成することができる画像処理装置および画像処理方法ならびに画像処理プログラムを提供することにある。
【０００９】
【課題を解決するための手段】
上記課題を解決するため、本発明の３次元キャラクタ画像を生成する画像処理装置は、入力画像からその画像に含まれる対象物体の３次元キャラクタ画像を生成する画像処理装置であって、顔画像を入力する画像入力部と、顔と髪の３次元モデルおよび予め描画された胴体部位の画像、ならびに胴体に合わせた顔の向き、位置および大きさの情報を複数記憶している記憶部と、前記画像入力部により入力された画像中の任意の位置をユーザが指定する位置指定手段、および前記記憶部に記憶された胴体を選択する胴体選択手段を備えたユーザ入力部と、前記位置指定手段により指定された位置情報をもとに入力画像を３次元モデルに貼りこむために予め定めた位置および方向から見た、予め定めた大きさのテクスチャ画像を生成するテクスチャ画像生成手段、このテクスチャ画像生成手段により生成されたテクスチャ画像を保存しておくテクスチャ画像記憶手段、前記胴体選択手段により選択された胴体に合わせた顔の向き、位置および大きさ情報により顔と髪の３次元モデルを回転したうえ、髪の毛を描画し、顔モデルに前記テクスチャ画像を貼りこんで、頭部の３次元の静止画像を生成する顔画像生成手段、および前記胴体選択手段により選択された胴体画像と前記顔画像生成手段により生成された画像とを組み合わせて３次元キャラクタ画像を生成する合成手段を備えた画像処理部と、この画像処理部で生成した３次元キャラクタ画像を表示する表示部と、を備えたことを特徴とする。
【００１０】
また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体は、画像入力部から顔画像を入力する画像入力ステップと、顔と髪の３次元モデルおよび予め描画された胴体部位の画像、ならびに胴体に合わせた顔の向き、位置および大きさの情報を記憶部に複数記憶する記憶ステップと、前記画像入力部により入力された画像中の任意の位置をユーザが指定する位置指定ステップと、前記記憶部に記憶された胴体を選択する胴体選択ステップと、前記位置指定ステップにより指定された位置情報をもとに入力画像を３次元モデルに貼りこむために予め定めた位置および方向から見た、予め定めた大きさのテクスチャ画像を生成するテクスチャ画像生成ステップと、このテクスチャ画像生成ステップにより生成されたテクスチャ画像を保存しておくテクスチャ画像記憶ステップと、前記胴体選択ステップにより選択された胴体に合わせた顔の向き、位置および大きさ情報により顔と髪の３次元モデルを回転したうえ、髪の毛を描画し、顔モデルに前記テクスチャ画像を貼りこんで、頭部の３次元の静止画像を生成する顔画像生成ステップと、前記胴体選択ステップにより選択された胴体画像と前記顔画像生成ステップにより生成された画像とを組み合わせて３次元キャラクタ画像を生成する合成ステップと、この合成ステップにより生成された３次元キャラクタ画像を表示する表示ステップと、を備えたことを特徴とする。
【００１１】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、画像入力部により顔画像を入力するとともに、位置指定手段により顔画像中の特定の点を指定することにより、髪および顔画像を顔の３次元モデルに貼り付けて任意の向き、位置および大きさの顔画像を生成し、また、胴体選択手段により胴体を選択し、予め描画された胴体画像と組み合わせて３次元キャラクタ画像を生成する。このように、顔画像を入力し、計算によって指定された向き、位置および大きさの顔画像を生成し、予め描画された胴体画像と組み合わせることで、比較的処理能力の低い計算機や携帯型コンピュータでも、よりリアリティの高い３次元キャラクタ画像を生成することができる。
【００１２】
また、胴体画像が時間経過に基づく複数枚の画像と、顔の向き、位置および大きさの情報とを複数種類持っている場合には、その動き情報を用いて、よりリアリテイの高い３次元キャラクタの動画像を生成することができる。
【００１３】
また、本発明の３次元キャラクタ画像を生成する画像処理装置によれば、前記記憶部は、複数の髪と顔モデルとを記憶しており、前記ユーザ入力部は、前記記憶部に記憶されているこれら複数の髪と顔モデルとを選択できるモデル選択手段を備えたことを特徴とする。
【００１４】
また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体によれば、前記記憶ステップは、複数の髪と顔モデルとを記憶し、前記記憶ステップにより記憶されたこれら複数の髪と顔モデルとを選択できるモデル選択ステップをさらに備えたことを特徴とする。
【００１５】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、入力画像である被写体本人の顔の形（例えば、丸い、四角い、とがっているなど）や、髪型に合わせてモデルを選択できるので、より本人に似たリアリティの高い静止画像または動画像を生成できる。
【００１６】
また、本発明の３次元キャラクタ画像を生成する画像処理装置によれば、前記記憶部は、胴体の静止画像を生成するためのベクトル静止画データと顔の向き、位置および大きさの情報とを記憶しており、前記合成手段は、前記記憶部に記憶されているベクトル静止画データに基づいて胴体の静止画像を生成するとともに、前記記憶部に記憶されている顔の向き、位置および大きさの情報に基づき、前記顔画像生成手段により生成された頭部の３次元の静止画像を前記胴体の静止画像と合成することを特徴とする。また、本発明の３次元キャラクタ画像を生成する画像処理装置によれば、前記記憶部は、胴体の動画像を生成するためのベクトルアニメーションデータと時間経過に基づく顔の向き、位置および大きさの情報とを記憶しており、前記顔画像生成手段は、複数枚の顔画像を生成し、前記合成手段は、前記記憶部に記憶されている胴体の動画像を生成するためのベクトルアニメーションデータに基づいて胴体の動画像を生成するとともに、前記記憶部に記憶されている時間経過に基づく顔の向き、位置および大きさの情報に基づき、前記顔画像生成手段により生成された複数枚の顔画像を前記胴体の動画像と合成することを特徴とする。
【００１７】
また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体によれば、前記記憶ステップは、胴体の静止画像を生成するためのベクトル静止画データと顔の向き、位置および大きさの情報とを記憶し、前記合成ステップは、前記記憶ステップに記憶されているベクトル静止画データに基づいて胴体の静止画像を生成するとともに、前記記憶ステップに記憶された顔の向き、位置および大きさの情報に基づき、前記顔画像生成ステップにより生成された頭部の３次元の静止画像を前記胴体の静止画像と合成することを特徴とする。また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体によれば、前記記憶ステップは、胴体の動画像を生成するためのベクトルアニメーションデータと時間経過に基づく顔の向き、位置および大きさの情報とを記憶し、前記顔画像生成ステップは、複数枚の顔画像を生成し、前記合成ステップは、前記記憶ステップにより記憶された胴体の動画像を生成するためのベクトルアニメーションデータに基づいて胴体の動画像を生成するとともに、前記記憶ステップにより記憶された時間経過に基づく顔の向き、位置および大きさの情報に基づき、前記顔画像生成ステップにより生成された複数枚の顔画像を前記胴体の動画像と合成することを特徴とする。
【００１８】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、胴体の動画像をベクトルデータから生成するので、データ量が大幅に減るほか、生成する動画像のサイズが変更になった場合でも、拡大、縮小による量子化誤差は少なく、よりクオリティの高い画像が生成できる。
【００１９】
また、本発明の３次元キャラクタ画像を生成する画像処理装置によれば、前記顔画像生成手段が１つの頭部の画像を生成した後、前記表示部にその画像を表示して生成結果を確認できるプレビュー機能を有することを特徴とする。
【００２０】
また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体によれば、前記顔画像生成ステップにより１つの頭部の画像を生成した後、その画像を表示部に表示して生成結果を確認できるプレビューステップをさらに備えたことを特徴とする。
【００２１】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、複数枚の画像を生成するのに時間がかかる場合でも、予め１枚の画像を生成した時点で処理結果を確認し、使用者が納得してから、目的の枚数分の画像を処理することになるので、長い時間待たされたあげく、納得がいかずに再度計算し直すということがなくなる。これにより、全体として動画像を生成する時間を短縮できる。
【００２２】
また、本発明の３次元キャラクタ画像を生成する画像処理装置によれば、前記テクスチャ画像記憶手段にテクスチャ画像を保存しておくことで、前記モデル選択手段によるモデルの選択が変更された場合でも、前記顔画像生成手段は、前記テクスチャ画像記憶手段に保存しているテクスチャ画像に基づき、変更後のモデルを胴体に合った顔の向き、位置および大きさの情報により回転して、頭部の画像を再生成することを特徴とする。
【００２３】
また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体によれば、前記テクスチャ画像記憶ステップによりテクスチャ画像を記憶部に保存しておくことで、前記モデル選択ステップによるモデルの選択が変更された場合でも、前記顔画像生成ステップは、前記テクスチャ画像記憶ステップにより保存しているテクスチャ画像に基づき、変更後のモデルを胴体に合った顔の向き、位置および大きさの情報により回転して、頭部の画像を再生成することを特徴とする。
【００２４】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、髪と顔モデルの選択が変更になった場合でも、入力画像中の位置指定を再度行う必要がないので、使用者の作業を軽減できるとともに、テクスチャ画像を生成する計算を省略でき、全体として画像を生成する時間を短縮できる。
【００２５】
また、本発明の３次元キャラクタ画像を生成する画像処理装置によれば、前記テクスチャ画像記憶手段にテクスチャ画像を保存しておくことで、前記胴体選択手段による胴体の選択が変更された場合でも、前記顔画像生成手段は、前記テクスチャ画像記憶手段に保存しているテクスチャ画像に基づき、変更後の胴体に合った顔の向き、位置および大きさの情報により回転して、頭部の画像を再生成することを特徴とする。
【００２６】
また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体によれば、前記テクスチャ画像記憶ステップによりテクスチャ画像を記憶部に保存しておくことで、前記胴体選択ステップによる胴体の選択が変更された場合でも、前記顔画像生成ステップは、前記テクスチャ画像記憶ステップにより保存しているテクスチャ画像に基づき、変更後の胴体に合った顔の向き、位置および大きさの情報により回転して、頭部の画像を再生成することを特徴とする。
【００２７】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、胴体の選択が変更になった場合でも、入力画像中の位置指定を再度行う必要がないので、使用者の作業を軽減できるとともに、テクスチャ画像を生成する計算を省略でき、全体として画像を生成する時間を短縮できる。
【００２８】
また、本発明の３次元キャラクタ画像を生成する画像処理装置によれば、前記顔画像生成手段は、大きめの画像を描画し、それを縮小することによって、高画質な頭部画像を生成するアンチエイリアス画像縮小機能を有することを特徴とする。
【００２９】
また、本発明の３次元キャラクタ画像を生成する画像処理方法および画像処理プログラムを記録した記録媒体によれば、前記顔画像生成ステップは、大きめの画像を描画し、それを縮小することによって、高画質な頭部画像を生成するアンチエイリアス画像縮小ステップをさらに備えたことを特徴とする。
【００３０】
このような特徴を有する本発明の画像処理装置、画像処理方法および記録媒体によれば、高画質な頭部画像を生成できる上、保存にＪＰＥＧなどＤＣＴを伴う圧縮方法を用いる場合、頭部画像中の高周波成分を抑えることができるので、ノイズを抑え、また、圧縮後のデータサイズを縮小することができる。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照して説明する。
【００３２】
図１は、本発明の３次元キャラクタ画像を生成する画像処理装置の一実施の形態を示すシステム構成図である。
【００３３】
本実施形態の画像処理装置は、大別すると、画像入力部１、記憶部２、ユーザ入力部３、画像処理部４、表示部５により構成される。
【００３４】
画像入力部１は、顔画像を入力するブロックである。入力方法としては、例えば半導体、光、磁気などを用いた記憶装置上のファイルから読み込むか、外部または装置に内蔵されたデジタルスチルカメラやデジタルムービーカメラ、あるいはビデオ信号などからキャプチャするなどすればよい。
【００３５】
記憶部２は、半導体、光、磁気などを用いた記憶装置である。記憶部２には、予め描画され時間経過に伴って変化する複数枚の胴体画像またはこれら胴体画像を生成するためのベクトルデータと、その画像に合わせた顔の向き、位置および大きさの情報と、髪、顔の３次元モデルとが、複数種類記憶されている。
【００３６】
ユーザ入力部３は、位置指定手段３ａ、モデル選択手段３ｂ、胴体選択手段３ｃを備えている。
【００３７】
位置指定手段３ａは、画像入力部１により入力された画像中の任意の位置を指定するものであり、マウスやキーボード等によって構成されている。すなわち、表示部５に表示された入力画像上のカーソルを、マウスやキーボード上のキーなどを操作して指定したい位置に合わせ、クリックまたはキーを押下するなどして、指定する作業を繰り返せば良い。その際、画像が表示可能な大きさを超える場合は、スクロールや適宜縮小すればよい。
【００３８】
モデル選択手段３ｂは、記憶部２に記憶されているモデルの一覧のサムネイル画像や題名などを表示部５に表示し、それをマウスやキーなどで指定することによってモデルを選択する。また、デフォルトのモデルを予め指定しておき、使用者がモデルを選択しない場合は、それを使用して画像を生成してもよい。
【００３９】
胴体選択手段３ｃは、記憶部２に記憶されている胴体のサムネイル画像や題名などを表示部５に表示し、それをマウスやキーなどで指定することによって胴体を選択する。
【００４０】
画像処理部４は、テクスチャ画像生成手段４ａ、テクスチャ画像記憶手段４ｂ、顔画像生成手段４ｃ、合成手段４ｄを備えている。
【００４１】
画像処理部４は、画像入力部１により入力された顔画像と、位置指定手段３ａにより指定された位置情報を元に、テクスチャ画像生成手段４ａでテクスチャ画像を生成する。また、生成したテクスチャ画像はテクスチャ画像記憶手段４ｂにより一時的に記憶される。顔画像生成手段４ｃは、胴体選択手段３ｃにより指定された胴体に対応する顔画像の向き、位置および大きさの情報にしたがって頭部の画像を生成する。合成手段４ｄは、この頭部画像と胴体画像とを合成する。
【００４２】
表示部５は、ＣＲＴや液晶などのディスプレイ装置であり、生成された３次元キャラクタ画像や、後述する各処理ステップで必要に応じて画像や文字を表示することができる。
【００４３】
図２は、本発明の３次元キャラクタ画像を生成する画像処理装置を搭載した電子機器の一実施例の概観を示している。
【００４４】
本発明の画像処理装置、画像処理方法および記録媒体は、比較的低い処理能力でも動作が可能なことを特徴としており、図２に示すような携帯電話機でも動作が可能である。携帯電話機の液晶画面６が本発明の表示部５であり、数字や機能キー７が本発明のユーザ入力部３であり、本発明の記憶部２および画像処理部４は電話機本体８に搭載されている。
【００４５】
次に、上記構成の３次元キャラクタ画像を生成する画像処理装置の処理動作について、図３ないし図６に示すフローチャート、および図７ないし図１１に示す各種説明図を参照して、以下、具体的に説明する。ただし、図３は全体的な処理の流れを示すフローチャート、図４はテクスチャ画像生成処理の詳細を示すフローチャート、図５はプレビュー処理の詳細を示すフローチャート、図６は画像生成処理の詳細を示すフローチャートである。
【００４６】
顔画像入力ステップＳ１では、画像入力部ｌにより画像を入力した入力画像１１を得る。
【００４７】
位置指定ステップＳ２では、入力画像１１を表示部５に表示しておき、図７の符号３０１で示すように、位置指定手段３ａにより入力画像中の４点（右目、左目、鼻、口）の位置を指定し、位置データ１２を得る。
【００４８】
テクスチャ画像生成ステップＳ３では、画像入力部１からの入力画像１１と、位置指定手段３ａにより指定された位置データ１２とに基づいて、テクスチャ画像１３を得る。
【００４９】
ここで、テクスチャ画像生成ステップＳ３の詳細について、図４に示すフローチャートを参照して説明する。
【００５０】
ステップＳ３１では、位置データ１２の妥当性（目の外側に鼻がないかなど）をチェックする。ここで、不適当と判断された場合、テクスチャ生成は中止され、図３の位置指定ステップＳ２まで戻る。
【００５１】
ステップＳ３２では、位置データ１２から、図７の符号３０２で示す入力画像中の４点（右目、左目、鼻、口）の位置を、符号３０３で示すように変形するためのパラメタ３３を得る。ステップＳ３３では、パラメタ３３に基づいて、入力画像１１の顔に相当する部分を変形した画像３４（図７の符号３０４で示す画像）を得る。
【００５２】
ステップＳ３４では、画像３４の頭髪より上の扇部分を、予め指定された髪の毛の色で塗りつぶし、図７の符号３０５で示すような画像を得る。
【００５３】
ステップＳ３５では、残った空白部分を埋めるために、顔の輪郭の内側の部分の色を抽出し、平均化して塗りつぶし、図７の符号３０６で示すようなテクスチャ画像１３を得る。このテクスチャ画像１３は、テクスチャ画像記憶手段４ｂに一時的に記憶される。
【００５４】
本発明では、このテクスチャ画像１３を記憶しておくことにより、モデル選択手段３ｄによりモデルの選択が変更された場合、および胴体選択手段３ｃにより胴体の選択が変更された場合でも、テクスチャ画像生成ステップＳ３を省略できることが特徴となっている。
【００５５】
また、本発明では、最終的な３次元キャラクタ画像を生成する前に、頭部の画像を表示部５に表示し、確認する機能も備えている。この機能は、プレビューステップＳ４により実現できる。
【００５６】
ここで、プレビューステップＳ４の詳細について、図５に示すフローチャートを参照して説明する。
【００５７】
図５中に示すプレビュー用顔パラメタ４２とは、顔が左右上下に動くような時系列にしたがった複数枚分のパラメタであり、これらを順番に表示することによって、左右上下に動くプレビューを得ることができる。
【００５８】
まず最初に、プレビュー用顔パラメタ４２中の一枚目の顔パラメタにしたがって顔画像生成ステップＳ４１を行い、頭部画像４３を得る。
【００５９】
顔画像生成ステップＳ４１は、図３中の顔画像生成ステップＳ７と同じであるので、後述するステップＳ７において説明する。
【００６０】
ステップＳ４２では、出来上がった頭部画像４３を、頭部画像４４として内部に一時的に記憶し、この頭部画像４４および「これでよい」か「やりなおし」かを選択する文字などを表示部５に表示する。
【００６１】
ステップＳ４３では、ユーザ入力部３に何らかの入力があるかどうかを判定し、入力がなければ、プレビュー用顔パラメタ４２から次のパラメタを選び、顔画像生成ステップＳ４１から再び繰り返す。一方、入力があれば、頭部画像４４は破棄されて、プレビューステップＳ４を終了する。
【００６２】
図３に戻って、ステップＳ５では、入力された結果が、「やりなおす（Ｎｏ）」であれば、テクスチャ画像１３を破棄し、画像入力ステップＳｌに戻る。
【００６３】
一方、ステップＳ５の判定が「これでよい（ＹＥＳ）」であれば、胴体選択ステップＳ６に移る。
【００６４】
胴体選択ステップＳ６では、記憶部２に記憶されている胴体データの一覧のサムネイル画像や題名を表示部５に表示して、選択を促す。そして、胴体選択手段３ｃにより選択された胴体の胴体画像１６、およびそれに対応する顔パラメタ１４を得る。
【００６５】
顔画像生成ステップＳ７では、顔パラメタ１４およびテクスチャ画像１３を用いて、頭部画像１５を生成する。
【００６６】
本発明では、胴体画像と対応する顔パラメタが時系列にしたがって複数枚分用意されている場合に、複数枚分の顔パラメタ１４を顔画像生成ステップＳ７に送ることにより、頭部画像１５も対応する枚数分生成することによって、動画像を生成できる機能も備えている。
【００６７】
ここで、顔画像生成ステップＳ７の詳細について図６に示すフローチャートを参照して説明する。
【００６８】
顔モデル７２とは、記憶部２に記憶された顔の３次元モデルである。
【００６９】
ステップＳ７１では、このモデルを２次元に投影することにより、テクスチャ画像中の座標（図８の符号７１２により示す）と、モデル中の座標（図８の符号７１１により示す）との対応を表すマッピングデータ７４を作成する。マッピングデータ７４は顔パラメタ１４によらず一定である。
【００７０】
ステップＳ７２では、顔モデル７２を顔パラメタ１４にしたがって変形し、回転さたモデル７５を得る。
【００７１】
ステップＳ７３では、ステップＳ７２と同様に、記憶部２に記憶された髪モデル７３を顔パラメタ１４にしたがって回転し、回転済みモデル７６を得る。
【００７２】
ステップＳ７４では、回転済みモデル７６にしたがって、白紙の画像に図９の符号７５１により示すような髪画像を描画する。
【００７３】
ステップＳ７５では、この上に、マッピングデータ７４、顔モデル７５、テクスチャ画像１３を用いて、図９の符号７５２により示すような顔画像を生成すると、結果として、図９の符号７５３に示すような顔画像を得る。
【００７４】
また、本発明では、アンチエイリアス画像縮小機能を備えており、髪画像描画ステップＳ７４、ならびに顔画像描画ステップＳ７５で目的画像の倍サイズの画像を生成し、縮小ステップＳ７６を使って、目的画像を得るように構成されている。
【００７５】
縮小ステップＳ７６では、画像中の４点（図１０中の符号７６１，７６２，７６３、７６４により示す）の画素値の平均を縮小画像の１点（図１０中の符号７６５により示す）の画素値とするよう縮小する。
【００７６】
この縮小ステップＳ７６を経て生成された画像は、テクスチャ画像から直接顔画像等を生成するときに、間引き計算により生じる量子化誤差を、大きな画像を得ることで少なくし、それをアンチエイリアス効果で高画質な画像としたものである。また、高周波成分を抑えることで、生成した頭部の画像にＪＰＥＧなどのＤＣＴを伴う圧縮を行う場合でも、ノイズが減り、圧縮後のデータサイズも少なくなるという効果がある。
【００７７】
図１０の符号７６６で示すピクセル列を間引き縮小したものを符号７６７に示し、符号７６６で示すピクセル列をアンチエイリアス付きで縮小したものを符号７６８に示す。
【００７８】
ステップＳ７５または縮小ステップＳ７６で生成された画像は、頭部画像１５として内部に記憶する。
【００７９】
ステップＳ７７では、顔パラメタ１４の枚数分だけ頭部画像１５が生成されたかを判定し、未生成分があれば、ステップＳ７２から繰り返す。一方、指定枚数に達していれば、顔画像生成ステップＳ７は終了し、次の合成ステップＳ８に移る。
【００８０】
図３に戻って、合成ステップＳ８では、胴体画像１６（図１１の符号８０２により示す）と頭部画像１５（図１１の符号８０１により示す）とを合成し、最終的な３次元キャラクタ画像１７（図１１の符号８０３により示す）を得る。
【００８１】
本発明では、胴体画像の代わりにベクトルデータを持つように構成することが可能であり、この構成によれば、頭部画像を時系列にしたがって複数枚生成しておき、合成手段４ｄでは、ベクトルデータから胴体画像を生成し、頭部画像と合成して、静止画または動画像を生成する。
【００８２】
表示ステップＳ９では、生成された３次元キャラクタ１７の静止画像または動画像を表示部５に表示する。
【００８３】
以上説明した画像処理装置は、３次元キャラクタ画像を生成する画像処理を機能させるためのプログラムで実現されている。
【００８４】
発明の対象とするのは、このプログラムそのものであってもよいし、このプログラムをコンピュータで読み取り可能な記録媒体に格納されているものであってもよい。
【００８５】
本発明では、この記録媒体として、図示は省略しているが、画像処理部４で処理が行なわれるために必要なメモリ、例えばＲＯＭのようなものそのものがプログラムメディアであってもよいし、また、図示していない外部記憶装置としてプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なプログラムメディアであってもよい。いずれの場合においても、格納されているプログラムはマイクロコンピュータがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、マイクロコンピュータの図示しないプログラム記憶エリアにロードされて、そのプログラムが実行される方式であってもよい。このロード用のプログラムは予め本体装置に格納されているものとする。
【００８６】
ここで、上記プログラムメディアは、本体と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等のテープ系、フロッピーディスクやハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ等の光ディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００８７】
また、本発明においては、インターネットを含む通信ネットワークと接続可能なシステム構成とした場合には、通信ネットワークからプログラムをダウンロードするように流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め装置本体に格納しておくか、あるいは別の記録媒体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００８８】
さらに、本発明では、プログラム自体として、図１に示されている画像処理部４で実行される処理そのものであってもよいし、あるいはインターネットを含む通信ネットワークとアクセスすることで取り込める、あるいは取り込めたものであってもよいし、こちらから送り出すものであってもよい。さらには、この取り込んだプログラムに基づいて、上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。あるいは、こちらから送り出す際に上記画像処理装置内で処理された結果、つまり生成されたものであってもよい。なお、これらのものはプログラムに限定されず、データであってもよい。
【００８９】
【発明の効果】
本発明の画像処理装置および画像処理方法ならびに画像処理プログラムによれば、画像処理専門の演算装置を持たず、また、比較的処理能力が低く、特化された画像処理プログラムを持たない計算機や携帯型コンピュータを使って、リアルで複雑な３次元キャラクタ画像を簡単な操作で生成することができる。
【図面の簡単な説明】
【図１】本発明の３次元キャラクタ画像を生成する画像処理装置の一実施の形態を示すシステム構成図である。
【図２】本発明の３次元キャラクタ画像を生成する画像処理装置を搭載した電子機器の一実施例の概観図である。
【図３】本発明の３次元キャラクタ画像を生成する画像処理装置における全体的な処理の流れを示すフローチャートである。
【図４】テクスチャ画像生成処理の詳細を示すフローチャートである。
【図５】プレビュー処理の詳細を示すフローチャートである。
【図６】画像生成処理の詳細を示すフローチャートである。
【図７】テクスチャ画像生成ステップの生成過程を示す説明図である。
【図８】顔画像生成ステップにおけるマッピングデータの作成を示す模式図である。
【図９】頭部画像の生成過程を示す説明図である。
【図１０】頭部画像の縮小方法を示す説明図図である。
【図１１】合成ステップにおける頭部画像と胴体画像との合成を示す説明図である。
【符号の説明】
ｌ  画像入力部
２  記憶部
３  ユーザ入力部
３ａ  位置指定手段
３ｂ  モデル選択手段
３ｃ  胴体選択手段
４  画像処理部
４ａ  テクスチャ画像生成手段
４ｂ  テクスチャ画像記憶手段
４ｃ  顔画像生成手段
４ｄ  合成手段
５  表示部
【図１】
0003848101.tif 000002
【図２】
0003848101.tif 000003
【図３】
0003848101.tif 000004
【図４】
0003848101.tif 000005
【図５】
0003848101.tif 000006
【図６】
0003848101.tif 000007
【図７】
0003848101.tif 000008
【図８】
0003848101.tif 000009
【図９】
0003848101.tif 000010
【図１０】
0003848101.tif 000011
【図１１】
0003848101.tif 000012