(57)【要約】【課題】安価な構成によって、いわゆる自撮り画像に対してユーザの姿勢を仮想キャラクタの姿勢として反映させたコンピュータグラフィックス（ＣＧ）の画像を生成する。【解決手段】ユーザの手に持って使用される撮像装置とユーザとの相対距離及び撮像装置の撮像方向の角度に応じて、撮像画像によって撮像されるユーザの姿勢を反映した仮想キャラクタの姿勢を求め（ステップＳ１８）、仮想キャラクタの姿勢を２次元画像に変換する（ステップＳ２２）画像生成装置とする。【選択図】図３
2019139608.tif 000002
【特許請求の範囲】
【請求項１】
ユーザの手に持って使用される撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて、前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める姿勢算出手段と、
前記仮想キャラクタの姿勢を２次元画像に変換する仮想キャラクタ画像生成手段と、
を備えることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置であって、
前記ユーザが手に持った前記撮像装置によって撮像された前記ユーザの画像に基づいて前記撮像装置と前記ユーザとの相対距離を求める距離算出手段を備えることを特徴とする画像生成装置。
【請求項３】
請求項１又は２に記載の画像生成装置であって、
前記撮像装置は、前記撮像装置の撮像方向の角度を検出するジャイロセンサを備えることを特徴とする画像生成装置。
【請求項４】
請求項１〜３のいずれか１項に記載の画像生成装置であって、
前記姿勢算出手段は、前記仮想キャラクタの頭及び腕の少なくとも一方の動きをインバースキネマティックス処理により求めることを特徴とする画像生成装置。
【請求項５】
請求項１〜４のいずれか１項に記載の画像生成装置であって、
前記仮想キャラクタ画像生成手段は、前記撮像装置で撮像される前記ユーザの顔の姿勢及びパーツ状態を前記仮想キャラクタの顔の姿勢及びパーツ状態として再現することを特徴とする画像生成装置。
【請求項６】
コンピュータを、
ユーザの手に持って使用される撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて、前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める姿勢算出手段と、
前記仮想キャラクタの姿勢を２次元画像に変換する仮想キャラクタ画像生成手段と、
して機能させることを特徴とする画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザの姿勢や顔のパーツ状態を仮想キャラクタに置き換えた画像を生成する画像生成装置及び画像生成プロクラムに関する。
【背景技術】
【０００２】
ユーザの動きを仮想のキャラクタのＣＧとして反映させる技術が存在している。例えば、ユーザにモーションキャプチャ装置を付け、ユーザの動きを検出することにより仮想のキャラクタの動きとして再現する技術が開示されている（特許文献１）。
【０００３】
一方、近年、ユーチューブ（登録商標）等において人の動きを含む動画が数多く提供されている。このとき、匿名性を高める等のために、人の動きを仮想キャラクタに置き換えた動画を投稿する者も増えてきている（非特許文献１）
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１６−１２６５００号公報
【非特許文献】
【０００５】
【非特許文献１】http://youtuberhyouron.com/virtualyoutuber/
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、従来のモーションキャプチャ装置を用いた仮想キャラクタの画像を生成するには、高額なシステムを準備する必要がある。したがって、一般人が手軽に動画を配信するような場合に用いることが困難である。
【課題を解決するための手段】
【０００７】
本発明の１つの態様は、ユーザの手に持って使用される撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて、前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める姿勢算出手段と、前記仮想キャラクタの姿勢を２次元画像に変換する仮想キャラクタ画像生成手段と、を備えることを特徴とする画像生成装置である。
【０００８】
本発明の別の態様は、コンピュータを、ユーザの手に持って使用される撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて、前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める姿勢算出手段と、前記仮想キャラクタの姿勢を２次元画像に変換する仮想キャラクタ画像生成手段と、して機能させることを特徴とする画像生成プログラムである。
【０００９】
ここで、前記ユーザが手に持った前記撮像装置によって撮像された前記ユーザの画像に基づいて前記撮像装置と前記ユーザとの相対距離を求める距離算出手段を備えることが好適である。
【００１０】
また、前記撮像装置は、前記撮像装置の撮像方向の角度を検出するジャイロセンサを備えることが好適である。
【００１１】
また、前記姿勢算出手段は、前記仮想キャラクタの頭及び腕の少なくとも一方の動きをインバースキネマティックス処理により求めることが好適である。
【００１２】
また、前記仮想キャラクタ画像生成手段は、前記撮像装置で撮像される前記ユーザの顔の姿勢及びパーツ状態を前記仮想キャラクタの顔の姿勢及びパーツ状態として再現することが好適である。
【発明の効果】
【００１３】
本発明によれば、安価な構成によって、いわゆる自撮り画像に対してユーザの姿勢を仮想キャラクタの姿勢として反映させたコンピュータグラフィックス（ＣＧ）の画像を生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明の実施の形態における画像生成装置を含むシステム構成を示す図である。
【図２】本発明の実施の形態における画像生成装置の構成を示す図である。
【図３】本発明の実施の形態における画像生成方法を示すフローチャートである。
【図４】発明の実施の形態における画像生成方法を説明する図である。
【発明を実施するための形態】
【００１５】
本発明の実施の形態における画像生成装置１００は、図１に示すように、インターネット１０２を介してサーバ１０４にアクセス可能なシステムに含まれる。画像生成装置１００において生成された画像は、インターネット１０２を介してサーバ１０４にアップロードすることができる。なお、本実施の形態において画像とは、複数の画面の画像を組み合わせて構成される動画も含むものとする。
【００１６】
画像生成装置１００は、図２に示すように、処理部１０、記憶部１２、入力部１４、出力部１６、撮像部１８、ジャイロセンサ２０及び通信部２２を含んで構成される。画像生成装置１００は、例えば、スマートフォン、携帯電話、タブレット端末等とすることができる。
【００１７】
処理部１０は、ＣＰＵ等を含んで構成され、画像生成装置１００における処理を統合的に行う。処理部１０は、記憶部１２に記憶されている画像生成プログラムを実行することにより、本実施の形態における画像生成処理を行う。記憶部１２は、画像生成装置１００における画像生成処理において用いられる画像生成プログラムや撮像部１８で撮像された画像等の画像生成装置１００で用いられる情報を記憶する。記憶部１２は、例えば、半導体メモリ、ハードディスク等で構成することができる。入力部１４は、画像生成装置１００に対して情報を入力するための手段を含む。入力部１４は、例えば、タッチパネル、キーボード（ソフトキーボードを含む）、マイク等を含んで構成される。出力部１６は、画像生成装置１００で生成された画像や処理された情報を表示させる手段を含む。出力部１６は、例えば、ディスプレイ（タッチパネルを含む）とすることができる。撮像部１８は、画像を撮像するためのカメラやレンズ等の光学システムを含んで構成される。撮像部１８で撮像された画像データ（静止画、動画）は記憶部１２に記憶されて画像生成処理の対象となる。ジャイロセンサ２０は、角速度センサであり、画像生成装置１００を動かしたときの角速度を検出して処理部１０へ出力する。処理部１０は、ジャイロセンサ２０からの角速度を時間積分処理することにより、基準角度（角度の初期設定値）から画像生成装置１００の角度がどれだけ変化したかを示す角度変化を検出することができる。通信部２２は、画像生成装置１００以外の外部装置との情報交換を行うためのインターフェースを含んで構成される。通信部２２は、例えば、インターネット１０２に接続されることによって、画像生成装置１００で生成された画像を外部のサーバ１０４にアップロードすることを可能にする。
【００１８】
なお、本実施の形態では、撮像部１８を画像生成装置１００と一体に構成した例について示したが、これに限定されるものではなく、撮像部１８を別体とした構成としてもよい。この場合、通信部２２を介して撮像部１８から画像生成装置１００が画像を取得できるようにすればよい。
【００１９】
以下、図３のフローチャートを参照して、本実施の形態における画像生成処理について説明する。本実施の形態における画像生成処理では、画像生成装置１００を手に持ったユーザが自分自身を撮像部１８よって撮像する所謂自撮りされた画像におけるユーザの姿勢や顔のパーツ状態を仮想キャラクタの姿勢や顔のパーツ状態に置き換えたコンピュータグラフィックス（ＣＧ）の画像を生成する処理を行う。
【００２０】
ステップＳ１０では、初期設定処理が行われる。本実施の形態では、画像生成処理において基準となる初期画像が取得される。本ステップを実行することにより、画像生成装置１００は初期設定手段として機能する。初期画像は、ユーザが自撮りを行うことで取得される。すなわち、画像生成装置１００を左右のいずれかの手で持ち、その腕を伸ばした状態において正面からの自撮り撮影を行う。なお、自撮り撮影では、ユーザは自然に撮像部１８に顔を向けた画像が得られる可能性が高くなる。また、ジャイロセンサ２０を用いて、初期画像を取得したタイミングにおける画像生成装置１００による撮像方向の角度を基準角度として設定する。さらに、画像生成装置１００をユーザがどちらの手で持っているかの情報を取得する。例えば、画像生成装置１００の出力部１６であるタッチパネルを触る位置に基づいてユーザがどちらの手で画像生成装置１００を持って撮像しているのかを検出することができる。また、画像生成装置１００の入力部１４を用いて、ユーザ自身にどちらの手で画像生成装置１００を持っているのか入力させるようにしてもよい。
【００２１】
ステップＳ１２では、初期状態における画像生成装置１００からユーザまでの相対距離が算出される。本ステップを実行することにより、画像生成装置１００は基準距離設定手段として機能する。処理部１０は、ステップＳ１０において取得された初期画像に基づいて、画像生成装置１００とユーザまでの相対距離を基準距離として求める。例えば、初期画像からユーザの頭部領域を抽出し、頭部領域の大きさを基準として画像生成装置１００とユーザまでの相対距離を基準距離として算出することができる。すなわち、人間の頭部の大きさは個々人で大きく変わらないものとし、初期画像を撮像したときの撮像部１８の設定（撮像倍率等）を考慮して初期画像における頭部領域の大きさから画像生成装置１００とユーザとの相対距離を求めることができる。これにより、初期画像における相対距離、すなわち、ユーザが腕を伸ばした状態におけるユーザから画像生成装置１００までの距離を半径Ｒとして、Ｒ≧ｒとなる領域についてユーザの腕の方向と伸縮に応じたユーザの顔の拡大・縮小を仮想キャラクタに反映させることが可能となり、より動きがリアルな仮想キャラクタの画像を提供することができる。
【００２２】
なお、初期状態における画像生成装置１００からユーザまでの相対距離の求め方は、上記方法に限定されるものでなく、他の方法によって当該相対距離を求めるようにしてもよい。
【００２３】
ステップＳ１４では、現在のユーザの画像が取得される。本ステップを実行することにより、画像生成装置１００は自撮画像取得手段として機能する。ユーザは、画像生成装置１００を用いて自撮り撮影を行って現在の自撮画像を取得する。このとき、ユーザは手や腕を動かして、ユーザと画像生成装置１００との相対距離や角度を初期状態から変更しながら撮像を行ってもよい。
【００２４】
ステップＳ１６では、現在のユーザから画像生成装置１００までの相対距離及び画像生成装置１００の撮像方向の角度が算出される。本ステップを実行することにより、画像生成装置１００は距離算出手段及び角度算出手段として機能する。処理部１０は、ステップＳ１４において取得された自撮画像に基づいて画像生成装置１００からユーザまでの相対距離を求める。相対距離の算出方法は、ステップＳ１２と同様とすることができる。また、処理部１０は、ジャイロセンサ２０を用いて、ステップＳ１４において自撮画像を取得したタイミングにおける画像生成装置１００の撮像方向の角度を求める。具体的には、ジャイロセンサ２０で検出される角速度の時間積分を繰り返すことによって、ステップＳ１０において設定された基準角度からの角度変化を算出して画像生成装置１００の現在の角度を求める。
【００２５】
ステップＳ１８では、相対距離及び角度からユーザの身体の姿勢を反映した仮想キャラクタの身体の姿勢が算出される。本ステップを実行することにより、画像生成装置１００は姿勢算出手段として機能する。処理部１０は、ステップＳ１６にて算出された現在のユーザから画像生成装置１００までの相対距離及び画像生成装置１００の角度に基づいて、画像生成装置１００に正対するユーザの身体の姿勢を反映した３次元の人体モデルである仮想キャラクタの身体の姿勢を決定する。なお、自撮画像の場合、ユーザの上半身のみが撮像されることが多いので画像上のユーザの身体の姿勢は上半身のみを考慮すればよい場合が多い点で有利である。
【００２６】
具体的には、以下のように画像生成装置１００に正対する仮想キャラクタの身体の姿勢を決定する。まず、ステップＳ１０で得られた画像生成装置１００の基準角度からステップＳ１６で得られた現在の画像生成装置１００の角度への変化を求める。また、ステップＳ１２において得られたユーザと画像生成装置１００との基準距離とステップＳ１６で得られた現在のユーザと画像生成装置１００の相対距離の変化を求める。そして、図４に示すように、角度及び相対距離の変化に応じて、ステップＳ１０におけるユーザＡの姿勢と画像生成装置１００との位置関係から現在のユーザＡの姿勢と画像生成装置１００との位置関係の変化を推測し、当該ユーザＡの姿勢に合わせた３次元の仮想キャラクタのモデルの姿勢と画像生成装置１００との位置関係を定める。
【００２７】
このとき、ユーザの姿勢において画像生成装置１００を持った側の手と腕の状態はインバースキネマティックス処理で求めることが好適である。この処理では、ユーザが手に持った画像生成装置１００の位置と現在のユーザの位置から、仮想キャラクタの画像生成装置１００を持つ手の位置（前者位置）と、画像生成装置１００を持つ手側の肩の位置（後者位置が決まれば仮想キャラクタのサイズはあらかじめ決められているので、後者位置に対応する基準位置からの相対関係で決まる）が決まったときに、肘をどのように動かせばよいかを計算する。すなわち、ユーザと画像生成装置１００の位置に向くように仮想キャラクタの手オブジェクトを回転させる。次に、手オブジェクトの端部（指先側端部）が画像生成装置１００の位置となるように手オブジェクトを移動させる。その後、手オブジェクトの反対側の端部（手首側端部）の位置に向くように前腕オブジェクトを回転させる。次に、前腕オブジェクトの端部（手首側端部）が手オブジェクトの端部（手首側端部）の位置となるように前腕オブジェクトを移動させる。さらに、前腕オブジェクトの反対側の端部（肘側端部）の位置に向くように上腕オブジェクトを回転させる。次に、上腕オブジェクトの端部（肘側端部）が前腕オブジェクトの端部（肘側端部）の位置となるように上腕オブジェクトを移動させる。このような操作を繰り返すことによって、画像生成装置１００を持った３次元の仮想キャラクタの腕の状態を定めることができる。
【００２８】
また、ユーザの姿勢においてユーザの頭部の状態も同様にインバースキネマティックス処理で求めることが好適である。自撮り撮影では、画像生成装置１００に完全に正対していないにしてもユーザが自然に撮像部１８に顔を向けた画像が得られるので、ユーザの顔の各パーツ（例えば、眉、目、鼻、口、輪郭など）の位置検出が容易である。そこで、仮想キャラクタへの頭部の状態の反映は、（１）本ステップのインバースキネマティックス処理において顔を画像生成装置１００に正対させるよう仮想キャラクタの首を動かした後、（２）後述するステップＳ２０の顔認識の処理において求められるユーザの顔の姿勢（向き）を再現するように更に仮想キャラクタの首を動かすことが最適である。すなわち、自撮り撮影はユーザが画像生成装置１００に正対していると考えても、実際は若干角度がついているものなので、その角度分を後述の顔向き推定により定量的に算出して反映する。ここで、上述したように現在のユーザ位置が決まれば、対応する仮想キャラクタの基準位置が決まり、予めサイズが決められている仮想キャラクタの頭部の中心、首、肩、手の相対位置関係がわかる。（１）のインバースキネマティックス処理では、仮想キャラクタの頭部の中心位置と、首の位置が決まったときに、仮想キャラクタの顔を画像生成装置１００に正対させるためにどのように首を動かせばよいかを計算する。
【００２９】
なお、ユーザが画像生成装置１００に正対しているかどうかを視覚的にユーザに報知するため、出力部１６であるタッチパネルに撮像部１８によって撮像されるユーザの映像を表示するようにしてもよい。このとき、ユーザの映像から頭部の中心点を推定し、推定した中心点で交差する十字オブジェクトをユーザの映像に重畳表示させることが好ましい。ユーザの映像が表示されるポートレート領域の中心部に十字オブジェクトがあれば、ユーザは画像生成装置１００に正対していると把握できる。一方、ポートレート領域の下の方に十字オブジェクトがある場合、すなわち、ユーザの頭部が下の方に表示されている場合は、画像生成装置１００がやや上向きになっており、ユーザは正対していないことがわかる。また、ユーザの頭部がポートレート領域の右端/左端に表示されている場合は、画像生成装置１００の左側/右側がユーザから離れる方向に傾いており、ユーザは画像生成装置１００に正対していないことがわかる。ユーザの頭部の中心に向かって画像生成装置１００を正対させているほど（ここではユーザの顔が正対していなくてもよい）、ユーザの姿勢を正確に仮想キャラクタの姿勢に反映させることができるので、ユーザに十字オブジェクトがポートレート領域の中心になるように意識させることで、再現性を向上させることができる。ここで、頭部の中心点の算出は、後述するステップＳ２０の顔認識の処理において求められる。  
【００３０】
また、基準角度（正面視の姿勢）から現在の画像生成装置１００の角度への変化の度合いに応じて、仮想キャラクタの胴体の姿勢を決定する。この場合、求められる角度変化に応じた姿勢の胴体ポーズを予め複数用意しておくのが好適である。例えば、ユーザが右手に画像生成装置１００を持つ場合の胴体ポーズとして予め４ポーズを用意する場合は、求められた角度変化が９０度未満のときは胴体を正面視のポーズを選択し、正面右もしくは正面左に９０度のときは胴体を正面視の姿勢から現在の画像生成装置１００に向くようねじった状態のポーズをそれぞれ選択し、正面右に９０度超えるときは胴体をさらにねじって正面視から振り返ったような状態のポーズを選択する。角度変化に応じて最適なポーズを使い分けながら合成することで仮想キャラクタのポーズをシームレスに状態変化させることができる。なお、画像生成装置１００を持つ側の手と腕の状態とリンクして、角度変化に応じたユーザの胴体の状態を求めて仮想キャラクタの胴体の状態を定めるようにしてもよい。このように、仮想キャラクタの頭部や画像生成装置１００を持つ腕だけでなく、胴体にもユーザの姿勢を再現することで、より違和感のない仮想キャラクタの画像を提供することができる。
【００３１】
ステップＳ２０では、顔認識についての処理が行われる。本ステップを実行することにより、画像生成装置１００は顔認識処理手段として機能する。処理部１０は、ステップＳ１４において得られた現在の自撮画像から顔領域を抽出する。顔領域の抽出処理では、人間の顔が撮影された領域の特徴量に基づいて顔領域を抽出することができる。次に、処理部１０は、抽出された顔領域からユーザの各パーツ（眉、目、鼻、口、輪郭など）の状態（動き）を求める。顔領域の抽出及びパーツ状態の抽出には、一般的な顔認識の技術を用いることができる。また、処理部１０は、上述した通り、抽出された顔領域の各パーツの位置からユーザの顔の姿勢（向き）を求める姿勢算出手段としても機能する。顔の姿勢（向き）の算出には、一般的な顔向き推定技術を用いることができる。その後、処理部１０は、得られたユーザの顔の姿勢と顔のパーツ状態に対応して、ステップＳ１８で求められた仮想キャラクタの頭の位置における当該仮想キャラクタの顔の向き及び顔のパーツ状態を定める。なお、ユーザの顔の各パーツ状態の再現は、顔全体に限らず一部のパーツでもよい。また、再現されるユーザのパーツ状態は、画像からの抽出に限らない。例えば、瞬きなど目の動きは画像に基づいて抽出され、口の動きは入力部１４（マイク）へのユーザの音声入力に基づいて抽出されてもよい。ユーザの音声と仮想キャラクタの唇の動きの連動には、一般的なリップシンク技術を用いることが好適である。
【００３２】
ステップＳ２２では、ステップＳ１８で求められた仮想キャラクタの画像生成装置１００に正対する姿勢と、Ｓ２０で求められた画像生成装置１００からの相対的な顔の向き及びパーツ状態（口や目の動き等）とを合成して仮想キャラクタの二次元画像を生成する処理が行われる。本ステップを実行することにより、画像生成装置１００は仮想キャラクタ画像生成手段として機能する。処理部１０は、ステップＳ１８及びステップＳ２０において算出された３次元の仮想キャラクタの状態（姿勢及びパーツ状態）及び画像生成装置１００との位置関係とに基づいて、画像生成装置１００に搭載されている撮像部１８によって当該仮想キャラクタを撮像したかのような２次元画像を算出する。２次元画像は、撮像部１８の撮像条件（ズーム率等）も考慮して、撮像部１８の視座標系において３次元の仮想キャラクタを構成する各ポリゴンをそれぞれ２次元画像上に投影する投影変換を行う。このとき、３次元の仮想キャラクタを正確に表現するための隠面・陰影処理も同時に行うことが好適である。
【００３３】
なお、自撮画像は、左右が反転するので、生成された仮想キャラクタの画像の左右を反転させる処理を施してもよい。例えば、生成された仮想キャラクタの画像の左右を反転させるようにレンダリング処理を施せばよい。
【００３４】
以上のように、本実施の形態によれば、画像生成装置１００によるいわゆる自撮り画像に対してユーザの姿勢を仮想キャラクタの姿勢として反映させたコンピュータグラフィックス（ＣＧ）の画像を生成することができる。したがって、モーションキャプチャ装置のような高価なシステムを必要とすることなく、撮影された人物を仮想キャラクタに置き換えた画像を生成することができる。
【００３５】
なお、複数の自撮画像や動画を処理する場合、ステップＳ１４から処理を繰り返せばよい。
【００３６】
また、本実施の形態では、現在の自撮画像をリアルタイムで処理する態様について説明したが、これに限定されるものではなく、過去に撮影していた自撮画像を処理するようにしてもよい。この場合、初期設定で取得する各種データや初期画像も自撮画像と共に記憶部１２に記憶させておき、記憶部１２からこれらの情報を読み出しつつ画像生成処理を行えばよい。
【符号の説明】
【００３７】
１０  処理部、１２  記憶部、１４  入力部、１６  出力部、１８  撮像部、２０  ジャイロセンサ、２２  通信部、１００  画像生成装置、１０２  インターネット、１０４  サーバ。
【図１】
2019139608.tif 000003
【図２】
2019139608.tif 000004
【図３】
2019139608.tif 000005
【図４】
2019139608.tif 000006
【手続補正書】
【提出日】平成30年9月7日(2018.9.7)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ユーザの手に持って使用される撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて、前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める姿勢算出手段と、
前記仮想キャラクタの姿勢を２次元画像に変換する仮想キャラクタ画像生成手段と、
を備え、
前記姿勢算出手段は、前記撮像装置の位置を前記ユーザの手の位置として定め、前記ユーザの現在の位置に応じて前記撮像装置を持つ手側の前記ユーザの肩の位置を定め、前記ユーザの手の位置と前記ユーザの肩の位置に基づいて前記ユーザの腕の動きをインバースキネマティックス処理により求めることを特徴とする画像生成装置。
【請求項２】
請求項１に記載の画像生成装置であって、
前記ユーザが手に持った前記撮像装置によって撮像された前記ユーザの画像に基づいて前記撮像装置と前記ユーザとの相対距離を求める距離算出手段を備えることを特徴とする画像生成装置。
【請求項３】
請求項１又は２に記載の画像生成装置であって、
前記撮像装置は、前記撮像装置の撮像方向の角度を検出するジャイロセンサを備えることを特徴とする画像生成装置。
【請求項４】
請求項１〜３のいずれか１項に記載の画像生成装置であって、
前記仮想キャラクタ画像生成手段は、前記撮像装置で撮像される前記ユーザの顔の姿勢及びパーツ状態を前記仮想キャラクタの顔の姿勢及びパーツ状態として再現することを特徴とする画像生成装置。
【請求項５】
コンピュータを、
ユーザの手に持って使用される撮像装置と前記ユーザとの相対距離及び前記撮像装置の撮像方向の角度に応じて、前記撮像装置によって撮像される前記ユーザの姿勢を反映した仮想キャラクタの姿勢を求める姿勢算出手段と、
前記仮想キャラクタの姿勢を２次元画像に変換する仮想キャラクタ画像生成手段と、
して機能させ、
前記姿勢算出手段は、前記撮像装置の位置を前記ユーザの手の位置として定め、前記ユーザの現在の位置に応じて前記撮像装置を持つ手側の前記ユーザの肩の位置を定め、前記ユーザの手の位置と前記ユーザの肩の位置に基づいて前記ユーザの腕の動きをインバースキネマティックス処理により求めることを特徴とする画像生成プログラム。