(57)【特許請求の範囲】
【請求項１】
被写体の撮像画像を取得する入力処理部と、
センサからのセンサ情報に基づいて、被写体の動きを特定するための被写体情報を取得する被写体情報取得部と、
重なり判定処理を行う重なり判定部と、
キャラクタの画像を含む合成対象画像に対して、前記被写体の前記撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部と、
を含み、
前記画像生成部は、
前記被写体情報により特定される前記被写体の動きに応じて、前記合成対象画像での前記被写体画像の合成位置が変化する前記合成画像を生成し、
前記重なり判定部は、
前記キャラクタと、前記被写体画像又は前記被写体画像に連なる被写体キャラクタとの重なり判定処理を行い、
前記画像生成部は、
前記被写体が動くことによって前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重なっていると判定された場合には、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重ならないようにする再配置処理を行って、前記合成画像を生成することを特徴とする画像生成システム。
【請求項２】
請求項１において、
前記被写体キャラクタ及び前記キャラクタは、複数のオブジェクトにより構成されるモデルオブジェクトであり、
前記画像生成部は、
オブジェクト空間に配置される前記モデルオブジェクトである前記被写体キャラクタと前記キャラクタとの間に、仮想カメラから見て重なりがあると判定された場合に、前記オブジェクト空間での前記被写体キャラクタ及び前記キャラクタの少なくとも一方についての、位置及び方向の少なくとも一方を変更する前記再配置処理を行うことを特徴とする画像生成システム。
【請求項３】
請求項２において、
ゲーム処理を行うゲーム処理部を含み、
前記画像生成部は、
前記ゲーム処理によるゲーム中に、前記被写体キャラクタと前記キャラクタの間に前記仮想カメラから見て重なりがあると判定された場合に、前記オブジェクト空間での前記被写体キャラクタ及び前記キャラクタの少なくとも一方についての、位置及び方向の少なくとも一方を変更する前記再配置処理を行うことを特徴とする画像生成システム。
【請求項４】
請求項２又は３において、
前記画像生成部は、
第１の視点位置に設定された前記仮想カメラから見て、前記被写体キャラクタと前記キャラクタの間に重なりがあると判定された場合に、前記仮想カメラの位置を前記第１の視点位置とは異なる第２の視点位置に変更すると共に、前記被写体キャラクタ及び前記キャラクタの方向を変更する前記再配置処理を行うことを特徴とする画像生成システム。
【請求項５】
ゲーム処理を行うゲーム処理部と、
前記ゲーム処理によるゲーム中における被写体の撮像画像を取得する入力処理部と、
重なり判定処理を行う重なり判定部と、
前記ゲームに登場するキャラクタの画像を含む合成対象画像に対して、前記ゲーム中における前記被写体の前記撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部と、
通信部と、
を含み、
前記重なり判定部は、
前記キャラクタと、前記被写体画像又は前記被写体画像に連なる被写体キャラクタとの重なり判定処理を行い、
前記画像生成部は、
前記ゲーム中において前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重なっていると判定された場合には、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重ならないようにする再配置処理を行って、前記合成画像を生成し、
前記通信部は、
前記再配置処理が行われた前記合成画像をサーバに送信して、情報端末の表示部に表示させることを特徴とする画像生成システム。
【請求項６】
ゲーム処理を行うゲーム処理部と、
前記ゲーム処理によるゲーム中における被写体の撮像画像を取得する入力処理部と、
重なり判定処理を行う重なり判定部と、
前記ゲームに登場するキャラクタの画像を含む合成対象画像に対して、前記ゲーム中における前記被写体の前記撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部と、
印刷部と、
を含み、
前記重なり判定部は、
前記キャラクタと、前記被写体画像又は前記被写体画像に連なる被写体キャラクタとの重なり判定処理を行い、
前記画像生成部は、
前記ゲーム中において前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重なっていると判定された場合には、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重ならないようにする再配置処理を行って、前記再配置処理による再配置態様が異なる複数の前記合成画像を複数の印刷候補画像として生成し、
前記印刷部は、
前記複数の印刷候補画像の中から選択された画像を印刷媒体に印刷することを特徴とする画像生成システム。
【請求項７】
請求項５又は６において、
センサからのセンサ情報に基づいて、被写体の動きを特定するための被写体情報を取得する被写体情報取得部を含み、
前記画像生成部は、
前記被写体情報により特定される前記被写体の動きに応じて、前記合成対象画像での前記被写体画像の合成位置が変化する前記合成画像を生成することを特徴とする画像生成システム。
【請求項８】
請求項１、２、３、４又は７において、
前記被写体キャラクタは、複数のオブジェクトにより構成されるモデルオブジェクトであり、
前記画像生成部は、
オブジェクト空間において、前記被写体の位置に対応する位置に配置される前記モデルオブジェクトのレンダリング処理を行って、前記被写体キャラクタの画像を生成することを特徴とする画像生成システム。
【請求項９】
請求項８において、
キャラクタ処理部を含み、
前記被写体情報取得部は、
前記センサからの前記センサ情報に基づいて、前記被写体のスケルトン情報を取得し、
前記キャラクタ処理部は、
前記被写体の前記スケルトン情報に基づいて前記被写体キャラクタを動作させる処理を行い、
前記画像生成部は、
前記オブジェクト空間での、前記被写体キャラクタである前記モデルオブジェクトの配置位置、前記モデルオブジェクトの形状、及び前記モデルオブジェクトを構成するオブジェクトの配置位置の少なくとも１つを用いて、前記再配置処理を行うことを特徴とする画像生成システム。
【請求項１０】
請求項８又は９において、
前記画像生成部は、
前記再配置処理が行われた場合には、前記オブジェクト空間において再配置位置に配置された前記モデルオブジェクトのレンダリング処理を照明モデルに基づいて行って、前記被写体キャラクタの画像を生成することを特徴とする画像生成システム。
【請求項１１】
請求項１乃至１０のいずれかにおいて、
前記被写体画像は前記被写体の顔画像であり、
前記重なり判定部は、
前記キャラクタと、前記被写体の前記顔画像との重なり判定処理を行い、
前記画像生成部は、
前記キャラクタと前記被写体の前記顔画像とが重なっていると判定された場合には、前記キャラクタと前記被写体の前記顔画像とが重ならないようにする前記再配置処理を行って、前記合成画像を生成することを特徴とする画像生成システム。
【請求項１２】
請求項１乃至１１のいずれかにおいて、
前記画像生成部は、
前記再配置処理の際に、前記キャラクタ、前記被写体キャラクタ及び前記被写体画像の少なくとも１つについてのサイズの変更処理を行うことを特徴とする画像生成システム。
【請求項１３】
請求項１乃至１２のいずれかにおいて、
前記画像生成部は、
前記再配置処理の際に、前記キャラクタ、前記被写体キャラクタ及び前記被写体画像の少なくとも１つについての色情報の変更処理を行うことを特徴とする画像生成システム。
【請求項１４】
請求項１３において、
前記画像生成部は、
前記キャラクタと前記被写体キャラクタの関連度合いに応じた前記色情報の変更処理を行うことを特徴とする画像生成システム。
【請求項１５】
請求項１乃至１４のいずれかにおいて、
前記画像生成部は、
前記再配置処理の際に、前記キャラクタと前記被写体キャラクタの間の境界領域、又は前記キャラクタと前記被写体画像の間の境界領域に対して、デコレーション処理を行うことを特徴とする画像生成システム。
【請求項１６】
請求項１乃至１５のいずれかに記載の画像生成システムと、
前記合成画像を表示する表示部と、
前記被写体であるプレーヤの操作情報を入力するための操作部と、
を含むことを特徴とするゲーム装置。
【請求項１７】
被写体の撮像画像を取得する入力処理部と、
センサからのセンサ情報に基づいて、被写体の動きを特定するための被写体情報を取得する被写体情報取得部と、
重なり判定処理を行う重なり判定部と、
キャラクタの画像を含む合成対象画像に対して、前記被写体の前記撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部として、
コンピュータを機能させ、
前記画像生成部は、
前記被写体情報により特定される前記被写体の動きに応じて、前記合成対象画像での前記被写体画像の合成位置が変化する前記合成画像を生成し、
前記重なり判定部は、
前記キャラクタと、前記被写体画像又は前記被写体画像に連なる被写体キャラクタとの重なり判定処理を行い、
前記画像生成部は、
前記被写体が動くことによって前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重なっていると判定された場合には、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重ならないようにする再配置処理を行って、前記合成画像を生成することを特徴とするプログラム。
【請求項１８】
ゲーム処理を行うゲーム処理部と、
前記ゲーム処理によるゲーム中における被写体の撮像画像を取得する入力処理部と、
重なり判定処理を行う重なり判定部と、
前記ゲームに登場するキャラクタの画像を含む合成対象画像に対して、前記ゲーム中における前記被写体の前記撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部と、
通信部として、
コンピュータを機能させ、
前記重なり判定部は、
前記キャラクタと、前記被写体画像又は前記被写体画像に連なる被写体キャラクタとの重なり判定処理を行い、
前記画像生成部は、
前記ゲーム中において前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重なっていると判定された場合には、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重ならないようにする再配置処理を行って、前記合成画像を生成し、
前記通信部は、
前記再配置処理が行われた前記合成画像をサーバに送信して、情報端末の表示部に表示させることを特徴とするプログラム。
【請求項１９】
ゲーム処理を行うゲーム処理部と、
前記ゲーム処理によるゲーム中における被写体の撮像画像を取得する入力処理部と、
重なり判定処理を行う重なり判定部と、
前記ゲームに登場するキャラクタの画像を含む合成対象画像に対して、前記ゲーム中における前記被写体の前記撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部と、
印刷部として、
コンピュータを機能させ、
前記重なり判定部は、
前記キャラクタと、前記被写体画像又は前記被写体画像に連なる被写体キャラクタとの重なり判定処理を行い、
前記画像生成部は、
前記ゲーム中において前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重なっていると判定された場合には、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重ならないようにする再配置処理を行って、前記再配置処理による再配置態様が異なる複数の前記合成画像を複数の印刷候補画像として生成し、
前記印刷部は、
前記複数の印刷候補画像の中から選択された画像を印刷媒体に印刷することを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像生成システム、ゲーム装置及びプログラム等に関する。
【背景技術】
【０００２】
従来より、プレーヤなどの被写体を撮影し、撮像画像をゲームのキャラクタなどに反映させるタイプの画像生成システムが知られている。このような画像生成システムの従来技術としては、例えば特許文献１に開示される技術がある。この従来技術では、撮像部からの実像と、グラフィックス記憶部からのグラフィックス画像とが合成されたキャラクタを形成し、形成されたキャラクタを表示部の画面に表示する。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１９２１４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
この従来技術によれば、プレーヤの撮像画像が合成されたキャラクタを画面に表示して、ゲームを楽しむことができる。しかしながら、プレーヤの撮像画像が合成されたキャラクタと、それ以外のキャラクタの配置関係の問題については、何ら考慮されていなかった。
【０００５】
本発明の幾つかの態様によれば、被写体画像又は被写体画像に連なる被写体キャラクタと、キャラクタとが適切に配置された合成画像を生成できる画像生成システム及びプログラム等を提供できる。
【課題を解決するための手段】
【０００６】
本発明の一態様は、被写体の撮像画像を取得する入力処理部と、重なり判定処理を行う重なり判定部と、キャラクタの画像を含む合成対象画像に対して、前記被写体の前記撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部と、を含み、前記重なり判定部は、前記キャラクタと、前記被写体画像又は前記被写体画像に連なる被写体キャラクタとの重なり判定処理を行い、前記画像生成部は、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重なっていると判定された場合には、前記キャラクタと前記被写体画像又は前記被写体キャラクタとが重ならないようにする再配置処理を行って、前記合成画像を生成する画像生成システムに関係する。また本発明は、上記各部としてコンピュータを機能させるプログラム、又は該プログラムを記憶したコンピュータ読み取り可能な情報記憶媒体に関係する。
【０００７】
本発明の一態様では、キャラクタの画像を含む合成対象画像に対して、被写体画像が合成された画像が生成される。この場合に、キャラクタと被写体画像又は被写体キャラクタの重なり判定が行われ、両者が重なっていると判定された場合には、キャラクタと被写体画像又は被写体キャラクタとが重ならないようにする再配置処理が行われる。このような再配置処理を行うことで、被写体画像又は被写体画像に連なる被写体キャラクタと、キャラクタとが適切に配置された合成画像を生成できるようになる。
【０００８】
また本発明の一態様では、前記被写体画像は前記被写体の顔画像であり、前記重なり判定部は、前記キャラクタと、前記被写体の前記顔画像との重なり判定処理を行い、前記画像生成部は、前記キャラクタと前記被写体の前記顔画像とが重なっていると判定された場合には、前記キャラクタと前記被写体の前記顔画像とが重ならないようにする前記再配置処理を行って、前記合成画像を生成してもよい。
【０００９】
このようにすれば、キャラクタの画像を含む合成対象画像に対して、被写体の顔画像が合成された画像が生成される場合に、キャラクタと被写体の顔画像とが重ならないようにする再配置処理が行われるようになる。これにより、キャラクタと被写体の顔画像が不適切な構図になってしまう合成画像が生成されるのを抑制できる。
【００１０】
また本発明の一態様では、前記被写体キャラクタは、複数のオブジェクトにより構成されるモデルオブジェクトであり、前記画像生成部は、前記被写体キャラクタの画像として、前記モデルオブジェクトの所定部位の位置に前記被写体画像が表示される画像を生成してもよい。
【００１１】
このようにすれば、被写体キャラクタの所定部位の部分には被写体画像が表示され、それ以外の部分にはモデルオブジェクトの画像が表示される被写体キャラクタの画像を生成できるようになる。
【００１２】
また本発明の一態様では、前記画像生成部は、前記被写体の動きに応じて、前記合成対象画像での前記被写体画像の合成位置が変化する前記合成画像を生成してもよい。
【００１３】
このようにすれば、被写体が動くことで、被写体画像の合成位置が変化して、キャラクタと被写体画像が重なるおそれがある場合にも、再配置処理が行われることで、このような事態の発生を防止できる。
【００１４】
また本発明の一態様では、前記被写体キャラクタは、複数のオブジェクトにより構成されるモデルオブジェクトであり、前記画像生成部は、オブジェクト空間において、前記被写体の位置に対応する位置に配置される前記モデルオブジェクトのレンダリング処理を行って、前記被写体キャラクタの画像を生成してもよい。
【００１５】
このようにすれば、被写体キャラクタの画像として、オブジェクト空間に配置されてレンダリングされたモデルオブジェクトの画像を表示できるようになるため、より高品質な合成画像の生成が可能になる。
【００１６】
また本発明の一態様では、前記画像生成部は、前記再配置処理が行われた場合には、前記オブジェクト空間において再配置位置に配置された前記モデルオブジェクトのレンダリング処理を照明モデルに基づいて行って、前記被写体キャラクタの画像を生成してもよい。
【００１７】
このようにすれば、被写体キャラクタの画像として、再配置位置での陰影づけが適切に施されたモデルオブジェクトの画像を生成することが可能になる。
【００１８】
また本発明の一態様では、センサからのセンサ情報に基づいて、前記被写体のスケルトン情報を取得する被写体情報取得部と、前記被写体の前記スケルトン情報に基づいて前記被写体キャラクタを動作させる処理を行うキャラクタ処理部とを含み（被写体情報取得部、キャラクタ処理部としてコンピュータを機能させ）、前記画像生成部は、前記オブジェクト空間での、前記被写体キャラクタである前記モデルオブジェクトの配置位置、前記モデルオブジェクトの形状、及び前記モデルオブジェクトを構成するオブジェクトの配置位置の少なくとも１つを用いて、前記再配置処理を行ってもよい。
【００１９】
このようにすれば、センサ情報に基づき取得されたスケルトン情報に基づいて、被写体の動きを特定し、当該被写体の動きに応じて動作する被写体キャラクタの画像を生成できるようになる。そして、この被写体キャラクタであるモデルオブジェクトが、オブジェクト空間内に配置される場合に、当該モデルオブジェクトの配置位置、形状、或いは当該モデルオブジェクトを構成するオブジェクトの配置位置を用いて、再配置処理が行われるようになり、スケルトン情報を有効利用した再配置処理を実現できる。
【００２０】
また本発明の一態様では、前記画像生成部は、前記再配置処理による再配置態様が異なる複数の前記合成画像を生成してもよい。
【００２１】
このようにすれば、再配置処理による合成画像に対してプレーヤが感じる不自然感を低減したり、選択候補となる画像のバラエティー度を増すことなどが可能になる。
【００２２】
また本発明の一態様では、複数の前記合成画像の中から選択された画像を、印刷媒体に印刷するための処理を行う印刷処理部を含んでもよい（印刷処理部としてコンピュータを機能させてもよい）。
【００２３】
このようにすれば、様々の再配置態様の合成画像の中から選択された画像を、印刷媒体に印刷してプレーヤに提供できるようになる。
【００２４】
また本発明の一態様では、前記画像生成部は、前記再配置処理の際に、前記キャラクタ、前記被写体キャラクタ及び前記被写体画像の少なくとも１つについてのサイズの変更処理を行ってもよい。
【００２５】
このようにすれば、再配置処理後の合成画像における構図のバランスを、キャラクタ、被写体キャラクタ、或いは被写体画像のサイズの変更処理により、適切に調整できるようになる。
【００２６】
また本発明の一態様では、前記画像生成部は、前記被写体キャラクタ又は前記被写体画像のサイズに応じて、前記キャラクタのサイズを変更してもよい。
【００２７】
このようにすれば、例えば被写体キャラクタ又は被写体画像のサイズが原因で、合成画像の構図のバランスが悪くなる場合にも、キャラクタのサイズの変更処理を行うことで、これを解消できるようになる。
【００２８】
また本発明の一態様では、前記画像生成部は、前記キャラクタのサイズに応じて、前記被写体キャラクタ及び前記被写体画像の少なくとも一方のサイズを変更してもよい。
【００２９】
このようにすれば、例えばキャラクタのサイズが原因で、合成画像の構図のバランスが悪くなる場合にも、被写体キャラクタ又は被写体画像のサイズの変更処理を行うことで、これを解消できるようになる。
【００３０】
また本発明の一態様では、前記画像生成部は、前記キャラクタのサイズに応じて、前記被写体キャラクタ及び前記被写体画像のサイズを変更する場合に、前記被写体キャラクタのサイズ変化率と前記被写体画像のサイズ変化率を異ならせてもよい。
【００３１】
このようにすれば、被写体キャラクタ及び被写体画像のサイズが変更されることで、両者のサイズのバランスが悪くなる場合にも、被写体キャラクタのサイズ変化率と被写体画像のサイズ変化率を異ならせることで、これを解消できるようになる。
【００３２】
また本発明の一態様では、前記画像生成部は、前記再配置処理の際に、前記キャラクタ、前記被写体キャラクタ及び前記被写体画像の少なくとも１つについての色情報の変更処理を行ってもよい。
【００３３】
このようにすれば、再配置処理後の合成画像において、キャラクタ、被写体キャラクタ、或いは被写体画像の色情報を調整することが可能になり、より高品質な合成画像の提供が可能になる。
【００３４】
また本発明の一態様では、前記画像生成部は、前記キャラクタと前記被写体キャラクタの関連度合いに応じた前記色情報の変更処理を行ってもよい。
【００３５】
このようにすれば、再配置処理後の合成画像において、キャラクタと被写体キャラクタの関連度合いに応じた適切な色情報の調整が可能になる。
【００３６】
また本発明の一態様では、前記画像生成部は、前記再配置処理の際に、前記キャラクタと前記被写体キャラクタの間の境界領域、又は前記キャラクタと前記被写体画像の間の境界領域に対して、デコレーション処理を行ってもよい。
【００３７】
このようにすれば、再配置処理後のキャラクタと被写体キャラクタ又は被写体画像との間の境界領域を馴染ませて、目立たないようにすることなどが可能になる。
【００３８】
また本発明の一態様では、被写体キャラクタ及び前記キャラクタは、複数のオブジェクトにより構成されるモデルオブジェクトであり、前記画像生成部は、オブジェクト空間に配置される前記モデルオブジェクトである前記被写体キャラクタと前記キャラクタとの間に、仮想カメラから見て重なりがあると判定された場合に、前記オブジェクト空間での前記被写体キャラクタ及び前記キャラクタの少なくとも一方についての、位置及び方向の少なくとも一方を変更する前記再配置処理を行ってもよい。
【００３９】
このようにすれば、被写体キャラクタとキャラクタが、オブジェクト空間に配置されるモデルオブジェクトである場合に、被写体キャラクタやキャラクタの位置や方向を変更することで、仮想カメラから見た被写体キャラクタとキャラクタの重なりを抑制する再配置処理を実現できるようになる。
【００４０】
また本発明の一態様では、ゲーム処理を行うゲーム処理部を含み（ゲーム処理部としてコンピュータを機能させ）、前記画像生成部は、前記ゲーム処理によるゲーム中に、前記被写体キャラクタと前記キャラクタの間に前記仮想カメラから見て重なりがあると判定された場合に、前記オブジェクト空間での前記被写体キャラクタ及び前記キャラクタの少なくとも一方についての、位置及び方向の少なくとも一方を変更する前記再配置処理を行ってもよい。
【００４１】
このようにすれば、ゲーム中において、被写体キャラクタやキャラクタの位置や方向を変更することで、仮想カメラから見た被写体キャラクタとキャラクタの重なりを抑制する再配置処理を行って、ゲーム中での仮想カメラから見た画像を生成できるようになる。
【００４２】
また本発明の一態様では、前記画像生成部は、第１の視点位置に設定された前記仮想カメラから見て、前記被写体キャラクタと前記キャラクタの間に重なりがあると判定された場合に、前記仮想カメラの位置を前記第１の視点位置とは異なる第２の視点位置に変更すると共に、前記被写体キャラクタ及び前記キャラクタの方向を変更する前記再配置処理を行ってもよい。
【００４３】
このようにすれば、第１の視点位置の仮想カメラから見た場合に、被写体キャラクタとキャラクタが重なっている場合にも、仮想カメラの位置を第２の視点位置に変更して、被写体キャラクタとキャラクタの方向（向く方向）を変更することで、両者が重ならないように見える画像を生成できるようになる。
【図面の簡単な説明】
【００４４】
【図１】本実施形態の画像生成システムの構成例。
【図２】本実施形態の画像生成システムの業務用ゲーム装置への適用例。
【図３】図３（Ａ）、図３（Ｂ）は本実施形態の画像生成システムの家庭用ゲーム装置、パーソナルコンピュータへの適用例。
【図４】図４（Ａ）、図４（Ｂ）は深度情報、ボディーインデックス情報の例。
【図５】スケルトン情報の説明図。
【図６】キャラクタの画像とプレーヤの顔画像の画像合成手法の説明図。
【図７】図７（Ａ）はプレーヤの撮像画像の例、図７（Ｂ）はキャラクタと顔画像の合成画像の例。
【図８】本実施形態により生成されるゲーム画像の例。
【図９】図９（Ａ）、図９（Ｂ）はプレーヤの顔画像とキャラクタの重なりの問題の説明図。
【図１０】本実施形態の再配置手法の説明図。
【図１１】図１１（Ａ）、図１１（Ｂ）は種々のキャラクタの顔のエリアの設定例。
【図１２】本実施形態の再配置手法の他の例の説明図。
【図１３】プレーヤの動きに応じてキャラクタを動作させる手法の説明図。
【図１４】スケルトン情報を用いてキャラクタを動作させる手法の説明図。
【図１５】モデルオブジェクトのレンダリング処理の説明図。
【図１６】モデルオブジェクト情報の例。
【図１７】再配置態様が異なる複数の合成画像を生成する手法の説明図。
【図１８】図１８（Ａ）、図１８（Ｂ）はプレーヤキャラクタのサイズに応じてキャラクタのサイズを変更する手法の説明図。
【図１９】図１９（Ａ）、図１９（Ｂ）はキャラクタのサイズに応じてプレーヤキャラクタのサイズを変更する手法の説明図。
【図２０】図２０（Ａ）はサイズ変更率の例、図２０（Ｂ）はプレーヤキャラクタとキャラクタを関連づけるテーブルの例。
【図２１】プレーヤキャラクタ、キャラクタ又は顔画像の色情報を変更する手法の説明図。
【図２２】境界領域でのデコレーション処理の説明図。
【図２３】本実施形態の変形例の説明図。
【図２４】図２４（Ａ）、図２４（Ｂ）も本実施形態の変形例の説明図。
【図２５】図２５（Ａ）、図２５（Ｂ）も本実施形態の変形例の説明図。
【図２６】本実施形態の詳細な処理例を示すフローチャート。
【発明を実施するための形態】
【００４５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００４６】
１．画像生成システム
図１に本実施形態の画像生成システム（画像生成装置、ゲームシステム、ゲーム装置）の構成例を示す。画像生成システムは、処理部１００、操作部１６０、センサ１６２、記憶部１７０、表示部１９０、音出力部１９２、Ｉ／Ｆ部１９４、通信部１９６、印刷部１９８を含む。なお本実施形態の画像生成システムの構成は図１に限定されず、その構成要素（各部）の一部を省略したり、他の構成要素を追加するなどの種々の変形実施が可能である。
【００４７】
処理部１００は、操作部１６０からの操作情報や、センサ１６２からのセンサ情報や、プログラムなどに基づいて、入力処理、演算処理、出力処理などの各種の処理を行う。
【００４８】
処理部１００の各部が行う本実施形態の各処理（各機能）はプロセッサ（ハードウェアを含むプロセッサ）により実現できる。例えば本実施形態の各処理は、プログラム等の情報に基づき動作するプロセッサと、プログラム等の情報を記憶するメモリーにより実現できる。プロセッサは、例えば各部の機能が個別のハードウエアで実現されてもよいし、或いは各部の機能が一体のハードウェアで実現されてもよい。プロセッサは、例えばＣＰＵ（Central Processing Unit）であってもよい。但し、プロセッサはＣＰＵに限定されるものではなく、ＧＰＵ（Graphics Processing Unit）、或いはＤＳＰ（Digital Processing Unit）等、各種のプロセッサを用いることが可能である。またプロセッサはＡＳＩＣによるハードウェア回路であってもよい。メモリー（記憶部１７０）は、ＳＲＡＭ、ＤＲＡＭ等の半導体メモリーであってもよいし、レジスターであってもよい。或いはハードディスク装置（ＨＤＤ）等の磁気記憶装置であってもよいし、光学ディスク装置等の光学式記憶装置であってもよい。例えば、メモリーはコンピュータにより読み取り可能な命令を格納しており、当該命令がプロセッサにより実行されることで、処理部１００の各部の処理（機能）が実現されることになる。ここでの命令は、プログラムを構成する命令セットでもよいし、プロセッサのハードウェア回路に対して動作を指示する命令であってもよい。
【００４９】
処理部１００は、入力処理部１０２、演算処理部１１０、出力処理部１４０を含む。入力処理部１０２は、各種の情報の入力処理を行う。例えば入力処理部１０２は、操作部１６０により入力されたプレーヤの操作情報を受け付ける処理を、入力処理として行う。例えば操作部１６０で検出された操作情報を取得する処理を行う。また入力処理部１０２は、センサ１６２からのセンサ情報を取得する処理を、入力処理として行う。また入力処理部１０２は、記憶部１７０から情報を読み出す処理を、入力処理として行う。例えば読み出しコマンドで指定された情報を、記憶部１７０から読み出す処理を行う。また入力処理部１０２は、通信部１９６を介して情報を受信する処理を、入力処理として行う。例えば画像生成システムの外部装置（他の画像生成システム、サーバシステム等）からネットワークを介して情報を受信する処理を行う。受信処理は、通信部１９６に情報の受信を指示したり、通信部１９６が受信した情報を取得して記憶部１７０に書き込む処理などである。
【００５０】
演算処理部１１０は、各種の演算処理を行う。例えば演算処理部１１０は、ゲーム処理、オブジェクト空間設定処理、キャラクタ処理、ゲーム成績演算処理、仮想カメラ制御処理、画像生成処理、或いは音生成処理などの演算処理を行う。この演算処理部１１０は、ゲーム処理部１１１、オブジェクト空間設定部１１２、キャラクタ処理部１１３、被写体情報取得部１１４、重なり判定部１１５、ゲーム成績演算部１１８、仮想カメラ制御部１１９、画像生成部１２０、音生成部１３０、印刷処理部１３２を含む。
【００５１】
ゲーム処理は、ゲーム開始条件が満たされた場合にゲームを開始する処理、ゲームを進行させる処理、或いはゲーム終了条件が満たされた場合にゲームを終了する処理などである。このゲーム処理はゲーム処理部１１１（ゲーム処理のプログラムモジュール）により実行される。
【００５２】
オブジェクト空間設定処理は、オブジェクト空間に複数のオブジェクトを配置設定する処理である。このオブジェクト空間設定処理はオブジェクト空間設定部１１２（オブジェクト空間設定処理のプログラムモジュール）により実行される。例えばオブジェクト空間設定部１１２は、ゲームに登場するキャラクタ（人、ロボット、動物、怪物、飛行機、船舶、戦闘機、戦車、戦艦、車等）、マップ（地形）、建物、コース（道路）、樹木、壁、水面などの表示物を表す各種オブジェクト（ポリゴン、自由曲面又はサブディビジョンサーフェイスなどのプリミティブ面で構成されるオブジェクト）を、オブジェクト空間に配置設定する。即ちワールド座標系でのオブジェクトの位置や回転角度（向き、方向と同義）を決定し、その位置（Ｘ、Ｙ、Ｚ）にその回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）でオブジェクトを配置する。具体的には、記憶部１７０のオブジェクト情報記憶部１７２には、オブジェクト（パーツオブジェクト）の位置、回転角度、移動速度、移動方向等の情報であるオブジェクト情報がオブジェクト番号に対応づけて記憶される。オブジェクト空間設定部１１２は、例えば各フレーム毎にこのオブジェクト情報を更新する処理などを行う。
【００５３】
キャラクタ処理（移動体演算処理）は、キャラクタ（移動体）について行われる各種の演算処理である。例えばキャラクタ処理は、キャラクタ（ゲームに登場する表示物）をオブジェクト空間（仮想３次元空間、３次元ゲーム空間）で移動させるための処理や、キャラクタを動作させるための処理である。このキャラクタ処理はキャラクタ処理部１１３（キャラクタ処理のプログラムモジュール）により実行される。例えばキャラクタ処理部１１３は、操作部１６０によりプレーヤが入力した操作情報や、センサ１６２からのセンサ情報や、プログラム（移動・動作アルゴリズム）や、各種データ（モーションデータ）などに基づいて、キャラクタ（モデルオブジェクト）をオブジェクト空間内で移動させたり、キャラクタを動作（モーション、アニメーション）させる制御処理を行う。具体的には、キャラクタの移動情報（位置、回転角度、速度、或いは加速度）や動作情報（パーツオブジェクトの位置、或いは回転角度）を、１フレーム（例えば１／６０秒）毎に順次求めるシミュレーション処理を行う。なおフレームは、キャラクタの移動・動作処理（シミュレーション処理）や画像生成処理を行う時間の単位である。
【００５４】
ゲーム成績演算処理は、プレーヤのゲームでの成績を演算する処理である。例えばゲーム成績演算処理は、プレーヤがゲームで獲得するポイントや得点を演算する処理や、ゲーム内通貨、メダル又はチケットなどのゲーム成果を演算する処理である。このゲーム成績演算処理はゲーム成績演算部１１８（ゲーム成績演算処理のプログラムモジュール）により実行される。
【００５５】
仮想カメラ制御処理は、オブジェクト空間内の所与（任意）の視点から見える画像を生成するための仮想カメラ（視点、基準仮想カメラ）を制御する処理である。この仮想カメラ制御処理は仮想カメラ制御部１１９（仮想カメラ制御処理のプログラムモジュール）により実行される。具体的には仮想カメラ制御部１１９は、仮想カメラの位置（Ｘ、Ｙ、Ｚ）又は回転角度（Ｘ、Ｙ、Ｚ軸回りでの回転角度）を制御する処理（視点位置、視線方向あるいは画角を制御する処理）を行う。
【００５６】
画像生成処理は、表示部１９０に表示される画像（ゲーム画像）や、印刷部１９８により印刷される画像を生成するための処理であり、各種の画像合成処理や画像エフェクト処理などを含むことができる。音生成処理は、音出力部１９２により出力されるＢＧＭ、効果音又は音声等の音（ゲーム音）を生成するための処理であり、各種の音合成処理やサウンドエフェクト処理などを含むことができる。これらの画像生成処理、音生成処理は、画像生成部１２０、音生成部１３０（画像生成処理、音生成処理のプログラムモジュール）により実行される。
【００５７】
例えば画像生成部１２０は、処理部１００で行われる種々の処理（ゲーム処理、シミュレーション処理）の結果に基づいて描画処理を行い、これにより画像を生成し、表示部１９０に出力する。具体的には、座標変換（ワールド座標変換、カメラ座標変換）、クリッピング処理、透視変換、或いは光源処理等のジオメトリ処理が行われ、その処理結果に基づいて、描画データ（プリミティブ面の頂点の位置座標、テクスチャ座標、色データ、法線ベクトル或いはα値等）が作成される。そして、この描画データ（プリミティブ面データ）に基づいて、透視変換後（ジオメトリ処理後）のオブジェクト（１又は複数プリミティブ面）を、描画バッファ１７８（フレームバッファ、ワークバッファ等のピクセル単位で画像情報を記憶できるバッファ）に描画する。これにより、オブジェクト空間内において所与の視点（仮想カメラ）から見える画像が生成される。なお、画像生成部１２０で行われる描画処理は、頂点シェーダ処理やピクセルシェーダ処理等により実現してもよい。
【００５８】
出力処理部１４０は、各種の情報の出力処理を行う。例えば出力処理部１４０は、記憶部１７０に情報を書き込む処理を、出力処理として行う。例えば、書き込みコマンドで指定された情報を、記憶部１７０に書き込む処理を行う。また出力処理部１４０は、生成された画像の情報を表示部１９０に出力したり、生成された音の情報を音出力部１９２に出力する処理を、出力処理として行う。また出力処理部１４０は、通信部１９６を介して情報を送信する処理を、出力処理として行う。例えば画像生成システムの外部装置（他の画像生成システム、サーバシステム等）に対してネットワークを介して情報を送信する処理を行う。送信処理は、通信部１９６に情報の送信を指示したり、送信する情報を通信部１９６に指示する処理などである。また出力処理部１４０は、印刷媒体に印刷される画像を印刷部１９８に転送する処理を、出力処理として行う。
【００５９】
操作部１６０（操作デバイス）は、プレーヤ（ユーザ）が操作情報を入力するためのものであり、その機能は、方向指示キー、操作ボタン、アナログスティック、レバー、各種センサ（角速度センサ、加速度センサ等）、マイク、或いはタッチパネル型ディスプレイなどにより実現できる。
【００６０】
センサ１６２は、被写体情報を取得するためのセンサ情報を検出する。センサ１６２は例えばカラーセンサ１６４（カラーカメラ）、デプスセンサ１６６（デプスカメラ）を含むことができる。
【００６１】
記憶部１７０（メモリー）は、処理部１００や通信部１９６などのワーク領域となるもので、その機能はＲＡＭやＳＳＤやＨＤＤなどにより実現できる。そしてゲームプログラムや、ゲームプログラムの実行に必要なゲームデータは、この記憶部１７０に保持される。記憶部１７０は、オブジェクト情報記憶部１７２、描画バッファ１７８を含む。
【００６２】
情報記憶媒体１８０（コンピュータにより読み取り可能な媒体）は、プログラムやデータなどを格納するものであり、その機能は、光ディスク（ＤＶＤ、ＣＤ等）、ＨＤＤ（ハードディスクドライブ）、或いはメモリー（ＲＯＭ等）などにより実現できる。処理部１００は、情報記憶媒体１８０に格納されるプログラム（データ）に基づいて本実施形態の種々の処理を行う。この情報記憶媒体１８０に、本実施形態の各部としてコンピュータ（操作部、処理部、記憶部、出力部を備える装置）を機能させるためのプログラム（各部の処理をコンピュータに実行させるためのプログラム）を記憶できる。
【００６３】
表示部１９０は、本実施形態により生成された画像を出力するものであり、その機能は、ＬＣＤ、有機ＥＬディスプレイ、ＣＲＴ、或いはＨＭＤなどにより実現できる。音出力部１９２は、本実施形態により生成された音を出力するものであり、その機能は、スピーカ、或いはヘッドフォンなどにより実現できる。
【００６４】
Ｉ／Ｆ（インターフェース）部１９４は、携帯型情報記憶媒体１９５とのインターフェース処理を行うものであり、その機能はＩ／Ｆ処理用のＡＳＩＣなどにより実現できる。携帯型情報記憶媒体１９５は、ユーザが各種の情報を保存するためのものであり、電源が非供給になった場合にもこれらの情報の記憶を保持する記憶装置である。携帯型情報記憶媒体１９５は、ＩＣカード（メモリーカード）、ＵＳＢメモリー、或いは磁気カードなどにより実現できる。
【００６５】
通信部１９６は、ネットワークを介して外部装置（他の画像生成システム、サーバシステム等）との間で通信を行うものであり、その機能は、通信用ＡＳＩＣ又は通信用プロセッサなどのハードウェアや、通信用ファームウェアにより実現できる。
【００６６】
印刷部１９８は、例えばプリント用紙やシール紙などの印刷媒体に画像を印刷する。この印刷部１９８は、例えば印刷用ヘッド、印刷媒体の送り機構などにより実現できる。具体的には、処理部１００の印刷処理部１３２（印刷処理のプログラムモジュール）が、印刷対象画像を選択するための処理を行い、選択された印刷対象画像の印刷を、印刷部１９８に指示する。これにより、印刷対象画像が印刷された印刷物が、後述する図２の払い出し口１５２から払い出されるようになる。印刷対象画像は、例えばゲーム中のプレーヤのキャラクタの様子を撮影した画像や、プレーヤのキャラクタと他のキャラクタとで一緒に撮る記念写真の画像などである。
【００６７】
なお本実施形態の各部としてコンピュータを機能させるためのプログラム（データ）は、サーバシステム（ホスト装置）が有する情報記憶媒体からネットワーク及び通信部１９６を介して情報記憶媒体１８０（あるいは記憶部１７０）に配信してもよい。このようなサーバシステムによる情報記憶媒体の使用も本発明の範囲内に含めることができる。
【００６８】
図２、図３（Ａ）、図３（Ｂ）は本実施形態の画像生成システムが適用されるハードウェア装置の例を示す図である。
【００６９】
図２は本実施形態の画像生成システムが適用された業務用ゲーム装置の例である。この業務用ゲーム装置は、操作ボタン、方向指示ボタンにより実現される操作部１６０や、カラーセンサ１６４、デプスセンサ１６６を有するセンサ１６２や、ＬＣＤ、ＣＲＴなどにより実現される表示部１９０や、スピーカにより実現される音出力部１９２や、コイン投入口１５０や、写真などの印刷物の払い出し口１５２を備えている。プレーヤＰＬは、表示部１９０に表示されるゲーム画像を見ながら、ゲームをプレイするための各種の動作を行う。プレーヤＰＬの動き（手足のなどの部位の動きや位置の移動）は、センサ１６２により検出される。そして検出結果に応じたゲーム処理が行われ、ゲーム処理に基づくゲーム画像が表示部１９０に表示される。
【００７０】
本実施形態の画像生成システムが適用されるハードウェア装置は、図２のような業務用ゲーム装置には限定されず、例えば図３（Ａ）に示す家庭用ゲーム装置や、図３（Ｂ）に示すパーソナルコンピュータ（情報処理装置）などの種々のハードウェア装置に適用可能である。図３（Ａ）では、カラーセンサ１６４やデプスセンサ１６６を有するセンサ１６２（センサ装置）を家庭用ゲーム装置の本体装置に接続し、当該センサ１６２を、例えば表示部であるテレビの近くに配置する。そしてセンサ１６２によりプレーヤの動作を検出することで、家庭用ゲーム装置の本体装置が、種々のゲーム処理を実行し、テレビの画面にゲーム画像を表示する。図３（Ｂ）では、センサ１６２をパーソナルコンピュータの本体装置に接続し、センサ１６２によりプレーヤの動作を検出し、ゲーム処理の結果に基づくゲーム画像を、表示部である液晶ディスプレイに表示する。
【００７１】
そして本実施形態の画像生成システム（画像生成装置、ゲーム装置、ゲームシステム）は、図１に示すように、被写体の撮像画像を取得する入力処理部１０２と、重なり判定処理を行う重なり判定部１１５と、キャラクタの画像を含む合成対象画像に対して、被写体の撮像画像から切り出された被写体画像が合成された合成画像を生成する画像生成部１２０を含む。
【００７２】
被写体は例えば図２に示すプレーヤＰＬである。被写体は人間以外の動物であってもよいし、動物以外の物であってもよい。撮像画像は、例えばセンサ１６２が有するカラーセンサ１６４（カラーカメラ）により撮影される画像（ＲＧＢ画像等のカラー画像）である。このカラーセンサ１６４とデプスセンサ１６６は別々に設けられていてもよい。合成対象画像には、キャラクタの画像や背景の画像が表示されている。カラーセンサ１６４によって撮影された撮像画像から、プレーヤなどの被写体が映っている部分が切り出され、切り出された被写体画像が、合成対象画像（仮想空間画像）に合成される。
【００７３】
重なり判定部１１５（重なり判定処理のプログラムモジュール）は、キャラクタと、被写体画像又は被写体画像に連なる被写体キャラクタとの重なり判定処理を行う。即ち、合成対象画像に表示されるキャラクタと、被写体画像又は被写体キャラクタとの重なり判定処理を行う。例えばキャラクタ（キャラクタの一部）と、被写体画像又は被写体キャラクタとの間に重なりがないかを判定する。
【００７４】
被写体キャラクタは例えばプレーヤキャラクタである。例えば被写体キャラクタの所定部位（例えば顔）に対応する部分に、撮像画像から切り出された被写体画像（例えば顔画像）が合成される場合に、被写体画像と被写体キャラクタは連なって表示されることになる。例えば被写体画像と、被写体画像に連なる被写体キャラクタの画像とにより、合成キャラクタ画像が形成される。
【００７５】
そして画像生成部１２０は、キャラクタと被写体画像又は被写体キャラクタとが重なっていると判定された場合には、キャラクタと被写体画像又は被写体キャラクタとが重ならないようにする再配置処理を行って、合成画像を生成する。例えば被写体画像、被写体キャラクタを、キャラクタから離れるように移動する再配置処理を行って、キャラクタ、被写体画像、被写体キャラクタが表示される合成画像を生成する。なお再配置処理の際に、被写体画像、被写体キャラクタではなく、キャラクタの方を移動させたり、被写体画像、被写体キャラクタと、キャラクタの両方を移動させてもよい。
【００７６】
被写体画像は、例えば被写体の顔画像である。例えば被写体の全体が映る撮像画像から、顔の部分を切り取ることで、被写体画像である顔画像が取得される。そして重なり判定部１１５は、キャラクタの顔と、被写体の顔画像との重なり判定処理を行う。例えばキャラクタの顔を内包するように設定された顔エリアと、被写体の顔画像を内包するように設定された顔画像エリアの間に重なりがないかを判定する。
【００７７】
そして画像生成部１２０は、キャラクタと被写体の顔画像とが重なっていると判定された場合には、キャラクタと被写体の顔画像とが重ならないようにする再配置処理を行って、合成画像を生成する。例えば顔画像（被写体キャラクタ）を、キャラクタから離れるように移動する再配置処理を行って、キャラクタ、顔画像、被写体キャラクタが映る合成画像を生成する。
【００７８】
なお、被写体の顔画像との重なり判定の対象となるものは、例えばキャラクタの部位であり、更に具体的には例えばキャラクタの顔である。例えばキャラクタの顔等の部位と被写体の顔画像とが重なっていると判定された場合に、キャラクタの当該部位と被写体の顔画像とが重ならないようにする再配置処理を行えばよい。この場合に、キャラクタの部位は、顔には限定されず、キャラクタの手、足又は胴体などの部位であってもよい。また再配置処理の際に、顔画像（被写体キャラクタ）ではなく、キャラクタの方を移動させたり、顔画像と、キャラクタの両方を移動させてもよい。また被写体画像は、被写体の顔以外の部位（例えば手、足、指、髪等）の画像であってもよいし、被写体が持つ物体の画像などであってもよい。
【００７９】
被写体キャラクタは、例えば複数のオブジェクトにより構成されるモデルオブジェクトである。例えば複数の３次元のオブジェクト（パーツオブジェクト）により構成される３次元のモデルオブジェクトである。各オブジェクトは例えば複数のポリゴン（広義にはプリミティブ面）により構成される。
【００８０】
この場合に画像生成部１２０は、被写体キャラクタの画像として、モデルオブジェクトの所定部位（例えば顔、手又は足等）の位置に被写体の顔画像が表示される画像を生成する。例えばモデルオブジェクトは、複数の部位オブジェクトにより構成され、所定部位の部分に、撮像画像から切り出された被写体画像（部位画像）が合成されて表示される。この場合に、顔等の所定部位の位置は、例えば被写体情報取得部１１４（被写体情報取得処理のプログラムモジュール）により取得された被写体情報であるスケルトン情報（広義には動き情報）などにより特定できる。
【００８１】
また画像生成部１２０は、被写体の動き（部位の動きや位置の移動等）に応じて、合成対象画像での被写体画像の合成位置が変化する合成画像を生成する。例えば被写体情報取得部１１４は、センサ１６２からのセンサ情報に基づいて、被写体の動きを特定するための被写体情報を取得する。例えば被写体情報であるスケルトン情報を取得する。このスケルトン情報に基づいて、被写体の動きが特定され、画像生成部１２０は、被写体の動きに応じて、被写体画像の合成位置が変化する合成画像を生成する。例えば被写体画像が顔画像である場合に、被写体の顔の位置が特定され、その顔の位置に対応する場所に顔画像が合成される。
【００８２】
また被写体キャラクタがモデルオブジェクトである場合に、画像生成部１２０は、オブジェクト空間において、被写体の位置に対応する位置に配置されるモデルオブジェクトのレンダリング処理を行って、被写体キャラクタの画像を生成する。例えば被写体情報取得部１１４により取得された被写体情報に基づいて、被写体の位置を特定し、オブジェクト空間内において、特定された被写体の位置に対応する位置に、被写体キャラクタであるモデルオブジェクトが配置される。そして、当該モデルオブジェクトのレンダリング処理が行われて、仮想カメラから見える被写体キャラクタの画像が生成される。
【００８３】
そして画像生成部１２０は、上述の再配置処理が行われた場合には、オブジェクト空間において再配置位置に配置されたモデルオブジェクトのレンダリング処理を照明モデルに基づいて行って、被写体キャラクタの画像を生成してもよい。このようにすれば、再配置処理により、オブジェクト空間内でのモデルオブジェクトの位置が移動した場合に、移動後の再配置位置において、照明モデルに基づくモデルオブジェクトのレンダリング処理が行われるようになる。従って、被写体キャラクタの画像として、再配置位置での陰影づけが施されたモデルオブジェクトの画像を生成できるようになる。
【００８４】
また本実施形態では、被写体情報取得部１１４が、センサ１６２からのセンサ情報に基づいて、被写体のスケルトン情報（広義には被写体情報）を取得する。またキャラクタ処理部１１３が、被写体のスケルトン情報に基づいて被写体キャラクタを動作させる処理を行う。これにより、被写体の動き（部位の動きや位置の移動等）に応じて、被写体キャラクタが動作するようになる。そして画像生成部１２０は、オブジェクト空間での、被写体キャラクタであるモデルオブジェクトの配置位置、モデルオブジェクトの形状、及びモデルオブジェクトを構成するオブジェクトの配置位置の少なくとも１つを用いて、再配置処理を行う。
【００８５】
即ち、オブジェクト空間において、被写体キャラクタであるモデルオブジェクトは、被写体のスケルトン情報に基づき動作する。つまり、被写体の動きに応じて、オブジェクト空間内のモデルオブジェクトが動作する。そして、このようにオブジェクト空間内で動作するモデルオブジェクトの配置位置、形状、或いはそれを構成するオブジェクトの配置位置を用いて、キャラクタと、被写体画像又は被写体キャラクタとが重ならないようにする再配置処理が行われる。例えば、このような重なりが生じないように、被写体キャラクタであるモデルオブジェクトの配置位置や形状が変更されたり、モデルオブジェクトを構成するオブジェクト（例えば頭部のオブジェクト）が変更される。このようにすれば、被写体キャラクタを動作させるためのスケルトン情報を有効活用して、本実施形態の再配置処理を実現できるようになる。
【００８６】
また画像生成部１２０は、再配置処理による再配置態様が異なる複数の合成画像を生成する。例えば本実施形態では、キャラクタと被写体画像又は被写体キャラクタとが重ならないようにする再配置処理が行われて、合成画像が生成される。再配置態様が異なる複数の合成画像は、このような再配置後のキャラクタ、被写体画像、被写体キャラクタの位置関係が異なる合成画像である。例えば第１の合成画像では、再配置後のキャラクタ、被写体画像、被写体キャラクタの位置関係は、第１の位置関係になっており、第２の合成画像では、再配置後のキャラクタ、被写体画像、被写体キャラクタの位置関係は、第１の位置関係とは異なる第２の位置関係になっている。
【００８７】
そして印刷処理部１３２は、複数の合成画像の中から選択された画像を、印刷媒体に印刷するための処理を行う。これらの複数の合成画像は、再配置処理の態様が異なる合成画像であってもよいし、再配置処理の態様が同じ合成画像であってもよい。例えば印刷処理部１３２は、複数の合成画像を、印刷候補画像として選択画面に表示するための処理や、選択された合成画像の印刷を印刷部１９８に指示する処理などを行う。
【００８８】
例えば再配置態様が異なる複数の合成画像が表示部１９０に表示され、これらの複数の合成画像の中から、プレーヤが所望の合成画像を選択したとする。すると、印刷処理部１３２が印刷部１９８に対して、選択された合成画像を、印刷媒体に印刷することを指示し、印刷部１９８が、例えばプリント用紙やシール紙などの印刷媒体に合成画像を印刷する。これにより、合成画像が印刷された印刷物が、図２の払い出し口１５２から払い出されるようになる。
【００８９】
なお、生成された複数の合成画像を、例えば通信部１９６を介してサーバ等に送信するようにしてもよい。そしてこれらの複数の画像を、プレーヤが有するスマートフォン、タブレットＰＣなどの情報端末の表示部に表示し、この情報端末の表示部の画面において、プレーヤが所望する合成画像を選択できるようにしてもよい。
【００９０】
また画像生成部１２０は、再配置処理の際に、キャラクタ、被写体キャラクタ及び被写体画像の少なくとも１つについてのサイズの変更処理を行ってよい。例えばキャラクタ、被写体キャラクタ、或いは被写体画像のサイズを、オリジナル（デフォルト）のサイズから変更する。
【００９１】
具体的には画像生成部１２０は、被写体キャラクタ又は被写体画像のサイズに応じて、キャラクタのサイズを変更する。例えば被写体であるプレーヤが子供である場合には、大人である場合に比べて、被写体キャラクタや被写体画像のサイズが小さくなる。この場合には、小さくなった被写体キャラクタや被写体画像のサイズに連動させて、一緒に映るキャラクタのサイズも小さくする。また被写体であるプレーヤが、図２のセンサ１６２（カラーセンサ１６４）に近づくと、被写体キャラクタの画像と被写体画像からなる合成キャラクタ画像のサイズが大きくなる。この場合には、大きくなった合成キャラクタ画像のサイズに連動させて、一緒に映るキャラクタのサイズも大きくする。
【００９２】
また画像生成部１２０は、キャラクタのサイズに応じて、被写体キャラクタ及び被写体画像の少なくとも一方のサイズを変更してもよい。例えば、合成画像に一緒に映るキャラクタとして、サイズが異なる複数のキャラクタが用意されていたとする。この場合に、サイズが大きい第１のキャラクタが一緒に映る合成画像を生成する場合には、被写体キャラクタや被写体画像のサイズを大きくする。一方、サイズが小さい第２のキャラクタが一緒に映る合成画像を生成する場合には、被写体キャラクタや被写体画像のサイズを小さくする。
【００９３】
また画像生成部１２０は、キャラクタのサイズに応じて、被写体キャラクタ及び被写体画像のサイズを変更する場合に、被写体キャラクタのサイズ変化率と被写体画像のサイズ変化率を異ならせてもよい。例えばキャラクタのサイズに応じて、被写体キャラクタ及び被写体画像のサイズを変更した場合に、同じサイズ変化率でサイズを変更すると、見た目のバランスが悪くなる場合がある。この場合には、被写体キャラクタのサイズ変化率と被写体画像のサイズ変化率を異ならせることで、見た目のバランスの悪化を抑制する。
【００９４】
また画像生成部１２０は、再配置処理の際に、キャラクタ、被写体キャラクタ及び被写体画像の少なくとも１つについての色情報の変更処理を行ってもよい。例えば再配置処理により、キャラクタと、被写体キャラクタや被写体画像との位置関係が変更された場合に、オリジナルの色情報では、見た目のバランスが悪くなる場合がある。この場合には色情報変更処理により、キャラクタや被写体キャラクタや被写体画像の色合いを変更することで、見た目のバランスの悪化を抑制する。この色情報の変更は、色味の変更であってもよいし、明るさ（輝度）の変更であってもよい。或いは、テクスチャの変更により色情報の変更処理を実現してもよい。
【００９５】
また画像生成部１２０は、キャラクタと被写体キャラクタの関連度合いに応じた色情報の変更処理を行ってもよい。例えばキャラクタと被写体キャラクタの関連度合いが高い場合には、キャラクタと被写体キャラクタが異なった色合いや明るさになるように、色情報の変更処理を行う。例えばキャラクタが着る衣装と被写体キャラクタが着る衣装が同一又は類似している場合には、キャラクタと被写体キャラクタの関連度合いが高いと判断され、両者の色合いや明るさが異なって見えるように、色情報の変更処理が行われる。
【００９６】
また画像生成部１２０は、再配置処理の際に、キャラクタと被写体キャラクタの間の境界領域、又はキャラクタと被写体画像の間の境界領域に対して、デコレーション処理を行ってもよい。このようにすれば再配置処理後において、キャラクタと被写体キャラクタの間の境界領域や、キャラクタと被写体画像の間の境界領域が、デコレーション処理により馴染んで、目立たなくなるようにすることが可能になる。なおデコレーション処理としては、例えば境界領域にデコレーション用の表示物（オブジェクト）を配置したり、境界領域に対して種々の画像エフェクトを施す処理などが考えられる。
【００９７】
また本実施形態では、被写体キャラクタ及びキャラクタの両方が、複数のオブジェクトにより構成されるモデルオブジェクトであってもよい。そして、オブジェクト空間に配置されるモデルオブジェクトである被写体キャラクタとキャラクタとの間に、仮想カメラから見て重なりがあると判定されたとする。この場合に画像生成部１２０は、オブジェクト空間での被写体キャラクタ及びキャラクタの少なくとも一方についての、位置及び方向（例えば向く方向）の少なくとも一方を変更する再配置処理を行う。例えば被写体キャラクタの位置及び方向の少なくとも一方を変更したり、キャラクタの位置及び方向の少なくとも一方を変更したり、被写体キャラクタ及びキャラクタの両方についての位置及び方向の少なくとも一方を変更する再配置処理を行う。
【００９８】
またゲーム処理部１１１は、プレーヤがゲームをプレイするためのゲーム処理を行う。そしてゲーム処理によるゲーム中に、被写体キャラクタとキャラクタの間に仮想カメラから見て重なりがあると判定されたとする。この場合に画像生成部１２０は、オブジェクト空間での被写体キャラクタ及びキャラクタの少なくとも一方についての、位置及び方向の少なくとも一方を変更する再配置処理を行う。このようなゲーム中での再配置処理後の生成画像は、例えば印刷部１９８により印刷媒体に印刷されて、払い出し口１５２から払い出されることになる。或いは当該生成画像の情報を、通信部１９６を介してサーバ等に送信してもよい。
【００９９】
また、第１の視点位置に設定された仮想カメラから見て、被写体キャラクタとキャラクタの間に重なりがあると判定されたとする。この場合に画像生成部１２０は、仮想カメラの位置を第１の視点位置とは異なる第２の視点位置に変更すると共に、被写体キャラクタ及びキャラクタの方向を変更する再配置処理を行う。このようにすれば、第１の視点位置の仮想カメラから見て被写体キャラクタとキャラクタが重なっている場合にも、仮想カメラの位置を第２の視点位置に変更すると共に被写体キャラクタ及びキャラクタの方向（向く方向）を変更することで、被写体キャラクタとキャラクタが重ならないように見える画像（重なりが抑制された画像）を生成できるようになる。
【０１００】
２．本実施形態の手法
次に本実施形態の手法について詳細に説明する。なお以下では、プレーヤの動きに応じてキャラクタを動作させるゲームに本実施形態の手法を適用した場合について説明するが、本実施形態の手法はこれに限定されず、様々なゲーム（ＲＰＧゲーム、音楽ゲーム、戦闘ゲーム、コミュニケーションゲーム、ロボットゲーム、カードゲーム、スポーツゲーム、或いはアクションゲーム等）に適用可能である。
【０１０１】
２．１  ゲームの説明
まず本実施形態の画像生成システムにより実現されるゲームの例について説明する。本実施形態では図２のセンサ１６２によりプレーヤＰＬ（広義には被写体）の動きを検出し、検出された動きを反映させたゲーム処理を行って、ゲーム画像を生成している。
【０１０２】
図２に示すように、センサ１６２（画像センサ）は、例えばその撮像方向（光軸方向）がプレーヤＰＬ（ユーザ、操作者）の方に向くように設置されている。例えばセンサ１６２の撮像方向は、小さな子供についてもその全体を撮像できるように、水平面に対して俯角方向に設定されている。なお図２ではセンサ１６２は表示部１９０の横に設置されているが、設置位置はこれに限定されず、任意の位置（例えば表示部１９０の下部、上部等）に設置できる。
【０１０３】
センサ１６２はカラーセンサ１６４とデプスセンサ１６６を含む。カラーセンサ１６４はカラー画像（ＲＧＢ画像）を撮像するものであり、ＣＭＯＳセンサやＣＣＤなどにより実現できる。デプスセンサ１６６では、赤外線等の光を投射し、その投射光の反射強度や、投射光が戻ってくるまでの時間を検出することで、深度情報（デプス情報）が取得される。例えばデプスセンサ１６６は、赤外線を投光する赤外プロジェクタと、赤外線カメラにより構成できる。そして例えばＴＯＦ（Time Of Flight）方式により深度情報を取得する。深度情報は、その各画素位置に深度値（奥行き値）が設定され情報である。深度情報では、プレーヤやその周りの風景の深度値（奥行き値）が、例えばグレースケール値として設定される。
【０１０４】
なお、センサ１６２は、カラーセンサ１６４とデプスセンサ１６６とが別々に設けられたセンサであってもよいし、カラーセンサ１６４とデプスセンサ１６６とが複合的に組み合わせられたセンサであってもよい。またデプスセンサ１６６はＴＯＦ方式以外の方式（例えばライトコーディング）のセンサであってもよい。また深度情報の取得手法としては種々の変形実施が可能であり、例えば超音波などを用いた測距センサなどにより深度情報を取得してもよい。
【０１０５】
図４（Ａ）、図４（Ｂ）は、各々、センサ１６２に基づき取得される深度情報、ボディーインデックス情報の例である。図４（Ａ）は深度情報を概念的に示すものであり、この深度情報は、センサ１６２から見たプレーヤ等の被写体の距離を表す情報である。図４（Ｂ）のボディーインデックス情報は、人物領域を表す情報である。このボディーインデックス情報によりプレーヤのボディーの位置や形状を特定できる。
【０１０６】
図５は、センサ１６２からのセンサ情報に基づき取得されるスケルトン情報の例である。図５ではスケルトン情報として、スケルトンを構成する骨の位置情報（３次元座標）が、関節（部位）Ｃ０〜Ｃ２０の位置情報として取得されている。Ｃ０、Ｃ１、Ｃ２、Ｃ３、Ｃ４、Ｃ５、Ｃ６は、各々、腰、背骨、肩中央、右肩、左肩、首、頭に対応する。Ｃ７、Ｃ８、Ｃ９、Ｃ１０、Ｃ１１、Ｃ１２は、各々、右肘、右手首、右手、左肘、左手首、左手に対応する。Ｃ１３、Ｃ１４、Ｃ１５、Ｃ１６、Ｃ１７、Ｃ１８、Ｃ１９、Ｃ２０は、各々、右腰、左腰、右膝、右かかと、右足、左膝、左かかと、左足に相当する。スケルトンを構成する各骨は、センサ１６２に映るプレーヤの各部位に対応するものとなる。例えば被写体情報取得部１１４は、センサ１６２からのセンサ情報（カラー画像情報、深度情報）に基づいて、プレーヤの３次元形状を特定する。そして３次元形状の情報や画像の動きベクトル（オプティカルフロー）などを用いて、プレーヤの各部位を推定し、各部位の関節の位置を推定する。そして推定された関節位置に対応する、深度情報での画素位置の２次元座標と、当該画素位置に設定された深度値に基づいて、スケルトンの関節の位置の３次元座標情報を求め、図５に示すようなスケルトン情報を取得する。取得されたスケルトン情報を用いることで、プレーヤの動き（手足などの部位の動きや位置の移動）を特定できるようになる。これにより、プレーヤの動きに応じてキャラクタを動作させることが可能になる。例えば図２においてプレーヤＰＬが手足を動かした場合に、これに連動して、表示部１９０に表示されるキャラクタ（プレーヤキャラクタ）の手足を動かすことが可能になる。またプレーヤＰＬが前後左右に移動すると、これに連動して、オブジェクト空間内でキャラクタを前後左右に移動させることが可能になる。
【０１０７】
また本実施形態では、センサ１６２のカラーセンサ１６４によりプレーヤＰＬを撮影することで得られた撮像画像と、キャラクタ（プレーヤキャラクタ）の画像の合成画像を生成している。具体的には撮像画像から切り出された顔画像（広義には被写体画像、部位画像）と、キャラクタの画像の合成画像を生成する。
【０１０８】
例えば図６では、キャラクタＣＨＰ（衣装）のモデルオブジェクトが用意されており、ポリゴンＳＣＩ（ビルボードポリゴン、スクリーン）には、撮像画像から切り出されたプレーヤＰＬの顔画像ＩＭＦが表示されている。キャラクタＣＨＰのモデルオブジェクトは、顔（頭部）以外の複数の部位のオブジェクトで構成されており、綺麗な衣装を着たキャラクタとなっている。
【０１０９】
そして図６では、仮想カメラＶＣの視点位置とキャラクタＣＨＰの顔の位置を結ぶ線の延長線上に、ポリゴンＳＣＩの顔画像ＩＭＦが表示されている。仮想カメラＶＣ、キャラクタＣＨＰ、ポリゴンＳＣＩの顔画像ＩＭＦを、このような配置関係に設定することで、キャラクタＣＨＰの顔の部分にプレーヤの顔画像ＩＭＦが合成された画像を生成できるようになる。
【０１１０】
なおキャラクタＣＨＰに対する顔画像ＩＭＦの画像合成手法は、図６に示す手法には限定されない。例えばキャラクタＣＨＰの顔（所定部位）を構成するオブジェクトに対して、顔画像ＩＭＦ（被写体画像、部位画像）のテクスチャをマッピングするなどの種々の画像合成手法を採用できる。
【０１１１】
例えば図７（Ａ）は、センサ１６２のカラーセンサ１６４により撮像されたプレーヤＰＬの撮像画像の例である。この撮像画像からプレーヤＰＬの顔画像ＩＭＦを切り出し（トリミングし）、図６の画像合成手法によりキャラクタＣＨＰの画像と合成することで、図７（Ｂ）に示すような合成画像を生成できる。図７（Ｂ）では、顔の部分がプレーヤＰＬの顔画像ＩＭＦとなっており、顔以外の部分がＣＧ画像であるキャラクタＣＨＰの画像になっている。これによりプレーヤＰＬは、自分の分身であるキャラクタＣＨＰに対して、童話やアニメの世界の主人公が着ているような衣装を着せて、ゲームをプレイできるため、ゲームの面白味やプレーヤの熱中度を向上できる。
【０１１２】
図８は、本実施形態の画像生成システムにより生成されて、図２の表示部１９０に表示されるゲーム画像の例である。プレーヤＰＬの顔画像ＩＭＦが合成されたキャラクタＣＨＰは、例えばその手に魔法の杖ＳＴを持っている。そして図２のプレーヤＰＬが腕を動かすと、この腕の動きがセンサ１６２により検出されて、図５のスケルトン情報として、腕の骨が動いているスケルトンの情報が取得される。これにより、図８に示すゲーム画像上のキャラクタＣＨＰの腕が動くようになり、魔法の杖ＳＴで、敵キャラクタＥＮ１、ＥＮ２、ＥＮ３をヒットして攻撃できるようになる。そして敵を倒した数やボーナスポイントの獲得などによって、プレーヤのゲーム成績が演算される。
【０１１３】
このように本実施形態の手法によれば、プレーヤＰＬは、童話やアニメの主人公の衣装を、自分の分身であるキャラクタＣＨＰに着せて、あたかもその主人公になったかのように感じながら、図８のようなゲームをプレイできるようになる。従って、子供などのプレーヤＰＬが熱中できる面白味のあるゲームの実現が可能になる。
【０１１４】
２．２  再配置処理
本実施形態では、図８のようなゲーム中におけるプレーヤのキャラクタＣＨＰの様子が映った画像や、キャラクタＣＨＰと他のキャラクタとで一緒に撮る記念写真の撮影モードでの画像が、印刷媒体に印刷されて、図２の払い出し口１５２から出力される。
【０１１５】
図９（Ａ）、図９（Ｂ）は、記念写真の撮影モードにおいて、表示部１９０に表示される画像の例である。例えば図９（Ａ）、図９（Ｂ）では、プレーヤの顔画像が合成されたプレーヤのキャラクタＣＨＰ（広義には被写体キャラクタ）と一緒に、キャラクタＣＨが表示されている。プレーヤに対しては、撮影時にキャラクタＣＨの左側に立つことが指示される。そして撮影モードへの移行後、所定時間が経過したタイミングで、シャッター（仮想カメラのシャッター）が切られ、そのタイミングでのプレーヤのキャラクタＣＨＰとキャラクタＣＨの合成画像が、印刷対象画像になる。この撮影モードにおいても、図２のセンサ１６２により、プレーヤの動きが検出されており、プレーヤが左右等に動くと、キャラクタＣＨＰも左右等に動くことになる。
【０１１６】
そして図９（Ａ）では、プレーヤの顔画像ＩＭＦとキャラクタＣＨの顔ＦＣは重なっていないが、図９（Ｂ）では、顔画像ＩＭＦと顔ＦＣが重なっている。この重なりは、例えば顔画像ＩＭＦのエリアＡＦＰと、キャラクタＣＨの顔ＦＣのエリアＡＦＣが重なったか否かで判定できる。
【０１１７】
例えば本実施形態のゲームは、子供等を対象としたゲームになっている。このため、撮影時にキャラクタＣＨの左側に立つことを指示したとしても、子供が動いてしまい、図９（Ｂ）のように顔画像ＩＭＦと顔ＦＣが重なった状態で、シャッターが切られる状況が発生してしまう。図９（Ｂ）の画像では、一緒に映るキャラクタＣＨの顔ＦＣが、プレーヤの顔画像ＩＭＦに隠れてしまい、見えにくくなっている。このため、記念写真の構図としては好ましくなく、記念写真の価値が低下してしまう。
【０１１８】
そこで本実施形態では、このような重なりが発生した場合に、キャラクタＣＨＰ（顔画像ＩＭＦ）の立ち位置を調整する再配置処理を行うことで、このような重なりの問題を解決している。
【０１１９】
図１０は本実施形態の手法を説明する図である。図１０に示すように、プレーヤのキャラクタＣＨＰの顔画像ＩＭＦのエリアＡＦＰと、キャラクタＣＨの顔ＦＣのエリアＡＦＣが設定されている。
【０１２０】
顔画像ＩＭＦのエリアＡＦＰは、例えば図５のスケルトン情報での顔の位置（Ｃ６）に基づいて設定できる。例えばスケルトン情報での顔の位置（Ｃ６）を基準にして、所与のサイズのエリアＡＦＰ（枠）を設定する。例えばエリアＡＦＰのサイズは、図５のスケルトン情報等により特定されるプレーヤの骨格のサイズを基準に設定できる。例えばプレーヤが大人であれば、エリアＡＦＰのサイズは大きくなり、プレーヤが子供であれば小さくなる。例えば本実施形態では、スケルトン情報等で特定されるプレーヤの骨格のサイズに基づいて、キャラクタＣＨＰ（衣装）のサイズを設定する手法を採用しているが、これと同様の手法により、エリアＡＦＰのサイズを設定すればよい。例えばエリアＡＦＰは、顔画像ＩＭＦを内包するようなサイズのエリアであることが望ましい。なお図１０ではエリアＡＦＰは矩形形状となっているが、円形形状等の他の形状であってもよい。
【０１２１】
キャラクタＣＨのエリアＡＦＣは、キャラクタＣＨの顔ＦＣを内包するような広めのサイズに設定される。例えばキャラクタＣＨが２次元の画像（２次元の絵）である場合には、その画像ごとに適切なエリアＡＦＣの位置及びサイズを設定すればよい。例えば図１１（Ａ）、図１１（Ｂ）は、図１０とは異なるキャラクタＣＨＡ、ＣＨＢの画像の例である。このようにエリアＡＦＣの位置及びサイズは、各キャラクタＣＨＡ、ＣＨＢの画像ごとに設定される。例えば図１１（Ｂ）のキャラクタＣＨＢは、図１０のキャラクタＣＨに比べて身長が低いため、エリアＡＦＣが低い位置に設定されている。例えば顔のサイズが大きいキャラクタであれば、それに応じてエリアＡＦＣのサイズも大きくすればよい。このエリアＡＦＣの形状も、矩形形状には限定されず、円形形状等の他の形状であってもよい。
【０１２２】
なお図１０のキャラクタＣＨとして、キャラクタＣＨＰと同様に、３次元のモデルオブジェクトで構成されるキャラクタを用いてもよい。即ち、複数のオブジェクトで構成されるモデルオブジェクトのレンダリング処理を行うことで、キャラクタＣＨの画像を生成する。この場合にはエリアＡＦＣの位置やサイズは、キャラクタＣＨを実現するモデルオブジェクトのオブジェクト空間内での位置やモデルオブジェクトの形状に基づいて設定すればよい。
【０１２３】
本実施形態ではセンサ１６２によりプレーヤの動きを検出し、プレーヤの動きに応じてキャラクタＣＨＰを動作させている。従って、プレーヤが動くと、それに連動してキャラクタＣＨＰも動き、顔画像ＩＭＦの位置も、図１０の合成画像上で上下左右に移動することになる。このため図１０のＢ１に示すように、顔画像ＩＭＦとキャラクタＣＨの顔ＦＣが衝突（ヒット）して重なってしまう事態が発生してしまう。このような事態が発生すると、キャラクタＣＨＰとキャラクタＣＨの構図がおかしくなってしまい、生成された合成画像を印刷した場合に、質の低い写真が印刷されてしまう。
【０１２４】
そこで本実施形態では、このような顔の重なりが発生したと判定された場合に、図１０のＢ２に示すような再配置処理を行っている。例えば図１０のＡ１に示すように、キャラクタＣＨＰ及び顔画像ＩＭＦからなる合成キャラクタ画像を左側に移動する。即ちキャラクタＣＨから離れる方向に、合成キャラクタ画像を移動する。例えば図１０では、顔画像ＩＭＦのエリアＡＦＰの右辺の座標（Ｘ座標）が、キャラクタＣＨの顔ＦＣのエリアＡＦＣの左辺の座標（Ｘ座標）に一致するように、キャラクタＣＨＰ及び画像ＩＭＦの合成キャラクタ画像を移動する。即ち、キャラクタＣＨの顔ＦＣにより、顔画像ＩＭＦが左側に押し出されるように移動する、再配置処理を行う。
【０１２５】
こうすることで、プレーヤの顔画像ＩＭＦとキャラクタＣＨの顔ＦＣが重なってしまう事態を回避することができ、より適正な構図の合成画像を生成できるようになる。従って、再配置処理後の合成画像を写真として印刷することで、プレーヤが納得の行く記念写真の印刷物を、プレーヤに提供できるようになる。
【０１２６】
なお本実施形態の再配置処理は、図１０に示す手法には限定されず、種々の変形実施が可能である。例えば図１０では合成キャラクタ画像（ＣＨＰ、ＩＭＦ）の方を移動させたが、合成キャラクタ画像（ＣＨＰ、ＩＭＦ）とキャラクタＣＨの両方を、互いに遠ざけるように移動させたり、キャラクタＣＨの方を移動させることで、再配置処理を実現してもよい。また図１０では、プレーヤの顔画像ＩＭＦとキャラクタＣＨの顔ＦＣが重ならないようにする再配置処理を行っているが、本実施形態はこれに限定されない。例えば両者の顔以外の部位（例えば手や足）が重ならないようにする再配置処理を行ってもよい。
【０１２７】
また図１２に示すように、キャラクタＣＨＰ（合成キャラクタ画像）とキャラクタＣＨが重ならないようにする再配置処理を行ってもよい。例えば図１２では、キャラクタＣＨＰを内包するエリアＡＣＨＰと、キャラクタＣＨを内包するエリアＡＣＨが設定されている。そして図１２のＣ１では、エリアＡＣＨＰとエリアＡＣＨが重なっており、キャラクタＣＨＰとキャラクタＣＨが重なっていると判定されている。この場合に図１２ではＣ２に示すように、キャラクタＣＨＰとキャラクタＣＨが重ならないようにする再配置処理が行われている。即ち、エリアＡＣＨＰとエリアＡＣＨが重ならないように、キャラクタＣＨＰを例えば左側に移動している。なお、キャラクタＣＨＰとキャラクタＣＨの両方を、互いに遠ざけるように移動したり、キャラクタＣＨの方を移動させることも可能である。図１２に示すようにキャラクタ同士の重なりを検出して、両者が重ならないように再配置処理を行うことで、適切な構図の合成画像を生成することが可能になる。
【０１２８】
以上のように本実施形態では、キャラクタＣＨの画像を含む合成対象画像（背景画像などを含む仮想空間画像）に対して、プレーヤ（被写体）の撮像画像から切り出された顔画像ＩＭＦ（被写体画像）が合成された合成画像が生成される。そして、キャラクタＣＨと、顔画像ＩＭＦ（被写体画像）又は顔画像ＩＭＦに連なるキャラクタＣＨＰ（被写体キャラクタ）との重なり判定処理が行われる。例えばキャラクタＣＨと合成キャラクタ画像（ＣＨＰ、ＩＭＦ）の重なり判定処理が行われる。具体的には、図１０では、キャラクタＣＨ（顔ＦＣ）と顔画像ＩＭＦとの重なり判定処理が行われ、図１２では、キャラクタＣＨとキャラクタＣＨＰ（被写体キャラクタ）の重なり判定処理が行われている。
【０１２９】
そして、キャラクタＣＨと、顔画像ＩＭＦ（被写体画像）又はキャラクタＣＨＰ（被写体キャラクタ）とが重なっていると判定された場合には、キャラクタＣＨと顔画像ＩＭＦ又はキャラクタＣＨＰとが重ならないようにする再配置処理が行われて、合成画像が生成される。
【０１３０】
より具体的には、被写体画像がプレーヤ（被写体）の顔画像ＩＭＦである場合には、図１０に示すように、キャラクタＣＨ（例えば顔ＦＣ）と、プレーヤの顔画像ＩＭＦとの重なり判定処理が行われる。そしてキャラクタＣＨ（顔ＦＣ）と顔画像ＩＭＦとが重なっていると判定された場合には、キャラクタＣＨ（顔ＦＣ）と顔画像ＩＭＦとが重ならないようにする再配置処理が行われて、合成画像が生成される。これによりキャラクタＣＨ、ＣＨＰの顔等が重ならず並んで表示される合成画像を、記念写真として撮影して、印刷物としてプレーヤに提供できるようになる。
【０１３１】
また本実施形態では、例えば図１３において表示部１９０に表示されるキャラクタＣＨＰ（被写体キャラクタ）は、複数のオブジェクトにより構成されるモデルオブジェクトとなっている。即ち、ポリゴン等のプリミティブ面で構成された３次元のＣＧオブジェクトでキャラクタＣＨＰの画像が生成される。そして図１３に示すように、キャラクタＣＨＰの画像として、当該モデルオブジェクトの顔の位置にプレーヤＰＬ（被写体）の顔画像ＩＭＦが表示される画像が生成される。このようなキャラクタＣＨＰと顔画像ＩＭＦの合成キャラクタ画像は、例えば図６で説明した画像合成手法により生成できる。
【０１３２】
そして図１３に示すようにプレーヤＰＬ（被写体）が動いた場合に、プレーヤＰＬの動きに応じて、合成対象画像での顔画像ＩＭＦ（被写体画像）の合成位置が変化する合成画像を生成されて、表示部１９０に表示される。即ち、プレーヤＰＬが右に動いて、その顔が右に移動した場合には、それに応じて、表示部１９０に表示される顔画像ＩＭＦも右側に移動する。同様にプレーヤＰＬが左に動いて、その顔が左に移動した場合には、それに応じて、顔画像ＩＭＦも左側に移動する。
【０１３３】
具体的には本実施形態では、図５で説明したスケルトン情報を用いてキャラクタＣＨＰの動作を制御している。例えばスケルトン情報に基づくモーションデータにより、キャラクタＣＨＰのモーション再生を行って、キャラクタＣＨＰを動作させる。
【０１３４】
図１４はスケルトンを概念的に説明する図である。キャラクタＣＨＰを動作させるスケルトンは、キャラクタＣＨＰの位置に配置設定される３次元形状の骨格であり、ＳＫは、このスケルトンをスクリーンＳＣＳに投影したものを表している。スケルトンは、図５で説明したように複数の関節で構成されており、各関節の位置は３次元座標で表される。スケルトンは、図１３のプレーヤＰＬの動きに連動して、その骨が動く。そして、スケルトンの骨が動くと、これに連動して、キャラクタＣＨＰの当該骨に対応する部位も動くことになる。例えばプレーヤＰＬが腕を動かすと、これに連動して、スケルトンの腕の骨が動き、キャラクタＣＨＰの腕も動くことになる。またプレーヤＰＬが足を動かすと、これに連動して、スケルトンの足の骨が動き、キャラクタＣＨＰの足も動くことになる。またプレーヤＰＬが頭部を動かすと、これに連動して、スケルトンの頭部の骨が動き、キャラクタＣＨＰの頭部も動くことになる。なお図１４では、例えば仮想カメラＶＣの視点位置にセンサ１６２が配置され、仮想カメラＶＣの視線方向にセンサ１６２の撮像方向が向いているものとして想定されている。
【０１３５】
このように本実施形態では、プレーヤＰＬの動きに連動してキャラクタＣＨＰが動作する。従って、プレーヤＰＬが頭部を動かすと、表示部１９０に表示される顔画像ＩＭＦも、これに連動して動くため、図９（Ｂ）に示すように、顔画像ＩＭＦと、合成対象画像に表示されるキャラクタＣＨの顔ＦＣとが重なってしまう事態が生じ得る。本実施形態では、このような場合にも図１０に示すような再配置処理が行われるため、このような事態の発生を回避して、適正な構図の合成画像をプレーヤに提供できるようになる。
【０１３６】
また本実施形態では、キャラクタＣＨＰは、複数のオブジェクトにより構成されるモデルオブジェクトであり、オブジェクト空間（３次元仮想空間）において、プレーヤＰＬ（被写体）の位置に対応する位置に配置される当該モデルオブジェクトのレンダリング処理を行うことで、キャラクタＣＨＰ（被写体キャラクタ）の画像が生成される。例えば図１５において、キャラクタＣＨＰは、オブジェクト空間内において、図１３でのプレーヤＰＬの位置に対応する位置に配置される。例えばプレーヤＰＬが前後左右に移動すると、キャラクタＣＨＰもオブジェクト空間内において前後左右に移動することになる。
【０１３７】
そして、モデルオブジェクトであるキャラクタＣＨＰのレンダリング処理は、図１５に示すように光源ＬＳを用いた照明モデルに基づいて行われる。具体的には、照明モデルに基づくライティング処理（シェーディング処理）が行われる。このライティング処理は、光源ＬＳの情報（光源ベクトル、光源色、明るさ、光源タイプ等）や、仮想カメラＶＣの視線ベクトルや、キャラクタＣＨＰを構成するオブジェクトの法線ベクトルや、オブジェクトのマテリアル（色、材質）などを用いて行われる。なお照明モデルとしては、アンビエント光とディフューズ光だけを考慮したランバードの拡散照明モデルや、アンビエント光、ディフューズ光に加えてスペキュラ光も考慮するフォンの照明モデルやブリン・フォンの照明モデルなどがある。
【０１３８】
このように照明モデルに基づくライティング処理を行うことで、キャラクタＣＨＰに対して光源ＬＳによる適切な陰影づけがついたリアルで高品質な画像を生成できるようになる。例えばスポットライトの光源を用いてライティング処理を行えば、スポットライトにより照らされているように見えるキャラクタＣＨＰ（衣装）の画像を生成できるようになり、プレーヤの仮想現実感等を向上できる。
【０１３９】
ここで図１０の再配置処理を実現する手法としては、例えば２次元的な再配置処理である第１の手法と、３次元的な再配置処理である第２の手法を想定できる。
【０１４０】
例えば第１の手法では、キャラクタＣＨが表示される２次元画像と、キャラクタＣＨＰと顔画像ＩＭＦが合成された２次元画像の相対的な位置関係を変更することで、図１０の再配置処理を実現する。例えば第１のレイヤーに、キャラクタＣＨの２次元画像を設定し、第２のレイヤーに、キャラクタＣＨＰと顔画像ＩＭＦが合成された２次元画像を設定する。そしてキャラクタＣＨの顔ＦＣと顔画像ＩＭＦの重なりが検出された場合には、第１のレイヤーに対して第２のレイヤーを相対的にずらすことで、図１０の再配置処理を実現する。例えば図１０において、キャラクタＣＨＰと顔画像ＩＭＦの合成画像が設定された第２のレイヤーを、左側にずらすことで、再配置処理を実現する。この第１の手法によれば、図１０の再配置処理を、処理負荷の少ない処理で実現できるという利点がある。
【０１４１】
一方、第２の手法では、例えばオブジェクト空間内でのキャラクタＣＨＰ等の位置を変更することで、図１０の再配置処理を実現する。例えば図１６は、キャラクタＣＨＰのモデルオブジェクト情報の例である。このモデルオブジェクト情報は、オブジェクト空間内でのモデルオブジェクトの位置の情報や方向の情報を含む。またモデルオブジェクトを構成する複数のオブジェクトＯＢ１、ＯＢ２、ＯＢ３・・・の情報を含む。そして第２の手法では、図１６のモデルオブジェクト情報に含まれるモデルオブジェクトの位置を変更することで、図１０の再配置処理を実現する。この第２の手法では、例えばキャラクタＣＨについても、複数のオブジェクトで構成されるモデルオブジェクトにより、その画像を生成することが望ましい。この場合には、オブジェクト空間内での、キャラクタＣＨＰのモデルオブジェクトとキャラクタＣＨのモデルオブジェクトの相対的な位置関係を変更することで、図１０の再配置処理を実現できる。
【０１４２】
例えば上述の第１の手法のように２次元画像の状態で再配置処理を行って、キャラクタＣＨＰの位置を移動すると、再配置処理後でのキャラクタＣＨＰの陰影づけが、不適切な陰影づけになってしまうおそれがある。例えば図１０において、キャラクタＣＨの上方に対応する位置に、スポットライトの光源が配置されていたとする。この場合に再配置処理が行われる前である図１０のＢ１の状態において、当該スポットライトが上方からキャラクタＣＨＰを照らす陰影づけが行われたレンダリング画像が、キャラクタＣＨＰの画像として生成されることになる。ところが、図１０のＢ２に示すように再配置処理が行われると、実際にはキャラクタＣＨＰの上方にはスポットライトは存在しないのに、再配置処理後においても、あたかも上方からスポットライトで照らされたかのような陰影づけが施されたキャラクタＣＨＰの画像が表示されてしまう。従って、陰影づけに矛盾が生じ、プレーヤが不自然さを感じるおそれがある。
【０１４３】
この点、第２の手法では、再配置処理が行われた場合にも、オブジェクト空間において再配置位置に配置されたキャラクタＣＨＰのモデルオブジェクトのレンダリング処理が、照明モデルに基づいて行われて、キャラクタＣＨＰ（被写体キャラクタ）の画像が生成される。従って、上述のような陰影づけの矛盾が生じる事態を回避でき、より自然でリアルな画像を生成できるという利点がある。なお本実施形態の再配置処理は、印刷用の写真の画像を合成する際の再配置処理には限定されず、例えばゲームプレイ中のリアルタイムな再配置処理であってもよい。
【０１４４】
なお、本実施形態では、図１４等で説明したように、センサ１６２からのセンサ情報に基づいて、プレーヤＰＬのスケルトン情報を取得し、このスケルトン情報に基づいてキャラクタＣＨＰを動作させる。これにより、プレーヤＰＬの動きに応じて、モデルオブジェクトであるキャラクタＣＨＰを動作させることが可能になる。そして、オブジェクト空間での、当該モデルオブジェクト（キャラクタＣＨＰ）の配置位置、モデルオブジェクトの形状、或いはモデルオブジェクトを構成するオブジェクトの配置位置を用いて、図１０の再配置処理を行う。
【０１４５】
例えば図１０の再配置処理を行う場合に、キャラクタＣＨ（例えば３次元のモデルオブジェクトのキャラクタ）と重ならないように、オブジェクト空間での、モデルオブジェクト（キャラクタＣＨＰ）の配置位置をずらしたり、モデルオブジェクトの形状を変更する。或いは、キャラクタＣＨと重ならないように、モデルオブジェクトを構成するオブジェクト（例えば頭部、手、足等の部位オブジェクト）の位置を変更する。例えば図１０において、キャラクタＣＨＰのモデルオブジェクトの頭部のオブジェクトを、Ａ１の方向にずらす再配置処理を行う。このようにすれば、スケルトン情報を用いることで、プレーヤＰＬの動きに応じてモデルオブジェクト（キャラクタＣＨＰ）を動作させることが可能なシステムにおいて、図１０に示す再配置処理を行うことが可能になり、スケルトン情報を用いる画像生成システムに好適な再配置処理を実現できるようになる。
【０１４６】
２．３  合成画像の生成
さて、本実施形態によるキャラクタＣＨＰとキャラクタＣＨの合成画像の生成手法としては、種々の手法が考えられる。
【０１４７】
例えば本実施形態では、再配置処理による再配置態様が異なる複数の合成画像を生成してもよい。そして、複数の合成画像の中からプレーヤにより選択された画像を、印刷媒体に印刷する処理を行うようにする。一例としては、再配置態様が異なる複数の合成画像の中から選択された画像を印刷する。或いは、複数の合成画像の中から選択された画像を図２の通信部１９６によりインターネット等に送信して、当該画像をサーバにより管理し、例えばスマートフォン、タブレットＰＣ、パーソナルコンピュータ等の情報端末の表示部に表示する。
【０１４８】
例えば図１７のＤ１、Ｄ２、Ｄ３に示す合成画像では、キャラクタＣＨＰとキャラクタＣＨの再配置態様が、互いに異なっている。例えば図１０では、キャラクタＣＨ（ＦＣ）から左方向側にキャラクタＣＨＰを移動する再配置が行われている。これに対して図１７のＤ１、Ｄ２では、左斜め下方向側にキャラクタＣＨＰを移動する再配置処理が行われ、Ｄ３では、右斜め下方向側にキャラクタＣＨＰを移動する再配置処理が行われており、再配置態様が異なる合成画像になっている。プレーヤが、これらの複数の合成画像の中から所望の合成画像を選択すると、選択された合成画像が記念写真として印刷されるようになる。
【０１４９】
例えば図１０に示すような再配置処理を行うと、表示部１９０の前に居るプレーヤの実際の位置と、キャラクタＣＨＰの位置が対応しなくなってしまうため、プレーヤが不自然さを感じるおそれがある。
【０１５０】
この点、図１７のように再配置態様が異なる複数の合成画像をプレーヤに表示すれば、プレーヤが感じる不自然感を低減することが可能になる。また図１７のように再配置態様が異なる複数の合成画像を表示すれば、印刷対象となる候補画像のバラエティー度を増すことができ、プレーヤの選択対象の範囲を広めることも可能になる。
【０１５１】
また本実施形態では、再配置処理の際に、キャラクタＣＨ、キャラクタＣＨＰ（被写体キャラクタ）、及び顔画像ＩＭＦ（被写体画像）の少なくとも１つについてのサイズの変更処理を行うようにしてもよい。例えばキャラクタＣＨＰや顔画像ＩＭＦのサイズに応じて、キャラクタＣＨのサイズを変更する。
【０１５２】
例えば図１８（Ａ）では、身長が高い第１のプレーヤがゲームをプレイしており、第１のプレーヤの高い身長に合わせて、キャラクタＣＨＰのサイズが大きくなっている。図１８（Ａ）の顔画像ＩＭＦは、この第１のプレーヤを撮影することで得られた顔画像である。一方、図１８（Ｂ）では、身長が低い第２のプレーヤがゲームをプレイしており、第２のプレーヤの低い身長に合わせて、キャラクタＣＨＰのサイズが小さくなっている。図１８（Ｂ）の顔画像ＩＭＦ２は、この第２のプレーヤを撮影することで得られた顔画像である。
【０１５３】
即ち、本実施形態ではセンサ１６２によりプレーヤの骨格を認識することで、図５に示すようなスケルトン情報を取得する。そして、取得されたスケルトンの大きさに応じて、キャラクタＣＨＰのサイズを設定する。こうすれば、画面に表示されるキャラクタＣＨＰのサイズが、プレーヤの体格に連動するようになり、プレーヤの仮想現実感を向上できる。即ち、背の高いプレーヤでは、対応するキャラクタＣＨＰの背も高くなり、背の低いプレーヤでは、対応するキャラクタＣＨＰの背も低くなるため、あたかも自分が童話やアニメのキャラクタＣＨＰに変身して、ゲームを行っているという仮想現実感を与えることができる。
【０１５４】
そして、このようにキャラクタＣＨＰのサイズが変化した場合に、それに連動して、一緒に映るキャラクタＣＨについてもそのサイズを変更することが、記念写真の構図として好ましい。例えば図１８（Ａ）では背の高いキャラクタＣＨＰに対応して、キャラクタＣＨの背も高くなるように表示され、図１８（Ｂ）では背の低いキャラクタＣＨＰに対応して、キャラクタＣＨの背も低くなるように表示される。従って、キャラクタＣＨＰとキャラクタＣＨが並んだ時の構図の見栄えが、より好ましい見栄えになり、記念写真に好適な画像を印刷して、プレーヤに提供できるようになる。
【０１５５】
なお、プレーヤの身長などが異なる場合に、顔画像についても、キャラクタＣＨＰのサイズに合わせて調整してもよい。例えば図１８（Ａ）のようにキャラクタＣＨＰのサイズが大きい場合には、それに合わせて、第１のプレーヤの顔画像ＩＭＦのサイズも大きくする。一方、図１８（Ｂ）のようにキャラクタＣＨＰのサイズが小さい場合には、それに合わせて、第２のプレーヤの顔画像ＩＭＦ２のサイズも小さくする。こうすることで、キャラクタＣＨＰと顔画像ＩＭＦ、ＩＭＦ２からなる合成キャラクタ画像の見栄えのバランスについても、向上できるようになる。
【０１５６】
また本実施形態では、キャラクタＣＨのサイズに応じて、キャラクタＣＨＰや顔画像ＩＭＦのサイズを変更してもよい。
【０１５７】
例えば図１９（Ａ）では、記念写真に一緒に写るキャラクタＣＨは背の高いキャラクタになっている。この場合には、この背の高いキャラクタＣＨに合わせて、プレーヤのキャラクタＣＨＰのサイズを大きくする。一方、図１９（Ｂ）では、記念写真に一緒に写るキャラクタＣＨＢは背の低いキャラクタになっている。この場合には、この背の低いキャラクタＣＨＢに合わせて、プレーヤのキャラクタＣＨＰのサイズを小さくする。
【０１５８】
このようにすれば、図１９（Ａ）のようにキャラクタＣＨＰとキャラクタＣＨが並んだ時の構図の見栄えや、図１９（Ｂ）のようにキャラクタＣＨＰとキャラクタＣＨＢが並んだ時の構図の見栄えが、より好ましい見栄えになり、記念写真に好適な画像を印刷して、プレーヤに提供できるようになる。即ち、記念写真に一緒に写るキャラクタとして、プレーヤが、いずれのキャラクタを選択した場合にも、見栄えの良い構図の記念写真を撮影できるようになる。
【０１５９】
なお、図１９（Ａ）、図１９（Ｂ）のようにキャラクタＣＨのサイズに応じて、キャラクタＣＨＰ及び顔画像ＩＭＦのサイズを変更する場合に、キャラクタＣＨＰのサイズ変化率と、顔画像ＩＭＦのサイズ変化率を異ならせることが望ましい。例えば図２０（Ａ）において、顔画像ＩＭＦのサイズ変化率はＳＲＦに設定されており、キャラクタＣＨＰのサイズ変化率はＳＲＣに設定されている。この場合にサイズ変化率ＳＲＦ、ＳＲＣの値を異ならせる。
【０１６０】
例えば図１９（Ａ）、図１９（Ｂ）のように、キャラクタＣＨ、ＣＨＢのサイズに合わせて、プレーヤのキャラクタＣＨＰのサイズを変更した場合に、キャラクタＣＨＰのサイズ変化率ＳＲＣと顔画像ＩＭＦのサイズ変化率ＳＲＦを、同じ値にしてしまうと、見た目のバランスが不自然になる場合がある。例えば図１９（Ａ）において、キャラクタＣＨＰのボディー部分に対して、顔画像ＩＭＦが大きくなりすぎて、不自然に見えたり、図１９（Ｂ）において、キャラクタＣＨＰのボディー部分に対して、顔画像ＩＭＦが小さくなりすぎて、不自然に見えたりするなどの事態が生じるおそれがある。
【０１６１】
この点、図２０（Ａ）のように、キャラクタＣＨのサイズ変化率ＳＲＣと、顔画像ＩＭＦのサイズ変化率ＳＲＦを別々に設定できるようにすれば、上記のように不自然な見た目になるといった事態の発生を、効果的に防止できる。
【０１６２】
また本実施形態では、再配置処理の際に、キャラクタＣＨ、キャラクタＣＨＰ（被写体キャラクタ）及び顔画像ＩＭＦ（被写体画像）の少なくとも１つについての色情報の変更処理を行ってもよい。例えば図２１のＡ１に示すように、顔画像ＩＭＦとキャラクタＣＨの顔ＦＣが重なるのを防止する再配置処理を行った際に、キャラクタＣＨ、キャラクタＣＨＰ、或いは顔画像ＩＭＦの色情報を変更する。例えばキャラクタＣＨとプレーヤのキャラクタＣＨＰの関連度合いに応じた色情報の変更処理を行う。
【０１６３】
例えば、キャラクタＣＨとキャラクタＣＨＰの関連度合いが高く、キャラクタＣＨが着る衣装の形と、キャラクタＣＨＰが着る衣装の形が、同じような形であったとする。この場合には、再配置後における両者の衣装の違いを目立たせるために、キャラクタＣＨの衣装の色合いや、キャラクタＣＨＰの衣装の色合いを変更する。例えば２つの衣装の色が異なった色になるように、色情報の変更処理を行う。
【０１６４】
一方、キャラクタＣＨとキャラクタＣＨＰの関連度合いが低く、キャラクタＣＨが着る衣装の色や形と、キャラクタＣＨＰが着る衣装の色や形が、全く異なる色や形であったとする。この場合には、キャラクタＣＨとキャラクタＣＨＰの境界領域において、両者の衣装の色等を馴染ませるような色情報の変更処理を行う。例えば両者の境界領域において色のグラディエーション処理を行ったり、色の明るさ調整を行う。こうすることで、再配置処理後に並んで映るキャラクタＣＨとキャラクタＣＨＰの合成画像の見栄えや品質を、向上できる。なおキャラクタＣＨとプレーヤのキャラクタＣＨＰの関連度合いは、例えば図２０（Ｂ）に示すようなキャラクタ間の関連度合いを表すテーブルデータなどに基づいて、判断すればよい。
【０１６５】
また本実施形態では、再配置処理の際に、キャラクタＣＨとプレーヤのキャラクタＣＨＰの間の境界領域、又はキャラクタＣＨと顔画像ＩＭＦの間の境界領域に対して、デコレーション処理を行ってもよい。
【０１６６】
例えば図２２では、キャラクタＣＨとキャラクタＣＨＰの間や、キャラクタＣＨと顔画像ＩＭＦの間の境界領域に対して、花やハートマークの表示物を配置するデコレーション処理が行われている。このようなデコレーション処理を行うことで、再配置処理後のキャラクタＣＨとキャラクタＣＨＰや顔画像ＩＭＦとの間の境界領域を馴染ませて、目立たないようにすることが可能になり、より高品質の合成画像をプレーヤに提供できるようになる。なおデコレーション処理に使用される表示物（オブジェクト）は、プレーヤが所有しているアイテムの表示物であってもよいし、キャラクタＣＨやキャラクタＣＨＰに関連づけて付随しているような表示物であってもよい。またデコレーション処理として、キャラクタＣＨとキャラクタＣＨＰや顔画像ＩＭＦとの間の境界領域に対して、明るさ等を変化させる画像エフェクト処理を行うようにしてもよい。このように本実施形態のデコレーション処理としては、種々の処理を想定できる。
【０１６７】
２．４  変形例
次に本実施形態の種々の変形例を説明する。例えば図２３において、キャラクタＣＨＰ（被写体キャラクタ）及びキャラクタＣＨの両方が、複数のオブジェクトで構成されるモデルオブジェクトとなっている。そして図２３のＥ１では、図２４（Ａ）に示すように、オブジェクト空間に配置されるモデルオブジェクトであるキャラクタＣＨＰとキャラクタＣＨとの間に、仮想カメラＶＣから見て重なりがあると判定されている。即ち仮想カメラＶＣから見た画像において、キャラクタＣＨＰとキャラクタＣＨが重なって見える。このような重なりが検出された場合に、本実施形態では、キャラクタＣＨＰ及びキャラクタＣＨの少なくとも一方についての、位置及び方向の少なくとも一方を変更する再配置処理を行う。ここで位置は、キャラクタＣＨＰ、キャラクタＣＨの配置位置（代表位置）であり、方向は、例えばキャラクタＣＨＰ、キャラクタＣＨが向く方向である。
【０１６８】
例えば図２３のＥ２では、図２４（Ｂ）に示すように、オブジェクト空間でのキャラクタＣＨＰの位置を変更する再配置処理が行われている。具体的には図２４（Ｂ）のＦ１に示すように、キャラクタＣＨＰの位置を左方向に移動して、キャラクタＣＨとの距離を離している。これにより図２３のＥ２に示すように、仮想カメラＶＣから見て、キャラクタＣＨＰとキャラクタＣＨが重ならないように見える画像を生成できる。
【０１６９】
なお再配置処理の際に、キャラクタＣＨの方の位置を変更したり、キャラクタＣＨＰとキャラクタＣＨの両方の位置を変更してもよい。或いはキャラクタＣＨＰやキャラクタＣＨの方向を変更することで、再配置処理を実現してもよい。
【０１７０】
例えば図２５（Ａ）では、第１の視点位置に設定された仮想カメラＶＣから見て、キャラクタＣＨＰとキャラクタＣＨの間に重なりがあると判定されている。即ち、キャラクタＣＨＰとキャラクタＣＨが前後に所定距離だけずれていても、第１の視点位置に設定された仮想カメラＶＣから見ると、キャラクタＣＨＰとキャラクタＣＨは重なって見えることになる。
【０１７１】
この場合には、図２５（Ｂ）に示すように、仮想カメラの位置を第１の視点位置とは異なる第２の視点位置に変更する。例えば図２５（Ａ）ではキャラクタＣＨＰ、ＣＨの正面方向の第１の視点位置に仮想カメラＶＣが配置されていたが、図２５（Ｂ）ではＧ１に示すように、横方向（右方向）の第２の視点位置に仮想カメラＶＣの位置が変更されている。更に図２５（Ｂ）ではＧ２、Ｇ３に示すように、キャラクタＣＨＰ、ＣＨの方向についても変更されている。即ち、Ｇ１に示す仮想カメラＶＣの方を向くように、キャラクタＣＨＰ、ＣＨの向きを、Ｇ２、Ｇ３に示すように回転させる。こうすることで、図２５（Ａ）では仮想カメラＶＣから見て重なっていたキャラクタＣＨＰ、ＣＨが、図２５（Ｂ）のＧ１に示す仮想カメラＶＣでは、キャラクタＣＨＰ、ＣＨが重なって見えないようになり、両者の重なりを抑制する再配置処理を実現できるようになる。このように再配置処理は、キャラクタＣＨＰ、ＣＨの方向を変更することによっても実現できる。
【０１７２】
また本実施形態では図８で説明したように、プレーヤがゲームをプレイするためのゲーム処理が行われる。そして図２３〜図２５（Ｂ）で説明した再配置処理は、ゲーム処理によるゲーム中に行われるものであってもよい。例えば、ゲーム処理によるゲーム中に、キャラクタＣＨＰとキャラクタＣＨの間に仮想カメラから見て重なりがあると判定された場合に、図２３〜図２５（Ｂ）に示すように、オブジェクト空間でのキャラクタＣＨＰ及びキャラクタＣＨの少なくとも一方についての、位置及び方向の少なくとも一方を変更する再配置処理を行う。
【０１７３】
例えば本実施形態では、ゲーム中での任意のタイミングにおいて、プレーヤがキャラクタＣＨＰを用いてプレイする様子を自動撮影し、自動撮影された画像を後で表示できるようにしている。具体的には、自動撮影された画像を、図１７に示すように、記念撮影モードでの画像と共に、印刷候補画像として表示部１９０に表示する。そして、プレーヤが、このゲーム中の自動撮影の画像を選択すると、当該画像が印刷媒体に印刷されて払い出し口１５２から払い出されることになる。これにより、プレーヤは、自身のゲームプレイでの様子を後で振り返って見ることが可能になる。
【０１７４】
そして、このようなゲーム中の自動撮影の画像を生成する際に、図２３〜図２５（Ｂ）で説明した再配置処理を行う。このようにすれば、キャラクタＣＨＰとキャラクタＣＨが重ならないようにする再配置処理が自動的に行われて、ゲーム中の自動撮影の画像が生成されるようになり、適切な構図の自動撮影画像をプレーヤに提供できるようになる。
【０１７５】
また、キャラクタＣＨＰとキャラクタＣＨの部位ごとの重なり度合いの程度などに応じて、再配置処理を制御してもよい。例えば再配置処理の際のずらし量などを制御する。例えばキャラクタＣＨＰとキャラクタＣＨが、手、足、頭部（顔）の三カ所で重なっている場合には、再配置処理の際のずらし量を大きくし、例えばキャラクタＣＨＰ等の位置を大きくずらす。一方、手と足は重なっているが、頭部（顔）は重なっていない場合には、再配置処理の際のずらし量を小さくする。或いは、キャラクタＣＨＰとキャラクタＣＨの重なり量（例えば重なり面積）を演算し、重なり量が大きい場合には、再配置処理の際のずらし量を大きくし、重なり量が小さい場合には、再配置処理の際のずらし量を小さくしてもよい。
【０１７６】
３．詳細な処理
次に本実施形態の詳細な処理例について図２６のフローチャートを用いて説明する。
【０１７７】
まず、プレーヤの撮像画像から顔画像を切り出す（ステップＳ１）。例えば図５で説明したスケルトン情報等を用いて、カラー画像である撮像画像におけるプレーヤの顔画像ＩＭＦの位置を特定し、その位置を中心とする所与のサイズのエリアをトリミングすることで、顔画像ＩＭＦを切り出す。
【０１７８】
次に、レンダリングされたプレーヤキャラクタの画像と顔画像の合成処理を行う（ステップＳ２）。例えば図１５で説明したように、プレーヤキャラクタＣＨＰについては、照明モデルを用いたレンダリング処理により、その画像を生成する。そして例えば図６で説明した画像合成手法などにより、プレーヤキャラクタＣＨＰの画像と顔画像ＩＭＦの合成処理を行う。
【０１７９】
次に、スケルトン情報等に基づいて、プレーヤキャラクタに合成されるプレーヤの顔画像のエリアを設定する（ステップＳ３）。例えば図５、図１４で説明したスケルトン情報に基づいて、プレーヤキャラクタＣＨＰに合成される顔画像ＩＭＦの位置を特定し、図１０に示すように顔画像ＩＭＦのエリアＡＦＰを設定する。
【０１８０】
次に、顔画像のエリアとキャラクタの顔のエリアに重なりがあるか否かを判定する（ステップＳ４）。そして重なりがある場合には、プレーヤキャラクタ（顔画像）の再配置処理を行い、この際に、プレーヤキャラクタ（顔画像）やキャラクタのサイズや色情報の変更処理を実行する（ステップＳ５）。即ち、図１０のＢ１に示すように、顔画像ＩＭＦのエリアＡＦＰとキャラクタＣＨの顔ＦＣのエリアＡＦＣに重なりがあった場合には、図１０のＢ２、Ａ１に示すように、プレーヤキャラクタＣＨＰの再配置処理を行う。そして、この際に、図１８（Ａ）〜図２２で説明したように、プレーヤキャラクタＣＨＰ（ＩＭＦ）やキャラクタＣＨのサイズや色情報の変更処理を実行する。
【０１８１】
なお、上記のように本実施形態について詳細に説明したが、本発明の新規事項および効果から実体的に逸脱しない多くの変形が可能であることは当業者には容易に理解できるであろう。従って、このような変形例はすべて本発明の範囲に含まれるものとする。例えば、明細書又は図面において、少なくとも一度、より広義または同義な異なる用語（被写体、被写体キャラクタ、被写体画像等）と共に記載された用語（プレーヤ、プレーヤキャラクタ、顔画像等）は、明細書又は図面のいかなる箇所においても、その異なる用語に置き換えることができる。また、画像合成処理、重なり判定処理、再配置処理、レンダリング処理、被写体の動きの特定処理、サイズや色情報の変更処理等も、本実施形態で説明したものに限定されず、これらと均等な手法も本発明の範囲に含まれる。
【符号の説明】
【０１８２】
ＰＬ  プレーヤ（被写体）、ＣＨＰ  キャラクタ（被写体キャラクタ）、
ＩＭＦ  顔画像（被写体画像）、ＣＨ、ＣＨＡ、ＣＨＢ  キャラクタ、ＦＣ  顔、
ＡＦＰ、ＡＦＣ、ＡＣＨＰ、ＡＣＨ  エリア、ＳＣ  スケルトン、
１００  処理部、１０２  入力処理部、１１０  演算処理部、１１１  ゲーム処理部、
１１２  オブジェクト空間設定部、１１３  キャラクタ処理部、
１１４  被写体情報取得部、１１５  重なり判定部、１１８  ゲーム成績演算部、
１１９  仮想カメラ制御部、１２０  画像生成部、１３０  音生成部、
１３２  印刷処理部、１４０  出力処理部、１５０  払い出し口、１５２  コイン投入口、
１６０  操作部、１６２  センサ、１６４  カラーセンサ、１６６  デプスセンサ、
１７０  記憶部、１７２  オブジェクト情報記憶部、１７８  描画バッファ、
１８０  情報記憶媒体、１９０  表示部、１９２  音出力部、１９４  Ｉ／Ｆ部、
１９５  携帯型情報記憶媒体、１９６  通信部、１９８  印刷部
【図１】
0006362634.tif 000002
【図２】
0006362634.tif 000003
【図３】
0006362634.tif 000004
【図４】
0006362634.tif 000005
【図５】
0006362634.tif 000006
【図６】
0006362634.tif 000007
【図７】
0006362634.tif 000008
【図８】
0006362634.tif 000009
【図９】
0006362634.tif 000010
【図１０】
0006362634.tif 000011
【図１１】
0006362634.tif 000012
【図１２】
0006362634.tif 000013
【図１３】
0006362634.tif 000014
【図１４】
0006362634.tif 000015
【図１５】
0006362634.tif 000016
【図１６】
0006362634.tif 000017
【図１７】
0006362634.tif 000018
【図１８】
0006362634.tif 000019
【図１９】
0006362634.tif 000020
【図２０】
0006362634.tif 000021
【図２１】
0006362634.tif 000022
【図２２】
0006362634.tif 000023
【図２３】
0006362634.tif 000024
【図２４】
0006362634.tif 000025
【図２５】
0006362634.tif 000026
【図２６】
0006362634.tif 000027