(57)【特許請求の範囲】
【請求項１】
仮想３次元空間に配置された複数のオブジェクトを仮想カメラにて捉えた映像を表示する画像処理装置であって、動画像を格納する記憶手段と、前記記憶手段に格納された動画像を取り出す映像取出手段と、取り出された前記動画像を前記複数のオブジェクトのうちの少なくとも１つの第１のオブジェクト上に再生して前記映像を作成すると共に、前記第１のオブジェクトと関連付けられた第２のオブジェクトの動きを制御するＣＰＵブロックおよびビデオブロックよりなる画像再生手段と、を備え、
前記動画像は、
時系列に関連づけられた複数の画像データと、前記複数の画像データにそれぞれ基づく各画像の時系列的な順番を示すタイムデータと、各前記画像データにそれぞれ関連して発生すべき特殊効果映像に関するエフェクトを定義したエフェクトデータとを有するムービ映像であり、
前記画像生成手段は、
前記第１のオブジェクト上に前記複数の画像データを順次割り当てて前記ムービ映像を再生すると共に、前記ムービ映像から前記タイムデータを取得し、該タイムデータに基づいて当該ムービ映像の再生と前記第２のオブジェクトの動きとを同期させ、あるいは該第２のオブジェクトに対して前記ムービ映像から取得した前記エフェクトデータに基づくエフェクト処理を行う
ことを特徴とする画像処理装置。
【請求項２】
前記第２のオブジェクトの動きを制御するオブジェクト処理部と、前記ムービ映像の再生と前記第２のオブジェクトの動きを同期させる同期制御部と、を備えることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記同期制御部は、前記タイムデータに基づいてムービ映像の再生と前記第２のオブジェクトの動きを同期させることを特徴とする請求項２記載の画像処理装置。
【請求項４】
前記記憶手段は、前記第２のオブジェクトの複数のモーションデータを格納し、前記オブジェクト処理部は、前記記憶手段に格納された第２のオブジェクトのモーションデータを取り込み、ムービ映像の再生に同期するように、第２のオブジェクトのモーションデータとモーションデータとの間を補間して補間モーションデータを生成することを特徴とする請求項２または３に記載の画像処理装置。
【請求項５】
前記ムービ映像は前記複数の画像にそれぞれ対応する音声データを有し、前記ムービ映像の再生に従って音声を出力する音声処理部を備えることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記画像生成手段は、前記エフェクトデータに基づき、前記ムービ映像の再生に対応して前記第２のオブジェクトを変化させることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
時系列に関連づけられた複数の画像データ、前記複数の画像データにそれぞれ基づく各画像の時系列的な順番を示すタイムデータ、及び、各前記画像データにそれぞれ関連して発生すべき特殊効果映像に関するエフェクトを定義したエフェクトデータを有するムービ映像である動画像と、仮想３次元空間に配置された複数のオブジェクトとを予め設定する第１のステップと、
前記動画像を前記複数のオブジェクトの少なくとも１つの第１のオブジェクト上に再生して前記映像を作成すると共に、前記第１のオブジェクトと関連付けられた第２のオブジェクトの動きを制御する第２のステップと
を備え、
前記第２のステップでは、
前記ムービ映像から前記タイムデータを取得し、該タイムデータに基づいて当該ムービ映像の再生と前記第２のオブジェクトの動きとを同期させ、あるいは該第２のオブジェクトに対して前記ムービ映像から取得した前記エフェクトデータに基づくエフェクト処理を行う
ことを特徴とする画像処理方法。
【請求項８】
前記第２オブジェクトの動きをモーションデータによって定義し、前記ムービ映像の再生に同期するように前記第２オブジェクトのモーションデータとモーションデータとの間を補間して補間モーションデータを生成することを特徴とする請求項７に記載の画像処理方法。
【請求項９】
前記ムービ映像は前記複数の画像にそれぞれ対応する音声データを有し、前記ムービ映像の再生に従って音声を出力することを特徴とする請求項７または８に記載の画像処理方法。
【請求項１０】
前記エフェクトデータに基づき、前記ムービ映像の再生に対応して前記第２のオブジェクトを変化させることを特徴とする請求項７乃至９のいずれか１項に記載の画像処理方法。
【請求項１１】
前記第２のステップでは、前記ムービ映像の各画素と前記第２のオブジェクトの対応画素との画像混合によって前記動画像を当該第２のオブジェクトに貼り付けるようにして再生し、
前記ムービ映像の前記第２のオブジェクトへの貼り付けは、ムービ映像の各画素と第２のオブジェクトの対応画素との画像混合によって行い、この画像混合におけるムービ映像の各画素の「混合度合」と、各画素の光の３原色の強さとを予め設定し、ムービ映像の各画素に「混合度合」のみを与えたマスク画像を生成し、ムービ映像の各画素に光の３原色の強さのみを与えかつこれら各強さに前記「混合度合」を乗じたＲＧＢ画像を生成し、第２のオブジェクトのマスク画像と重なった画素に「１」から前記「混合度合」を減じた値を乗じてマスク処理画像を生成し、このマスク処理画像とＲＧＢ画像とを加算することを特徴とする請求項７記載の画像処理方法。
【請求項１２】
前記第２のステップでは、前記ムービ映像の各画素と前記第２のオブジェクトの対応画素との画像混合によって前記動画像を当該第２のオブジェクトに貼り付けるようにして再生し、
第１の２次元画像と第２の２次元画像を画像混合によって重ね合せる際に、第１の２次元画像の各画素に光の３原色の強さと画像混合の「混合度合」を与え、第２の２次元画像の各画素に光の３原色の強さを与え、第１の２次元画像の各画素に「混合度合」のみを与えたマスク画像を生成し、第１の２次元画像の各画素に光の３原色の強さのみを与えかつこれら各強さに前記「混合度合」を乗じたＲＧＢ画像を生成し、第２の２次元画像のマスク画像と重なった画素に「１」から前記「混合度合」を減じた値を乗じてマスク処理画像を生成し、このマスク処理画像とＲＧＢ画像とを加算することを特徴とする請求項７に記載の画像処理方法。
【請求項１３】
ＲＧＢ画像を、各画素が光の３原色の強さに対応した輝度信号と色差信号よりなるＹＵＶ画像から生成することを特徴とする請求項１２記載の画像処理方法。
【請求項１４】
請求項７乃至１３のいずれか一項に記載の画像処理方法にかかる手順をコンピュータに実行させるためのプログラムが記録されているコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、いわゆる３Ｄゲーム装置やアクションパズルゲーム等の遊戯機に適用される画像処理技術に係り、特に、炎、光線等のエフェクトを迫力あふれる表現とするための画像処理装置の改良に関する。
【０００２】
【従来の技術】
３Ｄゲーム装置は、仮想３次元空間に配置した複数の被表示体（画面上に表示されるビットマップの集合体。以下「オブジェクト」という。）を、仮想カメラにて捉えた映像を、表示可能に構成されている。例えばオブジェクトとしてゲームの登場人物（以下「キャラクタ」という。）を表示するとともに、オブジェクトの動作に応じて炎、光線、水滴、反射光、埃等のエフェクトを発生させ、表示位置、内容を垂直同期期間単位で変更していくことにより、各種映像、効果を表現していた。
【０００３】
【発明が解決しようとする課題】
しかしながら従来のエフェクトは、静止画を短時間表示して表現し、あるいはオブジェクト表面のテクスチャによって表現していたため、比較的動きが少なく、激しい動きを表現することが困難であるとともに微妙な表現を行うことが困難であった。また動いているオブジェクト上に貼り付ける形でエフェクトが表現されることはなかった。このためエフェクトの表現力、迫力が充分ではなく、より魅力のある画像表現が求められていた。
【０００４】
また画像表現において、各画素は光の３原色の強さと、画像混合の際の「混合度合」で表現され、その階調数が多いほど豊かな画像表現が可能である。しかし３Ｄゲーム装置では、バス幅の制約、コスト等の制約により、画素表現の階調数はＲＧＢ（赤、緑、青）、アルファ値それぞれ４ビット程度に制限される。このため、従来の３Ｄゲーム装置では臨場感豊かな表現が容易でなかった。
【０００５】
本発明はこのような従来の問題点を解消すべく創案されたもので、その第１の目的は、迫力がありかつ繊細なエフェクトを実現し得る画像処理装置および画像処理方法を提供することにある。
【０００６】
また本発明の第２の目的は、階調数の制限にかかわらず豊かな表現が可能な画像処理装置および画像処理方法を提供することにある。
【０００７】
【課題を解決するための手段】
かかる課題を解決するため本発明は、仮想３次元空間に配置された複数のオブジェクトを仮想カメラにて捉えた映像を表示する画像処理装置であって、動画像を格納する記憶手段と、前記記憶手段に格納された動画像を取り出す映像取出手段と、取り出された前記動画像を前記複数のオブジェクトのうちの少なくとも１つの第１のオブジェクト上に再生して前記映像を作成すると共に、前記第１のオブジェクトと関連付けられた第２のオブジェクトの動きを制御するＣＰＵブロックおよびビデオブロックよりなる画像再生手段と、を備え、前記動画像は、時系列に関連づけられた複数の画像データと、前記複数の画像データにそれぞれ基づく各画像の時系列的な順番を示すタイムデータと、各前記画像データにそれぞれ関連して発生すべき特殊効果映像に関するエフェクトを定義したエフェクトデータとを有するムービ映像であり、前記画像生成手段は、前記第１のオブジェクト上に前記複数の画像データを順次割り当てて前記ムービ映像を再生すると共に、前記ムービ映像から前記タイムデータを取得し、該タイムデータに基づいて当該ムービ映像の再生と前記第２のオブジェクトの動きとを同期させ、あるいは該第２のオブジェクトに対して前記ムービ映像から取得した前記エフェクトデータに基づくエフェクト処理を行うことを特徴とする。
【０００８】
また本発明は、時系列に関連づけられた複数の画像データ、前記複数の画像データにそれぞれ基づく各画像の時系列的な順番を示すタイムデータ、及び、各前記画像データにそれぞれ関連して発生すべき特殊効果映像に関するエフェクトを定義したエフェクトデータを有するムービ映像である動画像と、仮想３次元空間に配置された複数のオブジェクトとを予め設定する第１のステップと、前記動画像を前記複数のオブジェクトの少なくとも１つの第１のオブジェクト上に再生して前記映像を作成すると共に、前記第１のオブジェクトと関連付けられた第２のオブジェクトの動きを制御する第２のステップとを備え、前記第２のステップでは、前記ムービ映像から前記タイムデータを取得し、該タイムデータに基づいて当該ムービ映像の再生と前記第２のオブジェクトの動きとを同期させ、あるいは該第２のオブジェクトに対して前記ムービ映像から取得した前記エフェクトデータに基づくエフェクト処理を行うことを特徴とする。
【０００９】
さらに本発明は、コンピュータ読み取り可能な記録媒体において、上記画像処理方法にかかる手順をコンピュータに実行させるためのプログラムが記録されていることを特徴とする。
【００１９】
【発明の実施の形態】
次に、本発明の好適な実施の形態を、図面を参照して説明する。◆
（構成）
図１に、本実施形態における画像処理装置を適用した３Ｄゲーム装置の接続概念図を示す。本ゲーム装置は、ゲーム装置本体１およびコントローラ２を相互に接続して構成される。ゲーム装置本体１はゲーム進行を司る制御装置本体である。ゲーム装置本体１は、複数のコントローラ２が接続可能になっており、そのために前面に複数のコネクタ１４１を有し側面に通信回線用モジュラージャック（図示せず。）を備えている。またゲーム装置本体１はＣＤ−ＲＯＭ用ホルダー１０５を備え、ＣＤ−ＲＯＭ等の記録媒体を着脱自在に装着できるようになっている。コントローラ２は、各遊技者が操作する操作部としての構成を備えており、操作ボタン群２２、十字キー２３等を備え、ゲーム機本体１と接続するためのコネクタを備えている。コントローラ２には、サブユニット２１が着脱自在に装着するためのスロットを備えている。サブユニット２１は、副画像表示を表示したり遊技者がサブゲームをしたりするためのユニットであり、サブモニタ２１１および操作ボタン群２１２などを備え、コントローラ２のスロットに接続するためのコネクタを備えている。接続ケーブル１５０は、コネクタ１５１および１５２を有し、ゲーム機本体１とコントローラ２とを相互に接続するようになっている。ゲーム機本体の映像信号出力や音声信号出力は、例えばＴＶ装置に出力される。
【００２０】
図２に本ゲーム装置のブロック図を示す。ゲーム装置本体１は、図２に示すように、ＣＰＵブロック１０、ビデオブロック１１およびサウンドブロック１２などを備えている。ＣＰＵブロック１０は、バスアビータ１００、ＣＰＵ１０１、メインメモリ１０２、ＲＯＭ１０３およびＣＤ−ＲＯＭドライブ１０４を備えている。バスアビータ１００は、バスを介して相互に接続されるデバイスにバス占有時間を割り振ることにより、データの送受信を制御可能に構成されている。ＣＰＵ１０１は、メインメモリ１０２、ＲＯＭ１０３、ＣＤ−ＲＯＭドライブ１０４、ビデオブロック１１およびサウンドブロック１２、コントローラ２を介してサブユニット２１にアクセス可能に構成されている。ＣＰＵ１０１は、電源投入時にＲＯＭ１０３に格納されたイニシャルプログラム（初期実行プログラム）を実行し装置全体の初期化を行うようになっている。ＣＤ−ＲＯＭドライブ１０４にＣＤ−ＲＯＭが装着されたことを検出すると、ＣＰＵはＣＤ−ＲＯＭに格納されているオペレーティングシステム用プログラムデータをメインメモリ１０２に転送するようになっている。その後、ＣＰＵ１０１はオペレーティングシステムに従って動作するようになり、引き続きＣＤ−ＲＯＭに格納されている本発明の画像処理方法のプログラムをメインメモリ１０２に転送し実行するようになっている。またＣＰＵ１０１は、本発明の画像処理用の画像データをグラフィックメモリ１１１に転送し、音声データをサウンドメモリ１２１に転送可能になっている。ＣＰＵ１０１が実行するプログラム処理は、コントローラ２からの操作信号や通信装置からの通信データの入力、それらに基づくサブユニット２１へのコマンド出力やビデオブロック１１に行わせる画像出力の制御およびサウンドブロック１２に行わせる音声出力の制御などである。
【００２１】
メインメモリ１０２は、主として上記オペレーティングシステム用プログラムデータおよびプログラムを格納する他、静的変数や動的変数等を格納するワークエリアを提供可能になっている。ＲＯＭ１０３は、イニシャルプログラムローダの格納領域である。ＣＤ−ＲＯＭドライブ１０４は、ＣＤ−ＲＯＭが着脱可能になっており、ＣＤ−ＲＯＭが装着されるとＣＰＵ１０１にその旨のデータを出力し、ＣＰＵ１０１の制御によりデータを転送可能になっている。ＣＤ−ＲＯＭには、本ゲーム装置に本発明の画像処理方法を実行させるためのプログラム、画像表示のための画像データ、および音声出力のための音声データなどが格納される。なお記録媒体はＣＤ−ＲＯＭに限ることなく、他の各種記録媒体を読取可能に構成してもよい。通信装置１３０経由でＣＤ−ＲＯＭに格納されるデータ群を各メモリに転送するように構成してもよい。このように設定すれば遠隔地のサーバの固定ディスクなどからデータの転送が可能である。
【００２２】
ビデオブロック１１は、ＶＤＰ（Video Display Processor）１１０、グラフィックメモリ１１１およびビデオエンコーダ１１２を備えている。グラフィックメモリ１１１は、ＣＤ−ＲＯＭから読み取られた画像データの格納領域およびフレームメモリ領域を備えている。画像データ格納領域には、仮想空間に表示されるオブジェクトを表示するためのポリゴンの各頂点座標を定めるポリゴンデータが、オブジェクト単位にまとめられて格納されている。ここで、オブジェクトとして建造物を表示させるためのポリゴンデータに特殊な設定がされている点に本発明の特徴がある。詳しくは後述する。ＶＤＰ１１０は、ＣＰＵ１０１の制御に基づいてグラフィックメモリ１１１に格納されている画像データの一部を参照してビットマップデータを生成しフレームメモリ領域に格納するように構成されている。ＣＰＵ１０１から供給される画像表示に必要な情報としては、コマンドデータ、視点位置データ、光源位置データ、ポリゴン指定データ、オブジェクト指定データ、ポリゴン位置データ、ポリゴン方法データ、テクスチャ指定データ、テクスチャ濃度データ、視野変換マトリクスデータ等である。ＶＤＰ１１０はこの情報に従ってポリゴンに対し座標変換（ジオメトリ演算）、テクスチャマッピング処理、表示優先処理、シェーディング処理等を実行可能になっている。ビデオエンコーダ１１２は、ＶＤＰ１１０が生成した画像データをＮＴＳＣ方式等の所定の映像信号に変換し外部に接続されるＴＶ装置内のメインモニタ１１３に出力可能に構成されている。
【００２３】
サウンドブロック１２は、サウンドプロセッサ１２０、サウンドメモリ１２１およびＤ／Ａコンバータ１２２を備えている。サウンドメモリ１２１には、上記したようにＣＤ−ＲＯＭから読み取られた音声データが格納されている。サウンドプロセッサ１２０は、ＣＰＵ１０１から供給されるコマンドデータに基づいて、サウンドメモリ１２１に格納されている波形データ等の音声データを読み取って、ＤＳＰ（Digital Signal Processor）機能に基づく各種エフェクト処理、デジタル／アナログ変換処理等を行うようになっている。そしてＤ／Ａコンバータ１２２は、サウンドプロセッサ１２０により生成された音声データをアナログ信号に変換し、外部に接続されるＴＶ装置のスピーカ１２３に出力可能に構成されている。
【００２４】
通信装置１３０は、例えばモデムやターミナルアダプタであり、本ゲーム装置本体１と外部回線とを接続するアダプターとして機能可能になっている。通信装置１３０は、公衆回線網に接続されるゲーム供給用サーバから送信されたデータを受信し、ＣＰＵブロック１０のバスに供給可能になっている。公衆回線網としては、加入者回線、専用線、有線無線の別を問わない。
【００２５】
コントローラ２は、操作ボタン群２２や十字キー２３の操作状況を定期的にコードに変換してゲーム機本体１に送信するようになっている。各コントローラ２からの操作信号は、当該ゲームで表示されるキャラクタの各々を動かすために用いられる。サブユニット２１は、独立したゲームとして動作可能に、独自のＣＰＵやメモリ等のコンピュータ装置としての構成を備え、ゲーム中に発生するゲームの進行状況やゲームの成績、操作方法などの設定を含む設定データを格納可能に構成されている。ゲーム機本体からゲーム処理状況を特定する設定データが送信されてきた場合にはこれらをサブユニット２１に格納することが可能になっている。これら設定データは、電源遮断時に電源遮断直前の状態からゲームを再開するためのバックアップデータとしてゲーム機本体に転送される。またサブユニットを交換することにより他のゲーム装置の操作状態をそのまま当該ゲーム装置に反映するためのデータとなる。
（動作の説明）◆
次に、本ゲーム装置における動作を説明する。
【００２６】
図３は以上のゲーム装置の機能を説明するための機能ブロック図であり、オブジェクトを示す３次元データの処理のための３Ｄ処理部３０１、オブジェクト表面上で再生する模様等のテクスチャを処理するためのテクスチャ処理部３０２、時系列の画像データ、音声データおよびエフェクトデータを含むムービ映像の画像データの処理のためのムービ映像処理部３０３、音声を処理するための音声処理部３０４が設けられている。３Ｄ処理部３０１、テクスチャ処理部３０２、ムービ映像処理部３０３の出力は描画プロセッサ３０５において統合され、モニタ１１３に表示すべき画像を生成する。これら処理部３０１〜３０４において処理すべきデータはＣＤ−ＲＯＭから供給され、適宜内部にデータを保持しつつ処理が行われる。処理部３０１〜３０３は独立したハードウエアではなく、大部分の機能は前記ＣＰＵブロック１０に依存する。処理部３０５の機能はＣＰＵブロック１０およびサウンドブロック１２によって実現される。一方描画プロセッサ３０５はＣＰＵブロック１０およびビデオブロック１１よりなる。処理部３０１〜３０４は同期制御部３０６によって同期制御され、描画プロセッサ３０５で統合される画像、および音声処理部３０４出力が所期のタイミングで生成されるようになっている。
【００２７】
テクスチャ処理部３０２で処理されるテクスチャのうち動画として表現されるもの、およびムービ映像処理部３０３において処理されるムービ映像との両者を総称して、「動画像」という。テクスチャ処理部３０２およびムービ映像処理部３０３は、このような動画像のデータをＣＤ−ＲＯＭから取り出す「映像取出手段」である。また描画プロセッサ３０５は動画像をオブジェクト上その他において再生する「画像再生手段」である。
【００２８】
またムービ映像は時系列データである点でテクスチャと異なるが、時系列で変化するテクスチャととらえることも可能であるので、テクスチャ処理部３０２とムービ映像処理部３０３とを１個の共通な処理部として構成することも可能である。
【００２９】
図４は３Ｄ処理部３０１とムービ映像処理部３０３の詳細を示し、ムービ映像処理部３０３ではＣＤ―ＲＯＭのデータをデコーダ３１０によってムービ映像ＭＶに変換する。３Ｄ処理部３０１はデコーダ３１１によりＣＤ―ＲＯＭのデータをデコードし、３Ｄモデル（３ＤＭ）を得て、モデリング部３１２においてポリゴン生成等のモデリングを行う。なお描画プロセッサ３０５はムービ映像ＭＶの１枚ずつの画像を一端テクスチャバッファ３１３に格納し、これを適宜呼び出してキャラクタとともに描画する。
【００３０】
図５はムービ映像ＭＶのデータ構造を示す概念図であり、時系列の連続したデータ列よりなる。そのｉ番目のデータＭＶｉに注目すると、データＭＶｉは画像データ（２ＤＤｉ）、音声データＡＤｉ、エフェクトデータＥＦｉを含む。画像データ２ＤＤｉにはタイムデータｔｉが含まれ、このタイムデータｔｉを参照すれば、ムービ映像ＭＶのタイミングを知ることができる。
【００３１】
音声データＡＤｉは画像データ（２ＤＤｉ）に関連して出力すべき音声のデータであり、また、エフェクトデータＥＦｉは画像データ（２ＤＤｉ）に関連して発生すべき特殊効果映像に関するエフェクトを定義するデータである。
【００３２】
例えば図１０のエフェクトにおいては、画像データ（２ＤＤｉ、２ＤＤｉ+1、２ＤＤｉ+2）は炎の画像であり、透明な平板状のオブジェクト４００の表面に貼り付けられる。オブジェクト４００はゲームの登場人物（以下「キャラクタ」という。）としてのオブジェクトＯＢ１、ＯＢ２間に配置され、かつオブジェクトＯＢ２との間に相互干渉が生じている。
【００３３】
図１０の例では、相互干渉は、平板状のオブジェクト４００がキャラクタＯＢ１、ＯＢ２に突き刺さったように配置されていることを意味し、オブジェクトＯＢ１、ＯＢ２にはこのようなオブジェクト４００上のムービ映像のエフェクトデータに基づくエフェクトを生じる。なおエフェクト生成の手法としては、平板状オブジェクト４００とキャラクタＯＢ１、ＯＢ２の相互干渉を条件とせず、炎が存在する領域を比較的単純な図形（円、矩形等）で定義しておき、この図形とキャラクタＯＢ１、ＯＢ２との距離に応じたエフェクトを生成してもよい。
【００３４】
オブジェクトＯＢ１はゲームの主人公となる人間のキャラクタであり、オブジェクトＯＢ２はそれに敵対する怪物（モアイ象）のキャラクタである。
【００３５】
図１０（ａ）では、主人公ＯＢ１が振り上げた手を前方に振り下ろそうとしており、これにともなって２次元画像の短い炎（２ＤＤｉ）がモアイ象ＯＢ２に向かって伸び始めている。このとき主人公の手には炎に照らされたエフェクトが与えられている。すなわちムービ映像のエフェクトデータに基づいて、オブジェクトＯＢ１の一部を光らせるという、オブジェクトＯＢ１のエフェクトが生成されている。このとき炎に関連した音声データが出力される。
【００３６】
図１０（ｂ）では、主人公ＯＢ１の手がほぼ水平に振り下ろされ、炎はモアイ象ＯＢ２に向かって長く伸びている。この炎の拡大に伴って主人公ＯＢ１に対する光は強まり、主人公ＯＢ１の前面全体が炎に照らされるとともに、影が生じている。オブジェクトＯＢ１の前面を広く光らせるというエフェクトはムービ映像のエフェクトデータに基づいて生成され、このとき炎に関連した音声データが出力される。
【００３７】
図１０（ｃ）では、炎はさらに伸びてモアイ象ＯＢ２に到達している。この大きな炎によって主人公ＯＢ１はさらに広い範囲が照らされるとともに、より大きな影が生じている。モアイ象ＯＢ２に到達した炎はモアイ象ＯＢ２を明るく照らすとともに、モアイ像ＯＢ２を爆破する。このモアイ像ＯＢ２のエフェクトもムービ映像に基づいて生成される。このとき炎や爆発に関連した音声データが出力される。
【００３８】
このようにムービ映像をエフェクトに使用すれば、迫力あふれるエフェクトが得られる。また同一のムービ映像を異なるオブジェクトに貼り付ければ、まったく異なるエフェクトを容易に生成でき、リソースの有効活用を図ることができる。しかも２次元画像の貼り付けはテクスチャの処理と同様であるので、既存のソフトウエアおよびハードウエアのリソースを容易に転用でき、また兼用も可能である。
【００３９】
またキャラクタＯＢ２に生じるエフェクトの内容は、光などに限定されるものではなく、ミサイルのようなオブジェクトが飛来して命中するなど他のキャラクタに関連したものも採用し得る。
【００４０】
遊戯者がボタンＳＴを押下すると、キャラクタＯＢ１から炎を出す動き、すなわち手を振り上げて振り下ろす動作が開始される。ここで、ムービ映像の読み出しを開始し、再生が行われるが、ボタンＳＴの押下から再生開始までにはタイムラグが存在する。一方、遊戯者から見て、ボタンの押下に対してキャラクタＯＢ１が即座に反応しないとインタラクティブ性に欠け、不自然な印象を与えるため、ボタン押下直後にキャラクタＯＢ１の動きを開始する。その結果、ムービ再生はキャラクタＯＢ１の動きに対して遅れたタイミングで再生されることになる。
【００４１】
そこで、ムービ映像のデコード時に、ムービ再生により炎が表示されるまでの時間（フレーム数）を取得し、それに合せてキャラクタＯＢ１の手の動きを制御する。炎表示までの時間（フレーム数）よりもモーションデータが多い場合はモーションデータを省き、モーションデータが少ない場合はモーションデータ間を補間する。これによってキャラクタＯＢ１の手が振り下ろされた時に炎の表示が開始される。
【００４２】
図６は同期制御部３０６における同期制御の処理を示すフローチャートであり、まずステップＳ６１においてムービ映像のタイムデータおよび３Ｄ画像のモーションデータのタイミングを取得する。次に両者が同期するようにタイミングを設定し（ステップＳ６２）、合成画像を表示する（ステップＳ６３）。
【００４３】
図７は図６におけるステップＳ６１の処理をより詳細に示すフローチャートである。ここではゲーム機のボタンＳＴ（図１）をトリガとして、キャラクタの動作を開始するとともに、ムービ映像も再生を開始し、このムービ映像の時系列を基準にしてオブジェクト（キャラクタ）を同期させる。
【００４４】
当初の事象待（ステップＳ７１）の状態において、ボタンＳＴが押されたとき（ステップＳ７２）、キャラクタの動作を開始し（ステップＳ７３）、これに続いてムービ映像を開始する（ステップＳ７４）。ここで、ムービ映像のタイムデータを取得する（ステップＳ７５）。
【００４５】
図８は図６におけるステップＳ６２の処理をより詳細に示すフローチャートである。まずキャラクタのモーションデータとムービ映像のタイムデータとが同期しているか否か判定し（ステップＳ８１）、同期していたときはそのまま処理を終了する。同期していなかったとき、同期を取るためにモーションデータが多いか否か判定し（ステップＳ８２）、多かったときは、モーションデータを省く（ステップＳ８３）。またモーションデータが多くなかったとき、モーションデータが少ないか否か判定し（ステップＳ８４）、少なかったときは、モーションデータを補間する（ステップＳ８５）。
【００４６】
このようにキャラクタの動作を積極的に変化させることにより同期制御の自由度は高まる。
【００４７】
図９は他の同期制御の処理を示すフローチャートであり、同期の判定（ステップＳ９１）の後、同期していないときに、キャラクタのタイミング補正量を算出し（ステップＳ９２）、キャラクタの動作を計算する（ステップＳ９３）。そして中間動作を生成して合成画像を表示する。
【００４８】
図１４は図９における動作の補間計算の処理（ステップＳ８５）を示す。図１４において、図１０の状況で主人公ＯＢ１の腕の振れ角度が最大Θであり、タイミング検出時の角度θが、正しいタイミングが角度θ’であったとすると、補正量は（θ’−θ）となる。この中間の動作はフレームの省略や、補間によって実現される。但し、中間動作を演算によって生成することも可能である。
【００４９】
このようにオブジェクトＯＢ１とムービ映像の炎の関連が自然なものになるよう、両者を関連させることを同期という。
【００５０】
図１１はムービ映像の２次元画像（２ＤＤ）を貼り付けるオブジェクトを平板状ではなく円筒状としたものであり、より立体的なエフェクトが得られる。同図では主人公ＯＢ１、怪物のキャラクタＯＢ２の間に、吹き上がる炎が表示され、その輝きによってオブジェクトＯＢ１、ＯＢ２に明るい部分と影が生じている。
【００５１】
図１２（ａ）、（ｂ）、（ｃ）は図１１の炎（２ＤＤ）の生成方法を示し、透明な円筒４１０の表面に炎の２次元画像２ＤＤｉ〜２ＤＤｉ+2が順次表示され、その変化により、燃え盛る炎がリアルに表現されている。このようにムービ映像の２次元画像を貼り付けるオブジェクトとしては種々の形状のものを採用でき、その色彩も任意に選択し得る。
【００５２】
図１３は稲妻を表現する処理を示し、同図（ａ）〜（ｄ）のように徐々に伸びて行く稲妻２ＤＤｉ〜２ＤＤｉ+3を透明な平板状オブジェクト４２０に貼り付ければ、稲妻の閃光が表現される。
【００５３】
以上のようにムービ映像は動画像を自由に表現し得るものであるので、例えば画面上で回転しつつ飛行する鏡（オブジェクト４３０）内で、２次元動画像としてストーリーが展開しているような複雑な表現も可能である。この実施形態では、ムービ映像の２次元画像は単にエフェクトのために定義されたオブジェクトに貼り付けられているのではなく、それ自体がゲームのストーリー中で役割をもったものである。
【００５４】
ムービ映像の２次元画像は背景その他種々の画像と重ね合されるが、その重ね合せに際して、重み付けが為されることがある。この重み付けを考慮して各画素は、光の３原色の強さ（r，ｇ，ｂ）と、画像混合の混合度合αで表現される。これらデータはそれぞれが８ビット程度であると、豊かな表現力を発揮し得るが、全体で４バイトという大容量のデータになり、ゲーム機内部のデータバスの幅は大となる。すなわち２次元画像を貼付る対象として、任意のオブジェクトを採用し得る。
【００５５】
図１６はムービ映像の画像Ｍと背景画像Ｂとを画像混合する方法を示す。ここに画像Ｍは（α，ｒ，ｇ，ｂ）で表現され、背景画像は（ｒｏ，ｇｏ，ｂｏ）で表現される。バス幅拡大を防止するため、画像Ｍを直接使用せず、（１−α）を画素データとするマスク画像を生成する。また（ｒ，ｇ，ｂ）に基づいて算出された輝度信号、色差信号によるＹＵＶ信号の画像ＲＧＢ画像（Ｍ’）を生成する。このＲＧＢ画像が（ｒ，ｇ，ｂ）を画素データとする画像と等価であるが、データ量は２バイトである。以上の処理に必要なバス幅は最大２バイトである。次にマスク画像の（１−α）を画素の部分を背景画像Ｂに乗ずる。これによって背景画像Ｂにおいてマスク画像の部分のみ（１−α）を乗じた画像（マスク処理画像）が生成される。このマスク処理画像とＲＧＢ画像を加算することによって所期の混合画像｛（１−α）Ｂ＋αＭ｝が生成される。
【００５６】
図１７は、図１６の処理を従来例と比較しつつ、詳細に示す。同図（ｂ）において、従来は背景画像Ｂの各画素のデータ（ｒｏ，ｇｏ，ｂｏ）と画像Ｍの各画素のデータ（α，ｒ，ｇ，ｂ）とを直接演算し、〔｛（１−α）ｒｏ＋αｒ｝，｛（１−α）ｇｏ＋αｇ｝，｛（１−α）ｂｏ＋αｂ｝〕の各画素を生成していた。この演算のためには（α，ｒ，ｇ，ｂ）の２バイトデータを転送するバスが不可欠である。
【００５７】
一方、本実施形態によれば、背景画像Ｂ（ｒｏ，ｇｏ，ｂｏ）と、画像Ｍのα値から生成されたマスク画像（α）に基づいてマスク処理画像｛（１−α）ｒｏ，（１−α）ｇｏ，（１−α）ｂｏ｝を生成し、さらに画像ＭからＲＧＢ画像（Ｙ／ＵＶ）を生成する。このＹ／ＵＶ値よりなるＲＧＢ画像から、その各画素にαを乗じた画素（αｒ，αｇ，αｂ）のデータを出力し、この画素のデータとマスク処理画像の各画素のデータを加算する。その結果〔｛（１−α）ｒｏ＋αｒ｝，｛（１−α）ｇｏ＋αｇ｝，｛（１−α）ｂｏ＋αｂ｝〕の各画素が得られる。図１６に関連して説明したように、以上の処理に必要なバス幅は１バイトである。
【００５８】
なお画像混合の対象は以上に限定されるものではなく、テクスチャ、オブジェクトその他任意の画像に適用可能である。
【００５９】
【発明の効果】
本発明によれば、迫力あるエフェクトを実現し得る。
【００６０】
さらに本発明によれば、階調数の制限にかかわらず豊かな表現が可能である。
【図面の簡単な説明】
【図１】本実施形態におけるゲーム装置の接続概念図である。
【図２】本実施形態におけるゲーム装置のブロック図である。
【図３】本実施形態のゲーム装置の機能ブロック図である。
【図４】図３の詳細を示す機能ブロック図である。
【図５】本実施形態のムービ映像のデータ構造を示す概念図である。
【図６】本実施形態の同期制御の処理を示すフローチャートである。
【図７】図６におけるステップＳ６１の処理の詳細を示すフローチャートである。
【図８】図６におけるステップＳ６２の処理の詳細を示すフローチャートである。
【図９】図６におけるステップＳ６２の他の処理の詳細を示すフローチャートである。
【図１０】本実施形態によるエフェクトを順次示す概念図である。
【図１１】本実施形態による他のエフェクトを示す概念図である。
【図１２】図１１のエフェクトの処理を順次示す概念図である。
【図１３】本実施形態によるさらに他のエフェクトを順次示す概念図である。
【図１４】本実施形態における動作の補間の処理を示す概念図である。
【図１５】本実施形態によるさらに他のエフェクトを示す概念図である。
【図１６】本実施形態における画像の混合の処理を示す概念図である。
【図１７】図１６の実施形態を従来例と比較して示す概念図である。
【符号の説明】
１…ゲーム装置本体
２…コントローラ
１０…ＣＰＵブロック（処理装置）
１１…ビデオブロック（画像生成装置）
３０１…３Ｄ処理部
３０３…ムービ映像処理部
３０４…音声処理部
３０５…描画プロセッサ
３０６…同期制御部
４００〜４３０…オブジェクト
ＣＤ−ＲＯＭ…記憶媒体
２ＤＤ、２ＤＤｉ〜２ＤＤｉ+3…２次元画像
ＡＤｉ…音声データ
ＥＦｉ…エフェクトデータ
ＭＶ…ムービ映像
ＯＢ１、ＯＢ２…オブジェクト（キャラクタ）
【図１】
0004277066.tif 000002
【図２】
0004277066.tif 000003
【図３】
0004277066.tif 000004
【図４】
0004277066.tif 000005
【図５】
0004277066.tif 000006
【図６】
0004277066.tif 000007
【図７】
0004277066.tif 000008
【図８】
0004277066.tif 000009
【図９】
0004277066.tif 000010
【図１０】
0004277066.tif 000011
【図１１】
0004277066.tif 000012
【図１２】
0004277066.tif 000013
【図１３】
0004277066.tif 000014
【図１４】
0004277066.tif 000015
【図１５】
0004277066.tif 000016
【図１６】
0004277066.tif 000017
【図１７】
0004277066.tif 000018