(57)【要約】【目的】ユーザの操作に反応してテレビなどの表示画面上の画像が変化するテレビゲームなどの画像制御装置に関し、現実の情景を画像制御装置に利用することをユーザが指定可能とすることを目的とする。【構成】ＣＣＤ１０１による撮像動作に基づいてビデオ信号変換回路１０３が出力する輝度・色差信号１１４によって表される実画像は、ＶＤＰ１０４によって、ＲＯＭ１０７から転送されてくるＣＧ画像と混在させられて、バックグランドデータ又はオブジェクトデータとしてＶＲＡＭ１０５に記憶される。ＶＤＰ１０４は、ＶＲＡＭ１０５から読み出した表示されるべきバックグランドデータ又はオブジェクトデータがコードであるか輝度・色差信号であるかを判別し、それぞれに対応するデジタルＲＧＢ信号１１５を画像表示用に生成する。【選択図】　　　図１
2004048722.tif 000002
【特許請求の範囲】
【請求項１】
画像データ記憶手段に記憶され各画素の画像状態が第１のデータ形式を有する画素データによって表される第１の画像を読み出した後、該第１の画像の各画素の画素データを表示のためのデータ形式に変換して出力する画像制御装置において、
各画素の画像状態が第２のデータ形式を有する画素データによって表される撮像された画像である第２の画像について、該第２の画像の各画素の画素データを前記画像データ記憶手段に前記第１の画像と混在させて記憶させる撮像画像記憶制御手段と、
前記第１のデータ形式を有する画素データを前記表示のためのデータ形式に変換する第１の画素データ変換手段と、
前記第２のデータ形式を有する画素データを前記表示のためのデータ形式に変換する第２の画素データ変換手段と、
前記画像データ記憶手段から読み出される画素データのデータ形式が前記第１又は第２のデータ形式の何れであるかを示すデータ形式識別手段と、
前記画像データ記憶手段に記憶されている画像を読み出した後、該読み出された画像の各画素を構成する画素データのデータ形式が前記データ形式識別手段によって前記第１のデータ形式であると識別された場合には、前記第１の画素データ変換手段に前記読み出された画素データを前記表示のためのデータ形式に変換させて出力し、前記読み出された画像の各画素を構成する画素データのデータ形式が前記データ形式識別手段によって前記第２のデータ形式であると識別された場合には、前記第２の画素データ変換手段に前記読み出された画素データを前記表示のためのデータ形式に変換させて出力する画像出力制御手段と、
を有することを特徴とする画像制御装置。
【請求項２】
前記第１のデータ形式は、各画素の色を赤（Ｒ）、緑（Ｇ）、青（Ｂ）を特定するコードによって表現する形式であることを特徴とする請求項１記載の画像制御装置。
【請求項３】
前記第２のデータ形式は、各画素の色を輝度信号Ｙと色差信号Ｒ−Ｙ及びＢ−Ｙによって表現する形式であることを特徴とする請求項１記載の画像制御装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、ユーザの操作に反応してテレビや液晶表示装置などの表示画面上の画像が変化するテレビゲームなどの画像制御装置に関する。
【０００２】
【従来の技術及び発明が解決しようとする課題】
従来のテレビゲームなどにおいて、テレビや液晶ディスプレイなどの表示画面に表示される画像は、コンピュータグラフィックス（ＣＧ）などの、予めシステムによって提供されている画像である。
【０００３】
しかし、このような画像表示方式が例えばスポーツゲームなどに適用された場合には、ユーザは、実際にプレーをしている実感に乏しいゲームしか期待できないという問題点を有している。
【０００４】
特に、近年では、よりリアルなプレーを行えるようにするために、ユーザの動作を小型のカメラで撮像することにより得られる画像データに基づいて、テレビや液晶表示装置などの表示画面上の画像を変化させるようにしたテレビゲームなどが提案されているが、その場合にも、画面に表示される画像はＣＧ画像などのシステムによって提供された画像だけであり、ユーザがゲームに参加しているという実感を得ることは難しいという問題点を有している。
【０００５】
本発明の課題は、現実の情景をテレビゲームなどの画像制御装置に利用することをユーザが指定可能とすることにある。
【０００６】
【課題を解決するための手段】
本発明は、画像データ記憶手段（ＶＲＡＭ１０５）に記憶され各画素の画像状態が第１のデータ形式を有する画素データによって表される第１の画像を読み出した後、その第１の画像の各画素の画素データを表示のためのデータ形式に変換して出力する画像制御装置を前提とする。ここで、第１のデータ形式は、例えば各画素の色をＲＧＢを特定するコードによって表現する形式であり、第１の画像は、例えば予めＲＯＭなどによって提供されるＣＧ画像であり、表示のためのデータ形式は、例えばデジタルＲＧＢ信号形式である。
【０００７】
上述した前提のもとで、本発明は、まず、各画素の画像状態が第２のデータ形式を有する画素データによって表される撮像された画像である第２の画像について、その第２の画像の各画素の画素データを画像データ記憶手段に第１の画像と混在させて記憶させる撮像画像記憶制御手段（８ビット色差変換回路３０６、ＶＤＰ１０４等）を有する。第２のデータ形式は、例えば画素の色を輝度信号Ｙと色差信号Ｒ−Ｙ及びＢ−Ｙによって表現する形式である。
【０００８】
次に、第１のデータ形式を有する画素データを表示のためのデータ形式に変換する第１の画素データ変換手段（ＲＧＢ輝度・色差信号処理回路４０６、カラールックアップテーブル４０７）を有する。
【０００９】
また、第２のデータ形式を有する画素データを表示のためのデータ形式に変換する第２の画素データ変換手段（Ｒ−Ｙテーブル５０１、Ｂ−Ｙテーブル５０２、ＲＧＢ変換ロジック５０３）を有する。
【００１０】
更に、画像データ記憶手段から読み出される画素データのデータ形式が第１又は第２のデータ形式の何れであるかを示すデータ形式識別手段（コード／輝度・色差信号識別フラグ、表示コントロールレジスタ）を有する。
【００１１】
そして、画像データ記憶手段に記憶されている画像を読み出した後、その読み出された画像の各画素を構成する画素データのデータ形式がデータ形式識別手段によって第１のデータ形式であると識別された場合には、第１の画素データ変換手段に読み出された画素データを表示のためのデータ形式に変換させて出力し、読み出された画像の各画素を構成する画素データのデータ形式がデータ形式識別手段によって第２のデータ形式であると識別された場合には、第２の画素データ変換手段に読み出された画素データを表示のためのデータ形式に変換させて出力する画像出力制御手段（ＲＧＢ輝度・色差信号処理回路４０６）を有する。
【００１２】
【作用】
本発明では、撮像された第２の画像（実画像）を表示画像の一部として利用できると共に、その第２の画像とシステムが提供する第１の画像（ＣＧ画像等）を画像データ記憶手段に混在させて記憶させることができる。
【００１３】
そして、第１の画像及び第２の画像が画像出力制御手段によって画像データ記憶手段から読み出される場合に、各画素データのデータ形式がデータ形式識別手段によって判定されることにより、各画素データのデータ形式が第１又は第２の画素データ変換手段によって適切に表示のためのデータ形式に変換される。
【００１４】
【実施例】
以下、図面を参照しながら本発明の実施例につき詳細に説明する。
本実施例は、ＣＣＤカメラによって撮像された実画像を表示画像の一部として利用できると共に、実画像とシステムが提供するＣＧ画像を同じメモリ領域に記憶させることができ、実画像とシステムが提供するＣＧ画像を混在させて表示できることが特徴である。
【００１５】
図１は、本発明の実施例の全体構成図である。
まず、情景を撮像するカメラであるＣＣＤ１０１から出力されるＣＣＤ出力信号１１２は、ビデオ信号入出力回路１０２に入力される。
【００１６】
ビデオ信号入出力回路１０２は、ＣＣＤ出力信号１１２をデジタルコンポジットビデオ入力信号１１３に変換する動作、ビデオ信号変換回路１０３からのデジタルコンポジットビデオ出力信号１１６をアナログコンポジットビデオ出力信号１１７に変換する動作を行う。
【００１７】
ビデオ信号入出力回路１０２の構成を図２に示す。
図２において、ＣＣＤ１０１（図１）からのＣＣＤ出力信号１１２は、サンプリング回路２０１によりアナログ的にサンプリングされる。
【００１８】
サンプリング回路２０１の出力は、自動利得調整回路（ＡＧＣ）２０２によって、その振幅レベルが調整される。
ＡＧＣ２０２の出力は、γ補正回路２０３によって、光のパワーに対する信号レベルが所定のγ特性になるように変換される。
【００１９】
γ補正回路２０３の出力は、８ビットＡ／Ｄ変換器２０４によって、８ビットのデジタルコンポジットビデオ入力信号１１３に変換される。このデジタルコンポジットビデオ入力信号１１３は、図１のビデオ信号変換回路１０３に出力される。
【００２０】
一方、図１のビデオ信号変換回路１０３から出力される８ビットのデジタルコンポジットビデオ出力信号１１６は、８ビットＤ／Ａ変換器２０５により、アナログコンポジットビデオ出力信号１１７に変換される。このアナログコンポジットビデオ出力信号１１７は、図１の表示装置１０３に出力される。この結果、表示装置１０３は、アナログコンポジットビデオ出力信号１１７に対応する画像を表示する。
【００２１】
図１に戻り、ビデオ信号変換回路１０３は、デジタルコンポジットビデオ入力信号１１３から輝度・色差信号１１４を生成しそれをビデオディスプレイプロセッサ（ＶＤＰ）１０４へ出力する動作、ＣＰＵ１０６からのスーパーインポーズ信号１１８に基づき、ビデオ信号入出力回路１０２から入力されるデジタルコンポジットビデオ入力信号１１３に対応する色信号又はＶＤＰ１０４から出力されるデジタルＲＧＢ信号１１５の何かを選択し、選択された色信号に対応するデジタルコンポジットビデオ出力信号１１６を出力する動作を行う。
【００２２】
ビデオ信号変換回路１０３の構成を図３に示す。
色分離フィルター３０１は、ビデオ信号入出力回路１０２（図１）から入力されるデジタルコンポジットビデオ入力信号１１３を入力し、その信号に対応するＧ（グリーン）信号、Ｃｙ（シアン）信号、及びＹｅ（イエロー）信号の３種類の色信号を出力する。
【００２３】
輪郭補正回路３０２は、上述の３種類の色信号を入力し、これらの色信号によって決定される画像の輪郭を補正する。
輪郭補正回路３０２の出力のうち、Ｇ（グリーン）信号以外の信号は、ホワイトバランス回路３０３に入力される。ホワイトバランス回路３０３は、入力信号に対してホワイトバランスの調整を行う。
【００２４】
ホワイトバランス回路３０３の出力は、選択フィルター３０４に入力される。選択フィルター３０４は、入力に対応するＲ（レッド）信号及びＢ（ブルー）信号を出力する。
【００２５】
マトリクス回路３０５は、上述のＲ（レッド）信号、Ｂ（ブルー）信号と、輪郭補正回路３０２から出力されるＧ（グリーン）信号を入力し、これらに対し、次式で示される変換に対応する演算を実行することにより、それぞれ８ビットからなる輝度信号Ｙ、並びに、色差信号Ｒ−Ｙ及びＢ−Ｙを出力する。
【００２６】
【数１】
Ｙ＝　（　８／２７）Ｒ＋（１６／２７）Ｇ＋（　１／９）Ｂ
Ｒ−Ｙ＝　（１５／２７）Ｒ−（１６／２７）Ｇ−（　１／９）Ｂ
Ｂ−Ｙ＝−（　８／２７）Ｒ−（１６／２７）Ｇ＋（　８／９）Ｂ
８ビット色差変換回路３０６は、それぞれ８ビットからなる上記輝度信号Ｙ、並びに、色差信号Ｒ−Ｙ及びＢ−Ｙを、４ビットの輝度信号Ｙ、並びに、それぞれ２ビットの色差信号Ｒ−Ｙ及びＢ−Ｙに変換し、それらを輝度・色差信号１１４として図１のＶＤＰ１０４に出力する。
【００２７】
より具体的には、８ビット色差変換回路３０６は、８ビットの輝度信号Ｙの下位４ビットを切り捨てることにより、４ビットの輝度信号Ｙを生成する。
また、８ビット色差変換回路３０６は、８ビットの色差信号Ｒ−Ｙの値が、図６に示されるＲ−Ｙ座標軸上で、３つの閾値Ｒ−Ｙｌｏｗ　、Ｒ−Ｙｍｉｄ　、及びＲ−Ｙｈｉｇｈによって仕切られる４つの範囲のうちのどの範囲に含まれるかを判定することにより、その判定した範囲を示す２ビット（２２　＝４通り）の色差信号Ｒ−Ｙを生成する。
【００２８】
更に、８ビット色差変換回路３０６は、色差信号Ｂ−Ｙについても同様に、８ビットの色差信号Ｂ−Ｙの値が、図６に示されるＢ−Ｙ座標軸上で、３つの閾値Ｂ−Ｙｌｏｗ　、Ｂ−Ｙｍｉｄ　、及びＢ−Ｙｈｉｇｈによって仕切られる４つの範囲のうちのどの範囲に含まれるかを判定することにより、その判定した範囲を示す２ビットの色差信号Ｂ−Ｙを生成する。
【００２９】
本実施例では、後述するように、この８ビット色差変換回路３０６が出力する輝度・色差信号１１４によって表される実画像を、表示画像を構成するバックグランドデータ又はオブジェクトデータとして利用することができ、システムが提供するオブジェクトデータ等と混在させて表示できることが特徴である。
【００３０】
なお、後述するように、図６に示される各閾値は、ＣＰＵ１０６から変更可能である。
次に、マトリクス回路３０８は、ＶＤＰ１０４からのデジタルＲＧＢ信号１１５を入力し、それらに対応するそれぞれ８ビットからなる輝度信号Ｙと、色差信号Ｒ−Ｙ及びＢ−Ｙを出力する。
【００３１】
選択回路３０７は、ＣＰＵ１０６（図１）からのスーパーインポーズ信号１１８に基づき、マトリクス回路３０５又は３０８の何れかの出力を選択し、変調回路３０９へ出力する。変調回路３０９は、入力に対応するデジタルコンポジットビデオ出力信号１１６を生成し出力する。このスーパーインポーズ信号１１８を制御することにより、カメラ１０２の撮像結果に基づいて生成されるデジタルコンポジットビデオ入力信号１１３に対応する実画像とＶＤＰ１０４によって生成される表示画像を切り替えて、表示装置１０３に表示させることができる。
【００３２】
図１に戻り、ビデオディスプレイプロセッサ（ＶＤＰ）１０４は、ＣＰＵ１０６からの指定に基づいて、表示画像を構成するオブジェクトデータ及びバックグランドデータをＶＲＡＭ１０５に随時記憶させ、ＣＰＵ１０６からの指定に基づいて、それらのデータを指定された座標位置に配置し、その配置結果に対応するデジタルＲＧＢ信号１１５を生成して、ビデオ信号変換回路１０３へ出力する。この場合特に、ＶＤＰ１０４は、ビデオ信号変換回路１０３内の８ビット色差変換回路３０６（図３）から出力される輝度・色差信号１１４によって表される実画像を、バックグランドデータとしてＶＲＡＭ１０５に随時記憶させ、それに基づいてバックグランドの表示画像を構成するデジタルＲＧＢ信号１１５を生成することができる。更に、ＶＤＰ１０４は、バックグランドデータとして取り込んだ上述の輝度・色差信号１１４によって表される実画像の一部を、バス１１１を介してＲＡＭ１０８に転送することができ、この結果、ＣＰＵ１０６は、そのデータに基づいてオブジェクトデータを生成することができる。これが本発明に関連する大きな特徴である。
【００３３】
上述の動作の結果、ビデオ信号変換回路１０３は、前述したように、このデジタルＲＧＢ信号１１５に対応するデジタルコンポジットビデオ出力信号１１６を生成し、ビデオ信号入出力回路１０２が、そのデジタルコンポジットビデオ出力信号１１６に対応するアナログコンポジットビデオ出力信号１１７を生成することにより、表示装置１０３（図１）に表示画像が表示されることになる。
【００３４】
ＶＤＰ１０４の構成を図４に示す。
ＲＯＭ１０７又はＲＡＭ１０８からバス１１１上を転送されてくるオブジェクトデータ、及びＲＯＭ１０７から転送されてくるバックグランドデータは、ＣＰＵインタフェース回路４０１及びＶＲＡＭコントロール回路４０２を介して、ＶＲＡＭ１０５（図１）のオブジェクトデータ領域及びバックグランドデータ領域に記憶される。
【００３５】
ＶＲＡＭ１０５に記憶されるデータの構成を図７に示す。
ＶＲＡＭ１０５は、１２８Ｋ（キロ）バイトのメモリ容量を有する。
そして、まず、アドレス０００００Ｈ〜０ＦＤ１ＦＨのバックグランドデータ領域（Ａ面）には、表示装置１０３（図１）に表示画像として表示される、１ドット（画素）あたり１バイトで、図８（ａ）　に示されるように水平方向３００ドット×垂直方向２１６ドットからなる１画面（６４Ｋバイト）分のバックグランドデータが記憶される。ここで、“Ｈ”は、それが付加された数が１６進数であることを示す（以下同じ）。
【００３６】
次に、アドレス１００００Ｈ〜１ＦＦＦＦＨのオブジェクトデータ領域には、表示装置１０３（図１）に表示画像として表示される、１ドットあたり１バイトで、それぞれが図８（ｂ）　に示されるように、水平方向３２ドット×垂直方向３２ドットからなる１画面（１Ｋバイト）分のオブジェクトデータが、６４画面（６４Ｋバイト）分記憶される。
【００３７】
なお、アドレス１００００Ｈ〜１ＦＦＦＦＨの領域を、オブジェクトデータ領域ではなく、バックグランドデータ領域（Ｂ面）として使用することも可能である。この場合には、バックグランドデータ領域を次々に切り換えながら、ビデオ信号変換回路１０３（図１）内の８ビット色差変換回路３０６（図３）から出力される輝度・色差信号１１４によって表される実画像をバックグランドデータとして一方のバックグランドデータ領域に記憶させると共に、他方のバックグランドデータ領域に記憶されているバックグランドデータを表示装置１０３（図１）に表示画像として表示させるといった制御を行うことができる。
【００３８】
続いて、図１のＲＡＭ１０８からバス１１１上を転送されてくるオブジェクトテーブルデータは、図４のＣＰＵインタフェース回路４０１及びオブジェクトコントロール回路４０３を介して、ＶＤＰ１０４内の特には図示しないＲＡＭのオブジェクトテーブル４０４に記憶される。このＲＡＭ内でのオブジェクトテーブル４０４の配置を図９に示す。オブジェクトテーブル４０４は、ＲＡＭ内のアドレス２０２００Ｈ〜２０２ＦＥＨの２５６バイトの記憶領域に記憶される。
【００３９】
このオブジェクトテーブルデータは、図１０に示されるように、ＶＲＡＭ１０５に記憶されている最大で６４画面分のオブジェクトデータ（図７参照）のそれぞれについて４バイトのデータから構成され、それぞれのデータには、各オブジェクトデータを識別するためのオブジェクトデータ番号、各オブジェクトデータの表示位置を示すＸ座標データとＹ座標データ、及びそのオブジェクトデータがＣＧ画像を示す通常のコードであるか実画像を示す輝度・色差信号であるかを識別するためのコード／輝度・色差信号識別フラグが含まれる。オブジェクトデータが、システムによって予め提供されているＣＧ画像を示す通常のコードであって、図１のＲＯＭ１０７から転送されてくる場合は、コード／輝度・色差信号識別フラグの値は、ＣＰＵ１０６によって０に設定される。一方、オブジェクトデータが、ＶＤＰ１０４からＲＡＭ１０８に転送された実画像データを示す輝度・色差信号であって、ＲＡＭ１０８から転送されてくる場合は、コード／輝度・色差信号識別フラグの値は、ＣＰＵ１０６によって１に設定される。
【００４０】
ＣＰＵ１０６は、時間経過と共に、各オブジェクトデータの表示画像上での表示位置を指定する場合、各オブジェクトデータに対応するオブジェクトデータ番号と、それぞれの表示位置を指定する。この結果、オブジェクトコントロール回路４０３は、指定されたオブジェクトデータ番号に対応するオブジェクトデータを、ＶＲＡＭコントロール回路４０２を介してＶＲＡＭ１０５から読み出し（図７参照）、それを指定された表示位置に対応するタイミングでラインバッファＲＡＭ４０８に展開した後に、その内容をＲＧＢ輝度・色差信号処理回路４０６に出力する。
【００４１】
一方、バックグランドコントロール回路４０５は、ＣＰＵ１０６から指定されたバックグランドデータを、ＲＡＭコントロール回路４０２を介してＶＲＡＭ１０５内のバックグランドデータ領域から読み出して、そのデータに対して表示位置の制御又はスクロールの制御を行った後、ＲＧＢ輝度・色差信号処理回路４０６に出力する。また、バックグランドコントロール回路４０５は、ビデオ信号変換回路１０３（図１）内の８ビット色差変換回路３０６（図３）から出力される輝度・色差信号１１４を、バックグランドデータとしてＶＲＡＭコントロール回路４０２を介してＶＲＡＭ１０５内のバックグランドデータ領域に随時記憶させる。
【００４２】
更に、ＣＰＵインタフェース回路４０１は、ＶＲＡＭ１０５内のバックグランドデータ領域にバックグランドデータとして記憶された、８ビット色差変換回路３０６（図３）から出力される輝度・色差信号１１４によって表される実画像の一部を、ユーザの指定に基づいて切り取り、それをオブジェクトデータの部品として、図１のバス１１１を介してＲＡＭ１０８に転送することができる。これを受けて図１のＣＰＵ１０６は、ＲＡＭ１０８にオブジェクトデータとして転送された実画像に対応するオブジェクトテーブルデータを生成する。この場合、ＣＰＵ１０６は、オブジェクトテーブルデータ内のコード／輝度・色差信号識別フラグ（図１０参照）として、オブジェクトデータが実画像を表す輝度・色差信号により構成されていることを示す値１を設定する。その後、ＣＰＵ１０６は、ＲＡＭ１０８にオブジェクトデータとして転送された実画像を、バス１１１からＶＤＰ１０４内の図４に示されるＣＰＵインタフェース回路４０１及びＶＲＡＭコントロール回路４０２を介して、ＶＲＡＭ１０５（図１）内のオブジェクトデータ領域（図７参照）に転送する。また、ＣＰＵ１０６は、そのオブジェクトデータに対応するオブジェクトテーブルデータを、バス１１１上からＶＤＰ１０４内の図４に示されるＣＰＵインタフェース回路４０１及びオブジェクトコントロール回路４０３を介して、ＶＤＰ１０４内の特には図示しないＲＡＭのオブジェクトテーブル４０４（図９参照）に転送する
次に、図４において、オブジェクトコントロール回路４０３が図１のＶＲＡＭ１０５内のオブジェクトデータ領域（図７参照）から読み出すオブジェクトデータ、又はバックグランドコントロール回路４０５がＶＲＡＭ１０５内のバックグランドデータ領域（図７参照）から読み出すバックグランドデータが、実画像ではないＣＧ画像を示す通常のコードである場合には、ＲＧＢ輝度・色差信号処理回路４０６は、ＶＤＰ１０４内の特には図示しないＲＡＭのカラールックアップテーブル４０７を参照することにより、オブジェクトコントロール回路４０３から指定されるオブジェクトデータ及びバックグランドコントロール回路４０５から指定されるバックグランドデータに対応するデジタルＲＧＢ信号１１５を生成し、それらをビデオ信号変換回路１０３（図１）に出力する。
【００４３】
このＲＡＭ内でのカラールックアップテーブル４０７の配置を図９に示す。カラールックアップテーブル４０７は、ＲＡＭ内のアドレス２００００Ｈ〜２０１ＦＥＨの５１２バイトの記憶領域に記憶される。このオブジェクトテーブルデータは、図１１に示されるように、オブジェクトデータ又はバックグランドデータとして指定される００Ｈ〜ＦＥＨの２５６種類のコードのそれぞれに対応して、それぞれ４ビットのＲＥＤデータ、ＧＲＥＥＮデータ、及びＢＬＵＥデータからなる計１２ビットのデジタルＲＧＢ信号１１５を２バイト、計２５６ワード＝５１２バイトのデータとして記憶している。
【００４４】
一方、オブジェクトコントロール回路４０３が図１のＶＲＡＭ１０５内のオブジェクトデータ領域（図７参照）から読み出すオブジェクトデータ、又はバックグランドコントロール回路４０５がＶＲＡＭ１０５内のバックグランドデータ領域（図７参照）から読み出すバックグランドデータが、実画像を示す輝度・色差信号である場合には、ＲＧＢ輝度・色差信号処理回路４０６は、その内部に構成されている図５に示される回路構成によって、輝度・色差信号をデジタルＲＧＢ信号１１５に変換する。
【００４５】
即ち、図５において、まず、オブジェクトデータ又はバックグランドデータの１ドット分の一部として与えられる２ビットの色差信号ＲＹ０、ＲＹ１は、ＶＤＰ１０４内の特には図示しないＲＡＭに設定される図９に示されるＲ−Ｙテーブル５０１により、４ビットの色差信号Ｒ−Ｙに変換される。Ｒ−Ｙテーブル５０１の構成例を図１２に示す。
【００４６】
また、オブジェクトデータ又はバックグランドデータの１ドット分の一部として与えられる２ビットの色差信号ＢＹ０、ＢＹ１は、ＶＤＰ１０４内の特には図示しないＲＡＭに設定される図９に示されるＢ−Ｙテーブル５０２により、４ビットの色差信号Ｂ−Ｙに変換される。Ｂ−Ｙテーブル５０２の構成は、図１２に示されるＲ−Ｙテーブル５０１の場合と同様である。Ｒ−Ｙテーブル５０１及びＢ−Ｙテーブル５０２の内容は、後述するように図１のＣＰＵ１０６からプログラム可能である。
【００４７】
ＲＧＢ変換ロジック５０３は、オブジェクトデータ又はバックグランドデータの１ドット分の一部として与えられる４ビットの輝度信号Ｙ０〜Ｙ３と、Ｒ−Ｙテーブル５０１及びＢ−Ｙテーブル５０２から出力されるそれぞれ４ビットの色差信号Ｒ−Ｙ及びＢ−Ｙを入力し、これらに対し、次式で示される変換に対応する演算を実行することにより、それぞれ４ビットのＲ（ＲＥＤ）データ、Ｇ（ＧＲＥＥＮ）データ、及びＢ（ＢＬＵＥ）データからなる計１２ビットのデジタルＲＧＢ信号１１５を出力する。
【００４８】
【数２】
Ｒ＝（Ｙ）＋（Ｒ−Ｙ）
Ｇ＝（Ｙ）−（Ｒ−Ｙ）／２−（Ｂ−Ｙ）×（３／１６）
Ｂ＝（Ｙ）＋（Ｂ−Ｙ）
以上の動作において、ＲＧＢ輝度・色差信号処理回路４０６は、図１のＶＲＡＭ１０５から読み出されるオブジェクトデータがコードであるか輝度・色差信号であるかは、そのオブジェクトデータに対応してＶＤＰ１０４内の特には図示しないＲＡＭのオブジェクトテーブル４０４（図９参照）に記憶されるオブジェクトテーブルデータ内のコード／輝度・色差信号識別フラグ（図１０参照）を参照することによって識別することができる。また、ＲＧＢ輝度・色差信号処理回路４０６は、ＶＲＡＭ１０５から読み出されるバックグランドデータがコードであるか輝度・色差信号であるかは、ＶＤＰ１０４内の特には図示しないＲＡＭに設定される図９に示される表示コントロールレジスタ９０１によって識別することができる。
【００４９】
以上のように、本実施例では、図１のビデオ信号変換回路１０３内の８ビット色差変換回路３０６（図３）が出力する輝度・色差信号１１４によって表される実画像を、図１のＲＯＭ１０７から転送されてくるＣＧ画像と混在させて、バックグランドデータ又はオブジェクトデータとしてＶＲＡＭ１０５に記憶させることができ、かつ、ＲＧＢ輝度・色差信号処理回路４０６が、表示されるべきバックグランドデータ又はオブジェクトデータがコードであるか輝度・色差信号であるかを適切に判別することによりそれらに対応するデジタルＲＧＢ信号１１５を生成することができる点が、本発明に関連する大きな特徴である。
【００５０】
なお、ＲＧＢ輝度・色差信号処理回路４０６は、表示位置毎に、オブジェクトデータとバックグランドデータのどちらを表示させるかを決定するための制御も行う。
【００５１】
図１に戻り、ＣＰＵ１０６は、ＲＯＭ１０７に記憶された制御プログラムに従って動作し、種々の画像制御処理を実行する。この場合に、ＣＰＵ１０６は、時間経過と共に、ＲＯＭ１０７から表示画像を構成するオブジェクトデータ及びバックグランドデータのコードを順次読み出し、画像表示動作における垂直ブランキング期間内に、それらのデータをバス１１１からＶＤＰ１０４を介してＶＲＡＭ１０５に転送する。
【００５２】
同時に、ＣＰＵ１０６は、時間経過と共に、ＶＲＡＭ１０５に転送した各オブジェクトデータの表示画像上での表示位置などを指定したオブジェクトテーブルデータを、ＶＤＰ１０４に対して順次指定する。
【００５３】
更に、ＣＰＵ１０６は、楽音発生装置１１０に必要なデータを順次転送することにより、楽音発生装置１１０に楽音信号の生成を行わせる。
次に、図１３〜図１６に、図１のＣＰＵ１０６がＲＯＭ１０７に記憶されている制御プログラムを実行することにより実現される動作を示す動作フローチャートの例を示す。この例では、ユーザは、スイッチ部１０９内の特には図示しないモードスイッチを操作することにより、モード１〜モード７のうちの何れかのモードを選択することができ、これに応じてＣＰＵ１０６が選択されたモードを判定して、そのモードに対応する画像制御処理を実行する。
【００５４】
まず、ステップ１３０１では、図１のＲＡＭ１０８及びＶＤＰ１０４内の特には図示しないレジスタ群などに対する初期設定が行われる。
ステップ１３０２では、図１に示されるＣＰＵ１０６からビデオ信号変換回路１０３に出力されるスーパーインポーズ信号１１８の値が０に設定される。従って、初期状態では、ビデオ信号変換回路１０３（図１）内の選択回路３０７（図３）は、マトリクス回路３０５の出力を選択し、変調回路３０９へ出力する。この結果、変調回路３０９は、カメラ１０２の撮像結果に基づいて生成されるデジタルコンポジットビデオ入力信号１１３に対応する実画像を示すデジタルコンポジットビデオ出力信号１１６を生成し出力するため、表示装置１０３（図１）にはカメラ１０２が撮像している刻々と変化する実画像が表示される。
【００５５】
次に、ユーザがスイッチ部１０９内の特には図示しないモードスイッチを操作することによりモード１を選択した場合、ステップ１３０８、１３１３、１３２８、１３３６、１３３８、及び１３４１の各処理での判定がＮＯとなり、ステップ１３０３の判定がＹＥＳとなることによって、ステップ１３０４〜ステップ１３０７の処理が実行される。このモード１では、カメラ１０２が撮像した実画像を、バックグランドデータとして利用するために取り込む処理が実行される。
【００５６】
まず、ステップ１３０４では、ユーザがスイッチ部１０９内の特には図示しないセットスイッチをオンしたか否かが判定される。
ユーザがセットスイッチをオンせずステップ１３０４の判定がＮＯなら、ステップ１３０３に戻り、ステップ１３０３とステップ１３０４の処理が繰り返される。
【００５７】
ユーザがセットスイッチをオンしステップ１３０４の判定がＹＥＳとなると、ステップ１３０５で、ＣＰＵ１０６からバス１１１を介してＶＤＰ１０４内の特には図示しないコマンドレジスタに向けて、ＶＲＡＭ１０５のバックグランドデータ領域に実画像を示す輝度・色差信号１１４を記憶させるための命令が送出される。その後、ステップ１３０６により、ＶＤＰ１０４から処理終了を示す信号が送出されるまで、ＣＰＵ１０６は待機状態となる。
【００５８】
この命令に対して、ＶＤＰ１０４内のバックグランドコントロール回路４０５（図４）は、ビデオ信号変換回路１０３（図１）内の８ビット色差変換回路３０６（図３）から出力される輝度・色差信号１１４を、バックグランドデータとしてＶＲＡＭコントロール回路４０２を介してＶＲＡＭ１０５内のバックグランドデータ領域に随時記憶させる。このバックグランドデータ領域は、通常は図７に示されるアドレス０００００Ｈ〜０ＦＤ１ＦＨのバックグランドデータ領域（Ａ面）であるが、オブジェクトデータ領域と排他的に使用されるアドレス１００００Ｈ〜１ＦＦＦＦＨのバックグランドデータ領域（Ｂ面）であってもよい。これは、ユーザがスイッチ部１０９内の特には図示しないスイッチによって選択できる。但し、Ｂ面が選択された場合には、オブジェクトデータの表示は行うことはできない。
【００５９】
輝度・色差信号１１４により示される１画面分の実画像がＶＲＡＭ１０５のバックグランドデータ領域に取り込まれると、ＶＤＰ１０４はＣＰＵ１０６に処理終了を示す信号を送出する。
【００６０】
この結果、図１３のステップ１３０６の判定がＹＥＳとなり、続くステップ１３０７で、図１に示されるＣＰＵ１０６からビデオ信号変換回路１０３に出力されるスーパーインポーズ信号１１８の値が１に設定される。従って、ビデオ信号変換回路１０３（図１）内の選択回路３０７（図３）は、マトリクス回路３０８の出力を選択し、変調回路３０９へ出力する。この結果、変調回路３０９は、ＶＲＡＭ１０５からＶＤＰ１０４内の図４に示されるＶＲＡＭコントロール回路４０２、バックグランドコントロール回路４０５、及びＲＧＢ輝度・色差信号処理回路４０６を介してビデオ信号変換回路１０３に出力されるデジタルＲＧＢ信号１１５に対応するデジタルコンポジットビデオ出力信号１１６を生成し出力するため、表示装置１０３（図１）にはステップ１３０５の処理によってＶＲＡＭ１０５に取り込まれた静止実画像が背景画像として表示されることになる。
【００６１】
その後、ステップ１３０３に戻り、ステップ１３０３とステップ１３０４の処理が繰り返される。
次に、ユーザがスイッチ部１０９内の特には図示しないモードスイッチを操作することによりモード２を選択した場合、ステップ１３０３、１３１３、１３２８、１３３６、１３３８、及び１３４１の各処理での判定がＮＯとなり、ステップ１３０８の判定がＹＥＳとなることによって、ステップ１３０９〜ステップ１３１２の処理が実行される。このモード２では、上述したモード１での処理によりＶＲＡＭ１０５内のバックグランドデータ領域にバックグランドデータとして記憶された実画像の一部を、オブジェクトデータの部品として、図１のＲＡＭ１０８に転送するための処理が実行される。
【００６２】
まず、ステップ１３０９では、図１に示されるＣＰＵ１０６からビデオ信号変換回路１０３に出力されるスーパーインポーズ信号１１８の値が１に設定される。従って、ビデオ信号変換回路１０３（図１）内の選択回路３０７（図３）は、マトリクス回路３０８の出力を選択し、変調回路３０９へ出力する。この結果、変調回路３０９は、ＶＲＡＭ１０５からＶＤＰ１０４内の図４に示されるＶＲＡＭコントロール回路４０２、バックグランドコントロール回路４０５、及びＲＧＢ輝度・色差信号処理回路４０６を介してビデオ信号変換回路１０３に出力されるデジタルＲＧＢ信号１１５に対応するデジタルコンポジットビデオ出力信号１１６を生成し出力するため、表示装置１０３（図１）にはステップ１３０５の処理によってＶＲＡＭ１０５に取り込まれている静止背景画像が表示される。この静止背景画像は、ＣＧ画像であってもよいが、実質的に有用なのは、前述したモード１での処理により取り込まれた実画像である。
【００６３】
ステップ１３１０においては、ユーザに、スイッチ部１０９内のスイッチ、カーソルキー又はマウスなどを使用させて、ステップ１３０９の処理によって表示装置１０３に表示されている静止背景画像の一部の範囲を指定させる処理が実行される。
【００６４】
そして、ユーザがスイッチ部１０９内の特には図示しないセットスイッチをオンするまで、ステップ１３０８〜ステップ１３１１の処理が、繰り返し実行される。
【００６５】
ユーザが特には図示しないセットスイッチをオンすることによりステップ１３１１の判定がＹＥＳとなると、ステップ１３１２で、ＶＲＡＭ１０５内のバックグランドデータ領域に記憶されているバックグランドデータのうちその時点でユーザにより指定されている範囲のデータが、ＶＤＰ１０４内の図４に示されるＶＲＡＭコントロール回路４０２、ＣＰＵインタフェース回路４０１、及び図１に示されるバス１１１を介して、ＲＡＭ１０８にオブジェクトデータの部品としてＤＭＡ転送される。
【００６６】
その後、ステップ１３０８に戻り、ステップ１３０８以降の処理が繰り返される。
次に、ユーザがスイッチ部１０９内の特には図示しないモードスイッチを操作することによりモード３を選択した場合、ステップ１３０３、１３０８、１３２８、１３３６、１３３８、及び１３４１の各処理での判定がＮＯとなり、ステップ１３１３の判定がＹＥＳとなることにより、ステップ１３１４〜ステップ１３２７の処理が実行される。このモード３では、図１の楽音発生装置１１０での楽曲の進行に同期して、全音符に対応する時間が経過する毎に、各経過時点においてカメラ１０２によって撮像されている実画像を背景画像として表示装置１０３に表示させるための処理が実行される。
【００６７】
なお、このモードでは、図７で示されるＶＲＡＭ１０５の記憶領域において、アドレス０００００Ｈ〜０ＦＤ１ＦＨの領域がＡ面のバックグランドデータ領域として使用されると共に、アドレス１００００Ｈ〜１ＦＦＦＦＨの領域がＢ面のバックグランドデータ領域として使用される。そして、全音符に対応する時間が経過する毎に、２つのバックグランドデータ領域が次々に切り換えられながら、ビデオ信号変換回路１０３（図１）内の８ビット色差変換回路３０６（図３）から出力される輝度・色差信号１１４により表される実画像がバックグランドデータとして一方のバックグランドデータ領域に取り込まれると共に、他方のバックグランドデータ領域に取り込まれたバックグランドデータが表示装置１０３（図１）に表示画像として表示される。
【００６８】
まず、ユーザがスイッチ部１０９内の特には図示しないスタートスイッチをオンするまでは、ステップ１３１４の判定がＮＯ→ステップ１３１５の判定がＮＯ→ステップ１３１３の判定がＹＥＳというという処理ループが繰り返される。なお、フラグＳＴＦの値は、ステップ１３０１の処理において０に初期化されている。
【００６９】
ユーザが特には図示しないスタートスイッチをオンしステップ１３１４の判定がＹＥＳとなると、まず、ステップ１３１６で、フラグＳＴＦの値が１に設定される。
【００７０】
次に、ステップ１３１７で、ＲＡＭ１０８内のカウンタＣの値が０にリセットされる。
更に、ステップ１３１８で、図１に示されるＣＰＵ１０６からビデオ信号変換回路１０３に出力されるスーパーインポーズ信号１１８の値が１に設定される。従って、ビデオ信号変換回路１０３（図１）内の選択回路３０７（図３）は、マトリクス回路３０８の出力を選択し、変調回路３０９へ出力する。この結果、変調回路３０９は、ＶＲＡＭ１０５からＶＤＰ１０４内の図４に示されるＶＲＡＭコントロール回路４０２、バックグランドコントロール回路４０５、及びＲＧＢ輝度・色差信号処理回路４０６を介してビデオ信号変換回路１０３に出力されるデジタルＲＧＢ信号１１５に対応するデジタルコンポジットビデオ出力信号１１６を生成し出力するため、表示装置１０３（図１）にはＶＲＡＭ１０５内のＡ面又はＢ面のうちの一方のバックグランドデータ領域に予め記憶されているバックグランドデータに対応する静止背景画像が表示される。
【００７１】
その後、ユーザがスイッチ部１０９内の特には図示しないストップスイッチをオンするまでは、ステップ１３１９の判定がＮＯとなり、更に、特には図示しないタイマーによって９６分音符に対応する時間の経過が計時されるまでは、ステップ１３２１の判定がＮＯとなって、ステップ１３１３→１３１４→１３１５→１３１９→１３２１という処理ループが繰り返される。
【００７２】
特には図示しないタイマーによって９６分音符に対応する時間の経過が計時されステップ１３２１の判定がＹＥＳとなると、ステップ１３２２でカウンタＣの値が＋１される。その後、カウンタＣの値が９６に達するまで、ステップ１３２３の判定がＮＯとなって、ステップ１３１３→１３１４→１３１５→１３１９→１３２１という処理ループの繰り返され、更に、その処理ループの外側のステップ１３２１→１３２２→１３２３→１３１３→１３１４→１３１５→１３１９→１３２１→１３２２という処理ループが繰り返される。
【００７３】
そして、特には図示しないタイマーによって９６分音符に対応する時間の経過が９６回計時され、全音符分の時間が経過してステップ１３２３の判定がＹＥＳとなると、まず、ステップ１３２４で、カウンタＣの値が０に戻される。
【００７４】
次に、ステップ１３２５で、ＣＰＵ１０６からバス１１１を介してＶＤＰ１０４内の特には図示しないコマンドレジスタに向けて、ＶＲＡＭ１０５内のバックグランドデータ領域に実画像を示す輝度・色差信号１１４を記憶させるための命令が送出される。その後、ステップ１３２６により、ＶＤＰ１０４から処理終了を示す信号が送出されるまで、ＣＰＵ１０６は待機状態となる。
【００７５】
この命令に対して、ＶＤＰ１０４内のバックグランドコントロール回路４０５（図４）は、ビデオ信号変換回路１０３（図１）内の８ビット色差変換回路３０６（図３）から出力される輝度・色差信号１１４を、バックグランドデータとして、ＶＲＡＭコントロール回路４０２を介してＶＲＡＭ１０５内の、現在、表示装置１０３（図１）へのバックグランドデータの出力が行われているＶＲＡＭ１０５内のバックグランドデータ領域とは異なるバックグランドデータ領域に、随時記憶させる。２つのバックグランドデータ領域のうちのどちらの領域のバックグランドデータをビデオ信号変換回路１０３に出力し、どちらの領域に新たな実画像をバックグランドデータとして表示させるかは、ＣＰＵ１０６からＶＤＰ１０４内の特には図示しないレジスタに設定されている（後述するステップ１３２７参照）。従って、バックグランドコントロール回路４０５は、このレジスタの値を参照することによって、記憶動作を行うバックグランドデータ領域を決定する。
【００７６】
輝度・色差信号１１４により示される１画面分の実画像がＶＲＡＭ１０５の、現在、表示装置１０３（図１）へのバックグランドデータの出力が行われているＶＲＡＭ１０５内のバックグランドデータ領域とは異なるバックグランドデータ領域に取り込まれると、ＶＤＰ１０４はＣＰＵ１０６に処理終了を示す信号を送出する。
【００７７】
この結果、図１３のステップ１３２６の判定がＹＥＳとなり、続くステップ１３２７で、ＣＰＵ１０６からＶＤＰ１０４に対して、上述したバックグランドデータ領域切替用のレジスタの内容を反転させるための切替信号が送出される。この結果、同レジスタの内容が反転され、表示動作及び記憶動作の対象となるバックグランドデータ領域が交換される。
【００７８】
その後、ステップ１３１３の処理に戻り、ステップ１３１３以降の処理が繰り返される。
以上のようにして、全音符に対応する時間が経過する毎に、２つのバックグランドデータ領域が次々に切り換えられながら、カメラ１０２によって撮像されている実画像がバックグランドデータとして一方のバックグランドデータ領域に取り込まれると共に、他方のバックグランドデータ領域に取り込まれたバックグランドデータが表示装置１０３（図１）に表示画像として表示される。即ち、全音符に対応する時間の経過に同期して、いわゆるストロボモーション的に、実画像を背景画像として表示させてゆくことができる。
【００７９】
次に、ユーザがスイッチ部１０９内の特には図示しないモードスイッチを操作することによりモード４を選択した場合、ステップ１３０３、１３０８、１３１３、１３３６、１３３８、及び１３４１の各処理での判定がＮＯとなり、ステップ１３２８の判定がＹＥＳとなることによって、ステップ１３２９〜ステップ１３３５の処理が実行される。このモード４では、ＲＯＭ１０７に予め記憶されているバックグランドデータと、前述したモード２によってＲＡＭ１０８に転送された実画像によって構成されるオブジェクトデータを、ＶＲＡＭ１０５に転送するための処理と、ユーザのスイッチ操作に応じて実画像によって構成されるオブジェクトデータの表示位置を変化させるための処理が実行される。
【００８０】
まず、ステップ１３２９では、モード４の実行が開始された初期状態であるか否かが判定される。このステップ１３２９は、モード４の開始時に値１に設定されており開始後に値０に設定されるようなＲＡＭ１０８内の特には図示しないフラグの値を判定する処理として実現できる。
【００８１】
モード４の実行が開始された直後はこの判定がＹＥＳとなる。
続いて、ステップ１３３０では、ＲＯＭ１０７内のバックグランドデータが、バス１１１からＶＤＰ１０４内の図４に示されるＣＰＵインタフェース回路４０１及びＶＲＡＭコントロール回路４０２を介して、ＶＲＡＭ１０５内のバックグランドデータ領域（図７参照）にＤＭＡ転送される。
【００８２】
ステップ１３３１では、前述したモード２の動作によってＲＡＭ１０８に転送されている実画像によって構成されるオブジェクトデータが、バス１１１からＶＤＰ１０４内の図４に示されるＣＰＵインタフェース回路４０１及びＶＲＡＭコントロール回路４０２を介して、ＶＲＡＭ１０５内の所定のオブジェクトデータ領域（図７参照）にＤＭＡ転送される。
【００８３】
更に、ステップ１３３２では、上述のオブジェクトデータに対応するオブジェクトデータ番号、表示位置、及び輝度・色差信号を示すコード／輝度・色差信号識別フラグ（図１０参照）が設定されたオブジェクトテーブルデータが、バス１１１からＶＤＰ１０４内の図４に示されるＣＰＵインタフェース回路４０１及びオブジェクトコントロール回路４０３を介して、ＶＤＰ１０４内の特には図示しないＲＡＭのオブジェクトテーブル４０４（図９参照）にＤＭＡ転送される。
【００８４】
その後、ステップ１３３３で、図１に示されるＣＰＵ１０６からビデオ信号変換回路１０３に出力されるスーパーインポーズ信号１１８の値が１に設定される。従って、ビデオ信号変換回路１０３（図１）内の選択回路３０７（図３）は、マトリクス回路３０８の出力を選択し、変調回路３０９へ出力する。この結果、変調回路３０９は、ＶＲＡＭ１０５からＶＤＰ１０４内の図４に示されるＶＲＡＭコントロール回路４０２、バックグランドコントロール回路４０５、及びＲＧＢ輝度・色差信号処理回路４０６を介してビデオ信号変換回路１０３に出力されるデジタルＲＧＢ信号１１５に対応するデジタルコンポジットビデオ出力信号１１６を生成し出力するため、表示装置１０３（図１）には、実画像によって構成されるオブジェクトデータに対応するオブジェクト画像と、所定のバックグランドデータに対応する背景画像が表示されることになる。
【００８５】
更に続いて、ステップ１３３４では、ユーザがスイッチ部１０９内の特には図示しない所定のスイッチをオンしたか否かが判定される。
このスイッチがオンされておらずステップ１３３４の判定がＮＯならば、ステップ１３２８に戻る。そして、ステップ１３２８及び１３２９の判定が共にＮＯとなり、ステップ１３３４の処理が繰り返される。
【００８６】
上述のスイッチがオンされステップ１３３４の判定がＹＥＳとなると、ステップ１３３５で、ステップ１３３１において予めＶＲＡＭ１０５に転送されている実画像によって構成されるオブジェクトデータの新たな表示位置を示すオブジェクトテーブルデータが演算され、そのオブジェクトテーブルデータが、バス１１１からＶＤＰ１０４内の図４に示されるＣＰＵインタフェース回路４０１及びオブジェクトコントロール回路４０３を介して、ＶＤＰ１０４内の特には図示しないＲＡＭのオブジェクトテーブル４０４（図９参照）にＤＭＡ転送される。この結果、表示装置１０３上での実画像によって表示されるオブジェクト画像の表示位置が変化することになる。
【００８７】
その後、ステップ１３２８の処理に戻り、ステップ１３２８及び１３２９の判定が共に再びＮＯとなって、ステップ１３３４の処理が繰り返され、ユーザによる次のスイッチオンを待つ状態となる。
【００８８】
このようにして、ユーザが所定のスイッチをオンする毎に、表示装置１０３上での実画像によって構成されるオブジェクト画像の表示位置を次々に変化させることができる。
【００８９】
次に、ユーザがスイッチ部１０９内の特には図示しないモードスイッチを操作することによりモード５を選択した場合、ステップ１３０３、１３０８、１３１３、１３２８、１３３８、及び１３４１の各処理での判定がＮＯとなり、ステップ１３３６の判定がＹＥＳとなることによって、ステップ１３３７の処理が実行される。ここでは、単に、図１に示されるＣＰＵ１０６からビデオ信号変換回路１０３に出力されるスーパーインポーズ信号１１８の値が０に設定される。従って、ビデオ信号変換回路１０３（図１）内の選択回路３０７（図３）は、マトリクス回路３０５の出力を選択し、変調回路３０９へ出力する。この結果、変調回路３０９は、カメラ１０２の撮像結果に基づいて生成されるデジタルコンポジットビデオ入力信号１１３に対応する実画像を示すデジタルコンポジットビデオ出力信号１１６を生成し出力するため、表示装置１０３（図１）にはカメラ１０２が撮像している刻々と変化する実画像が表示されることになる。
【００９０】
続いて、ユーザがスイッチ部１０９内の特には図示しないモードスイッチを操作することによりモード６を選択した場合、ステップ１３０３、１３０８、１３１３、１３２８、１３３６、及び１３４１の各処理での判定がＮＯとなり、ステップ１３３８の判定がＹＥＳとなることによって、ステップ１３３９とステップ１３４０の処理が実行される。このモード６では、図６に示される各閾値を変更するための処理が実行される。
【００９１】
まず、ステップ１３３９では、ＣＰＵ１０６からバス１１１を介してビデオ信号変換回路１０３内の８ビット色差変換回路３０６（図３）内の特には図示しないレジスタに対し、８ビットの色差信号Ｒ−Ｙを２ビットの色差信号に変換するための、図６に示されるＲ−Ｙ座標軸上の３つの閾値Ｒ−Ｙｌｏｗ　、Ｒ−Ｙｍｉｄ　、及びＲ−Ｙｈｉｇｈが設定される。
【００９２】
同様に、ステップ１３４０においては、ＣＰＵ１０６からバス１１１を介してビデオ信号変換回路１０３内の８ビット色差変換回路３０６（図３）内の特には図示しないレジスタに対し、８ビットの色差信号Ｂ−Ｙを２ビットの色差信号に変換するための、図６に示されるＢ−Ｙ座標軸上の３つの閾値Ｂ−Ｙｌｏｗ　、Ｂ−Ｙｍｉｄ　、及びＢ−Ｙｈｉｇｈが設定される。
【００９３】
この結果、バックグランドデータ又はオブジェクトデータとして取り込まれる実画像の色調を、微妙に又は大幅に変化させることができる。
最後に、ユーザがスイッチ部１０９内の特には図示しないモードスイッチを操作することによりモード７を選択した場合、ステップ１３０３、１３０８、１３１３、１３２８、１３３６、及び１３３８の各処理での判定がＮＯとなり、ステップ１３４１の判定がＹＥＳとなることにより、ステップ１３４２とステップ１３４３の処理が実行される。このモード７では、図５に示されるＲ−Ｙテーブル５０１及びＢ−Ｙテーブル５０２の内容を変更するための処理が実行される。
【００９４】
まず、ステップ１３４２では、ＣＰＵ１０６からバス１１１を介してＶＤＰ１０４内の特には図示しないＲＡＭに設定される図９に示されるＲ−Ｙテーブル５０１の内容が設定される。
【００９５】
同様に、ステップ１３４３では、ＣＰＵ１０６からバス１１１を介してＶＤＰ１０４内の特には図示しないＲＡＭに設定される図９に示されるＢ−Ｙテーブル５０２の内容が設定される。
【００９６】
この結果、ＶＤＰ１０４内の図４に示されるＲＧＢ輝度・色差信号処理回路４０６が、実画像によって構成されるバックグランドデータ又はオブジェクトデータをデジタルＲＧＢ信号１１５に変換するときの特性を変化させることができ、表示装置１０３にバックグランドデータ又はオブジェクトデータとして表示される実画像の色調を、微妙に又は大幅に変化させることができる。
【００９７】
以上説明した実施例では、ＣＰＵ１０６が実行する画像制御処理の一例について説明したが、本発明はこれに限られるものではなく、実画像によって構成されるバックグランドデータ又はオブジェクトデータを様々な形態で表示するシステムに適用することができる。
【００９８】
例えば、ＣＰＵ１０６は、バックグランドデータの一部を切り取ることによりＲＡＭ１０８に転送されたオブジェクトデータに対して、変形、鏡像化、モザイク化、ネガ化等の画像効果付加処理を行った後に、ＶＲＡＭ１０５に転送すること等もできる。
【００９９】
【発明の効果】
本発明によれば、撮像された第２の画像（実画像）を表示画像の一部として利用することが可能となると共に、その第２の画像とシステムが提供する第１の画像（ＣＧ画像等）を画像データ記憶手段に混在させて記憶させることが可能となる。
【０１００】
そして、第１の画像及び第２の画像が画像出力制御手段によって画像データ記憶手段から読み出される場合に、各画素データのデータ形式がデータ形式識別手段によって判定されることにより、各画素データのデータ形式が第１又は第２の画素データ変換手段によって適切に表示のためのデータ形式に変換することが可能となる。
【０１０１】
この結果、画像データ記憶手段を効率的に利用することが可能となると共に、ＣＧ画像等と実画像を混在させて表示させるシステムを容易に実現することが可能となる。
【図面の簡単な説明】
【図１】本発明の実施例の全体構成図である。
【図２】ビデオ信号入出力回路の構成図である。
【図３】ビデオ信号変換回路の構成図である。
【図４】ＶＤＰの構成図である。
【図５】ＲＧＢ輝度・色差信号処理回路４０６において、輝度・色差信号を処理する部分の構成図である。
【図６】色差信号の変換動作の説明図である。
【図７】ＶＲＡＭに記憶されるデータの構成図である。
【図８】表示画像サイズの説明図である。
【図９】ＶＤＰ内ＲＡＭに記憶されるデータの構成図である。
【図１０】オブジェクトテーブルデータの構成図である。
【図１１】カラールックアップテーブルの構成図である。
【図１２】Ｒ−Ｙテーブルの構成例を示した図である。
【図１３】ＣＰＵの動作フローチャートの例を示した図（その１）である。
【図１４】ＣＰＵの動作フローチャートの例を示した図（その２）である。
【図１５】ＣＰＵの動作フローチャートの例を示した図（その３）である。
【図１６】ＣＰＵの動作フローチャートの例を示した図（その４）である。
【符号の説明】
１０１　　　ＣＣＤ
１０２　　　ビデオ信号入出力回路
１０３　　　ビデオ信号変換回路
１０４　　　ＶＤＰ
１０５　　　ＶＲＡＭ
１０６　　　ＣＰＵ
１０７　　　ＲＯＭ
１０８　　　ＲＡＭ
１０９　　　スイッチ部
１１０　　　楽音発生装置
１１１　　　バス
１１２　　　ＣＣＤ出力信号
１１３　　　デジタルコンポジットビデオ入力信号
１１４　　　輝度・色差信号
１１５　　　デジタルＲＧＢ信号
１１６　　　デジタルコンポジットビデオ出力信号
１１７　　　アナログコンポジットビデオ出力信号
１１８　　　スーパーインポーズ信号
【図１】
2004048722.tif 000003
【図２】
2004048722.tif 000004
【図３】
2004048722.tif 000005
【図４】
2004048722.tif 000006
【図５】
2004048722.tif 000007
【図６】
2004048722.tif 000008
【図７】
2004048722.tif 000009
【図８】
2004048722.tif 000010
【図９】
2004048722.tif 000011
【図１０】
2004048722.tif 000012
【図１１】
2004048722.tif 000013
【図１２】
2004048722.tif 000014
【図１３】
2004048722.tif 000015
【図１４】
2004048722.tif 000016
【図１５】
2004048722.tif 000017
【図１６】
2004048722.tif 000018
【手続補正書】
【提出日】平成15年6月19日(2003.6.19)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラと、
このカメラによって撮像された画像を複数記憶する記憶手段と、
楽音発生手段と、
この楽音発生手段によって発生される楽曲の進行に同期して、前記記憶手段に記憶されている複数の画像を出力させる画像出力手段と、
を備えたことを特徴とする画像制御装置。
【請求項２】
カメラにて撮像された画像をメモリに複数記憶させるステップと、
楽音発生ステップと、
この楽音発生ステップにて発生される楽曲の進行に同期して、前記メモリに記憶されている複数の画像を出力させる画像出力ステップと、
からなることを特徴とする画像表示制御方法。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
【課題を解決するための手段】
本発明は、カメラと、このカメラによって撮像された画像を複数記憶する記憶手段と、楽音発生手段と、この楽音発生手段によって発生される楽曲の進行に同期して、前記記憶手段に記憶されている複数の画像を出力させる画像出力手段とを備える。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】削除
【補正の内容】
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】削除
【補正の内容】
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
【作用】
本発明の画像制御装置は、楽曲の進行に同期して、カメラによって撮像され、記憶されている画像を出力させる。


【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００９９
【補正方法】変更
【補正の内容】
【００９９】
【発明の効果】
本発明によれば、楽曲の進行に同期して、カメラによって撮像された複数の画像を出力させることができる。


【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０１０１
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】図面
【補正対象項目名】図４
【補正方法】変更
【補正の内容】
【図４】
2004048722.tif 000019