【手続補正書】
【提出日】平成19年3月7日(2007.3.7)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】発明の名称
【補正方法】変更
【補正の内容】
【発明の名称】画像処理方法、画像処理装置、及び、コンピュータプログラム
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】  被写体の位置・姿勢を測定し、測定された位置・姿勢を前記被写体の画像に重畳されるＣＧ（コンピュータグラフィックス）データに反映させて表示手段に表示させるための画像処理方法であって、
撮影手段により前記被写体を撮影する撮影工程と、
前記撮影手段によって撮影された前記被写体を含む実写画像と、前記撮影手段の撮影パラメータと、前記表示手段の表示パラメータとをネットワークを介して画像合成手段へ送信する送信工程と、
前記画像合成手段により、前記撮影パラメータ及び表示パラメータに基づいて、前記撮影手段の撮影視点からのＣＧ画像を作成すると共に、前記撮影手段により撮影された前記被写体を含む実写画像に前記ＣＧ画像を合成する画像合成工程と、
前記画像合成工程によって生成された前記合成画像を、前記ネットワークを介して受信する受信工程と、
前記受信工程で受信した前記合成画像を、前記表示手段に表示する制御工程とを有することを特徴とする画像処理方法。
【請求項２】  前記画像合成工程は、前記ＣＧ画像の存在可能領域を制限する禁則領域処理工程を有することを特徴とする請求項１に記載の画像処理方法。
【請求項３】  前記画像合成工程は、前記ＣＧを生成するためのシナリオ情報を管理するシナリオ管理工程を有することを特徴とする請求項１に記載の画像処理方法。
【請求項４】  前記撮影パラメータは、前記撮影手段の撮影位置、又は、撮影方向であることを特徴とする請求項１に記載の画像処理方法。
【請求項５】  前記表示パラメータは、前記表示手段の表示位置、又は、表示方向であることを特徴とする請求項１に記載の画像処理方法。
【請求項６】  被写体の位置・姿勢を測定し、測定された位置・姿勢を前記被写体の画像に重畳されるＣＧ（コンピュータグラフィックス）データに反映させて表示手段に表示させる画像処理装置であって、
撮影手段により前記被写体を撮影する撮影手段と、
前記撮影手段によって撮影された前記被写体を含む実写画像と、前記撮影手段の撮影パラメータと、前記表示手段の表示パラメータとをネットワークを介して送信する送信手段と、
前記撮影パラメータ及び表示パラメータに基づいて、前記撮影手段の撮影視点からのＣＧ画像を作成すると共に、前記撮影手段により撮影された前記被写体を含む実写画像に前記ＣＧ画像を合成する画像合成手段と、
前記画像合成手段によって生成された前記合成画像を、前記ネットワークを介して受信する受信手段と、
前記受信手段によって受信した前記合成画像を、前記表示手段に表示する表示制御手段とを有することを特徴とする画像処理装置。
【請求項７】  前記画像合成手段は、前記ＣＧ画像の存在可能領域を制限する禁則領域処理手段を有することを特徴とする請求項６に記載の画像処理装置。
【請求項８】  前記画像合成手段は、前記ＣＧを生成するためのシナリオ情報を管理するシナリオ管理手段を有することを特徴とする請求項６に記載の画像処理装置。
【請求項９】  前記表示手段は、ＨＭＤ（ヘッドマウントディスプレイ）であることを特徴とする請求項６に記載の画像処理装置。
【請求項１０】  請求項１乃至請求項５の何れか１項に記載の画像処理方法を、コンピュータで実現するためのコンピュータプログラム。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
本発明は、実写画像（映像）とＣＧ（コンピュータグラフィックス）画像（映像）とを処理する画像処理方法、画像処理装置、及び、コンピュータプログラムに関する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００５
【補正方法】変更
【補正の内容】
【０００５】
図１８において、１８０１はスタジオ、１８０３は被写体、１８０４はカメラ、１８０５はカメラ１８０４で撮影した映像、１８０６は別途作成されたＣＧ映像、又は別の場所で撮影された映像、１８０７は映像合成手段であるクロマキー、１８０８はクロマキー１８０７で合成された合成映像である。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
そして、スタジオ１８０１でのカメラ１８０４による被写体１８０３の撮影は、ブルーバック１８０２と呼ばれる青或いは緑一色の壁を背景として行われ、このブルーバック１８０２の部分に別の映像１８０６をクロマキー１８０７により合成し、その合成映像１８０８をビデオとして録画或いは放送するものである。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
本発明は、上記のような問題点に鑑みなされたもので、その目的は、高品位な画像合成処理を行って、きれいな画像を作成することが可能な画像処理方法、画像処理装置、及び、コンピュータプログラムを提供することである。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【００１５】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理方法は、被写体の位置・姿勢を測定し、測定された位置・姿勢を前記被写体の画像に重畳されるＣＧ（コンピュータグラフィックス）データに反映させて表示手段に表示させるための画像処理方法であって、撮影手段により前記被写体を撮影する撮影工程と、前記撮影手段によって撮影された前記被写体を含む実写画像と、前記撮影手段の撮影パラメータと、前記表示手段の表示パラメータとをネットワークを介して画像合成手段へ送信する送信工程と、前記画像合成手段により、前記撮影パラメータ及び表示パラメータに基づいて、前記撮影手段の撮影視点からのＣＧ画像を作成すると共に、前記撮影手段により撮影された前記被写体を含む実写画像に前記ＣＧ画像を合成する画像合成工程と、前記画像合成工程によって生成された前記合成画像を、前記ネットワークを介して受信する受信工程と、前記受信工程で受信した前記合成画像を、前記表示手段に表示する制御工程とを有する。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１６
【補正方法】変更
【補正の内容】
【００１６】
また、本発明の画像処理装置は、被写体の位置・姿勢を測定し、測定された位置・姿勢を前記被写体の画像に重畳されるＣＧ（コンピュータグラフィックス）データに反映させて表示手段に表示させる画像処理装置であって、撮影手段により前記被写体を撮影する撮影手段と、前記撮影手段によって撮影された前記被写体を含む実写画像と、前記撮影手段の撮影パラメータと、前記表示手段の表示パラメータとをネットワークを介して送信する送信手段と、前記撮影パラメータ及び表示パラメータに基づいて、前記撮影手段の撮影視点からのＣＧ画像を作成すると共に、前記撮影手段により撮影された前記被写体を含む実写画像に前記ＣＧ画像を合成する画像合成手段と、前記画像合成手段によって生成された前記合成画像を、前記ネットワークを介して受信する受信手段と、前記受信手段によって受信した前記合成画像を、前記表示手段に表示する表示制御手段とを有する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００１７
【補正方法】削除
【補正の内容】
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】００１８
【補正方法】削除
【補正の内容】
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】００１９
【補正方法】削除
【補正の内容】
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】００２０
【補正方法】削除
【補正の内容】
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】００２１
【補正方法】削除
【補正の内容】
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】００２２
【補正方法】削除
【補正の内容】
【手続補正１５】
【補正対象書類名】明細書
【補正対象項目名】００２３
【補正方法】削除
【補正の内容】
【手続補正１６】
【補正対象書類名】明細書
【補正対象項目名】００２４
【補正方法】削除
【補正の内容】
【手続補正１７】
【補正対象書類名】明細書
【補正対象項目名】００２５
【補正方法】削除
【補正の内容】
【手続補正１８】
【補正対象書類名】明細書
【補正対象項目名】００２６
【補正方法】削除
【補正の内容】
【手続補正１９】
【補正対象書類名】明細書
【補正対象項目名】００２７
【補正方法】削除
【補正の内容】
【手続補正２０】
【補正対象書類名】明細書
【補正対象項目名】００２８
【補正方法】削除
【補正の内容】
【手続補正２１】
【補正対象書類名】明細書
【補正対象項目名】００２９
【補正方法】削除
【補正の内容】
【手続補正２２】
【補正対象書類名】明細書
【補正対象項目名】００３０
【補正方法】削除
【補正の内容】
【手続補正２３】
【補正対象書類名】明細書
【補正対象項目名】００３１
【補正方法】削除
【補正の内容】
【手続補正２４】
【補正対象書類名】明細書
【補正対象項目名】００３２
【補正方法】削除
【補正の内容】
【手続補正２５】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】削除
【補正の内容】
【手続補正２６】
【補正対象書類名】明細書
【補正対象項目名】００３４
【補正方法】削除
【補正の内容】
【手続補正２７】
【補正対象書類名】明細書
【補正対象項目名】００３５
【補正方法】削除
【補正の内容】
【手続補正２８】
【補正対象書類名】明細書
【補正対象項目名】００３６
【補正方法】削除
【補正の内容】
【手続補正２９】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】削除
【補正の内容】
【手続補正３０】
【補正対象書類名】明細書
【補正対象項目名】００３８
【補正方法】削除
【補正の内容】
【手続補正３１】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】削除
【補正の内容】
【手続補正３２】
【補正対象書類名】明細書
【補正対象項目名】００４０
【補正方法】削除
【補正の内容】
【手続補正３３】
【補正対象書類名】明細書
【補正対象項目名】００４１
【補正方法】削除
【補正の内容】
【手続補正３４】
【補正対象書類名】明細書
【補正対象項目名】００４２
【補正方法】削除
【補正の内容】
【手続補正３５】
【補正対象書類名】明細書
【補正対象項目名】００４３
【補正方法】変更
【補正の内容】
【００４３】
【発明の実施の形態】
以下、本発明の一実施の形態を、図１乃至図１７に基づき説明する。
【手続補正３６】
【補正対象書類名】明細書
【補正対象項目名】００５３
【補正方法】変更
【補正の内容】
【００５３】
一方、編集スタジオ１１２において、映像重畳装置１０９での処理に対応した高品位な映像合成処理を行うため、合成映像生成に必要なデータをネットワーク１１３経由で高速処理装置１１４に送信する。この高速処理装置１１４では、より精度の高い映像合成処理を行い、出力映像を生成する。この出力映像は、ビデオ装置１１５で録画されたり、伝送装置１１６で放映されたりするのに用いられる。
【手続補正３７】
【補正対象書類名】明細書
【補正対象項目名】００５６
【補正方法】変更
【補正の内容】
【００５６】
シナリオ情報は、表示されるキャラクター毎に、表示するＣＧモデルの番号、基準となる位置・姿勢のデータ、動作の種類を示す番号、動作に付随するパラメータ等からなる。シナリオ情報は、シーン単位で管理されている。各シーンでは、キャラクターの持つパワー、状態等のステータス値とオペレータからの操作入力、演技者の動き等に応じて上述のデータの組が選択される。例えば、ランダムに選択されたキャラクターの種類とそのキャラクターのパワー値（これはゲームの進行によるポイントで加減される）により表示するＣＧモデルの番号が決定する。オペレータは、キャラクターの移動及び回転等に必要な情報を入力し、これにより基準となる位置・姿勢データが決定する。また、この際のキャラクターの位置・姿勢・ステータス値と演技者の位置・姿勢・動作とでキャラクターの動作及びそのパラメータが決定される。
【手続補正３８】
【補正対象書類名】明細書
【補正対象項目名】００９２
【補正方法】変更
【補正の内容】
【００９２】
映像生成装置１０８は、まず、位置センサー１０６から得られる最新の位置情報に頭部位置を更新する（ステップＳ７０１）。次いで、ＨＭＤ１０５のカメラから得られた画像データから特定のマーカー画像を認識することで、頭部位置の補正情報を得、これに応じて頭部の方向データを更新する（ステップＳ７０２）。最後に、得られた頭部の位置（方向を含む）データを頭部位置決定スレッドであるステップＳ６１１に受け渡す（ステップＳ７０３）。その後、前記ステップＳ７０１へ戻る。
【手続補正３９】
【補正対象書類名】明細書
【補正対象項目名】０１３１
【補正方法】変更
【補正の内容】
【０１３１】
まず、カメラ１４０１の位置情報が最新のカメラ位置に更新され（ステップＳ１５０１）、次いで、演技者（プレイヤー）１４０２の位置情報が最新のプレイヤー位置に更新される（ステップＳ１５０２）。続いて、これらの情報から領域区分直線が計算され（ステップＳ１５０３）、仮想オブジェクトの領域区分直線からの距離が計算される（ステップＳ１５０４）。この値の正負の符号で禁則領域内か否かを判断し、禁則領域内の場合には、最も近い領域外の点（これはカメラ１４０１と仮想オブジェクトとを結ぶ直線と領域区分直線の交点として計算できる）に仮想オブジェクトの位置を修正する（ステップＳ１５０５）。その後、前記ステップＳ１５０１へ戻る。
【手続補正４０】
【補正対象書類名】図面
【補正対象項目名】図１８
【補正方法】変更
【補正の内容】
【図１８】
2002271692.tif 000001