(57)【要約】【課題】仮想オブジェクトの活用範囲を拡大できる合成プログラムを提供する。【解決手段】合成プログラムがインストールされたコンピュータは、３ＤＣＧキャラクター３のうち机５と重なった箇所の透過情報「キー色（青色）にする」を仮想データ１に付加する前処理を行なう。すなわち仮想データ１のベース領域４や、３ＤＣＧキャラクター３のうち机５と重なった箇所が、クロマキー処理で青色（キー色）に塗りつぶされる。合成プログラムがインストールされたコンピュータは、このように３ＤＣＧキャラクター３の動作情報が記録された静止画の仮想データ１を多数枚作成し、時間軸に沿って例えば１秒間に３０枚の仮想データが順番に再生できるよう書き出して、実写背景画像データ２に仮想データ１を合成する。【選択図】図１
2012137956.tif 000002
【特許請求の範囲】
【請求項１】
電子計算機に、
画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記画像オブジェクトと重なった箇所の透過情報を前記仮想データに付加する前処理機能と、
該前処理機能で前処理された仮想データを背景画像データに合成する合成機能とを付与する
前記電子計算機にインストールされる合成プログラム。
【請求項２】
前記透過情報は、クロマキー処理のキー色情報、若しくは、アルファチャンネル処理のアルファ情報を含む
請求項１に記載の合成プログラム。
【請求項３】
前記合成プログラムは、前記電子計算機に、前記仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を付与する
請求項１または請求項２に記載の合成プログラム。
【請求項４】
電子計算機に、
被写体を撮影して得られると共に実写画像オブジェクトを含む実写背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記実写画像オブジェクトと重なった箇所の透過情報を前記仮想データに付与する前処理機能と、
被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能と、
前記仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能と、
前記仮想撮影手段調整機能で調整された仮想撮影手段に撮影された前記仮想オブジェクトを含むと共に前記前処理機能で透過情報を付与された仮想データを、前記グリッド配置機能で配置されたグリッドを用いて、前記実写背景画像データに合成する合成機能とを付与する
前記電子計算機にインストールされる合成プログラム。
【請求項５】
前記合成プログラムは、前記電子計算機に、時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を付与する
請求項１〜４のいずれか１つに記載の合成プログラム。
【請求項６】
前記合成プログラムは、前記電子計算機に、音声信号に対応して前記仮想オブジェクトの少なくとも一部が動くよう、前記合成機能で合成される前記仮想オブジェクトを処理する音声信号対応処理機能を付与する
請求項１〜５のいずれか１つに記載の合成プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は合成プログラムに関する。詳しくは、例えばコンピュータグラフィックス（Ｃｏｍｐｕｔｅｒ  Ｇｒａｐｈｉｃｓ＝ＣＧ）キャラクターと背景画像を合成する合成プログラムに係るものである。
【背景技術】
【０００２】
デジタル放送などの視聴者参加型番組は、一般に、視聴者がテレビ局に送ったデータが番組中に集計されるという程度のものであり、参加型といっても視聴者が、番組に参加している雰囲気をあまり味わうことができない。
【０００３】
そこで、例えば特許文献１には、テレビ番組と関連付けられた映像と、家庭の視聴者の映像とを組み合わせ、組み合わされた映像をテレビ番組の一部として家庭の視聴者に提供する方法が記載されている。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特表２００３−５１８８４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、近年では、各観光地や各テレビ局などにおいて独自のイメージキャラクターが作られるというように、キャラクターに脚光が集まっており、特にテレビ局では、番組内でもキャラクターを活かすために、キャラクターのアニメーションを行なう動きがある。
【０００６】
しかし、番組の放送画像にＣＧキャラクターを単に合成したとき、ＣＧキャラクターを移動させる際、位置によって放送画像に映っている机や障害物等の物の後ろに隠したいときがあるが、ＣＧキャラクターがいる位置、物との前後関係に関わらず、放送画像の中に映っている物（例えば机）の前にＣＧキャラクターが位置するようにしか表示できない。
【０００７】
また、マスキング（ＣＧキャラクターの隠したい部分を手作業で透明化させる処理）など所定の編集処理を施せば、机の後にＣＧキャラクターが位置するように表示することもできるが、生放送中の画像にＣＧキャラクターを合成する場合には、マスキングなどのような時間がかかる編集処理ができないので、生放送中の画像においても、机の後にＣＧキャラクターが位置するように表示できるようにして、ＣＧキャラクターを生放送中の画像と合成した時の位置関係の矛盾を無くし、ＣＧキャラクターの活用範囲を拡げることができる技術が求められていた。
【０００８】
本発明は、以上の点に鑑みて創案されたものであり、仮想オブジェクトの活用範囲を拡大できる合成プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記の目的を達成するために、本発明の合成プログラムは、電子計算機に、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記画像オブジェクトと重なった箇所の透過情報を前記仮想データに付加する前処理機能と、該前処理機能で前処理された仮想データを背景画像データに合成する合成機能とを付与する、前記電子計算機にインストールされるものである。
【００１０】
また、上記の目的を達成するために、本発明の合成プログラムは、電子計算機に、被写体を撮影して得られると共に実写画像オブジェクトを含む実写背景画像データと仮想オブジェクトを含む仮想データとを合成したときの前記仮想オブジェクトのうち前記実写画像オブジェクトと重なった箇所の透過情報を前記仮想データに付与する前処理機能と、被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能と、前記仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能と、前記仮想撮影手段調整機能で調整された仮想撮影手段に撮影された前記仮想オブジェクトを含むと共に前記前処理機能で透過情報を付与された仮想データを、前記グリッド配置機能で配置されたグリッドを用いて、前記実写背景画像データに合成する合成機能とを付与する、前記電子計算機にインストールされるものである。
【００１１】
ここで、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能によって、例えば机などの画像オブジェクトを含む背景画像データの上から、ＣＧキャラクターなどの仮想オブジェクトを含む仮想データを合成しても、ＣＧキャラクターの足が透明化されて机が透けて見えるようになるので、ＣＧキャラクターが机の後ろに立っているように見せることができ、演出効果を高めることができる。
【００１２】
また、被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能によって、仮想オブジェクトを、自然な形で実写画像データに合成することができる。
【００１３】
また、仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能によって、実写背景画像データの画像オブジェクトと仮想オブジェクトとの遠近感を合わせやすくなると共に、合成作業に要する時間を短縮できる。
【００１４】
また、本発明の合成プログラムにおいて、透過情報は、クロマキー処理のキー色情報、若しくは、アルファチャンネル処理のアルファ情報を含むこととすることができる。
【００１５】
この場合、透過情報がクロマキー処理のキー色情報を含むときは、背景画像データである生放送の映像に、前処理された仮想データを重ね合せやすくなり、また、透過情報がアルファチャンネル処理のアルファ情報を含むときは、オリジナル画像を損なわないので、オリジナル画像を残す必要がある場合などには最適である。
【００１６】
また、本発明の合成プログラムは、電子計算機に、仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を付与することとすることができる。
【００１７】
この場合、仮想オブジェクトの動作情報を画像として記録する場合よりも記録容量が少なく、長時間の記録が可能である。
【００１８】
また、本発明の合成プログラムは、電子計算機に、時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を付与することとすることができる。
【００１９】
この場合、一の仮想オブジェクトの動作と全く同じ動作を他の仮想オブジェクトに対してさせることができ、また、動画で動作情報を記録する必要がないので、動作情報の記録管理が容易である。
【００２０】
また、本発明の合成プログラムは、電子計算機に、音声信号に対応して仮想オブジェクトの少なくとも一部が動くよう、合成機能で合成される仮想オブジェクトを処理する音声信号対応処理機能を付与することとすることができる。
【００２１】
この場合、例えば、生放送において、実際の人物が発する言葉に対して、ＣＧキャラクターの声を担当する者の言葉を音声信号として認識し、その音声信号に対応して例えばＣＧキャラクターにジェスチャーを付けることができ、コントローラで指を動かして操作するよりも、操作がしやすく、また、ＣＧキャラクターが実際の人物と自然に会話しているように演出することができる。
【発明の効果】
【００２２】
本発明に係る合成プログラムは、仮想オブジェクトの活用範囲を拡大できる。
【図面の簡単な説明】
【００２３】
【図１】本発明の合成プログラムで合成される仮想データと実写背景画像データそれぞれの一例を示す概略図である。
【図２】図１の仮想データと実写背景画像データを合成して得られた合成画像データの概略図である。
【発明を実施するための形態】
【００２４】
以下、本発明の実施の形態について図面を参照しながら説明し、本発明の理解に供する。
図１は、本発明の合成プログラムで合成される仮想データと実写背景画像データそれぞれの一例を示す概略図である。
【００２５】
図１において、仮想データ１は、立体表示（３Ｄ）のＣＧキャラクター（仮想オブジェクトの一例である。）３と、不要なベース領域４からなる。
なお、仮想オブジェクトを、平面表示（２Ｄ）のＣＧキャラクターとしてもよいことは勿論である。
【００２６】
また、実写背景画像データ２は、床に置かれた机（実写画像オブジェクトの一例である。）５とその周囲を撮影して得られたものであるが、これに限定されないことは勿論である。
【００２７】
また、一連の様々な動作を示す３ＤＣＧキャラクター３がそれぞれに含まれた多数の仮想データ１を作成し、実写背景画像データ２上に順次重ね合せていくことにより、一連の動作を行なう３ＤＣＧアニメーションを表示する。
なお、図１では、概略を説明するために、大きく分けて３つの仮想データを示している。
【００２８】
また、本発明の合成プログラムがインストールされたコンピュータ（電子計算機の一例である。）は、３ＤＣＧキャラクターの動作情報を、時間軸に沿った上下左右の方向キーの入力情報として記録する。
【００２９】
図１に示す仮想データ１は、「最初に左方向キーを４秒間押し、そして下方向キーを２秒間押す」というように、時間軸に沿ったキー入力情報として３ＤＣＧキャラクター３の動作情報を記録したときの例である。
【００３０】
また、キー入力するとき、操作者は、コンピュータの画面を見ながら、３ＤＣＧキャラクターを操作する。
【００３１】
また、本発明の合成プログラムがインストールされたコンピュータは、３ＤＣＧキャラクター３のうち机５と重なった箇所の透過情報例えば「アルファ値＝０（すなわち透明）」、「アルファ値＝０．５（すなわち半透明）」、「キー色（青色）にする」を仮想データ１に付加する前処理を行なう。
【００３２】
ここでは、透過情報が、クロマキー処理のキー色情報を含む例、すなわち仮想データ１のベース領域４や、３ＤＣＧキャラクター３のうち机５と重なった箇所が、クロマキー処理で青色（キー色）に塗りつぶされた例を示す。
【００３３】
図１（ｂ）に示すように、３ＤＣＧキャラクター３のうち机５と重なった箇所すなわち３ＤＣＧキャラクター３の下半身が、クロマキー処理で青色（キー色）に塗りつぶされている。
【００３４】
また、本発明の合成プログラムがインストールされたコンピュータは、このように３ＤＣＧキャラクター３の動作情報が記録された静止画の仮想データ１を多数枚作成し、時間軸に沿って例えば１秒間に３０枚の仮想データが順番に再生できるよう書き出して、実写背景画像データ２に仮想データ１を合成する。
【００３５】
また、本発明の合成プログラムがインストールされたコンピュータが、キャラクター以外の形状データを背景画像データに合成できることは勿論である。
【００３６】
また、本発明の合成プログラムは、背景画像データである生放送の映像に、前処理された仮想データをライブで出力して合成することもできる。この場合、仮想データを、ウェブ用の動画からハイビジョン映像までの映像サイズに自由に変更することができる。
【００３７】
図２は、図１の仮想データと実写背景画像データを合成して得られた合成画像データの概略図である。
３ＤＣＧキャラクター３のうち机と重なった箇所の透過情報「キー色（青色）にする」が仮想データに付与されているので、３ＤＣＧキャラクター３が机５の画像上を横切るときは、３ＤＣＧキャラクター３のうち机５と重なった箇所が透明になる。従って、その間は、３ＤＣＧキャラクター３が机５の後ろを通っているように表示される合成画像データ６が得られる（図２（ｂ）参照。）。
【００３８】
また、前述のように時間軸に沿ったキー入力情報として動作情報が記録された３ＤＣＧキャラクター３は、図２に示されるように、画面の左方向へ４秒間移動し、そして画面の手前へ２秒間移動する、という一連の動作を示す。
【００３９】
また、図１と図２から判るように、仮想データ１のベース領域４もクロマキー処理で青色（キー色）に塗りつぶされているので、仮想データ１を実写背景画像データ２上に合成しても、仮想データ１のベース領域４が透明になり、実写背景画像データ２に含まれる窓、机、床などが表示される。
【００４０】
また、本発明の合成プログラムによって合成された合成画像データ６は、透過処理としてアルファチャンネル（あらかじめ表示させたくない箇所を透明化させる）処理ではなくクロマキー処理が施されているので、合成画像データ６を、生放送の映像に例えば字幕合成装置（テロッパー）を用いて重ねることができる。
【００４１】
また、本発明の合成プログラムは、例えばボタン操作で３ＤＣＧキャラクターのうち机と重なった箇所の透過情報を透明、若しくは、不透明に切替える機能を、コンピュータに付与するようにしてもよい。
【００４２】
また、本発明の合成プログラムは、３ＤＣＧキャラクターを仮想空間において撮影するときの３ＤＣＧキャラクター撮影用カメラ（仮想撮影手段）の例えばアングル、カメラ位置及びレンズ条件を、被写体を撮影する実写撮影用カメラのアングル、カメラ位置及びレンズ条件に合わせる仮想撮影手段調整機能を、コンピュータに付与する。
【００４３】
また、本発明の合成プログラムは、３ＤＣＧキャラクターを含む仮想データにグリッド（ＣＧ空間上に表示させて遠近感を見る為の格子）を配置するグリッド配置機能を、コンピュータに付与する。
【００４４】
また、本発明の合成プログラムは、実写画像から、３ＤＣＧキャラクター撮影用カメラの位置を自動で割り出す機能（オーグメンテッドリアリティ＝ＡＲ）をコンピュータに付与してもよい。
【００４５】
また、本発明の合成プログラムは、３ＤＣＧキャラクターが複数登録されている場合に、複数の３ＤＣＧキャラクターを同時に操作するか、単体で操作するかを切替える機能を、コンピュータに付与してもよい。
【００４６】
また、本発明の合成プログラムは、同じタイプ例えば人間タイプ同士や動物タイプ同士の３ＤＣＧキャラクターであれば、前述のように時間軸に沿ったキー入力情報として記録される一方の３ＤＣＧキャラクターの動作情報を他方の３ＤＣＧキャラクターの動作情報に割り当てる動作情報割当機能を、コンピュータに付与する。
【００４７】
また、本発明の合成プログラムは、音声信号例えば３ＤＣＧキャラクターの声を担当する者の言葉に対応して３ＤＣＧキャラクターの少なくとも一部例えば口が動くよう、合成機能で合成される３ＤＣＧキャラクターを処理する音声信号対応処理機能を、コンピュータに付与する。
【００４８】
また、予め動作情報が記録された３ＤＣＧキャラクターを動作させる例を説明したが、生放送の映像に、本発明の合成プログラムによって合成された合成画像データを重ね合せようとするとき、例えば３ＤＣＧキャラクターの声を担当する者が、動作情報を記録するときのように、画面を見ながら方向キーで３ＤＣＧキャラクターを動かし、その操作画面を出力して生放送の映像に合成することもできる。
【００４９】
また、実際に撮影した実写画像を背景画像データとして利用した例を説明したが、必ずしも実際に撮影した実写画像を背景画像データとして利用しなくてもよく、例えばＣＧで作成された背景画像データを利用してもよい。また、静止画像を背景画像データとして利用した例を説明したが、背景画像データとして動画像を利用してもよい。
【００５０】
また、透過情報として、マットオブジェクトを仮想データに付加することもできる。
【００５１】
ここで、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも透過情報はクロマキー処理のキー色情報を含まなくてもよい。
【００５２】
しかし、透過情報がクロマキー処理のキー色情報を含むときは、背景画像データである生放送の映像に、前処理された仮想データを重ね合せやすくなるので、好ましい。
【００５３】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を、電子計算機に付与しなくてもよい。
【００５４】
しかし、仮想オブジェクトの動作情報を、時間軸に沿ったキー入力情報として記録する仮想オブジェクト動作情報記録機能を付与すれば、仮想オブジェクトの動作情報を画像として記録する場合よりも記録容量が少なく、長時間の記録が可能であるので、好ましい。
【００５５】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能を、電子計算機に付与しなくてもよい。
【００５６】
しかし、被写体の撮影時の撮影手段に関する情報と合致するように、仮想オブジェクトを撮影する仮想撮影手段を調整する仮想撮影手段調整機能を付与すれば、仮想オブジェクトを、自然な形で実写画像データに合成することができるので、好ましい。
【００５７】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能を、電子計算機に付与しなくてもよい。
【００５８】
しかし、仮想オブジェクトを含む仮想データにグリッドを配置するグリッド配置機能を付与すれば、画像オブジェクトと仮想オブジェクトとの遠近感を合わせやすくなると共に、合成作業に要する時間を短縮できるので、好ましい。
【００５９】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を、電子計算機に付与しなくてもよい。
【００６０】
しかし、時間軸に沿ったキー入力情報として記録される一の仮想オブジェクトの動作情報を、他の仮想オブジェクトの動作情報に割り当てる動作情報割当機能を付与すれば、一の仮想オブジェクトの動作と全く同じ動作を他の仮想オブジェクトに対してさせることができ、また、動画で動作情報を記録する必要がないので、動作情報の記録管理が容易であり、好ましい。
【００６１】
また、本発明の合成プログラムが、画像オブジェクトを含む背景画像データと仮想オブジェクトを含む仮想データとを合成したときの仮想オブジェクトのうち画像オブジェクトと重なった箇所の透過情報を仮想データに付加する前処理機能を、電子計算機に付与するのであれば、必ずしも音声信号に対応して仮想オブジェクトの少なくとも一部が動くよう、合成機能で合成される仮想オブジェクトを処理する音声信号対応処理機能を、電子計算機に付与しなくてもよい。
【００６２】
しかし、音声信号に対応して仮想オブジェクトの少なくとも一部が動くよう、合成機能で合成される仮想オブジェクトを処理する音声信号対応処理機能を付与すれば、生放送において、実際の人物が発する言葉に対して、ＣＧキャラクターの声を担当する者の言葉を音声信号として認識し、その音声信号に対応して仮想オブジェクトの一部例えばＣＧキャラクターの口が動くので、ＣＧキャラクターにジェスチャーを付けることができ、コントローラで指を動かして操作するよりも、操作がしやすく、また、ＣＧキャラクターが実際の人物と自然に会話しているように演出することができるので、好ましい。
【００６３】
また、キー色として青色を例に挙げて説明しているが、必ずしも青色でなくてもよく、緑色など他の色をキー色として使用できることは勿論である。
【００６４】
以上のように、本発明の合成プログラムによって、３ＤＣＧキャラクターのうち机と重なった箇所の透過情報「キー色（青色）にする」を仮想データに付加する前処理が行なわれるので、机など撮影されて写っている物を含む背景画像データの上から、３ＤＣＧキャラクターなどの仮想オブジェクトを含む仮想データを合成しても、３ＤＣＧキャラクターの下半身が透明化されて机が透けて見えるようになるので、３ＤＣＧキャラクターが机の後ろに立っているように見せることができ、演出効果を高めることができる。
【００６５】
従って、３ＤＣＧキャラクターが背景画像の画像オブジェクトの前を通るだけでなく、画像オブジェクトの後も通っているように演出できるので、３ＤＣＧキャラクターの活用範囲を、ウェブ用のコンテンツ、番組の素材（ワイプ、コーナータイトル、オープニングなど）、生放送でのタレントと絡めた番組制作などに拡大できる。
【００６６】
また、透過情報としてクロマキー処理のキー色情報を採用しているので、生放送の映像に、本発明の合成プログラムによって合成された合成画像データを重ね合せやすい。
【００６７】
また、本発明の合成プログラムによって、３ＤＣＧキャラクターの声を担当する者の言葉に対応して３ＤＣＧキャラクターの口が動くよう、合成機能で合成される３ＤＣＧキャラクターが処理されるので、生放送において、実際の人物が発する言葉に対して、３ＤＣＧキャラクターの声を担当する者の言葉を音声信号として認識し、その音声信号に対応して３ＤＣＧキャラクターにジェスチャーを付けることができ、３ＤＣＧキャラクターが実際の人物と自然に会話しているように演出することができる。
【符号の説明】
【００６８】
１    仮想データ
２    実写背景画像データ
３    ３ＤＣＧキャラクター
４    ベース領域
５    机
６    合成画像データ
【図１】
2012137956.tif 000003
【図２】
2012137956.tif 000004