(57)【要約】【課題】視聴者が、好みのキャラクタを選択し、放送されている番組を、同キャラクタが出演する番組として視聴可能とするための手段を提供する。【解決手段】放送局側では、キャラクタの動作情報を入力し（２０１）配信する（２０３）と同時に、背景映像を入力し（２０２）配信する（２０４）。受信機側では、予め保存された複数のキャラクタ・モデルから１つを選択し（２０６）、該モデルと受信された動作情報を用いてキャラクタ映像を生成（２０７）し、キャラクタ映像と受信された背景映像を合成し（２０８）表示する（２０９）。【選択図】図２
2006191676.tif 000002
【特許請求の範囲】
【請求項１】
背景映像を入力、または生成し、配信する手段と、該映像上で動作するキャラクタ等の物体の動作情報を入力し、配信する手段を持つことを特徴とする放送送信装置。
【請求項２】
背景映像と、該映像上で動作するキャラクタ等の物体の動作情報を受信する手段と、該物体のモデルを保存する手段を持ち、該動作情報と該モデルを用いて映像上に表示する物体を生成し、背景映像と共に表示することを特徴とする放送受信装置。
【請求項３】
請求項２記載の放送受信装置において、物体のモデルを複数保存し、映像視聴者がそれらのモデルの中から１つのモデルを選択し、放送された動作情報と該モデルを用いて映像上に表示する物体を生成し、背景映像と共に表示することを特徴とする放送受信装置。
【請求項４】
放送局では、請求項１記載の放送送信装置を用いて背景画像と物体の動作情報を放送し、受信機では、請求項２または３記載の放送受信装置を用いて、保存された物体のモデルと該動作情報を用いて映像上に表示する物体を生成し、背景映像と共に表示することを特徴とする放送方法。
【請求項５】
物体のモデルを、ＣＤ−ＲＯＭやＤＶＤ等のリムーバブル・メディアに保存し、請求項４記載の放送方法による放送前に、予め配布、または販売することを特徴とする情報流通サービス。
【請求項６】
請求項４記載の放送方法において、物体のモデルもデータ放送として放送することを特徴とする放送方法。
【請求項７】
請求項４記載の放送方法において、送信する背景映像に、選択可能な全ての物体のモデルにより生成される映像により覆い隠される、小さい、または細い物体の映像が含まれることを特徴とする放送方法。
【請求項８】
請求項４記載の放送方法において、キャラクタの台詞情報もデータ放送として放送し、放送受信装置では、キャラクタの音声素辺集合を保存し、該台詞情報と該素辺集合から音声を合成し、映像の音響情報に加えて出力することを特徴とする放送方法。
【請求項９】
請求項４記載の放送方法において、キャラクタの足音等の効果音の発音タイミングを表す情報もデータ放送として放送し、放送受信装置では、キャラクタの該当する効果音を保存し、同タイミングに同効果音を発音し、映像の音響情報に加えて出力することを特徴とする放送方法。
【請求項１０】
請求項４記載の放送方法において、放送される映像情報中に背景映像と物体の映像情報を別のコンテンツとして含め、物体の動作情報とモデルから物体を生成できない場合には、該物体映像を該背景映像と共に表示することを特徴とする放送方法。
【請求項１１】
放送局では、背景画像と物体のモデル情報を放送し、受信機では、動作情報入力手段を持ち、ユーザにより入力された動作情報と放送されたモデル情報を用いて映像上に表示する物体を生成し、背景映像と共に表示することを特徴とする放送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送網を通じて映像、及びデータを提供する放送方法、及びデータ放送と映像を処理可能なＰＣ、セットトップボックス、インテリジェント・テレビ、デジタル放送受信機等の放送受信装置に関する。
【背景技術】
【０００２】
従来の放送方式では、視聴者は、番組として定められた映像・音響情報のみしか視聴できない。
一方、近年、人の動きや顔の表情をデータとして計測し、該データに基づいてＣＧキャラクタをリアルタイムに生成、放送する試みが成されている（非特許文献１）。しかし、同方式では放送局側でＣＧキャラクタの生成を行った映像を放送しているため、従来の放送方式と同様に、番組として定められた映像・音響情報のみしか視聴できなかった。
【０００３】
【非特許文献１】表情追跡システムと人形型入力デバイスを用いた人物上半身のリアルタイムアニメーション、情報処理学会グラフィクスとＣＡＤ研究会、81-8、Dec. 19th、1996
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、視聴者が、好みのキャラクタを選択し、放送されている番組を、同キャラクタが出演する番組として視聴可能とするための手段を提供する。
【課題を解決するための手段】
【０００５】
本発明では、キャラクタの表情や動作データを、データ放送として映像情報と共に配信し、受信装置で、視聴者が選択したＣＧキャラクタを生成、表示する。キャラクタの表情や動作データを、データ放送として映像情報と共に配信し、受信装置で、視聴者が選択したＣＧキャラクタを生成、表示することにより、放送された番組を、視聴者が選択した好みのキャラクタが出演する番組として視聴することができる。
【発明の効果】
【０００６】
本発明によれば、キャラクタの表情や動作データを、データ放送として映像情報と共に配信し、受信装置で、視聴者が選択したＣＧキャラクタを生成、表示することにより、放送された番組を、視聴者が選択した好みのキャラクタが出演する番組として視聴可能とする。
【発明を実施するための最良の形態】
【０００７】
以下では、本発明の実施例を、図面を用いて詳細に説明する。
最初に、本発明の放送方法を、図１と図２を用いて説明する。
まず、動作情報入力装置（１０１）を用いてキャラクタの動作情報を入力し（２０１）、該情報をデータ放送として動作情報放送装置（１０２）を用いて配信する（２０３）。同時に、背景映像生成装置（１０３）で生成した背景映像を、背景映像放送装置（１０４）を用いてデータ放送とは異なる周波数で配信する（２０４）。本実施例では、背景映像生成装置はテレビカメラで、街の映像を入力する（２０２）が、ＣＧで背景映像を合成してもよい。また、動作情報を背景映像の垂直帰線区間にデータ放送として挿入し、１つの周波数で配信してもよい。
放送受信再生装置に接続されたＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ等のリムーバブル・メディア（１１４）には、複数のキャラクタ・モデルが保存されていて、ユーザは、プロセッサ（１１２）を用いて、メモリ（１１５）上に存在するキャラクタ選択プログラム（１１８）を実行し、該モデルの中から、好みのキャラクタを予め選択しておく（２０６）。一方、映像情報と動作情報は、受信装置（１１１）を用いて受信される（２０５）。次に、プロセッサ（１１２）を用いて、メモリ（１１５）上に存在するキャラクタ生成プログラム（１１６）が実行され、リムーバブル・メディア（１１４）上に存在する選択されたキャラクタ・モデルと受信されたキャラクタ動作情報から、キャラクタ映像が生成される（２０７）。最後に、プロセッサ（１１２）を用いて、メモリ（１１５）上に存在する映像・キャラクタ合成プログラム（117）が実行され、受信された背景映像と、キャラクタ生成（２０７）によって生成されたキャラクタ映像から表示される映像が合成され（２０８）、テレビ等の映像表示装置（１１３）に表示される（２０９）。
【０００８】
次に、キャラクタ動作入力方法（２０１）と、該方法により入力されるデータに関し、図３を用いて説明する。本実施例におけるキャラクタの動作は２ボタンのマウスを用いて行われる。データは、マウスがクリックされたタイミングで配信され、左右ボタンを両方同時に押下した場合には押下時のマウス座標が胴体の位置を、左ボタンのみ押下の場合には左手の位置を、右ボタンのみ押下の場合には右手の位置をそれぞれ表わしていて、一連のクリック動作により、例えば図３に示すデータが生成される。同図は３１０〜３１４で時系列のデータを表していて、各列の意味は、左から順に、動作データであることを示す数値「１」（３００）、何の位置を表わすかを示す数値（３０１）、Ｘ座標（３０２）、Ｙ座標（３０３）である。また、３０１は、１が左手、２が右手、３が胴体を意味する。したがって、例えば３１２は、動作データであり、右手の座標が（２０、８０）であることを示す。
【０００９】
次に、リムーバブル・メディア（１１４）に保存されているキャラクタ・モデルの例を、図４を用いて説明する。図４では、キャラクタとして熊（４１０）とロボット（４１１）が保存されている。それぞれのモデルは、モデル名称（４００）、胴体の画像（４０１）、手の画像（４０２）から構成される。また、胴体画像には手の接続位置情報（４２０×印）が、手の画像には胴体への接続位置情報（４２１×印）と動作情報座標を反映する位置を表わす情報（４２２○印）がそれぞれ含まれる。
【００１０】
次に、キャラクタ・モデルの選択方法（２０６）の例を、図５を用いて説明する。キャラクタ選択プログラム（１１８）が起動されると、リムーバブル・メディア（１１４）に保存されているキャラクタ・モデルの名前（４００）が映像表示装置（５００）に列挙される（５０１、５０２）。これらの名前の中からリモコンを用いて１つのモデルを選択する。図５の場合、ロボット（５０２）が選択されている。
【００１１】
次に、キャラクタ生成方法（２０７）を、図３、６を用いて説明する。図５のように、キャラクタ・モデルとしてロボットが選択された場合、図６ａのようにキャラクタ映像が生成される。ここで、画像の大きさを（１００、１００）とする。まず、３１０の情報が受信されると、胴体が（５０、５０）に描画される（６００）。次に３１１が受信されると、胴体の左側の接続位置（×印）に左手の接続位置（×印）が、動作情報座標を反映する部分（○印）が受信された座標（８０、８０）になるように左手が描画される（６０１）。次に３１２が受信されると、同様に右手が描画される（６０２）。次に３１３が受信されると、○印の位置が（８０、２０）になるように左手が移動する。次に３１４が受信されると、○印の位置が（２０、２０）になるように右手が移動する。同様にくまが選択された場合には、図６ｂの６１０〜６１４のようにキャラクタ映像が生成される。
【００１２】
次に、背景・キャラクタ合成方法（２０８）を、図７を用いて説明する。まず、受信された背景映像が描画され（７００）、次にキャラクタ生成（２０７）で生成されたキャラクタ映像（６２０）を描画する（７０１）。このとき、キャラクタとして熊が選択されていれば、７０２のような映像が合成される。
以上で、同じ番組を、ユーザが選ぶキャラクタにより異なった映像（７０１、７０２）として視聴可能となる。
【００１３】
本実施例では、キャラクタ・モデルは、予めリムーバブル・メディア（１１４）に保存されていたが、番組の最初時、もしくは前もって、図４で示した情報を、データ放送を用いて配信する方法も考えられる。この場合には、受信されたキャラクタ・モデルはメモリ（１１５）に保存される。
【００１４】
また、選択可能な全てのキャラクタより小さい、または細いキャラクタを、デフォルトのキャラクタとして背景映像に含めておくことにより、図１のような構成を持たない通常のテレビのような放送受信再生装置でも通常の番組としてみることができる。このような背景映像の例を図８に示す。同キャラクタは、図７に示したような背景・キャラクタ合成処理におけるキャラクタ映像により完全に隠される。
【００１５】
また、図４に示した各々のキャラクタ・モデルに、５０音（濁音、半濁音を含む）全ての声の音声データを保存し、データ放送として図３に示した情報の他に台詞情報を配信することにより、選択されたキャラクタ特有の声でしゃべる番組を生成できる。この場合、情報として３００に相当する音声データを表わす「２」と発生する言葉を表わす仮名１文字を発声タイミングに合わせて配信する。
同様に、キャラクタの足音や鳴き声等の効果音を、各々のキャラクタ・モデルに保存し、これらの発音タイミングに合わせて効果音の種類を表わす情報をデータ放送として図３に示した情報の他に配信することにより、選択されたキャラクタ特有の効果音を発音させることができる。この場合、情報として３００に相当する音声データを表わす「３」と発音する効果音を表わす数値（例えば足音は「１」、鳴き声は「２」）を配信する。
【００１６】
また、ＭＰＥＧ−４等のコンテンツ符号化が可能である方式を用いた放送の場合、図８に示したようなデフォルトのキャラクタを背景映像とは別のコンテンツとして符号化することにより、通常の受信再生装置ではデフォルトのキャラクタを合成し、図１に示した構成の受信再生装置ではキャラクタ生成（２０７）により生成されたキャラクタを背景画像に合成することができる。この場合には、デフォルトのキャラクタは大きさ、太さ等は任意である。また、逆にデータ放送としてキャラクタ・モデルを配信し、受信再生装置側でマウス等により動作情報を入力し、キャラクタ生成（２０７）、背景・キャラクタ合成（２０８）を行うことにより、出演しているキャラクタを視聴者が動かすことが可能な番組を構成できる。
【図面の簡単な説明】
【００１７】
【図１】本発明のシステム構成を表わす図である。
【図２】本発明の方法を表わす図である。
【図３】キャラクタの動作情報の例を表わす図である。
【図４】キャラクタ・モデルの例を表わす図である。
【図５】キャラクタ・モデル選択のユーザ・インターフェイスの例を表わす図である。
【図６】キャラクタ生成により生成されるキャラクタ映像の例を時系列で示した図である。
【図７】背景映像とキャラクタ映像が合成される例を示す図である。
【図８】背景映像に含まれるデフォルトのキャラクタ映像の例を示す図である。
【符号の説明】
【００１８】
１０１〜１０５…放送送信装置、１１１〜１１８…放送受信再生装置、３００〜３１４…動作情報データ、４００〜４２２…キャラクタ・モデル、５００…映像表示装置、６００〜６１４…キャラクタ映像、７００…背景映像、７０１〜７０２…合成映像。
【図１】
2006191676.tif 000003
【図２】
2006191676.tif 000004
【図３】
2006191676.tif 000005
【図４】
2006191676.tif 000006
【図５】
2006191676.tif 000007
【図６】
2006191676.tif 000008
【図７】
2006191676.tif 000009
【図８】
2006191676.tif 000010
【手続補正書】
【提出日】平成18年4月3日(2006.4.3)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
放送受信された背景映像及びその映像上で動作するオブジェクトの動作情報とを入力する入力部と、
前記オブジェクトに対する複数個のキャラクタ・モデルの情報を記憶する記憶部と、
制御部とを有し、
前記制御部は、前記記憶部から前記オブジェクトに対するキャラクタ・モデルの情報を選択し、前記選択されたキャラクタ・モデルの情報と前記入力部で入力された動作情報とを用いて前記キャラクタ・モデルを動作させてキャラクタ映像を生成し、前記生成されたキャラクタ映像と前記入力部で入力された前記背景画像とを１の表示手段に表示することを特徴とする受信装置。
【請求項２】
請求項１記載の受信装置において、
前記入力部は、前記背景映像及び動作情報とともに送信された前記オブジェクトのためのモデルの台詞情報も入力し、
前記受信装置は、前記キャラクタ・モデルに対する音声素片集合を記憶する記憶手段を有し、
前記プロセッサは、前記受信された台詞情報を用いて、前記記憶された音声素片集合から前記オブジェクトに対して選択されたキャラクタ・モデルのキャラクタ・モデルのキャラクタ映像のための音声を生成し、出力することを特徴とする受信装置。
【請求項３】
請求項１又は２に記載の受信装置において、
前記入力部は、前記背景映像及び動作情報とともに送信された前記オブジェクトに関する効果音の発音タイミングを表す情報も入力し、
前記受信装置は、前記キャラクタ・モデルのキャラクタ映像に関する効果音を記憶する記憶手段を有し、
前記プロセッサは、前記受信された発音タイミングを表す情報を用いて、前記記憶された効果音から前記オブジェクトに対して選択されたキャラクタ・モデルのキャラクタ・モデルのキャラクタ映像に関する効果音を生成し、出力することを特徴とする受信装置。
【請求項４】
請求項１乃至３のいずれかに記載の受信装置に用いるために、１のオブジェクトに対して１つ以上の種類のモデル情報を記録したリムーバブル・メディア。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００２
【補正方法】変更
【補正の内容】
【０００２】
従来の放送方式では、視聴者は、番組として定められた映像・音響情報を視聴できる。一方、近年、人の動きや顔の表情をデータとして計測し、該データに基づいてＣＧキャラクタをリアルタイムに生成、放送する試みが成されている（非特許文献１）。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０００４
【補正方法】変更
【補正の内容】
【０００４】
しかしながら、上述したような方式では放送局側でＣＧキャラクタの生成を行った映像を放送しているため、従来の放送方式と同様に番組として定められた映像・音響情報のみしか視聴できなかった。そこで、本発明は、視聴者が、好みのキャラクタを選択し、放送されている番組を、同キャラクタが出演する番組として視聴可能とするための手段を提供する。