(57)【要約】【課題】  地形に高低差マッピングを施し、高いところと低いところを異なる色で表現でき、撮影位置やタイミングにとらわれずに自動的に適切な表示サイズ・表現方法で現せるアンジュレーション表現装置および方法を提供する。【解決手段】  前もって計測した地形データとテレビカメラのレンズおよび位置データを記憶装置に記録する。カメラセンサはテレビカメラの方向およびズーム倍率を検出して画像処理装置に送る。画像処理装置はカメラセンサからの方向およびズームデータに基づいて映像フレーム内の地形データを記憶装置から抽出し、抽出した地形データに基づいて実写映像に合致した３次元ＣＧ画像をレンダリングして画像合成装置に送る。画像合成装置はテレビカメラからの実写映像と画像処理装置からの３次元ＣＧ画像を合成し、合成映像出力として送信する。【選択図】  図１
2005128298.tif 000002
【特許請求の範囲】
【請求項１】
一定間隔で事前に計測された地形データと中継を行うためのテレビカメラのレンズデータおよび位置データとを記録した記憶装置と、
前記テレビカメラに装着され、該テレビカメラの方向およびズーム倍率を検出するためのカメラセンサと、
前記カメラセンサから送られてくるテレビカメラの方向およびズーム倍率の各データに基づいてテレビカメラが撮影している映像フレーム内に位置する地形データを記憶装置から抽出し、該抽出した地形データに基づいて前記映像フレームに写された地形に合致した３次元ＣＧ画像をレンダリングする画像処理装置と、
前記映像フレームと３次元ＣＧ画像とを合成するための画像合成装置と
から構成される、テレビ中継時におけるアンジュレーション表現装置。
【請求項２】
一定間隔で事前に計測された地形データと中継を行うためのテレビカメラのレンズデータとを記録した記憶装置と、
前記テレビカメラに装着され、該テレビカメラの方向、ズーム倍率および位置を検出するためのカメラセンサと、
前記カメラセンサから送られてくるテレビカメラの方向、ズーム倍率および位置の各データに基づいてテレビカメラが撮影している映像フレーム内に位置する地形データを記憶装置から抽出し、該抽出した地形データに基づいて前記映像フレームに写された地形に合致した３次元ＣＧ画像をレンダリングする画像処理装置と、
前記映像フレームと３次元ＣＧ画像とを合成するための画像合成装置と
から構成される、テレビ中継時におけるアンジュレーション表現装置。
【請求項３】
前記画像処理装置は、抽出された地形データの数が所定の数よりも少ないとき、当該映像フレーム内に位置するまたは当該映像フレームに隣接する地形データに基づいて前記所定の数の地形データを演算して求め、該演算して求められた地形データに基づいて３次元ＣＧ画像をレンダリングする、請求項１または２に記載のテレビ中継時におけるアンジュレーション表現装置。
【請求項４】
一定間隔で事前に計測された地形データと中継を行うためのテレビカメラのレンズデータおよび位置データとを記憶装置に記録する工程と、
前記テレビカメラに装着されたカメラセンサによって該テレビカメラの方向およびズーム倍率を検出する工程と、
前記カメラセンサから送られてくるテレビカメラの方向およびズームデータに基づいてテレビカメラが撮影している映像フレーム内に位置する地形データを記憶装置から抽出する工程と、
撮影している実写映像の地形に合致した３次元ＣＧ画像を前記抽出した地形データに基づいてレンダリングする工程と、
前記実写映像と３次元ＣＧ画像とを合成する工程と
から構成される、テレビ中継時におけるアンジュレーション表現方法。
【請求項５】
一定間隔で事前に計測された地形データと中継を行うためのテレビカメラのレンズデータとを記憶装置に記録する工程と、
前記テレビカメラに装着されたカメラセンサによって該テレビカメラの方向、ズーム倍率および位置を検出する工程と、
前記カメラセンサから送られてくるテレビカメラの方向、ズーム倍率および位置データに基づいてテレビカメラが撮影している映像フレーム内に位置する地形データを記憶装置から抽出する工程と、
撮影している実写映像の地形に合致した３次元ＣＧ画像を前記抽出した地形データに基づいてレンダリングする工程と、
前記実写映像と３次元ＣＧ画像とを合成する工程と
から構成される、テレビ中継時におけるアンジュレーション表現方法。
【請求項６】
前記３次元ＣＧ画像のレンダリング工程は、地形データ抽出工程において抽出された地形データの数が所定の数よりも多いか少ないかを判別する工程と、抽出された地形データの数が所定の数よりも少ないときに当該映像フレーム内に位置するまたは当該映像フレームに隣接する地形データに基づいて前記所定の数の地形データを演算して決定する工程と、前記抽出された地形データまたは前記演算した地形データに基づいて３次元ＣＧ画像をレンダリングする工程とから構成される、請求項４または５に記載のアンジュレーション表現方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ中継、特にゴルフ中継におけるような起伏のある場所のテレビ中継時に、中継する映像の起伏を視覚的に表示するためのアンジュレーション表現装置および方法に関するものである。
【背景技術】
【０００２】
例えばゴルフ中継のように、起伏のあるグリーンやコースをテレビ中継するとき、通常、撮影するカメラは地上から５〜１０ｍ程度の高さに設置され、上から見下ろす形或いは遠景をズームアップした形で撮影が行われている。このため、地上に立って見た時ほどの起伏や距離の感覚を画面から認識することは難しいものであった。また、昨今の中継では、カップ位置から同心円上にＣＧでラインを引き静的に距離を表示する手法や、ボール位置からカップ位置まで直線を引く手法や、解説者がペンタブレットで線を引く手法が用いられているが、地形のうねりは加味されておらず、依然として起伏や距離の感覚を画面から認識できないものであった。
【０００３】
一方、バーチャルカメラを使用し、実写映像上にコンピュータグラフィックスで高低差表現を施すことにより起伏や距離の感覚を表現しようとする試みがなされている。しかしながら、コンピュータグラフィックスの使用は限られた場所に制限されるため、実写映像に応じた適切なサイズでの表現を随時に行うことができず、使用できるタイミングが限られているのが現状である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、地形に高低差マッピングを施し、高いところと低いところを異なる色で表現することができ、かつ、撮影位置やタイミングにとらわれずに自動的に適切な表示サイズ・表現方法で現すことができる、テレビ中継時におけるアンジュレーション表現装置および方法を提供しようとするものである。
【課題を解決するための手段】
【０００５】
本発明によるテレビ中継時におけるアンジュレーション表現装置は、一定間隔で事前に計測された地形データと中継を行うためのテレビカメラのレンズデータおよび位置データとを記録した記憶装置と、テレビカメラに装着され、そのテレビカメラの方向およびズーム倍率を検出するためのカメラセンサと、カメラセンサから送られてくるテレビカメラの方向およびズーム倍率の各データに基づいてテレビカメラが撮影している映像フレーム内に位置する地形データを記憶装置から抽出し、その抽出した地形データに基づいて映像フレームに移された地形に合致した３次元ＣＧ画像をレンダリングする画像処理装置と、映像フレームと３次元ＣＧ画像とを合成するための画像合成装置とから構成される。
【０００６】
上述の如く構成される本発明の装置は、中継に先立って撮影予定地域を一定間隔で計測し、その地形データを記憶装置に記録すると共に、中継を行うためのテレビカメラのレンズデータおよび位置データをもまた記憶装置に記録する。撮影が開始されると、テレビカメラは映像を画像合成装置に送る一方、テレビカメラに装着されたカメラセンサはそのテレビカメラの方向およびズーム倍率を検出して画像処理装置に送信する。画像処理装置は、カメラセンサから送られてくるテレビカメラの方向およびズームデータに基づいて、テレビカメラが撮影している映像フレーム内に位置する地形データを記憶装置から抽出し、その抽出した地形データに基づいて、撮影している実写映像に合致した３次元ＣＧ画像をレンダリングした後、３次元ＣＧ画像を画像合成装置に送る。画像合成装置は、テレビカメラから送られてくる実写映像と画像処理装置から送られてくる３次元ＣＧ画像とを合成し、合成映像出力として送信する。
【０００７】
また、本発明によるテレビ中継時におけるアンジュレーション表現装置は、一定間隔で事前に計測された地形データと中継を行うためのテレビカメラのレンズデータとを記録した記憶装置と、テレビカメラに装着され、テレビカメラの方向、ズーム倍率および位置を検出するためのカメラセンサと、カメラセンサから送られてくるテレビカメラの方向、ズーム倍率および位置の各データに基づいてテレビカメラが撮影している映像フレーム内に位置する地形データを記憶装置から抽出し、その抽出した地形データに基づいて映像フレームに写された地形に合致した３次元ＣＧ画像をレンダリングする画像処理装置と、映像フレームと３次元ＣＧ画像とを合成するための画像合成装置とから構成することもできる。
【０００８】
このような構成を有するアンジュレーション表現装置は、前述のアンジュレーション表現装置と比較すると、カメラセンサがテレビカメラの方向およびズーム倍率と共に撮影位置を検出する点で異なっている。このことは、前述のアンジュレーション表現装置が固定カメラに対応するものであるのに対し、この構成のアンジュレーション表現装置は、移動車輌設置型やハンディ型等の移動式カメラに対応できることを意味する。
【０００９】
さらに、本発明によるテレビ中継時におけるアンジュレーション表現装置は、抽出された地形データの数が所定の数よりも少ないとき、当該映像フレーム内に位置するまたは当該映像フレームに隣接する地形データに基づいて前記所定の数の地形データを演算して求め、該演算して求められた地形データに基づいて３次元ＣＧ画像をレンダリングするように画像処理装置を作動させることもできる。
【００１０】
テレビカメラのカメラセンサから送られてきたデータに基づいて記憶装置から抽出した地形データの数が少なすぎると、それを基にしてレンダリングした３次元ＣＧ画像が地形の高低を表示し難くなる。このため、本発明では、抽出された地形データの数が所定の数よりも少ないとき、その映像フレーム内に位置するまたはその映像フレームに隣接する地形データに基づいて、所定の数の地形データを演算して決定し、それに基づいて３次元ＣＧ画像をレンダリングすることにより解決している。
【発明の効果】
【００１１】
本発明によれば、テレビカメラに備え付けられたカメラセンサで計測されたズームや位置情報を基に作成した３次元ＣＧ画像を実写像と合成することで、地形のうねりが加味されたボールからカップまでの最短距離を視覚的に表現することが可能となる。また、カメラセンサからテレビカメラの位置に関するデータを入手できるため、固定カメラに限定されることなく使用することができる。さらに、ズームアップすることで使用できる地形データが少ない場合でも地形データ間を埋める地形データを作成して３次元ＣＧ画像をレンダリングするため、地形のうねりに沿った表示を行うために必要な地形データの収集量を少なくすることができる。高いところと低いところを異なる色で表現することにより、例えば、高い部分を白、低い部分を黒として設定した場合、地形の盛り上がった部分が回りよりも白く強調して表示され、地形の高低差を明瞭に示すことができる。
【発明を実施するための最良の形態】
【００１２】
図１は本発明の実施例によるテレビ中継時におけるアンジュレーション表現装置の概要を示す図で、本発明の装置は、中継を行うためのテレビカメラ１に装着されたカメラセンサ２と、種々のデータを記憶するための記憶装置３と、カメラセンサ２から送られてくるデータに基づいて所要の３次元ＣＧ画像をレンダリングするための画像処理装置４と、画像処理装置４で作成した３次元ＣＧ画像とテレビカメラ１から送られてくる実写映像とを合成して送出するための画像合成装置５とから構成される。符号６で示す装置はオペレーション端末であり、例えば、単純なところでは画像の表示・非表示をコントロールするような中継時の状況に応じた情報を手動もしくは自動的で画像処理装置４に対して与えるための装置である。
【００１３】
カメラセンサ２は、それが装着されるテレビカメラ１が固定カメラの場合、そのカメラレンズの中心軸の垂直および水平方向と、撮影時のズーム倍率によって変化するズーム倍率とを検出し、それぞれ方向データＤ１およびズームデータＤ２として画像処理装置４に送信する。一方、テレビカメラ１が移動カメラの場合、カメラセンサ２は、中心軸の垂直および水平方向とズーム倍率とを検出すると共に、テレビカメラ１の水平方向における位置を検出し、方向データＤ１、ズームデータＤ２および水平位置データＤ３ａとして画像処理装置４に送信する。
【００１４】
記憶装置３には、中継に先立って撮影予定地域を一定間隔で計測して得られた地形データＤ４と、使用するテレビカメラのレンズデータＤ５とが記録されている。記憶装置３にはまた、テレビカメラ１が固定カメラの場合、そのカメラの垂直および水平方向における設置位置を示す位置データＤ３が記録されている。これに対し、テレビカメラ１が移動カメラの場合、位置データは垂直方向における位置に関するデータ（垂直位置データＤ３ｂ）である。移動カメラの垂直方向における位置は、車載カメラの場合、ほぼ一定であるが、ハンディ型カメラの場合、カメラマンが静止して撮影する場合の平均的な高さを把握して記録するのが好ましい。
【００１５】
画像処理装置４は、カメラセンサ２から送られてくるデータ（方向データＤ１およびズームデータＤ２、或いは方向データＤ１、ズームデータＤ２および水平位置データＤ３ａ）に基づいて、記憶装置３からテレビカメラ１が撮影している映像フレーム内に位置する地形データＤ４を抽出し、抽出した地形データＤ４に基づいて映像フレームに対応した３次元ＣＧ画像をレンダリングする。
【００１６】
より具体的には、図２に示すように、方向データＤ１と位置データＤ３、或いは方向データＤ１と水平および垂直位置データＤ３ａおよびＤ３ｂに基づいて、テレビカメラのレンズ中心線ＣＬと地形データＤ４によって形成される地表に相当する面とが交差する点を計算し、この点を作成すべき３次元ＣＧ画像の中心ＣＰとする。次に、ズームデータＤ２とレンズデータＤ５に基づいてカメラの画角θを計算し、先に計算した画像中心ＣＰからの範囲Ｒを決定する。この範囲Ｒで画定される所定の方形フレームＦ内が作成すべき３次元ＣＧ画像となる。
【００１７】
作成すべき３次元ＣＧ画像の範囲（Ｆ）が確定すると、その範囲内に位置する地形データＤ４が抽出され、抽出された地形データＤ４に基づいて３次元ＣＧ画像がレンダリングされる。このとき、抽出された地形データＤ４の数が過小な場合、３次元ＣＧ画像はアンジュレーションを表現することができない。このため、本発明では、抽出された地形データＤ４の数が所定範囲の数に満たない場合、範囲Ｆ内に含まれるおよび／または近傍の地形データＤ４をその範囲において常に均等な分割数になるように、必要であれば曲線・直線補間法を用いて調整される。これに対し、抽出された地形データＤ４の数が所定範囲の数を超える場合、好ましくは映像フレームの端となる位置の地形データを間引くことにより対応するのが望ましい。
【００１８】
こうして抽出、分割または間引きされた地形データＤ４を、例えばメッシュ上に描画を行う場合、オペレータやカメラマンが画角を気にすることなしに常に均等な密度のメッシュ状のアンジュレーション表現を行う事が可能となる。換言すると、画角に依らず常に均一なメッシュ密度で表現する場合、画角が大きい場合は密度が高く、画角を小さくすると密度が荒くなる。このため、いくつかの表現パターンを事前に準備している場合は、カメラマンとオペレータが画角を常に意識していなくてはならず、自由なカメラワークを行うことができない。これに対し、本発明では、上述したように、常に所要のメッシュ密度で表現することができるため、カメラマンとオペレータは何の制約もなしに自由なカメラワークを行うことができる。
【００１９】
画像合成装置５は、上述の如くして作成された３次元ＣＧ画像データＤ６をテレビカメラ１から送られてくる映像データＤ７と合成して送り出す。この画像合成技術それ自体は本発明の範囲外であるのでその詳細については割愛するが、例えば、本出願人が特願２００２−１３７３９１号において提案したような合成技術を利用することもできる。
【産業上の利用可能性】
【００２０】
本発明は、ゴルフ中継におけるように、グリーンやフェアウェイ等の傾斜が重要な意味を持つような場合、視聴者がその傾斜の状態を視覚的に明瞭に把握することができるため、より楽しむことができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施例によるテレビ中継時におけるアンジュレーション表現装置を示す構成図である。
【図２】画像処理装置における処理を説明するための図ある。
【符号の説明】
【００２２】
１    テレビカメラ              ２    カメラセンサ
３    記憶装置                  ４    画像処理装置
５    画像合成装置              ６    オペレーション端末
ＣＬ    レンズ中心線            ＣＰ    ３次元ＣＧ画像の中心
Ｄ１    方向データ              Ｄ２    ズームデータ
Ｄ３    位置データ              Ｄ３ａ  水平位置データ
Ｄ３ｂ  垂直位置データ          Ｄ４    地形データ
Ｄ５    レンズデータ            Ｄ６    ３次元ＣＧ画像データ
Ｄ７    映像データ                Ｆ    方形フレーム
Ｒ    作画範囲Ｒ                θ    カメラの画角
【図１】
2005128298.tif 000003
【図２】
2005128298.tif 000004