(57)【要約】【課題】視聴者がディスプレイ２５の表示画面２５Ａ上に表示されている目標体を容易に認識できる放送送受信システム３を提供することを目的とする【解決手段】放送送受信システム３は、目標体を特定する外観情報である第１の付加情報Ａ１と、ＴＶカメラ１７〜１９が撮影した補助映像等からなる第２の付加情報Ａ２とを、主映像信号に付加した放送信号を送信する放送送信装置１と、視聴者が付加情報から特定可能な一の目標体を選択する目標体選択装置２７と、主映像中の、目標体を検出する検出回路２８と、目標体の主映像が表示される表示画面２５Ａ上での認識を容易化するための目標体の位置を示すマーカ４０を表示するマーカ表示回路３２とを有する放送受信装置２とを具備する。【選択図】図１
2010034699.tif 000002
【特許請求の範囲】
【請求項１】
主映像を撮影し主映像信号を出力する主映像撮影手段と、
物体を特定する外観情報を処理する付加情報処理手段と、
前記付加情報処理手段により処理された前記外観情報を付加情報として、前記主映像信号に付加する合成手段と、
前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置。
【請求項２】
主映像を撮影し主映像信号を出力する主映像撮影手段と、
補助映像を撮影し補助映像信号を出力する補助映像撮影手段と、
物体を特定する外観情報を処理し、第１の付加情報を生成する第１の付加情報処理手段と、
前記補助映像信号と前記補助映像撮影手段の位置情報とを処理し、第２の付加情報を生成する第２の付加情報処理手段と、
前記第１の付加情報処理手段および前記第２の付加情報処理手段により処理された前記外観情報および前記補助映像信号および前記補助映像撮影手段の位置情報を付加情報として、前記主映像信号に付加する合成手段と、
前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置。
【請求項３】
主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、前記付加情報処理手段により処理された前記外観情報を付加情報として、前記主映像信号に付加する合成手段と、前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有する放送送信装置からの放送信号を受信する受信手段と、
前記受信手段が受信した前記放送信号から、表示手段に主映像を表示し、かつ前記付加情報を処理する信号処理手段と、
前記付加情報により特定可能な一の前記物体を選択可能な選択手段と、
前記付加情報を用いて、前記主映像中の、前記選択手段により選択された前記物体を検出する検出手段と、
前記表示手段に表示された前記主映像中に、前記検出手段が検出した前記物体の位置を示すマーカを表示するマーカ表示手段とを有することを特徴とする放送受信装置。
【請求項４】
前記検出手段が検出した前記主映像中の前記物体を、連続して検出する追跡手段を有することを特徴とする請求項３に記載の放送受信装置。
【請求項５】
請求項１または請求項２に記載の放送送信装置、および、請求項３または請求項４に記載の放送受信装置を有することを特徴とする放送送受信システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、放送送信装置および放送受信装置および放送送受信システムに関し、特に、主映像中の特定の物体が、放送受信装置の表示画面上で認識が容易な放送送信装置および放送受信装置および放送送受信システムに関する。
【背景技術】
【０００２】
放送受信装置、たとえば、テレビジョン受信機、の表示画面において、視聴者が画面内で絶えず動き続ける物体の位置を把握するのは容易ではないことがあった。たとえば、サッカー試合の放送映像では、視聴者は、選手がボールと重なる映像が表示されることにより、ボールの位置を見失うことがある。または、視聴者は、表示画面から目を離すことにより次の瞬間のボールの位置を見失うこともある。特に、サッカー試合の放送映像では、広い競技場を広範囲に表示するために、表示画面ではボールは相対的に小さく表示される。このため、移動し続ける小さなボールを、表示画面上で追跡することは、視聴者にとって容易ではなく、疲労の原因となることもあった。
【０００３】
なお、録画放送においては、放送局における処理により、特定の物体に対して、視聴者の認識を補助するために、マーカを付加して表示する等の映像効果を付加することは行われている。しかし、生放送では特定の物体に対して、映像効果を付加することは容易ではなく、かつ、それぞれの視聴者が注目したい、それぞれ異なる物体に映像効果を付加することはできなかった。
【０００４】
なお、特開２００５−１３０４６２号公報には、複数のカメラで異なる位置から撮影された複数の映像チャンネルのうちの一つを、視聴者が見たい被写体にあわせて次々と選択して表示する表示装置が開示されている。また、特開２００３−１５３２５０号公報には、全方位映像の中から、視聴者が選択した被写体の映像を含む画角の映像を画面表示する自動追尾表示方法等が開示されている。
【特許文献１】特開２００５−１３０４６２号公報
【特許文献２】特開２００３−１５３２５０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
本発明は、視聴者が表示画面上に表示されている特定の物体を容易に認識できる放送送信装置および放送受信装置および放送送受信システムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
本願発明の一態様によれば、主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、付加情報処理手段により処理された外観情報を付加情報として、主映像信号に付加する合成手段と、主映像信号に付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置が提供される。
【０００７】
また、本願発明の別の一態様によれば、主映像を撮影し主映像信号を出力する主映像撮影手段と、物体を特定する外観情報を処理する付加情報処理手段と、付加情報処理手段により処理された外観情報を付加情報として、主映像信号に付加する合成手段と、主映像信号に付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置からの放送信号を受信する受信手段と、受信手段が受信した放送信号から、表示手段に主映像を表示し、かつ付加情報を処理する信号処理手段と、付加情報により特定可能な一の物体を選択可能な選択手段と、付加情報を用いて、主映像中の、選択手段により選択された物体を検出する検出手段と、表示手段に表示された主映像中に、検出手段が検出した物体の位置を示すマーカを表示するマーカ表示手段とを有することを特徴とする放送受信装置が提供される。
【発明の効果】
【０００８】
本発明によれば、視聴者が表示画面に表示されている特定の物体を容易に認識できる放送送信装置および放送受信装置および放送送受信システムを提供することができる。
【発明を実施するための最良の形態】
【０００９】
＜第１の実施の形態＞  
以下、図面を参照して本発明の第１の実施の形態の、放送送信装置１および放送受信装置２を有する放送送受信システム３について説明する。図１は、本実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図である。
【００１０】
図１に示すように、本実施の形態の、放送送受信システム３は放送送信装置１と放送受信装置２とを有する。なお、以下、放送送受信システム、放送送信装置、または放送受信装置を「放送送受信システム等」ともいう。そして、放送送信装置１では、主映像を撮影する主映像撮影手段であるＴＶカメラＡ（１２）が主映像信号Ｓ１を出力する。そして、放送送信装置１では、主映像信号Ｓ１に、第１の付加情報Ａ１および第２の付加情報Ａ２を付加した合成信号を合成手段である合成回路１３により合成して、送信手段である送信回路１４により放送信号として送信する。もちろん、放送信号には、主映像信号Ｓ１に、第１の付加情報Ａ１および、Ａ２だけでなく、音声信号や各種の制御信号が付加されている。なお、送信方法はデジタルＴＶ放送の無線による送信方法でもよいし、ケーブルＴＶ回線またはインターネット回線等の有線による送信方法でもよい。
【００１１】
ここで、第１の付加情報Ａ１および第２の付加情報Ａ２は、放送を視聴する視聴者が放送受信装置２のディスプレイ２５の表示画面２５Ａに表示されている特定の目標物体（以下、「目標体」という。）を容易に認識できるように処理するための付加情報である。すなわち、放送送受信システム３においては、目標体は、放送送信装置１、言い換えれば放送局により予め決定されている。そして、放送送信装置１は、定められた目標体に関する付加情報を、主映像信号Ｓ１に付加して放送信号として送信する。
【００１２】
ここで、第１の付加情報Ａ１は、第１の付加情報処理手段である付加情報１処理回路１５により処理される、目標体を特定する目標体の外観の特徴情報、すなわち、映像から目標体を特定できる情報である。一方、第２の付加情報Ａ２は、第２の付加情報処理手段である付加情報２処理回路１６により処理される、補助映像撮影手段、たとえば、３台のＴＶカメラ、すなわちＴＶカメラＢ（１７）、ＴＶカメラＣ（１８）およびＴＶカメラＤ（１９）、が撮影した３種類の補助映像と、それぞれのＴＶカメラの位置情報とである。放送送受信システム３においては、補助映像撮影手段は少なくとも１台必要である。補助映像撮影手段の台数が多いほど放送受信装置２が目標体を特定可能な場合が多くなるが、放送送受信システム３が複雑となるため、放送内容および目標体に応じて、放送局が適宜選択する。
【００１３】
そして、放送受信装置２は、放送送信装置１からの、放送信号を受信する受信手段である受信回路２１と、受信した信号を復号処理する復号回路２２と、復号信号を処理し、映像をディスプレイ２５に表示し、音声をスピーカー２４から出力する信号処理回路２３とを有する。なお、信号処理回路２３は、受信した信号に付加されている付加情報も処理する信号処理手段である。
【００１４】
そして、放送受信装置２は、付加情報である、第１の付加情報Ａ１および第２の付加情報Ａ２、を用いて、視聴者がディスプレイ２５に表示されている目標体を容易に認識できるようにする認識処理のための、一覧表示回路２６と、目標体選択装置２７と、表示制御回路３１と、マーカ表示回路３２と、検出回路２８と、追跡回路２９と、記憶装置３０とを有する。
【００１５】
選択手段である目標体選択装置２７は、一覧表示手段である一覧表示回路２６によりディスプレイ２５に表示されている目標体の一覧の中から、視聴者が目標体を選択可能な装置であり、たとえば、リモコンまたはマウス等を用いることができる。
【００１６】
検出回路２８は、第１の付加情報Ａ１および第２の付加情報Ａ２を用いて、主映像中の目標体を検出する検出手段である。追跡回路２９は、過去の映像、すなわち過去のフレーム映像が記憶されている記憶装置３０の情報等をもとに、差分解析等により、検出された目標体を連続して追跡する追跡手段である。マーカ表示回路３２は、視聴者がディスプレイ２５の表示画面２５Ａ上での検出した目標体の認識を容易化するため、目標体の位置を示すマーカ４０（図２参照）を表示するマーカ表示手段であり、表示制御回路３１は、一覧表示回路２６またはマーカ表示回路３２等からの信号を処理して、主映像信号と重畳表示する。
【００１７】
本実施の形態の放送送受信システム３、放送送信装置１および放送受信装置２は、表示画面２５Ａ上の指定された目標体にマーカ４０を付し追跡する。これにより、視聴者は選択した着目した目標体の位置を明確に把握することが可能、すなわち、視聴者が表示画面に表示されている特定の物体を容易に認識できる。
【００１８】
次に図面を参照して、本発明の第１の実施の形態の放送送受信システム３について、サッカー試合の中継放送を例に、より詳細に説明する。図２は本実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図であり、図３は本実施の形態の放送送受信システムの第１の付加情報を説明するための説明図であり、図４は本実施の形態の放送送受信システムの第２の付加情報を説明するための説明図である。
【００１９】
図２は、視聴者が目標体として、サッカーボール（以下、「ボール」という。）４２を選択した場合の、ディスプレイ２５の表示画面２５Ａの一例を示している。表示画面２５Ａ中のボール４２には、矢印のマーカ４０が表示されているため、視聴者は、競技フィールド（ピッチ）４１の広い範囲が表示されている表示画面２５Ａの中で、選手４３Ａ〜４３Ｇにより、移動する小さなボール４２であっても、ボール４２を容易に認識できる。
【００２０】
なお、図２では、マーカとして矢印のマーカ４０を例示したが、マーカとしてボール４２を全体に取り囲む円形にしたり、ボール４２を特定の色で表示したりしてもよい。なお、マーカ４０は表示画面２５Ａの中でより容易に認識できるように、視聴者が、色を選択可能としたり、点滅表示したりしてもよい。
【００２１】
次に、付加情報について説明する。本実施の形態の放送送受信システム３においては、付加情報として、第１の付加情報Ａ１と、第２の付加情報Ａ２とを用いる。第１の付加情報Ａ１は、目標体を特定する目標体の外観の特徴情報、すなわち、映像から目標体を特定できる情報である。
【００２２】
すなわち、図３に例示するように、第１の付加情報Ａ１は、目標体が試合で使用されるボール４２の場合には、ボール４２の写真と、大きさと、模様と、色彩等とからなる情報であり、目標体が選手４３の場合には、その選手４３の写真と、身長、体型、肌の色等の身体データ情報と、ユニフォームの色および模様と、背番号等とからなる情報である。第１の付加情報Ａ１として、どのような情報を用いるかは、放送番組により異なり、放送送信装置１を用いる放送局が選択し管理する。また、どの物体を目標体として選択するかも、放送局が選択し、放送局は選択した目標体についての第１の付加情報Ａ１を放送開始前に収集しておく。
【００２３】
次に、図４を用いて、第２の付加情報Ａ２について説明する。第２の付加情報Ａ２は、映像撮影装置が撮影した視点からの補助映像と、映像撮影装置の位置情報とである。図４では、第２の付加情報Ａ２は、図４（Ａ）に示すように競技フィールド５のゴール裏に配置したＴＶカメラＢ（１７）と、センターライン横に配置したＴＶカメラＣ（１８）と、および、センターマーカ真上に配置したＴＶカメラＤ（１９）とからなる３台の映像撮影装置が撮影した３種類の補助映像である図４（Ｂ）、図４（Ｃ）図４（Ｄ）と、それぞれのＴＶカメラ１７〜１９の位置情報とである。位置情報は、たとえば、センターマーカを原点とする座標値で表示される。
【００２４】
なお、図４（Ａ）において、ＴＶカメラＡ（１２）が主映像を撮影する主映像撮影手段であり、主映像の一例が図４（Ｅ）である。すなわち、放送送受信システム３は、１台の主映像撮影手段と３台の補助映像撮影手段とを有している。もちろん、主映像を撮影する主映像撮影手段は１台でなく、通常の放送番組のように、数台のＴＶカメラを切り替えながら用いてもよい。なお、主映像装置の位置情報も第２の付加情報Ａ２に含まれている。
【００２５】
次に、図５を用いて放送受信装置２における処理の流れについて説明する。図５は、本実施の形態の放送受信装置２における処理の流れについて説明するためのフローチャートである。以下。図５のフローチャートに従い説明する。
【００２６】
＜ステップＳ１０＞  
放送受信装置２は、放送送信装置１から放送された放送信号を受信回路２１によりを受信する。そして、復号回路２２は、放送信号を複合し、主映像信号Ｓ１と、付加情報とを信号処理回路２３に送信する。
【００２７】
＜ステップＳ１１＞  
表示制御回路３１は、一覧表示回路２６が生成した、付加情報により特定可能な目標体の一覧を、ディスプレイ２５に表示する。
【００２８】
ここで、図６は、本実施の形態の放送受信装置における目標体の一覧表示画面の一例である。図６では、表示画面２５Ａに、主映像表示領域４９と、選択可能な目標体として、ボール選択領域５０と、選手選択領域５１とが表示されている状態を示している。視聴者は、目標体の一覧表示画面に表示されている複数の目標体の中から、注目して視聴したい一の目標体を目標体選択装置２７の入力装置であるリモコンにより選択する。
【００２９】
たとえば、図６においては、チームＡのＮｏ．６の選手が、カーソル２７Ａにより、強調表示されている状態を示しており、この状態で視聴者により、リモコンの選択ボタンが押圧されると、目標体としてチームＡのＮｏ．６の選手が選択される。カーソル２７Ａは、リモコンの上下左右移動ボタン等で移動可能であり、視聴者は視聴したい目標体を確実に、そして、簡単な操作で選択することができる。なお、選択された目標体が、どの物体であるかの情報は、記憶装置３０等に保持される。
【００３０】
なお、目標体の選択方法は、上記説明のように目標体の一覧表示画面による方法ではなく、主映像中に表示されている選択可能な目標体の近傍に表示されている、それぞれの目標体用の選択マーカ等を、視聴者がリモコン等で選択する方法でもよい。
【００３１】
なお、放送番組によっては、放送送信装置１が予め一の目標体を選択しておき、その選択情報が選択初期値として放送信号に付加されていてもよい。その場合には、視聴者が目標体の選択を行わなくても、目標体選択装置２７が自動的に、選択初期値を用いて目標体を特定することもできる。さらには、目標体が１個のみの場合には目標体選択装置２７が自動的に、目標体を特定したものとみなすことができる。
【００３２】
＜ステップＳ１２＞  
ステップＳ１１において、目標体が選択されなかった場合（Ｎｏ）には、放送受信装置２は、ステップＳ１３以降の目標体の認識処理を行わない。これに対して、放送受信装置２は、視聴者が一の目標体を選択した場合（Ｙｅｓ）には、ステップＳ１３以降の目標体の認識処理を開始する。
【００３３】
＜ステップＳ１３＞  
信号処理回路２３は、選択された目標体に関する付加情報を、一時メモリ（不図示）等から呼び出す。すなわち、全ての目標体に関する付加情報の中から、選択された目標体に関する付加情報を選択して、以降のステップにおいて利用可能な状態とする。
【００３４】
＜ステップＳ１４、Ｓ１５＞  
放送番組がＣＭ（コマーシャル）中の場合は、放送受信装置２は、ＣＭが終了するまで待機する。なお、放送番組がＣＭか否かの検出について、画面の変化や音声レベルの変動などに注目した公知の手法を用いることができる。
【００３５】
＜ステップＳ１６＞  
検出回路２８は、第１の付加情報Ａ１および第２の付加情報Ａ２を用いて、主映像の中の目標体の検出を行う。なお、検出方法については、後に詳述する。
【００３６】
＜ステップＳ１７＞  
主映像の中に、目標体がない場合（Ｎｏ）には、放送受信装置２はステップＳ１４からの処理により、再検出を行う。
【００３７】
＜ステップＳ１８＞  
マーカ表示回路３２は、主映像の中に表示するマーカ４０の位置および形状等を表示制御回路３１に出力し、信号処理回路２３は、その情報をもとに目標体の位置を示すマーカ４０を主映像に重畳してディスプレイ２５に表示する。
【００３８】
＜ステップＳ１９、Ｓ２０＞  
放送受信装置２は、視聴者による、目標体認識処理の終了指示が入力された場合、または、チャンネルの切り替えにより主映像が変更された場合には、処理終了のメッセージをディスプレイ２５に表示して、処理を終了する。
【００３９】
＜ステップＳ２１、Ｓ２２＞  
途中で、主映像がＣＭに切り替わった場合（Ｙｅｓ）には、放送受信装置２は、ディスプレイ２５に表示していたマーカ４０の表示を解除し、ステップＳ１４からの処理を行う。
【００４０】
＜ステップＳ２３＞  
追跡回路２９が、目標体を追跡する。なお、目標体の追跡については、後に詳述する。
【００４１】
＜ステップＳ２４＞  
追跡回路２９が、目標体を追跡できた場合（Ｙｅｓ）には、放送受信装置２は、ステップＳ１８からの処理を継続する。追跡回路２９が、目標体を追跡できなかった場合（Ｎｏ）には、放送受信装置２は、ステップＳ２２において、ディスプレイ２５に表示していたマーカ４０の表示を解除し、ステップＳ１４からの処理を行う。
【００４２】
次に、図７を用いて、図５に示したフローチャートのステップＳ１６において、検出回路２８が行う、主映像の中の目標体の検出を行う検出方法について詳述する。図７は、本実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートである。以下、図７のフローチャートに従い説明する。
【００４３】
＜ステップＳ３０＞  
検出回路２８は、最初に、主映像の中で第１の付加情報Ａ１を用いて、目標体の検出を行う。
【００４４】
＜ステップＳ３１＞  
検出回路２８は、視聴者による、目標体認識処理の終了指示が入力された場合、または、チャンネルの切り替えにより主映像が変更された場合には、処理を終了する。
【００４５】
＜ステップＳ３２＞  
検出回路２８は、主映像の中に目標体が検出できた場合（Ｙｅｓ）には、検出処理を完了する。検出回路２８は、目標体が検出できなかった場合（Ｎｏ）には、ステップＳ３３からの処理で、第２の付加情報Ａ２を参照して目標体の検出を行う。
【００４６】
＜ステップＳ３３〜Ｓ３９＞  
検出回路２８は、第２の付加情報Ａ２を順に参照する。ここで、第２の付加情報Ａ２は、図４に示したように、３台の補助映像撮影手段であるＴＶカメラＢ（１７）、ＴＶカメラＣ（１８）、ＴＶカメラＤ（１９）が撮影した３種類の補助映像と、それぞれのＴＶカメラの位置情報とである。検出回路２８は、いずれかのＴＶカメラが撮影した補助映像から、目標体を検出できた場合には、そのＴＶカメラの位置情報をもとに、主映像での目標体の位置を割り出す。
【００４７】
＜ステップＳ４０〜Ｓ４１＞  
検出回路２８は、所定の閾値回数Ｎ回以上（Ｎ≧２）、言い換えれば、ある時間から続くＮ枚以上の主映像フレーム映像から、目標体検出に失敗した場合、ディスプレイ２５に「検出中」である旨のメッセージを表示し、再び、ステップＳ３０からの主映像の解析を繰り返す。所定の閾値回数は、２回以上であればよく、好ましくは３回程度である。
【００４８】
なお、目標体としては、ボール４２のように主映像中で固有の外観を持つために、比較的、検出が容易な物体Ｏ１と、同じ服装をしている複数の選手の中の特定の選手のように検出するには外観を詳細に解析する必要がある物体Ｏ２とがある。検出回路２８は、物体Ｏ１を検出するには、第１の付加情報Ａ１のうち、形状または色のいずれか１つを参照するだけでも検出できる場合も多い、これに対して、検出回路２８は、物体Ｏ２を検出するには、第１の付加情報Ａ１のうち、ユニフォームの色、背番号、顔、肌の色およびその他身体的特徴の全ての情報を駆使して精査する必要がある。検出の具体的な方法としては、形体の類似性から同一性を判断するパターンマッチング方式による映像認識、テクスチャ解析による映像解析、色素情報による近似色の判定技術等の、公知の技術手法を使用することができる。
【００４９】
次に、図８を用いて、図５に示したフローチャートのステップＳ２３において、追跡回路２９が行う、主映像の中の目標体の追跡を行う追跡方法について詳述する。図８は、放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。以下、図８のフローチャートに従い説明する。
【００５０】
＜ステップＳ５０＞  
追跡回路２９は、前時間の主映像、すなわち前フレーム映像と、現時間の映像すなわち現フレーム映像とを比較し、動きベクトル解析等の公知の差分解析することにより、目標体の追跡処理を行う。追跡処理は、検出処理と比べて処理が簡単であるため、検出処理よりも処理速度が速い。このため、放送受信装置２は、検出処理により検出できた目標体に対しては追跡処理を行う。
【００５１】
＜ステップＳ５１＞  
追跡回路２９は、主映像の画面の切り替えがあったかを判定する。画面の切り替えがあった場合（Ｙｅｓ）には、目標体の位置が大きく変化している可能性が高いため、追跡回路２９は、ステップＳ５４以降の第２の付加情報Ａ２による解析を行う。これに対して、画面の切り替えがなかった場合（Ｎｏ）には、追跡回路２９はステップＳ５２以降の処理を行う。
【００５２】
＜ステップＳ５２＞  
追跡回路２９は、主映像の前フレーム映像と、現フレーム映像とを比較し、たとえば、パターンマッチングによる映像認識またはテクスチャ解析等による差分解析をする。なお差分解析に用いるフレーム映像は全フレームについて行うだけでなく、所定のフレーム間隔で差分解析を行ってもよい。
【００５３】
＜ステップＳ５３＞  
追跡回路２９は、主映像の前フレーム映像と、現フレーム映像とを比較する差分解析にて目標体の位置を認識できた場合（Ｙｅｓ）には、追跡処理を完了する。この場合には、図５、ステップＳ２４において、「Ｙｅｓ」となり、主映像にマーカ４０を表示する。追跡回路２９は、主映像の差分解析にて目標体の位置を認識できなかった場合（Ｎｏ）には、ステップＳ５４以降の第２の付加情報Ａ２による解析を行う。
【００５４】
＜ステップＳ５４〜Ｓ６０＞  
追跡回路２９は、第２の付加情報Ａ２を順に参照する。ここで、第２の付加情報Ａ２は、図４に示したように、補助映像撮影手段である３台のＴＶカメラ１７〜１９が撮影した３種類の補助映像と、それぞれのＴＶカメラの位置情報とである。検出回路２８は、いずれかのＴＶカメラの補助映像の差分解析にて目標体の位置を解析する。追跡回路２９は、目標体を追跡できた場合（Ｓ５４；Ｙｅｓ）には、そのＴＶカメラの位置情報をもとに、主映像での目標体の位置を割り出すことができる。追跡回路２９は、目標体を追跡できなかった場合（Ｓ５４；Ｎｏ）には、ステップＳ６１において、「追跡失敗」と判断し、追跡処理を終了する。この場合には、図５、ステップＳ２４において、「Ｎｏ」となり、主映像のマーカ表示を解除し、検出回路２８が検出処理を開始する。
【００５５】
以上の説明のように、放送送受信システム等は、視聴者は自ら選択した目標体を表示画面２５Ａ上で、マーカ４０により容易に認識できる
＜第２の実施の形態＞  
以下、図９から図１１を参照して本発明の第２の実施の形態の、放送送信装置１Ｂおよび放送受信装置２Ｂを有する放送送受信システム３Ｂについて説明する。放送送信装置１Ｂおよび放送受信装置２Ｂを有する放送送受信システム３Ｂは、放送送信装置１および放送受信装置２を有する放送送受信システム３と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。
【００５６】
図９は、本実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図であり、図１０は、本実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートであり、図１１は、本実施の形態の放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。
【００５７】
図９に示すように、本実施の形態の、放送送信装置１Ｂは、付加情報として第１の付加情報Ａ１しか付加しない。このため、放送受信装置２Ｂは、付加情報として第１の付加情報Ａ１のみをもとに、目標体の検出処理および追跡処理を行う。
【００５８】
そして図１０に示すように、放送受信装置２Ｂの検出回路２８は、第１の付加情報Ａ１を利用して、目標体が検出できるまで繰り返す。そして、検出回路２８は所定の閾値回数のＫ回以上検出に失敗した場合は、「検出不可」として検出処理を終了する。所定の閾値回数Ｋは、２回以上であればよく、好ましくは３回程度である。また、図１１に示すように、放送受信装置２Ｂの追跡回路２９は、主映像の差分解析のみを行う。
【００５９】
本実施の形態の放送受信装置２Ｂの目標体検出能力および目標体追跡能力は、第１の実施の形態の放送受信装置２よりも劣っている。しかし、目標体がボール４２のような比較的検出および追跡が容易な物体Ｏ１の場合には、放送受信装置２Ｂは、放送受信装置２と同様の効果を奏することができる。そして、放送送受信システム３Ｂ等は構成が放送送受信システム３等よりも単純であり主映像を撮影するＴＶカメラ以外の映像撮影装置を必要としないため、システム全体のコストが低減できると同時に、補助映像を撮影するＴＶカメラが設置不可能な場合にも、効果を奏することができる。
【００６０】
＜第３の実施の形態＞  
以下、図１２および図１３を用いて、本発明の第３の実施の形態の、放送送信装置１Ｃおよび放送受信装置２Ｃを有する放送送受信システム３Ｃについて説明する。図１２は、本実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図であり、図１３は、本実施の形態の放送受信装置２における処理の流れについて説明するためのフローチャートである。放送送信装置１Ｃおよび放送受信装置２Ｃを有する放送送受信システム３Ｃは、放送送受信システム３等と類似しているため、同じ構成要素には同じ符号を付し説明は省略する。なお、放送送受信システム３Ｃの構成は、図１に示した放送送受信システム３と同じである。
【００６１】
放送受信装置２においては、主映像の中に目標体がない場合には、マーカ４０を表示しなかった。これに対して、放送受信装置２Ｃでは主映像で目標体が障害物により隠れている場合であっても、補助映像から目標体が検出できた場合には、隠れている目標体の位置をマーカ４０Ｂによる表示する。
【００６２】
すなわち、図１２のフローチャートにおいて、ステップＳ１７において、主映像に目標体がなかった場合（Ｎｏ）でも、ステップＳ２５において、補助映像をもとに目標体を検出できた場合には、ステップＳ１８においてマーカ４０Ｂを表示する。
【００６３】
たとえば、図１３に示すように放送受信装置２Ｃでは、主映像撮影手段が撮影した主映像では、目標体であるボール４２と選手４３Ａとが重なり、ボール４２が隠れてしまい検出回路２８が検出できない場合でも、第２の付加情報Ａ２、すなわち、補助映像撮影手段が撮影した補助映像では、ボール４２の位置が検出できる場合もある。この場合に、放送受信装置２Ｃでは、表示画面２５Ａには表示されていないボール４２の位置をマーカ４０Ｂにより表示する。
【００６４】
放送送受信システム３Ｃ等は、放送送受信システム３等が有する効果に加えて、表示画面２５Ａでは表示されていない目標体の位置をマーカ４０Ｂにより視聴者は認識することができる。
【００６５】
なお、放送受信装置２Ｃは、主映像撮影手段が撮影した主映像から目標体が検出できなかったが、補助映像撮影手段が撮影した補助映像からは目標体が検出できた場合には、主映像撮影手段が撮影した主映像から目標体が検出できた場合のマーカ４０とは、異なるマーカ、たとえば、点滅状態のマーカ４０Ｂを表示することが好ましい。異なるマーカを用いることで、視聴者がマーカの種類により目標体が表示画面２５Ａに表示されているか否かを、認識することができる。
【００６６】
以上の説明のように、本実施の形態の放送受信装置２Ｃは、主映像を撮影し主映像信号を出力する主映像撮影手段と、補助映像を撮影し補助映像信号を出力する補助映像撮影手段と、物体を特定する外観情報を処理し、第１の付加情報を生成する第１の付加情報処理手段と、前記補助映像信号と前記補助映像撮影手段の位置情報とを処理し、第２の付加情報を生成する第２の付加情報処理手段と、前記第１の付加情報処理手段および前記第２の付加情報処理手段により処理された前記外観情報および前記補助映像信号および前記補助映像撮影手段の位置情報を付加情報として、前記主映像信号に付加する合成手段と、前記主映像信号に前記付加情報が付加された放送信号を送信する送信手段とを有することを特徴とする放送送信装置からの放送信号を受信する受信手段と、前記受信手段が受信した前記放送信号から、表示手段に主映像を表示し、かつ前記付加情報を処理する信号処理手段と、前記付加情報により特定可能な一の前記物体を選択可能な選択手段と、前記付加情報を用いて、前記主映像中の、前記選択手段により選択された前記物体を検出する検出手段と、前記表示手段に表示された前記主映像中に、前記検出手段が検出した前記物体の位置を示すマーカを表示するマーカ表示手段とを有し、前記マーカ表示手段は、前記主映像からは検出不可能だが、前記補助映像からは検出可能な前記物体の位置を示す前記マーカを表示する、ことを特徴とする放送受信装置であり、さらには、前記主映像から検出された前記物体用の前記マーカと、前記補助映像からのみ検出可能な前記物体用の前記マーカとが異なることを特徴とする放送受信装置である。
【００６７】
本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を変えない範囲において、種々の変更、改変等が可能である。
【図面の簡単な説明】
【００６８】
【図１】第１の実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図である。
【図２】第１の実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図である。
【図３】第１の実施の形態の放送送受信システムの第１の付加情報を説明するための説明図である。
【図４】第１の実施の形態の放送送受信システムの第２の付加情報を説明するための説明図である。
【図５】第１の実施の形態の放送受信装置における処理の流れについて説明するためのフローチャートである。
【図６】第１の実施の形態の放送受信装置における目標体の一覧表示画面の一例である。
【図７】第１の実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートである。
【図８】第１の実施の形態の放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。
【図９】第２の実施の形態の放送送信装置および放送受信装置を有する放送送受信システムの概略構成図である。
【図１０】第２の実施の形態の放送受信装置の検出回路が行う目標体の検出処理の流れを説明するためのフローチャートである。
【図１１】第２の実施の形態の放送受信装置の追跡回路が行う目標体の追跡処理の流れを説明するためのフローチャートである。
【図１２】第３の実施の形態の放送受信装置のディスプレイの表示画面の一例を説明するための説明図である。
【図１３】第３の実施の形態の放送受信装置における処理の流れについて説明するためのフローチャートである。
【符号の説明】
【００６９】
１、１Ｂ、１Ｃ…放送送信装置、２、２Ｂ、２Ｃ…放送受信装置、３、３Ｂ、３Ｃ…放送送受信システム、５…競技フィールド、１２…ＴＶカメラＡ、１３…合成回路、１４…送信回路、１５…第１の付加情報処理回路、１６…第２の付加情報処理回路、１７…ＴＶカメラＢ、１８…ＴＶカメラＣ、１９…ＴＶカメラＤ、２１…受信回路、２２…復号回路、２３…信号処理回路、２４…スピーカー、２５…ディスプレイ、２５Ａ…表示画面、２６…一覧表示回路、２７…目標体選択装置、２７Ａ…カーソル、２８…検出回路、２９…追跡回路、３０…記憶装置、３１…表示制御回路、３２…マーカ表示回路、４０…マーカ、４２…ボール、４３…選手、４９…主映像表示領域、５０…ボール選択領域、５１…選手選択領域、Ａ１…第１の付加情報、Ａ２…第２の付加情報、Ｎ…閾値回数、Ｏ１…物体、Ｏ２…物体、Ｓ１…主映像信号
【図１】
2010034699.tif 000003
【図２】
2010034699.tif 000004
【図３】
2010034699.tif 000005
【図４】
2010034699.tif 000006
【図５】
2010034699.tif 000007
【図６】
2010034699.tif 000008
【図７】
2010034699.tif 000009
【図８】
2010034699.tif 000010
【図９】
2010034699.tif 000011
【図１０】
2010034699.tif 000012
【図１１】
2010034699.tif 000013
【図１２】
2010034699.tif 000014
【図１３】
2010034699.tif 000015