(57)【特許請求の範囲】
【請求項１】
デジタル放送におけるデータ放送用チャンネルにメタデータを多重して表示する文字・図形伝送システムであって、
文字・図形情報から関連のオブジェクトを出力する手段と、
前記文字・図形情報をメタデータに変換して出力する手段と、
前記オブジェクト及びメタデータを時間的に同期又は非同期を切替可能なようにデジタル放送におけるデータ放送用チャンネルに多重化して出力する手段と、
多重化されたオブジェクト及びメタデータを分離して出力する手段と、
分離されたオブジェクトを表示するとともに、そのオブジェクトを指示することによって、どのオブジェクトが選択されているのかを認識可能となるようにオブジェクトの色、輝度又は形状を変化させ、且つ当該オブジェクトのＩＤで関連付けられたメタデータに表示を切り替える手段と、
を具えることを特徴とする文字・図形伝送システム。
【請求項２】
請求項１に記載の文字・図形伝送システムにおいて、
前記オブジェクト及びメタデータを出力するにあたり、時間的及び空間的に前記オブジェクト及びメタデータの同期を取ることを特徴とするシステム。
【請求項３】
請求項１または２に記載の文字・図形伝送システムにおいて、
前記オブジェクト及びメタデータを出力するにあたり、時間的に前記オブジェクト及びメタデータを非同期とすることを特徴とするシステム。
【請求項４】
デジタル放送におけるデータ放送用チャンネルにメタデータを多重する文字・図形オブジェクト及びメタデータ発生装置であって、
文字・図形情報から関連のオブジェクトを出力する手段と、
前記文字・図形情報をメタデータに変換して出力する手段と、
前記オブジェクト及びメタデータを時間的に同期又は非同期を切替可能なようにデジタル放送におけるデータ放送用チャンネルに多重化して出力する手段と、
受信側で、分離されたオブジェクトが表示され、そのオブジェクトが指示されることによって、どのオブジェクトが選択されているのかを認識可能となるように、送信するメタデータをオブジェクト毎に異なるＩＤで関連付ける手段と、
を具えることを特徴とする請求項１に記載の文字・図形オブジェクト及びメタデータ発生装置。
【請求項５】
請求項４に記載の文字・図形オブジェクト及びメタデータ発生装置において、
前記オブジェクト及びメタデータを出力するにあたり、時間的及び／または空間的に前記オブジェクト及びメタデータの同期を取ることを特徴とする装置。
【請求項６】
請求項４または５に記載の文字・図形オブジェクト及びメタデータ発生装置において、
前記オブジェクト及びメタデータを出力するにあたり、前記オブジェクト及びメタデータを時間的に非同期とすることを特徴とする装置。
【請求項７】
請求項４に記載の文字・図形オブジェクト及びメタデータ発生装置によって出力されたオブジェクト及びデータ放送用チャンネルに多重されたメタデータを受信する装置であって、
分離されたオブジェクトを表示するとともに、そのオブジェクトを指示することによって、どのオブジェクトが選択されているのかを認識可能となるようにオブジェクトの色、輝度又は形状を変化させ、且つ当該オブジェクトのＩＤで関連付けられたメタデータに表示を切り替える手段を備えることを特徴とする、装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像処理に係り、特に電子文字・図形発生装置における文字・図形情報の出力機能に関するものである。
【０００２】
【従来の技術】
従来の電子文字・図形発生装置では映像出力のみを発生するだけであり、発生させた文字・図形に関する情報を出力しない。また、従来のアナログテレビ放送などにおいては、発生させた文字・図形などのスーパー映像を表示させるだけで十分であった。
【０００３】
【発明が解決しようとする課題】
しかしながら、デジタルテレビ放送においては、映像以外のデータを送る機能を有し、かつ、双方向性をそなえるものも開発されつつあるが、スーパー映像のみでは、この機能や双方向性を有効に活用できない。
従って、本発明の目的は、従来の技術では存在しなかった発生文字・図形の情報の出力機能を付加することにより、映像から文字・図形情報を容易に検出・表示することである。
【０００４】
【課題を解決するための手段】
上記の目的を達成するため、本発明による文字・図形伝送システムは、
デジタル放送におけるデータ放送用チャンネルにメタデータを多重して表示する文字・図形伝送システムであって、
文字・図形情報から関連のオブジェクトを出力する手段と、
前記文字・図形情報をメタデータに変換して出力する手段と、
前記オブジェクト及びメタデータを時間的に同期又は非同期を切替可能なようにデジタル放送におけるデータ放送用チャンネルに多重化して出力する手段と、
多重化されたオブジェクト及びメタデータを分離して出力する手段と、
分離されたオブジェクトを表示するとともに、そのオブジェクトを指示することによって、どのオブジェクトが選択されているのかを認識可能となるようにオブジェクトの色、輝度又は形状を変化させ、且つ当該オブジェクトのＩＤで関連付けられたメタデータに表示を切り替える手段と、
を具えることを特徴とするものである。
本構成によれば、視聴者が画面上に表示されているスーパー映像をリモコンやマウスなどでクリックして指示・選択することにより、動的にメタデータとリンクして情報を提示するようなデータ放送サービスを提供することが可能となる。即ち、インタラクティブかつ双方向性を具えたデータ放送サービスを提供することができる。
【０００５】
本構成によれば、視聴者は、指示したオブジェクトの色や形状の変化によって、どのオブジェクトが選択されているのかを容易に認識可能となる。また、この変化によって、画面上のオブジェクトのうち、どのオブジェクトがメタデータへリンク可能であるのかを容易に判断することもできるようになる。
【０００６】
また、本発明による文字・図形伝送システムは、前記オブジェクト及びメタデータを出力するにあたり、時間的及び空間的に前記オブジェクト及びメタデータの同期を取ることを特徴とするものである。
本構成によれば、ある時間及び空間において、オブジェクト及びメタデータを相互に特定することができる。即ち、時間的に同期を取れば、オブジェクトが表示されている時間においては、当該オブジェクトに対応するメタデータにリンクする。また、空間的に同期を取れば、オブジェクトが表示されている座標域を指示することにより、当該オブジェクトに対応するメタデータにリンクする。このように同期により対応づけを行えば、受信者は自然な操作感覚で当該オブジェクトのメタデータへリンクすることができるようになる。
【０００７】
また、本発明による文字・図形伝送システムは、前記オブジェクト及びメタデータを出力するにあたり、時間的に前記オブジェクト及びメタデータを非同期とすることを特徴とするものである。
本構成によれば、メタデータにリンクするオブジェクトを共通の文字や図形で表わすことができる。即ち、詳細項目やインターネットにリンクするためのアイコンを統一化することができる。
【０００８】
また、本発明による文字・図形オブジェクト及びメタデータ発生装置は、
デジタル放送におけるデータ放送用チャンネルにメタデータを多重する文字・図形オブジェクト及びメタデータ発生装置であって、
文字・図形情報から関連のオブジェクトを出力する手段と、
前記文字・図形情報をメタデータに変換して出力する手段と、
前記オブジェクト及びメタデータを時間的に同期又は非同期を切替可能なようにデジタル放送におけるデータ放送用チャンネルに多重化して出力する手段と、
受信側で、分離されたオブジェクトが表示され、そのオブジェクトが指示されることによって、どのオブジェクトが選択されているのかを認識可能となるように、送信するメタデータをオブジェクト毎に異なるＩＤで関連付ける手段と、
を具えることを特徴とするものである。
また、本発明の文字・図形オブジェクト及びメタデータ発生装置によって出力されたオブジェクト及びデータ放送用チャンネルに多重されたメタデータを受信する装置であって、分離されたオブジェクトを表示するとともに、そのオブジェクトを指示することによって、どのオブジェクトが選択されているのかを認識可能となるようにオブジェクトの色、輝度又は形状を変化させ、且つ当該オブジェクトのＩＤで関連付けられたメタデータに表示を切り替える手段を備える装置も特徴付けられる。
本構成によれば、上述したようにインタラクティブかつ双方向性を具えたデータ放送サービスを提供するための、映像及びデータ放送用データを提供できる。
【０００９】
また、本発明による文字・図形オブジェクト及びメタデータ発生装置は、
前記オブジェクト及びメタデータを出力するにあたり、時間的及び／または空間的に前記オブジェクト及びメタデータの同期を取ることを特徴とするものである。
本構成によれば、上述したように、ある時間及び空間において、オブジェクト及びメタデータを相互に特定することができる。
【００１０】
また、本発明による文字・図形オブジェクト及びメタデータ発生装置は、
前記オブジェクト及びメタデータを出力するにあたり、前記オブジェクト及びメタデータを時間的に非同期とすることを特徴とする。
本構成によれば、上述したように、メタデータにリンクするオブジェクトを共通の文字や図形で表わすことができる。即ち、詳細項目やインターネットにリンクするためのアイコンを統一化して、視聴者の操作性の向上を図ることができる。
なお、本発明については、上述したようにシステム及び装置の形態として説明したが、本発明には、これらに対応する方法も含まれることに留意されたい。
【００１１】
【発明の実施の形態】
以下、添付図面を用いて本発明による文字・図形伝送システムがデジタル放送においてどのように使われるかを、従来のシステムと比較しながら説明する。図１は従来の電子文字・図形発生装置を用いた文字・図形伝送システムの構成図であり、図２は本発明による文字・図形オブジェクト及びメタデータ発生装置、及びそれを用いた文字・図形伝送システムの構成図である。
図１に示すように、従来の文字・図形発生装置１００は、入力された文字・図形情報に基づき電子的にスーパー図形・文字映像を出力し、スーパーインポーズ装置１５０は、この出力されたスーパー図形・文字映像及び映像入力を受け取り、両者を合成してスーパー済みの映像出力を生成する。この映像出力は送信機によって放送され、受信機側では、これを受け取り、スーパー済みの受信画像として表示する。このように、入力される文字・図形に関する情報は、スーパー映像を生成する過程で消失し、出力されない。従って受信機側でもこれを利用することができない。この場合、受信機側における視聴者と放送局側とのインターラクションは、一方向のみであって、視聴者は単にスーパーされた映像を見るだけである。
【００１２】
図２に示すように、本発明による文字・図形伝送システムでは、従来の電子図形・文字発生装置１００では消失していた図形・文字に関する情報を、スーパー映像とは別にメタデータとして変換して出力する機能を有する。本発明による文字・図形オブジェクト及びメタデータ発生装置２００に入力される文字・図形情報は、スーパー映像を生成する文字・図形オブジェクト発生部２１０と、文字図形に関連する情報をメタデータ化するメタデータ変換部２２０とに分配される。従来と同様に、スーパーインポーズ装置２５０によって、生成されたスーパー映像は通常の映像にスーパーインポーズされ、MPEGエンコーダ２６０によってアナログからデジタルの映像ストリームに変換される。その後、この映像ストリームは、多重化装置２７０によって規定のプロトコルに従いデジタル放送の映像チャンネルに多重される。
【００１３】
一方、メタデータ変換部２２０によってメタデータ化された文字・図形オブジェクト情報即ちメタデータは、データ放送用ストリームに加えられ、データ放送のデータ放送用チャンネルに多重される。メタデータの種類としては、文字・図形内容、スーパー位置、文字形状情報、詳細情報へのリンク方法などを記述した制御コマンドなどである。受信側では、DEMUX２８０によって、まず送られてくる放送ストリームを映像ストリームとデータ放送用のデータストリームとに分解する。映像ストリームの方は、スーパー付きの映像に関するデータであり、MPEGデコーダ２９０によってデコードされ、映像としてモニタに表示される。モニタに表示されたスーパー映像部分をリモコンなどで指示・選択することにより、メタデータに表示を切り替える。即ち、データ放送用のデータストリームには、スーパーされた文字・図形の関連情報であるメタデータを含んでおり、表示されている映像と動的にリンクして情報を提示するようなデータ放送サービスに利用することができる。
【００１４】
図３に、本発明によるシステムを用いて実現できるデータ放送サービスの例を模式的に示す。この例では、文字・図形オブジェクト関連情報としては、文字・図形の形状、文字・図形に割り振られているＩＤ情報、及び、それぞれのＩＤにリンクしたＢＭＬ（Broadcast Markup language）コンテンツ情報からなり、これらはデジタル放送のデータチャンネルから取り出される。表示する映像は、文字・図形がスーパーされている映像であり、映像内のスーパー文字・図形がデータチャンネルの文字・図形オブジェクト関連情報に対応している。受信者は、映像中の興味のあるオブジェクト（文字・図形スーパー）をポインティングして選択する。受信機では、ポインティングされた文字・図形オブジェクトに関連したデータ放送のＢＭＬコンテンツを呼び出し、表示を切り替える。この機能を利用すると、例えば、映像に「詳細情報」というようなスーパー映像を入れ、視聴者がそのスーパー文字をポインティングしたときに、ＢＭＬで記述した詳細情報を表示するよなインタラクティブな放送サービスを実現できる。図３の例では、切り替えて表示されるのはＢＭＬコンテンツであるが、ネットワークを介してインターネットに接続されたウェブページを表示させることもできる。
【００１５】
図４は、受信機側で映像と文字・図形オブジェクトをどのように関連付けるかを模式的に示したものである。入力されたデジタル放送ストリームは、デマルチプレックス（DEMUX）４１０によって映像データと文字図形オブジェクト情報とに分解される。このうち、映像データ（スーパーされた映像）は、表示用に色分解されて、R、Ｇ、Ｂプレーン４２０に供給される。一方、データストリームから取り出された文字・図形オブジェクト情報の中からオブジェクト形状に関する情報が抽出され、Overlayプレーン４３０に展開される。このとき、映像中の映像オブジェクトとOverlay上のオブジェクトとは1対1に対応することになる。オブジェクト形状は、複数の文字・図形オブジェクトを扱えるように、それぞれのオブジェクトが存在するところをラベルＩＤで表わすラベル画像とする。Overlayプレーンにおいては、ユーザーのインターラクションの監視、ポインティングデバイスの位置取得、選択時における選択オブジェクトの色を変えるなどの処理の実行画面が表示される。
【００１６】
図５に、２つのスーパーがある場合のラベル画像の例を示す。図５に示すように、この例では、文字スーパー「エジプト文明」が存在する部分がラベルＩＤ＝１、文字スーパー「メソポタミア文明」が存在する部分がラベルID＝２、その他のバックグラウンドがラベルＩＤ＝０の３種類のラベル画像である。このラベル画像を利用して、受信者が映像中の興味ある文字・図形オブジェクトのラベルＩＤの取得が簡単に行うことができる。受信者が所望の文字・図形オブジェクトをポインティングしてクリックなどの選択動作をすることにより、ポインティングされた位置にあるOverlayプレーン上に展開されているラベルＩＤの値が選択される。このように、一旦文字・図形オブジェクトの特定が行われれば、それにリンクした形で文字・図形オブジェクトの関連情報を取得可能である。また、オブジェクトを選択したとき、受信者にどのオブジェクトが選択されているかを知らせるために、選択されたオブジェクトの色、輝度、或いは形状を変えるような処理を行うこともできる。
【００１７】
次に、本発明による文字・図形オブジェクト及びメタデータ発生装置を、更に詳細に説明する。図６に、本発明を実現する文字・図形オブジェクト及びメタデータ発生装置６００の構成を説明するブロック図を示す。本装置は、文字・図形オブジェクト発生部６１０、メタデータ変換部６２０から構成される。前述したように、文字・図形オブジェクト発生部６１０は、従来の文字・図形オブジェクト発生装置と同じ機能を有するものであり、文字や図形のパターン映像、スーパー文字・図形映像、即ち文字・図形オブジェクトを電子的に発生する。一方、メタデータ変換部６２０は新しい機能であり、発生した文字・図形オブジェクトに関する情報をメタデータに変換して出力する。
メタデータ変換部６２０で発生した情報は、まとまった文字・図形列を１つのオブジェクトとして扱い、複数の文字・図形オブジェクトに対応できるように、文字・図形オブジェクト毎にオブジェクトIDを持つ。例えば、図７に示すような文字・図形オブジェクトに対しては、オブジェクトＩＤ＝１が「ＮＨＫ」、オブジェクトＩＤ＝２が「ＢＢＣ」、オブジェクトＩＤ＝３が「ＡＢＣ」というＩＤがそれぞれ割り振られる。メタデータ変換部で出力されるメタデータ、即ち文字・図形オブジェクトに関する情報は、文字・図形オブジェクト毎に、以下に列挙する情報を含むものである。
【００１８】
１．文字・図形オブジェクトＩＤ。
２．文字・図形位置情報（例えば文字・図形オブジェクトを囲む最小矩形に関する情報）。
３．文字・図形形状情報（映像図形・文字が存在する領域と存在しない領域を表わすマスク画像）。
４．文字・図形オブジェクトで特定される意味的内容（テキスト）。
５．文字図形オブジェクトの関連情報。
１〜４までの情報は、入力される文字・図形情報を所定のデータフォーマットに変換してメタデータ化したものである。５の情報は、入力される文字・図形情報以外のものであり、オペレータが発生した文字・図形オブジェクトに関連する情報を意図的に付加することができる。例えば、図６の例では、それぞれの放送局のウェブサイトのアドレス情報などを関連付けることができる。どのような情報を関連付けるかはユーザの任意であり、またこのような関連情報の付加は自動的に行うこともできる。例えば、外部に別途設けられた辞書データベースを利用することにより、このデータベースからオブジェクトに関連する情報を自動的に抽出して５の関連情報に付加するような処理を行うこともできる。
【００１９】
本装置より出力される映像文字・図形（即ち文字・図形オブジェクト）と文字・図形オブジェクト情報（即ちメタデータ）とは、空間的には上記情報を用いて特定し合うことができる。また、時間的に文字・図形オブジェクトとメタデータとの同期を取り、ある時間に出力されているメタデータと文字・図形オブジェクトとを特定し合うことも可能である。例えば、図７に示した映像図形・文字について、時間的にそれぞれの文字・図形オブジェクトが図８のように出力されているものと仮定する。このとき、図８に示すように、それぞれの文字・図形オブジェクト情報を、それぞれに対応する文字・図形オブジェクトと時間的に同期を取りながら出力する。このように同期を取りながら出力することによって、ある時間における文字・図形オブジェクトを文字・図形オブジェクト情報から特定することが可能になる。
【００２０】
更に、放送局内の制御情報を制御入力として、文字・図形オブジェクト（スーーパー文字・図形）と文字・図形オブジェクト情報を非同期に切り替えることも可能である。例えば、ニュース番組でNHKなどの放送局のロゴマークをニュース番組のあいだ、常にニュース映像にスーパーしていることを想定する。この場合、文字・図形オブジェクトとしての映像出力は、常に、NHKロゴマークを出力している。一方、メタデータとしての文字・図形オブジェクトに関連する情報は、放送局内の制御情報を用いれば、例えば、ニュースの項目毎に切り替えることが可能となる。この機能によって、ニュース項目毎にその詳細な情報をデータ放送チャンネルやインターネットなどで閲覧するためのアイコン映像を統一化できる。
【００２１】
なお、本発明は、上記実施の形態に限定されるものではなく、幾多の変更及び変形が可能である。例えば、本実施例では、通常デジタルテレビ放送における利用形態を例示したが、本発明によるシステム及び装置は、地上波、衛生放送などの放送形態だけに制限されるものではなく、ケーブルテレビ、インターネット放送などにも応用可能である。
【００２２】
【発明の効果】
本発明による文字・図形伝送システム、または文字・図形オブジェクト及びメタデータ発生装置を用いることにより、映像文字・図形に関する情報を、容易に入手することが可能になる。また、本発明によるシステム及び装置を用いることにより、画像のインデキシングが簡単になる。また、本発明による装置から出力された文字・図形オブジェクト情報（メタデータ）をデジタル放送のデータチャンネルに挿入することにより、受信端末で、映像内の文字・図形映像を用いるインタラクティブな操作が可能になる。例えば、映像にスーパーされているインターネットアドレスに関する文字・図形オブジェクトをクリックなどで指示・選択して、Webページにアクセスするような操作が可能になる。
【図面の簡単な説明】
【図１】  従来の電子文字・図形発生装置を用いた文字・図形伝送システムの構成図である。
【図２】  本発明による文字・図形オブジェクト及びメタデータ発生装置、及びそれを用いた文字・図形伝送システムの構成図である。
【図３】  本発明によるシステムを用いて実現できるデータ放送サービスの例を模式的に示したものである。
【図４】  受信機側で映像と文字・図形オブジェクトをどのように関連付けるかを模式的に示したものである。
【図５】  ２つのスーパーがある場合のラベル画像の例を示したものである。
【図６】  本発明を実現する文字・図形オブジェクト及びメタデータ発生装置の構成を説明するブロック図である。
【図７】  文字・図形オブジェクトの例を示したものである。
【図８】  映像文字・図形と文字図形オブジェクトとの時間的同期を模式的に示したものである。
【符号の説明】
１００  文字・図形発生装置
１５０  スーパーインポーズ装置
２００  文字・図形オブジェクト及びメタデータ発生装置
２１０  文字・図形オブジェクト発生部
２２０  メタデータ変換部
２５０  スーパーインポーズ装置
２６０  MPEGエンコーダ
２７０  多重化装置
２８０  DEMUX
２９０  MPEGデコーダ
３００  文字・図形オブジェクト及びメタデータ発生装置
３１０  文字・図形オブジェクト発生部
３２０  メタデータ変換部
４１０  DEMUX
４２０  Ｒ、Ｇ、Ｂプレーン
４３０  Overlayプレーン
６００  メタデータ発生装置
６１０  文字・図形オブジェクト発生部
６２０  メタデータ変換部
【図１】
0004331394.tif 000002
【図２】
0004331394.tif 000003
【図３】
0004331394.tif 000004
【図４】
0004331394.tif 000005
【図５】
0004331394.tif 000006
【図６】
0004331394.tif 000007
【図７】
0004331394.tif 000008
【図８】
0004331394.tif 000009