(57)【要約】映像番組のデジタルデータを受信する受信部（１）と、受信した番組映像のデジタルデータを各々のオブジェクトの符号化データに分離する解析部（２）と、各オブジェクトの符号化データを復号する復号部（３）と、復号されたオブジェクトから再生映像を合成する合成部（５）と、合成された再生映像を表示する表示部（９）とを備えたデータ受信装置において、任意のオブジェクトの画面内での合成位置を移動させるための入力装置（６）と、画面内での注目領域を特定するための注目領域情報に基づき、入力装置（６）により移動が指示されたオブジェクトが、前記注目領域に重ならないか否かを判定する制限判定部（８）とを備え、前記オブジェクトと前記注目領域とが重なる場合には、前記注目領域の属性を記述した制限属性情報に基づき、前記オブジェクトの移動又は合成を制限するものである。
2003041405.tif 000002
【特許請求の範囲】
【請求項１】
複数のオブジェクトの符号化データが多重化された番組映像のデジタルデータを受信する受信部と、
前記受信した番組映像のデジタルデータを各々のオブジェクトの符号化データに分離する多重化分離部と、
前記分離されたオブジェクトの符号化データを復号する復号部と、
前記復号されたオブジェクトを合成し、再生映像を形成する合成部と、
前記再生映像を画面に表示する表示部とを備えたデータ受信装置において、
任意のオブジェクトの画面内での合成位置の移動を指示する入力部と、
前記番組映像のデジタルデータに含まれる、画面内での注目領域を特定するための注目領域情報に基づき、前記入力部により移動が指示されたオブジェクトが、前記注目領域に重なるか否かを判定する判定部と、
前記オブジェクトと前記注日領域とが重なる場合には、前記番組映像のデジタルデータに含まれる、前記注目領域の属性を記述した制限属性情報に基づき、前記オブジェクトの移動及び／又は合成を制限する制限部とを備えたことを特徴とするデータ受信装置。
【請求項２】
前記注目領域は、前記番組映像に含まれる前記オブジェクトであり、
前記注目領域情報は、該オブジェクトの形状情報であることを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項３】
前記制限属性情報には、前記オブジェクトごとの優先度が記述されており、
前記制限部は、前記注目領域が前記オブジェクトに重なる場合にはＪ前記優先度の比較により前記オブジェクトの移動の制限を行うことを特徴とする前記請求の範囲第２項に記載のデータ受信装置。
【請求項４】
前記制限属性情報には、前記注目領域ごとに、前記オブジェクト識別情報と、移動制限情報と、が記述されていることを特徴とする前記請求の範囲第１項乃至第３項のいずれかに記載のデータ受信装置。
【請求項５】
特定の注目領域が、全てのオブジェクトに対して同じ属性を持つ場合には、前記制限属性情報には、前記特定注目領域に対応する前記オブジェクト識別情報が記述されていないことを特徴とする前記請求の範囲第４項に記載のデータ受信装置。
【請求項６】
前記制限属性情報には、前記オブジェクトごとに移動制限されている注目領域の識別情報が記述されていることを特徴とする前記請求の範囲第１項乃至第３項のいずれかに記載のデータ受信装置。
【請求項７】
前記制限部は、前記注目領域が前記オブジェクトに重なる部分を、透過度信号を用いて前記オブジェクトを合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする前記請求の範囲第１項乃至第６項のいずれかに記載のデータ受信装置。
【請求項８】
前記制限部は、前記注目領域が前記オブジェクトに重なる場合、前記オブジェクトの縮小映像を前記注目領域の近傍に合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする前記請求の範囲第１項乃至第６項のいずれかに記載のデータ受信装置。
【請求項９】
前記制限部は、前記注目領域が前記オブジェクトに重なる場合、前記オブジェクトを示すアイコン又は記号映像を前記注目領域の近傍に合成するよう制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする前記請求の範囲第１項乃至第６項のいずれかに記載のデータ受信装置。
【請求項１０】
前記番組映像のデジタルデータは、前記注目領域情報が有効であるかどうかを示す領域情報有効フラグを含み、
前記制限部は、前記領域情報有効フラグにより、前記注目領域情報が有効であることが示されている場合には、最後に受信した前記注目領域情報を用いて、前記オブジェクトの移動の制限を行い、
前記注目領域情報が無効であることが示されている場合には、前記注目領域情報の存在にかかわらず、前記オブジェクトの移動の制限を行わないことを特徴とする前記請求の範囲第１項乃至第９項のいずれかに記載のデータ受信装置。
【発明の詳細な説明】
技術分野
本発明は、複数のオブジェクトで構成された番組映像を受信して再生するデータ受信装置に関するものである。
背景技術
近年開始されたディジタルテレビ放送においては、圧縮技術を利用した番組映像の提供が行われている。この圧縮技術を利用した番組映像の一つとして、ＭＰＥＧ−４符号化のオブジェクトの概念を用いたものが考えられる。ＭＰＥＧ−４符号化では、背景映像や番組の登場人物などの部品画像や音声などの映像を構成する要素と、それらのオブジェクトの合成情報とを個々に符号化する。
従って、ユーザーは例えばオブジェクト化された物件（部品画像）の表示・非表示を切り替えたり、オブジェクト表示の位置をレイウクトする技術が考えられる。例えば特開２０００−１７５１１８号公報では、オブジェクトを含むディジタルテレビ放送を受信し、ユーザーにより選択されたオブジェクトの移動、拡大／縮小、表示のオン／オフを任意に設定することが可能な放送受信装置が提案されている。
しかしながら、ユーザーが受信装置にて配信された映像オブジェクトの表示位置を変更したり、表示・非表示を切り替えたりすると、ユーザー側の受信装置で再生される番組映像は、配信側が意図したものとは異なる。配信される映像に番組スポンサーの広告映像が含まれている場合、配信側はこの広告映像をユーザーに見てもらうことを意図して配信するが、番組映像に含まれる映像オブジェクトがユーザーにより広告映像の上に移動されてしまうと、配信側の意図に反してその広告映像は映像オブジェクトに隠されることになり、該ユーザーの受信装置では表示されない。
一方、映像オブジェクトの移動を完全に禁止すれば上述の問題を回避することはできるが、画面レイアウトを自由に変更できなくなり、ユーザーの利便性を損なうことになる。配信側が受信装置側で再生されている映像状態をフィードバックすることで受信装置から受け、そのフィードバックされた情報を判定し、配信側が見てもらいたい映像が隠されてしまっている場合には、オブジェクトの位置を変更するようにデータを配信すればよいが、特定のユーザーに対して特定のデータを配信するのは困難であり現実的ではない。
本発明は、上記課題に鑑みてなされたものであり、配信側の意図を損なわない範囲で、ユーザーが自由に画面レイアウトを変更することが可能なデータ受信装置を提供するものである。
発明の開示
本発明は、上記の目的を達成するため、次の構成を有する。
本願の第１の発明は、複数のオブジェクトの符号化データが多重化された番組映像のデジタルデータを受信する受信部と、前記受信した番組映像のデジタルデータを各々のオブジェクトの符号化データに分離する多重化分離部と、前記分離されたオブジェクトの符号化データを復号する復号部と、前記復号されたオブジェクトを合成し、再生映像を形成する合成部と、前記再生映像を画面に表示する表示部とを備えたデータ受信装置において、任意のオブジェクトの画面内での合成位置の移動を指示する入力部と、前記番組映像のデジタルデータに含まれる、画面内での注目領域を特定するための注目領域情報に基づき、前記入力部により移動が指示されたオブジェクトが、前記注目領域に重なるか否かを判定する判定部と、前記オブジェクトと前記注目領域とが重なる場合には、前記番組映像のデジタルデータに含まれる、前記注目領域の属性を記述した制限属性情報に基づき、前記オブジェクトの移動及び／又は合成を制限する制限部とを備えたことを特徴とする。
本願の第２の発明は、前記注目領域が、前記番組映像に含まれる前記オブジェクトであり、前記注目領域情報が、該オブジェクトの形状情報であることを特徴とする。
本願の第３の発明は、前記制限属性情報には、前記オブジェクトごとの優先度が記述されており、前記制限部が、前記注目領域が前記オブジェクトに重なる場合には、前記優先度の比較により前記オブジェクトの移動の制限を行うことを特徴とする。
本願の第４の発明は、前記制限属性情報には、前記注目領域ごとに前記オブジェクト識別情報と、移動制限情報と、が記述されていることを特徴とする。
本願の第５の発明は、特定の注目領域が、全てのオブジェクトに対して同じ属性を持つ場合には、前記制限属性情報には、前記特定注目領域に対応する前記オブジェクト識別情報が記述されていないことを特徴とする。
本願の第６の発明は、前記制限属性情報には、前記オブジェクトごとに移動制限されている注目領域の識別情報が記述されていることを特徴とする。
本願の第７の発明は、前記制限部が、前記注目領域が前記オブジェクトに重なる部分を、透過度信号を用いて前記オブジェクトを合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする。
本願の第８の発明は、前記制限部が、前記注目領域が前記オブジェクトに重なる場合、前記オブジェクトの縮小映像を前記注目領域の近傍に合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする。
本願の第９の発明は、前記制限部が、前記注目領域が前記オブジェクトに重なる場合、前記オブジェクトを示すアイコン又は記号映像を前記注目領域の近傍に合成するよう制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする。
本願の第１０の発明は、前記番組映像のデジタルデータが、前記注目領域情報が有効であるかどうかを示す領域情報有効フラグを含み、前記制限部が、前記領域情報有効フラグにより、前記注目領域情報が有効であることが示されている場合には、最後に受信した前記注目領域情報を用いて、前記オブジェクトの移動の制限を行い、前記注目領域情報が無効であることが示されている場合には、前記注目領域情報の存在にかかわらず、前記オブジェクトの移動の制限を行わないことを特徴とする。
発明を実施するための最良の形態
以下、本発明の実施形態について、図面とともに詳細に説明する。
図１は本実施形態におけるデータ受信装置の概略構成を示すブロック図である。本実施形態のデータ受信装置は、図１に示すように、受信部１、解析部２、復号部３、映像管理部４、合成部５、入力装置６、入力操作解析都７、制限判定部８、表示部９を備えて構成している。
受信部１では、配信側により放送映像として送信される番組映像のデジタルデータを受信する。この番組映像デジタルデータは、少なくも一つ以上の符号化された映像オブジェクトを含んでいる。ここで、映像オブジェクトとは矩形あるいは任意の形状の部品画像をいう。この映像オブジェクトは、例えばＭＰＥＧ−４により符号化される。ＭＰＥＧ−４は画像の構成要素であるオブジェクトを、それぞれ別の方式で符号化する機能を有する。
配信側はこれらの映像オブジェクトを組み合わせて番組映像を作成することが可能である。例えば、風景などを撮影した自然画像と、人物が撮影された映像から人物だけを抜き出した映像とを合成して配信する。この合成は、従来のように配信側で行うことも可能だが、本実施形態のようにそれぞれの符号化データとそれらの合成情報（シーン記述情報）とを多重化して配信することで、ユーザーの受信装置側で合成・表示することが可能である。
この映像オブジェクトは、画素値信号（カラー情報）、形状信号、透過度信号等で構成される。形状信号は、各画素がオブジェクトの外部であるか内部であるかを示した識別データで、２値信号として規定される。未実施形態では、この形状信号を用いて、映像オブジェクトが配信側が指定する特定注目領域にあるかどうかを判定する。また、透過度信号は、各画素について、０を透明、２５５を不透明とする８ビットで表現され、背景と合成する際の比率を示すデータである。
本実施形態において、配信される番組映像データには、この映像オブジェクトや合成情報（シーン記述情報）などに加えて、注目領域情報と制限属性情報とが多重化されたものとする。注目領域とは、配信側が映像オブジェクトの移動を制限する領域であり、例えば、ユーザーに視聴を望む映像の表示領域が映像オブジェクトの移動により隠されることを避ける際に設定する。そして、注目領域情報とは、その注目領域を表すデータである。
制限属性情報は、その注目領域の属性を記述したものであり、詳細は後述する。上述の注目領域には、背景映像のような表示系全体の一部を設定してもよいし、映像オブジェクトを設定してもよい。本実施形態では、背景映像は受信装置の表示系全体に表示される映像とし、ユーザーは背景映像に対して移動指示できないものとする。まず、注目領域として背景映像内のある領域を指定した場合について述べる。
解析部２では、注目領域情報と制限属性情報とが多重化された番組映像データを適宜分離する。すなわち、各映像オブジェクトの符号化データやそれらの合成情報（シーン記述情報）などのデータに分離する。分離された各映像オブジェクトデータは、復号部３にてそれぞれ復号される。また、合成情報や注目領域情報、制限属性情報などは、映像管理部４に送られる。
映像管理部４では、各映像オブジェクトの合成位置などを記述した合成情報（シーン記述情報）を解析する。また、注目領域情報や制限属性情報などを解析、管理する。ユーザーは入力装置６を用いて映像オブジェクトの移動指示などを行う。入力装置郎６は、少なくとも映像オブジェクトの選択ができ、選択した映像オブジェクトを移動させる位置を指定可能であれば、マウス、キーボード、リモコンなどの形状および方式は問わない。
入力操作解析部７では、入力装置６を用いてユーザーが行った操作を解析する。解析された操作は、制限判定部８に出力される。制限判定部８は、ユーザーが入力装置６を用いて選択した映像オブジェクトの移動先が配信側によって禁止された注目領域に重なっているかどうかを判定する処理と、重なりが判定された場合に、注目領域に属する制限属性情報を用いて映像オブジェクトが移動可能かどうかを判定し、映像オブジェクトの移動先を決定する処理とを行なう。
制限判定部８での移動先が注目領域かどうかの判定には、映像管理部４から送られた注目領域情報や制限属性情報のデータと復号部３によってオブジェクトを復号する際に用いられる形状信号とを用いる。これらにより映像オブジェクトと注目領域が重なっていると判定された場合は、制限判定部８は移動先の注目領域の属性を記述した制限属性情報から、映像オブジェクトが移動可能かどうか、移動可能であれば、どのように移動されるかを判定する。
この判定結果に従い、映像オブジェクトが移動可能であれば、合成情報が更新され、制限判定部８から合成部５に送られる。移動不可と判定された場合には、合成情報は更新しない。また、制限判定部８によって変更された合成情報は、映像管理部４にも送られ、現在の合成情報が管理される。
合成部５では、制限判定部８によって出力された合成情報に従い、復号部３で復号された各映像オブジェクトを合成する。各映像オブジェクトの合成に際しては、透過度信号を用いる。合成された映像は、表示部９にてユーザーの受像装置に合わせた出力形式に変換された上で表示される。
次に、本実施形態における、注目領域情報の表現方法について説明する。図２は背景映像２１と時計を表す映像オブジェクトＯＢＪ１、人物を表す映像オブジェクトＯＢＪ２とを含む映像である。映像オブジェクトＯＢＪ１と映像オブジェクトＯＢＪ２とは、ユーザーの指示により移動させることができ、表示位置の変更が可能である。
このような番組映像において、背景映像２１中の領域２２は映像に番組スポンサーの商品映像といったＣＭ映像が表示される領域とする。このため、配信側は、領域２２に映像オブジェクトＯＢＪ１やＯＢＪ２が移動されて、背景映像の該当領域が隠されることを望まない。従って、配信側は領域２２を注目領域に設定し、合わせて、その注目領域を移動禁止領域に設定することで、映像オブジェクトＯＢＪ１や映像オブジェクトＯＢＪ２が領域２２に移動することを禁止する。この注目領域情報は、背景映像の毎フレーム毎に送信される。
図２においては、注目領域を移動禁止領域としたが、禁止領域に限らず、移動可能な領域として指定してもよい。指定された注目領域が移動禁止であるか、移動可能であるかは、後述する制限属性情報によって指定することができる。
配信側が注目領域を指定する方法としては、矩形での指定と自由曲線による任意な形状での指定が考えられる。矩形であれば、図３のように表示系座標の基準点からの距離（図３におけるＶとＨ）と指定矩形の縦横の長さ（図３におけるｈｅｉｇｈｔとｗｉｄｔｈ）とだけを情報として使用する方法がある。
また、対象とする領域形状が任意の形状であっても、その領域を内包する矩形と考えることで、矩形領域として注目領域を扱うことが可能である。しかし、任意の形状、例えば、人物などの領域、が内包される矩形を注目領域とした場合、注目領域として不要な部分も増え、映像オブジェクトの移動の自由度が減少する。
この自由度を減少させることなく注目領域を指定する方法として、背景映像に対して指定した注目領域の各画素を、バイナリマスクのように、任意の値で表したデータを用いる方法を用いる。これは、図２のように、番組映像中の全ての映像オブジェクトに対して背景映像の特定領域を注日領域とする場合、２値のデータで構わない。
すなわち、背景映像の全ての画素に対して、注目領域であるかないかが区別可能であればよい。例えば、図２における注目領域である領域２２に含まれる各画素を１で表し、それ以外の領域の画素を０で表したとすると図４（ａ）のようなデータが生成される。図４（ｂ）は図４（ａ）の破線で囲まれた部分を拡大したものであり、１マスが１画素を表す。
次に、図５に示すように番組映像中に複数の映像オブジェクトが含まれ、背景映像の注目領域の属性がそれぞれの映像オブジェクトで異なる場合、２値では表現できない。例えば、図５において、図中の領域Ａ、領域Ｂ、領域Ｃを注目領域と設定し、映像オブジェクトＯＢＪ１は領域Ａ，Ｃへの移動が禁止で、領域Ｂへの移動は可能であり、映像オブジェクトＯＢＪ２は領域Ａへの移動が可能で、領域Ｂ，Ｃへの移動は禁止であるような状態を表現することができない。
これを表現するには、２値ではなく、例えば多値（３値以上）によって表現する。この値を本実施形態では、領域ＩＤと呼ぶ。領域ＩＤは、それぞれの領域が区別できれば、任意の値を割り当ててよい。それぞれの領域に割り当てられた領域ＩＤは、図４と同様にその領域に含まれる全ての画素に対して、割り当てられる。このような注目領域の情報は、背景映像のフレームごとに付随して配信される。
これらの注目領域は、制限属性情報により属性を与えられる。この制限属性情報は、注目領域識別子、移動オブジェクト識別子、制限状態識別子を有している。
注目領域識別子は、配信側が移動制限を設定する注目領域を表す。移動オブジェクト識別子は、ユーザーが移動させることが可能な映像オブジェクトのうち、注目領域に移動された際に、制限を受ける映像オブジェクトを記述する。制限状態識別子は、ある注目領域に映像オブジェクトが移動された時に、その移動が可能かどうかを記述する。この制限属性情報の例を図６（ａ）に示す。
注目領域識別子は、それぞれの注目領域を識別するためのＩＤを記述する。図６（ａ）では図５（ａ）にて割り当てた注目領域のＩＤを用いた例である。移動オブジェクト識別子は、該当注目領域に移動された時に制限を受ける映像オブジェクトのＩＤが記述される。この制限、例えば、移動禁止や移動可能という状態は、制限状態識別子にて記述される。
前述したように、図５において、注目領域である領域Ａ、Ｂ、Ｃに対して、映像オブジェクトＯＢＪ１は領域Ａ，Ｃは移動禁止、領域Ｂは移動可能、映像オブジェクトＯＢＪ２は領域Ａは移動可能で、領域Ｂ，Ｃは移動禁止とした場合の領域属性情報が図６である。それぞれの映像オブジェクトに対して移動可能な領域は、制限されている領域以外の領域であるため、明示していない。
また、図６（ａ）に示した制限属性情報は、背景映像に設定された注目領域に対して、映像オブジェクトの移動禁止／可能について記述していると捉えることができる。このように記述されていた場合、番組映像が配信されている途中で、映像オブジェクトが追加され、その映像オブジェクトにも注目領域を設定する必要が生じた場合、配信側は制限属性情報を再構成し、配信する必要がある。
この手間を軽減させるために、制限属性情報は図６（ｂ）に示すように映像オブジェクトに着目して記述してもよい。図６（ｂ）のように記述することにより、番組映像が配信されている途中で映像オブジェクトを追加する場面があったとしても、配信側は増えた映像オブジェクトの制限属性情報だけを追加配信するだけで、受信側の対応も容易である。
注目領域に映像オブジェクトが移動したかどうかの判定には、映像オブジェクトに付随する形状信号を用いる。形状信号を復号したデータとユーザーが指定した移動後の位置から映像オブジェクトが合成される領域を算出し、映像オブジェクトの画素を注目領域情報と比較する。
映像オブジェクトの画素に対応する注目領域の領域ＩＤを取得し、映像オブジェクトのオブジェクトＩＤと注目領域の領域ＩＤの組み合わせが制限属性情報に記述されているか判定する。オブジェクトＩＤと領域ＩＤの組み合わせが制限属性情報に記述されていた場合は、映像オブジェクトと注目領域が重なっていると判定される。
重なりが判定された後、その映像オブジェクトと背景映像の注目領域の属性を制限属性情報の制限状態識別子から取得する。この比較を映像オブジェクトの各画素について逐次行う。一画素でも重なりが判定され、取得した属性が移動禁止であれば、その時点で映像オブジェクトの移動はできないとして、判定を終了する。
このようにして、映像オブジェクトの移動が判定された結果、その移動が認められた際には、ユーザーが指定した位置に映像オブジェクトを合成するように合成情報を設定する。逆に、移動ができない場合は、画面上にメッセージを表示したり、警告音等で注意を促し、新たに合成情報は設定しない。そのため、映像オブジェクトの移動は行われず、移動前の位置に映像オブジェクトは合成される。
図７にこの注目領域情報と制限属性情報を用いた処理のフローチャートを示す。まず、ユーザーが入力装置を用いて映像オブジェクトに対して移動指示を行ったかどうかを判定する（ステップ１）。映像オブジェクトに移動指示を与えなかった場合は、映像に対する変化は生じないので、映像管理部４から現在の合成情報を取得し（ステップ１１）、合成映像を作成する。
映像オブジェクトに移動指示が与えられた場合には、ユーザーからの入力を解析し、移動対象の映像オブジェクトとそのオブジェクトの移動先を獲得する（ステップ２）。そして、復号部３から復号された移動対象の映像オブジェクトの形状信号を獲得し移動後の形状信号を作成する（ステップ３）。
また、映像オブジェクトの移動先の形状信号と注目領域情報を比較し重なりを判定し（ステップ４）、重なりが判定されなかった場合は、合成情報を更新設定する（ステップ７）。重なりが判定された場合は、注目領域情報と制限属性情報を利用して、移動対象の映像オブジェクトに関する制限属性情報を獲得する（ステップ５）。
次に、ステップ５で獲得された制限属性情報の制限状態識別子を判定する（ステップ６）し、移動可能と判定された場合は、ステップ７で指定された移動位置へ映像オブジェクトを合成するように合成情報を設定し、その合成情報の映像管理部４へのフィードバックを行う。逆に、移動不可と判定された場合には、ユーザーに警告を発する（ステップ１２）。ここでは、新たに合成情報は設定しない。
また、上記のように設定された合成情報を基に、各映像オブジェクトの合成画像を作成し（ステップ８）、表示部９へ送る（ステップ９）。表示部９では送られてきた表示すべき映像をユーザーの受信装置に合わせて変換し、表示を行う（ステップ１０）。
このようにすることで、配信側が望む領域には、他の映像オブジェクトが移動されることがなくなり、配信側がユーザーに見てもらいたい映像は、常にユーザーの受信機にて表示される。また、指定した領域以外への映像オブジェクトの移動はユーザーの意思に従って可能なため、ユーザーの噂好に合わせた画面のレイアウトなどが可能となる。
上述の説明においては、注目領域の情報は背景映像のフレームごとに付随されているものとした。しかしながら、背景映像の動きが少ないと、配信側の望む注目領域も変化が少ない。このような場合、注目領域情報にも変化が生じないため、フレームごとに注目領域情報を配信することは冗長である。
この冗長さを減らすためには、注目領域に変化がない場合はフレームごとに配信せず、表示しようとする背景映像のフレームに注目領域情報が付随していない場合は、最後に送信された注目領域情報（最新の注目領域情報）を有効とすればよい。しかしながら、常に最後に送信された注目領域情報が有効であるとした場合、本当に注目領域がないのか、繰り返して用いてよいのかが明確ではない。
これを回避するために、例えば、領域情報有効フラグを用いる。このフラグは、注目領域情報が有効かどうかを示すフラグである。このフラグは有効／無効の２値を取る。有効の値を取る時は、最後に配信された注目領域情報を用いて判定を行う。無効の値が設定された時は、注目領域情報が存在しないものとし、映像オブジェクトは自由に移動させることができる。
この場合のフローチャートは図８のようになる。図７と異なる部分のみ、以下説明する。ステップ１にて移動指示があったと判定された場合、ステップ２、３を経た後、合成しようとしている映像の領域情報有効フラグを参照する（ステップ２１）。領域情報有効フラグが有効であれば、注目領域情報を獲得する。
注目領域情報を獲得するために、まず合成しようとする映像のフレームに注目領域情報が存在しているかどうかを判定する（ステップ２２）。注目領域情報も存在するのであれば、その付随する注目領域情報を従来どおり取得する（ステップ２３）。ステップ２２で、フレームに注目領域情報が存在しないと判定された場合は、最後に送られてきた注目領域情報を取得する（ステップ２４）。また、領域情報有効フラグが無効の場合には、比較は行わずユーザーの指定位置に映像オブジェクトを表示するように合成情報を設定する（ステップ７）。
これにより、配信データの冗長度を減らすことができ、配信データ量も減少させることができる。また、配信側の都合で一時的に映像オブジェクトの移動制限を解除するなどの利用が可能となる。
上記の説明では、注目領域と映像オブジェクトの対で制限属性情報を作成して移動制限を行った。しかしながら、番組映像が多数の映像オブジェクトで構成されている場合、全ての映像オブジェクトについて注目領域との属性を記述する必要があるため、制限属性情報のデータ量は増大する。これを回避するために、図６に示した制限属性情報を拡張して対応することが可能である。
全ての映像オブジェクトが同じ注目領域に対して同一の属性を持つ時、制限属性情報の移動オブジェクト識別子に映像オブジェクトのＩＤを記載しない。図９は、図５に示した番組映像において、領域Ｃを注目領域と設定し、その領域Ｃは全ての映像オブジェクトが移動できない領域であることを示した制限属性情報の例である。
これによって、移動オブジェクト識別子に特定の映像オブジェクトの記載がない場合、注目領域は全ての映像オブジェクトが移動することが禁止され、制限属性情報のデータ量とデータ作成の手間とを軽減させることが可能である。
本実施形態では、映像オブジェクトのＩＤを記載しない例を示したが、特定の領域ＩＤを持つ注目領城は常に移動禁止の属性を持つとしてもよい。また、移動オブジェクト識別子に全ての映像オブジェクトを示す特定のＩＤを設定し、記述してもよい。
これまでは、映像オブジェクトが移動する先の注目領域の属性が禁止であった場合、その映像オブジェクトは移動できないものとした。しかしながら、番組映像が図１０（ａ）に示す注目領域と図１０（ｂ）に示す制限属性情報とを持つ場合、注目領域である領域Ａは表示系のほぼ大半を占めており、映像オブジェクトＯＢＪ１は移動の自由度がほとんどない。
そこで、映像オブジェクトを移動した際に、映像オブジェクトの一部が移動禁止の属性を持つ注目領域に重なった場合、映像オブジェクトの注目領域と重なった部分を表示しないで合成する。この合成方法には、映像オブジェクトに付随する透過度信号から合成用の透過度信号情報を作成して用いる。
例えば、映像オブジェクトＯＢＪ１を図１０（ｃ）のように移動させた時、これまでは制限判定部８にて、背景映像と映像オブジェクトの重なりを１画素でも見つけると移動不可としていたが、ここでは全ての映像オブジェクト内の画素の重なり判定を行う。各画素において、注目領域にあると判定された場合、合成用の透過度信号情報を作成する。
透過度信号は、各画素と１対１で対応しており、０から２５５の間の値が設定される。その値が０であれば透明、２５５であれば不透明を意味する。移動対象の映像オブジェクトの透過度信号から、注目領域に重なっていると判定された画素の透過度信号を０（透明）と設定し、重なっていないと判定された画素の透過度信号は映像オブジェクトの透過度信号の値に設定することで、合成用の透過度信号情報を作成する。
この透過度信号情報を用いて映像オブジェクトを合成することで、合成時には図１０（ｄ）のように、映像オブジェクトが重なった注目領域は背景映像の画素が表示される映像となる。これによって、映像オブジェクトの移動の自由度を広げることが可能となる。
しかしながら、上記の場合、映像オブジェクトの移動先において、映像オブジェクト全体が注目領域に含まれてしまう場合、映像オブジェクトから作成される合成用の透過度信号情報の全ての画素の値が透明に設定され、図１１（ａ）のように映像オブジェクトが表示されない。これでは、再度、ユーザーが映像オブジェクトを移動させようとした際に、映像オブジェクトの位置を特定するのは困難である。
これを回避するために、合成用の透過度信号情報の値が全て０となってしまった場合、図１１（ｂ）に示すように、そのオブジェクトの縮小表示を注目領域のそばに合成・表示する。ユーザーはその縮小された映像オブジェクトに対して移動指示をすることで、再度の移動が可能となる。
上記の例においては、映像オブジェクトが隠れた際の表示を縮小表示としたが、表示する映像は、縮小表示に限らず、その映像オブジェクトを示すアイコンであってもよいし、該当映像オブジェクトを示す記号などで表示してもよい。
また、本実施例では映像オブジェクトの全ての画素が注目領域に含まれた場合について述べたが、全ての画素に限定するものではなく、例えば映像オブジェクトの全画素数に対する割合などを閾値とし、その閾値を超える数の画素が重なった時に、縮小表示とするとしてもよい。その時、映像オブジェクトの重なっていない部分（表示されている部分）も含め、映像オブジェクトは表示しない。
さらに、これまでは、図１２（ａ）のように移動先が注目領域であった場合、その属性が移動禁止であれば、移動させることができなかった。オブジェクトの移動に失敗した場合、ユーザーは再度移動をやり直さねばならない。この手間を回避するために、図１２（ｂ）に示したように移動先の注目領域が移動禁止属性の場合には、その領域の近傍を移動指示された映像オブジェクトの移動先として設定し、合成・表示してもよい。
また、配信側がユーザーに見てもらいたい映像がオブジェクトで配信される場合には、注目領域にその映像オブジェクトを指定することで、その映像オブジェクトの表示を確保することができる。例えば、配信側が番組映像中に含める広告映像を映像オブジェクトとして配信したいと望む場合、この広告映像のオブジェクトが他の映像オブジェクトにより隠されることは好ましくない。このように隠されることが好ましくない映像オブジェクトの例としては、広告映像の他にも、例えば、ニュース番組におけるニュースキャスターの映像オブジェクトや、番組中のニュース速報のテロップなどがある。
この時、注目領域として映像オブジェクトを指定し、制限属性情報の注目領域織別子にその映像オブジェクトのＩＤを記述する。すなわち、注目領域識別子には、背景映像の場合と同様に、配信側が移動制限を設定する映像オブジェクトのＩＤが記述される。
制限属性情報の他の識別子も同様に、移動オブジェクト識別子には、制限を受ける映像オブジェクトのＩＤを記述し、制限状態識別子には、その時の適用される属性を記述する。映像オブジェクト同士の重なりの判定に用いる注目領域情報には、注目領域識別子で記述される映像オブジェクトの形状信号を用いる。
図１３（ａ）において、映像オブジェクトＯＢＪ１と映像オブジェクトＯＢＪ２とに対して、それぞれが重ならないようにするには、映像オブジェクトＯＢＪ１、ＯＢＪ２を注目領域として設定し、制限属性情報を図１３（ｃ）のように設定する。
このように記述することで、例えば、映像オブジェクトＯＢＪ１を映像オブジェクトＯＢＪ２の上に移動させた時には、これまでの手順と同様にして、映像オブジェクトＯＢＪ１の形状信号と映像オブジェクトＯＢＪ２の形状信号から重なりが判定され、図１３（ｃ）の制限属性情報から移動禁止と判定される。このため、映像オブジェクトの移動は行われない。
しかしながら、図１３（ａ）のような映像が図１３（ｂ），（ｃ）に示す制限属性情報とともに配信された場合を考える。図１３（ｂ），（ｃ）に示されるように、領域Ａ，映像オブジェクトＯＢＪ１、映像オブジェクトＯＢＪ２はそれぞれ注目領域として設定されている。映像オブジェクトＯＢＪ１を移動させようとした場合、領域Ａも映像オブジェクトＯＢＪ２も移動禁止であるため、映像オブジェクトＯＢＪ１が実際に移動できる領域はほとんどない。
このような場合に、ユーザーによる映像オブジェクトの移動の自由度を増すため、映像オブジェクト間に優先度を設定する。この優先度は配信側にて設定され、番組映像に多重化されて配信される。図１３（ｄ）は映像オブジェクトＯＢＪ１より映像オブジェクトＯＢＪ２のほうが優先度が高い時の例である。
図１３（ｄ）の場合、優先度は０〜２５５の値で設定されているとする。優先度が低い映像オブジェクトＯＢＪ１が優先度の高いオブジェクトＯＢＪ２に重なるように移動された場合、制限属性情報がないため、合成方法は受信側のシステムによって異なり、表示方法は受信側のシステムに依存する。
図１３（ｅ）は移動させた映像オブジェクトが隠されてしまった例である。図１３（ｅ）ではユーザーが移動したオブジェクトＯＢＪ１が隠れており、加えて、映像オブジェクトＯＢＪ１は表示されていないのと同様なため、再度移動させることなどが困難である。また、逆に、映像オブジェクトＯＢＪ１が映像オブジェクトＯＢＪ２の上に表示されてしまい、配信側が見てもらいたい映像オブジェクトＯＢＪ１の表示が隠れてしまうことも起きる。
これを回避するために、ユーザーによる映像オブジェクトの移動などによって、優先度の低い映像オブジェクトが優先度の高い映像オブジェクトにより隠されてしまって表示されない場合には、図１３（ｆ）のように、隠されてしまう（優先度の低い）映像オブジェクトの縮小表示を隠している（優先度の高い）映像オブジェクトの横に表示する。
これにより、配信側が隠されたくない映像オブジェクトがユーザーの移動操作により隠されることなく表示され、また、ユーザーにとっても移動した映像オブジェクトを再度移動させることが容易になる。ここでは、縮小表示することとしたが、ユーザーの利便性が損なわれることがなければ、移動指示された映像オブジェクトをイメージしたアイコンを表示してもよいし、あるいは、その映像オブジェクトを示す記号を表示してもよい。
また、映像オブジェクト同士が完全に重なった場合としたが、重りを許す画素数を配信側あるいはユーザーが設定し、その値を閾値として閾値を画素数が重なっていると判定された場合に縮小表示を行ってもよい。
さらに、これまでは、図１４（ａ）に示すように、映像オブジェクトＯＢＪ１，ＯＢＪ２を注目領域として設定し、ユーザーが映像オブジェクトＯＢＪ１を映像オブジェクトＯＢＪ２に重なるように移動させる際に、図１４（ｂ）のように移動先の注目領域の属性が移動禁止であれば、映像オブジェクトは移動できなかった。映像オブジェクトの移動に失敗した場合、ユーザーは再度移動をやり直さねばならない。
この手間を回避するために、図１４（ｂ）に示すように注目領域である移動先の映像オブジェクトが移動禁止の場合には、図１４（ｃ）のように移動先の映像オブジェクトの近辺に移動指示された映像オブジェクトの移動先を設定するようにしてもよい。
これまで、ユーザーによる移動により、映像オブジェクトが隠れてしまう際に、その映像オブジェクトを縮小表示を行うことで、ユーザーの利便性を損なわない方法を示した。次に、映像オブジェクトが隠れてしまう際に、映像オブジェクトの一部を隠している映像オブジェクトの外に表示することで、縮小表示と同様に利便性を損なわない例を示す。図１３において、ユーザーの移動操作などにより、優先度が低い映像オブジェクトＯＢＪ１が図１３（ｅ）のような状態になった場合、図１５のようにＯＢＪ１を移動させ、その一部が隠しているオブジェクトＯＢＪ２の外に表示されるように移動させる。ユーザーはこのように外に表示された部分をマウスなどの入力装置にて指定し、ＯＢＪ１を移動させることができる。このようにすることで、隠れてしまう映像オブジェクトをユーザーは再度移動させることができ、利便性を損なうことがない。
図１５では、ＯＢＪ２の特定位置にＯＢＪ１を表示した例を示したが、表示させる位置と領域に特に限定はなく、ＯＢＪ１のどこか一部がＯＢＪ２の外に表示されているようにすれば良い。
優先度が低い映像オブジェクトが隠れてしまう場合に、縮小表示やその一部を表示する変わりに、その映像オブジェクトを隠してしまう優先度の高い映像オブジェクトを移動させて、優先度が低い映像オブジェクトを表示させてもよい。
例えば、図１３（ｅ）の状態では、ＯＢＪ１が隠れてユーザーが操作できなくなっている。ここで、図１３（ｆ）のようにＯＢＪ１をＯＢＪ２のそばに縮小表示させるのではなく、ＯＢＪ２を移動させることでＯＢＪ１を表示する。図１６（ａ）がその例であり、映像オブジェクトＯＢＪ２を映像オブジェクトＯＢＪ１が表示される位置まで移動させた状態を示す。これによりユーザーは映像オブジェクトＯＢＪ１を再度移動させることができる。
本例では、映像オブジェクトＯＢＪ１が完全に表示されるまで、映像オブジェクトＯＢＪ２を移動させた例であるが、映像オブジェクトＯＢＪ２にも移動の制限が存在するなどの理由により、映像オブジェクトＯＢＪ１を全て表示できるほど移動できない場合には、図１６（ｂ）のように映像オブジェクトＯＢＪ１を縮小表示し、映像オブジェクトＯＢＪ２を移動させて両者を表示させてもよい。あるいは、図１６（ｃ）のように、映像オブジェクトＯＢＪ１の一部が表示できる位置に映像オブジェクトＯＢＪ２を移動させてもよい。
これまで述べたように、本発明によれば、番組映像内での映像オブジェクトの移動を制限する領域を注目領域として設定し、その注目領域の情報を番組映像に合わせて配信するので、ユーザーによる映像オブジェクトの移動を限られた範囲で許可することにより、ユーザーの受信装置で再生される番組映像において常に配信側の意図を反映させことができる。
また、本発明によれば、領域有効フラグを用いることで、フレームごとに注目領域の情報を配信する必要がないため、番組映像を配信する際のデータ量を軽減することができる。
さらに、本発明によれば、注目領域ごとに映像オブジェクトの移動の制限が設定可能なため、配信側の意図を映像にきめこまかに反映させることができる。
そしてまた、本発明によれば、映像オブジェクトごとに移動が制限される注目領域を設定可能なため、番組途中で映像オブジェクトを追加する際は、追加する映像オブジェクトの移動が制限される注目領域の情報を追加するだけで容易に対応することができる。
また、本発明によれば、注目領域が全ての映像オブジェクトに対して同一の移動の制限を持つ場合には、全ての映像オブジェクトに対してそれぞれ別の制限を設定する必要が無いために、映像オブジェクトの移動の制限を設定する手間を軽減することができる。
さらに、本発明によれば、ユーザーが注目領域に映像オブジェクトを移動させた際に、映像オブジェクトの注目領域と重なった部分だけを表示しないように合成するので、ユーザーはより自由に映像オブジェクトを移動させることができる。
そしてまた、本発明によれば、ユーザーが注目領域に映像オブジェクトを移動させた際に、映像オブジェクトが隠されてしまうような場合は、映像オブジェクトの縮小表示や映像オブジェクトを示すアイコンや記号をその注目領域の近傍に表示することで、ユーザーは映像オブジェクトを見失うことなく、また、容易に再度移動させることが可能になる。
産業上の利用可能性
本発明に係るデータ受信装置は、複数のオブジェクトで構成された番組映像を受信して再生するに際し、配信側が希望する広告等の画面への表示を確保しながら、ユーザーが自由に画面内での映像オブジェクトのレイアウトの変更を可能とするデータ受信装置に適している。
【図面の簡単な説明】
図１は、本発明の一実施形態における放送受信装置を示すブロック図である。
図２は、本発明の一実施形態における画面構成の一例を示す説明図である。
図３は、本発明の一実施形態における矩形領域の指定方法例を示す説明図である。
図４は、本発明の一実施形態における領域を２値で指定する方法例を示す説明図である。
図５は、本発明の一実施形態における画面構成例と注目領域を多値で指定する例を示す説明図である。
図６は、本発明の一実施形態における領域属性情報の構成例を示す説明図である。
図７は、本発明の一実施形態における映像オブジェクトの移動処理を示すフローチャートである。
図８は、本発明の一実施形態における領域有効フラグを用いた映像オブジェクトの移動処理を示すフローチャートである。
図９は、本発明の一実施形態における注目領域を全ての映像オブジェクトに有効にした領域属性情報の構成例を示す説明図である。
図１０は、本発明の一実施形態における注目領域へ映像オブジェクトを移動させた際の映像合成例を示す説明図である。
図１１は、本発明の一実施形態における注目領域へ映像オブジェクトを移動させた際の縮小表示例を示す説明図である。
図１２は、本発明の一実施形態における注目領域へ映像オブジェクトを移動させた際に、注目領域の近傍に映像オブジェクトが移動される例を示す説明図である。
図１３は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に縮小表示される例を示す説明図である。
図１４は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に、移動先の映像オブジェクトの傍らに移動される例を示す説明図である。
図１５は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に、移動先の映像オブジェクトの外に移動した映像オブジェクトの一部が表示される例を示す説明図である。
図１６は、本発明の一実施形態における映像オブジェクトを他の映像オブジェクトに移動させた際に、２つの映像オブジェクトの各種表示態様を示す説明図である。
【図１】
2003041405.tif 000003
【図２】
2003041405.tif 000004
【図３】
2003041405.tif 000005
【図４】
2003041405.tif 000006
【図５】
2003041405.tif 000007
【図６】
2003041405.tif 000008
【図７】
2003041405.tif 000009
【図８】
2003041405.tif 000010
【図９】
2003041405.tif 000011
【図１０】
2003041405.tif 000012
【図１１】
2003041405.tif 000013
【図１２】
2003041405.tif 000014
【図１３】
2003041405.tif 000015
【図１４】
2003041405.tif 000016
【図１５】
2003041405.tif 000017
【図１６】
2003041405.tif 000018
【手続補正書】
【提出日】平成15年3月13日(2003.3.13)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数のオブジェクトの符号化データが多重化された番組映像のデジタルデータを受信する受信部と、
前記受信した番組映像のデジタルデータを各々のオブジェクトの符号化データに分離する多重化分離部と、
前記分離されたオブジェクトの符号化データを復号する復号部と、
前記復号されたオブジェクトを合成し、再生映像を形成する合成部と、
前記再生映像を画面に表示する表示部とを備えたデータ受信装置において、
任意のオブジェクトの画面内での合成位置の移動を指示する入力部と、
前記番組映像のデジタルデータに含まれる、画面内での注目領域を特定するための注目領域情報に基づき、前記入力部により移動が指示されたオブジェクトが、前記注目領域に重なるか否かを判定する判定部と、
前記オブジェクトと前記注日領域とが重なる場合には、前記番組映像のデジタルデータに含まれる、前記注目領域の属性を記述した制限属性情報に基づき、前記オブジェクトの移動及び／又は合成を制限する制限部とを備えたことを特徴とするデータ受信装置。
【請求項２】
（補正後）前記制限属性情報には、前記注目領域ごとに、オブジェクト識別情報と、移動制限情報と、が記述されていることを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項３】
（補正後）特定の注目領域が、全てのオブジェクトに対して同じ属性を持つ場合には、前記制限属性情報には、前記特定注目領域に対応する前記オブジェクト識別情報が記述されていないことを特徴とする前記請求の範囲第２項に記載のデータ受信装置。
【請求項４】
（補正後）前記制限属性情報には、前記オブジェクトごとに移動制限されている注目領域の識別情報が記述されていることを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項５】
（補正後）前記判定部は、前記オブジェクトが前記注目領域に重なる場合、警告表示を行うことを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項６】
（補正後）前記制限部は、前記注目領域が前記オブジェクトに重なる場合、前記オブジェクトの移動を行わないことを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項７】
（補正後）前記制限部は、前記オブジェクトが前記注目領域に重なる場合、前記オブジェクトを前記注目領域の近傍に合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項８】
（補正後）前記制限部は、前記オブジェクトが前記注目領域に重なる場合、前記オブジェクトの縮小映像を前記注目領域の近傍に合成するように制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項９】
（補正後）前記制限部は、前記オブジェクトが前記注目領域に重なる場合、前記オブジェクトを示すアイコン又は記号映像を前記注目領域の近傍に合成するよう制限することで、前記注目領域を隠さずに前記オブジェクトを表示可能にしたことを特徴とする前記請求の範囲第１項に記載のデータ受信装置。
【請求項１０】
前記番組映像のデジタルデータは、前記注目領域情報が有効であるかどうかを示す領域情報有効フラグを含み、
前記制限部は、前記領域情報有効フラグにより、前記注目領域情報が有効であることが示されている場合には、最後に受信した前記注目領域情報を用いて、前記オブジェクトの移動の制限を行い、
前記注目領域情報が無効であることが示されている場合には、前記注目領域情報の存在にかかわらず、前記オブジェクトの移動の制限を行わないことを特徴とする前記請求の範囲第１項乃至第９項のいずれかに記載のデータ受信装置。
【国際調査報告】
2003041405.tif 000019
2003041405.tif 000020
2003041405.tif 000021