(57)【要約】  フレームレート変換（ＦＲＣ）処理などの映像信号処理を備えた映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置において、第一の映像信号に第二の映像信号が重畳された映像の画像劣化を防止する。映像送信装置１には、映像合成情報に従って第一の映像信号に第二の映像信号を重畳処理する編集装置２と、その出力映像信号及び映像合成情報をエンコードする映像エンコード処理部３及び映像合成情報エンコード処理部４と、エンコード後のデータを多重化する多重化処理部５と、多重化データを送信する送信部６とを備える。映像受信装置１１には、多重化データを受信する受信部１２と、多重化データから映像データと映像合成情報とに分離する多重化データ分離部１３と、映像データ及び映像合成情報をデコードする映像デコード処理部１４及び映像合成情報デコード処理部１５と、デコードされた映像信号に対して所定の映像信号処理を行う映像信号処理部１６とを備える。映像信号処理部１６は、映像合成情報を用いて、第一の映像信号に重畳された第二の映像信号の領域に対する映像信号処理を適切に制御することで、映像信号処理による第二の映像信号の領域やその周辺の画像劣化を無くし、より高品質の映像を生成する。
2008123217.tif 000002
【特許請求の範囲】
【請求項１】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信する映像送信装置であって、
前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信することを特徴とする映像送信装置。
【請求項２】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号の位置を示す情報を含むことを特徴とする請求項１に記載の映像送信装置。
【請求項３】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号の領域を示す情報を含むことを特徴とする請求項１または２に記載の映像送信装置。
【請求項４】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする請求項１乃至３のいずれかに記載の映像送信装置。
【請求項５】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項１乃至４のいずれかに記載の映像送信装置。
【請求項６】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項１乃至５のいずれかに記載の映像送信装置。
【請求項７】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを受信する映像受信装置であって、
前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする映像受信装置。
【請求項８】
前記映像信号処理手段は、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする請求項７に記載の映像受信装置。
【請求項９】
前記映像信号処理手段は、動き補償処理を用いたインターレース／プログレッシブ変換部を有し、該インターレース／プログレッシブ変換部は、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする請求項７に記載の映像受信装置。
【請求項１０】
前記第二の映像信号に関する情報が、前記第二の映像信号によって表される映像の移動速度が０であることを示す場合、前記第二の映像信号が重畳された領域に対する動き補償処理の強度をゼロにすることを特徴とする請求項８または９に記載の映像受信装置。
【請求項１１】
前記第二の映像信号が重畳された領域とそれ以外の領域との境界部に対してフィルタ処理を施すことを特徴とする請求項１０に記載の映像受信装置。
【請求項１２】
前記映像信号処理手段は、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、
前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、
前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、
前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする請求項８乃至１１のいずれかに記載の映像受信装置。
【請求項１３】
前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする請求項１２に記載の映像受信装置。
【請求項１４】
前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする請求項１３に記載の映像受信装置。
【請求項１５】
前記動きベクトル演算部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする請求項１２に記載の映像受信装置。
【請求項１６】
前記映像信号処理手段は、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なるエッジ強調処理を行うことを特徴とする請求項７に記載の映像受信装置。
【請求項１７】
前記第二の映像信号が重畳された領域に対するエッジ強調処理の強度を、その他の領域に対するエッジ強調処理の強度から変化させることを特徴とする請求項１６に記載の映像受信装置。
【請求項１８】
前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにすることを特徴とする請求項１７に記載の映像受信装置。
【請求項１９】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項１７に記載の映像受信装置。
【請求項２０】
前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項１９に記載の映像受信装置。
【請求項２１】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項１７に記載の映像受信装置。
【請求項２２】
前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項２１に記載の映像受信装置。
【請求項２３】
請求項７乃至２２のいずれかに記載の映像受信装置を備えたことを特徴とする映像表示装置。
【請求項２４】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信する映像送信装置であって、
前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信することを特徴とする映像送信装置。
【請求項２５】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号の位置を示す情報を含むことを特徴とする請求項２４に記載の映像送信装置。
【請求項２６】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号の領域を示す情報を含むことを特徴とする請求項２４または２５に記載の映像送信装置。
【請求項２７】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする請求項２４乃至２６のいずれかに記載の映像送信装置。
【請求項２８】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項２４乃至２７のいずれかに記載の映像送信装置。
【請求項２９】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項２４乃至２８のいずれかに記載の映像送信装置。
【請求項３０】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信する映像受信装置であって、
前記第一の映像信号に対して、所定の映像信号処理を行う第一の映像信号処理手段と、
前記第二の映像信号に対して、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、
前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする映像受信装置。
【請求項３１】
前記第二の映像信号処理手段は、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする請求項３０に記載の映像受信装置。
【請求項３２】
前記第二の映像信号処理手段は、動き補償処理を用いた該インターレース／プログレッシブ変換部を有し、該インターレース／プログレッシブ変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする請求項３０に記載の映像受信装置。
【請求項３３】
前記第二の映像信号処理手段は、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、
前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、
前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、
前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする請求項３１または３２に記載の映像受信装置。
【請求項３４】
前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする請求項３３に記載の映像受信装置。
【請求項３５】
前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする請求項３４に記載の映像受信装置。
【請求項３６】
前記動きベクトル演算部は、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする請求項３３に記載の映像受信装置。
【請求項３７】
前記第二の映像信号処理手段は、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理を行うことを特徴とする請求項３０に記載の映像受信装置。
【請求項３８】
前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理の強度を制御することを特徴とする請求項３７に記載の映像受信装置。
【請求項３９】
前記第二の映像信号に対するエッジ強調処理の強度をゼロにすることを特徴とする請求項３８に記載の映像受信装置。
【請求項４０】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項３８に記載の映像受信装置。
【請求項４１】
前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項４０に記載の映像受信装置。
【請求項４２】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項４１に記載の映像受信装置。
【請求項４３】
前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項４２に記載の映像受信装置。
【請求項４４】
請求項３０乃至４３のいずれかに記載の映像受信装置を備えたことを特徴とする映像表示装置。
【請求項４５】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録する映像記録装置であって、
前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録することを特徴とする映像記録装置。
【請求項４６】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、
前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする映像再生装置。
【請求項４７】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録する映像記録装置であって、
前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録することを特徴とする映像記録装置。
【請求項４８】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、
前記第一の映像信号に対し、所定の映像信号処理を行う第一の映像信号処理手段と、
前記第二の映像信号に対し、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、
前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする映像再生装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理方法に関し、より詳細には、第一の映像信号と第二の映像信号とを合成して表示する場合、動き補償型のレート変換処理などに起因する第一及び第二の映像信号の表示部分の画像劣化の防止を目的とした、映像送信装置および映像受信装置に関する。
【背景技術】
【０００２】
動画像を具現する用途に従来から主として用いられてきた陰極線管（ＣＲＴ：Ｃａｔｈｏｄｅ  Ｒａｙ  Ｔｕｂｅ）に対して、ＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）は、動きのある画像を表示した場合に、観る者には動き部分の輪郭がぼけて知覚されてしまうという、所謂、動きぼけの欠点がある。この動きぼけは、ＬＣＤの表示方式そのものに起因することが指摘されている（例えば、特許第３２９５４３７号明細書；  “石黒秀一、栗田泰市郎、「８倍速ＣＲＴによるホールド発光型ディスプレイの動画質に関する検討」、信学技報、社団法人電子情報通信学会、ＥＩＤ９６−４（１９９６−０６）、ｐ．１９−２６”参照）。【０００３】
電子ビームを走査して蛍光体を発光させて表示を行うＣＲＴでは、各画素の発光は蛍光体の若干の残光はあるものの概ねインパルス状になる。これをインパルス型表示方式という。一方、ＬＣＤでは、液晶に電界を印加することにより蓄えられた電荷が、次に電界が印加されるまで比較的高い割合で保持される。特に、ＴＦＴ方式の場合、画素を構成するドット毎にＴＦＴスイッチが設けられており、さらに通常は各画素に補助容量が設けられており、蓄えられた電荷の保持能力が極めて高い。このため、画素が次のフレームあるいはフィールド（以下、フレームで代表する）の画像情報に基づく電界印加により書き換えられるまで発光し続ける。これをホールド型表示方式という。【０００４】
上記のようなホールド型表示方式においては、画像表示光のインパルス応答が時間的な広がりを持つため、時間周波数特性が劣化して、それに伴い空間周波数特性も低下し、動きぼけが生じる。すなわち、人の視線は動くものに対して滑らかに追従するため、ホールド型のように発光時間が長いと、時間積分効果により画像の動きがぎくしゃくして不自然に見えてしまう。【０００５】
上記のホールド型表示方式における動きぼけを改善するために、フレーム間に画像を内挿することにより、フレームレート（フレーム数）を変換する技術が知られている。この技術は、ＦＲＣ（Ｆｒａｍｅ  Ｒａｔｅ  Ｃｏｎｖｅｒｔｅｒ）と呼ばれ、液晶表示装置等において実用化されている。【０００６】
従来、フレームレートを変換する方法には、単に同一フレームの複数回繰り返し読み出しや、フレーム間の直線内挿（線形補間）によるフレーム内挿などの各種の手法がある（例えば、山内達郎、「テレビジョン方式変換」、テレビジョン学会誌、Ｖｏｌ．４５、Ｎｏ．１２、ｐｐ．１５３４−１５４３（１９９１）参照）。しかしながら、線形補間によるフレーム内挿処理の場合、フレームレート変換に伴う動きの不自然さ（ジャーキネス、ジャダー）が発生するとともに、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することはできず、画質的には不十分なものであった。【０００７】
そこで、上記ジャーキネスの影響等をなくして動画質を改善するために、動きベクトルを用いた動き補償型のフレーム内挿処理が提案されている。この動きベクトルを用いた動き補償処理によれば、動画像そのものをとらえて画像の動きを補償した内挿フレームを生成するため、解像度の劣化がなく、また、ジャーキネスの発生もなく、極めて自然な動画を得ることができる。さらに、内挿画像信号は動き補償して形成されるので、上述したホールド型表示方式に起因する動きぼけ妨害を十分に改善することが可能となる。【０００８】
前述の特許第３２９５４３７号明細書には、動き適応的に内挿フレームを生成することにより、表示画像のフレーム周波数を上げて、動きぼけの原因となる空間周波数特性の低下を改善するための技術が開示されている。これは、表示画像のフレーム間に内挿する少なくとも１つの内挿画像信号を、前後のフレームから動き適応的に形成し、形成した内挿画像信号をフレーム間に内挿して順次表示するようにしている。【０００９】
図１は、従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図で、図中、ＦＲＣ駆動表示回路は、入力画像信号のフレーム間に動き補正処理を施した画像信号を内挿することにより入力画像信号のフレーム数を変換するＦＲＣ部１００と、液晶層と該液晶層に走査信号及びデータ信号を印加するための電極とを有するアクティブマトリクス型の液晶表示パネル１０３と、ＦＲＣ部１００によりフレームレート変換された画像信号に基づいて液晶表示パネル１０３の走査電極及びデータ電極を駆動するための電極駆動部１０４と、を備えて構成される。【００１０】
ＦＲＣ部１００は、入力画像信号から動きベクトル情報を検出する動きベクトル検出部１０１と、動きベクトル検出部１０１により得られた動きベクトル情報に基づいて内挿フレームを生成する内挿フレーム生成部１０２とを備える。【００１１】
上記構成において、動きベクトル検出部１０１は、例えば、後述するブロックマッチング法や勾配法などを用いて動きベクトル情報を求めてもよいし、入力画像信号に何らかの形で動きベクトル情報が含まれている場合、これを利用してもよい。例えば、ＭＰＥＧ方式を用いて圧縮符号化された画像データには、符号化時に算出された動画像の動きベクトル情報が含まれており、この動きベクトル情報を取得する構成としてもよい。【００１２】
図２は、図１に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。ＦＲＣ部１００は、動きベクトル検出部１０１より出力された動きベクトル情報を用いた動き補償処理により、フレーム間の内挿フレーム（図中グレーに色付けされた画像）を生成し、この生成された内挿フレーム信号を入力フレーム信号とともに、順次出力することで、入力画像信号のフレームレートを例えば毎秒６０フレーム（６０Ｈｚ）から毎秒１２０フレーム（１２０Ｈｚ）に変換する処理を行う。【００１３】
図３は、動きベクトル検出部１０１及び内挿フレーム生成部１０２による内挿フレーム生成処理について説明するための図である。動きベクトル検出部１０１は、図３に示した例えばフレーム＃１とフレーム＃２から勾配法等により動きベクトル１０５を検出する。すなわち、動きベクトル検出部１０１は、フレーム＃１とフレーム＃２の１／６０秒間に、どの方向にどれだけ動いたかを測定することにより動きベクトル１０５を求める。次に、内挿フレーム生成部１０２は、求めた動きベクトル１０５を用いて、フレーム＃１とフレーム＃２間に内挿ベクトル１０６を割り付ける。この内挿ベクトル１０６に基づいてフレーム＃１の位置から１／１２０秒後の位置まで対象（ここでは自動車）を動かすことにより、内挿フレーム１０７を生成する。【００１４】
このように、動きベクトル情報を用いて動き補償フレーム内挿処理を行い、表示フレーム周波数を上げることで、ＬＣＤ（ホールド型表示方式）の表示状態を、ＣＲＴ（インパルス型表示方式）の表示状態に近づけることができ、動画表示の際に生じる動きぼけによる画像劣化を改善することが可能となる。【００１５】
ここで、上記動き補償フレーム内挿処理においては、動き補償のために動きベクトルの検出が不可欠となる。この動きベクトル検出の代表的な手法として、例えば、ブロックマッチング法、勾配法などが提案されている。勾配法においては、連続した２つのフレーム間で各画素または小さなブロック毎に動きベクトルを検出し、それにより２つのフレーム間の内挿フレームの各画素または各小ブロックを内挿する。すなわち、２つのフレーム間の任意の位置の画像を正しい位置に移動して内挿することにより、フレーム数の変換を行う。
【発明の開示】
【発明が解決しようとする課題】
【００１６】
ところで、放送されるテレビジョン映像には、ビデオカメラで撮像された映像の上に、番組のロゴ、テロップなどのキャラクタ文字が重畳された映像や、コンピュータグラフィックス（ＣＧ）や、アニメーションなどが合成された映像が存在する。このようにビデオカメラで撮像された自然映像信号に対して、放送局側にて編集されたものを、合成映像信号と称す。
また、例えばＤＶＤ（Digital Versatile Disc）に収録された映画などのコンテンツ映像においても、コンテンツ作成者により、キャラクタ文字、ＣＧ画像などが合成された映像も存在する。【００１７】
上記のような合成映像信号はビデオカメラで撮像された自然映像信号やリアルなＣＧ処理によって作成された自然映像信号に準ずる第一の映像信号に、番組ロゴのようなキャラクタ文字画像やＣＧ合成画像などの第二の映像信号が合成された場合、第一の映像信号と第二の映像信号とで異なる特徴を持つ映像が混在する場合がある。【００１８】
例えば、一定方向にパンニングする自然映像信号などの第一の映像信号の上に、第一の映像信号とは逆方向に動くテロップなどの第二の映像信号が合成された映像は、全く逆の動きを持つ映像が混在することとなる。このような合成映像信号に対して、ＦＲＣのような映像信号処理を施した場合、第二の映像信号であるテロップ領域やその周辺において、ＦＲＣによる前後フレーム間の動きベクトル情報の検出に誤りが生じ、テロップ文字やその周辺の背景画像が歪むなどの画像劣化が起こる。【００１９】
また、一定方向にパンニングする自然映像信号などの第一の映像信号の上に、静止している番組ロゴなどの第二の映像信号が合成された映像は、番組ロゴは静止しているのに対し、自然映像信号は番組ロゴの背後を通り過ぎるような映像となり、異なる動きを持つ映像が混在することになる。このような合成映像信号に対して、ＦＲＣのような映像信号処理を施した場合、第二の映像信号である番組ロゴやその周辺において、ＦＲＣによる前後フレーム間の動きベクトル情報の検出に誤りが生じ、番組ロゴやその周辺の背景画像が歪むなどの画像劣化が生じる。さらに番組ロゴは半透明合成されたものも多く存在しており、半透明合成されたものは背景画像によって番組ロゴ自体の輝度が変化するため、より動きベクトル検出が困難となる。【００２０】
これまで、従来技術としてＦＲＣ処理を例にあげて説明してきたが、受像装置側の一般的な映像信号処理としては、Ｉ／Ｐ（インターレース／プログレッシブ）変換処理やエッジ強調処理（輪郭強調処理）があげられる。これらの映像信号処理を用いた場合も以下のような問題が生じる。【００２１】
Ｉ／Ｐ変換処理は、例えばテレビジョン放送されたインターレース走査信号をプログレッシブ走査信号に変換する処理である。近年では、動画質を向上することを目的とした動き補償型のＩ／Ｐ変換技術が提案されている。この技術は、ＦＲＣ処理と同様に動き検出を行い、動きに応じた変換処理を施すものであり、上述のＦＲＣ処理における課題と同様に、テロップなどの第二の映像信号が合成された映像に対して動き補償型のＩ／Ｐ変換処理を行う場合は、前後フレーム間の動きベクトル情報の検出に誤りが生じ、テロップ文字やその周辺の背景画像にコーミングノイズが発生するなどの画像劣化が起こる。【００２２】
エッジ強調処理は、例えばテレビジョン放送された映像信号の高域周波数成分を強調したり、強調する映像信号の周波数範囲を拡大するなどして、画像の鮮鋭感を向上させるためのものであり、通常、表示画面全体に対して同一強度のエッジ強調処理を行うのが一般的である。
カメラで撮影した自然映像信号などの第一の映像信号にＣＧ画像などの第二の映像信号が合成された映像は、第一の映像信号による自然映像は輪郭が緩やかであるのに対し、第二の映像信号によるＣＧ画像は輪郭が急峻であり、異なる特徴を持つ映像が混在することとなる。このような合成映像に対してエッジ強調処理を施す場合、第一の映像信号（自然映像信号）に対してはエッジ強調処理を施すことでコントラストの向上が図れるが、同じ処理を第二の映像信号（ＣＧ画像信号）に施すと、すでにエッジが急峻なＣＧ画像に対してさらにエッジを強調する処理が加わるため、ＣＧ画像のエッジ部分に画像劣化が起こる。【００２３】
ところで、特開２００４−１２０７５７号公報には、受信装置側において受信した映像信号の画像上にオンスクリーンディスプレイ（ＯＳＤ）画像などの追加画像をスーパーインポーズした場合、スーパーインポーズされた画像及びその周辺の画像エリアに対しては動き補償を適用せずにＦＲＣ処理、Ｉ／Ｐ変換処理を行うものが提案されている。これは、ＯＳＤ生成部で生成された追加画像データをスーパーインポーズする画像エリアを指示する制御信号を利用して、画像エリア毎に異なる方法でＦＲＣ処理、Ｉ／Ｐ変換処理を行うものである。【００２４】
すなわち、特開２００４−１２０７５７号公報に記載のものは、受信装置において追加画像を生成し、受信映像上に重畳した場合は、該追加画像を重畳した画像エリアが分かるため、画像エリア毎に適切な映像信号処理を用いることが可能となる。しかしながら、上述したように放送局側で第一の映像信号に第二の映像信号を重畳した後で送信された映像については、受信装置側で第二の映像信号が重畳されている位置や第二の映像信号の種類や位置が分からないため、特開２００４−１２０７５７号公報の技術を適用して画像エリア毎に適切な映像信号処理を施すことはできない。【００２５】
また、特開２００２−１５３２７号公報には、画像処理装置に入力された画像データの画像種別が人工画像か自然画像かを画素ごとに判別し、この判別結果を用いて適切な画像補間処理や画像強調処理を選択するものが提案されている。これは、特定の画素の画像データの値とその近傍の画素の画像データの値との一致性（相関性）に基づいて、該特定の画素の画像データがコンピュータ画像のデータか自然画像のデータかを判別し、その結果に応じてコンピュータ画像に適した画像補間処理、画像強調処理と、自然画像に適した画像補間処理、画像強調処理とを選択するものである。【００２６】
しかしながら、特開２００２−１５３２７号公報の中においても、「自然画像における画像中の滑らかな部分（例えば空や壁など）については、部分的に人工画像の領域として判別されることが多い。そのため、本来、自然画像であるべき部分が人工画像として判別され」と記載されているように、正確に画像種別を判別するのは非常に困難であり、また、この問題の解決手法も開示されているが、「各画素についてエッジ領域にあるか否かを自動的に判別し、エッジ領域にあると判定された場合には相関性の高さを判定するしきい値を下げて自然画像と判別されにくくし」と記載されており、すなわち自然画像におけるエッジ領域は誤って人工画像と判別されやすくなるため、依然として自動判別の誤りを完全に防止できないことがわかる。【００２７】
以上のように、特開２００２−１５３２７号公報に記載のものの場合、画像種別の自動判別に誤りが生じることがあり、その結果、不適切な映像信号処理が選択される可能性がある。さらに、画像種別の自動判別を行うために複雑な構成が必要となるため、実装のコストや消費電力の増大を招来するという問題もある。【００２８】
本発明は、上述のごとき実情に鑑みてなされたものであり、
第一の映像信号に第二の映像信号を合成する際の映像合成情報（合成画像の位置・大きさ・速度など）を、第一の映像信号に付加して送信あるいは記録し、受信装置あるいは再生装置側で、前記映像合成情報に応じて、合成映像信号に対する映像信号処理を制御することで、第二の映像信号による画像及びその周辺の画像の劣化を防止し、より高品質な映像を生成できるようにすることと、
第一の映像信号に第二の映像信号を合成する際の映像合成情報（合成画像の位置・大きさ・速度など）と第二の映像信号とを、第一の映像信号に付加して送信あるいは記録し、受信装置あるいは再生装置側で、前記映像合成情報に応じて、第一の映像信号と第二の映像信号との各々に対する映像信号処理を個別に制御し、それぞれの処理が施された映像信号を合成することで、第二の映像信号による画像及びその周辺の画像の劣化を防止し、より高品質な映像を生成できるようにすることを目的とする。
【課題を解決するための手段】
【００２９】
本願の第１の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信する映像送信装置であって、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信することを特徴とする。【００３０】
本願の第２の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号の位置を示す情報を含むことを特徴とする。【００３１】
本願の第３の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号の領域を示す情報を含むことを特徴とする。【００３２】
本願の第４の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。【００３３】
本願の第５の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。【００３４】
本願の第６の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。【００３５】
本願の第７の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。【００３６】
本願の第８の発明は、前記映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。【００３７】
本願の第９の発明は、前記映像信号処理手段が、動き補償処理を用いたインターレース／プログレッシブ（Ｉ／Ｐ）変換部を有し、該インターレース／プログレッシブ（Ｉ／Ｐ）変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。【００３８】
本願の第１０の発明は、前記第二の映像信号に関する情報が、前記第二の映像信号によって表される映像の移動速度が０であることを示す場合、前記第二の映像信号が重畳された領域に対する動き補償処理の強度をゼロにすることを特徴とする。【００３９】
本願の第１１の発明は、前記第二の映像信号が重畳された領域とそれ以外の領域との境界部に対してフィルタ処理を施すことを特徴とする。【００４０】
本願の第１２の発明は、前記映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。【００４１】
本願の第１３の発明は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする。【００４２】
本願の第１４の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。【００４３】
本願の第１５の発明は、前記動きベクトル演算部が、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする。【００４４】
本願の第１６の発明は、前記映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部が、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なるエッジ強調処理を行うことを特徴とする。【００４５】
本願の第１７の発明は、前記第二の映像信号が重畳された領域に対するエッジ強調処理の強度を、その他の領域に対するエッジ強調処理の強度から変化させることを特徴とする。【００４６】
本願の第１８の発明は、前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにすることを特徴とする。【００４７】
本願の第１９の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。【００４８】
本願の第２０の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。【００４９】
本願の第２１の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。【００５０】
本願の第２２の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス（ＣＧ）映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。【００５１】
本願の第２３の発明は、前記第７乃至２２の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。【００５２】
本願の第２４の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信する映像送信装置であって、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信することを特徴とする。【００５３】
本願の第２５の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号の位置を示す情報を含むことを特徴とする。【００５４】
本願の第２６の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号の領域を示す情報を含むことを特徴とする。【００５５】
本願の第２７の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。【００５６】
本願の第２８の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。【００５７】
本願の第２９の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。【００５８】
本願の第３０発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第一の映像信号に対して、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対して、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。【００５９】
本願の第３１の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。【００６０】
本願の第３２の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたインターレース／プログレッシブ（Ｉ／Ｐ）変換部を有し、該インターレース／プログレッシブ（Ｉ／Ｐ）変換部が、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。【００６１】
本願の第３３の発明は、前記第二の映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。【００６２】
本願の第３４の発明は、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする。【００６３】
本願の第３５の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。【００６４】
本願の第３６の発明は、前記動きベクトル演算部が、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする。【００６５】
本願の第３７の発明は、前記第二の映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部が、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理を行うことを特徴とする。【００６６】
本願の第３８の発明は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理の強度を制御することを特徴とする。【００６７】
本願の第３９の発明は、前記第二の映像信号に対するエッジ強調処理の強度をゼロにすることを特徴とする。【００６８】
本願の第４０の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。【００６９】
本願の第４１の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。【００７０】
本願の第４２の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。【００７１】
本願の第４３の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス（ＣＧ）映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。【００７２】
本願の第４４の発明は、前記第３０乃至４３の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。【００７３】
本願の第４５の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録する映像記録装置であって、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録することを特徴とする。【００７４】
本願の第４６の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。【００７５】
本願の第４７の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録する映像記録装置であって、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録することを特徴とする。【００７６】
本願の第４８の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第一の映像信号に対し、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対し、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。
【発明の効果】
【００７７】
本発明によれば、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を受信あるいは再生する場合、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行うことで、映像信号処理による第二の映像信号の領域及びその周辺の画像の劣化を防止し、より高品質の映像を生成することができる。【００７８】
また、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信あるいは再生する場合は、前記第一の映像信号に対して所定の映像信号処理を行うとともに、前記第二の映像信号に対しては、前記第二の映像信号に関する情報を用いて所定の映像信号処理を行い、それぞれの映像信号処理がなされた映像信号を、前記第二の映像信号に関する情報を用いて重畳することで、映像信号処理による第二の映像信号の領域及びその周辺の画像の劣化を防止し、より高品質の映像を生成することができる。
【図面の簡単な説明】
【００７９】
【図１】従来の液晶表示装置におけるＦＲＣ駆動表示回路の概略構成を示すブロック図である。
【図２】図１に示した従来のＦＲＣ駆動表示回路によるフレームレート変換処理を説明するための図である。
【図３】動きベクトル検出部及び内挿フレーム生成部による内挿フレーム生成処理について説明するための図である。
【図４】本発明の第１の実施形態に係る映像送信装置の概略構成例を示す機能ブロック図である。
【図５】本発明の第１の実施形態に係る映像受信装置の概略構成例を示す機能ブロック図である。
【図６】本発明の第２の実施形態に係る映像送信装置の概略構成例を示す機能ブロック図である。
【図７】本発明の第２の実施形態に係る映像受信装置の概略構成例を示す機能ブロック図である。
【符号の説明】
【００８０】
１００…フレームレート変換（ＦＲＣ）部、１０１…動きベクトル検出部、１０２…内挿フレーム生成部、１０３…液晶表示パネル、１０４…電極駆動部、１０５…動きベクトル、１０６…内挿ベクトル、１０７…内挿フレーム、１…映像送信装置、２…編集装置、３…映像エンコード処理部、４…映像合成情報エンコード処理部、５…多重化処理部、６…送信部、１１…映像受信装置、１２…受信部、１３…多重化データ分離処理部、１４…映像デコード処理部、１５…映像合成情報デコード処理部、１６…映像信号処理部、１７…表示部、２１…映像送信装置、２３Ａ…映像エンコード処理部（１）、２３Ｂ…映像エンコード処理部（２）、２５…多重化処理部、３１…映像受信装置、３３…多重化データ分離処理部、３４Ａ…映像デコード処理部（１）、３４Ｂ…映像デコード処理部（２）、３６Ａ…映像信号処理部（１）、３６Ｂ…映像信号処理部（２）、３８…映像合成処理部
【発明を実施するための最良の形態】
【００８１】
以下、本発明の好適な映像送信装置および映像受信装置の実施の形態について詳細に説明する。本発明は、フィールド信号及び内挿フィールド信号、フレーム信号及び内挿フレーム信号のいずれに対しても適用できるものであるが、両者（フィールドとフレーム）は互いに類似の関係にあるため、フレーム信号及び内挿フレーム信号を代表例として説明するものとする。【００８２】
まず、本発明の第１の実施形態に係る映像送信装置および映像受信装置について、図４及び図５とともに説明する。
図４は本実施形態に係る映像送信装置の概略構成例を示すブロック図である。映像送信装置１には、第一の映像信号、第二の映像信号、及び第二の映像信号に関する情報である映像合成情報が入力される。第一の映像信号は、例えばビデオカメラで撮像された自然映像信号である。第二の映像信号は、例えば番組ロゴやテロップやＣＧキャラクターなどの、第一の映像信号の上に重畳して合成される映像を表す映像信号である。上述の映像合成情報としては、下記のような情報を含むものが考えられる。【００８３】
（１）第二の映像信号を第一の映像信号に重畳する位置を示す情報：
例えば第一の映像信号が横１９２０ピクセル、縦１０８０ピクセルの解像度であり、第二の映像信号が横２００ピクセル、縦１００ピクセルの解像度であり、第二の映像信号における最も左上のピクセルが第一の映像信号における最も左上からｘピクセル、上からｙピクセルの位置に来るように重畳する場合、（ｘ、ｙ）の数値の組を、第二の映像信号を第一の映像信号に重畳する位置を示す情報とすることができる。【００８４】
（２）第二の映像信号の領域を示す情報：
例えば第二の映像信号が横１８０ピクセル、縦１５０ピクセルの解像度であるとき、この１８０×１５０ピクセルの領域全体を、第二の映像信号の領域とすることができる。
あるいは、例えば第二の映像信号が横１８０ピクセル、縦１５０ピクセルの解像度であって、ここに文字が表されている場合を考える。文字の存在するピクセルが１、文字の存在しないピクセルが０である、横１８０ピクセル、縦１５０ピクセルのマップを作成して、これを第二の映像信号の領域を示す情報とすることができる。さらにこのマップは、０か１の２値のマップではなく、例えば２５５階調のマップとして、透過率を設定することも可能である。【００８５】
（３）第二の映像信号によって表される映像の移動速度を示す情報：
例えば第一の映像信号が横１９２０ピクセル、縦１０８０ピクセルの解像度であり、第二の映像信号が横１９２０ピクセル、縦２００ピクセルの解像度であって、第二の映像信号によって表される映像が、毎フレームごとに文字が左方向にｐピクセル／フレームの速度で移動して画面左端で消えると共に、画面右端から新たな文字が現れてくる画像、すなわち所謂テロップである場合を考える。この時、第二の映像信号を第一の映像信号に重畳する位置は、毎フレーム同じであるが、第二の映像信号によって表される映像は、左方向にｐピクセル／フレームという一定の速度で移動する文字である。よって、この文字の移動速度を、第二の映像信号によって表される映像の移動速度を示す情報とすることができる。より一般的には、第二の映像信号によって表される映像が水平方向にｐピクセル／フレーム、垂直方向にｑピクセル／フレームの速度で動いている場合に、（ｐ、ｑ）の数値の組を、第二の映像信号によって表される映像の移動速度を示す情報とすることができる。【００８６】
（４）第二の映像信号によって表される映像のエッジの急峻さを示す情報：
例えば、第二の映像信号によって表される映像のエッジ部分における単位ピクセルあたりの輝度変化量の平均値を、該第二の映像信号によって表される映像エッジの急峻さを示す情報として用いることができる。【００８７】
（５）第二の映像信号によって表される映像の種別を示す情報：
第二の映像信号が、例えばビデオカメラで撮像された自然映像を表す自然映像信号か、ＣＧ画像信号、文字画像信号などの人工映像信号かの種別を示す情報である。【００８８】
上述した情報のいくつかを含む映像合成情報に従って、編集装置２では、第一の映像信号に対し第二の映像信号が重畳処理され、合成映像信号が出力される。この合成映像信号を映像エンコード処理部３によりエンコードするとともに、映像合成情報を映像合成情報エンコード処理部４によりエンコードする。これら２種類のデータを、多重化処理部５によって多重化し、放送データを生成する。送信部６は、この放送データを放送電波に乗せて送出する。ここで、編集装置２から出力される合成映像信号は、従来の放送における映像データと同様のものである。本発明の特徴のひとつは、該合成映像信号に、映像合成情報を付加して送信することにある。【００８９】
なお、本実施形態においては、圧縮処理を施した映像データ、映像合成情報のそれぞれのデータストリームを多重化して伝送する構成としているが、合成映像信号、映像合成情報を圧縮せずに送信するものに適用してもよい。さらに、映像データを例えばＭＰＥＧ２（Moving Picture Experts Group 2）−Ｓｙｓｔｅｍｓで規定されたトランスポートストリームパケット（ＴＳＰ）のペイロードで伝送し、映像合成情報を拡張ヘッダ（アダプテーション・フィールド）で伝送する、或いは、映像データから構成されるペイロードに埋め込んで伝送することも可能である。【００９０】
図５は本実施形態に係る映像受信装置の概略構成例を示すブロック図である。映像受信装置１１は、映像送信装置１より送出された放送データを受信部１２で受信する。受信した放送データは多重化データ分離処理部１３で元の２種類のデータに分離される。これらのデータは圧縮されたデータなので、合成映像信号は映像デコード処理部１４で、映像合成情報は映像合成情報デコード処理部１５でそれぞれデコードされる。映像信号処理部１６は、デコードされた映像信号に対して所定の映像信号処理を行う。この時、デコードされた映像合成情報を用いて、映像送信時に第一の映像信号に対し重畳された第二の映像信号の領域に対しては、その他の領域とは異なる処理を行う。【００９１】
例えば、映像信号処理部１６は、入力映像信号から動きベクトル情報の検出を行い、該動きベクトル情報を用いた動き補償処理を施すことによって、６０Ｈｚから１２０Ｈｚへのフレームレート変換処理を行うＦＲＣ処理部を含む。ここで、入力映像信号には、第二の映像信号として静止している（速度０の）番組ロゴ、及び一定の速度で移動するテロップが重畳されており、映像合成情報として番組ロゴの位置、領域や、テロップの位置、領域、移動速度などを示す情報が付加されている場合、映像信号処理部１６は、番組ロゴが重畳されている領域に対しては静止領域として動き補償処理の強度をゼロにする、すなわち、動き補償処理を行わない（無効化する）。また、テロップが重畳されている領域に対してはテロップの移動速度に相当する動きベクトルを割り付けて、動き補償処理を行う。【００９２】
６０Ｈｚから１２０ＨｚへのＦＲＣ処理は、入力映像信号のフレーム間における動きベクトルを検出し、この動きベクトルに基づいて、入力映像信号のフレーム間における中間位置に内挿フレームを生成する。内挿フレームは、複数の画素で構成された内挿ブロック毎に切り分けられ、この内挿ブロック毎に１本の内挿ベクトルが割り付けられる。そして、内挿ブロックに割り付けられた内挿ベクトルが指し示す入力フレーム（前フレーム、現フレーム）のＲＧＢ信号を抽出し、画素毎に内挿画像信号を生成する。【００９３】
このとき、番組ロゴが重畳されている位置に相当する内挿ブロックには、０ベクトルを割り付けることで、動き補償処理を無効化して内挿画像信号を生成することができ、テロップが重畳されている位置及び領域に相当する内挿ブロックには、テロップの移動速度の半分の内挿ベクトルを割り付けることで、テロップの移動量を動き補償した内挿画像信号を生成することができる。【００９４】
すなわち、第一の映像信号の領域に対しては、動きベクトル検出結果を用いて求められた内挿ベクトルを内挿ブロック毎に割り付けているが、第二の映像信号が重畳されている領域に対しては、映像合成情報から求められる内挿ベクトルを優先して割り付ける。これによって、第二の映像信号の領域において、適切な内挿画像信号を生成することが可能となり、内挿画像の劣化による画質劣化を防止することができる。【００９５】
尚、上記の実施形態においては、第二の映像信号である番組ロゴ（静止画）が重畳された領域に対する動き補償処理を無効化する方法として、番組ロゴの領域に相当する内挿ブロックに０ベクトルを割り付ける方法を説明したが、この他にも、動きベクトル検出部にて検出された動きベクトルを０ベクトルに置き換える方法や、内挿フレームの番組ロゴが重畳される領域に、この領域に相当する入力フレーム（前フレームまたは後フレーム）の画像信号、または前後の入力フレームから線形補間処理して生成した画像信号を挿入する方法を用いてもよい。さらに、動き補償処理された画像信号と線形補間処理された画像信号とを加重加算して内挿画像を生成する場合、番組ロゴの領域においては動き補償処理された画像信号の加重加算比率を低減することで、動き補償処理の強度を低下させる方法を用いても良い。【００９６】
また、上記の実施形態において、静止領域となる第二の映像信号の領域に対して、動き補償処理を無効化するために、内挿ベクトルを０ベクトルにした場合、この動き補償処理を無効化した領域と、それ以外の動き補償処理を施した領域との境界部分では、内挿ベクトルの急激な変化が生じるため、この動き補償処理の有無が明らかに画像に現れて目立つ場合がある。【００９７】
同様に、所定速度で文字が移動するテロップの領域となる第二の映像信号の領域に対して、一様にテロップの移動速度に相当する動きベクトルを割り付けた場合も、このテロップの移動速度に相当する動きベクトルを用いた動き補償処理を施した領域と、それ以外の動きベクトル検出処理によって検出された動きベクトルを用いた動き補償処理を施した領域との境界部分では、内挿ベクトルの大きさや方向が急激に変化する可能性があり、それが画像に現れて目立つ場合がある。さらには、静止領域となる第二の映像信号の領域と、移動するテロップの領域となる第二の映像信号の領域とが重なっている場合も同じ問題が生じる。【００９８】
これらを軽減するために、第二の映像信号の領域と第一の映像信号の領域との境界部分、あるいは複数の第二の映像信号の領域同士の境界部分に対しては、ローパスフィルタをかける等のフィルタ処理を行うことにより、境界が目立つのを抑制することが望ましい。例えば、各領域の境界部分の内挿画像信号に対して、ローパスフィルタをかけることにより、各領域の境界を目立たなくする手法を用いることができる。あるいは、各領域の境界部分およびその近傍の動きベクトル検出ブロックにおいて検出された動きベクトル、または各領域の境界部分およびその近傍の内挿ブロックにおいて割り付けられた内挿ベクトルに対して、ローパスフィルタをかけることで、各領域の境界付近におけるベクトルの大きさや方向を滑らかに変化させることが可能となり、そのベクトルを用いて生成された内挿画像においては境界を目立ちにくくすることができる。【００９９】
さらに、上記の実施形態においては、第二の映像信号であるテロップの映像が重畳される領域の内挿画像信号を生成する方法として、テロップの領域に相当する内挿ブロックにテロップの移動速度の半分に相当するベクトルを割り付ける方法を説明した。これは、テロップの文字形状を忠実に抽出することが可能な場合には有効であるが、もしテロップの文字形状を含む帯状（矩形状）の領域情報しか得られない場合には、テロップの移動速度の半分に相当する内挿ベクトルを割り付けると、テロップの文字周辺の背景画像もテロップの移動速度に引っ張られることとなり、画像劣化が起こる。【０１００】
このため、テロップの文字形状を含む帯状の領域情報しか得られない場合は、動きベクトル検出を行う際に、テロップの帯状領域に相当するベクトル検出ブロックに対しては、テロップの移動速度に相当するベクトルを、動きベクトル検出における候補ベクトルの一つとして、つまりベクトルの選択肢の一つとして追加する。こうすることで、テロップの文字に相当するベクトル検出ブロックでは、テロップの移動速度に一致するベクトルを選択しやすくなり、テロップの文字の周辺の背景に相当するベクトル検出ブロックでは背景画像の動きに応じたベクトルを選択することが可能となり、テロップの文字及びその周辺の画像劣化を防止することができる。【０１０１】
さらに詳細に説明すると、ＦＲＣ処理部は、入力画像信号のフレームを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレーム以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも１フレーム分蓄積する記憶部と、該記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有している。【０１０２】
前記動きベクトル演算部における所定の演算としては、例えばブロックマッチング法や勾配法が考えられる。ブロックマッチング法の場合は、前記初期変位ベクトルを基点とし、その周辺で詳細なブロックマッチングを行い、最終的な動きベクトルを求めることができる。勾配法の場合は、前記初期変位ベクトルを基点とし、勾配法の演算を行うことで、最終的な動きベクトルを求めることができる。ここで、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加する。【０１０３】
また、前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行う。さらに、前記動きベクトル演算部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更する。【０１０４】
このように、第二の映像信号として番組ロゴやテロップが重畳された合成映像信号に対してＦＲＣ処理を行う場合、第二の映像信号の映像合成情報に基づいて、第一及び第二の映像信号のそれぞれに適した動き補償処理を施すことで、第二の映像信号の領域及びその周辺の画像劣化を防止し、より高品質の映像を生成することができる。【０１０５】
なお、上記の実施形態では、映像信号処理部１６での映像信号処理として、動き補償処理を用いたＦＲＣ処理を行う場合について説明したが、Ｉ／Ｐ（インターレース／プログレッシブ）変換処理やエッジ強調処理などの種々の映像信号処理に置き換えて用いることもできる。【０１０６】
例えば、映像信号処理部１６が動き補償型のＩ／Ｐ変換処理部を含み、第一の映像信号である自然映像信号に第二の映像信号であるテロップ画像信号が重畳されており、映像合成情報として、テロップの位置、領域、移動速度を示す情報が付加されている場合、第一の映像信号の領域に対しては、通常の動き検出を行い、該動き検出結果に応じた動き補償処理を施してプログレッシブ変換を行うとともに、第二の映像信号が重畳された領域に対しては、映像合成情報に含まれるテロップの速度情報に基づいた動き補償処理を施してプログレッシブ変換を行う。【０１０７】
このように、映像合成情報を用いて映像信号処理部１６における動き補償処理を制御することで、各映像信号の領域ごとに適切な動き補償型のＩ／Ｐ変換処理を行うことが可能となり、Ｉ／Ｐ変換処理の誤りによる画像劣化を防止することができる。【０１０８】
また、例えば、映像信号処理部１６がエッジ強調処理部を含み、第一の映像信号である自然映像信号に第二の映像信号であるＣＧ画像信号が重畳されており、映像合成情報として、ＣＧ画像の位置、領域、エッジ急峻さ、画像種別（ＣＧ画像など）を示す情報が付加されている場合、第一の映像信号によって表される画像と第二の映像信号によって表される画像とはそのエッジ（輪郭）の急峻さが異なるため、第一の映像信号に対しては、通常のエッジ強調処理を行うとともに、第二の映像信号が重畳された領域に対しては、エッジの急峻さ及び／又は画像種別情報に応じてエッジ強調処理の強度を変化させる。【０１０９】
例えば、前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにする（エッジ強調処理を無効化する）。または、前記第二の映像信号によって表される画像のエッジが急峻である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像のエッジが緩やかである場合は、エッジ強調処理の強度を増大させる。または、前記第二の映像信号によって表される画像種別がＣＧ画像である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像種別が自然映像である場合は、エッジ強調処理の強度を増大させる。【０１１０】
ここで、エッジ強調処理部としては、入力映像信号の高域周波数成分を強調するものを用いることができ、エッジ強調処理の強度を減少する場合、入力映像信号の高域周波数成分を強調する量を小さくする、あるいは強調する入力映像信号の周波数範囲を縮小する。一方、エッジ強調処理の強度を増大する場合は、入力映像信号の高域周波数成分を強調する量を大きくする、あるいは強調する入力映像信号の周波数範囲を拡大する。また、エッジ強調処理の強度をゼロにする（エッジ強調処理を無効化する）場合は、入力映像信号の高域周波数成分を強調する量をゼロにする、あるいは強調する入力映像信号の周波数範囲をゼロにする。【０１１１】
このように、映像合成情報を用いて映像信号処理部１６におけるエッジ強調処理を制御することで、各映像信号の領域ごとに適切な画像の鮮鋭化処理を行うことが可能となり、鮮鋭化すべきではない映像に鮮鋭化を行って画質劣化を引き起こす等の不具合を防止することができる。【０１１２】
なお、上記の実施形態においては、第二の映像信号によって表される映像として番組ロゴ、テロップを例にあげて説明したが、放送局（送信装置）側で合成された子画面やＰｉｎＰ(ピクチャインピクチャ)の映像や、ＣＧアニメーション映像の場合でも同様である。【０１１３】
また、上記の実施形態では、第二の映像信号によって表される映像として例示した番組ロゴが静止している（速度０）場合について説明したが、番組ロゴが各フレームごとに位置を変える、すなわち動く場合も考えられる。この場合は、各フレームにおける番組ロゴの位置の情報からフレーム間の移動速度を求めることができるので、この移動速度の情報を用いて、上記のテロップに対する処理と同様の処理を行うことができる。【０１１４】
以上のように、本発明の第１の実施形態においては、第一の映像信号に重畳された第二の映像信号に関する情報（第二の映像信号が重畳された位置・領域、移動速度などを示す映像合成情報）を、合成映像信号と共に送信し、受信側では、その映像合成情報を用いてＦＲＣ処理などの映像信号処理を適切に制御することで、第二の映像信号が重畳された部分及びその周辺における画像劣化を防止することが可能となる。【０１１５】
次に、本発明の第２の実施形態に係る映像送信装置および映像受信装置について、図６及び図７とともに説明するが、上述した第１の実施形態と同一部分には同一符号を付し、その説明は省略する。【０１１６】
図６は本実施形態に係る映像送信装置の概略構成例を示すブロック図である。映像送信装置２１には、第一の映像信号、第二の映像信号、及び映像合成情報が入力される。第一の映像信号および第二の映像信号は、第１の実施形態として上述したものと同様であるが、これらは受信装置側で重畳されるべきものである。第一の映像信号は映像エンコード処理部（１）２３Ａでエンコードされ、第二の映像信号は映像エンコード処理部（２）２３Ｂでエンコードされる。すなわち、送信装置側では第一の映像信号に第二の映像信号を重畳せず、個別にエンコードする。【０１１７】
映像合成情報は、第１の実施形態として上述したものと同様、第二の映像信号を第一の映像信号に重畳する際の位置・領域、移動速度などを示す情報であり、映像合成情報エンコード処理部４によりエンコードされる。これら３種類のデータを、多重化処理部２５によって多重化し、放送データを生成する。送信部６は、この放送データを放送電波に乗せて送出する。このように、本実施形態において送信される放送データは、上述の第１の実施形態における放送データとは異なり、第一の映像信号と第二の映像信号とが分離された状態で、映像合成情報が付加されて送信される。【０１１８】
なお、本実施形態においては、圧縮処理を施した第一及び第二の映像データ、映像合成情報のそれぞれのデータストリームを多重化して伝送する構成としているが、第一及び第二の映像信号、合成映像信号を圧縮せずに送信するものに適用してもよい。さらに、映像データを例えばＭＰＥＧ２（Moving Picture Experts Group 2）−Ｓｙｓｔｅｍｓで規定されたトランスポートストリームパケット（ＴＳＰ）のペイロードで伝送し、映像合成情報を拡張ヘッダ（アダプテーション・フィールド）で伝送する、或いは、映像データから構成されるペイロードに埋め込んで伝送することも可能である。この場合、映像合成情報を付加するのは、第一の映像データ、第二の映像データのいずれであってもよい。【０１１９】
図７は本実施形態に係る映像受信装置の概略構成例を示すブロック図である。映像受信装置３１は、映像送信装置２１より送出された放送データを受信部１２で受信する。受信した放送データは多重化データ分離処理部３３で元の３種類のデータに分離される。これらのデータは圧縮されたデータなので、第一の映像信号は映像デコード処理部（１）３４Ａで、第二の映像信号は映像デコード処理部（２）３４Ｂで、映像合成情報は映像合成情報デコード処理部１５でそれぞれデコードされる。【０１２０】
映像信号処理部（１）３６Ａは、デコードされた第一の映像信号に対し、所定の映像信号処理を行う。映像信号処理部（２）３６Ｂは、デコードされた第二の映像信号に対し、所定の映像信号処理を行う。この時、映像合成情報デコード処理部１５でデコードされた映像合成情報に記述された、第二の映像信号を第一の映像信号に重畳する際の位置・領域、移動速度、エッジの急峻さ、映像種別などを示す情報を用いて映像信号処理を行う。この処理の詳細については後述する。【０１２１】
映像合成処理部３８では、映像信号処理部（１）３６Ａで映像信号処理をされた第一の映像信号に、映像信号処理部（２）３６Ｂで映像信号処理をされた第二の映像信号が重畳される。この時、映像合成情報に記述された、第二の映像信号を第一の映像信号に重畳する際の位置・領域などを示す情報に従って重畳処理を行う。こうして生成された合成映像信号が表示部１７に出力される。【０１２２】
例えば、映像信号処理部（１）３６Ａ及び映像信号処理部（２）３６Ｂは、入力映像信号から動きベクトル情報の検出を行い、該動きベクトル情報を用いた動き補償処理を施すことによって、６０Ｈｚから１２０Ｈｚへのフレームレート変換処理を行うＦＲＣ処理部を含む。ここで、第一の映像信号に重畳すべき第二の映像信号として番組ロゴ、及びテロップの映像信号が入力されており、映像合成情報として番組ロゴの位置、領域や、テロップの位置、領域、移動速度などを示す情報が付加されている場合、第一の映像信号に対しては通常のＦＲＣ処理を行うとともに、第二の映像信号に対しては、映像合成情報に含まれる、第二の映像信号によって表される映像の移動速度情報を用いて、１２０Ｈｚに相当する第二の映像信号を生成する。【０１２３】
このとき、番組ロゴは速度が０であるため、動き補償処理の強度をゼロにする、すなわち、動き補償処理を行わず（無効化して）、入力フレーム（前フレームまたは後フレーム）の画像信号を複製することにより、１２０Ｈｚ相当の第二の映像信号を生成する。また、テロップは移動速度に応じて、移動速度の半分の量を動き補償した内挿フレームを入力フレーム間に内挿することにより、１２０Ｈｚ相当の第二の映像信号を生成する。【０１２４】
但し、第二の映像信号によって表される映像が帯状の矩形領域であり、この領域内をテロップが移動するような映像である場合は、このテロップの文字の領域において動きベクトル検出を行って内挿画像信号を生成してもよい。この場合は、動きベクトル検出を行う際に、動きベクトルの候補ベクトルの一つとして、つまりベクトルの選択肢の一つとして、映像合成情報に含まれるテロップの移動速度に相当するベクトルを追加する。こうすることで、テロップの文字の領域に相当するベクトル検出ブロックはテロップの移動速度に一致するベクトルを選択しやすくなり、テロップの文字部分の画像劣化を防止することができる。【０１２５】
さらに詳細に説明すると、ＦＲＣ処理部は、入力画像信号のフレームを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレーム以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも１フレーム分蓄積する記憶部と、該記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有している。【０１２６】
前記動きベクトル演算部における所定の演算としては、例えばブロックマッチング法や勾配法が考えられる。ブロックマッチング法の場合は、前記初期変位ベクトルを基点とし、その周辺で詳細なブロックマッチングを行い、最終的な動きベクトルを求めることができる。勾配法の場合は、前記初期変位ベクトルを基点とし、勾配法の演算を行うことで、最終的な動きベクトルを求めることができる。ここで、前記第二の映像信号に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加する。また、前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行う。さらに、前記動きベクトル演算部は、前記第二の映像信号に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更する。【０１２７】
このように、第一の映像信号と第二の映像信号とのそれぞれに適した動き補償処理を用いたＦＲＣ処理を個別に行い、ＦＲＣ処理後のそれぞれの映像信号を合成することで、第二の映像信号の領域やその周辺の画像劣化を防止し、より高品質の映像を生成することができる。【０１２８】
なお、上記の実施形態では、映像信号処理部３６Ａ、３６Ｂでの映像信号処理として、動き補償処理を用いたＦＲＣ処理を行う場合について説明したが、Ｉ／Ｐ（インターレース／プログレッシブ）変換処理やエッジ強調処理などの種々の映像信号処理に置き換えて用いることもできる。【０１２９】
例えば、映像信号処理部（１）３６Ａおよび映像信号処理部（２）３６Ｂが、動き補償型のＩ／Ｐ変換処理部を含み、第一の映像信号である自然映像信号と、該第一の映像信号に重畳すべき第二の映像信号であるテロップ画像信号とに、映像合成情報として、テロップの位置、領域、移動速度を示す情報が付加されている場合、第一の映像信号に対しては、通常の動き検出を行い、該動き検出結果に応じた動き補償処理を施してプログレッシブ変換を行うとともに、第二の映像信号に対しては、映像合成情報に含まれるテロップの移動速度情報に基づいた動き補償処理を施してプログレッシブ変換を行う。【０１３０】
このように、映像合成情報を用いて映像信号処理部３６Ａ、３６Ｂにおける動き補償処理を制御することで、各映像信号ごとに適切な動き補償型のＩ／Ｐ変換処理を行うことが可能となり、Ｉ／Ｐ変換処理の誤りによる画像劣化を防止することができる。【０１３１】
また、例えば、映像信号処理部（１）３６Ａおよび映像信号処理部（２）３６Ｂが、エッジ強調処理部を含み、第一の映像信号である自然映像信号と、該第一の映像信号に重畳すべき第二の映像信号であるＣＧ画像信号とに、映像合成情報として、ＣＧ画像の位置、領域、エッジ急峻さ、画像種別（ＣＧ画像など）情報が付加されている場合、第一の映像信号によって表される画像と第二の映像信号によって表される画像とはそのエッジ（輪郭）の急峻さが異なるため、第一の映像信号に対しては、通常のエッジ強調処理を行うとともに、第二の映像信号に対しては、エッジの急峻さ及び／又は画像種別情報に応じてエッジ強調処理の強度を変化させる。【０１３２】
例えば、前記第二の映像信号に対しては、前記エッジ強調処理の強度をゼロにする（エッジ強調処理を無効化する）。または、前記第二の映像信号によって表される画像のエッジが急峻である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像のエッジが緩やかである場合は、エッジ強調処理の強度を増大させる。または、前記第二の映像信号によって表される画像の映像種別がＣＧ画像である場合は、エッジ強調処理の強度を減少し、前記第二の映像信号によって表される画像の映像種別が自然映像である場合は、エッジ強調処理の強度を増大させる。【０１３３】
このように、映像合成情報を用いて映像信号処理部（２）３６Ｂにおけるエッジ強調処理を制御することで、各映像信号ごとに適切な画像の鮮鋭化処理を行うことが可能となり、鮮鋭化すべきではない映像に鮮鋭化を行って画質劣化を引き起こす等の不具合を防止することができる。【０１３４】
なお、上記の実施形態においては、第二の映像信号によって表される映像として番組ロゴ、テロップを例にあげて説明したが、受信装置側で合成すべき子画面やＰｉｎＰ(ピクチャインピクチャ)の映像や、ＣＧアニメーション映像の場合でも同様である。【０１３５】
また、上記の実施形態では、第二の映像信号によって表される映像として例示した番組ロゴが静止している（速度０）場合について説明したが、番組ロゴが各フレームごとに位置を変える、すなわち動く場合も考えられる。この場合は、各フレームにおける番組ロゴの位置の情報からフレーム間の移動速度を求めることができるので、この移動速度の情報を用いて、上記のテロップに対する処理と同様の処理を行うことができる。【０１３６】
以上のように、本発明の第２の実施形態においては、送信側では第一の映像信号に第二の映像信号を重畳せず、各々の映像信号を分離した状態で受信装置側へ伝送する。その際、第一の映像信号に重畳すべき第二の映像信号に関する情報（第二の映像信号が重畳されるべき位置・領域、移動速度などを示す映像合成情報）を、各映像信号と共に送信する。受信側では、その映像合成情報を用いて第一の映像信号と第二の映像信号に対するＦＲＣ処理などの映像信号処理を適切に制御するとともに、それぞれの重畳処理を行い、最終的な出力画像を生成する。これによって、第二の映像信号が重畳された部分及びその周辺における画像劣化を防止することができる。【０１３７】
なお、本発明の第２の実施形態例においては、第一の映像信号と第二の映像信号とを個別に映像信号処理を行った後に合成する構成としたが、映像信号処理の前段で第一の映像信号と第二の映像信号とを合成した後に映像信号処理を行う構成としてもよい。こうすることで、映像受信装置の構成を簡素化することができる。このような構成とした場合は、前記第１の実施形態の映像受信装置と同様に、第一の映像信号に第二の映像信号が重畳された領域に対しては、映像合成情報を用いて、その他の領域とは異なる映像信号処理を行うことで、第二の映像信号の領域及びその周辺の画像劣化を防止し、より高品質の映像を生成することができる。【０１３８】
また、本発明の第２の実施形態において、映像合成処理部３８にて第二の映像信号を第一の映像信号に重畳するか、第二の映像信号を第一の映像信号に重畳せずに、第一の映像信号のみを出力するかは、ユーザが選択可能に構成されていてもよい。これによって、視聴者は第二の映像信号によって表される例えば番組ロゴやテロップなどの画像が重畳されていない映像を視聴することが可能となる。【０１３９】
さらに、前記第１及び第２の実施形態においては、本発明の映像送信装置及び映像受信装置を、電波を用いたテレビジョン放送システムに適用した場合について説明したが、有線による放送や、ネットワークによるストリーミング放送でも、同様のシステムを適用することが可能である。【０１４０】
また、前記第１及び第２の実施形態においては、テレビジョン放送システムにおける映像送信装置及び映像受信装置について説明を行ったが、本発明は単にそれらに適用されるに止まらない。図４あるいは図６に示した映像送信装置の構成例は、例えばハードディスクレコーダーやＤＶＤレコーダーのようないわゆる映像記録装置の記録部分にも適用することが可能である。この場合、図４あるいは図６の多重化処理部５または多重化処理部２５の出力データを、何らかの記録媒体に記録する構成とすればよい。【０１４１】
同様に、図５あるいは図７に示した映像受信装置の構成例も、例えばハードディスクレコーダーやＤＶＤレコーダーのようないわゆる映像再生装置の再生部分に適用することが可能である。この場合、図５あるいは図７の受信部１２の代わりに、記録媒体からデータを読み取る読み取り装置を付加し、記録媒体から読み取った情報を多重化データ分離処理部１３または多重化データ分離処理部３３に出力する構成とすればよい。【０１４２】
さらに、前記第１及び第２の実施形態においては、映像受信装置１１、３１によって生成された映像を、外部の表示部１７に出力する構成について説明したが、前述した構成の映像受信装置１１、３１と表示部１７とを一体的に構成した映像表示装置に適用してもよい。【０１４３】
そしてまた、前記第１及び第２の実施形態においては、番組ロゴとテロップとを表す２つの第二の映像信号を第一の映像信号に重畳する場合について説明した。このように、第二の映像信号が複数重畳されても良く、この場合は、複数の第二の映像信号のそれぞれに対する映像合成情報を付加し、複数の第二の映像信号のそれぞれに対して、それぞれ異なった映像信号処理を行うようにすればよい。【０１４４】
さらに、前記第１乃至第２の実施形態においては、第二の映像信号に関する映像合成情報を用いて、第二の映像信号に対する映像信号処理を制御する場合について説明したが、それに加えてあるいはその代わりに、第一の映像信号に関する映像合成情報を付加し、それを用いて第一の映像信号に対する映像信号処理を制御する構成としてもよいことは明らかである。【０１４５】
以上の説明においては、本発明の映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置に関する実施形態の一例について説明したが、これらの説明から、本映像送信方法、映像受信方法、映像記録方法、映像再生方法、映像表示方法をコンピュータによりプログラムとして実行する処理プログラム、及び、該処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。
【図１】
2008123217.tif 000003
【図２】
2008123217.tif 000004
【図３】
2008123217.tif 000005
【図４】
2008123217.tif 000006
【図５】
2008123217.tif 000007
【図６】
2008123217.tif 000008
【図７】
2008123217.tif 000009
【手続補正書】
【提出日】平成21年1月22日(2009.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする映像送信装置。
【請求項２】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする映像送信装置。
【請求項３】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする映像送信装置。
【請求項４】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを受信する映像受信装置であって、
前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする映像受信装置。
【請求項５】
前記映像信号処理手段は、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする請求項４に記載の映像受信装置。
【請求項６】
前記映像信号処理手段は、動き補償処理を用いたインターレース／プログレッシブ変換部を有し、該インターレース／プログレッシブ変換部は、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする請求項４に記載の映像受信装置。
【請求項７】
前記第二の映像信号に関する情報が、前記第二の映像信号によって表される映像の移動速度が０であることを示す場合、前記第二の映像信号が重畳された領域に対する動き補償処理の強度をゼロにすることを特徴とする請求項５または６に記載の映像受信装置。
【請求項８】
前記第二の映像信号が重畳された領域とそれ以外の領域との境界部に対してフィルタ処理を施すことを特徴とする請求項７に記載の映像受信装置。
【請求項９】
前記映像信号処理手段は、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、
前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、
前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、
前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする請求項５乃至８のいずれかに記載の映像受信装置。
【請求項１０】
前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする請求項９に記載の映像受信装置。
【請求項１１】
前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする請求項１０に記載の映像受信装置。
【請求項１２】
前記動きベクトル演算部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする請求項９に記載の映像受信装置。
【請求項１３】
前記映像信号処理手段は、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なるエッジ強調処理を行うことを特徴とする請求項４に記載の映像受信装置。
【請求項１４】
前記第二の映像信号が重畳された領域に対するエッジ強調処理の強度を、その他の領域に対するエッジ強調処理の強度から変化させることを特徴とする請求項１３に記載の映像受信装置。
【請求項１５】
前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにすることを特徴とする請求項１４に記載の映像受信装置。
【請求項１６】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項１４に記載の映像受信装置。
【請求項１７】
前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項１６に記載の映像受信装置。
【請求項１８】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項１４に記載の映像受信装置。
【請求項１９】
前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項１８に記載の映像受信装置。
【請求項２０】
請求項４乃至１９のいずれかに記載の映像受信装置を備えたことを特徴とする映像表示装置。
【請求項２１】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信する映像送信装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度及び移動方向を示す情報を含むことを特徴とする映像送信装置。
【請求項２２】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信する映像送信装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする映像送信装置。
【請求項２３】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信する映像送信装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号が自然映像信号か人工映像信号かの種別を示す情報を含むことを特徴とする映像送信装置。
【請求項２４】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信する映像受信装置であって、
前記第一の映像信号に対して、所定の映像信号処理を行う第一の映像信号処理手段と、
前記第二の映像信号に対して、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、
前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、
前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする映像受信装置。
【請求項２５】
前記第二の映像信号処理手段は、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする請求項２４に記載の映像受信装置。
【請求項２６】
前記第二の映像信号処理手段は、動き補償処理を用いた該インターレース／プログレッシブ変換部を有し、該インターレース／プログレッシブ変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする請求項２４に記載の映像受信装置。
【請求項２７】
前記第二の映像信号処理手段は、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、
前記動きベクトル検出部は、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、
前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、
前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする請求項２５または２６に記載の映像受信装置。
【請求項２８】
前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする請求項２７に記載の映像受信装置。
【請求項２９】
前記初期変位ベクトル選択部は、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする請求項２８に記載の映像受信装置。
【請求項３０】
前記動きベクトル演算部は、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする請求項２７に記載の映像受信装置。
【請求項３１】
前記第二の映像信号処理手段は、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理を行うことを特徴とする請求項２４に記載の映像受信装置。
【請求項３２】
前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理の強度を制御することを特徴とする請求項３１に記載の映像受信装置。
【請求項３３】
前記第二の映像信号に対するエッジ強調処理の強度をゼロにすることを特徴とする請求項３２に記載の映像受信装置。
【請求項３４】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする請求項３２に記載の映像受信装置。
【請求項３５】
前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項３４に記載の映像受信装置。
【請求項３６】
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする請求項３５に記載の映像受信装置。
【請求項３７】
前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする請求項３６に記載の映像受信装置。
【請求項３８】
請求項２４乃至３７のいずれかに記載の映像受信装置を備えたことを特徴とする映像表示装置。
【請求項３９】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする映像記録装置。
【請求項４０】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする映像記録装置。
【請求項４１】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする映像記録装置。
【請求項４２】
第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、
前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする映像再生装置。
【請求項４３】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録する映像記録装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度及び移動方向を示す情報を含むことを特徴とする映像記録装置。
【請求項４４】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録する映像記録装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする映像記録装置。
【請求項４５】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録する映像記録装置であって、
前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号が自然映像信号か人工映像信号かの種別を示す情報を含むことを特徴とする映像記録装置。
【請求項４６】
第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、
前記第一の映像信号に対し、所定の映像信号処理を行う第一の映像信号処理手段と、
前記第二の映像信号に対し、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、
前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする映像再生装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００８
【補正方法】変更
【補正の内容】
【０００８】
とする。
課題を解決するための手段
［００３２］
本願の第１の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。
［００３０］
本願の第２の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
［００３１］
本願の第３の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を送信するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
［００３２］
本願の第４の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。
［００３３］
本願の第５の発明は、前記映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。
［００３４］
本願の第６の発明は、前記映像信号処理手段が、動き補償処理を用いたインターレース／プログレッシブ（Ｉ／Ｐ）変換部を有し、該インターレース／プログレッシブ（Ｉ／Ｐ）変換部が、前記第二の映像信号が重畳された領域に対し、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる動き補償処理を行うことを特徴とする。
［００３５］
本願の第７の発明は、前記第二の映像信号に関する情報が、前記第二の映像信号によって表される映像の移動速度が０であることを示す場合、前記第二の映像信号が重畳された領域に対する動き補償処理の強度をゼロにすることを特徴とする。
［００３６］
本願の第８の発明は、前記第二の映像信号が重畳された領域とそれ以外の領域と
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
の境界部に対してフィルタ処理を施すことを特徴とする。
［００３７］
本願の第９の発明は、前記映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。
［００３８］
本願の第１０の発明は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする。
［００３９］
本願の第１１の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。
［００４０］
本願の第１２の発明は、前記動きベクトル演算部が、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向のベクトルが得られるように演算方法を変更することを特徴とする。
［００４１］
本願の第１３の発明は、前記映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なるエッジ強調処理を行うことを特徴とする。
［００４２］
本願の第１４の発明は、前記第二の映像信号が重畳された領域に対するエッジ強調
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
処理の強度を、その他の領域に対するエッジ強調処理の強度から変化させることを特徴とする。
［００４３］
本願の第１５の発明は、前記第二の映像信号が重畳された領域に対しては、前記エッジ強調処理の強度をゼロにすることを特徴とする。
［００４４］
本願の第１６の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
［００４５］
本願の第１７の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
［００４６］
本願の第１８の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
［００４７］
本願の第１９の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス（ＣＧ）映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
［００４８］
本願の第２０の発明は、前記第４乃至１９の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。
［００４９］
本願の第２１の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度及び移動方向を示す情報を含むことを特徴とする。
［００５０］
本願の第２２の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
［００５１］
本願の第２３の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを送信するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して送信する映像送信装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号が自然映像信号か人工映像信号かの種別を示す情報を含むことを特徴とする。
［００５２］
本願の第２４の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを受信する映像受信装置であって、前記第一の映像信号に対して、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対して、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。
［００５３］
本願の第２５の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたフレームレート変換部を有し、該フレームレート変換部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。
［００５４］
本願の第２６の発明は、前記第二の映像信号処理手段が、動き補償処理を用いたインターレース／プログレッシブ（Ｉ／Ｐ）変換部を有し、該インターレース／プログレッシブ（Ｉ／Ｐ）変換部が、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対する動き補償処理を制御することを特徴とする。
［００５５］
本願の第２７の発明は、前記第二の映像信号処理手段が、入力画像信号のフレームあるいはフィールドを予め定めた所定の大きさの複数のブロックに分割し、各ブロック毎に少なくとも１フレームあるいは１フィールド以上離れた入力画像信号間における動きの大きさ及び方向を表わす動きベクトルを検出する動きベクトル検出部を備え、前記動きベクトル検出部が、各ブロック毎に検出された動きベクトルを少なくとも１フレームあるいは１フィールド分蓄積する記憶部と、前記記憶部により蓄積された動きベクトルの中から読み出した候補ベクトル群の中から、被検出ブロックの動きに最もふさわしい値の動きベクトルを、被検出ブロックの初期変位ベクトルとして選択する初期変位ベクトル選択部と、前記初期変位ベクトル選択部により選択された初期変位ベクトルを起点として所定の演算を行うことにより、被検出ブロックの動きベクトルを求めて出力するとともに、前記記憶部に蓄積する動きベクトル演算部とを有することを特徴とする。
［００５６］
本願の第２８の発明は、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動速度を、前記候補ベクトル群の１つとして前記初期変位ベクトル選択部に追加することを特徴とする。
［００５７］
本願の第２９の発明は、前記初期変位ベクトル選択部が、前記追加した候補ベクトルが選択されやすいような重み付けを行って初期変位ベクトルの選択処理を行うことを特徴とする。
［００５８］
本願の第３０の発明は、前記動きベクトル演算部が、前記第二の映像信号に関する情報が示す、前記第二の映像信号によって表される映像の移動方向と同一の方向の
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
ベクトルが得られるように演算方法を変更することを特徴とする。
［００５９］
本願の第３１の発明は、前記第二の映像信号処理手段が、エッジ強調処理を行うエッジ強調部を有し、該エッジ強調部は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理を行うことを特徴とする。
［００６０］
本願の第３２の発明は、前記第二の映像信号に関する情報を用いて、前記第二の映像信号に対するエッジ強調処理の強度を制御することを特徴とする。
［００６１］
本願の第３３の発明は、前記第二の映像信号に対するエッジ強調処理の強度をゼロにすることを特徴とする。
［００６２］
本願の第３４の発明は、前記第二の映像信号に関する情報が、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
［００６３］
本願の第３５の発明は、前記第二の映像信号によって表される映像のエッジが急峻である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像のエッジが緩やかである場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
［００６４］
本願の第３６の発明は、前記第二の映像信号に関する情報が、前記第一の映像信
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００１３
【補正方法】変更
【補正の内容】
【００１３】
号に重畳すべき前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
［００６５］
本願の第３７の発明は、前記第二の映像信号によって表される映像の種別がコンピュータグラフィックス（ＣＧ）映像である場合は、前記エッジ強調処理の強度を減少し、前記第二の映像信号によって表される映像の種別が自然映像である場合は、前記エッジ強調処理の強度を増大させることを特徴とする。
［００６６］
本願の第３８の発明は、前記第２４乃至３７の発明のいずれかに記載の映像受信装置を備えた映像表示装置を特徴とする。
［００６７］
本願の第３９の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の移動速度を示す情報を含むことを特徴とする。
［００６８］
本願の第４０の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
［００６９］
本願の第４１の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を情報媒体に記録するとともに、前記第一の映像信号に重畳された前記第二の映像信号に関する情報を、前記合成映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳された前記第二の映像信号によって表される映像の種別を示す情報を含むことを特徴とする。
［００７０］
本願の第４２の発明は、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号と、前記第一の映像信号に重畳された前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行う映像信号処理手段を備えたことを特徴とする。
［００７１］
本願の第４３の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像の移動速度及び移動方向を示す情報を含むことを特徴とする。
［００７２］
本願の第４４の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号によって表される映像のエッジの急峻さを示す情報を含むことを特徴とする。
［００７３］
本願の第４５の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号とを情報媒体に記録するとともに、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報を、前記第一の映像信号及び／又は第二の映像信号に付加して記録する映像記録装置であって、前記第二の映像信号に関する情報は、前記第一の映像信号に重畳すべき前記第二の映像信号が自然映像信号か人工映
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【００１４】
像信号かの種別を示す情報を含むことを特徴とする。
［００７４］
本願の第４６の発明は、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前記第一の映像信号に重畳すべき前記第二の映像信号に関する情報とを情報媒体から再生する映像再生装置であって、前記第一の映像信号に対し、所定の映像信号処理を行う第一の映像信号処理手段と、前記第二の映像信号に対し、前記第二の映像信号に関する情報を用いて、所定の映像信号処理を行う第二の映像信号処理手段と、前記第一の映像信号処理手段により映像信号処理が施された第一の映像信号と、前記第二の映像信号処理手段により映像信号処理が施された第二の映像信号とを、前記第二の映像信号に関する情報を用いて重畳する映像合成処理手段とを備えたことを特徴とする。
［００７５］
［００７６］
発明の効果
［００７７］
本発明によれば、第一の映像信号に該第一の映像信号とは異なる第二の映像信号が重畳された合成映像信号を受信あるいは再生する場合、前記第二の映像信号が重畳された領域に対しては、前記第二の映像信号に関する情報を用いて、その他の領域とは異なる映像信号処理を行うことで、映像信号処理による第二の映像信号の領域及びその周辺の画像の劣化を防止し、より高品質の映像を生成することができる。
［００７８］
また、第一の映像信号と、該第一の映像信号に重畳すべき第二の映像信号と、前
【国際調査報告】
2008123217.tif 000010
2008123217.tif 000011
2008123217.tif 000012
2008123217.tif 000013