(57)【要約】【課題】映像に含まれる緊急速報などのテロップを消去し、シーンチェンジが発生した場合にも、本来の画像に近く、周囲或いは前後と調和した画像で置き換えることを可能にする。【解決手段】テロップの文字を構成する画素を含む領域を補間対象領域として補間を行う。補間の方法を、テロップの出現時刻、消滅時刻、変更時刻、シーンチェンジに応じて決定する。シーンチェンジの一方の側に有るフレーム内の補間対象領域内の画素の補間には、シーンチェンジの他方の側にあるフレーム内の画素を用いない。変更時刻の一方の側では、他方の側のフレーム内の、補間対象領域と同じ位置が、当該他方の側のテロップ領域に含まれていなければ、当該同じ位置の画素を補間に用いる。【選択図】図１
2014212434.tif 000002
【特許請求の範囲】
【請求項１】
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出するとともに、前記テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出するテロップ検出部と、
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定する
ことを特徴とする映像信号処理装置。
【請求項２】
前記テロップ検出部が、前記テロップの文字を構成するすべての画素を内部に含むテロップ領域を検出し、
前記画像処理部が、前記検出されたテロップ領域を前記補間対象領域として補間を行うことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記テロップ検出部は、前記映像の各フレームにおいて検出されたテロップ領域の位置が、相前後するフレーム間で所定の閾値以上変化した時刻を前記テロップの変更時刻として検出することを特徴とする請求項２に記載の映像信号処理装置。
【請求項４】
前記テロップ検出部は、
前記映像の各フレームにおいて、前記テロップ領域の位置を検出するテロップ領域検出部と、
前記テロップの出現時刻から消滅時刻までの期間内における、１又は２以上のテロップの各々が連続して表示される持続期間について、前記テロップ領域の代表的位置を検出するテロップ切替点検出部とを有し、
前記画像処理部は、前記持続期間の各々について前記補間の方法を決定し、前記代表的位置の領域を前記補間対象領域として、該補間対象領域内の画素に対して、前記決定された補間の方法で補間を行う
ことを特徴とする請求項１乃至３のいずれかに記載の映像信号処理装置。
【請求項５】
前記画像処理部は、
前記補間の方法として、前記補間対象領域と同じフレーム内の画素を用いる空間補間、又は前記テロップ領域とは異なるフレーム内の、前記テロップ領域と同じ位置の画素を用いる時間補間、又は前記空間補間と前記時間補間の組合せのいずれかを選択することを特徴とする請求項１乃至４のいずれかに記載の映像信号処理装置。
【請求項６】
前記時間補間と空間補間の組合せを用いる場合には、前記時間補間を優先的に用いることを特徴とする請求項５に記載の映像信号処理装置。
【請求項７】
前記画像処理部は、
前記テロップ変更時刻の前及び後の一方にあるフレーム内の補間対象領域内の画素の補間に当たり、
当該テロップ変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
当該テロップ変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素の画素値を用いた空間補間を行う
ことを特徴とする請求項１乃至６のいずれかに記載の映像信号処理装置。
【請求項８】
前記画像処理部は、前記１又は２以上のシーンチェンジの各々の発生時刻の前及び後のうちの一方におけるフレーム内の補間対象領域内の画素の補間に当たり、当該シーンチェンジの発生時刻に対して同じ側に位置するフレーム内の画素を用いて補間を行うことを特徴とする請求項１乃至７のいずれかに記載の映像信号処理装置。
【請求項９】
前記画像処理部は、
前記テロップの出現時刻から消滅時刻までの期間内に、シーンチェンジが発生しなかった場合には前記テロップの出現時刻から消滅時刻までの期間内のすべてのフレーム内の補間対象領域内の画素の補間を、前記補間対象領域を含むフレームとは異なるフレーム内の画素を用いた時間補間で行い、
前記テロップの出現時刻から消滅時刻までの期間内に、１又は２以上のシーンチェンジが発生した場合に、
前記テロップ出現時刻から前記１又は２以上のシーンチェンジのうちの最初のシーンチェンジの発生時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ出現時刻よりも前のフレーム内の画素を用いた時間補間で行い、
前記１又は２以上のシーンチェンジのうちの最後のシーンチェンジの発生時刻からテロップ消滅時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ消滅時刻よりも後のフレーム内の画素を用いた時間補間で行う
ことを特徴とする請求項１乃至８のいずれかに記載の映像信号処理装置。
【請求項１０】
前記画像処理部は、
前記１又は２以上のシーンチェンジのうちの１つのシーンチェンジの発生時刻から次のシーンチェンジの発生時刻までの期間であって、かつ、当該期間にテロップ変更点が含まれている場合に、
前記テロップ変更点の一方の側のフレーム内の補間対象領域内の画素の補間に当たって、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素を用いた空間補間を行う
ことを特徴とする請求項９に記載の映像信号処理装置。
【請求項１１】
前記画像処理部から出力される映像信号を符号化するエンコーダと、
前記エンコーダで符号化された映像信号を蓄積するストリーム蓄積部と
をさらに有することを特徴とする請求項１乃至１０のいずれかに記載の映像信号処理装置。
【請求項１２】
前記画像処理部から出力される映像信号を表示する映像表示部をさらに有することを特徴とする請求項１乃至１１のいずれかに記載の映像信号処理装置。
【請求項１３】
放送波を受信する受信部と、
前記受信部が受信した放送波を復調しトランスポートストリームを出力する復調部とをさらに有し、
前記制御部は、前記復調部が出力したトランスポートストリームから映像信号を分離し、分離した映像信号を復号して、復号後の映像信号を前記テロップ検出部、前記シーンチェンジ検出部及び前記画像処理部に出力する
ことを特徴とする請求項１乃至１２のいずれかに記載の映像信号処理装置。
【請求項１４】
前記制御部は、
前記テロップ検出部で検出されたテロップに関する情報及び前記シーンチェンジ検出部で検出されたシーンチェンジに関する情報を蓄積する解析結果蓄積部と、
前記解析結果蓄積部に蓄積された、前記検出されたテロップに関する情報で示されるテロップのうちで、消去すべきものを指定する外部からの情報に基づいて、前記画像処理部で補間の対象とするテロップを選択するテロップ選択部をさらに有する
ことを特徴とする請求項１乃至１３のいずれかに記載の映像信号処理装置。
【請求項１５】
前記画像処理部は、前記補間対象領域の補間映像を表す映像信号を生成し、
前記制御部から出力された映像信号で表される映像に、前記画像処理部から出力された映像信号で表される補間映像を重畳して合成映像信号を出力する合成部と、
前記合成部から出力された合成映像信号に基づいて、前記合成映像信号で表される合成映像を表示する表示部とを
さらに有することを特徴とする請求項１乃至１４のいずれかに記載の映像信号処理装置。
【請求項１６】
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出するとともに、前記テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出するテロップ検出ステップと、
前記映像のシーンチェンジを検出するシーンチェンジ検出ステップと、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理ステップとを有し、
前記画像処理ステップは、前記テロップ検出ステップによって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出ステップによって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定する
ことを特徴とする映像信号処理方法。
【請求項１７】
請求項１６に記載の映像信号処理装置の各ステップの処理をコンピュータに実行させるためのプログラム。
【請求項１８】
請求項１７に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号処理装置及び方法に関し、特に映像中の不要なテロップ領域を削除する方法に関する。本発明はまた、上記の映像信号処理装置の構成要素の機能、又は映像信号処理方法の各ステップの処理をコンピュータで実現するためのプログラム、及び該プログラムを記録した記録媒体に関する。
【背景技術】
【０００２】
映像に含まれる緊急速報などのテロップは、リアルタイムで視聴する場合は意味を持つが、録画した映像信号を視聴する場合にはテロップの情報が必要でない場合が多い。そこで輝度情報と色差情報から文字領域を検出し、文字画素の近傍の画素を使って作成した補間値で上書きし、表示が点滅、あるいは移動している場合は時間的に近接したフレームから補間値を求め、文字情報に対する上書きを行っていた（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】国際公開第２００６／００９１０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
従来のように、時間的近接フレームから文字画素の補間値を求めると、当該フレームと時間的に近接したフレームとの間にシーンチェンジがあった場合に補間値が当該フレームとは異なるシーンの映像になり、この補間値で文字画素を上書きした映像は上書きされた領域だけ異なるシーンの映像がはめ込まれ、周囲と調和しない映像になるという問題があった。
【０００５】
本発明は、緊急速報などのテロップを消去し、シーンチェンジが発生した場合にも、本来の画像（テロップを重ねる前の画像）に、より近い画像を生成することを可能にすることを目的とする。
【課題を解決するための手段】
【０００６】
本発明の映像信号処理装置は、
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出するとともに、前記テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出するテロップ検出部と、
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定する
ことを特徴とする。
【発明の効果】
【０００７】
本発明は、映像信号からテロップ出現時刻、テロップ消滅時刻、テロップ変更時刻、及びシーンチェンジ時刻を検出し、これらに基づいて異なる方法でテロップを構成する文字の画素の画素値の置き換えを行っているので、本来の画像により近い画像を表す映像信号を生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の実施の形態１の映像信号処理装置のブロック図である。
【図２】図１のテロップ領域検出部２１が検出するテロップの領域を示す図である。
【図３】図１のテロップ領域検出部２１の動作を説明する図である。
【図４】図１の補間処理部３１の時間補間処理を説明する図である。
【図５】図１の補間処理部３１の空間補間処理を説明する図である。
【図６】図１の補間制御部３２の動作を説明する図である。
【図７】図１の補間処理部３１の処理タイミングを示す図である。
【図８】実施の形態１の映像信号処理方法の手順を示すフローチャートである。
【図９】実施の形態１の映像信号処理方法の手順を示すフローチャートである。
【図１０】本発明の実施の形態２の映像信号処理装置のブロック図である。
【図１１】本発明の実施の形態３の映像信号処理装置のブロック図である。
【図１２】本発明の実施の形態４の映像信号処理装置のブロック図である。
【図１３】実施の形態４の映像信号処理方法の手順を示すフローチャートである。
【図１４】図１３のステップＳＴ３０の詳細を示すフローチャートである。
【図１５】本発明の実施の形態５の映像信号処理装置のブロック図である。
【発明を実施するための形態】
【０００９】
実施の形態１．
図１は、本発明の実施の形態１に係る映像信号処理装置の構成を示す。図示の映像信号処理装置は、制御部１と、ストリーム解析部２と、画像処理部３とを備える。
制御部１は、デマックス（多重分離部）１１と、ストリームバッファ１２と、デコーダ１３と、デコーダ１４とを備える。
【００１０】
制御部１には、トランスポートストリーム（ＴＳ）が入力される。デマックス１１は制御部１に入力されたトランスポートストリームから、映像信号を分離する。ストリームバッファ１２は、デマックス１１によって分離された映像信号（符号化映像信号）を一旦蓄積する。ストリームバッファ１２からストリーム解析用の符号化映像信号が読み出されてデコーダ１３に出力され、画像処理用の符号化映像信号が読み出されてデコーダ１４に出力される。
【００１１】
デコーダ１４は入力された符号化映像信号を復号し、復号後の映像信号Ｄ１４を画像処理用の映像信号として画像処理部３に出力する。以下では、復号後の映像信号を単に映像信号と呼ぶこともある。
【００１２】
デコーダ１３は入力された符号化映像信号を復号し、復号後の映像信号Ｄ１３をストリーム解析用の映像信号としてストリーム解析部２に出力する。デコーダ１３からストリーム解析部２に供給される映像信号には、各フレームの時刻（再生時刻、例えばコンテンツの先頭からの再生時間）を示す情報（フレーム時刻情報）ＦＴＮが付加されている。このフレーム時刻情報ＦＴＮとしては、例えばフレームの番号又はプレゼンテーションタイムスタンプを用いることができる。
【００１３】
ストリーム解析部２は、テロップ検出部２０と、シーンチェンジ検出部２３とを備え、デコーダ１３から映像信号Ｄ１３は、テロップ検出部２０とシーンチェンジ検出部２３とに入力される。
【００１４】
テロップ検出部２０は、映像に含まれるテロップの文字を内部に含むテロップ領域を検出し、テロップの出現時刻及び消滅時刻を検出するとともに、テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出する。
【００１５】
テロップ検出部２０は、テロップ領域検出部２１と、テロップ切替点検出部２２とを有する。
テロップ領域検出部２１は、映像信号Ｄ１３で表される映像の各フレームに含まれるテロップ領域の位置を検出する。即ち、テロップ領域検出部２１は各フレームの映像信号から映像信号に重畳された文字であるテロップを検出し、テロップで占められる領域の位置を検出し、該領域の、フレーム内における位置を特定する情報（テロップ領域検出位置情報）Ｄ２１ａと、テロップが検出された時刻（テロップが検出されたフレームの時刻）を示す情報Ｄ２１ｂをテロップ切替点検出部２２に出力する。ここで言う時刻も、例えばコンテンツの先頭を基準とした相対時刻であって、テロップが検出されたフレームを特定する情報（フレーム番号）であっても良く、プレゼンテーションタイムスタンプであっても良い。以下の説明における他の「時刻」についても同様である。
【００１６】
テロップ切替点検出部２２は、入力されたテロップに関する情報（Ｄ２１ａ、Ｄ２１ｂ）を内部のメモリ２２ｍに蓄積し、蓄積した情報に基づいてテロップ領域の位置（フレーム内における空間的位置）の時間変化を解析する。そして、テロップ領域の位置が所定の閾値よりも大きく変化した時刻をテロップ変更時刻乃至変更点として検出する。
【００１７】
テロップ切替点検出部２２はまた、入力されたテロップに関する情報（Ｄ２１ａ、Ｄ２１ｂ）に基づいて、テロップの出現の検出（出現したとの判定）、及びテロップの消滅の検出（消滅したとの判定）をも行い、これらが検出された時刻を、テロップ出現時刻乃至出現点、テロップ消滅時刻乃至消滅点として検出する。
【００１８】
テロップ切替点検出部２２は、検出されたテロップの出現、消滅、変更の時刻を示す情報を、テロップ切替時刻情報Ｄ２２ａとして出力する。
【００１９】
以下では、テロップの出現時刻（出現点）、消滅時刻（消滅点）及び変更時刻（変更点）を切替時刻（切替点）と総称し、テロップの出現時刻から消滅時刻までの期間のうち、一つの切替時刻から次の切替時刻までの期間を一つのテロップの持続期間と言う。一つの持続期間は一つのテロップが連続して表示される期間である。
【００２０】
テロップ切替点検出部２２はまた、テロップ領域検出部２１で検出されたテロップの出現時刻から消滅時刻までの期間のうち、１又は２以上のテロップの各々の持続期間について、テロップ領域の代表的位置を検出し、該代表的位置を表す情報Ｄ２２ｂを出力する。
【００２１】
例えば、テロップの持続期間の各々におけるテロップ領域の検出位置の平均的位置、又は当該持続期間内のフレームのいずれかにおけるテロップ領域の検出位置が、当該持続期間におけるテロップ領域の代表的位置として用いられる。
【００２２】
シーンチェンジ検出部２３は、映像信号Ｄ１３で表される映像のシーンチェンジを検出する。シーンチェンジとは、映像のシーンの切り替わりである。シーンチェンジ検出部２３は、シーンチェンジが発生した時刻を示す情報（シーンチェンジ時刻情報）Ｄ２３を出力する。ここでも、時刻とは例えばコンテンツ内における再生時刻（コンテンツの先頭からの経過時間）を意味する。
【００２３】
ストリーム解析部２は、テロップ切替点検出部２２が生成したテロップ切替時刻情報Ｄ２２ａとテロップ領域代表位置情報Ｄ２２ｂと、シーンチェンジ検出部２３が生成したシーンチェンジ時刻情報Ｄ２３とを画像処理部３に供給する。
【００２４】
画像処理部３は、デコーダ１４からの映像信号Ｄ１４を受け、テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を参照して、テロップ検出部２０で検出されたテロップ領域を補間対象領域として、補間対象領域内の画素の画素値を、補間対象領域以外の画素の画素値で補間して、補間後の映像信号を出力する。
【００２５】
補間の方法として、画像処理部３は、補間対象領域と同じフレーム内の画素を用いる空間補間、又は補間対象領域とは異なるフレーム内の、補間対象領域と同じ位置の画素を用いる時間補間、又は空間補間と時間補間の組合せのいずれかを選択する。
時間補間と空間補間の組合せを用いる場合には、時間補間を優先的に用いる方が良い。
【００２６】
画像処理部３は、テロップの出現時刻から消滅時刻までの期間（テロップの表示期間）内における１又は２以上のテロップの各々の持続期間について、補間方法を決定し、各持続期間におけるテロップの代表的位置（テロップ切替点検出部２２で検出される）の領域を補間対象領域として、該補間対象領域内の画素に対して決定された補間方法で補間を行う。
補間方法の決定は以下のように行われる。
【００２７】
まず、画像処理部３は、テロップ変更時刻の前及び後の一方にあるフレーム内の補間対象領域内の画素の補間に当たり、当該テロップ変更時刻を挟んで反対側にあるフレーム内の、補間対象領域と同じ位置が、上記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものであるか否か（テロップの文字で隠されているか否か）に応じて異なる方法で補間を行う。即ち、テロップの文字で隠されていない場合には、当該同じ位置の画素の画素値を用いた時間補間を行う。一方、テロップの文字で隠されている場合には、補間対象領域と同じフレーム内の画素の画素値を用いた空間補間を行う。
【００２８】
また、画像処理部３は、テロップの出現時刻から消滅時刻までの期間内に、１又は２以上のシーンチェンジが検出された場合、各シーンチェンジの発生時刻の前及び後のうちの一方におけるフレーム内の補間対象領域内の画素の補間に当たり、当該シーンチェンジの発生時刻を挟んで反対側に位置するフレーム内の画素を用いた補間を行わず、当該シーンチェンジの発生時刻に対して同じ側に位置するフレーム内の画素を用いて補間を行う。
【００２９】
また、画像処理部３は、テロップ出現時刻から消滅時刻までの期間（テロップ表示期間）内に、シーンチェンジが発生したか否かに応じて補間方法を変える。即ち上記テロップ表示期間内にシーンチェンジが発生しなかった場合には、上記テロップ表示期間内のすべてのフレーム内の補間対象領域内の画素の補間を、当該補間対象領域を含むフレームとは異なるフレーム内の画素を用いた時間補間で行う。
上記テロップ表示期間内に、１又は２以上のシーンチェンジが発生した場合には、シーンチェンジ発生時刻で分割されるそれぞれの区間毎に、以下のように補間方法を決める。
テロップ出現時刻から上記１又は２以上のシーンチェンジのうちの最初のシーンチェンジの発生時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、テロップ出現時刻よりも前のフレーム内の画素を用いた時間補間で行う。
上記１又は２以上のシーンチェンジのうちの最後のシーンチェンジの発生時刻から消滅時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ消滅時刻よりも後のフレーム内の画素を用いた時間補間で行う。
【００３０】
さらに、画像処理部３は、テロップ出現時刻から消滅時刻までの期間内に発生した１又は２以上のシーンチェンジのうちの１つのシーンチェンジの発生時刻から次のシーンチェンジの発生時刻までの期間（シーンチェンジ間期間）については、当該シーンチェンジ間期間にテロップ変更点が含まれているか否かに応じて以下のように補間方法を変える。即ち、当該シーンチェンジ間期間にテロップ変更点が含まれている場合には、上記テロップ変更点の一方の側のフレーム内の補間対象領域内の画素の補間に当たって、上記テロップ変更点の他方の側のフレーム内の、上記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものであるか否か（テロップの文字で隠されているか否か）に応じて異なる方法で補間を行う。
即ち、テロップの文字で隠されていない場合には、当該同じ位置の画素の画素値を用いた時間補間を行う。一方、テロップの文字で隠されている場合には、上記補間対象領域と同じフレーム内の画素を用いた空間補間を行う。
【００３１】
画像処理部３は、補間処理部３１と補間制御部３２とを有する。
テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３は、補間制御部３２に入力される。
【００３２】
補間制御部３２は、テロップ領域代表位置情報Ｄ２２ｂから補間対象領域を決定して、補間対象領域を示す情報Ｄ３２ｃを生成するとともに、テロップ切替時刻情報Ｄ２２ａとシーンチェンジ時刻情報Ｄ２３とから、補間対象領域の画素の補間値を求めるための補間方法、及び当該補間方法を適用する期間を決定して、決定した補間方法を示す情報Ｄ３２ａと、その補間方法を適用する期間を示す情報Ｄ３２ｂとを生成し、これらの情報Ｄ３２ａ、Ｄ３２ｂ及びＤ３２ｃを、補間処理部３１に出力する。
【００３３】
補間制御部３２はさらに、補間方法を示す情報Ｄ３２ａとその補間方法を適用する期間を示す情報Ｄ３２ｂとから、画像処理用の映像信号（符号化映像信号）を特定する情報（映像信号特定情報）Ｄ３２ｄを生成して、制御部１のストリームバッファ１２に出力する。ここで画像処理用に映像信号には、補間の対象となる映像信号と、補間に用いられる映像信号（補間のために参照される映像信号）が含まれる。
【００３４】
補間処理部３１には、情報Ｄ３２ｄによって特定されて、ストリームバッファ１２から読み出され、デコーダ１４でデコードすることで得られた映像信号Ｄ１４と、補間制御部３２からの、補間方法を示す情報Ｄ３２ａと、その補間方法を適用する期間を示す情報Ｄ３２ｂと、補間対象領域を示す情報Ｄ３２ｃとが入力される。
【００３５】
補間処理部３１は、デコーダ１４からの映像信号Ｄ１４のうちの、情報Ｄ３２ｃで示される領域（補間対象領域）内の画素に対し、同じく映像信号Ｄ１４のうちの、補間に用いられる映像信号を用いて、情報Ｄ３２ａが示す補間方法を、情報Ｄ３２ｂで示される期間に亘って適用し、補間後の映像信号Ｄ３を生成する。補間後の映像信号Ｄ３は画像処理部３から出力される。
【００３６】
以下、実施の形態１の映像信号処理装置の動作について、より詳しく説明する。
映像信号処理装置の外部から供給されるトランスポートストリームＴＳがデマックス１１に入力される。
【００３７】
デマックス１１は入力されたトランスポートストリームを分離し、符号化映像信号を抽出する。ここで、トランスポートストリームＴＳは放送波を復調したものであり、トランスポートストリームＴＳは、映像信号と音声信号とデータ信号（文字放送用のデータ）と制御信号とを含む。映像信号と音声信号とデータ信号とは符号化されている。
【００３８】
デマックス１１で抽出された、符号化映像信号は、ストリームバッファ１２に送られ、ストリームバッファ１２は符号化映像信号を一旦蓄積する。
ストリームバッファ１２が蓄積する符号化映像信号の量は、後述する画像処理部３における補間に用いられる映像信号の範囲に依存する。
【００３９】
ストリームバッファ１２は、蓄積している符号化映像信号のうち、デマックス１１から入力されたばかりの（最も新たに入力された）符号化映像信号を、ストリーム解析用の符号化映像信号として、デコーダ１３に出力する。
【００４０】
また、ストリームバッファ１２は、画像処理部３から入力された映像信号特定情報Ｄ３２ｄによって特定される映像信号を、画像処理用の符号化映像信号としてデコーダ１４に出力する。
【００４１】
デコーダ１３は、入力された符号化映像信号を復号し、復号された映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２に入力された映像信号Ｄ１３は、テロップ検出部２０のテロップ領域検出部２１とシーンチェンジ検出部２３とに入力される。
【００４２】
テロップ領域検出部２１は、映像信号Ｄ１３からテロップの領域を検出する。
図２は、テロップ領域検出部２１が検出するテロップの領域の一例を示す。
図中の「ＡＢＣＤＥ」が検出対象のテロップであり、テロップを構成する文字を形成するすべての画素を内部に含み、水平方向の辺の長さ及び垂直方向の辺の長さがともに最短の矩形の領域ＴＬａがテロップ領域である。図示のテロップ領域ＴＬａは、画面ＦＳの上部中央に位置している。なお、水平方向の辺の長さ及び垂直方向の辺の長さは、テロップの文字を内部に含むように定められれば良く、最短でなくても、若干の余裕を持つようにしても良い。
【００４３】
テロップの一例として緊急速報のテロップがある。これは、リアルタイムで視聴する場合は意味を持つが、録画した映像信号を視聴する場合には必要でない場合が多く、補間処理を施してテロップを消去すると、不要な情報が表示されず、快適な視聴をユーザーに提供することが可能となる。
【００４４】
テロップ領域検出部２１は、検出したテロップ領域の、フレーム（画面）内における位置を示すテロップ領域検出位置情報Ｄ２１ａをテロップ切替点検出部２２に出力する。テロップ領域検出位置情報Ｄ２１ａとしては、例えば、フレームの縦（垂直方向）と横（水平方向）とをそれぞれ軸とする座標系における、テロップの領域の左上と右下の座標がある。また、テロップ領域の左上の座標と、テロップ領域の縦の長さと横の長さの組合せでもよい。
【００４５】
テロップ領域検出部２１はさらに、テロップが検出された時刻を示す情報Ｄ２１ｂをテロップ切替点検出部２２に出力する。
【００４６】
ここで、テロップ領域検出部２１が映像信号から緊急速報のテロップの領域を検出する方法について、図３を用いて説明する。緊急速報のテロップは白字に黒い縁がついている。この特徴を利用してテロップの領域を検出する。図中の「ＡＡＡ」が検出対象のテロップを示す。
【００４７】
まず、映像信号を各行に沿って水平方向に、黒色（Ｒ＝０かつＧ＝０かつＢ＝０）の画素を探索し、黒色の画素が検出されたら白色（Ｒ＝２５５かつＧ＝２５５かつＢ＝２５５）の画素を探索する。但し、Ｒ、Ｇ、Ｂの信号が８ビットの信号であり、０〜２５５の範囲内の値を持つ場合を想定している。白色の画素が検出されたら、再び黒色の画素を探索する。このような処理によって、各行における黒色の画素と白色の画素とを検出する。上記の処理を複数の行について繰り返す。
【００４８】
次に、行毎に検出した黒色の画素に挟まれた、互いに連続する白色の画素の数を求め、この数が所定の閾値より小さいか否かを判定する。閾値よりも小さい場合、この行にはテロップがあると判定する。この白色の画素は文字の構成要素（例えばストローク）を示し、黒色の画素は文字の構成要素の縁を示し、白色の画素が連続して存在する数は文字の構成要素の幅、例えば縦方向のストロークの太さを示す。所定の値は、例えば、フレームの短辺の１０％にあたる画素数（短辺が１０８０であれば１０８画素）とする。また、テロップがあると判定された行において、初めて黒色の画素が検出された位置と最後に黒色の画素が検出された位置を算出する。このようにして、行毎にテロップで占められる帯状の領域Ｌｂｉの左端位置ＬｂｉＬと右端位置ＬｂｉＲが検出される。
【００４９】
このようにして検出された複数の行の帯状の領域であって互いに垂直方向に連続するものＬｂ１〜ＬｂＩからなる領域ＴＬｂを検出する。このとき、複数の帯状の領域Ｌｂ１〜ＬｂＩの左端位置Ｌｂ１Ｌ〜ＬｂＩＬを、その中で最も左に位置するものに揃え、複数の帯状の領域Ｌｂ１〜ＬｂＩの右端位置Ｌｂ１Ｒ〜ＬｂＩＲを、その中で最も右に位置するものに揃えることで、矩形の領域を形成する。
【００５０】
このような処理を行う結果、図示の例では符号ＴＬｂで示す矩形の領域がテロップ領域として検出される。
テロップ領域の位置を示す情報として、テロップ領域検出部２１は、例えば、フレーム内における、テロップ領域ＴＬｂの左上隅の頂点ＰＴｃと右下隅の頂点ＰＴｄの位置を示す情報（座標値）を出力する。
【００５１】
なお、検出するのは、真っ黒（Ｒ＝０かつＧ＝０かつＢ＝０）と真っ白（Ｒ＝２５５かつＧ＝２５５かつＢ＝２５５）の画素でなくてもよい。これは、映像信号が圧縮されることにより、黒が多少グレーに、白が暗くなっている場合があるためである。このため黒に近い（例えば、Ｒ＜１６かつＧ＜１６かつＢ＜１６）画素と白に近い（例えば、Ｒ＞２２４かつＧ＞２２４かつＢ＞２２４）画素を検出する。
【００５２】
また、緊急速報以外のテロップとの区別をするには、テロップ領域ＴＬｂはテロップ領域を構成する文字の縁の部分にエッジが立っていること、及び／又は複数フレームに亘り上記エッジの位置が変化しないことを利用することとしても良い。
エッジの検出は、隣接する画素の映像信号の差分値により検出することができる。テロップの領域（文字の領域）は文字以外の画像の領域よりもこの差分値が大きい。よって、差分値をある閾値と比較し、閾値よりも大きい場合にエッジがあると判定することができる。
【００５３】
テロップ領域検出部２１から、テロップ領域検出位置情報Ｄ２１ａと、テロップが検出された時刻を示す情報Ｄ２１ｂとが出力され、テロップ切替点検出部２２に入力される。
【００５４】
テロップ切替点検出部２２は入力されたテロップ領域検出位置情報Ｄ２１ａで示されるテロップ領域の位置が大きく変化したときにテロップが変更されたものとして検出する。テロップが変更されたタイミングをテロップ変更時刻或いはテロップ変更点と言う。テロップ切替点検出部２２は、テロップの変更を検出するため、一つ前のフレームのテロップ領域検出位置情報Ｄ２１ａを保持しておく。テロップ切替点検出部２２は、入力された各フレーム（ｎ）のテロップ領域検出位置情報Ｄ２１ａ（ｎ）と、一フレーム前のテロップ領域検出位置情報Ｄ２１ａ（ｎ−１）との差分ΔＤ２１ａ（ｎ）を算出する。例えば、テロップ領域検出位置情報Ｄ２１ａ（ｎ−１）における点ＰＴｃ、ＰＴｄとテロップ領域検出位置情報Ｄ２１ａ（ｎ）における点ＰＴｃ、ＰＴｄの座標値の差（差分値）を算出する。
【００５５】
テロップの位置が大きく変化した場合、この差分値が急に大きくなる。このとき、テロップが変更されたと判定し、テロップ変更点として検出する。差分値が急に大きくなったか否かは、閾値と比較することによって判定される。
【００５６】
例えば、テロップ領域検出位置情報Ｄ２１ａ（ｎ）における点ＰＴｃ、ＰＴｄの座標値をそれぞれ（ｘｃ（ｎ），ｙｃ（ｎ））、（ｘｄ（ｎ），ｙｄ（ｎ））で表し、テロップ領域検出位置情報Ｄ２１ａ（ｎ−１）における点ＰＴｃ、ＰＴｄの座標をそれぞれ（ｘｃ（ｎ−１），ｙｃ（ｎ−１））、（ｘｄ（ｎ−１），ｙｄ（ｎ−１））で表すとき、
Δｘｃ＝ｘｃ（ｎ）−ｘｃ（ｎ−１）
Δｙｃ＝ｙｃ（ｎ）−ｙｃ（ｎ−１）
Δｘｄ＝ｘｄ（ｎ）−ｘｄ（ｎ−１）
Δｙｄ＝ｙｄ（ｎ）−ｙｄ（ｎ−１）
によって水平方向の位置の差分値、垂直方向の位置の差分値を求め、求めた各点についての各方向の差分値Δｘｃ、Δｙｃ、Δｘｄ、Δｙｄのうちのいずれかが、それぞれに対して予め定められた閾値を超えるときテロップが変更されたとの判断をしても良い。代わりに、上記の差分値に基づいて
Δｍｃ＝（Δｘｃ２＋Δｙｃ２）１／２
Δｍｄ＝（Δｘｄ２＋Δｙｄ２）１／２
によって点相互間の距離を求め、該距離Δｍｃ、Δｍｄのいずれかが、それぞれに対して予め定められた閾値を超えるときにテロップが変更されたとの判断をしても良い。
【００５７】
上記のΔｘｃ、Δｙｃ、Δｘｄ、Δｙｄ、Δｍｃ、Δｍｄに対する閾値は、例えば、いずれもフレーム（画面）の長辺の長さの１０％程度に定められる。
【００５８】
テロップ切替点検出部２２は、検出したテロップ変更時刻乃至変更点を示す情報を生成する。例えば、テロップ変更の直前又は直後のフレームの時刻を示す情報（フレーム時刻情報）ＦＴＮを、テロップ変更時刻乃至変更点を示す情報として出力する。
【００５９】
また、テロップ切替点検出部２２は、テロップの出現の検出（出現したとの判定）、及びテロップの消滅の検出（消滅したとの判定）をも行い、これらが検出された時刻、即ち、テロップ出現点及びテロップ消滅点を表す情報を生成する。
テロップ切替点検出部２２は、テロップ変更点を示す情報、テロップ出現点を示す情報、及びテロップ消滅点を示す情報を含むテロップ切替時刻情報Ｄ２２ａを、画像処理部３に出力する。
【００６０】
テロップ出現点からテロップ消滅点までの期間内にｎ個のテロップ変更点が存在する場合、上記テロップの出現点から消滅点までの間に（ｎ＋１）個の互いに異なるテロップが表示されているとして扱う。そして、テロップ出現点から最初のテロップ変更点までの時間、最後のテロップ変更点からテロップ消滅点までの時間、相前後するテロップ変更点相互間の時間を、それぞれのテロップの持続期間として扱う。なお、テロップ出現点から消滅点までの期間にテロップ変更点が存在しない場合には、テロップ出現点からテロップ消滅点までの一つのテロップの持続期間である。
【００６１】
また、テロップ切替点検出部２２は、テロップ出現点から消滅点までの期間内の、一つのテロップ切替点（変更点、出現点、又は消滅点）から次のテロップ切替点までの期間、
即ち上記テロップ持続期間の各々において、テロップ領域の代表的位置を示す情報（テロップ領域代表位置情報）Ｄ２２ｂを生成する。
【００６２】
例えば、上記の持続期間内の複数のフレームのテロップ領域検出位置情報で示される位置の平均的位置を、テロップ領域代表位置情報としても良く、複数のフレームのうちの一つのフレームのテロップ領域検出位置情報を選択してテロップ領域代表位置情報としても良い。
【００６３】
こうすることにより、テロップが表示される期間中の全てのフレームのテロップ領域検出位置情報Ｄ２１ａを保存する必要がなくなり、メモリ２２ｍの容量を小さくすることができる。
【００６４】
テロップ切替点検出部２２は、このようにして生成されたテロップ領域情報Ｄ２２ｂを、テロップ切替時刻情報Ｄ２２ａとともに、画像処理部３に出力する。
【００６５】
シーンチェンジ検出部２３は、映像信号からシーンチェンジを検出する。シーンチェンジの検出は、公知の方法で行い得る。例えば、映像信号の平均輝度を算出し、平均輝度が相前後するフレーム間で大きく変化した場合、シーンチェンジがあると判定する。シーンチェンジ検出部２３は、シーンチェンジの直前又は直後のフレームの時刻を示す情報をシーンチェンジ時刻情報Ｄ２３として画像処理部３に出力する。例えば、処理対象となっているフレームにおいて、シーンチェンジが検出されたか否か、即ち、一つ前のフレームとの間に大きな差があるか否かの判断が行われ、シーンチェンジが検出された（シーンチェンジが発生したとの判定がされた）場合には、シーンチェンジが検出されたフレームの時刻を示す情報Ｄ２３が出力される。
【００６６】
画像処理部３には、ストリーム解析部２からテロップ切替時刻情報Ｄ２２ａとテロップ領域代表位置情報Ｄ２２ｂとシーンチェンジ時刻情報Ｄ２３とが入力される。これらの情報は、補間制御部３２に入力される。
【００６７】
補間制御部３２は、テロップ領域代表位置情報Ｄ２２ｂで示されるテロップ領域を補間対象領域とし、テロップ切替時刻情報Ｄ２２ａとシーンチェンジ時刻情報Ｄ２３とから、補間対象領域の映像信号に施す補間方法を決定する。補間方法の決定方法を説明する前に、補間処理部３１で実行可能な補間処理の種類について、説明する。
【００６８】
補間処理部３１は、テロップ領域代表位置情報Ｄ２２ｂで示される領域を補間対象領域として、補間を行う。補間処理部３１で実行可能な補間処理には、他のフレームの映像信号を用いて補間する時間補間処理と、同一フレームの映像信号を用いて補間する空間補間処理とがある。
【００６９】
図４は、時間補間処理を示す。
図中の符号ＡＰが補間対象領域を示す。時間補間処理はあるフレームＦ（ｎ）内の領域ＡＰ内の画像を、別のフレームＦ（ｍ）において、領域ＡＰと同じ位置にある領域ＡＱの画像で置き換える（領域ＡＰ内の各画素の画素値を、領域ＡＱ内の対応する画素（同じ位置の画素）の画素値で置き換える）処理である。
但し、上記の別フレームＦ（ｍ）において、領域ＡＱｇが上記別のフレームＦ（ｍ）内のテロップ領域（フレームＦ（ｎ）内のテロップ領域とは異なるテロップ領域）に含まれていないことを条件とする。
【００７０】
図５は、空間補間処理を説明する図である。
図５は、補間対象領域とその周辺の画素を示している。破線で囲まれた領域が、補間対象領域ＡＰである。補間対象領域ＡＰ内の斜線を付した画素Ｐｐを補間する場合、補間対象領域の周辺（補間対象領域ＡＰの外部）の画素Ｐａ、Ｐｂ、Ｐｃ、Ｐｄを補間に用いる画素とし、これ周辺の画素の画素値ｖａ、ｖｂ、ｖｃ、ｖｄと、補間対象画素Ｐｐから上記周辺の画素Ｐａ、Ｐｂ、Ｐｃ、Ｐｄまでの距離ｌａ、ｌｂ、ｌｃ、ｌｄとから補間値ｖｐを算出し、補間対象画素の画素値を補間値ｖｐで上書きする（算出した補間値ｖｐを補間対象画素Ｐｐの画素値として用いる）。
【００７１】
補間値ｖｐの算出は下記の式で表される演算で行われる。
【００７２】
【数１】
2014212434.tif 000003
【００７３】
式（１）〜（１ｄ）に示される演算は、補間に用いる画素の各々に対して、補間対象画素からの距離が短いほどより大きな重みを付けた加重平均を求める処理であると言える。
【００７４】
なお、画素毎に上記の計算を行うのではなく、複数の画素から成る領域毎に上記の計算を行うこととしても良い。その場合、図５に符号Ｐｐで示し、斜線を付した領域を１つの画素ではなく、複数の画素から成る領域とし、同様に符号Ｐａ、Ｐｂ、Ｐｃ、Ｐｄで示す矩形を複数の画素から成る領域を示すものとし、領域Ｐａ、Ｐｂ、Ｐｃ、Ｐｄの各々内の画素の画素値の平均値を、式（１）のｖａ、ｖｂ、ｖｃ、ｖｄとし、式（１）で求められたｖｐを領域Ｐｐ内のすべての画素の画素値として用いることとしても良い。
【００７５】
また、補間値ｖｐは下記の式で表される演算で求めても良い。
【００７６】
【数２】
2014212434.tif 000004
【００７７】
式（２）に示される演算も、式（１）〜（１ｄ）と同様に、補間に用いる画素のそれぞれに対して、補間対象画素からの距離が短いほどより大きな重みをつけた加重平均を求める処理である。式（２）の方が、距離による重みの差がより大きくなるため、縦に対して横が非常に長いテロップ領域では、算出した補間値はテロップ領域の上下の画素（ｖａ、ｖｄ）に近い値になり、本来の画像（テロップが重畳されない場合に表示されるはずだった画像）に、より近い画像を生成することができる。
【００７８】
次に、補間方法の決定の方法について図６を用いて説明する。
図６はテロップ表示期間内の各区間における補間方法を示している。
補間制御部３２は、テロップ出現点からテロップ消滅点までの期間内の補間方法を決定する。
【００７９】
補間に用いられる画素はシーンチェンジが起きる度に変更される。これは、本来の画像（テロップが重畳されない場合に表示されるはずだった画像）に、より近い画像を生成するための補間に用いられるべき画素が、シーンチェンジの発生の前後で異なるためである。
【００８０】
一般的に空間補間よりも時間補間の方が、本来の画像（テロップがない場合の画像）に近い画像で置き換えることができるため、可能な限り時間補間を行うのが望ましい。しかしながら、シーンチェンジが起きた場合、シーンチェンジの前後の複数フレームを用いて時間補間をすると、テロップ領域だけ別のシーンの画像がはめ込まれ、本来の画像とは著しく異なるものとなる。そこでシーンチェンジが起きた場合には、シーンチェンジの前及び後のうちの一方では、他方からの時間補間を行わない。
【００８１】
また、相前後するシーンチェンジ相互間の期間であって、該期間内にテロップ変更点が含まれない場合には、空間補間のみを行う。
相前後するシーンチェンジ相互間の期間であって、該期間内にテロップ変更点が含まれる場合には、テロップ変更点の前及び後のうちの一方で他方からの時間補間を行うことはあり得る。この場合、上記他方に属するフレーム内に、上記一方に属するフレーム内の補間対象領域と同一の位置の画素が、上記他方に属するフレーム内のテロップ領域に含まれない場合には、時間補間が行われる。そうでなければ空間補間が行われる。
即ち、補間方法として空間補間のみとするか空間補間と時間補間を併用するかは、相前後する２つのシーンチェンジに挟まれた期間内にテロップ変更点が存在するか否か、及びテロップ変更点の前後でのテロップ領域が重なっているか否かで変わる。
以下に補間方法の決定のための基準を説明する。
【００８２】
（Ｊａ）  テロップ出現点（ｔ１１）から最初のシーンチェンジ（ｔ１２）までの期間（例えばＴａ）と、最後のシーンチェンジ（ｔ１６）からテロップ消滅点（ｔ１７）までの期間（例えばＴｆ）は、時間補間とする。
但し、期間Ｔａでは、テロップ出現点（ｔ１１）よりも前の画像を用いた時間補間を行い、期間Ｔｆでは、テロップ消滅点（ｔ１７）よりも後の画像を用いた時間補間を行う。
これは、テロップで隠れた画素から成る画像がテロップ出現前もしくはテロップ消滅後のフレームに存在するためである。この画像で補間することにより、テロップを消去して、本来の画像により近い画像で置き換えることができる。
【００８３】
（Ｊｂ）  シーンチェンジ点（ｔ１２、ｔ１３、ｔ１６）相互間の期間（Ｔｂ、Ｔｈ）は、その期間中にテロップ変更点があるか否かで補間方法が異なる。
例えば期間Ｔｂのように、テロップ変更点がない場合、補間方法は空間補間のみとする。
例えば期間Ｔｈのように、テロップ変更点（ｔ１４、ｔ１５）がある場合、補間方法は時間補間と空間補間を組み合わせて用いる。
【００８４】
時間補間と空間補間を組み合わせて処理をする（併用する）場合、時間補間を優先する。時間補間できる場合、すなわち、テロップで隠れた画素から成る画像が別のフレームに存在する場合には時間補間を適用する。
【００８５】
例えば期間Ｔｃ内のフレーム内のテロップＴＬ１の領域を補間対象領域とする画素の補間には、テロップ変更点ｔ１４以降のフレームにおける、テロップＴＬ１の領域（補間対象領域）内の各画素と同一位置の画素が用いられる。この場合、テロップ変更点ｔ１４以降のフレームにおいて、テロップＴＬ１の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ２の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。
【００８６】
期間Ｔｄ内のフレーム内のテロップＴＬ２の領域を補間対象領域とする画素の補間には、テロップ変更点ｔ１４以前又はテロップ変更点ｔ１５以降のフレームにおける、テロップＴＬ２の領域（補間対象領域）内の各画素と同一位置の画素が用いられる。
【００８７】
この場合、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ１の領域内に含まれ、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域内（補間対象領域）の各画素と同一の位置が、テロップＴＬ３の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。
【００８８】
テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ１の領域内に含まれ、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ３の領域内に含まれない場合には、テロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置の画素が用いられる。
【００８９】
逆に、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域内（補間対象領域）の各画素と同一の位置が、テロップＴＬ１の領域内に含まれず、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ３の領域内に含まれる場合には、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置の画素が用いられる。
【００９０】
さらに、テロップ変更点ｔ１４以前のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ１の領域内に含まれず、かつテロップ変更点ｔ１５以降のフレームにおいて、テロップＴＬ２の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ３の領域内に含まれない場合に、テロップ変更点ｔ１４以前のフレームの画素を用いるか、テロップ変更点ｔ１５以降のフレームの画素を用いるかは、期間Ｔｄにおける期間Ｔｄ中の時点によって決めても良い。例えば、期間Ｔｄを前半Ｔｄ１と後半Ｔｄ２に分け、前半はテロップ変更点ｔ１４以前のフレームを用い、後半Ｔｄ２はテロップ変更点ｔ１５以降のフレームを用いても良い。
【００９１】
期間Ｔｅ内のフレーム内のテロップＴＬ３の領域を補間対象領域とする画素の補間には、テロップ変更点ｔ１５以前のフレームにおける、テロップＴＬ３の領域（補間対象領域）内の各画素と同一位置の画素が用いられる。この場合、テロップ変更点ｔ１５以前のフレームにおいて、テロップＴＬ３の領域（補間対象領域）内の各画素と同一の位置が、テロップＴＬ２の領域内に含まれる場合には、その画素については、空間補間のみが用いられる。
【００９２】
補間制御部３２は、以上のような決定の結果に基づき、時間補間、空間補間又はその両方の組合せを補間方法として示す情報Ｄ３２ａと、その補間方法を適用する期間を示す情報Ｄ３２ｂと、画像処理用の映像信号（符号化映像信号）を特定する情報（映像信号特定情報）Ｄ３２ｄとを制御部１のストリームバッファ１２に出力する。
補間方法が空間補間の場合には、画像処理用の映像信号は、補間処理の対象である映像信号のみを含み、補間方法が時間補間を含む場合には、画像処理用に映像信号には、補間に用いられる映像信号も含まれる。
【００９３】
補間制御部３２は、映像信号特定情報Ｄ３２ｄをストリームバッファ１２に出力し、補間方法を示す情報Ｄ３２ａと、補間方法を適用する期間を示す情報Ｄ３２ｂと、補間処理対象領域を示す情報Ｄ３２ｃとを補間処理部３１に出力する。
ストリームバッファ１２は、補間制御部３２より入力された映像信号特定情報Ｄ３２ｄで特定された映像信号をデコーダ１４に出力する。
【００９４】
図７を用いて、ストリームバッファ１２が蓄積する映像信号および画像処理用の符号化映像信号について説明する。
図は補間処理部３１の処理タイミングを示す。
補間制御部３２が補間方法を決定するのはシーンチェンジの発生、テロップの変更、又はテロップの消滅が検出された時である。
【００９５】
図７に示す期間ＴＡ（テロップ出現点ｔ２１から最初のシーンチェンジまたはテロップ変更点ｔ２２までの期間）中のフレームに対する補間方法は、テロップ出現点ｔ２１の後の最初のシーンチェンジまたはテロップ変更点ｔ２２が検出されたときに決定され、矢印ＤＥａで示すようにその時点ｔ２２以降に期間ＴＡ中のフレームに対する補間の処理が実行される。
よって、ストリームバッファ１２は、矢印ＳＤａで示すように、テロップ出現点ｔ２１の直前のフレームと、テロップ出現点ｔ２１からシーンチェンジまたはテロップ変更点ｔ２２までの映像信号を、時点ｔ２２まで蓄積し、保持する必要がある。
【００９６】
同様に、期間ＴＢ（最初のシーンチェンジ又はテロップ変更点ｔ２２から次のシーンチェンジ又はテロップ変更点ｔ２３までの期間）中のフレームに対する補間方法は、シーンチェンジ又はテロップ変更点ｔ２３が検出されたときに決定され、矢印ＤＥｂで示すようにその時点ｔ２３以降に、期間ＴＢ中のフレームに対する補間の処理が実行される。よって、ストリームバッファ１２は、矢印ＳＤｂで示すように、シーンチェンジ又はテロップ変更点ｔ２２の直前のフレームと、シーンチェンジ又はテロップ変更点ｔ２２からシーンチェンジまたはテロップ変更点ｔ２３までの映像信号を、時点ｔ２３まで蓄積し、保持する必要がある。
【００９７】
同様に、期間ＴＣ（シーンチェンジ又はテロップ変更点ｔ２３からテロップ消滅点ｔ２４までの期間）中のフレームに対する補間方法は、テロップ消滅点ｔ２４が検出されたときに決定され、矢印ＤＥｃで示すようにその時点ｔ２４以降に、期間ＴＣ中のフレームに対する補間の処理が実行される。よって、ストリームバッファ１２は、矢印ＳＤｃで示すように、シーンチェンジまたはテロップ変更点ｔ２３の直前のフレームと、シーンチェンジ又はテロップ変更点ｔ２３からテロップ消滅点ｔ２４までの映像信号を時点ｔ２４まで蓄積し、保持する必要がある。
【００９８】
ストリームバッファ１２は、映像信号特定情報Ｄ３２ｄに基づいて、これらのフレームのデータを蓄積し、保持する。
【００９９】
デコーダ１４は、ストリームバッファ１２から入力された画像処理用の符号化映像信号を復号して、復号後の映像信号を画像処理部３の補間処理部３１に出力する。
映像信号特定情報Ｄ３２ｄで特定される画像処理用の映像信号には、画像処理対象である映像信号と補間に使用する映像信号とが含まれる。補間制御部３２が決定した補間方法が空間補間処理である場合には、画像処理対象である映像信号と補間に使用する映像信号は同一の映像信号となる。
【０１００】
補間処理部３１には、補間制御部３２から補間方法を示す情報Ｄ３２ａと補間期間を示す情報Ｄ３２ｂと補間処理対象領域を示す情報Ｄ３２ｃとが入力され、制御部１のデコーダ１４から画像処理対象である映像信号が入力される。
補間処理部３１は、補間に使用する映像信号において、補間処理対象領域と同一の位置の画像からテロップで隠れた画素の映像信号を上述した方法で生成し、補間処理対象である映像信号に上書きして補間映像を生成し、生成した補間映像Ｄ３を画像処理部３から出力する。
【０１０１】
以下、実施の形態１の映像処理方法を図８及び図９のフローチャートを用いて、説明する。
以下では、一つのコンテンツを構成する映像信号に対して順次処理を行うものとして説明する。
まず、デマックス１１がトランスポートストリーム（ＴＳ）から映像信号を抽出する（ＳＴ１）。
【０１０２】
次に、ストリームバッファ１２が映像信号を蓄積する（ＳＴ２）。
次に、デコーダ１３がストリーム解析用の映像信号をデコードする（ＳＴ３）。
ステップＳＴ３でデコードされた映像信号はテロップ領域検出部２１とシーンチェンジ検出部２３に送られる。
【０１０３】
次に、テロップ領域検出部２１が映像信号からテロップの領域の検出を行う（ＳＴ４）。このテロップ領域の検出においては、各フレーム（順次処理対象となるフレームの各々）内にテロップ領域が存在するかどうかの判定、及び存在する場合には、その位置の検出が行われ、テロップ領域検出位置情報Ｄ２１ａ及びテロップ領域が検出された時刻を示す情報Ｄ２１ｂが出力される。
【０１０４】
次に、ステップＳＴ４でのテロップ領域の検出結果（テロップ領域が存在すか否かの判定の結果を示す情報、テロップ領域が存在するとの判定に伴う、テロップ領域の位置を示す情報、及びテロップ領域が存在すると判定されたフレームの時刻を示す情報）に基づいて、処理対象となっているフレームにおいて、テロップ切替点（出現点、変更点、又は消滅点）が発生したか否かの判定を行う（ＳＴ５）。
また、テロップ切替点が発生したと判定された場合、それがテロップ出現点であるか否かの判定を行う（ＳＴ６）。
この判定は、ステップＳＴ４におけるテロップ領域検出の結果に基づいて行われる。
【０１０５】
ステップＳＴ６でテロップ出現点であれば（ＳＴ６でＹＥＳ）、ステップＳＴ７でテロップ出現点が発生したことを補間制御部３２内のメモリ３２ｍに記憶し、その後ステップＳＴ１９に進む。
【０１０６】
テロップ出現点以外であれば（ＳＴ６でＮＯ）、テロップ領域代表位置情報Ｄ２２ｂを生成し（ＳＴ８）、その後ステップＳＴ１０に進む。
【０１０７】
ステップＳＴ５〜ＳＴ８の処理と並行して、シーンチェンジ検出部２３が映像信号からシーンチェンジを検出する（ＳＴ９）。ステップＳＴ９の次にステップＳＴ１０に進む。
【０１０８】
ステップＳＴ１０では、テロップ切替点又はシーンチェンジが発生したか否かの判定が行われる。この判定は、ステップＳＴ４におけるテロップ領域の検出結果、及びステップＳＴ９における検出結果に基づいて行われる。
【０１０９】
ステップＳＴ１０でＮＯの場合（テロップ切替点及びシーンチェンジのいずれもが発生しなかった場合にはステップＳＴ１９に進む。）
ステップＳＴ１０でＹＥＳの場合（テロップ切替点又はシーンチェンジが発生した場合）には、ステップＳＴ１１に進む。
【０１１０】
ステップＳＴ１１では、ステップＳＴ１０での判定の結果に基づいて、テロップ切替点又はシーンチェンジがあったとの検出情報、及びテロップ切替点の場合には、テロップ出現点、テロップ変更点及びテロップ消滅点のいずれであるかを示す情報が供給される。
次にステップＳＴ１２では、補間制御部３２内のメモリ３２ｍに記録される。この検出情報は、テロップ出現点、テロップ変更点、テロップ消滅点、及びシーンチェンジのいずれが発生したかを示すものである。
【０１１１】
メモリ３２ｍは、入力された検出情報のうち、最新のものと一つ前のもののみを保持する。即ちすでに２つの検出情報が記録されている状態で新たな検出情報が入力されると、古い方を検出情報に対して新たに入力された検出情報を上書きする。
【０１１２】
次に、ステップＳＴ１３では、メモリ３２ｍを参照して、記録されている検出情報がともにテロップ変更点を示すものであるか否かの判定を行う。
ともにテロップ変更点を示すものであれば（ＳＴ１３でＹＥＳ）、ステップＳＴ１４に進み、現在用いている補間方法をそのまま用いること（補間方法を変更しない）との処理を行う。
【０１１３】
少なくともいずれか一方がテロップ変更点を示すものではないときは（ＳＴ１３でＮＯ）、ステップＳＴ１５に進む。
ステップＳＴ１５では、最新の検出情報の内容と一つ前の検出情報の内容に基づいて補間方法を決定する。具体的には、以下のように決定する。
【０１１４】
（ＳＴ１５ａ）一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「シーンチェンジ」を示せば、時間補間処理とする。
（ＳＴ１５ｂ）一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「テロップ変更点」を示せば、時間補間処理とする。
（ＳＴ１５ｃ）一つ前の検出情報が「テロップ出現点」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
（ＳＴ１５ｄ）一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「シーンチェンジ」を示せば、空間補間処理とする。
（ＳＴ１５ｅ）一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「テロップ変更点」を示せば、時間補間処理と空間補間処理の両方とする。
（ＳＴ１５ｆ）一つ前の検出情報が「シーンチェンジ」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
（ＳＴ１５ｇ）一つ前の検出情報が「テロップ変更点」を示し、最新の検出情報が「シーンチェンジ」を示せば、時間補間処理と空間補間処理の両方とする。
（ＳＴ１５ｈ）一つ前の検出情報が「テロップ変更点」を示し、最新の検出情報が「テロップ消滅点」を示せば、時間補間処理とする。
【０１１５】
決定基準ＳＴ１５ｅ及びＳＴ１５ｇ並びにステップＳＴ１４の処理で用いられる基準を組み合わせると、以下の如くとなる。即ち、
（ＳＴ１５ｉ）  一つのシーンチェンジから次のシーンチェンジまでの期間（シーンチェンジ間期間）においては、補間方法は、時間補間と空間補間の組合せを用いる。
【０１１６】
補間制御部３２は、ステップＳＴ１５で決定した補間方法を示す情報をメモリ３２ｍに保存する。補間制御部３２はさらに、補間のための画像処理用の映像信号を示す情報（映像信号特定情報）Ｄ３２ｄを生成する。
【０１１７】
ステップＳＴ１４又はＳＴ１５の次にステップＳＴ１６に進む。
ステップＳＴ１６で、補間制御部３２は、決定した補間方法を示す情報Ｄ３２ａ、及び映像信号特定情報Ｄ３２ｄを出力する。
【０１１８】
次に、ステップＳＴ１７で、映像信号特定情報Ｄ３２ｄがストリームバッファ１２に伝えられ、情報Ｄ３２ｄで特定された映像信号が読み出されて、デコーダ１４でデコードされる。
【０１１９】
デコードされた映像信号Ｄ１４は、補間処理部３１に供給され、補間処理部３１では、補間制御部３２によって補間対象領域の画素に対して、指定される補間方法で補間を行う（ＳＴ１８）。
【０１２０】
ステップＳＴ１８の次にステップＳＴ１９に進む。
ステップＳＴ１９では、処理対象となっているコンテンツの最後か否かの判定が行われ、最後であれば、処理を終了する。最後でなければ、ステップＳＴ１に戻り、同様の動作を繰り返す。
【０１２１】
上記の映像信号処理装置では、ストリーム解析部２でテロップの出現点及び消滅点のほか、テロップ変更点及びシーンチェンジを検出し、これらに基づきテロップ領域（補間対象領域）に施す補間の方法を決定しているため、各期間において最適の方法で補間を行うことができ、本来の画像により近い画像を表す映像信号を生成することができるという効果が得られる。これにより、録画した映像信号を視聴する場合には不要となったテロップがない映像信号をユーザーに提供できる。
【０１２２】
また、本実施の形態１の映像信号処理装置では、シーンチェンジの一方の側では他方の側の画素或いは画像を用いた補間を行わないので、異なるシーンの映像を補間に用いることによって周囲と調和しない映像が発生するのを防ぐことができる。
【０１２３】
なお、本実施の形態では、トランスポートストリームが制御部１に入力される構成にしているが、これに限らず、プログラムストリームでも構わない。この場合、ＤＶＤまたはＢＤレコーダー等に記録した映像信号について、テロップを検出し、消去する映像信号処理装置になる。
【０１２４】
また、本実施の形態では、補間制御部３２が決定する補間方法は、シーンチェンジとシーンチェンジとの間の期間に空間補間または時間補間と空間補間を適用することとしているが、空間補間は補間値を計算して生成しているため処理に時間がかかる。そこで、補間処理を高速化するため、空間補間処理はシーンチェンジ直後の１フレームだけに適用し、その後のフレームについては空間補間で得られたこの１フレームのテロップ領域の画像を用いた時間補間を行うこととしてもよい。
【０１２５】
また、本実施の形態では、補間処理部３１の空間補間処理は、テロップ領域内の全画素の補間値を、テロップ領域の周辺画素を用いて算出する構成にしているが、ストリーム解析部２が検出するテロップ領域はテロップの文字を構成する画素を含む矩形であるため、テロップ領域にはテロップの文字を構成している画素（以下、文字画素と表現する）ではない画素も含まれる。そこで、テロップ領域内の文字画素の補間値のみを算出し、テロップ領域内の文字画素以外の画素については、補間値の算出や補間値による置き換えなどの処理をしないようにしてもよい。このとき、文字画素の補間値算出に使用する周辺画素は、当該画素の上下左右の各方向について最も近い文字画素以外の画素を用いると、テロップを消去して本来の画像により近い画像を生成することができる。
【０１２６】
また、本実施の形態では、補間制御部３２が決定した補間方法が時間補間処理であった場合、補間に使用する映像信号をテロップ切替点ないしシーンチェンジの直前もしくは直後のフレームとしているが、テロップ切替点ないしシーンチェンジの数フレーム前もしくは数フレーム後のフレームとしてもよい。数フレームとは、例えば、2フレームにする。これは、テロップやシーンの切り替わりが、３フレーム以上のフレームに亘り徐々に切り替わることがあるためである。
【０１２７】
実施の形態２．
図１０は、本発明の実施の形態２に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１、ストリーム解析部２、画像処理部３、受信部４、復調部５、及び表示部６を備える。
【０１２８】
実施の形態１に対する相違点は、受信部４と、受信部４で受信した放送波を復調する復調部５を備え、復調部５で復調することで得られたトランスポートストリームが制御部１に入力される点と、画像処理部３が出力した映像信号を表示する表示部６を備える点である。実施の形態１と同じ符号を付した構成要素は同じ動作をする。
【０１２９】
受信部４は放送波を受信し、復調部５は受信部４が受信した放送波を復調し、トランスポートストリームの形式に変換して制御部１へ出力する。
【０１３０】
制御部１は、入力されたトランスポートストリームを受け、実施の形態１と同様に、画像処理部３からの情報Ｄ３２ｄに基づいて画像処理用の映像信号Ｄ１４を画像処理部３に出力し、ストリーム解析用の映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２は映像信号Ｄ１３からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替点情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ点情報Ｄ２３を画像処理部３に出力する。
【０１３１】
画像処理部３は、ストリーム解析部２から入力されたテロップ切替時刻情報Ｄ２２ａ及びテロップ領域代表位置情報Ｄ２２ｂ、並びにシーンチェンジ時刻情報Ｄ２３に基づき、実施の形態１で説明したのと同様に補間処理を行い、補間により生成した映像信号を表示部６に出力する。
表示部６は、入力された補間後の映像信号を表示する。
【０１３２】
実施の形態２の映像信号処理装置は、表示部６を有する構成であるため、テロップを消去した本来の映像により近い映像を視聴することが可能になるという効果がある。
【０１３３】
また、受信部４と復調部５と表示部を有する構成であるため、放送波を受信し、テロップを消去し本来の映像により近い映像を視聴することができるという効果が得られる。
【０１３４】
なお、本実施の形態は、映像信号の受信機、すなわち、家庭用のテレビや車載用のテレビに適用可能である。
【０１３５】
実施の形態３．
図１１は、本発明の実施の形態３に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１、ストリーム解析部２、画像処理部３、エンコーダ７、及びストリーム蓄積部８を備える。
【０１３６】
実施の形態１に対する相違点は、エンコーダ７とストリーム蓄積部８を有し、画像処理部３が出力した映像信号をエンコーダ７で符号化し、ストリーム蓄積部８に蓄積する点である。実施の形態１と同じ符号を付した構成要素は同じ動作をする。
【０１３７】
制御部１は、入力されたトランスポートストリームを受け、実施の形態１と同様に、画像処理部３からの情報Ｄ３２ｄに基づいて画像処理用の映像信号Ｄ１４を画像処理部３に出力し、ストリーム解析用の映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２は、映像信号Ｄ１３からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替点情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ点情報Ｄ２３を画像処理部３に出力する。
【０１３８】
画像処理部３は、ストリーム解析部２から入力されたテロップ切替時刻情報Ｄ２２ａ及びテロップ領域代表位置情報Ｄ２２ｂ、並びにシーンチェンジ時刻情報Ｄ２３に基づき、実施の形態１で説明したのと同様の補間処理を行い、補間により生成した映像信号をエンコーダ７に出力する。
【０１３９】
エンコーダ７は、入力された映像信号（補間後の映像信号）を、蓄積するために符号化する。この符号化は蓄積に必要なメモリ容量を削減するために行われる。エンコーダ７で符号化された補間後の映像信号は、ストリーム蓄積部８に出力される。ストリーム蓄積部８は入力された符号化された補間後の映像信号を蓄積する。
【０１４０】
ストリーム蓄積部８に保存された符号化された補間後の映像信号は、例えば再び復号して図示しない表示部に表示される。この場合、ストリーム蓄積部８から符号化された補間後の映像信号が図示しないデコーダに出力され、デコーダが復号を行い、復号後の映像信号が図示しない表示部で表示される。このようにすることで、補間後の映像信号を再生して視聴することが可能である。
【０１４１】
実施の形態３の映像信号処理装置は、ストリーム蓄積部８を有する構成であるため、補間処理をした映像信号を保存することができるという効果が得られる。
【０１４２】
なお、実施の形態３は、実施の形態１の装置にエンコーダ７とストリーム蓄積部８とを追加した構成にしているが、さらに実施の形態２と同様の受信部と復調部とデコーダと表示部とを追加して録画機能を有するテレビ受信機の構成にしてもよい。
【０１４３】
実施の形態４．
図１２は、本発明の実施の形態４に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１ａ、ストリーム解析部２、及び画像処理部３ａを備える。制御部１ａは、デマックス１１、デコーダ１３、デコーダ１４、ストリーム蓄積部１５、解析結果蓄積部１６、及びテロップ選択部１７を備える。
【０１４４】
実施の形態１に対する相違点は、制御部１ａが実施の形態１のストリームバッファ１２の代わりにストリーム蓄積部１５を有し、画像処理部３の代わりに画像処理部３ｂが設けられ、ストリーム解析部２の解析結果を蓄積する解析結果蓄積部１６と、補間対象のテロップを選択するテロップ選択部１７とが付加されている点である。実施の形態１と同じ符号を付した構成要素は同じ動作をする。
【０１４５】
ストリーム蓄積部１５は、デマックス１１から入力された符号化映像信号を蓄積する。解析結果蓄積部１６は、ストリーム解析部２から入力された解析結果としてのテロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を蓄積し、テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を、ストリーム蓄積部１５とテロップ選択部１７とに出力する。
【０１４６】
解析結果蓄積部１６で解析結果を蓄積するのは、ストリームの蓄積、すなわち、映像信号の録画が終了した後に、テロップ消去のための画像処理を行うためである。解析結果蓄積部１６はストリームの蓄積が終了してから、蓄積した解析結果をストリーム蓄積部１５とテロップ選択部１７へと出力する。
【０１４７】
ストリーム蓄積部１５は解析結果蓄積部１６から入力されたテロップ切替時刻情報Ｄ２２ａに基づいて、テロップ出現点の画像（出現後の最初のフレーム）、及びテロップ変更点の画像（変更後最初のフレーム）をデコーダ１４に出力する。デコーダ１４は、ストリーム蓄積部１５から入力された映像信号Ｄ１５を復号し、復号後の映像信号Ｄ１４ｂをテロップ選択部１７に出力する。
【０１４８】
テロップ選択部１７は、デコーダ１４から入力された映像信号Ｄ１４ｂで表される映像を表示部６に表示し、外部からテロップ選択情報が入力されるのを待つ。即ち、ユーザーに表示部６に表示された映像の各々についてテロップを消去するか否かの判断を促し、判断結果が入力されるのを待つ。
【０１４９】
テロップ選択部１７は、デコーダ１４から供給された映像信号Ｄ１４ｂで表される映像（解析結果蓄積部１６に蓄積された、コンテンツ中のすべてのテロップ出現点情報、及びテロップ変更点情報で特定されるフレームの画像）を一覧表示する。
【０１５０】
一覧表示は、例えば複数の子画面にテロップ出現点及びテロップ変更点の画像を表示することで行われる。テロップ出現点及びテロップ変更点の画像のすべてを一度に表示することができないときは、画面を切り替えながら、順に表示する。
テロップ選択情報は、テロップ選択部１７が表示させた、テロップを含む画像の一覧のうち、ユーザーが選択した画像（或いは画像に含まれるテロップ）を特定する情報である。ユーザーにより消去対象と判定されたテロップを、以下、「消去する（消去すべき）テロップ」と呼ぶ。
【０１５１】
本実施の形態は、「消去するテロップ」のテロップ領域に対する画素補間処理を行う。テロップを選択して補間処理により消去するのは、緊急速報のテロップであっても、選挙速報など個々のユーザーにとっては残しておきたい情報である場合があるためである。
【０１５２】
テロップ選択部１７は「消去するテロップ」のテロップ切替時刻情報Ｄ２２ａｓ（ストリーム解析部２から出力されるテロップ切替時刻情報Ｄ２２ａのうち、テロップ選択部１７で選択されたもの）を補間制御部３２に出力する。これとともに、補間制御部３２には、録画したコンテンツのすべてのテロップ切替時刻情報Ｄ２２ａ、対応するテロップ領域代表位置情報Ｄ２２ｂ、シーンチェンジ時刻情報Ｄ２３が解析結果蓄積部１６から供給される。
【０１５３】
画像処理部３ａの補間制御部３２ａは、解析結果蓄積部１６及びテロップ選択部１７から供給された情報に基づいて、消去するテロップ領域の各々についての補間方法を決定し、映像信号特定情報Ｄ３２ｄをストリーム蓄積部１５に出力する。ストリーム蓄積部１５は、情報Ｄ３２ｄによって特定される映像信号をデコーダ１４に出力する。
【０１５４】
以下、実施の形態４の映像信号処理方法を図１３のフローチャートを用いて、説明する。
まず、録画を行う（ＳＴ３０）。
録画の詳細を図１４に示す。
最初に、デマックス１１がトランスポートストリームから映像信号を抽出する（ＳＴ３１）。
【０１５５】
ストリーム蓄積部１５は、抽出された映像信号を蓄積する（ＳＴ３２）。
一方、デコーダ１３は、デマックス１１から入力された映像信号を、ストリーム解析用の映像信号としてデコードし（ＳＴ３３）、ストリーム解析部２がストリーム解析を行って、解析結果としてテロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ時刻情報Ｄ２３を生成する（ＳＴ３４）。解析結果蓄積部１６は、ストリーム解析部２による解析結果を蓄積する（ＳＴ３５）。
【０１５６】
ステップＳＴ３６で録画が終了したか否かを判定する。録画が終了していなければ、ステップＳＴ３１に戻る。ステップＳＴ３１〜ＳＴ３６の処理は、録画（例えば一つのコンテンツの録画）が終了するまで繰り返される。
図１３に戻り、録画（ＳＴ３０）が終了した後、ステップＳＴ４１の処理を行う。
【０１５７】
ステップＳＴ４１では、テロップ選択部１７が録画中に検出したテロップを含む画像を表示部６を用いて一覧表示し、外部からユーザーによってテロップを選択する信号が入力されるのを待つ（ＳＴ４２）。
【０１５８】
ステップＳＴ４２で、所定時間内にテロップを選択する信号が入力された場合（ステップＳＴ４２でＹＥＳ）、ステップＳＴ４３に進む。
ステップＳＴ４２で、所定時間以内にテロップを選択する信号が入力されなければ（ＳＴ４２でＮＯ）、ステップＳＴ４４に進む。
【０１５９】
ステップＳＴ４４では、ユーザーから視聴の指示を待つ。ユーザーから視聴の指示があれば（ＳＴ４４でＹＥＳ）、ステップＳＴ４５に進み、テロップの一覧表示を行い、ユーザーによる消去するテロップの選択入力を待つ（ＳＴ４６）。
ステップＳＴ４６で、所定時間内に選択入力があれば（ＳＴ４６でＹＥＳ）、ステップＳＴ４３に進む。
ステップＳＴ４３では、選択されたテロップを消去（補間）すべきものと決定する。
所定時間以内に選択入力がなければ（ステップＳ４３でＮＯ）、ステップＳ４５に進む。
ステップＳＴ４７では、すべてのテロップを消去（補間）すべきものと決定する。
なお、所定時間以内に選択入力がないときには、すべてのテロップを消去（補間）しないとの決定を行うこととしても良い。
ステップＳＴ４３又はＳＴ４７の次にステップＳＴ４８に進む。
【０１６０】
ステップＳＴ４８では、テロップの各々に関し、それぞれの持続期間について補間方法の決定を行う。
ステップＳＴ４８では、補間制御部３２が選択されたテロップ、即ち「消去するテロップ」の各々に関し、それぞれの持続期間について補間方法を決定し、これとともに、映像信号特定情報Ｄ３２ｄを生成し、これに応じてストリーム蓄積部１５が画像処理用の映像信号をデコーダ１４に出力する。
【０１６１】
ステップＳＴ４９において、デコーダ１４は、ストリーム蓄積部１５から供給された画像処理用の映像信号をデコードする。
【０１６２】
最後にステップＳＴ５０で補間処理部３１が画素補間処理を実行する。
ステップＳＴ５０の次の処理を終了する。
【０１６３】
実施の形態４の映像信号処理装置は、録画時にテロップの検出を行い、録画後にユーザーにより選択された「消去するテロップ（消去すべきテロップ）」のみを画素補間処理で消去するので、消去するテロップをユーザーが選択することができるという効果が得られる。また、図１２の映像信号処理装置を、放送波を復調することで得られた映像信号を処理するために用いる場合、ユーザーはリアルタイムでは放送された映像信号をそのまま、即ちテロップが重畳された映像を視聴し、録画した映像信号を視聴するときは、テロップが消去された映像を視聴することが可能である。
【０１６４】
なお、本実施の形態では、テロップ選択部１７はテロップを含む映像信号を表示する際、フレーム全体を表示する構成にしているが、テロップ領域代表位置情報Ｄ２２ｂが示すテロップ領域のみを表示しても良い。
【０１６５】
なおまた、本実施の形態の映像信号処理方法では、録画終了直後にテロップの一覧を表示し、「消去するテロップ」を決定する際、所定時間以内にテロップを選択する信号の入力がなければ、図１３のステップＳＴ４４に進むこととしているが、本発明はこれに限定されない。例えば、所定時間以内にテロップを選択する信号の入力がない時点で全てのテロップを「消去するテロップ」としてもよい。また全てのテロップを「消去するテロップ」ではないとしてもよい。
【０１６６】
また、図１３のステップＳＴ４２でＮＯの後、ステップＳＴ４４を介してステップＳＴ４５に進んで、テロップを一覧表示するタイミングも、ステップＳＴ３２で蓄積した映像信号をユーザーが視聴するタイミングに限らない。
例えば、ユーザーが別のコンテンツの録画予約や録画再生などレコーダーの操作をしているときに、一覧表示を行って消去すべきコンテンツの選択を行わせても良い。
【０１６７】
実施の形態５．
図１５は、本発明の実施の形態５に係る映像信号処理装置の構成を示す。本実施の形態に係る映像信号処理装置は、制御部１ａ、ストリーム解析部２、画像処理部３ｂ、表示部６、及び画像合成部９を備える。
【０１６８】
実施の形態４に対する相違点は、実施の形態４の画像処理部３ａの代わりに画像処理部３ｂが設けられ、画像処理部３ｂが、テロップ領域（補間対象領域）の補間映像を表す映像信号Ｄ３ｂを生成して出力する点と、表示部６及び画像合成部９を有する点である。即ち、実施の形態３の画像処理部３は、映像信号Ｄ１４で表される映像のうちの、テロップ領域を補間対象領域として補間することで得られる映像（画面全体に亘る補間後の映像）を表す映像信号を出力するが、これに対して実施の形態５の画像処理部３ｂから出力される映像信号Ｄ３ｂは、画面全体に亘る映像のうちの補間対象領域のみの、補間後の映像を表すものであり、これとは別に画面全体に亘る補間前の映像を表す映像信号Ｄ１４が制御部１ａから画像合成部９に供給される。実施の形態４と同じ符号を付した構成要素は同じ動作をする。
【０１６９】
画像合成部９は、制御部１ａからの補間前の映像信号Ｄ１４と、画像処理部３ｂからの補間映像を表す映像信号Ｄ３ｂとを入力として、デコーダ１４からの補間前の映像信号Ｄ１４で表される映像に、映像信号Ｄ３ｂで表される補間映像を重畳して、合成映像を生成し、該合成映像を表す映像信号を生成する。この合成はオンスクリーン表示機能を用いて行われる。表示部６は画像合成部９が生成した映像信号を受けて、合成映像を表示する。
【０１７０】
この合成映像においては、例えば制御部１ａからの映像信号Ｄ１４で表される映像が表示部６の画面全体を使って通常表示され、画像処理部３ｂからの補間映像Ｄ３ｂが、画面の一部を占めるオンスクリーン表示領域に表示される。即ち、テロップ領域（補間対象領域）をオンスクリーン表示領域として補間映像を合成することで、映像信号Ｄ１４で表される映像のうちのテロップ領域を補間映像で置き換えた映像（実施の形態１などで合成処理部３から出力される映像信号に基づいて表示される映像と同じもの）が表示される。
【０１７１】
実施の形態５の映像信号処理装置は、補間処理を施す前の映像信号Ｄ１４で表される映像に、補間映像Ｄ３ｂを画像合成部９で重畳して表示する構成にしているため、補間処理を施す前の映像信号とテロップ補間映像を表す映像信号を別々に保存することが可能である。これにより、補間映像を重畳表示するか否かを切り替えることが可能である。
【０１７２】
以上本発明を映像信号処理装置として説明したが、上記の映像信号処理装置によって実施される映像信号処理方法もまた本発明の一部をなす。また、上記の映像信号処理装置の各部の機能をコンピュータに実行させるためのプログラム、上記の映像信号処理方法の各工程の処理をコンピュータに実行させるためのプログラム、並びに上記のプログラムを記録したコンピュータで読み取り可能な記録媒体もまた本発明の一部を成す。
【符号の説明】
【０１７３】
１、１ａ  制御部、  ２  ストリーム解析部、  ３、３ａ、３ｂ  画像処理部、  ４  受信部、  ５  復調部、  ６  表示部、  ７  エンコーダ、  ８  ストリーム蓄積部、  ９  画像合成部、  １１  デマックス、  １２  ストリームバッファ、  １３  デコーダ、  １４  デコーダ、  １５  ストリーム蓄積部、  １６  解析結果蓄積部、  １７  テロップ選択部、  ２０  テロップ検出部、  ２１  テロップ領域検出部、  ２２  テロップ切替点検出部、  ２３  シーンチェンジ検出部、  ３１  補間処理部、  ３２  補間制御部。
【図１】
2014212434.tif 000005
【図２】
2014212434.tif 000006
【図３】
2014212434.tif 000007
【図４】
2014212434.tif 000008
【図５】
2014212434.tif 000009
【図６】
2014212434.tif 000010
【図７】
2014212434.tif 000011
【図８】
2014212434.tif 000012
【図９】
2014212434.tif 000013
【図１０】
2014212434.tif 000014
【図１１】
2014212434.tif 000015
【図１２】
2014212434.tif 000016
【図１３】
2014212434.tif 000017
【図１４】
2014212434.tif 000018
【図１５】
2014212434.tif 000019