【手続補正書】
【提出日】平成28年1月22日(2016.1.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出し、前記テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出するテロップ検出部と、
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定し、
前記テロップ検出部は、前記テロップの文字を構成するすべての画素を内部に含むテロップ領域を検出し、
前記画像処理部は、前記検出されたテロップ領域を前記補間対象領域として補間を行い、
前記テロップ検出部は、前記映像の各フレームにおいて検出されたテロップ領域の位置が、相前後するフレーム間で所定の閾値以上変化した時刻を前記テロップの変更時刻として検出する
ことを特徴とする映像信号処理装置。
【請求項２】
前記テロップ検出部は、
前記映像の各フレームにおいて、前記テロップ領域の位置を検出するテロップ領域検出部と、
前記テロップの出現時刻から消滅時刻までの期間内における、１又は２以上のテロップの各々が連続して表示される持続期間について、前記テロップ領域の代表的位置を検出するテロップ切替点検出部とを有し、
前記画像処理部は、前記持続期間の各々について前記補間の方法を決定し、前記代表的位置の領域を前記補間対象領域として、該補間対象領域内の画素に対して、前記決定された補間の方法で補間を行う
ことを特徴とする請求項１に記載の映像信号処理装置。
【請求項３】
前記画像処理部は、
前記補間の方法として、前記補間対象領域と同じフレーム内の画素を用いる空間補間、又は前記テロップ領域とは異なるフレーム内の、前記テロップ領域と同じ位置の画素を用いる時間補間、又は前記空間補間と前記時間補間の組合せのいずれかを選択することを特徴とする請求項１又は２に記載の映像信号処理装置。
【請求項４】
前記時間補間と空間補間の組合せを用いる場合には、前記時間補間を優先的に用いることを特徴とする請求項３に記載の映像信号処理装置。
【請求項５】
前記画像処理部は、
前記テロップの変更時刻の前及び後の一方にあるフレーム内の補間対象領域内の画素の補間に当たり、
当該テロップの変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
当該テロップの変更時刻を挟んで反対側にあるフレーム内の、前記補間対象領域と同じ位置が、前記反対側にあるフレーム内に位置するテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素の画素値を用いた空間補間を行う
ことを特徴とする請求項１から４のいずれか１項に記載の映像信号処理装置。
【請求項６】
前記画像処理部は、前記１又は２以上のシーンチェンジの各々の発生時刻の前及び後のうちの一方におけるフレーム内の補間対象領域内の画素の補間に当たり、当該シーンチェンジの発生時刻に対して同じ側に位置するフレーム内の画素を用いて補間を行うことを特徴とする請求項１から５のいずれか１項に記載の映像信号処理装置。
【請求項７】
前記画像処理部は、
前記テロップの出現時刻から消滅時刻までの期間内に、シーンチェンジが発生しなかった場合には前記テロップの出現時刻から消滅時刻までの期間内のすべてのフレーム内の補間対象領域内の画素の補間を、前記補間対象領域を含むフレームとは異なるフレーム内の画素を用いた時間補間で行い、
前記テロップの出現時刻から消滅時刻までの期間内に、１又は２以上のシーンチェンジが発生した場合に、
前記テロップの出現時刻から前記１又は２以上のシーンチェンジのうちの最初のシーンチェンジの発生時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップの出現時刻よりも前のフレーム内の画素を用いた時間補間で行い、
前記１又は２以上のシーンチェンジのうちの最後のシーンチェンジの発生時刻からテロップ消滅時刻までの期間内のフレーム内の補間対象領域内の画素の補間を、前記テロップ消滅時刻よりも後のフレーム内の画素を用いた時間補間で行う
ことを特徴とする請求項１から６のいずれか１項に記載の映像信号処理装置。
【請求項８】
前記画像処理部は、
前記１又は２以上のシーンチェンジのうちの１つのシーンチェンジの発生時刻から次のシーンチェンジの発生時刻までの期間であって、かつ、当該期間にテロップ変更点が含まれている場合に、
前記テロップ変更点の一方の側のフレーム内の補間対象領域内の画素の補間に当たって、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものではない場合には、当該同じ位置の画素の画素値を用いた時間補間を行い、
前記テロップ変更点の他方の側のフレーム内の、前記補間対象領域と同じ位置の画素が、当該他方の側のフレーム内におけるテロップの文字を構成する画素を含む領域内のものである場合には、前記補間対象領域と同じフレーム内の画素を用いた空間補間を行う
ことを特徴とする請求項７に記載の映像信号処理装置。
【請求項９】
前記画像処理部から出力される映像信号を符号化するエンコーダと、
前記エンコーダで符号化された映像信号を蓄積するストリーム蓄積部と
をさらに有することを特徴とする請求項１から８のいずれか１項に記載の映像信号処理装置。
【請求項１０】
前記画像処理部から出力される映像信号を表示する映像表示部をさらに有することを特徴とする請求項１乃至から９のいずれか１項に記載の映像信号処理装置。
【請求項１１】
放送波を受信する受信部と、
前記受信部が受信した放送波を復調しトランスポートストリームを出力する復調部と、
制御部と
をさらに有し、
前記制御部は、前記復調部が出力したトランスポートストリームから映像信号を分離し、分離した映像信号を復号して、復号後の映像信号を前記テロップ検出部、前記シーンチェンジ検出部及び前記画像処理部に出力する
ことを特徴とする請求項１から１０のいずれか１項に記載の映像信号処理装置。
【請求項１２】
前記制御部は、
前記テロップ検出部で検出されたテロップに関する情報及び前記シーンチェンジ検出部で検出されたシーンチェンジに関する情報を蓄積する解析結果蓄積部と、
前記解析結果蓄積部に蓄積された、前記検出されたテロップに関する情報で示されるテロップのうちで、消去すべきものを指定する外部からの情報に基づいて、前記画像処理部で補間の対象とするテロップを選択するテロップ選択部をさらに有する
ことを特徴とする請求項１１に記載の映像信号処理装置。
【請求項１３】
前記画像処理部は、前記補間対象領域の補間映像を表す映像信号を生成し、
前記制御部から出力された映像信号で表される映像に、前記画像処理部から出力された映像信号で表される補間映像を重畳して合成映像信号を出力する合成部と、
前記合成部から出力された合成映像信号に基づいて、前記合成映像信号で表される合成映像を表示する表示部とを
さらに有することを特徴とする請求項１１又は１２に記載の映像信号処理装置。
【請求項１４】
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出し、前記テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出するテロップ検出ステップと、
前記映像のシーンチェンジを検出するシーンチェンジ検出ステップと、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理ステップとを有し、
前記画像処理ステップは、前記テロップ検出ステップによって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出ステップによって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定し、
前記テロップ検出ステップは、前記テロップの文字を構成するすべての画素を内部に含むテロップ領域を検出し、
前記画像処理ステップは、前記検出されたテロップ領域を前記補間対象領域として補間を行い、
前記テロップ検出ステップは、前記映像の各フレームにおいて検出されたテロップ領域の位置が、相前後するフレーム間で所定の閾値以上変化した時刻を前記テロップの変更時刻として検出する
ことを特徴とする映像信号処理方法。
【請求項１５】
請求項１４に記載の映像信号処理装置の各ステップの処理をコンピュータに実行させるためのプログラム。
【請求項１６】
請求項１５に記載のプログラムを記録したコンピュータで読み取り可能な記録媒体。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
本発明の映像信号処理装置は、
映像信号で表される映像に含まれるテロップの文字を構成する画素を検出するとともに、前記テロップの出現時刻及び消滅時刻を検出するとともに、前記テロップの出現時刻から消滅時刻までの期間にテロップが１回以上変更された場合には、該変更の時刻を検出するテロップ検出部と、
前記映像のシーンチェンジを検出するシーンチェンジ検出部と、
前記検出されたテロップの文字を構成する画素を含む領域を補間対象領域として、当該補間対象領域内の画素値を、前記補間対象領域外の画素の画素値で補間して、補間後の映像信号を出力する画像処理部とを有し、
前記画像処理部は、前記テロップ検出部によって検出されたテロップの出現時刻、消滅時刻、及び変更時刻、並びに前記シーンチェンジ検出部によって検出されたシーンチェンジの発生時刻に基づいて、前記補間の方法を決定し、
前記テロップ検出部は、前記テロップの文字を構成するすべての画素を内部に含むテロップ領域を検出し、
前記画像処理部は、前記検出されたテロップ領域を前記補間対象領域として補間を行い、
前記テロップ検出部は、前記映像の各フレームにおいて検出されたテロップ領域の位置が、相前後するフレーム間で所定の閾値以上変化した時刻を前記テロップの変更時刻として検出する
ことを特徴とする。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１３０
【補正方法】変更
【補正の内容】
【０１３０】
制御部１は、入力されたトランスポートストリームを受け、実施の形態１と同様に、画像処理部３からの情報Ｄ３２ｄに基づいて画像処理用の映像信号Ｄ１４を画像処理部３に出力し、ストリーム解析用の映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２は映像信号Ｄ１３からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ点情報Ｄ２３を画像処理部３に出力する。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１３７
【補正方法】変更
【補正の内容】
【０１３７】
制御部１は、入力されたトランスポートストリームを受け、実施の形態１と同様に、画像処理部３からの情報Ｄ３２ｄに基づいて画像処理用の映像信号Ｄ１４を画像処理部３に出力し、ストリーム解析用の映像信号Ｄ１３をストリーム解析部２に出力する。ストリーム解析部２は、映像信号Ｄ１３からテロップ領域とテロップ切替点とシーンチェンジ点とを検出し、テロップ切替時刻情報Ｄ２２ａ、テロップ領域代表位置情報Ｄ２２ｂ、及びシーンチェンジ点情報Ｄ２３を画像処理部３に出力する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
この合成映像においては、例えば制御部１ａからの映像信号Ｄ１４で表される映像が表示部６の画面全体を使って通常表示され、画像処理部３ｂからの補間映像Ｄ３ｂが、画面の一部を占めるオンスクリーン表示領域に表示される。即ち、テロップ領域（補間対象領域）をオンスクリーン表示領域として補間映像を合成することで、映像信号Ｄ１４で表される映像のうちのテロップ領域を補間映像で置き換えた映像（実施の形態１などで画像処理部３から出力される映像信号に基づいて表示される映像と同じもの）が表示される。