(57)【要約】【課題】速報音を伴うテロップを選択的に消去することができる映像処理装置を提供する。【解決手段】映像処理装置２４００は、入力される一連の映像フレームからテロップを含むテロップ領域を検出するテロップ検出部１０２と、一連の映像フレームに対応し、入力される一連の音声信号から速報音を検出する速報音検出部２４０１と、一連の映像フレームのうちテロップ領域が検出された映像フレームにおけるテロップ領域を、一連の映像フレームのうちテロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、テロップ領域が置き換えられた映像フレームを出力する映像処理部１０５とを備える。映像処理部１０５は、速報音検出部２４０１の検出結果に基づき、速報音を伴うテロップのテロップ領域を選択的に置き換える。【選択図】図２１
2013179563.tif 000002
【特許請求の範囲】
【請求項１】
入力される一連の映像フレームからテロップを含むテロップ領域を検出するテロップ検出部と、
前記一連の映像フレームに対応し、入力される一連の音声信号から速報音を検出する速報音検出部と、
前記一連の映像フレームのうち前記テロップ領域が検出された映像フレームにおける前記テロップ領域を、前記一連の映像フレームのうち前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記テロップ領域が置き換えられた映像フレームを出力する映像処理部と、
を備え、
前記映像処理部は、前記速報音検出部の検出結果に基づき、前記速報音を伴うテロップのテロップ領域を選択的に置き換える、
ことを特徴とする映像処理装置。
【請求項２】
前記一連の映像フレームからテロップの出現を検出するテロップチェンジ検出部と、
前記テロップチェンジ検出部の検出結果に基づき、前記一連の映像フレームのうち前記テロップが出現する前の映像フレームを記録する置換用映像記録部と、
をさらに備え、
前記映像処理部は、前記記録された映像フレームから得られる画像に前記テロップ領域を置き換える、
ことを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記一連の映像フレームが順次入力され、現映像フレームとその前の映像フレームとを記録する映像記録部をさらに備え、
前記テロップ検出部は、前記記録された現映像フレームについて前記テロップ領域の検出を行い、
前記テロップチェンジ検出部は、前記記録された現映像フレームについて前記テロップの出現の検出を行い、
前記置換用映像記録部は、前記テロップチェンジ検出部により前記テロップの出現が検出された場合に、前記記録された現映像フレームの前の映像フレームを、前記テロップが出現する前の映像フレームとして記録し、
前記映像処理部は、前記テロップ検出部により前記テロップ領域が検出された場合に、前記現映像フレームにおける前記テロップ領域を、前記記録された前記テロップが出現する前の映像フレームから得られる画像に置き換え、前記テロップ領域が置き換えられた現映像フレームを出力する、
ことを特徴とする請求項２に記載の映像処理装置。
【請求項４】
前記テロップチェンジ検出部は、前記一連の映像フレームからテロップの出現および切り替わりをテロップチェンジとして検出し、
前記映像処理部は、前記テロップ領域が検出された映像フレームにおける前記テロップ領域を置き換える場合、前記テロップチェンジ検出部の検出結果に基づき、前記置換対象の映像フレームの直前のテロップチェンジがテロップの出現であるときには、前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記置換対象の映像フレームの直前のテロップチェンジがテロップの切り替わりであるときには、前記置換対象の映像フレームの前記テロップ領域の周辺画素から得られる画像に置き換える、
ことを特徴とする請求項２または３に記載の映像処理装置。
【請求項５】
前記テロップチェンジ検出部は、テロップを構成する文字のエッジおよび当該文字の輪郭部のエッジを検出し、検出されるエッジの変化に基づいて前記テロップの出現または切り替わりを検出することを特徴とする請求項２から４のいずれか１項に記載の映像処理装置。
【請求項６】
前記一連の映像フレームからシーンチェンジを検出するシーンチェンジ検出部をさらに備え、
前記映像処理部は、前記テロップ領域が検出された映像フレームにおける前記テロップ領域を置き換える場合、前記シーンチェンジ検出部の検出結果に基づき、前記テロップ領域のテロップが出現する前の映像フレームと前記置換対象の映像フレームとの間でシーンチェンジが発生していないときには、前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記映像フレーム間でシーンチェンジが発生しているときには、前記置換対象の映像フレームの前記テロップ領域の周辺画素から得られる画像に置き換える、
ことを特徴とする請求項１から５のいずれか１項に記載の映像処理装置。
【請求項７】
前記テロップ検出部は、前記映像フレームに対して文字認識を行い、当該文字認識の結果に基づき、文字情報を含む領域を前記テロップ領域として検出することを特徴とする請求項１から６のいずれか１項に記載の映像処理装置。
【請求項８】
緊急警報放送信号を受けた場合には、前記テロップ領域の置き換えを行わないことを特徴とする請求項１から７のいずれか１項に記載の映像処理装置。
【請求項９】
データ放送信号を受け、当該データ放送信号に所定の情報が含まれる場合には、前記テロップ領域の置き換えを行わないことを特徴とする請求項１から８のいずれか１項に記載の映像処理装置。
【請求項１０】
前記映像処理部は、前記速報音が検出された時点近傍の所定期間内に検出されたテロップ領域を選択的に置き換えることを特徴とする請求項１から９のいずれか１項に記載の映像処理装置。
【請求項１１】
前記一連の映像フレームからテロップの出現を検出するテロップチェンジ検出部を備え、
前記映像処理部は、前記速報音が検出された時点近傍の第１の所定期間内に前記テロップの出現が検出された場合に、当該速報音が検出された時点近傍の第２の所定期間内に検出されたテロップ領域を選択的に置き換える、
ことを特徴とする請求項１から９のいずれか１項に記載の映像処理装置。
【請求項１２】
前記一連の映像フレームからテロップの出現を検出するテロップチェンジ検出部を備え、
前記映像処理部は、前記速報音が検出された時点近傍の所定期間内に前記テロップの出現が検出された場合に、当該テロップを含むテロップ領域を選択的に置き換える、
ことを特徴とする請求項１から９のいずれか１項に記載の映像処理装置。
【請求項１３】
前記音声信号に対して、前記速報音検出部により検出された速報音の音量を低減する処理を行う音声信号処理部をさらに備えることを特徴とする請求項１から１２のいずれか１項に記載の映像処理装置。
【請求項１４】
請求項１から１３のいずれか１項に記載の映像処理装置と、
前記映像処理装置の前記映像処理部から出力される映像フレームを表示する再生部と、
を備えることを特徴とする映像表示装置。
【請求項１５】
請求項１から１３のいずれか１項に記載の映像処理装置と、
前記映像処理装置の前記映像処理部から出力される映像フレームを記録する記録部と、
を備えることを特徴とする映像記録装置。
【請求項１６】
入力される一連の映像フレームからテロップを含むテロップ領域を検出するテロップ検出ステップと、
前記一連の映像フレームに対応し、入力される一連の音声信号から速報音を検出する速報音検出ステップと、
前記一連の映像フレームのうち前記テロップ領域が検出された映像フレームにおける前記テロップ領域を、前記一連の映像フレームのうち前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記テロップ領域が置き換えられた映像フレームを出力する映像処理ステップと、
を有し、
前記映像処理ステップは、前記速報音検出部の検出結果に基づき、前記速報音を伴うテロップのテロップ領域を選択的に置き換える、
ことを特徴とする映像処理方法。
【請求項１７】
入力される一連の映像フレームからテロップを含むテロップ領域を検出するテロップ検出ステップと、
前記一連の映像フレームに対応し、入力される一連の音声信号から速報音を検出する速報音検出ステップと、
前記一連の映像フレームのうち前記テロップ領域が検出された映像フレームにおける前記テロップ領域を、前記一連の映像フレームのうち前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記テロップ領域が置き換えられた映像フレームを出力する映像処理ステップと、
をコンピュータに実行させ、
前記映像処理ステップは、前記速報音検出部の検出結果に基づき、前記速報音を伴うテロップのテロップ領域を選択的に置き換える、
ことを特徴とする映像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置、映像表示装置、映像記録装置、映像処理方法、および映像処理プログラムに関する。
【背景技術】
【０００２】
デジタルテレビジョン放送で送信される画像信号には、画像に重畳されたテロップ（例えば、時刻表示、地震速報、ニュース速報などの文字情報）を含むものがある。このテロップの重畳により、本来の画像に加えて追加の情報を得ることができる。
【０００３】
特に、地震や洪水、台風などの自然災害に対する警報や、ミサイル攻撃やテロなどの有事情報、あるいはニュース速報などの緊急を要する情報については、テロップ表示の前後、またはテロップ表示中に、チャイムやブザー、音楽、電子音などによる速報音（あるいは警報音、チャイム）を鳴らし、視聴者がテロップに注目するようにしている。
【０００４】
しかし、このテロップや速報音は、視聴者にとって不要である場合もある。特に、放送にて送られてくる画像信号や音声信号を記録し、その後再生して視聴する場合において、放送時から視聴までに十分な時間が経過した場合、テロップに含まれる情報は不要であることが多い。
【０００５】
特許文献１には、第１の画像信号のうちテロップ領域に対応した画素信号を、第１の画像信号と同一のコンテンツに係る、テロップが存在しない第２の画像信号の画素信号で置き換えることにより、テロップを削除する技術が記載されている。具体的には、第１の画像信号は、地上波デジタル放送の１２セグメントで行われるハイビジョン（ＨＤＴＶ）放送の画像信号であり、第２の画像信号は、地上波デジタル放送の部分受信階層に割り当てられている１セグメントで行われる放送（以下、ワンセグ放送と呼ぶ）の画像信号である。
【０００６】
非特許文献１には、ラジオの緊急地震速報チャイムを受信したら、音声をＯＮにする装置が示されており、放送番組の音声信号の周波数特性を観測して特定の４つの周波数の振幅をしきい値と比較して緊急地震速報チャイムの判定を行う技術が掲載されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開２００７−３３６４０５号公報
【特許文献２】特開２００９−９３４７２号公報
【特許文献３】特開２００７−１８０６６９号公報
【非特許文献】
【０００８】
【非特許文献１】「緊急地震速報受信機の製作」、[online]、トランジスタ技術、２００９年１月号、ＣＱ出版社、インターネット<URL:http://toragi.cqpub.co.jp/tabid/256/Default.aspx>
【発明の概要】
【発明が解決しようとする課題】
【０００９】
ところで、速報音を伴うテロップは本来の映像とは関係のないテロップである可能性が高く、このようなテロップを消去することが望ましい場合がある。
【００１０】
本発明は、速報音を伴うテロップを選択的に消去することができる映像処理装置、映像表示装置、映像記録装置、映像処理方法、および映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る映像処理装置は、入力される一連の映像フレームからテロップを含むテロップ領域を検出するテロップ検出部と、前記一連の映像フレームに対応し、入力される一連の音声信号から速報音を検出する速報音検出部と、前記一連の映像フレームのうち前記テロップ領域が検出された映像フレームにおける前記テロップ領域を、前記一連の映像フレームのうち前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記テロップ領域が置き換えられた映像フレームを出力する映像処理部とを備え、前記映像処理部は、前記速報音検出部の検出結果に基づき、前記速報音を伴うテロップのテロップ領域を選択的に置き換えることを特徴とする。
【００１２】
本発明に係る映像表示装置は、上記映像処理装置と、前記映像処理装置の前記映像処理部から出力される映像フレームを表示する再生部と、を備えることを特徴とする。
【００１３】
本発明に係る映像記録装置は、上記映像処理装置と、前記映像処理装置の前記映像処理部から出力される映像フレームを記録する記録部と、を備えることを特徴とする。
【００１４】
本発明に係る映像処理方法は、入力される一連の映像フレームからテロップを含むテロップ領域を検出するテロップ検出ステップと、前記一連の映像フレームに対応し、入力される一連の音声信号から速報音を検出する速報音検出ステップと、前記一連の映像フレームのうち前記テロップ領域が検出された映像フレームにおける前記テロップ領域を、前記一連の映像フレームのうち前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記テロップ領域が置き換えられた映像フレームを出力する映像処理ステップとを有し、前記映像処理ステップは、前記速報音検出部の検出結果に基づき、前記速報音を伴うテロップのテロップ領域を選択的に置き換えることを特徴とする。
【００１５】
本発明に係る映像処理プログラムは、入力される一連の映像フレームからテロップを含むテロップ領域を検出するテロップ検出ステップと、前記一連の映像フレームに対応し、入力される一連の音声信号から速報音を検出する速報音検出ステップと、前記一連の映像フレームのうち前記テロップ領域が検出された映像フレームにおける前記テロップ領域を、前記一連の映像フレームのうち前記テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、前記テロップ領域が置き換えられた映像フレームを出力する映像処理ステップと、をコンピュータに実行させ、前記映像処理ステップは、前記速報音検出部の検出結果に基づき、前記速報音を伴うテロップのテロップ領域を選択的に置き換えることを特徴とする。
【発明の効果】
【００１６】
本発明によれば、速報音を伴うテロップを選択的に消去することができる。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１に係る映像処理装置の構成を示すブロック図である。
【図２】映像記録部の構成を示すブロック図である。
【図３】映像フレームに含まれるテロップ領域の一例を示す図である。
【図４】実施の形態１に係る映像処理装置の動作を示すフローチャートである。
【図５】テロップ遷移の一例を示す図である。
【図６】映像記録部の状態の一例を示す図である。
【図７】映像記録部の状態の別の一例を示す図である。
【図８】テロップ遷移の別の一例を示す図である。
【図９】実施の形態２に係る映像処理装置の構成を示すブロック図である。
【図１０】テロップチェンジ検出部での検出情報を示す図である。
【図１１】テロップの一例を示す図である。
【図１２】テロップチェンジ検出部でのテロップチェンジ検出方法を説明するための図である。
【図１３】テロップ領域を周辺画素から得られる画像に置き換える方法を説明するための図である。
【図１４】テロップ領域を周辺画素から得られる画像に置き換える方法を説明するための図である。
【図１５】実施の形態２におけるステップＳ４０５の判定結果を示す図である。
【図１６】実施の形態３に係る映像処理装置の構成を示すブロック図である。
【図１７】実施の形態３に係る映像処理装置の動作を示すフローチャートである。
【図１８】実施の形態４に係る映像処理装置の構成を示すブロック図である。
【図１９】実施の形態５に係る映像処理装置の構成を示すブロック図である。
【図２０】実施の形態６に係る映像処理装置の構成を示すブロック図である。
【図２１】実施の形態７に係る映像処理装置の構成を示すブロック図である。
【図２２】実施の形態７に係る映像処理装置の動作を示すフローチャートである。
【図２３】テロップ遷移および速報音の一例を示す図である。
【図２４】テロップ遷移および速報音の別の一例を示す図である。
【図２５】テロップ遷移および速報音のさらに別の一例を示す図である。
【図２６】実施の形態８に係る映像処理装置の動作を示すフローチャートである。
【図２７】実施の形態９に係る映像処理装置の動作を示すフローチャートである。
【図２８】実施の形態１０に係る映像処理装置の構成を示すブロック図である。
【図２９】実施の形態１１に係る映像表示装置の構成を示す図である。
【図３０】実施の形態１２に係る映像記録装置の構成を示す図である。
【図３１】実施の形態１３に係る映像記録再生装置の構成を示す図である。
【図３２】映像処理装置の変形例を示すブロック図である。
【発明を実施するための形態】
【００１８】
以下、本発明の実施の形態を図面に従って説明する。
実施の形態１．
図１は、実施の形態１に係る映像処理装置１００の構成を示すブロック図である。この映像処理装置１００は、入力映像信号を受け、当該入力映像信号からテロップを含むテロップ領域を検出し、テロップ領域が検出された場合に、当該テロップ領域を置き換えて（または補間して）テロップが消去された出力映像信号を出力する。入力映像信号は、例えば、地上波デジタル放送における１２セグメントを使って放送されるハイビジョン（ＨＤＴＶ）放送の映像信号などである。テロップとは、映像（例えば主映像または本来の映像）に重畳、挿入、または合成された、文字情報、記号情報、図形情報などの情報であり、例えば、時刻表示、地震速報、ニュース速報、字幕などである。テロップは、地域、内容、および形式によって、キャプション、サブタイトル、ティッカー、アラート、またはスーパーインポーズなどと呼ばれることもある。
【００１９】
図１において、映像処理装置１００は、映像記録部１０１、テロップ検出部１０２、テロップチェンジ検出部１０３、記録制御部１０４、および映像処理部１０５を有する。
【００２０】
映像記録部１０１は、入力映像信号として、外部から一連の映像信号（具体的には、一連の映像フレーム）を受けメモリに記録する。ここで、映像フレームとは、動画像を構成する一つ一つの静止画像を指す。以下の説明では、「映像フレーム」を適宜「フレーム」と略称する。具体的には、映像記録部１０１には、一連の映像フレームが順次入力され、映像記録部１０１は、一連の映像フレームのうち、現在の映像フレームである現映像フレームと、当該現映像フレームの前の映像フレームとを記録する。また、映像記録部１０１は、一連の映像フレームのうち、テロップが出現する（またはテロップが表示される）前の映像フレームを記録する。テロップが出現する前の映像フレームは、好ましくはテロップが出現する直前の映像フレームであり、一つの態様では、テロップが出現した映像フレームの１つ前の映像フレームである。テロップの出現に対してどの程度前の映像フレームをテロップが出現する前の映像フレームとするかは適宜決められればよい。具体的には、テロップが出現する前の映像フレームは、テロップ領域を良好に置換または補間できる程度に前の映像フレームであればよく、例えばテロップが出現した映像フレームの数フレーム前の映像フレームであってもよい。
【００２１】
本例では、映像記録部１０１は、図２に示されるように、メモリ領域Ａ、メモリ領域Ｂ、およびメモリ領域Ｃを含む。映像記録部１０１は、後述する記録制御部１０４の制御を受けてメモリを管理する。具体的には、映像記録部１０１は、記録制御部１０４からの制御信号に従い、現映像フレームとその直前の映像フレームとをメモリ領域Ｂおよびメモリ領域Ｃに保存し、テロップが出現する直前の映像フレームをメモリ領域Ａに保存する。ここでは、映像記録部１０１は、フレームメモリであり、メモリ領域Ａ，Ｂ，Ｃの各々に対し、１フレーム分の映像信号を記録する。ただし、映像記録部１０１は、メモリ領域Ａ，Ｂ，Ｃの何れについても、１フレーム中の一部分（具体的にはテロップ部分のみ）を記録してもよい。一例では、メモリ領域に記録される１フレーム中の一部分は、予め決められた固定位置である。例えば、地上デジタル放送では映像の上部にテロップが表示される場合がほとんどであるので、映像記録部１０１は、図３に示されるように、映像フレームで表される映像全体の領域３０１のうち、上部の部分領域３０２の映像信号を記録してもよい。ただし、１フレーム中の一部分は、可変位置であってもよく、例えばテロップ検出部１０２の検出結果を利用して決められてもよい。
【００２２】
再び図１を参照すると、テロップ検出部１０２は、映像処理装置１００に入力される一連の映像フレームから、テロップを含むテロップ領域を検出する。具体的には、テロップ検出部１０２は、映像記録部１０１により記録された現映像フレームについてテロップ領域の検出を行う。より具体的には、テロップ検出部１０２は、映像記録部１０１から現映像フレームを読み出し、当該現映像フレームを解析し、現映像フレームにテロップが含まれているかを判定する。そして、テロップ検出部１０２は、テロップが含まれていると判定した場合、当該テロップを含むテロップ領域を示す領域情報を検出結果として出力する。ここでは、テロップ検出部１０２は、テロップ領域として矩形領域を検出し、当該矩形領域の座標を領域情報として出力する。ただし、テロップ領域の形状は、矩形に限られず、例えば、台形、平行四辺形、楕円形などでもよい。また、テロップ領域は、テロップを構成する画素の集合であってもよい。一方、現映像フレームにテロップが含まれないと判定した場合には、テロップ検出部１０２は、テロップが含まれないことを示す情報（例えば原点の座標のみ）を検出結果として出力する。ただし、テロップ検出部１０２は、テロップが含まれないと判定した場合に、何も出力しないように構成されてもよい。テロップ検出部１０２でのテロップ検出アルゴリズムとしては、例えば、特許文献２に示されている方法が用いられる。ただし、この方法に限られず、テロップ領域を検出できる方法であれば、別の方法が用いられてもよい。
【００２３】
テロップチェンジ検出部１０３は、映像処理装置１００に入力される一連の映像フレームから、テロップの出現を検出する。具体的には、テロップチェンジ検出部１０３は、映像記録部１０１により記録された現映像フレームについてテロップの出現の検出を行う。一つの態様では、テロップチェンジ検出部１０３は、テロップ検出部１０２の検出結果に基づき、現映像フレームの直前の映像フレームにテロップが含まれず、現映像フレームにテロップが含まれる場合に、テロップの出現を示す情報を検出結果として出力する。別の態様では、テロップチェンジ検出部１０３は、映像記録部１０１から現映像フレームと現映像フレームの直前の映像フレームとを読み出し、両映像フレームを比較してテロップの出現を検出する。例えば、テロップチェンジ検出部１０３は、テロップを構成する文字のエッジおよび当該文字の輪郭部のエッジを検出し、検出されるエッジの変化に基づいてテロップの出現を検出する。このエッジに基づくテロップチェンジの検出については、実施の形態２で詳しく説明する。
【００２４】
テロップチェンジ検出部１０３は、映像処理装置１００に入力される一連の映像フレームから、テロップの消滅を検出してもよい。例えば、テロップチェンジ検出部１０３は、テロップ検出部１０２の検出結果に基づき、現映像フレームの直前の映像フレームにテロップが含まれ、現映像フレームにテロップが含まれない場合に、テロップの消滅を示す情報を検出結果として出力してもよい。
【００２５】
記録制御部１０４は、テロップ検出部１０２およびテロップチェンジ検出部１０３の検出結果に基づき、映像記録部１０１を制御する。
【００２６】
具体的には、記録制御部１０４は、テロップチェンジ検出部１０３の検出結果に基づき、映像処理装置１００に入力される一連の映像フレームのうち、テロップが出現する前の映像フレームを記録する。より具体的には、記録制御部１０４は、テロップチェンジ検出部１０３により現映像フレームについてテロップの出現が検出された場合に、映像記録部１０１を制御して、メモリ領域ＢまたはＣに記録されている現映像フレームの直前の映像フレームを、テロップが出現する直前の映像フレームとしてメモリ領域Ａに記録する。
【００２７】
記録制御部１０４は、テロップチェンジ検出部１０３により現映像フレームについてテロップの消滅が検出された場合、またはテロップ検出部１０２により現映像フレームについてテロップ無しが検出された場合に、映像記録部１０１を制御して、メモリ領域Ａに記録されている映像フレームを消去してもよい。
【００２８】
また、記録制御部１０４は、映像記録部１０１を制御して、映像処理装置１００に入力される映像フレームを、メモリ領域Ｂおよびメモリ領域Ｃの一方に、フレーム毎に交互に記録する。すなわち、記録制御部１０４は、メモリ領域Ｂおよびメモリ領域Ｃの間で、現映像フレーム用のメモリ領域と、現映像フレームの直前の映像フレーム用のメモリ領域とが、フレーム毎に入れ替わるように、映像記録部１０１を制御する。
【００２９】
映像処理部１０５は、映像処理装置１００に入力される一連の映像フレームのうち、テロップ検出部１０２によりテロップ領域が検出された映像フレームにおけるテロップ領域を、当該テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換える。すなわち、映像処理部１０５は、テロップ領域が検出された映像フレームにおけるテロップ領域を、当該テロップ領域のテロップが出現する前の映像フレームから補間する。例えば、映像処理部１０５は、テロップが出現する前の映像フレームからテロップのない置換画像を取得または生成し、テロップ領域を置換画像に置き換える。映像処理部１０５は、テロップが出現する前の映像フレームのうちテロップ領域に対応する領域の画像を置換画像として取得してもよいし、テロップ領域に対応する領域の画像に画像処理を施して置換画像を生成してもよい。上記テロップ領域に対応する領域は、テロップ領域と同一の領域であってもよいし、テロップ領域の画像と類似する画像を含む領域であってもよい。本例では、映像処理部１０５は、テロップ検出部１０２により現映像フレームについてテロップ領域が検出された場合に、メモリ領域ＢまたはＣに記録された現映像フレームのテロップ領域を、メモリ領域Ａに記録されたテロップが出現する直前の映像フレームから得られる画像に置き換え、テロップ領域が置き換えられた現映像フレームを出力映像フレームとして出力する。例えば、映像処理部１０５は、テロップ検出部１０２から領域情報を受け取り、現映像フレームのうち当該領域情報で示される領域（すなわちテロップ領域）の映像信号を、テロップが出現する直前の映像フレームのうち当該領域情報で示される領域（すなわちテロップ領域に対応する領域）の映像信号に置き換える。
【００３０】
図４は、実施の形態１に係る映像処理装置１００の動作を示すフローチャートである。以下、図４を参照して、映像処理装置１００の動作について説明する。なお、図４の処理はフレーム毎に実行される。
【００３１】
映像処理装置１００は、入力された映像フレーム（または１フレーム分の映像信号）を現映像フレームとして現映像フレーム用のメモリ領域（メモリ領域ＢまたはＣ）に記録する（Ｓ４０１）。
【００３２】
次に、映像処理装置１００は、現映像フレーム用のメモリ領域に記録された映像フレームについてテロップ領域の検出を行う（Ｓ４０２）。
【００３３】
次に、映像処理装置１００は、現映像フレーム用のメモリ領域に記録された現映像フレームについて、テロップチェンジ（テロップの出現および消滅）の検出を行う（Ｓ４０３）。
【００３４】
次に、映像処理装置１００は、ステップＳ４０２でテロップ領域が検出されたか否かを判定し（Ｓ４０４）、検出された場合には（Ｓ４０４：ＹＥＳ）、ステップＳ４０５へ進み、検出されなかった場合には（Ｓ４０４：ＮＯ）、ステップＳ４０８へ進む。
【００３５】
ステップＳ４０５では、映像処理装置１００は、ステップＳ４０３でテロップの出現が検出されたか否かを判定し、検出された場合には（Ｓ４０５：ＹＥＳ）、ステップＳ４０６へ進み、検出されなかった場合には（Ｓ４０５：ＮＯ）、ステップＳ４０７へ進む。
【００３６】
ステップＳ４０６では、映像処理装置１００は、現映像フレームの直前の映像フレーム用のメモリ領域に記録されている映像フレーム（すなわち前回のステップＳ４０１で記録された映像フレーム）を、テロップが出現する直前の映像フレーム用のメモリ領域Ａに記録し、ステップＳ４０７へ進む。
【００３７】
ステップＳ４０７では、映像処理装置１００は、現映像フレーム用のメモリ領域から現映像フレームを読み出し、当該現映像フレームのうちステップＳ４０２で検出されたテロップ領域の画像を、メモリ領域Ａに記録されているテロップが出現する直前の映像フレームから得られる画像に置き換えて、テロップが消去された現映像フレームを出力映像フレームとして出力し、ステップＳ４１１へ進む。
【００３８】
ステップＳ４０８では、映像処理装置１００は、ステップＳ４０３でテロップの消滅が検出されたか否かを判定し、検出された場合には（Ｓ４０８：ＹＥＳ）、ステップＳ４０９へ進み、検出されなかった場合には（Ｓ４０８：ＮＯ）、ステップＳ４１０へ進む。
【００３９】
ステップＳ４０９では、映像処理装置１００は、メモリ領域Ａをクリアし、ステップＳ４１０へ進む。
【００４０】
ステップＳ４１０では、映像処理装置１００は、現映像フレーム用のメモリ領域から現映像フレームを読み出し、当該現映像フレームを出力映像フレームとして出力し、ステップＳ４１１へ進む。
【００４１】
ステップＳ４１１では、映像処理装置１００は、メモリ領域Ｂとメモリ領域Ｃとの間で、現映像フレーム用のメモリ領域と、現映像フレームの直前の映像フレーム用のメモリ領域とを入れ替える処理を行い、処理を終了させる。
【００４２】
上記の動作において、例えば、ステップＳ４０１は映像記録部１０１により実行され、ステップＳ４０２はテロップ検出部１０２により実行され、ステップＳ４０３はテロップチェンジ検出部１０３により実行され、ステップＳ４０４〜Ｓ４０６，Ｓ４０８〜Ｓ４０９，Ｓ４１１は記録制御部１０４により実行され、ステップＳ４０７，Ｓ４１０は映像処理部１０５により実行される。
【００４３】
なお、図４において、ステップＳ４０８は省略されてもよく、映像処理装置１００は、ステップＳ４０４の判定結果が「ＮＯ」である場合にステップＳ４０９へ進んでもよい。また、ステップＳ４０８およびＳ４０９が省略されてもよく、映像処理装置１００は、ステップＳ４０４の判定結果が「ＮＯ」である場合にステップＳ４１０へ進んでもよい。
【００４４】
図５は、テロップ遷移の一例を示す図である。以下、図５のようにテロップが遷移する場合における、映像処理装置１００の各部の動作およびメモリ状態を説明する。
【００４５】
期間５０１では、テロップが存在しない。したがって、テロップ検出部１０２でテロップは検出されず、テロップチェンジ検出部１０３でテロップチェンジは検出されない。記録制御部１０４は、現映像フレーム用のメモリ領域と、現映像フレームの直前の映像フレーム用のメモリ領域とを入れ替える制御を行う。これにより、メモリ領域ＢおよびＣには、フレーム毎に交互に映像フレームが保存される。具体的には、映像記録部１０１の状態は、図６の状態６０１と状態６０２とをフレーム毎に交互に繰り返す。期間５０１ではテロップが存在しないので、状態６０１および６０２のどちらにおいても、メモリ領域Ａは空（何も記録されていない状態）である。状態６０１では、メモリ領域Ｃが現映像フレーム用のメモリ領域であり、メモリ領域Ｂが現映像フレームの直前の映像フレーム用のメモリ領域である。状態６０２では、メモリ領域Ｂが現映像フレーム用のメモリ領域であり、メモリ領域Ｃが現映像フレームの直前の映像フレーム用のメモリ領域である。期間５０１では、映像処理部１０５は、置き換えを行わずに、現映像フレームを出力映像フレームとして出力する。
【００４６】
期間５０２では、テロップＴ１が存在し、期間５０１から期間５０２へ移行する際に、テロップ無しからテロップＴ１へのテロップチェンジＴＣ１が発生している。期間５０２の先頭（最初のフレーム）では、テロップ検出部１０２でテロップ領域が検出され、テロップチェンジ検出部１０３でテロップの出現が検出される。テロップチェンジＴＣ１時点でのメモリ状態が図６の状態６０１であったとすると、記録制御部１０４は、テロップチェンジ検出部１０３の検出結果に従い、メモリ領域Ｂに記録されている映像フレーム（すなわち現映像フレームの直前の映像フレーム）をメモリ領域Ａにコピーする。これにより、映像記録部１０１のメモリ状態は、図６の状態６０１から図７の状態７０１に遷移する。期間５０２におけるその後の期間では、テロップ検出部１０２でテロップ領域が検出され、テロップチェンジ検出部１０３でテロップチェンジは検出されない。記録制御部１０４は、現映像フレーム用のメモリ領域と、現映像フレームの直前の映像フレーム用のメモリ領域とを入れ替える制御を行う。これにより、メモリ領域ＢおよびＣには、フレーム毎に交互に映像フレームが保存される。具体的には、映像記録部１０１の状態は、図７の状態７０２と状態７０３とをフレーム毎に交互に繰り返す。状態７０２では、メモリ領域Ｂが現映像フレーム用のメモリ領域であり、メモリ領域Ｃが現映像フレームの直前の映像フレーム用のメモリ領域である。状態７０３では、メモリ領域Ｃが現映像フレーム用のメモリ領域であり、メモリ領域Ｂが現映像フレームの直前の映像フレーム用のメモリ領域である。メモリ領域Ａには、テロップＴ１が出現する直前の映像フレームがそのまま保持される。期間５０２では、映像処理部１０５は、現映像フレームのテロップ領域をメモリ領域Ａの映像フレームにより置き換え、テロップＴ１が消去された現映像フレームを出力映像フレームとして出力する。
【００４７】
期間５０３では、テロップＴ２が存在し、期間５０２から期間５０３へ移行する際に、テロップがテロップＴ１からテロップＴ２へ切り替わるテロップチェンジＴＣ２が発生している。期間５０３では、テロップ検出部１０２でテロップ領域が検出され、テロップチェンジ検出部１０３でテロップチェンジは検出されない。記録制御部１０４は、現映像フレーム用のメモリ領域と、現映像フレームの直前の映像フレーム用のメモリ領域とを入れ替える制御を行う。これにより、映像記録部１０１の状態は、図７の状態７０２と状態７０３とをフレーム毎に交互に繰り返す。メモリ領域Ａには、テロップＴ１が出現する直前の映像フレームがそのまま保持される。期間５０３では、映像処理部１０５は、現映像フレームのテロップ領域をメモリ領域Ａの映像フレームにより置き換え、テロップＴ２が消去された現映像フレームを出力映像フレームとして出力する。
【００４８】
期間５０４では、テロップが存在せず、期間５０３から期間５０４へ移行する際に、テロップＴ２からテロップ無しへのテロップチェンジＴＣ３が発生している。期間５０４の先頭（最初のフレーム）では、テロップ検出部１０２でテロップが検出されず、テロップチェンジ検出部１０３でテロップの消滅が検出される。記録制御部１０４は、テロップチェンジ検出部１０３の検出結果に従い、メモリ領域Ａの内容を空に更新する。これにより、映像記録部１０１のメモリ状態は、例えば、図７の状態７０３から図６の状態６０１に遷移する。期間５０４におけるその後の期間では、テロップ検出部１０２でテロップは検出されず、テロップチェンジ検出部１０３でテロップチェンジは検出されない。記録制御部１０４は、現映像フレーム用のメモリ領域と、現映像フレームの直前の映像フレーム用のメモリ領域とを入れ替える制御を行う。これにより、メモリ領域ＢおよびＣには、フレーム毎に交互に映像フレームが保存される。具体的には、映像記録部１０１の状態は、図６の状態６０１と状態６０２とをフレーム毎に交互に繰り返す。メモリ領域Ａは、空のままである。期間５０４では、映像処理部１０５は、置き換えを行わずに、現映像フレームを出力映像フレームとして出力する。
【００４９】
図８は、テロップ遷移の別の一例を示す図である。図８には、テロップＴ１からテロップＴ２への遷移の間に、テロップがなくなる場合が示されている。以下、図８のようにテロップが遷移する場合における、映像処理装置１００の各部の動作およびメモリ状態を説明する。
【００５０】
期間８０１では、テロップが存在しない。映像処理装置１００の各部の動作およびメモリ状態は、図５の期間５０１の場合と同様である。
【００５１】
期間８０２では、テロップＴ１が存在し、期間８０１から期間８０２へ移行する際に、テロップ無しからテロップＴ１へのテロップチェンジＴＣ１１が発生している。映像処理装置１００の各部の動作およびメモリ状態は、図５の期間５０２の場合と同様である。
【００５２】
期間８０３では、テロップが存在せず、期間８０２から期間８０３へ移行する際に、テロップＴ１からテロップ無しへのテロップチェンジＴＣ１２が発生している。映像処理装置１００の各部の動作およびメモリ状態は、図５の期間５０４の場合と同様である。
【００５３】
期間８０４では、テロップＴ２が存在し、期間８０３から期間８０４へ移行する際に、テロップ無しからテロップＴ２へのテロップチェンジＴＣ１３が発生している。映像処理装置１００の各部の動作およびメモリ状態は、図５の期間５０２の場合と同様である。この場合、映像処理部１０５は、現映像フレームのテロップ領域を、メモリ領域Ａに記録されているテロップＴ２が出現する直前の映像フレームにより置き換え、テロップＴ２が消去された現映像フレームを出力映像フレームとして出力する。
【００５４】
期間８０５では、テロップが存在せず、期間８０４から期間８０５へ移行する際に、テロップＴ２からテロップ無しへのテロップチェンジＴＣ１４が発生している。映像処理装置１００の各部の動作およびメモリ状態は、図５の期間５０４の場合と同様である。
【００５５】
以上説明した本実施の形態１によれば、下記（１）〜（３）の効果が得られ得る。
（１）本実施の形態では、映像処理装置は、映像フレームのテロップ領域を、当該テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換える。このため、本実施の形態によれば、映像フレームに含まれるテロップ領域を１種類の映像信号から置き換えることができる。具体的には、テロップ領域を１種類の映像信号のみでも正しくまたは違和感なく置き換えることができ、テロップの消去された（またはテロップのない）良好な映像フレームを生成または表示することができる。一方、特許文献１に記載された技術のように、映像信号に含まれるテロップを当該映像信号とは別の種類の映像信号を用いて消去する構成では、別の種類の映像信号が存在しない場合、テロップを消去することができない。例えば、２００８年３月末まで、一つの放送局から１２セグメント放送とワンセグ放送とで同一番組を流すサイマル放送が義務付けられていたが、現在では、その義務はなく、一部の放送でサイマル放送が実施されていない。つまり、別の種類の映像信号が存在しない場合がある。
【００５６】
（２）映像処理装置は、一連の映像フレームからテロップの出現を検出し、この検出結果に基づき、上記一連の映像フレームのうち上記テロップが出現する前の映像フレームを記録する。本態様によれば、テロップ領域の置き換えに用いる映像フレームを選択的に記録することができる。
【００５７】
（３）映像処理装置は、一連の映像フレームが順次入力され、現映像フレームとその前の映像フレームとを記録する映像記録部を備え、記録された現映像フレームについてテロップ領域の検出およびテロップの出現の検出を行う。そして、テロップの出現が検出された場合に、記録された現映像フレームの前の映像フレームを、テロップが出現する前の映像フレームとして記録する。また、テロップ領域が検出された場合に、現映像フレームのテロップ領域を、記録されたテロップが出現する前の映像フレームから得られる画像に置き換え、テロップ領域が置き換えられた現映像フレームを出力する。本態様によれば、順次入力される映像フレームを順次処理することができる。
【００５８】
実施の形態２．
図９は、実施の形態２に係る映像処理装置９００の構成を示すブロック図である。この映像処理装置９００は、実施の形態１に係る映像処理装置１００に対し、テロップチェンジの検出結果に応じてテロップ置換方法を切り替える点で異なっており、その他の部分については略同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
【００５９】
テロップチェンジ検出部１０３は、入力される一連の映像フレームからテロップの出現およびテロップの切り替わりをテロップチェンジとして検出する。一つの態様では、テロップチェンジ検出部１０３は、テロップを構成する文字（テロップ文字）のエッジおよび当該文字の輪郭部のエッジを検出し、検出されるエッジの変化に基づいてテロップの切り替わりを検出する。具体的には、テロップチェンジ検出部１０３は、現映像フレームの直前の映像フレームにおけるテロップ領域内の文字および輪郭部のエッジを検出し、現映像フレームにおけるテロップ領域内の文字および輪郭部のエッジを検出し、両映像フレーム間のエッジの変化が所定レベル以上であれば、テロップの切り替わりが発生したと判定し、そうでなければ、テロップの切り替わりは発生していないと判定する。
【００６０】
テロップチェンジ検出部１０３は、テロップチェンジとして、さらにテロップの消滅を検出してもよい。
【００６１】
本例では、テロップチェンジ検出部１０３は、テロップチェンジの検出を行い、その検出結果を示すフラグを出力する。図１０には、テロップチェンジ検出部１０３から出力されるフラグの一覧が示されている。具体的には、テロップチェンジ検出部１０３は、テロップ検出部１０２の検出結果に基づき、以下のようにテロップチェンジの検出を行う。
【００６２】
現映像フレームの直前の映像フレームにテロップが無く、現映像フレームにもテロップが無い場合には、テロップもテロップチェンジも無いことを示す「テロップ無」フラグを出力する。
【００６３】
現映像フレームの直前の映像フレームにテロップが無く、現映像フレームにテロップが有る場合には、テロップ無しから有りへの変化（テロップの出現）を示す「無→有」フラグを出力する。
【００６４】
現映像フレームの直前の映像フレームにテロップが有り、現映像フレームにテロップが無い場合には、テロップ有りから無しへの変化（テロップの消滅）を示す「有→無」フラグを出力する。
【００６５】
現映像フレームの直前の映像フレームにテロップが有り、現映像フレームにもテロップが有る場合には、テロップの切り替わりを判定し、テロップが切り替わったと判定されたときには、テロップ有りから別のテロップへの変化（テロップの切り替わり）を示す「有→有」フラグを出力する。一方、テロップが切り替わっていないと判定されたときには、テロップは有るがテロップチェンジは無いことを示す「テロップ有」フラグを出力する。
【００６６】
以下、図１１を参照して、上記テロップの切り替わりの判定の一例を示す。図１１には、映像フレームにより表される映像全体の領域１１０１と、当該領域１１０１に含まれるテロップ領域１１０２と、当該テロップ領域１１０２に含まれるテロップ１１０３とが示されている。
【００６７】
テロップ領域１１０２は、テロップ検出部１０２により検出されたものである。簡単のため、テロップ領域１１０２のうちテロップ１１０３以外の領域の各画素の輝度値は、同じ輝度値ｋｃであるとする。
【００６８】
一般的に、テロップは、図１２（ａ）に示されるように、一定の文字色を有する文字１２０１と、一定の輪郭色を有する文字の輪郭部１２０２とを含む。ここでは、輝度値が８ｂｉｔの整数値（０〜２５５）で表され、文字色が白（輝度値２５５）であり、輪郭色が黒（輝度値０）であるとする。
【００６９】
図１２（ｂ）は、図１２（ａ）のラインＬＡ（テロップ文字「テ」の最上部の輪郭部を通るライン）における輝度分布を示す。図１２（ｃ）は、図１２（ａ）のラインＬＢ（テロップ文字「テ」の中心部を通るライン）における輝度分布を示す。
【００７０】
図１２（ｂ）では、背景色（輝度値ｋｃ）、輪郭色（輝度値０）、背景色（輝度値ｋｃ）の順に変化しており、輝度値の急峻なエッジが２箇所存在する。図１２（ｃ）では、背景色（輝度値ｋｃ）、数画素の輪郭部の輪郭色（輝度値０）、文字色（輝度値２５５）、数画素の輪郭部の輪郭色（輝度値０）、背景色（輝度値ｋｃ）の順に変化しており、輝度値の急峻なエッジが４箇所存在する。
【００７１】
テロップチェンジ検出部１０３は、映像フレームの全体またはテロップ領域に対して、水平方向および垂直方向について、上記のようなエッジの検出を行い、この検出結果に基づいてテロップの切り替わりを検出する。テロップが切り替わった場合は、エッジの個数や位置が変化することから、一つの態様では、テロップチェンジ検出部１０３は、検出されたエッジの個数や位置の情報を基にテロップの切り替わりを検出する。例えば、テロップチェンジ検出部１０３は、図１１のテロップ領域１１０２の左上端位置の座標を（０，０）として、検出された各エッジを２次元ベクトルで表し、それぞれのベクトルの大きさの和を求め、この和の大きさの変化によりテロップチェンジを判定する。また例えば、テロップチェンジ検出部１０３は、検出されたエッジ座標の個数の差分によってテロップチェンジを判定してもよい。なお、上記エッジの検出は、水平方向のみ、または垂直方向のみについて実施されてもよい。
【００７２】
上記テロップのエッジの検出において、テロップチェンジ検出部１０３は、例えば、互いに隣接する２つの画素の輝度値の差分の絶対値ｄが所定の閾値ｋｄ以上である場合に、すなわちｄ≧ｋｄが満たされる場合に、両画素間にエッジが存在すると判定する。テロップチェンジ検出部１０３は、輝度値のみでなく、色情報を用いてエッジを検出してもよい。例えば、画素の情報が輝度信号Ｙと色差信号（Ｃｂ，Ｃｒ）とで表される場合、それらを３次元のベクトルとみなし、互いに隣接する２つの画素間の画素情報のベクトルの大きさの差分の絶対値を用いてエッジを検出してもよい。
【００７３】
なお、上記テロップの切り替わりの判定方法は一例であり、現映像フレームと現映像フレームの直前の映像フレームとの間でのテロップの切り替わりを検出することができれば、別の方法が用いられてもよい。
【００７４】
また、上記の説明では、テロップ検出部１０２の検出結果を用いてテロップチェンジ（出現、消滅、および切り替わり）を検出する構成を例示したが、テロップチェンジ検出部１０３は、別の方法でテロップチェンジを検出してもよい。例えば、テロップチェンジ検出部１０３は、映像記録部１０１から現映像フレームと現映像フレームの直前の映像フレームとを読み出し、両映像フレームを比較してテロップチェンジ（出現、消滅、および切り替わり）を検出してもよい。この場合、テロップチェンジ検出部１０３は、例えば、上述のエッジ検出方法により、テロップを構成する文字のエッジおよび当該文字の輪郭部のエッジを検出し、検出されるエッジの変化に基づいてテロップチェンジを検出する。なお、テロップチェンジ検出部１０３は、１フレーム分の映像信号からテロップチェンジを検出してもよいし、テロップ検出部１０２の検出結果に基づき、テロップ領域の映像信号からテロップチェンジを検出してもよい。
【００７５】
映像処理部１０５は、テロップ領域が検出された映像フレームにおけるテロップ領域を置き換える場合、テロップチェンジ検出部１０３の検出結果に基づき、置換対象の映像フレームの直前のテロップチェンジがテロップの出現であるときには、テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、置換対象の映像フレームの直前のテロップチェンジがテロップの切り替わりであるときには、置換対象の映像フレームのテロップ領域の周辺画素から得られる画像に置き換える。すなわち、映像処理部１０５は、テロップ領域が検出された映像フレームにおけるテロップ領域を補間する場合、テロップチェンジ検出部１０３の検出結果に基づき、補間対象の映像フレームの直前のテロップチェンジがテロップの出現であるときには、テロップ領域のテロップが出現する前の映像フレームから補間し、補間対象の映像フレームの直前のテロップチェンジがテロップの切り替わりであるときには、補間対象の映像フレームのテロップ領域の周辺画素から補間する。
【００７６】
以下、図１３および図１４を参照して、テロップ領域をその周辺画素から得られる画像に置き換える方法の一例を示す。図１３には、テロップ１３０１を含むテロップ領域１３０２と、当該テロップ領域１３０２の外側領域１３０３とが示されている。外側領域１３０３は、テロップ領域１３０２に対して水平方向および垂直方向に隣接する画素により構成されている。
【００７７】
映像処理部１０５は、テロップ領域１３０２内の画素の画素値を、外側領域１３０３の画素（テロップ領域１３０２の外側の画素）の画素値から得られる画素値に置き換える。例えば、図１４に示されるように、映像処理部１０５は、テロップ領域１３０２内の画素ＰＩの置換後の画素値を求める場合、外側領域１３０３の画素のうち、置換対象の画素ＰＩに対して上下左右に位置する４個の画素ＰＡ，ＰＢ，ＰＣ，ＰＤの画素値の平均値を求める。例えば、画素がＲＧＢ三原色の画素値（Ｒ，Ｇ，Ｂ）で表される場合、映像処理部１０５は、下記式（１）により、画素ＰＡの画素値（ＲＡ，ＧＡ，ＢＡ）、画素ＰＢの画素値（ＲＢ，ＧＢ，ＢＢ）、画素ＰＣの画素値（ＲＣ，ＧＣ，ＢＣ）、画素ＰＤの画素値（ＲＤ，ＧＤ，ＢＤ）から、置換対象の画素ＰＩの画素値（ＲＩ，ＧＩ，ＢＩ）を求める。なお、各色の画素値は、例えば８ｂｉｔ（０〜２５５）で表される。
【数１】
2013179563.tif 000003
なお、映像処理部１０５は、より簡単に、水平方向の２つの画素（すなわち画素ＰＢと画素ＰＣ）の画素値の平均、または垂直方向の２つの画素（すなわち画素ＰＡと画素ＰＤ）の画素値の平均を、画素ＰＩの置換後の画素値として求めてもよい。
【００７８】
以下、図４を参照して、実施の形態２に係る映像処理装置９００の動作について説明する。映像処理装置９００の動作は、図４に示される実施の形態１に係る映像処理装置１００の動作と略同様である。
【００７９】
ただし、本実施の形態では、ステップＳ４０３において、映像処理装置９００は、テロップチェンジとして、テロップの出現および消滅の他に、テロップの切り替わりを検出する。
【００８０】
また、ステップＳ４０５では、映像処理装置９００は、ステップＳ４０３でテロップの出現または切り替わりが検出されたか否かを判定し、検出された場合には（Ｓ４０５：ＹＥＳ）、ステップＳ４０６へ進み、検出されなかった場合には（Ｓ４０５：ＮＯ）、ステップＳ４０７へ進む。具体的には、図１５に示されるように、ステップＳ４０３でテロップチェンジ検出部１０３から出力されるフラグが「無→有」フラグまたは「有→有」フラグである場合には、ステップＳ４０５の判定結果は「ＹＥＳ」となり、「テロップ有」フラグである場合には、ステップＳ４０５の判定結果は「ＮＯ」となる。
【００８１】
また、ステップＳ４０７では、映像処理装置９００は、今回以前のステップＳ４０３のテロップチェンジの検出結果に基づき、直前のテロップチェンジに応じた置換方法でテロップ領域の置き換えを行う。具体的には、現映像フレームの直前のテロップチェンジがテロップの出現であるときには、実施の形態１と同様に、映像処理装置９００は、現映像フレームのテロップ領域を、メモリ領域Ａに記録されているテロップが出現する直前の映像フレームから得られる画像に置き換える。一方、現映像フレームの直前のテロップチェンジがテロップの切り替わりであるときには、現映像フレームのテロップ領域を、現映像フレームのテロップ領域の周辺画素から得られる画像に置き換える。
【００８２】
以下、図５のようにテロップが遷移する場合における、映像処理装置９００の各部の動作およびメモリ状態を説明する。
【００８３】
期間５０１では、映像処理装置９００の各部の動作およびメモリ状態は、実施の形態１に係る映像処理装置１００と同様であり、映像記録部１０１の状態は、図６の状態６０１と状態６０２とをフレーム毎に交互に繰り返し、メモリ領域Ａは空である。このようにメモリ領域Ａが空のときの映像記録部１０１の状態をメモリ状態ａと呼ぶ。
【００８４】
期間５０２の先頭では、テロップ検出部１０２でテロップ領域が検出され、テロップチェンジ検出部１０３でテロップの出現が検出され、「無→有」フラグが出力される。テロップチェンジＴＣ１時点でのメモリ状態が図６の状態６０１であったとすると、記録制御部１０４は、テロップチェンジ検出部１０３の検出結果に従い、メモリ領域Ｂに記録されている映像フレーム（すなわち現映像フレームの直前の映像フレーム）をメモリ領域Ａにコピーする。これにより、映像記録部１０１の状態は、図６の状態６０１から図７の状態７０１に遷移する。期間５０２におけるその後の期間では、テロップ検出部１０２でテロップ領域が検出され、テロップチェンジ検出部１０３でテロップチェンジは検出されず、「テロップ有」フラグが出力される。映像記録部１０１の状態は、図７の状態７０２と状態７０３とをフレーム毎に交互に繰り返し、メモリ領域Ａには、テロップＴ１が出現する直前の映像フレームがそのまま保持される。このようにメモリ領域Ａにテロップが出現する直前の映像フレームが保存されているときの映像記録部１０１の状態をメモリ状態ｂと呼ぶ。期間５０２では、映像処理部１０５は、現映像フレームのテロップ領域をメモリ領域Ａの映像フレームにより置き換え、テロップＴ１が消去された現映像フレームを出力映像フレームとして出力する。
【００８５】
期間５０３の先頭では、テロップ検出部１０２でテロップ領域が検出され、テロップチェンジ検出部１０３でテロップの切り替わりが検出され、「有→有」フラグが出力される。記録制御部１０４は、テロップチェンジ検出部１０３の検出結果に従い、メモリ領域Ａの内容をメモリ領域Ｂの内容（テロップが切り替わる直前の映像フレーム）に更新する。期間５０３におけるその後の期間では、テロップ検出部１０２でテロップ領域が検出され、テロップチェンジ検出部１０３でテロップチェンジは検出されず、「テロップ有」フラグが出力される。映像記録部１０１の状態は、図７の状態７０２と状態７０３とをフレーム毎に交互に繰り返し、メモリ領域Ａには、テロップがテロップＴ２に切り替わる直前の映像フレームがそのまま保持される。このようにメモリ領域Ａにテロップの切り替わり直前の映像フレームが保存されているときの映像記録部１０１の状態をメモリ状態ｃと呼ぶ。期間５０３では、映像処理部１０５は、現映像フレームのテロップ領域を当該テロップ領域の周辺画素により置き換え、テロップＴ２が消去された現映像フレームを出力映像フレームとして出力する。
【００８６】
期間５０４の先頭では、テロップ検出部１０２でテロップが検出されず、テロップチェンジ検出部１０３でテロップの消滅が検出され、「有→無」フラグが出力される。記録制御部１０４は、テロップチェンジ検出部１０３の検出結果に従い、メモリ領域Ａの内容を空に更新する。期間５０４におけるその後の期間では、テロップ検出部１０２でテロップは検出されず、テロップチェンジ検出部１０３でテロップチェンジは検出されず、「テロップ無」フラグが出力される。映像記録部１０１の状態は、図６の状態６０１と状態６０２とをフレーム毎に交互に繰り返し、メモリ領域Ａは空のままである。すなわち、期間５０４における映像記録部１０１の状態はメモリ状態ａである。期間５０４では、映像処理部１０５は、置き換えを行わずに、現映像フレームを出力映像フレームとして出力する。
【００８７】
以上のように、映像記録部１０１の状態には、メモリ状態ａ、メモリ状態ｂ、およびメモリ状態ｃの３通りの状態が存在する。映像処理装置９００は、映像記録部１０１の状態（メモリ状態ａ，ｂ，ｃの何れか）を示す情報を保持しておき、当該情報に基づいて置換方法を決定してもよい。例えば、映像処理装置９００は、図４のステップＳ４０７において、メモリ状態ｂの場合には、テロップが出現する直前の映像フレームによる置換を採用し、メモリ状態ｃの場合には、テロップ領域の周辺画素による置換を採用してもよい。
【００８８】
なお、図８のようにテロップが遷移する場合における、映像処理装置９００の各部の動作およびメモリ状態は、実施の形態１に係る映像処理装置１００と同様である。
【００８９】
以上説明した本実施の形態２によれば、上記（１）〜（３）の効果の他に、下記（４）の効果が得られ得る。
（４）本実施の形態では、映像処理装置は、一連の映像フレームからテロップの出現および切り替わりをテロップチェンジとして検出し、映像フレームのテロップ領域を置き換える場合、置換対象の映像フレームの直前のテロップチェンジがテロップの出現であるときには、テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、置換対象の映像フレームの直前のテロップチェンジがテロップの切り替わりであるときには、置換対象の映像フレームのテロップ領域の周辺画素から得られる画像に置き換える。本実施の形態によれば、直前のテロップチェンジに応じた置換方法でテロップ領域を置き換えることができる。
【００９０】
実施の形態３．
図１６は、実施の形態３に係る映像処理装置１６００の構成を示すブロック図である。この映像処理装置１６００は、実施の形態１に係る映像処理装置１００に対し、シーンチェンジの検出結果に応じてテロップ置換方法を切り替える点で異なっており、その他の部分については略同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
【００９１】
図１６に示されるように、映像処理装置１６００は、シーンチェンジ検出部１６０１をさらに備える。シーンチェンジ検出部１６０１は、映像処理装置１６００に入力される一連の映像フレームからシーンチェンジを検出する。具体的には、シーンチェンジ検出部１６０１は、一連の映像フレームにより表される映像のシーンの変化を検出する。例えば、シーンチェンジ検出部１６０１は、映像記録部１０１から現映像フレームと現映像信号の直前の映像フレームとを読み出し、両映像フレームを比較してシーンチェンジを検出する。このシーンチェンジの検出については、公知のシーンチェンジ検出技術を用いることができ、ここでは詳しい説明を省略する。
【００９２】
映像処理部１０５は、テロップ領域が検出された映像フレームにおけるテロップ領域を置き換える場合、シーンチェンジ検出部１６０１の検出結果に基づき、テロップ領域のテロップが出現する前の映像フレームと置換対象の映像フレームとの間でシーンチェンジが発生していないときには、テロップ領域のテロップが出現する前の映像フレームから得られる画像に置き換え、上記両映像フレーム間でシーンチェンジが発生しているときには、置換対象の映像フレームのテロップ領域の周辺画素から得られる画像に置き換える。すなわち、映像処理部１０５は、テロップ領域が検出された映像フレームにおけるテロップ領域を補間する場合、テロップ領域のテロップが出現する前の映像フレームと補間対象の映像フレームとの間でシーンチェンジが発生していないときには、テロップ領域のテロップが出現する前の映像フレームから補間し、上記両映像フレーム間でシーンチェンジが発生しているときには、補間対象の映像フレームのテロップ領域の周辺画素から補間する。
【００９３】
図１７は、実施の形態３に係る映像処理装置１６００の動作を示すフローチャートである。以下、図１７を参照して、映像処理装置１６００の動作について説明する。
【００９４】
映像処理装置１６００は、ステップＳ４０４の前に、現映像フレーム用のメモリ領域に記録された現映像フレームについて、シーンチェンジの検出を行う（Ｓ１７０１）。具体的には、映像処理装置１６００は、現映像フレームの直前の映像フレームと現映像フレームとの間でシーンチェンジが発生しているか否かを判定する。
【００９５】
また、ステップＳ４０７において、映像処理装置１６００は、今回以前のステップＳ４０３のテロップチェンジの検出結果と、今回以前のステップＳ１７０１のシーンチェンジの検出結果とに基づき、テロップ出現後のシーンチェンジの有無に応じた置換方法でテロップ領域の置き換えを行う。具体的には、テロップの出現が前回検出された時点以後、シーンチェンジが検出されていないときには、実施の形態１と同様に、映像処理装置１６００は、現映像フレームのテロップ領域を、メモリ領域Ａに記録されているテロップが出現する直前の映像フレームから得られる画像に置き換える。一方、テロップの出現が前回検出された時点以後、シーンチェンジが検出されたときには、現映像フレームのテロップ領域を、現映像フレームのテロップ領域の周辺画素から得られる画像に置き換える。
【００９６】
以上説明した本実施の形態３によれば、上記（１）〜（３）の効果の他に、下記（５）の効果が得られ得る。
（５）本実施の形態では、映像処理装置は、一連の映像フレームからシーンチェンジを検出し、映像フレームのテロップ領域を置き換える場合、テロップが出現する前の映像フレームと置換対象の映像フレームとの間でシーンチェンジが発生していないときには、テロップが出現する前の映像フレームから得られる画像に置き換え、映像フレーム間でシーンチェンジが発生しているときには、置換対象の映像フレームのテロップ領域の周辺画素から得られる画像に置き換える。本実施の形態によれば、シーンチェンジに応じた適切な置換方法でテロップ領域を置き換えることができる。具体的には、映像フレームのテロップ領域を、当該映像フレームと映像シーンの異なる映像フレームにより置き換えることを回避することができる。
【００９７】
実施の形態４．
図１８は、実施の形態４に係る映像処理装置１８００の構成を示すブロック図である。この映像処理装置１８００は、実施の形態１に係る映像処理装置１００に対し、テロップ領域の検出に文字認識を使用する点で異なっており、その他の部分については略同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
【００９８】
本実施の形態では、テロップ検出部１０２は、検出対象の映像フレームに対して文字認識を行い、当該文字認識の結果に基づき、文字情報を含む領域をテロップ領域として検出する。
【００９９】
図１８の例では、映像処理装置１８００は、文字認識を行う文字認識部１８０１をさらに備え、テロップ検出部１０２は、文字認識部１８０１を用いて映像フレームに対する文字認識を行う。
【０１００】
具体的には、テロップ検出部１０２は、実施の形態１と同様に、映像記録部１０１から現映像フレームを読み出し、当該現映像フレームからテロップ領域を検出する。そして、テロップ検出部１０２は、現映像フレームとともに検出結果（例えばテロップ領域を示す領域情報）を文字認識部１８０１へ送る。
【０１０１】
文字認識部１８０１は、テロップ検出部１０２から現映像フレームおよび検出結果を受け、現映像フレームの検出されたテロップ領域に対して画像解析を行い、当該テロップ領域に文字情報が含まれているか否かを判定する。そして、文字認識部１８０１は、文字情報が含まれていると判定した場合は、テロップ有りと判定し、文字情報が含まれていないと判定した場合は、テロップ無しと判定し、この判定結果をテロップ検出部１０２に送る。
【０１０２】
テロップ検出部１０２は、文字認識部１８０１からの判定結果を受け、当該判定結果に基づき、テロップチェンジ検出部１０３、記録制御部１０４、および映像処理部１０５へテロップ領域の検出結果を送る。具体的には、テロップ検出部１０２は、文字認識部１８０１からテロップ有りの判定結果を受けた場合、上記検出されたテロップ領域の領域情報を検出結果として出力し、テロップ無しの判定結果を受けた場合には、テロップ無しを示す情報を検出結果として出力する。
【０１０３】
なお、文字認識部１８０１は、判定結果をテロップ検出部１０２に送る代わりに、テロップ有りと判定した場合、テロップ検出部１０２から受け取った検出結果をテロップチェンジ検出部１０３、記録制御部１０４、および映像処理部１０５へ送り、テロップ無しと判定した場合には、テロップ無しを示す情報をテロップチェンジ検出部１０３、記録制御部１０４、および映像処理部１０５へ送ってもよい。この場合、文字認識部１８０１からテロップ検出部１０２への判定結果の出力と、テロップ検出部１０２からテロップチェンジ検出部１０３、記録制御部１０４、および映像処理部１０５への検出結果の出力とは、省略されてもよい。
【０１０４】
以上説明した本実施の形態４によれば、上記（１）〜（３）の効果の他に、下記（６）の効果が得られ得る。
（６）本実施の形態では、映像処理装置は、映像フレームに対して文字認識を行い、当該文字認識の結果に基づき、文字情報を含む領域をテロップ領域として検出する。本実施の形態によれば、文字情報を含む領域をテロップ領域として検出することができる。
【０１０５】
実施の形態５．
図１９は、実施の形態５に係る映像処理装置１９００の構成を示すブロック図である。この映像処理装置１９００は、実施の形態１に係る映像処理装置１００に対し、緊急警報放送信号に応じてテロップ置換をＯＮ／ＯＦＦする点で異なっており、その他の部分については略同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
【０１０６】
緊急警報放送信号とは、地震など大規模災害が発生した場合や、津波警報が発表された場合などに放送されるもので、災害の発生に伴う被害の予防や軽減に役立たせることを目的としているものである。よって、緊急警報放送時に表示されるテロップは、テレビ受信機のようにリアルタイムに視聴している場合は消去すべきでないと考えられる。日本においては、緊急警報放送信号と類似の役割で緊急地震速報信号もある。以降、緊急警報放送信号と緊急地震速報信号は、区別せず緊急警報放送信号と記述する。
【０１０７】
本実施の形態に係る映像処理装置１９００は、緊急警報放送信号を受けた場合には、テロップ領域の置き換えを行わない。
【０１０８】
図１９の例では、テロップ検出部１０２は、外部からの緊急警報放送信号が入力されるように構成されている。そして、テロップ検出部１０２は、緊急警報放送信号を検出した場合には、テロップ領域が検出されたときでも、テロップ領域が検出されていないこととして検出結果の出力を行う。このため、緊急警報放送信号が入力された場合には、映像処理部１０５は、テロップ領域の置き換えを行わずに、現映像フレームをそのまま出力映像フレームとして出力する。これにより、緊急警報放送時のテロップは、映像処理部１０５で消去されずに残される。
【０１０９】
ところで、ビデオレコーダのような映像記録装置で映像信号を録画する場合においては、緊急警報放送時のテロップは、視聴時に必ずしも必須の情報であるとは考えられないので、消去されてもよい場合がある。そこで、映像処理装置１９００は、例えば映像記録装置に用いられる場合、緊急警報放送時のテロップの置換のＯＮ／ＯＦＦを使用者に選択させるように構成されてもよい。例えば、映像処理装置１９００は、使用者の選択に応じて、緊急警報放送時のテロップを置換するモードと、緊急警報放送時のテロップを置換しないモードとを切り替えるように構成されてもよい。緊急警報放送時のテロップの置換のＯＮ／ＯＦＦは、例えば、テロップ検出部１０２への緊急警報放送信号の入力をＯＮ／ＯＦＦすることにより制御される。
【０１１０】
以上説明した本実施の形態５によれば、上記（１）〜（３）の効果の他に、下記（７）の効果が得られ得る。
（７）本実施の形態では、映像処理装置は、緊急警報放送信号を受けた場合には、テロップ領域の置き換えを行わない。このため、本実施の形態によれば、緊急警報放送時にテロップを消去しないようにすることができる。
【０１１１】
実施の形態６．
図２０は、実施の形態６に係る映像処理装置２０００の構成を示すブロック図である。この映像処理装置２０００は、実施の形態１に係る映像処理装置１００に対し、データ放送信号に応じてテロップ置換をＯＮ／ＯＦＦする点で異なっており、その他の部分については略同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
【０１１２】
本実施の形態では、映像処理装置２０００は、データ放送信号を受け、当該データ放送信号に緊急警報情報が含まれる場合には、テロップ領域の置き換えを行わない。
【０１１３】
図２０の例では、映像処理装置２０００は、データ放送解析部２００１をさらに備える。このデータ放送解析部２００１は、外部からデータ放送信号を受け、当該データ放送信号に含まれる情報を解析し、データ放送信号に緊急警報情報が含まれる場合、テロップ検出部１０２へテロップ検出禁止信号を送る。一方、データ放送信号に緊急警報情報が含まれない場合、データ放送解析部２００１は、テロップ検出部１０２へテロップ検出禁止信号を送らない。
【０１１４】
テロップ検出部１０２は、データ放送解析部２００１からテロップ検出禁止信号を受けた場合、すなわちデータ放送解析部２００１で緊急警報情報が検出された場合、テロップ領域が検出されたときでも、テロップ領域が検出されていないこととして検出結果の出力を行う。このため、緊急警報情報を含むデータ放送信号が入力された場合には、映像処理部１０５は、テロップ領域の置き換えを行わずに、現映像フレームをそのまま出力映像フレームとして出力する。これにより、緊急警報時のテロップは、映像処理部１０５で消去されずに残される。
【０１１５】
なお、上記の説明では、データ放送信号に緊急警報情報が含まれる場合にテロップ置換をＯＦＦする構成を示したが、映像処理装置２０００は、データ放送信号に緊急警報情報以外の所定の情報が含まれる場合にテロップ置換をＯＦＦするように構成されてもよい。所定の情報としては、例えば、使用者により指定されるキーワード（有名人の名前など）がある。
【０１１６】
以上説明した本実施の形態６によれば、上記（１）〜（３）の効果の他に、下記（８）の効果が得られ得る。
（８）本実施の形態では、映像処理装置は、データ放送信号を受け、当該データ放送信号に所定の情報が含まれる場合には、テロップ領域の置き換えを行わない。このため、本実施の形態によれば、データ放送信号に含まれる情報をもとに、テロップを消去しないようにすることができる。
【０１１７】
実施の形態７．
図２１は、実施の形態７に係る映像処理装置２４００の構成を示すブロック図である。この映像処理装置２４００は、実施の形態１に係る映像処理装置１００に対し、速報音の検出結果に基づいてテロップ置換を行う点で異なっており、その他の部分については略同様である。以下の説明では、実施の形態１と同様の部分については説明を省略または簡略化し、実施の形態１と同一または対応する要素については同一の符号を付す。
【０１１８】
本実施の形態に係る映像処理装置２４００は、入力映像信号と、当該入力映像信号に対応する入力音声信号とを受け、当該入力音声信号から速報音を検出すると共に当該入力映像信号からテロップを含むテロップ領域を検出し、速報音を伴うテロップのテロップ領域を選択的に置換画像に置き換える。入力映像信号および入力音声信号は、例えば、地上波デジタル放送における１２セグメントを使って放送されるハイビジョン（ＨＤＴＶ）放送の映像信号および音声信号などである。速報音とは、音声（例えば主音声または本来の音声）に重畳、挿入、または合成された、テロップの表示を視聴者に知らせるための音であり、例えば、電子音や、チャイム、ブザー、音楽であり、警報音とも呼ばれる。速報音は、例えば、地震速報やニュース速報などのテロップが表示される直前、同時、または直後に発せられ、視聴者にテロップへの注目を促すためのものである。また、速報音を伴うテロップは、速報音の直前、同時、または直後に表示され、速報音により視聴者に注目が促されるテロップであり、例えば、地震速報やニュース速報などの速報を含むテロップである。以下の説明では、速報音を伴うテロップを「速報テロップ」と称す。
【０１１９】
図２１において、映像処理装置２４００は、映像記録部１０１、テロップ検出部１０２、テロップチェンジ検出部１０３、記録制御部１０４、および映像処理部１０５を有し、さらに、速報音検出部２４０１および音声信号処理部２４０２を有する。
【０１２０】
速報音検出部２４０１は、入力音声信号として、外部から一連の映像フレームに対応する一連の音声信号を受け、当該音声信号から速報音を検出し、検出結果を映像処理部１０５に通知する。例えば、速報音検出部２４０１は、速報音を検出すると、映像処理部１０５に対し、その時点で通知を行うか、または、速報音が検出された時刻やタイムスタンプなど、速報音が検出されたタイミングを示し、入力映像信号との同期が可能な情報を通知する。速報音検出部２４０１は、公知の手法を含む様々な手法を用いて速報音を検出することができる。例えば、公知の手法として、非特許文献１には、ＮＨＫの緊急地震速報チャイムについて、入力音声信号に含まれる４つの周波数（３９２、４１５、９３２、９８８Ｈｚ）の出現傾向からチャイムを検出するものが示されている。また、特許文献３には、入力音声信号のＭＤＣＴ（変形離散コサイン変換）係数ベクトルをモデル化して所望の音声クラスを判定する手法が示されている。この手法を利用すれば、速報音の音声モデルを作成することで、高い精度で速報音を検出することができる。また、速報音には、視聴者の注意を喚起するために音量が大きいという特徴がある。そこで、単純に入力音声信号の音量レベルを観測して一定レベル以上の音量となった音声信号を速報音と判定してもよい。この場合でも、速報音検出とテロップ検出との論理和によって速報テロップを確定する方法を取れば、速報音検出に掛かる処理負荷を軽減しながら高い精度で速報テロップを検出することができる。
【０１２１】
映像処理部１０５は、速報音検出部２４０１の検出結果に基づき、速報音を伴うテロップ（速報テロップ）のテロップ領域を選択的に置き換える。本例では、映像処理部１０５は、速報音が検出された時点近傍の所定期間内に検出されたテロップ領域を選択的に置き換える。上記所定期間は、速報音と速報テロップとの通常の時間的な関係等を考慮して適宜決められればよい。例えば、速報音が検出された時点に対する所定期間の始点の位置は、速報音の始点と速報テロップの始点との時間的な関係から決められればよい。また、所定期間（または所定時間）の長さは、速報テロップの表示時間から決められればよく、例えば１分から５分程度である。具体的には、映像処理部１０５は、速報音が検出されてから所定時間以内に検出されたテロップ領域を、速報テロップのテロップ領域として選択的に置き換える。より具体的には、映像処理部１０５は、速報音が検出されてから所定時間以内において、テロップ検出部１０２により現映像フレームについてテロップ領域が検出された場合に、メモリ領域ＢまたはＣに記録された現映像フレームのテロップ領域を、メモリ領域Ａに記録されたテロップが出現する直前の映像フレームから得られる画像に置き換え、テロップ領域が置き換えられた現映像フレームを出力映像フレームとして出力する。一つの態様では、映像処理部１０５は、上記速報テロップのテロップ領域に対してのみ置き換えを行う。すなわち、映像処理部１０５は、テロップ検出部１０２によりテロップ領域が検出されたとしても、速報音検出部２４０１による速報音の検出から所定時間を超えていた場合や、速報音が検出されていない場合には、テロップ領域の置き換えを行わない。
【０１２２】
音声信号処理部２４０２は、映像処理装置２４００に入力される一連の音声信号に対して、速報音検出部２４０１により検出された速報音の音量を低減する処理を行う。具体的には、音声信号処理部２４０２は、速報音検出部２４０１の検出結果に基づき、入力される一連の音声信号のうち、速報音が検出された期間の音声信号に対して、当該音声信号から再生される音量を例えば３ｄＢ（デシベル）下げるなど、音量を下げる処理を行う。速報音が検出された期間の音声信号の音量を下げる場合、音声信号処理部２４０２は、周波数帯域のオーバーオール（全体）での音量レベルを低減してもよいし、速報音として特徴的な周波数の振幅のみを低減してもよい。一例では、音声信号処理部２４０２は、所定の周波数の振幅を低減するオーディオフィルタである。また、音声信号処理部２４０２は、速報音以外の周波数の振幅（または音量）を大きくすることで、速報音の音量を相対的に低減して、速報音を聞こえにくくしてもよい。
【０１２３】
また、音声信号処理部２４０２は、入力音声信号に対して、当該入力音声信号の音声と入力映像信号の映像とのタイミングを合わせるための遅延処理（リップシンク）を行ってもよい。
【０１２４】
なお、速報音の周波数特性や音量の補正、遅延の補正が不要な場合は、音声信号処理部２４０２は省略されてもよい。
【０１２５】
図２２は、実施の形態７に係る映像処理装置２４００の動作を示すフローチャートである。以下、図２２を参照して、映像処理装置２４００の動作について説明する。なお、図２２の処理は映像信号のフレーム毎に実行される。
図２２の処理は、図４のステップＳ４０１〜Ｓ４１１に加えて、ステップＳ２５０１を有する。そして、図２２では、ステップＳ４０５でテロップの出現が検出されなかった場合（Ｓ４０５：ＮＯ）、ステップＳ４０７ではなくステップＳ２５０１へ進む。また、ステップ４０５でテロップの出現が検出された場合（Ｓ４０５：ＹＥＳ）、ステップＳ４０６の実行後に、ステップＳ４０７ではなくステップＳ２５０１へ進む。
【０１２６】
ステップＳ２５０１では、映像処理装置２４００は、現時点（またはテロップ領域の検出時点）が、速報音検出部２４０１により速報音が検出されてから所定時間以内であるか否かを判断する。そして、所定時間以内であると判断された場合には（Ｓ２５０１：ＹＥＳ）、ステップＳ４０７へ進み、テロップ領域の置き換えを行う。一方、所定時間以内でないと判断された場合には（Ｓ２５０１：ＮＯ）、ステップＳ４１０へ進み、テロップ領域の置き換えを行わずに、現映像フレームを出力映像フレームとして出力する。当該ステップＳ２５０１は、例えば、映像処理部１０５により実行される。
【０１２７】
図２３は、テロップ遷移および速報音の一例を示す図である。図２３には、図５と同じテロップ遷移とともに、速報音の検出結果２６０１が示されている。速報音の検出結果２６０１は、例えば速報音検出部２４０１の出力信号であり、速報音の検出結果２６０１において、“ＨＩＧＨ”は、速報音検出部２４０１において速報音が検出された場合を示し、“ＬＯＷ”は、速報音が検出されない場合を示している。速報音は連続音ではなく間欠音である場合があるが、間欠音における無音の期間も連続して速報音が鳴っているものとみなして“ＨＩＧＨ”で表現される。図２３では、時刻ＳＥ１０で速報音が発生し、時刻ＳＥ２０で速報音が消失している。映像処理部１０５には、時刻ＳＥ１０で速報音が検出されたことが通知される。時刻ＳＥ３０は、時刻ＳＥ１０から所定時間経過後の時刻であり、時刻ＳＥ１０から時刻ＳＥ３０までの期間が、速報音が検出されてから所定時間以内の期間である。以下、図２３のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。
【０１２８】
期間５０２では、テロップＴ１のテロップ領域が検出される。期間５０２において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域であり、映像処理部１０５により置き換えられる。
【０１２９】
期間５０３では、テロップＴ２のテロップ領域が検出される。期間５０３において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域であり、映像処理部１０５により置き換えられる。
【０１３０】
図２４は、テロップ遷移および速報音の別の一例を示す図である。図２４には、図５と同じテロップ遷移とともに、速報音の検出結果２７０１が示されている。図２４では、テロップチェンジＴＣ２以降の時刻ＳＥ１１で速報音が発生し、時刻ＳＥ２１で速報音が消失している。映像処理部１０５には、時刻ＳＥ１１で速報音が検出されたことが通知される。また、時刻ＳＥ３１は、時刻ＳＥ１１から所定時間経過後の時刻であり、時刻ＳＥ１１から時刻ＳＥ３１までの期間が、速報音が検出されてから所定時間以内の期間である。以下、図２４のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。
【０１３１】
期間５０２では、テロップＴ１のテロップ領域が検出される。期間５０２において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域ではないので、映像処理部１０５により置き換えられない。
【０１３２】
期間５０３では、テロップＴ２のテロップ領域が検出される。期間５０３のうち時刻ＳＥ１１前の期間において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域ではないので、映像処理部１０５により置き換えられない。期間５０３のうち時刻ＳＥ１１以後の期間において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域であるので、映像処理部１０５により置き換えられる。
【０１３３】
図２５は、テロップ遷移および速報音のさらに別の一例を示す図である。図２５には、図８と同じテロップ遷移とともに、速報音の検出結果２８０１が示されている。図２５では、テロップチェンジＴＣ１１前の時刻ＳＥ１２で速報音が発生し、時刻ＳＥ２２で速報音が消失している。映像処理部１０５には、時刻ＳＥ１２で速報音が検出されたことが通知される。また、時刻ＳＥ３２は、時刻ＳＥ１２から所定時間経過後の時刻であり、時刻ＳＥ１２から時刻ＳＥ３２までの期間が、速報音が検出されてから所定時間以内の期間である。以下、図２５のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。
【０１３４】
期間８０２では、テロップＴ１のテロップ領域が検出される。期間８０２において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域であるので、映像処理部１０５により置き換えられる。
【０１３５】
期間８０４では、テロップＴ２のテロップ領域が検出される。期間８０４のうち時刻ＳＥ３２以前の期間において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域であるので、映像処理部１０５により置き換えられる。期間８０４のうち時刻ＳＥ３２後の期間において検出されたテロップ領域は、速報音が検出されてから所定時間以内に検出されたテロップ領域ではないので、映像処理部１０５により置き換えられない。
【０１３６】
以上説明した本実施の形態７によれば、上記（１）〜（３）の効果の他に、下記（９）〜（１１）の効果が得られ得る。
【０１３７】
（９）本実施の形態では、映像処理装置は、入力される一連の音声信号から速報音を検出し、この検出結果に基づき、速報音を伴うテロップのテロップ領域を選択的に置き換える。このため、速報音を伴うテロップを選択的に消去し、速報音を伴わないテロップを消去せずに残すことが可能となる。例えば、災害情報や、有事情報、緊急速報など、本来の映像とは関係のない、速報テロップのみを選別して消去することができ、本来の映像と関係のある他のテロップを消去せずに残すことが可能となる。
【０１３８】
（１０）映像処理装置は、入力される一連の音声信号から速報音を検出し、この検出結果に基づき、速報音が検出された時点近傍の所定期間内に検出されたテロップ領域を選択的に置き換える。本態様によれば、速報テロップを検出して選択的に消去することができる。
【０１３９】
（１１）映像処理装置は、入力される一連の音声信号に対して、速報音の検出結果に基づき、速報音の音量を低減する処理を行う。本態様によれば、速報音を聞こえにくくすることができる。
【０１４０】
実施の形態８．
以下、実施の形態８に係る映像処理装置について説明する。この映像処理装置は、上記実施の形態７に係る映像処理装置と略同様であり、図２１に示される構成を有する。以下の説明では、実施の形態７と同様の部分については説明を省略または簡略化し、実施の形態７と同一または対応する要素については同一の符号を付す。
【０１４１】
本実施の形態では、テロップチェンジ検出部１０３は、その検出結果を映像処理部１０５に通知する。具体的には、テロップチェンジ検出部１０３は、テロップの出現を検出した場合に、テロップの出現が検出されたことを映像処理部１０５に通知する。例えば、テロップチェンジ検出部１０３は、テロップの出現を検出すると、映像処理部１０５に対し、その時点で通知を行うか、または、テロップの出現が検出された時刻やタイムスタンプなど、テロップの出現が検出されたタイミングを示す情報を通知する。また、テロップチェンジ検出部１０３は、テロップの消滅を検出した場合に、テロップが消滅したことを映像処理部１０５に通知してもよい。例えば、テロップチェンジ検出部１０３は、テロップの消滅を検出した場合、その時点で通知を行うか、または、テロップの消滅が検出された時刻やタイムスタンプなど、テロップの消滅が検出されたタイミングを示す情報を通知する。
【０１４２】
映像処理部１０５は、速報音検出部２４０１の検出結果に基づき、速報音が検出された時点近傍の第１の所定期間内にテロップの出現が検出された場合に、当該速報音が検出された時点近傍の第２の所定期間内に検出されたテロップ領域を選択的に置き換える。上記第１および第２の所定期間は、速報音と速報テロップとの通常の時間的な関係等を考慮して適宜決められればよい。例えば、速報音が検出された時点に対する第１および第２の所定期間の始点の位置は、速報音の始点と速報テロップの始点との時間的な関係から決められればよい。また、第１の所定期間の長さは、速報音の始点と速報テロップの始点との時間的な関係から決められればよく、第２の所定期間の長さは、速報テロップの表示時間から決められればよい。第１の所定期間および第２の所定期間は、互いに同じであっても異なっていてもよい。ただし、通常は、第２の所定期間の方が、第１の所定期間よりも長い時間に設定される。具体的には、映像処理部１０５は、速報音が検出されてから所定時間ＴＰ１以内にテロップの出現が検出された場合に、当該速報音が検出されてから所定時間ＴＰ２以内に検出されたテロップ領域を選択的に置き換える。例えば、映像処理部１０５は、速報音の検出から５秒以内にテロップの出現が検出された場合に、速報テロップの出現と判断し、当該速報音の検出から３分以内に検出されたテロップ領域を、速報テロップのテロップ領域として選択的に置き換える。一つの態様では、映像処理部１０５は、上記速報テロップのテロップ領域に対してのみ置き換えを行い、それ以外のテロップ領域に対しては置き換えを行わない。
【０１４３】
図２６は、実施の形態８に係る映像処理装置２４００の動作を示すフローチャートである。以下、図２６を参照して、実施の形態８に係る映像処理装置２４００の動作について説明する。なお、図２６の処理は映像信号のフレーム毎に実行される。
【０１４４】
図２６の処理は、図４のステップＳ４０１〜Ｓ４１１に加えて、ステップＳ２９０１〜Ｓ２９０３を有する。そして、図２６では、ステップＳ４０５でテロップの出現が検出されなかった場合（Ｓ４０５：ＮＯ）、ステップＳ４０７ではなくステップＳ２９０３へ進み、テロップの出現が検出された場合（Ｓ４０５：ＹＥＳ）、ステップＳ４０６の実行後に、ステップＳ４０７ではなくステップＳ２９０１へ進む。
【０１４５】
ステップＳ２９０１では、映像処理装置２４００は、現時点（またはテロップの出現時点）が、直近の速報音の検出時刻から所定時間ＴＰ１以内であるか否かを判断する。そして、直近の速報音の検出時刻から所定時間ＴＰ１以内であると判断された場合には（Ｓ２９０１：ＹＥＳ）、当該直近の速報音の検出時刻を、速報テロップに対応する速報音の検出時刻として所定の速報音時刻メモリ領域に記録し（Ｓ２９０２）、ステップＳ２９０３へ進む。一方、所定時間ＴＰ１以内でないと判断された場合には（Ｓ２９０１：ＮＯ）、ステップＳ２９０２を実行せずに、ステップＳ２９０３へ進む。
【０１４６】
ステップＳ２９０３では、映像処理装置２４００は、現時点（またはテロップ領域の検出時点）が、速報音時刻メモリ領域に記録されている速報音の検出時刻から所定時間ＴＰ２以内であるか否かを判断する。そして、所定時間ＴＰ２以内であると判断された場合には（Ｓ２９０３：ＹＥＳ）、テロップ領域の置き換えを行う（Ｓ４０７）。一方、所定時間ＴＰ２以内でないと判断された場合には（Ｓ２９０３：ＮＯ）、テロップ領域の置き換えを行わずに、現映像フレームを出力映像フレームとして出力する（Ｓ４１０）。
【０１４７】
なお、上記ステップＳ２９０１〜Ｓ２９０３は、例えば、映像処理部１０５により実行される。
【０１４８】
以下、図２３のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。図２３において、時刻ＳＥ１０から時刻ＳＥ４０までの期間が、速報音が検出されてから所定時間ＴＰ１以内の期間であり、時刻ＳＥ１０から時刻ＳＥ３０までの期間が、速報音が検出されてから所定時間ＴＰ２以内の期間である。
【０１４９】
期間５０２では、テロップＴ１のテロップ領域が検出され、期間５０２の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１）が検出される。このテロップの出現は、速報音の検出時刻ＳＥ１０から所定時間ＴＰ１以内にあるので、速報テロップの出現と判断され、時刻ＳＥ１０が速報音時刻メモリ領域に記録される。期間５０２において検出されたテロップ領域は、速報音時刻メモリ領域に記録されている検出時刻ＳＥ１０から所定時間ＴＰ２以内に検出されたテロップ領域であるので、映像処理部１０５により置き換えられる。
【０１５０】
期間５０３では、テロップＴ２のテロップ領域が検出される。期間５０３において検出されたテロップ領域は、速報音時刻メモリ領域に記録されている検出時刻ＳＥ１０から所定時間ＴＰ２以内に検出されたテロップ領域であるので、映像処理部１０５により置き換えられる。
【０１５１】
次に、図２４のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。図２４において、時刻ＳＥ１１から時刻ＳＥ４１までの期間が、速報音が検出されてから所定時間ＴＰ１以内の期間である。
【０１５２】
期間５０２では、テロップＴ１のテロップ領域が検出され、期間５０２の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１）が検出される。このテロップの出現は、速報音の検出時刻から所定時間ＴＰ１以内にないので、速報テロップの出現とは判断されない。期間５０２において検出されたテロップ領域は、速報音時刻メモリ領域に記録されている速報音の検出時刻から所定時間ＴＰ２以内に検出されたテロップ領域に該当しないので、映像処理部１０５により置き換えられない。
【０１５３】
期間５０３では、テロップＴ２のテロップ領域が検出される。期間５０３において検出されたテロップ領域は、速報音時刻メモリ領域に記録されている速報音の検出時刻から所定時間ＴＰ２以内に検出されたテロップ領域に該当しないので、映像処理部１０５により置き換えられない。
【０１５４】
次に、図２５のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。図２５において、時刻ＳＥ１２から時刻ＳＥ４２までの期間が、速報音が検出されてから所定時間ＴＰ１以内の期間であり、時刻ＳＥ１２から時刻ＳＥ３２までの期間が、速報音が検出されてから所定時間ＴＰ２以内の期間である。
【０１５５】
期間８０２では、テロップＴ１のテロップ領域が検出され、期間８０２の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１１）が検出される。このテロップの出現は、速報音の検出時刻ＳＥ１２から所定時間ＴＰ１以内にあるので、速報テロップの出現と判断され、時刻ＳＥ１２が速報音時刻メモリ領域に記録される。期間８０２において検出されたテロップ領域は、速報音時刻メモリ領域に記録されている検出時刻ＳＥ１２から所定時間ＴＰ２以内に検出されたテロップ領域であるので、映像処理部１０５により置き換えられる。
【０１５６】
期間８０４では、テロップＴ２のテロップ領域が検出され、期間８０４の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１３）が検出される。このテロップの出現は、速報音の検出時刻ＳＥ１２から所定時間ＴＰ１以内にないので、速報テロップの出現とは判断されない。期間８０４のうち時刻ＳＥ３２以前の期間において検出されたテロップ領域は、速報音時刻メモリ領域に記録されている検出時刻ＳＥ１２から所定時間ＴＰ２以内に検出されたテロップ領域であるので、映像処理部１０５により置き換えられる。期間８０４のうち時刻ＳＥ３２後の期間において検出されたテロップ領域は、速報音時刻メモリ領域に記録されている速報音の検出時刻ＳＥ１２から所定時間ＴＰ２以内に検出されたテロップ領域に該当しないので、映像処理部１０５により置き換えられない。
【０１５７】
以上の通り、本実施の形態では、映像処理装置は、入力される一連の音声信号から速報音を検出し、この検出結果に基づき、速報音が検出された時点近傍の第１の所定期間内にテロップの出現が検出された場合に、当該速報音が検出された時点近傍の第２の所定期間内に検出されたテロップ領域を選択的に置き換える。このため、本実施の形態によれば、速報音を伴うテロップを選択的に消去することができる。
【０１５８】
実施の形態９．
以下、実施の形態９に係る映像処理装置について説明する。この映像処理装置は、上記実施の形態７に係る映像処理装置２４００と略同様であり、図２１に示される構成を有する。以下の説明では、実施の形態７と同様の部分については説明を省略または簡略化し、実施の形態７と同一または対応する要素については同一の符号を付す。
【０１５９】
テロップチェンジ検出部１０３は、上記実施の形態８の場合と同様に、その検出結果を映像処理部１０５に通知する。
【０１６０】
映像処理部１０５は、速報音検出部２４０１の検出結果に基づき、速報音が検出された時点近傍の所定期間内にテロップの出現が検出された場合に、当該テロップを含むテロップ領域を選択的に置き換える。上記所定期間は、速報音と速報テロップとの通常の時間的な関係等を考慮して適宜決められればよい。例えば、速報音が検出された時点に対する所定期間の始点の位置、および所定期間の長さは、速報音の始点と速報テロップの始点との時間的な関係から決められればよい。具体的には、映像処理部１０５は、速報音が検出されてから所定時間以内にテロップの出現が検出された場合に、当該テロップの出現が検出された時点以降の映像フレームにおいて、当該テロップを含むテロップ領域を選択的に置き換える。例えば、映像処理部１０５は、速報音の検出から５秒以内にテロップの出現が検出された場合に、速報テロップの出現と判断し、当該出現したテロップと同じテロップを含むテロップ領域を、速報テロップのテロップ領域として置き換える。一つの態様では、映像処理部１０５は、上記のテロップ領域に対してのみ置き換えを行い、それ以外のテロップ領域に対しては置き換えを行わない。
【０１６１】
また、映像処理部１０５は、速報音が検出された時点近傍の所定期間内にテロップの出現が検出された場合に、当該出現したテロップと同じテロップを含むテロップ領域だけでなく、当該出現したテロップに続くテロップを含むテロップ領域を置き換えてもよい。ここで、出現したテロップに続くテロップとしては、例えば、「ニュース速報」や「地震速報」等のタイトルを示すテロップに続く、ニュース内容や各地の震度等の速報内容を示すテロップがある。
【０１６２】
映像処理部１０５は、例えば、テロップの内容や位置に基づき、出現したテロップと同じテロップを含むテロップ領域であるかや、出現したテロップに続くテロップであるかを判断することができる。
【０１６３】
図２７は、実施の形態９に係る映像処理装置２４００の動作を示すフローチャートである。以下、図２７を参照して、実施の形態９に係る映像処理装置２４００の動作について説明する。なお、図２７の処理は映像信号のフレーム毎に実行される。
【０１６４】
図２７の処理は、図４のステップＳ４０１〜Ｓ４１１に加えて、ステップＳ３００１〜Ｓ３００４を有する。そして、図２７では、ステップＳ４０５でテロップの出現が検出されなかった場合（Ｓ４０５：ＮＯ）、ステップＳ４０７ではなくステップＳ３００３へ進み、テロップの出現が検出された場合（Ｓ４０５：ＹＥＳ）、ステップＳ４０６の実行後に、ステップＳ４０７ではなくステップＳ３００１へ進む。また、ステップＳ４０９の実行後に、ステップＳ４１０ではなくステップＳ３００４へ進む。
【０１６５】
ステップＳ３００１では、映像処理装置２４００は、現時点（またはテロップの出現時点）が、直近の速報音の検出時刻から所定時間以内であるか否かを判断する。そして、所定時間以内であると判断された場合には（Ｓ３００１：ＹＥＳ）、ステップＳ３００２へ進み、所定時間以内でないと判断された場合には（Ｓ３００１：ＮＯ）、ステップＳ３００３へ進む。
【０１６６】
ステップＳ３００２では、映像処理装置２４００は、ステップＳ４０２で検出されたテロップ領域に含まれるテロップを所定のテロップメモリ領域に記録し、ステップＳ３００３へ進む。テロップメモリ領域には、具体的には、テロップ領域の映像信号や、当該映像信号から取得される特徴データ、テロップ領域に含まれる文字列など、出現したテロップを特定するための情報が記録される。
【０１６７】
ステップＳ３００３では、映像処理装置２４００は、ステップＳ４０２で検出されたテロップ領域のテロップが、テロップメモリ領域に記録されているテロップと同じものか否かを判断する。そして、同じであると判断された場合には（Ｓ３００３：ＹＥＳ）、テロップ領域の置き換えを行う（Ｓ４０７）。一方、同じでないと判断された場合には（Ｓ３００３：ＮＯ）、テロップ領域の置き換えを行わずに、現映像フレームを出力映像フレームとして出力する（Ｓ４１０）。
【０１６８】
ステップＳ３００４では、映像処理装置２４００は、テロップメモリ領域をクリアし、ステップＳ４１０へ進む。
【０１６９】
なお、上記ステップＳ３００３において、映像処理装置２４００は、ステップＳ４０２で検出されたテロップ領域のテロップが、テロップメモリ領域に記録されているテロップと同じものか、または当該テロップに続くものかを判断し、同じか続くものであると判断された場合に、ステップＳ４０７へ進み、テロップ領域の置き換えを行ってもよい。
【０１７０】
また、上記ステップＳ３００１〜Ｓ３００４は、例えば、映像処理部１０５により実行される。
【０１７１】
以下、図２３のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。図２３において、時刻ＳＥ１０から時刻ＳＥ４０までの期間が、速報音が検出されてから所定時間以内の期間である。当初、テロップメモリ領域にはテロップが記録されていないものとする。
【０１７２】
期間５０２では、テロップＴ１のテロップ領域が検出され、期間５０２の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１）が検出される。このテロップの出現は、速報音の検出時刻ＳＥ１０から所定時間以内にあるので、速報テロップの出現と判断され、テロップＴ１がテロップメモリ領域に記録される。期間５０２において検出されたテロップ領域は、テロップメモリ領域に記録されているテロップと同一のテロップを含むので、映像処理部１０５により置き換えられる。
【０１７３】
期間５０３では、テロップＴ２のテロップ領域が検出される。期間５０３において検出されたテロップ領域は、テロップメモリ領域に記録されているテロップと同一のテロップを含まないので、映像処理部１０５により置き換えられない。ただし、テロップＴ２がテロップＴ１に続くテロップである場合、期間５０３において検出されたテロップ領域は、テロップメモリ領域に記録されているテロップに続くテロップを含むと判断され、映像処理部１０５により置き換えられてもよい。
【０１７４】
期間５０４の先頭（最初のフレーム）では、テロップの消滅（テロップチェンジＴＣ３）が検出され、テロップメモリ領域がクリアされる。
【０１７５】
次に、図２４のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。図２４において、時刻ＳＥ１１から時刻ＳＥ４１までの期間が、速報音が検出されてから所定時間以内の期間である。当初、テロップメモリ領域にはテロップが記録されていないものとする。
【０１７６】
期間５０２では、テロップＴ１のテロップ領域が検出され、期間５０２の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１）が検出される。このテロップの出現は、速報音の検出時刻から所定時間以内にないので、速報テロップの出現とは判断されない。そして、テロップメモリ領域にはテロップが記録されていないので、期間５０２において検出されたテロップ領域は、テロップメモリ領域に記録されているテロップと同一のテロップを含むテロップ領域と判断されず、映像処理部１０５により置き換えられない。
【０１７７】
期間５０３では、テロップＴ２のテロップ領域が検出される。テロップメモリ領域にはテロップが記録されていないので、期間５０３において検出されたテロップ領域は、テロップメモリ領域に記録されているテロップと同一のテロップを含むテロップ領域と判断されず、映像処理部１０５により置き換えられない。
【０１７８】
次に、図２５のようにテロップおよび速報音が発生した場合におけるテロップ領域の置き換えについて説明する。図２５において、時刻ＳＥ１２から時刻ＳＥ４２までの期間が、速報音が検出されてから所定時間以内の期間である。当初、テロップメモリ領域にはテロップが記録されていないものとする。
【０１７９】
期間８０２では、テロップＴ１のテロップ領域が検出され、期間８０２の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１１）が検出される。このテロップの出現は、速報音の検出時刻ＳＥ１２から所定時間以内にあるので、速報テロップの出現と判断され、テロップＴ１がテロップメモリ領域に記録される。期間８０２において検出されたテロップ領域は、テロップメモリ領域に記録されているテロップと同一のテロップを含むと判断され、映像処理部１０５により置き換えられる。
【０１８０】
期間８０３では、テロップが存在せず、期間８０２から期間８０３へ移行する際に、テロップの消滅（テロップチェンジＴＣ１２）が検出され、テロップメモリ領域がクリアされる。
【０１８１】
期間８０４では、テロップＴ２のテロップ領域が検出され、期間８０４の先頭（最初のフレーム）では、テロップの出現（テロップチェンジＴＣ１３）が検出される。このテロップの出現は、速報音の検出時刻ＳＥ１２から所定時間以内にないので、速報テロップの出現とは判断されない。そして、テロップメモリ領域が空であるので、期間８０４において検出されたテロップ領域は、テロップメモリ領域に記録されているテロップと同一のテロップを含むテロップ領域と判断されず、映像処理部１０５により置き換えられない。
【０１８２】
なお、上記の説明では、テロップの消滅が検出された場合に、すぐにテロップメモリ領域をクリアする構成を例示したが、テロップ無しの状態が所定時間継続した場合に、テロップメモリ領域をクリアする構成であってもよい。この場合、図２５において、期間８０３が所定時間より短ければ、テロップメモリ領域はクリアされない。そして、テロップＴ２がテロップＴ１に続くテロップである場合、期間８０４のテロップ領域は、テロップメモリ領域に記録されているテロップに続くテロップを含むと判断され、映像処理部１０５により置き換えられてもよい。
【０１８３】
以上の通り、本実施の形態では、映像処理装置は、入力される一連の音声信号から速報音を検出し、この検出結果に基づき、速報音が検出された時点近傍の所定期間内にテロップの出現が検出された場合に、当該テロップを含むテロップ領域を選択的に置き換える。このため、本実施の形態によれば、速報音を伴うテロップを選択的に消去することができる。
【０１８４】
実施の形態１０．
図２８は、実施の形態１０に係る映像処理装置３１００の構成を示すブロック図である。この映像処理装置３１００は、実施の形態７に係る映像処理装置２４００に対し、システム制御部３１０１を有する点で異なっており、その他の部分については略同様である。以下の説明では、実施の形態７と同様の部分については説明を省略または簡略化し、実施の形態７と同一または対応する要素については同一の符号を付す。
【０１８５】
システム制御部３１０１は、映像処理装置３１００のシステム全体の機能を制御するものであり、例えばマイコンやＤＳＰ（Ｄｉｇｉｔａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｏｒ）などで構成される。なお、記録制御部１０４は、当該システム制御部３１０１の一部であっても構わない。また、システム制御部３１０１は、映像処理装置３１００の外部に構成されるものでも構わない。
【０１８６】
本実施の形態では、速報音検出部２４０１は、その検出結果をシステム制御部３１０１に通知する。例えば、速報音検出部２４０１は、速報音を検出すると、システム制御部３１０１に対し、その時点で通知を行うか、または、速報音が検出された時刻やタイムスタンプなど、速報音が検出されたタイミングを示し、入力映像信号との同期が可能な情報を通知する。また、テロップ検出部１０２は、その検出結果をシステム制御部３１０１に通知する。
【０１８７】
システム制御部３１０１は、速報音検出部２４０１およびテロップ検出部１０２からの検出結果に基づき、速報音の検出から所定時間以内に検出されたテロップ領域が選択的に置き換えられるように、映像処理部１０５を制御する。例えば、システム制御部３１０１は、速報音検出部２４０１から速報音を検出した旨の通知を受けると、タイマーなどを用いて速報音が検出されてからの経過時間の計測を開始する。そして、システム制御部３１０１は、テロップ検出部１０２からテロップ領域が検出された旨の通知を受けると、タイマーの計測時間に基づき、当該テロップ領域が速報音の検出から所定時間以内に検出されたものか否かを判断し、所定時間以内に検出されたものである場合、映像処理部１０５に対してテロップ領域の置き換えを指示する。
【０１８８】
映像処理部１０５は、上記システム制御部３１０１からの指示に応じて、テロップ領域の置き換えを行う。したがって、映像処理部１０５は、例えば、常に動作するのではなく、指示を受けた場合にのみ動作する。
【０１８９】
以上のように、本実施の形態では、置換対象のテロップ領域を特定する処理は、システム制御部３１０１により行われ、図２２のステップＳ２５０１は、システム制御部３１０１により実行される。
【０１９０】
上記のようなシステム制御部３１０１は、実施の形態８に係る映像処理装置に適用されてもよい。以下、この場合について説明する。
【０１９１】
上記と同様に、速報音検出部２４０１およびテロップ検出部１０２は、検出結果をシステム制御部３１０１に通知する。
【０１９２】
テロップチェンジ検出部１０３は、その検出結果をシステム制御部３１０１に通知する。具体的には、テロップチェンジ検出部１０３は、テロップの出現を検出した場合に、テロップの出現が検出されたことをシステム制御部３１０１に通知する。例えば、テロップチェンジ検出部１０３は、テロップの出現を検出すると、システム制御部３１０１に対し、その時点で通知を行うか、または、テロップの出現が検出された時刻やタイムスタンプなど、テロップの出現が検出されたタイミングを示す情報を通知する。また、テロップチェンジ検出部１０３は、テロップの消滅を検出した場合に、テロップが消滅したことをシステム制御部３１０１に通知してもよい。例えば、テロップチェンジ検出部１０３は、テロップの消滅を検出した場合、システム制御部３１０１に対し、その時点で通知を行うか、または、テロップの消滅が検出された時刻やタイムスタンプなど、テロップの消滅が検出されたタイミングを示す情報を通知する。
【０１９３】
システム制御部３１０１は、速報音検出部２４０１、テロップ検出部１０２、およびテロップチェンジ検出部１０３からの検出結果に基づき、速報音の検出から所定時間ＴＰ１以内にテロップの出現が検出された場合に、当該速報音の検出から所定時間ＴＰ２以内に検出されたテロップ領域が選択的に置き換えられるように、映像処理部１０５を制御する。例えば、システム制御部３１０１は、速報音検出部２４０１から速報音を検出した旨の通知を受けると、タイマーなどを用いて速報音が検出されてからの経過時間の計測を開始する。そして、システム制御部３１０１は、テロップチェンジ検出部１０３からテロップの出現を検出した旨の通知を受けると、タイマーの計測時間に基づき、当該テロップの出現が速報音の検出から所定時間ＴＰ１以内に検出されたものか否かを判断し、所定時間ＴＰ１以内に検出されたものであれば、当該テロップの出現を速報テロップの出現と判断する。また、システム制御部３１０１は、テロップ検出部１０２からテロップ領域が検出された旨の通知を受けると、タイマーの計測時間に基づき、当該テロップ領域が速報テロップの出現に対応する速報音の検出から所定時間ＴＰ２以内に検出されたものか否かを判断し、所定時間ＴＰ２以内に検出されたものである場合、映像処理部１０５に対してテロップ領域の置き換えを指示する。
【０１９４】
以上のように、本態様では、置換対象のテロップ領域を特定する処理は、システム制御部３１０１により行われ、図２６のステップＳ２９０１〜２９０３は、システム制御部３１０１により実行される。
【０１９５】
また、上記のようなシステム制御部３１０１は、実施の形態９に係る映像処理装置に適用されてもよい。以下、この場合について説明する。
【０１９６】
上記と同様に、速報音検出部２４０１、テロップ検出部１０２、およびテロップチェンジ検出部１０３は、検出結果をシステム制御部３１０１に通知する。
【０１９７】
システム制御部３１０１は、速報音検出部２４０１、テロップ検出部１０２、およびテロップチェンジ検出部１０３からの検出結果に基づき、速報音の検出から所定時間以内にテロップの出現が検出された場合に、当該テロップを含むテロップ領域が選択的に置き換えられるように、映像処理部１０５を制御する。例えば、システム制御部３１０１は、速報音検出部２４０１から速報音を検出した旨の通知を受けると、タイマーなどを用いて速報音が検出されてからの経過時間の計測を開始する。そして、システム制御部３１０１は、テロップチェンジ検出部１０３からテロップの出現を検出した旨の通知を受けると、タイマーの計測時間に基づき、当該テロップの出現が速報音の検出から所定時間以内に検出されたものか否かを判断し、所定時間以内に検出されたものであれば、当該テロップの出現を速報テロップの出現と判断し、当該テロップを記録する。また、システム制御部３１０１は、テロップ検出部１０２からテロップ領域が検出された旨の通知を受けると、当該テロップ領域が、記録されたテロップと同一のテロップを含むか否かを判断し、同一のテロップを含む場合、映像処理部１０５に対してテロップ領域の置き換えを指示する。また、システム制御部３１０１は、テロップチェンジ検出部１０３からテロップの消滅を検出した旨の通知を受けると、テロップの記録をクリアする。
【０１９８】
以上のように、本態様では、置換対象のテロップ領域を特定する処理は、システム制御部３１０１により行われ、図２７のステップＳ３００１〜３００４は、システム制御部３１０１により実行される。
【０１９９】
なお、上記の説明では、タイマーにより経過時間を計測する態様を例示したが、システム制御部３１０１は、速報音が検出された時刻またはタイムスタンプを記録しておき、テロップ出現やテロップ領域が検出された時刻またはタイムスタンプと、記録された時刻またはタイムスタンプとの差分から経過時間を計測してもよい。
【０２００】
また、上記の説明では、映像記録部１０１、テロップ検出部１０２、テロップチェンジ検出部１０３、および記録制御部１０４が常に動作している態様を例示したが、映像記録部１０１、テロップ検出部１０２、テロップチェンジ検出部１０３、および記録制御部１０４の全部または一部は、速報音検出部２４０１により速報音が検出されてから所定時間以内の期間のみ機能するように、システム制御部３１０１により制御されてもよい。例えば、テロップ検出部１０２は、速報音が検出されてから所定時間以内の映像フレームからテロップ領域を検出するように制御されてもよい。これにより、テロップ検出等の処理の回数を減らすことができ、システムの処理負荷を軽減することができる。
【０２０１】
実施の形態１１．
図２９は、実施の形態１１に係る映像表示装置３２００の構成を示す図である。この映像表示装置３２００は、映像信号および音声信号を処理して出力する装置であり、例えばテレビジョン放送の映像信号および音声信号を受信して、映像表示および音声出力を行うテレビジョン装置である。図２９において、映像表示装置３２００は、受信部３２０１、映像処理装置３２０２、および再生部３２０３を有する。なお、再生部３２０３は、映像表示装置３２００の外部に構成されてもよい。
【０２０２】
受信部３２０１は、デジタルテレビジョン放送の映像信号および音声信号など、放送された映像信号および音声信号を受信する。
【０２０３】
映像処理装置３２０２は、上記実施の形態１〜１０のいずれかに係る映像処理装置であり、受信部３２０１により受信された映像信号および音声信号を受け、当該映像信号に対してテロップ置換処理を行い、出力映像信号と出力音声信号とを出力する。映像処理装置３２０２は、実施の形態１〜４のようにテロップ置換処理を行ってもよいし、実施の形態５〜１０のように緊急警報放送信号、データ放送信号に含まれる情報、または音声信号に含まれる速報音に基づいて選択的にテロップ置換処理を行ってもよい。
【０２０４】
再生部３２０３は、映像処理装置３２０２から出力される出力映像信号および出力音声信号を再生する。例えば、再生部３２０３は、出力映像信号および出力音声信号に基づき、映像表示および音声出力を行う。
【０２０５】
なお、実施の形態７で述べたように、映像処理装置３２０２には音声信号処理部２４０２が設けられており、音声信号に対しては、速報音の音量を増減する処理や、映像とのタイミングを合わせるための遅延処理（リップシンク）が行われる場合もある。
【０２０６】
実施の形態１２．
図３０は、実施の形態１２に係る映像記録装置３３００の構成を示す図である。この映像記録装置３３００は、映像信号と音声信号とを処理して記録する装置であり、例えばテレビジョン放送の映像信号および音声信号を受信して記録するビデオレコーダである。図３０において、映像記録装置３３００は、受信部３３０１、映像処理装置３３０２、および記録部３３０３を有する。なお、記録部３３０３は、映像記録装置３３００の外部に構成されてもよい。
【０２０７】
受信部３３０１は、デジタルテレビジョン放送の映像信号および音声信号など、放送された映像信号および音声信号を受信する。
【０２０８】
映像処理装置３３０２は、上記実施の形態１〜１０のいずれかに係る映像処理装置であり、受信部３３０１により受信された映像信号および音声信号を受け、当該映像信号に対してテロップ置換処理を行い、出力映像信号と出力音声信号とを出力する。映像処理装置３２０２は、実施の形態１〜４のようにテロップ置換処理を行ってもよいし、実施の形態５〜１０のように緊急警報放送信号、データ放送信号に含まれる情報、または音声信号に含まれる速報音に基づいて選択的にテロップ置換処理を行ってもよい。
【０２０９】
記録部３３０３は、映像処理装置３３０２から出力される出力映像信号および出力音声信号を、ハードディスクや光ディスク等の記録媒体に記録する。
【０２１０】
なお、実施の形態７で述べたように、映像処理装置３３０２には音声信号処理部２４０２が設けられており、音声信号に対しては、速報音の音量を増減する処理や、映像とのタイミングを合わせるための遅延処理（リップシンク）が行われる場合もある。
【０２１１】
また、映像記録装置３３００は、映像処理装置３３０２から出力される出力映像信号または記録部３３０３により記録された映像信号を表示する表示部や、映像処理装置３３０２から出力される出力音声信号または記録部３３０３により記録された音声信号を出力する出力部をさらに備える映像記録表示装置であってもよい。
【０２１２】
実施の形態１３．
図３１は、実施の形態１３に係る映像記録再生装置３４００の構成を示す図である。この映像記録再生装置３４００は、映像信号と音声信号とを処理して記録し、再生する装置であり、例えばテレビジョン放送の映像信号および音声信号を受信して記録、再生するビデオレコーダである。図３１において、映像記録再生装置３４００は、受信部３４０１、記録部３４０２、映像処理装置３４０３、および再生部３４０４を有する。なお、再生部３４０４は、映像記録再生装置３４００の外部に構成されてもよい。
【０２１３】
受信部３４０１は、デジタルテレビジョン放送の映像信号および音声信号など、放送された映像信号および音声信号を受信する。
【０２１４】
記録部３４０２は、受信部３４０１から出力される出力映像信号および出力音声信号を、ハードディスクや光ディスク等の記録媒体に記録する。
【０２１５】
映像処理装置３４０３は、上記実施の形態１〜１０のいずれかに係る映像処理装置であり、記録部３４０２により記録され、記録媒体から読み出された映像信号および音声信号を受け、当該映像信号に対してテロップ置換処理を行い、出力映像信号と出力音声信号とを出力する。映像処理装置３２０２は、実施の形態１〜４のようにテロップ置換処理を行ってもよいし、実施の形態５〜１０のように緊急警報放送信号、データ放送信号に含まれる情報、または音声信号に含まれる速報音に基づいて選択的にテロップ置換処理を行ってもよい。
【０２１６】
再生部３４０４は、映像処理装置３４０３から出力される出力映像信号および出力音声信号を再生する。例えば、再生部３４０４は、出力映像信号および出力音声信号に基づき、映像表示および音声出力を行う。
【０２１７】
なお、実施の形態７で述べたように、映像処理装置３４０３には音声信号処理部２４０２が設けられており、音声信号に対しては、速報音の音量を増減する処理や、映像とのタイミングを合わせるための遅延処理（リップシンク）が行われる場合もある。
【０２１８】
以上説明した実施の形態１〜１３において、映像処理装置の機能は、電子回路などのハードウェア資源のみにより実現されてもよいし、ハードウェア資源とソフトウェアとの協働により実現されてもよい。ハードウェア資源とソフトウェアとの協働により実現される場合、映像処理装置の機能は、例えば映像処理プログラムがコンピュータにより実行されることによって実現される。より具体的には、映像処理装置の機能は、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等の記録媒体に記録された映像処理プログラムが主記憶装置に読み出されて中央処理装置（ＣＰＵ：Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）により実行されることによって実現される。映像処理プログラムは、光ディスク等のコンピュータ読み取り可能な記録媒体に記録されて提供されてもよいし、インターネット等の通信回線を介して提供されてもよい。
【０２１９】
なお、本発明は、上記実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の態様で実施することができる。
【０２２０】
例えば、実施の形態１〜１３において、テロップ検出部１０２とテロップチェンジ検出部１０３とを１つにして、テロップ／テロップチェンジ検出部を設けてもよい。図３２には、テロップ検出部１０２およびテロップチェンジ検出部１０３の代わりに、テロップ／テロップチェンジ検出部３５０１を備える映像処理装置３５００の構成が例示されている。テロップ／テロップチェンジ検出部３５０１は、テロップ検出部１０２の機能とテロップチェンジ検出部１０３の機能とを合わせた機能を有する。
【０２２１】
また、上記実施の形態１〜１３のそれぞれの構成は、上記以外の態様で適宜組み合わされてもよい。例えば、実施の形態７〜１０の構成は、実施の形態２〜６に係る映像処理装置に適用されてもよい。すなわち、実施の形態２〜６に係る映像処理装置は、実施の形態７〜１０のように、速報音を検出し、この検出結果に基づいて、速報音を伴うテロップのテロップ領域を選択的に置き換えるように構成されてもよい。また、実施の形態２〜６に係る映像処理装置は、実施の形態７〜１０のように、速報音の検出結果に基づいて、入力音声信号に対して速報音の音量を低減する処理を行うように構成されてもよい。実施の形態４に対して実施の形態１０の特徴が追加された構成では、文字認識部１８０１は、テロップ有りと判定した場合、判定結果をテロップ検出部１０２に送る代わりに、システム制御部３１０１に対し、テロップの検出時刻が速報音の検出から所定時間以内であるかを問い合わせ、所定時間以内である場合にのみ、あらためてテロップ有りと判定して、判定結果をテロップ検出部１０２に送ってもよい。
【０２２２】
また、上記実施の形態１〜１３の映像処理部１０５は、テロップが出現する前の映像フレームから得られる画像に置き換える置換方法の代わりに、置換対象の映像フレームのテロップ領域の周辺画素から得られる画像に置き換える置換方法を使用してもよい。例えば、映像処理部１０５は、図５および図８のテロップＴ１の補間に、テロップ領域の周辺画素から得られる画像に置き換える置換方法を使用してもよい。
【０２２３】
また、上記の説明では、順次入力される一連の映像フレームを順次処理する構成を主に例示したが、映像処理装置は、一連の映像フレームを必ずしも順次またはフレームの順番通りに処理する必要はない。例えば、映像処理装置は、記録媒体に記録された映像信号を処理してもよく、この場合、様々な処理手順で処理することができる。また、実施の形態７〜１０では、順次入力される映像信号および音声信号を順次処理する構成を主に例示したが、実施の形態７〜１０に係る映像処理装置は、映像信号および音声信号を必ずしも順次またはフレームの順番通りに処理する必要はない。例えば、映像処理装置は、記録媒体に記録された映像信号および音声信号を処理してもよく、この場合、様々な処理手順で処理することができる。
【０２２４】
また、実施の形態７〜１０では、速報音が検出された時点近傍の所定期間、第１の所定期間、および第２の所定期間として、速報音が検出されてから所定時間以内の期間（すなわち速報音検出以降の期間）を例示したが、これらの所定期間は、速報音が検出される前の期間を含んでもよく、例えば、速報音の検出時刻の前後所定時間以内の期間であってもよい。また、実施の形態７〜１０における各所定期間は、予め固定的に定められた期間でもよいし、予め定められた規則に基づいて映像処理装置によって可変的に決められてもよい。
【符号の説明】
【０２２５】
１００，９００，１６００，１８００，１９００，２０００，２４００，３１００，３２０２，３３０２，３４０３  映像処理装置、  １０１  映像記録部、  １０２  テロップ検出部、  １０３  テロップチェンジ検出部、  １０４  記録制御部、  １０５  映像処理部、  １６０１  シーンチェンジ検出部、  １８０１  文字認識部、  ２００１  データ放送解析部、  ３２００  映像表示装置、  ３２０１，３３０１，３４０１  受信部、  ３３００  映像記録装置、  ３３０３，３４０２  記録部、  ３４００  映像記録再生装置、  ２４０１  速報音検出部、  ２４０２  音声信号処理部、  ３１０１  システム制御部、  ３２０３，３４０４  再生部、  ３５０１  テロップ／テロップチェンジ検出部。
【図１】
2013179563.tif 000004
【図２】
2013179563.tif 000005
【図３】
2013179563.tif 000006
【図４】
2013179563.tif 000007
【図５】
2013179563.tif 000008
【図６】
2013179563.tif 000009
【図７】
2013179563.tif 000010
【図８】
2013179563.tif 000011
【図９】
2013179563.tif 000012
【図１０】
2013179563.tif 000013
【図１１】
2013179563.tif 000014
【図１２】
2013179563.tif 000015
【図１３】
2013179563.tif 000016
【図１４】
2013179563.tif 000017
【図１５】
2013179563.tif 000018
【図１６】
2013179563.tif 000019
【図１７】
2013179563.tif 000020
【図１８】
2013179563.tif 000021
【図１９】
2013179563.tif 000022
【図２０】
2013179563.tif 000023
【図２１】
2013179563.tif 000024
【図２２】
2013179563.tif 000025
【図２３】
2013179563.tif 000026
【図２４】
2013179563.tif 000027
【図２５】
2013179563.tif 000028
【図２６】
2013179563.tif 000029
【図２７】
2013179563.tif 000030
【図２８】
2013179563.tif 000031
【図２９】
2013179563.tif 000032
【図３０】
2013179563.tif 000033
【図３１】
2013179563.tif 000034
【図３２】
2013179563.tif 000035