(57)【要約】【課題】少ない参照フレームでＮ−Ｍプルダウン画像上にオーバーレイされたテロップの領域と動きを検出するテロップ画像検出方法を提供することを目的とする。【解決手段】所定のフレームレートの原画像をＮ−Ｍプルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換したプルダウン画像上にテロップ画像がオーバーレイされた合成画像からテロップ画像を検出する方法であって、合成画像から原画像に相当する位相の画像である抽出画像を抽出する抽出ステップと、抽出画像の動きベクトルを検出する動きベクトル検出ステップと、検出された動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出ステップと、プルダウン画像が有する特徴を利用して、推定テロップベクトルを有する画像の領域がテロップ画像の領域であるか否かを判定する判定ステップとを含む。【選択図】図１６
2011082932.tif 000002
【特許請求の範囲】
【請求項１】
所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出するテロップ画像検出方法であって、
前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する抽出画像抽出ステップと、
前記抽出画像の動きベクトルを検出する動きベクトル検出ステップと、
検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出ステップと、
前記プルダウン画像が有する特徴を利用して、検出された前記推定テロップベクトルを有する画像の領域がテロップ画像の領域であるか否かを判定する判定ステップとを含む
テロップ画像検出方法。
【請求項２】
前記所定のフレームレートは２４Ｈｚであり、
前記Ｎ−Ｍプルダウン処理は２−３プルダウン処理であり、
前記所定のフレームレートよりも高いフレームレートは、６０Ｈｚである
請求項１に記載のテロップ画像検出方法。
【請求項３】
前記判定ステップは、
前記プルダウン画像が有する特徴である周期性を利用することにより、前記推定テロップベクトルを前記抽出画像の位相に応じて変換した変換ベクトルを生成する動きベクトル変換ステップを含み、
前記動きベクトル変換ステップで生成された前記変換ベクトルを用いて平行移動された前記推定テロップベクトルを有する画像の領域と、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域とを比較することにより、前記推定テロップベクトルを有する画像の領域がテロップ画像領域であるか否かを判定する
請求項１または２に記載のテロップ画像検出方法。
【請求項４】
前記判定ステップは、さらに、
前記推定テロップベクトルを有する画像の領域と、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域との画素差分を基に一致度を検出する一致度検出ステップと、
前記一致度検出ステップにおいて検出された各画素の一致度が所定の値以上であるときに、前記推定テロップベクトルを有する画像の領域がテロップ画像領域であると判定する一致度判定ステップとを含む
請求項３に記載のテロップ画像検出方法。
【請求項５】
前記判定ステップは、
前記変換ベクトルと、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域の動きベクトルとの差分が所定の値より小さい場合に、前記推定テロップベクトルを有する画像の領域をテロップ画像領域と判定する
請求項３に記載のテロップ画像検出方法。
【請求項６】
前記判定ステップは、
前記推定テロップベクトルの時間方向の周期的な繰り返しを検出する繰り返し検出ステップと、
前記抽出画像の位相に応じた前記繰り返しが前記特徴を示す特定のパターンを繰り返している場合、前記推定テロップベクトルを有する画像の領域をテロップ画像領域であると判定する繰り返し判定ステップとを含む
請求項１または２に記載のテロップ画像検出方法。
【請求項７】
所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出するテロップ画像検出装置であって、
前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する抽出画像抽出部と、
前記抽出画像の動きベクトルを検出する動きベクトル検出部と、
検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出部と、
前記プルダウン画像が有する特徴を利用して、検出された前記推定テロップベクトルを有する画像の領域がテロップ画像領域であるか否かを判定する判定部とを備える
テロップ画像検出装置。
【請求項８】
前記所定のフレームレートは２４Ｈｚであり、
前記Ｎ−Ｍプルダウン処理は２−３プルダウン処理であり、
前記所定のフレームレートよりも高いフレームレートは、６０Ｈｚである
請求項７に記載のテロップ画像検出装置。
【請求項９】
前記判定部は、
前記プルダウン画像が有する特徴である周期性を利用することにより、前記推定テロップベクトルを前記抽出画像の位相に応じて変換した変換ベクトルを生成する動きベクトル変換部を備え、
前記動きベクトル変換部で生成された前記変換ベクトルを用いて平行移動された前記推定テロップベクトルを有する画像の領域と、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域とを比較することにより、前記推定テロップベクトルを有する画像の領域がテロップ画像領域であるか否かを判定する
請求項７または８に記載のテロップ画像検出装置。
【請求項１０】
前記判定部は、さらに、
前記推定テロップベクトルを有する画像の領域と、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域との画素差分を基に一致度を検出する一致度検出部と、
前記一致度検出ステップにおいて検出された各画素の一致度が所定の値以上であるときに、前記推定テロップベクトルを有する画像の領域がテロップ画像領域であると判定する一致度判定部とを備える
請求項９に記載のテロップ画像検出装置。
【請求項１１】
前記判定部は、
前記変換ベクトルと、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域の動きベクトルの差分が所定の値より小さい場合に、前記推定テロップベクトルを有する画像の領域をテロップ画像領域と判定する
請求項９に記載のテロップ画像検出装置。
【請求項１２】
前記判定部は、
前記推定テロップベクトルの時間方向の周期的な繰り返しを検出する繰り返し検出部と、
前記抽出画像の位相に応じた前記繰り返しが前記特徴を示す特定のパターンを繰り返している場合、前記推定テロップベクトルを有する画像の領域をテロップ画像領域であると判定する繰り返し判定部とを備える
請求項７または８に記載のテロップ画像検出装置。
【請求項１３】
請求項７〜１２のいずれか１項に記載のテロップ画像検出装置を備える
テレビ受信機。
【請求項１４】
所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出する集積回路であって、
前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する抽出画像抽出部と、
前記抽出画像の動きベクトルを検出する動きベクトル検出部と、
検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出部と、
前記プルダウン画像が有する特徴を利用して、検出された前記推定テロップベクトルを有する画像の領域がテロップ画像領域であるか否かを判定する判定部とを備える
集積回路。
【請求項１５】
所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出するためのプログラムであって、
前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する抽出画像抽出ステップと、
前記抽出画像の動きベクトルを検出する動きベクトル検出ステップと、
検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出ステップと、
前記プルダウン画像が有する特徴を利用して、検出された前記推定テロップベクトルを有する画像の領域がテロップ画像の領域であるか否かを判定する判定ステップと
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像中のテロップを検出するテロップ画像検出方法およびテロップ画像検出装置に関する。
【背景技術】
【０００２】
従来、液晶ディスプレイ等に動画像を表示する際、動画ボケを低減するため、または、動きの滑らかさを高めるために、動画像の動きが動きベクトルとして解析されて、動き補償を用いたフレームレート変換が行われている。
【０００３】
例えばＮＴＳＣ規格で２４Ｈｚのフィルム素材を再生する際、２４Ｈｚの画像を３枚、２枚と連続して表示する３−２プルダウンを行うことで、６０Ｈｚにして再生される。３−２プルダウンされた動画像はフレーム（画像）の変化の時間間隔が２４Ｈｚの原画像と比べて不均一になるため、動きに不自然さが存在する。そのため、さらにフレームレート変換を行い、例えば１２０Ｈｚに変換して再生することにより、動画像の動きを滑らかに表示することができる。
【０００４】
通常、３−２プルダウンされた動画像をフレームレート変換する際は、動きを検出するために、３−２プルダウン画像から、２４Ｈｚの原画像に相当するフレームを抽出し、それらフレーム間での動きを検出する。図１を用いてその概要を説明する。
【０００５】
図１は、３−２プルダウンされた動画像をフレーム変換する一般的な方法を説明するための図である。図１では、２４Ｈｚの原画像が３−２プルダウンされた６０Ｈｚの動画像であるプルダウン画像１０１が、１２０Ｈｚの動画像にフレーム変換される様子を示している。ここで、図中のフレーム内に斜線が施された丸はフレーム中で動きに着目している物体を示している。
【０００６】
図１に示すように、プルダウン画像１０１から、２４Ｈｚの原画像に相当するフレームである原画像相当フレーム１０２を抽出して動きを検出する。具体的には、原画像相当フレーム１０２では、プルダウン画像１０１の時間的に１〜７番目のフレームのうち、１、４および６番目のフレーム１１１、１１２および１１３が抽出されて動きが検出される。
【０００７】
そして、抽出されたそれらのフレーム１１１、１１２および１１３に動き補償を用いてフレームレート変換が行われ、動きが滑らかな１２０Ｈｚの動画像であるフレームレート変換後画像１０３が表示される。
【０００８】
しかしながら、テレビでの放送等では、２４Ｈｚの画像が３−２プルダウンされて６０Ｈｚに変換されている３−２プルダウン画像上に６０Ｈｚで移動するテロップがオーバーレイされているものがある。その場合、このようにテロップがオーバーレイされている画像に対して上記のようにフレームを抽出して抽出したフレーム間の動きを求めると、６０Ｈｚで均一な動きで移動するテロップを、不均等に２４Ｈｚで間引いたものから動きを検出してしまうことになる。すなわち、均一な動きが検出されない。そのため、その動きを用いてフレームレート変換を行うと、フレーム変換後の画像にオーバーレイされているテロップには、時間方向に不自然な動きが発生してしまう。その様子を、図２を用いて説明する。
【０００９】
図２および図３は、３−２プルダウンされた動画像をフレーム変換する場合の課題を説明するための図である。ここで、図２中のフレーム内に斜線が施された丸はテロップ（文字）を示している。図２では、図１と同様に、６０Ｈｚの画像２０１を３−２プルダウンされた画像と、フレーム２０２を２４Ｈｚの原画像に相当するフレームであるとしている。
【００１０】
図２に示すように、フレーム２０２では、画像２０１の時間的に１〜７番目のフレームのうち、１、４および６番目のフレーム２１１、２１２および２１３が抽出されて、抽出されたフレーム間での動きが検出される。そして、抽出されたそれらのフレーム２１１、２１２および２１３に動き補償を用いてフレームレート変換が行われ、１２０Ｈｚにフレームレート変換された画像２０３が表示される。
【００１１】
６０Ｈｚの画像２０１では、例えば１〜６番目のフレーム間におけるテロップを示す斜線が施された丸の動きベクトル２２１は同じである。すなわち、テロップは等速で移動している。それに対して、フレームレート変換された１２０Ｈｚの画像２０３では、テロップを示す斜線が施された丸の動きは不連続である。これは、画像２０１から抽出されたフレーム２１１−２１２間、フレーム２１２−２１３間、およびフレーム２１１−２１３間でそれぞれテロップを示す斜線が施された丸（物体）の動きベクトルが異なるためである。すなわち、フレームレート変換された１２０Ｈｚの画像２０３では、例えば、あるべき等速を示す動きベクトル２２４に対して、異なる動きベクトル２２２、２２３を示してしまい、テロップの動きが等速でなく不連続に見えてしまう。
【００１２】
つまり、図３（ａ）に示すように、６０Ｈｚの画像２０１では、例えば１〜７番目のフレーム間においてテロップを示す文字（図中、「文字」と記載）は６０Ｈｚの画像２０１にオーバーレイされているため、等速に動いている。一方、物体を示す斜線が施された丸は、３−２プルダウンの動きをしている。そのため、図３（ｂ）に示すように、６０Ｈｚの画像２０１を３−２プルダウンされた画像として、上記のように、１２０Ｈｚの画像２０３にフレームレート変換する場合、物体を示す斜線が施された丸は、動きが滑らかな画像２０３に変換されるものの、テロップを示す文字はジャダー（不連続な動き）が発生してしまう。
【００１３】
このような課題に対して特許文献１が開示されている。この特許文献１では、ブロックごとにプルダウン映像であるか否かを判定し、動き補償方法を切り替えることにより、テロップを示す文字はジャダーを防止する。
【先行技術文献】
【特許文献】
【００１４】
【特許文献１】特開２００５−３１８６１２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１５】
しかしながら、上記特許文献１では、ブロックごとにプルダウン検出処理が必要であり、フレーム単位でのプルダウン検出に比べ、回路規模が大きくなってしまう。例えば、上記特許文献１では、ブロックごとに動き検出および動き補償を切り替えるため、現在のフレームと少なくとも２枚以上の過去フレーム画像とが必要となり、実装されるメモリが大きくなってしまう。
【００１６】
そこで、本発明は、このような状況に鑑みてなされたものであり、フレーム単位でのプルダウン検出方法を用いて、少ない参照フレームでＮ−Ｍ（ＮとＭとは互いに異なる整数）プルダウン画像にオーバーレイされたテロップの領域と動きとを検出するテロップ画像検出方法およびテロップ画像検出装置を提供することを目的とする。
【課題を解決するための手段】
【００１７】
上記目的を達成するために、本発明に係るテロップ検出方法は、所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出するテロップ画像検出方法であって、前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する抽出画像抽出ステップと、前記抽出画像の動きベクトルを検出する動きベクトル検出ステップと、検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出ステップと、前記プルダウン画像が有する特徴を利用して、検出された前記推定テロップベクトルを有する画像の領域がテロップ画像の領域であるか否かを判定する判定ステップとを含む。
【００１８】
これにより、プルダウン画像の特徴を利用することにより、少ない参照フレームでＮ−Ｍプルダウン画像にオーバーレイされたテロップの領域と動きとを検出することができる。
【００１９】
それにより、フレーム単位でのプルダウン検出方法を用いて、少ない参照フレームでＮ−Ｍプルダウン画像にオーバーレイされたテロップの領域と動きとを検出するテロップ画像検出方法を実現することができる。
【００２０】
このとき、前記所定のフレームレートは２４Ｈｚであり、前記Ｎ−Ｍプルダウン処理は２−３プルダウン処理であり、前記所定のフレームレートよりも高いフレームレートは、６０Ｈｚであってもよい。
【００２１】
また、前記判定ステップは、前記プルダウン画像が有する特徴である周期性を利用することにより、前記推定テロップベクトルを前記抽出画像の位相に応じて変換した変換ベクトルを生成する動きベクトル変換ステップを含み、前記動きベクトル変換ステップで生成された前記変換ベクトルを用いて平行移動された前記推定テロップベクトルを有する画像の領域と、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域とを比較することにより、前記推定テロップベクトルを有する画像の領域がテロップ画像領域であるか否かを判定するとしてもよい。
【００２２】
ここで、前記判定ステップは、さらに、前記推定テロップベクトルを有する画像の領域と、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域との画素差分を基に一致度を検出する一致度検出ステップと、前記一致度検出ステップにおいて検出された各画素の一致度が所定の値以上であるときに、前記推定テロップベクトルを有する画像の領域がテロップ画像領域であると判定する一致度判定ステップとを含むとしてもよい。また、前記判定ステップは、前記変換ベクトルと、前記抽出画像の時間的に１つ前の抽出画像におけるテロップ画像領域の動きベクトルとの差分が所定の値より小さい場合に、前記推定テロップベクトルを有する画像の領域をテロップ画像領域と判定するとしてもよい。
【００２３】
また、前記判定ステップは、前記推定テロップベクトルの時間方向の周期的な繰り返しを検出する繰り返し検出ステップと、前記抽出画像の位相に応じた前記繰り返しが前記特徴を示す特定のパターンを繰り返している場合、前記推定テロップベクトルを有する画像の領域をテロップ画像領域であると判定する繰り返し判定ステップとを含むとしてもよい。
【００２４】
また、上記目的を達成するために、本発明に係るテロップ検出装置は、所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出するテロップ画像検出装置であって、前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する抽出画像抽出部と、前記抽出画像の動きベクトルを検出する動きベクトル検出部と、検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出部と、前記プルダウン画像が有する特徴を利用して、検出された前記推定テロップベクトルを有する画像の領域がテロップ画像領域であるか否かを判定する判定部とを備える。
【００２５】
この構成により、フレーム単位でのプルダウン検出方法を用いて、少ない参照フレームでＮ−Ｍプルダウン画像にオーバーレイされたテロップの領域と動きとを検出するテロップ画像検出装置を実現することができる。
【００２６】
なお、本発明は、装置として実現するだけでなく、このような装置が備える処理手段を備える集積回路として実現したり、その装置を構成する処理手段をステップとする方法として実現したり、それらステップをコンピュータに実行させるプログラムとして実現したり、そのプログラムを示す情報、データまたは信号として実現したりすることもできる。そして、それらプログラム、情報、データおよび信号は、ＣＤ−ＲＯＭ等の記録媒体やインターネット等の通信媒体を介して配信してもよい。
【発明の効果】
【００２７】
本発明によれば、フレーム単位でのプルダウン検出方法を用いて、少ない参照フレームでＮ−Ｍプルダウン画像にオーバーレイされたテロップの領域と動きとを検出するテロップ画像検出方法およびテロップ画像検出装置を実現することができる。それにより、例えばプルダウン画像中にオーバーレイされた６０Ｈｚのテロップ領域及びその動きベクトルを少ない参照フレームで簡単に検出することができる。
【図面の簡単な説明】
【００２８】
【図１】３−２プルダウンされた動画像をフレーム変換する一般的な方法を説明するための図である。
【図２】３−２プルダウンされた動画像をフレーム変換する場合の課題を説明するための図である。
【図３】３−２プルダウンされた動画像をフレーム変換する場合の課題を説明するための図である。
【図４】本実施の形態におけるテロップ検出装置の構成を示すブロック図である。
【図５】プルダウン状態信号を説明するための図である。
【図６】有効フレーム抽出部がプルダウン状態信号に基づきフレームを抽出する場合の例を説明するための図である。
【図７】動きベクトル検出部が動きベクトルを検出する方法を説明するための図である。
【図８】推定テロップベクトル検出部が推定テロップベクトルを検出する方法を説明するための図である。
【図９】推定テロップベクトル検出部が推定テロップベクトルを検出する方法を説明するための図である。
【図１０】推定テロップベクトル検出部が推定テロップベクトルを検出する方法を説明するための図である。
【図１１】テロップベクトル検出部が推定テロップベクトルを検出する方法を説明するための図である。
【図１２】テロップの動きベクトルが周期性を有することを説明するための図である。
【図１３Ａ】テロップベクトル変換部のテロップ領域判定方法を説明するための図である。
【図１３Ｂ】テロップベクトル変換部のテロップ領域判定方法を説明するための図である。
【図１４】テロップベクトル変換部のテロップ領域判定方法を説明するための図である。
【図１５】テロップベクトル変換部の別のテロップ領域判定方法を説明するための図である。
【図１６】テロップ検出装置の処理の流れを説明するためのフローチャートである。
【図１７】本実施の形態２におけるテロップ検出装置の構成を示すブロック図である。
【図１８】テロップ領域判定部がテロップの動きベクトルの性質を用いて、テロップ領域を判定する方法を説明するための図である。
【図１９】テロップ画像検出方法およびテロップ画像検出装置が用いられる液晶ディスプレイ等のＴＶ受信機を示す図である。
【発明を実施するための形態】
【００２９】
以下、本発明の実施の形態について図を用いて説明する。
【００３０】
（実施の形態１）
図４は、本実施の形態１におけるテロップ検出装置の構成を示すブロック図である。
【００３１】
図４に示すテロップ検出装置３００は、所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出するテロップ検出装置である。テロップ検出装置３００は、有効フレーム抽出部３０１、キャッシュメモリ３０２、動きベクトル検出部３０３、推定テロップベクトル検出部３０４、テロップベクトル変換部３０５およびテロップ領域判定部３０６を備える。以下、Ｎ−Ｍを３−２として説明する。
【００３２】
有効フレーム抽出部３０１は、本発明に係る抽出画像抽出部に相当し、前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する。具体的には、有効フレーム抽出部３０１は、入力画像がプルダウン画像の場合、前段の処理から入力されるプルダウン状態信号の値に基づき、プルダウン状態信号が有効フレームを示す場合は現フレームキャッシュ３０２２に保持している画像データを過去フレームキャッシュ３０２１に格納する。その後、有効フレーム抽出部３０１は、現フレームキャッシュ３０２２に有効フレームである入力画像を格納する。
【００３３】
ここで、プルダウン状態信号は、入力画像がプルダウン画像の場合、プルダウン画像の状態すなわちプルダウン画像の位相を示す信号である。このことを、図を用いて説明する。
【００３４】
図５は、プルダウン状態信号を説明するための図である。図６は、有効フレーム抽出部がプルダウン状態信号に基づきフレームを抽出する場合の例を説明するための図である。
【００３５】
図５（ａ）に示すように、入力画像がプルダウン画像ではなく、通常の６０Ｈｚの画像４０１であるとき、プルダウン状態信号は０の値を示す。一方、図５（ｂ）に示すように、入力画像が３−２プルダウンされたプルダウン画像４０２であるとき、プルダウン状態信号は、プルダウン画像の位相に応じた例えば１〜５の値を示す。そして、プルダウン状態信号が１、２、３または４、５の値を示すときにそれぞれ２４Ｈｚの原画像における同一のフレームを繰り返す。ただし、一般的にプルダウン検出を行う場合、同時に２−２プルダウンも検出する場合が多いが、本発明では、２−２プルダウンは考慮しないため説明を省略する。
【００３６】
また、有効フレーム抽出部３０１は、入力画像がプルダウン画像の場合、プルダウン画像の中で原画像のフレームが変化した瞬間のフレームを抽出する。
【００３７】
具体的には、有効フレーム抽出部３０１は、図６（ａ）および図６（ｂ）に示すように、６０Ｈｚのプルダウン画像５０１から、３−２プルダウンされたプルダウン画像の中で原画像のフレームがそれぞれ変化した瞬間のフレーム例えばプルダウン状態信号が１、４の値を示すフレーム５０２を入力画像から抽出する。そして、有効フレーム抽出部３０１は、現フレームキャッシュ３０２２のデータを過去フレームキャッシュ３０２１に格納し、抽出したフレーム（入力画像）を現フレームキャッシュ３０２２に格納する。
【００３８】
なお、有効フレーム抽出部３０１が抽出するフレームは上述の例に限られず、２４Ｈｚの原画像のフレームが変化した瞬間のフレームを抽出する組み合わせであればよい。例えば、プルダウン状態信号の値が（１、４）、（２、４）、（３、４）、（１、５）、（２、５）および（３、５）の６通りのいずれかの組み合わせを示すプルダウン画像のうちの２枚のフレームを抽出すればよい。
【００３９】
キャッシュメモリ３０２は、過去フレームキャッシュ３０２１と現フレームキャッシュ３０２２とを備え、有効フレーム抽出部３０１により格納された画像領域（典型的にはフレーム）が格納される。
【００４０】
過去フレームキャッシュ３０２１は、有効フレーム抽出部３０１が抽出し、キャッシュメモリ３０２に格納される画像（フレーム）のうちで過去のフレームが格納されるキャッシュメモリである。それに対して、現フレームキャッシュ３０２２は、有効フレーム抽出部３０１が抽出し、キャッシュメモリ３０２に格納される画像（フレーム）のうちで現在のフレームが格納されるキャッシュメモリである。
【００４１】
動きベクトル検出部３０３は、本発明に係る動きベクトル検出部に相当し、前記抽出画像の動きベクトルを検出する。具体的には、動きベクトル検出部３０３は、有効フレーム抽出部３０１により抽出された２枚の画像（フレーム）間で、現在のフレーム（現フレーム）から過去のフレーム（過去フレーム）への動きベクトルを検出する。
【００４２】
これを、図３および図７を用いて説明する。図７は、動きベクトル検出部が動きベクトルを検出する方法を説明するための図である。
【００４３】
動きベクトル検出部３０３は、動きベクトルを検出する際に、動きベクトル検出に必要な画像領域をキャッシュメモリ３０２から読み出し、一般的な動きベクトル検出方法、例えばブロックマッチング法等を用いて画素ごと、または、ブロックごとに動きベクトルを検出する。
【００４４】
例えば、動きベクトル検出部３０３は、過去フレームキャッシュ３０２１に保持されている過去フレーム６０２中の物体６０３が、現フレームキャッシュ３０２２に保持されている現フレーム６０１中で物体６０４へ移動したときの動きベクトルを検出する。すなわち、現フレーム６０１中の検出ブロック６０５と一致する過去フレーム６０２中のブロック６０６を指すベクトル６０７を動きベクトルとして検出する。ただし、動きベクトルの検出方法はブロックマッチング法に限らない。
【００４５】
推定テロップベクトル検出部３０４は、本発明に係る推定テロップベクトル検出部に相当し、検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する。具体的には、推定テロップベクトル検出部３０４は、動きベクトル検出部３０３により検出された動きベクトルから、テロップの動きベクトルと推定できる推定テロップベクトルを検出する。
【００４６】
これを、図を用いて説明する。図８〜図１１は、推定テロップベクトル検出部が推定テロップベクトルを検出する方法を説明するための図である。
【００４７】
図８では、水平に動くテロップ７０１が示されており、テロップ７０１は水平方向の矢印で示される動きベクトル７０２で動いている。この場合に、推定テロップベクトル検出部３０４は、テロップ７０１の動きベクトル７０２を検出する。
【００４８】
１つの方法として、推定テロップベクトル検出部３０４は、所定の幅を持った帯領域７０３ごとに、動きベクトル検出部３０３で検出された動きベクトルの平均値を計算する。そして、計算された動きベクトルの平均値の中で、水平方向の動きを示す動きベクトルを推定テロップベクトルとする。
【００４９】
別の方法として、推定テロップベクトル検出部３０４は、帯領域７０３ごとの動きベクトルのヒストグラムを作成し、水平方向の動きに集中している動きベクトルを推定テロップベクトルとして検出する。
【００５０】
図９は、帯領域ごとの動きベクトルのヒストグラムが作成された例を示す図である。ここで、横軸はベクトルの水平成分を示し、縦軸はベクトルの度数を示している。この場合、推定テロップベクトル検出部３０４は、図９に示すヒストグラムにおける、水平方向の動きの度数が最大となる階級のベクトルを推定テロップベクトルとして検出する。具体的には、階級８１１において、度数が最大で、ベクトルの値が８となるため、推定テロップベクトル検出部３０４は、推定テロップベクトルを８と検出する。
【００５１】
なお、推定テロップベクトル検出部３０４は、ノイズを抑えるために、度数が最大となる階級の周辺の階級のベクトルの値を加重平均したものを推定テロップベクトルとしてもよい。具体的には、図９に示すように、最大となる階級８１１の例えば前後１階級（階級８１２および階級８１３）を含むベクトルの値が７、８および９の３階級の加重平均を計算して得た動きベクトルの値を推定テロップベクトルとして決定してもよい。
【００５２】
また、検出される推定テロップベクトルの精度を高めるために、上述した動きベクトルの平均値の算出時または帯領域ごとの動きベクトルのヒストグラムの作成時に、テロップの画像上の特徴を用いて計算に用いるベクトルを限定してもよい。例えば、テロップの画像上の特徴としては、画像上のエッジが強い、色が単色である等の情報があり、これらの情報を用いて計算に用いるベクトルを限定してもよい。具体的には、図１０（ａ）に示すテロップの画像例のように、テロップの領域９０３を含む画像９０１において、エッジを検出する。その場合、図１０（ｂ）のエッジが検出されたエッジ検出画像９０２に示されるように、エッジ検出画像９０２上でテロップの領域９０４として強いエッジが検出されることにより、画像９０１上でテロップの領域９０３が精度よく検出される。
【００５３】
以上の方法を用いて、推定テロップベクトル検出部３０４は、動きベクトル検出部３０３が検出した動きベクトルから推定テロップベクトルを検出する。
【００５４】
なお、上記では、推定テロップの動きベクトルの方向は水平方向として検出することを説明したがそれに限らない。垂直方向または斜め方向であるとして検出してもよい。例えば、図１１に示す垂直方向に移動するテロップ画像１００１では、垂直方向に移動するベクトルをテロップ１００２の推定テロップベクトル１００３として検出する。その場合には、水平方向に幅を持った検出帯１００４ごとに上記と同様にして検出すればよい。
【００５５】
また、推定テロップベクトル検出部３０４が推定テロップベクトルを検出する方法は、これらの方法に限らない。動きベクトル検出部３０３が検出した動きベクトルから推定テロップベクトルを検出できればよい。
【００５６】
テロップベクトル変換部３０５は、本発明に係る動きベクトル変換部に相当し、前記プルダウン画像が有する特徴である周期性を利用することにより、前記推定テロップベクトルを前記抽出画像の位相に応じて変換した変換ベクトルを生成する。具体的には、テロップベクトル変換部３０５は、過去の推定テロップベクトルから、テロップの動きベクトルの特徴を用いて、現在のフレームにおけるテロップの動きベクトルを推定する。具体的には、テロップベクトル変換部３０５は、テロップの動きベクトルの特徴である周期性に基づき、過去に検出した推定テロップベクトルに所定の倍率をかけることにより、現在のフレームで推定されるテロップの動きベクトルに変換した変換テロップベクトルを得る。
【００５７】
図１２は、テロップの動きベクトルが周期性を有することを説明するための図である。
【００５８】
図１２において、テロップの動きは、６０Ｈｚで均等に動いているとする。３−２プルダウン画像の中から、２４Ｈｚの原画像に相当するフレームのみを抽出する場合、抽出されたフレームの間では、テロップの動きベクトルの大きさはある一定の割合で周期的に変化する。例えば、３−２プルダウン画像の中で、プルダウン状態信号が１、４の値を示すフレームを抽出する場合、テロップの動きベクトルの大きさは、図１２に示すとおり、２：３：２：３・・の比で繰り返す。すなわち、テロップの動きベクトルの大きさは、周期性を有する。
【００５９】
この性質を利用することにより、テロップの領域を簡単に検出することができる。つまり、テロップベクトル変換部３０５は、上記の性質を利用することにより、過去の推定テロップベクトルから、現在のフレームにおけるテロップの動きベクトルすなわち変換テロップベクトルを得ることができる。すなわち、テロップベクトル変換部３０５は、抽出したフレームのプルダウンの状態によって、１フレーム前に検出した推定テロップベクトルに所定の倍率をかけて、現在のフレームで推定されるテロップの動きベクトル（変換テロップベクトル）に変換する。以下、その具体例を説明する。
【００６０】
例えば、抽出したフレームが、プルダウン状態信号が（１、４）を示すフレームである場合、テロップの動きベクトルの大きさは、２：３：２：３・・を繰り返す周期性を有する。そのため、プルダウン状態信号が１のフレームでは１フレーム前（プルダウン状態信号が４のフレーム）に検出した推定テロップベクトルを２／３倍することにより、変換テロップベクトルを計算することができる。同様に、プルダウン状態信号が４のフレームでは１フレーム前（プルダウン状態信号が１のフレーム）に検出した推定テロップベクトルを３／２倍することにより、変換テロップベクトルを計算することができる。
【００６１】
また、例えば、抽出したフレームが、プルダウン状態信号が（２、４）を示すフレームである場合、テロップの動きベクトルの大きさは、３：２：３：２・・を繰り返す周期性を有する。そのため、プルダウン状態信号が２のフレームでは１フレーム前（プルダウン状態信号が４のフレーム）に検出した推定テロップベクトルを３／２倍することにより、変換テロップベクトルを計算することができる。同様に、プルダウン状態信号が４のフレームでは１フレーム前（プルダウン状態信号が２のフレーム）に検出した推定テロップベクトルを２／３倍することにより、変換テロップベクトルを計算することができる。
【００６２】
また、例えば、抽出したフレームが、プルダウン状態信号が（３、４）を示すフレームである場合、テロップの動きベクトルの大きさは、４：１：４：１・・を繰り返す周期性を有する。そのため、プルダウン状態信号が３のフレームでは１フレーム前（プルダウン状態信号が４のフレーム）に検出した推定テロップベクトルを４倍することにより、変換テロップベクトルを計算することができる。同様に、プルダウン状態信号が４のフレームでは１フレーム前（プルダウン状態信号が３のフレーム）に検出した推定テロップベクトルを１／４倍することにより、変換テロップベクトルを計算することができる。
【００６３】
また、例えば、抽出したフレームが、プルダウン状態信号が（１、５）を示すフレームである場合、テロップの動きベクトルの大きさは、１：４：１：４・・を繰り返す周期性を有する。そのため、プルダウン状態信号が１のフレームでは１フレーム前（プルダウン状態信号が５のフレーム）に検出した推定テロップベクトルを１／４倍することにより、変換テロップベクトルを計算することができる。同様に、プルダウン状態信号が５のフレームでは１フレーム前（プルダウン状態信号が１のフレーム）に検出した推定テロップベクトルを４倍することにより、変換テロップベクトルを計算することができる。
【００６４】
また、例えば、抽出したフレームが、プルダウン状態信号が（２、５）を示すフレームである場合は、テロップの動きベクトルの大きさは、２：３：２：３・・を繰り返す周期性を有する。そのため、プルダウン状態信号が２のフレームでは１フレーム前（プルダウン状態信号が５のフレーム）に検出した推定テロップベクトルを２／３倍することにより、変換テロップベクトルを計算することができる。同様に、プルダウン状態信号が５のフレームでは１フレーム前（プルダウン状態信号が２のフレーム）に検出した推定テロップベクトルを３／２倍することにより、変換テロップベクトルを計算することができる。
【００６５】
また、例えば、抽出したフレームが、プルダウン状態信号が（３、５）を示すフレームである場合は、テロップの動きベクトルの大きさは、３：２：３：２・・を繰り返す周期性を有する。そのため、プルダウン状態信号が３のフレームでは１フレーム前（プルダウン状態信号が５のフレーム）に検出した推定テロップベクトルを３／２倍することにより、変換テロップベクトルを計算することができる。同様に、プルダウン状態信号が５のフレームでは１フレーム前（プルダウン状態信号が３のフレーム）に検出した推定テロップベクトルを２／３倍することにより、変換テロップベクトルを計算することができる。
【００６６】
このようにして、テロップベクトル変換部３０５は、テロップの動きベクトルの性質を用いて、１フレーム前の推定テロップベクトルから変換テロップベクトルを計算する。
【００６７】
テロップ領域判定部３０６は、本発明に係る判定部に相当し、前記プルダウン画像が有する特徴を利用して、検出された前記推定テロップベクトルを有する画像の領域がテロップ画像の領域であるか否かを判定する。具体的には、テロップ領域判定部３０６は、テロップベクトル変換部３０５で変換された変換テロップベクトルを用いてテロップ領域を判定する。以下、このテロップ判定方法について、例を挙げて説明する。
【００６８】
図１３Ａ、図１３Ｂおよび図１４は、テロップベクトル変換部のテロップ領域判定方法を説明するための図である。
【００６９】
図１３Ａおよび図１３Ｂでは、現フレームの所定の領域の画像（文字およびテロップを含む）を変換テロップベクトルで平行移動したものと、過去フレームにおけるテロップの領域を含む画像とが一致する場合、その所定の領域の画像がテロップの領域を示す画像であると判定する。そのために、一致度を算出している。
【００７０】
具体的には、図１３Ａに示す現フレーム１２０１上のテロップ１２０３と、過去フレーム１２０２のテロップ１２０４の一致度を、変換テロップベクトルを用いて判定する。その際、図１３Ｂに示すように、現フレーム１２０１を変換テロップベクトル１２０５で平行移動した画像１２０６と過去フレーム１２０２の画像（テロップ）を比較し、一致度を判定する。
【００７１】
ここで、一致度の算出方法としては、例えば画素単位の輝度の差分を計算し、絶対値の逆数を一致度としてもよい。また、差分のとりうる最大値（輝度が８ｂｉｔとすると、２５５）−差分絶対値を一致度としてもよい。また、別の一致度検出方法として、所定の大きさを持つブロック単位で画素差分の絶対値和を計算し、上記画素ごとの一致度と同様に一致度を決定してもよい。
【００７２】
このように、テロップ領域判定部３０６は、テロップベクトル変換部３０５で変換された変換テロップベクトルを用いてテロップ領域を判定する。具体的には、テロップ領域判定部３０６は、変換テロップベクトルを用いて現フレームでテロップ領域と推定される領域と過去フレームでのテロップ領域とを比較し、上記のように算出する一致度が所定の値より大きい場合は、その推定される領域をテロップの領域であると検出する。
【００７３】
なお、図１４は、図１３Ａおよび図１３Ｂをまとめた図となっている。
【００７４】
図１４では、図３（ａ）の３−２プルダウンされた６０Ｈｚの画像２０１から、１、３および６番目のフレームが抽出されて、１、３番目のフレームに含まれる文字（テロップ）間で動きベクトルが検出されている。また、図１４では、変換テロップベクトルを用いて平行移動させた、現フレームに相当する３番目のフレームにおける文字１２０８を含む領域と、過去フレームにおける文字（テロップ）１２０７を含む領域との一致度を比較している。その結果、例えば画素差分が小さいので、一致度が所定の値より大きくなり、現フレームに相当する３番目のフレームにおける文字１２０８を含む領域がテロップの領域と判断される様子が示されている。
【００７５】
また、テロップ領域の判定方法は上記の方法に限らない。図１５は、テロップベクトル変換部の別のテロップ領域判定方法を説明するための図である。
【００７６】
別のテロップ領域判定方法として、例えば、動きベクトル検出部３０３で検出した画素ごとまたはブロックごとの動きベクトルと、テロップベクトル変換部３０５で変換された変換テロップベクトルとの差分を計算する。そして、差分の絶対値が所定の値より小さい場合は、テロップらしい動きをしているとして、検出した動きベクトルを含む領域をテロップ領域と判定する。
【００７７】
具体的には、現フレーム１３００上で、動きベクトル検出部３０３により検出された動きベクトル１３０３と、変換テロップベクトル１３０５とを比較する。図１５では、テロップ１３０１の動きベクトル１３０３は変換テロップベクトル１３０５との差分が小さいので、テロップ領域判定部３０６は、動きベクトル１３０３を含む領域をテロップ領域として検出する。一方、物体１３０２の動きベクトル１３０４は変換テロップベクトル１３０５との差分が大きいため、テロップ領域判定部３０６は、動きベクトル１３０４を含む領域をテロップ領域とは判定しない。
【００７８】
このように、テロップ領域判定部３０６は、テロップベクトル変換部３０５で変換された変換テロップベクトルを用いてテロップ領域を判定する。
【００７９】
なお、テロップ領域を判定する際に、検出精度を高めるために、テロップの画像上の特徴を用いてテロップ領域を限定してもよい。例えば、通常テロップの画像では画像のエッジが強いため、エッジの強さを用いてテロップの領域を限定してもよい。また、テロップの画像は、１色のものまたは縁取りを含めて２色のものが多いため、色または階調等が集中している部分をテロップの画像として検出してもよい。
【００８０】
以上のように、本実施の形態１におけるテロップ検出装置３００は構成される。
【００８１】
次に、このように構成されたテロップ検出装置３００の処理の流れについて説明する。
【００８２】
図１６は、テロップ検出装置の処理の流れを説明するためのフローチャートである。
【００８３】
まず、３−２プルダウンされた６０Ｈｚの入力画像（以下、合成画像と記載）とその入力画像に対応するプルダウン状態信号とがテロップ検出装置３００に入力されるとする。すると、合成画像およびプルダウン状態信号は、有効フレーム抽出部３０１に入力される。
【００８４】
次に、有効フレーム抽出部３０１は、プルダウン状態信号の値によって、合成画像から２４Ｈｚの原画像に相当する少なくとも２枚の画像（フレーム）を順次抽出する（Ｓ１０１）。そして、有効フレーム抽出部３０１は、抽出した画像を順次キャッシュメモリ３０２に格納する。
【００８５】
次に、動きベクトル検出部３０３は、有効フレーム抽出部３０１により抽出されて、キャッシュメモリ３０２に格納された画像の動きベクトルを検出する（Ｓ１０３）。具体的には、動きベクトル検出部３０３は、有効フレーム抽出部３０１により抽出された２枚の画像（フレーム）間で現在のフレーム（現フレーム）から過去のフレーム（過去フレーム）への動きベクトルを検出する。
【００８６】
次に、推定テロップベクトル検出部３０４は、抽出された動きベクトルからテロップの動きベクトルを推定する（Ｓ１０５）。具体的には、推定テロップベクトル検出部３０４は、動きベクトル検出部３０３により検出された動きベクトルから、テロップの動きベクトルと推定できる推定テロップベクトルを検出する。
【００８７】
次に、テロップベクトル変換部３０５は、過去の推定テロップベクトルから、テロップの動きベクトルの特徴を用いて、現在のフレームにおけるテロップの動きベクトルを推定する。具体的には、テロップベクトル変換部３０５は、テロップの動きベクトルの特徴である周期性に基づき、過去に検出した推定テロップベクトルに所定の倍率をかけることにより、現在のフレームにおけるテロップの推定される動きベクトルに変換する。
【００８８】
次に、テロップ領域判定部３０６は、テロップベクトル変換部３０５で変換された変換テロップベクトルを用いてテロップ領域を判定する（Ｓ１０７）。
【００８９】
以上のようにして、テロップ検出装置３００はテロップ領域を検出する処理を行う。
【００９０】
以上のように、本実施の形態１のテロップ画像検出方法およびテロップ画像検出装置によれば、２−３プルダウン画像のそれぞれの先頭画像を用いて動きベクトル検出を行うときに、６０Ｈｚのテロップは動きベクトルが２：３：２：３・・・を繰り返すというテロップの動きベクトルの特徴を利用してテロップ領域を検出する。すなわち１フレーム前のテロップの動きベクトルの２／３倍または、３／２倍のベクトルでの画素差分が小さい領域を６０Ｈｚテロップ領域と検出することができる。このように、本実施の形態１のテロップ検出装置では、過去フレームは１枚で検出可能であり、上記従来技術に比べて少ない過去フレームで検出可能となっている。
【００９１】
以上、本実施の形態１のテロップ画像検出方法およびテロップ画像検出装置によれば、プルダウン画像の特徴を利用することにより、フレーム単位でのプルダウン検出方法で、例えば２つという少ない参照フレームで２−３プルダウン画像にオーバーレイされたテロップの領域と動きとを検出することができる。
【００９２】
なお、上記では２４Ｈｚの画像から構成される原画像が６０Ｈｚの画像にフレームレート変換されたプルダウン画像の典型的な例を説明したがそれに限らない。原画像を構成する画像のフレームレートの方がフレームレート変換されたプルダウン画像を構成する画像のフレームレートよりも小さければよい。プルダウン方式も、２−３に限らず、Ｎ−Ｍ（ＮとＭとは異なる正の整数）であればよい。
【００９３】
（実施の形態２）
実施の形態１では、テロップの動きベクトル特徴を用いて、テロップ領域を検出する方法を説明したが、それに限らない。実施の形態２では、テロップの動きベクトル特徴を用いて、テロップ領域を検出する別の方法について説明する。
【００９４】
図１７は、本実施の形態２におけるテロップ検出装置の構成を示すブロック図である。図１７に示すテロップ検出装置１４００は、有効フレーム抽出部３０１、キャッシュメモリ３０２、動きベクトル検出部３０３、推定テロップベクトル検出部３０４およびテロップ領域判定部１４０６を備える。なお、図４と同様の要素には同一の符号を付してあるため、詳細な説明は省略する。
【００９５】
図１７に示すテロップ検出装置１４００は、実施の形態１に係るテロップ検出装置３００に対して、テロップベクトル変換部３０５がないことと、テロップ領域判定部１４０６の構成とが異なる。
【００９６】
テロップ領域判定部１４０６は、テロップの動きベクトルの性質を用いて、テロップ領域を判定する。
【００９７】
ここで、テロップの動きは６０Ｈｚで均等に動いているとする。合成画像である３−２プルダウン画像の中から、２４Ｈｚの原画像に相当するフレームのみを抽出する場合、抽出されたフレームの間では、テロップの動きベクトルの大きさはある一定の割合で周期的に変化する。テロップ領域判定部１４０６は、このようなテロップの動きベクトルの性質すなわち周期性を用いて、テロップ領域を判定する。
【００９８】
図１８は、テロップ領域判定部がテロップの動きベクトルの性質を用いて、テロップ領域を判定する方法を説明するための図である。図１８では、図３（ａ）の３−２プルダウンされた６０Ｈｚの画像２０１から、１、３および６番目のフレームが抽出されて、それぞれのフレームに含まれる文字（テロップ）間（文字１５０１−１５０２、文字１５０２−１５０３）の動きが検出されている様子を示している。具体的には、３−２プルダウン画像の中で、プルダウン状態信号が１、４を示すフレームを抽出する場合、テロップ（文字）間の動きベクトル（ＭＶ１、ＭＶ２・・）の大きさは、３：２：３：２：３・・の比で繰り返す周期性をもつ。この性質を利用して、テロップ領域判定部１４０６は、テロップの領域を簡単に検出することができる。
【００９９】
すなわち、テロップ領域判定部１４０６は、推定テロップベクトル検出部３０４によりブロックラインごとに検出された推定テロップベクトルが所定の期間Ｔ以上にわたって上記のような周期性を有する場合は、そのラインをテロップが存在するラインとして判定する。
【０１００】
例えば、有効フレーム抽出部３０１により抽出された２枚のフレーム（画像）が、プルダウン状態信号（１、４）を示すフレームであるとする。その場合、テロップ領域判定部１４０６は、推定テロップベクトル検出部３０４により検出された推定テロップベクトルが２：３：２：３・・を繰り返す周期性を有するとき、そのラインをテロップが存在するラインとして判定する。
【０１０１】
また、例えば、有効フレーム抽出部３０１により抽出されたフレームが、プルダウン状態信号（２、４）を示すフレームであるとする。その場合、テロップ領域判定部１４０６は、推定テロップベクトル検出部３０４により検出された推定テロップベクトルが３：２：３：２・・を繰り返す周期性を有するとき、そのラインをテロップが存在するラインとして判定する。
【０１０２】
また、例えば、有効フレーム抽出部３０１により抽出されたフレームが、プルダウン状態信号（３、４）を示すフレームであるとする。その場合、テロップ領域判定部１４０６は、推定テロップベクトル検出部３０４により検出された推定テロップベクトルが４：１：４：１・・を繰り返す周期性を有するとき、そのラインをテロップが存在するラインとして判定する。
【０１０３】
また、例えば、有効フレーム抽出部３０１により抽出されたフレームが、プルダウン状態信号（１、５）を示すフレームであるとする。その場合、テロップ領域判定部１４０６は、推定テロップベクトル検出部３０４により検出された推定テロップベクトルが１：４：１：４・・を繰り返す周期性を有するとき、そのラインをテロップが存在するラインとして判定する。
【０１０４】
また、例えば、有効フレーム抽出部３０１により抽出されたフレームが、プルダウン状態信号（２、５）を示すフレームであるとする。その場合、テロップ領域判定部１４０６は、推定テロップベクトル検出部３０４により検出された推定テロップベクトルが２：３：２：３・・を繰り返す周期性を有するとき、そのラインをテロップが存在するラインとして判定する。
【０１０５】
また、例えば、有効フレーム抽出部３０１により抽出されたフレームが、プルダウン状態信号（３、５）を示すフレームであるとする。その場合、テロップ領域判定部１４０６は、推定テロップベクトル検出部３０４により検出された推定テロップベクトルが３：２：３：２・・を繰り返す周期性を有するとき、そのラインをテロップが存在するラインとして判定する。
【０１０６】
このようにして、テロップ領域判定部１４０６は、テロップの動きベクトルの性質を用いて、テロップ領域を判定する。
【０１０７】
なお、テロップ領域を判定する際に、検出精度を高めるために、テロップの画像上の特徴を用いてテロップ領域を限定してもよい。例えば、通常テロップの画像では画像のエッジが強いため、エッジの強さを用いてテロップの領域を限定してもよい。また、テロップの画像は１色のものまたは縁取りを含めて２色のものが多いため、色または階調等が集中している部分をテロップの画像として検出してもよい。
【０１０８】
以上のように、本実施の形態２におけるテロップ検出装置１４００は構成される。
【０１０９】
なお、テロップ検出装置１４００の処理の流れについては、上述したテロップ領域の検出方法を加味すると実施の形態１のテロップ検出装置３００と同様のため説明を省略する。
【０１１０】
以上のように、本実施の形態２のテロップ画像検出方法およびテロップ画像検出装置によれば、２−３プルダウン画像のそれぞれの先頭画像を用いて動きベクトル検出を行うときに、６０Ｈｚのテロップは動きベクトルが２：３：２：３・・・を繰り返すというテロップの動きベクトルの特徴を利用してテロップ領域を検出する。すなわちテロップの動きベクトルが２：３で繰り返すときはその領域を６０Ｈｚのテロップ領域と検出することができる。このように、本実施の形態２のテロップ検出装置では、過去フレームは１枚で検出可能であり、上記従来技術に比べて少ない過去フレームで検出可能となっている。
【０１１１】
以上のように、本実施の形態２のテロップ画像検出方法およびテロップ画像検出装置によれば、プルダウン画像の特徴を利用することにより、フレーム単位でのプルダウン検出方法を用いて、例えば２つという少ない参照フレームで２−３プルダウン画像にオーバーレイされたテロップの領域と動きとを検出することができる。
【０１１２】
すなわち、本発明に係るテロップ画像検出装置は、所定のフレームレートの画像から構成される原画像がＮ−Ｍ（ＮとＭとは異なる整数）プルダウン処理によって前記所定のフレームレートよりも高いフレームレートの画像に変換されたプルダウン画像上に、当該高いフレームレートでテロップ画像がオーバーレイされた合成画像からテロップ画像を検出するテロップ検出装置であって、前記合成画像から前記原画像に相当する位相の画像である抽出画像を抽出する抽出画像抽出部と、前記抽出画像の動きベクトルを検出する動きベクトル検出部と、検出された前記動きベクトルの中から、テロップの動きベクトルとして推定しうる推定テロップベクトルを検出する推定テロップベクトル検出部と、前記プルダウン画像が有する特徴を利用して、前記推定テロップベクトルを有する画像の領域がテロップ画像領域であるか否かを判定する判定部とを備える。
【０１１３】
この構成によれば、フレーム単位でのプルダウン検出方法を用いて、少ない参照フレームでＮ−Ｍプルダウン画像にオーバーレイされたテロップの領域と動きとを検出するテロップ画像検出方法およびテロップ画像検出装置を実現することができる。
【０１１４】
それにより、テロップ画像検出装置では、実装されるメモリを少なくすることができるので、回路規模が大きくなるのを抑制することができる。そのため、例えば、図１９に示すような液晶ディスプレイ等のＴＶ受信機に実装することができる。そして、このような液晶ディスプレイ等のＴＶ受信機では、３−２プルダウンされた動画像をフレームレート変換して液晶ディスプレイ等で表示する際に６０Ｈｚでオーバーレイされたテロップを自然な動きで表示することが可能となる。
【０１１５】
以上、本発明のテロップ画像検出方法およびテロップ画像検出装置について、実施の形態を用いて説明したが、本発明はこの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【産業上の利用可能性】
【０１１６】
本発明は、テロップ画像検出方法およびテロップ画像検出装置に利用でき、特に３−２プルダウンされた６０Ｈｚの動画像をフレームレート変換して液晶ディスプレイ等で表示する際に６０Ｈｚでオーバーレイされたテロップを自然な動きで表示することを可能とするテロップ画像検出方法およびテロップ画像検出装置に利用できる。
【符号の説明】
【０１１７】
１０１、４０２、５０１  プルダウン画像
１０２  原画像相当フレーム
１０３  フレームレート変換後画像
１１１、１１２、１１３、２１１、２１２、２１３  フレーム
２０１、２０２、２０３、４０１、９０１、１２０６  画像
２２２、２２４、７０２、１３０３、１３０４  動きベクトル
３００、１４００  テロップ検出装置
３０１  有効フレーム抽出部
３０２  キャッシュメモリ
３０３  動きベクトル検出部
３０４  推定テロップベクトル検出部
３０５  テロップベクトル変換部
３０６、１４０６  テロップ領域判定部
５０２  フレーム
６０１、１２０１、１３００  現フレーム
６０２、１２０２  過去フレーム
６０３、６０４、１３０２  物体
６０５  検出ブロック
６０６  ブロック
６０７  ベクトル
７０１、１００２、１２０３、１２０４、１３０１  テロップ
７０３  帯領域
８１１、８１２、８１３  階級
９０２  エッジ検出画像
９０３、９０４  テロップの領域
１００１  テロップ画像
１００３  推定テロップベクトル
１００４  検出帯
１２０５、１３０５  変換テロップベクトル
１２０８、１５０１、１５０２、１５０３  文字
３０２１  過去フレームキャッシュ
３０２２  現フレームキャッシュ
【図１】
2011082932.tif 000003
【図２】
2011082932.tif 000004
【図３】
2011082932.tif 000005
【図４】
2011082932.tif 000006
【図５】
2011082932.tif 000007
【図６】
2011082932.tif 000008
【図７】
2011082932.tif 000009
【図８】
2011082932.tif 000010
【図９】
2011082932.tif 000011
【図１０】
2011082932.tif 000012
【図１１】
2011082932.tif 000013
【図１２】
2011082932.tif 000014
【図１３Ａ】
2011082932.tif 000015
【図１３Ｂ】
2011082932.tif 000016
【図１４】
2011082932.tif 000017
【図１５】
2011082932.tif 000018
【図１６】
2011082932.tif 000019
【図１７】
2011082932.tif 000020
【図１８】
2011082932.tif 000021
【図１９】
2011082932.tif 000022