(57)【要約】【課題】テロップ等の人工的画像に対応した画素データのみを良好に抽出する。【解決手段】動き情報出力部１２２で、テロップが存在するラインに関して、水平方向の動き情報ＭＥを取得する。現在フレームの信号と情報ＭＥにより動き補償された前後のフレームの信号とから、判定情報取得部１２３及び２値化処理部１２４で、画面の各画素がテロップのエッジ位置の画素であるか否かを示すフラグＥＦＬを得る。このフラグＥＦＬに基づいて、エッジ画素抽出部１２５で、エッジ位置の画素データを抽出し、ヒストグラム処理部１２６で、その画素データを資料として、データＹ，Ｕ，Ｖの夫々のヒストグラムを生成し、度数最大の階級から、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）の値ｙｒ，ｕｒ，ｖｒを決定する。抽出領域選択部１２７で、テロップが存在するラインを示すフラグＧＦＬを得る。抽出部１２８で、ｙｒ，ｕｒ，ｖｒ及びＧＦＬに基づき、テロップに対応した画素データを抽出する。【選択図】        図２
2004318256.tif 000002
【特許請求の範囲】
【請求項１】
それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出する人工的画像抽出装置であって、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに関して水平方向の動き量の情報を出力する動き情報出力手段と、
上記動き情報出力手段より出力される動き量の情報に基づいて、上記入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う動き補償手段と、
上記入力画像信号の現在フレームの信号および上記動き補償手段で動き補償された、上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する判定手段と、
上記判定手段の判定結果に基づいて、上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記人工的画像のエッジ位置の画素に対応した画素データを抽出するエッジ画素抽出手段と、
上記エッジ画素抽出手段で抽出された各画素データを用いてヒストグラムを生成し、該ヒストグラムに基づいて上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値を求めるヒストグラム処理手段と、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る抽出領域選択手段と、
上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記抽出領域選択手段で得られた上記抽出領域フラグが一の状態となるラインの画素データで、かつ上記ヒストグラム処理手段で求められたデータ値の複数の色データからなる画素データを、上記人工的画像に対応した画素データとして抽出する抽出手段と
を備えることを特徴とする人工的画像抽出装置。
【請求項２】
上記判定手段は、上記入力画像信号の現在フレームの信号により得られる画面の注目位置の画素が上記人工的画像に対応するエッジ位置の画素であるか否かを、上記入力画像信号の現在フレームおよび該現在フレームの前後のフレームにおける上記注目位置の近傍に位置する複数の画素データのレベル関係を示すパターンに基づいて判定する
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項３】
上記判定手段は、
上記入力画像信号の現在フレームの信号および上記動き補償部で動き補償された上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する判定部と、
画面の各画素に対応したカウンタを有し、上記判定部で上記人工的画像のエッジ位置の画素であると判定されたか否かによりカウント値を更新するカウンタ部と、
上記カウンタ部に有する上記画面の各画素に対応したカウンタのカウント値を２値化して、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを示すエッジ位置フラグを判定結果として得る２値化処理部とを有する
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項４】
上記ヒストグラム処理手段は、
上記エッジ画素抽出手段で抽出された各画素データに基づき、上記複数の色データのそれぞれについて、変量としてのデータ値を所定数の階級に分け、各階級に属するデータ個数を度数とするヒストグラムを生成し、各ヒストグラムの度数が最大となる階級に対応するデータ値を、上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値とする
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項５】
上記ヒストグラム処理手段は、
各色データにおける上記ヒストグラムの階級の幅を、該各色データの分散値に基づいて決定する
ことを特徴とする請求項４に記載の人工的画像抽出装置。
【請求項６】
上記ヒストグラム処理部の前段に、上記エッジ画素抽出手段で抽出される第１の画素データに対して補正処理をするデータ補正手段をさらに備え、
上記データ補正手段は、
積分データとしての第２の画素データを保持する記憶手段と、
上記記憶手段から、上記動き情報出力手段より出力される動き量の情報に基づいて、上記第１の画素データに対応した、１フレーム前に書き込まれた第２の画素データを読み出すデータ読み出し手段と、
上記第１の画素データおよび上記データ読み出し手段で読み出された第２の画素データとを所定の混合比率で混合して出力画素データを得る混合手段と、
上記混合手段で得られた出力画素データを上記記憶手段に上記第２の画素データとして書き込むデータ書き込み手段とを有する
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項７】
それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出する人工的画像抽出方法であって、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに関して水平方向の動き量の情報を得る第１のステップと、
上記第１のステップで得られる動き量の情報に基づいて、上記入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う第２のステップと、
上記入力画像信号の現在フレームの信号および上記第２のステップで動き補償された、上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する第３のステップと、
上記第３のステップにおける判定結果に基づいて、上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記人工的画像のエッジ位置の画素に対応した画素データを抽出する第４のステップと、
上記第４のステップで抽出された各画素データを用いてヒストグラムを生成し、該ヒストグラムに基づいて上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値を求める第５のステップと、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る第６のステップと、
上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記第６のステップで得られた上記抽出領域フラグが一の状態となるラインの画素データで、かつ上記第５のステップで求められたデータ値の複数の色データからなる画素データを、上記人工的画像に対応した画素データとして抽出する第７のステップと
を備えることを特徴とする人工的画像抽出方法。
【請求項８】
それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出する人工的画像抽出方法であって、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに関して水平方向の動き量の情報を得る第１のステップと、
上記第１のステップで得られる動き量の情報に基づいて、上記入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う第２のステップと、
上記入力画像信号の現在フレームの信号および上記第２のステップで動き補償された、上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する第３のステップと、
上記第３のステップにおける判定結果に基づいて、上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記人工的画像のエッジ位置の画素に対応した画素データを抽出する第４のステップと、
上記第４のステップで抽出された各画素データを用いてヒストグラムを生成し、該ヒストグラムに基づいて上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値を求める第５のステップと、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る第６のステップと、
上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記第６のステップで得られた上記抽出領域フラグが一の状態となるラインの画素データで、かつ上記第５のステップで求められたデータ値の複数の色データからなる画素データを、上記人工的画像に対応した画素データとして抽出する第７のステップと
を備える人工的画像抽出方法をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、それぞれの画素データが複数の色データからなる入力画像信号からテロップ等の人工的画像に対応した画素データを抽出する人工的画像の抽出装置および抽出方法、並びにその方法を実行するためのプログラムに関する。
【０００２】
詳しくは、この発明は、人工的画像の動きの性質等を利用して当該人工的画像のエッジ位置を検出し、このエッジ位置の画素データを用いて生成されたヒストグラムから人工的画像に対応した画素データを構成する複数の色データのデータ値を求め、この複数の色データのデータ値を用いて人工的画像に対応した画素データを抽出することによって、入力画像信号から人工的画像に対応した画素データのみを良好に抽出しようとした人工的画像の抽出装置等に係るものである。
【０００３】
【従来の技術】
テレビ放送では、ニュース速報等を移動するテロップ（文字）で画面に表示することが行われている。画像信号から、このようなテロップ等の人工的画像に対応する画素データを抽出できれば、これをハードディスクドライブ（ＨＤＤ）に蓄える等して利用することが可能となる。
【０００４】
従来、画像信号からテロップに対応する画素データを抽出する装置が提案されている（例えば、特許文献１参照）。この場合、テロップが背景に比べて輝度や彩度が高いという性質を利用して、輝度値や彩度値に基づいてテロップのエッジ位置を検出し、さらにこのエッジ位置を含むテロップ領域の輝度および彩度の平均および分散を求め、それら平均および分散に基づいて、画像信号からテロップに対応した画素データを抽出している。
【０００５】
【特許文献１】
特開２０００−１８２０５３号公報
【０００６】
【発明が解決しようとする課題】
上述した従来の装置では、輝度値や彩度値に基づいてテロップのエッジ位置を検出するものであって、背景の輝度値や彩度値によっては、テロップのエッジ位置を精度よく検出できず、従って画像信号からテロップに対応した画素データのみを良好に抽出できないおそれがある。
【０００７】
この発明の目的は、入力画像信号から人工的画像に対応した画素データのみを良好に抽出し得る人工的画像の抽出装置等を提供することにある。
【０００８】
【課題を解決するための手段】
この発明に係る人工的画像抽出装置は、それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出する人工的画像抽出装置であって、入力画像信号により得られる画面のうち人工的画像が存在するラインに関して水平方向の動き量の情報を出力する動き情報出力手段と、この動き情報出力手段より出力される動き量の情報に基づいて、入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う動き補償手段と、入力画像信号の現在フレームの信号および動き補償手段で動き補償された、入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、入力画像信号の現在フレームの信号により得られる画面の各画素が人工的画像のエッジ位置の画素であるか否かを判定する判定手段と、この判定手段の判定結果に基づいて、入力画像信号の現在フレームの信号を構成する各画素データのうち、人工的画像のエッジ位置の画素に対応した画素データを抽出するエッジ画素抽出手段と、このエッジ画素抽出手段で抽出された各画素データを用いてヒストグラムを生成し、このヒストグラムに基づいて人工的画像に対応した画素データを構成する複数の色データのデータ値を求めるヒストグラム処理手段と、入力画像信号により得られる画面のうち人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る抽出領域選択手段と、入力画像信号の現在フレームの信号を構成する各画素データのうち、抽出領域選択手段で得られた抽出領域フラグが一の状態となるラインの画素データで、かつヒストグラム処理手段で求められたデータ値の複数の色データからなる画素データを、人工的画像に対応した画素データとして抽出する抽出手段とを備えるものである。
【０００９】
また、この発明に係る人工的画像抽出方法は、それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出する人工的画像抽出方法であって、入力画像信号により得られる画面のうち人工的画像が存在するラインに関して水平方向の動き量の情報を得る第１のステップと、この第１のステップで得られる動き量の情報に基づいて、入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う第２のステップと、入力画像信号の現在フレームの信号および第２のステップで動き補償された、入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、入力画像信号の現在フレームの信号により得られる画面の各画素が人工的画像のエッジ位置の画素であるか否かを判定する第３のステップと、この第３のステップにおける判定結果に基づいて、入力画像信号の現在フレームの信号を構成する各画素データのうち、人工的画像のエッジ位置の画素に対応した画素データを抽出する第４のステップと、この第４のステップで抽出された各画素データを用いてヒストグラムを生成し、このヒストグラムに基づいて人工的画像に対応した画素データを構成する複数の色データのデータ値を求める第５のステップと、入力画像信号により得られる画面のうち人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る第６のステップと、入力画像信号の現在フレームの信号を構成する各画素データのうち、第６のステップで得られた抽出領域フラグが一の状態となるラインの画素データで、かつ第５のステップで求められたデータ値の複数の色データからなる画素データを、人工的画像に対応した画素データとして抽出する第７のステップとを備えるものである。
【００１０】
また、この発明に係るプログラムは、上述の人工的画像抽出方法をコンピュータに実行させるためのものである。
【００１１】
この発明において、入力画像信号を構成するそれぞれの画素データは、複数の色データからなっている。例えば、画素データは、輝度データＹ、青色差データＵおよび赤色差データＶからなっている。また例えば、画素データは、赤色データＲ、緑色データＧ、青色データＢからなっている。
【００１２】
この入力画像信号により得られる画面のうち、人工的画像が存在するラインに関して水平方向の動き量の情報が出力される。例えば、各ラインについて輝度値からエッジがあるか否かを検出し、エッジがある場合にはそのラインは人工的画像が存在するラインであるとして、ブロックマッチング法等によって水平方向の動き量の情報を得るようにする。
【００１３】
この動き量の情報に基づいて、入力画像信号の現在フレームの前後に位置するフレームの信号に対して、動き補償が行われる。現在フレームの前後に位置するフレームの信号としては、例えば現在フレームに対して、１フレーム前の信号および１フレーム後の信号が用いられる。これら現在フレームの信号と動き補償された前後のフレームの信号に基づいて、入力画像信号の現在フレームの信号により得られる画面の各画素が人工的画像のエッジ位置の画素であるか否かが判定される。
【００１４】
例えば、人工的画像に対応する位置の画素であるか否かの判定は、入力画像信号の現在フレームおよびこの現在フレームの前後のフレームにおける注目位置の近傍に位置する複数の画素データのレベル関係を示すパターンに基づいて判定される。このようにパターンを用いて判定することにより、動き補償によって画素以下の補償残差がある場合であっても、注目位置の画素が人工的画像に対応する画素であるか否かを精度よく判定できる。
【００１５】
上述した画面の各画素が人工的画像のエッジ位置の画素であるか否かの判定結果により、画面の各画素に対応したカウンタのカウント値が更新される。そして、これらのカウンタのカウント値が２値化されて、入力画像信号の現在フレームの信号により得られる画面の各画素が人工的画像のエッジ位置の画素であるか否かを示すエッジ位置フラグが最終的な判定結果として得られる。
【００１６】
このように、現在フレームの信号と動き補償された前後のフレームの信号に基づいて判定された、画面の各画素が人工的画像のエッジ位置の画素であるか否かの判定結果をそのまま用いずに、この判定結果に基づいて画面の各画素に対応したカウンタのカウント値をフレーム毎に更新し、当該カウント値を２値化処理して画面の各画素が人工的画像のエッジ位置の画素であるか否かを示すエッジ位置フラグを最終的な判定結果とすることで、判定結果の信頼度を高めることができる。
【００１７】
上述の判定結果に基づいて、入力画像信号の現在フレームの信号を構成する各画素データから、人工的画像のエッジ位置の画素に対応した画素データが抽出される。そして、この画素データを用いてヒストグラムが生成され、このヒストグラムに基づいて人工的画像に対応した画素データを構成する複数の色データのデータ値が求められる。
【００１８】
例えば、抽出された人工的画像のエッジ位置の画素に対応した画素データに基づき、複数の色データのそれぞれについて、変量としてのデータ値を所定数の階級に分け、各階級に属するデータ個数を度数とするヒストグラムが生成され、各ヒストグラムの度数が最大となる階級に対応するデータ値が、人工的画像に対応した画素データを構成する複数の色データのデータ値とされる。
【００１９】
このように複数の色データ個々についての１次元のヒストグラムを用いることで、複数の色データ全体についての多次元、例えば３次元のヒストグラムを用いるものに比べて、ハード規模を大幅に減少できる。この場合、人工的画像のエッジ位置の画素に対応した画素データのみを資料として用いるものであり、１次元のヒストグラムを用いた結果は、３次元のヒストグラムを用いた結果と変わらない。
【００２０】
ここで、各色データにおけるヒストグラムの階級の幅は、各色データの分散値に基づいて決定される。これにより、人工的画像のエッジ位置の画素に対応した画素データを構成する各色データのデータ値にバラツキがあったとしても、人工的画像に対応した画素データを構成する複数の色データのデータ値を良好に求めることができる。
【００２１】
また、例えば画面の各画素に対応したカウンタのカウント値に基づいて、人工的画像に対応した画像が存在するラインに対応して一の状態、例えば「１」となる抽出領域フラグが生成される。そして、入力画像信号の現在フレームの信号を構成する画素データから、抽出領域フラグが一の状態となるラインの画素データで、かつ上述したように求められた人工的画像に対応した画素データを構成する複数の色データのデータ値に合致した複数の色データからなる画素データが、人工的画像に対応した画素データとして抽出される。
【００２２】
このように、人工的画像の動きの性質等を利用して当該人工的画像のエッジ位置を検出し、このエッジ位置の画素データを用いて生成されたヒストグラムから人工的画像に対応した画素データを構成する複数の色データのデータ値を求め、この複数の色データのデータ値を用いて人工的画像に対応した画素データを抽出するものであり、入力画像信号から人工的画像に対応した画素データのみを良好に抽出できる。
【００２３】
なお、ヒストグラム処理部の前段に、エッジ画素抽出手段で抽出される第１の画素データに対して補正処理をするデータ補正手段をさらに備えるようにしてもよい。このデータ補正手段では、記憶手段に積分データとしての第２の画素データが保持されている。この記憶手段から、上述した動き量の情報に基づいて、第１の画素データに対応した、１フレーム前に書き込まれた第２の画素データが読み出され、この第２の画素データおよび第１の画素データが所定の混合比率で混合されて補正後の出力画素データが得られる。また、この出力画素データは、次のフレームで使用するために、記憶手段に第２の画素データとして書き込まれる。
【００２４】
このようにデータ補正手段を備えることで、人工的画像に対応した画素データを構成する複数の色データの値を求める際におけるクロスカラーやノイズの影響を抑えることができる。
【００２５】
【発明の実施の形態】
以下、図面を参照しながら、この発明の実施の形態について説明する。図１は、実施の形態としてのテレビ受信機１００の構成を示している。
このテレビ受信機１００は、マイクロコンピュータを備え、システム全体の動作を制御するためのシステムコントローラ１０１と、リモートコントロール信号を受信するリモコン信号受信回路１０２とを有している。リモコン信号受信回路１０２は、システムコントローラ１０１に接続され、リモコン送信機１０３よりユーザの操作に応じて出力されるリモートコントロール信号ＲＭを受信し、その信号ＲＭに対応する操作信号をシステムコントローラ１０１に供給するように構成されている。
【００２６】
また、テレビ受信機１００は、受信アンテナ１０５と、この受信アンテナ１０５で捕らえられた放送信号（ＲＦ変調信号）が供給され、選局処理、中間周波増幅処理、検波処理等を行って画像信号Ｖａを得るチューナ部１０６と、このチューナ部１０６より出力される画像信号Ｖａを一時的に記憶するためのバッファメモリ１０７とを有している。
【００２７】
ここで、画像信号Ｖａを構成するそれぞれの画素データは、複数の色データからなっている。本実施の形態においては、画素データＶａは、輝度データＹ、青色差データＵおよび赤色差データＶからなっている。
【００２８】
また、テレビ受信機１００は、バッファメモリ１０７から読み出された画像信号Ｖａを構成する画素データを、輝度データＹ、青色差データＵおよび赤色差データＶから赤色データＲ、緑色データＧおよび青色データＢに変換するマトリックス回路１０８と、このマトリックス回路１０８から出力される画像信号Ｖａによる画像を表示するディスプレイ部１０９を有している。このディスプレイ部１０９は、例えばＣＲＴ（ｃａｔｈｏｄｅ−ｒａｙ  ｔｕｂｅ）ディスプレイ、あるいはＬＣＤ（Ｌｉｑｕｉｄ  Ｃｒｙｓｔａｌ  Ｄｉｓｐｌａｙ）、ＰＤＰ（Ｐｌａｓｍａ  Ｄｉｓｐｌａｙ  Ｐａｎｅｌ）等のフラットパネルディスプレイで構成されている。
【００２９】
また、テレビ受信機１００は、バッファメモリ１０７から読み出された画像信号Ｖａよりテロップ等の人工的画像（以下、「テロップ」という）に対応した画素データを抽出するテロップ抽出回路１１０と、このテロップ抽出回路１１０で抽出された画素データからなる画像信号Ｖｂを記憶しておくためのハードディスクドライブ（ＨＤＤ）１１１とを有している。
【００３０】
また、テレビ受信機１００は、ＨＤＤ１１１に記憶されている画像信号Ｖｂに基づいて、ディスプレイ部１０９の画面にテロップを表示するための表示信号ＳＣＨを発生するＯＳＤ（Ｏｎ  Ｓｃｒｅｅｎ  Ｄｉｓｐｌａｙ）回路１１２と、このＯＳＤ回路１１２より出力される表示信号ＳＣＨを、上述したようマトリックス回路１０８から出力される画像信号Ｖａに合成してディスプレイ部１０９に供給するための合成器１１３とを有している。
【００３１】
図１に示すテレビ受信機１００の動作を説明する。
チューナ部１０６より出力される画像信号Ｖａはバッファメモリ１０７に供給されて一時的に記憶される。このようにバッファメモリ１０７に記憶された画像信号Ｖａはその後に読み出され、マトリックス回路１０８および合成器１１３を介してディスプレイ部１０９に供給される。これにより、ディスプレイ部１０９の画面には、画像信号Ｖａによる画像が表示される。
【００３２】
また、バッファメモリ１０７に記憶された画像信号Ｖａはその後に読み出され、テロップ抽出回路１１０に供給される。このテロップ抽出回路１１０では、画像信号Ｖａからテロップに対応した画素データが抽出される。このようにテロップ抽出回路１１０で抽出された画素データからなる画像信号ＶｂはＨＤＤ１１１に供給されて記憶される。
【００３３】
その後、ＨＤＤ１１１に記憶された画像信号Ｖｂに基づいて、ディスプレイ部１０９にテロップを表示する場合、例えばユーザはリモコン送信機１０３によりその旨の操作をする。この場合、ＨＤＤ１１１に記憶されている画像信号Ｖｂが読み出されてＯＳＤ回路１１２に供給される。ＯＳＤ回路１１２では、画像信号Ｖｂに基づいて、テロップを表示するための表示信号ＳＣＨが発生され、この表示信号ＳＣＨは合成器１１３に供給されて、画像信号Ｖａに合成される。これにより、ディスプレイ部１０９の画面には、画像信号Ｖａによる画像が表示されると共に、その画像信号Ｖａの一部に、表示信号ＳＣＨによるテロップが重畳されて表示される。
【００３４】
次に、テロップ抽出回路１１０の詳細を説明する。図２は、テロップ抽出回路１１０の構成を示している。
このテロップ抽出回路１１０は、バッファメモリ１０７より読み出された画像信号Ｖａを入力する入力端子１２１と、この入力端子１２１に入力される画像信号Ｖａにより得られる画面のうち、テロップが存在するラインに関して、水平方向の動き量を示す動き情報ＭＥを出力する動き情報出力部１２２を有している。
【００３５】
この動き情報出力部１２２は、以下のような処理によって、動き情報ＭＥを出力する。上述したように画像信号Ｖａを構成するそれぞれの画素データは輝度データＹ、青色差データＵおよび赤色差データＶからなっている。この動き情報処理部１２２の処理には、例えば輝度データＹのみが用いられる。後述する判定情報取得部１２３の処理において同様である。
【００３６】
まず、ライン毎に、ブロックマッチングの処理により、フレーム間の水平方向の動き量を求める。すなわち、現在フレームのあるライン（以下、「現在ライン」という）の水平方向の動き量を求める場合、注目画素とその隣接画素の画素値の差分から、現在ラインのエッジ画素を抽出する。
【００３７】
そして、図３に示すように、この現在ラインのエッジ画素を含むｍ個の画素からなる参照ブロックＢ１と、探索範囲である過去フレームの対応するライン（以下、「過去ライン」という）に設定したｓ個の画素からなる探索範囲Ｓ１中のｍ個の画素からなる候補ブロックＢ２との間でマッチング演算をする。すなわち、参照ブロックＢ１と候補ブロックＢ２との間で対応する位置の画素値の差分をとり、差分の絶対値をブロック全体にわたった累積する等の処理によって候補ブロックＢ２についての評価値を作成する。
【００３８】
そして、このような評価値を探索範囲Ｓ１中の全候補ブロックＢ２について作成し、評価値が最小となる候補ブロックＢ２の位置を最もマッチングのよい候補ブロックＢ２の位置として決定することにより、参照ブロックＢ１に対応する動き量を検出する。この場合、探索範囲Ｓ１内の候補ブロックとして１画素ずつずれたブロックを用いる場合には、全部でｓ個の候補ブロックを取り扱うことになる。
【００３９】
次に、上述のように求められた各ラインの水平方向の動き量に対して、空間方向および時間方向の連続性から、現在フレームのどのラインがテロップが存在するラインであるか判断する。この場合、テロップが存在するラインの場合、連続した所定数のラインおよび連続する所定数のフレームで、同じ動き量が求められる。したがって、このような連続性の判断から、現在フレームのどのラインがテロップなどの人工的画像が存在するラインであるか判断することが可能である。
【００４０】
次に、現在フレームの各ラインのうち、テロップが存在するラインと判断されたラインに関しては、上述のように求められた水平方向の動き量を動き情報ＭＥとして出力する。その他のラインに関しては、上述のように求められた水平方向の動き量の代わりに、動き量０を動き情報ＭＥとして出力する。つまり、その他のラインに関しては、実質的に動き情報を出力しないこととなる。
【００４１】
また、テロップ抽出回路１１０は、画面の各画素に対応したカウンタを有し、画面の各画素がテロップのエッジ位置の画素であるか否かを最終的に判定するためのカウント値ＣＮを判定情報として得る判定情報取得部１２３を有している。図４は、判定情報取得部１２３の構成を示している。
【００４２】
この判定情報取得部１２３は、動き情報出力部１２２より出力されるライン毎の動き情報ＭＥに基づいて、バッファメモリ１０７より読み出された画像信号Ｖａの１フレーム前の信号Ｖａｐに対して動き補償を行って信号Ｖａｐ′を得る動き補償部１４１と、上述の動き情報ＭＥに基づいて、バッファメモリ１０７より読み出された画像信号Ｖａの１フレーム後の信号Ｖａｎに対して動き補償を行って信号Ｖａｎ′を得る動き補償部１４２とを有している。このように、動き補償を行うことにより、信号Ｖａｐ′，Ｖａｎ′により得られるそれぞれの画面に存在するテロップの水平方向の位置が、信号Ｖａｃにより得られる画面に存在するテロップの水平方向の位置と一致するようになる。
【００４３】
また、判定情報取得部１２３は、現在フレームの信号Ｖａｃにより得られる画面を構成する各画素が、テロップに対応する画素であるか否かを判定する判定部１４３を有している。この判定部１４３における判定は、現在フレームの信号Ｖａｃ、１フレーム前の信号Ｖａｐ′および１フレーム後の信号Ｖａｎ′を用いて行われる。
【００４４】
この判定は、例えば、図５に示すように、判定すべき現在フレームの信号Ｖａｃにより得られる画面を構成する画素（注目画素）をｃ０とすると、この画素ｃ０およびその前後の画素ｃ−１，ｃ１の画素データと、これら現在フレームの３画素に対応する１フレーム前の画素ｐ−１，ｐ０，ｐ１の画素データと、これら現在フレームの３画素に対応する１フレーム後の画素ｎ−１，ｎ０，ｎ１の画素データとを用いて行われる。
【００４５】
この場合、画素ｃ０，ｃ−１，ｃ１の画素値と画素ｐ−１，ｐ０，ｐ１の画素値との関係が図６に示すパターンＲ１〜Ｒ８，Ｌ１〜Ｌ８のいずれかを満たし、かつ画素ｃ０，ｃ−１，ｃ１の画素値と画素ｎ−１，ｎ０，ｎ１の画素値との関係が図６に示すパターンＲ１〜Ｒ８，Ｌ１〜Ｌ８のいずれかを満たす場合には、当該注目画素ｃ０はテロップに対応する位置の画素であると判定する。
【００４６】
ここでは、画像信号Ｖａの信号帯域から、水平３画素内には極値が１つ以下であると仮定している。この場合、画素ｃ０，ｃ−１，ｃ１の画素値と画素ｐ−１，ｐ０，ｐ１の画素値の差分、および画素ｃ０，ｃ−１，ｃ１の画素値と画素ｎ−１，ｎ０，ｎ１の画素値の差分が、動き補償によって画素以下の補償をしなかったために発生した場合には、これらの画素値の隣接大小関係は、図６に示すパターンＲ１〜Ｒ８，Ｌ１〜Ｌ８のいずれかになる。
【００４７】
したがって、画素値の隣接大小関係が図６に示すパターンＲ１〜Ｒ８，Ｌ１〜Ｌ８のいずれかを満たしていれば、画素値に差分が発生していても、それは動き補償によって画素以下の補償をしなかったために発生したものと考えることができる。これにより、画素値の隣接大小関係が図６に示すパターンＲ１〜Ｒ８，Ｌ１〜Ｌ８のいずれかを満たしているときは、画素ｃ０，ｃ−１，ｃ１の画素値と画素ｐ−１，ｐ０，ｐ１の画素値は実質的に等しく、画素ｃ０，ｃ−１，ｃ１の画素値と画素ｎ−１，ｎ０，ｎ１の画素値は実質的に等しく、注目画素ｃ０はテロップに対応する位置の画素であると判定できる。
【００４８】
なお、図６において、ＹＬ、Ｙ、ＹＲはそれぞれ画素ｃ０，ｃ−１，ｃ１の画素値であり、ＹＭＣＬ，ＹＭＣ，ＹＭＣＲはそれぞれ画素ｐ−１，ｐ０，ｐ１の画素値、あるいは画素ｎ−１，ｎ０，ｎ１の画素値である。パターンＲ１〜Ｒ８，Ｌ１〜Ｌ８の関係式は以下の通りである。
【００４９】
パターンＲ１：  ＹＬ≦ＹＭＣＬ≦Ｙ≦ＹＭＣ≦ＹＲ
パターンＲ２：  ＹＬ≦ＹＭＣＬ≦Ｙ≦ＹＭＣ≧ＹＲ
パターンＲ３：  ＹＬ≦ＹＭＣＬ≦Ｙ≧ＹＭＣ≧ＹＲ
パターンＲ４：  ＹＬ≦ＹＭＣＬ≧Ｙ≧ＹＭＣ≧ＹＲ
パターンＲ５：  ＹＬ≧ＹＭＣＬ≦Ｙ≦ＹＭＣ≦ＹＲ
パターンＲ６：  ＹＬ≧ＹＭＣＬ≧Ｙ≦ＹＭＣ≦ＹＲ
パターンＲ７：  ＹＬ≧ＹＭＣＬ≧Ｙ≧ＹＭＣ≦ＹＲ
パターンＲ８：  ＹＬ≧ＹＭＣＬ≧Ｙ≧ＹＭＣ≧ＹＲ
パターンＬ１：  ＹＬ≦ＹＭＣ≦Ｙ≦ＹＭＣＲ≦ＹＲ
パターンＬ２：  ＹＬ≦ＹＭＣ≦Ｙ≦ＹＭＣＲ≧ＹＲ
パターンＬ３：  ＹＬ≦ＹＭＣ≦Ｙ≧ＹＭＣＲ≧ＹＲ
パターンＬ４：  ＹＬ≦ＹＭＣ≧Ｙ≧ＹＭＣＲ≧ＹＲ
パターンＬ５：  ＹＬ≧ＹＭＣ≦Ｙ≦ＹＭＣＲ≦ＹＲ
パターンＬ６：  ＹＬ≧ＹＭＣ≧Ｙ≦ＹＭＣＲ≦ＹＲ
パターンＬ７：  ＹＬ≧ＹＭＣ≧Ｙ≧ＹＭＣＲ≦ＹＲ
パターンＬ８：  ＹＬ≧ＹＭＣ≧Ｙ≧ＹＭＣＲ≧ＹＲ
【００５０】
上述したように、パターンを用いて判定することにより、動き補償部１４１，１４２における動き補償によって画素以下の補償残差がある場合であっても、注目画素ｃ０がテロップに対応する位置の画素であるか否かを精度よく判定できる。すなわち、画素値の差分をとって判定する場合には画素以下の補償残差が判定結果に大きく影響するが、上述したようにパターンを用いて判定するものによれば、補償残差による影響を受けなくなる。
【００５１】
また、判定情報取得部１２３は、現在フレームの信号Ｖａｃにより得られる画面を構成する各画素が、画像のエッジ位置の画素であるか否かを判定するエッジ判定部１４４を有している。このエッジ判定部１４４における判定は、現在フレームの信号Ｖａｃを用いて行われる。
【００５２】
すなわち、この判定は、例えば、図７に示すように、判定すべき現在フレームの信号Ｖａｃにより得られる画面を構成する画素（注目画素）をｃ０とすると、この画素ｃ０およびその前後の画素ｃ−１，ｃ１の画素データと、この現在フレームの注目画素ｃ０に対応する１ライン前の画素ａ０の画素データと、この現在フレームの注目画素ｃ０に対応する１ライン後の画素ｂ０の画素データとを用いて行われる。
【００５３】
この場合、エッジ判定部１４４では、まず、注目画素ｃ０が水平方向のエッジ位置にあるか否かを判定する。画素ｃ０，ｃ−１，ｃ１の画素値をＥｃ０，Ｅｃ−１，Ｅｃ１とし、画素ａ０，ｂ０の画素値をＥａ０，Ｅｂ０とするとき、｜Ｅｃ−１−Ｅｃ０｜＞ＨＥＧ、｜Ｅｃ−１−Ｅｃ１｜＞ＨＥＧ、｜Ｅｃ０−Ｅｃ１｜＞ＨＥＧの少なくともいずれかを満たすときは、注目画素ｃ０が水平方向のエッジ位置にあると判定する。ここで、ＨＥＧは所定のしきい値である。注目画素ｃ０が水平方向のエッジ位置にあると判定するときは、垂直方向のエッジ位置の判定を行うことなく、注目画素ｃ０はエッジ位置にあると判定し、注目画素ｃ０がエッジ位置にあるか否かを示すフラグＥ−ｆｌａｇを１とする。
【００５４】
注目画素ｃ０が水平方向のエッジ位置にないと判定するときは、次に注目画素ｃ０が垂直方向のエッジ位置にあるか否かを判定する。｜Ｅａ０−Ｅｃ０｜＞ＶＥＧ、｜Ｅａ０−Ｅｂ０｜＞ＶＥＧ、｜Ｅｃ０−Ｅｂ０｜＞ＶＥＧの少なくともいずれかを満たすときは、注目画素ｃ０が垂直方向のエッジ位置にあると判定する。ここで、ＶＥＧは所定のしきい値である。注目画素ｃ０が垂直方向のエッジ位置にあると判定するときは、注目画素ｃ０はエッジ位置にあると判定し、Ｅ−ｆｌａｇを１とする。一方、注目画素ｃ０が垂直方向のエッジ位置にないと判定するときは、Ｅ−ｆｌａｇを０とする。
【００５５】
このエッジ判定部１４４の判定出力、すなわちＥ−ｆｌａｇは、上述の判定部１４３に供給される。上述したように、判定部１４３は、パターン判定によって注目画素ｃ０がテロップに対応する位置の画素であるか否かを判定し、肯定結果あるいは否定結果を得る。しかし、この判定は注目画素ｃ０がエッジ位置の画素である場合のみ行うものであり、Ｅ−ｆｌａｇにより、注目画素ｃ０がエッジ位置の画素でないときは、上述のパターン判定をすることなく、直ちに否定結果を得る。
【００５６】
また、判定情報取得部１２３は、画面の各画素に対応したカウンタを有するカウンタ部１４５を有している。上述した判定部１４３は、注目画素ｃ０に対する上述の肯定結果あるいは否定結果によって、カウンタ部１４５に存在する、当該注目画素ｃ０に対応したカウンタのカウント値を更新する。この場合、肯定結果であるときは、更新前のカウント値に対して１だけ増やす増加処理を行い、処理後のカウント値で更新する。ただし、カウント値の最大値は例えば８とする。一方、否定結果であるときは、更新前のカウント値に対して減少処理を行い、処理後のカウント値により更新する。この場合、例えば、更新前のカウント値が８であるときはカウント値を６にし、更新前のカウント値が８以外であるときはカウント値を０にする。
【００５７】
なお、この場合、カウンタ部１４５に存在する、注目画素ｃ０に対応したカウンタと、更新前のカウント値を保持しているカウンタとの関係を説明する。カウンタ部１４５には、図８に示すように、１画面（１フレーム）を構成する水平方向および垂直方向の各画素に対応したカウンタＣＴが存在する。ここで、注目画素ｃ０に対応したカウンタＣＴ０に対して、更新前のカウント値を保持しているカウンタＣＴＰは、当該注目画素ｃ０の画像部分が１フレーム前に存在していた画素に対応したものとなる。
【００５８】
したがって、注目画素ｃ０に対応したカウンタＣＴ０のカウント値を更新するためには、カウンタＣＴＰから更新前のカウント値を得る必要がある。そのため、カウンタ部１４５には、動き情報出力部１２２（図２参照）から出力されるライン毎の動き情報ＭＥが供給され、これに基づいてカウンタＣＴＰが特定される。図８における矢印は、動き方向を示している。
【００５９】
図９のフローチャートは、上述した判定部１４３におけるある注目画素ｃ０に対する判定処理を示している。
まず、ステップＳＴ１で、注目画素ｃ０がエッジ位置にあるか否かを判定する。この判定は、エッジ判定部１４４の判定出力、すなわちＥ−ｆｌａｇにより判定する。注目画素ｃ０がエッジ位置にないときは、直ちにステップＳＴ２に進み、カウンタ部１４５に存在する当該注目画素ｃ０に対応したカウンタのカウント値を、上述の減少処理を施したカウント値によって更新し、処理を終了する。
【００６０】
また、ステップＳＴ１で注目画素ｃ０がエッジ位置にあるときは、ステップＳＴ３に進み、画素ｃ０，ｃ−１，ｃ１の画素値と画素ｐ−１，ｐ０，ｐ１の画素値との関係が図６に示すパターンＲ１〜Ｒ８，Ｌ１〜Ｌ８のいずれかを満たすか否かを判定する。満たさないときは、ステップＳＴ２に進み、カウンタ部１４５に存在する当該注目画素ｃ０に対応したカウンタのカウント値を、上述の減少処理を施したカウント値によって更新し、処理を終了する。一方、満たすときは、ステップＳＴ４に進む。
【００６１】
ステップＳＴ４では、画素ｃ０，ｃ−１，ｃ１の画素値と画素ｎ−１，ｎ０，ｎ１の画素値との関係が図６に示すパターンＲ１〜Ｒ８，Ｌ１〜Ｌ８のいずれかを満たすか否かを判定する。満たさないときは、ステップＳＴ２に進み、カウンタ部１４５に存在する当該注目画素ｃ０に対応したカウンタのカウント値を、上述の減少処理を施したカウント値によって更新し、処理を終了する。一方、満たすときは、ステップＳＴ５に進み、カウンタ部１４５に存在する当該注目画素ｃ０に対応したカウンタのカウント値を、上述の増加処理を施したカウント値によって更新し、処理を終了する。
【００６２】
図２に戻って、テロップ抽出回路１１０は、判定情報取得部１２３のカウンタ部１４５に有する画面の各画素に対応したカウンタのカウント値ＣＮを、所定の閾値ＴＨ、例えば３を用いて２値化し、画像信号Ｖａの現在フレームの信号により得られる画面の各画素がテロップのエッジ位置の画素であるか否かを示すエッジ位置フラグＥＦＬを得る２値化処理部１２４を有している。このように２値化処理部１２４で得られる画面の各画素に対応したエッジ位置フラグＥＦＬは、図示せずも２値化処理部１２４内のメモリに一時的に記憶され、後述するエッジ画素抽出部１２５の処理で使用される。
【００６３】
この２値化処理部１２４で画面の各画素に対応して得られるエッジ位置フラグＥＦＬは、画面の各画素がテロップのエッジであるか否かを示す最終的な判定結果となる。すなわち、上述した判定情報取得部１２３とこの２値化処理部１２４は、現在フレームの信号により得られる画面の各画素がテロップのエッジ位置の画素であるか否かを判定する判定手段を構成している。
【００６４】
図１０のフローチャートは、２値化処理部１２４で行われる２値化処理を示している。
まず、ステップＳＴ１１で、フレームの最初の画素を選択する。そして、ステップＳＴ１２で、選択された画素に対応したカウンタのカウント値ＣＮを読み込む。
【００６５】
次に、ステップＳＴ１３で、読み込んだカウント値ＣＮが閾値ＴＨより大きいか否かを判定する。ＣＮ＞ＴＨであるときは、ステップＳＴ１４で、エッジ位置フラグＥＦＬを１とし、その後にステップＳＴ１６に進む。一方、ＣＮ＞ＴＨでないときは、ステップＳＴ１５で、エッジ位置フラグＥＦＬを０とし、その後にステップＳＴ１６に進む。
【００６６】
ステップＳＴ１６では、選択されている画素が現在フレームの最後の画素であるか否かを判定する。最後の画素でないときは、ステップＳＴ１７で、次の画素を選択し、その後にステップＳＴ１２に戻り、上述した同様の処理をする。一方、最後の画素であるときは、処理を終了する。
【００６７】
また、テロップ抽出回路１１０は、２値化処理部１２４で得られるエッジ位置フラグＥＦＬに基づいて、画像信号Ｖａの現在フレームの信号を構成する各画素データのうち、テロップのエッジ位置の画素に対応した画素データを抽出するエッジ画素抽出部１２５を有している。
【００６８】
このエッジ画素抽出部１２５では、画像信号Ｖａの現在フレームの信号により得られる画面の各画素のうち、ＥＦＬ＝１となる画素については、画素データ（Ｙ，Ｕ，Ｖ）として当該画素の画素データがそのまま割り当てられ、一方ＥＦＬ＝０となる画素については、画素データ（Ｙ，Ｕ，Ｖ）として（０，０，０）が割り当てられる。これにより、エッジ画素抽出部１２５では、実質的に、テロップのエッジ位置の画素に対応した画素データのみが抽出されることとなる。
【００６９】
このようにエッジ画素抽出部１２５で割り当てられた画面の各画素に対応した画素データは、図示せずもエッジ画素抽出部１２５内のメモリに一時的に記憶され、後述するヒストグラム処理部１２６の処理で使用される。
【００７０】
図１１は、エッジ画素抽出部１２５における割り当て処理の一例を示している。あるラインの画素に対応したエッジ位置フラグＥＦＬが図１１Ｂで示され、またそのラインの画素に対応した入力輝度データＹの値が図１１Ａに示されるものとする。この場合、図１１Ｃに示すように、ＥＦＬ＝１となる画素では、割り当て輝度データＹは入力輝度データＹと同じものとされ、ＥＦＬ＝０となる画素では、割り当て輝度データＹは０とされる。なお、図１１は、輝度データＹの処理のみを示しているが、色差データＵ，Ｖに対しても同様に処理される。
【００７１】
図１２のフローチャートは、エッジ画素抽出部１２５で行われる割り当て処理を示している。
まず、ステップＳＴ２１で、フレームの最初の画素を選択する。そして、ステップＳＴ２２で、選択された画素に対応したエッジ位置フラグＥＦＬを読み込む。
【００７２】
次に、ステップＳＴ２３で、ＥＦＬが１であるか否かを判定する。ＥＦＬ＝１であるときは、ステップＳＴ２４で、画素データ（Ｙ，Ｕ，Ｖ）として当該画素の画素データをそのまま割り当て、その後にステップＳＴ２６に進む。一方、ＥＦＬ＝０であるときは、ステップＳＴ２５、画素データ（Ｙ，Ｕ，Ｖ）として（０，０，０）を割り当て、その後にステップＳＴ２６に進む。
【００７３】
ステップＳＴ２６では、選択されている画素が現在フレームの最後の画素であるか否かを判定する。最後の画素でないときは、ステップＳＴ２７で、次の画素を選択し、その後にステップＳＴ２２に戻り、上述した同様の処理をする。一方、最後の画素であるときは、処理を終了する。
【００７４】
図２に戻って、また、テロップ抽出回路１１０は、エッジ画素抽出部１２５で抽出されたテロップのエッジ位置の画素に対応した画素データを用いてヒストグラムを生成し、このヒストグラムに基づいてテロップに対応した画素データを構成する輝度データＹの値ｙｒ、青色差データＵの値ｕｒおよび赤色差データＶの値ｖｒを求めるヒストグラム処理部１２６を有している。
【００７５】
図１３は、ヒストグラム処理部１２６の構成を示している。
このヒストグラム処理部１２６は、エッジ画素抽出部１２５で抽出されたテロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）を資料として用いてヒストグラムを生成するヒストグラム生成部１５１を有している。このヒストグラム生成部１５１では、輝度データＹ、青色差データＵおよび赤色差データＶのそれぞれについてのヒストグラムが生成される。
【００７６】
この場合、変量としてのデータ値毎の階級に分けられ、各階級に属するデータ個数を度数とするヒストグラムが生成される。例えば、輝度データＹが８ビットデータであって０〜２５５のデータ値を取りうる場合には、輝度データＹのヒストグラムは、データ値毎の２５６の階級に分けられ、各階級に属するデータ個数を度数とすることで生成される。色差データＵ，Ｖについてのヒストグラムも同様にして生成される。
【００７７】
上述したヒストグラムは、テロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）を用いて生成される。そのため、データＹ，Ｕ，Ｖのヒストグラムのそれぞれにおいて、度数が最大となるデータ値は、テロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値に対応したものとなる。
【００７８】
図１４Ａは画像信号Ｖａを構成する画素データの一部を示し、「●」はテロップに対応した画素データであり、「○」はそれ以外の画素データを示している。この場合、エッジ画素抽出部１２５では、図１４Ｂに「●」で示すテロップのエッジ位置の画素に対応した画素データのみが抽出される。そのため、ヒストグラムは、図１４Ｃに示すような形状となる。
【００７９】
ところで、テロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）は、実際にはノイズの影響などにより、そのデータ値はばらつき一定ではない。そのため、度数が最大となるデータ値のみを、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）のデータ値とすることはできない。つまり、このテロップに対応した画素データ（Ｙ，Ｕ，Ｖ）のデータ値は、所定の幅をもって求める必要がある。
【００８０】
そこで、本実施の形態では、変量としてのデータ値が所定数の階級に分けられ、各階級に属するデータ個数を度数とするヒストグラムが生成され、そのヒストグラムの度数が最大となる階級に対応するデータ値が、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）のデータ値とされる。この階級の幅および各階級のデータ値の範囲を決定するために、ヒストグラム生成部１５１で生成されたヒストグラムが用いられる。
【００８１】
図１３に戻って、ヒストグラム処理部１２６は、ヒストグラム生成部１５１で生成された、データＹ，Ｕ，Ｖのヒストグラムから、それぞれ、最頻値（度数が最大となるデータ値）ｙｍ，ｕｍ，ｖｍおよび分散値ｙｄ，ｕｄ，ｖｄを得る最頻値・分散値取得部１５２を有している。ここで、分散値ｙｄ，ｕｄ，ｖｄは、（１）式で求められる分散σ２の小数点以下を例えば切り上げて得られた値である。（１）式において、ｎは変量（データ値）の個数、ｘｉは変量、ｘバーは平均値、ｆｉは変量ｘｉの度数、Ｎは総度数である。
【００８２】
【数１】
2004318256.tif 000003
【００８３】
また、ヒストグラム処理部１２６は、取得部１５２で得られた最頻値ｙｍ，ｕｍ，ｖｍおよび分散値ｙｄ，ｕｄ，ｖｄに基づいて、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラムの階級を決定する階級決定部１５３を有している。この階級決定部１５３では、ヒストグラムの階級の幅および各階級のデータ値の範囲が、以下のように決定される。
【００８４】
輝度データＹについては、図１５に示すように決定される。つまり、階級の幅ｙｗは分散値ｙｄに決定される。
【００８５】
また、各階級のデータ値の範囲に関しては、最初に最頻値ｙｍが略中心となるように、階級ｐのデータ値の範囲が決定される。この場合、階級ｐのデータ値の範囲は、分散値ｙｄが偶数値であるときはｙｍ−（ｙｄ／２−１）〜ｙｍ＋ｙｄ／２あるいはｙｍ−ｙｄ／２〜ｙｍ＋（ｙｄ／２−１）に決定され、分散値ｙｄが奇数値であるときはｙｍ−（ｙｄ−１）／２〜ｙｍ＋（ｙｄ−１）／２に決定される。
【００８６】
次に、この階級ｐの前に位置する階級ｐ−１，ｐ−２，・・・および階級ｐの後に位置する階級ｐ＋１，ｐ＋２，・・・のデータ値の範囲が、上述した階級の幅ｙｗを持つように順次決定される。なお、階級ｐの前に位置する最後の階級および階級ｐの後に位置する最後の階級にあっては、階級の幅はｙｗ若しくはそれより小さくなる。
【００８７】
詳細説明は省略するが、色差データＵ，Ｖについても、上述した輝度データＹの場合と同様にして、ヒストグラムの階級の幅および各階級のデータ値の範囲が決定される。
【００８８】
なお、階級ｐのデータ値の範囲を上述では最頻値ｙｍが略中心となるように決定する旨説明したが、この階級ｐのデータ値の範囲を平均値が略中心となるように決定することも考えられる。
【００８９】
図１３に戻って、また、ヒストグラム処理部１２６は、階級決定部１５３で決定されたヒストグラムの階級に基づき、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラムを生成する。この場合、各階級の度数は、ヒストグラム生成部１５１で生成されたデータＹ，Ｕ，Ｖのヒストグラムを参照し、それぞれの階級のデータ値の範囲に対応する複数のデータ値の度数が加算されて求められる。
【００９０】
また、ヒストグラム処理部１２６は、ヒストグラム生成部１５４で生成されたデータＹ，Ｕ，Ｖの各ヒストグラムにおいてそれぞれ度数が最大となる階級に対応するデータ値（階級の幅の範囲を持つ）を、テロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒとして決定するデータ値決定部１５５を有している。
【００９１】
図１３に示すヒストグラム処理部１２６の動作を説明する。
エッジ画素抽出部１２５で抽出されたテロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）は、このエッジ画素抽出部１２５内のメモリから読み出されてヒストグラム生成部１５１に供給される。このヒストグラム生成部１５１では、そのテロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）が資料として用いられ、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラムが生成される。
【００９２】
最頻値・分散値取得部１５２では、ヒストグラム生成部１５１で生成されたデータＹ，Ｕ，Ｖのヒストグラムから、それぞれ、最頻値ｙｍ，ｕｍ，ｖｍおよび分散値ｙｄ，ｕｄ，ｖｄが得られる。分散値ｙｍ，ｕｍ，ｖｍは、上述した（１）式に基づく算出結果σ２に対して、例えば少数点以下の切り上げ処理が行われ、整数値として求められる。
【００９３】
階級決定部１５３では、最頻値・分散値取得部１５２で取得された最頻値ｙｍ，ｕｍ，ｖｍおよび分散値ｙｄ，ｕｄ，ｖｄに基づいて、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラムの階級（階級の幅および各階級のデータ値の範囲）が決定される。
【００９４】
また、ヒストグラム生成部１５４では、階級決定部１５３で決定されたヒストグラムの階級に基づき、データＹ，Ｕ，Ｖのそれぞれについて、各階級に属するデータ個数を度数とするヒストグラムが生成される。この場合、上述したように、各階級の度数は、ヒストグラム生成部１５１で生成されたデータＹ，Ｕ，Ｖのヒストグラムを参照し、それぞれの階級のデータ値の範囲に対応する複数のデータ値の度数が加算されて求められる。
【００９５】
そして、データ値決定部１５５では、ヒストグラム生成部１５４で生成されたデータＹ，Ｕ，Ｖの各ヒストグラムにおいてそれぞれ度数が最大となる階級に対応するデータ値（階級の幅を持つ）が、テロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒとして決定される。このデータ値ｙｒ，ｕｒ，ｖｒは、図示せずもデータ値決定部１５５内のメモリに一時的に記憶され、後述する抽出部１２８（図２参照）の処理で使用される。
【００９６】
図１３に示すヒストグラム処理部１２６では、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラム（１次元のヒストグラム）を生成し、この各ヒストグラムに基づいてテロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒを決定している。
【００９７】
この場合、データＹ，Ｕ，Ｖ全体についてのヒストグラム（３次元のヒストグラム）を用いるものと比べて、ハード規模を大幅に減少できる。この場合、テロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）のみを資料として用いるものであり、１次元のヒストグラムを用いた結果は、３次元のヒストグラムを用いた結果と変わらない。
【００９８】
ここで、３次元のヒストグラムを生成する場合と１次元のヒストグラムを生成する場合のハード規模を簡単に見積もってみる。この場合、データ値は０〜２５５の値をとるものとし、階級の幅が８、従って階級数が３２であるとして計算している。３次元のヒストグラムを生成する場合のハード規模は、３２×３２×３２×１８ビット＝５８９８２４ビットとなる。これに対して、１次元のヒストグラムを生成する場合は、３×３２×１８ビット＝１７２８ビットとなる。ここで、「１８ビット」は、１階級当たりのデータサイズである。これにより、１次元のヒストグラムを生成する場合には、３次元のヒストグラムを生成する場合に比べてハード規模を大幅に減少できることがわかる。
【００９９】
また、図１３に示すヒストグラム処理部１２６では、データＹ，Ｕ，Ｖにおけるヒストグラムの階級の幅は、データＹ，Ｕ，Ｖのそれぞれの分散値ｙｄ，ｕｄ，ｖｄに基づいて決定される。これにより、テロップのエッジ位置の画素に対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値にバラツキがあったとしても、テロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値を良好に求めることができる。
【０１００】
図１６のフローチャートは、ヒストグラム処理部１２６で行われるデータ値決定処理を示している。
まず、ステップＳＴ３１で、フレームの最初の画素を選択する。そして、ステップＳＴ３２で、エッジ画素抽出部１２５で割り当てられた画面の各画素の画素データから、選択された画素に対応した画素データ（Ｙ，Ｕ，Ｖ）を読み込む。
【０１０１】
次に、ステップＳＴ３３で、読み込んだ画素データ（Ｙ，Ｕ，Ｖ）を資料として、データＹ，Ｕ，Ｖのそれぞれについてヒストグラムを生成する。この場合、画素データ（Ｙ，Ｕ，Ｖ）が（０，０，０）であるとき、つまりテロップのエッジ位置の画素に対応した画素データでない場合には、この画素データ（Ｙ，Ｕ，Ｖ）を資料として用いたヒストグラムの生成処理は行わない。
【０１０２】
次に、ステップＳＴ３４で、選択されている画素がフレームの最後の画素であるか否かを判定する。最後の画素でないときは、ステップＳＴ３５で、次の画素を選択し、その後にステップＳＴ３２に戻り、上述した同様の処理をする。一方、最後の画素であるときは、ステップＳＴ３６に進む。
【０１０３】
ステップＳＴ３６では、ステップＳＴ３３で生成されたデータＹ，Ｕ，Ｖのヒストグラムから、それぞれ最頻値ｙｍ，ｕｍ，ｖｍおよび分散値ｙｄ，ｕｄ，ｖｄを求める。そして、ステップＳＴ３７で、ステップＳＴ３６で取得された最頻値ｙｍ，ｕｍ，ｖｍおよび分散値ｙｄ，ｕｄ，ｖｄに基づいて、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラムの階級（階級の幅および各階級のデータ値の範囲）を決定する
次に、ステップＳＴ３８で、ステップＳＴ３７で決定されたヒストグラムの階級に基づき、データＹ，Ｕ，Ｖのそれぞれについて、各階級に属するデータ個数を度数とするヒストグラムを生成する。この場合、各階級の度数を、ステップＳＴ３３で生成されたデータＹ，Ｕ，Ｖのヒストグラムを参照し、それぞれの階級のデータ値の範囲に対応する複数のデータ値の度数を加算して求める。
【０１０４】
次に、ステップＳＴ３９で、テロップに対応したデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒを決定する。この場合、ステップＳＴ３８で生成されたデータＹ，Ｕ，Ｖの各ヒストグラムにおいてそれぞれ度数が最大となる階級に対応するデータ値（階級の幅を持つ）を、テロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒとする。
【０１０５】
図２に戻って、また、テロップ抽出回路１１０は、判定情報取得部１２３のカウンタ部１４５（図４参照）に有する画面の各画素に対応したカウンタのカウント値ＣＮに基づいて、テロップに対応した画素データを抽出する領域を選択する抽出領域選択部１２７を有している。
【０１０６】
抽出領域選択部１２７は、画面の各ラインについて、そのラインを構成する各画素に対応したカウント値ＣＮのうち一つでも１以上である場合には、当該ラインを抽出領域として選択し、そのラインの各画素に対応した抽出領域フラグＧＦＬを一の状態、例えば１に設定する。なお、抽出領域として選択されなかったラインの各画素に対応した抽出領域フラグＧＦＬについては、他の状態、例えば０に設定する。
【０１０７】
この場合、テロップに対応した画素データを抽出する領域にはテロップ全体が完全に含まれている必要があることから、少しでもテロップの画素である可能性がある画素（カウント値ＣＮが１以上）を含むラインの全体を抽出領域として選択するようにしている。
【０１０８】
このように抽出領域選択部１２７で得られた画面の各画素に対応した抽出領域フラグＧＦＬは、図示せずも抽出領域選択部１２７内のメモリに一時的に記憶され、後述する抽出部１２８の処理で使用される。
【０１０９】
図１７は、抽出領域生成部１２７における抽出領域の選択処理の一例を示している。画面の各画素に対応したカウント値ＣＮが図１７Ａに示すようになっている場合、その画面の各画素に対応した抽出領域フラグＧＦＬは図１７Ｂに示すようになる。
【０１１０】
図１８のフローチャートは、抽出領域選択部１２７で行われる選択処理を示している。
まず、ステップＳＴ４１で、フレームの最初のラインを選択し、ステップＳＴ４２で、選択されたラインの最初の画素を選択する。そして、ステップＳＴ４３で、選択された画素に対応したカウンタのカウント値ＣＮを読み込む。
【０１１１】
次に、ステップＳＴ４４で、読み込んだカウント値ＣＮが１より大きいか否かを判定する。ＣＮ≧１であるときは、ステップＳＴ４５で、選択されているラインを抽出領域として選択し、そのラインの各画素に対応したＧＦＬを全て１とし、その後にステップＳＴ４６に進む。
【０１１２】
ステップＳＴ４６では、選択されているラインがフレームの最後のラインであるか否かを判定する。最後のラインでないときは、ステップＳＴ４７で、次のラインを選択し、その後にステップＳＴ４２に戻り、上述したと同様の処理をする。一方、選択されているラインが最後のラインであるときは、処理を終了する。
【０１１３】
また、上述のステップＳＴ４４で、ＣＮ≧１でない、つまりＣＮ＝０であるときは、ステップＳＴ４８で、選択されているラインの最後の画素か否かを判定する。最後の画素でないときは、ステップＳＴ４９で、次の画素を選択し、ステップＳＴ４３に戻り、上述したと同様の処理をする。一方、最後の画素であるときは、ステップＳＴ５０で、選択されているラインを抽出領域として選択せず、そのラインの各画素に対応したＧＦＬを全て０とし、その後にステップＳＴ４６に進み、上述したと同様の処理をする。
【０１１４】
図２に戻って、また、テロップ抽出回路１１０は、ヒストグラム処理部１２６で決定されたデータ値ｙｒ，ｕｒ，ｖｒおよび抽出領域選択部１２７で得られた抽出領域フラグＧＦＬに基づいて、画像信号Ｖａの現在フレームの信号を構成する各画素データのうち、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）を抽出する抽出部１２８と、この抽出部１２８で抽出された画素データ（Ｙ，Ｕ，Ｖ）をテロップ抽出回路１１０の抽出画素データとして出力する出力端子１２９とを有している。
【０１１５】
抽出部１２８は、画像信号Ｖａの現在フレームの信号を構成する各画素データのうち、抽出領域フラグＧＦＬが１となる画素の画素データで、かつデータＹ，Ｕ，Ｖの値がデータ値ｙｒ，ｕｒ，ｖｒの範囲に含まれる画素データを抽出する。
【０１１６】
この抽出部１２８では、画像信号Ｖａの現在フレームの信号により得られる画面の各画素のうち、ＧＦＬ＝１であって、そのデータＹ，Ｕ，Ｖの値がデータ値ｙｒ，ｕｒ，ｖｒの範囲に含まれる画素については、画素データ（Ｙ，Ｕ，Ｖ）として当該画素の画素データがそのまま割り当てられ、それ以外の画素については、画素データ（Ｙ，Ｕ，Ｖ）として（０，０，０）が割り当てられる。これにより、抽出部１２８では、実質的に、テロップに対応した画素データのみが抽出されることとなる。
【０１１７】
このように抽出部１２８で割り当てられた画面の各画素に対応した画素データ（Ｙ，Ｕ，Ｖ）は、図示せずも抽出部１２８内のメモリに一時的に記憶される。このようにメモリに記憶された画素データ（Ｙ，Ｕ，Ｖ）は、その後に必要に応じて読み出されて出力端子１２９に導出される。
【０１１８】
図１９のフローチャートは、抽出部１２８で行われる割り当て処理を示している。
まず、ステップＳＴ５１で、データ値ｙｒ，ｕｒ，ｖｒを読み込み、ステップＳＴ５２で、フレームの最初の画素を選択する。さらに、ステップＳＴ５３で、選択された画素に対応した抽出領域フラグＧＦＬを読み込む。
【０１１９】
次に、ステップＳＴ５４で、ＧＦＬが１であるか否かを判定する。ＧＦＬ＝１であるときは、さらにステップＳＴ５５で、選択された画素の画素データ（Ｙ，Ｕ，Ｖ）を読み込む。そして、ステップＳＴ５６で、その画素データ（Ｙ，Ｕ，Ｖ）がデータ値ｙｒ，ｕｒ，ｖｒの範囲に含まれるか否かを判定する。含まれるときは、ステップＳＴ５７で、画素データ（Ｙ，Ｕ，Ｖ）として当該画素の画素データをそのまま割り当て、その後にステップＳＴ５８に進む。
【０１２０】
一方、含まれないとき、あるいは上述のステップＳＴ５４で、ＧＦＬ＝１でないときは、ステップＳＴ５９で、画素データ（Ｙ，Ｕ，Ｖ）として（０，０，０）を割り当て、その後にステップＳＴ５８に進む。
【０１２１】
ステップＳＴ５８では、選択されている画素が現在フレームの最後の画素であるか否かを判定する。最後の画素でないときは、ステップＳＴ６０で、次の画素を選択し、その後にステップＳＴ５３に戻り、上述した同様の処理をする。一方、最後の画素であるときは、処理を終了する。
【０１２２】
次に、図２に示すテロップ抽出回路１１０の動作を説明する。
動き情報出力部１２２には、テロップ抽出対象としての画像信号Ｖａが、バッファメモリ１０７（図１参照）より読み出され、入力端子１２１を介して供給される。この動き情報出力部１２２では、画像信号Ｖａにより得られる画面のうち、テロップが存在するラインに関して、水平方向の動き量を示す動き情報ＭＥが得られる。
【０１２３】
また、判定情報出力部１２３にも、テロップ抽出対象としての画像信号Ｖａが、入力端子１２１を介して供給される。この判定情報取得部１２３は、画面の各画素に対応したカウンタを有している。この判定情報取得部１２３では、動き情報出力部１２２より出力されるライン毎の動き情報ＭＥに基づいて、画像信号Ｖａの１フレーム前の信号Ｖａｐおよび１フレーム後の信号Ｖａｎに対して動き補償が行われ、現在フレームの信号Ｖａｃおよび動き補償後の信号Ｖａｐ′，Ｖａｎ′から、信号Ｖａｃにより得られる画面を構成する各画素が、テロップのエッジ位置の画素であるか否かが判定される。そして、判定情報取得部１２３では、その判定結果に基づいて、カウンタの増加処理あるいは減少処理が行われて、画面の各画素がテロップのエッジ位置の画素であるか否かを最終的に判定するためのカウント値ＣＮが得られる。
【０１２４】
この判定情報取得部１２３のカウンタ部１４５に存在する画面の各画素に対応したカウンタのカウント値ＣＮは、２値化処理部１２４に判定情報として供給される。この２値化処理部１２４では、画面の各画素に対応したカウンタのカウント値が、所定の閾値ＴＨ、例えば３を用いて２値化され、画像信号Ｖａの現在フレームの信号により得られる画面の各画素がテロップのエッジ位置の画素であるか否かを示すエッジ位置フラグＥＦＬが得られる。
【０１２５】
２値化処理部１２４で得られるエッジ位置フラグＥＦＬは、エッジ画素抽出部１２５に供給される。このエッジ画素抽出部１２５にも、テロップ抽出対象としての画像信号Ｖａが、入力端子１２１を介して供給される。このエッジ画素抽出部１２５では、エッジ位置フラグＥＦＬに基づいて、画像信号Ｖａの現在フレームの信号を構成する各画素データのうち、テロップのエッジ位置の画素に対応した画素データが抽出される（図１１参照）。
【０１２６】
このエッジ画素抽出部１２５で抽出されたテロップのエッジ位置の画素に対応した画素データは、ヒストグラム処理部１２６に供給される。このヒストグラム処理部１２６では、テロップのエッジ位置の画素に対応した画素データに基づいて、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラムが生成され、そしてこのヒストグラムに基づいてテロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒが決定される。
【０１２７】
また、判定情報取得部１２３のカウンタ部１４５に存在する画面の各画素に対応したカウンタのカウント値ＣＮは、抽出領域選択部１２７に供給される。この抽出領域選択部１２７では、画面の各画素に対応したカウンタのカウント値ＣＮに基づいて、テロップに対応した画素データを抽出する領域が選択され、この抽出領域選択部１２７からは、テロップが存在するラインに対応して一の状態、例えば１となる抽出領域フラグＧＦＬが得られる（図１７参照）。
【０１２８】
ヒストグラム処理部１２６で得られるデータ値ｙｒ，ｕｒ，ｖｒは抽出部１２８に供給される。また、抽出領域選択部１２７で得られる抽出領域フラグＧＦＬは抽出部１２８に供給される。さらに、この抽出部１２８にも、テロップ抽出対象としての画像信号Ｖａが、入力端子１２１を介して供給される。
【０１２９】
この抽出部１２８では、画像信号Ｖａの現在フレームの信号を構成する各画素データのうち、抽出領域フラグＧＦＬが１となる画素の画素データで、かつデータＹ，Ｕ，Ｖのデータ値がデータ値ｙｒ，ｕｒ，ｖｒの範囲に含まれる画素データが、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）として抽出される。
【０１３０】
このように抽出部１２８で抽出されたテロップに対応した画素データ（Ｙ，Ｕ，Ｖ）は、出力端子１２９に導出される。つまり、出力端子１２９には、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）からなる画像信号Ｖｂが出力される。
【０１３１】
図２０のフローチャートは、テロップ抽出回路１１０で行われるテロップ画素データ抽出処理を示している。
まず、ステップＳＴ６１で、画像信号Ｖａにより得られる画面のうち、テロップが存在するラインに関して、水平方向の動き量を示す動き情報ＭＥを取得する（動き情報出力部１２２の処理に対応）。
【０１３２】
次に、ステップＳＴ６２で、ステップＳＴ６１で得られた動き情報ＭＥに基づいて画像信号Ｖａの１フレーム前の信号Ｖａｐおよび１フレーム後の信号Ｖａｎに対して動き補償を行い、現在フレームの信号Ｖａｃおよび動き補償後の信号Ｖａｐ′，Ｖａｎ′から、信号Ｖａｃにより得られる画面を構成する各画素が、テロップのエッジ位置の画素であるか否かを判定し、その判定結果に基づいて、カウンタの増加処理あるいは減少処理を行って、画面の各画素がテロップのエッジ位置の画素であるか否かを最終的に判定するための判定情報としてのカウント値ＣＮを得る（判定情報取得部１２３の処理に対応）。
【０１３３】
次に、ステップＳＴ６３で、ステップＳＴ６２で得られた画面の各画素に対応したカウンタのカウント値ＣＮを、所定の閾値ＴＨ、例えば３を用いて２値化し、画像信号Ｖａの現在フレームの信号により得られる画面の各画素がテロップのエッジ位置の画素であるか否かを示すエッジ位置フラグＥＦＬを得る（２値化処理部１２４の処理に対応）。
【０１３４】
次に、ステップＳＴ６４で、ステップＳＴ６３で得られたエッジ位置フラグＥＦＬに基づいて、画像信号Ｖａの現在フレームの信号を構成する各画素データのうち、テロップのエッジ位置の画素に対応した画素データを抽出する（エッジ画素抽出部１２５の処理に対応）。
【０１３５】
次に、ステップＳＴ６５で、ステップＳＴ６４で抽出されたテロップのエッジ位置の画素に対応した画素データに基づいて、データＹ，Ｕ，Ｖのそれぞれについてのヒストグラムを生成し、そしてこのヒストグラムに基づいてテロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒを決定する（ヒストグラム処理部１２６の処理に対応）。
【０１３６】
次に、ステップＳＴ６６で、ステップＳＴ６２で得られた画面の各画素に対応したカウンタのカウント値ＣＮに基づいて、テロップが存在するラインに対応して一の状態、例えば１となる抽出領域フラグＧＦＬを得る（抽出領域選択部１２７の処理に対応）。
【０１３７】
次に、ステップＳＴ６７で、ステップＳＴ６５で決定されたデータ値ｙｒ，ｕｒ，ｖｒおよびステップＳＴ６６で得られた抽出領域フラグＧＦＬに基づき、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）を抽出する（抽出部１２８の処理に対応）。この場合、画像信号Ｖａの現在フレームの信号を構成する各画素データのうち、抽出領域フラグＧＦＬが１となる画素の画素データで、かつデータＹ，Ｕ，Ｖの値がデータ値ｙｒ，ｕｒ，ｖｒの範囲に含まれる画素データを、テロップに対応した画素データ（Ｙ，Ｕ，Ｖ）として抽出する。
【０１３８】
図２に示すテロップ抽出回路１１０においては、テロップの動きの性質等を利用して当該テロップのエッジ位置を検出し、このエッジ位置の画素データを用いて生成されたヒストグラムからテロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒを求め、このデータ値ｙｒ，ｕｒ，ｖｒを用いてテロップに対応した画素データを抽出するものであり、画像信号Ｖａからテロップに対応した画素データのみを良好に抽出できる。
【０１３９】
また、図２に示すテロップ抽出回路１１０では、判定情報取得部１２３（図４参照）の判定部１４３で得られた、画面の各画素がテロップのエッジ位置の画素であるか否かの判定結果をそのまま用いるものではない。すなわち、この判定結果に基づいて画面の各画素に対応したカウンタのカウント値ＣＮをフレーム毎に更新し、当該カウント値ＣＮを２値化処理して画面の各画素がテロップのエッジ位置の画素であるか否かを示すエッジ位置フラグＥＦＬを得るようにしている。したがって、画面の各画素がテロップのエッジ位置の画素であるか否かの判定の信頼度を高めることができる。
【０１４０】
図２１は、テロップ抽出回路１１０の他の構成を示している。この図２１において、図２と対応する部分には同一符号を付し、その詳細説明は省略する。このテロップ抽出回路１１０においては、ヒストグラム処理部１２６の前段に、エッジ画素抽出部１２５で抽出されるテロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）に対して補正処理を行うデータ補正部１３０を有しており、その他については図２に示すテロップ抽出回路１１０と同様である。
【０１４１】
このデータ補正部１３０では、エッジ画素抽出部１２５で抽出されるテロップのエッジ位置の画素に対応した画素データ（Ｙ，Ｕ，Ｖ）にクロスカラーやノイズの影響がある場合、その影響を抑えるように補正処理が行われる。
【０１４２】
すなわち、データ補正部１３０は、積分データを保持しておく記憶手段としてのメモリ（図示せず）を備えている。そして、このデータ補正部１３０は、現在フレームの注目位置の画素データに関しては、メモリからこの注目位置の画素データに対応し、１フレーム前に生成された積分データをメモリから読み出し、この積分データと注目位置の画素データとを所定の混合比率で混合して、補正された出力画素データを生成する。また、データ補正部１３０は、この出力画素データを次のフレームで使用する積分データとして上述のメモリの当該注目位置に対応したアドレスに書き込む。
【０１４３】
ここで、注目位置の画素データに対応した積分データがメモリのどのアドレスに書き込まれているかは、動き情報出力部１２２より出力される動き情報ＭＥに基づいて知ることができる。また、混合比率に関しては、積分データの比率が高いほどクロスカラーやノイズの影響をより抑えることができ、例えば注目位置の画素データの比率が０．２、積分データの比率が０．８とされる。
【０１４４】
図２２を参照して、データ補正部１３０の補正処理を簡単に説明する。図２２Ａに示すように、画像信号Ｖａにおけるテロップのエッジ位置の画素（●で図示）のデータ値が、ｔ−２フレームでは「１００」、ｔ−１フレームでは「１００」、現在フレーム（ｔフレーム）ではクロスカラーやノイズの影響で「５０」であるとする。また、図２２Ｂに示すように、積分データのデータ値が、ｔ−２フレームでは「１００」、ｔ−１フレームでは「１００」であったとする。この場合、現在フレーム（ｔフレーム）の積分データ（出力画素データ）のデータ値は、０．８×１００＋０．２×５０＝９０となり、クロスカラーやノイズの影響が軽減されたものとなる。
【０１４５】
図２１に示すテロップ抽出回路１１０におけるように、ヒストグラム処理部１２６の前段にデータ補正部１３０を有する構成とすることで、ヒストグラム処理部１２６に供給される画素データ（Ｙ，Ｕ，Ｖ）におけるクロスカラーやノイズの影響を抑えることができる。
【０１４６】
したがって、ヒストグラム処理部１２６では供給される画素データ（Ｙ，Ｕ，Ｖ）を資料としてヒストグラムを作成し、そのヒストグラムに基づいてテロップに対応した画素データを構成するデータＹ，Ｕ，Ｖのデータ値ｙｒ，ｕｒ，ｖｒを決定するものであるが、このデータ値ｙｒ，ｕｒ，ｖｒの決定処理を、より正確に行うことができる。
【０１４７】
なお、上述実施の形態においては、テロップが単色であるものを示したが、例えば図２３Ａに示すように他の色の縁がついたテロップの場合でも、テロップのエッジ（図２３Ｂ）の抽出は同様に可能であるのでエッジの情報は別に保持し、他の方法でテロップの内部（図２３Ｃ）の情報を得ることができれば、縁のついたテロップに対応した画素データも同様に抽出できる。例えば、テロップの内部の情報は、エッジに囲まれた領域の画素データを用い、ヒストグラム処理部１２６で同様に得ることができる。
【０１４８】
また、上述実施の形態においては、テロップが単色であるものを示したが、図２４Ａに示すようにテロップの内側が背景と同じ色の場合には、テロップと判断できるのはテロップのエッジ部分である。この場合には、図２４Ｂに示すように、テロップのエッジ位置の画素に対応する画素データが、テロップに対応する画素データとして抽出されることになる。
【０１４９】
また、上述実施の形態においては、画素データが輝度データＹ、青色差データＵおよび赤色差データＶで構成されるものを示したが、この発明は画素データが赤色データＲ、緑色データＧおよび青色データＢで構成されるものにも同様に適用できる。その場合、テロップ抽出回路１１０（図２参照）では、輝度データＹの代わりに、例えば緑色データＧを用いて、画面の各画素がエッジ位置の画素であるか否かの判定を行えばよい。また、ヒストグラム処理部１２６では、データＲ，Ｇ，Ｂのそれぞれについてのヒストグラムが生成され、これに基づいてテロップに対応した画素データを構成するデータＲ，Ｇ，Ｂのデータ値が決定されることとなる。
【０１５０】
また、上述実施の形態においては、画像信号Ｖａからテロップに対応した画素データを抽出し、その抽出された画素データからなる画像信号ＶｂをＨＤＤ１１１に記憶しておき、ユーザ所望の時間に、この画像信号ＶｂをＨＤＤ１１１から読み出し、ディスプレイ部１０９にその画像信号Ｖｂによるテロップを表示し得るものを示した。その他に、抽出されたテロップに対応した画素データからなる画像信号Ｖｂを番組情報と共に例えばＨＤＤに記録しておき、番組情報をキーワードとして検索を行って、ディスプレイ部１０９にその番組情報に対応した画像信号Ｖｂに基づくテロップを表示し得るように構成することもできる。また、画像信号Ｖｂによるテロップを、画像信号Ｖａによる画像を表示するディスプレイ部１０９とは別個のディスプレイ部に表示するようにしてもよい。
【０１５１】
【発明の効果】
この発明によれば、人工的画像の動きの性質等を利用して当該人工的画像のエッジ位置を検出し、このエッジ位置の画素データを用いて生成されたヒストグラムから人工的画像に対応した画素データを構成する複数の色データのデータ値を求め、この複数の色データのデータ値を用いて人工的画像に対応した画素データを抽出するものであり、入力画像信号から人工的画像に対応した画素データのみを良好に抽出できる。
【図面の簡単な説明】
【図１】実施の形態としてのテレビ受信機の構成を示すブロック図である。
【図２】テロップ抽出回路の構成を示すブロック図である。
【図３】ブロックマッチングの処理を説明するための図である。
【図４】判定情報取得部の構成を示すブロック図である。
【図５】テロップに対応する位置の画素であるか否かの判定を説明するための図である。
【図６】テロップに対応する位置の画素であるか否かのパターン判定を説明するための図である。
【図７】エッジ判定を説明するための図である。
【図８】カウンタ部における更新動作を説明するための図である。
【図９】エッジ位置の画素であるか否かの判定処理を示すフローチャートである。
【図１０】エッジ位置フラグを得るための２値化処理を示すフローチャートである。
【図１１】エッジ画素抽出部における割り当て処理の一例を示す図である。
【図１２】エッジ画素抽出部における割り当て処理を示すフローチャートである。
【図１３】ヒストグラム処理部の構成を示すブロック図である。
【図１４】ヒストグラムの生成を説明するための図である。
【図１５】階級決定部で決定される階級の幅、各階級のデータ値の範囲を説明するための図である。
【図１６】ヒストグラム処理部におけるデータ値決定処理を示すフローチャートである。
【図１７】抽出領域選択部における選択処理の一例を示す図である。
【図１８】抽出領域選択部における選択処理を示すフローチャートである。
【図１９】抽出部における割り当て処理を示すフローチャートである。
【図２０】テロップ抽出回路におけるテロップ画素データの抽出処理を示すフローチャートである。
【図２１】テロップ抽出回路の他の構成を示すブロック図である。
【図２２】データ補正処理の一例を示す図である。
【図２３】縁つきテロップの場合を説明するための図である。
【図２４】エッジだけのテロップの場合を説明するための図である。
【符号の説明】
１００・・・テレビ受信機、１０１・・・システムコントローラ、１０２・・・リモコン信号受信回路、１０３・・・リモコン送信機、１０５・・・受信アンテナ、１０６・・・チューナ部、１０７・・・バッファメモリ、１０８・・・マトリックス回路、１０９・・・ディスプレイ部、１１０・・・テロップ抽出回路、１１１・・・ハードディスクドライブ、１１２・・・ＯＳＤ回路、１１３・・・合成器、１２１・・・入力端子、１２２・・・動き情報出力部、１２３・・・判定情報取得部、１２４・・・２値化処理部、１２５・・・エッジ画素抽出部、１２６・・・ヒストグラム処理部、１２７・・・抽出領域選択部、１２８・・・抽出部、１２９・・・出力端子、１３０・・・データ補正部、１４１，１４２・・・動き補償部、１４３・・・判定部、１４４・・・エッジ判定部、１４５・・・カウンタ部、１５１，１５４・・・ヒストグラム生成部、１５２・・・最頻値・分散値取得部、１５３・・・階級決定部、１５５・・・データ値決定部
【図１】
2004318256.tif 000004
【図２】
2004318256.tif 000005
【図３】
2004318256.tif 000006
【図４】
2004318256.tif 000007
【図５】
2004318256.tif 000008
【図６】
2004318256.tif 000009
【図７】
2004318256.tif 000010
【図８】
2004318256.tif 000011
【図９】
2004318256.tif 000012
【図１０】
2004318256.tif 000013
【図１１】
2004318256.tif 000014
【図１２】
2004318256.tif 000015
【図１３】
2004318256.tif 000016
【図１４】
2004318256.tif 000017
【図１５】
2004318256.tif 000018
【図１６】
2004318256.tif 000019
【図１７】
2004318256.tif 000020
【図１８】
2004318256.tif 000021
【図１９】
2004318256.tif 000022
【図２０】
2004318256.tif 000023
【図２１】
2004318256.tif 000024
【図２２】
2004318256.tif 000025
【図２３】
2004318256.tif 000026
【図２４】
2004318256.tif 000027
【手続補正書】
【提出日】平成16年4月21日(2004.4.21)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】特許請求の範囲
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出する人工的画像抽出装置であって、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに関して水平方向の動き量の情報を出力する動き情報出力手段と、
上記動き情報出力手段より出力される動き量の情報に基づいて、上記入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う動き補償手段と、
上記入力画像信号の現在フレームの信号および上記動き補償手段で動き補償された、上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する判定手段と、
上記判定手段の判定結果に基づいて、上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記人工的画像のエッジ位置の画素に対応した画素データを抽出するエッジ画素抽出手段と、
上記エッジ画素抽出手段で抽出された各画素データを用いてヒストグラムを生成し、該ヒストグラムに基づいて上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値を求めるヒストグラム処理手段と、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る抽出領域選択手段と、
上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記抽出領域選択手段で得られた上記抽出領域フラグが一の状態となるラインの画素データで、かつ上記ヒストグラム処理手段で求められたデータ値の複数の色データからなる画素データを、上記人工的画像に対応した画素データとして抽出する抽出手段と
を備えることを特徴とする人工的画像抽出装置。
【請求項２】
上記判定手段は、上記入力画像信号の現在フレームの信号により得られる画面の注目位置の画素が上記人工的画像に対応するエッジ位置の画素であるか否かを、上記入力画像信号の現在フレームおよび該現在フレームの前後のフレームにおける上記注目位置の近傍に位置する複数の画素データのレベル関係を示すパターンに基づいて判定する
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項３】
上記判定手段は、
上記入力画像信号の現在フレームの信号および上記動き補償部で動き補償された上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する判定部と、
画面の各画素に対応したカウンタを有し、上記判定部で上記人工的画像のエッジ位置の画素であると判定されたか否かによりカウント値を更新するカウンタ部と、
上記カウンタ部に有する上記画面の各画素に対応したカウンタのカウント値を２値化して、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを示すエッジ位置フラグを判定結果として得る２値化処理部とを有する
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項４】
上記ヒストグラム処理手段は、
上記エッジ画素抽出手段で抽出された各画素データに基づき、上記複数の色データのそれぞれについて、変量としてのデータ値を所定数の階級に分け、各階級に属するデータ個数を度数とするヒストグラムを生成し、各ヒストグラムの度数が最大となる階級に対応するデータ値を、上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値とする
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項５】
上記ヒストグラム処理手段は、
各色データにおける上記ヒストグラムの階級の幅を、該各色データの分散値に基づいて決定する
ことを特徴とする請求項４に記載の人工的画像抽出装置。
【請求項６】
上記ヒストグラム処理部の前段に、上記エッジ画素抽出手段で抽出される第１の画素データに対して補正処理をするデータ補正手段をさらに備え、
上記データ補正手段は、
積分データとしての第２の画素データを保持する記憶手段と、
上記記憶手段から、上記動き情報出力手段より出力される動き量の情報に基づいて、上記第１の画素データに対応した、１フレーム前に書き込まれた第２の画素データを読み出すデータ読み出し手段と、
上記第１の画素データおよび上記データ読み出し手段で読み出された第２の画素データとを所定の混合比率で混合して出力画素データを得る混合手段と、
上記混合手段で得られた出力画素データを上記記憶手段に上記第２の画素データとして書き込むデータ書き込み手段とを有する
ことを特徴とする請求項１に記載の人工的画像抽出装置。
【請求項７】
それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出する人工的画像抽出方法であって、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに関して水平方向の動き量の情報を得る第１のステップと、
上記第１のステップで得られる動き量の情報に基づいて、上記入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う第２のステップと、
上記入力画像信号の現在フレームの信号および上記第２のステップで動き補償された、上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する第３のステップと、
上記第３のステップにおける判定結果に基づいて、上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記人工的画像のエッジ位置の画素に対応した画素データを抽出する第４のステップと、
上記第４のステップで抽出された各画素データを用いてヒストグラムを生成し、該ヒストグラムに基づいて上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値を求める第５のステップと、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る第６のステップと、
上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記第６のステップで得られた上記抽出領域フラグが一の状態となるラインの画素データで、かつ上記第５のステップで求められたデータ値の複数の色データからなる画素データを、上記人工的画像に対応した画素データとして抽出する第７のステップと
を備えることを特徴とする人工的画像抽出方法。
【請求項８】
それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出するために、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに関して水平方向の動き量の情報を得る第１のステップと、
上記第１のステップで得られる動き量の情報に基づいて、上記入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う第２のステップと、
上記入力画像信号の現在フレームの信号および上記第２のステップで動き補償された、上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する第３のステップと、
上記第３のステップにおける判定結果に基づいて、上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記人工的画像のエッジ位置の画素に対応した画素データを抽出する第４のステップと、
上記第４のステップで抽出された各画素データを用いてヒストグラムを生成し、該ヒストグラムに基づいて上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値を求める第５のステップと、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る第６のステップと、
上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記第６のステップで得られた上記抽出領域フラグが一の状態となるラインの画素データで、かつ上記第５のステップで求められたデータ値の複数の色データからなる画素データを、上記人工的画像に対応した画素データとして抽出する第７のステップと
を備える人工的画像抽出方法をコンピュータに実行させるためのプログラム。
【請求項９】
それぞれの画素データが複数の色データからなる入力画像信号から人工的画像に対応した画素データを抽出するために、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに関して水平方向の動き量の情報を得る第１のステップと、
上記第１のステップで得られる動き量の情報に基づいて、上記入力画像信号の現在フレームの前後に位置するフレームの信号に対して動き補償を行う第２のステップと、
上記入力画像信号の現在フレームの信号および上記第２のステップで動き補償された、上記入力画像信号の現在フレームの前後に位置するフレームの信号に基づいて、上記入力画像信号の現在フレームの信号により得られる画面の各画素が上記人工的画像のエッジ位置の画素であるか否かを判定する第３のステップと、
上記第３のステップにおける判定結果に基づいて、上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記人工的画像のエッジ位置の画素に対応した画素データを抽出する第４のステップと、
上記第４のステップで抽出された各画素データを用いてヒストグラムを生成し、該ヒストグラムに基づいて上記人工的画像に対応した画素データを構成する上記複数の色データのデータ値を求める第５のステップと、
上記入力画像信号により得られる画面のうち上記人工的画像が存在するラインに対応して一の状態となる抽出領域フラグを得る第６のステップと、
上記入力画像信号の現在フレームの信号を構成する各画素データのうち、上記第６のステップで得られた上記抽出領域フラグが一の状態となるラインの画素データで、かつ上記第５のステップで求められたデータ値の複数の色データからなる画素データを、上記人工的画像に対応した画素データとして抽出する第７のステップと
を備える人工的画像抽出方法をコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な媒体。  
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
【発明の属する技術分野】
この発明は、それぞれの画素データが複数の色データからなる入力画像信号からテロップ等の人工的画像に対応した画素データを抽出する人工的画像の抽出装置および抽出方法、並びにプログラムおよび媒体に関する。


【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】変更
【補正の内容】
【００１０】
また、この発明に係るプログラムは、上述の人工的画像抽出方法をコンピュータに実行させるためのものである。また、この発明に係る媒体は、そのプログラムを記録したものである。