(57)【要約】【課題】字幕領域をより一層正確に検出して、順次走査変換された信号の画像品質を一層向上する。【解決手段】映像信号を小領域に分割し、前記小領域内の垂直高域成分の画素数、前記小領域内のダイナミックレンジ及び高輝度画素数がそれぞれ所定の値を超えているか否かを判定し、前記小領域毎に字幕領域であるか否かを１次的に判定する１次判定部と、前記１次判定手段で字幕領域と判定された小領域近傍に存在する小領域であって、高輝度画素数が所定値以上の小領域を字幕領域として判定する２次判定部と、前記１次判定手段及び２次判定手段で字幕領域と判定された小領域近傍に存在する小領域であって、低輝度画素数が所定値以上の小領域を字幕領域として判定する３次判定部と、記１次、２次及び３次判定手段で判定された字幕領域の全体を最終的な字幕領域情報として出力する補正部を有する。【選択図】図１
2008252561.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を小領域に分割する分割部と、
前記小領域内の特徴量を算出し、この算出した特徴量を元に前記小領域毎に字幕領域であるか否かを１次的に判定する１次判定部と、
前記１次判定部で字幕領域と判定された小領域近傍に存在する小領域であって、高輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する２次判定部と、
前記１次判定部又は前記２次判定部で字幕領域と判定された小領域近傍に存在する小領域であって、低輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する３次判定部と、
記１次、２次及び３次判定部で判定された字幕領域の全体を最終的な字幕領域情報として出力する補正部と、
を有したことを特徴とする字幕領域検出装置。
【請求項２】
前記１次判定部においては、垂直高域成分の画素数、前記小領域内のダイナミックレンジ及び高輝度画素数がそれぞれ所定の値を超えているか否かを判定し、前記小領域毎に字幕領域であるか否かを１次的に判定することを特徴とする請求項１記載の字幕領域検出装置。
【請求項３】
前記２次判定部が判定する複数の小領域の数は、可変可能であることを特徴とする請求項１記載の字幕領域検出装置。
【請求項４】
前記３次判定部が判定する複数の小領域の数は、可変可能であることを特徴とする請求項１記載の字幕領域検出装置。
【請求項５】
現フィールド信号とそれを1フィールド遅延させた1フィールド遅延信号と、さらに1フィールド遅延させた２フィールド遅延信号の計３フィールドの信号を得るフィールド遅延回路と、前記現フィールド信号、１フィールド遅延信号及び２フィールド遅延信号を用いて、プルダウン信号か否かを検出するプルダウン信号検出回路と、前記プルダウン信号検出回路がプルダウン信号である判定出力を得たとき、前記１フィールド遅延信号に対して補間する信号として、前記現フィールド信号または前記２フィールド遅延信号を選択する第１のセレクタと、前記現フィールド信号、１フィールド遅延信号及び２フィールド遅延信号を用いて、動き適応補間信号を生成する動き適応補間信号生成回路と、前記現フィールド信号と補間信号を用いて順次走査信号を得る走査線整列回路とを有し、
前記プルダウン信号検出回路は、プルダウン信号検出出力と、字幕小領域状態検出出力により、前記第１のセレクタの出力と前記動き適応補間信号が供給される第２のセレクタを制御し、
（１）前記プルダウン信号検出出力がプルダウン信号を示し、字幕小領域状態検出出力が字幕小領域の状態変化を示していないときは、前記第１のセレクタの選択出力を前記走査線整列回路に供給するように制御し、
（２）前記プルダウン信号検出出力がプルダウン信号を示し、字幕小領域状態検出出力が字幕小領域の状態変化を示しているときは、前記動き適応補間信号を前記走査線整列回路に供給するように制御し、
（３）前記プルダウン信号検出出力がプルダウン信号を示していないときは、前記動き適応補間信号を前記走査線整列回路に供給するように制御する手段を有する、
ことを特徴とする画像処理装置。
【請求項６】
前記プルダウン信号検出回路は、内部に字幕領域検出回路を有し、この字幕領域検出回路は、
映像信号を小領域に分割する分割部と、
前記小領域内の特徴量を算出し、その特徴量を元に前記小領域毎に字幕領域であるか否かを１次的に判定する１次判定部と、
前記１次判定部で字幕領域と判定された小領域近傍に存在する小領域であって、高輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する２次判定部と、
前記１次判定手段又は２次判定手段で字幕領域と判定された小領域近傍に存在する小領域であって、低輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する３次判定部と、
記１次、２次及び３次判定部で判定された字幕領域の全体を最終的な字幕領域情報として出力する補正部と、
を有したことを特徴とする請求項６記載の画像処理装置。
【請求項７】
前記１次判定部において垂直高域成分の画素数、前記小領域内のダイナミックレンジ及び高輝度画素数がそれぞれ所定の値を超えているか否かを判定し、前記小領域毎に字幕領域であるか否かを１次的に判定することを特徴とする請求項７記載の画像処理装置。
【請求項８】
映像信号が入力される分割部により、前記映像信号を小領域に分割し、
小領域内の特徴量を算出し、それを元に第１の字幕小領域検出出力を得て、
前記第１の字幕小領域検出出力により、第１の字幕小領域と判定された小領域近傍に存在する小領域内において、所定輝度レベル以上の高輝度画素の画素数を取得して、所定数以上となる小領域を検出して第２の字幕小領域検出出力を得て、
前記第１又は第２の字幕小領域検出出力により、第１又は第２の字幕小領域と判定された小領域近傍に存在する小領域内において、所定輝度レベル以下の低輝度画素の画素数を取得して、所定数以上となる小領域を検出して第３の字幕小領域検出出力を得て、
前記第１の字幕領域検出出力と、第２および第３の字幕領域検出出力にて特定された各小領域とをあわせた複数の小領域を字幕小領域検出補正出力として得ることを特徴とする字幕領域検出方法。
【請求項９】
映像信号が入力される分割部により、前記映像信号を小領域に分割し、
小領域内垂直高域カウンタを用いて、前記小領域内の垂直高域成分の画素数を取得して所定数以上となる小領域を検出して第１の検出情報とし、小領域内ダイナミックレンジ算出回路を用いて、前記小領域内のダイナミックレンジが所定レベル以上の小領域を検出して第２の検出情報とし、小領域内高輝度画素数カウンタを用いて、前記小領域内の高輝度画素数を取得して所定数以上となる小領域を検出して第３の検出情報とし、これら第１、第２、第３の検出情報の論理積により、第１の字幕小領域検出出力を得る
ことを特徴とする請求項８記載の字幕領域検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、字幕領域検出装置及び方法及び画像処理装置に関するものであり、例えば字幕領域あるいはテロップ領域の検出精度を向上し、またこの字幕検出処理技術を適用した走査変換処理装置に及ぶものである。
【背景技術】
【０００２】
従来テレシネ変換されたインターレースの画像信号を、ノンインターレースの画像信号（プログレッシブ信号）に変換する技術が開発されている（特許文献１参照）。ここでは、字幕領域がテレシネ信号のシーケンスに整合していないときに、字幕の乱れが生じるのを抑制している。そのために、テレシネ信号が入力しており、字幕が検出されていないときは、２−３プルダウン補間部からの補間信号を採用し、また、テレシネ信号が入力しており、字幕が検出されているときは、動き適応補間部からの補間信号を採用している。
【０００３】
特許文献１では、字幕領域の検出方法については、詳細な開示はなされていない。字幕領域の検出方法に類似する技術としてテロップを検出する技術がある（特許文献２）。ここでは、テロップを特定領域として検出している。テロップの特質は、（１）同一信号レベルの画素で構成される、（２）通常３−４秒以上は表示されるので、テロップを構成する画素は所定の時間以上同一の信号レベルを保持する、（３）テロップを目立たせるため、背景となる画と信号レベルで大きく差がある。これらの特質を、それぞれ、均一輝度領域検出回路、一定時間無変化画素検出回路、高周波領域検出回路で検出している。検出結果には重み付けが行なわれ、これらの加算結果からテロップ領域の判定、非判定を行なっている。
【特許文献１】特開２００２−５７９９３公報
【特許文献２】特開平１０−２３３９９４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記したように２−３プルダウン技術と、字幕領域の検出技術及び走査線変換技術との間には、密接なかかわりがある。テレシネ信号は、１秒間に２４こまの画像信号（２４Ｈｚ信号）を、１秒間６０フィールドの画像信号（６０Ｈｚ信号）に変換した信号である。このテレシネ信号は、規則性をもって変換されている。即ち、２４Ｈｚの各フレームが、順次２回−３回−２回−３回−・・・・と使用されている。この変換により６０Ｈｚの信号が生成されている。この方式はいわゆる２−３プルダウンと称される。
【０００５】
一方、字幕信号が映画の画像には多重される。テレシネ信号に多重される字幕信号の多重シーケンスは、２−３プルダウン処理のシーケンスとは独立している。
【０００６】
テレシネ信号が、インターレース信号であり、このインターレース信号をノンインターレース信号に変換するとき（順次走査信号に走査線変換するとき）は、２−３プルダウン規則に注意する必要がある。走査線変換処理においては、補間信号が生成される。補間信号は、互いに相関性の高いフィールドの走査線を用いることが好ましい。このために、走査線変換処理においては、２−３プルダウン信号の規則に照らして、連続する２フィールドの信号を用いた補間信号生成→  次の連続する３フィールドの信号を用いた補間信号生成→次の連続する２フィールドの信号を用いた補間信号生成→次の連続する３フィールドの信号を用いた補間信号生成→  ・・・・・の順序で処理される。
【０００７】
しかしながら、ここで問題となるのは、字幕が存在するときである。先にも述べたように字幕信号の多重シーケンスは、２−３プルダウン処理のシーケンスとは独立して行なわれている。このために、２−３プルダウンされた信号が走査線変換処理（２−３プルダウン補間処理）を受けた場合、字幕が存在する領域では、字幕が櫛状に乱れる。そこで、従来では、２−３プルダウン補間処理部からの補間信号を採用せず、通常の動き適応処理部からの補間信号を採用している。
【０００８】
しかし、従来の装置では、字幕領域が正確に検出されていることが前提である。字幕領域が誤検出されたとき、適切な前記採用が行なわれず字幕が櫛状となり、画像品質が落ちる。
【０００９】
そこで、この発明の一実施形態では２−３プルダウン信号の中の字幕領域をより一層正確に検出して、順次走査変換された信号の画像品質を一層向上することができるようにした字幕領域検出装置及び方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
上記の目的を達成するためにこの発明の一面では、映像信号を小領域に分割する分割部と、前記小領域内の特徴量を算出し、この算出した特徴量を元に前記小領域毎に字幕領域であるか否かを１次的に判定する１次判定部と、前記１次判定手段で字幕領域と判定された小領域近傍に存在する小領域であって、高輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する２次判定部と、前記１次判定手段又は前記２次判定手段で字幕領域と判定された小領域近傍に存在する小領域であって、低輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する３次判定部と、前記１次、２次及び３次判定手段で判定された字幕領域の全体を最終的な字幕領域情報として出力する補正部と、を有する。
【発明の効果】
【００１１】
上記の手段により、より細かな領域で字幕検出を行うことが可能となり、字幕領域の検出精度が向上する。そして、動き判定への字幕の影響を低減することが出来る。またこの検出装置を走査線変換装置に適用することで字幕の入り際／消え際に発生する櫛状の字幕を除去できる。
【発明を実施するための最良の形態】
【００１２】
以下、この発明の実施の形態を、図面を参照して説明する。図１に本発明における字幕領域検出装置の一例を示し、図１に字幕領域検出補正のフローチャートの例を示し、図３に字幕領域の検出結果の一例を示している。
【００１３】
＜字幕領域検出装置の構成例＞
まず図１には全字幕領域検出装置の体的な構成を示している。
【００１４】
図１において、入力端子１１には、映像信号が入力される。映像信号は、水平低域フィルタ１２、垂直高域フィルタ１３を介して比較部１４に入力される。比較器１４は、例えば１画素単位で、垂直高域成分が予め設定した設定値以上の高域レベルのときに検出出力を得る。設定値は、端子１５に与えられている。
【００１５】
比較器１４からの検出出力は、小領域内垂直高域画素数カウンタ１６に入力する。この小領域内垂直高域画素数カウンタ１６は、小領域内の垂直高域画素の数をカウントする。このカウント値は、比較器１７において、端子１８から与えられている判定レベルと比較される。比較器１７は、カウント値が、判定レベルを超えているときに、小領域が垂直高域小領域であることを示す検出出力を得る。この検出出力は、アンド回路１９に供給される。
【００１６】
また、入力端子１１の映像信号は、小領域内ダイナミックレンジ算出回路２１に入力される。小領域内ダイナミックレンジ算出回路２１は、小領域内で画素の輝度分布の最大値と最小値の差分により求めたダイナミックレンジ（以下、ダイナミックレンジ）を検出する。検出したダイナミックレンジは、比較器２２に入力され、端子２３に与えられている比較レベルと比較される。ダイナミックレンジが比較レベルを超えているときに、比較器２２は、小領域がダイナミックレンジの大きい小領域であることを示す検出出力を得る。
【００１７】
さらにまた、入力端子１１の映像信号は比較器２４に入力される。比較器２４は端子２５に与えられている高輝度比較レベルと、入力画素の輝度レベルとを比較する。比較器２４は、入力画素の輝度レベルが高輝度比較レベルを超えているときに検出出力を得る。この検出出力は、小領域内高輝度画素数カウンタ２６に入力される。小領域内の高輝度画素数は比較器２７に入力され、高輝度画素数比較レベルと比較される。比較器２７は、小領域内の高輝度画素数が高輝度画素数比較レベルを超えているときに検出出力を得る。この検出出力は、高輝度フラグとしてアンド回路１９に供給される。
【００１８】
アンド回路１９は、小領域単位の字幕小領域検出出力を得る。即ち、小領域内で、（１）空間周波数高域成分が大きい画素が所定数以上、（２）ダイナミックレンジ任意の閾値を越えている、（３）高輝度の画素数が所定数以上であることが満たされたとき、アンド回路１９からは、字幕小領域検出出力（第１の字幕小領域検出出力と称してもよい）が得られる。
【００１９】
この字幕小領域検出出力は、字幕小領域検出補正回路２８に入力される。この字幕小領域検出補正回路２８には、先の高輝度フラグも入力されている。この高輝度フラグは、第２の字幕小領域検出出力と称してもよい。さらにこれから説明する低輝度フラグも入力され、この低輝度フラグは、第３の字幕小領域検出出力と称してもよい。また端子２９から高輝度補正範囲設定情報、端子３０から低輝度補正範囲設定情報も入力される。
【００２０】
入力端子１１の映像信号は、比較器３１にも入力され、端子３２からの低輝度比較レベルと比較される。比較器３１は、入力画素の輝度が、比較レベルよりも低い場合に検出出力を得る。この検出出力は、小領域内低輝度画素数カウンタ３３に入力される。小領域内低輝度画素数カウンタ３３では、小領域内に存在する低輝度の画素数をカウントする。そのカウント値は、比較器３４に入力され、端子３５からの低輝度画素数比較レベルと比較される。比較器３４は、小領域内の低輝度画素数が比較レベル以上のとき、低輝度フラグを出力する。
【００２１】
字幕小領域検出補正回路２８は、アンド回路１９から出力された字幕小領域検出出力に基づいて、字幕領域内の第１の小領域を認識する。さらにこの第１の小領域に加えて、高輝度フラグが存在する小領域を字幕小領域内の第２の小領域として認識する。さらにまた、この第１、２の字幕小領域に加えて、低輝度フラグが存在する小領域を字幕領域内の第３の字幕小領域として認識する。そして、字幕小領域検出補正回路２８は、最終的な字幕領域検出出力を得る。端子２９に与えられる高輝度補正範囲設定情報は、高輝度フラグが存在する小領域をチェックするために、チェックエリア（複数の小領域）を設定するための情報（例えば５×５の小領域）である。また端子３０に与えられる低輝度補正範囲設定情報は、低輝度フラグが存在する小領域をチェックするために、チェックエリア（複数の小領域）を設定するための情報（例えば３×３の小領域）である。
【００２２】
尚、制御部４１は、各ブロックの動作シーケンスを統括して制御している。また、入力映像信号の基本クロック及び同期信号に同期してバッファ回路４０も制御し、小領域の分割処理も行う。
【００２３】
上記したようにこの発明の装置は、映像信号を小領域に分割する分割部を有する。そして小領域内の特徴量を算出し、この算出した特徴量を元に前記小領域毎に字幕領域であるか否かを１次的に判定する１次判定部と、前記１次判定手段で字幕領域と判定された小領域近傍に存在する小領域であって、高輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する２次判定部を有する。さらに前記１次判定手段又は前記２次判定手段で字幕領域と判定された小領域近傍に存在する小領域であって、低輝度画素と判定された画素数が所定値以上の小領域を字幕領域として判定する３次判定部を有する。そして、１次、２次及び３次判定手段で判定された字幕領域の全体を最終的な字幕領域情報として出力する補正部を有する。
【００２４】
また方法としては、まず映像信号が入力される分割部により、前記映像信号を小領域に分割している。次に、小領域内の特徴量を算出し、それを元に第１の字幕小領域検出出力を得る。さらに、前記第１の字幕小領域検出出力により、第１の字幕小領域と判定された小領域近傍に存在する小領域内において、所定輝度レベル以上の高輝度画素の画素数を取得して、所定数以上となる小領域を検出して第２の字幕小領域検出出力を得る。次に前記第１又は第２の字幕小領域検出出力により、第１又は第２の字幕小領域と判定された小領域近傍に存在する小領域内において、所定輝度レベル以下の低輝度画素の画素数を取得して、所定数以上となる小領域を検出して第３の字幕小領域検出出力を得ている。
【００２５】
そして、第１の字幕領域検出出力と、第２および第３の字幕領域検出出力にて特定された各小領域とをあわせた複数の小領域を字幕小領域検出補正出力として得るものである。
【００２６】
上記の小領域近傍としては以下のように説明できる。例えば第２の字幕小領域検出出力を得るために処理される複数の小領域であり、第１の字幕領域検出出力に対応した小領域を中心として、５×５の範囲の小領域である。また第３の字幕小領域検出出力を得るために処理される複数の小領域は、例えば第１の字幕領域検出出力に対応した小領域を中心として、３×３の範囲の小領域である。さらにまた第２の字幕小領域検出出力を得るために処理される複数の小領域の数、第３の字幕領域検出出力を得るために処理される複数の小領域の数は、後述するようにそれぞれ可変可能である。
【００２７】
＜動作例と処理字幕の例＞
図２と図３を参照しながら、上記の装置の動作を説明する。図２において、ステップＳＡ１は、アンド回路１９から字幕小領域検出出力が得られたときに、字幕小領域１として判定した状態である。字幕小領域（１）が検出されたとき、この検出された字幕小領域を中心とする高輝度補正範囲内の小領域で高輝度フラグが立っているかどうかを判断する（ステップＳＡ２）。高輝度補正フラグが立っている小領域が存在したら、その小領域を字幕小領域（２）として認定する（ステップＳＡ３）。なお、既に字幕小領域（１）として検出されている小領域についての補正は行わない。この認定をここでは、高輝度補正と称することにする。次に、全小領域の高輝度補正が完了したかどうかを判断する（ステップＳＡ４）。
【００２８】
高輝度補正が完了した場合、低輝度補正に移行する。字幕小領域（１）又は（２）として検出された小領域を中心とする低輝度補正範囲内の小領域で低輝度フラグが立っている小領域があるかどうかを判断する（ステップＳＡ５、ＳＡ６）。低輝度フラグが立っている小領域があった場合、字幕小領域（３）として認定する（ステップＳＡ７）。なお、既に字幕小領域（１）又は（２）として検出されている小領域についての補正は行わない。そして全小領域の低輝度補正が完了したどうかを判定する（ステップＳＡ８）。
【００２９】
全小領域の低輝度補正が完了していれば、字幕小領域（１）、（２）及び（３）として認定されている領域を字幕領域として認定する（ステップＳＡ９）。
【００３０】
図３は、例として文字「Ａ」の領域が字幕として検出されるときの認定動作を簡単に示している。まず映像信号が図３（a）に点線で示したような小領域に分割されるものとする。ここで、小領域内の空間周波数高域成分が大きい画素数の情報、小領域内のダイナミックレンジの情報、小領域内の高輝度画素数の情報を基に字幕検出を行った場合を考えてみる。
【００３１】
アンド回路１９からは、図３（b）の様な字幕小領域１の検出結果が得られる。斜線で示した部分が字幕小領域１として検出された部分である。「Ａ」という文字を形成する小領域のうち、全ての小領域が字幕小領域として検出されるわけではない。小領域が字幕の内部に完全に位置しても、ダイナミックレンジが不十分であるため、或いは空間周波数高域成分が大きい画素数が閾値を満たさないために、字幕小領域として検出されない領域がある。
【００３２】
また、字幕は黒色で縁取りされていることが多い。そのために、小領域に黒縁部分のみしか入っていない場合は、高輝度画素がほとんど存在しない。このため、その黒縁部分を含む小領域は上記の検出方法では字幕として検出されない。
【００３３】
そこで、前述のような字幕小領域（１）として検出されない小領域も字幕小領域として検出するために、図２のフローチャートで示した補正が行われる。
【００３４】
即ち、図３（ｃ）に字幕小領域（１）として検出された小領域（×印で示す）に着目して考える。×印近傍に設定した高輝度補正範囲（ここでは×印の小領域を中心として５×５）内に存在する小領域のうち、字幕小領域（１）とは判定されていないが、高輝度画素と判定された画素数が任意の閾値を越えている（高輝度フラグがたっている）小領域をチェックする。そして、高輝度フラグが立っている小領域を字幕小領域（２）と判定する（図３（ｃ）では字幕小領域２を○印で表示している）。この例では、１箇所を例示した。
【００３５】
この作業を字幕小領域（１）として検出された小領域毎に行い、高輝度字幕領域検出補正を行う。字幕小領域（２）として字幕領域検出補正した後、次に低輝度画素による補正を行う。
【００３６】
図３（ｄ）に×印で示した小領域に着目して考える。×印近傍に設定した低輝度補正範囲（ここでは×印の小領域を中心として３×３）内に存在する小領域のうち、字幕小領域（１）、又は字幕小領域（２）とは判定されていないが、低輝度画素と判定された画素数が任意の閾値を越えている（低輝度フラグがたっている）小領域をチェックする。そして低輝度フラグが立っている小領域を字幕小領域（３）と判定する（図３（ｃ）では字幕領域３を三角印で表示している）。この作業を字幕小領域（１）、及び字幕小領域（２）として検出された小領域毎に行うことで、低輝度字幕検出補正を行う。
【００３７】
なお、高輝度補正、低輝度補正の範囲をそれぞれ可変としてもよい。この可変は、端子２９、高輝度補正範囲設定情報（５×５）、端子３０に与えられる高輝度補正範囲設定情報（３×３）を変更することで行なわれる。この補正を用いることで、字幕検出領域を小さくすることが出来、より細かな範囲で字幕領域を検出することが可能となる。また、例えば、低輝度補正の範囲を１×１にすることで、低輝度補正を行わないといった事も可能である。さらには、字幕領域が大きくなったときも的確に字幕領域を検出することが可能となる。
【００３８】
＜２−３プルダウンに関する説明＞
図４にシネマ素材を６０Ｈｚプログレッシブ表示処理する場合の例を示している。２４（Ｆ／ｓ）のシネマ素材Ａ、Ｂ、Ｃ、Ｄ、Ｅが、プルダウン処理されて６０（Ｆ／ｓ）のフィールド信号Ａtop、Ａbot、Ｂtop、Ｂbot、Ｂtop、Ｃbot、Ｃtop、Ｄbot、Ｄtop、Ｄbot、Ｅtop、Ｅbot、に変換されている。さらに、トップ信号とボトム信号とが組み合わせられて、プログレッシブ信号Ａ、Ａ、Ｂ、Ｂ、Ｂ、Ｃ、Ｃ、Ｄ、Ｄ、Ｄ、Ｅ、Ｅ、に変換されている。この場合、２−３プルダウン信号に適合したシーケンスで処理される。
【００３９】
即ち、順次走査線変換処理においては、２−３プルダウン信号の中で連続する２フィールドの信号（Ａtop、Ａbot）を用いた補間信号生成→次の連続する３フィールドの信号（Ｂtop、Ｂbot、Ｂtop）を用いた補間信号生成→次の連続する２フィールドの信号（Ｃbot、Ｃtop）を用いた補間信号生成→次の連続する３フィールドの信号（Ｄbot、Ｄtop、Ｄbot、）を用いた補間信号生成→・・・・・の順で処理される。この処理はプルダウン信号補間処理と称される。
【００４０】
図５には、字幕が多重されている２−３プルダウン信号が６０Ｈｚプログレッシブ表示処理される場合の例を示している。字幕信号の多重シーケンスは、２−３プルダウン処理のシーケンスとは独立して行なわれている。このために、図４の場合と同様にプログレッシブ表示すると、一部に不具合な字幕（矢印Ｘで示す字幕）が表示される。
【００４１】
即ち、シネマ素材に字幕が表示される場合、シネマ画像は２フィールド、３フィールド（又は３フィールド、２フィールド）の順序で表示されるのに対し、字幕はそのシーケンスに同期して出力されるわけではない。そのため、プルダウン信号補間処理が行われた際、図５に示すように、同一フレームＢから生成されるフィールドのうち３フィールド目にのみ字幕が挿入されるということが生じる。
【００４２】
図６に、プルダウン信号補間処理が行われた際、不具合が生じた例を示している。ボトムフィールドとトップフィールドを単純に加算処理しても、片側のフィールドにしか字幕が表示されていないため、字幕部分が櫛状に表示されてしまう。
【００４３】
そこで、このような不具合を無くすために、図７に示すように、フィールド内補間処理を行った信号、つまり、字幕部分では、動き適応補間した信号を採用することにより、字幕領域での画質劣化を防ぐことができる。
【００４４】
そこでプルダウン信号補間処理する際に対応するトップフィールド、ボトムフィールドそれぞれに対して字幕検出を行い、片側のフィールドにしか字幕が検出されなかった場合には、字幕の入り際、又は消え際と判定し、字幕が検出された部分ではプルダウン信号補間処理ではなく、動き適応補間を行う。それにより図７に示すように櫛状の字幕の発生を抑制することが出来る。
【００４５】
図８には、片側のフィールドのみに字幕が存在する場合、字幕部分には動き適応補間を行う機能を有するプルダウン信号検出回路を搭載した順次走査変換装置の構成例を示し、図９に図８におけるプルダウン信号検出回路の構成例、図１０に図９のプルダウン信号検出回路内における字幕領域検出装置（字幕領域検出回路と称してもよい）の構成例を示す。
【００４６】
図８の入力端子５０には、飛び越し走査の入力映像信号である現フィールド信号Ｓ１が入力される。原フィールド信号は、フィールド遅延回路５１、フィールド遅延回路５２で遅延され、２フィールド遅延信号Ｓ３として、プルダウン信号検出回路５３に入力される。このプルダウン信号検出回路５３には、現フィールド信号Ｓ１，１フィールド遅延信号Ｓ２も入力されている。
【００４７】
現フィールド信号Ｓ１，２フィールド遅延信号Ｓ３は、セレクタ５４に入力される。セレクタ５４は、プルダウン信号検出回路５３からのペアフィールド選択出力Ｋ２に基づいて、いずれか一方の遅延信号を選択して出力する。ペアフィールド選択出力Ｋ２は、２−３プルダウン信号において、１フィールド遅延信号Ｓ２に対してその前若しくは後のフィールドの信号Ｓ１若しくはＳ３のいずれが同一起源（origin又はroots）の信号であるかを判定した制御信号である。この制御信号に応じて、セレクタ５４は、１フィールド遅延信号Ｓ２と同一起源の信号を選択してペアフィールド信号Ｓ４’として出力する。このペアフィールド信号Ｓ４’はセレクタ５６に供給される。
【００４８】
また、現フィールド信号Ｓ１，１フィールド遅延信号Ｓ２、２フィールド遅延信号Ｓ３は、動き適応補間信号生成回路５５にも入力されている。この動き適応補間信号生成回路５５は、基本的には、１フィールド遅延信号Ｓ２を基準にしている。
【００４９】
そして、１フィールド遅延信号Ｓ２を用いて、フィールド内で、動画用補間信号を生成している。さらにまた、１フィールド遅延信号Ｓ２と現フィールド遅延信号Ｓ１、もしくは、１フィールド遅延信号Ｓ２と２フィールド遅延信号Ｓ３を用いて、フィールド間で、静画用補間信号を生成している。
【００５０】
さらにまた、１フィールド遅延信号Ｓ１と、前後のフィールドの信号を合わせて用いて、動画、静画の判定を小領域毎に行なっている。動画用補間信号と静画用補間信号とは加算されて動き適応補間信号Ｓ５’として出力される。このとき、動画静画の判定結果が動画領域を示すときは、１フィールド遅延信号を用いて生成した動画用補間信号の割合を多くし、静画領域を示すときは、静画用補間信号の割合を多くする。
【００５１】
動き適応補間信号Ｓ５’と、ペアフィールド信号Ｓ４’とは、セレクタ５６に入力される。セレクタ５６においては、２−３プルダウン信号が処理されているときは、基本的にはペアフィールド信号Ｓ４’が選択されて補間信号Ｓ６として出力される。しかし、２−３プルダウン信号が処理されているときであって、字幕領域のときは動き適応補間信号Ｓ５’が選択されて出力される。
【００５２】
また、２−３プルダウン信号が処理されていないときは、動き適応補間信号Ｓ５’が選択されて出力される。走査線整列回路５７では、補間信号Ｓ６と、直接信号（１フィールド遅延信号Ｓ２）が整列されて順次走査信号として出力される。
【００５３】
セレクタ５６では、プルダウン信号検出回路５３からのプルダウン信号検出出力Ｋ１と、字幕小領域状態検出出力Ｋ３に応じて、上記した入力の選択が決定される。
【００５４】
上記した処理により、２−３プルダウン信号処理時には、図６で示したような不具合がなく、図７で示したように字幕の表示品質が向上する。
【００５５】
図９には、図８のプルダウン信号検出回路５３の内部を詳しく示している。プルダウン信号検出を行うためには、図４、図５で示したようなプルダウン信号のパターンを検出すればよい。
【００５６】
入力端子６１、６２，６３にはそれぞれ現フィールド信号Ｓ１、１フィールド遅延信号Ｓ２，２フィールド遅延信号Ｓ３が入力される。現フィールド信号Ｓ１、１フィールド遅延信号Ｓ２は、それぞれ垂直低域フィルタ６４、６５を介してフィールド間差分絶対値回路６６に入力される。また垂直低域フィルタ６４の出力は、フレーム間差分絶対値回路７２に入力され、このフレーム間差分絶対値回路７２には、２フィールド遅延信号Ｓ３が垂直低域フィルタ７１を介して入力している。
【００５７】
フィールド間差分絶対値回路６６は、フィールド間信号の差の絶対値を取り、その出力を小領域内積分回路６７に与える。小領域内積分回路６７は、小領域内の絶対値を積分し、その積分値を比較器６８に与える。比較器６８は、積分値と、端子６８Ａに与えられている比較閾値とを比較し、積分値が大きいときはその検出出力を画面内カウンタ６９と、字幕検出回路８３に与える。この検出出力は、フィールド間動き小領域情報である。つまり小領域毎の動き検出情報である。画面内カウンタ６９は、画面内の小領域のうち、動いていると判定された領域がいくつあるかをカウントしている。
【００５８】
一方、フレーム間差分絶対値回路７２は、フィールド間信号の差の絶対値を取り、その出力を小領域内積分回路７３に与える。小領域内積分回路７３は、小領域内の絶対値を積分し、その積分値を比較器７４に与える。比較器７４は、積分値と、端子７４Ａに与えられている比較閾値とを比較し、積分値が大きいときはその検出出力を画面内カウンタ７５と、字幕検出回路８３に与える。この検出出力は、フレーム間動き小領域情報である。つまり小領域毎の動き検出情報である。画面内カウンタ７５は、画面内の小領域のうち、動いていると判定された領域がいくつあるかをカウントしている。
【００５９】
画面内カウンタ６９、７５の出力はそれぞれ減算器７０、７６に入力される。ここでは、字幕検出回路８３からのフィールド間字幕小領域数、フレーム間字幕小領域数が減算される。即ち、プルダウン信号においては、本来静止と判定するべき小領域において、字幕が存在するために動判定された小領域として検出されることがあるので、画面カウンタの出力から、動判定された小領域として検出された数を差し引いている。これにより、減算器７０、７６からは、動判定された小領域の正確な数が出力される。
【００６０】
つまり、フィールド間、フレーム間の動判定された小領域数から、それぞれの字幕小領域数を引いているが、ここで字幕シーケンスがプルダウン信号パターン検出に及ぼす影響を除去している。
【００６１】
減算器７０、７６の出力が、フィールド間累積加算値比較器７７、フレーム間累積加算値比較器７８に入力される。比較器７７では、減算器７０の出力が入力端子７７Ａからの比較閾値と比較され、減算器７０の出力が大きい場合は、画面変化点として検出される。比較器７８では、減算器７６の出力が入力端子７８Ａからの比較閾値と比較され、減算器７６の出力が大きい場合は、画面変化点として検出される。
【００６２】
パターン検出回路７９、８０は、画面変化点のパターン情報を生成し、このパターン情報を、画面単位プルダウン信号判定回路８１に供給する。画面単位プルダウン信号判定回路８１は、パターン検出回路７９，８０からの画面変化点を示すパターン情報にもとづいて、プルダウン信号入力状態であるかどうかの判定出力（プルダウン信号検出出力Ｋ１）、ペアフィールド選択出力Ｋ２を出力する。ペアフィールド選択出力Ｋ２は、２−３プルダウン信号において、１フィールド遅延信号Ｓ２に対してその前若しくは後のフィールドの信号Ｓ１若しくはＳ３のいずれが同一起源（origin又はroots）の信号であるかを判定した制御信号である。
【００６３】
字幕検出回路８３の構成は、具体的に図１０に示す構成である。図１０において、字幕小領域検出補正出力を得るブロック９１、９２、９３はそれぞれ、図１で説明した回路構成と同じである。したがって、図１の符号と同じ符号を付して詳細な説明は省略する。ブロック９１は、現フィールド信号Ｓ１に対して字幕領域検出補正出力を得る、ブロック９２は、１フィールド遅延信号Ｓ２に対して字幕領域検出補正出力を得る、ブロック９３は、２フィールド遅延信号Ｓ３に対して字幕領域検出補正出力を得る。
【００６４】
ブロック９１から出力される現フィールド字幕小領域検出補正出力と、ブロック９２から出力される１フィールド遅延字幕小領域検出補正出力は、フィールド間字幕小領域数カウンタ９５に入力される。また、ブロック９１から出力される現フィールド字幕小領域検出補正出力と、ブロック９３から出力される２フィールド遅延字幕小領域検出補正出力は、フレーム間字幕小領域数カウンタ９７に入力される。さらにブロック９１から出力される現フィールド字幕小領域検出補正出力と、ブロック９２から出力される１フィールド遅延字幕小領域検出補正出力と、ブロック９３から出力される２フィールド遅延字幕小領域検出補正出力は、幕小領域状態検出器９６に入力される。
【００６５】
フィールド間字幕小領域数カウンタ９５では、フィールド間動小領域情報が存在していること、現フィールド字幕小領域検出補正出力または１フィールド遅延字幕小領域検出補正出力のどちらか一方のみが存在しているときを条件にして、字幕小領域として１フィールド期間、小領域数のカウントを行う。
【００６６】
フレーム間字幕小領域数カウンタ９７では、フレーム間動小領域情報が存在していること、現フィールド字幕小領域検出補正出力または１フレーム遅延字幕小領域検出補正出力のどちらか一方のみが存在しているときを条件にして、字幕小領域として１フィールド期間、小領域数のカウントを行う。
【００６７】
字幕小領域状態検出器９６は、現フィールド字幕小領域検出補正出力、１フィールド遅延字幕小領域検出補正出力、１フレーム遅延字幕小領域検出補正出力を元に、字幕が挿入される、又は削除されるという状態変化を検出し、その変化を示す字幕小領域状態検出出力（＝Ｋ３）を得る。
【００６８】
図９に示したプルダウン検出回路では、現フィールド信号とフィールド遅延信号とのフィールド間相関を求めるために、フィールド間差分した結果を小領域ごとで積分を行い、その値がフィールド間小領域差分値比較閾値を超えた場合に動領域として判定することで小領域毎での動き検出を行う。フレーム間でも同様の処理を行い、フィールド間、フレーム間のそれぞれについて、画面内での動領域数をカウントし、フィールド間相関情報、フレーム間相関情報を検出する。それらの相関情報がプルダウンの出現パターンに一致した場合プルダウン信号として検出する。ここで、フィールド間、フレーム間の動ブロック数から、それぞれの字幕小領域数から引いているが、ここで字幕が動き検出に及ぼす影響を除去する。
【００６９】
例えば、図５で示したB、Dのようなタイミングで画像に字幕が入力される場合、元のフレームは同一のはずだが、字幕が挿入されたことにより字幕部分を動きとして検出してしまう。そのため、相関情報が字幕無しの場合と異なり、プルダウンの出現パターンと一致しなくなる。そのような字幕による影響を取り除くため、図１０に示した字幕検出回路を用いて字幕検出を行い、フィールド間・フレーム間それぞれの字幕小領域数を検出し、動領域数から除いてやることで字幕による動き検出の影響を除去する。
【００７０】
図１０に示した字幕検出回路の一例では、画像を小領域毎に分割し、それぞれの小領域における垂直空間周波数高域成分を多く含む画素数、高輝度画素数、ダイナミックレンジを用いることで字幕検出を行う。字幕部分のみを動き適応補間とする場合、字幕領域を正確に検出しないと字幕部分の一部に櫛状の字幕が表示されてしまうため、この字幕検出結果に図１で示した字幕検出補正を行う。また、現フィールド信号、1フィールド遅延信号のそれぞれ字幕検出の結果、および小領域が動判定されたかどうかの情報を元に、フィールド間の字幕小領域数のうち動判定された小領域数を検出する。フレーム間でも同様にフレーム間の字幕小領域数のうち動判定された小領域数を検出する。これらの値をプルダウン検出の際の動領域数カウント値にフィードバックし、字幕の入り際、消え際で動判定された字幕領域の影響を除去する。
【００７１】
また、現フィールド信号、１フィールド遅延信号、2フィールド遅延信号をもちいて、それぞれのフィールドで字幕の有無を検出し、字幕小領域ごとの字幕の状態変化を検出し出力する。図８に示したペアフィールド信号に対応するフィールド間で一方のフィールドのみに字幕が検出されていた場合、字幕として検出された領域をプルダウン補間処理ではなく動き適応補間処理することで高品位な字幕表示することが出来る。
【００７２】
上記したようにこの発明の装置及び方法であると、２−３プルダウン信号の中の字幕領域をより一層正確に検出して、順次走査変換された信号の画像品質を一層向上することができる。
【００７３】
なお、この発明は、上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
【図面の簡単な説明】
【００７４】
【図１】この発明の字幕領域検出装置の一実施の形態を示す構成説明図である。
【図２】図１の装置の動作例を示すフローチャートである。
【図３】図１の装置の動作例を示すために字幕領域の判定経過を説明するために示した説明図である。
【図４】２−３プルダウン信号が順次走査変換される際、フィールドの組み合わせ例を示す説明図である。
【図５】字幕が多重されている２−３プルダウン信号が順次走査変換される際、字幕領域に乱れが生じる例を示す説明図である。
【図６】２−３プルダウン信号内フィールドの組み合わせにおいて、字幕領域の乱れが生じた場合の例を示す説明図である。
【図７】２−３プルダウン信号が順次走査変換される際、字幕部分が動き適応補間信号で生成された例を示す説明図である。
【図８】この発明に係る画像処理装置の一例であり、プルダウン信号対応の順次操作変換処理を行う画像処理装置の図である。
【図９】図８のプルダウン信号検出回路の具体例を示す回路図である。
【図１０】図９の字幕検出回路の具体低を示す回路図である。
【符号の説明】
【００７５】
１２・・・水平低域フィルタ、１３・・・垂直高域フィルタ、１４・・・比較器、１６・・・小領域内垂直高域画素数カウンタ、１７・・・比較器、２１・・・小領域内ダイナミックレンジ算出回路、２２・・・比較器、２４・・・比較器、２６・・・小領域内高輝度画素数カウンタ、１７・・・比較器、１９・・・アンド回路、２８・・・字幕小領域検出補正回路、３１・・・比較器、３３・・・小領域内低輝度画素数カウンタ、３４・・・比較器、４０・・・バッファメモリ、４１・・・制御部、５１、５２・・・フィールド遅延回路、５３・・・プルダウン信号検出回路、５４・・・セレクタ、５５・・・動き適応補間信号生成回路、５６・・・セレクタ、５７・・・走査線整列回路、６４，６５，７１・・・垂直低域通過フィルタ、６６・・・フィールド間差分絶対値回路、６７、７３・・・小領域内積分回路、６８・・・フィールド間比較器、６９，７５・・・画面内カウンタ、７０、７６・・・減算器、７２・・・フレーム間差分絶対値回路、７４・・・フレーム間比較器、７７・・・フィールド間累積加算値比較器、７８・・・フレーム間累積加算値比較器、７９、８０・・・パターン検出回路、８１・・・画面単位プルダウン信号判定回路、８３・・・字幕検出回路。
【図１】
2008252561.tif 000003
【図２】
2008252561.tif 000004
【図３】
2008252561.tif 000005
【図４】
2008252561.tif 000006
【図５】
2008252561.tif 000007
【図６】
2008252561.tif 000008
【図７】
2008252561.tif 000009
【図８】
2008252561.tif 000010
【図９】
2008252561.tif 000011
【図１０】
2008252561.tif 000012