(57)【要約】【課題】  テレシネ映像が字幕を含むか否かを高精度に判定する。【解決手段】  コーミング度検出部15は、注目フィールドCと後フィールドNから生成したフレームのコーミング度c1を算出する。コーミング度検出部16は、フィールド内補間により、注目フィールドCから生成されたフレームのコーミング度c2を算出する。コーミング度検出部17は、注目フィールドCと前フィールドPから生成したフレームのコーミング度c3を算出する。最適フレーム検出部18は、コーミング度に基づき、注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を算出する。ステートマシン部19は、評価値に基づき、注目フィールドCが字幕を含むか否かを判定する。【選択図】  図3
2010114529.tif 000002
【特許請求の範囲】
【請求項１】
インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する映像処理装置であって、
注目フィールドと後フィールドから生成したフレームのコーミング度、フィールド内補間により、前記注目フィールドから生成したフレームのコーミング度、並びに、前記注目フィールドと前フィールドから生成したフレームのコーミング度を算出するコーミング度の算出手段と、
前記コーミング度に基づき、前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を算出する評価値の算出手段と、
前記評価値に基づき、前記注目フィールドが字幕を含むか否かを判定する判定手段とを有することを特徴とする映像処理装置。
【請求項２】
さらに、前記注目フィールドが含む字幕の位置を検出する検出手段を有することを特徴とする請求項1に記載された映像処理装置。
【請求項３】
さらに、前記字幕の位置情報と、前記評価値に基づき、前記注目フィールドに対応するフレームを生成する生成手段を有することを特徴とする請求項2に記載された映像処理装置。
【請求項４】
前記生成手段は、前記字幕の位置情報に基づき字幕画素を含む字幕領域を抽出し、前記字幕領域の補間画素を前記注目フィールドの隣接画素の値と、前記補間画素に対応する前記前フィールドまたは前記後フィールドの画素の値から補間して、前記フレームを生成することを特徴とする請求項3に記載された映像処理装置。
【請求項５】
前記生成手段は、前記注目フィールドと、前記評価値に基づくフィールドから前記字幕領域以外を合成して、前記フレームを生成することを特徴とする請求項4に記載された映像処理装置。
【請求項６】
前記コーミング度の算出手段は、前記フレームから所定のサイズのフレーム構造を生成し、前記フレーム構造に生じるアーティファクトの強度をコーミング度として算出することを特徴とする請求項1に記載された映像処理装置。
【請求項７】
前記判定手段は、前記評価値に基づき、2-3プルダウンされた映像パターンを検出し、さらに、2-2プルダウンされた映像パターンを検出した場合、前記注目フィールドが前記字幕を含むと判定することを特徴とする請求項1に記載された映像処理装置。
【請求項８】
前記判定手段は、前記字幕を含むと判定した後、前記2-3プルダウンされた映像パターンが検出されなくなると、前記注目フィールドが前記字幕を含まないと判定することを特徴とする請求項7に記載された映像処理装置。
【請求項９】
インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する映像処理方法であって、
注目フィールドと後フィールドから生成したフレームのコーミング度、フィールド内補間により、前記注目フィールドから生成したフレームのコーミング度、並びに、前記注目フィールドと前フィールドから生成したフレームのコーミング度を算出し、
前記コーミング度に基づき、前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を算出し、
前記評価値に基づき、前記注目フィールドが字幕を含むか否かを判定することを特徴とする映像処理方法。
【請求項１０】
コンピュータ装置を制御して、請求項1から請求項8の何れか一項に記載された映像処理装置の各手段として機能させることを特徴とするプログラム。
【請求項１１】
請求項10に記載されたプログラムが記録されたことを特徴とするコンピュータが読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する映像処理に関する。
【背景技術】
【０００２】
例えばテレビジョンなど、動画像データを伝送、蓄積する際の形式として、毎秒60フィールドのインタレース走査画像が用いられている。ディジタル放送や、DVDによるディジタル動画の蓄積には、MPEG-2動画符号化により、インタレース走査画像を圧縮する。また、ビデオカメラによる撮影においても、毎秒60フィールドのインタレース走査による撮影が一般的である。
【０００３】
一方、フィルム映画の撮影、上映においては、毎秒24フレームの画像が用いられる。従って、映画をテレビジョン放送したり、DVDに記録する場合は、毎秒24フレームのプログレッシブ走査画像を毎秒60フィールドのインタレース走査画像に変換する作業が必要になり、この変換は一般に2-3プルダウンと呼ばれている。
【０００４】
また、映画には、台詞が字幕で入る場面がある。この字幕は、毎秒30フレームで作成されている。映画をテレビジョン放送したり、DVDに記録する場合は、毎秒30フレームの字幕画像（プログレッシブ走査画像）を毎秒60フィールドのインタレース走査画像に変換する、一般に2-2プルダウンと呼ばれる変換が行われる。
【０００５】
図1はフィルム映画をテレビジョン信号に変換するテレシネを説明する図である。
【０００６】
図1に示す(24p)は映画のフレーム（毎秒24フレーム）を示し、(60i)はインタレース走査のフィールド（毎秒60フィールド）を示す。2-3プルダウンは、A、B、C、Dと連続する映画の4フレームを、Ao、Ae、Bo、Be、Bo、Ce、Co、De、Do、Deのように、交互に2フィールドと3フィールドのインタレース走査画像に変換する。つまり、映画の4フレームを10フィールド（5フレーム）のテレビジョン信号に変換する。
【０００７】
図2は字幕画像をテレビジョン信号に変換するテレシネを説明する図である。
【０００８】
図2に示す(30p)は字幕のフレーム（毎秒30フレーム）を示し、(60i)はインタレース走査のフィールド（毎秒60フィールド）を示す。2-2プルダウンは、A、B、C、D、Eと連続する字幕の5フレームを、Ao、Ae、Bo、Be、Co、Ce、Do、De、Eo、Eeのように、2フィールドのインタレース走査画像に変換する。つまり、字幕の5フレームを10フィールド（5フレーム）のテレビジョン信号に変換する。
【０００９】
図1や図2の(60i)に示す、交互に2フィールドと3フィールドを繰り返すパターンや、2フィールドを繰り返すパターンの検出には、ステートマシン（状態遷移装置）を用いる手法が知られている（特許文献1参照）。ステートマシンは、詳細は特許文献1の図4に記載されているが、予め決められた状態を、決められた条件に従って、決められた順番に遷移する装置のことである。
【００１０】
テレビジョン信号を表示する装置は、古くはCRTを用い、インタレース走査画像をそのまま表示していた。しかし、近年、LCD、プラズマなどに代表されるプログレッシブ走査の表示デバイスが普及し、インタレース走査画像をプログレッシブ走査画像に変換して表示する方式が普及した。
【００１１】
2-3プルダウン、または、2-2プルダウンされたインタレース走査画像をプログレッシブ走査画像に変換（以下、IP変換: interlace to progressive conversion）する手法としてWeave処理が知られている。Weave処理は、前後の2フィールドを合成することによりプログレッシブ画像を生成する処理である（例えば、特許文献2参照）。
【００１２】
図1の(60p)は2-3プルダウンされたインタレース走査画像をWeave処理したプログレッシブ走査画像を示し、図2の(60p)は2-2プルダウンされたインタレース走査画像をWeave処理したプログレッシブ画像を示している。
【００１３】
2-3プルダウンされたインタレース走査画像からIP変換されるプログレッシブ走査画像の各フレームを補間処理する場合の参照フィールド（以下、補間相手）は、A1フレームの場合は後続のフィールド（以下、後フィールド）であるAeフィールドである。また、A2フレームの場合は先行するフィールド（以下、前フィールド）であるAoフィールドである。各フレームの補間相手の関係を抽出すると「後、前、後、前、前」というパターンが繰り返される。
【００１４】
一方、2-2プルダウンされたインタレース走査画像からIP変換されるプログレッシブ走査画像の各フレームを補間相手を抽出すると「後、前」が繰り返される。ただし、2-3プルダウンされたインタレース走査画像からIP変換されるプログレッシブ走査画像との対応を考えると、図2に示すように「後、前、後、前、後」と「前、後、前、後、前」というパターンの繰り返しになる。
【００１５】
従って、映像に字幕がある場合、これら二つの繰り返しパターンが混在することになり、字幕が入ったり消えたりする瞬間、字幕部分に走査線方向の櫛状ノイズが生じる場合がある。また、字幕は正常に表示されるが、映像が走査線方向に櫛状に乱れる現象が生じる場合もある。このようなノイズや乱れはコーミング(combing)ノイズと呼ばれる。
【００１６】
例えば、特許文献3は、周辺画素との間の高周波成分から字幕を検出して、字幕部分とそれ以外の部分は別のIP変換を行う手法を提案する。しかし、このような手法は、字幕ではない部分も字幕として検出する可能性があり、字幕ではない部分に字幕用のIP変換を行えば、映画の画質劣化が生じる。
【００１７】
このように、IP変換において、2-3プルダウンされたインタレース走査画像を入力して高画質なプログレッシブ走査画像（映像）を得ることはできるが、映像に字幕が入る場合、高画質な映像が得られるとは限らない。
【００１８】
【特許文献１】特開平10-065964号公報
【特許文献２】特開平11-088845号公報
【特許文献３】特開2007-074439公報
【発明の開示】
【発明が解決しようとする課題】
【００１９】
本発明は、テレシネ映像が字幕を含むか否かを高精度に判定することを目的とする。
【課題を解決するための手段】
【００２０】
本発明は、前記の目的を達成する一手段として、以下の構成を備える。
【００２１】
本発明は、インタレース走査の映像信号をプログレッシブ走査の映像信号に変換する際に、注目フィールドと後フィールドから生成したフレームのコーミング度、フィールド内補間により、前記注目フィールドから生成したフレームのコーミング度、並びに、前記注目フィールドと前フィールドから生成したフレームのコーミング度を算出し、前記コーミング度に基づき、前記注目フィールドに対応するフレームを生成すべきフィールドを示す評価値を算出し、前記評価値に基づき、前記注目フィールドが字幕を含むか否かを判定することを特徴とする。
【発明の効果】
【００２２】
本発明によれば、テレシネ映像が字幕を含むか否かを高精度に判定することができる。
【発明を実施するための最良の形態】
【００２３】
以下、本発明にかかる実施例の映像信号処理を図面を参照して詳細に説明する。
【実施例１】
【００２４】
映画の字幕位置は、画面の下端や右端と様々である。しかし、一本の映画において、字幕位置はほぼ不変である。実施例は、この字幕位置の特性を利用して字幕部分を高精度に検出する。
【００２５】
［装置の構成］
図3は実施例の映像信号処理装置の構成例を示すブロック図である。なお、説明を簡単にするため、処理対象を映像信号の輝度信号とする例を説明するが、これに限定されるものではない。
【００２６】
入力端子11に入力されるインタレース走査の映像信号（なお、説明を簡単なものとするため、色成分がない輝度信号とする）は、フィールドメモリ12、コーミング度検出部15、画素補正部22に供給される。
【００２７】
フィールドメモリ12、13は、インタレース走査の映像信号の1フィールド分を格納するメモリ容量を備える。フィールドメモリ12は、映像信号を1フィールド時間分遅延して、遅延した映像信号をフィールドメモリ13、フィールド内補間部14、コーミング度検出部15、17、字幕エリア検出部20へ出力する。フィールドメモリ13は、映像信号をさらに1フィールド時間分遅延して、2フィールド（1フレーム）時間分遅延した映像信号をコーミング度検出部17、画素補正部22へ出力する。
【００２８】
以下では、2フィールド時間分遅延したフィールドを前フィールドP、1フィールド時間分遅延したフィールドを注目フィールドC、入力端子11に入力されたフィールドを後フィールドNとする。
【００２９】
フィールド内補間部14は、注目フィールドCの画素が存在しないライン（注目ライン）を、注目ラインに隣接する二つのライン（隣接ライン）のデータを用いて、例えばバイキュービック法などにより補間してフレーム画像Fcを生成する。そして、フレーム画像Fcをコーミング度検出部16と画素補正部22に出力する。
【００３０】
コーミング度検出部15、16、17はそれぞれ、詳細は後述するが、入力されるフレームのコーミングノイズの量を示す指標（以下、コーミング度）を検出する。コーミング度検出部15は、注目フィールドCと後フィールドNを合成して作成したフレーム画像Fcnのコーミング度c1を検出する。コーミング度検出部16は、フィールド内補間されたフレーム画像Fcのコーミング度c2を検出する。コーミング度検出部17は、前フィールドPと注目フィールドCを合成して作成したフレーム画像Fpcのコーミング度c3を検出する。そして、各コーミング度検出部の検出結果は、最適フレーム検出部18に入力される。
【００３１】
最適フレーム検出部18は、詳細は後述するが、コーミング度を基にフレームを生成する場合のフィールドの組み合わせを仮に決定する。つまり、注目フィールドCと、前後何れかのフィールドを合成してフレームを生成するのがよいか、あるいは、何れのフィールドとも合成せずに注目フォールドCだけからフレームを生成した方がよいか、を仮決定する。
【００３２】
ステートマシン部19は、詳細は後述するが、最適フレーム検出部18が仮決定したフレーム生成情報に基づき、フィールド内に字幕があるか否かの判定と、フィールドがテレシネにより生成されたものか否かの判定を行う。
【００３３】
字幕エリア検出部20は、注目フィールドCのフィールド情報と、ステートマシン部19が出力する情報に基づき、注目フィールドCの字幕が存在するエリア（以下、字幕エリア）を大まかに検出する。字幕特定部21は、字幕エリアから字幕位置を特定する。画素補正部22は、ステートマシン部19が出力する情報と、字幕特定部21の特定結果に基づき、画素を補正して、補正結果の映像信号を出力端子23に出力する。
【００３４】
●コーミング度検出部15
図4はコーミング度検出部15によるフレーム画像Fcnの生成を示す図である。
【００３５】
図4に示すように、コーミング度検出部15は、注目フィールドCと後フィールドNを合成してフレーム画像Fcnを生成し、ブロック単位にコーミング度を算出してコーミング度が高いブロック（以下、コーミングブロック）か否かを判定する。そして、フレーム画像Fcnの全体におけるコーミングブロックの数をカウントして、フレーム画像Fcnのコーミング度c1を算出する。
【００３６】
図5はコーミング度を算出するブロックを構成する画素を説明する図である。例えば、図5に示すように、注目フィールドCの3×2画素Cij（i=0, 1、j=0〜2）と、後フィールドNの3×3画素Nij（i, j=0〜2）からなるフレーム画像Fcnの3×5画素をブロックにする。
【００３７】
コーミング度検出部15は、図6に示すように、ブロックを構成する注目フィールドCの画素と後フィールドNの画素を用いて三つのフレーム構造（それぞれサブブロックと呼ぶ）を構成する。そして、図6に示すサブブロックA、サブブロックB、サブブロックCにおいて次の演算を行う。
if (サブブロックA) {
A1 = min(|N00-C00|, |N01-C01|, |N02-C02|)；
A2 = min(|C00-N10|, |C01-N11|, |C02-N12|)；
A3 = min(|N00-N10|, |N01-N11|, |N02-N12|)；
SA = A1 + A2 - A3；
}
if (サブブロックB) {
B1 = min(|C00-N10|, |C01-N11|, |C02-N12|)；
B2 = min(|N10-C10|, |N11-C11|, |N12-C12|)；
B3 = min(|C00-C10|, |C01-C11|, |C02-C12|)；
SB = B1 + B2 - B3；
}
if (サブブロックC) {
C1 = min(|N10-C10|, |N11-C11|, |N12-C12|)；
C2 = min(|C10-N20|, |C11-N21|, |C12-N22|)；
C3 = min(|N10-N20|, |N11-N21|, |N12-N22|)；
SC = C1 ＋ C2 - C3；
}                                                …(1)
ここで、min( )は最小の値を出力する関数。
【００３８】
さらに、各サブブロックの演算結果を基に、次式に従い、ブロックのスコアSを算出する。
M1 = min(SA, SB)；
M2 = min(SB, SC)；
S = max(M1, M2)；      …(2)
ここで、max( )は最大の値を出力する関数。
【００３９】
そして、スコアSと所定の閾値Cthを比較してS＞Cthならば、当該ブロックをコーミングブロックと判定する。
【００４０】
コーミング度検出部15、上記の処理をフレーム画像Fcnの全体に亘って行い、フレーム画像Fcnにおけるコーミングブロックの数C_countを計数する。そして、次式によりコーミング度c1を計算する。
c1 = C_count/C_count_max1      …(3)
【００４１】
●コーミング度検出部17
図7はコーミング度検出部17によるフレーム画像Fpcの生成を示す図である。
【００４２】
図7に示すように、コーミング度検出部15は、前フィールドPと注目フィールドCを合成してフレーム画像Fpcを生成し、ブロック単位にコーミング度を算出してコーミングブロックか否かを判定する。そして、フレーム画像Fpcの全体におけるコーミングブロックの数をカウントして、フレーム画像Fpcのコーミング度c3を算出する。
【００４３】
図8はコーミング度を算出するブロックを構成する画素を説明する図である。例えば、図8に示すように、前フィールドPの3×3画素Pij（i, j=0〜2）と、注目フィールドCの3×2画素Cij（i=0, 1、j=0〜2）からなるフレーム画像Fpcの3×5画素をブロックにする。
【００４４】
コーミング度検出部17は、図9に示すように、ブロックを構成する前フィールドPの画素と注目フィールドCの画素を用いてサブブロックを構成する。そして、図9に示すサブブロックD、サブブロックE、サブブロックFにおいて次の演算を行う。
if (サブブロックD) {
D1 = min(|P00-C00|, |P01-C01|, |P02-C02|)；
D2 = min(|C00-P10|, |C01-P11|, |C02-P12|)；
D3 = min(|P00-P10|, |P01-P11|, |P02-P12|)；
SD = D1 + D2 - D3；
}
if (サブブロックE) {
E1 = min(|C00-P10|, |C01-P11|, |C02-P12|)；
E2 = min(|P10-C10|, |P11-C11|, |P12-C12|)；
E3 = min(|C00-C10|, |C01-C11|, |C02-C12|)；
SE = E1 + E2 - E3；
}
if (サブブロックF) {
F1 = min(|P10-C10|, |P11-C11|, |P12-C12|)；
F2 = min(|C10-P20|, |C11-P21|, |C12-P22|)；
F3 = min(|P10-P20|, |P11-P21|, |P12-P22|)；
SF = F1 ＋ F2 - F3；
}                                                …(4)
【００４５】
さらに、各サブブロックの演算結果を基に、次式に従い、ブロックのスコアSを算出する。
M3 = min(SD, SE)；
M4 = min(SE, SF)；
S = max(M3, M4)；      …(5)
【００４６】
そして、スコアSと所定の閾値Cthを比較してS＞Cthならば、当該ブロックをコーミングブロックと判定する。
【００４７】
コーミング度検出部17、上記の処理をフレーム画像Fpcの全体に亘って行い、フレーム画像Fpcにおけるコーミングブロックの数C_countを計数する。そして、次式によりコーミング度c3を計算する。
c3 = C_count/C_count_max3      …(6)
【００４８】
●コーミング度検出部16
図10はコーミング度検出部16が入力するフレーム画像Fcを示す図である。
【００４９】
図10に示すように、コーミング度検出部16は、注目フィールドCから補間されたフレーム画像Fcを入力し、ブロック単位にコーミング度を算出してコーミングブロックか否かを判定する。そして、フレーム画像Fcの全体におけるコーミングブロックの数をカウントして、フレーム画像Fcのコーミング度c2を算出する。
【００５０】
図11はコーミング度を算出するブロックを構成する画素を説明する図である。例えば、図11に示すように、注目フィールドCの3×2画素Cij（i=0, 1、j=0〜2）と、注目フィールドCから補間された3×3画素Iij（i, j=0〜2）からなるフレーム画像Fcの3×5画素をブロックにする。
【００５１】
コーミング度検出部16は、図12に示すように、ブロックを構成する注目フィールドCの画素と、注目フィールドCから補間された画素を用いてサブブロックを構成する。そして、図12に示すサブブロックG、サブブロックH、サブブロックJにおいて次の演算を行う。
if (サブブロックG) {
G1 = min(|I00-C00|, |I01-C01|, |I02-C02|)；
G2 = min(|C00-I10|, |C01-I11|, |C02-I12|)；
G3 = min(|I00-I10|, |I01-I11|, |I02-I12|)；
SG = G1 + G2 - G3；
}
if (サブブロックH) {
H1 = min(|C00-I10|, |C01-I11|, |C02-I12|)；
H2 = min(|I10-C10|, |I11-C11|, |I12-C12|)；
H3 = min(|C00-C10|, |C01-C11|, |C02-C12|)；
SH = H1 + H2 - H3；
}
if (サブブロックJ) {
J1 = min(|P10-C10|, |P11-C11|, |P12-C12|)；
J2 = min(|C10-P20|, |C11-P21|, |C12-P22|)；
J3 = min(|P10-P20|, |P11-P21|, |P12-P22|)；
SJ = J1 ＋ J2 - J3；
}                                                …(7)
【００５２】
さらに、各サブブロックの演算結果を基に、次式に従い、ブロックのスコアSを算出する。
M5 = min(SG, SH)；
M6 = min(SH, SJ)；
S = max(M5, M6)；      …(8)
【００５３】
そして、スコアSと所定の閾値Cthを比較してS＞Cthならば、当該ブロックをコーミングブロックと判定する。
【００５４】
コーミング度検出部16、上記の処理をフレーム画像Fcの全体に亘って行い、フレーム画像Fcにおけるコーミングブロックの数C_countを計数する。そして、次式によりコーミング度c2を計算する。
c2 = C_count/C_count_max2      …(9)
【００５５】
このように、コーミング度検出部15〜17は、所定のサイズのフレーム構造を作成し、フレーム構造に生じるアーティファクトの強度をコーミング度として算出する。
【００５６】
●最適フレーム検出部
最適フレーム検出部18は、コーミング度c1からc3に基づき、フレーム画像を生成するフィールドの組み合わせを示す信号fp（評価値）を出力する。
if (fp==p1) 注目フィールドCと後フィールドNの合成が最適；
if (fp==p2) 前フィールドPと注目フィールドCの合成が最適；
if (fp==p3) 何れの組み合わせも最適ではない；
if (fp==p4) 何れの組み合わせも最適ではないが、過去のパターン情報によって注目フィールドCと何れかのフィールドの組み合わせが適切；
【００５７】
信号fpがp4の場合、最適フレーム検出部18は、ステートマシン部19の情報を用いて、最終的に信号fpとしてp1、p2、p3の何れかを出力する。
【００５８】
図13は最適フレーム検出部18の処理を説明するフローチャートである。
【００５９】
最適フレーム検出部18、カウンタnを0に初期化する(S101)。
【００６０】
次に、最適フレーム検出部18は、コーミング度c1と、min(c1, c2, c3)の差分絶対値|Δc1|を算出し(S102)、差分絶対値|Δc1|と閾値mb_thを比較する(S103)。そして、|Δc1|≧mb_thならばカウンタnをインクリメントする(S104)。
【００６１】
次に、最適フレーム検出部18は、コーミング度c3と、min(c1, c2, c3)の差分絶対値|Δc3|を算出し(S105)、差分絶対値|Δc3|と閾値mb_thを比較する(S106)。そして、|Δc3|≧mb_thならばカウンタnをインクリメントする(S107)。
【００６２】
次に、最適フレーム検出部18は、カウンタnの値に応じて処理を分岐する(S108)。
【００６３】
カウンタn=1は、c1またはc3が他のコーミング度に比べて大きな値を有することを意味する。例えば、注目フィールドCと前フィールドPを合成したフレーム画像にコーミングが生じ、注目フィールドCと後フィールドNを合成したフレーム画像にはコーミングが生じていないことを示す（勿論、前後が逆の場合もある）。つまり、注目フィールドCとコーミングが生じないフィールドを合成してフレーム画像を生成することが最適と言える。そこで、n=1の場合、最適フレーム検出部18は、c1とc3を比較して(S109)、c1＜c3ならば信号fp=p1を出力し(S110)、c1＞c3ならば信号fp=p2を出力する(S111)。
【００６４】
また、カウンタn=2は、コーミング度c1とc2が伴に大きな値を有することを意味する。つまり、注目フィールドCと前または後フィールドを合成したフレーム画像にコーミングが生じていることを示し、何れのフィールドとの合成も適さない。そこで、n=2の場合、最適フレーム検出部18は、信号fp=p3を出力する(S112)。
【００６５】
また、カウンタn=0は、動画像に動きが少ない状況、または、2-3プルダウンされた3フィールド（図1のB1からB3フィールドなど）の中央のフィールド（図1のB2フィールドなど）である。従って、注目フィールドCに合成する最適なフィールドを判断することができない。そこで、n=0の場合、最適フレーム検出部18は、信号fp=p4を出力する(S113)。なお、上述したように、信号fp=p4の場合は、最適フレーム検出部18は、ステートマシン部19において検出されている蓄積パターンに基づき、注目フィールドCに合成する最適なフィールドを最終的に判断する。
【００６６】
●ステートマシン部
図14はテレシネにおいて字幕が出るプロセスを説明する図であり、一つの番組（映画）のテレシネをテレビジョン放送する場合のタイムチャートを示している。
【００６７】
まず、映画の本編が始まる前にCMなどが入る。CMには色々なプルダウンパターンが入っていることが予測されるが、基本的に、通常の60iの映像、言い換えればテレシネではないと考えて問題ない。
【００６８】
CMが終了すると映画の本編がスタートする。映画のスタート時は字幕が入らないため、2-3プルダウンされた映像のみが放送される。続いて、字幕が現れると、2-3プルダウンされた映像に2-2プルダウンされた映像が重畳された状況になる。その後、映画の本編の途中でCMが入ると、再び通常の60iの映像になる。
【００６９】
前述したように、字幕位置は、画面の下端であったり、右端であったりと様々であるが「一本の映画において、字幕位置はほぼ不変である」と言える。つまり、映画の本編において、最初に字幕が現れた際に字幕エリアを調べれば、ある程度、字幕位置を特定することができる。
【００７０】
そこで、ステートマシン部19は、セレクタ901により、24p+30p検出用のステートマシン902と、24p検出用のステートマシン903を適宜切り替えて、最初に字幕が現れるフィールドを検出する。
【００７１】
24p+30p検出用のステートマシン902は、2-3プルダウンされた映像パターンと、2-2プルダウンされた映像パターンを検出する。大別すると、2-3プルダウンを検出した状態、2-2プルダウンを検出した状態、何も検出しない状態の三状態があり、1フィールドに三つの状態が混在することはあり得ない。
【００７２】
セレクタ901によって選択されたステートマシン902は、最適フレーム検出部18が出力する信号fpを入力する。ステートマシン902の状態は、信号fp=p1またはp2が入力された場合は遷移規則に従い遷移し、信号fp=p3が入力された場合は初期状態に戻る。
【００７３】
例えば、初期状態からp1→p2→p1→p2の順に信号fpが入力された場合、ステートマシン902の状態は1→2→1→2（以下、1212と表記する）と遷移する。2-3プルダウンを検出した遷移状態は112121、121121、121211、211212、212112の五つであり、2-2プルダウンを検出した遷移状態は212121と121212の二つである。これら以外の遷移状態は、何も検出していない状態である。
【００７４】
ステートマシン902は、2-3プルダウンを検出している場合は画素補正部22へ信号を出力し、2-2プルダウンを検出した場合はセレクタ901と字幕エリア検出部10へ信号を出力する。
【００７５】
一方、24p検出用のステートマシン903は、2-3プルダウンされた映像パターンのみを検出する。大別すると、2-3プルダウンを検出した状態、何も検出しない状態の二状態があり、1フィールドに二つの状態が混在することはあり得ない。
【００７６】
セレクタ901によって選択されたステートマシン903は、最適フレーム検出部18が出力する信号fpを入力する。ステートマシン903の状態は、信号fp=p1またはp2が入力された場合は遷移規則に従い遷移し、信号fp=p3が入力された場合は初期状態に戻る。
【００７７】
例えば、初期状態からp1→p2→p1→p2の順に信号fpが入力された場合、ステートマシン903の状態は1212と遷移する。2-3プルダウンを検出した遷移状態は11212、12112、12121、21121、21211の五つであり、これら以外の遷移状態は、何も検出していない状態である。
【００７８】
ただし、12121の遷移は、2-3プルダウンを検出した12121以外の四つの遷移状態から遷移するのみとし、2-3プルダウンが検出されていない状態で1212の遷移に続いて信号fp=p1が入力されても、12121へは遷移しないようにする。これは、12121は2-2プルダウンにおいても存在するパターンであり、2-2プルダウンを2-3プルダウンと誤検出しないようにするためである。
【００７９】
ステートマシン903は、2-3プルダウンを検出している場合はセレクタ901と画素補正部22へ信号を出力する。
【００８０】
図14において、SM1は24p＋30p検出用のステートマシン902、SM2は24p検出用のステートマシン903を表す。なお、SM1は、2-3プルダウンと2-2プルダウンを検出するが、両方を同時に検出することはできない。さらに、字幕が現れた場合、字幕付近の垂直方向の空間周波数は周辺画素と比較して高くなり、かなり高い確率で2-2プルダウンが検出される傾向にある。また、SM2は、たとえ字幕が現れても、それに影響されることなく、2-3プルダウンを検出することが可能である。
【００８１】
図14に示すように、まず、セレクタ901によってSM1が選択される。CM中は、基本的に、SM1（SM2）は何も検出していない状態になる。映画が始まると、SM1は2-3プルダウンを検出する。続いて、字幕が現れると、SM1は2-2プルダウンを検出する。字幕の出現が検出（2-2プルダウンが検出）されると、セレクタ901によってSM2が選択され、SM2は2-3プルダウンを検出する。再び、CMになると、SM2が何も検出していない状態になるので、セレクタ901によってSM1が選択される。以降は、上記の動作を繰り返す。
【００８２】
結果的に、ステートマシン部19は、2-3プルダウンを検出していることを示す信号を画素補正部22へ出力し、字幕の出現を検出した瞬間を示す信号を字幕エリア検出部20へ出力することになる。
【００８３】
●字幕エリア検出部
字幕エリア検出部20は、ステートマシン部19から字幕が出現した瞬間を示す信号を入力する。字幕エリア検出部20は、当該信号が入力されると、注目フィールドCにおいて、周囲の画素との輝度差が非常に大きい画素（字幕画素候補）を探索する。そして、字幕画素候補がある領域に集中していれば、その領域を字幕エリアと判定する。
【００８４】
字幕エリアを判定するには、例えば、字幕が入る領域を考慮して画面を幾つかのブロックに分割し、各ブロックにおいて字幕画素候補の数を計数する。そして、他のブロックと比較して計数値が非常に大きいブロックを字幕エリアと判定する。字幕エリア検出部20は、字幕エリアを判定すると、字幕エリアの検出を示す信号をステートマシン部19のセレクタ901に出力し、再び、24p＋30p検出用のステートマシン902が選択されるまで、当該信号を維持する。
【００８５】
また、字幕エリア検出部20は、字幕画素候補が集中するブロックがない場合は字幕エリアを判定せずに、字幕エリアが未検出を示す信号をステートマシン部19に出力する。この信号に応じて、セレクタ901は、再び、24p＋30p検出用のステートマシン902を選択する。
【００８６】
こうすれば、字幕エリアを特定することができる上、字幕以外で2-2プルダウンパターンが検出された場合に、字幕エリアを判定しないため、誤検出を防ぐことができる。
【００８７】
●字幕特定部
字幕特定部21は、字幕エリア検出部20から字幕エリアの画像を入力し、字幕エリア内において、周囲の画素との輝度差が非常に大きい画素（字幕画素）を探索し、字幕画素の位置情報を出力する。
【００８８】
●画素補正部
画素補正部22は、ステートマシン部19から2-3プルダウンの検出を示す信号が入力されていない場合、例えば動き適応型順次走査変換や、動き補償型順次走査変換といった方法によりIP変換を行う。
【００８９】
画素補正部22は、2-3プルダウンの検出を示す信号が入力されると、字幕特定部21から入力される字幕画素の位置情報により、注目フレームを2-3プルダウン領域と、字幕領域に分割する。そして、2-3プルダウン領域（字幕領域以外）は、信号fpに従いWeave処理による補間を行う。
【００９０】
また、字幕領域は、注目フレームの補間ラインの補間画素の上下に位置する二画素（隣接画素、注目フィールドに現存する画素）の平均値を計算する。そして、平均値と、補間画素に対応する前後フィールドの画素（対応画素）の値との差分絶対値を計算する。そして、差分絶対値が小さい方の画素値（前または後フィールドの画素の値）を補間画素の値にする。
【００９１】
このように、二つのステートマシンを切り替えて、精度よく字幕を検出して、字幕領域と他の領域で異なる種類のIP変換を行うことにより、字幕が入っても高精彩なプログレッシブ画像を得ることができる。
【実施例２】
【００９２】
以下、本発明にかかる実施例2の映像信号処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。
【００９３】
パーソナルコンピュータなどの汎用の情報処理装置にコンピュータプログラムを供給して実施例1の映像信号処理装置を実現することができる。実施例2では、そのような実装を説明する。
【００９４】
［装置の構成］
図15は実施例2の情報処理装置の構成例を示すブロック図である。
【００９５】
CPU101は、メインメモリ102のRAMをワークメモリとして、メインメモリ102のROMおよびハードディスクドライブ(HDD)105に格納されたオペレーティングシステム(OS)や各種プログラムを実行する。そして、PCI (peripheral component interconnect)バスなどのシステムバス114を介して各構成を制御する。さらに、後述する映像信号処理アプリケーションを含む各種プログラムを実行する。
【００９６】
CPU101は、システムバス114およびシリアルATAインタフェイス(SATA I/F)103を介してHDD105にアクセスする。また、通信I/F104を介してローカルエリアネットワーク(LAN)などのネットワーク113にアクセスする。なお、通信I/F104は、ネットワーク113だけに接続するとは限らず、公衆回線や無線回線への接続、放送電波の受信なども可能である。
【００９７】
以下では、プログラムや各種データをHDD105から読み出すとして説明するが、ネットワーク113上のサーバ装置から読み出すこともできる。
【００９８】
また、CPU101は、ユーザインタフェイス(UI)や処理結果をグラフィックアクセラレータ106を介してモニタ107に表示し、ユーザ指示をキーボード/マウスコントローラ110に接続されたキーボード111、マウス112を介して入力する。なお、モニタ107は、プログレッシブ走査の表示装置である。
【００９９】
また、CPU101は、例えばUSB (Universal Serial Bus)コントローラ108とシリアルバスを介して接続されたチューナ109などからフィールド単位の映像信号を入力する。なお、チューナの代わりにビデオ再生機からフィールド単位の映像信号を入力してもよい。
【０１００】
［映像信号処理］
ユーザは、UIを操作して、チューナ109から映像信号を入力し、撮影信号が表す動画像のモニタ107への表示を指示する。CPU101は、ユーザ指示に応じて、HDD105から映像信号処理アプリケーションのプログラムをメインメモリ102にロードし、映像信号処理を実行する。
【０１０１】
図16は情報処理装置が映像信号処理を行う際のメインメモリ102のメモリマップ例を示す図である。
【０１０２】
メインメモリ102のRAM領域の先頭部にはOSが存在する。その後に、IP変換処理を含む映像信号処理を行う映像信号処理ソフトウェア、画像入力ソフトウェア、動画像をモニタ107に表示する画像表示ソフトウェアなどが存在する。なお、画像入力ソフトウェアは、USBコントローラ108を制御して映像信号を1フィールドずつ入力（キャプチャ）する。さらに、動画像データを格納する画像エリア、各種演算パラメータなどを格納しておくワーキングエリアが存在する。
【０１０３】
図17はCPU101が実行する映像信号処理を説明するフローチャートである。
【０１０４】
CPU101は、映像信号処理ソフトウェアを実行し、画像エリアや各種演算パラメータなどを初期化する(S11)。そして、映像信号処理を終了するか否かを判定する(S12)。ユーザが、UIを操作して、映像信号処理の終了を指示した場合、CPU101は、映像信号処理を終了する。
【０１０５】
映像信号処理を継続する場合、CPU101は、フィールド単位に、チューナ109から映像信号を入力し画像エリアに格納する(S13)。そして、画像エリアに格納した映像信号から字幕を検出し(S14)、字幕の検出などに応じて補間処理を行い、IP変換処理結果の映像信号を画像エリアに格納する(S15)。そして、処理をステップS12に戻す。
【０１０６】
また、CPU101は、画像表示ソフトウェアを実行して、画像エリアに格納したIP変換処理結果の映像信号をモニタ107に表示する。
【０１０７】
図18は字幕の検出(S14)の詳細を示すフローチャートである。
【０１０８】
CPU101は、画像エリアに格納した映像信号から、前フィールドPと注目フィールドCの合成によりフレームFpcを、注目フィールドC内補間によりフレームFcを、注目フィールドCと後フィールドNの合成によりフレームFcnを作成する。そして、各フレームのコーミング度c1〜c3を算出する(S400)。
【０１０９】
次に、CPU101は、三つのコーミング度c1〜c3を基に評価値(fp)を算出し(S401)、評価値を基に二つのステートを更新、切り替えることにより、現在のステートを決定する（ステートマシン処理）(S402)。そして、ステート情報に基づき字幕が出現したか否かを判定し(S403)、字幕が出現した場合は字幕エリアを検出し(S404)、字幕エリアから字幕画素の位置を特定する(S405)。
【０１１０】
［変形例］
上記では、説明を簡単にするため、映像信号の輝度信号を例に説明したが、RGBなどの信号でも構わないし、色度信号を対象にしても構わない。
【０１１１】
また、1:2のインタレース走査画像を例に説明したが、これに限定されず、各算出部を調整することで他の比率のインタレース走査画像に対応することができる。
【０１１２】
［他の実施例］
なお、本発明は、複数の機器（例えばコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置、制御装置など）に適用してもよい。
【０１１３】
また、本発明の目的は、上記実施例の機能を実現するコンピュータプログラムを記録した記録媒体または記憶媒体をシステムまたは装置に供給する。そして、そのシステムまたは装置のコンピュータ（CPUやMPU）が前記コンピュータプログラムを実行することでも達成される。この場合、記録媒体から読み出されたソフトウェア自体が上記実施例の機能を実現することになり、そのコンピュータプログラムと、そのコンピュータプログラムを記憶する、コンピュータが読み取り可能な記録媒体は本発明を構成する。
【０１１４】
また、前記コンピュータプログラムの実行により上記機能が実現されるだけではない。つまり、そのコンピュータプログラムの指示により、コンピュータ上で稼働するオペレーティングシステム(OS)および/または第一の、第二の、第三の、…プログラムなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【０１１５】
また、前記コンピュータプログラムがコンピュータに接続された機能拡張カードやユニットなどのデバイスのメモリに書き込まれていてもよい。つまり、そのコンピュータプログラムの指示により、第一の、第二の、第三の、…デバイスのCPUなどが実際の処理の一部または全部を行い、それによって上記機能が実現される場合も含む。
【０１１６】
本発明を前記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応または関連するコンピュータプログラムが格納される。
【図面の簡単な説明】
【０１１７】
【図１】フィルム映画をテレビジョン信号に変換するテレシネを説明する図、
【図２】字幕画像をテレビジョン信号に変換するテレシネを説明する図、
【図３】実施例の映像信号処理装置の構成例を示すブロック図、
【図４】コーミング度検出部15によるフレーム画像Fcnの生成を示す図、
【図５】コーミング度を算出するブロックを構成する画素を説明する図、
【図６】コーミング度の算出を説明する図、
【図７】コーミング度検出部17によるフレーム画像Fpcの生成を示す図、
【図８】コーミング度を算出するブロックを構成する画素を説明する図、
【図９】コーミング度の算出を説明する図、
【図１０】コーミング度検出部16が入力するフレーム画像Fcを示す図、
【図１１】コーミング度を算出するブロックを構成する画素を説明する図、
【図１２】コーミング度の算出を説明する図、
【図１３】最適フレーム検出部の処理を説明するフローチャート、
【図１４】テレシネにおいて字幕が出るプロセスを説明する図、
【図１５】実施例2の情報処理装置の構成例を示すブロック図、
【図１６】情報処理装置が映像信号処理を行う際のメインメモリのメモリマップ例を示す図、
【図１７】CPUが実行する映像信号処理を説明するフローチャート、
【図１８】字幕の検出の詳細を示すフローチャートである。
【図１】
2010114529.tif 000003
【図２】
2010114529.tif 000004
【図３】
2010114529.tif 000005
【図４】
2010114529.tif 000006
【図５】
2010114529.tif 000007
【図６】
2010114529.tif 000008
【図７】
2010114529.tif 000009
【図８】
2010114529.tif 000010
【図９】
2010114529.tif 000011
【図１０】
2010114529.tif 000012
【図１１】
2010114529.tif 000013
【図１２】
2010114529.tif 000014
【図１３】
2010114529.tif 000015
【図１４】
2010114529.tif 000016
【図１５】
2010114529.tif 000017
【図１６】
2010114529.tif 000018
【図１７】
2010114529.tif 000019
【図１８】
2010114529.tif 000020