(57)【要約】【課題】字幕と本編映像中の文字とを区別することができる字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置を提供する。【解決手段】現フレーム画像を遅延させて前フレーム画像を出力する遅延部（２１）と、現フレーム画像を受けて領域毎に字幕の特徴を検出する現特徴検出部（４１）と、遅延部から前フレーム画像を受けて領域毎に字幕の特徴を検出する前特徴検出部（４２）と、現特徴検出部からの現フレーム画像の領域毎の特徴と前特徴検出部からの前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の出現した領域を検出する字幕出現領域検出部（４３，４６，４７）と、現特徴検出部からの現フレーム画像の領域毎の特徴と前特徴検出部からの前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の消失した領域を検出する字幕消失領域検出部（４５，５１，５２）をもつ字幕検出装置。【選択図】図１
2008141392.tif 000002
【特許請求の範囲】
【請求項１】
現フレーム画像を遅延させて前フレーム画像を出力する遅延部と、
前記現フレーム画像を受けて領域毎に字幕の特徴を検出する現特徴検出部と、
前記遅延部から前記前フレーム画像を受けて領域毎に字幕の特徴を検出する前特徴検出部と、
前記現特徴検出部からの前記現フレーム画像の領域毎の特徴と前記前特徴検出部からの前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の出現した領域を検出する字幕出現領域検出部と、
前記現特徴検出部からの前記現フレーム画像の領域毎の特徴と前記前特徴検出部からの前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の消失した領域を検出する字幕消失領域検出部を具備することを特徴とする字幕検出装置。
【請求項２】
前記現特徴検出部からの前記現フレーム画像の領域毎の特徴と前記前特徴検出部からの前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の表示中の領域を検出する字幕表示中領域検出部を更に有することを特徴とする請求項１記載の字幕検出装置。
【請求項３】
前記字幕出現領域検出部と、前記字幕消失領域検出部と、前記字幕表示中領域検出部とから、字幕出現の領域の数、字幕表示中の領域の数、字幕消失の領域の数に基づき、現フレームが、字幕なしか、字幕出現か、字幕表示中か、字幕消失かを判定する判定部を更に有することを特徴とする請求項２記載の字幕検出装置。
【請求項４】
画面内で字幕出現と判定された領域の数が所定数以上、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以下の場合、そのフレームを「字幕出現」と判定し、
画面内で字幕出現と判定された領域の数が所定数以下、かつ、画面内で字幕表示中と判定された領域の数が所定数以上、かつ、画面内で字幕が消失したと判定された領域の数が所定数以下の場合、そのフレームを「字幕表示中」と判定し、
画面内で字幕出現と判定された領域の数が所定数以下、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以上の場合に、そのフレームを「字幕消失」と判定し、
上述した場合のどれにも該当しない場合、そのフレームを「字幕なし」と判定する判定部を更に有することを特徴とする請求項２記載の字幕検出装置。
【請求項５】
前記判定部は、
ある任意の数の連続したフレームで前記「字幕なし」との判定が続いた後のフレームで、
前記画面内で字幕出現と判定された領域の数が所定数以上、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以下の場合のみ、そのフレームを「字幕出現」と判定し、
ある任意の数の連続したフレームで前記「字幕表示中」との判定が続いた後のフレームで、
前記画面内で字幕出現と判定された領域の数が所定数以下、かつ、画面内で字幕表示中と判定された領域の数が所定数以下、かつ、画面内で字幕が消失したと判定された領域の数が所定数以上の場合のみ、そのフレームを「字幕消失」と判定することを特徴とする請求項４記載の字幕検出装置。
【請求項６】
前記現特徴検出部は、前記現フレーム画像のうち所定振幅以上の垂直高周波成分を有する画素の数をカウントするカウンタと、前記現フレーム画像のダイナミックレンジを算出するダイナミックレンジ算出部と、前記現フレーム画像の所定輝度以上の画素数をカウントするカウンタを含むことを特徴とする請求項１記載の字幕検出装置。
【請求項７】
現フレーム画像とこれを遅延させた前フレーム画像とのフレーム間の差分を検出する差分回路と、
差分に基づき動きのあるブロックを判定する判定部と、
前記現フレーム画像を受けて特徴を検出する現特徴検出部と、前記遅延させた前フレーム画像を受けて領域毎の特徴を検出する前特徴検出部と、前記現特徴検出部からの前記現フレーム画像の領域毎の特徴と前記前特徴検出部からの前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の出現した領域を検出する字幕出現領域検出部と、前記現特徴検出部からの前記現フレーム画像の領域毎の特徴と前記前特徴検出部からの前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の消失した領域を検出する字幕消失領域検出部をもつ字幕検出部と、
前記動ブロック判定部が判定した動きのあるブロックから前記字幕検出部が検出した字幕の出現及び消失のあったブロックを除いてカウントするカウント部と、
前記カウント部のカウント数に応じて動フレームを判定する判定部と、
前記判定部が判定した動フレームがプルダウンのパターンである場合、プルダウン信号を検出したことを示す信号を出力する検出部と、
を具備することを特徴とするプルダウン信号検出装置。
【請求項８】
放送信号を受信し復調してフレーム画像信号を出力し、これを前記差分回路に供給するチューナ部と、
前記検出部から検出したプルダウン信号の有無に基づき、前記チューナ部からの前記フレーム画像信号にフレーム内挿処理を施すフレーム内挿部と、
前記フレーム内挿部によりフレーム内挿された映像信号を受け、この信号に応じた映像を画面表示する表示部と、
を具備することを特徴とする請求項７記載のプルダウン信号検出装置。
【請求項９】
現フレーム画像を遅延させて前フレーム画像を出力し、
前記現フレーム画像を受けて領域毎に字幕の特徴を検出し、
前記前フレーム画像を受けて領域毎に字幕の特徴を検出し、
前記現フレーム画像の領域毎の特徴と前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の出現した領域及び字幕の消失した領域を検出することを特徴とする字幕検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、映像フレーム中の字幕の存在を検出する字幕検出装置及び字幕検出方法に関し、更にこれを利用したプルダウン信号検出装置に関する。
【背景技術】
【０００２】
周知のように、映画等の映像信号のフレーム中には、俳優等が話す台詞を表示する字幕が画面の下方に設けられる場合が多い。このような字幕情報は、例えば、映像信号を調べたりする際に影響を与える場合があるため、映像信号のフレーム中に現在、字幕情報が含まれているかどうかを確認したい場合がある。
【０００３】
特許文献１は、画像を複数の領域に区分し、各領域別に字幕の特徴量を算出し、それらの特徴量により各領域が字幕ありの領域か否かを判別する。そして、字幕有りの領域数を行方向及び列方向に投影し、その投影結果に基づいて画像中に字幕があるか否かを判定する字幕検出方法である。
【特許文献１】特開平８−２１２２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、特許文献１の従来技術においては、ある瞬間に字幕情報が画面中に含まれているか否かを判断するだけなので、例えば、映像信号のフレーム中にどれだけ動きがあるかを判断する際に、映像の動きなのか字幕なのかの判断がつきにくいという問題がある。
【０００５】
本発明は、字幕と本編映像中の文字とを区別することができる字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
課題を解決するための本発明に係る一実施形態は、
現フレーム画像を遅延させて前フレーム画像を出力する遅延部（２１）と、前記現フレーム画像を受けて領域毎に字幕の特徴を検出する現特徴検出部（４１）と、前記遅延部から前記前フレーム画像を受けて領域毎に字幕の特徴を検出する前特徴検出部（４２）と、前記現特徴検出部からの前記現フレーム画像の領域毎の特徴と前記前特徴検出部からの前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の出現した領域を検出する字幕出現領域検出部（４３，４６，４７）と、前記現特徴検出部からの前記現フレーム画像の領域毎の特徴と前記前特徴検出部からの前記前フレーム画像の領域毎の特徴の時間的変化に基づき、字幕の消失した領域を検出する字幕消失領域検出部（４５，５１，５２）を具備することを特徴とする字幕検出装置である。
【発明の効果】
【０００７】
字幕と本編映像中の文字とを区別することができる字幕検出装置及び字幕検出方法並びにプルダウン信号検出装置を提供する。
【発明を実施するための最良の形態】
【０００８】
以下、この発明の実施の形態について図面を参照して詳細に説明する。
【０００９】
＜本発明の一実施形態に係る字幕検出装置＞
（構成）
初めに、本発明の一実施形態に係る字幕検出装置の構成を図１を用いて詳細に説明する。
【００１０】
図１は、本発明の一実施形態に係る字幕検出装置の構成の一例を示すブロック図である。
【００１１】
字幕検出装置３０は、図１において、現フレーム信号が供給される現フレーム字幕ブロック検出出力部４１と、前フレーム信号が供給される前フレーム字幕ブロック検出出力部４２と、現フレーム字幕ブロック検出出力部４１及び前フレーム字幕ブロック検出出力部４２の出力が供給される論理回路４３と、論理回路４４と、論理回路４５を有している。
【００１２】
更に、字幕検出装置３０は、論理回路４３からの信号をカウントする画面内字幕出現ブロック数カウント４６と、字幕出現判定レベルと比較を行なう比較器４７と、論理回路４４からの信号をカウントする画面内字幕表示中ブロック数カウント４９と、字幕表示中判定レベルと比較を行なう比較器５０と、論理回路４５から信号をカウントする画面内字幕消失ブロック数カウント５１と、字幕消失判定レベルと比較を行なう比較器５２と、字幕フレーム判定部４８、論理回路４３からの信号を受ける字幕出現ブロック識別部５３と、論理回路４４からの信号を受ける字幕表示中ブロック識別部５４と、論理回路４５からの信号を受ける字幕消失ブロック識別部５５を有している。
【００１３】
字幕特徴検出部４１は、現フレーム信号（輝度信号）が供給される水平ＬＰＦ６１及び垂直ＨＰＦ６２と、垂直高域成分比較レベルと比較する比較器６３と、小領域内垂直高域画素数カウント６４と、カウント６４の出力が供給され垂直高域ブロック判定レベルと比較される比較器６５と、その比較結果が供給される論理回路７１を有している。
【００１４】
更に、字幕特徴検出部４１は、現フレーム信号（輝度信号）が供給され、現フレーム信号の小領域におけるダイナミックレンジを算出する小領域内ダイナミックレンジ算出回路６６と、
小領域内ダイナミックレンジとダイナミックレンジ比較レベルと比較を行なう比較器６７を有している。
【００１５】
更に、字幕特徴検出部４１は、現フレーム信号（輝度信号）が供給され、現フレーム信号と輝度比較レベルとを比較する比較器６８と、比較器の結果を受けてこれを小領域において高輝度画素数をカウントする小領域内高輝度画素数カウント６９と、カウント結果を高輝度画素数比較レベルと比較する比較器７０を有している。
【００１６】
同様に前フレーム信号を処理する字幕特徴検出部４２は、略、字幕特徴検出部４１と同様の構造を有しており、前フレーム信号（輝度信号）が供給される水平ＬＰＦ８１及び垂直ＨＰＦ８２と、垂直高域成分比較レベルと比較する比較器８３と、小領域内垂直高域画素数カウント８４と、カウント８４の出力が供給され垂直高域ブロック判定レベルと比較される比較器８５と、その比較結果が供給される論理回路９１を有している。
【００１７】
更に、字幕特徴検出部４２は、前フレーム信号（輝度信号）が供給され、前フレーム信号の小領域におけるダイナミックレンジを算出する小領域内ダイナミックレンジ算出回路８６と、
小領域内ダイナミックレンジとダイナミックレンジ比較レベルと比較を行なう比較器８７を有している。
【００１８】
更に、字幕特徴検出部４１は、前フレーム信号（輝度信号）が供給され、前フレーム信号と輝度比較レベルとを比較する比較器８８と、比較器の結果を受けてこれを小領域において高輝度画素数をカウントする小領域内高輝度画素数カウント８９と、カウント結果を高輝度画素数比較レベルと比較する比較器９０を有している。
【００１９】
更に、字幕検出ウィンドウが論理回路７１，９１にそれぞれ供給されている。
【００２０】
（動作）
上記のような構成を有する字幕検出部３０は、以下のような動作により字幕の有無及び出現と消失を検出する。図２は、本発明の一実施形態に係る字幕検出装置の判定方法の一例を示すフローチャート、図３は、本発明の一実施形態に係る字幕検出装置の判定方法の他の一例を示すフローチャートである。
【００２１】
なお、以下の図２及び図３のフローチャートの各ステップは、回路ブロックに置き換えることができ、従って、各フローチャートのステップは、全てブロックに定義しなおすことが可能である。
【００２２】
・第１の処理動作
本発明の一実施形態に係る字幕検出部３０の第１の処理動作を以下に詳細に述べる。字幕検出部３０は、図２のフローチャートにおいて、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｙｅｓであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ１１）、字幕フレーム判定部４８は、このフレームを『字幕出現』と判定する（ステップＳ１５）。
【００２３】
一方、ステップＳ１１の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｙｅｓであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ１２）、字幕フレーム判定部４８は、このフレームを『字幕表示中』と判定する（ステップＳ１６）。
【００２４】
一方、ステップＳ１２の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｙｅｓであるとき（ステップＳ１３）、字幕フレーム判定部４８は、このフレームを『字幕消失』と判定する（ステップＳ１７）。
【００２５】
一方、ステップＳ１４の判断結果がＮｏであるときは、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ１４）。
【００２６】
・第２の処理動作
本発明の一実施形態に係る字幕検出部３０の第２の処理動作を以下に詳細に述べる。字幕検出部３０は、図３のフローチャートにおいて、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｙｅｓであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ２１）、前のフレームまで任意のフレーム数以上『字幕なし』のフレームという判定が続いていたかが問われる（ステップＳ２５）。ここで続いていたら、字幕フレーム判定部４８は、このフレームを『字幕出現』と判定する（ステップＳ２７）。続いていなければ、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ２４）。
【００２７】
一方、ステップＳ２１の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｙｅｓであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｎｏであるとき（ステップＳ２２）、字幕フレーム判定部４８は、このフレームを『字幕表示中』と判定する（ステップＳ２８）。
【００２８】
一方、ステップＳ２２の判断結果がＮｏであり、比較器４７の字幕出現判定レベルと比較した字幕出現判定結果が、Ｎｏであり、かつ、比較器５０の字幕表示中判定レベルと比較した字幕表示中判定結果が、Ｎｏであり、比較器５２の字幕消失判定レベルと比較した字幕消失判定結果が、Ｙｅｓであるとき（ステップＳ２３）、前のフレームまで任意のフレーム数以上『字幕表示中』のフレームという判定が続いていたかが問われる（ステップＳ２６）。ここで続いていたら、字幕フレーム判定部４８は、このフレームを『字幕消失』と判定する（ステップＳ２７）。続いていなければ、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ２９）。
【００２９】
一方、ステップＳ２３の判断結果がＮｏであるときは、字幕フレーム判定部４８は、このフレームを『字幕なし』と判定する（ステップＳ２４）。
【００３０】
このように、本発明の一実施形態に係る字幕検出装置は、少なくとも二つの方法により、各フレームの字幕の状態を判定することができる。
【００３１】
＜本発明の一実施形態に係る字幕検出装置を適用させたプルダウン信号検出回路＞
次に、本発明の一実施形態に係る字幕検出装置を適用させたプルダウン信号検出回路を説明する。図４は、本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部の構成の一例を示すブロック図である。
【００３２】
更に、プルダウン検出回路１９は、その詳細が図４に示されており、現フレーム信号が供給される遅延部２１と、現フレーム信号及び前フレーム信号がそれぞれ供給される水平垂直ＬＰＦ２２，２３と、それぞれの出力の差分を検出するフレーム間差分絶対値回路２４と、この値を積分処理する小領域内積分２５と、動ブロックの存在を判定する動ブロック判定回路２６と、動ブロックの数をカウントする画面内動ブロック数カウント２７と、判定レベルを参照して動フレームを判定する動フレーム判定回路２８と、この結果によりプルダウンパターンが存在したか動かを検出するプルダウンパターン検出回路２９を有している。
【００３３】
このような構成をもつプルダウン検出回路１９は、現フレーム信号と、遅延部２１からの前フレーム信号とをそれぞれ水平垂直ＬＰＦ２２，２３を介して、フレーム間差分絶対値回路２４に供給する。フレーム間差分絶対値回路２４では、小領域毎にフレーム間差分を求めて小領域内積分器２５により積分を行なう。そして、積分結果を動ブロック判定回路２６に供給して判定レベルと比較することにより、動きのあるブロックを判定する。
【００３４】
この際、上述した字幕検出装置３０の出力から、字幕フレーム判定出力、字幕出現ブロックフラグ、字幕出現ブロック番号、字幕消失ブロックフラグ、字幕消失ブロック番号を受けて、動ブロック数カウントdisable信号発生回路３１により処理を行なう。そして、プルダウン信号を検出する上で、本来の画面の動きではない字幕の出現や字幕の消失については、画面内動ブロック数カウント２７ではカウントせずに、他の本当の画像の動きだけをカウントするものである。
【００３５】
これにより、字幕が出現したり消失したりしても、動きとしてカウントしないことにより、与えられている映像信号に本当の意味での動きがあるかないかを、動フレーム判定回路２８において動フレーム判定レベルと比較することで、正確に判断することができる。従って、これにより、正確なプルダウン映像信号だけを判断することができ、後段のプルダウンパターン検出回路２９では、例えば、２−３プルダウン信号や２−２プルダウン信号を正確に検出することができる。
【００３６】
＜本発明の一実施形態に係る字幕検出装置を適用させたプルダウン信号検出回路を用いたフレーム内挿部を有するテレビジョン装置＞
図５は、本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部を含むフレーム内挿部を用いた放送受信装置の構成の一例を示すブロック図である。
【００３７】
本発明に係る一実施形態である字幕検出装置を適用させたプルダウン信号検出回路を用いた表示装置１０は、図５に示すように、アナログの地上波または衛星波及びデジタルの地上波または衛星波等を受けて音声映像信号を出力するチューナ部１１１と、音声映像信号のＭＰＥＧデコード処理を行うＭＰＥＧデコーダ１１４と、デコードされた信号にＩＰ変換及びスケール処理を行うＩＰ変換部・スケーラ部１１５と、画質補正処理を行う画質補正部１１６と、与えられる６０Ｈｚ（欧州は５０Ｈｚ）映像信号をフレーム内挿処理を施して倍速出力である１２０Ｈｚ（欧州は１００Ｈｚ）映像信号を出力するフレーム内挿部１１７と、内挿処理が施された映像信号に応じた映像を表示するディスプレイ１１３を有する。
【００３８】
このような構成をもつ表示装置１０に上述した本発明の一実施形態に係るフレーム内挿装置１１７に字幕検出装置３０を含むプルダウン信号検出部１９を適用することで、字幕の有無の影響を受けることのない正確な判定に基づく画面内動ブロック数カウントを得ることができる。
【００３９】
これにより、映像画面中に字幕が存在することで、プルダウン信号でもないのにプルダウン信号と誤認識したり、プルダウン信号であるのに通常の映像信号と誤認識することで、本来の内挿処理部１１８，１１８−２が選択されなくなるということによる誤動作を起こす等の不具合を生じることが無くなる。
【００４０】
以上記載した様々な実施形態により、当業者は本発明を実現することができるが、更にこれらの実施形態の様々な変形例を思いつくことが当業者によって容易であり、発明的な能力をもたなくとも様々な実施形態へと適用することが可能である。従って、本発明は、開示された原理と新規な特徴に矛盾しない広範な範囲に及ぶものであり、上述した実施形態に限定されるものではない。
【図面の簡単な説明】
【００４１】
【図１】本発明の一実施形態に係る字幕検出装置の構成の一例を示すブロック図。
【図２】本発明の一実施形態に係る字幕検出装置の判定方法の一例を示すフローチャート。
【図３】本発明の一実施形態に係る字幕検出装置の判定方法の他の一例を示すフローチャート。
【図４】本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部の構成の一例を示すブロック図。
【図５】本発明の一実施形態に係る字幕検出装置を用いたプルダウン信号検出部を含むフレーム内挿部を用いた放送受信装置の構成の一例を示すブロック図。
【符号の説明】
【００４２】
１０…放送受信装置、１１…チューナ部、１２…画像処理部、１３…ディスプレイ、１４…ＭＰＥＧデコーダ、１５…ＩＰ変換部・スケーラ、１６…画質補正部、１７…フレーム内挿部、１８…、１９…プルダウン信号検出部、２０…選択部、３０…字幕検出装置、３１…動ブロック数カウントdisable信号発生回路、４１…現フレーム字幕ブロック検出出力部、４２…前フレーム字幕ブロック検出出力部、４３…論理回路、４４…論理回路、４５…論理回路、４６…画面内字幕出現ブロック数カウント、４７…比較器、４８…字幕フレーム判定部、４９…画面内字幕表示中ブロック数カウント、５０…比較器、５１…画面内字幕消失ブロック数カウント、５２…比較器、５３…字幕出現ブロック識別部、５４…字幕表示中ブロック識別部、５５…字幕消失ブロック識別部。
【図１】
2008141392.tif 000003
【図２】
2008141392.tif 000004
【図３】
2008141392.tif 000005
【図４】
2008141392.tif 000006
【図５】
2008141392.tif 000007