(57)【要約】【課題】字幕エリアをリアルタイムで正確簡単に検出する。【解決手段】前回のフレームで決まった限定エリア内で今回のフレームの同一画素との比較を行って不変画素を求め、その不変画素の範囲に基づいて今回のフレームの限定エリアを更新し、その更新処理を順次入力するフレーム毎に行って限定エリアを絞り込み、限定エリアの大きさに大きな変化がなくなるとそれを字幕候補エリアとし、その字幕候補エリア内のエッジ密度に応じてその字幕候補エリアを字幕エリアとする。【選択図】図３
2008276627.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成する複数のフレームのデータを順番に受信し、現在のフレームの限定エリア内の画素から、直前のフレームの同一画素の輝度値との差が第１閾値未満である画素値を有する不変画素を検出し、該検出した不変画素の全てを含む最小の範囲を次のフレームの限定エリアとして設定する操作を、前記複数のフレームに含まれる第１のフレームを現在のフレームとするとともに、当該現在のフレームの限定エリアとして所定の大きさおよび位置を有する初期エリアを設定して開始し、現在のフレームの限定エリアの大きさと次のフレームの限定エリアの大きさとの差が第２閾値未満であることが検出されるまで繰り替えし更新して行う、検索処理を行い、
前記大きさの差が前記第２閾値未満であることが検出されたときの、前記次のフレームの限定エリアを、字幕候補エリアに設定し、
前記設定された字幕候補エリアが字幕エリアであるか否かを判断し、字幕エリアであると判断した場合に前記字幕候補エリアを字幕エリアに設定することを特徴とする字幕エリア検出方法。
【請求項２】
前記検索処理において、前記次のフレームの限定エリアの大きさが第３閾値未満であることを検出したときには、該次のフレームの限定エリアを無効として、前記初期エリアを次のフレームの限定エリアとして設定することを特徴とする請求項１記載の字幕エリア検出方法。
【請求項３】
前記第１のフレームを現在のフレームとして開始した検索処理を主検索処理として実施することに加えて、前記第１のフレームよりも後の第２のフレームを現在のフレームとして開始した予備検索処理を実施し、
前記主検索処理において、前記更新後の限定エリアの大きさが前記第３閾値未満であることを検出したときには、前記主検索処理を無効とし、前記予備検索処理を前記主検索処理に置き換えることを特徴とする請求項２記載の字幕エリア検出方法。
【請求項４】
前記字幕エリアであるか否かの判断を、前記字幕候補エリア内のエッジ密度を算出し、該算出したエッジ密度が第４閾値より大きいときに、字幕エリアであると判断することによって行うことを特徴とする請求項１、２又は３に記載の字幕エリア検出方法。
【請求項５】
前記動画像を構成する複数のフレームのデータを順番に入力する入力端子と、
前記複数のフレーム内の字幕エリアを検索する限定エリアを設定する限定エリア設定回路と、
前記入力端子に入力したフレームのデータを格納するメモリと、
前記入力端子に入力した現在のフレームのデータと前記メモリに格納した直前のフレームのデータとを同一画素について比較し、現在のフレームの限定エリア内の画素から、直前のフレームの同一画素の輝度値との差が第１閾値未満である画素値を有する不変画素を検出する不変画素検出回路と、
前記限定エリア設定回路が設定した限定エリアを字幕候補エリアに設定する字幕候補エリア設定回路と、
前記字幕候補エリア設定回路が設定した字幕候補エリアが字幕エリアであるか否かを判断し、字幕エリアであると判断したときには該字幕エリア侯補エリアを字幕エリアに設定する字幕エリア設定回路と、を有し、
前記限定エリア設定回路は、前記不変画素検出回路が検出した不変画素の全てを含む最小の範囲を次のフレームの限定エリアとして設定する操作を、前記複数のフレームに含まれる第１のフレームを現在のフレームとするとともに、現在のフレームの限定エリアとして所定の大きさおよび位置を有する初期エリアを設定して開始し、現在のフレームの限定エリアの大きさと次のフレームの限定エリアの大きさとの差が第２閾値未満であることが検出されるまで繰り替えし更新して行う、検索処理を行い、
前記字幕候補エリア設定回路は、前記限定エリア設定回路が前記大きさの差が前記第２閾値未満であることを検出したときに、前記次のフレームの限定エリアを字幕候補エリアに設定することを特徴とする字幕エリア検出装置。
【請求項６】
前記限定エリア設定回路は、前記次のフレームの限定エリアの大きさが第３閾値未満であることを検出したときには、該次のフレームの限定エリアを無効として、前記初期エリアを次のフレームの限定エリアとして設定することを特徴とする請求項５記載の字幕エリア検出装置。
【請求項７】
前記限定エリア設定回路は、前記第１のフレームを現在のフレームとして開始した検索処理を主検索処理として実施して主限定エリアを設定する主限定エリア設定回路と、前記第１のフレームよりも後の第２のフレームを現在のフレームとして開始した予備検索処理を実施して予備限定エリアを設定する予備限定エリア設定回路からなり、
前記主検索処理において、前記次のフレームの限定エリアの大きさが前記第３閾値未満であることを検出したときには、前記主検索処理で設定した主限定エリアを無効とし、前記予備検索処理で設定した予備限定エリアを前記主限定エリアに置き換えて、前記主検索処理を行うことを特徴とする請求項６記載の字幕エリア検出装置。
【請求項８】
前記主限定エリア設定回路で設定された主限定エリアを示す数値と、前記予備限定エリア設定回路で設定された予備限定エリアを示す数値を更新して保持するエリア限定レジスタをさらに有し、
前記予備検索処理で設定した予備限定エリアを前記主限定エリアに置き換えるとき、前記エリア限定レジスタに保持された数値を置き換えることを特徴とする請求項７記載の字幕エリア検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画像の字幕エリアを検出する方法および装置に関するものである。
【背景技術】
【０００２】
テレビ等の表示装置において、動画像のコントラスト等の調整のために、画面の輝度の最大値や最小値を検出し、これを元に輝度レベルを調整するという方法が行われている。しかし、それを表示するフレーム２０に、例えば図８に示すように、字幕エリア２１が含まれていた場合、この字幕エリア２１の輝度レベルが最大値や最小値の検出に影響を与え、画面の正しい輝度特性が得られず、正しいコントラスト補正が出来ないことがある。
【０００３】
これを防ぐため、輝度特性の検出の際、元画像と関係ない部分を予め字幕エリアとして指定して輝度特性検出の対象エリアから外す第１の手法、最終ライン付近で輝度の検出を行い、最明部や最暗部の計数が閾値を超えた場合その部分を字幕エリアとみなす第２の手法、ヒストグラムを利用し元画像とかけ離れた分布領域に存在するエリアを字幕エリアとして輝度値を変換し、影響を抑える第３の手法、現行フレームに存在する画素の輝度値と次フレームの同じ位置に存在する画素の輝度値との輝度差が臨界値より小さいときにその輝度値の画素を字幕エリア候補画素とする第４の手法（例えば、特許文献１参照）等が採用されている。
【特許文献１】特開２００５−２３５２２０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、第１の手法では、字幕エリアが現れない画面の場合でも該当エリアの輝度特性検出は行われず、正しい補正を行うことは出来ない。第２の手法では、前記のような問題は起こらないが、計数が閾値を超えてしまった揚合どんな場合でも字幕エリアとみなされてしまうため、正しい検出が行われない場合がある。第３の手法では、元画像のヒストグラムと字幕エリアのヒストグラム領域が離れていれば良い（図９(a)）が、これが重なる場合（図９(b)）は正しい補正をかけることが出来ない。第４の手法では、文字ブロック検出、文字領域決定、字幕エリア候補画素決定、文字候補ブロック決定、文字ブロック決定、という手順で字幕エリア候補ブロックが決定されるものであり、特に字幕エリア候補ブロックを使用しているために、処理に際してその分だけメモリが増大し、必要な演算量も大きくなる。
【０００５】
本発明の目的は、上記した問題を解決し、正確簡単に字幕エリアが検出できるようにした字幕エリア検出方法および装置を提供することである。
【課題を解決するための手段】
【０００６】
上記目的を達成するために、請求項１にかかる発明の字幕エリア検出方法は、動画像を構成する複数のフレームのデータを順番に受信し、現在のフレームの限定エリア内の画素から、直前のフレームの同一画素の輝度値との差が第１閾値未満である画素値を有する不変画素を検出し、該検出した不変画素の全てを含む最小の範囲を次のフレームの限定エリアとして設定する操作を、前記複数のフレームに含まれる第１のフレームを現在のフレームとするとともに、当該現在のフレームの限定エリアとして所定の大きさおよび位置を有する初期エリアを設定して開始し、現在のフレームの限定エリアの大きさと次のフレームの限定エリアの大きさとの差が第２閾値未満であることが検出されるまで繰り替えし更新して行う、検索処理を行い、前記大きさの差が前記第２閾値未満であることが検出されたときの、前記次のフレームの限定エリアを、字幕候補エリアに設定し、前記設定された字幕候補エリアが字幕エリアであるか否かを判断し、字幕エリアであると判断した場合に前記字幕候補エリアを字幕エリアに設定することを特徴とする。
請求項２にかかる発明は、請求項１に記載の字幕エリア検出方法において、前記検索処理において、前記次のフレームの限定エリアの大きさが第３閾値未満であることを検出したときには、該次のフレームの限定エリアを無効として、前記初期エリアを次のフレームの限定エリアとして設定することを特徴とする。
請求項３にかかる発明は、請求項２に記載の字幕エリア検出方法において、前記第１のフレームを現在のフレームとして開始した検索処理を主検索処理として実施することに加えて、前記第１のフレームよりも後の第２のフレームを現在のフレームとして開始した予備検索処理を実施し、前記主検索処理において、前記更新後の限定エリアの大きさが前記第３閾値未満であることを検出したときには、前記主検索処理を無効とし、前記予備検索処理を前記主検索処理に置き換えることを特徴とする。
請求項４にかかる発明は、請求項１、２又は３に記載の字幕エリア検出方法において、前記字幕エリアであるか否かの判断を、前記字幕候補エリア内のエッジ密度を算出し、該算出したエッジ密度が第４閾値より大きいときに、字幕エリアであると判断することによって行うことを特徴とする。
請求項５にかかる発明の字幕エリア検出装置は、前記動画像を構成する複数のフレームのデータを順番に受信する入力端子と、前記複数のフレーム内の字幕エリアを検索する限定エリアを設定する限定エリア設定回路と、前記受信したフレームのデータを格納するメモリと、前記受信した現在のフレームのデータと前記メモリに格納した直前のフレームのデータとを同一画素について比較し、現在のフレームの限定エリア内の画素から、直前のフレームの同一画素の輝度値との差が第１閾値以下である画素値を有する不変画素を検出する不変画素検出回路と、前記限定エリア設定回路が設定した限定エリアを字幕候補エリアに設定する字幕候補エリア設定回路と、前記字幕候補エリア設定回路が設定した字幕候補エリアが字幕エリアであるか否かを判断し、字幕エリアであると判断したときには該字幕エリア侯補エリアを字幕エリアに設定する字幕エリア設定回路と、を有し、前記限定エリア設定回路は、前記不変画素検出回路が検出した不変画素の全てを含む最小の範囲を次のフレームの限定エリアとして設定する操作を、前記複数のフレームに含まれる第１のフレームを現在のフレームとするとともに、現在のフレームの限定エリアとして所定の大きさおよび位置を有する初期エリアを設定して開始し、現在のフレームの限定エリアの大きさと次のフレームの限定エリアの大きさとの差が第２閾値未満であることが検出されるまで繰り替えし更新して行う、検索処理を行い、前記字幕候補エリア設定回路は、前記限定エリア設定回路が前記大きさの差が前記第２閾値未満であることを検出したときに、前記次のフレームの限定エリアを字幕候補エリアに設定することを特徴とする。
請求項６にかかる発明は、請求項５に記載の字幕エリア検出装置において、前記限定エリア設定回路は、前記次のフレームの限定エリアの大きさが第３閾値未満であることを検出したときには、該次のフレームの限定エリアを無効として、前記初期エリアを次のフレームの限定エリアとして設定することを特徴とする。
請求項７にかかる発明は、請求項６記載の字幕エリア検出装置において、前記限定エリア設定回路は、前記第１のフレームを現在のフレームとして開始した検索処理を主検索処理として実施して主限定エリアを設定する主限定エリア設定回路と、前記第１のフレームよりも後の第２のフレームを現在のフレームとして開始した予備検索処理を実施して予備限定エリアを設定する予備限定エリア設定回路からなり、前記主検索処理において、前記次のフレームの限定エリアの大きさが前記第３閾値未満であることを検出したときには、前記主検索処理で設定した主限定エリアを無効とし、前記予備検索処理で設定した予備限定エリアを前記主限定エリアに置き換えて、前記主検索処理を行うことを特徴とする。
請求項８にかかる発明は、請求項７記載の字幕エリア検出装置において、前記主限定エリア設定回路で更新され設定された主限定エリアを示す数値と、前記予備限定エリア設定回路で更新され設定された予備限定エリアを示す数値を保持するエリア限定レジスタをさらに有し、前記予備検索処理で設定した予備限定エリアを前記主限定エリアに置き換えるとき、前記エリア限定レジスタに保持された数値を置き換えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、限定エリア内での同一画素の比較により不変画素を求めてその限定エリアを更新する処理をフレーム毎に行って限定エリアを絞り込む検索処理を行い、限定エリアの大きさに大きな変化がなくなるとそれを字幕候補エリアとし、最終的に字幕エリアを求めるものであり、字幕エリアをリアルタイムで正確簡単に検出できる。また、主検索処理と並行して予備検索処理を行うことにより、主検索処理失敗時にそれまでの予備検索処理の結果をふまえて主検索処理を再開できるので、字幕エリア検出を迅速化できる。
【発明を実施するための最良の形態】
【０００８】
＜第１実施例＞
図１は本発明の第１実施例の字幕エリア検出装置の動作概要の説明図、図２は字幕エリア検出装置の構成を示すブロック図、図３は字幕エリア検出処理のフローチャートである。本実施例では、図１に示すように、字幕エリア２１と思われるエリア（限定エリア）を順次入力するフレーム２０毎に、Ａ１→Ａ２→・・・→Ａｎと絞り込んで行き、最終的に字幕エリア２１を特定するものである。２２は画素である。
【０００９】
図２において、１は画像入力端子である。２はフレームメモリであり、動画像のデータを１フレーム分格納する。３は不変画素検出回路であり、前後２個のフレーム間の限定エリア内での同一画素の輝度値が第１閾値未満のとき当該画素を不変画素として検出する。４は限定エリア設定回路であり、不変画素検出回路３で検出された不変画素の全てを含む最小範囲を限定エリアとして設定する。この限定エリア設定回路４は、不変画素検出回路３が検出した不変画素の全てを含む最小の範囲を次のフレームの限定エリアとして設定する操作を、複数のフレームに含まれる第１のフレームを現在のフレームとするとともに、現在のフレームの限定エリアとして所定の大きさおよび位置を有する初期エリアを設定して開始し、現在のフレームの限定エリアの大きさと次のフレームの限定エリアの大きさとの差が第２閾値未満であることが検出されるまで繰り替えし更新して行う検索処理を行う。５はエリア限定レジスタであり、限定エリア設定回路４で設定された限定エリアを示す数値を更新して記憶する。６は字幕候補エリア検出回路であり、限定エリア設定回路４が現在と前回設定した限定エリアの大きさの差が第２閾値未満のとき、現在設定した限定エリアを字幕候補エリアとする。７は字幕エリア設定回路であり、字幕候補エリア検出回路６が検出した字幕候補エリア内のエッジ密度が第４閾値より大きいとき、当該字幕候補エリアを字幕エリアとして設定する。８は画像補正回路であり、入力する画像データのフレームの内、字幕エリア設定回路７で設定された字幕エリアを除く領域の画素に基づき、コントラスト補正等の画像補正処理を行う。
【００１０】
さて、最初は、エリア限定レジスタ５は初期化され、フレーム２０内の最も広い限定エリアＡ１を示す数値に設定されている（図３のステップＳ１）。よって、この後に入力端子１に１番目と２番目のフレームが続けて入力したときは、フレームメモリ２から出力する１番目のフレームと入力端子１から入力する２番目のフレームの同一画素が不変画素検出回路２において限定エリアＡ１内で比較され、画素差（輝度差）が第１閾値未満の画素（変化最小画素）が不変画素として検出される。そして、その不変画素の全てを含む最小の範囲が新たな限定エリアＡ２として、限定エリア設定回路４により設定され、エリア限定レジスタ５に記憶した限定エリアを示す数値（例えば、左上と右下の画素位置）が更新される（ステップＳ３）。
【００１１】
入力端子１に３番目のフレームが入力したときは、不変画素検出回路３において、前記限定エリアＡ２内における２番目のフレームと３番目のフレームの同一画素が比較され、画素差が第１閾値未満の画素が不変画素として検出され、その不変画素の全てを含む最小の範囲が新たな限定エリアＡ３（図示せず）として限定エリア設定回路４で設定され、エリア限定レジスタ５に記憶した限定エリアの数値が更新される。以上の検索処理の操作が繰り返される（ステップＳ２，Ｓ３，Ｓ４−Ｎ，Ｓ５−Ｎ）ことによって、限定エリアが順次小さくなっていく。
【００１２】
ただし、この更新された限定エリアの大きさが第３閾値（字幕エリア２１の大きさに相当）未満になったときは、字幕エリアが消えたかあるいは字幕エリアが移動したことを示すので、このときはエリア限定レジスタ５の記憶内容を限定エリアＡ１に初期化し（ステップＳ４−Ｙ，Ｓ１）、次のフレームから再度上記操作（ステップＳ２，Ｓ３，Ｓ４−Ｎ，Ｓ５−Ｎ）を繰り返す。
【００１３】
そして、前回の限定エリアＡｎ−１（図示せず）と今回の限定エリアＡｎの大きさの差が第２閾値未満になったとき（ステップＳ５−Ｙ）は、字幕候補エリア検出回路６によって、今回使用した限定エリアＡｎを字幕候補エリアとして検出する。
【００１４】
さらに、字幕エリア設定回路７において、前記字幕候補エリア内の全画素について隣接画素との微分値をとり、その各微分値を合算して、エッジ密度を求める。そのエッジ密度が第４閾値を超えるときに、その字幕候補エリアを字幕エリアとする（ステップＳ７−Ｙ，Ｓ８）。ただし、エッジ密度が第４閾値を超えないときは、エリア限定レジスタ５の記憶内容を限定エリアＡ１に初期化し（ステップＳ７−Ｎ，Ｓ１）、次のフレームから再度上記操作を繰り返す。
【００１５】
以上のような処理により、字幕エリアが決定されると、フレーム内からこの字幕エリアを除いたエリアについて、画像補正回路８において、例えば輝度の最大値や最小値を検出し、これを元に輝度レベルを調整するという画像補正制御が行われれる。このように、本実施例によれば、限定エリア内での同一画素の比較により不変画素を求めてその限定エリアを更新する処理をフレーム毎に行って限定エリアを絞り込む検索処理を行い、限定エリアの大きさに大きな変化がなくなるとそれを字幕候補エリアとし、最終的に字幕エリアを求めるものである。従って、字幕エリアをリアルタイムで正確簡単に検出できる。
【００１６】
＜第２実施例＞
図４は本発明の第２実施例の字幕エリア検出装置の動作概要の説明図、図５は字幕エリア検出装置の構成を示すブロック図、図６と図７は処理のフローチャートである。本実施例では、第１実施例で説明した検索処理を主検索処理として実行し、そのバックグラウンドで主検索処理よりもＮフレーム後から開始する予備検索処理を行い、主検索処理によってフレーム毎の字幕エリアと思えるエリアを絞り込んで行く際に、例えば、図４に示すように、主限定エリアがＡ１→Ａ２と小さくなってその主限定エリアＡ２の大きさが第３閾値未満となり、あるいは微分値の和が第４閾値に達しないときに、予備検索処理で得られた予備限定エリアＢ１を主限定エリアＡ３に置き換えて、Ａ３→・・・のように、主検索処理を続行するものである。
【００１７】
図５において、図２で説明した構成要素と同じものには同じ符号を付けた。本実施例では、図２における限定エリア設定回路４を主検索処理において主限定エリアを設定する主限定エリア設定回路４Ａに置き換えると共に、予備検索処理において予備限定エリアを設定する予備限定エリア設定回路４Ｂと、フレームカウンタ９を新たに追加している。また、エリア限定レジスタ５Ａは主限定エリアと予備限定エリアの数値を更新して記憶する。
【００１８】
本実施例は、第１実施例における字幕エリア検索の処理を主検索処理として図６に示すように実行しつつ、その主検索処理の開始フレームよりＮフレーム後のフレームを開始フレームとして図７のように予備検索処理を実行する。そして、主検索処理において主限定エリアの大きさが第３閾値未満になったとき又は微分値の和が第４閾値に達しないときに、主検索処理を無効とし、予備検索処理を主検索処理に置き換えて、字幕エリア検索を行うものである。
【００１９】
さて、図６の主検索処理は前記した図３に示した処理とほぼ同じであるが、主限定エリアの大きさが第３閾値未満となったとき（ステップＳ１４−Ｙ）、又は微分値の和が第４閾値を超えないとき（ステップＳ１７−Ｎ）に、エリア限定レジスタ５Ａの現在の主限定エリアの数値を無効にする（ステップＳ１９）。
【００２０】
図７の予備検索処理では、エリア限定レジスタ５の予備限定エリアの数値が初期化されると（ステップＳ２１）、Ｎフレームに達するまでフレームを繰り返して入力する（ステップＳ２２，Ｓ２３）。そして、Ｎフレーム目に達すると、Ｎ＋１フレーム目から、そのフレームと前回のフレームの同一画素が比較され、画素差が第１閾値未満の画素が不変画素として検出され、その不変画素の全てを含む最小の範囲が新たな予備限定エリアとして予備限定エリア設定回路４Ｂで設定され、エリア限定レジスタ５Ａの予備限定エリアの数値が更新される。これが繰り返される（ステップＳ２４，Ｓ２５−Ｎ，Ｓ２６）ことによって、予備限定エリアが順次小さくなっていく。
【００２１】
前記したように、主検索処理において、主限定エリアが無効（図６のステップＳ１９）になると（ステップＳ２５−Ｙ）、エリア限定レジスタ５Ａの予備限定エリアの数値が主限定エリアの数値に置き換えられ、置換された主限定エリアについて、図６の処理が行われる。
【００２２】
本実施例によれば、主検索処理と並行して予備検索処理が行われ、主検索処理失敗時には、主検索処理を最初からやり直すのではなく、それまでの予備検索処理の結果をふまえて主検索処理が再開されるので、字幕エリア検出を迅速化できる。
【００２３】
なお、本発明の字幕エリア検出方法および装置を用いることにより、例えば映画の字幕のように文字のみが表示される字幕エリアのみではなく、例えば、交通情報や天気予報のように、文字および静止画像が表示される字幕エリアも検出することができる。
【図面の簡単な説明】
【００２４】
【図１】本発明の第１実施例の字幕エリア検出装置の動作概要説明図である。
【図２】第１実施例の字幕エリア検出装置の構成を示すブロック図である。
【図３】第１実施例の字幕エリア検出処理のフローチャートである。
【図４】本発明の第２実施例の字幕エリア検出装置の動作概要説明図である。
【図５】第２実施例の字幕エリア検出装置の構成を示すブロック図である。
【図６】第２実施例の字幕エリア検出の主検索処理のフローチャートである。
【図７】第２実施例の字幕エリア検出の予備検索処理のフローチャートである。
【図８】字幕エリアの説明図である。
【図９】字幕と現画像の輝度のヒストグラムの説明図である。
【符号の説明】
【００２５】
１：入力端子、２：フレームメモリ、３：不変画素検出回路、４：限定エリア設定回路、４Ａ：主限定エリア設定回路、４Ｂ：予備限定エリア設定回路、５，５Ａ：エリア限定レジスタ、６：字幕候補エリア検出回路、７：字幕エリア設定回路、８：画像補正回路、９：フレームカウンタ、２０：フレーム、２１：字幕エリア、２２：画素
【図１】
2008276627.tif 000003
【図２】
2008276627.tif 000004
【図３】
2008276627.tif 000005
【図４】
2008276627.tif 000006
【図５】
2008276627.tif 000007
【図６】
2008276627.tif 000008
【図７】
2008276627.tif 000009
【図８】
2008276627.tif 000010
【図９】
2008276627.tif 000011