(57)【要約】【課題】  動画像の字幕検出方法および装置を提供する。【解決手段】  動画像を構成するフレームのうち、ｔ番目のフレームを現行のフレームとして読み取り、ｔ−Ｎ番目のフレームである前のフレームから検出された字幕領域が前記現行のフレームに存在するかどうかを判断するステップと、前のフレームから検出された字幕領域が現行のフレームに存在していないと判断すれば、現行のフレーム全体から字幕領域を検出するステップと、前のフレームから検出した字幕領域が現行のフレームに存在すると判断すれば、現行のフレームのうち、前記前のフレームから検出した前記字幕領域に該当する領域を除外した残りの領域から字幕領域を検出し、動画像を構成するフレームのうち、ｔ＋Ｎ番目のフレームである次のフレームに字幕領域が存在するかどうかを検証する段階と、を含むことを特徴とする。【選択図】      図１７
2005235220.tif 000002
【特許請求の範囲】
【請求項１】
動画像を構成するフレームのうち、ｔ（ここで、ｔは正の整数である）番目のフレームを現行のフレームとして読み取るステップと、
前記動画像を構成するフレームのうち、ｔ−Ｎ（ここで、Ｎは正の整数である）番目のフレームである前のフレームから検出された字幕領域が前記現行のフレームに存在するかどうかを判断するステップと、
前記前のフレームから検出された前記字幕領域が前記現行のフレームに存在していないと判断すれば、前記現行のフレーム全体から字幕領域を検出するステップと、
前記前のフレームから検出された字幕領域が前記現行のフレームに存在すると判断すれば、前記現行のフレームのうち、前記前のフレームから検出された前記字幕領域に該当する領域を除外した残りの領域から字幕領域を検出し、前記動画像を構成するフレームのうち、ｔ＋Ｎ番目のフレームである次のフレームに字幕領域が存在するかどうかを検証するステップと、
を含むことを特徴とする動画像の字幕検出方法。
【請求項２】
前記動画像の字幕検出方法は、
前記字幕領域を検出または検証した後、前記現行のフレームが前記動画像の最終フレームであるかどうかを判断するステップと、
前記現行のフレームが前記動画像の前記最終フレームでないと判断されれば、前記ｔをＮだけ増加させ、前記現行のフレームを読み取るステップに進むステップと、
をさらに含むことを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項３】
前記現行のフレームの字幕領域を検出するステップは、
前記現行のフレームから文字ブロックを検出するステップと、
前記検出した文字ブロックを利用して、前記現行のフレームが字幕フレームであるかどうかを判断するステップと、
前記現行のフレームが前記字幕フレームであると判断すれば、前記字幕フレームを後処理して前記字幕フレームから字幕領域を決定するステップと、
を含むことを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項４】
前記文字ブロックを検出するステップは、
同じ位置に存在する前記現行のフレームの各画素と前記次のフレームの各画素との間の輝度差を求め、第１臨界値より少ない輝度差を求める時に利用された前記現行のフレームの画素を字幕候補画素として決定するステップと、
前記現行のフレームを所定大きさのサブブロックに分け、前記各サブブロックに含まれた前記字幕候補画素の個数を求め、第２臨界値より大きい個数の前記字幕候補画素を有するサブブロックを字幕候補ブロックとして決定するステップと、
前記各字幕候補ブロックのエッジ密度を求め、第３臨界値を超過する前記エッジ密度を有する字幕候補ブロックを前記文字ブロックとして決定するステップと、
を含むことを特徴とする請求項３に記載の動画像の字幕検出方法。
【請求項５】
前記エッジ密度は、前記字幕候補ブロックに含まれた画素のエッジグラジエントを合算した値を、前記字幕候補ブロックに含まれた画素の個数で割った結果であることを特徴とする請求項４に記載の動画像の字幕検出方法。
【請求項６】
前記エッジ密度は、前記字幕候補ブロックに含まれた画素のエッジグラジエントと該当する加重値とを乗算した値を合算し、前記合算値に前記字幕候補ブロックに含まれた画素の個数で割った結果であることを特徴とする請求項４に記載の動画像の字幕検出方法。
【請求項７】
前記加重値は、前記エッジグラジエントを、前記字幕候補ブロックで発生可能なグラジエントの最大値で割った結果であることを特徴とする請求項６に記載の動画像の字幕検出方法。
【請求項８】
前記現行のフレームが前記字幕フレームであるかどうかを判断するステップは、前記現行のフレームに含まれた前記文字ブロックの個数が第４臨界値より大きいどうかを判断するステップを含み、
前記第４臨界値より大きい数の前記文字ブロックを有する前記現行のフレームは、前記字幕フレームに該当することを特徴とする請求項３に記載の動画像の字幕検出方法。
【請求項９】
前記字幕フレームを前記後処理するステップは、
前記現行のフレームが前記字幕フレームであると判断されれば、前記字幕フレームに含まれた前記文字ブロックから、隣接する文字ブロックを有していない孤立した文字ブロックを除去するステップと、
前記孤立した文字ブロックが除去された前記字幕フレームで、互いに隣接する文字ブロックの群をバウンディングボックスとして決定するステップと、
前記現行のフレームを所定の大きさのサブブロックに分割する場合に、前記各バウンディングボックスに含まれた前記サブブロックの個数を求め、前記字幕フレームに含まれたバウンディングボックスのうち第５臨界値より大きい数のサブブロックを含むバウンディングボックスのみを抽出するステップと、
前記抽出したバウンディングボックスそれぞれの平均エッジ密度を求め、第６臨界値より大きい平均エッジ密度を有するバウンディングボックスを前記字幕領域として決定するステップと、
を含むことを特徴とする請求項３に記載の動画像の字幕検出方法。
【請求項１０】
前記バウンディングボックスを決定するステップは、
前記孤立した文字ブロックが除去された前記字幕フレームで、各行および各列に含まれた前記文字ブロックの個数を求めるステップと、
第７臨界値より大きい数の前記文字ブロックを含む行と、第８臨界値より大きい数の前記文字ブロックを含む列と、を選択するステップと、
前記選択した行と前記選択した列との組合わせにより前記バウンディングボックスを決定するステップと、含み、
前記各行および各列は、前記現行のフレームを前記サブブロックに分割する場合に設定されることを特徴とする請求項９に記載の動画像の字幕検出方法。
【請求項１１】
前記第７臨界値は、前記第８臨界値と同一であることを特徴とする請求項１０に記載の動画像の字幕検出方法。
【請求項１２】
前記行と前記列とを組合わせて前記バウンディングボックスを決定するステップは、
前記選択された行のうち前記文字ブロックが連続して存在する部分を行領域と決定し、前記選択された列のうち前記文字ブロックが連続して存在する部分を列領域と決定するステップと、
前記決定した行領域と前記決定した列領域とが重なる部分を前記バウンディングボックスとして決定するステップと、
を含むことを特徴とする請求項１０に記載の動画像の字幕検出方法。
【請求項１３】
前記バウンディングボックスを抽出するステップは、
前記第５臨界値より大きい数の前記サブブロックを含む前記バウンディングボックスを、前記字幕フレームから連結要素ラベリング法を利用して抽出することを特徴とする請求項９に記載の動画像の字幕検出方法。
【請求項１４】
前記平均エッジ密度は、前記抽出したバウンディングボックスに含まれた前記サブブロックのエッジ密度の平均であることを特徴とする請求項９に記載の動画像の字幕検出方法。
【請求項１５】
前記平均エッジ密度は、前記抽出したバウンディングボックスに含まれた前記字幕候補ブロックのエッジ密度の平均であることを特徴とする請求項９に記載の動画像の字幕検出方法。
【請求項１６】
前記平均エッジ密度は、前記抽出したバウンディングボックスに含まれた前記文字ブロックのエッジ密度の平均に該当することを特徴とする請求項９に記載の動画像の字幕検出方法。
【請求項１７】
前記現行のフレームの字幕領域を検出するステップは、前記現行のフレームから前記前のフレームの直前フレームまでのフレームのうち、前記動画像の字幕が始まったフレームである開始フレームを探すステップをさらに含むことを特徴とする請求項３に記載の動画像の字幕検出方法。
【請求項１８】
前記開始フレームを探すステップは、
前記ｔ番目のフレームで前記決定された字幕領域に位置する画素の輝度値と、前記ｔ−１番目のフレームで、前記ｔ番目のフレームで決定された字幕領域に対応する領域に位置する画素の輝度値との差である輝度差の中から、第９臨界値より大きい輝度差の個数を求めるステップと、
前記第９臨界値より大きい輝度差の個数が第１０臨界値より大きいどうかを判断するステップと、
前記第９臨界値より大きい輝度差の個数が、前記第１０臨界値より大きい判断すれば、前記ｔ番目のフレームを前記開始フレームとして決定するステップと、
前記第９臨界値より大きい輝度差の個数が、前記第１０臨界値より小さいと判断すれば、ｔを１だけ減少させるステップと、
前記ｔ番目のフレームが前記前のフレームであるかどうかを判断し、前記ｔ番目のフレームが前記前のフレームでないと判断すれば、前記輝度差の個数を求めるステップに進むステップと、
前記ｔ番目のフレームが前記前のフレームであると判断すれば、前記ｔ−Ｎ＋１番目のフレームを前記開始フレームとして決定するステップと、を含むことを特徴とする請求項１７に記載の動画像の字幕検出方法。
【請求項１９】
前記現行のフレームの前記残りの領域について前記字幕領域を検出するステップは、
前記残りの領域から文字ブロックを検出するステップと、
前記残りの領域を基準に前記現行のフレームが字幕フレームであるかどうかを判断するステップと、
前記現行のフレームが前記字幕フレームであると判断すれば、前記残りの領域を後処理して前記残りの領域から字幕領域を決定するステップと、
を含むことを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項２０】
前記次のフレームに前記字幕領域が存在するかどうかを判断するステップは、
前記ｔ番目のフレームで前記決定された字幕領域に位置する画素の輝度値と、前記ｔ＋Ｎ番目のフレームで、前記ｔ番目のフレームで決定された字幕領域に対応する領域に位置する画素の輝度値との差である輝度差の中で、第１１臨界値より大きい輝度差の個数を求めるステップと、
前記第１１臨界値を超過する輝度差の個数が第１２臨界値より大きいどうかを判断するステップと、を含み、
前記次のフレームに前記字幕領域が存在していなければ、前記第１１臨界値より大きい輝度差の個数は前記第１２臨界値より大きいことを特徴とする請求項１に記載の動画像の字幕検出方法。
【請求項２１】
前記次のフレームに前記字幕領域が存在するかどうかを判断するステップは、前記次のフレームに前記字幕領域が存在していないと判断すれば、前記動画像の字幕が終了したフレームである最終フレームを探すステップを含むことを特徴とする請求項２０に記載の動画像の字幕検出方法。
【請求項２２】
前記最終フレームを探すステップは、
前記ｔ番目のフレームで前記決定された字幕領域に位置する画素の輝度値と、前記ｔ＋１番目のフレームで、前記ｔ番目のフレームで決定された字幕領域に対応する領域に位置する画素の輝度値との差である輝度差の中から、第１３臨界値より大きい輝度差の個数を求めるステップと、
前記第１３臨界値より大きい輝度差の個数が、第１４臨界値より大きいかどうかを判断するステップと、
前記第１３臨界値より大きい前記輝度差の個数が、前記第１４臨界値より大きいと判断すれば、前記ｔ番目のフレームを前記最終フレームとして決定するステップと、
前記第１３臨界値より大きい前記輝度差の個数が、前記第１４臨界値より大きくないと判断すれば、ｔを１だけ増加させるステップと、
前記ｔ番目のフレームが前記次のフレームであるかどうかを判断し、前記ｔ番目のフレームが前記次のフレームでないと判断すれば、前記輝度差の個数を求めるステップに進むステップと、
前記ｔ番目のフレームが前記次のフレームであると判断すれば、前記ｔ＋Ｎ−１番目のフレームを前記最終フレームとして決定するステップと、
を含むことを特徴とする請求項２１に記載の動画像の字幕検出方法。
【請求項２３】
動画像を構成するフレームのうち、ｔ（ここで、ｔは正の整数である）番目のフレームである現行のフレームを読み取るフレーム入力部と、
前記動画像を構成するフレームのうち、ｔ−Ｎ（ここで、Ｎは正の整数である）番目のフレームである前のフレームから検出された字幕領域が前記現行のフレームに存在するかどうかを検査し、検査した結果を第１制御信号として出力する字幕領域検査部と、
前記第１制御信号に応答して、前記現行のフレームから字幕領域を検出する第１字幕領域検出部と、
前記第１制御信号に応答して、前記現行のフレームから、前記前のフレームから検出された前記字幕領域に該当する領域を除外した残りの領域について字幕領域を検出する第２字幕領域検出部と、
前記動画像を構成するフレームのうち、ｔ＋Ｎ番目のフレームである次のフレームに字幕領域の存否を検証する字幕領域検証部と、
を具備することを特徴とする動画像の字幕検出装置。
【請求項２４】
前記動画像の字幕検出装置は、
前記第１字幕領域検出部から受け取った前記字幕領域の検出完了有無を示す信号、または前記字幕領域検証部から受け取った前記字幕領域の検証完了有無を示す信号に応答して、前記フレーム入力部によって入力された前記現行のフレームが、前記動画像の最終フレームであるかどうかを検査し、検査した結果を第２制御信号として出力する最終フレーム検査部と、
前記第２制御信号に応答して、前記ｔをＮだけ増加させ、増加したｔを前記フレーム入力部に出力する第１ｔ調整部と、
をさらに具備することを特徴とする請求項２３に記載の動画像の字幕検出装置。
【請求項２５】
前記第１字幕領域検出部は、
前記第１制御信号に応答して、前記現行のフレームから文字ブロックを検出する第１文字ブロック検出部と、
前記検出した文字ブロックを利用して前記現行のフレームが字幕フレームであるかどうかを検査し、検査結果を第３制御信号として出力する第１字幕フレーム検査部と、
前記第３制御信号に応答して、前記字幕フレームを後処理して前記字幕フレームから字幕領域を決定する第１字幕領域決定部と、
を具備することを特徴とする請求項２３に記載の動画像の字幕検出装置。
【請求項２６】
前記第１文字ブロック検出部は、
前記第１制御信号に応答して、同じ位置に存在する前記現行のフレームの各画素と前記前のフレームの各画素との輝度差を求め、第１臨界値より小さい輝度差を求める時に利用された前記現行のフレームの画素を字幕候補画素として決定する字幕候補画素決定部と、
前記現行のフレームを所定の大きさのサブブロックに分け、前記各サブブロックに含まれた前記字幕候補画素の個数を求め、第２臨界値より大きい個数の前記字幕候補画素を有するサブブロックを字幕候補ブロックとして決定する字幕候補ブロック決定部と、
前記各字幕候補ブロックのエッジ密度を求め、第３臨界値より大きい前記エッジ密度を有する字幕候補ブロックを前記文字ブロックとして決定する文字ブロック決定部と、
を具備することを特徴とする請求項２５に記載の動画像の字幕検出装置。
【請求項２７】
前記第１字幕フレーム検査部は、
前記現行のフレームに含まれた前記文字ブロックの個数が第４臨界値より大きいかどうかを検査する文字ブロック個数検査部と、
前記第４臨界値より大きい個数の前記文字ブロックを含む前記現行のフレームを前記字幕フレームとして決定する字幕フレーム決定部と、
を具備することを特徴とする請求項２５に記載の動画像の字幕検出装置。
【請求項２８】
前記第１字幕領域決定部は、
前記第３制御信号に応答して、前記字幕フレームに含まれた前記文字ブロックの中から、隣接する文字ブロックを有さない孤立した文字ブロックを除去する孤立文字ブロック除去部と、
前記孤立した文字ブロックを除去した前記字幕フレームで、互いに隣接する文字ブロックの群をバウンディングボックスとして決定するバウンディングボックス決定部と、
前記現行のフレームを所定大きさのサブブロックに分割する場合に、前記各バウンディングボックスに含まれた前記サブブロックの個数を求め、第５臨界値より大きい数のサブブロックを含むバウンディングボックスを前記字幕フレームから抽出するバウンディングボックス抽出部と、
前記抽出されたバウンディングボックスそれぞれの平均エッジ密度を求め、第６臨界値より大きい平均エッジ密度を有するバウンディングボックスを前記字幕領域として決定する字幕領域抽出部と、
を具備することを特徴とする請求項２５に記載の動画像の字幕検出装置。
【請求項２９】
前記バウンディングボックスを決定部は、
前記孤立した文字ブロックが除去された前記字幕フレームにおいて、各行および各列に含まれた前記文字ブロックの個数を計算する文字ブロック数計算部と、
第７臨界値より大きい数の前記文字ブロックを含む行と、第８臨界値より大きい数の前記文字ブロックを含む列とを選択する行および列選択部と、
前記選択した行と前記選択した列との組合わせにより前記バウンディングボックスを決定する行および列組合わせ部と、を具備し、
前記各行および各列は、前記現行のフレームを前記サブブロックに分ける場合に設定されることを特徴とする請求項２８に記載の動画像の字幕検出装置。
【請求項３０】
前記行および列組合わせ部は、
前記選択した行で、前記文字ブロックが連続して存在する部分を行領域として決定し、前記選択した列で、前記文字ブロックが連続して存在する部分を列領域として決定する領域決定部と、
前記決定した行領域と前記決定した列領域とが重なる部分を前記バウンディングボックスとして決定する重畳領域検査部と、
を具備することを特徴とする請求項２９に記載の動画像の字幕検出装置。
【請求項３１】
前記第１字幕領域検出部は、前記第１字幕領域決定部から受け取った前記字幕領域の決定完了可否を示す信号に応答して、前記現行のフレームから、前記前のフレームの直前フレームのうち前記動画像の字幕が始まったフレームである開始フレームを探す開始フレームサーチ部をさらに具備することを特徴とする請求項２５に記載の動画像の字幕検出装置。
【請求項３２】
前記開始フレームサーチ部は、
前記第１字幕領域決定部によって入力された前記字幕領域の決定完了可否を示す信号に応答して、前記ｔ番目のフレームで前記決定した字幕領域に位置する画素の輝度値と、前記ｔ−１番目のフレームで、前記ｔ番目のフレームで決定された字幕領域に対応する領域に位置する画素の輝度値との差である輝度差のうち、第９臨界値より大きい輝度差の個数を計算する第１輝度差の個数計算部と、
前記第９臨界値より大きい輝度差の個数と第１０臨界値とを比較し、比較結果を出力する第１個数比較部と、
前記第１個数比較部で比較した結果に応答して、ｔを１だけ減少させる第２ｔ調整部と、
前記第２ｔ調整部で調整されたｔ番目のフレームが前記前のフレームであるかどうかを検査し、検査結果を出力する前のフレーム検査部と、
前記第１個数比較部で比較した結果に応答して、前記ｔ番目のフレームを前記開始フレームとして決定するか、または、前記前のフレーム検査部で検査した結果に応答して前記ｔ−Ｎ＋１番目のフレームを前記開始フレームとして決定する開始フレーム決定部と、を具備し、
前記第１輝度差の個数計算部は、前記前のフレーム検査部で検査した結果に応答して、前記輝度差の個数を計算することを特徴とする請求項３１に記載の動画像の字幕検出装置。
【請求項３３】
前記第２字幕領域検出部は、
前記第１制御信号に応答して、前記残りの領域から文字ブロックを検出する第２文字ブロック検出部と、
前記残りの領域から抽出された前記文字ブロックを利用して、前記現行のフレームが字幕フレームであるかどうかを検査し、検査結果を第４制御信号として出力する第２字幕フレーム検査部と、
前記第４制御信号に応答して、前記残りの領域を後処理して、前記残りの領域から字幕領域を決定する第２字幕領域決定部と、
を具備することを特徴とする請求項２３に記載の動画像の字幕検出装置。
【請求項３４】
前記字幕領域検証部は、
前記第２字幕領域検出部によって入力された前記字幕領域の検出完了可否を示す信号に応答して、前記ｔ番目のフレームで前記決定された字幕領域に位置する画素の輝度値と、前記ｔ＋Ｎ番目のフレームで、前記ｔ番目のフレームで決定された字幕領域に対応する領域に位置する画素の輝度値との差である輝度差のうち、第１１臨界値より大きい輝度差の個数を計算する第２輝度差の個数計算部と、
前記第１１臨界値より大きい輝度差の個数と、第１２臨界値とを比較する第２個数比較部と、を具備し、
前記次のフレームに前記字幕領域が存在する場合に、前記第１１臨界値より大きい輝度差の個数は前記第１２臨界値より大きくないことを特徴とする請求項２３に記載の動画像の字幕検出装置。
【請求項３５】
前記字幕領域検証部は、前記第２個数比較部で比較した結果に応答して、前記動画像の字幕が終了したフレームである最終フレームを探す最終フレームサーチ部をさらに具備することを特徴とする請求項３４に記載の動画像の字幕検出装置。
【請求項３６】
前記最終フレームサーチ部は、
前記第２個数比較部で比較した結果に応答して、前記ｔ番目のフレームで前記決定された字幕領域に位置する画素の輝度値と、前記ｔ＋１番目のフレームで、前記ｔ番目のフレームで決定された字幕領域に対応する領域に位置する画素の輝度値との差である輝度差のうち、第１３臨界値より大きい輝度差の個数を計算する第３輝度差の個数計算部と、
前記第１３臨界値より大きい輝度差の個数と第１４臨界値とを比較する第３個数比較部と、
前記第３個数比較部で比較した結果に応答して、ｔを１だけ増加させる第３ｔ調整部と、
前記第３ｔ調整部で調整したｔ番目のフレームが、前記次のフレームであるかどうかを検査し、検査結果を出力する次のフレーム検査部と、
前記第３個数比較部で比較した結果に応答して、前記ｔ番目のフレームを前記最終フレームとして決定するか、前記次のフレーム検査部で検査した結果に応答して、前記ｔ＋Ｎ−１番目のフレームを前記最終フレームとして決定する最終フレーム決定部と、を具備し、
前記第３輝度差の個数計算部は、前記次のフレーム検査部で検査した結果に応答して、前記輝度差の個数を計算することを特徴とする請求項３５に記載の動画像の字幕検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は動画像の処理に関し、特に動画像に含まれた字幕を検出する動画像の字幕検出方法および装置に関する。
【背景技術】
【０００２】
従来の動画像の字幕検出方法は、圧縮領域で行われる方法と、復元領域で行われる方法とに大別できる。まず、圧縮領域から字幕を検出する従来の代表的な方法が特許文献１に開示されている。この文献で開示された従来の方法では、圧縮領域で字幕を検出するために、字幕を速く検出できるが、圧縮領域で提供される情報に限界があるために字幕を正確に検出できないという問題がある。復元領域で字幕を検出する従来の代表的な方法が特許文献２および３に開示されている。この文献で開示された従来の方法では、比較的正確に字幕を検出できるが、フレームを復元するのに時間がかかるために字幕を検出する速度が遅いという問題がある。さらに、この方法は、複雑な背景中に字幕領域が存在し、経時的に背景領域が速く変わる環境において、字幕を検出することが困難であるという問題もある。
【特許文献１】米国特許第６，１８５，３２９号明細書
【特許文献２】米国特許第６，１０１，２７４号明細書
【特許文献３】米国特許第６，４７０，０９４号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００３】
本発明が解決しようとする技術的課題は、動画像に存在する字幕を、特定の環境に影響されずに正確、かつ速かに検出できる動画像の字幕検出方法を提供することにある。
本発明が解決しようとする他の技術的課題は、動画像に存在する字幕を、特定の環境に影響されずに正確、かつ速かに検出できる動画像の字幕検出装置を提供することにある。
【課題を解決するための手段】
【０００４】
前記課題を解決するための本発明に係る動画像の字幕検出方法は、動画像を構成するフレームのうち、ｔ（ここで、ｔは正の整数である）番目のフレームを現行のフレームとして読み取るステップと、前記動画像を構成するフレームのうち、ｔ−Ｎ（ここで、Ｎは正の整数である）番目のフレームである前のフレームから検出された字幕領域が前記現行のフレームに存在するかどうかを判断するステップと、前記前のフレームから検出した前記字幕領域が前記現行のフレームに存在していないと判断すれば、前記現行のフレーム全体から字幕領域を検出するステップと、前記前のフレームから検出した字幕領域が前記現行のフレームに存在すると判断すれば、前記現行のフレームのうち、前記前のフレームから検出された前記字幕領域に該当する領域を除外した残りの領域から字幕領域を検出し、前記動画像を構成するフレームのうち、ｔ＋Ｎ番目のフレームである次のフレームに字幕領域が存在するかどうかを検証するステップと、を含む。
【０００５】
前記課題を解決するための本発明に係る動画像の字幕検出装置は、動画像を構成するフレームのうち、ｔ（ここで、ｔは正の整数である）番目のフレームである現行のフレームを読み取るフレーム入力部と、前記動画像を構成するフレームのうち、ｔ−Ｎ（ここで、Ｎは正の整数である）番目のフレームである前のフレームから検出された字幕領域が前記現行のフレームに存在するかどうかを検査し、検査結果を第１制御信号として出力する字幕領域検査部と、前記第１制御信号に応答して、前記現行のフレームに字幕領域を検出する第１字幕領域検出部と、前記第１制御信号に応答して、前記現行のフレームから、前記前のフレームから検出された前記字幕領域に該当する領域を除外した残りの領域について字幕領域を検出する第２字幕領域検出部と、前記動画像を構成するフレームのうち、ｔ＋Ｎ番目のフレームである次のフレームに字幕領域の存在の有無を検証する字幕領域検証部と、を具備する。
【発明の効果】
【０００６】
本発明に係る動画像の字幕検出方法および装置は、前のフレームで求めた字幕領域を除外した現行のフレームの残りの領域についてのみ字幕領域を求めるので、不要な計算を事前に防止できて計算時間を短縮でき、フレーム間の輝度差を利用して字幕領域を検出するために、字幕領域が複雑な背景中に存在し、かつ経時的に背景領域が速く変わる状況でも字幕を検出できるだけでなく字幕領域をさらに速く検出できる。
【０００７】
さらに、エッジ密度を計算する時にグラジエントのみ使用することによって輝度変化とスムーズな輝度変化とを区別できず、それゆえ発生する従来のエッジフィルターの問題を改善するために、エッジ密度を計算する時にグラジエントだけでなく加重値を利用することにより、スムーズな輝度変化を有する字幕候補ブロックが文字ブロックとして決定されることを防止して字幕領域をさらに正確に検出可能としている。
【発明を実施するための最良の形態】
【０００８】
以下、本発明に係る動画像の字幕検出方法およびその方法の各実施形態を、添付した図面を参照して以下に説明する。
【０００９】
図１は、本発明に係る動画像の字幕検出方法の１実施形態を説明するためのフローチャートであり、該検出方法は、現行のフレームから字幕領域を検出するか、または確認する段階（第１０〜１６段階）と、現行のフレームが動画像の最終フレームであるかどうかによって次のフレームを読み取る準備をする段階（第１８および２０段階）とからなる。図１を参照して説明すると、動画像を構成するフレームのうち、ｔ（ここで、ｔは正の整数である）番目のフレームを現行のフレームとして読み取る（第１０段階）。第１０段階後に、動画像を構成するフレームのうち、ｔ−Ｎ（ここで、Ｎは正の整数である）番目のフレームである前のフレームから検出された字幕領域が現行のフレームに存在するかどうかを判断する（第１２段階）。ここで、字幕領域とは、字幕が存在する領域を意味する。本発明によれば、字幕領域に存在するテキストは、例えば、動画像製作者により意図的に挿入された字幕である重畳テキスト（superimpose text）、または動画像自体が有する字幕であるシーンテキスト（scene text）があり、これらのテキストは動画像のインデクシング（索引付け）、要約または検索等において重要な役割を果たす。もし、前のフレームから検出された字幕領域が現行のフレームに存在していないと判断されれば（Ｎｏ）、現行のフレームから字幕領域を検出する（第１４段階）。例えば、現行のフレームが最初のフレームである場合に前のフレームが存在せず、それは、前のフレームから検出された字幕領域が現行のフレームに存在していない場合に該当する。したがって、最初のフレームである現行のフレームの字幕領域を検出する。
【００１０】
図２は、図１に示す第１４段階について詳細に説明するための、本発明に係る実施形態１４Ａのフローチャートであり、現行のフレームから字幕領域を決定する段階（第４０〜第４４段階）および開始フレームを探す段階（第４６段階）からなる。図２を参照すると、第４０段階において現行のフレームから文字ブロックを検出している。
【００１１】
図３は、図２に示した第４０段階を説明するための、本発明に係る実施形態４０Ａのフローチャートであり、字幕候補画素と字幕候補ブロックとを決定する段階（第６０および第６２段階）および字幕候補ブロックを利用して文字ブロックを決定する段階（第６４段階）よりなる。図３を参照して説明すると、同じ位置に存在する現行のフレームの各画素の輝度と、ｔ＋Ｎ番目のフレームである次のフレームの各画素の輝度との輝度差を求め、第１臨界値ＴＨ１より小さい輝度差を求める時に利用した現行のフレームの画素を字幕候補画素として決定する（第６０段階）。この時、現行のフレームが動画像の最後のフレームである場合、次のフレームは存在しないので、輝度差を求める時に使われる次のフレームの各画素の輝度は、例えば現行のフレームの各画素の輝度として設定できる。例えば、現行のフレームに存在する画素のうち任意の位置（ｘ，ｙ）に存在する画素が字幕候補画素であるかを決定するためには、その画素の輝度値［Ｉt（ｘ，ｙ）］と、次のフレームの同じ位置（ｘ，ｙ）に存在する画素の輝度値［Ｉt+N（ｘ，ｙ）］との輝度差（または、差の絶対値）を求め、求めた輝度差が第１臨界値ＴＨ１より小さいかどうかを次の数式１のように検査する。
【００１２】
【数１】
2005235220.tif 000003
式中、第１臨界値ＴＨ１は、字幕候補画素を決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において１５である。
【００１３】
この時、輝度差が第１臨界値より小さいと判断されれば、現行のフレームの位置（ｘ，ｙ）に存在する画素は字幕候補画素として決定される。
【００１４】
図４は、図３に示した第６０段階の理解を容易にするための図面であり、ピクチャーグループ（ＧＯＰ：Group Of Picture）で構成される。図４に示した１個のＧＯＰは、３つの符号化ピクチャーを組み合わせて構成されている。例えば、ＧＯＰは、Ｉ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｐ−Ｂ−Ｂ−Ｉのような順序で反復される。ここで、最も多くのビットが割り当てられるイントラ−符号化ピクチャー（Intra-coded picture：以下、Ｉ−ピクチャー）は、独立的にコーディングが可能なイントラフレームであり、ＧＯＰ全体の画質、並びに次に多くのビットが割り当てられる予測−符号化ピクチャー（Predictive-coded picture：以下、Ｐ−ピクチャー）の符号化性能に重要な影響を及ぼす。この時、Ｐ−ピクチャーは、連続するＰ−ピクチャーおよび最小ビットが割り当てられる双方向予測−符号化ピクチャー（Bidirectionally predictive-coded picture：以下、Ｂ−ピクチャー）に影響を及ぼし、前のイントラフレームや予測フレームから動き補償を使用してコーディングされる予測フレームである。Ｂ−ピクチャーは、以前および以後のイントラフレームや予測フレームの動き補償を使用してコーディングされる双方向予測フレームを意味する。
【００１５】
もし、Ｎ＝１８ならば、図４に示したように、ｔ番目イントラ符号化ピクチャー６８に該当する現行のフレーム７２に含まれた画素の輝度値から、ｔ＋１８番目イントラ符号化ピクチャー６６に該当する次のフレーム７０に含まれた画素の輝度値を、前記した数式１のように減算し、その減算した結果を第１臨界値と比較して、現行のフレーム７２に含まれた画素が字幕候補画素であるかどうかを判別する。
【００１６】
第６０段階後に、現行のフレーム７２を所定の大きさのサブブロックに分け、各サブブロックに含まれた字幕候補画素の個数を求め、第２臨界値より大きい個数の字幕候補画素を有するサブブロックを字幕候補ブロックと決定する（第６２段階）。例えば、現行のフレームをＡ×Ｂ個のサブブロックに分ける場合、任意の順番（ａ，ｂ）（ここで、１≦ａ≦Ａ、１≦ｂ≦Ｂ）に存在するサブブロック［Ｓ（ａ，ｂ）］が字幕候補ブロックであるかを決定するためには、そのサブブロック［Ｓ（ａ，ｂ）］に含まれた字幕候補画素の個数を求め、その求めた個数が第２臨界値ＴＨ２より大きいかどうかを以下の数式２のように検査する。
【００１７】
【数２】
2005235220.tif 000004
式中、
2005235220.tif 000005
は、サブブロック［Ｓ（ａ，ｂ）］に含まれた位置（ｘ，ｙ）に存在する画素のうち、「１」として表現される字幕候補画素の総数を意味する。
また、第２臨界値ＴＨ２は、字幕候補ブロックを決定するための臨界値であり、その数値は実験により求められ、本実施形態においてサブブロックに含まれた画素の総数の３／２、例えば、サブブロックの大きさが８×８ならば、８×８×２／３となる。
【００１８】
この時、サブブロック［Ｓ（ａ，ｂ）］に含まれた字幕候補画素の個数が第２臨界値ＴＨ２より大きいと判断されれば、そのサブブロック［Ｓ（ａ，ｂ）］は、字幕候補ブロックとして決定される。
【００１９】
図５は、図３に示した第６２段階の理解を容易にするための図面であり、８×８個のサブブロックで構成される。
もし、Ａ＝Ｂ＝８であると仮定した場合、図５に示すように、現行のフレーム７４は８×８個のサブブロックに分けられる。この時、前記したように、任意のサブブロック［Ｓ（ａ，ｂ）］７６に含まれた字幕候補画素の個数をカウントする。図５に示す現行のフレームで「１」と表示された字幕候補画素の個数は「４０」である。例えば、サブブロック７６に含まれた８×８個の画素７８のうち「１」と表現される字幕候補画素の個数が第２臨界値より大きければ、サブブロック７６は字幕候補ブロックとして決定される。第６２段階後に、各字幕候補ブロックのエッジ密度を求め、第３臨界値ＴＨ３を越えるエッジ密度を有する字幕候補ブロックを文字ブロックとして決定し、第４２段階に進む（第６４段階）。本発明の１実施形態によれば、数式３のように、エッジ密度ｄedgeは、字幕候補ブロックに含まれた画素のエッジグラジエントＧを合算した結果を、字幕候補ブロックに含まれた画素の個数で割った結果となる。ここで、第３臨界値ＴＨ３は、文字ブロックを決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において５０である。
【００２０】
【数３】
2005235220.tif 000006
ここで、
2005235220.tif 000007
は、字幕候補ブロック［Ｓ，（ａ，ｂ）］に含まれた画素（ｘ，ｙ）のエッジグラジエン
トの総和を表し、Ｐは、字幕候補ブロック［Ｓ，（ａ，ｂ）］に含まれた画素の個数を表
す。
【００２１】
本発明の他の実施形態によれば、次式のように、エッジ密度ｄedgeは、字幕候補ブロックに含まれた画素のエッジグラジエントと該当する加重値Ｗとを乗算した結果の和を、字幕候補ブロックに含まれた画素の個数Ｐで割った結果となる。
【００２２】
【数４】
2005235220.tif 000008
【００２３】
図６は、加重値とグラジエントとの関係を表すグラフであり、横軸はグラジエントＧを、縦軸は加重値Ｗをそれぞれ表す。数式４に示した加重値Ｗは、図６に示すように、グラジエントＧを、字幕候補ブロックで発生可能なグラジエントの最大値ｇｒｄ＿ｍａｘで割った結果となる。
第４０段階後に、検出された文字ブロックを利用して、現行のフレームが字幕フレームであるかどうかを判断する（第４２段階）。本発明によれば、現行のフレームが字幕フレームであるかどうかを判断するために、現行のフレームに含まれた文字ブロックの個数が第４臨界値ＴＨ４を超えるかどうかを判断する。もし、現行のフレームに含まれた文字ブロックの個数が第４臨界値ＴＨ４を超える場合、現行のフレームは字幕フレームとして決定される。もし、現行のフレームが字幕フレームではないと判断されれば（Ｎｏ）、第１８段階に進む。しかし、現行のフレームが字幕フレームであると判断されれば（Ｙｅｓ）、字幕フレームを後処理して字幕フレームから字幕領域を決定する（第４４段階）。ここで、第４臨界値ＴＨ４は、字幕フレームを決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において１５である。
【００２４】
図７は、図２に示した第４４段階について詳細に説明するための、本発明に係る実施形態４４Ａのフローチャートであり、孤立した文字ブロックを字幕フレームから除去する段階（第８０段階）、および最適のバウンディングボックスを字幕領域として決定する段階（第８２〜第８６段階）よりなる。図７を参照して説明すると、現行のフレームが字幕フレームであると判断されれば、字幕フレームに含まれた文字ブロックから、隣接する文字ブロックが存在しない孤立した文字ブロックを除去する（第８０段階）。ここで、孤立した文字ブロックは、雑音により発生することもあり、またはテキストが大きい場合に発生することもあり、あるいはテキスト間の空いている空間により発生することもある。第８０段階後に、孤立した文字ブロックが除去された字幕フレームで、互いに隣接する文字ブロックの群をバウンディングボックスとして決定する（第８２段階）。
【００２５】
図８は、図７に示した第８２段階について詳細に説明するための、本発明に係る実施形態８２Ａのフローチャートであり、字幕フレームの各行と各列単位で求めた文字ブロックの個数を利用してバウンディングボックスを決定する段階（第１００〜第１０４段階）よりなる。
【００２６】
図９は、図８に示した第８２Ａ段階の理解を容易にするための字幕フレームの例示の図面であり、行および列で構成される。ここで、各行は複数個のサブブロックを持ち、各列も複数個のサブブロックを有する。孤立した文字ブロックが除去された字幕フレームで、各行および各列に含まれた文字ブロックの個数を求める（第１００段階）。例えば、図９に示すように、字幕フレーム９６の各行に含まれた文字ブロックの個数をカウントし、字幕フレーム９６の各列に含まれた文字ブロックの個数をカウントする。各行に含まれた文字ブロックの個数をカウントした結果は、図９に示したグラフ９０の態様となり、各列に含まれた文字ブロックの個数をカウントした結果も、図９に示したグラフ９２の態様となる。
第１００段階後に、現行のフレーム９６に含まれた行のうち、第７臨界値ＴＨ７を超える数の文字ブロックを含む行を選択し、現行のフレーム９６に含まれた列のうち、第８臨界値ＴＨ８を超える文字ブロックを含む列を選択する（第１０２段階）。例えば、各行と各列とに含まれた文字ブロックの個数が図９に示すように表示されるならば、第７臨界値ＴＨ７を超える文字ブロックを含む行９７を選択し、第８臨界値ＴＨ８を超える文字ブロックを含む列９８を選択する。この時、第７臨界値ＴＨ７は、第８臨界値ＴＨ８と同一に設定できる。第１０２段階後に、選択された行と選択された列との組合わせによりバウンディングボックスを決定し、第８４段階に進む（第１０４段階）。ここで、第７臨界値ＴＨ７は、水平投影を決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において２である。一方、第８臨界値ＴＨ８は、垂直投影を決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において０である。
【００２７】
図１０は、図８に示した第１０４段階について詳細に説明するための、本発明に係る実施形態１０４Ａのフローチャートであり、行領域と列領域とを決定し、その決定された領域を利用してバウンディングボックスを決定する段階（第１２０および第１２２段階）よりなる。本発明によれば、第１０２段階で選択された行で文字ブロックが連続して存在する部分を行領域として決定し、第１０２段階で選択された列で文字ブロックが連続して存在する部分を列領域として決定する（第１２０段階）。第１２０段階後に、決定された行領域と決定された列領域とが重なる部分をバウンディングボックスとして決定し、第８４段階に進む（第１２２段階）。例えば、図９に示したように、決定された行領域と決定された列領域とが重なる部分９４をバウンディングボックスとして決定できる。
【００２８】
図７に示した第８２段階後に、現行のフレームを所定大きさのサブブロックに分ける場合、各バウンディングボックスに含まれたサブブロックの個数を求め、字幕フレームに含まれたバウンディングボックスのうち、第５臨界値ＴＨ５より大きい数のサブブロックを含むバウンディングボックスのみを抽出する（第８４段階）。例えば、小さなサイズのバウンディングボックスを除いて、大きなサイズのバウンディングボックスのみを抽出する。この時、本発明によれば、第５臨界値ＴＨ５より大きい数のサブブロックを含むバウンディングボックスを字幕フレームから抽出するために、連結要素ラベリング法を用いることが可能である。尚、第５臨界値ＴＨ５は、字幕領域を決定するためにバウンディングボックスの大きさを判断する臨界値であり、その数値は実験により求められ、例えば本実施形態において６である。ここで、該連結要素ラベリング法は、「Machine Vision」（McGraw-Hill出版社により１９９５年に刊行）（R. Jain、R. Kasturi、B. G. Schunck著）の４４〜４７頁に記載されている。第８４段階後に、抽出されたバウンディングボックスそれぞれの平均エッジ密度を求め、第６臨界値ＴＨ６より大きい平均エッジ密度を有する最適のバウンディングボックスを字幕領域として決定する（第８６段階）。ここで、第６臨界値ＴＨ６は、字幕領域を決定するための平均エッジ密度の臨界値であり、その数値は実験により求められ、例えば本実施形態において４０である。
【００２９】
本発明の１実施形態によれば、平均エッジ密度は、抽出されたバウンディングボックスに含まれたサブブロックのエッジ密度の平均になる。この場合、抽出されたバウンディングボックスに含まれたサブブロックのうち字幕候補ブロックのエッジ密度は、図３に示した第６４段階で求められるので、非字幕候補ブロックのエッジ密度のみ求めればよい。
本発明の他の実施形態によれば、平均エッジ密度は、抽出されたバウンディングボックスに含まれた字幕候補ブロックのエッジ密度の平均となる。ここで、抽出されたバウンディングボックスに含まれた字幕候補ブロックのエッジ密度は第６４段階で既に求められるので、別途に求める必要はない。
本発明のさらに他の実施形態によれば、平均エッジ密度は、抽出されたバウンディングボックスに含まれた文字ブロックのエッジ密度の平均となる。ここで、抽出されたバウンディングボックスに含まれた文字ブロックは字幕候補ブロックであり、第６４段階でそのエッジ密度が既に求められるので別途に求める必要ない。
【００３０】
図２に示すように、第４４段階後に、現行のフレームＦtから、前のフレームＦt-Nの直前フレームＦt-N+1までのフレームのうち、動画像の字幕が始まったフレームである開始フレームを探す（第４６段階）。
【００３１】
図１１は、図２に示した第４６段階について詳細に説明するための、本発明に係る実施形態４６Ａのフローチャートであり、フレーム間の輝度差を利用して開始フレームを決定する段階（第１４０〜第１５０段階）よりなる。
図１２は、図１１に示した第４６Ａ段階の理解を容易にするためのフレームの例示の図面であり、斜線を引いた部分に該当する字幕領域１６４を有するｔ番目のフレームＦt １６０、および斜線を引いた部分に該当する字幕領域１６６を有するｔ−１番目のフレームＦt-1 １６２で構成される。
ｔ番目のフレームＦt １６０で決定された字幕領域１６４に位置する画素の輝度値［Ｒt（ｘ，ｙ）］と、ｔ−１番目のフレームＦt-1 １６２で字幕領域１６４に対応する領域１６６に位置する画素の輝度値［Ｒt-1（ｘ，ｙ）］との差（または、差の絶対値）である輝度差のうち、次式のように第９臨界値ＴＨ９を超える輝度差の個数ＮＢ１を求める（第１４０段階）。
【００３２】
【数５】
2005235220.tif 000009
式中、第９臨界値ＴＨ９は、輝度の連続性を比較するための臨界値であり、その数値は実験により求められ、例えば本実施形態において１０である。
【００３３】
第１４０段階後に、第９臨界値ＴＨ９を超える輝度差の個数ＮＢ１が第１０臨界値ＴＨ１０を超過するかどうかを判断する（第１４２段階）。もし、第９臨界値ＴＨ９を越える輝度差を有する個数ＮＢ１が第１０臨界値ＴＨ１０より大きいと判断されれば（Ｙｅｓ）、ｔ番目のフレームＦtを字幕が始まった開始フレームとして決定し、第１８段階に進む（第１４４段階）。しかし、第９臨界値ＴＨ９を超える輝度差の個数ＮＢ１が第１０臨界値ＴＨ１０より小さいと判断されれば（Ｎｏ）、ｔを１だけ減少させる（第１４６段階）。第１４６段階後に、ｔ番目のフレームが前のフレームであるかどうかを判断する（第１４８段階）。もし、ｔ番目のフレームが前のフレームでないと判断されれば（Ｎｏ）、第１４０段階に進んで輝度差の個数ＮＢ１を求める。しかし、ｔ番目のフレームが前のフレームであると判断されれば（Ｙｅｓ）、ｔ−Ｎ＋１番目のフレームを字幕が始まった開始フレームとして決定し、第１８段階に進む（第１５０段階）。本発明によれば、図２に示した第１４Ａ段階は第４６段階を含まない可能性もある。この場合、第４４段階後に第１８段階に進む。一方、図１に示した第１２段階で、前のフレームから検出された字幕領域が現行のフレームに存在すると判断されれば、現行のフレームから、前のフレームから検出された字幕領域に該当する領域を除外した領域（以下、残りの領域という。）から字幕領域を検出し、動画像をなすフレームのうち、ｔ＋Ｎ番目のフレームである次のフレームに字幕領域が存在するかどうかを検証する（第１６段階）。ここで、第１０臨界値ＴＨ１０は、輝度の連続性を決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において字幕領域に含まれた総画素数の１／２である。
【００３４】
図１３は、図１に示した第１６段階について詳細に説明するための、本発明に係る実施形態１６Ａのフローチャートであり、残りの領域で字幕領域を決定する段階（第１７０〜第１７４段階）、および次のフレームに字幕領域が存在するかどうかを検証して最終フレームを探す段階（第１７６〜第１８０段階）よりなる。現行のフレームの残りの領域について字幕領域を次のように検出する（第１７０〜第１７４段階）。前のフレームから検出された字幕領域が現行のフレームに存在すると判断されれば、現行のフレームの残りの領域から文字ブロックを検出する（第１７０段階）。第１７０段階後に、現行のフレームの残りの領域を基準に現行のフレームが字幕フレームであるかどうかを判断する（第１７２段階）。第１７２段階後に、現行のフレームが字幕フレームであると判断されれば（Ｙｅｓ）、残りの領域を後処理して残りの領域から字幕領域を決定する（第１７４段階）。
図２に示した第４０、４２および４４段階は、現行のフレームの全体について行われ、図１３に示す第１７０、第１７２および第１７４段階は現行のフレームの全体領域ではなく残りの領域についてのみ行われる。これを除外すれば、第１７０、１７２および１７４段階は第４０、４２および４４段階にそれぞれ該当し、同じ機能を行う。したがって、図３、７、８および１０に示した実施形態の説明で、現行のフレームの全体領域を現行のフレームの残りの領域に置き換えれば、図３、７、８および１０に示した実施形態は、第１７０、１７２および１７４段階にも同様に適用され得る。一般的に、重畳テキストは動画像で普通２秒以上存在するので、前のフレームの字幕領域が現行のフレームにも存在する場合が多い。したがって、前のフレームに検出された字幕領域を利用すれば、現行のフレームで残りの領域についてのみ字幕領域を求めればよい。第１７４段階後に、次のフレームに字幕領域が存在するかどうかを検証して最終フレームを探す（第１７６〜第１８０段階）。
【００３５】
図１４は、図１３に示した第１７６段階の理解を容易にするための例示の図面であり、斜線を引いた部分で表示された字幕領域１９０を有するｔ＋Ｎ番目のフレームＦt+N １８２、および斜線を引いた部分で表示された字幕領域１９２を有するｔ番目のフレームＦt １８４で構成される。第１７４段階後に、ｔ番目のフレーム１８４で決定された字幕領域１９２に位置する画素の輝度値［Ｒt（ｘ，ｙ）］と、ｔ＋Ｎ番目のフレーム１８２で領域１９０に位置する画素の輝度値［Ｒt+N（ｘ，ｙ）］との差である輝度差のうち、次式のように第１１臨界値ＴＨ１１を越える輝度差の個数ＮＢ２を求める（第１７６段階）。ここで、ｔ＋Ｎ番目のフレーム１８２の領域１９０は、ｔ番目のフレーム１８４で決定された字幕領域１９２に対応し、その領域１９２と同じ位置に存在する。
【００３６】
【数６】
2005235220.tif 000010
式中、第１１臨界値ＴＨ１１は、輝度の連続性を比較するための臨界値であり、その数値は実験により求められ、例えば本実施形態において１０である。
【００３７】
第１７６段階後に、第１１臨界値ＴＨ１１を超える輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２より大きいかどうかを判断する（第１７８段階）。ここで、次のフレームＦt+Nに字幕領域が存在していなければ、第１１臨界値ＴＨ１１を越える輝度差の個数ＮＢ２は第１２臨界値ＴＨ１２より大きくなる。もし、第１１臨界値ＴＨ１１を超える輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２より小さいと判断されれば（Ｎｏ）、すなわち、次のフレームに字幕領域が存在すると判断されれば、第１８段階を行う。しかし、第１１臨界値ＴＨ１１を超える輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２より大きいと判断されれば、すなわち、次のフレームに字幕領域が存在していないと判断されれば（Ｙｅｓ）、動画像の字幕が終了する最終フレームを探す（第１８０段階）。ここで、第１２臨界値ＴＨ１２は、輝度の連続性を決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において字幕領域に含まれた総画素数の１／２である。
【００３８】
図１５は、図１３に示した第１８０段階についての本発明に係る実施形態１８０Ａを説明するためのフローチャートであり、フレーム間の輝度差を利用して最終フレームを決定する段階（第２００〜第２１０段階）よりなる。
【００３９】
図１６は、図１５に示した第１８０Ａ段階の理解を容易にするためのフレームの例示の図面であり、斜線を引いた部分で表示される字幕領域２２４を有するｔ＋１番目のフレームＦt+1 ２２０、および斜線を引いた部分で表示された字幕領域２２６を有するｔ番目のフレームＦt ２２２で構成される。
図１３に示した第１７８段階で、輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２を超えると判断されれば、すなわち、次のフレームに字幕領域が存在していないと判断されれば、ｔ番目のフレームＦt ２２２で決定された字幕領域２２６に位置する画素の輝度値［Ｒt（ｘ，ｙ）］と、ｔ＋１番目のフレームＦt+1 ２２０で領域２２４に位置する画素の輝度値［Ｒt+1（ｘ，ｙ）］との差である輝度差のうち、次式のように第１３臨界値ＴＨ１３を超える輝度差の個数ＮＢ３を求める（第２００段階）。ここで、ｔ＋１番目のフレームＦt+1 ２２０は、ｔ番目のフレームＦt ２２２より時間的に遅れるフレームであり、ｔ＋１番目のフレーム２２０の領域２２４は、ｔ番目のフレーム２２２で決定された字幕領域２２６に対応し、その領域２２６と同じ位置に存在する。
【００４０】
【数７】
2005235220.tif 000011
式中、第１３臨界値ＴＨ１３は、輝度の連続性を比較するための臨界値であり、その数値は実験により求められ、例えば本実施形態において１０である。
【００４１】
第２００段階後に、第１３臨界値ＴＨ１３を超える輝度差の個数ＮＢ１３が、第１４臨界値ＴＨ１４より大きいかどうかを判断する（第２０２段階）。
もし、第１３臨界値ＴＨ１３を超える輝度差の個数ＮＢ３が、第１４臨界値ＴＨ１４より大きいと判断されれば（Ｙｅｓ）、ｔ番目のフレーム２２２を最終フレームとして決定する（第２１０段階）。しかし、第１３臨界値ＴＨ１３を超える輝度差の個数ＮＢ３が、第１４臨界値ＴＨ１４より小さいと判断されれば（Ｎｏ）、ｔを１だけ増加させる（第２０４段階）。第２０４段階後に、ｔ番目のフレームが次のフレームであるかどうかを判断する（第２０６段階）。もし、ｔ番目のフレームＦt ２２２が次のフレームでないと判断されれば（Ｎｏ）、第２００段階に進み、輝度差の個数ＮＢ３を求める。しかし、ｔ番目のフレームＦt ２２２が次のフレームであると判断されれば（Ｙｅｓ）、ｔ＋Ｎ−１番目のフレームＦt+N-1を最終フレームとして決定する（第２０８段階）。ここで、第１４臨界値ＴＨ１４は、輝度の連続性を決定するための臨界値であり、その数値は実験により求められ、例えば本実施形態において字幕領域に含まれた総画素数の１／２である。
図１３に示した第１６Ａ段階は、第１８０段階を含まないこともある。この場合、輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２を超えるかどうかに関係なく第１８段階に進む。一方、字幕領域を検出または検証した後に、すなわち、図１に示した第１４または第１６段階後に、現行のフレームが動画像の最終フレームであるかどうかを判断する（第１８段階）。もし、現行のフレームが動画像の最終フレームであると判断されれば、図１に示した動画像の字幕検出方法を終了する。しかし、現行のフレームが動画像の最終フレームでないと判断されれば、ｔをＮだけ増加させ、現行のフレームを読み取る第１０段階に進む（第２０段階）。したがって、Ｎだけ増加したｔ番目のフレームを現行のフレームとして前記した第１０〜第１８段階が行われる。
【００４２】
以下、本発明に係る動画像の字幕検出装置およびその装置の各実施形態の構成および動作を添付した図面を参照して説明する。図１７は、本発明に係る動画像の字幕検出装置の１実施形態のブロック図であり、フレーム入力部２４０、字幕領域検査部２４２、第１および第２字幕領域検出部２４４および２４６、字幕領域検証部２４８、最終フレーム検査部２５０および第１ｔ調整部２５２で構成される。図１７に示した字幕領域検出装置は、図１に示した字幕領域検出方法を行うことができる。図１に示した第１０段階を行うために、フレーム入力部２４０は、動画像をなすフレームのうち、ｔ番目のフレームである現行のフレームを入力端子ＩＮ１を介して読み取る。第１２段階を行うために、字幕領域検査部２４２は、前のフレームから検出された字幕領域がフレーム入力部２４０から受け取った現行のフレームに存在するかどうかを検査し、その検査された結果を、第１制御信号Ｃ１として第１および第２字幕領域検出部２４４および２４６に出力する。第１４段階を行うために、第１字幕領域検出部２４４は、字幕領域検査部２４２から受け取った第１制御信号Ｃ１に応答して、フレーム入力部２４０から受け取った現行のフレームから字幕領域を検出し、字幕領域を検出した結果を出力端子ＯＵＴ１を介して出力する。例えば、第１制御信号Ｃ１を通じて前のフレームから検出された字幕領域が現行のフレームに存在していないと認識されれば、第１字幕領域検出部２４４は、現行のフレームから字幕領域を検出する。
【００４３】
図１８は、図１７に示した第１字幕領域検出部２４４について詳細に説明するための、本発明に係る実施形態２４４Ａのブロック図であり、第１文字ブロック検出部２７０、第１字幕フレーム検査部２７２、第１字幕領域決定部２７４および開始フレームサーチ部２７６で構成される。図１８に示す第１字幕領域検出部２４４Ａは、図２に示した第１４Ａ段階を行うことができる。第４０段階を行うために、第１文字ブロック検出部２７０は、字幕領域検査部２４２から受け取った第１制御信号Ｃ１を通じて前のフレームから検出された字幕領域が現行のフレームに存在していないと認識すれば、入力端子ＩＮ２を通じてフレーム入力部２４０から入力した現行のフレームから文字ブロックを検出する。
【００４４】
図１９は、図１８に示した第１文字ブロック検出部２７０を詳細に説明するための、本発明に係る実施形態２７０Ａのブロック図であり、字幕候補画素決定部２９０、字幕候補ブロック決定部２９２および文字ブロック決定部２９４で構成される。図１９に示す第１文字ブロック検出部２７０のブロック２７０Ａは、図３に示した第４０Ａ段階を行うことができる。字幕候補画素決定部２９０は第６０段階を行うことができる。すなわち、字幕候補画素決定部２９０は、字幕領域検査部２４２から受け取った第１制御信号Ｃ１を通じて前のフレームから検出された字幕領域が現行のフレームに存在していないと認識すれば、入力端子ＩＮ３を介してフレーム入力部２４０から現行のフレームおよび次のフレームを受け取る。この時、字幕候補画素決定部２９０は、同じ位置に存在する現行のフレームの各画素と次のフレームの各画素との輝度差を求め、第１臨界値ＴＨ１より小さい輝度差を求める時に利用した現行のフレームの画素を字幕候補画素として決定する。
第６２段階を行うために、字幕候補ブロック決定部２９２は、入力端子ＩＮ３を介してフレーム入力部２４０から受け取った現行のフレームを所定の大きさのサブブロックに分け、各サブブロックに含まれた字幕候補画素の個数を求め、第２臨界値ＴＨ２より大きい個数の字幕候補画素を有するサブブロックを字幕候補ブロックとして決定する。
第６４段階を行うために、文字ブロック決定部２９４は、字幕候補ブロック決定部２９２で決定された字幕候補ブロックそれぞれのエッジ密度を求め、第３臨界値ＴＨ３を超えたエッジ密度を有する字幕候補ブロックを文字ブロックとして決定し、その決定した文字ブロックを出力端子ＯＵＴ５を介して出力する。
図２に示した第４２段階を行うために、図１８に示した第１字幕フレーム検査部２７２は、第１文字ブロック検出部２７０から検出された文字ブロックを利用して現行のフレームが字幕フレームであるかどうかを検査し、その検査結果を第３制御信号Ｃ３として第１字幕領域決定部２７４に出力する。
【００４５】
図２０は、図１８に示した第１字幕フレーム検査部２７２を詳細に説明するための、本発明に係る実施形態２７２Ａのブロック図であり、字幕ブロック個数検査部３１０および字幕フレーム検査部３１２で構成される。字幕ブロック個数検査部３１０は、現行のフレームに含まれた文字ブロックを、入力端子ＩＮ４を介して第１文字ブロック検出部２７０から受け取り、その受け取った文字ブロックの個数をカウントし、その結果、文字ブロックの個数が第４臨界値ＴＨ４を超えるかどうかを検査し、結果を字幕フレーム決定部３１２に出力する。字幕フレーム決定部３１２は、字幕ブロック個数検査部３１０から受け取った検査結果を通じて、第４臨界値ＴＨ４を超える個数の文字ブロックを含む現行のフレームを字幕フレームとして決定し、その結果を出力端子ＯＵＴ６を介して第３制御信号Ｃ３として出力する。図２に示した第４４段階を行うために、図１８に示した第１字幕領域決定部２７４は、第１字幕フレーム検査部２７２から受け取った第３制御信号Ｃ３を通じて現行のフレームが字幕フレームであると認識すれば、字幕フレームを後処理して字幕フレームから字幕領域を決定し、その決定した字幕領域を出力端子ＯＵＴ３を介して出力する。
【００４６】
図２１は、図１８に示した第１字幕領域決定部２７４について詳細に説明するための、本発明に係る実施形態２７４Ａのブロック図であり、孤立文字ブロック制御部３４０、バウンディングボックス決定部３４２、バウンディングボックス抽出部３４４および字幕領域抽出部３４６で構成される。図２１に示した第１字幕領域決定部２７４のブロック２７４Ａは、図７に示した第４４Ａ段階を行うことができる。第８０段階を行うために、孤立文字ブロック制御部３４０は、第１字幕フレーム検査部２７２から受け取った第３制御信号Ｃ３を通じて現行のフレームが字幕フレームであると認識すれば、字幕フレームに含まれた第１文字ブロック検出部２７０から入力端子ＩＮ５を介して受け取った文字ブロックのうち、隣接する文字ブロックが存在しない孤立した文字ブロックを除去し、孤立した文字ブロックが除去された字幕フレームをバウンディングボックス決定部３４２に出力する。第８２段階を行うために、バウンディングボックス決定部３４２は、孤立した文字ブロックが除去された字幕フレームの互いに隣接する文字ブロックの群をバウンディングボックスとして決定し、その決定したバウンディングボックスをバウンディングボックス抽出部３４４に出力する。
【００４７】
図２２は、図２１に示したバウンディングボックス決定部３４２について詳細に説明するための、本発明に係る実施形態３４２Ａのブロック図であり、文字ブロック数計算部３６０と、行および列選択部３６２と、行および列組合わせ部３６４とで構成される。図２２に示したバウンディングボックス決定部３４２のブロック３４２Ａは、図８に示した第８２Ａ段階を行うことができる。
図８に示した第１００段階を行うために、文字ブロック数計算部３６０は、入力端子ＩＮ６を介して孤立文字ブロック制御部３４０から受け取った孤立した文字ブロックが除去された字幕フレームで、各行および各列に含まれた文字ブロックの個数を計算し、その計算した各行および各列に含まれた文字ブロックの個数を行および列選択部３６２に出力する。
第１０２段階を行うために、行および列選択部３６２は、孤立した文字ブロックが除去された字幕フレームに含まれた行のうち、第７臨界値ＴＨ７を超える個数の文字ブロックを含む行を選択し、孤立した文字ブロックが除去された字幕フレームに含まれた列のうち第８臨界値ＴＨ８を超える個数の文字ブロックを含む列を選択し、その選択した列および行を行および列組合わせ部３６４に出力する。
第１０４段階を行うために、行および列組合わせ部３６４は、行および列選択部３６２で選択された行と列との組合わせによりバウンディングボックスを決定し、その決定したバウンディングボックスを出力端子ＯＵＴ８を介してバウンディングボックス抽出部３４４に出力する。
【００４８】
図２３は、図２２に示した行および列組合わせ部３６４について詳細に説明するための、本発明に係る１実施形態３６４Ａのブロック図であり、領域決定部３８０および重畳領域検査部３８２で構成される。図２３に示す行および列組合わせ部３６４のブロック３６４Ａは、図１０に示した第１０４Ａ段階を行うことができる。ここで、領域決定部３８０は第１２０段階を行うことができる。すなわち、領域決定部３８０は、入力端子ＩＮ７を介して行および列選択部３６２から受け取った選択された行で、文字ブロックが連続して存在する部分を行領域として決定し、その決定された行領域を重畳領域検査部３８２に出力する。また、領域決定部３８０は、入力端子ＩＮ７を介して行および列選択部３６２から受け取った選択された列で、文字ブロックが連続して存在する部分を列領域として決定し、その決定した列領域を重畳領域検査部３８２に出力する。第１２２段階を行うために、重畳領域検査部３８２は、決定された行領域と列領域とが重なる部分をバウンディングボックスとして決定し、その決定したバウンディングボックスを、出力端子ＯＵＴ９を介してバウンディングボックス抽出部３４４に出力する。
図７に示した第８４段階を行うために、図２１に示したバウンディングボックス抽出部３４４は、現行のフレームを所定の大きさのサブブロックに分ける場合には、決定された各バウンディングボックスに含まれたサブブロックの個数を求め、第５臨界値ＴＨ５より大きい数のサブブロックを含むバウンディングボックスを字幕フレームから抽出し、その抽出したバウンディングボックスを字幕領域抽出部３４６に出力する。第８６段階を行うために、字幕領域抽出部３４６は、バウンディングボックス抽出部３４４から抽出されたバウンディングボックスのそれぞれの平均エッジ密度を求め、第６臨界値ＴＨ６より大きい平均エッジ密度を有するバウンディングボックスを字幕領域として決定し、その決定した字幕領域を出力端子ＯＵＴ７を介して出力する。
一方、図１８に示した第１字幕領域検出部２４４Ａは、開始フレームサーチ部２７６をさらに備えることができる。ここで、開始フレームサーチ部２７６は、第１字幕領域決定部２７４から受け取った字幕領域の決定完了可否を示す信号に応答して、現行のフレームから、前のフレームの直前フレームのうち動画像の字幕が始まったフレームである開始フレームを探し、探した結果を出力端子ＯＵＴ４を介して出力する。例えば、第１字幕領域決定部２７４で字幕領域の決定が完了したと認識されれば、開始フレームサーチ部２７６は開始フレームを探す。
【００４９】
図２４は、図１８に示した開始フレームサーチ部２７６について詳細に説明するための、本発明に係る実施形態２７６Ａのブロック図であり、第１輝度差の個数計算部４００、第１個数比較部４０２、第２ｔ調整部４０４、前のフレーム検査部４０６および開始フレーム決定部４０８で構成される。図２４に示した開始フレームサーチ部２７６Ａは、図１１に示した第４６Ａ段階を行うことができる。
第１輝度差の個数計算部４００は第１４０段階を行う。すなわち、第１輝度差の個数計算部４００は、第１字幕領域決定部２７４から入力端子ＩＮ８を通じて受け取った字幕領域の決定完了可否を示す信号に応答して、フレーム入力部２４０から入力端子ＩＮ９を介して受け取ったｔ番目のフレームとｔ−１番目のフレームとを入力する。この時、第１輝度差の個数計算部４００は、ｔ番目のフレームで決定された字幕領域に位置する画素の輝度値と、ｔ−１番目のフレームで該字幕領域に対応する領域に位置する画素との輝度差のうち、第９臨界値ＴＨ９を超えた前記した数式５のように表現される輝度差の個数ＮＢ１を計算し、その計算した結果を第１個数比較部４０２に出力する。
第１４２段階を行うために、第１個数比較部４０２は、第９臨界値ＴＨ９を超える輝度差の個数ＮＢ１と第１０臨界値ＴＨ１０とを比較し、その比較した結果を第２ｔ調整部４０４に出力する。
第１４６段階を行うために、第２ｔ調整部４０４は、第１個数比較部４０２で比較された結果に応答してｔを１だけ減少させ、その減少したｔを前のフレーム検査部４０６に出力する。例えば、第１個数比較部４０２で比較された結果を通じて、輝度差の個数ＮＢ１が第１０臨界値より小さいと認識されれば、第２ｔ調整部４０４はｔを１だけ減少させる。
第１４８段階を行うために、前のフレーム検査部４０６は、第２ｔ調整部４０４で調整されたｔ番目のフレームが前のフレームであるかどうかを検査し、その検査された結果を開始フレーム決定部４０８および第１輝度差の個数計算部４００にそれぞれ出力する。この時、第１輝度差の個数計算部４００は、前のフレーム検査部４０６で検査結果を通じてｔ番目のフレームが前のフレームでないと認識すれば、輝度差の個数ＮＢ１を計算する。
【００５０】
開始フレーム決定部４０８は、第１４４および第１５０段階を行う。まず、第１４４段階を行うために、開始フレーム決定部４０８は、第１個数比較部４０２で比較された結果を通じて輝度差の個数ＮＢ１が第１０臨界値ＴＨ１０より大きいと認識すれば、ｔ番目のフレームを開始フレームとして決定し、その結果を出力端子ＯＵＴ１０を介して出力する。第１５０段階を行うために、開始フレーム決定部４０８は、前のフレーム検査部４０６から受け取った検査結果を通じてｔ番目のフレームが前のフレームであると認識すれば、ｔ−Ｎ＋１番目のフレームを開始フレームとして決定し、その結果を出力端子ＯＵＴ１０を介して出力する。
前記したように、図２に示した第１４Ａ段階は第４６段階を行わない場合もあり、同様に、図１８に示された第１字幕領域検出部２４４Ａは、開始フレームサーチ部２７６を備えない場合もある。一方、図１７に示した第２字幕領域検出部２４６および字幕領域検証部２４８は、第１６段階を行う。ここで、第２字幕領域検出部２４６は、字幕領域検査部２４２から受け取った第１制御信号Ｃ１を通じて前のフレームから検出された字幕領域が現行のフレームに存在すると認識すれば、フレーム入力部２４０から受け取った現行のフレームから、前のフレームから検出された字幕領域に該当する領域を除外した残りの領域について字幕領域を検出し、その検出された字幕領域を出力端子ＯＵＴ２を介して出力する。
【００５１】
図２５は、図１７に示した第２字幕領域検出部２４６を詳細に説明するための、本発明に係る実施形態２４６Ａのブロック図であり、第２文字ブロック検出部４２０、第２字幕フレーム検査部４２２および第２字幕領域検査部４２４で構成される。図２５に示した第２字幕領域検出部２４６のブロック２４６Ａは、図１３に示した第１７０、第１７２および第１７４段階を行うことができる。
第１７０段階を行うために、字幕領域検査部２４２から受け取った第１制御信号Ｃ１を通じて、前のフレームから検出された字幕領域が現行のフレームに存在すると認識されれば、第２文字ブロック検出部４２０は、フレーム入力部２４０から入力端子ＩＮ１０を介して受け取った残りの領域から文字ブロックを検出し、その文字ブロックを第２字幕フレーム検査部４２２に出力する。
第１７２段階を行うために、第２字幕フレーム検査部４２２は残りの領域から抽出され、第２文字ブロック検出部４２０から入力した文字ブロックを利用して現行のフレームが字幕フレームであるかどうかを検査し、その検査結果を第４制御信号Ｃ４として第２字幕領域検査部４２４に出力する。
第１７４段階を行うために、第４制御信号Ｃ４を通じて残りの領域を基準に現行のフレームが字幕フレームであると認識されれば、第２字幕領域検査部４２４は、第２文字ブロック検出部４２０から受け取った残りの領域を後処理して残りの領域から字幕領域を決定し、その決定した字幕領域を出力端子ＯＵＴ１１を介して出力する。
【００５２】
図１８に示した第１文字ブロック検出部２７０、第１字幕フレーム検査部２７２および第１字幕領域決定部２７４は、現行のフレームの全体についてそれぞれの段階を行い、図２５に示した第２文字ブロック検出部４２０、第２字幕フレーム検査部４２２および第２字幕領域検査部４２４は、現行のフレームの全体領域ではなく残りの領域についてそれぞれの段階を行う。これらの点を除けば、第２文字ブロック検出部４２０、第２字幕フレーム検査部４２２および第２字幕領域検査部４２４は、第１文字ブロック検出部２７０、第１字幕フレーム検査部２７２および第１字幕領域決定部２７４にそれぞれ該当し、同様の機能を有する。したがって、図１９ないし図２３に示した実施形態の説明で、現行のフレームの全体領域を現行のフレームの残りの領域に置き換えれば、図１９ないし図２３に示された実施形態は、第２文字ブロック検出部４２０、第２字幕フレーム検査部４２２および第２字幕領域検査部４２４にも同様に適用できる。一方、第２字幕領域検出部２４６が残りの領域について字幕領域の検出を完了する場合には、字幕領域検証部２４８は、動画像をなすフレームのうちｔ＋Ｎ番目のフレームとしてフレーム入力部２４０から受け取った次のフレームに字幕領域が存在するかどうかを検証し、その結果を最終フレーム検査部２５０に出力する。
【００５３】
図２６は、図１７に示した字幕領域検証部２４８を詳細に説明するための、本発明に係る実施形態２４８Ａのブロック図であり、第２輝度差の個数計算部４４０、第２個数比較部４４２および最終フレームサーチ部４４４で構成される。図２６に示した字幕領域検証部のブロック２４８Ａは、図１３に示した第１７６、第１７８および第１８０段階を行うことができる。第２輝度差の個数計算部４４０は第１７６段階を行う。すなわち、第２輝度差の個数計算部４４０は、第２字幕領域検出部２４６から入力端子ＩＮ１１を介して受け取った字幕領域の検出完了可否を示す信号に応答して、ｔ番目のフレームおよびｔ＋Ｎ番目のフレームを入力端子ＩＮ１２を介してフレーム入力部２４０から受け取る。この時、第２輝度差の個数計算部４４０は、ｔ番目のフレームで決定された字幕領域に位置する画素の輝度値と、ｔ＋Ｎ番目のフレームで該字幕領域に対応する領域に位置する画素の輝度値との輝度差のうち、第１１臨界値ＴＨ１１を越える輝度差の個数ＮＢ２を前記した数式６のように計算し、その計算した輝度差の個数ＮＢ２を第２個数比較部４４２に出力する。
第１７８段階を行うために、第２個数比較部４４２は、第１１臨界値ＴＨ１１を越える輝度差の個数ＮＢ２と第１２臨界値ＴＨ１２とを比較し、その比較結果を最終フレームサーチ部４４４に出力する。ここで、前記したように、次のフレームに字幕領域が存在する場合、輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２より小さくなる。
第１８０段階を行うために、最終フレームサーチ部４４４は、第２個数比較部４４２で比較された結果を通じて輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２より大きいと認識すれば、すなわち、次のフレームに字幕領域が存在していないと認識すれば、動画像の字幕が終了するフレームである最終フレームを探す。
図２７は、図２６に示した最終フレームサーチ部４４４を詳細に説明するための、本発明に係る１実施形態４４４Ａのブロック図であり、第３輝度差の個数計算部４６０、第３個数比較部４６２、第３ｔ調整部４６４、次のフレーム検査部４６６および最終フレーム決定部４６８で構成されている。
【００５４】
図２７に示した最終フレームサーチ部のブロック４４４Ａは、図１５に示した第１８０Ａ段階を行うことができる。第３輝度差の個数計算部４６０は、図１５に示した第２００段階を行うことができる。すなわち、第３輝度差の個数計算部４６０は、第２個数比較部４４２から入力端子ＩＮ１３を介して受け取った比較結果を通じて、輝度差の個数ＮＢ２が第１２臨界値ＴＨ１２より大きいと認識すれば、入力端子ＩＮ１４を介してフレーム入力部２４０からｔ番目のフレームおよびｔ＋１番目のフレームを受け取る。この時、第３輝度差の個数計算部４６０は、ｔ番目のフレームで決定された字幕領域に位置する画素の輝度値と、ｔ＋１番目のフレームで、ｔ番目のフレームで決定された字幕領域に対応する領域に位置する画素の輝度値との差である輝度差のうち、第１３臨界値ＴＨ１３を越える輝度差の個数ＮＢ３を前記した数式７で計算し、その計算した輝度差の個数ＮＢ３を第３個数比較部４６２に出力する。
第２０２段階を行うために、第３個数比較部４６２は、第１３臨界値ＴＨ１３を越える輝度差の個数ＮＢ３と第１４臨界値ＴＨ１４とを比較し、その比較結果を第３ｔ調整部４６４に出力する。
第２０４段階を行うために、第３ｔ調整部４６４は、第３個数比較部４６２で比較した結果を通じて、輝度差の個数ＮＢ３が第１４臨界値ＴＨ１４より小さいと認識されれば、ｔを１だけ増加させ、その増加したｔを次のフレーム検査部４６６に出力する。
第２０６段階を行うために、次のフレーム検査部４６６は、第３ｔ調整部４６４で調整されたｔ番目のフレームが次のフレームであるかどうかを検査し、その検査結果を最終フレーム決定部４６８に出力する。この時、第３輝度差の個数計算部４６０は、次のフレーム検査部４６６で検査された結果を通じて、ｔ番目のフレームが次のフレームでないと認識すれば、輝度差の個数ＮＢ３を計算する。
【００５５】
最終フレーム決定部４６８は、第２０８および第２１０段階を行う。第２１０段階を行うために、最終フレーム決定部４６８は、第３個数比較部４６２で比較された結果を通じて輝度差の個数ＮＢ３が第１４臨界値ＴＨ１４より大きいと認識すれば、ｔ番目のフレームを最終フレームとして決定し、その決定結果を出力端子ＯＵＴ１３を介して出力する。また、第２０８段階を行うために、最終フレーム決定部４６８は、次のフレーム検査部４６６で検査された結果を通じて、ｔ番目のフレームが次のフレームであると決定すれば、ｔ＋Ｎ−１番目のフレームを最終フレームとして決定し、その決定結果を出力端子ＯＵＴ１３を介して出力する。
前記したように、図１３に示した第１６Ａ段階が第１８０段階を備えない場合もあり、同様に、図２６に示した字幕領域検証部２４８のブロック２４８Ａが、最終フレームサーチ部４４４を備えない場合もある。一方、図１７に示したブロック図と異なり、字幕領域検証部２４８Ａが、次のフレームに字幕領域が存在するかどうかの検証を完了する時に、第２字幕領域検出部２４６が残りの領域について字幕領域を検出する動作を行う場合もある。または、第２字幕領域検出部２４６が残りの領域について字幕領域を検出する動作と、字幕領域検証部２４８が次のフレームに字幕領域が存在するかどうかを検証する動作とが、同時に行われる場合もある。
【００５６】
図１７に示した最終フレーム検査部２５０は、図１に示した第１８段階を行う。すなわち、図１７に示した最終フレーム検査部２５０は、第１字幕領域検出部２４４から受け取った字幕領域の検出完了可否を示す信号、または字幕領域検証部２４８から受け取った字幕領域の検証完了可否を示す信号に応答して、フレーム入力部２４０から現行のフレームを入力する。この時、最終フレーム検査部２５０は、受け取った現行のフレームが動画像の最終フレームであるかどうかを検査し、その検査結果を第２制御信号Ｃ２として第１ｔ調整部２５２に出力する。例えば、第１字幕領域検出部２４４で第１４段階を行った後、または第２字幕領域検出部２４６および字幕領域検証部２４８で第１６段階を行った後、最終フレーム検査部２５０は、現行のフレームが動画像の最終フレームであるかどうかを検査する。
第２０段階を行うために、第１ｔ調整部２５２は、最終フレーム検査部２５０から受け取った第２制御信号Ｃ２を通じて現行のフレームが動画像の最終フレームでないと認識すれば、ｔをＮだけ増加させ、その増加分ｔをフレーム入力部２４０に出力する。この時、フレーム入力部２４０は、第１ｔ調整部２５２から調整されたｔを受け取る時、新たなｔ番目のフレームを入力端子ＩＮ１を介して現行のフレームとして読み取る。
【産業上の利用可能性】
【００５７】
本発明に係る動画像の字幕検出方法および装置は、動画像をその字幕を利用して要約または検索しようとする場合に、有効に利用することができる。例えば、ニュースから重要な字幕を含むニュースのみ検索するか、またはそのニュースを抜粋して要約しようとする場合、本発明は字幕を迅速かつ正確に検出できる方法および装置を提供する。
【図面の簡単な説明】
【００５８】
【図１】本発明に係る動画像の字幕検出方法の実施形態を説明するためのフローチャートである。
【図２】図１に示した第１４段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図３】図２に示した第４０段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図４】図３に示した第６０段階を説明するための図面である。
【図５】図３に図示された第６２段階を説明するための図面である。
【図６】加重値とグラジエントとの関係を示すグラフである。
【図７】図２に示した第４４段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図８】図７に示した第８２段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図９】図８に示した第８２Ａ段階を説明するための字幕フレームの例示の図面である。
【図１０】図８に示した第１０４段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図１１】図２に示した第４６段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図１２】図１１に示した第４６Ａ段階を説明するためのフレームの例示の図面である。
【図１３】図１に示した第１６段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図１４】図１３に示した第１７６段階を説明するための例示の図面である。
【図１５】図１３に示した第１８０段階について、本発明に係る実施形態を説明するためのフローチャートである。
【図１６】図１５に示した第１８０Ａ段階を説明するためのフレームの例示的な図面である。
【図１７】本発明に係る動画像の字幕検出装置の実施形態のブロック図である。
【図１８】図１７に示した第１字幕領域検出部の本発明に係る実施形態のブロック図である。
【図１９】図１８に示した第１文字ブロック検出部の本発明に係る実施形態のブロック図である。
【図２０】図１８に示した第１字幕フレーム検査部の本発明に係る実施形態のブロック図である。
【図２１】図１８に示した第１字幕領域決定部の本発明に係る実施形態のブロック図である。
【図２２】図２１に示したバウンディングボックス決定部の本発明に係る実施形態のブロック図である。
【図２３】図２２に示した行および列組合わせ部の本発明に係る実施形態のブロック図である。
【図２４】図１８に示した開始フレームサーチ部の本発明に係る実施形態のブロック図である。
【図２５】図１７に示した第２字幕領域検出部の本発明に係る実施形態のブロック図である。
【図２６】図１７に示した字幕領域検証部の本発明に係る実施形態のブロック図である。
【図２７】図２６に示した最終フレームサーチ部の本発明に係る実施形態のブロック図である。
【符号の説明】
【００５９】
２４０  フレーム入力部
２４２  字幕領域検査部
２４４、２４６  第１および第２字幕領域検出部
２４８  字幕領域検証部
２５０  最終フレーム検査部
２５２  第１ｔ調整部
【図１】
2005235220.tif 000012
【図２】
2005235220.tif 000013
【図３】
2005235220.tif 000014
【図４】
2005235220.tif 000015
【図５】
2005235220.tif 000016
【図６】
2005235220.tif 000017
【図７】
2005235220.tif 000018
【図８】
2005235220.tif 000019
【図９】
2005235220.tif 000020
【図１０】
2005235220.tif 000021
【図１１】
2005235220.tif 000022
【図１２】
2005235220.tif 000023
【図１３】
2005235220.tif 000024
【図１４】
2005235220.tif 000025
【図１５】
2005235220.tif 000026
【図１６】
2005235220.tif 000027
【図１７】
2005235220.tif 000028
【図１８】
2005235220.tif 000029
【図１９】
2005235220.tif 000030
【図２０】
2005235220.tif 000031
【図２１】
2005235220.tif 000032
【図２２】
2005235220.tif 000033
【図２３】
2005235220.tif 000034
【図２４】
2005235220.tif 000035
【図２５】
2005235220.tif 000036
【図２６】
2005235220.tif 000037
【図２７】
2005235220.tif 000038