(57)【特許請求の範囲】
【請求項１】
空間領域から周波数領域への直交変換を用いて圧縮符号化された動画像に関する一連のフレームの中から、第１のフレーム内予測符号化画像を取得する第１のフレーム内予測符号化画像取得工程と、
前記第１のフレーム内予測符号化画像取得工程によって取得された第１のフレーム内予測符号化画像の中から、任意の第１のブロックを抽出する第１の抽出工程と、
前記第１の抽出工程によって抽出された第１のブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記第１のブロック内の周波数成分に重み付けすることによって、当該第１のブロックにテロップが含まれている可能性を示す第１の評価値を算出する第１の算出工程と、
前記第１の算出工程によって算出された第１の評価値に基づいて、前記テロップを含むテロップ領域を前記第１のブロックから検出する第１の検出工程と、
前記一連のフレームの中から、前記第１のフレーム内予測符号化画像の後に入力されてくる、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得工程と、
前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、前記第１のブロックの出現位置に対応する第２のブロックを抽出する第２の抽出工程と、
前記第２の抽出工程によって抽出された第２のブロックの周波数成分を用いて、前記第１の検出工程によってテロップ領域が検出された第１のブロックの周波数成分を更新する更新工程と、
前記一連のフレームの中から、前記第１のフレーム内予測符号化画像のつぎに入力されてくる、第２のフレーム内予測符号化画像を取得する第２のフレーム内予測符号化画像取得工程と、
前記第２のフレーム内予測符号化画像取得工程によって取得された第２のフレーム内予測符号化画像の中から、前記第１および第２のブロックの出現位置に対応する第３のブロックを抽出する第３の抽出工程と、
前記重み付け行列を用いて、前記更新工程によって更新された周波数成分に重み付けすることにより、前記第３の抽出工程によって抽出された第３のブロックに前記テロップが含まれている可能性を示す第２の評価値を算出する第２の算出工程と、
前記第２の算出工程によって算出された第２の評価値に基づいて、前記テロップ領域と同一のテロップ領域を前記第３のブロックから検出する第２の検出工程と、
を含んだことを特徴とするテロップ検出方法。
【請求項２】
前記第１の検出工程は、
前記第１の算出工程によって算出された第１の評価値が所定の第１のしきい値以上であるかどうかを判定する第１の判定工程と、
前記第１の判定工程によって前記所定の第１のしきい値以上であると判定された場合、
前記第１のブロックを前記テロップ領域に決定する決定工程と、
を含んだことを特徴とする請求項１に記載のテロップ検出方法。
【請求項３】
前記第２の検出工程は、
前記第２の算出工程によって算出された第２の評価値が所定の第２のしきい値以上であるかどうかを判定する第２の判定工程と、
前記第２の判定工程によって前記所定の第２のしきい値以上であると判定された場合、
前記第３のブロックを、前記テロップ領域と同一のテロップ領域に決定する第２の決定工程と、
を含んだことを特徴とする請求項１または２に記載のテロップ検出方法。
【請求項４】
空間領域から周波数領域への直交変換とフレーム間相関とを用いて圧縮符号化された動画像に関する一連のフレームの中から、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得工程と、
前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、注目すべき任意のマクロブロック（以下、「注目マクロブロック」という。）と、当該注目マクロブロックの周囲に存在するマクロブロックのうち少なくともいずれか一つのマクロブロック（以下、「周囲マクロブロック」という。）と、を抽出するマクロブロック抽出工程と、
前記マクロブロック抽出工程によって抽出された注目マクロブロックの動きベクトルと、前記第１のマクロブロック抽出工程によって抽出された周囲マクロブロックの動きベクトルとに基づいて、前記注目マクロブロックにテロップが含まれている可能性を示す第１の評価値を算出する第１の算出工程と、
前記一連のフレームの中から、前記フレーム間予測符号化画像の後に入力されてくる、フレーム内予測符号化画像を取得するフレーム内予測符号化画像取得工程と、
前記フレーム内予測符号化画像取得工程によって取得されたフレーム内予測符号化画像の中から、前記注目マクロブロックの出現位置に対応するマクロブロック内のブロックを抽出するブロック抽出工程と、
前記ブロック抽出工程によって抽出されたブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記ブロック内の周波数成分に重み付けすることによって、当該ブロックに前記テロップが含まれている可能性を示す第２の評価値を算出する第２の算出工程と、
前記第１および第２の算出工程によって算出された第１および第２の評価値に基づいて、前記テロップを含むテロップ領域を検出する検出工程と、
を含んだことを特徴とするテロップ検出方法。
【請求項５】
前記第１の算出工程は、
前記注目マクロブロックの動きベクトルと前記周囲マクロブロックの動きベクトルとの差分が０となる回数を計数することによって前記第１の評価値を算出し、
前記検出工程は、
前記第１の評価値が所定の第１のしきい値以上であるかどうか、および、前記第２の評価値が所定の第２のしきい値以上であるかどうかを判定する判定工程と、
前記判定工程によって判定された判定結果に基づいて、前記ブロックを、前記テロップを含むテロップ領域に決定する決定工程と、
を含んだことを特徴とする請求項４に記載のテロップ検出方法。
【請求項６】
前記注目マクロブロックの動きベクトルと、前記周囲マクロブロックの動きベクトルとに基づいて、前記検出工程によって検出されたテロップ領域内のテロップが、静止テロップかロールテロップかを判別する判別工程と、
前記判別工程によって判別された判別結果を出力する出力工程と、
を含んだことを特徴とする請求項４または５に記載のテロップ検出方法。
【請求項７】
空間領域から周波数領域への直交変換を用いて圧縮符号化された動画像に関する一連のフレームの中から、第１のフレーム内予測符号化画像を取得させる第１のフレーム内予測符号化画像取得工程と、
前記第１のフレーム内予測符号化画像取得工程によって取得された第１のフレーム内予測符号化画像の中から、任意の第１のブロックを抽出させる第１の抽出工程と、
前記第１の抽出工程によって抽出された第１のブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記第１のブロック内の周波数成分に重み付けすることによって、当該第１のブロックにテロップが含まれている可能性を示す第１の評価値を算出させる第１の算出工程と、
前記第１の算出工程によって算出された第１の評価値に基づいて、前記テロップを含むテロップ領域を前記第１のブロックから検出させる第１の検出工程と、
前記一連のフレームの中から、前記第１のフレーム内予測符号化画像の後に入力されてくる、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得工程と、
前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、前記第１のブロックの出現位置に対応する第２のブロックを抽出させる第２の抽出工程と、
前記第２の抽出工程によって抽出された第２のブロックの周波数成分を用いて、前記第１の検出工程によってテロップ領域が検出された第１のブロックの周波数成分を更新させる更新工程と、
前記一連のフレームの中から、前記第１のフレーム内予測符号化画像のつぎに入力されてくる、第２のフレーム内予測符号化画像を取得させる第２のフレーム内予測符号化画像取得工程と、
前記第２のフレーム内予測符号化画像取得工程によって取得された第２のフレーム内予測符号化画像の中から、前記第１および第２のブロックの出現位置に対応する第３のブロックを抽出させる第３の抽出工程と、
前記重み付け行列を用いて、前記更新工程によって更新された周波数成分に重み付けすることにより、前記第３の抽出工程によって抽出された第３のブロックに前記テロップが含まれている可能性を示す第２の評価値を算出させる第２の算出工程と、
前記第２の算出工程によって算出された第２の評価値に基づいて、前記テロップ領域と同一のテロップ領域を前記第３のブロックから検出させる第２の検出工程と、
をコンピュータに実行させることを特徴とするテロップ検出プログラム。
【請求項８】
空間領域から周波数領域への直交変換とフレーム間相関とを用いて圧縮符号化された動画像に関する一連のフレームの中から、フレーム間予測符号化画像を取得させるフレーム間予測符号化画像取得工程と、
前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、注目すべき任意のマクロブロック（以下、「注目マクロブロック」という。）と、当該注目マクロブロックの周囲に存在するマクロブロックのうち少なくともいずれか一つのマクロブロック（以下、「周囲マクロブロック」という。）と、を抽出させるマクロブロック抽出工程と、
前記マクロブロック抽出工程によって抽出された注目マクロブロックの動きベクトルと、前記第１のマクロブロック抽出工程によって抽出された周囲マクロブロックの動きベクトルとに基づいて、前記注目マクロブロックにテロップが含まれている可能性を示す第１の評価値を算出させる第１の算出工程と、
前記一連のフレームの中から、前記フレーム間予測符号化画像の後に入力されてくる、フレーム内予測符号化画像を取得するフレーム内予測符号化画像取得工程と、
前記フレーム内予測符号化画像取得工程によって取得されたフレーム内予測符号化画像の中から、前記注目マクロブロックの出現位置に対応するマクロブロック内のブロックを抽出させるブロック抽出工程と、
前記ブロック抽出工程によって抽出されたブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記ブロック内の周波数成分に重み付けすることによって、当該ブロックに前記テロップが含まれている可能性を示す第２の評価値を算出させる第２の算出工程と、
前記第１および第２の算出工程によって算出された第１および第２の評価値に基づいて、前記テロップを含むテロップ領域を検出させる検出工程と、
をコンピュータに実行させることを特徴とするテロップ検出プログラム。
【請求項９】
空間領域から周波数領域への直交変換を用いて圧縮符号化された動画像に関する一連のフレームの中から、第１のフレーム内予測符号化画像を取得するフレーム内予測符号化画像取得手段と、
前記フレーム内予測符号化画像取得手段によって取得された第１のフレーム内予測符号化画像の中から、任意の第１のブロックを抽出する第１の抽出手段と、
前記第１の抽出手段によって抽出された第１のブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記第１のブロック内の周波数成分に重み付けすることによって、当該第１のブロックにテロップが含まれている可能性を示す第１の評価値を算出する算出手段と、
前記算出手段によって算出された第１の評価値に基づいて、前記テロップを含むテロップ領域を前記第１のブロックから検出する検出手段と、
前記一連のフレームの中から、前記第１のフレーム内予測符号化画像の後に入力されてくる、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得手段と、
前記フレーム間予測符号化画像取得手段によって取得されたフレーム間予測符号化画像の中から、前記第１のブロックの出現位置に対応する第２のブロックを抽出する第２の抽出手段と、
前記第２の抽出手段によって抽出された第２のブロックの周波数成分を用いて、前記検出手段によってテロップ領域が検出された第１のブロックの周波数成分を更新する更新手段と、を備え、
前記フレーム内予測符号化画像取得手段は、
前記一連のフレームの中から、前記第１のフレーム内予測符号化画像のつぎに入力されてくる、第２のフレーム内予測符号化画像を取得し、
前記第１の抽出手段は、
前記フレーム内予測符号化画像取得手段によって取得された第２のフレーム内予測符号化画像の中から、前記第１および第２のブロックの出現位置に対応する第３のブロックを抽出し、
前記算出手段は、
前記重み付け行列を用いて、前記更新手段によって更新された周波数成分に重み付けすることにより、前記第１の抽出手段によって抽出された第３のブロックに前記テロップが含まれている可能性を示す第２の評価値を算出し、
前記検出手段は、
前記算出手段によって算出された第２の評価値に基づいて、前記テロップ領域と同一のテロップ領域を前記第３のブロックから検出することを特徴とするテロップ検出装置。
【請求項１０】
空間領域から周波数領域への直交変換とフレーム間相関とを用いて圧縮符号化された動画像に関する一連のフレームの中から、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得手段と、
前記フレーム間予測符号化画像取得手段によって取得されたフレーム間予測符号化画像の中から、注目すべき任意のマクロブロック（以下、「注目マクロブロック」という。）と、当該注目マクロブロックの周囲に存在するマクロブロックのうち少なくともいずれか一つのマクロブロック（以下、「周囲マクロブロック」という。）と、を抽出するマクロブロック抽出手段と、
前記マクロブロック抽出手段によって抽出された注目マクロブロックの動きベクトルと、前記第１のマクロブロック抽出手段によって抽出された周囲マクロブロックの動きベクトルとに基づいて、前記注目マクロブロックにテロップが含まれている可能性を示す第１の評価値を算出する第１の算出手段と、
前記一連のフレームの中から、前記フレーム間予測符号化画像の後に入力されてくる、フレーム内予測符号化画像を取得するフレーム内予測符号化画像取得手段と、
前記フレーム内予測符号化画像取得手段によって取得されたフレーム内予測符号化画像の中から、前記注目マクロブロックの出現位置に対応するマクロブロック内のブロックを抽出するブロック抽出手段と、
前記ブロック抽出手段によって抽出されたブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記ブロック内の周波数成分に重み付けすることによって、当該ブロックに前記テロップが含まれている可能性を示す第２の評価値を算出する第２の算出手段と、
前記第１および第２の算出手段によって算出された第１および第２の評価値に基づいて、前記テロップを含むテロップ領域を検出する検出手段と、
を備えることを特徴とするテロップ検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、テロップを検出するテロップ検出方法、テロップ検出プログラム、およびテロップ検出装置に関する。ただし、この発明の利用は、上述したテロップ検出方法、テロップ検出プログラム、およびテロップ検出装置に限られない。
【背景技術】
【０００２】
従来から、動画像のテロップ部分が符号化された動力画像データを復号化することなく直接抽出する方法が提供されている。この方法は、符号化された動画像データをフレーム間の相関を用いて符号化されたフレームか、フレーム間の相関を用いないで符号化されたフレームかを判別する段階と、フレーム間の相関を用いて符号化されたフレームについては、動き補償を用いないで符号化された画素かどうかを判定する段階と、画素の位置に応じて二次元の計数マトリックスに符号化数値を格納する段階と、各計数マトリックスに格納された値と閾値とを比較する段階と、比較により閾値より大きい値を有する画素をテロップ部分と判定する段階からなり、この操作が所定の区域内で各画素に対して行われ、その総括により動画像のテロップ抽出ができる（たとえば、下記特許文献１を参照。）。
【０００３】
また、圧縮された符号化データそのもの、またはその一部だけを復号した情報から、テロップの出現を高速かつ高精度に検出でき、かつフレーム内でのテロップ位置を抽出できるテロップ領域検出装置が提案されている。このテロップ領域検出装置では、符号化データは可変長復号部により必要な情報だけが部分的に復号され、該復号された情報は、それぞれ時間変移判定部、テロップ位置判定部、および出現フレーム判定部に送られる。時間変移判定部は、テロップ領域候補となる領域をＩピクチャ上で設定する。テロップ位置判定部では、テロップに相応しい符号化モードを持つブロックをＩピクチャ上から抜き出す。出現フレーム判定部では、どのフレームからテロップが出現したかのフレーム判定処理を行う（たとえば、下記特許文献２を参照。）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開平９−３２２１７３号公報
【特許文献２】特開２００２−６４７４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、上述した特許文献１の従来技術では、動き補償を用いずにフレーム間予測された領域であっても、一般に静止している領域が含まれている場合があるため、当該領域がすべてテロップであるとは限らず、検出精度が低下するという問題が一例として挙げられる。
【０００６】
また、上述した特許文献２の従来技術では、テロップを検出するタイミングがテロップ出現時に限られるため、フェードインや文字の順次出現など特殊な出現の仕方をするテロップ、シーンチェンジと同時に出現するテロップ、または小さいテロップなどに対応することが困難であるという問題が一例として挙げられる。
【０００７】
さらに、テロップ以外の領域でも、空間領域での輝度や色差の変化が多い領域が存在する場合があり、これらの領域とテロップを区別することが困難であるという問題が一例として挙げられる。
【課題を解決するための手段】
【０００８】
請求項１に記載のテロップ検出方法は、空間領域から周波数領域への直交変換を用いて圧縮符号化された動画像に関する一連のフレームの中から、第１のフレーム内予測符号化画像を取得する第１のフレーム内予測符号化画像取得工程と、前記第１のフレーム内予測符号化画像取得工程によって取得された第１のフレーム内予測符号化画像の中から、任意の第１のブロックを抽出する第１の抽出工程と、前記第１の抽出工程によって抽出された第１のブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記第１のブロック内の周波数成分に重み付けすることによって、当該第１のブロックにテロップが含まれている可能性を示す第１の評価値を算出する第１の算出工程と、前記第１の算出工程によって算出された第１の評価値に基づいて、前記テロップを含むテロップ領域を前記第１のブロックから検出する第１の検出工程と、前記一連のフレームの中から、前記第１のフレーム内予測符号化画像の後に入力されてくる、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得工程と、前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、前記第１のブロックの出現位置に対応する第２のブロックを抽出する第２の抽出工程と、前記第２の抽出工程によって抽出された第２のブロックの周波数成分を用いて、前記第１の検出工程によってテロップ領域が検出された第１のブロックの周波数成分を更新する更新工程と、前記一連のフレームの中から、前記第１のフレーム内予測符号化画像のつぎに入力されてくる、第２のフレーム内予測符号化画像を取得する第２のフレーム内予測符号化画像取得工程と、前記第２のフレーム内予測符号化画像取得工程によって取得された第２のフレーム内予測符号化画像の中から、前記第１および第２のブロックの出現位置に対応する第３のブロックを抽出する第３の抽出工程と、前記重み付け行列を用いて、前記更新工程によって更新された周波数成分に重み付けすることにより、前記第３の抽出工程によって抽出された第３のブロックに前記テロップが含まれている可能性を示す第２の評価値を算出する第２の算出工程と、前記第２の算出工程によって算出された第２の評価値に基づいて、前記テロップ領域と同一のテロップ領域を前記第３のブロックから検出する第２の検出工程と、を含んだことを特徴とする。
【０００９】
また、請求項４に記載のテロップ検出方法は、空間領域から周波数領域への直交変換とフレーム間相関とを用いて圧縮符号化された動画像に関する一連のフレームの中から、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得工程と、前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、注目すべき任意のマクロブロック（以下、「注目マクロブロック」という。）と、当該注目マクロブロックの周囲に存在するマクロブロックのうち少なくともいずれか一つのマクロブロック（以下、「周囲マクロブロック」という。）と、を抽出するマクロブロック抽出工程と、前記マクロブロック抽出工程によって抽出された注目マクロブロックの動きベクトルと、前記第１のマクロブロック抽出工程によって抽出された周囲マクロブロックの動きベクトルとに基づいて、前記注目マクロブロックにテロップが含まれている可能性を示す第１の評価値を算出する第１の算出工程と、前記一連のフレームの中から、前記フレーム間予測符号化画像の後に入力されてくる、フレーム内予測符号化画像を取得するフレーム内予測符号化画像取得工程と、前記フレーム内予測符号化画像取得工程によって取得されたフレーム内予測符号化画像の中から、前記注目マクロブロックの出現位置に対応するマクロブロック内のブロックを抽出するブロック抽出工程と、前記ブロック抽出工程によって抽出されたブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記ブロック内の周波数成分に重み付けすることによって、当該ブロックに前記テロップが含まれている可能性を示す第２の評価値を算出する第２の算出工程と、前記第１および第２の算出工程によって算出された第１および第２の評価値に基づいて、前記テロップを含むテロップ領域を検出する検出工程と、を含んだことを特徴とする。
【００１０】
また、請求項７に記載のテロップ検出プログラムは、空間領域から周波数領域への直交変換を用いて圧縮符号化された動画像に関する一連のフレームの中から、第１のフレーム内予測符号化画像を取得させる第１のフレーム内予測符号化画像取得工程と、前記第１のフレーム内予測符号化画像取得工程によって取得された第１のフレーム内予測符号化画像の中から、任意の第１のブロックを抽出させる第１の抽出工程と、前記第１の抽出工程によって抽出された第１のブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記第１のブロック内の周波数成分に重み付けすることによって、当該第１のブロックにテロップが含まれている可能性を示す第１の評価値を算出させる第１の算出工程と、前記第１の算出工程によって算出された第１の評価値に基づいて、前記テロップを含むテロップ領域を前記第１のブロックから検出させる第１の検出工程と、前記一連のフレームの中から、前記第１のフレーム内予測符号化画像の後に入力されてくる、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得工程と、前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、前記第１のブロックの出現位置に対応する第２のブロックを抽出させる第２の抽出工程と、前記第２の抽出工程によって抽出された第２のブロックの周波数成分を用いて、前記第１の検出工程によってテロップ領域が検出された第１のブロックの周波数成分を更新させる更新工程と、前記一連のフレームの中から、前記第１のフレーム内予測符号化画像のつぎに入力されてくる、第２のフレーム内予測符号化画像を取得させる第２のフレーム内予測符号化画像取得工程と、前記第２のフレーム内予測符号化画像取得工程によって取得された第２のフレーム内予測符号化画像の中から、前記第１および第２のブロックの出現位置に対応する第３のブロックを抽出させる第３の抽出工程と、前記重み付け行列を用いて、前記更新工程によって更新された周波数成分に重み付けすることにより、前記第３の抽出工程によって抽出された第３のブロックに前記テロップが含まれている可能性を示す第２の評価値を算出させる第２の算出工程と、前記第２の算出工程によって算出された第２の評価値に基づいて、前記テロップ領域と同一のテロップ領域を前記第３のブロックから検出させる第２の検出工程と、をコンピュータに実行させることを特徴とする。
【００１１】
また、請求項８に記載のテロップ検出プログラムは、空間領域から周波数領域への直交変換とフレーム間相関とを用いて圧縮符号化された動画像に関する一連のフレームの中から、フレーム間予測符号化画像を取得させるフレーム間予測符号化画像取得工程と、前記フレーム間予測符号化画像取得工程によって取得されたフレーム間予測符号化画像の中から、注目すべき任意のマクロブロック（以下、「注目マクロブロック」という。）と、当該注目マクロブロックの周囲に存在するマクロブロックのうち少なくともいずれか一つのマクロブロック（以下、「周囲マクロブロック」という。）と、を抽出させるマクロブロック抽出工程と、前記マクロブロック抽出工程によって抽出された注目マクロブロックの動きベクトルと、前記第１のマクロブロック抽出工程によって抽出された周囲マクロブロックの動きベクトルとに基づいて、前記注目マクロブロックにテロップが含まれている可能性を示す第１の評価値を算出させる第１の算出工程と、前記一連のフレームの中から、前記フレーム間予測符号化画像の後に入力されてくる、フレーム内予測符号化画像を取得するフレーム内予測符号化画像取得工程と、前記フレーム内予測符号化画像取得工程によって取得されたフレーム内予測符号化画像の中から、前記注目マクロブロックの出現位置に対応するマクロブロック内のブロックを抽出させるブロック抽出工程と、前記ブロック抽出工程によって抽出されたブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記ブロック内の周波数成分に重み付けすることによって、当該ブロックに前記テロップが含まれている可能性を示す第２の評価値を算出させる第２の算出工程と、前記第１および第２の算出工程によって算出された第１および第２の評価値に基づいて、前記テロップを含むテロップ領域を検出させる検出工程と、をコンピュータに実行させることを特徴とする。
【００１２】
また、請求項９に記載のテロップ検出装置は、空間領域から周波数領域への直交変換を用いて圧縮符号化された動画像に関する一連のフレームの中から、第１のフレーム内予測符号化画像を取得するフレーム内予測符号化画像取得手段と、前記フレーム内予測符号化画像取得手段によって取得された第１のフレーム内予測符号化画像の中から、任意の第１のブロックを抽出する第１の抽出手段と、前記第１の抽出手段によって抽出された第１のブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記第１のブロック内の周波数成分に重み付けすることによって、当該第１のブロックにテロップが含まれている可能性を示す第１の評価値を算出する算出手段と、前記算出手段によって算出された第１の評価値に基づいて、前記テロップを含むテロップ領域を前記第１のブロックから検出する検出手段と、前記一連のフレームの中から、前記第１のフレーム内予測符号化画像の後に入力されてくる、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得手段と、前記フレーム間予測符号化画像取得手段によって取得されたフレーム間予測符号化画像の中から、前記第１のブロックの出現位置に対応する第２のブロックを抽出する第２の抽出手段と、前記第２の抽出手段によって抽出された第２のブロックの周波数成分を用いて、前記検出手段によってテロップ領域が検出された第１のブロックの周波数成分を更新する更新手段と、を備え、前記フレーム内予測符号化画像取得手段は、前記一連のフレームの中から、前記第１のフレーム内予測符号化画像のつぎに入力されてくる、第２のフレーム内予測符号化画像を取得し、前記第１の抽出手段は、前記フレーム内予測符号化画像取得手段によって取得された第２のフレーム内予測符号化画像の中から、前記第１および第２のブロックの出現位置に対応する第３のブロックを抽出し、前記算出手段は、前記重み付け行列を用いて、前記更新手段によって更新された周波数成分に重み付けすることにより、前記第１の抽出手段によって抽出された第３のブロックに前記テロップが含まれている可能性を示す第２の評価値を算出し、前記検出手段は、前記算出手段によって算出された第２の評価値に基づいて、前記テロップ領域と同一のテロップ領域を前記第３のブロックから検出することを特徴とする。
【００１３】
また、請求項１０に記載のテロップ検出装置は、空間領域から周波数領域への直交変換とフレーム間相関とを用いて圧縮符号化された動画像に関する一連のフレームの中から、フレーム間予測符号化画像を取得するフレーム間予測符号化画像取得手段と、前記フレーム間予測符号化画像取得手段によって取得されたフレーム間予測符号化画像の中から、注目すべき任意のマクロブロック（以下、「注目マクロブロック」という。）と、当該注目マクロブロックの周囲に存在するマクロブロックのうち少なくともいずれか一つのマクロブロック（以下、「周囲マクロブロック」という。）と、を抽出するマクロブロック抽出手段と、前記マクロブロック抽出手段によって抽出された注目マクロブロックの動きベクトルと、前記第１のマクロブロック抽出手段によって抽出された周囲マクロブロックの動きベクトルとに基づいて、前記注目マクロブロックにテロップが含まれている可能性を示す第１の評価値を算出する第１の算出手段と、前記一連のフレームの中から、前記フレーム間予測符号化画像の後に入力されてくる、フレーム内予測符号化画像を取得するフレーム内予測符号化画像取得手段と、前記フレーム内予測符号化画像取得手段によって取得されたフレーム内予測符号化画像の中から、前記注目マクロブロックの出現位置に対応するマクロブロック内のブロックを抽出するブロック抽出手段と、前記ブロック抽出手段によって抽出されたブロック内における任意の周波数帯域の周波数成分に対し、前記周波数帯域より周波数が高い他の周波数帯域の周波数成分に重み付けする値が大きくなる重み付け行列を用いて、前記ブロック内の周波数成分に重み付けすることによって、当該ブロックに前記テロップが含まれている可能性を示す第２の評価値を算出する第２の算出手段と、前記第１および第２の算出手段によって算出された第１および第２の評価値に基づいて、前記テロップを含むテロップ領域を検出する検出手段と、を備えることを特徴とする。
【図面の簡単な説明】
【００１７】
【図１】実施の形態１にかかるテロップ検出装置の機能的構成を示すブロック図である。
【図２】重み付け行列によって重み付けされるマクロブロックの一例を示す説明図である。
【図３】差分画像を示す説明図である。
【図４】実施の形態１にかかるテロップ検出処理手順を示すフローチャートである。
【図５】実施の形態２にかかるテロップ検出装置の機能的構成を示すブロック図である。
【図６】実施の形態２にかかるテロップ検出処理手順を示すフローチャートである。
【図７】実施例１にかかるテロップ検出装置のハードウェア構成を示すブロック図である。
【図８】実施例１にかかるテロップ検出装置の機能的構成を示すブロック図である。
【図９】実施例１にかかるテロップ検出処理手順を示すフローチャートである。
【図１０】ＤＣＴ係数評価処理手順を示すフローチャートである。
【図１１】テロップ検出処理を示す模式図である。
【図１２】実施例２にかかるテロップ検出装置の機能的構成を示すブロック図である。
【図１３】実施例２にかかるテロップ検出処理手順を示すフローチャートである。
【図１４】テロップ領域候補判定処理手順を示すフローチャートである。
【図１５】差分画像ＤＣＴ係数処理手順を示すフローチャートである。
【図１６】テロップ領域判定処理手順を示すフローチャートである。
【図１７】実施例２のテロップ検出処理を示す模式図である。
【図１８】動きベクトルの差分の一例を示す説明図である。
【図１９】動きベクトルの差分の他の例を示す説明図である。
【図２０】実施例３にかかるテロップ検出装置の機能的構成を示すブロック図である。
【図２１】実施例３にかかるテロップ検出処理手順を示すフローチャートである。
【図２２】動きベクトル評価処理手順を示すフローチャートである。
【図２３】ＤＣＴ係数評価処理手順を示すフローチャートである。
【図２４】実施例３のテロップ検出処理を示す模式図である。
【図２５】動きベクトルの差分を示す説明図である。
【図２６】動きベクトル評価処理手順を示す他のフローチャートである。
【発明を実施するための形態】
【００１８】
以下に添付図面を参照して、この発明にかかるテロップ検出方法、テロップ検出プログラム、およびテロップ検出装置の好適な実施の形態を詳細に説明する。
【００１９】
（実施の形態１）
（テロップ検出装置の機能的構成）
まず、実施の形態１にかかるテロップ検出装置の機能的構成について説明する。図１は、実施の形態１にかかるテロップ検出装置の機能的構成を示すブロック図である。図１において、テロップ検出装置１００は、フレーム内予測符号化画像取得部１０１と、第１抽出部１０２と、算出部１０３と、検出部１０４とを備えている。フレーム内予測符号化画像取得部１０１は、圧縮符号化された動画像に関する一連のフレームの中から、フレーム内予測符号化されたフレームを取得する。
【００２０】
この動画像に関する一連のフレームは、具体的には、空間領域から周波数領域への直交変換を用いて圧縮符号化された動画像の集合である。この動画像に関する一連のフレームは、たとえば、ＭＰＥＧ形式によって圧縮符号化された一連のフレーム画像であり、フレーム内予測符号化されたフレーム（フレーム内予測符号化画像）と、フレーム間予測符号化されたフレーム（フレーム間予測符号化画像）とから構成されている。フレーム内予測符号化画像取得部１０１では、一連のフレームから、フレーム内予測符号化画像を取得する。
【００２１】
第１抽出部１０２は、フレーム内予測符号化画像取得部１０１によって取得されたフレーム内予測符号化画像の中から、任意のブロックを抽出する。ここで、「ブロック」とは、取得されたフレームにおける直交変換の一単位領域である。特にＭＰＥＧの場合、ブロックはＤＣＴをおこなう単位であり、ＤＣＴ係数で構成された８×８ドットの画像データである。このブロックは、フレーム内予測符号化画像のマクロブロックを構成する。より具体的には、マクロブロックを構成する６つのブロック（４つのＹ信号、Ｃｒ信号、Ｃｂ信号）のうち、輝度情報をあらわす４つのＹ信号の少なくともいずれか一つとしてもよいが、輝度情報と色差情報（Ｃｒ信号、Ｃｂ信号）を組み合わせて抽出したり、色差情報のみを抽出したりしてもよい。
【００２２】
算出部１０３は、重み付け行列を用いて、第１抽出部１０２によって抽出されたブロック内のＤＣＴ係数に重み付けすることにより、当該ブロックにテロップが含まれている可能性を示す評価値（以下、「第１評価値」と呼ぶ。）を算出する。
【００２３】
この重み付け行列とは、ブロック内における任意の周波数帯域のＤＣＴ係数に対し、周波数帯域より周波数が高い他の周波数帯域のＤＣＴ係数に重み付けする値が大きくなる行列である。ここで、重み付け行列によって重み付けされるブロックの一例について説明する。図２は、重み付け行列によって重み付けされるブロックの一例を示す説明図である。
【００２４】
図２において、ブロック２００内のＤＣＴ係数は、左上に行くほど周波数が低く、右下に行くほど周波数が高くなる。すなわち、最も左上の領域２０１は、ＤＣ成分のＤＣＴ係数を有しており、最も周波数が低い領域である。他の領域２０２〜２０５はＡＣ成分のＤＣＴ係数を有している。領域２０２〜２０５では、周波数帯により分割した領域であり、領域２０２、２０３、２０４、２０５の順に周波数が高くなっている。なお、これらの領域２０１〜２０５を、以下、周波数帯域２０１〜２０５と呼ぶ。
【００２５】
したがって、重み付け行列では、周波数帯域２０１のＤＣＴ係数（ＤＣ成分）の重み付けを「０」としている。また、周波数帯域２０２のＤＣＴ係数に重み付けする値に対し、周波数帯域２０２よりも周波数が高い他の周波数帯域２０３〜２０５のＤＣＴ係数に重み付けする値が大きくなるように設定されている。
【００２６】
さらに、周波数帯域２０３のＤＣＴ係数に重み付けする値に対し、周波数帯域２０３よりも周波数が高い他の周波数帯域２０４、２０５のＤＣＴ係数に重み付けする値が大きくなるように設定されている。また、周波数帯域２０４のＤＣＴ係数に重み付けする値に対し、周波数帯域２０４よりも周波数が高い他の周波数帯域２０５のＤＣＴ係数に重み付けする値が大きくなるように設定されている。
【００２７】
このように、重み付け行列を用いて第１評価値を算出することにより、ブロック内の画像のテロップらしさを数値化することができる。なお、図２では、ＤＣＴ係数のＡＣ成分を４分割して周波数帯域２０２〜２０５を形成することとしたが、ＡＣ成分の分割数は、２以上の領域であればよい。
【００２８】
ここで、テロップについて具体的に説明する。テロップとは、映像コンテンツを構成する一連のフレームである自然画像の上にスーパーインポーズされた字幕または絵である。ブロック内にテロップが存在する場合、空間領域におけるテロップの境界部分に、エッジ（急激な輝度や色差値の変化）が存在する。
【００２９】
これは、視覚を利用した情報伝達手段であるテロップの見やすさに関わるため、多くのテロップに共通する性質である。このような急峻なエッジを含む画像は、周波数帯域では高周波成分に絶対値の大きな値が現れることが知られている。算出部１０３では、この性質を利用して、ＤＣＴ係数の高周波成分に、重み付け行列によってよりＤＣＴ係数を大きくして、テロップらしさを数値化した第１評価値を算出する。
【００３０】
また、図１において、検出部１０４は、算出部１０３によって算出された第１評価値に基づいて、テロップを含むテロップ領域をブロックから検出する。具体的には、検出部１０４は、判定部１０５と、決定部１０６とを備えている。判定部１０５は、算出部１０３によって算出された第１評価値が所定の第１しきい値以上であるかどうかを判定する。
【００３１】
また、決定部１０６は、判定部１０５によって所定の第１しきい値以上であると判定された場合、第１抽出部１０２によって抽出されたブロックを、テロップ領域に決定する。一方、第１評価値が所定の第１しきい値以上でない場合、第１抽出部１０２によって抽出されたブロックを、非テロップ領域に決定する。
【００３２】
これらの構成により、テロップの特徴である、急峻なエッジを検出するためにＤＣＴ係数の高周波成分に注目し、この値が大きい場合にテロップ候補として抽出できるようにした。これにより、「比較的低周波成分を中心に大きなＤＣＴ係数が出現する、自然画像中に存在するざわつき部分」と、「大きなＤＣＴ係数が高周波成分にまで出現しやすい、人工的に挿入したテロップ部分」との区別をより高精度におこなうことができる。
【００３３】
また、テロップ検出装置１００は、フレーム間予測符号化画像取得部１０７と、第２抽出部１０８と、更新部１０９とを備えている。フレーム間予測符号化画像取得部１０７は、一連のフレームの中から、フレーム内予測符号化画像取得部１０１によって取得されたフレーム内予測符号化画像（以下、実施の形態１において「第１フレーム内予測符号化画像」と呼ぶ。）の後に入力されてくる、フレーム間予測符号化画像を取得する。このフレーム間予測符号化画像は、第１フレーム内予測符号化画像の後につづくＰピクチャまたはＢピクチャである。
【００３４】
第２抽出部１０８は、フレーム間予測符号化画像取得部１０７によって取得されたフレーム間予測符号化画像の中から、第１抽出部１０２によって抽出されたブロック（以下、実施の形態１において「第１ブロック」と呼ぶ。）の出現位置に対応するブロック（以下、実施の形態１において「第２ブロック」と呼ぶ。）を抽出する。第１抽出部１０２と同様、「ブロック」とは、取得されたフレームにおける直交変換の一単位領域である。特にＭＰＥＧの場合、ブロックはＤＣＴをおこなう単位であり、ＤＣＴ係数で構成された８×８ドットの画像データである。このブロックは、具体的には、フレーム間予測符号化画像の圧縮符号化されたマクロブロックを構成する。より具体的には、マクロブロックを構成する６つのブロック（４つのＹ信号、Ｃｒ信号、Ｃｂ信号）のうち、輝度情報をあらわす４つのＹ信号の少なくともいずれか一つとしてもよいが、輝度情報と色差情報（Ｃｒ信号、Ｃｂ信号）を組み合わせて抽出したり、色差情報のみを抽出したりしてもよい。
【００３５】
更新部１０９は、第２抽出部１０８によって抽出された第２ブロックのＤＣＴ係数を用いて、検出部１０４によってテロップ領域が検出された第１ブロックのＤＣＴ係数を更新する。具体的には、決定部１０６によってテロップ領域に決定された第１ブロックのＤＣＴ係数を更新し、更新後のＤＣＴ係数を保持しておく。
【００３６】
そして、第２抽出部１０８によって抽出された第２ブロックと、第１ブロックとが同一位置である場合、第２抽出部１０８によって抽出された第２ブロックのＤＣＴ係数を用いて、保持されたＤＣＴ係数を更新する。この更新は、つぎのフレーム内予測符号化画像（Ｉピクチャ）を取得するまで、第２抽出部１０８によってあらたに第２ブロックが抽出される度におこなう。なお、具体的な更新処理については後述する。
【００３７】
また、フレーム内予測符号化画像取得部１０１は、一連のフレームの中から、第１フレーム内予測符号化画像のつぎに入力されてくる、フレーム内予測符号化画像（以下、実施の形態１において「第２フレーム内予測符号化画像」と呼ぶ。）を取得する。この場合、第１抽出部１０２は、フレーム内予測符号化画像取得部１０１によって取得された第２フレーム内予測符号化画像の中から、第１ブロックおよび第２ブロックの出現位置に対応するブロック（以下、実施の形態１において「第３ブロック」と呼ぶ。）を抽出する。
【００３８】
そして、算出部１０３は、上述した重み付け行列を用いて、更新部１０９によって更新されたＤＣＴ係数に重み付けすることにより、第１抽出部１０２によって抽出された第３ブロックにテロップが含まれている可能性を示す評価値（以下、実施の形態１において「第２評価値」と呼ぶ。）を算出する。第２評価値の具体的な算出については後述する。
【００３９】
そして、検出部１０４は、算出部１０３によって算出された第２評価値に基づいて、テロップ領域と同一のテロップ領域を第３ブロックから検出する。具体的には、判定部１０５において、算出部１０３によって算出された第２評価値が所定の第２しきい値以上であるかどうかを判定する。
【００４０】
また、決定部１０６は、判定部１０５によって所定の第２しきい値以上であると判定された場合、第１抽出部１０２によって抽出された第３ブロックを、先に決定されたテロップ領域と同一のテロップ領域に決定する。
【００４１】
一方、決定部１０６は、判定部１０５によって所定の第２しきい値以上でないと判定された場合、第１抽出部１０２によって抽出された第３ブロックを、テロップ領域と同一のテロップ領域でない領域に決定する。
【００４２】
具体的には、第３ブロックにテロップが含まれている場合、そのテロップは、第１抽出部１０２によって決定されたテロップ領域に含まれているテロップとは異なるテロップであるため、第３フレームにおいてテロップが切り替わったことを検出することができる。また、第３フレームのブロックにテロップが含まれていない場合、第１フレーム内予測符号化画像のテロップが第２フレーム内予測符号化画像において消去されていることを検出することができる。
【００４３】
これらの構成では、第１フレーム内予測符号化画像のほかに、フレーム間予測符号化画像のＤＣＴ係数、すなわちフレーム間の差分画像のＤＣＴ係数をテロップ検出に用いている。ＭＰＥＧでは、フレーム間予測符号化画像は、イントラのマクロブロックを除いて、予測元となる画像との間の差分画像として表現されており、その差分画像のＤＣＴ係数を符号化している。ここでは、差分が０の場合も含まれる。
【００４４】
ここで、差分画像について説明する。図３は、差分画像を示す説明図である。図３において、予測元画像３０１内の任意の場所にエッジ３０２が存在し、予測後の画像（予測画像）３１１でそのエッジ３０２がなくなった場合、予測元画像３０１と予測画像３１１との差分画像３２１では、予測元画像３０１でエッジ３０２があった位置と同一位置にあらたなエッジ３２２が発生する。この差分画像３２１のＤＣＴ係数は、予測元画像３０１のＤＣＴ係数と同じ位置に、同じ絶対値として発生する。
【００４５】
一般的に、テロップは一度表示されると静止する。このことから、フレーム内予測符号化された第１フレームにおいてテロップであると判断された領域に対して、上述したテロップの性質により、フレーム間予測符号化された第２フレームのＤＣＴ係数からエッジの挙動を捉えることで、さらにテロップ検出の精度を向上することができる。これにより、同一位置に連続して別のテロップが存在する場合に、テロップの切れ目を検出することができる。
【００４６】
（テロップ検出処理手順）
つぎに、実施の形態１にかかるテロップ検出処理手順について説明する。図４は、実施の形態１にかかるテロップ検出処理手順を示すフローチャートである。図４において、まず、一連のフレームから、フレーム内予測符号化された第１フレーム内予測符号化画像を取得する（ステップＳ４０１）。そして、取得された第１フレーム内予測符号化画像から任意の第１ブロックを抽出する（ステップＳ４０２）。
【００４７】
つぎに、重み付け行列を用いて、抽出された第１ブロックにテロップが含まれている可能性を示す第１評価値を算出する（ステップＳ４０３）。この算出された第１評価値が所定の第１しきい値以上である場合（ステップＳ４０４：Ｙｅｓ）、当該第１ブロックをテロップ領域に決定し（ステップＳ４０５）、第１評価値が所定の第１しきい値以上でない場合（ステップＳ４０４：Ｎｏ）、当該第１ブロックを非テロップ領域に決定する（ステップＳ４０６）。
【００４８】
これにより、自然画像中に存在するざわつき領域と、人工的に挿入したテロップ領域とを区別でき、テロップ領域を高精度に検出することができる。つぎに、一連のフレームから、第１フレーム内予測符号化画像の後に入力されてくる、フレーム間予測符号化画像を取得する（ステップＳ４０７）。そして、取得されたフレーム間予測符号化画像から第２ブロックを抽出する（ステップＳ４０８）。
【００４９】
そして、ステップＳ４０８で抽出された第２ブロックのＤＣＴ係数を用いて、テロップ領域に決定された第１ブロックのＤＣＴ係数を更新する（ステップＳ４０９）。この後、つぎのフレームがフレーム間予測符号化画像である場合（ステップＳ４１０：Ｙｅｓ）、ステップＳ４０７に移行する。
【００５０】
一方、つぎのフレームがフレーム間予測符号化画像でない場合（ステップＳ４１０：Ｎｏ）、第２フレーム内予測符号化画像を取得する（ステップＳ４１１）。そして、取得された第２フレーム内予測符号化画像から第３ブロックを抽出する（ステップＳ４１２）。
【００５１】
つぎに、重み付け行列を用いて、更新部１０９によって更新されたＤＣＴ係数に重み付けすることにより、ステップＳ４１２で抽出された第３ブロックにテロップが含まれている可能性を示す第２評価値を算出する（ステップＳ４１３）。この算出された第２評価値が所定の第２しきい値以上である場合（ステップＳ４１４：Ｙｅｓ）、当該第３ブロックを、ステップＳ４０５で決定されたテロップ領域と同一のテロップ領域に決定する（ステップＳ４１５）。
【００５２】
一方、第２評価値が所定の第２しきい値以上でない場合（ステップＳ４１４：Ｎｏ）、当該ブロックを、ステップＳ４０５で決定されたテロップ領域と同一のテロップ領域でない領域に決定する（ステップＳ４１６）。これにより、同一位置に連続して別のテロップが存在する場合に、テロップの切れ目を検出することができる。
【００５３】
（実施の形態２）
（テロップ検出装置の機能的構成）
つぎに、実施の形態２について説明する。実施の形態２では、実施の形態１で示したＤＣＴ係数の評価に加えて、動きベクトルを用いてテロップ検出をおこなう。具体的には、画像の中でテロップが表示されている領域では、時間的に形状が変化しないテロップが空間的にまとまって表示され続ける。このため、テロップ領域内のマクロブロックでは、動きベクトルの長さが「０」の場合も含めて、一様な動きベクトルによる動き補償をすることになる。
【００５４】
たとえば、テロップが静止している場合は、そのテロップを含むマクロブロックの動き補償は一様になし（動きベクトルが「０」）となり、一方、テロップが移動している場合は、その表示領域内のマクロブロックの動きベクトルも一様に、テロップの移動方向・速度を反映したものとなる。これを利用して、実施の形態２では、画像内のマクロブロックの周囲との動きベクトルから、テロップらしさの評価をおこなう。
【００５５】
まず、実施の形態２にかかるテロップ検出装置の機能的構成について説明する。図５は、実施の形態２にかかるテロップ検出装置の機能的構成を示すブロック図である。図５において、テロップ検出装置５００は、フレーム間予測符号化画像取得部５０１と、マクロブロック抽出部５０２と、第１算出部５０３と、フレーム内予測符号化画像取得部５０４と、ブロック抽出部５０５と、第２算出部５０６と、検出部５０７と、判別部５１０と、出力部５１１と、を備えている。
【００５６】
フレーム間予測符号化画像取得部５０１は、空間領域から周波数領域への直交変換とフレーム間相関とを用いて圧縮符号化された動画像に関する一連のフレームの中から、フレーム間予測符号化画像を取得する。この動画像に関する一連のフレームは、たとえば、ＭＰＥＧ形式によって圧縮符号化された一連のフレーム画像であり、フレーム内予測符号化されたフレーム（フレーム内予測符号化画像）と、フレーム間予測符号化されたフレーム（フレーム間予測符号化画像）とから構成されている。
【００５７】
また、マクロブロック抽出部５０２は、フレーム間予測符号化画像取得部５０１によって取得されたフレーム間予測符号化画像の中から、注目すべき任意のマクロブロック（以下、「注目マクロブロック」と呼ぶ。）と当該注目マクロブロックの周囲に存在するマクロブロックのうち少なくともいずれか一つのマクロブロック（以下、「周囲マクロブロック」と呼ぶ。）とを抽出する。ここで、「マクロブロック」とは、上述したフレーム間相関を用いてフレーム間予測をおこなう一単位領域であり、そのマクロブロックの符号化方
法を示すパラメータや動き補償に使用する動きベクトルが含まれている。具体的には、マクロブロックは、４つのＹ信号、Ｃｒ信号、Ｃｂ信号の６つのブロックから構成されている。また、周囲マクロブロックとは、注目マクロブロックを囲う８つのマクロブロックであってもよく、上下左右に隣接する４つのマクロブロックであってもよい。また、周囲マクロブロックは少なくとも一つ抽出されていればよい。
【００５８】
第１算出部５０３は、マクロブロック抽出部５０２によって抽出された注目マクロブロックの動きベクトルと、マクロブロック抽出部５０２によって抽出された周囲マクロブロックの動きベクトルとに基づいて、注目マクロブロックにテロップが含まれている可能性を示す評価値（以下、実施の形態２において「第１評価値」と呼ぶ。）を算出する。この第１評価値は、注目マクロブロックの動きベクトルと、周囲マクロブロックの動きベクトルとの差分に基づいて算出することができる。
【００５９】
たとえば、第１評価値は、動きベクトルの差分が「０」の場合の出現回数、あるいは、差分の合計値とすることができる。なお、動きベクトルの差分の算出については後述する。また、動きベクトルの差分や差分の合計値以外にも、動きベクトル長や動きベクトル符号長から、動き補償の程度を算出してもよい。
【００６０】
また、図５において、フレーム内予測符号化画像取得部５０４は、一連のフレームの中から、フレーム間予測符号化画像の後に入力されてくる、フレーム内予測符号化画像を取得する。また、ブロック抽出部５０５は、フレーム内予測符号化画像の中から、注目マクロブロックの出現位置に対応するマクロブロック内のブロックを抽出する。なお、抽出されるブロックの説明については、上述した実施の形態１と同様であるため、その説明を省略する。
【００６１】
また、第２算出部５０６は、重み付け行列を用いて、ブロック抽出部５０５によって抽出されたブロック内のＤＣＴ係数に重み付けすることにより、ブロック抽出部５０５によって抽出されたブロックにテロップが含まれている可能性を示す評価値（以下、実施の形態２において「第２評価値」と呼ぶ。）を算出する。ここで、重み付け行列および第２評価値の算出については、実施の形態１と同一であるため、その説明を省略する。
【００６２】
また、検出部５０７は、第１算出部５０３および第２算出部５０６によって算出された第１評価値および第２評価値に基づいて、テロップを含むテロップ領域を検出する。すなわち、フレーム間予測符号化画像からフレーム内予測符号化画像までの間の各フレームに存在するテロップ領域を検出する。
【００６３】
具体的には、検出部５０７は、判定部５０８と、決定部５０９とを備えている。判定部５０８は、第１評価値が所定の第１しきい値以上であるかどうかを判定する。またこの第１評価値の判定結果に基づいて、第２評価値が所定の第２しきい値以上であるかどうかを判定する。
【００６４】
決定部５０９は、判定部５０８によって判定された第１評価値および第２評価値の判定結果に基づいて、注目ブロックをテロップ領域に決定する。この判定部５０８により、注目マクロブロックからテロップ領域候補を絞り込むことができる。そして、テロップ領域候補に挙げられた注目マクロブロックの中から、テロップ領域を検出することができる。これにより、フレーム間に連続的に出現するテロップのテロップ領域を検出することができる。
【００６５】
また、判別部５１０は、マクロブロック抽出部５０２によって抽出された注目マクロブロックの動きベクトルと、マクロブロック抽出部５０２によって抽出された周囲マクロブロックの動きベクトルとに基づいて、検出部５０７によって検出されたテロップ領域内のテロップが、静止テロップかロールテロップかを判別する。具体的には、テロップ領域における動きベクトルの方向およびベクトル長によって判別する。判別の具体例については後述する。また、出力部５１１は、判別部５１０によって判別された判別結果を出力する。
【００６６】
（テロップ検出処理手順）
つぎに、実施の形態２にかかるテロップ検出処理手順について説明する。図６は、実施の形態２にかかるテロップ検出処理手順を示すフローチャートである。図６において、まず、一連のフレームから、フレーム間予測符号化画像を取得する（ステップＳ６０１）。そして、取得されたフレーム間予測符号化画像から、任意の注目マクロブロックと、その周囲マクロブロックとを抽出する（ステップＳ６０２）。
【００６７】
つぎに、注目マクロブロックの動きベクトルと、周囲マクロブロックの動きベクトルとに基づいて、注目マクロブロックにテロップが含まれている可能性を示す第１評価値を算出する（ステップＳ６０３）。このあと、フレーム間予測符号化画像のあとに入力されてくる、フレーム内予測符号化画像を取得する（ステップＳ６０４）。そして、この取得されたフレーム内予測符号化画像からブロックを抽出する（ステップＳ６０５）。
【００６８】
つぎに、重み付け行列を用いて、ステップＳ６０５で抽出されたブロックのＤＣＴ係数に重み付けすることにより、当該ブロックにテロップが含まれている可能性を示す第２評価値を算出する（ステップＳ６０６）。そして、ステップＳ６０３で算出された第１評価値とステップＳ６０６で算出された第２評価値とに基づいて、テロップを含むテロップ領域を検出する（ステップＳ６０７）。
【００６９】
このあと、マクロブロック抽出部５０２によって抽出された注目マクロブロックの動きベクトルと、マクロブロック抽出部５０２によって抽出された周囲マクロブロックの動きベクトルとに基づいて、検出部５０７によって検出されたテロップ領域内のテロップが、静止テロップかロールテロップかを判別する（ステップＳ６０８）。そして、その判別結果を出力する（ステップＳ６０９）。
【００７０】
この実施の形態２によれば、動きベクトル差分を用いているため、静止テロップとロールテロップを区別することなく検出することができる。また、判別部５１０により、テロップの種類を区別することなく検出されたテロップ領域内のテロップについて、静止テロップかロールテロップかを判別することができる。
【実施例１】
【００７１】
つぎに、テロップ検出装置の実施例１について説明する。この実施例１にかかるテロップ検出装置は、上述した実施の形態１にかかるテロップ検出装置の一実施例である。
【００７２】
（テロップ検出装置のハードウェア構成）
まず、実施例１にかかるテロップ検出装置のハードウェア構成について説明する。図７は、実施例１にかかるテロップ検出装置のハードウェア構成を示すブロック図である。図７において、テロップ検出装置は、ＣＰＵ７０１と、ＲＯＭ７０２と、ＲＡＭ７０３と、ＨＤＤ（ハードディスクドライブ）７０４と、ＨＤ（ハードディスク）７０５と、ＣＤ／ＤＶＤドライブ７０６と、着脱可能な記録媒体の一例としてのＣＤ／ＤＶＤ７０７と、映像／音声Ｉ／Ｆ（インターフェース）７０８と、ディスプレイ７０９と、スピーカ７１０と、入力Ｉ／Ｆ（インターフェース）７１１と、リモコン７１２と、入力キー（キーボードやマウスも含む）７１３と、通信Ｉ／Ｆ（インターフェース）７１４と、を備えている。また、各構成部７０１〜７１４はバス７００によってそれぞれ接続されている。
【００７３】
ここで、ＣＰＵ７０１は、テロップ検出装置の全体の制御を司る。ＲＯＭ７０２は、ブートプログラムなどのプログラムを記憶している。ＲＡＭ７０３は、ＣＰＵ７０１のワークエリアとして使用される。ＨＤＤ７０４は、ＣＰＵ７０１の制御にしたがってＨＤ７０５に対するデータのリード／ライトを制御する。ＨＤ７０５は、ＨＤＤ７０４の制御で書き込まれたデータを記憶する。
【００７４】
ＣＤ／ＤＶＤドライブ７０６は、ＣＰＵ７０１の制御にしたがってＣＤ／ＤＶＤ７０７に対するデータのリード／ライトを制御する。ＣＤ／ＤＶＤ７０７は、ＣＤ／ＤＶＤドライブ７０６の制御にしたがって記録されたデータの読み出される着脱自在な記録媒体である。ＣＤ／ＤＶＤ７０７として、書き込み可能な記録媒体を利用することもできる。また、この着脱可能な記録媒体として、ＣＤ／ＤＶＤ７０７のほか、ＣＤ−ＲＯＭ（ＣＤ−Ｒ、ＣＤ−ＲＷ）、ＭＯ、メモリーカードなどであってもよい。
【００７５】
また、映像／音声Ｉ／Ｆ７０８は、映像表示用のディスプレイ７０９と音声出力用のスピーカ７１０に接続される。ディスプレイ７０９には、カーソル、アイコン、メニュー、ウィンドウ、あるいはツールボックスをはじめ、文字や映像等の各種データが表示される。このディスプレイ７０９は、たとえば、ＣＲＴ、ＴＦＴ液晶ディスプレイ、プラズマディスプレイなどを採用することができる。スピーカ７１０からは、音声が出力される。
【００７６】
また、入力Ｉ／Ｆ７１１は、文字、数値、各種指示等の入力のための複数のキーを備えたリモコン７１２や入力キー７１３から送信されてくるデータを入力する。入力キー７１３は、文字、数字、各種指示などの入力のためのキーを備え、ユーザの操作によりデータの入力をおこなう。
【００７７】
また、通信Ｉ／Ｆ７１４は、無線、あるいは通信回線を通じてネットワーク７２０に接続され、ネットワーク７２０を介して他の装置に接続される。ネットワーク７２０には、インターネットのほか、ＬＡＮ、ＷＡＮ、公衆回線網、携帯電話網、または、テレビ放送局などのテレビ放送網がある。この通信Ｉ／Ｆ７１４は、ネットワーク７２０とＣＰＵ７０１とのインターフェースを司り、外部装置からのデータの送受信を制御する。また、通信Ｉ／Ｆ７１４は、チューナーを備えており、テレビ放送局を選局して映像コンテンツを受信することができる。
【００７８】
（テロップ検出装置の機能的構成）
つぎに、実施例１にかかるテロップ検出装置の機能的構成について説明する。図８は、実施例１にかかるテロップ検出装置の機能的構成を示すブロック図である。図８において、テロップ検出装置８００は、ＭＰＥＧ入力ソース８０１と、パラメータ取得部８０２と、スイッチ８０３と、ＤＣＴ係数評価部８０４と、結果出力部８０５とを備えている。
【００７９】
ＭＰＥＧ入力ソース８０１は、ＭＰＥＧストリームを取得するためのメディアである。ＭＰＥＧストリームは、たとえば、映像コンテンツなど、ＭＰＥＧ圧縮符号化形式によって圧縮された動画像に関する一連のフレームによって構成されている。
【００８０】
一連のフレームには、フレーム内予測符号化されたフレーム（以下、「フレーム内予測符号化画像」という。）と、フレーム間予測符号化されたフレーム（以下、「フレーム間予測符号化画像」という。）が含まれている。また、各フレームは、複数のマクロブロックによって構成されており、マクロブロックごとに圧縮符号化されている。
【００８１】
また、ＭＰＥＧ入力ソース８０１は、図７に示したＨＤ７０５、ＣＤ／ＤＶＤ７０７などの光ディスクや、フラッシュメモリなど、あらかじめデータを蓄えるストレージデバイス８１１、ＩＰやＩＥＥＥ１３９４などのネットワーク７２０、放送の受信装置８１２など、ＭＰＥＧストリームを取得できるいずれかのメディアであればよい。
【００８２】
パラメータ取得部８０２は、ＭＰＥＧ入力ソース８０１から入力されたＭＰＥＧストリームの解釈をおこない、ＭＰＥＧストリームからフレーム内予測符号化画像を抽出して、テロップ検出に必要なパラメータを取得する。
【００８３】
ここで、パラメータとは、抽出されたフレームの画像タイプ情報や、各ブロックのＤＣＴ係数である。また、フレームの画像タイプ情報とは、抽出されたフレームが、フレーム内予測符号化画像であるか、フレーム間予測符号化画像であるかをあらわす情報であり、各フレームのヘッダに付与されている。
【００８４】
このパラメータ取得部８０２は、図１に示したフレーム内予測符号化画像取得部１０１に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、または、通信Ｉ／Ｆ７１４によって、その機能を実現する。
【００８５】
スイッチ８０３は、パラメータ取得部８０２で取得されたフレームがフレーム内予測符号化である場合は、ＯＮにして、フレーム内予測符号化画像内のブロックが有するＤＣＴ係数を、ＤＣＴ係数評価部８０４に出力する。一方、フレーム間予測符号化である場合は、ＯＦＦにして、ＤＣＴ係数評価部８０４との接続を解除する。具体的には、スイッチ８０３は、各フレームのヘッダに付与されている画像タイプ情報を参照することによって、ＯＮ／ＯＦＦ切り替えをおこなう。
【００８６】
このスイッチ８０３は、図１に示したフレーム内予測符号化画像取得部１０１および第１抽出部１０２に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【００８７】
また、ＤＣＴ係数評価部８０４は、スイッチ８０３を介して取得されたフレーム内の各ブロックのＤＣＴ係数からテロップらしさを評価し、テロップ領域を判定して出力する。具体的には、各ブロックのＤＣＴ係数を、重み付け行列Ｗを用いて重み付けして、評価値を算出する。
【００８８】
すなわち、各ブロックを構成するＭ×ＮのＤＣＴ係数を行列Ｃとし、その各要素をＣｉｊ（１≦ｉ，ｊ≦８）とする。Ｃｉｊは、行列Ｃのｉ行ｊ列目のＤＣＴ係数である。また、重み付け行列Ｗもブロックに対応する８×８の行列であり、各要素をＷｉｊ（１≦ｉ，ｊ≦８）とする。Ｗｉｊは、重み付け行列Ｗのｉ行ｊ列目の重み付けパラメータである。
【００８９】
そして、下記式（１）のように、ＤＣＴ係数Ｃｉｊの絶対値｜Ｃｉｊ｜に、重み付け行列Ｗの重み付けパラメータＷｉｊを掛けて重み付けをした上で、合計値を計算する。この合計値が評価値ｖとなる。この評価値ｖは、上述した実施の形態１の第１評価値に対応する。
【００９０】
【数１】
0004700002.tif 000002
【００９１】
ここで、重み付け行列Ｗについて具体的に説明する。重み付け行列Ｗとは、上述したように、ブロック内における任意の周波数帯域のＤＣＴ係数に対し、周波数帯域より周波数が高い他の周波数帯域のＤＣＴ係数に重み付けする値が大きくなる行列である。すなわち、ブロック内におけるＡＣ成分のＤＣＴ係数のうち、高周波成分のＤＣＴ係数ほど重み付けパラメータが高くなるような行列である。ここで重み付け行列Ｗの一例を挙げる。
【００９２】
【数２】
0004700002.tif 000003
【００９３】
この式（２）の重み付け行列Ｗの各重み付けパラメータＷｉｊは、ブロックのＤＣＴ係数Ｃｉｊに対応している。すなわち、ＤＣ成分のＤＣＴ係数Ｃ１１に対応する重み付けパラメータＷ１１は、「０」となっている。また、ＡＣ成分のＤＣＴ係数Ｃｉｊ（ｉ，ｊ≠１）に対応する重み付けパラメータＷｉｊ（ｉ，ｊ≠１）は、ＡＣ成分の周波数の低い順に、「１」、「２」、「４」、「８」となっている。
【００９４】
この式（２）の重み付け行列Ｗは一例であり、重み付けに用いる行列を限定するわけではないが、高周波成分に大きな値を出現させて評価するために、ＤＣＴ高周波成分のＤＣＴ係数Ｃｉｊ（ｉ，ｊ≠１）ほど重み付けパラメータＷｉｊを大きくした行列にする。他の重み付け行列Ｗとしては、たとえば下記式（３）のような行列が考えられる。
【００９５】
【数３】
0004700002.tif 000004
【００９６】
そして、ＤＣＴ係数評価部８０４では、算出された評価値ｖが所定のしきい値Ｖｔｈ以上であるかどうかを判定する。そして、この判定結果に基づいて、ブロックがテロップを含むテロップ領域であるかどうか決定する。これにより、テロップ領域を検出することができる。このテロップ領域検出結果は、当該テロップ領域検出結果を利用する他の装置やプログラムへの入力、メモリやストレージへの保存、ネットワーク経由での送信、画面などユーザインターフェースへ出力される。
【００９７】
このＤＣＴ係数評価部８０４は、図１に示した算出部１０３および検出部１０４に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【００９８】
結果出力部８０５は、テロップ検出評価結果を、フレーム内予測符号化画像を処理する毎に、１フレーム分のブロック単位の２値の行列の形で出力する。たとえば、画像解像度が７２０×４８０画素であった場合、ブロックは８ドット×８ドットであるので、サイズが９０×６０の行列を出力する。その行列のそれぞれの値は、たとえばＤＣＴ係数評価でテロップ領域と判定した場合に「１」、非テロップ領域とした場合に「０」とする。なお、色差情報を利用した場合は、１６ドット×１６ドットの色差信号ブロック単位で出力することとしてもよい。
【００９９】
この結果出力部８０５は、図１に示した検出部１０４に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、または通信Ｉ／Ｆ７１４によって、その機能を実現する。
【０１００】
（テロップ検出処理手順）
つぎに、この実施例１にかかるテロップ検出処理手順について説明する。図９は、実施例１にかかるテロップ検出処理手順を示すフローチャートである。図９において、ＭＰＥＧストリームが入力された場合（ステップＳ９０１：Ｙｅｓ）、ＭＰＥＧストリームから、先頭のフレームを取得する（ステップＳ９０２）。
【０１０１】
そして取得されたフレームの画像タイプ情報から、取得されたフレームの画像タイプを識別する（ステップＳ９０３）。この場合、取得されたフレームの画像タイプが、フレーム間予測符号化の場合（ステップＳ９０３：Ｎｏ）、スイッチ８０３をＯＦＦにしてステップＳ９０６に移行する。
【０１０２】
一方、取得されたフレームの画像タイプが、フレーム内予測符号化の場合（ステップＳ９０３：Ｙｅｓ）、スイッチ８０３をＯＮにしてＤＣＴ係数評価処理をおこなう（ステップＳ９０４）。このあと、ＤＣＴ係数評価処理の評価結果を出力する（ステップＳ９０５）。
【０１０３】
そして、すべてのフレームを取得していない場合（ステップＳ９０６：Ｎｏ）、ステップＳ９０２に移行して、つぎのフレームを取得する。一方、すべてのフレームを取得した場合（ステップＳ９０６：Ｙｅｓ）、一連の処理を終了する。
【０１０４】
つぎに、ステップＳ９０４のＤＣＴ係数評価処理手順について具体的に説明する。図１０は、ＤＣＴ係数評価処理手順を示すフローチャートである。図１０において、取得されたフレームをスキャンして、ブロック数をＮ、ブロック番号ｋをｋ＝１とする（ステップＳ１００１）。そして、評価値ｖを初期化（ｖ＝０）とし（ステップＳ１００２）、ブロックＢｋを抽出する（ステップＳ１００３）。
【０１０５】
つぎに、上記式（１）を用いて、抽出されたブロックＢｋの各ＤＣＴ係数Ｃｉｊの絶対値｜Ｃｉｊ｜に、当該ＤＣＴ係数Ｃｉｊと同一位置の重み付けパラメータＷｉｊを乗じて、評価値ｖを算出する（ステップＳ１００４）。そして、評価値ｖがしきい値Ｖｔｈ以上であるかどうかを判定する（ステップＳ１００５）。
【０１０６】
評価値ｖがしきい値Ｖｔｈ以上である場合（ステップＳ１００５：Ｙｅｓ）、ブロックＢｋをテロップを含むテロップ領域に決定する（ステップＳ１００６）。一方、評価値ｖがしきい値Ｖｔｈ以上でない場合（ステップＳ１００５：Ｎｏ）、ブロックＢｋをテロップを含まない非テロップ領域に決定する（ステップＳ１００７）。
【０１０７】
このあと、ｋ＝Ｎでない場合（ステップＳ１００８：Ｎｏ）、ｋをインクリメントして（ステップＳ１００９）、ステップＳ１００２に移行する。一方、ｋ＝Ｎの場合（ステップＳ１００８：Ｙｅｓ）、ＤＣＴ係数評価処理を終了する。
【０１０８】
つぎに、上述したテロップ検出処理を模式化して説明する。図１１は、テロップ検出処理の模式図である。図１１において、図９に対応する処理には、図９に示したステップ番号を付している。
【０１０９】
図１１において、ＭＰＥＧストリーム１１００は、ＭＰＥＧ圧縮符号化形式によって圧縮された動画像に関する一連のフレームであり、フレーム内予測符号化画像１１０１、１１０３と、フレーム間予測符号化画像１１０２によって構成されている。ＭＰＥＧストリーム１１００は、図８に示したＭＰＥＧ入力ソース８０１から入力されてくる。
【０１１０】
ここで、フレーム内予測符号化画像１１０１の復元画像１１１１にテロップ１１２１（『あいうえお』）が含まれているとすると、ＭＰＥＧストリーム１１００から取得されたフレーム１１０１のブロックＢｋのうち、テロップ１１２１の出現位置に対応したブロックＢｋ（図中、斜線で示したブロック）の評価値ｖがしきい値Ｖｔｈ以上となり、フレーム１１０１からテロップ領域１１３１を検出することができる。
【０１１１】
一方、フレーム１１０３の復元画像１１１１にはテロップが含まれていないとすると、ＭＰＥＧストリーム１１００から取得されたフレーム内予測符号化画像１１０３のブロックＢｋの評価値ｖはすべてしきい値Ｖｔｈ以上とならず、フレーム内予測符号化画像１１０３からテロップ領域が検出されない。
【０１１２】
このように、上述した実施例１によれば、フレーム内予測符号化画像が出現した時点で、そのフレームのブロックのＤＣＴ係数のみを用いて、テロップ領域を検出することができる。換言すれば、フレーム間予測符号化画像を用いずに、テロップの特徴であるエッジが、周波数帯域の特徴として（ＡＣ成分のＤＣＴ係数のうち高周波成分に）あらわれることを利用している。
【０１１３】
したがって、より高精度にテロップ領域と非テロップ領域とを分離することができ、テロップ検出精度の向上を図ることができ、テロップ以外の被写体の静止領域を、誤ってテロップ領域として検出することを防止することができる。
【０１１４】
また、実施例１によれば、テロップの出現ではなくテロップが表示されていることを検出するため、テロップが表示されている限りテロップを追跡することが可能であり、検出精度の向上を図ることができる。したがって、テロップを検出するタイミングがテロップ出現時に限定されず、フェードインや文字の順次出現など特殊な出現の仕方をするテロップ、シーンチェンジと同時に出現するテロップ、あるいは小さいテロップなども容易に検出することができる。
【０１１５】
さらに、実施例１によれば、ブロックのＡＣ成分のＤＣＴ係数のうち高周波成分に重みを付けることによって急峻なエッジを検出するため、より高精度にテロップ領域を検出することが可能である。したがって、テロップが含まれていない、輝度や色差の変化が多い非テロップ領域と、テロップが存在するテロップ領域とを容易に区別して、テロップ領域を容易に検出することができる。
【０１１６】
なお、上述した実施例１において、ＤＣＴ係数の評価処理は、上述した方法に限ったものではない。たとえば、ブロックＢｋの周波数帯ごとに、ＤＣＴ係数Ｃｉｊの絶対値｜Ｃｉｊ｜を重み付けパラメータＷｉｊによって重み付けした値｜Ｃｉｊ｜Ｗｉｊの最大値ＭＡＸ｛｜Ｃｉｊ｜Ｗｉｊ｝を代表値として抽出し、抽出された周波数帯ごとの代表値ＭＡＸ｛｜Ｃｉｊ｜Ｗｉｊ｝を合計することによって評価値ｖを算出することとしてもよい。
【０１１７】
具体的には、たとえば、下記式（４）で示すような重み付け行列Ｗを用意し、この重み付け行列Ｗにおいて、重み付けパラメータＷｉｊの値が同じ位置の重み付けパラメータＷｉｊをそれぞれ一つの周波数帯域とし、この周波数帯域に対応するようにブロックＢｋのＤＣＴ係数を分割する。
【０１１８】
【数４】
0004700002.tif 000005
【０１１９】
そして、ブロックＢｋ内の各々の周波数帯域において、ＤＣＴ係数Ｃｉｊの絶対値ＭＡＸ｛｜Ｃｉｊ｜｝の最大値に、上記式（４）の重み付け行列Ｗの同一周波数帯域の重み付けパラメータＷｉｊを掛けた値ＭＡＸ｛｜Ｃｉｊ｜Ｗｉｊ｝をその周波数帯域の代表値とする。そして、すべての周波数帯域の代表値を合計したものを、そのブロックＢｋのテロップらしさをあらわす評価値ｖとする。この評価手法によっても上述した効果と同様の効果を得ることができる。
【実施例２】
【０１２０】
つぎに、実施例２にかかるテロップ検出装置について説明する。この実施例２にかかるテロップ検出装置は、上述した実施の形態１にかかるテロップ検出装置１００の一実施例である。実施例２にかかるテロップ検出装置は、連続するフレーム間の同一位置におけるテロップの切れ目を検出することができるテロップ検出装置である。なお、この実施例２にかかるテロップ検出装置のハードウェア構成は、図７に示した実施例１にかかるテロップ検出装置８００のハードウェア構成と同一であるため、その説明を省略する。
【０１２１】
（テロップ検出装置の機能的構成）
まず、実施例２にかかるテロップ検出装置の機能的構成について説明する。図１２は、実施例２にかかるテロップ検出装置の機能的構成を示すブロック図である。なお、図８に示した実施例１の構成と同一構成には同一符号を付し、その説明を省略する。
【０１２２】
図１２において、テロップ検出装置１２００は、ＭＰＥＧ入力ソース８０１と、結果出力部８０５と、パラメータ取得部１２０１と、スイッチ１２０２と、テロップ領域候補判定部１２０３と、差分画像ＤＣＴ係数処理部１２０４と、メモリ１２０５と、テロップ領域判定部１２０６と、を備えている。
【０１２３】
パラメータ取得部１２０１は、ＭＰＥＧ入力ソース８０１から入力されたＭＰＥＧストリームの解釈をおこない、ＭＰＥＧストリームから、フレーム内予測符号化画像およびフレーム間予測符号化画像を抽出して、テロップ検出に必要なパラメータを取得する。ここで、パラメータとは、実施例１と同様、抽出されたフレームの画像タイプ情報や、各ブロックのＤＣＴ係数である。また、フレームの画像タイプ情報とは、抽出されたフレームが、フレーム内予測符号化画像であるか、フレーム間予測符号化画像であるかをあらわす情報であり、各フレームのヘッダに付与されている。
【０１２４】
このパラメータ取得部１２０１は、図１に示したフレーム内予測符号化画像取得部１０１およびフレーム間予測符号化画像取得部１０７に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、または、通信Ｉ／Ｆ７１４によって、その機能を実現する。
【０１２５】
スイッチ１２０２は、パラメータ取得部１２０１で取得されたフレームの画像タイプが、フレーム内予測符号化である場合は、テロップ領域候補判定部１２０３に接続して、フレーム内予測符号化画像のＤＣＴ係数を出力する。一方、パラメータ取得部１２０１で取得されたフレームの画像タイプが、フレーム間予測符号化である場合は、差分画像ＤＣＴ係数処理部１２０４に接続して、フレーム間予測符号化画像、すなわち、差分画像のＤＣＴ係数を出力する。
【０１２６】
このスイッチ１２０２は、図１に示したフレーム内予測符号化画像取得部１０１、第１抽出部１０２、フレーム間予測符号化画像取得部１０７および第２抽出部１０８に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【０１２７】
テロップ領域候補判定部１２０３は、フレーム内予測符号化画像内のブロックのＤＣＴ係数から、当該ブロックがテロップ領域候補であるかどうかを判定する。具体的には、上述した重み付け行列Ｗを用いて評価値ｖ１を算出する。すなわち、下記式（５）により、重み付け行列Ｗの重み付けパラメータＷｉｊを、ＤＣＴ係数Ｃｉｊに乗じて評価値ｖ１を算出する。
【０１２８】
【数５】
0004700002.tif 000006
【０１２９】
そして、この評価値ｖ１が所定のしきい値Ｖ１ｔｈ以上であるかどうかを判定する。しきい値Ｖ１ｔｈ以上である場合、このブロックをテロップ領域候補とし、しきい値Ｖ１ｔｈ以上でない場合、非テロップ領域とする。そして、テロップ領域候補となったブロックのＤＣＴ係数Ｃｉｊをメモリに出力し、保持ＤＣＴ係数Ｄｉｊとして保持する。
【０１３０】
このテロップ領域候補判定部１２０３は、図１に示した算出部１０３および検出部１０４に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【０１３１】
差分画像ＤＣＴ係数処理部１２０４は、フレーム間予測符号化画像（差分画像）内のブロックのＤＣＴ係数Ｃｉｊを抽出して、メモリ１２０５に記憶された、前のフレーム内予測符号化画像内のブロックの保持ＤＣＴ係数Ｄｉｊを更新する。
【０１３２】
具体的には、メモリ１２０５に記憶された、前のフレーム内予測符号化画像のブロックの位置と、フレーム間予測符号化画像（差分画像）内のブロックの位置が同一位置である場合、保持ＤＣＴ係数Ｄｉｊからフレーム間予測符号化画像（差分画像）内のブロックのＤＣＴ係数Ｃｉｊの絶対値｜Ｃｉｊ｜を減算し、減算結果をあらたな保持ＤＣＴ係数Ｄｉｊとしてメモリに再保持する。
【０１３３】
この差分画像ＤＣＴ係数処理部１２０４は、図１に示した更新部１０９に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【０１３４】
メモリ１２０５は、保持ＤＣＴ係数Ｄｉｊを記憶する。このメモリ１２０５は、図１に示した更新部１０９に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体によって、その機能を実現する。
【０１３５】
テロップ領域判定部１２０６は、直前に入力されたフレーム内予測符号化画像と、その後に入力されたフレーム間予測符号化画像との処理によってメモリに蓄積された保持ＤＣＴ係数Ｄｉｊからテロップ領域を判定し、出力する。
【０１３６】
具体的には、下記式（６）により、重み付け行列Ｗの重み付けパラメータＷｉｊを、保持ＤＣＴ係数Ｄｉｊに乗じてＤｉｊ・Ｗｉｊを算出し、各Ｄｉｊ・Ｗｉｊを合計して評価値ｖ２を算出する。ただし、差分画像でのＤＣＴ係数Ｃｉｊの発生量によっては、更新された保持ＤＣＴ係数Ｄｉｊが負の数になっている場合もあるので、その場合はＤｉｊ・Ｗｉｊの値を「０」と見なす。
【０１３７】
【数６】
0004700002.tif 000007
【０１３８】
そして、この評価値ｖ２が所定のしきい値Ｖ２ｔｈ以上であるかどうかを判定する。しきい値Ｖ２ｔｈ以上である場合、このブロックをテロップ領域とし、しきい値Ｖ２ｔｈ以上でない場合、非テロップ領域とする。
【０１３９】
このテロップ領域判定部１２０６は、図１に示した算出部１０３および検出部１０４に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体によって、その機能を実現する。
【０１４０】
（テロップ検出処理手順）
つぎに、この実施例２にかかるテロップ検出処理手順について説明する。図１３は、実施例２にかかるテロップ検出処理手順を示すフローチャートである。まず、ＭＰＥＧストリームが入力された場合（ステップＳ１３０１：Ｙｅｓ）、ＭＰＥＧストリームから、先頭のフレームを取得する（ステップＳ１３０２）。
【０１４１】
そして、取得されたフレームの画像タイプ情報から、取得されたフレームの画像タイプを識別する（ステップＳ１３０３）。この場合、取得されたフレームの画像タイプが、フレーム間予測符号化の場合（ステップＳ１３０３：Ｎｏ）、すべてのフレームが取得されていれば（ステップＳ１３０４：Ｙｅｓ）、一連の処理を終了する。一方、すべてのフレームが取得されていなければ（ステップＳ１３０４：Ｎｏ）、ステップＳ１３０２に移行する。
【０１４２】
また、ステップＳ１３０３において、ステップＳ１３０２で取得されたフレームの画像タイプが、フレーム内予測符号化の場合（ステップＳ１３０３：Ｙｅｓ）、テロップ領域候補判定処理をおこなう（ステップＳ１３０５）。そして、すべてのフレームが取得されていれば（ステップＳ１３０６：Ｙｅｓ）、一連の処理を終了する。
【０１４３】
一方、すべてのフレームが取得されていなければ（ステップＳ１３０６：Ｎｏ）、次のフレームを取得する（ステップＳ１３０７）。そして、ステップＳ１３０７で取得されたフレームの画像タイプがフレーム間予測符号化の場合（ステップＳ１３０８：Ｙｅｓ）、差分画像ＤＣＴ係数処理をおこなう（ステップＳ１３０９）。差分画像ＤＣＴ係数処理をおこなったあとは、ステップＳ１３０６に移行する。
【０１４４】
一方、ステップＳ１３０７で取得されたフレームの画像タイプがフレーム内予測符号化の場合（ステップＳ１３０８：Ｎｏ）、テロップ領域判定処理をおこなう（ステップＳ１３１０）。そして、ステップＳ１３０７で取得されたフレームについてのテロップ検出結果を出力し（ステップＳ１３１１）、ステップＳ１３０６に移行する。
【０１４５】
つぎに、図１３に示したステップＳ１３０５のテロップ領域候補判定処理手順について具体的に説明する。図１４は、テロップ領域候補判定処理手順を示すフローチャートである。図１４において、取得されたフレームをスキャンして、ブロック数をＮ、ブロック番号ｋをｋ＝１とする（ステップＳ１４０１）。そして、評価値ｖ１を初期化（ｖ１＝０）とし（ステップＳ１４０２）、ブロックＢｋを抽出する（ステップＳ１４０３）。
【０１４６】
つぎに、上記式（５）を用いて、抽出されたブロックＢｋの各ＤＣＴ係数Ｃｉｊの絶対値｜Ｃｉｊ｜に、当該ＤＣＴ係数Ｃｉｊと同一位置の重み付けパラメータＷｉｊを乗じて、評価値ｖ１を算出する（ステップＳ１４０４）。そして、評価値ｖ１がしきい値Ｖ１ｔｈ以上であるかどうかを判定する（ステップＳ１４０５）。
【０１４７】
そして、評価値ｖ１がしきい値Ｖ１ｔｈ以上である場合（ステップＳ１４０５：Ｙｅｓ）、ブロックＢｋをテロップ領域候補に決定する（ステップＳ１４０６）。そして、そのブロックＢｋのＤＣＴ係数Ｃｉｊをメモリ１２０５に保持して保持ＤＣＴ係数Ｄｉｊとする（ステップＳ１４０７）。このあと、ステップＳ１４０９に移行する。
【０１４８】
一方、ステップＳ１４０５において、評価値ｖ１がしきい値Ｖ１ｔｈ以上でない場合（ステップＳ１４０５：Ｎｏ）、ブロックＢｋを非テロップ領域候補に決定する（ステップＳ１４０８）。そして、ｋ＝Ｎでない場合（ステップＳ１４０９：Ｎｏ）、ｋをインクリメントして（ステップＳ１４１０）、ステップＳ１４０２に移行する。一方、ｋ＝Ｎの場合（ステップＳ１４０９：Ｙｅｓ）、テロップ領域候補判定処理を終了する。
【０１４９】
つぎに、図１３に示したステップＳ１３０９の差分画像ＤＣＴ係数処理手順について説明する。図１５は、差分画像ＤＣＴ係数処理手順を示すフローチャートである。図１５において、取得されたフレームをスキャンして、ブロック数をＮ、ブロック番号ｋをｋ＝１とする（ステップＳ１５０１）。そして、ブロックＢｋを抽出する（ステップＳ１５０２）。
【０１５０】
つぎに、ブロックＢｋのフレーム上の位置が、テロップ領域候補に決定されたブロックＢｍ（ブロック番号：ｍ＝１、２、・・・）のフレーム上の位置と同一位置であるかどうかを判定する（ステップＳ１５０３）。この判定は、たとえば、ブロックＢｋのブロック番号ｋとブロックＢｍのブロック番号ｍとが一致するかどうかによって判定することができる。
【０１５１】
そして、同一位置でない場合（ステップＳ１５０３：Ｎｏ）、ステップＳ１５０５に移行する。一方、同一位置である場合（ステップＳ１５０３：Ｙｅｓ）、ブロックＢｋのＤＣＴ係数Ｃｉｊの絶対値｜Ｃｉｊ｜を用いて、メモリに保持されている保持ＤＣＴ係数Ｄｉｊを減算し、保持ＤＣＴ係数Ｄｉｊを更新する（ステップＳ１５０４）。
【０１５２】
そして、ｋ＝Ｎでない場合（ステップＳ１５０５：Ｎｏ）、ｋをインクリメントして（ステップＳ１５０６）、ステップＳ１５０２に移行する。一方、ｋ＝Ｎの場合（ステップＳ１５０５：Ｙｅｓ）、差分画像ＤＣＴ係数処理を終了する。
【０１５３】
つぎに、図１３に示したステップＳ１３１０のテロップ領域判定処理手順について説明する。図１６は、テロップ領域判定処理手順を示すフローチャートである。図１６において、取得されたフレームをスキャンして、ブロック数をＮ、ブロック番号ｋをｋ＝１とする（ステップＳ１６０１）。そして、評価値ｖ２を初期化（ｖ２＝０）し（ステップＳ１６０２）、ブロックＢｋを抽出する（ステップＳ１６０３）。
【０１５４】
つぎに、ブロックＢｋのフレーム上の位置が、テロップ領域候補に決定されたブロックＢｍ（ブロック番号：ｍ＝１，２、・・・）のフレーム上の位置と同一位置であるかどうかを判定する（ステップＳ１６０４）。この判定は、たとえば、ブロックＢｋのブロック番号ｋとブロックＢｍのブロック番号ｍとが一致するかどうかによって判定することができる。
【０１５５】
そして、同一位置でない場合（ステップＳ１６０４：Ｎｏ）、ステップＳ１６０９に移行する。一方、同一位置である場合（ステップＳ１６０４：Ｙｅｓ）、上述した式（６）により、保持ＤＣＴ係数Ｄｉｊと重み付け行列Ｗ（の重み付けパラメータＤｉｊ）とを用いて、評価値ｖ２を算出する（ステップＳ１６０５）。
【０１５６】
そして、算出された評価値ｖ２がしきい値Ｖ２ｔｈ以上であるかどうかを判定する（ステップＳ１６０６）。評価値ｖ２がしきい値Ｖ２ｔｈ以上である場合（ステップＳ１６０６：Ｙｅｓ）、現在のフレーム内予測符号化画像のテロップ領域を、直前のフレーム内予測符号化画像と同一のテロップ領域に決定する（ステップＳ１６０７）。すなわち、直前のフレーム内予測符号化画像が出現してから、現在のフレーム内予測符号化画像までのフレームにおいて、同一のテロップが同一位置に出現していることを検出することができる。
【０１５７】
一方、評価値ｖ２がしきい値Ｖ２ｔｈ以上でない場合（ステップＳ１６０６：Ｎｏ）、現在のフレーム内予測符号化画像のテロップ領域を、直前のフレーム内予測符号化画像のテロップ領域とは異なる領域に決定する（ステップＳ１６０８）。すなわち、直前のフレーム内予測符号化画像が出現してから、入力された一連のフレーム間予測符号化画像において、同一位置でテロップが切り替わったことを検出することができる。
【０１５８】
そして、ｋ＝Ｎでない場合（ステップＳ１６０９：Ｎｏ）、ｋをインクリメントして（ステップＳ１６１０）、ステップＳ１６０２に移行する。一方、ｋ＝Ｎの場合（ステップＳ１６０９：Ｙｅｓ）、テロップ領域判定処理を終了する。
【０１５９】
つぎに、上述した実施例２のテロップ検出処理を模式化して説明する。図１７は、実施例２のテロップ検出処理の模式図である。図１７において、図１３〜図１６に対応する処理には、図１３〜図１６に示したステップ番号を付している。
【０１６０】
図１７において、ＭＰＥＧストリーム１７００は、ＭＰＥＧ圧縮符号化形式によって圧縮された動画像に関する一連のフレームであり、フレーム内予測符号化画像１７０１、１７０４と、一連のフレーム間予測符号化画像１７０２を含んでいる。ＭＰＥＧストリーム１７００は、図１２に示したＭＰＥＧ入力ソース８０１から入力されてくる。
【０１６１】
ここで、フレーム内予測符号化画像１７０１の復元画像１７１１にテロップ１７２１（『あいうえお』）が含まれているとすると、ＭＰＥＧストリーム１７００から取得されたフレーム内予測符号化画像１７０１のブロックＢｋのうち、テロップ１７２１の出現位置に対応したブロックＢｋ（図中、斜線で示したブロック）の評価値ｖ１がしきい値Ｖ１ｔｈ以上となり、フレーム内予測符号化画像１７０１からテロップ領域候補１７３１を検出することができる。
【０１６２】
また、一連のフレーム間予測符号化画像１７０２内のフレーム間予測符号化画像１７０３において、このフレーム間予測符号化画像１７０３の復元画像１７１３にテロップ１７２３（『かきくけこ』）が含まれているとすると、フレーム間予測符号化画像１７０３のブロックＢｋのうち、テロップ１７２３の出現位置に対応したブロックＢｋ（図中、斜線で示したブロック）のＤＣＴ係数Ｃｉｊによって、フレーム内予測符号化画像１７０１から得られた保持ＤＣＴ係数Ｄｉｊが減算されて更新される（ステップＳ１５０４）。
【０１６３】
したがって、直前のフレーム内予測符号化画像１７０１が出現してから、あらたにフレーム内予測符号化画像１７０４が入力されるまでの、一連のフレーム間予測符号化画像１７０２において、直前のフレーム内予測符号化画像１７０１のテロップ領域候補１７３１の判定要因となったエッジが打ち消されたことを意味する。
【０１６４】
これにより、あらたに出現したフレーム内予測符号化画像１７０４において、直前のフレーム内予測符号化画像１７０１のテロップ領域候補１７３１は検出されず、テロップの切れ目を検出することができる。
【０１６５】
一方、フレーム間予測符号化画像１７０３の復元画像１７１３に、フレーム内予測符号化画像１７０１と同一のテロップ１７２１（『あいうえお』）が同一位置に存在しているとすると、フレーム間予測符号化画像１７０３のブロックＢｋのうち、テロップ１７２３の出現位置に対応したブロックＢｋ（図中、斜線で示したブロック）のＤＣＴ係数Ｃｉｊの値は、「０」あるいは微小な値となる。
【０１６６】
したがって、フレーム内予測符号化画像１７０１から得られた保持ＤＣＴ係数Ｄｉｊはほとんど減算されず、あらたなフレーム内予測符号化画像１７０４において、フレーム内予測符号化画像１７０１と同一のテロップ領域（候補）１７３１を検出することができる。
【０１６７】
このように、上述した実施例２によれば、フレーム内予測符号化画像によるＤＣＴ係数の評価判定の要因となった（主に高周波の）ＤＣＴ係数と同じ位置に、フレーム間予測符号化画像で大きな値のＤＣＴ係数が出現しているかどうかを検出することにより、空間領域における同一位置に、エッジが変化なく出現し続けているかを判定することができる。
【０１６８】
したがって、テロップ検出精度の向上を図ることができる。特に、同一位置に連続して他のテロップが表示される場合、文字が変化することによって変化したエッジの位置を検出することができる。
【０１６９】
また、上述した方法に限るわけではなく、たとえばテロップ領域判定で、保持ＤＣＴ係数Ｄｉｊを評価する方法に、実施例１で説明したような、周波数帯別の最高値の係数だけを合計する方法を利用してもよい。また、フレーム間予測符号化画像で出現するＤＣＴ係数Ｃｉｊを次々に減算していく代わりに、保持ＤＣＴ係数Ｄｉｊと比べて十分に大きなＤＣＴ係数Ｃｉｊが一度でも出現しているかどうかで判定することとしてもよい。
【実施例３】
【０１７０】
つぎに、実施例３にかかるテロップ検出装置について説明する。この実施例３にかかるテロップ検出装置は、上述した実施の形態２にかかるテロップ検出装置５００の一実施例である。なお、この実施例３にかかるテロップ検出装置のハードウェア構成は、図７に示した実施例１にかかるテロップ検出装置８００のハードウェア構成と同一であるため、その説明を省略する。
【０１７１】
実施例３にかかるテロップ検出装置は、ＤＣＴ係数の評価に加えて、動きベクトルの差分値を利用してテロップ検出をおこなうテロップ検出装置である。ここで、動きベクトルの差分について具体的に説明する。
【０１７２】
図１８は、動きベクトルの差分の一例を示す説明図である。図１８は、左側のフレーム（参照フレーム１８００）から右側のフレーム（予測フレーム１８１０）を予測している例である。参照フレーム１８００および予測フレーム１８１０には静止テロップ『あいうえお』が表示されている。ここで、予測フレーム１８１０の２つのマクロブロックに着目する。
【０１７３】
この２つのマクロブロック１８１１、１８１２は、縦に隣接しており、一方のマクロブロック１８１１を注目マクロブロックとし、他方のマクロブロック１８１２が周囲マクロブロックとする。この２つのマクロブロック１８１１、１８１２は、参照フレーム１８００のマクロブロック１８０１、１８０２と同一位置からの予測となる。
【０１７４】
そして、予測フレーム１８１０のマクロブロック１８１１、１８１２がともに含んでいる静止テロップ『あいうえお』の一部の形状は、同一位置における参照フレーム１８００のマクロブロック１８０１、１８０２内の静止テロップ『あいうえお』の一部の形状と同一であるため、参照フレーム１８００と予測フレーム１８１０との間で変化していない。
【０１７５】
そのため、予測フレーム１８１０の２つのマクロブロック１８１１、１８１２の動きベクトル１８２１、１８２２のベクトル長は同一（この例では、ともに「０」）である。このため、２つのマクロブロック１８１１、１８１２の動きベクトル１８２１、１８２２の差分も「０」となる。したがって、注目マクロブロック１８１１はテロップらしいことがわかる。
【０１７６】
また、図１９は、動きベクトルの差分の他の例を示す説明図である。図１９も、左側のフレーム（参照フレーム１９００）から右側のフレーム（予測フレーム１９１０）を予測している例である。図１９において、参照フレーム１９００および予測フレーム１９１０には、ともに被写体Ｐ１〜Ｐ４が表示されており、フレーム間で位置が変化することにより、不規則に動いているように表現される。ここで、予測フレーム１９１０のマクロブロックに着目する。
【０１７７】
この２つのマクロブロック１９１１、１９１２は、縦に隣接しており、一方のマクロブロック１９１１を注目マクロブロックとし、他方のマクロブロック１９１２が周囲マクロブロックとする。この２つのマクロブロック１９１１、１９１２は、参照フレーム１９００のマクロブロック１９０１、１９０２と異なる位置からの予測となる。
【０１７８】
すなわち、予測フレーム１９１０の注目マクロブロック１９１１内の画像は、参照フレーム１９００の被写体Ｐ３に追従して、参照フレーム１９００のマクロブロック１９０１の移動によって得られた画像であり、その移動量が動きベクトル１９２１として与えられる。同様に、予測フレーム１９１０の周囲マクロブロック１９１２内の画像は、参照フレーム１９００の被写体Ｐ４に追従して、参照フレーム１９００のマクロブロック１９０２の移動によって得られた画像であり、その移動量が、動きベクトル１９２１とは異なる動きベクトル１９２２として与えられる。
【０１７９】
したがって、予測フレーム１９１０の２つの隣接するマクロブロック１９１１、１９１２は、参照フレーム１９００の隣接していない２つのマクロブロック１９０１、１９０２から予測されているため、予測フレーム１９１０の２つの隣接するマクロブロック１９１１、１９１２の動きベクトル１９２１、１９２２どうしは、異なることとなる。このため、両動きベクトル１９２１、１９２２の差分は「０」にはならず、注目マクロブロック１９１１はテロップらしくないことがわかる。
【０１８０】
（テロップ検出装置の機能的構成）
つぎに、実施例３にかかるテロップ検出装置の機能的構成について説明する。図２０は、実施例３にかかるテロップ検出装置の機能的構成を示すブロック図である。なお、図８に示した実施例１の構成と同一構成には同一符号を付し、その説明を省略する。
【０１８１】
図２０において、テロップ検出装置２０００は、ＭＰＥＧ入力ソース８０１と、結果出力部８０５と、パラメータ取得部２００１と、スイッチ２００２と、動きベクトル評価処理部２００３と、メモリ２００４と、ＤＣＴ係数評価部２００５と、テロップ判別部２００６と、を備えている。
【０１８２】
パラメータ取得部２００１は、ＭＰＥＧ入力ソース８０１から入力されたＭＰＥＧストリームの解釈をおこない、ＭＰＥＧストリームから、フレーム内予測符号化画像およびフレーム間予測符号化画像を抽出して、テロップ検出に必要なパラメータを取得する。ここで、パラメータとは、実施例１と同様、抽出されたフレームの画像タイプ情報や、各ブロックのＤＣＴ係数のほか、動きベクトルも含まれる。また、フレームの画像タイプ情報とは、抽出されたフレームが、フレーム内予測符号化画像であるか、フレーム間予測符号化画像であるかをあらわす情報であり、各フレームのヘッダに付与されている。
【０１８３】
このパラメータ取得部２００１は、図５に示したフレーム間予測符号化画像取得部５０１およびフレーム内予測符号化画像取得部５０４に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、または、通信Ｉ／Ｆ７１４によって、その機能を実現する。
【０１８４】
スイッチ２００２は、パラメータ取得部２００１で取得されたフレームの画像タイプが、フレーム内予測符号化である場合は、ＤＣＴ係数評価部２００５に接続して、フレーム内予測符号化画像のＤＣＴ係数Ｃｉｊを出力する。一方、パラメータ取得部２００１で取得されたフレームの画像タイプが、フレーム間予測符号化である場合は、動きベクトル評価処理部２００３に接続し、フレーム間予測符号化画像の動きベクトルを出力する。
【０１８５】
このスイッチ２００２は、図５に示したフレーム間予測符号化画像取得部５０１、マクロブロック抽出部５０２、フレーム内予測符号化画像取得部５０４およびブロック抽出部５０５に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【０１８６】
動きベクトル評価処理部２００３は、上述した動きベクトルの差分に基づいて動きベクトルの集計値Ｔを算出し、その算出結果をメモリ２００４に一時保管する。動きベクトルの集計値Ｔは、動きベクトルの差分に限らず、動きベクトル長や動きベクトル符号長から、集計値Ｔを算出することとしてもよい。
【０１８７】
この動きベクトル評価処理部２００３は、図５に示した第１算出部５０３に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【０１８８】
メモリ２００４は、動きベクトル評価処理部２００３によって算出された動きベクトルの集計値Ｔを記憶する。この動きベクトルの集計値Ｔは、ＤＣＴ係数評価部２００５によって抽出され、ＤＣＴ係数評価処理に用いられる。このメモリ２００４は、図１に示した第１算出部５０３および第２算出部５０６に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体によって、その機能を実現する。
【０１８９】
また、ＤＣＴ係数評価部２００５は、実施例１と同様の手法でフレーム内予測符号化画像のＤＣＴ係数を評価する。具体的には、スイッチ２００２を介して取得されたフレーム内予測符号化画像の各ブロックのＤＣＴ係数Ｃｉｊに、重み付け行列Ｗを用いて重み付けして、評価値ｖを算出する。そして、算出された評価値ｖと、メモリ２００４に保存された集計値Ｔとを用いて、ＤＣＴ係数Ｃｉｊを評価する。これにより、テロップ領域を検出することができる。
【０１９０】
このＤＣＴ係数評価部２００５は、図５に示した第１算出部５０３および検出部５０７に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【０１９１】
また、テロップ判別部２００６は、注目マクロブロックの動きベクトルと、その周囲マクロブロックの動きベクトルとに基づいて、ＤＣＴ係数評価部２００５によって検出されたテロップ領域内のテロップが、静止テロップかロールテロップかを判別する。具体的には、テロップ領域における動きベクトルの方向およびベクトル長によって判別する。
【０１９２】
このテロップ判別部２００６は、図５に示した判別部５１０に対応しており、具体的には、たとえば、図７に示したＲＯＭ７０２、ＲＡＭ７０３、ＨＤ７０５、ＣＤ／ＤＶＤ７０７などの記録媒体に格納されているプログラムをＣＰＵ７０１が実行することによって、その機能を実現する。
【０１９３】
（テロップ検出処理手順）
つぎに、この実施例３にかかるテロップ検出処理手順について説明する。図２１は、実施例３にかかるテロップ検出処理手順を示すフローチャートである。まず、ＭＰＥＧストリームが入力された場合（ステップＳ２１０１：Ｙｅｓ）、ＭＰＥＧストリームから、先頭のフレームを取得する（ステップＳ２１０２）。
【０１９４】
そして、取得されたフレームの画像タイプ情報から、取得されたフレームの画像タイプを識別する（ステップＳ２１０３）。この場合、取得されたフレームの画像タイプが、フレーム間予測符号化の場合（ステップＳ２１０３：Ｙｅｓ）、動きベクトル評価処理をおこなう（ステップＳ２１０４）。
【０１９５】
そして、すべてのフレームが取得されていない場合（ステップＳ２１０５：Ｎｏ）、ステップＳ２１０２に移行して、つぎのフレームを取得する。一方、すべてのフレームが取得された場合（ステップＳ２１０５：Ｙｅｓ）、一連の処理を終了する。
【０１９６】
また、ステップＳ２１０３において、取得されたフレームの画像タイプが、フレーム内予測符号化の場合（ステップＳ２１０３：Ｎｏ）、ＤＣＴ係数評価処理をおこなう（ステップＳ２１０６）。そして、テロップ検出の結果出力をする（ステップＳ２１０７）。この後テロップの判別をおこなう（ステップＳ２１０８）。このあと、ステップＳ２１０５に移行する。このテロップの判別処理については後述する。
【０１９７】
つぎに、図２１に示したステップＳ２１０４の動きベクトル評価処理手順について説明する。図２２は、動きベクトル評価処理手順を示すフローチャートである。図２２において、ステップＳ２１０２で取得されたフレーム（フレーム間予測符号化画像）のマクロブロック数をＮ、マクロブロック番号ｋをｋ＝１、集計値ＴをＴ＝０にする（ステップＳ２２０１）。
【０１９８】
そして、注目マクロブロックＢｋと、その周囲マクロブロックＢｃとを抽出する（ステップＳ２２０２）。そして、注目マクロブロックＢｋの動きベクトルと、その周囲のマクロブロックＢｃの動きベクトルとの差分Ｓｋを算出する（ステップＳ２２０３）。
【０１９９】
そして、動きベクトルの差分Ｓｋが０の場合（ステップＳ２２０４：Ｙｅｓ）、集計値Ｔをインクリメントし（ステップＳ２２０５）、ステップＳ２２０６に移行する。一方、動きベクトルの差分Ｓｋが０でない場合（ステップＳ２２０４：Ｎｏ）、集計値Ｔをインクリメントせずに、ステップＳ２２０６に移行する。
【０２００】
そして、ｋ＝Ｎでない場合（ステップＳ２２０６：Ｎｏ）、ｋをインクリメントして（ステップＳ２２０７）、ステップＳ２２０２に移行する。一方、ｋ＝Ｎの場合（ステップＳ２２０６：Ｙｅｓ）、動きベクトル評価処理を終了する。
【０２０１】
つぎに、図２１に示したステップＳ２１０６のＤＣＴ係数評価処理手順について説明する。図２３は、ＤＣＴ係数評価処理手順を示すフローチャートである。図２３において、まず、取得されたフレームをスキャンして、ブロック数をＮ、ブロック番号ｋをｋ＝１とする（ステップＳ２３０１）。そして、評価値ｖを初期化（ｖ＝０）し（ステップＳ２３０２）、ブロックＢｋを抽出する（ステップＳ２３０３）。
【０２０２】
つぎに、上記式（１）を用いて、抽出されたブロックの各ＤＣＴ係数Ｃｉｊの絶対値｜Ｃｉｊ｜に、当該ＤＣＴ係数Ｃｉｊと同一位置の重み付けパラメータＷｉｊを乗じて、評価値ｖを算出する（ステップＳ２３０４）。そして、評価値ｖがしきい値Ｖｔｈ以上であるかどうかを判定する（ステップＳ２３０５）。
【０２０３】
そして、評価値ｖがしきい値Ｖｔｈ以上である場合（ステップＳ２３０５：Ｙｅｓ）、ステップＳ２２０５で計数された集計値Ｔがそのしきい値Ｔｔｈ以上であるかどうかを判定する（ステップＳ２３０６）。ステップＳ２２０５で計数された集計値Ｔは、そのブロックを含むマクロブロックの集計値である。集計値Ｔがそのしきい値Ｔｔｈ以上である場合（ステップＳ２３０６：Ｙｅｓ）、ブロックＢｋをテロップ領域に決定する（ステップＳ２３０７）。
【０２０４】
一方、ステップＳ２３０５において、評価値ｖがしきい値Ｖｔｈ以上でない場合（ステップＳ２３０５：Ｎｏ）、またはステップＳ２３０６において、集計値Ｔがそのしきい値Ｔｔｈ以上でない場合（ステップＳ２３０６：Ｎｏ）、ブロックＢｋを非テロップ領域に決定する（ステップＳ２３０８）。
【０２０５】
そして、ｋ＝Ｎでない場合（ステップＳ２３０９：Ｎｏ）、ｋをインクリメントして（ステップＳ２３１０）、ステップＳ２３０２に移行する。一方、ｋ＝Ｎの場合（ステップＳ２３０９：Ｙｅｓ）、ＤＣＴ係数評価処理を終了する。
【０２０６】
つぎに、上述した実施例３のテロップ検出処理を模式化して説明する。図２４は、実施例３のテロップ検出処理の模式図である。図２４において、図２１に対応する処理には、図２１に示したステップ番号を付している。
【０２０７】
図２４において、ＭＰＥＧストリーム２４００は、ＭＰＥＧ圧縮符号化形式によって圧縮された動画像に関する一連のフレームであり、フレーム内予測符号化画像２４０１、２４０２と、一連のフレーム間予測符号化画像２４０３を含んでいる。ＭＰＥＧストリーム２４００は、図２０に示したＭＰＥＧ入力ソース８０１から入力されてくる。
【０２０８】
ここで、一連のフレーム間予測符号化画像２４０３のうち、任意のフレーム間予測符号化画像２４０４に着目すると、この復元画像２４１４には被写体２４２４とテロップ２４３４（『あいうえお』）が含まれている。
【０２０９】
そして、ステップＳ２１０２、Ｓ２１０３によって取得されたフレーム間予測符号化画像２４０４について動きベクトル評価処理（Ｓ２１０４）をおこなうと、周囲マクロブロックＢｃと同じ動きをした注目マクロブロックＢｋの集合２４４４が検出される。この注目マクロブロックＢｋの集合２４４４は、周囲マクロブロックＢｃとの差分が「０」になった注目マクロブロックＢｋの集合であり、差分が「０」になった注目マクロブロックＢｋの数が集計値Ｔとして計数される。なお、被写体２４２４は、大部分が静止または空間的に一様に移動しているものとする。
【０２１０】
また、フレーム間予測符号化画像２４０４のつぎのフレーム間予測符号化画像２４０５に着目すると、この復元画像２４１５には被写体２４２５とテロップ２４３４（『あいうえお』）が含まれている。
【０２１１】
そして、ステップＳ２１０２、Ｓ２１０３によって取得されたフレーム間予測符号化画像２４０５について動きベクトル評価処理（Ｓ２１０４）をおこなうと、周囲マクロブロックＢｃと同じ動きをした注目マクロブロックＢｋの集合２４４５が検出される。この注目マクロブロックＢｋの集合２４４５は、周囲マクロブロックＢｃとの差分が「０」になった注目マクロブロックＢｋの集合であり、差分が「０」になった注目マクロブロックＢｋの数が集計値Ｔとしてさらに計数される。なお、被写体２４２５は、大部分が静止または空間的に一様に移動しているものとする。
【０２１２】
この動きベクトル評価処理（Ｓ２１０４）をあらたにフレーム内予測符号化画像２４０２が出現するまで継続する。そして、フレーム内予測符号化画像２４０２を取得した場合、一連のフレーム間予測符号化画像２４０３におけるトータルの集計値Ｔを用いて、フレーム内予測符号化画像２４０２のテロップ領域を検出する。
【０２１３】
具体的には、フレーム内予測符号化画像２４０２の復元画像２４１２に、被写体２４２２とテロップ２４３４（『あいうえお』）が含まれているとする。そして、ＤＣＴ計数評価処理（Ｓ２１０６）により、取得されたフレーム内予測符号化画像２４０２のブロックＢｋのうち、テロップ２４３４の出現位置に対応したマクロブロックＢｋ（図中、斜線で示したマクロブロック）の評価値ｖがしきい値Ｖｔｈ以上となり、かつ、ブロックＢｋの属するマクロブロックについて、一連のフレーム間予測符号化画像２４０３におけるトータルの集計値Ｔがしきい値Ｔｔｈ以上であれば、フレーム内予測符号化画像２４０２においてテロップ２４３４を含むテロップ領域２４４２を検出することができる。
【０２１４】
すなわち、この実施例３では、フレーム間予測符号化画像が連続している間は、マクロブロックの位置毎に、動きベクトルがテロップらしい性質を持っているかを判定し、テロップらしい場合の出現回数をカウントする。また、フレーム内予測符号化画像が出現した時に、このフレーム内予測符号化画像について、実施例１と同じ方法でテロップ領域を判定するとともに、そのテロップ領域の各ブロックが属するマクロブロックにおける、前のフレーム内予測符号化画像から今までの間でのカウントの集計値Ｔがしきい値Ｔｔｈ以上か、すなわち、テロップらしい動きベクトルを持っているフレームの出現回数が多かったかを判定する。その両者を満たす領域を、テロップ領域として検出する。
【０２１５】
また、ここで、動きベクトルの差分について、検出されたテロップの判別とともに具体的に説明する。図２５は、動きベクトルの差分の説明図である。図２５において、２つの復元画像２５０１、２５０２は、背景や被写体が同一の画像である。復元画像２５０１には静止テロップ２５１１が存在し、復元画像２５０２には画面の右から左に流れるロールテロップ２５１２が存在する。
【０２１６】
この復元画像２５０１のフレーム間予測符号化画像について動き補償をおこなった画像２５２１では、静止テロップ２５１１の位置に対応するテロップ領域２５３１内の動き補償は無し、すなわち動きベクトル値は０となる。さらに、動き補償をおこなった画像２５２１について、注目マクロブロックと周囲マクロブロックとの動きベクトルの差分をとった画像２５４１では、静止テロップ２５１１の位置に対応するテロップ領域２５３１における動きベクトルの差分も「０」となる。
【０２１７】
一方、ロールテロップ２５１２は画面の右から左に流れるため、復元画像２５０２のフレーム間予測符号化画像について動き補償をおこなった画像２５２２では、ロールテロップ２５１２の位置に対応するテロップ領域２５３２内の動きベクトルは一様になる。ここでは、一様に、動きベクトルは「右向き」で長さは「２」である。
【０２１８】
しかし、動き補償をおこなった画像２５２２について、注目マクロブロックと周囲マクロブロックとの動きベクトルの差分をとった画像２５４２では、ロールテロップ２５１２の位置に対応するテロップ領域２５３２における動きベクトルの差分は「０」となる。
【０２１９】
したがって、実施例３では、動きベクトルの差分を用いることにより、静止テロップであるかロールテロップであるかどうかにかかわらず、テロップを検出することができる。また、静止テロップおよびロールテロップでは、動きベクトルの差分はともに「０」となるので、判別することはできないが、動き補償をおこなった画像２５２１、２５２２に着目すると、画像２５２１では動き補償がないため、動きベクトル長さが０であるが、画像２５２２では、非０の動きベクトルが一様に出現している。
【０２２０】
したがって、検出されたテロップについての動きベクトルの差分が「０」であっても、動き補償において動きベクトルが非０であれば、検出されたテロップ領域内のテロップをロールテロップと判別することができる。
【０２２１】
また、上述した動きベクトル評価処理では、注目マクロブロックＢｋの動きベクトルと、周囲マクロブロックＢｃの動きベクトルとの差分を算出し、差分が「０」である回数を集計値Ｔに係数することとしているが、注目マクロブロックＢｋの動きベクトルと、周囲マクロブロックＢｃの動きベクトルとの差分の値をそのまま計数し、差分を累積することとしてもよい。
【０２２２】
この場合の動きベクトル評価処理手順について説明する。図２６は、動きベクトル評価処理手順の他のフローチャートである。なお、図２６において、図２２と同一処理には同一ステップ番号を付し、その説明を省略する。ステップＳ２２０３のあと、集計値Ｔに動きベクトルの差分Ｓｋを加算して、集計値Ｔを更新する（ステップＳ２６０１）。このあと、ステップＳ２２０６に移行する。
【０２２３】
ここで、この動きベクトル評価処理手順では、集計値Ｔを差分Ｓｋの累計値としているため、図２３に示したステップＳ２３０６の分岐が逆となる。すなわち、評価値ｖがしきい値Ｖｔｈ以上であり（ステップＳ２３０５：Ｙｅｓ）、かつ、集計値Ｔがしきい値Ｔｔｈ以上でない場合（ステップＳ２３０６：Ｎｏ）、マクロブロックＢｋをテロップ領域に決定する。また、評価値ｖがしきい値Ｖｔｈ以上ではない場合（ステップＳ２３０５：Ｎｏ）、または、集計値Ｔがしきい値Ｔｔｈ以上である場合（ステップＳ２３０６：Ｙｅｓ）、マクロブロックＢｋを非テロップ領域に決定する。
【０２２４】
すなわち、この動きベクトル評価処理手順では、フレーム間予測符号化画像の動きベクトルを利用しているが、フレーム間予測符号化画像が連続している間は、マクロブロックの位置毎に、動きベクトルがテロップらしいかを判定するための値を、累計していく。たとえば、注目マクロブロックＢｋの動きベクトルと周囲マクロブロックＢｃとの動きベクトルの差分Ｓｋを累計する。
【０２２５】
そして、フレーム内予測符号化画像が出現したときに、このフレーム内予測符号化画像について、実施例１と同じ方法でテロップ領域を判定するとともに、前のフレーム内予測符号化画像から今回出現したフレーム内予測符号化画像までの間に累計された集計値Ｔがしきい値Ｔｔｈ以上であるかどうかを判定する。そして、その両判定結果によってブロックをテロップ領域に決定する。
【０２２６】
このように、実施例３によれば、動きベクトルの差分を利用することで、比較的容易に、画像中でひとかたまりになっている領域を抽出することができる。これにより、不規則に動く領域をテロップ領域と区別することができ、テロップ領域検出の精度の向上を図ることができる。
【０２２７】
また、動き補償を用いることにより、静止テロップと同時に、規則的に動いているテロップ（たとえば、スタッフロールのような流れるテロップ）を検出することが可能である。また、エンコードの仕方によっては、大部分のマクロブロックにおいて、動きベクトルは隣のマクロブロックとの差分値によって符号化されているため、非常に少ない負荷で、かつ、簡易的な方法で、この処理を実現することができる。
【０２２８】
なお、本実施の形態で説明したテロップ検出方法は、予め用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータで実行することにより実現することができる。このプログラムは、ハードディスク、フレキシブルディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行される。またこのプログラムは、インターネット等のネットワークを介して配布することが可能な伝送媒体であってもよい。
【０２２９】
以上のように、本実施の形態にかかるテロップ検出方法、テロップ検出プログラムおよびテロップ検出装置は、デジタルビデオレコーダ（ＤＶＤレコーダ、ＨＤＤレコーダ、ＨＤＤ／ＤＶＤレコーダ）、ホームサーバ、カーナビゲーション装置、コンピュータ（パーソナル・コンピュータ）、コンピュータ周辺機器、携帯端末、情報端末、携帯電話機、コンシューマゲーム機、その他、デジタル映像を扱う製品全般に有用である。また、圧縮符号化方式はＭＰＥＧに限定する必要はない。
【符号の説明】
【０２３０】
１００、５００  テロップ検出装置
１０１、５０４  フレーム内予測符号化画像取得部
１０２  第１抽出部
１０３  算出部
１０４、５０７  検出部
１０５、５０８  判定部
１０６、５０９  決定部
１０７、５０１  フレーム間予測符号化画像取得部
１０８  第２抽出部
１０９  更新部
５０２  マクロブロック抽出部
５０３  第１算出部
５０５  ブロック抽出部
５１０  判別部
５１１  出力部
【図１】
0004700002.tif 000008
【図２】
0004700002.tif 000009
【図３】
0004700002.tif 000010
【図４】
0004700002.tif 000011
【図５】
0004700002.tif 000012
【図６】
0004700002.tif 000013
【図７】
0004700002.tif 000014
【図８】
0004700002.tif 000015
【図９】
0004700002.tif 000016
【図１０】
0004700002.tif 000017
【図１１】
0004700002.tif 000018
【図１２】
0004700002.tif 000019
【図１３】
0004700002.tif 000020
【図１４】
0004700002.tif 000021
【図１５】
0004700002.tif 000022
【図１６】
0004700002.tif 000023
【図１７】
0004700002.tif 000024
【図１８】
0004700002.tif 000025
【図１９】
0004700002.tif 000026
【図２０】
0004700002.tif 000027
【図２１】
0004700002.tif 000028
【図２２】
0004700002.tif 000029
【図２３】
0004700002.tif 000030
【図２４】
0004700002.tif 000031
【図２５】
0004700002.tif 000032
【図２６】
0004700002.tif 000033