(57)【要約】【課題】字幕を含んだテレシネ映像信号であっても正確にフレーム周波数を検出できるようにする。【解決手段】差分絶対値演算部１３は、バッファ１２−１に記憶されているフレームｉと、バッファ１２−２に記憶されているフレーム（ｉ−１）との同一位置の画素値の差分絶対値を演算し、画素位置の情報と共に重み付け処理部１４に供給する。画素位置検出部２１は、画素位置の情報を抽出し、重み付加部２２に供給する。重み付加部２２は、位置情報に基づいて、映像が表示される内枠の領域に大きな重みを、逆に、字幕が表示される外枠の領域に小さな重みを差分絶対値に乗じて類似判定部１５に出力する。類似判定部１５は、重みが付加された差分絶対値に基づいて、類似しているか否かを判定し、判定結果を周波数検出部１６に出力する。周波数検出部１６、判定結果のパターンに基づいて、フレーム周波数を検出する。【選択図】図１
2007150944.tif 000002
【特許請求の範囲】
【請求項１】
第1の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する第１の差分絶対値計算手段と、
前記第１の差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加手段と、
前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定手段と、
前記類似判定手段の判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出手段と
を含む画像処理装置。
【請求項２】
前記重み付加手段は、
前記フレーム上またはフィールド上の位置に応じた重みを記憶する重み記憶手段をさらに含み、
前記第１の差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて、前記重み記憶手段より対応する重みを読み出して付加する
請求項１に記載の画像処理装置。
【請求項３】
前記重み記憶手段は、前記フレーム上またはフィールド上の位置のうち、字幕が表示されない領域に所定の重みより大きな重みが付加されるようにすると共に、字幕が表示される領域を少なくとも０より大きな、前記字幕が表示される領域における重みよりも小さな重みが付加されるように、前記位置に応じた重みを記憶する
請求項２に記載の画像処理装置。
【請求項４】
前記重み記憶手段は、前記フレーム上またはフィールド上の位置のうち、前記字幕が表示される領域を複数の領域に分割し、分割された前記領域毎に前記位置に応じた重みを記憶する
請求項３に記載の画像処理装置。
【請求項５】
前記類似判定手段は、
前記重みが付加された差分絶対値と、第１の所定の閾値とを比較する第１の比較手段と、
前記第１の比較手段の比較結果に基づいて、所定の値を積算する積算手段と、
全ての画素に対する前記積算手段の積算結果と、第２の所定の閾値とを比較する第２の比較手段とを含み、
前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項６】
前記類似判定手段は、
前記重みが付加された差分絶対値を積算する積算手段と、
全ての画素に対する前記積算手段の積算結果と、所定の閾値とを比較する比較手段とを含み、
前記比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項７】
前記第２の画像信号のうち、字幕が表示されない領域における第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する第２の差分絶対値計算手段をさらに含み、
前記第１の差分絶対値計算手段は、前記第２の画像信号のうち、字幕が表示される領域における第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算し、
前記類似判定手段は、
前記第２の画像信号のうち、字幕が表示される領域における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、同位置の画素値の重みが付加された差分絶対値、または、前記字幕が表示されない領域における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値とを切り替えて差分絶対値比較手段に供給する切替手段と、
前記切替手段より前記第２の画像信号のうち、前記字幕が表示されない領域における差分絶対値が供給されるように切り替えられている場合、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとが類似していると判定されたとき、前記切替手段を制御して、前記字幕が表示される領域における重みが付加された差分絶対値を供給させるように制御すると共に、前記切替手段より前記第２の画像信号のうち、前記字幕が表示される領域における重みが付加された差分絶対値が供給されるように切り替えられている場合、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとが類似していると判定されたとき、判定結果を出力する切替制御手段とをさらに含み、
前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドの、それぞれの字幕が表示されない領域が類似していると判定された場合、
前記第１の差分絶対値計算手段は、前記第２の画像信号における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、前記字幕が表示される領域における、同位置の画素値の差分絶対値を計算し、
前記重み付加手段は、前記第１の差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の前記字幕が表示される領域における位置に応じて重みを付加し、
前記類似判定手段は、前記フレームまたはフィールドのうち、前記字幕が表示される領域における全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する
請求項１に記載の画像処理装置。
【請求項８】
第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算ステップと、
前記差分絶対値計算ステップの処理により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加ステップと、
前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定ステップと、
前記類似判定ステップの処理における判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出ステップと
を含む画像処理方法。
【請求項９】
第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算ステップと、
前記差分絶対値計算ステップの処理により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加ステップと、
前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定ステップと、
前記類似判定ステップの処理における判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出ステップと
を含む処理を実行させるコンピュータが読み取り可能なプログラムが記録されている記録媒体。
【請求項１０】
第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算ステップと、
前記差分絶対値計算ステップの処理により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加ステップと、
前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定ステップと、
前記類似判定ステップの処理における判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出ステップと
を含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、記録媒体、並びにプログラムに関し、特に、字幕領域に字幕等が記録されていてもフレーム周波数またはフィールド周波数を正確に検出できるようにした情報処理方法および装置、記録媒体、並びにプログラムに関する。
【背景技術】
【０００２】
映画フィルム（CINE）がビデオ信号（TELE）に変換された、いわゆるテレシネ映像信号から、フレーム周波数やフィールド周波数を検出するテレシネ映像信号検出処理技術が普及しつつある。ここで、テレシネ映像信号検出処理とは、同一のフレームやフィールドが連続するパターンによりフレーム周波数またはフィールド周波数を検出する処理である。
【０００３】
ところで、テレシネ映像信号検出処理では、一般に字幕等の後で付加された情報については、特に、考慮されることなく処理が行なわれる。この場合、字幕等が付加されたテレシネ映像信号が入力されると、正しい判定を行うことができないことがある。すなわち、同一の映像から引き出されたフィールドであっても、字幕のあるフィールドと、字幕のないフィールドとが比較されると、異なるものであると判定されるため、テレシネ映像信号のフィールド周波数やフレーム周波数が正しく検出できないことがある。
【０００４】
そこで、輝度信号から字幕等の領域を判定し、字幕が発生しない領域のみで比較するテレシネ映像信号のフレーム周波数またはフィールド周波数を検出する技術が提案されている。より具体的には、字幕はフィールドの周辺の黒帯部分に白文字で表示されるので、輝度値が高い部分を含む領域は、字幕等が表示される領域であると判定され、その部分を除いた領域のみで、フィールドに変化があるか否かが比較されることにより、同一のフレームまたはフィールドの発生する頻度に基づいて、テレシネ映像信号におけるフレーム周波数やフィールド周波数が検出される。
【０００５】
【特許文献１】特開平２００２−３３５４４１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述の手法を用いた場合、字幕が表示されない領域（通常の画像が表示される領域）において、看板の白い文字が書かれている領域が存在したり、白い服などが表示される領域が存在すると、誤って字幕等の領域であると検出されることがあり、結果として、テレシネ映像信号のフレーム周波数またはフィールド周波数を正確に検出できないことがあった。
【０００７】
本発明は、このような状況に鑑みてなされたものであり、特に、字幕領域に字幕等が記録されていてもフレーム周波数またはフィールド周波数を正確に検出できるようにさせるものである。
【課題を解決するための手段】
【０００８】
本発明の一側面の画像処理装置は、第1の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する第１の差分絶対値計算手段と、前記第１の差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加手段と、前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定手段と、前記類似判定手段の判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出手段とを含む。
【０００９】
前記重み付加手段には、前記フレーム上またはフィールド上の位置に応じた重みを記憶する重み記憶手段をさらに含ませるようにすることができ、前記第１の差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて、前記重み記憶手段より対応する重みを読み出して付加させるようにすることができる。
【００１０】
前記重み記憶手段には、前記フレーム上またはフィールド上の位置のうち、字幕が表示されない領域に所定の重みより大きな重みが付加されるようにすると共に、字幕が表示される領域を少なくとも０より大きな、前記字幕が表示される領域における重みよりも小さな重みが付加されるように、前記位置に応じた重みを記憶させるようにすることができる。
【００１１】
前記重み記憶手段には、前記フレーム上またはフィールド上の位置のうち、前記字幕が表示される領域を複数の領域に分割し、分割された前記領域毎に前記位置に応じた重みを記憶させるようにすることができる。
【００１２】
前記類似判定手段には、前記重みが付加された差分絶対値と、第１の所定の閾値とを比較する第１の比較手段と、前記第１の比較手段の比較結果に基づいて、所定の値を積算する積算手段と、全ての画素に対する前記積算手段の積算結果と、第２の所定の閾値とを比較する第２の比較手段とを含ませるようにすることができ、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定させるようにすることができる。
【００１３】
前記類似判定手段には、前記重みが付加された差分絶対値を積算する積算手段と、全ての画素に対する前記積算手段の積算結果と、所定の閾値とを比較する比較手段とを含ませるようにすることができ、前記比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定させるようにすることができる。
【００１４】
前記第２の画像信号のうち、字幕が表示されない領域における第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する第２の差分絶対値計算手段をさらに含むようにさせることができ、前記第１の差分絶対値計算手段には、前記第２の画像信号のうち、字幕が表示される領域における第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算させるようにすることができ、前記類似判定手段には、前記第２の画像信号のうち、字幕が表示される領域における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、同位置の画素値の重みが付加された差分絶対値、または、前記字幕が表示されない領域における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値とを切り替えて差分絶対値比較手段に供給する切替手段と、前記切替手段より前記第２の画像信号のうち、前記字幕が表示されない領域における差分絶対値が供給されるように切り替えられている場合、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとが類似していると判定されたとき、前記切替手段を制御して、前記字幕が表示される領域における重みが付加された差分絶対値を供給させるように制御すると共に、前記切替手段より前記第２の画像信号のうち、前記字幕が表示される領域における重みが付加された差分絶対値が供給されるように切り替えられている場合、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとが類似していると判定されたとき、判定結果を出力する切替制御手段とをさらに含ませるようにすることができ、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドの、それぞれの字幕が表示されない領域が類似していると判定された場合、前記第１の差分絶対値計算手段には、第２の画像信号における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、前記字幕が表示される領域における、同位置の画素値の差分絶対値を計算させるようにすることができ、前記重み付加手段には、前記第１の差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の前記字幕が表示される領域における位置に応じて重みを付加させるようにすることができ、前記類似判定手段には、前記フレームまたはフィールドのうち、前記字幕が表示される領域における全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定させるようにすることができる。
【００１５】
本発明の一側面の画像処理方法は、第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算ステップと、前記差分絶対値計算ステップの処理により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加ステップと、前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定ステップと、前記類似判定ステップの処理における判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出ステップとを含む。
【００１６】
本発明の一側面の記録媒体のプログラムは、第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算ステップと、前記差分絶対値計算ステップの処理により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加ステップと、前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定ステップと、前記類似判定ステップの処理における判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出ステップとを含む処理を実行させるコンピュータが読み取り可能なプログラムが記録されている。
【００１７】
本発明の一側面のプログラムは、第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算ステップと、前記差分絶対値計算ステップの処理により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加ステップと、前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定ステップと、前記類似判定ステップの処理における判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出ステップとを含む処理をコンピュータに実行させる。
【００１８】
画像処理装置は、独立した装置であっても良いし、画像処理を行うブロックであっても良い。
【発明の効果】
【００１９】
以上のように、本発明の一側面によれば、字幕領域に字幕等が記録されていてもテレシネ映像信号のフレーム周波数またはフィールド周波数を正確に検出させることが可能となる。
【発明を実施するための最良の形態】
【００２０】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、発明の詳細な説明に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、発明の詳細な説明に記載されていることを確認するためのものである。従って、発明の詳細な説明中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００２１】
すなわち、本発明の一側面の画像処理装置は、第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算手段（例えば、図１の差分絶対値演算部１３）と、前記差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加手段（例えば、図１の重み付加部２２）と、前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定手段（例えば、図１の類似判定部１５）と、前記類似判定手段の判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出手段（例えば、図１の周波数検出部１６）とを含む。
【００２２】
前記重み付加手段（例えば、図１の重み付加部２２）には、前記フレーム上またはフィールド上の位置に応じた重みを記憶する重み記憶手段（例えば、図１の重みテーブル１７）をさらに含ませるようにすることができ、前記差分絶対値計算手段（例えば、図１の差分絶対値演算部１３）により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて、前記重み記憶手段（例えば、図１の重みテーブル１７）より対応する重みを読み出して付加させるようにすることができる。
【００２３】
前記重み記憶手段（例えば、図１の重みテーブル１７）には、前記フレーム上またはフィールド上の位置のうち、字幕が表示されない領域に所定の重みより大きな重みが付加されるようにすると共に、字幕が表示される領域を少なくとも０より大きな、前記字幕が表示される領域における重みよりも小さな重みが付加されるように、前記位置に応じた重みを記憶させるようにすることができる。
【００２４】
前記重み記憶手段（例えば、図１の重みテーブル１７）には、前記フレーム上またはフィールド上の位置のうち、前記字幕が表示される領域を複数の領域に分割し、分割された前記領域毎に前記位置に応じた重みを記憶させるようにすることができる。
【００２５】
前記類似判定手段（例えば、図３の類似判定部１５）には、前記重みが付加された差分絶対値と、第１の所定の閾値とを比較する第１の比較手段（例えば、図３の差分絶対値比較部４２）と、前記第１の比較手段の比較結果に基づいて、所定の値を積算する積算手段（例えば、図３の比較結果加算部４４）と、全ての画素に対する前記積算手段の積算結果と、第２の所定の閾値とを比較する第２の比較手段（例えば、図３の加算結果比較部４５）とを含ませるようにすることができ、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定させるようにすることができる。
【００２６】
前記類似判定手段（例えば、図９の類似判定部１５）には、前記重みが付加された差分絶対値を積算する積算手段（例えば、図９の差分絶対値加算部７２）と、全ての画素に対する前記積算手段の積算結果と、所定の閾値とを比較する比較手段（例えば、図９の加算結果比較部７３）とを含ませるようにすることができ、前記比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定させるようにすることができる。
【００２７】
前記第２の画像信号のうち、字幕が表示されない領域における第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する第２の差分絶対値計算手段（例えば、図１１の差分絶対値演算部１０２）をさらに含むようにさせることができ、前記第１の差分絶対値計算手段（例えば、図１１の差分絶対値演算部１０６）には、前記第２の画像信号のうち、字幕が表示される領域における第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算させるようにすることができ、前記類似判定手段（例えば、図１２の類似判定部１０３）には、前記第２の画像信号のうち、字幕が表示される領域における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、同位置の画素値の重みが付加された差分絶対値、または、前記字幕が表示されない領域における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値とを切り替えて差分絶対値比較手段に供給する切替手段（例えば、図１２の切替スイッチ１１１）と、前記切替手段より前記第２の画像信号のうち、前記字幕が表示されない領域における差分絶対値が供給されるように切り替えられている場合、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとが類似していると判定されたとき、前記切替手段を制御して、前記字幕が表示される領域における重みが付加された差分絶対値を供給させるように制御すると共に、前記切替手段より前記第２の画像信号のうち、前記字幕が表示される領域における重みが付加された差分絶対値が供給されるように切り替えられている場合、前記第２の比較手段の比較結果に基づいて、前記第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとが類似していると判定されたとき、判定結果を出力する切替制御手段（例えば、図１２の総合判定部１１８）とをさらに含ませるようにすることができ、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドの、それぞれの字幕が表示されない領域が類似していると判定された場合、前記第１の差分絶対値計算手段（例えば、図１１の差分絶対値演算部１０６）には、前記第２の画像信号における第１のフレームまたはフィールドと前記第２のフレームまたはフィールドとの、前記字幕が表示される領域における、同位置の画素値の差分絶対値を計算させるようにすることができ、前記重み付加手段（例えば、図１１の重み付加部２２）には、前記第１の差分絶対値計算手段により計算された差分絶対値に対して、前記フレームまたはフィールド上の前記字幕が表示される領域における位置に応じて重みを付加させるようにすることができ、前記類似判定手段（例えば、図１１の類似判定部１０３）には、前記フレームまたはフィールドのうち、前記字幕が表示される領域における全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定させるようにすることができる。
【００２８】
本発明の一側面の画像処理方法は、第１の画像信号が周波数変換された第２の画像信号における第１のフレームまたはフィールドと、前記第１のフレームまたはフィールドと１フレームまたは１フィールド異なる第２のフレームまたはフィールドとの、同位置の画素値の差分絶対値を計算する差分絶対値計算ステップ（例えば、図５のフローチャートにおけるステップＳ１５の処理）と、前記差分絶対値計算ステップの処理により計算された差分絶対値に対して、前記フレームまたはフィールド上の位置に応じて重みを付加する重み付加ステップ（例えば、図５のフローチャートにおけるステップＳ１６の処理）と、前記フレームまたはフィールドの全ての画素値に対応する重み付けされた差分絶対値に基づいて、前記第１のフレームまたはフィールドと、前記第２のフレームまたはフィールドとが類似しているか否かを判定する類似判定ステップ（例えば、図５のフローチャートにおけるステップＳ２１の処理）と、前記類似判定ステップの処理における判定結果に基づいて、前記第１の画像信号のフレーム周波数またはフィールド周波数を検出する周波数検出ステップ（例えば、図５のフローチャートにおけるステップＳ２２の処理）とを含む。
【００２９】
図１は、本発明を適用したテレシネ映像信号の周波数検出装置１の一実施の形態の構成を示す図である。
【００３０】
周波数検出装置１は、入力されたテレシネ映像信号のフレーム周波数またはフィールド周波数を検出する。尚、以降においては、周波数検出装置１は、フレーム周波数を検出する例として説明を進めるものとするが、フィールド周波数を検出する場合においても、各構成におけるフレーム単位の処理をフィールド単位の処理に変更するのみであり、基本的な構成は同様である。
【００３１】
遅延処理部１１は、入力されたテレシネ映像信号の1フレーム分の画素の画素値を記憶し、後述する構成における1フレーム分の処理が終了するまで遅延した後、バッファ１２−２に供給する。バッファ１２−１は、入力されたテレシネ映像信号の１フレーム分の画素の画素値を記憶し、必要に応じて、差分絶対値演算部１３に供給する。バッファ１２−２は、遅延処理部１１より供給されてくる１フレーム分の画素の画素値を記憶し、必要に応じて差分絶対値演算部１３に供給する。すなわち、バッファ１２−１は、バッファ１２−２よりも１フレーム分遅れたフレームの画素が記憶されており、例えば、ｎ番目のフレームが入力されるとき、バッファ１２−１には、その入力されたｎ番目のフレームの各画素の画素値が記憶され、同一のタイミングで、バッファ１２−２には、（ｎ−１）番目のフレームの各画素の画素値が記憶される。
【００３２】
差分絶対値演算部１３は、バッファ１２−１，１２−２のそれぞれに記憶されている１フレーム分の画像における同一の位置に存在する画素の画素値を読み出して、差分絶対値を演算し、画像上の位置の情報と共に重み付け処理部１４に供給する。
【００３３】
重み付け処理部１４は、画素位置検出部２１および重み付加部２２から構成されており、差分絶対値演算部１３より供給されてきた差分絶対値と画像上の位置情報に基づいて、重みテーブル１７より重み係数（単に、「重み」とも称する）の情報を読み出すと共に、差分絶対値に付して類似判定部１５に供給する。より詳細には、画素位置検出部２１は、差分絶対値演算部１３より供給された情報のうち、画像上の位置情報を検出して、重み付加部２２に供給する。重み付加部２２は、画素位置検出部２１より供給されてくる画素位置の情報に基づいて、重みテーブル１７に記憶されている重みを読み出す。さらに、重み付加部２２は、差分絶対値演算部１３より供給されてきた情報のうち差分絶対値を読み出して、重みテーブル１７より読み出した重みを付して類似判定部１５に供給する。
【００３４】
重みテーブル１７は、画像上の位置に対応して設定される重み係数の情報を記憶しており、重み付加部２２より供給されてくる位置情報に応じた重み係数の情報を重み付加部２２に返す。ここで、画像上の位置とは、例えば、図２で示される実線で分割された領域A乃至Eであり、重みは、領域Ａ乃至Ｅのそれぞれに設定されている。尚、図２においては、図中の左上の角が原点であると仮定して水平方向に右を正としてｘ方向とし、垂直方向に下を正としてｙ方向を設定するものとしたとき、領域Ａは、０≦ｘ＜ａの範囲であり、領域Ｂは、ａ≦ｘ＜ｂ、かつ、０≦ｙ＜ｃの範囲であり、領域Ｃは、ｂ≦ｘの範囲であり、領域Ｄは、ａ≦ｘ＜ｂ、かつ、ｄ≦ｙの範囲であり、領域Ｅは、ａ≦ｘ＜ｂ、かつ、ｃ≦ｙ＜ｄの範囲である。尚、領域Ａ乃至Ｄは、黒帯領域であり、字幕などが表示される領域である。また、領域Ｅは、字幕が表示されない領域、すなわち、通常の表示画像が表示される領域である。
【００３５】
重みテーブル１７は、この領域Ａ乃至Ｅに対応して重みが記憶されている。また、重みテーブル１７に記憶される重み係数の情報は、キーボードや操作ボタンなどから構成される位置重み入力部１９がユーザにより操作されて、位置重み入力判定部１８により位置と対応する重みの情報が入力されることにより設定される。また、一度、入力された重みや位置の情報は、位置重み入力部１９を操作することにより変更することができる。
【００３６】
類似判定部１５は、１フレーム分の全画素の重みが付加された差分絶対値に基づいて、バッファ１２−１，１２−２にそれぞれ記憶されているフレームが類似しているか否かを判定し、判定結果を周波数検出部１６に供給する。尚、類似判定部１５の詳細な構成については、図３を参照して詳細を後述する。
【００３７】
周波数検出部１６は、類似判定部１５より供給されてくるフレーム間の類似判定結果を内蔵するメモリ１６ａに蓄積し、蓄積した類似判定結果のパターンに基づいて、フレーム周波数を検出し、検出結果を出力する。
【００３８】
次に、図３を参照して、図１の類似判定部１５の詳細な構成について説明する。
【００３９】
メモリ４１は、重み付け処理部１４より供給されてくる重み付けされた差分絶対値を順次記憶し、１フレーム分記憶すると順次差分絶対値比較部４２に供給する。差分絶対値比較部４２は、メモリ４１に記憶されている個々の重みが付された差分絶対値と、閾値メモリ４３に記憶されている閾値ｔｈ１とを比較し、閾値ｔｈ１よりも大きいとき１を、閾値ｔｈ１よりも大きくないとき０を、それぞれ比較結果加算部４４に供給する。比較結果加算部４４は、差分絶対値比較部４２より供給されてくる比較結果である１または０を順次加算し、1フレーム分の加算結果を加算結果比較部４５に供給する。
【００４０】
加算結果比較部４５は、比較結果加算部４４より供給されてくる比較結果の加算結果と、閾値ｔｈ２とを比較し、加算結果が所定の閾値ｔｈ２よりも大きいとき、バッファ１２−１，１２−２にそれぞれ記憶されているフレーム同士が相互に類似していないことを示す０を出力し、加算結果が所定の閾値ｔｈ２よりも大きくないとき、バッファ１２−１，１２−２にそれぞれ記憶されているフレーム同士が相互に類似していることを示す１を出力する。
【００４１】
次に、図４のフローチャートを参照して、重みテーブル１７に記憶されている重み設定処理について説明する。
【００４２】
ステップＳ１において、位置重み入力判定部１８は、位置重み入力部１９が操作されて、重みの設定が指示されたか否かを判定し、指示されるまでその処理を繰り返す。例えば、ステップＳ１において、重みの設定が指示された場合、ステップＳ２において、位置重み入力判定部１８は、領域が設定されたか否かを判定し、領域が設定されるまで、その処理を繰り返す。例えば、図２で示されるように、1フレーム分の画像が領域Ａ乃至Ｅに分割されるように設定されたか否かが判定される。尚、領域は、図２で示されるように分割されるのみならず、その他の方法で設定されるようにしても良い。
【００４３】
ステップＳ２において、領域が設定されたと判定された場合、ステップＳ３において、位置重み入力判定部１８は、設定された領域毎に重みテーブル１７上の記憶領域を確保する。
【００４４】
ステップＳ４において、位置重み入力判定部１８は、位置重み入力部１９が操作されることにより、重みと領域を特定する位置の情報が入力されたか否かを判定し、入力されるまで、その処理を繰り返す。ステップＳ４において、例えば、重みと位置が入力されたと判定された場合、ステップＳ５において、位置重み入力判定部１８は、入力された重みと位置が適正であるか否かを判定する。すなわち、位置重み入力判定部１８は、画像が設定されている位置が、ステップＳ２の処理により設定された適正な領域内であるか、または、重みについても通常設定可能な値であるか否かに基づいて、適正な情報であるか否かを判定する。
【００４５】
ステップＳ５において、入力された位置および重みの情報が適正であると判定された場合、ステップＳ６において、位置重み入力判定部１８は、位置重み入力部１９が操作されることにより入力された位置の情報および重みの情報に基づいて、対応する領域の重みを重みテーブル１７に格納させる。
【００４６】
ステップＳ７において、位置重み入力判定部１８は、位置重み入力部１９が操作されて、重みの設定処理の終了が指示されたか否かを判定し、終了が指示されていない場合、ステップＳ４に戻る。一方、ステップＳ７において、終了が指示された場合、その処理が終了する。
【００４７】
また、ステップＳ５において、適正な入力ではないと判定された場合、ステップＳ８において、位置重み入力判定部１８は、図示せぬディスプレイなどからなる表示部を制御して、不適切な入力情報であることを表示させ、再入力を促す。
【００４８】
以上の処理により、１フレーム分の領域毎に重みが設定される。すなわち、例えば、図２の場合、領域Ａ乃至Ｅに対応して、それぞれ重みＷａ，Ｗｂ，Ｗｃ，Ｗｄ，Ｗｅが設定される。
【００４９】
次に、図５のフローチャートを参照して、周波数検出処理について説明する。
【００５０】
ステップＳ１１において、遅延処理部１１およびバッファ１２−１は、画像が入力されたか否かを判定し、入力されるまでその処理を繰り返す。ステップＳ１１において、例えば、画像が入力されたと判定された場合、ステップＳ１２において、遅延処理部１１は、それまでに記憶していた画像、すなわち、遅延させた１フレーム分の画像をバッファ１２−２供給し記憶させる。
【００５１】
ステップＳ１３において、遅延処理部１１およびバッファ１２−１は、入力された１フレーム分の画像を記憶する。このとき、遅延処理部１１は、記憶することにより実質的に新たに入力された画像を遅延処理させることになる。すなわち、この時点で、バッファ１２−１には、今入力された１フレーム分の画像が記憶された状態になると共に、バッファ１２−２には、１フレーム前の１フレーム分の画像が記憶された状態となる。
【００５２】
ステップＳ１４において、差分絶対値演算部１３は、図示せぬカウンタｘ，ｙを０に初期化する。ここで、カウンタｘ，ｙは、フレーム間の各画素の画面上の座標位置を示すためのカウンタである。
【００５３】
ステップＳ１５において、差分絶対値演算部１３は、バッファ１２−１より現在のフレームｉ上の（ｘ，ｙ）上の画素の画素値P（ｉ）（ｘ，ｙ）を読み出すと共に、バッファ１２−２より１フレーム前のフレーム（i-1）上の（ｘ，ｙ）上の画素の画素値P（ｉ−１）（ｘ，ｙ）を読み出して、差分絶対値D（ｉ）（ｘ，ｙ）（＝｜P（ｉ）（ｘ，ｙ）−P（ｉ−１）（ｘ，ｙ）｜）を計算し、重み付け処理部１４に供給する。
【００５４】
ステップＳ１６において、重み付け処理部１４は、重み付け処理を実行する。
【００５５】
ここで、図６のフローチャートを参照して、重み付け処理について説明する。
【００５６】
ステップＳ４１において、画素位置検出部２１は、差分絶対値演算部１３より供給されてきた情報のうち、どの画素の差分絶対値D（ｉ）（ｘ，ｙ）であるかを示す画素位置の情報（ｘ，ｙ）を検出し、重み付加部２２に供給する。
【００５７】
ステップＳ４２において、重み付加部２２は、画素位置検出部２１より供給されてきた画素位置の情報（ｘ，ｙ）に基づいて、差分絶対値演算部１３より供給されてきている差分絶対値D（ｉ）（ｘ，ｙ）が領域Ａに属する画素位置のものであるか否かを判定する。そして、ステップＳ４２において、例えば、領域Ａに属する画素位置のものであると判定された場合、ステップＳ４３において、重み付加部２２は、重みテーブル１７にアクセスし、領域Ａに対応する重みＷａを読み出し、重みw（ｘ，ｙ）に設定する。
【００５８】
一方、ステップＳ４２において、領域Ａではないと判定された場合、ステップＳ４４において、差分絶対値演算部１３より供給されてきている差分絶対値D（ｉ）（ｘ，ｙ）が領域Ｂに属する画素位置のものであるか否かを判定する。そして、ステップＳ４４において、例えば、領域Ｂに属する画素位置のものであると判定された場合、ステップＳ４５において、重み付加部２２は、重みテーブル１７にアクセスし、領域Ｂに対応する重みＷｂを読み出し、重みw（ｘ，ｙ）に設定する。
【００５９】
また、ステップＳ４４において、領域Ｂではないと判定された場合、ステップＳ４６において、差分絶対値演算部１３より供給されてきている差分絶対値D（ｉ）（ｘ，ｙ）が領域Ｃに属する画素位置のものであるか否かを判定する。そして、ステップＳ４６において、例えば、領域Ｃに属する画素位置のものであると判定された場合、ステップＳ４７において、重み付加部２２は、重みテーブル１７にアクセスし、領域Ｃに対応する重みＷｃを読み出し、重みw（ｘ，ｙ）に設定する。
【００６０】
さらに、ステップＳ４６において、領域Ｃではないと判定された場合、ステップＳ４８において、差分絶対値演算部１３より供給されてきている差分絶対値D（ｉ）（ｘ，ｙ）が領域Ｄに属する画素位置のものであるか否かを判定する。そして、ステップＳ４８において、例えば、領域Ｄに属する画素位置のものであると判定された場合、ステップＳ４９において、重み付加部２２は、重みテーブル１７にアクセスし、領域Dに対応する重みＷｄを読み出し、重みw（ｘ，ｙ）に設定する。
【００６１】
また、ステップＳ４８において、領域Dではないと判定された場合、すなわち、差分絶対値演算部１３より供給されてきている差分絶対値D（ｉ）（ｘ，ｙ）は、領域Ａ乃至Ｄのいずれにも属さない画素位置のものであるので、領域Ｅに属するものであるとみなし、ステップＳ５０において、重み付加部２２は、重みテーブル１７にアクセスし、領域Ｅに対応する重みＷｅを読み出し、重みw（ｘ，ｙ）に設定する。
【００６２】
ステップＳ５１において、重み付加部２２は、差分絶対値D（ｉ）（ｘ，ｙ）に重みw（ｘ，ｙ）を乗じることにより、差分絶対値に重みを付加した、重み付加差分絶対値（D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ））を生成して類似判定部１５に出力する。ステップＳ５２において、類似判定部１５のメモリ４１は、重み付け付加部１４より供給されてくる重み付加差分絶対値を順次記憶し、処理を終了する。
【００６３】
以上の処理により、フレーム間の同一位置の画素値の差分絶対値には、画素位置に応じて、重みが付加され、重み付加差分絶対値が求められ、さらに、順次類似判定部１５のメモリ４１に記憶されることになる。
【００６４】
ここで、図５のフローチャートの説明に戻る。
【００６５】
ステップＳ１６の処理により、重み付加差分絶対値が求められると、ステップＳ１７において、類似判定部１５の差分絶対値比較部４２は、カウンタｘがｘｍａｘ（カウンタｘの最大値＝画像の水平方向の画素数）であるか否かを判定し、カウンタxがｘｍａｘではないと判定した場合、ステップＳ１８において、カウンタｘを１インクリメントし、その処理は、ステップＳ１５に戻る。すなわち、水平方向の全ての画素について重み付加差分絶対値が求められるまで、ステップＳ１５乃至Ｓ１８の処理が繰り返される。
【００６６】
一方、ステップＳ１７において、カウンタｘがｘｍａｘであると判定された場合、ステップＳ１９において、類似判定部１５の差分絶対値比較部４２は、カウンタyがｙｍａｘ（カウンタyの最大値＝画像の垂直方向の画素数）であるか否かを判定し、カウンタyがｙｍａｘではないと判定した場合、ステップＳ２０において、カウンタyを１インクリメントすると共にカウンタｘを０に初期化し、その処理は、ステップＳ１５に戻る。すなわち、水平方向および垂直方向の画像に含まれる全ての画素について重み付加差分絶対値が求められるまで、ステップＳ１５乃至Ｓ２０の処理が繰り返される。
【００６７】
そして、ステップＳ１９において、カウンタyがｙｍａｘであると判定された場合、すなわち、全ての画素について、重み付加差分絶対値が求められたと判定された場合、ステップＳ２１において、類似判定部１５は、類似判定処理を実行する。
【００６８】
ここで、図７のフローチャートを参照して、類似判定処理について説明する。
【００６９】
ステップＳ７１において、差分絶対値比較部４２は、カウンタｘ，ｙ，Ｃのそれぞれを０に初期化する。
【００７０】
ステップＳ７２において、差分絶対値比較部４２は、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）をメモリ４１より読み出す。
【００７１】
ステップＳ７３において、差分絶対値比較部４２は、閾値メモリ４３にアクセスし、閾値ｔｈ１を読み出すと共に、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）と比較し、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が閾値ｔｈ１よりも小さいか否かを判定し、例えば、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が閾値ｔｈ１よりも小さいと判定した場合、ステップＳ７４において、１を比較結果加算部４４に出力する。
【００７２】
また、ステップＳ７３において、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が閾値ｔｈ１よりも小さくないと判定された場合、ステップＳ７５において、差分絶対値比較部４２は、０を比較結果加算部４４に出力する。
【００７３】
ステップＳ７６において、比較結果加算部４４は、差分絶対値比較部４２より供給されてくる重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）と閾値ｔｈ１との比較結果をカウンタＣに順次加算して記憶する。
【００７４】
ステップＳ７７において、加算結果比較部４５は、カウンタxがｘｍａｘであるか否かを判定し、例えば、カウンタxがｘｍａｘではないと判定した場合、ステップＳ７８において、カウンタｘを１インクリメントし、その処理は、ステップＳ７２に戻る。
【００７５】
一方、ステップＳ７７において、カウンタxがｘｍａｘであると判定された場合、ステップＳ７９において、加算結果比較部４５は、カウンタyがｙｍａｘであるか否かを判定し、例えば、カウンタyがｙｍａｘではないと判定した場合、ステップＳ８０において、カウンタyを１インクリメントすると共に、カウンタｘを０に初期化し、その処理は、ステップＳ７２に戻る。
【００７６】
すなわち、全ての比較結果が加算されるまで、ステップＳ７２乃至Ｓ８０の処理が繰り返される。
【００７７】
そして、ステップＳ７９において、カウンタyがｙｍａｘであると判定された場合、すなわち、全ての画素に対して比較結果が加算されたと判定された場合、ステップＳ８１において、加算結果比較部４５は、閾値メモリ４６にアクセスし、閾値ｔｈ２を読み出し、比較結果加算部４４により比較結果が加算されたカウンタＣの値が閾値ｔｈ２よりも大きいか否かを判定し、カウンタＣの値が閾値ｔｈ２よりも大きいとき、ステップＳ８２において、フレームｉとフレーム（ｉ−１）とが類似していることを示す１を、周波数検出部１６に出力する。この結果を周波数検出部１６は、メモリ１６ａに蓄積する。
【００７８】
一方、ステップＳ８１において、カウンタＣの値が閾値ｔｈ２よりも大きくないと判定された場合、ステップＳ８３において、加算結果比較部４５は、フレームｉとフレーム（ｉ−１）とが類似していないことを示す０を出力する。この結果を周波数検出部１６は、メモリ１６ａに蓄積する。
【００７９】
すなわち、以上の処理により、類似しているか否かを判定しようとするフレーム間の同一位置の画素間の差分絶対値について、個々に比較し、類似していないと判定された画素については１がカウンタＣに加算され、類似していると判定された画素についてはカウンタＣに０が加算されることになる。結果として、類似していればカウンタＣの値は閾値ｔｈ２よりも大きくなり、この場合にのみフレームｉとフレーム（ｉ−１）とが類似しているとみなされる。
【００８０】
また、画素間の画素値の差分絶対値には、画素の位置に応じて重みが付加される事になるが、図２で示される領域Ｅでは、字幕が表示されることがなく、画像が表示される領域であるので、重みを大きくし、それ以外の黒幕である領域Ａ乃至Ｄについては、重みを小さくするようにすることで、字幕が含まれているフレームであっても、正確に類似しているか否かを判定することが可能となる。
【００８１】
尚、画素間の画素値の差分絶対値は、小さければ小さいほど、画素間が類似していることになるので、閾値ｔｈ１は、例えば、画素値のダイナミックレンジ（最小値と最大値との差分）の５％程度としてもよい。また、画素間が類似しているとき、カウンタＣは、加算されることになるので、閾値ｔｈ２は、例えば、1フレームに含まれる全画素数の９５％程度とするようにしてもよい。
【００８２】
ここで、図５のフローチャートの説明に戻る。
【００８３】
ステップＳ２２において、周波数検出部１６は、メモリ１６ａに記憶されている複数の連続するフレーム間の類似判定結果のパターンを解析し、フレーム周波数を検出し、出力する。
【００８４】
すなわち、図８の上段で示されるように、映画のフレームＦ１乃至Ｆ４が、いわゆる２−３プルダウンによりテレシネ映像信号に変換されると、図８の中段で示されるように、フレームＦ１と同一のフレームＦ１−１，Ｆ１−２が引き出され、フレームＦ２と同一のフレームＦ１−１乃至Ｆ１−３が引き出され、フレームＦ３と同一のフレームＦ３−１，Ｆ３−２が引き出され、フレームＦ４と同一のフレームＦ４−１乃至Ｆ４−３が引き出される。
【００８５】
このため、図８の下段で示されるように、類似判定結果は、フレームＦ１−１，Ｆ１−２間では、類似しているので、１が出力され、フレームＦ１−２，Ｆ２−１間では、類似していないので、０が出力され、フレームＦ２−１，Ｆ２−２間では、類似しているので、１が出力され、フレームＦ２−２，Ｆ２−３間では、類似しているので、１が出力され、フレームＦ２−３，Ｆ３−１間では、類似していないので、０が出力され、フレームＦ３−１，Ｆ３−２間では、類似しているので、１が出力され、フレームＦ３−２，Ｆ４−１間では、類似していないので、０が出力され、フレームＦ４−１，Ｆ４−２間では、類似しているので、１が出力され、フレームＦ４−２，Ｆ４−３間では、類似しているので、１が出力される。
【００８６】
結果として、類似判定部１５から出力されるパターンは、「１０１１０１０１１・・・」となる。このパターンは、先頭位置に「０」を付加すれば、「０１０１１」が巡回して繰り返される。また、同様に、例えば、２−２プルダウンの場合、「０１０１０１０１」（先頭位置に「０」を付加した場合）となる。結果として、このようなパターンが繰り返されるとき、どのようにプルダウンされたかを識別することができるので、周波数検出部１６は、このパターンに基づいて、フレーム周波数を検出する。
【００８７】
以上の処理によれば、字幕領域に字幕が含まれているフレームと字幕が含まれていないフレームとが混在していても、字幕領域における画素間の画素値の差分絶対値には、小さな重みが付加され、映像として表示される領域の差分絶対値には、大きな重みが付加される事により、正確にフレーム間の類似判定がなされることになるため、正しいフレーム周波数を検出することが可能となる。
【００８８】
以上の例においては、類似判定処理において、画素単位で重み付加差分絶対値と閾値ｔｈ１とを比較し、比較結果を加算した値と閾値ｔｈ２とを比較していたが、重み付加差分絶対値そのものを全画素について加算し、所定の閾値ｔｈ３と比較するようにして、類似しているか否かを判定するようにしてもよい。
【００８９】
図９は、重み付加差分絶対値D（ｉ）（ｘ，ｙ）を加算して、加算値Ｓを閾値ｔｈ３と比較するようにした類似判定部１５のその他の構成例を示している。尚、図９において、図３を参照して説明した構成と同一の構成については、同一の符号を付しており、その説明は、適宜省略するものとする。
【００９０】
図９の類似判定部１５の構成において、図３の類似判定部１５と異なる点は、差分絶対値比較部４２、閾値メモリ４３、比較結果加算部４４、加算結果比較部４５、および閾値メモリ４６に代えて、差分絶対値加算部７１、加算結果比較部７２、および閾値メモリ７３を設けた点である。
【００９１】
差分絶対値加算部７１は、メモリ４１に蓄積される1フレーム分の重み付加差分絶対値を加算し、加算結果比較部７２に供給する。加算結果比較部７２は、差分絶対値加算部７１より供給されてくる重み付加差分絶対値の1フレーム分の加算値Ｓと、閾値メモリ７３に記憶された閾値ｔｈ３を読み出し、加算値Ｓと閾値ｔｈ３とを比較し、閾値ｔｈ３よりも加算値Ｓが小さければ、差分が小さいので、フレームｉおよびフレーム（ｉ−１）は、類似しているとみなし、類似していることを示す１を出力し、それ以外のとき、０を出力する。
【００９２】
次に、図１０の類似判定部１５を用いた場合の類似判定処理について説明する。
【００９３】
ステップＳ１０１において、差分絶対値加算部７１は、カウンタｘ，ｙ，Ｓのそれぞれを０に初期化する。
【００９４】
ステップＳ１０２において、差分絶対値加算部７１は、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）をメモリ４１より読み出す。
【００９５】
ステップＳ１０３において、差分絶対値加算部７１は、カウンタsに重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）加算する。
【００９６】
ステップＳ１０４において、加算結果比較部７２は、カウンタxがｘｍａｘであるか否かを判定し、例えば、カウンタxがｘｍａｘではないと判定した場合、ステップＳ１０５において、カウンタｘを１インクリメントし、その処理は、ステップＳ１０２に戻る。
【００９７】
一方、ステップＳ１０４において、カウンタxがｘｍａｘであると判定された場合、ステップＳ１０６において、加算結果比較部７２は、カウンタyがｙｍａｘであるか否かを判定し、例えば、カウンタyがｙｍａｘではないと判定した場合、ステップＳ１０７において、カウンタyを１インクリメントすると共に、カウンタｘを０に初期化し、その処理は、ステップＳ１０２に戻る。
【００９８】
すなわち、全ての比較結果が加算されるまで、ステップＳ１０２乃至Ｓ１０７の処理が繰り返される。
【００９９】
そして、ステップＳ１０６において、カウンタyがｙｍａｘであると判定された場合、すなわち、全ての画素に対して比較結果が加算されたと判定された場合、ステップＳ１０８において、加算結果比較部７２は、閾値メモリ７３にアクセスし、閾値ｔｈ３を読み出し、差分絶対値加算部７１により重み付加差分絶対値が加算されたカウンタＳの値が閾値ｔｈ３よりも大きいか否かを判定し、カウンタＳの値が閾値ｔｈ３よりも小さいとき、ステップＳ１０９において、フレームｉとフレーム（ｉ−１）とが類似していることを示す１を、周波数検出部１６に出力する。この結果を周波数検出部１６は、メモリ１６ａに蓄積する。
【０１００】
一方、ステップＳ１０８において、カウンタＳの値が閾値ｔｈ３よりも小さくないと判定された場合、ステップＳ１１０において、加算結果比較部７２は、フレームｉとフレーム（ｉ−１）とが類似していないことを示す０を出力する。この結果を周波数検出部１６は、メモリ１６ａに蓄積する。
【０１０１】
すなわち、以上の処理により、類似しているか否かを判定しようとするフレーム間の同一位置の画素間の差分絶対値がカウンタＳに加算される。結果として、類似していればカウンタＳの値は閾値ｔｈ３よりも小さくなり、この場合にのみフレームｉとフレーム（ｉ−１）とが類似しているとみなされる。
【０１０２】
尚、画素間の画素値の差分絶対値の全画素についての加算結果は、小さければ小さいほど、画素間が類似していることになるので、閾値ｔｈ３は、例えば、画素値のダイナミックレンジ（最小値と最大値との差分）に画素数を乗じた値の５％程度としてもよい。
【０１０３】
以上においては、入力された類似判定処理を実行し、判定結果に基づいて、フレーム間で類似しているか否かを判定する例について説明してきたが、基本的に、字幕が表示されない、図２における領域Ｅにおける画素値のみを比較して、類似していないと判定されれば、字幕が表示される領域Ａ乃至Ｄにおける画素値を用いた類似判定処理は必ずしも必要ではない。そこで、映像のみが表示される領域Ｅのみで類似判定処理を実行し、類似していると判定されたときにのみ、さらに、字幕が表示される領域Ａ乃至Ｄの画素値を用いて類似判定処理をするようにしても良い。
【０１０４】
図１１は、映像のみが表示される領域Ｅのみで類似判定処理を実行し、類似していると判定されたときにのみ、さらに、字幕が表示される領域Ａ乃至Ｄの画素値を用いて類似判定処理をするようにした周波数検出装置１のその他の構成例について説明する。尚、図１と同一の構成については、同一の符号を付しており、その説明は適宜省略するものとする。
【０１０５】
図１１の周波数検出部１の構成において、図１と異なる点は、類似判定部１５に代えて、内枠画素抽出部１０１、差分絶対値１０２、類似判定部１０３、外枠画素抽出部１０４、および差分絶対値演算部１０５が設けられている点である。
【０１０６】
内枠画素抽出部１０１は、バッファ１２−１，１２−２より連続する２フレームにおける同位置の内枠の画素、すなわち、図２における領域Ｅに対応する映像が表示される領域の画素を抽出し、差分絶対値演算部１０２に供給する。差分絶対値演算部１０２は、内枠画素抽出部１０１より供給された画素間の差分絶対値を演算し、類似判定部１０３に供給する。
【０１０７】
類似判定部１０３は、基本的には、図３の類似判定部１５と同様の構成であるが、差分絶対値１０２より内枠の画素の差分絶対値の演算結果からフレームｉとフレーム（ｉ−１）とが類似しているか否かを判定し、内枠画素の差分絶対値の演算結果から類似していると判定した場合、外枠画素抽出部１０４に、バッファ１２−１，１２−２より連続する２フレームにおける同位置の外枠、すなわち、図２における領域Ａ乃至Ｄに対応する映像が表示される領域の画素を抽出させる。さらに、類似判定部１０３は、外枠の画素により重み付加差分絶対値により類似判定処理を実行し、ここで、類似しているとみなされた場合、類似しているとみなす「１」を、それ以外のとき、「０」をそれぞれ周波数検出部１６に出力する。
【０１０８】
次に、図１２を参照して、類似判定部１０３の構成について説明する。
【０１０９】
切替スイッチ１１１は、総合判定部１１８により制御され、通常、差分絶対値演算部１０２より供給されてくる内枠画像の差分絶対値をメモリ１１２に記憶させる。また、切替スイッチ１１１は、総合判定部１１８により制御され、内枠となる画素のみにより、フレームｉとフレーム（ｉ−１）とが類似していると判定された場合、重み付け処理部１４より供給されてくる外枠の画素のみから求められた重み付加差分絶対値を受け付けるように切り替えられ、受け付けた重み付加差分絶対値をメモリ１１２に記憶させる。
【０１１０】
差分絶対値比較部１１３、閾値メモリ１１４、比較結果加算部１１５、加算結果比較部１１６、および閾値メモリ１１７は、基本的に、図３における差分絶対値比較部４２、閾値メモリ４３、比較結果加算部４４、加算結果比較部４５、および閾値メモリ４６と同様の機能を備えるものであるが、いずれも、図２で示される画像中の領域Ｅからなる内枠の画素に対しての類似判定処理と、図２で示される画像中の領域Ａ乃至Ｄからなる外枠の画素に対しての類似判定処理とをそれぞれ実行する。また、閾値メモリ１１４，１１７は、それぞれ内枠用の閾値ｔｈ１1，ｔｈ１２がそれぞれ記憶されており、さらに、外枠用の閾値ｔｈ１３，ｔｈ１４が記憶されている。
【０１１１】
総合判定部１１８は、内枠のみの画素により生成された差分絶対値により、加算結果比較部１１６により類似していることを示す「１」が出力された場合、外枠画素抽出部１０４に対して、バッファ１２−１，１２−２より外枠の画素を抽出するように制御する。また、このとき、切替スイッチ１１１を制御して、重み付け処理部１４より供給されてくる重み付加差分絶対値のみを受け付けるようにさせる。総合判定部１１８は、内枠のみの画素より生成された差分絶対値により加算結果比較部１１６が類似していないことを示す結果を出力した場合、類似していないことを示す信号を周波数検出部１６に供給する。
【０１１２】
次に、図１３のフローチャートを参照して、図１１の周波数検出装置１による周波数検出処理について説明する。尚、図１３のフローチャートにおけるステップＳ１２１乃至Ｓ１２３、およびステップＳ１２９の処理については、図５のフローチャートを参照して説明したステップＳ１１乃至Ｓ１３、および、ステップＳ２２の処理と同様であるのでその説明は省略する。
【０１１３】
ステップＳ１２４において、類似判定部１０３の総合判定部１１８は、内枠画素抽出部１０１より供給されてくるバッファ１２−１，１２−２に記憶されているフレームｉとフレーム（ｉ−１）の内枠の同一位置の画素間の画素値の差分絶対値のみを受け付けるようにスイッチ１１１を制御する。
【０１１４】
ステップＳ１２５において、内枠処理が実行される。
【０１１５】
ここで、図１４のフローチャートを参照して、内枠処理について説明する。
【０１１６】
ステップＳ１５１において、内枠画素抽出部１０１は、図示せぬカウンタｘ，ｙをｘ＝ａおよびｙ＝Ｃに初期化する。ここで、カウンタｘ，ｙは、フレーム間の各画素の画面上の座標位置を示すためのカウンタである。また、「ａ」は、内枠、すなわち、図２における領域Ｅの左端部であり、「ｃ」は、上端部である。
【０１１７】
ステップＳ１５２において、内枠画素抽出部１０１は、バッファ１２−１，１２−２よりフレームｉおよびフレーム（ｉ−１）のそれぞれの（ｘ，ｙ）上の画素の画素値P（ｉ）（ｘ，ｙ）およびP（ｉ−１）（ｘ，ｙ）を読み出し、差分絶対値演算部１０２に供給する。
【０１１８】
ステップＳ１５３において、差分絶対値演算部１０２は、内枠画素抽出部１０１より供給されてくる画素値P（ｉ）（ｘ，ｙ）とP（ｉ−１）（ｘ，ｙ）との差分絶対値D（ｉ）（ｘ，ｙ）（＝｜P（ｉ）（ｘ，ｙ）−P（ｉ−１）（ｘ，ｙ）｜）を計算し、類似判定部１０３に供給する。このとき、類似判定部１０３の切替スイッチ１１１は、差分絶対値演算部１０２からの差分絶対値のみを受け付けているので、メモリ１１２に差分絶対値D（ｉ）（ｘ，ｙ）が記憶される。
【０１１９】
ステップＳ１５４において、類似判定部１５の差分絶対値比較部１１３は、カウンタxがbであるか否かを判定し、カウンタxがｂではないと判定した場合、ステップＳ１５５において、カウンタｘを１インクリメントし、その処理は、ステップＳ１５２に戻る。ここで、ｂは、領域Ｅの右端部である。すなわち、内枠（領域Ｅ）の水平方向の全ての画素について差分絶対値D（ｉ）（ｘ，ｙ）が求められるまで、ステップＳ１５２乃至Ｓ１５５の処理が繰り返される。
【０１２０】
一方、ステップＳ１５４において、カウンタｘがｂであると判定された場合、ステップＳ１５６において、図１２の類似判定部１５の差分絶対値比較部１１３は、カウンタyがｃであるか否かを判定する。ステップＳ１５６において、例えば、カウンタyがｃではないと判定された場合、ステップＳ１５７において、差分絶対値比較部１１３は、カウンタyを１インクリメントすると共に、カウンタｘを初期化し、その処理は、ステップＳ１５２に戻る。ここで、ｃは、領域Ｅの下端部である。すなわち、内枠（領域Ｅ）の水平方向および垂直方向の画像に含まれる全ての画素について差分絶対値が求められるまで、ステップＳ１５２乃至Ｓ１５７の処理が繰り返される。
【０１２１】
そして、ステップＳ１５６において、カウンタyが「ｃ」であると判定された場合、すなわち、内枠の全ての画素について、差分絶対値が求められたと判定された場合、ステップＳ１５８において、類似判定部１０３は、内枠類似判定処理を実行する。
【０１２２】
ここで、図１５のフローチャートを参照して、内枠類似判定処理について説明する。
【０１２３】
ステップＳ１７１において、差分絶対値比較部１１３は、カウンタｘ，ｙ，Ｃのそれぞれをｘ＝ａ，ｙ＝ｃ，およびＣ＝０に初期化する。
【０１２４】
ステップＳ１７２において、差分絶対値比較部１１３は、差分絶対値D（ｉ）（ｘ，ｙ）をメモリ４１より読み出す。
【０１２５】
ステップＳ１７３において、差分絶対値比較部１１３は、閾値メモリ４３にアクセスし、閾値ｔｈ１1を読み出すと共に、差分絶対値D（ｉ）（ｘ，ｙ）と比較し、差分絶対値D（ｉ）（ｘ，ｙ）が閾値ｔｈ１1よりも小さいか否かを判定し、例えば、重み付加差分絶対値D（ｉ）（ｘ，ｙ）が閾値ｔｈ１1よりも小さいと判定した場合、ステップＳ１７４において、１を比較結果加算部１１５に出力する。
【０１２６】
また、ステップＳ１７３において、差分絶対値D（ｉ）（ｘ，ｙ）が閾値ｔｈ１1よりも小さくないと判定された場合、ステップＳ１７５において、差分絶対値比較部１１３は、０を比較結果加算部１１５に出力する。
【０１２７】
ステップＳ１７６において、比較結果加算部１１５は、差分絶対値比較部１１３より供給されてくる差分絶対値D（ｉ）（ｘ，ｙ）と閾値ｔｈ１1との比較結果をカウンタＣに順次加算して記憶する。
【０１２８】
ステップＳ１７７において、加算結果比較部１１３は、カウンタxがｂであるか否かを判定し、例えば、カウンタxがｂではないと判定した場合、ステップＳ１７８において、カウンタｘを１インクリメントし、その処理は、ステップＳ１７２に戻る。
【０１２９】
一方、ステップＳ１７７において、カウンタxがｂであると判定された場合、ステップＳ１７９において、加算結果比較部１１３は、カウンタyがｄであるか否かを判定し、例えば、カウンタyがｄではないと判定した場合、ステップＳ１８０において、カウンタyを１インクリメントすると共に、カウンタｘを初期化し、その処理は、ステップＳ１７２に戻る。
【０１３０】
すなわち、内枠の画素について全ての比較結果が加算されるまで、ステップＳ１７２乃至Ｓ１８０の処理が繰り返される。
【０１３１】
そして、ステップＳ１７９において、カウンタyがｄであると判定された場合、すなわち、内枠の画素について全ての画素に対して比較結果が加算されたと判定された場合、ステップＳ１８１において、加算結果比較部１１６は、閾値メモリ１１７にアクセスし、閾値ｔｈ１２を読み出し、比較結果加算部１１５により比較結果が加算されたカウンタＣの値が閾値ｔｈ１２よりも大きいか否かを判定する。ステップＳ１７９において、例えば、カウンタＣの値が閾値ｔｈ１２よりも大きいと判定されたとき、ステップＳ１８２において、加算結果比較部１１６は、フレームｉとフレーム（ｉ−１）とが類似していることを示す１を、総合判定部１１８に供給する。
【０１３２】
一方、ステップＳ１８１において、カウンタＣの値が閾値ｔｈ１２よりも大きくないと判定された場合、ステップＳ１８３において、加算結果比較部１１６は、フレームｉとフレーム（ｉ−１）とが類似していないことを示す０を、総合判定部１１８に供給する。
【０１３３】
以上の処理により、内枠、すなわち、領域Ｅに該当する画素についてのみ類似判定処理が実行されることにより、内枠の領域Ｅについてフレームｉおよびフレーム（ｉ−１）が類似しているか否かが判定される。
【０１３４】
この処理により、図１４のフローチャートを参照して説明した内枠処理が終了することになる。
【０１３５】
ここで、図１３のフローチャートの説明に戻る。
【０１３６】
ステップＳ１２５において、内枠処理により、フレームｉおよびフレーム（ｉ−１）が類似しているか否かが判定されると、ステップＳ１２６において、総合判定部１１８は、判定結果が１、すなわち、類似していると判定されたか否かを判定する。ステップＳ１２５において、例えば、内枠である領域Ｅについては、フレームｉおよびフレーム（ｉ−１）が類似していると判定されていた場合、すなわち、判定結果として１が出力されてきた場合、ステップＳ１２７において、総合判定部１１８は、切替スイッチ１１１を制御して、重み付け処理部１４から供給される、外枠、すなわち、領域Ａ乃至Ｄに該当する画素から求められる重み付加差分絶対値のみを受け付けるように切り替えさせると共に、外枠画素抽出部１０１に対して外枠画素を順次読み出し、差分絶対値演算部１０５に供給させる。
【０１３７】
ステップＳ１２８において、外枠処理が実行される。
【０１３８】
ここで、図１６のフローチャートを参照して、外枠処理について説明する。
【０１３９】
ステップＳ２０１において、外枠画素抽出部１０４は、図示せぬカウンタｘ，ｙをx=y=０に初期化する。ここで、カウンタｘ，ｙは、フレーム間の各画素の画面上の座標位置を示すためのカウンタである。
【０１４０】
ステップＳ２０２において、外枠画素抽出部１０４は、バッファ１２−１，１２−２よりフレームｉおよびフレーム（ｉ−１）のそれぞれの（ｘ，ｙ）上の画素の画素値P（ｉ）（ｘ，ｙ）およびP（ｉ−１）（ｘ，ｙ）を読み出し、差分絶対値演算部１０５に供給する。
【０１４１】
ステップＳ２０３において、差分絶対値演算部１０５は、内枠画素抽出部１０１より供給されてくる画素値P（ｉ）（ｘ，ｙ）とP（ｉ−１）（ｘ，ｙ）との差分絶対値D（ｉ）（ｘ，ｙ）（＝｜P（ｉ）（ｘ，ｙ）−P（ｉ−１）（ｘ，ｙ）｜）を計算し、重み付け処理部１４に供給する。
【０１４２】
ステップＳ２０４において、重み付け処理部１４は、重み付け処理を実行する。尚、重み付け処理については、図６のフローチャートを参照して説明した処理と同様であるので、その説明は省略するものとする。
【０１４３】
ステップＳ２０５において、類似判定部１０３の差分絶対値比較部１１３は、カウンタxがｘｍａｘであるか否かを判定し、カウンタxがｘｍａｘではないと判定した場合、その処理は、ステップＳ２０６に進む。
【０１４４】
ステップＳ２０６において、差分絶対値比較部１１３は、カウンタｘがｘ＝ａで、かつ、カウンタｙがｃ＜ｙ＜ｄであるか否かを判定する。すなわち、ｃ＜ｙ＜ｄとは、内枠である領域Ｅの垂直方向の領域であり、カウンタｘがａであるとは、内枠の上端部であるので、今現在の画素位置が、外枠（領域Ａ乃至Ｄ）と、内枠（領域Ｅ）との図２中の右端部の境界であるか否かが判定される。
【０１４５】
ステップＳ２０６において、例えば、カウンタｘがｘ＝ａで、かつ、カウンタｙがｃ＜ｙ＜ｄではないと判定された場合、ステップＳ２０７において、差分絶対値比較部１１３は、カウンタｘを１インクリメントし、その処理は、ステップＳ２０２に戻る。
【０１４６】
また、ステップＳ２０６において、例えば、カウンタｘがｘ＝ａで、かつ、カウンタｙがｃ＜ｙ＜ｄであると判定された場合、ステップＳ２０８において、差分絶対値比較部１１３は、カウンタｘを（ｂ−ａ）をインクリメントし、その処理は、ステップＳ２０２に戻る。すなわち、内枠の右端部と、外枠の境界であった場合、内枠の領域を水平方向に飛び越えるようにカウンタｘがインクリメントされる。すなわち、外枠（領域Ａ乃至Ｄ）の水平方向の全ての画素について重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が求められるまで、ステップＳ２０２乃至Ｓ２０８の処理が繰り返される。
【０１４７】
一方、ステップＳ２０５において、カウンタｘがｘｍａｘであると判定された場合、ステップＳ２０９において、図１２の類似判定部１０３の差分絶対値比較部１１３は、カウンタyがｙｍａｘであるか否かを判定する。ステップＳ２０９において、差分絶対値比較部１１３は、カウンタyがｙｍａｘではないと判定した場合、ステップＳ２１０において、例えば、カウンタyがｙ＝ｃで、かつ、カウンタｘがａ＜ｘ＜ｂであるか否かを判定する。
【０１４８】
ステップＳ２１０において、カウンタyがｙ＝ｃで、かつ、カウンタｘがａ＜ｘ＜ｂではないと判定された場合、ステップＳ２１１において、差分絶対値比較部１１３は、カウンタｙを１インクリメントし、カウンタｘを０に初期化し、その処理は、ステップＳ２０２に戻る。
【０１４９】
また、ステップＳ２１０において、例えば、カウンタｘがａ＜x＜ｂで、かつ、カウンタｙがａ＜ｙ＜ｂであると判定された場合、カウンタyを（ｄ−ｃ）だけインクリメントし、その処理は、ステップＳ２０２に戻る。すなわち、内枠の上端部と、外枠の境界であった場合、内枠の領域を垂直方向に飛び越えるようにカウンタｙがインクリメントされる。すなわち、外枠（領域Ａ乃至Ｄ）の垂直方向の全ての画素について重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が求められるまで、ステップＳ２０２乃至Ｓ２１２の処理が繰り返される。
【０１５０】
そして、ステップＳ２０９において、カウンタyがｙｍａｘであると判定された場合、すなわち、外枠の全ての画素について、差分絶対値が求められたと判定された場合、ステップＳ２１３において、類似判定部１０３は、外枠類似判定処理を実行する。
【０１５１】
ここで、図１７のフローチャートを参照して、外枠類似判定処理について説明する。
【０１５２】
ステップＳ２３１において、差分絶対値比較部１１３は、カウンタｘ，ｙ，Ｃのそれぞれをｘ＝ｙ＝Ｃ＝０に初期化する。
【０１５３】
ステップＳ２３２において、差分絶対値比較部１１３は、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）をメモリ１１２より読み出す。
【０１５４】
ステップＳ２３３において、差分絶対値比較部１１３は、閾値メモリ１１２にアクセスし、閾値ｔｈ１３を読み出すと共に、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）と比較し、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が閾値ｔｈ１３よりも小さいか否かを判定し、例えば、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が閾値ｔｈ１３よりも小さいと判定した場合、ステップＳ２３４において、１を比較結果加算部１１５に出力する。
【０１５５】
また、ステップＳ２３３において、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）が閾値ｔｈ１３よりも小さくないと判定された場合、ステップＳ２３５において、差分絶対値比較部１１３は、０を比較結果加算部１１５に出力する。
【０１５６】
ステップＳ２３６において、比較結果加算部１１５は、差分絶対値比較部１１３より供給されてくる重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）と閾値ｔｈ１３との比較結果をカウンタＣに順次加算して記憶する。
【０１５７】
ステップＳ２３７において、加算結果比較部１１３は、カウンタxがｘｍａｘであるか否かを判定し、例えば、カウンタxがｘｍａｘではないと判定した場合、ステップＳ２３８において、カウンタｘがｘ＝ａで、かつ、カウンタyがｃ＜ｙ＜ｄであるか否かを判定する。ステップＳ２３８において、カウンタｘがｘ＝ａで、かつ、カウンタyがｃ＜ｙ＜ｄではないと判定された場合、ステップＳ２３９において、加算結果比較部１１３は、カウンタｘを１インクリメントし、その処理は、ステップＳ２３２に戻る。
【０１５８】
また、ステップＳ２３８において、カウンタｘがｘ＝ａで、かつ、カウンタyがｃ＜ｙ＜ｄであると判定された場合、ステップＳ２３９において、加算結果比較部１１３は、カウンタｘを（ｂ−ａ）だけインクリメントし、その処理は、ステップＳ２３２に戻る。
【０１５９】
一方、ステップＳ２３７において、カウンタxがｘｍａｘであると判定された場合、ステップＳ２４１において、加算結果比較部１１３は、カウンタyがｙｍａｘであるか否かを判定する。ステップＳ２４１において、例えば、カウンタyがｙｍａｘではないと判定された場合、ステップＳ２４２において、加算結果比較部１１３は、カウンタｘがａ＜ｘ＜ｂで、かつ、カウンタｙがｃであるか否かを判定する。
【０１６０】
ステップＳ２４２において、カウンタｘがａ＜ｘ＜ｂで、かつ、カウンタｙがｃではないと判定された場合、ステップＳ２４３において、加算結果比較部１１３は、カウンタyを１インクリメントすると共に、カウンタｘを０に初期化して、その処理は、ステップＳ２３２に戻る。
【０１６１】
また、ステップＳ２４２において、カウンタｘがａ＜ｘ＜ｂで、かつ、カウンタｙがｃであると判定された場合、ステップＳ２４４において、加算結果比較部１１３は、カウンタyを（ｄ−ｃ）だけインクリメントして、その処理は、ステップＳ２３２に戻る。
【０１６２】
すなわち、外枠の画素について全ての比較結果が加算されるまで、ステップＳ２３２乃至Ｓ２４４の処理が繰り返される。
【０１６３】
そして、ステップＳ２４１において、カウンタyがｙｍａｘであると判定された場合、すなわち、外枠の画素について全ての画素に対して比較結果が加算されたと判定された場合、ステップＳ２４５において、加算結果比較部１１６は、閾値メモリ１１７にアクセスし、閾値ｔｈ１４を読み出し、比較結果加算部１１５により比較結果が加算されたカウンタＣの値が閾値ｔｈ１４よりも大きいか否かを判定し、カウンタＣの値が閾値ｔｈ１４よりも大きいとき、ステップＳ２４６において、フレームｉとフレーム（ｉ−１）とが類似していることを示す１を、総合判定部１１８に出力する。このとき、総合判定部１１８は、さらに、この結果を周波数検出部１６に出力し、メモリ１６ａに蓄積させる。
【０１６４】
一方、ステップＳ２４５において、カウンタＣの値が閾値ｔｈ１４よりも大きくないと判定された場合、ステップＳ２４７において、加算結果比較部１１５は、フレームｉとフレーム（ｉ−１）とが類似していないことを示す０を、総合判定部１１８に出力する。このとき、総合判定部１１８は、さらに、この結果を周波数検出部１６に出力し、メモリ１６ａに蓄積させる。
【０１６５】
以上の処理により、外枠、すなわち、領域Ａ乃至Ｄに該当する画素についてのみ類似判定処理が実行されることにより、外枠の領域Ａ乃至Ｄについてフレームｉおよびフレーム（ｉ−１）が類似しているか否かが判定され、さらに、この判定結果が最終結果として周波数検出部１６に出力される。
【０１６６】
結果として、図１３のフローチャートにおけるステップＳ１２９において、判定結果のパターンに基づいて、周波数が検出される。
【０１６７】
尚、内枠と外枠の処理を別個にしているため、閾値メモリ１１４に記憶されている内枠用の閾値ｔｈ１1と外枠用の閾値ｔｈ１３は、加算すると、上述した閾値ｔｈ１となるようにしてもよい。また、同様に、閾値メモリ１１７に記憶されている内枠用の閾値ｔｈ１２と外枠用の閾値ｔｈ１４は、加算すると、上述した閾値ｔｈ２となるようにしてもよい。
【０１６８】
以上の処理においては、内枠処理により、フレームｉとフレーム（ｉ−１）とが類似していないと判定された場合、ステップＳ１２７，Ｓ１２８における外枠処理はスキップされ、フレームｉとフレーム（ｉ−１）とが類似していると判定された場合にのみ、ステップＳ１２７，Ｓ１２８の処理が実行されることになるので、外枠の画素を用いた処理を大幅に低減させることが可能となるため、精度を落とすことなく、高速でフレーム周波数を検出することが可能となる。
【０１６９】
以上においては、類似判定部１０３における構成が、図３の類似判定部１５の構成を応用した場合について説明してきたが、類似判定部１０３の構成は、図９における類似判定部１５の構成を用いるようにしても良い。
【０１７０】
図１８は、図９における類似判定部１５の構成を用いるようにした類似判定部１０３のその他の構成例を示している。
【０１７１】
切替スイッチ１３１、メモリ１３２、および総合判定部１３６は、基本的に、図１２における切替スイッチ１１１、メモリ１１２、および総合判定部１１８と同様のものである。また、差分絶対値加算部１３３、加算結果比較部１３４、および閾値メモリ１３５は、図９の差分絶対値加算部７１、加算結果比較部７２、および閾値メモリ７３と同様であるが、閾値メモリ１３５には、内枠用の閾値ｔｈ２１と外枠用の閾値ｔｈ２２が記憶されている。
【０１７２】
ここで、図１８の類似判定部１０３を用いた図１１の周波数検出装置１による周波数検出処理について説明するが、図１３のフローチャートにおけるステップＳ１２５，Ｓ１２８の内枠処理および外枠処理のうち、それぞれステップＳ１５８の内枠類似判定処理およびステップＳ２１３の外枠類似判定処理が異なるのみであるので、内枠類似判定処理および外枠類似判定処理のみを説明するものとする。
【０１７３】
まず、図１９のフローチャートを参照して、図１８の類似判定部１０３を用いた内枠類似判定処理について説明する。
【０１７４】
ステップＳ２６１において、差分絶対値加算部１３３は、カウンタｘ，ｙ，Ｓのそれぞれをｘ＝ａ，ｙ＝ｃ，Ｓ＝０に初期化する。
【０１７５】
ステップＳ２６２において、差分絶対値加算部１３３は、差分絶対値D（ｉ）（ｘ，ｙ）をメモリ１３２より読み出す。
【０１７６】
ステップＳ２６３において、差分絶対値加算部１３３は、カウンタＳに差分絶対値D（ｉ）（ｘ，ｙ）を加算する。
【０１７７】
ステップＳ２６４において、加算結果比較部１３４は、カウンタxがｂであるか否かを判定し、例えば、カウンタxがｂではないと判定した場合、ステップＳ２６５において、カウンタｘを１インクリメントし、その処理は、ステップＳ２６２に戻る。
【０１７８】
一方、ステップＳ２６４において、カウンタxがｂであると判定された場合、ステップＳ２６６において、加算結果比較部１３４は、カウンタyがｄであるか否かを判定し、例えば、カウンタyがｄではないと判定した場合、ステップＳ２６７において、カウンタyを１インクリメントし、カウンタｘを０に初期化して、その処理は、ステップＳ２６２に戻る。
【０１７９】
すなわち、全ての比較結果が加算されるまで、ステップＳ２６２乃至Ｓ２６７の処理が繰り返される。
【０１８０】
そして、ステップＳ２６６において、カウンタyがｄであると判定された場合、すなわち、内枠の全ての画素に対して比較結果が加算されたと判定された場合、ステップＳ２６８において、加算結果比較部１３４は、閾値メモリ１３５にアクセスし、閾値ｔｈ２１を読み出し、差分絶対値加算部１３３により重み付加差分絶対値が加算されたカウンタＳの値が閾値ｔｈ２１よりも小さいか否かを判定し、カウンタＳの値が閾値ｔｈ３よりも小さいとき、ステップＳ２８９において、フレームｉとフレーム（ｉ−１）とが類似していることを示す１を、総合判定部１３６に出力する。
【０１８１】
一方、ステップＳ２６８において、カウンタＳの値が閾値ｔｈ２１よりも小さくないと判定された場合、ステップＳ２７０において、加算結果比較部１３４は、フレームｉとフレーム（ｉ−１）とが類似していないことを示す０を総合判定部１３６に出力する。
【０１８２】
すなわち、以上の処理により、内枠の画素のみにより類似しているか否かを判定しようとするフレーム間の同一位置の画素間の差分絶対値がカウンタＳに加算される。結果として、内枠の画素が類似していればカウンタＳの値は閾値ｔｈ２１よりも小さくなり、この場合にのみフレームｉとフレーム（ｉ−１）とが類似しているとみなされる。
【０１８３】
次に、図２０のフローチャートを参照して、外枠類似判定処理について説明する。
【０１８４】
ステップＳ２９１において、差分絶対値加算部１３３は、カウンタｘ，ｙ，Ｓのそれぞれをｘ＝ｙ＝Ｓ＝０に初期化する。
【０１８５】
ステップＳ２９２において、差分絶対値加算部１３３は、重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）をメモリ１３２より読み出す。
【０１８６】
ステップＳ２９３において、差分絶対値加算部１３３は、カウンタＳに重み付加差分絶対値D（ｉ）（ｘ，ｙ）×w（ｘ，ｙ）を加算する。
【０１８７】
ステップＳ２９４において、加算結果比較部１３４は、カウンタxがｂであるか否かを判定し、例えば、カウンタxがｘｍａｘではないと判定した場合、その処理は、ステップＳ２９５に進む。
【０１８８】
ステップＳ２９５において、加算結果比較部１３４は、カウンタｙが、ｃ＜ｙ＜ｄで、かつ、カウンタｘが、ｘ＝ａであるか否かを判定し、例えば、カウンタｙが、ｃ＜ｙ＜ｄで、かつ、カウンタｘが、ｘ＝ａではないと判定した場合、ステップＳ２９６において、カウンタｘを１インクリメントし、その処理は、ステップＳ２９２に戻る。
【０１８９】
ステップＳ２９５において、カウンタｙが、ｃ＜ｙ＜ｄで、かつ、カウンタｘが、ｘ＝ａではないと判定された場合、ステップＳ２９７において、加算結果比較部１３４は、カウンタｘを（ｂ−ａ）だけインクリメントし、その処理は、ステップＳ２９２に戻る。
【０１９０】
一方、ステップＳ２９４において、カウンタxがｘｍａｘであると判定された場合、ステップＳ２９８において、加算結果比較部１３４は、カウンタyがｙｍａｘであるか否かを判定する。ステップＳ２９８において、例えば、カウンタyがｙｍａｘではないと判定した場合、ステップＳ２９９において、加算結果比較部１３４は、カウンタｘが、ａ＜ｘ＜ｂで、かつ、カウンタｙが、ｙ＝ｃであるか否かを判定し、例えば、カウンタｘが、ａ＜ｘ＜ｂで、かつ、カウンタｙが、ｙ＝ｃではないと判定した場合、ステップＳ３００において、カウンタｙを１インクリメントし、その処理は、ステップＳ２９２に戻る。
【０１９１】
ステップＳ２９９において、カウンタｘが、ａ＜ｘ＜ｂで、かつ、カウンタｙが、ｙ＝ｃではないと判定された場合、ステップＳ３０１において、加算結果比較部１３４は、カウンタｙを（ｄ−ｃ）だけインクリメントし、その処理は、ステップＳ２９２に戻る。
【０１９２】
すなわち、外枠の全ての比較結果が加算されるまで、ステップＳ２９２乃至Ｓ３０１の処理が繰り返される。
【０１９３】
そして、ステップＳ２９６において、カウンタyがｙｍａｘであると判定された場合、すなわち、外枠の全ての画素に対して比較結果が加算されたと判定された場合、ステップＳ３０２において、加算結果比較部１３４は、閾値メモリ１３５にアクセスし、閾値ｔｈ２２を読み出し、差分絶対値加算部１３３により重み付加差分絶対値が加算されたカウンタＳの値が閾値ｔｈ２２よりも小さいか否かを判定し、カウンタＳの値が閾値ｔｈ２２よりも小さいとき、ステップＳ３０３において、フレームｉとフレーム（ｉ−１）とが類似していることを示す１を、総合判定部１３６に出力する。このとき、総合判定部１３６は、判定結果を周波数検出部１６に出力し、メモリ１６ａに記憶させる。
【０１９４】
一方、ステップＳ３０２において、カウンタＳの値が閾値ｔｈ２２よりも小さくないと判定された場合、ステップＳ３０３において、加算結果比較部１３４は、フレームｉとフレーム（ｉ−１）とが類似していないことを示す０を総合判定部１３６に出力する。このとき、総合判定部１３６は、判定結果を周波数検出部１６に出力し、メモリ１６ａに記憶させる。
【０１９５】
すなわち、以上の処理により、外枠の画素のみにより類似しているか否かを判定しようとするフレーム間の同一位置の画素間の差分絶対値がカウンタＳに加算される。結果として、外枠の画素が類似していればカウンタＳの値は閾値ｔｈ２２よりも小さくなり、この場合にのみフレームｉとフレーム（ｉ−１）とが類似しているとみなされる。
【０１９６】
以上によれば、フレーム間の類似判定をするにあたり、画素間の画素値の差分絶対値を求める際、字幕が表示される領域（字幕領域）における位置であるか否かにより、差分絶対値に重み付けすることにより字幕領域に字幕を含むフレームと含まないフレームとが混在していても、また、字幕領域における字幕の背景の画像が変化するなどしても、正確に類似判定を実現することが可能となり、結果として、字幕領域に字幕を含むフレームと含まないフレームとが混在していても、また、字幕領域の字幕の背景の画像が変化しても、テレシネ映像信号のフレーム周波数を正確に検出することが可能となる。また、以上においては、フレーム単位で類似判定をすることで、フレーム周波数を検出する例について説明してきたが、処理単位をフィールドとすることで、フィールド周波数を正確に検出することも可能である。
【０１９７】
さらに、以上においては、テレシネ映像信号におけるフレーム周波数の検出を例に説明してきたが、テレシネ映像信号に限らず、それ以外の画像信号に対しても適用することが可能であり、例えば、30fpsで撮像したテレビカメラの画像信号、30fpsのCG（Computer Graphics）ソース、各種のプルダウン処理により生成されたアニメーション画像信号、ネットワーク経由で放送されている15fpsなどの画像信号を、60i、60p、または50i（ここで、i，pは、それぞれインタレース画像信号、およびプログレッシブ画像信号を示す）などの既存の伝送フォーマットに変換した後、その信号フォーマットでさらに映像を付加した画像信号にも適用することが可能である。
【０１９８】
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１９９】
図２１は、図１または図１１の周波数検出装置１の電気的な内部構成をソフトウェアにより実現する場合のパーソナルコンピュータの一実施の形態の構成を示している。パーソナルコンピュータのCPU３０１は、パーソナルコンピュータの全体の動作を制御する。また、CPU３０１は、バス３０４および入出力インタフェース３０５を介してユーザからキーボードやマウスなどからなる入力部３０６から指令が入力されると、それに対応してROM(Read Only Memory)３０２に格納されているプログラムを実行する。あるいはまた、CPU３０１は、ドライブ３１０に接続された磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリを含むリムーバブルメディア３１１から読み出され、記憶部３０８にインストールされたプログラムを、RAM(Random Access Memory)３０３にロードして実行する。これにより、上述した図１または図１１の周波数検出装置１の機能が、ソフトウェアにより実現されている。さらに、CPU３０１は、通信部３０９を制御して、外部と通信し、データの授受を実行する。
【０２００】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図２１に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１、または、プログラムが一時的もしくは永続的に格納されるROM３０２や、記憶部３０８を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインタフェースである通信部３０９を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０２０１】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０２０２】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０２０３】
【図１】本発明を適用した周波数検出装置の一実施の形態の構成を示す図である。
【図２】領域単位で重みを設定する場合の領域分割例を説明する図である。
【図３】図１の類似判定部の構成例を示す図である。
【図４】重み設定処理を説明するフローチャートである。
【図５】図１の周波数検出装置による周波数検出処理を説明するフローチャートである。
【図６】重み付け処理を説明するフローチャートである。
【図７】図３の類似判定部による類似判定処理を説明するフローチャートである。
【図８】周波数の検出方法を説明する図である。
【図９】図１の類似判定部のその他の構成例を示す図である。
【図１０】図９の類似判定部による類似判定処理を説明するフローチャートである。
【図１１】周波数検出装置のその他の構成例を示す図である。
【図１２】図１１の類似判定部の構成例を示す図である。
【図１３】図１１の周波数検出装置による周波数検出処理を説明するフローチャートである。
【図１４】図１３における内枠処理を説明するフローチャートである。
【図１５】図１４における内枠類似判定処理を説明するフローチャートである。
【図１６】図１３における外枠処理を説明するフローチャートである。
【図１７】図１６における外枠類似判定処理を説明するフローチャートである。
【図１８】図１１の類似判定部のその他の構成例を示す図である。
【図１９】図１８の類似判定部による内枠類似判定処理を説明するフローチャートである。
【図２０】図１８の類似判定部による外枠類似判定処理を説明するフローチャートである。
【図２１】媒体を説明する図である。
【符号の説明】
【０２０４】
１  周波数検出装置，  １１  遅延処理部，  １２−１，１２−２  バッファ，  １３  差分絶対値演算部，  １４  重み付け処理部，  １５  類似判定部，  １６  周波数検出部，  １７  重みテーブル，  ２１  画素位置検出部，  ２２  重み付加部，  ４１メモリ，  ４２  差分絶対値比較部，  ４３  閾値メモリ，  ４４  比較結果加算部，  ４５  加算結果比較部，  ４６  閾値メモリ，  ７１  差分絶対値加算部，  ７２  加算結果比較部，  ７３  閾値メモリ，  １０１  内枠画素抽出部，  １０２  差分絶対値演算部，  １０３  類似判定部，  １０４  外枠画素抽出部，  １０５  差分絶対値演算部，  １１１  切替スイッチ，  １１２  メモリ，  １１３  差分絶対値比較部，  １１４  閾値メモリ，  １１５  比較結果加算部，  １１６  加算結果比較部，  １１７  閾値メモリ，  １１８  総合判定部，  １３１  切替スイッチ，  １３２  メモリ，  １３３  差分絶対値加算部，  １３４  加算結果比較部，  １３５  閾値メモリ，  １３６  総合判定部
【図１】
2007150944.tif 000003
【図２】
2007150944.tif 000004
【図３】
2007150944.tif 000005
【図４】
2007150944.tif 000006
【図５】
2007150944.tif 000007
【図６】
2007150944.tif 000008
【図７】
2007150944.tif 000009
【図８】
2007150944.tif 000010
【図９】
2007150944.tif 000011
【図１０】
2007150944.tif 000012
【図１１】
2007150944.tif 000013
【図１２】
2007150944.tif 000014
【図１３】
2007150944.tif 000015
【図１４】
2007150944.tif 000016
【図１５】
2007150944.tif 000017
【図１６】
2007150944.tif 000018
【図１７】
2007150944.tif 000019
【図１８】
2007150944.tif 000020
【図１９】
2007150944.tif 000021
【図２０】
2007150944.tif 000022
【図２１】
2007150944.tif 000023