(57)【要約】【課題】より正確にシーンチェンジを検出することができるようにする。【解決手段】画像縮小部13は、領域抽出部12により抽出された所定の領域の画像を縮小する。演算部15は２つのフレームの相関を、SPOMFにより演算する。計数部17は、正規化部16により正規化されたSPOMFの演算結果の振幅の大きさが閾値を超えるものの数を計数する。判定部18は、計数値が閾値以上であるときシーンチェンジと判定し、閾値未満であるときシーンチェンジではないと判定する。記憶部19は判定結果を記憶する。【選択図】図10
2007304869.tif 000002
【特許請求の範囲】
【請求項１】
複数の画面の画像信号の位相相関を演算する相関演算手段と、
前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段と
を備える画像処理装置。
【請求項２】
前記相関演算手段は、SPOMFを演算する
請求項１に記載の画像処理装置。
【請求項３】
前記相関演算手段は、
複数の画面の画像信号をフーリエ変換するフーリエ変換手段と、
フーリエ変換して得られた値からクロスパワースペクトルを演算するクロスパワースペクトル演算手段と、
前記クロスパワースペクトルを逆フーリエ変換する逆フーリエ変換手段と
を備える請求項２に記載の画像処理装置。
【請求項４】
前記検出手段は、
前記振幅の数を計数する計数手段と、
前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段と
を備える請求項１に記載の画像処理装置。
【請求項５】
前記検出手段は、前記振幅の値を正規化する正規化手段をさらに備え、
前記計数手段は、正規化された前記振幅の数を計数する
請求項４に記載の画像処理装置。
【請求項６】
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段をさらに備え、
前記相関演算手段は、抽出された領域の画像信号の位相相関を演算する
請求項１に記載の画像処理装置。
【請求項７】
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段をさらに備え、
前記相関演算手段は、縮小された領域の画像信号の位相相関を演算する
請求項６に記載の画像処理装置。
【請求項８】
複数の画面の画像信号から非画像の画面の画像信号を検出する非画像検出手段をさらに備え、
前記相関演算手段は、複数の画面の画像信号が非画像の画面の画像信号でない場合に演算を行う
請求項１に記載の画像処理装置。
【請求項９】
前記非画像検出手段は、
前記画像信号をフーリエ変換するフーリエ変換手段と、
前記フーリエ変換された信号から交流成分を検出する交流成分検出手段と、
検出された前記交流成分が交流成分の閾値より少ない場合、前記相関演算手段による演算を禁止するように制御する制御手段と
を備える請求項８に記載の画像処理装置。
【請求項１０】
複数の画面の画像信号の差分を演算する差分演算手段をさらに備え、
前記相関演算手段は、演算された前記差分が差分の閾値より大きいとき演算を実行する
請求項９に記載の画像処理装置。
【請求項１１】
１つの画面を分割した画像信号が得られるように、前記画面の画像信号を分割する分割手段をさらに備え、
前記相関演算手段は、分割された画面の画像信号のそれぞれの位相相関を演算する
請求項１に記載の画像処理装置。
【請求項１２】
前記相関演算手段の演算結果を利用して、代表画面を検出する代表画面検出手段をさらに備える請求項１に記載の画像処理装置。
【請求項１３】
前記代表画面検出手段は、前記相関演算手段の演算の結果得られた動きベクトルの最小値に対応する画面を代表画面として検出する
請求項１２に記載の画像処理装置。
【請求項１４】
前記画面の画像信号をフーリエ変換するフーリエ変換手段と、
フーリエ変換された画像信号の振幅スペクトルを演算する振幅スペクトル演算手段と、
前記振幅スペクトルを対数極座標に変換する座標変換手段と、
前記対数極座標に変換された信号の位相相関を演算し、その位相相関に基づいて、画面を回転するか、またはスケーリングするための変換処理を行う変換手段とをさらに備え、
前記相関演算手段は、変換処理された画像信号の位相相関を演算する
請求項１に記載の画像処理装置。
【請求項１５】
複数の画面の画像信号の位相相関を演算し、
前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する
ステップを備える画像処理方法。
【請求項１６】
複数の画面の画像信号の位相相関を演算し、
前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する
ステップをコンピュータに実行させるプログラム。
【請求項１７】
請求項１６に記載のプログラムが記録されている記録媒体。
【請求項１８】
複数の画面の画像信号のそれぞれの平均値を演算する平均値演算手段と、
複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算する差分演算手段と、
演算された差分をマッチングするマッチング手段と、
マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段と
を備える画像処理装置。
【請求項１９】
前記検出手段は、
前記振幅の数を計数する計数手段と、
前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段と
を備える請求項１８に記載の画像処理装置。
【請求項２０】
前記検出手段は、前記振幅の値を正規化する正規化手段をさらに備え、
前記計数手段は、正規化された前記振幅の数を計数する
請求項１９に記載の画像処理装置。
【請求項２１】
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段をさらに備え、
前記平均値演算手段は、抽出された領域の画像信号の前記平均値を演算する
請求項１８に記載の画像処理装置。
【請求項２２】
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段をさらに備え、
前記平均値演算手段は、縮小された領域の画像信号の前記平均値を演算する
請求項２１に記載の画像処理装置。
【請求項２３】
複数の画面の画像信号のそれぞれの平均値を演算し、
複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算し、
演算された差分をマッチングし、
マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する
ステップを備える画像処理方法。
【請求項２４】
複数の画面の画像信号のそれぞれの平均値を演算し、
複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算し、
演算された差分をマッチングし、
マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する
ステップをコンピュータに実行させるプログラム。
【請求項２５】
請求項２４に記載のプログラムが記録されている記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置および方法、プログラム並びに記録媒体に関し、特に、より正確にシーンチェンジを検出することができるようにした画像処理装置および方法、プログラム並びに記録媒体に関する。
【背景技術】
【０００２】
最近、テレビジョン放送信号を受信し、ハードディスクなどの大容量の記憶媒体に記憶することが盛んに行われるようになってきた。この場合、ユーザが所望の画面を迅速に検索できるようにするために、各シーン毎に、その代表画面をサムネイル画像として表示することが知られている。シーンの代表画面を検出するには、その前に、各シーン、従ってシーンとシーンの境界としてのシーンチェンジのフレームを検出する（以下、簡単にシーンチェンジを検出するとも称する）必要がある。
【０００３】
特許文献１には、動画像の各フレームについて、前後するフレームの画像情報の差分値を算出し、連続する所定数のフレームにおける差分値の分散を算出し、算出した分散を用いて所定数のフレームに含まれるフレームの差分値の偏差値を算出し、算出した偏差値が閾値よりも大きいかを判定し、偏差値が閾値よりも大きいとき、そのフレームをシーンチェンジのフレームとして検出することが提案されている。
【特許文献１】特開２００３−２９９０００号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１の方法は、明るさや動きの変化に対して反応しがちとなり、同様の内容の画面でも明るさが変化しただけで、シーンチェンジとして誤検出されてしまうおそれがあった。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、より正確にシーンチェンジを検出することができるようにするものである。
【課題を解決するための手段】
【０００６】
本発明の側面は、複数の画面の画像信号の位相相関を演算する相関演算手段と、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段とを備える画像処理装置である。
【０００７】
前記相関演算手段は、SPOMFを演算することができる。
【０００８】
前記相関演算手段は、複数の画面の画像信号をフーリエ変換するフーリエ変換手段と、フーリエ変換して得られた値からクロスパワースペクトルを演算するクロスパワースペクトル演算手段と、前記クロスパワースペクトルを逆フーリエ変換する逆フーリエ変換手段とを備えることができる。
【０００９】
前記検出手段は、前記振幅の数を計数する計数手段と、前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段とを備えることができる。
【００１０】
前記検出手段は、前記振幅の値を正規化する正規化手段をさらに備え、前記計数手段は、正規化された前記振幅の数を計数することができる。
【００１１】
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段をさらに備え、前記相関演算手段は、抽出された領域の画像信号の位相相関を演算することができる。
【００１２】
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段をさらに備え、前記相関演算手段は、縮小された領域の画像信号の位相相関を演算することができる。
【００１３】
複数の画面の画像信号から非画像の画面の画像信号を検出する非画像検出手段をさらに備え、前記相関演算手段は、複数の画面の画像信号が非画像の画面の画像信号でない場合に演算を行うことができる。
【００１４】
前記非画像検出手段は、前記画像信号をフーリエ変換するフーリエ変換手段と、前記フーリエ変換された信号から交流成分を検出する交流成分検出手段と、検出された前記交流成分が交流成分の閾値より少ない場合、前記相関演算手段による演算を禁止するように制御する制御手段とを備えることができる。
【００１５】
複数の画面の画像信号の差分を演算する差分演算手段をさらに備え、前記相関演算手段は、演算された前記差分が差分の閾値より大きいとき演算を実行することができる。
【００１６】
１つの画面を分割した画像信号が得られるように、前記画面の画像信号を分割する分割手段をさらに備え、前記相関演算手段は、分割された画面の画像信号のそれぞれの位相相関を演算することができる。
【００１７】
前記相関演算手段の演算結果を利用して、代表画面を検出する代表画面検出手段をさらに備えることができる。
【００１８】
前記代表画面検出手段は、前記相関演算手段の演算の結果得られた動きベクトルの最小値に対応する画面を代表画面として検出することができる。
【００１９】
前記画面の画像信号をフーリエ変換するフーリエ変換手段と、フーリエ変換された画像信号の振幅スペクトルを演算する振幅スペクトル演算手段と、前記対数極座標に変換された信号の位相相関を演算し、その位相相関に基づいて、画面を回転するか、またはスケーリングするための変換処理を行う変換手段とをさらに備え、前記相関演算手段は、変換処理された画像信号の位相相関を演算することができる。
【００２０】
本発明の側面はまた、複数の画面の画像信号の位相相関を演算し、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出するステップを備える画像処理方法またはプログラムである。
【００２１】
前記プログラムは記録媒体に記録することができる。
【００２２】
本発明の他の側面は、複数の画面の画像信号のそれぞれの平均値を演算する平均値演算手段と、複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算する差分演算手段と、演算された差分をマッチングするマッチング手段と、マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段とを備える画像処理装置である。
【００２３】
前記検出手段は、前記振幅の数を計数する計数手段と、前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段とを備えることができる。
【００２４】
前記検出手段は、前記振幅の値を正規化する正規化手段をさらに備え、前記計数手段は、正規化された前記振幅の数を計数することができる。
【００２５】
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段をさらに備え、前記平均値演算手段は、抽出された領域の画像信号の前記平均値を演算することができる。
【００２６】
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段をさらに備え、前記平均値演算手段は、縮小された領域の画像信号の前記平均値を演算することができる。
【００２７】
本発明の他の側面はまた、複数の画面の画像信号のそれぞれの平均値を演算し、複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算し、演算された差分をマッチングし、マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出するステップを備える画像処理方法またはプログラムである。
【００２８】
前記プログラムは記録媒体に記録することができる。
【００２９】
本発明の側面においては、複数の画面の画像信号の位相相関が演算され、位相相関の演算の結果得られる画面の座標位置における振幅の値に基づいてシーンチェンジが検出される。
【００３０】
本発明の他の側面においては、複数の画面の画像信号のそれぞれの平均値が演算され、複数の画面の画像信号と、演算されたそれぞれの平均値との差分がマッチングされ、マッチングの結果得られる画面の座標位置における振幅の値に基づいてシーンチェンジが検出される。
【発明の効果】
【００３１】
以上のように、本発明の側面によれば、より正確にシーンチェンジを検出することができる。
【００３２】
同様に、本発明の他の側面によっても、より正確にシーンチェンジを検出することができる。
【発明を実施するための最良の形態】
【００３３】
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
【００３４】
本発明の側面は、複数の画面の画像信号の位相相関を演算する相関演算手段（例えば、図１の演算部15）と、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段（例えば、図１の計数部17、判定部18）とを備える画像処理装置（例えば、図１の画像処理装置１）である。
【００３５】
前記相関演算手段は、複数の画面の画像信号をフーリエ変換するフーリエ変換手段（例えば、図１のフーリエ変換部31A,31B）と、フーリエ変換して得られた値からクロスパワースペクトルを演算するクロスパワースペクトル演算手段（例えば、図１のクロスパワースペクトル検出部51）と、前記クロスパワースペクトルを逆フーリエ変換する逆フーリエ変換手段（例えば、図１の逆フーリエ変換部52）とを備えることができる。
【００３６】
前記検出手段は、前記振幅の数を計数する計数手段（例えば、図１の計数部17）と、前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段（例えば、図１の判定部18）とを備えることができる。
【００３７】
前記検出手段は、前記振幅の値を正規化する正規化手段（例えば、図１の正規化部16）をさらに備え、前記計数手段は、正規化された前記振幅の数を計数することができる。
【００３８】
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段（例えば、図１の領域抽出部12A,12B）をさらに備え、前記相関演算手段は、抽出された領域の画像信号の位相相関を演算することができる。
【００３９】
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段（例えば、図１の画像縮小部13A,13B）をさらに備え、前記相関演算手段は、縮小された領域の画像信号の位相相関を演算することができる。
【００４０】
複数の画面の画像信号から非画像の画面の画像信号を検出する非画像検出手段（例えば、図１の非画像検出部14A,14B）をさらに備え、前記相関演算手段は、複数の画面の画像信号が非画像の画面の画像信号でない場合に演算を行うことができる。
【００４１】
前記非画像検出手段は、前記画像信号をフーリエ変換するフーリエ変換手段（例えば、図１のフーリエ変換部31A,31B）と、前記フーリエ変換された信号から交流成分を検出する交流成分検出手段（例えば、図１の交流成分検出部32A,32B）と、検出された前記交流成分が交流成分の閾値より少ない場合、前記相関演算手段による演算を禁止するように制御する制御手段（例えば、図１の判定部33A,33B）とを備えることができる。
【００４２】
複数の画面の画像信号の差分を演算する差分演算手段（例えば、図13の差分演算部91）をさらに備え、前記相関演算手段は、演算された前記差分が差分の閾値より大きいとき演算を実行することができる。
【００４３】
１つの画面を分割した画像信号が得られるように、前記画面の画像信号を分割する分割手段（例えば、図17の分割部111）をさらに備え、前記相関演算手段は、分割された画面の画像信号のそれぞれの位相相関を演算することができる。
【００４４】
前記相関演算手段の演算結果を利用して、代表画面を検出する代表画面検出手段（例えば、図21の代表画面検出部201）をさらに備えることができる。
【００４５】
前記画面の画像信号をフーリエ変換するフーリエ変換手段（例えば、図29のフーリエ変換部31A,31B）と、フーリエ変換された画像信号の振幅スペクトルを演算する振幅スペクトル演算手段（例えば、図29の振幅スペクトル演算部311A,311B）と、前記振幅スペクトルを対数極座標に変換する座標変換手段（例えば、図29の対数極座標変換部312A,312B）と、前記対数極座標に変換された信号の位相相関を演算し、その位相相関に基づいて、画面を回転するか、またはスケーリングするための変換処理を行う変換手段（例えば、図29の回転／スケーリング変換部304）とをさらに備え、前記相関演算手段は、変換処理された画像信号の位相相関を演算することができる。
【００４６】
本発明の側面はまた、複数の画面の画像信号の位相相関を演算し（例えば、図２のステップS7乃至S9）、前記位相相関の演算の結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する（例えば、図３のステップS10乃至S14）ステップを備える画像処理方法またはプログラムである。
【００４７】
本発明の他の側面は、複数の画面の画像信号のそれぞれの平均値を演算する平均値演算手段（例えば、図32の平均値演算部361A,361B）と、複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算する差分演算手段（例えば、図32の差分演算部362A,362B）と、演算された差分をマッチングするマッチング手段（例えば、図32のマッチング部371）と、マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する検出手段（例えば、図32の計数部17、判定部18）とを備える画像処理装置（例えば、図32の画像処理装置１）である。
【００４８】
前記検出手段は、前記振幅の数を計数する計数手段（例えば、図32の計数部17）と、前記振幅の数が基準値より多いとき、シーンチェンジであると判定する判定手段（例えば、図32の判定部18）とを備えることができる。
【００４９】
前記検出手段は、前記振幅の値を正規化する正規化手段（例えば、図32の正規化部16）をさらに備え、前記計数手段は、正規化された前記振幅の数を計数することができる。
【００５０】
複数の画面の前記画像信号から、前記画面の一部の領域の画像信号を抽出する抽出手段（例えば、図32の領域抽出部12A,12B）をさらに備え、前記平均値演算手段は、抽出された領域の画像信号の前記平均値を演算することができる。
【００５１】
抽出された前記画面の一部の領域を縮小した画像信号を生成する縮小手段（例えば、図32の画像縮小部13A,13B）をさらに備え、前記平均値演算手段は、縮小された領域の画像信号の前記平均値を演算することができる。
【００５２】
本発明の他の側面はまた、複数の画面の画像信号のそれぞれの平均値を演算し（例えば、図33のステップS304）、複数の画面の画像信号と、演算されたそれぞれの前記平均値との差分を演算し（例えば、図33のステップS305）、演算された差分をマッチングし（例えば、図33のステップS306）、マッチングの結果得られる前記画面の座標位置における振幅の値に基づいてシーンチェンジを検出する（例えば、図33のステップS309乃至S313）ステップを備える画像処理方法またはプログラムである。
【００５３】
以下、図を参照して本発明の実施の形態について説明する。
【００５４】
図１は、本発明を適用した画像処理装置の一実施の形態の構成を表している。
【００５５】
画像処理装置１は、画像入力部11A,11B、領域抽出部12A,12B、画像縮小部13A,13B、非画像検出部14A,14B、演算部15、正規化部16、計数部17、判定部18、並びに記憶部19により構成されている。
【００５６】
画像入力部11Aは、例えば、チューナにより構成され、放送されたテレビジョン放送信号を受信し、その受信した信号を領域抽出部12Aに出力する。領域抽出部12Aは、受信された一画面を構成する画像信号のうち、所定の範囲の画像信号を抽出する。画像縮小部13Aは、領域抽出部12Aにより抽出された所定の領域の画像信号を、より少ない画素の画像信号に縮小する。画像縮小部13Aにより縮小された画像信号は、非画像検出部14Aに供給される。
【００５７】
同様に、画像入力部11B、領域抽出部12B、並びに画像縮小部13Bが設けられており、これらは、画像入力部11A、領域抽出部12A、並びに画像縮小部13Aと同様の処理を、それらと異なる画面の画像について行う。なお、画像入力部11Bは省略し、画像入力部11Aの出力を領域抽出部12Bに供給するようにしてもよい。
【００５８】
非画像検出部14A,14Bは、例えば、フラッシュがたかれて全体が白くつぶれてしまった画像のように、実質的には画像とはいえない無意味な画像（以下、非画像と称する）を検出する。非画像検出部14Aは、フーリエ変換部31A、交流成分検出部32A、および判定部33Aにより構成されている。同様に、非画像検出部14Bは、フーリエ変換部31B、交流成分検出部32B、および判定部33Bにより構成されている。
【００５９】
フーリエ変換部31Aは、画像縮小部13Aから供給された画像信号を高速フーリエ変換し、交流成分検出部32Aに出力する。交流成分検出部32Aは、フーリエ変換部31Aより入力された信号の交流成分を検出する。判定部33Aは、交流成分検出部32Aにより検出された交流成分を予め設定されている所定の閾値と比較し、その比較結果に基づいて入力された画像が実質的に非画像であるのかを判定し、その判定結果に基づいてクロスパワースペクトル検出部51の動作を制御する。
【００６０】
非画像検出部14Bのフーリエ変換部31B、交流成分検出部32B、および判定部33Bも、非画像検出部14Aのフーリエ変換部31A、交流成分検出部32A、および判定部33Aと同様に、画像縮小部13Bの出力を処理する。そして、処理した得られた判定結果に基づいて、クロスパワースペクトル検出部51の動作が制御される。
【００６１】
演算部15は、SPOMF(Symmetrical Phase Only Matched Filtering)方式の演算を行う。SPOMFについては“Symmetric Phase-Only Matched Filtering of Fourier-Mellin Transforms for Image Registration and Recognition”IEEE Transaction on Pattern analysis and Machine Intelligence, VOL.16 No.12 December 1994などに記載されている。
【００６２】
演算部15は、この実施の形態の場合、クロスパワースペクトル検出部51と逆フーリエ変換部52により構成されているが、実質的には非画像検出部14A,14Bのフーリエ変換部31A,31Bも演算部15の一部を構成している。すなわち、演算部15のフーリエ変換部は、非画像検出部14A,14Bのフーリエ変換部により代用されている。もちろん、演算部15に専用のフーリエ変換部を設けることもできる。
【００６３】
クロスパワースペクトル検出部51は、フーリエ変換部31Aの出力とフーリエ変換部31Bの出力からクロスパワースペクトルを演算する。このクロスパワースペクトル検出部51の動作は、判定部33A,33Bの出力により制御される。すなわち、いま処理されている画像が実質的に非画像であることが判定部33Aまたは判定部33Bにより検出された場合、クロスパワースペクトル検出部51の処理は禁止される。逆フーリエ変換部52は、クロスパワースペクトル検出部51の出力を逆高速フーリエ変換する。
【００６４】
正規化部16は、逆フーリエ変換部52の出力を正規化する。計数部17は、正規化部16の出力のピークを検出し、その検出結果を判定部18に出力する。判定部18は、計数部17により検出されたピークの数を、予め設定されている所定の基準値と比較し、その比較結果を記憶部19に出力し、記憶させる。記憶部19には、画像入力部11A,11Bより出力された画像信号も記憶される。
【００６５】
次に、図２と図３のフローチャートを参照して、図１の画像処理装置１のシーンチェンジ検出処理について説明する。
【００６６】
ステップS1において、画像入力部11A,11Bはそれぞれ異なる画面の画像を入力する。領域抽出部12A,12Bは、ステップS1で画像入力部11Aより入力された画像から所定の領域を抽出する。具体的には、図４に示されるように、１画面の大きさが720画素×480画素である場合、上から16画素、下から80画素、左端部から104画素、右端部から104画素の外周の範囲が除かれ、その内部の512画素×384画素の範囲の領域が抽出される。テロップなどの文字は、画面の周囲に表示されることが多いため、このような画面の周囲の画像信号を除くことにより、テロップなどの画像や、画面の周囲に模様のある外枠の画像がシーンチェンジの検出に利用され、誤検出されることが防止される。
【００６７】
なお、抽出される境界の外側の画素値を急激に０とするのではなく、クロスフェード的に滑らかに変化させるようにすることで、境界線のスペクトラムの影響を受けにくくすることができる。
【００６８】
次に、ステップS3において画像縮小部13A,13Bは、領域抽出部12A,12Bより入力された画像信号を縮小する。具体的には、例えば図５に示されるように、抽出された512画素×384画素の画面がインターレース方式の画像である場合、一方のフィールドの画像が選ばれる。この画像は、例えば図６に示されるように、512画素×192画素の画面となる。このうちの８画素×６画素のブロックの平均値が演算され、その平均値からなる画面が、図７に示されるように、64画素×32画素の縮小画面として生成される。
【００６９】
このように画素数を大幅に削減することで、これ以降の演算量を低減することができる。また、画素をブロック単位で平均化することにより、粗い画素でフレーム間の相関をみることになる。その結果、フレーム間で回転動作がある場合、一般的には相関性が低くなり、シーンチェンジとして誤検出されることがあるが、粗い画素で相関性をみる場合には、フレーム間で回転動作があったとしても相関性が低くならないので、シーンチェンジではないと判断され易くなる。
【００７０】
次に、ステップS4において、フーリエ変換部31Aは、画像縮小部13Aより入力された画像信号を２次元高速フーリエ変換する。具体的には、式（１）で示される演算が行われる。同様に、フーリエ変換部31Bも式（２）で示される２次元高速フーリエ変換を行う。
【００７１】
【数１】
2007304869.tif 000003
【００７２】
ステップS5において、交流成分検出部32Aは、フーリエ変換部31Aの出力から交流成分を検出する。同様に、交流成分検出部32Bもフーリエ変換部31Bの中から交流成分を検出する。ステップS6において判定部33A,33Bは、それぞれ交流成分検出部32A,32Bの検出結果を予め設定されている所定の閾値として比較し、交流成分が閾値以上かを判定する。
【００７３】
領域抽出部12A,12Bで抽出された異なるフレームの画像うち、その一方のフレームの画像がフラッシュなどにより白くつぶれてしまった非画像であり、他方のフレームの画像がそうではない通常の画像である場合、両者は相関がない（すなわち、シーンチェンジである）と判断されることが多い。しかしながら、このような場合には、実際にはシーンチェンジではなく、たまたま連続する画面の１つがフラッシュにより明るい画像として表示されているにすぎない。そこでこのようなフレームが、シーンチェンジとして検出されるのは好ましくない。フラッシュなどにより画像が白くつぶれしている場合の高速フーリエ変換の計数は交流成分が少なくなる。そこで、交流成分が予め設定されている閾値より少ない場合には、ステップS14において、判定部33A,33Bは、現在処理しているフレームは、シーンチェンジではないと判定する。これにより、白くつぶれた画像がシーンチェンジと誤検出されることが抑制される。
【００７４】
次に、ステップS15において、判定部33A,33Bは、すべてのフレームを検出したかを判定する。まだ、すべてのフレームを検出していない場合、処理はステップS1に戻り、それ以降の処理が繰り返し実行される。
【００７５】
ステップS6において、交流成分が閾値以上であると判定された場合、ステップS7において、クロスパワースペクトル検出部51は、クロスパワースペクトルを検出する。具体的には、クロスパワースペクトル検出部51は、クロスパワースペクトルとして式（３）または式（４）を演算する。
【００７６】
【数２】
2007304869.tif 000004
【００７７】
fx,fyは、周波数空間を表し、G*(fx,fy)の＊は、G(fx,fy)の複素共役を意味する。
【００７８】
ステップS8において、逆フーリエ変換部52は、クロスパワースペクトル検出部51の出力するクロスパワースペクトルを２次元逆高速フーリエ変換する。具体的には、式（５）に示される値s(x,y)が演算される。
【００７９】
【数３】
2007304869.tif 000005
【００８０】
ステップS9において、正規化部16は、逆フーリエ変換部52の出力s(x,y)を最大値が１になるように正規化する。具体的には、次の式（６）が演算される。式（６）の右辺の分母は、値s(x,y)の絶対値の最大値を意味する。
【００８１】
【数４】
2007304869.tif 000006
【００８２】
計数部17は、ステップS10において、閾値以上の大きさの振幅の数を計数する。ステップS11において、判定部18は、ステップS10における計数値が予め設定されている閾値以上かを判定する。計数値が閾値以上である場合には、ステップS12において判定部18は、今処理中の画面はシーンチェンジであると判定する。これに対して計数値が閾値以上ではないと判定された場合、ステップS14において判定部18は、今処理中の画面はシーンチェンジではないと判定する。
【００８３】
すなわち、正規化部16により正規化された逆フーリエ変換部52の出力は、相関性が低い場合、図８に示されるようになり、相関性が高い場合、図９に示されるようになる。これらの値は画面の位置を表すｘ,ｙ座標における演算値を表している。シーンチェンジである場合には、２つのフレームの相関性が低くなるため、図８に示されるように、各座標における振幅の大きさが予め設定されている基準値を超えるものの数が多くなる。これに対して、シーンチェンジではない場合には、２つのフレームの相関が高いため、振幅の大きさが閾値を超えるものの数は少なくなる。そこで、ステップS11、ステップS12、およびステップS14の判定処理が行われることになる。
【００８４】
ステップS12において、シーンチェンジであると判定された場合、ステップS13において、記憶部19は判定結果を記憶する。すなわち、今処理中のフレームがシーンチェンジであることが、記憶部19に画像入力部11Aより入力されたそのフレームの画像信号に対応付けて記憶される。
【００８５】
ステップS13,S14の処理の後、ステップS15において、判定部18はすべてのフレームを検出したかを判定し、まだ検出していないフレームが存在する場合には、処理はステップS1に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
【００８６】
図１の実施の形態においては、異なるフレームの画像を処理するそれぞれ専用の処理部（２チャンネルの処理部）を設けるようにしたが、一部を兼用することも可能である。図10は、この場合の構成を表している。
【００８７】
すなわち、図10の画像処理装置１においては、画像入力部11、領域抽出部12、画像縮小部13、および非画像検出部14が、それぞれ１チャンネル分のみ設けられている。そして、演算部15にはクロスパワースペクトル検出部51と逆フーリエ変換部52以外に、遅延部71が設けられている。交流成分検出部32および判定部33とともに非画像検出部14を構成するフーリエ変換部31の出力が、交流成分検出部32に供給されるだけでなく、演算部15のクロスパワースペクトル検出部51と遅延部71に供給される。そして、遅延部71により所定のフレーム数に対応する時間だけ遅延されたフーリエ変換部31の出力が、クロスパワースペクトル検出部51に供給されている。その他の構成は、図１における場合と同様である。
【００８８】
図11と図12は、図10の実施の形態のシーンチェンジ検出処理を表している。このステップS31乃至ステップS46の処理は、図２と図３のステップS1乃至ステップS15の処理と基本的に同様の処理である。ただし、図２のステップS6に対応するステップS36と、ステップS7に対応するステップS38の間に、ステップS37の処理が挿入されている点が異なっている。
【００８９】
すなわち、この実施の形態においては、ステップS36で交流成分が閾値以上であると判定された場合には、ステップS37において、遅延部71がフーリエ変換部31の出力を所定のフレーム数に対応する時間だけ遅延する。そして、遅延された信号が、クロスパワースペクトル検出部51に供給される。ステップS38において、クロスパワースペクトル検出部51は、フーリエ変換部31より供給された直接入力された信号と、遅延部71を介して供給された異なるフレームの信号とから、クロスパワースペクトルを検出する。その他の処理は、図１における場合と同様である。
【００９０】
図10の実施の形態は、図１の実施の形態に較べて、構成を簡略化することができる。
【００９１】
図13は、画像処理装置１の他の実施の形態の構成を表している。この実施の形態においては、画像縮小部13A,13Bと非画像検出部14A,14Bの間に簡易検出部81が設けられている。簡易検出部81は、差分演算部91と判定部92を有している。差分演算部91は、画像縮小部13Aと画像縮小部13Bの出力の差分を演算し、その演算結果を判定部92に出力している。判定部92は、差分演算部91の差分演算結果に基づいて判定を行い、フーリエ変換部31A,31Bの動作を制御するように構成されている。その他の構成は、図１における場合と同様である。
【００９２】
次に、図14と図15のフローチャートを参照して、図13の画像処理装置１のシーンチェンジ検出処理について説明する。
【００９３】
ステップS51において、画像入力部11A,11Bは異なるフレームの画像を入力する。ステップS52において、領域抽出部12A,12Bは、画像入力部11A,11Bより入力された画像信号から所定の領域を抽出する。ステップS53において、画像縮小部13A,13Bは、領域抽出部12A,12Bで抽出された領域の画像を縮小する。以上のステップS51乃至ステップS53の処理は、図２のステップS1乃至ステップS3の処理と同様の処理である。
【００９４】
次に、ステップS54において、差分演算部91は、画像縮小部13Aの出力と画像縮小部13Bの出力の差分を演算する。ステップS55において、判定部92は、ステップS54の処理で演算された差分を予め設定されている所定の閾値と比較し、差分が閾値以上であるかを判定する。差分が閾値以上ではない場合には、処理はステップS51に戻り、それ以降の処理が繰り返し実行される。これに対して、差分が閾値以上である場合には、処理はステップS56に進む。ステップS56乃至ステップS67の処理は、図２のステップS4乃至図３のステップS15の処理と同様の処理である。
【００９５】
すなわち、この実施の形態においては、ステップS55において差分が閾値以上ではないと判定された場合には、ステップS56以降の処理が禁止される。差分が閾値以上である場合においてのみ、ステップS56以降の処理が実施される。シーンチェンジである場合には、異なる２つのフレームの画像の差分は閾値以上となることが多い。これに対して、シーンチェンジではない場合には、その差分は比較的小さいものとなる。従って、差分を閾値と比較することで、シーンチェンジを簡易に検出し、シーンチェンジでないことが簡易に検出された場合には、それ以降の詳細なシーンチェンジの検出処理を禁止することによって無駄に処理が行われることが防止される。
【００９６】
図13の実施の形態においても、各フレームの画像を処理する処理部を兼用することが可能である。図16はこの場合の実施の形態を表している。
【００９７】
すなわち、この実施の形態においては、図10の実施の形態における画像縮小部13と非画像検出部14の間に、簡易検出部81が挿入されている構成となっている。そして、簡易検出部81には、差分演算部91と判定部92以外に、遅延部101が設けられている。遅延部101は、画像縮小部13の出力を所定フレーム数に対応する時間だけ遅延して、差分演算部91に出力する。差分演算部91は、遅延部101を介して入力された画像信号と、遅延部101を介さずに画像縮小部13から直接入力された画像信号の差分を演算し、その演算結果を判定部92に出力する。
【００９８】
すなわち、この実施の形態においては、遅延部101により、所定フレーム分だけ画像縮小部13の出力を遅延して差分演算部91に出力することで、差分演算部91に異なるフレームの画像信号を供給し、その差分を演算させることができる。これにより構成を簡略化しつつ、無駄な処理を抑制することが可能となる。
【００９９】
以上の実施の形態においては、フレーム単位で画像を処理するようにしたが、フレームを複数の領域に分割し、その分割された各部分毎に処理することも可能である。図17の実施の形態は、この場合の構成を表している。すなわち、この実施の形態においては、画像入力部11、領域抽出部12、並びに画像縮小部13により処理された画像が、分割部111に供給され、２つの異なる領域の画像の信号に分割される。
【０１００】
具体的には、分割部111は、図18に示されるように、画像縮小部13により64画素×32画素の大きさに縮小された画像が、32画素×32画素の２つの領域に分割される。そして、一方の領域（例えば、図18において、図中左側に示される領域）の画像信号を処理するために、非画像検出部14A、演算部15A、正規化部16A、計数部17A、並びに判定部18Aがそれぞれ設けられており、他方の領域（図18において、図中右側に示される領域）の画像信号を処理するために、非画像検出部14B、演算部15B、正規化部16B、計数部17B、並びに判定部18Bが設けられている。
【０１０１】
すなわち、分割された各領域の信号を処理するための構成は、図10における場合と同様となっている。
【０１０２】
次に、図19と図20のフローチャートを参照して、図17の実施の形態のシーンチェンジ検出処理について説明する。
【０１０３】
ステップS81において、画像入力部11は画像を入力する。ステップS82において、領域抽出部12は、画像入力部11より入力された画像信号の所定の領域を抽出する。ステップS83において、画像縮小部13は、領域抽出部12より供給された所定の領域の画像を縮小する。以上のステップS81乃至ステップS83の処理は、図２におけるステップS1乃至ステップS3の処理と同様の処理である。
【０１０４】
次に、ステップS84において、分割部111は、図18に示されるように、画像縮小部13より供給された64画素×32画素の画像を32画素×32画素の２つの領域の画像に分割し、一方の画像信号を非画像検出部14Aに供給し、他方の画像信号を非画像検出部14Bに供給する。
【０１０５】
後は、各分割画像毎に上述した場合と同様の処理が実行される。すなわち、ステップS85において、非画像検出部14Aのフーリエ変換部31Aは、分割部111より供給された32画素×32画素の画像信号を２次元高速フーリエ変換する。ステップS86において、交流成分検出部32Aは、フーリエ変換部31Aより入力された信号の交流成分を検出する。ステップS87において、判定部33Aは、交流成分検出部32Aより供給された交流成分が閾値以上であるかを判定する。交流成分が閾値以上ではない場合、判定部33Aは、クロスパワースペクトル検出部51Aの動作を禁止する。また、この場合、処理はステップS105に進み、判定部33Aは、今処理中の画像がシーンチェンジではないと判定する。その後ステップS106において、判定部33Aは、すべてのフレームを検出したかを判定し、まだ検出していないフレームが存在する場合には、処理はステップS81に戻り、それ以降の処理が繰り返し実行される。
【０１０６】
ステップS87において、交流成分が閾値以上であると判定された場合には、ステップS88において遅延部121Aは、フーリエ変換部31Aより入力された信号を所定のフレーム数に対応する時間だけ遅延する。この遅延信号は、クロスパワースペクトル検出部51Aに供給される。ステップS89において、クロスパワースペクトル検出部51Aは、フーリエ変換部31Aより直接供給された信号と、遅延部121Aを介して供給された異なるフレームの信号とのクロスパワースペクトルを検出する。ステップS90において、逆フーリエ変換部52Aは、クロスパワースペクトル検出部51Aの出力を２次元逆高速フーリエ変換する。
【０１０７】
ステップS91において、正規化部16Aは、逆フーリエ変換部52Aの出力を正規化する。ステップS92において、計数部17Aは、閾値以上の大きさの振幅の数を計数する。ステップS93において、判定部18Aは、ステップS92の処理で計数された計数値が予め設定されている閾値以上であるかを判定する。計数値が閾値以上ではない場合には、処理はステップS105に進み、判定部18Aは、今処理中のフレームはシーンチェンジではないと判定する。その後ステップS106において、判定部18Aは、すべてのフレームを検出したかを判定し、まだ、検出していないフレームが存在する場合には、処理はステップS81に戻り、それ以降の処理が繰り返し実行される。
【０１０８】
ステップS93において、計数値が閾値以上であると判定された場合には、ステップS94乃至ステップS102において、上述したステップS85乃至ステップS93と同様の処理が、他方の分割された32画素×32画素の画像の画像信号に対して、フーリエ変換部31B、交流成分検出部32B、判定部33B、遅延部121B、クロスパワースペクトル検出部51B、逆フーリエ変換部52B、正規化部16B、計数部17B、並びに判定部18Bにより実行される。
【０１０９】
なお、実際には、ステップS94乃至ステップS102の処理は、タイミング的にはステップS85乃至ステップS93の処理と並行に実行される。
【０１１０】
ステップS102において、計数値が閾値以上であると判定された場合、すなわち図18に示されるように、図中左側の32画素×32画素の領域と、図中右側の32画素×32画素の領域の計数値の値が閾値以上であると判定された場合には、つまり、いずれも図８に示されるような状態である場合には、ステップS103において、判定部18Bは、今処理中のフレームがシーンチェンジであると判定する。そして、ステップS104において、記憶部19は、ステップS103で判定された判定結果を記憶する。
【０１１１】
ステップS104またはステップS105の処理の後、ステップS106において判定部18Bは、すべてのフレームを検出したかを判定し、まだ検出していないフレームが存在する場合には処理はステップS81に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
【０１１２】
次に、シーンチェンジの検出に続いて、シーンの代表画面を検出する場合の実施の形態について説明する。図21は、この場合の実施の形態の構成を表している。この実施の形態においては、図10における画像入力部11乃至記憶部19に加えて、さらに代表画面検出部201が設けられている。代表画面検出部201は、ベクトル検出部211および判定部212により構成されている。
【０１１３】
ベクトル検出部211は、逆フーリエ変換部52の出力から動きベクトルを検出する。判定部212は、ベクトル検出部211により検出された動きベクトルのうち、最小の動きベクトルに対応するフレーム番号を検出する。
【０１１４】
次に、図22と図23のフローチャートを参照して、図21の実施の形態のシーンチェンジと代表画面検出処理について説明する。
【０１１５】
ステップS121乃至ステップS145の処理は、図11と図12のステップS31乃至ステップS45の処理と同様の処理である。すなわち、上述したように、これらの処理によりシーンチェンジであるか否かが判定される。そして、その後ステップS146において、ベクトル検出部211は、逆フーリエ変換部52の出力から動きベクトルを検出する。具体的には、図９に示されるような各座標位置におけるSPOMFの演算結果のうちの最大振幅を検出し、その座標位置（より正確には、原点からその座標までの距離）を動きベクトルとして検出する。ステップS147において、判定部212は、今、ステップS146で抽出された動きベクトルが最小の動きベクトルかを判定する。この判定は、それまでに検出され、記憶されている動きベクトルより、今検出された動きベクトルが小さいかを判定することで行われる。今検出された動きベクトルが最小の動きベクトルである場合には、すなわち、今検出された動きベクトルが記憶されている動きベクトルより小さい場合には、ステップS148において、記憶部19は、ステップS146で今検出された最小の動きベクトルに対応するフレーム番号を記憶する。ステップS147において、今検出された動きベクトルが、最小の動きベクトルではないと判定された場合には、ステップS148の処理はスキップされる。
【０１１６】
ステップS149において、判定部212は、すべてのフレームを検出したかを判定する。まだすべてのフレームを検出していない場合には、処理はステップS121戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジと代表画面検出処理は終了される。
【０１１７】
以上のようにして、最も動きが少ないフレームが（図９に示されるように、最大の振幅の座標が最も原点（0,0）に近いフレームが）各シーンの代表画面として記憶される。これにより、例えば、シーンチェンジ後一定時間後のフレームを代表画面とするような場合に比べて、手振れでシャッタ速度がある程度長い場合にぼけた画像が代表画面とされてしまったり、オートフォーカスも正しくない画像が代表画面とされてしまうようなことが抑制される。
【０１１８】
図24は、代表画面を検出する他の実施の形態を表している。この実施の形態は、図１の実施の形態に、ベクトル検出部211と判定部212を有する代表画面検出部201を付加した構成とされている。この場合のシーンチェンジと代表画面検出処理は、図２と図３のステップS1乃至ステップS15の処理の後に、図23におけるステップS146乃至ステップS149を付加した場合と同様の処理となる。
【０１１９】
図25は、図17の実施の形態に、図16の簡易検出部81と図21の代表画面検出部201を付加した構成を表している。この実施の形態においては、簡易検出部81の遅延部101に画像縮小部13の出力が供給されているとともに、判定部92の出力が非画像検出部14Aのフーリエ変換部31Aと非画像検出部14Bのフーリエ変換部31Bを制御するように構成されている。また、代表画面検出部201のベクトル検出部211には、逆フーリエ変換部52Aの出力と逆フーリエ変換部52Bの出力とが供給されている。その他の構成は、図17における場合と同様である。
【０１２０】
次に、図26乃至図28のフローチャートを参照して、図25の実施の形態のシーンチェンジと代表画面検出処理について説明する。
【０１２１】
ステップS171において、画像入力部11は画像を入力する。ステップS172において、領域抽出部12は、画像入力部11より入力された画像の所定の領域を抽出する。ステップS173において、画像縮小部13は領域抽出部12により抽出された画像を縮小する。ステップS174において、遅延部101は、画像縮小部13より入力された信号を遅延し、差分演算部91に出力する。ステップS175において、差分演算部91は、画像縮小部13より直接供給された信号と、遅延部101より供給された異なるフレームの信号の差分を演算する。ステップS176において、判定部92は、ステップS175で演算された差分が、予め設定されている閾値以上であるかを判定する。差分が閾値以上ではない場合には、処理はステップS171に戻り、それ以降の処理が繰り返し実行される。
【０１２２】
ステップS176において、差分が閾値以上であると判定された場合、ステップS177において、分割部111は、画像縮小部13より供給された信号を分割する。以下、ステップS178乃至ステップS186において、分割された一方の画面の画像信号に対して、非画像検出部14A、演算部15A、正規化部16A、計数部17A、並びに判定部18Aによる処理が行われ、ステップS187乃至ステップS195において、分割された他方の領域の画像信号に対して、非画像検出部14B、演算部15B、正規化部16B、計数部17B、並びに判定部18Bにより処理が実行される。この場合の処理は、図19のステップS85乃至図20のステップS102の処理と同様の処理である。
【０１２３】
ステップS195において計数値が閾値以上ではないと判定された場合、ステップS180において交流成分が閾値以上ではないと判定された場合、ステップS186において計数値が閾値以上ではないと判定された場合、またはステップS189において交流成分が閾値以上ではないと判定された場合と同様に、ステップS200において、判定部18Bは、今処理中のフレームはシーンチェンジではないと判定する。その後、ステップS202において判定部18Bは、すべてのフレームを検出したかを判定し、まだすべてのフレームを検出してない場合には、処理はステップS171に戻り、それ以降の処理が繰り返し実行される。
【０１２４】
ステップS195において、計数値が閾値以上であると判定された場合、ステップS196において判定部18Bは、今処理されているフレームはシーンチェンジであると判定する。そして、ステップS197において、記憶部19は、ステップS196における判定結果を記憶する。
【０１２５】
以上のようにしてシーンチェンジの検出が行われた後、さらにステップS198において、ベクトル検出部211は動きベクトルを抽出する。より具体的には、ベクトル検出部211は、逆フーリエ変換部52Aの出力と、逆フーリエ変換部52Bの出力のうち、より原点に近い（動きベクトルがより小さい）ものを抽出する。そして、ステップS199において、判定部212は、ステップS198で抽出された動きベクトルが最小の動きベクトルかを判定する。
【０１２６】
今、抽出された動きベクトルが最小の動きベクトルである場合には、ステップS201において、記憶部19は、最小の動きベクトルに対応するフレーム番号を記憶する。今抽出されたのが最小の動きベクトルではない場合には、ステップS201の処理はスキップされる。その後、ステップS202において、判定部18Bはすべてのフレームを検出したかを判定し、まだ検出してないフレームが存在する場合には、処理はステップS171に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジと代表画面検出処理は終了される。
【０１２７】
以上のようにして、記憶部19には、画像入力部11より入力された画像信号が記憶されるとともに、シーンチェンジ並びに各シーンの代表画面（最小の動きの画面）が記憶される。
【０１２８】
画像を縮小することにより、画像の回転がシーンチェンジの検出に悪影響することを抑制することが可能であるが、さらに、図29に示されるように構成することで、回転による悪影響を抑制することが可能である。
【０１２９】
すなわち、図29の実施の形態においては、画像入力部11A、領域抽出部12B、並びに画像縮小部13Aによる処理結果から、非画像検出部14Aにより非画像が検出されるとともに、画像入力部11B、領域抽出部12B、並びに画像縮小部13Bの処理結果から、非画像検出部14Bにより非画像が検出される。非画像検出部14Aのフーリエ変換部31A（演算部15のフーリエ変換部としての機能をも有する）の出力は、演算部15のクロスパワースペクトル検出部51の一方の入力に直接供給されている。
【０１３０】
これに対して、非画像検出部14Bのフーリエ変換部31Bの出力は、回転／スケーリング変換部304に供給されている。回転／スケーリング変換部304は、フーリエ変換部31Bより入力された画像の回転またはスケーリングを、回転／スケーリング検出部303からの制御信号に基づいて変換し、演算部15のフーリエ変換部34に出力する。フーリエ変換部341は、回転／スケーリング変換部304からの信号をフーリエ変換し、クロスパワースペクトル検出部51の他方の入力に供給する。
【０１３１】
非画像検出部14Aのフーリエ変換部31Aの出力はまた、演算部301Aの振幅スペクトル演算部311Aに供給されている。振幅スペクトル演算部311Aは、フーリエ変換部31Aから入力された信号の振幅スペクトルを演算する。演算された結果は、演算部301Aの対数極座標変換部312Aにより対数極座標に変換された後、演算部302のフーリエ変換部331Aに供給されている。振幅スペクトル演算部311Aの動作は、非画像検出部14Aの判定部33Aの出力に基づいて制御される。
【０１３２】
同様に、演算部301Bの振幅スペクトル演算部311Bは、非画像検出部14Bのフーリエ変換部31Bの出力の振幅スペクトルを演算し、演算結果を演算部301Bの対数極座標変換部312Bに出力する。対数極座標変換部312Bは、振幅スペクトル演算部311Bからの信号を対数極座標に変換し、演算部302のフーリエ変換部331Bに出力する。振幅スペクトル演算部311Bの動作は、非画像検出部14Bの判定部33Bの出力に基づいて制御される。
【０１３３】
SPOMFの演算を行う演算部302のクロスパワースペクトル検出部332は、フーリエ変換部331A,331Bの出力のクロスパワースペクトルを検出し、逆フーリエ変換部333は、クロスパワースペクトル検出部332の出力するクロスパワースペクトルを逆高速フーリエ変換する。回転／スケーリング検出部303は、逆フーリエ変換部333の出力から画像の回転またはスケーリングを検出し、その検出結果に基づいて、回転／スケーリング変換部304を制御する。
【０１３４】
演算部15の出力が、正規化部16、計数部17、判定部18、並びに記憶部19により処理されることは、図１における場合と同様である。
【０１３５】
次に、図29の実施の形態のシーンチェンジ検出処理について、図30と図31のフローチャートを参照して説明する。ステップS231において、画像入力部11A,11Bは画像を入力する。ステップS232において、領域抽出部12A,12Bは、それぞれ画像入力部11A,11Bがそれぞれ出力する異なるフレームの画像から所定の領域を抽出する。ステップS233において、画像縮小部13A,13Bは、領域抽出部12A,12Bの出力する画像を縮小する。
【０１３６】
ステップS234において、フーリエ変換部31A,31Bは、それぞれ、画像縮小部13A,13Bが出力する信号を２次元高速フーリエ変換する。具体的には、それぞれ、式（７）または式（８）が演算される。
【０１３７】
【数５】
2007304869.tif 000007
【０１３８】
ステップS235において、交流成分検出部32A,32Bは、それぞれフーリエ変換部31A,31Bの出力の交流成分を検出する。ステップS236において、判定部33A,33Bは、ステップS235で検出された交流成分が、予め設定されている閾値以上かを判定する。交流成分が閾値以上ではない場合には、ステップS252において、判定部33A,33Bは、今処理中のフレームはシーンチェンジではないと判定する。ステップS253において、判定部33A,33Bは、すべてのフレームを検出したかを判定する。まだ、すべてのフレームが検出されていない場合、処理はステップS231に戻り、それ以降の処理が繰り返し実行される。
【０１３９】
ステップS236において、交流成分が閾値以上であると判定された場合、ステップS237において、振幅スペクトル演算部311A,311Bは、それぞれ、フーリエ変換部31A,31Bの出力の振幅スペクトルを演算する。具体的には、それぞれ、式（９）または式（10）が演算される。
【０１４０】
【数６】
2007304869.tif 000008
【０１４１】
次に、ステップS238において、対数極座標変換部312A,312Bは、それぞれ、振幅スペクトル演算部311A,311Bの出力を対数極座標に変換する。具体的には、式（11）または式（12）に基づいて、式（９）または式（10）が、PF(ρ,θ)とPG(ρ,θ)に変換される。
【０１４２】
【数７】
2007304869.tif 000009
【０１４３】
ステップS239において、フーリエ変換部331A,331Bは、それぞれ、対数極座標変換部312A,312Bの出力を２次元高速フーリエ変換する。具体的には、式（13）または式（14）が演算される。
【０１４４】
【数８】
2007304869.tif 000010
【０１４５】
ステップS240において、クロスパワースペクトル検出部332は、フーリエ変換部331A,331Bの出力のクロスパワースペクトルを検出する。すなわち、式（15）または式（16）が演算される。
【０１４６】
【数９】
2007304869.tif 000011
【０１４７】
ステップS241において、逆フーリエ変換部333は、クロスパワースペクトル検出部332が出力するクロスパワースペクトルを２次元逆高速フーリエ変換する。具体的には、式（17）が演算される。
【０１４８】
【数１０】
2007304869.tif 000012
【０１４９】
ステップS242において、回転／スケーリング検出部303は逆フーリエ変換部333が出力する信号からスケーリング比と回転角を求める。逆フーリエ変換部333の出力のうち、ρがスケーリング比を表し、θが回転角を表すことになる。ステップS243において、回転／スケーリング変換部304は、回転／スケーリング検出部303から供給されるスケーリングρと回転角θに基づいて、フーリエ変換部31Bより入力される信号のスケーリングと回転角を制御する。これにより、フーリエ変換部31Aの出力に対応するように、フーリエ変換部31Bの出力の回転角とスケーリングが調整されることになる。
【０１５０】
ステップS244において、フーリエ変換部341は、回転／スケーリング変換部304の出力をフーリエ変換する。ステップS245において、クロスパワースペクトル検出部51はフーリエ変換部31Aからの入力信号と、フーリエ変換部341より入力された信号のクロスパワースペクトルを検出する。ステップS246において、逆フーリエ変換部52は、クロスパワースペクトル検出部51より入力されるクロスパワースペクトルを２次元逆高速フーリエ変換する。
【０１５１】
ステップS247において、正規化部16は、逆フーリエ変換部52の出力を正規化する。すなわち、式（18）が演算される。
【０１５２】
【数１１】
2007304869.tif 000013
【０１５３】
ステップS248において、計数部17は、閾値以上の大きさの振幅の数を計算する。ステップS249において、判定部18は、ステップS248で計数された計数値が、予め設定されている閾値以上であるかを判定する。計数値が閾値以上ではない場合には、ステップS252において、判定部18は、今処理対象とされているフレームはシーンチェンジではないと判定する。その後、ステップS253において、判定部18はすべてのフレームを検出したかを判定する。まだすべてのフレームが検出されていない場合、処理はステップS231に戻り、それ以降の処理が繰り返し実行される。
【０１５４】
ステップS249において、計数値が閾値以上であると判定された場合、判定部18は、今処理対象としているフレームはシーンチェンジであると判定する。そして、ステップS251において、記憶部19は判定結果を記憶する。ステップS253において、判定部18は、すべてのフレームを検出したかを判定する。まだすべてのフレームを検出してない場合には、処理はステップS231に戻る。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
【０１５５】
以上のようにして、この実施の形態の場合、スケーリングまたは回転角が調整されるため、画像の回転角やスケーリングに影響されずに、より正確にシーンチェンジを検出することが可能となる。
【０１５６】
図32は、SPOMFの以外の演算によりシーンチェンジを検出する実施の形態を表している。この実施の形態においては、画像入力部11A、領域抽出部12A、並びに画像縮小部13Aで処理された信号が、演算部351Aで処理される。また同様に、画像入力部11B、領域抽出部12B、並びに画像縮小部13Bで処理された信号が、演算部351Bで処理される。演算部351Aは、平均値演算部361Aと差分演算部362Aで構成されている。同様に、演算部351Bは、平均値演算部361Bと差分演算部362Bにより構成されている。
【０１５７】
平均値演算部361A,361Bは、それぞれ、画像縮小部13A,13Bの出力の平均値を演算する。差分演算部362A,362Bは、画像縮小部13A,13Bの出力と平均値演算部361A,361Bの出力の差分をそれぞれ演算する。
【０１５８】
差分演算部362A,362Bの出力は演算部352により演算される。演算部352は、マッチング部371と乗算部372により構成される。マッチング部371は、差分演算部362Aと差分演算部362Bの差分絶対値和を演算する。乗算部372は、マッチング部371が出力する差分絶対値和に-1を乗算する。
【０１５９】
演算部352の出力は、上述した場合と同様に、正規化部16、計数部17、判定部18、並びに記憶部19により処理される。
【０１６０】
次に、図32の実施の形態のシーンチェンジ検出処理について、図33と図34のフローチャートを参照して説明する。
【０１６１】
ステップS301において、画像入力部11A,11Bは画像を入力する。ステップS302において、領域抽出部12A,12Bは、それぞれ、画像入力部11A,11Bから入力されたそれぞれ異なるフレームの画面の所定の領域を抽出する。ステップS303において、画像縮小部13A,13Bは、それぞれ、領域抽出部12A,12Bにより抽出された画像を縮小する。
【０１６２】
ステップS304において、平均値演算部361A,361Bは、それぞれ、画像縮小部13A,13Bより出力された画像の１画面分の平均値を演算する。この平均値は、それぞれ、avg(f(x,y)),
avg(g(x,y))と表される。
【０１６３】
ステップS305において、差分演算部362A,362Bは、それぞれ、画像縮小部13A,13Bの出力と平均値演算部361A,361Bの出力の差分を演算する。具体的には、次の式（19）と式（20）の演算が行われる。なお、以下の式において、「’」は、それが付されていない変数と異なる変数であることを表す。
【０１６４】
【数１２】
2007304869.tif 000014
【０１６５】
ステップS306において、マッチング部371は、差分演算部362A,362Bの出力の差分絶対値和を求める。具体的には、次の式（21）の演算が行われる。ステップS307において、乗算部372は、マッチング部371が出力する差分絶対値和に-1を乗算する。すなわち、式（22）が演算される。
【０１６６】
【数１３】
2007304869.tif 000015
【０１６７】
ステップS308において、正規化部16は、乗算部372の出力を正規化する。具体的には、次の式（23）が演算される。
【０１６８】
【数１４】
2007304869.tif 000016
【０１６９】
ステップS309において、計数部17は、閾値以上の大きさの振幅の数を計数する。ステップS310において、判定部18は、ステップS309で計数された計数値が閾値以上かを判定する。計数値が閾値以上ではない場合には、ステップS313において、判定部18は、今処理しているフレームはシーンチェンジではないと判定する。その後、ステップS314において、判定部18は、すべてのフレームを検出したかを判定し、まだすべてのフレームを検出していない場合、処理はステップS301に戻り、それ以降の処理が繰り返し実行される。
【０１７０】
ステップS310において、計数値が閾値以上であると判定された場合、ステップS311において、判定部18は、処理対象のフレームはシーンチェンジであると判定する。ステップS312において、記憶部19は、ステップS311の判定結果を記憶する。そして、ステップS314において、判定部18は、同様にすべてのフレームを検出したかを判定する。まだすべてのフレームを検出していない場合、処理はステップS301に戻り、それ以降の処理が繰り返し実行される。すべてのフレームを検出したと判定された場合、シーンチェンジ検出処理は終了される。
【０１７１】
この実施の形態においても、非画像検出部、簡易検出部、分割部、あるいは代表画面検出部を付加する構成とすることができる。
【０１７２】
図35は、上述した一連の処理をプログラムにより実行するパーソナルコンピュータの構成の例を示すブロック図である。CPU（Central Processing Unit）421は、ROM（Read Only Memory）422、または記憶部428に記憶されているプログラムに従って各種の処理を実行する。RAM（Random Access Memory）423には、CPU421が実行するプログラムやデータなどが適宜記憶される。これらのCPU421、ROM422、およびRAM423は、バス424により相互に接続されている。
【０１７３】
CPU421にはまた、バス424を介して入出力インターフェース425が接続されている。入出力インターフェース425には、キーボード、マウス、マイクロホンなどよりなる入力部426、ディスプレイ、スピーカなどよりなる出力部427が接続されている。CPU421は、入力部426から入力される指令に対応して各種の処理を実行する。そして、CPU421は、処理の結果を出力部427に出力する。
【０１７４】
入出力インターフェース425に接続されている記憶部428は、例えばハードディスクからなり、CPU421が実行するプログラムや各種のデータを記憶する。通信部429は、インターネットやローカルエリアネットワークなどのネットワークを介して外部の装置と通信する。また、通信部429を介してプログラムを取得し、記憶部428に記憶してもよい。
【０１７５】
入出力インターフェース425に接続されているドライブ430は、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア431が装着されたとき、それらを駆動し、そこに記録されているプログラムやデータなどを取得する。取得されたプログラムやデータは、必要に応じて記憶部428に転送され、記憶される。
【０１７６】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０１７７】
コンピュータにインストールされ、コンピュータによって実行可能な状態とされるプログラムを格納するプログラム記録媒体は、図35に示すように、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)を含む）、光磁気ディスクを含む）、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア431、または、プログラムが一時的もしくは永続的に格納されるROM422や、記憶部428を構成するハードディスクなどにより構成される。プログラム記録媒体へのプログラムの格納は、必要に応じてルータ、モデムなどのインターフェースである通信部429を介して、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の通信媒体を利用して行われる。
【０１７８】
なお、本明細書において、プログラム記録媒体に格納されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０１７９】
また、本明細書において、システムとは、複数の装置により構成される装置全体を表すものである。
【０１８０】
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
【図面の簡単な説明】
【０１８１】
【図１】本発明を適用した画像処理装置の構成を示すブロック図である。
【図２】図１の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図３】図１の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図４】図２のステップS2の領域抽出を説明する図である。
【図５】図２のステップS3の画像を縮小する処理を説明する図である。
【図６】図２のステップS3の画像を縮小する処理を説明する図である。
【図７】図２のステップS3の画像を縮小する処理を説明する図である。
【図８】シーンチェンジである場合のSPOMFの演算結果の例を示す図である。
【図９】シーンチェンジではない場合のSPOMFの演算結果の例を示す図である。
【図１０】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図１１】図10の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図１２】図10の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図１３】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図１４】図13の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図１５】図13の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図１６】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図１７】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図１８】画像の分割を説明する図である。
【図１９】図17の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図２０】図17の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図２１】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図２２】図21の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。
【図２３】図21の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。
【図２４】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図２５】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図２６】図25の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。
【図２７】図25の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。
【図２８】図25の実施の形態のシーンチェンジと代表画面検出処理を説明するフローチャートである。
【図２９】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図３０】図29の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図３１】図29の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図３２】本発明を適用した画像処理装置の他の実施の形態の構成を示すブロック図である。
【図３３】図32の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図３４】図32の実施の形態のシーンチェンジ検出処理を説明するフローチャートである。
【図３５】本発明を適用したパーソナルコンピュータの構成を示すブロック図である。
【符号の説明】
【０１８２】
１  画像処理装置，  11  画像入力部，  12  領域抽出部，  13  画像縮小部，  14  非画像検出部，  15  演算部，  16  正規化部，  17  計数部，  18  判定部，  19  記憶部，  31  フーリエ変換部，  32  交流成分検出部，  33  判定部，  51  クロスパワースペクトル検出部，  52  逆フーリエ変換部，  71  遅延部，  91  差分演算部，  92  判定部，  111  分割部，  201  代表画面検出部
【図１】
2007304869.tif 000017
【図２】
2007304869.tif 000018
【図３】
2007304869.tif 000019
【図４】
2007304869.tif 000020
【図５】
2007304869.tif 000021
【図６】
2007304869.tif 000022
【図７】
2007304869.tif 000023
【図８】
2007304869.tif 000024
【図９】
2007304869.tif 000025
【図１０】
2007304869.tif 000026
【図１１】
2007304869.tif 000027
【図１２】
2007304869.tif 000028
【図１３】
2007304869.tif 000029
【図１４】
2007304869.tif 000030
【図１５】
2007304869.tif 000031
【図１６】
2007304869.tif 000032
【図１７】
2007304869.tif 000033
【図１８】
2007304869.tif 000034
【図１９】
2007304869.tif 000035
【図２０】
2007304869.tif 000036
【図２１】
2007304869.tif 000037
【図２２】
2007304869.tif 000038
【図２３】
2007304869.tif 000039
【図２４】
2007304869.tif 000040
【図２５】
2007304869.tif 000041
【図２６】
2007304869.tif 000042
【図２７】
2007304869.tif 000043
【図２８】
2007304869.tif 000044
【図２９】
2007304869.tif 000045
【図３０】
2007304869.tif 000046
【図３１】
2007304869.tif 000047
【図３２】
2007304869.tif 000048
【図３３】
2007304869.tif 000049
【図３４】
2007304869.tif 000050
【図３５】
2007304869.tif 000051