"ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法であって、少なくとも一対のフレームを含む前記ビデオシーケンスを受信するステップと、前記少なくとも一対のフレームに基づいて画像類似性測定基準を求めるステップと、前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求めるステップと、前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、前記ビデオシーケンスにおいてショットチェンジを検出するステップと、を含む、ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法。前記画像類似性測定基準は、オプティカルフロー補償フレーム間の差分二乗和尺度SSDMと、オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度OFEDMと、色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度HHEDMと、の組合せを含む、請求項1に記載の方法。前記SSDMは、差分二乗和SSD、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも1つによって構成される、請求項2に記載の方法。前記SSDMは、現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算し、前記計算されたオプティカルフロー場を用いて前記先行するフレームを前記現フレームに向かって動き補償して、動き補償画像を生成し、前記動き補償フレームの各画素と前記現フレームの各画素との間の複数の色差分二乗和の平均を計算して、前記SSDMに達することによって求められる、請求項2に記載の方法。前記OFEDMは、現フレームと先行するフレームとの間の第1のオプティカルフロー場と、前記先行するフレームと先行する第3のフレームとの間の第2のオプティカルフロー場とを計算し、前記第1のオプティカルフロー場及び前記第2のオプティカルフロー場を極座標に変換し、前記第1の変換されたオプティカルフロー場を、各画素の方向及び大きさに関して前記第2の変換されたオプティカルフロー場と比較して、各画素の類似性スカラー値に達し、前記類似性スカラー値の各々の平均値を前記OFEDMとして計算することによって求められる、前記請求項2に記載の方法。前記HHEDMは、現フレーム及び先行するフレームを色相-彩度-輝度色空間に変換し、前記現フレーム及び前記先行するフレームについて色相チャネル値のヒストグラムを計算し、ヒストグラム交差関数により、前記現フレームの前記色相ヒストグラムを前記先行するフレームの前記色相ヒストグラムと比較して、前記HHEDMを表す単一スカラー値を求めることによって求められる、請求項2に記載の方法。少なくとも1つの二次導関数はラプラシアン二次導関数である、請求項1に記載の方法。少なくとも1つの二次導関数は後ろ向きの二次導関数である、請求項1に記載の方法。前記後ろ向きの二次導関数は2フレーム遅延を使用する、請求項7に記載の方法。前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である、請求項1に記載の方法。前記特徴ベクトル閾値面は、適合率及び再現率に基づく、請求項10に記載の方法。適合率及び再現率に基づく前記特徴ベクトル閾値面は、システム用途に適合するようにユーザーによって選択された、適合率と再現率との間のパラメーター関係に基づく、請求項11に記載の方法。ビデオシーケンスにおいてショットチェンジを検出する装置であって、少なくとも一対のフレームを含む前記ビデオシーケンスを受信し、前記少なくとも一対のフレームに基づいて画像類似性測定基準を求め、前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求め、前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、前記ビデオシーケンスにおいてショットチェンジを検出するように構成された少なくとも1つのプロセッサを具備する、ビデオシーケンスにおいてショットチェンジを検出する装置。前記画像類似性測定基準は、オプティカルフロー補償フレーム間の差分二乗和尺度SSDMと、オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度OFEDMと、色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度HHEDMと、の組合せを含む、請求項13に記載の装置。前記SSDMは、差分二乗和SSD、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも1つによって構成される、請求項14に記載のシステム。前記SSDMは、現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算し、前記計算されたオプティカルフロー場を用いて前記先行するフレームを前記現フレームに向かって動き補償して、動き補償画像を生成し、前記動き補償フレームの各画素と前記現フレームの各画素との間の複数の色差分二乗和の平均を計算して、前記SSDMに達することによって求められる、請求項14に記載のシステム。前記OFEDMは、現フレームと先行するフレームとの間の第1のオプティカルフロー場と、前記先行するフレームと先行する第3のフレームとの間の第2のオプティカルフロー場とを計算し、前記第1のオプティカルフロー場及び前記第2のオプティカルフロー場を極座標に変換し、前記第1の変換されたオプティカルフロー場を、各画素の方向及び大きさに関して前記第2の変換されたオプティカルフロー場と比較して、各画素の類似性スカラー値に達し、前記類似性スカラー値の各々の平均値を前記OFEDMとして計算することによって求められる、前記請求項14に記載のシステム。前記HHEDMは、現フレーム及び先行するフレームを色相-彩度-輝度色空間に変換し、前記現フレーム及び前記先行するフレームについて色相チャネル値のヒストグラムを計算し、ヒストグラム交差関数により、前記現フレームの前記色相ヒストグラムを前記先行するフレームの前記色相ヒストグラムと比較して、前記HHEDMを表す単一スカラー値を求めることによって求められる、請求項14に記載のシステム。前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である、請求項14に記載のシステム。前記複数のフレームと、前記SSDM、前記OFEDM及び前記HHEDMのうちの前記少なくとも1つとを格納する複数のファーストインファーストアウトFIFOフレームバッファーを更に具備する、請求項14に記載のシステム。ビデオシーケンスにおいてショットチェンジを検出するコンピューター実行可能命令を含むコンピューター可読媒体であって、前記命令は、少なくとも一対のフレームを含む前記ビデオシーケンスを受信し、前記少なくとも一対のフレームに基づいて画像類似性測定基準を求め、前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求め、前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、前記ビデオシーケンスにおいてショットチェンジを検出するように構成される、ビデオシーケンスにおいてショットチェンジを検出するコンピューター実行可能命令を含むコンピューター可読媒体。前記画像類似性測定基準は、オプティカルフロー補償フレーム間の差分二乗和尺度SSDMと、オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度OFEDMと、色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度HHEDMと、の組合せを含む、請求項19に記載のコンピューター可読媒体。前記SSDMは、差分二乗和SSD、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも1つによって構成される、請求項22に記載のコンピューター可読媒体。前記SSDMは、現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算し、前記計算されたオプティカルフロー場を用いて前記先行するフレームを前記現フレームに向かって動き補償して、動き補償画像を生成し、前記動き補償フレームの各画素と前記現フレームの各画素との間の複数の色差分二乗和の平均を計算して、前記SSDMに達することによって求められる、請求項22に記載のコンピューター可読媒体。前記OFEDMは、現フレームと先行するフレームとの間の第1のオプティカルフロー場と、前記先行するフレームと先行する第3のフレームとの間の第2のオプティカルフロー場とを計算し、前記第1のオプティカルフロー場及び前記第2のオプティカルフロー場を極座標に変換し、前記第1の変換されたオプティカルフロー場を、各画素の方向及び大きさに関して前記第2の変換されたオプティカルフロー場と比較して、各画素の類似性スカラー値に達し、前記類似性スカラー値の各々の平均値を前記OFEDMとしてとることによって求められる、前記請求項22に記載のコンピューター可読媒体。前記HHEDMは、現フレーム及び先行するフレームを色相-彩度-輝度色空間に変換し、前記現フレーム及び前記先行するフレームについて色相チャネル値のヒストグラムを計算し、ヒストグラム交差関数により、前記現フレームの前記色相ヒストグラムを前記先行するフレームの前記色相ヒストグラムと比較して、前記HHEDMを表す単一スカラー値を求めることによって求められる、請求項22に記載のコンピューター可読媒体。前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である、請求項21に記載のコンピューター可読媒体。したがって、望ましいが未だに提供されていないものは、誤検出及び検出漏れが最小限の、画像シーケンス内のショットチェンジのリアルタイム又は準リアルタイムの自動の無人検出のためのシステム及び方法である。こうしたシステム及び方法により、外部システムは、ショットチェンジ検出を必要とする外部システムにおいてどの程度の再現率、適合率又は両方が最も重要であるかを確実に選択することができる。調整可能な適合率及び/又は再現率は、費用のかかる独立したショットチェンジ検出システムを必要とすることなく、初期のステップとして動き補償デインターレース処理、後期のステップとして動き補償フレームレート変換を実行する必要がある可能性があり、各々が特定の適合率要件及び再現率要件に対して調整される、リアルタイム又は準リアルタイムの結合されたシステムに対して重要である。こうしたシステムは例示的なものであり、決して限定するものではない。例として、フィルムプルダウンケイデンス検出のタスク、及び後に動き補償ノイズ除去のタスクを実行するシステムは、これらのステップの各々の適合率及び再現率に対し異なる要件を有している可能性があるが、本発明の幾つかの実施形態によって、等しく十分に目的がかなえられる。ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法であって、少なくとも一対のフレームを含む前記ビデオシーケンスを受信するステップと、前記少なくとも一対のフレームに基づいて画像類似性測定基準を求めるステップと、前記画像類似性測定基準の二次導関数に基づいて特徴ベクトルを求めるステップと、前記特徴ベクトルが特徴ベクトル閾値外であると判断した場合に、ショットチェンジを検出するステップと、を含む、ビデオシーケンスにおいてショットチェンジを検出するコンピューター実装方法を提供することによって、本技術分野において上述の問題が対処され、技術的解決策が達成される。前記画像類似性測定基準は、オプティカルフロー補償フレーム間の差分二乗和尺度SSDMと、オプティカルフロー場間のオプティカルフローエネルギー変化差分尺度OFEDMと、色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度HHEDMと、の組合せを含む。前記SSDMは、差分二乗和SSD、正規化された相互相関、差分絶対値和及びハミング距離の和のうちの少なくとも1つによって構成することができる。本発明の一実施の形態によれば、SSDMを求めるために、現フレームと先行するフレームとの間の画素毎のオプティカルフロー場が計算される。計算されたオプティカルフロー場を用いて先行するフレームが現フレームに向かって動き補償され、動き補償画像が生成される。動き補償フレームの各画素と現フレームの各画素との間の複数の色差分二乗和の平均が計算され、SSDMに達する。本発明の一実施の形態によれば、OFEDMを求めるために、現フレームと先行するフレームとの間の第1のオプティカルフロー場と、先行するフレームと先行する第3のフレームとの間の第2のオプティカルフロー場とが計算される。第1のオプティカルフロー場及び第2のオプティカルフロー場は極座標に変換される。第1の変換されたオプティカルフロー場は、各画素の方向及び大きさに関して第2の変換されたオプティカルフロー場と比較され、各画素の類似性スカラー値に達する。類似性スカラー値の各々の平均値がOFEDMとして計算される。本発明の一実施の形態によれば、HHEDMを求めるために、現フレーム及び先行するフレームが色相-彩度-輝度色空間に変換される。現フレーム及び先行するフレームについて色相チャネル値のヒストグラムが計算される。ヒストグラム交差関数により、現フレームの色相ヒストグラムが先行するフレームの色相ヒストグラムと比較され、HHEDMを表す単一スカラー値が求められる。本発明の一実施の形態によれば、SSDM、OFEDM及びHHEDMのうちの少なくとも1つはラプラシアン二次導関数とすることができる。SSDM、OFEDM及びHHEDMのうちの少なくとも1つは後ろ向きのbackwardlooking二次導関数とすることができる。後ろ向きの二次導関数は2フレーム遅延を使用することができる。本発明の一実施の形態によれば、前記特徴ベクトルは、該特徴ベクトルによって形成される面が特徴ベクトル閾値面によって形成される面体積内に内在していない場合、特徴ベクトル閾値外である。前記特徴ベクトル閾値面は、適合率及び再現率に基づくことができ、この特徴ベクトル閾値面は、システム用途に適合するようにユーザーによって選択された、適合率と再現率との間のパラメーター関係に更に基づくことができる。本発明は、同様の参照数字が同様の要素を指す添付図面に関連して考慮される、以下に提示する例示的な実施形態の詳細な説明からより容易に理解されるであろう。添付図面は、本発明の概念を例示する目的のものであり、比例尺で描かれていない可能性があることが理解されるべきである。本発明の実施形態は、外部システム又はユーザーが適合率及び再現率に対する感度を指定することを可能にする、ショットチェンジを確実に検出する例示的なシステム及び方法を使用する。結果として、ショットチェンジ検出を実行する計算コスト及び処理コストを複数のシステムにわたって共有することができ、各システムは、計算コストのかかる可能性がある適合率要件及び再現率要件にも関らず、莫大な追加の計算コストを負うことなしに本発明の実施形態を利用する。適合率及び再現率に対する調整可能な感度が与えられると、外部システムに対する最終的な結果は、ショットチェンジ認識の特異の陽性positive又は陰性negativeの表示である。コンピューター又はコンピュータープラットフォームという用語は、デスクトップコンピューター、ラップトップコンピューター、メインフレームコンピューター、サーバー、ハンドヘルドデバイス、デジタル信号プロセッサDSP、組込みプロセッサその例を、図1に関連して後に説明する、又はデータを処理することができる任意の他のデバイス等、任意のデータ処理デバイスを含むように意図されている。通信可能に接続されたという用語は、有線であっても無線であっても、データを通信することができる、任意のタイプの接続を含むように意図されている。通信可能に接続されたという用語は、限定されないが、単一コンピューター内のデバイス及び/又はプログラム間、又はネットワークを介するデバイス及び/又は別個のコンピューター間の接続を含むように意図されている。ネットワークという用語は、限定されないが、OTA伝送システム無線伝送、ATSC、DVB-T、パケット交換網を介するビデオ伝送システムTCP/IP、例えばインターネット、衛星伝送システムマイクロ波、MPEGトランスポートストリーム又はIP、直接放送衛星伝送システム、アナログケーブル伝送システムRF、デジタルビデオ伝送システムATSC、HD-SDI、HDMI、DVI、VGA等を含むように意図されている。図1は、本発明の一実施形態による、ショットチェンジ100を検出する例示的なコンピューター実装画像処理システムのブロック図を示す。システム100は、任意の適切なビデオ受信デバイス及び/又はビデオ送信デバイスを含むことができる。適切なビデオ送信デバイスは、例えば、送信機能が組み込まれたカメラ、カメラ送受信機システム、ビデオ符号化機器、ビデオの統計多重化機器スタットマックス、ビデオキャプチャカードを備えたコンピューター、ビデオファイルをスプーリング/ストリーミングするカメラメディアサーバーが取り付けられたコンピューター、ビデオファイルをスプーリング/ストリーミングするPC等を含むことができる。適切なビデオ受信デバイスは、例えば、PC、タブレット、携帯電話、PDA、ビデオ復号化機器、ビデオ多重分離機器、テレビ、テレビ配信デバイス例えば、AppleTV商標、テレビセットトップボックス及びDVRを含むことができる。限定しない例として、システム100は、1つ若しくは複数のデータ記憶システム102及び/又は1つ若しくは複数の画像取込みデバイス104例えば、1つ若しくは複数のスチールカメラ又はビデオカメラ、シェイプカメラ、LIDAR又はIR写真測量法生成レンジデデータから、デジタル化されたビデオ又は静止画像を受信する。任意選択的に、デジタル化されたビデオ又は静止画像を、インターネット等のネットワーク106から受信することができる。本発明の一実施形態によれば、システム100は、コンピューティングプラットフォーム108を備えており、デジタルビデオ取込みシステム110を任意選択的に備えることができる。デジタルビデオ取込みシステム110は、デジタルビデオのストリームを処理するか、又はアナログビデオをデジタルビデオに変換して、コンピューティングプラットフォーム108が処理することができる形態にする。デジタルビデオ取込みシステム110を、独立型ハードウェアか、又はコンピューティングプラットフォーム108内に直接差し込むことができるファイヤワイヤカード等のカードとすることができる。本発明の一実施形態によれば、画像取込みデバイス104は、無線リンク例えば衛星と地上局との間及びデジタルデータリンク例えば、イーサネット登録商標、地上局とコンピューティングプラットフォーム108との間等、異種のデータリンクにより、ビデオ取込みシステム110/コンピューティングプラットフォーム108とインターフェースすることができる。コンピューティングプラットフォーム108は、1つ若しくは複数のプロセッサ112を備えた、パーソナルコンピューター又はワークステーション例えば、Pentium登録商標-M1.8GHzPC-104以上を含むことができ、プロセッサ112は、ビデオデータストリーム116によって1つ若しくは複数のプロセッサ1112を介して又は直接コンピューター可読媒体118に提供されるバスシステム122を含む。代替的に、コンピューティングプラットフォーム108を、FPGA又はASICに実装されるグラフィック処理ユニットGPU又はデジタル信号プロセッサDSP等、集積回路として実装するか、又はその一部として実装することができる。コンピューター可読媒体118を、Windows登録商標オペレーティングシステム又はLinux登録商標オペレーティングシステム等、任意選択的なオペレーティングシステムを含む、1つ又は複数のプロセッサ112によって実行されるシステム100の命令を格納するために使用することもできる。コンピューター可読媒体116を、1つ又は複数のデータベースにおいて本発明の処理されたビデオクリップを格納し取出すために更に使用することができる。コンピューター可読媒体118は、RAMメモリ等の揮発性メモリと、フラッシュメモリ、光ディスク複数の場合もある及び/又はハードディスク複数の場合もある等の不揮発性メモリとの組合せを含むことができる。処理されたビデオデータストリーム120の一部を、モニター122に後に出力するために、コンピューター可読媒体118に一時的に格納することができる。モニター122は、処理されたビデオデータストリーム/静止画像を表示することができる。モニター122に、解析者又は視聴者が興味のあるオブジェクトを選択するためのキーボード124及びマウス126を備えることができる。任意選択的に、処理されたビデオデータストリーム122の一部を、インターネット等のネットワーク106に、又は送信機128を介して衛星システムに後に出力するために、コンピューター可読媒体118に一時的に格納することができる。図2は、本発明の一実施形態による、ビデオシーケンスにおいてショットチェンジを検出する例示的なステップを示す高レベルプロセスフロー図200である。ここで図1及び図2を参照すると、ステップ202において、少なくとも一対のフレームを含むビデオシーケンスが、1つ又は複数の画像取込みデバイス104から1つ又は複数のプロセッサ112によって受信される。ステップ204において、少なくとも一対の受信されたフレームに基づいて、1つ又は複数のプロセッサ112により、1つ又は複数の画像類似性測定基準が求められる。本明細書において用いるとき、画像類似性測定基準は、一対の連続したフレームにおける画素の幾つかの特性又は特徴の変化の直接の又は計算された尺度である。本発明の幾つかの実施形態において使用される特定のタイプの画像類似性測定基準複数の場合もあるは、オプティカルフロー補償されたフレームの間の差分二乗和尺度SSDMと、オプティカルフロー場の間のオプティカルフローエネルギー変化差分尺度OFEDMと、色相チャネル値のヒストグラムからの色相ヒストグラムエネルギー変化差分尺度HHEDMとであり、それらの全てについて以下詳細に説明する。差分二乗和尺度SSDMを、好ましい実施形態では差分二乗和SSDによって構成することができ、又は、正規化された相互相関、差分絶対値和又はハミング距離の和によって構成することができる。これらの全ては、画像間の類似性を測定する種々の方法を表す。ステップ206において、画像類似性測定基準の二次導関数に基づく特徴ベクトルを計算することができる。2つの連続したフレームにおける上述した差分尺度間の急速な変化は、シーンの変化、すなわちショットチェンジを示すことができる。当業者は、1つ又は複数の測定基準の急速な変化を、使用されている画像類似性測定基準複数の場合もあるの二次導関数によって示すことができることを理解するであろう。フレームの対の特徴に基づくこれらの二次導関数値を、値のベクトル、すなわち特徴ベクトルに集めることができる。ステップ208において、ビデオシーケンスにおけるショットチェンジを、特徴ベクトルが特徴ベクトル閾値外であると判断した時に検出することができる。一組の値を含む特徴ベクトルは、座標系、例えばデカルト座標又は極座標の軸とともにn1次元体積を形成するn次元面として表わすことができるベクトルを形成する。ショットチェンジを、計算された特徴ベクトルによって形成されるn次元面がこの体積の外側に又は外部に位置するときに検出又は宣言することができる。体積を、閾値のベクトルの値の所定の選択によって事前に求めることができ、又は、後述するように、好ましい実施形態では、閾値を、ユーザーが選択した適合率と再現率とのトレードオフに基づかせることができる。図3A~図3Cは、本発明の一実施形態による、図2に対してより詳細に上述したようにフレームのシーケンスにおけるショットチェンジを検出する例示的なステップを示すプロセスフローブロック図を形成している。図3Aは、本発明の一実施形態による、図3A~図3Cに示す方法を実行するモジュールのブロック図である。図4Bは、出力フレームを遅延させ、ユーザーが後述する適合率/再現率の選好を提供することを可能にする追加のモジュールを示す、図4Aに類似するブロック図である。ここで図1及び図2A~図4Bを参照すると、ステップS1において、システム100によって複数のフレームが受信され、ファーストインファーストアウトFIFOフレームバッファー302に格納される。入ってくるフレームは、デジタル化されており、RGB色空間又はYUV色空間等の適切な表現に変換されているものと想定される。このFIFOフレームバッファー302は、幾つかの後続するステップで使用される。図5A及び図5Bは、カメラがズームアウトしているシーケンスの2つの連続したビデオフレームの一例を示す。ステップS2において、オプティカルフローエンジン304が、現フレームと先行するフレームとの間の画素毎のオプティカルフロー場を計算する。計算されたオプティカルフロー場は、FIFOオプティカルフローバッファー306に格納される。各画素に対して、サブピクセルの大きさの精度のx変位及びy変位を含む動きベクトルが割り当てられる。本発明の一実施形態によれば、任意の適切なオプティカルフローエンジンを使用することができる。好ましい実施形態では、引用することによりその全体が本明細書の一部をなすものとする、2009年9月8日に出願され、SystemandMethodforDeterminationofOpticalFlowという発明の名称の同時係属中の米国特許出願第12/555,472号以下、‘472出願に教示されているもの等、画素毎のオプティカルフロー計算方法を使用するオプティカルフローエンジンが好ましい。ショットチェンジの検出の精度は、オプティカルフローエンジンによって実行される計算、すなわち、前方動き補償フレーム及びオプティカルフローのエネルギー尺度の精度に大きく依存する。図5C及び図45Dは、図5B及び図5Aにおけるフレーム間のオプティカルフローの方向場及び大きさ場をそれぞれ示す。図6は、図5B及び図5Aのフレームに対して、ステップS2においてオプティカルフローエンジン304によって計算された全体的なベクトル場の粗い詳細をそれぞれ示す。ステップS3において、FIFOオプティカルフローバッファー306における最新のオプティカルフロー場を使用して、動き補償エンジン308は、先行するフレームを現フレームに向かって動き補償して、動き補償画像を生成する。従来技術には、多くの適切な動き補償方法があるが、好ましい実施形態では、オブジェクト及び画素の背景暴露revealすなわちディスオクルージョンdisocclusionを考慮する動き補償方法を使用することができる。本明細書において用いるとき、暴露又はディスオクルージョンは、フレーム毎に以前は見えなかった背景情報を暴露した、動いている前景オブジェクトを指す。これらの領域以下、ディスオクルージョンは、これらの暴露された背景領域に対して現実のグラウンドトゥルース前方動きベクトルがないため、動き推定システムに対し問題を与える。本発明の一実施形態によれば、少なくとも1つの画像類似性測定基準を、複数のフレームに基づいて求めることができる。より詳細には、ステップS4において、好ましい実施形態では、FIFOフレームバッファー302からの最新画像と動き補償画像との間で、差分二乗和尺度SSDM310が計算される。そして、SSDM310を、好ましい実施形態では差分二乗和SSDで構成することができ、又は、正規化された相互相関、差分絶対値和又はハミング距離の和で構成することができる。別の好ましい実施形態では、SSDM310を、動き補償フレームの各画素と現フレームの各画素との間の色差分二乗和として計算することができる。この値は、FIFOSSDMバッファー312に押し込まれる。差分二乗和尺度SSDM計算を式1に示す。ステップS5において、FIFOSSDMバッファー312の全ての値に対して近似ラプラシアン二次導関数が計算され、SSDMラプラシアン二次導関数近似バッファー314に格納される。より詳細には、オプティカルフローエンジン304が、正確な動きベクトルに収束するのが困難となった場合、SSDMtの値が上昇する。また、ショットチェンジイベントがある場合もまた、SSDMtの値は上昇し、その後急速に降下する。フレーム遅延が許容できない環境においてショットチェンジイベントを検出するために、式2aにおけるように、後ろ向きの二次導関数近似が使用される。急速な上昇又は極大値を検出するために、より正確な二次導関数近似を、式2bにおけるように2フレーム遅延で実行することができ、図4Bのフレーム遅延プレイアウトブロック316として示すことができる。図8Aは、非常に異なる色、オブジェクト及び画像特性を含む2つのフレームの間の明確なショット境界に対して、時間に対するSSDM’’tのグラフを示す。SSDM’’tを、良好な挙動の境界に対する幾分か信頼性の高い指標として単独で使用することができる。図9Aは、明確なショット境界について時間に対するSSDM’’tのグラフを示すが、ただし、2つのショットはともに大量の同じ色及び同様の彩度の背景を有しており、前景オブジェクトは明るい白である。これは、困難な場合であり、結果として、SSDM’’tは単独で、ショットチェンジを確実に知らせるために著しく識別可能な信号を生成することができない。ステップS6において、ビデオの現フレームと最後のフレームとの間のオプティカルフロー場が、オプティカルフローエンジン304によってビデオの最後のフレームと最後から2番目のフレームとの間のオプティカルフロー場と比較され、FIFOオプティカルフローバッファー306に格納される。好ましい実施形態では、各オプティカルフロー場は、ディスオクルージョンアーチファクトを観察し補償している間に、現フレームと一致させるように各画素を動き補償するために必要な最後のフレームのオフセットを画素で表す固定小数点値又は浮動小数点値を含むバッファーを含む。ステップS7において、FIFOオプティカルフローバッファー306からの最新のオプティカルフロー場及び次に最新のオプティカルフロー場が、極座標変換モジュール318においてデカルト{x,y}座標から極{θ,r}座標に変換される。より詳細には、オプティカルフロー場を、デカルト座標で表現される2つの次元におけるベクトル場として概念化することができる。本発明の幾つかの実施形態では、上で計算した2つのオプティカルフロー場の2つの特徴を利用する。全ての画素に対する2ベクトルの場として、各画素の動きを、方向及び大きさによって特徴付けることができる。こうした環境では、極座標変換が利用され、各画素に対する各デカルトオプティカルフローベクトルは、式3に示すように、現フレーム及び先行するフレームの各々に対する方向及び大きさに変換される。フレームからフレームのオプティカルフローベクトル間の方向差分の尺度として、式4に示すように、互いに反対を向く180度対向して配置された動きベクトルが最も異なるものとみなされる。こうした2つのベクトルを、図6A及び図6Bに、方向θ及び大きさ距離すなわちdの差分とともに示す。オプティカルフローベクトルの角度差分を数値的に強調するために、角度の差分は対数目盛に変換される。特定の空間位置に対するオプティカルフローベクトルが所定量方向を変化させる場合、それらの差分は、式5におけるように対数重み付け目盛において計算される。各空間位置に対するそれぞれのオプティカルフローベクトルの大きさの差分dが、対数目盛に変換される。これにより、dにおける大きい差分が強調される。図6Bはこうした関係を示し、あり得るベクトル方向の対数の大きさを論証している。これらに対する値は、式6におけるように計算される。ステップS8において、結果として得られる2つの極オプティカルフロー場が、各画素の方向及び大きさに対して比較され、各画素の類似性スカラー値に達する。2つの所与のフレームに対する全てのこうした類似性スカラー値の平均値が、オプティカルフローエネルギー差分尺度OFEDM320として計算される。より詳細には、各画素位置に対するOFEDM320が、スケーリングされた大きさ差分にスケーリングされた角度差分を乗ずることにより計算され、それにより、大きさ又は方向における大きい変化の重み付けが大きいほど、式7におけるように画素毎のOFEDM値に寄与することが確実になる。画素毎のOFEDM値の和が、ビデオフレームの幅×高さによって除算され、現ビデオフレームのOFEDMtに達する。当業者は、優れたオプティカルフロー系が、ほとんどの場合、連続したフレームが光学的に関連することを示すことを理解するであろう。急なショットチェンジは、連続したフレームが光学的に相関していないということを特徴とする。フレーム毎のオプティカルフローエネルギー変化を用いて、式8におけるように画素毎のOFEDMの平均をとることにより、特異点、したがってショットチェンジを検出することができる。ステップS9において、近似ラプラシアン二次導関数が、FIFOOFEDMバッファー322の全ての値に対して計算され、OFEDMラプラシアン二次導関数近似バッファー324に格納される。より詳細には、SSDMと同様に、二次導関数近似を使用して、OFEDM値によって急速な変化のイベントを検出することができる。この場合もまた、ユーザーは、図4Bのフレーム遅延ペイアウトブロック316において示すように、精度又はゼロフレーム遅延のいずれがより価値があるかを示すことができる。式9aは、ゼロフレーム遅延の場合に使用される後ろ向き二次導関数近似を示す。2フレーム遅延の場合、以下の式9bが使用される。図8Aは、明確なショット境界について時間に対するOFEDM’’tのグラフを示し、ここでは、2つのフレームの各々が、大量の同じ色及び同じ彩度の背景を有しており、前景オブジェクトは明るい白である。図9Aは、非常に異なる色、オブジェクト及び画像特性を含む2つのショットの間の明確なショット境界について、時間に対するOFEDM’’tのグラフを示す。OFEDM’’tを、良好な挙動の境界に対して信頼性の高い指標として単独で使用することができる。単独では、ショットチェンジ境界の局所化は問題をもたらす可能性があるが、SSDM’’tと協働して、OFEDM’’tを用いることにより大部分の場合においてショットチェンジを確実に知らせることができる。不都合なことに、SSDM及びOFEDMは、使用される動き検出方法のロバスト性に完全に頼る。当業者は、オプティカルフローエンジンは、既知の窓問題及びフレーム間オブジェクトディスオクルージョン等の問題により100信頼できるものではないことを理解するであろう。本明細書において用いるとき、窓問題は、ブロックマッチング法が、勾配に沿ったテクスチャ又はエッジの差分のないブロック間に十分な差分がないために間違った動きベクトルを推定する場合に発生し、それにより、最小値globalminimumの代りに極小値localminimumでの動きベクトルがもたらされる。ショットチェンジ検出のために追加の適合率特性及び再現率特性を確保するために、更なる精緻化が必要である。ビデオ内のショットチェンジの既知の特性は、ヒストグラムの形状、歪み及び最頻値が1つのシーンから次のシーンに大きい割合で変化する可能性があり、ショットチェンジの識別に向かって主信号又は寄与信号のいずれかを形成することができる、というものである。ヒストグラムの形状、歪み及び最頻値の変化は、ショットチェンジの優れた視覚的表示を提供することができるが、こうした変化を自動システムによって容易にかつ経済的に識別される形態でもたらすことは困難である。当業者は、照明、鏡面ハイライト及び陰影が、フレーム間でビデオの明度値又は輝度値を激しく変化させる可能性があるが、大部分のオブジェクトはそれらの固有の配色を変化させないことを理解するであろう、その結果、本発明の幾つかの実施形態は、大規模な統計的変化を測定するため、画像間の明度又は輝度の変化ではなく色の変化を使用する。ステップS10において、最新の画像が、HSV色空間変換モジュール326によって任意の所与の入力チャネルフォーマットから色相-彩度-輝度色空間に変換される。より詳細には、この変換の色相値が使用される。これは、一般に、周囲照明の配色が画像における全体的な色相値を変化させる場合であっても、オブジェクトが、それら自体で色を変化させないためである。レティネックスRetinex理論は、これらの変化を認識しかつ補償する方法を提供する。レティネックス補正がRGB色空間において数学的に実行された後、色相は、シーン差分の優れた鏡面不変、陰影不変尺度を提供する。RGB色空間における補償の後、入力画像の全ての画素が式10により色相値に変換される。ステップS11において、色相チャネル値のヒストグラムが、ヒストグラムブロック327において計算され、1インデックスピンポンバッファーすなわち、FIFOヒストグラムバッファー328に格納される。このステップを2度目に通過する際、FIFOヒストグラムバッファー328は、先行するフレームからの最後のヒストグラム計算を含んでいる。ステップS12において、先行するフレームの色相ヒストグラムが現フレームのヒストグラムと比較される。現フレームのヒストグラム及び先行するフレームのヒストグラムは、効率的なヒストグラム交差関数の手段によって比較されて、色相ヒストグラムエネルギー差分尺度HHEDM330を表す単一のスカラー値が求められる。この値は、FIFOHHEDMバッファー332に押し込まれる。より詳細には、式11に従って、窓処理された最小局所距離尺度が使用される。この距離尺度には、並列プロセスとして実施可能である一方で、十分に異なる形状、平均、歪度及び最頻値を有するヒストグラムを確実に特定するという利点があり、すなわち、各外部演算が、他の演算から独立しており、各々を、別個のスレッドパイプライン又は処理パイプラインによって実行することができる。SSDMと同様に、ステップS13において、近似された二次導関数が、FIFOHHEDMバッファー332の全ての値に対して計算され、HHEDM値に対する急速な変化イベントを指摘するのに役立つように、HHEDM二次導関数近似バッファー334に格納される。この場合もまた、ユーザーは、精度がより価値があるか、又はゼロフレーム遅延がより価値があるかを示すことができる。式12aは、ゼロフレーム遅延の場合に使用される後ろ向きの二次導関数近似を示す。2フレーム遅延の場合、以下の式12bが使用される。ステップS14において、最新のSSD’’、OFEDM’’及びHHEDM’’に対する値が、3次元特徴ベクトルに形成され、それは、特徴ベクトル面境界マッチングモジュール336において3次元特徴ベクトル閾値面に対して比較される。本発明の一実施形態によれば、特徴ベクトルが特徴ベクトル閾値外にあるとき、ショットチェンジが確定される。より詳細には、ステップS15において、特徴ベクトルが3次元面境界内に内在していない場合、ステップS16において、ショットチェンジが暫定的に特定され、そうでない場合、ステップS17において、ショットチェンジは宣言されない。SSDM’’、OFEDM’’及びHHEDM’’のうちの1つ又は複数を使用して、ショットチェンジを示すことができる。最も単純な技法は、ユーザーが提供した所定の閾値に対して各二次導関数を比較するというものであり、すなわち、SSDM’’が或る特定の発見的閾値を超え、OFEDM’’が第2の閾値を超え、HHEDM’’が更に第3の閾値を超えた場合、ショットチェンジが示される。図12は、ショットチェンジを示すために使用することができるSSDM’’、OFEDM’’及びHEEDM’’間のより複雑な関係が明らかになることを示す。3つの指標がに対する特徴ベクトルとして扱われる場合、シーン変化のないフレームは、原点に向かうだけではなく3つのそれぞれの軸に向かって集中することを観察することができる。特徴ベクトルを、任意の評価面が適用される幾何学的距離尺度として扱うことにより、ショットチェンジを示すために、SSDM’’、OFEDM’’及びHHEDM’’間の任意の数の複雑な関係を使用することができる。好ましい実施形態では、数100万のビデオフレームの観察の過程にわたり、逆双曲面が最良適合閾値として現れた。さらに、この面の幾つかのパラメーターにより、ユーザーは、ショットチェンジ検出の適合率及び再現率の特性に対してきめ細かい制御を行うことができる可能性がある。図13Aは、こうした面を、簡略にmnemonically示す。配置されている特徴ベクトルSSDM’’、OFEDM’’、HHDEM’’とともに逆双極面が示されている。こうした特徴ベクトルが閾値面の体積内に内在していない場合、確実なショットチェンジイベントが発生したとみなされる。図13Bは、適合率が再現率より重要である場合に、動き補償デインターレース処理に使用することができる特徴ベクトル閾値面を示す。図13Cは、動き補償雑音除去システムのように、適合率及び再現率が互いに対して平衡している特徴閾値面を示す。図13Dは、動き視差抽出システムのように、適合率が再現率に対して二次的であるとみなされる特徴閾値面を示す。ステップS18において、パラメーターに関する関係を用いて、特徴ベクトル閾値面が構築され、それにより、適合率挙動と再現率挙動との間の所望の関係を、図4Bにおいてユーザーが提供する適合率/再現率選好338によって示すように、特定のシステム用途に適合するように変更することができる。ステップS19において、特徴ベクトルが、ユーザーが定義した適合率/再現率選好に基づく閾値面の体積内に内在していない場合、ステップS20において、確実なショットチェンジイベントが発生したとみなされ、そうでない場合、ステップS21において、ショットチェンジは発生したとみなされない。より詳細には、図13A~図13Dにおいて説明した面を、適合率と再現率との間の平衡の好ましい重み付けを指定する単一のユーザー入力によって表現することができ、そこでは、ユーザー入力は0から1.0までの範囲であり、0.0は適合率の重い重み付けを示し、1.0は再現率の重い重み付けを示し、0.5は2つの均一な平衡を示す。面は、式13においてパラメーターによって定義されており、ここで、Uは適合率/再現率の選好を指定するユーザー入力である。SSDM’’及びHHEDM’’の現値が与えられると、OFEDM’’が満足させる必要がある単一の閾値は、式13によって提供される。続いて、式14におけるように単一閾値を用いて、確実なショットチェンジ表示が評価される。例示的な実施形態は、単に本発明を例示するものであるということ、及び当業者により、本発明の範囲から逸脱することなく、上述した実施形態の多くの変形を考案することができるということが理解されるべきである。したがって、こうした変形の全てが、添付の特許請求の範囲及びそれらの均等物の範囲に含まれることが意図されている。"