(57)【要約】  本発明は、画像または画像のデジタルビデオストリームのいずれかに基づいて電子処理ユニットによって実行されるコンテンツ検出方法に関する。本方法において、画像は、識別されるコンテンツを示す周波数領域信号が強化および分離されるように、および画像またはビデオストリーム内のコンテンツに対する周波数領域ノイズが低減または無視されるように、ビデオストリーム内の単一フレームまたはフレームシーケンスによって定義される。また、本方法は、ビデオストリームの対応する単一フレームまたは対応するフレームシーケンスのいずれかから、デジタル画像またはデジタル画像シーケンスを取得するステップであって、すべてのデジタル画像が空間領域内で画定される、デジタル画像またはデジタル画像シーケンスを取得するステップと、疎ゾーンのペアを１つまたは複数選択するステップであって、疎ゾーンはそれぞれ単一フレームの少なくとも一部またはフレームシーケンスの少なくとも２フレームをカバーし、疎ゾーンの各ペアは特徴を生成し、ゾーンはそれぞれ空間データの２つのシーケンスによって定義される、疎ゾーンのペアを１つまたは複数選択するステップと、伝達関数ならびにゾーンごとの周波数領域データの形状および方向を変化させることで選択された特徴に対してそれぞれ正規化された複素ベクトルを生成するＬ変換の２次元バリエーションを介して、ゾーンごとに空間データの２つのシーケンスを結合して、選択された特徴を周波数領域データに変換するステップと、コンテンツ分類子のための入力として使用可能な、識別されるコンテンツのモデルが定義されるように、正規化された複素ベクトルをすべて結合するステップと、を備える。【選択図】図４
2020507864.tif 000002
【特許請求の範囲】
【請求項１】
画像または画像のデジタルビデオストリームのいずれかに基づいて電子処理ユニットによって実行されるコンテンツ検出方法であって、前記画像は、識別されるコンテンツを示す周波数領域信号が強化および分離されるように、および前記画像または前記ビデオストリーム内の前記コンテンツに対する周波数領域ノイズが低減または無視されるように、前記ビデオストリーム内の単一フレームまたはフレームシーケンスによって定義され、前記方法は、
・  前記ビデオストリームの対応する前記単一フレームまたは対応する前記フレームシーケンスのいずれかから、デジタル画像またはデジタル画像シーケンスを取得するステップであって、すべての前記デジタル画像が空間領域内で画定される、デジタル画像またはデジタル画像シーケンスを取得するステップと、
・  疎ゾーンのペアを１つまたは複数選択するステップであって、前記疎ゾーンはそれぞれ前記単一フレームの少なくとも一部または前記フレームシーケンスの少なくとも２フレームをカバーし、前記疎ゾーンの各ペアは特徴を生成し、前記ゾーンはそれぞれ空間データの２つのシーケンスによって定義される、疎ゾーンのペアを１つまたは複数選択するステップと、
・  伝達関数ならびに前記ゾーンごとの周波数領域データの形状および方向を変化させることで選択された前記特徴に対してそれぞれ正規化された複素ベクトルを生成するＬ変換の２次元バリエーションを介して、前記ゾーンごとに前記空間データの２つのシーケンスを結合して、前記選択された特徴を周波数領域データに変換するステップと、
・  コンテンツ分類子のための入力として使用可能な、前記識別されるコンテンツのモデルが定義されるように、前記正規化された複素ベクトルをすべて結合するステップと、
を備える、
方法。
【請求項２】
前記選択された特徴を周波数領域データに変換するステップは、様々な数の前記フレーム／選択された前記フレームからの空間データを使用する、
請求項１に記載の方法。
【請求項３】
前記疎ゾーンが識別される入力フレームを生成するために、検索ロジックが入力画像全体に対して使用される、
請求項１に記載の方法。
【請求項４】
前記疎ゾーンは、局所的な解像度を高めるために、部分的に互いに重なり合ってまたは横に並んで配置され、グループ化される、
請求項１に記載の方法。
【請求項５】
前記２つの軸に対する計算は、並列に実行される、
請求項１に記載の方法。
【請求項６】
前記変換ステップにおいて、行に対して１次元Ｇｏｅｒｔｚｅｌ計算が実行されてから、その結果を使用して、列に対して１次元Ｇｏｅｒｔｚｅｌ計算が実行される、またはその逆も同様である、
請求項１に記載の方法。
【請求項７】
前記疎ゾーンのペアごとに、異なる目標周波数が選択される、
請求項１に記載の方法。
【請求項８】
前記周波数領域に変換するステップのための入力セルは、値を必要とするインデックスの位置の周りでのみ取得される、
請求項１に記載の方法。
【請求項９】
インデックスでの行および列のための１次元出力を個別に計算し、次いでこれを単一の値に結合することで、前記インデックスの結果が取得される、
請求項１に記載の方法。
【請求項１０】
前記伝達関数は、最初の入力と２番目の入力とが異なる離散伝達関数設定を有するように、前記疎ゾーンの入力ごとに個別に選択される、
請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
＜１．発明の分野＞
本開示は、コンテンツ検出のための方法に関し、画像をデジタル化するための適切な手段を備えた一般的なデバイスを含むあらゆる種類のデバイスに組み込まれる方法に関する。本方法は、デジタルビデオストリーム内で使用するための時間モデルを作製するのに特に有用であるが、デジタルビデオストリームに限定されない。
【０００２】
コンテンツとは、検出したい任意のオブジェクトを意味する。そしてコンテンツの概念は、オブジェクト、すなわち画像を介して見える物理的なアイテムに限定されない。例えば、暴力的画像、裸体、スポーツ活動および群衆の中の顔の表示、車両の車種または大きさでの識別および選択、歩行者の判別、サイクリストおよび自動運転車両システム用の信号機、場所または風景の認識を含む引数または種類によって選択されるオブジェクトファミリーも含む。とりわけ特定のコンテンツを検出するステップを含む任意の分野が、本発明に関連し得る。
【０００３】
一般的なデバイスとは、スマートフォン、タブレット、ノートパソコン、または適切なデジタルビデオカメラを備えた任意のポータブルデバイスまたはハンドヘルドデバイスのような、一般に市販されている電子デバイスを意味する。また、デバイスは、コンピュータまたは画像計算用のサーバのいずれかにリンクされた且つおそらくネットワーク内で編成された、１つまたは複数のカメラであってもよい。さらに、検出方法は、記憶されたデジタル画像またはビデオに対して、ストレージメモリ、ＲＡＭメモリ、および少なくともマイクロプロセッサを含む適切なハードウェア内で実行されるソフトウェアを介して、ハードウェアによるオフラインプロセスにおいて単に実施されてもよい。
【０００４】
また、本開示は、少なくともビデオストリームまたは一連のデジタル画像を生成するデジタルカメラを備えたデバイスまたはシステムを動作させる方法に関する。これにより、操作対象のデバイスまたはシステムからアクセス可能なメモリデバイスに記憶された少なくとも１つの分類モデルに関連して、デバイスまたはシステムのカメラとプロセッサの両方を介したオブジェクト検出を得ることができる。
【背景技術】
【０００５】
＜２．従来技術の説明＞
画像処理のエンジニアリングアプリケーションにおいて、近似はもはや受け入れられない。そのようなアプリケーションの一例として、診断やシミュレーション用のモデルやシミュレータの作製が挙げられる。信号に対してノイズのレベルが高い、非常に非線形であり、過渡的且つ動的な効果を適切に捕捉する必要がある。このアプリケーションの一例として、最小限の情報のみを使用したオブジェクト検出が挙げられる。このような検出は、部分的に遮蔽されたオブジェクト、または撮影中のカメラから遠く離れたオブジェクト、またはそれらの組み合わせに対して、要求することができる。
【０００６】
画像処理におけるコンテンツおよびオブジェクト検出技術は、様々なコンテキストで広く適用されている。このような認識技術が使用される非限定的な一例として、ソーシャルネットワーク上の人間の顔のタグ付け技術、手のジェスチャを認識するためのソフトウェア、歩行者、サイクリストおよび他の車両を検出するための自動車用ソフトウェア、体の動きを認識するためのソフトウェア、拡張現実および３Ｄ効果を備えた画面用の人間の顔を検出する技術、拡張現実用のオブジェクト認識、頭の向きまたは目の向きの追跡技術を使用するインターフェース、セキュリティシステム用のオブジェクト追跡技術、および視線追跡技術が挙げられる。
【０００７】
このようなオブジェクト検出製品には、特定のハードウェアソリューションが存在する。例えば、視線追跡技術およびジェスチャ認識は、多くの場合、必要な精度を得るために、統合された赤外線プロジェクタまたは立体ビデオ用の追加のカメラのいずれかを必要とする技術である。
【０００８】
これらすべてのオブジェクト検出技術は、次世代のインタラクティブなインターフェースおよびオペレーティングシステムに移行するという明確な将来性がある。そのような技術を表すことができるデバイスは、例えば、スマートフォン、タブレット、およびインタラクティブな眼鏡を含むウェアラブルハードウェアだけでなく、将来の自宅、オフィス、または公共の場所のあらゆる種類のインタラクティブオブジェクトである。これらのデバイスは、双方向テレビ番組またはスマートホームなどの特殊な用途に提供することができる。また、自動車の安全システム、ヘルスケア、広告、防犯カメラネットワーク、モノのインターネット（Ｉｎｔｅｒｎｅｔ  ｏｆ  Ｔｈｉｎｇｓ）、およびその他多くの可能性のある用途に使用することもできる。
【０００９】
基本的に、このような技術は、再プログラム可能なハードウェアが使用され、且つビデオカメラ入力を追加することができる任意のデバイスまたはネットワーク接続デバイスに統合することができる。
【００１０】
純粋にオブジェクト検出および画像処理アルゴリズムの機能を支援するために、デバイスにさらなるハードウェアを追加することは、コストの増加および余分なバッテリ消耗をもたらす。そして、現在の最先端ハードウェアは、多くの場合、ほとんどの家電製品に統合するにはまだ大きすぎるが、超小型ハードウェアを作製するには、追加の研究開発コストが必要になる。
【００１１】
ハードウェアコストの他に、モバイルハードウェアプラットフォームなどでのこのようなオブジェクト検出技術の大規模な使用を大きく妨げているものは、必要なオブジェクト検出の計算が遅すぎてカメラのフレームレートに対応できないことと、それらの計算において、利用可能な処理能力を使用しすぎることである。
【００１２】
したがって、次世代のオペレーティングシステムおよびデバイス上で大量の実装形態が容易に実行できるようになる前に、現在の最先端技術よりもはるかに高速に画像を処理することができるソフトウェアのみによる解決策が、上記オブジェクト検出技術に必要である。
【００１３】
このソフトウェアのみによる解決策への移行は、カメラ技術の継続的な改善によって促進される。これにより、フレームレートの増大、動き処理の改善、より効果的な色の強調表示、コントラストへの鋭敏な適応、光の変化へのスマートな適応、およびさらに高い画面解像度がもたらされる。これは、オブジェクト検出のためのソフトウェアのみによる解決策の有効性をさらに高める。
【００１４】
コンテンツ検出では、バッテリ寿命を節約するためおよびリアルタイム使用に対する要件を満たすために、できるだけ少ない処理能力が使用されるようにする必要がある。リアルタイムでのオブジェクト検出アルゴリズムは、より自然なユーザインタフェースを有するデバイスを作製することができる。また、リアルタイムで実行中のオブジェクト検出アルゴリズムは、フォアグラウンドで実行されているメインプロセスを制限することなく、バックグラウンドで実行される必要がある。
【００１５】
さらに、入力画像のサイズが大きくなるにつれて、必要な計算作業が指数関数的に増加することに留意されたい。また、ビデオフレームレートの上昇は、次のビデオ入力フレームが到着する前の、オブジェクト検出アルゴリズムが計算を終了するための時間が短くなることを意味する。
【００１６】
したがって、現在の最先端技術のオブジェクト検出アルゴリズムでは、ビデオフレームレートの増加と入力画像の品質の向上に伴って、入力画像をますますダウンサンプリングして許容可能な処理速度に戻す必要がある。これにより、高品質の入力画像内の追加情報の多くが失われる。
【００１７】
このようにして、ダウンサンプリングは、オブジェクト検出のための入力の中に高解像度の画像を有することの利点の大部分を無効にする。
【００１８】
また、コンテンツ検出方法は、完全なモビリティ環境で必要である。これは、コンテンツ検出方法が、オブジェクトとカメラとの間の比較的小さな動きを必要とすることなく、また、一定の照明条件を必要とすることなく、日常の状況で使用することができることを意味する。
【００１９】
コンテンツ検出に関するこれらの課題をさらに複雑にしているのは、ビデオストリームの時間データでのみ表示されるコンテンツを捕捉する必要があるということである。その一例として、暴力の検出、歩行者の意図的検出、防犯カメラのライブフィードでの疑わしい動きの検出などが挙げられる。これは、ビデオストリームの２つ以上の画像フレームが、単一モデル内で相互参照される必要があることを意味する。現在の方法は、主に静止画像に対する訓練に基づいている。言い換えれば、ビデオは、時間データを正確に処理するのではなく、静止画像シーケンスとして処理される。単一の分類モデルを処理するために複数のフレームを相互参照する必要がある場合、複雑さおよび処理のオーバーヘッドが増大することは明らかである。
【００２０】
また、所与のアルゴリズムによる処理能力の相対的な使用を減らすために、処理能力の継続的な向上を期待することは効果的ではない。これは、ゲームのようなアプリケーションが、最大の処理能力を使用して、常にバックグラウンドでオブジェクト検出などのアルゴリズムを実行するために最小限の量を残すようにスケーリングするためである。
【００２１】
上記を考慮して、オブジェクト認識およびオブジェクト追跡技術に関する多くの方法が、コンピュータビジョンに関する文献に記載されている。
【００２２】
コンテンツ検出におけるすべての既知の方法は、デジタル画像から抽出された複数種類の特徴を、これらの特徴を抽出する複数の方法に基づいて順番に使用する。デジタル画像から特徴を選択および抽出する方法は、オブジェクト検出技術の根幹である。このような選択された特徴を使用する様々な方法が知られている。このような特徴は、分類子の訓練、または分類子の既知の特徴セット間の相関のいずれかにしようされる場合が多い。
【００２３】
合理的且つ手ごろなモデルを作成するにはかなりの量のデータを入力する必要があるため、一般に、オブジェクト検出方法のための訓練フェーズには時間がかかる。
【００２４】
このような訓練済みモデルにおいて、オブジェクトを検出するための一般的なプロセスは、画像入力、特徴抽出、特徴分析およびオブジェクト分類としてまとめることができる。
【００２５】
最も一般的に使用されるオブジェクト検出フレームワークの１つに、Ｖｉｏｌａ−Ｊｏｎｅｓがある。通常、検出フレームワークで採用される特徴には、単純な矩形領域内の画像ピクセルの合計が含まれる。これらは、通常、予測される計算をわずかに簡素化するためにグレースケールフィルタを介して変換される。
【００２６】
このような方法は、弱分類子と呼ばれ、許容できるレベルの精度を得るには、（数千のオーダーの）非常に多くの特徴、またはこのような非常に多くの特徴の複数のカスケードが必要である。この多数の特徴には、いくつかの検索ボックスを使用することと、計算を複数回繰り返すことが含まれる。
【００２７】
Ｖｉｏｌａ−Ｊｏｎｅｓなどの多くの特徴を使用する方法、および「Ａｄａｐｔｉｖｅ  Ｂｏｏｓｔｉｎｇ」の略であるＡｄａＢｏｏｓｔ（エイダブースト）などのツリー型カスケードを使用する技術は、本質的に非線形のパフォーマンスを含む。これは、アルゴリズム検出の堅牢性と、そのようなアルゴリズムが必要とする計算の数との間に、線形相関がないためである。検出パフォーマンスの各ステップにおけるモデルは、複雑さが増大する。通常、従来のデバイスにおけるアルゴリズムに割り当てられる処理能力は制限され、その一方で、必要な計算の量はアルゴリズムが必要とするパフォーマンスレベルを予測することができないため、上記技術は、リアルタイムアプリケーションでそのようなアルゴリズムが使用できるように、完全なモデルを使用する前に、迅速な検出推定に使用されるソリューション空間をモデルから抽出する必要がある。
【００２８】
スケール不変特徴変換の略であるＳＩＦＴなどを含むその他の方法は、画像内の局所的特徴のモデルを検出して記述する。
【００２９】
デジタル画像内の任意のオブジェクトについて、オブジェクト上の関心点を抽出して、そのオブジェクトのモデル記述を提供することができる。
【００３０】
ＳＩＦＴの特徴は、局所的であり、特定の関心点でのオブジェクトの外観に基づいており、画像のスケールおよび回転に対して不変である。また、照明の変化、ノイズ、および視点のわずかな変化に対しても堅牢性を有する。ＳＩＦＴの特徴のセットによるオブジェクトの記述は、部分的なオクルージョンに対しても堅牢性を有する。
【００３１】
しかしながら、上記のような技術は、計算上非常に集中的である。このような技術をリアルタイムにおいて高いフレームレートで機能させるために、多くの場合、特徴の数と特徴の複雑さを制限する必要がある。これは、モデルの有効性を妨げる。
【００３２】
人間の頭の向きの検出や人間の顔の表情を捕捉するためによく使用されるその他の方法では、デジタル化されたフレームから幾何学的な点を抽出する。これらの方法は、それらの点と所定の２次元または３次元形状モデルとの相関関係または対応関係に依存する。これらの方法の例は、アクティブ形状モデル（ＡＳＭ）およびアクティブ外観モデル（ＡＡＭ）として知られている。
【００３３】
ＡＳＭ手法は、現在のモデルの点位置周りのプロファイルに沿って検索を行い、オブジェクトの形状の現在の予測値を更新する。実際、ＡＳＭ技術は、形状の統計モデルによって制約されて、モデルの点セットを画像と一致させようとする。
【００３４】
その一方で、ＡＡＭ技術は、画像データをサンプリングし、モデルとサンプルとの違いを使用して外観モデルのパラメータを更新する。ＡＡＭは、モデルの点位置とオブジェクトのテクスチャの表現の両方を画像と一致させようとする点で、ＡＳＭと異なる。
【００３５】
通常、上述した方法の特徴は、空間領域内で抽出される。空間領域の画像情報内でのみ計算を使用する方法において、大幅な速度向上を見込むことはできない。
【００３６】
また、従来技術におけるコンテンツ検出のための方法は、周波数領域内のカーネルと略されるいわゆるフィルタリングカーネルを使用する場合がある。これにより、最初に、分類されてから認識されるオブジェクトの識別特徴が強調される。
【００３７】
次いで、カーネルを使用した後に抽出された特徴は、変換された画像のピクセルの合計または周波数領域のセルの合計の結果となり得る。
【００３８】
上記のような方法のほとんどは、周波数領域内に均等に分散された且つ事前に定義された一連のカーネルを使用する。この技術の一例として、ガボールバンクの使用が挙げられる。各カーネル設定により、カーネルによって変換された空間領域内に異なる画像が生成される。通常、このような方法で抽出される特徴は、変換された画像内のピクセル強度の最高値における座標である。通常、このような方法では、約４０種類のガボールフィルタが使用される。
【００３９】
周波数領域全体の計算が実行され、空間領域から周波数領域への変換および周波数領域から空間領域への再変換が毎回必要になるため、このような方法でも多くの計算が必要である。
【００４０】
さらに、このような方法は、多くの場合、計算を高速化するフーリエ変換の高速バージョンであるＦＦＴの変形形態を使用する。ＤＣＴは、その離散バージョンである。ＦＦＴでは、入力における画像のピクセル幅とピクセル高さとが２の累乗のサイズである必要があるため、入力画像を再サンプリングする必要がある。
【００４１】
オブジェクト認識の多くの方法では、抽出された特徴を識別して、特定のオブジェクトについて認識できるようにするさらなる分類ステップが含まれる。この態様は、個人を認識するための人間の顔認識技術において主に使用される。オブジェクト認識方法の例として、固有顔を使用した主成分分析、線形判別分析およびフィッシャーフェイスアルゴリズムを使用した伸縮バンチグラフマッチングが挙げられる。
【００４２】
上述した方法に類似したオブジェクト検出方法をオブジェクト追跡方法と組み合わせることもできる。オブジェクト追跡では、画面上のオブジェクトの動きのダイナミクスを追跡する。これによく使用される方法には、例えば平均シフトアルゴリズムおよびテンプレートマッチングがある。これらのアルゴリズムは、リアルタイムでの使用において良好なパフォーマンスを有する。しかしながら、このような方法は、オブジェクトの一般的なモデルを生成しない。その代わりに、小さなサブサンプルを学習する。
【００４３】
上述したように、一般的に使用されるコンテンツ検出方法は、例えばカメラの前でポーズをとる人々の顔のような画像内の典型的なオブジェクトの検出で既に良好な検出率を達成している。しかしながら、一般的なデバイスのリアルタイムアプリケーションにおける使用は、依然として制限されている。実際の使用では、多数の照明条件、予想外の検出オブジェクトのバージョン、および多くの場合認識されるオブジェクトが部分的にしか見えないことがあるため、検出タスクの難易度が増加している。これらの起こり得るすべての偶発性は、最終的な検出を達成するために要求される検出訓練方法の複雑さ、および必要な堅牢性を達成するためにそのような方法が必要とする計算の数により、一般的に使用される多くのオブジェクト検出方法の使用を制限している。
【００４４】
上記は、検出の経過時間が主な制約ではない、オブジェクト検出のための画像のオフライン処理の制限を含まない。しかしながら、リアルタイムアプリケーションにおけるオブジェクト検出は、少なくともビデオ入力フレームレートで動作する必要がある。
【００４５】
まとめると、従来技術として上述した方法は、制約のない実世界のリアルタイムアプリケーションでは依然として大規模には使用されていない。これは、これらの方法における現在の処理能力では、オブジェクト検出の堅牢性と速度との間の許容可能な妥協点を達成することができないためである。また、重要には、従来技術に記載されている方法は、静止画像の処理用に設計されており、フレームシーケンスの相互参照が動的ビデオストリームである場合にのみ見られる時間データの処理用には設計されていない。
【００４６】
米国特許出願第２００９／０２３８４６６号には、顔の識別に焦点を合わせたオブジェクト認識方法が開示されている。ここでは、静止画像のエッジは、ピクセルの分類および一致テストを介して決定される。
【発明の概要】
【発明が解決しようとする課題】
【００４７】
コンテンツ検出および画像処理のための本方法は、周波数領域でデータを変換する場合に適用することができる。画像データを周波数領域に変換せずに、空間領域内のピクセル情報の直接分析に基づく方法には適用することができない。
【課題を解決するための手段】
【００４８】
一般に、本発明の方法は、周波数領域に変換された疎データの表現を含む多数の正規化された複素ベクトルを含むモデルとしてまとめることができる。これらの正規化されたベクトルは、複数の画像フレームシーケンスから周波数領域で抽出された特徴から作成することができる。これにより、ビデオストリーム内の時間データを捕捉する必要があるモデルに特に効果的な方法が提供される。
【００４９】
このプロセスでは、いくつかの特徴が選択されてから、目標周波数、変換用の基礎となる伝達関数、および周波数領域変換用の入力の方向およびシーケンスなどのパラメータが最適化されるオフライン学習フェーズにおいて、最適なパラメータ設定が選択される。これらの機能は複数のフレームに分散できるため、ビデオストリームで時間プロセスを捕捉することができる。この特徴のセットは、周波数領域内で正規化された複素ベクトルの単一スペースに結合される。そのため、この正規化された複素ベクトルのセットは、ビデオまたはビデオストリーム内で検出されるコンテンツのための周波数領域内のモデルを示す。
【００５０】
より詳細には、周波数領域内の特徴を抽出して使用するための方法は、
・  空間領域内のデータを介して定義されたビデオストリーム内のデジタル画像またはデジタル画像シーケンスを取得するステップと、
・  周波数領域への変換のために、疎ゾーンのペアを１つまたは複数選択するステップであって、各疎ゾーンは、周波数領域の一部およびビデオストリームシーケンス内のフレームの少なくとも２フレームをカバーする、疎ゾーンのペアを１つまたは複数選択するステップと、
・  Ｌ変換の２次元バリエーションを使用して、画像データの全周波数領域データの疎部分を周波数領域に転送するステップと、
・  各ゾーンのそれぞれの入力のための２次元のＬ変換用の目標周波数、伝達関数、ならびに入力の形状および方向の最適化を適用するステップと、
・  ゾーンの各ペアを、正規化された複素ベクトルである特徴に変換するステップと、
・  作製されたすべてのベクトルを、すべての正規化された複素ベクトルを含む単一のモデルに結合するステップと、
・  正規化された複素ベクトルのモデルを使用して、分類子のための入力データを生成するステップと
から構成される。
【００５１】
オブジェクト検出の分野の専門家には、デジタル画像入力として使用できる以下のいくつかの可能性が存在することは明らかである。
・  画像全体が変換される。
・  画像のセグメントが変換される。
【００５２】
また、添付の特許請求の範囲がデジタル入力のサイズによって変更されないことも明らかである。
【００５３】
上記を考慮して、本発明によるコンテンツ検出のための画像処理方法は、添付の請求項１に定義される。
【００５４】
追加の利点をもたらす本方法のさらなる詳細は、従属請求項に定義される。
【００５５】
したがって、本方法は、コンテンツ検出および画像処理方法の処理速度を大幅に向上させることができ、同時にその精度を向上させることができる。また、本方法は、時間モデルの有効性を改善するのに特に効果的である。
【００５６】
上述したように、画像処理におけるコンテンツ検出技術の速度を向上させることができる新しい方法に対する大きなニーズがある。この速度の向上により、最新世代のモバイルデバイスおよび他の同様のデバイス内のバックグラウンドで動作するのに十分な速度でコンテンツを検出することができるようになる。
【００５７】
アルゴリズムは、最新世代のモバイルデバイスでの使用とは別に、ウェアラブルハードウェアなどの将来の傾向を見越して、主なパーソナルコンピュータのオペレーティングシステムおよびモバイルオペレーティングシステムの外部で動作して、プロセッサおよびＦＰＧＡ（ｆｉｅｌｄ−ｐｒｏｇｒａｍｍａｂｌｅ  ｇａｔｅ  ａｒｒａｙ）などの再プログラム可能なハードウェアでプログラム可能である必要がある。また、本方法は、アルゴリズムから構成される必要がある。これらのアルゴリズムは、マルチコアおよび強力なグラフィックスプロセッシングユニット（ＧＰＵ）などのパーソナルコンピュータおよびモバイルデバイスに対する最新のハードウェア開発を活用することができる。
【００５８】
これに関連して、周波数領域内で計算を使用することは、いくつかの理由でより高速な計算の必要性に対処することに役立つ。本方法により、このような並列処理が可能になる。この分野の専門家は、ＦＦＴの多くの変形形態がプロセッサ上のプログラミングに適していないことをよく知っている。
【００５９】
本明細書に記載する方法は、ビデオストリーム内のフレームの動的および時間シーケンスでのみ検出できるモデルを捕捉する時間モデルを作製する必要がある場合に、特に有利であることに留意されたい。言い換えれば、ビデオストリームにおける捕捉できないコンテンツは、静止フレームシーケンスと見なされるだけである。
【００６０】
フーリエの標準周波数領域理論では、任意の信号、この場合はデジタル画像が、一連の正弦波の合計として表現することができると述べている。画像処理の場合、これらは画像全体の明るさの正弦波の変化を示す。
【００６１】
正弦関数は、
・  空間周波数、
・  振幅、および
・  位相
を符号化することができる。
【００６２】
空間周波数は、明るさが変調する空間全体の周波数である。
【００６３】
正弦曲線の振幅は、コントラスト、または画像の最も暗いピークと最も明るいピークとの差に対応する。位相は、波が原点に対してどのようにシフトされるかを示す。
【００６４】
フーリエ変換は、単一の正弦波だけでなく、ゼロから「ナイキスト周波数」までの空間周波数の範囲にわたって一連の正弦波を符号化する。ナイキスト周波数とは、デジタル画像で符号化できる最高の空間周波数を意味し、解像度またはピクセルの総数に関連する。
【００６５】
フーリエ変換は、画像内に存在するすべての空間周波数を同時に符号化する。
【００６６】
ナイキスト周波数は、離散信号処理システム（この場合はデジタル画像）のサンプリングレートの１／２である。
【００６７】
画像処理に使用されるフーリエ変換の根底にある基本原則は、各ピクセルがすべての周波数に影響を与え、各周波数がすべてのピクセルに影響を与えるということである。
【００６８】
本明細書に記載する方法の根底にある直観的知識は、空間領域内のコントラストの位置が周波数領域内の正弦波によって符号化されるということである。空間領域内の特定のコントラストは、周波数領域内の特定の正弦波のみから影響を受ける。空間領域内のコントラストの組み合わせによって定義される形状の場合、この形状は、周波数領域内の位置情報の一意の組み合わせによって捕捉されることを意味する。また、周波数領域内の位置情報の一意の変化によって動きが捕捉されることも意味する。
【００６９】
したがって、特定のオブジェクトの検出には、周波数領域内の特定の情報の捕捉または情報の変化を使用することができる。
【００７０】
周波数領域内で作業することで、伝達関数を用いた乗算や行列を用いた他の同様の計算は単純な成分ごとの乗算であるため計算がより単純になる。これは、２つの関数間の畳み込みであり、計算がより高価になる空間領域内とは異なる。
【００７１】
したがって、周波数領域を使用すると、周波数領域情報の小さな疎部分を計算的に簡単に使用してオブジェクト検出することができる。
【００７２】
疎ゾーンおよび周波数領域内の伝達関数、特徴および形式については、以下で詳述する。
【００７３】
周波数領域の計算後に画像を空間領域に変換し直す計算を必要とせずに、周波数領域内で全体的に動作することで、周波数領域への変換を実行する数学を選択する際に柔軟性を加えることができるようになる。
【図面の簡単な説明】
【００７４】
本方法のさらなる特徴および利点は、添付の図面を参照してなされる好適な実施形態に関する以下の説明からより明らかになるであろう。
【図１】画像の空間領域において、インデックスが位置を示し、画像内の周波数がピクセル強度の正弦波変化を示し、周波数領域内ではその逆が当てはまることを示す図である。
【図２】所与のオブジェクトの空間領域内の動き情報が、周波数領域内の位置をコード化する波の変化によってどのように捕捉されるかを示す図である。
【図３】周波数領域内で、画像内のオブジェクトを分類するのに十分な位置情報および形状情報を捕捉するために、多数の波がどのように必要かを示す図である。
【図４】周波数領域内の正弦波情報を捕捉するために、周波数領域情報の疎部分のみがどのように必要かを示す図である。
【図５】Ｇｏｅｒｔｚｅｌアルゴリズムの完全な２次元形態が、実際、多くの１次元Ｇｏｅｒｔｚｅｌ計算の組み合わせであることを示す図である。
【図６】Ｇｏｅｒｔｚｅｌアルゴリズムの完全な２次元形態が、実際、多くの１次元Ｇｏｅｒｔｚｅｌ計算の組み合わせであることを示す図である。
【図７】完全な２次元形態が計算上理想的でないことを示す図である。
【図８】理想的でない場合でも、完全な２次元形態を高速化する方法を示す図である。
【図９】インデックスの行と列のための１次元出力を個別に計算し、これを単一の値に結合することで、インデックスの結果が取得される場合の効率を示す図である。
【図１０】計算を高速化する方法を示す図であり、周波数領域への変換用の入力セルが、値が必要とするインデックスの位置の周りでのみ取得されることを示す。
【図１１】ゾーンへの入力が、入力として行および列だけに限定されないことを示す図であり、任意の自由な形状であり得ることを示す。
【図１２】各ゾーンが、任意の自由な形状であり得る２つの入力をどのように有するかを示す図である。
【図１３】２つのゾーンが特徴を形成する方法を示す図であり、正規化により、特徴が２つのゾーン間の情報シフトを示す複素ベクトルになることを示す。
【図１４】各インデックスが目標周波数、変換用の基礎となる伝達関数、ならびに周波数領域変換用の入力の方向およびシーケンスを定義する特定の特徴形状をどのように有するかを示す図である。
【図１５】入力の各インデックスを順次移動させることで、周波数領域変換用の入力の形状を最適化する方法を示す図である。
【図１６】入力画像が正方形および長方形に限定されずに任意の形状であり得ることを示す図である。
【図１７】ビデオストリーム内のフレームシーケンスにおいて、ゾーンおよび特徴がデータを相互参照する方法を示す図である。
【図１８】各インデックスの周波数領域変換のシーケンスを定義する形状が単一のフレームに限定されず、ビデオストリーム内の複数のフレームを相互参照できることを示す図である。
【図１９】モデルの周波数領域変換を生成するために使用されるフレームシーケンスの選択において本方法が許容する自由度を示す図であり、コンテンツの検出に真の時間データが使用されることを示す。
【図２０】周波数領域内の最適化が、ノイズの非常に大きな多次元領域内の明確な信号であるという非常に大きな利点を示す図であり、教師あり学習だけでなく教師なし学習のタイプのロジックも可能であること示す。
【図２１】本明細書に記載する方法が提供する可能な最適化ロジックの一例を示すフロー図である。
【発明を実施するための形態】
【００７５】
以下、本発明による方法の一実施形態を、添付図面を参照して詳述する。
【００７６】
本明細書において、ビデオストリームに関する説明は、特定のレートを有する一連の連続画像フレームにも適用されることは明らかである。これらは、ビデオストリームのフレームに相当し、単一画像は単一フレームに相当する。
【００７７】
本発明による方法の目的は、識別されるコンテンツを示す周波数信号を強化してから分離すること、および画像またはビデオストリーム内のコンテンツに関して周波数領域ノイズが低減または無視されるようにすることである。
【００７８】
最初のステップでは、入力画像全体に対して検索ロジックを使用して、本方法の計算のための入力フレームを生成することができる。検索ロジックは、例えば、画像全体または画像のサブセットにすることができる。多くのタイプの検索ロジックが可能であることは明らかである。しかしながら、本明細書に記載する方法の観点から、計算または要求は変更されず、変換用の画像入力のみが変更される。また、特許請求の範囲に記載するように処理される複数の計算に対して、単一フレームが複数の入力をもつことができることも明らかである。
【００７９】
次いで、フレームまたはフレームシーケンスから取得された１つまたは複数の入力が、周波数領域内で抽出される。次いで、フレームの周波数領域データ内のデータが処理されて、コンテンツが検出される。本明細書に記載する方法では、使用する分類がオープンのままであるが、代わりにこの方法で強調されることは、選択の分類に使用されるデータの品質およびタイプの改善である。
【００８０】
上述したように、本明細書に記載する方法は、ビデオストリームの時間データ内に特にまたはさらに排他的に存在するオブジェクトの検出およびプロセスにおいて、特に効果的である。本明細書では、検出のために複数のフレームを単一入力に結合する方法を説明する。
【００８１】
オブジェクトが検出されるか、または検索ロジックの繰り返しが画像内のオブジェクトの検出に失敗すると、検出は、ビデオストリーム内の次のフレームまたはフレームシーケンスに移る。前のフレームで見つかったオブジェクトに基づいて、検索ロジックを適応型にすることができることは明らかである。
【００８２】
既知の技術では、周波数領域内の画像の処理は、一般に高速フーリエ変換（ＦＦＴ）の変形形態を使用して行われるが、本方法は、ＦＦＴまたはその変形形態、例えば、離散コサイン変換（ＤＣＴ）、および離散フーリエ変換（ＤＦＴ）を使用しない。
【００８３】
しかしながら、従来の画像処理と本方法との違いを強調するために、ＦＦＴおよびＤＦＴの一般的な概要をここに示す。
【００８４】
ＦＦＴは、画像分析、画像復元および画像圧縮、ならびにテキスト認識を含む幅広いアプリケーションで使用される。
【００８５】
ＦＦＴの主要原理は、離散フーリエ変換（ＤＦＴ）から得られる。ＤＦＴは、非常に多くの計算を必要とするため、プロセスを高速化する他のタイプの変換も存在する。これらの中で、高速フーリエ変換（ＦＦＴ）が最も確立されている。ＤＦＴでは、入力行列の長さをＮとすると、計算の数はＮ２と相関がある。
【００８６】
ＦＦＴアルゴリズムは、標準ＤＦＴが多くの冗長計算を含むという事実に依存している。
【００８７】
ＦＦＴは、サンプルシーケンスをサブシーケンスに分割することで計算される。各ステージにおいて、前のステージの結果を結合するために、Ｎ／２の複素乗算が必要である。
【００８８】
ｌｏｇ（Ｎ）ステージが存在するため、ＦＦＴでＮ点のＤＦＴを評価するために必要な複素乗算の数は、おおよそＮ＊ｌｏｇ（Ｎ）である。
【００８９】
周波数の数は、空間領域画像内のピクセル数に対応する。すなわち、空間領域と周波数領域内の画像は同じサイズを有する。
【００９０】
上述したように、ＦＦＴには多くの変形形態が存在する。また、ＦＦＴの画像処理には限界がある。例えば、ＦＦＴ用の入力で使用される画像の辺は、２の累乗であるピクセル単位の長さを有する必要がある。
【００９１】
さらなる制限は、特定の周波数についての結果を得る前に、ＦＦＴ全体が計算される必要があることである。言い換えれば、単一の周波数の値を取得する前に、ＦＦＴ全体を計算する必要があるため、ＦＦＴを疎計算用に変換することはできない。また、ＦＦＴの複雑な構造により、再プログラム可能なハードウェアおよびマルチコアプロセッサ上でのコーディング実装が容易にならない。さらに、単一の結果を取得するためにＦＦＴ全体を最初に計算する必要があるため、デバイス上のメモリをより多く使用する必要がある。
【００９２】
切り詰められた高速フーリエ変換などの方法が提供される場合がある。しかしながら、再プログラム可能なハードウェアにこれを実装することは依然として困難であり、また、速度およびメモリ使用を比較的小さくするために、大量の複雑なコードが必要である。
【００９３】
空間領域における値は、通常０〜２５５の範囲のピクセルの光強度である。同じ画像のフーリエ領域値は、空間領域内の画像よりもはるかに広い範囲をもっている。
【００９４】
フーリエ変換は、実数部と虚数部、または振幅と位相のいずれかを有する２つの画像で表示できる複素数値の出力画像を生成する。画像処理では、空間領域画像の幾何学的構造の情報のほとんどが含まれるため、フーリエ変換の振幅のみが表示されることが多い。しかしながら、周波数領域内で何らかの処理を行った後に、フーリエ画像を正しい空間領域に再変換するために、フーリエ画像の振幅と位相の両方を保持する必要がある。
【００９５】
本開示による方法では、すべての計算が周波数領域内の情報のみを使用することができる。
【００９６】
空間領域に戻るためにすべての情報を保持する必要がないため、次のいくつかの利点がある。
【００９７】
第１に、周波数領域から空間領域に戻る余分なステップがないため、計算全体が高速化される。
【００９８】
第２に、周波数領域データを変換して正しい空間領域画像に戻す必要がないため、より小さな疎ゾーンを使用することができる。これは、画像の品質および情報を大きく失うことなく、画像データを変換して空間領域に戻すことができる周波数領域データが必要ないためである。周波数領域内の疎ゾーン自体には、空間画像を再作製するのに十分な周波数領域情報が含まれているとは限らない。しかしながら、分類には十分な情報が含まれている。
【００９９】
第３に、ＦＦＴおよび他の計算でも一般的なエイリアシングを除去するための計算を実行して、周波数領域内の分類のためにデータをより適切に準備することができる。
【０１００】
第４に、ＦＦＴおよびＤＣＴのような方法に存在する他の制限が解除される。例えば、ＦＦＴおよびＤＣＴ用の周波数変換は、画像の行および列に沿って、常に単一のフレーム内で実行される。本方法では、周波数領域変換の方向は、伝達関数の自由度は高く、且つビデオシーケンスのフレーム間での変換を含む任意の順列である。
【０１０１】
図１では、画像の空間領域において、インデックスが位置を示し、画像内の周波数がピクセル強度の正弦波変化を示す。周波数領域内ではその逆が当てはまり、インデックスが周波数を示し、正弦波が位置データを含む。
【０１０２】
同様に、所与のオブジェクト用の空間領域内の移動情報は、周波数領域内の位置をコード化する波の変化によって捕捉される。これは、図２の目の動きの画像で概略的に示されている。
【０１０３】
言うまでもなく、上述した例は、概念を説明するために簡略化されている。実際には、空間領域では、画像を描画するためにピクセル強度の変化を捕捉する多くの周波数が必要である。同様に、周波数領域では、画像内のオブジェクトを分類するのに十分な位置情報および形状情報を捕捉するために多くの波が必要である。これを図３に示す。
【０１０４】
上述したように、周波数領域内の各インデックスは、空間領域内のすべてのピクセルに潜在的に影響を与える。したがって、空間領域から抽出された特徴を用いてオブジェクトを分類する場合と比較して、オブジェクトを分類するために周波数領域で必要な特徴は少ない。本明細書に記載するオブジェクト検出方法では、空間領域内の特定のタイプの形状を捕捉する周波数領域内の情報の最小限の部分的な結合を見つけるための技術が開示されている。この情報の結合は、ビデオストリーム内のフレームシーケンスでもあり、シーケンスの各静止画像を単独で検討する場合には見られない時間的および動的な情報を捕捉することを目的としている。
【０１０５】
ここおよび以下の説明では、疎ゾーンとは、周波数領域の一部をカバーする情報の選択を意味する。各ゾーンは、特定の周波数領域情報と見なされる。図４は、周波数領域内の疎らな特徴のレイアウトの一例を示している。
【０１０６】
ゾーンのペアから各特徴がどのように作製されるかに留意されたい。周波数領域グリッドのサイズは、説明のみを目的としており、後述するように、他の多くのサイズにすることができる。
【０１０７】
図４は、空間領域内の位置および動きを捕捉することができる周波数領域の正弦波コントラストの一例を重ねて示している。図４は、疎ゾーンの動作である空間領域内の動きまたは形状のタイプを検出するために、周波数領域の正弦コントラストの一部のみを捕捉する必要があることを示している。
【０１０８】
疎ゾーンは、局所的な解像度を高めるために、部分的に互いに重なり合ってまたは横に並んで配置され、グループ化されている場合がある。
【０１０９】
疎ゾーンから導出された周波数値に対する計算は、疎計算として示される。
【０１１０】
画像を変換して空間領域に戻す必要はなく、すべての周波数領域情報が必要というわけではないため、ＤＦＴまたはＦＦＴ以外の方法を使用して画像を空間領域に変換することができるようになる。
【０１１１】
本方法によれば、それぞれが単一フレームの少なくとも一部、またはフレームシーケンスの少なくとも２フレームをカバーする、疎ゾーンのペアが１つまたは複数選択される。
【０１１２】
上述したように、疎ゾーンの各ペアは特徴を生成し、各疎ゾーンは空間データの２つのシーケンスによって定義される。
【０１１３】
次いで、本方法によれば、疎ゾーンごとに、Ｌ変換の２次元バリエーションを介して空間データの２つのシーケンスを結合することで、選択された特徴が周波数領域データに変換される。Ｌ変換では、伝達関数ならびにゾーンごとの周波数領域データの形状および方向が変化して、各特徴に対して正規化された複素ベクトルが生成される。
【０１１４】
したがって、変換は、対象周波数、変換で使用される伝達関数、ならびに変換用の入力を定義するループの形状および方向に関して、かなりの設計自由度をもつＧｏｅｒｔｚｅｌアルゴリズムから導出された２次元変換などの方法を使用して実行することができる。本開示でさらに説明するように、使用される方法はＧｏｅｒｔｚｅｌアルゴリズムとは非常に異なるため、以下の説明は、Ｌ変換の２次元バリエーションであるということである。
【０１１５】
上述したように、本方法の利点は、メモリ量の使用を最小限に抑えながら、再プログラム可能なプロセッサまたはＧＰＵ上で使用するためのより柔軟な方法で、疎らに並行して設定することができることである。以下では、最初にＧｏｅｒｔｚｅｌ変換の根底にある理論を記載する。その後、画像処理の２次元ケースの拡張機能、および使用可能な様々な設計オプションを有する本方法の実装形態を詳述する。
【０１１６】
単一の正弦波トーンの検出および測定においてスペクトル分析を実行する必要がある場合、無限インパルス応答（ＩＩＲ）フィルタ構造が使用される。
【０１１７】
スペクトルエネルギーの標準的な方法は、離散フーリエ変換（ＤＦＴ）であり、通常、高速フーリエ変換（ＦＦＴ）アルゴリズムまたは離散コサイン変換（ＤＣＴ）アルゴリズムを使用して実装される。
【０１１８】
しかしながら、Ｎ点のＤＦＴにおけるＮビンの中心周波数のサブセットに対してのみスペクトル分析を必要とするアプリケーションが存在する。１次元でスパースＦＦＴの結果を計算するための一般的且つ効率的な技術は、ＩＩＲフィルタ実装形態を使用してＮ個の入力時間サンプルに基づいて単一の複素ＤＦＴスペクトルビン値を計算するＧｏｅｒｔｚｅｌアルゴリズムである。
【０１１９】
このプロセスの最も一般的な用途は、単一の連続正弦波トーンの存在を検出することである。Ｇｏｅｒｔｚｅｌアルゴリズムは１次元計算であり、画像が２次元である画像処理に使用することはできない。
【０１２０】
Ｇｏｅｒｔｚｅｌアルゴリズムは、長さＮの信号
【数１】
2020507864.tif 000003
のｋ成分を計算するという考えに基づいている。
【０１２１】
【数２】
2020507864.tif 000004
式（１）の右側に
【数３】
2020507864.tif 000005
を掛けると、次のようになる。
【数４】
2020507864.tif 000006
これは、次のように書くことができる。
【数５】
2020507864.tif 000007
式（３）の右側は、信号
【数６】
2020507864.tif 000008
および
【数７】
2020507864.tif 000009
の離散線形畳み込みとして見みなされる。ここでは、
【数８】
2020507864.tif 000010
を意味する。
【０１２２】
実際、
【数９】
2020507864.tif 000011
がその畳み込みの結果を示すとすると、次のようになる。
【数１０】
2020507864.tif 000012
これは、次のように書くことができる。
【数１１】
2020507864.tif 000013
【０１２３】
畳み込みは、１つの関数が反転およびシフトされた後の２つの関数の積の積分として定義される。そのため、これは特定の種類の積分変換である。
【０１２４】
畳み込み定理は、畳み込みのフーリエ変換が適切な条件下においてフーリエ変換の点ごとの積であると述べている。言い換えれば、１つの領域（例えば、時間領域）内での畳み込みは、他の領域（例えば、周波数領域）内での点ごとの乗算に等しい。
【０１２５】
式（３）と式（５）を比較すると、所望の
【数１２】
2020507864.tif 000014
が畳み込みのＮ番目のサンプルであることは明らかである。
【数１３】
2020507864.tif 000015
ここで、
【数１４】
2020507864.tif 000016
である。これは、インパルス応答
【数１５】
2020507864.tif 000017
を伴うＩＩＲ線形システムの時間Ｎにおける出力サンプルとして必要な値を取得できることを意味する。
【０１２６】
このシステムの伝達関数
【数１６】
2020507864.tif 000018
が導出される。これは、インパルス応答のＬ変換である。
【数１７】
2020507864.tif 000019
【数１８】
2020507864.tif 000020
【数１９】
2020507864.tif 000021
【数２０】
2020507864.tif 000022
幾何級数は収束的であり、その合計は伝達関数に等しい。
【数２１】
2020507864.tif 000023
【０１２７】
これにより、以下の差分方程式が得られる。
【数２２】
2020507864.tif 000024
【０１２８】
式（１２）には、複素数による乗算が含まれる。各複素乗算の結果は、４つの実数乗算および４つの実数加算になる。
【０１２９】
複素乗算を回避するために、関数に複素共役極を乗算し、以下のように簡略化することができる。
【数２３】
2020507864.tif 000025
【０１３０】
この２次のＩＩＲの差分方程式は、以下の通りである。
【数２４】
2020507864.tif 000026
このような構造は、状態変数を使用して以下のように記述することができる。
【数２５】
2020507864.tif 000027
そして、
【数２６】
2020507864.tif 000028
を設定する。
【０１３１】
【数２７】
2020507864.tif 000029
【数２８】
2020507864.tif 000030
【数２９】
2020507864.tif 000031
【数３０】
2020507864.tif 000032
【数３１】
2020507864.tif 000033
【０１３２】
・  実際、Ｇｏｅｒｔｚｅｌアルゴリズムは、単一の１次元ＤＦＴ係数の計算を実行する。これはＤＦＴと比較していくつかの利点があるため、１次元アプリケーションで使用される場合がある。
・  Ｇｏｅｒｔｚｅｌアルゴリズムは、スペクトル全体ではなく、いくつかのスペクトル成分の値のみが必要な状況で有利である。一例として、特定のオーディオパルスをもつボタンの押下の認識技術がある。このような場合、アルゴリズムは大幅に高速化することができる。
・  ＤＦＴ成分の計算にＦＦＴアルゴリズムを使用する効率は、信号長Ｎによって強く決定される（Ｎは２のべき乗である必要がある）。対照的に、Ｇｏｅｒｔｚｅｌアルゴリズムの場合、Ｎは任意であるが、計算の複雑さは変わらない。
・  計算は、任意の時点で開始することができ、ＦＦＴの場合のようにデータブロック全体を待つ必要がない。したがって、Ｇｏｅｒｔｚｅｌアルゴリズムは、メモリ容量の観点から要求が少なく、非常に低い待ち時間で実行することができる。したがって、Ｇｏｅｒｔｚｅｌアルゴリズムは、ビット逆順で入力データまたは出力データを並べ替える必要がない。
【０１３３】
＜１次元Ｇｏｅｒｔｚｅｌアルゴリズム＞
１次元Ｇｏｅｒｔｚｅｌ用のアルゴリズムは、ごく基本的な構造をもつ。これは、式（１７）から始めることができる。
【０１３４】
すべてのサンプルでいくつかの中間処理が行われる。ＦＦＴと同様に、サンプルのブロックを処理する。
【０１３５】
１次元Ｇｏｅｒｔｚｅｌの計算を初期化するために、いくつかの設定が必要である。
１．  サンプリングレート
２．  ブロックサイズＮ
３．  目標周波数
サンプリングレートおよびブロックサイズが選択されると、必要な定数を計算する５段階のプロセスが存在する。
【０１３６】
以下、定数ｋ、ｗ、ｃｏｓｉｎｅ、ｓｉｎｅ、ｃｏｅｆｆを定義する。
【数３２】
2020507864.tif 000034
【０１３７】
サンプルごとの処理では、Ｓ０、Ｓ１およびＳ２の３つの変数が使用される。Ｓ１は、最後の反復においてＳ０の値である。Ｓ２は、２反復ステップ前（すなわち、Ｓ１の１反復前）のＳ０の値である。Ｓ１およびＳ２は、サンプルの各ブロックの開始時にゼロに初期化する必要がある。
【０１３８】
行列［ｎ×ｍ］のすべての列（行）について、以下の３つの式が計算される。
【数３３】
2020507864.tif 000035
【０１３９】
これは、１次元Ｇｏｅｒｔｚｅｌアルゴリズムの基本バージョンである。上述したように、１次元ＤＦＴと同じ結果が得られる。
【０１４０】
１次元Ｇｏｅｒｔｚｅｌの別のバージョンを使用することもできる。このバージョンでは、位相情報を犠牲にするが、基本バージョンよりも計算量が少なくなる。これは、変換の実数部と虚数部の両方を計算しないことを意味する。実数部と虚数部の両方を計算することが好ましいこと、およびより高速なオプションは、プロセッサのオーバーヘッドが非常に厳密に制限されている場合のみに使用できることは明らかである。
【０１４１】
高速バージョンでは、サンプルごとの処理は同じであるが、ブロック処理の終わりは異なる。実数成分と虚数成分を計算し、それらを相対振幅の２乗に変換する代わりに、実数成分と虚数成分も計算される基本バージョンのステップを使用せずに、以下が直接計算される。
【数３４】
2020507864.tif 000036
【０１４２】
＜Ｌ変換のバージョンの２次元形態＞
Ｇｏｅｒｔｚｅｌアルゴリズムのこの共通バージョンは、１次元計算用に定義されていることに留意されたい。計算の画像処理では、画像を周波数領域に変換するための計算をＸとＹの２つの次元で行う必要があるため、これは十分ではない。また、Ｇｏｅｒｔｚｅｌの１次元形態は、１次元ＤＦＴと同等であるが、２次元の場合は同様にならない。そのため、Ｇｏｅｒｔｚｅｌアルゴリズムは、オブジェクト検出および画像処理の候補であるように見えない。Ｇｏｅｒｔｚｅｌアルゴリズムに対する別の制限は、特定の信号に対して調整および最適化する能力があまりないことである。
【０１４３】
しかしながら、本開示は、２次元形態で画像を周波数領域に変換する方法を説明する。この説明は、１次元Ｇｏｅｒｔｚｅｌアルゴリズムの原理から始まるが、２次元におけるまったく新しい方法と呼ぶことができる程度に変更される。ここでは、Ｌ変換の２次元バリエーションとして記載する。また、本方法の計算は、周波数領域内全体で実施されるため、空間領域に戻る必要がなく、２次元計算が２次元ＤＦＴと同等である必要がない。
【０１４４】
図５および図６は、Ｇｏｅｒｔｚｅｌアルゴリズムの完全な２次元形態が、実際、多くの１次元Ｇｏｅｒｔｚｅｌ計算の組み合わせであることを示す図である。
【０１４５】
図５の行に対して様々な１次元計算を最初に実行し、図６に示すように、２番目のステップでこれらの結果を使用して、列に対してすべての１次元Ｇｏｅｒｔｚｅｌ計算を実行するオプションがある。あるいは、最初に列を計算してから行を計算することもできる。
【０１４６】
本明細書に記載する方法では、上記のような実装形態を使用することができる場合がある。しかしながら、これはいくつかの理由で好ましい方法とはいえない。
【０１４７】
第１に、行の計算は、列の計算が完了するまで待つ必要があり、逆の場合も同様である。これは、並列処理が可能でないことを意味する。
【０１４８】
第２に、計算は依然として真に疎らではない。図７は、これを示している。図では、インデックス（ｉ，ｊ）内の周波数領域値が必要とする２次元形態において必要な計算が示されている。図７では、最初に行が計算され、次いで列が計算されるオプションが示されている。１次元計算では、最初にインデックスｉで行ごとの値が計算される。この後、列の１次元計算が実行され、インデックスｊでの値を取得することができる。計算上、これが理想的でないことは明らかである。周波数領域変換の分野の専門家にとっても、Ｇｏｅｒｔｚｅｌの２次元形態が、空間領域に戻って元の画像を再作製できないような方法でデータを変更することは明らかである。しかしながら、上述したように、この方法は、周波数領域の日付のみを使用してデータの分類を記述する。したがって、本明細書に記載する方法の駆動体は、駆動体が空間領域データである代わりに、分類子に最適な入力を生成する可能な限り高速な計算を実行する。
【０１４９】
次に、本開示では、速度と検出の両方の観点から、分類子用のデータを最適化するための一連のオプションを説明する。特に、ビデオストリーム内の時間データがどのように最適に捕捉されるかを説明する。
【０１５０】
これらは、とりわけ以下の通りである。
・  それぞれ２つのゾーンを使用する多数の特徴を使用する。
・  特徴およびゾーンによってカバーされるビデオストリームのシーケンス内のフレーム数を選択する。
・  ゾーンごとに異なる目標周波数を選択する。
・  ゾーンごとに２つの入力を有し、それぞれが周波数領域変換である。
・  変換の実数部と虚数部の両方に対して最適化することができる、入力ごとの可変コアフィルタを有する。
・  各インデックスの周波数領域変換を定義するループ用の入力の可変のシーケンスおよび形状を有する。
・  特徴の各ペアを使用して、特徴ごとに正規化された複素ベクトルを生成する。
・  最後に、すべての正規化された複素ベクトルを単一形式に結合する。
【０１５１】
計算は、図７の例よりも疎らに行うことができる。図８に示す一方法では、周波数領域への変換用の入力セルは、値が必要なインデックスの位置の周りでのみ取得される。ただし、これには行が列の結果を待つ必要があり、逆も同様である。この利点は、セルの量の長さが入力パラメータになり、特徴間のより多くの差別化が可能になること、また、分類されるオブジェクトの詳細を捕捉することができることである。
【０１５２】
より効果的な計算が図９に示されている。ここでは、インデックスでの行と列用の１次元出力を個別に計算し、次いでこれを単一の値に結合することで、インデックスの結果が取得される。速度の増加とは別に、この方式の最大の利点は、行の１次元または列の１次元が最初に計算された場合でも違いがないため、行と列の値を並行して計算できることである。図１０に示すように、入力の長さを制限することで、さらに大きな速度増加を実現することができる。この場合、計算する必要があるのは、単一の行と列の入力のみである。
【０１５３】
図１１に示すように、所与のゾーンインデックスで結果を得るために続く２つの入力が行と列または隣接するセルに沿う必要がないと考えると、周波数領域の入力データで分類子を訓練する自由度はさらに大きくなる。
【０１５４】
以下の説明では、図をより概略的に示すために、ゾーンごとに単一の入力を示す場合がある。ただし、図１２に示すように、ゾーンごとに２つの入力があることに留意されたい。
【０１５５】
入力ごとに周波数領域変換が行われ、実数および虚数が与えられる。上述したように、各ゾーンは２つの入力を有する。以下では、それらを単一の正規化された複素数値に結合する方法について説明する。これは、図１３にも示されている。
【０１５６】
最初に、ゾーン１の２つの実数入力が結合される。
【数３５】
2020507864.tif 000037
【０１５７】
ゾーン１の２つの虚数入力が結合されて、位相が与えられる。
【数３６】
2020507864.tif 000038
【０１５８】
ゾーン２の２つの実数入力と虚数入力に対して同じプロセスが繰り返される。
【数３７】
2020507864.tif 000039
【数３８】
2020507864.tif 000040
【０１５９】
次に、ゾーン１とゾーン２の実数値用の結果が正規化で結合される。
【数３９】
2020507864.tif 000041
【０１６０】
これは、ゾーン１およびゾーン２の虚数値に対しても行われる。
【数４０】
2020507864.tif 000042
【０１６１】
このようにして、１つの特徴を形成するゾーンの各ペアは、図１３に示すように、正規化された複素ベクトルを提供する。
【数４１】
2020507864.tif 000043
【０１６２】
このような正規化された複素ベクトルを多数使用して、モデルを構築することができる。
【数４２】
2020507864.tif 000044
【０１６３】
多数の正規化された複素ベクトルのこの形式は、分類子の新しいタイプの入力としてここに記載する方法が提供する入力であるで。この形式により、確率論および量子物理学のすべての数学を分類に適用できることは、当業者には明らかである。
【０１６４】
インデックス内の値を取得するために必要な周波数領域計算の数は、分類子への入力として空間領域内のピクセルをもつ場合と比較して、本明細書に記載する方法では大幅に削減されている。この方法で得られた値は、周波数領域内の形状情報と依然として強く相関する。ただし、エイリアシングおよび周期的な信号などによる影響を減らすために、多くの制御も可能になる。重要な目的の１つは、各インデックス内で一意の結果を得ることなので、これらの影響の低減は重要である。この方法では、空間領域内で画像を再構築するためにすべてのデータをもつ必要がないことに留意されたい。その目標は、検出されているオブジェクトの位置および動きを疎らに符号化する周波数領域情報を捕捉することである。
【０１６５】
作製された周波数領域空間が、空間領域内でピクセル入力を直接使用する場合と比較して、分類子が処理する必要があるパラメータの量を非常に大幅に削減することは明らかである。この利点は、本明細書に記載する方法を使用してビデオストリーム内のフレームシーケンスでのみ検出できる時間情報を捕捉する場合に、指数関数的に増幅される。
【０１６６】
説明を、各インデックスに沿った１次元計算に戻す。ここでは、行または列に沿っている必要がなく自由であるため、以下のように書き換えることができる。
【０１６７】
【数４３】
2020507864.tif 000045
【数４４】
2020507864.tif 000046
【数４５】
2020507864.tif 000047
【数４６】
2020507864.tif 000048
【数４７】
2020507864.tif 000049
【数４８】
2020507864.tif 000050
【数４９】
2020507864.tif 000051
【０１６８】
本方法では、周波数領域変換の実数部と虚数部の両方に対して、パラメータａおよびｂを使用して、伝達関数が調整可能になっていることがわかる。
【０１６９】
デジタルフィルタとして機能するこれらの転送機能は、ゾーンの入力ごとに個別に選択することができるオプションを有することに留意されたい。これは、最初の入力と２番目の入力とが異なる離散デジタル伝達関数設定をもつことができることを意味する。
【０１７０】
上述したように、本方法の利点の１つは、分類子用の入力として使用する前にクリーンアップする周波数領域データを調整する際の自由度が高いことについて記載した多くのオプションが提供されることである。
【０１７１】
これは、図１４に示されている。入力ごとに目標周波数、コアループで使用される入力の方向およびシーケンス、ならびにコアループ内で使用される伝達関数を自由に選択できることがわかる。
【０１７２】
図１５は、最適化フェーズでコア内部ループ用の入力の方向およびシーケンスを調整する方法を示している。
【０１７３】
この時点で、本方法における計算が、Ｌ変換（式７）を使用してＧｏｅｒｔｚｅｌアルゴリズムを作製する理論とは非常に異なることが明らかである。また、Ｌ変換に繋がるＺ変換とも実質的に異なる。説明のために、本方法で使用される変換をＬ変換の２次元バリエーションと呼ぶ。
【０１７４】
本方法では、特徴を含むインデックス内の周波数領域値のみを計算する必要があることは、当業者には明らかであろう。ＦＦＴを使用する場合、ＦＦＴは疎計算することができないため、周波数領域内のすべての値を計算する必要がある。また、本方法は、ＦＦＴのような画像入力サイズの制限がないことにも再び留意されたい。実際、図１６に示すように、正方形または長方形の入力画像サイズをもつことの制限さえない。
【０１７５】
次に、ビデオフレームシーケンスから時間情報を抽出する方法の適用について説明する。
【０１７６】
図１７は、特徴を形成するゾーンの各ペアが必ずしもビデオシーケンスの同じフレーム内にある必要がないことを示している。一方、図１８は、コア内部ループの各入力の方向およびシーケンスが、ビデオフレームシーケンスの単一フレームに限定されない経路を取る方法を示している。ピクセルが空間領域からの入力として直接使用される場合、ビデオシーケンスのフレーム間でピクセルを相互参照するときに解決する置換は、本明細書に記載する方法と比較して、はるかに遅く、はるかに困難であることは専門家には明らかである。
【０１７７】
図１９は、モデルの周波数領域変換を生成するために使用されるフレームシーケンスの選択において本方法が許容する自由度を示す。これにより、コンテンツの検出に真の時間データを使用することができるようになる。
【０１７８】
また、図２０では、周波数領域での作業がピクセルの空間領域と比較して大きな利点をもつことがわかる。空間領域では、各ピクセルは０〜２５５の範囲の入力を有し、ピクセルの良さを判断する可能性はあまりない。一方、周波数領域では、周波数領域内の探索空間は、大部分が大量のノイズから構成されており、信号がはっきりと目立っている。したがって、本明細書に記載する方法は、信号品質を基本とする、より効果的な最適化ロジックを含む可能性がある。これは、潜在的に監視なしで実行することもできる。
【０１７９】
図２１は、本方法を使用してビデオフレームシーケンス内の時間的影響を検出するモデルを作製する場合に、本明細書に記載する方法に使用することができる訓練に関する上位図である。図２１は、シーケンスで使用されるフレームの数がどれほど可変であり、また図１４にも示すように、各特徴のインデックスごとに目標周波数が最適化され、基礎となるループのシーケンスが選択され、ループ内で使用される基礎となる伝達関数が最適化されることを示している。これは、各ループの実数部と虚数部の両方に対して行われる。最適化の出力は、多数の正規化された複素ベクトルを有する形式になる。これは、ビデオフレームシーケンス内の時間的影響の検出および分類に特に効果的な入力として使用することができる。ただし、本方法はそのような実装形態に限定されない。
【図１】
2020507864.tif 000052
【図２】
2020507864.tif 000053
【図３】
2020507864.tif 000054
【図４】
2020507864.tif 000055
【図５】
2020507864.tif 000056
【図６】
2020507864.tif 000057
【図７】
2020507864.tif 000058
【図８】
2020507864.tif 000059
【図９】
2020507864.tif 000060
【図１０】
2020507864.tif 000061
【図１１】
2020507864.tif 000062
【図１２】
2020507864.tif 000063
【図１３】
2020507864.tif 000064
【図１４】
2020507864.tif 000065
【図１５】
2020507864.tif 000066
【図１６】
2020507864.tif 000067
【図１７】
2020507864.tif 000068
【図１８】
2020507864.tif 000069
【図１９】
2020507864.tif 000070
【図２０】
2020507864.tif 000071
【図２１】
2020507864.tif 000072
【国際調査報告】
2020507864.tif 000073
2020507864.tif 000074
2020507864.tif 000075