(57)【特許請求の範囲】
【請求項１】
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段と、を有し、
前記移動ベクトル検出手段は、  前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、
前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、
前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記ハッシュテーブル生成手段により生成された前記２つのフレームそれぞれのハッシュテーブルから、出現回数が所定の値以下であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、
前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、
前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有することを特徴とするサーバ装置。
【請求項２】
前記移動ベクトル検出手段は、
前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記２つのフレームにおける色の揺らぎを考慮して前記移動ベクトルを検出することを特徴とする請求項１に記載のサーバ装置。
【請求項３】
前記移動ベクトル検出手段は、
前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記２つのフレームにおける位置の揺らぎを考慮して前記移動ベクトルを検出することを特徴とする請求項１に記載のサーバ装置。
【請求項４】
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段と、を有し、
前記移動ベクトル検出手段は、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、
前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、
前記ハッシュテーブル生成手段により生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、
前記動画種判別手段により前記動画データが自然動画であると判別されたときは、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が所定の値だけ異なる特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、
前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、
前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有することを特徴とするサーバ装置。
【請求項５】
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段と、を有し、
前記移動ベクトル検出手段は、
前記動画種判別手段による判別結果に基づいて前記移動ベクトルを検出することを特徴とし、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、
前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、
前記ハッシュテーブル生成手段により生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、
前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、
前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有し、
前記動画種判別手段は、
移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおける色の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別することを特徴とするサーバ装置。
【請求項６】
前記動画種判別手段は、
移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおけるハッシュ値の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別することを特徴とする請求項４に記載のサーバ装置。
【請求項７】
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別ステップと、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出ステップと、を有し、
前記移動ベクトル検出ステップは、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出ステップと、
前記エッジ点抽出ステップにより抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成ステップと、
前記動画種判別ステップにより前記動画データが自然動画であると判別されたときは、前記ハッシュテーブル生成ステップにより生成された前記２つのフレームそれぞれのハッシュテーブルから、出現回数が所定の値以下であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出ステップと、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出ステップと、
前記特徴点ペア抽出ステップにより抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出ステップと、
前記ベクトル算出ステップにより特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定ステップと、を有することを特徴とする移動ベクトル検出方法。
【請求項８】
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別ステップと、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出ステップと、を有し、
前記移動ベクトル検出ステップは、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出ステップと、
前記エッジ点抽出ステップにより抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成ステップと、
前記ハッシュテーブル生成ステップにより生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出ステップと、
前記動画種判別ステップにより前記動画データが自然動画であると判別されたときは、前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が所定の値だけ異なる特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出ステップと、
前記特徴点ペア抽出ステップにより抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出ステップと、
前記ベクトル算出ステップにより特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定ステップと、を有することを特徴とする移動ベクトル検出方法。
【請求項９】
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別ステップと、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出ステップと、を有し、
前記移動ベクトル検出ステップは、
前記動画種判別ステップによる判別結果に基づいて前記移動ベクトルを検出することを特徴とし、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出ステップと、
前記エッジ点抽出ステップにより抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成ステップと、
前記ハッシュテーブル生成ステップにより生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出ステップと、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出ステップと、
前記特徴点ペア抽出ステップにより抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出ステップと、
前記ベクトル算出ステップにより特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定ステップと、を有し、
前記動画種判別ステップは、
移動ベクトル検出ステップにより決定された移動ベクトルにより結ばれる特徴点ペアにおける色の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別することを特徴とする移動ベクトル検出方法。
【請求項１０】
前記動画種判別ステップは、
移動ベクトル検出ステップにより決定された移動ベクトルにより結ばれる特徴点ペアにおけるハッシュ値の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別することを特徴とする請求項８に記載の移動ベクトル検出方法。
【請求項１１】
サーバ装置を、
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段として機能させ、
前記移動ベクトル検出手段は、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、
前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、
前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記ハッシュテーブル生成手段により生成された前記２つのフレームそれぞれのハッシュテーブルから、出現回数が所定の値以下であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、
前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、  前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有することを特徴とするプログラム。
【請求項１２】
サーバ装置を、
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段として機能させ、
前記移動ベクトル検出手段は、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、
前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、
前記ハッシュテーブル生成手段により生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、
前記動画種判別手段により前記動画データが自然動画であると判別されたときは、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が所定の値だけ異なる特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、
前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、
前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有することを特徴とするプログラム。
【請求項１３】
サーバ装置を、
動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、
前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段として機能させ、
前記移動ベクトル検出手段は、前記動画種判別手段による判別結果に基づいて前記移動ベクトルを検出し、
前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、
前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、
前記ハッシュテーブル生成手段により生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、
前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、
前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、
前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有し、
前記動画種判別手段は、
移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおける色の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別することを特徴とするプログラム。
【請求項１４】
前記動画種判別手段は、
移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおけるハッシュ値の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別することを特徴とする請求項１２に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２つのフレームの間で移動した領域を検出するサーバ装置、移動ベクトル検出方法及びプログラムに関する。
【背景技術】
【０００２】
ネットワークの発達により、あらゆる場所でネットワークに接続できる環境が整ってきている。このため、あらゆる場所で使用できるように、機能を落とし、できる限り軽量化したクライアント装置を用意し、クライアント装置に入力された操作に対する処理は、ネットワークを介し接続したサーバ装置が行うようにしたクライアントサーバシステムが実用的になってきている。
【０００３】
このようなクライアントサーバシステムでは、クライアント装置に入力された操作の処理結果を示す画面はサーバ装置により生成される。このため、クライアント装置において、サーバ装置で行われた処理結果を表示するために、サーバ装置は、生成した画面の情報を、所定の時間間隔で、クライアント装置に送信している。
【０００４】
このとき、所定間隔で送られる画面のデータであるフレームデータのデータサイズやネットワークの混雑具合によっては、クライアント装置に操作情報が入力されてから、この操作情報を反映したフレームデータがクライアント装置に表示されるまでに、遅延が生じることがある。この遅延を小さくするためには、サーバ装置からクライアント装置に送信されるフレームデータのデータサイズはできる限り小さくする必要がある。
【０００５】
そこで、送信されるフレームデータのデータサイズを小さくする方法がいろいろ取り入れられてきている。例えば、前回生成されたフレームデータから変化した部分だけを送信する差分伝送などの方法が用いられている。
【０００６】
差分伝送の方法では、通常、図２７に示すようなフレーム上でのウィンドウ部分の移動の場合、時間的に後のフレームのうちの時間的に前のフレームから変化した領域、つまり、図２８に示すように、時間的に後のフレームのうちの移動前のウィンドウ部分に対応する領域と移動後のウィンドウ部分の領域を差分領域と認識し、この差分領域のデータを差分データとしてサーバ装置からクライアント装置に送信している。しかし、移動するウィンドウ部分の画像が変化しない場合は、移動前のウィンドウ部分と移動後のウィンドウ部分を含む領域全体のデータを差分データとして送る必要はない。
【０００７】
ウィンドウ部分の画像が変化しないのであれば、すでにクライアント装置に格納されている移動前のウィンドウ部分の画像を、移動後のウィンドウ部分の画像として使用すれば良い。つまり、移動後のウィンドウ部分に対しては、クライアント装置に格納されたフレームデータ上において、移動後のウィンドウ部分の格納位置に、移動前のウィンドウ部分の画像データをコピーすれば良い。そして、図２９に示すような残りのデータだけを差分データとしてサーバ装置から送信し、クライアント装置に格納されたフレームデータ上において、移動前のウィンドウ部分をこの差分データに書き換えれば、ウィンドウ部分が移動した後の画像を再現することができる。つまり、図３０に示すように、ウィンドウ部分の移動前の位置情報とウィンドウ部分の移動先についての情報と、残りの差分データを送信するだけで、ウィンドウ部分が移動した後のフレームデータをクライアント装置側で再現することができる。
【０００８】
ここで、ウィンドウ部分の移動前の位置情報としては、ウィンドウ部分の左上端点の座標と右下端点の座標の組み合わせでも良いし、左上端点の座標とウィンドウ部分のサイズ（ウィンドウ部分の水平方向の長さと垂直方向の長さ）の組み合わせでも良い。つまり、ウィンドウ部分の移動前の位置情報としては、４つの数値データを送信するだけで良い。また、ウィンドウ部分の移動先の情報としては、例えば、移動前のウィンドウ部分の左上端点の座標と移動後のウィンドウ部分の左上端点の座標とを結ぶベクトル、つまり、移動ベクトルの情報を送信すれば良い。つまり、ウィンドウ部分の移動先の情報としては、移動ベクトルの座標値である２つの数値データを送信するだけで良い。よって、移動後のウィンドウ部分のデータを送信する代わりに、６つの数値データを送信すれば良いことになり、送信するデータのデータサイズがかなり小さくすることができる。
【０００９】
例えば、特許文献１では、ウィンドウ部分などの移動する領域を検出する方法や、その領域の移動ベクトルや残りの差分データを検出する方法が開示されている。
【先行技術文献】
【特許文献】
【００１０】
【特許文献１】特開２００９−１９４６２６号公報
【発明の概要】
【発明が解決しようとする課題】
【００１１】
しかしながら、特許文献１に開示された方法を含め、これまでの方法は、サーバ装置からクライアント装置に送信される動画が、カメラなどのレンズを通して撮像された情報により生成される動画である自然動画であるのか、サーバ装置のデジタル処理のみにより生成される動画である人工動画であるのか、を考慮していない。
【００１２】
自然動画は、人工動画と違い、色の揺らぎや位置の揺らぎが存在する。つまり、特許文献１に開示された方法を含め、これまでの方法では、これらの揺らぎを考慮していないため、自然動画を扱う際に、移動ベクトルの算出の精度が落ちるという問題があった。
【００１３】
そこで本発明は、上記問題点に鑑みてなされたもので、移動ベクトルを精度良く検出するサーバ装置、移動ベクトル検出方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【００１４】
上記課題を解決するため、本発明におけるサーバ装置は、動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段と、を有し、前記移動ベクトル検出手段は、前記動画種判別手段による判別結果に基づいて前記移動ベクトルを検出することを特徴とする。
【００１５】
また、本発明における移動ベクトル検出方法は、動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別ステップと、前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出ステップと、を有し、前記移動ベクトル検出ステップは、前記動画種判別ステップによる判別結果に基づいて前記移動ベクトルを検出することを特徴とする。
【００１６】
また、本発明におけるプログラムは、サーバ装置を、動画データが、色と位置の揺らぎが存在する自然動画であるのかを判別する動画種判別手段と、前記動画データを構成する連続するフレームである第１のフレームと第２のフレームとを比較することにより、当該２つのフレームの何れにも存在する画像領域であってフレーム上での位置が移動している領域である移動領域の移動の大きさと方向を示す移動ベクトルを検出する移動ベクトル検出手段として機能させ、前記移動ベクトル検出手段は、前記動画種判別手段による判別結果に基づいて前記移動ベクトルを検出することを特徴とする。
【発明の効果】
【００１７】
本発明により、移動ベクトルを精度良く検出することが可能になる。
【図面の簡単な説明】
【００１８】
【図１】本発明の実施形態に係るクライアントサーバシステムの構成例を示す図である。
【図２】本発明の実施形態に係るサーバ装置の構成例を示す図である。
【図３】２つのフレームにおける領域の移動を説明する図である。
【図４】本発明の実施形態に係るサーバ装置の移動ベクトル検出部の構成例を示す図である。
【図５】ハッシュ値の生成方法を説明する図である。
【図６】本発明の実施形態に係るサーバ装置の移動ベクトル検出部で生成されるハッシュテーブルを説明する図である。
【図７】本発明の実施形態に係るサーバ装置の移動ベクトル検出部において算出されるベクトルを説明する図である。
【図８】本発明の実施形態に係るサーバ装置の移動ベクトル検出部における処理動作例を示す図である。
【図９】本発明の実施形態に係るサーバ装置の移動ベクトル検出部において算出されるベクトルを説明する図である。
【図１０】本発明の実施形態に係るサーバ装置の移動ベクトル検出部において算出されるベクトルを説明する図である。
【図１１】本発明の実施形態に係るサーバ装置の移動ベクトル検出部における処理動作例を示す図である。
【図１２】本発明の実施形態に係るサーバ装置の移動領域検出部の構成例示す図である。
【図１３】本発明の実施形態に係るサーバ装置の移動領域検出部において決定される比較領域を説明する図である。
【図１４】本発明の実施形態に係るサーバ装置の移動領域検出部において比較される領域を説明する図である。
【図１５】本発明の実施形態に係るサーバ装置の移動領域検出部において比較される領域を説明する図である。
【図１６】本発明の実施形態に係るサーバ装置の移動領域検出部において行われる比較を説明する図である。
【図１７】本発明の実施形態に係るサーバ装置の移動領域検出部における処理動作例を示す図である。
【図１８】本発明の実施形態に係るサーバ装置の移動領域検出部の構成例を示す図である。
【図１９】本発明の実施形態に係るサーバ装置の移動領域検出部において設定される初期領域を説明する図である。
【図２０】本発明の実施形態に係るサーバ装置の移動領域検出部において設定される比較領域を説明する図である。
【図２１】本発明の実施形態に係るサーバ装置の移動領域検出部における処理動作例を示す図である。
【図２２】本発明の実施形態に係るサーバ装置の差分データ部における処理例を説明する図である。
【図２３】本発明の実施形態に係るサーバ装置の差分データ部における処理例を説明する図である。
【図２４】本発明の実施形態に係るサーバ装置の差分データ部における処理例を説明する図である。
【図２５】本発明の実施形態に係るサーバ装置の差分データ部における処理例を説明する図である。
【図２６】本発明の実施形態に係るサーバ装置における処理動作例を示す図である。
【図２７】ウィンドウ部分の移動を説明する図である。
【図２８】差分領域を説明する図である。
【図２９】差分領域を説明する図である。
【図３０】移動領域の位置情報と移動ベクトルと差分データによるフレームの再現を説明する図である。
【発明を実施するための形態】
【００１９】
次に、本発明を実施するための形態について図面を参照して詳細に説明する。
【００２０】
＜クライアントサーバシステムの構成例＞
図１は、本発明の実施形態に係るクライアントサーバシステムの構成例である。本実施形態に係るクライアントサーバシステムは、サーバ装置１００と、クライアント装置２００と、を有して構成される。サーバ装置１００とクライアント装置２００とはネットワークを介して接続されている。図１では、クライアント装置２００は、一台であるが、複数台であっても良い。
【００２１】
＜サーバ装置１００の構成例＞
図２は、本発明の実施形態に係るサーバ装置１００の構成例を示す図である。本実施形態に係るサーバ装置１００は、記憶部１１０と、移動ベクトル検出部１２０と、移動領域検出部１３０と、差分データ生成部１４０と、送信部１５０と、を有して構成される。サーバ装置１００は、このような構成で、図３に示すように、２つの時間的に連続したフレームを比較し、それぞれのフレームのうちで移動した移動領域と、この移動領域の移動距離と移動方向を示す移動ベクトルと、を検出する。そして、移動ベクトルと移動領域と時間的に前のフレームとを用いて差分データを生成し、移動ベクトルの情報と移動領域の情報と差分データとをクライアント装置２００に送信する。以降、この比較される２つの時間的に連続したフレームのうち、時間的に前のフレームを移動前フレーム、時間的に後のフレームを移動後フレームと呼ぶことにする。つまり、サーバ装置１００は、記憶部１１０に記憶された移動前フレームと移動後フレームを用いて、移動ベクトル検出部１２０により移動ベクトルを検出し、移動領域検出部１３０により移動領域を検出し、差分データ生成部１４０により差分データを生成し、この移動ベクトルの情報と移動領域の情報と差分データとを送信部１５０によりクライアント装置２００に送信する。
【００２２】
記憶部１１０は、移動前フレームや移動後フレーム、後述するエッジ点・特徴点の座標値・画素値やハッシュテーブルなどを記録する。記憶部１１０は、１つでも良いし、記憶するデータごとに用意されるようにしても良い。例えば、記憶部１１０として、ＲＡＭやハードディスクなどを備えるようにし、頻繁に読み書きを行う必要のあるデータは、ＲＡＭなどに記憶するようにし、頻繁に読み書きを行う必要のないデータは、ハードディスクなどに記憶するようにしても良い。
【００２３】
＜移動ベクトル検出部１２０の構成例＞
移動ベクトル検出部１２０は、記憶部１１０に記憶された移動前フレームと移動後フレームに基づき、移動ベクトルを検出する。図４は、本発明の実施形態に係るサーバ装置１００の移動ベクトル検出部１２０の構成を示す図である。移動ベクトル検出部１２０は、エッジ点抽出部１２１と、ハッシュテーブル生成部１２２と、特徴点抽出部１２３と、特徴点ペア抽出部１２４と、ベクトル算出部１２５と、移動ベクトル決定部１２６と、動画種判別部１２７と、を有して構成される。
【００２４】
エッジ点抽出部１２１は、記憶部１１０に記憶された移動前フレームと移動後フレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出する。エッジ点の抽出の仕方としてはいろいろと考えられる。例えば、ある画素を注目したときに、その画素の画素値とその画素に直交する２方向（例えば、左と上など）に隣接する２つの画素の画素値とを比較し、画素値の差が所定の値以上である場合に、その画素をエッジ点として抽出する。比較するときに、Ｒ、Ｇ、Ｂの各成分における差の総和を比較するようにしても良いし、Ｒ、Ｇ、Ｂの各成分それぞれにおいて比較するようにしても良い。Ｒ、Ｇ、Ｂの各成分それぞれにおいて比較する場合は、Ｒ、Ｇ、Ｂの各成分のうちいずれか１つの成分における差が所定の値以上であるときに、その画素をエッジ点として抽出するようにしても良いし、２つの成分における差が所定の値以上であるときに、その画素をエッジ点として抽出するようにしても良いし、すべての成分における差が所定の値以上であるときに、その画素をエッジ点として抽出するようにしても良い。
【００２５】
サーバ装置１００からクライアント装置２００に送信される動画には、自然動画と人工動画の二種類の動画が考えられる。自然動画は、例えば、カメラなど、レンズを通して撮像された情報により生成される動画であり、人工動画は、例えば、サーバ装置１００などのデジタル処理のみにより生成される動画である。
【００２６】
自然動画は、肉眼では、同一に見える部分であっても、レンズを通しているため、連続するフレームの間で色が微妙に揺らぐ。一方、人工動画には、このような揺らぎは無い。このため、エッジ点を抽出する際に使用する上記の所定の値を、自然動画と人工動画とで同じ値を使用すると、自然動画では、エッジ点として抽出されるべき点が、上記の揺らぎによりエッジ点として抽出されなくなることも起こりえる。
【００２７】
そこで、エッジ点を抽出する際に使用する上記の所定の値を、自然動画と人工動画とでは異なる値を使用するようにすると良い。例えば、自然動画において使用する所定の値を、人工動画において使用する所定の値より小さくする。このようにすることにより、自然動画において、エッジ点を抽出し損なうことを低減することが可能になる。
【００２８】
なお、サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であるのか、人工動画であるのか、を判別する動画種判別部１２７については、下記で詳述する。
【００２９】
ハッシュテーブル生成部１２２は、エッジ点抽出部１２１により抽出されたエッジ点を下記で示すハッシュ値により数値化し、ハッシュ値ごとの出現回数、そのハッシュ値を持つエッジ点の座標値などを示したハッシュテーブルを生成する。ハッシュテーブルは、移動前フレームと移動後フレームそれぞれに対して生成される。
【００３０】
ハッシュテーブルを生成するために、ハッシュテーブル生成部１２２は、まず、エッジ点すべてに対してハッシュ値を生成する。ここで、ハッシュ値の生成の仕方としてはいろいろと考えられる。例えば、あるエッジ点に注目したときに、そのエッジ点とそのエッジ点の１つ左のエッジ点との距離Ｄ１と、そのエッジ点とそのエッジ点の２つ左のエッジ点との距離Ｄ２と、を用いて、Ｄ１＋ｎ×Ｄ２をそのエッジ点のハッシュ値とする。ここで、ｎは、任意の整数である。このとき、例えば、図５に示したように、３つのエッジ点があり、それぞれのエッジ点の座標が（８１、５０）、（８３、５０）、（８６、５０）である場合、ｎ＝１６とすると、座標（８６、５０）にあるエッジ点のハッシュ値は、３＋１６×５＝８３となる。
【００３１】
ハッシュテーブル生成部１２２は、図６に示すように、ハッシュ値ごとに、各フレームでのそのハッシュ値の出現回数、そのハッシュ値が生成されたエッジ点の座標値をまとめたテーブルを生成する。このとき、例えば、ハッシュテーブル生成部１２２は、ラスタスキャン順にエッジ点のハッシュ値を生成するようにすると良い。
【００３２】
特徴点抽出部１２３は、ハッシュテーブル生成部１２３により生成された移動前フレームと移動後フレームそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する。例えば、図６に示したハッシュテーブルであれば、移動前フレームのハッシュテーブルからは座標値が（８６、５０）や（１１４、１２１）であるエッジ点などが、移動後フレームのハッシュテーブルからは座標値が（２８８、１４８）、（３２、３８４）であるエッジ点などが、特徴点として抽出される。
【００３３】
特徴点ペア抽出部１２４は、移動前フレームのハッシュテーブルと移動後のハッシュテーブルから、同一のハッシュ値を持つ特徴点のペアを特徴点ペアとして抽出する。例えば、図６に示したハッシュテーブルであれば、特徴点ペア抽出部１２４は、ハッシュ値が８３と同一の値を持つ、移動前フレームの座標（８６、５０）にある特徴点と、移動後フレームの座標（２８８、１４８）にある特徴点と、を特徴点ペアとして抽出する。
【００３４】
上記のように生成したハッシュ値の値が同一であるということは、特徴点ペアの特徴点とその特徴点の１つ左のエッジ点と２つ左のエッジ点との位置関係が、移動前フレームと移動後フレームで同じである可能性が高い。つまり、特徴点ペアの特徴点とその特徴点の１つ左のエッジ点と２つ左のエッジ点とは、移動前フレームと移動後フレームで全く移動していないか、同じ方向に同じ距離だけ移動している可能性が高い。よって、上記のように抽出された特徴点ペアの特徴点は、全く移動していない点であるか、移動領域内の点である可能性が高いことになる。
【００３５】
ベクトル算出部１２５は、特徴点ペア抽出部１２４により抽出された特徴点ペアそれぞれに対して、移動前フレームにおける特徴点の位置（座標）と、移動後フレームにおける特徴点の位置（座標）と、を結ぶベクトルを算出する。例えば、図６に示したハッシュテーブルの特徴点ペアであれば、図７に示すように、ベクトルが算出される。上述したように、特徴点ペアのなかには移動領域内の点が含まれている可能性が高いため、ベクトル算出部１２５により算出されたベクトルは、移動領域の移動を示すベクトルである移動ベクトルである可能が高い。
【００３６】
移動ベクトル決定部１２６は、ベクトル算出部１２５により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル（０、０）以外で、最頻出のベクトルを移動領域の移動を示すベクトルである移動ベクトルとして決定する。
【００３７】
上述したように、特徴点ペアの特徴点は、全く移動していない点であるか、移動領域内の点である可能性が高い。ベクトル算出部１２５により算出されたベクトルのなかには、全く移動していない特徴点ペアに対する移動を示すベクトルであるゼロベクトルが多く含まれている可能性がある。このため、まず、ベクトル算出部１２５により算出されたベクトルから、ゼロベクトルを除く。
【００３８】
残されたベクトルには様々な値のベクトルが存在する可能性がある。残されたベクトルのなかには、特徴点の１つ左のエッジ点と２つ左のエッジ点との位置関係が、移動前フレームと移動後フレームで異なる特徴点ペアから算出されたベクトルも存在するだろうが、そのようなベクトルはそれぞれ異なった値を持っているはずである。よって、残されたベクトルのうちで最頻出のベクトルは移動ベクトルである可能性がかなり高い。よって、残されたベクトルのうち、最頻出のベクトルを移動ベクトルとして決定する。例えば、図６に示したようなハッシュテーブルであれば、特徴点ペアそれぞれに対してベクトルが図７に示すように算出されるため、ベクトル（２０２、９８）が移動ベクトルとして決定される。
【００３９】
このようにすることにより、移動領域の移動の大きさと方向を示す移動ベクトルを検出することができる。上記の方法は、移動前フレームと移動後フレームで、３つのエッジ点が同じ位置関係を保っている点を用いて移動ベクトルを検出している。よって、１つの点や、２つの点を用いる方法より、より確実に移動ベクトルを検出することが可能である。
【００４０】
＜移動ベクトル検出部１２０における処理動作例＞
図８は、本発明の実施形態に係るサーバ装置１００の移動ベクトル検出部１２０における処理動作の一例を示す図である。まず、移動前フレームと移動後フレームそれぞれにおいて、エッジ点抽出部１２１によりエッジ点が抽出される（Ｓ１０１）。そして、ハッシュテーブル生成部１２２は、エッジ点抽出部１２１により抽出されたエッジ点それぞれに対してハッシュ値が与え、移動前フレームと移動後フレームそれぞれでのハッシュ値の出現回数とそのハッシュ値を持つエッジ点の座標値とを示したハッシュテーブルを生成する（Ｓ１０２）。次に、特徴点抽出部１２３が、ハッシュテーブル生成部１２２により生成されたハッシュテーブルを用いて、それぞれのフレームにおいて出現回数が１回であるハッシュ値を持つエッジ点を特徴点として抽出する（Ｓ１０３）。次に、特徴点ペア抽出部１２４が、移動前フレームのハッシュテーブルと移動後のハッシュテーブルから、同一のハッシュ値を持つ特徴点のペアを特徴点ペアとして抽出する（Ｓ１０４）。次に、ベクトル算出部１２５が、特徴点ペア抽出部１２４により抽出された特徴点ペアそれぞれに対して、移動前フレームにおける特徴点の位置（座標）と移動後フレームにおける特徴点の位置（座標）とを結ぶベクトルを算出する（Ｓ１０５）。最後に、移動ベクトル決定部１２６が、ベクトル算出部１２５により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル（０、０）以外で最頻出のベクトルを移動領域の移動を示すベクトルである移動ベクトルとして決定する（Ｓ１０６）。このような処理動作により、移動ベクトル検出部１２０は、移動ベクトルを検出する。
【００４１】
＜色の揺らぎに対する考慮＞
上記では、特徴点抽出部１２３は、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出した。しかし、自然動画では、上述したように、色の揺らぎのためにエッジ点が抽出されにくくなる。また、同様に、特徴点の抽出においても、この色の揺らぎのために、特徴点として抽出される点が少なくなる可能性がある。
【００４２】
そこで、特徴点抽出部１２３は、動画種判別部１２７により、サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であると判別されたときは、出現回数が所定の閾値以下であるハッシュ値を持つエッジ点を特徴点として抽出するようにしても良い。例えば、所定の閾値を２にしたときは、図６に示したハッシュテーブルであれば、移動前フレームのハッシュテーブルからは座標値が（８６、５０）や（１１４、１２１）であるエッジ点などのハッシュ値の出現回数が１であるエッジ点に加え、座標値が（２３、３０）や（５３１、３２１）であるエッジ点などのハッシュ値の出現回数が２であるエッジ点も特徴点として抽出される。また、移動後フレームのハッシュテーブルからは座標値が（２８８、１４８）、（３２、３８４）であるエッジ点などのハッシュ値の出現回数が１であるエッジ点に加え、座標値が（２４２、１０２）や（６３４、１７９）であるエッジ点などのハッシュ値の出現回数が２であるエッジ点も特徴点として抽出される。
【００４３】
そして、このとき、特徴点ペア抽出部１２４は、移動前フレームのハッシュテーブルと移動後のハッシュテーブルとから、同一のハッシュ値を持つ特徴点によりペアを生成し、この生成されたペアを特徴点ペアとして抽出する。つまり、移動前フレームと移動後フレームとのどちらにおいても出現回数が１であるハッシュ値については、特徴点ペア抽出部１２４は、上述したような方法により特徴点ペアを抽出し、移動前フレームと移動後フレームとのどちらか、または、両方において、出現回数が１より大きいハッシュ値に対しては、そのハッシュ値を持つ移動前フレームの特徴点と、そのハッシュ値を持つ移動後フレームの特徴点と、の間のすべての組み合わせに対してペアを生成する。
【００４４】
例えば、図６に示したハッシュテーブルであれば、ハッシュ値８４は、移動前フレームでは出現回数が２であり、移動後フレームでは出現回数が１である。このようなとき、特徴点ペア抽出部１２４は、移動前フレームの座標（２３、３０）にある特徴点と移動後フレームの座標（３２、３８４）にある特徴点とをペアとし、移動前フレームの座標（５３１、３２１）にある特徴点と移動後フレームの座標（３２、３８４）にある特徴点とをペアとし、これら２つのペアを特徴点ペアとして抽出する。
【００４５】
また、例えば、図６に示したハッシュテーブルであれば、ハッシュ値５５１は、移動前フレームと移動後フレームの両方では出現回数が２である。このようなとき、特徴点ペア抽出部１２４は、移動前フレームの座標（６０３、２００）にある特徴点と移動後フレームの座標（３９、３９９）にある特徴点とをペアとし、移動前フレームの座標（６０３、２００）にある特徴点と移動後フレームの座標（４２１、４０５）にある特徴点とをペアとし、移動前フレームの座標（３９、３９９）にある特徴点と移動後フレームの座標（３９、３９９）にある特徴点とをペアとし、移動前フレームの座標（３９、３９９）にある特徴点と移動後フレームの座標（４２１、４０５）にある特徴点とをペアとし、これら４つのペアを特徴点ペアとして抽出する。
【００４６】
そして、ベクトル算出部１２５は、この特徴点ペア抽出部１２４により抽出された特徴点ペアそれぞれに対して、移動前フレームにおける特徴点の位置（座標）と、移動後フレームにおける特徴点の位置（座標）と、を結ぶベクトルを算出する。例えば、図６に示したハッシュテーブルの特徴点ペアであれば、図９に示すように、ベクトルが算出される。そして、移動ベクトル決定部１２６が、ベクトル算出部１２５により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル（０、０）以外で、最頻出のベクトルを移動領域の移動を示すベクトルである移動ベクトルとして決定する。
【００４７】
このようにすることにより、移動領域の点の候補である特徴点をより多く抽出することが可能になる。このため、より多くの特徴点、つまり、より多くのサンプルを使用して、移動ベクトルを決定することが可能になり、自然動画のように色の揺らぎが生じる動画であっても、正確に移動ベクトルを決定することが可能になる。
【００４８】
なお、人工動画に対しても、出現回数が所定の閾値以下であるものを特徴点として抽出するようにしても良い。このようなときは、自然動画は、人工動画より色の揺らぎやすいため、自然動画における出現回数に対する閾値を、人工動画における出現回数に対する閾値より大きい値にすると良い。
【００４９】
＜位置の揺らぎに対する考慮＞
また、自然動画では、上述した色の揺らぎの他に、連続するフレームの間において、画素の位置にも揺らぎが存在する。そこで、特徴点ペア抽出部１２４は、動画種判別部１２７により、サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であると判別されたときは、移動前フレームのハッシュテーブルと移動後のハッシュテーブルから、同一のハッシュ値を持つ特徴点のペアの他に、ハッシュ値が±１だけ異なる特徴点のペアも特徴点ペアとして抽出するようにしても良い。
【００５０】
例えば、図６に示したハッシュテーブルであれば、特徴点ペア抽出部１２４は、移動前フレームの座標（８６、５０）にある特徴点（ハッシュ値８３）と移動後フレームの座標（２８８、１４８）にある特徴点（ハッシュ値８３）とのペアに加え、移動前フレームの座標（８６、５０）にある特徴点（ハッシュ値８３）と移動後フレームの座標（３２、３８４）にある特徴点（ハッシュ値８４）とのペアも特徴点ペアとして抽出する。また、図６に示したハッシュテーブルであれば、特徴点ペア抽出部１２４は、移動前フレームの座標（３１、１１２）にある特徴点（ハッシュ値２４９）と移動後フレームの座標（２３３、２００）にある特徴点（ハッシュ値２５０）とのペアも特徴点ペアとして抽出する。
【００５１】
そして、ベクトル算出部１２５は、この特徴点ペア抽出部１２４により抽出された特徴点ペアそれぞれに対して、移動前フレームにおける特徴点の位置（座標）と移動後フレームにおける特徴点の位置（座標）とを結ぶベクトルを算出する。例えば、図６に示したハッシュテーブルの特徴点ペアであれば、図１０に示すように、ベクトルが算出される。そして、移動ベクトル決定部１２６が、ベクトル算出部１２５により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル（０、０）以外で、最頻出のベクトルを移動領域の移動を示すベクトルである移動ベクトルとして決定する。
【００５２】
このようにすることにより、自然動画などのように位置の揺らぎが生じる動画であっても、特徴点ペアを抽出することが可能になる。よって、このようにすることにより、自然動画などのように位置の揺らぎが生じる動画であっても、正確に移動ベクトルを決定することが可能になる。
【００５３】
なお、本実施形態では、上述したように、あるエッジ点に注目したときに、そのエッジ点とそのエッジ点の１つ左のエッジ点との距離Ｄ１と、そのエッジ点とそのエッジ点の２つ左のエッジ点との距離Ｄ２と、を用いて、Ｄ１＋ｎ×Ｄ２をそのエッジ点のハッシュ値としている。このため、位置の揺らぎのために、２つ左のエッジ点との距離Ｄ２の値が、１だけずれたときには、ハッシュ値は、ｎだけずれることになる。そこで、特徴点ペア抽出部１２４は、移動前フレームのハッシュテーブルと移動後のハッシュテーブルから、同一のハッシュ値を持つ特徴点のペアの他に、ハッシュ値が±ｎだけ異なる特徴点のペアも特徴点ペアとして抽出するようにしても良い。このようにすることによっても、より位置の揺らぎの影響を考慮した計算ができることになり、より正確に移動ベクトルを算出することができるようになる。
【００５４】
また、位置の揺らぎを考慮するとともに、色の揺らぎを考慮するようにしても良い。つまり、動画種判別部１２７により、サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であると判別されたときは、特徴点抽出部１２３が、出現回数が所定の値以下であるハッシュ値を持つエッジ点を特徴点として抽出するようにし、特徴点ペア抽出部１２４が、移動前フレームのハッシュテーブルと移動後のハッシュテーブルから、同一のハッシュ値を持つ特徴点のペアの他に、ハッシュ値が±１だけ異なる特徴点のペアも特徴点ペアとして抽出するようにしても良い。このようにすることにより、位置の揺らぎと色の揺らぎの両方を考慮できるようになり、より正確に移動ベクトルを算出することができるようになる。
【００５５】
＜動画種判別部１２７＞
動画種判別部１２７は、サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であるのか、人工動画であるのか、を判別する。この判別を行う方法としては、いろいろと考えられるが、例えば、以下に示すように、色の揺らぎに基づく方法と、位置の揺らぎに基づく方法と、が考えられる。
【００５６】
（１）サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であるのか、人工動画であるのか、を判別する方法としては、まず、送信動画に色の揺らぎが存在するかどうか、に基づいて判別する方法が考えられる。上述したように、デジタル処理のみにより人工的に生成された人工動画には、色の揺らぎが存在しない。そこで、色の揺らぎが存在する動画を自然動画と判別し、色の揺らぎが存在しない動画を人工動画と判別するようにすることで、自然動画と人工動画との判別が可能になる。
【００５７】
そこで、例えば、動画種判別部１２７は、移動ベクトル検出部１２０により抽出された特徴点ペアのうち、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアのそれぞれの特徴点の色を比較し、これらの移動ベクトルで結ばれる特徴点ペアのうちで、色が一致する特徴点ペアの割合を算出するようにすると良い。ここで、動画に色の揺らぎが存在しないときは、これらの特徴点ペアにおいて色は一致するはずである。このため、動画種判別部１２７は、この割合が所定の値より大きいときは、送信動画は自然動画である、と判別し、この割合が所定の値以下であるときは、送信動画は人工動画である、と判別することにより、自然動画と人工動画との判別が可能になる。
【００５８】
（２）また、例えば、動画種判別部１２７は、移動ベクトル検出部１２０により抽出された特徴点ペアのうち、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアにおける色の差を算出し、これらの色の差の分布の標準偏差を算出すると良い。ここで、動画に色の揺らぎが存在しないときは、これらの特徴点ペアにおいて色は一致するため、色の揺らぎが存在しないときは、色の差の分布の標準偏差はゼロにはずである。このため、動画種判別部１２７は、この標準偏差が所定の値より大きいときは、送信動画は自然動画である、と判別し、この標準偏差が所定の値以下であるときは、送信動画は人工動画である、と判別することにより、自然動画と人工動画との判別が可能になる。
【００５９】
（３）サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であるのか、人工動画であるのか、を判別する方法としては、送信動画に位置の揺らぎが存在するかどうか、に基づいて判別する方法も考えられる。上述したように、デジタル処理のみにより人工的に生成された人工動画には、位置の揺らぎが存在しない。そこで、位置の揺らぎが存在する動画を自然動画と判別し、位置の揺らぎが存在しない動画を人工動画と判別するようにすることで、自然動画と人工動画との判別が可能になる。
【００６０】
そこで、例えば、動画種判別部１２７は、移動ベクトル検出部１２０により抽出された特徴点ペアのうち、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアのそれぞれの特徴点のハッシュ値の差を算出し、これらのハッシュ値の差の分布の標準偏差を算出すると良い。ここで、動画に位置の揺らぎが存在しないときは、これらの特徴点ペアにおいてハッシュ値は一致するため、位置の揺らぎが存在しないときは、ハッシュ値の差の分布の標準偏差はゼロにはずである。このため、動画種判別部１２７は、この標準偏差が所定の値より大きいときは、送信動画は自然動画である、と判別し、この標準偏差が所定の値以下であるときは、送信動画は人工動画である、と判別することにより、自然動画と人工動画との判別が可能になる。
【００６１】
＜動画種判別時における処理動作例＞
図１１は、サーバ装置１００からクライアント装置２００に送信される動画が、自然動画であるのか、人工動画であるのか、を判別する際に、本実施形態に係る移動ベクトル検出部１２０において行われる処理動作例を示す図である。
【００６２】
まず、送信動画の最初の所定の数のフレーム（例えば、数〜数十フレーム）の動画データに対して、図８に示した処理動作を行う（Ｓ２０１）。このときの行う処理動作は、色の揺らぎを考慮した処理動作であっても良いし、考慮しない処理動作であっても良い。また、このときの行う処理動作は、位置の揺らぎを考慮した処理動作であっても良いし、考慮しない処理動作であっても良い。
【００６３】
そして、動画種判別部１２７は、この送信動画の最初の所定の数のフレームの動画データに基づいて、送信動画が、自然動画であるのか、人工動画であるのか、を判別する（Ｓ２０２）。このとき、動画種判別部１２７は、例えば、上記の（１）〜（３）のいずれかの方法を用いると良い。なお、動画種判別部１２７が上記の（３）の方法を用いるときは、ステップＳ２０１では、位置の揺らぎを考慮した上で、図８に示した処理動作を行うようにする。つまり、図８のステップＳ１０４において、特徴点ペア抽出部１２４が、移動前フレームのハッシュテーブルと移動後のハッシュテーブルから、同一のハッシュ値を持つ特徴点のペアの他に、ハッシュ値が±１だけ異なる特徴点のペアも特徴点ペアとして抽出するようにする。
【００６４】
このように、本実施形態では、送信動画の最初の所定の数の動画データを用いて、送信動画が、自然動画であるのか、人工動画であるのか、を判別することが可能であり、判別後は、上記のように、色の揺らぎや、位置の揺らぎを考慮した上で、移動ベクトルを算出することが可能ではあり、このため、正確な移動ベクトルを算出することが可能である。
【００６５】
＜移動領域検出部１３０の第１の構成例＞
移動領域検出部１３０は、記憶部１１０に記憶された移動前フレーム、移動後フレームと、移動ベクトル検出部１２０により検出された移動ベクトルに基づき、移動領域を検出する。図１２は、本発明の実施形態に係るサーバ装置１００の移動領域検出部１３０の第１の構成例を示す図である。第１の構成例の移動領域検出部１３０は、比較領域決定部１３１と、移動領域決定部１３２とを有して構成される。
【００６６】
比較領域決定部１３１は、移動領域を検出するのに用いる比較領域を決定する。移動前フレームの点のうち、移動ベクトル検出部１２０により検出された移動ベクトルにより移動させたときに、フレーム外にはみ出る点は移動領域内の点ではない。よって、このような点を取り除いた点、つまり、移動ベクトルにより移動させたときにフレーム内に残る点が占める領域内に移動領域があるはずである。そこで、図１３に示すように、移動前フレームの点のうち、移動ベクトルにより移動させたときにフレーム内に残る点による領域を、移動前フレームの比較領域とする。同様に理由により、図１３に示すように、移動後フレームの点のうち、移動ベクトルの逆ベクトルにより移動させたときにフレーム内に残る点による領域を、移動後フレームの比較領域とする。
【００６７】
移動領域決定部１３２は、比較領域決定部１３１により決定された比較領域を用いて移動前フレームと移動後フレームとを比較することにより移動領域を決定する。このとき、本実施形態に係る移動領域決定部１３２は、（Ａ１）移動前フレームの比較領域と移動後フレームの比較領域との比較、（Ａ２）移動前フレームの比較領域とその比較領域に対応する移動後フレームの領域との比較、（Ａ３）移動後フレームの比較領域とその比較領域に対応する移動前フレームの領域との比較、の３つの比較を行う。
【００６８】
（Ａ１）の比較、つまり、移動前フレームの比較領域と移動後フレームの比較領域との比較は、移動前フレームの比較領域の点とその点を移動ベクトルで移動した座標位置にある移動後フレームの点との比較である。つまり、移動ベクトルが（Ｘ、Ｙ）であるときは、図１３に示すように、移動前フレームの比較領域内の点（ｘ、ｙ）と移動後フレームの比較領域内の点（ｘ＋Ｘ、ｙ＋Ｙ）との比較をする。比較される点が移動領域内の点であれば、それらの点は同じ画素値を持つと考えられる。また、比較される点が移動領域外の点であれば、それらの点は異なる画素値を持つと考えられる。
【００６９】
また、（Ａ２）の比較、つまり、移動前フレームの比較領域とその比較領域に対応する移動後フレームの領域との比較は、移動前フレームの比較領域の点とその点の座標位置にある移動後フレームの点との比較である。つまり、移動前フレームの比較領域の点（ｘ、ｙ）と移動後フレームの点（ｘ、ｙ）との比較をする。よって、図１３に示すように比較領域が決定されたとき、（Ａ２）の比較では、図１４に示した斜線で囲まれた領域を比較する。
【００７０】
移動前フレームの移動領域内の点は、移動後フレームでは、違う座標に移動しているはずである。よって、（Ａ２）の比較では、比較される点が移動領域内にあるときは、それらの点は異なる画素値を持つと考えられる。また、逆に、比較される点が移動領域外の点であれば、その点は移動していないため、それらの点は同じ画素値を持つと考えられる。
【００７１】
これは、（Ａ３）の比較、つまり、移動後フレームの比較領域とその比較領域に対応する移動前フレームの領域との比較でも同様である。例えば、図１３に示すように比較領域が決定されたとき、（Ａ３）の比較では、図１５の斜線で示された領域が比較される。
【００７２】
移動領域としては、矩形領域を得たいので、各比較はラインごとに行う。このとき、（Ａ１）の比較では、ラインごとに、（条件Ａ１）「画素値が同一値である画素の数が所定の値以上である」が成り立つかどうかを確認する。また、（Ａ２）の比較と（Ａ３）の比較では、ラインごとに、（条件Ａ２）「画素値が異なるが画素の数が所定の値以上である」が成り立つどうかを確認する。また、（条件Ａ１）を「画素値が同一値である画素の割合が所定の値以上である」としても良い。また、（条件Ａ２）を「画素値が異なる画素の割合が所定の値以上である」としても良い。また、「画素値が同一値である画素の数（割合）が所定の値以下である」としても良い。
【００７３】
各比較は、比較領域の枠線から、つまり、上下左右の４辺からそれぞれ内側に向かって順にラインごとに比較していくことにする。そして、（Ａ１）、（Ａ２）、（Ａ３）すべての比較において、条件が成り立つラインが見つかったらラインごとの条件の確認をやめる。つまり、（条件Ａ１）、（条件Ａ２）、（条件Ａ３）のすべての条件が成り立つラインが見つかったらラインごとの条件の確認を終了する。移動領域決定部１３２は、図１６に示すように、この見つかったラインで囲まれた領域を移動領域であると決定する。
【００７４】
上記のように、３つの条件すべてを満たす領域を移動領域として決定することにより、より正確に移動領域を検出することが可能になる。つまり、単純に比較領域同士を比較するだけではなく、さらに、同じ領域において、移動前と移動後とを比較することにより、より正確に移動領域を検出することが可能になる。
【００７５】
＜移動領域検出部１３０の第１の構成例における処理動作例＞
図１７は、本実施形態に係るサーバ装置１００の移動領域検出部１３０の第１の構成例における処理動作の一例を示す図である。まず、比較領域決定部１３１が移動前フレームと移動後フレームのそれぞれにおいて比較領域を決定する（Ｓ３０１）。そして、移動領域決定部１３２が、移動前フレームの比較領域と移動後フレームの比較領域との比較と、移動前フレームの比較領域とその比較領域に対応する移動後フレームの領域との比較と、移動後フレームの比較領域とその比較領域に対応する移動前フレームの領域との比較と、を行うことにより、移動領域を決定する（Ｓ３０２）。このような処理動作により、第１の構成例の移動領域検出部１３０は、移動領域を検出する。
【００７６】
上述した移動領域決定部１３０の第１の構成により移動領域の枠線として決定されるラインは、（条件Ａ１）「画素値が同一値である画素の数が所定の値以上」を満たさなくてはならない。ここで、所定の値を小さくしすぎると、条件としては緩くなり、本来の移動領域よりも大きな領域が移動領域として決定されてしまうかもしれない。本来の移動領域よりも大きな領域が移動領域として決定されてしまうと、下記で詳述するように、差分データが大きくなってしまう。また、移動後フレームを再現する際などに移動領域のコピーなどの処理を行うが、大きな領域が移動領域と決定されてしまうと、コピーを行うデータ量が大きくなり、コピーの際の処理量が大きくなってしまうなどしてしまう。このため、上記の所定の値はある程度大きくし、条件を厳しくする必要がある。ただし、厳しくし過ぎると今度は、本来の移動領域よりも小さな領域が移動領域として決定されてしまうかもしれない。そこで、上記に示した方法以外の方法でも移動領域の候補領域を決定しておき、その候補領域よりも外側の領域のラインだけを上記の条件で比較するようにするようにしても良い。このようにすることにより、（条件Ａ１）を厳しくしても、この候補領域よりは小さくはならないため、本来の移動領域よりも小さな領域が移動領域として決定されることがなくなる。
【００７７】
＜移動領域検出部１３０の第２の構成例＞
図１８は、本発明の実施形態に係るサーバ装置１００の移動領域検出部１３０の第２の構成例を示す図である。移動領域検出部１３０の第２の構成例は、第１の構成例に、初期領域設定部１３３と、候補領域決定部１３４と、を加えた構成になっている。この構成により、上述した方法とは異なる方法で移動領域の候補領域を決定し、その候補領域よりも外側の領域だけをラインごとに上記の条件で比較し、移動領域を決定することができるようになる。
【００７８】
初期領域設定部１３３は、移動領域の候補領域を検出するための初期領域を設定する。移動領域としては、矩形領域を得たいので、初期領域としては矩形領域を設定する。初期領域の設定の仕方としてはいろいろと考えられる。上記で説明したように、移動ベクトル検出部１２０により抽出された特徴点ペアのうち、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアの特徴点は、移動領域内の点である可能性が高い。そこで、例えば、これらの点をすべて含む矩形領域を初期領域とすると良い。例えば、図１９に示すように、移動ベクトルで結ばれる特徴点ペアの特徴点が分布しているときは、図１９に示すような領域を初期領域として設定すると良い。また、例えば、上記の比較領域を初期領域と設定するようにしても良い。
【００７９】
なお、初期領域を設定する際に、上記のように、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアの特徴点をすべて含む矩形領域を初期領域と設定するのではなく、これらの特徴点ペアのうち、特徴点ペアにおける色の差がない特徴点ペアの特徴点だけを含む矩形領域を初期領域として設定するようにするとしても良い。特徴点ペアの点が、移動領域内の点であるならば、それらの点には同じ色であるはずである。よって、このようにすることにより、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアから、移動領域内の点でない点による特徴点ペアを取り除いた上で、初期矩形を設定することができることになり、より移動領域に近い初期領域を得ることが可能になる。
【００８０】
また、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアのうち、特徴点ペアにおける色の差が所定の値未満である特徴点ペアの特徴点だけを含む矩形領域を初期領域として設定するようにするとしても良い。上述したように、自然動画の場合は、色の揺らぎが存在する。よって、特徴点ペアにおける色の差が、この色の揺らぎによる色の差以下であれば、その特徴点ペアの点は移動領域内の点である可能性が高い。よって、このようにすることにより、自然動画に対しても、移動ベクトル検出部１２０により決定された移動ベクトルで結ばれる特徴点ペアから、移動領域内の点でない点による特徴点ペアを取り除いた上で、初期矩形を設定することができることになり、より移動領域に近い初期領域を得ることが可能になる。
【００８１】
候補領域決定部１３４は、初期領域設定部１３３により設定された初期領域から移動領域外の点を除き、移動領域の候補領域を決定する。例えば、上述したように、移動ベクトルで結ばれる特徴点ペアの特徴点をすべて含む矩形領域は、移動領域内の点を含んでいる可能性が高いため、初期領域として適しているが、移動領域外の点を含んでいる可能性もある。そこで、候補領域決定部１３４は、このような初期領域から移動領域外の点を取り除く。
【００８２】
そこで、候補領域決定部１３４も、上記の移動領域決定部１３２と同様に、（Ｂ１）移動前フレームの初期領域と移動後フレームの初期領域との比較（Ｂ２）移動前フレームの初期領域とその初期領域に対応する移動後フレームの領域との比較（Ｂ３）移動後フレームの初期領域とその初期領域に対応する移動前フレームの領域との比較、の３つの比較を行う。
【００８３】
移動領域としては、矩形領域を得たいので、候補領域決定部１３４においても、比較はラインごとに行う。このとき、（Ｂ１）の比較では、ラインごとに、（条件Ｂ１）「画素値が同一値である画素が所定の値以上連続する」が成り立つかどうかを確認する。また、（Ｂ２）の比較と（Ｂ３）の比較では、ラインごとに、（条件Ｂ２）「画素値が異なるが画素の数が所定の値以上である」が成り立つどうかを確認する。また、（条件Ｂ１）を「画素値が同一値である画素が所定の割合以上連続する」としても良い。また、（条件Ｂ２）を「画素値が異なるが画素の割合が所定の値以上である」としても良い。また、「画素値が同一値である画素の数（割合）が所定の値以下である」としても良い。
【００８４】
候補領域決定部１３４においても、比較は、初期領域の枠線から、つまり、上下左右の４辺からそれぞれ内側に向かって順にラインごとに比較していくことにする。そして、（Ｂ１）、（Ｂ２）、（Ｂ３）すべての比較において、条件が成り立つラインが見つかったらラインごとの条件の確認をやめる。つまり、（条件Ｂ１）、（条件Ｂ２）、（条件Ｂ３）のすべての条件が成り立つラインが見つかったらラインごとの条件の確認を終了する。候補領域決定部１３２は、この見つかったラインで囲まれた領域を移動領域の候補領域であると決定する。
【００８５】
この構成において、比較領域決定部１３１は、上述した方法より求めた比較領域から、候補領域部１３４により決定された候補領域を除いた領域を、比較領域として決定する。つまり、図２０に示した斜線の領域を比較領域として決定する。
【００８６】
また、この構成において、移動領域決定部１３２は、この比較領域決定部１３１により決定された比較領域を用いて、上述した第１の構成例における方法と同じ方法により移動領域を決定する。上述した方法では、比較領域の外枠から内側に向かってラインごとに比較をしていったが、候補領域の枠線から比較領域の枠線に向かってラインごとに比較していくようにしても良い。このときは、上記の（条件Ａ１）、（条件Ａ２）、（条件Ａ３）のうちの一つでも成り立たないラインが見つかれば、そこで比較をやめ、その見つかったラインの一つ内側のラインにより囲まれる領域を移動領域と決定するようにすると良い。
【００８７】
上記のように、３つの条件すべてを満たす領域をまず候補領域として検出し、さらに、他の３つの条件すべてを満たす領域を移動領域として決定することにより、より正確に移動領域を検出することが可能になる。
【００８８】
＜移動領域検出部１３０の第２の構成例における処理動作例＞
図２１は、本実施形態に係るサーバ装置１００の移動領域検出部１３０の第２の構成例における処理動作の一例を示す図である。まず、初期領域設定部１３３が、移動前フレームと移動後フレームのそれぞれにおいて初期領域を設定する（Ｓ４０１）。そして、候補領域決定部１３４が、この初期領域を用い、移動前フレームと移動後フレームのそれぞれにおいて移動領域の候補領域を決定する（Ｓ４０２）。次に、比較領域決定部１３１が、この候補領域を用いて、移動前フレームと移動後フレームのそれぞれにおいて比較領域を決定する（Ｓ４０３）。そして、移動領域決定部１３２が、移動前フレームの比較領域と移動後フレームの比較領域との比較と、移動前フレームの比較領域とその比較領域に対応する移動後フレームの領域との比較と、移動後フレームの比較領域とその比較領域に対応する移動前フレームの領域との比較と、を行うことにより、移動領域を決定する（Ｓ４０４）。このような処理動作により、第２の構成例の移動領域検出部１３０は、移動領域を検出する。
【００８９】
＜その他の処理＞
差分データ生成部１４０は、記憶部１１０により記憶された移動前フレームと移動後フレームと、移動ベクトル検出部１２０により検出された移動ベクトルと、移動領域検出部１２０により検出された移動領域と、を用いて、差分データを生成する。例えば、差分データ生成部１３０は、図２２に示すように、移動前フレームの移動領域を、移動前フレームの、移動ベクトルで移動させた位置にコピーしたフレームを生成し、このフレームと移動後フレームとを比較することにより、差分データを生成する。このようにすることにより、図２３に示すように、移動領域が正確に検出できなかった場合も、図２４のように、差分領域が検出され、この差分領域のデータを差分データとすることができるため、この差分データと移動ベクトルと移動前フレームを用いれば、移動後フレームを再現することができるようになる。移動領域が正確に検出できた場合の差分領域は、図２５のようになる。図２４に示した場合に比べて、差分領域の面積が小さい。つまり、移動領域を正確に検出することにより、差分領域が小さくなり、クライアント装置２００に送信する差分データを小さくすることが可能になる。つまり、本発明では、より正確に移動領域を検出できるため、差分領域を小さくでき、クライアント装置２００に送信する差分データをより小さくすることができる。このため、差分領域を検出する時間を短縮でき、また、差分データを圧縮する際にかかる時間なども短縮することが可能になる。
【００９０】
送信部１５０は、移動ベクトル検出部１２０により検出された移動ベクトルの情報と、移動領域検出部１３０により検出された移動領域の情報と、差分データ生成部１４０により生成された差分データと、をクライアント装置２００に送信する。
【００９１】
このように、移動後フレーム全体のデータでなく、移動ベクトルと移動領域の情報と差分データを送ることにより、送信するデータ量が小さくなり、ネットワークがかかる負荷が減る。また、送信するデータ量が小さくなったことによりネットワークによる伝送時間も短くすることが可能になる。また、本発明では、より正確に移動領域が検出できるため、差分データがより小さくなる。よって、ネットワークにかかる負荷がより減り、ネットワークによる伝送時間をより短くすることが可能になる。
【００９２】
＜サーバ装置１００の処理動作例＞
図２６は、本発明の実施形態に係るサーバ装置１００における処理動作を示す図である。まず、サーバ装置１００は、移動ベクトル検出部１２０により移動ベクトルを検出する（Ｓ５０１）。そして、移動ベクトル検出部１２０により検出された移動ベクトルなどに基づき、移動領域検出部１３０により移動領域を検出する（Ｓ５０２）。そして、移動ベクトル検出部１２０により検出された移動ベクトルと移動領域検出部１３０により検出された移動領域とに基づき、差分データ生成部１４０により差分データを生成する（Ｓ５０３）。そして、移動ベクトル検出部１２０により検出された移動ベクトルの情報と、移動領域検出部１３０により検出された移動領域の情報と、差分データ生成部１４０により生成された差分データと、を送信部１５０によりクライアント装置２００に送信する（Ｓ５０４）。このような処理動作により、サーバ装置１００は、クライアント装置２００が移動後フレームを再現できるように、移動ベクトルの情報と移動領域の情報と差分データをクライアント装置２００送信する。
【００９３】
このように、サーバ装置１００は、移動後フレームを送信することなく、クライアント装置２００において、サーバ装置１００から送信されたこれらの情報とクライアント装置２００に記憶されている移動前フレームとを用いることにより、移動後フレームを再現することが可能になる。
【００９４】
上述した実施形態における処理動作は、ハードウェア、または、ソフトウェア、あるいは、両者の複合構成によって実行することも可能である。
【００９５】
なお、ソフトウェアによる処理を実行する場合には、処理シーケンスを記録したプログラムが格納されているＲＯＭ（Read Only Memory）から、専用のハードウェアに組み込まれているコンピュータ内のメモリ（ＲＡＭ）にプログラムを読み込んで実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【００９６】
例えば、プログラムは、記録媒体としてのハードディスクやＲＯＭに予め記録しておくことが可能である。あるいは、プログラムは、フロッピー（登録商標）ディスク等の磁気ディスク、ＣＤ（Compact Disc）、ＤＶＤ(Digital Versatile Disc)等の光ディスク、ＭＯ（Magneto Optical）ディスク等の光磁気ディスクなどのリムーバブル記録媒体に、一時的、あるいは、永続的に格納（記録）しておくことが可能である。
【００９７】
このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することが可能である。
【００９８】
なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、ＬＡＮ（Local Area Network）、インターネットといったネットワークを介して、コンピュータに有線で転送したりし、コンピュータでは、転送されてきたプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることが可能である。
【００９９】
また、上記実施形態で説明した処理動作に従って時系列的に実行されるのみならず、処理を実行する装置の処理能力、あるいは、必要に応じて並列的にあるいは個別に実行するように構築することも可能である。
【０１００】
また、上記実施形態で説明したシステムは、複数の装置の論理的集合構成にしたり、各装置の機能を混在させたりするように構築することも可能である。
【０１０１】
以上、本発明の好適な実施の形態により本発明を説明した。ここでは特定の具体例を示して本発明を説明したが、特許請求の範囲に定義された本発明の広範囲な趣旨および範囲から逸脱することなく、これら具体例に様々な修正および変更が可能である。
【０１０２】
また、本発明におけるサーバ装置は、前記移動ベクトル検出手段は、前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記２つのフレームにおける色の揺らぎを考慮して前記移動ベクトルを検出するようにしても良い。
【０１０３】
また、本発明におけるサーバ装置は、前記移動ベクトル検出手段は、前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記２つのフレームにおける位置の揺らぎを考慮して前記移動ベクトルを検出するようにしても良い。
【０１０４】
また、本発明におけるサーバ装置は、前記移動ベクトル検出手段は、前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、前記ハッシュテーブル生成手段により生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有するようにしても良い。
【０１０５】
また、本発明におけるサーバ装置は、前記特徴点抽出手段は、前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記ハッシュテーブル生成手段により生成された前記２つのフレームそれぞれのハッシュテーブルから、出現回数が所定の値以下であるハッシュ値を持つエッジ点を特徴点として抽出するようにしても良い。
【０１０６】
また、本発明におけるサーバ装置は、前記特徴点ペア抽出手段は、前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が所定の値だけ異なる特徴点のペアを特徴点ペアとして抽出するようにしても良い。
【０１０７】
また、本発明におけるサーバ装置は、前記動画種判別手段は、移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアのうちで、色が一致する特徴点ペアの割合が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１０８】
また、本発明におけるサーバ装置は、前記動画種判別手段は、移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおける色の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１０９】
また、本発明におけるサーバ装置は、前記動画種判別手段は、移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおけるハッシュ値の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１１０】
また、本発明における移動ベクトル検出方法は、前記移動ベクトル検出ステップは、前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出ステップと、前記エッジ点抽出ステップにより抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成ステップと、前記ハッシュテーブル生成ステップにより生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出ステップと、前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出ステップと、前記特徴点ペア抽出ステップにより抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出ステップと、前記ベクトル算出ステップにより特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定ステップと、を有するようにしても良い。
【０１１１】
また、本発明における移動ベクトル検出方法は、前記特徴点抽出ステップは、前記動画種判別ステップにより前記動画データが自然動画であると判別されたときは、前記ハッシュテーブル生成ステップにより生成された前記２つのフレームそれぞれのハッシュテーブルから、出現回数が所定の値以下であるハッシュ値を持つエッジ点を特徴点として抽出するようにしても良い。
【０１１２】
また、本発明における移動ベクトル検出方法は、前記特徴点ペア抽出ステップは、前記動画種判別ステップにより前記動画データが自然動画であると判別されたときは、前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が所定の値だけ異なる特徴点のペアを特徴点ペアとして抽出するようにしても良い。
【０１１３】
また、本発明における移動ベクトル検出方法は、前記動画種判別ステップは、移動ベクトル検出ステップにより決定された移動ベクトルにより結ばれる特徴点ペアのうちで、色が一致する特徴点ペアの割合が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１１４】
また、本発明における移動ベクトル検出方法は、前記動画種判別ステップは、移動ベクトル検出ステップにより決定された移動ベクトルにより結ばれる特徴点ペアにおける色の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１１５】
また、本発明における移動ベクトル検出方法は、前記動画種判別ステップは、移動ベクトル検出ステップにより決定された移動ベクトルにより結ばれる特徴点ペアにおけるハッシュ値の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１１６】
また、本発明におけるプログラムは、前記移動ベクトル検出手段は、前記２つのフレームのそれぞれにおいて、周囲の画素に比べて画素値に大きな変化のある画素をエッジ点として抽出するエッジ点抽出手段と、前記エッジ点抽出手段により抽出されたエッジ点を所定の方法によりハッシュ値として数値化し、当該ハッシュ値ごとの出現回数と当該ハッシュ値を持つエッジ点の座標値と示したハッシュテーブルを前記２つのフレームそれぞれに対して生成するハッシュテーブル生成手段と、前記ハッシュテーブル生成手段により生成された前記２つそれぞれのハッシュテーブルから、出現回数が１であるハッシュ値を持つエッジ点を特徴点として抽出する特徴点抽出手段と、前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が同一である特徴点のペアを特徴点ペアとして抽出する特徴点ペア抽出手段と、前記特徴点ペア抽出手段により抽出された特徴点ペアそれぞれに対して、前記第１のフレームにおける特徴点と前記第２のフレームにおける特徴点とを結ぶベクトルを算出するベクトル算出手段と、前記ベクトル算出手段により特徴点ペアそれぞれに対して算出されたベクトルのうち、ゼロベクトル以外で、最頻出のベクトルを移動ベクトルとして決定する移動ベクトル決定手段と、を有するようにしても良い。
【０１１７】
また、本発明におけるプログラムは、前記特徴点抽出手段は、前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記ハッシュテーブル生成手段により生成された前記２つのフレームそれぞれのハッシュテーブルから、出現回数が所定の値以下であるハッシュ値を持つエッジ点を特徴点として抽出するようにしても良い。
【０１１８】
また、本発明におけるプログラムは、前記特徴点ペア抽出手段は、前記動画種判別手段により前記動画データが自然動画であると判別されたときは、前記第１のフレームのハッシュテーブルと前記第２のハッシュテーブルとから、ハッシュ値が所定の値だけ異なる特徴点のペアを特徴点ペアとして抽出するようにしても良い。
【０１１９】
また、本発明におけるプログラムは、前記動画種判別手段は、移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアのうちで、色が一致する特徴点ペアの割合が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１２０】
また、本発明におけるプログラムは、前記動画種判別手段は、移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおける色の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【０１２１】
また、本発明におけるプログラムは、前記動画種判別手段は、移動ベクトル検出手段により決定された移動ベクトルにより結ばれる特徴点ペアにおけるハッシュ値の差の分布の標準偏差が所定の値より大きいときは、前記動画データは、自然動画であると判別するようにしても良い。
【符号の説明】
【０１２２】
１００    サーバ装置
１１０    記憶部
１２０    移動ベクトル検出部
１２１    エッジ点抽出部
１２２    ハッシュテーブル生成部
１２３    特徴点抽出部
１２４    特徴点ペア抽出部
１２５    ベクトル算出部
１２６    移動ベクトル決定部
１２７    動画種判別部
１３０    移動領域検出部
１３１    比較領域決定部
１３２    移動領域決定部
１３３    初期領域設定部
１３４    候補領域決定部
１４０    差分データ生成部
１５０    送信部
２００    クライアント装置
【図１】
0005549431.tif 000002
【図２】
0005549431.tif 000003
【図３】
0005549431.tif 000004
【図４】
0005549431.tif 000005
【図５】
0005549431.tif 000006
【図６】
0005549431.tif 000007
【図７】
0005549431.tif 000008
【図８】
0005549431.tif 000009
【図９】
0005549431.tif 000010
【図１０】
0005549431.tif 000011
【図１１】
0005549431.tif 000012
【図１２】
0005549431.tif 000013
【図１３】
0005549431.tif 000014
【図１４】
0005549431.tif 000015
【図１５】
0005549431.tif 000016
【図１６】
0005549431.tif 000017
【図１７】
0005549431.tif 000018
【図１８】
0005549431.tif 000019
【図１９】
0005549431.tif 000020
【図２０】
0005549431.tif 000021
【図２１】
0005549431.tif 000022
【図２２】
0005549431.tif 000023
【図２３】
0005549431.tif 000024
【図２４】
0005549431.tif 000025
【図２５】
0005549431.tif 000026
【図２６】
0005549431.tif 000027
【図２７】
0005549431.tif 000028
【図２８】
0005549431.tif 000029
【図２９】
0005549431.tif 000030
【図３０】
0005549431.tif 000031