(57)【要約】【課題】映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定する。【解決手段】カメラワーク判定装置１のフレーム画像サンプリング部１０は、番組映像をサンプリングし、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を生成する。画像間カメラワーク判定部１１は、画像ペアP*[i]について、２枚のフレーム画像P[i],P'[i]間における分割した背景領域Rnのみの動きデータに基づいて、画像間カメラワーク種CP[i]を判定すると共に、画像間動き量dP[i]を算出する。カメラワーク判定部１２は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定し、カメラワーク区間について、開始フレーム番号TS[n]、終了フレーム番号TE[n]及びカメラワーク種C[n]を特定し、カメラ動き量d[n]を算出し、これらのデータをカメラワークデータとして出力する。【選択図】図１
2018206142.tif 000002
【特許請求の範囲】
【請求項１】
映像からフレーム画像をサンプリングし、所定間隔毎に画像ペアを生成するフレーム画像サンプリング部と、
前記フレーム画像サンプリング部により生成された前記画像ペアの背景部分を分割した複数の背景領域のそれぞれについて、動きデータを生成し、前記複数の背景領域の動きデータに基づいて、前記画像ペアのカメラワークの種類を示す画像間カメラワーク種を判定する画像間カメラワーク判定部と、
前記画像間カメラワーク判定部により判定された前記画像ペアの画像間カメラワーク種に基づいて、前記映像のカメラワークを判定するカメラワーク判定部と、
を備えたことを特徴とするカメラワーク判定装置。
【請求項２】
請求項１に記載のカメラワーク判定装置において、
前記カメラワーク判定部は、
同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間をカメラワーク区間として判定し、当該カメラワーク区間における前記画像ペアの画像間カメラワーク種を当該カメラワーク区間のカメラワーク種として出力する、ことを特徴とするカメラワーク判定装置。
【請求項３】
請求項１または２に記載のカメラワーク判定装置において、
前記画像間カメラワーク判定部は、
前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎の前記動きデータに基づいて、前記動きデータが最大となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の外側から中央へ向いている場合、前記画像ペアの画像間カメラワーク種をズームインとして判定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の中央から外側へ向いている場合、前記画像ペアの画像間カメラワーク種をズームアウトとして判定する、ことを特徴とするカメラワーク判定装置。
【請求項４】
請求項１から３までのいずれか一項に記載のカメラワーク判定装置において、
前記画像間カメラワーク判定部は、
前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎に前記動きデータの数を積算することで、前記複数の背景領域における前記方向毎の動きヒストグラムを求め、前記動きデータ及び前記動きヒストグラムに基づいて、前記複数の背景領域における前記方向毎の前記動きデータの平均値を求める背景領域動きヒストグラム算出部と、
前記複数の背景領域のそれぞれについて、前記背景領域動きヒストグラム算出部により求めた前記動きヒストグラムが最大値となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記背景領域動きヒストグラム算出部により求めた、当該方向の前記動きデータの平均値を、当該背景領域の主方向動き量に設定し、
前記複数の背景領域のそれぞれについての前記主方向及び前記主方向動き量に基づいて、前記画像ペアの画像間カメラワーク種、及び前記画像ペアの動き量を示す画像間動き量を求めるカメラワーク判定及び動き量算出部と、
を備えたことを特徴とするカメラワーク判定装置。
【請求項５】
請求項４に記載のカメラワーク判定装置において、
前記カメラワーク判定部は、
同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間を前記カメラワーク区間として判定するカメラワーク区間判定部と、
前記カメラワーク区間判定部により判定された前記カメラワーク区間について、当該カメラワーク区間の開始時点に対応する前記画像ペアの開始フレーム番号、及び当該カメラワーク区間の終了時点に対応する前記画像ペアの終了フレーム番号を特定し、当該カメラワーク区間に対応する前記画像ペアのカメラワーク種を当該カメラワーク区間のカメラワーク種として特定し、当該カメラワーク区間に対応する全ての前記画像ペアの画像間動き量を加算し、加算結果を当該カメラワーク区間のカメラ動き量として求め、前記カメラワーク区間の前記開始フレーム番号、前記終了フレーム番号、前記カメラワーク種及び前記カメラ動き量をカメラワークデータとして出力するカメラワークデータ生成部と、
を備えたことを特徴とするカメラワーク判定装置。
【請求項６】
コンピュータを、請求項１から５までのいずれか一項に記載のカメラワーク判定装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンピュータ及びハードディスクを用いた映像処理分野において、映像のカメラワークを判定する装置及びプログラムに関する。
【背景技術】
【０００２】
映像のズームイン、パンニング等の「カメラワーク」は、映像の制作者が視聴者に被写体またはイベント内容を強く印象付けたい場合に用いられる傾向がある。したがって、カメラワークに関する情報は、見たい場面を検索する作業、注目すべき場面をセレクトしてダイジェスト映像を作る作業等を効率的に進めるために、重要な手掛かりとなる。
【０００３】
カメラワークを自動的に判定する技術としては、例えば特許文献１，２，３の手法が提案されている。
【０００４】
特許文献１の手法は、映像圧縮符号化データから動きベクトルを含む符号化情報を抽出し、動きベクトルからカメラワークまたは被写体と無関係な動きベクトルをノイズとして除去し、ノイズ除去後の動きベクトルからカメラワークを判定するものである。
【０００５】
特許文献２の手法は、フレーム内の右端、左端等の外縁ブロックについて、フレーム内予測とフレーム間予測との間の差に基づいて、時間方向の相関と空間方向の相関との大小関係を判定し、パンまたはチルトのカメラワークを判定するものである。
【０００６】
特許文献３の手法は、フレームの局所領域を空間微分及び時間微分することで、その移動方向を検出し、局所領域の移動方向からカメラワークを判定するものである。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平１０−１１２８６４号公報
【特許文献２】特開２００８−２２５５９１号公報
【特許文献３】特開平１０−２４３３４０号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
前述の特許文献１，２の手法は、ＭＰＥＧ等の特定の符号化方式にて生成された映像を対象とするものであり、汎用性が低い。また、前述の特許文献３の手法は、映像の符号化方式に依存しないものであり、汎用性が高い。しかし、いずれの手法も、連続したフレーム画像間の動きデータを求める必要があり、処理時間が増大する可能性がある。
【０００９】
また、特許文献１，３の手法は、画像全体から求めた動きデータを用いるため、被写体の動きがノイズとなり、カメラワークの判定精度が低下する可能性がある。これに対し、特許文献２の手法は、画像の右端、左端等の外縁ブロックの動きデータを用いるため、特許文献１，３の手法と異なり、カメラワークの判定精度はさほど低下しない。
【００１０】
しかしながら、特許文献２の手法では、パンまたはチルトのカメラワークのみを判定するものであり、ズームインまたはズームアウトのカメラワークを判定することができない。特許文献２の手法により判定されるカメラワークは、所定の種類に限定されていることから、カメラワークの情報を用いて所望の場面を検索する作業等を進めるのに効率が悪く、不十分であるという問題があった。
【００１１】
そこで、本発明は前記課題を解決するためになされたものであり、その目的は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定可能なカメラワーク判定装置及びプログラムを提供することにある。
【課題を解決するための手段】
【００１２】
前記課題を解決するために、請求項１のカメラワーク判定装置は、映像からフレーム画像をサンプリングし、所定間隔毎に画像ペアを生成するフレーム画像サンプリング部と、前記フレーム画像サンプリング部により生成された前記画像ペアの背景部分を分割した複数の背景領域のそれぞれについて、動きデータを生成し、前記複数の背景領域の動きデータに基づいて、前記画像ペアのカメラワークの種類を示す画像間カメラワーク種を判定する画像間カメラワーク判定部と、前記画像間カメラワーク判定部により判定された前記画像ペアの画像間カメラワーク種に基づいて、前記映像のカメラワークを判定するカメラワーク判定部と、を備えたことを特徴とする。
【００１３】
また、請求項２のカメラワーク判定装置は、請求項１に記載のカメラワーク判定装置において、前記カメラワーク判定部が、同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間をカメラワーク区間として判定し、当該カメラワーク区間における前記画像ペアの画像間カメラワーク種を当該カメラワーク区間のカメラワーク種として出力する、ことを特徴とする。
【００１４】
また、請求項３のカメラワーク判定装置は、請求項１または２に記載のカメラワーク判定装置において、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎の前記動きデータに基づいて、前記動きデータが最大となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の外側から中央へ向いている場合、前記画像ペアの画像間カメラワーク種をズームインとして判定し、前記複数の背景領域のそれぞれについての前記主方向が、前記フレーム画像の中央から外側へ向いている場合、前記画像ペアの画像間カメラワーク種をズームアウトとして判定する、ことを特徴とする。
【００１５】
また、請求項４のカメラワーク判定装置は、請求項１から３までのいずれか一項に記載のカメラワーク判定装置において、前記画像間カメラワーク判定部が、前記複数の背景領域のそれぞれについて、前記動きデータを複数の方向に分類し、前記方向毎に前記動きデータの数を積算することで、前記複数の背景領域における前記方向毎の動きヒストグラムを求め、前記動きデータ及び前記動きヒストグラムに基づいて、前記複数の背景領域における前記方向毎の前記動きデータの平均値を求める背景領域動きヒストグラム算出部と、前記複数の背景領域のそれぞれについて、前記背景領域動きヒストグラム算出部により求めた前記動きヒストグラムが最大値となる前記方向を特定し、当該方向を当該背景領域の主方向に設定し、前記背景領域動きヒストグラム算出部により求めた、当該方向の前記動きデータの平均値を、当該背景領域の主方向動き量に設定し、前記複数の背景領域のそれぞれについての前記主方向及び前記主方向動き量に基づいて、前記画像ペアの画像間カメラワーク種、及び前記画像ペアの動き量を示す画像間動き量を求めるカメラワーク判定及び動き量算出部と、を備えたことを特徴とする。
【００１６】
また、請求項５のカメラワーク判定装置は、請求項４に記載のカメラワーク判定装置において、前記カメラワーク判定部が、同じ前記画像間カメラワーク種が継続する前記画像ペアの数が所定数以上である場合、その継続区間を前記カメラワーク区間として判定するカメラワーク区間判定部と、前記カメラワーク区間判定部により判定された前記カメラワーク区間について、当該カメラワーク区間の開始時点に対応する前記画像ペアの開始フレーム番号、及び当該カメラワーク区間の終了時点に対応する前記画像ペアの終了フレーム番号を特定し、当該カメラワーク区間に対応する前記画像ペアのカメラワーク種を当該カメラワーク区間のカメラワーク種として特定し、当該カメラワーク区間に対応する全ての前記画像ペアの画像間動き量を加算し、加算結果を当該カメラワーク区間のカメラ動き量として求め、前記カメラワーク区間の前記開始フレーム番号、前記終了フレーム番号、前記カメラワーク種及び前記カメラ動き量をカメラワークデータとして出力するカメラワークデータ生成部と、を備えたことを特徴とする。
【００１７】
さらに、請求項６のプログラムは、コンピュータを、請求項１から５までのいずれか一項に記載のカメラワーク判定装置として機能させることを特徴とする。
【発明の効果】
【００１８】
以上のように、本発明によれば、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。
【図面の簡単な説明】
【００１９】
【図１】本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。
【図２】フレーム画像サンプリング部により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。
【図３】画像間カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。
【図４】背景領域Rnの例を説明する図である。
【図５】方向kの例を説明する図である。
【図６】画像ペアP*[i]の背景領域Rnにおける主方向番号CR[i,n]及び主方向動き量dR[i,n]の例を説明する図である。
【図７】画像間カメラワーク種CP[i]及び画像間動き量dP[i]を求めるカメラワーク判定及び動き量算出部の処理例を示すフローチャートである。
【図８】主方向番号CR[i,n]及び画像間カメラワーク種CP[i]の関係を説明する図である。
【図９】カメラワーク判定部の構成例及び入出力データ例を示すブロック図である。
【図１０】カメラワーク判定部の処理例を示すフローチャートである。
【発明を実施するための形態】
【００２０】
以下、本発明を実施するための形態について図面を用いて詳細に説明する。
〔発明の概要〕
まず、本発明の概要について説明する。本発明者は、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となるように、鋭意検討を行った。その結果、本発明者は、次の（１）及び（２）を見出した。
【００２１】
（１）一般的な映像のカメラワークは瞬間的に変化するものではなく、一定時間継続する傾向がある。そこで、本発明では、連続したフレーム画像の動きデータを用いるのではなく、所定間隔でサンプリングしたフレーム画像の動きデータを用いてカメラワークを判定する。これにより、十分な精度のカメラワーク判定を実現すると共に、高速化を実現することができる。
【００２２】
（２）複数の背景領域の動きデータを比較することで、ズームインまたはズームアウトのカメラワークを判定することができる。そこで、本発明では、被写体の動きに影響されないように背景部分の動きのみを利用し、背景部分を複数の領域に分割し、分割した背景領域毎の動きデータを比較することでカメラワークを判定する。これにより、ズームイン及びズームアウトを含む、より詳細なカメラワークを判定することができる。
【００２３】
〔全体構成〕
次に、本発明の実施形態によるカメラワーク判定装置の全体構成について説明する。図１は、本発明の実施形態によるカメラワーク判定装置の構成例を示すブロック図である。このカメラワーク判定装置１は、フレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２を備えている。
【００２４】
フレーム画像サンプリング部１０は、番組映像を入力し、番組映像からT1フレーム毎にフレーム画像をサンプリングし、画像系列P[1],...,P[NP]を生成する。NPは、サンプリングされたフレーム画像の数を示す。
【００２５】
フレーム画像サンプリング部１０が入力する番組映像は、符号化方式に依存しない映像である。したがって、当該カメラワーク判定装置１は、汎用性の高い処理を実現することができる。
【００２６】
フレーム画像サンプリング部１０は、各フレーム画像P[i]について、当該フレーム画像P[i]の位置からT2フレーム先のフレーム画像をP'[i]として、フレーム画像P'[i]をサンプリングする。T1＞T2である。
【００２７】
フレーム画像サンプリング部１０は、フレーム画像P[i]及びフレーム画像P'[i]をペアとして画像ペアP*[i]を生成し、画像ペア系列P*[1],...,P*[NP]を生成する。そして、フレーム画像サンプリング部１０は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]を画像間カメラワーク判定部１１に出力する。
【００２８】
図２は、フレーム画像サンプリング部１０により番組映像から画像ペアP*[i]が生成される処理の概念図を示す。図２に示すように、番組映像からT1フレーム毎にフレーム画像P[i]がサンプリングされ、画像系列P[1],...,P[NP]が生成される。そして、各フレーム画像P[i]について、そこからT2フレーム先のフレーム画像P'[i]がサンプリングされる。
【００２９】
フレーム画像P[i]及びフレーム画像P'[i]をペアとした画像ペアP*[i]が生成され、画像ペア系列P*[1],...,P*[NP]が生成される。
【００３０】
これにより、番組映像からフレーム画像がサンプリングされ、所定間隔毎に画像ペアP*[i]が生成される。当該カメラワーク判定装置１は、番組映像の連続した全てのフレーム画像ではなく、所定間隔でサンプリングした画像ペアP*[i]を用いてカメラワークを判定するから、処理負荷が低減すると共に、処理時間も短くて済む。
【００３１】
図１に戻って、画像間カメラワーク判定部１１は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]を入力する。
【００３２】
画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域Rnのみの動きデータに基づいて、画像間カメラワーク種CP[i]を判定すると共に、画像間動き量dP[i]を算出する。そして、画像間カメラワーク判定部１１は、画像間カメラワーク種系列CP[1],...,CP[NP]及び画像間動き量系列dP[1],...,dP[NP]を生成する。
【００３３】
画像間カメラワーク判定部１１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]をカメラワーク判定部１２に出力する。画像間カメラワーク判定部１１の詳細については後述する。
【００３４】
画像間カメラワーク種CP[i]は、「ズームイン」「ズームアウト」「左パン」「右パン」「上チルト」「下チルト」「静止」「その他」からなる８種類のカメラワークとする。
【００３５】
これにより、画像ペアP*[i]のそれぞれについて、「ズームイン」「ズームアウト」を含むカメラワークの種類を示す画像間カメラワーク種CP[i]、及びカメラの動き量を示す画像間動き量dP[i]が求められる。
【００３６】
カメラワーク判定部１２は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]を入力する。そして、カメラワーク判定部１２は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。
【００３７】
カメラワーク判定部１２は、各カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定する。また、カメラワーク判定部１２は、各カメラワーク区間について、画像間カメラワーク種CP[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量dP[i]に基づいてカメラ動き量d[n]を算出する。
【００３８】
カメラワーク判定部１２は、各カメラワーク区間について、開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成する。NCは、判定されたカメラワーク区間の数を示す。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。カメラワーク判定部１２の詳細については後述する。
【００３９】
これにより、当該カメラワーク判定装置１は、「ズームイン」「ズームアウト」を含むカメラワークを判定するから、より詳細なカメラワークを判定することができる。
【００４０】
〔画像間カメラワーク判定部１１〕
次に、図１に示した画像間カメラワーク判定部１１について詳細に説明する。前述のとおり、画像間カメラワーク判定部１１は、各画像ペアP*[i]について、当該画像ペアP*[i]の２枚のフレーム画像P[i],P'[i]間における分割した背景領域Rnのみの動きデータに基づいて、画像間カメラワーク種CP[i]を判定すると共に、画像間動き量dP[i]を算出する。
【００４１】
図３は、画像間カメラワーク判定部１１の構成例及び入出力データ例を示すブロック図である。この画像間カメラワーク判定部１１は、背景領域動きヒストグラム算出部２０及びカメラワーク判定及び動き量算出部２１を備えている。
【００４２】
背景領域動きヒストグラム算出部２０は、フレーム画像サンプリング部１０から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]を入力する。そして、背景領域動きヒストグラム算出部２０は、画像ペアP*[i]を構成する２枚のフレーム画像について、ブロックマッチング等の既存手法を用いて、数ピクセル間隔の各画素の動き差分ベクトルを求める。
【００４３】
背景領域動きヒストグラム算出部２０は、分割した各背景領域Rn（n=1,...,6）について、動き差分ベクトルを所定の複数の方向kに分類し、方向k毎に動き差分ベクトルの数を積算し、動きヒストグラムを求める。すなわち、背景領域動きヒストグラム算出部２０は、各背景領域Rn（n=1,...,6）について、方向k毎に動き差分ベクトルの数の積算値である度数h[i,n,k]（k＝1,...,8）を求める。背景領域Rnは、被写体の動きに影響されない領域である。
【００４４】
また、背景領域動きヒストグラム算出部２０は、各背景領域Rn（n=1,...,6）について方向k毎に、方向kに属する動き差分ベクトルの長さの和を算出し、その和を度数h[i,n,k]で除算することで、以下の式にて、動き量の平均値dA[i,n,k]を求める。
［数１］
dA[i,n,k]＝（方向kに属する動き差分ベクトルの長さの和）／h[i,n,k]  ・・・（１）
【００４５】
これにより、各背景領域Rn（n=1,...,6）について方向k毎に、動き差分ベクトルの長さの平均値が動き量の平均値dA[i,n,k]として算出される。
【００４６】
背景領域動きヒストグラム算出部２０は、各背景領域Rn（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値dA[i,n,k]を、カメラワーク判定及び動き量算出部２１に出力する。
【００４７】
ここで、パラメータiは、画像ペアP*[i]の番号であり、i=1,...,NPである。パラメータnは、背景領域Rnの番号であり、n=1,...,6とする。パラメータkは、方向kの番号であり、k＝1,...,8とする。
【００４８】
図４は、背景領域Rnの例を説明する図である。図４には、画像の左端上、左端中央、左端下、右端上、右端中央及び右端下の６つの背景領域Rn（n=1,...,6）が示されている。画像の横幅をＷとすると、画像の左端上の背景領域R1、左端中央の背景領域R2、左端下の背景領域R3、右端上の背景領域R4、右端中央の背景領域R5及び右端下の背景領域R6の横幅は、それぞれ０．２Ｗである。
【００４９】
図５は、方向kの例を説明する図である。図５には、中央点を起点とした８つの方向k＝1,...,8が示されている。方向1は右、方向2は右下、方向3は下、方向4は左下、方向5は左、方向6は左上、方向7は上、方向8は右上の向きをそれぞれ示す。
【００５０】
図３に戻って、カメラワーク判定及び動き量算出部２１は、背景領域動きヒストグラム算出部２０から、各背景領域Rn（n=1,...,6）についての方向k毎の度数h[i,n,k]及び動き量の平均値dA[i,n,k]を入力する。
【００５１】
カメラワーク判定及び動き量算出部２１は、各背景領域Rnについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを背景領域Rnの主方向番号CR[i,n]に設定する。また、カメラワーク判定及び動き量算出部２１は、背景領域Rnの主方向番号CR[i,n]（の方向k）における動き量の平均値dA[i,n,CR[i,n]]を特定し、これを背景領域Rnの主方向動き量dR[i,n]に設定する。
【００５２】
図６は、画像ペアP*[i]の背景領域Rnにおける主方向番号CR[i,n]及び主方向動き量dR[i,n]の例を説明する図である。図６には、画像ペアP*[i]の背景領域Rnの各方向kについて、度数h[i,n,k]及び動き量の平均値dA[i,n,k]が示されている。カメラワーク判定及び動き量算出部２１により、度数h[i,n,k]が最大値を取る方向kとして方向k=3が特定され、主方向番号CR[i,n]=3が設定される。また、主方向番号CR[i,n]=3（の方向k=3）における動き量の平均値dA[i,n,CR[i,n]]=dA[i,n,3]が特定され、主方向動き量dR[i,n]=3.4が設定される。
【００５３】
図３に戻って、カメラワーク判定及び動き量算出部２１は、各背景領域Rnの主方向番号CR[i,n]及び主方向動き量dR[i,n]に基づいて、画像ペアP*[i]の画像間カメラワーク種CP[i]及び画像間動き量dP[i]を求める。そして、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]をカメラワーク判定部１２に出力する。
【００５４】
図７は、画像間カメラワーク種CP[i]及び画像間動き量dP[i]を求めるカメラワーク判定及び動き量算出部２１の処理例を示すフローチャートであり、図８は、主方向番号CR[i,n]及び画像間カメラワーク種CP[i]の関係を説明する図である。まず、カメラワーク判定及び動き量算出部２１は、画像ペアP*[i]の番号であるパラメータiについて、i=1を設定する（ステップＳ７０１）。
【００５５】
カメラワーク判定及び動き量算出部２１は、「ズームイン」の条件（主方向番号CR[i,n]について、5≦CR[i,1]≦7、かつ4≦CR[i,2]≦6、かつ3≦CR[i,3]≦5、かつCR[i,4]=1または7または8、かつCR[i,5]=1または2または8、かつ1≦CR[i,6]≦3であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０２）。D1は予め設定された値である。「ズームイン」の主方向番号CR[i,n]の条件は、図８（１）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の中央から放射状に外側へ向いていることである。
【００５６】
カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たすと判定した場合（ステップＳ７０２：Ｙ）、画像間カメラワーク種CP[i]＝「ズームイン」を設定する（ステップＳ７０３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０２において、「ズームイン」の条件を満たさないと判定した場合（ステップＳ７０２：Ｎ）、ステップＳ７０４へ移行する。
【００５７】
カメラワーク判定及び動き量算出部２１は、「ズームアウト」の条件（主方向番号CR[i,n]について、1≦CR[i,1]≦3、かつCR[i,2]＝1または2または8、かつCR[i,3]＝1または7または8、かつ3≦CR[i,4]≦5、かつ4≦CR[i,5]≦6、かつ5≦CR[i,6]≦7であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０４）。「ズームアウト」の主方向番号CR[i,n]の条件は、図８（２）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の外側から中心へ向いていることである。
【００５８】
カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たすと判定した場合（ステップＳ７０４：Ｙ）、画像間カメラワーク種CP[i]＝「ズームアウト」を設定する（ステップＳ７０５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０４において、「ズームアウト」の条件を満たさないと判定した場合（ステップＳ７０４：Ｎ）、ステップＳ７０６へ移行する。
【００５９】
カメラワーク判定及び動き量算出部２１は、「左パン」の条件（主方向番号CR[i,n]について、全てのCR[i,n]＝1または2または8であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０６）。「左パン」の主方向番号CR[i,n]の条件は、図８（３）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の右側へ向いていることである。
【００６０】
カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たすと判定した場合（ステップＳ７０６：Ｙ）、画像間カメラワーク種CP[i]＝「左パン」を設定する（ステップＳ７０７）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０６において、「左パン」の条件を満たさないと判定した場合（ステップＳ７０６：Ｎ）、ステップＳ７０８へ移行する。
【００６１】
カメラワーク判定及び動き量算出部２１は、「右パン」の条件（主方向番号CR[i,n]について、4≦全てのCR[i,n]≦6であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７０８）。「右パン」の主方向番号CR[i,n]の条件は、図８（４）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の左側へ向いていることである。
【００６２】
カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たすと判定した場合（ステップＳ７０８：Ｙ）、画像間カメラワーク種CP[i]＝「右パン」を設定する（ステップＳ７０９）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７０８において、「右パン」の条件を満たさないと判定した場合（ステップＳ７０８：Ｎ）、ステップＳ７１０へ移行する。
【００６３】
カメラワーク判定及び動き量算出部２１は、「上チルト」の条件（主方向番号CR[i,n]について、2≦全てのCR[i,n]≦4であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７１０）。「上チルト」の主方向番号CR[i,n]の条件は、図８（５）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の下側へ向いていることである。
【００６４】
カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たすと判定した場合（ステップＳ７１０：Ｙ）、画像間カメラワーク種CP[i]＝「上チルト」を設定する（ステップＳ７１１）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１０において、「上チルト」の条件を満たさないと判定した場合（ステップＳ７１０：Ｎ）、ステップＳ７１２へ移行する。
【００６５】
カメラワーク判定及び動き量算出部２１は、「下チルト」の条件（主方向番号CR[i,n]について、6≦全てのCR[i,n]≦8であり、かつ主方向動き量dR[i,n]について、全てのdR[i,n]≧D1（n=1,...,6））を満たすか否かを判定する（ステップＳ７１２）。「下チルト」の主方向番号CR[i,n]の条件は、図８（６）の矢印に示すとおり、全ての主方向番号CR[i,n]の示す動き方向が、フレーム画像の上側へ向いていることである。
【００６６】
カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たすと判定した場合（ステップＳ７１２：Ｙ）、画像間カメラワーク種CP[i]＝「下チルト」を設定する（ステップＳ７１３）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１２において、「下チルト」の条件を満たさないと判定した場合（ステップＳ７１２：Ｎ）、ステップＳ７１４へ移行する。
【００６７】
カメラワーク判定及び動き量算出部２１は、「静止」の条件（主方向動き量dR[i,n]について、dR[i,n]＜D2（n=1,...,6））を満たすか否かを判定する（ステップＳ７１４）。D2は予め設定された値である。
【００６８】
カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たすと判定した場合（ステップＳ７１４：Ｙ）、画像間カメラワーク種CP[i]＝「静止」を設定する（ステップＳ７１５）。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１４において、「静止」の条件を満たさないと判定した場合（ステップＳ７１４：Ｎ）、画像間カメラワーク種CP[i]＝「その他」を設定する（ステップＳ７１６）。
【００６９】
カメラワーク判定及び動き量算出部２１は、ステップＳ７０３、ステップＳ７０５、ステップＳ７０７、ステップＳ７０９、ステップＳ７１１、ステップＳ７１３、ステップＳ７１５またはステップＳ７１６から移行して、以下の式にて、各背景領域Rnの主方向動き量dR[i,n]を加算して平均化し、画像間動き量dP[i]を算出する（ステップＳ７１７）。
［数２］
2018206142.tif 000003
【００７０】
カメラワーク判定及び動き量算出部２１は、パラメータiをインクリメントし（i=i+1）（ステップＳ７１８）、パラメータiが画像数NP（画像ペアP*[i]の数）よりも大きいか否かを判定する（ステップＳ７１９）。
【００７１】
カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数NPよりも大きくないと判定した場合（ステップＳ７１９：Ｎ）、ステップＳ７０２へ移行する。一方、カメラワーク判定及び動き量算出部２１は、ステップＳ７１９において、パラメータiが画像数NPよりも大きいと判定した場合（ステップＳ７１９：Ｙ）、処理を終了する。これにより、画像ペアP*[i]の画像間カメラワーク種CP[i]及び画像間動き量dP[i]が求められる。
【００７２】
〔カメラワーク判定部１２〕
次に、図１に示したカメラワーク判定部１２について詳細に説明する。前述のとおり、カメラワーク判定部１２は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定し、各カメラワーク区間について、開始フレーム番号TS[n]、終了フレーム番号TE[n]及びカメラワーク種C[n]を特定し、カメラ動き量d[n]を算出する。
【００７３】
図９は、カメラワーク判定部１２の構成例及び入出力データ例を示すブロック図である。このカメラワーク判定部１２は、カメラワーク区間判定部３０及びカメラワークデータ生成部３１を備えている。
【００７４】
カメラワーク区間判定部３０は、画像間カメラワーク判定部１１から、画像ペアP*[i]からなる画像ペア系列P*[1],...,P*[NP]、画像間カメラワーク種CP[i]からなる画像間カメラワーク種系列CP[1],...,CP[NP]、及び画像間動き量dP[i]からなる画像間動き量系列dP[1],...,dP[NP]を入力する。そして、カメラワーク区間判定部３０は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間を特定し、当該区間をカメラワーク区間として判定する。
【００７５】
カメラワークデータ生成部３１は、カメラワーク区間判定部３０により判定された各カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する画像間カメラワーク種CP[i]をカメラワーク種C[n]として特定する。また、カメラワークデータ生成部３１は、各カメラワーク区間について、当該カメラワーク区間に対応する全ての画像間動き量dP[i]を加算し、加算結果をカメラ動き量d[n]として求める。
【００７６】
カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成する。そして、カメラワークデータ生成部３１は、これらのデータをカメラワークデータとして出力する。
【００７７】
図１０は、カメラワーク判定部１２の処理例を示すフローチャートである。カメラワーク判定部１２は、画像間カメラワーク判定部１１から画像ペアP*[i]、画像間カメラワーク種CP[i]及び画像間動き量dP[i]を入力する（ステップＳ１００１）。そして、カメラワーク判定部１２は、n=1、i=1、カメラ動き量d[n]=画像間動き量dp[i]、i0=1及びCount=0を設定する（ステップＳ１００２）。nはカメラワーク区間の番号を示し、i及びi0は画像ペアP*[i]の番号を示し、Countはカメラワーク区間の長さを示す。
【００７８】
カメラワーク判定部１２は、i番目の画像ペアP*[i]の画像間カメラワーク種CP[i]とi+1番目の画像ペアP*[i+1]の画像間カメラワーク種CP[i+1]とが同じであるか否かを判定する（CP[i]=CP[i+1]？、ステップＳ１００３）。
【００７９】
カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種CP[i]と画像間カメラワーク種CP[i+1]とが同じであると判定した場合（ステップＳ１００３：Ｙ）、カメラ動き量d[n]にi+1番目の画像間動き量dp[i+1]を加算し、新たなカメラ動き量d[n]を求める（d[n]=d[n]+dp[i+1]、ステップＳ１００４）。そして、カメラワーク判定部１２は、カメラワーク区間の長さCountをインクリメントする（Count=Count+1、ステップＳ１００５）。
【００８０】
カメラワーク判定部１２は、画像ペアP*[i]の番号iが画像ペアP*[i]の数Np以上であるか否かを判定する（i≧Np？、ステップＳ１００６）。すなわち、カメラワーク判定部１２は、ステップＳ１００３〜ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったか否かを判定する。
【００８１】
カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数Np以上でないと判定した場合（ステップＳ１００６：Ｎ）、すなわちステップＳ１００３〜ステップＳ１００５の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1、ステップＳ１００７）、ステップＳ１００３へ移行する。
【００８２】
一方、カメラワーク判定部１２は、ステップＳ１００６において、番号iが画像ペアP*[i]の数Np以上であると判定した場合（ステップＳ１００６：Ｙ）、すなわちステップＳ１００３〜ステップＳ１００５の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００８へ移行する。
【００８３】
一方、カメラワーク判定部１２は、ステップＳ１００３において、画像間カメラワーク種CP[i]と画像間カメラワーク種CP[i+1]とが同じでないと判定した場合（ステップＳ１００３：Ｎ）、ステップＳ１００８へ移行する。
【００８４】
カメラワーク判定部１２は、ステップＳ１００３（Ｎ）またはステップＳ１００６（Ｙ）から移行して、カメラワーク区間の長さCountが予め設定された閾値Th以上であるか否かを判定する（Count≧Th？、ステップＳ１００８）。
【００８５】
カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上であると判定した場合（ステップＳ１００８：Ｙ）、番号nのカメラワーク区間の開始フレーム番号TS[n]、終了フレーム番号TE[n]、カメラワーク種C[n]及びカメラ動き量d[n]を設定する（ステップＳ１００９）。
【００８６】
具体的には、カメラワーク判定部１２は、画像ペアP*[i0]を構成する２枚のフレーム画像P[i0],P'[i0]のうちフレーム画像P[i0]のフレーム番号を、当該カメラワーク区間の開始フレーム番号TS[n]に設定する。また、カメラワーク判定部１２は、画像ペアP*[i]を構成する２枚のフレーム画像P[i],P'[i]のうちフレーム画像P'[i]のフレーム番号を、当該カメラワーク区間の終了フレーム番号TE[n]に設定する。
【００８７】
さらに、カメラワーク判定部１２は、画像ペアP*[i0]の画像間カメラワーク種CP[i0]を、当該カメラワーク区間のカメラワーク種C[n]に設定する。また、カメラワーク判定部１２は、ステップＳ１００４にて算出したカメラ動き量d[n]を、当該カメラワーク区間のカメラ動き量d[n]に設定する。
【００８８】
カメラワーク判定部１２は、ステップＳ１００９から移行して、カメラワーク区間の番号nをインクリメントする（n=n+1、ステップＳ１０１０）。
【００８９】
一方、カメラワーク判定部１２は、ステップＳ１００８において、カメラワーク区間の長さCountが閾値Th以上でないと判定した場合（ステップＳ１００８：Ｎ）、ステップＳ１０１１へ移行する。
【００９０】
カメラワーク判定部１２は、ステップＳ１００８（Ｎ）またはステップＳ１０１０から移行して、画像ペアP*[i]の番号iが画像ペアP*[i]の数Np以上であるか否かを判定する（i≧Np？、ステップＳ１０１１）。すなわち、カメラワーク判定部１２は、ステップＳ１００３〜ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったか否かを判定する。
【００９１】
カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数Np以上でないと判定した場合（ステップＳ１０１１：Ｎ）、すなわちステップＳ１００３〜ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行っていないと判定した場合、番号iをインクリメントし（i=i+1）、カメラ動き量d[n]に画像間動き量dp[i]を設定し（d[n]=dp[i]）、i0=1及びCount=0を設定し（ステップＳ１０１２）、ステップＳ１００３へ移行する。これにより、次のカメラワーク区間または次の画像ペアP*[i]について処理が行われる。
【００９２】
一方、カメラワーク判定部１２は、ステップＳ１０１１において、番号iが画像ペアP*[i]の数Np以上であると判定した場合（ステップＳ１０１１：Ｙ）、すなわちステップＳ１００３〜ステップＳ１０１０及びステップＳ１０１２の処理を全ての画像ペアP*[i]について行ったと判定した場合、ステップＳ１００９にて設定した開始フレーム番号TS[n]、終了フレーム番号TE[n]、カメラワーク種C[n]及びカメラ動き量d[n]から、開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成し、これらの系列をカメラワークデータとして出力する（ステップＳ１０１３）。
【００９３】
以上のように、本発明の実施形態によるカメラワーク判定装置１によれば、フレーム画像サンプリング部１０は、番組映像からT1フレーム毎にフレーム画像P[i]をサンプリングし、フレーム画像P[i]からT2フレーム先のフレーム画像P'[i]をサンプリングし、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を生成する。
【００９４】
画像間カメラワーク判定部１１は、画像ペアP*[i]について、２枚のフレーム画像P[i],P'[i]間における分割した背景領域Rnのみの動きデータに基づいて、画像間カメラワーク種CP[i]を判定すると共に、画像間動き量dP[i]を算出する。
【００９５】
具体的には、画像間カメラワーク判定部１１の背景領域動きヒストグラム算出部２０は、分割した背景領域Rnについて、２枚のフレーム画像P[i],P'[i]から求めた動き差分ベクトルを方向kに分類し、方向k毎の動きヒストグラムである動き差分ベクトルの度数h[i,n,k]を求める。また、背景領域動きヒストグラム算出部２０は、背景領域Rnについて、方向kに属する動き差分ベクトルの長さの和を度数h[i,n,k]で除算し、方向k毎に動き量の平均値dA[i,n,k]を求める。そして、背景領域動きヒストグラム算出部２０は、背景領域Rnについて、度数h[i,n,k]が最大値を取る方向kを特定し、これを主方向番号CR[i,n]に設定し、主方向番号CR[i,n]の動き量の平均値dA[i,n,CR[i,n]]を主方向動き量dR[i,n]に設定する。
【００９６】
また、画像間カメラワーク判定部１１のカメラワーク判定及び動き量算出部２１は、背景領域Rnの主方向番号CR[i,n]及び主方向動き量dR[i,n]に基づいて、画像間カメラワーク種CP[i]を求め、背景領域Rnの主方向動き量dR[i,n]の平均を画像間動き量dP[i]として求める。
【００９７】
カメラワーク判定部１２は、画像間カメラワーク種CP[i]に基づいてカメラワーク区間を判定し、カメラワーク区間について、画像ペアP*[i]に基づいて開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定し、画像間カメラワーク種CP[i]に基づいてカメラワーク種C[n]を特定し、画像間動き量dP[i]に基づいてカメラ動き量d[n]を算出する。そして、カメラワーク判定部１２は、これらのデータをカメラワークデータとして出力する。
【００９８】
具体的には、カメラワーク判定部１２のカメラワーク区間判定部３０は、同じ画像間カメラワーク種CP[i]の画像ペアP*[i]が所定数以上継続する区間をカメラワーク区間として判定する。また、カメラワークデータ生成部３１は、カメラワーク区間について、当該カメラワーク区間の開始時点及び終了時点にそれぞれ対応する画像ペアP*[i]の開始フレーム番号TS[n]及び終了フレーム番号TE[n]を特定し、当該カメラワーク区間に対応する画像間カメラワーク種CP[i]をカメラワーク種C[n]として特定し、当該カメラワーク区間に対応する全ての画像間動き量dP[i]を加算し、加算結果をカメラ動き量d[n]として求める。そして、カメラワークデータ生成部３１は、カメラワーク区間の開始フレーム番号系列TS[1],...,TS[NC]、終了フレーム番号系列TE[1],...,TE[NC]、カメラワーク種系列C[1],...,C[NC]及びカメラ動き量系列d[1],...,d[NC]を生成し、これらのデータをカメラワークデータとして出力する。
【００９９】
これにより、映像の符号化方式に依存しない番組映像を処理対象とするから、符号化方式に応じた処理が不要となる。また、フレーム画像P[i],P'[i]からなる画像ペアP*[i]を用いるようにしたから、連続したフレーム画像を用いる必要がなく、処理時間を短くすることができる。
【０１００】
また、分割した複数の背景領域Rnを用いるようにしたから、「パン」「チルト」「静止」に加え、「ズームイン」及び「ズームアウト」のカメラワーク種C[n]も判定することができる。
【０１０１】
したがって、映像の符号化方式に依存することなく、高速かつ詳細にカメラワークを判定することが可能となる。
【０１０２】
以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。前記実施形態では、分割した背景領域Rnの数を６（n=1,...,6）としたが、本発明はその数を限定するものではなく、２以上であればよい。また、図４に示した背景領域Rnは、画面の左端及び右端に設定するようにしたが、例えば画面の上端及び下端に設定するようにしてよいし、左端、右端、上端及び下端に設定するようにしてもよい。
【０１０３】
また、前記実施形態では、方向kの数を８（k＝1,...,8）としたが、本発明はその数を限定するものではなく、２以上であればよい。
【０１０４】
尚、本発明の実施形態によるカメラワーク判定装置１のハードウェア構成としては、通常のコンピュータを使用することができる。カメラワーク判定装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。カメラワーク判定装置１に備えたフレーム画像サンプリング部１０、画像間カメラワーク判定部１１及びカメラワーク判定部１２の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。
【符号の説明】
【０１０５】
１  カメラワーク判定装置
１０  フレーム画像サンプリング部
１１  画像間カメラワーク判定部
１２  カメラワーク判定部
２０  背景領域動きヒストグラム算出部
２１  カメラワーク判定及び動き量算出部
３０  カメラワーク区間判定部
３１  カメラワークデータ生成部
【図１】
2018206142.tif 000004
【図２】
2018206142.tif 000005
【図３】
2018206142.tif 000006
【図４】
2018206142.tif 000007
【図５】
2018206142.tif 000008
【図６】
2018206142.tif 000009
【図７】
2018206142.tif 000010
【図８】
2018206142.tif 000011
【図９】
2018206142.tif 000012
【図１０】
2018206142.tif 000013