(57)【要約】  画像境界線候補画素検出部は、映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出し、画像境界線候補画素を特定する情報である画像境界線候補画素情報をフレームごとに出力する。線抽出部は、各フレームの画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、画像境界線を記述する情報である画像境界線記述情報をフレームごとに出力する。画像境界線所有フレーム区間検出部は、各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有するか否かを判定し、画像境界線を有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出する。
2007138858.tif 000002
【特許請求の範囲】
【請求項１】
映像を構成するフレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出する画像境界線抽出部と、
画像境界線にもとづいて映像に含まれる特殊効果を検出する特殊効果検出部と
を具備する
映像の特殊効果検出装置。
【請求項２】
画像境界線抽出部は、映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、前記画像境界線を記述する情報である画像境界線記述情報を出力し、
特殊効果検出部は、各フレームの前記画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する
請求の範囲１記載の映像の特殊効果検出装置。
【請求項３】
特殊効果が、ワイプまたはディジタルビデオエフェクトによる映像切り替えである請求の範囲２記載の映像の特殊効果検出装置。
【請求項４】
画像境界線が、フレーム内に存在する２つの画像の間の境界線と連動して動くフレーム内の線をも含む請求の範囲２または３に記載の映像の特殊効果検出装置。
【請求項５】
画像境界線抽出部が、
映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出し、前記画像境界線候補画素を特定する情報である画像境界線候補画素情報をフレームごとに出力する画像境界線候補画素検出部と、
各フレームの前記画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、前記画像境界線を記述する情報である画像境界線記述情報をフレームごとに出力する線抽出部とを含む
請求の範囲２から４のいずれかに記載の映像の特殊効果検出装置。
【請求項６】
画像境界線候補画素検出部が、エッジである画素、フレーム間画素差分値が大きい画素、動きベクトルがばらつく領域に属する画素のいずれか１つを満たす画素、または複数の組合せを満たす画素を、画像境界線候補画素として検出する
請求の範囲５に記載の映像の特殊効果検出装置。
【請求項７】
線抽出部が、ハフ変換を用いて画像境界線候補画素が構成する直線を画像境界線として抽出する請求の範囲５または６に記載の映像の特殊効果検出装置。
【請求項８】
特殊効果検出部が、
各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有するか否かを判定し、画像境界線を有するフレームが連続するフレーム区間を特殊効果を含むフレーム区間として検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線所有フレーム区間検出部を含む
請求の範囲２から７のいずれかに記載の映像の特殊効果検出装置。
【請求項９】
特殊効果検出部が、
各フレームの画像境界線記述情報が示す画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線連続移動フレーム区間検出部を含む
請求の範囲２から７のいずれかに記載の映像の特殊効果検出装置。
【請求項１０】
画像境界線連続移動フレーム区間検出部が、各フレームの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、前記パラメータ空間内で前記画像境界線を表す前記特徴点が時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲９記載の映像の特殊効果検出装置。
【請求項１１】
画像境界線連続移動フレーム区間検出部が、画像境界線がフレームの端から他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲９または１０に記載の映像の特殊効果検出装置。
【請求項１２】
画像境界線連続移動フレーム区間検出部が、画像境界線が連続的に移動するフレーム区間がさらに、各フレームにおいて、フレームの前記画像境界線によって区分される２つの画像領域の少なくとも一方の画像領域と、前記フレーム区間の前と後のフレームの少なくとも一方のフレームとの間の類似性を評価することにより、前記フレーム区間を特殊効果を含むフレーム区間として検出する請求の範囲９から１１のいずれかに記載の映像の特殊効果検出装置。
【請求項１３】
特殊効果検出部が、
各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、前記画像境界線の組合せを記述する情報である画像境界線組合せ情報をフレームごとに出力する画像境界線組合せ抽出部と、
各フレームの前記画像境界線組合せ情報を用いて、フレームごとに画像境界線の組合せを有するか否かを判定し、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ所有フレーム区間検出部とを含む
請求の範囲２から７のいずれかに記載の映像の特殊効果検出装置。
【請求項１４】
画像境界線組合せ所有フレーム区間検出部が、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析し、前記面積の時間的な変化がある基準を満たす場合に、前記フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲１３記載の映像の特殊効果検出装置。
【請求項１５】
画像境界線組合せ所有フレーム区間検出部が、面積が時間とともに単調増加または単調減少していく場合に、フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲１４記載の映像の特殊効果検出装置。
【請求項１６】
特殊効果検出部が、
各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、前記画像境界線の組合せを記述する情報である画像境界線組合せ情報をフレームごとに出力する画像境界線組合せ抽出部と、
各フレームの画像境界線組合せ情報が示す画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ連続移動フレーム区間検出部とを含む
請求の範囲２から７のいずれかに記載の映像の特殊効果検出装置。
【請求項１７】
画像境界線組合せ抽出部が、複数の画像境界線が、四角形、または四角形の一部を形成する画像境界線の組合せを抽出する請求の範囲１３から１６のいずれかに記載の映像の特殊効果検出装置。
【請求項１８】
画像境界線組合せ連続移動フレーム区間検出部が、各フレームの画像境界線の組合せのそれぞれの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、前記各特徴点が前記パラメータ空間内で時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲１６または１７記載の映像の特殊効果検出装置。
【請求項１９】
画像境界線組合せ連続移動フレーム区間検出部が、画像境界線の組合せが、フレームの端から他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲１６から１８のいずれかに記載の映像の特殊効果検出装置。
【請求項２０】
画像境界線組合せ連続移動フレーム区間検出部が、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析し、前記面積の時間的な変化がある基準を満たす場合に、前記フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲１６から１９のいずれかに記載の映像の特殊効果検出装置。
【請求項２１】
画像境界線組合せ連続移動フレーム区間検出部が、面積が時間とともに単調増加または単調減少していく場合に、フレーム区間を、特殊効果を含むフレーム区間として検出する請求の範囲２０記載の映像の特殊効果検出装置。
【請求項２２】
画像境界線組合せ連続移動フレーム区間検出部が、画像境界線の組合せが連続的に移動するフレーム区間がさらに、各フレームにおいて、フレームの前記画像境界線によって区分される２つの画像領域の少なくとも一方の画像領域と、前記フレーム区間の前と後のフレームの少なくとも一方のフレームとの間の類似性を評価することにより、前記フレーム区間を特殊効果を含むフレーム区間として検出する請求の範囲１６から２１のいずれかに記載の映像の特殊効果検出装置。
【請求項２３】
画像境界線抽出部が、
映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出し、前記画像境界線候補画素を特定する情報である画像境界線候補画素情報をフレームごとに出力する画像境界線候補画素検出部と、
各フレームの前記画像境界線候補画素情報が示す各画像境界線候補画素のエッジ方向を算出し、算出された各画像境界線候補画素の前記エッジ方向をフレームごとに出力するエッジ方向算出部と、
フレームごとに、前記画像境界線候補画素情報が示す画像境界線候補画素を入力としたハフ変換を用いた直線抽出方法において、投票を受ける直線の方向と前記画像境界線候補画素の前記エッジ方向がなす角度が垂直に近いほど投票の重みを大きくするように制御して投票を行って直線を抽出し、抽出した前記直線を画像境界線として、前記画像境界線を記述する情報である画像境界線記述情報を出力する重み付きハフ変換部とを含む
請求の範囲２から２２のいずれかに記載の映像の特殊効果検出装置。
【請求項２４】
画像境界線抽出部が、さらに、
各フレームの画像境界線記述情報が示す画像境界線を構成する各画像境界線候補画素のエッジ方向を算出し、算出された前記画像境界線を構成する各画像境界線候補画素の前記エッジ方向をフレームごとに出力するエッジ方向算出部と、
フレームごとに、前記画像境界線記述情報が示す画像境界線の方向と、前記画像境界線を構成する各画像境界線候補画素の前記エッジ方向がなす角度が垂直に近いと統計的に判定される場合に、前記画像境界線記述情報を出力する画像境界線フィルタリング部とを含む
請求の範囲５から２３のいずれかに記載の映像の特殊効果検出装置。
【請求項２５】
画像境界線抽出部が、さらに、
各フレームの画像境界線記述情報が示す画像境界線上の複数の点の動きベクトルを算出し、算出された前記画像境界線上の複数の点の前記動きベクトルをフレームごとに出力する動きベクトル算出部と、
フレームごとに、前記画像境界線記述情報が示す画像境界線上の複数の点の前記動きベクトルの方向や大きさが揃わない場合に、前記画像境界線記述情報を出力する画像境界線フィルタリング部とを含む
請求の範囲５から２４のいずれかに記載の映像の特殊効果検出装置。
【請求項２６】
映像の各フレームから特徴量を抽出し、各フレームから抽出した特徴量を比較することにより、映像が緩やかに変化する区間である漸次変化区間を検出し、前記漸次変化区間のフレーム列を出力する漸次変化検出部を備え、
前記映像が、前記漸次変化検出部によって予め漸次変化区間に限定された映像である
請求の範囲２から２５のいずれかに記載の映像の特殊効果検出装置。
【請求項２７】
特殊効果検出部が出力した特殊効果フレーム区間情報が示すフレーム区間の前後のフレームを映像から取得し、取得した前記フレームの特徴量を抽出し、抽出した前記特徴量を比較して前記フレーム区間の前後で映像が切り替わったか否かを判定し、映像が切り替わったと判定された場合に、前記特殊効果フレーム区間情報を出力するフレーム比較部を備えた請求の範囲２から２６のいずれかに記載の映像の特殊効果検出装置。
【請求項２８】
特殊効果検出部が出力した特殊効果フレーム区間情報を受け取り、任意の時間区間において検出される特殊効果を含むフレーム区間の数を制限するように、前記特殊効果フレーム区間情報を制限して出力するフィルタリング部を備えた請求の範囲２から２７のいずれかに記載の映像の特殊効果検出装置。
【請求項２９】
請求の範囲２から２８のいずれかに記載の映像の特殊効果検出装置と、
前記映像の特殊効果検出装置が出力した特殊効果フレーム区間情報にもとづいて映像の再生制御を行う映像再生制御装置と
を具備する
映像再生装置。
【請求項３０】
映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、
前記画像境界線を記述する情報である画像境界線記述情報を出力し、
各フレームの前記画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出し、
前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する
映像の特殊効果検出方法。
【請求項３１】
映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出する処理と、
前記画像境界線を記述する情報である画像境界線記述情報を出力する処理と、
各フレームの前記画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出する処理と、
前記フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する処理と
をコンピュータに実行させる映像の特殊効果検出プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像に含まれる特殊効果を検出する映像の特殊効果検出装置、特殊効果検出方法および特殊効果検出プログラムに関し、特に、映像の空間的な漸次変化による映像切り替えを検出できる映像の特殊効果検出装置、特殊効果検出方法および特殊効果検出プログラムに関する。映像の空間的な漸次変化による映像切り替えは、例えば、ワイプやＤＶＥ（ディジタルビデオエフェクト）である。
【背景技術】
【０００２】
映像の特殊効果は、映像切り替えの一種である。映像の特殊効果においては、切り替え前後の映像が空間的な占有割合を徐々に変化しながら切り替わる漸次変化が行われる。映像の特殊効果には、ワイプとＤＶＥ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ  Ｅｆｆｅｃｔ  ：ディジタルビデオエフェクト）がある。図１（Ａ），（Ｂ）は、それぞれワイプの例を示す説明図である。図２（Ａ）〜（Ｉ）は、それぞれＤＶＥの例を示す説明図である。【０００３】
図１に例示されているように、ワイプでは、切り替え前後の映像の位置は固定であり、それぞれの映像を表示させる領域を徐々に変化させて画面が切り替わる。図２に例示されているように、ＤＶＥでは、一方の映像の位置は固定で、その上に重畳される形で、他方の映像が平行移動、拡大縮小、回転、ひねりなどの画像変換を伴いながら出現または消失して画面が切り替わる。いずれも、切り替え前後の映像が空間的に共存しながら画面が切り替わることが特徴である。また、いずれも、切り替わるパターンが無数にある。【０００４】
映像の特殊効果は、一般に多用される瞬時的な映像切り替えであるカットとは異なり、映像の編集者が意図的に挿入する映像切り替えである。映像の特殊効果は、映像の意味的に重要な箇所や、編集者が特に印象付けたい箇所に利用される。例えば、新規のコーナーやトピックの開始点や、場面の転換点などに利用される。従って、映像の特殊効果を検出することによって、映像の内容や構造を理解する上で重要な情報を取得することができる。【０００５】
ワイプやＤＶＥなどの特殊効果を検出する方法が、文献に記載されている。【０００６】
特開平８−２３７５４９号公報（段落００１１−００１６）や特開２００５−２３７００２号公報（段落００３１−００３５）には、ワイプを含めた漸次変化による映像切り替えを、隣接フレーム間の特徴量の差分値（フレーム間差分値）を用いて検出する方法が記載されている。これらに記載されている方法では、フレームの特徴量が緩やかに変化していく区間を検出する。特開平８−２３７５４９号公報に記載されている方法では、フレーム間差分値が、ある緩やかな変化を検知するしきい値以上になるフレームが続き、かつ、累積されたフレーム間差分値が、ある別の大きなしきい値以上になる場合に、漸次変化による映像切り替えを検出する。フレーム間差分値として、画素間の輝度値の変化量が用いられている。特開２００５−２３７００２号公報に記載されている方法では、フレーム間差分値が、ある緩やかな変化を検知するしきい値以上になるフレームが続き、かつ、その前後の区間においてフレーム間差分値が、あるしきい値以下になるフレームが続く場合に、ワイプを検出する。【０００７】
特開平７−２８８８４０号公報（段落００１１）や特開平１１−２５２５０１号公報（段落００１２−００２０）には、ワイプを検出する方法が記載されている。ワイプは、切り替え後の映像が切り替え前の映像の領域を徐々に置き換えていき、最終的に切り替え後の映像が切り替え前の映像の全領域を置き換える、という性質を有する。これらに記載されている方法では、ワイプが有する性質を用いて一様に変化するワイプを検出する。隣接フレーム間の画素間の差分値などにもとづいて、各フレームにおける画像の変化領域を求める。連続する複数フレームの画像変化領域の論理和によって得られる総合の画像変化領域を評価して、ワイプを検出する。特開平１１−２５２５０９号公報（段落００５３−００５７）にも、ワイプを検出する方法が記載されている。特開平１１−２５２５０９号公報に記載されている方法では、予測誤差のフレーム平均が大きくなると、ワイプの可能性が高いと判定する。【０００８】
河合  吉彦、馬場口  登、北橋  忠宏は、ＤＶＥを検出する方法を、“放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法”（電子情報通信学会論文誌  Ｄ−ＩＩ、Ｖｏｌ．Ｊ８４−Ｄ−ＩＩ、Ｎｏ．  ２、ｐｐ．４３２−４３５、  ２００１年２月）に開示している。“放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法”に記載されている方法では、あらかじめＤＶＥのパターンを登録しておき、あらかじめ登録されたＤＶＥのパターンと映像とを比較することによって、類似したパターンをＤＶＥとして検出する。【０００９】
しかし、上記文献に記載されている従来の方法は、パターンに依存せず汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなく、映像の特殊効果を高精度に検出することができない。特殊効果以外の映像変化は、例えばパン、ズームなどのカメラモーションや、映像内のオブジェクトの動きなどの漸次変化である。特開平８−２３７５４９号公報や特開平１１−２５２５０１号公報に記載されている方法は、特殊効果のパターンに依存せず汎用的に適用できるものの、単純なフレームの特徴量の比較を用いるため、特殊効果の映像変化と特殊効果以外の映像変化とを区別できない。なぜなら、特殊効果以外の映像変化においても、特殊効果と同様に、フレームの特徴量が緩やかに変化するからである。特殊効果の映像変化と特殊効果以外の映像変化とを区別できないので、特殊効果以外の映像変化を誤って検出することが多く発生するという問題がある。【００１０】
特開平７−２８８８４０号公報や特開平１１−２５２５０１号公報（段落００１２−００２０）に記載されている方法は、一様に変化するワイプの性質を用いてワイプを検出するので、ワイプを、特殊効果以外の映像変化とは区別して検出することができる。しかし、ＤＶＥは複雑な画像変換を伴って映像が切り替わるので、上述したワイプの性質を用いてＤＶＥを検出することは極めて困難である。そのため、あらゆるパターンのワイプとＤＶＥを汎用的に検出できない。特開平１１−２５２５０９号公報に記載されている方法は、予測誤差のフレーム平均が大きくなるとワイプの可能性が高いと判定する。予測誤差のフレーム平均が大きくなるのはワイプの場合に限られないから、特開平１１−２５２５０９号公報に記載されている方法は、高精度にワイプなどの特殊効果を検出できない。【００１１】
“放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法”に記載されている方法では、特殊効果のパターンごとに登録作業が必要になる。特殊効果のパターンは無数にあり、あらゆるパターンの特殊効果を登録しておくことは不可能である。“放送型スポーツ映像におけるディジタルビデオ効果に着目したリプレイシーン検出の一手法”に記載されている方法では、あらかじめパターンを登録した限られた数の特殊効果は検出できるものの、登録されていないパターンの特殊効果は検出できない。【００１２】
特開平６−２５９５６１号公報は、動画像中の視標の移動速度と移動方向を高精度且つ高速に計算するための計算装置を開示している。【００１３】
特開平９−２４５１６７号公報は、複雑な画像の照合を迅速に行うための画像照合方法を開示している。【００１４】
特許第３５８５９７７号公報は、床面に動物体の影があっても動物体の位置を画像処理により正確に求めることを可能とする動領域検出装置を開示している。【００１５】
高木  幹雄、下田  陽久の監修による“新編  画像解析ハンドブック”（東京大学出版会、２００４年９月）は、本発明に関連する技術を開示している。【００１６】
Ｊｏｈｎ  Ｃａｎｎｙは、本発明に関連する技術を“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｅｄｇｅ  Ｄｅｔｅｃｔｉｏｎ”（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ｐａｔｔｅｒｎ  Ａｎａｌｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅｌｌｉｇｅｎｃｅ、  Ｖｏｌ．  ８、  Ｎｏ．  ６、  ｐｐ．６７９−６９８、１９８６年  １１月）に開示している。【００１７】
Ｈ．Ｊ．Ｚｈａｎｇ、  Ａ．Ｋａｎｋａｎｈａｌｌｉ、  Ｓ．Ｗ．Ｓｍｏｌｉａｒは、本発明に関連する技術を“Ａｕｔｏｍａｔｉｃ  Ｐａｒｔｉｔｉｏｎｉｎｇ  ｏｆ  Ｆｕｌｌ−Ｍｏｔｉｏｎ  Ｖｉｄｅｏ”（Ｍｕｌｔｉｍｅｄｉａ  Ｓｙｓｔｅｍｓ  １、ｐｐ．１０−２８、  １９９３年）に開示している。
【発明の開示】
【００１８】
本発明は、映像に含まれる特殊効果を、特殊効果のパターンに依存せず、汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなく、高精度に検出できる、映像の特殊効果検出装置、特殊効果検出方法および特殊効果検出プログラムを提供することを目的とする。
【００１９】
本発明は、特殊効果を構成するフレームが、パターンに依存せず汎用的に、フレーム内に存在する２つの画像の間の境界線（画像境界線と呼ぶ）を有することに着目している点に一つの特徴がある。
【００２０】
本発明による映像の特殊効果検出装置は、映像を構成するフレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出することによって映像に含まれる特殊効果を検出する。映像の特殊効果検出装置は、入力映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、画像境界線を記述する情報である画像境界線記述情報を出力する画像境界線抽出部と、各フレームの画像境界線記述情報を用いて特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する特殊効果検出部とを備えることが好ましい。特殊効果は、代表的には、ワイプまたはディジタルビデオエフェクトによる映像切り替えである。また、画像境界線は、フレーム内に存在する２つの画像の間の境界線と連動して動くフレーム内の線をも含んでもよい。
【００２１】
本発明による映像の特殊効果検出装置においては、画像境界線抽出部が、入力映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出し、画像境界線候補画素を特定する情報である画像境界線候補画素情報をフレームごとに出力する画像境界線候補画素検出部と、各フレームの画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、画像境界線を記述する情報である画像境界線記述情報をフレームごとに出力する線抽出部とを含むことが好ましい。
【００２２】
画像境界線候補画素検出部は、エッジである画素、フレーム間画素差分値が大きい画素、動きベクトルがばらつく領域に属する画素、のいずれか１つを満たす画素、または複数の組合せを満たす画素を、画像境界線候補画素として検出してもよい。
【００２３】
線抽出部は、ハフ変換を用いて画像境界線候補画素が構成する直線を画像境界線として抽出してもよい。
【００２４】
本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有するか否かを判定し、画像境界線を有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線所有フレーム区間検出部を含むことが好ましい。
【００２５】
このような構成を採用することにより、本発明による映像の特殊効果検出装置は、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線にもとづいて特殊効果を含むフレーム区間を検出する。画像境界線は、特殊効果を構成するフレームにはパターンに依存せず汎用的に含まれ、カメラモーションなどの特殊効果以外の映像変化のフレームには含まれない。このため、特殊効果をパターンに依存せず汎用的に、かつ特殊効果以外の映像変化を誤って検出することなく、高精度に検出できる。
【００２６】
本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報が示す画像境界線が、連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線連続移動フレーム区間検出部を含むことが好ましい。
【００２７】
画像境界線連続移動フレーム区間検出部は、各フレームの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、パラメータ空間内で画像境界線を表す特徴点が時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出してもよい。
【００２８】
このような構成を採用することにより、本発明による映像の特殊効果検出装置は、画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する。特殊効果では画像境界線はフレーム間を連続的に移動する。このため、特殊効果をパターンに依存せず汎用的に、かつ特殊効果以外の映像変化を誤って検出することなく、高精度に検出できる。さらに、画像境界線の有無だけでなく、画像境界線が連続的に移動するか否かにもとづいて特殊効果を検出するため、画像境界線の有無だけにもとづいて特殊効果を検出する構成と比較して、より高精度に特殊効果を検出することができる。
【００２９】
本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、画像境界線の組合せを記述する情報である画像境界線組合せ情報をフレームごとに出力する画像境界線組合せ抽出部と、各フレームの画像境界線組合せ情報を用いて、フレームごとに画像境界線の組合せを有するか否かを判定し、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ所有フレーム区間検出部とを含むことが好ましい。
【００３０】
本発明による映像の特殊効果検出装置においては、特殊効果検出部が、各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、画像境界線の組合せを記述する情報である画像境界線組合せ情報をフレームごとに出力する画像境界線組合せ抽出部と、各フレームの画像境界線組合せ情報が示す画像境界線の組合せが、連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する画像境界線組合せ連続移動フレーム区間検出部とを含むことが好ましい。
【００３１】
画像境界線組合せ抽出部は、複数の画像境界線が、四角形、または四角形の一部を形成する画像境界線の組合せを抽出してもよい。
【００３２】
画像境界線組合せ連続移動フレーム区間検出部は、各フレームの画像境界線の組合せのそれぞれの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、各特徴点がパラメータ空間内で時間とともに連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出してもよい。
【００３３】
このような構成を採用することにより、本発明による映像の特殊効果検出装置は、フレームから画像境界線の組合せを抽出し、抽出した画像境界線の組合せにもとづいて特殊効果を含むフレーム区間を検出する。画像境界線の組合せが形成する画像枠は、特殊効果のうちのＤＶＥを構成するフレームに含まれ、特殊効果以外の映像変化のフレームには含まれない。このため、特殊効果のうちのＤＶＥを、特殊効果以外の映像変化を誤って検出することなく、高精度に検出できる。さらに、複数の画像境界線の組合せにもとづいて特殊効果を検出するため、単独の画像境界線のみにもとづいて特殊効果を検出する構成と比較して、より高精度に特殊効果のうちのＤＶＥを検出することができる。
【００３４】
本発明の効果は、映像に含まれる特殊効果を、特殊効果のパターンに依存せず汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなく、高精度に検出できることである。
【００３５】
その理由は、画像境界線抽出部が、フレームから、特殊効果を構成するフレームには共通に含まれ、特殊効果以外の映像変化のフレームには含まれない画像境界線を抽出し、特殊効果検出部が抽出した画像境界線にもとづいて特殊効果を含むフレーム区間を検出するためである。
【図面の簡単な説明】
【００３６】
【図１】図１（Ａ）及び（Ｂ）は、ワイプの例を示す説明図である。
【図２】図２（Ａ）乃至（Ｉ）は、ＤＶＥの例を示す説明図である。
【図３】図３は、本発明による特殊効果検出装置の第１の実施の形態を示すブロック図である。
【図４】図４（Ａ）乃至（Ｆ）は、画像境界線の例を示す説明図である。
【図５】図５は、動きベクトルのばらつき度合いを算出するためのブロックとその動きベクトルの一例を示す説明図である。
【図６】図６は、画像境界線を有するフレームが連続するフレーム区間の一例を示す説明図である。
【図７】図７は、第１の実施の形態の動作を示すフローチャートである。
【図８】図８は、本発明による特殊効果検出装置の第２の実施の形態を示すブロック図である。
【図９】図９（Ａ）乃至（Ｃ）は、画像境界線がフレーム間を連続的に移動する様子の一例を示す説明図である。
【図１０】図１０は、画像境界線を記述するパラメータを表す特徴点がパラメータ空間内で時間とともに連続的に移動する軌跡を例示した説明図である。
【図１１】図１１は、第２の実施の形態の動作を示すフローチャートである。
【図１２】図１２は、本発明による特殊効果検出装置の第３の実施の形態を示すブロック図である。
【図１３】図１３（Ａ）乃至（Ｆ）は、画像枠を形成する画像境界線の組合せの例を示す説明図である。
【図１４】図１４は、第３の実施の形態の動作を示すフローチャートである。
【図１５】図１５は、本発明による特殊効果検出装置の第４の実施の形態を示すブロック図である。
【図１６】図１６は、画像境界線の組合せのそれぞれの画像境界線を表す特徴点がパラメータ空間内で時間とともに連続的に移動する様子を例示した説明図である。
【図１７】図１７は、第４の実施の形態の動作を示すフローチャートである。
【図１８】図１８は、本発明による特殊効果検出装置の第５の実施の形態を示すブロック図である。
【図１９】図１９は、画像境界線を構成する画素のエッジ方向が画像境界線の方向に対して垂直になることを示す説明図である。
【図２０】図２０は、本発明による特殊効果検出装置の第６の実施の形態を示すブロック図である。
【図２１】図２１は、本発明による特殊効果検出装置の第７の実施の形態を示すブロック図である。
【図２２】図２２は、本発明による特殊効果検出装置の第８の実施の形態を示すブロック図である。
【図２３】図２３は、本発明による特殊効果検出装置の第９の実施の形態を示すブロック図である。
【図２４】図２４は、本発明による特殊効果検出装置の第１０の実施の形態を示すブロック図である。
【発明を実施するための最良の形態】
【００３７】
（第１の実施の形態）
次に、本発明の第１の実施の形態を図面を参照して説明する。【００３８】
図３は、本発明による特殊効果検出装置の第１の実施の形態を示すブロック図である。図３に示すように、本発明の第１の実施の形態の特殊効果検出装置は、画像境界線抽出部１１と特殊効果検出部２１とを備えている。なお、特殊効果検出装置は、例えば、記録媒体に記憶されたプログラムに従って処理を実行するコンピュータ等の情報処理装置で実現される。このことは、以下の各実施の形態でも同様である。【００３９】
画像境界線抽出部１１は、入力映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。画像境界線とは、特殊効果を構成するフレーム内において共存する切り替え前後の２つの画像の間の境界線のことを指す。特殊効果は、切り替え前後の画像が空間的に共存しながら切り替わることが特徴である。そのため、特殊効果を構成するフレームは画像境界線を有する。【００４０】
図４（Ａ）から（Ｆ）は、画像境界線の例を示す説明図である。図４（Ａ）から（Ｆ）において、符号９は、画像境界線を示す。なお、画像境界線は、厳密にフレーム内に存在する２つの画像の間の境界線である必要はない。画像境界線は、フレーム内に存在する２つの画像の間の境界線と連動して動くフレーム内の線をも含んでもよい。画像境界線は、フレーム内に存在する２つの画像の間の境界線と連動して動くフレーム内の線であってもよい。なお、ここで述べた画像境界線の説明は、以後全ての実施の形態について当てはまる。【００４１】
画像境界線抽出部１１は、画像境界線候補画素検出部１１１と、線抽出部１１２とを含む。画像境界線候補画素検出部１１１は、入力映像の各フレームから、画像境界線を構成する画素の候補である画像境界線候補画素を検出する。そして、画像境界線候補画素検出部１１１は、検出した画像境界線候補画素を特定する情報である画像境界線候補画素情報を、フレームごとに出力する。なお、ここで、画素として、入力映像の各フレームを構成する画素をそのまま用いてもよいし、任意の解像度変換などの画像処理によって新たに得られた画素を用いてもよい。また、入力映像のフレームとして、入力映像を構成する全てのフレームを用いてもよいし、任意のサンプリングによって得られたサブセットを用いてもよい。このことは、以後全ての実施の形態について当てはまる。【００４２】
画像境界線候補画素検出部１１１は、画像境界線候補画素を検出するときに、特殊効果における画像境界線を構成する画素が有する性質に合致した画素を検出する。画像境界線を構成する画素が有する性質として、画像境界線を構成する画素はエッジすなわち画像の明度が急激に変化する箇所の画素であるという性質がある。画像境界線が２つの異なる画像の間の境界だからである。エッジである画素を検出する方法は様々あり、そのうちの任意の方法を用いればよい。それらの方法の詳細は、例えば“新編  画像解析ハンドブック”のｐｐ．１２２８−１２４６に記載されている。例えば、“新編  画像解析ハンドブック”に記載されているＰｒｅｗｉｔｔ、Ｓｏｂｅｌ、Ｒｏｂｅｒｔｓ、Ｒｏｂｉｎｓｏｎ、Ｋｉｒｓｃｈ、ラプラシアンなどのエッジ検出オペレータを画像内の各画素に適用してエッジである画素を検出してもよい。また、“Ａ  Ｃｏｍｐｕｔａｔｉｏｎａｌ  Ａｐｐｒｏａｃｈ  ｔｏ  Ｅｄｇｅ  Ｄｅｔｅｃｔｉｏｎ”に記載されているＣａｎｎｙのエッジ検出法を用いて、エッジである画素を検出してもよい。こうして検出されたエッジである画素を、画像境界線候補画素とすることができる。【００４３】
画像境界線を構成する画素が有する別の性質として、画像境界線を構成する画素はフレーム間画素差分値が大きいという性質がある。画像境界線が動くからでかる。あるフレームのフレーム間画素差分値が大きい画素を検出するには、そのフレームとそのフレームに隣接するフレームの対応する画素の間で、画素値の差分値を求める。そして、その差分値がある閾値よりも大きい画素を、そのフレームのフレーム間画素差分値が大きい画素とすることができる。また、フレーム間で画素値の差分値を求める際に、隣接する一方向だけのフレーム（例えば、次フレーム）だけではなく、隣接する逆方向のフレーム（例えば、前フレーム）との間でも画素値の差分値を求め、その両方があるしきい値よりも大きい画素を、フレーム間画素差分値の大きい画素としてもよい。ここで、画素値として、任意の表色系によって記述される信号値を用いればよい。こうして検出されたフレーム間画素差分値が大きい画素を、画像境界線候補画素とすることができる。【００４４】
上記の２つの性質のいずれかの性質を有する画素を画像境界線候補画素としてもよいが、上記の性質を共に有する画素を画像境界線候補画素とするほうが望ましい。この場合、それぞれの性質を有する画素を別々に求め、その両方の性質を有する画素を画像境界線候補画素としてもよい。また、計算コストを抑えるために、どちらか一方の性質を有する画素を先に求め、それらの画素の中からさらに他方の性質の有する画素を検出し、画像境界線候補画素としてもよい。【００４５】
また、上記の２つの性質の他に、画像境界線を構成する画素が有する別の性質として、画像境界線を構成する画素は動きベクトルがばらつく領域に属するという性質がある。画像境界線を構成する画素が、２つの画像間の動いている境界上にあるからである。ここで、動きベクトルがばらつく領域とは、複数のお互いに近接する地点の動きベクトルの方向や大きさが揃わない領域のことである。動きベクトルがばらつく領域を検出するには、例えば、各画素あるいはブロックなどの小領域ごとに、その画素あるいは小領域の動きベクトルとその周辺の複数の画素あるいは小領域の動きベクトルの、ばらつきの度合いを示すばらつき度合いを算出し、算出された動きベクトルのばらつき度合いがあるしきい値以上である画素あるいは小領域を、動きベクトルがばらつく領域とすることができる。【００４６】
画像境界線候補画素検出部１１１は、動きベクトルのばらつき度合いを算出するときに、例えば、対象となる複数の動きベクトルの平均ベクトルを求め、各動きベクトルと平均ベクトルとのベクトル間距離の平均値を動きベクトルのばらつき度合いとすることができる。このように動きベクトルのばらつき度合いを算出すると、対象となる複数の動きベクトルの方向や大きさが揃う場合は、動きベクトルのばらつき度合いが０になり、対象となる複数の動きベクトルの方向や大きさがばらつく場合は、動きベクトルのばらつき度合いが大きくなる。なお、動きベクトルを算出する方法は、例えば、“新編  画像解析ハンドブック”のｐｐ．１４９５−１４９８に記載されている。【００４７】
次に、図面を参照して具体例を述べる。図５は、あるブロック（あるいは画素と考えてもよい。）と、その周辺のブロックの計９つのブロックと、それらの動きベクトルを示す説明図である。これらの動きベクトルを（１）式で表し、これらの動きベクトルの平均ベクトルを（２）式で表す。動きベクトルのばらつき度合いＶは、（１）式で表される動きベクトルと（２）式で表される平均ベクトルとのベクトル間距離の平均値として、（３）式のように算出できる。【００４８】
【数１】
2007138858.tif 000003
【００４９】
【数２】
2007138858.tif 000004
【００５０】
【数３】
2007138858.tif 000005
【００５１】
画像境界線候補画素検出部１１１は、このようにして各ブロック（または画素）に対して動きベクトルのばらつき度合いを算出する。画像境界線候補画素検出部１１１は、算出された動きベクトルのばらつき度合いがあるしきい値以上であるブロック（あるいは画素）に属する全ての画素を、動きベクトルがばらつく領域に属する画素として検出できる。なお、ここで説明した、動きベクトルのばらつく領域に属する画素を検出する方法は、一例であり、この方法に限定されるわけではない。こうして検出された動きベクトルのばらつく領域に属する画素を、画像境界線候補画素とすることができる。【００５２】
なお、動きベクトルのばらつく領域に属する画素をそのまま画像境界線候補画素としてもよい。動きベクトルのばらつく領域に属し、かつ上記の他の２つの性質のいずれかの性質、あるいは両方の性質をも有する画素を、画像境界線候補画素とすることが望ましい。【００５３】
また、画像境界線候補画素検出部１１１は、検出した画像境界線候補画素の周辺の画素を膨張処理によって抽出し、周辺の画素も画像境界線候補画素に追加するようにしてもよい。画像境界線候補画素情報は、各フレームに対して検出した画像境界線候補画素を特定する情報であれば、どのような情報でもよい。画像境界線候補画素情報は、フレーム内の全ての画素に対して、画像境界線候補画素であるか否かを２値で表現した２値画像の情報でもよい。また、画像境界線候補画素情報は、検出された全ての画像境界線候補画素の位置を示すリストでもよい。【００５４】
線抽出部１１２は、画像境界線候補画素検出部１１１が出力した各フレームの画像境界線候補画素情報を入力し、各フレームに対して、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出する。そして、抽出された画像境界線を記述する画像境界線記述情報を、フレームごとに出力する。ここで、抽出する画像境界線は、各フレームに対して複数あってもかまわない。【００５５】
なお、特殊効果における画像境界線は、通常、直線であるため、線抽出部１１２が抽出する画像境界線候補画素が構成する線を、直線に限定してもよい。しかし、まれに曲線などの直線以外の画像境界線を含む特殊効果もあるため、これらの特殊効果を検出の対象とする場合は、線抽出部１１２が抽出する画像境界線候補画素が構成する線を、直線に限定すべきではない。画像境界線候補画素が構成する線を抽出する方法として、画素の集合から線を抽出する任意の方法を用いればよい。線を抽出する方法の例は、例えば“新編  画像解析ハンドブック”のｐｐ．１２４６−１２６０に記載されている。【００５６】
画像境界線候補画素が構成する線を抽出する方法として、ハフ変換を用いることが望ましい。ハフ変換は、パラメータで記述できる図形（例えば直線、円、楕円、放物線）を、パラメータ空間に対する投票によって、画像から抽出する方法である。ハフ変換は、特に、直線を抽出する方法として有効である。ハフ変換による直線の抽出方法は、例えば“新編  画像解析ハンドブック”のｐｐ．１２５４−１２５６に記載されている。画像境界線候補画素を入力としたハフ変換では、各画像境界線候補画素を通る全ての直線に対してパラメータ空間上で投票を行い、線抽出部１１２は、投票量の多い直線を抽出する。線抽出部１１２は、画像境界線候補画素を入力としたハフ変換によって抽出された直線を、画像境界線とすることができる。【００５７】
ハフ変換は、パラメータで記述できる図形であれば抽出できるので、曲線などの直線以外の画像境界線を抽出の対象とする場合にも適用できる。また、“新編  画像解析ハンドブック”のｐｐ．１２５６−１２５８に記載されている一般化ハフ変換は任意形状の図形を検出することができる。一般化ハフ変換を用いれば任意形状の画像境界線を抽出することもできる。【００５８】
また、線抽出部１１２は、抽出した画像境界線に対して、画像境界線を構成する画像境界線候補画素が画像境界線に沿って連続的に存在するか否かを検証してもよい。そして、線抽出部１１２は、画像境界線候補画素が連続的に存在しない場合に、画像境界線として不適当とみなして、該画像境界線を除外してもよい。例えば、線抽出部１１２は、画像境界線に沿って、画像境界線候補画素が連続的に存在する長さを測定し、その長さがあるしきい値以下である画像境界線を除外するようにしてもよい。【００５９】
画像境界線記述情報は、各フレームで抽出した画像境界線を記述する情報である。画像境界線が直線である場合には、画像境界線記述情報は、直線を記述する複数次元のパラメータでもよい。例えば、ハフ変換による直線抽出では、フレームに対して定義された（ｘ、ｙ）座標系における原点から直線に降ろした垂線の長さをρ、垂線と水平軸（ｘ軸）とのなす角度をθとして、直線をρ＝ｘｃｏｓθ＋ｙｓｉｎθと表現する。この場合、２次元のパラメータ（ρ、θ）を画像境界線記述情報としてもよい。【００６０】
また、画像境界線を構成する全ての画素の位置を記述したリストを、画像境界記述情報にしてもよい。ただし、画像境界線記述情報が後述する第６の実施の形態におけるエッジ方向算出部１３１に供給される場合に限っては、画像境界線記述情報は画像境界線を構成する全ての画素を特定する情報でなくてはならない。また、画像境界線記述情報が後述する画像境界線所有フレーム区間検出部２１１に供給される場合に限っては（第１の実施の形態など）、画像境界線所有フレーム区間検出部２１１が実行する処理に対応して、画像境界線記述情報が、各フレームが画像境界線を含むか否かを示す２値の情報であってもよい。なお、ここで述べた画像境界線記述情報の説明は、以後全ての実施の形態について当てはまる。【００６１】
特殊効果検出部２１は、画像境界線抽出部１１が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、検出したフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。【００６２】
特殊効果検出部２１は、画像境界線所有フレーム区間検出部２１１を含む。画像境界線所有フレーム区間検出部２１１は、画像境界線抽出部１１が出力した各フレームの画像境界線記述情報を用いて、フレームごとに画像境界線を有するか否かを判定する。そして、画像境界線所有フレーム区間検出部２１１は、画像境界線を有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出する。そして、画像境界線所有フレーム区間検出部２１１は、検出したフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。ここで、検出する画像境界線を有するフレームが連続するフレーム区間は、必ずしも全てのフレームが画像境界線を有する必要はない。フレーム区間の途中で画像境界線を有しないフレームがある規定数含まれることを許容するようにしてもよい。また、ここで検出するフレーム区間は必ずしも複数のフレームから構成されるフレーム区間である必要はない。画像境界線を有する単一のフレームを、特殊効果を含むフレーム区間として検出してもかまわない。【００６３】
画像境界線を有するフレームが連続するフレーム区間を検出する方法の一例として、検出するフレーム区間のフレーム数の最小値をＮと設定し、画像境界線を有するフレームが連続するフレーム区間のフレーム数がＮ枚以上である場合に、フレーム区間を検出する方法がある。このとき、フレーム区間の途中で画像境界線を含まないフレームがある規定数含まれることを許容するようにしてもよい。特殊効果は複数のフレームから構成されるため、通常Ｎとして２以上の数値を設定する。例えば、Ｎを、学習用として用意された映像に含まれる特殊効果区間を構成するフレーム数の最小値と設定することが望ましい。図６は、画像境界線を有するフレームが連続するフレーム区間の一例を示した説明図である。図６は、映像のフレーム列を、画像境界線を有するフレームを１、有しないフレームを０として時系列で示している。この例では、フレーム区間の途中で画像境界線を含まないフレームが含まれることを許容している。【００６４】
特殊効果フレーム区間情報は、検出された特殊効果を含むフレーム区間を特定する情報であり、例えばフレーム区間の最初のフレームと最後のフレームを示す情報などである。なお、ここで述べた特殊効果フレーム区間情報の説明は、以後全ての実施の形態について当てはまる。【００６５】
以上のようにして出力された特殊効果フレーム区間情報を、入力映像の再生制御に利用することができる。すなわち、上記の構成に加えて、特殊効果検出装置が出力した特殊効果フレーム区間情報にもとづいて、入力映像の再生制御を行う映像再生制御装置を設けることができる。このような特殊効果検出装置と映像再生制御装置とを備えた映像再生装置では、例えば、特殊効果フレーム区間情報が示すフレーム区間を、再生の開始点候補や、再生の終了点候補として再生を制御することができる。【００６６】
例えば、映像再生制御装置は、特殊効果フレーム区間情報が示すフレーム区間内の任意のフレームを再生の開始点候補として、ユーザの再生指示（例えばリモコン操作など）によって、開始点候補のフレームからの頭出し再生を行ってもよい。また、特殊効果フレーム区間情報が示すフレーム区間の最初のフレームと最後のフレームとをそれぞれフレームＦ１とフレームＦ２とする。その特殊効果フレーム区間より前の映像を映像Ａ、後の映像を映像Ｂとする。そして、映像再生制御装置は、映像Ａの再生指示があったときにはフレームＦ２までを再生し、映像Ｂの再生指示があったときにはフレームＦ１から再生を開始するようにしてもよい。【００６７】
背景技術の説明で述べたように特殊効果は映像の意味的に重要な箇所や、編集者が特に印象付けたい箇所、例えば新規のコーナーやトピックの開始点、場面の転換点などに利用される。よって、特殊効果検出装置が出力した特殊効果フレーム区間情報を用いて再生制御を行うことにより、トピックやコーナーなどの映像の意味的に重要な単位での映像視聴が可能になる。このため、映像の視聴したい箇所に素早くアクセスでき、効率的な視聴を提供することができる。なお、ここで述べた、特殊効果検出装置が出力した特殊効果フレーム区間情報を入力映像の再生制御に利用できることは、以後全ての実施の形態について当てはまる。すなわち、以後全ての実施の形態の特殊効果検出装置に加えて、特殊効果検出装置が出力した特殊効果フレーム区間情報にもとづいて、入力映像の再生制御を行う映像再生制御装置を設けることができる。【００６８】
次に、図７のフローチャートを参照して、第１の実施の形態の動作を説明する。まず、入力映像から新フレームが取得され、画像境界線候補画素検出部１１１に供給される（ステップＡ０１）。ここで、ステップＡ０１が初めて実行される場合には、新フレームを開始フレームとする。次に、画像境界線候補画素検出部１１１は、フレームから画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する（ステップＡ０２）。【００６９】
次に、線抽出部１１２は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する（ステップＡ０３）。次いで、画像境界線所有フレーム区間検出部２１１は、現フレームまでに出力された画像境界線記述情報を用いて、画像境界線を有するフレームが連続するフレーム区間を新たに検出する（ステップＡ０４）。なお、検出されたフレーム区間の重複を防ぐには、例えば、現フレームにおいて画像境界線を有するフレーム区間が終了した場合にのみ、フレーム区間を検出するようにすればよい。画像境界線を有するフレームが連続するフレーム区間が新たに検出された場合は、ステップＡ０５に進む。それ以外の場合は、ステップＡ０６に進む。【００７０】
画像境界線が連続するフレーム区間が新たに検出された場合には、画像境界線所有フレーム区間検出部２１１は、そのフレーム区間を特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する（ステップＡ０５）。最後に、現フレームが終了フレームであるか否かを判定し（ステップＡ０６）、終了フレームである場合は処理を終了する。現フレームが終了フレームでない場合には、ステップＡ０１に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップＡ０１からＡ０６までの処理を、終了フレームに到達するまで実行する。【００７１】
第１の実施の形態では、画像境界線は、特殊効果を構成するフレームにはパターンに依存せず汎用的に含まれ、カメラモーションなどの特殊効果以外の映像変化のフレームには含まれないという性質を利用している。第１の実施の形態では、画像境界線抽出部１１がフレームから画像境界線を抽出し、特殊効果検出部２１が抽出された画像境界線にもとづいて特殊効果を含むフレーム区間を検出する。したがって、第１の実施の形態では、特殊効果をパターンに依存せず汎用的に、かつ特殊効果以外の映像変化を誤って検出することなく、高精度に検出できる効果がある。【００７２】
（第２の実施の形態）
次に、本発明の第２の実施の形態を図面を参照して説明する。【００７３】
図８は、本発明による特殊効果検出装置の第２の実施の形態を示すブロック図である。図８に示すように、本発明の第２の実施の形態の特殊効果検出装置は、画像境界線抽出部１１と特殊効果検出部２２とを備えている。第２の実施の形態は、図３に示された第１の実施の形態における特殊効果検出部２１が、特殊効果検出部２２に置き換わっている点で第１の実施の形態とは異なる。画像境界線検出部１１は、第１の実施の形態における画像境界線検出部１１と同じものであるため、ここでは説明を省略する。【００７４】
特殊効果検出部２２は、第１の実施の形態における特殊効果検出部２１と同様に、画像境界線抽出部１１が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。しかし、第１の実施の形態における特殊効果検出部２１とは構成が異なる。【００７５】
特殊効果検出部２２は、画像境界線連続移動フレーム区間検出部２２１を含む。画像境界線連続移動フレーム区間検出部２２１は、画像境界線抽出部１１が出力した各フレームの画像境界線記述情報が示す画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する。そして、画像境界線連続移動フレーム区間検出部２２１は、検出したフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。【００７６】
特殊効果では、図９（Ａ）乃至（Ｃ）に例示するように、画像境界線９はフレーム間を連続的に移動する。ここで、画像境界線９が連続的に移動するとは、時間とともに画像境界線９が位置や傾きを徐々に変化させながらフレーム内を移動していく様子を指す。例えば、図９の（Ａ）に示す例では、垂直の画像境界線９が、フレームを左から右へと横切る形で連続的に移動している。また、図９の（Ｂ）に示す例では、下辺の画像境界線９が、フレームの下から上へと徐々に移動していく。また、図９の（Ｃ）に示す例では、左辺の画像境界線９が、フレームの左から右へと徐々に移動していく。【００７７】
画像境界線が連続的に移動するフレーム区間を検出する方法の一例として、画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、パラメータ空間内で画像境界線を表す特徴点が時間とともに連続的に移動するフレーム区間を抽出する方法がある。ここでは、画像境界線を記述するパラメータとして、第１の実施の形態で述べた２次元のパラメータ（ρ、θ）を使って、具体例を示す。【００７８】
図１０は、特殊効果を含むフレーム区間において、画像境界線抽出部１１が抽出した画像境界線を２次元のパラメータ（ρ、θ）で表し、特徴点としてρ−θの２次元パラメータ空間にプロットした説明図である。特殊効果における画像境界線はフレーム間を連続的に移動するので、画像境界線を記述するパラメータを表す特徴点も、図１０に示すようにパラメータ空間内で時間とともに連続的に移動する軌跡として描かれる。パラメータ空間内で画像境界線を表す特徴点が時間とともに連続的に移動するフレーム区間を抽出するには、パラメータ空間内における特徴点間の距離を評価することにより、特徴点間の連続性を判定していけばよい。例えば、隣接するフレーム間で抽出された画像境界線を表す特徴点間のパラメータ空間における距離を算出し、その距離があるしきい値以内であれば、それらのフレームの画像境界線が連続であると判定する。【００７９】
画像境界線連続移動フレーム区間検出部２２１は、この処理を逐次的に隣接するフレーム間で行う。画像境界線連続移動フレーム区間検出部２２１は、特徴点が連続であると判定されたフレーム区間があるフレーム数以上となった場合に、フレーム区間を、画像境界線が連続的に移動するフレーム区間として検出することができる。また、画像境界線連続移動フレーム区間検出部２２１は、パラメータ空間内における特徴点間の連続性を判定する際に、特徴点の予測を行ってもよい。例えば、画像境界線連続移動フレーム区間検出部２２１は、あるフレーム（現フレームと呼ぶ。）から抽出された画像境界線を表す特徴点が、現フレームよりも過去のフレームから抽出された画像境界線を表す特徴点と連続であるかを判定する際に、過去のフレームの特徴点から現フレームの特徴点の予測点を算出し、その予測点と実際に抽出された現フレームの特徴点との距離を算出し、その距離があるしきい値以内であれば、連続であると判定することができる。また、画像境界線連続移動フレーム区間検出部２２１は、パラメータ空間内における特徴点の連続性を判定する際に、ある一定量の例外値を許容するようにしてもよい。【００８０】
また、図９（Ａ）乃至（Ｃ）に示されたように、特殊効果では通常、画像境界線９はフレームの端から他端へと連続的に移動する。フレームの端とは、フレームの外枠の近傍のフレーム内の領域のことを指す。特殊効果では、通常、画像境界線は、まず、フレームの端に出現し、その画像境界線が時間と共にフレーム内を連続的に移動していき、最後にフレームの別の端で消失する。【００８１】
例えば、図９の（Ａ）に示す例では、画像境界線９はフレームの左端から右端へと連続的に移動している。よって、画像境界線連続移動フレーム区間検出部２２１は、画像境界線がフレームの端から他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。例えば、画像境界線連続移動フレーム区間検出部２２１は、画像境界線が連続的に移動するフレーム区間の中から、フレーム区間の最初のフレームの画像境界線がフレームの端に存在し、また、フレーム区間の最後のフレームの画像境界線がフレームの別の端に存在するフレーム区間を選択することで、画像境界線がフレームの端から他端へと連続的に移動するフレーム区間を検出することができる。なお、画像境界線がフレームの端に存在するか否か判定する際に、画像境界線連続移動フレーム区間検出部２２１は、例えば、フレームの外枠から画像境界線までの距離を算出し、その距離がある閾値以内である場合は画像境界線がフレームの端に存在し、しきい値以上である場合には画像境界線がフレームの端に存在しない、と判定することができる。【００８２】
また、特殊効果は、切り替え前後の映像が空間的な占有割合を徐々に変化しながら切り替わる漸次変化であるため、画像境界線によって区分される２つの画像領域（例えば、縦の画像境界線の場合はその左右の画像領域、横の画像境界線の場合はその上下の画像領域）のうち、面積が時間的に減少中の画像領域は切り替え前の映像に所属し、面積が時間的に増加中の画像領域は切り替え後の映像に所属する。このため、面積が時間的に減少中の画像領域は、切り替え後の映像のフレームとは類似せず、切り替え前の映像のフレームと部分的に類似する。また、面積が時間的に増加中の画像領域は、切り替え前の映像のフレームとは類似せず、切り替え後の映像のフレームと部分的に類似する。【００８３】
画像境界線連続移動フレーム区間検出部２２１は、画像境界線が連続的に移動するフレーム区間が、さらにこの性質を満たす場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。すなわち、画像境界線連続移動フレーム区間検出部２２１は、検出された画像境界線が連続的に移動するフレーム区間がさらに、各フレームにおいて、そのフレームの画像境界線によって区分される２つの画像領域のうち、
（ａ）面積が時間的に減少中の画像領域がフレーム区間の後のフレームと類似しない
（ｂ）面積が時間的に減少中の画像領域がフレーム区間の前のフレームと類似する
（ｃ）面積が時間的に増加中の画像領域がフレーム区間の前のフレームと類似しない
（ｄ）面積が時間的に増加中の画像領域がフレーム区間の後のフレームと類似する
の少なくともいずれか1つの性質、または複数の性質の組合せを満たす場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。ここで、フレーム区間の前の／後のフレームとは、フレーム区間の１つ前の／後のフレームでもよいし、フレーム区間のある所定数だけ前の／後のフレームであってもよい。また、フレーム区間の前の／後のフレームはそれぞれ複数枚のフレーム、例えばフレーム区間の前の／後のＮフレーム（Ｎはフレーム枚数）、としてもよい。【００８４】
ここで、画像境界線によって区分される２つの画像領域のうち、面積が時間的に減少中の画像領域と、面積が時間的に増加中の画像領域とを分別するには、そのフレームの２つの画像領域の面積と、その前後のフレームの画像境界線によって区分される２つの画像領域の面積とを比較すればよい。【００８５】
また、画像領域とフレームの類似性を判断するために、どのような方法を用いてもよい。一例として、画像領域とフレームのそれぞれに含まれる画素の統計的な性質（画像特徴）を用いて画像領域とフレームの類似度（または距離）を算出し、しきい値処理によって画像領域とフレームが類似するか否かを判断する方法がある。ここで、画素の統計的な性質（画像特徴）とは、例えば、輝度や色のヒストグラムや、輝度や色の平均値・分散値、テクスチャ情報、などである。画像境界線連続移動フレーム区間検出部２２１は、類似性の判断をフレームごとに行って、上記性質を満たすフレーム数がある割合を超える場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。【００８６】
また、画像境界線連続移動フレーム区間検出部２２１は、フレームごとでは類似度の算出のみを行い、フレーム区間全体での類似度（増加中の画像領域とフレーム区間の前のフレームとの類似度、増加中の画像領域とフレーム区間の後のフレームとの類似度、減少中の画像領域とフレーム区間の前のフレームとの類似度、減少中の画像領域とフレーム区間の後のフレームとの類似度）を算出し、フレーム区間全体で上記性質を満たすか否かを判定し、満たす場合にフレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。【００８７】
また、画像境界線連続移動フレーム区間検出部２２１は、画像境界線によって区分される画像領域とフレーム区間の前後のフレームの類似性を判定する際に、画像領域の全領域を用いる必要はなく、画像領域の一部の領域だけを用いてフレーム区間の前後のフレームとの類似性を判定してもよい。例えば、画像境界線連続移動フレーム区間検出部２２１は、画像境界線によって区分される画像領域のうち、画像境界線に近い画像領域のみを用いてもよい。また、画像境界線連続移動フレーム区間検出部２２１は、画像境界線によって区分される画像領域のうち、現フレームの画像境界線と隣接フレームの画像境界線との間に挟まれる画像領域のみを用いてもよい。【００８８】
次に、図１１のフローチャートを参照して、第２の実施の形態の動作を説明する。まず、入力映像から新フレームが取得され、画像境界線候補画素検出部１１１に供給される（ステップＢ０１）。ここで、ステップＢ０１が初めて実行される場合には、新フレームを開始フレームとする。次に、画像境界線候補画素検出部１１１は、フレームから画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する（ステップＢ０２）。【００８９】
次に、線抽出部１１２は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する（ステップＢ０３）。次いで、画像境界線連続移動フレーム区間検出部２２１は、現フレームまでに出力された画像境界線記述情報を用いて、画像境界線記述情報が示す画像境界線が連続的に移動するフレーム区間を新たに検出する（ステップＢ０４）。なお、検出されたフレーム区間の重複を防ぐためには、画像境界線連続移動フレーム区間検出部２２１は、例えば、現フレームにおいて画像境界線が連続的に移動するフレーム区間が終了した場合にのみ、フレーム区間を検出するようにすればよい。画像境界線が連続的に移動するフレーム区間が新たに検出された場合は、ステップＢ０５に進む。それ以外の場合は、ステップＢ０６に進む。【００９０】
画像境界線が連続するフレーム区間が新たに検出された場合には、画像境界線連続移動フレーム区間検出部２２１は、そのフレーム区間を、特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する（ステップＢ０５）。最後に、現フレームが終了フレームであるか否かを判定し（ステップＢ０６）、終了フレームである場合は処理を終了する。現フレームが終了フレームでない場合には、ステップＢ０１に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップＢ０１からＢ０６までの処理を、終了フレームに到達するまで実行する。【００９１】
第２の実施の形態では、特殊効果において画像境界線はフレーム間を連続的に移動するという性質を利用している。第２の実施の形態では、画像境界線が連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するため、第１の実施の形態と同様に、特殊効果をパターンに依存せず汎用的に、かつ、特殊効果以外の映像変化を誤って検出することなく、高精度に検出できる効果がある。さらに、第２の実施の形態によれば、画像境界線の有無だけでなく、画像境界線が連続的に移動するか否かにもとづいて特殊効果が検出される。従って、第２の実施の形態によれば、画像境界線の有無にもとづいて特殊効果を検出する第１の実施の形態と比較して、より高精度に特殊効果を検出することができる効果がある。【００９２】
（第３の実施の形態）
次に、本発明の第３の実施の形態を図面を参照して説明する。【００９３】
図１２は、本発明による特殊効果検出装置の第３の実施の形態を示すブロック図である。図１２に示すように、本発明の第３の実施の形態の特殊効果検出装置は、画像境界線抽出部１１と特殊効果検出部２３とを備えている。第３の実施の形態は、図３に示された第１の実施の形態における特殊効果検出部２１が、特殊効果検出部２３に置き換わっている点で第１の実施の形態とは異なる。画像境界線検出部１１は、第１の実施の形態における画像境界線検出部１１と同じものであるため、ここでは説明を省略する。【００９４】
特殊効果検出部２３は、第１の実施の形態における特殊効果検出部２１と同様に、画像境界線抽出部１１が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。しかし、特殊効果検出部２３は、第１の実施の形態における特殊効果検出部２１とは構成が異なる。【００９５】
特殊効果検出部２３は、画像境界線組合せ抽出部２３１と、画像境界線組合せ所有フレーム区間検出部２３２とを含む。画像境界線組合せ抽出部２３１は、画像境界線抽出部１１が出力した各フレームの画像境界線記述情報が示す複数の画像境界線の組合せを抽出する。そして、画像境界線組合せ抽出部２３１は、抽出された画像境界線の組合せを記述する情報である画像境界線組合せ情報を、フレームごとに出力する。ここで、画像境界線の組合せは、特殊効果のうちのＤＶＥを構成するフレーム内における、切り替え前後の２つの映像のうち上に重畳されたほうの映像の表示領域を示す画像枠を形成する組合せであることが望ましい。【００９６】
図１３（Ａ）乃至（Ｆ）は、上記のような画像枠を形成する画像境界線９の組合せの例を示す説明図である。図１３（Ａ）乃至（Ｆ）に示すように、画像枠は、通常、四角形であるため、画像境界線組合せ抽出部２３１が抽出する画像境界線の組合せを、四角形を形成する画像境界線の組合せに限定してもよい。しかし、画像枠が四角形以外の図形であるＤＶＥも存在するため、これらのＤＶＥを検出の対象とする場合は、画像境界線組合せ抽出部２３１が抽出する画像境界線の組合せを、四角形を形成する画像境界線の組合せに限定すべきではない。【００９７】
また、図１３の（Ｅ）や（Ｆ）に示すように、画像境界線９が形成する画像枠は必ずしもフレーム内に収まるとは限らないため、画像境界線組合せ抽出部２３１が抽出する画像境界線の組合せは、閉じた図形を形成する画像境界線の組合せである必要はない。例えば、画像境界線組合せ抽出部２３１が抽出する画像境界線の組合せは、図１３の（Ｅ）や（Ｆ）のように、四角形の一部（ただし２辺以上）を形成する画像境界線９の組合せであってもよい。【００９８】
ここでは、画像境界線組合せ抽出部２３１が抽出する画像境界線の組合せを四角形、または四角形の一部を形成する画像境界線の組合せに限定して、画像境界線の組合せを抽出する方法の一例を示す。フレーム内において複数の画像境界線が形成する四角形（または四角形の一部）の組合せを抽出するには、画像境界線抽出部１１がそのフレームで抽出した複数の画像境界線の中から、あらかじめ規定された条件を満たす四角形（または四角形の一部）を形成する画像境界線の組合せを、全ての組合せの中から探索すればよい。あらかじめ規定する条件の一例として、四角形の大きさ、画像境界線の交差点の位置、画像境界線の交差の角度などが挙げられる。これらの条件を、例えば、学習用として用意された映像に含まれる特殊効果の四角形の画像枠を調査して設定することができる。【００９９】
画像境界線組合せ情報は、各フレームで抽出した画像境界線の組合せを記述する情報である。例えば、画像境界線組合せ情報は、抽出した画像境界線の組合せのそれぞれの画像境界線を記述する画像境界線記述情報のセットなどでよい（画像境界線記述情報に関しては、第１の実施の形態を参照。）。また、画像境界線組合せ情報が後述する画像境界線組合せ所有フレーム区間検出部２３２に供給される場合に限っては（第３の実施の形態など）、画像境界線組合せ所有フレーム区間検出部２３２が実行する処理に対応して、画像境界線組合せ情報が、各フレームが画像境界線の組合せを有するか否かを示す２値の情報であってもよい。ここで述べた画像境界線組合せ情報の説明は、以後全ての実施の形態について当てはまる。【０１００】
画像境界線組合せ所有フレーム区間検出部２３２は、画像境界線組合せ抽出部２３１が出力した各フレームの画像境界線組合せ情報を用いて、フレームごとに画像境界線の組合せを有するか否か判定する。そして、画像境界線組合せ所有フレーム区間検出部２３２は、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出し、そのフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。ここで検出する画像境界線の組合せを有するフレームが連続するフレーム区間は必ずしも全てのフレームが画像境界線の組合せを有する必要はない。フレーム区間の途中で画像境界線の組合せを有しないフレームがある規定数含まれることを許容するようにしてもよい。また、ここで検出するフレーム区間は必ずしも複数のフレームから構成されるフレーム区間である必要はない。画像境界線の組合せを有する単一のフレームを、特殊効果を含むフレーム区間として検出してもかまわない。【０１０１】
画像境界線の組合せを有するフレームが連続するフレーム区間を検出する方法は、一例として、第１の実施の形態の画像境界線所有フレーム区間検出部２１１の説明において説明した、画像境界線を有するフレームが連続するフレーム区間を検出する方法と同様でよい。ただし、特殊効果を構成する全てのフレームから画像境界線の組合せを検出するのは容易でない（検出の対象とする四角形の画像枠が小さくなったりするため）。また、画像境界線の組合せが検出できるフレーム数が限られることが多い。よって、画像境界線組合せ所有フレーム区間検出部２３２において、検出するフレーム区間のフレーム数の最小値Ｎを、画像境界線所有フレーム区間検出部２１１において設定する最小値Ｎよりも小さい値に設定することが望ましい。Ｎ＝１とすることも有効である。【０１０２】
また、画像境界線組合せ所有フレーム区間検出部２３２は、検出された画像境界線の組合せを有するフレームが連続するフレーム区間において、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析してもよい。そして、画像境界線組合せ所有フレーム区間検出部２３２は、面積の時間的な変化がある基準を満たす場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。例えば、画像境界線組合せ所有フレーム区間検出部２３２は、各フレームの画像境界線の組合せが構成する図形の面積が、時間とともに単調増加または単調減少していく場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。【０１０３】
例えば、図２の（Ａ）〜（Ｈ）に示されたように、特殊効果のうちのＤＶＥにおいて画像境界線の組合せが構成する、切り替え前後の２つの映像のうち上に重畳されたほうの映像の表示領域を示す画像枠の面積は、通常、単調増加（例えば図２の（Ａ）、（Ｄ）、（Ｆ）、（Ｈ））または単調減少（例えば図２の（Ｂ）、（Ｃ）、（Ｅ）、（Ｇ））するためである。このように各フレームの画像境界線の組合せが構成する図形の面積が時間とともに単調増加または単調減少する場合に限定して、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出すると、より精度よく特殊効果のうちのＤＶＥを検出することができる効果がある。【０１０４】
次に、図１４のフローチャートを参照して、第３の実施の形態の動作を説明する。まず、入力映像から新フレームが取得され、画像境界線候補画素検出部１１１に供給される（ステップＣ０１）。ここで、ステップＣ０１が初めて実行される場合には、新フレームを開始フレームとする。次に、画像境界線候補画素検出部１１１は、フレームから画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する（ステップＣ０２）。【０１０５】
次に、線抽出部１１２は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する（ステップＣ０３）。次いで、画像境界線組合せ抽出部２３１は、画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、抽出された画像境界線の組合せを記述する画像境界線組合せ情報を出力する（ステップＣ０４）。【０１０６】
次に、画像境界線組合せ所有フレーム区間検出部２３２は、現フレームまでに出力された画像境界線組合せ情報を用いて、画像境界線の組合せを有するフレームが連続するフレーム区間を新たに検出する（ステップＣ０５）。なお、検出されたフレーム区間の重複を防ぐためには、例えば、現フレームにおいて画像境界線の組合せを有するフレーム区間が終了した場合にのみ、該フレーム区間を検出するようにすればよい。画像境界線の組合せを有するフレームが連続するフレーム区間が新たに検出された場合は、ステップＣ０６に進む。それ以外の場合は、ステップＣ０７に進む。【０１０７】
画像境界線の組合せが連続するフレーム区間が新たに検出された場合には、画像境界線組合せ所有フレーム区間検出部２３２は、そのフレーム区間を、特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する（ステップＣ０６）。最後に、現フレームが終了フレームであるか否かを判定し（ステップＣ０７）、終了フレームである場合は処理を終了する。現フレームが終了フレームでない場合には、ステップＣ０１に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップＣ０１からＣ０７までの処理を、終了フレームに到達するまで実行する。【０１０８】
第３の実施の形態では、画像境界線の組合せが形成する画像枠は、特殊効果のうちのＤＶＥを構成するフレームに含まれ、特殊効果以外の映像変化のフレームには含まれないという性質を利用している。第３の実施の形態では、フレームから画像境界線の組合せを抽出し、抽出した画像境界線の組合せにもとづいて特殊効果を含むフレーム区間が検出される。よって、特殊効果のうちのＤＶＥを、特殊効果以外の映像変化を誤って検出することなく、高精度に検出できる効果がある。さらに、第３の実施の形態では、複数の画像境界線の組合せにもとづいて特殊効果が検出される。従って、単独の画像境界線のみにもとづいて特殊効果を検出する第１の実施の形態と比較して、より高精度に特殊効果のうちのＤＶＥを検出することができる効果がある。【０１０９】
（第４の実施の形態）
次に、本発明の第４の実施の形態を図面を参照して説明する。【０１１０】
図１５は、本発明による特殊効果検出装置の第４の実施の形態を示すブロック図である。図１５に示すように、本発明の第４の実施の形態の特殊効果検出装置は、画像境界線抽出部１１と特殊効果検出部２４とを備えている。第４の実施の形態は、図３に示された第１の実施の形態における特殊効果検出部２１が、特殊効果検出部２４に置き換わっている点で第１の実施の形態とは異なる。画像境界線検出部１１は、第１の実施の形態における画像境界線検出部１１と同じものであるため、ここでは説明を省略する。【０１１１】
特殊効果検出部２４は、第１の実施の形態における特殊効果検出部２１と同様に、画像境界線抽出部１１が出力した各フレームの画像境界線記述情報を用いて、特殊効果を含むフレーム区間を検出し、フレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。しかし、第１の実施の形態における特殊効果検出部２１とは構成が異なる。【０１１２】
特殊効果検出部２４は、画像境界線組合せ抽出部２３１と、画像境界線組合せ連続移動フレーム区間検出部２４１とを含む。画像境界線組合せ抽出部２３１は、第３の実施の形態における画像境界線組合せ抽出部２３１と同じものであるため、ここでは説明を省略する。【０１１３】
画像境界線組合せ連続移動フレーム区間検出部２４１は、画像境界線組合せ抽出部２３１が出力した各フレームの画像境界線組合せ情報が示す画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出し、そのフレーム区間を特定する情報である特殊効果フレーム区間情報を出力する。ここで、画像境界線の組合せが連続的に移動するフレーム区間とは、画像境界線の組合せのそれぞれの画像境界線が連続的に移動するフレーム区間のことを指す。ただし、必ずしも画像境界線の組合せの全ての画像境界線が連続的に移動する必要はない。画像境界線組合せ連続移動フレーム区間検出部２４１は、画像境界線の組合せの一部の画像境界線のみが連続的に移動する場合でも、そのフレーム区間を画像境界線の組合せが連続的に移動するフレーム区間として検出してもよい。【０１１４】
画像境界線の組合せが連続的に移動するフレーム区間を検出する方法の一例として、フレームから抽出された画像境界線の組合せのそれぞれの画像境界線を記述するパラメータをパラメータ空間内の特徴点として表し、各特徴点がパラメータ空間内で時間とともに連続的に移動するフレーム区間を検出し、そのフレーム区間を画像境界線の組合せが連続的に移動するフレーム区間として検出する方法がある。【０１１５】
図１６は、特殊効果を含むフレーム区間において、画像境界線の組合せのそれぞれの画像境界線を表す特徴点が、パラメータ空間内で時間とともに連続的に移動する様子を例示する説明図である。画像境界線の組合せの一部の画像境界線を表す特徴点のみが時間とともに連続的に移動する場合でも、そのフレーム区間を画像境界線の組合せが連続的に移動するフレーム区間として検出してもよい。各画像境界線を表す特徴点がパラメータ空間内で連続的に移動するフレーム区間を検出する方法は、一例として、第２の実施の形態の画像境界線連続移動フレーム区間検出部２２１において説明した方法と同様である。【０１１６】
また、画像境界線組合せ連続移動フレーム区間検出部２４１は、画像境界線の組合せが、フレームの端から他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。すなわち、画像境界線組合せ連続移動フレーム区間検出部２４１は、画像境界線の組合せのそれぞれの画像境界線が、フレームの端から他端へと連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。なお、個々の画像境界線がフレームの端から他端へと移動するフレーム区間を検出する方法として、第２の実施の形態に述べた方法を用いればよい。また、必ずしも画像境界線の組合せの全ての画像境界線がフレームの端から他端へと連続的に移動する必要はない。画像境界線組合せ連続移動フレーム区間検出部２４１は、画像境界線の組合せの一部の画像境界線のみがフレームの端から他端へと連続的に移動する場合でも、そのフレーム区間を画像境界線の組合せがフレームの端から他端へと連続的に移動するフレーム区間として検出してもよい。【０１１７】
また、画像境界線組合せ連続移動フレーム区間検出部２４１は、検出された画像境界線の組合せが連続的に移動するフレーム区間において、さらに各フレームの画像境界線の組合せが構成する図形の面積の時間的な変化を解析してもよい。そして、画像境界線組合せ連続移動フレーム区間検出部２４１は、面積の時間的な変化がある基準を満たす場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。例えば、画像境界線組合せ連続移動フレーム区間検出部２４１は、各フレームの画像境界線の組合せが構成する図形の面積が、時間とともに単調増加または単調減少していく場合に、上記のフレーム区間を、特殊効果を含むフレーム区間として検出するようにしてもよい。【０１１８】
第３の実施の形態において説明したのと同様に、例えば図２の（Ａ）〜（Ｈ）に示されたように、特殊効果のうちのＤＶＥにおいて画像境界線の組合せが構成する、切り替え前後の２つの映像のうち上に重畳されたほうの映像の表示領域を示す画像枠の面積は、通常、単調増加（例えば、図２の（Ａ）、（Ｄ）、（Ｆ）、（Ｈ））または単調減少（例えば、図２の（Ｂ）、（Ｃ）、（Ｅ）、（Ｇ））するためである。このように各フレームの画像境界線の組合せが構成する図形の面積が時間とともに単調増加または単調減少する場合に限定して、画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出すると、より精度よく特殊効果のうちのＤＶＥを検出することができる効果がある。【０１１９】
また、第２の実施の形態の画像境界線連続移動フレーム区間検出部２２１について説明したように、特殊効果は、切り替え前後の映像が空間的な占有割合を徐々に変化しながら切り替わる漸次変化であるため、画像境界線によって区分される２つの画像領域（画像境界線の組合せの内部の領域と外部の領域）のうち、面積が時間的に減少中の画像領域は切り替え前の映像に所属し、面積が時間的に増大中の画像領域は切り替え後の映像に所属する。このため、面積が時間的に減少中の画像領域は、切り替え後の映像のフレームとは類似せず、切り替え前の映像のフレームと部分的に類似する。また、面積が時間的に増加中の画像領域は、切り替え前の映像のフレームとは類似せず、切り替え後の映像のフレームと部分的に類似する。【０１２０】
画像境界線組合せ連続移動フレーム区間検出部２４１は、画像境界線の組合せが連続的に移動するフレーム区間が、さらにこの性質を満たす場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。すなわち、画像境界線組合せ連続移動フレーム区間検出部２４１は、検出された画像境界線の組合せが連続的に移動するフレーム区間がさらに、各フレームにおいて、そのフレームの画像境界線の組合せによって区分される２つの画像領域のうち、
（ａ）面積が時間的に減少中の画像領域がフレーム区間の後のフレームと類似しない
（ｂ）面積が時間的に減少中の画像領域がフレーム区間の前のフレームと類似する
（ｃ）面積が時間的に増加中の画像領域がフレーム区間の前のフレームと類似しない
（ｄ）面積が時間的に増加中の画像領域がフレーム区間の後のフレームと類似する
の少なくともいずれか1つの性質、または複数の性質の組合せを満たす場合に、フレーム区間を特殊効果を含むフレーム区間として検出するようにしてもよい。ここで、フレーム区間の前の／後のフレームとは、フレーム区間の１つ前の／後のフレームでもよいし、フレーム区間のある所定数だけ前の／後のフレームであってもよい。また、フレーム区間の前の／後のフレームはそれぞれ複数枚のフレーム、例えばフレーム区間の前の／後のＮフレーム（Ｎはフレーム枚数）、としてもよい。【０１２１】
なお、面積が時間的に減少中の画像領域と、面積が時間的に増加中の画像領域との分別処理や、画像領域とフレームの類似性の判断処理等の詳細な説明は、第２の実施の形態の画像境界線連続移動フレーム区間検出部２２１について説明したのと同様である。【０１２２】
次に、図１７のフローチャートを参照して、第４の実施の形態の動作を説明する。まず、入力映像から新フレームが取得され、画像境界線候補画素検出部１１１に供給される（ステップＤ０１）。ここで、ステップＤ０１が初めて実行される場合には、新フレームを開始フレームとする。【０１２３】
次に、画像境界線候補画素検出部１１１は、フレームから画像境界線候補画素を検出し、検出した画像境界線候補画素を特定する画像境界線候補画素情報を出力する（ステップＤ０２）。次いで、線抽出部１１２は、画像境界線候補画素情報が示す画像境界線候補画素が構成する線を、画像境界線として抽出し、抽出された画像境界線を記述する画像境界線記述情報を出力する（ステップＤ０３）。【０１２４】
次に、画像境界線組合せ抽出部２３１は、画像境界線記述情報が示す複数の画像境界線の組合せを抽出し、抽出された画像境界線の組合せを記述する画像境界線組合せ情報を出力する（ステップＤ０４）。【０１２５】
次に、画像境界線組合せ連続移動フレーム区間検出部２４１は、現フレームまでに出力された画像境界線組合せ情報を用いて、画像境界線組合せ情報が示す画像境界線の組合せが、連続的に移動するフレーム区間を新たに検出する（ステップＤ０５）。なお、検出されたフレーム区間の重複を防ぐには、画像境界線組合せ連続移動フレーム区間検出部２４１は、例えば、現フレームにおいて画像境界線の組合せが連続的に移動するフレーム区間が終了した場合にのみ、フレーム区間を検出するようにすればよい。画像境界線の組合せが連続的に移動するフレーム区間が新たに検出された場合は、ステップＤ０６に進む。それ以外の場合は、ステップＤ０７に進む。【０１２６】
画像境界線の組合せが連続的に移動するフレーム区間が新たに検出された場合には、画像境界線組合せ連続移動フレーム区間検出部２４１は、そのフレーム区間を、特殊効果を含むフレーム区間とし、フレーム区間を特定する特殊効果フレーム区間情報を出力する（ステップＤ０６）。最後に、現フレームが終了フレームであるか否かを判定し（ステップＤ０７）、終了フレームである場合は処理を終了する。現フレームが終了フレームでない場合は、ステップＤ０１に進み、映像の次のフレームを新フレームとして取得し、処理を続行する。こうしてステップＤ０１からＤ０７までの処理を、終了フレームに到達するまで実行する。【０１２７】
第４の実施の形態では、画像境界線の組合せが連続的に移動するフレーム区間を、特殊効果を含むフレーム区間として検出する。このため、第４の実施の形態によれば、第３の実施の形態の効果を有しつつ、画像境界線の組合せを有するフレームが連続するフレーム区間を、特殊効果を含むフレーム区間として検出する第１の実施の形態と比較して、より高精度に特殊効果のうちのＤＶＥを検出することができる効果がある。【０１２８】
（第５の実施の形態）
次に、本発明の第５の実施の形態を図面を参照して説明する。【０１２９】
図１８は、本発明による特殊効果検出装置の第５の実施の形態を示すブロック図である。図１８に示すように、本発明の第５の実施の形態の特殊効果検出装置は、画像境界線抽出部１２と特殊効果検出部２１とを備えている。第５の実施の形態は、図３に示された第１の実施の形態における画像境界線抽出部１１が、画像境界線抽出部１２に置き換わっている点で第１の実施の形態とは異なる。なお、ここでは、第１の実施の形態において画像境界線抽出部１１が置き換わっている構成を例示するが、第２、第３、第４の実施の形態のいずれかにおいて画像境界線抽出部１１が置き換わっている構成であってもよい。【０１３０】
画像境界線抽出部１２は、第１の実施の形態における画像境界線抽出部１１と同様に、入力映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。しかし、第１の実施の形態における画像境界線抽出部１１とは構成が異なる。【０１３１】
画像境界線抽出部１２は、画像境界線候補画素検出部１１１と、エッジ方向算出部１２１と、重み付きハフ変換部１２２とを含む。画像境界線候補画素検出部１１１は、第１の実施の形態における画像境界線候補画素検出部１１１と同じものであるため、ここでは説明を省略する。【０１３２】
エッジ方向算出部１２１は、画像境界線候補画素検出部１１１が出力した各フレームの画像境界線候補画素情報を入力とし、画像境界線候補画素情報が示す各画像境界線候補画素のエッジ方向を算出する。そして、エッジ方向算出部１２１は、算出された各画像境界線候補画素のエッジ方向を、フレームごとに出力する。エッジ方向とは画像の濃度勾配方向のことであり、エッジ方向を算出する方法は任意でよい。エッジ方向の算出方法の一例は、例えば、“新編  画像解析ハンドブック”のｐ．１２３２に記載されている。【０１３３】
重み付きハフ変換部１２２は、画像境界線候補画素検出部１１１が出力した各フレームの画像境界線候補画素情報と、エッジ方向算出部１２１が出力した各フレームの各画像境界線候補画素のエッジ方向とを入力とする。そして、重み付きハフ変換部１２２は、各フレームに対して、画像境界線候補画素を入力としたハフ変換を用いた直線抽出方法において、投票を受ける直線の方向と画像境界線候補画素のエッジ方向がなす角度が垂直に近いほど投票の重みを大きくするように制御して投票を行って直線を抽出する。重み付きハフ変換部１２２は、抽出した直線を画像境界線とする。重み付きハフ変換部１２２は、抽出された画像境界線を記述する画像境界線記述情報を、フレームごとに出力する。【０１３４】
第１の実施の形態の線抽出部１１２の説明において説明した画像境界線候補画素を入力としたハフ変換では、各画像境界線候補画素の投票の重みは一律であった。重み付きハフ変換部１２２では、投票を受ける直線の方向と画像境界線候補画素のエッジ方向がなす角度が垂直に近いほど投票の重みを大きくする点が第１の実施の形態とは異なる。投票の重みの算出方法の一例として、例えば、投票を受ける直線の方向と画像境界線候補画素のエッジ方向のなす角度をθ（ただし０≦θ≦π／２とする。）とした場合、θを投票の重みとする方法がある。またαを定数として、投票の重みＷを、（４）式のように算出してもよい。【０１３５】
【数４】
2007138858.tif 000006
【０１３６】
特殊効果検出部２１は、第１の実施の形態における特殊効果検出部２１と同じものであるため、ここでは説明を省略する。【０１３７】
図１９の説明図に示すように、理想的な条件下において、画像境界線を構成する画素のエッジ方向は画像境界線の方向に対して垂直になるという性質を有する。第５の実施の形態では、この性質を利用している。第５の実施の形態では、投票を受ける直線の方向と画像境界線候補画素のエッジ方向がなす角度が垂直に近いほど投票の重みを大きくするハフ変換によって画像境界線を抽出する。よって、第１の実施の形態と比較して、第５の実施の形態では、より高精度に画像境界線を抽出できる。その結果、第５の実施の形態では、より高精度に特殊効果を検出できる効果がある。【０１３８】
（第６の実施の形態）
次に、本発明の第６の実施の形態を図面を参照して説明する。【０１３９】
図２０は、本発明による特殊効果検出装置の第６の実施の形態を示すブロック図である。図２０に示すように、本発明の第６の実施の形態の特殊効果検出装置は、画像境界線抽出部１３と特殊効果検出部２１とを備えている。第６の実施の形態は、図３に示された第１の実施の形態における画像境界線抽出部１１が、画像境界線抽出部１３に置き換わっている点で第１の実施の形態とは異なる。なお、ここでは、第１の実施の形態において画像境界線抽出部１１が置き換わっている構成を例示するが、第２、第３、第４の実施の形態のいずれかにおいて画像境界線抽出部１１が置き換わっている構成であってもよい。【０１４０】
画像境界線抽出部１３は、第１の実施の形態における画像境界線抽出部１１と同様に、入力映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。しかし、画像境界線抽出部１３は、第１の実施の形態における画像境界線抽出部１１とは構成が異なる。【０１４１】
画像境界線抽出部１３は、画像境界線候補画素検出部１１１と、線抽出部１１２と、エッジ方向算出部１３１と、画像境界線フィルタリング部１３２とを含む。画像境界線候補画素検出部１１１は、第１の実施の形態における画像境界線候補画素検出部１１１と同じでものあるため、ここでは説明を省略する。線抽出部１１２は、第１の実施の形態における線抽出部１１２と同じものであるため、ここでは説明を省略する。【０１４２】
エッジ方向算出部１３１は、線抽出部１１２が出力した各フレームの画像境界線記述情報を入力とし、画像境界線記述情報が示す画像境界線を構成する各画像境界線候補画素のエッジ方向を算出する。そして、エッジ方向算出部１３１は、算出された各画像境界線を構成する各画像境界線候補画素のエッジ方向を、フレームごとに出力する。ここで、画像境界線を構成する全ての画像境界線候補画素のエッジ方向を算出する必要はない。エッジ方向算出部１３１は、任意にサンプリングした画像境界線候補画素に対してのみエッジ方向を算出してもよい。エッジ方向を算出する方法は任意でよい。エッジ方向の算出方法の一例は、例えば、“新編  画像解析ハンドブック”のｐ．１２３２に記載されている。【０１４３】
画像境界線フィルタリング部１３２は、線抽出部１１２が出力した各フレームの画像境界線記述情報と、エッジ方向算出部１３１が出力した各フレームの各画像境界線を構成する各画像境界線候補画素のエッジ方向とを入力とする。そして、画像境界線フィルタリング部１３２は、画像境界線記述情報が示す画像境界線の方向と、その画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度が垂直に近いと統計的に判定される場合に、画像境界線記述情報を出力する。それ以外の場合は、画像境界線フィルタリング部１３２は、画像境界線記述情報を出力しない。【０１４４】
具体的な実現方法の一例において、画像境界線の方向と、その画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度とをそれぞれ算出する。この一例において、算出された各角度と垂直方向を示す角度（π／２）との差の絶対値があるしきい値以下となる画像境界線候補画素の割合が、あるしきい値以上となる場合に、画像境界線の方向とその画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度が垂直に近いと統計的に判定する。また、別の実現方法の一例として、画像境界線の方向と、その画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度とをそれぞれ算出する。別の一例において、算出された各角度と垂直方向を示す角度（π／２）との差の絶対値の平均値、または差の２乗値の平均値が、あるしきい値以下となる場合に、画像境界線の方向とその画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度が垂直に近いと統計的に判定する。【０１４５】
特殊効果検出部２１は、第１の実施の形態における特殊効果検出部２１と同じものであるため、ここでは説明を省略する。【０１４６】
第６の実施の形態では、第５の実施の形態と同様に、理想的な条件下において、画像境界線を構成する画素のエッジ方向は、画像境界線の方向に対して垂直になるという性質を利用している。第６の実施の形態では、線抽出部１１２が抽出した画像境界線が、画像境界線の方向と画像境界線を構成する各画像境界線候補画素のエッジ方向がなす角度が垂直に近くないと統計的に判定された場合に除去される。よって、画像境界線ではない線が画像境界線として誤って検出されることを減らすことができる。その結果、より高精度に特殊効果を検出できる効果がある。さらに、第６の実施の形態では、線抽出部１１２で抽出された画像境界線を構成する画像境界線候補画素のみに対してエッジ方向を算出する。従って、第６の実施の形態では、第５の実施の形態と比較して、計算量を抑えることができる効果もある。【０１４７】
（第７の実施の形態）
次に、本発明の第７の実施の形態を図面を参照して説明する。【０１４８】
図２１は、本発明による特殊効果検出装置の第７の実施の形態を示すブロック図である。図２１に示すように、本発明の第７の実施の形態の特殊効果検出装置は、画像境界線抽出部１４と特殊効果検出部２１とを備えている。第７の実施の形態は、図３に示された第１の実施の形態における画像境界線抽出部１１が、画像境界線抽出部１４に置き換わっている点で第１の実施の形態とは異なる。なお、ここでは、第１の実施の形態において画像境界線抽出部１１が置き換わっている構成を例示するが、第２、第３、第４の実施の形態のいずれかにおいて画像境界線抽出部１１が置き換わっている構成であってもよい。【０１４９】
画像境界線抽出部１４は、第１の実施の形態における画像境界線抽出部１１と同様に、入力映像の各フレームから、フレーム内に存在する２つの画像の間の境界線である画像境界線を抽出し、抽出した画像境界線を記述する情報である画像境界線記述情報を出力する。しかし、画像境界線抽出部１４は、第１の実施の形態における画像境界線抽出部１１とは構成が異なる。【０１５０】
画像境界線抽出部１４は、画像境界線候補画素検出部１１１と、線抽出部１１２と、動きベクトル算出部１４１と、画像境界線フィルタリング部１４２とを含む。画像境界線候補画素検出部１１１は、第１の実施の形態における画像境界線候補画素検出部１１１と同じものであるため、ここでは説明を省略する。線抽出部１１２は、第１の実施の形態における線抽出部１１２と同じものであるため、ここでは説明を省略する。【０１５１】
動きベクトル算出部１４１は、線抽出部１１２が出力した各フレームの画像境界線記述情報を入力とし、画像境界線記述情報が示す画像境界線上の複数の点の動きベクトルを算出する。そして、動きベクトル算出部１４１は、算出された各画像境界線上の複数の点の動きベクトルを、フレームごとに出力する。動きベクトルを算出する方法は任意でよい。動きベクトルの算出方法の一例は、例えば、“新編  画像解析ハンドブック”のｐｐ．１４９５−１４９８に記載されている。【０１５２】
画像境界線フィルタリング部１４２は、線抽出部１１２が出力した各フレームの画像境界線記述情報と、動きベクトル算出部１４１が出力した各フレームの各画像境界線上の複数の点の動きベクトルとを入力とする。そして、画像境界線フィルタリング部１４２は、画像境界線記述情報が示す画像境界線上の複数の点の動きベクトルの方向や大きさが揃わない場合に、画像境界線記述情報を出力する。それ以外の場合は、画像境界線フィルタリング部１４２は、画像境界線記述情報を出力しない。【０１５３】
画像境界線上の複数の点の動きベクトルの方向や大きさが揃わないかを判定する方法の一例として、第１の実施の形態の画像境界線候補画素検出部１１１で説明した方法と同様に、動きベクトルのばらつきの度合いを算出する方法がある。画像境界線上の複数の点（Ｎ点とする）の動きベクトルを（５）式で表し、これらの動きベクトルの平均ベクトルを（６）式で表す。動きベクトルのばらつき度合いＶは、（５）式で表わされる各動きベクトルと（６）式で表わされる平均ベクトルとのベクトル間距離の平均値として、（７）式のように算出できる。【０１５４】
【数５】
2007138858.tif 000007
【０１５５】
【数６】
2007138858.tif 000008
【０１５６】
【数７】
2007138858.tif 000009
【０１５７】
こうして算出された画像境界線上の複数の点の動きベクトルのばらつき度合いがあるしきい値以上であれば、その画像境界線上の複数の点の動きベクトルの方向や大きさが揃わないと判定することができる。【０１５８】
特殊効果検出部２１は、第１の実施の形態における特殊効果検出部２１と同じものであるため、ここでは説明を省略する。【０１５９】
画像境界線は、２つの画像間の動いている境界であるため、画像境界線上の複数の点の動きベクトルの方向や大きさが揃わないという性質を有する。第７の実施の形態では、この性質を利用している。第７の実施の形態では、線抽出部１１２が抽出した画像境界線が、画像境界線上の複数の点の動きベクトルの方向や大きさが揃う場合に除去される。よって、画像境界線ではない線が画像境界線として誤って検出されることを減らすことができる。その結果、より高精度に特殊効果を検出できる効果がある。【０１６０】
（第８の実施の形態）
次に、本発明の第８の実施の形態を図面を参照して説明する。【０１６１】
図２２は、本発明による特殊効果検出装置の第８の実施の形態を示すブロック図である。図２２に示すように、本発明の第８の実施の形態の特殊効果検出装置は、漸次変化区間検出部３と、画像境界線抽出部１１と、特殊効果検出部２１とを備えている。第８の実施の形態は、図３に示された第１の実施の形態の構成に加えて、漸次変化区間区検出部３を有する点で第１の実施の形態とは異なる。なお、ここでは、第１の実施の形態の構成と漸次変化区間検出部３との組合せを例示するが、他の実施の形態の構成と漸次変化区間検出部３との組合せであってもよい。【０１６２】
漸次変化区間検出部３は、入力映像の各フレームから特徴量を抽出し、各フレームから抽出した特徴量を比較することにより、映像が緩やかに変化する区間である漸次変化区間を検出する。漸次変化区間検出部３は、検出された漸次変化区間のフレーム列を、画像境界線抽出部１１の入力として供給する。【０１６３】
各フレームから抽出する特徴量は、任意でよい。各フレームから抽出した特徴量の比較にもとづいて漸次変化区間を検出する方法は、例えば、特開平８−２３７５４９号公報、特開２００５−２３７００２号公報、“Ａｕｔｏｍａｔｉｃ  Ｐａｒｔｉｔｉｏｎｉｎｇ  ｏｆ  Ｆｕｌｌ−Ｍｏｔｉｏｎ  Ｖｉｄｅｏ”に記載されている。これらの文献に記載されている方法を用いてもよいが、特徴量の比較にもとづいて漸次変化区間を検出する他の方法を用いてもよい。【０１６４】
第８の実施の形態では、入力映像の漸次変化区間から特殊効果を検出する。よって、第８の実施の形態では、直接入力映像から特殊効果を検出する他の実施の形態と比較して、より高速に映像の特殊効果を検出することができる効果がある。【０１６５】
（第９の実施の形態）
次に、本発明の第９の実施の形態を図面を参照して説明する。【０１６６】
図２３は、本発明による特殊効果検出装置の第９の実施の形態を示すブロック図である。図２３に示すように、本発明の第９の実施の形態の特殊効果検出装置は、画像境界線抽出部１１と、特殊効果検出部２１と、フレーム比較部４とを備えている。第９の実施の形態は、図３に示された第１の実施の形態の構成に加えて、フレーム比較部４を有する点で第１の実施の形態とは異なる。なお、ここでは、第１の実施の形態の構成とフレーム比較部４との組合せを例示するが、他の実施の形態とフレーム比較部４との組合せであってもよい。【０１６７】
フレーム比較部４は、特殊効果検出部２１が出力した特殊効果フレーム区間情報を受け取り、特殊効果フレーム区間情報が示すフレーム区間の前後のフレームを入力映像から取得し、取得したフレームの特徴量を抽出する。そして、フレーム比較部４は、抽出した特徴量を比較してフレーム区間の前後で映像が切り替わったか否かを判定する。フレーム比較部４は、映像が切り替わったと判定された場合に、特殊効果フレーム区間情報を出力する。それ以外の場合は、フレーム比較部４は、特殊効果フレーム区間情報を出力しない。【０１６８】
ここで、取得するフレーム区間の前後のフレームは、フレーム区間の１つ前および１つ後ろのフレームである必要はない。フレーム区間のある所定数だけ前および後ろのフレームであってもよい。また、フレーム区間の前後のフレームはそれぞれ複数枚のフレーム、例えばフレーム区間の前後のＮフレーム（Ｎはフレーム枚数）であってもよい。この場合、フレーム比較部４は、フレーム区間の前後の複数枚のフレームの特徴量を比較して、フレーム区間の前後で映像が切り替わったか否かを判定してもよい。フレームから抽出する特徴量は、任意でよい。【０１６９】
フレーム区間の前後のフレームの特徴量を比較してフレーム区間の前後で映像が切り替わったか否かを判定する方法の一例として、特徴量間の距離（あるいは類似度）を算出し、算出された距離があるしきい値以上（あるいは類似度がしきい値以下）である場合に映像が切り替わったと判定する方法がある。特徴量間の距離や類似度を任意の方法で算出してよい。ここで、しきい値は、例えば、学習用として用意された映像から、映像切り替えの前後のフレームの特徴量の間の距離（あるいは類似度）を調査して設定されることが好ましい。【０１７０】
第９の実施の形態では、特殊効果検出部２１が出力した特殊効果フレーム区間情報が、それが示すフレーム区間の前後で映像が切り替わっていないと判定された場合に除去される。よって、第９の実施の形態では、特殊効果ではないものが誤って検出されることを減らすことができる効果がある。【０１７１】
（第１０の実施の形態）
次に、本発明の第１０の実施の形態を図面を参照して説明する。【０１７２】
図２４は、本発明による特殊効果検出装置の第１０の実施の形態を示すブロック図である。図２４に示すように、本発明の第１０の実施の形態の特殊効果検出装置は、画像境界線抽出部１１と、特殊効果検出部２１と、フィルタリング部５とを備えている。第１０の実施の形態は、図３に示された第１の実施の形態の構成に加えて、フィルタリング部５を有する点で第１の実施の形態とは異なる。なお、ここでは、第１の実施の形態の構成とフィルタリング部５との組合せを例示するが、他の実施の形態の構成とフィルタリング部５との組合せであってもよい。【０１７３】
フィルタリング部５は、特殊効果検出部２１が出力した特殊効果フレーム区間情報を受け取り、任意の時間区間において検出される特殊効果を含むフレーム区間の数を制限するように特殊効果フレーム区間情報を制限して出力する。例えば、フィルタリング部５は、時間区間長をＬと設定し、特殊効果検出部２１が出力した特殊効果フレーム区間情報が示すフレーム区間が映像中の任意の位置の時間区間長Ｌに最大で１つだけ含まれるように制限し、制限されたフレーム区間を示す特殊効果フレーム区間情報のみを出力する。制限の方法は任意である。例えば特殊効果フレーム区間情報が示すフレーム区間の区間長が長いものを優先するなどしてもよい。【０１７４】
第１０の実施の形態では、短い時間区間内で特殊効果が多数検出されるのを抑えることができ、誤検出が連続的に発生するのを防ぐことができる効果がある。【０１７５】
上記実施の形態によれば、映像の意味的に重要な箇所であるコーナーやトピックなどの開始点を検出することができる。このため、上記実施の形態は、映像の自動構造化に適用できる。
【図１】
2007138858.tif 000010
【図２】
2007138858.tif 000011
【図３】
2007138858.tif 000012
【図４】
2007138858.tif 000013
【図５】
2007138858.tif 000014
【図６】
2007138858.tif 000015
【図７】
2007138858.tif 000016
【図８】
2007138858.tif 000017
【図９】
2007138858.tif 000018
【図１０】
2007138858.tif 000019
【図１１】
2007138858.tif 000020
【図１２】
2007138858.tif 000021
【図１３】
2007138858.tif 000022
【図１４】
2007138858.tif 000023
【図１５】
2007138858.tif 000024
【図１６】
2007138858.tif 000025
【図１７】
2007138858.tif 000026
【図１８】
2007138858.tif 000027
【図１９】
2007138858.tif 000028
【図２０】
2007138858.tif 000029
【図２１】
2007138858.tif 000030
【図２２】
2007138858.tif 000031
【図２３】
2007138858.tif 000032
【図２４】
2007138858.tif 000033
【国際調査報告】
2007138858.tif 000034
2007138858.tif 000035
2007138858.tif 000036