(57)【要約】【課題】  映像内の不要区間を削除し繋げた場合、違和感のある映像となる場合がある。【解決手段】  接続位置決定部２４は、不要区間設定部２３で設定された不要区間の先頭フレーム直前の１つ以上の第１のフレームと不要区間の末尾フレーム直後の１つ以上の第２のフレームとを選択し、第１のフレームと第２のフレームとの間の相関の有無を判定する。その後、接続位置決定部２４は、不要区間の再生のスキップによって繋ぎ合わされる不要区間の前後一対のフレームを、上記判定の結果に基づいて決定する。【選択図】  図２
2011172028.tif 000002
【特許請求の範囲】
【請求項１】
複数フレームの映像データを再生する際に、当該映像データのうち再生不要として設定された１つ以上のフレームからなる不要区間がある場合、当該不要区間の再生をスキップする映像処理装置であって、
前記不要区間の先頭フレーム直前の１つ以上の第１のフレームと前記不要区間の末尾フレーム直後の１つ以上の第２のフレームとを選択する選択手段と、
前記第１のフレームと前記第２のフレームとの間の相関の有無を判定する判定手段と、
前記不要区間の再生のスキップによって繋ぎ合わされる前記不要区間の前後一対のフレームを、前記判定手段による判定結果に基づいて決定する決定手段と、
を有することを特徴とする映像処理装置。
【請求項２】
前記決定手段は、前記判定手段により相関無しと判定された場合は、前記第１のフレームの末尾フレーム及び前記第２のフレームの先頭フレームを前記一対のフレームとして決定することを特徴とする請求項１に記載の映像処理装置。
【請求項３】
前記決定手段は、前記判定手段により相関有りと判定された場合は、前記第１のフレーム又は前記第２のフレームに対して、前記不要区間から所定フレーム遠ざかった位置の１つ以上のフレームを新たな第１のフレーム又は第２のフレームとして再選択し、当該再選択後の第１のフレームと第２のフレームとの間の相関の有無を判定し、相関無しと判定されるまで前記再選択及び判定を繰り返し、相関無しと判定された時の第１のフレームの末尾フレーム及び第２のフレームの先頭フレームを前記一対のフレームとして決定することを特徴とする請求項１又は２に記載の映像処理装置。
【請求項４】
前記１つ以上の第１のフレーム及び前記１つ以上の第２のフレームはそれぞれ１つのフレームであり、
前記判定手段は、前記第１のフレームの画像及び前記第２のフレームの画像からそれぞれ、被写体の顔領域を検出し、当該２つの顔領域の面積を比較することにより、前記第１のフレームと前記第２のフレームとの間の相関の有無を判定することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項５】
前記１つ以上の第１のフレーム及び前記１つ以上の第２のフレームはそれぞれ１つのフレームであり、
前記判定手段は、前記第１のフレームの画像及び前記第２のフレームの画像からそれぞれ、被写体の顔領域を検出し、当該２つの顔領域の位置を比較することにより、前記第１のフレームと前記第２のフレームとの間の相関の有無を判定することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項６】
前記第１のフレーム及び前記第２のフレームはそれぞれ、連続する複数のフレームを含み、
前記判定手段は、前記第１及び第２のフレームにおける各フレームから被写体の顔領域を検出し、前記第１のフレームにおける前記複数のフレームに亘る顔領域の移動距離と、前記第２のフレームにおける前記複数のフレームに亘る顔領域の移動距離とを比較することにより、前記第１のフレームと前記第２のフレームとの間の相関の有無を判定することを特徴とする請求項１乃至３のいずれか１項に記載の映像処理装置。
【請求項７】
前記決定手段により決定された前記一対の映像データの接続位置の情報をユーザに提示する提示手段を更に有することを特徴とする請求項１乃至６のいずれか１項に記載の映像処理装置。
【請求項８】
複数フレームの映像データを再生する際に、当該映像データのうち再生不要として設定された１つ以上のフレームからなる不要区間がある場合、当該不要区間の再生をスキップするための、映像処理装置によって実行される映像処理方法であって、
選択手段が、前記不要区間の先頭フレーム直前の１つ以上の第１のフレームと前記不要区間の末尾フレーム直後の１つ以上の第２のフレームとを選択する選択ステップと、
判定手段が、前記第１のフレームと前記第２のフレームとの間の相関の有無を判定する判定ステップと、
決定手段が、前記不要区間の再生のスキップによって繋ぎ合わされる前記不要区間の前後一対のフレームを、前記判定ステップにおける判定結果に基づいて決定する決定ステップと、
を有することを特徴とする映像処理方法。
【請求項９】
コンピュータを、請求項１乃至７のいずれか１項に記載の映像処理装置が有する各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像処理装置及び方法に関する。
【背景技術】
【０００２】
映像編集において、映像中の「手ブレ」、「ピンボケ」、「白飛び／黒つぶれ」等の不要区間を削除し、不要区間の前後の映像データを繋げるカット編集が行われている。不要区間を削除する方法は、例えば特許文献１、２に開示されている。特許文献１は、手ブレ量が所定の閾値よりも大きい映像データを削除し繋げる技術を開示している。特許文献２は、手ブレ量が大きい区間はフレーム画像の再生を禁止する技術を開示している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−１６０６３７号公報
【特許文献２】特開２００９−０７７２６５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献１、２のように不要区間を自動的に削除し繋げる方法では、不要区間の前後で映像の変化が少ない場合、カットを変更した意味が不明瞭となるため違和感のある映像となってしまう。プロの編集現場においては、映像の変化が少ないカット同士を繋ぐことは違和感のある映像を生み出す原因となることが知られている。
【０００５】
そこで、本発明は、映像の不要区間を削除又はスキップして再生する際に、ユーザに違和感を与えることなく不要区間の前後の映像データを繋ぎ合わせる処理を実現することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の一側面によれば、複数フレームの映像データを再生する際に、当該映像データのうち再生不要として設定された１つ以上のフレームからなる不要区間がある場合、当該不要区間の再生をスキップする映像処理装置であって、前記不要区間の先頭フレーム直前の１つ以上の第１のフレームと前記不要区間の末尾フレーム直後の１つ以上の第２のフレームとを選択する選択手段と、前記第１のフレームと前記第２のフレームとの間の相関の有無を判定する判定手段と、前記不要区間の再生のスキップによって繋ぎ合わされる前記不要区間の前後一対のフレームを、前記判定手段による判定結果に基づいて決定する決定手段とを有することを特徴とする映像処理装置が提供される。
【発明の効果】
【０００７】
本発明によれば、映像の不要区間を削除又はスキップして再生する際に、ユーザに違和感を与えることなく不要区間の前後の映像データを繋ぎ合わせる処理が実現される。
【図面の簡単な説明】
【０００８】
【図１】実施形態における映像処理装置のハードウェア構成図。
【図２】実施形態における映像処理装置の機能構成図。
【図３】実施形態における映像処理装置のユーザインタフェース画面の一例を示す図。
【図４】実施形態における映像データの接続の概念図。
【図５】実施形態における映像の相関判定の概念図。
【図６】実施形態における映像中の顔領域情報の一例を示す図。
【図７】実施形態における映像処理装置による処理概要を示すフローチャート。
【図８】実施形態における映像処理装置による編集処理を示すフローチャート。
【図９】実施形態における映像処理装置による接続位置決定処理を示すフローチャート。
【図１０】実施形態における映像データの接続の概念図。
【図１１】実施形態における映像処理装置の機能構成図。
【図１２】実施形態における映像処理装置による編集処理を示すフローチャート。
【発明を実施するための形態】
【０００９】
以下、図面を参照して本発明の好適な実施形態について詳細に説明する。なお、本発明は以下の実施形態に限定されるものではなく、本発明の実施に有利な具体例を示すにすぎない。
【００１０】
＜実施形態１＞
図１は、本実施形態における映像処理装置のハードウェア構成図である。映像処理装置１０には、ディスプレイ１１及びマウス１２が接続されている。ディスプレイ１１は、例えば液晶ディスプレイ、ＣＲＴディスプレイ等で構成され、映像処理装置１０から出力された画面情報の信号を表示する。マウス１２は、クリックやドラッグなどの操作入力の機能をもつ。映像処理装置１０は、ＣＰＵ１０１、ＲＯＭ１０２、ＲＡＭ１０３、ディスプレイインタフェース１０４、入力インタフェース１０５、ＨＤＤ１０６から構成される。ＣＰＵ１０１は、ＲＯＭ１０２、ＨＤＤ１０６に格納された制御プログラムを実行し、各デバイスを制御する。ＲＯＭ１０２は、各種の制御プログラムやデータを保持する。ＲＡＭ１０３は、ＣＰＵ１０１のワーク領域、エラー処理時の情報の退避領域、制御プログラムのロード領域などを有する。ディスプレイインタフェース１０４は、図示しないディスプレイデバイスドライバからの画面情報をディスプレイ１１が表示処理可能な信号に変換する。入力インタフェース１０５は、マウス１２からの入力信号を受信し、図示しないインタフェースデバイスドライバが処理可能な情報に変換する。ＨＤＤ１０６は、各種の制御プログラムや映像データ等を保持する。バス１０７は、アドレスバス、データバス及びコントロールバスを含む。なお、以下特に断らない限り、他図を用いて説明されたものには同一の符号を付し、その説明を省略する。
【００１１】
図２は、映像処理装置１０の機能構成図である。記憶部２０は、例えばＨＤＤ１０６の記憶領域を使用して複数フレームの映像データを記憶する。操作入力検出部２１は、映像データの読み込み操作を判定し、ユーザが指定したデータのディレクトリ名及びファイル名を映像データ取得部２２に伝える。映像データ取得部２２は、操作入力検出部２１から受け取ったディレクトリ名およびファイル名に基づき、記憶部２０から映像データを取得しＲＡＭ１０３に記憶する。不要区間設定部２３は、映像データ取得部２２から取得した映像データのうち再生不要として設定される１つ以上のフレームからなる不要区間を設定する。例えば不要区間設定部２３は、映像データ取得部２２から取得した映像データのうち、手ブレが発生している区間等を検出し、その区間を不要区間として設定する。手ブレが発生している区間は、例えば映像の手ブレ量が所定値以上であるか否かで判定する。また、不要区間設定部２３は、ユーザが再生不要として指定した区間を不要区間として設定することも可能である。不要区間設定後は、不要区間の開始位置と終了位置を表す情報である不要区間情報を接続位置決定部２４に伝える。なお、不要区間情報は、不要区間の開始位置及び不要区間の長さでも良い。
【００１２】
接続位置決定部２４は、不要区間設定部２３から取得した不要区間情報及び映像データ取得部２２から取得した複数フレームの映像データから不要区間の直前直後のフレームを選択する。具体的には、不要区間の先頭フレーム直前の１つ以上の第１のフレームと、不要区間の末尾フレーム直後の１つ以上の第２のフレームを選択する。「１つ以上」とは、第１及び第２のフレームをそれぞれ単数とする実施形態と、第１及び第２のフレームそれぞれ複数とする実施形態がありうることを意味する。ここでは第１及び第２のフレームをそれぞれ単数とする実施形態を説明する。第１及び第２のフレームそれぞれ複数とする実施形態については後述する。
【００１３】
接続位置決定部２４は次に、選択した第１のフレーム及び第２のフレームから顔領域を検出し、検出した顔領域の高さ及び横幅から顔領域の面積を算出する。次に、それぞれ算出した顔領域の面積を比較することで、第１のフレームと第２のフレームとの間に相関が有るか否かを判定する。接続位置決定部２４は、この判定結果に基づいて、不要区間の再生のスキップによって繋ぎ合わされる不要区間の前後一対のフレームを決定する。
【００１４】
具体的には、接続位置決定部２４は、相関無しと判定された場合は、第１のフレーム及び第２のフレームを、互いに繋ぎ合わされるべき一対のフレームとして決定する。このとき接続位置決定部２４は、第１のフレーム及び第２のフレームの位置である接続位置情報を映像データ接続部２５に伝える。一方、相関有りと判定された場合は、第２のフレームの後にある映像データから、新たな第２のフレームとして１つのフレームを選択し、これが第１のフレームとの間に相関があるか否かを判定する。なお、本実施形態では、映像中の被写体の位置を比較することにより相関があるか否かを判定するが、これは一例であり、これに限るものではない。
【００１５】
映像データ接続部２５は、映像データ取得部２２から取得した映像データ及び接続位置決定部２４から取得した接続位置情報に基づき、第１のフレーム及び第２のフレームとの間にある、不要区間を含む区間を削除する。削除後は、削除した区間の前後のフレームどうしを繋げる。映像生成部２６は、映像データ接続部２５によって接続された映像データをディスプレイ１１に出力する。
【００１６】
図３に本実施形態におけるユーザインタフェース画面の一例を示す。図３において、３１は終了ボタン、３２は映像読込ボタン、３３は編集ボタン、３４は映像表示領域を表す。
【００１７】
図７に、本実施形態における映像処理装置１０による処理の流れを示すメインフローチャートを示す。このフローチャートに対応するプログラムは例えばＨＤＤ１０６に記憶されており、このプログラムの起動指示に応じてＲＡＭ１０３にロードされ、ＣＰＵ１０１によって実行される。まず、図３に示したようなユーザインタフェースの初期画面が表示される（Ｓ７１）。次に、映像読込ボタン３２が押下されたかどうかが判断される（Ｓ７２）。映像読込ボタン３２が押下されなかった場合（Ｓ７２、ＮＯ）は、再びＳ７２の処理に戻り処理待ちのループとなる。映像読込ボタン３２が押下されると（Ｓ７２、ＹＥＳ）、ユーザにより指定されたディレクトリ内から指定された映像データを読み込む（Ｓ７３）。
【００１８】
映像データが読み込まれると、映像表示領域３４に、読み込まれた映像データの先頭フレームが表示され、編集ボタン３３が押下されたかどうか判断が行われる（Ｓ７４）。編集ボタン３３が押下されなかった場合（Ｓ７４、ＮＯ）は、再びＳ７４の処理に戻り処理待ちのループとなる。編集ボタン３３が押下されると（Ｓ７４、ＹＥＳ）、指定された映像データに対して編集処理（Ｓ７５）を開始する。編集処理（Ｓ７５）の詳細は図８を参照して後述する。編集処理（Ｓ７５）が終了すると、終了ボタン３１が押下されたかどうかの判断が行われる（Ｓ７６）。終了ボタン３１が押下されると（Ｓ７６、ＹＥＳ）、本処理を終了する。終了ボタン３１が押下されなかった場合（Ｓ７６、ＮＯ）は、Ｓ７２に戻って処理を繰返す。
【００１９】
図４は本実施形態における映像データ接続の概念図である。
（a）は、不要区間設定部２３が映像データから不要区間４１を設定した状態を表す。
（b）は、接続位置決定部２４により、不要区間４１の先頭フレーム直前の第１のフレーム４２及び不要区間４１の末尾フレーム直後の第２のフレーム４３を選択した状態を表す。
（c）は第１のフレーム４２と第２のフレーム４３との間の相関の有無を判定した結果、相関有りと判定されたため、再選択として、現在の第２のフレーム４３の後方に隣接するフレームを新たな第２のフレームとして選択した状態を表す。なお、再選択としてはこの逆に、現在の第１のフレーム４２の前方に隣接するフレームを新たな第１のフレームとして選択するようにしてもよい。すなわち、相関有りと判定された場合は、第１又は第２のフレームに対して、不要区間４１から所定フレーム（例えば１フレーム）遠ざかった位置のフレームを新たな第１又は第２のフレームとして再選択する。
（d）は、映像データ接続部２５により第１のフレーム４２と第２のフレーム４３との間にある、不要区間４１を含む区間を削除した状態を表す。
（e）は、映像データ接続部２５により削除した区間の前後一対のフレームを繋げた状態を表す。これにより、映像データを再生する際、少なくとも不要区間４１はスキップされることになる。
【００２０】
図５は本実施形態における第１のフレーム及び第２のフレームの相関の有無を判定する処理の概念図である。５１は第１のフレーム４２の画像中の顔を含む領域である顔領域Ａ、５２は第２のフレーム４３の画像中の顔を含む領域である顔領域Ｂを表している。図５の（a）は顔領域Ａ５１と顔領域Ｂ５２とを比較して相関が有る場合を示している。５３は第２のフレームの画像中の顔を含む領域である顔領域Ｃを表しており、図５の（b）は顔領域Ａ５１と顔領域Ｃ５３を比較して相関が無い場合を示している。
【００２１】
顔領域を選択する具体的な方法は例えば、フレーム画像内の色、輝度に関する画素値を解析処理して顔検出や物体検出するアルゴリズムを用いて顔領域を選択する。または、フレーム画像内の色に関する画素値を解析処理して、所定の色の領域を、顔領域として選択してもよい。または、フレーム画像内の輝度に関する画素値を解析処理して、所定の輝度の領域を、顔領域として選択してもよい。または、フレーム画像内の色もしくは輝度の境界部をエッジとして検出し、このエッジ形状が所定の形状である領域を、顔領域として選択してもよい。なお、これらは一例であり、これに限るものではない。
【００２２】
図６は本実施形態における映像中の顔領域情報の例を示す図である。６１は図５で説明した顔領域Ａ５１の高さ、６２は顔領域Ａ５１の横幅、６３は顔領域Ｂ５２の高さ、６４は顔領域Ｂ５２の横幅、６５は顔領域Ｃ５３の高さ、６６は顔領域Ｃ５３の横幅を表している。単位はそれぞれピクセルである。
【００２３】
図８は、Ｓ７５の編集処理の詳細を示すフローチャートである。編集処理（Ｓ７５）が実行されると、不要区間設定部２３は、図４の（a）のように映像データ内から手ブレのある不要区間４１を検出し、不要区間４１の開始位置及び終了位置を表す不要区間情報を接続位置決定部２４に伝える（Ｓ８１）。次に、接続位置決定部２４は、不要区間情報を用いて、図４の（b）のように不要区間の先頭フレーム直前の１フレームを第１のフレーム４２として選択する。また、不要区間の末尾フレーム直後の１フレームを第２のフレーム４３として選択する（Ｓ８２）。続いて、接続位置決定処理（Ｓ８３）に移行する。接続位置決定処理（Ｓ８３）の詳細は図９を参照して後述する。接続位置決定処理（Ｓ８３）が終了すると、映像データ接続部２５は、第１のフレーム及び第２のフレームの接続位置を表す接続位置情報に基づいて、図４の（ｄ）のように第１のフレーム４２と第２のフレーム４３との間にある区間を削除する。なお、この削除は必須ではない。削除後は、図４の（e）のように削除した区間の前後のフレームどうしを繋げる（Ｓ８４）。Ｓ８４が終了すると、映像生成部２６は、映像データ接続部２５によって接続された映像データを映像表示領域３４に再生する（Ｓ８５）。これにより映像データの再生時、不要区間はスキップされる。Ｓ８５が終了すると図７のメインフローにリターンされる。
【００２４】
図９はＳ８３の接続位置決定処理の詳細を示すフローチャートである。接続位置決定部２４は、第１のフレーム４２及び第２のフレーム４３からそれぞれ被写体の顔領域を検出し、検出した顔領域の高さと横幅から顔領域の面積を算出する（Ｓ９１）。また、顔領域の面積を比較する際に基準となる面積の相関判定値を取得する（Ｓ９２）。相関判定値を基準に、算出した顔領域の面積を比較することで、第１のフレームと第２のフレームとの間に相関が有るか否かを判定する（Ｓ９３）。ここで、第１のフレーム４２の顔領域の高さをＨ１、横幅をＷ１、第２のフレームの顔領域の高さをＨ２、横幅をＷ２、相関判定値をＮ１とすると、例えば次式を満たす場合は、相関なしと判定する。
【数１】
2011172028.tif 000003
それ以外の場合、すなわち、次式を満たす場合は、相関ありと判定する。
【数２】
2011172028.tif 000004
【００２５】
例えば、相関判定値Ｎ１を１．２とし、図５、図６の顔領域Ａ５１と顔領域Ｂ５２で相関を判定する場合は、（２１０×３１５）／（２００×３００）≒１．１となり、相関有りとなる。また、顔領域Ａ５１と顔領域Ｃ５３の相関を判定する場合は、（１００×１５０）／（２００×３００）＝０．２５となり、相関無しとなる。なお、本実施形態では被写体の顔領域情報の面積を比較したが、これに限るものではない。
【００２６】
相関無しの場合（Ｓ９３、ＮＯ）は、第１のフレーム及び第２のフレームの接続位置を表す接続位置情報を映像データ接続部２５に伝え、処理は図８の編集処理フローにリターンされる。相関有りの場合（Ｓ９３、ＹＥＳ）は、図４の（c）のように第２のフレームの後にあるフレームから再度、第２のフレームとして１つのフレームを選択する（Ｓ９４）。続いて、再度選択した第２のフレームの画像から顔領域を検出し、検出した顔領域の面積を算出する（Ｓ９５）。相関判定値を基準に、算出した顔領域の面積を比較することで、第１のフレームと第２のフレームとの間に相関が有るか否かを判定する（Ｓ９６）。相関有りの場合（Ｓ９６、ＹＥＳ）は、Ｓ９４に戻って処理を繰り返す。相関無しの場合（Ｓ９３、ＮＯ）は、第１のフレーム及び第２のフレームの接続位置を表す接続位置情報を映像データ接続部２５に伝え、処理は図４の編集処理フローにリターンされる。
【００２７】
本実施形態では、接続位置決定部２４により第１のフレームの画像内に存在する被写体と、第２のフレームの画像内に存在する被写体の大きさを比較し判定したが、被写体の位置を比較し相関があるか否かを判定してもよい。その際、Ｓ９２で顔領域の位置を比較する際に基準となる位置相関判定値を取得する。ここで、第１のフレーム４２の顔領域のＸ座標をＸ１、Ｙ座標をＹ１、第２のフレームの顔領域のＸ座標をＸ２、Ｙ座標をＹ２、位置相関判定値をＮ２とする。このとき、次式を満たす場合は相関なしと判定する。
【数３】
2011172028.tif 000005
それ以外の場合、すなわち、次式を満たす場合は、相関ありと判定する。
【数４】
2011172028.tif 000006
なお、本実施形態では被写体の顔領域情報の座標で距離を比較したが、これに限るものではない。
【００２８】
また、本実施形態ではＳ９４で第１のフレーム及び第２のフレームを解析し相関が有った場合、第２のフレームを再度選択し第１のフレームと相関を判定したが、第１のフレームを再度選択し、第２のフレームと相関を判定しても良い。さらに、第１のフレーム及び第２のフレームの両方を再度選択し相関を判定しても良い。このように、不要区間から所定フレーム遠ざかった位置の映像データを新たな第１のフレーム又は第２のフレームとして再選択し、当該再選択後の第１のフレームと第２のフレームとの間の相関の有無を判定することができる。
【００２９】
また、本実施形態では、第１のフレーム４２及び第２のフレーム４３はそれぞれ１つのフレームであるが、複数のフレームとしても良い。その際、接続位置決定部２４は複数の第１のフレームのうち少なくとも１つのフレームと、複数の第２のフレームのうち少なくとも１つのフレームを選択し解析する。また、接続位置決定部２４が第１のフレーム及び第２のフレームのどちらか一方しか選択できない場合は、不要区間４１を削除する。
【００３０】
以上説明した実施形態によれば、不要区間の直前直後のフレームにある被写体の面積又は位置の変化が小さい場合であっても、違和感なく映像を繋ぎ合わせることが可能となる。
【００３１】
＜実施形態２＞
次に、本発明の実施形態２について図面を参照して詳細に説明する。なお、実施形態１に準ずる箇所については説明を省略する。実施形態２は、接続位置決定部２４による相関の有無の判定を、顔領域の大きさに代えて顔領域の移動距離にしたものである。
【００３２】
図１０は、本実施形態における映像データ接続の概念図である。図４との違いは、第１のフレーム４２及び第２のフレーム４３はそれぞれ、１つのフレームではなく連続する複数のフレームを含むことである。メインフローチャートは実施形態１と同様である。図８のＳ８２では、第１のフレーム及び第２のフレームとして、図１０のようにそれぞれ連続する複数のフレームが選択されることになる。本実施形態において、図９のＳ９１では、第１のフレーム４２及び第２のフレーム４３における各フレームから被写体の顔領域を検出する。Ｓ９２では、顔領域の移動距離を比較する際に基準となる移動距離の相関判定値を取得する。Ｓ９３、Ｓ９６では、第１のフレーム４２における上記複数のフレームに亘る顔領域の移動距離と、第２のフレーム４３における上記複数のフレームに亘る顔領域の面積の移動距離とを比較することで、相関の有無の判定を行う。
【００３３】
第１のフレーム４２から選択した２つのフレーム画像の顔領域のＸ座標を夫々、Ｘ３、Ｘ４、Ｙ座標をＹ３、Ｙ４、第２のフレーム４３から選択した２つのフレーム画像の顔領域のＸ座標を夫々、Ｘ５、Ｘ６、Ｙ座標をＹ５、Ｙ６とする。また、相関判定値をＮ３とする。このとき、例えば次式を満たす場合は、相関なしと判定する。
【数５】
2011172028.tif 000007
それ以外の場合、すなわち、次式を満たす場合は、相関ありと判定する。
【数６】
2011172028.tif 000008
【００３４】
なお、本実施形態では顔領域の移動距離を比較したが、移動方向を含めて比較を行っても良い。その際、被写体の移動方向は、顔領域の動きベクトルを解析し、移動方向の比較を行うものとする。なお、これらは一例でありこれに限るものではない。本実施形態によれば、カメラワークが似ている映像の場合であっても、違和感なく繋ぎ合わせることが可能となる。
【００３５】
＜実施形態３＞
次に、本発明の実施形態３について図面を参照して詳細に説明する。なお、実施形態１に準ずる箇所については説明を省略する。実施形態３は、映像データ接続部２５によって第１のフレームと第２のフレームとを接続するのではなく、第１のフレームと第２のフレームとを接続してもユーザに違和感を与えない接続位置を提示するものである。
【００３６】
図１１は本実施形態における機能構成図である。図２との違いは、映像データ接続部２５に代わって接続位置提示部２７を備えたことである。接続位置提示部２７は、接続位置決定部２４から取得した接続位置情報に基づいて、第１のフレーム及び第２のフレーム内で接続してもユーザに違和感を与えない接続位置を図３の映像表示領域３４に表示する。
【００３７】
メインフローチャートは実施形態１（図７）と同様である。本実施形態におけるＳ７５の編集処理の詳細フローを、図１２に示す。Ｓ８１からＳ８３は図８と同様である。本実施形態では、第１のフレームと第２のフレームとの間に相関が無くなった場合（（Ｓ９３、ＮＯ）又は（Ｓ９６、ＮＯ））、第１のフレームと第２のフレームとの接続位置の情報をユーザに提示する（Ｓ８６）。本実施形態により、第１のフレームと第２のフレームとの接続位置が分かるため、ユーザがカット編集を行う際の操作性が向上する。
【００３８】
（他の実施形態）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。この場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することになる。
【図１】
2011172028.tif 000009
【図２】
2011172028.tif 000010
【図３】
2011172028.tif 000011
【図４】
2011172028.tif 000012
【図５】
2011172028.tif 000013
【図６】
2011172028.tif 000014
【図７】
2011172028.tif 000015
【図８】
2011172028.tif 000016
【図９】
2011172028.tif 000017
【図１０】
2011172028.tif 000018
【図１１】
2011172028.tif 000019
【図１２】
2011172028.tif 000020