(57)【要約】【課題】  映像の編集を行うための新たな技術、特に、類似した動作をしている領域の映像を置換することができる映像編集技術を提供する。【解決手段】  処理対象となる映像を入力する映像入力部１１、処理パラメータを入力するパラメータ入力部１２、前記パラメータ入力部で入力した処理パラメータに基づき、基準となる映像中の部分に対し、類似した動きをしている別の複数映像中の部分を探索し、この部分の映像を置換した映像を作成する映像生成部１４から映像編集装置を構成する。【選択図】  図１
2005159415.tif 000002
【特許請求の範囲】
【請求項１】
映像の編集を行う映像編集装置であって、
処理対象となる映像情報を入力する映像入力部と、
処理パラメータ並びに前記映像情報から選択した編集映像情報および置換映像情報を入力するパラメータ入力部と、
前記処理パラメータに基づき、編集映像情報を構成する画像群の領域と類似の動作を行う置換映像情報を構成する画像群の領域を探索し、この置換映像情報を構成する画像群の領域を前記編集映像情報を構成する画像群の領域と置換した映像を作成する映像生成部と、を備えたことを特徴とする映像編集装置。
【請求項２】
前記処理パラメータ入力部は、
利用者の要求に基づく信号から、入力する処理パラメータ、並びに、映像情報から選択する編集映像情報、および、置換映像情報を決定することを特徴とする請求項１に記載の映像編集装置。
【請求項３】
前記映像生成部は、
編集映像情報を構成する画像群から生成した差分パターン画像と置換映像情報を構成する画像群から生成した差分パターン画像とを比較することで類似した動作を行う領域を探索することを特徴とする請求項１または２に記載の映像編集装置。
【請求項４】
前記映像生成部は、
置換対象となる領域を正規化してから、前記領域の置換を行うことを特徴とする請求項１〜３いずれかに記載の映像編集装置。
【請求項５】
前記映像生成部は、
類似した動作が行われている編集映像情報を構成する画像群の領域と置換映像情報を構成する画像群の領域とでフレーム数が異なる場合には、同じフレーム数になるように補間式に近似させ対応するフレームを決定することを特徴とする請求項１〜４いずれかに記載の映像編集装置。
【請求項６】
前記映像生成部は、
置換映像情報から置換画像群を取得する第１手段と、
編集映像情報から編集画像群をフレーム毎に取得する第2手段と、
前記置換画像群に対して、置換差分パターン画像を生成する第3手段と、
前記編集画像群に対して、編集差分パターン画像を生成する第４手段と、
前記置換差分パターン画像と編集差分パターン画像との全ての組み合わせについて、各画像の大きさを正規化することによって一致させ、相関値を算出する第5手段と、
この相関値に基づいて、置換差分パターン画像に対応する編集差分パターン画像を検出する第６手段と、
この対応づけられた画像を構成する編集画像群と置換画像群とでフレーム数が異なる場合には、同じフレーム数になるように、補間式に近似させ、対応するフレームを決定する第７手段と、
置換差分パターン画像の領域を置換画像群からクリッピングする第８手段と、
このクリッピングされた画像を編集画像群における編集差分パターン画像の領域にあわせて貼り付ける第９手段と、
この貼り付けた領域の境界を色補正した画像群から映像を生成する第１０手段と、を備えることを特徴とする請求項１または２に記載の映像編集装置。
【請求項７】
映像の編集を行う映像編集方法であって、
処理対象となる映像情報を入力する映像入力過程と、
処理パラメータ並びに前記映像情報から選択した編集映像情報および置換映像情報を入力するパラメータ入力過程と、
前記処理パラメータに基づき、編集映像情報を構成する画像群の領域と類似の動作を行う置換映像情報を構成する画像群の領域を探索し、この置換映像情報を構成する画像群の領域を前記編集映像情報を構成する画像群の領域と置換した映像を作成する映像生成過程と、を備えたことを特徴とする映像編集方法。
【請求項８】
前記処理パラメータ入力過程は、
利用者の要求に基づく信号から、入力する処理パラメータ、並びに、映像情報から選択する編集映像情報、および、置換映像情報を決定することを特徴とする請求項７に記載の映像編集方法。
【請求項９】
前記映像生成過程は、
編集映像情報を構成する画像群から生成した差分パターン画像と置換映像情報を構成する画像群から生成した差分パターン画像とを比較することで類似した動作を行う領域を探索することを特徴とする請求項７または８に記載の映像編集方法。
【請求項１０】
前記映像生成過程は、
置換対象となる領域を正規化してから、前記領域の置換を行うことを特徴とする請求項７〜９いずれかに記載の映像編集方法。
【請求項１１】
前記映像生成過程は、
類似した動作が行われている編集映像情報を構成する画像群の領域と置換映像情報を構成する画像群の領域とでフレーム数が異なる場合には、同じフレーム数になるように補間式に近似させ対応するフレームを決定することを特徴とする請求項７〜１０いずれかに記載の映像編集方法。
【請求項１２】
前記映像生成過程は、
置換映像情報から置換画像群を取得する第１過程と、
編集映像情報から編集画像群をフレーム毎に取得する第2過程と、
前記置換画像群に対して、置換差分パターン画像を生成する第3過程と、
前記編集画像群に対して、編集差分パターン画像を生成する第４過程と、
前記置換差分パターン画像と編集差分パターン画像との全ての組み合わせについて、各画像の大きさを正規化することによって一致させ、相関値を算出する第5過程と、
この相関値に基づいて、置換差分パターン画像に対応する編集差分パターン画像を検出する第６過程と、
この対応づけられた画像を構成する編集画像群と置換画像群とでフレーム数が異なる場合には、同じフレーム数になるように、補間式に近似させ、対応するフレームを決定する第７過程と、
置換差分パターン画像の領域を置換画像群からクリッピングする第８過程と、
このクリッピングされた画像を編集画像群における編集差分パターン画像の領域にあわせて貼り付ける第９過程と、
この貼り付けた領域の境界を色補正した画像群から映像を生成する第１０過程と、を備えることを特徴とする請求項７または８に記載の映像編集方法。
【請求項１３】
上記の請求項１〜１２のいずれかに記載の映像編集装置または映像編集方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするプログラム。
【請求項１４】
上記の請求項１〜１２のいずれかに記載の映像編集装置または映像編集方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像を編集する技術に係り、特に、類似した動作をしている領域の映像を置換する映像編集を行う技術に関する。
【背景技術】
【０００２】
近年、映像のデータ圧縮技術の発展に伴って、ハードディスクのような磁気ディスク装置を利用したノンリニア映像編集システムが使用され始めている。これにより、より高速なランダムアクセスの可能な記憶媒体を利用することにより、長らく利用されてきたビデオテープレコーダ（ＶＴＲ）で問題となっていたシーケンシャルアクセスを解決している。
【０００３】
一方、こうした環境では、映像情報自体が大量になるので、これらを簡単に編集するための方法が求められている。
【０００４】
例えば、「加工再収録機能を有するノンリニア映像編集システム」(例えば、特許文献１参照。)に記載の発明では、プレイリストと呼ばれる加工情報を利用して、元のシーンの加工対象の範囲と加工出力の対応する範囲とを置換することができる。
【特許文献１】特開平１１−１４６３３５号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、前記の元のシーンの加工対象の範囲と加工出力の対応する範囲とを置換する編集における加工対象の範囲は、利用者の入力に基づいているため、利用者が逐一内容を確認して入力する必要があるため、時間、労力等を要するという問題があった。
【０００６】
本発明はかかる事情に鑑みなされたもので、その目的は前記課題を解決し、映像の編集を行うための新たな技術、特に、類似した動作をしている領域の映像を置換することができる映像編集技術を提供することにある。
【課題を解決するための手段】
【０００７】
そこで、前記課題を解決するために請求項１に記載の映像編集装置は、映像の編集を行う映像編集装置であって、処理対象となる映像情報を入力する映像入力部と、処理パラメータ並びに前記映像情報から選択した編集映像情報および置換映像情報を入力するパラメータ入力部と、前記処理パラメータに基づき、編集映像情報を構成する画像群の領域と類似の動作を行う置換映像情報を構成する画像群の領域を探索し、この置換映像情報を構成する画像群の領域を前記編集映像情報を構成する画像群の領域と置換した映像を作成する映像生成部と、を備えたことを特徴とする。
【０００８】
また、請求項２に記載の映像編集装置は、請求項１において、前記処理パラメータ入力部は、利用者の要求に基づく信号から、入力する処理パラメータ、並びに、映像情報から選択する編集映像情報、および、置換映像情報を決定することを特徴とする。
【０００９】
この処理パラメータ入力部では、請求項１では、利用者の要求に基づく決定の他に、予め設定しておいた基準等により、決定することもできる。
【００１０】
また、請求項３に記載の映像編集装置は、請求項１または２において、前記映像生成部は、編集映像情報を構成する画像群から生成した差分パターン画像と置換映像情報を構成する画像群から生成した差分パターン画像とを比較することで類似した動作を行う領域を探索することを特徴とする。
【００１１】
また、請求項４に記載の映像編集装置は、前記映像生成部は、請求項１〜３において、置換対象となる領域を正規化してから、前記領域の置換を行うことを特徴とする。
【００１２】
また、請求項５に記載の映像編集装置は、請求項１〜４において、前記映像生成部は、類似した動作が行われている編集映像情報を構成する画像群の領域と置換映像情報を構成する画像群の領域とでフレーム数が異なる場合には、同じフレーム数になるように補間式に近似させ対応するフレームを決定することを特徴とする。
【００１３】
また、請求項６に記載の映像編集装置は、請求項１または２において、前記映像生成部は、置換映像情報から置換画像群を取得する第１手段と、編集映像情報から編集画像群をフレーム毎に取得する第2手段と、前記置換画像群に対して、置換差分パターン画像を生成する第3手段と、前記編集画像群に対して、編集差分パターン画像を生成する第４手段と、前記置換差分パターン画像と編集差分パターン画像との全ての組み合わせについて、各画像の大きさを正規化することによって一致させ、相関値を算出する第5手段と、この相関値に基づいて、置換差分パターン画像に対応する編集差分パターン画像を検出する第６手段と、この対応づけられた画像を構成する編集画像群と置換画像群とでフレーム数が異なる場合には、同じフレーム数になるように、補間式に近似させ、対応するフレームを決定する第７手段と、置換差分パターン画像の領域を置換画像群からクリッピングする第８手段と、このクリッピングされた画像を編集画像群における編集差分パターン画像の領域にあわせて貼り付ける第９手段と、この貼り付けた領域の境界を色補正した画像群から映像を生成する第１０手段と、を備えることを特徴とする。
【００１４】
また、請求項７に記載の映像編集方法は、映像の編集を行う映像編集方法であって、処理対象となる映像情報を入力する映像入力過程と、処理パラメータ並びに前記映像情報から選択した編集映像情報および置換映像情報を入力するパラメータ入力過程と、前記処理パラメータに基づき、編集映像情報を構成する画像群の領域と類似の動作を行う置換映像情報を構成する画像群の領域を探索し、この置換映像情報を構成する画像群の領域を前記編集映像情報を構成する画像群の領域と置換した映像を作成する映像生成過程と、を備えたことを特徴とする。
【００１５】
また、請求項８に記載の映像編集方法は、請求項７において、前記処理パラメータ入力過程は、利用者の要求に基づく信号から、入力する処理パラメータ、並びに、映像情報から選択する編集映像情報、および、置換映像情報を決定することを特徴とする。
【００１６】
また、請求項９に記載の映像編集方法は、請求項７または８において、前記映像生成過程は、編集映像情報を構成する画像群から生成した差分パターン画像と置換映像情報を構成する画像群から生成した差分パターン画像とを比較することで類似した動作を行う領域を探索することを特徴とする。
【００１７】
また、請求項１０に記載の映像編集方法は、請求項７〜９において、前記映像生成過程は、置換対象となる領域を正規化してから、前記領域の置換を行うことを特徴とする。
【００１８】
また、請求項１１に記載の映像編集方法は、請求項７〜１０において、前記映像生成過程は、類似した動作が行われている編集映像情報を構成する画像群の領域と置換映像情報を構成する画像群の領域とでフレーム数が異なる場合には、同じフレーム数になるように補間式に近似させ対応するフレームを決定することを特徴とする。
【００１９】
また、請求項１２に記載の映像編集方法は、請求項７または８において、前記映像生成過程は、置換映像情報から置換画像群を取得する第１過程と、編集映像情報から編集画像群をフレーム毎に取得する第2過程と、前記置換画像群に対して、置換差分パターン画像を生成する第3過程と、前記編集画像群に対して、編集差分パターン画像を生成する第４過程と、前記置換差分パターン画像と編集差分パターン画像との全ての組み合わせについて、各画像の大きさを正規化することによって一致させ、相関値を算出する第5過程と、この相関値に基づいて、置換差分パターン画像に対応する編集差分パターン画像を検出する第６過程と、この対応づけられた画像を構成する編集画像群と置換画像群とでフレーム数が異なる場合には、同じフレーム数になるように、補間式に近似させ、対応するフレームを決定する第７過程と、置換差分パターン画像の領域を置換画像群からクリッピングする第８過程と、このクリッピングされた画像を編集画像群における編集差分パターン画像の領域にあわせて貼り付ける第９過程と、この貼り付けた領域の境界を色補正した画像群から映像を生成する第１０過程と、を備えることを特徴とする。
【００２０】
また、請求項１３に記載のプログラムは、上記の請求項１〜１２のいずれかに記載の映像編集装置または映像編集方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。
【００２１】
また、請求項１４に記載の記録媒体は、上記の請求項１〜１２のいずれかに記載の映像編集装置または映像編集方法を、コンピュータで実行可能に記載したプログラムを記録したことを特徴とする。
【００２２】
なお、前記発明においては、編集した映像を表示する映像表示手段(過程)を加えること、映像情報、置換映像情報、編集映像情報、処理パラメータ等のデータを記録する記録手段(過程)を加えることを適宜行うことができる。
【００２３】
これらの態様によれば、編集の対象となる映像情報から同じ動作の領域を検出し、これらの領域を正規化して置換することにより、映像を自動で編集することができる。更に、動作を構成する映像を小区間で対応づけし、その間を補間することにより、動作の継続時間、及び動作速度の異なる動作の領域を置換することも可能となる。
【発明の効果】
【００２４】
以上説明したように本発明によれば、類似した動作をしている領域の映像を置換することにより、映像を編集することができる装置、方法、プログラム、および記録媒体を提供することができる。
【発明を実施するための最良の形態】
【００２５】
以下、本発明の実施形態について図面を参照しながら詳細に説明する。
【００２６】
図１は、本発明の映像編集装置の構成図を示す。図１に示すように、本装置は、映像入力部１１、パラメータ入力部１２、映像表示部１３、映像生成部１４、及び映像データベース１５から構成される。
【００２７】
映像入力部１１では、処理対象となる映像を入力し映像データベース１５に格納することが行われる。
【００２８】
パラメータ入力部１２では、利用者からの指示に基づき、編集映像情報、置換映像情報、および、少なくとも処理フレーム数、処理フレーム間隔を含む処理パラメータの入力が行われる。
【００２９】
続いて、この編集映像情報、置換映像情報、および処理パラメータを映像生成部１４に送り、映像生成部１４での処理結果を映像表示部１３で示することが行われる。
【００３０】
この編集映像情報は編集の対象となる映像に関する情報、置換映像情報は置換の対象となる映像に関する情報であり、映像入力部１１で格納された映像データベース１５からそれぞれ候補となる映像を取得して表示し、その中から利用者に選択してもらうことにより映像データベースから１５取得することができる。
【００３１】
また、映像生成部１４では、パラメータ入力部１２で取得した処理パラメータに基づき、映像の編集が行われ、生成された映像が処理パラメータと共に映像データベース１５に格納される。
【００３２】
かかる構成により、映像データベース１５には、映像入力部１１により格納された映像に関する情報、パラメータ入力部１２により入力された処理パラメータに関する情報、及び映像生成部１４により生成された映像に関する情報が保持されることになる。
【００３３】
これらは、例えば、パーソナルコンピュータにより実現され、上述した各処理部、すなわち、映像入力部１１、パラメータ入力部１２、映像表示部１３及び映像生成部１４は、このような情報処理機器のメモリに格納されて実行されるプログラムにより実現することができる。これらは、同じパーソナルコンピュータにより実現されてもよいし、また、インターネットなどのネットワークで物理的に接続されているコンピュータ同士、あるいは、携帯電話のようなモバイル端末とコンピュータとを組み合わせることによって実現してもよい。
【００３４】
このとき、これらにおける処理対象の選択、およびパラメータの入力は、利用者とのインタフェースとなるキーボード、マウス、ジョイスティックなどの入力装置を用いて行われ、その処理結果としての映像の表示は、ＣＲＴディスプレイなどの出力装置を用いて行われる。
【００３５】
以下、映像生成部１４について詳細に説明する。
【００３６】
映像生成部１４では、パラメータ入力部１２で取得した処理パラメータに基づき映像の編集が行われ、生成された映像が処理パラメータと共に映像データベース１５に格納される。
【００３７】
この処理は図２に示す手順で以下のように行われる。この図２は、本発明における映像編集システムの映像生成部１４の動作を示すフローチャートである。
【００３８】
(ステップ１)置換映像情報からそれぞれ処理フレーム数(Ｎ)枚からなる複数の画像群ｆｉ(ｎ)をステップ数、処理フレーム間隔の各パラメータに合わせて取得する(ｉ＝１、２、…Ｎ)。
【００３９】
なお、ステップ数は、複数の画像群を構成するにあたって、もとの置換映像から、始まりのフレームを各画像群毎に何フレームずつずらして取得するかを指定するパラメータである。例えば、もとになる置換映像のフレーム番号が、１、２、３、４、５、…で与えられている場合、ステップ数が１ならば、画像群ｆｉ（１）はフレーム番号１から、画像群ｆｉ（２）はフレーム番号２から、画像群ｆｉ（３）はフレーム番号３から、それぞれ始まる。また、ステップ数が２ならば、画像群ｆｉ（１）はフレーム番号１から、画像群ｆｉ（２）はフレーム番号３から、画像群ｆｉ（３）はフレーム番号５から、それぞれ始まる。
【００４０】
処理フレーム間隔は、各画像群を構成するにあたって、もとの置換映像から何フレーム毎の間隔でフレーム画像を取得するかを指定するパラメータである。例えば、もとになる置換映像のフレーム番号が、１、２、３、４、５、６、７、…で与えられ、ステップ数が１である場合、処理フレーム間隔が１ならば、画像群ｆｉ（１）はフレーム番号１、２，３、…、画像群ｆｉ（２）はフレーム番号２、３、４、…、画像群ｆｉ（３）はフレーム番号３、４、５、…となる。また、処理フレーム間隔が２ならば、画像群ｆｉ（１）はフレーム番号１、３、５、…、画像群ｆｉ（２）はフレーム番号２、４、６、…、画像群ｆｉ（３）はフレーム番号３、５、７、…となる。
【００４１】
(ステップ２)編集映像情報からそれぞれＮ枚のフレームからなる複数の画像群ｇｉ(ｍ)をフレーム毎に取得する。
【００４２】
(ステップ３)ｆｉ(ｎ)に対して、差分パターン画像Ｆ(ｎ)を生成する。
【００４３】
(ステップ４)ｇｉ(ｍ)に対して、差分パターン画像Ｇ(ｍ)を生成する。
【００４４】
(ステップ５)Ｆ(ｎ)とＧ(ｍ)とのすべての組み合わせで、各画像の大きさを正規化することによって一致させ、相関値Ｃｏｒｒ(ｎ、ｍ)を算出する。
【００４５】
(ステップ６)ｎ＝ｊとしたときの各ｊに対して、
【００４６】
【数１】
2005159415.tif 000003
【００４７】
【数２】
2005159415.tif 000004
【００４８】
【数３】
2005159415.tif 000005
【００４９】
を満たすｍ(ｊ)を検出する。
【００５０】
(ステップ７)ｇｉ(ｍ(ｊ))〜ｇｉ(ｍ(ｊ＋１))間のフレーム数と、ｆｉ(ｊ)〜ｆｉ(ｊ＋１)間のフレーム数が異なる場合において、同じフレーム数になるように、補間式に近似させ、対応するフレームを決定する。
【００５１】
(ステップ８)Ｆ(ｊ)に対応する領域をｆｉ(ｊ)からクリッピング(切り抜き)する。
【００５２】
(ステップ９)クリッピングした画像をｇｉ(ｍ(ｊ))におけるＧ(ｍ(ｊ))に対応する領域にあわせて貼り付ける。
【００５３】
(ステップ１０)貼り付けた領域の境界を色補正し、その色補正した画像群から映像を生成する。
【００５４】
(ステップ１１)生成した映像、及び処理パラメータを映像データベース１５に格納する。
【００５５】
なお、ステップ３、ステップ４における差分パターン画像は、対象となる画像群に対して、各画素について、隣接フレーム間での画素値の差が最初に所定の閾値を越える場合に、そのフレーム番号を画素値として、フレーム番号が割り当てられた画素が存在している領域サイズの画像として生成する。
【００５６】
ここで、図３を用いて差分パターン画像の生成手順の一例について説明する。
【００５７】
(ステップ３１)入力されているフレーム数を取得する。
【００５８】
(ステップ３２)取得したフレーム数の画像を読み出す。
【００５９】
(ステップ３３)各画像の画素についてフレーム間での画素値の差を算出する。
【００６０】
(ステップ３４)画素値の差が閾値を超える場合に、その画素値にフレーム番号を割り当てる。
【００６１】
(ステップ３５)フレーム番号が割り当てられた画素が存在している領域を抽出する。
【００６２】
(ステップ３６)抽出した領域内の各画素に対して、最小のフレーム番号の値をその画素の画素値として、その領域と同じサイズの差分パターン画像を生成する。
【００６３】
このとき、ステップ３１で取得したフレーム数が複数となる場合、最大となるフレーム数に対して、ステップ３４までをおこない、それに対して、以降のステップ３５とステップ３６を、該当する各フレーム数で行うとしてもよい。
【００６４】
また、フレーム番号が割り当てられた画素が存在している領域を抽出する処理は、通常の画像処理で利用される領域分割処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００６５】
また、ステップ５における相関値Ｃｏｒｒ(ｎ、ｍ)の算出は、通常の画像処理で利用される、例えば、以下の式で示される正規化相互相関値を利用するとしてよい。基準画像Ｔ(ｘ、ｙ)、入力画像Ｉ(ｘ、ｙ)とすると、相関値Ｒ(ｘ、ｙ)は
【００６６】
【数４】
2005159415.tif 000006
【００６７】
で表される。
【００６８】
ステップ６における閾値Ｌ０、Ｌ１、Ｌ２は、あらかじめ決めておくとしてもよいし、Ｃｏｒｒ(ｊ、ｍ(ｊ))、ｍ(ｊ＋１)-m(ｊ)、ｍ(ｍａｘ)−ｍ(ｍｉｎ)等の平均値、度数、偏差値などといった統計的に算出される値を利用して動的に算出するとしてもよく、これらの値の算出手法は、従来の手法と特に変わるところがないので、その詳細な説明は省略する。
【００６９】
ステップ１０における領域の境界を色補正する処理は、通常の画像処理で利用される色補正処理と同じであり、これらの手法は、従来の手法と特に変わるところがないので、ここではその詳細な説明は省略する。
【００７０】
本発明では、編集映像に他で撮影された置換映像をインポーズするので、動作領域とそれ以外の領域とが全く違う環境で撮影された映像になる。このため、貼り付けた領域の境界を色補正することで、合成時の違和感を軽減させる。
【００７１】
以下では、これまで説明してきた映像編集システムにおいて、映像を編集する際の具体的な手順を説明する。
【００７２】
まず、映像入力部１１において、ある映像が映像データベース１５に格納されていたとする。このときパラメータ入力部１２では、利用者からの指示に基づき、前述の処理パラメータの入力を行い、格納された映像データベース１５から、編集映像情報、及び置換映像情報を取得して表示し、利用者に選択してもらう。
【００７３】
続いて、処理フレーム数や処理フレーム間隔の入力を受け付ける。例えば、図４に示すような画面で、格納されている映像に関する情報を表示し、編集の対象となる編集映像情報、置換の対象となる置換映像情報、及び処理パラメータの入力が行われることになる。
【００７４】
これに対し、映像生成部１４において、これらの処理パラメータに基づき編集の対象となる映像の編集を行う。ここでは、置換映像情報として、図５に示すようなりんごが上下に動いている映像を対象とする。このとき、１〜５フレームまででりんごが最上の位置に到達し、残りの６〜１０フレームで最下の位置に達していたとする。ここで、処理フレーム数Ｎが５枚、ステップ数が５フレーム、処理フレーム間隔が１フレームの場合であるとすると、１〜５フレームがｆｉ（１）、６〜１０フレームがｆｉ（２）となる。これらの２つの画像群に対し、差分パターン画像を生成すると、図６に示すような画像となる。図６の５０１、５０２に示すように、画像中の変化があった領域にフレーム番号が割り当てられる（ここでは、フレーム番号をグレースケールに割り当てて示している）。
【００７５】
これに対し、フレーム番号が割り当てられた画素が存在している領域、すなわち被写体に動作のあった領域を抽出し、それぞれ５０３、５０４に示す画像が差分パターン画像Ｆ(１)、Ｆ(２)となる。
【００７６】
同様に、編集映像情報から始まりのフレームを１フレームずつずらした複数の画像群ｇｉ(ｍ)を取得し、同様の差分パターン画像を生成する。ここでは、説明を簡単にするため、ある相関値の大きかったシーンを取り上げ、図７に示している。編集映像情報として、図７に示すようなテニスボールが上下に動いている映像を対象とし、この差分パターン画像は、図８に示すようになる。
【００７７】
図８の７０１、７０２に示すように、画像中の変化があった領域にフレーム番号が割り当てられ、フレーム番号が割り当てられた画素が存在している領域を抽出し、それぞれ７０３、７０４に示す画像が差分パターン画像Ｇ（１）、Ｇ（２）となる。
【００７８】
こうして生成された差分パターン画像のすべての組み合わせで、各画像の大きさを正規化することによって一致させ、相関値を算出する。ここでは、図６の５０３と図８の７０３、図６の５０４と図８の７０４の相関値が閾値Ｌ０を満たしていたとし、その７０３と７０４は連続しており、その他の閾値Ｌ１、Ｌ２も満たすことになる。
【００７９】
こうして、これらを構成するフレームが対応づけられることになる。この場合は、連続していたので、その間の補間は必要ないが、これらが離れていた場合は(ｇｉ(ｍ(ｊ))〜ｇｉ(ｍ(ｊ＋１))間のフレーム数と、ｆｉ(ｊ)〜ｆｉ(ｊ＋１)間のフレーム数が異なる場合)、同じフレーム数になるように、補間式に近似させ、対応するフレームを決定する。
【００８０】
こうして、Ｆ（ｊ）に対応する領域をｆｉ（ｊ）からクリッピングし、クリッピングした画像をｇｉ（ｍ（ｊ））におけるＧ(ｍ(ｊ))に対応する領域にあわせて貼り付けると、図９に示すような一連の画像群が生成できる。
【００８１】
続いて、貼り付けた領域の境界を色補正し、その色補正した画像群から映像を生成し、処理パラメータと共に映像データベース１５に格納する。
【００８２】
最後に、映像生成部１４での処理結果を、映像表示部１３において、表示することになる。
【００８３】
このように，、従来技術では難しかった、類似した動作をしている領域の映像を置換する編集映像を自動で実現することができる。
【００８４】
以上、本発明を実施形態例に基づき具体的に説明したが、本発明は上述の実施例に限定されるものではなく、幅広く応用することができる。
【００８５】
なお、本発明は図１に示した装置の一部又は全部の処理機能をプログラムとして構成してコンピュータを用いて実現すること、あるいは図２〜図９で示した処理手順をプログラムとして構成してコンピュータに実行させることができる。また、コンピュータでその各部の処理機能を実現するためのプログラム、あるいはコンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、フレキシブルディスク、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることが可能であり、また、インターネットのような通信ネットワークを介して配布したりすることが可能である。
【図面の簡単な説明】
【００８６】
【図１】本発明に係る装置の構成図。
【図２】本発明に係る各部の動作を示す処理フローを説明するための図。
【図３】本発明に係る処理の一例を説明するための図。
【図４】本発明に係る処理の一例を説明するための図。
【図５】本発明に係る処理の一例を説明するための図。
【図６】本発明に係る処理の一例を説明するための図。
【図７】本発明に係る処理の一例を説明するための図。
【図８】本発明に係る処理の一例を説明するための図。
【図９】本発明に係る処理の一例を説明するための図。
【符号の説明】
【００８７】
１１…映像入力部
１２…パラメータ入力部
１３…映像表示部
１４…映像生成部
１５…映像データベース
【図１】
2005159415.tif 000007
【図２】
2005159415.tif 000008
【図３】
2005159415.tif 000009
【図４】
2005159415.tif 000010
【図５】
2005159415.tif 000011
【図６】
2005159415.tif 000012
【図７】
2005159415.tif 000013
【図８】
2005159415.tif 000014
【図９】
2005159415.tif 000015