(57)【要約】【課題】  既撮影の映像コンテンツに含まれる被写体の一部を別映像に置き換えることにより新たな映像コンテンツに編集することができる映像処理システム、および映像処理方法を提供する。【解決手段】  入力変換部１で１フレーム毎の静止画像に変換された映像信号から特徴抽出部４が目標映像の輪郭線を抽出し、分離部５が輪郭線で囲まれた部分が書き抜かれた背景画像と、輪郭線に囲まれた目標情報をメモリ９に書込記憶し、作画コマンドにより映像生成部６は、目標情報をメモリ９から読み出して輪郭線に合ったアニメーション画像を静止画像にしてメモリ９に書込記憶し、重畳コマンドが入力されると映像合成部７は、アニメーション画像と背景画像をメモリ９から読み出して重畳することにより、実写された被写体映像がアニメーション画像で差し替えられた新たな映像コンテンツを作成する。【選択図】  図１
2007280069.tif 000002
【特許請求の範囲】
【請求項１】
テレビジョン方式で入力される映像信号を表示するディスプレイと、
前記ディスプレイに表示される被写体の映像うち、特定の映像をマークすることにより目標の映像として指定する制御入出力手段と、
前記入力される映像信号から前記制御入出力手段で指定された前記被写体映像の輪郭線の位置のデータを生成して映像信号の分離手段へ出力する特徴抽出手段と、
前記入力される映像信号から前記入力される前記輪郭線の位置のデータによって生成された輪郭線部分を書き抜かれた背景画像と、前記輪郭線に囲まれる部分の画像作成パラメータからなる目標情報とに分離して出力する分離手段と、
前記目標情報を入力し、前記輪郭線に囲まれる部分のアニメーション画像を生成して出力する映像生成手段と、
前記書き抜かれた背景画像と前記アニメーション画像とを入力して、前記背景画像に前記アニメーション画像を重畳した映像信号を生成する映像合成手段とを
具備することを特徴とする映像処理システム。
【請求項２】
前記映像処理システムは、映像信号を１フレーム単位の静止画に変換する変換手段を備え、前記変換手段を介した後に前記映像信号が入力される
ことを特徴とする請求項１記載の映像処理システム。
【請求項３】
前記アニメーション画像は、カメラで撮影された映像をＣＧにより修正変換して生成されることを特徴とする請求項１記載の映像処理システム。
【請求項４】
ディスプレイと、制御入出力手段と、特徴抽出手段と、分離手段と、映像生成手段と、映像合成手段とを備える映像処理システムの映像処理方法において、
前記ディスプレイは、テレビジョン方式で入力される映像信号を表示し、
前記制御入出力手段は、
前記ディスプレイに表示される画像のうち、マークにより特定される被写体映像を目標の映像として指定し、
前記特徴抽出手段は、
前記入力される映像信号から前記制御入出力手段で指定された前記被写体映像の輪郭線の位置のデータを生成して映像信号の分離手段へ出力し、
前記分離手段は、
前記入力される映像信号から前記分離手段から入力される前記輪郭線の位置のデータによって生成された輪郭線部分を書き抜かれた背景画像と、前記輪郭線で囲まれる部分の画像作成パラメータからなる目標情報とに分離して出力し、
映像生成手段は、
前記出力された前記目標情報を入力し、前記輪郭線に囲まれる部分のアニメーション画像を生成して出力し、
前記映像合成手段は、
前記書き抜かれた背景画像と前記アニメーション画像とを入力して、前記背景画像に前記アニメーション画像を重畳した映像信号を生成する
ことを特徴とする映像処理システムの映像処理方法。
【請求項５】
前記映像処理システムは、映像信号を１フレーム単位の静止画に変換する変換手段を備え、前記変換手段を介した後に前記映像信号が入力される
ことを特徴とする請求項４記載の映像処理システムの映像処理方法。
【請求項６】
前記アニメーション画像は、カメラで撮影された映像をＣＧにより修正変換して生成されることを特徴とする請求項４記載の映像処理システムの映像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、テレビ映像のコンテンツ編集を行う映像処理システムおよび映像処理方法に関する。
【背景技術】
【０００２】
テレビ放送番組では、テレビカメラによる実写映像を撮影し、ドラマや報道番組コンテンツを作成する。また、最近では、クロマキー技術を用いて撮影した実写映像をコンピュータグラフィック（以下、ＣＧと称す。）で作成された映像に重ね合わせる映像処理を行い、新たな映像コンテンツを作成する方法がある（例えば、特許文献１。）。
【０００３】
しかしながら、この方法は、ＣＧ作成された背景に実映像がはめ込まれるものであって背景や画面中の実画像を処理するものではない。
【０００４】
一方、テレビドラマや、ニュース番組等で撮影された映像を更に利用して新しいコンテンツを作成する場合、撮影された実映像の人物や対象物について、プライバシーや肖像権、又は意匠権等の制限から映像コンテンツが２次利用出来ない場合がある。既に撮影された映像を再利用する場合、２次利用する場合、問題箇所にいわゆる“モザイク”等の処理を施して映像の不要部分を不明確にすることしか出来なかった。
【０００５】
一方、上記引用技術は、撮影された実映像をＣＧ画像に重ねるものであり、既に撮影されている映像を処理するものではなく、例えば、ドラマに出演している俳優を別の俳優や、事物を別の映像に置き換える事は出来ない。
【０００６】
従来、肖像権等の権利を有する被写体映像が撮影された映像コンテンツは、その被写体映像を含むストーリー、シーンを利用して新たなコンテンツを作成する映像コンテンツの２次利用ができない問題が有った。
【特許文献１】特開２０００−２７０２６１号公報  （第６頁、第１図）
【発明の開示】
【発明が解決しようとする課題】
【０００７】
従来、肖像権等の権利を有する被写体映像が撮影された映像コンテンツは、その被写体映像を含むストーリーや、シーンを再利用できず、同じシーンを当該被写体を外すか置き換えて撮影し直さなければならない問題があった。
【０００８】
本発明は上記問題を解決するためになされたもので、既撮影の映像コンテンツに含まれる被写体の一部を別映像に置き換えることにより新たな映像コンテンツに編集する映像処理システム、および映像処理方法を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、本発明の映像処理システムは、テレビジョン方式で入力される映像信号を表示するディスプレイと、前記ディスプレイに表示される被写体の映像のうち特定の映像をマークにより目標の映像として指定する制御入出力手段と、前記入力される映像信号から前記制御入出力手段に指定された前記被写体映像の輪郭線の位置のデータを生成して映像信号の分離手段へ出力する特徴抽出手段と、前記入力される映像信号から前記入力される前記輪郭線の位置のデータによって生成された輪郭線部分を書き抜かれた背景画像と、前記輪郭線に囲まれる部分の画像作成パラメータからなる目標情報とに分離して出力する分離手段と、前記目標情報を入力して、前記輪郭線に囲まれる部分のアニメーション画像を生成して出力する映像生成手段と、前記書き抜かれた背景画像と前記アニメーション画像とを入力して、前記背景画像に前記アニメーション画像を重畳した映像信号を生成する映像合成手段とを具備することを特徴とする。
【００１０】
また、本発明の映像処理システムおよび映像処理方法は、ディスプレイと、制御入出力手段と、特徴抽出手段と、分離手段と、映像生成手段と、映像合成手段とを備える映像処理システムの映像処理方法において、前記ディスプレイは、テレビジョン方式で入力される映像信号を表示し、前記制御入出力手段は、前記ディスプレイに表示される画像のうち、マークにより特定される被写体映像を目標の映像として指定し、前記特徴抽出手段は、前記入力される映像信号から前記制御入出力手段に指定された前記被写体映像の輪郭線の位置のデータを生成して映像信号の分離手段へ出力し、前記分離手段は、前記入力される映像信号から前記分離手段から入力される前記輪郭線の位置のデータによって生成された輪郭線部分を書き抜かれた背景画像と、前記輪郭線に囲まれる部分の画像作成パラメータからなる目標情報とに分離して出力し、映像生成手段は、前記出力された前記目標情報を入力し、前記輪郭線に囲まれる部分のアニメーション画像を生成して出力し、前記映像合成手段は、前記書き抜かれた背景画像と前記アニメーション画像とを入力して、前記背景画像に前記アニメーション画像を重畳した映像信号を生成することを特徴とする。
【発明の効果】
【００１１】
本発明によれば、既撮影の映像コンテンツに含まれる被写体の一部を別映像に置き換えることにより新たな映像コンテンツに編集することができる映像処理システム、および映像処理方法を提供することを目的とする。
【発明を実施するための最良の形態】
【００１２】
以下、図面を参照して本発明の実施例を説明する。
【実施例】
【００１３】
図１は、本発明の実施例に係る映像処理システムの機能構成を示すブロック図である。  図１において映像処理システムＶＳは、それぞれの間が、内部バス等Ｂで接続されている入力変換部１、ディスプレイ２、制御入出力部３、特徴抽出部４、分離部５、映像生成部６、映像合成部７、出力変換部８、メモリ９とを備えている。
【００１４】
例えば、ＶＴＲ等から出力されるコンテンツの映像信号は入力変換部１に入力され、レベル調整やデジタル変換、フォーマット変換等の処理が行われると共にディスプレイ２に表示される。入力されるコンテンツの映像信号は、例えば、ＮＴＳＣ方式のビデオ信号、または、その他ＭＰＥＧ等の圧縮画像信号が入力される。そして、目標となる被写体を抽出処理するため、入力変換部１で、テレビ画面のスチル映像や、例えば、ＭＪＰＥＧ（Ｍｏｔｉｏｎ  ＪＰＥＧ）の様な１画面毎の静止画であるフレーム画像にフォーマット変換される。そして変換された映像信号は、内部バスもしくはデータラインによって特徴抽出部４へ入力される。
【００１５】
出力変換部８は、入力変換部１と逆に、映像合成部７で作成された映像コンテンツを所定の映像フォーマットや信号レベルに変換するインタフェースである。
【００１６】
制御入出力部３は、オペレータがキーボード、マウスポインタやカーソルポインタ等のディスプレイ２上に表示される被写体のうち、差し替えられる対象となる目標や処理範囲を指定したり、映像処理に必要なデータを入力する入力手段である。
【００１７】
特徴抽出部４は、差し替えられる目標画像としてポインタで指定を受けた情報から所定の方法により特徴抽出処理を行う。もし、被写体が肖像権等の権利問題の対象となるものであれば、その映像がオペレータによってポインタで処理される目標として指定される。
【００１８】
図２は、目標指定の概念を示す図、図３は、本発明の実施例の映像処理システムが、被写体映像がアニメーション画像に差し替えられる動作処理の手順を説明するフローチャートである。  
以下、図２、図３を参照して映像処理システムが、被写体映像を差し替える動作処理を説明する。
【００１９】
目標抽出にあたり、抽出部分の指定が、オペレータによってなされる。コンテンツ映像の、例えば、編集の先頭シーンのフレームを選択する制御情報が制御入出力部３から入力される。そして、例えば、先頭シーンのフレームの静止画がＭ−ＪＰＥＧフォーマットで、ディスプレイ２に表示される（ステップｓ１）。
【００２０】
本実施例の映像処理システムは、例えば、特徴抽出部４はマウスポインタでディスプレイ２の画面上の目標の映像を指定されると、その位置の色や輝度レベル等から、目標の被写体映像の輪郭線を取り出す。以下は、１画面単位で差し替え対象となる目標（被写体）の輪郭を抽出する方法の例を示す。
【００２１】
図２（ａ）は、画面上の目標Ａ上の一点をマウスポインタによるマークで指定する場合を示す。  
オペレータによって目標上の１点ポイントＰがマウスポインタで指定される（ステップｓ２）。特徴抽出部４は、目標Ａ上のマウスポインタで指定されたポイントＰの輝度を読み取り（ステップｓ３）、そのポイントから外側へ向かって輝度が変化するポイントを探し、その変化ポイントを繋ぐことにより輪郭線を生成し、その輪郭線の画面上での位置を示す輪郭線データを取得する（ステップｓ４）。この輪郭線データは、内部バス等を介して分離部５へ入力される（ステップｓ５）。
【００２２】
また、別の輪郭抽出方法として、図２（ｂ）の様に制御入出力部３のカーソルポインタで、目標の周辺にウィンドウ状のゲートＧのマークを設ける。特徴抽出部４は、このゲート内の輝度変化部分を検出し、その変化部分を繋ぐことにより輪郭線を生成する方法などがある。
【００２３】
前述の引用例では、被写体の抽出が容易な同一色の背景で撮影されるクロマキー技術が採用され、常時一様な背景で撮影されるが、本実施例の対象になる実撮影された映像コンテンツでは、図２（ｃ）の様に背景の変化に伴い目標被写体と背景とのコントラスト差が小さくなると輪郭線が検出出来なくなる。
【００２４】
そこで、特徴抽出部４では、一画面単位で輪郭線を抽出するだけでなく処理フレーム毎に輪郭線のデータをメモリ９に記憶し、処理中のフレーム画面で検出される輝度変化部分との比較を行うことによって差分や相関性を調べる。そして、検出出来なかった輪郭線を例えば、前後のフレームで検出された輪郭線で置換する等の補完を行う方法などによって輪郭線が生成される。この前後のフレームの画像との相関や差分による補完は、目標自体の運動、撮影方向の変化によって変化する目標形状の補正にも効果がある。
【００２５】
分離部５は、画面のシーンを輪郭線の位置情報（目標情報）と、背景の映像の信号とに分離して輪郭線で囲まれた部分の映像が切り抜かれた背景画像を作成して映像合成部７へ出力するデータを当該フレームの識別番号を付与してメモリ９へ書込記憶する（ステップｓ６）。
【００２６】
切り抜かれた映像部分は、通常、例えば、黒、又は、白の様な一定のビデオ信号レベルに設定される。また、分離部５は、特徴抽出部４から入力された位置データに基づく目標情報、例えば、輪郭線の画面上の座標データ、平均輝度データ等輪郭線及び輪郭線に囲まれた部分を画像表示するのに必要なパラメータを目標情報に追加して映像生成部６へ出力すると共にメモリ９にフレームの識別番号と組み合わせて書込記憶する（ステップｓ７）。
【００２７】
オペレータが次のフレームの静止画をディスプレイ２に表示させると、特徴抽出部４と分離部５とは、前のフレームで行った処理と同様に輪郭線を生成し、次画面のフレームの目標情報や背景画像をメモリ９に記憶する処理を繰り返す。
【００２８】
映像生成部６は、例えば、アニメーション画を作成するパーソナルコンピュータの様なＣＧ（コンピュータ  グラフィック）作成装置である。映像生成部６は、フレームの識別番号とともに作画コマンドが制御入出力部から指定入力される（ステップｓ８）と、その識別番号に対応した目標データをメモリ９から読み込んで、輪郭線部分を映像生成部６の図示されないディスプレイに表示する。
【００２９】
オペレータによって、その輪郭線内部に収まるアニメーション画像が作成され（ステップｓ９）、メモリ９に当該フレーム番号と共に書込記憶される（ステップｓ１０）。
【００３０】
以上の処理により、元の映像コンテンツから生成された背景画像と、それに対応するアニメーション画像が照合出来る様にメモリ９に記憶、保存される。
【００３１】
続いて、背景画像とアニメーション画像とを重畳させる重畳コマンドがオペレータによって制御入力出部３から入力された（ステップｓ１１）とする。そのコマンドは、重畳処理をするフレーム指定データ、およびその指定されたページに続くフレームをどこまで続けて処理するかが指定され、その指定情報は内部バス等Ｂを介して映像合成部７へ入力される。
【００３２】
映像合成部７は、指定されたフレームの背景画像と、その背景画像に対応するアニメーション画像とをメモリ９から読み出して同一画面に表示するよう画像重畳処理を行う（ステップｓ１２）。ディスプレイ２の画面上の背景画像の輪郭線の位置と、生成されたアニメーション画像の輪郭線の表示位置は一致するので元の映像コンテンツで表示されていた実映像がアニメーション画像によって差し替えられた新たな映像コンテンツが生成される。
【００３３】
重畳コマンドで、フレームを連続して処理する設定が行われていれば、その一連の画像重畳処理によって生成される２次画像が続いて生成される。この２次画像は、ＭＪＥＰＥＧの様な静止画で作成されているので、これを連続再生表示すれば、動画の２次映像コンテンツとなる。
【００３４】
映像合成部７は、生成された重畳映像の映像コンテンツを内部バスＢ等を介して出力変換部８へ出力し、出力変換部は、例えば、ＮＴＳＣ、または、ＭＰＥＧなど所定の映像信号フォーマットにして外部の装置等へむけて出力する。
【００３５】
以上説明した如く、本発明の映像処理システムは、肖像権や著作権の２次利用等に問題がないアニメーション画像により、２次映像コンテンツが容易に作成することが出来る。なお、アニメーション画像は、元の映像信号で撮影された被写体映像とは別に、新たに別途撮影されたカメラ映像をＣＧ処理をすることによって修正変換して生成されたものであっても良い。
【図面の簡単な説明】
【００３６】
【図１】本発明の実施例に係る映像処理システムの機能構成を示すブロック図。
【図２】目標指定の概念を示す図。
【図３】映像処理システムが、被写体映像を差し替える動作処理の手順を説明するフローチャート。
【符号の説明】
【００３７】
１  入力変換部
２  ディスプレイ
３  制御入出力部
４  特徴抽出部
５  分離部
６  映像生成部
７  映像合成部
８  出力変換部
９  メモリ
【図１】
2007280069.tif 000003
【図２】
2007280069.tif 000004
【図３】
2007280069.tif 000005