(57)【要約】  任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像を用意し、この処理前映像の１画素以上の収集点において、色の値を複数フレーム間で収集して色情報セットを得る。更に、色情報セットから、背景が写っている色とカット対象素材が写っている色を判定して、最適な背景側色値を決定し、この行程を、背景を抽出したい領域に対して適用することで、背景が抽出された背景用映像を得るようにした。これにより、交通規制や専用スタジオを用いなくても、人通りの多い場所で撮影した処理前映像を用いて、背景用映像を得ることが可能になる。
2010018610.tif 000002
【特許請求の範囲】
【請求項１】
任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像を用意する準備ステップと、
前記処理前映像の１画素以上の収集点において、色の値を複数フレーム間で収集して色情報セットを得る色情報収集ステップと、
前記色情報セットから、前記背景が写っている色と前記カット対象素材が写っている色を判定して、最適な背景側色値を決定する色設定ステップと、を備え、
前記背景を抽出したい領域に対して、前記色情報収集ステップ及び前記色設定ステップを適用することで、前記背景が抽出された背景用映像を得ることを特徴とする背景用映像生成方法。
【請求項２】
前記収集点は、特定の１画素と、前記特定の１画素に隣接する隣接画素とを含む複数画素によって構成されることを特徴とする請求の範囲１記載の背景用映像生成方法。
【請求項３】
前記色情報収集ステップでは、前記処理前映像の全フレームにおける所定の間隔を空けた複数フレームを選択して前記色情報セットを得ることを特徴とする請求の範囲１又は２記載の背景用映像生成方法。
【請求項４】
前記色設定ステップにおいて前記背景側色値の決定が不能な場合、前記色情報収集ステップに戻って前記フレームの数を増大させて前記色情報セットを再取得することを特徴とする請求の範囲１、２又は３に記載の背景用映像生成方法。
【請求項５】
前記色設定ステップでは、前記色情報セットにおける色スペクトルの出現頻度に基づいて、前記背景側色値を決定することを特徴とする請求の範囲乃至４のいずれかに記載の背景用映像生成方法。
【請求項６】
前記色設定ステップでは、前記色情報セットにおける色スペクトルの最頻値を前記背景側色値に決定することを特徴とする請求の範囲５記載の背景用映像生成方法。
【請求項７】
前記色設定ステップでは、判定基準値を予め用意しておき、前記出現頻度が前記判定基準値を超える場合に、前記背景側色値を決定することを特徴とする請求の範囲５又は６記載の背景用映像生成方法。
【請求項８】
前記色設定ステップでは、前記色情報セットにおける色平均値に基づいて、前記背景側色値を決定することを特徴とする請求の範囲１、２又は３に記載の背景用映像生成方法。
【請求項９】
前記背景が抽出された前記背景用映像を得る際に、前記背景側色値に基づいた判定閾色値を設定し、前記判定閾色値を超える部分に対して前記処理前映像を修正し、前記背景用映像を得ることを特徴とする請求の範囲１乃至８のいずれかに記載の背景用映像生成方法。
【請求項１０】
前記処理前映像における前記判定閾色値を超えるタイミングの直前近傍の色情報を用いて、前記判定閾色値を超える部分の映像を修正することを特徴とする請求の範囲９に記載の背景用映像生成方法。
【請求項１１】
前記判定閾色値として判定上限色値及び判定下限色値を設定し、前記判定上限値を上回る部分又は前記判定下限値を下回る部分に対して前記処理前映像を修正することを特徴とする請求の範囲９又は１０に記載の背景用映像生成方法。
【請求項１２】
前記処理前映像に対して、前記背景を抽出したい領域を決定する枠情報を生成する枠設定ステップを有することを特徴とする請求の範囲１乃至１１のいずれかに記載の背景用映像生成方法。
【請求項１３】
任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像を記憶手段に格納する準備手段と、
前記処理前映像の１画素以上の収集点において、色の値を複数フレーム間で収集して色情報セットを生成する色情報収集手段と、
前記色情報セットから、前記背景が写っている色と前記カット対象素材が写っている色を判定して、最適な背景側色値を決定する色設定手段と、を備え、
前記背景を抽出したい領域に対して、前記色情報収集手段及び前記色設定手段によって前記背景側色値を決定することで、前記背景が抽出された背景用映像を得ることを特徴とする背景用映像生成システム。
【請求項１４】
前記色情報収集手段における前記収集点は、特定の１画素と、前記特定の１画素に隣接する隣接画素とを含む複数画素によって構成されることを特徴とする請求の範囲１３記載の背景用映像生成システム。
【請求項１５】
前記色情報収集手段では、前記処理前映像の全フレームから所定の間隔を空けた複数フレームを選択して前記色情報セットを得ることを特徴とする請求の範囲１３又は１４記載の背景用映像生成システム。
【請求項１６】
前記色設定手段において前記背景側色値の決定が不能な場合、前記色情報収集手段が、前記フレームの数を増大させて前記色情報セットを再取得することを特徴とする請求の範囲１３、１４又は１５に記載の背景用映像生成システム。
【請求項１７】
前記色設定手段では、前記色情報セットにおける色スペクトルの出現頻度に基づいて、前記背景側色値を決定することを特徴とする請求の範囲１３乃至１６のいずれかに記載の背景用映像生成システム。
【請求項１８】
前記色設定手段では、前記色情報セットにおける色スペクトルの最頻値を前記背景側色値に決定することを特徴とする請求の範囲１７記載の背景用映像生成システム。
【請求項１９】
前記色設定手段では、判定基準値を予め用意しておき、前記出現頻度が前記判定基準値を超える場合に、前記背景側色値を決定することを特徴とする請求の範囲１７又は１８記載の背景用映像生成システム。
【請求項２０】
前記色設定手段では、前記色情報セットにおける色平均値に基づいて、前記背景側色値を決定することを特徴とする請求の範囲１３、１４又は１５に記載の背景用映像生成システム。
【請求項２１】
前記背景が抽出された前記背景用映像を得る際に、前記背景側色値に基づいた判定閾色値を設定し、前記判定閾色値を超える部分に対して前記処理前映像を修正する修正作業手段を備えることを特徴とする請求の範囲１３乃至２０のいずれかに記載の背景用映像生成システム。
【請求項２２】
前記修正作業手段では、前記処理前映像における前記判定閾色値を超えるタイミングの直前近傍の色情報を用いて、前記判定閾色値を超える部分の映像を修正することを特徴とする請求の範囲２１に記載の背景用映像生成システム。
【請求項２３】
前記修正作業手段では、前記判定閾色値として判定上限色値及び判定下限色値を設定し、前記判定上限値を上回る部分又は前記判定下限値を下回る部分に対して前記処理前映像を修正することを特徴とする請求の範囲２１又は２２に記載の背景用映像生成システム。
【請求項２４】
前記処理前映像に対して、前記背景を抽出したい領域を決定する枠情報を生成する枠設定手段を有することを特徴とする請求の範囲１３乃至２３のいずれかに記載の背景用映像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、人物や車など、映像作品上で不要となるものが写り込んだ処理前映像から、不要なものを消去し、背景が抽出された映像を生成する技術に関する。
【背景技術】
【０００２】
映像作品の撮影には、スタジオなどの専門の撮影所で行うスタジオ撮影と、公園や駅などの屋外を含め専門の撮影所以外で行うロケーション撮影がある。スタジオ撮影は、撮影所において作品に応じたセットを組むため、作品に必要なものだけを撮影することができる。また、撮影スタジオは、関係者のみが入館でき部外者は出入り禁止となっている上、撮影対象を自由に作り込むことができるため、イメージ通りの映像を撮影することができる。【０００３】
ロケーション撮影は、人や車などが自由に出入りできる屋外で行うため、映像作品に必要のない物が映ってしまう。これを防ぐために、早朝撮影や交通規制などの策を講じるのが通常である。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかし、このロケーション撮影では、東京駅や歌舞伎町、渋谷駅前交差点といった著名な場所を利用することも多く、交通規制が困難であり、早朝であっても、車や人の往来が途切れない場合がある。そのため、建物や街頭だけの映像を撮りたくても、人や車などが映ってしまうことがある。また、交通規制を行うには、事前の行政申請という面倒な手続きが必要な上、撮影時間も制限されてしまうという問題がある。更に、撮影を見ようと多くの見物人が集まり、撮影を妨げられることもある。【０００５】
一方、撮影スタジオを利用する場合は、広大な撮影所の確保や、撮影所に建物や街頭を再現したセットを組むことが必要となるため、莫大なコストが必要となる。しかも、セットでは実際の建物や街のすべてを組むことはできないので、撮影範囲が限られてしまうという問題もある。また、どんなに精巧なセットを組んでも、実物を完璧に再現することはできないため、映像に不自然さが残ってしまう。【０００６】
その他の手法として、コンピュータグラフィックスなどで実物を再現した映像を制作する手段もある。しかし、コンピュータグラフィックスなどで制作した映像は、実物と比較して不自然になるのは否めず、作品の質の低下につながる。【０００７】
本発明は、上記の問題に鑑みてなされたものであり、本来、不必要なカット対象素材が映り込んだ処理前映像から、このカット対象物を消去して、建物や街頭など作品に使いたい背景部分のみを抽出し、さらに消去した映像部分に不要物が隠していた背景を出現させ、背景だけの映像を生成する背景用映像生成方法及び背景用映像生成システムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
上記目的を達成する本発明は、任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像を用意する準備ステップと、前記処理前映像の１画素以上の収集点において、色の値を複数フレーム間で収集して色情報セットを得る色情報収集ステップと、前記色情報セットから、前記背景が写っている色と前記カット対象素材が写っている色を判定して、最適な背景側色値を決定する色設定ステップと、を備え、前記背景を抽出したい領域に対して、前記色情報収集ステップ及び前記色設定ステップを適用することで、前記背景が抽出された背景用映像を得ることを特徴とする背景用映像生成方法である。【０００９】
上記目的を達成する背景用映像生成方法は、上記発明において、前記収集点は、特定の１画素と、前記特定の１画素に隣接する隣接画素とを含む複数画素によって構成されることを特徴とする。【００１０】
上記目的を達成する背景用映像生成方法は、上記発明において、前記色情報収集ステップでは、前記処理前映像の全フレームにおける所定の間隔を空けた複数フレームを選択して前記色情報セットを得ることを特徴とする。【００１１】
上記目的を達成する背景用映像生成方法は、上記発明において、前記色設定ステップにおいて前記背景側色値の決定が不能な場合、前記色情報収集ステップに戻って前記フレームの数を増大させて前記色情報セットを再取得することを特徴とする。【００１２】
上記目的を達成する背景用映像生成方法は、上記発明において、前記色設定ステップでは、前記色情報セットにおける色スペクトルの出現頻度に基づいて、前記背景側色値を決定することを特徴とする。【００１３】
上記目的を達成する背景用映像生成方法は、上記発明において、前記色設定ステップでは、前記色情報セットにおける色スペクトルの最頻値を前記背景側色値に決定することを特徴とする。【００１４】
上記目的を達成する背景用映像生成方法は、上記発明において、前記色設定ステップでは、判定基準値を予め用意しておき、前記出現頻度が前記判定基準値を超える場合に、前記背景側色値を決定することを特徴とする。【００１５】
上記目的を達成する背景用映像生成方法は、上記発明において、前記色設定ステップでは、前記色情報セットにおける色平均値に基づいて、前記背景側色値を決定することを特徴とする。【００１６】
上記目的を達成する背景用映像生成方法は、上記発明において、前記背景が抽出された前記背景用映像を得る際に、前記背景側色値に基づいた判定閾色値を設定し、前記判定閾色値を超える部分に対して前記処理前映像を修正し、前記背景用映像を得ることを特徴とする。【００１７】
上記目的を達成する背景用映像生成方法は、上記発明において、前記処理前映像における前記判定閾色値を超えるタイミングの直前近傍の色情報を用いて、前記判定閾色値を超える部分の映像を修正することを特徴とする。【００１８】
上記目的を達成する背景用映像生成方法は、上記発明において、前記判定閾色値として判定上限色値及び判定下限色値を設定し、前記判定上限値を上回る部分又は前記判定下限値を下回る部分に対して前記処理前映像を修正することを特徴とする。【００１９】
上記目的を達成する背景用映像生成方法は、上記発明において、前記処理前映像に対して、前記背景を抽出したい領域を決定する枠情報を生成する枠設定ステップを有することを特徴とする。【００２０】
上記目的を達成する本発明は、任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像を記憶手段に格納する準備手段と、前記処理前映像の１画素以上の収集点において、色の値を複数フレーム間で収集して色情報セットを生成する色情報収集手段と、前記色情報セットから、前記背景が写っている色と前記カット対象素材が写っている色を判定して、最適な背景側色値を決定する色設定手段と、を備え、前記背景を抽出したい領域に対して、前記色情報収集手段及び前記色設定手段によって前記背景側色値を決定することで、前記背景が抽出された背景用映像を得ることを特徴とする背景用映像生成システムである。【００２１】
上記目的を達成する背景用映像生成システムは、上記発明において、前記色情報収集手段における前記収集点は、特定の１画素と、前記特定の１画素に隣接する隣接画素とを含む複数画素によって構成されることを特徴とする。【００２２】
上記目的を達成する背景用映像生成システムは、上記発明において、前記色情報収集手段では、前記処理前映像の全フレームから所定の間隔を空けた複数フレームを選択して前記色情報セットを得ることを特徴とする。【００２３】
上記目的を達成する背景用映像生成システムは、上記発明において、前記色設定手段において前記背景側色値の決定が不能な場合、前記色情報収集手段が、前記フレームの数を増大させて前記色情報セットを再取得することを特徴とする。【００２４】
上記目的を達成する背景用映像生成システムは、上記発明において、前記色設定手段では、前記色情報セットにおける色スペクトルの出現頻度に基づいて、前記背景側色値を決定することを特徴とする。【００２５】
上記目的を達成する背景用映像生成システムは、上記発明において、前記色設定手段では、前記色情報セットにおける色スペクトルの最頻値を前記背景側色値に決定することを特徴とする。【００２６】
上記目的を達成する背景用映像生成システムは、上記発明において、前記色設定手段では、判定基準値を予め用意しておき、前記出現頻度が前記判定基準値を超える場合に、前記背景側色値を決定することを特徴とする。【００２７】
上記目的を達成する背景用映像生成システムは、上記発明において、前記色設定手段では、前記色情報セットにおける色平均値に基づいて、前記背景側色値を決定することを特徴とする。【００２８】
上記目的を達成する背景用映像生成システムは、上記発明において、前記背景が抽出された前記背景用映像を得る際に、前記背景側色値に基づいた判定閾色値を設定し、前記判定閾色値を超える部分に対して前記処理前映像を修正する修正作業手段を備えることを特徴とする。【００２９】
上記目的を達成する背景用映像生成システムは、上記発明において、前記修正作業手段では、前記処理前映像における前記判定閾色値を超えるタイミングの直前近傍の色情報を用いて、前記判定閾色値を超える部分の映像を修正することを特徴とする。【００３０】
上記目的を達成する背景用映像生成システムは、上記発明において、前記修正作業手段では、前記判定閾色値として判定上限色値及び判定下限色値を設定し、前記判定上限値を上回る部分又は前記判定下限値を下回る部分に対して前記処理前映像を修正することを特徴とする。【００３１】
上記目的を達成する背景用映像生成システムは、上記発明において、前記処理前映像に対して、前記背景を抽出したい領域を決定する枠情報を生成する枠設定手段を有することを特徴とする。
【発明の効果】
【００３２】
本発明の映像合成方法又は背景用映像生成システムによれば、車や人の往来が途切れないロケーションであっても、それらを除去した自然な背景用映像を生成することができる。
【図面の簡単な説明】
【００３３】
【図１】本発明の実施形態にかかる背景用映像生成方法の概念を示す図である。
【図２】同背景用映像生成方法を示すフローチャートである。
【図３】本実施形態の背景用映像生成システムの全体構成を示すブロック図である。
【図４】同背景用映像生成システムのコンピュータの構成を示すブロック図である。
【図５】同背景用映像生成システムにおけるカット処理の一部手順を示す図である。
【図６】同カット処理のスペクトル分析の一例を示すグラフ図である。
【図７】同カット処理における映像の修正作業を示すグラフ図である。
【図８】同背景用映像生成システムのユーザーインターフェースを示す図である。
【図９】同背景用映像生成システムの動作を示すフローチャートである。
【図１０】同背景用映像生成システムのカット処理を示すフローチャートである。
【図１１】同背景用映像生成システムの映像修正作を示すフローチャートである。
【発明を実施するための最良の形態】
【００３４】
以下に、本発明の実施形態について図面を用いて説明する。なお、本発明はこれらの図面に限定されるものではないことは予め言及しておく。【００３５】
まず、本実施形態の全般に亘る基本思想について説明する。本実施形態では、図１に示されるように、まず、背景の前に、カット対象素材となる通行人５Ａやバス５Ｂを含んだ映像を撮影することで処理前映像１１を得る。なお、処理前映像１１の背景には、梅２Ａ、つくし２Ｂ、チューリップ２Ｃ、家２Ｄ等が含まれている。なお、ここでいう背景とは、動きがほとんど無いものをいう。【００３６】
本実施形態では、この処理前映像１１から、カット対象素材となる通行人５Ａ及びバス５Ｂをカットして、背景用映像１２を生成する。この背景用映像１２に対して、俳優等の役者７が演じる合成用映像１３を合成することで、目的の最終映像１４が完成する。この合成は、既存の技術を用いることができる。【００３７】
なお、この処理前映像１１は、好ましくは、比較的長い時間を撮影しておくようにする。この撮影は、スタンドを利用して固定可能な一般のカメラをもちれば良い。なお、背景用映像１２を適切に抽出するには、カメラを固定して撮影することが好ましいが、手振れ等が生じても、適宜補正することができれば、処理前映像１１として用いることが可能である。例えば、撮影対象物内に基準ポイントを含めておくようにすれば、カメラが動いてしまっても、この基準ポイントを利用して補正することが可能である。すなわち、後述するフレーム同士を比較するための「同一位置」の基準は、各フレームが固有に持つローカル座標に限られず、フレーム同士の相対的なずれや、映像のズーム等を考慮した上で、被写体側のグローバル座標（被写体側の基準位置）に基づいて同一位置を決定することも可能である。【００３８】
図２には、本実施形態の全般に亘る基本思想を示すフローチャートである。【００３９】
まず、準備ステップとして、任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像１１を用意する（Ｓ１）。次に、この処理前映像１１からカット対象素材をカットして、背景用映像１２を生成する（Ｓ２）。その後、ステップＳ１およびステップＳ２を経て得られた背景用映像１２に対して、合成用映像１３を合成する（Ｓ３）。これで合成映像が完成する。【００４０】
次に、本発明の実施形態に係る背景用映像生成システムついて説明する。図３は、この背景用映像生成システム１００の概略構成図である。【００４１】
図３において、１０５は、処理前映像１１が記憶されるハードディスク（準備手段）、１０７は、処理前映像１１の一部を構成するフレーム、１０８は、ＣＰＵ（中央演算装置）やメモリ、通信バス、複数の入出力インターフェース等を備えたコンピュータ、１０９は、このコンピュータ１０８で処理した後に生成されたフレーム、１１０は、このフレーム１０９を記憶したハードディスク（合成用映像保存手段）である。このフレーム１０９によって、背景用映像１２が生成される。１１２はこのコンピュータ１０８で実行されるプログラムが保存されているハードディスク（プログラム保存手段）である。【００４２】
図４は、コンピュータ１０８が備える内部構成を示した図である。なお、この内部構成は、コンピュータ１０８のメモリ１２１に上記プログラムが一旦格納され、このプログラムがＣＰＵ（中央演算処理装置）１２０で実行されることで得られる各種機能も含んでいる。【００４３】
コンピュータ１０８は、ＣＰＵ１２０、メモリ１２１、上記各保存手段１０５、１１０、１１２にそれぞれ接続される入出力インターフェース１２３、１２４、１２５を備える。また、プログラムをＣＰＵ１２０で実行することで得られる機能構成として、素材カット手段１７０を備えている。素材カット手段１７０は、処理前映像１１からカット対象素材をカットして背景用映像１２を生成する処理を行う。この素材カット手段１７０は、詳細に、処理前映像色情報収集部１７２、色設定部１７４、映像修正部１７６、枠設定部１７８を備える。【００４４】
処理前映像色情報収集部１７２は、図５に示されるように、処理前映像１１のフレーム群１０７Ｇを対象に、特定の収集点Ｔ１（ここでは特定の１画素）の色情報を時間軸に沿って収集して、色情報セットＣ（Ｔ１）を生成する。特にここでは、処理前映像１１の全フレーム１０７の中から、所定の間隔を空けた複数フレーム１０７を選択してフレーム群１０７Ｇを構成し、色情報セットＣ（Ｔ１）を得るようにしている。【００４５】
このように、具体的な素材カット処理を行う前に、処理前映像１１の同一座標にある収集点Ｔ１について、時間軸方向に色情報を予め収集して色情報を１次元化し、この１次元化された色情報セット全体に、収集点Ｔ１に関する座標情報を付加することで、情報量を大幅に低減させるようにしている。また、全フレーム１０７を収集するのではなく、所定の間隔を空けて色情報を収集しているので、これによっても情報量を低減させている。なお、本実施形態では、収集点を１画素で構成しているが、隣接する複数画素（例えば８×８ピクセル）で構成しても良い。また、ここでは、各フレーム１０７のローカル座標が同一となる画素を収集点としたが、被写体側（映像側）のグローバル座標（特定被写体側の基準位置）を基準とし、拡大・縮小度合いを考量して、同一位置となる画素を収集点とすることもできる。【００４６】
図４に戻って、色設定部１７４は、色情報セットＣ（Ｔ１）から、背景が写っている色とカット対象素材が写っている色を判定して、最適な背景側色値を決定する。具体的には、まずスペクトル解析部１７４Ａによって収集された色情報セットＣ（Ｔ１）をスペクトル分析する。具体的には、図６（Ａ）に示されるように、色情報セットＣ（Ｔ１）を用いて、色情報の分布状況を表すヒストグラムを作成することで、その色スペクトルの出現頻度を算出する。このヒストグラムにおいて、横軸は色値、縦軸は色値の出現数（フレーム数）である。このヒストグラムから、収集点（Ｔ１）において一番多く出現する色値が判断できる。背景映像の前を横切る通行人５Ａやバス５Ｂなど、カット対象素材となる色は、出現頻度が低く、静止している背景側の色は出現頻度が高い。色決定部１７４Ｂでは、このスペクトル分析結果を利用して出現頻度が最大となる色を、背景側色値Ｈ（Ｔ１）に決定する。【００４７】
なお、色情報セットＣ（Ｔ１）の収集量が少ないと、図６（Ｂ）に示されるように、ヒストグラムにおいて最頻値が適切に得られない場合がある。これは、処理前映像１１において、背景側が登場している時間と、その前を横切る通行人５Ａやバス５Ｂ等のカット対象素材が登場している時間に十分な差が生じていないことに起因する。従って、色決定部１７４Ｂでは、収集した色情報セットＣ（Ｔ１）における最頻値の量や占有率に対して、判定基準値Ｐ（例えば、占有率１０％以上）を設定する。実際の最頻値が、この判定基準値Ｐを超えない限りは、色情報セットＣ（Ｔ１）の収集量が不足していると判断して、エラー結果を返す。このエラー結果は、処理前映像色情報収集部１７２に伝えられる。処理前映像色情報収集部１７２は、エラー結果となった収集点Ｔ１について、フレーム１０７の収集間隔を詰めたり、フレーム１０７を補充したりして、多くの色情報を収集して色情報セットＣ（Ｔ１）を再生成し、この色情報セットＣ（Ｔ１）色設定部１７４が再びスペクトル分析するようになっている。【００４８】
なお、本実施形態では、色スペクトル分析を利用して背景側色値Ｈを決定する場合を示したが、例えば、色情報セットＣにおける色平均値に基づいて、背景側色値Ｈを決定することも可能である。また、ここでは収集点Ｔ１についてのみ説明したが、背景を抽出したい全領域に対して、素材カット手段１７０が背景側色値Ｈの決定を実行していく。【００４９】
図４に戻って、映像修正部１７６は、この背景側色値Ｈを利用して背景側映像１２を生成する。この際、映像修正部１７６における修正前色情報収集部１７６Ａが、背景側色値Ｈ（Ｔ１）に対応する収集点（Ｔ１）において、処理前映像１１の全フレームの色情報を収集して、修正前色情報セットＡ（Ｔ１）を収集する。なお、処理前映像色情報収集部１７２が、全フレームの色値を収集している場合は、その色情報セットＣ（Ｔ１）をそのまま修正前色情報セットＡ（Ｔ１）として用いることも可能である。仮に、映像中において、この収集点がずっと同じものを表示していれば、修正前色情報セットＡ（Ｔ１）のスペクトルは経時的に一定となり、縦軸にスペクトル変化、横軸にフレーム数（時間経過）を示すグラフを生成すると水平な直線となる。また、収集点に背景以外の映像が現れた場合は、修正前色情報セットＡ（Ｔ１）のスペクトルも大きく変化する。しかし、実際には、修正前色情報セットＡ（Ｔ１）には、背景色やカット対象素材色のほか、太陽光そのものの揺らぎ、太陽や雲の移動などによる揺らぎなどを含んでいる。従って、図７（Ａ）に示されるように、定常的にも時間軸に沿って色が微少に変化しつつ、カット対象素材が突然現れるとグラフが大きく触れる。【００５０】
映像修正部１７６は、各修正前色情報セットＡ（Ｔ１）に対して背景側色値Ｈ（Ｔ１）に基づいた判定閾色値を設定する。本実施形態では、映像修正部１７６における閾色値決定部１７６Ｂが、背景側色値Ｈ（Ｔ１）を中心として一定の変動許容幅Ｋを有する上限側色値ＳＨ（Ｔ１）と下限側色値ＳＬ（Ｔ１）を決定する。更に、映像修正部１７６における修正作業部１７６Ｃは、修正前色情報セットＡ（Ｔ１）中における上限側色値ＳＨ（Ｔ１）と下限側色値ＳＬ（Ｔ１）を超える領域Ｘを抽出し、その間の色情報に修正を加えていく。【００５１】
修正作業部１７６Ｃは、修正前色情報セットＡ（Ｔ１）中における上限側色値ＳＨ（Ｔ１）と下限側色値ＳＬ（Ｔ１）を超えるタイミングの直前近傍の色情報Ｆを用いて、これらの閾色値を超える領域Ｘの色情報を置換して、図７（Ｂ）に示されるように、修正後色情報セットＢ（Ｔ１）を出力する。このようにすると、ノイズや太陽光、雲などの微少な揺らぎは残したまま、カット対象素材をカットすることが可能となり、完全に一時停止したような映像ではなく、背景のみを撮影しているような自然な映像を得ることができる。なお、ここでは収集点Ｔ１についてのみ、処理前映像１１を修正する場合を説明したが、背景を抽出したい全領域に対して、修正用色情報セットＡの修正を実行して修正後色情報セットＢを出力し、それを合成することで、背景側映像１２が完成する。【００５２】
なお、枠設定部１７８は、図８に示されるように、背景用映像生成システム１００のユーザー画面Ｕ上において、処理前映像１１に対して設定枠１７８Ａを重ねて表示する。この設定枠１７８Ａにより、ユーザーに対して、カット対象素材のカット処理を施したい領域を設定するように促す。例えば、処理前映像１１の全体に、通行人５Ａやバス５Ｂなどのカット対象素材が存在するわけではなく、一部の領域に限られている場合には、その領域のみで、カット処理を行えばよい、。従って、このように設定枠１７８Ａによって領域設定させることで処理時間を大幅に短縮することが可能となり、また、設定枠１７８Ａ以外の部分はカット処理を行わないようにして、自然な映像を残存させることが可能になる。なお、本実施形態では、枠設定部１７８が、設定枠１７８によって領域を設定することに加えて、時間軸をユーザー画面に表示させるようにして、時間領域Ｖも設定できるようにしている。このようにすると、特定の時間領域Ｖにカット対象素材が集中して存在し、それ以外の時間帯はカット対象素材が存在しない場合には、この特定の時間領域Ｖに限ってカット処理を行うことが可能となる。【００５３】
次に、図９のフローチャートを用いて、背景用映像生成システム１００の背景側映像生成手順を説明する。【００５４】
まず、カメラで撮影した処理前映像１１が格納されているハードディスク１０５から、そのデータを入出力インタフェース１２３を介して読み込み（Ｓ１０１）、メモリ１２１に記憶させてから（Ｓ１０２）、ＣＰＵ１２０に伝送する（Ｓ１０３）。次に、ハードディスク１１２に格納してある背景用映像生成システム用のプログラムを、入出力インタフェース１２４で読み込み（Ｓ１０４）、メモリ１２１に記憶させ（Ｓ１０５）、ＣＰＵ１２０に送る（Ｓ１０６）。このＣＰＵ１２０では、プログラムを実行して、処理前映像１１のデータを用いて素材カット処理を行う（Ｓ１０７）。この処理によって得られる背景用映像１２は、メモリ１２１に送られ（Ｓ１０８）、入出力インタフェース１２５を介してハードディスク１１０に書き込まれる（Ｓ１０９）。【００５５】
図１０は、図９のフローチャートにおけるステップＳ１０７の素材カット処理の詳細手順を示したフローチャートである。【００５６】
本実施形態では、処理前映像１１に対して、同じ座標となる収集点毎、特に本実施形態では一画素毎に処理を行っていく。そこでステップＳ２０１では、処理前映像１１に、まだカット処理を行っていない画素（収集点）が残っているか否かを確かめる。【００５７】
素材カット処理を行っていない画素が存在する場合は、ステップＳ２０２に進んで、その新たな１画素（収集点）について、処理前映像色情報収集部１７２が、処理前映像１１における未収集の（残存する）フレーム１０７の有無を判断し、更にステップ２０３で、未収集のフレーム１０７があれば、そのフレーム１０７の色情報を収集して色情報セットＣに組み込む。なお、第１回目の処理では、処理前映像１１における最小限の複数フレーム１０７の色情報が、色情報セットＣに組み込まれる。その後、ステップ２０４において、色設定部１７４は、この色情報セットＣについてスペクトル分析を行い、スペクトル最頻値の占有率が判断基準値Ｐを超えるか否かを判定する。その結果、色情報セットＣの情報量が不足して、最頻値を選定することができない場合（エラーとなる場合）は、色情報を補充するためにステップ２０２に戻って、残存するフレーム１０７から特定のフレーム１０７を選定し、このフレーム１０７の色情報を収集して色情報セットＣに補充する（Ｓ２０３）。なお、このフレーム１０７の選定は、収集済みのフレーム１０７に隣接するフレーム１０７であっても良く、既に述べたように、収集済みのフレーム１０７から一定の間隔を空けたフレーム１０７を選定しても良い。これを繰り返すことで色情報セットＣの情報量を順次増やしていき、ステップ２０４のスペクトル分析で、判定基準値を超える特定の色情報を選定できるようになると、ステップＳ２０６で背景側色値Ｈを決定する。その後、次の１画素（収集点）に移行して（Ｓ２０７）、同様にステップ２０１〜ステップ２０６を経て背景側色値Ｈを決定していく。なお、ステップ２０４のスペクトル分析で背景側色値が決定できないまま、ステップ２０１で残存フレームが無くなってしまったら、背景側色値Ｈを決定できない旨のエラーを出力して（Ｓ２０９）、次の画素に進む（Ｓ２０７）。【００５８】
これらの処理を繰り返して、処理対象領域の全ての画素の背景側色値Ｈの決定が終了したら（Ｓ２０１）、ステップ２１０に進んで、映像修正部１７６によって映像の修正処理を実行し（詳細は後述）、その後、ステップ２１１において、処理後の背景用映像が自然か否かをチェックして、チェックが完了したら終了する。一方、背景用映像が不自然であれば、全ての処理をやり直す（Ｓ２１２）。
【００５９】
図１１は、図１０のフローチャートにおけるステップＳ２１０の修正処理の更なる詳細手順を示したフローチャートである。【００６０】
この修正処理では、処理前映像１１に対して、同じ座標となる収集点毎、特に本実施形態では一画素毎に修正処理を行っていく。そこでステップＳ３０１では、処理前映像１１に、まだ修正処理を行っていない画素（収集点）が残っているか否かを確かめる。【００６１】
修正処理を行っていない画素が存在する場合は、ステップＳ３０２に進んで、その新たな１画素（収集点）について、修正前色情報収集部１７６Ａが、処理前映像１１の全フレーム１０７の色情報を収集して修正前色情報セットＡを生成する。次いで、閾色値決定部１７６Ｂが、この収集点の背景側色値Ｈを用いて上限側色値ＳＨと下限側色値ＳＬを決定し（Ｓ３０３）、更にステップ３０４において、修正作業部１７６Ｃが、修正前色情報セットＡにおける上限側色値ＳＨと下限側色値ＳＬを超える領域の色情報に修正を加えていき修正後色情報セットＢを生成する。修正が完了したら、次の画素に移行して（Ｓ３０５）、同じ処理を繰り返す。処理対象領域の全ての画素の背景側色値の決定が終了したら（Ｓ３０１）、修正処理は完了となる。【００６２】
この背景用映像生成システム１００によれば、処理前映像１１の時間変化を利用して、背景とカット対象素材の色の違いを判別することで、背景用映像１２を生成している。この結果、都心において交通規制を行ったり、専用スタジオを構築したりすることなく、通行人等が含まれている処理前映像１１を用意するだけで、背景用映像１２を生成することが可能となる。また、特定の収集点について複数フレーム１０７間で色情報を収集して色情報セットＣを生成し、この色情報セットＣの時間的な色変化を利用して背景側色値Ｈを決定するようにしている。従って、２次元又は３次元の色情報をそのまま処理していく場合と比較して、収集点の座標情報は、１つの色情報セットに対応させて１つ用意するだけで済むため、色情報セットの情報量が極めて少なくなり、処理速度を飛躍的に高めることが可能となっている。また、このように色情報セットＣを単位とするので、複数の色情報セットＣを、複数台のコンピュータやＣＰＵに分散させて背景側色値Ｈを決定させていき、それを最後に収集することで背景用映像１２を短時間で生成することも可能となる。【００６３】
なお、本実施形態では、１画素を収集点として処理を行う場合に限って示したが、相互に隣接する複数画素を収集点として処理を行うことも好ましい。例えば、建物や公園など、色調があまり変化しない背景の場合は、複数画素単位を収集点とすることで、全体的に色調が安定した背景用映像１２を得ることが可能となる。また、収集点の数を減らすことができるので、背景側色値Ｈの決定や、映像を修正する際に要する時間を更に短縮することができる。【００６４】
また、本実施形態では、処理前映像１１の全フレーム１０７において、所定の間隔を空けた複数フレーム１０７を選択して色情報セットＣを生成し、これを利用して背景側色値Ｈを得るようにしているので、これによっても情報量を低減することが可能となっている。また、最初から、多数のフレーム１０７の色情報を収集して色情報セットＣを生成するのではなく、背景側色値Ｈを決定するためのスペクトル分析の結果を利用して、フレーム数の不足を補いながら、背景側色値Ｈを決定していくので、色情報セットＣを最小限の情報量にすることが可能となっている。【００６５】
更に、この背景用映像生成システム１００では、この色情報セットＣにおける色スペクトルの出現頻度に基づいて、その最頻値を背景側色値Ｈを決定しているので、この背景側色値Ｈが実際の背景色である可能性が高く、色彩の選定ミスを低減させることが可能となっている。特に、本実施形態では、判定基準値を予め用意しておき、色情報セットＣにおける色スペクトルの最頻値が、判定基準値を超える場合に限って、これを背景側色値Ｈに設定可能としている。この結果、情報不足の状態で誤って背景側色値Ｈを決定することをが回避され、信頼性の高い背景側色値Ｈを決定することができる。【００６６】
勿論、本背景用映像生成システム１００は、この背景側色値Ｈをそのまま用いれば、静止画となる背景側映像を得ることが可能である。背景側映像は、基本的に静止画で十分である。一方、本実施形態では、更に、背景側色値Ｈに基づいた判定閾色値を設定して、この判定閾色値を超える部分に対して処理前映像を修正するようにしている。従って、判定閾色値を超えない部分については、映像をそのまま残すようにすることで、例えば、雲の移動によって微少に暗くなったり、夕焼けの赤の濃さが次第に濃くなったりするような風景をそのまま表現することができる。なお、この判定閾色値は、映像の揺らぎを大きく残存させたい場合は背景側色値Ｈからの差を大きく設定し、揺らぎを小さくする場合には差を小さく設定する。なお、この判定閾色値を超える領域の映像修正は、背景側色値Ｈをそのまま用いることも可能であり、また、この判定閾色値自体を用いて修正することも可能である。一方、映像を更に滑らかにするためには、判定閾色値を超えるタイミングの直前近傍又は直後近傍の色情報を抽出して、判定閾色値を超える部分の映像を修正することも好ましい。【００６７】
更に本実施形態では、処理前映像１１に対して、背景を抽出したい領域を決定する枠情報を生成するようにしている。このようにすると、枠情報以外の領域では、積極的に全面側の映像（例えば、通行人や車など）をのこする事ができる。従って、処理前映像１１において、カット対象素材を部分的にカットした背景用映像１２を得ることができる。【００６８】
なお、本実施形態では特に示していないが、時間軸方向に収集された色情報セットを規格化することも好ましい。このようにすることで、修正部における修正基準が明確になり、背景用用映像を適切に生成することが可能となる。また、不要なノイズ等も適切に除去することが可能となる。【００６９】
更に、本実施形態では、各収集点の同一位置を定義する基準として、各フレームのローカル座標を用いる場合を示したが、本発明はそれに限定されない。例えば、手ぶれ等によって生じるフレーム間の相対的なずれや、映像のズーム状態を考慮して、収集点の同一位置を決定することも可能である。具体的に本発明は、被写体側のグローバル座標（被写体側の基準位置）を基準として、各フレームの画素の配置を定義し、その配置が同一となる収集点を比較する場合も含む。【００７０】
更に、本実施形態では、生成した背景用映像に対して、別途撮影した挿入用背景映像を合成する場合を示したが、本発明はそれに限定されず、背景用映像をそのまま用いても良く、また、コンピュータグラフィクスを合成することも可能である。【００７１】
また、本実施形態の背景用映像生成システム１００では、複数のハードディスクや入出力インターフェースを用いて、処理前映像、背景用映像、プログラム等を別々に保存する場合を示したが、本発明はそれに限定されず、共通する記憶手段にまとめて格納することも勿論可能である。
【図１】
2010018610.tif 000003
【図２】
2010018610.tif 000004
【図３】
2010018610.tif 000005
【図４】
2010018610.tif 000006
【図５】
2010018610.tif 000007
【図６】
2010018610.tif 000008
【図７】
2010018610.tif 000009
【図８】
2010018610.tif 000010
【図９】
2010018610.tif 000011
【図１０】
2010018610.tif 000012
【図１１】
2010018610.tif 000013
【手続補正書】
【提出日】平成20年12月16日(2008.12.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像を用意する準備ステップと、
前記処理前映像の１画素以上の収集点において、色の値を複数フレーム間で収集して色情報セットを得る色情報収集ステップと、
前記色情報セットから、前記背景が写っている色と前記カット対象素材が写っている色を判定して、最適な背景側色値を決定する色設定ステップと、を備え、
前記背景を抽出したい領域に対して、前記色情報収集ステップ及び前記色設定ステップを適用することで、前記背景が抽出された背景用映像を得ることを特徴とする背景用映像生成方法。
【請求項２】
前記収集点は、特定の１画素と、前記特定の１画素に隣接する隣接画素とを含む複数画素によって構成されることを特徴とする請求の範囲１記載の背景用映像生成方法。
【請求項３】
前記色情報収集ステップでは、前記処理前映像の全フレームにおける所定の間隔を空けた複数フレームを選択して前記色情報セットを得ることを特徴とする請求の範囲１又は２記載の背景用映像生成方法。
【請求項４】
前記色設定ステップにおいて前記背景側色値の決定が不能な場合、前記色情報収集ステップに戻って前記フレームの数を増大させて前記色情報セットを再取得することを特徴とする請求の範囲１、２又は３に記載の背景用映像生成方法。
【請求項５】
前記色設定ステップでは、前記色情報セットにおける色スペクトルの出現頻度に基づいて、前記背景側色値を決定することを特徴とする請求の範囲１乃至４のいずれかに記載の背景用映像生成方法。
【請求項６】
前記色設定ステップでは、前記色情報セットにおける色スペクトルの最頻値を前記背景側色値に決定することを特徴とする請求の範囲５記載の背景用映像生成方法。
【請求項７】
前記色設定ステップでは、判定基準値を予め用意しておき、前記出現頻度が前記判定基準値を超える場合に、前記背景側色値を決定することを特徴とする請求の範囲５又は６記載の背景用映像生成方法。
【請求項８】
前記色設定ステップでは、前記色情報セットにおける色平均値に基づいて、前記背景側色値を決定することを特徴とする請求の範囲１、２又は３に記載の背景用映像生成方法。
【請求項９】
前記背景が抽出された前記背景用映像を得る際に、前記背景側色値に基づいた判定閾色値を設定し、前記判定閾色値を超える部分に対して前記処理前映像を修正することで、ノイズを残存させた前記背景用映像を得ることを特徴とする請求の範囲１乃至８のいずれかに記載の背景用映像生成方法。
【請求項１０】
前記処理前映像における前記判定閾色値を超えるタイミングの直前近傍の色情報を用いて、前記判定閾色値を超える部分の映像を修正することを特徴とする請求の範囲９に記載の背景用映像生成方法。
【請求項１１】
前記判定閾色値として判定上限色値及び判定下限色値を設定し、前記判定上限値を上回る部分又は前記判定下限値を下回る部分に対して前記処理前映像を修正することを特徴とする請求の範囲９又は１０に記載の背景用映像生成方法。
【請求項１２】
前記処理前映像に対して、前記背景を抽出したい領域を決定する枠情報を生成する枠設定ステップを有することを特徴とする請求の範囲１乃至１１のいずれかに記載の背景用映像生成方法。
【請求項１３】
任意の背景の下でカット対象素材が含まれた状態で撮影された処理前映像を記憶手段に格納する準備手段と、
前記処理前映像の１画素以上の収集点において、色の値を複数フレーム間で収集して色情報セットを生成する色情報収集手段と、
前記色情報セットから、前記背景が写っている色と前記カット対象素材が写っている色を判定して、最適な背景側色値を決定する色設定手段と、を備え、
前記背景を抽出したい領域に対して、前記色情報収集手段及び前記色設定手段によって前記背景側色値を決定することで、前記背景が抽出された背景用映像を得ることを特徴とする背景用映像生成システム。
【請求項１４】
前記色情報収集手段における前記収集点は、特定の１画素と、前記特定の１画素に隣接する隣接画素とを含む複数画素によって構成されることを特徴とする請求の範囲１３記載の背景用映像生成システム。
【請求項１５】
前記色情報収集手段では、前記処理前映像の全フレームから所定の間隔を空けた複数フレームを選択して前記色情報セットを得ることを特徴とする請求の範囲１３又は１４記載の背景用映像生成システム。
【請求項１６】
前記色設定手段において前記背景側色値の決定が不能な場合、前記色情報収集手段が、前記フレームの数を増大させて前記色情報セットを再取得することを特徴とする請求の範囲１３、１４又は１５に記載の背景用映像生成システム。
【請求項１７】
前記色設定手段では、前記色情報セットにおける色スペクトルの出現頻度に基づいて、前記背景側色値を決定することを特徴とする請求の範囲１３乃至１６のいずれかに記載の背景用映像生成システム。
【請求項１８】
前記色設定手段では、前記色情報セットにおける色スペクトルの最頻値を前記背景側色値に決定することを特徴とする請求の範囲１７記載の背景用映像生成システム。
【請求項１９】
前記色設定手段では、判定基準値を予め用意しておき、前記出現頻度が前記判定基準値を超える場合に、前記背景側色値を決定することを特徴とする請求の範囲１７又は１８記載の背景用映像生成システム。
【請求項２０】
前記色設定手段では、前記色情報セットにおける色平均値に基づいて、前記背景側色値を決定することを特徴とする請求の範囲１３、１４又は１５に記載の背景用映像生成システム。
【請求項２１】
前記背景が抽出された前記背景用映像を得る際に、前記背景側色値に基づいた判定閾色値を設定し、前記判定閾色値を超える部分に対して前記処理前映像を修正する修正作業手段を備えることを特徴とする請求の範囲１３乃至２０のいずれかに記載の背景用映像生成システム。
【請求項２２】
前記修正作業手段では、前記処理前映像における前記判定閾色値を超えるタイミングの直前近傍の色情報を用いて、前記判定閾色値を超える部分の映像を修正することを特徴とする請求の範囲２１に記載の背景用映像生成システム。
【請求項２３】
前記修正作業手段では、前記判定閾色値として判定上限色値及び判定下限色値を設定し、前記判定上限値を上回る部分又は前記判定下限値を下回る部分に対して前記処理前映像を修正することを特徴とする請求の範囲２１又は２２に記載の背景用映像生成システム。
【請求項２４】
前記処理前映像に対して、前記背景を抽出したい領域を決定する枠情報を生成する枠設定手段を有することを特徴とする請求の範囲１３乃至２３のいずれかに記載の背景用映像生成システム。
【国際調査報告】
2010018610.tif 000014
2010018610.tif 000015