(57)【要約】【課題】所要画像を生成する際に、受け付けた複数の画像に含まれていた同等箇所について、各々の描写範囲に合った大きさを有した切出・拡大画像を用いることができる画像生成システムを提供する。【解決手段】画像生成システムは、少なくとも２つの入力画像を受け付け、少なくとも２つの入力画像を比較することにより相対的な位置及び拡大率を検出して、相対的な位置及び拡大率を表す少なくとも１つの検出信号を出力する画像切出位置検出装置と、少なくとも１つの検出信号に基づいて、別画像から少なくとも１部分を切り出し、拡大して、少なくとも１つの切出・拡大画像を出力する切出・拡大画像生成装置と、少なくとも２つの入力画像の１つに、別画像及び少なくとも１つの切出・拡大画像の１つを、選択的に合成して、出力合成画像を出力する画像出力装置と、を含む。【選択図】図１
2016039424.tif 000002
【特許請求の範囲】
【請求項１】
少なくとも２つの入力画像を受け付け、前記少なくとも２つの入力画像を比較することにより相対的な位置及び拡大率を検出して、該相対的な位置及び拡大率を表す少なくとも１つの検出信号を出力する画像切出位置検出装置と、
前記少なくとも１つの検出信号に基づいて、別画像から少なくとも１部分を切り出し、拡大して、少なくとも１つの切出・拡大画像を出力する切出・拡大画像生成装置と、
前記少なくとも２つの入力画像の１つに、前記別画像及び前記少なくとも１つの切出・拡大画像の１つを、選択的に合成して、出力合成画像を出力する画像出力装置と、
を含む画像生成システム。
【請求項２】
前記少なくとも２つの入力画像は、クロマキースタジオにおいて少なくとも２台のカメラで撮像されたカメラ映像であり、
前記別画像は、クロマキー処理により前記カメラ映像の背景として合成されるべき背景映像である、
請求項１に記載の画像生成システム。
【請求項３】
前記少なくとも２つの入力画像は、被写体を撮像して得られる第１及び第２の入力画像から成り、
前記第１の入力画像は、前記被写体を撮像して得られる基準入力画像から成り、前記第２の入力画像は、前記被写体を撮像して得られる前記基準入力画像の１部分を拡大した部分入力画像から成り、
前記少なくとも１つの検出信号は、１つの検出信号から成り、
前記少なくとも１つの切出・拡大画像は、１つの切出・拡大画像から成り、
前記画像切出位置検出装置は、前記検出信号として、前記基準入力画像に対する前記部分入力画像の相対的な位置を表す位置検出信号と、前記基準入力画像に対する前記部分入力画像の拡大率を表す拡大率検出信号とを出力し、
前記切出・拡大画像生成装置は、前記位置検出信号に基づいて前記別画像から１部分を切り出して切出画像を得て、該切出画像を前記拡大率検出信号に基づいて拡大して前記切出・拡大画像を得、
前記画像出力装置は、前記第１の入力画像に前記別画像を合成して得られる第１の合成画像と、前記第２の入力画像に前記切出・拡大画像を合成して得られる第２の合成画像とから１つを選択して、該選択した画像を前記出力合成画像として出力する、
請求項１又は２に記載の画像生成システム。
【請求項４】
前記画像切出位置検出装置は、
前記基準入力画像に対する前記部分入力画像の相対的な位置を検出して、前記位置検出信号を出力する位置検出部と、
前記基準入力画像に対する前記部分入力画像の拡大率を検出して、前記拡大率検出信号を出力する拡大率検出部と、
から成る、請求項３に記載の画像生成システム。
【請求項５】
前記切出・拡大画像生成装置は、
前記位置検出信号に基づいて前記別画像から１部分を切り出して、前記切出画像を出力する画像切出処理部と、
前記切出画像を前記拡大率検出信号に基づいて拡大して、前記切出・拡大画像を出力するリサイズ処理部と、
から成る、請求項３又は４に記載の画像生成システム。
【請求項６】
前記画像出力装置は、
前記第１の入力画像に前記別画像を合成して、前記第１の合成画像を出力する第１の合成器と、
前記第２の入力画像に前記切出・拡大画像を合成して、前記第２の合成画像を出力する第２の合成器と、
前記第１の合成画像と前記第２の合成画像とから１つを選択して、該選択した画像を前記出力合成画像として出力する選択器と、
から成る、請求項３乃至５の何れか一項に記載の画像生成システム。
【請求項７】
前記少なくとも２つの入力画像は、被写体を撮像して得られる第１乃至第Ｎ（Ｎは３以上の整数）の入力画像から成り、
前記第１の入力画像は、前記被写体を撮像して得られる基準入力画像から成り、前記第２乃至第Ｎの入力画像は、前記被写体を撮像して得られる前記基準入力画像の第１乃至第（Ｎ−１）の部分を拡大した第１乃至第（Ｎ−１）の部分入力画像から成り、
前記少なくとも１つの検出信号は、第１乃至第（Ｎ−１）の検出信号から成り、
前記少なくとも１つの切出・拡大画像は、第１乃至第（Ｎ−１）の切出・拡大画像から成り、
前記画像切出位置検出装置は、前記第１乃至第（Ｎ−１）の検出信号として、前記基準入力画像に対する前記第１乃至第（Ｎ−１）の部分入力画像の相対的な位置を表す第１乃至第（Ｎ−１）の位置検出信号と、前記基準入力画像に対する前記第１乃至第（Ｎ−１）の部分入力画像の拡大率を表す第１乃至第（Ｎ−１）の拡大率検出信号とを出力し、
前記切出・拡大画像生成装置は、前記第１乃至第（Ｎ−１）の位置検出信号に基づいて、それぞれ、前記別画像から異なる第１乃至第（Ｎ−１）の部分を切り出して第１乃至第（Ｎ−１）の切出画像を得て、該第１乃至第（Ｎ−１）の切出画像を、それぞれ、前記第１乃至第（Ｎ−１）の拡大率検出信号に基づいて拡大して前記第１乃至第（Ｎ−１）の切出・拡大画像を得、
前記画像出力装置は、前記第１の入力画像に前記別画像を合成して得られる第１の合成画像と、前記第２乃至第Ｎの入力画像に、それぞれ、前記第１乃至第（Ｎ−１）の切出・拡大画像を合成して得られる第２乃至第Ｎの合成画像とから１つを選択して、該選択した画像を前記出力合成画像として出力する、
請求項１又は２に記載の画像生成システム。
【請求項８】
前記画像切出位置検出装置は、
前記基準入力画像に対する前記第１乃至第（Ｎ−１）の部分入力画像の相対的な位置を検出して、前記第１乃至第（Ｎ−１）の位置検出信号を出力する第１乃至第（Ｎ−１）の位置検出部と、
前記基準入力画像に対する前記第１乃至第（Ｎ−１）の部分入力画像の拡大率を検出して、前記第１乃至第（Ｎ−１）の拡大率検出信号を出力する拡大率検出部と、
から成る、請求項７に記載の画像生成システム。
【請求項９】
前記切出・拡大画像生成装置は、
前記第１乃至第（Ｎ−１）の位置検出信号に基づいて、それぞれ、前記別画像から異なる第１乃至第（Ｎ−１）の部分を切り出して、前記第１乃至第（Ｎ−１）の切出画像を出力する第１乃至第（Ｎ−１）の画像切出処理部と、
前記第１乃至第（Ｎ−１）の切出画像を、それぞれ、前記拡大率検出信号に基づいて拡大して、前記第１乃至第（Ｎ−１）の切出・拡大画像を出力する第１乃至第（Ｎ−１）のリサイズ処理部と、
から成る、請求項７又は８に記載の画像生成システム。
【請求項１０】
前記画像出力装置は、
前記第１の入力画像に前記別画像を合成して、前記第１の合成画像を出力する第１の合成器と、
前記第２乃至第Ｎの入力画像に、それぞれ、前記第１乃至第（Ｎ−１）の切出・拡大画像を合成して、前記第２乃至第Ｎの合成画像を出力する第２乃至第Ｎの合成器と、
前記第１乃至第Ｎの合成画像から１つを選択して、該選択した画像を前記出力合成画像として出力する選択器と、
から成る、請求項７乃至９の何れか一項に記載の画像生成システム。
【請求項１１】
少なくとも２つの入力画像を受け付けて、前記少なくとも２つの入力画像を比較することにより相対的な位置及び拡大率を検出して、該相対的な位置及び拡大率を表す少なくとも１つの検出信号を出力し、
前記少なくとも１つの検出信号に基づいて、別画像から少なくとも１部分を切り出し、拡大して、少なくとも１つの切出・拡大画像を出力し、
前記少なくとも２つの入力画像の１つに、前記別画像及び前記少なくとも１つの切出・拡大画像の１つを、選択的に合成して、出力合成画像を出力する、
合成画像出力方法。
【請求項１２】
基準入力画像と少なくとも１つの部分入力画像とを受け付ける入力部と、
前記基準入力画像に対する前記少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を出力する位置検出部と、
前記基準入力画像に対する前記少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を出力する拡大率検出部と、
から成る、画像切出位置検出装置。
【請求項１３】
基準入力画像と少なくとも１つの部分入力画像とを受け付け、
前記基準入力画像に対する前記少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を出力し、
前記基準入力画像に対する前記少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を出力する、
画像切出位置を検出する方法。
【請求項１４】
情報処理システムを、
基準入力画像と少なくとも１つの部分入力画像とを受け付ける入力手段と、
前記基準入力画像に対する前記少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を出力する位置検出手段と、
前記基準入力画像に対する前記少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を出力する拡大率検出手段、
として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成技術に関し、例えば、放送局等で使用されるクロマキー合成やカット割り用画像合成を実施する画像生成システムに関する。
【背景技術】
【０００２】
放送局では、多種多様な映像ソースを様々な画像合成を駆使して映像効果を高めている。映像効果を例示すれば、カット割り、拡大映像、縮小映像、クロマキー、スーパインポーズなどが例示できる。多くの放送局では、プロダクションスイッチャ装置内で、これらの放送効果を得た映像を放送映像として生成している。 
また、一部の放送局では、任意カメラによるスタジオ映像と背景映像をクロマキー処理で合成する演出が行われている。
【０００３】
関連する技術としては、特許文献１が挙げられる。 
特許文献１には、バーチャルスタジオを構築するシステムが開示されている。 
このシステムは、まず、ビデオカメラの位置を固定するカメラ台にビデオカメラの動き（向き等）を検知するセンサを取り付け、予め実空間に似せて構築済みの仮想空間の同等位置にバーチャルカメラを構築する。次に、背景映像をクロマキー処理で合成する際に、実空間を撮影した映像内のオブジェクト位置と仮想空間の同一対象として構築済みのオブジェクト位置を揃えるように、バーチャルカメラ映像を取得する。次に、ビデオカメラの映像とバーチャルカメラの映像を合成する。このように構成することで、ビデオカメラの向きや拡大率を変えた際に、バーチャルカメラから取得される映像もビデオカメラに追尾したバーチャル映像を取得可能になる。結果、演出の自由度が増すことになる。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００４−２２７３３２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
現状のシステムでは、ディレクターなどが所要画像を望み、映像ソースを用いてその画像構成に合成処理する際に、様々な課題がある。
【０００６】
その１つとして、映像ソースである複数の画像に含まれていた同等箇所について、各々の描写範囲に合った 任意画像から取得された切り出し画像を準備することに様々な問題がある。
【０００７】
例えば、クロマキー合成を用いて複数台のスタジオカメラでカット割りを演出した場合、スタジオカメラを別のスタジオカメラに切り替えても背景映像はそのままに成る。 
演出上、切り替えたスタジオカメラが被写体を拡大した映像であっても、背景は切替前と同じとなるので、被写体と背景画の拡大率や位置が突然変化したような映像が合成される。一般に、不自然な映像に感じられやすい映像に成りやすい問題が生じる。 
このことは、各々のカメラ映像に背景画をクロマキー合成した場合でも、切り替え前と切り替え後のアングルの差に基づく対象の描写サイズの違いと背景画の描写サイズとの連動が無いことが問題の一因と捉えられる。
【０００８】
現状で、このような問題について、合成されるカメラと背景画の相対的なサイズと位置合わせを、手動調整や、特殊カメラを使用したバーチャルスタジオシステムを使用することで番組の作り手が工夫している。 
例えば、バーチャルスタジオシステム（例えば特許文献１のシステム）では、カメラおよびカメラ台に動きを検知するセンサを取り付け、カメラの撮像対象範囲を検出することで、合成画像の位置や拡大率を調整している。しかし、予め実空間を模したバーチャル空間を構築する必要がある。また、合成する映像の一方がバーチャル画像に限定されている。設備費、維持費、工数、定期的なキャリブレーション作業など、運用面で様々な制限がある。
【０００９】
また、手動調整でも、作業工数や運用コスト、リアルタイム性などに課題を残す。
【００１０】
本発明は、上記課題に鑑みて成されたものであり、所要画像を生成する際に、受け付けた複数の画像に含まれていた同等箇所について、各々の描写範囲に合った大きさを有した切り出し画像を用いることができる画像生成システムの提供を目的とする。
【課題を解決するための手段】
【００１１】
本発明に係る画像生成システムは、少なくとも２つの入力画像を受け付け、前記少なくとも２つの入力画像を比較することにより相対的な位置及び拡大率を検出して、該相対的な位置及び拡大率を表す少なくとも１つの検出信号を出力する画像切出位置検出装置と、前記少なくとも１つの検出信号に基づいて、別画像から少なくとも１部分を切り出し、拡大して、少なくとも１つの切出・拡大画像を出力する切出・拡大画像生成装置と、前記少なくとも２つの入力画像の１つに、前記別画像及び前記少なくとも１つの切出・拡大画像の１つを、選択的に合成して、出力合成画像を出力する画像出力装置、を含む。
【００１２】
本発明に係る合成画像出力方法は、少なくとも２つの入力画像を受け付けて、前記少なくとも２つの入力画像を比較することにより相対的な位置及び拡大率を検出して、該相対的な位置及び拡大率を表す少なくとも１つの検出信号を出力し、前記少なくとも１つの検出信号に基づいて、別画像から少なくとも１部分を切り出し、拡大して、少なくとも１つの切出・拡大画像を出力し、前記少なくとも２つの入力画像の１つに、前記別画像及び前記少なくとも１つの切出・拡大画像の１つを、選択的に合成して、出力合成画像を出力する。
【００１３】
本発明に係る画像切出位置検出装置は、基準入力画像と少なくとも１つの部分入力画像とを受け付ける入力部と、前記基準入力画像に対する前記少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を出力する位置検出部と、前記基準入力画像に対する前記少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を出力する拡大率検出部、から成る。
【００１４】
本発明に係る画像切出位置を検出する方法は、基準入力画像と少なくとも１つの部分入力画像とを受け付け、前記基準入力画像に対する前記少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を出力し、前記基準入力画像に対する前記少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を出力する。
【００１５】
本発明に係るプログラムは、情報処理システムを、基準入力画像と少なくとも１つの部分入力画像とを受け付ける入力手段と、前記基準入力画像に対する前記少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を出力する位置検出手段と、前記基準入力画像に対する前記少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を出力する拡大率検出手段、として機能させる。
【発明の効果】
【００１６】
本発明によれば、所要画像を生成する際に、受け付けた複数の画像に含まれていた同等箇所について、各々の描写範囲に合った大きさを有した切り出し画像を用いることができる画像生成システムを提供できる。
【図面の簡単な説明】
【００１７】
【図１】一実施形態の画像生成システムを示す構成図である。
【図２】画像切出位置検出装置の一構成例を示すブロック図である。
【図３】切出・拡大画像生成装置の一構成例を示すブロック図である。
【図４】画像出力装置の一構成例を示すブロック図である。
【図５】画像切出位置検出装置の別の構成例を示すブロック図である。
【図６】切出・拡大画像生成装置の別の構成例を示すブロック図である。
【図７】画像出力装置の別の構成例を示すブロック図である。
【図８】一実施形態の画像生成システムの画像合成フロー例を示したフローチャートである。
【図９】一実施形態の画像切出位置検出部の処理フロー例を示したフローチャートである。
【図１０】第１の実施例に係る画像生成システムでクロマキーカット割りを行う処理フローを説明するための説明図である。
【図１１】クロマキーカット割りの説明で用いる映像や背景画の例を示した説明図である。
【図１２】第１の実施例に係る画像生成システムでカット割り用にクロマキー合成された画像例を示した説明図である。
【図１３】第２の実施例に係る画像生成システムでクロマキーカット割りを行う別の処理フローを説明するための説明図である。
【図１４】クロマキーカット割りの説明で用いる切り抜き信号画像の例を示した説明図である。
【図１５】第３の実施例に係る画像生成システムで高解像度カット割りを行う処理フローを説明するための説明図である。
【図１６】第４の実施例に係る画像生成システムで高解像度クロマキーカット割りを行う処理フローを説明するための説明図である。
【発明を実施するための形態】
【００１８】
以下の説明は、本発明の実施形態について図面を用いて説明する。なお、本発明と関係が薄い構成要素や一般的な構成要素等は、記載を省略または簡略化する。
【００１９】
図１は、一実施形態の画像生成システム１を示す構成図である。 
本実施形態に係る画像生成システム１は、画像切出位置検出装置１０と、切出・拡大画像生成装置２０と、画像出力装置３０とから成る。
【００２０】
画像生成システム１は、複数の映像ソースを受け付けて、入力された合成用操作や設定に基づいて様々な映像効果を発揮した所要映像を出力するように動作する。映像ソースは、外部から受け付けても良いし、予め自装置もしくは映像データベース等に格納しておき、適宜読み出してもよい。また、各映像ソースは、動画でもよいし、静止画でもよい。 
画像切出位置検出装置１０は、少なくとも２つの入力画像を受け付け、入力画像を比較することにより相対的な位置及び拡大率を検出して、相対的な位置及び拡大率を表す少なくとも１つの検出信号を出力する。
【００２１】
入力画像として例示できる画像は、クロマキースタジオにおいて少なくとも２台のカメラで撮像されたカメラ映像や、被写体を撮像して得られる第１及び第２の入力画像が挙げられる。また、入力画像は、ミクサーキーヤー部（図示せず）で生成される切り抜き画像（Ｋｅｙ画像）でもよい。
【００２２】
また、画像切出位置検出装置１０は、ある入力画像を被写体を撮像して得られる基準入力画像として用い、他の入力画像を基準入力画像の一部分を拡大した部分入力画像として用いてもよい。 
画像切出位置検出装置１０は、この入力画像から、基準入力画像に対する部分入力画像の相対的な位置を表す位置検出信号と、基準入力画像に対する部分入力画像の拡大率を表す拡大率検出信号とを出力する構成としてもよい。
【００２３】
例えば、画像切出位置検出装置１０は、図２のように構成する。図２の画像切出位置検出装置１０は、基準入力画像と少なくとも１つの部分入力画像を取得する入力部１１と、位置検出信号を出力する位置検出部１２と、拡大率検出信号を出力する拡大率検出部１３とから成る。
【００２４】
位置検出部１２は、基準入力画像に対する少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を出力すればよい。
【００２５】
また、拡大率検出部１３は、基準入力画像に対する少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を出力する。
【００２６】
切出・拡大画像生成装置２０は、画像切出位置検出装置１０から出力された検出信号に基づいて、別画像から少なくとも１部分を切り出し、拡大して、少なくとも１つの切出・拡大画像を出力する。ここで用いる別画像は、任意もしくは自動的に選定すればよい。
【００２７】
切出・拡大画像生成装置２０は、位置検出信号に基づいて別画像から１部分を切り出して切出画像を得て、この切出画像を拡大率検出信号に基づいて拡大して切出・拡大画像を得る構成とすればよい。
【００２８】
例えば、切出・拡大画像生成装置２０は、図３に示すように画像切出処理部２１と、リサイズ処理部２２から成る。画像切出処理部２１は、位置検出信号に基づいて別画像から１部分を切り出して、切出画像を出力する。リサイズ処理部２２は、切出画像を拡大率検出信号に基づいて拡大して、切出・拡大画像を出力する。
【００２９】
なお、後述する動作例は、クロマキー合成用の画像や８Ｋ映像などの高解像度画像を別画像として用いるシステム構成を説明する。
【００３０】
画像出力装置３０は、少なくとも２つの入力画像の１つに、上記別画像と切出・拡大画像生成装置２０で生成された切出・拡大画像の１つを、選択的に合成して、出力合成画像を出力する。 
例えば、画像出力装置３０は、ある入力画像に別画像を合成して得られる第１の合成画像と、別の入力画像に切出・拡大画像を合成して得られる第２の合成画像とを合成し、一方を選択して出力合成画像として出力する。
【００３１】
ある一構成例は、図４に示すように、第１の合成画像を出力する第１の合成器３１と、第２の合成画像を出力する第２の合成器３２と、第１の合成画像と第２の合成画像とから１つを選択して出力合成画像として出力する選択器３３と、から成る。 
第１の合成器３１は、第１の入力画像に別画像を合成して、第１の合成画像を出力する。第２の合成器は、第２の入力画像に切出・拡大画像を合成して、第２の合成画像を出力する。
【００３２】
なお、入力画像は、２つ以上でも良い。すなわち、システム構成は、被写体を撮像して得られる第１乃至第Ｎ（Ｎは３以上の整数）の入力画像を採用する構成にしても良い。
【００３３】
この構成では、画像切出位置検出装置１０は、ある第１の入力画像を基準入力画像として、第２乃至第Ｎの入力画像を基準入力画像の第１乃至第（Ｎ−１）の部分を拡大した第１乃至第（Ｎ−１）の部分入力画像として用いる。また、この構成では、画像切出位置検出装置１０は、検出信号として、それぞれに合わせた第１乃至第（Ｎ−１）の検出信号を出力するように構成すればよい。
【００３４】
また、切出・拡大画像生成装置２０は、切出・拡大画像として、それぞれに合わせた第１乃至第（Ｎ−１）の切出・拡大画像を出力するように構成すればよい。 
ある一構成では、第１乃至第（Ｎ−１）の検出信号は、第１乃至第（Ｎ−１）の位置検出信号と、第１乃至第（Ｎ−１）の拡大率検出信号とから成るように構成してもよい。この第１乃至第（Ｎ−１）の切出・拡大画像は、それぞれ、第１乃至第（Ｎ−１）の位置検出信号と、第１乃至第（Ｎ−１）の拡大率検出信号とに基づいて別画像を切り出し、拡大した画像である。
【００３５】
また、画像出力装置３０は、各入力画像に上記別画像、及び、この別画像から生成された１乃至第（Ｎ−１）の切出・拡大画像の何れか１つを選択し合成して出力合成画像として出力する構成とできる。
【００３６】
また、画像切出位置検出装置１０は、図５に例示するように、複数の位置検出部１５と対応する拡大率検出部１６とから成るように構成してもよい。複数の位置検出部１５は、基準入力画像に対する他の部分入力画像の相対的な位置を検出して、それぞれの位置検出信号を出力する。拡大率検出部１６は、基準入力画像に対するそれぞれの部分入力画像の拡大率を検出して、それぞれの拡大率検出信号を出力する。
【００３７】
切出・拡大画像生成装置２０は、画像切出位置検出装置１０が出力した位置検出信号に基づいて、上記別画像からそれぞれの部分を切り出して、複数の切出画像を出力する。切出・拡大画像生成装置２０は、図６に例示するように、複数の画像切出処理部２３と、対応する複数のリサイズ処理部２４とから成るように構成してもよい。複数の画像切出処理部２３は、複数の位置検出信号を取得して、その複数の位置検出信号に基づいて、上記別画像からそれぞれの部分を切り出して、それぞれの切出画像を出力する。複数のリサイズ処理部２４は、複数の拡大率検出信号を取得して、それぞれの切出画像を拡大率検出信号に基づいて拡大して、それぞれの切出・拡大画像を出力する。 
また、画像出力装置３０は、図７に例示するように、より多くの合成器を有して、選択器で合成された複数の合成画像から１つを選択して、出力合成画像として出力すればよい。
【００３８】
このような構成によって、画像生成システム１は、所要画像を生成する際に、受け付けた複数の画像に含まれていた同等箇所について、各々の描写範囲に合った大きさを有した切出・拡大画像を用いることが可能になる。
【００３９】
以下の説明は、画像生成システム１の動作例である。 
図８は、画像生成システム１の画像合成フロー例を示したフローチャートである。  
画像生成システム１は、画像切出位置検出装置１０、切出・拡大画像生成装置２０、および画像出力装置３０が以下のように動作して、本発明の目的を達成する。
【００４０】
まず、画像切出位置検出装置１０は、少なくとも２つの入力画像を受け付けて、この少なくとも２つの入力画像を比較することにより相対的な位置及び拡大率を検出する。次に、画像切出位置検出装置１０は、検出した相対的な位置及び拡大率を表す少なくとも１つの検出信号を出力する（Ｓ１０１）。
【００４１】
画像間の相対関係は、画像内容の一致度をパターンマッチング手法を用いて位置及び大きさの違いを取得すればよい。撮像カメラの設定や個体差、撮像角度の違いを踏まえ、相関の高さを用いて同一位置であるか否かを導き出すことが望ましい。 
次に、切出・拡大画像生成装置２０は、画像切出位置検出装置１０で生成された少なくとも１つの検出信号に基づいて、別画像から少なくとも１部分を切り出し、拡大して、少なくとも１つの切出・拡大画像を出力する（Ｓ１０２）。
【００４２】
次に、画像出力装置３０は、少なくとも２つの入力画像の１つに、別画像と、切出・拡大画像生成装置２０で生成された少なくとも１つの切出・拡大画像との何れか１つを、選択的に合成して、出力合成画像を出力する（Ｓ１０３）。この出力合成画像は、予め指定された設定やリアルタイムで受け付けた操作などに従って、様々な映像効果を奏する処理を実施して生成されればよい。
【００４３】
このように動作させることで、画像生成システム１は、所要画像を生成する際に、受け付けた複数の画像に含まれていた同等箇所について、各々の描写範囲に合った大きさを有した切り出し画像を用いることが可能になる。
【００４４】
以下の説明は、画像切出位置検出装置１０の動作例を説明である。
【００４５】
画像切出位置検出装置１０は、図２や図５で例示したように複数段階に分けて動作するように構成してもよい。各部は、例えば情報処理装置の制御部をプログラムによって動作させることで構成しても良いし、一部ないし全部をＬＳＩ（Large Scale Integration）等の集積回路を用いて構成してもよい。
【００４６】
図９は、画像切出位置検出装置１０を情報処理装置で構成した際の処理フロー例を示したフローチャートである。 
画像切出位置検出装置１０を構築するプログラムは、検出信号を生成する際に、情報処理装置の制御部を以下のように動作させればよい。 
まず、位置検出部（１２、１５）は、取得した基準入力画像に対すると少なくとも１つの部分入力画像の相対的な位置を検出して、少なくとも１つの位置検出信号を生成する（Ｓ１１１）。
【００４７】
次に、拡大率検出部（１３、１６）は、基準入力画像に対する少なくとも１つの部分入力画像の拡大率を検出して、少なくとも１つの拡大率検出信号を生成する（Ｓ１１２）。
【００４８】
以下の説明は、画像生成システムの幾つかのシステム構成例である。
【実施例１】
【００４９】
第１の実施例は、クロマキー合成を実施して任意のカメラ映像と背景画を合成した所望映像をカメラを切り替えながら生成可能とした画像生成システムである。換言すれば、この画像生成システムは、クロマキーカット割りを行う。
【００５０】
現状の放送システムは、複数カメラで同一の背景用クロマキー用単一色幕を写した複数の入力画像をそれぞれ取得し、そのカメラ系統の切替を行うと、背景画がそのままで映像系統が切り替わる。このことは、カメラ系統によって背景用クロマキー用単一色幕のどの部分を写しているかが異なっていても、システムはその部分に背景画を合成するためである。
【００５１】
以下の説明は、画像生成システム１でクロマキーカット割りを行う処理フローである。図１０は、画像生成システム１でクロマキーカット割りを行う処理フローである。図１１は、撮影された映像や背景画の例である。図１２は、画像生成システム１でカット割り用にクロマキー合成された画像例である。本例は、天気予報番組を想定している。
【００５２】
本画像生成システム１は、スタジオカメラとして２台のカメラ（カメラＡ，カメラＢ）と、クロマキー用画像（背景映像）の供給源として、背景映像生成装置が接続される。
【００５３】
図１０及び図１１（ａ）は、説明用のクロマキースタジオである。各々のカメラ映像で取得される領域（画角）を破線で印を付けている。ここで、画角とは、各々のカメラで画像として取得される範囲である。外側の破線はカメラＡ用の撮像領域を表す。内側の破線はカメラＢ用の撮像領域を表す。この領域は、操作者が調整してカメラの撮像領域よりも大きくしたり小さくしたり設定してもかまわない。
【００５４】
背景映像生成装置４００は、映像データベース５００から背景原画を読み出して、背景画とする部分を画像生成システムに供給する。図１１（ｂ）は、クロマキー用背景原画に、画像生成システムが各々のカメラ映像に合成する領域を破線で印を付けている。外側の破線は、カメラＡ用の使用領域を表す。内側の破線は、カメラＢ用の使用領域を表す。本画像生成システム例では、画像生成システムがカメラＡ用の使用領域として外側の破線部分を用いることを予め設定しておく。
【００５５】
２台のカメラは、同時に同一スタジオで各々の画角及び拡大率でそれぞれ映像を撮影する。演者１および演者２は、スタジオ内のクロマキー処理の為のクロマキー用単一色幕の前に居る。カメラＡは、演者１と演者２を含む全体を撮影する一方、カメラＢでは、演者１の手元を撮影する（図１１（ｃ）及び図１１（ｄ）参照）。
【００５６】
カメラＡおよびカメラＢは、画像切出位置検出装置１００と、プロダクションスイッチャ装置３００に接続されている。背景映像生成装置４００は、切出・拡大画像生成装置２００とプロダクションスイッチャ装置３００に接続されている。
【００５７】
本画像生成システム１は、クロマキーカット割りを行う際に、まず、画像切出位置検出装置１００を用いて２つのカメラから出力される入力画像（カメラ映像）を比較する。この比較は、部分入力画像（カメラＢの画像）が基準入力画像（カメラＡの画像）のどの部分に一致するかを検出する。
【００５８】
一致位置及び一致度合を求める手法は、どのような手法を用いてもかまわないが、例えば、ピラミッド構造サーチを使用したパターンマッチング方法を用い得る。 
画像切出位置検出装置１００は、検出結果から、カメラＢの画像がカメラＡの画像のどの部分と相関が高いかが判別でき、より相関が高い位置を、カメラＢの切抜画像の位置及びそのサイズと見做して確定する。この情報は、カメラＡの画像に対するカメラＢの画像が有した相対的な位置及び拡大率を示すことになる。
【００５９】
この相対的な位置及び拡大率を示した検出信号は、画像切出位置検出装置１００から出力される。
【００６０】
次に、切出・拡大画像生成装置２００はその相対的な位置および拡大率に基づいて背景映像（図１１（ｂ）の外枠部分）から切出・拡大画像（図１１（ｂ）の内枠部分）を生成する。
【００６１】
切出・拡大画像生成装置２００は、画像切出処理部２１０とリサイズ処理部２２０から成る。切出・拡大画像生成装置２００は、指定された位置及びサイズに背景映像を加工する。
【００６２】
画像切出処理部２１０は、画像切出位置検出装置１００から入力された情報（位置検出信号）に基づいて、入力された背景映像、すなわち切出・拡大画像（図１１（ｅ）参照）から指定領域を切り出し、後段のリサイズ処理部２２０にその領域の画像を出力する。
【００６３】
リサイズ処理部２２０は、画像切出位置検出装置１００から取得した拡大率検出信号に基づいて、切り出された画像を、背景映像生成装置４００が出力した背景映像信号と同じ規格でリサイズ処理する。その後、リサイズ処理部２２０は、生成した画像（図１１（ｆ）参照）をプロダクションスイッチャ装置３００に出力する。
【００６４】
そして、プロダクションスイッチャ装置３００は、背景映像とその切出・拡大画像とを取得し、カット割りを行う際に、各々のカメラ映像の所定範囲に相対的に合致した映像（図１２参照）の何れかを出力する。
【００６５】
詳細に説明すれば、Mix-Keyer部１（図中の上方のＭＫ）はカメラＡの出力映像信号（図１１（ｃ））と背景映像生成装置出力映像信号（図１１（ｅ））を全体の出力映像信号（図１２左図）に合成する。 
同様に、Mix-Keyer部２（図中の下方のＭＫ）がカメラＢの出力映像信号（図１１（ｄ））と切出・拡大画像生成装置出力映像信号（図１１（ｆ））を、拡大出力映像信号（図１２右図）に合成する。 
ＭＴＸ（Matrix）部は、出力映像信号を一方の映像（図１２左図又は図１２右図）に設定して、プロダクションスイッチャ装置３００から出力する。
【００６６】
このように、画像生成システム１は、２つのカメラ映像と合成する背景映像を、２つのカメラの画角や倍率などと切り出し位置と拡大率が同様となる相対関係を有した映像として生成して用いることができる。
【００６７】
換言すれば、画像生成システム１は、クロマキー合成を行う番組などで２つのカメラを切り替える時に、背景映像もカメラの撮影範囲と同じ範囲に限定された映像を出力できる。すなわち、画像生成システム１は、映像効果を高め得る所望映像を生成可能になる。
【００６８】
また、画像生成システム１は、様々なセンサや撮像位置が固定されるなどしたバーチャルスタジオシステムよりも、自由度の向上や工数、コストの削減が図れる。
【実施例２】
【００６９】
図１３は、第２の実施例に係る画像生成システムでクロマキーカット割りを行う別の処理フローである。図１４は、クロマキーカット割りの説明で用いる切り抜き信号画像の例を示している。カット割り用にクロマキー合成された画像は、図１２と同様となる。
【００７０】
この実施例も、クロマキー合成を実施して任意のカメラ映像と背景画とを合成した所望映像をカメラを切り替えながら生成可能とした画像生成システムである。すなわち、本構成例の画像生成システムは、上記第１の実施例と同様な画像が得られるクロマキーカット割りを可能する。
【００７１】
画像切出位置検出装置１００は、描写範囲の相対性を、複数のカメラ映像からそれぞれ取得された切り抜き信号画像（ＫＥＹ信号画像）（図１４（ａ）及び図１４（ｂ）参照）から抽出する。
【００７２】
図１３に示したシステム構成例は、画像切出位置検出装置１００で用いる各切り抜き信号画像として、プロダクションスイッチャ装置（Mix-Keyer部）３００が生成した切り抜き信号画像を用いる構成である。しかし、画像切出位置検出装置１００は必ずしも切り抜き信号画像をプロダクションスイッチャ装置３００から取得する必要は無い。画像切出位置検出装置１００は、プロダクションスイッチャ装置３００以外の他の装置で生成した切り抜き信号画像を取得してもよい。また、画像切出位置検出装置１００は、前処理として自装置内で切り抜き信号画像を生成してもよい。
【００７３】
画像切出位置検出装置１００は、切り抜き信号画像を用いることで、カメラＡとカメラＢで撮影された画像相互が有した相対性を低演算処理量で導出可能になる。結果的に、画像切出位置検出装置１００は、同等の設備であっても、より精確な位置マッピングや大きさ調整が行える。
【００７４】
結果、画像合成システムは、２つのカメラ映像と合成すべき背景映像を、２つのカメラの画角や倍率などと切り出し位置と拡大率が同様となる相対関係をより的確に有した映像として取得できる。すなわち、画像合成システム１は、映像効果をより高め得る所望映像を生成可能になる。
【実施例３】
【００７５】
図１５は、第３の実施例に係る画像生成システム１で高解像度カット割りを行う処理フローである。図１５は、撮影対象であるサッカー場を３台のカメラで撮影する事例である。
【００７６】
このシステム構成例は、高解像度カメラ（図中カメラＡ）の映像から、他のカメラ（図中カメラＢ及びカメラＣ）で撮影した所望範囲の高解像度映像を生成可能とした画像生成システムである。上記撮影対象の例であれば、画像生成システム１は、サッカーの試合映像を３台のカメラで撮影し、各カメラで撮影した範囲の相対性に基づいて、８Ｋカメラ出力映像から拡大したい部分を切出拡大画像として生成して取得する。
【００７７】
画像切出位置検出装置１００は、カメラＢ及びカメラＣの描写範囲の相対性を、カメラＡ（８Ｋカメラ）の映像を基準入力画像として導出し、８Ｋ画像の所望の画像切出位置及び拡大／縮小率を表した検出信号を出力する。この際に、画像切出位置検出装置１００は、それぞれのカメラ映像の切り抜き信号画像を用いることとしても良い。
【００７８】
切出・拡大画像生成装置２００は、８Ｋ映像と各々の検出信号を取得し、８Ｋ映像から指定位置の映像（切出・拡大画像）を出力する。
【００７９】
プロダクションスイッチャ装置３００は、各映像を受けてそれぞれ合成した合成画像の何れかを出力合成画像として出力する。なお、プロダクションスイッチャ装置は、各々の切出・拡大画像を受け付けて、切出・拡大画像を拡大及びアップコンバートして８Ｋ映像に重ね合わせた合成画像を出力するようにしても良い。
【００８０】
この画像生成システム１は、例えば、８Ｋ映像（7680x4320画素）から、1920x1080画素や1280x720画素を切り抜くことにより、画質を劣化することなくＨＤ画像等を生成可能になる。換言すれば、この画像生成システムは、フルハイビジョン映像やハイビジョン映像、合成映像などを画質劣化を伴わずに生成できる。また、この画像生成システムは、任意のカメラで撮像した所望範囲の高精細画像を取得可能である。
【００８１】
上記撮影対象の例であれば、画像生成システム１は、サッカーの試合映像を固定設置した８Ｋカメラの映像から、カメラＢで四隅のエリアの高精細映像を取得可能である。また、画像生成システム１は、８Ｋカメラの映像から、ゴール裏のカメラＣで両方のゴールエリアを撮像した高精細映像を取得可能である。
【実施例４】
【００８２】
図１６は、第４の実施例に係る画像生成システム１で高解像度クロマキーカット割りを行う処理フローである。図１６は、スタジオ内でサッカー場の映像にクロマキー合成する事例である。
【００８３】
このシステム構成例は、高解像度カメラでサッカースタジアムの映像を取得し、その映像から拡大したい部分を切り出す。この切り出し処理を行う際に、画像生成システム１は、スタジオに設置した固定カメラ（カメラＡ）と任意の２台のカメラ映像（図中カメラＢ及びカメラＣ）で撮影した相対撮影範囲により所望部分の切り出し映像を出力する。また、画像生成システム１は、スタジオ内で高解像度映像再生装置６００から取得した映像にクロマキー合成も行う。
【００８４】
画像切出位置検出装置１００は、カメラＢ及びカメラＣの描写範囲の相対性を、カメラＡ（固定カメラ）の映像を基準入力画像として導出し、８Ｋ映像の所望の画像切出位置及び拡大／縮小率を表した検出信号を出力する。この際に、画像切出位置検出装置１００は、それぞれのカメラ映像の切り抜き信号画像を用いることとしても良い。
【００８５】
切出・拡大画像生成装置２００は、８Ｋ映像と各々の検出信号を取得し、８Ｋ映像から指定位置の映像（切出・拡大画像）を出力する。
【００８６】
プロダクションスイッチャ装置３００は、各映像を受けてそれぞれクロマキー合成した合成画像の何れかを出力合成画像として出力する。
【００８７】
この画像生成システム１は、クロマキー合成すべき背景画像として、任意のカメラで撮像した所望範囲の高精細画像を取得できる。上記撮影対象の例であれば、画像生成システムは、サッカーの高解像度な試合映像から、カメラＢやカメラＣで撮影した範囲のカメラ映像と、８Ｋ映像の同等位置範囲の拡大映像を背景とした合成画像を取得できる。
【００８８】
以上説明したように、本発明は、所要画像を生成する際に、受け付けた複数の画像に含まれていた同等箇所について、各々の描写範囲に合った大きさを有した切出・拡大画像を用いることができる画像生成システムを提供することができる。
【００８９】
尚、画像生成システムの一部ないし全部は、ハードウェアとソフトウェアの組み合わせを用いて実現してもよい。
【００９０】
この形態は、情報処理システムのＲＡＭ（Random Access Memory）に各部として機能させるためのプログラムを展開して制御部（ＣＰＵ（Central Processing Unit））等のハードウェアを各種手段として動作させる。
【００９１】
また、このプログラムは、記録媒体に非一時的に記録して頒布しても良い。当該記録媒体に記録したプログラムは、有線、無線、又は記録媒体そのものを介して、メモリに入り込み、制御部等を動かす。尚、記録媒体を例示すれば、オプティカルディスクや磁気ディスク、半導体メモリ装置、ハードディスクなどがある。
【００９２】
以上実施形態及び構成例を図示して説明したが、そのブロック構成の分離併合、手順の入れ替えなどの変更は本発明の趣旨および説明される機能を満たせば自由であり、上記説明が本発明を限定するものではない。
【符号の説明】
【００９３】
１      画像生成システム
１０    画像切出位置検出装置
１１    入力部
１２    位置検出部
１３    拡大率検出部
１５    位置検出部
１６    拡大率検出部
２０    切出・拡大画像生成装置
２１    画像切出処理部
２２    リサイズ処理部
３０    画像出力装置
３１    第１の合成器
３２    第２の合成器
３３    選択器
１００  画像切出位置検出装置
２００  切出・拡大画像生成装置
２１０  画像切出処理部
２２０  リサイズ処理部
３００  プロダクションスイッチャ装置
４００  背景映像生成装置
５００  映像データベース
６００  高解像度映像再生装置
【図１】
2016039424.tif 000003
【図２】
2016039424.tif 000004
【図３】
2016039424.tif 000005
【図４】
2016039424.tif 000006
【図５】
2016039424.tif 000007
【図６】
2016039424.tif 000008
【図７】
2016039424.tif 000009
【図８】
2016039424.tif 000010
【図９】
2016039424.tif 000011
【図１０】
2016039424.tif 000012
【図１１】
2016039424.tif 000013
【図１２】
2016039424.tif 000014
【図１３】
2016039424.tif 000015
【図１４】
2016039424.tif 000016
【図１５】
2016039424.tif 000017
【図１６】
2016039424.tif 000018