(57)【要約】【課題】画像の連続性を確保し、容易にかつ簡易に滑らかにアングルが変化する画像データを生成することが可能な画像データ生成システム等を提供すること。【解決手段】画像データ生成装置２０は、各カメラ１０から出力された各フレームについて同期をさせつつ、一のカメラから出力された第１画像から、隣接するカメラ１０から出力された第２画像に画像を切り替える際には、第１画像と第２画像を合成した合成画像を生成する構成を有し、切り替える際の切り替え開始タイミング又は先頭のフレームにおいては、第１画像の割合を高くし、徐々にその割合を低下させつつ第２画像の割合を高くし、最終的に第２画像に切り替わるような画像を生成することが可能な構成を有している。【選択図】図１
2015185962.tif 000002
【特許請求の範囲】
【請求項１】
被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置と、
前記撮像手段によって撮像された画像を合成する画像処理装置と、
を備え、
前記画像処理装置が、
前記撮像装置を切り替える切り替え手段と、
前記撮像装置を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを画像データとして生成する生成手段と、
を有し、
前記生成手段が、前記切り替え元の撮像装置の撮像手段によって撮像された第１画像と前記切り替え先の撮像装置の撮像手段によって撮像された第２画像とを合成し、前記仮想撮像装置の画像データを生成することを特徴とする画像データ生成システム。
【請求項２】
請求項１に記載の画像データ生成システムにおいて、
前記生成手段が、前記第１画像と前記第２画像とを合成する割合を示す合成係数を用いて前記仮想撮像装置の画像データを生成し、
前記合成係数が、前記仮想撮像装置が形成される前記切り替え元の撮像装置と前記切り替え先の撮像装置との間の位置に応じて線形に変化する、画像データ生成システム。
【請求項３】
請求項１又は２に記載の画像データ生成システムにおいて、
前記生成手段が、前記切り替え元の撮像装置と前記切り替え先の撮像装置との間に複数配置され、かつ、前記切り替え元の撮像装置及び前記切り替え先の撮像装置に近接されるに従ってより細かい間隔で配置された仮想撮像装置の画像データを生成する、画像データ生成システム。
【請求項４】
請求項３に記載の画像データ生成システムにおいて、
前記生成手段が、一部のフレ−ムを間引きつつ画像を合成する、画像データ生成システム。
【請求項５】
請求項１〜４のいずれか１項に記載の画像データ生成システムにおいて、
前記撮像手段が、前記所定の間隔にて前記被写体を３６０度撮像可能に設置されている、画像データ生成システム。
【請求項６】
コンピュータを、
被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置を切り替える切り替え手段、及び、
前記撮像装置を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを画像データとして生成する生成手段、
として機能させ、
前記生成手段として、前記切り替え元の撮像装置の撮像手段によって撮像された第１画像と前記切り替え先の撮像装置の撮像手段によって撮像された第２画像とを合成し、前記仮想撮像装置の画像データを生成するように機能させることを特徴とするプログラム。
【請求項７】
被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置を切り替える切り替え工程と、
前記撮像装置を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを画像データとして生成する生成工程と、
を含み、
前記画像データを生成する際に、前記切り替え元の撮像装置の撮像手段によって撮像された第１画像と前記切り替え先の撮像装置の撮像手段によって撮像された第２画像とを合成し、前記仮想撮像装置の画像データを生成することを特徴とする画像データ生成方法。
【請求項８】
複数の同期した撮像装置を切り替える切り替え手段と、
前記撮像装置を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを画像データとして生成する生成手段と、
を備え、
前記生成手段が、前記切り替え元の撮像装置の撮像手段によって撮像された第１画像と前記切り替え先の撮像装置の撮像手段によって撮像された第２画像とを合成し、前記仮想撮像装置の画像データを生成することを特徴とする画像処理装置。
【請求項９】
コンピュータを、
複数の同期した撮像装置を切り替える切り替え手段、及び、
前記撮像装置を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを画像データとして生成する生成手段、
として機能させ、
前記生成手段として、前記切り替え元の撮像装置の撮像手段によって撮像された第１画像と前記切り替え先の撮像装置の撮像手段によって撮像された第２画像とを合成し、前記仮想撮像装置の画像データを生成するように機能させることを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを生成する画像データ生成システムなどに関する。
【背景技術】
【０００２】
従来、コンサート等のイベントやテレビ番組においては、複数のカメラを用いて、被写体となる歌手等を、それぞれ、異なる方向から撮像し、各カメラにて撮像された画像を編集しつつ、一の画像データを生成することが行われている。
【０００３】
また、最近では、被写体の周囲に、それぞれ、異なるアングルから被写体を撮像するためのカメラを複数台設置して、アングルの変更方向に、撮像するカメラを、順次、連続的に切り替えていくことにより、被写体の動きを停止、又は、スローモーション状態にしつつ、視点が高速で移動しているように見える画像を生成する方法が利用されるようになっている（例えば、特許文献１）。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２０１１−２４３２０５号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
しかしながら、特許文献１に記載の手法においては、一のカメラから他のカメラに切り替える場合に、画像の補間を行うごとに画像の連続性を確保してなめらかな画像切り替えを行っているものの、演算処理の負荷が過大となり、簡易にかつ容易に行うことができない。
【０００６】
本発明は、上記課題を解決するためになされたものであり、それぞれ、異なるアングルから被写体を撮像するカメラの撮像画像を切り替える際における、画像の連続性を確保し、容易にかつ簡易になめらかにアングルが変化する画像データを生成することが可能な画像データ生成システム等を提供することにある。
【課題を解決するための手段】
【０００７】
上述した課題を解決するため、本発明に係る画像データ生成システム等は、被写体を中心とする同心円の円周上に、所定の間隔を持って設置されるとともに、それぞれ、前記被写体を撮像する撮像手段を有する複数の同期した撮像装置と、前記撮像手段によって撮像された画像を合成する画像処理装置と、を備え、前記画像処理装置が、前記撮像装置を切り替える切り替え手段と、前記撮像装置を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを画像データとして生成する生成手段と、を有し、前記生成手段が、前記切り替え元の撮像装置の撮像手段によって撮像された第１画像と前記切り替え先の撮像装置の撮像手段によって撮像された第２画像とを合成し、前記仮想撮像装置の画像データを生成すること構成を有している。
【０００８】
この構成により、本発明に係る画像データ生成システム等は、各撮像手段を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを生成することができるので、撮像手段を切り替える際になめらかに画像を切り替えることができる。
【０００９】
したがって、本発明に係る画像データ生成システム等は、画像の連続性を確保しつつ、違和感の無い連続する画像データを生成することができる。
【００１０】
また、上述した課題を解決するため、本発明に係る画像処理装置等は、複数の同期した撮像装置を切り替える切り替え手段と、前記撮像装置を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを画像データとして生成する生成手段と、を備え、前記生成手段が、前記切り替え元の撮像装置の撮像手段によって撮像された第１画像と前記切り替え先の撮像装置の撮像手段によって撮像された第２画像とを合成し、前記仮想撮像装置の画像データを生成する構成を有している。
【００１１】
この構成により、本発明に係る画像処理装置等は、各撮像手段を切り替える際に、切り替え元の撮像装置と切り替え先の撮像装置との間に仮想的に形成される仮想撮像装置の画像のデータを生成することができるので、撮像手段を切り替える際になめらかに画像を切り替えることができる。
【００１２】
したがって、本発明に係る画像処理装置等は、画像の連続性を確保しつつ、違和感の無い連続する画像データを生成することができる。
【発明の効果】
【００１３】
本発明に係る画像データ生成システム等は、画像の連続性を確保しつつ、違和感の無い連続する画像データを生成することができる。
【図面の簡単な説明】
【００１４】
【図１】本発明に係る画像データ生成システムの一実施形態における構成を示すシステム構成図である。
【図２】一実施形態の画像データ生成装置の構成を示すブロック図である。
【図３】一実施形態の画像データ生成装置に記録されるカメラ管理テーブルに格納されるデータの一例を示す図である。
【図４】一実施形態の画像データ生成装置において実行される合成画像データ生成処理を説明するための図（その１）である。
【図５】一実施形態の画像データ生成装置において実行される合成画像データ生成処理を説明するための図（その２）である。
【図６】一実施形態の画像データ生成装置において実行される合成画像データ生成処理の動作を示すフローチャート（その１）である。
【図７】一実施形態の画像データ生成装置において実行される合成画像データ生成処理の動作を示すフローチャート（その２）である。
【図８】一実施形態の画像データ生成装置に記録されるブレンディング係数の変更アルゴリズムをグラフ化した図である。
【発明を実施するための形態】
【００１５】
以下、図面を参照しつつ、本発明の実施形態について説明する。なお、以下の実施形態は、被写体を撮像するカメラと、当該カメラから画像データを取得して、編集処理を行う画像データ生成装置と、を有する画像データ生成システムに対し、本発明に係る、画像データ生成システム、画像データ生成方法、画像処理装置及びプログラムを適用した場合の実施形態である。
【００１６】
［１］画像データ生成システム
まず、図１を用いて、本実施形態における画像データ生成システム１の構成及び概要について説明する。なお、図１は、本実施形態における画像データ生成システム１の構成を示すシステム構成図である。
【００１７】
本実施形態の画像データ生成システム１は、被写体Ｏの周囲に設置されたカメラを切り替えつつ、被写体Ｏの画像を連続的に撮像し、各カメラ１０にて撮像された画像を合成及び編集することにより、被写体を、３６０度全方向から撮像した画像（以下、「全方位画像」という。）に対応する画像データを生成するためのシステムである。
【００１８】
具体的には、本実施形態の画像データ生成システム１は、図１に示すように、被写体Ｏを中心点とし、半径をＲ（撮像距離）とする同心円Ｃ上に、等間隔又は予め定められた間隔（非等間隔）にて設置され、それぞれ、異なるアングルから被写体Ｏの画像を撮像する複数のカメラ１０と、各カメラ１０に接続され、各カメラ１０を制御し、各カメラ１０によって撮像された画像を合成しつつ、編集することにより被写体Ｏの全方位画像に対応する画像データを生成する画像データ生成装置２０と、を有し、上記のシステムを実現するようになっている。
【００１９】
なお、画像データ生成システム１において、被写体Ｏの周囲に設置するカメラの台数は、任意であるが、本実施形態においては、説明を明確化するため、図１に例示するように、被写体Ｏを６台のカメラ１０−１〜１０−６にて撮像するものとして説明を行う。
【００２０】
各カメラ１０は、撮像手段である撮像素子（ＣＣＤイメージセンサ：Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  Ｉｍａｇｅ  Ｓｅｎｓｏｒ）を有し、デジタルビデオカメラ、Ｗｅｂカメラ又はスマートフォン付属のビデオカメラ等の動画像撮像用のカメラであり、例えば、本発明の撮像装置として機能する。また、各カメラ１０は、オートフォーカス機能及び手ぶれ補正機能などの公知の種々の機能を有し、被写体Ｏを撮像することにより、複数のフレームからなる画像データを生成する。
【００２１】
特に、本実施形態の各カメラ１０は、画像データ生成装置２０による制御の下、同期を取りつつ、被写体Ｏの画像を撮像するようになっており、生成した画像データを画像データ生成装置２０に供給する構成を有している。
【００２２】
また、各カメラ１０は、同心円Ｃ又は同心円Ｃの円周の一部に沿って等間隔にて設置されている。なお、本実施形態においては、同心円Ｃに沿って等間隔に６台設置されているが、複数のカメラ１０を用いていればよい。ただし、隣接する２台のカメラ１０（例えば、カメラ１０−１と１０−２）と、被写体Ｏによって構成される角度と、が９０度を超える場合には、画像の連続性を確保することが難しくなるので、基本的には、４台以上のカメラ１０を用いることが望ましい。
【００２３】
画像データ生成装置２０は、複数のフレーム期間中に一のカメラ１０から出力された第１画像データによって形成される第１画像と隣接する他のカメラ１０から出力された第２画像データよって形成される第２画像とを合成しつつ、第１画像から第２画像に表示を切り替える構成を有している。
【００２４】
具体的には、画像データ生成装置２０は、第１画像から第２画像に表示を切り替える際の期間中（以下、「切り替え期間中」という。）、切り替え開始タイミングからの経過時間や先頭フレームからのフレーム数に応じて、第１画像と第２画像とを合成（ブレンド）するブレンディング係数（以下、「合成係数」ともいう。）を変更しつつ、各フレームの画像を合成する処理（以下、「合成画像データ生成処理」という。）を実行するようになっている。
【００２５】
特に、画像データ生成装置２０は、各カメラ１０から出力された各フレームについて同期を取りつつ、カメラ１０を切り替えるとともに、当該カメラ１０を切り替える際に、切り替え元のカメラ１０と切り替え先のカメラ１０との間に仮想的に形成される複数の仮想カメラＭの画像のデータ（すなわち、画像データ）を生成する構成を有している。そして、画像データ生成装置２０は、仮想カメラ１０の画像データとして、切り替え元のカメラによって撮像された第１画像と切り替え先のカメラ１０によって撮像された第２画像とを合成した合成画像を出力する構成を有している。
【００２６】
また、画像データ生成装置２０は、第１画像と第２画像とを合成する割合を示す合成係数（以下、「ブレンディング係数」という。）を用いて仮想カメラ１０の画像データを生成し、当該ブレンディング係数が、仮想カメラ１０が形成される切り替え元のカメラ１０と切り替え先のカメラ１０との間の位置に応じて線形に変化する構成を有している。
【００２７】
このような構成により、本実施形態の画像データ生成システム１は、それぞれ、異なるアングルから被写体Ｏを撮像するカメラの撮像画像を切り替えつつ、連続する画像データを生成することができるので、画像の連続性を確保しつつ、なめらかに画像を切り替えることができるようになっている。
【００２８】
また、本実施形態の画像データ生成システム１は、カメラの設置台数を増やすことにより、画像切り替え時における画像の連続性を向上させることができるので、更になめらかな画像を生成することができるようになっている。すなわち、例えば、カメラの台数を１６台程度に増やし、通常のフレームレート（６０ｆｐｓ程度）にて、撮像した場合には、人間の眼では画像の切り替えを認識できなくなるので、ユーザに違和感を与えること無く、画像を切り替えることができるようになっている。
【００２９】
［２］画像データ生成装置
次に、図２及び図３を用いて本実施形態の画像データ生成装置２０の構成について説明する。なお、図２は、本実施形態の画像データ生成装置２０の構成を示すブロック図であり、図３は、本実施形態の画像データ生成装置２０に記録されるカメラ管理テーブルＴＢＬのデータ格納例を示す図である。
【００３０】
本実施形態の画像データ生成装置２０は、図２に示すように、各種の情報に対応するデータが記録される記録部２００と、カメラ１０及び他の外部機器との間の入出力（Ｉ／Ｏ）インターフェース２１０と、液晶素子、又は、有機ＥＬ（Ｅｌｅｃｔｒｏ  Ｌｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルにより構成される表示部２４０と、表示部２４０に対する画像の表示を制御する表示制御部２５０と、合成画像データ生成処理その他の処理を実行するデータ処理部２６０と、キーボード、マウス、タッチパネル等により構成される操作部２７０と、装置管理制御部２８０と、現在日時を特定するタイマ２９０と、を有し、上記の各部は、バスＢによって相互に接続されている。
【００３１】
記録部２００は、例えば、ＨＤＤ（ハードディスクドライブ）又はＳＳＤ（ソリッドステートドライブ）により構成され、その記録領域内に、少なくとも、各カメラ１０を管理するための情報が記録されるカメラ管理テーブル記録部２０１と、画像合成後の画像データを記録するための画像データ記録部２０３と、ワークエリア及び画像バッファとして機能するＲＡＭ２０４と、が設けられている。
【００３２】
カメラ管理テーブル記録部２０１には、各カメラ１０を管理するためのカメラ管理テーブルＴＢＬが記録される。また、カメラ管理テーブルＴＢＬには、図３に示すように、各カメラ１０を識別するためのカメラＩＤと、カメラ情報が対応付けて格納される。
【００３３】
本実施形態のカメラ情報には、
（１）各カメラ１０の設置位置を示す設置位置情報と、
（２）各カメラ１０の撮像時におけるフレームレートを示すフレームレート情報と、
が含まれている。
【００３４】
図３には、図１に示すように６台のカメラ１０を設置した場合のカメラ管理テーブルＴＢＬの例が示されている。すなわち、図３には、カメラＩＤ「Ｃａｍｅｒａ１」の設置位置を「０度」として、「Ｃａｍｅｒａ２〜６」が、それぞれ、「６０度」毎に設置された設置情報が格納されていることが示されている。
【００３５】
また、図３においては、全てのカメラ１０のフレームレートが「６０ｆｐｓ」とされているが、各カメラ１０のフレームレートが異なる場合には、それぞれ、異なるフレームレート情報が格納される。
【００３６】
画像データ記録部２０３には、画像ＩＤなどの所定の情報に対応付けて合成画像データ生成処理によって生成された画像データを記録する。
【００３７】
ＲＡＭ２０４は、合成画像データ生成処理が実行されている際に、ワークエリアとして用いられるとともに、画像バッファとしても機能する。特に、ＲＡＭ２０４には、合成画像データ生成処理が実行されている際に、各カメラ１０から出力された画像データ（すなわち、合成前の画像データ）がフレーム毎に順次記録される。なお、ＲＡＭ２０４に記録された各フレームの画像は、一定期間保持されるようになっている。
【００３８】
Ｉ／Ｏインターフェース２１０は、例えば、ＵＳＢ（Ｕｕｎｉｖｅｒｓａｌ  Ｓｅｒｉａｌ  ｂｕｓ）、無線ＬＡＮ（ＩＥＥＥ８０２．１１ａ、ｂ、ｎ、ａｃ）、ＨＤＭＩ（登録商標（Ｈｉｇｈ  Ｄｅｆｉｎｉｔｉｏｎ  Ｍｕｌｔｉｍｅｄｉａ  Ｉｎｔｅｒｆａｃｅ））等の入出力用インターフェースであり、各カメラ１０と有線又は無線にて通信接続され、各カメラ１０とバスＢとの間におけるデータの授受を中継する。
【００３９】
なお、Ｉ／Ｏインターフェース２１０には、ＢＤ（ブルーレイディスク）などの光ディスクレコーダを接続することも可能となっており、生成した合成画像データを記録媒体に記録させることが可能になっている。また、Ｉ／Ｏインターフェース２１０には、写真プリント用のプリンタを接続することが可能となっており、合成画像データに基づいて、画像をプリントアウトさせることも可能となっている。
【００４０】
表示部２４０は、所定のサイズ（Ｗ１９２０×Ｈ１０８０ピクセル）の画像表示領域を有する液晶素子又はＥＬ（Ｅｌｅｃｔｒｏ  Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子のパネルによって構成され、表示制御部２５０において生成された表示データに基づいて所定の画像を表示する。
【００４１】
表示制御部２５０は、装置管理制御部２８０及びデータ処理部２６０の制御の下、表示部２４０に所定の画像を描画させるために必要な描画データを生成し、生成した描画データを当該表示部２４０に出力する。
【００４２】
データ処理部２６０は、独立した中央演算処理装置（ＣＰＵ）によって構成され、又は、装置管理制御部２８０の中央演算処理装置（ＣＰＵ）を用いて構成されるとともに、装置管理制御部２８０による制御の下、プログラムを実行することにより、合成画像データ生成処理を実行する。
【００４３】
具体的には、データ処理部２６０は、合成画像データ生成処理として、所定の期間中に、一のカメラ１０から出力された第１画像データによって形成される第１画像と隣接する他のカメラ１０から出力された第２画像データよって形成される第２画像とを合成しつつ、第１画像から第２画像に表示を切り替える合成画像データ生成処理を実行する。
【００４４】
特に、データ処理部２６０は、各カメラ１０から出力された各フレームについて同期を取りつつ、カメラ１０を切り替えるとともに、当該カメラ１０を切り替える際に、切り替え元のカメラ１０と切り替え先のカメラ１０との間に仮想的に形成される仮想カメラＭの画像のデータを画像データとして生成する。
【００４５】
そして、画像データ生成装置２０は、切り替え元のカメラによって撮像された第１画像と切り替え先のカメラ１０によって撮像された第２画像とを合成し、仮想カメラ１０の画像データを生成する。
【００４６】
特に、データ処理部２６０は、合成画像データ生成処理を実行するために、所定のアプリケーションを実行することによって各カメラ１０を制御するカメラ制御部２６１と、画像合成を行う際に用いられるブレンディング係数を決定する係数決定部２６２と、画像合成を実行する画像合成処理部２６３と、合成画像データを生成する合成画像データ生成部２６４と、を実現する。
【００４７】
なお、例えば、本実施形態の画像合成処理部２６３は、切り替え手段及び生成手段を構成する。
【００４８】
カメラ制御部２６１は、操作部２７０を介して入力された管理者の指示に基づいて、Ｉ／Ｏインターフェース２１０を介して各カメラ１０に制御コマンドを出力し、該当するカメラ１０を制御する。具体的には、カメラ制御部２６１は、電源のＯＮ及びＯＦＦ、ピント、並びに、フレーム同期設定その他の合成画像データ生成処理を実行する上で必要な各種の設定を行うことができる構成を有している。
【００４９】
また、カメラ制御部２６１は、各カメラ１０において撮像されて生成された画像データをＩ／Ｏインターフェース２１０を介してそれぞれ取得し、当該取得した各画像データをカメラ１０に対応付けてフレーム毎にＲＡＭ２０４に順次記録する。
【００５０】
係数決定部２６２は、合成画像データ生成処理の実行中に、表示制御部２５０及び操作部２７０と連動しつつ、操作部２７０を介して入力された管理者の指示に基づいて、ブレンディング係数を算出し、当該算出したブレンディング係数を画像合成処理部２６３に提供する。
【００５１】
特に、本実施形態の係数決定部２６２は、合成画像データ生成処理において画像の切り替え開始タイミングからの時間経過やフレーム数に応じてブレンディング係数を算出し、算出したブレンディング係数を画像合成処理部２６３に提供する。なお、本実施形態におけるブレンディング係数の算出については後述する。
【００５２】
画像合成処理部２６３は、合成画像データ生成処理中に、係数決定部２６２によって決定されたブレンディング係数に基づいて、ＲＡＭ２０４に記録された第１画像データによって構成される第１画像及び第２画像データによって構成される第２画像を合成する。
【００５３】
具体的には、画像合成処理部２６３は、合成画像データ生成処理においては、一のカメラ１０から出力された第１画像及び一のカメラ１０に隣接するカメラ１０から出力された第２画像において、画像の切り替え期間中に、切り替え経過時間又はフレーム数に応じて、仮想カメラＭを想定しつつ、係数決定部２６２によって決定された当該期間中に変化するブレンディング係数に基づいて、第１画像を第２画像にフレーム合成する。なお、本実施形態のフレーム合成については、ブレンディング係数とともに後述する。
【００５４】
合成画像データ生成部２６４は、画像合成処理部２６３により合成された合成画像に基づき、管理者が閲覧可能な形式にて合成画像データを生成し、画像データ記録部２０３に記録させる。そして、合成画像データ生成部２６４は、このようにして、画像データ記録部２０３に記録された合成画像データを管理者が操作部２７０に行った入力操作に応じて、表示制御部２５０と連動しつつ表示部２４０に表示させる。
【００５５】
また、合成画像データ生成部２６４は、管理者の入力操作に応じて、生成した合成画像データをＩ／Ｏインターフェース２１０に接続されたＢＤレコーダに供給して、記録媒体に記録させる。
【００５６】
さらに、合成画像データ生成部２６４は、管理者が操作部２７０に対して、合成画像データに含まれる所定のフレームを選択しつつ、プリントアウトを指示すると、当該選択されたフレームの画像に基づいて、静止画データを生成して、Ｉ／Ｏインターフェース２１０に接続された写真用プリンタに出力する。このとき、合成画像データ生成部２６４は、プリンタに対して、生成した静止画データとともに、印刷命令コマンドを出力するようになっている。
【００５７】
操作部２７０は、キーボード、ポインティングデバイス等により構成され、画像データ生成装置２０の管理者が、カメラ１０を用いて、被写体Ｏを撮像する際に、管理者の指示入力を受け付けるために用いられる。
【００５８】
装置管理制御部２８０は、主に中央演算処理装置（ＣＰＵ）によって構成されるとともに、キー入力ポート、表示制御ポート等の各種入出力ポートを含み、画像データ生成装置２０の全般的な機能及び画像合成処理のための全般的な処理を総括的に制御する。
【００５９】
［３］合成画像データ生成処理の原理
次に、図４及び図５を用いて本実施形態のデータ処理部２６０において実行される合成画像データ生成処理について説明する。なお、図４及び図５は、本実施形態の画像データ生成装置において実行される合成画像データ生成処理を説明するための図である。
【００６０】
通常、本実施形態のように撮像距離Ｒで形成される同心円Ｃの同心円状に設置されたカメラ１０からの画像出力を単に順次切り替えるだけであると、画像に急激な変化が生じるため、視聴している視聴者に違和感を与えてしまう。
【００６１】
そこで、本実施形態においては、所定の期間中（すなわち、画像の切り替え期間中）、切り替える際の切り替え開始タイミング又はその際の先頭のフレームにおいて、第１画像の割合を高くし、徐々にその割合を低下させつつ第２画像の割合を高くし、最終的に第２画像に切り替わるような画像を生成することによって、画像の連続性を確保しつつ、なめらかに画像を切り替えることができるようになっている。
【００６２】
具体的には、データ処理部２６０は、図４に示すように、一のカメラ１０−１から他のカメラ１０−２までの角度差に基づいて、仮想カメラＭを想定し、切り替え期間における切り替え開始からの経過時間、当該切り替え期間の先頭のフレームからのフレーム数、又は、当該切り替え期間中における予め定められた出力タイミングによって、第１画像と第２画像とをブレンドするブレンディング係数を決定し、決定したブレンディング係数に基づいて第１画像と第２画像とを合成（ブレンド）し、仮想カメラＭの画像として出力するようになっている。
【００６３】
そして、データ処理部２６０は、ブレンディング係数を「α」とすると、以下の（式１）に従って第１画像「Ｉｍｇ１」及び第２画像「Ｉｍｇ２」に基づいて合成画像「ＩｍｇＯｕｔ」を出力するようになっている。
【００６４】
【数１】
2015185962.tif 000003
【００６５】
特に、データ処理部２６０は、画像の切り替え期間中の所定のタイミング毎に、すなわち、図４に示す仮想カメラＭがあると仮定した場合の合成画像の出力位置毎に、当該ブレンディング係数「α」を変化させつつ、合成画像「ＩｍｇＯｕｔ」を出力するようになっている。そして、本実施形態においては、データ処理部２６０は、ブレンディング係数「α」を算出するために、角度の変化量「θｎ」を用いるようになっている。なお、本実施形態においては、ブレンディング係数は、仮想カメラＭの位置に応じて線形に変化するようになっている。
【００６６】
例えば、本実施形態においては、データ処理部２６０は、ブレンディング係数「α」を決定するためには、以下の（式２）に示すように、一のカメラ１０から他のカメラ１０の角度差「θｘ」に対する当該角度の変化量「θｎ」に基づいて、ブレンディング係数「α」を決定する。
【００６７】
【数２】
2015185962.tif 000004
【００６８】
なお、角度の変化量「θｎ」は、カメラの切り替る際の角速度を「ω」とし、撮像開始からの経過時間を「Δｔ」とすると、「θｎ＝ωΔｔ」としても表すことができる。
【００６９】
そして、本実施形態においては、データ処理部２６０は、管理者の指示の下に入力された合成条件、又は、予め定められた合成条件に基づいて、角度の変化量「θｎ」を決定するようになっている。
【００７０】
具体的には、フレーム毎に合成画像を生成して出力する場合には、データ処理部２６０は、管理者によって入力された合成条件として、又は、予め定められた合成条件として、カメラ１０−１からカメラ１０−２に画像を切り替える際の時間、すなわち、切り替え開始から完了までに要する切り替え時間を検出する。
【００７１】
また、データ処理部２６０は、カメラ管理テーブル記録部２０１に記憶されているカメラ情報に基づいて、対象となる２つのカメラの角度差「θｘ」を算出する。例えば、基準となるカメラ（以下、「基準カメラ」又は「切り替え元のカメラ」という。）１０−１の設置位置の角度が「０度」で当該基準カメラ１０−１に隣接するカメラ（以下、「隣接カメラ」又は「切り替え先のカメラ」という。）１０−２の設置位置の角度が「６０度」の場合には、データ処理部２６０は、角度差「θｘ＝６０度」を算出する。
【００７２】
さらに、データ処理部２６０は、検出した合成条件及び算出した角度差「θｘ」から１フレームにおいて変化する角度「Δθ」を算出し、算出した角度「Δθ」から各フレームの変化量「θｎ」を決定する。そして、データ処理部２６０は、各フレームの変化量「θｎ」と角度差「θｘ」とに基づいてブレンディング係数「α」を算出する。
【００７３】
例えば、フレームレートが６０ｆｐｓとすると、データ処理部２６０は、切り替え時間「Ｔ＝１０秒」及び角度差「θｘ＝６０度」の場合には、１フレームにおいて変化する角度「Δθ」については、「０．１度」と算出することになる。すなわち、データ処理部２６０は、仮想カメラＭが「０．１度」毎に切り替え元のカメラ１０と切り替え際のカメラとの間に設定されていると想定する。
【００７４】
そして、データ処理部２６０は
（１）変化量「θ１」のとき「１／６０秒」となりブレンディング係数「α＝０．１／６０」と算出し、
（２）変化量「θ２」のとき「２／６０秒」となりブレンディング係数「α＝０．２／６０」と算出し、
（３）変化量「θ６０」のとき「１秒」となりブレンディング係数「α＝６／６０」と算出し、
最終的に、変化量「θ６００」のとき「１０秒」となりブレンディング係数「α＝１」となるまで各変化量「θｎ」を算出する。
【００７５】
一方、データ処理部２６０は、フレーム毎に、算出したブレンディング係数「α」に基づいて、フレームの画像、すなわち、第１画像と第２画像を合成し、当該合成した画像を仮想カメラＭの画像として出力する。なお、この結果、データ処理部２６０は、例えば、図５に示すような第１画像Ｉｍａｇｅ１と第２画像Ｉｍａｇｅ２の画像合成を行うことができるようになっている。
【００７６】
他方、本実施形態においては、フレーム毎に合成画像を生成して出力するとして説明したが、合成条件などにより、合成画像の出力タイミング間隔（例えば、１／３０秒毎）又は出力角度間隔（例えば、０．０５度毎）を決定するとともに、当該決定した出力タイミング間隔又は出力角度間隔に基づいて、ブレンディング係数「α」を算出し、合成画像を生成してもよい。
【００７７】
この場合には、当該決定された出力タイミング間隔、又は、出力角度間隔に基づいて算出された出力タイミング（出力角度間隔、角度差及び切り替え時間によって定まるタイミング）に合致するフレームを用いて使用不能なフレームを間引いてもよいし、当該出力タイミング時にＲＡＭ１０４に記録された最新のフレームの画像を用いて合成画像を生成してもよい。
【００７８】
また、本記実施形態においては、合成画像を出力する出力角度間隔、出力タイミング間隔及び切り替え時間を検出して合成画像データ生成処理を実行しているが、出力角度間隔のみ、又は、出力タイミング間隔のみ設定して、すなわち、切り替え開始から完了までに要する切り替え時間を定めずに、単に合成を行う角度、又は、タイミングのみを決定して、各変化量「θｎ」を算出し、当該算出した変化量に基づいてブレンディング係数αを算出しつつ、合成画像データ生成処理を実行してもよい。
【００７９】
［４］合成画像データ生成処理
次に、図６及び図７を用いて本実施形態の画像データ生成装置２０において実行される合成画像データ生成処理について説明する。なお、図６及び図７は、本実施形態の画像データ生成装置２０において実行される合成画像データ生成処理の動作を示すフローチャートである。
【００８０】
本動作においては、記録部２００には、図３に例示するカメラ管理テーブルが記録済みの状態にあるものとし、各カメラ１０について電源が投入されて撮像が開始され、それぞれ撮像した画像が同一のフレームレートで画像データ生成装置２０に出力されているものとする。
【００８１】
また、ＲＡＭ２０４には、カメラ１０−１及びカメラ１０−２から順次出力された画像データがフレーム毎に記録されており、最新フレームの画像データが常に保持されているものとし、フレーム毎に合成画像を生成するものとする。
【００８２】
さらに、本動作に先立って、装置管理制御部２８０は、表示部２４０に所定のホーム画面を表示させつつ、管理者による、被写体Ｏにおける合成画像の生成指示を待機する状態になっているものとする。
【００８３】
なお、本動作においては、カメラ１０−１から当該基準となるカメラ（すなわち、基準カメラ（切り替え元のカメラ））１０−１に隣接するカメラ（すなわち、隣接カメラ（切り替え先のカメラ））１０−２を用いて被写体Ｏを撮像する場合を例に説明するものとし、フレーム毎に線形合成を行う場合（線形に変化するブレンディング係数を用いた場合）について説明する。
【００８４】
まず、画像合成処理部２６３は、操作部２７０を介して、被写体Ｏに対する出合成画像データ生成処理について合成開始を示す入力指示を検出すると（ステップＳ１００）、カメラ管理テーブルＴＢＬから画像合成を行うカメラ１０−１及びカメラ１０−２に関するカメラ情報を読み出してＲＡＭ２０４に記録する（ステップＳ１０１）。特に、画像合成処理部２６３は、カメラ１０−１とカメラ１０−２の設置位置を示す設置位置情報をＲＡＭ２０４に記録する。
【００８５】
次いで、画像合成処理部２６３は、表示制御部２５０と連動しつつ、管理者の操作に基づいて入力された合成条件を検出する（ステップＳ１０２）。具体的には、画像合成処理部２６３は、カメラ１０−１からカメラ１０−２に画像を切り替える際の時間、すなわち、切り替え開始から完了までに要する切り替え時間を検出する。
【００８６】
次いで、画像合成処理部２６３は、読み出したカメラ情報に基づいて、基準カメラ１０−１と隣接カメラ１０−２間の角度差「θｘ」を算出する（ステップＳ１０３）。具体的には、画像合成処理部２６３は、ステップＳ１０３の処理において、ＲＡＭ２０４に記録されたカメラ１０−１及び１０−２に対応するカメラ情報から設置情報を抽出し、差分値を角度差「θｘ」として算出する。
【００８７】
次いで、画像合成処理部２６３は、ステップＳ１０２によって検出した合成条件及び角度差に基づいて、１フレームにおいて変化する角度「Δθ」を算出する。（ステップＳ１０４）。なお、管理者によって入力された合成画像の出力タイミング間隔又は出力角度間隔を合成条件として用いる場合には、当該ステップＳ１０４の処理を実行しない。
【００８８】
次いで、画像合成処理部２６３は、操作部２７０を介して合成開始を検出すると（ステップＳ１０５）、「θｎ」にカメラ１０−１の設置情報「０度」を設定し（ステップＳ１０６）、タイマ１９０のカウントを開始する（ステップＳ１０７）。
【００８９】
次いで、画像合成処理部２６３は、ＲＡＭ２０４において最新のフレームの画像として保持しているカメラ１０−１及びカメラ１０−２の各画像データから、第１画像及び第２画像を取得する（ステップＳ１１１）。
【００９０】
次いで、係数決定部２６２は、カウント開始からのフレーム数に基づいてブレンディング係数「α」を決定する（ステップＳ１１２）。具体的には、係数決定部２６２は、検出した合成条件及び角度差から１フレームにおいて変化する角度「Δθ」（すなわち、仮想カメラＭの位置）に基づいて、該当するフレームの変化量「θｎ」を決定し、決定した該当フレームの変化量「θｎ」と角度差「θｘ」とに基づいてブレンディング係数「α」を算出する。
【００９１】
なお、係数決定部２６２は、管理者によって入力された合成画像の出力タイミング間隔又は出力角度間隔を合成条件として用いる場合には、合成画像の出力タイミング間隔と角度差及び切り替え時間に基づいて、変化量「θｎ」を決定し、又は、合成画像の出力角度間隔から変化量「θｎ」を決定し、決定した変化量「θｎ」に基づいて、当該ブレンディング係数「α」を算出してもよい。
【００９２】
次いで、画像合成処理部２６３は、決定されたブレンディング係数「α」に基づいて、取得した第１画像と第２画像とを合成し（ステップＳ１１３）、表示制御部２５０と連動して表示部２４０に当該合成された合成画像を仮想カメラＭの画像として出力する（ステップＳ１１４）。なお、画像合成処理部２６３は、録画が設定されている場合には、合成された合成画像をＲＡＭ２０４に記録する。
【００９３】
次いで、画像合成処理部２６３は、「θｎ」にステップＳ１０４の処理において決定した角度「Δθ」（例えば、「０．１度」）を加算して所定の角度にインクリメントし（ステップＳ１１５）、当該インクリメント後の「θｎ」が、角度差「θｘ」になったか否かを判定する（ステップＳ１１６）。
【００９４】
このとき、画像合成処理部２６３は、「θｎ」が「θｘ」であると判定していない場合には、タイマ１０９に基づいてステップＳ１０４の処理において決定された時間間隔をカウントして次の出力タイミングまで待機し（ステップＳ１１７）、ステップＳ１１１〜Ｓ１１６の処理を繰り返し、その一方、「θｎ」が所定の角度であると判定した場合には、本動作を終了させる。
【００９５】
以上、本実施形態の画像データ生成システム１は、被写体Ｏを中心とする同心円Ｃ上に複数台のカメラ１０を設置し、所定の期間（上記の例では１０秒）毎にカメラ１０を切り替えつつ、被写体Ｏを撮像し、隣接するカメラ１０により撮像される画像をフレーム毎に合成して、合成画像データを生成する構成となっているため、被写体Ｏを全方位画像の画像データを生成する場合においても、画像の連続性を確保しつつ、カメラ画像を切り替えることができる。
【００９６】
また、本実施形態の画像データ生成システム１は、切り替え期間の経過時間、当該切り替え期間の先頭のフレームからのフレーム数、又は、予め定められた出力タイミングに応じて、ブレンディング係数を変更する構成となっているため、カメラ１０を切り替える際に、前側のカメラの画像から、徐々に後ろ側のカメラ画像に切り替わるように合成画像データを生成できるので、全方位画像の合成画像デ−タを生成する際における画像の連続性を確保して画像のなめらかさを確保することができる。
【００９７】
［５］変形例
［５．１］変形例１
上記実施形態においては、カメラ１０から出力された画像を用いて合成画像データ生成処理を実行しているが、既に録画され、かつ、同期が取られており、同様のカメラシステムによって撮像された画像を用いて当該合成画像データ生成処理を実行してもよい。
【００９８】
［５．２］変形例２
上記実施形態においては、画像データ生成装置２０により合成した合成画像データを表示部２４０に表示させて、記録媒体に記録し、又は、プリンタによりプリントアウトする構成としたが、ネットワークを介して、他の通信端末装置に配信する構成としてもよい。
【００９９】
この場合には、画像データ生成装置２０にネットワークを介して通信を行うためのネットワーク通信部を設け、通信端末装置からの要求に応じて合成画像データを配信するようにすればよい。
【０１００】
例えば、被写体Ｏが、人間の場合には、この構成を採用することにより、遊園地のアトラクション等において撮像された全方位画像の合成画像データを生成し、ユーザの通信端末装置に配信することも可能となる。
【０１０１】
［５．３］変形例３
上記実施形態の合成画像データ生成処理においては、ブレンディング係数「α」を角度の変化量とカメラ１０間の角度差とに基づいて算出しているが、予め定められたアルゴリズムに基づいて算出してもよい。
【０１０２】
例えば、線形的に合成を行う一次関数アルゴリズムＹ＝−ＡＸ＋Ｃ（以下、「第１アルゴリズム」という（図８（Ａ）参照）。）の他に、画像切り替えを行う際の最初と最後については緩やかに画像を切り替える関数アルゴリズム（以下、「第２アルゴリズム」という（図８（Ｂ）。）、又は、時間経過に伴って急激に変化させる二次関数アルゴリズム（以下、「第３アルゴリズム」という（図８（Ｃ）。）のいずれかを用いて合成画像データ生成処理を実行してもよい。
【０１０３】
この場合には、図８に示す各グラフにおいては、縦軸を「α」により示されるブレンディング係数を示すが、横軸は、画像合成を開始した際の開始フレームからのフレーム数、当該画像合成の開始からの経過時間及び当該画像合成を開始した際から変化した出力角度を示すことになる。そして、データ処理部３６０は、合成画像を生成する際に、当該グラフからブレンディング係数「α」値を決定し、決定したブレンディング係数「α」値を用いて合成画像を生成することとなる。
【０１０４】
［５．４］変形例４
上記実施形態に加えて、画像合成処理部２６３は、切り替え元のカメラ１０と切り替え先のカメラ１０との間に複数配置された仮想カメラＭにおいて、切り替え元のカメラ１０及び切り替え先のカメラ１０に近接されるに従ってより細かい間隔で配置されているものとして、第１画像と第２画像を合成してカメラ１０の画像データを生成する。
【０１０５】
具体的には、画像合成処理部２６３は、切り替え元のカメラ１０や切り替え先のカメラ１０に近接する位置（角度）においては、細かい間隔（例えば、Δθ＝０．１度）で合成画像を生成する一方で、切り替え元のカメラ１０や切り替え先のカメラ１０から遠い位置（例えば、上述のように角度差６０度の場合には、切り替え元のカメラ１０から２５度から３０度の位置）においては、荒い間隔（例えば、Δθ＝５度）で合成画像を生成する。
【０１０６】
すなわち、画像合成処理部２６３は、ブレンディング係数と相関させ、いずれかの画像における合成成分が多い場合には、細かく合成画像を表示し、２つの画像がほぼ等しい合成割合で合成される場合には、荒く合成画像を表示する。
【０１０７】
この場合には、よりなめらかに画像を切り替えることができるので、全方位画像の合成画像デ−タを生成する際における画像の連続性を確保することができる。なお、この場合であって、本実施形態のように、線形のブレンディング係数を用いてもよいが、上記の変形例３に示した第２アルゴリズムを用いる場合には、より効果的となる。
【０１０８】
［５．５］変形例５
上記実施形態においては、各カメラ１０から出力された画像データに対して切り替え制御を行うことによって合成画像データ生成処理を実行しているが、カメラ制御部２６１が各カメラの動作状態のＯＮ及びＯＦＦの切り替えも連動させて合成画像データの生成処理を実行してもよい。
【符号の説明】
【０１０９】
１  …  画像編集システム
１０  …  カメラ
２０  …  画像データ生成装置
２００  …  記録部
２０１  …  カメラ管理テーブル記録部
２０３  …  画像データ記録部
２０４  …  ＲＡＭ
２１０  …Ｉ／Ｏインターフェース
２４０  …  表示部
２５０  …  表示制御部
２６０  …  データ処理部
２６１  …  カメラ制御部
２６２  …  係数決定部
２６３  …  画像合成処理部
２６４  …  合成画像データ生成部
２７０  …  操作部
２８０  …  装置管理制御部
２９０  …  タイマ
【図１】
2015185962.tif 000005
【図２】
2015185962.tif 000006
【図３】
2015185962.tif 000007
【図４】
2015185962.tif 000008
【図６】
2015185962.tif 000009
【図７】
2015185962.tif 000010
【図８】
2015185962.tif 000011
【図５】
2015185962.tif 000012