(57)【要約】【課題】移動する被写体の状態を揃えた見やすい動画データを生成することができること。【解決手段】画像取得部５２は、撮影範囲が異なるように配置された複数の撮像部１６の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する。画像加工部５３は、被写体の移動中の各タイミングに対応して、画像取得部５２で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から被写体包含領域内の画像を、構成フレーム画像として切り出す選択的な切り出し処理の実行を制御する。動画生成部５４は、画像加工部５３の制御により各タイミングに対応して選択的に切り出される複数の構成フレーム画像、撮影時間の順に連結して１つの動画を生成する。【選択図】図３
2015050695.tif 000002
【特許請求の範囲】
【請求項１】
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段と、
前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、
前記切り出し制御手段の制御により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、
を備えることを特徴とする動画生成システム。
【請求項２】
前記切り出し制御手段は、前記選択された動画から被写体が所定位置かつ所定サイズで含まれる被写体包含領域を含む動画を選択し、当該選択された動画からこの被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する、
ことを特徴とする請求項１に記載の動画生成システム。
【請求項３】
前記切り出し制御手段は、前記選択された動画から被写体が中央に位置する所定サイズとなるように前記切り出し処理の実行を制御する、
ことを特徴とする請求項１又は２に記載の動画生成システム。
【請求項４】
前記複数の撮像手段は、前記被写体の移動経路上の撮影範囲の少なくとも一部が互いに重なるように配置されており、
前記切り出し制御手段は、前記被写体包含領域が１つの動画内に含まれる場合には、この１つの動画から前記被写体包含領域を切り出し、前記被写体包含領域が複数の動画にまたがって含まれる場合には、この複数の動画の各々から前記被写体包含領域の一部を切り出して合成するように制御する、
ことを特徴とする請求項１乃至３のいずれか１項に記載の動画生成システム。
【請求項５】
前記切り出し制御手段は、前記複数の撮像手段による前記移動する被写体の継続的な撮影中に前記切り出し処理を実行するように制御し、前記移動する被写体の撮影中の各タイミングにおいて、前記被写体包含領域を含む動画データを逐次選択するとともに、この逐次選択される動画から前記被写体包含領域内の画像を逐次切り出すように制御する、
ことを特徴とする請求項１乃至４のいずれか１項に記載の動画生成システム。
【請求項６】
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画を撮影している撮像手段を逐次選択する撮像手段選択手段を備え、
前記切り出し制御手段は、前記撮像手段選択手段により逐次選択される当該撮像手段から動画を逐次取得して前記切り出し処理を実行するように制御する、
ことを特徴とする請求項５に記載の動画生成システム。
【請求項７】
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画の撮影を開始又は終了させる撮像手段を逐次選択し、この逐次選択される撮像手段による動画の撮影を開始又は終了させるように制御する撮影制御手段を備える、
ことを特徴とする請求項６に記載の動画生成システム。
【請求項８】
前記撮像手段を備えた複数の撮像装置と、前記取得手段、前記切り出し制御手段、および前記動画生成手段を備えた撮像制御装置を含む、
ことを特徴とする請求項１乃至７のいずれか１項に記載の動画生成システム。
【請求項９】
前記撮像手段を備えた複数の撮像装置のうちの１つが前記撮像制御装置となって、他の撮像装置の選択と他の撮像装置への指示を行う撮影指示手段を備える、
ことを特徴とする請求項８に記載の動画生成システム。
【請求項１０】
前記撮像手段を備えた撮像装置が前記撮像制御装置の機能を兼用する、
ことを特徴とする請求項９に記載の動画生成システム。
【請求項１１】
前記切り出し処理は、前記撮像装置側で行われる、
ことを特徴とする請求項８乃至１０のいずれか１項に記載の動画生成システム。
【請求項１２】
前記切り出し処理は、前記撮像制御装置側で行われる、
ことを特徴とする請求項８乃至１０のいずれか１項に記載の動画生成システム。
【請求項１３】
前記動画生成手段は、前記切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して１つの動画を生成する、
ことを特徴とする請求項１乃至１２のいずれか１項に記載の動画生成システム。
【請求項１４】
前記切り出し手段は、前記被写体の形状に合わせた画像領域のみを被写体包含領域として切り出す、
ことを特徴とする請求項１乃至１３のいずれか１項に記載の動画生成システム。
【請求項１５】
動画生成システムにおける動画生成方法であって、
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得ステップと、
前記被写体の移動中の各タイミングに対応して、前記取得ステップで取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御ステップと、
前記切り出し制御ステップにより各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成ステップと、
を含むことを特徴とする動画生成方法。
【請求項１６】
動画生成システムを制御するコンピュータに、
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段、
前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御機能、
前記切り出し制御機能により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成機能、
を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画生成システム、動画生成方法及びプログラムに関する。
【背景技術】
【０００２】
従来より、複数の撮像装置で、被写体の移動に追従して撮像装置を切り換えて自動的に動画を撮影する撮影技術があった。
このような撮影技術においては、例えば、撮影範囲が異なるように配置された複数の撮像装置で移動する物体を継続的に撮影して得られた複数の動画データを用いる特許文献１に記載の技術がある。特許文献１に記載の技術においては、被写体の移動中の各タイミングについて、被写体が含まれる動画データを選択するとともに、この選択された動画データに基づいて画像を生成する処理を行い、各タイミングに対応して生成された複数の画像を撮影時間の順に連結することで、被写体の移動を継続的に撮影した１つの動画データを生成する技術が記載されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００５−１０９７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した特許文献１に記載の技術では、それぞれの動画データにおいて被写体の撮影サイズが異なることは避けられない。また、動画データの連結部分で移動する被写体の大きさがスムーズに変化するように、動画データと動画データの間に補間処理によって生成された仮想動画を挿入している。このため、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することはできない。
【０００５】
本発明は、このような状況に鑑みてなされたものであり、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することができる動画生成システム、動画生成方法及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上記目的を達成するため、本発明の一態様の動画生成システムは、撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段と、前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、前記切り出し制御手段の制御により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、を備えることを特徴とする。
【発明の効果】
【０００７】
本発明によれば、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することができる。
【図面の簡単な説明】
【０００８】
【図１】本発明の一実施形態に係る被写体追従動画生成システムのシステム構成を示すシステム構成図である。
【図２】図１の被写体追従動画生成システムを構成する撮像制御装置及び撮像装置のハードウェアの構成を示すブロック図である。
【図３】図２の撮像制御装置及び撮像装置の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。
【図４】切り出し加工の具体例を示す模式図である。
【図５】図３の機能的構成を有する図２の撮像制御装置が実行する被写体追従動画生成処理の流れを説明するフローチャートである。
【図６】図３の機能的構成を有する図２の撮像装置が実行する被写体追従動画生成処理の流れを説明するフローチャートである。
【図７】図２の撮像制御装置及び撮像装置の機能的構成のうち、第２の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。
【図８】図７の機能的構成を有する図２の撮像制御装置が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
【図９】図７の機能的構成を有する図２の撮像装置が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
【図１０】第３の実施形態における被写体追従動画生成システムのシステム構成を示すシステム構成図である。
【図１１】図２の撮像装置の機能的構成のうち、第３の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。
【図１２】図１１の機能的構成を有する図２の撮像装置が実行する第３の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
【図１３】撮影タイミングの他の例を示す図である。
【発明を実施するための形態】
【０００９】
以下、本発明の実施形態について、図面を用いて説明する。
【００１０】
本発明の一実施形態に係る被写体追従動画生成システムは、所定の位置に設置された複数の撮像装置で、各撮像装置における画角内を移動する被写体（以下、「特定被写体」という。）が撮影された動画（以下、「撮影動画」という。）を用いて、特定被写体が常に所定位置（本実施形態においては、動画の中心位置）に所定サイズ（例えば、特定被写体の全体を含み、かつ特定被写体の周囲に所定の余白を設けられるサイズ）で存在する動画（以下、「被写体追従動画」という。）データを生成する。被写体追従動画は、特定被写体が常に動画の中心に映し出されており、背景等の特定被写体以外の被写体が移動して見えるような動画、即ち、特定被写体と共に移動するような動画となる。
【００１１】
＜第１の実施形態＞
図１は、本発明の一実施形態に係る被写体追従動画生成システムのシステム構成を示すシステム構成図である。なお、本例では、所定の区間を走るランナーｐｈを撮影対象（特定被写体）とした動画を撮影し、ランナーｐｈが動画の中心に位置して背景が移動と共に変化するような、あたかもランナーｐｈと併走しているような動画を生成する例について説明する。
【００１２】
被写体追従動画生成システムＳは、図１に示すように、撮像制御装置１と、複数の撮像装置２Ａ乃至２Ｎと、で構成される。
【００１３】
撮像制御装置１は、各撮像装置２Ａ乃至２Ｎと互いに通信可能に構成される。
撮像制御装置１では、各撮像装置２Ａ乃至２Ｎから送信される撮影動画から抽出された被写体追従動画を構成するフレーム画像（以下、「構成フレーム画像」という）を用いて、被写体追従動画のデータを生成する。
【００１４】
また、撮像装置２Ａ乃至２Ｎは、ランナーｐｈの移動経路ＭＤに並行し、互いに異なる撮影範囲となり、画角の一部がオーバーラップするように配置される。詳細には、撮像装置２Ａは、例えば、ランナーｐｈが走り出していないスタート位置においてランナーｐｈが画角の中心にくる位置に配置される。その他の撮像装置２Ｂ乃至撮像装置２Ｎは、移動経路ＭＤで、各撮像装置２Ｂ乃至２Ｎの画角の中心位置からランナーｐｈがずれた場合に隣り合う撮像装置２が互いにランナーｐｈを中心位置とする画角をカバーできる位置に配置される。撮像装置２Ａ乃至２Ｎは、特に個別に説明しない場合には、単に撮像装置２とする。
【００１５】
撮像装置２Ａ乃至２Ｎにおいては、ランナーｐｈの移動、又はユーザの撮影開始の指示操作で撮影が開始されて、各撮像装置２Ａ乃至２Ｎで撮影された撮影動画から構成フレーム画像を取得する。
被写体追従動画生成システムＳでは、構成フレーム画像を撮影時間順に時系列に連結して、被写体追従動画のデータを生成することになる。
【００１６】
このようにして、被写体追従動画生成システムＳにおいては、常に動画の中央に特定被写体である移動する物体が所定のサイズで位置する被写体追従動画を取得することができる機能を有する。これにより、ユーザは、撮影対象であるランナーｐｈと併走しているような感覚で動画を楽しむことができる。
【００１７】
図２は、このような被写体追従動画生成システムＳを構成する撮像制御装置１及び撮像装置２のハードウェアの構成を示すブロック図である。
撮像制御装置１及び撮像装置２は、例えばデジタルカメラとして構成される。
本実施形態において、撮像制御装置１は、撮像装置２の親機としての位置付けであり、撮像装置２は撮像制御装置１の子機の位置付けとなる。また、撮像制御装置１は、説明の関係上、撮像機能を備える構成としたが、撮像機能を備えないで構成してもよく、少なくとも、撮像装置２との通信機能及び撮像装置２から取得した画像を処理する機能を有していればよい。
【００１８】
撮像制御装置１及び撮像装置２は、ＣＰＵ（Ｃｅｎｔｒａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）１１と、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）１２と、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）１３と、バス１４と、入出力インターフェース１５と、撮像部１６と、位置センサ１７と、入力部１８と、出力部１９と、記憶部２０と、通信部２１と、ドライブ２２と、を備えている。
【００１９】
ＣＰＵ１１は、ＲＯＭ１２に記録されているプログラム、又は、記憶部２０からＲＡＭ１３にロードされたプログラムに従って各種の処理を実行する。
【００２０】
ＲＡＭ１３には、ＣＰＵ１１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００２１】
ＣＰＵ１１、ＲＯＭ１２及びＲＡＭ１３は、バス１４を介して相互に接続されている。このバス１４にはまた、入出力インターフェース１５も接続されている。入出力インターフェース１５には、撮像部１６、位置センサ１７、入力部１８、出力部１９、記憶部２０、通信部２１及びドライブ２２が接続されている。
【００２２】
撮像部１６は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００２３】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００２４】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ  Ｆｒｏｎｔ  Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１６の出力信号として出力される。
このような撮像部１６の出力信号を、以下、「撮像画像のデータ」と呼ぶ。撮像画像のデータは、ＣＰＵ１１や図示しない画像処理部等に適宜供給される。
また、撮像部１６は、撮像画像を、動画を構成するフレーム画像として出力する。結果、撮像制御装置１及び撮像装置２では、フレーム画像を撮影時間順に時系列で連結して、動画を取得する。
【００２５】
位置センサ１７は、ＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）等を利用して、撮影する位置、向き、画角等の撮影範囲の情報を取得可能に装置の位置を検出する。位置センサ１７から位置の情報を取得した装置は、装置に関するデータから画角の範囲を特定する。
【００２６】
入力部１８は、各種釦等で構成され、ユーザの指示操作に応じて各種情報を入力する。
出力部１９は、ディスプレイやスピーカ等で構成され、画像や音声を出力する。
記憶部２０は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ  Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等で構成され、各種画像のデータを記憶する。
通信部２１は、インターネットを含むネットワークを介して他の装置（図示せず）との間で行う通信を制御する。
【００２７】
ドライブ２２には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア３１が適宜装着される。ドライブ２２によってリムーバブルメディア３１から読み出されたプログラムは、必要に応じて記憶部２０にインストールされる。また、リムーバブルメディア３１は、記憶部２０に記憶されている画像のデータ等の各種データも、記憶部２０と同様に記憶することができる。
【００２８】
次に、このような撮像制御装置１の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成について説明する。
「被写体追従動画生成処理」とは、複数の撮像装置２において、移動する撮影対象である特定被写体を含む撮影動画を撮影し、当該撮影動画を構成するフレーム画像に基づいて、構成フレーム画像を取得して、当該取得した構成フレーム画像を撮影時間順に時系列で連結することで被写体追従動画を生成するまでの処理である。
【００２９】
本例では、撮像装置２は、画角の中央に撮影対象となる特定被写体が位置した状態を撮影した場合には、当該特定被写体の撮影を行っている１台の撮像装置２から該当するフレーム画像が送信されるように構成される。また、画角の中央に撮影対象となる特定被写体が位置していない状態（中央に向かっている状態か、中央から遠ざかる状態）を撮影した場合には、当該特定被写体の撮影を行っている隣り合う２台の撮像装置２からフレーム画像が送信されるように構成される。即ち、撮像装置２は、いずれかの撮像装置２で画角の中央に特定被写体が位置している場合には、１台の撮像装置２のみで特定被写体が映り込むように配置される。また、撮像装置２は、いずれかの撮像装置２で画角の中央から外れた位置に特定被写体が位置している場合には、中央付近で特定被写体を捉えている撮像装置２と、外れた方向に位置する撮像装置２の２台で特定被写体が映り込むように配置される。
【００３０】
図３は、このような撮像制御装置１及び撮像装置２の機能的構成のうち、被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。なお、以下において、ハードウェアにおいて撮像制御装置１と撮像装置２とで記載を分ける場合には、撮像制御装置１のハードウェアを示すものには、符号に「−１」を付し、撮像装置２のハードウェアを示すものには、符号に「−２」を付す。
【００３１】
被写体追従動画生成処理を実行する場合には、撮像制御装置１のＣＰＵ１１−１において、撮影状況取得部５１と、画像取得部５２と、画像加工部５３と、動画生成部５４と、が機能する。
【００３２】
また、撮像制御装置１の記憶部２０−１の一領域には、画像記憶部７１が設けられる。
画像記憶部７１には、撮像画像等の各種画像データや撮影動画や被写体追従動画等の各種動画データが記憶される。
【００３３】
撮影状況取得部５１は、各撮像装置２から通信部２１−１を介して、現在の特定被写体の撮影状況を取得する。即ち、撮影状況取得部５１は、各撮像装置２において撮影対象となる特定被写体が現在画角内に存在するか否かの撮影状況に関する情報として特定被写体が存在する旨の通知を取得する。
また、撮影状況取得部５１は、取得した特定被写体が存在する旨の通知から特定被写体を撮影中の撮像装置２の台数をカウントする。
【００３４】
画像取得部５２は、各撮像装置２で撮影された撮影動画の該当するフレーム画像を撮影画像として、通信部２１−１を介して取得する。画像取得部５２は、取得した撮影画像を画像記憶部７１に記憶させる。
【００３５】
画像加工部５３は、画像取得部５２が取得した撮影画像から特定被写体が中央に位置するように所定サイズの部分画像領域である被写体包含領域（以下、単に「画像領域」という。）を切り出す加工を行う。その結果、画像加工部５３は、被写体追従動画を構成する構成フレーム画像を生成する。
【００３６】
ここで、画像加工部５３での切り出し加工による構成フレーム画像の生成の詳細について説明する。
構成フレーム画像は、フレーム画像で所定のサイズで中央に特定被写体が位置している場合には、そのまま所定サイズの画像領域を切り出す切り出し加工によって生成される。
これに対して、フレーム画像の中央に特定被写体が位置していない場合や、所定サイズで中央に特定被写体が位置する画像が得られない場合には、他の撮像装置２で撮影された複数のフレーム画像から不足分を互いに補うように、各フレーム画像から対応する画像領域を切り出して、その後切り出した画像（以下、「切り出し画像」という。）を貼り合わせて、１枚の構成フレーム画像を生成する。また、他の撮像装置２で撮影された複数のフレーム画像から不足分を互いに補うフレーム画像を合成して、所定サイズ内に中央に特定被写体が位置するように合成した画像（以下、「合成画像」という。）から該当する画像領域を切り出して、１枚の構成フレーム画像を生成する。
即ち、構成フレーム画像は、画像から所定の画像領域を切り出して、各画像を合成するか、或いは、各画像を合成して、該当する画像領域を切り出す切り出し加工を行って生成される。
【００３７】
図４は、切り出し加工による構成フレーム画像の生成例を示す模式図である。
具体的には、図４の例では、第１のフレーム画像においては、そのまま所定サイズで切り出すことでは構成フレーム画像を生成することができない場合について説明する。
【００３８】
図４（ａ）の第１の例に示すように、第１のフレーム画像ｐ１においては、特定被写体であるランナーｐｈが右端に位置しており、特定被写体であるランナーｐｈが中央に位置した所定のサイズの画像領域を切り出すことができない。そこで、中央から離れた側の撮像装置２で取得された第２のフレーム画像ｐ２を用いる。第２のフレーム画像ｐ２では、特定被写体であるランナーｐｈは画像の左端に位置しており、特定被写体であるランナーｐｈを含む近傍の領域が第１のフレーム画像ｐ１と重複する。
第１の例では、第１のフレーム画像ｐ１と第２のフレーム画像ｐ２の重複した領域（図中ハッチングで示した領域）を重ねて合成した画像ｐ３を生成する。その後、第１の例では、所定のサイズで特定被写体であるランナーｐｈが画像の中央に位置する画像領域を切り出して、構成フレーム画像ｐ４を生成する。
【００３９】
これに対して、図４（ｂ）の第２の例では、第１の例とは異なり、まず、第１のフレーム画像ｐ１から特定被写体であるランナーｐｈを含む画像領域で、特定被写体であるランナーｐｈを中心に所定サイズの半分の幅となるような領域と第２のフレーム画像ｐ２と重複する領域（図中ハッチングで示した領域）を含んだ画像領域を切り出して第１の切り出し画像ｐ５−１を生成する。第２のフレーム画像ｐ２においても、第１のフレーム画像ｐ１と同様に、特定被写体であるランナーｐｈを含む画像領域で、特定被写体であるランナーｐｈを中心に所定サイズの半分の幅となるような画像領域と第１のフレーム画像ｐ１と重複する領域（図中ハッチングで示した領域）を含んだ画像領域を切り出して第２の切り出し画像ｐ５−２を生成する。その後、第１の切り出し画像ｐ５−１と第２の切り出し画像ｐ５−２とを重複する領域で合成して、構成フレーム画像ｐ４を生成する。
なお、本実施形態においては、第１の例の手法で、構成フレーム画像ｐ４を生成する。
【００４０】
図３に戻り、動画生成部５４は、画像加工部５３で生成された構成フレーム画像を連結して被写体追従動画を生成する。即ち、動画生成部５４は、順次取得して切り出し加工を行って生成した構成フレーム画像を時系列に連結することで被写体追従動画を生成する。動画生成部５４は、生成した被写体追従動画を画像記憶部７１に記憶させる。
【００４１】
また、被写体追従動画生成処理を実行する場合には、撮像装置２のＣＰＵ１１−２において、撮像制御部９１と、被写体検出部９２と、通信制御部９３と、が機能する。
【００４２】
撮像制御部９１は、撮影動画の撮影を行うように撮像部１６−２を制御する。
【００４３】
被写体検出部９２は、撮像部１６−２で撮影された撮影動画から被写体を検出し、撮影対象となっている特定被写体の有無を判定する。被写体検出部９２は、検出結果を通信制御部９３に出力する。被写体検出部９２における被写体検出は、既存の被写体検出技術を用いる。また、特定被写体は、ユーザ指示等により特定した特定被写体の画像との検出した被写体との画像マッチング等により有無を判定する。
【００４４】
通信制御部９３は、被写体検出部９２から出力された検出結果に基づいて、特定被写体が画角内に存在している場合には、特定被写体が存在する旨の通知を、通信部２１−２を介して撮像制御装置１に送信する。
また、通信制御部９３は、特定被写体が画角内に存在していると判定されたときの撮影動画のフレーム画像を撮影画像として、通信部２１−２を介して撮像制御装置１に送信する。
【００４５】
図５は、図３の機能的構成を有する図２の撮像制御装置１が実行する被写体追従動画生成処理の流れを説明するフローチャートである。
被写体追従動画生成処理は、ユーザによる入力部１８−１への被写体追従動画生成処理開始の操作により開始される。
【００４６】
ステップＳ１１において、撮影状況取得部５１は、各撮像装置２から現在の特定被写体の撮影状況を取得する。即ち、撮影状況取得部５１は、各撮像装置２から特定被写体が撮影フレーム内に存在する旨の通知を取得する。
【００４７】
ステップＳ１２において、撮影状況取得部５１は、特定被写体を撮影中（特定被写体が撮影フレーム内に存在している）の撮像装置２の台数をカウントする。
特定被写体を撮影中の撮像装置２が１台の場合には、ステップＳ１２において「１台」と判定されて、処理はステップＳ１３に進む。
特定被写体を撮影中の撮像装置２が２台の場合には、ステップＳ１２において「２台」と判定されて、処理はステップＳ１５に進む。ステップＳ１５以降の処理は後述する。
特定被写体を撮影中の撮像装置２がない場合には、ステップＳ１２において「０台」と判定されて、処理はステップＳ２０に進む。
【００４８】
ステップＳ１３において、画像取得部５２は、特定被写体を撮影している当該１台の撮像装置２から現在の撮影画像を取得する。
【００４９】
ステップＳ１４において、画像加工部５３は、取得した撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。その後処理は、ステップＳ１８に進む。ステップＳ１８以降の処理は後述する。
【００５０】
ステップＳ１５において、画像取得部５２は、特定被写体を撮影している当該２台の撮像装置２から現在の撮影画像を取得する。
【００５１】
ステップＳ１６において、画像加工部５３は、２つの撮影画像の位置を合わせて合成して、合成画像を生成する。
【００５２】
ステップＳ１７において、画像加工部５３は、生成した合成画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。
【００５３】
ステップＳ１８において、動画生成部５４は、作成中の動画の末尾に新たに切り出された構成フレーム画像を連結して、被写体追従動画を生成する。即ち、動画生成部５４は、構成フレームを順次連結して、被写体追従動画を生成する。新たに切り出された構成フレーム画像がある場合には、動画の末尾に連結することで、被写体追従動画を生成する。生成した被写体追従動画のデータは、画像記憶部７１に記憶させる。
【００５４】
ステップＳ１９において、動画生成部５４は、被写体追従動画のデータのフレームレートに応じて次のフレームを生成すべき時間まで待機する。その後処理はステップＳ１１に戻る。
【００５５】
ステップＳ２０において、ＣＰＵ１１−１は、終了するか否かを判定する。
終了しない場合には、ステップＳ２０においてＮＯと判定されて、処理はステップＳ１１に戻る。
終了する場合には、ステップＳ２０においてＹＥＳと判定されて、撮像制御装置１での被写体追従動画生成処理は終了する。
【００５６】
図６は、図３の機能的構成を有する図２の撮像装置２が実行する被写体追従動画生成処理の流れを説明するフローチャートである。
被写体追従動画生成処理は、ユーザによる入力部１８−２への被写体追従動画生成処理開始の操作により開始される。
被写体追従動画生成処理が開始されることにより、撮像制御部９１は、撮像を開始するように撮像部１６−２を制御する。
【００５７】
ステップＳ４１において、被写体検出部９２は、撮影フレーム内の被写体を検出する。
【００５８】
ステップＳ４２において、被写体検出部９２は、撮影対象となる特定被写体が存在するか否かを判定する。
特定被写体が存在しない場合には、ステップＳ４２においてＮＯと判定されて、処理はステップＳ４５に進む。ステップＳ４５の処理については後述する。
特定被写体が存在する場合には、ステップＳ４２においてＹＥＳと判定されて、処理はステップＳ４３に進む。
【００５９】
ステップＳ４３において、通信制御部９３は、撮影対象となる特定被写体が存在する旨を、通信部２１−２を介して撮像制御装置１に通知する。
【００６０】
ステップＳ４４において、通信制御部９３は、撮影対象となる特定被写体が存在すると判定した時期に対応する撮影動画のフレーム画像を撮影画像として、通信部２１−２を介して撮像制御装置１に送信する。
【００６１】
ステップＳ４５において、ＣＰＵ１１−２は、終了するか否かを判定する。
終了しない場合には、ステップＳ４５おいてＮＯと判定されて、処理はステップＳ４１に戻る。
終了する場合には、ステップＳ４５においてＹＥＳと判定されて、撮像装置２での被写体追従動画生成処理は終了する。
【００６２】
＜第２の実施形態＞
第１の実施形態では、撮像装置２Ａ乃至２Ｎが常に撮影を行っており、専用の撮像制御装置１が撮像装置２Ａ乃至２Ｎから送信される撮像画像を順次取得して切り換え、取得した撮影画像を切り出し加工して連結して、被写体追従動画を生成するように構成した。
これに対して、本実施形態では、撮像装置２Ａ乃至２Ｎは必要な（指示された）タイミングでのみ撮影を行い、専用の撮像制御装置１が撮像装置２Ａ乃至２Ｎの撮像を順次切り換えながら指示し、撮像装置２で生成した切り出し画像を取得して連結して、被写体追従動画を生成するように構成する。また、本実施形態では、撮像装置２での撮像に際しては、撮像制御装置１が撮影の不要な時期を見極めて、被写体追従動画の生成に寄与する撮像装置２だけを順次切り換えて撮像をさせるように構成する。
【００６３】
第２の実施形態の説明では、被写体追従動画生成システムＳのシステム構成、並びに撮像制御装置１及び撮像装置２のハードウェア構成は第１の実施形態と同様のため説明は省略する。また、その他の第１の実施形態と同様の構成についても説明を省略する。
【００６４】
図７は、図２の撮像制御装置１及び撮像装置２の機能的構成のうち、第２の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。
【００６５】
第２の実施形態における被写体追従動画生成処理を実行する場合には、撮像制御装置１のＣＰＵ１１−１において、撮影指示部５５と、撮影状況取得部５１と、画像取得部５２と、画像判定部５６と、画像加工部５３と、動画生成部５４と、が機能する。
また、記憶部２０−１の一領域には、画像記憶部７１が設けられる。
【００６６】
撮影指示部５５は、通信部２１−１を介して、各撮像装置２に対して、撮影の開始や終了の指示を行う。撮影指示部５５は、撮影の開始や終了の指示の際、撮影条件も含める。
【００６７】
画像判定部５６は、画像取得部５２により取得された切り出し画像に特定被写体を中心とする所定サイズの領域を全て含むか否かを判定する。
【００６８】
画像加工部５３は、各撮像装置２から取得した切り出し画像を位置合わせして合成して構成フレーム画像を生成する。本例では、画像の切り出しは、各撮像装置２で行うために、画像加工部５３は、合成のみを行う、即ち、合成画像の生成のみ行う。なお、画像加工部５３は、特定被写体を中心とする所定サイズの画像領域を全て含むような合成の必要のない切り出し画像は、そのまま構成フレーム画像として扱う。
【００６９】
また、第２の実施形態における被写体追従動画生成処理を実行する場合には、撮像装置２のＣＰＵ１１−２において、撮像制御部９１と、被写体検出部９２と、画像加工部９４と、通信制御部９３と、が機能する。
【００７０】
撮像制御部９１は、撮像制御装置１からの撮影開始・終了の指示に基づいて、撮像を開始・終了するように撮像部１６−２を制御する。
【００７１】
画像加工部９４は、撮像部１６−２で撮影された撮影動画を構成するフレーム画像を撮影画像として取得し、当該撮影画像に対して、撮影対象となる特定被写体を中心とする所定サイズの画像領域を切り出して切り出し画像を生成する。
【００７２】
通信制御部９３は、通信部２１−２を介して、撮像制御装置１からの撮影開始・終了の指示を取得して、撮像制御部９１に出力する。
また、通信制御部９３は、画像加工部９４によって生成された切り出し画像を通信部２１−２を介して、撮像制御装置１に送信する。
【００７３】
図８は、図７の機能的構成を有する図２の撮像制御装置１が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
被写体追従動画生成処理は、ユーザによる入力部１８−１への被写体追従動画生成処理開始の操作により開始される。
【００７４】
ステップＳ６１において、撮影指示部５５は、最初に特定被写体を撮影する現撮像装置２を特定して撮影開始を指示する。
【００７５】
ステップＳ６２において、撮影状況取得部５１は、現撮像装置２から現在の特定被写体の撮影状況を取得する。
【００７６】
ステップＳ６３において、撮影状況取得部５１は、特定被写体を撮影中か否かを判定する。
特定被写体を撮影していない場合には、ステップＳ６３においてＮＯと判定されて、待機状態となる。
特定被写体を撮影中の場合には、ステップＳ６３においてＹＥＳと判定されて、処理はステップＳ６４に進む。
【００７７】
ステップＳ６４において、画像取得部５２は、現撮像装置２から切り出し画像を取得する。
【００７８】
ステップＳ６５において、画像判定部５６は、取得した切り出し画像が特定被写体を中心とする所定サイズの領域を全て含むか否かを判定する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含む場合には、ステップＳ６５においてＹＥＳと判定されて、処理はステップＳ７１に進む。ステップＳ７１以降の処理は後述する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含まない場合には、ステップＳ６５においてＮＯと判定されて、処理はステップＳ６６に進む。
【００７９】
ステップＳ６６において、撮影指示部５５は、現撮像装置２の隣の撮像装置２（以下、「次撮像装置２」という。）を特定して撮影開始を指示する。その際、撮影指示部５５は、現撮像装置２の撮影条件も含める。
【００８０】
ステップＳ６７において、画像取得部５２は、次撮像装置２から切り出し画像を取得する。
【００８１】
ステップＳ６８において、画像判定部５６は、取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含むか否かを判定する。
取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含む場合には、ステップＳ６８においてＹＥＳと判定されて、処理はステップＳ６９に進む。
【００８２】
ステップＳ６９において、撮影指示部５５は、現撮像装置２に撮影終了を指示する。その後処理はステップＳ７１に進む。
【００８３】
これに対して、取得した切り出し画像が特定被写体を中心とする所定サイズの画像領域を全て含まない場合には、ステップＳ６８においてＮＯと判定されて、処理はステップＳ７０に進む。
【００８４】
ステップＳ７０において、画像加工部５３は、現撮像装置２と次撮像装置２の切り出し画像の位置を合わせて合成して、構成フレーム画像を生成する。その後処理はステップＳ７１に進む。
【００８５】
ステップＳ７１において、動画生成部５４は、作成中の動画データの末尾に新たに取得した切り出し画像を連結して、被写体追従動画を生成する。生成した被写体追従動画は、画像記憶部７１に記憶させる。
【００８６】
ステップＳ７２において、動画生成部５４は、被写体追従動画のデータのフレームレートに応じて次のフレームを生成すべき時間まで待機する。
【００８７】
図９は、図７の機能的構成を有する図２の撮像装置２が実行する第２の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
【００８８】
ステップＳ９１において、通信制御部９３は、撮影開始が指示されたかを判定する。
撮影開始が指示されない場合には、ステップＳ９１においてＮＯと判定されて、待機状態となる。
撮影開始が指示された場合には、ステップＳ９１においてＹＥＳと判定されて、処理はステップＳ９２に進む。
【００８９】
ステップＳ９２において、撮像制御部９１は、撮影を開始するように撮像部１６を制御する。
【００９０】
ステップＳ９３において、被写体検出部９２は、撮影フレーム内の被写体を検出する。
【００９１】
ステップＳ９４において、被写体検出部９２は、特定被写体が存在するか否かを判定する。
特定被写体が存在しない場合には、ステップＳ９４においてＮＯと判定されて、待機状態となる。
特定被写体が存在する場合には、ステップＳ９４においてＹＥＳと判定されて、処理はステップＳ９５に進む。
【００９２】
ステップＳ９５において、通信制御部９３は、特定被写体が存在する旨を通知する。
【００９３】
ステップＳ９６において、画像加工部９４は、現在の撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、切り出し画像を生成する。
【００９４】
ステップＳ９７において、通信制御部９３は、生成された切り出し画像を送信する。
【００９５】
ステップＳ９８において、通信制御部９３は、撮影終了が指示されたか否かを判定する。
撮影終了が指示されない場合には、ステップＳ９８おいてＮＯと判定されて、処理はステップＳ９３に戻る。
撮影終了が指示された場合には、ステップＳ９８においてＹＥＳと判定されて、処理はステップＳ９９に進む。
【００９６】
ステップＳ９９において、撮像制御部９１は、撮影を終了するように撮像部１６を制御する。その後、撮像装置２での被写体追従動画生成処理を終了する。
【００９７】
以上のように構成される被写体追従動画生成システムＳは、撮像部１６と、画像加工部５３と、動画生成部５４と、を備える。
画像取得部５２は、撮影範囲が異なるように配置された複数の撮像部１６の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する。
画像加工部５３は、被写体の移動中の各タイミングに対応して、画像取得部５２で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から被写体包含領域内の画像を、構成フレーム画像として切り出す選択的な切り出し処理の実行を制御する。
動画生成部５４は、画像加工部５３の制御により各タイミングに対応して選択的に切り出される複数の構成フレーム画像、撮影時間の順に連結して１つの動画を生成する。
これにより、被写体追従動画生成システムＳにおいては、複数の撮像部１６によって撮像された画像から、被写体包含領域内の画像を用いて、動画を構成するフレーム画像とする動画を生成する。
したがって、被写体追従動画生成システムＳでは、特定の被写体との距離が所定位置で一定となるか、または所定サイズとなり、他の被写体が動いているように見える特定の被写体を追従したような被写体追従動画を実際に特定の被写体に追従して撮影を行わなくても生成することができる。よって、被写体追従動画生成システムＳでは、移動する被写体の状態（動画内での位置やサイズなど）を揃えた見やすい動画データを生成することができる。
【００９８】
画像加工部５３は、選択された動画から被写体が所定位置かつ所定サイズで含まれる被写体包含領域を含む動画を選択し、当該選択された動画からこの被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する。
これにより、被写体追従動画生成システムＳにおいては、所定位置かつ所定サイズで含まれる被写体追従動画を生成することができる。
【００９９】
また、画像加工部５３は、選択された動画から被写体が中央に位置する所定サイズとなるように被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する。
これにより、被写体追従動画生成システムＳにおいては、被写体を常に中央に位置した被写体追従動画を生成することができる。
【０１００】
また、被写体追従動画生成システムＳにおいては、複数の撮像部１６は、特定被写体の移動経路上の撮影範囲の少なくとも一部が互いに重なるように配置される。
画像加工部５３は、被写体包含領域が１つの動画内に含まれる場合には、この１つの動画から被写体包含領域を切り出し、被写体包含領域が複数の動画にまたがって含まれる場合には、この複数の動画の各々から被写体包含領域の一部を切り出して合成するように制御する。
これにより、被写体追従動画生成システムＳにおいては、１の撮像部１６で撮影された撮影動画で構成フレーム画像を生成することができない場合であっても、他の撮像部１６で撮影された撮影動画を複数合成して構成フレーム画像を生成することができる。
したがって、被写体追従動画生成システムＳにおいては、確実に被写体追従動画を生成することができる。
【０１０１】
また、画像加工部５３は、複数の撮像部１６による移動する被写体の継続的な撮影中に選択的な切り出し処理を実行するように制御し、移動する被写体の撮影中の各タイミングにおいて、被写体包含領域を含む動画データを逐次選択するとともに、この逐次選択される動画から被写体包含領域内の画像を逐次切り出すように制御する。
これにより、被写体追従動画生成システムＳにおいては、逐次選択される動画から被写体包含領域内の画像を逐次切り出すために、リアルタイムに被写体追従動画を生成することができる。
【０１０２】
また、被写体追従動画生成システムＳは、撮像部１６を備えた複数の撮像装置２と、画像取得部５２、画像加工部５３、および動画生成部５４を備えた撮像制御装置１を含む。
これにより、被写体追従動画生成システムＳにおいては、撮像装置２で撮像機能を備えていればよく、特段被写体追従動画生成の機能を備えていなくても、被写体追従動画を生成することができる。
【０１０３】
＜第３の実施形態＞
第１の実施形態では、専用の撮像制御装置が撮像装置の撮像を順次切り換え、撮像装置から取得した撮像画像を切り出して連結して、動画を生成するように構成した。
これに対して、本実施形態では、専用の撮像制御装置を用いずに、各撮像装置が相互に通信して撮像を行う撮像装置を決定して、動画の生成に寄与する撮像装置だけを順次切り換えて撮像させるように構成する。
また、本実施形態では、撮像を行った撮像装置で切り出しを行い、動画の表示を行う機器（表示装置）に転送し、表示装置で取得した切り出した撮像画像を順次表示して動画を再生するように構成する。
【０１０４】
第３の実施形態の説明においても、撮像制御装置及び撮影装置のハードウェア構成は第１の実施形態と同様のため説明は省略する。また、その他の第１の実施形態と同様の構成についても説明を省略する。
【０１０５】
図１０は、第３の実施形態における被写体追従動画生成システムＳのシステム構成を示すシステム構成図である。
【０１０６】
第３の実施形態における被写体追従動画生成システムＳでは、図１０に示すように、ネットワークｎを介して互いに通信可能な複数の撮像装置２Ａ乃至２Ｎと、ネットワークｎを介して撮像装置２と通信可能な表示装置３と、を備える。
撮像装置２では、撮影した撮影動画からフレーム画像を切り出し加工して、特定被写体が中心に位置する構成フレーム画像を生成する。撮像装置２では、生成したフレーム画像を表示装置３に送信する。
表示装置３では、撮像装置２から送信された構成フレーム画像に基づいて、被写体追従動画の再生表示を行う。
【０１０７】
図１１は、図２の撮像装置２の機能的構成のうち、第３の実施形態における被写体追従動画生成処理を実行するための機能的構成を示す機能ブロック図である。
【０１０８】
第３の実施形態における被写体追従動画生成処理を実行する場合には、撮像装置２のＣＰＵ１１において、撮像範囲情報取得部１００と、撮像装置特定部１０１と、通信制御部１０２と、撮像制御部１０３と、被写体検出部１０４と、画像加工部１０５と、移動速度判定部１０６と、撮影待機時間予測部１０７と、遅延時間特定部１０８と、撮影指示部１０９と、が機能する。
記憶部２０の一領域には、画像記憶部１２０が設けられる。
画像記憶部１２０には、構成フレーム画像等の各種画像のデータが記憶される。
【０１０９】
撮像範囲情報取得部１００は、位置センサ１７から自己の撮影する位置・方向・画角等の情報（以下、「撮影範囲情報」という。）を取得し、他の撮像装置２の位置センサ１７で取得した他の撮像装置２の撮影範囲情報を、通信部２１を介して取得する。
【０１１０】
撮像装置特定部１０１は、撮像範囲情報取得部１００により取得した撮影範囲情報に基づいて、次撮像装置２を特定する。
【０１１１】
通信制御部１０２は、通信部２１を介して他の撮像装置２から撮影開始の指示があったか否かを判定する。
また、通信制御部１０２は、画像加工部１０５によって生成された構成フレーム画像を表示装置３に送信する。
【０１１２】
撮像制御部１０３は、ユーザからの入力部１８への撮像開始・終了操作や他の撮像装置２から撮影開始・終了の指示に基づいて、撮像を開始・終了するように撮像部１６を制御する。
【０１１３】
被写体検出部１０４は、撮像した撮影動画に含まれる被写体を検出する。また、被写体検出部１０４は、検出した特定被写体に撮影対象が含まれるか否かを判定する。
【０１１４】
画像加工部１０５は、特定被写体が存在する現在の撮影画像から特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。
【０１１５】
移動速度判定部１０６は、特定被写体の移動速度を判定する。具体的には、移動速度判定部１０６は、例えば、撮影された動画を解析して、各フレーム画像の差分から特定被写体の移動速度を判定する。
【０１１６】
撮影待機時間予測部１０７は、次撮像装置２で被写体追従動画に寄与する画像領域を切り出せるまでの待機時間、即ち、次撮像装置２の撮影開始までの待機時間（以下、「撮影開始待機時間」という。）を算出する。
また、撮影待機時間予測部１０７は、現撮像装置２が被写体追従動画に寄与する画像領域を切り出せなくなるまでの待機時間、即ち、現撮像装置２の撮影終了までの待機時間（以下、「撮影終了待機時間」という。）を算出する。
【０１１７】
次撮像装置２の撮影開始待機時間は、例えば、移動速度から予想される特定被写体の原位置から次撮影装置２の撮影範囲のうち撮影を開始する開始端への到達時間で算出される。
即ち、撮影開始待機時間は、「次撮像装置２の撮影開始待機時間＝特定被写体の原位置から次撮像装置２の撮影範囲の開始端までの距離／特定被写体の移動速度」で算出可能となる。
ここで、特定被写体の原位置は、例えば、撮像装置２において位置センサ１７から取得した位置情報と、特定被写体との距離から絶対位置として割り出すことができる。また、撮影範囲は、例えば、撮像装置２において位置センサ１７から取得した位置情報と、特定被写体の移動予定のルートから特定される特定被写体との距離から開始端から終了端までの範囲の絶対位置を割り出すことができる。
なお、撮影開始待機時間は、現撮像装置２の撮影範囲の終了端から次撮像装置２とのオーバーラップ分を差し引いて算出することもできる。
【０１１８】
現撮像装置２の撮影終了待機時間は、移動速度から予想される特定被写体の原位置から現撮影装置の撮影範囲のうち撮影を開始する終了端への到達時間で算出される。
即ち、撮影開始待機時間は、「現撮像装置２の撮影終了待機時間＝特定被写体の原位置から現撮像装置２の撮影範囲の終了端までの距離／特定被写体の移動速度」で算出可能となる。
【０１１９】
遅延時間特定部１０８は、次撮像装置２との通信や次撮像装置２の性能等からくる撮影指示から撮影までの動作時間を考慮して、次撮像装置２への撮影の切り換えに要する時間（以下「遅延時間」という。）を特定する。
撮影を開始する時間に遅延時間を加味して、撮影の指示を行うことで、指示を受けた撮像装置２では、撮影のための準備期間が設けられるために、機器の調整等を行うことができ安定した状態で撮影を行うことができる。
【０１２０】
撮影指示部１０９は、撮影待機時間（撮影終了待機時間及び撮影開始待機時間）と遅延時間に基づいて、次撮像装置２への撮影開始の指示を行う。また、撮影指示部１０９は、待機時間に基づいて、次撮像装置２への撮影終了の指示を行う。また、撮影指示部５５は、撮影の開始や終了の指示の際、撮影条件も含める。
【０１２１】
なお、本実施形態においては、撮像装置２において、構成フレーム画像を生成して、表示装置３に送信して、表示装置３では、構成フレーム画像を時系列に表示することにより被写体追従動画を表示出力するように構成したがこれに限られない。撮像装置２においては、被写体追従動画を生成して表示装置３に送信するように構成してもよいし、撮像画像、切り出し画像、合成画像等の状態で表示装置３に送信して、表示装置３で切り出し加工を行って構成フレーム画像を生成するように構成してもよい。
【０１２２】
図１２は、図１１の機能的構成を有する図２の撮像装置２が実行する第３の実施形態における被写体追従動画生成処理の流れを説明するフローチャートである。
【０１２３】
ステップＳ１１１において、撮像範囲情報取得部１００は、自己及び他の撮像装置２の撮影する位置、方向、画角等の撮影範囲情報を取得する。
【０１２４】
ステップＳ１１２において、撮像装置特定部１０１は、取得した撮影範囲情報に基づいて次撮像装置２を特定する。
【０１２５】
ステップＳ１１３において、通信制御部１０２は、ユーザ又は他の撮像装置２から撮影開始が指示されたかを判定する。
ユーザ又は他の撮像装置２から撮影開始が指示されない場合には、ステップＳ１１３においてＮＯと判定されて、待機状態となる。
ユーザ又は他の撮像装置２から撮影開始が指示された場合には、ステップＳ１１３においてＹＥＳと判定されて、処理はステップＳ１１４に進む。
【０１２６】
ステップＳ１１４において、撮像制御部１０３は、撮影を開始するように撮像部１６を制御する。
【０１２７】
ステップＳ１１５において、被写体検出部１０４は、撮影フレーム内の被写体を検出する。
【０１２８】
ステップＳ１１６において、被写体検出部１０４は、特定被写体が存在するか否かを判定する。
特定被写体が存在しない場合には、ステップＳ１１６においてＮＯと判定されて、待機状態となる。
特定被写体が存在する場合には、ステップＳ１１６においてＹＥＳと判定されて、処理はステップＳ１１７に進む。
【０１２９】
ステップＳ１１７において、画像加工部１０５は、現在の撮影画像から、特定被写体を中心とする所定サイズの画像領域を切り出して、構成フレーム画像を生成する。
【０１３０】
ステップＳ１１８において、通信制御部１０２は、構成フレーム画像を表示装置３に転送する。
【０１３１】
ステップＳ１１９において、移動速度判定部１０６は、被写体の移動速度を判定する。
【０１３２】
ステップＳ１２０において、撮影待機時間予測部１０７は、次撮像装置２の撮影開始待機時間及び現撮像装置２の撮影終了待機時間を算出する。
【０１３３】
ステップＳ１２１において、遅延時間特定部１０８は、次撮像装置２への撮影切り換えに要する遅延時間を特定する。
【０１３４】
ステップＳ１２２において、撮影指示部１０９は、次撮像装置２の撮影開始待機時間と遅延時間が同じ（撮影開始待機時間＝遅延時間）か否かを判定する。
次撮像装置２の撮影開始待機時間よりも遅延時間が短い場合には、ステップＳ１２２においてＮＯと判定されて、待機状態となる。
次撮像装置２の撮影開始待機時間と遅延時間が同じになった場合には、ステップＳ１２２においてＹＥＳと判定されて、処理はステップＳ１２３に進む。
【０１３５】
ステップＳ１２３において、撮影指示部１０９は、次撮像装置２へ撮影開始を指示する。撮影指示部１０９は、当該撮影開始の指示と共に、撮影条件等の情報も指示する。
【０１３６】
ステップＳ１２４において、撮影指示部１０９は、現撮像装置２の撮影終了待機時間が０（次撮像装置２の撮影終了待機時間＝０）か否かを判定する。
次撮像装置２の撮影終了待機時間が０でない場合には、ステップＳ１２４においてＮＯと判定されて、処理はステップＳ１１５に戻る。
次撮像装置２の撮影終了待機時間が０の場合には、ステップＳ１２４においてＹＥＳと判定されて、処理はステップＳ１２５に進む。
【０１３７】
ステップＳ１２５において、撮影指示部１０９は、撮影を終了する指示を現撮像装置２に対して行う。その後、被写体追従動画生成処理を終了する。
【０１３８】
以上のように構成される被写体追従動画生成システムＳは、撮影指示部５５を備える。
撮影指示部５５は、被写体の移動中の各タイミングにおいて、被写体包含領域を含む動画を撮影している撮像部１６を逐次選択する。
画像加工部５３は、撮影指示部５５により逐次選択される当該撮像部１６から動画を逐次取得して選択的な切り出し処理を実行する。
これにより、被写体追従動画生成システムＳにおいては、適切な撮像部１６で撮影された動画を取得することができる。
【０１３９】
被写体の移動中の各タイミングにおいて、被写体包含領域を含む動画の撮影を開始又は終了させる撮影手段を逐次選択し、この逐次選択される撮影手段による動画の撮影を開始又は終了させるように制御する撮像制御部９１を備える。
これにより、被写体追従動画生成システムＳにおいては、不必要な撮影を行わないように構成することができる。
【０１４０】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１４１】
また、上述の実施形態では、生成される被写体追従動画において、特定被写体が常に所定位置に所定サイズで含まれる動画を生成したがこれに限られない。特定被写体の動画内における位置だけが常に所定位置であったり、特定被写体の動画内におけるサイズだけが常に所定サイズであったりしてもよい。
また、上述の実施形態では、生成される被写体追従動画において、特定被写体が常に中央にいる画角の動画を生成したがこれに限られない。被写体追従動画を通じて、一定の位置であったり、例えば、特定被写体に近づいたり遠ざかったり等の所望する効果に応じて、動画における特定被写体の位置を変更するような動画であったりしてもよい。
【０１４２】
また、上述の実施形態では、撮影を行わない撮像制御装置１と、各撮像装置２で構成する場合があったが、これに限られない。
例えば、撮影を行う撮像装置２での制御に基づいて、他の撮像装置２が撮影を行うように構成してもよい。即ち、被写体追従動画生成システムＳは、主たる撮像装置２（親機）と従たる撮像装置２（子機）とで構成してもよい。
具体的には、被写体追従動画生成システムＳにおいては、複数の撮像装置２のうちの１つが撮像制御装置の役目となり、他の撮像装置２の選択と他の撮像装置２への指示を行う撮影指示手段を備えるように構成することができる。即ち、撮像部１６を備えた撮像装置２が撮像制御装置の機能を兼用するように構成することができる。
これにより、被写体追従動画生成システムＳは、撮像制御装置１のような撮像を制御する専用機を用いずに撮像装置２のみで被写体追従動画を生成することができる。
【０１４３】
また、上述の実施形態においては、切り出し加工の処理は、撮像装置２側で行われるように構成してもよいし、撮像制御装置１側で行われるように構成してもよい。
【０１４４】
また、上述の実施形態では、動画に寄与する部分を切り出して加工して用いたがこれに限られない。例えば、撮影対象となる被写体等が映り込んでいない背景画像を取得して、撮影対象となる被写体を合成するようにしてもよい。このように加工した画像を用いることで、例えば、撮影対象となる被写体以外の被写体が映り込んでいない動画を生成することができる。
具体的には、被写体追従動画生成システムＳにおいては、例えば、動画生成部５４等の動画生成手段は、選択的な切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して１つの動画を生成するように構成することができる。
【０１４５】
また、上述の実施形態では、撮影対象となる被写体が映り込むことを検出、又は予測して撮影を行うように制御したが、これに限られない。
例えば、被写体を検出する等を行わずに、被写体が撮影されている撮像装置の前と後の撮像装置で撮影を行うように構成することもできる。このように構成することで、被写体が中央に位置した状態で撮影された画像と、被写体が中央に向かっている状態と被写体が中央から離れてしまった状態で撮影された画像でも切り出して加工することができる。
図１３は、撮影タイミングの他の例を示す図である。
撮影タイミングは、図１３の例に示すように、撮影開始時点では、被写体は中央と、中央から離れる方向になるため、撮像装置２Ａと、撮像装置２Ｂとで撮影された画像で切り出し画像を生成することができる。
また、撮像装置２Ａの次の撮像装置２Ｂで被写体を撮影した場合には、撮像装置２Ａ、撮像装置２Ｂ、撮像装置２Ｃの３台の撮像装置で撮影を行う。撮像装置２Ｂで撮影する場合には、被写体は、中央に向かう状態と、中央に位置する状態と、中央から離れる状態があるため、撮像装置２Ａと、撮像装置２Ｂと、撮像装置２Ｃとで撮影された画像で切り出し画像を生成することができる。撮像装置２Ｃで被写体を撮影した場合も撮像装置２Ｂの場合と同様に、撮像装置２Ｃの前後の撮像装置２Ｂと、撮像装置２Ｄとで撮影された画像で切り出し画像を生成することができる。
【０１４６】
また、上述の実施形態では、特定被写体を含む所定の領域を、切り出しを行う画像領域としたがこれに限られない。例えば、特定被写体の形状に対応した領域、即ち、特定被写体の領域を、切り出しを行う画像領域とするように構成してもよい。
具体的には、画像加工部５３等の切り出し手段は、被写体の形状に合わせた形状の画像領域を被写体の形状に合わせた領域のみを切り出すように構成することができる。
【０１４７】
また、上述の実施形態では、撮影動画から構成フレーム画像を生成するように構成したがこれに限られず、例えば、所定のタイミングで撮影された撮像画像を用いて、構成フレーム画像を生成するように構成してもよい。
【０１４８】
また、上述の実施形態では、各撮像装置２から動画の生成を行う装置に撮影画像又は構成フレーム画像を送信するように構成したがこれに限られず、撮影動画を送信して、受信した撮影画像から構成フレーム画像を生成するように構成してもよい。
【０１４９】
また、上述の実施形態では、複数の撮像装置２により撮影動画を撮影するように構成したがこれに限られず、１の装置において複数の撮像手段を有するように構成してもよく、撮像手段から取得された画像に基づいて、被写体追従動画を生成するようにしてもよい。
【０１５０】
また、上述の実施形態では、本発明が適用される撮像装置２は、デジタルカメラを例として説明したが、特にこれに限定されない。
例えば、本発明は、被写体追従動画生成処理機能を有する電子機器一般に適用することができる。具体的には、例えば、本発明は、ノート型のパーソナルコンピュータ、プリンタ、テレビジョン受像機、ビデオカメラ、携帯型ナビゲーション装置、携帯電話機、スマートフォン、ポータブルゲーム機等に適用可能である。
【０１５１】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図３，７，１１の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が撮像装置２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図３，７，１１の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１５２】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワークや記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１５３】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図２のリムーバブルメディア３１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア３１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ−Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｋ），Ｂｌｕ−ｒａｙ  Ｄｉｓｃ（ブルーレイディスク）（登録商標）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図２のＲＯＭ１２や、図２の記憶部２０に含まれるハードディスク等で構成される。
【０１５４】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段などより構成される全体的な装置を意味するものとする。
【０１５５】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１５６】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段と、
前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、
前記切り出し制御手段の制御により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、
を備えることを特徴とする動画生成システム。
［付記２］
前記切り出し制御手段は、前記選択された動画から被写体が所定位置かつ所定サイズで含まれる被写体包含領域を含む動画を選択し、当該選択された動画からこの被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する、
ことを特徴とする付記１に記載の動画生成システム。
［付記３］
前記切り出し制御手段は、前記選択された動画から被写体が中央に位置する所定サイズとなるように前記切り出し処理の実行を制御する、
ことを特徴とする付記１又は２に記載の動画生成システム。
［付記４］
前記複数の撮像手段は、前記被写体の移動経路上の撮影範囲の少なくとも一部が互いに重なるように配置されており、
前記切り出し制御手段は、前記被写体包含領域が１つの動画内に含まれる場合には、この１つの動画から前記被写体包含領域を切り出し、前記被写体包含領域が複数の動画にまたがって含まれる場合には、この複数の動画の各々から前記被写体包含領域の一部を切り出して合成するように制御する、
ことを特徴とする付記１乃至３のいずれか１つに記載の動画生成システム。
［付記５］
前記切り出し制御手段は、前記複数の撮像手段による前記移動する被写体の継続的な撮影中に前記切り出し処理を実行するように制御し、前記移動する被写体の撮影中の各タイミングにおいて、前記被写体包含領域を含む動画データを逐次選択するとともに、この逐次選択される動画から前記被写体包含領域内の画像を逐次切り出すように制御する、
ことを特徴とする付記１乃至４のいずれか１つに記載の動画生成システム。
［付記６］
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画を撮影している撮像手段を逐次選択する撮像手段選択手段を備え、
前記切り出し制御手段は、前記撮像手段選択手段により逐次選択される当該撮像手段から動画を逐次取得して前記切り出し処理を実行するように制御する、
ことを特徴とする付記５に記載の動画生成システム。
［付記７］
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画の撮影を開始又は終了させる撮像手段を逐次選択し、この逐次選択される撮像手段による動画の撮影を開始又は終了させるように制御する撮影制御手段を備える、
ことを特徴とする付記６に記載の動画生成システム。
［付記８］
前記撮像手段を備えた複数の撮像装置と、前記取得手段、前記切り出し制御手段、および前記動画生成手段を備えた撮像制御装置を含む、
ことを特徴とする付記１乃至７のいずれか１つに記載の動画生成システム。
［付記９］
前記撮像手段を備えた複数の撮像装置のうちの１つが前記撮像制御装置となって、他の撮像装置の選択と他の撮像装置への指示を行う撮影指示手段を備える、
ことを特徴とする付記８に記載の動画生成システム。
［付記１０］
前記撮像手段を備えた撮像装置が前記撮像制御装置の機能を兼用する、
ことを特徴とする付記９に記載の動画生成システム。
［付記１１］
前記切り出し処理は、前記撮像装置側で行われる、
ことを特徴とする付記８乃至１０のいずれか１つに記載の動画生成システム。
［付記１２］
前記切り出し処理は、前記撮像制御装置側で行われる、
ことを特徴とする付記８乃至１０のいずれか１つに記載の動画生成システム。
［付記１３］
前記動画生成手段は、前記切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して１つの動画を生成する、
ことを特徴とする付記１乃至１２のいずれか１つに記載の動画生成システム。
［付記１４］
前記切り出し手段は、前記被写体の形状に合わせた画像領域のみを被写体包含領域として切り出す、
ことを特徴とする付記１乃至１３のいずれか１つに記載の動画生成システム。
［付記１５］
動画生成システムにおける動画生成方法であって、
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得ステップと、
前記被写体の移動中の各タイミングに対応して、前記取得ステップで取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御ステップと、
前記切り出し制御ステップにより各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成ステップと、
を含むことを特徴とする動画生成方法。
［付記１６］
動画生成システムを制御するコンピュータに、
撮影範囲が異なるように配置された複数の撮像手段の各々によって移動する被写体を継続的に撮影して得られる複数の動画を取得する取得手段、
前記被写体の移動中の各タイミングに対応して、前記取得手段で取得可能な複数の動画のうち、当該被写体が所定位置または所定サイズで含まれるように部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御機能、
前記切り出し制御機能により各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成機能、
を実行させるためのプログラム。
【符号の説明】
【０１５７】
１・・・撮像制御装置，２・・・撮像装置，３・・・表示装置，２１・・・ＣＰＵ，１２・・・ＲＯＭ，１３・・・ＲＡＭ，１４・・・バス，１５・・・入出力インターフェース，１６・・・撮像部，１７・・・位置センサ，１８・・・入力部，１９・・・出力部，２０・・・記憶部，２１・・・通信部，２２・・・ドライブ，３１・・・リムーバブルメディア，５１・・・撮影状況取得部，５２・・・画像取得部，５３・・・画像加工部，５４・・・動画生成部，５５・・・撮影指示部，５６・・・画像判定部，７１・・・画像記憶部，９１・・・撮像制御部，９２・・・被写体検出部，９３・・・通信制御部，９４・・・画像加工部，１００・・・撮像範囲情報取得部，１０１・・・撮像装置特定部，１０２・・・通信制御部，１０３・・・撮像制御部，１０４・・・被写体検出部，１０５・・・画像加工部，１０６・・・移動速度判定部，１０７・・・撮影待機時間予測部，１０８・・・遅延時間特定部，１０９・・・撮影指示部，１２０・・・画像記憶部，Ｓ・・・被写体追従動画生成システム
【図１】
2015050695.tif 000003
【図２】
2015050695.tif 000004
【図３】
2015050695.tif 000005
【図４】
2015050695.tif 000006
【図５】
2015050695.tif 000007
【図６】
2015050695.tif 000008
【図７】
2015050695.tif 000009
【図８】
2015050695.tif 000010
【図９】
2015050695.tif 000011
【図１０】
2015050695.tif 000012
【図１１】
2015050695.tif 000013
【図１２】
2015050695.tif 000014
【図１３】
2015050695.tif 000015
【手続補正書】
【提出日】平成26年10月20日(2014.10.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００６
【補正方法】変更
【補正の内容】
【０００６】
上記目的を達成するため、本発明の一態様の動画生成システムは、撮影範囲が異なるように配置された複数の撮像手段により継続的な撮影を行って得られる複数の動画を取得する画像取得手段と、前記画像取得手段により取得される各動画内から、任意に指定された被写体を画像認識によって検出する被写体検出手段と、前記継続的な撮影における各タイミングに対応して、前記画像取得手段で取得される複数の動画のうち、前記被写体検出手段により検出される前記被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、前記切り出し制御手段の制御により前記継続的な撮影における各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、を備えることを特徴とする。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００７
【補正方法】削除
【補正の内容】
【手続補正３】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮影範囲が異なるように配置された複数の撮像手段により継続的な撮影を行って得られる複数の動画を取得する画像取得手段と、
前記画像取得手段により取得される各動画内から、任意に指定された被写体を画像認識によって検出する被写体検出手段と、
前記継続的な撮影における各タイミングに対応して、前記画像取得手段で取得される複数の動画のうち、前記被写体検出手段により検出される前記被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御手段と、
前記切り出し制御手段の制御により前記継続的な撮影における各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成手段と、
を備えることを特徴とする動画生成システム。
【請求項２】
前記被写体包含領域は、前記被写体検出手段により検出される前記被写体が中央に所定サイズで含まれる部分画像領域であることを特徴とする請求項１に記載の動画生成システム。
【請求項３】
前記複数の撮像手段は、前記被写体の移動経路上の撮影範囲の少なくとも一部が互いに重なるように配置されており、
前記切り出し制御手段は、前記被写体包含領域が１つの動画内に含まれる場合には、この１つの動画から前記被写体包含領域を切り出し、前記被写体包含領域が複数の動画にまたがって含まれる場合には、この複数の動画の各々から前記被写体包含領域の一部を切り出して合成するように制御する、
ことを特徴とする請求項１または２に記載の動画生成システム。
【請求項４】
前記切り出し制御手段は、前記複数の撮像手段による前記移動する被写体の継続的な撮影中に前記切り出し処理を実行するように制御し、前記移動する被写体の撮影中の各タイミングにおいて、前記被写体包含領域を含む動画データを逐次選択するとともに、この逐次選択される動画から前記被写体包含領域内の画像を逐次切り出すように制御する、
ことを特徴とする請求項１乃至３のいずれかに記載の動画生成システム。
【請求項５】
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画を撮影している撮像手段を逐次選択する選択手段を備え、
前記切り出し制御手段は、前記選択手段により逐次選択される撮像手段から動画を逐次取得して前記切り出し処理を実行するように制御する、
ことを特徴とする請求項４に記載の動画生成システム。
【請求項６】
前記被写体の移動中の各タイミングにおいて、前記被写体包含領域を含む動画の撮影を開始又は終了させる撮像手段を逐次選択し、この逐次選択される撮像手段による動画の撮影を開始又は終了させるように制御する撮影制御手段を備える、
ことを特徴とする請求項５に記載の動画生成システム。
【請求項７】
前記撮像手段を備えた複数の撮像装置と、前記画像取得手段、前記切り出し制御手段、および前記動画生成手段を備えた撮像制御装置を含む、
ことを特徴とする請求項１乃至６のいずれかに記載の動画生成システム。
【請求項８】
前記撮像制御装置は、
前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、当該現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲とに基づいて、当該次撮像装置で撮影を開始する開始タイミングを決定する決定手段と、
前記決定手段によって決定された前記開始タイミングで撮影を開始するように前記次撮像装置に対して指示を行う撮影指示手段と、
を備えることを特徴とする請求項７に記載の動画生成システム。
【請求項９】
前記決定手段は、前記被写体を撮影中の現撮像装置の撮影範囲内での前記特定の被写体の移動状態と、当該現撮像装置の撮影範囲と、当該現撮像装置から撮影を引き継ぐ次撮像装置の撮影範囲とに基づいて、当該現撮像装置の撮影を終了する終了タイミングと、当該次撮像装置で撮影を開始する開始タイミングを決定し、
前記撮影指示手段は、前記決定手段によって決定された前記終了タイミングで前記現撮像装置の撮影を終了し、前記決定手段によって決定された前記開始タイミングで前記次撮像装置の撮影を開始するように指示を行う、
ことを特徴とする請求項８に記載の動画生成システム。
【請求項１０】
前記決定手段は、前記開始タイミングから所定時間後に前記終了タイミングがくるように前記開始タイミングと前記終了タイミングを決定する、
ことを特徴とする請求項９に記載の動画生成システム。
【請求項１１】
前記決定手段は、特定の被写体の移動速度と、原位置から次撮像装置の撮影範囲への到達位置までの時間に基づいて、開始タイミングを決定する、
ことを特徴とする請求項８に記載の動画生成システム。
【請求項１２】
前記開始タイミングの情報を前記現撮像装置から前記次撮像装置へ送信してから当該次撮像装置が撮影を開始できるまでの遅延時間を特定する特定手段を備え、
前記撮影指示手段は、前記開始タイミングに対して前記遅延時間よりも前のタイミングで、前記開始タイミングの情報を送信することで前記撮影の指示を行う、
ことを特徴とする請求項８に記載の動画生成システム。
【請求項１３】
前記撮影指示手段は、前記次撮像装置に対して撮影を開始させる指示信号を送信することにより、前記開始タイミングの情報の送信を行い、当該次撮像装置に撮影を開始させるタイミングに対して、遅延時間よりも前のタイミングで前記指示信号を送信する、
ことを特徴とする請求項１２に記載の動画生成システム。
【請求項１４】
前記撮影指示手段は、前記撮影の引き継ぎに際して、現撮像装置の撮影条件も引き継ぐ指示も送信する、
ことを特徴とする請求項８に記載の動画生成システム。
【請求項１５】
前記開始タイミングの決定は、各撮像装置において前記特定の被写体の撮影毎に行う、
ことを特徴とする請求項８に記載の動画生成システム。
【請求項１６】
前記撮像手段を備えた複数の撮像装置のうちの１つが前記撮像制御装置となって、他の撮像装置の選択と他の撮像装置への指示を行う撮影指示手段を備える、
ことを特徴とする請求項７に記載の動画生成システム。
【請求項１７】
前記動画生成手段は、前記切り出し処理により、各タイミングに対応して選択的に切り出される複数の画像を、所定の静止画に貼り付け合成を行いながら撮影順に連結して１つの動画を生成する、
ことを特徴とする請求項１乃至１６のいずれかに記載の動画生成システム。
【請求項１８】
前記切り出し処理は、前記被写体の形状に合わせた画像領域のみを被写体包含領域として切り出す、
ことを特徴とする請求項１乃至１７のいずれかに記載の動画生成システム。
【請求項１９】
動画生成システムにおける動画生成方法であって、
撮影範囲が異なるように配置された複数の撮像手段により継続的な撮影を行って得られる複数の動画を取得する取得処理と、
前記取得処理により取得される各動画内から、任意に指定された被写体を画像認識によって検出する検出処理と、
前記継続的な撮影における各タイミングに対応して、前記取得処理で取得される複数の動画のうち、前記検出処理により検出される前記被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御処理と、
前記切り出し制御処理の制御により前記継続的な撮影における各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成処理と、
を含むことを特徴とする動画生成方法。
【請求項２０】
動画生成システムを制御するコンピュータに、
撮影範囲が異なるように配置された複数の撮像手段により継続的な撮影を行って得られる複数の動画を取得する取得機能と、
前記取得機能により取得される各動画内から、任意に指定された被写体を画像認識によって検出する検出機能と、
前記継続的な撮影における各タイミングに対応して、前記取得機能で取得される複数の動画のうち、前記検出機能により検出される前記被写体が所定位置または所定サイズで含まれる部分画像領域である被写体包含領域を含む動画を選択し、当該選択された動画から前記被写体包含領域内の画像を切り出す選択的な切り出し処理の実行を制御する切り出し制御機能と、
前記切り出し制御機能の制御により前記継続的な撮影における各タイミングに対応して選択的に切り出される複数の前記画像を、撮影時間の順に連結して１つの動画を生成する動画生成機能と、
を実現させることを特徴とするプログラム。