(57)【要約】【課題】被写体の動画像を、異なる位置から被写体を撮影している複数のカメラ間で切り替える場合に、動画中の被写体の向き及び大きさをスムーズに変化させる動画切替システムの提供。【解決手段】動画切替システム１００は、第１及び第２のカメラがそれぞれ撮影した動画のいずれを出力するかを切り替える出力切替部３２と、出力切替部３２が出力する被写体の動画を、第１のカメラによる動画から、第２のカメラによる動画に切り替える場合に、第１及び第２のカメラに対する被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル算出部と、位置及びアングルの算出結果に基づいて、第１のカメラによる動画から第２のカメラによる動画へ、被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成部とを備え、出力切替部は、出力する動画を、第１のカメラによる動画、仮想動画、及び第２カメラによる動画の順に切り替えて出力する。【選択図】図２
2005109758.tif 000002
【特許請求の範囲】
【請求項１】
出力する動画を、第１のカメラで撮影している被写体の動画から、前記第１のカメラと異なる位置に設置された第２のカメラで撮影している前記被写体の動画に切り替える動画切替システムであって、
前記第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替部と、
前記出力切替部が、出力する動画を、前記第１のカメラによる前記被写体の動画から、前記第２のカメラによる前記被写体の動画に切り替える場合に、前記第１及び第２のカメラに対する前記被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル算出部と、
前記位置及びアングルの前記算出結果に基づいて、前記第１のカメラによる前記被写体の動画から前記第２のカメラによる前記被写体の動画へ、前記被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成部と
を備え、
前記出力切替部は、出力する動画を、前記第１のカメラによる前記被写体の動画、前記仮想動画、及び前記第２カメラによる前記被写体の動画の順に切り替えて出力する、動画切替システム。
【請求項２】
前記被写体の動きベクトルを判断する動きベクトル判断部と、
前記出力切替部が、出力する画像を前記仮想動画から前記第２のカメラによる前記被写体の動画に切り替える時点における、前記第２カメラに対する前記被写体の位置及びアングルを、前記第２カメラに対する前記被写体の現在の位置、アングル、及び動きベクトルに基づいて予測する切替時位置・アングル予測部と
を更に備え、
前記仮想動画生成部は、
前記出力切替部が、出力する動画を前記第１のカメラによる動画から前記仮想動画に切り替える時点での前記第１のカメラに対する前記被写体の位置及びアングルと、前記仮想動画から前記第２のカメラによる動画に切り替える時点での前記予測した位置及びアングルとのそれぞれの差分が、時間の経過に応じて徐々に小さくなるように、前記被写体の仮想の位置及びアングルの変化率を定義する位置・アングル変化率定義部と、
前記位置及びアングルの前記変化率に基づいて、前記被写体の前記仮想動画を生成する仮想動画合成部と
を有する、請求項１に記載の動画切替システム。
【請求項３】
前記第１及び第２のカメラによる前記被写体の動画像から前記被写体の立体形状を算出する立体形状算出部を更に備え、
前記被写体位置・アングル算出部は、前記カメラに対する前記被写体のアングルを前記立体形状に基づいて算出し、
前記動画生成部は、前記立体形状を用いて前記仮想動画を生成する、請求項１に記載の動画切替システム。
【請求項４】
前記切替時位置・アングル予測部は、前記出力切替部が前記仮想動画を出力している間に、前記第２カメラの動画への切り替え時点における、前記第２カメラに対する前記被写体の位置及びアングルを、少なくとも一回以上改めて予測し、
前記仮想位置・アングル定義部は、前記改めて予測された前記第２カメラに対する位置及びアングルと、前記仮想動画における前記被写体の現在の位置及びアングルとに基づいて、前記仮想動画における前記被写体の位置及びアングルを改めて定義し、
前記仮想動画合成部は、前記改めて定義された前記位置及びアングルに基づいて、前記被写体の前記仮想動画を生成する、請求項２に記載の動画切替システム。
【請求項５】
出力する動画を、第１のカメラで撮影している被写体の動画から、前記第１のカメラと異なる位置に設置された第２のカメラで撮影している前記被写体の動画に切り替える動画切替方法であって、
前記第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替ステップと、
前記出力切替ステップで、出力する動画を、前記第１のカメラによる前記被写体の動画から、前記第２のカメラによる前記被写体の動画に切り替える場合に、前記第１及び第２のカメラに対する前記被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル算出ステップと、
前記位置及びアングルの前記算出結果に基づいて、前記第１のカメラによる前記被写体の動画から前記第２のカメラによる前記被写体の動画へ、前記被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成ステップと
を備え、
前記出力切替ステップでは、出力する動画を、前記第１のカメラによる前記被写体の動画、前記仮想動画、及び前記第２カメラによる前記被写体の動画の順に切り替えて出力する、動画切替方法。
【請求項６】
出力する動画を、第１のカメラで撮影している被写体の動画から、前記第１のカメラと異なる位置に設置された第２のカメラで撮影している前記被写体の動画に切り替える動画切替システム用プログラムであって、
前記第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替機能と、
前記出力切替機能が、出力する動画を、前記第１のカメラによる前記被写体の動画から、前記第２のカメラによる前記被写体の動画に切り替える場合に、前記第１及び第２のカメラに対する前記被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル測定機能と、
前記位置及びアングルの前記算出結果に基づいて、前記第１のカメラによる前記被写体の動画から前記第２のカメラによる前記被写体の動画へ、前記被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成機能と
を前記動画切替システムに実現させ、
前記出力切替機能は、出力する動画を、前記第１のカメラによる前記被写体の動画、前記仮想動画、及び前記第２カメラによる前記被写体の動画の順に切り替えて出力するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画切替システム、動画切替方法、及びプログラムに関する。特に本発明は、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替システム、動画切替方法、及びプログラムに関する。
【背景技術】
【０００２】
従来、動画において、被写体の撮影アングルを素早く切り替えるために、異なる位置に複数のカメラを配置し、当該複数のカメラで撮影する動画のうちで、所望のアングルで被写体を撮影している動画を随時選択して出力する編集技術が一般に用いられている。また、移動体を複数のカメラから撮影して座標と移動軌跡を算出し、異なるカメラ位置から撮影した場合の仮想画像を演算する技術がある（例えば、特許文献１参照。）。
【特許文献１】特開平６−１０５２３１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
従来、あるカメラで撮影されている被写体の動画像を、異なる位置から被写体を撮影している別のカメラで撮影された動画像に切り替える場合、出力される動画中の被写体の向き及び大きさが急に変化してしまうという課題があった。
【０００４】
そこで本発明は、上記の課題を解決することができる動画切替システム、動画切替方法、及びプログラムを提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【課題を解決するための手段】
【０００５】
本発明の第１の形態によると、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替システムは、第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替部と、出力切替部が、出力する動画を、第１のカメラによる被写体の動画から、第２のカメラによる被写体の動画に切り替える場合に、第１及び第２のカメラに対する被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル算出部と、位置及びアングルの算出結果に基づいて、第１のカメラによる被写体の動画から第２のカメラによる被写体の動画へ、被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成部とを備え、出力切替部は、出力する動画を、第１のカメラによる被写体の動画、仮想動画、及び第２カメラによる被写体の動画の順に切り替えて出力する。
【０００６】
被写体の動きベクトルを判断する動きベクトル判断部と、出力切替部が、出力する画像を仮想動画から第２のカメラによる被写体の動画に切り替える時点における、第２カメラに対する被写体の位置及びアングルを、第２カメラに対する被写体の現在の位置、アングル、及び動きベクトルに基づいて予測する切替時位置・アングル予測部とを更に備え、仮想動画生成部は、出力切替部が、出力する動画を第１のカメラによる動画から仮想動画に切り替える時点での第１のカメラに対する被写体の位置及びアングルと、仮想動画から第２のカメラによる動画に切り替える時点での予測した位置及びアングルとのそれぞれの差分が、時間の経過に応じて徐々に小さくなるように、被写体の仮想の位置及びアングルの変化率を定義する位置・アングル変化率定義部と、位置及びアングルの変化率に基づいて、被写体の仮想動画を生成する仮想動画合成部とを有してもよい。
【０００７】
第１及び第２のカメラによる被写体の動画像から被写体の立体形状を算出する立体形状算出部を更に備え、被写体位置・アングル算出部は、カメラに対する被写体のアングルを立体形状に基づいて算出し、動画生成部は、立体形状を用いて仮想動画を生成してもよい。
【０００８】
切替時位置・アングル予測部は、出力切替部が仮想動画を出力している間に、第２カメラの動画への切り替え時点における、第２カメラに対する被写体の位置及びアングルを、少なくとも一回以上改めて予測し、仮想位置・アングル定義部は、改めて予測された第２カメラに対する位置及びアングルと、仮想動画における被写体の現在の位置及びアングルとに基づいて、仮想動画における被写体の位置及びアングルを改めて定義し、仮想動画合成部は、改めて定義された位置及びアングルに基づいて、被写体の仮想動画を生成してもよい。
【０００９】
本発明の第２の形態によれば、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替方法は、第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替ステップと、出力切替ステップで、出力する動画を、第１のカメラによる被写体の動画から、第２のカメラによる被写体の動画に切り替える場合に、第１及び第２のカメラに対する被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル測定ステップと、位置及びアングルの算出結果に基づいて、第１のカメラによる被写体の動画から第２のカメラによる被写体の動画へ、被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成ステップとを備え、出力切替ステップでは、出力する動画を、第１のカメラによる被写体の動画、仮想動画、及び第２カメラによる被写体の動画の順に切り替えて出力する。
【００１０】
本発明の第３の形態によれば、出力する動画を、第１のカメラで撮影している被写体の動画から、第１のカメラと異なる位置に設置された第２のカメラで撮影している被写体の動画に切り替える動画切替システム用プログラムは、第１及び第２のカメラがそれぞれ撮影した動画を取得し、取得した動画のいずれを出力するかを切り替える出力切替機能と、出力切替機能が、出力する動画を、第１のカメラによる被写体の動画から、第２のカメラによる被写体の動画に切り替える場合に、第１及び第２のカメラに対する被写体の位置及びアングルをそれぞれ算出する被写体位置・アングル測定機能と、位置及びアングルの算出結果に基づいて、第１のカメラによる被写体の動画から第２のカメラによる被写体の動画へ、被写体の位置及びアングルが徐々に変化する仮想動画を生成する仮想動画生成機能とを動画切替システムに実現させ、出力切替機能は、出力する動画を、第１のカメラによる被写体の動画、仮想動画、及び第２カメラによる被写体の動画の順に切り替えて出力する。
【００１１】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションもまた発明となりうる。
【発明の効果】
【００１２】
本発明によれば、被写体の動画像を、異なる位置から被写体を撮影している複数のカメラ間で切り替える場合に、動画中の被写体の向き及び大きさをスムーズに変化させることがことができる。
【発明を実施するための最良の形態】
【００１３】
以下、発明の実施形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではなく、また実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【００１４】
図１は、本発明の一実施形態に係る動画切替システム１００の実施例を示す。本実施例は、被写体の一例である自動車１２の走行シーンを、第１のカメラ１０ａと第１のカメラ１０ａと異なる位置に設置された第２のカメラ１０ｂとでそれぞれ撮影し、出力する動画を、第１のカメラ１０ａによる動画から第２のカメラ１０ｂによる動画に切り替える場合を想定する。
【００１５】
動画切替システム１００は、出力する動画を切り替える場合に、あたかも第１のカメラ１０ａから第２のカメラ１０ｂに向かって、自動車１２を撮影するカメラが移動したかのような仮想画像を生成し、当該仮想画像で第１のカメラ１０ａによる動画と第２のカメラ１０ｂによる動画とをつなぐことを目的とする。
【００１６】
以下、本実施形態に於いて、出力する画像を第１のカメラによる動画から仮想動画に切り替えるタイミングを「切替開始時」と呼び、仮想動画から第２のカメラによる動画に切り替えるタイミングを「切替完了時」と呼ぶ。
【００１７】
図２は、動画切替システム１００の機能構成の一例を示すブロック図である。動画切替システム１００は、異なる位置に設置された複数のカメラ（１０ａ〜１０ｎ）と、複数のカメラ１０で撮影された動画を分析することによって、被写体の立体形状、現在の位置及び向き（アングル）を算出すると共に、切替完了時における第２のカメラに対する被写体の位置及び向きを予測する実画像分析部２０と、実画像分析部２０の予測結果に基づいて、切替開始時から切替完了時までの仮想動画を生成する仮想動画生成部５０と、動画切替システム１００が出力する動画を、複数のカメラ１０のそれぞれが撮影した動画、及び仮想動画生成部５０が生成した仮想動画の間で切り替える出力切替部３２と、切替開始時から切替完了時までの時間を設定する切替タイミング制御部３０とを備える。
【００１８】
実画像分析部２０は、複数のカメラ１０によって同時に撮影された画像から、ステレオ視法により被写体の立体形状を算出する立体形状算出部２２と、複数のカメラ１０の画像から、カメラに対する被写体の位置を三角法により算出する被写体位置・アングル算出部２４と、カメラに対する被写体の位置の変化率から被写体の動きベクトルを測定する動きベクトル測定部２８と、被写体の現在位置と動きベクトルから、「切替完了時」におけるカメラに対する被写体の位置及びアングルを予測する切替時位置・アングル予測部２６とを有する。
【００１９】
仮想動画生成部５０は、「切替完了時」における第２のカメラ（切替後のカメラ）に対する被写体の位置及びアングルの予測値と、「切替開始時」における第１のカメラ（切替前のカメラ）に対する被写体の位置及びアングルの測定値との差分を求め、当該差分が時間の経過に応じて徐々に小さくなるように、仮想動画における被写体の位置及びアングルの変化率を定義する位置・アングル変化率定義部５２と、立体形状算出部２２が算出した被写体の立体形状と、位置・アングル変化率定義部５２が定義した被写体の位置及びアングルの変化率とに基づいて被写体の仮想動画を合成する仮想動画合成部５４とを有する。
【００２０】
記録媒体６０は、カメラ１０、立体形状算出部２２、被写体位置・アングル算出部２４、切替時位置・アングル予測部２６、動きベクトル測定部２８、位置・アングル変化率定義部５２、仮想動画合成部５４、切替タイミング制御部３０、及び出力切替部３２の機能を動画切替システム１００に実現させるプログラムを格納している。動画切替システム１００は、そのようなプログラムをネットワーク経由で取得し、実行してもよい。
【００２１】
切替タイミング制御部３０は、切替開始時から切替完了時までの時間、すなわち仮想動画の時間の長さを設定する。切替タイミング制御部３０はさらに、切替開始時から切替完了時までの間に、切替完了時における第２のカメラに対する被写体の位置及びアングルを切替時位置・アングル予測部２６に予測させる回数を規定する。例えば、切替開始時から切替完了時までの時間、すなわち仮想動画の時間の長さを１．０秒と設定し、位置及びアングルを改めて予測させる回数を４回と設定する。この設定の場合、切替時位置・アングル予測部２６は、切替開始時と、以後０．２秒毎に４回、切替完了時における第２のカメラに対する被写体の位置及びアングルを予測する。
【００２２】
つまり、切替時位置・アングル予測部２６は、切替タイミング制御部３０で設定された頻度に応じて、被写体の位置及びアングルを複数回予測する。したがって、切替開始時から切替完了時までの間に被写体の動きベクトルが変化する場合に、切替完了時における第２のカメラによる実写画像と、仮想動画との間での被写体の位置及びアングルのずれを小さくすることができる。この場合、切替開始時から切替完了時までの間において、切替完了時の被写体の位置及びアングルの予測頻度が高いほど、仮想動画と第２のカメラによる動画との間での、切替完了時における被写体の位置、及びアングルのずれが小さくなり、動画の切替がスムーズになる。
【００２３】
図３は、三角法及びステレオ視法により、被写体の一例である自動車１２の位置並びに立体形状を測定する方法を示す。まず、カメラ１０ａとカメラ１０ｂとの距離Lは既知であり、カメラ１０ａ及び１０ｂのそれぞれは、設置された位置におけるカメラの向きを測定することができる。この場合、カメラ１０ａ及び１０ｂがそれぞれ自動車１２を向いていれば、被写体位置・アングル算出部２４は、図のθ１、θ２を測定することによって、ｌ１、ｌ２、、及び自動車１２の位置を算出することができる。そして、動きベクトル測定部２８は、自動車１２の位置の変化から動きベクトルＶを測定する。
【００２４】
立体形状算出部２２は、カメラ１０ａ及び１０ｂで同時に撮影した自動車１２の画像と、被写体位置・アングル算出部２４が算出したθ１、θ２、ｌ１、及びｌ２、とを用いて、公知のステレオ視法により、自動車１２及び背景の立体形状を算出する。
【００２５】
図４は、切替完了時における自動車１２の位置及び向きを予測し、予測結果に基づいて、仮想動画における被写体の位置及びアングルの変化率を定義する方法を示す。本実施例において、自動車１２は、図に示す軌跡に沿って移動する。また第１のカメラによる動画から仮想動画に切り替わるタイミングを切替開始時（ｔ０）、仮想動画から第２のカメラによる動画に切り替わるタイミングを切替完了時（Ｔ）とする。
【００２６】
切替開始時（ｔ０）に於いて、被写体位置・アングル算出部２４は、第１のカメラ１０ａに対する現在の自動車１２の距離（ＤＳ）及び向き（ＡＳ）を測定する。一方、切替時位置・アングル予測部２６は、自動車１２の現在の位置、向き、及び動きベクトルから、切替完了時（Ｔ）における、第２のカメラ１０ｂに対する自動車１２の距離（ＤＴ）及び向き（ＡＴ）を予測する。
【００２７】
次に、位置・アングル変化率定義部５２は、切替開始時（ｔ０）における第１のカメラ１０ａに対する現在の自動車１２の距離（ＤＳ）及び向き（ＡＳ）と、切替完了時（Ｔ）における、第２のカメラ１０ｂに対する自動車１２の距離（ＤＴ）及び向き（ＡＴ）のそれぞれの差分が、時間の経過に応じて徐々に小さくなるように、仮想画像を撮影する仮想カメラ１０ｃに対する自動車１２の距離ＤＣＧ及び向きＡＣＧの変化率を定義する。ＤＣＧ及びＡＣＧは、例えば、以下のように定義される。
【００２８】
ＤＣＧ（t）＝Ｄｓ＋（ＤＴ１−Ｄｓ）×ｔ／（Ｔ−ｔ０）・・・・（式１）
ＡＣＧ（t）＝Ａｓ＋（ＡＴ１−Ａｓ）×ｔ／（Ｔ−ｔ０）・・・・（式２）
【００２９】
切替時位置・アングル予測部２６は、切替タイミング制御部３０で設定された頻度に従い、切替完了時（Ｔ）における、第２のカメラ１０ｂに対する自動車１２の距離（ＤＴ）及び向き（ＡＴ）を複数回（ｎ回）改めて予測する。この場合、ｎ回目に改めて予測される距離（ＤＴｎ）及び向き（ＡＴｎ）に基づいて、仮想カメラ１０ｃに対する自動車１２の距離ＤＣＧｎ及び向きＡＣＧｎの変化率も改めて次式の様に定義される。
【００３０】
ＤＣＧｎ（t）＝ＤＣＧ（ｎ−１）＋（ＤＴｎ−ＤＣＧ（ｎ−１））×ｔ／（Ｔ−ｔｎ）・・・・（式３）
ＡＣＧｎ（t）＝ＡＣＧ（ｎ−１）＋（ＡＴｎ−ＡＣＧ（ｎ−１））×ｔ／（Ｔ−ｔｎ）・・・・（式４）
【００３１】
すなわち、（式３）及び（式４）は、ｎ回目に改めて予測した、第２のカメラに対する距離ＤＴｎ及びアングルＡＴｎに向けて、仮想動画における自動車１２の距離ＤＣＧ（ｎ−１）及びアングルＡＣＧ（ｎ−１）を徐々に変化させる定義式である。仮想動画合成部５４は、（式３）及び（式４）を用いて、仮想動画における自動車１２の大きさ及び向きを算出し、さらに、立体形状算出部２２から取得する自動車１２の立体形状を用いて、自動車１２の仮想動画を合成する。
【００３２】
図５は、図４で説明した処理の結果出力される動画の例を示す。動画切替システム１００は、出力する動画を、図５（Ａ）に示す第１のカメラによる動画から、図５（Ｃ）に示す第２のカメラによる動画に切り替える場合に、第１のカメラによる動画と、第２のカメラによる動画との間における、被写体の距離及びアングルの差分を徐々に小さくする仮想動画（図５（Ｂ））を生成して表示する。従って、被写体の距離及びアングルが滑らかに変化する動画切替を実現することができる。
【００３３】
以上、実施形態を用いて本発明を説明したが、本発明の技術的範囲は上記実施形態に記載の範囲には限定されない。上記実施形態に、多様な変更又は改良を加えることができる。そのような変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【００３４】
本実施形態によれば、被写体の動画像を、異なる位置から被写体を撮影している複数のカメラ間で切り替える場合に、動画中の被写体の向き及び大きさをスムーズに変化させる動画切替システムを提供することができる。
【図面の簡単な説明】
【００３５】
【図１】動画切替システム１００の実施例を示す。
【図２】動画切替システム１００の機能構成の一例を示すブロック図である。
【図３】三角法及びステレオ視法により、自動車１２の位置並びに立体形状を測定する方法を示す。
【図４】切替完了時における自動車１２の位置及び向きを予測し、予測結果に基づいて、仮想動画における被写体の位置及びアングルの変化率を定義する方法を示す図である。
【図５】図４で説明した処理の結果出力される動画の例を示す。
【符号の説明】
【００３６】
１０  カメラ
１２  自動車
２０  実画像分析部
２２  立体形状算出部
２４  被写体位置・アングル算出部
２６  切替時位置・アングル予測部
２８  動きベクトル測定部
３０  切替タイミング制御部
３２  出力切替部
５０  仮想動画生成部
５２  位置・アングル変化率定義部
５４  仮想動画合成部
６０  記録媒体
１００  動画切替システム
【図１】
2005109758.tif 000003
【図２】
2005109758.tif 000004
【図３】
2005109758.tif 000005
【図４】
2005109758.tif 000006
【図５】
2005109758.tif 000007