(57)【特許請求の範囲】
【請求項１】
複数のカメラと、
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は第１時計を備え、
前記複数のカメラの各々は第２時計を備え、
前記情報処理装置は、前記第１時計が示す現在時刻と、前記第２時計が示す現在時刻との差を表す補正値に基づいて前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃える、
カメラ映像提供システム。
【請求項２】
前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、
前記複数の情報処理機器の各々に備えられた前記第１時計の時刻は、前記ネットワークに接続された他の情報処理装置からセットされる、
請求項１に記載のカメラ映像提供システム。
【請求項３】
前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を前記他の情報処理装置に送る、
請求項２に記載のカメラ映像提供システム。
【請求項４】
前記複数の情報処理機器は、更に、前記補正値を前記他の情報処理装置に送る、
請求項３に記載のカメラ映像提供システム。
【請求項５】
前記撮影時刻は、前記補正値により補正された撮影時刻である、
請求項３に記載のカメラ映像提供システム。
【請求項６】
複数のカメラと、
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は、前記複数の映像のマッチングをとることにより前記時間軸を揃え、前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像提供システム。
【請求項７】
複数のカメラと、
前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置とを備え、
前記情報処理装置は、前記複数の映像のそれぞれに含まれる音声情報のマッチングをとることにより前記時間軸を揃え、前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像提供システム。
【請求項８】
複数のカメラで撮影された複数の映像を入力し、
前記複数の映像のマッチングをとり、
該マッチングがとられた前記複数の映像の時間軸を揃え、
前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像の時間軸補正方法。
【請求項９】
複数のカメラで撮影された複数の映像を入力し、
前記複数の映像のそれぞれに含まれる音声情報のマッチングをとり、
該マッチングがとられた前記複数の映像の時間軸を揃え、
前記複数の映像のマッチングがとれた部分にマークを設定する、
カメラ映像の時間軸補正方法。
【請求項１０】
複数のカメラで撮影された複数の映像を入力し、
第１時計が示す現在時刻を読み込み、
前記複数のカメラに備えられた第２時計が示す現在時刻を読み込み、
前記第１時計が示す現在時刻と前記第２時計が示す現在時刻との差を算出し、
該算出された差を補正値として前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃える、
カメラ映像の時間軸補正方法。
【請求項１１】
前記撮影時刻を補正するステップは、少なくとも映像及び該映像の撮影時刻に基づいて前記撮影時刻を補正する、
請求項１０に記載のカメラ映像の時間軸補正方法。
【請求項１２】
前記撮影時刻を補正するステップは、更に、前記補正値に基づいて前記撮影時刻を補正する、
請求項１１に記載のカメラ映像の時間軸補正方法。
【請求項１３】
前記撮影時刻は、前記補正値により補正された撮影時刻である、
請求項１１に記載のカメラ映像の時間軸補正方法。
【請求項１４】
請求項８乃至１３の何れか１項において、前記時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも１つの映像を生成する、カメラ映像の時間軸補正方法。
【請求項１５】
請求項８乃至１３の何れか１項において、前記時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも１つの映像を生成する、カメラ映像の時間軸補正方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ映像提供システム及びカメラ映像の時間軸補正方法に関し、特に複数のカメラで撮った映像の時間軸を揃えて利用者に提供し、またカメラで撮った映像の撮影時刻を補正する技術に関する。
【０００２】
【従来の技術】
近年、家庭用のハンディなビデオカメラ（以下、「家庭用カメラ」という）が普及し、広く使用されている。このような家庭用カメラは、撮影された映像を自身の表示装置に表示させる機能の他に、撮影された映像の映像信号を外部に出力する機能を有している。
【０００３】
この家庭用カメラからの映像信号は、例えばパーソナルコンピュータに取り込むことができるようになっている。そして、パーソナルコンピュータ上で動作する映像編集ソフトウェアは、取り込まれた映像信号に基づく映像を編集できるようになっている。
【０００４】
ところで、上述した編集は、１台の家庭用カメラから取り込まれた映像を対象に行われることが殆どであった。一方、映画では、１つのシーンを複数のプロフェッショナル用カメラで別々に撮影し、この複数のプロフェッショナル用カメラから取り込まれた複数の映像を繋ぎ合わせる編集を行い、ストーリー性を有する映像を作成することも行われている。
【０００５】
【発明が解決しようとする課題】
しかしながら、家庭用カメラでは、その内蔵時計が、正確な時刻に設定されていないことなどによる実時刻とのズレに起因して、複数のカメラ映像の時間軸が正確にあっていないことが多い。そのため、家庭用カメラで撮影した映像では、同一の時間軸における連続した編集を行うことができず、映像の抜けやダブりが発生して映像進行のぎこちなさが目立ち、また、映像と同時に録音されている音声が繰り返されたりするので、視聴に耐えられないという問題がある。
【０００６】
そこで、複数の映像を正確な時間軸上で編集したいという要望がある。また、１つのシーンの、同一時刻における異なるアングルの映像を見たいという要望も生じている。
【０００７】
本発明は、上述した問題を解消し、また上記要請に応えるためになされたものであり、その目的は、カメラ映像の時間軸を正確に揃えることができるカメラ映像提供システム及びカメラ映像の時間軸補正方法を提供することにある。
【０００８】
【課題を解決するための手段】
本発明は、複数の利用者が運動会のような、１つのイベントを複数のカメラで撮影することにより得られた複数の映像をコンピュータ上に集め、コンテンツとして利用者に提供するものである。より詳しくは、蓄積された複数の映像の時間軸を正確に合わせる映像の時間軸補正方法及び映像の時間軸を合わせて帯状に並べて提供し、映像編集及び映像アングルの切換を容易ならしめるカメラ映像提供システムである。地域、学校、集合住宅といったコミュニティ内での共同撮影、共同映像編集のためのツールとして活用できる。
【０００９】
即ち、本発明の第１の態様に係るカメラ映像提供システムは、上記目的を達成するために、複数のカメラと、前記複数のカメラで撮影された複数の映像の時間軸を揃える情報処理装置、とを備えている。
【００１０】
このカメラ映像提供システムにおける前記情報処理装置は、前記複数の映像の各々に関連付けられている情報に基づいて前記複数の映像のマッチングをとることにより時間軸を揃えるように構成できる。この場合、前記関連付けられている情報は音波形から構成できる。また、このカメラ映像提供システムにおける前記情報処理装置は、前記複数の映像のマッチングがとれた部分にマークを設定するように構成できる。
【００１１】
また、このカメラ映像提供システムにおける前記情報処理装置は第１時計を備え、前記複数のカメラの各々は第２時計を備え、前記情報処理装置は、前記第１時計が示す現在時刻と、前記第２時計が示す現在時刻との差を表す補正値に基づいて前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【００１２】
また、このカメラ映像提供システムにおける前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、前記複数の情報処理機器の各々に備えられた前記第１時計の時刻は、前記ネットワークに接続された他の情報処理装置からセットされるように構成できる。
【００１３】
この場合、前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を前記他の情報処理装置に送るように構成できる。また、前記複数の情報処理機器は、更に、前記補正値を前記他の情報処理装置に送るように構成できる。これらの場合、前記撮影時刻は、前記補正値により補正された撮影時刻とすることができる。
【００１４】
また、このカメラ映像提供システムにおける前記情報処理装置は、時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも１つの映像を生成するように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも１つの映像を生成するように構成できる。
【００１５】
更に、このカメラ映像提供システムは、前記複数のカメラの各々は、自己修正機能を有する内蔵時計を備え、前記情報処理装置は、前記内蔵時計が示す時刻に基づいて前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【００１６】
この場合、前記情報処理装置は、ネットワークによって接続された複数の情報処理機器から成り、前記複数の情報処理機器は、前記ネットワークを介して、少なくとも映像及び該映像の撮影時刻を他の情報処理装置に送るように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも１つの映像を生成するように構成できる。また、前記情報処理装置は、時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも１つの映像を生成するように構成できる。これらの場合、前記内蔵時計は、電波時計から構成できる。更に、前記複数のカメラの各々は、ネットワークに接続するためのネットインタフェース部を備え、前記内蔵時計は、前記ネットワークに接続された他の情報処理装置から前記ネットインタフェース部を介して時刻がセットされるように構成できる。
【００１７】
また、本発明の第２の態様に係るカメラ映像提供システムは、上記と同様の目的で、自己修正機能を有する第１時計を含む情報処理装置と、第２時計を含むカメラ、とを備え、前記情報処理装置は、前記第１時計が示す現在時刻と前記第２時計が示す現在時刻との差に基づいて前記カメラで撮影された映像の撮影時刻を補正し、該補正された撮影時刻を有する映像を提供するように構成されている。
【００１８】
この第２の態様に係るカメラ映像提供システムによれば、第１時計は自己修正機能を有するので、第１時計からは常に実際の時刻を得ることができる。この第１時計が示す現在時刻と第２時計が示す現在時刻との差に基づいて、カメラで撮影された映像の撮影時刻が補正されるので、常に正確な撮影時刻を有する映像を提供できる。
【００１９】
また、本発明の第３の態様に係るカメラ映像の時間軸補正方法は、上記と同様の目的で、複数のカメラで撮影された複数の映像を入力し、該入力された複数の映像の各々に関連付けられている情報に基づいて前記複数の映像のマッチングをとり、該マッチングがとられた前記複数の映像の時間軸を揃えるように構成されている。この場合、前記関連付けられている情報は音波形から構成できる。
【００２０】
また、この第３の態様に係るカメラ映像の時間軸補正方法では、更に、前記複数の映像のマッチングがとれた部分にマークを設定するように構成できる。
【００２１】
また、この第３の態様に係るカメラ映像の時間軸補正方法では、第１時計が示す現在時刻を読み込み、前記複数のカメラに備えられた第２時計が示す現在時刻を読み込み、前記第１時計が示す現在時刻と前記第２時計が示す現在時刻との差を算出し、該算出された差を補正値として前記複数のカメラからの複数の映像の撮影時刻を補正し、以て、前記複数のカメラで撮影された複数の映像の時間軸を揃えるように構成できる。
【００２２】
この場合、前記撮影時刻を補正するステップは、少なくとも映像及び該映像の撮影時刻に基づいて前記撮影時刻を補正するように構成できる。この場合、前記撮影時刻を補正するステップは、更に、前記補正値に基づいて前記撮影時刻を補正するように構成できる。また、前記撮影時刻は、前記補正値により補正された撮影時刻から構成できる。
【００２３】
また、この第３の態様に係るカメラ映像の時間軸補正方法では、前記時間軸が揃えられた複数の映像に基づいて撮影時刻が連続するように編集された少なくとも１つの映像を生成するように構成できる。更に、この第２の態様に係るカメラ映像の時間軸補正方法では、前記時間軸が揃えられた複数の映像の中の同一の撮影時刻を有する複数の映像を切り換えて繋ぐように加工して少なくとも１つの映像を生成するように構成できる。
【００２４】
更に、本発明の第４の態様に係るカメラ映像の時間軸補正方法は、上記と同様の目的で、自己修正機能を有する第１時計が示す現在時刻と、カメラに含まれる第２時計が示す現在時刻との差を算出し、該算出された差に基づいて前記カメラで撮影された映像の撮影時刻を補正するように構成されている。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態を、図面を参照しながら詳細に説明する。なお、以下の実施の形態で使用する家庭用ビデオカメラ（以下、単に「カメラ」と略称することもある）は、ＤＶ（Ｄｉｇｉｔａｌ  Ｖｉｄｅｏ）規格を採用するものとする。ＤＶ規格としては、「ＩＮＴＥＲＮＡＴＩＯＮＡＬ  ＳＴＡＮＤＡＲＤ」（ＣＥＩ／ＩＥＣ  ６１８８３−２：１９９８）を採用できる。
【００２６】
（実施の形態１）
図１は、本発明の実施の形態１に係るカメラ映像供給システムの構成を示すブロック図である。このカメラ映像供給システムは、インターネット１０、このインターネット１０に接続されたサーバ２０並びに複数のパーソナルコンピュータ（以下、「ＰＣ」と略称することもある）３０、３１及び３２から構成されている。複数のパーソナルコンピュータ３０、３１及び３２には、家庭用ビデオカメラ４０、４１及び４２がそれぞれ接続されている。
【００２７】
本発明の情報処理装置は、サーバ２０並びに複数のパーソナルコンピュータ３０、３１及び３２に対応する。また、本発明の情報処理機器は、パーソナルコンピュータ３０、３１及び３２に対応する。
【００２８】
このカメラ映像供給システムでは、ネットワークとしてインターネット１０を使用しているが、本発明ではインターネットに限らず、種々のネットワークを使用できる。
【００２９】
サーバ２０は、このカメラ映像供給システムを統括的に制御する。このサーバ２０としては、サーバ用コンピュータ、ワークステーション、汎用コンピュータいった種々の情報処理装置を使用できる。サーバ２０は内蔵時計を備えている。この内蔵時計の時刻は、このカメラ映像供給システムの基準時刻として用いられる。
【００３０】
パーソナルコンピュータ３０、３１及び３２は、カメラ４０、４１及び４２からの情報をそれぞれ取り込み、種々の処理を行う。これらパーソナルコンピュータ３０、３１及び３２が行う処理の詳細は後述する。なお、パーソナルコンピュータ３０、３１及び３２の代わりに、他の情報処理装置を使用できることは勿論である。
【００３１】
パーソナルコンピュータ３０、３１及び３２の各々は内蔵時計を有しており、後述するように、補正時間Δを算出するために使用される。なお、パーソナルコンピュータ３０、３１及び３２で使用する時計は内蔵時計に限定されず、パーソナルコンピュータ３０、３１及び３２が時刻を知ることのできるものであれば如何なる時計であってもよい。
【００３２】
カメラ４０、４１及び４２はパーソナルコンピュータ３０、３１及び３２にそれぞれ接続される。接続は、ＩＥＥＥ１３９４規格（ｉ・Ｌｉｎｋ等の類似規格を含む）のケーブルやアナログ映像信号ケーブル、ブルートゥース（Ｂｌｕｅｔｏｏｔｈ）等の無線を用いて行われる。
【００３３】
なお、サーバ２０とパーソナルコンピュータ３０、３１及び３２とは同一の情報処理装置であってもよい。その場合は、図５に示すように、複数台の情報処理装置３０１〜３０ｎに順番に複数台のカメラ４０１〜４０ｎを繋いだり、図４に示すように、１台の情報処理装置３０に複数台のカメラ４０１〜４０ｎを繋ぐように構成できる。なお、情報処理装置に複数台のカメラを繋ぐケースとしては、図４に示すように、同時に複数台のカメラを繋ぐケースと、複数台のカメラを順次取り替えながら１台のみを繋ぐケースとがある。
【００３４】
また、この実施の形態に係るカメラ映像提供システムでは、情報処理装置は、該情報処理装置に接続されているカメラのＩＤと、カメラに収納されたテープに記録されている、録画に使用されたカメラのＩＤとを取得し、これらを映像と関連付けて管理するように構成できる。この構成によれば、撮影時刻の補正行うにあったてカメラとテープの整合性を確認できるので、時刻補正が誤って行われることを防止できる。
【００３５】
以上の構成において、本発明の実施の形態に係るカメラ映像供給システムの動作を説明する。
【００３６】
先ず、利用者は、パーソナルコンピュータ３０、３１及び３２をサーバ２０に接続し、パーソナルコンピュータ３０、３１及び３２の内蔵時計の時刻をサーバ２０の内蔵時計の時刻に合わせる。サーバ２０の内蔵時計の時刻は、常に、電波時計やＮＴＴの時報サービス、インターネット上の時刻を同期させるためのプロトコルであるＮＴＰ（Ｎｅｔｗｏｒｋ  Ｔｉｍｅ  Ｐｒｏｔｏｃｏｌ）等を利用して正確な時刻に合わせておくことが望ましい。なお、ＮＴＰについては、ＲＦＣ１３０５で定義されている。
【００３７】
次いで、利用者は、カメラ４０、４１及び４２をパーソナルコンピュータ３０、３１及び３２に接続する。以上によりカメラ映像供給システムのセッティングが完了する。
【００３８】
以上のセッティングが完了すると、カメラ４０、４１及び４２からパーソナルコンピュータ３０、３１及び３２に撮影した「映像」がそれぞれ送られる。この際、各映像に付加されている「撮影時刻」もパーソナルコンピュータ３０、３１及び３２に送られる。次いで、カメラ４０、４１及び４２の内蔵時計の「現在時刻」がパーソナルコンピュータ３０、３１及び３２にそれぞれ送られる。なお、「映像」、「撮影時刻」及び「現在時刻」を送る順序は上記に限定されず任意である。また、これらの「映像」、「撮影時刻」及び「現在時刻」は、複数回送るように構成してもよい。
【００３９】
パーソナルコンピュータ３０、３１及び３２は、カメラ４０、４１及び４２から得られたカメラの現在時刻とパーソナルコンピュータ３０、３１及び３２の内蔵時計の現在時刻との差を算出する。この算出された差を、補正時間Δと呼ぶ。パーソナルコンピュータ３０、３１及び３２は、カメラ４０、４１及び４２から得られた映像に、上記算出された補正時間Δを関連付けて記憶する。
【００４０】
なお、ＤＶ規格以外のカメラの場合は、内蔵時計の現在時刻を外部に出力する機能を備えていない。この場合、以下の方法によりカメラの現在時刻を取得することができる。即ち、カメラは、通常、映像再生時や撮影時に時刻を映像に重畳する機能を備えている。カメラは、この時刻付き映像をパーソナルコンピュータに送る。
【００４１】
パーソナルコンピュータは、映像に重畳された時刻表示を、文字認識と文字が変化するタイミングを検知する手法を用いて認識し、現在時刻を得る。そして、パーソナルコンピュータは、これらにより得られたカメラの現在時刻とパーソナルコンピュータの内蔵時計の現在時刻との差を算出し、補正時間Δを得る。映像の撮影時刻も、撮影した際の映像上の時刻表示を文字認識して得る。
【００４２】
上述した現在時刻及び映像の撮影時刻を得る方法を、パーソナルコンピュータ３０に接続されたカメラ４０を例に挙げて、更に詳細に説明する。先ず、カメラ４０に現在時刻を表示させて撮影し、この撮影により得られた映像をパーソナルコンピュータ３０に送る。この場合、カメラ４０は静止した被写体を撮影し、この静止した映像に時刻を表示させるのが好ましい。これにより、パーソナルコンピュータ３０は、１秒（又は１分）毎に画面が変化する領域を特定しやすくなる。
【００４３】
次に、パーソナルコンピュータ３０は、画面を走査することにより所定時刻における画像と該所定時刻から１秒経過した後の画像とを取得し、これらを比較して変化している箇所を見つける。この動作を何秒（又は何分）か繰り返し、周期的に必ず画像が変化している部分であって、且つ部分的に色が同一である部分を検出する。そして、この検出された部分が、時刻表示領域（厳密には、時刻表示領域の末尾の部分）であると認識する。
【００４４】
なお、パーソナルコンピュータ３０が、時刻が表示されている箇所を特定できない場合又は必要に応じて、ユーザが、例えばマウスに連動するポインタで領域を指定するように構成してもよい。
【００４５】
上記時刻表示領域を認識する際は、時刻を表す文字の変化が大きい部分から認識を始める。そして、その部分で画面の色が変化するタイミングを測定し、１秒の間隔を得る。なお、秒単位で補正する場合は、ミリ秒単位で測定する。
【００４６】
そして、１秒の間隔が得られたら、仮の時刻の基準値、例えば「００：００：０１」からから計時を開始、得られた１秒の間隔でインクリメントを開始する。次いで、映像を止め、その際の仮の時刻を記録する。この場合、仮の時刻は止めずに計時を継続する。
【００４７】
次に、止めた時の映像から文字を２桁ずつ認識する。文字の認識には、既存の光学文字認識（ＯＣＲ）等で用いられている文字認識方法を用いることができる。文字は、「０」〜「９」、「：」、「，」「時」、「分」及び「秒」の１５通りに特定できるので、高い認識率が得られる。なお、認識された文字は、パーソナルコンピュータ３０に表示させてユーザが確認できるように構成するのが好ましい。
【００４８】
この文字認識では、１秒の周期で画面が変化している場合は、最大８文字（時、分及び秒の数字は２桁表示）を認識する。なお、１分の周期で画面が変化している場合は、５桁を認識する。時、分及び秒の間の区切りは、「：」、「，」「時」、「分」及び「秒」を認識することにより判断する。
【００４９】
次いで、「認識された時刻−映像を止めた時の仮の時刻」を演算し、結果を仮の時刻に加算することにより、カメラ４０の現在時刻が得られる。
【００５０】
次に、各パーソナルコンピュータ３０、３１及び３２は、サーバ２０に、映像、撮影時刻及び補正時間Δを送る。サーバ２０は、複数のパーソナルコンピュータ３０、３１及び３２から送られてきた複数の映像、撮影時刻、補正時間Δに基づいて映像の正確な撮影時刻を算出する。そして、図２に概念的に示すように、複数の映像を同一の時間軸上に並列に並べ、利用者の編集や加工に供する。
【００５１】
利用者は、時間軸上に並列に並べられた映像から所望の映像を取捨選択することにより、正確な時刻で映像を繋ぎ合わせた編集・加工ができる。例えば、図３に示すように、運動会の徒競走でＡさんは息子をスタート地点から撮っていたため途中のシーンが人垣などで上手く撮れていなかったが、Ｂさんがコーナー地点で撮っていた映像にもＡさんの息子が映っていたとする。同様に、Ｃさんが撮っていた映像にもＡさんの息子が映っていたとする。このような状況が生じた場合に、Ａさん、Ｂさん及びＣさのカメラで撮った映像を正確な時間で繋ぎ合わせて１つの映像として編集できる。
【００５２】
このように、本発明の実施の形態１に係るカメラ映像提供システムによれば、複数のカメラで撮った各シーンを正確な時間で繋ぎ合わせる編集ができるので、正確な時間に沿って物事が進行している状態を再現することができ、Ａさんの息子を主人公とするプロフェッショナルの映画のような品質の高い映像を作成することができる。
【００５３】
また、この実施の形態１に係るカメラ映像提供システムによれば、利用者は、時間軸上に並列に並べられた映像に基づいて、ある時刻の映像を多面的なアングルや位置の情報として閲覧できる。例えば、地震や噴火の際に時間の経過と地域の揺れや被害状況の正確な映像を見ることができるので、正確な情報を把握できる。
【００５４】
また、従来、３次元の映像を撮影するためには、対象物を３６０゜囲むように複数台のスチルカメラを配置し、シャッターを同時に押して連続撮影し、撮影後、得られた画像をコンピュータ上で一枚一枚張り合わせて映像を作成している。この実施の形態１に係るカメラ映像提供システムを利用すれば、動画カメラを利用でき、各動画カメラの撮影開始時刻を気にせずに撮影しても、撮影後に各映像の撮影時刻を正確に合わせることができるので、簡単に多面的な視点の映像が得られる。
【００５５】
利用者は、上述したようにしてサーバ上で複数の映像を編集・加工することにより得られた１つの映像をパーソナルコンピュータ３１、３２及び３３にダウンロードし、必要に応じてテープやディスクに書き出すことができる。これにより、利用者が最初に撮った映像より付加価値の高い新たな映像を得ることができる。
【００５６】
なお、上述した実施の形態１では、各パーソナルコンピュータ３１、３２及び３３は、映像、撮影時刻及び補正時間Δをサーバ２０に送り、サーバ２０上で正確な撮影時刻を算出するように構成したが、各パーソナルコンピュータ３１、３２及び３３は、映像、撮影時刻及び補正時間Δに基づいて正確な撮影時刻を算出して撮影時刻情報を書き直し、映像と、この書き直された撮影時刻とをサーバ２０に送るように構成することができる。この場合、サーバ２０及びインターネット１０の負荷を軽減できる。
【００５７】
或いはまた、各パーソナルコンピュータ３０、３１及び３３は、カメラ４１、４２及び４３から映像を取り込まず、現在時刻と撮影時刻だけを取り込み、上述したようにして撮影時刻を補正し、補正された撮影時刻をカメラ４１、４２及び４３内の映像、より詳しくはＤＶテープの映像に付帯された撮影時刻情報部分に書き戻すように構成できる。
【００５８】
（実施の形態２）
本発明の実施の形態２は、実施の形態１における補正時間Δを使用せずに、各映像の時間を合わせる時間軸補正方法を採用したカメラ映像提供システムである。
【００５９】
この時間軸補正方法は、補正時間Δが得られないときや、補正時間Δが正しいかどうかを検証するために用いられる。補正時間Δが得られない場合とは、撮影に用いたカメラとは異なる装置（ビデオカメラやビデオデッキ）を用いて再生を行う場合や、時刻の合わせ直し等によりカメラの内蔵時計の時刻が撮影時から変化してしまった場合や８ｍｍフィルム等の時間情報を持たない場合である。
【００６０】
この実施の形態２に係るカメラ映像提供システムの構成は、図１に示した実施の形態１のそれと同じである。
【００６１】
ＤＶ規格のカメラ４０、４１及び４２では、同一イベントを複数のカメラで撮影することにより得られた複数の映像を、パーソナルコンピュータ３０、３１及び３２経由でサーバ２０にアップロードする際、映像からは各々撮影時の時刻情報が取得できる。
【００６２】
サーバ２０は、初期段階にサーバ２０にアップロードされた映像の中で最も長時間撮影された映像Ａを基準とし、その他の映像との要素マッチングを行う。
【００６３】
ここで、要素マッチングについて説明する。複数のカメラで同一のイベントを撮影している場合には、各映像中には共通の要素が含まれている。この共通の要素をサーチして映像の時間軸上の一致点を求めるのが本明細書で言う要素マッチングである。
【００６４】
要素マッチングは、音声、映像又は音声及び映像の双方を用いて行うことができる。要素マッチングを行う場合は、利用者は、ユーザインタフェース（ＵＩ）を用いて、各カメラの映像から、時間の一致するフレームを大まかに指定する。そして、サーバ２０は、指定されたフレーム付近の、音声、映像又は音声及び映像の双方の正確な一致点を自動的に検索する。
【００６５】
音で要素マッチングを行う場合は、例えば、運動会における徒競走のピストルの音波形、結婚式におけるシャンパンの開栓の音波形等を利用できる。映像で要素マッチングを行う場合は、運動会におけるくす玉が割れた瞬間に現れる画像の色の顕著な変化や、結婚式におけるケーキ入刀のシーンに連続的に現れるフラッシュの明滅パターン等を利用できる。
【００６６】
時間一致の解析は、以下のように行うことができる。音量や映像の平均色或いは平均輝度の変化パターンを、正規化或いは適切な閾値で２値化する。そして、得られた或る区間の時系列パターン同士の一致度を、パターン同士をずらしながら求め、一致度が最も高くなる点を探す。その点が求められると、お互いの映像の時間軸のズレが得られたことになる。なお、一致度の計算の一例は、例えば「ＩＥＥＥ  ＰｒｏｍｓＭＭＮｅｔ  １９９７」に収録されている「ＷｅｂＳｙｎｃ：Ａ  ｓｙｓｔｅｍ  ｆｏｒ  Ｓｙｎｃｈｒｏｎｉｚａｔｉｏｎ  ｏｆ  Ａｎａｌｏｇ  Ｓｅｑｕｅｎｔｉａｌ  Ｍｅｄｉａ  ａｎｄ  ＷＷＷ」（Ｈ．Ｍａｔｏｂａ，Ｔ．Ｏｉｚｕｍｉ  ａｎｄ  Ｋ．ｍａｅｎｏ）に記述されている。
【００６７】
このような要素マッチングでは、映像Ａと映像Ｂとがマッチングする箇所を最低１個確定すれば、映像Ａに記録されている時刻情報を仮基準として、映像Ｂの時刻を映像Ａの仮基準の時刻に合わせる、つまり、同じ時間軸に各映像を並べることができる。映像Ａと映像Ｂとの間で複数のマッチング箇所が確定できれば、より正確な時間軸合わせが可能になり、マッチングミスによる補正エラー発生確率を低減できる。
【００６８】
以下同様にして、映像Ｃ、Ｄ、Ｅと順次要素マッチングを行い、映像Ａの撮影時刻を仮基準として時刻補正を行う。同じマッチング箇所がどの撮影映像にも何時も出現するようなら、撮影したイベントでの特徴的なシーンと見なすことができる。従って、以後のマッチングは、そのシーンに絞ってマッチング箇所を探せばよいので、マッチング処理の効率が向上する。
【００６９】
つまり、撮影の開始から終了までの全撮影映像に対してマッチング箇所をサーチする必要はない。例えば、結婚披露宴であれば、特徴的なシーンの一つである花嫁花婿入場は撮影開始の初期段階にあるので、このシーンに絞ってマッチング箇所を探せばマッチング処理の効率を格段に向上させることができる。
【００７０】
上記の処理を繰り返して、対象となる同一イベントの撮影映像の時刻を全て、映像Ａに合わせる。全ての映像について、マッチング箇所が最低１個確定できれば、全ての映像を同一時間軸に並べることが可能である。
【００７１】
仮に、映像Ａに対して、マッチング箇所が取得できない撮影映像があれば、マッチング箇所が存在する別の映像を基準にマッチングを行ってもよい。例えば、映像Ｃが映像Ａを基準としてマッチングできなかった場合、既にマッチング箇所が存在する映像Ｂと映像Ｃとでマッチングを行ったり、映像Ｃと映像Ｄとを先にマッチングさせてから映像Ｄと映像Ａとをマッチングさせる等により全ての映像を同一時間軸に並べることが可能である。
【００７２】
なお、何れの映像に対してもマッチング箇所が見つからない映像は、編集時に利用する可能性も低い映像とみなすことができる。従って、このような映像は編集材料としては除外することができる。
【００７３】
また、映像のマッチング箇所をサーチする際に、サーチされたマッチング箇所にブックマークを設定し、このブックマークが設定された映像を保存するように構成できる。この構成によれば、別アングルの映像を繋いで編集する際のマッチング箇所のサーチの効率を高めることができる。
【００７４】
なお、本発明に係るカメラ映像提供システムでは、撮影時刻は必ずしも正確である必要はないが、映像の正確な撮影時刻を得るためには、各映像のマッチング箇所の多い部分で、各映像から取得した撮影時刻情報の最頻値や平均値を正確な時刻とみなして、各映像の撮影時刻とすることができる。
【００７５】
（実施の形態３）
本発明の実施の形態３は、時刻を正確に合わせる自己修正機能を有するカメラを用いたカメラ映像提供システムである。
【００７６】
この実施の形態３に係るカメラ映像提供システムの構成は、図１に示した実施の形態１のそれと同じである。実施の形態１との相違は、カメラ４０、４１及び４２に時刻を正確に合わせる機能を付加し、パーソナルコンピュータ３０、３１及び３２やサーバ２０では時間軸補正を行わない点である。
【００７７】
カメラ４０、４１及び４２は、標準電波から日本標準時を取得し、正確な時刻に合わせる電波時計を内蔵している。カメラ４０、４１及び４２は、この電波時計を内蔵時計として時刻を計時する。従って、各カメラ４０、４１及び４２から送パーソナルコンピュータ３０、３１及び３２に送られる映像に付された時刻情報は非常に正確であり、補正の必要はない。
【００７８】
パーソナルコンピュータ３０、３１及び３２は、カメラ４０、４１及び４２からの映像をそのままサーバ２０に送る。サーバ２０は、映像に付加された撮影時刻に基づいて、図２に概念的に示すように、複数の映像を同一の時間軸上に並列に並べ、利用者の編集や加工に供する。
【００７９】
この構成により、カメラ４０、４１及び４２はサーバ２０に映像と撮影時刻を送信するだけで、時間軸を合わせた複数の映像を利用者に提供できる。従って、パーソナルコンピュータ３０、３１及び３２の時刻を正確に合わせる、カメラ４０、４１及び４２の現在時刻から補正時間Δを算出する、撮影時刻と補正時間Δとから正確な撮影時刻を求める、といった処理が不要になる。
【００８０】
この実施の形態３に係るカメラ映像提供システムは、次のように変形できる。即ち、この変形に係るカメラ映像提供システムのカメラ４０、４１及び４２は、電波時計の変わりに通常の時刻合わせ可能な内蔵時計を備え、更に、例えばブルートゥースといった無線回線や既存の有線回線を用いてインターネットに接続するネットインタフェース部を備えている。そして、定期的又は必要に応じてインターネットにアクセスし、ＮＴＰを利用して内蔵時計を正確な時刻に合わせる。これにより、電波時計を内蔵した場合と同等の作用及び効果を奏する。
【００８１】
以上説明したように、本発明の実施の形態に係るカメラ映像提供システムによれば、複数の映像の時間を正確に合わせて利用者に提供できるので、時間に正確に物事が進行している映像が編集できたり、同時刻に行われている他地点の変化を正確に知ることができる。
【００８２】
【発明の効果】
以上詳述したように、本発明によれば、時間軸が正確に揃ったカメラ映像を提供できるカメラ映像提供システム及び映像の時間軸補正方法を提供できる。
【００８３】
複数のカメラで撮った各シーンを正確な時間で繋ぎ合わせる編集ができるので、正確な時間に沿って物事が進行している状態を再現することができ、プロフェッショナルの映画のような品質の高い映像を作成することができる。
【００８４】
また、利用者は、時間軸上に並列に並べられた映像に基づいて、ある時刻の映像を多面的なアングルや位置の情報として閲覧できるので、例えば、地震や噴火の際に時間の経過と地域の揺れや被害状況の正確な映像を見ることができ、正確な情報を把握できる。
【００８５】
また、３次元の映像を撮影するためには、従来のような複数台のスチルカメラを用いるのではなく、動画カメラを利用することができ、各動画カメラの撮影開始時刻を気にせずに撮影しても、撮影後に各映像の撮影時刻を正確に合わせることができるので、簡単に多面的な視点の映像が得られる。
【００８６】
更に、複数の映像を編集・加工することにより得られた１つの映像は、必要に応じてテープやディスクに書き出すことができるので、利用者が最初に撮った映像より付加価値の高い新たな映像を得ることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るカメラ映像供給システムの構成を示すブロック図である。
【図２】本発明の実施の形態１に係るカメラ映像供給システムにおいて、複数の映像を同一の時間軸上に並列に並べた様子を概念的に示す説明図である。
【図３】本発明の実施の形態１に係るカメラ映像供給システムの動作を説明するための図である。
【図４】本発明の実施の形態１に係るカメラ映像供給システムの他の構成を説明するための図である。
【図５】本発明の実施の形態１に係るカメラ映像供給システムの更に他の構成を説明するための図である。
【符号の説明】
１０  インターネット
２０    サーバ
３０、３１、３２  パーソナルコンピュータ
４０、４１、４２  カメラ
【図１】
0003617052.tif 000002
【図２】
0003617052.tif 000003
【図３】
0003617052.tif 000004
【図４】
0003617052.tif 000005
【図５】
0003617052.tif 000006