(57)【要約】【課題】撮影した画像から所望の被写体の動画像を容易に取得することができるシステムを提供する。【解決手段】撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を順次生成し、生成した全体画像をサーバ５３へ記録し、またサーバ５３に記録した全体画像毎にユーザに指定された単位画像と同一の撮影方向上にある単位画像、或いは比較した輝度レベルに応じて識別した撮影方向上にある単位画像を切り出し、切り出した単位画像に基づき動画像を生成する。【選択図】  図１
2004241834.tif 000002
【特許請求の範囲】
【請求項１】
撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成する撮像手段と、
上記生成されたパノラマ画像をサーバへ記録する記録手段と、
上記サーバに記録されているパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成する動画生成手段とを備えること
を特徴とする動画像生成装置。
【請求項２】
上記動画生成手段により生成された動画像を再生する再生手段をさらに備えること
を特徴とする請求項１記載の動画像生成装置。
【請求項３】
上記パノラマ画像から切り出す単位画像を指定するための指定手段をさらに備え、
上記動画生成手段は、指定された単位画像と互いに同一の撮影方向上にある単位画像を、上記サーバに記録されている各パノラマ画像から切り出すこと
を特徴とする請求項１記載の動画像生成装置。
【請求項４】
上記動画生成手段は、単位画像を切り出したパノラマ画像と、当該パノラマ画像より後に撮像された他のパノラマ画像との間で輝度レベルを比較し、その比較した結果に応じて上記他のパノラマ画像から単位画像を切り出すこと
を特徴とする請求項１記載の動画像生成装置。
【請求項５】
上記動画生成手段は、単位画像を切り出したパノラマ画像と、上記他のパノラマ画像との間で輝度レベルの差分値を演算し、上記演算した差分値に基づき、上記他のパノラマ画像から単位画像を切り出すこと
を特徴とする請求項４記載の動画像生成装置。
【請求項６】
上記パノラマ画像から切り出す単位画像を指定するための指定手段をさらに備えること
を特徴とする請求項４記載の動画像生成装置。
【請求項７】
上記撮像手段によるパノラマ画像の撮像に応じて音声信号を受信する音声信号受信手段をさらに備え、
上記記録手段は、上記音声信号受信手段が受信した音声信号を上記サーバへ記録し、
上記動画像生成手段は、単位画像を切り出したパノラマ画像に応じて上記サーバからさらに音声信号を読み出し、これを生成する動画像に付加すること
を特徴とする請求項１記載の動画像生成装置。
【請求項８】
撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成し、
上記生成したパノラマ画像をサーバへ記録し、
上記サーバに記録したパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成すること
を特徴とする動画像生成方法。
【請求項９】
上記パノラマ画像から切り出す単位画像を指定し、
指定した単位画像と互いに同一の撮影方向上にある単位画像を、上記サーバに記録されている各パノラマ画像から切り出すこと
を特徴とする請求項８記載の動画像生成方法。
【請求項１０】
単位画像を切り出したパノラマ画像と、当該パノラマ画像より後に撮像された他のパノラマ画像との間で輝度レベルを比較し、その比較した結果に応じて上記他のパノラマ画像から単位画像を切り出すこと
を特徴とする請求項８記載の動画像生成方法。
【請求項１１】
単位画像を切り出したパノラマ画像と、上記他のパノラマ画像との間で輝度レベルの差分値を演算し、上記演算した差分値に基づき、上記他のパノラマ画像から単位画像を切り出すこと
を特徴とする請求項１０記載の動画像生成方法。
【請求項１２】
上記パノラマ画像から切り出す単位画像を指定すること
を特徴とする請求項１０記載の動画像生成方法。
【請求項１３】
上記パノラマ画像の撮像に応じて音声信号を受信し、
上記受信した音声信号を上記サーバへ記録し、
単位画像を切り出したパノラマ画像に応じて上記サーバからさらに音声信号を読み出し、これを生成する動画像に付加すること
を特徴とする請求項８記載の動画像生成方法。
【請求項１４】
撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成する撮像装置と、
上記生成されたパノラマ画像を記録するためのサーバと、
上記サーバに記録されているパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成する電子機器と、
上記電子機器から通信網を介して受信した上記動画像を再生するための端末装置とを備えること
を特徴とする動画像送信システム。
【請求項１５】
上記端末装置は、複数設けられてなること
を特徴とする請求項１４記載の動画像送信システム。
【請求項１６】
撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成し、
上記生成したパノラマ画像をサーバへ記録し、
上記サーバに記録したパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成することをコンピュータに実行させるためのプログラム。
【請求項１７】
上記パノラマ画像から切り出す単位画像を指定し、
指定した単位画像と互いに同一の撮影方向上にある単位画像を、上記サーバに記録されている各パノラマ画像から切り出すことをコンピュータに実行させる請求項１６記載のプログラム。
【請求項１８】
単位画像を切り出したパノラマ画像と、当該パノラマ画像より後に撮像された他のパノラマ画像との間で輝度レベルを比較し、その比較した結果に応じて上記他のパノラマ画像から単位画像を切り出すことをコンピュータに実行させる請求項１６記載のプログラム。
【請求項１９】
単位画像を切り出したパノラマ画像と、上記他のパノラマ画像との間で輝度レベルの差分値を演算し、上記演算した差分値に基づき、上記他のパノラマ画像から単位画像を切り出すことをコンピュータに実行させる請求項１８記載のプログラム。
【請求項２０】
上記パノラマ画像の撮像に応じて音声信号を受信し、
上記受信した音声信号を上記サーバへ記録し、
単位画像を切り出したパノラマ画像に応じて上記サーバからさらに音声信号を読み出し、これを生成する動画像に付加することをコンピュータに実行させる請求項１６記載のプログラム。
【請求項２１】
撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成し、
上記生成したパノラマ画像をサーバへ記録し、
上記サーバに記録したパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成することをコンピュータに実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項２２】
上記パノラマ画像から切り出す単位画像を指定し、
指定した単位画像と互いに同一の撮影方向上にある単位画像を、上記サーバに記録されている各パノラマ画像から切り出すことをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な請求項２１記載の記録媒体。
【請求項２３】
単位画像を切り出したパノラマ画像と、当該パノラマ画像より後に撮像された他のパノラマ画像との間で輝度レベルを比較し、その比較した結果に応じて上記他のパノラマ画像から単位画像を切り出すことをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な請求項２１記載の記録媒体。
【請求項２４】
単位画像を切り出したパノラマ画像と、上記他のパノラマ画像との間で輝度レベルの差分値を演算し、上記演算した差分値に基づき、上記他のパノラマ画像から単位画像を切り出すことをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な請求項２３記載の記録媒体。
【請求項２５】
上記パノラマ画像の撮像に応じて音声信号を受信し、
上記受信した音声信号を上記サーバへ記録し、
単位画像を切り出したパノラマ画像に応じて上記サーバからさらに音声信号を読み出し、これを生成する動画像に付加することをコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な請求項２１記載の記録媒体。
【請求項２６】
さらに上記生成したパノラマ画像及び／又は動画像を記録したコンピュータ読み取り可能な請求項２１記載の記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、撮像したパノラマ画像毎に一の単位画像を切り出して、これに基づく動画を生成する動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体に関する。
【０００２】
【従来の技術】
従来より、ＣＣＤカメラとビデオテープレコーダを組み合わせたいわゆるビデオカメラが、監視用に広く用いられている。このビデオカメラでは、撮像時にＣＣＤカメラで受像された映像信号を磁気テープ等の記録メディアに記録しておく。そして、この記録した映像信号を、内蔵の電子ビューファインダや外部のモニタ装置に表示することにより、ユーザによる所望の観測を実現することができる。
【０００３】
このようなビデオカメラにおいて、所望の被写体を連続して撮像する場合には、ビデオカメラの撮影方向を、当該被写体の位置変化に対して常に追従させる必要がある。通常、この撮影方向を手動で制御する場合に、いわゆる手振れ等に基づくビデオカメラの振動が映像に現れてしまう。このため、かかる手振れに基づく映像の振動を抑制して、所望の被写体を確実に自動追尾することができるビデオカメラが従来において提案されている（例えば、特許文献１参照。）。
【０００４】
このビデオカメラ２００は、例えば図１１に示すように、画像領域２０４内の移動被写体２０２を表す撮像信号を形成するイメージセンサ２１０を有している。このイメージセンサ２１０により形成された撮像信号は、画像動きベクトル検出器２１４に供給される。画像動きベクトル検出器２１４は、供給された撮像信号に基づき、画像領域２０４内の被写体２０２の動きを表す画像動きベクトルを出力２１６にて検出する。カメラ位置サーボ回路２２０には、エラー信号としての画像動きベクトルが出力端子２１６から供給され、この画像動きベクトルに応じて被写体２０２をトラッキングするようにイメージセンサ２１０の位置を調整する。
【０００５】
さらに従来では、かかる動きベクトルの検出につき、仮に画像が特定の動きをみせるような状況においても、的確に実現することができる画像情報配信システム等も提案されている（例えば、特許文献２参照。）。
【０００６】
【特許文献１】
特開平６−２１７１８８号公報
【特許文献２】
特開平１１−３３１８１７号公報
【０００７】
【発明が解決しようとする課題】
しかしながら、撮像したパノラマ画像について、単独のユーザのみならず複数のユーザがネットワークを介して同時に視認できるシステムが昨今において望まれている。特に百貨店等の商品売り場や立ち入り禁止区域等のような広範囲の状況については、複数のユーザが同時に管理する必要があり、特に事件発生後において、既に蓄積してあるパノラマ画像につき各人が事後的な確認を望む場合もある。
【０００８】
しかしながら、上記従来のビデオカメラ２００等は、自動追尾された被写体を、あくまでユーザが単独で撮像してこれを観測する際に好適なものであるため、複数のユーザによる動画像の同時取得や、撮影内容の事後的な確認が困難であった。
【０００９】
また、撮影する被写体に合わせて撮影方向を調整するユーザの労力を軽減する必要もあり、さらには、一般的な画像フォーマットで動画を抽出できるようにすることで、撮影内容の事後的な確認を容易に実行できるようにする必要もあった。
【００１０】
そこで、本発明は上述した問題点に鑑みて案出されたものであり、その目的とするところは、撮影した画像から所望の被写体の動画像を容易に取得することができ、また複数のユーザが生成した動画像を同時に取得することができる動画像生成装置及び方法、動画像送信システム、プログラム並びに記録媒体を提供することにある。
【００１１】
【課題を解決するための手段】
本発明を適用した動画像生成装置は、上述した課題を解決するために、撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成する撮像手段と、生成されたパノラマ画像をサーバへ記録する記録手段と、サーバに記録されているパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成する動画生成手段とを備える。
【００１２】
また、本発明を適用した動画像生成方法は、上述した課題を解決するために、撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成し、生成したパノラマ画像をサーバへ記録し、サーバに記録したパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成する。
【００１３】
また、本発明を適用した動画像送信システムは、上述した課題を解決するために、撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成する撮像装置と、生成されたパノラマ画像を記録するためのサーバと、サーバに記録されているパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成する電子機器と、電子機器から通信網を介して受信した動画像を再生するための端末装置とを備える。
【００１４】
また、本発明を適用したプログラムは、上述した課題を解決するために、撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成し、生成したパノラマ画像をサーバへ記録し、サーバに記録したパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成することをコンピュータに実行させる。
【００１５】
また、本発明を適用した記録媒体は、上述した課題を解決するために、撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなるパノラマ画像を順次生成し、生成したパノラマ画像をサーバへ記録し、サーバに記録したパノラマ画像毎に一の単位画像を切り出し、切り出した単位画像に基づき動画像を生成することをコンピュータに実行させるためのプログラムを記録する。
【００１６】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照しながら詳細に説明する。本発明を適用した動画像生成システム１は、例えば図１に示すように、被写体を撮像して画像信号を生成するカメラユニット２と、音声信号を受信するマイク１２と、カメラユニット２より伝送された画像信号に所定の処理を施す画像入出力部１３と、マイク１２より伝送された音声信号に所定の処理を施す音声入出力部１４と、少なくとも画像入出力部１３及び音声入出力部１４に接続され、上記画像信号に基づく動画像を生成する演算処理部１５と、演算処理部１５に接続され、上記画像信号を記録するサーバ５３と、ユーザが本システム１を制御するための操作部１６と、演算処理部１５に接続され、上記ユーザに生成した動画像や各種情報を表示するためのディスプレイ６と、他のユーザがアプリケーションを実行するための端末装置９と、端末装置９に接続される端末ディスプレイ１０と、端末装置９に対して各種情報を送受信するためのネットワーク８とを備えている。
【００１７】
カメラユニット２は、パンチルタ部３と、カメラ部４とが一体的に構成されてなる。パンチルタ部３は、例えばパン、チルトの２軸につき撮影方向を自在に変更するための回転台として構成される。
【００１８】
カメラ部４は、パンチルタ部３を構成する回転台上に配設され、演算処理部１５等による制御に応じて、撮影方向を水平方向或いは垂直方向に調整しつつ、被写体を撮像する。またこのカメラ部４は、演算処理部１５等による制御に応じて、撮影画角を順次変更することにより、撮影倍率を拡大又は縮小して、被写体を撮像する。
【００１９】
画像入出力部１３、音声入出力部１４、演算処理部１５、サーバ並びに操作部１６は、例えばパーソナルコンピュータ（ＰＣ）等の電子機器１００により一体化して構成してもよい。この電子機器１００によれば、カメラユニット２から伝送される画像信号を記録し、また記録した画像信号につきディスプレイ６を介してユーザに表示する。またこの電子機器１００は、ユーザから所望の画像領域又は画像位置が指定された場合には、記録した画像信号の中から最適なものを選択してこれをディスプレイ６に表示するように制御する。この電子機器１００は、このネットワーク８全体を制御するためのいわゆる中央制御装置としての役割も担い、他の端末装置９からの要求に応じて、画像や音声を送信する。
【００２０】
ネットワーク８は、例えば電子機器１００と電話回線を介して接続されるインターネット網を始め、ＴＡ／モデムと接続されるＩＳＤＮ（Ｉｎｔｅｇｒａｔｅｄ  Ｓｅｒｖｉｃｅｓ  Ｄｉｇｉｔａｌ  Ｎｅｔｗｏｒｋ）／Ｂ（ｂｒｏａｄｂａｎｄ）−ＩＳＤＮ等のように、情報の双方向送受信を可能とした公衆通信網である。ちなみにこの動画像生成システム１を、一定の狭いエリア内で運用する場合には、このネットワーク８を、ＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）で構成してもよい。さらにこのネットワーク８は、静止画像に加えて動画像をも送信できるようにしてもよい。かかる場合には、インターネットプロトコル（ＩＰ）に基づき、例えばＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）データを始めとする動画像がある一つのチャネルから継続的に送信され、静止画像データは別のチャネルから一定時間毎に送信されることになる。なお、このネットワーク８には、さらに図示しないネットワークサーバを接続してもよい。この図示しないネットワークサーバは、例えばインターネット情報を管理し、端末装置９による要求を受けて、自身に格納してある所定の情報を送信する。
【００２１】
端末装置９は、各家庭や企業等に待機するユーザがネットワーク８を介して電子機器１００から画像を取得し、所望の処理を実行するためのＰＣである。複数の端末装置９をネットワーク８に接続することにより、複数のユーザに対してこの動画像生成システム１のアプリケーションを同時に提供することが可能となる。この端末装置９は、電子機器１００から取得した画像を、端末ディスプレイ１０に対して表示する。またこの端末装置９は、ユーザによる指定操作に応じて要求信号を生成し、これを電子機器１００に対して送信する。なお端末装置９のブロック構成については、後述する電子機器１００の構成を引用し、説明を省略する。
【００２２】
次に、本発明を適用した動画像生成システム１におけるカメラユニット２，電子機器１００の構成について詳細に説明する。
【００２３】
図２は、カメラユニット２，電子機器１００の構成図である。この図２では、共通のコントローラバス２１に対して、カメラユニット２並びに電子機器１００の各構成要素が接続されている。
【００２４】
カメラユニット２を構成するパンチルタ部３は、撮像方向を変更するための回転台を制御するＴｉｌｔ部３ａ、Ｐａｎ部３ｂとを有する。また、カメラユニット２を構成するカメラ部４は、主としてレンズ部２２の画角を変更するためのレンズ制御部２３と、レンズ部２２の光軸に直交する位置に配設される撮像部２４と、撮像部２４により生成された画像信号を画像入出力部１３へ送信するためのＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ  ｏｆ  Ｅｌｅｃｔｒｉｃａｌ  ａｎｄ  Ｅｌｅｃｔｒｏｎｉｃｓ  Ｅｎｇｉｎｅｅｒｓ）１３９４インターフェース２５と、カメラユニット２の現在位置を検出するためのＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）受信部２８と、ＧＰＳ受信部２８に装着されるメタデータ生成部２９とを備えている。ちなみに、ＩＥＥＥ１３９４インターフェース２５は、イーサネット（登録商標）に代替してもよい。
【００２５】
また画像入出力部１３は、ＩＥＥＥ１３９４インターフェース２５に接続されるバッファメモリ５１と、バッファメモリ５１に接続されるエンコーダ５２とを備えている。
【００２６】
また演算処理部１５は、サーバ５３から読み出された画像を圧縮するための画像圧縮部５４と、サーバ５３及び画像圧縮部５４に接続され、ディスプレイ６上に表示する画像を作り出すグラフィックコントローラ５５と、コントローラバス２１を介して各部を制御するためのＣＰＵ５６と、Ｉ／Ｏポート５８にそれぞれ接続されるメモリカード６１並びに時計６２とを備えている。
【００２７】
また操作部１６は、ディスプレイ６上に表示されている画像からユーザが所望の画像領域、画像位置を指定するためのキーボード５９並びにマウス６０を備えている。
【００２８】
Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂは、ＣＰＵ５６からの駆動信号に基づき、回転台の駆動源として構成されているステッピングモータを回転させる。これにより回転台上に載置されてなるカメラ部４の撮影方向を水平方向、或いは垂直方向に変更することができる。
【００２９】
レンズ制御部２３は、ＣＰＵ５６からの駆動信号に基づき、レンズ部２２に対して自動絞り制御動作や自動焦点制御動作を実行する。またこのレンズ制御部２３は、かかる駆動信号に基づき、被写体に対する撮影画角を変更する。これにより、カメラ部４は、撮影倍率を順次調整して被写体を撮像することも可能となる。
【００３０】
撮像部２４は、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅ  ）等の固体撮像素子により構成され、レンズ部２２を介して入射される被写体像を撮像面上に結像させ、光電変換により画像信号を生成し、これをＩＥＥＥ１３９４インターフェース２５へ送信する。
【００３１】
ＧＰＳ受信部２８は、ＧＰＳシステムにより送出される信号に基づき、カメラユニット２の設置場所や撮影方向を検出する。このＧＰＳ受信部２８を設けることにより、特に複数のカメラユニット２を設置する場合において、双方の撮影方向を連動して制御することが可能となる。ＧＰＳ受信部２８からの出力信号は、メタデータ生成部２９に供給され、ＧＰＳによる測位結果に基づく、緯度、経度、方位、高度等の位置情報、並びに時刻や各種パラメータ等からなるメタデータが生成される。メタデータ生成部２９は、この生成した位置情報やメタデータをエンコーダ５２へ供給する。なお本発明では、このＧＰＳ受信部２８、メタデータ生成部２９の構成を省略してもよい。
【００３２】
バッファメモリ５１は、ＣＰＵ５６からの制御信号に基づき、ＩＥＥＥ１３９４インターフェース２５から供給される画像信号を一時的に格納する。このバッファメモリ５１において一時的に格納された画像信号は、エンコーダ５２に供給され、例えばＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）等の規格に基づいて圧縮符号化される。ちなみに、このエンコーダ５２は、圧縮符号化する画像信号に対して、メタデータ生成部２９から供給される位置情報やメタデータを付加してもよい。エンコーダ５２は、圧縮符号化した画像信号をサーバ５３或いは画像圧縮部５４へ出力する。なお供給される画像信号につき、圧縮符号化を行わない場合には、このエンコーダ５２における処理は省略される。
【００３３】
サーバ５３は、エンコーダ５２から出力される画像信号を位置情報やメタデータと関連付けて順次記録する。ちなみに、このサーバ５３は、例えばハードディスクや、着脱自在なディスク状記録媒体に代替してもよい。サーバ５３に記録された画像信号は、ＣＰＵ５６による制御に基づき、画像圧縮部５４やグラフィックコントローラ５５へ読み出される。なおサーバ５３に記録される画像信号をメモリカード６１へ記録するように制御することにより、ユーザは、かかる撮像した画像を他のＰＣへ移し換えることも可能となる。また、このサーバ５３に記録されている画像信号を上述した図示しないネットワークサーバに記録するように制御することにより、サーバ５３を図示しないネットワークサーバに代替することも可能となる。
【００３４】
画像圧縮部５４は、サーバ５３から読み出したＪＰＥＧ形式の画像信号につき、それぞれ圧縮画像又はサムネイル画像を生成する。また、この画像圧縮部５４は、ＣＰＵ５６による制御に従い、サーバ５３に記録されている画像を読み出して、動画像を生成する。ちなみにこの動画像を生成する際の圧縮方法としては、例えばＭＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ、Ｍｏｔｉｏｎ−ＪＰＥＧ２０００等に基づき実行してもよい。グラフィックコントローラ５５は、サーバ５３から読み出した画像信号、又は画像圧縮部５４から出力される画像信号に基づき、ディスプレイ６への絵画処理を実行する。また、このグラフィックコントローラ５５は、ＣＰＵ５６による制御に基づき、ディスプレイ６におけるコントラスト、輝度の制御を実行する。
【００３５】
ＣＰＵ５６は、ユーザによりキーボード５９やマウス６０を介して画像領域、画像位置が指定された場合に、パンチルタ部３やレンズ制御部２３を駆動するための駆動信号や、電子機器１００内の各部を制御するための制御信号を、コントローラバス２１を介して送信する。また、このＣＰＵ５６は、端末装置９から所定の要求信号を受けて、サーバ５３に記録されている最適な静止画像、動画像、或いは各種情報を選択し、これを当該端末装置９へ送信するように制御する。
【００３６】
音声入出力部１２は、マイク１２から入力された音声信号を符号化する。この音声入出力部１２により符号化された音声信号についても、上述の如く画像信号と同様にサーバ５３へ供給され、記録されることになる。
【００３７】
次に本発明を適用した動画像生成システム１における撮像動作について説明をする。
【００３８】
図３は、カメラユニット２により、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について示している。撮影範囲を撮影画角ｕで全て撮像するためには、撮影方向を水平方向又は垂直方向へ順にシフトさせて撮像する必要がある。仮に撮影範囲のサイズが、任意の撮影画角ｕで撮像することにより得られるフレーム（以下、単位画像という。）のサイズのｉ×ｊ倍で表せるときには、少なくともｉ×ｊ通りの撮影方向を設定する必要がある。この撮影画角ｕで撮像したｉ×ｊ個の単位画像を貼り合わせることにより撮影範囲全体を表した全体画像を合成することができる。
【００３９】
ここで、撮影範囲の各単位画像の座標（Ｍ，Ｎ）を、水平方向につき、左端から順に１、２、・・Ｍ・、ｉとし、垂直方向につき上端から順に１、２、・・Ｎ・、ｊとしたとき、ＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、先ず左上に位置する座標（１，１）に合わせて撮像を実行させる。この座標（１，１）について撮像することにより生成された単位画像に基づく画像信号は、バッファメモリ５１に一時的に格納され、エンコーダ５２において、ＪＰＥＧ規格に基づいて圧縮符号化される。そしてこの画像信号は、ＧＰＳ２８から送信される撮影方向等を示す位置情報やメタデータが同時に付加され、サーバ５３に記録される。
【００４０】
同様にＣＰＵ５６は、Ｔｉｌｔ部３ａ並びにＰａｎ部３ｂに対して駆動信号を送信することにより、カメラ部４の撮影方向を、右側に１画枠分シフトさせて座標（２，１）に合わせて撮像を実行する。この座標（２，１）について撮像することにより生成された画像信号も同様にサーバ５３へ記録される。ＣＰＵ５６による制御に基づき、カメラ部４は、撮影方向を座標（３，１）、（４，１）・・（ｉ，１）と水平方向へ順次変更させて撮像を実行する。
【００４１】
カメラ部４は、１列目の撮像を終了させた後、ＣＰＵ５６による制御に基づき、撮影方向を２列目の座標（１，２）に調整して撮像を実行し、その後、水平方向へ順次シフトさせながら撮像を実行する。かかる動作を繰り返して座標（ｉ，ｊ）まで撮像を終了させた時、サーバ５３は、座標毎に撮像したｉ×ｊ個の単位画像に基づく画像信号が記録されている状態になる。図４は、上述した撮像動作を所定の間隔で実行することにより、サーバ５３に順次記録される全体画像の例を示している。すなわち、サーバ５３は、このような、撮影範囲におけるわずかな状況変化を各時刻（ｔ１、ｔ２、ｔ３、ｔ４、・・・）につき表示した全体画像が順次記録されることになる。
【００４２】
ちなみに、このサーバ５３に記録されている各単位画像に基づく画像信号は、画像圧縮部５４により順次読み出されて、ディスプレイ６の表示画面のサイズに適合するように縮小される。この縮小された各単位画像は、グラフィックコントローラ１５を経てディスプレイ６に表示される。サーバ５３に記録されたｉ×ｊ個の単位画像を全てディスプレイ６に表示させることにより、１枚の全体画像が合成されることになる。上述の撮像動作を一定の間隔で実行することにより、撮影範囲の最新の状況を示す全体画像を取得することが可能となる。
【００４３】
図５は、撮像したｉ×ｊ個の単位画像を貼り合わせることにより合成した全体画像を、ディスプレイ６の全体画像表示部７０に表示する例を示している。なお、この電子機器１００は、全体画像表示部７０に対して、全体画像を構成する各単位画像間の境界を表示させてもよいし、シームレスな全体画像のみを表示させてもよい。また電子機器１００は、パノラマ状の全体画像（パノラマ画像）の代替として、撮影範囲全体を捉えることができる撮影画角で撮影した１枚の全体画像を、この全体画像表示部７０に表示させてもよい。
【００４４】
ちなみに表示画面４５には、単位画像を拡大した拡大画像を表示するための拡大画像表示部７１がさらに設けられている。この拡大画像表示部７１は、全体画像表示部７０に表示される全体画像を構成する単位画像のうち、ユーザにより指定された一の単位画像を拡大して表示してもよいし、またかかる一の単位画像の撮影方向につき、動画を順次表示してもよい。これによりユーザは、指定した単位画像における撮影方向の状況につき、リアルタイムに確認することもできる。さらにこの拡大画像表示部７１には、後述する方法により生成した動画を表示してもよい。
【００４５】
また表示画面４５には、拡大画像表示部７１に表示されている単位画像につき、撮影倍率を縮小して表示させるためのＷＩＤＥボタン７２、撮影倍率を拡大して表示させるためのＺＯＯＭボタン７３が表示される。また、この表示画面４５には、カメラ部４の撮影方向を水平、垂直方向において調整するための撮影方向制御部７５、各種モードの設定やサーバに対して所望のアドレスに単位画像に基づく画像信号を記録させるための設定ボタン７６等も表示される。
【００４６】
また、ユーザは、全体画像表示部７０や拡大画像表示部７１に対して、キーボード５９やマウス６０を用いて、所望の画像領域、画像位置を指定することができる。なお、各表示部７０，７１には、マウス６０等の動きに連動させて上述の指定操作を実行するための照準線やポインタをさらに表示させてもよい。
【００４７】
次に本発明を適用した動画像生成システム１による動画像の生成方法につき説明をする。
【００４８】
図６は、同一の撮影方向上にある単位画像に基づき動画像を生成する手順を示すフローチャートである。
【００４９】
先ずステップＳ１１において、ユーザは、全体画像表示部７０に表示されている全体画像から、一の単位画像をマウス６０等を用いて指定する。次に、ステップＳ１２へ移行し、ＣＰＵ５６は、この指定された単位画像の座標（Ｍ，Ｎ）、すなわち、指定された単位画像の撮影方向を識別する。
【００５０】
次にステップＳ１３へ移行し、ＣＰＵ５６は、ある時刻ｔ１において撮像した全体画像から、識別した撮影方向上にある単位画像を、サーバ５３から読み出す。ＣＰＵ５６は、この読み出した単位画像を図示しないバッファ等に一時的に記憶しておく。
【００５１】
次にステップＳ１４へ移行し、ＣＰＵ５６は、次の時刻の全体画像に着目する。仮に図４の如く全体画像が、時刻ｔ１、ｔ２、・・の順にサーバ５３へ記録されている場合には、ＣＰＵ５６は、時刻ｔ２における全体画像に着目することになる。
【００５２】
なお、先のステップＳ１３において読み出した単位画像の時刻ｔが最後の時刻である場合には、ステップＳ１５へ移行し、それ以外の場合には、ステップＳ１２に移行する。この最後の時刻とは、生成する動画像のうち最後のフレームを構成する単位画像の時刻である。
【００５３】
ステップＳ１２に再び移行した場合には、識別した上記撮影方向と同一撮影方向にある単位画像をステップＳ１３にて読み出して、順次図示しないバッファに記憶していくことになる。これを繰り返し実行することにより、図示しないバッファは、同一撮影方向上の単位画像が順次格納されている状態となる。
【００５４】
図７は、時刻ｔ１から時刻ｔ４に至るまで、サーバ５３から読み出した同一の撮影方向にある単位画像を示している。この図７は、ステップＳ１１において、ユーザにより指定された撮影方向は、全体画像に表示されている”教会の入口付近”であり、かかる撮影方向につき、時刻ｔ４に至るまで順次単位画像を読み出した場合につき示すものである。時刻が経過していくにつれて、移動被写体（鳩）がカメラ部４に接近する結果、徐々に大きく表示されていくことがわかる。
【００５５】
ステップＳ１５へ移行した場合に、ＣＰＵ５６は、図示しないバッファに格納した単位画像を先の時刻から順に抽出し、これを連続させた動画を作成する。ちなみに、図７に示す例では、移動被写体が徐々に接近してくる動画像が作成されることになる。
【００５６】
次にステップＳ１６へ移行し、作成した動画を例えばサーバ５３等に保存しておく。この作成した動画を全体画像や単位画像等の静止画と別ファイルで保存することにより、動画ファイルのみネットワーク８を介して他の端末装置９へ送信することができ、また記録媒体に保存してこれを多数の顧客に配布することも可能となる。
【００５７】
また、電子機器１００内において、予め再生ツールをインストールしておくことにより、このステップＳ１６において保存した動画ファイルをこの電子機器１００により再生するようにしてもよい。
【００５８】
次に、全体画像内を移動する被写体に追従して動画を生成する手順につき図８を用いて説明をする。
【００５９】
先ず、ステップＳ２１において、ユーザは、動画の作成を望む移動被写体を全体画像表示部７０に表示されている全体画像の中から選択をする。例えば図９に示すように、左から右へ移動していく移動被写体を選択する場合には、マウス６０等を用いて、かかる移動被写体が表示されている画像領域を指定する。以下、このステップＳ２１において指定された画像領域を差異検出枠という。ちなみに、このステップＳ２１では、ユーザのみならず、ＣＰＵ５６自らが移動被写体を選択するようにしてもよい。
【００６０】
次にステップＳ２２へ移行し、ＣＰＵ５６は、この指定された画像領域を含む単位画像の座標、すなわち指定された画像領域を含む単位画像の撮影方向を識別する。
【００６１】
次にステップＳ２３へ移行し、ＣＰＵ５６は、ある時刻ｔ１において撮像した全体画像から、識別した撮影方向上にある単位画像を、サーバ５３から読み出す。ＣＰＵ５６は、この読み出した単位画像を図示しないバッファ等に一時的に記憶しておく。
【００６２】
次にステップＳ２４へ移行し、ＣＰＵ５６は、次の時刻の全体画像に着目する。仮に図４の如く全体画像が、時刻ｔ１、ｔ２、・・の順にサーバ５３へ記録されている場合には、ＣＰＵ５６は、時刻ｔ２における全体画像に着目することになる。
【００６３】
次にステップＳ２５へ移行し、ＣＰＵ５６は、先の時刻ｔ１における差異検出枠における画素の輝度レベルと、次の時刻ｔ２における全体画像の輝度レベルを比較する。このとき、差異検出枠における画素の輝度レベルの代替として、かかる差異検出枠を含む単位画像内にある画素の輝度レベルを比較対象としてもよい。その結果、次の時刻ｔ２における全体画像の輝度レベルにつき、差異検出枠内の輝度レベルに基づく変化が生じた場合には、ステップＳ２６へ移行し、それ以外の場合はステップＳ２８へ移行する。ちなみに、この輝度レベルが変化したか否かの閾値は、被写体や撮影範囲の状況に応じて、ユーザが自由に設定してもよく、またＣＰＵ５６が自動的に設定してもよい。
【００６４】
図９は、次の時刻ｔ２における全体画像の輝度レベルにつき変化が生じた場合について示す図である。この図９に示すように、時刻ｔ１において、座標（４、２）に表示されていた移動被写体が、時刻ｔ２において座標（５、２）へ移動した場合には、座標（４，２）の単位画像と、座標（５，２）の単位画像につき、輝度レベルが変化することになる。
【００６５】
ステップＳ２６に移行した場合に、ＣＰＵ５６は、次の時刻ｔ２における全体画像から、ステップＳ２５の輝度レベルの比較において、差異が検出された単位画像を識別する。ちなみに、この輝度レベルの差異は、差異検出枠内の輝度レベルに、換言すれば移動被写体の画像に相当する輝度レベルに基づくものであるため、かかる差異が検出された単位画像は、時刻ｔ２において移動被写体が新たに表示される結果、輝度レベルの変化が生じた画像である。このため、ＣＰＵ５６は、図９に示す例では、座標（５，２）の単位画像を識別することになり、また当該単位画像を取得することにより、常に移動被写体が表示されている画像を得ることが可能となる。
【００６６】
次にステップＳ２７において、ＣＰＵ５６は、時刻ｔ２における全体画像からステップＳ２６において識別した単位画像の撮影方向を識別する。
【００６７】
ステップＳ２８において、ＣＰＵ５６は、時刻ｔ２において撮像した全体画像から、識別した撮影方向上にある単位画像を、サーバ５３から読み出し、これを図示しないバッファに蓄積する。ちなみに、ステップＳ２６，Ｓ２７を経ずに、ステップＳ２５から直接的に本ステップＳ２８へ移行した場合には、ＣＰＵ５６により識別されている単位画像の撮影方向は、ステップＳ２２において識別された撮影方向と同等である。このため、時刻ｔ２においても、時刻ｔ１と同一の撮影方向上に位置する単位画像を読み出すことになる。
【００６８】
なお、先のステップＳ２３において読み出した単位画像の時刻ｔが最後の時刻である場合には、ステップＳ２９へ移行し、それ以外の場合には、ステップＳ２４に移行する。
【００６９】
ステップＳ２４に再び移行した場合には、次の時刻の全体画像との間で、同様に輝度レベルを比較することにより、単位画像の撮影方向を識別していくことになる。そして、識別した上記撮影方向と同一撮影方向にある単位画像をステップＳ２８にて読み出して、順次図示しないバッファに記憶していくことになる。これを繰り返し実行することにより、図示しないバッファは、移動被写体が表示されている単位画像が順次格納されている状態となる。
【００７０】
図１０は、時刻ｔ１から時刻ｔ４に至るまで、サーバ５３から読み出した単位画像を示している。時刻が経過していくにつれて左から右へ移動する移動被写体に追従して単位画像を取得することができる。すなわち、輝度レベルの差異を検出することにより、移動被写体を自動的に追尾して単位画像を取得することができるため、あたかも、ユーザが手動でハンディカメラ等を操作して撮像したかのような映像を得ることができる。
【００７１】
ステップＳ２９へ移行した場合に、ＣＰＵ５６は、図示しないバッファに格納した単位画像を先の時刻から順に抽出し、これを連続させた動画を作成する。ちなみに、図１０に示す例では、移動被写体の動きに着目した動画像が生成されることになる。
【００７２】
次にステップＳ３０へ移行し、作成した動画を例えばサーバ５３等に保存しておく。この作成した動画を全体画像や単位画像等の静止画と別ファイルで保存することにより、動画ファイルのみネットワーク８を介して他の端末装置９へ送信することができ、或いはディスク状記録媒体に保存してこれを多数の顧客に配布することも可能となる。また、電子機器１００内において、予め再生ツールをインストールしておくことにより、保存した動画ファイルを再生するようにしてもよい。
【００７３】
なお、上述したフローでは、ＣＰＵ５６は、サーバ５３読み出した単位画像を図示しないバッファに格納する例を示したが、かかる場合に限定されるものではなく、例えば、サーバ５３から単位画像を読み出す代わりに、読み出すべき単位画像の座標ないしは撮影方向を記憶しておき、動画像作成時にこの記憶した座標等から単位画像を読み出すようにしてもよい。また、図示しないバッファの代替として、サーバ５３を用いてもよい。
【００７４】
また、輝度レベルの比較方法は、他のいかなる方法を適用してもよく、例えば差異検出枠につきブロックマッチングを用いて、ブロック毎に輝度レベルを比較するようにしてもよい。また輝度レベルを比較する場合に限定されるものではなく、Ｒ，Ｇ，Ｂの各原色成分を比較するようにしてもよい。
【００７５】
以上詳細に説明したように、本発明を適用した動画像生成システム１では、撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を順次生成し、生成した全体画像をサーバ５３へ記録し、またサーバ５３に記録した全体画像毎にユーザに指定された単位画像と同一の撮影方向上にある単位画像、或いは比較した輝度レベルに応じて識別した撮影方向上にある単位画像を切り出し、切り出した単位画像に基づき動画像を生成する。
【００７６】
これにより、本発明では、撮影した画像から所望の被写体の動画像を自動的に取得することができ、ユーザによる撮影内容の事後的な解析も容易となる。
【００７７】
なお、本発明は上述した実施の形態に限定されるものではない。例えば上述した動作をコンピュータに実行させるプログラムとして構成してもよい。またかかるプログラムを記録したコンピュータ読み取り可能な記録媒体として構成してもよい。この記録媒体は、大容量型光ディスクのひとつであるＤＶＤ（Ｄｉｇｉｔａｌ  Ｖｅｒｓａｔｉｌｅ  Ｄｉｓｃ）において、データの記録が可能なＤＶＤ−Ｒ（ＤＶＤ−Ｒｅｃｏｒｄａｂｌｅ）や、記録したデータの書き換えが可能なＤＶＤ−ＲＷ（ＤＶＤ−Ｒｅｗｒｉｔａｂｌｅ）及びＤＶＤ−ＲＡＭ（ＤＶＤ−Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）等、或いはＣＤ（Ｃｏｍｐａｃｔ  Ｄｉｓｋ）において、ＣＤ−Ｒ（ＣＤ−Ｒｅｃｏｒｄａｂｌｅ）やＣＤ−ＲＷ（ＣＤ−Ｒｅｗｒｉｔａｂｌｅ）等、さらにはリムーバブルメモリ等に適用してもよい。ちなみに、記録媒体には、上述のプログラムのみならず、サーバ５３に記録される全体画像や単位画像、及び／又は、本システム１において生成した動画像ファイルを記録してもよい。この記録媒体を取得した他のユーザは、自己のＰＣ等を用いて、上記プログラムを実行することができ、また記録されている動画像を閲覧することもできる。
【００７８】
なお、本発明を適用した動画像生成システム１は、電子機器１００と同様の構成からなる端末装置９をネットワーク８に接続することにより、端末装置９に対して動画像を送信する動画像送信システムに適用してもよい。これにより、端末装置９を操作するユーザ自身も動画像を取得することができる。全体画像は、一度サーバ５３に記録されているため、複数の端末装置９をネットワーク８に接続することにより、複数のユーザが事後的に上述の処理を実行することも可能となる。かかる場合において、撮像した各全体画像をネットワーク８に接続されている図示しないネットワークサーバへ順次記録しておくことにより、端末装置９自身がかかる図示しないネットワークサーバへアクセスして各単位画像を読み出して動画像を生成するようにしてもよい。これにより、複数の端末装置９から同時にアクセスを受けた電子機器１００につき負担を軽減させることができる。
【００７９】
【発明の効果】
以上詳細に説明したように、本発明では、撮影方向を変化させて撮影範囲を撮像することにより、複数の単位画像からなる全体画像を順次生成し、生成した全体画像をサーバへ記録し、またサーバに記録した全体画像毎にユーザに指定された単位画像と同一の撮影方向上にある単位画像、或いは比較した輝度レベルに応じて識別した撮影方向上にある単位画像を切り出し、切り出した単位画像に基づき動画像を生成する。
【００８０】
これにより本発明では、撮影した画像から所望の被写体の動画像を自動的に取得することができるためユーザの労力負担を軽減させることができ、また撮影内容の事後的な解析も容易に行うことができる。また通信網に複数の端末装置を接続することにより、複数のユーザによる動画像の同時取得も可能となる。
【図面の簡単な説明】
【図１】本発明を適用した動画像生成システムの構成を示す図である。
【図２】カメラユニット，電子機器のブロック構成図である。
【図３】カメラユニットにより、黒枠で示される撮影範囲内を撮影画角ｕで撮像する場合について説明するための図である。
【図４】撮像動作を所定の間隔で実行することにより、サーバに順次記録された全体画像の例を示す図である。
【図５】ディスプレイ上の表示画面の構成例を示す図である。
【図６】同一の撮影方向上にある単位画像に基づき動画像を生成する手順を示すフローチャートである。
【図７】時刻ｔ１から時刻ｔ４に至るまで、サーバ５３から読み出した同一の撮影方向にある単位画像を示す図である。
【図８】全体画像内を移動する被写体に追従して動画を生成する手順を示すフローチャートである。
【図９】具体的な差異検出例につき説明するための図である。
【図１０】被写体の動きに着目して動画像を生成する例を示す図である。
【図１１】従来のビデオカメラの構成につき説明するための図である。
【符号の説明】
１  動画像生成システム、２  カメラユニット、３  パンチルタ部、４  カメラ部、６  ディスプレイ、８  ネットワーク、９  ユーザ端末、１０  端末ディスプレイ、１２  マイク、１３  画像入出力部、１４  音声入出力部、１５  演算処理部、１６  操作部、２１  コントローラバス、２２  レンズ部、２３  レンズ制御部、２４  撮像部、２５  ＩＥＥＥ１３９４インターフェース、２８  ＧＰＳ受信部、２９  メタデータ生成部、５１  バッファメモリ、５２  エンコーダ、５３  サーバ、５４  画像圧縮部、５５    グラフィックコントローラ、５６  ＣＰＵ、５８  Ｉ／Ｏポート、５９  キーボード、６０  マウス、６１  メモリカード、６２  時計
【図１】
2004241834.tif 000003
【図２】
2004241834.tif 000004
【図３】
2004241834.tif 000005
【図４】
2004241834.tif 000006
【図５】
2004241834.tif 000007
【図６】
2004241834.tif 000008
【図７】
2004241834.tif 000009
【図８】
2004241834.tif 000010
【図９】
2004241834.tif 000011
【図１０】
2004241834.tif 000012
【図１１】
2004241834.tif 000013