(57)【要約】【課題】天候や時間等の変化に対して違和感のないパノラマ画像を得る。【解決手段】撮像手段としての撮像装置１０からの映像信号がコンピュータ装置３０のビデオキャプチャーボード３１に供給される。レンズブロック部１１はカメラコントローラ４１からの駆動命令によって変倍用レンズが駆動される。撮像装置１０は回転雲台５０に設置され、パンチルタコントローラ４３からの駆動命令によって各方向に駆動される。モードコントローラ４２はコンピュータ装置３０からの絶対位置駆動要求に対して撮像装置１０及び回転雲台５０の制御を行う。コンピュータ装置３０には記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってパノラマ画像の形成のための映像信号処理及び制御が行われる。このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされる。【選択図】図１
2008236783.tif 000002
【特許請求の範囲】
【請求項１】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を変化させる駆動手段と、
上記撮像手段からの映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理とを制御する制御手段とからなる
ことを特徴とする撮像装置。
【請求項２】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
上記撮像手段からの映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
上記撮像手段での撮像と上記映像信号処理手段での処理とを制御する制御手段とからなる
ことを特徴とする撮像装置。
【請求項３】
時間設定手段を設け、
上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
【請求項４】
上記撮像手段からの映像信号を記憶する記憶手段と、
上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
【請求項５】
上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
【請求項６】
上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
【請求項７】
上記映像信号処理手段で形成された映像信号中の任意の範囲を指定する手段を設け、
設定された時間ごと、または上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の音声が検出または認識されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記任意の範囲に対する上記制御手段による制御が行われることを特徴とする請求項１または２に記載の撮像装置。
【請求項８】
上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記差異または変化の検出または認識された範囲に対する上記制御手段による制御が行われると共に、
上記差異または変化の検出または認識された範囲を上記映像信号処理手段で形成される映像信号中に表示する手段を設けたことを特徴とする請求項１または２に記載の撮像装置。
【請求項９】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を変化させる駆動手段と、
上記撮像手段からの映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理とを制御する制御手段と、
上記映像信号処理手段で形成された映像信号を表示する表示手段とからなる
ことを特徴とする表示装置。
【請求項１０】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
上記撮像手段からの映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
上記撮像手段での撮像と上記映像信号処理手段での処理とを制御する制御手段と、
上記映像信号処理手段で形成された映像信号を表示する表示手段とからなる
ことを特徴とする表示装置。
【請求項１１】
時間設定手段を設け、
上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
【請求項１２】
上記撮像手段からの映像信号を記憶する記憶手段と、
上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
【請求項１３】
上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
【請求項１４】
上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
【請求項１５】
上記映像信号処理手段で形成された映像信号中の任意の範囲を指定する手段を設け、
設定された時間ごと、または上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の音声が検出または認識されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記任意の範囲に対する上記制御手段による制御が行われることを特徴とする請求項９または１０に記載の表示装置。
【請求項１６】
上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記差異または変化の検出または認識された範囲に対する上記制御手段による制御が行われると共に、
上記差異または変化の検出または認識された範囲を上記映像信号処理手段で形成される映像信号中に表示する手段を設けたことを特徴とする請求項９または１０に記載の表示装置。
【請求項１７】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を変化させる駆動手段と、
上記撮像手段からの映像信号を直接順次記録、若しくは上記撮像範囲の変化された映像信号から上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録する記録手段と、
上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理と上記記録手段での記録とを制御する制御手段とからなる
ことを特徴とする記録装置。
【請求項１８】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
上記撮像手段からの映像信号を直接順次記録、若しくは上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録する記録手段と、
上記撮像手段での撮像と上記映像信号処理手段での処理と上記記録手段での記録とを制御する制御手段とからなる
ことを特徴とする記録装置。
【請求項１９】
時間設定手段を設け、
上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
【請求項２０】
上記撮像手段からの映像信号を記憶する記憶手段と、
上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
【請求項２１】
上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
【請求項２２】
上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項１７または１８に記載の記録装置。
【請求項２３】
撮像範囲の変化された映像信号が順次記録されてなる記録媒体を再生する再生手段と、
上記再生手段によって再生された映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
上記再生手段での再生と上記映像信号処理手段での処理とを制御する制御手段とからなる
ことを特徴とする再生装置。
【請求項２４】
撮像範囲の湾曲された映像信号が順次記録されてなる記録媒体を再生する再生手段と、
上記再生手段によって再生された映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、
上記再生手段での再生と上記映像信号処理手段での処理とを制御する制御手段とからなる
ことを特徴とする再生装置。
【請求項２５】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を変化させる駆動手段と、
上記撮像手段からの映像信号を直接順次伝送、若しくは上記撮像範囲の変化された映像信号から上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて伝送する伝送手段と、
上記撮像手段での撮像と上記駆動手段での駆動と上記映像信号処理手段での処理と上記伝送手段での伝送とを制御する制御手段とからなる
ことを特徴とする伝送装置。
【請求項２６】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
上記撮像手段からの映像信号を直接順次伝送、若しくは上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて伝送する伝送手段と、
上記撮像手段での撮像と上記映像信号処理手段での処理と上記伝送手段での伝送とを制御する制御手段とからなる
ことを特徴とする伝送装置。
【請求項２７】
時間設定手段を設け、
上記時間設定手段に設定された時間によって上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
【請求項２８】
上記撮像手段からの映像信号を記憶する記憶手段と、
上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
上記比較手段で差異が検出されたときに上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
【請求項２９】
上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
上記音声が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
【請求項３０】
上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
上記物理的状態の変化が検出または認識されたときに上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
【請求項３１】
上記映像信号処理手段で形成された映像信号中の任意の範囲を指定する手段を設け、
設定された時間ごと、または上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の音声が検出または認識されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記任意の範囲に対する上記制御手段による制御が行われることを特徴とする請求項２５または２６に記載の伝送装置。
【請求項３２】
上記撮像された映像信号に差異が検出されたとき、または上記撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上記差異または変化の検出または認識された範囲に対する上記制御手段による制御が行われると共に、
上記差異または変化の検出または認識された範囲を上記映像信号処理手段で形成される映像信号中に表示する手段を設けたことを特徴とする請求項２５または２６に記載の伝送装置。
【請求項３３】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を変化させる駆動手段と、
上記撮像手段での撮像と上記駆動手段での駆動とを制御する制御手段とを用いて、
上記撮像手段からの映像信号が直接順次記録、若しくは上記撮像範囲の変化された映像信号から上記撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録されてなる
ことを特徴とする記録媒体。
【請求項３４】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
上記撮像手段での撮像を制御する制御手段とを用いて、
上記撮像手段か−の映像信号が直接順次記録、若しくは上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録されてなる
ことを特徴とする記録媒体。
【請求項３５】
時間設定手段を設け、
上記時間設定手段に設定された時間によって上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４に記載の記録媒体。
【請求項３６】
上記撮像手段からの映像信号を記憶する記憶手段と、
上記撮像手段からの映像信号と上記記憶手段に記憶された映像信号との差異を検出する比較手段とを設け、
上記比較手段で差異が検出されたときに上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４に記載の記録媒体。
【請求項３７】
上記撮像手段の設けられた場所の音声を検出または認識する手段を設け、
上記音声が検出または認識されたときに上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４の記録媒体。
【請求項３８】
上記撮像手段の設けられた場所の物理的状態の変化を検出または認識する手段を設け、
上記物理的状態の変化が検出または認識されたときに上記制御手段による制御と上記映像信号処理手段での処理が行われることを特徴とする請求項３３または３４に記載の記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータネットワークを利用して遠隔地からの監視を行う際に使用して好適な撮像、表示、記録、再生、伝送装置及び記録媒体に関するものである。
【背景技術】
【０００２】
事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。
【０００３】
そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。
【０００４】
これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また天候や時間の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったというものである。
【課題を解決するための手段】
【０００６】
このため本発明においては、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成するようにしたものであって、これによれば、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【０００７】
また、本発明においては、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成するようにしたものであって、これによれば、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【０００８】
さらに本発明においては、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができる。
【発明の効果】
【０００９】
請求項１の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【００１０】
これによって、従来は従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができるものである。
【００１１】
請求項２の発明によれば、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００１２】
請求項３〜８の発明によれば、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００１３】
請求項９の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。
【００１４】
請求項１０の発明によれば、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００１５】
請求項１１〜１６の発明によれば、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００１６】
請求項１７の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【００１７】
請求項１８の発明によれば、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【００１８】
請求項１９〜２２の発明によれば、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録を行うことができるものである。
【００１９】
請求項２３の発明によれば、撮像範囲が順次変化された映像信号を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【００２０】
請求項２４の発明によれば、撮像手段の撮像範囲の湾曲された映像信号を再生し、この再生映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【００２１】
請求項２５の発明によれば、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００２２】
請求項２６の発明によれば、遠隔地に設置された撮像手段で撮像された撮像範囲の湾曲された映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００２３】
請求項２７〜３２の発明によれば、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００２４】
請求項３３の発明によれば、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができるものである。
【００２５】
請求項３４の発明によれば、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができるものである。
【００２６】
請求項３５〜３８の発明によれば、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録媒体を得ることができるものである。
【発明を実施するための最良の形態】
【００２７】
すなわち本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を変化させる駆動手段と、撮像手段からの映像信号が供給され撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、撮像手段での撮像と駆動手段での駆動と映像信号処理手段での処理とを制御する制御手段とからなるものである。
【００２８】
あるいは本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を湾曲させて撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、撮像手段からの映像信号が供給され歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、撮像手段での撮像と映像信号処理手段での処理とを制御する制御手段とからなるものである。
【００２９】
また本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を変化させる駆動手段と、撮像手段からの映像信号が供給され撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、撮像手段での撮像と駆動手段での駆動と映像信号処理手段での処理とを制御する制御手段と、映像信号処理手段で形成された映像信号を表示する表示手段とからなるものである。
【００３０】
あるいは本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を湾曲させて撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、撮像手段からの映像信号が供給され歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、撮像手段での撮像と映像信号処理手段での処理とを制御する制御手段と、映像信号処理手段で形成された映像信号を表示する表示手段とからなるものである。
【００３１】
また本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を変化させる駆動手段と、撮像手段からの映像信号を直接順次記録、若しくは撮像範囲の変化された映像信号から撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録する記録手段と、撮像手段での撮像と駆動手段での駆動と映像信号処理手段での処理と記録手段での記録とを制御する制御手段とからなるものである。
【００３２】
あるいは本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を湾曲させて撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、撮像手段からの映像信号を直接順次記録、若しくは歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録する記録手段と、撮像手段での撮像と映像信号処理手段での処理と記録手段での記録とを制御する制御手段とからなるものである。
【００３３】
また本発明は、撮像範囲の変化された映像信号が順次記録されてなる記録媒体を再生する再生手段と、再生手段によって再生された映像信号が供給され撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、再生手段での再生と映像信号処理手段での処理とを制御する制御手段とからなるものである。
【００３４】
あるいは本発明は、撮像範囲の湾曲された映像信号が順次記録されてなる記録媒体を再生する再生手段と、再生手段によって再生された映像信号が供給され歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段と、再生手段での再生と映像信号処理手段での処理とを制御する制御手段とからなるものである。
【００３５】
また本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を変化させる駆動手段と、撮像手段からの映像信号を直接順次伝送、若しくは撮像範囲の変化された映像信号から撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて伝送する伝送手段と、撮像手段での撮像と駆動手段での駆動と映像信号処理手段での処理と伝送手段での伝送とを制御する制御手段とからなるものである。
【００３６】
あるいは本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を湾曲させて撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、撮像手段からの映像信号を直接順次伝送、若しくは歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて伝送する伝送手段と、撮像手段での撮像と映像信号処理手段での処理と伝送手段での伝送とを制御する制御手段とからなるものである。
【００３７】
また本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を変化させる駆動手段と、撮像手段での撮像と駆動手段での駆動とを制御する制御手段とを用いて、撮像手段からの映像信号が直接順次記録、若しくは撮像範囲の変化された映像信号から撮像手段の一つの撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録されてなるものである。
【００３８】
あるいは本発明は、映像信号を発生する撮像手段と、撮像手段の撮像範囲を湾曲させて撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、撮像手段での撮像を制御する制御手段とを用いて、撮像手段からの映像信号が直接順次記録、若しくは歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有する映像信号を形成する映像信号処理手段を通じて記録されてなるものである。
【００３９】
さらに本発明は、設定された時間ごと、または撮像された映像信号に差異が検出されたとき、または撮像手段の設けられた場所の音声が検出または認識されたとき、または撮像手段の設けられた場所の物理的状態の変化が検出または認識されたときに、上述の制御手段による制御が行われてなるものである。
【００４０】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。
【００４１】
この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。
【００４２】
信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。
【００４３】
信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、後述するコンピュータ３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。
【００４４】
また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。
【００４５】
カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、白バランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。
【００４６】
さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。
【００４７】
パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。
【００４８】
さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。
【００４９】
すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。それと共に、これらのコントローラ４１及び４３からの位置情報が、モードコントローラ４２を通じてコンピュータ装置３０に送信される。
【００５０】
さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。また、このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。
【００５１】
またこのコンピュータ装置３０には、例えば撮像装置１０から入力される映像信号がビデオキャプチャーボード３１を通じて取り込まれる。ビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。
【００５２】
さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。
【００５３】
図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。
【００５４】
さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。
【００５５】
ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。
【００５６】
そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。
【００５７】
さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。
【００５８】
次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。
【００５９】
そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。
【００６０】
また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。
【００６１】
そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。
【００６２】
さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。
【００６３】
ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。
【００６４】
そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。
【００６５】
また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。
【００６６】
さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。
【００６７】
また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。
【００６８】
そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。
【００６９】
このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。
【００７０】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００７１】
これによって、従来は従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００７２】
なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これは回転雲台５０を用いる代わりに複数台の撮像装置を、パノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。
【００７３】
あるいは上述の装置において、撮像装置１０のレンズブロック部１１自体、またはその前に、魚眼レンズ等の周囲の画像を湾曲させて広範囲の画像を撮像する手段を設置することが考えられる。この場合には、映像信号処理手段を構成する例えばコンピュータ装置３０の画像処理装置３３にて、緯度、経度方向の座標の変換を行い、平面に投射されるように画像処理を施してパノラマ画像を形成することができる。
【００７４】
従ってこの装置においては、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００７５】
さらに上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。
【００７６】
すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。
【００７７】
そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。
【００７８】
あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。
【００７９】
そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。
【００８０】
なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。
【００８１】
また、例えば図６に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。
【００８２】
すなわち図６のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図６のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図６のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。
【００８３】
この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図７に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。
【００８４】
そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。
【００８５】
このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。
【００８６】
さらに上述の説明では、例えば撮像装置１０の視野全域に亙ってパノラマ画像の撮像、更新が行われることとしたが、例えば図８に示すように、モニタ６０上に映出されるパノラマ画像上で、キーボードやポインティングデバイス（マウス）等の入力装置３５を利用して、撮像及び更新したい領域を指定できるようにすることも可能である。
【００８７】
また、撮像された画像や、各種センサからの情報によって、撮像可能範囲内の一部分で変化が検出された場合には、必要に応じてその部分をパノラマ画像上に表示すると共に、その部分を含む領域のみを撮像及び更新できるようにすることも可能である。
【００８８】
さらにこのような特定の領域のみを撮像及び更新領域とする方法では、特に、上述した被写体のモデル化による動態検出や、各種の指向性センサの検出による自動撮影といった監視目的の用途として有効である。
【００８９】
従って上述の装置においては、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００９０】
さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。
【００９１】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。
【００９２】
あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００９３】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００９４】
さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号が直接順次記録されるか、映像信号処理装置３３で形成されたパノラマ画像が記録されるものである。
【００９５】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができる。
【００９６】
あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができる。
【００９７】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録を行うことができるものである。
【００９８】
さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号が直接順次記録されて再生されるか、映像信号処理装置３３で形成されたパノラマ画像が記録されて再生されるものである。
【００９９】
従ってこの装置において、撮像範囲が順次変化された映像信号を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができる。
【０１００】
あるいはこの装置において、撮像手段の撮像範囲の湾曲された映像信号を再生し、この再生映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができる。
【０１０１】
さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。
【０１０２】
すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。
【０１０３】
従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。
【０１０４】
あるいはこの装置において、遠隔地に設置された撮像手段で撮像された撮像範囲の湾曲された映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。
【０１０５】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【０１０６】
さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。
【０１０７】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができる。
【０１０８】
あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができる。
【０１０９】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録媒体を得ることができるものである。
【図面の簡単な説明】
【０１１０】
【図１】本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【図６】その説明のための図である。
【図７】その説明のための図である。
【図８】その説明のための図である。
【符号の説明】
【０１１１】
１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域
【図１】
2008236783.tif 000003
【図２】
2008236783.tif 000004
【図３】
2008236783.tif 000005
【図４】
2008236783.tif 000006
【図５】
2008236783.tif 000007
【図６】
2008236783.tif 000008
【図７】
2008236783.tif 000009
【図８】
2008236783.tif 000010
【手続補正書】
【提出日】平成20年7月22日(2008.7.22)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御する表示制御部と、
前記パノラマ画像上で領域を指定する操作部と、
前記カメラで撮影された第１の画像と当該画像の撮影より前に前記カメラで撮影された第２の画像との差異が所定以上の場合、前記操作部によりパノラマ画像上で事前に指定された領域を、前記カメラで撮影するよう制御するカメラ制御部と、
を有する制御装置。
【請求項２】
請求項１に記載の制御装置であって、
前記差異は、前記第１の画像の輝度平均と前記第２の画像の輝度平均との差異である
制御装置。
【請求項３】
請求項１に記載の制御装置であって、
前記差異は、被写体の位置座標が変化したことにより生じるものである
制御装置。
【請求項４】
カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御する表示制御部と、
前記パノラマ画像上で領域を指定する操作部と、
前記操作部によりパノラマ画像上で指定された領域で、前記カメラで撮影された第１の画像と当該画像の撮影より前に前記カメラで撮影された第２の画像との差異が所定以上の場合、前記パノラマ画像を更新するよう前記カメラを制御するカメラ制御部と、
を有する制御装置。
【請求項５】
請求項４に記載の制御装置であって、
前記差異は、前記第１の画像の輝度平均と前記第２の画像の輝度平均との差異である
制御装置。
【請求項６】
請求項４に記載の制御装置であって、
前記差異は、被写体の位置座標が変化したことにより生じるものである
制御装置。
【請求項７】
カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御するステップと、
前記パノラマ画像上で領域を指定するステップと、
前記カメラで撮影された第１の画像と当該画像の撮影より前に前記カメラで撮影された第２の画像との差異が所定以上の場合、前記操作部によりパノラマ画像上で事前に指定された領域を、前記カメラで撮影するよう制御するステップと、
を有する制御方法。
【請求項８】
カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御するステップと、
前記パノラマ画像上で領域を指定するステップと、
前記パノラマ画像上で指定された領域で、前記カメラで撮影された第１の画像と当該画像の撮影より前に前記カメラで撮影された第２の画像との差異が所定以上の場合、前記パノラマ画像を更新するよう前記カメラを制御するステップと、
を有する制御方法。
【請求項９】
画像を撮影するカメラと、
前記カメラで撮影された前記画像を表示する表示装置と、
前記カメラで複数回撮影された画像より生成したパノラマ画像を前記表示装置に表示するよう制御する表示制御部、前記パノラマ画像上で領域を指定する操作部、及び、前記カメラで撮影された第１の画像と当該画像の撮影より前に前記カメラで撮影された第２の画像との差異が所定以上の場合、前記操作部によりパノラマ画像上で事前に指定された領域を、前記カメラで撮影するよう制御するカメラ制御部を有する制御装置と、
を備える監視システム。
【請求項１０】
画像を撮影するカメラと、
前記カメラで撮影された前記画像を表示する表示装置と、
前記カメラで複数回撮影された画像より生成したパノラマ画像を前記表示装置に表示するよう制御する表示制御部、前記パノラマ画像上で領域を指定する操作部、及び、前記操作部によりパノラマ画像上で指定された領域で、前記カメラで撮影された第１の画像と当該画像の撮影より前に前記カメラで撮影された第２の画像との差異が所定以上の場合、前記パノラマ画像を更新するよう前記カメラを制御するカメラ制御部を有する制御装置と、
を備える監視システム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えばコンピュータネットワークを利用して遠隔地からの監視を行う際に使用して好適な制御装置、制御方法及び監視システムに関するものである。
【背景技術】
【０００２】
事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。
【０００３】
そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。
【０００４】
これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また天候や時間の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったというものである。
【課題を解決するための手段】
【０００６】
このため本発明の第１の制御装置においては、表示制御部と、操作部と、カメラ制御部とを備える構成とし、各部が次のように機能するようにした。表示制御部は、カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御する。操作部は、パノラマ画像上で領域を指定する。そして、カメラ制御部は、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、操作部によりパノラマ画像上で事前に指定された領域を、カメラで撮影するよう制御する。
【０００７】
また、本発明の第２の制御装置においては、表示制御部と、操作部と、カメラ制御部とを備える構成とし、各部が次のように機能するようにした。表示制御部は、カメラで複数回撮影された画像より生成したパノラマ画像を表示するよう制御する。操作部は、パノラマ画像上で領域を指定する。そして、カメラ制御部は、操作部によりパノラマ画像上で指定された領域で、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、パノラマ画像を更新するようカメラを制御する。
【発明の効果】
【０００８】
請求項１、７及び９の発明によれば、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、パノラマ画像上で事前に指定された領域を、カメラで撮影するよう制御して更新することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【０００９】
これによって、従来は従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができるものである。
【００１０】
請求項４、８及び１０の発明によれば、パノラマ画像上で指定された領域で、カメラで撮影された第１の画像と当該画像の撮影より前にカメラで撮影された第２の画像との差異が所定以上の場合、パノラマ画像を更新するようカメラを制御することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【発明を実施するための最良の形態】
【００１１】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。
【００１２】
この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。
【００１３】
信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。
【００１４】
信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、後述するコンピュータ３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。
【００１５】
また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。
【００１６】
カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、白バランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。
【００１７】
さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。
【００１８】
パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。
【００１９】
さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。
【００２０】
すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。それと共に、これらのコントローラ４１及び４３からの位置情報が、モードコントローラ４２を通じてコンピュータ装置３０に送信される。
【００２１】
さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。また、このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。
【００２２】
またこのコンピュータ装置３０には、例えば撮像装置１０から入力される映像信号がビデオキャプチャーボード３１を通じて取り込まれる。ビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。
【００２３】
さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。
【００２４】
図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。
【００２５】
さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。
【００２６】
ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。
【００２７】
そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。
【００２８】
さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。
【００２９】
次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。
【００３０】
そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。
【００３１】
また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。
【００３２】
そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。
【００３３】
さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。
【００３４】
ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。
【００３５】
そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。
【００３６】
また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。
【００３７】
さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。
【００３８】
また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。
【００３９】
そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。
【００４０】
このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。
【００４１】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００４２】
これによって、従来は従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば天候や時間の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００４３】
なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これは回転雲台５０を用いる代わりに複数台の撮像装置を、パノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。
【００４４】
あるいは上述の装置において、撮像装置１０のレンズブロック部１１自体、またはその前に、魚眼レンズ等の周囲の画像を湾曲させて広範囲の画像を撮像する手段を設置することが考えられる。この場合には、映像信号処理手段を構成する例えばコンピュータ装置３０の画像処理装置３３にて、緯度、経度方向の座標の変換を行い、平面に投射されるように画像処理を施してパノラマ画像を形成することができる。
【００４５】
従ってこの装置においては、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００４６】
さらに上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。
【００４７】
すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。
【００４８】
そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。
【００４９】
あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。
【００５０】
そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。
【００５１】
なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。
【００５２】
また、例えば図６に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。
【００５３】
すなわち図６のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図６のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図６のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。
【００５４】
この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図７に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。
【００５５】
そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。
【００５６】
このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。
【００５７】
さらに上述の説明では、例えば撮像装置１０の視野全域に亙ってパノラマ画像の撮像、更新が行われることとしたが、例えば図８に示すように、モニタ６０上に映出されるパノラマ画像上で、キーボードやポインティングデバイス（マウス）等の入力装置３５を利用して、撮像及び更新したい領域を指定できるようにすることも可能である。
【００５８】
また、撮像された画像や、各種センサからの情報によって、撮像可能範囲内の一部分で変化が検出された場合には、必要に応じてその部分をパノラマ画像上に表示すると共に、その部分を含む領域のみを撮像及び更新できるようにすることも可能である。
【００５９】
さらにこのような特定の領域のみを撮像及び更新領域とする方法では、特に、上述した被写体のモデル化による動態検出や、各種の指向性センサの検出による自動撮影といった監視目的の用途として有効である。
【００６０】
従って上述の装置においては、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００６１】
さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。
【００６２】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。
【００６３】
あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を正規化して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００６４】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００６５】
さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号が直接順次記録されるか、映像信号処理装置３３で形成されたパノラマ画像が記録されるものである。
【００６６】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができる。
【００６７】
あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができる。
【００６８】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録を行うことができるものである。
【００６９】
さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号が直接順次記録されて再生されるか、映像信号処理装置３３で形成されたパノラマ画像が記録されて再生されるものである。
【００７０】
従ってこの装置において、撮像範囲が順次変化された映像信号を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができる。
【００７１】
あるいはこの装置において、撮像手段の撮像範囲の湾曲された映像信号を再生し、この再生映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができる。
【００７２】
さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。
【００７３】
すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。
【００７４】
従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。
【００７５】
あるいはこの装置において、遠隔地に設置された撮像手段で撮像された撮像範囲の湾曲された映像信号を正規化して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができる。
【００７６】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な観視を行うことができるものである。
【００７７】
さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。
【００７８】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で合成されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができる。
【００７９】
あるいはこの装置において、撮像手段の撮像範囲を湾曲させ、このような撮像手段からの映像信号を直接順次記録、または映像信号処理手段で正規化されたパノラマ画像を記録することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録した記録媒体を得ることができる。
【００８０】
そしてこれらの装置において、設定された時間ごと、あるいは特定の条件の元で、撮像手段での撮像とパノラマ画像の形成が行われることによって、監視に必要な事象の撮像が行われて、常に良好な記録媒体を得ることができるものである。
【図面の簡単な説明】
【００８１】
【図１】本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【図６】その説明のための図である。
【図７】その説明のための図である。
【図８】その説明のための図である。
【符号の説明】
【００８２】
１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域