【手続補正書】
【提出日】平成17年9月29日(2005.9.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を変化させる駆動手段と、
上記撮像手段からの映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、
現在の上記映像信号と過去の上記映像信号との差異が所定以上になれば、上記撮像手段の撮像範囲を最広角に設定して撮影するように上記撮像手段を制御し、上記パノラマ映像信号を形成するように上記駆動手段を制御する制御手段と
を有することを特徴とする撮像装置。
【請求項２】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
上記撮像手段からの映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、
現在の上記映像信号と過去の上記映像信号との差異が所定以上になれば、上記撮像手段の撮像範囲を最広角に設定して撮影するように上記撮像手段を制御し、上記パノラマ映像信号を形成するように上記駆動手段を制御する制御手段と
を有することを特徴とする撮像装置。
【請求項３】
上記差異は、現在の上記映像信号の輝度平均と過去の上記映像信号の輝度平均との差異であることを特徴とする請求項１または２のいずれかに記載の撮像装置。
【請求項４】
上記差異は、現在の上記映像信号の輝度平均と過去の上記映像信号の輝度平均との差異であることを特徴とする請求項１または２のいずれかに記載の撮像装置。
【請求項５】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を変化させる駆動手段と、
上記撮像手段からの映像信号が供給され上記撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、
現在の上記映像信号と過去の上記映像信号との差異が所定以上になれば、上記撮像手段の撮像範囲を最広角に設定して撮影するように上記撮像手段を制御し、上記パノラマ映像信号を形成するように上記駆動手段を制御する制御手段と、
上記映像信号処理手段で形成された映像信号を表示する表示手段と
を有することを特徴とする表示装置。
【請求項６】
映像信号を発生する撮像手段と、
上記撮像手段の撮像範囲を湾曲させて上記撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、
上記撮像手段からの映像信号が供給され上記歪曲させて撮像された映像信号を正規化して上記撮像手段の本来の撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、
現在の上記映像信号と過去の上記映像信号との差異が所定以上になれば、上記撮像手段の撮像範囲を最広角に設定して撮影するように上記撮像手段を制御し、上記パノラマ映像信号を形成するように上記駆動手段を制御する制御手段と、
上記映像信号処理手段で形成された映像信号を表示する表示手段と
を有することを特徴とする表示装置。
【請求項７】
上記差異は、現在の上記映像信号の輝度平均と過去の上記映像信号の輝度平均との差異であることを特徴とする請求項５または６のいずれかに記載の表示装置。
【請求項８】
上記差異は、上記撮像手段により撮像される被写体をモデル化した位置座標の差異であることを特徴とする請求項５または６のいずれかに記載の表示装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【発明の名称】撮像装置及び表示装置
【技術分野】
【０００１】
本発明は、例えばコンピュータネットワークを利用して遠隔地からの観視を行う際に使用して好適な撮像装置及び表示装置に関するものである。
【背景技術】
【０００２】
事象の観察や監視、案内等の目的で、遠隔地からの画像を例えばコンピュータネットワーク（インターネット）を利用して観視を行うことが考えられている。そのような遠隔地からの観視を行う場合に、水平方向の画角を広げたいわゆるパノラマ画像が観視には好適である。
【０００３】
そこでこのようなパノラマ画像を得る方法としては、例えば広角系のレンズを用いる方法が知られているが、一般的に広角系のレンズは高価であり、また通常の広角系のレンズでは垂直方向の画角も広げられるために、パノラマ画像の範囲の走査線数が減少し解像度が低下してしまう恐れがある。
【０００４】
これに対して、パノラマ画像を予め撮像してハードディスク等の記憶装置に保存しておき、新たに撮像された画像をその中に嵌め込み合成してパノラマ画像を形成する方法が実施されている。しかしながらこの方法では、疑似的なパノラマ画像が形成されているに過ぎず、また、撮像時刻や撮像条件等の変化に対して、嵌め込み合成された新たな画像と保存画像との間で違和感を生じる等の問題があった。
【発明の開示】
【発明が解決しようとする課題】
【０００５】
この出願はこのような点に鑑みて成されたものであって、解決しようとする問題点は、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったというものである。
【課題を解決するための手段】
【０００６】
このため本発明においては、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶するようにしたものであって、これによれば、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【０００７】
さらに本発明においては、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正するようにしたものであって、これによれば、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【発明の効果】
【０００８】
請求項１の発明によれば、映像信号を発生する撮像手段と、撮像手段の撮像範囲を変化させる駆動手段と、撮像手段からの映像信号が供給され撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、現在の映像信号と過去の映像信号との差異が所定以上になれば、撮像手段の撮像範囲を最広角に設定して撮影するように上記撮像手段を制御し、パノラマ映像信号を形成するように駆動手段を制御する制御手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【０００９】
請求項２の発明によれば、映像信号を発生する撮像手段と、撮像手段の撮像範囲を湾曲させて撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、撮像手段からの映像信号が供給され歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、現在の映像信号と過去の映像信号との差異が所定以上になれば、撮像手段の撮像範囲を最広角に設定して撮影するように撮像手段を制御し、パノラマ映像信号を形成するように駆動手段を制御する制御手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるようになった。
【００１０】
請求項３の発明によれば、差異は、現在の映像信号の輝度平均と過去の映像信号の輝度平均との差異であるとすることによって、より良好なパノラマ画像を、高解像度で得ることができるようになった。
【００１１】
請求項４の発明によれば、差異は、現在の映像信号の輝度平均と過去の映像信号の輝度平均との差異であるとすることによって、より良好なパノラマ画像を、高解像度で得ることができるようになった。
【００１２】
請求項５の発明によれば、映像信号を発生する撮像手段と、撮像手段の撮像範囲を変化させる駆動手段と、撮像手段からの映像信号が供給され撮像手段の一つの撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、現在の映像信号と過去の映像信号との差異が所定以上になれば、撮像手段の撮像範囲を最広角に設定して撮影するように撮像手段を制御し、パノラマ映像信号を形成するように駆動手段を制御する制御手段と、映像信号処理手段で形成された映像信号を表示する表示手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００１３】
請求項６の発明によれば、映像信号を発生する撮像手段と、撮像手段の撮像範囲を湾曲させて撮像手段の本来の撮像範囲より広い画角の撮像を行わせる光学手段と、撮像手段からの映像信号が供給され歪曲させて撮像された映像信号を正規化して撮像手段の本来の撮像範囲より広い画角を有するパノラマ映像信号を形成する映像信号処理手段と、現在の映像信号と過去の映像信号との差異が所定以上になれば、撮像手段の撮像範囲を最広角に設定して撮影するように撮像手段を制御し、パノラマ映像信号を形成するように駆動手段を制御する制御手段と、映像信号処理手段で形成された映像信号を表示する表示手段とを有することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００１４】
請求項７の発明によれば、差異は、現在の映像信号の輝度平均と過去の映像信号の輝度平均との差異であるとすることによって、より良好なパノラマ画像を、高解像度で得ることができるようになった。
【００１５】
請求項８の発明によれば、差異は、撮像手段により撮像される被写体をモデル化した位置座標の差異であるとすることによって、より良好なパノラマ画像を、高解像度で得ることができるようになった。
【発明を実施するための最良の形態】
【００１６】
以下、図面を参照して本発明を説明するに、図１は本発明を適用した装置の一例の構成を示すブロック図である。
【００１７】
この図１において、撮像手段としての撮像装置１０は全体としてビデオカメラを示し、被写体（図示せず）から到達する撮像光は、レンズブロック部１１のレンズ、絞り等を通して固体撮像素子、例えばＣＣＤ１２に結像される。そしてこのＣＣＤ１２で、任意の視野映像が映像信号に変換された後、信号分離（サンプルホールド：ＳＨ）／自動利得制御（ＡＧＣ）装置１３に与えられる。
【００１８】
信号分離／自動利得制御装置１３では、ＣＣＤ１２からの映像出力信号が、例えば所定の画素クロックに従ってサンプルホールドされると共に、例えばオートアイリス（ＡＥ）の制御信号によって所定のゲインを持つように自動利得制御が行われる。かくして得られた映像出力信号は、Ａ／Ｄ変換装置１４を介して信号処理装置１５に供給される。
【００１９】
信号処理装置１５では、入力されてきた信号が、輝度、色差、ビデオ信号といった各信号に変換され、映像信号としてテレビジョンモニタ２０や、パーソナルコンピュータ等の後述するコンピュータ装置３０のビデオキャプチャーボード３１に供給される。これによってこのビデオキャプチャーボード３１に供給された映像信号が、順次コンピュータ装置３０に取り込まれる。
【００２０】
また、撮像装置１０のレンズブロック部１１は、変倍用のレンズを駆動することによって撮像する画角を変化させることが可能なズームレンズである。そして後述するカメラコントローラ４１からの駆動命令によって、モータ、例えばズーム用ステッピングモータ１６が回転されて、上述の変倍用のレンズが駆動される如く構成されている。
【００２１】
カメラコントローラ４１は、撮像装置１０のレンズ制御（フォーカス、ズーム）、露出制御（絞り、ゲイン、電子シャッタースピード）、ホワイトバランス制御、画質制御等を常時行うと共に、モードコントローラ４２とのインターフェースが行われる。そして例えばズームの駆動要求に対しては、変倍用レンズを要求位置に駆動する制御信号がモータ１６の駆動回路（図示せず）に出力されると共に、変倍用レンズの位置情報が常時モードコントローラ４２に通信される。
【００２２】
さらに撮像装置１０は、駆動手段として例えばパン（左右）及びチルト（上下）といった２軸の回転方向の自由度を持つ装置、例えば回転雲台５０の上に設置される。そして後述するパンチルタコントローラ４３からの駆動命令によって、モータ、例えばパン用ステッピングモータ５１及びチルト用ステッピングモータ５２が回転されて、回転雲台５０が各方向に駆動される如く構成されている。
【００２３】
パンチルタコントローラ４３では、モードコントローラ４２とのインターフェースが行われる。そして例えばパン、チルトの各方向の駆動要求に対しては、回転雲台５０を要求された方向に駆動する制御信号がモータ５１、５２の駆動回路（図示せず）に出力されると共に、回転雲台５０の例えばパン、チルトの各方向の位置情報が常時モードコントローラ４２に通信される。
【００２４】
さらにモードコントローラ４２は、撮像装置１０及び回転雲台５０の内部状態や、装置外部からのインターフェース情報に従ってシステム全体の制御を行う。そしてこのモードコントローラ４２は、例えばＲＳ２３２Ｃによってコンピュータ装置３０に接続され、コンピュータ装置３０からの絶対位置駆動要求に対して制御が行われる。
【００２５】
すなわちモードコントローラ４２では、コンピュータ装置３０からの絶対位置駆動要求に対し、撮像装置１０でその位置を撮像するべく、レンズブロック部１１のモータ１６及び回転雲台５０のモータ５１、５２を駆動する駆動命令が、カメラコントローラ４１及びパンチルタコントローラ４３に振り分けられる。
【００２６】
それと共に、これらのコントローラ４１及び４３からの位置情報やレンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の各種の撮影条件がモードコントローラ４２を通じてコンピュータ装置３０に送信される。
【００２７】
さらにこのコンピュータ装置３０には、記憶装置３２と画像処理装置３３と制御装置３４とが設けられ、これらの装置によってこのコンピュータ装置３０は、例えばパノラマ画像の形成のための映像信号処理手段、及び制御手段として使用される。このコンピュータ装置３０で形成された映像信号がコンピュータモニタ６０に供給されてユーザーインターフェースとされ、この管面上にグラフィック表示される画像を用いて内部処理の条件等が決定される。
【００２８】
さらに上述のビデオキャプチャーボード３１では、取り込まれた映像信号を任意のクォリティでモニタ６０に表示すると共に、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、動画等）に任意のクォリティでキャプチャーし、ハードディスク等の記憶装置３２に記憶することができる。
【００２９】
そしてこの際に、上述の映像信号がキャプチャーされた撮像時刻と、モードコントローラ４２から提供された上述の各種の撮影条件が、キャプチャーされた映像信号と共に記憶装置３２に記憶される。
【００３０】
さらにこのコンピュータ装置３０で実行される制御アルゴリズムについて図２を用いて説明する。
【００３１】
図２においてプログラムがスタートされると、まずステップ〔１〕で撮像映像とパノラマ画像の各々の表示領域をモニタ６０上に設定する処理が行われる。これによってモニタ６０上には、例えば図１中に示すように、撮像映像の表示領域６１と、パノラマ画像の表示領域６２とが設定される。そしてこの内の表示領域６１に例えば撮像装置１０から入力される映像信号が表示される。
【００３２】
さらにステップ〔２〕で、例えばモードコントローラ４２と周期的に通信を行うためのタイマーが設定される。そしてこれらの初期設定が完了すると、ステップ〔３〕で、各種の発生されるイベントの待機状態に推移される。なお発生されるイベントは、上述のステップ〔２〕で設定されたタイマーイベント（詳細は後述）と、後述のパノラマ画像の作成要求イベントである。
【００３３】
ここでタイマーイベントの詳細について図４を用いて説明する。なおこのタイマーイベントは、例えばモードコントローラ４２と周期的に通信を行うために発生されるイベントである。
【００３４】
そこでこのイベントが発生されると、ステップ〔１１〕で通信ポートの設定が完了しているか否か判断され、初回のみ通信ポートの設定が完了していないのでステップ〔１２〕で通信ポートの開設処理が行われる。なお、上述の装置では、通信ポートとして例えばコンピュータ装置３０上のＲＳ２３２Ｃポートの開設が行われる。
【００３５】
さらに２回目以降のタイマーイベントでは、ステップ〔１３〕で受信データの有無が判断され、受信データが有る時はステップ〔１４〕で受信データの解析処理が行われる。すなわちこのステップ〔１４〕では、例えばモードコントローラ４２との通信によって、レンズブロック部１１の変倍用レンズの位置情報、回転雲台５０のパン、チルトの各方向の位置情報が取得される。そしてこれらの情報からそれぞれズームの倍率情報、パン、チルトの角度情報が取り出される。
【００３６】
次にステップ〔１５〕では、データの転送要求（Ｆｌａｇ ｓｏ）の有無が確認される。そして転送要求が有る（Ｔｒｕｅ）のときは、データはすでに送信バッファに格納されているので、ステップ〔１６〕で直ちにこの送信バッファのデータを用いて転送処理が行われると共に、転送要求が無し（Ｆｌａｇ ｓｏ＝Ｆａｌｓｅ）にされる。
【００３７】
そしてステップ〔１５〕で転送要求が無い（Ｆａｌｓｅ）のときは、ステップ〔１７〕〔１８〕〔１９〕でそれぞれ内部カウンタ（ｒｅｑ ｃｎｔ）の値が判断される。ここで（ｒｅｑ ｃｎｔ＝０）のときは、ステップ〔１７〕からステップ〔２０〕に進められて、回転雲台５０のモータ５１、５２を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。
【００３８】
また（ｒｅｑ ｃｎｔ＝１）のときは、ステップ〔１８〕からステップ〔２１〕に進められて、レンズブロック部１１のモータ１６を駆動するための絶対位置駆動要求の通信データの転送処理が行われる。また（ｒｅｑ ｃｎｔ＝２）のときは、ステップ〔１９〕からステップ〔２２〕に進められて、後述するパノラマ画像の作成処理が行われる。
【００３９】
そしてステップ〔２０〕〔２１〕が実行された後は、ステップ〔２３〕で（ｒｅｑ ｃｎｔ）をカウントアップする処理が行われる。またステップ〔２２〕が実行された後は、ステップ〔２４〕で（ｒｅｑ ｃｎｔ）を０に戻す処理が行われる。これによって、これらのステップ〔２０〕〔２１〕〔２２〕の処理が、各イベントの処理ごとに循環して実行される。
【００４０】
さらに上述のパノラマ画像の作成処理は以下に述べるようにして行われる。すなわちこのパノラマ画像の作成処理は、例えば図３に示すステップ〔３０〕において、パノラマ作成要求（Ｆｌａｇ ｐａ）が設定されることによって、上述のタイマーイベントのステップ〔２２〕においてこの処理が実行される。
【００４１】
ここでパノラマ画像の作成処理の詳細について図５を用いて説明する。なおこの例では、処理の手順が、内部カウンタ（Ｐａｎｏ ｃｎｔ）に従って行われるものである。
【００４２】
そこでまずステップ〔３１〕〔３２〕で内部カウンタ（Ｐａｎｏ ｃｎｔ）の値が判断される。ここで（Ｐａｎｏ ｃｎｔ＝１）のときは、ステップ〔３１〕からステップ〔３３〕に進められて、撮像装置１０の画角を最広角に設定するようにレンズブロック部１１のモータ１６を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。なお、画角が最広角に設定されることで、より少ない回数の画像取得でパノラマ画像が形成される。
【００４３】
また、（Ｐａｎｏ ｃｎｔ＝２）のときは、ステップ〔３２〕からステップ〔３４〕に進められて、撮像装置１０の撮像範囲をパノラマ画像の作成処理で最初に画像取得を行う位置に設定するように、回転雲台５０のモータ５１、５２を駆動する処理が行われると共に、（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われる。
【００４４】
さらに（Ｐａｎｏ ｃｎｔ）が３以上のときは、ステップ〔３５〕〔３６〕で上述のステップ〔３３〕〔３４〕で設定されたズーム位置及び撮像範囲に移動されたことが確認される。そしてこれらの設定位置に到達した場合には、ステップ〔３７〕で最初の画像取得が行われる。さらにステップ〔３８〕で次の画像取得位置に回転雲台５０のモータ５１、５２を駆動する処理が行われる。
【００４５】
また、ステップ〔３９〕で先に取得した画像の水平、垂直方向への圧縮処理等が行われ、ステップ〔４０〕でパノラマ画像の作成状況がモニタ６０の表示領域６２に表示される。さらにステップ〔４１〕で（Ｐａｎｏ ｃｎｔ）をカウントアップする処理が行われ、ステップ〔４２〕でパノラマ画像が完成されたか否か判断され、完成していないときは以上の動作が繰り返される。
【００４６】
そしてステップ〔４２〕でパノラマ画像が完成されると、ステップ〔４３〕でパノラマ作成要求（Ｆｌａｇ ｐａ）が無し（Ｆｌａｇ ｐａ＝Ｆａｌｓｅ）にされると共に、ステップ〔４４〕で完成されたパノラマ画像が保存されて、動作が終了される。
【００４７】
このようにして、例えば回転雲台５０によって撮像装置１０の撮像範囲が順次移動されながら取得された画像が圧縮処理されながら連結されて、パノラマ画像が形成される。なお、ここで回転雲台５０は、指令される目標位置に対して常に同じ方向から進入するように動作される。これによって、例えば画像の連結の際に発生し得る駆動系の機構の遊び（ギアのバックラッシュ等）による連結画像のずれを補正することができるものである。
【００４８】
そしてこの装置において、上述のパノラマ画像の形成で連結される元の映像信号は、撮像条件が一定でないために、そのまま連結すると露出やホワイトバランス等が部分によって不揃いになり、画質の均一なパノラマ画像を得ることができない。そこで上述の装置においては、コンピュータ装置３０の画像処理装置３３において画像処理を施し、画質の均一なパノラマ画像を得るようにしている。
【００４９】
すなわち図６は、そのための画像処理の一例を示すものである。この図６において、パノラマ画像を形成する各撮像信号には、それぞれの撮像時刻や、位置情報レンズ制御情報、露出制御情報、ホワイトバランス制御情報、画質制御情報等の撮像条件が付属して記憶されている。
【００５０】
そこで図６のＡに示すような連結される各映像信号から、例えば平均輝度情報を抽出し、それぞれの撮像条件に応じた重み付けをした後、予め設定されている基準輝度と比較して、各画素の補正量を決定（図６のＢ）する。この補正を実行することによって、パノラマ画像の全体としての露出が均一にされる。
【００５１】
さらにその後、例えば一定以上の輝度を持つ画素の赤（Ｒ）緑（Ｇ）青（Ｂ）の積分を求め、白からのずれ量を算出して、各画素に対してのホワイトバランスの調整（図６のＣ）を行う。これによって、例えば図６のＤに示すような画質の均一なパノラマ画像を得ることができる。
【００５２】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、その際の撮像時刻及び／または撮像条件を記憶することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができる。
【００５３】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また保存画像に嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００５４】
さらに上述の装置において、作成されたパノラマ画像は、上述のコンピュータモニタ６０のパノラマ画像の表示領域６２に表示される。この場合にモニタ６０上には、上述の表示領域６１、６２と共に、例えば図７に示すような操作ボタン６３が表示される。
【００５５】
そしてこのようなコンピュータモニタ６０上において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００５６】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域の座標と移動命令がモードコントローラ４２に送信される。これによってモードコントローラ４２では、上述のタイマーイベントのステップ〔１４〕で受信されたデータが解析処理され、この解析されたデータに従って回転雲台５０を駆動して、指示された画素を含む目標の撮像領域を撮像するように制御が行われる。
【００５７】
すなわち使用者は、例えばコンピュータモニタ６０上のパノラマ画像を確認しながら、ポインティングデバイス（マウス）等の入力手段を利用して、詳しく観察したい場所を指示する。この指示によって、撮像装置１０は回転雲台５０により指示された方向に向けられ、その場所の現在の映像が撮像映像の表示領域６１に表示される。
【００５８】
そして使用者は、この撮像映像の表示領域６１に表示される画像を観察しながら、記録したい映像になったらモニタ６０上の操作ボタン６３の記録開始ボタンをポインティングデバイス（マウス）等で押すことによって、必要な映像をハードディスク等の記憶装置３２に記憶（保存）することができる。
【００５９】
なおこの保存される映像は、使用者が記録開始ボタンを押した瞬間の静止画であってもよいし、また任意の操作ボタン６３の操作によって所望の長さの動画を保存することもできる。あるいは記憶装置３２の容量に余裕がない場合には、静止画を利用した間欠動画を保存してもよい。そして、これらの静止画、動画、間欠動画の記憶（保存）の際にも、上述の撮像時刻や撮像条件のデータが付属して記憶される。
【００６０】
そこで、さらにこのようにして記憶（保存）された映像を用いてのパノラマ画像の作成が次のようにして行われる。
【００６１】
すなわち、上述の図７に示すようなコンピュータモニタ６０の表示において、使用者が、ポインティングデバイス（マウス）等の入力手段によって表示領域６２中の任意の画素を指示すると、例えば表示領域６２の左上隅を原点として指示された画素の座標が取得され、取得された指示点の座標がコンピュータ装置３０に転送される。
【００６２】
そこでコンピュータ装置３０では、転送された座標から指示点の画素を含む撮像領域を判別し、この撮像領域を含む部分画像が保存されている場合には、パノラマ画像上にその領域を例えば着色された境界線で囲う等によって表示すると共に、そこに保存された画像を表示する。これによってパノラマ画像上で所望の領域の保存画像を見ることができる。
【００６３】
この場合に、パノラマ画像上では画像は圧縮されて表示されるので、詳細に見たい場合には表示領域６２外に拡大して表示することもできる。その場合には、例えば撮像映像の表示領域６１への表示や、拡大補完してモニタ６０の画面全体に表示することもできる。
【００６４】
また、上述の指示された同一の領域に複数の画像が保存されている場合には、例えばモニタ６０上の操作ボタン６３の操作によって所望の画像を検索することができる。この場合に画像の検索は、上述の映像信号と共に記憶された撮像時刻や撮像条件等を指定して行うことができる。
【００６５】
さらに上述のパノラマ画像上で保存画像を見る場合に、指定された領域の画像を単純にパノラマ画像に重ねて表示すると、その撮影条件に差異がある場合に不自然な画像となってしまう。そこでそのような場合には、上述の図６に示したと同様の処理を行うことで、画質の均一なパノラマ画像を得ることができる。
【００６６】
従ってこの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができる。
【００６７】
これによって、従来の装置では、高価な広角系のレンズを用いても解像度が低下してしまう恐れがあり、また例えば指示された部分領域の映像信号を嵌め込み合成してパノラマ画像を形成する方法では、例えば撮像時刻や撮像条件の変化に対して違和感を生じる等の問題があったものを、本発明によればこれらの問題点を解消することができる。
【００６８】
なお、上述の装置において、上述の図３のステップ〔３０〕におけるパノラマ作成要求（Ｆｌａｇ ｐａ）の設定は、例えば使用者がモニタ６０上に示されるボタンを操作したり、いわゆるリモートコントロールによって行うこともできるが、さらに撮影時刻の指定による設定や、画像認識（処理）、各種のセンサの検知等によって自動的に設定が行われるようにすることもできる。
【００６９】
すなわち、例えば撮影時刻の指定による設定を行う場合には、例えば図１のコンピュータ装置３０に付属されるキーボードやいわゆるマウス等のポインティングデバイス等の入力装置３５によってパノラマ撮影を行う時刻を設定することにより、その時刻が記憶装置３２に保存される。
【００７０】
そして例えば図２のイベント判定のステップ〔３〕において、コンピュータ装置３０に内蔵された時計（図示せず）と保存された設定時刻とを比較し、両者が一致したときにパノラマ画像の作成要求が指令され、撮影が行われる。なお、時刻は複数を設定したり、また一定の時間間隔を指示することによって、自動的に連続撮影を行うことも可能である。
【００７１】
あるいは、撮像装置１０から得られる映像情報を現在と過去とで比較して、その差異を検出して自動的にパノラマ画像の作成要求が指令されるようにすることもできる。ここで得られる映像情報とは、画像の輝度、色差、輪郭、カラーバランス等である。
【００７２】
そこで例えば輝度情報を利用する方法では、撮像装置１０から現在映出されている画像の部分の輝度平均が、撮影されて記憶装置３２に保存されているパノラマ画像の一部分の輝度平均と比較される。そしてその差が一定以上に開いたときにパノラマ画像の作成要求が指令され、撮影が行われる。そして作成されたパノラマ画像は直ちに、モニタ６０等に映出される。
【００７３】
なおこの方法では、風景等の撮影において、時間経過と共に周囲の明るさが変化しているような場合に、自動的にパノラマ画像が撮影更新されるので、常に現在の撮像装置１０で撮像されている映像に近いパノラマ画像を提供することが可能となるものである。
【００７４】
また、例えば図８に示すように、撮像装置１０で撮像されている被写体について代表点を指定し、その輝度と色差情報を組み合わせてモデル化して、その位置情報と共に記憶装置３２に保存する。そして同一の範囲を撮像装置１０により常に撮像し、被写体モデルの位置座標に差異が生じたときにパノラマ画像の作成要求が指令され、撮影を行うことが可能である。
【００７５】
すなわち図８のＡにおいて、元の被写体モデルの位置座標（Ｘ０、Ｙ０）が、図８のＢに示すように位置座標（Ｘ１、Ｙ１）になったときに、Ｘ０≠Ｘ１またはＹ０≠Ｙ１を判断して、図８のＣに示すように被写体が移動したと認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。この方法によって、上述の装置を動態監視システムとして利用することができる。
【００７６】
この他、マイクロフォンのような音声情報を得られる手段を備え、音声の検出に伴ってパノラマ画像の作成要求を指令して撮影を開始することも可能である。この場合には、例えば図９に示すように、撮像装置１０が回転雲台５０等の駆動手段によって移動されて撮像可能な範囲に、例えば指向性マイクロフォンを複数設置する。これらの指向性マイクロフォンで収音された音声情報が図１のコンピュータ装置３０に入力される。
【００７７】
そしてこのコンピュータ装置３０では、マイクロフォンで収音された音声情報の中に特定の音声情報を検出すると、パノラマ画像の作成要求を指令すると共に、その音声情報を検出したマイクロフォンの指向性がどの方向であるか記憶し、必要ならばその方向から撮影を行ってパノラマ画像を更新することができる。
【００７８】
このようにして、特定の音声情報の検出によって被写体の変化を認識し、パノラマ画像の作成要求を指令して、撮影を開始することができる。またこの方法では、同様に光センサや焦電センサ等の各種センサを用いて、それぞれ必要に応じた検出と、パノラマ画像の更新を行うことができるものである。
【００７９】
さらに上述の図１の装置において、記録手段としての記憶装置３２を設けたことによって、この装置は記録装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と共に、その撮像の際の撮像時刻や撮像条件が記録されるものである。
【００８０】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で記録することができるものである。
【００８１】
さらに上述の図１の装置において、映像信号の処理手段としての画像処理装置３３を設けたことによって、この装置は処理装置として実施することができる。なおこの場合に画像処理装置３３では、撮像装置１０からの映像信号を連結してパノラマ画像を形成すると共に、撮像時刻や撮像条件等の変化に対して連結される映像信号の補正を行うものである。
【００８２】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で形成することができるものである。
【００８３】
さらに上述の図１の装置において、表示手段としてのコンピュータモニタ６０を設けたことによって、この装置は表示装置として実施することができる。
【００８４】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号を合成して広い画角を有する映像信号を形成すると共に、この映像信号を表示手段に表示することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００８５】
さらに上述の図１の装置において、再生手段としての記憶装置３２を設けたことによって、この装置は再生装置として実施することができる。なおこの場合に記憶装置３２では、撮像装置１０からの映像信号と、その撮像の際の撮像時刻や撮像条件が記録されて再生されるものである。
【００８６】
従ってこの装置において、撮像範囲が順次変化された映像信号、その撮像の際の撮像時刻や撮像条件を再生し、この再生映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で再生することができるものである。
【００８７】
さらに上述の図１の装置において、コンピュータ装置３０からコンピュータモニタ６０に送られる信号をモデム（図示せず）を介して、例えばインターネットのようなコンピュータネットワークに送出することによって、この装置は伝送装置として実施することができる。
【００８８】
すなわちこのようなコンピュータネットワークにおいて、遠隔地に設置された撮像装置１０〜コンピュータ装置３０〜回転雲台５０の構成に対して、任意のコンピュータ装置と表示装置とモデムを有する使用者側の装置からネットワークを通じてアクセスを行う。これによって、その時の撮像画像と、例えばコンピュータ装置３０の記憶装置３２に保存されているパノラマ画像を、例えば図１のモニタ６０と同様の画面構成で使用者側の表示装置に得ることができる。
【００８９】
従ってこの装置において、遠隔地に設置された撮像手段で撮像された映像信号を合成して広い画角を有する映像信号を形成することによって、簡単な構成で、天候や時間等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で観視することができるものである。
【００９０】
さらに上述の図１の装置において、記憶装置３２の記録媒体を着脱自在のものとし、この記録媒体を取り出すことによって、この装置は記録媒体として実施することができる。
【００９１】
従ってこの装置において、撮像手段の撮像範囲を変化させ、このような撮像手段からの映像信号と、その撮像の際の撮像時刻や撮像条件を記録することによって、この記録媒体を再生し連結することで、簡単な構成で、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を、高解像度で得ることができるものである。
【００９２】
またこれらの装置において、形成された映像信号を表示する表示手段上で指示された部分領域の映像信号の撮像条件に従って他の部分領域の映像信号を補正することによって、パノラマ画像の一部分のみを変更した場合にも、撮像時刻や撮像条件等の変化に対して違和感を生じることのないパノラマ画像を得ることができるものである。
【００９３】
さらに上述の装置において、撮像の際の撮像時刻及び／または撮像条件等の情報を、撮像された映像信号と共に記憶する際には、例えば図１０のＡに示すように、通常の画像形式の先頭にこれらの情報を付加して保存する。あるいは、同図のＢに示すように、各映像のファイルとは別に、撮像時刻及び／または撮像条件等の情報だけをまとめて記憶し、各映像ファイルと対応づける方法を用いることができる。
【００９４】
なお、上述の装置においては、例えば撮像装置１０の１台を回転雲台５０によって撮像範囲を変化させてパノラマ画像の撮像を行うこととしたが、これはこのような手段に限られるものではない。すなわち、このようなパノラマ画像の撮像を行う手段としては、例えばデジタル静止画カメラを用いて撮像された一連の映像を基に、あるいはビデオカメラにより撮像された動画像を基にパノラマ画像を作成することができる。
【００９５】
また、回転雲台５０を用いる代わりに、例えば複数台の撮像装置をパノラマ画像を形成する各方向に向けて配置し、これらの撮像装置からの映像信号を順次切り換えて駆動手段としても、同様の映像信号の取得を行うことができるものである。
【００９６】
さらに上述の装置においては、記憶された撮像時刻や撮像条件等の情報を用いて撮像された映像信号の検索を迅速且つ容易に行うことができる。これによって、例えば上述のモニタ６０上の操作ボタン６３の操作によって所望の画像を検索する場合にも、検索を極めて円滑に行うことができるものである。
【図面の簡単な説明】
【００９７】
【図１】本発明の適用される撮像、表示装置の一例のシステム全体の構成図である。
【図２】その動作の説明のためのフローチャート図である。
【図３】その動作の説明のためのフローチャート図である。
【図４】その動作の説明のためのフローチャート図である。
【図５】その動作の説明のためのフローチャート図である。
【図６】その説明のための図である。
【図７】その説明のための図である。
【図８】その説明のための図である。
【図９】その説明のための図である。
【図１０】その説明のための図である。
【符号の説明】
【００９８】
１０…撮像装置、１１…レンズブロック部、１２…ＣＣＤ、１３…信号分離／自動利得制御装置、１４…Ａ／Ｄ変換装置、１５…信号処理装置、１６…ズーム用ステッピングモータ、２０…テレビジョンモニタ、３０…コンピュータ、３１…ビデオキャプチャーボード、３２…記憶装置、３３…画像処理装置、３４…制御装置、３５…入力装置、４１…カメラコントローラ、４２…モードコントローラ、４３…パンチルタコントローラ、５０…回転雲台、５１…パン用ステッピングモータ、５２…チルト用ステッピングモータ、６０…コンピュータモニタ、６１…撮像映像の表示領域、６２…パノラマ画像の表示領域