(57)【要約】【課題】  遠隔操作により高品位なパノラマ画像を容易に形成するパノラマ撮像装置を提供する。【解決手段】  撮像装置１０は変倍用レンズ１６を駆動することによって撮像する画角を変化させることが可能であり、カメラコントローラ２の駆動命令により、ズームモータ１７を回転させて調整する。また、撮像装置１０はパン、チルトの２軸の回転方向に自由度を有する回転雲台４の上に設置されていて、パンチルタコントローラ３の駆動命令により、パンモータ５、およびチルトモータ６を回転させ、撮像装置１０の撮影方向を調整する。調整の指令はコンピュータ３０からＲＳ２３２Ｃ等の通信回線を介してモードコントローラ１に伝えられ、更にカメラコントローラ２、パンチルタコントローラ３に伝達される。撮影された画像とパノラマ画像はモニター２１に表示され操作者がこれを観視しながら撮影画角を指示する。【選択図】  図１
2005348448.tif 000002
【特許請求の範囲】
【請求項１】
被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段とを具備し、前記撮影し記録した画像を順次表示してパノラマ映像を形成していくことを特徴とするパノラマ撮像装置。
【請求項２】
被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段と、撮像手段が現に撮影している映像を既に得られているパノラマ映像上の所定の位置に重ねて表示する表示制御手段とを具備したことを特徴とするパノラマ撮像装置。
【請求項３】
前記撮像手段から出力される映像信号、および前記記録手段に記録されている映像信号を伝送する伝送手段と、該伝送手段を制御する制御手段とを具備したことを特徴とする、請求項１または請求項２に記載のパノラマ撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、高品位のパノラマ画像を、遠隔操作を含めて容易に作成できるパノラマ撮像装置に関する。
【背景技術】
【０００２】
従来、パノラマ撮影には高価な広角のレンズを撮像装置に装着して行われてきた。しかしながら、近年、低コストの家庭用ビデオカメラの普及に伴い、画像処理技術を導入して広角のレンズを用いずに高品質なパノラマ画像を得る技術が研究され提案されてきている。
【０００３】
特に、インターネット等の通信回線を利用して、遠隔地に設置されているビデオカメラの周囲のパノラマ映像を操作者に提供することにより、ビデオカメラを用いた観察、監視、案内等の作業により良い操作性と、視認性を与えることが可能となってきている。
【０００４】
家庭用ビデオカメラ等を用いてパノラマ画像を得る場合、パノラマ画像の構成画像を順次撮影して、ハードディスク等の記録装置に保存しておき、撮影終了後にそれらを連結して１枚のパノラマ画像を作成する方法が採られている。
【０００５】
従来技術として、特許文献１には、被写体を撮像して作成した複数枚の縮小画像をつなぎ合わせてパノラマ静止画像を作成するパノラマ静止画作成装置が開示されている。
【０００６】
【特許文献１】特開平８−３０７７７０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかしながら、この場合には各映像を撮影している際は、途中の撮影映像が表示されず、撮像装置の駆動中、および通信回線の遅延時間中は現在の撮像の進行状態が分かりにくいという問題があった。また、現在撮影している撮像装置の映像が、パノラマ画像のどの部分に当たるものなのか、視覚的に確認することが困難であった。
【０００８】
従って本発明は、パノラマ画像を形成する各映像を撮影する際に、撮像装置の駆動中、および通信回線の遅延時間中における現在の撮像の進行状態と、現在撮影している撮像装置の映像が、パノラマ画像のどの部分に当たるものかを操作者に視覚的に与え、高品位なパノラマ画像を容易に形成するパノラマ撮像装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
本発明は、上記課題に鑑みなされたものであり、被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段とを具備し、前記撮影し記録した画像を順次表示してパノラマ映像を形成するパノラマ撮像装置を構成する。
【００１０】
また、被写体を撮影し、その映像信号を出力する撮像手段と、前記撮像手段から出力される映像信号を記録する記録手段と、前記撮像手段から出力される映像信号を表示する表示手段と、前記撮像手段の画角を設定する駆動手段と、前記撮像手段と前記駆動手段とを制御する制御手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段と、撮像手段が現に撮影している映像を既に得られているパノラマ映像上の所定の位置に重ねて表示する表示制御手段とを具備したパノラマ撮像装置を構成する。
【００１１】
さらに、前記パノラマ撮像装置に撮像手段から出力される映像信号、および記録手段に記録されている映像信号を伝送する伝送手段と、該伝送手段を制御する制御手段とを具備して上記課題を解決する。
【００１２】
パノラマ画像を表示する領域のうち撮像の終了していない部分を、例えばグレーで表示して１枚のパノラマ映像として表示するため、パノラマ画像の撮影および画像処理の進行状況を視覚的に確認できる。また、既に作成したパノラマ画像に現在撮影している映像を、所定の位置にはめ込んで表示することにより、画像を取り込む前にパノラマ画像との位置関係を視覚的に確認できる。さらに、上記パノラマ撮像装置に映像信号を伝送する伝送手段と伝送を制御する制御手段とを具備することにより、遠隔地からの操作で高品位なパノラマ画像を容易に形成できる。
【発明の効果】
【００１３】
本発明のパノラマ撮像装置によると、パノラマ画像を表示する領域のうち撮像の終了していない部分を、例えばグレーで表示して１枚のパノラマ映像として表示するため、パノラマ画像の撮影および画像処理の進行状況を視覚的に確認でき、また、既に作成したパノラマ画像に現在撮影している映像を、所定の位置にはめ込んで表示することにより、画像を取り込む前にパノラマ画像との位置関係を視覚的に確認できる。
【００１４】
さらに、上記パノラマ撮像装置に映像信号を伝送する伝送手段と伝送を制御する制御手段とを具備することにより、遠隔地からの操作においてもパノラマ画像の撮影と作成の進行状況、および現在撮影している映像がパノラマ画像の中で占める位置を操作者が視覚的に確認でき、高品位のパノラマ画像を容易に作成することが可能となる。
【発明を実施するための最良の形態】
【００１５】
本発明に係わる実施の形態の例について、図１および図７を参照して説明する。図１は本発明に係わる、パノラマ撮像装置のシステム構成を示し、図２はその制御アルゴリズムを示す。また、図３はパノラマ撮像装置のタイマーイベントのアルゴリズムを示し、図４R>４はパノラマ作成イベントのアルゴリズムを示し、図５はパノラマ画像作成処理のアルゴリズムを示す。さらに、図６はパノラマ画像の作成進行状態を示す図であり、図７はパノラマ画像上に現在撮影している映像の表示形態を示す図である。
【００１６】
まず、本発明のパノラマ撮像装置の構成について図１を参照して説明する。撮像装置１０は例えばビデオカメラであって、被写体から到達する撮像光をレンズブロック１１のレンズ、絞りを通して固体撮像素子であるＣＣＤ１２上に結像させて視野映像を映像信号に変換した後、信号分離、自動利得調整を行う。信号分離、自動利得調整はＳＨ／ＡＧＣ１３により、映像信号をサンプルホールドすると共に、オートアイリスの制御信号によって所定のゲインとなるように利得制御が行われる。
【００１７】
このようにして得られた映像信号はＡ／Ｄ（アナログデジタル変換装置）１４でデジタル信号に変換され、信号処理装置１５に供給される。信号処理装置１５では供給された信号を輝度、色差、ビデオ信号等の信号に変換し、モニター２０やコンピュータ３０に内蔵するビデオキャプチャー装置３１に供給する。
【００１８】
また、撮像装置１０のレンズブロック１１は変倍用レンズ１６を駆動することによって撮像する画角を変化させることが可能なズームレンズであり、カメラコントローラ２の駆動命令により、例えばステッピングモータ等を用いたズームモータ１７を回転させ、変倍用レンズ１６を駆動する。このカメラコントローラ２は撮像装置１０のフォーカス、ズーム等のレンズ制御、絞り、ゲイン、電子シャッタースピード等の露出制御、ホワイトバランス制御、画質制御等を常時行うコントローラであると共に、モードコントローラ１と撮像装置１０との間のインターフェースをとっている。
【００１９】
変倍用レンズ１６の制御に関連するカメラコントローラ２のインターフェース制御として、モードコントローラ１から送られてくる変倍用レンズ１６の駆動要求に対して、要求された位置に変倍用レンズ１６が駆動されるように制御信号をモータのドライバーに出力してズームモータ１７の位置を制御すると共に、現在のズームモータ１７の位置を常時モードコントローラ１に伝達する。
【００２０】
また、撮像装置１０はパン、チルトといった２軸の回転方向に自由度を有する装置、例えば回転雲台４の上に設置されていて、パンチルタコントローラ３の駆動命令により、ステッピングモータ等を用いたパンモータ５、およびチルトモータ６を回転させ、回転雲台４は２つの軸方向に駆動される。このパンチルタコントローラ３はモードコントローラ１より送られてくる回転雲台４のパン、チルトの各々の方向の駆動要求に対して、回転雲台４が要求された位置に駆動されるように制御信号をモータのドライバーに出力すると共に、現在の回転雲台４の位置を常時モードコントローラ１に伝達する。
【００２１】
モードコントローラ１は回転雲台４、撮像装置１０の設定状態、その他外部から入力される情報に従い、システムを制御する。また、モードコントローラ１０はコンピュータ３０と例えばＲＳ２３２Ｃにより接続され、コンピュータ３０からの絶対位置駆動要求に対して、回転雲台４、レンズブロック１１の変倍用レンズ１６を駆動するようにカメラコントローラ２とパンチルタコントローラ３に指令を伝達し、一方、カメラコントローラ２とパンチルタコントローラ３から送られてくる現在の位置情報をコンピュータ３０に伝達する。
【００２２】
本発明では画像処理装置３２や制御装置３４としてコンピュータ３０の機能を用い、また、操作のためにコンピュータ３０に接続されたモニター２１のグラフィック表示を使用する。ここで入力されたパノラマ画像形成のための操作指令に基づいてモードコントローラ１に伝達する各制御データが決定される。また、別途、入力装置３５を設け、ここからも操作指令を入力することが可能である。
【００２３】
また、撮像装置１０で得られた映像の表示や、その映像からパノラマ画像を作成し、表示装置に表示するため、ビデオキャプチャー装置３１がコンピュータ３０に内蔵されている。このビデオキャプチャー装置３１は撮像装置１０より入力されてくる映像信号を、任意の画質でモニター２１に表示することが可能であり、また、キャプチャー信号により任意の画像フォーマット（例えばビットマップ形式、ＪＰＥＧ形式の静止画、ＪＰＥＧ形式の動画等）に、任意の画質で取り込み、コンピュータ３０内のハードディスク等で構成される記憶装置３３に記憶することができる。
【００２４】
つぎに、コンピュータ３０内の本発明のパノラマ撮像装置のアルゴリズムについて図２を参照して説明する。まず、プログラムがスタートすると、モニター２１上における、撮像装置１０からの撮影映像とパノラマ画像の各々の表示領域を設定する。つぎに、モードコントローラ１と周期的に通信を行うためにタイマーを設定する。これらの初期設定動作が完了すると、各種のイベント待ち状態に推移する。発生するイベントとしては、先に設定したタイマーイベントとパノラマ作成イベントがある。
【００２５】
つぎに、タイマーイベントの詳細について図３を参照して説明する。本発明に関するタイマーイベントは、周期的にモードコントローラ１と通信を行うために発生するイベントである。このイベントが発生すると初回のみ通信ポートの開設処理を行う。本発明ではコンピュータ３０上のＲＳ２３２Ｃポートの開設がこの開設処理にあたる。
【００２６】
それ以降のタイマーイベントでは受信データの確認と解析処理、回転雲台４の駆動命令等の送信バッファに蓄えられたデータの送信処理、回転雲台４とレンズブロック１１の状態確認要求のための通信データの送信処理が行われる。受信データの確認と解析処理では受信バッファのデータの有無を確認し、もし受信データがある場合はそれを解析し、モードコントローラ１に要求した回転雲台４の位置情報や、レンズブロック１１の位置情報として取得する。
【００２７】
これらのデータはパンチルタ角度、レンズブロック１１の倍率情報に変換される。つぎにデータの送信要求の有無を確認する。データ送信要求がある場合は、送信バッファに格納されているデータを用いて送信処理がなされる。送信処理がない場合は、更に回転雲台４の位置要求命令設定処理、レンズブロック１１の位置要求命令設定処理、パノラマ作成処理等を行う。本発明では実行する処理は内部カウンタ（ｒｅｑ＿ｃｎｔ）を用い、イベント処理毎に、これら３つの処理のうちのいずれか１つの処理を行っている。
【００２８】
つぎに、パノラマ作成処理について図４および図５を参照して説明する。パノラマ作成は図４に示すパノラマ作成要求イベントによって設定される。このイベントが発生すると、タイマーイベント時にパノラマ作成処理が実行される。図５はパノラマ作成処理の詳細なアルゴリズムを示し、処理の手順を状態の指標である〔ＰａｎｏＣｎｔ〕に従って行っている。まず、処理が開始されると撮像装置１０の画角を最広角に設定する処理を行う（ＰａｎｏＣｎｔ＝＝１）。これはより広範囲のパノラマ画像を少ない画像取得回数で行うためである。
【００２９】
つぎのステップ（ＰａｎｏＣｎｔ＝＝２）では回転雲台４を、画像を取得する最初の位置に移動する処理を行う。また、ＰａｎｏＣｎｔが３以上の場合、回転雲台４およびレンズブロック１１を予め設定した状態に移動させ、設定した位置に到達したことを確認した後、画像の取り込みを行う。さらに、つぎの画像取得位置に回転雲台４を移動する処理を行い、続いて先に取り込んだ画像の水平、垂直方向の圧縮処理等を行って、パノラマ画像作成の進行状況をモニター２１上に表示する。
【００３０】
以上の動作をパノラマ画像が完成するまで行い、パノラマ画像完成後、作成された画像を保存し動作を終了する。尚、駆動装置は指令される目標位置に対して常に同じ方向から進入するようにして、駆動系の機構の遊び、例えばギアのバックラッシュ等による画像連結の際に画像ズレが発生することを防止する。
【００３１】
図６はＡ〜Ｊからなる１０枚の映像からなるパノラマ画像の作成過程が示されていて、同図（ａ）は６枚目（映像Ｆ）までが連結処理された状態を示している。Ａ〜Ｆまでの６枚がモニター２１に表示され、Ｇ〜Ｊの４枚に相当する部分は無地のままそのスペースが確保されている。つぎに７枚目（映像Ｇ）の映像が得られると同図（ｂ）に示すようにパノラマ画像の映像Ｇの位置にはめ込まれる。順次、上述したようにレンズブロック１１と回転雲台４の位置を調整して１０枚目（映像Ｊ）までの撮影が行われて、同図（ｃ）に示すような１枚のパノラマ画像が形成される。
【００３２】
また、図７はモニター２１に表示されている完成したパノラマ画像の上に、現在撮影している映像を重ねて表示しているようすを示していて、現在撮影している映像がパノラマ画像のどの位置に当たるかを確認しながら画像を取り込むことができる。撮像位置は、例えばマウス等の図１に示す入力装置３５により、回転雲台４とレンズブロック１１の位置を制御して決定することが可能である。
【００３３】
また、現在取り込んでいる画像を確認しやすくするために、画像の回りに所定の枠４０を設けたり、取り込み画像を縮小して表示したり、さらには従前のパノラマ画像を輝度を低下させたり、モノクロで表示するようにしてもよい。この表示方法は既に作成されたパノラマ画像の上に新たにパノラマ画像を作成していく場合に用いることにより、新たに作成しているパノラマ画像の確認が容易になる。
【００３４】
さらに、図１に示す構成のパノラマ撮像装置では、ビデオキャプチャー装置３１を通してコンピュータ３０に取り入れられる映像信号や記憶装置３３に記憶された映像信号をモデム等の伝送装置を用いて、インターネット等の通信回線に送出する映像の発信源とすることも可能となる。
【００３５】
以上の説明から明らかなように、本発明のパノラマ撮像装置の実施の形態によれば、パノラマ画像を表示する領域のうち撮像の終了していない部分を、例えばグレーで表示して１枚のパノラマ映像として表示するため、パノラマ画像の撮影および画像処理の進行状況を視覚的に確認でき、また、既に作成したパノラマ画像に現在撮影している映像を、所定の位置にはめ込んで表示することにより、画像を取り込む前にパノラマ画像との位置関係を視覚的に確認できる。
【００３６】
さらに、上記パノラマ撮像装置に映像信号を伝送する伝送手段と伝送を制御する制御手段とを具備することにより、遠隔地からの操作においてもパノラマ画像の撮影と作成の進行状況、および現在撮影している映像がパノラマ画像の中で占める位置を操作者が視覚的に確認でき、高品位のパノラマ画像を容易に作成することが可能となる。
【００３７】
なお、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【図面の簡単な説明】
【００３８】
【図１】本発明に係わる、パノラマ撮像装置のシステム構成を示す図である。
【図２】本発明のパノラマ撮像装置のアルゴリズムを示す図である。
【図３】本発明のパノラマ撮像装置のタイマーイベントのアルゴリズムを示す図である。
【図４】本発明のパノラマ撮像装置のパノラマ作成要求イベントのアルゴリズムを示す図である。
【図５】パノラマ画像作成処理のアルゴリズムを示す図である。
【図６】パノラマ画像の作成進行状態を示す図である。
【図７】パノラマ画像上に現在撮影している映像の表示形態を示す図である。
【符号の説明】
【００３９】
１  モードコントローラ、２  カメラコントローラ、３  パンチルタコントローラ、４  回転雲台、５  パンモータ、６  チルトモータ、１０  撮像装置、１１  レンズブロック、１２  ＣＣＤ、１３  ＳＨ／ＡＧＣ、１４  Ａ／Ｄ、１５  信号処理装置、１６  変倍用レンズ、１７  ズームモータ、２０，２１  モニター、３０  コンピュータ、３１  ビデオキャプチャー装置、３２  画像処理装置、３３  記憶装置、３４  制御装置、３５  入力装置、４０  枠
【図１】
2005348448.tif 000003
【図２】
2005348448.tif 000004
【図３】
2005348448.tif 000005
【図４】
2005348448.tif 000006
【図５】
2005348448.tif 000007
【図６】
2005348448.tif 000008
【図７】
2005348448.tif 000009
【手続補正書】
【提出日】平成17年9月29日(2005.9.29)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
被写体を撮影し、その映像を出力する撮像手段と、
前記撮像手段から出力される映像を表示する表示手段と、
前記撮像手段の撮影位置を設定する駆動手段と、
前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段と、
前記パノラマ映像と前記撮影した映像とを前記表示手段に表示する表示領域を予め設定し、前記撮像手段の撮影位置を移動し設定する毎に、前記被写体を撮影し且つ前記撮影した映像を前記パノラマ映像の中の所定の位置に表示する制御手段とを具備すること
を特徴とするパノラマ撮像装置。
【請求項２】
前記制御手段は、予め設定した前記パノラマ映像の表示領域の中で、既に撮影した位置の映像のみ表示し、他の部分は無地を表示するように制御すること
を特徴とする請求項１記載のパノラマ撮像装置。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００９
【補正方法】変更
【補正の内容】
【０００９】
本発明は、上記課題に鑑みなされたものであり、被写体を撮影し、その映像を出力する撮像手段と、前記撮像手段から出力される映像を表示する表示手段と、前記撮像手段の撮影位置を設定する駆動手段と、前記撮像手段により得られた映像を複数枚連結してパノラマ映像を作成する画像処理手段と、前記パノラマ映像と前記撮影した映像とを前記表示手段に表示する表示領域を予め設定し、前記撮像手段の撮影位置を移動し設定する毎に、前記被写体を撮影し且つ前記撮影した映像を前記パノラマ映像の中の所定の位置に表示する制御手段とを具備することを特徴としている。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００１０
【補正方法】削除
【補正の内容】
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】削除
【補正の内容】
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００１２
【補正方法】変更
【補正の内容】
【００１２】
前記制御手段は、予め設定した前記パノラマ映像の表示領域の中で、既に撮影した位置の映像のみ表示し、他の部分は無地を表示するように制御すること挙げられる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】削除
【補正の内容】