(57)【要約】【課題】  １台のカメラのみで複数ユーザが同時にカメラのパラメータを制御可能であり、かつ広角撮影の可能なカメラ制御システムを提供すること。【解決手段】  配信画像の外周が撮像領域のセンターに来るように自動的に光学PTを行い、配信画像が撮像領域からはみ出ないようにする。配信画像の外周が撮像領域収まらなくなった場合、ズーム倍率の変更をして配信画像を撮像領域内に収める。【選択図】  図１
2007060260.tif 000002
【特許請求の範囲】
【請求項１】
カメラサーバとユーザ端末とからなるカメラ制御システムであって、
ネットワークを介してカメラサーバにカメラ制御コマンドを送信する手段を備えたユーザ端末と、
ネットワークを介してユーザ端末に画像を配信する手段と
カメラの幾何学的パラメータを制御する制御手段と
前記カメラ制御コマンドを受け配信画像を変更する手段と
前記配信画像の外周領域を求める手段と
前記制御手段により前記外周領域を撮像領域の中心に位置させる手段とを備えたカメラサーバとで構成されるカメラ制御システム。
【請求項２】
カメラサーバとユーザ端末とからなるカメラ制御システムであって、
ネットワークを介してカメラサーバにカメラ制御コマンドを送信する手段を備えたユーザ端末と、
ネットワークを介してユーザ端末に画像を配信する手段と
カメラの幾何学的パラメータを制御する制御手段と
前記カメラ制御コマンドを受け配信画像を変更する手段と
前記配信画像の外周領域を求める手段と
前記制御手段により前記外周領域を撮像領域の中心に位置させる手段と
前記外周領域と前記撮像領域とを比較する比較手段とを備えたカメラサーバとで構成され、
前記外周領域が前記撮像領域よりはみ出る場合には前記制御手段により撮像のズーム率を変更することを特徴とするカメラ制御システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はカメラ制御システムに関し、特にユーザが遠隔のカメラのパラメータを制御し、該カメラからの画像を切り替え可能に表示するカメラ制御システムに最適なものである。
【背景技術】
【０００２】
従来、カメラの撮影画像を遠隔の複数ユーザに配信するシステムにおいて、各ユーザがパン／チルト角、ズーム倍率等のカメラのパラメータを制御し、自己の表示画像を切り替えるカメラ制御システムが知られている。しかし、このような従来システムではカメラのパラメータを制御出来るのは一度に一人のユーザであり、他のユーザは順番待ちとなる問題があった。
【０００３】
このような問題を解決するため、１台の固定カメラの画像を画像生成サーバに記録し、記録された画像に対して仮想的にパン、チルト、ズームの操作を行うことで、複数ユーザによるカメラのパラメータの同時制御を実現する方法が特許文献1に開示されている。
【特許文献１】特開２００３−３１９３６４号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながらこの種の従来型システムでは、まずカメラのパラメータを一度に一人しか制御出来ないという問題があった。またこの問題に対応した［特許文献１］でも、１台の固定カメラで撮影対象をすべてカバーするということには難がある。広角カメラの画像が歪むことはよく知られてことであるし、カメラを引いて（遠くに配置して）撮影対象をすべてカバーすると、撮影画素があらくなってしまう。また、風景や観光地の撮影などで１８０゜以上の範囲を撮影したい場合にはまったく対応出来ない。
【０００５】
本発明の目的は、１台のカメラのみで複数ユーザが同時にカメラのパラメータを制御可能であり、かつ広角撮影の可能なカメラ制御システムを提供することである。
【課題を解決するための手段】
【０００６】
本発明のカメラ制御システムは、カメラサーバとユーザ端末とからなるカメラ制御システムであって、ネットワークを介してカメラサーバにカメラ制御コマンドを送信する手段を備えたユーザ端末と、ネットワークを介してユーザ端末に画像を配信する手段とカメラの幾何学的パラメータを制御する制御手段と前記カメラ制御コマンドを受け配信画像を変更する手段と前記配信画像の外周領域を求める手段と前記制御手段により前記外周領域を撮像領域の中心に位置させる手段とを備えたカメラサーバとで構成されることを特徴とする。
【０００７】
本発明の他の様態では、カメラサーバとユーザ端末とからなるカメラ制御システムであって、ネットワークを介してカメラサーバにカメラ制御コマンドを送信する手段を備えたユーザ端末と、ネットワークを介してユーザ端末に画像を配信する手段とカメラの幾何学的パラメータを制御する制御手段と前記カメラ制御コマンドを受け配信画像を変更する手段と前記配信画像の外周領域を求める手段と前記制御手段により前記外周領域を撮像領域の中心に位置させる手段と前記外周領域と前記撮像領域とを比較する比較手段とを備えたカメラサーバとで構成され、前記外周領域が前記撮像領域よりはみ出る場合には前記制御手段により撮像のズーム率を変更することを特徴とする。
【発明の効果】
【０００８】
本発明のカメラ制御システムは、１台のカメラのみで複数ユーザが同時にカメラのパラメータを制御することが出来、かつ広い範囲の撮影を行うことが出来る。
【発明を実施するための最良の形態】
【０００９】
以下、本発明の実施形態を図面に基づいて説明する。
【００１０】
図２は本発明の実施形態におけるカメラ制御システムの構成を示す図である。図中１はカメラサーバであり、２０００×１５００画素の撮影が出来る撮像素子と光学的にパン、チルト、ズームの出来る機構を持ったカメラとを備え、撮影した画像を配信する機能を有している。
【００１１】
また、２、３、４はユーザ端末であり、前記カメラサーバ１とネットワーク５を介して接続されて、パン／チルト角およびズーム倍率等のカメラのパラメータを制御可能である他、カメラサーバから配信された画像を表示する機能を有している。
【００１２】
各ユーザ端末はコンピュータ端末、ＰＤＡ、携帯電話など表示手段、入力手段、およびネットワーク手段を備える端末に適用可能であり、その表示手段には例えば図８のようなＧＵＩ画面が表示される。この図８において、５０１は配信画像であり、ユーザ端末によって多様な解像度となる。以下の説明では、前述のユーザ端末１、２が６４０×４８０、ユーザ端末３が３２０×２４０の解像度を持つ場合を例にあげる。
【００１３】
また、５０２、５０３、５０４はスクロールバーであり、それぞれパン角度、チルト角度、ズーム倍率の設定用である。ユーザはスクロールバー５０２、５０３、５０４を用いてパン角度、チルト角度、ズーム倍率のパラメータを設定し、所望の画像を得ることが出来る。このスクロールバーは、携帯電話など画面の解像度が低い場合にはキー入力手段に割り振っても良い。この場合、表示手段全体に配信画像５０１を表示することも可能である。
【００１４】
図１は本発明の実施形態におけるカメラ制御システムのより詳細な構成を示すブロック図である。図中、１はカメラサーバであり、１０１から１１１の各ブロックで構成される、また、２はユーザ端末であり、２０１から２０９の各ブロックで構成される。３、４もユーザ端末であるが、その構成は端末２と同様のため、詳細の説明は省略する。
【００１５】
カメラサーバ１の構成で、画像入力部１０２はズーム倍率を変更するためのズームレンズ、合焦のためのフォーカスレンズ、光量を調節する絞り、これらを介して入射した光学像を電気信号に変換する２０００×１５００画素の撮像素子などからなる。また、画像入力部１０２からの画像信号を受けた画像処理部１０３は、ユーザ端末へ配信用の画像の切り出し、リサイズ等の処理を行う。
【００１６】
画像送信部１０４は、画像処理部１０３からの画像データを圧縮したり、通信ヘッダを付けたりして１１０のＩ／Ｆ部よりネットワーク５を経由してユーザ端末２、３、４に送信する。コマンド通信部１０９は、やはりＩ／Ｆ部１１０経由でカメラサーバ１とユーザ端末２、３、４との間でコマンドの送受信を行う。ユーザ端末からカメラサーバへの、パン／チルト角およびズーム倍率制御はこのコマンド通信のひとつである。
【００１７】
演算部１０８は、ユーザ端末２、３、４への配信画像からその外周を計算したり、撮像領域内で該外周領域をセンタリングするための演算を行う部分である。この詳細は後述する。
【００１８】
制御部１０７は、カメラの雲台およびそれを駆動するモータ類、すなわちパン／チルト機構並びにパンモータ、チルトモータ、さらに画像入力部１０２のズームレンズを駆動するモータ、およびそれらを駆動するモータドライバ等を制御する部分であり、カメラの幾何学的、光学的パラメータを制御する。
【００１９】
ＣＰＵ１０１は、カメラサーバ１全体の制御を司る部分であり、ＲＯＭ１０５に格納されているプログラムをＲＡＭ１０６にロードして実行する。また、ＣＰＵ１０１はシステムバス１１１を有しており、ここまで説明した各部がシステムバス１１１に接続され、これを介してＣＰＵ１０１が全体制御を行っている。
【００２０】
次に、ユーザ端末２の構成について説明する。画像受信部２０７はカメラサーバ１からネットワーク５を介して送られてくる画像データをＩ／Ｆ部２０８を経由して受信し、圧縮データの伸長、通信ヘッダの除去等を行う。コマンド通信部２０４は、やはりＩ／Ｆ部２０８経由でカメラサーバ１との間でコマンドの送受信を行う。カメラサーバへの、パン／チルト角およびズーム倍率制御はこのコマンド通信のひとつである。
【００２１】
表示部２０３は、ＣＲＴあるいはＬＣＤなどの表示器とその制御部で構成され、画像受信部２０７で受信した画像データの表示や、前述のスクロールバー５０２、５０３、５０４等を表示する。すなわち、図８で示したようなＧＵＩ画面の表示制御を行う。
【００２２】
入力部２０２は、キーボード、マウス、タッチパッドなどで構成され、種々のキャラクタやコードの入力の他、前述のスクロールバー５０２、５０３、５０４のアップ、ダウンにも用いられる。
【００２３】
ＣＰＵ２０１は、ユーザ端末２全体の制御を司る部分であり、ＲＯＭ２０５に格納されているプログラムをＲＡＭ２０６にロードして実行する。また、ＣＰＵ２０１はシステムバス２０９を有しており、ここまで説明した各部がシステムバス２０９に接続され、これを介してＣＰＵ２０１が全体制御を行っている。
【００２４】
次に本発明実施形態におけるカメラ制御システムの動作を説明する。図６はユーザ端末２における本発明実施形態に関わる部分のフォローチャートであり、入力部２０２にてスクロールバー５０２、５０３あるいは５０４の操作を検知した場合に起動される。本プログラムが起動されると、ステップＳ２０１でスクロールバー５０２の操作によるパン指示であるかどうかのチェックを行う。パン指示でなければステップＳ２０３へ進み、パン指示であればステップＳ２０２にてその移動方向（この場合右か左）と移動量をコマンド化してステップＳ２０３へ進む。
【００２５】
ステップＳ２０３では、スクロールバー５０３の操作によるチルト指示であるかどうかのチェックを行う。チルト指示でなければステップＳ２０５へ進み、チルト指示であればステップＳ２０４にてその移動方向（この場合上か下）と移動量をコマンド化してステップＳ２０５へ進む。
【００２６】
ステップＳ２０５では、スクロールバー５０４の操作によるズーム指示であるかどうかのチェックを行う。ズーム指示でなければステップＳ２０７へ進み、ズーム指示であればステップＳ２０６にてその倍率をコマンド化してステップＳ２０７へ進む。
【００２７】
ステップＳ２０７では、ステップＳ２０２、Ｓ２０４あるいはＳ２０６で作成したコマンドを、コマンド通信部２０４よりＩ／Ｆ部２０８を経由してカメラサーバ１へ送信して、本プログラムを終了する。
【００２８】
図７はカメラサーバ１における本発明実施形態に関わる部分のフォローチャートであり、ユーザ端末からパン、チルトあるいはズームコマンドを受けたときに起動される。本プログラムが起動されると、ステップＳ１０１でコマンドに応じた配信領域の移動量、あるいはズーム量より新配信領域の位置を演算部１０８を用いて算出し、さらに新配信領域を含んだ全配信領域の外周を算出する。次にステップＳ１０２では、ステップＳ１０１で算出した外周領域を撮像領域にてセンタリングを実施しステップＳ１０３へ進む。このセンタリングに関しては詳しく後述する。ステップＳ１０３では、ステップＳ１０１で算出した外周領域が撮像領域内に収まるかどうかのチェックを行い、収まればステップＳ１０５へ、収まらなければステップＳ１０４へ進む。ステップＳ１０４では、撮像領域内に外周領域を収めるために必要なズーム率を演算部１０８を用いて算出し、制御部１０７を用いて実際のズーム率を変更する（ここではズームアウトとなる）。ただし、ここでズームアウトすると配信画像サイズが小さくなってしまうので、画像処理部１０３を用いて元のサイズまで拡大する。次のステップＳ１０５では、ステップＳ１０２でセンタリングされた結果、あるいはステップＳ１０４でズームアウトした結果を受けて新配信領域で画像配信を開始し、本プログラムを終了する。
【００２９】
以下図３および図４を用いて、配信画像作成の過程を説明する。図３（ａ）において、１１０１は撮像素子によって一度に撮像可能な領域を示し、前述のようにその解像度は２０００×１５００画素である。２１０１、３１０１、４１０１はそれぞれ各ユーザ端末２、３、４への配信画像であり、その解像度は前述したようにそれぞれ６４０×４８０、６４０×４８０、３２０×２４０である。１５０１は配信画像２１０１、３１０１、４１０１の外周を結んだ領域であり、この場合、上辺は２１０１の上辺、左辺は２１０１の左辺、下辺は４１０１の下辺、右辺は３１０１の右辺で決定しており、この場合のサイズは１２００×９００画素である。また、図中の矢印で示した数字は各辺と撮像領域１１０１の外周との間の画素数を示している。この状態で、領域１５０１は撮像領域１１０１の中で上下、左右ともにセンタリングされており、上下に各３００画素、左右に各４００画素の空き領域がある。
【００３０】
ここで、ユーザが端末３のスクロールバー５０２、５０３を操作して、配信画像が３１０１から右へ２００画素、下へ３００画素移動する場合を考える（図３（ｂ）の３１０２の位置）。領域２１０１、３１０２、４１０１の外周を結んだ領域１５０２は、上へ３００画素、下へ１００画素、左へ４００画素、右へ２００画素の空き領域が存在する位置にある。この領域１５０２を撮像素子領域内でセンタリングするため、まず光学的パン、チルト機構を用いることで撮像素子を右へ１００画素分、下へ１００画素分移動させる（回転させる）。この位置が図３（ｃ）の１１０２である。次に、撮像領域１１０２上での配信画像領域を図３（ｂ）の２１０１、３１０２、４１０１の位置から上へ１００画素、左へ１００画素移動して切り出すように変更することで、図３（ｃ）の２１０２、３１０３、４１０２が配信画像となり、その外周領域１５０３は撮像領域１５０３内に収まり、かつセンタリングされる。
【００３１】
この結果、配信画像２１０２は２１０１と、４１０２は４１０１と等しく変化なく、かつ配信画像３１０１はユーザの指示通り、３１０１から右へ２００画素、下へ３００画素移動した３１０３として配信され、それらの外周１５０３は撮像領域１１０２内でセンタリングされている。外周領域をセンタリングする目的は、周囲の空き領域を均一化することで、どの方向へ来るか分からない、ユーザ端末からのカメラ制御に平均的に対処するためである。
【００３２】
図４（ａ）は図３（ａ）と全く等価な図であり、１２０１は撮像素子によって一度に撮像可能な領域を示し、その解像度は２０００×１５００画素、２２０１、３２０１、４２０１はそれぞれ各ユーザ端末２、３、４への配信画像であり、その解像度はそれぞれ６４０×４８０画素、６４０×４８０画素、３２０×２４０画素、１６０１は配信画像２２０１、３２０１、４２０１の外周を結んだ領域であり、この場合のサイズは１２００×９００画素である。
【００３３】
ここで、ユーザが端末３のスクロールバー５０２を操作して、配信画像が３１０１から右へ１０００画素移動する場合を考える（図３（ａ）の矢印３３０１）。図３で説明したように、配信領域３２０１の移動後の領域を含む配信領域の外周は、図４（ｂ）のような位置関係となり、撮像領域１６０２内に収まらなくなってしまう。よって、図６で説明したように、撮像領域内に外周領域を収めるために必要なズーム率を演算部１０８を用いて算出し、制御部１０７を用いて実際のズーム率を変更する。ここでは、ズーム率を０．８倍として縮小した結果が図４（ｃ）である。図中、１２０３は撮像領域、１６０３は配信画像の外周領域でそのサイズは１７２０×７２０画素、ユーザ端末２、３、４への配信画像である２２０２、３２０３、４２０２はそれぞれ５１２×３８４画素、５１２×３８４画素、２５６×１９２画素となっている。また１６０３の周辺には上下に各３９０画素、左右に各１２０画素の空き領域がある。このように、２２０２、３２０３、４２０２の配信領域まで縮小されてしまうので、画像処理部１０３を用いて拡大処理を行い、それぞれ６４０×４８０画素、６４０×４８０画素、３２０×２４０画素に戻した後に、各ユーザ端末に配信する。
【００３４】
図３の説明の中で、光学的パン、チルト機構を用いることで撮像素子を右へ１００画素分、下へ１００画素分移動させると説明した。しかし、実際にはパン、チルト機構はそれぞれの駆動モータによる回転運動なので、以下に、図５を用いて移動画素数より回転角を求める方法を述べる。ただし、ここではパン機構を用いた左右方向の移動のみ説明する。チルト機構を用いた上下方向の移動については、全く同様の考え方を適用できるのでここでの説明は省略する。図中、１８０１はカメラの視点、Ｘ０は横方向の撮像画素数でありここでは２０００画素、ｘは移動画素数、Ｐは撮影画角、αはｘに対する中心角であり、ここで求めたい角度である。これらの関係を数式で表すと、
（Ｘ０／２）／ｔａｎ（Ｐ／２）＝ｘ／ｔａｎα
これより、
ｔａｎα＝（２ｘ／Ｘ０）・ｔａｎ（Ｐ／２）
α＝ａｒｃｔａｎ（（２ｘ／Ｘ０）・ｔａｎ（Ｐ／２））
Ｐ＝２０００なので、撮影画角Ｐを８０゜として１００画素移動したい場合を計算してみると、
α＝４．８０゜
すなわち、図３の例では４．８０゜分右へパンさせれば１００画素分の移動となる。
【００３５】
以上、演算にて回転角を求める方法を説明したが、これらをテーブル化してＲＯＭ１０５内に記憶しておいても良い。
【００３６】
ここまでの実施形態では、ユーザ端末として３端末の場合を例に説明したが、これに限られるものではなく、もっと多数、あるいは１端末の場合でも同様に適用できる。
【００３７】
以上説明したように、本発明の実施形態によれば、配信画像の外周が撮像領域のセンターに来るように自動的に制御し、それでも。配信画像の外周が撮像領域収まらなくなった場合、ズーム倍率の変更をして配信画像を撮像領域内に収める構成を取ったので、１台のカメラのみで複数ユーザが同時にカメラのパラメータを制御可能であり、かつ広角撮影の可能なカメラ制御システムを提供出来る。
【図面の簡単な説明】
【００３８】
【図１】本発明の実施形態におけるカメラ制御システムの詳細な構成を示す図
【図２】本発明の実施形態におけるカメラ制御システムの構成を示す図
【図３】本発明の実施形態における配信画像作成の過程を説明する図
【図４】本発明の実施形態における配信画像作成の過程を説明する図
【図５】本発明の実施形態における移動画素数より回転角を求める方法を説明する図
【図６】本発明の実施形態におけるユーザ端末の動作を説明するフーチャート
【図７】本発明の実施形態におけるカメラサーバの動作を説明するフーチャート
【図８】本発明の実施形態におけるユーザ端末のＧＵＩ画面の例を示す図
【符号の説明】
【００３９】
1  カメラサーバ
2  ユーザ端末
3  ユーザ端末
4  ユーザ端末
5  ネットワーク
102  カメラサーバの画像入力部
103  カメラサーバの画像処理部
104  カメラサーバの画像処置部
107  カメラサーバの制御部
108  カメラサーバの演算部
109  カメラサーバのコマンド通信部
110  カメラサーバのインターフェース部
202  ユーザ端末の画像入力部
203  ユーザ端末の表示部
204  ユーザ端末のコマンド通信部
207  ユーザ端末の画像受信部
208  ユーザ端末のインターフェース部
【図１】
2007060260.tif 000003
【図２】
2007060260.tif 000004
【図３】
2007060260.tif 000005
【図４】
2007060260.tif 000006
【図５】
2007060260.tif 000007
【図６】
2007060260.tif 000008
【図７】
2007060260.tif 000009
【図８】
2007060260.tif 000010