(57)【要約】【課題】  広角高解像度画像に対して全体画像と部分画像を作成するカメラサーバと、前記画像を受診して表示するビューワにおいて、通信量を削減する。【解決手段】  撮影手段と画像取得手段と画像処理手段と符号化手段と通信手段とを備え、広角高解像度画像を撮影し、前記画像から全体画像と部分画像を生成する画像生成手段を持つカメラサーバを設ける。また通信手段と複号化手段と前記全体画像と部分画像とを表示する表示手段とを備え、部分画像の視野角が大きい場合には全体画像から部分画像を生成する画像生成手段と、部分画像を全体画像にはめ込み合成する画像合成手段を持つビューワを設ける。【選択図】  図１
2006340091.tif 000002
【特許請求の範囲】
【請求項１】
撮影手段と画像処理手段と通信手段とを備えたカメラサーバであって、
前記画像処理手段は、前記撮影手段により撮影した１枚の画像から視野角とサイズの異なる複数の画像を同時に生成する画像生成手段を備え、
前記通信手段は、前記複数の画像を同時に符号化して少なくとも一つのビューワに同時に送信する送信機能を有することを特徴とするカメラサーバ。
【請求項２】
前記画像処理装置によって生成される複数の画像とは、撮影画像の全部または一部分の切り出しと幾何変換との組み合わせを施した画像からなることを特徴とする請求項１に記載のカメラサーバ。
【請求項３】
前記幾何変換とは、歪曲補正、透視投影変換、アフィン変換、拡大、縮小、回転の１つないしは複数の組み合わせであることを特徴とする請求項２に記載のカメラサーバ。
【請求項４】
複数の画像を同時に受信し表示するビューワであって、
広角撮影された第１の画像の撮影範囲が、通常画角である第２の画像の撮影範囲を包含する場合に、第１の画像から第２の画像を生成して表示する画像処理・表示手段を備えることを特徴とするビューワ。
【請求項５】
前記第１の画像上に設けられた前記第２の画像の視野領域が、第２の画像に要求される解像度以上である場合には、前記第２の画像を前記第１の画像より生成する生成手段と、
前記の条件にあてはまらない場合には、前記第１の画像と第２の画像をカメラサーバから直接受信して表示する画像受信手段および画像表示手段と
を備えることを特徴とする請求項４に記載のビューワ。
【請求項６】
前記第１の画像上に設けられた前記第２の画像の視野領域が、前記第２の画像に要求される解像度未満である場合、前記第１の画像と前記第２の画像とをカメラサーバから取得する画像受信手段と、
前記第２の画像を前記第１の画像上にはめ込み合成する画像合成手段と
を備えることを特徴とする請求項４又は５に記載のビューワ。
【請求項７】
前記第１の画像と第２の画像の受信フレームレートが異なる場合、２つの画像の受信タイミングが近い場合は、第１の画像から第２の画像を生成する画像処理手段と、
２つの画像の受信タイミングが離れている場合には、各画像をそれぞれのフレームレートに従って受信し、画像を表示する画像受信手段及び表示手段と
を備えることを特徴とする請求項４〜６のいずれか１項に記載のビューワ。
【請求項８】
通常画角である前記第２の画像を複数受信し、表示する画像受信手段および画像表示手段を備えることを特徴とする請求項４〜７のいずれか１項に記載のビューワ。
【請求項９】
受信画像の解像度を設定する設定手段を備えることを特徴とする請求項４〜８のいずれか１項に記載のビューワ。
【請求項１０】
受信画像のフレームレートを設定する設定手段を備えることを特徴とする請求項６〜９のいずれか１項に記載のビューワ。
【請求項１１】
請求項１〜３のいずれか１項に記載のカメラサーバと、
請求項４〜１０のいずれか１項に記載のビューワと
を備えることを特徴とする画像表示システム。
【請求項１２】
撮影手段と画像処理手段と通信手段とを備えたカメラサーバにおける画像配信方法であって、
前記撮影手段により撮影した１枚の画像から視野角とサイズの異なる複数の画像を同時に生成する工程と、
前記複数の画像を同時に符号化して少なくとも１つのビューワに同時に送信する工程と
を備えることを特徴とする画像配信方法。
【請求項１３】
コンピュータに、請求項１２に記載の画像配信方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角画像から複数の部分画像を生成し、広角画像および部分画像をネットワーク経由で遠隔地に送信して表示する画像配信技術に関するものである。
【背景技術】
【０００２】
広角画像を撮影してその部分画像を複数個切り出し、ネットワーク経由で複数のビューワに配信する技術が広く知られている。またその際に歪補正や解像度変換処理を行うことが一般的である。例えば特許文献１ではサーバにおいて撮影した広角画像から全体領域と複数の部分領域画像を生成し、それぞれの画像を複数のビューワに配信する画像配信システムが開示されている。
【０００３】
特許文献２で開示されているのは、撮影画像の任意の部分領域をビューワからネットワーク経由で指定し、サーバ側で切り出して送信する方式である。また特許文献３や文献４で開示されているのは、回転双曲面鏡を用いて撮影した全方位画像から、ビューワの要求に応じて側方360度の任意方向の透視投影画像を生成して配信する技術であり、これらの技術に基づいたシステムが実際に製品化されている。
【０００４】
【特許文献１】特開平９−２６１５２２号公報
【特許文献２】特許第３３００２２８号
【特許文献３】ＵＳＰ６０４３８３７号
【非特許文献１】尾上、山澤、横矢、竹村："全方位画像からの視線追従型実時間画像生成によるテレプレゼンス"、信学技報、ＰＲＭＵ９７−２０（１９９７−０５）
【発明の開示】
【発明が解決しようとする課題】
【０００５】
撮影した広角画像に対して全体画像と部分画像を同時に表示したい場合がある。このような場合従来の技術では、全体画像と部分画像の視野角や解像度に関係なく、高解像度の全体画像を受信してビューワ側で部分画像を生成・表示したり、表示する解像度の全体画像と部分画像を同時に受信して表示したりすることが一般的であった。しかしながら、全体画像と部分画像の視野角がさほど変わらない場合は、全体画像と部分画像を個別に送信する手法は通信量や処理速度の観点から無駄が多い。また全体画像上の部分画像領域は注目される部分であるが、部分画像が高解像度であっても全体画像は全てが同一の解像度のままであった。
【０００６】
本発明は、上記のような問題に鑑みてなされたもので、部分画像の視野範囲が全体画像近く、結果として、部分画像に要求される解像度が低い場合、ビューワ側で全体画像から部分画像を生成して表示する。また部分画像に要求される解像度が高い場合や、部分画像と全体画像の取得タイミングが異なる場合は、全体画像と部分画像を個別に受信・表示する。さらに部分画像の解像度が全体画像の部分画像領域の解像度よりも高い場合、全体画像を部分画像にはめ込み合成し、全体画像の当該領域の解像度を高める。以上により前記課題を解決することを目的とする。
【課題を解決するための手段】
【０００７】
本発明のカメラサーバは、撮影手段と画像処理手段と通信手段とを備えたカメラサーバであって、前記画像処理手段は、前記撮影手段により撮影した１枚の画像から視野角とサイズの異なる複数の画像を同時に生成する画像生成手段を備え、前記通信手段は、前記複数の画像を同時に符号化して少なくとも一つのビューワに同時に送信する送信機能を有する。
【０００８】
本発明のビューワは、複数の画像を同時に受信し表示するビューワであって、広角撮影された第１の画像の撮影範囲が、通常画角である第２の画像の撮影範囲を包含する場合に、第１の画像から第２の画像を生成して表示する画像処理・表示手段を備える。
【０００９】
本発明の画像表示システムは、前記カメラサーバと、前記ビューワとを備える。
【００１０】
本発明の画像配信方法は、撮影手段と画像処理手段と通信手段とを備えたカメラサーバにおける画像配信方法であって、前記撮影手段により撮影した１枚の画像から視野角とサイズの異なる複数の画像を同時に生成する工程と、前記複数の画像を同時に符号化して少なくとも１つのビューワに同時に送信する工程とを備える。
【００１１】
本発明のプログラムは、コンピュータに、請求項１２に記載の画像配信方法の各工程を実行させるためのものである。
【発明の効果】
【００１２】
本発明によれば、カメラと通信装置を具備し、広角高解像度で撮影した原画像から全体画像と部分画像を生成するするカメラサーバと、通信装置と表示装置を具備し前記全体画像と部分画像を受信して表示するビューワにおいて、部分画像の視野角が広い場合には、ビューワ側で受信した全体画像から部分画像を生成する技術を供する。また部分画像を全体画像にはめ込み合成する技術を提供する。これにより通信量を抑え、容量の少ない回線であっても画像通信を行うことが出来る。また全体画像領域上の注目部分の解像度を高めることができる。
【発明を実施するための最良の形態】
【００１３】
（第１の実施形態）
本実施形態では、カメラサーバで撮影した広角画像から全体画像と部分画像を生成し、ビューワで受信して表示する画像配信システムにおいて、全体画像の解像度が部分画像に要求される解像度と比較して十分高い場合、ビューワでは部分画像を受信せずに、全体画像から部分画像を生成する。これにより、通信量の減少と受信速度の高速化を図ることができる。
【００１４】
本実施形態における画像配信システムはカメラサーバとビューワから構成される。カメラサーバは高解像度広角画像を撮影し、全体画像と部分画像を生成する。そして各画像を符号化し、画像を要求した複数のビューワに送信する。カメラサーバは１つのビューワに複数の画像を同時に送信することができる。ビューワは全体画像と部分画像を表示するためのGUI(グラフィカル・ユーザ・インターフェース)を持ち、首振りカメラのパン・チルト・ズームを指定する要領で部分画像の方位や画角を指定する。
【００１５】
図１は本実施形態におけるカメラサーバの機能構成例である。カメラサーバは広角光学系と高解像度撮像素子を持つカメラ100と本体200から構成される。ここでカメラ100と本体200は一体型であってもケーブルや無線を介して接続される分離型であってもかまわない。また本体200は組込機器である必要はなく、カメラインターフェース付きのパーソナルコンピュータに所定のソフトウェアをインストールした形態で実現することができる。
【００１６】
カメラ100は広角光学系を具備し広角画像を撮影する。広角光学系としては通常の広角レンズの他にも、魚眼レンズや、回転体鏡を用いたもの、複数カメラを組み合わせたものがあるが、本発明は広角撮像系に依存するものではない。
【００１７】
画像信号はカメラ100からカメラインターフェース210を介して画像バッファ220に入力される。カメラインターフェースの例としては、USBやIEEE1394やカメラリンクなどがある。またカメラ100と本体200が一体化した構成の場合は独自形式の場合もある。次に画像バッファにある広角高解像度画像から画像変換部230により処理を施し、全体画像240と部分画像250を生成する。
【００１８】
ここで画像生成部230では原画像に対する歪補正と解像度変換処理を施す。歪は光学系により異なるが、広角レンズの場合は歪曲収差としてよく知られている。また魚眼レンズの場合は、像高yと方位θとの関係が例えば y=fsinθやy=fθなどの関係式で表現されるため、歪を補正した広角画像の作成が可能である。また、回転体鏡に関してはその一種である回転双曲面鏡に関して文献４や特許第２９３９０８７号に投影式が記載されており、円筒面への投影後これを展開したパノラマ画像形状の補正画像を得ることが可能である。
【００１９】
画像生成部は全体画像生成部231と部分画像生成部232に分かれる。全体画像生成部231では画像バッファ220に記録された原画像に歪補正処理と縮小処理を施して全体画像240を生成する。また部分画像生成部232ではビューワからの要求に応じて、原画像に歪補正処理と切り出し処理、縮小処理などを施して部分画像250を生成する。図１では部分画像250は２個であるが、実際にはビューワからの要求に応じて増加する。
次に、生成された全体画像240および部分画像250は符号化部260で符合化され、通信部270によりネットワークに対して送信される。一方、ビューワからは部分画像の方向やサイズ、および、フレームレートに関する情報がネットワーク経由で送信されるので、通信部280より受信して部分画像生成230や送信に反映する。
【００２０】
つぎに図２を用いて本実施形態におけるビューワの機能構成を説明する。ビューワ300は受信部310において画像信号を受信すると、復号化部320において画像の復号化を行い、画像表示部330において表示する。受信部310はカメラサーバに関する情報を受信に表示する場合もある。また画像表示部330は部分画像表示部331および全体画像表示部332に分かれ、それぞれの画像を表示する。具体的な表示方法に関しては図３で説明する。ここで部分画像はサーバから直接送られる場合と、ビューワ側の部分画像生成部340において全体画像から生成される場合があり、ビューワ側で生成する条件とその方法に関しては後述する。
【００２１】
操作部350では部分画像を所望の画像方位や視野をGUIにより入力する。入力した情報は通信部360を通じてカメラサーバに角度や視野、フレームレートに関する要求を送信する。画像の通信や方位・視野の要求を行うためのプロトコルは、独自のプロトコルをTCPやHTTP上に実装するのが一般的である。しかしながら本実施形態は情報の取得方法やプロトコルに依存するものではないことは言うまでもない。
【００２２】
図３を用いて全体画像と部分画像の関係を説明する。全体画像620は歪補正済みの原画像610から生成され、部分画像630は原画像610の部分領域611から生成される。また全体画像620上でも部分画像領域621が存在する。ここで歪補正済みの原画像の大きさを(Low、 Loh)、全体画像の大きさを(L1w、 L1h)、部分画像の大きさを(L2w、 L2h)、原画像上の部分画像領域の大きさを(Lcw、 Lch)、全体画像上の部分画像領域の大きさを(L1cw、 L1ch)とする。
【００２３】
以下の説明では各画像のアスペクト比は変化しないとして倍率の議論の際に横幅を使用する。全体画像の生成は原画像610をL1w/Low倍にする縮小処理となる。また、部分画像の生成は原画像610の部分画像領域611をLcw/L2w倍にする縮小処理となる。部分画像を生成する際の技術として、原画像以上の解像度まで拡大を行うデジタルズームと呼ばれる技術やその際の補間方法を工夫することにより画質を向上する超解像度（Super-Resolution）と呼ばれる技術があるが、このような方法を用いない場合、部分画像の拡大倍率は1〜Low/ L2w倍までとなる。この場合ワイド端でLcw=Lowとなる。
【００２４】
ここで全体画像620に注目すると、全体画像上にも部分画像と同じ視野範囲を持つ領域621が存在する。そして全体画像サイズが十分大きい場合、全体画像上の部分画像領域621のサイズが、部分画像630のサイズよりも大きい、すなわちL1cw≧L2wの場合がある。このような場合部分画像630を全体画像とは別にカメラサーバに要求しなくとも、ビューワ側で全体画像620から部分画像630を生成することが可能である。このとき行う画像処理は部分画像領域621をL2w/L1cw倍にする縮小処理となる。621はサイズが原画像よりも小さいため、生成できる拡大画像の倍率は L1w/L2w倍までに制限される。
【００２５】
次に図４を用いてビューワのGUIを説明する。ビューワはウィンドウシステムに実装されたアプリケーションソフトである。ビューワは部分画像表示ウィンドウ400と全体画像表示ウィンドウ500を持つ。部分画像表示ウィンドウ400はカメラ選択部、部分画像表示部420、切り出し位置変更部431、432。表示倍率変更部433、プリセット指定部440、全体画像表示ボタン450からなる。ウィンドウのタイトルバーの下には不図示のメニューも持つ。一方、全体画像表示ウィンドウ500は全体画像表示部510と視野範囲表示部520を持つ。この外にもカメラサーバに接続するためのウィンドウや映像の受信状態などの各種の情報を表示するためのウィンドウが存在するが説明を省略する。
【００２６】
部分画像表示ウィンドウ400のカメラ選択部410ではカメラの選択が可能である。ここでカメラは１台のサーバに対して複数のカメラが接続されている場合に、カメラを選択するために使用する。部分画像表示部420は受信した部分画像を表示する。また切り出し位置の表示および指定部431、433はスクロールバーであり、つまみをドラッグしたり、上下左右のボタンを押下したりすることにより部分画像の切り出し領域の位置を指定できる。
【００２７】
また倍率表示部433もスクロールバーであり切り出し領域のサイズを指定できる。切り出し位置およびサイズは首振りカメラにおけるパン・チルト・ズームに相当するが、本実施形態では図における原画像上の部分画像領域611や全体画像上の部分画像領域621を設定する。部分画像の切り出し位置や切り出し倍率は460に示すような方向ボタンによる指定も可能である。プリセット選択部440は、部分切り出し画像を事前に定めた位置およびサイズに設定する。また全体画像表示ボタンは全体画像表示500を表示する。
【００２８】
全体画像表示ウィンドウ500では、全体画像表示部510で全体画像を表示し、部分画像領域表示520を表示する。部分画像領域表示は矩形であり、矩形をドラッグすることにより位置やサイズを変更できる。変更した位置やサイズの変更を行うと、変更要求をカメラサーバに対して送信すると共に、部分画像ウィンドウのスライダー431、432、433の表示も変更する。
【００２９】
全体画像と部分画像のサイズは変更することが可能である。図５を用いてビューワGUIのメニューから全体画像と部分画像のサイズを指定する方法を述べる。図５−(a)において、表示メニューを指定するとサブメニュー401が表示され、部分画像サイズと全体画像サイズを指定できる。サイズは例えば図５−（ｂ）に示すように、大・中・小の三種類から選択する。各々のサイズに対応する実際の画素数は図５−（ｃ）のようにカメラサーバ側にあらかじめ用意する。
【００３０】
画像サイズは図５−（ｃ）に示すサイズに限定されるものではない。しかし注意が必要なのは、部分画像サイズよりも全体画像サイズが小さいと、ビューワ側で全体画像から部分画像を生成することができないため、部分画像は必ずカメラサーバに要求することになる。
【００３１】
次に図６と図７を用いて、カメラサーバの動作手順を説明する。カメラサーバはメインプロセスと画像取得、全体画像・部分画像生成を行うサブプロセスからなる。図６はカメラサーバのメインプロセスの動作手順であり、図７はサブプロセスの動作手順である。
図６のメインプロセスにおいて、開始後S601で初期化処理を行い、S602でサブプロセスを起動する。S603でイベント待ちを行い、イベントが発生するとS604以下の処理を行う。
【００３２】
S604とS609は接続の開始・終了に関するイベント処理である。ビューワ単位で部分画像を管理する必要があることやカメラサーバの配信能力からビューワの接続数を制限する必要があることからこの処理を要する。S604でビューワからの接続要求イベントかどうか判別する。もしそうである場合にはS605に進み接続を許可できるかどうか判別する。もし接続を許可できない場合はN分岐し、S606に進んでビューワに対して接続拒否通知を行う。接続許否通知後はS603に戻って次のイベントを待つ。
【００３３】
S605においてもし接続が許可できる場合にはY分岐し、S607に進んでビューワを登録する。具体的には、ビューワに管理番号を割り振り、IPアドレスを登録し、接続時間などの管理データを初期化する。次にS608でビューワに対して、接続許可通知を発行する。ここでは例えばビューワに割り当てられる管理番号なども同時に通知する。処理終了後S603に戻って次のイベントを待つ。
【００３４】
もしS604において接続要求イベントでない場合にはN分岐し、S609で接続終了要求かどうか判別する。もしそうである場合にはY分岐し、S610に進んで接続終了をビューワに通知する。つぎにS611に進んでビューワの管理データを抹消する。処理終了後S603に戻って次のイベントを待つ。
【００３５】
S609において接続終了要求イベントでない場合にはN分岐し、S612で画像要求イベントかどうか判別する。画像には既に述べたように全体画像と部分画像があり、ビューワごとに画像サイズや切り出し領域情報を保持し、異なる画像を送信する。S613でビューワから要求のあった画像を送信後、S603に戻って次のイベントを待つ。
【００３６】
S612で画像要求イベントでない場合にはS614に進んでカメラ制御要求イベントかどうか判別する。この要求にはカメラの切り替えや、切り出し位置の変更、倍率の変更、画像サイズの変更などが含まれる。もしそうである場合にはY分岐してS615に進みこのような一連の画像生成パラメータ変更を行う。処理終了後S603に戻って次のイベントを待つ。もしカメラ制御要求イベントでない場合にはN分岐し、S618に進んでその他の処理を行い、処理終了後S603に戻って次のイベントを待つ。
【００３７】
次に図７を用いてカメラサーバのサブプロセスの動作手順を説明する。サブプロセスでは画像の取得を行い、歪補正や切り出し処理、解像度変換処理を行って、全体画像や部分画像を作成する。
【００３８】
開始後S701で画像の取得を行う。カメラインターフェース210を通じて取得した画像は画像バッファ220に蓄積される。次にS702で歪補正を行う。これは図３で説明したように画像に存在する歪曲や収差などの各種歪を補正する。歪が少ない画像や歪が存在しても実用上問題ない場合はこの処理を省くことも可能である。
【００３９】
次にS703で全体画像を生成する。全体画像の生成方法は図３で説明したとおりであり、歪補正済み画像を縮小することにより生成する。さらにS704で接続中の各ビューワに送信する部分画像を生成する。部分画像はビューワごとに生成する必要があり、また、全体画像もビューワごとに生成が必要な場合もあるため、S705で部分画像を全て生成したかどうかを判別し、S703ないしはS704を繰り返す。全ての画像の生成が完了したら、S701に戻って次の画像の取得を行う。
【００４０】
ここで生成画像した全体画像と部分画像はバッファに蓄積され、メインプロセスの画像送信処理S613で参照される。バッファの読み込みと書込みが同時に発生すると不都合が生じるため、読み込みと書込みが同時に発生しないように保護するか、バッファを二枚用意して読み込みと書込みを交互に行う方式がよく用いられる。
【００４１】
次に図８および図９を用いてビューワの処理手順を説明する。図８はビューワのメインプロセスであり図９はサブプロセスからなる。サブプロセスは画像の受信と複号化を行うもので、複号化を終了した時点でメインプロセスに対して画像の表示を要求するイベントを発行する。GUI関連のプロセスと分離することによりGUIの反応速度低下を防止する。
開始後S801で初期化を行い、S802でカメラサーバに対して接続要求する。S803でカメラサーバからの応答を待って、もし接続に失敗した場合にはN分岐しS804に進んで終了処理を行い終了する。もし接続に成功した場合にはY分岐し、S805において画像受信をおこなうサブプロセスを起動する。
【００４２】
次にS806に進んでイベント待ちを行う。もしイベントが発生した場合にはY分岐しS807においてカメラ制御要求かどうか判別し、もしそうであればY分岐してS808でカメラ制御要求を送信する。このイベントはビューワにおいて、カメラ切り替え部410、画像切り出し位置、画像倍率指定部452〜453、部分画像420や全体画像510のクリック、表示領域矩形520の変更、カメラ操作ボタン460の押下、などにより発生する。これらの操作はカメラ切り替え要求、切り出し位置指定要求、切り出し倍率指定要求、に変換されカメラサーバに送信される。カメラ切り替え要求送信処理S808終了後、S806に戻ってイベント待ち処理を継続する。
【００４３】
S807でカメラ制御要求ではない場合にはN分岐し、S810にて部分画像受信イベントかどうか判別する。もしそうであればY分岐し、S811でビューワに部分画像420を表示し、S806に戻って次のイベントを待つ。
【００４４】
S810で部分画像表示イベントでない場合にはN分岐し、S812で全体画像受信イベントか同かを判別する。もしそうである場合にはY分岐し、S813で全体画像510を表示する。S814で部分画像の倍率が一定値Th以下かどうか判別する。Thは図３でも述べたように全体画像上の部分画像領域のサイズと部分画像のサイズから決定される。すなわちL1cw ≧ L2w であることが必要であり、この条件を全体画像表示に対する拡大倍率に換算すると、Th = L1w/L2w 倍以下である必要がある。S814で部分画像の倍率が一定値以下の場合にはY分岐し、S815で全体画像から部分画像を生成後、S811で部分画像を表示する。そうでない場合にはN分岐し、部分画像の生成・表示は行わずにS806戻って次のイベントを待つ。
【００４５】
もしS812において画像受信イベントではない場合はN分岐し、S816に進んでそのほかのイベント処理を行い、S806に戻って次のイベントを待つ。その他のイベント処理とはウィンドウ関連のGUI処理など既定の処理である。
【００４６】
次にビューワのサブプロセスの動作手順を、図９を用いて説明する。サブプロセスではカメラサーバに対して画像を要求し、その取得を行う。開始後S901において、部分画像の倍率が一定値より大きければY分岐してS902において部分画像をカメラサーバに対して要求する。次にS903において全体画像を要求する。全体画像は部分画像の要求如何に関わらず要求される。
【００４７】
次にS904において画像受信イベント待ちを行う。画像受信イベントが発生した場合にはS905で画像の受信を行い、メインプロセスに対して画像の種類に応じて部分画像受信イベントか全体画像受信イベントを発行する。画像の受信処理が終了すると、S906において要求した全ての画像を受信したかどうかを判別し、もし受信していない場合には、S904に戻って引き続き画像受信イベント待ちを行う。もし要求した全画像を受信した場合にはY分岐し、S901に戻って処理を続ける。
【００４８】
以上の説明からも明らかなように、本実施形態によれば、ビューワの要求に応じて複数の全体画像と部分画像を生成するカメラサーバと、前記カメラサーバからの画像を取得して表示するビューワにおいて、部分画像の画角が広い場合には全体画像から部分画像を生成し、そうでない場合には、カメラサーバに部分画像を請求するビューワとを提供する。これにより不必要な画像通信を低減し、効率よく画像を送受信するカメラサーバおよびビューワを提供することができる。
【００４９】
（第２の実施形態）
本発明に関わる別の実施形態として、第1の実施形態とは逆に部分画像を全体画像にはめ込み合成することにより、全体画像上の部分画像領域の解像度を向上することができる。これは図３において部分画像630を全体画像上の部分画像領域621に解像度変換した上でコピーすることを意味する。この場合、第1の実施形態とは逆に部分画像の解像度が全体画像の解像度よりも高くなければ解像度の向上は得られない。すなわち、L2w > L1cw であり、従って倍率が L1w/L2w より大きい値である必要がある。一方で原画像の解像度以上の部分画像を得ることはできないため、倍率Mの範囲は、L1w/L2w ＜ M ≦ Low/L2w となる。
【００５０】
本実施形態におけるカメラサーバおよびビューワのハードウェア構成、および、カメラサーバの処理手順は第1の実施形態と同じである。またビューワの処理手順も第1の実施形態と基本的に同じであるが、一部異なる点があるので図１０を用いて説明する。図１０はビューワのメインプロセスであり、第1の実施形態の図８に相当する図である。図１０において、S1010で部分画像受信イベントを判別し、もしそうであればY分岐してS1011で部分画像を表示する。
【００５１】
S1010で部分画像受信イベントでない場合にはN分岐し、S1012で全体画像受信イベントかどうか判別し、もしそうであればY分岐してS1013で倍率が所定のしきい値より大きいかどうか判別する。所定のしきい値はThは第１の実施形態と同じである。もしそうであればY分岐し、S1014で部分画像を全体画像にはめ込み合成する。その後S1015に進み全体画像を表示する。またS1013で倍率が所定のしきい値以下である場合ははめ込み合成は行わずに、S1015に進んで全体画像を表示する。
【００５２】
ビューワのサブプロセスは図９において、全体画像と部分画像を必ず受信するように変更する。すなわち、S901の倍率による分岐を削除する。
【００５３】
以上の説明からも明らかなように、本実施形態によれば、部分画像の解像度が高い場合には部分画像を全体画像にはめ込み合成することにより、全体画像上の部分画像領域の解像度を向上することができる。
【００５４】
（第３の実施形態）
本発明に関わる別の実施形態として、全体画像と部分画像のフレームレートが異なる場合に、第1の実施形態と同様に全体画像から部分画像を作成する例を述べる。本実施形態における、カメラサーバとビューワ間の通信の様子を図１１に示す。図は部分画像の画角が広く、全体画像から部分画像を生成することができる場合であって、かつ、全体画像受信レートが部分画像受信レートよりも遅い場合である。この条件下で、部分画像と全体画像の取得タイミングが近い場合、部分画像の要求はせずに全体画像から部分画像を生成する。部分画像は上記タイミング以外の時のみ要求する。
【００５５】
フレームレートの設定は図５に示すようなビューワ画面において、メニューのひとつからフレームレート入力用のダイアログを表示させればよい。例えば表示メニューからタイトルが「フレームレートの設定」であって、数値入力用のテキストボックスを持つダイアログを表示し、入力すればよい。
【００５６】
図１１では、部分画像のフレームレートが全体画像のフレームレートの３倍である場合の例を示している。この場合、部分画像３枚に付き全体画像１枚であるため、全体画像を要求する際には、部分画像を要求せずに、全体画像から部分画像を生成する。全体画像から部分画像を生成できる条件は第一の実施形態と同一であり、部分画像の画角がある程度広いことが要求される。
【００５７】
S1101においてビューワからカメラサーバに対して接続要求を行う。これに対してS1102でカメラサーバより接続許可が返信される。S1103でビューワからカメラサーバに対して全体画像を要求する。S1104でカメラサーバから全体画像が返信されるので、ビューワではS1105で全体画像から部分画像を生成し、部分画像と全体画像の両方を表示する。
【００５８】
次にS1106では、全体画像を表示するタイミングではなく、部分画像を表示するタイミングであるため、ビューワからは部分画像のみを要求する。これに対してS1107でサーバから部分画像が送信され、S1108においてビューワで受信し表示する。S1109からS1111も同様な処理を行う。
【００５９】
最後にS1112からS1114では再び全体画像を要求するタイミングと部分画像を要求するタイミングが一致するので、全体画像のみを要求する。そして全体画像から部分画像を生成し、全体画像と部分画像の両方を表示する。
【００６０】
本実施形態におけるハードウェア構成およびソフトウェア構成は第一の実施形態と同じであるため説明を省略する。またソフトウェアの処理手順に関してはビューワの処理手順が一部異なるので、異なる部分を図１２で説明する。
【００６１】
図１２はビューワにおいて画像要求・受信を行うサブプロセスの処理手順である。これは第１の実施形態では図９に相当するものである。開始後S1201で全体画像を取得するタイミングかどうかを判別する。もしそうであればY分岐しS1202で全体画像を要求する。もしそうでなければN分岐し、S1208で部分画像取得タイミングかどうかを判別する。もしそうであればY分岐し、S1205へ進んで部分画像を要求する。もしそうでなければN分岐し、S1209へ進んで次の画像取得タイミング判別処理を行うまで待つ。
画像取得タイミングかどうか判別する方法は、前回の画像取得からの経過時間がフレームレートの逆数以上であれば取得を行う。すなわち、
ΔT ≧ 1/R
ΔT : 前回画像を取得した時間からの経過時間 (秒)
R : フレームレート(フレーム/秒)
である。フレームレートRは、部分画像と全体画像のそれぞれに対して保持する。
【００６２】
全体画像を取得する場合、S1202で全体画像を要求後、S1203で部分画像取得タイミングかどうかを判別する。もしそうであればY分岐し、S1204で部分画像の画角が一定値未満、すなわち、倍率が一定値Th以上であるかどうか判別する。もしそうであればY分岐して、S1205で部分画像を要求する。これは第１の実施形態と同様に、部分画像の画角が狭い場合には全体画像から部分画像を生成した場合には十分な解像度が得られないため、カメラサーバに直接部分画像を要求する必要があるからである。
部分画像要求後S1206に進んで画像受信を行う。S1203で部分画像取得タイミングではない場合や、S1204で画角が広い場合にはN分岐し、S1206で画像受信を行う。画像受信は全体画像と部分画像の片方ないしは両方であるため、S1207で全ての画像を受信したと判断するまで、S1206で画像受信を行う。全ての画像を受信後、S1201に戻って処理を続ける。
【００６３】
以上の処理により、全体画像と部分画像のフレームレートが異なる場合であっても、全体画像と部分画像の画像要求タイミングが同じ場合であって、かつ、部分画像の視野角が広い場合は、全体画像のみを取得し全体画像から部分画像を生成する。これにより不必要な画像通信を低減し、効率よく画像を送受信するカメラサーバおよびビューワを提供することができる。
【００６４】
（第４の実施形態）
本発明に関わる別の実施形態としては、第３の実施形態において部分画像を受信したときに、部分画像を全体画像にはめ込み合成することにより、全体画像における部分画像領域のフレームレートを向上することが可能である。
【００６５】
ここで全体画像に部分画像をはめ込む方法は第２の実施形態と同じ手法を用いることができる。また全体画像と部分画像の取得タイミングについては第３の実施形態の図１１で説明した手法を使用可能である。すなわち、S1108やS1111で部分画像を取得した場合に、部分画像を全体画像にはめ込み合成する。
【００６６】
もちろん、第２の実施形態で述べたように、部分画像の解像度が全体画像の解像度より高い場合ははめ込み合成により当該部分の解像度は向上する。一方で部分画像の解像度が全体画像の解像度より低い場合には、当該部分のフレームレートが向上する一方で解像度は低下するため注意を要する。従って部分画像の解像度が全体画像の解像度より高い場合のみS1108、S1111における部分画像の全体画像へのはめ込みを行い、一方で、S1105における全体画像からの部分画像生成を取りやめると、全体画像における解像度の低下を防止することができる。
【００６７】
本実施形態におけるハードウェア構成、ソフトウェア構成、および、カメラサーバの動作手順は第１の実施形態と同じであるため説明を省略する。またビューワの動作手順は図１２と同じであるが、倍率によらず常に部分画像をカメラサーバに要求するため、S1204の倍率判別による分岐は削除する。
【００６８】
なお、第１〜第４の本実施形態における、例えば図６〜図１０及び図１２の各ステップについてのプログラムコード等は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム、及び当該プログラムを記録したコンピュータ読み取り可能な記憶媒体は本発明の実施形態に含まれる。
【００６９】
具体的に、前記プログラムは、例えばＣＤ−ＲＯＭのような記録媒体に記録し、或いは各種伝送媒体を介し、コンピュータに提供される。前記プログラムを記録する記録媒体としては、ＣＤ−ＲＯＭ以外に、フレキシブルディスク、ハードディスク、磁気テープ、光磁気ディスク、不揮発性メモリカード等を用いることができる。他方、前記プログラムの伝送媒体としては、プログラム情報を搬送波として伝搬させて供給するためのコンピュータネットワーク（ＬＡＮ、インターネットの等のＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ等の有線回線や無線回線等）を用いることができる。
【００７０】
また、コンピュータが供給されたプログラムを実行することにより上述の実施形態の機能が実現されるだけでなく、そのプログラムがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）あるいは他のアプリケーションソフト等と共同して上述の実施形態の機能が実現される場合や、供給されたプログラムの処理の全てあるいは一部がコンピュータの機能拡張ボードや機能拡張ユニットにより行われて上述の実施形態の機能が実現される場合も、かかるプログラムは本発明の実施形態に含まれる。
【００７１】
例えば、図１３は、パーソナルユーザ端末装置の内部構成を示す模式図である。この図１３において、１２００はコンピュータＰＣである。ＰＣ１２００は、ＣＰＵ１２０１を備え、ＲＯＭ１２０２またはハードディスク（ＨＤ）１２１１に記憶された、あるいはフレキシブルディスクドライブ（ＦＤ）１２１２より供給されるデバイス制御ソフトウェアを実行し、システムバス１２０４に接続される各デバイスを総括的に制御する。
【００７２】
ＰＣ１２００のＣＰＵ１２０１、ＲＯＭ１２０２またはハードディスク（ＨＤ）１２１１に記憶されたプログラムにより、本実施形態における図３のステップＳ１〜Ｓ７及び図８のステップＳ１１〜Ｓ１７等の手順が実現される。
【００７３】
１２０３はＲＡＭであり、ＣＰＵ１２０１の主メモリ、ワークエリア等として機能する。１２０５はキーボードコントローラ（ＫＢＣ）であり、キーボード（ＫＢ）１２０９や不図示のデバイス等からの指示入力を制御する。
【００７４】
１２０６はＣＲＴコントローラ（ＣＲＴＣ）であり、ＣＲＴディスプレイ（ＣＲＴ）１２１０の表示を制御する。１２０７はディスクコントローラ（ＤＫＣ）であり、ブートプログラム（起動プログラム：パソコンのハードやソフトの実行（動作）を開始するプログラム）、複数のアプリケーション、編集ファイル、ユーザファイル及びネットワーク管理プログラム等を記憶するハードディスク（ＨＤ）１２１１や、フレキシブルディスク（ＦＤ）１２１２とのアクセスを制御する。
【００７５】
１２０８はネットワークインタフェースカード（ＮＩＣ）であり、ＬＡＮ１２２０を介して、ネットワークプリンタ、他のネットワーク機器、あるいは他のＰＣと双方向のデータのやり取りを行う。
【００７６】
以上の説明からも明らかなように、本発明によれば、カメラと通信装置を具備し、広角高解像度で撮影した原画像から全体画像と部分画像を生成するするカメラサーバと、通信装置と表示装置を具備し前記全体画像と部分画像を受信して表示するビューワにおいて、部分画像の視野角が広い場合には、ビューワ側で受信した全体画像から部分画像を生成する技術を供する。また部分画像を全体画像にはめ込み合成する技術を提供する。これにより通信量を抑え、容量の少ない回線であっても画像通信を行うことが出来る。また全体画像領域上の注目部分の解像度を高めることができる。
【図面の簡単な説明】
【００７７】
【図１】本発明のカメラサーバの構成例を示す図である。
【図２】本発明のビューワの構成例を示す図である。
【図３】本発明の全体画像と部分画像の生成方法の説明図である。
【図４】本発明の一実施形態におけるビューワ画面表示例を示す図である。
【図５】本発明の一実施形態におけるビューワ画面上の受信画像サイズの設定例を示す図である。
【図６】本発明の一実施形態におけるカメラサーバのメインプロセスの処理手順を示す図である。
【図７】本発明の一実施形態におけるカメラサーバのサブプロセスの処理手順を示す図である。
【図８】本発明の一実施形態におけるビューワのメインプロセスの処理手順を示す図である。
【図９】本発明の一実施形態におけるビューワのサブプロセスの処理手順を示す図である。
【図１０】部分画像を全体画像にはめ込み合成する場合のビューワメインプロセスの処理手順を示す図である。
【図１１】全体画像と部分画像のフレームレートが異なる場合の通信タイミングの説明図である。
【図１２】全体画像と部分画像のフレームレートが異なる場合のビューワサブプロセスの処理手順を示す図である。
【図１３】パーソナルユーザ端末装置の内部構成を示す模式図である。
【符号の説明】
【００７８】
１００  カメラ
２００  本体
２１０  カメラインターフェース
２２０  画像バッファ
２３０  画像変換部
【図１】
2006340091.tif 000003
【図２】
2006340091.tif 000004
【図３】
2006340091.tif 000005
【図４】
2006340091.tif 000006
【図５】
2006340091.tif 000007
【図６】
2006340091.tif 000008
【図７】
2006340091.tif 000009
【図８】
2006340091.tif 000010
【図９】
2006340091.tif 000011
【図１０】
2006340091.tif 000012
【図１１】
2006340091.tif 000013
【図１２】
2006340091.tif 000014
【図１３】
2006340091.tif 000015