(57)【要約】【課題】魚眼画像から生成される複数のパノラマ画像間の領域を同期することを目的とする。【解決手段】魚眼画像における少なくとも一部の領域に対応すると共に歪み補正処理が行われた画像であるパノラマ画像における端部に対応する端部位置を特定可能な設定値を取得する取得手段と、設定値に基づき魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する制御手段と、を有する。【選択図】図６
2019047492.tif 000002
【特許請求の範囲】
【請求項１】
魚眼画像における少なくとも一部の領域に対応すると共に歪み補正処理が行われた画像であるパノラマ画像における端部に対応する端部位置を特定可能な設定値を取得する取得手段と、
前記設定値に基づき魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する制御手段と、
を有する画像処理装置。
【請求項２】
前記分割開始位置には、前記魚眼画像の中心からの角度を示すパン情報が少なくとも含まれる請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、前記魚眼画像の生成通知を受信すると、前記設定値に基づき前記生成通知に含まれる前記魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する請求項１又は２記載の画像処理装置。
【請求項４】
前記制御手段は、前記設定値の変更通知を受信すると、前記変更通知に含まれる前記設定値に基づき前記取得手段により取得された設定値を更新し、更新した前記設定値に基づき前記魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する請求項１乃至３何れか１項記載の画像処理装置。
【請求項５】
前記制御手段は、前記変更通知を第１の手段より受信すると、前記変更通知に含まれる前記設定値に基づき前記取得手段により取得された設定値を更新し、更新した前記設定値に基づき前記魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成し、前記変更通知を第２の手段より受信すると、前記変更通知に含まれる前記設定値に基づき前記魚眼画像からパノラマ画像を生成する請求項４記載の画像処理装置。
【請求項６】
前記パノラマ画像は複数の領域を有し、
前記設定値にはパノラマ画像の各領域の配置情報が含まれ、
前記制御手段は、前記設定値に基づきパノラマ画像の各領域の位置を同期した前記複数のパノラマ画像を生成する請求項１乃至５何れか１項記載の画像処理装置。
【請求項７】
前記制御手段により生成されたパノラマ画像を外部装置に配信する配信手段を更に有する請求項１乃至５何れか１項記載の画像処理装置。
【請求項８】
魚眼画像における少なくとも一部の領域に対応すると共に歪み補正処理が行われた画像であるパノラマ画像における端部に対応する端部位置を特定可能な設定値を取得する取得手段と、
前記設定値に基づき魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する制御手段と、
前記分割開始位置の変更を指示する指示手段と、
を有する情報処理システム。
【請求項９】
前記指示手段は、前記魚眼画像上での指定に基づき前記分割開始位置の変更を指示する請求項８記載の情報処理システム。
【請求項１０】
前記指示手段は、パン角度の変更可能領域を示すパンスライダーでの指定及びチルト角度の変更可能領域を示すチルトスライダーでの指定に基づき前記分割開始位置の変更を指示する請求項８記載の情報処理システム。
【請求項１１】
前記指示手段は、パン角度を変更するためのボタン及びチルト角度を変更するためのボタンでの指定に基づき前記分割開始位置の変更を指示する請求項８記載の情報処理システム。
【請求項１２】
前記指示手段は、前記魚眼画像の回転設定に基づき前記分割開始位置の変更を指示する請求項８記載の情報処理システム。
【請求項１３】
画像処理装置が実行する情報処理方法であって、
魚眼画像における少なくとも一部の領域に対応すると共に歪み補正処理が行われた画像であるパノラマ画像における端部に対応する端部位置を特定可能な設定値を取得する取得工程と、
前記設定値に基づき魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する制御工程と、
を含む情報処理方法。
【請求項１４】
情報処理システムが実行する情報処理方法であって、
魚眼画像における少なくとも一部の領域に対応すると共に歪み補正処理が行われた画像であるパノラマ画像における端部に対応する端部位置を特定可能な設定値を取得する取得工程と、
前記設定値に基づき魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する制御工程と、
前記分割開始位置の変更を指示する指示工程と、
を含む情報処理方法。
【請求項１５】
コンピュータを、請求項１乃至７何れか１項記載の画像処理装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、情報処理システム、情報処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、全方位を撮影するカメラが存在し、機器の周辺を３６０度撮影した全方位画像や全方位画像から歪みを補正したパノラマ画像を作成できることが知られている。また、パノラマ画像には、全方位の３６０度画像を１枚の平面画像に変換した１画面パノラマ画像、２枚の１８０度画像に分割して平面画像に変換した２画面パノラマ画像、及び４枚の９０度画像に分割して平面画像に変換した４画面パノラマ画像等が存在し、全方位画像と併せて画像配信又は画像蓄積することもできる。
例えば、特許文献１ではパネルインターフェースからのパネル操作量に合わせて全方位画像から１画面パノラマ画像又は２画面パノラマ画像に表示を切り換える方法が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１５−４６９４９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
２画面パノラマ画像や４画面パノラマ画像は、３６０度の全方位画像を複数の領域に分割して、魚眼レンズに起因する歪みを取り除くように、分割領域の歪みを補正して上下又は上下左右に結合した画像である。従来の技術では、魚眼画像から生成される複数のパノラマ画像間の領域を同期することができなかった。
【課題を解決するための手段】
【０００５】
本発明の画像処理装置は、魚眼画像における少なくとも一部の領域に対応すると共に歪み補正処理が行われた画像であるパノラマ画像における端部に対応する端部位置を特定可能な設定値を取得する取得手段と、前記設定値に基づき魚眼画像から分割開始位置を同期した複数のパノラマ画像を生成する制御手段と、を有する。
【発明の効果】
【０００６】
本発明によれば、魚眼画像から生成される複数のパノラマ画像間の領域を同期することができる。
【図面の簡単な説明】
【０００７】
【図１】情報処理システムのシステム構成の一例を示す図である。
【図２】カメラサーバーのハードウェア構成の一例を示す図である。
【図３】全方位画像と２画面パノラマ画像との関係図である。
【図４】全方位画像と４画面パノラマ画像との関係図である。
【図５】カメラサーバーのソフトウェア構成の一例を示す図である。
【図６】パノラマ生成部の情報処理の一例を示すフローチャートである。
【図７】全方位画像と１画面パノラマ画像との関係図である。
【図８】クライアントのハードウェア構成の一例を示す図である。
【図９】クライアントのソフトウェア構成の一例を示す図である。
【図１０】パノラマ分割開始位置指定画面の一例を示す図である。
【図１１】パノラマ制御部の情報処理の一例を示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、本発明の実施形態について図面に基づいて説明する。
以下に示す実施形態では、全方位画像は天井等から見た３６０度の円形画像であり、円の外周が天井を指し、円の中心が床面を指しているものとする。全方位画像とは、必ずしも周囲の全ての被写体が撮像された画像でなくてもよく、少なくとも魚眼レンズ等の通常のレンズよりも大きな歪みを伴うレンズで撮像された画像であればよい。また、各実施形態において、パノラマ画像とは、魚眼画像における少なくとも一部の領域に対応すると共に、魚眼レンズに起因する歪みを取り除くように、歪み補正処理が行われた画像であればよい。各実施形態ではパノラマ画像と称するが、その他、種々な呼称が用いられることがある。下記の各実施形態において、「同期」とは各画像における分割開始位置が同じ位置となっている状態を保つことを意味するものとする。また、分割開始位置とは各パノラマ画像の端部のことを意味するものとする。
【０００９】
＜実施形態１＞
図１は、情報処理システムのシステム構成の一例を示す図である。
情報処理システムでは、カメラサーバー２００とクライアント２２０とがネットワーク２３０を介して相互に接続される。カメラサーバー２００は、画像処理装置の一例である。
カメラサーバー２００は、カメラを備え、撮影した画像を、ネットワーク２３０を介して配信するものである。クライアント２２０は、カメラサーバー２００にアクセスし、画像を取得する。
説明の簡略化のためにカメラサーバーは１台としているが、２台以上であってもよい。
またクライアント２２０以外にもカメラサーバー２００にアクセスして画像の受信や蓄積を行う他のクライアントがあってもよい。
ネットワーク２３０は、Ｅｔｈｅｒｎｅｔ（登録商標）等の通信規格を満足する複数のルータ、スイッチ、ケーブル等から構成される。各サーバー・クライアント間の通信が支障なく行えるものであればネットワーク２３０の通信規格、規模、構成を問わない。故にネットワーク２３０としてインターネットからＬＡＮ（Ｌｏｃａｌ  Ａｒｅａ  Ｎｅｔｗｏｒｋ）にまで適用可能である。
【００１０】
図２は、カメラサーバー２００のハードウェア構成の一例を示す図である。
カメラサーバー２００は、ハードウェア構成として、ＣＰＵ３００、一次記憶装置３１０、二次記憶装置３２０、画像キャプチャＩ／Ｆ３３０、ネットワークＩ／Ｆ３６０を有する。各ハードウェア構成は内部バス３０１を介して相互に接続されている。
一次記憶装置３１０は、ＲＡＭに代表される書き込み可能な記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。
二次記憶装置３２０は、フラッシュメモリ、ＨＤＤ、ＳＤカード等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。
画像キャプチャＩ／Ｆ３３０にはＣＣＤやＣＭＯＳからなる画像センサー３７０が接続され、画像センサー３７０から取得した画像データを所定のフォーマットに変換・圧縮して一次記憶装置３１０に転送する。
ネットワークＩ／Ｆ３６０は、ネットワーク２３０と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ等の通信媒体を介してクライアント２２０等との通信を担う。
ＣＰＵ３００が二次記憶装置３２０に記憶されているＯＳやプログラムに基づき処理を実行することにより後述する図５のソフトウェア構成及び後述する図６のフローチャートの処理が実現される。
【００１１】
図３は、全方位画像（魚眼画像）と２画面パノラマ画像との関係図である。
図３（ａ）は全方位画像上でどの位置で画像を分割（切出し）するかを示しており、分割開始位置４００が全方位画像を１８０度の分割領域（切出し領域）４０１と分割領域（切出し領域）４０２とに分割している。なお、全方位画像を分割するように切出す処理だけではなく、単に全方位画像の一部を切出す処理にも各実施形態は応用可能である。つまり、各切出し画像における端部はそれぞれ接している必要はない。
図３（ｂ）は、魚眼レンズに起因する歪みを取り除くように、分割領域４０１と４０２との歪み補正を行った平面画像４１１と４１２とを上下に結合して作成した２画面パノラマ画像を示している。分割領域４０２を４１２に補正する際は上下左右を反転してから２画面パノラマ画像の下側に結合している。
【００１２】
図４は、全方位画像と４画面パノラマ画像との関係図である。
図４（ａ）は全方位画像上でどの位置で画像を分割するかを示しており、分割開始位置５００と直角に交わる分割線５０５が全方位画像を９０度の分割領域５０１、５０２、５０３及び５０４に分割している。
図４（ｂ）は、魚眼レンズに起因する歪みを取り除くように、分割領域５０１、５０２、５０３及び５０４の歪み補正を行った平面画像５１１、５１２、５１３及び５１４を上下左右に結合して作成した４画面パノラマ画像を示している。分割領域５０３及び５０４を５１３及び５１４に補正する際は各々を上下左右を反転してから４画面パノラマ画像の下側に結合している。
【００１３】
図５は、カメラサーバー２００のソフトウェア構成の一例を示す図である。
カメラサーバー２００は、ソフトウェア構成として、ＯＳ１００、撮像処理部１１０、２つのパノラマ生成部１１１と１１２、設定管理部１１３、及び通信処理部１１４を含む。
ＯＳ１００は、カメラサーバー全体を制御する。
撮像処理部１１０は、魚眼レンズを介して入射された光に基づいて画像センサー３７０で生成された全方位画像データを画像キャプチャＩ／Ｆ３３０を経由して生成する。
設定管理部１１３は、パノラマ画像を作成する際にどの位置から分割するのかを示す分割開始位置情報（端部位置情報）等、パノラマ画像作成に必要な設定値を保存する。分割開始位置は、パノラマ画像における端部に対応している。
パノラマ生成部１１１は、設定管理部１１３が保存している分割開始位置（端部位置）等、パノラマ画像作成に必要な設定値を取得し、撮像処理部１１０が生成した全方位画像データからパノラマ画像を生成する。
パノラマ生成部１１２は、パノラマ生成部１１１とは異なる種類のパノラマ画像を作成する。例えば、パノラマ生成部１１１が２画面パノラマ画像を作成する。そしてパノラマ生成部１１２が４画面パノラマ画像を作成する。パノラマ生成部１１１とパノラマ生成部１１２とは同時にパノラマ画像を生成する処理を実行してもよいし、排他的にパノラマ画像を生成する処理を実行してもよい。
パノラマ生成部１１１とパノラマ生成部１１２とがパノラマ画像を生成する処理は、設定値に基づき全方位画像から分割開始位置を自動的に同期した複数のパノラマ画像を生成する制御の処理の一例である。
通信処理部１１４は、ネットワークＩ／Ｆ３６０を制御し、ネットワーク２３０を介して外部装置と通信を行う。より具体的には、通信処理部１１４は、クライアント２２０の要求に応じて、撮像処理部１１０が生成した全方位画像やパノラマ生成部１１１又は１１２が生成したパノラマ画像を配信する。また、通信処理部１１４は、クライアント２２０の要求に応じて設定値を設定管理部１１３経由で保存・参照して返信する。
カメラサーバー２００は、ソフトウェア構成として通信処理部１１４を複数有していてもよいし、通信処理部１１４以外のインターフェースを受け付ける構成を有していてもよい。
各ソフトウェア構成同士の連携は、必要に応じてＯＳ１００が提供する機能を用いることとする。
【００１４】
図６は、パノラマ生成部１１１及び１１２の情報処理の一例を示すフローチャートである。
本実施形態では特に記載しない限り、パノラマ生成部１１１が２画面パノラマ画像を生成する場合を説明する。
パノラマ生成部１１１、１１２は、クライアント２２０がパノラマ画像を要求してきたとき等、パノラマ画像が必要になったときに起動される。
Ｓ７００において、パノラマ生成部１１１、１１２は、起動されると、設定管理部１１３から全方位画像の分割開始位置を含むパノラマ画像の生成に必要な設定値を取得する。Ｓ７００の処理は、魚眼画像における少なくとも一部の領域に対応すると共に歪み補正処理が行われた画像であるパノラマ画像における端部に対応する端部位置を特定可能な設定値を取得する処理の一例である。
取得する分割開始位置には、全方位画像の中心画角を示すパン情報を少なくとも含み、更に全方位画像の中心からの距離を示すチルト情報や分割領域の大きさを示すズーム情報等、分割領域を示す各種情報を含む。各実施形態において、全方位画像における円形部分の半径を円形の中心周りに移動させる方向をパン方向とする。また、半径に沿った方向をチルト方向とする。
また、パノラマ画像の生成に必要な設定値に、各々の分割領域の配置情報を含めることもできる。配置情報を含めることにより、例えば図４（ｂ）の４画面パノラマ上の平面画像５１１及び５１２と図３（ｂ）の２画面パノラマの平面画像４１１とを各パノラマ画像上の同じ位置に配置することができ、同様に図４（ｂ）の４画面パノラマ上の平面画像５１３及び５１４と図３（ｂ）の２画面パノラマの平面画像４１２とを各パノラマ画像上の同じ位置に配置することができる。
【００１５】
Ｓ７０１において、パノラマ生成部１１１、１１２は、撮像処理部１１０に対して全方位画像の生成開始を指示する。
Ｓ７０２において、パノラマ生成部１１１、１１２は、何らかのイベントが発生するまで待つ。パノラマ生成部１１１、１１２は、撮像処理部１１０からの画像生成通知、設定管理部１１３又は通信処理部１１４からの設定変更通知、通信処理部１１４からの終了指示のイベントを待つ。画像生成通知は、パノラマ画像の生成を指示するコマンドである。設定変更通知は、分割開始位置の変更を指示するコマンドである。終了指示は、パノラマ画像の生成の終了を指示するコマンドである。
イベントが発生すると、Ｓ７０３において、パノラマ生成部１１１、１１２は、イベントの種類を確認して、それぞれの処理を実施する。パノラマ生成部１１１、１１２は、撮像処理部１１０からの画像生成通知イベントを受信すると、Ｓ７０４に進み、設定管理部１１３からの設定変更通知イベントを受信すると、Ｓ７０６に進み、通信処理部１１４からの終了指示イベントを受信すると、Ｓ７０７に進む。
Ｓ７０４において、パノラマ生成部１１１、１１２は、通知イベントに含まれる全方位画像情報から設定値等に基づきパノラマ画像を生成する。Ｓ７０４において、パノラマ生成部１１２は、分割開始位置５００で分割されたパノラマ画像を生成する。この分割開始位置５００は、パノラマ生成部１１１で生成されるパノラマ画像の分割開始位置４００と同じ位置である。
Ｓ７０５において、パノラマ生成部１１１、１１２は、生成したパノラマ画像を通信処理部１１４に通知する。その後、パノラマ生成部１１１、１１２は、再度、Ｓ７０２のイベント待ちに戻る。
【００１６】
また、Ｓ７０６において、パノラマ生成部１１１、１１２は、通知イベントに含まれる分割開始位置を含むパノラマ画像生成に必要な設定値を再度取得し、次のパノラマ生成時にその設定を使用できるようにする。例えば、パノラマ生成部１１１、１１２は、Ｓ７００で取得した設定値を通知イベントに含まれる分割開始位置を含むパノラマ画像生成に必要な設定値で更新する。その後、パノラマ生成部１１１、１１２は、再度、Ｓ７０２のイベント待ちに戻る。
Ｓ７０６において、パノラマ生成部１１２における設定値が示す分割開始位置５００が、パノラマ生成部１１１における設定値が示す分割開始位置４００と同じ位置となるように、各設定値が更新される。例えば、パノラマ生成部１１１のための設定変更通知だけが受信されたとしても、パノラマ生成部１１２のための分割開始位置を変更するために、設定値が自動的に更新する。
設定変更通知は、パノラマ生成部１１１、１１２がパノラマ画像を生成しているときに受信されることもある。その場合、各々の分割開始位置は、すぐに、設定変更通知によって示される分割位置に変更される。このように、２画面パノラマ画像の分割開始位置、自動的に４画面パノラマ画像の端部と同じになるように同期される。
また、Ｓ７０７において、パノラマ生成部１１１、１１２は、通信処理部１１４からの終了指示イベントを受信すると、撮像処理部１１０に対して全方位画像の生成停止を指示する。そして、パノラマ生成部１１１、１１２は、パノラマ生成部１１１、１１２の処理を終了する。
【００１７】
本実施形態では、設定管理部１１３からの設定変更通知イベントは、設定値は恒久的に保存されており装置が再起動されても設定値は維持されている場合に全パノラマ生成部に通知されるイベントである。これにより、パノラマ生成部１１１及び１１２の分割開始位置を同時に変更することができる。
また、設定変更通知は通信処理部１１４から送られてもよい。通信処理部１１４からの設定変更通知イベントは設定値を一時的に変更することを意味しており、装置が再起動されると変更した内容は破棄される。通信処理部１１４は、特定のパノラマ生成部、例えばパノラマ生成部１１１だけに設定変更通知イベント送ってもよい。
これにより、クライアントがカメラを設置する際等、恒久的に全てのパノラマ画像の分割開始位置を変更する場合は設定管理部１１３から設定変更通知イベントを送り、クライアントが一時的に被写体をより見やすくするために現在見ているパノラマ画像の分割開始位置を変更する場合は通信処理部１１４から設定変更通知イベントを送る等、使い分けることができる。設定管理部１１３は、第１の手段の一例である。通信処理部１１４は、第２の手段の一例である。
このように、２画面パノラマ画像や４画面パノラマ画像等の複数のパノラマ画像間の分割領域を、自動的に同期して、変更することで、複数のパノラマ画像上の分割領域を一括して指定することができる。
【００１８】
＜実施形態２＞
図７は、全方位画像と１画面パノラマ画像との関係図である。
図７（ａ）は全方位画像上でどの位置を水平方向にするか水平線６００が示し、分割領域６０１が１画面パノラマになる領域を示している。
図７（ｂ）は、魚眼レンズに起因する歪みを取り除くように、分割領域６０１の歪み補正を行った平面画像６１１が１画面パノラマ画像になることを示している。
本実施形態におけるカメラサーバー２００のソフトウェア構成図は実施形態１の図５と基本的に同じである。しかし、本実施形態では、パノラマ生成部１１１が生成するパノラマ画像が図７（ｂ）で示す１画面パノラマ画像である点と設定管理部１１３が保存している分割開始位置の設定値がパノラマ画像の分割開始位置ではなく図７（ａ）の水平線６００の位置である点が異なる。つまり、１画面パノラマ画像の水平線６００が変わるとき、それに対応する変更が２画面パノラマや４画面パノラマに対しても実行することができる。つまり、画像内の水平線６００の位置が変更されると、他の各パノラマ画像の分割開始位置が、水平線６００に自動的に同期するように変更される。
分割開始位置に水平線６００の位置を保存することで、１画面パノラマの水平位置を変更したときに２画面パノラマ又は４画面パノラマの分割開始位置を、自動的に同期して、変更することができる。
このように、１画面パノラマ画像の水平位置と２画面パノラマ画像・４画面パノラマ画像等の複数のパノラマ画像間の分割領域とを、自動的に同期して、変更することで、複数のパノラマ画像上の分割領域を一括して指定することができる。
【００１９】
＜実施形態３＞
図８は、クライアント２２０のハードウェア構成の一例を示す図である。
クライアント２２０は、ハードウェア構成として、ＣＰＵ８００、一次記憶装置８１０、二次記憶装置８２０、ユーザー入力Ｉ／Ｆ８３０、ユーザー出力Ｉ／Ｆ８４０、ネットワークＩ／Ｆ８６０を有する。各ハードウェア構成は内部バス８０１を介して相互に接続されている。
一次記憶装置８１０は、ＲＡＭに代表される書き込み可能な高速の記憶装置で、ＯＳや各種プログラム及び各種データがロードされ、またＯＳや各種プログラムの作業領域としても使用される。
二次記憶装置８２０は、ＦＤＤ、ＨＤＤ、フラッシュメモリ、ＣＤ−ＲＯＭドライブ等に代表される不揮発性を持った記憶装置で、ＯＳや各種プログラム及び各種データの永続的な記憶領域として使用される他に、短期的な各種データの記憶領域としても使用される。
ユーザー入力Ｉ／Ｆ８３０にはキーボード、マウス等で代表される入力機器８７０が接続され、ユーザーからの入力を司る。
ユーザー出力Ｉ／Ｆ８４０にはディスプレイ等で代表される出力機器８８０が接続され、ユーザーへ出力を司る。
ネットワークＩ／Ｆ８６０は、ネットワーク２３０と接続するためのＩ／Ｆであり、Ｅｔｈｅｒｎｅｔ等の通信媒体を介してカメラサーバー２００等との通信を担う。
ＣＰＵ８００が二次記憶装置３２０に記憶されているＯＳやプログラムに基づき処理を実行することにより後述する図９のソフトウェア構成及び後述する図１１のフローチャートの処理が実現される。
【００２０】
図９は、クライアント２２０のソフトウェア構成の一例を示す図である。
クライアント２２０は、ソフトウェア構成として、ＯＳ９００、入力制御部９１０、パノラマ制御部９１１、出力制御部９１２、及び通信処理部９１３を含む。
ＯＳ９００は、クライアント全体を制御する。
パノラマ制御部９１１は、カメラサーバー２００から通信処理部９１３経由で全方位画像又はパノラマ画像を取得し、出力制御部９１２経由で取得画像を出力する。また、パノラマ制御部９１１は、入力制御部９１０からパノラマ画像の分割開始位置を変更されると、通信処理部９１３経由でカメラサーバーに保存する。
入力制御部９１０は、ユーザーがキーボードやマウス等、入力機器８７０を操作した情報をパノラマ制御部９１１に送る。本実施形態では、ユーザーがキーボードやマウス等を直接操作すると説明したが、ネットワーク経由の操作や、自動実行プログラムでも実現可能である。
出力制御部９１２は、パノラマ制御部９１１の指示に従い、全方位画像又はパノラマ画像やユーザー入力用領域等の情報をディスプレイ等の出力機器８８０に表示する。
通信処理部９１３は、ネットワークＩ／Ｆ８６０を制御し、ネットワーク２３０を介してカメラサーバー２００から全方位画像又はパノラマ画像を受信したり、パノラマ画像の分割開始位置を送受信したりする。
各ソフトウェア構成同士の連携は、必要に応じてＯＳ９００が提供する機能を用いることとする。
【００２１】
図１０は、パノラマ分割開始位置指定画面の一例を示す図である。
図１０ではパノラマ制御部９１１が出力制御部９１２経由で画像又は分割開始領域を表示し、入力制御部９１０で変更する方法を示す。
図１０（ａ）は全方位画像を表示し、分割線と中心距離とにより２領域に分けている例である。
入力制御部９１０は、全方位画像の中心１００３からの水平線１００４と分割開始位置１０００との角度をパン角度とし、中心１００３から分割領域の内周までの距離１００５をチルト角度とし、これらを変更する。このことで、全方位画像を分割領域１００１と１００２とに分割する。また、入力制御部９１０は、全方位画像上（魚眼画像上）で行われたマウス等の入力機器８７０を用いたクリックやドラッグアンドドロップの情報に基づき、分割開始位置を変更してもよい。
また、図１０（ａ）ではパン角度とチルト角度とを用いたが、パン角度だけで指定させるようにしてもよい。
図１０（ｂ）は２画面パノラマの平面画像１０１１、１０１２を表示し、パン・チルトスライダーで分割開始位置を指定する例である。
入力制御部９１０は、パン角度の変更可能領域をパンスライダー１０１３に表示し、変更可能な現在のパン角度を点１０１４として表示し、チルト角度も変更可能領域をチルトスライダー１０１５に表示し、変更可能な現在のチルト角度を点１０１６として表示している。入力制御部９１０は、パンスライダー１０１３での点１０１４の指定及びチルトスライダー１０１５での点１０１６の指定に基づき分割開始位置を変更してもよい。
また、入力制御部９１０は、２画面パノラマ上で行われたマウス等の入力機器８７０を用いたクリックやドラッグアンドドロップの情報に基づき、パン角度とチルト角度とを変更してもよい。チルト角度とは、全方位画像上では、中心からの距離で表すことができる。
【００２２】
図１０（ｃ）はパン・チルト移動ボタンで分割開始位置を指定する例である。
入力制御部９１０は、パン角度とチルト角度とを変更するボタン１０２１、１０２２、１０２３又は１０２４がマウス等の入力機器８７０を用いて選択され、選択されている間移動する又は選択毎に一定量移動させることができる。ボタン１０２１と１０２２とはパン角度の変更を意味し、ボタン１０２３と１０２４とはチルト角度の変更を意味している。入力制御部９１０は、ボタン１０２１及び１０２２とボタン１０２３及び１０２４との指定に基づき分割開始位置を変更してもよい。
図１０（ｄ）は画像センサーの設定項目により分割開始位置を指定する例である。
入力制御部９１０は、例えば、マウス等の入力機器８７０を用いた画像反転設定１０３１の選択肢１０３２から選択された０度／９０度／１８０度／２７０度の情報に基づき、分割開始位置を選択する。画像反転設定は、画像の回転設定の一例である。入力制御部９１０は、画像反転設定１０３１及び選択肢１０３２の選択に基づき分割開始位置を変更してもよい。
【００２３】
図１１は、クライアント２２０上のパノラマ制御部９１１の情報処理の一例を示すフローチャートである。
パノラマ制御部９１１は、パノラマ画像を表示が必要なときにユーザーからの指示等により起動される。
Ｓ１１００において、パノラマ制御部９１１は、通信処理部９１３に対してカメラサーバー２００から画像取得を開始するように指示する。取得する画像は、パノラマ画像だけでなく全方位画像も取得してもよい。
そして、Ｓ１１０１において、パノラマ制御部９１１は、何らかのイベントが発生するまで待つ。パノラマ制御部９１１は、通信処理部９１３からの画像受信通知、ユーザーが分割開始位置を変更したことを示すユーザー入力通知、ユーザーや通信異常による終了指示のイベントを待つ。
イベントが発生すると、Ｓ１１０２において、パノラマ制御部９１１は、イベントの種類を確認して、それぞれの処理を実施する。パノラマ制御部９１１は、通信処理部９１３からの画像受信通知イベントを受信すると、Ｓ１１０３に進み、ユーザーからのユーザー入力通知イベントを受信すると、Ｓ１１０４に進み、ユーザーや通信異常による終了指示イベントを受信すると、Ｓ１１０６に進む。
【００２４】
Ｓ１１０３において、パノラマ制御部９１１は、受信した画像を出力制御部９１２経由でディスプレイ等の出力機器８８０に表示する。その後、パノラマ制御部９１１は、再度、Ｓ１１０１のイベント待ちに戻る。本実施形態では、パノラマ制御部９１１は、画像は連続で受信することを前提にしているが、必要があれば再度、画像取得開始を要求してもよい。
Ｓ１１０４において、パノラマ制御部９１１は、ユーザー操作から変更後の分割開始位置を算出する。
そして、Ｓ１１０５において、パノラマ制御部９１１は、通信処理部９１３経由でカメラサーバー２００に分割開始位置の変更を指示する。その後、パノラマ制御部９１１は、再度、Ｓ１１０１のイベント待ちに戻る。
Ｓ１１０６において、パノラマ制御部９１１は、カメラサーバー２００から連続で画像取得する処理を停止する。そして、パノラマ制御部９１１は、パノラマ制御部９１１の処理を終了する。
【００２５】
このように、カメラサーバー２００側で２画面パノラマ画像や４画面パノラマ画像等の複数のパノラマ画像間の分割領域を、自動的に同期して、変更する処理を、クライアント２２０側で全方位画像やパノラマ画像を表示しながら、分割開始位置を多様な方法で指定することでよりユーザーによりわかりやすい形で提供することができる。
【００２６】
＜その他の実施形態＞
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給する。そして、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【００２７】
以上、本発明の実施形態の一例について詳述したが、本発明は係る特定の実施形態に限定されるものではない。
例えば、カメラサーバー２００のソフトウェア構成の一部又は全てはハードウェア構成としてカメラサーバー２００に実装されてもよい。また、クライアント２２０のソフトウェア構成の一部又は全てはハードウェア構成としてカメラサーバー２００に実装されてもよい。
また、カメラサーバー２００やクライアント２２０のハードウェア構成としてＣＰＵは複数存在してもよく、複数のＣＰＵがプログラムに基づき処理を実行するようにしてもよい。
また、カメラサーバー２００やクライアント２２０のハードウェア構成としてＣＰＵに替えてＧＰＵ（Ｇｒａｐｈｉｃｓ  Ｐｒｏｃｅｓｓｉｎｇ  Ｕｎｉｔ）を用いることとしてもよい。
【００２８】
以上、上述した各実施形態によれば、２画面パノラマ画像や４画面パノラマ画像等の複数のパノラマ画像間の分割領域を同期することができる。また、２画面パノラマ画像や４画面パノラマ画像等の複数のパノラマ画像間の分割領域を同期して変更し、パノラマ画像間で分割領域を配置する位置を合わせることができる。また、魚眼画像から生成される複数のパノラマ画像間の領域を同期することができる。
【符号の説明】
【００２９】
２００  カメラサーバー
２２０  クライアント
３００  ＣＰＵ
８００  ＣＰＵ
【図１】
2019047492.tif 000003
【図２】
2019047492.tif 000004
【図３】
2019047492.tif 000005
【図４】
2019047492.tif 000006
【図５】
2019047492.tif 000007
【図６】
2019047492.tif 000008
【図７】
2019047492.tif 000009
【図８】
2019047492.tif 000010
【図９】
2019047492.tif 000011
【図１０】
2019047492.tif 000012
【図１１】
2019047492.tif 000013