(57)【要約】      （修正有）【課題】周囲を撮像した円形若しくは環状の撮像画像を複数の分割画像に分割して表示する場合に、分割画像中の拡大表示する領域だけでなく拡大表示しない領域についても表示する技術を提供する。【解決手段】着目パノラマ画像中の部分領域内の画像を拡大した拡大画像を着目パノラマ画像の代わりに表示する。着目パノラマ画像の生成元の分割画像と規定の位置関係にある分割画像から生成されたそれぞれのパノラマ画像を他パノラマ画像とし、着目パノラマ画像において部分領域を除く残りの領域を、他パノラマ画像に割り当てる領域ごとに分割する。他パノラマ画像に割り当てた領域内の画像と他パノラマ画像とを共に表わす画像を、他パノラマ画像の代わりに表示する。【選択図】図１
2016111404.tif 000002
【特許請求の範囲】
【請求項１】
周囲を撮像した円形若しくは環状の撮像画像を分割する分割手段と、
前記分割手段により得られるそれぞれの分割画像からパノラマ画像を生成して表示装置に表示させる表示制御手段と
を備え、
前記表示制御手段は、
前記表示装置に表示されているそれぞれのパノラマ画像のうち着目パノラマ画像中の部分領域内の画像を拡大表示する指示が入力されると、該部分領域内の画像を拡大した拡大画像を生成し、前記表示装置に、該拡大画像を該着目パノラマ画像の代わりに表示させる第１の制御手段と、
前記指示が入力されると、前記撮像画像において前記着目パノラマ画像の生成元の分割画像と規定の位置関係にある分割画像から生成されたそれぞれのパノラマ画像を他パノラマ画像とし、前記着目パノラマ画像において前記部分領域を除く残りの領域を、該他パノラマ画像に割り当てる領域ごとに分割し、前記表示装置に、該他パノラマ画像に割り当てた領域内の画像と該他パノラマ画像とを共に表わす画像を、該他パノラマ画像の代わりに表示させる第２の制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記第２の制御手段は、
前記他パノラマ画像に割り当てた領域内の画像をリサイズした画像と該他パノラマ画像とを連結した連結画像を、該他パノラマ画像の代わりに、前記表示装置に表示させることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第２の制御手段は、
前記指示が入力されると、前記撮像画像において前記着目パノラマ画像の生成元の分割画像と隣接している分割画像から生成されたそれぞれのパノラマ画像を隣接パノラマ画像とし、前記着目パノラマ画像において前記部分領域を除く残りの領域を、該隣接パノラマ画像に割り当てる領域ごとに分割し、前記表示装置に、該隣接パノラマ画像に割り当てた領域内の画像と該隣接パノラマ画像とを連結した連結画像を、該隣接パノラマ画像の代わりに表示させる
ことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記撮像画像を撮像する装置と、
請求項１乃至３の何れか１項に記載の画像処理装置と
を有することを特徴とする撮像装置。
【請求項５】
画像処理装置が行う画像処理方法であって、
前記画像処理装置の分割手段が、周囲を撮像した円形若しくは環状の撮像画像を分割する分割工程と、
前記画像処理装置の表示制御手段が、前記分割工程で得られるそれぞれの分割画像からパノラマ画像を生成して表示装置に表示させる表示制御工程と
を備え、
前記表示制御工程は、
前記表示装置に表示されているそれぞれのパノラマ画像のうち着目パノラマ画像中の部分領域内の画像を拡大表示する指示が入力されると、該部分領域内の画像を拡大した拡大画像を生成し、前記表示装置に、該拡大画像を該着目パノラマ画像の代わりに表示させる第１の制御工程と、
前記指示が入力されると、前記撮像画像において前記着目パノラマ画像の生成元の分割画像と規定の位置関係にある分割画像から生成されたそれぞれのパノラマ画像を他パノラマ画像とし、前記着目パノラマ画像において前記部分領域を除く残りの領域を、該他パノラマ画像に割り当てる領域ごとに分割し、前記表示装置に、該他パノラマ画像に割り当てた領域内の画像と該他パノラマ画像とを共に表わす画像を、該他パノラマ画像の代わりに表示させる第２の制御工程と
を備えることを特徴とする画像処理方法。
【請求項６】
コンピュータを、請求項１乃至３の何れか１項に記載の画像処理装置の各手段として機能させるためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマ画像の表示技術に関するものである。
【背景技術】
【０００２】
従来から、全方位ミラー又は魚眼レンズ等を用いて、撮像装置のパン方向について全周囲を一度に撮影することができる撮像装置が知られている。ユーザは、このような撮像装置で撮像された画像を、ディスプレイなどの表示装置上で確認することができる。特許文献１には、ディスプレイに全周囲画像をパノラマ展開して表示する際に、パノラマ画像を複数の分割画像に分割して表示する表示装置が開示されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１１−２４４１１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１に記載の表示装置では、表示された分割画像の一部を拡大して表示させることについて考慮されていない。ディスプレイに表示された分割画像の一部の領域を拡大して表示させる場合には、次のような課題が生じ得る。すなわち、分割画像において拡大表示された領域以外の領域の画像が表示されなくなってしまうことが考えられる。このような場合、撮像装置が撮像した全周囲画像のうち一部の領域の画像が表示装置において表示されなくなってしまう。
【０００５】
本発明はこのような問題に鑑みてなされたものであり、周囲を撮像した円形若しくは環状の撮像画像を複数の分割画像に分割して表示させる場合に、分割画像中の拡大表示する領域だけでなく拡大表示しない領域についても表示可能にするための技術を提供する。
【課題を解決するための手段】
【０００６】
本発明の一様態は、周囲を撮像した円形若しくは環状の撮像画像を分割する分割手段と、前記分割手段により得られるそれぞれの分割画像からパノラマ画像を生成して表示装置に表示させる表示制御手段とを備え、前記表示制御手段は、前記表示装置に表示されているそれぞれのパノラマ画像のうち着目パノラマ画像中の部分領域内の画像を拡大表示する指示が入力されると、該部分領域内の画像を拡大した拡大画像を生成し、前記表示装置に、該拡大画像を該着目パノラマ画像の代わりに表示させる第１の制御手段と、前記指示が入力されると、前記撮像画像において前記着目パノラマ画像の生成元の分割画像と規定の位置関係にある分割画像から生成されたそれぞれのパノラマ画像を他パノラマ画像とし、前記着目パノラマ画像において前記部分領域を除く残りの領域を、該他パノラマ画像に割り当てる領域ごとに分割し、前記表示装置に、該他パノラマ画像に割り当てた領域内の画像と該他パノラマ画像とを共に表わす画像を、該他パノラマ画像の代わりに表示させる第２の制御手段とを備えることを特徴とする。
【発明の効果】
【０００７】
本発明の構成によれば、周囲を撮像した円形若しくは環状の撮像画像を複数の分割画像に分割して表示させる場合に、分割画像中の拡大表示する領域だけでなく拡大表示しない領域についても表示可能にすることができる。
【図面の簡単な説明】
【０００８】
【図１】システムの構成例を示すブロック図。
【図２】システムの動作例を説明する図。
【図３】表示領域Ａ内の部分領域を拡大表示指定するケースを説明する図。
【図４】表示領域Ａ中の部分領域内の画像を拡大して表示するケースを説明する図。
【図５】領域の割り当てを説明する図。
【図６】連結画像を生成する処理を説明する図。
【図７】表示部１０９の表示画面上にパノラマ画像群を表示する為の処理のフローチャート。
【図８】連結画像を生成する処理を説明する図。
【図９】ステップＳ４０８における処理のフローチャート。
【発明を実施するための形態】
【０００９】
以下、添付図面を参照し、本発明の好適な実施形態について説明する。なお、以下説明する実施形態は、本発明を具体的に実施した場合の一例を示すもので、特許請求の範囲に記載した構成の具体的な実施例の１つである。
【００１０】
［第１の実施形態］
本実施形態では、魚眼レンズを用いて周囲を撮像することで環状の撮像画像を取得する撮像装置を含むシステムについて説明する。先ず、本実施形態に係る撮像装置を含むシステムの構成例について、図１のブロック図を用いて説明する。図１に示す如く、本実施形態に係るシステムは、撮像装置１１１と、ＰＣ（パーソナルコンピュータ）やタブレット端末装置等のインターフェース装置１１２と、を有している。撮像装置１１１はインターフェース装置１１２に対して、無線若しくは有線のネットワークを介して接続されており、該ネットワークを介して互いにデータ通信が可能な状態となっている。なお、撮像装置１１１とインターフェース装置１１２とを一体化させて１つの装置として形成しても構わない。
【００１１】
先ず、撮像装置１１１について説明する。
【００１２】
レンズ１００は、外界の光を後段の撮像素子１０１に導くためのものであり、１８０°の画角をもったレンズである。然るに、撮像装置１１１を天井に設置した場合には、３６０°の範囲が撮像可能となる。本実施形態では、このレンズ１００は、魚眼レンズであるものとして説明するが、周囲を撮像可能な機構、例えば、全方位を撮像可能な機構であれば良く、例えば、魚眼レンズの代わりに全方位ミラーを用いても構わない。
【００１３】
撮像素子１０１は、ＣＣＤセンサやＣＭＯＳセンサ等により構成されており、レンズ１００を介して入光した光をアナログ画像信号（ＲＡＷ画像を表すアナログ画像信号）に変換する。該アナログ画像信号は後段のＡ／Ｄ変換部１０２に入力される。
【００１４】
Ａ／Ｄ変換部１０２は、撮像素子１０１から送出されたアナログ画像信号をディジタル画像信号に変換する。該ディジタル画像信号は後段の画像処理部１０３に入力される。
【００１５】
なお、外界の光をディジタル画像信号に変換して画像処理部１０３に入力するための機構については従来から様々な機構が存在しており、本実施形態では、同様の目的を達成することができるのであれば、如何なる機構を採用しても構わない。また、ディジタル画像信号は、動画像を構成する各フレームの画像のディジタル画像信号であっても構わないし、静止画像のディジタル画像信号であっても構わない。
【００１６】
画像処理部１０３は、Ａ／Ｄ変換部１０２から送出されたディジタル画像信号が表すＲＡＷ画像を用いて周知の現像処理を行うことで１枚の撮像画像を生成する。このようにして生成された撮像画像は、例えば、全方位３６０°を撮像した環状の画像となる。
【００１７】
なお画像処理部１０３は、現像処理の他に様々な画像処理をＲＡＷ画像や撮像画像に対して施しても構わない。そして画像処理部１０３は、生成した撮像画像を、記憶部１０５に格納する。
【００１８】
画像形成部１０４は、記憶部１０５から撮像画像を読み出し、該読み出した撮像画像を、該撮像画像の中心位置からＮ（Ｎは２以上の自然数）方向に伸びる直線で分割することで、Ｎ枚の分割画像を生成する。本実施形態ではＮ＝４とする。そして画像形成部１０４は、生成した４枚の分割画像のそれぞれについて、該分割画像に基づいて周知の技術でもってパノラマ画像を生成する。そして画像形成部１０４は、このようにして生成した４枚のパノラマ画像を、上記のネットワークを介してインターフェース装置１１２に対して送出する。
【００１９】
画像形成部１０４は、インターフェース装置１１２に対して送出した４枚のパノラマ画像のうち１枚のパノラマ画像中の部分領域内の画像を拡大して表示させるための指示をインターフェース装置１１２から受ける。この場合、画像形成部１０４は、補正部１０６、分割部１０７、表示制御部１０８によって再構成されたパノラマ画像をインターフェース装置１１２に対して送出することになる。補正部１０６、分割部１０７、表示制御部１０８の各機能部については後述する。
【００２０】
次に、インターフェース装置１１２について説明する。
【００２１】
表示部１０９は、ＣＲＴや液晶画面などにより構成されており、撮像装置１１１から送出された４枚のパノラマ画像を一覧表示する。
【００２２】
指定部１１０は、マウスやキーボードなどのユーザインターフェースを含み、ユーザが操作することで様々な指示をインターフェース装置１１２に対して入力することができる。なお、指定部１１０と表示部１０９とを一体化させてタッチパネル画面として構わない。
【００２３】
ここで、天井に設置した撮像装置１１１による撮像画像に基づくパノラマ画像群をインターフェース装置１１２の表示部１０９に表示させる処理の一例について、図２を用いて説明する。撮像装置１１１を天井に設置した場合には、３６０°の範囲が撮像可能となる。このときの撮像装置１１１による撮像画像２０３は、画像形成部１０４によって上記の如く４分割されて、分割画像Ａ、分割画像Ｂ、分割画像Ｃ、分割画像Ｄが生成される。更に、画像形成部１０４は、分割画像Ａ〜分割画像Ｄに基づいて周知の技術を用いてパノラマ画像Ａ〜パノラマ画像Ｄを生成する。画像形成部１０４は、該生成したパノラマ画像Ａ〜パノラマ画像Ｄを、ＬＡＮやインターネットなどのネットワーク２０２を介してインターフェース装置１１２の表示部１０９に対して送出する。表示部１０９の表示画面２０４上には、表示領域Ａ、表示領域Ｂ、表示領域Ｃ、および、表示領域Ｄが表示される。表示領域Ａは、パノラマ画像Ａを表示するための領域である。表示領域Ｂは、パノラマ画像Ｂを表示するための領域である。表示領域Ｃは、パノラマ画像Ｃを表示するための領域である。表示領域Ｄは、パノラマ画像Ｄを表示するための領域である。画像形成部１０４から送出されたパノラマ画像Ａ〜パノラマ画像Ｄはそれぞれ、表示領域Ａ〜表示領域Ｄに表示される。以下では説明を簡単にするために、パノラマ画像Ａ〜パノラマ画像Ｄのそれぞれのサイズは、表示領域Ａ〜表示領域Ｄのサイズと同じであるものとして説明する。しかし、パノラマ画像のサイズと表示領域のサイズが互いに異なっている場合には、周知の通り、パノラマ画像を表示領域のサイズにリサイズしてから表示することができる。
【００２４】
ここで、表示部１０９に一覧表示されているパノラマ画像Ａ〜パノラマ画像Ｄを閲覧しているユーザが、パノラマ画像Ａ〜パノラマ画像Ｄのうち１つのパノラマ画像中のある領域（部分領域）内に写っている対象を拡大表示して閲覧するケースについて説明する。
【００２５】
以下では、図３に示す如く、ユーザが指定部１１０を操作して、表示領域Ａに表示しているパノラマ画像Ａ内に写っている被写体３００を包含する領域を指定し、該領域内の画像を拡大表示する指示を入力した場合について説明する。なお、表示領域内の部分領域を指定する方法には様々な方法があり、本実施形態では如何なる方法を採用しても構わない。例えば、マウスを操作してカーソルを表示領域内の部分領域の左上隅の位置に移動させた後、ドラッグアンドドロップ操作でもって部分領域の右下隅の位置にカーソルを移動させる。そして、マウスボタンの押下を解除することで、表示領域内における部分領域を指定しても良い。また、キーボードを操作して、部分領域の左上隅の座標位置と右下隅の座標位置とを入力することで、表示領域内における部分領域を指定しても良い。
【００２６】
ユーザが指定部１１０を操作して、図４の下部に示す如く、表示領域Ａ内の被写体３００を包含する領域３５０を指定し、その後、領域３５０内の画像の拡大表示指示を入力したとする。このとき指定部１１０は、領域３５０を規定する情報である領域情報を作成して撮像装置１１１に対して送信する。領域情報は、パノラマ画像Ａ内の領域３５０を規定するための情報であれば如何なる情報であっても良い。例えばパノラマ画像Ａの識別情報と、パノラマ画像Ａ（表示領域Ａ）の左上隅の座標位置を（０，０）とした場合の領域３５０の左上隅の座標位置及び右下隅の座標位置を示す領域規定情報と、を含む情報を領域情報としても良い。または、パノラマ画像Ａの識別情報と、領域３５０の左上隅の座標位置及び領域３５０の縦横サイズ（画素数）を示す領域規定情報と、を含む情報を領域情報としても良い。
【００２７】
撮像装置１１１の表示制御部１０８は、インターフェース装置１１２から送信された領域情報を受信する。そして、パノラマ画像Ａ〜パノラマ画像Ｄのうち領域情報内の識別情報が示すパノラマ画像（ここではパノラマ画像Ａ）を特定する。さらに領域情報内の領域規定情報によって規定される領域（ここでは領域３５０）を該特定したパノラマ画像Ａから特定する。
【００２８】
分割部１０７は、記憶部１０５から、表示制御部１０８によって特定された領域内の画像、すなわち、パノラマ画像Ａ中の領域３５０内の画像を読み出す。そして分割部１０７は、該読み出した画像を表示領域Ａのサイズに拡大した拡大画像を生成し、該拡大画像を補正部１０６に対して送出する。
【００２９】
補正部１０６は、パノラマ画像Ａ中の領域３５０内の画像を表示領域Ａのサイズに拡大した拡大画像をそのまま画像形成部１０４に対して送出するので、画像形成部１０４は、該拡大画像をパノラマ画像Ａの代わりに出力する。これにより表示部１０９の表示画面２０４上における表示領域Ａには、図４の上部に示す如く、パノラマ画像Ａの代わりに、領域３５０内の画像を拡大した拡大画像３０１が表示されることになる。
【００３０】
しかし、上記の処理だけでは、図４の下部に示す如く、パノラマ画像Ａにおいて領域３５０内の画像は拡大されて表示領域Ａ内に表示されるが、パノラマ画像Ａにおいて領域３５０以外の領域３０２内の画像はどこにも表示されないことになる。そこで本実施形態では上記の処理に加えて、以下の処理を行う。すなわち、領域３０２を、撮像画像においてパノラマ画像Ａの生成元となる分割画像Ａ以外の分割画像（例えば、分割画像Ｂ及びＣ）から生成されたパノラマ画像（例えば、パノラマ画像Ｂ及びＣ）に割り当てる。領域３０２は、割り当て先毎に複数の領域に分割される（例えば、パノラマ画像Ｂ用の領域３０３、パノラマ画像Ｃ用の領域３０４に分割する）。そして、領域３０２のうちパノラマ画像Ｂに割り当てた領域内の画像のパノラマ画像とパノラマ画像Ｂとを連結した画像を、パノラマ画像Ｂの代わりに表示領域Ｂ内に表示する。また、領域３０２のうち、パノラマ画像Ｃに割り当てた領域内の画像のパノラマ画像とパノラマ画像Ｃとを連結した画像を、パノラマ画像Ｃの代わりに表示領域Ｃ内に表示する。あるいは、領域３０２の一部をパノラマ画像Ｄに割り当てることとしても良い。
【００３１】
これにより、パノラマ画像Ａにおいて拡大表示が指定された領域内の画像の拡大画像を表示することができる。さらに、拡大する前のパノラマ画像Ａにおいて拡大する領域以外の領域内の画像を、パノラマ画像Ａ以外のパノラマ画像に連結させて表示することができる。
【００３２】
より詳しくは、表示制御部１０８は、パノラマ画像Ａにおいて領域３５０以外の領域を規定する情報を生成して、該情報を分割部１０７に対して送出する。
【００３３】
分割部１０７は、表示制御部１０８から送出された情報が示す領域（パノラマ画像Ａにおいて領域３５０以外の領域）を分割する。例えば、分割画像Ａの拡大表示する領域外の領域をパノラマ画像Ｂに割り当てる領域、パノラマ画像Ｃに割り当てる領域、に分割する。ここで、記憶部１０５には、撮像画像における分割画像Ａ〜分割画像Ｄのそれぞれの位置関係を示す情報が記憶されている。また、着目パノラマ画像に対して拡大表示すべき領域が指定された場合に該着目パノラマ画像中の拡大表示すべき領域以外の領域をどのようにして分割してどのパノラマ画像に割り当てるのかを示すルールを示す情報が記憶されている。分割部１０７は、記憶部１０５に予め登録されているこれらの情報を参照することで、パノラマ画像Ａ中の領域３５０以外の領域をＡ以外のパノラマ画像に割り当てる領域に分割することができる。図５（ａ）の例では、パノラマ画像Ａにおける拡大すべき領域３５０の右方の領域３０３をパノラマ画像Ｂに割り振る。また領域３５０の上方の領域であって領域３０３と重複しない領域をパノラマ画像Ｃに割り振る。図５（ａ）に示したように、領域３５０の画像を拡大しない状態でパノラマ画像Ｃに割り振ることとしても良い。領域３５０はパノラマ画像Ｃには割り振らず、領域３０４の画像のみをパノラマ画像Ｃに割り振ることとしても良い。
【００３４】
図５（ｂ）の例では、パノラマ画像Ａにおいて領域３５０の上辺から上方の領域３０４をパノラマ画像Ｃに割り当てる領域、領域３５０の右辺から右方且つ領域３０４と重ならない領域３０３をパノラマ画像Ｂに割り当てる領域、としている。図５（ｂ）の例では、領域３０４をパノラマ画像Ｃに割り当てる代わりにパノラマ画像Ｄに割り当てることとしても良い。図５（ｂ）に示すように、パノラマ画像Ｄの下方に領域３０４の画像を付加して表示させることとしても良い。以下では、図５（ｂ）に示した割り当てを行う場合であって、領域３０４はパノラマ画像Ｃに割り当てられる例を用いて説明する。
【００３５】
補正部１０６は、パノラマ画像Ｂに割り当てる領域（図５（ｂ）では領域３０３）内の画像を、パノラマ画像Ｂに連結させて１枚の画像を形成する。図５（ｂ）の場合、領域３０３内の画像をパノラマ画像Ｂの左方に連結させるのであるが、その際、図６に示す如く、領域３０３内の画像とパノラマ画像Ｂとでは縦サイズが異なる。然るにこの場合、領域３０３内の画像の縦サイズをパノラマ画像Ｂの縦サイズに拡大してからパノラマ画像Ｂの左端に連結させることで、１枚の画像３０６（連結画像Ｂ）を形成することとしてもよい。また、割り当てた画像（例えば領域３０３の画像）を割当先のパノラマ画像（例えば、パノラマ画像Ｂ）に連結して表示しなくても良い。割り当てた領域の画像と、割当先のパノラマ画像とを共に表す画像を表示すればよい。例えば、割り当てた画像と割当先のパノラマ画像とを離して表示させても良い。割り当てた画像の被写体と、割当先のパノラマ画像の被写体との位置関係がわかるようにして割り当てた画像とパノラマ画像共に表示させればよい。
【００３６】
同様に、補正部１０６は、パノラマ画像Ｃに割り当てる領域（図５では領域３０４）内の画像を、パノラマ画像Ｃに連結させて１枚の画像を形成する。図５（ｂ）の場合では、領域３０４内の画像をパノラマ画像Ｃの右方に連結させる。
【００３７】
なお、パノラマ画像に連結させる画像を該パノラマ画像のどの方向から連結させるのかのルールについても、予め記憶部１０５に登録されているものとする。たとえば、領域３０４内の画像についてはパノラマ画像Ｃの右方に連結、領域３０３内の画像についてはパノラマ画像Ｂの左方から連結する等のルールが記憶部１０５に登録される。
【００３８】
そして画像形成部１０４は、パノラマ画像Ｂの代わりに連結画像Ｂを出力する。さらに、パノラマ画像Ｃの代わりに連結画像Ｃを出力する。したがって、表示領域Ｂにはパノラマ画像Ｂの代わりに連結画像Ｂが表示され、表示領域Ｃにはパノラマ画像Ｃの代わりに連結画像Ｃが表示される。もちろん、連結画像Ｂのサイズは表示領域Ｂのサイズよりも大きいため、該連結画像Ｂのサイズを表示領域Ｂのサイズにリサイズしてから表示することになる。これは連結画像Ｃについても同様である。なお、このリサイズは補正部１０６が行っても良いし、画像形成部１０４が行っても良い。
【００３９】
なお、上記の説明では、表示領域Ａにはパノラマ画像Ａ全体が表示されている状態で表示領域Ａ内の部分領域を拡大表示すべき領域として指定されたケースについて説明したが、これに限られない。表示領域Ａ内にパノラマ画像Ａの一部が拡大されて表示されている状態で表示領域Ａ内の部分領域が指定された場合であっても、基本的な処理は上記の処理と変わらない。すなわち、表示領域Ａ内の指定された部分領域に該当するパノラマ画像Ａ上の領域を特定することができれば、あとはこの特定した領域を上記の領域３５０として取り扱えばよい。なお、表示領域Ｂ内にパノラマ画像Ｂの一部を拡大した拡大画像を表示している場合には、領域３０３内の画像の縦サイズを該拡大画像の縦サイズに拡大してから該拡大画像の左端に連結させることで、１枚の連結画像Ｂを形成する。これは、表示領域Ｃ内にパノラマ画像Ｃの一部を拡大した拡大画像を表示している場合であっても同様である。
【００４０】
次に、撮像装置１１１が表示部１０９の表示画面上にパノラマ画像群を表示するために行う処理について、同処理のフローチャートを示す図７を用いて説明する。なお、図７に示した各ステップにおける処理の詳細は上記の通りであるため、ここでは簡単に説明する。
【００４１】
＜ステップＳ４０１＞
撮像素子１０１は、レンズ１００を介して入光した光をアナログ画像信号に変換してＡ／Ｄ変換部１０２に対して出力する。Ａ／Ｄ変換部１０２は、撮像素子１０１から送出されたアナログ画像信号をディジタル画像信号に変換して画像処理部１０３に対して出力する。画像処理部１０３は、Ａ／Ｄ変換部１０２から送出されたディジタル画像信号が表すＲＡＷ画像を用いて周知の現像処理を行うことで１枚の撮像画像を生成し、該撮像画像を記憶部１０５に格納する。
【００４２】
＜ステップＳ４０２＞
画像形成部１０４は、記憶部１０５から撮像画像を読み出し、該読み出した撮像画像を４分割して４枚の分割画像を生成し、該生成した４枚の分割画像のそれぞれについて、該分割画像に基づいて周知の技術でもってパノラマ画像を生成する。そして画像形成部１０４は、このようにして生成した４枚のパノラマ画像を、上記のネットワークを介してインターフェース装置１１２に対して送出する。
【００４３】
＜ステップＳ４０３＞
表示制御部１０８が、インターフェース装置１１２から領域情報を受信したか否かを判断する。この判断の結果、インターフェース装置１１２から領域情報を受信した場合には、処理はステップＳ４０４に進み、受信していない場合には、処理はステップＳ４０３で待機する。
【００４４】
＜ステップＳ４０４＞
表示制御部１０８は、インターフェース装置１１２から送信された領域情報を受信すると、４枚のパノラマ画像のうち領域情報内の識別情報が示すパノラマ画像（着目パノラマ画像）を特定する。そして、領域情報内の領域規定情報によって規定される領域（着目領域）を該着目パノラマ画像から特定する。
【００４５】
＜ステップＳ４０５＞
分割部１０７は、記憶部１０５から、表示制御部１０８によって特定された着目領域内の画像、すなわち、着目パノラマ画像中の着目領域内の画像を読み出す。そして、該読み出した画像を、着目パノラマ画像の表示領域のサイズに拡大した拡大画像を生成し、該拡大画像を補正部１０６に対して送出する。補正部１０６は、分割部１０７から受けた拡大画像をそのまま画像形成部１０４に対して送出するので、画像形成部１０４は、該拡大画像を着目パノラマ画像の代わりにインターフェース装置１１２に対して出力する。
【００４６】
＜ステップＳ４０６＞
表示制御部１０８は、着目パノラマ画像において着目領域以外の領域（他領域）を規定する情報を生成して、該情報を分割部１０７に対して送出する。
【００４７】
＜ステップＳ４０７＞
分割部１０７は、表示制御部１０８から送出された情報を用いて、該情報が示す領域を、撮像画像において着目パノラマ画像の生成元の分割画像と隣接する隣接分割画像から生成したパノラマ画像に割り当てる領域ごとに分割する。領域を割り当てる先は、拡大する領域を含む分割画像と隣接する分割画像から生成したパノラマ画像に限られない。拡大する領域を含む分割画像に隣接しない分割画像から生成したパノラマ画像に領域３０４又は領域３０３を割り当てても良い。例えば図５（ｂ）を用いて説明したように、分割画像Ａの領域３０４の領域の画像を、分割画像Ｄから生成したパノラマ画像Ｄに割り当ててもよい。この場合パノラマ画像Ｄ及び領域３０４のパノラマ画像が、表示画面の表示領域Ｄに共に表示される。
【００４８】
＜ステップＳ４０８＞
補正部１０６は、隣接パノラマ画像ごとに、該隣接パノラマ画像に割り当てる領域内の画像を該隣接パノラマ画像に連結させて１枚の連結画像を形成する。
【００４９】
＜ステップＳ４１０＞
画像形成部１０４は、隣接パノラマ画像ごとに、該隣接パノラマ画像の代わりに、該隣接パノラマ画像について生成した連結画像を、インターフェース装置１１２に対して出力する。
【００５０】
＜ステップＳ４１１＞
表示制御部１０８が、インターフェース装置１１２から領域情報を受信したか否かを判断する。この判断の結果、インターフェース装置１１２から領域情報を受信した場合には、処理はステップＳ４０４に進み、受信していない場合には、図７のフローチャートに従った処理は完了する。
【００５１】
なお、本実施形態では、ユーザがパノラマ画像Ａ中の部分領域に対する拡大表示指示を入力した場合には、以下の処理を行う例について説明した。すなわち、パノラマ画像Ａにおいて拡大表示指示の対象となる領域外を、撮像画像においてパノラマ画像Ａの生成元となる分割画像Ａに隣接する分割画像から生成されたパノラマ画像のそれぞれに割り当てる領域毎に分割した。しかし、撮像画像においてパノラマ画像Ａの生成元となる分割画像Ａと規定の位置関係にある分割画像から生成されたパノラマ画像（他パノラマ画像）のそれぞれに割り当てる領域毎に分割しても構わない。その場合、この「規定の位置関係」は、上記のルールの一部として記憶部１０５に予め登録しておくことになる。
【００５２】
また、本実施形態では環状の撮像画像を対象としたが、撮像画像の撮像方法によっては環状の撮像画像ではなく円形の撮像画像が得られる場合があり、このような場合であっても、第１の実施形態は同様に適用することができる。
【００５３】
［第２の実施形態］
第１の実施形態では、図６に示す如く、領域３０３内の画像の縦サイズをパノラマ画像Ｂの縦サイズに拡大してからパノラマ画像Ｂの左端に連結させた。このようにして、１枚の画像３０６（連結画像Ｂ）を形成していた。しかし、図８に示す如く、領域３０３内の画像をリサイズせずにパノラマ画像Ｂの左端に連結させることで、１枚の画像３０７を形成するようにしても構わない。なお、画像３０７において領域３０３内の画像及びパノラマ画像Ｂ以外の領域については任意の色の画素を並べた領域となる。以下では第１の実施形態との差分について説明し、以下で特に触れない限りは第１の実施形態と同様であるものとする。
【００５４】
本実施形態では、上記のステップＳ４０８において図９のフローチャートに従った処理を実行する。
【００５５】
＜ステップＳ５０１＞
表示制御部１０８がインターフェース装置１１２から第１のモードを示す連結モードを受信した場合には、処理はステップＳ５０２に進み、第２のモードを示す連結モードを受信した場合には、処理はステップＳ５０７に進む。
【００５６】
連結モードの設定方法については特定の設定方法に限るものではない。例えば、ユーザが指定部１１０を操作して設定しても構わないし、撮像装置１１１に備わっている不図示の操作部を操作して設定しても構わない。
【００５７】
＜ステップＳ５０２＞
補正部１０６は、第１の実施形態と同様に、隣接パノラマ画像ごとに、該隣接パノラマ画像に割り当てる領域内の画像を、該隣接パノラマ画像のサイズに応じてリサイズする。例えば、図５の場合、領域３０３内の画像の縦サイズをパノラマ画像Ｂの縦サイズに拡大する。
【００５８】
＜ステップＳ５０４＞
補正部１０６は、隣接パノラマ画像ごとに、該隣接パノラマ画像に割り当てる領域内の画像をステップＳ５０２でリサイズした画像を該隣接パノラマ画像に連結させて１枚の連結画像を形成する。
【００５９】
＜ステップＳ５０７＞
補正部１０６は、隣接パノラマ画像ごとに、該隣接パノラマ画像に割り当てる領域内の画像をリサイズせずにそのまま該隣接パノラマ画像に連結させて１枚の連結画像を形成する。
【００６０】
［第３の実施形態］
図１において、画像処理部１０３、画像形成部１０４、補正部１０６、分割部１０７、表示制御部１０８、はハードウェアで構成しても良いし、ソフトウェア（コンピュータプログラム）で構成しても構わない。後者の場合、このコンピュータプログラムは撮像装置１１１内のメモリに格納され、撮像装置１１１のＣＰＵなどのプロセッサが実行することで、対応する機能部による処理が実現されることになる。
【００６１】
また、図１に示したシステムを、撮像装置と、コンピュータ装置とを有するシステムに置き換えても、第１，２の実施形態は同様に適用することができる。撮像装置は、例えば、レンズ１００、撮像素子１０１、及び、Ａ／Ｄ変換部１０２を有する。コンピュータ装置は、例えば、画像処理部１０３、記憶部１０５、画像形成部１０４、補正部１０６、分割部１０７、表示制御部１０８、表示部１０９、及び、指定部１１０を有する。ただし、画像処理部１０３は撮像装置、コンピュータ装置の何れが有していても構わない。
【００６２】
この場合、上記のコンピュータが有する記憶部１０５は例えば、ＲＡＭ（Ｒａｎｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）やＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）等のメモリとすることができる。あるいはＨＤＤ（Ｈａｒｄ  Ｄｉｓｋ  Ｄｒｉｖｅ）等の記録媒体であってもよい。また記憶部１０５は、フラッシュメモリやメモリカード等のリムーバブルメディアとしてもよい。
【００６３】
また、画像処理部１０３、画像形成部１０４、補正部１０６、分割部１０７、表示制御部１０８の各機能は、上記コンピュータが有するＣＰＵ等の１以上のプロセッサが記憶部１０５に記憶されたプログラムを実行することにより実現される。また、第１〜３の実施形態の一部若しくは全部を適宜組み合わせても構わない。
【００６４】
（その他の実施例）
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【符号の説明】
【００６５】
１０４：画像形成部  １０６：補正部  １０７：分割部  １０８：表示制御部
【図１】
2016111404.tif 000003
【図２】
2016111404.tif 000004
【図３】
2016111404.tif 000005
【図４】
2016111404.tif 000006
【図５】
2016111404.tif 000007
【図６】
2016111404.tif 000008
【図７】
2016111404.tif 000009
【図８】
2016111404.tif 000010
【図９】
2016111404.tif 000011