(57)【要約】【課題】周囲の全体の状況を把握するために提示されるパノラマ画像の中心方位およびその範囲を設定可能とすることによって、詳細な画像を取得する際に対象となる局所領域の指定をユーザが容易に行なえるようにすること。【解決手段】１つまたは複数のカメラを含んで構成され全方位画像ＦＣを周囲画像として取得する全方位画像取得部１１と、全方位画像取得部１１により取得される全方位画像ＦＣに対してその中心方位ＴＨおよび画角ＧＫを設定するためのパノラマ画像端設定部１２と、全方位画像取得部１１により取得された全方位画像ＦＣの全部または一部から、パノラマ画像端設定部１２により設定された中心方位ＴＨを中心位置とし且つ画角ＧＫに対応する範囲の画像を抽出してパノラマ画像ＰＧを作成するパノラマ画像作成処理部１３とを有する。【選択図】図１
2006211105.tif 000002
【特許請求の範囲】
【請求項１】
１つまたは複数のカメラを含んで構成され周囲画像を取得する周囲画像取得手段と、
前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、
前記周囲画像取得手段により取得された周囲画像の全部または一部から、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲の画像を抽出してパノラマ画像を作成するパノラマ画像作成手段と、
を有することを特徴とする画像生成装置。
【請求項２】
前記パノラマ画像端設定手段は、ユーザがマニュアルによって設定可能な操作入力手段を含む、
請求項１記載の画像生成装置。
【請求項３】
前記パノラマ画像端設定手段は、
前記周囲画像取得手段により取得された周囲画像または当該周囲画像を構成する画像に対し、その画像内の被写体についての画像認識を行うことによって、前記中心方位および前記画角を取得する手段を含む、
請求項１記載の画像生成装置。
【請求項４】
前記周囲画像取得手段は、向きを変更することの可能な移動体に対し、当該周囲画像取得手段自体の向きが変更可能に取り付けられており、
前記パノラマ画像端設定手段は、前記移動体の向きを示す情報に基づいて前記中心方位および前記画角を取得する手段を含む、
請求項１記載の画像生成装置。
【請求項５】
前記周囲画像取得手段は、複数のカメラを含んで構成されており、
パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像の互いの配置を変更する手段を含む、
請求項１記載の画像生成装置。
【請求項６】
前記周囲画像取得手段は、複数のカメラを含んで構成されており、
パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像を読み出す際のそれぞれの先頭のアドレスの順序を互いに変更する手段を含む、
請求項１記載の画像生成装置。
【請求項７】
１つまたは複数のカメラを含んで構成され周囲画像を取得する周囲画像取得手段と、
前記周囲画像取得手段により取得された周囲画像からパノラマ画像を作成するパノラマ画像作成手段と、
前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、
前記パノラマ画像作成手段により作成されたパノラマ画像を、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲のパノラマ画像に変換するパノラマ画像変換手段と、
前記パノラマ画像変換手段により変換された後のパノラマ画像を表示する表示手段と、
を有することを特徴とする画像生成システム。
【請求項８】
前記周囲画像取得手段、前記パノラマ画像作成手段、および前記パノラマ画像端設定手段は、サーバに設けられており、
前記パノラマ画像変換手段および前記表示手段は、クライアントに設けられており、
前記サーバから前記クライアントに対して、前記パノラマ画像作成手段により作成されたパノラマ画像および前記パノラマ画像端設定手段により設定された前記中心方位並びに前記画角についての情報が送信されるように構成されている、
請求項７記載の画像生成システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、全方位画像などのような周囲画像に基づいてパノラマ画像を生成する画像生成装置およびシステムに関する。
【背景技術】
【０００２】
従来より、３６０度の全方位画像（全周囲画像）に基づいてパノラマ画像を生成する画像生成装置が知られている。例えば、複数のカメラを用いるもの、魚眼カメラを用いるもの、全周囲カメラを用いるものなどがある。このような画像生成装置は、例えば監視カメラやロボットの誘導などの目的に用いられる。
【０００３】
図１６〜図１９は従来の画像生成装置を説明するための図である。
【０００４】
図１６は単一カメラの回転による複数回撮影タイプの画像生成装置を示す。すなわち、図１６（Ａ）において、画角が９０度またはそれ以上の１つのカメラＣＭが回転可能に取り付けられており、カメラＣＭが１回転する間に複数回の撮影を行う。例えば、１回転の間に、順次９０度回転したときの時刻であるｔ１、ｔ２、ｔ３、ｔ４において合計４回の撮影を行うことによって、図１６（Ｂ）〜（Ｅ）に示すように４つの画像ＦＤ１〜４が得られる。これらの画像ＦＤ１〜４を繋ぎ合わせることによって、１つのパノラマ画像が得られる。
【０００５】
図１７は複数カメラによる複眼撮影タイプの画像生成装置を示す。すなわち、図１７（Ａ）において、カメラＣＭと同様な４つのカメラＣＭ１〜４が、それぞれの撮影方向が順次９０度の方位差となるように配置されている。これら４つのカメラＣＭ１〜４によって、図１７（Ｂ）〜（Ｅ）に示すように４つの画像ＦＥ１〜４が同時に得られる。これらの画像ＦＥ１〜４を繋ぎ合わせることによって、１つのパノラマ画像が得られる。
【０００６】
図１８は凸面鏡によるミラー撮影タイプの画像生成装置を示す。すなわち、図１８（Ａ）において、凸面鏡ＴＫの下方にカメラＣＭ５が配置されており、凸面鏡ＴＫに映った全周の画像をカメラＣＭ５で撮影する。カメラＣＭ５からは、図１８（Ｂ）に示すような全方位の画像ＦＦ１が得られる。
【０００７】
図１９は超広角撮影タイプの画像生成装置を示す。すなわち、図１９（Ａ）において、カメラＣＭ６の前方に配置された魚眼レンズＧＬによって全周の画像を撮影する。カメラＣＭ６からは、図１９（Ｂ）に示すような全方位の画像ＦＧ１が得られる。
【０００８】
このように、従来の画像生成装置は、撮影によって得られた全方位の画像ＦＤ１〜４、ＦＥ１〜４、ＦＦ、ＦＧから、パノラマ画像を生成する。図２０にはパノラマ画像ＰＧ９の例が示されている。パノラマ画像ＰＧ９に基づいて、例えば、侵入者の検出や認証を行ったり、ロボットの移動方向や動作の決定を行なう。
【０００９】
通常、侵入者の認証やロボットの詳細な移動方向などの決定を行なうために必要な画質は比較的高い傾向にあるため、そのような高画質の画像を全周囲に対して同時に取得し、それを転送し、また出力するには、データ量が大きくなりすぎるという問題がある。したがって、実際には、パノラマ画像ＰＧ９については低解像度で作成してユーザに提示し、パノラマ画像ＰＧ９によって周囲の全体の状況を大まかにリアルタイムで把握できるようにするとともに、ユーザがパノラマ画像ＰＧ９上で指定した局所領域や、パノラマ画像ＰＧ９に対する画像処理で対象物体を検出した局所領域について、別途詳細画像を提示することが一般的である。
【００１０】
例えば、特許文献１には、ＰＴＺ動作によって得られる複数の画像を接続して広角画像を取得し、広角画像上でユーザが指定した位置をＰＴＺ動作により撮影することで任意の領域を拡大表示するシステムが開示されている。
【００１１】
また、特許文献２には、全周囲カメラから得られた画像上で指定または自動認識した領域を、ズームカメラで詳細に撮影するシステムが開示されている。
【特許文献１】特開平１１−８８４４
【特許文献２】特開２００３−２５９３４９
【発明の開示】
【発明が解決しようとする課題】
【００１２】
さて、従来において、周囲の全体をユーザが把握するために提示されるパノラマ画像ＰＧ９は、固定の位置や方向に対して作成されている。
【００１３】
例えば、上に述べた特許文献１による場合には、取得される広角画像自体は固定的に作成されるものであるため、その広角画像のいずれかの端部の近辺にユーザの興味が集中する場合には、画像が端部で途切れるために見辛く、拡大表示を指定すること自体がわずらわしい作業となってしまう。
【００１４】
また、特許文献２による場合にも、全周囲カメラから得られる展開画像の向きについては何らの考慮もないため、同様の問題がある。
【００１５】
つまり、例えば、表示装置に図２０に示すパノラマ画像ＰＧ９が表示されている状態で、対象物体Ｑが侵入者であるか否かをユーザが判断したいときに、対象物体Ｑがパノラマ画像ＰＧ９の端部で途切れて両端部に別れてしまっているため、対象物体Ｑを視認することが難しく、対象物体Ｑを見過ごしてしまう恐れもあり、拡大表示の位置指定を行うことが困難であった。
【００１６】
本発明は、上述の問題に鑑みてなされたもので、周囲の全体の状況を把握するために提示されるパノラマ画像の中心方位およびその範囲を設定可能とすることによって、詳細な画像を取得する際に対象となる局所領域の指定をユーザが容易に行なえるようにすることを目的とする。
【課題を解決するための手段】
【００１７】
本発明に係る装置は、１つまたは複数のカメラを含んで構成され周囲画像を取得する周囲画像取得手段と、前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、前記周囲画像取得手段により取得された周囲画像の全部または一部から、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲の画像を抽出してパノラマ画像を作成するパノラマ画像作成手段とを有する。
【００１８】
好ましくは、前記パノラマ画像端設定手段は、ユーザがマニュアルによって設定可能な操作入力手段を含む。
【００１９】
また、前記パノラマ画像端設定手段は、前記周囲画像取得手段により取得された周囲画像または当該周囲画像を構成する画像に対し、その画像内の被写体についての画像認識を行うことによって、前記中心方位および前記画角を取得する手段を含む。
【００２０】
また、前記周囲画像取得手段は、向きを変更することの可能な移動体に対し、当該周囲画像取得手段自体の向きが変更可能に取り付けられており、前記パノラマ画像端設定手段は、前記移動体の向きを示す情報に基づいて前記中心方位および前記画角を取得する手段を含む。
【００２１】
また、前記周囲画像取得手段は、複数のカメラを含んで構成されており、パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像の互いの配置を変更する手段を含む。
【００２２】
また、前記周囲画像取得手段は、複数のカメラを含んで構成されており、パノラマ画像作成手段は、前記複数のカメラから得られた複数の画像を読み出す際のそれぞれの先頭のアドレスの順序を互いに変更する手段を含む。
【００２３】
他の形態によると、１つまたは複数のカメラを含んで構成され周囲画像を取得する周囲画像取得手段と、前記周囲画像取得手段により取得された周囲画像からパノラマ画像を作成するパノラマ画像作成手段と、前記周囲画像取得手段により取得される周囲画像に対してその中心方位および画角を設定するためのパノラマ画像端設定手段と、前記パノラマ画像作成手段により作成されたパノラマ画像を、前記パノラマ画像端設定手段により設定された前記中心方位を中心位置とし且つ前記画角に対応する範囲のパノラマ画像に変換するパノラマ画像変換手段と、前記パノラマ画像変換手段により変換された後のパノラマ画像を表示する表示手段とを有する。
【００２４】
そして、前記周囲画像取得手段、前記パノラマ画像作成手段、および前記パノラマ画像端設定手段は、サーバに設けられており、前記パノラマ画像変換手段および前記表示手段は、クライアントに設けられており、前記サーバから前記クライアントに対して、前記パノラマ画像作成手段により作成されたパノラマ画像および前記パノラマ画像端設定手段により設定された前記中心方位並びに前記画角についての情報が送信されるように構成される。
【００２５】
なお、周囲画像は、３６０度の全周の画像であってもよく、また、３６０度の全周ではなく、その一部の周囲の画像であってもよい。
【発明の効果】
【００２６】
本発明によると、周囲の全体の状況を把握するために提示されるパノラマ画像の中心方位およびその範囲を設定可能とすることによって、詳細な画像を取得する際に対象となる局所領域の指定をユーザが容易に行なうことが可能となる。
【発明を実施するための最良の形態】
【００２７】
図１は本発明に係る実施形態の画像生成システム１を示すブロック図である。
【００２８】
図１において、画像生成システム１は、サーバ３およびクライアント４からなる。サーバ３には、全方位画像取得部１１、パノラマ画像端設定部１２、パノラマ画像作成処理部１３、送信部１４、操作入力部１５、および表示部１６などが設けられている。クライアント４には、受信部２１、表示部２２、印刷部２３、記録部２４、および図示しない操作入力部などが設けられている。
【００２９】
全方位画像取得部１１は、１つまたは複数のカメラを含んで構成され、３６０度の全方位画像を取得する。全方位画像取得部１１として、公知の種々の構造のものを用いることが可能である。例えば、図１６に示す単一カメラの回転による複数回撮影タイプのもの、図１７に示す複数カメラによる複眼撮影タイプのもの、図１８に示す凸面鏡によるミラー撮影タイプのもの、図１９に示す超広角撮影タイプのものなどが使用可能である。
【００３０】
したがって、全方位画像取得部１１からは、図１６（Ｂ）〜（Ｅ）に示すような４つの画像ＦＤ１〜４、図１７（Ｂ）〜（Ｅ）に示すような４つの画像ＦＥ１〜４、または図１８（Ｂ）や図１９（Ｂ）に示すような画像ＦＦ１，ＦＧ１が出力される。なお、画像ＦＥ，ＦＧは、静止画であってもよく、また動画であってもよい。
【００３１】
これらの画像（画像データ）を「全方位画像ＦＣ」と記載する。つまり、全方位画像ＦＣは、全方位画像を構成するための画像情報全体を意味し、１つの全方位画像として完成していなくてもよく、例えば全方位画像を構成するための断片的な画像の集合であってもよい。
【００３２】
なお、本実施形態では、３６０度の全周の画像である全方位画像ＦＣを周囲画像として用いたが、３６０度の全周ではなく、その一部、例えば３００度、１８０度などの周囲画像を用いてもよい。
【００３３】
パノラマ画像端設定部１２は、全方位画像取得部１１により取得される全方位画像ＦＣに対して、その中心方位ＴＨおよび画角ＧＫを設定するためのものである。中心方位ＴＨおよび画角ＧＫの設定に際しては、ユーザが操作入力部１５を操作してマニュアルによって設定することが可能である。また、パノラマ画像端設定部１２には画像認識処理部１２１が設けられており、全方位画像（全方位画像を構成する画像を含む）ＦＣに対し、その画像内の被写体（対象物体）についての画像認識を行うことによって、中心方位ＴＨおよび画角ＧＫを自動的に設定することも可能である。
【００３４】
さらに、後で述べるように、全方位画像取得部１１を、自走ロボットのように向きを変更することの可能な移動体に対してそれ自体の向きを変更可能に取り付けておき、移動体の向きを示す情報に基づいて、中心方位ＴＨおよび画角ＧＫを自動的に設定することも可能である。
【００３５】
いずれにしても、パノラマ画像端設定部１２からは、設定された中心方位ＴＨおよび画角ＧＫを示す情報が出力される。
【００３６】
パノラマ画像作成処理部１３は、全方位画像ＦＣの全部または一部から、パノラマ画像端設定部１２により設定された中心方位ＴＨを中心位置とし且つ画角ＧＫに対応する範囲の画像を抽出し、パノラマ画像ＰＧを作成する。パノラマ画像作成処理部１３からは、作成されたパノラマ画像ＰＧの画像データが出力される。
【００３７】
送信部１４は、パノラマ画像ＰＧなどのデータＤＴをクライアント４に向けて送信する。送信の際には、必要に応じて、適当な圧縮処理などが行われる。暗号化処理などを行うことも可能である。
【００３８】
操作入力部１５は、ユーザがマニュアル（手動）で操作することによって、全方位画像ＦＣに対する中心方位ＴＨおよび画角ＧＫを設定するための入力操作を行うことが可能である。操作入力部１５として、例えば、キーボード、マウス、ジョイスティック、カーソル移動のためのボタンなどが用いられる。
【００３９】
表示部１６は、液晶パネル、ＣＲＴ、その他の表示デバイスを用いて構成され、全方位画像ＦＣ、その他の画像、またはメッセージなどを表示面に表示可能である。ユーザがマニュアルによって中心方位ＴＨおよび画角ＧＫを設定する際には、表示部１６に表示された全方位画像ＦＣを見ながら操作入力部１５を操作する。
【００４０】
受信部２１は、サーバ３から送信されたパノラマ画像ＰＧなどのデータＤＴを受信する。パノラマ画像ＰＧが圧縮されていた場合にはその解凍をも行う。暗号化されていた場合には複号化処理を行う。
【００４１】
表示部２２は、液晶パネル、ＣＲＴ、その他の表示デバイスを用いて構成され、受信したパノラマ画像ＰＧ、その他の画像、メッセージなどを表示面に表示可能である。
【００４２】
印刷部２３は、受信したパノラマ画像ＰＧ、その他の画像、メッセージなどを用紙に印刷する。記録部２４は、受信したパノラマ画像ＰＧなどを、種々の記録媒体に記録する。記録媒体として、例えば、半導体メモリ、磁気ディスク、ＣＤ−ＲＯＭ、フレキシブルディスクなどが用いられる。
【００４３】
このように、本実施形態の画像生成システム１では、サーバ３において取得し作成したパノラマ画像ＰＧをクライアント４に送信し、クライアント４においてはそのパノラマ画像ＰＧを表示しまたは記録する。
【００４４】
サーバ３およびクライアント４として、種々の半導体デバイスや電子機器から構成され、適当なプログラムをＣＰＵ（中央処理装置）が実行することによってそれらの機能を実現するように構成された専用機が用いられる。また、これらのいずれかまたは両方に、適当なプログラムが格納されたパーソナルコンピュータを用いることも可能である。サーバ３とクライアント４とは、互いに接近して一体的に設けられていてもよく、また互いに離れて独立して設置されていてもよい。サーバ３とクライアント４とが離れている場合に、それらの間は、適当なケーブル、専用回線、ＬＡＮ、ＷＡＮ、またはインターネットなどで接続することが可能である。
【００４５】
次に、画像生成システム１の機能について、図２〜図７を参照してさらに詳しく説明する。
【００４６】
図２は全方位画像取得部１１によって取得される全方位画像ＦＣ１の例を示す図、図３は全方位画像取得部１１によって取得される他の例の全方位画像ＦＣ２を示す図、図４は全方位画像取得部１１によって取得されるさらに他の例の全方位画像ＦＣ３を示す図、図５はパノラマ画像ＰＧ１，２の例を示す図、図６は他の例のパノラマ画像ＰＧ３を示す図、図７はさらに他の例のパノラマ画像ＰＧ４を示す図、図８は局所領域拡大画像ＦＢ１の例を示す図である。
【００４７】
なお、図２および図３に示す全方位画像ＦＣ１，２は、４つのカメラを有する全方位画像取得部１１から得られた４つの画像ＦＡ１〜４によるものであり、図４に示す全方位画像ＦＣ３は、凸面鏡によるミラー撮影タイプの１つのカメラを有する全方位画像取得部１１から得られたものである。
【００４８】
図２に示す全方位画像ＦＣ１では、中央左寄りに位置する人物である対象物体Ｑが、その他の物体Ｑ１〜３とともに写っている。しかし、図３に示す全方位画像ＦＣ２では、対象物体Ｑが移動して全方位画像ＦＣ２の端部に入ってしまい、対象物体Ｑが端部で途切れて両端部に別れてしまっている。
【００４９】
このような全方位画像ＦＣ１，２に対して、ユーザは、操作入力部１５を操作し、中心方位ＴＨおよび画角ＧＫを設定（指定）することができる。
【００５０】
すなわち、図２に示すように、操作入力部１５を操作しパノラマ画像端設定部１２によって中心方位ＴＨ１および画角ＧＫ１を設定する。パノラマ画像作成処理部１３は、設定された中心方位ＴＨ１および画角ＧＫ１に対応して、全方位画像ＦＣ１から図５（Ａ）に示すパノラマ画像ＰＧ１を作成する。
【００５１】
図５（Ａ）に示すパノラマ画像ＰＧ１では、設定された中心方位ＴＨ１がパノラマ画像ＰＧ１の中心位置となり、設定された画角ＧＫ１がパノラマ画像ＰＧ１の画角ＧＫ１となっている。これによって、ユーザが意図した対象物体Ｑがパノラマ画像ＰＧ１の中心位置にきている。したがって、ユーザは、対象物体Ｑを観察し易くなり、対象物体Ｑをもっと詳しく観察すべきかどうかを容易に決定することができるので、対象物体Ｑに対して拡大表示を指定することが容易となる。
【００５２】
なお、図５（Ａ）に示すパノラマ画像ＰＧ１が表示されているときに、クライアント４において操作入力部をユーザが操作し、拡大表示を指定すると、表示部２２には図８に示す局所領域拡大画像ＦＢ１が表示される。局所領域拡大画像ＦＢ１によって、ユーザはより詳細に対象物体Ｑを観察することができる。これによって、対象物体Ｑが例えば侵入者であるか否かをより的確に判断することができる。
【００５３】
図２において、全方位画像ＦＣ１に対して中心方位ＴＨ１および画角ＧＫ２を設定すると、その画角ＧＫ２に対応して、図５（Ｂ）に示すパノラマ画像ＰＧ２が作成される。
【００５４】
また、図３に示すように、操作入力部１５を操作しパノラマ画像端設定部１２によって中心方位ＴＨ３および画角ＧＫ３を設定する。パノラマ画像作成処理部１３は、設定された中心方位ＴＨ３および画角ＧＫ３に対応して、全方位画像ＦＣ２から図６に示すパノラマ画像ＰＧ３が作成される。
【００５５】
図６に示すパノラマ画像ＰＧ３においても、設定された中心方位ＴＨ３がパノラマ画像ＰＧ３の中心位置となり、設定された画角ＧＫ３がパノラマ画像ＰＧ３の画角ＧＫ３となっている。このように、全方位画像ＦＣ２においては対象物体Ｑが端部に寄ってしまっているにもかかわらず、パノラマ画像ＰＧ３では対象物体Ｑが中心位置にきている。したがって、先の例のパノラマ画像ＰＧ１の場合と同様に、ユーザは対象物体Ｑを観察し易くなる。また、パノラマ画像ＰＧ３に対して拡大表示を指定して局所領域拡大画像ＦＢ１を表示部２２に表示させることができる。
【００５６】
また、凸面鏡によるミラー撮影タイプのものから取得された全方位画像ＦＣに対しても、図２および図３の場合と同様に中心方位ＴＨおよび画角ＧＫを設定することができる。
【００５７】
すなわち、図４に示すように、全方位画像ＦＣ３に対して、中心方位ＴＨ１を設定し、画角ＧＫ２を設定した場合には、図５（Ｂ）に示すパノラマ画像ＰＧ２が作成される。
【００５８】
上に述べた例では、全方位画像ＦＣに対して、任意の中心方位ＴＨおよび画角ＧＫを設定できるようにした例を説明した。しかし、中心方位ＴＨおよび画角ＧＫを設定するに当たり、ある限定された範囲内でのみ可能としてもよい。例えば、図１７に示すように複数カメラによって得た複数の画像を繋いで全方位画像ＦＣとするタイプのものに対して、各カメラによる画像単位でのみ、中心方位ＴＨおよび画像を設定可能としてもよい。
【００５９】
すなわち、図２において、中央の２つの画像ＦＡ２とＦＡ３との間を中心方位ＴＨ２として指定し、２つの画像ＦＡ２，３を含む範囲を画角ＧＫ４として設定する。そうすると、パノラマ画像作成処理部１３は、設定された中心方位ＴＨ４および画角ＧＫ４に対応して、全方位画像ＦＣ１から図７に示すパノラマ画像ＰＧ４を作成する。
【００６０】
図７に示すパノラマ画像ＰＧ４では、設定された中心方位ＴＨ４が中心位置とされ、設定された画角ＧＫ４がパノラマ画像ＰＧ４の画角ＧＫ４となっている。これによって、対象物体Ｑは、パノラマ画像ＰＧ１の中心位置ではないものの、対象物体Ｑの全体が分断されることなく写っている。したがって、対象物体Ｑの観察は容易であり、拡大表示の指定も容易である。
【００６１】
なお、中心方位ＴＨおよび画角ＧＫの指定に際して、表示部１６の表示面には、それぞれの全方位画像ＦＣを表示すればよく、これとともに、中心方位ＴＨや画角ＧＫを示す矢符、記号、中心線、または寸法線などを適所に表示してもよい。また、画角ＧＫを示すのに、画角ＧＫの濃度や色を他と変えたりすることによって強調表示してもよい。また、これらの表示とともに、中心方位ＴＨや画角ＧＫを数値で表示してもよい。
〔変形例〕
図９は本発明に係る画像生成システムの変形例を示すブロック図、図１０は本発明に係る画像生成システムの他の変形例を示すブロック図である。
【００６２】
なお図９および図１０において、図１と同じ機能を有する部分には同じ符号を付して説明を省略しまたは簡略化する。
【００６３】
図９において、画像生成システム１Ｂは、サーバ３Ｂおよびクライアント４Ｂからなる。サーバ３Ｂには、全方位画像取得部１１、パノラマ画像端設定部１２、送信部１４、操作入力部１５、および表示部１６などが設けられている。クライアント４Ｂには、受信部２１、パノラマ画像作成処理部２６、表示部２２、印刷部２３、記録部２４、および図示しない操作入力部などが設けられている。
【００６４】
つまり、図９に示す画像生成システム１Ｂでは、サーバ３Ｂにパノラマ画像作成処理部１３が設けられておらず、その代わりに、クライアント４Ｂにパノラマ画像作成処理部２６が設けられている。したがって、サーバ３Ｂにおいては、パノラマ画像ＰＧを作成することなく、全方位画像取得部１１で取得した全方位画像ＦＣ、およびパノラマ画像端設定部１２で設定した中心方位ＴＨおよび画角ＧＫなどのデータＤＴを、送信部１４からクライアント４Ｂに向けて送信する。
【００６５】
クライアント４Ｂにおいては、サーバ３Ｂから送信されたデータＤＴを受信部２１で受信し、受信したデータＤＴに基づいて、パノラマ画像作成処理部２６によってパノラマ画像ＰＧを作成する。つまり、パノラマ画像作成処理部２６は、全方位画像ＦＣの全部または一部から、設定された中心方位ＴＨを中心位置とし且つ画角ＧＫに対応する範囲の画像を抽出し、パノラマ画像ＰＧを作成する。作成されたパノラマ画像ＰＧは、表示部２２で表示される。
【００６６】
図１０において、画像生成システム１Ｃは、サーバ３Ｃおよびクライアント４Ｃからなる。サーバ３Ｃの構成は図１のサーバ３とほぼ同じであるが、パノラマ画像作成処理部１３Ｃにおいては、設定された中心方位ＴＨおよび画角ＧＫを用いることなく、固定的に決められた中心方位および画角を用いて仮のパノラマ画像ＰＧＫを作成する。作成した仮のパノラマ画像ＰＧＫ、および、設定された中心方位ＴＨおよび画角ＧＫなどのデータＤＴを、クライアント４Ｃに送信する。
【００６７】
クライアント４Ｃにおいて、パノラマ画像変換部２７は、サーバ３Ｃから送信されてきた仮のパノラマ画像ＰＧＫを、同じく送信されてきた中心方位ＴＨおよび画角ＧＫに基づいて変換し、新しいパノラマ画像ＰＧを作成する。つまり、パノラマ画像変換部２７は、パノラマ画像ＰＧＫを、送信された中心方位ＴＨを中心位置とし且つ送信された画角ＧＫに対応する範囲のパノラマ画像ＰＧに変換する。また、クライアント４Ｃにおいて設定した中心方位ＴＨや画角ＧＫに基づいたパノラマ画像ＰＧを作成することも可能である。
【００６８】
上に述べたような実施形態および変形例において、中心方位ＴＨおよび画角ＧＫをユーザが設定するのではなく、サーバにおいて画像認識処理部を設け、全方位画像（全方位画像を構成する画像を含む）ＦＣに対し、その画像内の被写体（対象物体）についての画像認識を行うことによって、対象物体Ｑ、その他の物体を検出し、検出された物体に応じて中心方位ＴＨおよび画角ＧＫを自動的に設定するようにしてもよい。
【００６９】
また、対象物体Ｑを検出するためのセンサを別途設けておき、センサによって対象物体Ｑの方位、位置、またはサイズなどを検出し、検出結果に基づいて中心方位ＴＨおよび画角ＧＫなどを自動的に設定するようにしてもよい。そのようなセンサとして、例えば、赤外線センサや超音波センサなどの公知の種々のセンサを用いることが可能である。
【００７０】
さらに、全方位画像取得部１１を、自走ロボットのように向きを変更することの可能な移動体に対してそれ自体の向きを変更可能に取り付けておき、移動体の向きを示す情報に基づいて、中心方位ＴＨおよび画角ＧＫを自動的に設定することも可能である。
【００７１】
また、中心方位ＴＨと画角ＧＫのみでなく、画像の大きさ（サイズ）を設定し、設定された大きさに応じてパノラマ画像ＰＧを作成しまたは変更してもよい。例えば、画像内の被写体についての画像認識を行うことによって、対象物体その他の物体を検出し、検出された物体またはその属性や個数などに応じてパノラマ画像のサイズを変えてもよい。
【００７２】
また、サーバにおいて、パノラマ画像ＰＧを表示し記録してもよい。スタンドアローンなどのシステム構成としてもよい。
【００７３】
次に、パノラマ画像作成処理部１３，２６またはパノラマ画像変換部２７における中心位置の画像の変更の方法の例について説明する。
【００７４】
図１１はパノラマ画像ＰＧの中心位置の画像の変更をハード的に行う場合の例を説明する図、図１２は中心位置の画像の変更をソフト的に行う場合の例を説明する図である。
【００７５】
パノラマ画像ＰＧの中心位置の変更をハード的に行うには、例えば、ポート番号や物理的なスイッチの制御によって、カメラＣＭからの出力画像とパノラマ画像作成処理部１３などにおける入力画像との対応関係を変更する。
【００７６】
図１１（Ａ）において、４つのカメラＣＭ１〜４が、回転リング７１の外周面に９０度ごとに取り付けられており、各カメラＣＭ１〜４の出力は、固定軸７２に設けられがスリップリング７３を介して、各画像ラインＬＮ１〜４に接続される。図１１（Ａ）においては、各カメラＣＭ１〜４の出力は、それぞれ画像ラインＬＮ１〜４に接続されている。しかし、図１１（Ｂ）に示すように回転リング７１が９０度右方向に回転した後では、カメラＣＭ１は画像ラインＬＮ２と、カメラＣＭ２は画像ラインＬＮ３と、カメラＣＭ３は画像ラインＬＮ４と、カメラＣＭ４は画像ラインＬＮ１と、それぞれ接続され、画像ＦＨ１〜４としてそれぞれ入力される。これらの画像ＦＨ１〜４を順次繋げることによって、パノラマ画像ＰＧが作成される。回転リング７１が回転すると、つまりカメラＣＭ１〜４が回転すると、各カメラＣＭ１〜４と、パノラマ画像作成処理部１３に入力される画像ＦＨ１〜４との対応関係が変わるので、画像ＦＨ１〜４の内容または配置が変更され、その結果、パノラマ画像ＰＧの中心位置の画像が変更される。この場合に、スリップリング７３を含む構成が、本発明の「複数の画像の互いの配置を変更する手段」に相当する。
【００７７】
図１２（Ａ）において、４つのカメラＣＭ１〜４の出力は、それぞれバッファＢＦ１〜４に入力される。つまり、各カメラＣＭ１〜４の出力とバッファＢＦ１〜４との関係は一定である。しかし、バッファＢＦ１〜４と画像ＦＨ１〜４の関係が、ソフト的に変更される。つまり、図１２（Ａ）においては、バッファＢＦ１〜４に入力された画像は、それぞれ画像ＦＨ１〜４として用いられるが、図１２（Ｂ）においては、バッファＢＦ１〜４に入力された画像は、それぞれ画像ＦＨ２，３，４，１として用いられる。このような変更は、バッファＢＦ１〜４から画像を読み出す際のアドレスを制御することによって行うことができる。このように、ハード的な仕組みを設けることなくソフト的にパノラマ画像ＰＧの中心位置の画像を変更することができる。この場合に、バッファＢＦ１〜４のメモリ領域のアドレスを制御して画像を読み出す構成が、本発明の「先頭のアドレスの順序を互いに変更する手段」に相当する。
【００７８】
次に、サーバ３を移動体に搭載した場合の例について説明する。
【００７９】
図１３は走行ロボット５１にサーバ３を搭載した場合の概観を示す図、図１４は得られたパノラマ画像ＰＧ５，６の例を示す図、図１５は得られたパノラマ画像ＰＧ７，８の例を示す図である。
【００８０】
図１３において、走行ロボット５１は、本体５２、および本体５２に設けられた４つのタイヤ５３などからなる。タイヤ５３は正転または逆転方向の駆動回転し、また回転速度の制御も行われ、舵を取りながら自走することができる。本体５２の上部には、全方位画像ＦＣを取得するための全方位カメラＣＭＺ、および、詳細画像を取得するためのメインカメラＣＭＭが搭載されている。これらのカメラＣＭＺ，ＣＭＭは、次の２種類のいずれかの取り付け方法で本体５２に取り付けられる。
（１）  メインカメラＣＭＭと全方位カメラＣＭＺとが一体化された状態で、本体５２に回転可能に取り付けられている。本体５２の正面や進行方向とメインカメラＣＭＭおよび全方位カメラＣＭＺの向きとがメカ的に独立しているタイプ。
（２）  全方位カメラＣＭＺが本体５２に一体化されて取り付けられており、同じ部位にメインカメラＣＭＭが回転可能に取り付けられている。メインカメラＣＭＭの向きと全方位カメラＣＭＺの向きとがメカ的に独立しているタイプ。
【００８１】
この２通りがある。図１４は（１）のタイプによる場合であり、図１５は（２）のタイプによる場合である。
【００８２】
走行ロボット５１は、道路ＤＲを走行しており、したがって道路ＤＲの前方が正面であり進行方向でもある。前方でクロスする道路を走行しているトラックを、メインカメラＣＭＭが対象物体Ｑとしてとらえたとする。メインカメラＣＭＭは対象物体Ｑを追尾している。図１４（Ａ）に示すパノラマ画像ＰＧ５は、メインカメラＣＭＭの向きを中心方位ＴＨとして作成したものである。時間が経過した後では、対象物体Ｑが移動してこれをメインカメラＣＭＭが追尾しているので、図１４（Ｂ）に示すパノラマ画像ＰＧ６となる。
【００８３】
図１４（Ｂ）に示すパノラマ画像ＰＧ６では、対象物体Ｑは中心位置にあって見やすいが、正面である道路ＤＲは一層右方に寄ってしまい、見にくくなる。つまり、この場合には、進行方向または正面を常にパノラマ画像ＰＧ５，６の中心位置とするようにならないので、正面である道路ＤＲを注視したい場合に対応できない。
【００８４】
そこで、本実施形態では、上に説明したように、種々の方法で中心方位ＴＨおよび画角ＧＫを任意に設定する。例えば、操作入力部１５を操作することによって、道路ＤＲの方向を中心方位ＴＨとして設定する。対象物体Ｑを注視したい場合には対象物体Ｑを中心方位ＴＨとして設定する。
【００８５】
また、走行ロボット５１の走行方向を中心方位ＴＨとして自動的に設定する。画像認識などによって対象物体Ｑを検出し、対象物体Ｑの方向を中心方位ＴＨとして設定する。必要に応じて、中心方位ＴＨの設定方法を切り替える。
【００８６】
図１５（Ａ）に示すパノラマ画像ＰＧ７は、走行ロボット５１の走行方向を中心方位ＴＨとして作成したものである。時間が経過した後では、対象物体Ｑが移動したので、図１５（Ｂ）に示すパノラマ画像ＰＧ８となる。
【００８７】
図１５（Ｂ）に示すパノラマ画像ＰＧ８では、道路ＤＲは中心位置にあって見やすいが、対象物体Ｑは一層左方に寄って端部に達してしまい、見辛くなっている。つまり、この場合には、メインカメラＣＭＭで追尾する対象物体Ｑをパノラマ画像ＰＧの中心位置にもってくるといったことができない。メインカメラＣＭＭの注目領域の位置がパノラマ画像ＰＧ７，８の中で変化するので、注目領域付近が見辛い。
【００８８】
そこで、本実施形態では、上に説明したように、種々の方法で中心方位ＴＨおよび画角ＧＫを任意に設定する。例えば、操作入力部１５を操作することによって、対象物体Ｑまたは道路ＤＲの方向を中心方位ＴＨとして設定する。
【００８９】
また、上と同様に、走行ロボット５１の走行方向を中心方位ＴＨとして設定し、または画像認識などによって対象物体Ｑの方向を中心方位ＴＨとして設定する。
【００９０】
このように、パノラマ画像ＰＧの中心位置を任意に設定可能とすることにより、目的に合った見やすい画像を得ることができる。また、画像を拡大した場合でも、注目領域が端に寄ってしまったり視野から外れてしまうといったことを防ぐことが可能である。
【００９１】
上述の実施形態において、全方位画像取得部１１として、例えば水平方向の３６０度の全周の画像をとるのではなく、全方向の全周の画像をとる全天球タイプのものを用いることも可能である。
【００９２】
その他、全方位画像取得部１１、パノラマ画像端設定部１２、パノラマ画像作成処理部１３、サーバ、クライアント、画像生成システムなどの全体または各部の構造、構成、形状、寸法、個数、画像の内容などは、本発明の趣旨に沿って適宜変更することができる。
【産業上の利用可能性】
【００９３】
本発明は、探索用ロボットまたは救助用ロボットなどに用いる画像生成装置として利用することが可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明に係る実施形態の画像生成システムを示すブロック図である。
【図２】全方位画像取得部によって取得される全方位画像の例を示す図である。
【図３】全方位画像取得部によって取得される他の例の全方位画像を示す図である。
【図４】全方位画像取得部によって取得される他の例の全方位画像を示す図である。
【図５】パノラマ画像の例を示す図である。
【図６】他の例のパノラマ画像を示す図である。
【図７】さらに他の例のパノラマ画像を示す図である。
【図８】局所領域拡大画像の例を示す図である。
【図９】本発明に係る画像生成システムの変形例を示すブロック図である。
【図１０】本発明に係る画像生成システムの他の変形例を示すブロック図である。
【図１１】中心位置の画像の変更をハード的に行う場合の例を説明する図である。
【図１２】中心位置の画像の変更をソフト的に行う場合の例を説明する図である。
【図１３】走行ロボットにサーバを搭載した場合の概観を示す図である。
【図１４】得られたパノラマ画像の例を示す図である。
【図１５】得られたパノラマ画像の例を示す図である。
【図１６】単一カメラの回転による複数回撮影タイプの画像生成装置を示す図である。
【図１７】複数カメラによる複眼撮影タイプの画像生成装置を示す図である。
【図１８】凸面鏡によるミラー撮影タイプの画像生成装置を示す図である。
【図１９】超広角撮影タイプの画像生成装置を示す図である。
【図２０】パノラマ画像の例を示す図である。
【符号の説明】
【００９５】
１，１Ｂ，１Ｃ  画像生成システム（画像生成装置）
３，３Ｂ，３Ｃ  サーバ
４，４Ｂ，４Ｃ  クライアント
１１  全方位画像取得部（周囲画像取得手段）
１２  パノラマ画像端設定部（パノラマ画像端設定手段）
１３  パノラマ画像作成処理部（パノラマ画像作成手段）
１５  操作入力部（操作入力手段）
２２  表示部（表示手段）
２６  パノラマ画像作成処理部（パノラマ画像作成手段）
２７  パノラマ画像変換部（パノラマ画像変換手段）
５１  走行ロボット（移動体）
１２１  画像認識処理部
ＣＭ  カメラ
ＴＨ  中心方位
ＧＫ  画角
ＦＣ  全方位画像（周囲画像）
ＰＧ  パノラマ画像
【図１】
2006211105.tif 000003
【図２】
2006211105.tif 000004
【図３】
2006211105.tif 000005
【図４】
2006211105.tif 000006
【図５】
2006211105.tif 000007
【図６】
2006211105.tif 000008
【図７】
2006211105.tif 000009
【図８】
2006211105.tif 000010
【図９】
2006211105.tif 000011
【図１０】
2006211105.tif 000012
【図１１】
2006211105.tif 000013
【図１２】
2006211105.tif 000014
【図１３】
2006211105.tif 000015
【図１４】
2006211105.tif 000016
【図１５】
2006211105.tif 000017
【図１６】
2006211105.tif 000018
【図１７】
2006211105.tif 000019
【図１８】
2006211105.tif 000020
【図１９】
2006211105.tif 000021
【図２０】
2006211105.tif 000022