(57)【要約】【課題】魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することを課題とする。【解決手段】エンコーダ１０では、魚眼レンズカメラ２によって撮像された円形の曲面像をブロック分割のサイズによって円周分割しながらロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化する。つまり、エンコーダ１０は、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行う。【選択図】      図１
2004272767.tif 000002
【特許請求の範囲】
【請求項１】
魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置であって、前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換手段と、
前記平面像変換手段によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大手段と、
前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、
前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行うことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、当該圧縮符号化された平面像をネットワークを介してクライアント装置に提供する画像提供サーバ装置であって、
前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換手段と、
前記平面像変換手段によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大手段と、
前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、
前記圧縮符号化手段によって圧縮符号化された平面像を前記クライアント装置に対して送信する画像送信手段と、
を備えたことを特徴とする画像提供サーバ装置。
【請求項４】
前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、
前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、
前記画像送信手段は、各圧縮符号化手段によってそれぞれ圧縮符号化された平面像を多重化して前記クライアント装置に対して送信することを特徴とする請求項３に記載の画像提供サーバ装置。
【請求項５】
前記画像送信手段によって送信された平面像における所定の領域を前記クライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大する領域拡大手段をさらに備え、
前記画像送信手段は、前記領域拡大手段によって拡大された画像を前記クライアント装置に対して送信することを特徴とする請求項３または４に記載の画像提供サーバ装置。
【請求項６】
魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法であって、前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換工程と、
前記平面像変換工程によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大工程と、
前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化工程と、
を含んだことを特徴とする画像処理方法。
【請求項７】
魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法をコンピュータに実行させる画像処理プログラムであって、
前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換手順と、
前記平面像変換工程によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大手順と、
前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化手順と、
をコンピュータに実行させることを特徴とする画像処理プログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムに関し、特に、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能な画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムに関する。
【０００２】
【従来の技術】
従来より、魚眼レンズ（広角レンズを含む。）を用いて撮像された円形の曲面像を平面像に変換して圧縮符号化するシステムが知られている。例えば、特開平１１−１１９３０３号公報では、魚眼レンズによって取得された三次元画像を二次元画像に座標変換することによって、魚眼レンズのレンズ特性による歪みを有していた撮像画像を正常な二次元画像に修正する。そして、この二次元画像に対してＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式などの画像圧縮処理を施すことによって、圧縮符号化された平面像を生成する。
【０００３】
【特許文献１】
特開平１１−１１９３０３号公報
【０００４】
【発明が解決しようとする課題】
しかしながら、上記の従来技術は、圧縮符号化された平面像を生成するまでに時間を要するという問題点があり、圧縮符号化した動画像をインターネット上でリアルタイム配信しようといった場合には実用に供することが困難であった。すなわち、上記の従来技術では、平面変換処理と画像圧縮処理とを独立して実行しているが、この平面変換処理は、極座標系から直交座標系への変換という複雑な計算処理を画像上の各ピクセルごとに行うものであるため、計算量が膨大になり、圧縮符号化された平面像を生成するまでに多大な時間を必要としていた。
【０００５】
そこで、この発明は、上述した従来技術による問題点を解消するためになされたものであり、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能な画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理装置であって、前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換手段と、前記平面像変換手段によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大手段と、前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、を備えたことを特徴とする。
【０００７】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能になる。
【０００８】
また、請求項２に係る発明は、請求項１に記載の発明において、前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行うことを特徴とする。
【０００９】
この発明によれば、曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行う。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成することが可能になる。
【００１０】
また、請求項３に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、当該圧縮符号化された平面像をネットワークを介してクライアント装置に提供する画像提供サーバ装置であって、前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換手段と、前記平面像変換手段によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大手段と、前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化手段と、前記圧縮符号化手段によって圧縮符号化された平面像を前記クライアント装置に対して送信する画像送信手段と、を備えたことを特徴とする。
【００１１】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００１２】
また、請求項４に係る発明は、請求項３に記載の発明において、前記平面像変換手段、ブロック内拡大手段および圧縮符号化手段をそれぞれ複数備え、前記複数の平面像変換手段、ブロック内拡大手段および圧縮符号化手段それぞれは、前記曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、前記画像送信手段は、各圧縮符号化手段によってそれぞれ圧縮符号化された平面像を多重化して前記クライアント装置に対して送信することを特徴とする。
【００１３】
この発明によれば、曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、それぞれ圧縮符号化された平面像を多重化してクライアント装置に対して送信する。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００１４】
また、請求項５に係る発明は、請求項３または４に記載の発明において、前記画像送信手段によって送信された平面像における所定の領域を前記クライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大する領域拡大手段をさらに備え、前記画像送信手段は、前記領域拡大手段によって拡大された画像を前記クライアント装置に対して送信することを特徴とする。
【００１５】
この発明によれば、送信された平面像における所定の領域をクライアント装置から選択させて受け付けて、当該選択させて受け付けた所定の領域における画像を拡大し、拡大された画像をクライアント装置に対して送信する。したがって、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することが可能になる。
【００１６】
また、請求項６に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法であって、前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換工程と、前記平面像変換工程によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大工程と、前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化工程と、を含んだことを特徴とする。
【００１７】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００１８】
また、請求項７に係る発明は、魚眼レンズによって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する画像処理方法をコンピュータに実行させる画像処理プログラムであって、前記円形の曲面像を前記ブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する平面像変換手順と、前記平面像変換工程によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大するブロック内拡大手順と、前記ブロック内拡大手段によって拡大された各ブロック内の画像を圧縮符号化する圧縮符号化手順と、をコンピュータに実行させることを特徴とする。
【００１９】
この発明によれば、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し、拡大された各ブロック内の画像を圧縮符号化し、圧縮符号化された平面像をクライアント装置に対して送信する。したがって、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００２０】
【発明の実施の形態】
以下に添付図面を参照して、この発明に係る画像処理装置、画像提供サーバ装置、画像処理方法および画像処理プログラムの好適な実施の形態を詳細に説明する。なお、以下では、本実施の形態に係る画像処理システムの概要および特徴を説明してから、この画像処理システムにおけるエンコーダの構成および処理手順を説明し、これに続いて、この画像処理システムにおける画像提供サーバ装置の構成を説明し、最後に他の実施の形態として種々の変形例を説明する。
【００２１】
（画像処理システムの概要および特徴）
まず最初に、図１を用いて、本実施の形態に係る画像処理システムの概要および特徴を説明する。図１は、本実施の形態に係る画像処理システムの構成を示すシステム構成図である。同図に示すように、本実施の形態に係る画像処理システムは、魚眼レンズカメラ２およびエンコーダ１０を有する画像提供サーバ装置２０と、Ｗｅｂブラウザを有する複数のクライアント装置３０とを、インターネットなどのネットワーク１を介して相互に通信可能に接続して構成される。
【００２２】
かかる画像処理システムにおいては、魚眼レンズカメラ２は、鑑賞対象である絵画が配置されたギャラリー会場の天井などに設置され、パンなどのカメラ操作なしに広範囲の撮像範囲（例えば、３６０度）を一括して撮像するものである。なお、魚眼レンズカメラ２によって撮像された画像は、図３（ａ）に示すように、魚眼レンズのレンズ特性による歪みを有した円形の曲面像になる。
【００２３】
また、エンコーダ１０は、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化（例えば、ＪＰＥＧやＭＰＥＧなどの画像圧縮符号化）する画像処理装置である。そして、画像提供サーバ装置２０は、各クライアント装置３０からの要求に応じて、エンコーダ１０によって圧縮符号化された平面像をネットワーク１を介してクライアント装置３０に提供する。なお、クライアント装置１０は、例えば、パーソナルコンピュータやワークステーション、家庭用ゲーム機、インターネットＴＶ、ＰＤＡ、あるいは携帯電話やＰＨＳの如き移動体通信端末である。
【００２４】
このように、図１に示した画像処理システムは、概略的には、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化するとともに、この圧縮符号化された平面像をネットワーク１を介してクライアント装置１０に提供するものである。そして、この画像処理システムは、エンコーダ１０による圧縮符号化処理に主たる特徴があり、魚眼レンズカメラ２によって撮像された曲面像から圧縮符号化された平面像を迅速に生成できるようにしている。
【００２５】
ここで、この主たる特徴を簡単に説明すると、エンコーダ１０では、円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換し（図２（ｂ）参照）、平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大し（同図（ｃ）参照）、拡大された各ブロック内の画像を圧縮符号化するようにしている。つまり、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、上記した主たる特徴の如く、「魚眼レンズによって撮像された曲面像」から「圧縮符号化された平面像」を迅速に生成することを可能にしている。
【００２６】
さらに、本実施の形態に係る位置検出システムにおいては、上記の主たる特徴に関連して、画像提供サーバ装置２０が、送信した平面像における所定の領域をクライアント装置３０から選択させて受け付けて、この選択させて受け付けた所定の領域における画像を拡大してクライアント装置３０に送信する。つまり、これによって、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することを可能にしている。
【００２７】
（エンコーダの構成）
次に、図２〜図５を用いて、本実施の形態に係る画像処理システムにおけるエンコーダ１０の構成を説明する。なお、図２は、図１に示したエンコーダ１０の構成を示すブロック図であり、図３は、平面像変換およびブロック内拡大の概念を説明するための説明図であり、図４および図５は、ブロック内拡大の具体例を説明するための説明図である。
【００２８】
かかるエンコーダ１０は、上記したように、魚眼レンズカメラ２によって撮像された円形の曲面像を所定のサイズにブロック分割された平面像に変換して圧縮符号化する装置であり、図２に示すように、平面像変換部１１と、ブロック内拡大部１２と、圧縮符号化部１３と、画像メモリ１４とから構成される。
【００２９】
このうち、平面像変換部１１は、魚眼レンズカメラ２によって撮像された円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する処理部である。具体的には、図３（ａ）に示すような円形（例えば、半径ｒ）の曲面像を、ブロック分割（例えば、８×８ピクセル）のサイズである８ピクセル単位で円周分割しながらブロック分割する。そして、その結果として、同図（ｂ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の二等辺三角形が連なり、かつ、８×８ピクセルのサイズでブロック分割された平面像を生成する。
【００３０】
ブロック内拡大部１２は、平面像変換部１１によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大する処理部である。具体的には、図３（ｂ）に示した二等辺三角形の画像それぞれを横方向に拡大して、同図（ｃ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の四角形が連なった平面像を生成する。
【００３１】
ここで、かかるブロック内拡大処理を具体例を用いて概念的に説明すると、図３（ｂ）に示したブロックＡについては、図４（ａ）に示すように、台形の上辺サイズが８ピクセルになるように拡大することで、８×８ピクセルの画像を得る。また、図３（ｂ）に示したブロックＢについては、図４（ｂ）に示すように、台形の上辺サイズおよび下辺サイズがともに８ピクセルになるように拡大することで、８×８ピクセルの画像を得る。なお、中間層の拡大率は、上辺の拡大率（最大拡大率）および下辺の拡大率（最小拡大率）を用いて推定される。
【００３２】
さらに、かかるブロック内拡大処理をピクセル（画素）を用いたイメージで説明すると、図５（ａ）に示すようなブロック内拡大処理を行う場合には、最初に、同図（ｂ）に示すように、各ピクセルの画素が拡大（展開）することで、拡大による空き画素を含んだ８×８ピクセルの画像を得る。そして、かかる空き画素を、周囲のオリジナル画素を用いて整形補間することで、空き画素のない８×８ピクセルの画像を得る。
【００３３】
図２の説明に戻ると、圧縮符号化部１３は、ブロック内拡大部１２によって拡大された各ブロック内の画像を圧縮符号化する処理部である。具体的には、いわゆるＪＰＥＧやＭＰＥＧなどの画像圧縮符号化方式に従い、各ブロックの画像に対して、離散コサイン変換（ＤＣＴ）、量子化、エントロピー符号化といった一連の処理を施すことによって、圧縮符号化された平面像を生成する。
【００３４】
画像メモリ１４は、上記の各部（平面像変換部１１、ブロック内拡大部１２、圧縮符号化部１３）による各種処理に必要な画像データおよびプログラムを格納する格納手段（記憶手段）であり、例えば、魚眼レンズカメラ２によって撮像された画像や、ブロック内拡大部１２による処理途中の画像データ、圧縮符号化部１３によって圧縮符号化された平面像の画像データを記憶する。なお、かかる圧縮符号化された平面像の画像データは、画像提供サーバ装置２０に入力され、かかる画像提供サーバ装置２０に最終的に記憶される。
【００３５】
なお、上述してきたエンコーダ１０は、専用の画像処理装置（特許請求の範囲に記載された「画像処理装置」に対応。）によって構成するだけでなく、既知のパーソナルコンピュータ、ワークステーション、ＰＨＳ端末、携帯端末、移動体通信端末またはＰＤＡなどの情報処理装置に、上記した各部の機能をハードウェア若しくはソフトウェアとして搭載することによって実現することもできる。
【００３６】
（エンコーダの処理手順）
次に、図６を用いて、図２に示したエンコーダ１０による処理手順（特に、平面像変換およびブロック内拡大を特徴とする画像処理）を説明する。図６は、エンコーダ１０による画像処理の手順を示すフローチャートである。
【００３７】
同図に示すように、エンコーダ１０は、魚眼レンズカメラ２によって撮像された円形の曲面像（図３（ａ）参照）が入力されると（ステップＳ６０１肯定）、かかる円形の曲面像をブロック分割のサイズによって円周分割しつつブロック分割して平面像に変換する（ステップＳ６０２）。つまり、図３（ｂ）に示したように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の二等辺三角形が連なり、かつ、８×８ピクセルのサイズでブロック分割された平面像を得る。
【００３８】
続いて、エンコーダ１０は、平面像変換部１１によって平面像に変換された各ブロック内の画像を当該ブロックのサイズに一致するように拡大する（ステップＳ６０３）。つまり、図３（ｃ）に示すように、底辺８ピクセルで高さｒ（ここでは、８×３ピクセル）の四角形が連なった平面像を得る。
【００３９】
そして、エンコーダ１０は、ブロック内拡大部１２によって拡大された各ブロック内の画像を圧縮符号化し（ステップＳ６０４）、かかる圧縮符号化された画像を画像メモリ１４に格納する（ステップＳ６０５）。したがって、上記した一連の処理を経ることによって、「魚眼レンズによって撮像された曲面像」から「圧縮符号化された平面像」が迅速に生成されて画像メモリ１４に格納される。
【００４０】
なお、エンコーダ１０が動画像を圧縮符号化するものである場合には、上記したステップＳ６０１〜Ｓ６０５の処理を動画像の圧縮符号化処理として順次繰り返すことで、いわゆるＩピクチャ、Ｂピクチャ、Ｐピクチャからなる動画像の圧縮符号化ストリームが生成されて画像メモリ１４に格納される。
【００４１】
（画像提供サーバ装置の構成等）
次に、図７および図８を用いて、本実施の形態に係る画像処理システムにおける画像提供サーバ装置２０を説明する。図７は、図１に示した画像提供サーバ装置２０の構成を示すブロック図であり、図８は、図１に示したクライアント装置３０の画面イメージを示す図である。
【００４２】
かかる画像提供サーバ装置２０は、上記したように、各クライアント装置３０からの要求に応じて、エンコーダ１０によって圧縮符号化された平面像をネットワーク１を介してクライアント装置３０に提供する装置であり、図７に示すように、入力部２１と、出力部２２と、入出力制御ＩＦ部２３と、通信制御ＩＦ部２４と、記憶部２５と、制御部２６とから構成される。
【００４３】
このうち、入力部２１は、各種の情報の入力を受付ける入力手段であり、キーボードやマウスを備えて構成され、例えば、魚眼レンズカメラ２やエンコーダ１０に対する操作指示などを受け付けて入力する。また、出力部２２は、各種の情報を出力する出力手段であり、モニタやスピーカを備えて構成され、例えば、魚眼レンズカメラ２やエンコーダ２０の動作状態などを表示出力する。
【００４４】
入出力制御ＩＦ部２３は、これら入力部２１および出力部２２やエンコーダ１０によるデータの入出力を制御する手段であり、例えば、エンコーダ１０から圧縮符号化された平面像の画像データを入力制御する。また、通信制御ＩＦ部２４は、ネットワーク１を介してクライアント装置３０との間でやり取りする画面操作指示情報や画像データに関する通信を制御する手段である。
【００４５】
記憶部２５は、制御部２６による各種処理に必要なデータ（例えば、各利用者の認証情報など）およびプログラムを格納する格納手段（記憶手段）であり、特に本発明に密接に関連するものとしては、機能概念的に、画像メモリ２５ａを備える。具体的には、この画像メモリ２５ａは、エンコーダ１０から入力された平面像の圧縮符号化画像データを、撮像時刻に対応付けて記憶する。
【００４６】
制御部２６は、ＯＳ（Ｏｐｅｒａｔｉｎｇ  Ｓｙｓｔｅｍ）などの制御プログラム、各種の処理手順などを規定したプログラム（例えば、画像送信プログラムや利用者認証プログラムなど）および所要データを格納するための内部メモリを有し、これらによって種々の処理を実行する処理部であり、特に本発明に密接に関連するものとしては、機能概念的に、画面操作受付部２６ａと、画面作成部２６ｂとを備える。
【００４７】
そして、画面操作受付部２６ａは、クライアント装置３０に送信されて表示される画面についての操作をクライアント装置３０から受け付ける処理部であり、画面作成部２６ｂは、画面操作受付部２６ａによって受け付けられた操作要求に応じて、クライアント装置３０に送信されて表示される画面データを画像メモリ２５ａに格納された画像データから作成する処理部である。
【００４８】
ここで、かかる画面操作受付および画面作成の処理を具体的に説明すると、クライアント装置３０に送信されて表示される画面は、図８に示すように、全体イメージ（例えば、図３（ｃ）に示す全体若しくは一部の画像イメージ）を表示する「全体イメージフィールド」と、そこから選択された部分イメージを表示する「部分イメージフィールド」と、ズームやパンまたはチルトなどのバーチャルなカメラ操作を受け付ける「ズームフィールド」とから構成される。
【００４９】
かかる画面において、例えば、利用者が「全体イメージフィールド」の所定の領域を選択指示すると、画像提供サーバ装置２０では、選択指示された領域の画像を補間法などによって拡大してクライアント装置３０に送信し、かかる拡大画像が「部分イメージフィールド」に表示される。また、例えば、利用者が「ズームフィールド」のズームやパン、チルトなどカメラ操作を指示すると、画像提供サーバ装置２０では、カメラ操作指示に応じた画像を作成してクライアント装置３０に送信し、かかるズームやパンまたはチルトに応じた画像が「全体イメージフィールド」に表示される。
【００５０】
（他の実施の形態）
さて、これまで本発明の実施の形態について説明したが、本発明は上述した実施の形態以外にも、上記特許請求の範囲に記載した技術的思想の範囲内において種々の異なる実施の形態にて実施されてもよいものである。
【００５１】
例えば、本実施の形態では、ギャラリー会場に魚眼レンズカメラ２を設置した場合を説明したが、本発明はこれに限定されるものではなく、店舗や自宅、病院などの画像による監視が行われ得る場所や、観光地やギャラリー会場などの画像による鑑賞が行われ得る場所であれば、魚眼レンズカメラ２を同様に設置して本発明を適用することができる。
【００５２】
また、本実施の形態では、ブロック内拡大処理に際して、空き画素を周囲のオリジナル画素を用いて整形補間する場合を説明したが、本発明はこれに限定されるものではなく、離散コサイン変換（ＤＣＴ）に際して周囲のＤＣＴ係数を用いて空きを補うようにしてもよい。さらに、この場合には、画像劣化が少ないのであれば、ＤＣＴ係数を用いた補間自体を省略して（空き画素のＤＣＴ係数を「０」とする。）、圧縮符号化処理の高速化を図るようにしてもよい。
【００５３】
さらに、本実施の形態では、エンコーダ１０において単一の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３を設ける場合を説明したが、本発明はこれに限定されるものではなく、複数の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３を設けるようにしてもよい。すなわち、この場合には、複数の平面像変換部１１、ブロック内拡大部１２および圧縮符号化部１３それぞれが、魚眼レンズカメラ２によって撮像された円形の曲面像における所定の領域をそれぞれ分担して、変換処理、拡大処理および圧縮符号化処理を行い、それぞれ圧縮符号化された平面像を多重化してクライアント装置１０に対して送信する。したがって、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００５４】
また、本実施の形態において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともでき、あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
【００５５】
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合（例えば、図１に示したエンコーダ１０および画像提供サーバ装置２０を統合するなど）して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
【００５６】
なお、本実施の形態で説明した画像処理方法（圧縮符号化のブロック分割を利用した平面変換処理）は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク（ＦＤ）、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤなどのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することもできる。
【００５７】
【発明の効果】
以上説明したように、請求項１、６または７の発明によれば、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成することが可能になる。
【００５８】
また、請求項２の発明によれば、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成することが可能になる。
【００５９】
また、請求項３の発明によれば、極座標系から直交座標系への変換という複雑な計算処理を行うのではなく、圧縮符号化の前処理であるブロック分割を利用した簡易な平面変換処理（円周分割処理および拡大処理）を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を迅速に生成および配信することが可能になる。
【００６０】
また、請求項４の発明によれば、曲面像における所定の領域ごとに並列処理を行うことで、魚眼レンズによって撮像された曲面像から圧縮符号化された平面像を一層迅速に生成および配信することが可能になる。
【００６１】
また、請求項５の発明によれば、利用者がバーチャルにズーム操作を行っているような感覚で、各利用者ごとに所望の領域の画像を迅速に配信することが可能になる。
【図面の簡単な説明】
【図１】本実施の形態に係る画像処理システムの構成を示すシステム構成図である。
【図２】図１に示したエンコーダの構成を示すブロック図である。
【図３】平面像変換およびブロック内拡大の概念を説明するための説明図である。
【図４】ブロック内拡大の具体例を説明するための説明図である。
【図５】ブロック内拡大の具体例を説明するための説明図である。
【図６】エンコーダによる画像処理の手順を示すフローチャートである。
【図７】図１に示した画像提供サーバ装置の構成を示すブロック図である。
【図８】図１に示したクライアント装置の画面イメージを示す図である。
【符号の説明】
１  ネットワーク
２  魚眼レンズカメラ
１０  エンコーダ
１１  平面像変換部
１２  ブロック内拡大部
１３  圧縮符号化部
１４  画像メモリ
２０  画像提供サーバ装置
２１  入力部
２２  出力部
２３  入出力制御ＩＦ部
２４  通信制御ＩＦ部
２５  記憶部
２５ａ  画像メモリ
２６  制御部
２６ａ  画面操作受付部
２６ｂ  画面作成部
３０  クライアント装置
【図１】
2004272767.tif 000003
【図２】
2004272767.tif 000004
【図３】
2004272767.tif 000005
【図４】
2004272767.tif 000006
【図５】
2004272767.tif 000007
【図６】
2004272767.tif 000008
【図７】
2004272767.tif 000009
【図８】
2004272767.tif 000010