(57)【要約】      （修正有）【課題】データ送信時における処理データ量を低減し、処理負荷の軽減を図る。【解決手段】カメラ部１１１-1〜１１１-nは、広角画像であるパノラマ画像をｎ個に分割して得られる各分割画像を撮像し、高解像度（例えばＵＸＧＡ）の画像データを出力する。各画像データ処理部は、高解像度の画像データに対してエンコーダで圧縮符号化を行って、第１の圧縮画像データを得る。また、各画像データ処理部は、サイズ変更を行って低解像度（例えばＱＶＧＡ）の画像データを得、当該画像データに対してエンコーダで圧縮符号化を行って、第２の圧縮画像データを得る。データ伝送部は、ネットワークを介して、第１、第２の圧縮画像データを画像表示装置に送る。合成されたパノラマ画像データを圧縮符号化して送信するものではなく、処理負荷が軽減される。【選択図】図２
2008225600.tif 000002
【特許請求の範囲】
【請求項１】
画像送信装置と画像表示装置とがネットワークを介して接続されている画像表示システムであって、
上記画像送信装置は、
パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応した画像データを出力する複数個のカメラ部と、
上記各カメラ部から出力される画像データをそれぞれ処理して第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとを生成する複数個の画像データ処理部と、
上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを上記画像表示装置に送信するデータ送信部を有し、
上記画像表示装置は、
上記画像送信装置から送られてくる第１の圧縮画像データおよび第２の圧縮画像データを受信するデータ受信部と、
上記データ受信部で受信された複数個の第２の圧縮画像データの復号化データを用いて、上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成部と、
上記パノラマ画像上における高解像度表示位置を決める表示位置決定部と、
上記データ受信部で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて、高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成部と、
上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示部を有する
ことを特徴とする画像表示システム。
【請求項２】
パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応した画像データを出力する複数個のカメラ部と、
上記各カメラ部から出力される画像データをそれぞれ処理して第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとを生成する複数個の画像データ処理部と、
上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを送信するデータ送信部と
を備えることを特徴とする画像送信装置。
【請求項３】
上記各画像データ処理部は、上記カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報を含むメタデータをさらに生成し、
上記データ送信部は、上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データの他に、上記各画像データ処理部で生成された上記メタデータを送信する
ことを特徴とする請求項２に記載の画像送信装置。
【請求項４】
上記各画像データ処理部は、全てのフレームにおいて上記第２の圧縮画像データを生成すると共に、間欠的なフレームにおいて上記第１の圧縮画像データを生成する
ことを特徴とする請求項２に記載の画像送信装置。
【請求項５】
上記各画像データ処理部は、上記カメラ部から出力される画像データより所定の画像領域の画像データを切り出し、該切り出した画像データに対して圧縮符号化を行って上記第１の圧縮画像データを生成する
ことを特徴とする請求項２に記載の画像送信装置。
【請求項６】
上記各画像データ処理部は、上記カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報に基づいて、上記所定の画像領域を決定する
ことを特徴とする請求項５に記載の画像送信装置。
【請求項７】
上記各画像データ処理部は、上記パノラマ画像上に設定された注目領域の情報を受信する情報受信部をさらに備え、
上記各画像データ処理部は、上記情報受信部で受信された上記注目領域の情報に基づいて、上記所定の画像領域を決定する
ことを特徴とする請求項５に記載の画像送信装置。
【請求項８】
パノラマ画像に対応した画像データを送信する画像送信方法であって、
パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応する複数個のカメラで撮像する撮像ステップと、
上記撮像ステップで上記各カメラから出力される画像データをそれぞれ処理して、第１の解像度の画像データを圧縮符号化した第１の圧縮画像データを生成する第１の画像データ生成ステップと、
上記撮像ステップで上記各カメラから出力される画像データをそれぞれ処理して、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データを生成する第２の画像データ生成ステップと、
上記第１の画像データ生成ステップで生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを送信する送信ステップを備える
ことを特徴とする画像送信方法。
【請求項９】
パノラマ画像を複数個に分割して得られる各分割画像をそれぞれ対応するカメラ部で撮像して得られる各画像データを処理して生成された、第１の解像度の画像データを圧縮符号化した複数個の第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した複数個の第２の圧縮画像データを受信するデータ受信部と、
上記データ受信部で受信された複数個の第２の圧縮画像データの復号化データを用いて上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成部と、
上記パノラマ画像上における高解像度表示位置を決める表示位置決定部と、
上記データ受信部で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成部と、
上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示部と
を備えることを特徴とする画像表示装置。
【請求項１０】
上記表示位置決定部は、上記ディスプレイに表示される上記パノラマ画像上におけるユーザの位置選択操作に基づいて、上記高解像度表示位置を決定する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
上記データ受信部は、上記各カメラ部から出力される画像データをそれぞれ処理して検知された動体または不動体の検知情報、あるいは上記各カメラ部に対応して設けられた各外部センサの検知情報を含むメタデータをさらに受信し、
上記データ受信部で受信された複数個の第２の圧縮画像データのうち、上記データ受信部で受信された複数個のメタデータに含まれる検知情報で示される検知位置に対応した分割画像の第２の圧縮画像データの復号化データを用いて検知位置画像を表示するための検知位置画像データを生成する第３の画像データ生成部をさらに備え、
上記表示部は、上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する他に、上記第３の画像データ生成部で生成された検知位置画像をディスプレイに表示する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１２】
上記表示位置決定部は、上記ディスプレイに表示される上記検知位置画像のユーザ選択操作に基づいて、上記高解像度表示位置を決定する
ことを特徴とする請求項１１に記載の画像表示装置。
【請求項１３】
上記ディスプレイに表示される上記パノラマ画像上に注目領域を設定する注目領域設定部と、
上記注目領域設定部で設定された注目領域に対応した分割画像の第２の圧縮画像データの復号化データを用いて注目領域画像を表示するための注目領域画像データを生成する第４の画像データ生成部をさらに備え、
上記表示部は、上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する他に、上記第４の画像データ生成部で生成された注目領域画像をディスプレイに表示する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１４】
上記表示位置決定部は、上記ディスプレイに表示される上記注目領域画像のユーザ選択操作に基づいて、上記高解像度表示位置を決定する
ことを特徴とする請求項１３に記載の画像表示装置。
【請求項１５】
上記第２の画像データ生成部は、
上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の上記第１の圧縮画像データおよび上記第２の圧縮画像データを所定のフレーム比率で用いて高解像度画像を表示するための高解像度画像データを生成する
ことを特徴とする請求項９に記載の画像表示装置。
【請求項１６】
パノラマ画像を複数個に分割して得られる各分割画像をそれぞれ対応するカメラ部で撮像して得られる各画像データを処理して生成された、第１の解像度の画像データを圧縮符号化した複数個の第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した複数個の第２の圧縮画像データを受信するデータ受信ステップと、
上記データ受信ステップで受信された複数個の第２の圧縮画像データの復号化データを用いて上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成ステップと、
上記パノラマ画像上における高解像度表示位置を決める表示位置決定ステップと、
上記データ受信ステップで受信された複数個の第１の圧縮画像データのうち、上記表示位置決定ステップで決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成ステップと、
上記第１の画像データ生成ステップで生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成ステップで生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示ステップと
を備えることを特徴とする画像表示方法。
【請求項１７】
コンピュータを、
パノラマ画像を複数個に分割して得られる各分割画像をそれぞれ対応するカメラ部で撮像して得られる各画像データを処理して生成された、第１の解像度の画像データを圧縮符号化した複数個の第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した複数個の第２の圧縮画像データを受信するデータ受信手段と、
上記データ受信手段で受信された複数個の第２の圧縮画像データの復号化データを用いて上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成手段と、
上記パノラマ画像上における高解像度表示位置を決める表示位置決定手段と、
上記データ受信手段で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定手段で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成手段と、
上記第１の画像データ生成手段で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成手段で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示手段と
して機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、例えば監視システムに適用して好適な画像送信システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラムに関する。詳しくは、この発明は、画像送信装置側では、パノラマ画像を撮像する複数個のカメラ部からの画像データをそれぞれ処理して、高解像度の画像データを圧縮符号化した第１の圧縮画像データ、および低解像度の画像データを圧縮符号化した第２の圧縮画像データを生成して送信し、画像表示装置側では、受信した複数個の第２の圧縮画像データの復号化データを用いてパノラマ画像を表示し、受信した複数個の第１の圧縮画像データのうち、パノラマ画像上に決定された所定位置に対応した第１の圧縮画像データの復号化データを用いて当該所定位置の高解像度画像を表示することにより、データ送信時および画像表示時における処理データ量を低減し、処理負荷の軽減を図るようにした画像送信システム等に係るものである。
【背景技術】
【０００２】
近年デジタルカメラやビデオカメラの高画素化が進んでいる。デジタルカメラでは１０００万画素を越えるものが市販され、コンスーマ用途のＨＤ（High Definition）ビデオカメラが登場した。これらのカメラで撮像して得られる画像データを伝送する際には、伝送帯域を抑えるために、符号化処理がなされている。主なものには、ＪＰＥＧ、ＭＰＥＧ２、ＭＰＥＧ４等がある。
【０００３】
これら符号化技術を用いて、高画素画像をインターネットなどのネットワークに配信する試みもよく見かける。例えば、特許文献１、特許文献２には、複数カメラを用いて広角画像（広域画像）を収録して配信することが記載されている。ただし、特許文献１、特許文献２に記載のものは、画像データをビデオサーバに蓄積するタイプであり、今後さらに画素数の増加が進むと予想される以上、スケーラビリティの点で限界がある。
【０００４】
高画素化の方向には、例えば、特許文献３、特許文献４に記載されるように、視点一致光学系による複数のカメラを用いたものもあるので、画像伝送における符号化処理の重要性が高まる。伝送帯域の制限に対する方策として、伝送路あるいは受け側の帯域にあわせた多重解像度符号化やレート制御の方法が考えられている。これらはウェーブレット変換を基にしたＪＰＥＧ２０００の技術で実施されている。
【０００５】
また、状況の変化に応じて、必要と判断される部分のみ伝送し、かつデータの解像度を変えることにより、データ伝送量を削減する方法も考えられている（例えば、特許文献５参照）。しかしながら、特許文献５に見られる方法では、必要でないと判断された領域はあらかじめ送出され、必要領域の画像が後から重ね合わせられるので、周辺領域と注目領域の時間差が生じると思われる。周辺領域の変化が少ないと想定される状況では有効であるが、周辺領域も含めリアルタイムに表示することが必要なスポーツ中継やコンサートの中継の場面には不向きである。
【０００６】
また、魚眼レンズ等の広角撮像系を用いた実施例もあるが、多くの場合、遠くの被写体は小さくなり、人物の進入監視可能距離は通常のズーム型監視カメラに比して不利である。
【０００７】
また、リアルタイムに複数の解像度を撮像するカメラとしては、例えば、特許文献６に記載されるように、低解像度動画と高解像度静止画との関連付けをおこなうもの、あるいは、特許文献７に記載されるように、高解像度画像をもとに低解像度画像を生成し、動画とするものが考えられている。しかし、いずれも、高解像度動画を表示する装置ではない。
また、特許文献８には、複数のカメラの信号を予め取得した座標変換テーブルに基づき、１つのＨＤ（High Definition）画像に分割表示する方法が記載されている。この方法の利点は、座標変換テーブルを用いて、複数の分割画像からパノラマ画像を生成する際に、リアルタイムに目標の画像が得られることにある。
【特許文献１】特開２００３−１８５８３号公報
【特許文献２】特開２００５−３３３５５２号公報
【特許文献３】特開２００３−１６２０１８号公報
【特許文献４】特開２００２−３１４８６７号公報
【特許文献５】特開２００５−１７６３０１号公報
【特許文献６】特開平７−１４３４３９号公報
【特許文献７】特開２００５−１９７９４８号公報
【特許文献８】特開２００４−６２１０３号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
上述したように、特許文献６、特許文献７に記載される技術はいずれも高解像度動画を表示する装置ではない。また、例えば、特許文献８の方法においては、複数のカメラ信号を１つにまとめて最終出力を得るものであり、画素数の増加やフレームレートの高速化に対して、パノラマ画像を表示する際の対応が困難となる。
【０００９】
この発明の目的は、高解像度動画を表示するものにあって、データ送信時および画像表示時における処理データ量を低減し、処理負荷の軽減を図ることにある。
【課題を解決するための手段】
【００１０】
この発明の概念は、
画像送信装置と画像表示装置とがネットワークを介して接続されている画像表示システムであって、
上記画像送信装置は、
パノラマ画像を複数個に分割して得られる各分割画像にそれぞれ対応した画像データを出力する複数個のカメラ部と、
上記各カメラ部から出力される画像データをそれぞれ処理して第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、上記第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとを生成する複数個の画像データ処理部と、
上記各画像データ処理部で生成された上記第１の圧縮画像データおよび上記第２の圧縮画像データを上記画像表示装置に送信するデータ送信部を有し、
上記画像表示装置は、
上記画像送信装置から送られてくる第１の圧縮画像データおよび第２の圧縮画像データを受信するデータ受信部と、
上記データ受信部で受信された複数個の第２の圧縮画像データの復号化データを用いて、上記パノラマ画像を表示するためのパノラマ画像データを生成する第１の画像データ生成部と、
上記パノラマ画像上における高解像度表示位置を決める表示位置決定部と、
上記データ受信部で受信された複数個の第１の圧縮画像データのうち、上記表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて、高解像度画像を表示するための高解像度画像データを生成する第２の画像データ生成部と、
上記第１の画像データ生成部で生成されたパノラマ画像データによるパノラマ画像および上記第２の画像データ生成部で生成された高解像度画像データによる高解像度画像をディスプレイに表示する表示部を有する
ことを特徴とする画像表示システムにある。
【００１１】
この発明において、画像表示システムは、画像送信装置および画像表示装置がネットワークを介して接続された構成となっている。画像送信装置には、複数個のカメラ部が備えられている。複数個のカメラ部により、パノラマ画像（広角画像、あるいは広域画像）を複数個に分割して得られる各分割画像が撮像され、それぞれの分割画像に対応した画像データが得られる。
【００１２】
画像送信装置の各画像データ処理部では、各カメラ部から出力される画像データがそれぞれ処理され、第１の解像度の画像データを圧縮符号化した第１の圧縮画像データと、この第１の解像度より低い第２の解像度の画像データを圧縮符号化した第２の圧縮画像データとが生成される。例えば、第１の解像度はＵＸＧＡ（Ultra eXtended Graphics Array）であり、第２の解像度はＱＶＧＡ（Quarter Video Graphics Array）である。
【００１３】
各データ処理部で生成された第１の圧縮画像データおよび第２の圧縮画像データは、データ送信部により、ネットワークを介して、画像表示装置に送信される。このように、この発明においては、画像送信装置から画像表示装置に、各カメラ部から出力される画像データを用いてパノラマ画像用の画像データを生成して送信するものではなく、画像送信装置側における処理データ量が減り、処理負荷が軽減される。
【００１４】
なお、この発明においては、例えば、各画像データ処理部では、カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報を含むメタデータが生成され、このメタデータも、データ送信部により、ネットワークを介して、画像表示装置に送信されるようにしてもよい。このように検知情報を含むメタデータが画像表示装置に送信されることで、画像表示装置側では、パノラマ画像上への検知位置の表示、あるいは、さらにはその検知位置に対応した高解像度画像の表示などが容易に可能となる。
【００１５】
また、この発明においては、各画像データ処理部では、全てのフレームにおいて第２の圧縮画像データが生成されると共に、間欠的なフレームにおいて第１の圧縮画像データが生成されるようにしてもよい。この場合、各画像データ処理部では、解像度の高い第１の画像データの処理フレーム数を少なくでき、処理負荷が軽減される。
【００１６】
また、この発明においては、各画像データ処理部では、カメラ部から出力される画像データより所定の画像領域の画像データが切り出され、この切り出された画像データに対して圧縮符号化が行われて第１の圧縮画像データが生成されるようにしてもよい。例えば、所定の画像領域は、カメラ部から出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサの検知情報に基づいて、決定される。また、例えば、所定の画像領域は、情報受信部で受信された、パノラマ画像上に設定された所定の画角の注目領域の情報に基づいて、決定される。この場合、各画像データ処理部では、例えば、カメラ部から出力される画像データから画像表示側で必要となる画像領域の画像データのみが切り出されて処理が行われるため、処理データ量が少なく、処理負荷が軽減される。
【００１７】
画像表示装置のデータ受信部では、画像送信装置の各データ処理部で生成された第１の圧縮画像データと第２の圧縮画像データが受信される。第１の画像データ生成部では、複数個の第２の圧縮画像データの復号化が行われ、復号化データを用いてパノラマ画像を表示するためのパノラマ画像データが生成される。この場合、第２の圧縮画像データは上述したように第２の解像度（低解像度）に係るものであることから、第１の画像データ生成部では、処理データ量が少なく、処理負荷が軽減される。表示部により、このパノラマ画像データによるパノラマ画像がディスプレイに表示される。例えば、この場合、複数個の画像データを１つにまとめる処理は行われず、各画像データをビデオＲＡＭの対応するアドレスに配置、保持することで表示が行われる。この場合、画素数の増加やフレームレートの高速化に対して、パノラマ画像を表示する際の対応が容易となる。
【００１８】
なお、この発明においては、データ受信部では、各カメラ部から出力される画像データをそれぞれ処理して検知された動体または不動体の検知情報、あるいは各カメラ部に対応して設けられた各外部センサの検知情報を含むメタデータがさらに受信され、第３の画像データ生成部では、データ受信部で受信された複数個の第２の圧縮画像データのうち、検知情報で示される検知位置に対応した分割画像の第２の圧縮画像データの復号化データを用いて検知位置画像を表示するための検知位置画像データが生成され、表示部により当該検知位置画像データによる検知位置画像がディスプレイにさらに表示されるようにしてもよい。この場合、各検知位置に対応した検知位置画像をディスプレイにインデックス表示することが可能となる。そして、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
【００１９】
また、この発明においては、例えば、注目領域設定部により、ディスプレイに表示されるパノラマ画像上に注目領域が設定され、第４の画像データ設定部では、データ受信部で受信された複数個の第２の圧縮画像データのうち、注目領域に対応した分割画像の第２の圧縮画像データの復号化データを用いて注目領域画像を表示するための注目領域画像データが生成され、表示部により当該注目領域画像データによる注目領域画像がディスプレイにさらに表示されるようにしてもよい。この場合、各注目領域に対応した注目領域画像をディスプレイにインデックス表示することが可能となる。そして、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
【００２０】
表示位置決定部では、パノラマ画像上における高解像度表示位置が決定される。例えば、高解像度表示位置は、表示されたパノラマ画像上におけるユーザの位置選択操作に基づいて、決定される。また、例えば、高解像度表示位置は、上述したようにディスプレイに検知位置画像が表示されるものにあっては、ユーザの検知位置画像の選択操作に基づいて、決定されるようにしてもよい。また、例えば、高解像度表示位置は、上述したようにディスプレイに注目領域画像が表示されるものにあっては、ユーザの注目領域画像の選択操作に基づいて、決定されるようにしてもよい。
【００２１】
また、この発明においては、例えば、第２の画像データ生成部では、表示位置決定部で決定された高解像度表示位置に対応した分割画像の第１の圧縮画像データおよび第２の圧縮画像データを所定のフレーム比率で用いて高解像度画像を表示するための高解像度画像データが生成されるようにしてもよい。この場合、第２の画像データ生成部では、復号化すべき第１の圧縮画像データのフレーム数を少なくでき、処理負荷が軽減される。
【発明の効果】
【００２２】
この発明によれば、画像送信装置側では、パノラマ画像を撮像する複数個のカメラ部からの画像データをそれぞれ処理して、高解像度の画像データを圧縮符号化した第１の圧縮画像データ、および低解像度の画像データを圧縮符号化した第２の圧縮画像データを生成して送信し、画像表示装置側では、受信した複数個の第２の圧縮画像データの復号化データを用いてパノラマ画像を表示し、受信した複数個の第１の圧縮画像データのうち、パノラマ画像上に決定された所定位置に対応した第１の圧縮画像データの復号化データを用いて当該所定位置の高解像度画像を表示するものであり、データ送信時および画像表示時における処理データ量を低減でき、処理負荷の軽減を図ることができる。
【発明を実施するための最良の形態】
【００２３】
以下、図面を参照しながら、この発明の実施の形態について説明する。
図１は、実施の形態としての画像表示システム１００の構成例を示している。画像表示システム１００は、画像送信装置１１０と画像表示装置１３０とがネットワーク１５０を介して接続された構成となっている。ネットワーク１５０は、ＬＡＮ（Local Area Network）、インターネット等である。
【００２４】
画像送信装置１１０は、ｎ個（ｎは２以上の整数）のカメラ部１１１-1〜１１１-nを有している。これらｎ個のカメラ部１１１-1〜１１１-nは、広角画像（広域画像）であるパノラマ画像をｎ個に分割して得られる各分割画像をそれぞれ撮像して画像データを出力する。例えば、パノラマ画像は水平方向に広がった広角画像であり、当該パノラマ画像が水平方向にｎ個に分割される。各カメラ部１１１-1〜１１１-nは、第１の解像度、例えばＵＸＧＡ（Ultra eXtended Graphics Array）の画像データを出力する。因みに、ＵＸＧＡは、１６００×１２００ピクセルの解像度である。
【００２５】
図２は、ｎ個のカメラ部１１１-1〜１１１-nの配置例を示している。各カメラ部は、撮像しようとする、ある連続領域のパノラマ画像を生成するように配置されている。ここで、詳細説明は省略するが、各カメラ部からの画像データを用いてパノラマ画像を生成する際には、歪み、焦点距離等のレンズ情報（図３Ａ参照）と、カメラの傾き情報（Ｒｏｌｌ，Ｐｉｔｃｈ，Ｙａｗ）（図３Ｂ参照）と、隣接カメラとの周辺混合比情報（図３Ｃ参照）等の画像変換情報が必要となる。画像送信装置１１０においいてはこの画像変換情報が予め取得されており、当該画像送信装置１１０から、ネットワーク１５０を介して、画像表示装置１３０に送られる。このように画像変換情報が画像送信装置１１０から画像表示装置１３０に送られることで、画像表示装置１３０側では、異なる画像送信装置１１０毎に、画像変換情報を保存しておく必要はない。
【００２６】
画像送信装置１１０は、各カメラ部１１１-1〜１１１-nから出力される画像データをそれぞれ処理して、第１の解像度の画像データを圧縮符号化した第１の圧縮画像データを生成する。また、画像送信装置１１０は、各カメラ部１１１-1〜１１１-nから出力される画像データをそれぞれ処理して、第１の解像度より低い第２の解像度、例えばＱＶＧＡ（Quarter Video Graphics Array）の画像データを圧縮符号化した第２の圧縮画像データを生成する。因みに、ＱＶＧＡは、３２０×２４０ピクセルの解像度である。画像送信装置１１０は、上述したように生成されたｎ個の第１の圧縮画像データ、およびｎ個の第２の圧縮画像データを、ネットワーク１５０を介して、画像表示装置１３０に送信する。
【００２７】
画像表示装置１３０は、画像送信装置１１０から送られてくるｎ個の第１の圧縮画像データ、およびｎ個の第２の圧縮画像データを受信する。そして、画像表示装置１３０は、ｎ個の第２の圧縮画像データの復号化データを用いてパノラマ画像を表示するためのパノラマ画像データを生成し、ディスプレイに当該パノラマ画像データによるパノラマ画像を表示する。なお、画像表示装置１３０においてパノラマ画像データを生成する際には、上述したように画像送信装置１１０から送られてくる、レンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報が使用される。
【００２８】
また、画像表示装置１３０は、パノラマ画像上における高解像度表示位置を決め、ｎ個の第１の圧縮画像データのうち、高解像度表示位置に対応した分割画像の第１の圧縮画像データの復号化データを用いて高解像度画像を表示するための高解像度画像データを生成し、ディスプレイに当該高解像度画像データによる高解像度画像を表示する。
【００２９】
図４は、画像送信装置１１０の具体的な構成例を示している。画像送信装置１１０は、ｎ個のカメラ部１１１-1〜１１１-nと、ｎ個の画像データ処理部１１２-1〜１１２-nと、ｎ個の外部センサ１１３-1〜１１３-nと、データ伝送部１１４とを有している。
ｎ個のカメラ部１１１-1〜１１１-nは、上述したように、広角画像（広域）であるパノラマ画像をｎ個に分割して得られる各分割画像をそれぞれ撮像して、第１の解像度（例えば、ＵＸＧＡ）の画像データを出力する。
【００３０】
カメラ部１１１-1は、撮像部１２１および撮像信号処理部１２２を有している。撮像部１２１は、図示しない撮像レンズおよび撮像素子を有しており、パノラマ画像をｎ個に分割して得られる各分割画像のうち、自身が受け持つ分割画像を撮像し、この分割画像に対応した撮像信号を出力する。撮像素子は、ＣＣＤ(Charged Coupled Device)あるいはＣＭＯＳ(ComplementaryMetal-Oxide Semiconductor)等の撮像素子である。
【００３１】
撮像信号処理部１２２は、撮像部１２１から出力される撮像信号（アナログ信号）のサンプルホールドおよび利得制御、アナログ信号からデジタル信号への変換、さらにホワイトバランス調整、ガンマ補正等を行って、第１の解像度（例えば、ＵＸＧＡ）の画像データを生成する。
【００３２】
画像データ処理部１１２-1は、高解像度エンコーダ１２３と、サイズ変更部１２４と、低解像度エンコーダ１２５と、動体／不動体検知部１２６と、メタデータ生成部１２７とを有している。
【００３３】
高解像度エンコーダ１２３は、カメラ部１１１-1から出力される第１の解像度の画像データに対して、圧縮符号化処理を行って、第１の圧縮画像データＶ1hを生成する。高解像度エンコーダ１２３は、例えば、モーションＪＰＥＧ（JointPhotographic Experts Group）による圧縮符号化を行う。
【００３４】
サイズ変更部１２４は、カメラ部１１１-1から出力される第１の解像度の画像データに対して、間引き、補間等の処理を行って、第１の解像度より低い第２の解像度（例えば、ＱＶＧＡ）の画像データを生成する。低解像度エンコーダ１２５は、サイズ変更部１２４から出力される第２の解像度の画像データに対して、圧縮符号化処理を行って、第２の圧縮画像データＶ1Lを生成する。低解像度エンコーダ１２５は、上述した高解像度エンコーダ１２３と同様に、例えば、モーションＪＰＥＧ（Joint Photographic Experts Group）による圧縮符号化を行う。
【００３５】
動体／不動体検知部１２６は、カメラ部１１１-1から出力される第１の解像度の画像データを処理して、当該画像データによる画像から動体領域（動き領域）および不動体領域（物体の発生領域、物体の消失領域）を検出する。メタデータ生成部１２７は、動体／不動体検知部１２６から出力される動体、不動体の検知情報、および外部センサ１１３-1の検知情報を含むメタデータＭＤ1を生成する。ここで、外部センサ１１３-1は、例えば、カメラ部１１１-1が受け持つ分割画像上の特定位置の異変を検出するものであって、赤外線センサ、温度センサ、音センサ等からなっている。
【００３６】
詳細説明は省略するが、カメラ部１１１-2〜１１１-nは、上述したカメラ部１１１-1と同様に構成されており、自身が受け持つ分割画像を撮像し、この分割画像に対応した第１の解像度（例えば、ＵＸＧＡ）の画像データを生成して出力する。また、詳細説明は省略するが、画像データ処理部１１２-2〜１１２-nは、上述した画像データ処理部１１２-1と同様に構成されており、カメラ部１１１-2〜１１１-nからの画像データ等を処理し、第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnL、および動体、不動体等の検知情報を含むメタデータＭＤ2〜ＭＤnを生成して出力する。
【００３７】
データ伝送部１１４は、各画像データ処理部１１２-1〜１１２-nで生成される、第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnおよびメタデータＭＤ2〜ＭＤnを、ネットワーク１５０を介して、画像表示装置１３０に送信する。この意味で、データ伝送部１１４は、データ送信部を構成している。なお、このデータ伝送部１１４は、後述するように、画像表示装置１３０から送られてくる注目領域情報を受信する機能も備えている。また、このデータ伝送部１１４は、さらに、上述したレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報を、ネットワーク１５０を介して、画像表示装置１３０に送信する。
【００３８】
図４に示す画像送信装置１１０の動作を説明する。カメラ部１１１-1の撮像部１２１からは、被写体としてのパノラマ画像のうち、当該カメラ部１１１-1が受け持つ分割画像に対応した撮像信号（アナログ信号）が得られる。この撮像信号は撮像信号処理部１２２に供給される。撮像信号処理部１２２では、撮像信号に対して、サンプルホールドおよび利得制御等のアナログ信号処理、Ａ／Ｄ変換処理、さらにはホワイトバランス調整、ガンマ補正等のデジタル信号処理が施されて、第１の解像度（例えば、ＵＸＧＡ）の画像データが生成される。
【００３９】
カメラ部１１１-1で生成される画像データは、画像データ処理部１１２-1の、高解像度エンコーダ１２３、サイズ変更部１２４および動体／不動体検知部１２６に供給される。高解像度エンコーダ１２３では、カメラ部１１１-1から供給される画像データに対して、例えばモーションＪＰＥＧの圧縮符号化処理が行われ、第１の圧縮画像データＶ1hが生成される。
【００４０】
また、サイズ変更部１２４では、カメラ部１１１-1から供給される画像データに対して、間引き、補間等の処理が行われて、第１の解像度より低い第２の解像度（例えば、ＱＶＧＡ）の画像データが生成される。この第２の解像度の画像データは、低解像度エンコーダ１２５に供給される。低解像度エンコーダ１２５では、サイズ変更部１２４から供給される画像データに対して、例えばモーションＪＰＥＧの圧縮符号化処理が行われ、第２の圧縮画像データＶ1Lが生成される。
【００４１】
また、動体／不動体検知部１２６では、カメラ部１１１-1から供給される画像データに基づいて、動体、不動体の検知処理が行われる。この動体／不動体検知部１２６で検知される動体、不動体の検知情報はメタデータ生成部１２７に供給される。また、このメタデータ生成部１２７には、カメラ部１１１-1が受け持つ分割画像上の特定位置の異変を検出する外部センサ１１３-1からの検知情報も供給される。メタデータ生成部１２７では、動体／不動体検知部１２６から出力される動体、不動体の検知情報、および外部センサ１１３-1の検知情報を含むメタデータＭＤ1が生成される。
【００４２】
カメラ部１１１-2〜１１１-nでは、上述したカメラ部１１１-1と同様にして、自身が受け持つ分割画像に対応した第１の解像度（例えば、ＵＸＧＡ）の画像データが生成される。このように各カメラ部１１１-2〜１１１-nで生成される第１の解像度の画像データは、それぞれ対応する画像データ処理部１１２-2〜１１２-nに供給される。画像データ処理部１１２-2〜１１２-nでは、上述した画像データ処理部１１２-1と同様にして、カメラ部１１１-2〜１１１-nからの画像データ等が処理され、第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnL、および動体、不動体等の検知情報等を含むメタデータＭＤ2〜ＭＤnが生成される。
【００４３】
各画像データ処理部１１２-1〜１１２-nで生成された第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnL、および動体、不動体等の検知情報を含むメタデータＭＤ2〜ＭＤnは、データ伝送部１１４に供給される。データ伝送部１１４では、第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤnがファイル化され、ネットワーク１５０を介して、画像表示装置１３０に送信される。また、このデータ伝送部１１４から、カメラ部１１１-2〜１１１-nに係るレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報が、ネットワーク１５０を介して、画像表示装置１３０に送られる。
【００４４】
図５は、画像表示装置１３０の具体的な構成例を示している。画像表示装置１３０は、制御部１３１と、ユーザインタフェース部１３２と、データ伝送部１３３と、画像データ処理部１３４と、ＶＲＡＭ（Video Random Access Memory）１３５と、ディスプレイ１３６とを有している。
【００４５】
制御部１３１は、画像表示装置１３０の各部の動作を制御する。この制御部１３１は、ＣＰＵで構成される。ＣＰＵは、ＲＯＭ等に格納されている制御プログラムを必要に応じて読み出し、読み出した制御プログラムをＲＡＭに転送して展開し、当該展開された制御プログラムを読み出して実行することで、各部の動作を制御する。ユーザインタフェース部１３２は、操作キー、リモートコントロール信号受信器等で構成されている。このユーザインタフェース部１３２は、制御部１３１に接続されている。ユーザインタフェース部１３２は、ユーザ操作に応じた操作信号を生成して制御部１３１に供給する。
【００４６】
データ伝送部１３３は、画像送信装置１１０からネットワーク１５０を介して送信されてくる、第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤnを受信する。この意味で、データ伝送部１３３は、データ受信部を構成している。また、このデータ伝送部１３３は、画像送信装置１１０から送られてくる、上述したカメラ部１１１-2〜１１１-nに係るレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報を受信する。
【００４７】
画像データ処理部１３４は、データ受信部１３３で受信された第２の圧縮画像データＶ1L〜ＶnLを復号化し、各復号化データを用い、上述した画像変換情報に基づいて、パノラマ画像を表示するためのパノラマ画像データを生成する。この意味で、画像データ処理部１３４は第１の画像データ生成部を構成している。
【００４８】
また、画像データ処理部１３４は、データ受信部１３３で受信された第１の圧縮画像データＶ1H〜ＶnHのうち、パノラマ画像上における高解像度表示位置に対応した分割画像の第１の圧縮画像データを復号化し、復号化データを用いて高解像度画像を表示するための高解像度画像データを生成する。この意味で、画像データ処理部は、第２の画像データ生成部を構成している。パノラマ画像上における高解像度表示位置は、ユーザ操作に基づき、制御部１３１により決定される。この意味で、制御部１３１は、表示位置決定部を構成している。制御部１３１における高解像度表示位置の決定処理の詳細については後述する。
【００４９】
図６は、上述した画像送信装置１１０のカメラ部１１１-1〜１１１-nに対応した、高解像度（第１の解像度）の画像データおよび低解像度（第２の解像度）の画像データの構成を示している。この図６におけるカメラ部１〜カメラ部ｎは、それぞれ、カメラ部１１１-1〜１１１-nを示している。
【００５０】
画像データ処理部１３４では、カメラ部１〜カメラ部ｎの低解像度画像データが合成されて、水平方向にｈ画素、垂直方向にｖ画素のパノラマ画像データが生成される。この場合、各カメラ部の低解像度画像データは隣接するカメラ部の低解像度データと重なる領域（斜線部）を持っているが、画像データ処理部１３４においては当該領域が重なるように画像データの合成処理が行われる。
【００５１】
また、カメラ部１〜カメラ部ｎの高解像度画像データは、それぞれ、カメラ部１〜カメラ部ｎの低解像度画像データに対応したものとなっている。ここで、カメラ部１〜カメラ部ｎの高解像度画像データは、水平方向にＨ画素、垂直方向にＶ画素のパノラマ画像データを構成する。ここで、ｈ／Ｈ、ｖ／Ｖは、画像送信装置１１０の各画像データ処理部１１２-1〜１１２-nのサイズ変更部１２４における圧縮率に対応する。
【００５２】
パノラマ画像データを構成する各カメラ部の低解像度画像データと、各カメラ部の高解像度画像データとは対応した状態にある。そのため、画像データ処理部１３４は、当該対応関係を利用することで、パノラマ画像上に決定された高解像度画像位置に対応した高解像度画像データを容易に生成できる。
【００５３】
例えば、図６に示すように、低解像度のパノラマ画像上に破線枠Ｆａで示す高解像度表示位置が決定される場合には、カメラ部１およびカメラ部２の高解像度データが用いられて、高解像度画像データが生成される。また、例えば、図６に示すように、低解像度のパノラマ画像上に破線枠Ｆｂで示す高解像度表示位置が決定される場合には、カメラ部２およびカメラ部３の高解像度データが用いられて、高解像度画像データが生成される。
なお、図６は、各カメラ部が水平方向に一列に配列されたものを示しているが、各カメラ部が垂直方向に一列に配列される例、あるいは、各カメラ部がマトリクス状に配列される例も同様に考えられる。
【００５４】
また、画像データ処理部１３４は、データ受信部１３３で受信された第２の圧縮画像データＶ1L〜ＶnLのうち、データ受信部１３３で受信されたメタデータＭＤ1〜ＭＤnに含まれる検知情報で示される検知位置に対応した分割情報の第２の圧縮画像データの復号化データを用いて、検知位置画像を表示するための検知位置画像データを生成する。この意味で、画像データ処理部１３４は、第３の画像データ生成部を構成している。なお、上述したようにパノラマ画像データを生成するために第２の圧縮画像データＶ1L〜ＶnLは全て復号化されるので、当該検知位置画像データを生成する際に、新たに復号化の処理を行う必要はない。
【００５５】
また、画像データ処理部１３４は、データ受信部１３３で受信された第２の圧縮画像データＶ1L〜ＶnLのうち、パノラマ画像上に設定された注目領域に対応した分割情報の第２の圧縮画像データの復号化データを用いて、注目領域画像を表示するための注目領域画像データを生成する。この意味で、画像データ処理部１３４は、第４の画像データ生成部を構成している。なお、上述したようにパノラマ画像データを生成するために第２の圧縮画像データＶ1L〜ＶnLは全て復号化されるので、当該注目領域画像データを生成する際に、新たに復号化の処理を行う必要はない。パノラマ画像上への注目領域の設定は、ユーザの設定操作に基づき、制御部１３１により行われる。この意味で、制御部１３１は、注目領域設定部を構成している。  
【００５６】
ＶＲＡＭ１３５は、画像データ処理部１３４で生成された、パノラマ画像データ、高解像度画像データ、検知位置画像データ、および注目領域画像データを構成する各画素のデータを表示位置に対応したアドレスに保持すると共に、各画素のデータを走査線順に順次ディスプレイ１３６に出力する。ディスプレイ１３６は、例えば、ＬＣＤ（Liquid CrystalDisplay）、プラズマディスプレイ等で構成される。
【００５７】
上述の画像データ処理部１３４は、例えば、ソフトウェアで構成される。図７は、画像データ処理部１３４の機能ブロックを示している。画像データ処理部１３４は、データ受信モジュール１４１、メタデータ解析モジュール１４２、Ｉ／Ｏモジュール１４３、表示画像・画角指定モジュール１４４、デコーダスレッド１４５-1〜１４５-m、およびレンダラスレッド１４６-1〜１４６-mを備えている。
【００５８】
データ受信モジュール１４１は、データ伝送部１３３から第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤnを受け取る。メタデータ解析モジュール１４２は、データ受信モジュール１４１で受け取ったメタデータＭＤ1〜ＭＤnを解析して、検知位置、検知の種類等の情報を取得する。Ｉ／Ｏモジュール１４３は、制御部１３１から、決定された高解像度表示位置、設定された注目領域等の制御情報を受け取る。
【００５９】
表示画像・画角指定モジュール１４４は、メタデータ解析モジュール１４２で取得された検知位置、検知の種類等の情報、およびＩ／Ｏモジュール１４３が受け取った制御情報に基づいて、データ受信モジュール１４１で受け取った第１の圧縮画像データＶ1H〜ＶnHおよび第２の圧縮画像データＶ1L〜ＶnLのうち、必要とする圧縮画像データをそれぞれデコーダスレッド１４５-1〜１４５-mに送って復号化する。
【００６０】
例えば、パノラマ画像を表示するためのパノラマ画像データを生成するために、第２の圧縮画像データＶ1L〜ＶnLの復号化が行われる。また、第１の圧縮画像データＶ1L〜ＶnLのうち、高解像度表示位置に対応したものの復号化が行われる。例えば、高解像度表示位置が、第１、第２の分割画像に跨っている場合には、第１の圧縮画像データＶ1H，Ｖ2Hの復号化が行われる。
【００６１】
レンダラスレッド１４６-1〜１４６-mは、デコーダスレッド１４５-1〜１４５-mで取得される復号化データからパノラマ画像、高解像度画像、検知位置画像および注目領域画像の画素データを選択し、ＶＲＡＭ１３５の、当該パノラマ画像、高解像度画像、検知位置画像および注目領域画像の表示位置に対応したアドレスに配置する。
【００６２】
図５に示す画像表示装置１３０の動作を説明する。データ伝送部１３３では、画像送信装置１１０からネットワーク１５０を介して送信されてくる、第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnLおよびメタデータＭＤ1〜ＭＤn、さらにはレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報が受信される。これら第１の圧縮画像データＶ1H〜ＶnH、第２の圧縮画像データＶ1L〜ＶnL、メタデータＭＤ1〜ＭＤnおよび画像変換情報は、画像データ処理部１３４に供給される。
【００６３】
画像データ処理部１３４では、第２の圧縮画像データＶ1L〜ＶnLが復号化され、各復号化データを用い、画像変換情報に基づいて、パノラマ画像を表示するためのパノラマ画像データが生成される。そして、ＶＲＡＭ１３５には、パノラマ画像を構成する各画素のデータが、パノラマ画像の表示位置に対応したアドレスに配置され、保持される。これにより、ディスプレイ１３６の画面上のパノラマ画像表示部には、パノラマ画像が表示される。この場合、複数個の画像データを１つにまとめる処理は行われず、各画像データをＶＲＡＭ１３５の対応するアドレスに配置、保持することで表示が行われるものであり、画素数の増加やフレームレートの高速化に対して、パノラマ画像を表示する際の対応が容易となる。
【００６４】
また、画像データ処理部１３４では、第１の圧縮画像データＶ1H〜ＶnHのうち、パノラマ画像上における高解像度表示位置に対応した分割画像に係る第１の圧縮画像データが復号化され、復号化データを用いて高解像度画像を表示するための高解像度画像データが生成される。そして、ＶＲＡＭ１３５には、高解像度画像を構成する各画素のデータが、高解像度画像の表示位置に対応したアドレスに保持される。これにより、ディスプレイ１３６の画面上の高解像度画像表示部には、高解像度画像が表示される。
【００６５】
また、画像データ処理部１３４では、第２の圧縮画像データＶ1L〜ＶnLのうち、メタデータＭＤ1〜ＭＤnに含まれる検知情報で示される検知位置に対応した分割情報に係る第２の圧縮画像データの復号化データを用いて、検知位置画像を表示するための検知位置画像データが生成される。そして、ＶＲＡＭ１３５には、検知位置画像を構成する各画素のデータが、検知位置画像の表示位置に対応したアドレスに保持される。これにより、ディスプレイ１３６の画面上の検知位置画像表示部には、動体、不動体等の検知位置画像が表示される。
【００６６】
なお、上述していないが、パノラマ画像上には、メタデータＭＤ1〜ＭＤnに含まれる検知情報で示される検知位置に対応して、当該検知位置を示す枠等が表示される。また、この枠等は、検知の種類、例えば動体検知であるか、不動体検知であるか、あるいは外部センサによる検知であるかによって色分けされるようにして、ユーザが検知の種類を容易に判別可能としてもよい。
【００６７】
また、画像データ処理部１３４では、第２の圧縮画像データＶ1L〜ＶnLのうち、パノラマ画像上に設定された注目領域に対応した分割情報に係る第２の圧縮画像データの復号化データを用いて、注目領域画像を表示するための注目領域画像データが生成される。そして、ＶＲＡＭ１３５には、注目領域画像を構成する各画素のデータが、注目領域画像の表示位置に対応したアドレスに保持される。これにより、ディスプレイ１３６の画面上の注目領域画像表示部には、注目領域画像が表示される。
【００６８】
なお、上述していないが、パノラマ画像上には、注目領域を示す枠等が表示される。ここで、注目領域は、ユーザの注目領域の設定操作に基づき、制御部１３１によって設定される。この注目領域は任意の画角で設定可能とされる。後述するように、ユーザの注目領域画像の選択操作に基づいて高解像度表示位置が決定される場合、選択された注目領域画像に対応した高解像度画像が、ディスプレイ１３６の画面上の高解像度画像表示部に表示される。この場合、注目領域が任意の画角で設定可能とされているので、当該高解像度画像データの画素数が高解像度画像表示部の画素数より多くなる場合がある。その場合には、例えば、高解像度画像データに対して、高解像度画像表示部に収まるように、縮小、あるいはトリミングによる画素数調整が行われる。
【００６９】
図８は、ディスプレイ１３６の画面表示例を示している。画面の上側には、パノラマ画像表示部２０１が設けられている。このパノラマ画像表示部２０１には、画像データ処理部１３４で生成されたパノラマ画像データによる低解像度のパノラマ画像が表示される。また、このパノラマ画像上には、動体、不動体等の検知位置画像に対応した枠２１１およびユーザ操作によって設定された注目領域に対応した枠２１２が表示されている。
【００７０】
また、画面の左側には、検知位置画像表示部２０３および注目領域画像表示部２０４が設けられている。検知位置画像表示部２０３には、動体、不動体等の低解像度の検知位置画像（パノラマ画像上の枠２１１で囲まれた画像）が表示される。なお、各検知位置画像には、動体、不動体の検知対象物を囲む枠が表示されている。注目領域画像表示部２０４には、注目領域（パノラマ画像上の枠２１２で囲まれた画像）の低解像度画像が表示される。
【００７１】
また、画面の中央から右側にかけて、高解像度画像表示部２０２が設けられている。この高解像度画像表示部２０２に表示される高解像度画像は、ユーザ操作に基づいて制御１３１により決定された高解像度表示位置における高解像度画像が表示される。
【００７２】
ここで、制御部１３１における高解像度表示位置の決定処理の詳細について説明する。制御部１３１は、上述したようにパノラマ画像表示部２０１に表示されたパノラマ画像上におけるユーザの位置選択操作があるときは、当該位置選択操作に基づいて、高解像度表示位置を決定する。この場合、ユーザは、ユーザインタフェース部１３２を用いて、例えば、パノラマ画像上でカーソルを所望の位置に移動させてクリック操作をすることで、高解像度表示位置を選択できる。そして、この場合、高解像度表示部２０２には、ユーザによって選択された位置を含む所定範囲の高解像度画像が表示される。
【００７３】
また、制御部１３１は、上述したように検知位置画像表示部２０３に表示された検知位置画像から所望の検知位置画像を選択するユーザ選択操作があるときは、当該選択操作に基づいて、高解像度表示位置を決定する。つまり、制御部１３１は、ユーザ操作によって選択された検知位置画像に対応した位置（枠２１１で囲まれた領域）を高解像度表示位置に決定する。この場合、ユーザは、ユーザインタフェース部１３２を用いて、例えば、カーソルを所望の検知位置画像に移動させてクリック操作をすることで、所望の検知位置画像を選択できる。そして、この場合、高解像度画像表示部２０２には、選択された検知位置画像（高解像度画像）が表示される。
【００７４】
また、制御部１３１は、上述したように注目領域画像表示部２０３に表示された注目領域画像から所望の注目領域画像を選択するユーザ選択操作があるときは、当該選択操作に基づいて、高解像度表示位置を決定する。つまり、制御部１３１は、ユーザ操作によって選択された注目領域画像に対応する領域（枠２１２で囲まれた領域）を高解像度表示位置に決定する。この場合、ユーザは、ユーザインタフェース部１３２を用いて、例えば、カーソルを所望の注目領域画像に移動させてクリック操作をすることで、所望の注目領域画像を選択できる。そして、この場合、高解像度画像表示部２０２には、選択された注目領域画像（高解像度画像）が表示される。
【００７５】
上述したように図１に示す画像表示システム１００においては、画像送信装置１１０の各カメラ部１１１-1〜１１１-nから出力される画像データに基づき、各画像データ処理部１１２-1〜１１２-nで、第１の解像度（高解像度）の画像データを圧縮符号化して第１の圧縮画像データＶ1H〜ＶnHを生成すると共に、第１の解像度より低い第２の解像度（低解像度）の画像データを圧縮符号化して第２の圧縮画像データＶ1L〜ＶnLを生成し、データ伝送部１１４から当該第１の圧縮画像データＶ1H〜ＶnHおよび第２の圧縮画像データＶ1L〜ＶnLを、ネットワーク１５０を介して画像表示装置１３０に送信するものである。したがって、この画像表示システム１００においては、各カメラ部１１１-1〜１１１-nから出力される画像データを用いてパノラマ画像用の画像データを生成して送信するものではなく、画像送信装置１１０側における処理データ量が減り、処理負荷を軽減できる。
【００７６】
また、図１に示す画像表示システム１００においては、画像送信装置１１０の各画像データ処理部１１２-1〜１１２-nでは、カメラ部１１１-1〜１１１-nから出力される画像データを処理して検知された動体または不動体の検知情報、あるいは外部センサ１１３-1〜１１３-nの検知情報を含むメタデータＭＤ１〜ＭＤnが生成され、このメタデータＭＤ１〜ＭＤnも、データ伝送部１１４からネットワーク１５０を介して画像表示装置１３０に送信される。したがって、この画像表示システム１００においては、画像表示装置１３０側で、パノラマ画像上への検知位置の表示、あるいは、さらにはその検知位置に対応した高解像度画像の表示などが容易に可能となる。
【００７７】
また、図１に示す画像表示システム１００においては、画像データ処理部１３４で、データ伝送部１３３で受信される、第２の解像度（低解像度）に係る第２の圧縮画像データＶ1L〜ＶnLが復号化されてパノラマ画像データが生成され、ディスプレイ１３６に低解像度のパノラマ画像が表示される。したがって、この画像表示システム１００においては、画像表示装置１３０側における処理データ量が減り、処理負荷を軽減できる。
【００７８】
また、図１に示す画像表示システム１００においては、画像データ処理部１３４で、データ伝送部１３３で受信される、第１の解像度（高解像度）に係る第１の圧縮画像データＶ1L〜ＶnLのうち、ユーザ操作に基づいて決定された高解像度表示位置に対応した分割画像に係る第１の圧縮画像データの復号化データを用いて高解像度画像データが生成され、ディスプレイ１３６に高解像画像が表示される。したがって、この画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４は第１の圧縮画像データＶ1H〜ＶnHのうち必要な第１の圧縮画像データのみを復号化して用いるものであり、画像表示装置１３０側における処理データ量が減り、処理負荷を軽減できる。
【００７９】
また、図１に示す画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４で、データ伝送部１３３で受信される動体、不動体等の検知情報に基づいて、第２の圧縮画像データＶ1L〜ＶnLの復号化データから検知位置画像データが生成され、ディスプレイ１３６に低解像度の検知位置画像が表示される。したがって、この画像表示システム１００においては、各検知位置に対応した検知位置画像をディスプレイ１３６にインデックス表示できる。なお、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
【００８０】
また、図１に示す画像表示システム１００においては、画像表示装置１３０側で、ユーザは、ユーザインタフェース部１３２により、ディスプレイ１３６に表示されるパノラマ画像上に、任意の画角の注目領域を設定できる。そして、この図１に示す画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４で、設定された注目領域に基づいて、第２の圧縮画像データＶ1L〜ＶnLの復号化データから注目領域画像データが生成され、ディスプレイ１３５に低解像度の注目領域画像が表示される。したがって、この画像表示システム１００においては、各注目領域に対応した注目領域画像をディスプレイ１３６にインデックス表示できる。なお、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
【００８１】
また、図１に示す画像表示システム１００においては、高解像度表示位置は、ディスプレイ１３６に表示されるパノラマ画像上におけるユーザ位置選択操作に基づいて、また、ディスプレイ１３６に表示される検知位置画像のユーザ選択操作に基づいて、あるいは、ディスプレイ１３６に表示される注目領域画像のユーザ選択操作に基づいて、決定される。したがって、この画像表示システム１００においては、画像表示装置１３０側で、ユーザは、パノラマ画像上の任意位置の画像、任意の検知位置画像、あるいは任意の注目領域画像を、ディスプレイ１３６に、高解像度画像で表示して見ることができる。
【００８２】
なお、上述実施の形態において、画像送信装置１１０の各画像データ処理部１１２-1〜１１２-nは、図９（１）に示すように、高解像度（第１の解像度）に係る第１の圧縮画像データＶ1H〜ＶnHおよび低解像度（第２の解像度）に係る第２の圧縮画像データＶ1L〜ＶnLを各フレームで生成し、それをデータ伝送部１１４が画像表示装置１３０に送信するものである。
【００８３】
しかし、図９（２）に示すように、低解像度（第２の解像度）に係る第２の圧縮画像データＶ1L〜ＶnLは各フレームで生成するが、高解像度（第１の解像度）に係る第１の圧縮画像データＶ1H〜ＶnHに関しては、間欠的なフレームにおいて生成することも考えられる。図９（２）の例は、第１の圧縮画像データＶ1H〜ＶnHは１フレームおきに生成されるものを示しており、実線で示すフレームのみが生成される。
【００８４】
このように第１の圧縮画像データＶ1H〜ＶnHを間欠的に生成することで、各画像データ処理部１１２-1〜１１２-nにおける処理負荷を軽減でき、また、データ伝送部１１４から画像表示装置１３０への送信データ量を少なくでき、伝送負荷を軽減できる。なお、図９（１），（２）において、数値はフレーム番号を示している。
【００８５】
また、上述実施の形態において、画像表示装置１３０の画像データ処理部１３４は、高解像度画像を表示する際、各フレームで第１の圧縮画像データＶ1H〜ＶnHを用いるが、第１の圧縮画像データＶ1H〜ＶnHと、第２の圧縮画像データＶ1L〜ＶnLとを所定のフレーム比率で用いることも考えられる。図１０（１）は、第１の圧縮画像データＶ1H〜ＶnHと第２の圧縮画像データＶ1L〜ＶnLとを、１対１のフレーム比率で用いる例を示しており、また、図１０（２）は、第１の圧縮画像データＶ1H〜ＶnHと第２の圧縮画像データＶ1L〜ＶnLとを、１対３のフレーム比率で用いる例を示している。なお、図１０（１），（２）において、数値はフレーム番号を示している。
【００８６】
この場合、第２の圧縮画像データＶ1L〜ＶnLを用いるフレームでは、補間等の処理によって、画素数を増やすことが行われる。第２の圧縮画像データＶ1L〜ＶnLの比率が高くなるほど、画質は低下する。このように高解像度画像を表示する際に、適当な割合で第２の圧縮画像データＶ1L〜ＶnLをも用いることで、画像データ処理部１３４における処理負荷を軽減できる。
【００８７】
なお、上述実施の形態において、画像送信装置１１０の画像データ処理部１１２-1〜１１２-nではカメラ部１１１-1〜１１１-nから出力される第１の解像度（例えば、ＵＸＧＡ）の画像データをそのまま高解像度エンコーダ１２３で圧縮符号化して第１の圧縮画像データＶ１H〜ＶnHを生成するものであった。しかし、例えば、カメラ部１１１-1〜１１１-nの水平、垂直の画素数がさらに多いものにあっては、画像データ処理部１１２-1〜１１２-nにおいて、カメラ部から出力される画像データより所定の画像領域を切り出して第１の解像度（例えば、ＵＸＧＡ）の画像データを取得し、当該第１の解像度の画像データを圧縮符号化して第１の圧縮画像データを生成することも考えられる。
【００８８】
図１１は、その場合における、画像送信装置１００の他の構成例を示している。この図１１においては、カメラ部１１１-2〜１１１-nおよび画像データ処理部１１２-2〜１１２-nの部分は省略して示している。この図１１において、図４と対応する部分には同一符号を付し、その詳細説明は省略する。
【００８９】
画像データ処理部１１２-1は、高解像度エンコーダ１２３、サイズ変更部１２４、低解像度エンコーダ１２５、動体／不動体検知部１２６およびメタデータ生成部１２７の他に、領域切り出し部１２８を有している。
【００９０】
領域切り出し部１２８は、カメラ部１１１-1から出力される画像データより所定の画像領域の画像データを切り出して、第１の解像度（例えば、ＵＸＧＡ）の画像データを取得する。領域切り出し部１２８には、メタデータ生成部１２７で生成されるメタデータＭＤ1が供給される。また、領域切り出し部１２８には、データ伝送部１１４で受信される、画像表示装置１３０側からの注目領域情報が供給される。この意味で、データ伝送部１１４は、情報受信を構成している。
【００９１】
領域切り出し部１２８では、例えば、メタデータＭＤ1に含まれる動体、不動体等の検知情報に基づいて、動体、不動体等の検知位置に対応した画像領域が切り出すべき所定の画像領域に設定される。また、領域切り出し部１２８では、例えば、注目領域情報に基づいて、画像表示装置１３０側で設定された注目領域が切り出すべき所定の画像領域に設定される。なお、領域切り出し部１２８で切り出される画像領域の個数は、動体、不動体等の検知個数、およびが画像表示装置１３０側で設定される注目領域の設定個数に応じて、変化する。
【００９２】
高解像度エンコーダ１２３は、領域切り出し部１２８で切り出された各画像領域の画像データに対して、圧縮符号化処理を行って、第１の圧縮画像データＶ1Hを生成する。この場合、上述したように領域切り出し部１２８で切り出される画像領域の個数が複数個となる場合には、当該高解像度エンコーダ１２３からは複数個の第１の圧縮画像データＶ1Hが得られることになる。
【００９３】
画像データ処理部１１２-1のその他の構成および動作は、図４に示すものと同様である。また、図示を省略している画像データ処理部１１２-2〜１１２-nの部分の構成および動作は、画像データ処理部１１２-1と同様である。
【００９４】
画像送信装置１１０を図１１に示すように構成することで、画像データ処理部１１２-1〜１１２-nにおいて、カメラ部から出力される画像データより所定の画像領域（例えば、動体、不動体等の検知位置領域、画像表示装置１３０側で設定された注目領域）の画像データを切り出して、第１の解像度に係る第１の圧縮画像データを生成することができる。
【００９５】
したがって、カメラ部１１１-1〜１１１-nの水平、垂直の画素数が多い場合であっても、必要な画像領域のみを選択的に圧縮符号化して第１の圧縮画像データを生成することから、画像データ処理部１１２-1〜１１２-nの処理負荷を軽減できる。なお、この場合、画像表示装置１３０では、動体、不動体等の検知位置および設定された注目領域の高解像度画像の表示は可能であるが、パノラマ画像上の任意の位置の高解像度画像の表示は不可能となる。
【００９６】
また、上述実施の形態においては、画像送信装置１１０側で第２の解像度に係る第２の圧縮画像データを１種類だけ生成して画像表示装置１３０側に送信するものを示した。しかし、画像送信装置１１０側で、当該第２の解像度に係る第２の圧縮画像データとして、解像度を段階的に変化させた複数種類のものを生成して画像表示装置１３０に送信するように構成することも考えられる。この場合、画像表示装置１３０側では、複数の第２の解像度を選択的に使用可能となり、画像サイズの変更等が容易となる。
【産業上の利用可能性】
【００９７】
この発明は、データ送信時および画像表示時における処理データ量を低減でき、処理負荷の軽減を図ることができるものであり、例えば、パノラマ画像を表示して監視する監視システム等に適用できる。
【図面の簡単な説明】
【００９８】
【図１】実施の形態としての画像表示システムの構成例を示すブロック図である。
【図２】複数個のカメラ部の配置例を示す図である。
【図３Ａ】パノラマ画像データを生成する際の画像変換情報を構成するレンズ情報を示す図である。
【図３Ｂ】パノラマ画像データを生成する際の画像変換情報を構成するカメラの傾き情報を示す図である。
【図３Ｃ】パノラマ画像データを生成する際の画像変換情報を構成する隣接カメラとの周辺混合比情報を示す図である。
【図４】画像送信装置の具体的な構成例を示すブロック図である。
【図５】画像表示装置の具体的な構成例を示すブロック図である。
【図６】画像送信装置の各カメラ部に対応した、高解像度（第１の解像度）の画像データおよび低解像度（第２の解像度）の画像データの構成を示す図である。
【図７】画像データ処理部の機能ブロックを示す図である。
【図８】ディスプレイの画面表示例を示す図である。
【図９】高解像度（第１の解像度）に係る第１の圧縮画像データおよび低解像度（第２の解像度）に係る第２の圧縮画像データの送信フレーム例を示す図である。
【図１０】高解像度画像を表示する際に使用する、第１の圧縮画像データと、第２の圧縮画像データのフレーム比率の一例を示す図である。
【図１１】画像送信装置の他の構成例を示すブロック図である。
【符号の説明】
【００９９】
１００・・・画像表示システム、１１０・・・画像送信装置、１１１-1〜１１１-n・・・カメラ部、１１２-1〜１１２-n・・・画像データ処理部、１１３-1〜１１３-n・・・外部センサ、１１４・・・データ伝送部、１２１・・・撮像部、１２２・・・撮像信号処理部、１２３・・・高解像度エンコーダ、１２４・・・サイズ変更部、１２５・・・低解像度エンコーダ、１２６・・・動体／不動体検知部、１２７・・・メタデータ生成部、１２８・・・領域切り出し部、１３０・・・画像表示装置、１３１・・・制御部、１３２・・・ユーザインタフェース部、１３３・・・データ伝送部、１３４・・・画像データ処理部、１３５・・・ＶＲＡＭ、１３６・・・ディスプレイ、１５０・・・ネットワーク
【図１】
2008225600.tif 000003
【図２】
2008225600.tif 000004
【図３Ａ】
2008225600.tif 000005
【図３Ｂ】
2008225600.tif 000006
【図４】
2008225600.tif 000007
【図５】
2008225600.tif 000008
【図６】
2008225600.tif 000009
【図７】
2008225600.tif 000010
【図９】
2008225600.tif 000011
【図１０】
2008225600.tif 000012
【図１１】
2008225600.tif 000013
【図３Ｃ】
2008225600.tif 000014
【図８】
2008225600.tif 000015
【手続補正書】
【提出日】平成20年5月15日(2008.5.15)
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】０００１
【補正方法】変更
【補正の内容】
【０００１】
この発明は、例えば監視システムに適用して好適な画像表示システム、画像送信装置、画像送信方法、画像表示装置、画像表示方法およびプログラムに関する。詳しくは、この発明は、画像送信装置側では、パノラマ画像を撮像する複数個のカメラ部からの画像データをそれぞれ処理して、高解像度の画像データを圧縮符号化した第１の圧縮画像データ、および低解像度の画像データを圧縮符号化した第２の圧縮画像データを生成して送信し、画像表示装置側では、受信した複数個の第２の圧縮画像データの復号化データを用いてパノラマ画像を表示し、受信した複数個の第１の圧縮画像データのうち、パノラマ画像上に決定された所定位置に対応した第１の圧縮画像データの復号化データを用いて当該所定位置の高解像度画像を表示することにより、データ送信時および画像表示時における処理データ量を低減し、処理負荷の軽減を図るようにした画像送信システム等に係るものである。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００３３
【補正方法】変更
【補正の内容】
【００３３】
高解像度エンコーダ１２３は、カメラ部１１１-1から出力される第１の解像度の画像データに対して、圧縮符号化処理を行って、第１の圧縮画像データＶ1Hを生成する。高解像度エンコーダ１２３は、例えば、モーションＪＰＥＧ（JointPhotographic Experts Group）による圧縮符号化を行う。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００３７
【補正方法】変更
【補正の内容】
【００３７】
データ伝送部１１４は、各画像データ処理部１１２-1〜１１２-nで生成される、第１の圧縮画像データＶ2H〜ＶnH、第２の圧縮画像データＶ2L〜ＶnLおよびメタデータＭＤ2〜ＭＤnを、ネットワーク１５０を介して、画像表示装置１３０に送信する。この意味で、データ伝送部１１４は、データ送信部を構成している。なお、このデータ伝送部１１４は、後述するように、画像表示装置１３０から送られてくる注目領域情報を受信する機能も備えている。また、このデータ伝送部１１４は、さらに、上述したレンズ情報、カメラの傾き情報、隣接カメラとの周辺混合比情報等の画像変換情報を、ネットワーク１５０を介して、画像表示装置１３０に送信する。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】００３９
【補正方法】変更
【補正の内容】
【００３９】
カメラ部１１１-1で生成される画像データは、画像データ処理部１１２-1の、高解像度エンコーダ１２３、サイズ変更部１２４および動体／不動体検知部１２６に供給される。高解像度エンコーダ１２３では、カメラ部１１１-1から供給される画像データに対して、例えばモーションＪＰＥＧの圧縮符号化処理が行われ、第１の圧縮画像データＶ1Hが生成される。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】００７８
【補正方法】変更
【補正の内容】
【００７８】
また、図１に示す画像表示システム１００においては、画像データ処理部１３４で、データ伝送部１３３で受信される、第１の解像度（高解像度）に係る第１の圧縮画像データＶ1H〜ＶnHのうち、ユーザ操作に基づいて決定された高解像度表示位置に対応した分割画像に係る第１の圧縮画像データの復号化データを用いて高解像度画像データが生成され、ディスプレイ１３６に高解像画像が表示される。したがって、この画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４は第１の圧縮画像データＶ1H〜ＶnHのうち必要な第１の圧縮画像データのみを復号化して用いるものであり、画像表示装置１３０側における処理データ量が減り、処理負荷を軽減できる。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】００８０
【補正方法】変更
【補正の内容】
【００８０】
また、図１に示す画像表示システム１００においては、画像表示装置１３０側で、ユーザは、ユーザインタフェース部１３２により、ディスプレイ１３６に表示されるパノラマ画像上に、任意の画角の注目領域を設定できる。そして、この図１に示す画像表示システム１００においては、画像表示装置１３０の画像データ処理部１３４で、設定された注目領域に基づいて、第２の圧縮画像データＶ1L〜ＶnLの復号化データから注目領域画像データが生成され、ディスプレイ１３６に低解像度の注目領域画像が表示される。したがって、この画像表示システム１００においては、各注目領域に対応した注目領域画像をディスプレイ１３６にインデックス表示できる。なお、この場合、パノラマ画像を表示するために既に得られている第２の圧縮画像データの復号化データを用いることから、処理負荷が大幅に増加するということはない。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】００８８
【補正方法】変更
【補正の内容】
【００８８】
図１１は、その場合における、画像送信装置１１０の他の構成例を示している。この図１１においては、カメラ部１１１-2〜１１１-nおよび画像データ処理部１１２-2〜１１２-nの部分は省略して示している。この図１１において、図４と対応する部分には同一符号を付し、その詳細説明は省略する。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】００９０
【補正方法】変更
【補正の内容】
【００９０】
領域切り出し部１２８は、カメラ部１１１-1から出力される画像データより所定の画像領域の画像データを切り出して、第１の解像度（例えば、ＵＸＧＡ）の画像データを取得する。領域切り出し部１２８には、メタデータ生成部１２７で生成されるメタデータＭＤ1が供給される。また、領域切り出し部１２８には、データ伝送部１１４で受信される、画像表示装置１３０側からの注目領域情報が供給される。この意味で、データ伝送部１１４は、情報受信部を構成している。