(57)【要約】  【課題】超広角レンズや魚眼レンズ等の広角レンズを用いた撮影により生じた歪みを補正した画像における画質の劣化を低減できる画像通信システムを提供する。  【解決手段】カメラ３は、超広角レンズを用いて生成された撮像画像１１から注目領域１３を切出し、注目領域１３の符号化データを送信する。端末装置５は、符号化データを復号し、歪みを補正する。歪み補正処理は、撮像画像空間から補正画像空間への座標変換によって、広角レンズを用いた撮影により生じた歪みを補正する。超広角レンズ等の広角レンズは、座標変換において参照される補正前画像の単位面積当たりの座標データの数が、撮像画像の撮像中心からの距離に応じて異なる特性を有する。符号化部は、撮像中心から注目領域内の各符号化ブロックまでの距離に応じて、各符号化ブロックへ符号量を割り当てる。【選択図】  図１
2010239221.tif 000002
【特許請求の範囲】
【請求項１】
撮像装置と、前記撮像装置から画像を受信する画像受信装置とを備えた画像通信システムであって、
前記撮像装置は、
広角レンズを用いて撮像画像を生成する撮像部と、
前記撮像画像から注目領域を切り出す領域切出部と、
前記注目領域を符号化する符号化部とを有し、
前記画像受信装置は、
前記撮像装置から受信される前記注目領域の符号化データを復号する復号部と、
撮像画像空間から補正画像空間への座標変換によって、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、
前記広角レンズは、前記座標変換において参照される補正前画像の単位面積当たりの座標データの数が、前記撮像画像の撮像中心からの距離に応じて異なる特性を有し、
前記符号化部は、前記撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量を割り当てることを特徴とする画像通信システム。
【請求項２】
広角レンズを用いて撮像画像を生成する撮像部と、
前記撮像画像から注目領域を切り出す領域切出部と、
前記注目領域を符号化する符号化部とを有し、
前記符号化部は、前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離が大きくなるほど符号量を多く割り当てるように、前記各符号化ブロックの符号量を制御することを特徴とする撮像装置。
【請求項３】
前記領域切出部は、前記注目領域を表示する変換対象領域と、前記変換対象領域を取り囲み送信画像の外形を有する変換不要領域とに分け、符号化処理でデータ量が低減するように前記変換不要領域の画像を変換することを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記領域切出部は、前記変換不要領域を単色で塗りつぶすことを特徴とする請求項３に記載の撮像装置。
【請求項５】
前記符号化部は、前記変換不要領域の符号量を最低量とすることを特徴とする請求項３に記載の撮像装置。
【請求項６】
前記符号化部は、前記変換対象領域と前記変換不要領域の境界を含む符号化ブロックの符号量を、前記符号化ブロックに前記変換対象領域が占める割合に応じて制御することを特徴とする請求項３乃至５のいずれかに記載の撮像装置。
【請求項７】
前記領域切出部は、撮像画像空間内での前記注目領域の代表的サイズへと、前記注目領域のサイズを変換することを特徴とする請求項２乃至６のいずれかに記載の撮像装置。
【請求項８】
広角レンズを用いて得られた撮像画像の撮像中心から注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックの符号量割り当てが異なる前記注目領域の符号化データを受信する通信部と、
前記注目領域の符号化データを復号する復号部と、
復号化データから前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有する画像受信装置。
【請求項９】
広角レンズを用いて生成した撮像画像から注目領域を切り出し、切り出された前記注目領域を符号化し、
前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量の割り当てを変更することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、広角レンズを備えた撮像装置と、撮像装置から画像を受信する画像受信装置とを備えた画像通信システムに関する。
【背景技術】
【０００２】
従来、超広角レンズ又は魚眼レンズを利用してパンチルトズーム機能を擬似的に提供する画像通信システムが提案されている。この種のシステムでは、カメラが、超広角レンズ等を備えており、画角が大きい画像を生成する。例えば、画角が１８０°近い画像が生成される。但し、撮像画像は歪んだものとなる。ユーザの指定等に従って、撮像画像から一部の領域が切り出され、歪みが補正され、そして補正後の領域画像が表示される。
【０００３】
実際にパンチルト機構を備えたシステムの場合、所望の撮影方向を向くようにパンチルト機構がカメラを回動させる。上記の広角レンズを備えたシステムでは、撮影方向に対応する領域が撮像画像から切り出される。これにより、実際にカメラが回動しないにも拘わらず、ユーザにとってはカメラが回動して所望の方向を撮影しているように見える。さらに、画像処理によって画像を拡大縮小することにより、ズーム効果が得られる。こうして、擬似的にパンチルトズーム機能を提供することができる。このような擬似的なパンチルトズームは、画像処理によって実現されることから、ソフトウエアパンチルトズーム（以下、ソフトウエアＰＴＺ）と呼ばれる。
【０００４】
このようなソフトウエアＰＴＺシステムは、例えば、特許文献１に開示されている。同文献は、魚眼レンズを用いたカメラシステムを開示しており、このシステムは、撮像された領域の一部を切り出し、歪みを補正し、半球状の視野のパン、チルト、ズームを実現している。
【０００５】
ところで、画像通信システムでは、画像が符号化されて、符号化データが送信される。通信データ量を減らすためには、符号量を削減することが重要である。
【０００６】
例えば、特許文献２に記載の人物画像圧縮装置は、カメラで撮像された画像の中から、人物画像の領域を抽出して関心領域とする。映像符号化部は、関心領域の圧縮率のみを低く抑えることで画質を高く保つ一方、他の背景画像の領域を圧縮率を高く設定して、画像を圧縮する。このような処理により、中心となる人物画像を高画質にしながらも、全体として圧縮率を高めて、圧縮処理後の画像の全データ量を低減している。
【０００７】
また例えば、特許文献３に記載の符号化処理装置は、顔領域検出部、顔検証部、ＲＯＩ決定処理部及び映像符号化部を備える。顔領域検出部が、映像中から顔領域を検出する。顔検証部は、検出された顔領域の妥当性を画像内での顔の位置および大きさの少なくとも一方にもとづいて検証する。ＲＯＩ決定処理部は、顔検証部により妥当と判定された顔領域に基づいて注目領域（ＲＯＩ：Region of interest）を決定する。映像符号化部は、注目領域を他の領域とは画質を異ならせて符号化して、動画の符号化ストリームを生成する。
【０００８】
このように、従来は、画像認識結果、画像中の注目領域を決定し、注目領域に対して非注目領域と比べて、より多くの符号を割り当てる。これにより、特定の注目領域を高画質にしつつ、符号量を削減している。
【特許文献１】特許第３０５１１７３号公報
【特許文献２】特開２００１−１４５１０１号公報
【特許文献３】特開２００９−５２３８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、従来の画像通信システムは、超広角レンズや魚眼レンズの射影方式の特性を考慮しておらず、そのようなレンズ特性を考慮した領域内の符号量の割り当ても行っていない。そのため、超広角レンズ等を用いるシステムに従来の符号化技術を適用すると、歪み補正後の画像の画質が劣化するという問題がある。ここでいう歪み補正とは、前述したように、超広角レンズの大きな歪みを補正して、通常のカメラで撮影されたような画像を生成する処理である。
【００１０】
上記の問題について更に説明する。超広角レンズや魚眼レンズの射影方式としては、例えば、正射影や等距離射影が知られている。こうした射影方式により、極端に大きい画角の画像が得られる。その反面、通常のカメラ画像には見られない画像の歪みが現れる。前述したソフトウエアＰＴＺにおいては、このような撮像画像の歪みが補正される。
【００１１】
超広角レンズの歪み補正は、歪みのある撮像画像空間から、歪みをとり除いた補正画像空間への座標変換によって実現される。ところが、撮像画像では、撮像中心から遠ざかるほど、被写体が半径方向に大きく圧縮されている。そのため、座標変換においては、参照される補正前の単位面積当たりの座標データ数が、撮像画像空間中で均一ではなく、撮像中心から離れるほど小さくなる。
【００１２】
このような被参照データ数の変化は、超広角レンズや魚眼レンズの射影方式によって定まるものであり、つまり超広角レンズや魚眼レンズの特性ということができる。このような特性を、ここでは広角レンズ特性という。
【００１３】
従来は、広角レンズ特性が考慮されず、注目領域内に一律に符号量が割り当てられる。そのため、撮像中心から遠い部分では、元から少ない情報量が、符号化により更に減ってしまう。その結果、歪み補正後の画像において、画質が劣化してしまう。
【００１４】
本発明は、従来の問題を解決するためになされたもので、その目的は、超広角レンズや魚眼レンズ等の広角レンズを用いた撮影により生じた歪みを補正した画像における画質の劣化を低減できる画像通信システムを提供することにある。
【課題を解決するための手段】
【００１５】
本発明は、撮像装置と、前記撮像装置から画像を受信する画像受信装置とを備えた画像通信システムであって、前記撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出す領域切出部と、前記注目領域を符号化する符号化部とを有し、前記画像受信装置は、前記撮像装置から受信される前記注目領域の符号化データを復号する復号部と、撮像画像空間から補正画像空間への座標変換によって、前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有し、前記広角レンズは、前記座標変換において参照される補正前画像の単位面積当たりの座標データの数が、前記撮像画像の撮像中心からの距離に応じて異なる特性を有し、前記符号化部は、前記撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量を割り当てる。
【００１６】
この構成により、広角レンズの特性に基づき、撮像中心から注目領域内の各符号化ブロックまでの距離に応じて、各符号化ブロックへ符号量が割り当てられる。超広角レンズ等の広角レンズが上述のような特性を有するため、撮像中心から遠い符号化ブロックでは、歪み補正の座標変換にて参照される単位面積当たりの座標データ数が少なくなる。本発明によれば、このような撮像中心から遠い符号化ブロックに多くの符号量が割り当てられる。これにより、歪み補正後の画像における画質の劣化を低減できる。
【００１７】
また、本発明の撮像装置は、広角レンズを用いて撮像画像を生成する撮像部と、前記撮像画像から注目領域を切り出す領域切出部と、前記注目領域を符号化する符号化部とを有し、前記符号化部は、前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離が大きくなるほど符号量を多く割り当てるように、前記各符号化ブロックの符号量を制御する。
【００１８】
この構成によっても、広角レンズの特性に基づいて符号量の制御を好適に行うことができ、本発明の利点が好適に得られる。
【００１９】
また、本発明の撮像装置において、前記領域切出部は、前記注目領域を表示する変換対象領域と、前記変換対象領域を取り囲み送信画像の外形を有する変換不要領域とに分け、符号化処理でデータ量が低減するように前記変換不要領域の画像を変換する。
【００２０】
この構成により、変換不要領域から発生する符号量を低減できる。したがって、変換対象領域の画質を維持しつつ、全体の符号量を低減できる。
【００２１】
また、本発明の撮像装置において、前記領域切出部は、前記変換不要領域を単色で塗りつぶす。この構成により、変換不要領域から発生する符号量を更に低減でき、したがって、変換対象領域の画質を維持しつつ、全体の符号量を低減できる。
【００２２】
また、本発明の撮像装置において、前記符号化部は、前記変換不要領域の符号量を最低量とする。この構成により、変換不要領域から発生する符号量を更に低減でき、したがって、変換対象領域の画質を維持しつつ、全体の符号化量を低減できる。
【００２３】
また、本発明の撮像装置において、前記符号化部は、前記変換対象領域と前記変換不要領域の境界を含む符号化ブロックの符号量を、前記符号化ブロックに前記変換対象領域が占める割合に応じて制御する。この構成により、境界領域の重要度に応じて符号量を調整でき、符号量を抑えつつ、歪み補正時の画質劣化を低減できる。
【００２４】
また、本発明の撮像装置において、前記領域切出部は、撮像画像空間内での前記注目領域の代表的サイズへと、前記注目領域のサイズを変換する。この構成により、通信データ量の変動を好適に低減できる。
【００２５】
本発明の別の態様は画像受信装置であり、広角レンズを用いて得られた撮像画像の撮像中心から注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックの符号量割り当てが異なる前記注目領域の符号化データを受信する通信部と、前記注目領域の符号化データを復号する復号部と、復号化データから前記広角レンズを用いた撮影により生じた歪みを補正する歪み補正部とを有する。この態様によっても上述した本発明の利点が同様に得られる。
【００２６】
本発明の別の態様は、画像処理方法であり、広角レンズを用いて生成した撮像画像から注目領域を切り出し、切り出された前記注目領域を符号化し、前記撮像画像の撮像中心から前記注目領域の各符号化ブロックまでの距離に応じて、前記各符号化ブロックへの符号量の割り当てを変更する。この態様によっても上述した本発明の利点が同様に得られる。
【発明の効果】
【００２７】
本発明は、撮像中心から注目領域内の各ブロックまでの距離に応じて各ブロックへ符号量を割り当てる構成を設けたことにより、超広角レンズや魚眼レンズ等の広角レンズを用いた撮影により生じた歪みを補正した画像における画質の劣化を低減できるという効果を有する画像通信システムを提供することができる。
【発明を実施するための最良の形態】
【００２８】
以下、本発明の実施の形態の画像通信システムについて、図面を用いて説明する。
【００２９】
本発明の実施の形態に係る画像通信システムを図１に示す。まず、図１を参照し、本実施の形態の概要を説明する。図１において、画像通信システム１は、カメラ３と端末装置５とがネットワーク７を介して通信可能に接続された構成を有する。カメラ３及び端末装置５はそれぞれ本発明の撮像装置及び画像受信装置に相当する。またネットワーク７は例えばＩＰネットワークである。カメラ３は、ネットワーク７を介して画像を通信する機能を有するので、ネットワークカメラとも呼ばれる。
【００３０】
カメラ３には、超広角レンズ又は魚眼レンズが備えられる。超広角レンズ又は魚眼レンズは、本発明の広角レンズに相当し、画角（視野）が非常に大きく、ただし、大きな画角に起因して画像の歪みも大きいレンズである。以下の説明では、カメラ３が超広角レンズを備えるものとする。カメラ３は、超広角レンズを用いて、画角が１８０°に近く、半球に相当する範囲の撮像画像１１を生成する。カメラ３は、撮像画像１１の一部を切り出して注目領域１３を生成し、注目領域１３を符号化し、ネットワーク７を介して端末装置５に伝送する。端末装置５では、注目領域１３が復号され、歪みが補正され、補正画像１５が得られる。補正画像１５は例えばモニタに表示される。
【００３１】
上記の画像通信システム１は、ソフトウエアパンチルトズーム（ソフトウエアＰＴＺ）機能を実現する。通常の機械的ＰＴＺ機構では、回転機構により機械的にカメラがパン方向及びチルト方向に回動される。そして、ズームレンズにより機械的にズーム機能が実現される。一方、図１の構成では、撮像画像１１から注目領域１３が切り出される。これにより、注目領域１３に対応する方向にカメラ３が回動したのと同様の効果が得られる。また、注目領域１３を拡大又は縮小することにより、ズームレンズと同様の効果が得られる。こうして、機械的なパンチルト機構及びズームレンズが備えられていなくても、パンチルトズーム機能を実現できる。このようなＰＴＺ機能を、上記のようにソフトウエアＰＴＺと呼ぶ。
【００３２】
次に、図２及び図３を参照し、カメラ３及び端末装置５の構成について説明する。
【００３３】
図２は、カメラ３の構成を示している。カメラ３は、超広角レンズ３１、撮像部３３、領域切出部３５、映像符号化部３７、ネットワーク送受信部３９、画像認識部４１及びレンズ特性保持部４３で構成されている。
【００３４】
撮像部３３は、ＣＣＤ又はＣＭＯＳ等の固体撮像素子を有し、超広角レンズ３１によって得られる光学像から電気的な画像信号を生成する。領域切出部３５は、撮像部３３により生成された撮像画像１１から注目領域１３を切り出す。
【００３５】
注目領域１３は、ユーザにより指定されてよい。この場合、注目領域１３を特定するデータが、端末装置５からネットワーク送受信部３９に受信され、領域切出部３５に供給される。また、注目領域１３は、画像認識による検出結果を基に決定されてよい。本実施の形態では、画像認識部４１が撮像画像１１の動き検出を行い、撮像画像１１中の移動物体を特定する。この動き検出結果が領域切出部３５に供給される。領域切出部３５は、移動物体を含むように注目領域１３を決定する。また、ユーザ指定と認識結果が組み合わされて、注目領域１３が決定されてよい。
【００３６】
映像符号化部３７は、本発明の符号化部に相当し、領域切出部３５によって切り出された注目領域１３を符号化する。映像符号化部３７は、符号化制御部４５及びピクチャ符号化部４７を有し、符号化制御部４５がピクチャ符号化部４７を制御する。符号化制御部４５は、注目領域１３内の符号化ブロック毎に符号量の割り当てを制御する。本実施の形態では、符号化処理がＭＰＥＧ等であり、符号化ブロックがマクロブロックである。そして、マクロブロック毎にマクロブロック符号化特性が制御され、これにより符号量が制御される。レンズ特性保持部４３は、カメラ３の記憶装置で構成されてよく、本発明のレンズ特性記憶部に相当する。レンズ特性保持部４３は、広角レンズ特性を記憶している。広角レンズ特性は、映像符号化部３７の符号量制御に利用される。広角レンズ特性及びそれを用いた符号量制御の詳細は後述する。
【００３７】
ネットワーク送受信部３９は、ネットワーク７を介して端末装置５とデータを送受信する構成であり、通信部に相当する。ネットワーク送受信部３９は、端末装置５から各種の指示を受信する。また、ネットワーク送受信部３９は、映像符号化部３７で符号化された注目領域１３を端末装置５へ送信する。
【００３８】
図３は、端末装置５の構成を示している。端末装置５は、ネットワーク送受信部５１、映像復号部５３、歪み補正部５５、表示部５７及びユーザ指示入力部５９を有する。
【００３９】
ネットワーク送受信部５１は、カメラ３のネットワーク送受信部３９と同様に通信部であり、ネットワーク７を介して端末装置５とデータを送受信する。ネットワーク送受信部５１は、ユーザの指示や、その他の制御関連の指示をカメラ３に送信する。また、ネットワーク送受信部５１は、カメラ３から注目領域１３の符号化データを受信する。
【００４０】
映像復号部５３は、本発明の復号部に相当し、ネットワーク送受信部５１により受信された注目領域１３の符号化データを復号する。歪み補正部５５は、映像復号部５３により復号された注目領域１３の歪みを補正する。歪み補正は後述のように座標変換により実現される。
【００４１】
表示部５７は、モニタであり、歪み補正後の画像を表示する。また、ユーザ指示入力部５９は、キーボード、ポインティングデバイス等により実現され、ユーザの指示を入力する。本実施の形態では、モニタの表示を利用して、注目領域１３の位置と大きさが指定される。
【００４２】
次に、図４を参照し、画像空間と注目領域１３について説明する。図示のように、撮像画像空間および補正画像空間という２つの画像空間が定義される。撮像画像空間は、歪み補正前の画像空間である。超広角レンズ３１の画角が１８０°近いので、撮像画像１１は円で示されている。撮像画像空間では、超広角レンズ３１の特性に応じた歪みが存在する。一方、補正画像空間は、歪み補正後の画像空間であり、撮像画像空間の歪みが取り除かれた画像空間である。歪み補正は、上記の撮像画像空間から補正画像空間への座標変換によって実現される。
【００４３】
また、図４に示されるように、本実施の形態では、注目領域（ＲＯＩ領域）１３が、変換対象領域２１及び変換不要領域２３に分けられる。変換対象領域２１は、歪み補正後に表示領域２５になる。変換不要領域２３は、変換対象領域２１を取り囲む。変換不要領域２３の外形は、カメラ３から端末装置５に送信されるべき画像データの外形に相当する。
【００４４】
より詳細には、図示のように、撮像画像空間の変換対象領域２１は、補正画像空間の表示領域２５と対応する領域である。ここで、表示領域２５は矩形であるが、変換対象領域２１は歪み補正前であるために矩形でない。一方、送信画像データの外形は矩形である。そのため、送信画像データと変換対象領域２１の間には隙間がある。この隙間領域が、変換不要領域２３に相当する。
【００４５】
本実施の形態では、領域切出部３５が、変換不要領域２３を単色（画素値０）で塗りつぶす。映像符号化部３７は、変換不要領域２３のマクロブロックをスキップマクロブロックに設定して、変換不要領域２３の符号量を最低量とする。
【００４６】
上記の変換不要領域２３は、送信画像データの形状を確保する役目を果たしている。しかし、変換不要領域２３は、表示側では不要な領域である。そこで、本実施の形態は、上記の処理を行うことにより、変換不要領域２３のデータ量を削減し、注目領域１３の全体のデータ量を削減している。
【００４７】
一方、変換対象領域２１については、領域内のマクロブロック毎に符号量が制御される。この点について以下に詳細に説明する。
【００４８】
図５及び図６は、超広角レンズ３１の射影方式の例を示している。図５は、正射影方式を示している。この方式では、仮想球面の各点が撮像面に垂直に射影される。像高をｒ、焦点距離をｆ、天球の頂点からの角度をβとすると、ｒ＝ｆｓｉｎβである。図６は、等距離射影方式を示している。この方式では、像高が天頂角と比例する。像高をｒ、焦点距離をｆ、天頂角をθとすると、ｒ＝ｆθである。その他の射影方式としては、例えば、立体角射影方式、等立体角射影方式などがある。
【００４９】
超広角レンズ３１の射影方式では、撮像中心から離れた部分が半径方向に大幅に圧縮される。そのため、撮像画像空間から補正画像空間への座標変換では、単位面積当たりの被参照数が、撮像中心からの距離に応じて異なる。被参照数とは、座標変換で参照される変換元の座標データの数である。ここでは、単位面積として符号化ブロックを考える。符号化ブロックは具体的にはマクロブロックである。符号化ブロック（マクロブロック）当たりの被参照データ数を「密度情報」と呼ぶ。密度情報は、補正後の画像と対応付けられる画素の密度といえる。
【００５０】
図７は、密度情報の概念を示している。撮像画像空間において、注目領域１３は、変換対象領域２１と変換不要領域２３を含む。変換対象領域２１が、座標変換により、補正画像空間の表示領域２５になる。
【００５１】
ここで、２つのマクロブロック２７、２９が図７に示されている。マクロブロック２７の方が、マクロブロック２９よりも、撮像中心（撮像画像空間の中心）から遠い。この場合、マクロブロック２７の方が、座標変換で参照される座標データの数が少なく、密度情報が小さい。すなわち、補正後の画像と対応付けられる画素の密度が小さい。
【００５２】
本実施の形態は、上記のような密度情報に着目する。マクロブロック２７では、密度情報が少ない。これは、座標変換で参照される情報量が少ないことを意味する。このようなマクロブロック２７のデータが符号化処理でさらに圧縮されると、情報量がさらに減り、画質が劣化する。
【００５３】
このような事態を避けるため、本実施の形態は、撮像中心からマクロブロックまでの距離に応じて、符号量の割り当てを変更する。具体的には、符号化のマクロブロック符号化特性が調整される。本実施の形態は、量子化ステップを小さくすることにより、符号量の割り当てを増大する。しかし、本発明の範囲で、符号量の制御は、上記構成に限定されなくてよい。量子化ステップ以外のパラメータが制御されてよい。
【００５４】
図８（ａ）及び図８（ｂ）は、上記の符号量制御を示している。図８（ａ）は、撮像中心からの距離に応じた密度情報を示す。密度情報は、Ａ０＞Ａ１＞Ａ２である。このような撮像中心からの距離に応じた密度情報の変化は、超広角レンズ３１の射影方式に基づく性質であり、本実施の形態では広角レンズ特性と呼ぶ。広角レンズ特性は、図３のレンズ特性保持部４３に記憶されている。
【００５５】
映像符号化部３７は、レンズ特性保持部４３の広角レンズ特性を参照し、注目領域１３内の各マクロブロックの密度情報を求める。この処理では、各マクロブロックの撮像画像空間内の位置に対応する密度情報が読み取られる。そして、映像符号化部３７は、密度情報が大きいほど符号量が増大するように、量子化ステップを決定する。
【００５６】
図８（ｂ）は、密度情報から量子化ステップを決定するためのマップの例を示している。密度情報が小さいほど、量子化ステップが小さくなり、符号量が増大する。このマップはカメラ３の記憶装置に記憶されていてよく、映像符号化部３７はマップを参照して密度情報に対応する量子化ステップを決定する。
【００５７】
実際の処理としては、量子化ステップ等のマクロブロック符号化特性は、各種の要因で決定される。この決定処理において、マクロブロック毎に、密度情報に応じて量子化ステップが調整されてよい。したがって、図８（ｂ）の縦軸は、量子化ステップの調整量でもよい。調整量は、量子化ステップに加算又は減算される補正量でよい。また、調整量は、量子化ステップに乗算又は割り算により適用される補正係数でよい。その他の関数が適用されてよい。
【００５８】
図８（ａ）及び図８（ｂ）では、密度情報が３つのクラスＡ０〜Ａ３に分けられている。しかし、密度情報のクラス数は３つに限定されない。より多くのクラスが設定されてよい。実際の密度情報は撮像中心からの距離に応じて連続的に変化するので、レンズ特性保持部４３に保持される広角レンズ特性においても、実際と同様に密度情報が連続的に変化してよい。
【００５９】
また、図８（ａ）では、レンズ特性を概念的に説明するために、密度情報の境界が円形で示されている。実際には、密度情報はブロック単位で定義される。したがって、レンズ特性保持部４３に保持される広角レンズ特性においては、密度情報の境界は滑らかな曲線ではなくてよい。
【００６０】
以上に、注目領域１３のマクロブロック毎の符号量制御について説明した。次に、本実施の形態に係る画像通信システム１の動作を説明する。
【００６１】
カメラ３では、撮像部３３が、超広角レンズ３１を用いて撮像画像１１を生成し、領域切出部３５及び画像認識部４１に供給する。画像認識部４１は、撮像画像１１の動き検出処理を行い、検出結果を領域切出部３５に供給する。
【００６２】
領域切出部３５は、撮像画像１１から注目領域１３を切り出す。注目領域１３は、ユーザにより指定されてよい。この場合、ユーザがユーザ指示入力部５９に対して注目領域１３を特定する情報を入力する。本実施の形態では、ソフトウエアＰＴＺ機能が実現される。そこで、ソフトウエアＰＴＺにて表示すべき領域が、ユーザ指示入力部５９を使って特定されてよい。入力情報が、ネットワーク送受信部５１からカメラ３に送信され、ネットワーク送受信部３９に受信され、符号化制御部４５に供給される。こうして、領域切出部３５は、注目領域１３を特定する情報を取得する。
【００６３】
また、注目領域１３は、画像認識部４１による画像認識による検出結果を基に自動的に決定されてよい。この場合、画像認識部４１が撮像画像１１の移動物体を特定する。この動き検出結果が領域切出部３５に供給される。領域切出部３５は、移動物体を含むように注目領域１３を決定する。上記のユーザ指定と自動検出が組み合わされてもよい。
【００６４】
注目領域１３は、図４及び図７に示されるように、変換対象領域２１と変換不要領域２３を含む。領域切出部３５は、切り出した注目領域１３のうちの変換不要領域２３を単色で塗りつぶす。
【００６５】
領域切出部３５は、注目領域１３のデータを映像符号化部３７に供給する。そして、映像符号化部３７は、注目領域１３を符号化する。映像符号化部３７では、符号化制御部４５がピクチャ符号化部４７を制御する。
【００６６】
図９は、符号化処理を示している。符号化制御部４５は、イベントがあるか否かを判定し（Ｓ１）、イベントがなければステップＳ１の判定を繰り返す。イベントは、カメラ３の上位の制御部で発生し、符号化制御部４５等の各種構成がイベントに従って動作する。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ３）。終了イベントであれば、処理を終了する。
【００６７】
イベントが終了イベントでなければ、符号化制御部４５は、発生イベントが映像入力イベントであるか否かを判定する（Ｓ５）。領域切出部３５から映像符号化部３７に注目領域１３が入力されると、映像入力イベントが発生し、ステップＳ５がＹＥＳになる。そして、映像符号化部３７は、マクロブロックを生成する（Ｓ７）。
【００６８】
符号化制御部４５は、レンズ特性保持部４３の広角レンズ特性の情報（図８（ａ））を参照し、各マクロブロックの密度情報を取得する（Ｓ９）。そして、符号化制御部４５は、密度情報に基づいてマクロブロック符号化特性を算出する（Ｓ１１）。ここで、既に説明したように、マクロブロック符号化特性は、各種の要因に基づき算出される。この算出処理にて、密度情報が参照される。そして、図８（ｂ）のマップに基づき、マクロブロック符号化特性が調整される。具体的には、量子化ステップが調整される。
【００６９】
符号化制御部４５は、ステップＳ１１で算出されたマクロブロック符号化特性をピクチャ符号化部４７に供給し、ピクチャ符号化部４７に符号化を行わせる（Ｓ１３）。こうして得られたピクチャデータが、ネットワーク送受信部３９へと出力される（Ｓ１５）。
【００７０】
図１０は、図９のピクチャ符号化ステップＳ１３の詳細を示している。図１０の処理は、ピクチャ符号化部４７により実行される。図１０では、符号化制御部４５からピクチャ符号化部４７にマクロブロック符号化特性が入力され、また、マクロブロックが入力される（ｘ０１、ｘ０２）。
【００７１】
次に、ピクチャ符号化部４７は、マクロブロック毎に、フレームメモリに格納されている前後数フレーム内でマッチング処理を行なって動きベクトルを検出し、動きベクトル情報に基づいて動き補償を行い予測画像を生成する（ｘ０３）。また、ピクチャ符号化部４７は、動き補償予測を行なったマクロブロックに対して、面内予測を行い予測画像を生成する（ｘ０４）。そして、ピクチャ符号化部４７は、ステップｘ０３とステップｘ０４それぞれの予測画像に対して予測誤差計算を行い、より小さな誤差を持つ予測画像を選択する（ｘ０５）。
【００７２】
次に、ピクチャ符号化部４７は、ステップｘ０５で選択された予測画像と入力されたピクチャを比較して、予測差分信号の生成を行う（ｘ０６）。さらに、ピクチャ符号化部４７は、予測差分信号を２次元の周波数成分に分解するＤＣＴ変換を行い、そして、ＤＣＴ変換係数を、ステップｘ０１で入力されたマクロブロック符号化特性を用いて、離散的な代表値に対応付け、量子化係数を出力する（ｘ０７）。
【００７３】
マクロブロック符号化特性は量子化ステップを含む。本実施の形態の特徴として、各マクロブロックの密度情報に応じて量子化ステップが調整されている。量子化ステップが小さい値に調整されたマクロブロックでは、発生符号量が増大する。逆に量子化ステップが大きい値に調整されたマクロブロックでは、発生符号量が減少する。
【００７４】
次に、ピクチャ符号化部４７は、ステップｘ０７で出力された量子化係数に対して、エントロピー符号化を行い（ｘ０８）、符号化されたピクチャデータとして出力する。符号化制御部４５は、エントロピー符号化の結果発生した符合量のフィードバックを受けながら、目標とする基準値（例えば１秒間あたりの符号量）を満たせるようにマクロブロック符号化特性の制御を行なう。
【００７５】
また、ピクチャ符号化部４７は、ステップｘ０７で出力された量子化係数に対して、逆量子化および逆ＤＣＴ変換を行い、予測差分信号を生成する（ｘ０９）。さらに、ピクチャ符号化部４７は、動き補償処理あるいはイントラ予測処理（どちらが選択されるかはステップｘ０５の判定結果により決定する）により生成される予測画像とステップｘ０９で生成される予測差分信号を加算して、復号画像を生成する（ｘ１０）。さらに、ピクチャ符号化部４７は、ステップｘ１０で生成された復号画像のマクロブロック境界に対して、ブロック境界が目立たないようにデブロッキングフィルタをかける（ｘ１１）。そして、ピクチャ符号化部４７は、デブロッキング処理が施された復号画像をフレームメモリへと格納する（ｘ１２）。
【００７６】
以上にピクチャ符号化部４７による符号化処理を説明した。上述のように、符号化処理は、符号化制御部４５により決定されたマクロブロック符号化特性に従って行われる。マクロブロック符号化特性が密度情報に応じて算出されており、これにより、密度情報に応じた符号量制御が実現される。
【００７７】
また、注目領域１３の変換不要領域２３は、符号化処理の前に単色で塗りつぶされている。さらに、変換不要領域２３のマクロブロックは、発生符号量が最低量になるように、スキップマクロブロックに設定される。これにより、変換不要領域２３のデータ量が最低限になり、符号化データが削減される。
【００７８】
注目領域１３の符号化データは、映像符号化部３７からネットワーク送受信部３９に供給され、ネットワーク送受信部３９からネットワーク７を介して端末装置５に送信される。
【００７９】
端末装置５では、ネットワーク送受信部５１がネットワーク７から符号化データを受信する。符号化データは、映像復号部５３に供給され、映像復号部５３にて復号される。そして、復号後の注目領域１３が歪み補正部５５に供給され、歪み補正が行われる。
【００８０】
前述したように、本実施の形態では、密度情報に応じて符号量が制御されている。これにより、歪み補正後の画像における画質劣化を低減できる。歪み補正後の注目領域１３が、表示部５７に出力され、表示される。
【００８１】
以上に、本発明の実施の形態に係る画像通信システム１の動作を説明した。次に、本発明に係る別の実施の形態について説明する。この実施の形態において、システムの全体構成及び動作は、上述の画像通信システム１と同様である。さらに、この実施の形態では、注目領域１３における変換対象領域２１と変換不要領域２３の境界部分の符号化処理が改良されている。
【００８２】
図１１は、注目領域１３の一部であり、変換対象領域２１と変換不要領域２３の境界部分を示している。各々の四角形はマクロブロックを示している。上側の４つのマクロブロックが、変換対象領域２１と変換不要領域２３の境界を含んでいる。ここでは、これら境界を含むマクロブロックを、境界ブロックと呼ぶ。本実施の形態は、境界ブロックへの符号量の割り当てを、境界ブロックに変換対象領域２１が占める割合に応じて行う。
【００８３】
より詳細に説明すると、図１１において、「有効画素割合」は、各々のマクロブロック１５に全画素数に対する、変換対象領域２１の画素数の割合である。図１１の下段の４つのマクロブロックは、完全に変換対象領域２１に含まれている。したがって、図示のように、有効画素割合が１００％である。このようなマクロブロックに対しては、上述の実施の形態で説明した処理により符号量が割り当てられる。
【００８４】
一方、図示されないが、全体が完全に変換不要領域２３に含まれるマクロブロックでは、「有効画素割合」が０％である。このようなマクロブロックは、領域切出部３５で単色（０）に塗りつぶされており、そして、スキップマクロブロックに設定される。
【００８５】
次に、４つの境界ブロックについて説明する。図１１に示されるように、変換対象領域２１と変換不要領域２３の境界線は、４つの境界ブロックを斜めに横切っている。そのため、４つの境界ブロックでは、「有効画素割合」が異なっている。映像符号化部３７は、境界ブロックに対する符号量の割り当てを、有効画素割合に応じて制御するように構成されている。そして、映像符号化部３７は、有効画素割合が大きいほど符号量の割り当てを多くする。符号化制御部４５が、有効画素割合が大きいほど符号量が多くなるようにマクロブロック符号化特性を調整してよい。
【００８６】
図１２は、上記の処理を行うための符号化制御部４５の動作を示している。図１２の処理では、図９の処理に対して、ステップＳ１０が追加されている。ステップＳ１０では、符号化制御部４５が、変換対象領域２１と変換不要領域２３の境界部分の有効画素割合を算出する。この有効画素割合は、次のステップＳ１１におけるマクロブロック符号化特性の算出処理にて利用される。これにより、境界ブロックの符号量が、有効画素割合に応じて制御される。例えば、有効画素割合が９０％であったとする。この場合、変換対象領域２１のマクロブロックの９０％程度の符号量が割り当てられるように、マクロブロック符号化特性が設定される。
【００８７】
このように、本実施の形態では、マクロブロック内で変換対象領域２１が占める割合の大きさに応じて、符号量の割り当てが制御される。変換対象領域２１のマクロブロックと比べて境界ブロックの符号量を低減でき、全体として符号量を抑えられる。さらに、境界ブロックでは、変換対象領域２１の割合が大きいほど、符号量が増大する。変換対象領域２１の割合の大きさは、該当するマクロブロックの重要性と対応する。したがって、重要度が大きいほど符号量を増大し、画質の劣化を低減できる。
【００８８】
このようにして、本実施の形態によれば、境界領域の重要度に応じて符号量を調整でき、符号量を抑えつつ、歪み補正時の画質劣化を低減できる。
【００８９】
次に、更に別の実施の形態について説明する。この実施の形態においても、システムの全体構成及び動作は、上述の画像通信システム１と同様である。さらに、この実施の形態では、通信データ量を考慮して、領域切出部３５の処理が改良されている。
【００９０】
撮像画像空間には、超広角レンズ３１の射影方式に応じた歪みがある。そのため、カメラ側で注目領域１３を切り出すときに、注目領域１３の大きさが、撮像画像空間内の切出位置によって変化する。この点に関し、特定形状の領域（例えば矩形領域）を、超広角レンズ３１の仮想球面に沿って動かしたとする。この特定領域は、補正画像空間の補正画像に相当する。この場合、天頂からの位置に応じて、撮像面上の投影像のサイズが変化する。この変化が、上述したような撮像画像空間内の位置に応じた注目領域１３の大きさの変化に相当する。
【００９１】
上記のように注目領域１３の大きさが変わると、符号化データのデータ量が変わり、ネットワーク７の伝送量が変わる。そこで、本実施の形態は、ネットワーク伝送量の変動を抑えるため、以下の処理を行う。
【００９２】
本実施の形態では、撮像画像空間内での注目領域１３の代表的サイズが算出される。代表的サイズとは、撮像画像空間内で変化する注目領域１３のサイズの代表値である。本実施の形態の例では、代表的サイズが、平均サイズである。平均サイズは、例えば、注目領域１３のサイズの最大値及び最小値の平均である。また、平均サイズは中間値でよい。この場合、注目領域１３を少しずつ動かしたときのサイズの値が取得される。多数のサイズ値のうちで、順位が真中の値が、中間値として求められる。
【００９３】
領域切出部３５は、注目領域１３が平均サイズになるように、注目領域１３を拡大又は縮小する。そして、平均サイズの注目領域１３が、映像符号化部３７により符号化され、端末装置５へと送信される。端末装置５では、歪み補正部５５が、平均サイズの注目領域１３を拡大又は縮小し、元のサイズの注目領域１３を取得する。そして、注目領域１３の歪みが補正される。
【００９４】
図１３及び図１４は、本実施の形態に係る動作を示している。図１３は、領域切出部３５の動作である。領域切出部３５は、イベントがあるか否かを判定し（Ｓ２１）、イベントがなければステップＳ２１の判定を繰り返す。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ２３）。終了イベントであれば、処理を終了する。
【００９５】
イベントが終了イベントでなければ、領域切出部３５は、発生イベントが領域切出イベントであるか否かを判定する（Ｓ２５）。ステップＳ２５がＹＥＳであれば、領域切出部３５は、超広角レンズ３１の射影方式の仮想球面上で補正画像（切出し領域に対応する補正画像空間の画像）を移動させながら切出し領域の最大／最小サイズを取得し（Ｓ２７）、平均サイズを算出する（Ｓ２９）。この例では、最大／最小サイズの平均が算出される。別の例では上述のように多数のサイズ値の中間値が求められる。次に、領域切出部３５は、撮像画像空間で領域画像を切り出し（Ｓ３１）、切り出した領域を平均サイズに合わせて拡大又は縮小し（Ｓ３３）、平均サイズの切出領域を注目領域１３として映像符号化部３７に出力する（Ｓ３５）。
【００９６】
次に、図１４は、端末装置５の歪み補正部の動作を示している。歪み補正部５５は、イベントがあるか否かを判定し（Ｓ４１）、イベントがなければステップＳ４１の判定を繰り返す。イベントは、端末装置５の上位の制御部で発生し、歪み補正部５５の各種構成がイベントに従って動作する。イベントがある場合、そのイベントが終了イベントであるか否かを判定する（Ｓ４３）。終了イベントであれば、処理を終了する。
【００９７】
イベントが終了イベントでなければ、歪み補正部５５は、発生イベントが歪み補正イベントであるか否かを判定する（Ｓ４５）。ステップＳ４５がＹＥＳであれば、歪み補正部５５は、復号された画像を縮小又は拡大して、元のサイズの注目領域１３を復元する（Ｓ４７）。そして、歪み補正部５５は、歪み補正を行って表示領域２５の画像を生成し（Ｓ４９）、歪み補正後の表示領域２５を表示部５７に出力する（Ｓ５１）。
【００９８】
上記のように、本実施の形態によれば、領域切出部３５が、撮像画像１１から切り出される注目領域１３のサイズを、代表的サイズへと変換する。これにより、ネットワーク伝送量の変動を抑えられる。
【００９９】
以上に本発明の実施の形態に係る画像通信システム１について説明した。本実施の形態によれば、上述のように広角レンズの特性に基づき、撮像中心から注目領域内の各符号化ブロックまでの距離に応じて、各符号化ブロックへ符号量が割り当てられる。超広角レンズ等の広角レンズが上述のような特性を有するため、撮像中心から遠い符号化ブロックでは、歪み補正の座標変換にて参照される単位面積当たりの座標データ数が少なくなる。本実施の形態によれば、このような撮像中心から遠い符号化ブロックに多くの符号量が割り当てられる。これにより、歪み補正後の画像における画質の劣化を低減できる。
【０１００】
また、本実施の形態によれば、広角レンズ特性として、図８（ａ）に示した密度情報が記憶されており、図８（ｂ）を参照して説明したように密度情報に応じて符号量が制御される。このような処理により、広角レンズ特性に基づいた符号量の制御を好適に行うことができ、歪み補正後の画像における画質の劣化を低減できる。
【０１０１】
また、本実施の形態によれば、注目領域１３が変換対象領域２１と変換不要領域２３に分けられ、符号化処理でデータ量が低減するように変換不要領域２３の画像が変換される。上記の実施の形態では、変換不要領域２３が単色で塗りつぶされる。そして、変換不要領域２３の符号量が最低量に設定される。これにより、変換不要領域２３から発生する符号量を低減できる。したがって、変換対象領域２１の画質を維持しつつ、全体の符号量を低減できる。
【０１０２】
また、本実施の形態によれば、変換対象領域２１と変換不要領域２３の境界を含む符号化ブロックの符号量が、符号化ブロックに変換対象領域２１が占める割合に応じて制御される。これにより、境界領域の重要度に応じて符号量を調整でき、符号量を抑えつつ、歪み補正時の画質劣化を低減できる。
【０１０３】
また、本実施の形態によれば、撮像画像空間内での注目領域１３の代表的サイズへと、注目領域１３のサイズが変換される。これにより、通信データ量の変動を好適に低減できる。
【０１０４】
以上に本発明の好適な実施の形態を説明した。しかし、本発明は上述の実施の形態に限定されず、当業者が本発明の範囲内で上述の実施の形態を変形可能なことはもちろんである。
【産業上の利用可能性】
【０１０５】
以上のように、本発明にかかる画像通信システムは、超広角レンズや魚眼レンズ等の広角レンズを用いた撮影により生じた歪みを補正した画像における画質の劣化を低減できるという効果を有し、監視カメラ等の画像通信システムとして有用である。
【図面の簡単な説明】
【０１０６】
【図１】本発明の実施の形態における画像通信システムを示す図
【図２】画像通信システムのカメラの構成を示すブロック図
【図３】画像通信システムの端末装置の構成を示すブロック図
【図４】撮像画像空間と補正画像空間を示す図
【図５】超広角レンズの射影方式の例として正射影方式を示す図
【図６】超広角レンズの射影方式の例として等距離影方式を示す図
【図７】密度情報の概念を示す図
【図８】（ａ）  撮像中心からの距離に応じた密度情報を表す広角レンズ特性を示す図  （ｂ）  密度情報に応じてマクロブロック符号化特性を決定するためのマップを示す図
【図９】符号化制御部の処理を示すフロー図
【図１０】ピクチャ符号化部の処理を示す図
【図１１】注目領域中の変換対象領域と変換不要領域との境界部分を示す図
【図１２】本実施の形態の変形例を示すフロー図
【図１３】本実施の形態の変形例を示すフロー図
【図１４】本実施の形態の変形例を示すフロー図
【符号の説明】
【０１０７】
１  画像通信システム
３  カメラ
５  端末装置
７  ネットワーク
１１  撮像画像
１３  注目領域
１５  補正画像
２１  変換対象領域
２３  変換不要領域
２５  表示領域
２７、２９  マクロブロック
３１  超広角レンズ
３３  撮像部
３５  領域切出部
３７  映像符号化部
３９、５１  ネットワーク送受信部
４１  画像認識部
４３  レンズ特性保持部
４５  符号化制御部
４７  ピクチャ符号化部
５３  映像復号部
５５  歪み補正部
５７  表示部
５９  ユーザ指示入力部
【図１】
2010239221.tif 000003
【図２】
2010239221.tif 000004
【図３】
2010239221.tif 000005
【図４】
2010239221.tif 000006
【図５】
2010239221.tif 000007
【図６】
2010239221.tif 000008
【図７】
2010239221.tif 000009
【図８】
2010239221.tif 000010
【図９】
2010239221.tif 000011
【図１０】
2010239221.tif 000012
【図１１】
2010239221.tif 000013
【図１２】
2010239221.tif 000014
【図１３】
2010239221.tif 000015
【図１４】
2010239221.tif 000016