(57)【要約】【課題】  カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることが可能な画像伝送システムを提供する。【解決手段】  画像送信装置２００は、カメラ１１０によって撮影された画像を、領域毎に異なる圧縮率で圧縮符号化する画像符号化部１０１と、伝送部１０２とを有する。画像受信装置３００は、伝送部１５２、画像復号化部１５３、遠隔操作部１５４、および画像の表示範囲を補正する画像表示制御部１５５を有する。画像符号化部１０１は、画像周辺部の圧縮率を中央部に比べて３倍高く設定する。これにより、カメラ操作を行っていない場合、中央部では全伝送データ量の５０％が実際の表示に使用される。右方向にパン操作を行っている場合でも、全伝送データ量のうち、３３％が実際の表示に使用される。【選択図】  図１
2006121578.tif 000002
【特許請求の範囲】
【請求項１】
カメラで撮影された画像を伝送する画像伝送システムであって、
前記画像を領域毎に異なる圧縮率で圧縮符号化して画像データを生成する画像符号化手段と、
前記画像符号化手段によって生成された画像データを送信する画像送信手段と、
前記送信された画像データを受信する画像受信手段と、
前記受信した画像データを復号化する画像復号化手段と、
前記復号化された画像データを表示する表示手段と
を備える画像伝送システム。
【請求項２】
請求項１記載の画像伝送システムであって、
前記カメラの操作指示を行う操作指示手段と、
前記復号化された画像データのうち前記表示手段によって所定の表示範囲を表示する際、前記カメラが操作されている場合、前記表示手段における表示の見かけ上で前記画像データの伝送遅延が無いように前記表示範囲を補正する画像表示制御手段と
を備える画像伝送システム。
【請求項３】
請求項１または２記載の画像伝送システムであって、
前記画像符号化手段は、前記画像を格子状に複数の領域に分割し、中央部に位置する少なくとも１つの領域を周辺部に位置する領域に比べて低い圧縮率で圧縮符号化する画像伝送システム。
【請求項４】
請求項２記載の画像伝送システムであって、
前記画像符号化手段は、前記カメラの操作内容に応じて、前記領域毎の圧縮率を設定する画像伝送システム。
【請求項５】
カメラで撮影された画像を伝送する画像伝送システムに用いられ、画像データを画像受信装置に送信する画像送信装置であって、
前記画像を領域毎に異なる圧縮率で圧縮符号化して画像データを生成する画像符号化手段と、
前記画像符号化手段によって生成された画像データを送信する画像送信手段と、
操作指示に従って、前記カメラの動作を制御するカメラ制御手段と
を備える画像送信装置。
【請求項６】
カメラで撮影された画像を伝送する画像伝送システムに用いられ、画像データを画像送信装置から受信する画像受信装置であって、
前記画像を領域毎に異なる圧縮率で圧縮符号化して生成された画像データを前記画像送信装置から受信する画像受信手段と、
前記受信した画像データを復号化する画像復号化手段と、
前記復号化された画像データを表示する表示手段と
を備える画像受信装置。
【請求項７】
カメラで撮影された画像を伝送する画像伝送方法であって、
前記画像を領域毎に異なる圧縮率で圧縮符号化して画像データを生成する画像符号化ステップと、
前記生成された画像データを送信する画像送信ステップと、
前記送信された画像データを受信する画像受信ステップと、
前記受信した画像データを復号化する画像復号化ステップと、
前記復号化された画像データを表示する表示ステップと
を有する画像伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、カメラで撮影された画像を伝送する画像伝送システム、画像送信装置、画像受信装置および画像伝送方法に関する。
【背景技術】
【０００２】
従来、この種のカメラで撮影された画像を伝送する画像伝送システムの例として、遠隔監視システムが知られている。遠隔監視システムでは、映像を符号化し、パケットとしてネットワークに伝送する際、ネットワークにおける画像データの到着時間の揺らぎにより、受信端末で映像の遅延が発生する。受信端末から送信端末側のカメラに対し、パン、チルト等の操作を行う場合、この映像伝送の遅延が大きい程、操作結果の受信映像への反映が遅れ、操作性が低下する。
【０００３】
従来の遠隔監視システムは、カメラで撮影された画像を圧縮符号化して画像データを生成する画像圧縮符号化部、圧縮符号化された画像データを伸張する画像伸張部、操作に必要な指示枠を発生する指示枠発生部、指示枠に画像を合成する画像合成部、および操作情報を解析する操作情報解析部から構成されている（特許文献１参照）。この遠隔監視システムでは、操作情報および画像の表示遅延を解析し、遅延した画面上に移動予想位置を提示することによって操作性の低下を抑制していた。
【０００４】
また、予め表示範囲より広い範囲を撮影して伝送しておき、受信側で表示範囲を補正することで遅延が発生しないように見せる方法が知られている（特許文献２参照）。この方法では、見かけ上、遅延が発生していないように見えることに加え、指定した領域が常に画面中央に表示される。
【０００５】
【特許文献１】特開２００２−１６５２１２号公報
【特許文献２】特開２００２−１８５９５６号公報
【発明の開示】
【発明が解決しようとする課題】
【０００６】
しかしながら、上記のような従来の画像伝送システムでは、受信側で表示範囲の補正を行う場合、遅延が大きくなる程、撮影しなければならない撮影範囲が大きくなり、伝送データ量が増大してしまうという事情があった。また、カメラ操作を行っていない場合、伝送されるデータの多くの部分が表示されることなく無駄となり、伝送効率が低下してしまうという事情があった。
【０００７】
本発明は、上記事情に鑑みてなされたもので、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることができる画像伝送システム、画像送信装置、画像受信装置および画像伝送方法を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の画像伝送システムは、カメラで撮影された画像を伝送する画像伝送システムであって、前記画像を領域毎に異なる圧縮率で圧縮符号化して画像データを生成する画像符号化手段と、前記画像符号化手段によって生成された画像データを送信する画像送信手段と、前記送信された画像データを受信する画像受信手段と、前記受信した画像データを復号化する画像復号化手段と、前記復号化された画像データを表示する表示手段とを備えるものである。
これにより、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることが可能となる。
【０００９】
また、本発明の一態様として、上記の画像伝送システムであって、前記カメラを操作する操作手段と、前記復号化された画像データのうち前記表示手段によって所定の表示範囲を表示する際、前記カメラが操作されている場合、前記表示手段における表示の見かけ上で前記画像データの伝送遅延が無いように前記表示範囲を補正する画像表示制御手段とを備えるものとする。
これにより、カメラ操作が行われても、見かけ上画像データの伝送遅延が生じないように見せることができるとともに、画質の劣化を抑えることが可能となる。
【００１０】
また、本発明の一態様として、上記の画像伝送システムであって、前記画像符号化手段は、前記画像を格子状に複数の領域に分割し、中央部に位置する少なくとも１つの領域を周辺部に位置する領域に比べて低い圧縮率で圧縮符号化するものとする。
これにより、カメラの操作量が小さいほど、中央部の圧縮率が低い画像データが多く表示されるため、表示に使用されるデータ量が多くなり、画質の劣化を少なくすることが可能となる。
【００１１】
また、本発明の一態様として、上記の画像伝送システムであって、前記画像符号化手段は、前記カメラの操作内容に応じて、前記領域毎の圧縮率を設定するものとする。
これにより、カメラ操作に応じて、例えば、表示範囲が補正される領域の圧縮率を低くし、それ以外の領域の圧縮率を高く設定することで、伝送データ量を抑えつつ、画質の向上を図ることが可能となる。
【００１２】
本発明の画像送信装置は、カメラで撮影された画像を伝送する画像伝送システムに用いられ、画像データを画像受信装置に送信する画像送信装置であって、前記画像を領域毎に異なる圧縮率で圧縮符号化して画像データを生成する画像符号化手段と、前記画像符号化手段によって生成された画像データを送信する画像送信手段と、操作指示に従って、前記カメラの動作を制御するカメラ制御手段とを備えるものである。
これにより、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることが可能となる。
【００１３】
本発明の画像受信装置は、カメラで撮影された画像を伝送する画像伝送システムに用いられ、画像データを画像送信装置から受信する画像受信装置であって、前記画像を領域毎に異なる圧縮率で圧縮符号化して生成された画像データを前記画像送信装置から受信する画像受信手段と、前記受信した画像データを復号化する画像復号化手段と、前記復号化された画像データを表示する表示手段とを備えるものである。
これにより、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることが可能となる。
【００１４】
本発明の画像伝送方法は、カメラで撮影された画像を伝送する画像伝送方法であって、前記画像を領域毎に異なる圧縮率で圧縮符号化して画像データを生成する画像符号化ステップと、前記生成された画像データを送信する画像送信ステップと、前記送信された画像データを受信する画像受信ステップと、前記受信した画像データを復号化する画像復号化ステップと、前記復号化された画像データを表示する表示ステップとを有するものである。
これにより、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることが可能となる。
【発明の効果】
【００１５】
本発明によれば、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることが可能な画像伝送システム、画像送信装置、画像受信装置および画像伝送方法を提供できる。
【発明を実施するための最良の形態】
【００１６】
本実施形態では、遠隔監視システムに適用される画像伝送システムの構成例を示す。
【００１７】
図１は本発明の実施形態に係る遠隔監視システムの構成を示すブロック図である。この遠隔監視システム１００は、カメラ１１０、表示手段の一例に相当するモニタ１１１、画像送信装置２００、画像受信装置３００、およびこれらを結ぶ専用線４００を有して構成される。
【００１８】
画像送信装置２００は、カメラ１１０によって撮影された画像を、領域毎に異なる圧縮率で圧縮符号化する画像符号化手段の一例に相当する画像符号化部１０１、および圧縮符号化された画像データを画像受信装置３００に送信するとともに画像受信装置３００からの操作指示を受信する画像送信手段の一例に相当する伝送部１０２を有する。画像送信装置２００で受信した操作指示は伝送部１０２からカメラ１１０に伝送される。カメラ１１０は、パン、チルト、ズームイン、ズームアウト等の撮影範囲を変更するカメラ制御動作を行うカメラ制御手段の一例に相当するカメラ制御部１１５を備えており、受信した操作指示に従ってパン、チルト等の動作を行う。
【００１９】
一方、画像受信装置３００は、画像送信装置２００から圧縮符号化された画像データを受信するとともに画像送信装置２００に操作指示を送信する画像受信手段の一例に相当する伝送部１５２、圧縮符号化された画像データを復号化する画像復号化手段の一例に相当する画像復号化部１５３、カメラを遠隔操作する操作指示手段の一例に相当する遠隔操作部１５４、および画像の表示範囲を補正してモニタ１１１に表示することで遅延が生じないように見せる画像表示制御手段の一例に相当する画像表示制御部１５５を有する。具体的には、復号化された画像データのうち所定の表示範囲をモニタ１１１に表示する際、カメラが操作されている場合、見かけ上画像データの伝送遅延が生じないように、カメラの操作に応じて、表示範囲の位置を変更する。
【００２０】
画像符号化部１０１は、ＭＰＥＧ、ＪＰＥＧのように、画面を複数の小領域に分割する符号化を用いて、領域毎の圧縮率に差を付けてもよいし、ＪＰＥＧ２０００に示すように、ＲＯＩ（Region Of Interest）をサポートしている符号化を用いてもよい。画像復号化部１０３は、画像符号化部１０１によって符号化された画像データを復号化する。
【００２１】
遠隔操作部１５４は、ユーザによるカメラ操作を検出するため、機械的な位置を計測する手段を備える。この計測する手段として、例えば、スティックの移動量、ボタンの押下もしくは移動量を検出する手段であってもよいし、Ｗｅｂブラウザや制御用モニタ上に表示された仮想的な操作ボタン等の押下や移動を解釈して出力するものであってもよい。
【００２２】
上記構成を有する遠隔監視システムの動作を示す。図２は本実施形態の遠隔監視システムのパン操作における画像の表示範囲の補正の仕方を示す図である。カメラ１１０で撮影された画像は、画像送信装置２００内の画像符号化部１０１で符号化され、伝送部１０２によって専用線４００を介して画像受信装置３００内の伝送部１５２に伝送されると、画像復号化部１０３によって復号化される。
【００２３】
遠隔操作部１５４は、ユーザによるカメラ操作を検出すると、カメラ１１０に対する操作信号（操作指示）を伝送部１５２に出力するとともに、画像表示制御部１５５に操作内容を通知する。伝送部１５２に入力した操作指示は、前述したように専用線４００を介して画像送信装置２００内の伝送部１０２に送信される。画像表示制御部１０５は、前述したように、画像データの伝送遅延が発生しないように、画像の表示範囲を補正する。具体的に、図２では、右方向にパンを開始した時点Ｔ０では、撮影画像には、撮影部分１〜５が含まれている。次の撮影時点Ｔ１では、撮影部分２〜６が含まれている。同様に、次の撮影時点Ｔ２では、撮影部分３〜７が含まれている。パンを停止した時点Ｔ３では、撮影部分４〜８が含まれている。この後、撮影時点Ｔ４では、パン操作が停止しているので、撮影部分４〜８のままである。
【００２４】
一方、時点Ｔ０では、受信画像に含まれる撮影部分１〜５のうち、中央に位置する撮影部分２〜４が表示範囲となる。続く時点Ｔ１では、伝送の遅延が発生しているので、受信画像として、パン開始時点Ｔ０の撮影画像が得られ、撮影部分３〜５が表示範囲となるように補正する。続く時点Ｔ２では、撮影時点Ｔ１の撮影画像が受信画像として得られ、撮影部分４〜６が表示範囲となるように補正する。続く時点Ｔ３では、撮影時点Ｔ２の撮影画像が受信画像として得られ、撮影部分５〜７が表示範囲となるように補正する。続く時点Ｔ４では、パン操作が停止しているので、撮影時点Ｔ３で撮影された撮影画像が受信画像として得られ、そのうち中央に位置する撮影部分５〜７が表示範囲となるように補正する。
【００２５】
このように、パン操作の開始に対して、遅延が発生していないように画像を表示させることができる。なお、図２には、パン操作が示されているが、チルト、ズームイン、ズームアウト操作などのカメラ操作においても、同様の処理が可能である。
【００２６】
図３は本実施形態の画像符号化部１０１によって符号化する際の領域毎の圧縮率を均等に設定した場合に割り当てられる帯域を示す図である。本実施形態では、受信した画像データうち、実際にモニタ１１１に表示される範囲（表示範囲）を２５％となるようにし、撮影した画像を１６個の領域に分割して圧縮率の設定を行った。各領域内の数字は割り当てる帯域を表しており、数字が大きい程、圧縮率が低くなっている。図３（ａ）には、画像データの圧縮率を均等に設定した場合の帯域割り当てが示されている。図３（ｂ）では、カメラ操作を行っていない場合、中央部が表示範囲になっている。図３（ｃ）では、カメラ操作があって、右方向にパンした場合、右側部分が表示範囲になっている。いすれの場合、つまりカメラ操作の有無にかかわらず、全伝送データ量の２５％が実際に表示に使用されており、残りの７５％はカメラ操作の遅延補正のために使われる。
【００２７】
図４は本実施形態の画像符号化部１０１によって符号化する際の領域毎の圧縮率を画像周辺部で高く設定した場合に割り当てられる帯域を示す図である。図４（ａ）には、画像周辺部の圧縮率を中央部に比べて３倍高く設定した場合の帯域割り当てが示されている。  図４（ｂ）では、カメラ操作を行っていない場合、中央部が表示範囲になっている。この場合、全伝送データ量の５０％を実際の表示に使用することができる。図４（ｃ）には、カメラ操作があって、右方向にパンした場合、右側部分が表示範囲になっている。カメラ操作を行っている場合でも、全伝送データ量のうち、３３％を実際の表示に使用することができる。操作量が小さい程、表示に使用されるデータ量が大きくなり、画質の劣化が少ない。なお、領域の分割方法、圧縮率の設定は上記以外の方法でもよい。
【００２８】
このように、本実施形態の遠隔監視システムによれば、画像を領域毎に異なる圧縮率で圧縮符号化することにより、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率を向上させることができる。
【００２９】
以上が本発明の実施の形態の説明であるが、本発明は、これら実施の形態の構成に限られるものではなく、特許請求の範囲で示した機能、または実施の形態の構成が持つ機能が達成できる構成であればどのようなものであっても適用可能である。
【００３０】
例えば、上記実施形態では、画像送信装置および画像受信装置は専用線を介して接続されていたが、専用線の代わりに、インターネット等のネットワークを介して接続されるようにしてもよい。また、上記実施形態では、カメラで撮影された画像を４×４の格子状の領域に分割し、中央部に位置する４個の領域を周辺部に位置する１２個の領域に比べて１／３と低い圧縮率で圧縮符号化していたが、画像の領域分割の仕方および領域毎の圧縮率の設定はこれに限定されない。例えば、画像を８×８の格子状の領域に分割してもよいし、複数の同心円で囲まれる領域に分割してもよい。また、カメラ操作に応じて、圧縮率の設定を変更してもよい。つまり、カメラ操作に応じて、表示範囲が補正される領域の圧縮率を低くし、それ以外の領域の圧縮率を高く設定する。例えば、パン操作の場合、画像の上下の領域は表示に寄与しないので、これらの領域の圧縮率を高くし、左右の領域の圧縮率を低くしてもよい。また、チルト操作の場合、画像の左右の領域は表示に寄与しないので、これらの領域の圧縮率を高くし、上下の領域の圧縮率を低くしてもよい。これにより、伝送データ量を抑えつつ、画質の向上を図ることができる。
【産業上の利用可能性】
【００３１】
本発明は、カメラ操作の遅延補正に伴う伝送データ量の増大を抑制し、伝送効率の向上を図ることが可能となる効果を有し、カメラで撮影された画像を伝送する画像伝送システム、画像送信装置、画像受信装置および画像伝送方法等に有用である。
【図面の簡単な説明】
【００３２】
【図１】本発明の実施形態に係る遠隔監視システムの構成を示すブロック図
【図２】本実施形態の遠隔監視システムのパン操作における画像の表示範囲の補正の仕方を示す図
【図３】本実施形態の画像符号化部によって符号化する際の領域毎の圧縮率を均等に設定した場合に割り当てられる帯域を示す図
【図４】本実施形態の画像符号化部によって符号化する際の領域毎の圧縮率を画像周辺部で高く設定した場合に割り当てられる帯域を示す図
【符号の説明】
【００３３】
１００  遠隔監視システム
１０１  画像符号化部
１０２、１５２  伝送部
１１０  カメラ
１１１  モニタ
１５３  画像復号化部
１５４  遠隔操作部
１５５  画像表示制御部
２００  画像送信装置
３００  画像受信装置
【図１】
2006121578.tif 000003
【図２】
2006121578.tif 000004
【図３】
2006121578.tif 000005
【図４】
2006121578.tif 000006