(57)【要約】  【課題】  階層化マルチキャスト伝送方式において、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生する。  【解決手段】  送信装置において、画像データを１つの基本階層１とその上に構築される下位拡張階層２と上位拡張階層３とに分割して符号化し、通常の画像を伝送する場合に、基本階層１の上の下位拡張階層２に下位拡張階層２用のデータを埋め込み、不審者または不審物等の検出画像のようなアラーム時の画像を伝送する場合は、下位拡張階層２に下位拡張階層２用のデータと上位拡張階層３用のデータとを時系列化して埋め込み、下位拡張階層２用のデータを実時間で送信した後、上位拡張階層３用のデータを遅延させて送信する。【選択図】  図１
2005151176.tif 000002
【特許請求の範囲】
【請求項１】
画像を１つの基本階層との少なくとも２つの拡張階層とに分割して符号化してネットワークへ伝送する画像伝送方法であって、通常の画像を伝送する場合は、前記基本階層の上の拡張階層に拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記基本階層の上の拡張階層に拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とする画像伝送方法。
【請求項２】
画像データをいくつかの階層に分割して符号化してネットワークへ伝送する画像伝送方法であって、画像データを１つの基本階層とその上に順次構築される複数の拡張階層とに分割して符号化し、さらにその上に付加拡張階層を構築し、通常の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とする画像伝送方法。
【請求項３】
前記遅延させて送信する上位データは、前記実時間で送信する下位データよりも優先度を下げて送信することを特徴とする請求項１または請求項２記載の画像伝送方法。
【請求項４】
前記符号化の際に用いる符号化パラメータは、ネットワーク状況により決定されることを特徴とする請求項１ないし請求項３のいずれかに記載の画像伝送方法。
【請求項５】
前記ネットワーク状況は、パケットを受信する受信装置から送信されるフィードバック情報により決定され、前記フィードバック情報には、前記受信装置が計測した少なくともパケット欠落率および受信間隔の揺らぎの情報を含むことを特徴とする請求項４記載の画像伝送方法。
【請求項６】
前記特別の画像を伝送する場合の基準が、前記送信する画像中に特定のオブジェクトが存在するか否かにより判断されることを特徴とする請求項１ないし請求項３のいずれかに記載の画像伝送方法。
【請求項７】
前記特別の画像を伝送する場合の基準が、外部センサー機器により指定されることを特徴とする請求項１ないし請求項３のいずれかに記載の画像伝送方法。
【請求項８】
前記特別の画像を伝送する場合には、前記特別の画像であることを認識するための情報をパケットに付与して送信することを特徴とする請求項１ないし請求項７のいずれかに記載の画像伝送方法。
【請求項９】
前記遅延させて送信する上位データの代わりに、階層符号化データの誤りを訂正する誤り訂正データを用いることを特徴とする請求項１ないし請求項８のいずれかに記載の画像伝送方法。
【請求項１０】
画像を取り込む画像取得手段と、前記取り込んだ画像を１つの基本階層と少なくとも２つの拡張階層とに分割して符号化する符号化手段と、前記符号化手段で用いる符号化パラメータを設定する送信設定取得手段と、前記符号化したデータを送信する送信手段と、前記少なくとも１つの拡張階層のデータを一時的に保存する送信画像記憶領域と、通常の画像を伝送するかまたは特別の画像を伝送するかの判断基準となる重要情報を取得する状態取得手段と、前記重要情報の取得通知を受けて通常の画像を伝送するかまたは特別の画像を伝送するか判断する送信制御手段とを備え、前記送信手段は、通常の画像を伝送する場合に、前記基本階層の上の拡張階層に拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記基本階層の上の拡張階層に拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とする画像伝送装置。
【請求項１１】
画像を取り込む画像取得手段と、前記取り込んだ画像を１つの基本階層と少なくとも２つの拡張階層とに分割して符号化する符号化手段と、前記符号化手段で用いる符号化パラメータを設定する送信設定取得手段と、前記符号化したデータを送信する送信手段と、前記少なくとも１つの拡張階層のデータを一時的に保存する送信画像記憶手段と、通常の画像を伝送するかまたは特別の画像を伝送するかの判断基準となる重要情報を取得する状態取得手段と、前記重要情報の取得通知を受けて通常の画像を伝送するかまたは特別の画像を伝送するか判断する送信制御手段とを備え、前記送信手段は、前記基本階層および前記拡張階層に加えてさらに付加拡張階層を設け、通常の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とする画像送信装置。
【請求項１２】
前記符号化手段で用いる符号化パラメータをネットワーク状況に応じて設定する送信設定取得手段を備えたことを特徴とする請求項１０または請求項１１記載の画像送信装置。
【請求項１３】
前記遅延させて送信する上位データの代わりに、階層符号化データの誤りを訂正する誤り訂正データを生成するための訂正情報生成手段を備えたことを特徴とする請求項１０ないし請求項１２のいずれかに記載の画像送信装置。
【請求項１４】
前記ネットワークを通じて送信された階層符号化データのうち、基本階層と付加拡張階層の画像データを選択的に受信する受信手段と、受信した画像データをフレーム毎にまとめて復号する復号手段と、受信した画像データを記憶する受信画像記憶手段と、復号した画像データを表示する画像表示手段とを備えた画像受信装置。
【請求項１５】
前記受信画像記憶手段に記憶した付加拡張階層の画像データにおける時間毎の保存状態を表示する保存状況表示手段を備えたことを特徴とする請求項１４記載の画像受信装置。
【請求項１６】
前記画像データの時間毎の保存状態を表示する表示画面から所望の画像データを選択する表示設定取得手段を備えたことを特徴とする請求項１５記載の画像受信装置。
【請求項１７】
前記受信した画像データに付与されているヘッダ情報から受信状況を数値化し、フィードバック情報として前記送信装置へ通知する受信状況送信手段を備えたことを特徴とする請求項１４ないし請求項１６のいずれかに記載の画像受信装置。
【請求項１８】
前記受信した画像データに対し誤り訂正を行う誤り訂正手段を備えたことを特徴とする請求項１４ないし請求項１７のいずれかに記載の画像受信装置。
【請求項１９】
請求項１１ないし請求項１３のいずれかに記載の画像伝送装置と、請求項１４ないし請求項１８のいずれかに記載の画像受信装置とを備えた画像伝送システム。
【請求項２０】
コンピュータに実行させるためのプログラムであって、画像データをいくつかの階層に分割して符号化してネットワークへ伝送する際に、画像データを１つの基本階層とその上に順次構築される複数の拡張階層とに分割して符号化するステップと、通常の画像を送信する際には、前記基本階層の上の拡張階層に拡張階層のうちの下位データを埋め込んで送信し、特別の画像を送信する際には、前記基本階層の上の拡張階層に拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信するステップとを備えたプログラム。
【請求項２１】
コンピュータに実行させるためのプログラムであって、画像データをいくつかの階層に分割して符号化してネットワークへ伝送する際に、画像データを１つの基本階層とその上に順次構築される複数の拡張階層とに分割して符号化するステップと、前記複数の拡張階層の上にさらに付加拡張階層を設けて、通常の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信するステップとを備えたプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データをいくつかの階層に分割して符号化してネットワークへ伝送する画像伝送方法およびその装置に関するものである。
【背景技術】
【０００２】
一般に、カメラ撮影により得られた画像をネットワークへ送信する場合、送信装置はＪＰＥＧやＭＰＥＧ等の圧縮符号化方法により圧縮してから送信し、受信装置は受信した画像を復号してディスプレイ等に表示する。特に、同一の画像を多地点に送信する場合は、マルチキャスト伝送方式が採られ、マルチキャスト伝送方式は、ネットワーク中の中継ノードでデータの複製を行うため、送信負荷を飛躍的に軽減することが可能である。
【０００３】
ところが、受信装置により利用できる伝送帯域幅は異なる。そのため、例えば、伝送帯域幅に余裕のある受信装置に合わせて画像を符号化すると、伝送帯域幅に余裕のない受信装置は過剰なデータを処理することができず、輻輳を引き起こすことになる。逆に、伝送帯域幅に余裕のない受信装置に合わせて画像を符号化すると、伝送帯域幅に余裕のある受信装置は、品質の良い画像を受信することができない。これは、送信装置に対する要求が受信装置により異なった状況であり、受信装置の異質性に起因している。そこで、近年、受信装置の異質性の解決方法として階層化マルチキャスト伝送方式が注目されている。また、階層化マルチキャスト伝送方式において、さらに各階層毎に誤り訂正用データを誤り訂正階層とし付加して送信する技術が提案されている（例えば、特許文献１参照）。
【０００４】
階層化マルチキャスト伝送方式は、送信装置が画像を幾つかの階層に分割して符号化する。最初に、低ビットレートで原画像を符号化した基本階層を作成し、次いで、順次、原画像との差分を符号化して複数の拡張階層を生成する。復号時は、基本階層を基準にして、順次、拡張階層を加えていくことにより、段階的に品質を向上させることが可能となる。つまり、伝送帯域幅に余裕のない受信装置は基本階層のみ受信し、伝送帯域幅に余裕のある受信装置は上位の拡張階層を受信することで、各々の受信装置が持つ異なった要求に応じることが可能となる。
【特許文献１】特開平２００１−４５０９８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
しかしながら、従来の階層化マルチキャスト伝送方式は、画像の重要性が時間的に大きく異なる場合を想定していない。例えば、監視画像のように、犯人が含まれるような重要性の極めて高い時間帯の画像は、空間解像度や時間解像度を含め、高品質であることが強く望まれているのに対し、変化のほとんどない重要性の低い時間帯の画像に対しては、高い品質は、それほど求められていない。
【０００６】
このような性質を持つ画像を再生する場合、重要性の高い時間帯の画像については、全ての階層を受信することが望ましいが、既に伝送帯域幅をフルに使用している場合、すなわち伝送帯域幅に余裕のない受信装置の場合は、画像の品質を高める上位に相当する階層を受信することができない。
【０００７】
また、同様に、犯人が含まれるような重要性の極めて高い時間帯の画像は、ネットワーク上での伝送欠落は望ましくない。しかしながら、既に伝送帯域幅をフルに使用して伝送帯域幅に余裕のない受信装置の場合、欠落部分を訂正する誤り訂正データを受信することができない。
【０００８】
本発明は、上記課題に鑑みてなされたものであり、階層化マルチキャスト伝送方式において、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質に再生することが可能な画像伝送方法およびその装置を提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記課題を解決するため、本発明の画像伝送方法は、画像を１つの基本階層との少なくとも２つの拡張階層とに分割して符号化してネットワークへ伝送する画像伝送方法であって、通常の画像を伝送する場合は、前記基本階層の上の拡張階層に拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記基本階層の上の拡張階層に拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とする。この方法により、例えば、低画質画像の基本階層と中画質画像の拡張階層下位データの２階層しか受信できない受信装置の場合であっても、通常時は中画質画像または低画質画像像を受信でき、特別の画像を受信する場合には、高画質画像を受信することができるので、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生することができる。
【００１０】
また、本発明の画像伝送方法は、画像データをいくつかの階層に分割して符号化してネットワークへ伝送する画像伝送方法であって、画像データを１つの基本階層とその上に順次構築される複数の拡張階層とに分割して符号化し、さらにその上に付加拡張階層を構築し、通常の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データと上位データとを時系列化して埋め込んで送信データを作成し、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とする。この方法により、例えば、低画質画像の基本階層と中画質画像の拡張階層下位データの２階層しか受信できない受信装置の場合であっても、通常時は中画質画像または低画質画像像を受信でき、特別の画像を受信する場合には、高画質画像を受信することができるので、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生することができる。
【００１１】
また、本発明の画像伝送方法は、前記遅延させて送信する上位データは、前記実時間で送信する下位データよりも優先度を下げて送信することを特徴とする。この方法により、下位データが上位データよりも優先的に受信できるので、階層データの組み立てを順序立てて行うことができる。
【００１２】
また、本発明の画像伝送方法は、前記符号化の際に用いる符号化パラメータは、ネットワーク状況により決定されることを特徴とする。この方法により、品質保証性の異なるネットワークに最も適した符号化パラメータを選択することができる。
【００１３】
また、本発明の画像伝送方法は、前記ネットワーク状況は、パケットを受信する受信装置から送信されるフィードバック情報により決定され、前記フィードバック情報には、前記受信装置が計測した少なくともパケット欠落率および受信間隔の揺らぎの情報を含むことを特徴とする。この方法により、実際の通信により得られた現実のネットワーク状況を送信動作に反映させることができる。
【００１４】
また、本発明の画像伝送方法は、前記特別の画像を伝送する場合の基準が、前記送信する画像中に特定のオブジェクトが存在するか否かにより判断されることを特徴とする。この方法により、監視システムにおいて、カメラ映像に変化のない通常時には通常品質の画像を再生し、不審者や不審物等が検出された場合には、高品質の画像を再生することができる。
【００１５】
また、本発明の画像伝送方法は、前記特別の画像を伝送する場合の基準が、外部センサー機器により指定されることを特徴とする。この方法により、例えば物体検知センサーからの信号に基づいてアラーム情報を出力することができる。
【００１６】
また、本発明の画像伝送方法は、前記特別の画像を伝送する場合には、前記特別の画像であることを認識するための情報をパケットに付与して送信することを特徴とする。この方法により、受信側で受信した画像が通常の画像か特別な画像かを認識することができる。
【００１７】
また、本発明の画像伝送方法は、前記遅延させて送信する上位データの代わりに、階層符号化データの誤りを訂正する誤り訂正データを用いることを特徴とする。この方法により、誤り訂正データを用いて基本階層や下位拡張階層のデータの誤りを訂正することができ、より良好な画像を再生することができる。
【００１８】
また、本発明の画像送信装置は、画像を取り込む画像取得手段と、前記取り込んだ画像を１つの基本階層と少なくとも２つの拡張階層とに分割して符号化する符号化手段と、前記符号化手段で用いる符号化パラメータを設定する送信設定取得手段と、前記符号化したデータを送信する送信手段と、前記少なくとも１つの拡張階層のデータを一時的に保存する送信画像記憶手段と、通常の画像を伝送するかまたは特別の画像を伝送するかの判断基準となる重要情報を取得する状態取得手段と、前記重要情報の取得通知を受けて通常の画像を伝送するかまたは特別の画像を伝送するか判断する送信制御手段とを備え、前記送信手段は、通常の画像を伝送する場合に、前記基本階層の上の拡張階層に拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記基本階層の上の拡張階層に拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とするものである。この構成により、例えば、低画質画像の基本階層と中画質画像の拡張階層下位データの２階層しか受信できない受信装置の場合であっても、通常時は中画質画像または低画質画像像を受信でき、特別の画像を受信する場合には、高画質画像を受信することができるので、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生することができる。
【００１９】
また、本発明の画像送信装置は、画像を取り込む画像取得手段と、前記取り込んだ画像を１つの基本階層と少なくとも２つの拡張階層とに分割して符号化する符号化手段と、前記符号化手段で用いる符号化パラメータを設定する送信設定取得手段と、前記符号化したデータを送信する送信手段と、前記少なくとも１つの拡張階層のデータを一時的に保存する送信画像記憶手段と、通常の画像を伝送するかまたは特別の画像を伝送するかの判断基準となる重要情報を取得する状態取得手段と、前記重要情報の取得通知を受けて通常の画像を伝送するかまたは特別の画像を伝送するか判断する送信制御手段とを備え、前記送信手段は、前記基本階層および前記拡張階層に加えてさらに付加拡張階層を設け、通常の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信することを特徴とする。この構成により、例えば、低画質画像の基本階層と中画質画像の拡張階層下位データの２階層しか受信できない受信装置の場合であっても、通常時は中画質画像または低画質画像像を受信でき、特別の画像を受信する場合には、高画質画像を受信することができるので、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生することができる。
【００２０】
また、本発明の画像送信装置は、前記符号化手段で用いる符号化パラメータをネットワーク状況に応じて設定する送信設定取得手段を備えたことを特徴とする。この構成により、品質保証性の異なるネットワークに最も適した符号化パラメータを選択することができる。
【００２１】
また、本発明の画像送信装置は、前記遅延させて送信する上位データの代わりに、階層符号化データの誤りを訂正する誤り訂正データを生成するための訂正情報生成手段を備えたことを特徴とする。この構成により、誤り訂正データを用いて基本階層や下位拡張階層のデータの誤りを訂正することができ、より良好な画像を再生することができる。
【００２２】
また、本発明の画像受信装置は、前記ネットワークを通じて送信された階層符号化データのうち、基本階層と付加拡張階層の画像データを選択的に受信する受信手段と、受信した画像データをフレーム毎にまとめて復号する復号手段と、受信した画像データを記憶する受信画像記憶手段と、復号した画像データを表示する画像表示手段とを備えたものである。この構成により、例えば、低画質画像の基本階層と中画質画像の拡張階層下位データの２階層しか受信できない受信装置の場合であっても、通常時は中画質画像または低画質画像像を受信でき、特別の画像を受信する場合には、高画質画像を受信することができるので、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生することができる。
【００２３】
また、本発明の画像受信装置は、前記受信画像記憶手段に記憶した付加拡張階層の画像データにおける時間毎の保存状態を表示する保存状況表示手段を備えたことを特徴とする。この構成により、現時点でどの程度の画像が保存されているかを知ることができる。
【００２４】
また、本発明の画像受信装置は、前記画像データの時間毎の保存状態を表示する表示画面から所望の画像データを選択する表示設定取得手段を備えたことを特徴とする。この構成により、保存が完了した画像から再生することができる。
【００２５】
また、本発明の画像受信装置は、前記受信した画像データに付与されているヘッダ情報から受信状況を数値化し、フィードバック情報として前記送信装置へ通知する受信状況送信手段を備えたことを特徴とする。この構成により、実際の通信により得られた現実のネットワーク状況を送信装置へ通知することができる。
【００２６】
また、本発明の画像受信装置は、前記受信した画像データに対し誤り訂正を行う誤り訂正手段を備えたことを特徴とする。この構成により、誤り訂正データを用いて基本階層や下位拡張階層のデータの誤りを訂正することにより、より良好な画像を再生することができる。
【００２７】
また、本発明は、上記した画像伝送装置と画像受信装置とを備えた画像伝送システムである。このシステムにより、例えば、低画質画像の基本階層と中画質画像の拡張階層下位データの２階層しか受信できない受信装置の場合であっても、通常時は中画質画像または低画質画像像を受信でき、特別の画像を受信する場合には、高画質画像を受信することができるので、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生することができる。
【００２８】
また、本発明は、コンピュータに実行させるためのプログラムであって、通常の画像を送信する際には、前記基本階層の上の拡張階層に拡張階層のうちの下位データを埋め込んで送信し、特別の画像を送信する際には、前記基本階層の上の拡張階層に拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信するステップとを備えたものであり、または前記複数の拡張階層の上にさらに付加拡張階層を設けて、通常の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データを埋め込み、特別の画像を伝送する場合は、前記付加拡張階層に前記拡張階層のうちの下位データと上位データとを時系列化して埋め込み、前記下位データを実時間で送信した後、前記上位データを遅延させて送信するステップとを備えたものである。このプログラムを使用することにより、例えば、低画質画像の基本階層と中画質画像の拡張階層下位データの２階層しか受信できない受信装置の場合であっても、通常時は中画質画像または低画質画像像を受信でき、特別の画像を受信する場合には、高画質画像を受信することができるので、伝送帯域幅に余裕がない受信装置においても、重要性の高い時間帯の画像を高品質で再生することができる。
【発明の効果】
【００２９】
本発明は、上記構成を有することにより、階層化マルチキャスト伝送方式において、既に伝送帯域幅を全て使用している場合においても、画像の品質を高める上位階層を受信することができるので、受信装置において、通常時においては大まかな様子が実時間で閲覧でき、かつ重要性の高い時間帯の画像は、高品質に再生することが可能となる。また、画像の品質を高める上位階層を受信する代わりに、ネットワーク上でのパケット欠落を回復する誤り訂正階層を受信することができるので、重要性の高い時間帯の画像がネットワーク上で欠落した場合においても、誤り訂正情報により欠落部分が回復されるため、高品質に再生することが可能となる。
【発明を実施するための最良の形態】
【００３０】
以下、本発明の画像伝送方法およびその装置についての実施の形態を図面を用いて説明する。
【００３１】
（実施の形態１）
図１は本発明の第１の実施の形態における画像伝送システムの概略構成を示している。カメラ１００により撮影された画像は、送信装置１０１が、基本階層１、下位拡張階層２、上位拡張階層３の３階層に分割して符号化し、マルチキャストネットワーク１０３に送信する。また、送信装置１０１は、カメラ１００により撮影された画像を、通常時とアラーム時とで異なった扱いとし、通常時には下位拡張階層２に下位拡張階層用の通常データを埋め込んで送信し、アラーム時には、下位拡張階層２に下位拡張階層用のデータと上位拡張階層用のデータとを時系列化して埋め込んで混合データを作成し、下位拡張階層用データを実時間で送信した後、上位拡張階層用データを遅延させて送信する。受信装置１０２Ａ〜１０２Ｃは、マルチキャストネットワーク１０３から階層化された画像データを受信して復号し、ディスプレイ等に表示する。受信装置１０２Ａ〜１０２Ｃは、自身が利用できる伝送帯域幅に基づいて受信する階層を選択する。例えば、広帯域ネットワーク環境に属する受信装置１０２Ａは、基本階層１と下位拡張階層２と上位拡張階層３とを受信し、中帯域ネットワーク環境に属する受信装置１０２Ｂは、基本階層１と下位拡張階層２とを受信し、狭帯域ネットワーク環境に属する受信装置１０２Ｃは、基本階層１のみを受信する。
【００３２】
図２は本実施の形態１における階層符号化の概念を説明するための図である。画像は、基本階層１と下位拡張階層２と上位拡張階層３の３つの階層に分割して符号化される。受信側での復号後の画質は、階層の組み合わせにより異なり、（ａ）のように、基本階層１と下位拡張階層２と上位拡張階層３の３階層を用いて復号した場合、最も良好な高画質画像が得られる。また（ｂ）のように、基本階層１と下位拡張階層２の通常データを用いて復号した場合、良好な中画質画像が得られる。また（ｃ）のように、基本階層１のみを用いて復号した場合、画像品質をあまり問われない低画質画像が得られる。また（ｄ）のように、基本階層１と下位拡張階層２の混合データを用いて復号した場合、高画質画像が得られる。
【００３３】
以下、本実施の形態１の詳細について説明する。本実施の形態１では、特別な画像として監視カメラから出力される不審者または不審物検出画像を例にして説明し、その情報をアラーム情報とし、アラーム情報が出力されている時間帯をアラーム時とし、アラーム時に送信される画像をアラーム画像と呼ぶことにする。
【００３４】
（送信装置の構成）
最初に、送信装置の構成について説明する。図３は本実施の形態１における送信装置の構成を示している。送信装置は、画像を取り込む画像取得手段３００と、取り込んだ画像を基本階層１と下位拡張階層２と上位拡張階層３とに３分割して符号化する符号化手段３０１と、符号化された画像データを一時的に保存する送信画像記憶手段３０２と、アラーム情報を取得して送信制御手段３０４に通知する状態取得手段３０３と、アラーム情報の取得通知を受けて通常画像を伝送するかまたはアラーム画像を伝送するか判断する送信制御手段３０４と、通常画像を伝送する場合は、下位拡張階層２に下位拡張階層２用の通常データを埋め込み、アラーム画像を伝送する場合は、下位拡張階層２用の通常データと上位拡張階層３用のデータを時系列化して埋め込んだ混合データを作成し、下位拡張階層用データを実時間で送信した後、上位拡張階層用データを遅延させて送信する送信手段３０５と、符号化手段３０１で用いる符号化パラメータを設定する送信設定取得手段３０６とで構成されている。
【００３５】
画像取得手段３００が取り込んだ画像は、符号化手段３０１へ出力され、符号化手段３０１では、取り込んだ画像を階層的に符号化する。階層的に符号化する方法としては、例えば、ＭＰＥＧ−４  ＦＧＳ（ＩＳＯ／ＩＥＣ  １４４９６−２  Ａｍｅｎｄｍｅｎｔ  ４）等が挙げられるが、特に限定するものではない。符号化に用いる符号化パラメータ（ビットレートやフレームレート等）は、送信制御手段３０４により指定される。
【００３６】
送信制御手段３０４は、２つの役割を持つ。１つ目は、監視状態の管理である。具体的には、アラーム時であるかどうかが管理され、外部センサー機器（赤外線センサー等）より通知がなされる。その際のインターフェースの役割を持つのが状態取得手段３０３である。別の方法として、状態取得手段３０３は、取り込んだ画像に対して認識技術を適用し、犯人と思われる人物または重要と思われる対象物を検出した場合をアラーム情報として出力しても良い。２つ目は、符号化で用いる符号化パラメータの決定である。符号化パラメータは、送信設定取得手段３０６を介してユーザーにより指定される。
【００３７】
符号化パラメータは、ユーザーが指定する代わりに、ネットワーク状況に基づいて送信装置が動的に決定しもよい。ネットワーク状況は、受信装置より送信されるフィードバック情報から推定することが可能である。このフィードバック情報には、パケット棄却率や受信間隔の揺らぎ等の数値情報が含まれており、例えば、ＲＦＣ１８８９に規定されているＲＴＣＰが利用可能である。ネットワーク状況に基づいた符号化パラメータの決定方法の具体例として、伝送帯域幅の最も狭い受信装置に合わせて、基本階層１の伝送帯域幅を決定する等、様々な送信制御方法が考えられるが、本実施の形態はその方法を限定するものではない。
【００３８】
符号化手段３０１により符号化された画像データは、ネットワークへ送信するためにパケット形式に変換されて、送信画像記憶手段３０２に記憶される。図１３はパケットの一例を示している。パケットのヘッダ情報には、送信する順番を示すシーケンスナンバーと送信時刻を示すタイムスタンプが含まれている。シーケンスナンバーに関しては、受信装置がネットワーク上でパケットの欠落があったかどうか、また、ネットワーク上で順番が入れ替わっていないか判断するのに必要であり、タイムスタンプに関しては、受信装置において階層間の同期を取るために必要となる。このような情報を持つ伝送パケット形式としては、例えば、ＲＦＣ１８８９に規定されているＲＴＰを利用できる。また、受信装置がアラーム時のパケットかどうかをすぐに識別できるように、ヘッダ情報に続けてアラームフラグを独自情報としてパケットに付与する。アラームフラグがオンの場合はアラーム時のパケットであることを示し、オフの場合は通常時のパケットであることを示す。
【００３９】
送信画像記憶手段３０２に記憶された符号化された各階層毎の画像データは、送信手段３０５において、送信データとして組み立てられる。送信データは、基本階層１と下位拡張階層２と上位拡張階層３の３つの階層のパケットをそれぞれデータストリームとして順番にネットワークへ送信する。図５は、混合データの概念を説明するための図であり、横軸は時刻、縦軸は伝送帯域幅を示している。図５（Ａ）は、通常時に送信される送信データの構成を示しており、下位拡張階層２には下位拡張階層２のデータ２ａが挿入されている。図５（Ｂ）のアラーム時には、下位拡張階層２には下位拡張階層２のデータ２ａと上位拡張階層３のデータ３ａとが時系列データとして挿入されている。また、アラーム情報が時間的に近接して検出された場合、例えば図５（Ｃ）に示すように、初めのアラーム時Ｔ１に送信する上位拡張階層３のデータ３ａが全て送信される前に、次のアラーム時Ｔ２となる場合は、前の上位拡張階層データ３ａ−１は途中までとし、次のアラーム時Ｔ２に３階層のパケットを送信した後に、残りの上位拡張階層３ａ−２と、次のアラーム時Ｔ２の上位拡張階層３ｂのパケットを送信することになる。この場合、上位拡張階層データ３ａ−１が途中であっても、下位拡張階層２のパケット２ｂを優先的に送信するのは、上位拡張階層データの復号には、その基礎となる下位拡張階層データがないと復号できないためである。
【００４０】
なお、各階層のパケットは、別々のネットワークアドレス（ＩＰアドレスとポート番号の組み合わせにより決定される）に向けて送信される。また、下位拡張階層２の混合データに含まれる上位拡張階層３のパケットに独自情報としてアラームサイズ（アラーム時の画像サイズの合計）を付与する。混合データに含まれる上位拡張階層３は遅延させて送信されるため、このアラームサイズにより、アラーム画像の全体サイズを計算することができる。
【００４１】
（受信装置の構成）
次に、本実施の形態１における受信装置の構成について説明する。ここでは、基本階層１と下位拡張階層２のみを受信可能な受信装置について説明する。図４は受信装置の機能ブロック図を示している。この受信装置は、ネットワークから階層パケットを選択的に受信する受信手段４００と、受信したパケットを記憶する受信画像記憶手段４０１と、受信したパケットをフレーム毎にまとめて復号する復号手段４０２と、復号した画像を表示する画像表示手段４０３と、表示する画像を制御する表示制御手段４０４と、再生可能なアラーム画像の一覧から所望のアラーム画像を取得する表示設定取得手段４０５と、受信したパケットに付与されているヘッダ情報から受信状況を数値化し、フィードバック情報として送信装置へ通知する受信状況送信手段４０６と、アラーム画像の保存状況を表示する保存状況表示手段４０７とで構成されている。
【００４２】
受信手段４００は、ネットワークからパケットを受信する際に、階層毎に割り振られているネットワークアドレスを指定することにより、基本階層１および下位拡張階層２を選択して受信する。受信パケットがアラーム時のものであるかどうかは、パケットに付与されているアラームフラグから識別される。基本階層１のパケットに関しては、アラーム時のものに限り、受信画像記憶手段４０１へ保存し、下位拡張階層２のパケットに関しては、アラーム時か否かの状態によらずに、受信画像記憶手段４０１へ保存する。
【００４３】
受信状況送信手段４０６では、実際に受信したパケットに付与されているヘッダ情報から受信状況を数値化し、フィードバック情報として送信装置へ通知する。処理終了後、パケットに付与されているヘッダ情報は除去される。フィードバック情報には、パケット棄却率や受信間隔の揺らぎ等が含まれ、これらはパケットに付与されているシーケンスナンバーやタイムスタンプから計算することが可能である。但し、送信装置がフィードバック情報を必要としない場合もあり、受信状況送信手段４０６は必須の構成要素ではない。
【００４４】
復号手段４０２では、受信したパケットをフレーム毎にまとめて画像の復号を行なうが、復号に用いる階層の組み合わせにより、以下に示す３つの画像が復号される。
第１は、基本階層１のみの画像である。基本階層１の画像は、アラーム時か否かに関わらず、実時間で受信することが可能である。これはライブ画像の再生に用いる。本実施の形態ではこの画像は使用しない。
第２は、基本階層１と下位拡張階層２の通常データとを組み合わせた画像である。基本階層１と下位拡張階層２を組み合わせた画像は、実時間で受信することが可能であり、ライブ再生が可能である。本実施の形態では、この画像を通常時に使用する。
第３は、基本階層１と下位拡張階層２の混合データとを組み合わせた画像である。画質は最も良いが、上位拡張階層３を遅延して受信することになるため、実時間で再生することができない。本実施の形態では、この画像をアラーム時の再生に用いる。
【００４５】
画像表示手段４０３では、復号手段４０２で復号した画像を表示する。図６は、表示画面の一例を示している。通常時（ａ）のライブ画像は中画質画像がリアルタイムに表示され、アラーム時（ｂ）は高画質画像が遅れて表示される。アラーム時（ｂ）の画像は検索リストボックス（ｃ）からユーザーが指定することができる。検索リストボックス（ｃ）には、再生可能なアラーム画像の一覧が提示され、ユーザーがマウス等の入力デバイス等により指定する。図示の例では、１１時３１分および１１時５１分の時刻におけるアラーム画像は蓄積が１００％完了して再生可能であることを示しており、１２時８分は５０％、１２時９分は０％の保存状況を示している。アラーム画像の保存状況は、保存状況表示手段４０７により行われる。所望のアラーム画像のインデックス情報（例えば、パケットの独自情報のアラームインデックス）は、表示設定取得手段４０５を介して得られ、表示制御手段４０４にが再生するアラーム画像を検索し、復号手段４０２へ画像の復号を指示する。なお、ユーザーの指示によらずに、アラーム画像の蓄積が１００％完了した時点で自動的にその画像を再生するようにしてもよい。
【００４６】
（送信装置の動作）
次に、本実施の形態１における送信装置の動作について説明する。最初にその概略を図７のフローチャートを用いて説明する。まず、画像の取得ステップ７００において、ＣＣＤカメラ等の画像取得手段３００により取得された所定の監視領域を含む画像を取り込み、必要な画像処理を施して画像データを出力する。次に、データの生成ステップ７０１において、符号化手段３０１が、取り込んだ画像データを３つの階層に分割して符号化し、パケット形式に変換する。データの生成ステップ７０１の動作については、後で詳しく説明する。最後に、データの送信ステップ７０２において、送信手段３０５が、ステップ７０１で生成したパケットをネットワークへ送信する。データの送信ステップ７０２の動作についても、後で詳しく説明する。パケットは、階層毎に別々のネットワークアドレスへ送信され、本実施の形態１では、基本階層１、下位拡張階層２、上位拡張階層３の３つを別々のデータストリームとして送信する。
【００４７】
次に、データの生成ステップ７０１の動作について、図８のフローチャートを用いて説明する。初めに、階層符号化ステップ８００において、取り込んだ画像データを基本階層１、下位拡張階層２、上位拡張階層３の３つの階層に分割して符号化する。次に、パケット化ステップ８０１において、符号化した画像データをネットワークへ送信するためにパケット形式に変換する。パケットには、シーケンスナンバーとタイムスタンプをヘッダ情報として付与する。さらに、アラーム時のパケットであるかどうかを示すアラームフラグと、アラームを一意に識別するためのアラームインデックス（例えば、アラーム開始時刻）を独自情報として付与する。そして、アラームの確認ステップ８０２において、ステップ８０１で生成したパケットのアラームフラグを参照し、アラーム時のパケットであるかどうかを確認する。アラームフラグがオンの場合、上位拡張階層３の保存ステップ８０３へ移行し、アラームフラグがオフの場合、ステップ７０１のデータの生成ステップを終了する。上位拡張階層３の保存ステップ８０３へ移行した場合、ステップ８０１で生成した上位拡張階層３のパケットは、送信画像記憶手段３０２へ保存される。次に、アラームサイズの更新ステップ８０４において、アラーム時の基本階層１、下位拡張階層２、上位拡張階層３の画像データのサイズを計算する。アラームサイズは、アラームインデックスに基づき、アラーム毎に管理される。このステップ８０４では、画像サイズを符号化手段３０１で生成した分だけインクリメントすれば良い。処理終了後、ステップ７０１のデータの生成ステップを終了する。
【００４８】
次に、データの送信ステップ７０２の動作を、図９のフローチャートを用いて説明する。送信するパケットは、前述の通り、基本階層１、下位拡張階層２、上位拡張階層３の３つである。通常時には、基本階層１、下位拡張階層２、上位拡張階層３のそれぞれについて、符号化手段３０１で生成したパケットを、各々に割り振られているネットワークアドレスへ送信する。アラーム時には、基本階層１と上位拡張階層３のパケットは、通常時と同様に送信されるが、下位拡張階層２におけるパケットは、通常時の下位拡張階層２のパケットに上位拡張階層３のパケットを加えたものが送信される。以下には、下位拡張階層２の送信動作についてのみ説明する。
【００４９】
初めに、アラームの確認ステップ９００において、パケットに付与されているアラームフラグを参照し、送信するパケットがアラーム時のものであるかを確認する。通常時のパケットの場合、下位拡張階層２の送信ステップ９０１へ移行し、下位拡張階層２のパケットをネットワークへ送信した後、データの送信ステップ７０２を終了する。アラーム時のパケットの場合、送信画像記憶手段３０２の確認ステップ９０２へ移行し、上位拡張階層３のパケットが保存されているか否かを確認する。上位拡張階層３のパケットがある場合、アラームサイズの付与ステップ９０３へ移行する。アラームサイズの付与ステップ９０３へ移行した場合、アラームサイズの更新ステップ８０４において計算しておいたアラームサイズを上位拡張階層３のパケット全部に独自情報として付与する。次に、ステップ９０４において、下位拡張階層２および上位拡張階層３のパケットをそれぞれ順番にネットワークへ送信し、データの送信ステップ７０２を終了する。送信終了後、送信画像記憶手段３０２から送信した上位拡張階層３のパケットを削除する。また、上位拡張階層３のパケットがない場合は、そのままデータの送信ステップ７０２を終了する。
【００５０】
（受信装置の動作）
次に、本実施の形態１における受信装置の動作について説明する。通常時の受信装置の動作については従来と変わりはないので、ここではアラーム時における受信動作について説明する。アラーム時における受信動作は、大きく３つのステップで構成される。
第１に、ライブ画像の再生ステップであり、送信装置から送信される基本階層１および下位拡張階層２を実時間で再生するステップである。
第２に、アラーム画像の保存ステップであり、上位拡張階層３を受信装置に保存し、アラーム画像の保存状況を、ユーザーに通知するステップである。
第３に、アラーム画像の再生ステップであり、受信装置に保存されたアラーム画像の再生を行なうステップである。再生するアラーム画像は、ユーザーにより指定される。
【００５１】
最初に、第１のライブ画像の再生ステップについて、図１０のフローチャートを用いて説明する。まず、基本階層１および下位拡張階層２の受信ステップ１０００において、ネットワークから基本階層１および下位拡張階層２のパケットを受信する。次にパケットの確認ステップ１００１において、ステップ１０００で受信したパケットに付与されているアラームフラグを参照し、受信したパケットがアラーム時のものであるかを確認する。アラームフラグがオンの場合、基本階層１および下位拡張階層２の保存ステップ１００２へ移行し、アラームフラグがオフの場合、基本階層１および下位拡張階層２の復号ステップ１００３へ移行する。基本階層１および下位拡張階層２の保存ステップ１００２へ移行した場合、ステップ１００１でアラーム時と判断された基本階層１および下位拡張階層２のパケットを受信画像記憶手段４０１へ保存する。保存した基本階層１および下位拡張階層２のパケットは、アラーム画像を再生する際に用いる。保存管理は、パケットの独自情報に付与されたアラームインデックスに基づき、アラーム毎になされる。次に、基本階層１および下位拡張階層２の復号ステップ１００３において、基本階層１および下位拡張階層２の復号を行う。そして、最後に、ライブ画像の表示ステップ１００４において、ステップ１００３で復号した基本階層１および下位拡張階層２の画像をディスプレイ等に表示する。
【００５２】
次に、第２のアラーム画像の保存ステップについて、図１１のフローチャートを用いて説明する。まず、アラーム時における上位拡張階層３の受信ステップ１１００において、ネットワークから下位拡張階層２のパケットに遅れて送信されてきた上位拡張階層３のパケットを受信する。次に、上位拡張階層３の保存ステップ１１０１において、ステップ１１００で受信した上位拡張階層３のパケットを受信画像記憶手段４０１へ保存する。保存管理は、パケットの独自情報に付与されたアラームインデックスに基づき、アラーム毎になされる。次に、保存状況の通知ステップ１１０２において、受信画像記憶手段４０１の保存状況を画面表示で通知する。保存状況は、上位拡張階層３を受信した場合になされ、パケットの独自情報に含まれているアラームサイズに対して、どのくらい保存が済んでいるかを示すパラメータである。図６では、保存の進捗状況を「％」で示している。次に、アラーム画像の確認ステップ１１０３において、受信画像記憶手段４０１に保存されているアラーム画像が完成しているかどうかを確認する。アラーム画像が完成している場合、再生許可の通知ステップ１１０４へ移行し、アラーム画像が完成していない場合、アラーム画像の保存ステップを終了する。ここで、ステップ１１０４の再生許可の通知ステップへ移行した場合、表示画面にアラーム画像を再生できることをユーザーに通知する。図６の例では、検索リストボックスが「１００％」となっている。
【００５３】
次に、第３のアラーム画像の再生ステップについて、図１２のフローチャートを用いて説明する。まず、全ての階層の復号ステップ１２００において、復号手段４０２により、基本階層１と下位拡張階層２および上位拡張階層３とを合わせて復号する。そして、アラーム画像の表示ステップ１２０１において、ディスプレイ等の画像表示手段４０３によりアラーム画像を表示する。
【００５４】
以上のように、本実施の形態１によれば、送信装置において、画像データを１つの基本階層１とその上に順次構築される下位拡張階層２と上位拡張階層３とに分割して符号化し、通常の画像を伝送する場合は、下位拡張階層２に下位拡張階層用のデータを埋め込み、不審者または不審物等の検出画像のようなアラーム時の画像を伝送する場合は、下位拡張階層２用データと上位拡張階層３用のデータとを時系列化して埋め込み、下位拡張階層２のデータを実時間で送信した後、上位拡張階層３のデータを遅延させて送信するようにしたので、受信装置において、基本階層１のデータを用いてライブ画像が再生でき、かつ、ライブ画像を再生している間に上位拡張階層３を受信しているため、アラーム時の画像は、実時間で受信するライブ画像で用いる基本階層１と下位拡張階層２、さらに遅延して受信する上位拡張階層３の全てを用いて、高品質に再生することが可能となる。したがって、既に基本階層１と下位拡張階層２とで伝送帯域幅をフルに使用している場合においても、画像の品質を高めることができる上位拡張階層３を受信して、高品質の画像を再生することができる。
【００５５】
（実施の形態２）
次に、本発明の実施の形態２について説明する。図１４は本実施の形態２における画像伝送システムの概略構成を示している。カメラ１００により撮影された画像は、送信装置１０１が、基本階層１、下位拡張階層２、上位拡張階層３の３階層に分割し、さらにその上に付加拡張階層４を加えて符号化し、マルチキャストネットワーク１０３に送信する。受信装置１０２Ａ〜１０２Ｄは、マルチキャストネットワーク１０３から階層化された画像データを受信して復号し、ディスプレイ等に表示する。受信装置１０２Ａ〜１０２Ｄは、自身が利用できる伝送帯域幅に基づいて受信する階層を選択する。例えば、広帯域ネットワーク環境に属する受信装置１０２Ａは、基本階層１と下位拡張階層２と上位拡張階層３とを受信し、中帯域ネットワーク環境に属する受信装置１０２Ｂおよび１０２Ｄのうち、受信装置１０２Ｂは基本階層１と下位拡張階層２とを受信し、受信装置１０２Ｄは基本階層１と付加拡張階層４とを受信し、狭帯域ネットワーク環境に属する受信装置１０２Ｃは、基本階層１のみを受信する。
【００５６】
図１５は本実施の形態における階層符号化の概念を説明するための図である。画像は、基本階層１と下位拡張階層２と上位拡張階層３の３つの階層に分割して符号化される。受信側での復号後の画質は、階層の組み合わせにより異なり、（ａ）のように、基本階層１と下位拡張階層２と上位拡張階層３の３階層を用いて復号した場合、最も良好な高画質画像が得られる。また（ｂ）のように、基本階層１と下位拡張階層２の２階層を用いて復号した場合、良好な中画質画像が得られる。また（ｃ）のように、基本階層１のみを用いて復号した場合、画像品質をあまり問われない低画質画像が得られる。また（ｄ）のように、基本階層１と付加拡張階層４の２階層を用いて復号した場合、付加拡張階層４には、通常の画像を伝送する時には下位拡張階層２が埋め込まれ、特別な画像を伝送する時には下位拡張階層２と上位拡張階層３とが時系列データとして符号化され送信されるので、通常の画像の時は中画質画像が得られ、特別な画像の時には高画質画像が得られる。したがって、図１４の受信装置１０２Ａは高画質画像を再生することができ、受信装置１０２Ｄは通常時には中画質画像、特別時には高画質画像を再生することができ、受信装置１０２Ｂは中画質の画像を再生することができ、受信装置１０２Ｃは低画質の画像を再生することができる。本実施の形態２は、受信装置１０２Ｄを対象とする。
【００５７】
本実施の形態２における送信装置および受信装置の構成は、上記した実施の形態１における図３にしめす送信装置および図４に示す受信装置の構成と同様であり、異なるのは送信装置における送信動作および受信装置における受信動作だけなので、以下には送信動作および受信動作に関係する部分についてのみ説明する。
【００５８】
図３における送信画像記憶手段３０２に記憶された符号化された各階層毎の画像データは、送信手段３０５において、送信データとして組み立てられる。送信データは、基本階層１と下位拡張階層２と上位拡張階層３と付加拡張階層４の４つの階層のパケットをそれぞれデータストリームとして順番にネットワークへ送信する。図１６（Ａ）、（Ｂ）、（Ｃ）は、付加拡張階層４の概念を説明するための図であり、横軸は時刻、縦軸は伝送帯域幅を示している。図１６（Ａ）は、通常時に送信される送信データの構成を示しており、付加拡張階層４には下位拡張階層２のデータ２ａと同じデータ２ａが挿入されている。図１６（Ｂ）のアラーム時には、付加拡張階層４には下位拡張階層２と同じデータ２ａと上位拡張階層３のデータ３ａとが時系列データとして挿入されている。また、アラーム情報が時間的に近接して検出された場合、例えば図１６（Ｃ）に示すように、初めのアラーム時Ｔ１に送信する上位拡張階層３のデータ３ａが全て送信される前に、次のアラーム時Ｔ２となる場合は、前の上位拡張階データ３ａ−１は途中までとし、次のアラーム時Ｔ２に４階層のパケットを送信した後に、残りの上位拡張階層３ａ−２と、次のアラーム時Ｔ２の上位拡張階層３ｂのパケットを送信することになる。いずれの場合も、付加拡張階層４では、下位拡張階層２のパケットを優先的に送信する。これは、上位拡張階層３を下位拡張階層２の前に送信しても、その基礎となる下位拡張階層２がない場合は、復号できないためである。
【００５９】
図４における受信手段４００は、ネットワークからパケットを受信する際に、階層毎に割り振られているネットワークアドレスを指定することにより、基本階層１および付加拡張階層４を選択して受信する。受信パケットがアラーム時のものであるかどうかは、パケットに付与されているアラームフラグから識別される。基本階層１のパケットに関しては、アラーム時のものに限り、受信画像記憶手段４０１へ保存し、付加拡張階層４のパケットに関しては、アラーム時か否かの状態によらずに、受信画像記憶手段４０１へ保存する。
【００６０】
復号手段４０２では、受信したパケットをフレーム毎にまとめて画像の復号を行なうが、復号に用いる階層の組み合わせにより、以下に示す３つの画像が復号される。
第１は、基本階層１のみの画像である。基本階層１の画像は、アラーム時か否かに関わらず、実時間で受信することが可能である。これはライブ画像の再生に用いる。本実施の形態ではこの画像は使用しない。
第２は、基本階層１と付加拡張階層４に含まれる下位拡張階層２とを組み合わせた画像である。基本階層１と下位拡張階層２を組み合わせた画像は、実時間で受信することが可能であり、ライブ再生が可能である。本実施の形態では、この画像を通常時に使用する。
第３は、基本階層１と付加拡張階層４に含まれる下位拡張階層２および上位拡張階層３とを組み合わせた画像である。画質は最も良いが、上位拡張階層３を遅延して受信することになるため、実時間で再生することができない。本実施の形態では、この画像をアラーム時の再生に用いる。
【００６１】
（送信装置の動作）
次に、本実施の形態２における送信装置の動作について説明する。基本的な動作は実施の形態１と同様なので、図７ないし図１２を用いて説明する。最初にその概略を図７のフローチャートを用いて説明する。まず、画像の取得ステップ７００において、ＣＣＤカメラ等の画像取得手段３００により取得された所定の監視領域を含む画像を取り込み、必要な画像処理を施して画像データを出力する。次に、データの生成ステップ７０１において、符号化手段３０１が、取り込んだ画像データを３つの階層に分割して符号化し、パケット形式に変換する。データの生成ステップ７０１の動作については、後で詳しく説明する。最後に、データの送信ステップ７０２において、送信手段３０５が、ステップ７０１で生成したパケットをネットワークへ送信する。データの送信ステップ７０２の動作についても、後で詳しく説明する。パケットは、階層毎に別々のネットワークアドレスへ送信され、本実施の形態２では、基本階層１、下位拡張階層２、上位拡張階層３、付加拡張階層４の４つを別々のデータストリームとして送信する。
【００６２】
次に、データの生成ステップ７０１の動作について、図８のフローチャートを用いて説明する。初めに、階層符号化ステップ８００において、取り込んだ画像データを基本階層１、下位拡張階層２、上位拡張階層３の３つの階層に分割して符号化する。次に、パケット化ステップ８０１において、符号化した画像データをネットワークへ送信するためにパケット形式に変換する。パケットには、シーケンスナンバーとタイムスタンプをヘッダ情報として付与する。さらに、アラーム時のパケットであるかどうかを示すアラームフラグと、アラームを一意に識別するためのアラームインデックス（例えば、アラーム開始時刻）を独自情報として付与する。そして、アラームの確認ステップ８０２において、ステップ８０１で生成したパケットのアラームフラグを参照し、アラーム時のパケットであるかどうかを確認する。アラームフラグがオンの場合、上位拡張階層３の保存ステップ８０３へ移行し、アラームフラグがオフの場合、ステップ７０１のデータの生成ステップを終了する。上位拡張階層３の保存ステップ８０３へ移行した場合、ステップ８０１で生成した上位拡張階層３のパケットは、送信画像記憶手段３０２へ保存される。次に、アラームサイズの更新ステップ８０４において、アラーム時の基本階層１、下位拡張階層２、上位拡張階層３の画像データのサイズを計算する。アラームサイズは、アラームインデックスに基づき、アラーム毎に管理される。このステップ８０４では、画像サイズを符号化手段３０１で生成した分だけインクリメントすれば良い。処理終了後、ステップ７０１のデータの生成ステップを終了する。
【００６３】
次に、データの送信ステップ７０２の動作を、図９のフローチャートを用いて説明する。送信するパケットは、前述の通り、基本階層１、下位拡張階層２、上位拡張階層３、付加拡張階層４の４つである。基本階層１、下位拡張階層２、上位拡張階層３については、符号化手段３０１で生成したパケットを、各々に割り振られているネットワークアドレスへ送信する。以下では、付加拡張階層４についてのみ動作を説明する。
【００６４】
初めに、アラームの確認ステップ９００において、パケットに付与されているアラームフラグを参照し、送信するパケットがアラーム時のものであるかを確認する。通常時のパケットの場合、下位拡張階層２の送信ステップ９０１へ移行し、付加拡張階層４として下位拡張階層２のパケットをネットワークへ送信した後、データの送信ステップ７０２を終了する。アラーム時のパケットの場合、送信画像記憶手段３０２の確認ステップ９０２へ移行し、上位拡張階層３のパケットが保存されているかいないかを確認する。上位拡張階層３のパケットがある場合、アラームサイズの付与ステップ９０３へ移行する。アラームサイズの付与ステップ９０３へ移行した場合、アラームサイズの更新ステップ８０４において計算しておいたアラームサイズを上位拡張階層３のパケット全部に独自情報として付与する。次に、ステップ９０４において、付加拡張階層４として下位拡張階層２および上位拡張階層３のパケットをそれぞれ順番にネットワークへ送信し、データの送信ステップ７０２を終了する。送信終了後、送信画像記憶手段３０２から送信した上位拡張階層３のパケットを削除する。また、上位拡張階層３のパケットがない場合は、そのままデータの送信ステップ７０２を終了する。
【００６５】
（受信装置の動作）
次に、本実施の形態１における受信装置の動作について説明する。受信装置の動作は、大きく３つのステップで構成される。
第１に、ライブ画像の再生ステップであり、送信装置から送信される基本階層１および付加拡張階層４における下位拡張階層２を実時間で再生するステップである。
第２に、アラーム画像の保存ステップであり、付加拡張階層４における上位拡張階層３を受信装置に保存し、アラーム画像の保存状況を、ユーザーに通知するステップである。
第３に、アラーム画像の再生ステップであり、受信装置に保存されたアラーム画像の再生を行なうステップである。再生するアラーム画像は、ユーザーにより指定される。
【００６６】
最初に、第１のライブ画像の再生ステップについて、図１０のフローチャートを用いて説明する。まず、基本階層１および付加拡張階層４における下位拡張階層２（以下、この段落では単に下位拡張階層２という。）の受信ステップ１０００において、ネットワークから基本階層１および下位拡張階層２のパケットを受信する。次にパケットの確認ステップ１００１において、ステップ１０００で受信したパケットに付与されているアラームフラグを参照し、受信したパケットがアラーム時のものであるかを確認する。アラームフラグがオンの場合、基本階層１および下位拡張階層２の保存ステップ１００２へ移行し、アラームフラグがオフの場合、基本階層１および下位拡張階層２の復号ステップ１００３へ移行する。基本階層１および下位拡張階層２の保存ステップ１００２へ移行した場合、ステップ１００１でアラーム時と判断された基本階層１および下位拡張階層２のパケットを受信画像記憶手段４０１へ保存する。保存した基本階層１および下位拡張階層２のパケットは、アラーム画像を再生する際に用いる。保存管理は、パケットの独自情報に付与されたアラームインデックスに基づき、アラーム毎になされる。次に、基本階層１および下位拡張階層２の復号ステップ１００３において、基本階層１および下位拡張階層２の復号を行う。そして、最後に、ライブ画像の表示ステップ１００４において、ステップ１００３で復号した基本階層１および下位拡張階層２の画像をディスプレイ等に表示する。
【００６７】
次に、第２のアラーム画像の保存ステップについて、図１１のフローチャートを用いて説明する。まず、付加拡張階層４における上位拡張階層３（以下、この段落では単に上位拡張階層３という。）の受信ステップ１１００において、ネットワークから下位拡張階層２のパケットに遅れて送信されてきた上位拡張階層３のパケットを受信する。次に、上位拡張階層３の保存ステップ１１０１において、ステップ１１００で受信した上位拡張階層３のパケットを受信画像記憶手段４０１へ保存する。保存管理は、パケットの独自情報に付与されたアラームインデックスに基づき、アラーム毎になされる。次に、保存状況の通知ステップ１１０２において、受信画像記憶手段４０１の保存状況を画面表示で通知する。保存状況は、上位拡張階層３を受信した場合になされ、パケットの独自情報に含まれているアラームサイズに対して、どのくらい保存が済んでいるかを示すパラメータである。図６では、保存の進捗状況を「％」で示している。次に、アラーム画像の確認ステップ１１０３において、受信画像記憶手段４０１に保存されているアラーム画像が完成しているかどうかを確認する。アラーム画像が完成している場合、再生許可の通知ステップ１１０４へ移行し、アラーム画像が完成していない場合、アラーム画像の保存ステップを終了する。ここで、ステップ１１０４の再生許可の通知ステップへ移行した場合、表示画面にアラーム画像を再生できることをユーザーに通知する。図６の例では、検索リストボックスが「１００％」となっている。
【００６８】
次に、第３のアラーム画像の再生ステップについて、図１２のフローチャートを用いて説明する。まず、全ての階層の復号ステップ１２００において、復号手段４０２により、基本階層１と付加拡張階層４における下位拡張階層２および上位拡張階層３とを合わせて復号する。そして、アラーム画像の表示ステップ１２０１において、ディスプレイ等の画像表示手段４０３によりアラーム画像を表示する。
【００６９】
以上のように、本実施の形態２によれば、送信装置において、画像データを１つの基本階層１とその上に順次構築される下位拡張階層２と上位拡張階層３とに分割して符号化し、さらにその上に付加拡張階層４を構築し、通常の画像を伝送する場合は、付加拡張階層４に下位拡張階層２を埋め込み、不審者または不審物等の検出画像のようなアラーム時の画像を伝送する場合は、付加拡張階層４に下位拡張階層２と上位拡張階層３とを時系列化して埋め込み、下位拡張階層２のデータを実時間で送信した後、上位拡張階層３のデータを遅延させて送信するようにしたので、受信装置において、基本階層１のデータを用いてライブ画像が再生でき、かつ、ライブ画像を再生している間に上位拡張階層３を受信しているため、アラーム時の画像は、実時間で受信するライブ画像で用いる基本階層１と下位拡張階層２、さらに遅延して受信する上位拡張階層３の全てを用いて、高品質に再生することが可能となる。したがって、既に基本階層１と下位拡張階層２とで伝送帯域幅をフルに使用している場合においても、画像の品質を高めることができる上位拡張階層３を受信して、高品質の画像を再生することができる。
【００７０】
（実施の形態３）
次に、本発明の第３実施の形態について説明する。本実施の形態３は、上記実施の形態１または実施の形態２において、下位拡張階層２または付加拡張階層４において遅延させて送信する上位データの代わりに、階層符号化データの誤りを訂正する誤り訂正データを挿入したことを特徴とする。これにより、誤り訂正データを用いて基本階層や下位拡張階層のデータの誤りを訂正することができ、より良好な画像を再生することができる。以下、説明では、実施の形態２を例に説明するが、実施の形態１に対しても同様に適用できることは勿論である。
【００７１】
（送信装置の構成）
初めに、本実施の形態２における送信装置の構成について、図１７の機能ブロック図を参照して説明する。本実施の形態３の送信装置が、上記した実施の形態２または実施の形態１における送信装置と異なるのは、遅延させて送信する上位拡張階層３データの代わりに、階層符号化データの誤りを訂正する誤り訂正データを生成するための訂正情報生成手段３０７を備えたことだけであり、他の構成は実施の形態２または実施の形態１における送信装置の構成と同じであり、同様な構成要素には同様な符号を付して重複した説明は省略する。
【００７２】
誤り訂正の対象とするパケットはアラーム時のものであり、階層については限定するものではないが、基本階層１は圧縮効率が良いため、パケット欠落による画質劣化の影響が大きい。そのため、各階層のパケット欠落率が等しい場合、誤り訂正パケットが対象とするパケットとしては、下位の階層のパケットを対象とする程、誤り訂正パケットを送信する効果が大きい。もちろん、階層によりネットワーク状況が異なるため、受信装置が各々の階層のネットワーク状況を把握し、受信装置が自律的に選択できるようにした方がよい。なお、誤り訂正パケット形式としては、ＲＦＣ２７３３に規定されているＦＥＣが利用可能である。
【００７３】
（受信装置の構成）
次に、本実施の形態３における受信装置について、図１８の機能ブロック図を参照して説明する。本実施の形態３における受信装置が、上記した実施の形態２または実施の形態１における受信装置と異なるのは、受信した画像データに対し誤り訂正を行う誤り訂正手段４０８を備えていることだけであり、他の構成は実施の形態２または実施の形態１における受信装置の構成と同じであり、同様な構成要素には同様な符号を付して重複した説明は省略する。
【００７４】
誤り訂正は、誤り訂正パケットの対象としているパケットがネットワーク上で欠落したことが確認された場合になされる。ネットワーク上での欠落はパケットに付与されているシーケンスナンバーを参照し、スキップがあるかないかを確認すればよい。但し、欠落した数やスキップのパターンによっては、誤り訂正できない場合もある。
【００７５】
図１９（Ａ）、（Ｂ）は、本実施の形態３における付加拡張階層４の概念を説明するための図であり、横軸は時刻、縦軸は伝送帯域幅を示している。図１９（Ａ）は、通常時に送信される送信データの構成を示しており、付加拡張階層４には下位拡張階層２のデータ２ａと同じデータ２ａが挿入されている。図１９（Ｂ）のアラーム時には、付加拡張階層４には下位拡張階層２と同じデータ２ａと基本階層１のパケットの誤り訂正データ５とが時系列データとして挿入されている。
【００７６】
（送信装置の動作）
次に、本実施の形態３における送信装置の動作について、図２０のフローチャートを参照して説明する。図２０のフローチャートは、図７に示した実施の形態２または実施の形態１のフローチャートと全体的には同様であるが、データの生成ステップ７０１の動作が部分的に異なるので、これについて説明する。初めに、階層符号化ステップ１７００において、取り込んだ画像を基本階層１、下位拡張階層２、上位拡張階層３の３つの階層に分割して符号化する。次に、パケット化ステップ１７０１において、符号化した画像をネットワークへ送信するためにパケット形式に変換する。パケットには、シーケンスナンバーとタイムスタンプをヘッダ情報として付与する。さらに、アラーム時のパケットであるかどうかを示すアラームフラグと、アラームを一意に識別するためのアラームインデックス（例えば、アラーム開始時刻）を独自情報として付与する。そして、アラームの確認ステップ１７０２において、ステップ１７０１で生成したパケットのアラームフラグを参照し、アラーム時のパケットであるかどうかを確認する。アラームフラグがオンの場合、誤り訂正データの生成ステップ１７０３へ移行し、アラームフラグがオフの場合、データの生成ステップを終了する。誤り訂正データの生成ステップ１７０３において、訂正情報生成手段３０７により基本階層１に対する誤り訂正データが生成された後、符号化手段３０１により誤り訂正データのパケット化が行われ、誤り訂正データの保存ステップ１７０４に移行して、誤り訂正データのパケットが送信画像記憶手段３０２に記憶され、データの生成ステップを終了する。
【００７７】
次に、データの送信ステップの動作を、図２１のフローチャートを用いて説明する。送信するパケットは、前述の通り、基本階層１、下位拡張階層２、上位拡張階層３、付加拡張階層４の４つである。基本階層１、下位拡張階層２、上位拡張階層３については、符号化手段３０１で生成したパケットを、各々に割り振られているネットワークアドレスへ送信する。以下では、付加拡張階層４についてのみ動作を説明する。
【００７８】
初めに、アラームの確認ステップ１８００において、パケットに付与されているアラームフラグを参照し、送信するパケットがアラーム時のものであるかを確認する。通常時のパケットの場合、下位拡張階層２の送信ステップ１８０１へ移行し、アラーム時のパケットの場合、送信画像記憶手段３０２における保存データの確認ステップ１８０２へ移行する。下位拡張階層２の送信ステップ１８０１へ移行した場合、下位拡張階層２のパケットをネットワークへ送信した後、データの送信ステップを終了する。一方、保存データの確認ステップ１８０２へ移行した場合、誤り訂正階データ５のパケットがあるかないかを確認する。誤り訂正データ５のパケットがある場合、下位拡張階層２と誤り訂正データ５のパケットを時系列化してネットワークへ送信するステップ１８０３へ移行し、また、誤り訂正データ５のパケットがない場合は、そのままデータの送信ステップを終了する。
【００７９】
（受信装置の動作）
次に、本実施の形態２における受信装置の動作について、図２２のフローチャートを参照して説明する。本実施の形態２における受信装置の動作は、上記した実施の形態１の受信装置の動作と全体的には同じ３つのライブ画像の再生ステップとアラーム画像の保存ステップとアラーム画像の再生ステップとで構成され、このうちアラーム画像の保存ステップのみが部分的に異なるので、これについて説明する。
【００８０】
まず、アラーム時における付加拡張階層４の受信ステップ１９００において、ネットワークから付加拡張階層４のパケットを受信する。次に、受信階層の確認ステップ１９０１において、ステップ１９００で受信した付加拡張階層４は、上位拡張階層３であるか、誤り訂正データ５であるかを確認し、誤り訂正データ５である場合には、基本階層１の誤り訂正を行うステップ１９０２へ移行し、訂正完了の通知を行うステップ１９０３を行った後、処理を終了する。受信階層の確認ステップ１９０１において、上位拡張階層３である場合には、上位拡張階層３の保存ステップ１９０４へ移行し、上位拡張階層３を受信画像記憶手段４０１に記憶して処理を終了する。
【００８１】
以上のように、本実施の形態３によれば、実施の形態２または実施の形態１において遅延させて送信する上位拡張階層３の代わりに、基本階層１の誤りを訂正する誤り訂正データ５を用いたので、既に伝送帯域幅をフルに使用している場合においても、ネットワーク上でのパケット欠落を回復する誤り訂正データを受信することができ、受信装置において、基本階層１のデータを用いてライブ画像が再生でき、また、ライブ画像を再生している間に誤り訂正データを受信しているため、アラーム時の画像は、ライブ画像で用いる基本階層１と下位拡張階層２の画像に対し、遅延して受信する誤り訂正データを用いた基本階層１の修正により、高品質な画像を再生することが可能となる。
【００８２】
なお、以上の各実施の形態の説明では、画像を基本階層１、下位拡張階層２、上位拡張階層３の３つの階層に分割して符号化したが、分割する階層数は限定するものではない。
【００８３】
また、受信装置でアラーム画像を再生する際、アラーム時の画像が全て完成した場合に再生許可を通知していたが、フレーム単位で再生許可を通知してもよい。
【００８４】
また、画像はカメラ画像でなくてもよく、スキャンした画像でもよく、動画でもよく、特別な画像は、不審者や不審物等の検出画像でなくても、通常の画像に対して何か特別の意味や意義のある画像ならば、どのような画像でもよい。
【００８５】
また、実施の形態２において、通常時には付加拡張階層４に下位拡張階層２を埋め込んで送信したが、通常時には付加拡張階層４に別のデータを埋め込んで送信することにより、受信側では基本階層１のみを受信し、アラーム時には、付加拡張階層４に下位拡張階層２と上位拡張階層３とを埋め込んで送信し、受信側では基本階層１と下位拡張階層２と上位拡張階層３のデータを再生するようにしてもよい。
【００８６】
また、実施の形態３において、誤り訂正階データの対象を基本階層１として説明したが、誤り訂正の対象とする階層は任意の階層でよい。
【産業上の利用可能性】
【００８７】
以上のように、本発明に係る画像伝送方法および装置は、階層化マルチキャスト伝送方式において、既に伝送帯域幅をフルに使用している場合においても、画像の品質を高める上位に相当する階層を受信することができ、また、ネットワーク上でのパケット欠落を回復する誤り訂正データを受信することができるようにしたものであり、画像を階層的にネットワークへ伝送する画像伝送方法およびその装置とシステム等への適用に有用である。
【図面の簡単な説明】
【００８８】
【図１】本発明の実施の形態１における画像伝送システムの概略構成を示す模式図
【図２】本発明の実施の形態１における階層符号化データとその復号画質の関係を示す模式図
【図３】本発明の実施の形態１および２における画像送信装置の構成を示すブロック図
【図４】本発明の実施の形態１および２における画像受信装置の構成を示すブロック図
【図５（Ａ）】本発明の実施の形態１における通常時に送信される階層符号化データの構成を示す模式図
【図５（Ｂ）】本発明の実施の形態１におけるアラーム時に送信される階層符号化データの構成を示す模式図
【図５（Ｃ）】本発明の実施の形態１におけるアラーム時に送信される別の階層符号化データの構成を示す模式図
【図６】本発明の実施の形態１および２における通常時とアラーム時における復号画質および検索リストボックスを示す模式図
【図７】本発明の実施の形態１および２における送信動作の概略を示すフロー図
【図８】本発明の実施の形態１および２の送信動作におけるデータ生成ステップを示すフロー図
【図９】本発明の実施の形態１および２の送信動作におけるデータ送信ステップを示すフロー図
【図１０】本発明の実施の形態１および２の受信動作におけるライブ画像再生ステップを示すフロー図
【図１１】本発明の実施の形態１および２の受信動作におけるアラーム画像保存ステップを示すフロー図
【図１２】本発明の実施の形態１および２の受信動作におけるアラーム画像再生ステップを示すフロー図
【図１３】本発明の実施の形態１および２の送信動作におけるパケットの構成を示す模式図
【図１４】本発明の実施の形態２における画像伝送システムの概略構成を示す模式図
【図１５】本発明の実施の形態２における階層符号化データとその復号画質の関係を示す模式図
【図１６（Ａ）】本発明の実施の形態２における通常時に送信される階層符号化データの構成を示す模式図
【図１６（Ｂ）】本発明の実施の形態２におけるアラーム時に送信される階層符号化データの構成を示す模式図
【図１６（Ｃ）】本発明の実施の形態２におけるアラーム時に送信される別の階層符号化データの構成を示す模式図
【図１７】本発明の実施の形態３における画像送信装置の構成を示すブロック図
【図１８】本発明の実施の形態３における画像受信装置の構成を示すブロック図
【図１９（Ａ）】本発明の実施の形態３における通常時に送信される階層符号化データの構成を示す模式図
【図１９（Ｂ）】本発明の実施の形態３におけるアラーム時に送信される階層符号化データの構成を示す模式図
【図２０】本発明の実施の形態３における送信動作を示すフロー図
【図２１】本発明の実施の形態３の送信動作におけるデータ送信ステップを示すフロー図
【図２２】本発明の実施の形態３における受信動作を示すフロー図
【符号の説明】
【００８９】
１  基本階層
２  下位拡張階層
３  上位拡張階層
４  付加拡張階層
５  誤り訂正データ
１００  カメラ
１０１  送信装置
１０２Ａ〜１０２Ｄ  受信装置
１０３  マルチキャストネットワーク
３００  画像取得手段
３０１  符号化手段
３０２  送信画像記憶手段
３０３  状態取得手段
３０４  送信制御手段
３０５  送信手段
３０６  送信設定取得手段
３０７  訂正情報生成手段
４００  受信手段
４０１  受信画像記憶手段
４０２  復号手段
４０３  画像表示手段
４０４  表示制御手段
４０５  表示設定取得手段
４０６  受信状況送信手段
４０７  保存状況表示手段
４０８  誤り訂正手段
【図１】
2005151176.tif 000003
【図２】
2005151176.tif 000004
【図３】
2005151176.tif 000005
【図４】
2005151176.tif 000006
【図５（Ａ）】
2005151176.tif 000007
【図５（Ｂ）】
2005151176.tif 000008
【図５（Ｃ）】
2005151176.tif 000009
【図６】
2005151176.tif 000010
【図７】
2005151176.tif 000011
【図８】
2005151176.tif 000012
【図９】
2005151176.tif 000013
【図１０】
2005151176.tif 000014
【図１１】
2005151176.tif 000015
【図１２】
2005151176.tif 000016
【図１３】
2005151176.tif 000017
【図１４】
2005151176.tif 000018
【図１５】
2005151176.tif 000019
【図１６（Ａ）】
2005151176.tif 000020
【図１６（Ｂ）】
2005151176.tif 000021
【図１６（Ｃ）】
2005151176.tif 000022
【図１７】
2005151176.tif 000023
【図１８】
2005151176.tif 000024
【図１９（Ａ）】
2005151176.tif 000025
【図１９（Ｂ）】
2005151176.tif 000026
【図２０】
2005151176.tif 000027
【図２１】
2005151176.tif 000028
【図２２】
2005151176.tif 000029