(57)【要約】【課題】画像フレーム上のマクロブロックを含む重要なブロックを効率良く伝送することができる動画像データ伝送装置及び動画像データ伝送方法を提供する。【解決手段】画像フレームＦ１のマクロブロックＭＢ１と画像フレームＦ２のマクロブロックＭＢ２との画素変化量に応じてマクロブロックＭＢ１の重みを決定して該マクロブロックＭＢ１に付与し、さらに、付与した重みに基づいてマクロブロックＭＢ１が含まれる伝送パケットの伝送方法の制御を行う。これにより、重要なマクロブロックを効率良く伝送することができる。【選択図】図２
2010278894.tif 000002
【特許請求の範囲】
【請求項１】
動画像データを伝送する動画像データ伝送装置であって、
第１の画像フレーム上における第１ブロックと前記第１の画像フレームよりも前に再生される第２の画像フレーム上の第２ブロックとの画素の変化量を求める画素変化判定部と、
前記画素変化判定部で求められた前記画素の変化量をもとに前記第１ブロックに重みを付与する重み付与部と、
前記重み付与部によって付与された前記重みに基づいて前記第１ブロックの伝送方法を制御する伝送方法制御部と、
を備えた動画像データ伝送装置。
【請求項２】
前記画素変化判定部は、前記第１ブロックの輝度信号と前記第２ブロックの輝度信号の変化量を測定する請求項１に記載の動画像データ伝送装置。
【請求項３】
前記画素変化判定部は、前記第１ブロックの色差信号と前記第２ブロックの色差信号のの変化量を測定する請求項１に記載の動画像データ伝送装置。
【請求項４】
前記伝送方法制御部は、前記重み付与部で付与された前記第１ブロックの前記重みをもとに前記第１ブロックを含む第１伝送パケットに重要度を設定する請求項１乃至請求項３のいずれかに記載の動画像データ伝送装置。
【請求項５】
前記伝送方法制御部は、前記第１伝送パケットの重要度を基に送信回数を設定する請求項４に記載の動画像データ伝送装置。
【請求項６】
前記伝送方法制御部は、前記第１伝送パケットの重要度を基に誤り訂正符号を設定する請求項４に記載の動画像データ伝送装置。
【請求項７】
動画像データを伝送する動画像データ伝送方法であって、
第１の画像フレーム上における第１ブロックと前記第１の画像フレームよりも前に再生される第２の画像フレーム上の第２ブロックとの画素の変化量を求める画素変化判定ステップと、
前記画素変化判定ステップで求められた前記画素の変化量をもとに前記第１ブロックに重みを付与する重み付与ステップと、
前記重み付与ステップによって付与された前記重みに基づいて前記第１ブロックの伝送方法を制御する伝送方法制御ステップと、
を備えた動画像データ伝送方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、監視カメラ等の動画像データの伝送を行う電子機器に用いて好適な動画像データ伝送装置及び動画像データ伝送方法に関する。
【背景技術】
【０００２】
従来の動画像データ伝送装置として、例えば特許文献１で開示されているものが知られている。特許文献１で開示された動画像データ伝送装置は、第１の画像フレーム上における参照画像要素の位置と前記第１の画像フレームよりも後に再生される第２の画像フレーム上において前記参照画像要素を含むマクロブロックの位置とに基づいて前記後方マクロブロックの動きベクトルを演算するベクトル演算部と、前記動きベクトル演算部によって演算された前記動きベクトルに基づいて前記参照画像要素を含む前記第１の画像フレーム上の領域である参照画像ブロックを決定する参照画像ブロック決定部と、前記第１の画像フレーム上におけるマクロブロックと前記参照画像ブロックとが画像フレーム上において重なる重複領域の割合に応じて前記マクロブロックに重みを付与する重み付与部と、前記重み付与部によって付与された前記重みに基づいて前記マクロブロックの伝送方法を制御する伝送方法制御部と、を備えている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００８−２６３６５８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した従来の動画像データ伝送装置においては、第１の画像フレームのマクロブロックの重みを付加する際に、第１の画像フレームよりも後に再生される第２の画像フレームの動きベクトルを必要とするため、第２の画像フレームの符号化処理が終わるのを待つ必要がある。このようなことから、第１の画像フレームのマクロブロックに重みを付与するのに時間がかかり、重要なマクロブロック（例えば画像の変化の大きい重要部分）を効率良く伝送することができないという問題がある。
【０００５】
本発明は、係る事情に鑑みてなされたものであり、画像フレーム上の重要なブロック（マクロブロックを含む）を効率良く伝送することができる動画像データ伝送装置及び動画像データ伝送方法を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明の動画像データ伝送装置は、動画像データを伝送する動画像データ伝送装置であって、第１の画像フレーム上における第１ブロックと前記第１の画像フレームよりも前に再生される第２の画像フレーム上の第２ブロックとの画素の変化量を求める画素変化判定部と、前記画素変化判定部で求められた前記画素の変化量をもとに前記第１ブロックに重みを付与する重み付与部と、前記重み付与部によって付与された前記重みに基づいて前記第１ブロックの伝送方法を制御する伝送方法制御部と、を備えた。
【０００７】
この構成によれば、第１ブロックと第２ブロックとの画素の変化量に応じて第１ブロックに重みを付与し、さらに、付与した重みに基づいて第１ブロックの伝送方法を制御するので、重要なブロックを効率良く伝送することができる。
【０００８】
上記構成において、前記画素変化判定部は、前記第１ブロックの輝度信号と前記第２ブロックの輝度信号の変化量を測定する。
【０００９】
この構成によれば、第１ブロックに適確な重みを付与することができる。
【００１０】
上記構成において、前記画素変化判定部は、前記第１ブロックの色差信号と前記第２ブロックの色差信号の変化量を測定する。
【００１１】
この構成によれば、第１ブロックに適確な重みを付与することができる。
【００１２】
上記構成において、前記伝送方法制御部は、前記重み付与部で付与された前記第１ブロックの前記重みをもとに前記第１ブロックを含む第１伝送パケットに重要度を設定する。
【００１３】
この構成によれば、重要なブロックを伝送することができる。
【００１４】
上記構成において、前記伝送方法制御部は、前記第１伝送パケットの重要度を基に送信回数を設定する。
【００１５】
この構成によれば、重要なブロックを確実に伝送することができる。
【００１６】
上記構成において、前記伝送方法制御部は、前記第１伝送パケットの重要度を基に誤り訂正符号を設定する。
【００１７】
この構成によれば、重要なブロックを含むパケットを確実に受信側に伝送することができる。
【００１８】
本発明の動画像データ伝送方法は、動画像データを伝送する動画像データ伝送方法であって、第１の画像フレーム上における第１ブロックと前記第１の画像フレームよりも前に再生される第２の画像フレーム上の第２ブロックとの画素の変化量を求める画素変化判定ステップと、前記画素変化判定ステップで求められた前記画素の変化量をもとに前記第１ブロックに重みを付与する重み付与ステップと、前記重み付与ステップによって付与された前記重みに基づいて前記第１ブロックの伝送方法を制御する伝送方法制御ステップと、を備えた。
【００１９】
この方法によれば、第１ブロックと第２ブロックとの画素の変化量に応じて第１ブロックに重みを付与し、さらに、付与した重みに基づいて第１ブロックの伝送方法を制御するので、重要なブロック（マクロブロックを含む）を効率良く伝送することができる。
【発明の効果】
【００２０】
本発明は、画像フレーム上の重要なブロックを効率良く伝送することができる。
【図面の簡単な説明】
【００２１】
【図１】本発明の実施の形態１に係る動画像データ伝送装置の概略構成を示すブロック図
【図２】図１の動画像データ伝送装置における画像フレームの構成例を示す図
【図３】図１の動画像データ伝送装置の動作を説明するためのフローチャート
【発明を実施するための形態】
【００２２】
以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。
【００２３】
（実施の形態１）
図１は、本発明の実施の形態１に係る動画像データ伝送装置の概略構成を示すブロック図である。同図において、本実施の形態の動画像データ伝送装置１は、画像フレーム入力部１０と、画素変化判定部１１と、重み付与部１２と、伝送方法制御部１３と、通信部１４とを備える。なお、本実施の形態の動画像データ伝送装置が適用されるものとして、監視カメラがあるが、監視カメラに限らず動画像データを伝送する全ての電子機器に適用可能である。
【００２４】
画像フレーム入力部１０は、動画像データが蓄積されている記憶装置や、動画像データを取り込むカメラなどから動画像データを取得する。画像フレーム入力部１０は、取得した動画像データを１フレームずつ画素変化判定部１１に与える。画素変化判定部１１は、画像フレーム入力部１０からの時間的に前後する画像フレームから画素の変化量を求める。すなわち、画素変化判定部１１は、画像フレームＦ１と、この画像フレームＦ１より前に再生される画像フレームＦ２との各画素を比較し、その変化量を求める。この場合、画素の比較方法は、“輝度”と“色差”のいずれか一方、または両方を用いて行う。また、画素の比較を行う範囲は、マクロブロックまたは特定ブロック単位で処理を行う。
【００２５】
例えば図２において、画像フレームＦ１のマクロブロックＭＢ１と画像フレームＦ２のマクロブロックＭＢ２は、画像フレーム内の同じ位置にある。したがって、マクロブロックＭＢ２は、マクロブロックＭＢ１が再生された後に同じ場所に再生される。比較方法として色差を利用する場合は、マクロブロックＭＢ１とマクロブロックＭＢ２との各画素の色差を求め、各画素の色差の合計をマクロブロックＭＢ１とマクロブロックＭＢ２の画素変化量とする。同様に、比較方法として輝度を利用する場合は、マクロブロックＭＢ１の各画素の輝度とマクロブロックＭＢ２の各画素の輝度の差の合計をマクロブロックＭＢ１とマクロブロックＭＢ２との画素変化量とする。
【００２６】
図１に戻り、重み付与部１２は、画素変化判定部１１で求められたマクロブロックＭＢ１とマクロブロックＭＢ２の画素変化量をもとにマクロブロックＭＢ１の重みＷ１を決定する。マクロブロックＭＢ１とマクロブロックＭＢ２の画素変化量が大きい場合は、マクロブロックＭＢ１の情報がないときの再生画像に与える影響が大きいので、マクロブロックＭＢ１の重みＷ１を大きくする。一方、マクロブロックＭＢ３とマクロブロックＭＢ４の画素変化量が小さい場合は、マクロブロックＭＢ３の情報が無いときの再生画像に与える影響が小さいので、マクロブロックＭＢ３の重みＷ２を小さくする。
【００２７】
伝送方法制御部１３は、重み付与部１２で与えられたマクロブロックＭＢ１の重みをもとにマクロブロックＭＢ１が含まれる伝送パケットＰ１の伝送方法の制御を行う。重みの大きいマクロブロックを含む伝送パケットは、伝送パケットの欠落時の再生画像に与える影響が大きい。一方、重みの小さいマクロブロックを含む伝送パケットは、伝送パケットの欠落時の再生画像に与える影響が小さい。したがって、伝送方法制御部１３は、伝送パケットに含まれるマクロブロックの重みの合計をもとに伝送パケットの重要度Ｑを設定する。さらに、伝送パケットの重要度Ｑに応じて、伝送パケットごとに通信部１４に伝送方法を設定する。具体的には、重要度Ｑが閾値以上の場合は、伝送パケットの送信回数をｍ回に設定する。また、重要度Ｑが閾値未満の場合は、伝送パケットの送信回数をｎ回に設定する。但し、ｍはｎより大きい値である。重要なマクロブロックに対して送信回数を多くすることで、重要なマクロブロックを確実に伝送することが可能となる。
【００２８】
通信部１４は、動画像データの通信部であり、動画像データを伝送パケットに分割し、伝送する。また、伝送パケットごとに伝送方法制御部１３によって設定された伝送方法に応じて伝送パケットの伝送を行う。具体的には、伝送方法制御部１３でｍ回に設定された伝送パケットは最大ｍ回まで伝送パケットの送信を行う。
【００２９】
図３は、本実施の形態の動画像データ伝送装置１の動作を示すフローチャートである。同図において、まず動画像データが蓄積されている記憶装置や、動画像データを取り込むカメラなどから動画像データを取得する（ステップＳ１０）。次いで、画像フレームＦ１とこの画像フレームＦ１より前に再生される画像フレームＦ２との各画素を比較し、その変化量を求める（ステップＳ１１）。この場合、前述したように、色差を利用する場合は、図２に示すマクロブロックＭＢ１とマクロブロックＭＢ２との各画素の色差を求め、その各画素の色差の合計をマクロブロックＭＢ１とマクロブロックＭＢ２の画素変化量とする。輝度を利用する場合は、マクロブロックＭＢ１の各画素の輝度とマクロブロックＭＢ２の各画素の輝度の差の合計をマクロブロックＭＢ１とマクロブロックＭＢ２との画素変化量とする。
【００３０】
次いで、画素変化判定で求められたマクロブロックＭＢ１とマクロブロックＭＢ２の画素変化量をもとにマクロブロックＭＢ１の重みＷ１を決定し付与する（ステップＳ１２）。この場合、マクロブロックＭＢ１とマクロブロックＭＢ２の画素変化量が大きい場合は、マクロブロックＭＢ１の重みＷ１を大きくする。また、マクロブロックＭＢ３とマクロブロックＭＢ４の画素変化量が小さい場合は、マクロブロックＭＢ３の重みＷ２を小さくする。
【００３１】
ブロックに対する重み付けは、フレーム内の全てのブロックに対して行うので、全てのブロックに対する重み付けを行ったかどうかを判定する（ステップＳ１３）。フレーム内の全てのブロックに対して重み付けを行っていない場合はステップＳＴ１１に戻り、全てのブロックに対して重み付けを完了するまで同様の処理を繰り返す。フレーム内の全てのブロックに対して重み付けを行った場合はパケット送信を行う（ステップＳ１４）。
【００３２】
このように本実施の形態の動画像データ伝送装置１によれば、画像フレームＦ１のマクロブロックＭＢ１と画像フレームＦ２のマクロブロックＭＢ２との画素変化量に応じてマクロブロックＭＢ１の重みを決定して該マクロブロックＭＢ１に付与し、さらに、付与した重みに基づいてマクロブロックＭＢ１が含まれる伝送パケットＰ１の伝送方法の制御を行う。これにより、重要なマクロブロックを効率良く伝送することができる。
【００３３】
（実施の形態２）
次に、実施の形態２に係る動画像データ伝送装置２について説明する。なお、以下、実施の形態１と異なる部分について主に説明するものとし、同様の部分については、説明を適宜省略する。
【００３４】
本実施の形態の動画像データ伝送装置２の伝送方法制御部１３Ａは、伝送パケットの重要度Ｑに応じて、伝送パケットごとに誤り訂正符号の有り／無しを設定する。具体的には、重要度Ｑが閾値以上の伝送パケットの場合は、誤り訂正符号が有りと設定する。また、重要度Ｑが閾値未満の伝送パケットの場合は、誤り訂正符号が無しと設定する。
【００３５】
動画像データ伝送装置２の通信部１４Ａは、伝送方法制御部１３Ａによって設定された誤り訂正符号の有り／無しに応じて、誤り訂正符号の有りの場合は、伝送パケットの誤り訂正符号を生成して、誤り訂正符号をパケット化して伝送する。
【００３６】
このように本実施の形態の動画像データ伝送装置２によれば、伝送パケットの重要度Ｑに応じて、伝送パケットごとに誤り訂正符号の有り／無しを設定し、誤り訂正符号の有りの場合は、伝送パケットの誤り訂正符号を生成して、誤り訂正符号をパケット化して伝送するので、重要なマクロブロックを含むパケットを確実に受信側に伝送することができる。
【産業上の利用可能性】
【００３７】
本発明は、画像フレーム上のマクロブロックを含む重要なブロックを効率良く伝送することができるといった効果を有し、監視カメラ等の動画像データの伝送を行う電子機器への適用が可能である。
【符号の説明】
【００３８】
１、２  動画像データ伝送装置
１０  画像フレーム入力部
１１  画素変化判定部
１２  重み付与部
１３、１３Ａ  伝送方法制御部
１４、１４Ａ  通信部
Ｆ１、Ｆ２  画像フレーム
ＭＢ１〜ＭＢ４  マクロブロック
【図１】
2010278894.tif 000003
【図２】
2010278894.tif 000004
【図３】
2010278894.tif 000005