(57)【要約】【課題】パン、チルトあるいはズーム機能等の制御機能付カメラと動画像圧縮装置を組み合わせた場合、カメラを動かすことが原因で画像圧縮データの画質劣化が発生する。【解決手段】映像信号入力部と、上記映像信号入力部からの映像信号を画像圧縮する圧縮処理部と上記圧縮処理部からの圧縮データを伝送路に送出する送信バッファ部と、上記映像信号を発生する撮像部の動きを解析する動き解析部および上記送信バッファ部からの符号量情報に基き上記圧縮処理部の圧縮率を制御する発生符号量制御部とからなり、上記発生符号量制御部は、上記撮像部の複数の動き状態に対応した発生符号量制御機能を有し、上記動き解析部からの情報に基き上記発生符号量制御部の複数の発生符号量制御機能を選択するように構成される。【選択図】図１
2004297266.tif 000002
【特許請求の範囲】
【請求項１】
映像信号入力部と、上記映像信号入力部からの映像信号を画像圧縮する圧縮処理部と上記圧縮処理部からの圧縮データを伝送路に送出する送信バッファ部と、上記映像信号を発生する撮像部の動きを解析する動き解析部および上記送信バッファ部からの符号量情報に基き上記圧縮処理部の圧縮率を制御する発生符号量制御部とからなり、上記発生符号量制御部は、上記撮像部の複数の動き状態に対応した発生符号量制御機能を有し、上記動き解析部からの情報に基き上記発生符号量制御部の複数の発生符号量制御機能を選択することを特徴とする動画像圧縮装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、動画像圧縮装置に関し、特に、カメラ制御に連動した動画像圧縮装置に関するものである。
【０００２】
【従来の技術】
動画像を撮影するカメラには、カメラのパン、チルト方向や倍率を外部よりリモート制御できる機能を持ったカメラがある。このような制御機能付きカメラと動画像圧縮装置を組み合わせたシステムが実用化されている。例えば、パン、チルトの制御機能付きカメラには、雲台付カメラがある。また動画像圧縮装置は、例えば、ＩＳＯ規格で定められているＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式などの動画像圧縮技術を用いてデータ量を減らし伝送する装置がある。
【０００３】
図２は、動画像伝送システムの構成の一例を示す図である。このシステムは、ネットワークを経由し、カメラ画像を伝送し、モニタに表示するものである。このシステム構成は、カメラ装置２１、動画像圧縮装置２２、ネットワーク２３、動画像伸張装置２４、モニタ２５および操作器２６からなる。以下にその動作を説明する。
【０００４】
カメラ装置２１で撮影された被写体の映像信号２７は、動画像圧縮装置２２を介してネットワーク２３に送られる。また、動画像圧縮装置２２からは、カメラ制御信号２８がカメラ装置２１に入力される。
【０００５】
動画像圧縮装置２２は、カメラ２１から入力された映像信号２７に対し、例えば、ＭＰＥＧ２の圧縮方式で画像圧縮処理を行い、画像圧縮データをネットワーク２３へ出力する。また、ネットワーク２３から入力されたカメラ制御データを、カメラ制御信号２８としてカメラ２１へ出力する。
【０００６】
ネットワーク２３は、画像圧縮データを動画像圧縮装置２２から動画像伸張装置２４へ伝送する。また、カメラ制御データは、動画像伸張装置２４から動画像圧縮装置２２へ伝送する。
【０００７】
動画像伸張装置２４は、ネットワーク２３から入力された画像圧縮データに対し画像伸張処理で、復号処理を行い、元の映像信号２９としてモニタ２５へ出力する。また、操作器２６から入力されたカメラ制御信号３０は、カメラ制御データとしてネットワーク２３へ出力する。モニタ２５は、入力された映像信号２９の画像を表示する。
【０００８】
操作器２６は、カメラ装置２１のパン、チルトあるいはズームを操作するためのレバーやボタンが取り付けられており、レンズの向きや倍率等の機能を制御することが出来る。従って、操作器２６のレバーを倒したりボタンを押すことにより、カメラ装置２１を制御するためのカメラ制御信号３０を出力する。
【０００９】
而して、カメラ２１で撮影した画像データは、映像信号２７として動画像圧縮装置２２へ出力される。動画像圧縮装置２２は、画像データに対し所定の画像圧縮処理を行い、圧縮データをネットワーク２３へ出力する。
【００１０】
ネットワーク２３を経由した画像圧縮データは、動画像伸張装置２４へ入力される。動画像伸張装置２４では、画像伸張処理を行い、映像信号２９をモニタ２５へ出力する。
【００１１】
カメラ操作を行う場合、操作器２６を操作する。操作器２６に取り付けられたレバーやボタンは、カメラ２１のレンズの向きや倍率等を制御するための機能が割り当てられている。例えば、操作器２６のレバーを右に倒すとカメラ２１のレンズの向きが右に動き、ズームボタンを押すとカメラ２１は、ズームを行うといったように機能を割り当てている。レバーやボタン等を操作した情報は、カメラ制御信号３０として動画像伸張装置２４へ出力される。
【００１２】
動画像伸張装置２４では、入力されたカメラ制御信号３０をカメラ制御データとしてネットワーク２３へ出力する。ネットワーク２３を経由したカメラ制御データは、動画像圧縮装置２２へ入力され、カメラ制御信号２８としてカメラ装置２１へ出力する。
【００１３】
動画像圧縮装置２２では、所定の伝送容量を持つ伝送路、例えば、ネットワーク２３に圧縮データを伝送する必要から、レートコントロールと呼ばれる符号量の制御が行なわれる。即ち、ネットワーク２３の伝送容量を越えないように画像データの圧縮率を変えることで動画像圧縮装置２２からの発生符号量を制御している。また、上述したＭＰＥＧ２の圧縮方式では、圧縮したデータ量を少なくするために時間的に前後した画像間の画素相関を利用し、画像の変化分だけを符号化し、伝送する方法が取られている。このため、ほとんど被写体が動かないような画像は、時間的に前後した画像が似通っているので、画像相関が高く、発生符号量は小さくなる。一方被写体に動きがあるような場合、前後の画像の相関がほとんど無いため、画素間の変化分が多く、符号化の際の発生符号量は大きくなる。このように発生符号量が増えた場合、次の画像の圧縮処理では、圧縮率を高くし発生符号量を減らす方法が取られるが、これは伝送する画像の画質劣化を生じさせる。
【００１４】
次に、動画像圧縮装置２２の構成を図３に示す。なお、図２と同じものには同じ符号が付されている。動画像圧縮装置２２は、圧縮処理部３１、送信バッファ３２、発生符号量制御部３３からなる。圧縮処理部３１は、入力された映像信号２７に対し所定の圧縮処理を行い、画像圧縮データ３４として送信バッファ３２へ出力する。また、発生符号量制御部３３から入力された発生符号量制御信号３６により圧縮率が制御される。
【００１５】
送信バッファ３２は、入力された圧縮データ３４を一時的に蓄積し、ネットワーク２３の伝送レートに合わせた速度で画像圧縮データ３７として出力する。また、画像圧縮データの蓄積データ量を監視し、その情報を発生符号量情報３５として発生符号量制御部３３へ出力する。
【００１６】
発生符号量制御部３３は、入力された発生符号量情報３５を用いて送信バッファ３２の蓄積データ量を監視する。従って、送信バッファ３２の蓄積データ量に基いて圧縮処理部３１での圧縮率を決定し、発生符号量制御信号３６として圧縮処理部３１へ出力して、圧縮処理部３１が出力する画像圧縮データ３４の発生符号量を制御する。また、ネットワーク２３より入力されたカメラ制御データは、カメラ制御信号２８として、外部に接続されたカメラ２１に出力される。
【００１７】
図４は、動画像圧縮装置２２の圧縮率と発生符号量の関係を示す図である。以下、図３及び図４を用いて、動画像圧縮装置２２の動作を説明する。圧縮処理部３１では、入力された映像信号２７に対し圧縮処理を行う。圧縮処理は、例えばＭＰＥＧ方式であれば、ＤＣＴ（Ｄｉｓｃｒｅｔｅ  Ｃｏｓｉｎｅ  Ｔｒａｎｓｆｏｒｍ：離散コサイン変換）、量子化、ハフマン符号化と呼ばれる周知の技術の組み合わせで構成される。他の圧縮方式としてウェーブレット変換方式、算術符号化方式等の技術を用いることもできる。
【００１８】
送信バッファ３２では、蓄積された画像圧縮データ量から圧縮処理部３１での発生符号量を知ることが出来る。従って、送信バッファ３２では、画像圧縮データの蓄積量を発生符号量情報３５として発生符号量制御部３３へ出力する。
【００１９】
発生符号量制御部３３では、送信バッファ３２の画像圧縮データの蓄積量の変動から、前もって定められた目標とする符号量との差分データ量を計算し、圧縮率の増減値を決定する。この目標符号量と圧縮率の増減については後述する。
【００２０】
発生符号量制御信号３６により圧縮率が設定されると、圧縮処理部３１では、画像データを間引く割合を圧縮率に合わせ変化させ、画像圧縮データ３４の発生符号量を増減させる。
【００２１】
次に、圧縮率と発生符号量の制御、即ち、レートコントロールについて、図４を用いて説明をする。図４は、縦軸は、圧縮率と発生符号量を示し、横軸は、時間ｔを表している。発生符号量には、目標符号量４１という圧縮処理の目安が設定されている。この目標符号量４１は、画像圧縮データを伝送路、例えば、ネットワーク２３の伝送可能なデータ量から前もって設定される。あるいは、実験的に設定することも可能である。発生符号量と目標符号量は、単位時間あたりのデータ量を表している。レートコントロールの目的は、設定されている目標符号量４１を超えず、かつ、この目標符号量に近い符号量で符号化するように発生符号量を制御することである。例えば、図４において、Ａ点からＢ点までは、直線４２で示すように発生符号量が目標符号量４１に近づくように、従って、圧縮率は、直線４３で示すように低くなるように制御される。Ｂ点では、発生符号量が目標符号量４１を超えないよう圧縮率を高く制御している。これにより発生符号量は少なくなる。そしてＢ点からＣ点までは、発生符号量が目標符号量４１に近づくよう再び圧縮率を低く制御している。圧縮率と発生符号量の関係は、このようになっている。
【００２２】
而して、ＭＰＥＧ等の画像圧縮では、画面内を決まった画素単位で区切ったブロックと呼ばれる単位で圧縮処理を行っている。このため、１つの画面内で圧縮率を変更する最小の単位はブロックを基準とする。例えばＭＰＥＧ２では、１６×１６画素のマクロブロックと呼ばれる単位を基準としている。レートコントロールは、このマクロブロック毎に圧縮率を変更して、発生符号量を制御している。従って、１つの画面内でも圧縮率の異なるブロックが混在しており、圧縮率を高くし符号量を減らすと、画質劣化が生じる。
【００２３】
このような理由からパン、チルトあるいはズーム機能のような制御機能付きカメラを操作し、カメラを急激に上下左右に動かした場合、撮影した画像全体が変化するため、時間的に前の画像との相関が小さくなる。カメラをズームイン、ズームアウトした場合も同様である。このため、動画像圧縮装置が出力する発生符号量が増えるため、圧縮処理で圧縮率を高くする必要がある。前述したように圧縮率を高くすると画質劣化が生じる。従って、動画像伝送システムを監視用途で使用する場合、画質劣化により監視対象の映像が不鮮明になり、監視用途としての画質を満たさないことがある。
【００２４】
また、符号量を削減する方法として画像符号化装置（例えば、特許文献１参照。）が知られている。この装置は、画像の位置に応じて画質を制御すること、即ち、画像中央部の画質を保ったまま画像周辺部の画質劣化を許容する符号量制御方式である。
【００２５】
更に、符号量を削減する方法として動画像符号化方式（例えば、特許文献２参照。）が知られている。この方法は、動きベクトル情報及び量子化後のブロックデータをもとに、ブロックデータのデータ補正により強制的に非符号化マクロブロック領域を発生させ、符号化量削減を行い、他方のマクロブロックへ符号量を割当てることで画面全体の画質を向上させる技術である。
【００２６】
【特許文献１】
特開２０００−３３３１７２号公報（第３−５頁、第３図）
【特許文献２】
特開平９−３７２６８号公報（第４−５頁、第１図）
【００２７】
【発明が解決しようとする課題】
パン、チルトあるいはズーム機能等の制御機能付カメラと動画像圧縮装置を組み合わせた場合、カメラを動かすことが原因で画像圧縮データの画質劣化が発生する。
【００２８】
本発明の目的は、動画像圧縮に際して画質を向上する動画像圧縮装置を提供することである。
【００２９】
本発明の他の目的は、カメラの動きに合わせて圧縮率を変更する動画像圧縮装置を提供することである。
【００３０】
【課題を解決するための手段】
本発明の動画像圧縮装置は、映像信号入力部と、上記映像信号入力部からの映像信号を画像圧縮する圧縮処理部と上記圧縮処理部からの圧縮データを伝送路に送出する送信バッファ部と、上記映像信号を発生する撮像部の動きを解析する動き解析部および上記送信バッファ部からの符号量情報に基き上記圧縮処理部の圧縮率を制御する発生符号量制御部とからなり、上記発生符号量制御部は、上記撮像部の複数の動き状態に対応した発生符号量制御機能を有し、上記動き解析部からの情報に基き上記発生符号量制御部の複数の発生符号量制御機能を選択するように構成される。
【００３１】
また、本発明の動画像圧縮装置に於いて、上記発生符号量制御部は、上記撮像部の制御内容に応じて圧縮処理部の圧縮率を設定する制御部を有する。
【００３２】
更に、本発明の動画像圧縮装置に於いて、上記動き解析部は、撮像部を制御する制御データから撮影する画像範囲の変化を検出し、上記発生符号量制御部は、時間的に前後する画像との相関が低いと判断した画像領域の圧縮率を高くし、かつ他の領域の圧縮率を低くするように上記圧縮処理部を制御するように構成される。
【００３３】
【発明の実施の形態】
図５は、本発明の原理を説明するための図で、制御機能付カメラの制御と、カメラから得られる時間的に前後した画像間の相関について説明する図である。例えば、カメラの向きを制御し、カメラを右上に向けたとする。図５の（Ａ）は、カメラ向きを制御する前の被写体の撮影範囲を示している。カメラを制御し、カメラを右上に動かすと、図５（Ｂ）のように撮影範囲が右上に移動する。図５（Ａ）の移動前の撮影範囲５１と移動後の撮像範囲５２とを重ねて比較すると、図５（Ｂ）の斜線で示したカメラ移動前の撮影範囲５３を示す領域が新しい撮影範囲５２の外に出ている。従って、図５（Ｂ）のカメラ移動後の画像５２と斜線領域５１との画像の相関は、無い状態となる。つまり、斜線領域５３の画質が高くとも、カメラ移動後の画像とは相関が取れないため、カメラ移動後の画質の向上には関与せず、斜線領域５３に多くの符号量を割り当てても無駄ということになる。一方、図５（Ａ）と図５（Ｂ）の両方に存在する範囲の画像は、時間的に前後した画像間の相関が高いため、図５（Ａ）の時点で高画質であるほど少ない発生符号量で図５（Ｂ）の画質を向上させることが出来る。
【００３４】
以上の考え方を、カメラの向きを上下左右斜め８方向、カメラ位置固定、ズームイン、ズームアウトを含めた合計１１通りについて、その重なりぐあいの状態を示したのが図６である。なお、図６で矢印は、カメラの移動方向を示す。また、斜線部は、時間的に前の画像と相関が取れない、もしくは相関が低い領域を示す。
【００３５】
（１）から（８）までは、カメラの向きを動かしている。その場合に相関が低い領域（斜線で示す領域）は、カメラを動かした方向と反対方向に集中する。カメラ位置を固定した（９）は、画像全体が前の画像と同じになるので最も相関が高い。（１０）は、ズームインした画像を示し、周辺領域（斜線で示す領域）が画面の外に出るので、周辺の相関が低くなる。ズームアウトした（１１）の画像では画面外に出る領域がないので相関が高いが、画面全体が中央に向け収縮するため、完全に一致することは無い。
【００３６】
従って、本発明では、これら図６で示した斜線部分、つまり相関が低い領域の圧縮率を上げることで発生符号量を減らし、他の相関が高い領域の発生符号量を増やすことで効率的なレートコントロールを実現するものである。
【００３７】
図１は、本発明の一実施例を示す動画像圧縮装置のブロック構成図である。なお、この動画像圧縮装置は、図２に示す動画像伝送システムに使用されることは勿論である。動画像圧縮装置１は、圧縮処理部２、送信バッファ３、発生符号量制御部４、カメラ制御データ解析部５からなる。
【００３８】
圧縮処理部２、送信バッファ３は、図３で説明した圧縮処理部３１、送信バッファ３２と同様に、入力した映像信号２７に対し圧縮処理を行い、画像圧縮データ６として送信バッファ３へ出力する。送信バッファ３は、画像圧縮データ７をネットワーク２３へ出力する。
【００３９】
また、圧縮処理部２は、例えば、ＭＰＥＧ２の圧縮処理を行なっている場合には、マクロブロックのブロック位置をブロック位置情報８として発生符号量制御部４に出力する。発生符号量制御部４は、送信バッファ３から入力された発生符号量情報９と、圧縮処理部２より入力されたブロック位置情報８から圧縮率を決定し、発生符号量制御信号１０として圧縮処理部２へ出力する。
【００４０】
また、ネットワーク２３より入力されたカメラ制御データは、カメラ制御データ解析部５に入力され、発生符号量制御部４から制御部選択信号１１を出力する。また、カメラ制御データは、カメラ制御信号２８として外部に出力される。
【００４１】
次に、図１のカメラの動きに連動した動画像圧縮装置の動作を以下に説明する。圧縮処理部２では、入力された映像信号２７に対し圧縮処理を行い、圧縮データ６として送信バッファ３へ出力する。送信バッファ３では、蓄積された圧縮データ量を発生符号量情報９として発生符号量制御部４へ出力する。また、圧縮データ７をネットワーク２３へ出力する。
【００４２】
発生符号量制御部４は、送信バッファから送られた発生符号量情報９に基き目標とする符号量との差分データ量を計算し、図４で示した方法で圧縮率の増減値を決定する。発生符号量制御部４は、カメラの動きに応じて発生符号量を制御するように構成されている。例えば、図６に示すようにカメラの動きの状態が１１個の状態を取るとした場合、発生符号量制御部４は、状態符号量制御部４−１、４−２、・・・４−１１の１１個の符号量制御部を有し、カメラ制御データ解析部５より入力される制御部選択信号１１によりいずれか１つの状態符号量制御部が選択される。そして選択された状態符号量制御部の発生符号量制御信号１０が圧縮処理部２へ入力される。
【００４３】
発生符号量制御信号１０により圧縮率が設定されると、圧縮処理部では、データを間引く割合を圧縮率に合わせ変化させ、圧縮データ６の発生符号量を増減するように制御する。
【００４４】
カメラ制御データ解析部５が出力する制御部選択信号１１の内容は、ネットワーク２３から入力されたカメラ制御データにより決定される。本実施例では、この関係は、図６で説明した１１通りのカメラの動きと、状態符号量制御部４−１、４−２、・・・４−１１の１１個の状態符号量制御部が１対１で対応するとして説明する。例えば、カメラが左上へ移動すると、状態符号量制御部４−１が選択される。従って、状態符号量制御部４−１は、画面右下の領域（斜線で示す領域）の圧縮率が高くなるよう制御される。同様に、例えばズームインの場合、状態符号量制御部４−１０が選択され、状態符号量制御部４−１０は、画像の周囲の圧縮率が高くなるよう制御される。
【００４５】
而して、このような動作には、現在圧縮処理を行っているブロックが画像のどの位置にあるかの情報を発生符号量制御部４が知らなければならない。そのため、圧縮処理部２は、現在圧縮処理を行っているブロック位置をブロック位置情報８として発生符号量制御部４に出力する。
【００４６】
なお、カメラの移動は、一定速度とは限らないため、カメラの移動速度が速いほど、図５（Ｂ）の斜線で示した領域は広くなる。そのため、カメラの移動速度の違いにより上記領域の広さが異なる複数種類の状態符号量制御部を準備することで達成することができる。
【００４７】
以上、本発明について詳細に説明したが、本発明は、ここに記載された動画像圧縮装置に限定されるものではなく、上記以外の動画像圧縮装置に広く適応することが出来ることは、言うまでも無い。
【００４８】
【発明の効果】
以上説明したように本発明は、監視等によりカメラを動かした場合にも画像圧縮データの画質の劣化を抑えた動画像圧縮装置を実現することが可能であり、実用に供し効果が極めて大きいという利点がある。
【図面の簡単な説明】
【図１】本発明の一実施例を説明するためのブロック図である。
【図２】本発明が適用される動画像伝送システムの概略構成を示す図である。
【図３】従来の動画像圧縮装置の一例を示すブロック構成図である。
【図４】動画像圧縮装置における圧縮率と発生符号量の関係を表す図である。
【図５】本発明の原理を説明するための図である。
【図６】本発明の動作を説明するための原理説明図である。
【符号の説明】
１：動画像圧縮装置、２：圧縮処理部、３：送信バッファ、４：発生符号量制御部、５：カメラ制御データ解析部、６、７：圧縮データ、８：ブロック位置情報、９：発生符号量情報、１０：発生符号量制御信号、１１：制御部選択信号、２１：カメラ、２２：動画像圧縮装置、２３：ネットワーク、２４：動画像伸張装置、２５：モニタ、２６：操作器、２７：映像信号、２８：カメラ制御信号。
【図１】
2004297266.tif 000003
【図２】
2004297266.tif 000004
【図３】
2004297266.tif 000005
【図４】
2004297266.tif 000006
【図５】
2004297266.tif 000007
【図６】
2004297266.tif 000008