(57)【特許請求の範囲】
【請求項１】
画像データを圧縮し伝送する画像圧縮処理部と、この画像圧縮処理部の前段に設けられたフレーム動き判断部とからなり、
前記フレーム動き判断部は、
入力されてくる１フレーム分の画像データを格納する第１のフレームメモリと、
前記第１のフレームメモリの１フレーム分の画像データにおける複数のマクロブロックのうちその一部のマクロブロックに限定して出力する特定マクロブロック限定部と、
前フレームの画像データを格納する第２のフレームメモリと、
前記第２のフレームメモリの前記前フレームの画像データにおいて前記特定マクロブロック限定部によって限定された特定マクロブロックと最も相関の高いマクロブロックを探索ブロックとして検出する動き補償処理部と、
前記特定マクロブロックと前記探索ブロックとの差分演算を行う差分処理部と、
前記差分処理部で差分演算された結果のデータにつきフレーム単位で差分絶対和を算出する演算部と、
前記演算部による前記差分絶対和を所定のしきい値と比較して画像の動きの大小を判断し、動きが大と判断したときに前記第１のフレームメモリにおける１フレーム分の画像データを前記画像圧縮処理部に送出する動き判断部とを備えていることを特徴とする画像処理装置。
【請求項２】
画像データを圧縮し伝送する画像圧縮処理部と、この画像圧縮処理部の前段に設けられたフレーム動き判断部とからなり、
前記フレーム動き判断部は、
入力されてくる１フレーム分の画像データを格納する第１のフレームメモリと、
前記第１のフレームメモリの１フレーム分の画像データにおける複数のマクロブロックにつき、初期ではすべてのマクロブロックを出力し、初期以外では一部のマクロブロックに限定して特定マクロブロックとして出力する特定マクロブロック限定部と、
前フレームの画像データを格納する第２のフレームメモリと、
前記第２のフレームメモリの前記前フレームの画像データにおいて前記特定マクロブロック限定部から入力したマクロブロックと最も相関の高いマクロブロックを探索ブロックとして検出する動き補償処理部と、
前記入力したマクロブロックと前記探索ブロックとの差分演算を行う差分処理部と、
前記差分処理部で差分演算された結果のデータにつきフレーム単位で差分絶対和を算出する演算部と、
マクロブロックごとに前記差分処理部で差分演算された結果のデータを複数フレームについて累積し、前記複数フレーム分のデータを累積した後に差分累積値が所定値より大きなマクロブロックを抽出し、抽出したマクロブロックの位置を前記特定マクロブロック限定部に対して一部に限定する前記特定マクロブロックとして指示する差分累積テーブル部と、
前記差分累積テーブル部による前記特定マクロブロックの指示の後に、前記演算部による前記差分絶対和を所定のしきい値と比較して画像の動きの大小を判断し、動きが大と判断したときに前記第１のフレームメモリにおける１フレーム分の画像データを前記画像圧縮処理部に送出する動き判断部とを備えていることを特徴とする画像処理装置。
【発明の詳細な説明】
【０００１】
【産業上の利用分野】
本発明は、画像データを圧縮し伝送する画像処理装置に関するものである。
【０００２】
【従来の技術】
近年、ＣＣＩＴＴ（国際電信電話諮問委員会）において、オーディオビジュアル・サービス用のビデオ符号化方式，静止画像符号化方式，多重化方式，通信手順等が正式勧告され、それに伴って各社からＣＣＩＴＴ勧告に準拠したテレビ会議システムやテレビ電話などの画像処理装置が発表されている。
【０００３】
以下、図面を参照しながら従来の画像処理装置について説明する。
【０００４】
図３は従来の画像処理装置の機能ブロック図である。図３において、８は入力マクロブロック（マクロブロックは１フレームのデータを一定の大きさに分割したもの）を直接利用するフレーム内モードで処理を行うか、あるいは直前のフレームである前フレームを利用したフレーム間モードで処理を行うかの判断をするフレーム内／フレーム間判断部、９はフレーム間モードで処理を行う場合に入力マクロブロックと最も相関の高いマクロブロックである探索ブロックをフレームメモリＦＭ３に格納されている前フレームより検出する画像動き補償処理部、１０は入力マクロブロックと前記画像動き補償処理部９で検出された探索ブロックとの差分演算を行って差分ブロックとして出力する画像差分処理部である。１１はフレーム内モードの場合には入力マクロブロックを対象として、また、フレーム間モードの場合には前記画像差分処理部１０で算出された差分ブロックを対象として、それぞれ、ディスクリート・コサイン変換（離散コサイン変換：以下、ＤＣＴ変換と記載する）等の変換方式で情報量の削減を行う変換処理部、１２は前記変換処理部１１で変換されたマクロブロックデータを離散的な値に近似する量子化処理部である。１５は前記量子化処理部１２で量子化されたマクロブロックデータを復元するために逆量子化する逆量子化処理部、１６は前記逆量子化処理部１５で逆量子化されたマクロブロックデータを逆ディスクリート・コサイン変換（以下、逆ＤＣＴ変換と記載する）等の変換方式で逆変換を行い、フレームメモリＦＭ３に出力する逆変換処理部である。１３は前記量子化処理部１２で量子化されたマクロブロックデータを順次読み出し、マクロブロックデータの符号化を行う可変長符号化処理部、１４は通信網に接続するための制御を行うとともに、前記可変長符号化処理部１３で符号化されたマクロブロックデータを相手側画像処理装置に送出する網インタフェース処理部である。
【０００５】
次に、図３のように構成された従来の画像処理装置について、動画像のデータを圧縮し伝送する一連の動作を説明する。
【０００６】
網インタフェース処理部１４は通信網を介して相手側画像処理装置との間で通信チャネルの接続制御を行って通信可能状態とし、この後、１フレームのデータを一定の大きさに分割したマクロブロックごとに、フレーム内／フレーム間判断部８に対して１フレームすべてのデータ入力が行われる。フレーム内／フレーム間判断部８では、入力マクロブロックごとに、最初のフレーム中のマクロブロックデータか、シーンチェンジフレーム中のマクロブロックデータか、フレーム間モードで何ブロック処理したか等の判断基準に基づいて、フレーム内モードで処理を行うかあるいはフレーム間モードで処理を行うかを判断し、フレーム内モードの場合は変換処理部１１に入力マクロブロックデータの転送を行い、フレーム間モードの場合は画像動き補償処理部９へ入力マクロブロックデータの転送を行う。
【０００７】
画像動き補償処理部９では、フレーム内／フレーム間判断部８よりマクロブロックデータの入力が行われると、入力マクロブロックとフレームメモリＦＭ３中で同位置のマクロブロックの周辺を含むデータをフレームメモリＦＭ３より入力し、最小差分絶対値和等を利用した手法で、上記近傍のデータ中で入力マクロブロックと最も相関の高いマクロブロックである探索ブロックを検出し、探索ブロックと入力マクロブロックとの位置の変位（動きベクトル）を求める。画像差分処理部１０では、入力マクロブロックと画像動き補償処理部９で検出された探索ブロックの差分演算による差分ブロックを変換処理部１１に転送する。
【０００８】
変換処理部１１においては、フレーム内モードの場合はフレーム内／フレーム間判断部８より入力マクロブロックが転送されてくるし、フレーム間モードの場合は画像差分処理部１０より入力マクロブロックと探索ブロックとの差分ブロックが転送されてくる。そして、入力マクロブロックと差分ブロックとのいずれかのブロックをＤＣＴ変換等の変換方式で情報量の削減のために変換処理を行う。
【０００９】
量子化処理部１２では、変換処理部１１で変換されたマクロブロックデータを情報量の削減やディジタル網で伝送するために離散的な値に近似する。
【００１０】
逆量子化処理部１５および逆変換処理部１６においては、画像動き補償処理部９で探索ブロックを検出するのに必要なデータをフレームメモリＦＭ３に格納するため、量子化処理部１２で量子化されたマクロブロックデータに対して逆量子化処理および逆ＤＣＴ変換等の逆変換処理を行い、フレーム内モードの場合は上記処理を行ったマクロブロックをフレームメモリＦＭ３内の入力マクロブロックと同位置に格納し、フレーム間モードの場合は上記処理を行ったマクロブロックと探索ブロックとの加算演算の結果のマクロブロックをフレームメモリＦＭ３内の入力マクロブロックと同位置に格納する。
【００１１】
以上のような一連の動作を複数のマクロブロックについて繰り返すことにより、１フレーム分の圧縮された符号化データを相手側画像処理装置に伝送する。
【００１２】
【発明が解決しようとする課題】
しかしながら、上記した従来の画像処理装置にあっては、入力されてくるフレームのすべてを処理するようになっているため、処理能力の向上には自ずと一定の限界があり、単位時間当たりに伝送できるフレームの数を多くすることができないので、相手側画像処理装置において画像を滑らかに再現することがむずかしいという問題を有していた。
【００１３】
本発明は、このような事情に鑑みて創案されたものであって、単位時間当たりに伝送できるフレーム数を多くして、低速レートの通信網でも画像を滑らかに再現することが可能な画像処理装置を提供することを目的とする。
【００１４】
【課題を解決するための手段】
本発明に係る第１の画像処理装置は、画像データを圧縮し伝送する画像圧縮処理部と、この画像圧縮処理部の前段に設けられたフレーム動き判断部とからなり、前記フレーム動き判断部は、入力されてくる１フレーム分の画像データを格納する第１のフレームメモリと、前記第１のフレームメモリの１フレーム分の画像データにおける複数のマクロブロックのうちその一部のマクロブロックに限定して出力する特定マクロブロック限定部と、前フレームの画像データを格納する第２のフレームメモリと、前記第２のフレームメモリの前記前フレームの画像データにおいて前記特定マクロブロック限定部によって限定された特定マクロブロックと最も相関の高いマクロブロックを探索ブロックとして検出する動き補償処理部と、前記特定マクロブロックと前記探索ブロックとの差分演算を行う差分処理部と、前記差分処理部で差分演算された結果のデータにつきフレーム単位で差分絶対和を算出する演算部と、前記演算部による前記差分絶対和を所定のしきい値と比較して画像の動きの大小を判断し、動きが大と判断したときに前記第１のフレームメモリにおける１フレーム分の画像データを前記画像圧縮処理部に送出する動き判断部とを備えていることを特徴とするものである。
【００１５】
また、本発明に係る第２の画像処理装置は、画像データを圧縮し伝送する画像圧縮処理部と、この画像圧縮処理部の前段に設けられたフレーム動き判断部とからなり、前記フレーム動き判断部は、入力されてくる１フレーム分の画像データを格納する第１のフレームメモリと、前記第１のフレームメモリの１フレーム分の画像データにおける複数のマクロブロックにつき、初期ではすべてのマクロブロックを出力し、初期以外では一部のマクロブロックに限定して特定マクロブロックとして出力する特定マクロブロック限定部と、前フレームの画像データを格納する第２のフレームメモリと、前記第２のフレームメモリの前記前フレームの画像データにおいて前記特定マクロブロック限定部から入力したマクロブロックと最も相関の高いマクロブロックを探索ブロックとして検出する動き補償処理部と、前記入力したマクロブロックと前記探索ブロックとの差分演算を行う差分処理部と、前記差分処理部で差分演算された結果のデータにつきフレーム単位で差分絶対和を算出する演算部と、マクロブロックごとに前記差分処理部で差分演算された結果のデータを複数フレームについて累積し、前記複数フレーム分のデータを累積した後に差分累積値が所定値より大きなマクロブロックを抽出し、抽出したマクロブロックの位置を前記特定マクロブロック限定部に対して一部に限定する前記特定マクロブロックとして指示する差分累積テーブル部と、前記差分累積テーブル部による前記特定マクロブロックの指示の後に、前記演算部による前記差分絶対和を所定のしきい値と比較して画像の動きの大小を判断し、動きが大と判断したときに前記第１のフレームメモリにおける１フレーム分の画像データを前記画像圧縮処理部に送出する動き判断部とを備えていることを特徴とするものである。
【００１６】
【作用】
従来例のように入力されてくるフレームデータのすべてに対して画像圧縮伝送処理を施すのではなく、動きの大きいフレームデータの場合に限って画像圧縮処理部に入力フレームデータを送出する。したがって、画像圧縮処理部では処理すべきフレーム数が減少する。
【００１７】
特に、差分累積テーブル部によって動きの大きいマクロブロック位置を求め、求めた位置をマクロブロックの出力を限定すべき特定の位置として設定する場合には、ダイナミックに適応する状態でフレーム数制限を実現できる。
【００１８】
【実施例】
以下、本発明の実施例について、図面を参照しながら説明する。
【００１９】
第１実施例
図１は本発明の第１実施例に係る画像処理装置の機能ブロック図である。
【００２０】
図１において、１は第１のフレームメモリＦＭ１に格納された１フレーム分の画像データにおける複数のマクロブロックのうちの一部のマクロブロックに限定して出力する特定マクロブロック限定部、２は第２のフレームメモリＦＭ２に格納されている前フレームデータにおいて、特定マクロブロック限定部１によって減少限定された特定マクロブロックと最も相関の高いマクロブロックを探索ブロックとして検出する動き補償処理部、３は特定マクロブロックと前記動き補償処理部２で検出された探索ブロックとの差分演算を行う差分処理部、４は差分処理部３で差分演算処理された結果のデータにつきフレーム単位で差分絶対和を算出する演算部であり、上記の動き補償処理部２と差分処理部３と演算部４とが動きベクトル探索部５を構成している。６は演算部４で算出された差分絶対和を予め定められたしきい値と比較して動きの大小を判断し動きが大と判断したときに第１のフレームメモリＦＭ１における１フレーム分の画像データを画像圧縮処理部Ｂに送出する動き判断部であり、以上の構成をもって入力フレームデータと前フレームデータとを比較して動きの大小を判断するフレーム動き判断部Ａが構成されている。
【００２１】
Ｂは画像圧縮処理部であり、これは従来例の図３に示したのと同一の構成を有している。すなわち、８はフレーム内／フレーム間判断部、９は画像動き補償処理部、１０は画像差分処理部、１１は変換処理部、１２は量子化処理部、１３は可変長符号化処理部、１４は網インタフェース処理部、１５は逆量子化処理部、１６は逆変換処理部、ＦＭ３は第３のフレームメモリである。
【００２２】
フレーム動き判断部Ａの動き判定部６において入力フレームデータと前フレームデータとを比較した結果、動きが小であると判断した場合には、第１のフレームメモリＦＭ１の入力フレームデータを第２のフレームメモリＦＭ２に移行し前フレームデータを更新するだけで、入力フレームデータは画像圧縮処理部Ｂへは送出されず、したがって、画像圧縮伝送処理は実行されることなく、次のフレームデータが第１のフレームメモリＦＭ１に格納される。上記とは逆に、動き判定部６は、動きが大であると判断した場合には、第１のフレームメモリＦＭ１の入力フレームデータを画像圧縮処理部Ｂに送出し、画像圧縮処理部Ｂで従来例と同様に画像圧縮伝送処理を実行する。
【００２３】
以上のように、入力されてくるフレームデータのすべてに対して画像圧縮伝送処理を施すのではなく、動きの大きいフレームデータの場合に限って画像圧縮伝送処理を実行するから、処理すべきフレーム数が減少し、その分、単位時間当たりに伝送できるフレーム数を多くでき、低速レートの通信網を利用しても相手側画像処理装置において画像を滑らかに再現することができる。
【００２４】
第２実施例
図２は本発明の第２実施例に係る画像処理装置の機能ブロック図である。
【００２５】
図２において、特定マクロブロック限定部１は、第１のフレームメモリＦＭ１に入力された１フレーム分の画像データを初めはすべて格納する機能を有する。２は前フレームデータが格納されている第２のフレームメモリＦＭ２より探索ブロックを検出する動き補償処理部、３は入力マクロブロックと前記動き補償処理部２で検出された探索ブロックとの差分演算を行う差分処理部である。
【００２６】
そして、７は前記差分処理部３で演算されたデータの差分値をブロックごとにすべて記憶する差分累積テーブル部である。この差分累積テーブル部７では、各フレーム中のすべてのマクロブロックの差分データが処理ごとに記憶累積され、数フレームのデータを累積した後に差分累積値が所定値より大きなマクロブロックを抽出し、特定マクロブロック限定部１に対して限定すべきマクロブロックの位置を指示するようになっている。
【００２７】
４は差分処理部３で差分演算処理された結果のデータにつき差分絶対和を算出する演算部である。上記の動き補償処理部２と差分処理部３と演算部４とが動きベクトル探索部５を構成している。６は予め定められたしきい値と演算部４で算出された差分絶対和とを比較して動きの状態を判断する動き判断部であり、以上の構成をもって入力フレームデータと前フレームデータとを比較して動きの大小を判断するフレーム動き判断部Ａ′が構成されている。
【００２８】
Ｂは画像圧縮処理部であり、これは従来例の図３に示したのと同一の構成を有している。すなわち、８はフレーム内／フレーム間判断部、９は画像動き補償処理部、１０は画像差分処理部、１１は変換処理部、１２は量子化処理部、１３は可変長符号化処理部、１４は網インタフェース処理部、１５は逆量子化処理部、１６は逆変換処理部、ＦＭ３は第３のフレームメモリである。
【００２９】
フレーム動き判断部Ａ′の動き判定部６において入力フレームデータと前フレームデータとを比較した結果、動きが小であると判断した場合には、第１のフレームメモリＦＭ１への入力フレームデータを第２のフレームメモリＦＭ２に移行し前フレームデータを更新するだけで、入力フレームデータは画像圧縮処理部Ｂへは送出されず、したがって、画像圧縮伝送処理は実行されることなく、次のフレームデータが第１のフレームメモリＦＭ１に格納される。上記とは逆に、動き判定部６は、動きが大であると判断した場合には、入力フレームデータを画像圧縮処理部Ｂに送出し、画像圧縮処理部Ｂで従来例と同様に画像圧縮伝送処理を実行する。
【００３０】
この第２実施例の場合も、第１実施例と同様に、動きの大きいフレームデータの場合に限って画像圧縮伝送処理を実行するから、処理すべきフレーム数が減少し、その分、単位時間当たりに伝送できるフレーム数を多くでき、低速レートの通信網を利用しても相手側画像処理装置において画像を滑らかに再現することができる。
【００３１】
第２実施例では動きの大きいマクロブロック位置を求め、求めた位置をマクロブロックの出力を限定すべき特定の位置として設定するようにしているので、ダイナミックに適応する状態でフレーム数制限を実現できる。
【００３２】
【発明の効果】
以上のように本発明は、画像圧縮処理部の前段にフレーム動き判断部を設けて、動きの大きいフレームデータの場合に限って画像圧縮伝送処理を実行させるように構成したので、処理すべきフレーム数が減少し、その分、単位時間当たりに伝送できるフレーム数を多くでき、低速レートの通信網を利用しても相手側画像処理装置において画像を滑らかに再現することができる。
【図面の簡単な説明】
【図１】本発明の第１実施例に係る画像処理装置の機能ブロック図である。
【図２】本発明の第２実施例に係る画像処理装置の機能ブロック図である。
【図３】従来例の画像処理装置の機能ブロック図である。
【符号の説明】
Ａ，Ａ′……フレーム動き判断部
Ｂ……画像圧縮処理部
１……特定マクロブロック限定部
２……動き補償処理部
３……差分処理部
４……演算部
５……動きベクトル探索部
６……動き判断部
７……差分累積テーブル部
８……フレーム内／フレーム間判断部
９……画像動き補償処理部
１０……画像差分処理部
１１……変換処理部
１２……量子化処理部
１３……可変長符号化処理部
１４……網インタフェース処理部
１５……逆量子化処理部
１６……逆変換処理部
ＦＭ１……第１のフレームメモリ
ＦＭ２……第２のフレームメモリ
ＦＭ３……第３のフレームメモリ
【図１】
0003629279.tif 000002
【図２】
0003629279.tif 000003
【図３】
0003629279.tif 000004