(57)【要約】      （修正有）【課題】メモリからの読み出し書き込みが短時間で済み、高解像度を有する画像の処理をフレーム単位時間毎のリアルタイムで行うことができる画像処理装置を提供する。【解決手段】第１アドレス付加画像ブロックの第１アドレスを削除し、所定数の画像ブロックをマトリクス状に複数個結びつけ１単位とする画像ブロックに第２アドレスを付して複数個の第２アドレス付加画像ブロックを複数個作成するアドレス再付加処理部２と第２アドレス付加画像ブロックを一方向に結合する画像ブロック結合部４と第２アドレス付加画像ブロックに付されているアドレスを参照し画像ブロック結合部４で結合された第２アドレス付加画像ブロックの行方向毎に切り出して複数個のライン状画像ブロックを形成するライン画像ブロック生成部と複数個のライン状画像ブロックに含まれる複数の画像ブロックから列方向にブロックノイズを除去するブロックノイズフィルタ部５とを有する。【選択図】図１
2006180059.tif 000002
【特許請求の範囲】
【請求項１】
圧縮された後、伸長されて、画像ブロック毎に第１アドレスが付された第１アドレス付加画像ブロックが複数個構成されてなる入力画像のブロックノイズを除去する画像処理装置において、
前記入力画像から前記第１アドレス付加画像ブロックから前記第１アドレスを削除した後、所定数の前記画像ブロックをマトリクス状に結びつけて、１単位とする複数画像ブロックに新たな第２アドレスを付した第２アドレス付加画像ブロックを複数個作成するアドレス再付加処理部と、
前記第２アドレス付加画像ブロックを一方向に結合する画像ブロック結合部と、
前記第２アドレス付加画像ブロックに付されている第２アドレスを参照して、前記画像ブロック結合部で結合された前記第２アドレス付加画像ブロックの行方向毎に切り出して複数個のライン状画像ブロックを形成するライン画像ブロック生成部と、
前記複数個のライン状画像ブロックに含まれる複数の画像ブロックから列方向にブロックノイズを除去するブロックノイズフィルタ部と、
を有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像信号を圧縮伸張する際に生ずるブロック歪みを、低減するループフィルタに用いる、画像処理装置に関する。
【背景技術】
【０００２】
動画像を高画質低ビットレート(高圧縮率)で連続して符号化したり、この符号化された動画像を復号化したりする技術として、ＩＴＵ（国際電気信号連合  電気通信標準化部門）のＨ．２６４、ＩＳＯ（国際標準化機構）のＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）のＭＰＥＧ−４が開発されている。
【０００３】
図７は、上記Ｈ．２６４、ＭＰＥＧ−４で開示されている画像符号化装置１１の機能構成を示すブロック図である。この画像符号化装置１１は、動きベクトル検出２０と、動き補償２１と、重み付き予測２２と、画面内予測２３と、直交変換を行うＤＣＴ２４と、量子化２５と、算術符号化等を行う可変長符号化２６と、逆量子化２７と、逆ＤＣＴ２８と、ループフィルタ２９と、フレームメモリ３０と、符号化制御３１とを備えている。
【０００４】
このように構成された画像符号化装置１１は、入力画像Ｖｉｎの動き補償を行いながらＤＣＴ２４による直交変換によって周波数成分に圧縮符号化され、量子化２５による量子化によって量子化値に圧縮符号化される。この量子化値は、可変長符号化２６によるハフマン符号化によって可変長に圧縮符号化され圧縮された出力画像Ｖｏｕｔとして出力される。
【０００５】
一方、量子化２５から出力された量子化値は、逆量子化２７によって周波数成分に複合化され、逆ＤＣＴ２８による逆直交変換によって入力画像Ｖｉｎと同等の画像Ｖ０に複合化される。 この複合化された画像Ｖ０をループフィルタ２９によってブロック歪を除去するフィルタ処理が施された後、フレームメモリ３０に格納される。
【０００６】
そして、フレームメモリに格納されたフィルタ処理が施された画像Ｖ１と、動きベクトル検出２０から得た次の入力画像Ｖ１の動きベクトルとを動き補償２１において比較して動き補償を行い、さらに重み付き予測２２により重み付き予測を行って動き補償画像を生成し、次の入力画像Ｖ１から動き補償画像を減算してＤＣＴ２４による直交変換を行う。以下同様にして圧縮符号化を行い圧縮された出力画像Ｖｏｕｔを連続して出力する。
【０００７】
図８（Ａ）に示すように、ブロック歪を除去するフィルタ処理を施すループフィルタ２９は、複合化された画像Ｖ０を記憶するメモリ１００と、メモリ１００のアドレスを発生するアドレス発生回路１０１と、複合化された画像Ｖ０からブロック歪を除去するフィルタ処理を施すデブロッキングフィルタ１０２と、デブロッキングフィルタ１０２のフィルタ処理の条件を制御する閾値ｔｃ０を符号化制御３１からのテーブル設定データＢＳとフィルタ強度Ｑ１から生成する閾値テーブル１０と、量子化２５からの量子化データＱ０を入力しフィルタ強度Ｑ１を生成するフィルタ強度生成回路９と、を備える。
【０００８】
そして、図８（Ｂ）に示すようにループフィルタ２９においては、複合化された画像Ｖ０を画像符号化装置１１で圧縮符号化する際に構成される縦Ｍｘ横Ｎのマトリクス構成単位配列で入力し、メモリ１００に個別アドレス単位で複数マトリクス分収納し、次にメモリ１００からフィルタ処理を行う隣接した２つのマトリクスを処理データＤ１０として読み出し、デブロッキングフィルタ１０２に加えて個別アドレスによるフィルタ演算によりブロッキング歪を除去した処理済データＤ１１とし、これを再びメモリ１００に収納してから処理画像データＶ１として出力する。
【０００９】
特許文献１には、このようにして画像符号化装置１１においては、ループフィルタ２９によって常にフィルタ処理が施され、フィルタ処理が施された複合画像がフレームメモリ３０に収納され、フレームメモリ３０に収納された複合画像にブロック歪が蓄積されることがなく、この収納された複合画像を用いることにより動き補償２１による予測効率が向上され、画質劣化を減少させることが出来ることが記載されている。
【特許文献１】特開２００３−３０４５３８号公報
【発明の開示】
【発明が解決しようとする課題】
【００１０】
しかしながら、上述したＭＰＥＧ−４には、ループフィルタの方法が規定されており、これは、例えば縦横４画素の計１６画素によるマトリクスを単位として圧縮処理を行うと、マトリクスの境界部分にブロック歪が生ずるから、このブロック歪に対しその境界部分に隣接する各４画素の値を平滑化することで、そのブロック歪を削減する方法である。この為、図８（Ｂ）に示すように、マトリクスを構成する画素を１つずつ個別アドレスで駆動してメモリ１００に収納し、次に個別アドレスで読み出して、個別アドレス毎にフィルタ演算を行っていた。従って上記縦横４画素の計１６画素によるマトリクス単位の場合、１アドレスを読み出す時間をＴとすると、画素をメモリから読み出すだけで１６Ｔの時間かかり、再度メモリに書き込むとさらに１６Ｔかかる。 フィルタ演算時には２つのマトリクスを用いて境界部分に隣接する各４画素の値を平滑化するためにさらに複数回のメモリからの読み出し書き込みを行うから、ループフィルタ２９においては、メモリからの読み出し書き込みに時間がかかり、ＨＤＴＶ（ハイビジョン）等の高解像度を有する画像の処理をフレーム単位時間毎のリアルタイムで行うことは困難であると言う問題点があった。
【００１１】
そこで、本発明は、上記のような問題点を解消するためになされたものであり、ループフィルタ２９における、メモリからの読み出し書き込みが短時間で済み、ＨＤＴＶ（ハイビジョン）等の高解像度を有する画像の処理をフレーム単位時間毎のリアルタイムで行うことができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１２】
本願発明における第１の発明は、圧縮された後、伸長されて、画像ブロック毎に第１アドレスが付された第１アドレス付加画像ブロックが複数個構成されてなる入力画像のブロックノイズを除去する画像処理装置において、前記入力画像から前記第１アドレス付加画像ブロックから前記第１アドレスを削除した後、所定数の前記画像ブロックをマトリクス状に結びつけて、１単位とする複数画像ブロックに新たな第２アドレスを付した第２アドレス付加画像ブロックを複数個作成するアドレス再付加処理部と、前記第２アドレス付加画像ブロックを一方向に結合する画像ブロック結合部と、前記第２アドレス付加画像ブロックに付されている第２アドレスを参照して、前記画像ブロック結合部で結合された前記第２アドレス付加画像ブロックの行方向毎に切り出して複数個のライン状画像ブロックを形成するライン画像ブロック生成部と、前記複数個のライン状画像ブロックに含まれる複数の画像ブロックから列方向にブロックノイズを除去するブロックノイズフィルタ部と、を有することを特徴とする画像処理装置を提供するものである。
【発明の効果】
【００１３】
本発明の画像処理装置によれば、前記入力画像から前記第１アドレス付加画像ブロックから前記第１アドレスを削除した後、所定数の前記画像ブロックをマトリクス状に結びつけて、１単位とする複数画像ブロックに新たな第２アドレスを付した第２アドレス付加画像ブロックを複数個作成するアドレス再付加処理部と、前記第２アドレス付加画像ブロックを一方向に結合する画像ブロック結合部と、前記第２アドレス付加画像ブロックに付されている第２アドレスを参照して、前記画像ブロック結合部で結合された前記第２アドレス付加画像ブロックの行方向毎に切り出して複数個のライン状画像ブロックを形成するライン画像ブロック生成部と、前記複数個のライン状画像ブロックに含まれる複数の画像ブロックから列方向にブロックノイズを除去するブロックノイズフィルタ部と、を有するので、ループフィルタにおける、メモリからの読み出し書き込みが短時間で済み、ＨＤＴＶ（ハイビジョン）等の高解像度を有する画像の処理をフレーム単位時間毎のリアルタイムで行うことが出来る。
【発明を実施するための最良の形態】
【００１４】
以下、本発明の実施形態に係る画像処理装置について、図１〜図６を用いて説明する。
図１は、本発明の実施形態における画像処理装置のブロックを示す図である。
図２は、入力画像のアドレス処理を説明する図である。
図３は、マトリクス配列によるアドレスを削減した結果を示す図である。
図４は、マトリクス配列によるアドレスを、削減したアドレスに変換する配列を示す図であり、（Ａ）はマトリクス配列によるアドレスを示し、（Ｂ）は削減したアドレスの配列を示す図である。
図５は、削減したアドレスの配列並び替えを示す図であり、（Ａ）は配列並び替え前の配列を示し、（Ｂ）は配列並び替え後の配列を示し、（Ｂ）の（１）は水平方向の画素に対する配列並び替えを示し、（Ｂ）の（２）は垂直方向の画素に対する配列並び替えを示す図である。
図６は、デブロッキングフィルタの構成を示す図である。
【００１５】
図１に示すように、画像処理装置２９は、圧縮された後、伸長されて、画像ブロック毎に第１アドレスが付された第１アドレス付加画像ブロックが複数個構成されてなる入力画像Ｖ０から第１アドレスを削除した後、画像ブロックをマトリクス状に複数個結びつけて、マトリクス状に結び付けられた画像ブロックを１単位とする画像ブロックに新たなアドレスを付して複数個の第２アドレス付加画像ブロックとするアドレス削減処理２と、第２アドレス付加画像ブロックによる画像Ｖａｄ０とブロックノイズを除去した画像Ｄ３を収納するメモリ３と、複数個の第２アドレス付加画像ブロックを一方向に結合し、複数個の第２アドレス付加画像ブロックに付されているアドレスを参照して結合された複数個の第２アドレス付加画像ブロックの行方向毎に切り出して複数個のライン状画像ブロックを形成する配列並び替え４と、複数個のライン状画像ブロックに含まれる複数の画像ブロックから列方向にブロックノイズを除去するデブロッキングフィルタ５と、ブロックノイズを除去した複数個のライン状画像ブロックを第２アドレス付加画像ブロックに戻す配列戻し６と、第２アドレス付加画像ブロックを第１アドレス付加画像ブロックに復調させるアドレス復調処理７と、メモリ３のアドレスを発生させるアドレス発生回路８と、デブロッキングフィルタ５のフィルタ処理の条件を制御する閾値ｔｃ０を符号化制御３１からのテーブル設定データＢＳとフィルタ強度Ｑ１から生成する閾値テーブル１０と、量子化２５からの量子化データＱ０を入力しフィルタ強度Ｑ１を生成するフィルタ強度生成回路９と、を備える。
【００１６】
そして、圧縮された後、伸長されて、画像ブロック毎に第１アドレスが付された第１アドレス付加画像ブロックが複数個構成されてなる入力画像Ｖ０のブロックノイズを除去する画像処理装置２９において、入力画像Ｖ０から第１アドレス付加画像ブロックから第１アドレスを削除した後、画像ブロックをマトリクス状に複数個結びつけて、マトリクス状に結び付けられた画像ブロックを１単位とする画像ブロックに新たなアドレスを付して複数個の第２アドレス付加画像ブロックとするアドレス再付加処理部（アドレス削減処理２）と、複数個の第２アドレス付加画像ブロックを一方向に結合する画像ブロック結合部（配列並び替え４）と、複数個の第２アドレス付加画像ブロックに付されているアドレスを参照して、画像ブロック結合部で結合された複数個の第２アドレス付加画像ブロックの行方向毎に切り出して複数個のライン状画像ブロックを形成するライン画像ブロック生成部（配列並び替え４）と、複数個のライン状画像ブロックに含まれる複数の画像ブロックから列方向にブロックノイズを除去するブロックノイズフィルタ部（デブロッキングフィルタ５）と、によりブロックノイズを除去し、ブロックノイズを除去した複数個のライン状画像ブロックを第２アドレス付加画像ブロックに配列戻し６で戻し、第２アドレス付加画像ブロックを第１アドレス付加画像ブロックにアドレス復調処理７で復調させて処理画像データＶ１を出力する。
【００１７】
図２に示すように、入力画像Ｖ０は、図３に示す種々のマトリクス配列で圧縮されており、これをアドレス削減処理２によりアドレスを削減した結果を右側に示すように１アドレスに変換した画像Ｖａｄ０としてメモリ３に収納した後、変換した画像Ｖａｄ０を２アドレス分読み出して配列並び替え４により画像Ｄ１に変換してデブロッキングフィルタ５によりシフト演算を行い、ブロックノイズを除去した画像Ｄ２とする。
【００１８】
例えば、図３に示すように、アドレス４Ｘ４のマトリクス配列における縦横４画素の計１６画素によるマトリクス単位の圧縮画像の場合、１アドレスを読み出す時間をＴとすると、本来は１６Ｔかかる画素をメモリから読み出す時間が１Ｔの時間でよく、これにより、メモリ３の書き込み読み出し時間を１／１６に削減することができる。
圧縮画像のマトリクス単位が８Ｘ８であれば、メモリ３の書き込み読み出し時間を１／６４とさらに削減することができる。
【００１９】
図４に示すように、アドレス４Ｘ４のマトリクス配列における縦横４画素の計１６画素を１アドレスに変換する配列は、図４（Ａ）の縦Ｌ０（０，０）〜Ｌ３（０，３）、横Ｒ０（０，０）〜Ｒ３（０，３）を図４（Ｂ）に示すように、（０，０）を先頭アドレスとしてアドレス４Ｘ４のマトリクス配列における縦横４画素の計１６画素を、データ列として配列することによりアドレス削減を行う。
【００２０】
すなわち、図５（Ａ）に示すように、（０，０）のアドレスにはＲ０，Ｒ１，Ｒ２，Ｒ３の水平方向配列をＬ０，Ｌ１，Ｌ２，Ｌ３の垂直配列分としてデータ配列する。（０，４）、（４，０）、（４，４）を先頭アドレスとする場合も同様のデータ配列とする。
このデータ配列を配列並び替え４により、水平方向の場合は図５（Ｂ）（１）に示すようにＲ０，Ｒ１，Ｒ２，Ｒ３，Ｒ４，Ｒ５，Ｒ６，Ｒ７のデータ配列として並び替える。垂直方向の場合は、図５（Ｂ）（２）に示すようにＬ０，Ｌ１，Ｌ２，Ｌ３，Ｌ４，Ｌ５，Ｌ６，Ｌ７のデータ配列として並び替える。
そしてこのデータ配列による画像Ｄ１を水平方向、垂直方向とも同一のデブロッキングフィルタ５に入力しそれぞれのブロックノイズを除去するシフト演算を行う。
【００２１】
図５に示すように、デブロッキングフィルタ５は、３組のシフトレジスタ５０，５１，５２，および加算平均回路５３から構成され、画像Ｄ１と、画像Ｄ１を１クロック遅延させた画像Ｄ１１と、さらに画像Ｄ１１を１クロック遅延させた画像Ｄ１２と、をそれぞれシフトしながら加算平均演算することによりブロックノイズを除去する。閾値ｔｃ０によりブロックノイズを除去する際の最適化を行う。
【００２２】
このシフトレジスタを用いたデブロッキングフィルタ５による加算平均演算は２アドレス分読み出して配列並び替え４により配列した画像Ｄ１をそのままシフトすればよいから、アドレスを加算平均演算する毎にメモリ３から読み出す必要がないため、例えば４Ｘ４のマトリクス配列による圧縮画像では２組のマトリクス配列をメモリ３から読み出す時間が４Ｘ４Ｘ２組必要となるが、これが２組で済むため１／１６の時間短縮ができる。
従って、メモリ３の書き込み読み出しで１／１６の時間短縮を行い、シフトレジスタを用いたデブロッキングフィルタ５による加算平均演算でさらに１／１６の時間短縮を行うから全体としては１／２５６の時間短縮を行うことができる。
【００２３】
以上述べてきたように、本発明の実施形態によれば、ループフィルタにおける、メモリからの読み出し書き込み及びデブロッキングフィルタによるブロッキングノイズを除去する演算が短時間で済み、ＨＤＴＶ（ハイビジョン）等の高解像度を有する画像の処理をフレーム単位時間毎のリアルタイムで十分行うことが出来る。
【図面の簡単な説明】
【００２４】
【図１】本発明の実施形態における画像処理装置のブロックを示す図である。
【図２】入力画像のアドレス処理を説明する図である。
【図３】マトリクス配列によるアドレスを削減した結果を示す図である。
【図４】マトリクス配列によるアドレスを、削減したアドレスに変換する配列を示す図であり、（Ａ）はマトリクス配列によるアドレスを示し、（Ｂ）は削減したアドレスの配列を示す図である。
【図５】削減したアドレスの配列並び替えを示す図であり、（Ａ）は配列並び替え前の配列を示し、（Ｂ）は配列並び替え後の配列を示し、（Ｂ）の（１）は水平方向の画素に対する配列並び替えを示し、（Ｂ）の（２）は垂直方向の画素に対する配列並び替えを示す図である。
【図６】デブロッキングフィルタの構成を示す図である。
【図７】Ｈ．２６４、ＭＰＥＧ−４で開示されている画像符号化装置１１の機能構成を示すブロック図である。
【図８】ループフィルタを示す図であり、 （Ａ）はブロック歪を除去するフィルタ処理を施すループフィルタ２９のブロックを示し、（Ｂ）はＭＸＮのマトリクス配列による圧縮画像のアドレス処理を示す図である。
【符号の説明】
【００２５】
２・・・アドレス削減処理、３・・・メモリ、４・・・配列並び替え、５・・・デブロッキングフィルタ、６・・・配列戻し、７・・・アドレス復調処理７、８・・・アドレス発生回路、９・・・フィルタ強度生成回路、１０・・・閾値テーブル、１１・・・画像符号化装置、２０・・・動きベクトル検出、２１・・・動き補償、２２・・・重み付き予測、２３・・・画面内予測、２４・・・ＤＣＴ２４、２５・・・量子化２５、２６・・・可変長符号化２６と、２７・・・逆量子化、２８・・・逆ＤＣＴ、２９・・・ループフィルタ、３０・・・フレームメモリ、３１・・・符号化制御
【図１】
2006180059.tif 000003
【図２】
2006180059.tif 000004
【図３】
2006180059.tif 000005
【図４】
2006180059.tif 000006
【図５】
2006180059.tif 000007
【図６】
2006180059.tif 000008
【図７】
2006180059.tif 000009
【図８】
2006180059.tif 000010