(57)【要約】【課題】ラインメモリの容量を削減することの可能なブロック単位でリサイズ処理を行う画像処理装置を提供する。【解決手段】符号データを復号化し、８×８画素サイズのブロック単位で画像データを出力するＭＰＥＧデコーダ１と、ＭＰＥＧデコーダからブロック単位で出力された画像データを、水平方向にリサイズ処理する水平リサイズ回路２と、水平リサイズ回路からの出力データのうち、ブロック最下ラインの画像データを格納する１ライン分の容量を有するラインメモリ３と、水平リサイズ回路からの出力データとラインメモリに格納されているデータを用いて、垂直方向にリサイズ処理する垂直リサイズ回路４と、メモリコントローラ５と、メモリ６とを備え、水平方向にリサイズ処理した後の画像データを小容量のラインメモリに格納できるように、画像処理装置を構成する。【選択図】        図１
2004328178.tif 000002
【特許請求の範囲】
【請求項１】
Ｎ×Ｍ（Ｎ，Ｍは２以上の自然数）画素を１ブロックにして複数のブロックで構成される画像データを、ブロック単位に処理する画像処理装置において、前記画像データを第１の方向にリサイズ処理する第１のリサイズ手段と、該第１のリサイズ手段から出力された画像データのうち少なくとも第１の方向に１ライン分の画像データを格納可能なライン記憶手段と、前記第１のリサイズ手段から出力された画像データを第１の方向を横切る第２の方向にリサイズ処理する第２のリサイズ手段とを備え、該第２のリサイズ手段は、隣接ブロックの画像データを前記ライン記憶手段から取得するように構成されていることを特徴とする画像処理装置。
【請求項２】
圧縮符号化された画像データをブロック単位で復号化する復号化手段を備え、該復号化手段で復号化された画像データをリサイズ処理することを特徴とする請求項１に係る画像処理装置。
【請求項３】
画像データをブロック単位で圧縮符号化する符号化手段を備え、リサイズ処理した画像データを前記符号化手段で圧縮符号化することを特徴とする請求項１に係る画像処理装置。
【請求項４】
前記第１のリサイズ手段は、前記画像データを第１の方向の間引きによりリサイズ処理を行うことを特徴とする請求項１に係る画像処理装置。
【請求項５】
前記第１のリサイズ手段は、前記画像データを第１の方向の加算平均によりリサイズ処理を行うことを特徴とする請求項１に係る画像処理装置。
【請求項６】
前記Ｎ×Ｍ画素のブロックのうち、少なくとも第２の方向のブロック画素数の画像データを格納可能な画素記憶手段を備え、前記第１のリサイズ手段は、隣接ブロックの画像データを前記画素記憶手段から取得するように構成されていることを特徴とする請求項１に係る画像処理装置。
【請求項７】
前記画素記憶手段は、Ｎ×Ｍ画素のブロックのうち第２の方向のブロック画素数の画像データを格納可能であり、前記第１のリサイズ手段は第１の方向の２点補間によりリサイズ処理を行うことを特徴とする請求項６に係る画像処理装置。
【請求項８】
前記画素記憶手段は、Ｎ×Ｍ画素のブロックのうち第２の方向のブロック画素数の３倍の画像データを格納可能であり、前記第１のリサイズ手段は第１の方向の４点補間によりリサイズ処理を行うことを特徴とする請求項６に係る画像処理装置。
【請求項９】
前記ライン記憶手段は、前記第１のリサイズ手段でリサイズ処理された画像データのうち、第１の方向に１ライン分の画像データを格納可能であり、前記第２のリサイズ手段は、第２の方向の２点補間によりリサイズ処理を行うことを特徴とする請求項１に係る画像処理装置。
【請求項１０】
前記ライン記憶手段は、前記第１のリサイズ手段でリサイズ処理された画像データのうち、第１の方向に３ライン分の画像データを格納可能であり、前記第２のリサイズ手段は、第２の方向の４点補間によりリサイズ処理を行うことを特徴とする請求項１に係る画像処理装置。
【請求項１１】
前記画像処理装置は、第１の方向のリサイズ処理をスルーさせることが可能な第１のリサイズスルー手段を備えていることを特徴とする請求項１に係る画像処理装置。
【請求項１２】
前記画像処理装置は、第２の方向のリサイズ処理をスルーさせることが可能な第２のリサイズスルー手段を備えていることを特徴とする請求項１又は１１に係る画像処理装置。
【請求項１３】
前記ライン記憶手段は、外部表示装置の表示領域に対応した容量を有することを特徴とする請求項１に係る画像処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
この発明は、Ｎ×Ｍ（Ｎ，Ｍは２以上の自然数）画素を１ブロックにして、複数のブロックで構成される画像データを、ブロック単位にリサイズ処理する画像処理装置に関し、特に符号化・復号化の前後でリサイズ処理するようにした画像処理装置に関する。
【０００２】
【従来の技術】
【特許文献１】特開平１１−５３５３２号公報
【０００３】
画像データを効率よく符号化・復号化する手法に、ＪＰＥＧ（Ｊｏｉｎｔ  Ｐｈｏｔｏｇｒａｐｈｉｃ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式やＭＰＥＧ（Ｍｏｖｉｎｃ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）方式等があり、一般によく使われている。ＪＰＥＧ方式やＭＰＥＧ方式では、ブロックを単位にして、様々な処理が行われている。図１１は、画像とブロックの関係を示す図であり、Ａ×Ｂ画素で構成されている１枚の画像は、８×８画素のブロック単位に分割され、各々のブロック単位で、直交変換や逆直交変換等の処理が行われている。
【０００４】
このようなブロック単位の処理は、ＪＰＥＧ方式やＭＰＥＧ方式のような画像データの符号化処理や復号化処理には適しているものの、画像の拡大や縮小等のリサイズ処理には適していない。
【０００５】
次に、図１２の（Ａ）及び図１２の（Ｂ）を用いて、ブロック単位のリサイズ処理に関して説明する。図１２の（Ａ）は、８×８画素で構成されるブロックを示した図であり、図１２の（Ｂ）は８×８画素で構成されるブロックのうち、ブロック周辺部（点線円）を拡大したものである。  １０１〜１０４  はリサイズ処理前の入力画素であり、そのうち画素１０１  及び１０２  はブロック（Ｉ，Ｊ−１）内に、画素１０３  及び１０４  はブロック（Ｉ，Ｊ）内に位置する。１０５  はリサイズ処理後の出力画素であり、ブロック（Ｉ，Ｊ）内に位置する。出力画素１０５  は、入力画素  １０１〜１０４  より補間演算によって求められる。このように、ブロック周辺部のリサイズ演算には、複数のブロックの画素情報が必要となる。
【０００６】
そこで、一般的には、符号化処理や復号化処理ではブロック単位で処理するものの、リサイズ時には１画面単位でリサイズ処理する手法が多く用いられている。図１３は、１画面単位でリサイズ処理することを特徴とする従来の画像処理装置の構成を示すブロック図である。ＪＰＥＧデコーダ１１１  は、ＪＰＥＧ符号を復号化し、８×８サイズのブロック単位で画像データを出力する。出力された画像データは、メモリコントローラ１１３  を経由して、１画面の画像データを格納可能なメモリ１１４  に格納される。リサイズ回路１１２  は、メモリコントローラ１１３  経由でメモリ１１４  より、画像データを取得する。リサイズ回路１１２  は、１画面単位でリサイズ処理を行い、リサイズ処理後の画像データは再びメモリコントローラ１１３経由でメモリ１１４  に格納される。以上の手法によると、ＪＰＥＧ復号化した画像データを一旦メモリ１１４  に格納して、１画面の画像に復元した後にリサイズ処理することができる。
【０００７】
一方、ブロック単位のリサイズ処理に関しても、従来から提案がなされており、例えば、特開平１１−５３５３２号公報に開示がなされている。図１４は、ブロック単位でリサイズすることを特徴とする従来の画像処理装置の構成例を示すブロック図である。ＪＰＥＧデコーダ１２１  は、ＪＰＥＧ符号を復号化し、８×８サイズのブロック単位で画像データを出力する。ＪＰＥＧデコーダ１２１  で復号化された画像データのうち、ブロックの最下ラインの画像データは、１ライン分の容量を有するラインメモリ１２２  に格納される。また、ブロックの最右列の画像データは、８画素分の容量を有するバッファ１２３  に格納される。リサイズ回路１２４  は、隣接ブロックの画像データをラインメモリ１２２  及びバッファ１２３  より取得してリサイズ処理を行う。リサイズ回路１２４  でリサイズ処理された画像データは、メモリコントローラ１２５  経由でメモリ１２６  にライトされる。
【０００８】
図１５は、上記従来例の隣接ブロックデータ取得手法に関する説明図である。現在処理中のブロックが、ブロック（Ｉ，Ｊ）とすると、上に隣接するブロック（Ｉ，Ｊ−１）の最下ラインの画素データをラインメモリ１２２  より取得し、左に隣接するブロック（Ｉ−１，Ｊ）の最右列の画素データをバッファ１２３  より取得する。このような従来技術によると、ラインメモリ１２２  とバッファ１２３  から、隣接ブロックの画像情報を取得してリサイズ処理するので、ブロック単位でのリサイズ処理が可能となる。
【０００９】
【発明が解決しようとする課題】
以上説明した従来例のうち、ブロック単位で復号化された画像データを一旦メモリに格納し、１画面単位でリサイズ処理する手法は、メモリのアクセス効率が悪く、処理時間がかかるという問題を有する。一方、ブロック単位でリサイズ処理する手法によると、メモリのアクセス効率が良く、高速処理が可能である。しかしながら、図１４に示すような構成の従来例では、入力データのうちブロック最下ラインのデータを格納するために、ラインメモリの容量が大きいという問題点がある。
【００１０】
本発明は、従来の画像データのリサイズ処理における上記問題点を解消するためになされたものであり、従来技術と比較してラインメモリの容量を削減することの可能な、ブロック単位でリサイズ処理する画像処理装置を提供することを目的とする。
【００１１】
【課題を解決するための手段】
上記問題点を解決するため、請求項１に係る発明は、Ｎ×Ｍ（Ｎ，Ｍは２以上の自然数）画素を１ブロックにして複数のブロックで構成される画像データを、ブロック単位に処理する画像処理装置において、前記画像データを第１の方向にリサイズ処理する第１のリサイズ手段と、該第１のリサイズ手段から出力された画像データのうち少なくとも第１の方向に１ライン分の画像データを格納可能なライン記憶手段と、前記第１のリサイズ手段から出力された画像データを第１の方向を横切る第２の方向にリサイズ処理する第２のリサイズ手段とを備え、該第２のリサイズ手段は、隣接ブロックの画像データを前記ライン記憶手段から取得するように構成されていることを特徴とするものである。
【００１２】
この請求項１に係る発明に関する実施の形態には、第１〜第４の実施の形態が対応する。そして、上記のように構成された画像処理装置においては、ブロック単位の画像データを第１のリサイズ手段で第１の方向にリサイズ処理した後の画像データを、ライン記憶手段に格納し、第２のリサイズ手段は、第１のリサイズ手段からの出力データ及びライン記憶手段に格納されている隣接ブロックの画像データを使用して、第２の方向のリサイズ処理を行う。これにより、画像データをブロック単位にリサイズ処理することができ、且つ第１の方向にリサイズ処理した後の画像データをライン記憶手段に格納するようにしているため、小さい容量のライン記憶手段でリサイズ処理を行うことができる。
【００１３】
請求項２に係る発明は、請求項１に係る画像処理装置において、圧縮符号化された画像データをブロック単位で復号化する復号化手段を備え、該復号化手段で復号化された画像データをリサイズ処理することを特徴とするものである。
【００１４】
この請求項２に係る発明に関する実施の形態には、第１〜第３の実施の形態が対応する。そして、上記のように構成された画像処理装置においては、本発明に係る画像処理装置は画像データをブロック単位でリサイズ処理するものであるから、圧縮符号化された画像データをブロック単位に復号化する復号化手段を備えている場合、復号化手段でブロック単位に復号化された画像データを、そのままブロック単位でリサイズ処理することができる。
【００１５】
請求項３に係る発明は、請求項１に係る画像処理装置において、画像データをブロック単位で圧縮符号化する符号化手段を備え、リサイズ処理した画像データを前記符号化手段で圧縮符号化することを特徴とするものである。
【００１６】
この請求項３に係る発明に関する実施の形態には、第４の実施の形態が対応する。そして、上記のように構成された画像処理装置においては、本発明に係る画像処理装置は画像データをブロック単位でリサイズ処理するものであるから、画像データをブロック単位に符号化する符号化手段を備えている場合、ブロック単位でリサイズ処理した画像データを、そのままブロック単位で符号化することができる。
【００１７】
請求項４に係る発明は、請求項１に係る画像処理装置において、前記第１のリサイズ手段は、前記画像データを第１の方向の間引きによりリサイズ処理を行うことを特徴とするものである。
【００１８】
この請求項４に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、第１のリサイズ手段は、間引きによって第１の方向にリサイズ処理するように構成されているので、簡単な構成で第１の方向のリサイズ処理を実行することができる。
【００１９】
請求項５に係る発明は、請求項１に係る画像処理装置において、前記第１のリサイズ手段は、前記画像データを第１の方向の加算平均によりリサイズ処理を行うことを特徴とするものである。
【００２０】
この請求項５に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、第１のリサイズ手段は、加算平均によって第１の方向にリサイズ処理するように構成されているので、簡単な構成で第１の方向のリサイズ処理を実行することができる。
【００２１】
請求項６に係る発明は、請求項１に係る画像処理装置において、前記Ｎ×Ｍ画素のブロックのうち、少なくとも第２の方向のブロック画素数の画像データを格納可能な画素記憶手段を備え、前記第１のリサイズ手段は、隣接ブロックの画像データを前記画素記憶手段から取得するように構成されていることを特徴とするものである。
【００２２】
この請求項６に係る発明に関する実施の形態には、第２〜第４の実施の形態が対応する。そして、このように構成された画像処理装置においては、第２の方向のブロック画素数の画像データを格納する画素記憶手段を備え、第１のリサイズ手段は隣接ブロックの画像データを画素記憶手段から取得するようになっているので、隣接ブロックの画像データを第１の方向にリサイズ処理に使用でき、より高度なリサイズ処理ができる。
【００２３】
請求項７に係る発明は、請求項６に係る画像処理装置において、前記画素記憶手段は、Ｎ×Ｍ画素のブロックのうち第２の方向のブロック画素数の画像データを格納可能であり、前記第１のリサイズ手段は第１の方向の２点補間によりリサイズ処理を行うことを特徴とするものである。
【００２４】
この請求項７に係る発明に関する実施の形態には、第２〜第４の実施の形態が対応する。そして、このように構成された画像処理装置においては、１列分の画素記憶手段を備え、隣接するブロックの１列分のデータを格納することができ、第１のリサイズ手段は２点補間によるリサイズ処理が可能となる。
【００２５】
請求項８に係る発明は、請求項６に係る画像処理装置において、前記画素記憶手段は、Ｎ×Ｍ画素のブロックのうち第２の方向のブロック画素数の３倍の画像データを格納可能であり、前記第１のリサイズ手段は第１の方向の４点補間によりリサイズ処理を行うことを特徴とするものである。
【００２６】
この請求項８に係る発明に関する実施の形態には、第２及び第３の実施の形態が対応する。そして、このように構成された画像処理装置においては、３列分の画素記憶手段を備え、隣接ブロックの３列分のデータを格納することができ、第１のリサイズ手段は４点補間によるリサイズ処理が可能となる。
【００２７】
請求項９に係る発明は、請求項１に係る画像処理装置において、前記ライン記憶手段は、前記第１のリサイズ手段でリサイズ処理された画像データのうち、第１の方向に１ライン分の画像データを格納可能であり、前記第２のリサイズ手段は、第２の方向の２点補間によるリサイズ処理を行うことを特徴とするものである。
【００２８】
この請求項９に係る発明に関する実施の形態には、第１及び第４の実施の形態が対応する。そして、このように構成された画像処理装置においては、１ライン分のライン記憶手段を備え、隣接ブロックの１ライン分のデータを格納することができ、第２のリサイズ手段は２点補間によりリサイズ処理が可能となる。
【００２９】
請求項１０に係る発明は、請求項１に係る画像処理装置において、前記ライン記憶手段は、前記第１のリサイズ手段でリサイズ処理された画像データのうち、第１の方向に３ライン分の画像データを格納可能であり、前記第２のリサイズ手段は、第２の方向の４点補間によりリサイズ処理を行うことを特徴とするものである。
【００３０】
この請求項１０に係る発明に関する実施の形態には、第２及び第３の実施の形態が対応する。そして、このように構成された画像処理装置においては、３ライン分のライン記憶手段を備え、隣接ブロックの３ライン分のデータを格納させることができ、第２のリサイズ手段は４点補間によるリサイズ処理が可能となる。
【００３１】
請求項１１に係る発明は、請求項１に係る画像処理装置において、前記画像処理装置は、第１の方向のリサイズ処理をスルーさせることが可能な第１のリサイズスルー手段を備えていることを特徴とするものである。
【００３２】
この請求項１１に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、第１の方向のリサイズ処理をスルーさせることの可能な第１のリサイズスルー手段を備えており、第１の方向のリサイズ処理を選択的にスルーさせることができる。
【００３３】
請求項１２に係る発明は、請求項１又は１１に係る画像処理装置において、前記画像処理装置は、第２の方向のリサイズ処理をスルーさせることが可能な第２のリサイズスルー手段を備えていることを特徴とするものである。
【００３４】
この請求項１２に係る発明に関する実施の形態には、第１の実施の形態が対応する。そして、このように構成された画像処理装置においては、第２の方向のリサイズ処理をスルーさせることの可能な第２のリサイズスルー手段を備えており、第２の方向のリサイズ処理を選択的にスルーさせることができる。
【００３５】
請求項１３に係る発明は、請求項１に係る画像処理装置において、前記ライン記憶手段は、外部表示装置の表示領域に対応した容量を有することを特徴とするものである。
【００３６】
この請求項１３に係る発明に関する実施の形態には、第３の実施の形態が対応する。そして、このように構成された画像処理装置においては、ライン記憶手段は、外部表示装置の表示領域に対応した容量を有するようにしているので、どのような拡大率や縮小率であっても、ライン記憶手段を効率よく使用することができる。
【００３７】
【発明の実施の形態】
（第１の実施の形態）
次に、実施の形態について説明する。図１は、本発明に係る画像処理装置の第１の実施の形態の構成を示すブロック図である。図１において、１はＭＰＥＧ符号データを復号化して、８×８画素サイズのブロック単位で、画像データを出力するＭＰＥＧデコーダ、２は該ＭＰＥＧデコーダ１からブロック単位に出力された画像データを、水平方向にリサイズ処理する水平リサイズ回路、３は該水平リサイズ回路２からの出力データのうち、ブロックの最下ラインの画素データを格納する１ライン分の容量を有するラインメモリ、４は前記水平リサイズ回路２からの出力データ及び前記ラインメモリ３に格納されている画像データを用いて、垂直方向にリサイズ処理する垂直リサイズ回路、５はメモリコントローラ、６はメモリを示している。
【００３８】
図２は、本実施の形態における、リサイズ処理態様の一例を示す説明図である。以下の説明では、ＭＰＥＧデコーダ１からの出力画像サイズを１４４０×１０８０画素、最終的に得たい画像サイズを  ７２０×４８０  画素として説明を行う。
【００３９】
次に、図１に基づいて、本実施の形態の動作に関して説明する。ＭＰＥＧデコーダ１は、ＭＰＥＧ符号データをデコードし、ブロック単位で画像データを出力する。水平リサイズ回路２は、ＭＰＥＧデコーダ１から出力された画像データを水平方向にリサイズ処理する。このとき、図２に示したように、ＭＰＥＧデコーダ１からの出力画像サイズを１４４０×１０８０画素、最終的に得たい画像サイズを  ７２０×４８０  とすると、水平リサイズ回路２からの出力画像サイズは、  ７２０×１０８０画素となる。水平リサイズ手法には、例えば、図３の（Ａ）に示すような隣接する数画素の平均を出力する手法（加算平均）や、図３の（Ｂ）に示すような単純に画素を間引く手法（単純間引き・挿入）がある。
【００４０】
水平リサイズ回路２でリサイズ処理後の画像データのうち、ブロックの最下ラインのデータは、ラインメモリ３に格納される。このとき、水平方向のリサイズ処理後の画素数は  ７２０画素なので、ラインメモリ３は、  ７２０画素データを格納できる容量を持つものとする。
【００４１】
垂直リサイズ回路４は、水平リサイズ回路２で  ７２０×１０８０画素サイズにリサイズ処理された画像データを、  ７２０×４８０  画素サイズに垂直リサイズ処理する。垂直リサイズ手法には、例えば、図３の（Ｃ）に示すような２点補間による手法がある。ブロックの周辺部のように、隣接するブロックの画素情報が必要な場合は、ラインメモリ３に格納されているデータを利用して垂直リサイズ処理を行う。なお、リサイズ方式には、他に図３の（Ｄ）に示す４点補間による処理方式があるが、これについては、後述する。垂直リサイズ回路４でリサイズ処理された画像データは、メモリコントローラ５経由でメモリ６に格納される。
【００４２】
以上の処理により、ＭＰＥＧデコーダ１からの１４４０×１０８０サイズの画像データを、ブロック単位にリサイズ処理して、  ７２０×４８０  サイズの画像データを得ることができる。先に示した従来例によると、入力データをラインメモリに格納していたため、ラインメモリの容量は１４４０画素分必要であったが、本実施の形態によると、水平リサイズ処理後にラインメモリに格納するため、ラインメモリ容量は  ７２０画素分でよい。
【００４３】
図４の（Ａ），（Ｂ）は、本実施の形態における水平リサイズ処理前後のブロックサイズを示す図であり、図４の（Ａ）はＭＰＥＧデコーダ１が出力するブロックサイズを、図４の（Ｂ）は水平リサイズ回路２が出力するブロックサイズを示す。図４の（Ａ）に示すように、ＭＰＥＧデコーダ１では８×８画素をブロックとして取り扱うが、水平リサイズ回路２でリサイズ処理することにより、図４の（Ｂ）に示すように、ブロックサイズは４×８画素に変更され、そのうち最下ラインのデータがラインメモリ３に格納されることを示している。なお、水平リサイズ処理後のブロックサイズは８×８のままで、水平方向のブロック数を半分にしてもよい。
【００４４】
図５は、本実施の形態の変形例を示すブロック図である。図５において、水平リサイズ回路２は水平リサイズ処理を行う演算器７の他に選択回路８を備え、垂直リサイズ回路４は垂直リサイズ処理を行う演算器９の他に選択回路１０を備えている。その他の構成は、図１と同様である。このように構成された変形例では、水平リサイズ回路２及び垂直リサイズ回路４では、選択回路８，１０によって、どちらか一方又は両方のリサイズ機能をスルーさせることができる。
【００４５】
本実施の形態によると、画像データをブロック単位でリサイズ処理することができ、水平方向にリサイズ処理した後の画像データをラインメモリに格納するため、従来例と比較して小さいラインメモリ容量でリサイズ処理を実現することができる。また、リサイズ回路を水平方向と垂直方向で分割しているため、水平方向と垂直方向とで、縮小率あるいは拡大率や、リサイズ手法が異なる場合への対応が容易となる。
【００４６】
（第２の実施の形態）
図６は、本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。図６において、１１はＪＰＥＧ符号データを復号化して８×８画素サイズのブロック単位に画像データを出力するＪＰＥＧデコーダ、１２〜１４は該ＪＰＥＧデコーダ１１からブロック単位に出力された画像データを格納する８画素分の容量を持つバッファ、１５は前記ＪＰＥＧデコーダ１１からの出力データ及び前記バッファ１２〜１４に格納されているデータを用いて、水平方向にリサイズ処理する水平リサイズ回路、１６〜１８は該水平リサイズ回路１５の出力データをライン単位で格納する１ライン分の容量を持つラインメモリ、１９は前記水平リサイズ回路１５の出力データ及び前記ラインメモリ１６〜１８に格納されているデータを用いて、垂直方向にリサイズ処理する垂直リサイズ回路、２０はメモリコントローラ、２１はメモリを示している。
【００４７】
次に、このように構成されている第２の実施の形態における水平リサイズ手法に関して説明する。第１の実施の形態では、水平リサイズ方式は、図３の（Ａ）に示す加算平均方式、又は図３の（Ｂ）に示す単純間引き挿入方式であり、水平隣接ブロックの画素情報を取得するためのバッファは不要である。本実施の形態では、水平リサイズ方式は、図３の（Ｄ）に示す４点補間方式を用いており、水平隣接ブロックの画素情報を取得するためのバッファ１２〜１４を備えている。
【００４８】
図７は、本実施の形態におけるバッファ１２〜１４への格納方法を示す説明図である。ＪＰＥＧデコーダ１１からブロック単位に出力された画像データのうち、８×８画素のブロック内で最右列の８画素がバッファ１２に、右から２番目の列の８画素がバッファ１３に、右から３番目の列の８画素がバッファ１４に、それぞれ格納される。４点補間方式の水平リサイズ処理には４画素分の情報が必要であるが、ブロック周辺部では、最大３画素分の情報を隣接ブロックから取得する必要がある。水平リサイズ回路１５は、必要に応じてバッファ１２〜１４より画素情報を取得し、水平リサイズ処理を行う。なお、水平リサイズ回路１５でのリサイズ方式に、図３の（Ｃ）に示すような２点補間方式を適用する場合は、図６に示した本実施の形態においてバッファ１３及びバッファ１４を取り除いた構成としてもよい。
【００４９】
次に、垂直リサイズ手法に関して説明する。第１の実施の形態では、垂直リサイズ方式は、図３の（Ｃ）に示す２点補間方式を用いており、ラインメモリは１つである。本実施の形態では、垂直リサイズ方式は図３の（Ｄ）に示す４点補間方式を用いており、ラインメモリはラインメモリ１６〜ラインメモリ１８の合計３つとなっている。水平リサイズ回路１５の出力データのうち、ブロックの最下ラインの画素データはラインメモリ１６に、下から２番目のラインの画素データはラインメモリ１７に、下から３番目のラインの画素データはラインメモリ１８にそれぞれ格納される。垂直リサイズ回路１９は、必要に応じてラインメモリ１６〜１８より画素情報を取得することにより、４点補間方式による垂直リサイズ処理が可能となる。
【００５０】
本実施の形態によると、第１の実施の形態と比較して、隣接ブロックの情報を取得するためのバッファ及びラインメモリを増設した構成となっている。このため、第１の実施の形態と比較して高度な水平リサイズ方式及び垂直リサイズ方式を適用することができ、高画質な出力画像を得ることができる。また、本発明によると、従来例と比較してラインメモリの容量を節約することができるので、本実施の形態のようにラインメモリの本数を増設した場合でも、従来例に比べて回路規模の増加を抑えることができる。
【００５１】
（第３の実施の形態）
図８は、本発明の第３の実施の形態に係る画像処理装置の構成を示すブロック図である。この実施の形態は、ビデオエンコーダ２２を設けた以外の構成は、第２の実施の形態と同様であるので、その説明を省略する。ビデオエンコーダ２２は、メモリ２１に格納されているリサイズ処理後の画像データを、メモリコントローラ２０経由で取得し、外部画像表示装置にデータを出力するものである。なお、本実施の形態におけるラインメモリ１６〜１８は、外部画像表示装置の有効領域に対応した容量を有することを特徴としている。例えば、外部画像表示装置の有効領域の大きさを  ７２０×４８０  とすると、ラインメモリ１６〜１８はそれぞれ  ７２０画素分の容量を持つものとする。
【００５２】
次に、２０４８×１５３６画素サイズの画像を  ７２０×４８０  画素に縮小する場合と、  ３２０×２４０  画素サイズの画像を  ７２０×４８０  画素に拡大する場合について説明する。ＪＰＥＧデコーダ１１で復号化された画素サイズが２０４８×１５３６の場合、水平リサイズ回路１５は縮小処理を施して、  ７２０×１５３６サイズの画像データを出力する。ラインメモリ１６〜１８には、それぞれ  ７２０画素の画像データが格納され、垂直リサイズ回路１９で  ７２０×４８０  サイズの画像データが得られる。
【００５３】
一方、ＪＰＥＧデコーダ１１で復号化された画素サイズが  ３２０×２４０  の場合、水平リサイズ回路１５は拡大処理を施して、  ７２０×２４０  サイズの画像データを出力する。ラインメモリ１６〜１８には、それぞれ  ７２０画素の画像データが格納され、垂直リサイズ回路１９で  ７２０×４８０  サイズの画像データが得られる。
【００５４】
以上のように、外部画像表示装置の有効領域が  ７２０×４８０  の場合、水平リサイズ処理後の画像の横幅は  ７２０画素となるので、ラインメモリ１６〜１８は  ７２０画素を格納できる容量を持てばよいことがわかる。
【００５５】
本実施の形態によると、外部表示装置の表示領域に対応してラインメモリの容量を決定するので、どのような拡大率あるいは縮小率のリサイズ処理であっても、ラインメモリを効率よく活用することができる。
【００５６】
（第４の実施の形態）
図９は、本発明の第４の実施の形態に係る画像処理装置の構成を示すブロック図である。図９において、３１はブロック単位で入力される画像データのうち、ブロックの垂直方向画素分の容量を有するバッファ、３２は前記ブロック単位で入力される画像データを、水平方向にリサイズ処理する水平リサイズ回路、３３は該水平リサイズ回路３２の出力データのうち、最下ラインのデータを格納する１ライン分の容量を有するラインメモリ、３４は前記水平リサイズ回路３２の出力データを垂直方向にリサイズ処理する垂直リサイズ回路、３５は垂直リサイズ回路３４の出力データをＪＰＥＧ符号化するＪＰＥＧエンコーダ、３６はメモリコントローラ、３７はメモリを示している。
【００５７】
本実施の形態においては、  ７２０×４８０  画素の入力画像を  ３５２×２８８  画素に縮小し、その後ＪＰＥＧ符号化する例に関して説明する。なお、ＪＰＥＧ符号化は８×８画素のブロック単位で行うものとする。
【００５８】
次に、本実施の形態における動作に関して説明する。メモリ３７に格納されている画像データは、メモリコントローラ３６を介して、バッファ３１及び水平リサイズ回路３２に入力される。このとき、メモリ３７からの画像のリードはＮ×Ｍ画素のブロック単位で行われるが、水平方向の画素数Ｎ及び垂直方向の画素数Ｍは画像の拡大率あるいは縮小率より決定され、この場合、例えばＮは１６又は１７，Ｍは１３又は１４とする。
【００５９】
バッファ３１には、メモリ３７からブロック単位でリードされたデータのうち、Ｎ×Ｍ画素の最右列の画素が格納される。本実施の形態の入力ブロックサイズは最大１７×１４画素なので、バッファ３１は１４画素分の容量を持つ。水平リサイズ回路３２は、Ｎ×Ｍ画素のブロックを水平方向にリサイズ処理して、８×Ｍ画素のブロックを生成する。このとき、隣接ブロックの情報はバッファ３１より取得し、２点補間演算によって水平リサイズ処理を実現する。
【００６０】
水平リサイズ回路３２で出力されたデータのうち、ブロックの最下ラインの画素情報はラインメモリ３３に格納される。ラインメモリ３３は  ３５２画素分の容量を有する。垂直リサイズ回路３４は、水平リサイズ回路３２の出力データ及びラインメモリ３３に格納されているデータを用いて、２点補間演算により、垂直リサイズ処理を実施する。垂直リサイズ回路３４に入力されるブロックサイズは８×Ｍ画素であり、出力ブロックサイズは８×８画素となる。垂直リサイズ回路３４から出力された画像データは、ＪＰＥＧエンコーダ３５にてＪＰＥＧ符号化処理が施され、メモリコントローラ３６経由でメモリ３７に格納される。
【００６１】
第１〜第３の実施の形態では、復号化後にリサイズ処理する手法について説明したが、本実施の形態によると、ブロック単位でリサイズ処理した後に符号化することも可能である。また、第１及び第２の実施の形態と同様に、第１の方向にリサイズ処理した後の画像データをラインメモリに格納するようにしているため、従来例と比較して小さいラインメモリ容量で、リサイズ処理を実現することができる。
【００６２】
図１０は、ブロック単位でのデータ出力値の例を示す図である。以上説明した第１〜第４の実施の形態におけるデータ出力順は、例えば、図１０の（Ａ），図１０の（Ｂ）及び図１０の（Ｃ）のどのデータ出力順にも対応可能である。また、ブロックサイズに関しても、当然８×８画素サイズに限定されるものではなく、例えば図１０の（Ｄ）に示すように、８×８画素サイズのブロックを複数個（図示例では４個）集めた１６×１６サイズのマクロブロックを単位として、処理を行うことも可能である。
【００６３】
また、上記第１〜第４の実施の形態における説明においては、ＪＰＥＧ及びＭＰＥＧに適用した例に関して説明したが、それぞれの実施の形態における画像圧縮伸長方法は、特に限定されるものではなく、ＪＰＥＧやＭＰＥＧやＨ２６１やその他の画像圧縮伸長方法であってもよい。
【００６４】
【発明の効果】
以上実施の形態に基づいて説明したように、請求項１に係る発明によれば、画像データをブロック単位でリサイズ処理することができ、且つ第１の方向にリサイズ処理した後の画像データをライン記憶手段に格納するようにしているため、小さい容量のライン記憶手段でリサイズ処理を行うことができる。また請求項２に係る発明によれば、画像データをブロック単位でリサイズ処理するものなので、復号化手段でブロック単位に復号化された画像データを、そのままブロック単位でリサイズ処理することができる。また請求項３に係る発明によれば、画像データがブロック単位で処理されているので、ブロック単位でリサイズ処理された画像データを、そのままブロック単位で符号化することができる。また請求項４及び５に係る発明によれば、第１のリサイズ手段は、間引き又は加算平均によって第１の方向にリサイズ処理するようにしているので、簡単な構成で、第１の方向のリサイズ処理を実行することができる。また請求項６に係る発明によれば、隣接ブロックの画像データを第１の方向のリサイズ処理に使用でき、より高度なリサイズ処理ができる。
【００６５】
また請求項７に係る発明によれば、１列分の画素記憶手段を備え、隣接するブロックの１列分のデータを格納できるので、第１のリサイズ手段は２点補間によるリサイズ処理が可能となる。また請求項８に係る発明によれば、３列分の画素記憶手段を備え、隣接するブロックの３列分のデータを格納できるので、第１のリサイズ手段は４点補間によるリサイズ処理が可能となる。また請求項９に係る発明によれば、１ライン分のライン記憶手段を備え、隣接ブロックの１ライン分のデータを格納できるので、第２のリサイズ手段は２点補間が可能となる。また請求項１０に係る発明によれば、３ライン分のライン記憶手段を備え、隣接ブロックの３ライン分のデータを格納できるので、第２のリサイズ手段は４点補間が可能となる。また請求項１１に係る発明によれば、第１のリサイズスルー手段を備えているので、第１の方向のリサイズ処理を選択的にスルーさせることができる。また請求項１２に係る発明によれば、第２のリサイズスルー手段を備えているので、第２の方向のリサイズ処理を選択的にスルーさせることができる。また請求項１３に係る発明によれば、ライン記憶手段は、外部表示装置の表示領域に対応した容量を有するように構成しているので、どのような拡大率や縮小率であっても、ライン記憶手段を効率よく使用することができる。
【図面の簡単な説明】
【図１】本発明に係る画像処理装置の第１の実施の形態を示すブロック図である。
【図２】リサイズ処理態様の一例を示す図である。
【図３】リサイズ処理手法を示す説明図である。
【図４】図１に示した第１の実施の形態における水平リサイズ処理前後のブロックサイズを示す図である。
【図５】図１に示した第１の実施の形態の変形例を示すブロック図である。
【図６】本発明の第２の実施の形態に係る画像処理装置を示すブロック図である。
【図７】図６に示した第２の実施の形態におけるバッファへの格納態様を示す説明図である。
【図８】本発明の第３の実施の形態に係る画像処理装置を示すブロック図である。
【図９】本発明の第４の実施の形態に係る画像処理装置を示すブロック図である。
【図１０】本発明の各実施の形態におけるブロック単位でのデータ出力順、及びブロックサイズの他の例を示す図である。
【図１１】画像とブロック単位との関係を示す図である。
【図１２】８×８画素で構成されるブロック及びブロック周辺部を拡大して示す図である。
【図１３】従来の１画面単位でリサイズ処理を行う画像処理装置の構成例を示すブロック図である。
【図１４】従来のブロック単位でリサイズ処理を行う画像処理装置の構成例を示すブロック図である。
【図１５】図１４に示した従来例における隣接ブロックデータを取得する手法を示す説明図である。
【符号の説明】
１  ＭＰＥＧデコーダ
２  水平リサイズ回路
３  ラインメモリ
４  垂直リサイズ回路
５  メモリコントローラ
６  メモリ
７  演算器
８  選択回路
９  演算器
１０  選択回路
１１  ＪＰＥＧデコーダ
１２，１３，１４  バッファ
１５  水平リサイズ回路
１６，１７，１８  ラインメモリ
１９  垂直リサイズ回路
２０  メモリコントローラ
２１  メモリ
２２  ビデオエンコーダ
３１  バッファ
３２  水平リサイズ回路
３３  ラインメモリ
３４  垂直リサイズ回路
３５  ＪＰＥＧデコーダ
３６  メモリコントローラ
３７  メモリ
【図１】
2004328178.tif 000003
【図２】
2004328178.tif 000004
【図３】
2004328178.tif 000005
【図４】
2004328178.tif 000006
【図５】
2004328178.tif 000007
【図６】
2004328178.tif 000008
【図７】
2004328178.tif 000009
【図８】
2004328178.tif 000010
【図９】
2004328178.tif 000011
【図１０】
2004328178.tif 000012
【図１１】
2004328178.tif 000013
【図１２】
2004328178.tif 000014
【図１３】
2004328178.tif 000015
【図１４】
2004328178.tif 000016
【図１５】
2004328178.tif 000017