(57)【特許請求の範囲】
【請求項１】
１フレームを複数に分割した各単位エリア毎に処理された原画像を記憶する工程と、
設定された横拡大倍率に従って、前記原画像の前記各単位エリア中の所定の画素間の補間画素にデータを補間して、前記原画像の少なくとも水平方向のサイズを拡大して変更する工程と、
を有し、
前記原画像の前記各単位エリアは、前記１フレームの水平方向で隣接する２つの前記単位エリア間の垂直仮想境界線に沿って配列された複数の第１の境界画素を含み、
前記画像サイズ変更工程では、前記複数の第１の境界画素を含まない画素間に前記補間画素を設定することを特徴とする画像サイズの変更方法。
【請求項２】
請求項１において、
前記原画像の前記各単位エリアは、前記１フレームの垂直方向で隣接する２つの前記単位エリア間の水平仮想境界線に沿って配列された複数の第２の境界画素を含み、
前記画像サイズ変更工程は、設定された縦拡大倍率に従って、前記複数の第２の境界画素を含まない画素間に前記補間画素を設定して、前記原画像の垂直方向のサイズを拡大する工程をさらに含むことを特徴とする画像サイズの変更方法。
【請求項３】
請求項１または２において、
前記画像サイズ変更工程は、設定された横縮小倍率に従って、前記原画像の前記各単位エリア中の前記複数の第１の境界画素以外の間引き画素のデータを間引いて、前記原画像の水平方向のサイズを縮小して変更する工程をさらに含むことを特徴とする画像サイズの変更方法。
【請求項４】
請求項１において、
前記原画像の前記各単位エリアは、前記１フレームの垂直方向で隣接する２つの前記単位エリア間の水平仮想境界線に沿って配列された複数の第２の境界画素を含み、
前記画像サイズ変更工程は、設定された縦縮小倍率に従って、前記原画像の前記各単位エリア中の前記複数の第２の境界画素以外の間引き画素のデータを間引いて、前記原画像の垂直方向のサイズを縮小して変更する工程をさらに含むことを特徴とする画像サイズの変更方法。
【請求項５】
請求項１乃至４のいずれかにおいて、
前記原画像の処理履歴として、ＭＰＥＧ方式にて圧縮または伸張処理されていることを特徴とする画像サイズの変更方法。
【請求項６】
請求項５において、
前記原画像は、離散コサイン変換または逆離散コサイン変換時に、８画素×８画素の大きさの１ブロック単位で処理されており、
前記単位エリアが前記１ブロックと一致することを特徴とする画像サイズの変更方法。
【請求項７】
請求項５において、
前記原画像は、動き補償または逆動き補償の処理時に、１６画素×１６画素の大きさの１マクロブロック単位で処理されており、
前記単位エリアが前記１マクロブロックと一致することを特徴とする画像サイズの変更方法。
【請求項８】
請求項１乃至７のいずれかにおいて、
前記データの補間を実施する工程は、前記補間画素のデータを、前記補間画素と隣接する複数画素の各データを用いて平均化する工程を含むことを特徴とする画像サイズの変更方法。
【請求項９】
請求項３または４において、
前記データの間引きを実施する工程は、前記間引き画素に隣接する画素であって、前記複数の第１または第２の境界画素以外のデータを、前記間引画素のデータを用いて平均化する工程を含むことを特徴とする画像サイズの変更方法。
【請求項１０】
請求項８または９において、
前記原画像は、ＹＵＶ成分から成るカラー画像であり、
前記平均化工程は、Ｙ成分についてのみ実施されることを特徴とする画像サイズの変更方法。
【請求項１１】
１フレームを複数に分割した各単位エリア毎に処理された原画像を記憶する記憶手段と、
設定された横拡大倍率に従って、前記記憶手段からの前記原画像の前記各単位エリア中の所定の画素間の補間画素にデータを補間して、前記原画像の少なくとも水平方向のサイズを拡大して変更する画像サイズ変更手段と、
を有し、
前記原画像の前記各単位エリアは、前記１フレームの水平方向で隣接する２つの前記単位エリア間の垂直仮想境界線に沿って配列された複数の第１の境界画素を含み、
前記画像サイズ変更手段は、前記複数の第１の境界画素を含まない画素間に前記補間画素を設定することを特徴とする画像サイズの変更装置。
【請求項１２】
請求項１１において、
前記原画像の前記各単位エリアは、前記１フレームの垂直方向で隣接する２つの前記単位エリア間の水平仮想境界線に沿って配列された複数の第２の境界画素を含み、
前記画像サイズ変更手段は、設定された縦拡大倍率に従って、前記複数の第２の境界画素を含まない画素間に前記補間画素を設定して、前記原画像の垂直方向のサイズを拡大することを特徴とする画像サイズの変更装置。
【請求項１３】
請求項１２において、
前記画像サイズ変更手段は、設定された横縮小倍率に従って、前記原画像の前記各単位エリア中の前記複数の第１の境界画素以外の間引き画素のデータを間引いて、前記原画像の水平方向のサイズを縮小して変更することを特徴とする画像サイズの変更装置。
【請求項１４】
請求項１３において、
前記画像サイズ変更手段は、設定された縦縮小倍率に従って、前記原画像の前記各単位エリア中の前記複数の第２の境界画素以外の間引き画素のデータを間引いて、前記原画像の垂直方向のサイズを縮小して変更することを特徴とする画像サイズの変更装置。
【請求項１５】
請求項１４において、
前記画像サイズ変更手段は、
前記水平方向にて前記画像サイズを変更する水平方向変更手段と、
前記垂直方向にて前記画像サイズを変更する垂直方向変更手段と、
を有し、
前記水平及び垂直方向変更手段の少なくとも一方は、
前記水平または垂直方向でｎ（ｎは自然数）番目の画素のデータが入力される第１のバッファと、
前記水平または垂直方向で（ｎ＋１）番目の画素のデータが入力される第２のバッファと、
前記ｎ番目及び（ｎ＋１）番目の各画素のデータを平均化する演算部と、
前記演算部の出力が入力される第３のバッファと、
前記第１〜第３のバッファの出力のいずれか一つを選択するセレクタと、
を有することを特徴とする画像サイズの変更装置。
【請求項１６】
請求項１５において、
拡大倍率の時には、前記セレクタは、前記補間画素に対して、前記第３のバッファの出力を選択して出力することを特徴とする画像サイズの変更装置。
【請求項１７】
請求項１５または１６において、
縮小倍率の時には、前記セレクタは、前記間引き画素に隣接する画素に対して、前記第３のバッファの出力を選択して出力することを特徴とする画像サイズの変更装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、例えばＭＰＥＧ（Motion Picture Coding Experts Group）等にて圧縮または伸張された処理履歴を有す原画像のサイズを変更する画像サイズ変更方法及び装置に関する。
【０００２】
【背景技術及び発明が解決しようとする課題】
従来、画象サイズを拡大させるには、ある画素間の補間画素にデータを補間させ、画像サイズを縮小させるには間引き画素のデータを欠落させていた。
【０００３】
しかし、この手法を、例えばＭＰＥＧ４にて圧縮または伸張された処理履歴を有する画像に採用すると、画面がちらついたり、粗さが目立つようになり、画質が劣化するという問題があった。
【０００４】
本発明者等は、この画質の劣化の原因が、圧縮または伸張処理時に、１フレームを複数に分割した単位エリア毎に処理していることに関連していることを見出した。
【０００５】
そこで、本発明の目的は、単位エリア毎に圧縮または伸張された処理履歴を有する原画像を、画質を劣化することなく拡大または縮小させることができる画像サイズの変更方法及び装置を提供することにある。
【０００６】
【課題を解決するための手段】
本発明の一態様に係る画像サイズの変更方法は、１フレームを複数に分割した各単位エリア毎に処理された原画像を記憶する工程と、設定された横拡大倍率に従って、前記原画像の前記各単位エリア中の所定の画素間の補間画素にデータを補間して、前記原画像の少なくとも水平方向のサイズを拡大して変更する工程とを有する。前記原画像の前記各単位エリアは、前記１フレームの水平方向で隣接する２つの前記単位エリア間の垂直仮想境界線に沿って配列された複数の第１の境界画素を含む。前記画像サイズ変更工程では、前記複数の第１の境界画素を含まない画素間に前記補間画素を設定する。本発明の他の態様は、この方法を実施する装置を定義している。
【０００７】
本発明方法及び装置の処理対象となる原画像は、１フレームを複数に分割した各単位エリア毎に処理された処理履歴を有する。この各単位エリアは、１フレーム中の水平方向または垂直方法にて他の単位エリアと隣接している。水平方向で隣合う２つの単位エリアでは、その間の垂直仮想境界線に沿って配列されている一方の単位エリア内の第１の境界画素と、他方の単位エリア内の第１の境界画素とは、処理単位が異なるので、隣合う画素同士であってもデータの相関が比較的少なくなる。
【０００８】
よって、第１の境界画素のデータを用いて補間画素用の補間データとすると、２つの単位エリアの境界が強調処理され、垂直仮想境界線が画面上で目立つようになってしまう。
【０００９】
本発明では、第１の境界画素のデータが補間データとして利用されることを禁止しているので、画像サイズを水平方向にて拡大しても画質を維持することができる。
【００１０】
本発明は、原画像を垂直方向に拡大させる時にも適用できる。この場合、前記原画像の前記各単位エリアは、前記１フレームの垂直方向で隣接する２つの前記単位エリア間の水平仮想境界線に沿って配列された複数の第２の境界画素を含んでいる。そして、前記画像サイズ変更工程は、設定された縦拡大倍率に従って、前記複数の第２の境界画素を含まない画素間に前記補間画素を設定する。こうして、第２の境界画素のデータが補間データとして利用されることを禁止しているので、画像サイズを垂直方向にて拡大しても画質を維持することができる。
【００１１】
本発明は、原画像を水平方向にて縮小させる時にも適用できる。この場合、前記画像サイズ変更工程は、設定された横縮小倍率に従って、前記原画像の前記各単位エリア中の前記複数の第１の境界画素以外の間引き画素のデータを間引いて、前記原画像の水平方向のサイズを縮小して変更する。こうして、第１の境界画素のデータが間引きされることを禁止しているので、画像サイズを水平方向にて縮小しても画質を維持することができる。
【００１２】
本発明は、原画像を垂直方向にて縮小させる時にも適用できる。この場合、前記画像サイズ変更工程は、設定された縦縮小倍率に従って、前記原画像の前記各単位エリア中の前記複数の第２の境界画素以外の間引き画素のデータを間引いて、前記原画像の垂直方向のサイズを縮小して変更する。こうして、第２の境界画素のデータが間引きされることを禁止しているので、画像サイズを垂直方向にて縮小しても画質を維持することができる。
【００１３】
単位エリア毎に処理された処理履歴を有する原画像として、例えばＭＰＥＧ方式にて圧縮または伸張処理された画像を挙げることができる。
【００１４】
ＭＰＥＧ方式にて圧縮または伸張処理された原画像は、離散コサイン変換または逆離散コサイン変換時に、８画素×８画素の大きさの１ブロック単位で処理されている。この場合は、前記単位エリアを前記１ブロックと一致させればよい。
従って、１フレーム中の水平及び垂直方向にて、（ｎ×８）番目の画素と、（ｎ×８＋１）番目の画素が境界画素となる。ただし、ｎは自然数である。
【００１５】
ＭＰＥＧ方式にて圧縮または伸張処理された原画像は、動き補償または逆動き補償の処理時に、１６画素×１６画素の大きさの１マクロブロック単位で処理されている。よって、前記単位エリアを１マクロブロックと一致させてもよい。この場合は、１フレーム中の水平及び垂直方向にて、（ｎ×１６）番目の画素と、（ｎ×１６＋１）番目の画素が境界画素となる。
【００１６】
前記データの補間を実施する工程は、補間画素のデータを、補間画素と隣接する複数画素の各データを用いて平均化する工程を含むことができる。あるいは、前記データの間引きを実施する工程は、間引画素に隣接する画素のデータであって、前記複数の第１または第２の境界画素以外のデータを、間引画素のデータを用いて平均化する工程を含むことができる。こうすると、平均化しない場合と比較して、輝度または色強調が緩和されて、原画像に近い画質を維持することができる。
【００１７】
なお、前記原画像がカラー画像の場合、ＲＧＢ成分の画像をサイズ変更しても良いが、ＹＵＶ成分から成るカラー画像を対象としても良い。後者の場合、前記平均化工程は、色に対する感覚が支配的なＹ成分についてのみ実施されてもよい。
【００１８】
ここで、本発明の他の態様に係る画像サイズの変更装置では、前記画像サイズ変更手段は、前記水平方向にて前記画像サイズを変更する水平方向変更手段と、前記垂直方向にて前記画像サイズを変更する垂直方向変更手段とを有することができる。
【００１９】
この場合、前記水平及び垂直方向変更手段の少なくとも一方は、前記水平または垂直方向でｎ（ｎは自然数）番目の画素のデータが入力される第１の水平バッファと、前記水平または垂直方向で（ｎ＋１）番目の画素のデータが入力される第２の水平バッファと、前記ｎ番目及び（ｎ＋１）番目の各画素のデータを平均化する演算部と、前記演算部の出力が入力される第３の水平バッファと、前記第１〜第３のバッファの出力のいずれか一つを選択するセレクタとを有することができる。
【００２０】
前記倍率が拡大倍率の時には、前記セレクタは、前記補間画素に対して、前記第３の水平バッファの出力を選択して出力すればよい。一方、前記倍率が縮小倍率の時には、前記間引き画素に隣接する画素に対して、前記第３の水平バッファの出力を選択して出力すればよい。
【００２１】
【発明の実施の形態】
以下、本発明の一実施形態について、図面を参照して説明する。
【００２２】
（携帯電話機の概要）
図１は、本発明が適用される電子機器の一例である携帯電話機のブロック図である。図１において、この携帯電話機１０は、通信機能部２０と付加機能部３０とに大別される。通信機能部２０は、アンテナ２１にて送受信される信号（圧縮動画像を含む）を処理する公知の各種ブロックを有する。通信機能部２０の全ブロックの説明は省略するが、ベースバンドＬＳＩ２２は、主として音声などを処理するプロセッサであり、携帯電話１０には必ず搭載されている。このベースバンドＬＳＩ２２には、ベースバンドエンジン（ＢＢＥ）やアプリーションプロセッサ等が搭載されている。これらのプロセッサ上のソフトウェアにより、図２（Ａ）に示すＭＰＥＧ４の圧縮（エンコード）処理のうち、可変長符号（ＶＬＣ：Variable Length Code）への符号化（Encode）、スキャン（Scan）、AＣＤＣ（交流・直流成分）予測及びレートコントロール（Rate Control）が実施されるようになっている。さらに、ベースバンドＬＳＩ２２に搭載されたプロセッサ上のソフトウェアにより、図２（Ｂ）に示すＭＰＥＧ４の伸張（デコード）処理のうち、可変長符号（ＶＬＣ）の復号（Decode）、逆スキャン（Reverse Scan）及び逆ＡＣＤＣ（交流・直流成分）予測が実施されるようになっている。ＭＰＥＧ４のデコード及びエンコードの他の処理については、付加機能部３０に設けられたハードウェアにて実施される。
【００２３】
付加機能部３０は、通信機能部２０のベースバンドＬＳＩ２１に接続されたホストＣＰＵ（中央演算ユニット）３１を有する。このホストＣＰＵ３１にはＬＣＤコントローラＬＳＩ３２が接続されている。このＬＣＤコントローラＬＳＩ３２には、画像表示部としての液晶表示装置（ＬＣＤ）３３と、撮像部としてのＣＣＤカメラ３４とが接続されている。ＭＰＥＧ４のデコード及びエンコードのうちのハードウェア処理と、画像サイズの変更のためのハードウェア処理とについては、ＬＣＤコントローラＬＳＩ３２に設けられたハードウェアにて実施される。
【００２４】
（ＭＰＥＧ４のエンコード及びデコード）
ここで、図２（Ａ）及び図２（Ｂ）に示すＭＰＥＧ４のエンコード及びデコードの各処理について簡単に説明する。この処理の詳細については、例えば日本実業出版社の「JPEG&MPEG  図解でわかる画像圧縮技術」（越智宏、黒田英夫の共著）に説明されているので、本発明に関する処理についてのみ主として説明する。
【００２５】
図２（Ａ）に示す圧縮（エンコード）処理では、まず、連続する２枚の画像間の動き検出（ＭＥ：Motion Estimation）が実施される(ステップ１)。具体的には２枚の画像間の同一画素同士の差分を求める。２枚の画像での静止画領域では差分が０になるので、情報量を少なくでき、この静止画領域のゼロデータに加え、動画領域の差分（プラス・マイナス成分）が動き検出後の情報となる。
【００２６】
次に、離散コサイン変換（ＤＣＴ：Discrete Cosine Transform）が実施される（ステップ２）。この離散コサイン変換（ＤＣＴ）は、図３に示す８画素×８画素の１ブロック単位にて演算され、１ブロック毎にＤＣＴ係数を求めるものである。離散コサイン変換後のＤＣＴ係数は、１ブロック内の画像の濃淡変化を、全体の明るさ（ＤＣ成分）と空間周波数（ＡＣ成分）とで表わしたものである。図４は、８×８画素の１ブロック内のＤＣＴ係数の一例を示している（上述の図書の第１１６頁の図５−６を引用）。その左上隅のＤＣＴ係数がＤＣ成分を示し、それ以外のＤＣＴ係数がＡＣ成分を示す。なお、ＡＣ成分のうち、高周波成分を省略しても画像認識への影響が少ない。
【００２７】
次に、ＤＣＴ係数の量子化が行われる（ステップ３）。この量子化は、１ブロック内の各ＤＣＴ係数を、量子化テーブル中の対応する位置の量子化ステップ値で除算して、情報量を少なくするために実施される。例えば、図４のＤＣＴ係数を図５の量子化テーブルを用いて量子化した１ブロック内のＤＣＴ係数を図６に示す（上述の図書の第１１７頁の図５−９及び図５−１０を引用）。図６に示す通り、特に、高周波成分のＤＣＴ係数を量子化ステップ値で除算し、その小数点以下を四捨五入すると、ほとんどがゼロデータとなり、情報量が大幅に減少している。
【００２８】
このエンコード処理には、処理フレームと次フレームとの間で上述の動き検出（ＭＥ）を実施するために、帰還ルートが必要となる。この帰還ルートでは、図２（Ａ）に示すように、逆量子化（ｉＱ）、逆ＤＣＴ及び動き補償（ＭＣ：Motion Compensation）が実施される（ステップ４〜６）。なお、動き補償の詳細な動作については省略するが、この処理は図３に示す１６画素×１６画素の１マクロブロック単位で実施される。
【００２９】
上述したステップ１〜６の処理は、本実施形態のＬＣＤコントローラＬＳＩ３２に設けられたハードウェアにて実施される。
【００３０】
次に、図１のベースバンドＬＳＩ２２に搭載されたプロセッサ上のソフトウェアにより実施されるAＣＤＣ（交流・直流成分）予測、スキャン（Scan）、可変長符号（ＶＬＣ：Variable Length Code）への符号化（Encode）及びレートコントロール（Rate Control）について説明する。
【００３１】
図２（Ａ）のステップ７で実施されるAＣＤＣ（交流・直流成分）予測及びステップ８で実施されるスキャンは、共にステップ９の可変長符号の符号化に必要な処理である。なぜなら、ステップ９の可変長符号への符号化は、ＤＣ成分については隣接ブロック間での差分を符号化し、ＡＣ成分についてはブロック内を周波数が低い側から高い側に向けてスキャン（ジグザグスキャンとも称する）して符号化の順序を決める必要があるからである。
【００３２】
ステップ９の可変長符号への符号化とは、エントロピー符号化とも称され、符号化原理として、出現頻度の多いものは少ない符号で表すように符号化するものである。ステップ７，８での結果を利用して、ＤＣ成分について隣接ブロック間での差分を符号化し、ＡＣ成分についてはスキャンされた順番で低周波側から高周波側から順にＤＣＴ係数値を符号化する。
【００３３】
ここで、画像信号は、その画像の複雑さや動きの激しさによって情報の発生量が変動する。この変動を吸収し、一定の伝送速度で伝送するには符号発生量の制御が必要であり、これがステップ１０のレートコントロールである。レートコントロールのために通常バッファメモリが設けられ、そのバッファメモリがオーバフローしないように蓄積情報量を監視し、情報発生量を抑えるようにする。具体的には、ステップ３での量子化特性を粗くして、ＤＣＴ係数値を表すビット数を減らしている。
【００３４】
図２（Ｂ）は圧縮された動画像の伸張（デコード）処理を示し、このデコード処理は図２（Ａ）のエンコード処理を逆順でかつ逆処理することで達成される。
なお、図２（Ｂ）中の「ポストフィルタ」とは、ブロックノイズを消去するためのフィルタである。このデコード処理でも、ＶＬＣ復号化（ステップ１）、逆スキャン（ステップ２）及び逆ＡＣＤＣ予測（ステップ３）がソフトウェア処理され、逆量子化以降の処理がハードウェア処理される（ステップ４〜８）。
【００３５】
（圧縮画像の伸張のための構成及び動作）
図７は、図１に示すＬＣＤコントローラＬＳＩ３２の機能ブロック図である。
なお、図７は圧縮動画像のデコード処理部と画像サイズの変更部に関係するハードウェアを示している。このＬＣＤコントローラＬＳＩ３２は、図２（Ｂ）のステップ４〜８を実施する第１のハードウェア処理部４０、データ記憶部５０及び画像サイズを変更する第２のハードウェア処理部８０を有する。この第２のハードウェア処理部８０は、水平方向サイズ変更部８１および垂直方向サイズ変更部８２を有する。また、このＬＣＤコントローラＬＳＩ３２は、ホストインターフェース６０を介してホストＣＰＵ３１に接続される。ベースバンドＬＳＩ２２内にはソフトウェア処理部７０が設けられる。このソフトウェア処理部７０は、図２（Ｂ）のステップ１〜３を実施する。このソフトウェア処理部７０もまた、ホストＣＰＵ３１に接続されている。
【００３６】
まず、ソフトウェア処理部７０について説明する。このソフトウェア処理部７０は、ハードウェアとしてＣＰＵ７１と画像処理プログラム格納部７２とを有する。ＣＰＵ７１は、格納部７２に格納された画像処理プログラムに従って、図１のアンテナ２１から入力された圧縮動画像に対して、図２（Ｂ）に示すステップ１〜３を実施する。ＣＰＵ７１はさらに、図２（Ｂ）のステップ３の処理済データを圧縮するデータ圧縮部７１Ａとして機能する。圧縮されたデータは、ホストＣＰＵ３１、ホストインターフェース６０を介して、ＬＣＤコントローラ３２内のデータ記憶部５０（例えばＳＲＡＭなど）に設けられた圧縮データ用記憶領域５１に格納される。
【００３７】
一方、ＬＣＤコントローラ３２内に設けられた第１のハードウェア処理部４０は、圧縮データ用記憶領域５１からの圧縮データを伸張するデータ伸張部４１を有する。この第１のハードウェア処理部４０には、図２（Ｂ）のステップ４〜７の各処理を実施するための処理部４２〜４５が設けられている。ポストフィルタ４５にてブロックノイズが除去された動画像データは、データ記憶部５０内の表示用記憶領域５２内に格納される。色情報変換処理部４６は、表示用記憶領域５２内に格納された画像情報に基づいて、図２（Ｂ）のステップ８のＹＵＶ／ＲＧＢ変換を実施する。処理部４６の出力は、ＬＣＤインターフェース４７を介してＬＣＤ３３に供給され、表示駆動に供される。なお、表示用記憶領域５２は、少なくとも１フレーム分の動画像を記憶する容量を有する。表示用記憶領域５２は、好ましくは２フレーム分の動画像を記憶する容量を有し、動画像をより円滑に表示できるようにしても良い。
【００３８】
（画像サイズ変更の原理）
次に、画像サイズを変更する第２のハードウェア処理部８０での画像サイズの変更原理について、図８及び図９を参照して説明する。図８は原画像サイズを１．２５倍に拡大し、図９は原画像サイズを０．７５倍に縮小する動作原理をそれぞれ示している。
【００３９】
図８に示すように、原画像サイズを縦横１．２５倍に拡大するには、８×８画素の１ブロックを、１０×１０画素に拡大すればよい。このために、図８に示すように、１ブロック内の縦横の各々で、１〜８番目の画素のうち２つの画素のデータを２つの補間画素１００のデータとして繰り返し用いればよい（画素ダブリングと称する）。
【００４０】
一方、原画像サイズを縦横０．７５倍に縮小するには、図９に示すように、１ブロック内の縦横の各々で、１〜８番目の画素のうち２つの画素を間引き画素１１０として間引いて、２画素分のデータを欠落させればよい。
【００４１】
ここで、本実施形態では、原画像の各１ブロック（単位エリア）は、図８及び図９に示すように、１フレームの水平方向で隣接する２つのブロック間の垂直仮想境界線ＶＶＢＬに沿って配列された複数の第１の境界画素１２０を含んでいる。同様に、１フレームの垂直方向で隣接する２つのブロック間の水平仮想境界線ＨＶＢＬに沿って配列された複数の第２の境界画素１３０を含んでいる。
【００４２】
拡大画像を示す図８の画像の水平方向では、複数の第１の境界画素１２０を含まない画素間に、２つの水平補間画素１００Ａ，１００Ｂを設定する。図８では、原画像の１ブロック内にて、水平方向で２番目（例えばＡ２）と３番目（例えばＡ３）との間に第１の水平補間画素１００Ａが、水平・垂直方向で６番目（例えばＡ６）と７番目（例えばＡ７）との間に第２の水平補間画素１００Ｂが設けられている。図８では、第１，第２の水平補間画素１００Ａ，１００Ｂの各データは、水平方向で２番目（例えばＡ２）または６番目（例えばＡ６）の画素のデータをダブリングすることで形成されている。
【００４３】
拡大画像を示す図８の画像の垂直方向では、複数の第２の境界画素１３０を含まない画素間に、２つの垂直補間画素１００Ｃ，１００Ｄを設定する。図８では、原画像の１ブロック内にて、垂直方向で３番目（例えばＣ１）と４番目（例えばＤ１）との間に第１の垂直補間画素１００Ｃが、垂直方向で５番目（例えばＥ１）と６番目（例えばＦ１）との間に第２の垂直補間画素１００Ｄが設けられている。図８では、第１，第２の垂直補間画素１００Ｃ，１００Ｄの各データは、垂直方向で３番目（例えばＣ１）または５番目（例えばＥ１）の画素のデータをダブリングすることで形成されている。
【００４４】
一方、縮小画像を示す図９の画像の水平方向では、複数の第１の境界画素１２０以外の位置に指定された２つの水平間引き画素１１０Ａ，１１０Ｂが間引かれている。図９では、原画像の１ブロック内にて、水平方向で３番目（Ａ３，Ｂ３，…Ｈ３）の第１の水平間引き画素１１０Ａと、水平方向で６番目（Ａ６，Ｂ６，…Ｈ６）の第２の水平間引き画素１１０Ｂとがそれぞれ間引かれている。
【００４５】
縮小画像を示す図９の画像の垂直方向では、複数の第２の境界画素１３０以外の位置に指定された２つの垂直間引き画素１１０Ｃ，１１０Ｄが間引かれている。図９では、原画像の１ブロック内にて、垂直方向で３番目（Ｃ１，Ｃ２，…Ｃ８）の第１の垂直間引き画素１１０Ｃと、垂直方向で６番目（Ｆ１，Ｆ２，…Ｆ８）に第２の垂直間引き画素１１０Ｄとがそれぞれ間引かれている。
【００４６】
ここで、原画像を水平方向で拡大・縮小する時に、第１の境界画素１２０のデータを用いて補間し、あるいは第１の境界画素１２０を間引くと、２つの単位エリアの境界が強調処理され、垂直仮想境界線ＶＶＢＬが画面上で目立つようになってしまう。本実施形態では、第１の境界画素１２０のデータが補間データとされたり間引かれたりすることを禁止しているので、画像サイズを水平方向にて拡大・縮小しても画質を維持することができる。
【００４７】
同様に、原画像を垂直方向で拡大・縮小する時に、第２の境界画素１３０のデータを用いて補間し、あるいは第２の境界画素１３０を間引くと、２つの単位エリアの境界が強調処理され、水平仮想境界線ＨＶＢＬが画面上で目立つようになってしまう。本実施形態では、第２の境界画素１３０のデータが補間データとされたり間引かれたりすることを禁止しているので、画像サイズを垂直方向にて拡大・縮小しても画質を維持することができる。
【００４８】
図１０及び図１１は、図８及び図９にさらに、データ平均化の手法を取り入れた時の拡大・縮小動作を示している。図１０では、補間画素１００Ａ〜１００Ｄが、その前後の画素を平均化したデータとされている。
【００４９】
ここで、拡大画像の１ブロックの水平方向で例えば第３，５列目の画素データＡ３，Ａ４間にある補間画素データＡＡ３４とは、ＡＡ３４＝（Ａ３＋Ａ４）／２の意味である。同様に、１ブロックの垂直方向で例えば第３，５行目の画素データＣ１，Ｄ１間にある補間画素データＡＤＣ１とは、ＡＣＤ１＝（Ｃ１＋Ｄ１）／２の意味である。
【００５０】
このように、補間画素データをその両隣の画素データにて平均化することで、図８のように画素データをダブリングさせたものと比較すれば、輝度または色強調が緩和される。特に、輪郭部などにて色または輝度が激しく変化する部分について、その変化が滑らかになって原画像の画質を維持できる。
【００５１】
一方、図９にて間引き画素の隣にある画素は、図１１に示すように平均化される。例えば、図９の間引き画素データＡ３の左隣にある画素データＡ４は、図１１では間引き画素データＡ３を用いて画素データＡＡ３４に平均化されている。
この画素データＡＡ３４とは、ＡＡ３４＝（Ａ３＋Ａ４）／２の意味である。縮小画像において間引き画素データを用いて残存画素データを平均化することで、拡大画像と同じく、原画像の画質を維持できる。
【００５２】
（第２のハードウェア処理部の構成及び動作）
図１２は、図７に示す第２のハードウェア処理部８０内に設けられた、水平方向サイズ変更部８１及び垂直方向サイズ変更部８２の一方または双方に設けられる構成を示すブロック図である。
【００５３】
図１２において、第１のバッファ９０には、図７の表示用記憶領域５２より水平または垂直方向でｎ（ｎは自然数）番目の画素のデータが入力される。第２のバッファ９１には、図７の表示用記憶領域５２より水平または垂直方向で（ｎ＋１）番目の画素のデータが入力される。演算部９２は、ｎ番目及び（ｎ＋１）番目の各画素のデータを平均化する。第３のバッファ９３には、演算部９２の出力が入力される。セレクタ９４は、第１〜第３のバッファ９０，９１，９３の出力のいずれか一つを選択する。セレクタ９４の出力は、図７の表示用記憶領域５２内の所定のアドレスに記憶される。これらの各ブロック９０〜９４は、クロック生成部９５からのクロックに同期して動作するようになっている。
【００５４】
図１２に示すサイズ変更部の基本的動作を図１３を参照して説明する。図１３は、そのセレクタ出力の通り、１ブロック内にて３番目と４番目の画素データＡ３，Ａ４間に補間画素データＡＡ３４を補間して拡大する場合の動作を示している（拡大倍率９／８）。
【００５５】
図１３に示すように、第１〜第３のバッファ９０，９１，９３には、原則として２クロック分の時間だけデータが書き込まれ、セレクタ９４は１クロックに１回、第１〜第３のバッファ９０，９１，９３のいずれかの出力を選択して出力する。
【００５６】
具体的には、先ず画素データＡ１が第１のバッファ９０に書き込まれ、次の画素データＡ２が演算部９２に入力されると同時に、第１のバッファ９０からの画素データＡ１が演算部９２に入力される。演算部９２では、ＡＡ１２＝（Ａ１＋Ａ２）／２の平均化を行う。この平均化データＡＡ１２は、２番目のクロックに従って画素データＡ２が第２のバッファ９１に書き込まれると同時に、第３のバッファ９３に書き込まれる。以下、画素データは交互に第１，第２のバッファ９０，９１に書き込まれ、同様の動作が繰り返される。
【００５７】
セレクタ９４は、最初のクロックに従って第１のバッファ９０に書き込まれた画素データＡ１を選択して出力する。次のクロックでは、第２のバッファ９１からの画素データＡ２を選択する。３番目のクロックでは、第１のバッファ９０からの画素データＡ３を選択する。次に補間画素のデータとして、第３のバッファ９３からの平均化データＡＡ３４を選択する。以降、各ブロック毎に同じ動作を繰り返す。
【００５８】
ここで、補間画素データを１回選択すると、以降のクロック同期を修正する必要があり、図１３では省略しているが、画素データＡ１２，Ａ１３については例外的に３クロック分だけ対応するバッファに書き込んでおく必要がある。
【００５９】
この例外的動作を利用して、図１０に示す１．２５倍の拡大画像を生成する場合について、図１４を参照して説明する。
【００６０】
図１４では、図１０にて説明した通り、１ブロックの例えば水平方向にて２つの補間画素１００Ａ，１１０ＢのデータＡＡ３４，ＡＡ５６を生成する必要がある。このために、画素データＡ４〜Ａ７及び平均化データＡＡ３４，ＡＡ５６については、対応するバッファに３クロック分の時間だけ格納される。画素データＡ５を２クロック分だけ格納すると、平均化データＡＡ５６を生成する時に画素データＡ５がバッファ内に存在しなくなってしまうからである。他の一部の画素データも、タイミング合わせのために、３クロック分だけ対応するバッファに格納される。
【００６１】
図１５は、図１１に示す０．７５倍の縮小画像を生成する場合の動作を示している。この場合、原則通り、各バッファ９０，９１，９３には２クロック分の時間だけデータが格納されればよい。ただし、図１５に示すように、セレクタ９４から平均化データＡＡ３４を選択した後、１クロック分待機した後に、次の画素データを選択するようにしている。
【００６２】
ここで、本実施形態では、図７に示す通り、ＹＵＶ成分から成るカラー画像を原画像として、そのサイズを拡大または縮小しようとしている。図７では、ＬＣＤ３３に出力する前にＲＧＢへの変換を実施しているからである。もちろん、ＲＧＢ画像を原画像としてもよい。
【００６３】
ここで、ＹＵＶ成分の原画像の場合、Ｙ成分がＵ，Ｖ成分に比べ色に対する感覚を大きく支配する。そこで、Ｙ成分についてのみ、図１０に示すように補間画素データを平均化し、Ｕ，Ｖ成分については補間画素について平均化せずに、図８に示すように先行画素をダブリングするだけでも良い。このようにすると、平均化のための演算対象が減少するので、より高速処理が可能となる。
【００６４】
なお、本発明は上述した実施形態に限定されるものではなく、本発明の要旨の範囲内で種々の変形実施が可能である。本発明が適用される電子機器は携帯電話機に限定されず、他の電子機器特に携帯機器に好適に適用できる。また、原画像の処理履歴である圧縮・伸張手法についてはＭＰＥＧ４方式に限定されず、単位エリア毎の処理を含む他の圧縮・伸張方式であっても良い。また、上述した実施形態では、横拡大倍率＝縦拡大倍率＝１．２５、横縮小倍率＝縦縮小倍率＝０．７５としたが、これは一例に過ぎず、機器にて設定可能な種々の倍率に適用でき、必ずしも縦・横で拡大または縮小倍率を一致させる必要もない。
【００６５】
また、例えば１．２５倍に拡大する際に、１ブロック内の原画像中の画素（１２３４５６７８）に対して、１２２３４５６７７８、１２３３４５６６７８など、補間画素の設定箇所は境界画素以外であれば任意に設定できる。例えば０．７５倍に縮小する時も、１２４５７８、１３４５６８など、間引き画素の設定箇所は境界画素以外であれば任意に設定できる。
【図面の簡単な説明】
【図１】  本発明が適用される電子機器の一例である携帯電話機の概略ブロック図である。
【図２】  図２（Ａ）はＭＰＥＧエンコーダでの処理手順を、図２（Ｂ）はＭＰＥＧデコーダでの処理手順をそれぞれ示すフローチャートである。
【図３】  ＭＰＥＧエンコーダ、デコーダでの処理単位である１ブロック及び１マクロブロックを示す図である。
【図４】  離散コサイン変換（ＤＣＴ）にて得られるＤＣＴ係数の一例を示す図である。
【図５】  量子化の際に用いられる量子化テーブルの一例を示す図である。
【図６】  図４のＤＣＴ係数を図５の量子化テーブル中の数値にて除算して得られる量子化されたＤＣＴ係数（ＱＦデータ）を示す図である。
【図７】  図１中の部材のうち、ＭＰＥＧデコーダに関する構成を説明するためのブロック図である。
【図８】  拡大倍率を１．２５倍とした時の動作を説明するための図である。
【図９】  縮小倍率を０．７５倍とした時の状態を説明するための図である。
【図１０】  図１０中の補間画素データを平均化した拡大画像を示す図である。
【図１１】  図１１中の間引き画素のデータにより残存画素を平均化した縮小画像を示す図である。
【図１２】  図７中の水平・垂直方向サイズ変更部の一例を示すブロック図である。
【図１３】  図１２に示す回路の基本動作を示すタイミングチャートである。
【図１４】  図１２の回路を用いて図１０に示す拡大画像のデータを生成する動作を示すタイミングチャートである。
【図１５】  図１２の回路を用いて図１１に示す縮小画像のデータを生成する動作を示すタイミングチャートである。
【符号の説明】
１０  携帯電話機、  ２０  通信機能部、  ２１  アンテナ、  ２２  ベースバンドＬＳＩ、  ３０  付加機能部、  ３１  ホストＣＰＵ、  ３２  ＬＣＤコントローラ、  ３３  ＬＣＤ（画像表示部）、  ３４  ＣＣＤカメラ（撮像部）、４０  第１のハードウェア処理部、  ４１  データ伸張部、  ４２  逆量子化部、  ４３  逆ＤＣＴ処理部、  ４４  動き補償処理部、  ４５  ポストフィルタ、  ４６  色情報変換処理部、  ４７  ＬＣＤインターフェース、５０  データ記憶部、  ５１  圧縮データ用記憶領域、  ５１Ａ  第１のフレームメモリ、５１Ｂ  第２のフレームメモリ、  ５２  表示用記憶領域、  ６０  ホストインターフェース、  ７０  ソフトウェア処理部、  ７１  ＣＰＵ、  ７１Ａ  データ圧縮部、  ７２  画像処理プログラム格納部、  ８０  第２のハードウェアブロック、  ８１  水平方向サイズ変更部、  ８２  垂直方向サイズ変更部、  ９０  第１のバッファ、  ９１  第２のバッファ、  ９２  演算部、  ９３  第３のバッファ、  ９４  セレクタ、  ９５  クロック生成部、  １００Ａ，１００Ｂ  水平補間画素、  １００Ｃ，１００Ｄ  垂直補間画素、  １１０Ａ，１１０Ｂ  水平間引き画素、  １１０Ｃ，１１０Ｄ  垂直間引き画素、  １２０  第１の境界画素、  １３０  第２の境界画素、  ＶＶＢＬ  垂直仮想境界線、  ＨＶＢＬ  水平仮想境界線
【図１】
0003695451.tif 000002
【図２】
0003695451.tif 000003
【図３】
0003695451.tif 000004
【図４】
0003695451.tif 000005
【図５】
0003695451.tif 000006
【図６】
0003695451.tif 000007
【図７】
0003695451.tif 000008
【図８】
0003695451.tif 000009
【図９】
0003695451.tif 000010
【図１０】
0003695451.tif 000011
【図１１】
0003695451.tif 000012
【図１２】
0003695451.tif 000013
【図１３】
0003695451.tif 000014
【図１４】
0003695451.tif 000015
【図１５】
0003695451.tif 000016