(57)【要約】      （修正有）【課題】表示すべき画像データを色空間の特性を考慮に入れてデータ量を削減して画像表示装置に転送し、該装置にて元のイメージに近い画像を復元して表示することを可能とする。【解決手段】  ＣＰＵ２１６では、表示装置２１２に転送する画像データ量を削減するための画像処理が行われる。まず、取得したＲＧＢ形式の画像データをＹＵＶ形式に変換する。ＹＵＶ形式にされたデータは、輝度成分（Ｙ）と色差成分（Ｕ、Ｖ）に分けられ、ＹＵＶ色空間の特性を考慮に入れた画像処理が行われる。さらに、可逆変換である符号化処理が行われる。以上により、表示装置２１２に転送するデータ量が少なくなり、データ転送速度を速くすることができる。また、ＹＵＶ色空間の特性を考慮に入れてデータ量を削減したので、違和感のない画像が表示される。また、表示装置２１２にて復号化処理を行い、変換前の画像に戻して高画質の画像を表示することができる。【選択図】    図１
2005055824.tif 000002
【特許請求の範囲】
【請求項１】
画像処理部及び画像表示部を備える画像表示装置において、
前記画像処理部は、
表示すべきＲＧＢ形式の画像データを取得する画像データ取得手段と、
取得したＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するＹＵＶ変換手段と、
ＹＵＶ変換により得られたＹ成分の画像データとＵ／Ｖ成分の画像データに、データ量を削減するための別々の画像処理を行う画像処理手段と、
別々の画像処理が行われた画像データを前記画像表示部へ転送する転送手段と、を備え、
前記画像表示部は、転送された前記Ｙ成分及び前記Ｕ／Ｖ成分の画像データを表示することを特徴とする画像表示装置。
【請求項２】
前記画像処理手段は、
前記Ｙ成分の画像データを減色処理する減色処理手段と、
前記Ｕ／Ｖ成分の画像データを量子化処理する第１の量子化処理手段と、
減色処理された前記Ｙ成分の画像データと量子化処理された前記Ｕ／Ｖ成分の画像データをそれぞれ符号化処理する符号化処理手段と、を備えることを特徴とする請求項１に記載の画像表示装置。
【請求項３】
前記減色処理手段は、前記Ｙ成分の画像データに対してディザ処理を行うことを特徴とする請求項２に記載の画像表示装置。
【請求項４】
前記減色処理手段は、前記Ｙ成分の画像データに対して誤差拡散処理を行うことを特徴とする請求項２に記載の画像表示装置。
【請求項５】
前記第１の量子化処理手段は、階調値が所定値より小さい画像データには量子化ステップを大きくし、階調値が前記所定値より大きい画像データには量子化ステップを小さくして量子化を行うことを特徴とする請求項２に記載の画像表示装置。
【請求項６】
前記符号化処理手段は、前記Ｙ成分の画像データに対して、ハフマン符号化処理を行うことを特徴とする請求項２に記載の画像表示装置。
【請求項７】
前記符号化処理手段は、前記Ｕ／Ｖ成分の画像データに対して、階調値の最大値と最小値の間の画像データのみを符号化することを特徴とする請求項２に記載の画像表示装置。
【請求項８】
前記符号化処理手段は、符号化処理後の前記Ｕ／Ｖ成分の画像データが所定ビット数以下であれば、さらにハフマン符号化処理を行うことを特徴とする請求項７に記載の画像表示装置。
【請求項９】
前記画像表示部は、
符号化処理された前記Ｙ成分の画像データと前記Ｕ／Ｖ成分の画像データを復号化処理する復号化処理手段と、
復号化処理された前記Ｕ／Ｖ成分の画像データを量子化処理する第２の量子化処理手段と、
復号化処理された前記Ｙ成分の画像データ及び前記第２の量子化手段により量子化処理された前記Ｕ／Ｖ成分の画像データを表示する表示手段と、を備えることを特徴とする請求項２に記載の画像表示装置。
【請求項１０】
前記第２の量子化処理手段は、前記第１の量子化手段の量子化特性の逆特性により量子化を行うことを特徴とする請求項９に記載の画像表示装置。
【請求項１１】
前記符号化処理手段は、前記画像データのブロック単位で符号化を行い、
前記復号化処理手段は、前記符号化処理手段と並行して、前記符号化手段にて以前行われたブロックに対応する画像データに対して復号化を行うことを特徴とする請求項９に記載の画像表示装置。
【請求項１２】
画像処理部及び画像表示部を備える画像表示装置において実行される画像表示方法において、
表示すべきＲＧＢ形式の画像データを取得する画像データ取得工程と、
取得したＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するＹＵＶ変換工程と、
ＹＵＶ変換により得られたＹ成分の画像データと、Ｕ／Ｖ成分の画像データに、データ量を削減するための別々の画像処理を行う画像処理工程と、
別々の画像処理が行われた画像データを前記画像処理部から前記画像表示部へ転送する転送工程と、
転送された前記Ｙ成分及び前記Ｕ／Ｖ成分の画像データを前記画像表示部に表示する表示工程と、を備えることを特徴とする画像表示方法。
【請求項１３】
画像処理部及び画像表示部を備える画像表示装置において実行されることにより、
表示すべきＲＧＢ形式の画像データを取得する画像データ取得手段、
取得したＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するＹＵＶ変換手段、
ＹＵＶ変換により得られたＹ成分の画像データと、Ｕ／Ｖ成分の画像データに、データ量を削減するための別々の画像処理を行う画像処理手段、
別々の画像処理が行われた画像データを前記画像表示部へ転送する転送手段として前記画像処理部を機能させ、
転送された前記Ｙ成分及び前記Ｕ／Ｖ成分の画像データを表示する表示手段として前記画像表示部を機能させることを特徴とする画像表示プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、液晶表示パネルその他の画像表示部を備える画像表示装置において、表示すべき画像データのデータ量を削減して画像表示部に転送する手法に関する。
【背景技術】
【０００２】
近年では、携帯電話やＰＤＡ（Personal Digital Assistant）などの携帯端末装置に搭載する表示装置の大画面サイズ化、高解像度化が進んでおり、従来より画素数の多い高解像度の画像データをより大きな画面上に表示することが可能となっている。
【０００３】
しかし、そのような大画面表示又は高解像度表示に対応する高解像度画像データはそのデータ量が多い。表示装置へのデータ転送においては、データ線（データライン）数を増やせばクロック数を減らせるが、その分消費電力が大きくなるという欠点がある。
【０００４】
また、半導体回路である液晶ドライバＩＣは、その性質上動作クロック数の上限がある。例えば、データ線数が１本の場合で、解像度が１７６×２０８画素であるＱＣＩＦ（Quarter Common Intermediate Format）に従って１画素当りＲＧＢ各６ビット、計１８ビットの動画データを毎秒６０フレーム転送するためには、３９．５MHz（１７６×２０８×１８×６０）のドットクロックが必要である。一方、データ線数が３本である場合は、ドットクロックは上記の場合の１/３の１３．２MHzとなる。この程度ならば、現状の半導体プロセスで製作される液晶ドライバＩＣの内蔵回路、とくにＲＡＭの読み書きスピードが十分対応可能である。
【０００５】
しかし、解像度が３５２×４１６画素にもなるＣＩＦ（Common Intermediate Format）になると、上述したものと同様に１画素当りＲＧＢ各６ビット、計１８ビットの動画データを毎秒６０フレーム転送するためには、ドットクロックは１５８．１MHz必要になる。この場合、データ線数を３本にしてもドットクロックは５２．７MHzにもなり、現状のＲＡＭの読み書きスピードでは対応不能になる。また、さらに高画質な２４ビット（フルカラー：ＲＧＢ各８ビット）の画像データを転送する場合にはドットクロックは２１０MHzとなり、データ線数を３本にしても７０．３MHzにもなる。よって、現在の液晶ドライバＩＣの能力では対応できない。
【０００６】
また、上述のように、データ線数を増やすことによってドットクロックを低減することは理論的には可能であるが、携帯端末装置は実装面積に限度があり、液晶ドライバＩＣの信号入出力部は小さなコネクタや小さな接点にならざるを得ない。よって、データ線数を増加することは、携帯端末装置を携帯する際の衝撃や温度変化などによりコネクタの信頼性低下に繋がる可能性がある。つまり、データ線数の増大には限界がある。
【０００７】
このような問題に対処する手段として、表示装置に送る画像データのデータ量を削減するという方法がある。この方法の１つとして、転送する画像データを減色処理してデータ量を減らすというものが特許文献１にて報告されている。具体的には、減色処理に誤差拡散法を用い、下位ビットについては演算を省略するという方法が記載されている。その他にも、複数枚の画像を縮小し、合成してデータ量を削減した画像データを送信するという技術が、特許文献２に記載されている。
【０００８】
しかしながら、上述のデータ削減方法は、主に不可逆的な画像変換を用いたものであるので、変換前の画像とまったく同じものは表示されない。つまり、表示画像の画質の低下が生じてしまう。また、表示する際に、画像を補間する処理を行った場合にも、余分な処理時間がかかってしまう。しかも、その補間処理による画質改善にも限度がある。
【０００９】
【特許文献１】特開平９−１０１７７１号公報
【００１０】
【特許文献２】特開２００３−１８４０１号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
本発明は、上記のような問題を解決するためになされたもので、その目的とするところは、液晶表示パネルその他の画像表示部を備える画像表示装置において、表示すべき画像データを、色空間の特性を考慮に入れてデータ量を削減して画像表示装置に転送し、画像表示装置にて元のイメージに近い画像を復元して表示することができる画像表示装置、画像表示方法及び画像表示プログラムを提供することにある。
【課題を解決するための手段】
【００１２】
本発明の１つの観点では、画像処理部及び画像表示部を備える画像表示装置は、表示すべきＲＧＢ形式の画像データを取得する画像データ取得手段と、取得したＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するＹＵＶ変換手段と、ＹＵＶにより得られたＹ成分の画像データと、Ｕ／Ｖ成分の画像データに、データ量を削減するための別々の画像処理を行う画像処理手段と、別々の画像処理が行われた画像データを前記画像表示部へ転送する転送手段と、を備え、前期画像表示部は、転送された前記Ｙ成分の画像データと前記Ｕ／Ｖ成分の画像データを表示する。
【００１３】
上記の画像表示装置は、例えば画像表示部として液晶表示パネルを備える携帯電話、携帯型端末などの各種端末装置とすることができる。画像データ取得手段は、例えば外部のサーバその他から画像データを取得する。この画像データは、静止画データと動画データの両方を含む。取得された画像データは、ＲＧＢ形式からＹＵＶ形式のデータに変換される。そして、色空間の特性を考慮に入れてデータ量を削減する画像処理を行うために、Ｙ成分（輝度成分）と、Ｕ／Ｖ成分（色差成分であり、Ｕ成分及びＶ成分を指す）に分割されて別々の処理が行われる。そうしてデータ量が削減された画像データが、画像処理部から画像表示部へ転送され、表示される。このように、画像処理部内で色空間の特性を考慮に入れてデータ量を削減する画像処理を行ってから画像表示部へ画像データを転送するので、データ転送処理の負担を軽減し、転送を高速化することができる。
【００１４】
本発明の同様の観点では、画像表示部を備える画像表示装置において実行される画像表示方法は、表示すべきＲＧＢ形式の画像データを取得する画像データ取得工程と、取得したＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するＹＵＶ変換工程と、ＹＵＶ変換により得られたＹ成分の画像データと、Ｕ／Ｖ成分の画像データに、データ量を削減する別々の画像処理を行う画像処理工程と、別々の画像処理が行われた画像データを前記画像処理部から前記画像表示部へ転送する転送工程と、転送された前記Ｙ成分及び前記Ｕ／Ｖ成分の画像データを前記画像表示部に表示する表示工程と、を備える。
【００１５】
本発明の同様の観点では、画像表示プログラムは、画像処理部及び画像表示部を備える画像表示装置において実行されることにより、表示すべきＲＧＢ形式の画像データを取得する画像データ取得手段、取得したＲＧＢ形式の画像データをＹＵＶ形式の画像データに変換するＹＵＶ変換手段、ＹＵＶ変換により得られたＹ成分の画像データと、Ｕ／Ｖ成分の画像データに、データ量を削減するための別々の画像処理を行う画像処理手段、別々の画像処理が行われた画像データを前記画像表示部へ転送する転送手段として前記画像処理部を機能させ、転送された前記Ｙ成分及び前記Ｕ／Ｖ成分の画像データを表示する表示手段として前記画像表示部を機能させる。
【００１６】
これら画像表示方法及び画像表示プログラムによっても、上記の画像表示装置と同様に色空間の特性を考慮に入れてデータ量を削減した画像データを画像表示部に転送することが可能となる。
【００１７】
上記の画像表示装置の一態様では、前記画像処理手段は、前記Ｙ成分の画像データを減色処理する減色処理手段と、前記Ｕ／Ｖ成分の画像データを量子化処理する第１の量子化処理手段と、減色処理された前記Ｙ成分の画像データと量子化処理された前記Ｕ／Ｖ成分の画像データをそれぞれ符号化処理する符号化処理手段と、を備える。
【００１８】
Ｙ成分とＵ／Ｖ成分に分割された画像データについては、Ｙ成分にはデータ量を削減する減色処理を行い、Ｕ／Ｖ成分には第１の量子化処理を行う。ここでは、視認特性において色のＹ成分とＵ／Ｖ成分は、判別能力に違いがあるので、別々に処理を行っている。これにより、データ量を削減しても、違和感のない画像を表示することができる。次に、このような処理が行われた画像データには、符号化処理が行われる。この符号化処理は可逆変換であるので、後に変換前のデータに戻すことができ、表示される画像の質を落とすことなく、さらにデータ量を削減することができる。
【００１９】
上記の画像表示装置の他の一態様では、前記減色処理手段は、前記画像データに対してディザ処理を行う。ディザ処理は、取得した画像データに対して元のイメージに近いままデータ量を削減する処理を行うことができる。
【００２０】
上記の画像表示装置の他の一態様では、前記減色処理手段は、前記画像データに対して誤差拡散処理を行う。誤算拡散処理は、取得した画像データに対して前記のディザ法よりも元のイメージに近いまま、データ量を削減する処理を行うことができる。
【００２１】
上記の画像表示装置の他の一態様では、前記第１の量子化処理手段は、階調値が所定値より小さい画像データには量子化ステップを大きくし、階調値が前記所定値より大きい画像データには量子化ステップを小さくして量子化処理を行う。こうしたのは、視認性において、高彩度の色は低彩度の色に比べて判別能力が低いためである。これにより、画像データ量を削減しても、違和感のない画像を表示することができる。
【００２２】
上記の画像表示装置の他の一態様では、前記符号化処理手段は、前記Ｙ成分の画像データに対してハフマン符号化処理する。このハフマン符号化処理も可逆変換であるため、復号して変換前のデータに戻すことができるので、表示画像の質を落とすことはない。
【００２３】
上記の画像表示装置の他の一態様では、前記符号化処理手段は、前記Ｕ／Ｖ成分の画像データに対して、階調値の最大値と最小値の間の画像データのみを符号化する。画像の所定の範囲において、Ｕ／Ｖ成分の階調値のダイナミックレンジは比較的小さいため、階調値の最大値と最小値から定まる範囲、即ち有効階調範囲はＹ成分と比較すると小さい。よって、有効階調範囲内の画像データのみを符号化することにより、さらにデータ量を削減することができる。さらに、この符号化処理は可逆変換であるため、変換前のデータに復元することができので、高画質の画像を表示することができる。
【００２４】
上記の画像表示装置の他の一態様では、符号化処理後の前記Ｕ/Ｖ成分の画像データが所定ビット数以下であれば、さらにハフマン符号化処理を行う。これにより、さらに転送するデータ量を削減することができる。
【００２５】
上記の画像表示装置の他の一態様では、前記画像表示部は、符号化処理された前記Ｙ成分の画像データと前記Ｕ／Ｖ成分の画像データを復号化処理する復号化処理手段と、復号化処理された前記Ｕ／Ｖ成分の画像データを量子化処理する第２の量子化処理手段と、復号化処理された前記Ｙ成分の画像データ及び前記第２の量子化手段により量子化処理された前記Ｕ／Ｖ成分の画像データを表示する表示手段と、を備える。画像表示部では、主に符号化されたデータを復号化する処理が行われる。こうして、元の画像に近いイメージの高画質の画像を表示することができる。
【００２６】
上記の画像表示装置の一態様では、前記第２の量子化処理手段は、前記第１の量子化手段の量子化特性の逆特性により量子化を行う。これにより、元のイメージに近い画像に戻すことができる。
【００２７】
上記の画像表示装置の他の一態様では、前記符号化処理手段は、前記画像データのブロック単位で符号化を行い、前記復号化処理手段は前記符号化処理手段と並行して、前記符号化手段にて以前行われたブロックに対応する画像データに対して復号化を行う。これにより、効率よく符号化処理と復号化処理を行うことができる。
【発明を実施するための最良の形態】
【００２８】
以下、図面を参照して本発明の好適な実施の形態について説明する。
【００２９】
［携帯端末装置の構成］
図１に、本発明の実施形態に係る携帯端末装置の概略構成を示す。図１において、携帯端末装置２１０は、例えば携帯電話やＰＤＡなどの端末装置である。携帯端末装置２１０は、表示装置２１２と、送受信部２１４と、ＣＰＵ２１６と、入力部２１８と、プログラムＲＯＭ２２０と、ＲＡＭ２２４とを備える。また、表示装置２１２は、ドライバ２２６と表示パネル２２７などから構成されている。
【００３０】
送受信部２１４は、外部から画像データなどのコンテンツを受信する。以下では、主に、画像データを受信した場合の携帯端末装置２１０でのデータ処理について説明する。画像データの受信は、例えば利用者が携帯端末装置２１０を操作してコンテンツ提供サービスを行うサーバ装置などに接続し、所望の画像データをダウンロードする指示を入力することにより行われる。受信される画像データは、動画データと静止画データとを含む。ここでは、例えば１画素当りＲＧＢ２４ビットの画像データ（各色８ビット）が受信されるものとする。なお、送受信部２１４が受信した画像データＳ１１はＣＰＵ２１６などに供給され、さらに、ＲＡＭ２２４に保存することができる。
【００３１】
入力部２１８は、携帯電話であれば各種の操作ボタンなど、ＰＤＡであればタッチペンなどによる接触を検出するタブレットなどにより構成することができ、ユーザが各種の指示、選択を行う際に使用される。入力部２１８に対して入力された指示、選択などは、電気信号に変換されてＣＰＵ２１６へ送られる。
【００３２】
プログラムＲＯＭ２２０は、携帯端末装置２１０の各種機能を実行するための各種プログラムを記憶し、特に本実施形態では送受信部２１４から送られてきた画像データに対してデータ量を削減するような画像処理を行うための画像処理プログラムなどを記憶している。本実施形態に係る画像処理プログラムについては、以下で詳しく説明する。
【００３３】
ＲＡＭ２２４は、画像処理プログラム等のプログラムに従って画像データを変換する際などに作業用メモリとして使用される。また、前述のように、送受信部２１４が受信した外部からの画像データ、又は、携帯端末装置２１０に備え付けられた図示しないカメラなどから取得した画像データを必要に応じて保存することもできる。
【００３４】
次に、ＣＰＵ２１６での画像処理について述べる。まず初めに、本実施形態に係る画像処理の概要について簡単に説明する。ＣＰＵ２１６では、表示装置２１２に転送するデータ量を削減することを目的として画像処理を行う。まず、ＣＰＵ２１６では、取得したＲＧＢ形式のデータをＹＵＶ形式のデータに変換し（ＹＵＶ変換とも呼ぶ。）、後の処理ではＹＵＶ形式のデータに対して画像処理を行う。本実施形態においては、画像データのＹ成分（輝度成分）と、Ｕ／Ｖ成分（色差成分、Ｕ成分及びＶ成分を指す）に関して別々の処理を行う。こうするのは、色の輝度成分と色差成分において、画像特性及び視認知特性の面で差異があるからである。具体的に説明すると、まず、画像自体の特性として、ある画像をブロック単位（例えば、４×４画素）で抽出したとき、色差の階調値のダイナミックレンジが小さいという特徴がある。一方、輝度の階調値のダイナミックレンジには、このような傾向は見られない。さらに、人間による色差の視認知特性においても、低彩度の色は判別能力が高く、高彩度の色は判別能力が低いという特徴がある。しかしながら、輝度の視認知特性においては、輝度のレベルにより判別能力が変わるというような傾向はあまり見られない。以上のように、色の輝度成分と色差成分では特徴に違いがある。そのため、本実施形態では色空間の成分に合った別々の方法で、表示装置２１２に転送するデータ量を削減するための画像処理を行っている。
【００３５】
以下で、上述の点に注目して行う画像処理を適用した、本実施形態に係るＣＰＵ２１６について具体的に説明する。ＣＰＵ２１６は、プログラムＲＯＭ２２０内に記憶されている各種プログラムを実行することにより、携帯端末装置２１０の各種機能を実行する。具体的には、ＣＰＵ２１６は、ＲＧＢ→ＹＵＶ変換部２３０、重み付け量子化処理部２３２、頻度分布算出部２３４、最大／最小値表生成部２３６、符号化処理部２３８、さらに、減色処理部２４０、頻度算出部２４２、ハフマン符号化処理部２４４を備えている。
【００３６】
まず、ＲＧＢ→ＹＵＶ変換部２３０では、送受信装部２１４などから入力されたＲＧＢ形式の画像データＳ１１を受け取り、このＲＧＢ形式のデータをＹＵＶ形式のデータに変換する。このＹＵＶ形式に変換されたデータはＲＧＢ→ＹＵＶ変換部２３０から出力される際にＹ成分と、Ｕ／Ｖ成分に分割される。Ｙ成分（輝度成分）は減色処理部２４０に入力され、Ｕ成分（青の色差成分）とＶ成分（赤の色差成分）は重み付け量子化処理部２３２に入力され、別々の処理が行われていく。
【００３７】
まず、Ｕ成分とＶ成分のデータは、重み付け量子化処理部２３２にて量子化処理が行われる。具体的には、視認性を考慮して、色差の階調値に応じた量子化処理が行われる。これにより、表示装置２１２に転送する画像データ量を削減することができる。さらに、視認性を考慮してデータ量を削減しているので、表示される画像に違和感を生じさせない。なお、本実施形態に係る重み付け量子化処理については、詳細は後述する。この重み付け量子化処理がされたデータは、頻度分布算出部２３４及び符号化処理部２３８に入力される。
【００３８】
上述のように重み付け量子化処理されたＵ成分とＶ成分のデータは、次に、頻度分布算出部２３４、最大／最小値表生成部２３６及び符号化処理部２３８にて符号化の処理が行われる。まず、頻度分布算出部２３４では、重み付け量子化処理部２３２から受け取った画像データに対して、階調値の頻度（＝出現率）を算出する。次に、最大／最小値表生成部２３６では、頻度分布算出部２３４にて算出された頻度に基づき、画像の階調値の最大値と最小値を決定し、最大値／最小値表を作成する。次に、符号化処理部２３８では、最大／最小値表生成部２３６にて決定された階調値の最大値と最小値に基づいて、重み付け量子化処理部２３２より入力されるデータに符号化処理を行う。具体的には、上記の最大値と最小値から定まる範囲内で、画像データが表現されるような変換処理が行われる。つまり、画像データが有しない階調値（すなわち、最小値以下の領域及び最大値以上の領域）に関してはカットするというものである。これにより、前述の重み付け量子化処理に加えて、さらに表示装置２１２に転送する画像データのデータ量を削減することができる。以上の符号化処理は、先に述べたように画像をブロック単位で抽出したとき、色差の階調のダイナミックレンジが比較的狭いために、データ量削減の効果を発揮することができる。なお、符号化処理部２３８にて得られた符号化データＳ１３と、復号するために必要な最大／最小値表生成部２３６にて算出された最大値と最小値のデータＳ１２は、表示装置２１２内の復号化処理部２４０に入力される。
【００３９】
一方、ＲＧＢ→ＹＵＶ変換部２３０から出力された画像データのＹ成分は、減色処理部２４０にて、減色処理が行われる。ここでは、取得した画像データに対して元のイメージに近いまま画像の階調値を削減する処理を行う。これにより、表示装置２１２に転送する画像データのデータ量を削減することができる。この減色処理については、後に詳細に説明する。
【００４０】
減色処理されたＹ成分のデータは、頻度算出部２４２及びハフマン符号化処理部２４４にてハフマン符号化処理が行われる。まず、頻度算出部２４２では、減色処理部２４０より入力された画像データに対して、階調値の頻度を算出する。次に、ハフマン符号化処理部２４４では、頻度算出部２４２にて算出された頻度に基づき、階調値とハフマン符合との対応関係を決定し、減色処理部２４０より供給される画像データのＹ成分をハフマン符号化する。なお、ハフマン符号化処理部２４４から出力される符号化された画像データＳ１４及びハフマン符号化方法を規定するデータであって復号に必要なデータは、ハフマン復号化処理部２５４に入力される。以上の処理により、前述の減色処理と同様に、表示装置２１２に転送する画像データのデータ量を削減することができる。このハフマン符号化処理は可逆変換処理であり、実質的に画像データを削減していない。つまり、後に逆変換である復号処理を行って、減色処理のみが行われた画像を表示することができる。なお、上述の頻度算出部２４０及びハフマン符号化処理部２４４にて実行される本実施形態に係るハフマン符号化処理については、詳細は後述する。
【００４１】
このようにＣＰＵ２１６では、データ量を削減する画像処理が行われる。これにより、表示装置２１２への画像データのデータ転送速度を速くすることができ、低消費電力も実現できる。また、ＣＰＵ２１６では、データをＹ成分、Ｕ／Ｖ成分に分け、それぞれの特性に合った方法で画像処理が行われる。これにより、データ量が削減されたものの、元の画像からかけ離れていない違和感のない画像を表示することができる。なお、ＣＰＵ２１６は、これら以外に各種のプログラムを実行することにより携帯端末装置２１０の各種機能を実現するが、それらは本発明とは直接の関連を有しないので、説明を省略する。
【００４２】
次に、本実施形態に係る表示装置２１２について説明する。表示装置２１２は、例えばＬＣＤ（Liquid Crystal Display：液晶表示装置）などの軽量、薄型の表示装置であり、液晶の表示パネル２２７や半導体であるドライバ２２６などから構成されている。また、表示装置２１２はＣＰＵ２１６から受け取った画像データに対する画像処理部として機能する。表示装置２１２は、画像処理部として復号化処理部２５０、均等量子化処理部２５２及びハフマン符号化処理部を備える。なお、これらの画像処理部は、例えば表示装置内のプロセッサが所定の画像処理プログラムを実行することにより実現することができ、ドライバ２２６の内部に設けることもできる。
【００４３】
表示装置２１２へは、ＣＰＵ２１６にて色成分ごとに別々に処理された画像データが入力される。Ｙ成分のデータは、ハフマン復号化処理部２５４に入力され、Ｕ／Ｖ成分は復号化処理部２５０に入力される。
【００４４】
まず、表示装置２１２でのＵ成分及びＶ成分の画像データへの画像処理について説明する。復号化処理部２４０には、ＣＰＵ２１６内の符号化処理部２３８にて符号化された画像データＳ１３と、最大／最小値表生成部２３６にて算出された最大値と最小値のデータＳ１２が入力される。ここでは、最大値と最小値のデータＳ１２に基づいて、符号化された画像データＳ１３の復号が行われる。これにより、データ量削減のために符号化された画像データＳ１３は、符号化前の画像データに戻される。次に、均等量子化処理部２５２では、復号化処理部２５０より入力されるデータに逆量子化処理を行う。先に述べた重み付け量子化処理部２３２にて階調値によって量子化量を変えるという処理を行ったので、均等量子化処理部２５２では、この逆変換を行い、重み付け量子化前の状態のデータに復元する。これによって、少ない階調値で表現されていたデータを、より大きなレンジで表現するように調整される。以上の処理が行われたデータは、ドライバ２２６に入力される。
【００４５】
一方、Ｙ成分の画像データは、ハフマン復号化処理部２５４にて処理が行われる。ハフマン復号化処理部２５４では、ハフマン符号化処理部２４４より入力されるハフマン符号化された画像データＳ１４を、ハフマン符号化方法を規定したデータ（例えば、元のデータと符号化されたデータの対応表）に基づき復号する。これにより、復号化される前の減色処理のみ行われた画像に変換される。以上の処理が行われたデータは、ドライバ２２６に入力される。
【００４６】
以上のようにＹ成分、Ｕ／Ｖ成分に対して別々に復号化などの処理が行われた画像データは、ドライバ２２６にて統合される。このときに、ＹＵＶ形式のデータをＲＧＢ形式のデータに変換することができる。なお、このＹＵＶ→ＲＧＢ変換は、ドライバ２２６内で行っても良いし、ドライバ２２６に入力する前に別個の処理部を設けて行っても良い。こうしてドライバ２２６で処理された画像データは表示パネル２２７に供給されて、表示パネル２２７の表示エリア内に表示される。なお、表示装置２１２は、例えば横方向と縦方向の画素数が上述したような３５２×４１６画素（ＣＩＦサイズ）などの高解像度で表示することができる。
【００４７】
このように、本実施形態では、ＣＰＵ２１６内でデータ量を削減する処理が行われたので、表示装置２１２への画像データのデータ転送速度を速くすることができ、低消費電力も実現できる。また、色の成分（Ｙ成分、Ｕ／Ｖ成分）の特性に合った方法で画像処理をしたので、違和感のない画像を表示することができる。さらに、可逆変換である符号化処理にてデータ量を削減しているので、復号して元のイメージに近い高画質の画像を表示することができる。
【００４８】
［ＣＰＵでの画像処理］
ここでは、ＣＰＵ２１６にて行われる本実施形態に係る画像処理について詳細に説明する。まず、その処理の概要について述べる。ＣＰＵ２１６では、表示装置２１２に転送する画像データ量を削減することと、表示装置２１２に表示される画像の質を落とさないようにすること（すなわち、表示画像に違和感を生じさせないこと）、に重点を置いて処理を行っている。具体的には、本実施形態の画像処理は、色の輝度成分及び色差成分の特性を考慮して行う画像処理と、可逆変換を用いてデータ量を削減する画像処理と、から構成されている。こうしたのは、まず、色空間を成す輝度成分（Ｙ成分）と色差成分（Ｕ／Ｖ成分）に関して、画像特性及び視認知特性の面で差異があるからである。そのため、輝度成分と色差成分を分けて別々の画像処理を行うという方法を採用している。これにより、色差成分は輝度成分よりも多くのデータ量を削減できる。すなわち、効率よくデータ量を削減することができる。さらに、こうして輝度成分と色差成分を分けたデータに対して、可逆変換を用いた画像処理にてデータ量を削減する方法を採用している。こうしたのは、逆変換で変換前のデータに戻すことができるので、表示される画像の質を落とすことがないからである。
【００４９】
本実施形態に係る画像処理を具体的に挙げると、Ｙ成分に対しては減色処理及びハフマン符号化処理を行い、Ｕ／Ｖ成分には重み付け量子化処理及び最大値／最小値に基づいた符号化処理を行う。上記の減色処理と重み付け量子化処理は不可逆変換であるのに対して、ハフマン符号化処理と最大値／最小値に基づいた符号化処理は可逆変換である。すなわち、画像特性及び視認特性を考慮に入れ、不可逆変換によってある程度データ量を削減し、さらにこのデータに対して可逆変換を行い、表示装置２１２転送するデータ量を少なくするという方法を用いている。以上のようなＣＰＵ２１６での処理により、効果的に画像のデータ量を削減できる。さらに、元のイメージに近い、違和感のない高画質の画像を表示することができる。
【００５０】
（ＲＧＢ→ＹＵＶ変換）
まず初めに、ＣＰＵ２１６内のＲＧＢ→ＹＵＶ変換部２３０にて、送受信部２１４などより供給されたＲＧＢ形式の画像データを以下の式に従ってＹＵＶ形式に変換する。ここで、ＲＧＢ形式において、Ｒ、Ｇ、ＢはそれぞれＲｅｄ（赤）、Ｇｒｅｅｎ（緑）、Ｂｌｕｅ（青）という光の三原色の階調値を指している。一方、ＹＵＶ形式において、Ｙは輝度、ＵとＶはそれぞれ青の色差（Ｃｂ）、赤の色差（Ｃｒ）を表している。なお、下式はＲＧＢ→ＹＵＶ変換に用いられる一般的な式である。
【００５１】
Ｙ＝  ０．２９９Ｒ＋０．５８７Ｇ＋０．１１４Ｂ
Ｕ＝−０．１６９Ｒ−０．３３１Ｇ＋０．５００Ｂ＋１２８
Ｖ＝  ０．５００Ｒ−０．４１９Ｇ−０．０８１Ｂ＋１２８
本実施形態では、このＲＧＢ→ＹＵＶ変換において同時に、入力された各色８ビットのＲＧＢ形式のデータを、Ｙ、Ｕ、Ｖそれぞれが７ビットとなるようにデータ量を削減する。つまり、２５６階調で色を表されたデータを、半分の１２８階調のデータに落とす処理を行う。
【００５２】
（Ｕ成分、Ｖ成分の処理）
以下では、画像データのＵ／Ｖ成分（色差成分）の画像処理を説明する。
【００５３】
（１）重み付け量子化処理
まず、本実施形態に係る重み付け量子化処理について説明する。一般的な量子化処理では、入力されたデータの階調値に対する出力階調値の範囲、すなわち量子化ステップを同一とする。
【００５４】
本実施形態においては、入力されるデータの階調値によって、量子化ステップを変える方法を採用している。具体的に、図２を用いて説明する。図２において、横軸は重み付け量子化処理前のデータの階調値（入力階調値）を示してある。ここでは、色差の階調値を取ってあるので、左にいくほど低彩度になり、右にいくほど高彩度になる。また、縦軸には重み付け量子化処理後の階調値（出力階調値）を示してある。なお、処理前のＵ／Ｖのデータは、例えば１２８階調（７ビット）であり、処理後には６４階調（６ビット）にすることができる。本実施形態においては、低彩度側と高彩度側で、量子化ステップを変えている。低彩度側では量子化ステップを大きくし、高彩度側では量子化ステップを小さくしている。つまり、量子化特性に処理に重み付けを施すことにより、低彩度のデータは細かく表現され、高彩度のデータは粗く表現されることとなる。
【００５５】
上記のように１２８階調（７ビット）のＵ／Ｖデータを、重み付け量子化処理により６４階調（６ビット）に変換する場合には、例えば処理後の階調値ｂ１＝４８と設定する。具体的には、図２示すように、入力階調値が０〜６３を低彩度、６４〜１２７を高彩度とする。入力階調値０〜６３に対しては出力階調値０〜４７の４８階調を割り当て、入力階調値６４〜１２７に対しては出力階調値４８〜６３の１６階調を割り当てている。即ち入力階調値＝６４である点を境にして上記の幅を変えている。入力階調値が６４よりも低彩度側に位置する階調値ａ２は、重み付け量子化処理により出力階調値ｂ２に変換される。一方、入力階調値が６３よりも高彩度側に位置する入力階調値ａ３は、重み付け量子化処理により出力階調値ｂ３に変換される。このように、低彩度の階調値を細かく量子化し、高彩度の階調値を粗く量子化して、全体では１２８階調（７ビット）のＵ／Ｖデータを６４階調（６ビット）に圧縮することができる。
【００５６】
以上のように、本実施形態においては、彩度の大小によって量子化ステップを変える重み付け量子化の処理を採用している。こうしたのは、色差の視認知特性において、低彩度の色に比べて、高彩度の色は判別能力が低いという特徴があるからである。このような重み付け量子化処理により、表示装置２１２に転送するデータを削減でき、尚且つ、違和感のない画像を表示することができる。
【００５７】
（２）符号化処理
次に、本実施形態に係る符号化処理について、図３を用いて説明する。本実施形態においては、符号化処理を図３（ａ）に示すように、画像のブロック単位に処理を行っていく。例えば、４行分（４ライン分）のデータを１ブロックとして一回の処理を行い、このブロックの処理が終われば、次のブロックの処理を行っていくことができる。まず、このブロック内のデータにおいて、階調値の頻度（＝出現率）を算出する。この処理は、上述したように頻度分布算出部２３４が行うことができる。なお、この頻度算出の処理は、上述した重み付け量子化処理の際に、同時に行っても良い。こうして算出した頻度を縦軸にとり、横軸に階調値をとってヒストグラムを作成すると、例えば図３（ｂ）のようになる。
【００５８】
このヒストグラム（以下、「頻度ヒストグラム」とも呼ぶ。）に基づき、最大／最小値表生成部２３６では、１ブロックでの階調値の最大値と最小値を決定する。なお、図３（ｂ）の例では、６４階調（重み付け量子化処理部２３２にて６ビットのデータにされている）を有するデータに対して処理を行うものを示している。以上より決定された最大値と最小値に基づいて、符号化処理部２３８にて画像データが圧縮される。符号化処理部２３８では、画像データが最大値と最小値から定まる範囲内のみで表現されるように符号化を行う。
【００５９】
例えば、階調値の最小値が１５で最大値が４０である６ビットの画像データがあれば、変換により階調値１５を０に変換し、階調値４０を２５に変換することによって（すなわち、階調値全体を１５階調分シフトさせる）、５ビットのデータにすることができる。以上の符号化の処理により、データ量を削減することができる。
【００６０】
即ち、最小値と最大値とにより規定される範囲（つまり、階調値が存在する範囲、以下「有効階調範囲」とも呼ぶ。）が３２階調分以上であれば６ビットのデータとなるが、有効階調範囲が３２階調分以下であれば５ビットのデータで表現することができる。また、有効階調範囲が１６階調分以下であれば、４ビットのデータで表現することができる。
【００６１】
このような符号化の処理は、上述したように、画像をブロック単位で抽出したとき、一般的に色差成分に関しては階調値のダイナミックレンジが狭いという特徴があるため、データ量削減の効果がある。また、この変換は可逆変換であるため、データを欠損させていないので、復号により元に戻すことができる。よって、逆変換により高画質の画像を表示することができる。
【００６２】
以上のようにＣＰＵ２１６での処理によりデータ量が削減されたＵ／Ｖ成分の画像データは、表示装置２１２に供給される。具体的には、符号化処理部２３８にて符号化されたデータＳ１３と、最大値と最小値のデータＳ１２は、表示装置２１２内の復号化処理部２５０に転送される。なお、ＣＰＵ２１６から表示装置２１２へは、画像データやその他関連するデータは、データバスとシリアルバスを用いて転送することができる。データ量が多い符号化データＳ１３は、データバスを経由して転送される。一方、最大値と最小値のデータ１２などは、このデータバスを用い、符号化データＳ１３に時分割多重などして転送しても良いし、データ量が小さいためＣＬＫ信号やＳＤＡ信号などを送信する際に用いられるシリアルバスを経由して転送しても良い。
【００６３】
（Ｙ成分の処理）
以下では、画像データのＹ成分（輝度成分）に関する画像処理について説明する。画像のＹ成分においては、Ｕ／Ｖ成分に見られたような画像特性及び視認特性はないので、重み付け量子化処理や最大値／最小値に基づく符号化処理は行わない。Ｙ成分に対する画像処理としては、データ量をむやみに削減し過ぎると（狭い階調値で表現する）画質の低下を招くので、できるだけ元のイメージから離れないような方法で変換処理を行う。
【００６４】
（１）減色処理
まず初めに、本実施形態に係るＹ成分に行う減色処理について説明する。本実施形態では、減色処理としてディザ法又は誤差拡散法を用いている。この２つの処理は、取得した画像データに対して元のイメージに近いままデータ量を削減することができる処理である。つまり、ビットスライスなどの処理とは異なり、元のイメージを模擬した違和感のない画像を生成することができる。
【００６５】
まず、図４を用いて、ディザ法について説明する。ディザ法の処理は、例えば送受信部２１４が受信した元の画像データを、縦４画素×横４画素のブロックに分割し、分割した各ブロックごとに処理を行う。具体例を示すと、図４（ａ）は、元の画像データ中から任意に選んだ１つのブロックで、各数値はそれぞれの画素の階調値を表している。図４（ｂ）はディザ行列の１つの例で、０から１５までの階調値を表す数字が書かれており、この行列は元の画像データと比較するために用いられる（即ち、数字は閾値としての意味を持つ）。具体的に行う作業は、受信した画像データとディザ行例の対応する画素の数値を比較し、ディザ行列の数字よりも大きければ１５（白）、小さければ０（黒）とする。その結果、図４（ｃ）に示すような画像が得られる。
【００６６】
このように、上記の４×４画素のディザ行列を使用してディザ処理を行うことにより、０〜１５までの階調値を白又は黒の１階調で表現することができる。よって、元の画像データの１６階調値を１／１６に減らすこと、即ち階調値を４ビット分減らすことができることになる。
【００６７】
本実施形態では、上述のディザ法を用いて、Ｙ成分の画像データに減色処理を施すことができる。ここでは、処理すべき画像データが例えば１画素当り７ビットのデータであるとし、これに対してディザ処理を行うものとする。上記の例では、ディザ法による変換で階調値を２値化したが、ディザ法で画像データを多値で表現することもできる。最も簡単な方法として、黒と白の中間のレベルが表現できる３値のディザ法について、図４（ｄ）を用いて説明する。この場合、与えられた画像データ中の一つの画素において、その輝度の１／２（例えば２５６階調のデータであれば、１２７となる。）を考え、０から１２７の間に存在する階調値の画素に対しては、０か１２７かを前述の２値のディザ法を用いて決定し、さらに１２７から２５５までの間に存在する階調値の画素は、ディザ法を用いて１２７か２５５かを決定する。これにより、０から２５５の階調値を持つ画像データを、０、１２７及び２５５の３値で表現することができる。本実施形態では、多値のディザ法を用いて、Ｙ成分のデータ量を削減することができる。
【００６８】
次に、図５を用いて、誤差拡散法を説明する。最も単純な誤差拡散法では、注目している画素において２値化した際に生じる誤差を、全てその右のピクセルへ割り振る処理を行う。その処理の一例を図５に示す。図５（ａ）の上段は、減色処理がされていない元の画像データであり、各数値はそれぞれの画素の階調値を表している。まず、図５（ａ）の左に位置する階調値が２００である画像データを２値化すると、１２７（２５６階調の半値に当たる）よりも大きいので、階調値２５５（白）になる。このとき、元の画像とは階調値５５（＝２５５−２００）の誤差が生じる。この誤差を図５（ｂ）において、階調値が１６０である中央に位置する画像データに分配し、その画素値から５５を減算して階調値１０５となったデータに対して、さらに２値化処理を行う。これにより、階調値０（黒）に変換される。このときも、同様に階調値にして −１０５（＝０−（１６０−５５））の誤差が生じる。この誤差を図５（ｃ）において、階調値が１８０である画素に分配し、２値化すると階調値２５５（黒）に変換される。このように次々に誤差を隣の画素に分配していくことで、２値画像による擬似的な階調パターンを作成することができる。ここでは誤差を全て右の画素に分散させているが、誤差を割り振るピクセル数を増やし（例えば、右、右下、下に割り振る。）、又はその割り振る位置によってその比率を変化させることもできる。これにより、処理に要する計算量は増大するが、原画像をより正確に模擬した画像を作成することできる。
【００６９】
上記の誤差拡散法の例では、変換により階調値を２値化するものを示したが、本実施形態では、誤差拡散法で画像データを多値で表現し、Ｙ成分のデータ量を削減することができる。
【００７０】
以下では、ディザ法の処理によって作成された画像と誤差拡散法によって作成された画像について、それぞれの特徴を説明する。前述のディザ法では、本来なら一繋がりの画像として処理すべきところを分割してしまったり、逆に分けて処理した方がよい画像をくっ付けてしまうという処理が行われる可能性がある。これにより、不自然な規則的模様が現われることがある。しかし、誤差拡散法では、各画素の階調値を元に、誤差を算出してから、その埋め合わせを近傍に割り振るので、全体として見たときには平均的に元の画像との誤差が少ない画像になっている。このため、ディザ法の処理により生じる不自然な規則的模様が現われることはない。ただし、誤差拡散法では、ディザ法のように決まった処理をパッチワークで繰り返すものではないので、計算に時間がかかってしまう。以上のことから、例えば、動画像のように、画像の質よりも処理速度の速さが要求される場合はディザ処理を用い、静止画像のように、処理速度よりも画質が要求される場合には誤差拡散法を用いることが好ましい。
【００７１】
このようにＣＰＵ２１６にて減色処理を行うことにより、表示装置２１２に転送する画像データ量が削減される。減色処理にてデータ量を削減したが、ビットスライスなどの処理とは異なり、元の画像を模擬する処理がなされているので、表示する画像に対して違和感を生じさせない。
【００７２】
（２）ハフマン符号化処理
以下では、ＣＰＵ２１６内にて行われる本実施形態に係るハフマン符号化処理について説明する。一般的に、ハフマン符号化処理は、取得したデータに対して、よく発生するデータに対しては短い符号を割り当て、発生しにくいデータに対しては長い符号を割り当てるという符号化を行う処理である。つまり、元のデータを可変長にするというものである。この処理により、元のデータのデータ量を削減することができる。
【００７３】
その具体例について、図６を用いて説明する。図６（ａ）は、処理すべき元のデータで、「ａａｂｂｃｃｃｃｄｄｄｄｅｅｅｅｅｅｅｅｆｆｆｆ」という記号から成る文字列である。次に図６（ｂ）に示すように、この入力された記号の頻度を算出して頻度表を作成する。図６（ｂ）において、左列には入力された記号、右列にはその頻度（出現率とも呼ぶ）を示す。次に、このように算出された頻度表に基づいてハフマン木が生成される。ハフマン木は、図６（ｃ）に示すように、葉１０、枝１１、内部節点１２及び根１３から構成される。以下で、ハフマン木の作成手順について説明する。まず、各記号に対する葉１０を作り、それぞれの葉１０に記号とその頻度を書いておく。次に、頻度が最も小さい２枚の葉１０について内部節点１２を１つ作り、その内部節点１２と２枚の葉１０を枝１１で結ぶ。そして枝１１の一方には「０」、他方には「１」のラベルを付加する。この内部節点１２に２枚の葉１０の頻度の和を書き、この内部節点１２を新たな葉１０と考える。内部節点１０より下の枝１１と葉１０をないものと考え、上述の手順を繰り返す。葉１０(又は、内部節点１２)が１枚になったところでハフマン木が完成する。
【００７４】
以上の処理により、図６（ｄ）に示すように、元のデータはハフマン符号に変換される。すなわち、ａは「１１１０」、ｂは「１１１１」ｃは「１００」、ｄは「１０１」、ｅは「０」、ｆは「１１０」と表された符号表を作成することができる。この符号化されたデータ又はハフマン木に基づいて、元のデータは「１１１０ １１１０ １１１１ １１１１ １００ １００ １００ １００ １０１ １０１ １０１ １０１ ０ ０ ０ ０ ０ ０ ０ ０ １１０ １１０ １１０ １１０」と符号化することができる。
【００７５】
以下で、本実施形態において具体的に行われるハフマン符号化処理について説明する。まず、上述したように減色処理部２３０にて減色処理された画像に対して、頻度算出部２４０にて頻度表が算出される。このとき、本実施形態においては、図３（ａ）に示したようにブロック単位でハフマン符号化処理を行う。例えば画像の４行を１ブロックとして扱い、１つのブロックの符号化が終了すれば、次のブロックに移って処理を行うことができる。つまり、頻度算出部２４０では、前述の最大値と最小値による符号化処理で説明したように、画像データの１ブロック分のデータに対して頻度ヒストグラムを作成していく。なお、頻度表算出の処理は、前述した減色処理の際に同時に行っても良い。このように算出された頻度表に基づいて、ハフマン符号化処理部２４４では、図６（ｃ）に示したハフマン木を作成する。そして、このハフマン木に基づいて、画像データをハフマン符号化する。こうして符号化された画像データＳ１４は、表示装置２１２内のハフマン復号化処理部２５４に供給される。このとき、ハフマン木のデータ又は、符号と元のデータの対応関係を示す表（すなわち、図６（ｄ）に示した表）は符号化されたデータを復号するのに必要であり、ハフマン符号化方法を示すデータＳ１６として表示装置２１２へ転送される。
【００７６】
以上のＣＰＵ２１６内においてのハフマン符号化処理により、表示装置２１２に転送するデータ量が削減される。このデータ削減量は画像に依存するが、実験的には入力されるデータ量の約１／２程度に削減することができることがわかっている。このハフマン符号化処理では、符号化によりデータ量を削減しており、画像データ自体を欠損させていないため、復号して表示される画像の質は落ちることはない。
【００７７】
なお、先に述べたようにＣＰＵ２１６から表示装置２１２へ画像データやその他関連するデータは、データバスとシリアルバスを用いて転送することができる。符号化されたデータは、データバスを用いて転送することができる。また、ハフマン符号化方法を示すデータＳ１６は、データ量が少ないのでシリアルバスを経由して転送することができる。
【００７８】
［表示装置での画像処理］
以下では、表示装置２１２で行われる画像処理について説明する。前述したようにＣＰＵ２１６からＹ成分とＵ／Ｖ成分のデータが別々に転送されてくるので、表示装置２１２においても異なる画像処理が行われる。表示装置２１２では、主にＣＰＵ２１６にて符号化されたデータを復号する画像処理が行われる。復号化処理は、Ｙ成分とＵ／Ｖ成分のそれぞれに対して行われる。この復号処理は、主にＣＰＵ２１６にて行われた可逆的な処理に対する逆変換である。これにより、転送されてきたデータ量から想定されるよりも、元のイメージに近い高画質な画像を表示することができる。
【００７９】
（Ｕ成分、Ｖ成分の処理）
ここでは、画像データのＵ／Ｖ成分の画像処理を説明する。ＣＰＵ２１６にて処理されたＵ／Ｖ成分のデータは、まず、復号化処理部２５０に入力される。このとき、復号化処理部２５０には、符号化された画像データＳ１３と最大値と最小値のデータＳ１２が入力される。復号化処理部２５０では、最大値と最小値のデータＳ１２に基づき、符号化された画像データＳ１３を復号する。具体的には、符号化されたデータの階調値それぞれに、例えば階調値の最小値を加算する処理が行われる。例えば、符号化された５ビットのデータがあり、階調値の最小値が１５で最大値が４０であるデータが送られてくれば、５ビットで表された階調値それぞれに１５を加算する処理を行う。すなわち、６ビットの元の画像データに戻される。
【００８０】
なお、本実施形態においては、上述したようにＣＰＵ２１６ではブロック単位で処理を行うので、ＣＰＵ２１６にて行う符号化処理と、表示装置２１２にて行う復号化処理を並列して行うことができる。具体的に、図７を用いて説明する。図７（ａ）に示すように、ＣＰＵ２１６では、処理が画像の上から下に向かってなされており、ある時刻において図示する位置の画像データに対して符号化処理を行っているものとする。このとき、その処理を行っているブロックよりも上段の画像（符号化処理が完了している画像）は、既に表示装置２１２に転送されている。一方、表示装置２１２では、図７（ｂ）に示すように、上記の時刻においてＣＰＵ２１６で符号化している画像よりも上段のデータに対して復号化処理を行うことができる。これにより、ＣＰＵ２１６にて行う符号化処理と、表示装置２１２にて行う復号化処理を効率よく行うことができる。
【００８１】
以上のように復号化処理部２５０にて復号処理された画像データは、均等量子化処理部２５２に送られる。
【００８２】
次に、均等量子化処理部２５２での処理について、図８を用いて説明する。図８において、縦軸に処理前のデータの階調値を示してあり、横軸に処理後のデータの階調値を示してある。上述したＣＰＵ２１６での重み付け量子化処理では、階調値によって（すなわち彩度の大小に応じて）量子化量を変えるという方法を採用した。図２に示すように、低彩度の領域は細かく量子化し、高彩度の領域は粗く量子化することとした。図２の例では、量子化前のＵ／Ｖデータは１２８階調（７ビット）であり、入力階調値０〜１２７を有している。これを、入力階調値６４を境にして、入力階調値０〜６３を出力階調値０〜４７に割り当て、入力階調値６４〜１２７を出力階調値４８〜６３に割り当てている。
【００８３】
一方、表示装置２１２の均等量子化処理部２５２においては、この逆変換を行う。つまり、図８に示すように、図２に示す重み付け量子化特性の逆特性により、６４階調（６ビット）のＵ／Ｖデータを１２８階調（７ビット）のＵ／Ｖデータに変換する。これにより、重み付け量子化前の状態のＵ／Ｖデータを復元することができる。
【００８４】
このように、復号化処理部２５０及び均等量子化処理部２５２にて処理されたＵ／Ｖ成分のデータは、ドライバ２２６に供給される。
【００８５】
（Ｙ成分の処理）
次に、画像データのＹ成分の画像処理を説明する。ＣＰＵ２１６にて処理されたＹ成分のデータは、ハフマン復号化処理部２５４に入力される。このとき、ハフマン復号化処理部２３０には、ハフマン符号化された画像データＳ１４と、ハフマン木のデータ又は符号と元のデータの対応関係を示す表などのハフマン符号化方法を規定するデータＳ１６が入力され、これらに基づいて復号処理が行われる。具体的な復号方法について、図６（ｃ）を参照して説明する。例えば、「１０１」という符号が送られてきた場合、まず、根１３からビットが「１」である右の枝１１をたどる。次に、ビット「０」である左の枝１１をたどる。そして、ビット「１」である右の枝１１をたどると、「ｄ」を表す葉１０に到達する。これにより、「１０１」と符号化されたデータが「ｄ」という記号であると識別される。以上の手順で、符号化されたデータが復号される。なお、このハフマン復号化処理も先に述べたもの（図７で示した処理）と同様に、ＣＰＵ２１６にてブロック単位でハフマン符号化処理を行うことができるので、このＣＰＵ２１２での処理と並列して行うことができる。
【００８６】
このようにハフマン復号化処理部２５４にて復号されたＹ成分のデータは、ドライバ２２６に供給される。そして、ドライバ２２６にてＹ成分のデータと、先に述べたＵ／Ｖ成分のデータが統合される。このときに、ＹＵＶ形式のデータをＲＧＢ形式のデータに変換することができる。このＹＵＶ→ＲＧＢ変換は、ドライバ２２６の入力前に行っても良い。こうしてドライバ２２６で処理された画像データは表示パネル２２７に供給されて、表示パネル２２７の表示エリア内に表示される。
【００８７】
［変形例］
以下で、本発明の変形例について説明する。上述してきた実施形態において、ＣＰＵ２１６では、Ｕ／Ｖ成分のデータに対し階調値の最大値／最小値に基づき符号化した。１つの変形例においては、このとき、データ量が４ビット以下になれば、ハフマン符号化処理をさらに行う。４ビット以下のデータであれば、ハフマン符号化処理において計算時間とメモリをそれほど要しないからである。このハフマン符号化処理を加えることにより、Ｕ／Ｖデータについてさらにデータ量を削減することができる。また、ハフマン符号化処理は可逆変換であるので復元して処理前の画像に戻すことができるため、表示される画像の画質を落とすことはない。
【００８８】
また、他の変形例では、ＣＰＵ２１６のＲＧＢ→ＹＵＶ変換部２３０にてＹＵＶ４：２：０でサンプリングを行い、このデータに対して先に述べた実施例と同様のＣＰＵ２１６での処理を行っても良い。これは、Ｕ／Ｖ成分のデータには、ディザ法による画像処理を行わないため、表示される画像にモアレ干渉などが生じないためである。これにより、さらにデータ量を削減したものを表示装置２１２に転送することができる。ただし、この場合は画像の質はＹＵＶ４：４：４にてサンプリングしたデータよりも落ちてしまうため、画質よりも処理速度が要求される動画像を表示する際に行うことが好ましい。
【図面の簡単な説明】
【００８９】
【図１】本発明に係る画像処理を適用した携帯端末装置の概略構成を示す。
【図２】重み付け量子化処理を説明するための図である。
【図３】画像に対して、階調値の最大値／最小値に基づいて行う処理の具体例を示した図である。
【図４】ディザ法を説明するための図である。
【図５】誤差拡散法を説明するための図である。
【図６】ハフマン符号化処理を説明するための図である。
【図７】ＣＰＵでの画像処理と表示装置での画像処理との関係を示した図である。
【図８】均等量子化処理を説明するための図である。
【符号の説明】
【００９０】
２１０  携帯端末装置、  ２１２  表示装置、  ２１４  送受信部、  ２１６  ＣＰＵ、  ２１８  入力部、  ２２０  プログラムＲＯＭ、  ２２４  ＲＡＭ、  ２２６  ドライバ、  ２２７  表示パネル、  ２３０  ＲＧＢ→ＹＵＶ変換部、  ２３２  重み付け量子化処理部、  ２３４  頻度分布算出部、  ２３６  最大／最小値表生成部、  ２３８  符号化処理部、  ２４０  減色処理部、  ２４２  頻度算出部、  ２４４  ハフマン符号化処理部、  ２５０  復号化処理部、  ２５２  均等量子化処理回路、  ２５４  ハフマン復号化処理部
【図１】
2005055824.tif 000003
【図２】
2005055824.tif 000004
【図３】
2005055824.tif 000005
【図４】
2005055824.tif 000006
【図５】
2005055824.tif 000007
【図６】
2005055824.tif 000008
【図７】
2005055824.tif 000009
【図８】
2005055824.tif 000010