(57)【要約】【課題】  復号対象の画像データのサイズと表示サイズとが異なる場合に、上記画像データの表示処理に必要とされるメモリの記憶容量を削減できる画像処理装置を提供する。【解決手段】  本発明の画像処理装置は、復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出する算出手段と、前記復号対象の画像データを復号して復号画像データを生成する復号手段と、表示用画像データを記憶するメモリと、前記復号手段が生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出して前記メモリに書き込む縮小手段と、を有する。【選択図】      図１
2006013835.tif 000002
【特許請求の範囲】
【請求項１】
復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出する算出手段と、
前記復号対象の画像データを復号して復号画像データを生成する復号手段と、
表示用画像データを記憶するメモリと、
前記復号手段が生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出して前記メモリに書き込む縮小手段と、
を有することを特徴とする画像処理装置。
【請求項２】
前記算出手段は、前記復号対象の画像データの画像のアスペクト比を保持した状態で縮小表示するように前記画像データを縮小するサイズを算出することを特徴とする
請求項１に記載の画像処理装置。
【請求項３】
前記縮小手段は、前記復号手段が生成した前記復号画像データから有効画素と該有効画素近傍の画素を抽出するとともに補間処理をして前記メモリに書き込むことを特徴とする
請求項１に記載の画像処理装置。
【請求項４】
復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出する算出手段と、
前記復号対象の画像データを復号して復号画像データを生成する復号手段と、
表示用画像データを記憶するメモリと、
前記復号手段が生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出して前記メモリに書き込む縮小手段と、
前記メモリに書き込まれた画素を用いて前記画像データを縮小表示する表示手段と、
を有することを特徴とする表示装置。
【請求項５】
復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出するステップと、
前記復号対象の画像データを復号して復号画像データを生成するステップと、
前記生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出してメモリに書き込むステップと、
を有することを特徴とする画像処理方法。
【請求項６】
復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出し、前記復号対象の画像データを復号して復号画像データを生成し、前記生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出してメモリに書き込むことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを復号しながら縮小処理する画像処理装置、表示装置、画像処理方法およびプログラムに関する。
【背景技術】
【０００２】
例えば、携帯電話やＰＤＡ(Personal Digital Assistants)などの携帯型端末装置は、内蔵されたカメラで撮像し、あるいはネットワークを介して受信し、ＪＰＥＧ(Joint Photographic Experts Group)などで符号化（圧縮）した画像データを復号（デコード）してディスプレイに表示する機能を備えている。
このような携帯型端末装置は、上記符号化された画像データのサイズと上記ディスプレイの表示サイズとが異なる場合に対処するために、上記符号化された画像データを全て復号するとともにメモリに一旦格納し、メモリから画像データを読み出し表示サイズに縮小処理してディスプレイに表示している。
例えば、携帯電話のカメラの撮像画像のサイズが９６０×１２８０画素で、ディスプレイの最大表示サイズが２４０×３２０画素であった場合、９６０×１２８０画素で撮像して符号化されメモリに記憶された画像データをディスプレイに表示するには、９６０×１２８０画素の符号化された画像データを復号し、これを全てメモリに書き込み、続いて、これを２４０×３２０画素の表示用画像データとしてメモリから読み出す。
この場合、携帯電話のメモリは、例えば、１画素当たり３ｂｙｔｅ必要である場合、９６０×１２８０画素の復号後の画像データを記憶するために約３．７ＭＢの記憶容量を必要とし、さらに、その画像データを基に２４０×３２０画素の表示用画像データを記憶するために約２３０ＫＢの記憶容量を必要とする。
また、ＪＰＥＧなどで符号化した画像データを遠隔地に送ることが可能な携帯装置を下記文献が開示している。
【特許文献１】実開平７−１１０６９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、上述した携帯型端末装置には、メモリを効率利用し、小規模化および低価格化を図りたいという要請がある。
【０００４】
本発明は、復号対象の画像データのサイズと表示サイズとが異なる場合に、上記画像データの表示処理に必要とされるメモリの記憶容量を削減できる画像処理装置、表示装置、画像処理方法およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００５】
上述した従来技術の問題点を解決し上述した目的を達成するために、本発明の画像処理装置は、復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出する算出手段と、前記復号対象の画像データを復号して復号画像データを生成する復号手段と、表示用画像データを記憶するメモリと、前記復号手段が生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出して前記メモリに書き込む縮小手段とを有する。
【０００６】
本発明の表示装置は、復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出する算出手段と、前記復号対象の画像データを復号して復号画像データを生成する復号手段と、表示用画像データを記憶するメモリと、前記復号手段が生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出して前記メモリに書き込む縮小手段と、前記メモリに書き込まれた画素を用いて前記画像データを縮小表示する表示手段と、を有する。
【０００７】
本発明の画像処理方法は、復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出するステップと、前記復号対象の画像データを復号して復号画像データを生成するステップと、前記生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出してメモリに書き込むステップと、を有する。
【０００８】
本発明のプログラムは、復号対象の画像データのサイズと縮小表示のための変更サイズとを基に前記画像データを縮小するサイズを算出し、前記復号対象の画像データを復号して復号画像データを生成し、前記生成した前記復号画像データから前記算出したサイズに基づいて縮小表示のために必要な画素のみを抽出してメモリに書き込むことを特徴とする。
【発明の効果】
【０００９】
本発明によれば、復号対象の画像データのサイズと表示サイズとが異なる場合に、上記画像データの表示処理に必要とされるメモリの記憶容量を削減できる画像処理装置、表示装置、画像処理方法およびプログラムを提供することができる。
【発明を実施するための最良の形態】
【００１０】
以下、本発明の実施の形態を図面を参照しながら説明する。
図１は、本発明の実施形態に係わる画像処理装置１１の構成図である。
図１に示すように、画像処理装置１１は、例えば、縮小枠計算部１２、ハフマン復号部１４、逆量子化部１６、逆ＤＣＴ(Discrete Cosine Transform) 部１８、サブサンプリング部２０、メモリ２２および制御部２４を有する。
縮小枠計算部１２、ハフマン復号部１４、逆量子化部１６、逆ＤＣＴ部１８、サブサンプリング部２０、メモリ２２および制御部２４は、例えば、ソフトウェアや電子回路によって実現される。
【００１１】
画像処理装置１１は、例えば、携帯電話やＰＤＡなどの携帯型端末装置内に組み込まれており、この携帯型端末装置は、Ｄｓｔ＿ｈ×Ｄｓｔ＿ｗ（縦×横）の表示サイズを持つ表示部５を備えている。
画像処理装置１１は、入力したＳｒｃ＿ｈ×Ｓｒｃ＿ｗ（縦×横）のサイズの画像データＤ＿ｉｎ（復号対象の画像データ）を復号しながら、表示部５の表示サイズに適合するように縮小（必要な画素のみサンプリング）して縮小画像データＳ２０を生成し、これをメモリ２２に書き込む。
すなわち、画像処理装置１１は、逆ＤＣＴ部１８が出力する復号後の復号画像データＳ１８をメモリ２２に全て書き込むのではなく、復号画像データＳ１８から必要な画素のみをサンプリングした縮小画像データＳ２０をメモリ２２に書き込む。
本実施形態において、画像データＤ＿ｉｎは、例えば、ＪＰＥＧ方式などで符号化（圧縮）された静止画像データである。
なお、画像データＤ＿ｉｎは、例えば、ＭＥＰＧ(Moving Picture Experts Group)方式などで符号化（圧縮）された動画像データであってもよい。
以下、図１に示す画像処理装置１１の各構成要素について説明する。
【００１２】
〔縮小枠計算部１２〕
縮小枠計算部１２は、例えば、上記携帯型端末装置がネットワークを介して受信した画像データ、あるいは、上記携帯型端末装置が備えるカメラの撮像結果に応じた画像データである画像データＤ＿ｉｎを入力する。
縮小枠計算部１２は、画像データＤ＿ｉｎのサイズと上位のアプリケーション層から縮小表示のために指示された変更画像サイズ（以下、縮小枠）とを基に、実際に縮小表示するための縮小枠を再計算する。
尚、縮小枠計算部１２は、画像データＤ＿ｉｎを基に表示される画像のアスペクト比を保持した状態で表示サイズ内に表示用画像データが収まるように縮小枠を再計算する。
【００１３】
縮小枠計算部１２は、例えば、画像データＤ＿ｉｎのサイズを図２（Ａ）に示すようにＳｒｃ＿ｈ×Ｓｒｃ＿ｗ（縦×横）とし、上記表示サイズを図２（Ｂ）に示すようにＤｓｔ＿ｈ×Ｄｓｔ＿ｗ（縦×横）とした場合に、「（Ｓｒｃ＿ｗ／Ｄｓｔ＿ｗ）＞（Ｓｒｃ＿ｈ／Ｄｓｔ＿ｈ）」を満たす場合に、「Ｓｒｃ＿ｈ×（Ｄｓｔ＿ｗ／Ｓｒｃ＿ｗ）」を演算してその結果をデータＤｓｔ＿ｈａとする。
また、縮小枠計算部１２は、「（Ｓｒｃ＿ｗ／Ｄｓｔ＿ｗ）＞（Ｓｒｃ＿ｈ／Ｄｓｔ＿ｈ）」を満たさない場合に、「Ｓｒｃ＿ｗ×（Ｄｓｔ＿ｈ／Ｓｒｃ＿ｈ）」を演算してその結果をデータＤｓｔ＿ｗａとする。
すなわち、縮小枠計算部１２は、画像データＤ＿ｉｎを基に表示される画像のアスペクト比を保持した状態で表示用画像データＤ＿ｏｕｔのサイズを再計算する。
【００１４】
〔ハフマン復号部１４〕
ハフマン復号部１４は、復号対象の画像データＤ＿ｉｎをハフマン符号として復号して画像データＳ１４を生成し、これを逆量子化部１６に出力する。
【００１５】
〔逆量子化部１６〕
逆量子化部１６は、ハフマン復号部１４から入力した画像データＳ１４を逆量子化して画像データＳ１６を生成し、これを逆ＤＣＴ部１８に出力する。
【００１６】
〔逆ＤＣＴ部１８〕
逆ＤＣＴ部１８は、逆量子化部１６から入力した画像データＳ１６に逆ＤＣＴ処理を行って復号画像データＳ１８を生成し、これをサブサンプリング部２０に出力する。
なお、本実施形態において、上述した復号処理は、例えば、８×８画素のデータＭＣＵ(Minimum Coded Unit)を単位として行われる。
【００１７】
〔サブサンプリング部２０〕
サブサンプリング部２０は、縮小枠計算部１２から入力したデータＳ１２を基に、復号画像データＳ１８のサイズＳｒｃ＿ｈ×Ｓｒｃ＿ｗ（縦×横）をサイズＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）に縮小するためにサブサンプリングして縮小画像データＳ２０を生成し、これをメモリ２２に書き込む。
具体的には、サブサンプリング部２０は、データＳ１２を基に、逆ＤＣＴ部１８から入力した復号画像データＳ１８を構成する画素データのなかから、サイズＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）の縮小画像データＳ２０を構成するために有効な画素データ（有効画素データ）を選択（サブサンプリング）して縮小画像データＳ２０を生成し、これをメモリ２２に書き込む。
すなわち、サブサンプリング部２０は、復号画像データＳ１８を構成する画素データのうち、サイズＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）の縮小画像データＳ２０を構成するために不要な画素データ（無効画素データ）を選択（抽出）しない。
【００１８】
〔制御部２４〕
制御部２４は、例えば、画像処理装置１１の動作を統括的に制御する。
画像処理装置１１は、例えば、メモリ２２に記憶された縮小画像データＳ２０を、表示用画像データＤ＿ｏｕｔとして読み出して表示部５に出力する。
【００１９】
以下、図１に示す画像処理装置１１の動作例を説明する。
図３は、画像処理装置１１の全体動作例における縮小枠計算部１２、サブサンプリング部２０、制御部２４の処理を説明するためのフローチャートである。
図４は、図３に示すステップＳＴ６の処理を説明するためのフローチャートである。
先ず、縮小枠計算部１２が、入力した画像データＤ＿ｉｎのサイズＳｒｃ＿ｈ×Ｓｒｃ＿ｗ（縦×横）を基に、「（Ｓｒｃ＿ｗ／Ｄｓｔ＿ｗ）＞（Ｓｒｃ＿ｈ／Ｄｓｔ＿ｈ）」を満たすか否かを判断する（図３のステップＳＴ１）。
そして、縮小枠計算部１２は、「（Ｓｒｃ＿ｗ／Ｄｓｔ＿ｗ）＞（Ｓｒｃ＿ｈ／Ｄｓｔ＿ｈ）」を満たすと判断した場合に、「Ｓｒｃ＿ｈ×（Ｄｓｔ＿ｗ／Ｓｒｃ＿ｗ）」を演算してその結果をデータＤｓｔ＿ｈａとする（ステップＳＴ２）。
一方、縮小枠計算部１２は、「（Ｓｒｃ＿ｗ／Ｄｓｔ＿ｗ）＞（Ｓｒｃ＿ｈ／Ｄｓｔ＿ｈ）」を満たさないと判断した場合に、「Ｓｒｃ＿ｗ×（Ｄｓｔ＿ｈ／Ｓｒｃ＿ｈ）」を演算してその結果をデータＤｓｔ＿ｗａとする（ステップＳＴ３）。
【００２０】
次に、縮小枠計算部１２は、表示用画像データＤ＿ｏｕｔのサイズとして再計算したＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）と、復号対象の画像データＤ＿ｉｎのサイズとを比較して、画像データＤ＿ｉｎのサイズの方が大きいか否かを判断する（ステップＳＴ４）。
縮小枠計算部１２は、上記判断において画像データＤ＿ｉｎのサイズの方が大きいと判断すると、図２（Ａ）に示すようにサイズＳｒｃ＿ｈ×Ｓｒｃ＿ｗ（縦×横）をサイズＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）に縮小することを決定し、当該サイズを示すデータＳ１２をサブサンプリング部２０に出力する（ステップＳＴ５）。
一方、縮小枠計算部１２は、上記判断において画像データＤ＿ｉｎのサイズの方が小さいと判断すると、以後の縮小処理は行わない。
【００２１】
縮小枠計算部１２の上述した処理に続いて、あるいは当該処理と並行して、ハフマン復号部１４が、復号対象の画像データＤ＿ｉｎをハフマン符号として復号して画像データＳ１４を生成し、これを逆量子化部１６に出力する。
次に、逆量子化部１６は、ハフマン復号部１４から入力した画像データＳ１４を逆量子化して画像データＳ１６を生成し、これを逆ＤＣＴ部１８に出力する。
次に、逆ＤＣＴ部１８は、逆量子化部１６から入力した画像データＳ１６に逆ＤＣＴ処理を行って復号画像データＳ１８を生成し、これをサブサンプリング部２０に出力する。
【００２２】
次に、サブサンプリング部２０は、縮小枠計算部１２が入力したデータＳ１２を基に、復号画像データＳ１８のサイズＳｒｃ＿ｈ×Ｓｒｃ＿ｗ（縦×横）をサイズＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）に縮小するため有効な画素データ（有効画素データ）を選択（サブサンプリング）して縮小画像データＳ２０を生成する（ステップＳＴ６）。
そして、サブサンプリング部２０は、上記生成した縮小画像データＳ２０をメモリ２２に書き込む（ステップＳＴ７）。
一方、サブサンプリング部２０は、縮小しない場合には、復号画像データＳ１８を、そのままメモリ２２に書き込む。
このとき、サブサンプリング部２０は、例えば、図４に示すように、データＳ１２を基に、逆ＤＣＴ部１８から入力した復号画像データＳ１８を構成する画素データを順に、その画素データがサイズＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）の縮小画像データＳ２０を構成するために有効な画素データ（有効画素データ）であるか否かを判断する（ステップＳＴ１１）。そして、サブサンプリング部２０は、有効画素データであると判断すると、当該有効画素データを選択（抽出）して縮小画像データＳ２０の画素データとしてメモリ２２に書き込む（ステップＳＴ１２）。次に、サブサンプリング部２０は、１画面分の復号画像データＳ１８について上記処理（走査）を完了したと判断すると縮小処理を終了し、そうでない場合にはステップＳＴ１１に戻る（ステップＳＴ１３）。
制御部２４は、メモリＳ２２から表示用画像データＤ＿ｏｕｔを読み出して表示部５に出力する。これにより、表示部５には、復号対象の画像データＤ＿ｉｎを縮小したサイズＤｓｔ＿ｈａ×Ｄｓｔ＿ｗあるいはＤｓｔ＿ｈ×Ｄｓｔ＿ｗａ（縦×横）の画像が表示される。
【００２３】
以上説明したように、画像処理装置１１によれば、原画像データを縮小表示する際に、復号画像データＳ１８をそのままメモリ２２に書き込むのではなく、サブサンプリング部２０で選択（抽出）した有効画素データからなる縮小画像データＳ２０をメモリ２２に書き込む。そのため、従来に比べてメモリ２２に必要とされる記憶容量を小さくでき、小規模化および低価格化を図れる。
例えば、復号対象の画像データＤ＿ｉｎのサイズが９６０×１２８０画素であり、表示部５の表示サイズが２４０×３２０画素の場合に、縮小画像データＳ２０および表示用画像データＤ＿ｏｕｔのサイズは２４０×３２０画素となる。そのため、メモリ２２は、２４０×３２０画素の画像データを記憶する記憶容量を備えていればよい。
【００２４】
また、画像処理装置１１によれば、入力した画像データＤ＿ｉｎのアスペクト比を変えずに、表示サイズの縦と横の少なくとも一方の全域を使用して画像を表示するため、最大限大きなサイズでしかも原画像と同じアスペクト比で画像を表示できる。
【００２５】
本発明は上述した実施形態に限定されない。
【００２６】
また、上述した実施形態の図３に示すステップＳＴ６の処理は、例えば、図５に示す手順で行ってもよい。
すなわち、サブサンプリング部２０は、例えば、図５のステップＳＴ１１，ＳＴ１２において有効画素データを抽出し、縮小画像データＳ２０の画素データとしてメモリ２２に書き込む際に、有効画素近傍の画素データも抽出し、有効画素データ及び該有効近傍画素データを用いて補間処理を行っても良い（ステップＳＴ３１）。
上述のように補間処理を行うことにより、復号データ全てを一旦メモリに記憶してから補間処理を行う従来の補間処理の手法も本発明に適用することが出来る。
この補間処理の手法としては、例えば、バイリニア法、バイキュービック法あるいは面積平均法などが用いられる。
このようにすることで、表示部５に表示する画像の品質をさらに高めることができる。
【００２７】
また、上述した実施形態では、縮小枠計算部１２、ハフマン復号部１４、逆量子化部１６、逆ＤＣＴ部１８およびサブサンプリング部２０を電子回路によって実現する場合を例示したが、これらの機能の全部または一部を制御部２４がプログラムを実行して実現してもよい。
なお、これらの機能の全てをプログラムによって実現した場合、当該プログラムが第４の発明のプログラムに対応する。
【産業上の利用可能性】
【００２８】
本発明は、画像データを復号した後にサイズを調整して表示するシステムに適用できる。
【図面の簡単な説明】
【００２９】
【図１】図１は、本発明の実施形態に係わる画像処理装置の構成図である。
【図２】図２（Ａ）は画像データＤ＿ｉｎのサイズ、図２（Ｂ）は表示部の表示サイズを説明するための図である。
【図３】図３は、図１に示す画像処理装置の全体動作例における縮小枠計算部、サブサンプリング部、制御部の処理を説明するためのフローチャートである。
【図４】図４は、図３に示すステップＳＴ６の処理を説明するためのフローチャートである。
【図５】図５は、図３に示すステップＳＴ６のその他の処理を説明するためのフローチャートである。
【符号の説明】
【００３０】
５…表示部、１１…画像処理装置、１２…縮小枠計算部、１４…ハフマン復号部、１６…逆ＤＣＴ部、２０…サブサンプリング部、２２…メモリ、２４…制御部
【図１】
2006013835.tif 000003
【図２】
2006013835.tif 000004
【図３】
2006013835.tif 000005
【図４】
2006013835.tif 000006
【図５】
2006013835.tif 000007