(57)【要約】【課題】画像を拡大、縮小回路の規模を低減する。【解決手段】  第１の水平垂直フィルタ１０１に入力された５１２０×３８４０画素の入力画像データは、水平および垂直方向にそれぞれ１／４に間引き処理されることによって、１２８０×９６０画素の中間画像データに変換され、第１のメモリ１０２に格納される。中間画像データは、さらに、第２の水平垂直フィルタ２０１により順次読み出され、７２０×４８０、または１６０×１２０画素の出力画像データに変換されて、第２のメモリ２０２に格納される。【選択図】図１
2007067917.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データを拡大または縮小して出力画像データを出力する画像データ処理装置であって、
第１の解像度を有する入力画像データを第２の解像度を有する中間画像データに変換する第１の画像加工部と、
前記中間画像データを第３の解像度を有する出力画像データに変換する第２の画像加工部と、
を備えたことを特徴とする画像データ処理装置。
【請求項２】
請求項１の画像データ処理装置であって、
前記第２および第３の解像度は、それぞれあらかじめ固定的に設定された解像度であることを特徴とする画像データ処理装置。
【請求項３】
請求項１の画像データ処理装置であって、
前記第１および第２の画像加工部は、それぞれ、画素の間引き処理、および垂直水平フィルタ処理の少なくとも一方を行うことによって、前記解像度の変換を行うことを特徴とする画像データ処理装置。
【請求項４】
請求項１の画像データ処理装置であって、
前記第１の画像加工部は、入力画像データに対する出力画像データの縮小率が、あらかじめ設定された所定の縮小率よりも小さい場合に、前記所定の縮小率で前記解像度の変換を行うことを特徴とする画像データ処理装置。
【請求項５】
請求項４の画像データ処理装置であって、
前記所定の縮小率は、画像の横方向および縦方向について、それぞれ１／８であることを特徴とする画像データ処理装置。
【請求項６】
請求項５の画像データ処理装置であって、
前記第１の画像加工部は、入力画像データにおける８×８画素の矩形領域ごとに、前記矩形領域内の各画素の値の平均値を中間画像データにおける各画素の値として求めることを特徴とする画像データ処理装置。
【請求項７】
請求項６の画像データ処理装置であって、
前記第１の画像加工部は、入力画像データがＤＣＴ変換された画像データである場合に、直流成分のＤＣＴ係数を中間画像データにおける各画素の値として求めることを特徴とする画像データ処理装置。
【請求項８】
請求項１の画像データ処理装置であって、
前記中間画像データのサイズは可変に設定され、その最大値は、画像の横方向が１２８０画素、縦方向が９６０画素であることを特徴とする画像データ処理装置。
【請求項９】
請求項１の画像データ処理装置であって、
前記第１および第２の画像加工部の少なくとも一方は、さらに、所定の領域の切出し処理、および回転処理のうちの少なくとも何れかを行うように構成されていることを特徴とする画像データ処理装置。
【請求項１０】
請求項１の画像データ処理装置であって、
前記入力画像データは、画像リサイズ情報および画像回転情報のうちの少なくとも一方を含む情報符号化画像データが復号化されたものであり、
前記第１の画像加工部は、前記画像リサイズ情報または画像回転情報に基づいて、拡大もしくは縮小処理、または回転処理を行うように構成されていることを特徴とする画像データ処理装置。
【請求項１１】
請求項１の画像データ処理装置であって、
前記第２の画像加工部は、ユーザにより指定された画像切り出し領域情報、画像リサイズ情報、および画像回転情報のうちの少なくとも何れかに基づいて、切り出し処理、拡大もしくは縮小処理、または回転処理を行うように構成されていることを特徴とする画像データ処理装置。
【請求項１２】
請求項１の画像データ処理装置であって、
前記第１の画像加工部は、当該画像データ処理装置の外部から、前記解像度の変換を行うか否かを指定可能に構成されていることを特徴とする画像データ処理装置。
【請求項１３】
請求項１の画像データ処理装置であって、
さらに、前記中間画像データを保持するメモリを備えたことを特徴とする画像データ処理装置。
【請求項１４】
請求項１３の画像データ処理装置であって、
前記メモリの容量が、当該画像データ処理装置の外部からの指示に応じて可変に設定されるように構成されていることを特徴とする画像データ処理装置。
【請求項１５】
請求項１３の画像データ処理装置であって、
前記第２の画像加工部は、前記メモリに保持された中間画像データに対して、切り出し処理、拡大もしくは縮小処理、または回転処理を複数通り行い得るように構成されていることを特徴とする画像データ処理装置。
【請求項１６】
請求項１の画像データ処理装置であって、
前記入力画像データ、中間画像データ、および出力画像データは、輝度データと色差データとを含む所定のサンプリングファクタを有する画像データであり、
前記第１および第２の画像加工部の少なくとも一方は、さらに、回転処理、および前記回転処理に伴う色差データの位相ずれの修正を行うように構成されていることを特徴とする画像データ処理装置。
【請求項１７】
請求項１６の画像データ処理装置であって、
前記第１および第２の画像加工部は、前記輝度データと色差データとに対して、互いに異なる拡大率または縮小率で拡大または縮小処理を行うことにより、サンプリングファクタの変換を行うように構成されていることを特徴とする画像データ処理装置。
【請求項１８】
請求項１６の画像データ処理装置であって、
前記入力画像データ、中間画像データ、および出力画像データは、ＹＣｂＣｒ表色系で表現された画像データであり、
輝度Ｙの水平サンプリングファクタをＨ０、
輝度Ｙの垂直サンプリングファクタをＶ０、
色差Ｃｂの水平サンプリングファクタをＨ１、
色差Ｃｂの垂直サンプリングファクタをＶ１、
色差Ｃｒの水平サンプリングファクタをＨ２、
色差Ｃｒの垂直サンプリングファクタをＶ２とした場合に、
前記第１の画像加工部は、入力画像データを、Ｈ０＝２、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１のサンプリングファクタを有する中間画像データに変換することを特徴とする画像データ処理装置。
【請求項１９】
請求項１６の画像データ処理装置であって、
前記入力画像データ、中間画像データ、および出力画像データは、ＹＣｂＣｒ表色系で表現された画像データであり、
輝度Ｙの水平サンプリングファクタをＨ０、
輝度Ｙの垂直サンプリングファクタをＶ０、
色差Ｃｂの水平サンプリングファクタをＨ１、
色差Ｃｂの垂直サンプリングファクタをＶ１、
色差Ｃｒの水平サンプリングファクタをＨ２、
色差Ｃｒの垂直サンプリングファクタをＶ２とした場合に、
前記第２の画像加工部は、中間画像データを、Ｈ０＝２、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１、またはＨ０＝４、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１のサンプリングファクタを有する出力画像データに変換することを特徴とする画像データ処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像データを符号化や復号化するディジタルカメラやカメラ付携帯電話などの静止画記録再生装置等に適用される画像データ処理装置に関するものである。
【背景技術】
【０００２】
近年のディジタルカメラやカメラ付携帯電話に代表される静止画記録再生装置は急速に普及し、かつ、年々高画質化が進んでいる。いまや１００万画素に留まらず、５００万画素以上の静止画を扱える静止画記録再生装置が一般的になりつつある。
【０００３】
一般に、このような静止画記録再生装置においては、大量のデータを効率良く扱うためにＪＰＥＧ圧縮技術が用いられている。例えば、カメラから入力された画像データは、符号化処理によるデータ圧縮処理が施されてから、ディジタルカメラ内の記録媒体に蓄積される。また、メモリカードやハードディスク等の記録媒体に蓄積された静止画データは、静止画記録再生装置により復号化処理による伸長処理が施されてから、液晶モニタ等のディスプレイに表示される。
【０００４】
記録媒体に蓄積されたＪＰＥＧ画像を復号処理してディスプレイに表示する際は、蓄積されたＪＰＥＧ画像サイズが大きい場合は、表示ディスプレイに適したサイズに縮小してから表示する。サムネイル画像を表示する場合も同様に、記録媒体に蓄積されたＪＰＥＧ画像データをサムネイル画像サイズへ縮小してから表示する。
【０００５】
記録媒体に蓄積されたＪＰＥＧ画像からサムネイル画像を生成、表示する場合は、記録媒体に蓄積された画像のＪＰＥＧ復号処理過程において、画像データのＤＣ成分とＡＣ成分を選別し、ＤＣ成分のみを抽出し、抽出したＤＣ成分のみに対してＪＰＥＧ復号処理及び逆量子化処理を施し、その後、サムネイル画像サイズへリサイズし出力表示する技術が知られている（例えば、特許文献１参照。）。
【０００６】
また、ユーザは、復号、表示したＪＰＥＧ画像に対して、画像の特定領域のみを拡大、縮小するＺｏｏｍ処理や回転処理等の加工処理を手軽に行うことが可能である。このとき、一般的な静止画記録再生装置は、ユーザが指定するＺｏｏｍ処理や回転処理等の要求に対して、記録媒体に蓄積されたＪＰＥＧ画像を再度、復号、加工処理を行い表示する。
【０００７】
また、カメラ入力された画像を記録媒体に蓄積する際に、サムネイル画像を生成して併せて蓄積することもある。この場合は、カメラ入力された画像から生成すべきサムネイル画像サイズへフィルタ処理によるリサイズ（縮小処理）を行った後、表示、またはＪＰＥＧ符号化処理し記録媒体に蓄積する等の処理を行う。
【特許文献１】特開２０００−５９６１２号公報
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、従来の静止画記録再生装置では、以下のような問題があった。
【０００９】
ＪＰＥＧ画像から水平１６０画素、垂直１２０ライン程度のサイズでサムネイル表示する場合、ＪＰＥＧ画像の復号処理過程において、まず、ＤＣ成分とＡＣ成分を選別し、ＤＣ成分のみ抽出する。そして、ＤＣ成分に対してのみＪＰＥＧ復号化処理及び逆量子化処理を行い、その後、サムネイル画像サイズへリサイズし表示する。しかし、サムネイル表示に加え、元のＪＰＥＧ画像の復号画像をディスプレイに適した画像サイズ（例えば７２０画素ｘ４８０ライン等）にリサイズして表示する場合も往々にして発生するが、ＪＰＥＧ画像の復号画像を７２０画素ｘ４８０ラインへリサイズして表示する場合は、前記サムネイル表示用の復号処理とは別に、ＤＣ成分とＡＣ成分の両方に対してＪＰＥＧ復号化処理及び逆量子化処理を行った後に７２０画素ｘ４８０ラインへリサイズし表示する。つまり、サムネイル表示する場合と７２０画素ｘ４８０ラインへリサイズして表示する場合とで、ＪＰＥＧ復号化処理が異なる為、ＪＰＥＧ復号化処理の判別を行い、処理を切り替える必要性が生じ、内部のＪＰＥＧ復号化処理が複雑になってしまう。
【００１０】
また、ＪＰＥＧ画像を復号しサムネイル画像を生成する場合、前記ＤＣ成分抽出による生成を行わない場合、特に１００万画素を超えるようなメガサイズのＪＰＥＧ画像を復号し、サムネイル画像を生成する場合、元のＪＰＥＧ画像からサムネイル画像への画像縮小率が小さくなり、広いレンジのリサイズ率（縮小率）に対応したフィルタを必要とする。例えば、２０４８画素ｘ１７６０ライン（３６０万画素）のＪＰＥＧ画像を復号し、１３６画素ｘ９０ラインのサムネイル画像を生成、表示する場合、元のＪＰＥＧ画像からの画像縮小率は、水平方向：１３６／２０４８＝１／１５〜１／１６、垂直方向：１／１９〜１／２０リサイズ（縮小処理）が必要となり、このレンジに対応するフィルタ処理（縮小処理）を実現する場合相当量の縮小処理回路、ソフトウエア処理の場合は、処理コードを要する。
【００１１】
これは、縮小処理だけに限らず拡大処理に関しても同様である。つまり、リサイズ、拡大・縮小処理において広いレンジに対応する場合、レンジに比例して処理回路及び処理コードが増大する。また、適切なリサイズが行われるリサイズ率（拡大・縮小率）のレンジに制限を設けた場合、レンジを超えるリサイズ（拡大・縮小）を行うような制御パラメータを設定するなどしてリサイズを行うと、表示画像の画質が著しく劣化してしまう。これは、静止画表示においてより一層の高画質化が要求され、各該当製品で実現されつつある現在の時流に逆行するものであり許容されない。
【００１２】
同様に、ＪＰＥＧ符号化時も１００万画素を超える入力画像からサムネイル画像に縮小して記録する場合、広いレンジのリサイズ率に対応したフィルタを必要とするため、相当量の処理回路、処理コードを要する。そして、リサイズ率のレンジに制限を設けた場合も上述と同様である。
【００１３】
さらに、再生した画像に対して、ユーザがＺｏｏｍ処理、拡大／縮小処理、回転処理等の画像加工処理を要求した場合、再度、記録媒体からＪＰＥＧ符号化データ（ＪＰＥＧストリーム）を抽出し、復号化処理やＪＰＥＧストリーム中に含まれるストリーム情報に基づくＺｏｏｍ処理、拡大／縮小処理、回転処理等の画像加工処理とユーザ要求に対応する切出し、リサイズ、回転処理等の画像加工処理を行い、表示する。この結果、ユーザ要求に対するレスポンスが劣化してしまう。また、再生画像に対するユーザ要求に対応する場合、符号化ストリーム中に含まれるＺｏｏｍ処理、拡大／縮小処理、回転等の画像処理情報とユーザからのＺｏｏｍ処理、拡大／縮小処理、回転等の要求の双方を考慮したした上で、最終的なＺｏｏｍ処理、拡大／縮小処理、回転等の画像加工処理を行う必要があり、内部の処理が複雑になってしまう。
【００１４】
特に、ＪＰＥＧ復号処理の場合は、あらゆるサンプリングファクタをもつ入力画像に対して、それぞれＪＰＥＧストリーム中に含まれる画像処理情報とユーザ要求の画像処理情報に対応し、かつ、あらかじめ決められたサンプリングファクタによって出力・表示する必要があり、内部の処理が複雑になってしまう。例えば、第一の解像度をもつ画像のサンプリングファクタをＨ０＝２、Ｖ０＝２、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１とし、第一の解像度をもつ画像を右９０度回転した上で、第三の解像度をもつ画像のサンプリングファクタをＨ０＝２、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１とした場合、回転を考慮したうえで画像の色差データのリサイズ処理を行う必要がある。つまり、ＪＰＥＧ復号化処理に加え、回転処理等を考慮したサンプリングファクタの変換も行わなければならない。つまり、この場合では、第一の解像度をもつ画像の色差データに対して、水平２倍、垂直１倍のリサイズ処理を行わなければならない。さらに、右９０度回転することにより発生する色差データの位相ずれを補正する必要がある。この様な処理をあらゆるサンプリングファクタをもつ入力画像に対して考慮する必要があり、また、ＪＰＥＧストリーム中に含まれるストリーム情報とユーザ要求の双方を考慮、対応した上で最終的に出力する必要があり、内部処理はかなり複雑になってしまう。
【００１５】
ここで言うサンプリングファクタとは、ＩＳＯ／ＩＥＣ１０９１８−１で規定されているサンプリングファクタを指す。
【００１６】
本発明は上述した問題を解決するためになされたものであり、特に例えば１００万画素を超えるようないわゆるメガサイズの入力画像データからのサムネイル生成などを簡素な構成および処理で高速に行えるとともに、ユーザ要求等に応じた、復号画像等に対する切り出し処理や、Ｚｏｏｍ（切り出しおよび拡大／縮小）処理、拡大／縮小処理、回転等の処理を高速に行えるようにすることを目的とする。
【課題を解決するための手段】
【００１７】
上記の課題を解決するため、本発明は、
入力画像データを拡大または縮小して出力画像データを出力する画像データ処理装置であって、
第１の解像度を有する入力画像データを第２の解像度を有する中間画像データに変換する第１の画像加工部と、
前記中間画像データを第３の解像度を有する出力画像データに変換する第２の画像加工部と、
を備えたことを特徴とする。
【００１８】
このように、一旦、入力画像データが中間画像データに変換されるようにすることによって、各画像加工部の規模を小さく抑えて、全体の回路規模やプログラムサイズ等も小さくすることが容易にできる。また、処理の高速化も容易に可能になる。
【発明の効果】
【００１９】
上記のように、本発明によれば、特に例えば１００万画素を超えるようないわゆるメガサイズの入力画像データからのサムネイル生成などを簡素な構成および処理で高速に行えるとともに、ユーザ要求等に応じた、復号画像等に対する切り出し処理や、Ｚｏｏｍ（切り出しおよび拡大／縮小）処理、拡大／縮小処理、回転等の処理を高速に行えるようにすることができる。
【発明を実施するための最良の形態】
【００２０】
以下、本発明の実施形態を図面に基づいて詳細に説明する。なお、以下の各実施形態において、他の実施形態と同様の機能を有する構成要素については同一の符号を付して説明を省略する。
【００２１】
《発明の実施形態１》
図１は本発明の実施形態１の画像データ処理装置の構成を示すブロック図である。
【００２２】
画像データ処理装置は、第１の画像加工部１００と、第２の画像加工部２００とを備えている。これらの画像加工部１００・２００は、それぞれ、第１または第２の水平垂直フィルタ１０１・２０１、および第１または第２のメモリ１０２・２０２を有している。なお、画像加工部１００・２００等は、具体的には、ハードウェアによって構成されてもよいし、処理プログラムと、これを実行するプロセッサが用いられて構成されてもよい。
【００２３】
第１の画像加工部１００の第１の水平垂直フィルタ１０１は、例えば図２に示すように、解像度（画素数）が（Ｘｉ  ×  Ｙｉ）の入力画像データを、例えば間引き処理および／またはフィルタリング処理により、解像度が（Ｘｍ  ×  Ｙｍ）の中間画像データに変換して、第１のメモリ１０２に格納するようになっている。なお、入力画像データの解像度（Ｘｉ  ×  Ｙｉ）を中間画像データの解像度（Ｘｍ  ×  Ｙｍ）へ変換する否かをホストＣＰＵ等から設定されるようにしてもよいし、入力画像データの解像度と中間画像データの解像度等から自動的に決定されるようにしてもよい。
【００２４】
また、第２の画像加工部２００の第２の水平垂直フィルタ２０１は、上記中間画像データを、例えば間引き処理および／または２次元フィルタリング処理により、解像度が（Ｘｏ  ×  Ｙｏ）の出力画像データに変換して、第２のメモリ２０２に格納するようになっている。上記第２の水平垂直フィルタ２０１は、より詳しくは、例えば図３に示すように、水平フィルタメモリ２１１ａ、水平補間部２１１ｂ、および水平補間位置カウンタ２１１ｃを有する水平フィルタ２１１と、垂直フィルタメモリ２２１ａ、垂直補間部２２１ｂ、および垂直補間位置カウンタ２２１ｃを有する垂直フィルタ２２１とを備えて構成されている。補間位置カウンタ２１１ｃ・２２１ｃは、出力画像データの各画素に対応する中間画像データの位置を示す例えば１／２５６画素単位の値（座標）を保持する（すなわち値２５６が隣接画素間の距離に相当する。）。補間部２１１ｂ・２２１ｂは、上記補間位置カウンタ２１１ｃ・２２１ｃに保持された値と、フィルタメモリ２１１ａ・２２１ａから読み出された画像データとに基づいて補間演算を行い、各画素の出力画像データの値を算出するようになっている。これによって、縮小率が整数倍でない場合などでも、画質を高く保った変換が行われる。
【００２５】
ここで、上記入力画像データは、特に限定されず、撮像カメラから出力されたものや、記録媒体から読み出されたものなどでもよく、また、いわゆる生の画像データや、ＪＰＥＧなどの圧縮や符号化された画像データから復号化されたものなどでもよい。また、第１の画像加工部１００に復号化等の機能も持たせるようにしてもよい。
【００２６】
上記入力画像データがＪＰＥＧなどの圧縮や符号化された画像データの場合、第１の画像加工部によって復号化処理を行うとともに、ＪＰＥＧストリーム中に含まれるリサイズ情報、回転情報などの画像情報に基づき、第１の画像加工部において、Ｚｏｏｍ処理、拡大／縮小処理及び回転処理を行ってもよい。
【００２７】
また、上記出力画像データの解像度（Ｘｏ  ×  Ｙｏ）は、装置の外部から与えられるようにしてもよいし、あらかじめ固定的に設定されるようにしてもよい。また、中間画像データの解像度（Ｘｍ  ×  Ｙｍ）も同様に装置の外部から与えられたり、あらかじめ固定的に設定されるようにしてもよいし、さらに、入出力画像データの解像度等から自動的に決定されるようにしてもよい。
【００２８】
また、メモリ１０２・２０２の容量は、ホストＣＰＵ等から可変に設定されるようにしてもよい。
【００２９】
上記のように構成された画像データ処理装置について、例えば、５１２０×３８４０画素の入力画像データから、７２０×４８０画素（いわゆるＤ１）の通常表示用の出力画像データ、および１６０×１２０画素や１３６×９０画素のサムネイル表示用の出力画像データが生成される場合の動作の例を説明する。
【００３０】
まず、第１の画像加工部１００に入力された入力画像データは、第１の水平垂直フィルタ１０１により、垂直方向に１／２に間引き処理するとともにフィルタ処理により水平方向に１／４、垂直方向に１／２されることによって、１２８０×９６０画素の中間画像データに変換され、第１のメモリ１０２に格納される。なお、併せて、入力画像データの所望の位置の画像を切り出し処理も行われるようにしてもよい。
【００３１】
上記中間画像データは、さらに、第２の画像加工部２００の第２の水平垂直フィルタ２０１により順次読み出され、７２０×４８０、または１６０×１２０画素などの任意またはあらかじめ固定的に設定された画像サイズの出力画像データに変換されて、第２のメモリ２０２に格納され、図示しない表示装置の表示タイミング等に応じて読み出され、出力される。具体的には、例えば水平フィルタ２１１では次のような動作が行われる。
【００３２】
まず、水平補間位置カウンタ２１１ｃが初期化される。この初期値としては、例えば所定の値がセットされることによって、中間画像データの所望の位置の画像を切り出して拡大・縮小するいわゆるズーム処理をすることができる。その後、水平補間部２１１ｂは、上記水平補間位置カウンタ２１１ｃの値と、その値に従ってフィルタメモリ２１１ａ・２２１ａから読み出された画像データとに基づいて、出力画像データの各画素の値を算出する。より具体的には、例えば出力画像データにおけるある画素の位置が、中間画像データにおける２つの画素の中間の位置に対応したとすると、上記２つの画素の値の平均値が補間により求められる。次に、水平補間位置カウンタ２１１ｃの値に２５６×Ｘｉ／Ｘｏが加算され、出力画像データにおける次の画素に対応する中間画素データの位置に更新される。同様の処理がＸｏ画素分繰り返されることにより１ライン分の水平リサイズ（および水平方向の切り出し）が行われる。さらに、上記処理がＸｉライン分繰り返されて、１画面分の水平リサイズが行われる。
【００３３】
また、次いで垂直フィルタ２２１でも同様の動作が行われることにより、さらに、垂直リサイズされた画像が得られる。
【００３４】
上記のように、種々の解像度の入力画像データを、表示機器（ディスプレイ）等に応じた解像度の出力画像データに変換する場合に、一旦、両者の間の解像度を有する中間画像データに変換されるようにすることによって、回路規模（および／または処理プログラム）を小さく抑えることができる。すなわち、１回の変換で入力画像データの解像度を出力画像データの解像度にする場合には、縮小率（解像度の変換率）が大きいために回路規模等が大きくなりがちであるのに対して、複数段階に分けて変換する場合には、各変換回路の規模を小さく抑えて、全体の回路規模等も小さくすることが容易にできる。また、処理の高速化も容易に可能になる。
【００３５】
また、入力画像データの解像度は流通データの多様化などに伴って数多くの種類があり得るとともに、出力画像データの解像度も、ある程度は表示機器の種類等に応じて限定されるものの、いわゆるＤ１（水平７２０画素×垂直４８０ライン）や、ＶＧＡ（水平６４０画素×垂直４８０ライン）、およびサムネイル表示用などの種々の解像度があり、これらの入出力の組み合わせを考慮すると、かなり多くの拡大・縮小率の変換を可能にする必要がある。それゆえ、１段階の変換であらゆる拡大・縮小率に対応可能にするためには、やはり回路規模が大きくなり製造コストも増大する。これに対して、例えば中間画像データの解像度を上記Ｄ１や、ＳＸＧＡ（水平１２８０画素×垂直９６０ライン）など、１または少数種類に設定することによって、各変換の拡大・縮小率を少なくすることができるので、回路規模の低減が容易になる。
【００３６】
特に、例えば中間および出力画像データの解像度をそれぞれ１種類に設定する場合には、第１の水平垂直フィルタ１０１の拡大・縮小率を可変にして、第２の水平垂直フィルタ２０１は１種類の解像度変換処理を可能にするだけでよいので、例えば水平１次元線形フィルタと垂直１次元線形フィルタのカスケード接続のようなもので構成することなどが容易に可能である。
【００３７】
また、上記のように解像度の変換を多段階に分ける場合でも、入力画像データから中間画像データへの変換の拡大・縮小率の種類は、ある程度多くなるため、水平垂直２次フィルタや、水平１次元線形フィルタと垂直１次元線形フィルタとの組み合わせによって構成する場合には、回路規模や処理時間もある程度増大するが、それでも、１段階の変換に比べれば、やはり低減することが容易にできる。しかも、上記のように単純な垂直、水平間引き処理を適用する場合には、第１の画像加工部１００の回路規模や処理時間をより大幅に低減することが容易にできる。ここで、入力画像データの解像度と中間画像データの解像度との関係を適切に設定すれば、解像度変換が単純な間引き処理でも、人間の視覚特性により折り返し誤差が検知できない範囲に抑えられることは、本願発明者らによる画像の主観評価により確認されている。すなわち、１段階目を簡潔かつ高い自由度、２段階目を高精度な処理に設定することなどにより、小さい回路規模で柔軟な拡大・縮小率を得ることが容易にできる。
【００３８】
具体的には、例えば、出力画像データの解像度を上記Ｄ１〜ＶＧＡの解像度に設定する場合、中間画像データの解像度をＤ１〜ＳＸＧＡの範囲などの解像度に可変に設定することは適当である。ただし、これらに限定されるものではなく、入出力画像データの解像度等に応じて種々に設定されてもよい。
【００３９】
なお、中間画像データの解像度は、必ずしも常に入出力画像データの解像度の間（すなわち例えば（Ｘｉ≧Ｘｍ  または  Ｙｉ≧Ｙｍ）  かつ  （Ｘｍ≧Ｘｏ  または  Ｙｍ≧Ｙｏ））である必要はなく、一旦大幅に縮小されてから拡大される場合があっても、画質の劣化程度が許容される範囲などであればよい。また、一旦拡大されてから縮小される場合があるなどしてもよい。さらに、例えば拡大・縮小率が所定の範囲内の場合などには、画像加工部１００・２００の何れか一方だけで１段階の変換が行われるようにしたりしてもよい。また、最終的に出力画像データが縮小されるのに限らず、拡大もされ得るようにしてもよい。
【００４０】
また、水平垂直フィルタ１０１・２０１は、上記のように間引きまたは補間によるものに限らず、種々の方式の変換が行われる場合でも、処理が多段階に分割されることによる回路規模等の低減等を容易にできる点は同じである。
【００４１】
また、間引き等の処理が垂直方向や水平方向だけに対して行われるようにしたりしてもよい。
【００４２】
また、上記メモリ１０２・２０２は、画像データの入出力タイミングが適切に行われる場合には必ずしも設けなくてもよいが、例えばサムネイル表示用に生成された中間画像データを第１のメモリ１０２に格納しておき、これに基づいて、第２の画像加工部２００により、ユーザの指示等に応じた通常の表示用の出力画像データや所定の領域が切り出された出力画像データが生成されるようにすることによって、復号化動作などを要することなく一層高速な表示を行わせることが容易にできる。
【００４３】
また、第１のメモリ１０２には、第１の水平垂直フィルタ１０１から出力される中間画像データが必ずしも全て格納されるのに限らず、例えば、画像データ処理装置の外部のホストＣＰＵから第１のメモリ１０２の容量に基づいてなされる指示などに応じて、一部の中間画像データだけが格納されるなどしてもよい。すなわち、画像の切り出しやズームが行われる場合などには、実際に表示等のために用いられるデータだけが格納されるようにしてもよい。
【００４４】
《発明の実施形態２》
図４は本発明の実施形態２の画像データ処理装置の構成を示すブロック図である。
【００４５】
この画像データ処理装置には、実施形態１の第１の画像加工部１００に比べて、さらに画素平均値算出回路３０１を備えた第１の画像加工部３００が設けられている。なお、第１の水平垂直フィルタ１０１に代えて画素平均値算出回路３０１が設けられるようにしてもよい。
【００４６】
上記画素平均値算出回路３０１は、例えば、８×８＝６４画素の入力画像データごとに、輝度および色差の平均値をそれぞれ算出して１画素分のデータとすることにより、解像度が（Ｘｉ／８  ×  Ｙｉ／８）の画像データに変換するようになっている。
【００４７】
この画像データ処理装置では、指定される縮小率が１／８以下（Ｘｉ／８≧Ｘｏ  または  Ｙｉ／８≧Ｙｏ）である場合には、画素平均値算出回路３０１によって平均値の算出による変換が行われた後、必要に応じて第１の水平垂直フィルタ１０１による変換が行われ、さらに、必要に応じて第２の水平垂直フィルタ２０１による変換が行われて、指定される縮小率で縮小された出力画像データが生成される。
【００４８】
また、画素平均値算出回路３０１は、指定される縮小率が１／８より大きい場合には、入力画像データをそのまま出力し、第１の水平垂直フィルタ１０１および／または第２の水平垂直フィルタ２０１だけによって、指定される縮小率の変換が行われる。
【００４９】
なお、画素平均値算出回路３０１と第１の水平垂直フィルタ１０１とは、縮小率などに応じて両方または一方だけが動作するようにしてもよい。
【００５０】
また、平均値の算出は、８×８画素について行うのに限らず、他の画素数について算出されるようにしてもよいし、複数種類の画素数が選択的に切り換えられて算出されるようにしてもよい。
【００５１】
また、ＤＣＴ変換（離散コサイン変換）された画像データが入力画像データとして入力される場合などには、画素平均値算出回路３０１によって平均値を算出するのに代えて、上記ＤＣＴ変換された画像データの直流成分のＤＣＴ係数が用いられるようにしたりしてもよい。
【００５２】
《発明の実施形態３》
拡大・縮小処理に代えて、またはこれらと伴に、サンプリングファクタの変換や、回転等の画像処理などが多段階に分けて行われる例を説明する。
【００５３】
図５は本発明の実施形態３の画像データ処理装置の構成を示すブロック図である。
【００５４】
画像データ処理装置は、第１の画像加工部４００と、第２の画像加工部５００とを備えている。これらの画像加工部４００・５００は、それぞれ、第１または第２の水平垂直フィルタ４０１・５０１、第１または第２の画像処理部４０２・５０２、および第１または第２のメモリ１０２・２０２を有している。
【００５５】
水平垂直フィルタ４０１・５０１は、サンプリングファクタの変換、すなわち輝度成分と色差成分のリサイズを行うようになっている。具体的には、第１の水平垂直フィルタ４０１は、例えば、図６に示すように種々のサンプリングファクタを有する入力画像データを、
Ｈ０＝２、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１
のサンプリングファクタを有する中間画像データに変換するようになっている。また、第２の水平垂直フィルタ５０１は、上記中間画像データを、そのまま、または
Ｈ０＝４、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１
のサンプリングファクタを有する出力画像データに変換して出力するようになっている。
【００５６】
画像処理部４０２・５０２は、例えばホストＣＰＵ等から指示される回転処理（左回転、右回転、左右反転等）や、切り出し処理を行うようになっている。より具体的には、例えば、第１の画像処理部４０２は、入力画像データが生成されるストリームデータ中に含まれる回転情報に応じた回転処理を行う一方、第２の画像処理部５０２は、ユーザの指示操作等に応じた回転処理を行うようになっている。
【００５７】
ここで、画像処理部４０２・５０２によって回転処理が行われる場合には、前記水平垂直フィルタ４０１・５０１によるサンプリングファクタの変換としては、回転処理に対応した変換、すなわち、回転処理が施された後に、所定のサンプリングファクタになるように色差成分の位相ずれが修正される変換が行われるようになっている。
【００５８】
上記のように構成された画像データ処理装置の動作について、例えば、入力画像データのサンプリングファクタが
Ｈ０＝２、Ｖ０＝２、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１
である場合に、ストリームデータ中の回転情報に基づいて右（時計回り）に９０°回転され、さらに、ユーザの指示操作に応じて左（反時計回り）に９０°回転されるとともに、サンプリングファクタが
Ｈ０＝４、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１
の出力画像データに変換される例を説明する。
【００５９】
まず、第１の水平垂直フィルタ４０１によって、サンプリングファクタが
Ｈ０＝２、Ｖ０＝２、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１
の入力画像データについて、後の回転処理が考慮された色差成分のリサイズ、すなわち、水平２倍、垂直等倍の処理（色差成分の水平方向の画素数を２倍にする処理）が行われる。次いで、第１の画像処理部４０２によって、右に９０°回転する処理が行われる。これによって、ストリームデータ中の回転情報に応じた回転がなされ、サンプリングファクタが
Ｈ０＝２、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１
の中間画像データが生成され、第１のメモリ１０２に格納される。
【００６０】
その後、第２の水平垂直フィルタ５０１によって、上記中間画像データについて同様に後の回転処理が考慮された色差成分のリサイズ、すなわち、水平２倍、垂直１／４倍の処理（色差成分の水平方向の画素数を２倍、垂直方向は１／４倍にする処理）が行われる。また、第２の画像処理部５０２によって、左に９０°回転する処理が行われる。これによって、ユーザの指示操作等に応じた回転がなされ、サンプリングファクタが
Ｈ０＝４、Ｖ０＝１、Ｈ１＝１、Ｖ１＝１、Ｈ２＝１、Ｖ２＝１
の出力画像データが出力される。
【００６１】
上記のように、一旦所定の１つまたは少数種類のサンプリングファクタの中間画像データが生成されることによって、入出力画像データのサンプリングファクタの組み合わせが多い場合でも、変換に必要な変換パターンの数を少なく抑えることができる。特に、画像の回転等の処理が伴う場合には、さらに回転等の種類（回転角等）ごとに応じた変換パターンが必要となるので、パターン数低減の効果はより一層大きくなる。
【００６２】
また、上記のようにサンプリングファクタの変換や回転処理が施された中間画像データが第１のメモリ１０２に一旦保存され、これに対して、ユーザの指示操作等に応じた回転処理などが行われることにより、応答性の高い表示を容易に行わせることができる。特に、入力画像データが圧縮画像データから復号化されたデータである場合などには、復号化処理に要する時間も必要とされない。しかも、第１の画像加工部４００の処理が画像の縮小を伴う場合には第１のメモリ１０２に必要な容量も小さく抑えることができる。
【００６３】
なお、中間画像データ、および出力画像データのサンプリングファクタは、上記のものに限るものではない。また、上記の例では、中間画像データ、および出力画像データのサンプリングファクタの種類が１つまたは２つの例を示したが、これに限らず、１つまたはより多くの種類であってもよい。
【００６４】
また、サンプリングファクタの変換とともに回転処理が行われる例を示したが、これに限らず、何れかが単独で行われるようにしてもよいし、さらに、画像の切り出し処理なども行われるようにしてもよい。
【００６５】
また、上記各実施形態において説明した構成要素や機能は、論理的に可能な範囲で種々組み合わせてもよい。具体的には、例えば実施形態１で説明したような画像の拡大・縮小処理や、実施形態３で説明したようなサンプリングファクタの変換および／または回転等の画像処理などが組み合わされて行われるようにしてもよい。また、実施形態２で示した平均値の算出による画像の縮小方法を実施形態３に適用したりしてもよい。
【００６６】
また、例えば画像の拡大・縮小処理として、上記のような間引きや補間を用いるものに限らず、種々の手法が適用されるようにしてもよい。
【産業上の利用可能性】
【００６７】
本発明にかかる画像データ処理装置は、特に例えば１００万画素を超えるようないわゆるメガサイズの入力画像データからのサムネイル生成などを簡素な構成および処理で高速に行えるとともに、ユーザ要求等に応じた、復号画像等に対するＺｏｏｍ（切り出し）処理や、拡大、縮小処理、回転等の処理を高速に行える効果を有し、画像データを符号化や複合化するディジタルカメラやカメラ付携帯電話などの静止画記録再生装置等に適用される画像データ処理装置等として有用である。
【図面の簡単な説明】
【００６８】
【図１】実施形態１の画像データ処理装置の構成を示すブロック図である。
【図２】同、入力画像データ、中間画像データ、および出力画像データの解像度を示す説明図である。
【図３】同、第２の水平垂直フィルタ２０１の詳細な構成を示すブロック図である。
【図４】実施形態２の画像データ処理装置の構成を示すブロック図である。
【図５】実施形態３の画像データ処理装置の構成を示すブロック図である。
【図６】同、入力画像データ、中間画像データ、および出力画像データのサンプリングファクタの例を示す説明図である。
【符号の説明】
【００６９】
１００      第１の画像加工部
１０１      第１の水平垂直フィルタ
１０２      第１のメモリ
２００      第２の画像加工部
２０１      第２の水平垂直フィルタ
２０２      第２のメモリ
２１１      水平フィルタ
２１１ａ    水平フィルタメモリ
２１１ｂ    水平補間部
２１１ｃ    水平補間位置カウンタ
２２１      垂直フィルタ
２２１ａ    垂直フィルタメモリ
２２１ｂ    垂直補間部
２２１ｃ    垂直補間位置カウンタ
３００      第１の画像加工部
３０１      画素平均値算出回路
４００      第１の画像加工部
４０１      第１の水平垂直フィルタ
４０２      第１の画像処理部
５００      第２の画像加工部
５０１      第２の水平垂直フィルタ
５０２      第２の画像処理部
【図１】
2007067917.tif 000003
【図２】
2007067917.tif 000004
【図３】
2007067917.tif 000005
【図４】
2007067917.tif 000006
【図５】
2007067917.tif 000007
【図６】
2007067917.tif 000008