(57)【要約】　　　（修正有）【課題】プロセッサの処理能力が低い環境下においても特別な画像処理回路を用いることなく効果的なぼかし画像を得る。【解決手段】画像処理装置１０は、画像データを保持するメモリ＜１＞及びメモリ＜２＞と、画像データにフィルタ処理を施す空間フィルタ回路１６と、メモリ＜１＞とメモリ＜２＞との間でデータ転送を行う矩形転送機能を持つメモリ転送回路１７と、メモリ＜１＞の画像データに対し、メモリ＜２＞の画像データを矩形転送する制御を行うプロセッサ１８とを備え、フィルタ処理が施されたメモリ＜１＞の画像データに対し、メモリ＜２＞の画像データを矩形転送して保存し、メモリ＜１＞に保存されている画像データをメモリ＜２＞にコピーするとともに、メモリ＜１＞に保存されている画像データにフィルタ処理を施し、フィルタ処理が施されたメモリ＜１＞の画像データに対し、メモリ＜２＞の画像データを矩形転送してメモリ＜１＞に画像データとして保存する。【選択図】図１
2004118384.tif 000002
【特許請求の範囲】
【請求項１】
画像データを処理する画像処理装置において、
画像データを保持する第１メモリ及び第２メモリと、
前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、
前記第１メモリ又は前記第２メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、
フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段と
を備えることを特徴とする画像処理装置。
【請求項２】
前記制御手段は、フィルタ処理が施された前記第１メモリの画像データに対し、前記第２メモリの画像データを矩形転送して第１画像データとして保存し、
前記第１メモリに保存されている第１画像データを前記第２メモリにコピーするとともに、前記第１メモリに保存されている第１画像データにフィルタ処理を施し、
フィルタ処理が施された前記第１メモリの第１画像データに対し、前記第２メモリの画像データを矩形転送して前記第１メモリに第２画像データとして保存する制御を、ｎ（ｎは０を除く任意の自然数）回繰り返してｎ次画像データを得ることを特徴とする請求項１記載の画像処理装置。
【請求項３】
前記制御手段は、ｎ−１次の矩形転送画像より小さいｎ次の矩形転送画像を転送することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記制御手段は、処理の最終段階にいくに従って矩形転送画像の縮小幅を変えて転送することを特徴とする請求項１乃至３のいずれか一項に記載の画像処理装置。
【請求項５】
前記メモリ転送手段は、ＤＭＡ転送装置であることを特徴とする請求項１記載の画像処理装置。
【請求項６】
前記フィルタ手段は、空間フィルタであることを特徴とする請求項１記載の画像処理装置。
【請求項７】
前記フィルタ手段は、平滑化フィルタであることを特徴とする請求項１又は６に記載の画像処理装置。
【請求項８】
前記フィルタ手段のフィルタ係数を設定するフィルタ係数設定手段を備えることを特徴とする請求項１、６又は７のいずれか一項に記載の画像処理装置。
【請求項９】
前記フィルタ係数設定手段は、処理の最終段階にいくに従って前記フィルタ係数を小さくすることを特徴とする請求項８記載の画像処理装置。
【請求項１０】
前記フィルタ係数設定手段は、フィルタ処理が施されていない画像データと隣合う画像データの前記フィルタ係数を小さくすることを特徴とする請求項８又は９に記載の画像処理装置。
【請求項１１】
前記フィルタ手段による処理効果は、画像のぼかしであることを特徴とする請求項１、６又は７のいずれか一項に記載の画像処理装置。
【請求項１２】
さらに、符号化されたデータを復号して前記第１メモリ又は前記第２メモリに出力する復号手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項１３】
さらに、前記第１メモリ又は前記第２メモリに保持された画像データを符号化する符号化手段を備えることを特徴とする請求項１記載の画像処理装置。
【請求項１４】
画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成装置において、
画像データを保持する第１メモリ及び第２メモリと、
前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、
前記第１メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、
フィルタ処理が施された前記第１メモリの画像データに対し、前記第２メモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備え、
前記制御手段は、
フィルタ処理が施された前記第１メモリの画像データに対し、前記第２メモリの画像データを矩形転送して第１画像データとして保存し、
前記第１メモリに保存されている第１画像データを前記第２メモリにコピーするとともに、前記第１メモリに保存されている第１画像データにフィルタ処理を施し、
フィルタ処理が施された前記第１メモリの第１画像データに対し、前記第２メモリの画像データを矩形転送して前記第１メモリに第２画像データとして保存する制御を、ｎ回繰り返してぼかし画像を生成することを特徴とするぼかし画像生成装置。
【請求項１５】
画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成方法において、
第１メモリ及び第２メモリに画像データを保持するステップと、
前記第１メモリに保持された画像データに第１フィルタ処理を施す第１フィルタ処理ステップと、
第１フィルタ処理が施された第１メモリの画像データに対し、前記第２メモリの画像データを矩形転送して第１画像データとして保存するステップと、
前記第１メモリに保存されている第１画像データを前記第２メモリにコピーするステップと、
前記第１メモリに保存されている第１画像データに第２フィルタ処理を施す第２フィルタ処理ステップと、
第２フィルタ処理が施された前記第１メモリの第１画像データに対し、前記第２メモリの画像データを矩形転送して第２画像データとして保存するステップとを順次ｎ回繰り返して実行することを特徴とするぼかし画像生成方法。
【請求項１６】
画像データを処理する画像処理装置において、画像データを保持する第１メモリ及び第２メモリと、前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第１メモリ又は前記第２メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体。
【請求項１７】
画像データを処理する画像処理装置において、画像データを保持する第１メモリ及び第２メモリと、前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第１メモリ又は前記第２メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、カメラ等の画像入力機器における画像信号処理に用いる画像処理装置、ぼかし画像生成装置及びぼかし画像生成方法に関し、特に、画像データに対して画素を拡散させてぼかし画像を生成する画像処理装置、ぼかし画像生成装置、ぼかし画像生成方法及び画像処理プログラムを記録した記録媒体に関する。
【０００２】
【従来の技術】
近年、小型で、低消費電力のイメージセンサが開発されたことに伴い、携帯電話機などの携帯型装置にカメラを内蔵することが可能となり、内蔵カメラにより撮影した画像を、電子メールで即座に送信できることが可能となっている。これらの内蔵カメラは、小型であることが優先され、一般的なデジタルカメラよりも解像度が低い。
【０００３】
カメラ等の画像入力機器において、画像データに対して、階調補正，テクスチャ処理，フィルタリング，幾何学的歪の補正，２次元変換，線や輪郭の抽出，領域分割等の画像処理技術は必要不可欠なものとなっている。また、これらの処理を組み合わせた画像の強調、画像の復元等も含まれる。
【０００４】
画像処理で画像をぼかす処理も行われている。画面全体を一様にぼかすにはローパスフィルタ処理を施せば容易に実現できるが、不均一なぼかし方、例えば画面中央から周囲に向けてぼかし度合いが強まるぼかし方は特殊な画像処理回路が必要となる。
このようなぼかし処理を施すには次のような方法がある。
【０００５】
（１）空間フィルタリング（ｓｐａｔｉａｌ　ｆｉｌｔｅｒｉｎｇ）処理方法
ｎ×ｎの要素からなる空間フィルタ回路を用意し、この空間フィルタ回路のフィルタ係数を画面の位置に応じて適宜変化させる。
例えば、このような従来例として、特許文献１に開示された装置がある。この公報記載の装置では、この目的のためだけに非対称フィルタ回路を用意して処理を行っている。
（２）上記手段と同等の手続きを空間フィルタ回路を用いずに、ＣＰＵによるソフトウェア処理で行う方法
【特許文献１】
特開平３−２０１１７２号公報（図１）
【０００６】
【発明が解決しようとする課題】
しかしながら、このような従来の画像処理装置にあっては、以下のような問題点があった。
特許文献１記載の装置では、前記なぼかし処理を行うためだけにｎ×ｎ（ｎは、０を除く任意の自然数）の要素からなる空間フィルタ回路を用いていたため、コスト上昇を招いていた。また、５×５の空間フィルタでの説明となっているが、最低限の空間フィルタ装置である３×３の回路を用いていた場合、効果は期待できない。
【０００７】
また、空間フィルタ回路を用いずに、ＣＰＵによるソフトウェア処理で行う方法では、ＣＰＵの処理能力が問われることになる。例えば、昨今のデジタルスチルカメラで撮影する画像の解像度は４００万画素〜５００万画素というものがある。５００ＭＨｚ駆動のプロセッサでこれを処理したとしても、全画面の処理には１秒程度必要となる。当然、１ピクセルあたり１マシン命令で行うことはアルゴリズム上不可能である。ＣＰＵ性能の高いＰＣアプリケーションを用いた場合でも、数秒はかかる。今回対象としている携帯電話機やデジタルスチルカメラの駆動周波数は大きくても数十ＭＨｚであるから、同等な処理を行った場合、数分〜数十分の時間が必要となり、商品として使い物にならない。
【０００８】
本発明は、このような課題に鑑みてなされたものであって、携帯電話機やデジタルスチルカメラなど、プロセッサの処理能力が低い環境下においても特別な画像処理回路を用いることなく効果的なぼかし画像を得ることができる画像処理装置、ぼかし画像生成装置、ぼかし画像生成方法及び画像処理プログラムを記録した記録媒体を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明の画像処理装置は、画像データを処理する画像処理装置において、画像データを保持する第１メモリ及び第２メモリと、前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第１メモリ又は前記第２メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備えることを特徴としている。
【００１０】
また、より好ましくは、前記制御手段は、フィルタ処理が施された前記第１メモリの画像データに対し、前記第２メモリの画像データを矩形転送して第１画像データとして保存し、前記第１メモリに保存されている第１画像データを前記第２メモリにコピーするとともに、前記第１メモリに保存されている第１画像データにフィルタ処理を施し、フィルタ処理が施された前記第１メモリの第１画像データに対し、前記第２メモリの画像データを矩形転送して前記第１メモリに第２画像データとして保存する制御を、ｎ回繰り返してｎ次画像データを得ることを特徴とする。
【００１１】
また、前記制御手段は、ｎ−１次の矩形転送画像より小さいｎ次の矩形転送画像を転送するものであってもよく、前記制御手段は、処理の最終段階にいくに従って矩形転送画像の縮小幅を変えて転送するものであってもよい。
【００１２】
また、より好ましい具体的な態様としては、前記メモリ転送手段は、ＤＭＡ転送装置である。
また、前記フィルタ手段は、空間フィルタであってもよく、前記フィルタ手段は、平滑化フィルタであってもよい。
また、前記フィルタ手段のフィルタ係数を設定するフィルタ係数設定手段を備えることがより好ましい。
【００１３】
この場合、前記フィルタ係数設定手段は、処理の最終段階にいくに従って前記フィルタ係数を小さくするものであってもよく、前記フィルタ係数設定手段は、フィルタ処理が施されていない画像データと隣合う画像データの前記フィルタ係数を小さくするものであってもよい。
前記フィルタ手段による処理効果は、画像のぼかしであってもよい。
【００１４】
さらに、符号化されたデータを復号して前記第１メモリ又は前記第２メモリに出力する復号手段を備えるものであってもよく、前記第１メモリ又は前記第２メモリに保持された画像データを符号化する符号化手段を備えるものであってもよい。
【００１５】
また、本発明のぼかし画像生成装置は、画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成装置において、画像データを保持する第１メモリ及び第２メモリと、前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第１メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された前記第１メモリの画像データに対し、前記第２メモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備え、前記制御手段は、フィルタ処理が施された前記第１メモリの画像データに対し、前記第２メモリの画像データを矩形転送して第１画像データとして保存し、前記第１メモリに保存されている第１画像データを前記第２メモリにコピーするとともに、前記第１メモリに保存されている第１画像データにフィルタ処理を施し、フィルタ処理が施された前記第１メモリの第１画像データに対し、前記第２メモリの画像データを矩形転送して前記第１メモリに第２画像データとして保存する制御を、ｎ回繰り返してぼかし画像を生成することを特徴としている。
【００１６】
さらに、本発明のぼかし画像生成方法は、画像データに対して画素を拡散させてぼかし画像を生成するぼかし画像生成方法において、第１メモリ及び第２メモリに画像データを保持するステップと、前記第１メモリに保持された画像データに第１フィルタ処理を施す第１フィルタ処理ステップと、第１フィルタ処理が施された第１メモリの画像データに対し、前記第２メモリの画像データを矩形転送して第１画像データとして保存するステップと、前記第１メモリに保存されている第１画像データを前記第２メモリにコピーするステップと、前記第１メモリに保存されている第１画像データに第２フィルタ処理を施す第２フィルタ処理ステップと、第２フィルタ処理が施された前記第１メモリの第１画像データに対し、前記第２メモリの画像データを矩形転送して第２画像データとして保存するステップとを順次ｎ回繰り返して実行することを特徴としている。
【００１７】
また、本発明は、画像データを処理する画像処理装置において、画像データを保持する第１メモリ及び第２メモリと、前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第１メモリ又は前記第２メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラムを記録したことを特徴とするコンピュータ読み取り可能な記録媒体である。
【００１８】
また、本発明は、画像データを処理する画像処理装置において、画像データを保持する第１メモリ及び第２メモリと、前記第１メモリと前記第２メモリとの間でデータ転送を行う矩形転送機能を持つメモリ転送手段と、前記第１メモリ又は前記第２メモリに保持された画像データにフィルタ処理を施すフィルタ手段と、フィルタ処理が施された一方のメモリの画像データに対し、他方のメモリの画像データを前記メモリ転送手段により矩形転送する制御手段とを備える画像処理装置として機能させるためのプログラムである。
【００１９】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な画像処理装置及びぼかし画像生成方法の実施の形態について詳細に説明する。
図１は、本発明の実施の形態のぼかし画像作成を行う画像処理装置を示すブロック図である。本実施の形態の画像処理装置は、カメラ付き携帯電話機／ＰＨＳ（Ｐｅｒｓｏｎａｌ　Ｈａｎｄｙ−Ｐｈｏｎｅ　Ｓｙｓｔｅｍ）の携帯通信端末に適用した例である。
【００２０】
図１において、画像処理装置１０（ぼかし画像生成装置）は、画像データを記憶する記憶装置１１、符号化されたデータを復号する復号器１２（復号手段）、画像データを符号化する符号化器１３（符号化手段）、画像データを保持する画像保持用メモリ１４（メモリ＜１＞）（第１メモリ）、画像データを保持する画像保持用メモリ１５（メモリ＜２＞）（第２メモリ）、画像保持用メモリ１４，１５に保持された画像データにフィルタ処理を施す空間フィルタ回路１６（フィルタ手段）、画像保持用メモリ１４（メモリ＜１＞）と画像保持用メモリ１５（メモリ＜２＞）との間でデータ転送を行う矩形転送機能を持つメモリ転送回路１７（メモリ転送手段）、及び本装置全体を制御するプロセッサ１８（制御手段，フィルタ係数設定手段）を備えて構成される。
【００２１】
記憶装置１１は、ハードディスクドライブ（ＨＤＤ）等のディスク装置のほか、例えば電源バックアップにより書き込まれた情報を保持するＳＲＡＭ（ＳｔａｔｉｃＲＡＭ）カードや電源バックアップが不要なフラッシュメモリ等からなるコンパクトフラッシュ（ＣＦ）、スマートメディア、メモリスティック等である。
【００２２】
画像保持用メモリ１４，１５は、画像処理用の専用メモリであり、汎用のメモリであるＤＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）部とＳＡＭ（ｓｅｒｉａｌ　ａｃｃｅｓｓ）部とそれらの制御からなる。画像保持用メモリ１４，１５は、与えられた解像度分だけのメモリサイズが必要である。例えば、展開後の画像のＲＧＢの符号レベルが各８ビットで、縦横の解像度がそれぞれＸＹ（Ｘ，Ｙは、０を除く任意の自然数）であれば、Ｘ×Ｙ×３（ＲＧＢ）×８ビット分のメモリが必要となる。
【００２３】
空間フィルタ回路１６は、画像拡大処理後の「ぼけ」を防ぐための鮮鋭化（ｓｈａｒｐｅｎｉｎｇ）の目的で用いる高域強調フィルタ、あるいは、画像縮小処理後の「ぎらぎら」を防ぐための平滑化（ｓｍｏｏｔｈｉｎｇ）の目的で用いる中央値（メディアン）フィルタ等の空間フィルタである。
【００２４】
カメラ付き携帯電話機等の組込み型機器であっても、画像の鮮鋭化又は平滑化の目的で３×３程度の最低限の空間フィルタを有している場合が多い。本実施の形態においても既設の空間フィルタを活用することにより新たな部材を追加することなく低コストで実現している。
【００２５】
図２は、３×３の空間フィルタの構成を示す図である。
３×３構成の空間フィルタの場合、中央画素、その上下左右の画素、斜め４方向の画素それぞれにフィルタ係数を設定し、これを加減算後、シフトして結果を得る。例えば、図２に示す係数設定をした場合、中央着目画素を４倍し、この要素の２倍を上下左右に加算、斜め方向には着目画素本来の成分を加算することを意味する。このままでは元画像に対して信号のエネルギーが過多になるので、この後、結果を除算処理にて丸める。この場合、得られた結果を１／１６にすることで信号の総和の矛盾はなくなる。空間フィルタ回路１６には、このようにフィルタ段数毎の係数設定機能と、結果についての除算レベル（ビットシフト値）の設定機能を備えている。
【００２６】
メモリ転送回路１７は、プロセッサ（ＣＰＵ）の介入なしに独立して、画像保持用メモリ１４（メモリ＜１＞）と画像保持用メモリ１５（メモリ＜２＞）との間でデータ転送を行う矩形転送機能を持つＤＭＡ（ｄｉｒｅｃｔ　ｍｅｍｏｒｙ　ａｃｃｅｓｓ）転送回路である。
【００２７】
プロセッサ１８は、例えばマイクロコンピュータからなり、画像再生処理などのアプリケーションの処理の実行を含む装置全体の制御を行うとともに、各制御部を総括して制御する。プロセッサ１８は、ＲＯＭ、ＲＡＭ及び電気的に書換可能な不揮発性メモリであるＥＥＰＲＯＭ（ｅｌｅｃｔｒｉｃａｌｌｙ　ｅｒａｓａｂｌｅ　ｐｒｏｇｒａｍｍａｂｌｅＲＯＭ）やＦｌａｓｈ　ＲＯＭなどを備え、プログラム、通信制御データ、さらに画像処理装置１０の識別コード等の種々のデータを記憶する。ＥＥＰＲＯＭに書き込むプログラムを変えることによって、画像処理装置１０における各種の仕様を変更することができる。
【００２８】
特に、プロセッサ１８は、フィルタ回路１６によりフィルタ処理が施された画像保持用メモリ１４（メモリ＜１＞）の画像データに対し、画像保持用メモリ１５（メモリ＜２＞）の画像データを矩形転送して被せる制御を行う。具体的には、メモリ転送回路１７に対してデータ転送及び矩形トリミング転送を指示し、空間フィルタ回路１６に対してフィルタ処理の指示を行うとともに、フィルタ係数を設定する。
【００２９】
図３は、上記メモリ転送回路１７の矩形転送機能を説明する図である。
汎用目的のメモリ間転送装置（多くの場合ＤＭＡ）は、次の３つを与えることでメモリ間転送を行う。
▲１▼メモリ転送元開始位置
▲２▼メモリ転送先開始位置
▲３▼転送する長さ
本実施の形態の矩形転送機能を持つメモリ転送回路１７は、上記に加えて、次のような設定が可能なものとする。
▲４▼メモリ転送開始位置
▲５▼メモリ転送先位置
すなわち、図３において、メモリ間転送が、▲１▼メモリ転送元開始位置、▲２▼メモリ転送先開始位置、▲３▼転送する長さに加えて、図中Ａ，Ｂ，Ｃで示される▲４▼メモリ転送開始位置、▲５▼メモリ転送先位置を指定した矩形転送機能を持つ。
Ａ：１回の処理単位で転送する長さ（画像の幅に相当する）
Ｂ：１回の処理単位の転送終了後、次の転送開始位置までのオフセット
Ｃ：処理単位の総数（画像の高さに相当する）
このような機能を持つことで、単純なメモリー間転送ではなく、画像間転送、あるいは画像の矩形トリミング転送が可能になる。
以下、上述のように構成された画像処理装置１０のぼかし画像生成動作を説明する。まず、画像処理装置１０の全体動作について述べる。
【００３０】
ぼかし画像生成処理は、記憶装置１１から適当な手段で符号化されたファイルを読み出し、読み出したファイルを復号器１２により復号し、画像保持用メモリ１４（メモリ＜１＞）に保持する。
【００３１】
そして、画像保持用メモリ１４（メモリ＜１＞）と画像保持用メモリ１５（メモリ＜２＞）の２つの画像保持用メモリ１４，１５を交互に活用する。２つの画像保持用メモリ１４，１５の活用とは、具体的には、画像保持用メモリ１４（メモリ＜１＞）についてはオリジナル画像，フィルタリング処理画像，転送先へのコピー画像，矩形転送された画像の一時的な保持であり、画像保持用メモリ１５（メモリ＜２＞）については矩形転送の元画像，転送元からのコピー画像の一時的な保持である。
【００３２】
メモリ転送回路１７は、画像保持用メモリ１４（メモリ＜１＞）から画像保持用メモリ１５（メモリ＜２＞）へのデータ転送（コピー）、及び画像保持用メモリ１５（メモリ＜２＞）から画像保持用メモリ１４（メモリ＜１＞）へのメモリ転送開始位置及びメモリ転送先位置を指定した矩形転送を行う。また、空間フィルタ回路１６は、画像保持用メモリ１４（メモリ＜１＞）に空間フィルタを施す処理を行う。プロセッサ１８は、空間フィルタ回路１６及びメモリ転送回路１７を制御し、拡散ぼかし画像を生成する。
【００３３】
結果は、処理の繰り返し回数により画像保持用メモリ１４（メモリ＜１＞）あるいは画像保持用メモリ１５（メモリ＜２＞）の画像保持用メモリに得られるが、これを符号化器１３で符号化した上で、記憶装置１１に保存することで一連の流れを終える。
次に、２つの画像保持用メモリ１４，１５を用いた矩形転送によるぼかし画像生成処理について説明する。
【００３４】
図４及び図５は、ぼかし画像生成処理の実際を示す図であり、図４（ａ）〜図５（ｉ）のＳｔｅｐ１〜Ｓｔｅｐ９順に処理が進むものとする。各図中左側はメモリ＜１＞の画像を示し、右側はメモリ＜２＞の画像を示す。また、枠で示される矩形部分は、処理の対象となる画像を示し、ハッチング部分は画像に空間フィルタが施されていることを示す。
以下に述べる処理は、ＲＧＢのうち１つ、例えば“Ｒ”についての処理であり、同様の処理が“Ｇ”“Ｂ”について行われる。
【００３５】
Ｓｔｅｐ１
メモリ＜１＞、メモリ＜２＞にオリジナルの画像３１，３２を用意する。具体的には、記憶装置１１から読み出したファイルを復号器１２により復号し、メモリ＜１＞、メモリ＜２＞に保持する。
【００３６】
Ｓｔｅｐ２
メモリ＜１＞に空間フィルタ回路１６によりぼかしレベル１のフィルタリングを施す。これにより、メモリ＜１＞の画像は、ぼかしレベル１のぼかし画像３３となる（図４（ｂ）ハッチング参照）。メモリ＜２＞の画像は、そのままである。
【００３７】
Ｓｔｅｐ３
メモリ＜２＞の画像３２の一部３４を、メモリ転送回路１７のＤＭＡ矩形転送機能を使ってメモリ＜１＞に対して矩形転送し、メモリ＜１＞の画像３３に被せてコピーする。すると、メモリ＜１＞の画像は、一度空間フィルタをかけたぼかし画像３３ａに、空間フィルタがかかっていない画像３４ａが重ねられた画像３５となる。
【００３８】
Ｓｔｅｐ４
メモリ＜１＞の画像３５をメモリ＜２＞にそのままコピーする。このＳｔｅｐ４のＤＭＡ転送は矩形転送ではなく、メモリ＜１＞の画像３５全体をメモリ＜２＞にコピーする。これにより、メモリ＜２＞は、メモリ＜１＞の画像３５と同じ画像３５を保持する。
【００３９】
Ｓｔｅｐ５
一度空間フィルタをかけたぼかし画像３３ａに、空間フィルタがかかっていない画像３４ａを重ねた画像３５を保持しているメモリ＜１＞に対して、空間フィルタ回路１６によりぼかしレベル１のフィルタリングを施す。これにより、メモリ＜１＞の画像は、一度空間フィルタをかけたぼかし画像３３ａと空間フィルタがかかっていない画像３４ａに、さらに、空間フィルタがかけられることになる。したがって、ここでのメモリ＜１＞の画像は、２度空間フィルタをかけたぼかし画像３３ｂと、一度空間フィルタをかけたぼかし画像３４ｂとが重ねられたぼかし画像３６となり、ぼかしベレル１のぼかし画像３３ｂとぼかしレベル２のぼかし画像３４ｂとが混在することになる。また、メモリ＜２＞の画像３５は、そのままである。
【００４０】
Ｓｔｅｐ６
メモリ＜２＞の画像３５の一部３７を、メモリ転送回路１７のＤＭＡ矩形転送機能を使ってメモリ＜１＞に対して矩形転送し、メモリ＜１＞の画像３６に被せてコピーする。すると、メモリ＜１＞の画像は、２度空間フィルタをかけたぼかし画像３３ｂに、一度空間フィルタをかけたぼかし画像３４ｂが重なり、さらにその上に空間フィルタがかかっていない画像３７ａが重ねられた画像３８となる。これにより、メモリ＜１＞には、ぼかしレベル２、ぼかしレベル１、ぼかしレベル０（ぼかしなし）の画像が混在することになる。
ここで、メモリ＜２＞からメモリ＜１＞に対して矩形転送する画像の大きさは段階的に小さくなるように指定する。この指定は、プロセッサ１８がメモリ転送回路１７に対して行うもので、本実施の形態では、矩形転送画像を画像中心方向に対して段階的に小さくする。また、矩形転送画像を段階的に小さくする場合、均等に小さく（したがって、ぼかし度合いも均等に）することに限定されず、例えば最初は矩形転送画像を大きく縮小し、次第に縮小率を小さくしてもよい。また、画像中心方向に矩形転送画像を縮小する場合に限定されず、任意の方向（例えば、画面上部）に指定してもよい。これらの例については後述する。
【００４１】
Ｓｔｅｐ７
メモリ＜１＞の画像３８をメモリ＜２＞にそのままコピーする。このＳｔｅｐ７のＤＭＡ転送は矩形転送ではなく、上記Ｓｔｅｐ４の処理と同様、メモリ＜１＞の画像３８全体をメモリ＜２＞にコピーする。これにより、メモリ＜２＞は、メモリ＜１＞の画像３８と同じ画像３８を保持する。
【００４２】
Ｓｔｅｐ８
上記Ｓｔｅｐ５の処理と同様に、メモリ＜１＞に対して、空間フィルタ回路１６によりぼかしレベル１のフィルタリングを施す。これにより、メモリ＜１＞の画像は、３度空間フィルタをかけたぼかし画像３３ｃと、２度空間フィルタをかけたぼかし画像３４ｃと、一度空間フィルタをかけたぼかし画像３７ｂとが重ねられたぼかし画像３９となり、ぼかしベレル１のぼかし画像３７ｂとぼかしレベル２のぼかし画像３４ｃとぼかしレベル３のぼかし画像３３ｃとが混在することになる。また、メモリ＜２＞の画像３８は、そのままである。
【００４３】
Ｓｔｅｐ９
上記Ｓｔｅｐ６の処理と同様に、メモリ＜２＞の画像３８の一部３９を、メモリ転送回路１７のＤＭＡ矩形転送機能を使ってメモリ＜１＞に対して矩形転送し、メモリ＜１＞の画像３９に被せてコピーする。すると、メモリ＜１＞の画像は、３度空間フィルタをかけたぼかし画像３３ｃに、２度空間フィルタをかけたぼかし画像３４ｃが重なり、このぼかし画像３４ｃの上に一度空間フィルタをかけたぼかし画像３７ｂが重なり、さらにその上に空間フィルタがかかっていない画像３９ａが重ねられた画像４０となる。これにより、メモリ＜１＞には、ぼかしレベル３、ぼかしレベル２、ぼかしレベル１、ぼかしレベル０の画像が混在することになる。
【００４４】
以後、目的に応じてＳｔｅｐ２からＳｔｅｐ９の手続きを繰り返すことで、所望の拡散ぼかし画像が得られる。なお、上述したように、以上は、ＲＧＢ又はＹＵＶのうち１つについての処理であり、各色毎に同様の処理が実行される。
本実施の形態では、Ｓｔｅｐ２からＳｔｅｐ９の処理ステップを例えば１６回（ＲＧＢ３色では合計４８ステップ）行っている。
【００４５】
図６は、上記処理により得られる拡散ぼかし画像を示す図であり、ぼかしレベル０（ぼかしなし）からぼかしレベルｎ（ｎは０を除く任意の自然数）のぼかし画像を示す。
図６（ａ）は画面中央から周囲に向かってぼかしの程度が変わらない画像を示す。
【００４６】
また、図６（ｂ）は周囲に向かうほどぼかし程度が強い画像を示す。図６（ｃ）は画面中央上部から周囲に向かってぼかしが入る画像を示している。上記図６（ａ）〜（ｃ）は、一例であり、矩形転送画像のメモリ転送開始位置、メモリ転送先位置を任意に指定することにより様々な拡散ぼかし画像を得ることができる。また、この場合、プログラムの設計変更や部材の追加等は必要なく、設定係数の変更のみで容易に実現できる。
【００４７】
ところで、本実施の形態の方法で拡散ぼかし画像を得た場合、段階的な矩形画像によるぼかし画像となるため、矩形の境目が気になるのでは、という問題に関しては、そもそも処理自体が平滑化フィルタ処理であるため、境目自体にも平滑化処理が施されるため、問題にならない。
但し、「全くフィルタがかかっていない中央部」と「その１つ手前の周囲」に関しては、若干境目が認められる場合もある。
【００４８】
このような場合、最初の空間フィルタ係数設定を平滑化方向最大に設定しておき、処理の最終段階に向かうにつれ、平滑化係数を抑え目に設定することで、違和感がなくなる。すなわち、空間フィルタ回路１６の係数を最初は強くフィルタがかけられるように設定し、次第にフィルタのかけ方が弱くなるように平滑化（ぼかし）の度合いを変えることによってより境界線が目立たなくすることができる。あるいは、空間フィルタ回路１６によるぼかしレベルを予め弱く設定しておき、その分、上述したぼかし処理ステップの回数を増やしてぼかしの段階を増やし滑らかなぼかし効果を得るようにしてもよい。さらに、図６（ｂ）に示すように、周囲に向かうほどぼかし程度を強くするようにした場合も「全くフィルタがかかっていない中央部」と「その１つ手前の周囲」との見かけ上の差異は小さくなる。
【００４９】
以上のように、本実施の形態の画像処理装置１０は、画像データを保持する画像保持用メモリ１４（メモリ＜１＞）及び画像保持用メモリ１５（メモリ＜２＞）と、メモリ＜１＞に保持された画像データにフィルタ処理を施す空間フィルタ回路１６と、メモリ＜１＞とメモリ＜２＞との間でデータ転送を行う矩形転送機能を持つメモリ転送回路１７と、フィルタ回路１６によりフィルタ処理が施されたメモリ＜１＞の画像データに対し、メモリ＜２＞の画像データを矩形転送する制御を行うプロセッサ１８とを備え、フィルタ処理が施されたメモリ＜１＞の画像データに対し、メモリ＜２＞の画像データを矩形転送して保存し、メモリ＜１＞に保存されている画像データをメモリ＜２＞にコピーするとともに、メモリ＜１＞に保存されている画像データにフィルタ処理を施し、フィルタ処理が施されたメモリ＜１＞の画像データに対し、メモリ＜２＞の画像データを矩形転送してメモリ＜１＞に画像データとして保存する制御を、ｎ回（例えば、１６回）繰り返しているので、携帯電話機やデジタルスチルカメラなど、プロセッサ１８の処理能力が低い環境下において、特別な画像処理回路（高価な高次のフィルタ回路や複数のフィルタ回路など）を用いることなく、画面中央から周囲に向けてぼかし度合いが強まる拡散ぼかし画像を得ることができる。
【００５０】
また、カメラ付き携帯電話機等の組込み型機器であっても、画像の鮮鋭化又は平滑化の目的で３×３程度の最低限の空間フィルタを有している場合が多い。また、汎用のＤＭＡ転送回路も有する場合が多い。したがって、これら既設の空間フィルタやＤＭＡ転送回路を活用することにより新たな部材を追加することなく低コストで実施が可能である。
【００５１】
また、拡散ぼかし画像を得る方法について説明したが、ぼかし画像以外に同様な処理によって、周囲に向かうほど特定の色（例えば、緑色，セピア色）を濃く又は薄くする、ＹＵＶの場合は例えば輝度を上げる又は下げるなどが可能である。また、この場合にも処理ステップ自体の変更は殆どない。
【００５２】
なお、上記実施の形態の画像処理装置は、カメラ付き携帯電話機／ＰＨＳの携帯通信端末に適用した例であるが、ＰＤＡ（Ｐｅｒｓｏｎａｌ　Ｄｉｇｉｔａｌ　Ａｓｓｉｓｔａｎｔｓ）等の携帯情報端末やパソコンなどすべての情報処理装置で実現することができる。
【００５３】
また、上記実施の形態では、ＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）において画像を入出力する画像処理方法及び画像処理装置に適用することができるが、ＪＰＥＧに限るものでなく、インターレスＧＩＦ（Ｇｒａｐｈｉｃｓ　ＩｎｔｅｒｃｈａｎｇｅＦｏｒｍａｔ）など他の画像処理装置に適用できる。例えば、パソコン等の情報処理装置のほか、ＨＤＤ，ＤＶＤ等の記録媒体にデータを記録する記録再生装置に適用できる。また、ディスク等の記録媒体から読み出すコンテンツは、どのような形式のものでもよい。
【００５４】
また、本実施の形態では、画像処理装置、ぼかし画像生成装置及び方法という名称を用いたが、これは説明の便宜上であり、縮小画像表示装置や画像表示方法等でもよいことは勿論である。
さらに、上記画面上の矩形画像の枚数や配置、色、表示形式等はどのようなものでもよい。
【００５５】
また、記憶装置の種類や記録方法等は限定されず、全ての装置に適用可能である。例えば、記録装置として、ＨＤＤのほかＤＶＤやＣＤ−Ｒ／ＲＷ、ＭＤ（Ｍｉｎｉ　Ｄｉｓｃ）に記録するものでもよい。特に、データ転送速度やランダム・アクセス性能が高く、高速アクセスが可能なＨＤＤを記録媒体に用いれば、大量に記録した画像の中から所望の画像を瞬時に検索し、直ぐに利用することが可能になる。また、光磁気ディスク等ＨＤＤ以外の記録装置を用いてもよく、同様の効果を得ることができる。
【００５６】
さらに、上記画像再生方法及び画像再生装置を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【００５７】
また、以上説明した画像処理装置、ぼかし画像生成装置及び方法は、これら画像処理装置等を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、図１に示されているプロセッサ１８のメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のＣＰＵがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【００５８】
ここで、上記プログラムメディアは、通信端末装置又は情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード、スマートメディア、ＩＣカード、ＳＤカード、メモリースティック等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００５９】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【００６０】
【発明の効果】
以上、詳述したように、本発明によれば、携帯電話機やデジタルスチルカメラなど、プロセッサの処理能力が低い環境下において、画像処理用の特別な画像処理回路を用いることなく、画像のぼかし等の特殊効果処理画像を得ることができる。
【００６１】
また、プロセッサの処理能力が低いものでよいこと、画像処理用の特別なものを使用しないこと、さらには既設のフィルタ回路等を活用できることから低コストで実施することができ、携帯電話機やデジタルスチルカメラ等の組みこみ環境下において汎用的に適用することができる。
【図面の簡単な説明】
【図１】本発明の実施の形態のぼかし画像作成を行う画像処理装置を示すブロック図である。
【図２】本実施の形態の画像処理装置の３×３の空間フィルタの構成を示す図である。
【図３】本実施の形態の画像処理装置のメモリ転送回路の矩形転送機能を説明する図である。
【図４】本実施の形態の画像処理装置のぼかし画像生成処理の実際を示す図である。
【図５】本実施の形態の画像処理装置のぼかし画像生成処理の実際を示す図である。
【図６】本発明の実施の形態のぼかし画像生成処理により得られる拡散ぼかし画像を示す図である。
【符号の説明】
１０　画像処理装置（ぼかし画像生成装置）
１１　記憶装置
１２　復号器（復号手段）
１３　符号化器（符号化手段）
１４　画像保持用メモリ（メモリ＜１＞）（第１メモリ）
１５　画像保持用メモリ（メモリ＜２＞）（第２メモリ）
１６　空間フィルタ回路（フィルタ手段）
１７　メモリ転送回路（メモリ転送手段）
１８　プロセッサ（制御手段，フィルタ係数設定手段）
【図１】
2004118384.tif 000003
【図２】
2004118384.tif 000004
【図３】
2004118384.tif 000005
【図４】
2004118384.tif 000006
【図５】
2004118384.tif 000007
【図６】
2004118384.tif 000008