(57)【要約】【課題】デジタル画像の１つまたは複数の領域をフィルタリングする方法および装置。【解決手段】一実施形態は、（ａ）選択回路および（ｂ）フィルタリング回路、を含む表示コントローラを対象とする。選択回路は、フィルタリングを指定されたフレームの少なくとも１つの領域内にある画像データのフレームの画素を選択する。フィルタリング回路は、選択された画素が位置するフィルタリング領域に対して指定されたフィルタリング演算に従って、選択された画素を修正する。さらに、一実施形態において、選択回路は、少なくとも２つのフィルタリング領域のうち１領域内の画素を選択し、フィルタリング回路は選択された画素を少なくとも２つの別個のフィルタリング演算のうち１つに従って修正する。別の実施形態は、ハードウェアで実施される画像データフィルタリング方法に関する。【選択図】図３
2008217785.tif 000002
【特許請求の範囲】
【請求項１】
フィルタリングを指定され複数の画素を有するフィルタリング領域を含む画像データに
ついて、前記フィルタリング領域に指定されたフィルタリング演算に従って前記複数の画
素の各々が有する画素データを変換する表示コントローラであって、（ａ）前記フィルタ
リング領域内の少なくとも１つの画素を選択する選択回路と、（ｂ）前記選択された画素
の画素データを、前記フィルタリング領域に指定されたフィルタリング演算に従って変換
する複数のフィルタリング回路と、を含むことを特徴とする表示コントローラ。
【請求項２】
第１のフィルタリング演算を実行するための第１のパラメータと、第２のフィルタリン
グ演算を実行するための前記第１のパラメータと異なる第２のパラメータと、を保存して
いるパラメータ・メモリをさらに含み、
前記画像データは、第１のフィルタリング領域と第２のフィルタリング領域を含み、
前記選択回路は、
前記第１のフィルタリング領域の画素を選択し、
前記複数のフィルタリング回路の１つは、
前記選択された画素の画素データを前記第１のフィルタリング演算に従って変換するこ
とを特徴とする請求項１に記載の表示コントローラ。
【請求項３】
前記第１のフィルタリング演算で変換する画素の画素データを記憶するバッファをさら
に含むことを特徴とする請求項２に記載の表示コントローラ。
【請求項４】
第１の解像度を持つ前記画像データの画素をサンプリングして、前記フレームより低解
像度の第２の解像度を持つ画像データを生成するサンプリング回路をさらに含み、
前記第２の解像度を持つ画像データに対して前記第１のフィルタリング演算を実行した
後に、前記第１の解像度を持つ画像データに対して前記第１のフィルタリング演算を実行
して変換した画像データを生成し、
前記変換した画像データを出力することを特徴とする請求項２又は請求項３に記載の表
示コントローラ。
【請求項５】
前記複数のフィルタリング回路は、第１のフィルタリング回路および第２のフィルタリ
ング回路を含み、
単一画素の画素データのみを入力として必要とする第１のフィルタリング演算は、前記
第１のフィルタリング回路によって実行され、
複数の画素の画素データを入力として必要とする第２のフィルタリング演算は、前記第
２のフィルタリング回路によって実行されることを特徴とする請求項１乃至請求項４のい
ずれか一項に記載の表示コントローラ。
【請求項６】
前記複数のフィルタリング回路は、第１のフィルタリング回路を含み、
前記第１のフィルタリング回路は、
第１のフィルタリング・パラメータを用いて第１のフィルタリング演算を実行し、
前記第１のフィルタリング演算を実行した後に、前記第１のフィルタリング・パラメー
タと異なる第２のフィルタリング・パラメータを用いて第２のフィルタリング演算を実行
することを特徴とする請求項１乃至請求項５のいずれか一項に記載の表示コントローラ。
【請求項７】
表示コントローラの外部から前記画像データを第１のフレームレートで受信する第１の
インターフェース回路と、
前記画像データを変換して生成した画像データを第２のフレームレートで表示コントロ
ーラの外部へ出力する第２のインターフェース回路と、をさらに備え、
フィルタリング回路は、前記第１のフレームレートおよび前記第２のフレームレートの
うち早い方と少なくとも同様のレートで画素を変換することを特徴とする請求項１乃至請
求項６のいずれか一項に記載の表示コントローラ。
【請求項８】
受信した画像データを変換する表示コントローラであって、
前記画像データに含まれる複数の画素データを受信する制御部と、
前記複数の画素データの一部である少なくとも３つの画素データを保持する機能を有す
るバッファと、
前記バッファから第２の画素データを受信し、前記第２の画素データを変換して第６の
画素データを出力する第１のフィルタと、
前記バッファから第３の画素データ、前記第３の画素に隣接する第４の画素データ及び
前記第４の画素に隣接する第５の画素データを受信し、前記第３の画素データ、第４の画
素データ及び第５の画素データに基づいて、第４の画素データを変換して第７の画素デー
タを出力する第２のフィルタと、
前記制御部から出力された第１の画素データ、前記第６の画素データ及び前記第７の画
素データを受信し、前記第１の画素データ、前記第６の画素データ、前記第７の画素デー
タのいずれか１つを出力する選択部と、
を含むことを特徴とする表示コントローラ。
【請求項９】
モバイル機器に組み込まれていることを特徴とする請求項１乃至請求項８のいずれか一
項に記載の表示コントローラ。
【請求項１０】
（ａ）画像データの少なくとも１つのフレームを受信することと、（ｂ）フィルタリン
グを指定されたフレームの領域内にあるフレームの画素を選択することと、（ｃ）前記領
域に指定されたフィルタリング演算に従って前記選択された画素を修正することと、を含
むことを特徴とする画像データ変換方法。
【請求項１１】
画像データの少なくとも１フレームは２以上のシーケンシャル・フレームを含み、シー
ケンスの第１のフレームは第１の解像度であり、シーケンスの第２のフレームは第２の解
像度であり、第１の解像度は第２の解像度よりも低いことを特徴とする請求項１０に記載
の画像データ変換方法。
【請求項１２】
前記第１のフレームを表示装置に表示し、
前記第１のフレームを表示装置に表示した後にフィルタ・パラメータを設定し、
前記フィルタ・パラメータを設定した後に、第２のフレームをメモリに記憶する、
ことを特徴とする請求項１１に記載の画像データ変換方法。
【請求項１３】
前記画像データの少なくとも１フレームは２以上のシーケンシャル・フレームを含み、
フレームのシーケンスは第１のフレームおよび第２のフレームを含み、前記第１のフレー
ムをサンプリングするステップをさらに含み、サンプリングされた前記第１のフレームは
第１の解像度であり、前記第２のフレームは第２の解像度であり、前記第１の解像度は前
記第２の解像度よりも低いことを特徴とする請求項１１に記載の画像データ変換方法。
【請求項１４】
（ａ）画像データの少なくとも１つの第１のフレームを受信することと、（ｂ）少なく
とも２つのフィルタリング領域が指定されかつ少なくとも２つのフィルタリング演算が指
定されている中で、フィルタリングを指定されたフレームの領域内にある前記第１のフレ
ームの画素を選択することと、（ｃ）前記選択された画素が位置するフィルタリング領域
に指定されたフィルタリング演算に従って前記選択された画素を変換することと、（ｄ）
前記選択された画素を変換するステップの後に、表示装置上に前記第１のフレームを表示
することと、
を含むことを特徴とする画像データ変換方法。
【請求項１５】
（ｅ）前記第１のフレームを表示することに引き続いて少なくとも２つの指定フィルタ
リング領域のうち１つを選択することと、
（ｆ）前記第１のフレーム受信に引き続いて画像データの少なくとも１つの第２のフレ
ームを受信することと、
（ｇ）前記選択されたフィルタリング領域とは別の前記第２のフレームの領域内にある
、前記第２のフレームの少なくとも１つの画素を選択することと、
（ｈ）前記選択されたフィルタリング領域に対して指定されたフィルタリング演算に従
って、前記選択された画素を変換することと、
を含むことを特徴とする請求項１４に記載の画像データ変換方法。
【請求項１６】
（ａ）第１のフレームを受信し、（ｂ）前記第１のフレームに対して、複数の画素を有
する第１のフィルタリング領域と複数の画素を有する第２のフィルタリング領域が指定さ
れ、（ｃ）第１のフレームを低解像度に変換した第２のフレームが生成され、（ｄ）前記
第１のフィルタリング領域に対して、第１の種類のフィルタで変換を行う第１のフィルタ
リング演算が指定され、（ｅ）前記第２のフィルタリング領域に対して、第２の種類のフ
ィルタで変換を行う第２のフィルタリング演算が指定され、（ｆ）前記第１のフレームを
低解像度に変換した第２のフレームが生成され、（ｇ）前記第２のフレームに対して、前
記第１のフィルタリング領域に対応する第３のフィルタリング領域が指定され、（ｈ）前
記第３のフィルタリング領域が有する画素の各々に、第１のフィルタリング・パラメータ
を用いて前記第１のフィルタリング演算が実行されて、第１の変換フレームが生成され、
（ｉ）前記第１の変換フレームに対して、前記第２のフィルタリング領域に対応する第４
のフィルタリング領域が指定され、（ｊ）前記第４のフィルタリング領域が有する画素の
各々に、第２のフィルタリング・パラメータを用いて前記第２のフィルタリング演算が実
行されて、第２の変換フレームが生成され、（ｋ）前記第２の変換フレームが表示装置に
送信され、（ｌ）前記第１のフィルタリング・パラメータ及び第２のフィルタリング・パ
ラメータを決定するか否かが選択され、
前記第１のフィルタリング・パラメータ及び第２のフィルタリング・パラメータの決定
が選択された場合は、（ｍ）第１のフレームに対して、前記第１のフィルタリング領域が
有する画素の各々に、前記第１のフィルタリング・パラメータを用いて前記第１のフィル
タリング演算が実行されて、第３の変換フレームが生成され、（ｎ）第３の変換フレーム
に対して、前記第２のフィルタリング領域が有する画素の各々に、前記第２のフィルタリ
ング・パラメータを用いて前記第２のフィルタリング演算が実行されて、第４の変換フレ
ームが生成され、（ｏ）前記第４の変換フレームがメモリに保存され、
前記第１のフィルタリング・パラメータ及び第２のフィルタリング・パラメータの決定
が選択されなかった場合は、（ｐ）前記第１のフィルタリング・パラメータと異なる第３
のフィルタリング・パラメータが設定され、（ｑ）前記第２のフレーム、前記第１の変換
フレーム及び前記第２の変換フレームのいずれかに対して、前記第３のフィルタリング領
域が有する画素の各々に、第３のフィルタリング・パラメータを用いて前記第１のフィル
タリング演算が実行されて、第５の変換フレームが生成され、（ｒ）前記第２のフィルタ
リング・パラメータと異なる第４のフィルタリング・パラメータが設定され、（ｓ）前記
５の変換フレームに対して、前記第４のフィルタリング領域が有する画素の各々に、第４
のフィルタリング・パラメータを用いて前記第２のフィルタリング演算が実行されて、第
６の変換フレームが生成され、（ｔ）前記第６の変換フレームが表示装置に送信されるこ
とを特徴とする画像データ変換方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明の分野は、例えば、デジタル画像の領域をフィルタリングする方法および装置に
関する。
【背景技術】
【０００２】
デジタルカメラは、電荷結合素子（ＣＣＤ）または相補型金属酸化膜半導体（ＣＭＯＳ
）センサなどの画像センサで画像を取り込む。デジタルカメラで写真が撮影されると、画
像センサは画像を取り込み、フィルムの代わりにフラッシュ・メモリなどのメモリ素子に
取り込んだ画像を記憶する。
【０００３】
デジタルカメラは携帯電話などのモバイル機器にしばしば組み込まれている。モバイル
機器のカメラは、専用デジタルカメラよりも小型かつ安価で消費電力が少なくなければな
らない。さらに、モバイル機器のカメラは、落下およびその他の衝撃に耐えるべく頑丈で
なければならない。これらの条件により、モバイル機器のカメラにはＣＭＯＳセンサが採
用されることが多い。ＣＭＯＳセンサはＣＣＤセンサよりも小型で、安価で消費電力が少
ない。さらに、コストを抑えかつ電力要求を小さくするために、モバイル機器に用いられ
るセンサは、モバイル機器以外の一般的なデジタルカメラで用いられるセンサよりも低い
解像度で画像を取り込む。
【０００４】
モバイル機器のカメラは、写真撮影の機会を逃さない。人は常にデジタルカメラを携帯
するわけではないが、多くの人は、どこに出かけるにも携帯電話を携帯する。
【０００５】
しかし、消費者はしばしば自分のモバイル機器のカメラで撮影した写真の画質に落胆す
る。質が劣る画像には、いくつかの理由がある。まず、モバイル機器のカメラで使用され
ているレンズは、専用デジタルカメラで使用されているレンズよりも小さく安価である。
結果として、専用デジタルカメラに比べると、非常に少ない光しかセンサまで届かない。
もう１つの理由は、光量不足の状態で画像が取り込まれることである。モバイル機器で使
用されるカメラはＬＥＤフラッシュを用いるか、またはフラッシュを全く使わないことが
多い。対照的に専用デジタルカメラはキセノン・フラッシュを一般に使用している。キセ
ノン・フラッシュを用いると、明るい画像を保存できる。さらに、モバイル機器で一般的
に用いられるＣＭＯＳセンサは、光量が少ない状態ではＣＣＤセンサほどには機能しない
傾向にある。
【０００６】
場合によっては、モバイル機器のカメラで取り込まれた画像の画質を１つまたは複数の
画像処理「フィルタ」を用いて向上させることが可能である。さらにフィルタは、画像に
特殊効果を付加するために用いられてもよい。このように、モバイル機器のフィルタには
特定のニーズがある。例えば、ぼかし、鮮鋭化、ソラリゼーション、コントラスト調整お
よび色補正フィルタリングなどの、様々な異なる種類のフィルタが利用可能である。
【０００７】
フィルタは、パーソナルコンピュータで動作する特定用途のソフトウェアを使用してデ
ジタル画像に適用されることができる。しかし、写真編集ソフトウェアは性能の良いハー
ドウェア・コンポーネントと大きなメモリが要る。例えば、１つの典型的な写真編集ソフ
トウェア製品の現在のシステム要求は、少なくともＲＡＭが３２０Ｍｂ、ハードディスク
スペースが少なくとも６５０Ｍｂ、解像度が１０２４×７６８のモニタ、６ビットのビデ
オカード、ＣＤ−ＲＯＭドライブおよびペンティアム（登録商標）（Ｐｅｎｔｉｕｍ（登
録商標））級のプロセッサである。その上、モバイル機器のカメラの利用者は、半ば専門
家の写真家や趣味の写真家および職業的写真家とは対照的に、臨時の写真家である。臨時
の写真家としての利用者は大抵、写真編集ソフトウェアを購入し習得することを進んで行
うことはない。さらに、消費者はフィルタの適用まで待つ気はない。消費者がカメラを家
に持ち帰り、画像をコンピュータに転送しなければならない場合、何時間または何日も待
つ気がない多くの臨時の写真家は、フィルタの適用を省略してしまうであろう。
【０００８】
【特許文献１】米国特許出願公開第２００４／０１０１２０６号明細書
【発明の開示】
【発明が解決しようとする課題】
【０００９】
したがって、デジタル画像のフィルタリングする方法および装置へのニーズがある。特
に、画像の取り込みと実質的に同時に実行できる、モバイル機器のカメラで取り込まれた
画像のフィルタリングへのニーズがある。
【課題を解決するための手段】
【００１０】
一実施形態は表示コントローラを対象とする。表示コントローラは（ａ）選択回路と（
ｂ）フィルタリング回路を備える。選択回路は、フィルタリングを指定されたフレームの
少なくとも１つの領域内にある画像データのフレームの画素を選択する。フィルタリング
回路は、選択された画素を、その選択された画素が位置するフィルタリング領域に対して
指定されたフィルタリング演算に従って修正する。さらに、一実施形態では、選択回路は
少なくとも２つのフィルタリング領域のうち１領域内にある画素を選択し、フィルタリン
グ回路は選択された画素を、少なくとも２つの別個のフィルタリング演算のうち１つに従
って修正する。
【００１１】
別の実施形態は、ハードウェアで実行される画像データフィルタリング方法を対象とす
る。方法は、（ａ）画像データの少なくとも１つのフレームを受け取ることと、（ｂ）フ
ィルタリングを指定されたフレームの領域内にあるフレームの画素を選択することと、（
ｃ）選択された画素を、その領域に対して指定されたフィルタリング演算に従って修正す
る、ことを含む。加えて、一実施形態では、画像データの少なくとも１つのフレームは２
以上のシーケンシャル・フレームを含む。フレームのシーケンスの最初のフレームは第１
の解像度である。シーケンスの第２のフレームは第２の解像度であり、第１の解像度は第
２の解像度よりも低い。
【００１２】
さらに別の実施形態は、ハードウェアで実行される、画像データフィルタリング方法を
対象とする。方法は、（ａ）画像データの少なくとも１つの第１のフレームを受け取るこ
とと、（ｂ）フィルタリングを指定された領域内にある第１のフレームの画素を選択する
ことと、（ｃ）その選択された画素を、選択された画素が位置するフィルタリング領域に
対して指定されたフィルタリング演算に従って修正することと、（ｄ）第１のフレームを
表示装置上に表示することと、を含む。少なくとも２つのフィルタリング領域が指定され
、少なくとも２つのフィルタリング演算が指定される。表示するステップ（ｄ）は、選択
された画素を修正するステップ（ｃ）の後に実行される。
【００１３】
本発明の表示コントローラは、フィルタリングを指定され複数の画素を有するフィルタ
リング領域を含む画像データについて、前記フィルタリング領域に指定されたフィルタリ
ング演算に従って前記複数の画素の各々が有する画素データを変換する表示コントローラ
であって、（ａ）前記フィルタリング領域内の少なくとも１つの画素を選択する選択回路
と、（ｂ）前記選択された画素の画素データを、前記フィルタリング領域に指定されたフ
ィルタリング演算に従って変換する複数のフィルタリング回路と、を含む。
【００１４】
本発明の表示コントローラは、第１のフィルタリング演算を実行するための第１のパラ
メータと、第２のフィルタリング演算を実行するための前記第１のパラメータと異なる第
２のパラメータと、を保存しているパラメータ・メモリをさらに含み、前記画像データは
、第１のフィルタリング領域と第２のフィルタリング領域を含み、前記選択回路は、前記
第１のフィルタリング領域の画素を選択し、前記複数のフィルタリング回路の１つは、前
記選択された画素の画素データを前記第１のフィルタリング演算に従って変換してもよい
。
【００１５】
本発明の表示コントローラは、前記第１のフィルタリング演算で変換する画素の画素デ
ータを記憶するバッファをさらに含んでもよい。
【００１６】
本発明の表示コントローラは、第１の解像度を持つ前記画像データの画素をサンプリン
グして、前記フレームより低解像度の第２の解像度を持つ画像データを生成するサンプリ
ング回路をさらに含み、前記第２の解像度を持つ画像データに対して前記第１のフィルタ
リング演算を実行した後に、前記第１の解像度を持つ画像データに対して前記第１のフィ
ルタリング演算を実行して変換した画像データを生成し、前記変換した画像データを出力
してもよい。
【００１７】
本発明の表示コントローラは、前記複数のフィルタリング回路は、第１のフィルタリン
グ回路および第２のフィルタリング回路を含み、単一画素の画素データのみを入力として
必要とする第１のフィルタリング演算は、前記第１のフィルタリング回路によって実行さ
れ、複数の画素の画素データを入力として必要とする第２のフィルタリング演算は、前記
第２のフィルタリング回路によって実行してもよい。
【００１８】
本発明の表示コントローラは、前記複数のフィルタリング回路は、第１のフィルタリン
グ回路を含み、前記第１のフィルタリング回路は、第１のフィルタリング・パラメータを
用いて第１のフィルタリング演算を実行し、前記第１のフィルタリング演算を実行した後
に、前記第１のフィルタリング・パラメータと異なる第２のフィルタリング・パラメータ
を用いて第２のフィルタリング演算を実行してもよい。
【００１９】
本発明の表示コントローラは、表示コントローラの外部から前記画像データを第１のフ
レームレートで受信する第１のインターフェース回路と、前記画像データを変換して生成
した画像データを第２のフレームレートで表示コントローラの外部へ出力する第２のイン
ターフェース回路と、をさらに備え、フィルタリング回路は、前記第１のフレームレート
および前記第２のフレームレートのうち早い方と少なくとも同様のレートで画素を変換し
てもよい。
【００２０】
本発明の表示コントローラは、受信した画像データを変換する表示コントローラであっ
て、前記画像データに含まれる複数の画素データを受信する制御部と、前記複数の画素デ
ータの一部である少なくとも３つの画素データを保持する機能を有するバッファと、前記
バッファから第２の画素データを受信し、前記第２の画素データを変換して第６の画素デ
ータを出力する第１のフィルタと、前記バッファから第３の画素データ、前記第３の画素
に隣接する第４の画素データ及び前記第４の画素に隣接する第５の画素データを受信し、
前記第３の画素データ、第４の画素データ及び第５の画素データに基づいて、第４の画素
データを変換して第７の画素データを出力する第２のフィルタと、前記制御部から出力さ
れた第１の画素データ、前記第６の画素データ及び前記第７の画素データを受信し、前記
第１の画素データ、前記第６の画素データ、前記第７の画素データのいずれか１つを出力
する選択部と、を含む。
【００２１】
本発明の表示コントローラは、モバイル機器に組み込まれていてもよい。
【００２２】
本発明の画像データ変換方法は、（ａ）画像データの少なくとも１つのフレームを受信
することと、（ｂ）フィルタリングを指定されたフレームの領域内にあるフレームの画素
を選択することと、（ｃ）前記領域に指定されたフィルタリング演算に従って前記選択さ
れた画素を修正することと、を含む。
【００２３】
本発明の画像データ変換方法は、例えば、画像データの少なくとも１フレームは２以上
のシーケンシャル・フレームを含み、シーケンスの第１のフレームは第１の解像度であり
、シーケンスの第２のフレームは第２の解像度であり、第１の解像度は第２の解像度より
も低い。
【００２４】
本発明の画像データ変換方法は、前記第１のフレームを表示装置に表示し、前記第１の
フレームを表示装置に表示した後にフィルタ・パラメータを設定し、前記フィルタ・パラ
メータを設定した後に、第２のフレームをメモリに記憶してもよい。
【００２５】
本発明の画像データ変換方法は、前記画像データの少なくとも１フレームは２以上のシ
ーケンシャル・フレームを含み、フレームのシーケンスは第１のフレームおよび第２のフ
レームを含み、前記第１のフレームをサンプリングするステップをさらに含み、サンプリ
ングされた第１のフレームは第１の解像度であり、第２のフレームは第２の解像度であり
、第１の解像度は第２の解像度よりも低くしてもよい。
【００２６】
本発明の画像データ変換方法は、（ａ）画像データの少なくとも１つの第１のフレーム
を受信することと、（ｂ）少なくとも２つのフィルタリング領域が指定されかつ少なくと
も２つのフィルタリング演算が指定されている中で、フィルタリングを指定されたフレー
ムの領域内にある前記第１のフレームの画素を選択することと、（ｃ）前記選択された画
素が位置するフィルタリング領域に指定されたフィルタリング演算に従って前記選択され
た画素を変換することと、（ｄ）前記選択された画素を変換するステップの後に、表示装
置上に前記第１のフレームを表示することと、を含む。
【００２７】
本発明の画像データ変換方法は、さらに、（ｅ）前記第１のフレームを表示することに
引き続いて少なくとも２つの指定フィルタリング領域のうち１つを選択することと、（ｆ
）前記第１のフレーム受信に引き続いて画像データの少なくとも１つの第２のフレームを
受信することと、（ｇ）前記選択されたフィルタリング領域とは別の前記第２のフレーム
の領域内にある、前記第２のフレームの少なくとも１つの画素を選択することと、（ｈ）
前記選択されたフィルタリング領域に対して指定されたフィルタリング演算に従って、前
記選択された画素を変換してもよい。
【００２８】
本発明の画像データ変換方法は、（ａ）第１のフレームを受信し、ｂ）前記第１のフレ
ームに対して、複数の画素を有する第１のフィルタリング領域と複数の画素を有する第２
のフィルタリング領域が指定され、（ｃ）第１のフレームを低解像度に変換した第２のフ
レームが生成され、（ｄ）前記第１のフィルタリング領域に対して、第１の種類のフィル
タで変換を行う第１のフィルタリング演算が指定され、（ｅ）前記第２のフィルタリング
領域に対して、第２の種類のフィルタで変換を行う第２のフィルタリング演算が指定され
、（ｆ）前記第１のフレームを低解像度に変換した第２のフレームが生成され、（ｇ）前
記第２のフレームに対して、前記第１のフィルタリング領域に対応する第３のフィルタリ
ング領域が指定され、（ｈ）前記第３のフィルタリング領域が有する画素の各々に、第１
のフィルタリング・パラメータを用いて前記第１のフィルタリング演算が実行されて、第
１の変換フレームが生成され、（ｉ）前記第１の変換フレームに対して、前記第２のフィ
ルタリング領域に対応する第４のフィルタリング領域が指定され、（ｊ）前記第４のフィ
ルタリング領域が有する画素の各々に、第２のフィルタリング・パラメータを用いて前記
第２のフィルタリング演算が実行されて、第２の変換フレームが生成され、（ｋ）前記第
２の変換フレームが表示装置に送信され、（ｌ）前記第１のフィルタリング・パラメータ
及び第２のフィルタリング・パラメータを決定するか否かが選択され、前記第１のフィル
タリング・パラメータ及び第２のフィルタリング・パラメータの決定が選択された場合は
、（ｍ）第１のフレームに対して、前記第１のフィルタリング領域が有する画素の各々に
、前記第１のフィルタリング・パラメータを用いて前記第１のフィルタリング演算が実行
されて、第３の変換フレームが生成され、（ｎ）第３の変換フレームに対して、前記第２
のフィルタリング領域が有する画素の各々に、前記第２のフィルタリング・パラメータを
用いて前記第２のフィルタリング演算が実行されて、第４の変換フレームが生成され、（
ｏ）前記第４の変換フレームがメモリに保存され、前記第１のフィルタリング・パラメー
タ及び前記第２のフィルタリング・パラメータの決定が選択されなかった場合は、（ｐ）
前記第１のフィルタリング・パラメータと異なる第３のフィルタリング・パラメータが設
定され、（ｑ）前記第２のフレーム、前記第１の変換フレーム及び前記第２の変換フレー
ムのいずれかに対して、前記第３のフィルタリング領域が有する画素の各々に、第３のフ
ィルタリング・パラメータを用いて前記第１のフィルタリング演算が実行されて、第５の
変換フレームが生成され、（ｒ）前記第２のフィルタリング・パラメータと異なる第４の
フィルタリング・パラメータが設定され、（ｓ）前記５の変換フレームに対して、前記第
４のフィルタリング領域が有する画素の各々に、第４のフィルタリング・パラメータを用
いて前記第２のフィルタリング演算が実行されて、第６の変換フレームが生成され、（ｔ
）前記第６の変換フレームが表示装置に送信される。
【発明を実施するための最良の形態】
【００２９】
図１は、フィルタリングを指定された２つのフィルタリング領域１６，１８（影付きで
示す）を有するフレーム１４のデジタル画像の図である。各フィルタリング領域１６，１
８はそれぞれ、横方向（Ｘ座標）の開始座標と終了座標、ならびに縦方向（Ｙ座標）の開
始座標と終了座標が指定されている。フィルタリング領域１６は第１のフィルタリング演
算によるフィルタリングを指定されているのに対し、フィルタリング領域１８は第２のフ
ィルタリング演算によるフィルタリングを指定されている。フレーム１４で、フィルタリ
ング領域１６，１８に指定されていない残りの領域はフィルタリング指定されていない。
フィルタリング領域１６とフィルタリング領域１８は一部又は全部が重複していてもよい
。その場合、重複した領域に含まれる画素の画素データに対して、第１のフィルタリング
演算と第２のフィルタリング演算の両方が実行される。
【００３０】
フィルタリング領域１６，１８は様々な方法で指定することができる。例えば、ユーザ
が、横方向（Ｘ座標）の開始座標と終了座標、ならびに縦方向（Ｙ座標）の開始座標と終
了座標を入力することによりフィルタリング対象領域を選択してもよい。また、タッチパ
ネル画面付きの携帯機器等の場合は、ユーザがタッチパネル画面上でスタイラスペンを用
いてフィルタリング対象領域を選択することもできる。別の方法では、携帯機器等の表示
画面上に複数のフィルタリング対象領域の候補が表示され、ユーザが、表示画面に提示さ
れる複数のフィルタリング対象領域の候補からフィルタリングを実行する領域を選択する
こともできる。ユーザが選択する方法の他にも、アルゴリズム（ソフトウェア）によって
、或いはアルゴリズムを実行する機械（ハードウェア）によってフィルタリング対象領域
が選択されることもできる。その場合アルゴリズムまたはアルゴリズムを実行する機械は
受信した画像データの分析に基づきフィルタリングする領域を選択する。
【００３１】
本明細書および特許請求の範囲で用いられる「フィルタ」という用語は、画像の変換を
実行する画像変換手段を意味する。画像変換手段は、表示コントローラの外部から原画像
を入力として受け取り、原画像の個々の画素を何らかの方式で変換し、出力画像を生成す
るプロセスを実行する。そのようなプロセスを実行するデバイスに加えて、「フィルタ」
という用語はそのプロセス自体も指す。「フィルタ」の例としては、ぼかし、鮮鋭化、輝
度調整、コントラスト調整、グレースケール変換、色置換、ソラリゼーション、反転、２
色化、ポスタライジング、エンボス、彫刻、エッジ検出フィルタ、回転を含む。ここで挙
げたフィルタは、特許請求の範囲に記載された発明で用いることができるフィルタの種類
を例示するものであって、特許請求の範囲がこれらのフィルタに限定されるものではない
。フィルタはグレースケールまたはカラーの画素に適用されてよい。カラー画素に関して
は、フィルタはＲ（赤）、Ｇ（緑）、Ｂ（青）等で分類されるカラーチャンネルの全チャ
ンネルに適用されてもよく、選択された一部のカラーチャンネルのみに適用されてもよい
。
【００３２】
一般にフィルタの種類は、そのフィルタが、フィルタリング演算を実行するために入力
として必要とする画素の数によって分類されることができる。
【００３３】
第１の種類のフィルタは、変換を行うために単一画素のみを入力として必要とする。す
なわち、他の画素の情報を参照することなく画素を変換することもできる。例えば、入力
された１つの画素に対して指定された計算式を適用する。または、入力された１つの画素
をルックアップテーブルから得た値で演算するなどによって、何らかの方式で入力された
画素を変換する。例えば、フィルタは入力画素値に定数を足したり、定数を引いたりする
。別の方法としてフィルタは入力画素値を定数で掛けたり割ったりしてもよい。この種類
のフィルタは、例えば、グレースケール又はカラーの画像内の暗い画素を明るくしたり暗
くしたりといった輝度を変更するために用いられることができる。この種類のフィルタは
、特定の画素を修正すべきかどうかを判断するために、１つまたは複数のテストを行うこ
とができる。
【００３４】
第２の種類のフィルタは、変換を行うために複数の画素を入力として必要とする。例え
ば、１×３、３×１、３×３、９×９画素マトリクスのような画素マトリクスが入力とし
て必要とされる。典型的には、第２の種類のフィルタは、まず入力されたマトリクス内の
すべての画素を用いた演算を行って演算結果を出す。そして、その演算結果を用いてマト
リクスの中心にある画素を変換する。第１の種類のフィルタと同様に、計算式、ルックア
ップテーブルおよび修正すべきかに関するテストを用いてもよい。例として、３×１画素
マトリクスを入力として必要とするボックスフィルタについて考える。一列の画像上の３
つの連続した画素が平均され、中央の画素がその平均と置換される。計算式が適用される
前に重み付け方式が適用されることもできる。３つの画素は平均を算出する前に、第１の
画素に対して０．５、第１の画素に続く第２の画素に１．０、第２の画素に続く第３の画
素に０．５の係数を掛けることもできる。３つの画素に係数を掛けた後に、第１の画素〜
第３の画素の平均値を計算し、中央の画素である第２の画素をその平均と置換することも
できる。つまり、第２の画素をフィルタリング演算で変換するために、第１の画素から第
３の画素の３つの画素を入力として必要とする。別の実施形態として、入力されたマトリ
クス内のすべての画素を用いた演算を行って求めた演算結果に基づいて、中心にある画素
以外のマトリクス内の画素を変換してもよい。例えば、第１の画素から第３の画素の３つ
の画素を受信した場合に、第２の画素を変換し、さらに第２の画素を挟み込む第１の画素
と第３の画素を変換してもよい。
【００３５】
特定のフィルタが第１の種類のフィルタと第２の種類のフィルタのいずれであるかに関
わらず、フィルタリング演算すなわちフィルタがもたらす効果は、フィルタによって使用
される係数を変更することによって変えることができる。
【００３６】
例えば、単一の画素のみを入力として必要とする第１の種類のフィルタを用いながら、
異なるタイプ又は異なるフィルタリング・パラメータのフィルタリング演算を選択するこ
とができる。例えば、入力画素をフィルタリング処理するときに用いられる係数の値を変
更することによって、または、後述の特定の画素を修正するべきかどうかを判断するテス
トに用いられるパラメータを変更することによって、フィルタリング演算を選択すること
ができる。
【００３７】
同様に、複数の画素を入力として必要とする第２の種類のフィルタを用いながら、フィ
ルタによって用いられる１つまたは複数の係数を変更することによって異なるフィルタリ
ング演算を選択することができる。例えば、３×３フィルタ・ウィンドウを用いる畳み込
みマトリクスフィルタについて考察する。ここでは、フィルタリング演算を行うために９
個の画素入力を必要とする。このフィルタが、まずフィルタ・ウィンドウ内の各画素に係
数を掛け、積の和を算出し、この和をウィンドウ内の画素の数で割り、次いでウィンドウ
の中央の画素を計算結果と置換すると想定する。以下に示すように各画素に等しい重み付
けが適用されると、ぼかし効果が達成できる。
【００３８】
１  １  １
１  １  １
１  １  １
他方、以下に示す重み付け方式が適用されると、画像を鮮鋭化する効果が達成できる。
−１  −１  −１
−１    ９  −１
−１  −１  −１
こうして、重み付け方式または係数を変更することにより、ぼかし効果か鮮鋭化効果の
いずれかを生み出すためにフィルタを用いることができる。さらに、重みを変化させるこ
とにより、ぼかしまたは鮮鋭化の度合いを変化させることができる。加えて、重みを変化
させることにより、エッジ検出効果、エンボス効果、あるいは彫刻効果等を得ることがで
きる。
【００３９】
本発明によれば、例えば、フィルタリング領域として指定されたデジタル画像の１つま
たは複数の領域にリアルタイムで別個のフィルタリング演算を適用することができる。こ
れはユーザが特定のフィルタリング演算の効果をより早く見ることができる。次にユーザ
は必要ならばフィルタリング演算を修正することができる。このことはデジタル画像がメ
モリなどに取り込まれる前に、ユーザにその画質を向上させるあるいは画像に特殊効果を
適用する機会を提供する。このことは、ユーザが２つ以上のフィルタリング演算の効果を
同時にプレビューして、画像がメモリに取り込まれる前にプレビューした効果のうち１つ
を選択し、選択したフィルタリング演算をした画像のみをメモリに取り込むことを可能に
する。２つ以上のフィルタリング演算の効果を同時にプレビューするために、所望のフィ
ルタリング領域について第１のフィルタリング演算で変換した画像データを表示コントロ
ーラに保持しながら、第１のフィルタリング演算と異なる第２のフィルタリング演算でそ
の所望のフィルタリング領域を変換して、その画像データも表示コントローラに保持し、
第１のフィルタリング演算で変換された画像データを表示装置の一部に表示し、第２のフ
ィルタリング演算で変換された画像データを表示装置の他の部分の一部に表示するように
してもよい。これにより、表示装置で、所望のフィルタリング領域を第１のフィルタリン
グ演算で変換した結果と第２のフィルタリング演算で変換した結果とを比較することがで
きる。ここで、表示装置には、フィルタリング演算を行った領域のみ又はフィルタリング
演算を行った領域とその周辺領域のみを表示してもよいし、フレーム全体を表示してもよ
い。
【００４０】
本発明の方法および装置はモバイル機器で用いられることができる。モバイル機器は、
モバイル電話、パーソナル・デジタル・アシスタント、デジタル音楽プレーヤー、デジタ
ルカメラ、携帯型のプロジェクタまたは他の同様な機器などのコンピュータまたは通信シ
ステムである。本発明の実施形態は全般的なコンピュータおよび通信システムおよびデバ
イスについて記載しているが、本発明はそれらに限定されず、画像データを処理する能力
がある任意の機器に用いられることができる。
【００４１】
図２は、本発明の一実施形態によるデジタル画像の領域をフィルタリングするグラフィ
ックス・システム２０のブロック図を示す。グラフィックス・システム２０はモバイル機
器であってもよい。グラフィックス・システム２０がモバイル機器である場合には、電池
（図示せず）によって給電される。グラフィックス・システム２０はホスト２４、グラフ
ィックス表示装置２６、およびカメラ・モジュールまたは画像センサ２８（カメラ）など
の１つまたは複数の画像データソースを含むことができる。ホスト２４は画像データのソ
ースとなり得るので、「画像データソース」という語句はホスト２４を含んでもよい。
【００４２】
グラフィックス・システム２０は、表示コントローラ２２を含む。表示コントローラ２
２は、ホスト２４および他の画像データソースをグラフィックス表示装置２６とインター
フェース接続する。一実施形態において、表示コントローラ２２はシステムの残りの要素
とは別個の集積回路である。すなわち、表示コントローラ２２はホスト２４、画像センサ
２８およびグラフィックス表示装置２６から分離している。別の実施形態として、表示コ
ントローラ２２の１つまたは複数の機能は、システムの他のユニットによって実行されて
もよい。
【００４３】
ホスト２４は典型的にはマイクロプロセッサであるが、デジタル信号処理装置、コンピ
ュータ、またはデジタル回路での演算を制御するために用いられうる他の種類の機器また
でもよい。典型的には、ホスト２４は機械で読み取り可能な媒体内または媒体上に記憶さ
れた命令を実行することによって演算を制御する。ホスト２４は、表示コントローラ内の
ホスト・インターフェース（以降、ホストＩ／Ｆという）３２へのバス３０を介して表示
コントローラ２２と通信する。ホスト２４と表示コントローラ２２以外の他のデバイスが
バス３０と結合していてもよい。例えば、メモリ２９がバス３０と結合していてもよい。
【００４４】
メモリ２９は、例えばホスト２４によって使用される命令またはデータを記憶すること
もでき、また、表示コントローラ２２を用いて表示される画像データを記憶することもで
きる。メモリ２９はＳＲＡＭ、ＤＲＡＭ、フラッシュ、ハードディスク、光ディスク、フ
ロッピー（登録商標）ディスク、ＳＤカードまたは任意の他の形式のメモリであってよい
。
【００４５】
グラフィックス表示装置２６は画像データが表示される表示領域２６ａを有する。表示
装置バス３４はグラフィックス表示装置２６を、表示コントローラ２２内の表示装置・イ
ンターフェース（以降、表示Ｉ／Ｆという）３６を介して表示コントローラ２２に結合す
る。表示装置バス３４を介して、表示コントローラ２２から出力された画像データがグラ
フィックス表示装置２６に送信される。モバイル電話などの携帯式デジタル器具の表示装
置としてＬＣＤが典型的には用いられるが、画素データを視覚的に知覚可能な形式で表現
することができる任意のデバイスを用いることができる。本明細書では「表示装置」とい
う用語は、画像を表現する広範な機器のうち任意のものを指して広義で用いられる。表示
装置という用語は、プリンタやプロッタなどのハードコピー装置やプロジェクタを含むこ
とを意図している。表示装置という用語はさらに、採用されている特定の表示技術に関わ
らず、ＣＲＴ、ＬＥＤ、ＯＬＥＤおよびプラズマ・デバイスなどの様々な種類の表示装置
を含むことができる。
【００４６】
画像センサ２８は２つ以上の異なる解像度のフレームを提供することができる。すなわ
ち、画像センサ２８は、第１の解像度でセンシングを行ったり、第１の解像度より解像度
が低い第２の解像度でセンシングを行ったりすることができる。例えば、画像センサは第
１の解像度に対応する最大解像度または第２の解像度に対応する低解像度のいずれかのフ
レームを提供することができる。最大解像度のフレームは典型的にはビデオフレームレー
トよりも低い第１のフレームレートで出力される。低解像度のフレームは、低解像度表示
スクリーンである可能性がある表示スクリーン等の表示領域２６ａで見るために第１のフ
レームレートより高い第２のフレームレート、例えば３０ｆｐｓなどのビデオフレームレ
ートで出力することができる。高解像度フレームは表示コントローラ２２に含まれるメモ
リ３８、表示コントローラ２２とバス３０を介して接続されるメモリ２９に記憶されても
よいし、フラッシュ・メモリ・カードなどの不揮発性メモリ等の別の記憶装置に記憶され
てよい。フラッシュ・メモリ・カードに記憶された高解像度フレームは、メモリ・カード
に長期間保存されてもよいし、更に他のデバイスに転送することで、高解像度表示装置で
画像を閲覧したり、紙に印刷したりすることもできる。低解像度フレームは、グラフィッ
クス表示装置２６で表示してユーザが確認した後に、それに対応する高解像度フレームを
記憶装置に保存し、低解像度フレームは破棄することもできる。さらに説明すると、高解
像度は例えば４８０×６４０、それに対して低解像度は１２０×１６０であってよい。こ
れにより、フィルタリング演算のパラメータを選択するための画像データを第２の解像度
にして第２の転送レートで画像センサ２８から表示コントローラ２２に転送し、フィルタ
演算を実行するための保存用の画像データを第２の解像度より高い第１の解像度にして第
２の転送レートより遅い第１の転送レートで転送することにより、画像センサ２８がセン
シングしてからユーザがフィルタ演算を選択するための工程までの時間を短くすることが
できる。
【００４７】
一実施形態として、解像度を落とす方法を挙げたが、フィルタリング演算のパラメータ
を選択する工程ではフィルタリング領域のみ又はフレームの一部のみを転送及び表示し、
保存用の工程ではフレーム全体を転送及び表示してもよい。
【００４８】
表示コントローラ２２内のカメラ・インターフェース（以降、カメラＩ／Ｆという）４
０は画像センサ２８に結合されたメモリ・コントローラ４２のデータライン上に出力され
た画素データを受け取る。垂直および水平同期化信号ならびにカメラ・クロック信号がメ
モリ・コントローラ４２あるいは別のバスを介してカメラＩ／Ｆ４０に送信されてよい。
【００４９】
メモリ３８は表示コントローラ２２に含まれている。メモリ３８は画像データおよび他
の種類のデータを記憶するために用いられる。別の実施形態では、メモリ３８は表示コン
トローラ２２外に設けられていてもよい。メモリ３８はＳＲＡＭ等であるが、ＤＲＡＭ、
フラッシュ・メモリ、ハードディスク、光ディスク、フロッピー（登録商標）ディスク、
ＳＤカードまたは任意の他の形式のメモリであってよい。
【００５０】
メモリ・コントローラ４２は、メモリ３８、ホストＩ／Ｆ３２およびカメラＩ／Ｆ４０
に結合されている。それによりホスト２４と画像センサ２８がメモリ３８にアクセスする
ことを可能にしている。データはメモリ・コントローラ４２の制御によってメモリ３８に
記憶され、メモリ３８から読み出される。さらに、メモリ・コントローラ４２は画像セン
サ２８、メモリ２９またはホスト２４から受け取る画像データを画素変換部としての画素
修正部４４に対して供給することができる。概ねメモリ・コントローラ４２は画像データ
を画素修正部４４に特定の順序、例えばラスタ順に供給する。
【００５１】
画素修正部４４は、画像データのフレーム１４の少なくとも１つの領域をフィルタリン
グするために表示コントローラ２２に設けられている。画素修正部４４は、メモリ・コン
トローラ４２に結合されている。メモリ・コントローラ４２を介して、ホスト２４、画像
センサ２８またはメモリ３８などのメモリ・コントローラ４２に結合された任意の画像デ
ータソースから画像データを受け取ることができる。また、画素修正部４４は、パラメー
タ・メモリ４６に結合されている。パラメータ・メモリ４６は、画素修正部４４によって
使用されるフィルタリング・パラメータの情報を記憶しており、画素修正部４４は、パラ
メータ・メモリ４６からそれらの情報を受信することができる。一実施形態において、パ
ラメータ・メモリ４６は、表示コントローラ２２の外に設けられた複数のレジスタである
。別の実施形態として、パラメータ・メモリ４６は、メモリ３８のメモリ領域の一部であ
ってもよい。
【００５２】
画素修正部４４は表示パイプ４８に結合され、表示パイプ４８に画素修正部４４で変換
された画像データを送信する。次いで画像データは表示パイプ４８から表示Ｉ／Ｆ３６に
送信される。一実施形態において表示パイプ４８はＦＩＦＯバッファである。画像データ
は、表示Ｉ／Ｆ３６から表示装置バス３４を介してグラフィックス表示装置２６に送られ
る。
【００５３】
図３は、画素修正部４４の一例を示すブロック図である。画素修正部４４は、選択回路
（図示なし）と少なくとも１つのフィルタリング回路とを含む。選択回路は、フィルタリ
ングを指定された領域内において選択された画素座標の画素を選択する。フィルタリング
回路は、その領域に対して指定されたフィルタリング演算に従って、選択回路によって選
択された画素を修正する。画素修正部４４は２つのフィルタ、すなわち第１のフィルタ５
０と第２のフィルタ５２を含む。別の実施形態として任意の数のフィルタを設けてもよい
。一実施形態においては、画素修正部４４に第１のフィルタ５０と第２のフィルタ５２の
２つのフィルタが配設される。第１のフィルタ５０は上述した第１の種類のフィルタであ
り、第２のフィルタ５２は第２の種類のフィルタである。さらに、画素修正部４４は、座
標トラッキング・モジュール５６と、選択部５８を備え、バッファ５４を備えていてもよ
い。
【００５４】
画素修正部４４の出力部は、選択部５８の第１の入力部である「０」データ入力とバッ
ファ５４の入力部に結合されている。バッファ５４の出力部は第１のフィルタ５０の入力
部と第２のフィルタ５２の入力部に結合されている。第１のフィルタ５０の出力部は、選
択部５８の第２の入力部である「１」データ入力に結合され、第２のフィルタ５２の出力
部は選択部５８の第３の入力部である「２」データ入力に結合されている。
【００５５】
選択部５８は、第１の入力部〜第３の入力部である３つのデータ入力部と、第１の入力
部〜第３の入力部で受信した画像データのいずれかを出力する出力部と、第１の入力部〜
第３の入力部で受信した画像データのいずれを出力するかを制御する選択信号を受信する
選択信号入力部「ＳＥＬ」とを有する。選択信号入力部「ＳＥＬ」は、座標トラッキング
・モジュール５６の出力に結合されている。選択部５８の第１のデータ入力部はメモリ・
コントローラ４２に結合されている。一実施形態において、選択部５８は３対１のマルチ
プレクサである。別の実施形態として、選択部５８は２対１のマルチプレクサであってよ
い。より概括的には、選択部５８は、２以上の入力のうち１つを選択して出力する任意の
種類の復号回路であってよい。
【００５６】
座標トラッキング・モジュール５６はメモリ・コントローラ４２から受信したフレーム
をモニタして、受信した画素のフレーム内での座標位置を特定する。また、座標トラッキ
ング・モジュール５６は、バッファ５４に保存されているフィルタリング領域のフレーム
内での開始座標と横方向（Ｘ座標）の開始座標と終了座標ならびに縦方向（Ｙ座標）の開
始座標および終了座標を読み出すことができる。それにより、座標トラッキング・モジュ
ール５６は、画素修正部４４が受信した画素のフレーム内での座標を特定することで、そ
れらの画素が、フレームのフィルタリングを指定された領域内にあるかどうかを判断する
。複数の領域がフィルタリング領域として指定されている場合、座標トラッキング・モジ
ュール５６は特定の画素がフィルタリングを指定された領域のうち１つにあるかどうかを
判断する。すなわち、受信したフレームが第１のフィルタリング領域と第２のフィルタリ
ング領域を有する場合、座標トラッキング・モジュール５６は、その画素が第１のフィル
タリング領域と第２のフィルタリング領域の少なくともいずれか一方に含まれるのかを判
定する。別の実施形態として、そのフレームで第１のフィルタリング領域と第２のフィル
タリング領域との２つのフィルタリング領域が設定されている場合において、第１のフィ
ルタリング領域についてのフィルタリング演算を実行しているときは、その画素が第１の
フィルタリング領域に含まれるか否かを判定し、第２のフィルタリング領域についてのフ
ィルタリング演算を実行しているときは、その画素が第２のフィルタリング領域に含まれ
るか否かを判定し、演算を実行していないときは、その画素が第１のフィルタリング領域
と第２のフィルタリング領域のいずれかに含まれるか、いずれにも含まれないかを判定し
てもよい。座標トラッキング・モジュール５６は、各画素に関連した一意的行列座標を、
フィルタリングを指定された各領域の境界座標に比較することによって、フレーム内の画
素の位置を識別することができる。
【００５７】
バッファ５４は、フィルタリングを指定されているフレーム内の各領域の座標を記憶す
ることができる。座標トラッキング・モジュール５６は、受信した画素がフィルタリング
を指定されたフレームの少なくとも１つの領域内にあるかどうかを判断する機能の一環と
して、バッファ５４にアクセスする。例えば、バッファ５４は、フィルタリングを指定さ
れた各領域の境界を規定する横方向（Ｘ座標）の開始座標と終了座標ならびに縦方向（Ｙ
座標）の開始座標および終了座標を記憶している。さらに、バッファ５４はフィルタリン
グ対象の各領域に関連した情報を記憶することができる。この情報は、特定のフィルタを
指定することができる。例えば、第１のフィルタ５０をフィルタリング領域１６に適用し
、第２のフィルタ５２をフィルタリング領域１８に適用することができる。さらにこの情
報は、フィルタに対して特定のパラメータを指定することができる。例えば、フィルタリ
ング領域１６は第１のフィルタ５０および第１のパラメータを使用し、フィルタリング領
域１８は第１のフィルタ５０および第２のパラメータを使用したり、フィルタリング領域
１６は第１のフィルタ５０および第１のパラメータを使用し、フィルタリング領域１８は
第２のフィルタ５２および第２のパラメータを使用したりことができる。
【００５８】
画素修正部４４内での画素データの流れについて説明する。処理対象である画素がフィ
ルタリング対象の領域内にない場合、座標トラッキング・モジュール５６は、画素修正部
４４の入力部とバッファ５４及び選択部５８との間に設けられた選択回路（図示なし）に
よりその画素のデータを選択部５８の「０」入力に供給し、選択部５８は「０」入力を選
択して出力する。これにより、選択部５８は、フィルタでのフィルタリングを行っていな
い画素データを出力し、その画素データを表示パイプ４８が受信する。他方、処理対象で
ある画素がフィルタリング対象の領域内にある場合、座標トラッキング・モジュール５６
は、選択回路によりその画素をバッファ５４へ供給させる。次にその画素の画素データは
、バッファ５４から第１のフィルタ５０、第２のフィルタ５２に送られ、そのフィルタの
両方のフィルタリングに供される。第１のフィルタ５０の出力と第２のフィルタ５２の出
力の両方が選択部５８に供給される。座標トラッキング・モジュール５６は、そのフィル
タのうち１つの出力を、例えば選択部５８に「１」または「２」の入力を選択させること
によって、表示パイプ４８に送ることもする。前述の選択回路を設けず、選択部５８に、
画素修正部４４の入力部からの画素、第１のフィルタ５０の出力部からの画素及び第２の
フィルタ５２の出力部からの画素を全て選択部に入力し、選択部５８に「０」「１」「２
」の入力の中から１つを選択して出力させることによって、表示パイプ４８に送ることも
する。選択部５８の第１の入力部から第３の入力部に画素データを供給し、選択部５８に
よって出力を選択することにより、例えば、選択部５８の前段の回路が簡単になり、処理
速度が向上する可能性がある。別の実施形態として、バッファ５４から第１のフィルタ５
０と第２のフィルタ５２のいずれか一方に画素を供給してもよい。また、第１のフィルタ
５０と第２のフィルタ５２の両方に画素を供給するものの、第１のフィルタ５０と第２の
フィルタ５２のいずれか一方を活性化することで、第１のフィルタ５０と第２のフィルタ
５２のいずれか一方から画素データが出力されるようにしても良い。第１のフィルタ５０
と第２のフィルタ５２の両方が非活性化している場合は、選択部５８に、画素修正部４４
の入力部からのフィルタリング演算が行われていない画素のみが「０」に入力される。別
の実施形態を用いると、第１のフィルタ５０と第２のフィルタ５２のいずれか一方でフィ
ルタリング演算が行われるため、画素修正部４４の消費電力を低減することができる。
【００５９】
一の実施形態として、バッファ５４は、特に複数の画素を入力として必要とするフィル
タ、すなわち第２の種類のフィルタが画素修正部４４に含まれている場合に必要とされる
。座標トラッキング・モジュール５６は、フィルタが単一の画素を入力として必要とする
第１の種類のフィルタである場合は、バッファを通さずに画素をフィルタへと通過させる
こともできる。別の実施形態として、フィルタが複数の画素を入力として必要とする第２
の種類のフィルタの場合も、メモリ・コントローラ４２がフィルタリング演算に必要な２
以上の画素をすべてフェッチするならばバッファ５４を省略することもできる。しかしこ
のことはメモリ３８からの繰返したフェッチを必要とし得るので、第２の種類のフィルタ
での使用においてはバッファ５４の使用が望ましい。
【００６０】
バッファ５４は少なくとも２つの画素を記憶するキャパシティがある。バッファ５４に
必要とされるキャパシティは、フィルタの要件次第である。第２のフィルタ５２が３×３
のフィルタ・ウィンドウを用いている場合、バッファ５４は３列の画素を記憶するキャパ
シティを持つこととなる。例えば、９個の画素を記憶するキャパシタを有する。第２のフ
ィルタ５２が９×９のフィルタ・ウィンドウを用いている場合、バッファ５４は９列の画
素を記憶するキャパシティを持つこととなる。例えば、８１個の画素を記憶するキャパシ
タを有する。
【００６１】
座標トラッキング・モジュール５６は２以上の画素をバッファ５４に記憶させることが
できる。さらに、座標トラッキング・モジュール５６は１つまたは複数の画素が後続フィ
ルタリング演算に必要となることを「見越して」予見することができる。言い換えると、
座標トラッキング・モジュール５６は、パラメータ・メモリ４６又はメモリ・コントロー
ラ４２からの情報により、提示された画素が、未だ提示されていない画素のフィルタリン
グのために必要となるかどうかを判断することができる。その提示された画素が必要とな
る場合には座標トラッキング・モジュール５６はそれをバッファ５４に記憶させる。別の
実施形態では、座標トラッキング・モジュール５６はフレームの最初の行から開始して、
バッファ５４に１つまたは複数の画素行を保存する。別の実施形態では、座標トラッキン
グ・モジュール５６は、その時点で提示されている画素が、後続フィルタリング演算のた
めに必要となるかの判断ができるまでバッファ５４への保存を開始しない。例えば、列Ｎ
が、３×３のフィルタでのフィルタリングを指定された領域の最初の行である場合、座標
トラッキング・モジュール５６は画素の提示をモニタし、Ｎ−１行が提示されたとき、画
素をバッファ５４に記憶させることを開始する。
【００６２】
座標トラッキング・モジュール５６は、バッファ５４に保持されている画素のうちどの
画素をフィルタに転送するかの制御も行う。第１種類のフィルタ、例えば第１のフィルタ
５０が用いられる場合、あるフィルタリング領域の１回のフィルタリング演算処理におい
てバッファ５４から単一の画素がフィルタに転送される。第２種類のフィルタ、すなわち
複数の画素を入力として必要とするフィルタ、例えば第２のフィルタ５２が用いられる場
合、座標トラッキング・モジュール５６は、１回のフィルタリング演算処理において、フ
ィルタが必要とする複数の画素をバッファ５４から第２のフィルタ５２に転送させる。あ
るフィルタリング領域の１回のフィルタリング演算処理において、バッファ５４に記憶さ
れている特定の画素が複数のフィルタリング演算に必要とされることがあるため、同じ画
素がバッファ５４から第２のフィルタ５２に複数回転送されることがある。例えば、第２
の画素をフィルタリング演算するために、第２の画素の前後に位置する第１の画素と第３
の画素を第２のフィルタ５２に転送し、フィルタリング演算された第２の画素がバッファ
５４から出力された後に、第３の画素をフィルタリング演算するために、第３の画素の前
後に位置する第２の画素と第４の画素を第２のフィルタ５２に転送する場合がある。この
場合、第２の画素はバッファ５４から第２のフィルタ５２へ２回転送される。バッファ５
４が省略された別の実施形態では、座標トラッキング・モジュール５６はフィルタが必要
とする画素を画像データソース、例えばメモリ３８、からフィルタに転送させる。
【００６３】
画素修正部４４は２以上の別個のフィルタリング演算を実行することができる。上述し
たように、パラメータ・メモリ４６は、フィルタリング対象となる複数の領域を指定する
ことができる。複数の指定された領域の各々に対して、パラメータ・メモリ４６は特定の
フィルタを指定するとともに特定の係数またはパラメータを指定することができる。一実
施形態において、画素修正部４４はＮ個の別個のフィルタを用いてＮ回のフィルタリング
演算を実行することができる。一実施形態ではＮ回のフィルタリング演算を並行して行う
こともできる。例えば、第Ｎのフィルタである画素のフィルタリング演算を実行している
場合、次の画素を第Ｎのフィルタと同じ種類のフィルタである第Ｎ＋１のフィルタでフィ
ルタリング演算を実行することができる。別の実施形態では、画素修正部４４はＮ個より
少ない別個のフィルタを用いつつフィルタの係数またはパラメータを変えてＮ回のフィル
タリング演算を実行することができる。この別の実施形態では、例えばフィルタ係数を変
えることにより１つのフィルタを用いて２以上のフィルタリング演算を実行することがで
きる。例えば、第１のフィルタ５０により第１の係数又は第１のパラメータを用いて第１
のフィルタリング領域に対して第１のフィルタリング演算を実行し、第１のフィルタリン
グ演算の終了後、再び第１のフィルタ５０を用いて第２の係数又は第２のパラメータで第
２のフィルタリング演算を第２のフィルタリング領域に対して実行することができる。第
１のフィルタ５０で第１のフィルタリング演算及び第２のフィルタリング演算を実行して
いる間に、第２のフィルタ５２で第１のフィルタリング演算及び第２のフィルタリング演
算とは別の第３のフィルタリング演算を行うこともできる。こうして各領域に異なるフィ
ルタ係数を使用することによって、単一のフィルタを用いて、２以上の別個のフィルタリ
ング演算をフレームの２以上の異なる領域に対して適用することができる。２以上のフィ
ルタリング演算が通常可能であるため、別個のフィルタリング演算を１つのフレームの異
なる領域に同時に適用することができる。また、同じフィルタリング演算を異なるフレー
ムに同時に適用することもできる。
【００６４】
フィルタ効果を最低量の処理で作り出すことができ、より早く、かつ既知の方法に必要
とされるよりも少ない電力で効果を作り出すことを可能にしている。さらに、フィルタ効
果はリアルタイムで作り出されることができる。このことは、画像データをバッファする
必要が皆無または少ないため、メモリ要求量を下げることができる。さらに、このことは
ユーザが複数のフィルタ効果を実質的に即座に、かつ画像が最終的に不揮発性の外部メモ
リに取り込まれたり紙に出力されたりする前に見ることを可能にする。
【００６５】
表示コントローラ２２は、サンプリング回路６０（図２参照）を含んでいても良い。画
素修正部４４が受信する画像データは、高解像度画像を表している場合もあり、低解像度
画像を表している場合もある。画像データは画像データソース、例えば画像センサ２８に
よって高解像度のフォーマットまたは低解像度フォーマットで供給されるか選択すること
ができる。別の実施形態として、表示コントローラ２２は、画像センサ２８からカメラＩ
／Ｆ４０を介して受信した第１の解像度を持つ画像データのフレームを、第１の解像度よ
りも低い第２の解像度に変換するオプションのサンプリング回路６０（図２参照）を含ん
でいてもよい。例えば、サンプリング回路６０は高解像度または最大解像度の画像データ
を、低解像度のフレームに変換することができる。図４の方法によれば、例えば「場面を
フレーミングする」際に、低解像度のフレームのストリームはビデオ画像としてグラフィ
ックス表示装置２６に受信されグラフィックス表示装置２６に表示することで、ユーザが
低解像度の画像で表示コントローラ２２からの出力を確認できる。ユーザが１つまたは複
数のフィルタリング・パラメータを選択することで、１つまたは複数のフィルタリング演
算がそのビデオ画像に適用される。ユーザはフィルタリング・パラメータをインタラクテ
ィブに調整し、そのフィルタリング演算にユーザが満足するまで、表示ビデオ画像を修正
することができる。満足した時点でユーザは、フィルタリング演算した低解像度に対応す
る高解像度の画像をメモリ２９または画像センサ２８から受信し、高解像度の画像にフィ
ルタリング演算を実行し、その画像を高解像度の写真としてメモリ２９に取り込むことが
できる。
【００６６】
図４は、一実施形態による方法のフローである。ステップ６２において、パラメータ・
メモリ４６によって、フレームの１つまたは複数の領域がフィルタリングを指定される。
指定されたフィルタリング領域の各々に対してフィルタリング演算が指定される。具体的
には、パラメータ・メモリ４６に保存された情報に基づき、フィルタリング演算の種類及
びフィルタリング演算で使われるフィルタリング・パラメータが指定される。次いで、画
素修正部４４がメモリ・コントローラ４２からフレームを受信する（ステップ６４）。こ
こで、受信されるフレームは低解像度のフレームであることが好ましい。低解像度のフレ
ームの演算は高解像度のフレームの演算よりも処理時間が短く、処理に要する消費電力も
少ない。表示スクリーン上でユーザがそのフィルタリング処理が適切であるか否かを確認
するためには、グラフィックス表示装置２６の解像度以上であれば低解像度のフレームに
よるフィルタリング演算の結果で十分である。次いで、指定されたフィルタリング演算が
指定されたフィルタリング領域（フィルタリング領域群）に適用される（ステップ６６お
よびステップ６８）。
【００６７】
画素の選択（ステップ６６）は、座標トラッキング・モジュール５６によって行われ、
フィルタリング演算（ステップ６８）は、第１のフィルタ５０または第２のフィルタ５２
によって行われる。ここで、１つのフィルタリング領域を分割し、そのフィルタリング領
域の一部についてのみフィルタリング演算を実行して次のステップに進んでも良い。また
は、複数のフィルタリング領域が存在する場合は複数のフィルタリング領域のうちの１つ
のフィルタリング領域についてのみフィルタリング演算を実行して次のステップに進んで
も良い。
【００６８】
次に、ユーザがフレームを取り込むことを選択したかどうかを判断するためにステップ
７０でテストを行う。後述するステップ７６でフレームの取り込みを選択した場合はステ
ップ８０へ進み、フレームの取り込みを選択しなかった場合はステップ７２へ進む。ステ
ップ７２でフレームがグラフィックス表示装置２６に表示される。ステップ７０において
、ユーザがフィルタリング・パラメータを変更したいかどうか、例えばフィルタリング領
域またはフィルタリング演算に用いるパラメータを変更したいかどうかを判断するために
別のテストが行われる。
【００６９】
ユーザがそのビデオ画像に満足していない場合、ステップ７４からステップ６２に戻っ
て１回目のフィルタリング演算で用いたフィルタ・パラメータと異なるフィルタ・パラメ
ータを再設定することができる。再設定するフィルタ・パラメータは、ユーザが選択する
こともできるし、アルゴリズムによって選択されることもできる。フィルタ・パラメータ
が更新されると、パラメータ・メモリ４６に保存されているパラメータの変更を加えた箇
所が書き換えられる。
【００７０】
ステップ６４からステップ７０までの処理を実行し、２回目のフィルタリング演算を行
う。２回目のフィルタリング演算でも、１回目のフィルタリング演算と同一種類のフィル
タを用いる。例えば、１回目のフィルタリング演算で第１の種類のフィルタが用いられて
いた場合は、２回目のフィルタリング演算でも第１の種類のフィルタが用いられる。フィ
ルタ回路は、１回目のフィルタリング演算で用いたフィルタ回路と同一のフィルタを用い
ることができる。そのため選択部５８は、１回目のフィルタリング演算からステップ８０
でフレームが保存されるまで、同じ入力部からの入力を出力し続ける。別の実施形態では
、同一種類の別のフィルタ回路を用いることができる。ステップ７６でフレームの取り込
みを選択して、ステップ７０からステップ８０に進むまで同一種類のフィルタが用いられ
る。２回目のフィルタリング演算では、１回目のフィルタリング演算を行った画像に対し
てフィルタリング演算を実行することができる。別の実施形態では、２回目のフィルタリ
ング演算では、１回目のフィルタリング演算を行う前の原画像に対してフィルタリング演
算を実行することができる。
【００７１】
他方、ユーザがフィルタリング演算に満足してメモリ２９への保存や紙等への出力をす
る場合、ユーザはステップ７６においてその画像をメモリ２９などに取り込む工程に進め
られる。ユーザがその画像を取り込みたい場合、ユーザは例えば「シャッター」ボタンを
押して写真を撮影することができる。例えば、一実施形態として、ボタンの操作をトリガ
に、表示コントローラ２２に既に取り込まれた画像をメモリ２９に保存することができる
。別の実施形態としては、ボタンの操作をトリガに画像センサ２８から画像を取り込み、
新たに取り込んだ画像を表示コントローラ２２で画像処理してもよい。ユーザがその画像
を取り込むことを望まず低解像度の画像に対するフィルタリング演算が再度行われる場合
、ステップ７６からステップ６４に戻る。
【００７２】
ステップ７６においてフレームの取り込みを判断することにより、カメラ・モジュール
に単一のフレームを高解像度で出力できる（ステップ７８）。一実施形態として、ステッ
プ７６においてフレームの取り込みが選択された場合、ステップ７８において解像度を設
定する。例えば、ステップ７８においてフィルタリング・パラメータを決定するためにユ
ーザがプレビューを行う前述の工程よりも、高い解像度に設定することができる。これに
より、フィルタリング・パラメータを決定するためのフィルタリング演算では低解像度で
処理をするため高速かつ低消費電力でグラフィックス表示装置２６に画像を出力すること
ができ、フィルタリング・パラメータを決定後のフィルタリング演算ではフィルタリング
・パラメータを決定する工程よりも高い解像度の画像に対してフィルタリング演算を実行
するため、高解像度の画像を保存又は出力することができる。別の実施形態として、サン
プリング回路６０が非活性化されてもよい（ステップ７８）。これにより、フィルタリン
グ・パラメータ決定工程よりも高解像度の画像を保存又は出力することができる。さらに
別の実施形態では、ステップ７８を省略して解像度を変更せずに、フィルタリング・パラ
メータ決定工程（ステップ６２〜ステップ７４）と同じ解像度のフレーム又はフィルタリ
ング・パラメータ決定工程の演算結果をメモリ２９に取り込んでもよい。また、フィルタ
リング・パラメータ決定工程（ステップ６２〜ステップ７４において、フィルタリング領
域の一部を選択してフィルタリング演算を実行した場合は、ステップ７８においてフィル
タリング領域の全体を選択することができる。
【００７３】
次いで、フレームを取り込むことを決定した後で、方法はステップ６４に戻り、そこで
次のフレーム又はサンプリング回路６０で低解像度に変換されていない高解像度のフレー
ムが画像センサ２８から取り込まれる。ステップ６２で取り込まれたフィルタリング・パ
ラメータに基づいて、指定されたフィルタリング演算が指定されたフィルタリング領域（
群）に再び適用される（ステップ６６およびステップ６８）。ここで、ステップ６４に戻
る前と同じフィルタリング・パラメータがステップ６４に戻る前と同じフィルタリング領
域（群）に同一種類のフィルタ回路を用いて適用されるが、フレームを取り込むことを決
定している場合は、フィルタリング演算は新しく取り込まれたフレームに対して適用され
る。ユーザがフレームを取り込むことを選択したかどうかを判断するためにステップ７０
においてテストを実行される。ステップ７０で、ユーザがフレームを取り込むことを選択
したと判断されればステップ８０に分岐し、そこでフレームはメモリに記憶されることが
できる。フィルタリング演算を実行したフィルタリング領域の画像と他の領域の画像とを
合成して保存する。フレームは、メモリ２９，３８に記憶されてもよく、または不揮発性
メモリ、例えばフラッシュ・メモリ・カードなどの別のメモリに記憶されてもよい。
【００７４】
ステップ８０での処理後、フレームにフィルタリング演算がされていない第２のフィル
タリング領域が存在する場合は、そのフィルタリング領域に対してフィルタリング演算を
実行するためにステップ６２からの処理を第１のフィルタリング領域と同様に行う。メモ
リ・コントローラ４２からの指示に基づいて、第１の種類のフィルタと第２の種類のいず
れか一方のフィルタが選択され、パラメータ・メモリ４６に保存されているパラメータに
基づいて指定されたフィルタリング演算が実行される。第２のフィルタリング領域の画像
は、前のフィルタリング演算を実行した画像が保存されているメモリ２９又はメモリ３８
から読み込む。フレームの全てのフィルタリング領域に対してフィルタリング演算がされ
ると、フレームの処理が終了する。
【００７５】
第２の実施形態について、図５と図６（Ａ）、（Ｂ）を用いて説明する。第２の実施形
態において、低解像度ビデオフレームのストリームが、画素修正部４４に供給され、２以
上の選択されたビデオフレームのストリームの領域をリアルタイムでフィルタリングする
。一例として、図６（Ａ）にフィルタリング前の検視されている場面の原画像を示す。図
６（Ａ）で表示されている画像は、例えば、フィルタリングなしの低解像度モードである
。図６（Ｂ）は、フィルタリング演算が実行された後の画像を示している。フレーム２１
は、１６個のフィルタリング領域８１に分割されている。例えば、各フィルタリング領域
８１は同じサイズである。フィルタリング領域８１のうち、フィルタリング領域８３はフ
ィルタリング演算処理がされていない。フィルタリング領域８３を除くフィルタリング領
域８１の各々には、別個のフィルタリング演算が実行されている。
【００７６】
図６（Ａ）に示された画像は、画像センサ２８から表示コントローラ２２が受信した原
画像の画像データである。ここで、原画像が光量不足状態により暗すぎ、その画像を明る
くすることが望ましい場合を想定する。図６（Ｂ）は、フレーム２１よりも明るいか暗い
かのいずれかである１２個のフィルタリング領域８１を示す。フィルタリング演算が実行
された領域の画像と、フィルタリング演算が実行されていない領域の画像とを比較するた
め、フィルタリング領域８３はフィルタリングされていない。この例では、フィルタリン
グ領域８１それぞれに同じタイプ（輝度の調整）のフィルタが用いられているが、それぞ
れの領域に異なるフィルタリング・パラメータが用いられている。フィルタリング演算の
タイプが画像データを受信したときに定められており、ユーザは定められているフィルタ
リング演算の結果をプレビューしてフィルタリング演算のタイプを変更することが好まし
いが、１回目のフィルタリング演算を開始する前にユーザがフィルタリング演算のタイプ
を選択できてもよい。フィルタリング・パラメータも画像データを受信したときに、ホス
ト２４やメモリ・コントローラ４２が実行するアルゴリズムによって又はメモリ３８やパ
ラメータ・メモリ４６が保存している初期値によって設定され、１回目のフィルタリング
演算後にユーザが演算結果の画像を参照して再設定してもよいし、１回目のフィルタリン
グ演算を開始する前にユーザがフィルタリング演算のフィルタリング・パラメータを選択
できてもよい。図６（Ｂ）が示すように、写真を撮影して、画像にフィルタをかけて画質
を向上させたい臨時の写真家は、様々なフィルタ・パラメータまたは様々なフィルタを適
用した結果をリアルタイムで見てプレビューすることができる。プレビュー・フィルタリ
ング演算は低解像度画像または高解像度画像いずれかに実行されることができる。様々な
フィルタリング演算をプレビューした後で、ユーザはフィルタリング演算のうち１つを選
択することができ、その演算を画像全体に適用させることができる。そして画像は高解像
度で写真として取り込まれることができる。
【００７７】
図５は、図６（Ａ）の画像から図６（Ｂ）の画像に変換するフィルタリング演算につい
て説明したフローである。まず、フィルタリング領域と、各領域に関するフィルタリング
・パラメータが設定される（ステップ８２）。別の実施形態では、フィルタリング領域と
フィルタリング・パラメータは初期値にされており、初期値に基づいて１回目のフィルタ
リング演算が実行され、ユーザがその演算結果をプレビューして、フィルタリング領域と
フィルタリング・パラメータを変更できるようにすることが好ましい。この実施形態では
、２以上のフィルタリング領域が指定されている。例えば、第１のフィルタリング領域と
第２のフィルタリング領域が設定されている。
【００７８】
次に、画素修正部４４がメモリ・コントローラ４２から画像データのフレームを受信す
る（ステップ８４）。受信されるフレームは、ステップ１０５の後で最終的に保存される
フレームよりも低解像度の画像であることが好ましい。
【００７９】
次に、フィルタリング領域内の画素が、座標トラッキング・モジュール５６によって選
択される（ステップ８６）。その選択された画素は、選択された画素が配置されたフィル
タリング領域向けのフィルタリング演算に従って第１の種類のフィルタ又は第２の種類の
フィルタで変換される（ステップ８８）。この実施形態においては、２以上のフィルタリ
ング演算が指定されている。具体的には、まず、第１のフィルタリング領域の画素が選択
されて第１のフィルタリング演算が実行され、次に、第２のフィルタリング領域の画素が
選択されて第２のフィルタリング演算が実行される。
【００８０】
次いで、フィルタ処理後のフレームがグラフィックス表示装置２６に表示される（ステ
ップ９０）。次にユーザは、フィルタリング領域のうち１つを選択することによってフィ
ルタリング演算のうち１つを選択することができる（ステップ９２）。１つのフィルタリ
ング領域に対して、１つのフィルタリング演算が指定されているためである。例えば、フ
レームの同じ領域に第１のフィルタリング演算と第２のフィルタリング演算が指定される
場合は、同じ領域が第１のフィルタリング領域と第２のフィルタリング領域として指定さ
れる。この選択に基づき、選択されたフィルタリング演算に関連するフィルタリング・パ
ラメータが、フレームの少なくとももう１つの領域に対して設定される（ステップ９４）
。例えば、選択されたフィルタリング演算がフレーム全体に適用されることができる。
【００８１】
次に、後続のフレームが受信される（ステップ９６）。フィルタリング領域内の後続の
フレームの画素が選択され（ステップ９８）、選択されたフィルタリング演算に従って変
換される（ステップ１００）。そのフレームが表示される（ステップ１０２）。ステップ
１０３においてユーザはフレームを承認するか拒絶することができる。ステップ１０４に
おいて、承認したフレームが取り込まれることができる。上記に説明したように、フレー
ムの「取り込み」は、後続のフレームを受信する解像度を設定することを包含してもよい
。さらに、フレームの取り込みは、後続のフレームを受信、修正および記憶することを包
含してもよい。画像データが動画である場合は、第１のフレームで決定したフィルタリン
グ演算のタイプ、フィルタリング領域、フィルタリング・パラメータを、第１のフレーム
の次に受信した第２のフレームに適用してフィルタリング演算を実行することができる。
第２のフレームより後に受信したフレームにも第２のフレームと同じフィルタリング演算
を実行することもできる。これにより、第２のフレームより後に受信したフレームにおい
て、フィルタリング演算のタイプ、フィルタリング領域、フィルタリング・パラメータを
設定する必要が無いので、フィルタリング演算の処理時間やフィルタリング演算による消
費電力を抑制することができる。
【００８２】
図７では、写真の周辺の額縁を作成する方法を示している。図４や図５と同様の処理フ
ローを用いて額縁を作成することができる。図７において、指定されたフィルタリング領
域１０６は額縁形状である。フィルタリング領域１０６を黒、白、特定の色またはぼかし
で見せるフィルタリング演算を選択することができる。フィルタリング領域の設定により
額縁の位置や幅を選択でき、フィルタリング演算のタイプ、フィルタリング・パラメータ
の設定により、額縁の色を選択できる。ここでは、額縁となるフィルタリング領域１０６
は、原画像の外縁部より内側に設けているが、原画像を縮小して生成された空き領域を額
縁となる領域としてもよい。
【００８３】
図７の例を拡張すると、写真の背景領域を画定するフィルタリング領域を指定すること
ができる。例えば、人物の顔を画像の最前面に見せ、他の物体は背景すなわちフィルタリ
ング領域にすることができる。すなわち、フレームの人物の領域を第１のフィルタリング
領域に設定し、他の物体の領域を第２のフィルタリング領域に設定することができる。最
前面または背景のいずれかを明るくするか暗くする必要があると想定する。明るい領域と
暗い領域の間の適切なバランスは、背景のフィルタリング領域にフィルタリング演算を実
行することによって達成できる。別の実施形態として、背景部分にぼかしフィルタリング
演算を適用することによって最前面部分を強調することもできる。
【００８４】
画素修正部は、説明してきた機能ならびに別の機能を実行するために選択され設計され
た複数の別個のロジックゲートおよびデバイスで構成されることができる。別の実施形態
として、画素修正部はＶｅｒｉｌｏｇまたはＶＨＤＬなどのハードウェア定義言語によっ
て作成されたロジックゲートおよびデバイスで構成されることができる。別の方法では、
画素修正部は、原画像画素の一セグメントの画像データとともにメモリに記憶された命令
のプログラムを実行するために適切なプロセッサとメモリで構成されることもでき、その
場合命令のプログラムはプロセッサで執行されると、原画像画素から修生画素を作成する
方法を、上記に説明した方法に従って実行する。加えて、パラメータ・メモリ４６は１つ
または複数の記憶装置を備えることができる。パラメータ・メモリ４６は、表示コントロ
ーラのＩＣに組み込まれた単一または複数のフリップ・フロップなどの別個の装置であっ
てもよいし、またはパラメータ・メモリ４６などのメモリ内に１つまたは複数の記憶場所
を備えていてもよい。
【００８５】
特許請求の範囲に記載された発明は、ハードウェアで実行される画像データのフレーム
領域フィルタリング方法を実施する機械によって実行される命令のプログラムを具体化す
る機械で読み取り可能な媒体として具体化されることができる。機械で読み取り可能な媒
体またはコンピュータで読み取り可能な媒体は、コンピュータ・システムで後から読み取
ることができるデータを記憶することができる任意の記憶装置とすることができる。コン
ピュータで読み取り可能な媒体は、コンピュータ・コードが具体化された電磁搬送波を含
むこともできる。コンピュータで読み取り可能な媒体の例は、フラッシュ・メモリ、ハー
ド・ドライブ、ネットワーク添付記憶装置、ＲＯＭ、ＲＡＭ、ＣＤ、磁気テープおよびそ
の他の光学的ならびに非光学的データ記憶装置を含む。コンピュータで読み取り可能な媒
体は、コンピュータで読み取り可能なコードが分散方式で記憶され実行されるように、ネ
ットワークで連結されたコンピュータ・システムにわたり分散されていてもよい。
【００８６】
本明細書および特許請求の範囲で使用される「リアルタイム」という用語は、外部タイ
ムフレームに対して実行される演算を指す。より詳細には、リアルタイムは、演算を実行
している機械または装置に対して外部であるプロセスと比べて同じ速さまたはそれより早
く実行される演算または演算群を指す。例として、フレームの一領域をフィルタリングす
るためのリアルタイムの演算は、画像センサまたはメモリから画素が受信される速度、或
いは表示装置または表示装置の駆動回路により画素が要求される速度と同速度またはそれ
より速く進行する。
【００８７】
本明細書では、「一実施形態」または「一つの実施形態」という言及をしてきた。これ
らの言及は、その実施形態に関して説明した特定の特徴、構造または特性が、特許請求の
範囲に記載された発明の少なくとも１つの実施形態に含まれているということを意味する
。したがって、上記種々の箇所での「一実施形態において」または「一つの実施形態にお
いて」という語句は、必ずしもすべて同じ実施形態を指しているわけではない。さらに、
特定の特徴、構造または特性が１つまたは複数の実施形態に統合されていてもよい。
【００８８】
本明細書では、説明を不明瞭にしないために、当業者にはよく知られている特定の構造
、工程および操作に関しては詳細に説明していない。したがって、特許請求の範囲に記載
された発明の実施形態はそのような詳細が説明されていなくても実施されることができる
。他方、或る種の構造、工程および操作に関しては、それらの詳細が当業者にはよく知ら
れているものであったとしても幾分詳細に説明されている。それは、例えば当業者でない
読者の便宜を図ってなされたものである。したがって、特許請求の範囲に記載された発明
の実施形態は説明された詳細が多少なくてもあるいは皆無でも実施されることができる。
さらに、添付の特許請求の範囲の範囲内で或る種の変更および修正を実施できることは明
らかであろう。したがって、説明された実施形態は例示的であって限定的なものではなく
、特許請求の範囲に記載された発明は本明細書に挙げられた詳細に限定されるものではな
く、添付の特許請求の範囲の範囲内およびそれに相当するものの範囲内で変更されてよい
と見做される。
【００８９】
さらに、上記の明細書で採用された用語および表現は、説明用語として用いられたもの
であって限定するものではなく、そのような用語および表現を用いることで、示され説明
された特徴またはその一部に相当するものを除外する意図はなく、本発明の特許請求の範
囲は添付の特許請求の範囲のみによって規定され制限されることが認識されている。
【図面の簡単な説明】
【００９０】
【図１】第１のフィルタリング演算と第２のフィルタリング演算による、フィルタリングを指定された２つのフィルタリング領域を有する典型的なフレーム。
【図２】画素修正部を含む、説明した実施形態のうちいくつかによるデジタル画像の領域をフィルタリングするグラフィックス・システム２０のブロック図。
【図３】図２の画素修正部の一例を示すブロック図。
【図４】一実施形態による方法のフロー。
【図５】別の実施形態による方法のフロー。
【図６】（Ａ）、（Ｂ）は、それぞれ、予備的フィルタリングの前と後のシーンのオリジナル画像。
【図７】フレーム型領域の予備的フィルタリングの後のシーンの原画像。
【符号の説明】
【００９１】
２０…グラフィックス・システム、２４…ホスト、２９…メモリ、２８…画像センサ、
３８…メモリ、３２…ホストＩ／Ｆ、４０…カメラＩ／Ｆ、６０…サンプリング回路、４
２…メモリ・コントローラ、４４…画素変換部としての画素修正部、４８…表示パイプ、
４６…パラメータ・メモリ、３６…表示Ｉ／Ｆ、２２…表示コントローラ、５６…座標ト
ラッキング・モジュール、５４…バッファ、５０…第１のフィルタ、５８…選択部、５２
…第２のフィルタ。
【図２】
2008217785.tif 000003
【図３】
2008217785.tif 000004
【図４】
2008217785.tif 000005
【図５】
2008217785.tif 000006
【図１】
2008217785.tif 000007
【図６】
2008217785.tif 000008
【図７】
2008217785.tif 000009