(57)【要約】【課題】処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することが可能な、画像処理装置、画像処理方法、およびプログラムを提供する。【解決手段】画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、画像信号が示す画像に対応するフローベクトルとに基づいて、画像信号が示す画像を平滑化する度合いを調整するフィルタ調整部と、フィルタ調整部において調整された平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより画像信号が示す画像を平滑化するフィルタ処理部と、を備える画像処理装置が提供される。【選択図】図２
2012238099.tif 000002
【特許請求の範囲】
【請求項１】
画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、前記画像信号が示す画像に対応するフローベクトルとに基づいて、前記画像信号が示す画像を平滑化する度合いを調整するフィルタ調整部と、
前記フィルタ調整部において調整された前記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより前記画像信号が示す画像を平滑化するフィルタ処理部と、
を備える、画像処理装置。
【請求項２】
前記フィルタ調整部は、前記エッジ画素に対応するフローベクトルと前記画像における基準方向とがなす角度に対応して、前記度合いを調整する、請求項１に記載の画像処理装置。
【請求項３】
前記基準方向は、前記画像における垂直方向、または、前記画像における水平方向であり、
前記フィルタ調整部は、前記エッジ画素に対応するフローベクトルと前記画像における垂直方向とがなす角度が小さいエッジ画素、または、前記エッジ画素に対応するフローベクトルと前記画像における水平方向とがなす角度が小さいエッジ画素ほど、平滑化の度合いを大きくする、請求項２に記載の画像処理装置。
【請求項４】
前記フローベクトルを検出するフローベクトル検出部をさらに備える、請求項１に記載の画像処理装置。
【請求項５】
前記フローベクトル検出部は、前記エッジ情報が示す前記エッジ画素に対応するフローベクトルのみを検出する、請求項４に記載の画像処理装置。
【請求項６】
前記画像信号に基づいて前記エッジ画素を検出するエッジ検出部をさらに備える、請求項１に記載の画像処理装置。
【請求項７】
画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、前記画像信号が示す画像に対応するフローベクトルとに基づいて、前記画像信号が示す画像を平滑化する度合いを調整するステップと、
前記調整するステップにおいて調整された前記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより前記画像信号が示す画像を平滑化するステップと、
を有する、画像処理方法。
【請求項８】
画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、前記画像信号が示す画像に対応するフローベクトルとに基づいて、前記画像信号が示す画像を平滑化する度合いを調整するステップ、
前記調整するステップにおいて調整された前記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより前記画像信号が示す画像を平滑化するステップ、
をコンピュータに実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、画像処理装置、画像処理方法、およびプログラムに関する。
【背景技術】
【０００２】
画像信号が示す画像に含まれるノイズを低減することによってより高画質化を図るための画像処理として、例えば、ローパスフィルタなどのフィルタを用いたフィルタ処理が行われている。例えば、フィルタ処理により高画質化を図るための技術としては、処理対象の画像信号が示す画像におけるエッジ部分と非エッジ部分とにおいてフィルタのかけ方を変える、特許文献１に記載の技術が挙げられる。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００２−２１８２４８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
画像処理を行うことによって画像信号が示す画像に対して様々な効果を与えることが可能であり、例えば、あたかも画家が描いたような絵画調の効果（例えば、筆触効果等）が与えられた画像（以下、「絵画調の画像」と示す場合がある。）を、画像処理によって得たいというニーズが存在する。ここで、画像信号が示す画像に対して絵画調の効果をより効果的に与えるためには、例えば、当該画像に含まれるエッジを保存したまま、ノイズを低減させることが望ましい。しかしながら、例えば特許文献１に示すように、処理対象の画像信号が示す画像におけるエッジ部分と非エッジ部分とにおいてフィルタのかけ方を変えてフィルタ処理を行ったとしても、例えばジャギーのようなノイズが目立つ部分が存在することが起こりうる。
【０００５】
本開示では、処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することが可能な、新規かつ改良された画像処理装置、画像処理方法、およびプログラムを提案する。
【課題を解決するための手段】
【０００６】
本開示によれば、画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、上記画像信号が示す画像に対応するフローベクトルとに基づいて、上記画像信号が示す画像を平滑化する度合いを調整するフィルタ調整部と、上記フィルタ調整部において調整された上記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより上記画像信号が示す画像を平滑化するフィルタ処理部と、を備える画像処理装置が提供される。
【０００７】
また、本開示によれば、画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、上記画像信号が示す画像に対応するフローベクトルとに基づいて、上記画像信号が示す画像を平滑化する度合いを調整するステップと、上記調整するステップにおいて調整された上記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより上記画像信号が示す画像を平滑化するステップと、を有する、画像処理方法が提供される。
【０００８】
また、本開示によれば、画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、上記画像信号が示す画像に対応するフローベクトルとに基づいて、上記画像信号が示す画像を平滑化する度合いを調整するステップ、上記調整するステップにおいて調整された上記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより上記画像信号が示す画像を平滑化するステップ、をコンピュータに実行させるためのプログラムが提供される。
【発明の効果】
【０００９】
本開示によれば、処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することができる。
【図面の簡単な説明】
【００１０】
【図１】エッジ保存平滑化フィルタが用いられる場合に強調されうるジャギーのようなノイズの一例を説明するための説明図である。
【図２】本実施形態に係る画像処理装置の構成の一例を示すブロック図である。
【図３】本実施形態に係る画像処理装置における処理の一例を示す流れ図である。
【図４】本実施形態に係る画像処理装置が備えるフローベクトル検出部における処理の一例を示す流れ図である。
【図５】本実施形態に係る画像処理装置が備えるフィルタ調整部における調整処理の一例を説明するための説明図である。
【図６】本実施形態に係る画像処理装置が備えるフィルタ処理部における処理の一例を示す説明図である。
【図７】本実施形態に係る画像処理装置が備えるフィルタ処理部における処理の他の例を示す説明図である。
【図８】本実施形態の第１の変形例に係る画像処理装置における処理の一例を示す流れ図である。
【発明を実施するための形態】
【００１１】
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１２】
また、以下では、下記に示す順序で説明を行う。
１．本実施形態に係る画像処理御方法
２．本実施形態に係る画像処理装置
３．本実施形態に係るプログラム
【００１３】
（本実施形態に係る画像処理方法）
本実施形態に係る画像処理装置の構成について説明する前に、本実施形態に係る画像処理方法について説明する。また、以下では、本実施形態に係る画像処理装置が、本実施形態に係る画像処理方法に係る処理を行うものとして説明する。
【００１４】
また、以下では、本実施形態に係る画像処理装置が、画像（静止画像または動画像。以下、同様とする。）を示す画像信号を処理するものとして説明する。以下では、本実施形態に係る画像処理装置が処理する画像信号を「入力画像信号」と示し、本実施形態に係る画像処理装置が処理を完了した画像信号を「出力画像信号」と示す場合がある。
【００１５】
ここで、本実施形態に係る入力画像信号としては、例えば、本実施形態に係る画像処理装置がテレビ塔などから送信された放送波を（直接的、またはセットトップボックスなどを介して間接的に）受信してデコードした結果得られる画像信号が挙げられる。また、本実施形態に係る画像処理装置は、例えば、ネットワークを介して（または直接的に）外部装置から送信された画像信号を受信し、受信した画像信号を入力画像信号として処理することも可能である。また、本実施形態に係る画像処理装置は、例えば、記憶部（後述する）や、画像処理装置から着脱可能な外部記録媒体に記憶された画像データをデコードすることにより得られた画像信号を、入力画像信号として処理してもよい。さらに、本実施形態に係る画像処理装置が画像を撮像することが可能な撮像部（後述する）を備えている場合、すなわち、本実施形態に係る画像処理装置が撮像装置として機能する場合には、本実施形態に係る画像処理装置は、例えば、当該撮像部（後述する）により撮像された画像に対応する画像信号を、入力画像信号として処理してもよい。
【００１６】
処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減するための一の画像処理方法としては、例えば、バイラテラルフィルタ（bilateral  filter）などのようなエッジを保存することが可能な平滑化フィルタ（以下、「エッジ保存平滑化フィルタ」と示す。）を用いて画像信号を処理することが考えられる。上記のようなエッジ保存平滑化フィルタを用いることによって、エッジを保存しつつ平滑化を行うことが可能となる。
【００１７】
しかしながら、エッジ保存平滑化フィルタが用いられる場合には、例えば、エッジを保存する効果を得るためにジャギーなどのノイズが強調されてしまう恐れがある。また、エッジ保存平滑化フィルタのフィルタの特性によっては、エッジの方向（または、基準方向に対する角度）によってジャギーなどのノイズが発生する強さが変化することも起こりうる。
【００１８】
図１は、エッジ保存平滑化フィルタが用いられる場合に強調されうるジャギーのようなノイズの一例を説明するための説明図である。ここで、図１は、円を含む画像を示す画像信号をエッジ保存平滑化フィルタを用いて処理した後に得られた、フィルタ処理後の画像の一例を示している。また、図１では、例えばフィルタ係数などにより規定される平滑化の度合いを画像全体に対して同一に設定した場合における、フィルタ処理後の画像の一例を示している。
【００１９】
図１を参照すると、例えば、図１のＡ１に示す領域（図１のＢに示す線分を基準として０［度］付近の領域）における画像や図１のＡ２に示す領域（図１のＢに示す線分を基準として右回り方向に９０［度］付近の領域）における画像は、図１のＡ３に示す領域（図１のＢに示す線分を基準として右回り方向に４５［度］付近の領域）における画像よりもジャギー（ノイズの一例）が強調されていることが分かる。
【００２０】
エッジ保存平滑化フィルタが用いられる場合には、例えば図１に示すように、エッジを保存する効果を得るためにジャギーなどのノイズが強調されることが起こりうる。
【００２１】
ここで、例えば、画像全体に対する平滑化の度合いを調整することによってエッジ保存平滑化フィルタの効果を弱めれば、図１に示すようなジャギーが強調される望ましくない事態が発生する可能性をより低減することが可能である。しかしながら、エッジ保存平滑化フィルタの効果を弱めれば、逆にエッジ保存平滑化フィルタにより得られる効果（例えば、エッジを保存しつつ、ノイズを低減する効果）を十分に得られなくなる可能性が高まる。よって、単にエッジ保存平滑化フィルタを用いたとしても、処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することができるとは限らない。
【００２２】
また、例えば特許文献１に記載されてるように、処理対象の画像信号が示す画像におけるエッジ部分と非エッジ部分とにおいてフィルタのかけ方を変える方法を用いたとしても、例えば図１に示すような、角度に応じてノイズの発生強度が変わるノイズを低減させることはできない。
【００２３】
［本実施形態に係る画像処理方法の概要］
そこで、本実施形態に係る画像処理装置（以下、「画像処理装置１００」と示す場合がある。）は、入力画像信号が示す画像におけるエッジのベクトル方向（または、当該ベクトルと、画像の垂直方向や水平方向などの基準方向との角度。以下、同様とする。）を算出し、当該ベクトル方向に基づいて、エッジ保存平滑化フィルタの強弱を調整する。そして、画像処理装置１００は、調整されたエッジ保存平滑化フィルタを用いて入力画像信号を処理する。
【００２４】
より具体的には、画像処理装置１００は、例えば、入力画像信号に基づいて、入力画像信号が示す画像（以下、「入力画像」と示す場合がある。）に対応するフローベクトルを検出する（フローベクトル検出処理）。また、画像処理装置１００は、入力画像におけるエッジに対応するエッジ画素を示すエッジ情報と、検出されたフローベクトルとに基づいて、入力画像を平滑化する度合いを調整する（調整処理）。そして、画像処理装置１００は、調整された平滑化の度合いに応じて、エッジ保存平滑化フィルタにより入力画像を平滑化する（フィルタ処理）。
【００２５】
ここで、本実施形態に係る入力画像信号が示す画像に対応するフローベクトルとは、例えば、画素ごとや複数の画素からなる領域ごとに、方向が定義されたベクトルである。また、本実施形態に係るフローベクトルとしては、例えば、ノルムが“１”のベクトルが挙げられる。なお、本実施形態に係るフローベクトルが、ノルムが“１”のベクトルに限られないことは、言うまでもない。また、本実施形態に係るフローベクトルは、ベクトルとして表現する代わりに、例えば画像の水平方向とフローベクトルとの間の角度（例えば、左回り方向の角度）で表すことによって、スカラー量で表現されてもよい。本実施形態に係るフローベクトルの検出方法の一例については、後述する。
【００２６】
また、画像処理装置１００は、入力画像信号に基づいてエッジを検出し、検出されたエッジを示すエッジ情報を用いて上記調整処理を行うが、画像処理装置１００における処理は、上記に限られない。例えば、画像処理装置１００は、入力画像信号が示す画像に対応するエッジ情報を、サーバなどの外部装置から取得し、取得されたエッジ情報を用いて上記調整処理を行うことも可能である。例えば、画像処理装置１００は、入力画像信号に含まれるメタ情報を入力画像信号から取得し、取得されたメタ情報を外部装置へ送信することによって、当該外部装置から入力画像信号が示す画像に対応するエッジ情報を取得する。なお、外部装置からのエッジ情報の取得方法が、上記に限られないことは、言うまでもない。
【００２７】
また、本実施形態に係る平滑化の度合いの調整方法としては、例えば、フローベクトルに基づいてフィルタの特性を規定する係数を設定することや、フローベクトルに基づいてフィルタのタップ数を設定することが挙げられる。なお、本実施形態に係る平滑化の度合いの調整方法は、上記に限られない。例えば、画像処理装置１００は、フローベクトルに基づいてフィルタの特性を調整することが可能な、任意の方法を用いて平滑化の度合いの調整することができる。
【００２８】
また、本実施形態に係るエッジ保存平滑化フィルタは、アナログフィルタであってもよいし、デジタルフィルタであってもよい。ここで、本実施形態に係るエッジ保存平滑化フィルタとしては、例えば、バイラテラルフィルタが挙げられるが、本実施形態に係るエッジ保存平滑化フィルタは、上記に限られない。例えば、画像処理装置１００は、メディアンフィルタなどのようなエッジを保存することが可能な任意の平滑化フィルタを、本実施形態に係るエッジ保存平滑化フィルタとして用いることができる。
【００２９】
画像処理装置１００では、例えば、（１）の処理（フローベクトル検出処理）、（２）の処理（調整処理）、および（３）の処理（フィルタ処理）を行う。ここで、画像処理装置１００は、上記（２）の処理において、上記（１）の処理において検出したフローベクトルに基づいて平滑化の度合いを調整する。また、画像処理装置１００は、上記（３）の処理において、上記（２）の処理において調整された平滑化の度合いに応じて入力画像信号が示す画像を平滑化する。よって、画像処理装置１００は、上記（３）の処理において、ジャギーなどのノイズが強調されうるエッジに対して低減処理を行い、その他の領域は通常のエッジ保存を行うことができる。
【００３０】
また、上記のように、ノイズが強調されうるエッジに対して低減処理を行い、その他の領域は通常のエッジ保存を行うことによって、画像処理装置１００は、エッジの鮮明さ（エッジのシャープ感）を失うことなく、ジャギーなどのノイズを低減することができる。
【００３１】
また、画像処理装置１００は、上記（２）の処理（調整処理）における調整によって、上記（３）の処理（フィルタ処理）において、ジャギーなどのノイズの発生強度の強いベクトル方向を持つ画素にはノイズ低減に係るフィルタ効果を強くし、また、ノイズの発生強度の弱いベクトル方向を持つ画素にはノイズ低減に係るフィルタ効果を弱くすることが可能である。よって、画像処理装置１００は、ジャギーなどのノイズが発生しうるエッジ部分においても、必要以上に画像をぼかしてしまうことを防止することができ、また、エッジ保存平滑化フィルタにより得られる効果（例えば、エッジを保存しつつ、ノイズを低減する効果）を必要以上に削ぐことはない。
【００３２】
したがって、画像処理装置１００は、例えば（１）の処理（フローベクトル検出処理）、（２）の処理（調整処理）、および（３）の処理（フィルタ処理）を行うことによって、処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することができる。
【００３３】
なお、本実施形態に係る画像処理方法に係る処理は、上記（１）の処理（フローベクトル検出処理）〜上記（３）の処理（フィルタ処理）に限られない。例えば、画像処理装置１００がサーバなどの外部装置からフローベクトルを示すフローベクトル情報を取得する場合など、画像処理装置１００がフローベクトルの検出を行うことなくフローベクトルを取得することが可能な場合には、画像処理装置１００は、上記（１）の処理を行わなくてよい。つまり、例えば上記のようにフローベクトルを取得することが可能な場合には、画像処理装置１００は、例えば、上記（２）の処理（調整処理）および（３）の処理（フィルタ処理）を、本実施形態に係る画像処理方法に係る処理として行うことができる。
【００３４】
以下、本実施形態に係る画像処理装置１００の構成の一例について説明をすると共に、本実施形態に係る画像処理方法に係る処理の具体例についても併せて説明する。
【００３５】
（本実施形態に係る画像処理装置）
図２は、本実施形態に係る画像処理装置１００の構成の一例を示すブロック図である。画像処理装置１００は、例えば、エッジ検出部１０２と、フローベクトル検出部１０４と、フィルタ調整部１０６と、フィルタ処理部１０８とを備える。
【００３６】
また、画像処理装置１００は、例えば、制御部（図示せず）や、ＲＯＭ（Read  Only  Memory；図示せず）、ＲＡＭ（Random  Access  Memory；図示せず）、記憶部（図示せず）、ユーザが操作可能な操作部（図示せず）、様々な画面を表示画面に表示する表示部（図示せず）、外部装置と通信を行うための通信部（図示せず）などを備えていてもよい。画像処理装置１００は、例えば、データの伝送路としてのバス（bus）により上記各構成要素間を接続する。
【００３７】
ここで、制御部（図示せず）は、例えば、ＭＰＵ（Micro  Processing  Unit）や、各種処理回路などで構成され画像処理装置１００全体を制御する。また、制御部（図示せず）は、例えば、エッジ検出部１０２、フローベクトル検出部１０４、フィルタ調整部１０６、およびフィルタ処理部１０８の役目を果たしてもよい。また、制御部（図示せず）は、例えば、フィルタ処理部１０８が処理を行った画像信号（出力画像信号）をエンコードして、記憶部（図示せず）に記録する、および／または、当該画像信号が示す画像を表示部（図示せず）や外部表示装置の表示画面に表示させるなど、本実施形態に係る画像処理方法に係る処理が行われた画像信号に対する処理を行う役目を果たしてもよい。
【００３８】
ＲＯＭ（図示せず）は、制御部（図示せず）が使用するプログラムや演算パラメータなどの制御用データを記憶する。ＲＡＭ（図示せず）は、制御部（図示せず）により実行されるプログラムなどを一時的に記憶する。
【００３９】
記憶部（図示せず）は、画像処理装置１００が備える記憶機能であり、例えば、画像データや、アプリケーションなど様々なデータを記憶する。ここで、記憶部（図示せず）としては、例えば、ハードディスク（Hard  Disk）などの磁気記録媒体や、ＥＥＰＲＯＭ（Electrically  Erasable  and  Programmable  Read  Only  Memory）、フラッシュメモリ（flash  memory）などの不揮発性メモリ（nonvolatile  memory）などが挙げられる。また、記憶部（図示せず）は、画像処理装置１００から着脱可能であってもよい。
【００４０】
操作部（図示せず）としては、例えば、ボタンや、方向キー、ジョグダイヤルなどの回転型セレクター、あるいは、これらの組み合わせなどが挙げられる。また、操作部（図示せず）は、例えばタッチパッドなどのような、ユーザの接触操作による操作位置を検出することが可能な操作位置検出デバイスであってもよい。また、画像処理装置１００は、例えば、画像処理装置１００の外部装置としての操作入力デバイス（例えば、キーボードやマウスなど）と接続することもできる。
【００４１】
表示部（図示せず）としては、例えば、液晶ディスプレイ（Liquid  Crystal  Display；ＬＣＤ）や有機ＥＬディスプレイ（organic  ElectroLuminescence  display。または、ＯＬＥＤディスプレイ（Organic  Light  Emitting  Diode  display）ともよばれる。）などが挙げられる。なお、表示部（図示せず）は、例えばタッチスクリーンなどのように、表示とユーザ操作とが可能なデバイスであってもよい。また、画像処理装置１００は、表示部（図示せず）の有無に関わらず、画像処理装置１００の外部装置としての表示デバイス（例えば、外部ディスプレイなど）と接続することもできる。
【００４２】
通信部（図示せず）は、画像処理装置１００が備える通信機能であり、ネットワークを介して（あるいは、直接的に）、外部装置と無線／有線で通信を行う。ここで、通信部（図示せず）としては、例えば、通信アンテナおよびＲＦ（Radio  Frequency）回路（無線通信）や、ＩＥＥＥ８０２．１５．１ポートおよび送受信回路（無線通信）、ＩＥＥＥ８０２．１１ｂポートおよび送受信回路（無線通信）、あるいはＬＡＮ（Local  Area  Network）端子および送受信回路（有線通信）などが挙げられる。また、本実施形態に係るネットワークとしては、例えば、ＬＡＮやＷＡＮ（Wide  Area  Network）などの有線ネットワーク、無線ＬＡＮ（ＷＬＡＮ；Wireless  Local  Area  Network）や基地局を介した無線ＷＡＮ（ＷＷＡＮ；Wireless  Wide  Area  Network）などの無線ネットワーク、あるいは、ＴＣＰ／ＩＰ（Transmission  Control  Protocol/Internet  Protocol）などの通信プロトコルを用いたインターネットなどが挙げられる。
【００４３】
図３は、本実施形態に係る画像処理装置１００における処理の一例を示す流れ図である。
【００４４】
画像処理装置１００は、入力画像信号に基づいてエッジを検出する（Ｓ１００）。ここで、図２に示す画像処理装置１００では、エッジ検出部１０２が、ステップＳ１００の処理を行う役目を果たす。
【００４５】
また、画像処理装置１００は、入力画像信号に基づいてフローベクトルを検出する（Ｓ１０２）。ここで、ステップＳ１０２の処理は、上記（１）の処理（フローベクトル検出処理）に該当する。また、図２に示す画像処理装置１００では、フローベクトル検出部１０４が、ステップＳ１０２の処理を行う役目を果たす。
【００４６】
なお、図３では、ステップＳ１００の処理が行われた後にステップＳ１０２の処理が行われる例を示しているが、本実施形態に係る画像処理装置１００における処理は、上記に限られない。例えば、画像処理装置１００は、ステップＳ１００の処理とステップＳ１０２の処理とを独立に行うことが可能であるので、ステップＳ１０２の処理が行われた後にステップＳ１００の処理を行うことができ、また、ステップＳ１００の処理とステップＳ１０２の処理とを同期して行うこともできる。
【００４７】
ステップＳ１００、Ｓ１０２の処理が行われると、画像処理装置１００は、ステップＳ１００において検出されたエッジを示すエッジ情報と、ステップＳ１０２において検出されたフローベクトルを示すフローベクトル情報とに基づいて、エッジ保存平滑化フィルタを調整する（Ｓ１０４）。ここで、ステップＳ１０４の処理は、上記（２）の処理（調整処理）に該当する。また、図２に示す画像処理装置１００では、フィルタ調整部１０６が、ステップＳ１０４の処理を行う役目を果たす。
【００４８】
ここで、本実施形態に係るエッジ情報としては、例えば、エッジマップが挙げられるが、本実施形態に係るエッジ情報は、上記に限られない。例えば、本実施形態に係るエッジ情報は、検出されたエッジを示すことができれば、任意の形式のデータとすることが可能である。また、本実施形態に係るフローベクトル情報としては、例えば、フローベクトルマップが挙げられるが、本実施形態に係るフローベクトル情報は、上記に限られない。例えば、本実施形態に係るフローベクトル情報は、エッジ情報と同様に、検出されたフローベクトルを示すことができれば、任意の形式のデータとすることが可能である。
【００４９】
また、画像処理装置１００は、例えば入力画像に対応する画素ごとに、ステップＳ１０４の処理を行う。より具体的には、対象の画素がエッジ情報が示すエッジ画素である場合には、画像処理装置１００は、例えば、当該画素に対応するフローベクトルを用いて平滑化する度合いを調整する。また、対象の画素がエッジ情報が示すエッジ画素ではない場合には、画像処理装置１００は、例えば、予め規定されたフィルタ係数や、画素値（例えば、輝度値）に対応するフィルタ係数を設定することによって、平滑化する度合いを調整する。
【００５０】
ステップＳ１０４の処理が行われると、画像処理装置１００は、入力画像信号に対してフィルタ処理を行う（Ｓ１０６）。ここで、ステップＳ１０６の処理は、上記（３）の処理（フィルタ処理）に該当する。また、図２に示す画像処理装置１００では、フィルタ処理部１０８が、ステップＳ１０６の処理を行う役目を果たす。
【００５１】
本実施形態に係る画像処理装置１００は、例えば図３に示す処理を行うことによって、本実施形態に係る画像処理方法を実現する。なお、本実施形態に係る画像処理装置１００における処理は、図３に示す処理に限られない。例えば、画像処理装置１００がサーバなどの外部装置からエッジ情報を取得する場合には、画像処理装置１００は、ステップＳ１００の処理を行わなくてもよい。上記の場合には、画像処理装置１００は、取得されたエッジ情報を用いてステップＳ１０４の処理を行う。
【００５２】
ここで、画像処理装置１００は、例えば、入力画像信号に含まれるメタ情報を入力画像信号から取得し、取得されたメタ情報を外部装置へ送信することによって、当該外部装置から入力画像信号が示す画像に対応するエッジ情報を取得するが、エッジ情報の取得方法は、上記に限られない。例えば、画像処理装置１００は、入力画像信号にエッジ情報が含まれる場合には、入力画像信号からエッジ情報を取得することができ、また、入力画像信号と同期して送信されるエッジ情報を受信することによってエッジ情報を取得してもよい。
【００５３】
また、例えば、フローベクトルが、タッチパッドなどの操作位置検出デバイスやマウスなどの操作入力デバイスを用いたユーザ操作（例えば、なぞり操作など）に基づき設定される場合には、画像処理装置１００は、設定されたフローベクトルを用いてステップＳ１０４の処理を行ってもよい。
【００５４】
また、画像処理装置１００は、入力画像信号が示す画像に対応するフローベクトルを示すフローベクトル情報を、サーバなどの外部装置から取得し、取得されたフローベクトル情報が示すフローベクトルを用いてステップＳ１０４の処理を行うことも可能である。例えば、画像処理装置１００は、入力画像信号に含まれるメタ情報を入力画像信号から取得し、取得されたメタ情報を外部装置へ送信することによって、当該外部装置から入力画像信号が示す画像に対応するフローベクトル情報を取得する。
【００５５】
以下、図２に示す本実施形態に係る画像処理装置１００の構成例について説明しつつ、画像処理装置１００における処理（画像処理方法に係る処理）の一例について説明する。
【００５６】
エッジ検出部１０２は、入力画像信号に基づいて入力画像に対応するエッジ画素を検出する。
【００５７】
より具体的には、エッジ検出部１０２は、例えば、Ｓｏｂｅｌフィルタなどのような輝度の勾配をみることが可能なフィルタを用いて輝度の勾配を検出する。そして、エッジ検出部１０２は、例えば、上記Ｓｏｂｅｌフィルタなどのフィルタにより得られる輝度勾配ベクトルを用いて、輝度の勾配が局所的に極大となる画素をエッジ画素として検出する。なお、本実施形態に係るエッジ検出部１０２における処理は、上記に限られない。例えば、画像処理装置１００は、画像信号に基づいてエッジを検出することが可能な任意の方法を用いて、エッジ画素を検出してもよい。
【００５８】
エッジ画素が検出されると、エッジ検出部１０２は、検出されたエッジ画素（すなわち、エッジ位置）を示すエッジ情報をフィルタ調整部１０６へ伝達する。
【００５９】
フローベクトル検出部１０４は、（１）の処理（フローベクトル検出処理）を主導的に行う役目を果たし、例えば入力画像信号に基づいて、入力画像に対応するフローベクトルを検出する。より具体的には、フローベクトル検出部１０４は、入力画像信号に基づいて、例えば、入力画像の画素ごとに方向成分（フローベクトル）を求める。そして、フローベクトル検出部１０４は、求めた画素ごとの方向成分を示すフローベクトル情報を出力する。
【００６０】
図４は、本実施形態に係る画像処理装置１００が備えるフローベクトル検出部１０４における処理の一例を示す流れ図である。
【００６１】
フローベクトル検出部１０４は、入力画像信号に基づいて輝度勾配ベクトルｇを求める（Ｓ２００）。ここで、フローベクトル検出部１０４は、例えば、Ｓｏｂｅｌフィルタを用いることによって、輝度勾配ベクトルｇを求めるが、ステップＳ２００における処理は、上記に限られない。例えば、フローベクトル検出部１０４は、Ｐｒｅｗｉｔｔフィルタなどの他のフィルタを用いて輝度勾配ベクトルｇを求めてもよい。
【００６２】
ステップＳ２００において輝度勾配ベクトルｇが求まると、フローベクトル検出部１０４は、輝度勾配ベクトルｇから方向ベクトルｔを算出する（Ｓ２０２）。ここで、フローベクトル検出部１０４は、例えば下記の数式１の演算を行うことによって、方向ベクトルｔを算出する。なお、フローベクトル検出部１０４における方向ベクトルｔの算出方法は、数式１に示す演算を行うことに限られない。例えば、数式１では正規化が行われている例を示しているが、フローベクトル検出部１０４は、正規化を行わなくてもよい。
【００６３】
【数１】
2012238099.tif 000003
【００６４】
ステップＳ２０２において方向ベクトルｔが算出されると、フローベクトル検出部１０４は、画素位置Ｐにおけるフィルタ係数を求める（Ｓ２０４）。ここで、フローベクトル検出部１０４は、例えば「Ｅｄｇｅ  Ｔａｎｇｅｎｔ  Ｆｌｏｗ」アルゴリズムを用いてフィルタ係数を算出するが、フィルタ係数の算出方法は、上記に限られない。
【００６５】
ステップＳ２０４において画素位置Ｐにおけるフィルタ係数が求まると、フローベクトル検出部１０４は、画素位置Ｐにおける方向ベクトルｔを平滑化する（Ｓ２０６）。
【００６６】
ステップＳ２０６において画素位置Ｐにおける方向ベクトルｔが平滑化されると、フローベクトル検出部１０４は、平滑化された方向ベクトルｔを正規化する（Ｓ２０８）。また、フローベクトル検出部１０４は、例えば、ステップＳ２０８の処理が行われるごとに正規化された方向ベクトルｔ’（フローベクトル）を出力するが、フローベクトル検出部１０４における処理は、上記に限られない。例えば、フローベクトル検出部１０４は、後述するステップＳ２１０において平滑化が完了したと判定された場合に、各画素位置に対応する正規化された方向ベクトルｔ’（フローベクトル）を出力してもよい。
【００６７】
ステップＳ２０８において平滑化された方向ベクトルｔを正規化すると、フローベクトル検出部１０４は、入力画像に対応する全画素に対応する方向ベクトルｔに対する平滑化が完了したか否かを判定する（Ｓ２１０）。フローベクトル検出部１０４は、例えば、全画素の画素位置それぞれに対応する処理完了フラグを保持し、画素位置Ｐにおける方向ベクトルｔに対する平滑化が完了するごとに、当該画素位置Ｐに対応するフラグを完了した状態に更新する。そして、フローベクトル検出部１０４は、例えば、全画素に対応する処理完了フラグが完了した状態を示す場合に、入力画像に対応する全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定する。なお、ステップＳ２１０における判定方法が、上記に限られないことは、言うまでもない。
【００６８】
ステップＳ２１０において全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定されない場合には、フローベクトル検出部１０４は、画素位置Ｐを変更し（Ｓ２１２）、ステップＳ２０４からの処理を繰り返す。
【００６９】
また、ステップＳ２１０において全画素に対応する方向ベクトルｔに対する平滑化が完了したと判定された場合には、フローベクトル検出部１０４は、処理を終了する。
【００７０】
フローベクトル検出部１０４は、例えば図４に示す処理を行うことによって、入力画像信号に基づいて入力画像に対応するフローベクトルを検出する。
【００７１】
なお、フローベクトル検出部１０４における処理は、図４に示す処理に限られない。例えば、フローベクトル検出部１０４は、画素ごとではなく複数の画素からなる所定の領域ごとに、フローベクトル（代表値）を検出してもよい。また、フローベクトル検出部１０４は、例えば、「Ｓｍｏｏｔｈｅｄ  Ｓｔｒｕｃｔｕｒｅ  Ｔｅｎｓｏｒ」などの他のアルゴリズムを用いて、画素ごとのフローベクトルを検出することも可能である。
【００７２】
再度図２を参照して、第１の実施形態に係る画像処理装置１００の構成の一例について説明する。フィルタ調整部１０６は、上記（２）の処理（調整処理）を主導的に行う役目を果たし、例えば、エッジ検出部１０２から伝達されるエッジ情報と、フローベクトル検出部１０４から伝達されるフローベクトル情報とに基づいて、入力画像を平滑化する度合いを調整する。また、フィルタ調整部１０６は、エッジ画素ではない画素については、例えば、予め規定されたフィルタ係数や、画素値に対応するフィルタ係数を設定することによって、平滑化する度合いを調整する。
【００７３】
また、フィルタ処理部１０８は、フィルタ調整部１０６において調整された平滑化の度合いに応じて、エッジ保存平滑化フィルタにより入力画像信号が示す入力画像を平滑化する。ここで、本実施形態に係るフィルタ処理部１０６が備えるエッジ保存平滑化フィルタとしては、例えば、バイラテラルフィルタが挙げられるが、フィルタ処理部１０６が備えるエッジ保存平滑化フィルタは、上記に限られない。
【００７４】
より具体的には、フィルタ調整部１０６は、例えば、エッジ画素に対応するフローベクトルと画像における基準方向とがなす角度に対応して、平滑化の度合いを調整する。
【００７５】
ここで、本実施形態に係る基準方向としては、例えば、画像における垂直方向、または、画像における水平方向が挙げられるが、本実施形態に係る基準方向は、上記に限られない。例えば、本実施形態に係るフィルタ調整部１０６は、画像における任意の方向を基準方向とすることが可能である。以下では、本実施形態に係る基準方向が、画像における垂直方向、または、画像における水平方向である場合を例に挙げて説明する。
【００７６】
〔Ｉ〕フィルタ調整部１０６における調整処理、およびフィルタ処理部１０８における平滑化処理の第１の例
フィルタ調整部１０６は、例えば、フローベクトルと画像における基準方向とがなす角度に対応する係数を設定することによって、フィルタ処理部１０８が備えるエッジ保存平滑化フィルタを調整する。
【００７７】
図５は、本実施形態に係る画像処理装置１００が備えるフィルタ調整部１０６における調整処理の一例を説明するための説明図である。ここで、図５は、フローベクトルと画像における基準方向とがなす角度と、係数との対応関係の一例を示している。また、図５では、図１に示す領域Ａ１〜Ａ３それぞれとの対応を補足的に示している。
【００７８】
図５に示すように、フィルタ調整部１０６は、例えば、エッジ画素に対応するフローベクトルと画像における垂直方向とがなす角度が小さいエッジ画素、または、エッジ画素に対応するフローベクトルと画像における水平方向とがなす角度が小さいエッジ画素ほど、係数を大きくする。また、フィルタ調整部１０６は、例えば、エッジ画素に対応するフローベクトルと画像における垂直方向とがなす角度が小さいエッジ画素、または、エッジ画素に対応するフローベクトルと画像における水平方向とがなす角度が小さいエッジ画素ほど、平滑化の度合いを大きくする。
【００７９】
例えば図５に示すように、フィルタ調整部１０６が、エッジ画素に対応するフローベクトルと画像における基準方向とがなす角度に対応して平滑化の度合いを調整することによって、画像処理装置１００は、ジャギーなどのノイズが強調されうるエッジに対して低減処理を行い、その他の領域は通常のエッジ保存を行うことができる。なお、本実施形態に係るフローベクトルと画像における基準方向とがなす角度と係数との対応関係が、図５に示す関係に限られないことは、言うまでもない。
【００８０】
なお、フィルタ調整部１０６における、フィルタ処理部１０８が備えるエッジ保存平滑化フィルタ（後述する）の調整は、フローベクトルと画像における基準方向とがなす角度に対応する係数を設定することに限られない。例えば、フィルタ調整部１０６は、フローベクトルのノルムなどに応じた係数をさらに設定してもよい。例えば、フィルタ調整部１０６は、ノルムと係数とが対応付けられたテーブルを用いることによって、フローベクトルのノルムに応じた係数を設定することが可能である。以下では、フローベクトルと画像における基準方向とがなす角度に対応する係数を「角度による係数」と示し、また、フローベクトルのノルムなどに応じた係数などのようなフローベクトルに応じた係数を「フローベクトルによる係数」と示す場合がある。
【００８１】
フィルタ処理部１０８は、例えば、フローベクトルに基づいて複数の画素の中から画素値を加算する画素を選択し、選択された画素の画素値とフィルタ調整部１０６において設定された係数とに基づいて、エッジを保存しつつノイズを低減させた処理結果を得る。
【００８２】
図６は、本実施形態に係る画像処理装置１００が備えるフィルタ処理部１０８における処理の一例を示す説明図である。ここで、図６では、ａ〜ｄの４つの画素が選択された例を示している。なお、フィルタ処理部１０８における処理が、図６に示すような４つの画素を用いる例に限られないことは、言うまでもない。以下では、図６に示す場合を例に挙げて、フィルタ処理部１０８における処理の一例について説明する。
【００８３】
フィルタ処理部１０８は、例えば、下記の数式２に示す演算を行うことによって、エッジを保存しつつノイズを低減させた処理結果を得る。ここで、数式２に示す“ｐｉｘ”は、処理結果を示している。また、数式２に示す“ａ”、“ｂ”、“ｃ”、“ｄ”は、図６に示す画素ａ〜ｄの画素値を示している。
【００８４】
ｐｉｘ＝｛ａ×（画素ａに対応する角度による係数）×（画素ａに対応するフローベクトルによる係数）｝
＋｛ｂ×（画素ｂに対応する角度による係数）×（画素ｂに対応するフローベクトルによる係数）｝
＋｛ｃ×（画素ｃに対応する角度による係数）×（画素ｃに対応するフローベクトルによる係数）｝
＋｛ｄ×（画素ｄに対応する角度による係数）×（画素ｄに対応するフローベクトルによる係数）｝
・・・（数式２）
【００８５】
〔ＩＩ〕フィルタ調整部１０６における調整処理、およびフィルタ処理部１０８における平滑化処理の第２の例
本実施形態に係るフィルタ調整部１０６における調整処理、およびフィルタ処理部１０８における平滑化処理は、上記第１の例に係る処理に限られない。例えば、フィルタ調整部１０６は、フィルタ処理部１０８におけるエッジ保存平滑化フィルタのタップ数を、エッジ画素に対応するフローベクトルと画像における基準方向とがなす角度に対応して変えることも可能である。
【００８６】
より具体的には、フィルタ調整部１０６は、例えば下記の数式３の演算を行うことによって、タップ数を設定する。そして、フィルタ処理部１０８は、フィルタ調整部１０６が設定したタップ数に応じて入力画像信号が示す入力画像を平滑化する。ここで、数式３に示す“ｔａｐ”は、タップ数を示しており、また、“ｔａｐ０”は、基準となるタップ数を示している。
【００８７】
ｔａｐ＝（ｔａｐ０）×（角度による係数）
・・・（数式３）
【００８８】
図７は、本実施形態に係る画像処理装置１００が備えるフィルタ処理部１０８における処理の他の例を示す説明図である。
【００８９】
上述したように、フィルタ調整部１０６は、例えば、エッジ画素に対応するフローベクトルと画像における垂直方向とがなす角度が小さいエッジ画素、または、エッジ画素に対応するフローベクトルと画像における水平方向とがなす角度が小さいエッジ画素ほど、係数を大きくする。また、フィルタ調整部１０６は、エッジ画素に対応するフローベクトルと画像における垂直方向とがなす角度が小さいエッジ画素、または、エッジ画素に対応するフローベクトルと画像における水平方向とがなす角度が小さいエッジ画素ほど、タップ数をより大きく設定する。
【００９０】
よって、エッジ画素に対応するフローベクトルと画像における垂直方向とがなす角度、または、エッジ画素に対応するフローベクトルと画像における水平方向とがなす角度が小さい場合には、例えば図７のＡに示すように、より大きなタップサイズで平滑化を行うので、フィルタ処理部１０８における平滑化の度合いは大きくなる。一方、エッジ画素に対応するフローベクトルと画像における垂直方向とがなす角度、および、エッジ画素に対応するフローベクトルと画像における水平方向とがなす角度が大きい場合（例えば、角度が右回り方向に４５［度］付近の場合）には、例えば図７のＢに示すように、より小さなタップサイズで平滑化を行うので、フィルタ処理部１０８における平滑化の度合いは小さくなる。
【００９１】
フィルタ調整部１０６とフィルタ処理部１０８とは、例えば、上記第１の例に係る処理や、上記第２の例に係る処理を行う。なお、本実施形態に係るフィルタ調整部１０６における処理、およびフィルタ処理部１０８における処理が、上記第１の例に係る処理や上記第２の例に係る処理に限られないことは、言うまでもない。
【００９２】
本実施形態に係る画像処理装置１００は、例えば図２に示す構成によって、本実施形態に係る画像処理方法に係る（１）の処理（フローベクトル検出処理）〜（３）の処理（フィルタ処理）を行う。
【００９３】
ここで、画像処理装置１００は、フィルタ調整部１０６において、フローベクトル検出部１０４が検出したフローベクトルに基づいて平滑化の度合いを調整する。また、画像処理装置１００は、フィルタ処理部１０８において、フィルタ調整部１０６において調整された平滑化の度合いに応じて入力画像信号が示す画像を平滑化する。よって、画像処理装置１００は、ジャギーなどのノイズが強調されうるエッジに対して低減処理を行い、その他の領域は通常のエッジ保存を行うことが可能である。したがって、画像処理装置１００は、エッジの鮮明さ（エッジのシャープ感）を失うことなく、ジャギーなどのノイズを低減することができる。
【００９４】
また、画像処理装置１００は、フィルタ調整部１０６における調整によって、フィルタ処理部１０８において、ジャギーなどのノイズの発生強度の強いベクトル方向を持つ画素にはノイズ低減に係るフィルタ効果を強くし、また、ノイズの発生強度の弱いベクトル方向を持つ画素にはノイズ低減に係るフィルタ効果を弱くすることが可能である。よって、画像処理装置１００は、ジャギーなどのノイズが発生しうるエッジ部分においても、必要以上に画像をぼかしてしまうことを防止することができ、また、エッジ保存平滑化フィルタにより得られる効果（例えば、エッジを保存しつつ、ノイズを低減する効果）を必要以上に削ぐことはない。
【００９５】
したがって、画像処理装置１００は、例えば図２に示す構成によって、処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することができる。
【００９６】
［本実施形態に係る画像処理装置１００の構成の変形例］
なお、本実施形態に係る画像処理装置１００の構成は、図２に示す構成に限られない。例えば、本実施形態に係る画像処理装置１００は、下記に示すような構成をとることも可能である。
【００９７】
〔１〕第１の変形例
図１に示す画像処理装置１００では、フローベクトル検出部１０４が、入力画像信号に基づいて入力画像に対応する全ての画素に対応するフローベクトルを検出する構成を示したが、本実施形態に係る画像処理装置の構成は、上記に限られない。例えば、本実施形態に係る画像処理装置が備えるフローベクトル検出部は、例えば、エッジ検出部１０２から伝達されるエッジ情報が示すエッジ画素に対応するフローベクトルのみを検出する構成であってもよい。上記のようにエッジ画素に対応するフローベクトルのみを選択的に検出する構成をとることによって、第１の変形例に係る画像処理装置は、フローベクトルの検出に係る処理時間をより短縮することができ、また、フローベクトル検出処理に要する電力をより低減することができる。
【００９８】
図８は、本実施形態の第１の変形例に係る画像処理装置における処理の一例を示す流れ図である。
【００９９】
第１の変形例に係る画像処理装置は、図３のステップＳ１００と同様に、入力画像信号に基づいてエッジを検出する（Ｓ３００）。
【０１００】
ステップＳ３００においてエッジが検出されると、第１の変形例に係る画像処理装置は、入力画像における対象の画素がエッジを示すか否かを判定する（Ｓ３０２）。ここで、第１の変形例に係る画像処理装置は、画素ごとにステップＳ３０２の処理を行う。
【０１０１】
ステップＳ３０２においてエッジを示すと判定されない場合には、第１の変形例に係る画像処理装置は、例えば、予め規定されたフィルタ係数や、画素値に対応するフィルタ係数を設定することによって、エッジ保存平滑化フィルタを調整する（Ｓ３０４）。そして、第１の変形例に係る画像処理装置は、ステップＳ３０４、および後述するステップＳ３０８においてエッジ保存平滑化フィルタの調整が行われると、後述するステップＳ３１０の処理を行う。
【０１０２】
また、ステップＳ３０２においてエッジを示すと判定された場合には、第１の変形例に係る画像処理装置は、図３のステップＳ１０２と同様に、入力画像信号に基づいてフローベクトルを検出する（Ｓ３０６）。
【０１０３】
ステップＳ３０６の処理が行われると、第１の変形例に係る画像処理装置は、図３のステップＳ１０４と同様に、ステップＳ３００において検出されたエッジを示すエッジ情報と、ステップＳ３０６において検出されたフローベクトルを示すフローベクトル情報とに基づいて、エッジ保存平滑化フィルタを調整する（Ｓ３０８）。
【０１０４】
ステップＳ３０４、およびステップＳ３０８においてエッジ保存平滑化フィルタの調整が行われると、第１の変形例に係る画像処理装置は、図３のステップＳ１０６と同様に、入力画像信号に対してフィルタ処理を行う（Ｓ３１０）。
【０１０５】
本実施形態に係る第１の変形例に係る画像処理装置は、例えば図８に示す処理を行う。ここで、第１の変形例に係る画像処理装置は、図３に示す処理と同様に、検出されたエッジと検出されたフローベクトルとに基づいてエッジ保存平滑化フィルタを調整して、フィルタ処理を行う。よって、第１の変形例に係る画像処理装置は、図３に示す処理を行う画像処理装置１００と同様に、本実施形態に係る画像処理方法を実現することができる。
【０１０６】
また、第１の変形例に係る画像処理装置は、ステップＳ３０２の判定結果に応じてエッジ画素に対応するフローベクトルのみを選択的に検出する。よって、第１の変形例に係る画像処理装置は、フローベクトルの検出に係る処理時間をより短縮することができ、また、フローベクトル検出処理に要する電力をより低減することができる。
【０１０７】
なお、本実施形態に係る第１の変形例に係る画像処理装置における処理は、図８に示す処理に限られない。例えば、第１の変形例に係る画像処理装置がサーバなどの外部装置からエッジ情報を取得する場合には、第１の変形例に係る画像処理装置は、ステップＳ３００の処理を行わなくてもよい。上記の場合には、第１の変形例に係る画像処理装置は、取得されたエッジ情報を用いてステップＳ３０２、Ｓ３０６の処理を行う。
【０１０８】
また、例えば、フローベクトルが、タッチパッドなどの操作位置検出デバイスやマウスなどの操作入力デバイスを用いたユーザ操作に基づき設定される場合には、第１の変形例に係る画像処理装置は、設定されたフローベクトルを用いてステップＳ３０２、Ｓ３０６の処理を行ってもよい。
【０１０９】
また、第１の変形例に係る画像処理装置は、入力画像信号が示す画像に対応するフローベクトルを示すフローベクトル情報を、サーバなどの外部装置から取得し、取得されたフローベクトル情報が示すフローベクトルを用いてステップＳ３０８の処理を行うことも可能である。
【０１１０】
〔２〕第２の変形例
図２に示す画像処理装置１００では、エッジ検出部１０２とフローベクトル検出部１０４とを別体の機能ブロックとして示したが、本実施形態に係る画像処理装置の構成は、図２に示す構成に限られない。例えば、フローベクトル検出部１０４において図４に示す処理が行われる場合には、ステップＳ２００において求められる輝度勾配ベクトルｇを用いてエッジを検出することが可能である。つまり、本実施形態に係る画像処理装置は、エッジ検出部１０２とフローベクトル検出部１０４とを、１つの機能ブロックとして備えることができる。
【０１１１】
また、本実施形態に係る画像処理装置は、例えば、フィルタ調整部１０６とフィルタ処理部１０８とを、１つの機能ブロックとして備えていてもよい。フィルタ調整部１０６とフィルタ処理部１０８とを１つの機能ブロックとして備える例としては、例えば、フィルタ調整部１０６とフィルタ処理部１０８とが、エッジ保存平滑化フィルタ回路で実現される場合などが挙げられる。
【０１１２】
また、本実施形態に係る画像処理装置の構成は、例えば、図２に示す各機能ブロック、または、上記のように図２に示す機能ブロックを統合した機能ブロックを個別に備える（例えば、それぞれを個別の処理回路で実現する）構成に限られない。例えば、本実施形態に係る画像処理装置は、ＭＰＵなどの他の機能を有する処理回路が、図２に示すエッジ検出部１０２、フローベクトル検出部１０４、フィルタ調整部１０６、およびフィルタ処理部１０８（または、これらの機能ブロックのうちの１または２以上の機能ブロック）の役目を果たしてもよい。
【０１１３】
上記の構成をとる場合であっても、第２の変形例に係る画像処理装置は、本実施形態に係る画像処理方法に係る処理を行うことができるので、図２に示す画像処理装置１００と同様の利点を有する。
【０１１４】
〔３〕第３の変形例
また、本実施形態に係る画像処理装置は、例えば、図２に示す構成に加え、例えば画像を撮像する撮像部（図示せず）をさらに備えていてもよい。上記の構成の場合には、画像処理装置１００は、例えば、撮像部（図示せず）における撮像により生成された入力画像信号を処理することが可能である。
【０１１５】
ここで、本実施形態に係る撮像部（図示せず）としては、例えば、レンズ／撮像素子と信号処理回路とから構成される撮像デバイスが挙げられる。レンズ／撮像素子は、例えば、光学系のレンズと、ＣＣＤ（Charge  Coupled  Device）やＣＭＯＳ（Complementary  Metal  Oxide  Semiconductor）などの撮像素子を複数用いたイメージセンサとで構成される。また、信号処理回路は、例えば、ＡＧＣ（Automatic  Gain  Control）回路やＡＤＣ（Analog  to  Digital  Converter）を備え、撮像素子により生成されたアナログ信号をデジタル信号（画像データ）に変換し、各種信号処理を行う。信号処理回路が行う信号処理としては、例えば、Ｗｈｉｔｅ  Ｂａｌａｎｃｅ補正処理、色調補正処理、ガンマ補正処理、ＹＣｂＣｒ変換処理、エッジ強調処理などが挙げられる。
【０１１６】
〔４〕第４の変形例
また、本実施形態に係る画像処理装置は、例えば、上記第１の変形例に係る構成〜第３の変形例に係る構成を任意に組合せた構成をとることが可能である。
【０１１７】
以上のように、本実施形態に係る画像処理装置は、例えば、（１）の処理（フローベクトル検出処理）、（２）の処理（調整処理）、および（３）の処理（フィルタ処理）を行う。ここで、本実施形態に係る画像処理装置は、（２）の処理（調整処理）において、（１）の処理（フローベクトル検出処理）において検出されたフローベクトルに基づいて平滑化の度合いを調整する。また、本実施形態に係る画像処理装置は、（３）の処理（フィルタ処理）において、（２）の処理（調整処理）において調整された平滑化の度合いに応じて入力画像信号が示す画像を平滑化する。よって、本実施形態に係る画像処理装置は、ジャギーなどのノイズが強調されうるエッジに対して低減処理を行い、その他の領域は通常のエッジ保存を行うことが可能である。したがって、本実施形態に係る画像処理装置は、エッジの鮮明さ（エッジのシャープ感）を失うことなく、ジャギーなどのノイズを低減することができる。
【０１１８】
また、本実施形態に係る画像処理装置は、（２）の処理（調整処理）における平滑化の度合いの調整によって、（３）の処理（フィルタ処理）において、ジャギーなどのノイズの発生強度の強いベクトル方向を持つ画素にはノイズ低減に係るフィルタ効果を強くし、また、ノイズの発生強度の弱いベクトル方向を持つ画素にはノイズ低減に係るフィルタ効果を弱くすることが可能である。よって、本実施形態に係る画像処理装置は、ジャギーなどのノイズが発生しうるエッジ部分においても、必要以上に画像をぼかしてしまうことを防止することができ、また、エッジ保存平滑化フィルタにより得られる効果（例えば、エッジを保存しつつ、ノイズを低減する効果）を必要以上に削ぐことはない。
【０１１９】
したがって、本実施形態に係る画像処理装置は、処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することができる。
【０１２０】
以上、本実施形態として画像処理装置を挙げて説明したが、本実施形態は、かかる形態に限られない。本実施形態は、例えば、デジタルカメラなどの撮像装置、ＰＣ（Personal  Computer）やタブレット端末などのコンピュータ、携帯電話などの通信装置、映像／音楽再生装置（または映像／音楽記録再生装置）、ゲーム機、テレビ受像機などの表示装置など、様々な機器に適用することができる。また、本実施形態は、例えば、上記のような機器に組み込むことが可能な、画像処理ＩＣ（Integrated  Circuit）に適用することもできる。
【０１２１】
（本実施形態に係るプログラム）
コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（例えば、“上記（１）の処理（フローベクトル検出処理）、（２）の処理（調整処理）、および（３）の処理（フィルタ処理）”や、“上記（２）の処理、および上記（３）の処理”など、本実施形態に係る画像処理方法に係る処理を実行することが可能なプログラム）によって、処理対象の画像信号が示す画像に含まれるエッジを保存しつつ、ノイズを低減することができる。
【０１２２】
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
【０１２３】
例えば、上記では、コンピュータを、本実施形態に係る画像処理装置として機能させるためのプログラム（コンピュータプログラム）が提供されることを示したが、本実施形態は、さらに、上記プログラムをそれぞれ記憶させた記録媒体も併せて提供することができる。
【０１２４】
上述した構成は、本実施形態の一例を示すものであり、当然に、本開示の技術的範囲に属するものである。
【０１２５】
なお、以下のような構成も本開示の技術的範囲に属する。
（１）
画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、前記画像信号が示す画像に対応するフローベクトルとに基づいて、前記画像信号が示す画像を平滑化する度合いを調整するフィルタ調整部と、
前記フィルタ調整部において調整された前記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより前記画像信号が示す画像を平滑化するフィルタ処理部と、
を備える、画像処理装置。
（２）
前記フィルタ調整部は、前記エッジ画素に対応するフローベクトルと前記画像における基準方向とがなす角度に対応して、前記度合いを調整する、（１）に記載の画像処理装置。
（３）
前記基準方向は、前記画像における垂直方向、または、前記画像における水平方向であり、
前記フィルタ調整部は、前記エッジ画素に対応するフローベクトルと前記画像における垂直方向とがなす角度が小さいエッジ画素、または、前記エッジ画素に対応するフローベクトルと前記画像における水平方向とがなす角度が小さいエッジ画素ほど、平滑化の度合いを大きくする、（２）に記載の画像処理装置。
（４）
前記フローベクトルを検出するフローベクトル検出部をさらに備える、（１）〜（３）のいずれか１つに記載の画像処理装置。
（５）
前記フローベクトル検出部は、前記エッジ情報が示す前記エッジ画素に対応するフローベクトルのみを検出する、（４）に記載の画像処理装置。
（６）
前記画像信号に基づいて前記エッジ画素を検出するエッジ検出部をさらに備える、（１）〜（５）のいずれか１つに記載の画像処理装置。
（７）
画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、前記画像信号が示す画像に対応するフローベクトルとに基づいて、前記画像信号が示す画像を平滑化する度合いを調整するステップと、
前記調整するステップにおいて調整された前記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより前記画像信号が示す画像を平滑化するステップと、
を有する、画像処理方法。
（８）
画像信号が示す画像におけるエッジに対応するエッジ画素を示すエッジ情報と、前記画像信号が示す画像に対応するフローベクトルとに基づいて、前記画像信号が示す画像を平滑化する度合いを調整するステップ、
前記調整するステップにおいて調整された前記平滑化の度合いに応じて、画像のエッジを保存するエッジ保存平滑化フィルタにより前記画像信号が示す画像を平滑化するステップ、
をコンピュータに実行させるためのプログラム。
【符号の説明】
【０１２６】
１００    画像処理装置
１０２    エッジ検出部
１０４    フローベクトル検出部
１０６    フィルタ調整部
１０８    フィルタ処理部
【図１】
2012238099.tif 000004
【図２】
2012238099.tif 000005
【図３】
2012238099.tif 000006
【図４】
2012238099.tif 000007
【図５】
2012238099.tif 000008
【図６】
2012238099.tif 000009
【図７】
2012238099.tif 000010
【図８】
2012238099.tif 000011