(57)【要約】【課題】夜景の点光源等が色抜けしないよう局所的な色情報を保持しながら、色ノイズを十分に低減する。【解決手段】画像処理装置であって、入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正する補正手段と、前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出する合成比率導出手段と、前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、各画素が属する領域が局所的な色領域である度合を示す局所色度を導出する局所色度導出手段と、前記合成比率と前記局所色度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成する拡大合成手段と、を備えたことを特徴とする。【選択図】図８
2018160746.tif 000002
【特許請求の範囲】
【請求項１】
入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、
前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正する補正手段と、
前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出する合成比率導出手段と、
前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、各画素が属する領域が局所的な色領域である度合を示す局所色度を導出する局所色度導出手段と、
前記合成比率と前記局所色度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成する拡大合成手段と、
を備えたことを特徴とする画像処理装置。
【請求項２】
前記合成手段は、
画像データを拡大する拡大処理手段と、
注目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に前記注目する画像データを使用するかどうかを、前記局所色度に基づいて判定し、優先的に前記注目する画像データを使用すると判定した場合に、当該注目する画像データの重みを大きくするように前記合成比率を変更する優先使用判定手段と、
前記注目する画像データの画素値と、その一つ下の階層の画像データであって前記拡大処理手段により前記注目する画像データと同じ解像度に拡大された画像データの画素値とを、前記合成比率に基づいて合成する画素値合成手段と、
を有する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記優先使用判定手段は、前記注目する画像データについて算出された前記局所色度が所定の閾値よりも小さい場合に、優先的に前記注目する画像データを使用すると判定することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記所定の閾値は、想定される局所的な色領域のサイズが大きいほど大きな値が設定されることを特徴とする請求項３に記載の画像処理装置。
【請求項５】
前記優先使用判定手段は、解像度が所定の解像度以上の画像データを前記注目する画像データとして、前記判定を行うことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項６】
前記注目する画像データの注目画素の色差信号と、その一つ下の階層の画像データであって前記拡大処理により当該注目する画像データと同じ解像度に拡大された画像データの注目画素の色差信号との色の類似性を判定する色類似性判定手段をさらに備え、
前記優先使用判定手段は、前記局所色度が前記所定の閾値より小さく、かつ、前記色類似性判定手段で色が類似すると判定された場合に、優先的に前記注目する画像データを使用すると判定する
ことを特徴とする請求項３乃至５のいずれか１項に記載の画像処理装置。
【請求項７】
前記色類似性判定手段は、下位階層側及び上位階層側の色差信号の色空間を極座標変換した結果が、下位階層側と上位階層側とで同じ特定の範囲内にある場合に色が類似すると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記色類似性判定手段は、下位階層側及び上位階層側の色差信号の色空間を極座標変換した結果、下位階層側と上位階層側との距離が所定の閾値以内にある場合に色が類似すると判定することを特徴とする請求項６に記載の画像処理装置。
【請求項９】
前記色類似性判定手段は、前記一つ下の階層の色差信号の値が所定の値以下の場合、前記色の類似性の判定を行わないことを特徴とする請求項２乃至４のいずれか１項に記載の画像処理装置。
【請求項１０】
前記補正手段における前記補正は、前記注目画素を囲む隣接画素からなる参照領域を用いた平滑化処理であり、
前記局所色度導出手段で導出される前記局所色度は、前記参照領域を構成する画素のうち前記平滑化処理で実際に参照された画素の数で表される
ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
【請求項１１】
前記入力画像データはＲＧＢの色成分を持つ画像データであり、
前記補正手段は、前記注目画素の色信号の値を、式（１）〜式（３）を用いて色成分毎に補正し、
【数１】
2018160746.tif 000016
【数２】
2018160746.tif 000017
【数３】
2018160746.tif 000018
前記式（１）〜（３）において、Ｒ[i]とＧ[i]とＢ[i]は前記注目画素に対する前記参照領域内で式（４）を満たす画素を表し、Ｍは前記注目画素に対する前記参照領域において式（４）を満たす画素数を表し、
【数４】
2018160746.tif 000019
前記式（４）において、∧は論理積（AND）を表し、ThrはＲ信号に対する閾値、ThgはＧ信号に対する閾値、ThbはＢ信号に対する閾値をそれぞれ表し、Ｒdiff、Ｇdiff、Ｂdiffは前記参照領域内の各画素値と比較する画素値との差を表す、
ことを特徴とする請求項１０に記載の画像処理装置。
【請求項１２】
前記画素値合成手段は、以下の式（５）を用いて合成後の画素値を求め、
【数５】
2018160746.tif 000020
前記式（５）において、Ｉpostは合成後の画素値を、Ｉdownは下位階層側の画像データの画素値を、Ｉupは上位階層側の画素値をそれぞれ表し、ｕは上位階層側の画像データをどれだけ使用するかを表す前記合成比率としての係数を表す、
ことを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。
【請求項１３】
入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成するステップと、
前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正するステップと、
前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出するステップと、
前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、各画素が属する領域が局所的な色領域である度合を示す局所色度を導出するステップと、
前記合成比率と前記局所色度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成するステップと、
を含むことを特徴とする画像処理方法。
【請求項１４】
コンピュータを、請求項１乃至１２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色ノイズを低減する画像処理技術に関するものである。
【背景技術】
【０００２】
デジタルカメラ等の撮像装置には高画質な撮影画像が望まれるが、暗い場所や夜間のように十分なS／N比が得られない環境下では、低周波のランダムノイズである色成分のノイズ（色ノイズ）によって画質が大きく低下してしまう。特に近年は高感度撮影に対する要求が高く、暗所や夜間においてもノイズが少なく、高画質な撮影画像が得られることが望まれている。そこで、色ノイズを抑制するために、平均化フィルタ、ガウシアンフィルタ等を用いた平滑化処理やメディアンフィルタのような順序統計フィルタを用いた色ノイズ低減処理が行われている。しかしながら、平滑化処理や順序統計フィルタを用いた場合、大きな範囲のノイズ（低周波ノイズ）を十分に低減するためには、フィルタのタップ数を大きく設計する必要があり、回路規模の増大を引き起こしてしまう。この点、入力画像を縮小してからフィルタ処理を行うことで、タップ数を増やさずに同等の効果を得る手法が提案されている（特許文献１を参照）。この特許文献１の手法では、まず、入力画像から解像度を段階的に低くした複数の低解像度画像を生成し、入力画像と低解像度画像の各々について色ノイズの抑圧処理を行う。その後、低解像度画像については解像度を戻し、合成比率係数に基づいて重み付け合成していく。この際の合成比率係数は、注目する画素が色変化の少ない領域に属する画素であると判断される場合には、下位階層からの画像の合成比率が高くなるように決定される。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１２-１０４９６８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
高感度での撮影時等、非常にノイズの多い画像データに対して上記特許文献１の手法を用いて色ノイズ低減を行うと、入力画像そのものや縮小倍率の小さい低解像度画像では、色ノイズを十分に抑圧できずに残留してしまうという問題がある。この問題については、縮小倍率の大きい低解像度画像の重みを大きくして合成することで対処可能である。しかし、今度は色抜けという別の問題、具体的には、縮小倍率が大きくなるに伴い局所的な色情報が失われ、合成後の画像で夜景の点光源といった局所的な色情報が消失するという問題が発生してしまう。そこで、本発明は、色抜けしないよう局所的な色情報を保持しながら、色ノイズを十分に低減することを目的とする。
【課題を解決するための手段】
【０００５】
本発明に係る画像処理装置は、入力画像データに対し縮小処理を行って、解像度を低くした複数の階層の縮小画像データを生成する縮小処理手段と、前記入力画像データ及び前記縮小画像データにおける注目画素の画素値を、色ノイズが低減された値に補正する補正手段と、前記補正が施された画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、他の階層の画像データとの合成比率を導出する合成比率導出手段と、前記補正が施された各画像データのうち、最も解像度が低い縮小画像データを除く画像データに対し、各画素が属する領域が局所的な色領域である度合を示す局所色度を導出する局所色度導出手段と、前記合成比率と前記局所色度とに基づいて、前記補正が施された画像データのうち注目する画像データとその一つ下の階層の画像データとを合成する拡大合成手段と、を備えたことを特徴とする。
【発明の効果】
【０００６】
本発明によれば、局所的な色情報を保持しつつ、色ノイズを十分に低減することが可能になる。
【図面の簡単な説明】
【０００７】
【図１】画像処理装置のハードウェア構成の一例を示す図である。
【図２】（ａ）は画像処理装置のノイズ低減処理に係る論理構成の一例を示すブロック図、（ｂ）は色ノイズ低減処理部の内部構成を示すブロック図である。
【図３】図２（ｂ）で示す論理構成によって実現される処理全体の流れを示したシーケンス図である。
【図４】ローパスフィルタ処理に用いるフィルタの具体例を示す図である。
【図５】注目画素に対するローパスフィルタの掛け方の具体例を示す図である。
【図６】色ノイズ低減処理における各処理の流れを示すフローチャートである。
【図７】解像度縮小処理の流れを示すフローチャートである。
【図８】実施例１に係る、拡大合成処理の流れを示すフローチャートである。
【図９】実施例２における色ノイズ低減処理部の内部構成を示すブロック図である。
【図１０】式（１０）〜式（１２）を用いた色相の類似性判定を説明する図である。
【図１１】実施例２に係る、拡大合成処理の流れを示すフローチャートである。
【発明を実施するための形態】
【０００８】
以下、添付の図面を参照して、本発明を実施する形態について説明する。なお、以下の実施例において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。
【実施例１】
【０００９】
図１は、本実施例に係る、画像処理装置のハードウェア構成の一例を示す図である。画像処理装置１００は、例えばＰＣ等であり、ＣＰＵ１０１、ＲＡＭ１０２、ＨＤＤ１０３、汎用インターフェース（Ｉ／Ｆ）１０４、モニタ１０８、及びメインバス１０９を備える。そして、汎用Ｉ／Ｆ１０４によって、カメラなどの撮像装置１０５や、マウス、キーボードなどの入力装置１０６、及びメモリカードなどの外部メモリ１０７をメインバス１０９に接続される。
【００１０】
ＣＰＵ１０１は、ＨＤＤ１０３に格納された各種ソフトウェア（コンピュータプログラム）を動作させることで、以下のような各種処理を実現する。まず、ＣＰＵ１０１は、ＨＤＤ１０３に格納されている画像処理アプリケーションを起動して、ＲＡＭ１０２に展開するとともに、モニタ１０８にユーザインターフェース（ＵＩ）を表示する。続いて、ＨＤＤ１０３や外部メモリ１０７に格納されている各種データ、撮像装置１０５で取得された画像データ、入力装置１０６からのユーザ指示などがＲＡＭ１０２に転送される。さらに、画像処理アプリケーション内の処理に従って、ＲＡＭ１０２に格納されているデータが、ＣＰＵ１０１からの指令に基づき演算処理される。演算処理の結果は、モニタ１０８に表示されたり、ＨＤＤ１０３または外部メモリ１０７に格納されたりする。なお、ＨＤＤ１０３や外部メモリ１０７に格納されている画像データがＲＡＭ１０２に転送されてもよい。また、不図示のネットワークを介してサーバから送信された画像データがＲＡＭ１０２に転送されてもよい。
【００１１】
本実施例では、上記のような構成を備える画像処理装置１００に於いて、ＣＰＵ１０１からの指令に基づき、画像処理アプリケーションに画像データを入力して色ノイズを低減した画像データを出力する態様について説明するものとする。
【００１２】
（画像処理装置の論理構成）
図２（ａ）は、画像処理装置１００のノイズ低減処理に係る論理構成の一例を示すブロック図である。画像処理装置１００は、信号分配部２０１、色ノイズ低減処理部２０２、輝度ノイズ低減処理部２０３、信号統合処理部２０４とで構成される。
【００１３】
撮像装置１０５或いはＨＤＤ１０３や外部メモリ１０７から入力されるカラー画像データの色信号（ＲＧＢ色空間で表される色信号）は、まず信号変換処理部２０１に入力される。ここで、入力されるカラー画像データは、撮像装置１０５において生成される中間画像データでもよい。例えば、撮像素子よって撮像された画像がデジタル化されたオリジナルの画像データであるＲＡＷ画像データや、欠陥画素を補正した欠陥画素補正後のＲＡＷ画像データでもよい。さらには、偽色抑制等の各種補正処理やローパスフィルタ処理がなされた後のＲＡＷ画像データでもよい。ＲＡＷ画像データの色信号を入力する際には、公知のデモザイク技術を用いてＲＧＢ色信号を生成すればよい。また、ベイヤー配列のＲＡＷ画像データであれば、２×２画素（ＲＧＧＢ）を１画素として扱う方法も考えられる。なお、本実施例におけるカラー画像データはＲＧＢ色空間であることを前提に説明を行なうが、これに限らず、例えばL*a*b*色空間に変換した上で実施してもよい。
【００１４】
信号変換処理部２０１は、入力されたカラー画像データのＲＧＢ色信号から、公知の変換式によって、輝度成分（Ｙ）を表す輝度信号と色差成分（Ｃｒ及びＣｂ）を表す色差信号を生成する。ここで、輝度信号のノイズ（以降、輝度ノイズ）の空間周波数と色差信号のノイズ（以降、色ノイズ）の空間周波数は互いに異なり、色差信号のノイズの空間周波数の方が低い。本処理によって、入力されたカラー画像データに係るＲＧＢ色信号からＹＣｒＣｂ色信号を生成することで、輝度成分を表す輝度信号と色差成分を表す色差信号のそれぞれに対して最適なノイズ低減処理を行なうことができる。入力ＲＧＢ色信号と、信号変換処理によって生成されたＹＣｒＣｂ色信号は、色ノイズ低減処理部２０２と輝度ノイズ低減処理部２０３に送られる。
【００１５】
色ノイズ低減処理部２０２は、ＲＧＢ色信号とＹＣｒＣｂ色信号とに基づいて、色差信号のノイズを低減する処理を行なう。色ノイズ低減処理の詳細については後述する。輝度ノイズ低減処理部２０３は、輝度信号のノイズを低減する処理を行なう。輝度ノイズ低減処理部２０３おいては、一般的なノイズ低減処理を用いればよい。
【００１６】
信号統合処理部２０４は、色ノイズ低減処理部２０２によって色ノイズが低減された色信号と、輝度ノイズ低減処理部２０３によって輝度ノイズが低減された色信号とを統合する処理を行う。信号統合処理部２０４は、信号統合処理の結果生成される、色ノイズと輝度ノイズの両方が低減されたカラー画像データを出力する。統合後のカラー画像データは、モニタ１０８やＨＤＤ１０３などに出力される。そのほか、例えば汎用Ｉ／Ｆ１０４に接続した外部メモリ１０７、不図示の外部サーバ、プリンタなどに出力しても構わない。
【００１７】
（色ノイズ低減処理部の詳細）
続いて、色ノイズ低減処理部２０２について詳しく説明する。図２（ｂ）は、本実施例に係る、色ノイズ低減処理部２０２の内部構成を示すブロック図である。図２（ｂ）に示すように、色ノイズ低減処理部２０２は、縮小処理部２１０、補正部２２０、合成比率導出部２３０、局所色度導出部２４０、及び拡大合成処理部２５０で構成される。そして、図３は、図２（ｂ）で示す論理構成によって実現される処理全体の流れを示したシーケンス図である。以下、図２（ｂ）及び図３を参照しつつ、色ノイズ低減処理部２０２の各部について説明する。
【００１８】
＜縮小処理部＞
縮小処理部２１０は、入力された画像データに対し解像度を低減する処理（図３における縮小処理３０２ａ〜３０２ｄ）を行なって、縮小画像データを生成する。図３に示す例
では、入力画像の解像度をそれぞれ、１／２倍にする縮小処理３０２ａ、１／４倍にする縮小処理３０２ｂ、１／８倍にする縮小処理３０２ｃ、１／１６倍にする縮小処理３０２ｄを行なって、解像度の異なる４種類の縮小画像データを生成する。縮小画像データの種類はこの例に限るものではなく、１／８倍で留めてもよいし、さらに１／３２倍まで縮小してもよい。一般に画像データを縮小する際、ローパスフィルタ処理を行わないと折り返し雑音が発生してしまい、その折り返し雑音のパターンが、最終的に出力される画像データに現れてしまう。したがって、縮小処理を行う際には、例えば平均画素法やその他のローパスフィルタ処理を含んだアルゴリズムを用いるか、事前にローパスフィルタ処理を行った上でバイリニア法などを適用する。ローパスフィルタ処理に用いるフィルタは、縮小倍率に基づいて決定され、例えば、縮小倍率が１/２のときには、図４に示すようなフィルタが用いられる。なお、フィルタの大きさや係数は図４に示すフィルタに限られるものではない。以下では、入力画像データと当該入力画像データから生成された複数の縮小画像データとをまとめて「多重解像度画像データ」と呼ぶこととする。縮小処理によって生成された縮小画像データは、後述の補正処理で用いるためにＲＡＭ１０２に記憶される。
【００１９】
＜補正部＞
補正部２２０は、上述の多重解像度画像データに対し、予め設定された補正パラメータに基づいて、色ノイズが低減するように注目画素の色信号を補正する処理（図３における補正処理３０３ａ〜３０３ｅ）を行なう。ここで、補正パラメータとは、注目画素についての所定の参照領域と、平均化するか否かを判定するための各閾値とを意味する。これらは、ノイズ量に応じて適切な値に変更することが望ましい。したがって、例えば撮影感度に応じて予め決めておいたり、注目画素とその周辺画素の情報に基づいて適応的に決定する。補正処理では、入力カラー画像データの注目画素の色信号（ここではＲＧＢ信号）の値が、例えば以下の式（１）〜式（３）を用いて色成分毎に補正される。
【００２０】
【数１】
2018160746.tif 000003
【００２１】
【数２】
2018160746.tif 000004
【００２２】
【数３】
2018160746.tif 000005
【００２３】
上記式（１）〜（３）において、Ｒ[i]とＧ[i]とＢ[i]は、注目画素に対する所定の参照領域内で以下の式（４）を満たす画素を表している。つまり、注目画素について、所定の参照領域において以下の式（４）の条件を満たした画素のみを用いて平滑化処理が実施されることになる。所定の参照領域は、注目画素とそれを囲む隣接画素からなり、例えば、３×３画素の領域であったり、さらに大きな１０×１０画素の領域であったりする。また、Ｍは、注目画素に対する参照領域において以下の式（４）を満たす画素数である。なお、注目画素自身は必ず含まれるので、Ｍ≧１となる。
【００２４】
【数４】
2018160746.tif 000006
【００２５】
上記式（４）において、∧は論理積（AND）を表し（以下、同じ）、ThrはＲ信号に対する閾値、ThgはＧ信号に対する閾値、ThbはＢ信号に対する閾値をそれぞれ表している。そして、Ｒdiff、Ｇdiff、Ｂdiffは参照領域内の各画素値と比較する画素値との差を表し、それぞれ以下の式（５）〜式（７）で表される。
【００２６】
【数５】
2018160746.tif 000007
【００２７】
【数６】
2018160746.tif 000008
【００２８】
【数７】
2018160746.tif 000009
【００２９】
上記式（５）〜式（７）における、比較する画素値Ｒcomp、Ｇcomp、Ｂcompは、注目画素の画素値をそのまま用いればよい。或いは、注目画素の画素値にローパスフィルタを掛けた結果を注目画素の画素値としてもよい。図５は、注目画素に対するローパスフィルタの掛け方の具体例を示す図である。図５の例では、注目画素とその上下左右方向に隣接する４画素を用いて、「比較する画素値Ｒcomp、Ｇcomp、Ｂcomp」として「注目画素の画素値にローパスフィルタを掛けた結果」が導出される。なお、ローパスフィルタと同様の効果があれば、その重み付けや使用する隣接画素の数は自由に決定してよい。
【００３０】
なお、ここに示した補正処理は一例であり、色ノイズが低減するように色信号値を補正する手法であれば他のどのような方法でもよい。補正処理によって色ノイズが低減された多重解像度画像データは、後述の合成比率導出処理及び局所色度導出処理で用いるため、ＲＡＭ１０２に記憶される。
【００３１】
＜合成比率導出部＞
合成比率導出部２３０は、補正処理によって色ノイズが低減された多重解像度画像データに含まれる各画像データに対し、下位階層画像データとの合成比率を導出する処理（図３における合成比率導出処理３０４ａ〜３０４ｄ）を行なう。ただし、図３のシーケンス図から明らかなように、最下位階層の画像データ（本実施例では１／１６倍に縮小処理された縮小画像データ）は、自己よりも下位の画像データが存在しないため本処理の対象外である。ここで、合成比率は色信号の急峻な変化の度合いに応じて決定される。本実施例の場合、注目画素のＲＧＢ信号を入力としてエッジ検出することで合成比率を導出可能である。具体的には、例えばフィルタ係数[−1,２,−１]を有する空間フィルタを用い、水平方向と垂直方向にフィルタを適用した結果のうち、色エッジの度合いが高いと考えられる方を、予め定めた関数によって０〜１の間の係数Ｋにマッピングする。色エッジの度合いが高いと考えられるフィルタ適用結果ほど１に近い値の係数Ｋが、色エッジの度合いが低いと考えられるフィルタ適用結果ほど０に近い値の係数Ｋが出力される。そして、この係数Ｋが合成比率となる。
【００３２】
なお、エッジ検出には輝度信号や色差信号を用いてもよい。また、フィルタ係数や判定方法は上述したものに限らない。色エッジの度合いが高いと考えられるときに大きな値の合成比率、色エッジの度合いが低いと考えられるときに小さな値の合成比率が得られれば、どのように導出してもよい。導出された合成比率のデータは、後述の拡大合成処理で用いるため、ＲＡＭ１０２に記憶される。
【００３３】
＜局所色度導出部＞
局所色度導出部２４０は、補正部２２０で処理された多重解像度画像データのうち、最下位階層を除く各画像データに対し、局所色度を画素毎に導出する処理（図３における局所色度算出処理３０５ａ〜３０５ｄ）を行なう。ここで、局所色度とは、その画素が属する領域が、点光源のようなその周辺の色とは異なる色を有する局所的な色領域であることを表す度合をいう。本実施例においては、補正処理（平滑化処理）で実際に参照された画素（以下「実参照画素」と呼ぶ。）の数、すなわち、前述の式（４）の条件を満たす画素数を、局所色度としている。よって、本実施例においては、局所色度＝実参照画素の数と定義される。
【００３４】
ここで、実参照画素数は、所定の参照領域を構成する画素のうち注目画素の補正処理に利用した画素の数であることから、注目画素の周囲に存在する当該注目画素に類似する画素の数を表しているともいえる。したがって、上述のように定義される局所色度は、例えば色が一様な平坦部のように注目画素の周囲に類似画素がたくさんあるときは大きくなり、点光源のように注目画素の周囲に類似画素がほとんど見つからないときは小さくなる。つまり、局所色度は、注目画素が点光源のような局所的な色領域を構成する画素であるとみなされるほど小さくなる。なお、本実施例では、平滑化処理で実際に用いられた実参照画素の数を局所色度としているが、これに限定されない。注目する画素が局所的な色領域を構成する画素であるときほどその値が小さくなるような評価指標であればよい。導出された局所色度の情報は、後述の優先使用判定処理で用いるため、ＲＡＭ１０２に記憶される。
【００３５】
＜拡大合成処理部＞
拡大合成処理部２５０は、補正部２２０で処理された多重解像度画像データのうち解像度が異なる２種類の画像データを、合成比率導出部２３０で導出された合成比率と局所色度導出部２４０で導出された局所色度とに基づいて、合成する処理を行う。拡大合成処理部２５０は、さらに、拡大処理部２５１、優先使用判定部２５２、及び画素値合成部２５３とで構成される。以下、拡大合成処理部２５０を構成する各部について説明する。
【００３６】
≪拡大処理部≫
拡大処理部２５１は、多重解像度画像データにおける最上位階層の画像データ（入力画像データそのもの。図３における入力画像３０１を除いた各階層の画像データを例えばバイリニア法によって２倍に拡大する処理（図３における拡大処理３０６ａ〜３０６ｄ）を行なう。このとき拡大処理の対象となるのは、最下位階層では補正部２２０で処理された画像データであり、その他の下位階層では、後述の画素値合成処理による合成後の画像データである。図３のシーケンス図の例では、拡大処理３０６ａの対象は補正処理３０３ｅが施された最下位階層の画像データとなっている。また、拡大処理３０６ｂの対象は後述の画素値合成処理３０８ａが施された合成後の画像データとなっている。また、拡大処理３０６ｃの対象は後述の画素値合成処理３０８ｂが施された合成後の画像データとなっている。そして、拡大処理３０６ｄの対象は後述の画素値合成処理３０８ｃが施された合成後の画像データとなっている。なお、拡大処理の方法は、バイリニア法に限らず、例えばニアレストネイバー法、バイキュービック法、Lanczos法などを用いてもよい。
【００３７】
≪優先使用判定部≫
優先使用判定部２５２は、着目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に上の階層の画像データを使用するかどうかを判定する処理（図３における優先使用判定処理３０７a〜３０７ｄ）を行なう。本実施例における優先使用判定は、局所色度導出部２４０で導出された局所色度に基づいてなされる。ここで、「一つ下の階層の画像データ」とは、着目画像データよりも１段階解像度が低い画像データであって、当該着目する画像データと同じ解像度に上記拡大処理部２５１によって拡大処理された画像データを指す。図３のシーケンス図の例で説明する。
【００３８】
優先使用判定処理３０７ａでは、入力画像データの１／８の解像度に縮小処理された画像データと、入力画像データの１／１６の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｂでは、入力画像データの１／４の解像度に縮小処理された画像データと、入力画像データの１／８の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｃでは、入力画像データの１／２の解像度に縮小処理された画像データと、入力画像データの１／４の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。そして、優先使用判定処理３０７ｄでは、入力画像データそのものと、入力画像データの１／２の解像度に縮小処理されていた（拡大処理によって同じ解像度になった）画像データとの合成を行う際の判定がなされる。
【００３９】
そして、この優先使用判定処理は、上位階層側である着目する画像データの局所色度を、画素単位で、以下の式（８）に当て嵌めて行う。
【００４０】
【数８】
2018160746.tif 000010
【００４１】
上記式（８）において、thdegは、撮影シーンにおいて残したい局所的な色領域（被写体）に基づいて設定する閾値である。例えば、サイズが比較的大きい点光源の色抜け防止を図りたいときにはthdegを大きくするなど、想定される局所的な色領域のサイズに応じてこの閾値は調整される。そして、この閾値thdegは、カメラのISO感度（ノイズ量）に基づいて予め決定して保持しておく。或いは、例えば夜景モードであれば通常モードよりも大きな値にする等、撮影シーンに合わせたモード選択に応じて異なる閾値が適用されるようにしてもよい。なお、上記式（８）に基づく優先使用判定は、所定の解像度以上の比較的階層が上の画像データ（入力画像データやその１／２〜１／４の解像度に縮小された画像データ）のみに適用してもよい。これは、点光源等の局所的な色情報は階層が上の画像データに存在するためである。上記式（８）の条件を満たしたとき、画素値合成処理において上位階層側である着目する画像データの比率を大きくするように（例えば100％採用するように）、合成比率が変更されることになる。変更された合成比率のデータはＲＡＭ１０２に記憶される。
【００４２】
≪画素値合成部≫
画素値合成部２５３は、着目する画像データの画素値と、その一つ下の階層の画像データを拡大処理した後の画像データ（着目する画像データと同じ解像度）の画素値を、各段階の合成比率導出処理によって導出された合成比率に基づいて合成する処理を行なう。図３においては、画素値合成処理３０８ａ〜３０８ｄがこれに対応する。具体的には、下位階層側の画素値をＩdown、上位階層側の画素値をＩup、合成比率をｕとしたときの合成後の画素値Ｉpostが、以下の式（９）を用いて求められる。
【００４３】
【数９】
2018160746.tif 000011
【００４４】
例えば、合成比率ｕ＝0.1、下位階層側画素値Ｉdown＝3405、上位階層側画素値Ｉup＝3621であったとき、合成後の画素値Ｉpostは上記式（９）より“3427”となる。なお、ここでの画素値はどのようなフォーマットでもよく、ＹｃｒＣｂ値でもよいし、ＲＧＢ値でもよい。
【００４５】
上述の通り合成比率ｕは、上位階層側の画像データをどれだけ使用するかを表す係数であり、基本的には合成比率導出部２３０で導出され、優先使用判定処理の結果によって適宜変更されることになる。本実施例の場合、画素値合成処理３０８ａ〜３０８ｃの結果である合成後のカラー画像データはＲＡＭ１０２に一旦記憶されて拡大処理３０６ｂ〜３０６ｄにそれぞれ供される。一方、画素値合成処理３０８ｄの結果である合成後の画像データについてはそのまま出力される（図３のシーケンス図を参照）。この際の出力の態様には、例えば、モニタ１０８への表示、ＨＤＤ１０３保存、汎用Ｉ／Ｆ１０４を介した外部メモリ１０７や外部サーバ（不図示）への保存、プリンタ（不図示）での印刷といったものがある。
【００４６】
（色ノイズ低減処理のフロー）
次に、色ノイズ低減処理部２０２における各処理の大まかな流れについて説明する。図６は、色ノイズ低減処理における各処理の流れを示すフローチャートである。この一連の処理は、ＣＰＵ１０１が、ＨＤＤ１３０に格納されているプログラムをＲＡＭ１０２にロードし、実行することで実現される。
【００４７】
色ノイズ低減処理部２０２に画像データが入力されると、ステップ６０１において、縮小処理部２１０は、取得された入力画像データに対し前述の縮小処理を行い、多重解像度画像データを生成する。縮小処理の詳細については後述する。
【００４８】
ステップ６０２において、補正部２２０は、生成された多重解像度画像データにおける各階層の画像データに対し、色ノイズが低減するように注目画素の色信号を補正する補正処理を行なう。
【００４９】
ステップ６０３において、合成比率導出部２３０は、補正処理によって色ノイズが低減された多重解像度画像データのうち、最下位階層を除く各画像データに対し、下位階層の画像データとの合成比率を導出する処理を行なう。
【００５０】
ステップ６０４において、局所色度導出部２４０は、補正処理によって色ノイズが低減された多重解像度画像データのうち、特定の上位階層側の各画像データに対し、局所色度を導出する処理を行なう。
【００５１】
ステップ６０５において、拡大合成処理部２５０は、補正処理によって色ノイズが低減された多重解像度画像データに対し、ステップ６０３で導出された合成比率とステップ６０４で導出された局所色度とに基づいて、前述の拡大合成処理を行う。拡大合成処理の詳細については後述する。
【００５２】
以上が、色ノイズ低減処理部２０２における各処理の大まかな流れである。
【００５３】
（縮小処理フロー）
続いて、上述した図６のフローにおける縮小処理（ステップ６０１）の詳細について説明する。図７は、縮小処理の流れを示すフローチャートである。
【００５４】
ステップ７０１において、縮小処理部２１０は、縮小処理パラメータを取得する。縮小処理パラメータには、多重解像度の階層の深さ、最小の解像度が入力画像データに対して何分の１（２の倍数）になるかの情報が含まれる。そして、このような縮小処理パラメータが予め設定されて、ＨＤＤ１０３等に保存される。本実施例の場合、全５階層（１倍、１／２倍、１／４倍、１／８倍、１／１６倍）で、最小の解像度が入力画像データの１６分の１になるという内容の縮小処理パラメータが予め設定・保存され、それがＨＤＤ１０３等から読み込むことで取得される。
【００５５】
ステップ７０２において、縮小処理部２１０は、ステップ７０１で取得した縮小処理パラメータに基づき、縮小処理に適用する倍率を決定する。縮小処理パラメータの内容が、全５階層で、最小の解像度が入力画像データの１６分の１という本実施例の場合は、１／２、１／４、１／８、１／１６という４種類の倍率が順次決定されることになる。
【００５６】
ステップ７０３において、縮小処理部２１０は、処理対象の画像データに対して、ステップ７０２で決定された倍率に縮小する処理を行う。
【００５７】
ステップ７０４において、縮小処理部２１０は、ステップ７０１で取得した縮小処理パラメータに基づく縮小処理が全て完了したかどうかを判定する。本実施例の場合は、１／２、１／４、１／８、１／１６という４種類の倍率についての縮小処理がすべて完了しているかどうかが判定される。判定の結果、取得した縮小処理パラメータに対応する全ての縮小処理が完了している場合は本処理を終える。一方、未処理の倍率があればステップ７０２に戻って次の倍率を決定して縮小処理を続行する。
【００５８】
（拡大合成処理フロー）
次に、上述した図６のフローにおける拡大合成処理（ステップ６０５）の詳細について説明する。図８は、本実施例に係る、拡大合成処理の流れを示すフローチャートである。
【００５９】
ステップ８０１において、拡大合成処理部２５０は、前述のステップ６０２の補正処理によって色ノイズが低減された全ての画像データ（多重解像度画像データ）を取得する。
【００６０】
ステップ８０２において、拡大合成処理部２５０は、前述の縮小処理パラメータ及び合成処理パラメータを取得する。ここで、合成処理パラメータとは、前述のステップ６０３で導出された合成比率及び前述のステップ６０４で導出された局所色度を意味する。
【００６１】
ステップ８０３において、拡大合成処理部２５０の拡大処理部２５１は、ステップ８０１で取得した複数の画像データの中で最も下位階層（解像度が小さい）の画像データに対し、前述の拡大処理（本実施例では２倍）を行なう。
【００６２】
ステップ８０４において、拡大合成処理部２５０は、ステップ８０１で取得した複数の画像データのうち未処理の画像データの中で最小解像度の画像データを、画素値合成処理の対象となる一方の画像データとして選択する。この場合において、上記未処理の画像データには、最下位階層の画像データは含まれない。
【００６３】
ステップ８０５において、拡大合成処理部２５０の画素値合成部２５３は、画素値合成処理の対象となる画素を選択する。具体的には、最初のルーチンの場合は、ステップ８０３で拡大処理された画像データと当該拡大処理された画像データと同じ解像度のステップ８０４で選択された画像データとについて、画素値合成処理の対象となる画素が選択される。また、２回目以降のルーチンの場合は、後述のステップ８１１で拡大処理された画像データと、当該拡大処理された画像データと同じ解像度のステップ８０４で選択された画像データとについて、画素値合成処理の対象となる画素が選択される。
【００６４】
続くステップ８０６及びステップ８０７では、拡大合成処理部２５０の優先使用判定部２５２において、ステップ８０５で選択した画素についての前述した優先使用判定処理がなされる。すなわち、画素値合成処理対象の２つの画像データのうちステップ８０４で選択された画像データ（上位階層側の画像データ）を優先的に使用するかどうかの判定処理がなされる。
【００６５】
ステップ８０６では、上位階層側の画像データを優先的に使用するかどうかが、前述の式（８）を用いて判定される。判定の結果、上位階層側の局所色度が閾値thdegよりも小さい場合は、上位階層側の画像データを優先的に使用するべく、ステップ８０７に進む。一方、上位階層側の局所色度が閾値thdeg以上である場合は、ステップ８０８に進む。
【００６６】
ステップ８０７では、合成比率導出処理（前述のステップ６０３）で得られた合成比率が、上位階層側の画像データの画素値を例えば100％採用するような合成比率に変更される。
【００６７】
ステップ８０８において、拡大合成処理部２５０の画素値合成部２５３は、現在設定されている合成比率に基づいて、前述の画素値合成処理を行なう。これにより、２つの画像データにおける選択された画素値を合成した画素値Ｉpostが得られる。
【００６８】
ステップ８０９において、拡大合成処理部２５０は、全画素に対する合成処理が完了したかどうかを判定する。全画素についての処理が完了していれば、ステップ８１０に進む。一方、未処理の画素があれば、ステップ８０５に戻って次の画素を処理対象の画素に選択して処理を続行する。
【００６９】
ステップ８１０において、拡大合成処理部２５０は、多重解像度画像データのうち最上位階層の画像データ以外の全ての画像データ（すなわち、入力画像データを除く全ての縮小画像データ）についての拡大処理がなされたかどうかを判定する。判定の結果、拡大処理がなされていない縮小画像データがある場合は、ステップ８１１に進む。一方、全ての縮小画像データに対して拡大処理を行っていれば、本処理を終える。
【００７０】
ステップ８１１において、拡大合成処理部２５０の拡大処理部２５１は、ステップ８０８で得られた合成処理後の画像データに対して、前述の拡大処理（本実施例では２倍）を行なう。拡大処理の実行後は、ステップ８０４に移行する。
【００７１】
以上が、本実施例に係る、拡大合成処理の内容である。
【００７２】
以上述べたとおり、本実施例によれば、局所的な色情報を保持しつつ、色ノイズを十分に低減することができる。
【実施例２】
【００７３】
実施例１では、局所色度が所定の閾値より低い箇所について、上位階層側である着目する画像データの重みが大きくなるように合成比率を変更することで、点光源等の局所的な色領域を残しつつ残留色ノイズを効果的に低減した画像を得ることができる。しかしながら、局所色度が低い箇所全てにおいて上位階層側の画像データの重みを大きくしてしまうと、カラフルな色ノイズが発生してしまうことがある。これは、局所色度に基づき局所的な色領域と判断された部分が、現に局所的な被写体に拠るものなのか、ノイズに拠るものなのか区別できないためである。そこで、上位階層と下位階層との間での色の類似性を評価することにより、上述の弊害を出来るだけ発生させない様態について、実施例２として説明する。なお、以下の説明では、本実施例の特徴的構成について詳しく述べ、実施例１との共通部分については説明を省略ないしは簡略化するものとする。
【００７４】
（色ノイズ低減処理部の詳細）
図９は、本実施例に係る、色ノイズ低減処理部２０２’の内部構成を示すブロック図である。色ノイズ低減処理部２０２’は、縮小処理部２１０、補正部２２０、合成比率導出部２３０、局所色度導出部２４０及び拡大合成処理部２５０’及び色類似性判定部９００で構成される。
【００７５】
本実施例の拡大合成処理部２５０’は、補正部２２０で処理された多重解像度画像データのうち解像度が異なる２種類の画像データを、合成比率と局所色度に加え、上述の色類似性判定部９００における判定結果をも考慮して合成する処理を行う。
【００７６】
本実施例の優先使用判定部２５２’は、実施例１と同様、注目する画像データとその一つ下の階層の画像データとを合成する際に、優先的に上の階層の画像データを使用するかどうかを判定する処理（図３における上位階層優先判定処理３０７a〜３０７ｄ）を行なう。実施例１との違いは、局所色度導出部２４０で導出された局所色度と色類似性判定部９００での判定結果の双方に基づいて優先使用判定処理がなされる点である。
【００７７】
≪色類似性判定部≫
色類似性判定部９００は、まず、補正部２２０で色ノイズが低減された画像データのＲＧＢ色信号から色差信号を生成する。色差信号の生成は、着目する画像データとその一つ下の階層の画像データであって拡大処理により当該着目する画像データと同じ解像度に拡大された画像データと、について行う。色差信号（Ｃｒ及びＣｂ）は、前述のとおり公知の変換式によって生成することができる。また、ＣｒはＲ−Ｇで、ＣｂはＢ−Ｇでそれぞれ求めてもよい。生成された色差信号は、ＲＡＭ１０２に記憶される。
【００７８】
次に、色類似性判定部９００は、着目する画像データの色差信号とその一つ下の階層の画像データであって当該着目する画像データと同じ解像度に拡大された画像データの色差信号に基づいて、注目画素について上位階層側と下位階層側の色の類似性を判定する。この判定では、大まかな色の類似性を評価する。その理由は、厳密に評価してしまうと、色領域を残したい点光源等の局所的な被写体が判定されなくなる一方で、まったく評価しないとノイズを局所的な色領域と判定してしまい、カラフルな色ノイズが発生するためである。具体的には、例えば以下の式（１０）を用いて行う。
【００７９】
【数１０】
2018160746.tif 000012
【００８０】
上記式（１０）において、ＣｒdownとＣｂdownは下位階層側の色差信号、ＣｂupとＣｒupは上位階層側の色差信号を表している。そして、この式（１０）は、色差信号の色空間を極座標変換した結果が、下位階層側と上位階層側とで同じ特定の範囲内にあるかどうかで、色の類似性を評価している。すなわち、ＣｒとＣｂをｘｙ座標平面のベクトルとみなしたときに、上位階層側の変換結果が属する象限と下位階層側の変換結果が属する象限とが一致するかどうかを評価している（図１０を参照）。これにより、上位階層側と下位階層側との間での色信号の色相の大まかな類似性を判定することができる。
【００８１】
或いは、上記式（１０）に代えて、以下の式（１１）〜（１３）を用いて行ってもよい。
【００８２】
【数１１】
2018160746.tif 000013
【００８３】
【数１２】
2018160746.tif 000014
【００８４】
【数１３】
2018160746.tif 000015
【００８５】
上記式（１１）及び式（１２）は、下位階層側の各色差信号の値が０に近い所定の値以下のときはコアリングすることを意味しており、コアリングした結果をＣｒdownCMP、ＣｂdownCMPで表している。これにより、ノイズの影響により誤判定が生じやすい信号値がゼロ付近の場合は、上記式（１３）に基づく色の類似性の判定を行う対象から例外的に除外する狙いがある。
【００８６】
なお、下位階層側の色信号と上位階層側の色信号の色相の類似性を評価できればよく、判定手法はこれらの例に限定されない。例えば、下位階層側の変換結果と上位階層側の変換結果との距離が所定の閾値以内かどうかで類似性を判定してもよい。この判定手法の場合、色差信号の色空間を極座標変換した結果がＣｒ軸とＣｂ軸の交点１０００付近に位置し、下位階層側と上位階層側とで象限が不一致となるケースであっても、両者の距離が近ければ、類似すると判定され得ることになる。そして、このように距離で色の類似性を判定する場合には、上述のコアリングによる誤判定防止を同時に考慮していることになる。こうして得られた色類似性の判定結果は、優先使用判定部２５２’での優先使用判定処理で用いるため、ＲＡＭ１０２に記憶される。
【００８７】
≪優先使用判定処理≫
優先使用判定部２５２’は、優先的に上位階層の画像データを使用するかどうかを、局所色度導出部２４０で導出された局所色度と、上述した色類似性判定部９００における色類似性判定の結果とに基づいて判定する。具体的には、まず、実施例１の場合と同様、上位階層側の局所色度と所定の閾値thdegとの比較処理を行う。閾値比較処理の結果、上位階層側の局所色度が閾値thdegよりも小さければ、次に、上述の色類似性判定の結果を参照し、上位階層側と下位階層側の色が類似していれば、画像合成時の上位階層側の比率を大きくするように合成比率が変更される。
【００８８】
このように色類似性の条件を加えることにより、下位階層側と上位階層側とである程度色が類似している箇所に限定して上位階層側の合成比率を高めることが可能となる。変更された合成比率のデータはＲＡＭ１０２に記憶される。
【００８９】
（拡大合成処理フロー）
次に、本実施例の拡大合成処理（ステップ６０５）の詳細について説明する。図１１は、本実施例に係る、拡大合成処理の流れを示すフローチャートである。
【００９０】
ステップ１１０１〜ステップ１１０６は、実施例１の図８のフローのステップ８０１〜ステップ８０６にそれぞれ対応する。すなわち、色ノイズが低減された多重解像度画像データが取得され（ステップ１１０１）、続いて、縮小処理パラメータと合成処理パラメータが取得される（ステップ１１０２）。この場合において、本実施例の合成処理パラメータには、合成比率と局所色度に加え、色類似性判定の結果も含まれる。そして、取得した多重解像度画像データ中の最下位階層の画像データに対し拡大処理が実行される（ステップ１１０３）。続いて、取得した多重解像度画像データのうち未処理の画像データの中で最小解像度の画像データが、画素値合成処理の対象となる一方の画像データとして選択される（ステップ１１０４）。画像データが選択されると、画素値合成処理の対象となる画素が選択される（ステップ１１０５）。
【００９１】
続くステップ１１０６〜ステップ１１０８では、拡大合成処理部２５０’の優先使用判定部２５２’において、ステップ１１０５で選択した画素についての前述した優先使用判定処理がなされる。
【００９２】
まず、ステップ１１０６では、前述の式（９）を満たすかどうかが判定される。判定の結果、上位階層側の居所色度が閾値thdegよりも小さい場合は、ステップ１１０７に進む。一方、上位階層側の局所色度が閾値thdeg以上である場合は、ステップ１１０９に進む。
【００９３】
ステップ１１０７において、２５２’は、ステップ１１０２で取得した合成処理パラメータに含まれる色類似性判定の結果を参照し、処理の切り分けを行う。具体的には、上位階層側と下位階層側との間で色の類似性ありとの判定結果であれば、上位階層側の画像データを優先的に使用するべく、ステップ１１０８に進む。一方、色の類似性がないとの判定結果であれば、ステップ１１０９に進む。そして、ステップ１１０８において、合成比率導出処理（前述のステップ６０３）で得られた合成比率が、上位階層側の画像データの画素値を例えば100％採用するような合成比率に変更される。
【００９４】
以降のステップ１１０９〜ステップ１１１２の各ステップは、図８のフローのステップ８０８〜ステップ８１１にそれぞれ相当し、異なるところはないので説明を省く。
【００９５】
以上が、本実施例に係る拡大合成処理の内容である。なお、ここでは色類似性判定部９００を独立の構成要素とし、その判定結果を優先使用判定部２５２’で参照するようにしていたが、本実施例はこれに限定されるものではない。例えば、色類似性判定部９００の機能を、優先使用判定部２５２’の中に組み込んでもよい。
【００９６】
以上述べた通り、本実施例では、下位階層側と上位階層側である程度色が類似している箇所に限定して、上位階層側の合成比率を高めることができる。これにより、カラフルな色ノイズの発生を抑制しながら、色ノイズを効果的に低減しつつ、夜景の点光源等の局所的な色情報を保持した画像を得ることが可能となる。
【００９７】
＜その他の実施例＞
実施例１〜２では、画像処理アプリケーションで処理を行う例を説明したが、これらは撮像装置で撮影した画像データに対して撮像装置内の画像処理ハードウェア上で処理する方法であってもかまわない。また、クライアント装置からサーバ装置上の画像処理アプリケーションに画像データを送信し、サーバ装置上で画像データが処理されてもよい。
【００９８】
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【図１】
2018160746.tif 000021
【図２】
2018160746.tif 000022
【図３】
2018160746.tif 000023
【図４】
2018160746.tif 000024
【図５】
2018160746.tif 000025
【図６】
2018160746.tif 000026
【図７】
2018160746.tif 000027
【図８】
2018160746.tif 000028
【図９】
2018160746.tif 000029
【図１０】
2018160746.tif 000030
【図１１】
2018160746.tif 000031