(57)【要約】【課題】  今後の電子カメラの高画質化を鑑み、原画像データと該原画像データの撮影時に生成される撮影情報とを含む画像ファイルに補正処理を施して出力する画像処理方法及び画像処理装置を提供する。【解決手段】  画像処理システムにおいて、パーソナルコンピュータ１２は、取得した画像ファイル１００から原画像データを取り出す。電子カメラ１１は、画像データをＪＰＥＧ形式のファイルとして保存しており、圧縮率を高くするためにＹＣｂＣｒ色空間を用いて画像データを保存している。ＹＣｂＣｒ色空間に基づく画像データをｓＲＧＢ色空間に基づく画像データに変換するための第１のマトリクス演算を実行し、得られたｓＲＧＢ色区間に基づく画像に対して、原画像データのＲＧＢ値及び撮影情報に基づいて、平滑化フィルタに用いるしきい値を算出し、得られたしきい値を用いて平滑化処理を実行し、ＣＹＭＫ色空間へ変換する。【選択図】  図１
2005151163.tif 000002
【特許請求の範囲】
【請求項１】
原画像データと撮影情報より構成される画像ファイルから出力用画像データを生成する画像生成工程と、
前記画像生成工程にて、前記撮影情報の光源情報及び感度情報に基づいた平滑化処理を施す平滑化工程とを有することを特徴とする画像処理方法。
【請求項２】
前記平滑化工程は、
原画像データの画像特徴量を算出する算出工程と、
前記画像の特徴量に基づいて、ノイズ除去フィルタのしきい値を演算する演算工程と、
前記演算結果に基づいて平滑化を施すこと第２の平滑化工程とを有することを特徴とする請求項１記載の画像処理方法。
【請求項３】
前記算出工程は、
前記原画像データを分割する分割工程と、
前記分割領域に対して、原画像データの色情報（３刺激値）の重心値、再頻値、標準偏差、などの統計量、あるいは面積率、テクスチャ度等の物理量を少なくとも１つ算出する第２の算出工程とを有することを特徴とする請求項２記載の画像処理方法。
【請求項４】
前記演算工程は、
前記原画像データの統計量、物理量に基き優先順位を決定する決定工程と、
前記分割した分割領域に対して、撮影情報と予め記憶した記憶色に関する色情報とから識別子を付与する付与工程と、
前記決定工程及び前記付与工程の結果より重視する分割領域を推定する推定工程とを有することを特徴とする請求項２または３に記載の画像処理方法。
【請求項５】
前記付与工程は、
前記記憶色に関する色情報を、撮影情報の光源情報における色情報（３刺激値）に変換する変換工程と、
前記記憶色と分割領域における色情報の相対距離を算出する第３の算出工程と、
前記相対距離が最小となる識別子を分割領域の識別子と決定する決定工程とを有することを特徴とする請求項４記載の画像処理方法。
【請求項６】
原画像データと撮影情報より構成される画像ファイルから出力用画像データを生成する画像生成手段と、
前記画像生成手段にて、前記撮影情報の光源情報及び感度情報に基づいた平滑化処理を施す平滑化処理手段とを有することを特徴とする画像処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理方法及び画像処理装置に関し、特に、原画像データと該原画像データの撮影時に生成される撮影情報とを含む画像ファイルに補正処理を施して出力する画像処理方法及び画像処理装置に関する。
【背景技術】
【０００２】
近年、ディジタルスチルカメラ（以下、電子カメラと称する）が広く普及している。電子カメラは、電荷結合素子（以下、ＣＣＤ）などの光に反応する半導体素子を用いて、撮影した画像を電気信号に変換し、ディジタルデータ（以下、電子データ）として磁気記憶媒体や半導体メモリに記憶する。
電子カメラは、通常、液晶ディスプレイを搭載しているため、利用者は撮影した画像をその場で確認したり、意図に適さない電子データを削除することができる。また、電子カメラで撮影した原画像データは、汎用のパーソナルコンピュータのモニタや、プリンタなどの画像出力装置を用いて種々の補正処理を施して、出力することができるため、その利用範囲は拡大しつつある。
【０００３】
このような利用範囲の拡大と共に、電子カメラへの高画質化の要望が高まりつつある。高画質化を進めるにあたり、利用者が満足する画質を維持するためには、画素数と感度を向上させることが必須となる。これを表１と図１５を用いて説明する。
【０００４】
【表１】
2005151163.tif 000003
【０００５】
表１は、感度と画素数と利用者の満足する割合を示している。列にＩＳＯ感度を、行に画素数を配し、欄内の右側が画像の品質に満足する人の割合、左側が満足しない人の割合を示している。
表の列を上に眺めると、画素数が向上するにつれて、画像に満足する利用者の割合が増加することが分かる。つまり、利用者の要望を満たすべく高画質化するために、画素数を向上させる必要があることを端的に示している。
しかし、原画像データに記録されるノイズが多く含まれることとなる。
【０００６】
図１５は、感度と知覚されるノイズ量の相関関係を示す図である。
画素数を向上させると、原画像データに記録されるノイズが多く含まれることとなり、本図はこの傾向を示している。なお、本図において、縦軸はノイズの量を、横軸は原画像データの信号値をとり、線種が感度を表している。
本図を見ると、感度を上昇させることにより、知覚されるノイズ量が次第に増えることが明かである（非特許文献１参照）。
【０００７】
上記問題を解決する従来技術として、例えば、レリーズタイムラグを短縮させながら、撮像信号中のノイズの軽減を図る撮像装置に関する発明がある（特許文献１参照）。
また、従来よりも短時間で固定パターンノイズを除去することができるディジタルカメラに関する発明がある（特許文献２参照）。
いずれの技術も、ＣＣＤの出力特性のバラツキや暗電流ムラなどによって発生する固定パターンノイズを除去する概念であり、具体的には撮像素子を露光しないで駆動することによって固定パターンノイズを検出してそのデータをメモリに記憶し、さらに実際に被写体を撮影してそのときに得られる撮像素子の出力信号から当該メモリに記録したデータを減算することで、固定パターンノイズを除去するものである。
【特許文献１】特開２００３−１１６０６４号公報
【特許文献２】特開２００３−５１９９１号公報
【非特許文献１】The Number of Effective Pixels for Digital Still Cameras and its Picture Quality., Miyasaka et. al., pp.147-150, IS&T's 2003 PICS Conference
【非特許文献２】太田  友一, 領域分割によるカラー画像情報の構造化, 情報処理, 情報処理, Vol.19, No.12, pp.1130-1136
【非特許文献３】Picture Segmentation Using A Recursive Segmentation Splitting Method, Comp. Graph. and Image Proc., RON Ohlander et. al., pp.313-333
【非特許文献４】Principals of COLOR TECHNOLOGY, ROY S BERNS, pp.191-197 (2001)
【発明の開示】
【発明が解決しようとする課題】
【０００８】
しかしながら、上記従来技術を、高彩度のグラデーション部分にノイズが目立つ、いわゆる、ざらついた感じがする画像データに適用すると、画像の全領域に対してノイズ除去を施すために、鮮鋭性と階調性に乏しい画像が得られる場合がある。例えば、図２−（ｂ）の（Ａ）領域なる空の領域にノイズが知覚される場合を想定する。
上記技術では、図２の（Ａ）領域及び（Ｂ）領域に対してノイズ除去を施すため、（Ａ）の領域のノイズは除去されるが、（Ｂ）領域の鮮鋭性や階調性が失われるという問題を内包していた。特に、原画像データに人間の好みに深く関わる色範囲を記憶色と称する色範囲における階調性、及び鮮鋭性の消失は画像品質の低下が顕著であった。
【０００９】
そこで、記憶色範囲では階調性、鮮鋭性を保持しつつノイズを低減することが望まれていた。このためには、図２−（ｂ）において、領域（Ａ）のみのノイズを低減することで可能であるが、この解決策は従来のノイズ除去処理では困難であった。
ましてや、一般的に、記憶色を含む原画像データに対しては、記憶色を重視した画像処理として、本来の撮像した原画像データの電子データよりも、非常に明るく鮮やかな色合いに調整した補正処理を施すため、記憶色領域のノイズが更に知覚されることになる。
よって、ノイズ量を低減しつつ、記憶色範囲における階調性、鮮鋭性を保持する技術が望まれていた。
【００１０】
（発明に至る経緯）
ここで、原画像データの撮影情報に応じた平滑化処理について説明する。
図１６は、電子カメラの要部を示すフローチャートである。
電子カメラは、ＣＣＤから出力された撮像した光信号をＡ／Ｄ変換器によってデジタル信号に変換する（ステップＳ１）。デジタル信号に変換された撮像信号は、色分離部により、Ｒ、Ｇ、Ｂの各色成分データに分離され、信号補間部によって補間された後、Ｒ、Ｇ、Ｂの色成分毎にゲイン調整部に送られる（ステップＳ２）。
ゲイン調整部にてゲイン調整を行った後（ステップＳ３）、画像データは平滑化処理が施される（ステップＳ４）。ここで、平滑化処理が施された画像信号は、所定の変換処理（例えば、ＹＣｂＣｒ変換など）を施された後、各処理部へ格納、或いは送信される（ステップＳ５）。すなわち、フラッシュメモリ等の記録媒体へ画像データを記録するための記憶部に格納、液晶表示装置等への画像表示を行う表示部等へ送信される。
【００１１】
ここで、前記ゲイン調整処理及び平滑化処理の機構と本発明の経緯について説明する。
ゲイン調整部は、デジタル信号用の増幅処理であるＲ用ゲイン調整部、Ｇ用ゲイン調整部、及びＢ用ゲイン調整部を備えており、各波長に対して異なる増幅処理を施すことが可能である。例えば、３つのゲイン調整部が図１７に示すように、それぞれが短波長から、Ｂｌｕｅフィルタ、Ｇｒｅｅｎフィルタ、Ｒｅｄフィルタと配されている場合、これらの３つのフィルタが別々の増幅処理を施すことが可能である。
図１７は、画像信号３原色に対する相対感度を示す特性図である。
例えば、Ｂｌｕｅフィルタを、本図の矢印に示すように増幅し、それ以外のＧｒｅｅｎ、及びＲｅｄフィルタは固定し、原画像データのＢ成分のみが増感された原画像データが生成することとなる。
これを図２に示すシーンを撮影する場合と対応させると、画像全体のカラーバランスを合わせるためにＲｅｄフィルタを増感させることに相当する。従って、Ｒ成分には、多数のノイズが含まれると考えられる。
【００１２】
一方、画像を撮影する場合には、その撮影状況に応じて光源情報が設定され、撮影情報として画像ファイルに記録される。例えば、青みを帯びた画像が撮影された場合には、それに対応するＣ光源（6,500［Ｋ］）等が記録される。従って、光源情報を参照すれば、増感された信号成分を類推することができるので、増感された画像データに対しては強い平滑化処理を、また、増感されていない画像データに対しては通常の平滑化処理を施すことが可能である。
そこで、発明者が鋭意研究する中で、光源情報、感度情報等の撮像情報に応じて平滑化処理を施すことが有効であると考案し、本発明に至ったものである。
【００１３】
本発明は上記事情を鑑みて、更に、今後の電子カメラの高画質化を鑑みてなされたものであり、原画像データと該原画像データの撮影時に生成される撮影情報とを含む画像ファイルに補正処理を施して出力する画像処理方法及び画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
前記課題を解決するために、請求項１記載の発明は、原画像データと撮影情報より構成される画像ファイルから出力用画像データを生成する画像生成工程と、前記画像生成工程にて、前記撮影情報の光源情報及び感度情報に基づいた平滑化処理を施す平滑化工程とを有することを特徴とする。
【００１５】
請求項２記載の発明は、前記平滑化工程は、原画像データの画像特徴量を算出する算出工程と、前記画像の特徴量に基づいて、ノイズ除去フィルタのしきい値を演算する演算工程と、前記演算結果に基づいて平滑化を施すこと第２の平滑化工程とを有することを特徴とする。
【００１６】
請求項３記載の発明は、前記算出工程は、前記原画像データを分割する分割工程と、前記分割領域に対して、原画像データの色情報（３刺激値）の重心値、再頻値、標準偏差、などの統計量、あるいは面積率、テクスチャ度等の物理量を少なくとも１つ算出する第２の算出工程とを有することを特徴とする。
【００１７】
請求項４記載の発明は、前記演算工程は、前記原画像データの統計量、物理量に基き優先順位を決定する決定工程と、前記分割した分割領域に対して、撮影情報と予め記憶した記憶色に関する色情報とから識別子を付与する付与工程と、前記決定工程及び前記付与工程の結果より重視する分割領域を推定する推定工程とを有することを特徴とする。
【００１８】
請求項５記載の発明は、前記付与工程は、前記記憶色に関する色情報を、撮影情報の光源情報における色情報（３刺激値）に変換する変換工程と、前記記憶色と分割領域における色情報の相対距離を算出する第３の算出工程と、前記相対距離が最小となる識別子を分割領域の識別子と決定する決定工程とを有することを特徴とする。
【００１９】
請求項６記載の発明は、原画像データと撮影情報より構成される画像ファイルから出力用画像データを生成する画像生成手段と、前記画像生成手段にて、前記撮影情報の光源情報及び感度情報に基づいた平滑化処理を施す平滑化処理手段とを有することを特徴とする。
【発明の効果】
【００２０】
本発明によれば、原画像データと撮影情報より構成される画像ファイルから出力用画像データを生成する画像生成工程と、前記画像生成工程にて、前記撮影情報の光源情報及び感度情報に基づいた平滑化処理を施す平滑化工程とを有することにより、ノイズを軽減しつつ、高感度な画像ファイルを生成することが可能となる。
【発明を実施するための最良の形態】
【００２１】
画像処理システムのネットワーク構成は、電子カメラと、パーソナルコンピュータ等の情報処理装置とを、相互にデータ通信が可能なデータ通信手段（例えば、ＵＳＢインターフェース等）によって接続し、更に、情報処理装置とカラープリンタ（インクジェット方式、或いは電子写真方式）とを、相互にデータ通信が可能なデータ通信手段（例えば、プリンタ専用シリアル回線、ＬＡＮ回線等）によって接続されている構成が一般的である。なぜなら、パーソナルコンピュータは、その処理性能により、高度な画像処理を行うことができるからであり、また、それを実現するために、画像処理ソフトウェアが導入されている。
本発明に係る画像処理方法も、上記のようなネットワーク構成に応用するのが最も好ましい。しかしながら、最近では、電子カメラとカラープリンタとを、無線ＬＡＮや赤外線通信、或いは専用接続回線により、相互に接続することが可能であり、電子カメラから画像の印刷指示を行うことにより、カラープリンタにて画像を印刷することも可能である。
以下に、添付図面を参照しながら、本発明に係る画像処理方法の、種々の実施形態について説明する。
【実施例１】
【００２２】
（実施例１の概要）
実施例１は、図１の装置構成からなる画像処理システムにおいて、電子カメラにて撮像された原画像データをパーソナルコンピュータにて、本発明に係る画像処理を施し、プリンタで出力する形態についての説明である。
本実施例について、「１−１．画像処理システム」と、「１−２．画像処理方法」を概説し、原画像データの平滑化処理に用いる平滑化フィルタのしきい値を算出する「１−３．しきい値算出方法」と、前記算出したしきい量に応じた「１−４．平滑化処理方法」の順に説明する。
また、本実施例は、図２−（ａ）に示す原画像データに対して、撮影情報から算出したしきい値に応じた平滑化処理を施す実施例である。得られた平滑処理後の画像を図３−（ｂ）に示している。
【００２３】
（１−１．画像処理システムの構成）
（１−１−Ａ．画像処理システムの構成）
図１は、本発明における画像処理システムの概略構成を示す図である。
画像処理システムは、画像ファイル生成装置としての電子カメラ１１と、画像処理装置としてのパーソナルコンピュータ１２、及び画像出力装置としてカラープリンタ１３とから構成される。
電子カメラ１１は、種々の撮影情報を設定することが可能である。撮影情報とは、シャッタースピードや、露出や、絞りなど、原画像データの取得条件を意味する。電子カメラ１１は、撮影者が設定した撮影条件で、撮影（原画像データ生成）を行い、画像データと撮影情報とを一体的に備える画像ファイルを生成する。生成した画像ファイルは記録媒体（例えば、メモリーカード）に格納される。
パーソナルコンピュータ１２は、前記電子カメラ１１から、例えばＵＳＢインターフェースを介して、画像ファイルを取得後、画像領域分割、識別子付与、及び平滑化処理を行う。
カラープリンタ１３は、データ通信手段、例えば、専用プリンタケーブルやＬＡＮ（Local Area Network）等を介して、パーソナルコンピュータから画像ファイルを受信し、これを画像として出力する。このときのカラープリンタの出力動作については、公知の出力形式を適用することができる。
【００２４】
（１−１−Ｂ．画像ファイルの生成）
ここでは、電子カメラ１１における画像ファイル１００の生成工程を説明する。
まず、撮影者は、撮影に先立って撮影モードを設定する。撮影モードの設定では、「ポートレート」、「風景」、「スポーツ」などの予め用意された各撮影シーンに適した露出、ホワイトバランス、シャッタースピード、絞り値など、撮影される原画像データに影響を与えるパラメータを自動設定する。撮影モードに関わらず、電子カメラ１１が撮影時に自動設定する「フルオートモード」や、撮影者が好みに応じて設定する「マニュアルモード」も用意されており、これらを撮影者が適宜選択し、電子カメラ１１はこれを適用する。
撮影要求、例えば、シャッターボタンの押し下げに応じて、撮影条件（撮影モード）から自動的に設定されるパラメータ値を用いて、画像ファイルを生成する。
すなわち、設定された撮影モードに応じた各パラメータを参照して、原画像データ、撮影情報を含む画像ファイル１００を生成する。ここで生成する画像ファイルは、該画像データと撮影条件等の撮影情報とを含む所定のフォーマットで格納した画像ファイルである。このファイル構成を以下で説明する。
【００２５】
（１−１−Ｃ．画像ファイルの構成）
本実施例では、画像ファイル１００は、Ｅｘｉｆ形式のファイルであるものとして説明するが、画像ファイルのファイル形式はこれに限らず、画像データと画像処理制御データとを利用できる形式で一体的に備える構造を採ればよい。
【００２６】
図４は、本発明における画像ファイルの構成の一例を概念的に示す図である。
画像ファイル１００は、電子カメラ用画像ファイルフォーマット規格（Ｅｘｉｆ）に従ったファイル構造を有している。Ｅｘｉｆファイルの仕様は、（社）電子情報技術産業協会（ＪＥＩＴＡ）によって定められている。
画像ファイル１００は、原画像データを格納する原画像データ格納領域１０１と、格納されている原画像データに関する各種付加情報を格納する撮影情報格納領域１０２とを備えている。原画像データ格納領域１０１には、原画像データがＪＰＥＧ形式で格納されている。撮影情報格納領域１０２には、撮影情報がＴＩＦＦ形式で格納される。なお、当業者にとって周知であるように、Ｅｘｉｆ形式のファイルでは、各データを特定するために様々なタグが用いられており、原画像データ格納領域１０１に格納されているデータに対してはタグ名として種々の領域が割り当てられている。
【００２７】
図５は、本発明における撮影情報データの一例を示す図である。
画像ファイル１００の撮影情報格納領域１０２には、本図に例示したタグ名と、図示しないその設定値が格納されている。各タグ名の後には、文字終端列を示す「0x00」の終端コードが付されている。該格納領域１０２には、パラメータが格納されていることを示す識別子や、指定されているパラメータ数を示すパラメータ指定数や、予めパラメータ毎に割り振られているパラメータ番号を指定（識別）する値が格納されているパラメータ番号や、指定されたパラメータ番号のパラメータの設定値が格納されているパラメータ設定値の情報などが格納されている。パラメータ番号は、例えば、２バイトの領域に格納される情報であり、パラメータ設定値は４バイトの領域に格納される情報である。画像出力装置において、このタグを指標として撮影情報の各パラメータ値を取得することができる。
例えば、「撮影モード」については、タグ名が「風景モード」の場合、その設定パラメータとして「＋０」が格納される。また、他に、「ＩＳＯ感度」に対応する数値としては、「８００相当」を表す「１」などの予め設定された基準値が用意されている場合には、基準値からの補正量を表す数値を格納する。
【００２８】
以上のファイル構成によって、画像ファイル１００には、撮影者が設定した撮影情報を含む画像ファイル１０１が格納される。そして、該画像ファイルに対して所定の画像処理装置は、画像ファイルを取得し、そのファイルを解析することにより原画像データ及び撮影情報を取得することができる。
以下に、画像処理方法について説明する。
【００２９】
（１−２．画像処理方法）
画像処理方法は、例えば、パーソナルコンピュータ等の情報処理装置に実装されたプログラム形態を取ることが可能である。前記「１−Ｃ．画像ファイルの構成」で生成した画像ファイルをパーソナルコンピュータ１２は取得し、該画像ファイルに対して画像処理を施す。処理を施した画像ファイルは、画像出力装置であるカラープリンタ１３に送信される。カラープリンタ１３は、カラー画像を出力するプリンタであり、例えば、シアン（Ｃ）、ライトシアン（薄いシアン、ＬＣ）、マゼンタ（Ｍ）、ライトマゼンタ（薄いマゼンタ、ＬＭ）、イエロー（Ｙ）、ダークイエロー（ＤＹ）、ブラック（Ｋ）の７色の色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。他に、カラートナーを印刷媒体上に転写し、加熱定着させて画像を形成する電子写真方式のプリンタ、所謂、カラーレーザープリンタなど、種々のプリンタを適用することも可能である。
以下に、画像処理装置において適用される画像処理方法の動作概略について図６のフローチャートに基づいて説明する。
【００３０】
図６は、本発明における画像処理方法を示すフローチャートである。
画像処理装置としてのパーソナルコンピュータ１２のＣＰＵは、取得した画像ファイル１００から、原画像データを取り出す（ステップＳ１００）。電子カメラ１１は、画像データをＪＰＥＧ形式のファイルとして保存しており、ＪＰＥＧファイルでは、圧縮率を高くするために、ＹＣｂＣｒ色空間を用いて画像データを保存している。
ＣＰＵはＹＣｂＣｒ色空間に基づく画像データをｓＲＧＢ色空間に基づく画像データに変換するための第１のマトリクス演算を実行する（ステップＳ１１０）。ＣＰＵは、こうして得られたｓＲＧＢ色空間に基づく画像データに対して、原画像データのＲＧＢ値及び撮影情報に基づいて、平滑化フィルタに用いるしきい値を算出し（ステップＳ１２０）、得られたしきい値を用いて平滑化処理を実行する（ステップＳ１３０）。
【００３１】
そして、ＲＯＭ内に格納されているＲＧＢ色空間に対応したＣＭＹＫ色空間へ変換する（ステップＳ１４０）。この変換用ルックアップテーブル（ＬＵＴ）の参照は、画像データの色空間をＲＧＢ色空間からＣＭＹＫ色空間へ変更する処理であり、Ｒ・Ｇ・Ｂの３色の階調値からなる画像データを、カラープリンタ１３で使用する色、例えば、Ｃ・Ｍ・Ｙ・Ｋ・ＬＣ・ＬＭ・ＤＹの各７色の階調値のデータに変換する。最後にＣＰＵは、得られた画像出力用データを記録媒体上に形成し、これを出力することにより出力画像を得る。
以下では、ステップＳ１２０、及びＳ１３０における各々の処理についての詳細を記す。
【００３２】
（１−３．しきい値算出方法）
図６のステップＳ１１０「第１のマトリクス演算」から出力された画像データの色味の偏りを示す特性値τを、次式（１）に従い算出する。
τｒｇ＝  ΣＲ／ΣＧ，
τｂｇ＝  ΣＢ／ΣＧ，
τｂｒ＝  ΣＢ／ΣＲ，
ΣＲ  ＝  ΣｒIJ／ｎｒ，
ΣＧ  ＝  ΣｇIJ／ｎｇ，
ΣＢ  ＝  ΣｂIJ／ｎｂ  ・・・（１）
ただし、
ΣｒIJ，  ΣｇIJ，  ΣｂIJ
は、それぞれ、座標（Ｉ，Ｊ）におけるＲ，Ｇ，Ｂの値であり、
ｎｒ，  ｎｇ，  ｎｂ
は、それぞれ、Ｒ、Ｇ、Ｂの画素数である。
【００３３】
式（１）により得られた特性値、例えば、τｒｇは、緑成分に対する赤成分の割合を表しており、特性値τｒｇが１よりも大きい場合は、画像全体が赤みを帯びていると解釈される。
以下では、図７を参照して、本実施例を説明する。
【００３４】
図７は、本発明におけるｘｙ色度図上の特性値を算出する方法を示す概念図であり、
先ず、前記色味の偏りを表す特性値をｘｙ色度座標上にＤ点としてプロットする（図中の点＊）。このとき、ＲＧＢ原色光は色度点が種々の規格により定めることが可能であるが、本実施例では、ＮＴＳＣの色度座標を採用した（点Ｒ、Ｇ、Ｃ）。
この各原色光のＲ、Ｇ、Ｂ点から、線分ＲＧ、線分ＢＧ、線分ＢＲについて、それぞれ前記τｒｇ：１、τｂｇ：１、τｂｒ：１にて内分した点をそれぞれ算出し（点Ｐ１、Ｐ２、Ｐ３）、△ＲＧＢの各頂点から前記内分点（Ｐ１、Ｐ２、Ｐ３）に下ろした３本の直線の交点をＤ点とする（図中の点＊）。本実施例では、τｒｇ＝3.91、τｂｇ＝0.90、Ｐ１＝（0.160, 0,260）、Ｐ２＝（0.428, 0.530）より、Ｄ＝（0.260, 0.360）となる。
【００３５】
また、画像ファイルの撮影情報より撮影光源の光源情報を取得し、これをｘｙ色度座標上にプロットする。このときプロットした光源をＣ点とする。点Ｃ、Ｄを結ぶベクトルを、各光源色の座標と内分点とを結ぶ線分に平行なベクトルに分解する。すなわち、ベクトルＣＤを、ベクトルＣｐ３とベクトルＣｐ１に分解する。分解して得られたベクトル成分の差分ベクトルを算出する。本実施例では、ｐ１＝（0.314, 0.2781）、ｐ３＝（0.2556, 0.3088）より、Ｃｐ３＝0.0549、Ｃｐ１＝0.0382であり、この差分ベクトルは
｜Ｃｐ３−Ｃｐ１｜  ＝  ｜0.0549−0.0382｜
＝  0.0167
である。
【００３６】
続いて、前ステップにて得られた差分ベクトルと撮影情報の感度情報とから、平滑化を施すフィルタのしきい値を算出する。本実施例では、前出の差分ベクトルから、画像全体の色味として、青成分が多く含まれる画像であることが分かる。そのため、この青成分の量に応じたカラーバランスを取るために、画像全体に赤成分を加えていることが想定される。従って、平滑化処理を施す色成分として、赤成分に平滑化処理が施されることとなる。画像ファイルの撮影情報から感度情報を取得し、本実施例において、ＩＳＯ感度が８００であった。次いで、平滑化フィルタに適用されるしきい値ＴＨＲを算出する。
【００３７】
例えば、次式（２）にて表現される式が想定される。
ＴＨＲ
＝  Const.／（｜Ｃｐ３−Ｃｐ１｜×I.Sensitivity）・・・（２）
ただし、
Const.       ：定数
I.Sensitivity：ＩＳＯ感度
である。
つまり、差分ベクトル及びＩＳＯ感度が高いと、しきい値ＴＨＲは小さくなり、より急峻な平滑化処理が施されることとなる。本実施例では、しきい値ＴＨＲは、
ＴＨＲ  ＝  ５０／（０．０１６７×８００）
＝  ３．７４
であった。また、本実施例における定数は、およそ数十の範囲となるものである。
【００３８】
（１−４．平滑化処理方法）
図８は、本発明における平滑化フィルタ処理の概念を示す図である。
前ステップにて算出されたしきい値を用いて、平滑化処理を施す。この処理を施すフィルタの例として、図８が挙げられる。本図において、ａは注目画素の画素値であるものとする。また、α、α’、β、β’、γ、γ’、δ、δ’は、前記画素ａの周辺の画素の画素値であるものとする。ここで、点対称の組を以下のように定義する。
（α，  α’），  （β，  β’），
（γ，  γ’），  （δ，  δ’）
上記のように定義した点対称の組に対して、差分情報を次式（３）により算出する。
Δα  ＝  ａｂｓ（α  −ａ）
＋ａｂｓ（α’−ａ）  ・・・（３）
ただし、
ａｂｓ（ｘ−ｙ）：ｘ−ｙの絶対値
である。
また、Δβ、Δγ、Δδについても、同様に算出する。
【００３９】
式（３）で算出したΔα、Δβ、Δγ、Δδの内、最小値をとるものの値をΔｍｉｎとする。
ここで、あるしきい値ＴＨＲに関し、Δｍｉｎ＜ＴＨＲであるなら、ａをΔｍｉｎに関する３点の重み付け平均値に置き換える（該しきい値ＴＨＲの設定については、後述する。）。具体的には、ΔαがΔｍｉｎである場合、重み平均は次式（４ａ）で表される。これを新たな画素データａとする。或いは元画像に対してノイズ除去を穏やかに行うときは、次式（４ｂ）で求めることができる。
重み平均＝（α＋ａ＋α’）／３    ・・・（４ａ），
重み平均＝（α＋２ａ＋α’）／４  ・・・（４ｂ）
【００４０】
このように構成すれば、画像情報のエッジを残したまま、強い画像ノイズを低減する効果がある。また、この実施の形態例によれば、しきい値よりも大きな情報差を平滑しないので、よりエッジ情報が残りやすい。以上の説明では、注目画素の周囲の８点について平滑化フィルタ処理をかけた場合について説明したが、本発明はこれに限るものではなく、ａの周辺の画素をとばして次の画素に対してフィルタ処理を行うようにしてもよい。
【実施例２】
【００４１】
（実施例２の概要）
以下、本発明の実施の形態について、実施例に基づき以下の順序で説明する。なお、画像ファイルの生成、及び画像ファイルの構成については、実施例１で示した内容と同様であるので、説明を省略する。
実施例２は、図１の装置構成からなる画像処理システム構成において、電子カメラ１１にて撮像された原画像データを、パーソナルコンピュータ１２にて本発明に係る画像処理を施し、カラープリンタ１３で出力する形態についての説明である。
【００４２】
実施例２について、「２−１．画像処理方法」を概説し、「２−２．原画像データの領域分割方法」と、前記領域分割された原画像データの各領域に対して、「２−３．識別子付与方法」と、前記識別子に応じた［２−４．平滑化処理方法］の順に説明していく。
また、実施例２は、図２−（ａ）に示す原画像データに、記憶色領域である領域の中で、最も画像を占める割合が高い空の領域である領域（Ａ）に対して、撮影情報から算出したしきい値に応じた平滑化処理を施す実施例である。得られた平滑化処理後の画像を図３−（ｂ）に示している。
【００４３】
（２−１．画像処理方法の概説）
画像処理方法は、例えば、パーソナルコンピュータ１２に実装されたプログラムを用いて画像処理を行う形態を取ることが可能である。前記「１−１−Ｃ．画像ファイルの構成」で生成した画像ファイルをパーソナルコンピュータ１２は取得し、該画像ファイルに対して画像処理を施す。処理を施した画像ファイルは、画像出力装置であるカラープリンタ１３に送信される。カラープリンタ１３は、カラー画像を出力するプリンタであり、例えば、シアン（Ｃ）、ライトシアン（薄いシアン、ＬＣ）、マゼンタ（Ｍ）、ライトマゼンタ（薄いマゼンタ、ＬＭ）、イエロー（Ｙ）、ダークイエロー（暗いイエロー、ＤＹ）、ブラック（Ｋ）の７色インクを印刷媒体上に噴射してドットパターンを形成することによって画像を形成するインクジェット方式のプリンタである。他に、カラートナーを印刷媒体上に転写し、加熱定着させて画像を形成する電子写真方式のプリンタ、所謂、カラーレーザープリンタなど、種々のプリンタを適用することも可能である。
以下に、画像処理装置において適用される画像処理方法の動作概略について、図９のフローチャートに基づいて説明する。
【００４４】
図９は、本発明における画像処理方法を示すフローチャートである。特に、本発明の特徴である画像分割処理（ステップＳ２４０）、識別子付与処理（ステップＳ２５０）、及び平滑化処理（ステップＳ２８０）については、以下で詳細な説明を行う。
【００４５】
先ず、パーソナルコンピュータ１２のＣＰＵは、取得した画像ファイル１００から原画像データを取り出す（ステップＳ２００）。電子カメラ１１は、画像データをＪＰＥＧ形式のファイルとして保存しており、ＪＰＥＧファイルでは、圧縮率を高くするためにＹＣｂＣｒ色空間を用いて画像データを保存している。
ＣＰＵは、ＹＣｂＣｒ色空間に基づく画像データをｓＲＧＢ色空間に基づく画像データに変換するための第１のマトリクス演算を実行する（ステップＳ２１０）。ＣＰＵは、こうして得られたｓＲＧＢ色空間に基づく画像データに対して、ガンマ補正（ステップＳ２２０）、並びに第２のマトリクス演算を実行する（ステップＳ２３０）。ガンマ補正を実行する際、ＣＰＵは画像処理制御データから電子カメラ１１側のガンマ値を取得し、取得したガンマ値を用いて画像データに対してガンマ変換処理を実行する。第２のマトリクス演算は、ｓＲＧＢ色空間をＸＹＺ色空間に変換するための演算処理である。
【００４６】
ＣＰＵは、撮影条件に基づく画質調整を実行するために、原画像データのＸＹＺ色空間及び実画像空間の特徴を用いて、領域分割を実行する（ステップＳ２４０）。次いで、分割した領域に対して識別子を付与する（ステップＳ２５０）。そして、第３のマトリクス演算及び逆ガンマ補正を実行し（ステップＳ２６０）、ＸＹＺデータをＲＧＢデータに変換する。更に、色空間への変換に対応するマトリクスを用いてマトリクス演算を実行し、ＲＯＭ内に格納されているＲＧＢ色空間に対応したＣＭＹＫ色空間へ変換する（ステップＳ２７０）。
この変換用ルックアップテーブル（ＬＵＴ）の参照は、画像データの色空間をＲＧＢ色空間からＣＭＹＫ色空間に変更する処理であり、Ｒ・Ｇ・Ｂの階調値からなる画像データをカラープリンタ１３で使用する、例えば、Ｃ・Ｍ・Ｙ・Ｋ・ＬＣ・ＬＭ・ＤＹの各７色の階調値のデータに変換する。
最後にＣＰＵは、得られた印刷データに対して、平滑化処理を実行する（ステップＳ２８０）。
【００４７】
以上のステップを順次実行し、得られた画像出力用データを記録媒体上に形成し、これを出力することにより出力画像を得ることとなる。
以下では、画像分割処理（ステップＳ２４０）、識別子付与処理（ステップＳ２５０）、及び平滑化処理（ステップＳ２８０）における各々の処理についての詳細を記す。
【００４８】
（２−２．領域分割方法（ステップＳ２４０））
領域分割方法には、種々の方法を採用することが可能である。例えば、原画像データの統計的情報から再帰的に分割する方法（上記非特許文献２参照）や、画像の統計情報を用いて領域分割する方法（上記非特許文献３参照）などである。本実施例では、Ｋ平均アルゴリズムを応用した領域分割方法を例にとって説明する。
【００４９】
図１０は、本発明における領域分割の方法を示すフローチャートである。
この画像領域分割方法は、初期領域生成（ステップＳ３００）、領域分割（ステップＳ３１０）、微小領域除去（ステップＳ３２０）、番号付与（ステップＳ３３０）、小領域統合（ステップＳ３４０）、特徴量算出（ステップＳ３５０）のステップからなる。
【００５０】
初期領域生成ステップＳ３００は、入力された原画像データの画面全体を、予め設定された小量域に分割して初期領域を生成し、各領域毎に統計情報を算出する。このとき統計情報として、本実施例では、各領域毎の算術平均を用いた。この初期領域データを一旦保持して、領域分割ステップに移る。このときの領域分割数は、画像データの特徴に応じて適宜変化させることが望ましい。本実施例における小領域数は、縦５つ、横５つであり、５×５＝２５の領域に分割する（図２−（ｃ）参照）。
次いで、原画像データと初期領域生成ステップＳ３００にて得られた初期分割領域、及びその統計情報とを用いて、原画像データの領域統合、及び分割を所定回数繰り返す（ステップＳ３１０）。得られた画像信号を微小領域除去ステップＳ３２０に出力する。微小領域除去ステップＳ３２０は、多数決フィルタで構成され、領域分割ステップＳ３１０から供給された画像信号中に含まれる小さな粒状領域を除去し、粒状領域が除去された領域画像信号を番号付与ステップＳ３３０に出力する。このときの多数決フィルタの窓サイズは、画像データの特徴に応じて適宜変化させることが好ましい。本実施例における窓サイズは、５×５＝２５画素とした。
【００５１】
番号付与ステップＳ３３０は、粒状領域が除去された画像信号を入力すると共に、得られた同一領域に含まれる画面上で連結している画素に同じ識別番号を付与し、識別番号が付与された領域画像信号を小領域統合ステップＳ３４０に出力する。
小領域統合ステップＳ３４０は、識別番号が付与された領域画像信号を入力すると共に、予め設定されたあるしきい値以下の画素数の小さな領域を別領域へ統合する処理を実行し、得られた画像信号を特徴量ステップＳ３５０に出力する。
番号付与ステップＳ３３０にて、各画像領域に対して任意の番号が付与される。このときには、領域が異なることが認識されればよいので、各領域に対して付与される番号は、連続番号である必要もない。この番号付与ステップＳ３３０により、修正された分割領域は、同一の特徴量を有する領域であってもそれが連結していない限り、それぞれ別個に識別することが可能である。
【００５２】
更に、番号付与ステップＳ３３０により識別番号が付与された領域画像信号は、小領域統合ステップＳ３４０に供給される。小領域統合ステップＳ３４０では、予め定められたあるしきい値以下の画素数の小さな領域を別領域へ統合する。しきい値は、例えば、前画面の画素数の１％程度に設定する。統合は、統合対象の領域の最も外側から始め、別の領域に接している画素をその別領域に属させることによりなされる。外側から順に多領域へ属させるので、必ず全ての画素は他の領域に属することとなる。
【００５３】
本実施例における統合は、対象画素を中心にした３画素×３画素の範囲内の対象画素を取り囲む近傍８画素の中で、最も多い画素数を有する隣接領域に対象画素を統合することにより行った。外側の画素が複数の領域と接している場合には接している画素数が最も多い領域に属することになる。隣接領域の画素数が同数のときは、隣接領域全体を比較して最大の領域に統合した。
最後に、特徴量算出ステップは、分割された各領域毎に統計情報を算出し、これを一旦保持する。以上のステップを経て、得られた分割画像の例を図３−（ａ）に、その特徴量を表２に示す。なお、本実施例の特徴の領域分割ステップＳ３１０については次に述べる。
【００５４】
【表２】
2005151163.tif 000004
【００５５】
領域分割ステップＳ３１０では、原画像データと、初期領域生成ステップＳ３００からの初期領域信号とから、次の処理順序にしたがって領域分割処理を実行する。
先ず、初期領域の各領域毎の全特徴量の平均値の計算を行う。ここでの特徴量とは画素の３つの色情報（三刺激値（Ｘ’，Ｙ’，Ｚ’））、及び２つの位置情報（座標（Ｉ，Ｊ））と、の合計５つの情報である。
次に、原画像データの全画面の各画素毎に、その画素の特徴量が全体的に見てどの領域の特徴量の平均値に最も近いかを、次の評価関数（５）により決定する。
【００５６】
Ｄｋ＿ｍｅａｎ
＝  Ｋｌ｛  （Ｘ’−Ｘｍ）2
＋（Ｙ’−Ｙｍ）2
＋（Ｚ’−Ｚｍ）2 ｝
＋Ｋｐ｛  （Ｉ−Ｉｍ）2
＋（Ｊ−Ｊｍ）2 ｝  ・・・（５）
ただし、
Ｘｍ，Ｙｍ，Ｚｍ：色情報Ｘ，Ｙ，Ｚの各領域での平均値、
Ｉｍ，Ｊｍ      ：位置情報Ｉ，Ｊの各領域での平均値、
Ｋｌ，Ｋｐ      ：係数値であり、全ての特徴量が同程度の範囲とし、
例えば０〜１になるように乗ぜられる、
である。
【００５７】
次に、各画素の特徴量について全ての領域に対して評価関数を求める。求められた評価関数が最も小さくなる領域を最適領域と考え、対象としている画素をその最適領域に含め、領域を新たに構成する。全ての画素について上記の評価関数による最小値探索を行い、領域の再構成を行った後、新しく再構成された領域毎に各特徴量の平均値Ｘｍ，Ｙｍ，Ｚｍ，Ｉｍ，Ｊｍを再計算する。再び全画素について上記の操作を行う。各領域の平均値Ｘｍ，Ｙｍ，Ｚｍ，Ｉｍ，Ｊｍが変化しなくなるまで全ての処理を繰り返す。
【００５８】
（２−３．識別子付与方法（ステップＳ２５０））
ここでは、識別子付与方法に適用される処理方法について触れる。処理は、予め選択された各種データに基づき実行される。そのステップは、次のＳ４００〜Ｓ４３０までを順次実行する。
【００５９】
ステップＳ４００では、撮影情報から得られた光源情報を取得して、これを撮影光源として設定する。撮影された状況にて、様々な光源が想定される。例えば、Ａ光源（タングステン光源）、晴れた日の日影を想定した黒体放射の光源（色温度7,500［Ｋ］〜10,000［Ｋ］程度）、室内の蛍光灯を想定したＦ１〜１２光源などである。本実施例としては、画像ファイルの撮影情報の光源のタグ名に記録されている光源を読み取り、Ｃ光源：6,740［Ｋ］をＤｄｓｔと設定する。
【００６０】
次に、ステップＳ４１０では、画像処理装置における目標となる光源の種類を１つ選択して、これを目標光源として設定する。目標光源の例としては、例えば、Ｄ５５（相対色温度5,500［Ｋ］）、Ｄ６５（同6,500［Ｋ］）などの昼光色や、人工的に作られたシミュレータ光源であるＣ光源（同6,740［Ｋ］）などが挙げられる。本実施例としては、モニタの標準信号としてｓＲＧＢ空間を想定し、光源としてＤ６５光源の6,500［Ｋ］、蛍光体の輝度：８０ｃｄ／ｍ2 における３刺激値ＸＹＺDsrcを算出した。算出例を表３に示す。撮影サンプルにはマクベスチャートを用い、これをＣ光源にて撮影した画像データのＲＧＢ値を、Ｄ６５光源での３刺激値に変換した。算出に用いた式を、以下（６）〜（８）に記す。
【００６１】
【数１】
2005151163.tif 000005
【００６２】
ここで、ｒsrc ，ｇsrc ，ｂsrc ，ｒdst ，ｇdst ，ｂdst は、各光源（ｓｒｃ，ｄｓｔ）における錐体の応答値である。
また、［ＭPitt］は基本原色の色度座標であり、次式（＊）で表される。
【００６３】
【数２】
2005151163.tif 000006
【００６４】
【表３】
2005151163.tif 000007
【００６５】
そして、ステップＳ４２０では、ステップＳ４００で設定した撮影光源下での領域推定される画像信号の出力値をＳ４１０の光源下での色の見えに適合させ、３刺激値ＸＹＺDdst（前記「２−２．領域分割方法（ステップＳ２４０）」のＸｍ、Ｙｍ、Ｚｍ）を、異なる光源下での色の見えのＸＹＺ’Dsrc（後述する手順（ｉ）〜（ｖ）のＸｍ’、Ｙｍ’、Ｚｍ’）に変換する。この異なる照明下での色の見えの算出方法は、Ｖｏｎ・Ｋｒｉｅｓモデルを適用する。ここでの算出は、以下（ｉ）〜（ｖ）の手順に従う。
尚、このときの異なる照明下での色の見えには種々のモデル（ＣＩＥＣＡＭ９７ｓ，ＦａｉｒＣｈｉｌｄモデル）適用することが可能である。
【００６６】
手順（ｉ）として、光源Ｄｓｒｃ，Ｄｄｓｔ下での基本三刺激値（Ｌ0   ,Ｍ0   ,Ｓ0   ）を算出する。なお、基本三刺激値の後に記載した記号は光源情報を示す。このときの算出式は、下式の通りである。
Ｌ0   ＝  ＋0.3982・Ｘｍ
＋0.7040・Ｙｍ
−0.0804・Ｚｍ，
Ｍ0   ＝  −0.2268・Ｘｍ
＋1.1679・Ｙｍ
＋0.0458・Ｚｍ，
Ｓ0   ＝  ＋0.08458・Ｚｍ
【００６７】
手順（ｉｉ）として、上記算出した値の比、すなわち、フォン・クリース係数（ｋL   ，ｋM   ，ｋS ）を算出する。このときの算出式は、下式の通りである。
ｋL   ＝  Ｌm,Dsrc／Ｌm,Ddst  ，
ｋM   ＝  Ｍm,Dsrc／Ｍm,Ddst  ，
ｋS   ＝  Ｓm,Dsrc／Ｓm,Ddst
【００６８】
手順（ｉｉｉ）として、各分割領域の三刺激値（Ｘｍ、Ｙｍ、Ｚｍ）の基本三刺激値（ｌ’，ｍ’，ｓ’）を算出する。このときの算出式は、下式の通りである。
ｌ’＝  ＋0.3982・Ｘｍ
＋0.7040・Ｙｍ
−0.0804・Ｚｍ，
ｍ’＝  −0.2268・Ｘｍ
＋1.1679・Ｙｍ
＋0.0458・Ｚｍ，
ｓ’＝  ＋0.08458・Ｚｍ
【００６９】
手順（ｉｖ）として、順応を含めた基本三刺激値（Ｌ’，Ｍ’，Ｓ’）を算出する。このときの算出式は、下式の通りである。
Ｌ’＝  ｋL ・ｌ’，
Ｍ’＝  ｋM ・ｍ’，
Ｓ’＝  ｋS ・ｓ’
【００７０】
手順（ｖ）として、上記算出した基本三刺激値より、三刺激値（Ｘｍ’， Ｙｍ’，Ｚｍ’）を算出する。このときの算出式は、下式の通りである。
Ｘｍ’＝  ＋1.86950・Ｌ’
−  1.126900・Ｍ’
＋0.23873・Ｓ’，
Ｙｍ’＝  ＋0.36304・Ｌ’
＋  0.63740・Ｍ’
−0.00001・Ｓ’，
Ｚｍ’＝  ＋1.18231・Ｓ’
【００７１】
ステップＳ４３０では、ステップＳ４００とＳ４２０の三刺激値ＸＹＺDsrc値、及び三刺激値ＸＹＺ’Dsrcを比較する。最も近いＸＹＺDdst値の識別番号を識別子として付与する（推定情報Ｎｏ）。この際の比較は、次式（９）
ΔＤ＝｛  （ｘ０−Ｘｍ’）2
＋（ｙ０−Ｙｍ’）2
＋（ｚ０−Ｚｍ’）2   ｝0.5   ・・・（９）
に示す色空間における相対距離ΔＤなどが挙げられる。
なお、予め記憶部に保持された記憶色の色情報を含む有彩色を含む色情報の例としては、上記のマンセル色票以外の公知の情報を用いることが可能であり、例えば、マクベスカラーチェッカー、ＣＩＥ１３．３で規定される分光反射率色票、ＳＯＣＳ（JIS-TR X 0012、色再現評価用標準物体色分光データベース(SOCS)(1998)）で規定される分光反射率色票などが挙げられる。
【００７２】
また原画像データの特徴量として、各分割領域ごとの物理量を算出する。このときの算出式としては、次式（１０），（１１）などを例示することができる。
ｓ（ｔ）＝｛Ｐｉｘ（ｔ）／ｈｅｉｇｈｔ・ ｗｉｄｔｈ｝・・・（１０），
Φ（ｔ）＝｛ｌ（ｔ）｝2／｛ｓ（ｔ）・４π｝          ・・・（１１）
ただし、
ｓ（ｔ）    ：領域（ｔ）の全画像に占める面積率［％］
ｌ（ｔ）    ：領域（ｔ）の周囲長［ｐｉｘ］
Ｐｉｘ（ｔ）：領域（ｔ）に属する画素数［ｐｉｘ］
ｈｅｉｇｈｔ：原画像データの高さ［ｐｉｘ］
ｗｉｄｔｈ  ：原画像データの幅［ｐｉｘ］
である。
以上の処理を操作を経ることで、表２の列「識別子」の欄、およびその領域の特徴量を記載したテーブルを得ることができる。
【００７３】
（２−４．平滑化処理方法（ステップＳ２８０））
上記領域分割、識別子の付与情報、および撮影情報とに応じて平滑化処理を施す。以下にその詳細を記す。
本実施例では、原画像データ図２−（ａ）に対して、撮影情報、および画像領域の統計情報データ（表２）を用いて、平滑化処理を適用した例について説明する。得られる平滑処理後の画像を図３−（ｂ）に示した。この平滑化処理を施す分割領域は表２の中で、記憶色であり、かつ画像を占める面積が最も大きい（ａ）領域に対して平滑化を施す。この平滑化のフィルタのしきい値算出方法について、その詳細を以下に示す。
【００７４】
Ｅｘｉｆ情報の撮影モードとシャッタースピードから、平滑化フィルタのしきい値を算出する。本実施例においては、シャッタースピードに対するしきい値を設定する。
画像ファイルの撮影条件は、シャッタースピードに対して平滑化フィルタのしきい値ＴＨＲを次式（１２）により算出する。
ＴＨＲ＝ｆ（Ｂ，Ｓ．ｓｐｅｅｄ）  ・・・（１２）
ただし、
Ｓ．ｓｐｅｅｄ：シャッタースピード
Ｂ            ：Ｂデータ
である。
【００７５】
式（１２）の独立変数のＢデータの値、およびシャッタースピードはそれぞれ、０〜２５５、１／１０〜１／５，０００程度の範囲を取り得るので、これらを用いたしきい値ＴＨＲの値は、単純な除算で表した場合には、およそ１０1 〜１０4 オーダーの値を取る。また、このときの算出式には、ＡＰＥＸ（Additive System of Photographic Exposure）なる単位を用いて算出することも好適である。ＡＰＥＸとシャッタースピードとの関係は、基本的に次式（＊＊）の関係からなっている。
Ｅｖ  ＝  Ａｖ＋Ｓ．ｓｐｅｅｄ（Ｔｖ）
＝  Ｂｖ＋Ｓｖ  ・・・（＊＊）
ここで、
Ａｖ：絞り値，
Ｂｖ：輝度値，
Ｓｖ：ＩＳＯ感度
である。
なお、式（１２）で示したように、これらの独立変数を用いたしきい値ＴＨＲの算出には、撮影モードに応じた線形の直線式、非線形な多項式等を用いることも可能である。更に、このしきい値の算出法は予め、画像ファイルに固定値をテーブル形式で保有することも好適である。
【００７６】
以上の処理方法に従えば、先に説明した電子カメラによって生成された画像ファイル１００の原画像データにノイズを含まず、高画質化を達成でき、更に、記憶色の再現に優れる処理を施した画像を出力することが可能である。
なお、本実施例では、パーソナルコンピュータ１１にて画像処理を施し、カラープリンタ１３においては画像処理を実施しない形態を例示した。この動作は、コンピュータのハードディスク等にインストールされている、レタッチアプリケーション、プリンタドライバといった画像データ処理アプリケーション（プログラム）に、本実施例で説明した画像処理機能を持たせることによって実現される。
【００７７】
また、他の実施例として、全ての画像処理をカラープリンタ１３にて実行することも可能である。あるいは、一部をコンピュータ上、あるいは、ネットワークを介したサーバ上で実行するようにしても良い。電子カメラ１１にて生成された画像ファイル１００は、メモリカードを介してプリンタに直接データを提供する形態も可能である。
【実施例３】
【００７８】
（実施例３の概要）
実施例３は、図１の装置構成からなる画像処理システム構成において、電子カメラ１１にて撮像された原画像データをパーソナルコンピュータ１２にて本発明に係る画像処理を施し、カラープリンタ１３で出力する形態についての説明である。
本実施例において、画像処理システムと画像処理方法、原画像データの分割方法とについては、前実施例と同様であるため、その説明を省略する。
【００７９】
図１１は、本発明における原画像データを示す図である。
本実施例にて適用した原画像データは図１１−（ａ）であり、撮影情報の撮影モードである「夜景モード」を抽出し、背景領域である領域の中で画像のテクスチャ度が低い領域である空領域（Ａ）、（Ｂ）、（Ｃ）、及び（Ｄ）に対して、撮影情報から算出したしきい値に応じた平滑化を施す実施例である。
ここでは、識別子付与方法に適用される処理方法について触れる。処理は、予め選択された各種データに基づき実行される。そのステップは次のＳ４０１〜Ｓ４３１までを順次実行する。
【００８０】
（３−１．識別子付与方法）
ステップＳ４０１では、撮影情報から得られた光源情報を取得して、これを撮影光源として設定する。撮影された状況にて、様々な光源が想定される。例えば、Ａ光源（タングステン光源）、晴れた日の日陰を想定した黒体放射の光源（色温度7,500〜10,000［Ｋ］程度）、室内の蛍光灯を想定したＦ１〜１２光源などである。
本実施例としては、画像ファイルの撮影情報の光源のタグ名に記録されている光源を読取り、フラッシュ光源：7,000［Ｋ］をＤｄｓｔと設定する。
【００８１】
ステップＳ４１１では、画像処理装置における目標となる光源の種類を一つ選択して、これを目標光源として設定する。目標光源の例としては、例えば、Ｄ５５（相対色温度5,500［Ｋ］）、Ｄ６５（同6,500［Ｋ］）などの昼光色や、人工的に作られたシミュレータ光源であるＣ光源（同6,740［Ｋ］）などが挙げられる。本実施例としては、モニタの標準信号としてｓＲＧＢ空間を想定し、光源としてＤ６５光源の6,500［Ｋ］、蛍光体の輝度：８０ｃｄ／ｍ2 におけるマンセル色票（マンセルブック）の３刺激値ＸＹＺDsrcを算出した。算出例を前記表３に示す。
【００８２】
ステップＳ４２１では、ステップＳ３０１で設定した撮影光源下での領域推定される画像信号の出力値をＳ４１０の光源下での色の見えに適合させ、３刺激値ＸＹＺDdst（前記「２−２．領域分割方法（ステップＳ２４０）」のＸｍ、Ｙｍ、Ｚｍ）を、異なる光源下での色の見えのＸＹＺ’Dsrc（前記手順（ｉ）〜（ｖ）のＸｍ’、Ｙｍ’、Ｚｍ’）に変換する。この異なる照明下での色の見えの算出方法は、Ｖｏｎ・Ｋｒｉｅｓモデルを適用する。ここでの算出は、前記手順（ｉ）〜（ｖ）に従う。
なお、このときの異なる照明下での色の見えには種々のモデル（ＣＩＥＣＡＭ９７ｓ，ＦａｉｒＣｈｉｌｄモデル）適用することが可能である。なお、本算出法は、実施例１と同様であるためその説明を省略する。
【００８３】
ステップＳ４３１では、ステップＳ４０１とＳ４２１の三刺激値ＸＹＺDsrc値、及び三刺激値ＸＹＺ’Dsrcを比較する。最も近いＸＹＺDdst値の識別番号を識別子として付与する（推定情報Ｎｏ）。この際の比較は、前出の（９）式に示す色空間における相対距離：ΔＤなどが挙げられる。
なお、予め記憶部に保持された記憶色の色情報を含む有彩色を含む色情報の例としては、上記のマンセル色票以外の公知の情報を用いることが可能であり、例えば、マクベスカラーチェッカー、ＣＩＥ１３．３で規定される分光反射率色票、ＳＯＣＳ（JIS-TR X 0012、色再現評価用標準物体色分光データベース(SOCS)(1998)）で規定される分光反射率色票などが挙げられる。また原画像データの特徴量として、各分割領域ごとの物理量を算出する。このときの算出式としては、前述の式（１０）、（１１）などを例示することができる。
【００８４】
またここでは、原画像データの特徴量として、ある要素パターンを繰返すことにより生成される、所謂、テクスチャ部分の知覚量を演算する方法について記載する。
はじめに、原画像データのＹデータを、図１２−（ａ）のラプラシアン演算子で微分し、得られたデータをしきい値Ｔにて量子化する。このしきい値Ｔは、式（１３）が挙げられる。
次いで、得られた２次微分画像データに図１２−（ｂ）の９×９［画素］の非線形演算子を作用させ、部分窓数を算出する。このようにして算出された値が、テクスチャ度ε（ｔ）［％］である。前記部分窓数算出処理を分割した領域の全範囲に適用し、テクスチャ量σ（ｔ）を、式（１４）にて算出する。以上の処理を経ることで、表４の列「識別子」の欄、およびその領域の特徴量を記載したテーブルを得ることができる。
Ｔ＝  （微分値のモード値）
＋（微分値の標準偏差）×１．４  ・・・（１３），
σ（ｔ）＝Σ｛ε（ｔ）｝            ・・・（１４）
【００８５】
【表４】
2005151163.tif 000008
【００８６】
（３−２．平滑化処理方法）
上記領域分割、識別子の付与情報、および撮影情報とに応じて平滑化処理を施す。以下にその詳細を記す。
本実施例では、原画像データ図１１−（ａ）に対して、撮影情報、および画像領域の統計情報データ（表４参照）を用いて、平滑化処理を適用した例について説明する。
なお、平滑化フィルタについては、本実施例２と同様であるため説明は省略し、以下ではそのしきい値ＴＨＲについての説明を記する。
【００８７】
Ｅｘｉｆ情報の撮影モードとＩＳＯ感度、および画像の特徴量とから、平滑化フィルタのしきい値を算出する。本実施例においては、ＩＳＯ感度と画像のテクスチャ量に対するしきい値を設定する。
しきい値ＴＨＲは、式（１５）により算出する。
ＴＨＲ  ＝  ｆ（Ｂ，Ｉ．Ｓｅｎｓｉｔｉｖｉｔｙ）
＋ｇ（Ｂ，σ（ｔ））              ・・・（１５）
ただし、
Ｉ．Ｓｅｎｓｉｔｉｖｉｔｙ：ＩＳＯ感度
Ｂ      ：Ｂデータ
σ（ｔ）：テクスチャ量［％］
である。
【００８８】
式（１５）の独立変数のＢデータの値、およびＩＳＯ感度はそれぞれ、０〜２５５、１００〜１，６００程度の範囲を取り得るので、テクスチャ量が、５％までの範囲をとり得るとすると、これらを用いたしきい値ＴＨＲの値は、単純な除算で表した場合には、第１項はおよそ２・１０-1〜２・１０3 、第２項はおよそ２・１０-3〜２・１０-1オーダーの値を取る。また、このときの算出式には、ＡＰＥＸ（Additive System of Photographic Exposure）なる単位を用いて算出することも好適である。ＡＰＥＸとＩＳＯ感度との関係は、基本的に次の関係（＊＊＊）からなっている。
Ｅｖ  ＝  Ａｖ＋Ｔｖ
＝  Ｂｖ＋Ｉ．Ｓｅｎｓｉｔｉｖｉｔｙ（Ｓｖ）  ・・・（＊＊＊）
ここで、
Ａｖ：絞り値，
Ｔｖ：シャッタースピード，
Ｂｖ：輝度値
である。
なお、式（１４）で示したように、これらの独立変数を用いたしきい値の算出には、撮影モードに応じた線形の直線式、非線形な多項式等を用いることも可能である。さらに、このしきい値の算出法は予め、画像ファイルに固定値をテーブル形式で保有することも好適である。
【００８９】
以上の処理方法に従えば、先に説明した電子カメラによって生成された画像ファイル１００の原画像データにノイズを含まず、高画質化を達成でき、さらに記憶色の再現に優れる処理を施した画像を出力することができる。
なお上記実施例では、パーソナルコンピュータ１１にて画像処理を施し、カラープリンタ１３においては画像処理を実施しない形態を例示した。この動作は、コンピュータのハードディスク等にインストールされている、レタッチアプリケーション、プリンタドライバといった画像データ処理アプリケーション（プログラム）に、本実施例で説明した画像処理機能を持たせることによって実現される。
【００９０】
また、他の実施例として、全ての画像処理をカラープリンタ１３にて実行することも可能である。あるいは、一部をコンピュータ上、あるいは、ネットワークを介したサーバ上で実行するようにしても良い。電子カメラ１１にて生成された画像ファイル１００は、メモリカードを介してプリンタに直接データを提供する形態も可能である。
【実施例４】
【００９１】
（実施例４の概要）
本実施例は、図１３の装置構成からなる画像処理システム構成において、電子カメラにて撮像された原画像データを、無線ＬＡＮを介して接続されたカラープリンタに送信し、直接出力する形態についての説明である。
本実施例において、画像処理システムと画像処理方法、原画像データの分割方法と、前記分割された原画像データの各領域に対して識別子を付与する方法については、前実施例と同様であるため、その説明を省略する。
また、実施例として適用した原画像データは図１４−（ａ）であり、撮影情報の撮影モードが「風景モード」であり、かつ入力画像データおよび出力画像データの大きさに応じて、記憶色領域である空領域（Ａ）に適切な平滑化を施す実施例である。
【００９２】
以下、本発明の実施の形態について、実施例に基づき説明する。
なお、画像ファイルの生成、および画像ファイルの構成については、実施例１と同様であるため、説明を省略する。
【００９３】
（４−１．画像処理システムの構成）
図１３は、本発明における画像処理システムの概略構成を示す図である。
本実施例の画像処理システム１０は、画像ファイル生成装置としての電子カメラ１１と、画像処理装置および画像出力装置としてカラープリンタ１３とから構成される。
電子カメラ１１は、種々の撮影情報を設定できる。撮影情報とは、シャッタースピードや、露出や、絞りなど、原画像データの取得条件を意味する。電子カメラ１１は、撮影者が設定した撮影条件で撮影（原画像データ生成）を行い、画像データと撮影情報とを一体的に備える画像ファイルを生成する。生成した画像ファイルは記録媒体（例えば、メモリカード）に格納される。
カラープリンタ１３は、画像ファイルを取得後、画像領域分割、識別子付与、平滑化処理、そして最後に出力処理を行う。電子カメラ１１からカラープリンタ１３への画像ファイルの送信は、ＬＡＮ，ＵＳＢケーブルなどのインターフェイスを介しても良いし、無線ＬＡＮなどにより直接データを送信することも可能である。このときのカラープリンタの出力動作については、公知の出力形式を適用することができる。
【００９４】
（４−２．識別子付与方法）
以下に、識別子付与方法に適用される最適化方法について触れた後、識別子付与方法を説明する。最適化処理は、予め選択された各種データに基づき、実行される。最適化処理においては、予め最適化に必要な各種データを選択する。
ステップＳ４０２では、撮影情報から得られた光源情報を取得して、これを撮影光源として設定する。撮影された状況にて、様々な光源が想定される。例えば、Ａ光源（タングステン光源）、晴れた日の日陰を想定した黒体放射の光源（色温度7,500〜10,000［Ｋ］程度）、室内の蛍光灯を想定したＦ１〜１２光源などである。
本実施例としては、画像ファイルの撮影情報の光源のタグ名に記録されている光源を読取り、Ｂ光源：4,870［Ｋ］をＤｄｓｔと設定する。
【００９５】
ステップＳ４１２では、画像処理装置における目標となる光源の種類を一つ選択して、これを目標光源として設定する。目標光源の例としては、例えば、Ｄ５５（相対色温度5,500［Ｋ］）、Ｄ６５（同6,500［Ｋ］）などの昼光色や、人工的に作られたシミュレータ光源であるＣ光源（同6,740［Ｋ］）などが挙げられる。
本実施例としては、モニタの標準信号としてｓＲＧＢ空間を想定し、光源としてＤ６５光源の6,500［Ｋ］、蛍光体の輝度：８０ｃｄ／ｍ2 におけるマンセル色票（マンセルブック）の３刺激値ＸＹＺDsrcを算出した。算出例を前記表３に示す。
【００９６】
ステップＳ４２２では、ステップＳ３０２で設定した撮影光源下での領域推定される画像信号の出力値をＳ３１２の光源下での色の見えに適合させ、３刺激値ＸＹＺDdst（前記「２−２．領域分割方法（ステップＳ２４０）」のＸｍ、Ｙｍ、Ｚｍ）を、異なる光源下での色の見えのＸＹＺ’Dsrc（前記手順（ｉ）〜（ｖ）のＸｍ’、Ｙｍ’、Ｚｍ’）に変換する。この異なる照明下での色の見えの算出方法は、Ｖｏｎ・Ｋｒｉｅｓモデルを適用する。ここでの算出は、前記手順（ｉ）〜（ｖ）に従う。
なお、このときの異なる照明下での色の見えには種々のモデル（ＣＩＥＣＡＭ９７ｓ，ＦａｉｒＣｈｉｌｄモデル）適用することが可能である。なお、本算出法は、実施例１と同様であるためその説明を省略する。
【００９７】
ステップＳ４３２では、ステップＳ４０２とＳ４２２の三刺激値ＸＹＺDsrc値、及び三刺激値ＸＹＺ’Dsrcを比較する。最も近いＸＹＺDdst値の識別番号を識別子として付与する（推定情報Ｎｏ）。この際の比較は、前述の式（９）に示す色空間における相対距離：ΔＤなどが挙げられる。
なお、予め記憶部に保持された記憶色の色情報を含む有彩色を含む色情報の例としては、上記のマンセル色票以外の公知の情報を用いることが可能であり、例えば、マクベスカラーチェッカー、ＣＩＥ１３．３で規定される分光反射率色票、ＳＯＣＳ（JIS-TR X 0012、色再現評価用標準物体色分光データベース(SOCS)(1998)）で規定される分光反射率色票などが挙げられる。また、原画像データの特徴量として、各分割領域ごとの物理量を算出する。このときの算出式としては、前述の式（１０）、（１１）、あるいは実施例２におけるテクスチャ量などを例示することができる。
以上の処理を操作を経ることで、表５の列「識別子」の欄、およびその領域の特徴量を記載したテーブルを得ることができる。
【００９８】
【表５】
2005151163.tif 000009
【００９９】
上記、領域分割、識別子の付与情報、および撮影情報とに応じて平滑化処理を施す。以下にその詳細を記す。本実施例では、原画像データ図１４−（ａ）に対して、撮影情報、および画像領域の統計情報データを用いて、平滑化処理を適用した例について説明する。
なお、平滑化フィルタについては、本実施例１と同様であるため説明は省略し、以下ではそのしきい値ＴＨＲについての説明を記述する。
【０１００】
（しきい値の取得方法）
Ｅｘｉｆ情報の撮影モード、シャッタースピード、画像の特徴量、および印刷設定とから平滑化フィルタのしきい値を算出する。しきい値ＴＨＲの算出方法としては、次式（１６）などを例示することができる。
ＴＨＲ  ＝  ｆ（Ｂ，Ｓ．ｓｐｅｅｄ）
＋ｈ（Ｏ．ｓｉｚｅ／Ｉ．ｓｉｚｅ）・・・（１６）
ただし、
Ｓ．ｓｐｅｅｄ：シャッタースピード
Ｂ            ：Ｂデータ
Ｏ．ｓｉｚｅ  ：出力サイズ
Ｉ．ｓｉｚｅ  ：入力サイズ
である。
【０１０１】
（１６）式の独立変数のＢデータの値、およびシャッタースピードのとり得る範囲は実施例１と同様であり、説明は割愛する。ここで、これらを用いたしきい値ＴＨＲの値は、単純な除算で表した場合には、第１項はおよそ１０1 〜１０4 、第２項はおよそ１０-2〜１０2 オーダーの値を取る。また、このときの算出式には、ＡＰＥＸ（Additive System of Photographic Exposure）なる単位を用いて算出することも好適である。ＡＰＥＸとＩＳＯ感度との関係は、基本的に次の関係（＊＊＊＊）からなっている。
Ｅｖ  ＝  Ａｖ＋Ｔｖ
＝  Ｂｖ＋Ｉ．Ｓｅｎｓｉｔｉｖｉｔｙ（Ｓｖ）・・・（＊＊＊＊）
ここで、
Ａｖ：絞り値，
Ｔｖ：シャッタースピード，
Ｂｖ：輝度値
である。
なお、式（１６）で示したように、これらの独立変数を用いたしきい値の算出には、撮影モードに応じた線形の直線式、非線形な多項式等を用いることも可能である。さらに、このしきい値の算出法は予め、画像ファイルに固定値をテーブル形式で保有することも好適である。
【０１０２】
以上の処理方法に従えば、先に説明した電子カメラ１１によって生成された画像ファイル１００の原画像データにノイズを含まず、高画質化を達成でき、さらに記憶色の再現に優れる処理を施した画像を出力することができる。
なお、上記実施例では、カラープリンタ１３にて画像処理を施す形態を例示した。この動作は、予めプリンタのＲＯＭ等の記憶領域に画像データ処理アプリケーション（プログラム）に、本実施例で説明した画像処理機能を持たせることによって実現される。
また、他の実施例として、実施例１と同様の形態、すなわち、画増処理をパーソナルコンピュータ１１にて、適宜処理を施し、カラープリンタは出力処理のみを実行する形態も挙げられる。
【０１０３】
（効果）
以上の説明から明らかなように、原画像データと撮影情報より構成される画像ファイルから出力用画像データを生成する画像生成工程と、前記画像生成工程にて、前記撮影情報の光源情報及び感度情報に基づいた平滑化処理を施す平滑化工程とを有することにより、ノイズを軽減しつつ、高感度な画像ファイルを生成することが可能となる。
【０１０４】
また、前記平滑化工程は、原画像データの画像特徴量を算出する算出工程と、前記画像の特徴量に基づいて、ノイズ除去フィルタのしきい値を演算する演算工程と、前記演算結果に基づいて平滑化を施すこと第２の平滑化工程とを有することにより、ノイズを軽減しつつ、高感度な画像ファイルを生成することが可能となる。
【０１０５】
また、前記算出工程は、前記原画像データを分割する分割工程と、前記分割領域に対して、原画像データの色情報（３刺激値）の重心値、再頻値、標準偏差、などの統計量、あるいは面積率、テクスチャ度等の物理量を少なくとも１つ算出する第２の算出工程とを有することにより、画像の特性に応じて、適切な平滑化処理を施すことが可能となる。
【０１０６】
また、前記演算工程は、前記原画像データの統計量、物理量に基き優先順位を決定する決定工程と、前記分割した分割領域に対して、撮影情報と予め記憶した記憶色に関する色情報とから識別子を付与する付与工程と、前記決定工程及び前記付与工程の結果より重視する分割領域を推定する推定工程とを有することにより、画像の特性に応じて、適切な平滑化処理を施すことが可能となる。
【０１０７】
また、前記付与工程は、前記記憶色に関する色情報を、撮影情報の光源情報における色情報（３刺激値）に変換する変換工程と、前記記憶色と分割領域における色情報の相対距離を算出する第３の算出工程と、前記相対距離が最小となる識別子を分割領域の識別子と決定する決定工程とを有することにより、記憶色の色再現に適した平滑化を施すことが可能となる。
【図面の簡単な説明】
【０１０８】
【図１】本発明における画像処理システムの概略構成を示す図である。
【図２】本発明における原画像データを示す図である（その１）。
【図３】本発明における原画像データを示す図である（その２）。
【図４】本発明における画像ファイルの構成の一例を概念的に示す図である。
【図５】本発明における撮影情報データの一例を示す図である。
【図６】本発明における画像処理方法を示すフローチャートである。
【図７】本発明におけるｘｙ色度図上の特性値を算出する方法を示す概念図である。
【図８】本発明における平滑化フィルタ処理の概念を示す図である。
【図９】本発明における画像処理方法を示すフローチャートである。
【図１０】本発明における領域分割の方法を示すフローチャートである。
【図１１】本発明における原画像データを示す図である。
【図１２】本発明における原画像データのラプラシアン演算、非線形演算を示す図である。
【図１３】本発明における画像処理システムの概略構成を示す図である。
【図１４】本発明における原画像データを示す図である。
【図１５】感度と知覚されるノイズ量の相関関係を示す図である。
【図１６】電子カメラの要部を示すフローチャートである。
【図１７】画像信号３原色に対する相対感度を示す特性図である。
【符号の説明】
【０１０９】
１１    電子カメラ（ディジタルカメラ）
１２    パーソナルコンピュータ（情報処理装置）
１３    カラープリンタ
１００    画像ファイル
１０１    原画像データ格納領域
１０２    撮影情報格納領域
【図１】
2005151163.tif 000010
【図４】
2005151163.tif 000011
【図５】
2005151163.tif 000012
【図６】
2005151163.tif 000013
【図７】
2005151163.tif 000014
【図８】
2005151163.tif 000015
【図９】
2005151163.tif 000016
【図１０】
2005151163.tif 000017
【図１２】
2005151163.tif 000018
【図１３】
2005151163.tif 000019
【図１５】
2005151163.tif 000020
【図１６】
2005151163.tif 000021
【図１７】
2005151163.tif 000022
【図２】
2005151163.tif 000023
【図３】
2005151163.tif 000024
【図１１】
2005151163.tif 000025
【図１４】
2005151163.tif 000026