【事件の表示】
　特許第３４５８８５５号「画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体」の請求項１ないし６に係る特許に対する特許異議の申立てについて、次のとおり決定する。
【結　論】
　訂正を認める。
　特許第３４５８８５５号の請求項１ないし６に係る特許を維持する。
【理　由】
第１．手続の経緯
　本件特許第３４５８８５５号に係る出願は、平成９年１０月２７日に出願した特願平９−２９４０５１号の一部を平成１５年４月１８日に新たな特許出願としたものであって、平成１５年８月８日に特許権の設定登録がされ、その後、その特許請求の範囲における請求項１ないし６（全請求項）に係る発明について、異議申立人大木茂により特許異議の申立てがなされ、取消理由通知がされ、訂正請求がなされたものである。
　
第２．訂正の適否
１．訂正の内容
（ア）訂正事項ａ
　特許請求の範囲の請求項１における「該評価基準に対応した画素をサンプリングするサンプリング手段と、」を「該複数の各評価基準により選択された画素をサンプリングするサンプリング手段と、」と訂正する。
（イ）訂正事項ｂ
　特許請求の範囲の請求項１における「上記異なる評価基準によるそれぞれの特徴量を得て、」を「上記各評価基準に対応した特徴量として複数種類の特徴量を得て、」とする。
（ウ）訂正事項ｃ
　特許請求の範囲の請求項１における「該複数のパラメータの少なくともーつに基づき、上記画像データを変換する画像処理手段と」を「該複数のパラメータに基づき、上記画像データを変換する画像処理手段と」と訂正する。
（エ）訂正事項ｄ
　特許請求の範囲の請求項２における「該評価基準を適用して該評価基準に対応した画素をサンプリングする手段であり、」を「該評価基準を適用して該評価基準により選択された画素をサンプリングする手段であり、」と訂正する。
（オ）訂正事項ｅ
　特許請求の範囲の請求項５における「該評価基準に対応した画素をサンプリングし、」を「該複数の各評価基準により選択された画素をサンプリングし、」と訂正する。
（カ）訂正事項ｆ
　特許請求の範囲の請求項５における「上記異なる評価基準によるそれぞれの特徴量を得て、」を「上記各評価基準に対応した特徴量として複数種類の特徴量を得て、」と訂正する。
（キ）訂正事項ｇ
　特許請求の範囲の請求項５における「該複数のパラメータの少なくとも一つに基づき、上記画像データを変換する」を「該複数のパラメータに基づき、上記画像データを変換する」と訂正する。
（ク）訂正事項ｈ
　特許請求の範囲の請求項６における「該評価基準に対応した画素をサンプリングする機能と、」を「該複数の各評価基準により選択された画素をサンプリングする機能と、」と訂正する。
（ケ）訂正事項ｉ
　特許請求の範囲の請求項６における「上記異なる評価基準によるそれぞれの特徴量を得て、」を「上記各評価基準に対応した特徴量として複数種類の特徴量を得て、」と訂正する。
（コ）訂正事項ｊ
　特許請求の範囲の請求項６における「該複数のパラメータの少なくとも一つに基づき、上記画像データを変換する機能と」を「該複数のパラメータに基づき、上記画像データを変換する機能と」と訂正する。
（サ）訂正事項ｋ
　本件特許明細書の段落【０００７】における「このように画像処理を行うにあたり、特徴量を適切に選択する必要性は依然として残ったままであった。」を「このように画像処理を行うにあたり、オブジェクトの特徴量と実写画像全体の平均的な特徴量のいずれかを使用するだけでは、良好な結果が得られない場合があった。」と訂正する。
（シ）訂正事項ｌ
　本件特許明細書の段落【０００８】における「本発明は、上記課題にかんがみてなされたもので、特徴量を適切に選択して画像処理を行うことが可能な画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体の提供を目的とする。」を「本発明は、上記の課題を踏まえ、オブジェクトの特徴量と実写画像全体の平均的な特徴量とを併用して画像処理を行うことが可能な画像処理装置、画像処理方法および画像処理制御ブログラムを記録した媒体を提供するものである。」と訂正する。
（ス）訂正事項ｍ
　本件特許明細書の段落【０００９】における「該評価基準に対応した画素をサンプリングするサンプリング手段と、」、「上記異なる評価基準によるそれぞれの特徴量を得て、」、「該複数のパラメータの少なくとも一つに基づき、上記画像データを変換する画像処理手段と」を、それぞれ「該複数の各評価基準により選択された画素をサンブリングするサンプリング手段と、」、「上記各評価基準に対応した特徴量として複数種類の特徴量を得て、」、「該複数のパラメータに基づき、上記画像データを変換する画像処理手段と」と訂正する。
（セ）訂正事項ｎ
　本件特許明細書の段落【００１０】における「該評価基準に対応した画素をサンプリングする。」、「異なる評価基準によるそれぞれの特徴量を得て、」、「画像処理手段は、複数のパラメータの少なくとも一つに基づき、画像データを変換する。」を、それぞれ「該複数の各評価基準により選択された画素をサンプリングする。」、「各評価基準に対応した特徴量として複数種類の特徴量を得て、」、「画像処理手段は、複数のパラメー夕に基づき、画像データを変換する。」と訂正する。
（ソ）訂正事項ｏ
　本件特許明細書の段落【００１１】における「これらの複数のパラメータを適切に選択して画像データの変換を行なう。」を「これらの複数のパラメータに基づき画像データの変換を行なう。」と訂正する。
（タ）訂正事項ｐ
　本件特許明細書の段落【００１５】における「この評価基準を適用して該評価基準に対応した画素をサンプリングする手段とし、」を「この評価基準を適用して該評価基準により選択された画素をサンプリングする手段とし、」と訂正する。
（チ）訂正事項ｑ
　本件特許明細書の段落【００２６】における「該評価基準に対応した画素をサンプリングし、」、「上記異なる評価基準によるそれぞれの特徴量を得て、」、「該複数のパラメータの少なくとも一つに基づき、上記画像データを変換する」を、それぞれ「該複数の各評価基準により選択された画素をサンプリングし、」、「上記各評価基準に対応した特徴量として複数種類の特徴量を得て、」、「該複数のパラメータに基づき、上記画像データを変換する」という記載に訂正する。
（ツ）訂正事項ｒ
　本件特許明細書の段落【００３０】における「該評価基準に対応した画素をサンプリングする機能と、」、「上記異なる評価基準によるそれぞれの特徴量を得て、」、「該複数のパラメータの少なくともーつに基づき、上記画像データを変換する機能と」を、それぞれ「該複数の各評価基準により選択された画素をサンプリングする機能と、」、「上記各評価基準に対応した特徴量として複数種類の特徴量を得て、」、「該複数のパラメータに基づき、上記画像データを変換する機能と」と訂正する。
（テ）訂正事項ｓ
　本件特許明細書の段落【００３３】における「異なる評価基準によるそれぞれの特徴量が得られ、」を「異なる複数の各評価基準に対応した特徴量として、複数種類の特徴量が得られ、」と訂正する。
（ト）訂正事項ｔ
　本件特許明細書の段落【００３４】における「また、実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準に対応した画素をサンプリングし、」を「また、実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準により選択された画素をサンプリングし、」と訂正する。
　
２．訂正の目的の適否、新規事項の有無及び特許請求の範囲の拡張、変更の存否
（１）訂正事項ａ、ｅ、ｈについて
　「該評価基準に対応した画素」という記載について、複数の各評価基準によってサンプリング対象となる画素が選択されることを明らかにするものであり、明りょうでない記載の釈明を目的とする訂正に該当する。
　また、この訂正は段落【００４９】における「また、相違するのは、一方が均等に画素をサンプリングするのに対し、他方がエッジ画素を選択してサンプリングする点である。」との記載に基づくものである。
（２）訂正事項ｂ、ｆ、ｉについて
　「上記異なる評価基準によるそれぞれの特徴量を得て、」という記載について、評価基準が異なるので、得られる特徴量の種類も異なっていることを明らかにするものであり、明りょうでない記載の釈明を目的とする訂正に該当する。
　また、この訂正は段落【００８４】、【００８８】、【０１０１】、【０１１８】、【０１５９】の記載に基づくものである。
（３）訂正事項ｃ、ｇ、ｊについて
　「該複数のパラメー夕の少なくともーつ」をより下位概念である「該複数のパラメータ」とすることは、特許請求の範囲の減縮を目的とした訂正に該当する。
　また、この訂正は段落【００９３】、【００９４】、【００９８】ないし【０１１３】、【０１５５】の記載に基づくものである。
（４）訂正事項ｄについて
　訂正事項ａにおける請求項１の訂正に伴い、訂正後の請求項１の記載との整合を図るための訂正であり、明りょうでない記載の釈明を目的とした訂正に該当する。
　また、この訂正は前記「（１）訂正事項ａ、ｅ、ｈについて」で示した各段落の記載に基づくものである。
（５）訂正事項ｋ、ｌについて
　解決課題に関する記載を請求項１に係る発明に対応する記載に改めるものであり、明りょうでない記載の釈明を目的とした訂正に該当する。
　訂正事項ｋにおける訂正は段落【０００４】、【０００７】の記載に基づくものである。
　訂正事項ｌにおける訂正は、前記「（３）訂正事項ｃ、ｇ、ｊについて」で示した各段落の記載に基づくものである。
（６）訂正事項ｍないしｔについて
　特許請求の範囲の訂正に伴い、訂正後の特許請求の範囲の記載に発明の詳細な説明の記載を整合させるものであり、明りょうでない記載の釈明を目的とした訂正に該当する。
　また、これらの訂正は前記「（１）〜（４）」で示した各段落の記載に基づくものである。
　
　そして、上記訂正事項ａないしｔの訂正は、いずれも新規事項の追加に該当せず、実質的に特許請求の範囲を拡張し又は変更するものではない。
　
３．むすび
　したがって、上記訂正は、特許法第１２０条の４第２項、及び第３項で準用する同第１２６条第２、３項の規定に適合するので、当該訂正を認める。
　
第３．特許異議申立について
１．申立ての理由の概要
　特許異議申立人大木茂は、特公昭５９−２９８４８号公報（甲第１号証）、特開平８−３２９２４１号公報（甲第２号証）、特公平４−６３５８５号公報（甲第３号証）を提出し、本件請求項１ないし６に係る発明は、甲第１ないし３号証に基づいて、当業者が容易になし得た発明に該当し、特許法第２９条第２項の規定により特許を受けることができない。
　また、本件明細書の発明の詳細な説明には、当業者がその実施をすることができる程度に明確かつ十分に記載されているとは認められず、また、特許請求の範囲の記載は、発明の詳細な説明に記載したものとは認められないから、特許法第３６条第４項及び第６項に規定する要件を満たしていないので、特許を取り消すべきである旨主張している。
　
２．本件特許に係る発明
　本件特許の請求項１ないし６に係る発明（以下、各々の発明を「本件発明１」などという。）は、前記のとおり訂正が認められるので、訂正明細書の特許請求の範囲の請求項１ないし６に記載された次のとおりのものである。
　
　「【請求項１】　複数の画素からなる実写画像の画像データに対して所定の画像処理を行う画像処理装置であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力する入力手段と、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該複数の各評価基準により選択された画素をサンプリングするサンプリング手段と、
　上記着目画素を移動しつつ、上記画像データの入カと画素のサンプリングとを繰り返し、上記各評価基準に対応した特徴量として複数種類の特徴量を得て、該得られた特徴量に基づいて、上記画像データを評価し、画像処理に用いる複数のパラメータを求める評価手段と、
　該複数のパラメータに基づき、上記画像データを変換する画像処理手段と
を備える画像処理装置。
　【請求項２】　上記請求項１に記載の画像処理装置であって、
　上記サンプリング手段は、上記複数の評価基準のーつとして上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準を有し、該評価基準を適用して該評価基準により選択された画素をサンプリングする手段であり、
　上記評価手段は、サンプリングされた画素の画像データにおける中心的な値を前記特徴量として得て、該得られた特徴量に基づいて前記パラメータを求める手段である画像処理装置。
　【請求項３】　上記請求項２に記載の画像処理装置であって、
上記サンプリング手段は、上記着目した画素における隣接画素との画像データの変化度合いが大きいか否かを、上記予め定められた評価基準として備える画像処理装置。
　【請求項４】　上記請求項２に記載の画像処理装置であって、
　上記サンプリング手段は、上記着目した画素における色が所定範囲内にあるか否かを、上記予め定められた評価基準として備える画像処理装置。
　【請求項５】　複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう方法であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力し、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該複数の各評価基準により選択された画素をサンブプリングし、
　上記着目画素を移動しつつ、上記画像データの入カと画素のサンプリングとを繰り返すことで上記各評価基準に対応した特徴量として複数種類の特徴量を得て、
該得られた特徴量に基づいて、上記画像データを評価し、画像処理に用いる複数のパラメータを求め、
　該複数のパラメータに基づき、上記画像データを変換する
画像処理方法。
　【請求項６】　複数の画素からなる実写画像の画像デー夕に対して所定の画像処理を行なうプログラムをコンピユータにより読み取り可能に記録した記録媒体であって、
　上記画像デー夕を構成する画素に着目し、該画素の画像データを入力する機能と、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該複数の各評価基準により選択された画素をサンプリングする機能と、
　上記着目画素を移動しつつ、上記画像データの入カと画素のサンプリングとを繰り返すことで上記各評価基準に対応した特徴量として複数種類の特徴量を得て、該得られた特徴量に基づいて、上記画像データを評価し、画像処理に用いる複数のパラメータを求める機能と、
　該複数のパラメータに基づき、上記画像データを変換する機能と
をコンピュータにより実現するプログラムを記録した記録媒体。」
　
３．引用例記載の発明
　当審が通知した取消理由で引用した文献は、次のとおりである。
　引用例１：特公昭５９−２９８４８号公報（異議申立人提示の甲第１号証）
　引用例２：特開平８−３２９２４１号公報（同甲第２号証）
　引用例３：特公平４−６３５８５号公報（同甲第３号証）
　引用例４：特開平９−５１４３３号公報（同参考資料１）
　引用例５：特公平３−２２１１７号公報（同参考資料２）
　
　このうち引用例１には、「写真焼付露光量制御方法」の発明に関し、以下ａ）ｂ）に示す記載がある。
　ａ）「第１図は、本発明の実施態様を示すブロック図である。図においてＸはネガフィルム画面の濃度を検出するための光電変換手段、Ｙは隣接する部分の前記変換手段の出力の差を求める手段、Ｔは定数発生器、Ｚは比較器、そしてＡは特性値（例えば平均透過の濃度）演算手段である。また第２図はネガフィルム画面の複数の部分の濃度検出を走査手段によって実施する場合の説明図で、矢印ｉ、ｊは走査の方向を示すものである。本実施態様においてはネガフィルム画面を走査することによって、複数の部分から光電変換手段Ｘによって濃度信号Ｄi-1,j、Ｄi,j、Ｄi+1,j…を検出し、これらの出力の差を求める手段Ｙによってその差
　ΔＤi,j＝Ｄi,j−Ｄi-1,j
　ΔＤi+1,J＝Ｄi+1,j−Ｄi,j
　　…
を算出し、この値と定数発生器Ｔから送られる予め設定した値とを、比較器Ｚで比較し、例えばδを予め設定した値とした場合、
｜ΔＤi,j｜＞δのとき　…　Ｄi-1,j、Ｄi,jを採用する。
｜ΔＤi,j｜＜δのとき　…　Ｄi-1,j、Ｄi,jを採用しない。
の如く、濃度信号を選択的に採用する。」（２ページ４欄７〜３５行目）
　ｂ）「第３図は本発明の他の実施態様を示すブロック図である。図において、Ｘ、Ｙ、Ｔ、Ｚ及びＡは第１図に用いたと同じ手段を示し、Ａ’はＡと同じ特性値演算手段、ＢはＡ、Ａ’の出力の差を求める手段である。本実施態様の作用は、前記実施態様で説明した特性値演算手段Ａの出力、すなわちネガフィルム画像のうち低コントラスト部を除去した残りの部分からの濃度信号に基く特性値（例えば平均濃度の場合は、採用した濃度信号数の総和／採用した濃度信号数）と特性値演算手段Ａ’の出力、すなわちネガフィルム画像全体から得た（低コントラスト部を除去しない）濃度信号に基く特性値（例えば濃度平均の場合は、全画面の濃度信号の総和／全画面の濃度信号数）との差を手段Ｂにより求めて、写真焼付露光量補正信号を得るもので、本実施態様は本発明を従来の特性値演算手段Ａ（例えば平均透過濃度検出手段）のみによる写真焼付露光量制御方法を用いている写真焼付装置に附加的に用いることができることを示すものである。」（３ページ５欄７〜２６行目）
　これらの記載からみて、引用例１には、
　ネガフィルムから写真プリントを得る方法であって、
　ネガフィルム画面の濃度を検出するための光電変換手段Ｘと、
　選択的に採用された濃度信号の平均濃度を求める特性値演算手段Ａと、
　ネガフィルム画像全体の濃度信号の平均濃度を求める特性値演算手段Ａ’と、
　特性値演算手段Ａ及びＡ’の差を求めて、写真焼付露光量補正信号を演算する手段Ｂ
からなる写真焼付露光量制御方法の発明が記載されている。
　
　また、引用例２には「コントラスト改良方法」の発明に関し、以下ｃ）ｄ）に示す記載がある。
　ｃ）　「図１６に示されるフローチャートによってプロセスを再検討すると、ステップ４００において、R, G, B （赤緑青）データが入力データの源から受信される。ステップ４０２において、データが低い解像度で任意にサンプリングされ、ステップ４０４にて、ＲＧＢデータがＹＣ1 Ｃ2 データへ変換される。ステップ４０４では、全体ヒストグラム及び幾つかの局所ヒストグラムを並列処理するための分岐を開始する。ステップ４０６において、イメージの全体ヒストグラムが導出され、ステップ４０７にて、全体ヒストグラムのために分散ＶG が計算される。一方、ステップ４１０、４１２及び４１４では、イメージはＮ個の区域に分割され、各区域の局所ヒストグラムが導出され、各局所ヒストグラムのために分散値Ｖnが計算される。ステップ４２０、４２２、及び４２４において、各局所分散値が乗数αによって調整された全体分散値と比較され、調整された全体分散値より小さいならば、ヒストグラムｎがマークされる。プロセスは、Ｎ個の区域の各々が処理されるまで続く。ステップ４２６では、マークされたヒストグラムは、少なくともＴ個の局所ヒストグラムがマークされたかどうかを確かめるために再検討される。印付けられていないならば、ステップ４２８において、全体ヒストグラムが次の処理のために呼ばれる。次に、ステップ４２９にて、他の処理のコンテキストに対して局所ヒストグラムを検査するためにサブルーチンが入れられる。」（段落【００４１】）
　ｄ）　「次に、少なくともＴ個のヒストグラムが印付けられたならば、ステップ４３０において、印付けられた局所ヒストグラムの重み付けされた和が、適切なヒストグラムを生成するために形成される。ステップ４３２において、ヒストグラム平坦化関数がヒストグラムに使用される。結果となる最後のヒストグラム関数から、ステップ４３４において、新たなＴＲＣマッピングが計算され、そこからステップ４３６において、コントラストの補正されたイメージが補正されたＴＲＣマッピングを用いて印刷又は表示されることが可能になる。（段落【００４３】）
　これらの記載からみて、引用例２には、各区域の局所ヒストグラムの分散値Ｖnと、全体ヒストグラムの分散ＶGにαを乗じた値を比較し、Ｖn＜α×ＶGとなる局所ヒストグラムをマークし、マークされた局所ヒストグラムの数が少なくともＴ個あれば、マークされた局所ヒストグラムの重み付けされた和を採用し、マークされた局所ヒストグラムがＴ個なければ全体ヒストグラムを採用して、コントラストを補正するためのＴＲＣマッピングを計算する発明が記載されている。
　
　また、引用例３には、「色修正係数の自動設定方法」の発明に関し、以下ｅ）ｆ）に示す記載がある。
　ｅ）　「次に、肌色識別方式を用いて、ラフスキャンデータから肌色部の色分解信号の累積ヒストグラムを作成し、ヒストグラムの例えば５０％に相当する色分解信号（ＸＹ，ＸＭ，ＸＣ」を求める。（４ページ右欄１２ないし１６行目）
　ｆ）　「肌色の場合、ＸＹ＞ＸＭ＞ＸＣである」（３ページ左欄３７行目）
　これらの記載から見て、引用例３には画素の色が所定範囲内にあるか否かの評価基準「ＸＹ＞ＸＭ＞ＸＣ」について記載されている。
　
　また、引用例４には「デジタル画像記録方法」の発明に関し、画像記録基本量Ｄｍｉから記録画像情報Ｅijを計算し、データ変換部５３によって記録画像情報Ｅijを画像信号制御量Ｆijに変換することで、露光量制御を行うことが記載されている。
　
　また、引用例５には「画像走査記録装置における調整項目の決定方法」の発明に関し、その第７図には、第１図に示すような各濃度域ごとに画像データの出現頻度をカウントし、各濃度域の画像データの出現頻度により判別信号Ｓ１、Ｓ２またはＳ３を出力する処理フローが記載されている。この処理フローによれば、画素ごとに画素値ＤＧｎと複数の閾値Ｄ１、Ｄ２を順次比較してカウント値をカウントアップし、所定画素数ｎの画素値を調べた後、評価値（Ｎ１＞Ｎ２＞Ｎ３、Ｎ１＝Ｎ２＞Ｎ３およびＮ１＞Ｎ２＝Ｎ３）、並びに評価値（Ｎ１＜Ｎ２＜Ｎ３、Ｎ１＝Ｎ２＜Ｎ３およびＮ１＜Ｎ２＝Ｎ３）によって順次判定を行い、その結果を示す判別信号Ｓ１、Ｓ２またはＳ３を出力している。第８図は、この第７図の処理をハードウェアで実現する構成を示す図で、カウント値と２つの評価値は並行に判定されている。
　これらの記載からみて、引用例５には、複数の評価基準を画像データに順次適用する場合と、並列に適用する場合の両方が記載されている。
  　
４．当審の判断
４−１．本件請求項１に係る発明
（１）対比
　引用例１に記載された発明と本件発明１とを比較すると、
　引用例１で「ネガフィルムから写真プリントを得る」ことが本件発明１の「複数の画素からなる実写画像の画像データに対して所定の画像処理を行う」ことに相当する。
　また、引用例１の「光電変換手段Ｘ」が本件発明１の「画素をサンプリングするサンプリング手段」に相当するので、引用例１で「ネガフィルム画像全体の画素の濃度信号を入力するか、選択的に採用された画素の濃度信号を入力するか」が本件発明１の「入力した画素の画像データに対して、異なる複数の評価基準を適用して、該複数の各評価基準により選択された画素をサンプリングする」ことに相当する。
　さらに、引用例１の「選択的に採用された濃度信号の平均濃度」と「ネガフィルム画像全体の濃度信号の平均濃度」という２種類の平均濃度が本件発明１の「複数種類の特徴量」に相当し、引用例１の「写真焼付露光量補正信号」が本件発明１の「画像処理に用いるパラメータ」に相当する。
　以上を踏まえると、両者は
「複数の画素からなる実写画像の画像データに対して所定の画像処理を行う画像処理装置であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力する入カ手段と、
　該入力した画素の画像データに対して、異なる複数の評価基準を適用して、該複数の各評価基準により選択された画素をサンプリングするサンプリング手段と、
　上記着目画素を移動しつつ、上記画像データの入カと画素のサンプリングとを繰り返し、上記各評価基準に対応した特徴量として複数種類の特徴量を得て、該得られた特徴量に基づいて、上記画像データを評価し、画像処理に用いるパラメータを求める評価手段と、
　該パラメータに基づき、上記画像データを変換する画像処理手段とを備える画像処理装置。」である点で一致し、次の点で相違する。
　（相違点１）
　引用例１では、画素をサンプリングする際、入力された画素の画像データに対して、異なる複数の評価基準を「並列」的に適用しているのに対し、本件発明１では「順次」適用している点。
　（相違点２）
　引用例１では「写真焼付露光量補正信号」という「１種類のパラメータ」を用いて、ネガフィルムから写真プリントを得ているのに対し、本件発明１では、画像処理に用いる「複数のパラメータ」を求めて、「複数のパラメータ」に基づき、画像データを変換している点。
　
（２）判断
　（相違点１）について
　複数の評価基準を画像データに順次適用するか、並列に適用するかは設計的事項であると考えられ、例えば引用例５に両方とも記載されている。
　（相違点２）について
　引用例１に記載された発明には「写真焼付露光量補正信号」以外に制御できる「画像処理に用いるパラメータ」が存在しないのであるから、特徴量から画像処理に用いる「複数の」パラメータを求めることは、引用例１に記載された発明を前提とする限り、当業者としては想到し得ないと考えられる。
　さらに、引用例２ないし５にも、「各評価基準に対応した特徴量として複数種類の特徴量を得て、該得られた特徴量に基づいて、上記画像データを評価し、画像処理に用いる複数のパラメータを求める評価手段」は、記載も示唆もされていないので、引用例２ないし５を引用例１に組み合わせたとしても、請求項１に係る発明を構成することは、当業者にとって、困難であると考えられる。
　したがって、本件発明１は、特許法第２９条第２項の規定に違反してなされたものとすることはできない。
　
　（３）異議申立人の主張
　異議申立人は、証拠を提示するまでもなく「複数のパラメータの少なくとも一つに基づき、画像データを変換する画像処理手段」は周知であり、例えば甲第２号証にも「ステップ４３６において、コントラストの補正されたＴＲＣマッピングを用いて印刷または表示される」（段落【００４３】）とある旨主張している。
　しかしながら、訂正が認められた結果、「複数のパラメータに基づき、画像データを変換する画像処理手段」となったので、周知な構成であるとはいえなくなった。
　
４−２．本件請求項２ないし４に係る発明
　本件請求項２ないし４に係る発明は、本件請求項１記載の画像処理装置を引用しており、本件請求項１に係る発明を更に限定するものであるから、本件請求項１に係る発明の判断で示した理由により、特許法第２９条第２項の規定に違反してなされたものとすることはできない。
　
４−３．本件請求項５、６に係る発明
　本件請求項５に係る発明は、本件請求項１に係る発明のカテゴリーを方法に変更したものに相当し、本件請求項６に係る発明は、同じく記録媒体に変更したものに相当するから、本件請求項１に係る発明の判断で示した理由と同様の理由により、特許法第２９条第２項の規定に違反してなされたものとすることはできない。
　
　なお、訂正により特許法第３６条第４項及び第６項に規定する要件の違反については解消した。
　
第４．むすび
　以上のとおりであるから、特許異議の申立の理由及び証拠によっては、本件請求項１ないし６に係る発明についての特許を取り消すことはできない。
　また、他に、本件請求項１ないし６に係る発明についての特許を取り消すべき理由を発見できない。
　よって結論のとおり決定する。
【異議決定日】
平成１７年５月１７日（２００５．５．１７）
【訂正の要旨】
審決（決定）の【理由】欄参照。
（５４）【発明の名称】
画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体
（５７）【特許請求の範囲】
　【請求項１】　複数の画素からなる実写画像の画像データに対して所定の画像処理を行う画像処理装置であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力する入力手段と、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該
複数の各
より選択された
　上記着目画素を移動しつつ、上記画像データの入力と画素のサンプリングとを繰り返し、上記
各
対応した特徴量として複数種類
　該複数のパラメー
タに
　を備える画像処理装置。
　【請求項２】　上記請求項１に記載の画像処理装置であって、
　上記サンプリング手段は、上記複数の評価基準の一つとして上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準を有し、該評価基準を適用して該評価基準に
より選択された
　上記評価手段は、サンプリングされた画素の画像データにおける中心的な値を前記特徴量として得て、該得られた特微量に基づいて前記パラメータを求める手段である
　画像処理装置。
　【請求項３】　上記請求項２に記載の画像処理装置であって、
　上記サンプリング手段は、上記着目した画素における隣接画素との画像データの変化度合いが大きいか否かを、上記予め定められた評価基準として備える
　画像処理装置。
　【請求項４】　上記請求項２に記載の画像処理装置であって、
　上記サンプリング手段は、上記着目した画素における色が所定範囲内にあるか否かを、上記予め定められた評価基準として備える
　画像処理装置。
　【請求項５】　複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう方法であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力し、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該
複数の各
より選択された
　上記着目画素を移動しつつ、上記画像データの入力と画素のサンプリングとを繰り返すことで上記
各
対応した特徴量として複数種類
　該複数のパラメー
タに
　画像処理方法。
　【請求項６】　複数の画素からなる実写画像の画像データに対して所定の画像処理を行なうプログラムをコンピュータにより読み取り可能に記録した記録媒体であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力する機能と、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該
複数の各
より選択された
　上記着目画素を移動しつつ、上記画像データの入力と画素のサンプリングとを繰り返すことで上記
各
対応した特徴量として複数種類
　該複数のパラメー
タに
　をコンピュータにより実現するプログラムを記録した記録媒体。
【発明の詳細な説明】
　【０００１】
　【発明の属する技術分野】
　本発明は、デジタル写真画像のような実写の画像データに対して最適な画像処理を自動的に実行する画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体に関する。
　【０００２】
　【従来の技術】
　ディジタル写真画像のような実写の画像データに対して各種の画像処理が行われている。例えば、コントラストを拡大するとか、色調を補正するとか、明るさを補正するといった画像処理である。これらの画像処理は、通常、マイクロコンピュータで実行可能となっており、操作者がモニタ上で画像を確認して必要な画像処理を選択したり、画像処理のパラメータなどを決定している。すなわち、画像の特徴を操作者が判定して各種の操作を選択したり実行している。
　【０００３】
　【発明が解決しようとする課題】
　近年、画像処理の技法については各種のものが提案され、実際に効果を発揮している。しかしながら、どの技法でどの程度の処理を行うかとなると、依然、人間が関与しなければならない。これは、画像処理の対象となるディジタル画像データにおいて、どこが重要であるのかを判断することができなかったためである。
　【０００４】
　例えば、明るさを補正する画像処理を考えた場合、画面全体の平均が暗ければ明るく補正し、逆に平均が明るければ暗く補正するという自動処理を考えたとする。ここで、夜間撮影した人物像の実写の画像データがあるとする。背景は殆ど真っ暗に近いものの、人物自体は良好に撮影できていたとする。この実写の画像データを自動補正すると、背景が真っ暗であるがために明るく補正しようとしてしまい、昼間の画像のようになってしまうことになる。
　【０００５】
　この場合、人間が関与していれば人物像の部分だけに注目する。そして、人物像が暗ければ少し明るく補正するし、逆に、フラッシュなどの効果で明る過ぎれば暗くする補正を選択する。
　【０００６】
　本出願人は、このような課題に鑑みて、以前に、画像の中での重要な部分を判断する発明を提案した。同発明においては、画像のシャープな部分に本来の被写体（オブジェクト）が存在しているはずであると考え、各画素での画像の変化度合いに着目して同変化度合いの大きな画素をオブジェクトと判断するとともに、同オブジェクトについて所定の評価基準に基づいて特徴量を得て、当該特徴量を使用して画像処理を行っている。
　【０００７】
　しかしながら、オブジェクトの特徴量を使用して画像処理を行う方が好ましい場合もあれば、実写画像全体の平均的な特徴量を使用して画像処理を行う方が好ましい場合もある。例えば、ある人物像の実写画像を考えた場合、必ずしも人物が最も明るい（ハイライト）とは限らない。従って、背景にハイライト部分がある場合、人物のみに着目してコントラストを拡大補正すると、これに伴って同背景のハイライト部分が白く抜けてしまうことになりかねない。この場合、むしろ背景も含めた実写画像全体に着目して行う方が良好な結果が得られる。このように画像処理を行うにあたり、
オブジェクトの特徴量と実写画像全体の平均的な特徴量のいずれかを使用するだけでは、良好な結果が得られない場合があった。
　【０００８】
　本発明は、
上記の課題を踏まえ、オブジェクトの特徴量と実写画像全体の平均的な特徴量とを併用して画像処理を行う
を
するものである
　【０００９】
　【課題を解決するための手段およびその作用・効果】
　上記目的を達成するため、本発明の画像処理装置は、
　複数の画素からなる実写画像の画像データに対して所定の画像処理を行う画像処理装置であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力する入力手段と、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該
複数の各
より選択された
　上記着目画素を移動しつつ、上記画像データの入力と画素のサンプリングとを繰り返し、上記
各
対応した特徴量として複数種類
　該複数のパラメー
タに
　を備えたことを要旨とする。
　【００１０】
　上記のように構成した画像処理装置では、複数の画素からなる実写画像の画像データを入力し、該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該
複数の各
より選択された
各
対応した特徴量として複数種類
タに
　【００１１】
　すなわち、明暗補正のようにオブジェクトに相当すると考えられる部位に着目した特徴量に基づいて求められたパラメータを使用して画像データを変換する方が好ましい場合もあれば、コントラスト拡大補正のように画像全体に着目した特徴量に基づいて求められたパラメータを使用して画像データを変換する方が好ましい場合もあり、これらの複数のパラメータ
に基づき
　【００１２】
　なお、この特徴量は画像データを変換するにあたり、画像の特徴などを判定するのに使用可能なものであればよく、具体的に画像の種類を特定するものを得る必要はない。例えば、画像を明るいと判定するか暗いと判定するかといった場合の輝度のヒストグラムなどといった指標も含むものであり、明るい画像であるとか暗い画像であるといった判定結果が得られる必要はない。むろん、明暗以外にも画像がシャープであるか否かの指標であるとか、鮮やかさを判断する際の指標であってもよい。
　【００１３】
　また、実写の画像データとはありのままの実物を撮像しようとした画像データを指している。これは画像処理がこのような実物との比較で不具合のある画像を補正処理しようとしているためである。従って、その対象は自然物だけにとどまらず、人工的なものであっても構わないし、より具体的には写真をスキャナによって取り込んだ画像データであるとか、デジタルカメラで撮影したような画像データなどが含まれる。
　【００１４】
　さらに、上記各手段の動作態様についても各種の態様を適用可能であって特に限定されるものではない。例えば、複数の手法の画像処理が行われることを前提として、異なる評価基準によるそれぞれの特徴量を予め保持しておき、評価手段が、必要に応じて特徴量を選択し、選択された特徴量に基づいてパラメータを求め、求められたパラメータに基づいて画像処理手段が画像データを変換するようにしてもよい。また別の一例として、上記画像処理手段が一の画像処理を行うごとに、複数の特徴量、ひいてはパラメータを得るべく、サンプリング手段に複数の評価基準を順次適用して各画素の画像データを集計させるようにしてもよく、いずれの態様も含むものとする。
　【００１５】
　上記評価手段がいかなる評価基準を適用して特徴量ないしパラメータを得るかについては、対象となる画像処理方法によって異なり、上述したようにオブジェクトに相当すると考えられる部位に着目して画像処理する方がよい場合もあれば、そうではない場合もある。前者の場合の好適な一例として、上記の画像処理装置において、上記サンプリング手段を、複数の評価基準の一つとして実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準を有し、この評価基準を適用して該評価基準に
より選択された
　【００１６】
　上記のように構成した画像処理装置においては、実写画像内のオブジェクトに相当する部位に対応する画素をサンプリングし、サンプリングされた画素の画像データにおける中心的な値を特徴量として得る。こうして該得られた特徴量に基づいてパラメータが求められる。このパラメータを用いれば、オブジェクトに相当する部位に着目した好適な画像処理を行うことができる。
　【００１７】
　ここにおいて、画像データの中心的な値とは次のようなことを意味する。例えば、ある実写画像が明るいか暗いかを判定する場合には、画像の中間濃度に基づいて判断するのが適切であることは容易にわかる。この中間濃度は、輝度分布を考えた場合にメジアン、すなわち輝度分布における中心ともいうことができ、この意味において画像データの中心的な値という。そして、実写画像内にオブジェクトが存在すれば、当該オブジェクトの明るさにあわせて明暗補正する必要性が高いといえる。
　【００１８】
　上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準の一例として、上記着目した画素における隣接画素との画像データの変化度合いが大きいか否かという評価基準を考えることができる。この評価基準をサンプリング手段が適用した場合には、隣接画素との変化度合いの大きな画素をオブジェクトに相当する部位とみなすことが可能となる。
　【００１９】
　ドットマトリクス状の画素のように一定間隔で並んでいる場合、隣接する画素間の画像データの差分は一次微分値と比例するため、このような差分をもってして画像の変化度合いとして判断できる。この場合、差分をベクトルの大きさと考えるとともに、隣接方向を考慮してベクトルを合成するようにしてもよい。
　【００２０】
　また、上記実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準の別の一例として、上記着目した画素における色が所定範囲内にあるか否かという評価基準を考えることができる。この評価基準をサンプリング手段が適用した場合には、色が所定範囲内にある画素をオブジェクトに相当する部位とみなすことが可能となる。
　【００２１】
　なお、色の刺激値の絶対的な割合は色度によって表わすことができる。この色度は明るさには左右されない。従って、画像の中のオブジェクトに相当する部位を色度の取りうる範囲によって特定することも可能である。例えば、肌色の取りうる範囲であるとか、木々の緑色の取りうる範囲といったものである。色度にはこのようなことが言えるので、上記色度が所定範囲内にある画素をオブジェクトに相当する部位とみなしても良い。
　【００２２】
　本発明については、オブジェクトに着目しないで画像処理する場合を考慮した他の態様を考えることができる。第１の態様は、サンプリング手段が、上記複数の評価基準の一つとして、上記画像データの各画素を均等にサンプリングして集計して特徴量を得る評価基準を有するとともに、上記画像処理手段が、一の画像処理の手法において実写画像の平均的な特徴量を使用する際に上記均等にサンプリングして得られた特徴量を使用する態様である。
　【００２３】
　上記第１の態様においては、上記画像処理手段が平均的な特徴量に基づいて画像データを変換する場合に、上記サンプリング手段および評価手段は同画像データの各画素を所定の評価基準に従って均等にサンプリングして特徴量を得る。むろん、実写画像を構成する全画素を対象として集計するようにしてもよいが、処理量が多くなることから得策ではないと言える。
　【００２４】
　オブジェクトに着目しないで画像処理する場合を考慮した第２の態様として、サンプリング手段が、上記複数の評価基準の一つとして、上記画像データの各画素を均等にサンプリングして集計して特徴量を得る評価基準を有するとともに、上記画像処理手段が、一の画像処理の手法において実写画像の特徴量分布の端部を使用する際に上記均等にサンプリングして得られた特徴量を使用する態様である。
　【００２５】
　上記第２の態様においては、上記画像処理手段は、上記サンプリング手段および評価手段にて得られた特徴量分布の端部を使用することを前提としている。例えば、コントラストを拡大する場合などにおいては、輝度分布を求めて当該輝度分布の端部を広げるように画像処理を施すが、かかる場合においてオブジェクトについての輝度分布を使用すると、それ以外のハイライト部分が白く抜けてしまうことがある。そこで、このような場合、上記サンプリング手段および評価手段は同画像データの各画素を所定の評価基準に従って均等にサンプリングして集計して特徴量を得る。
　【００２６】
　複数の異なる評価基準により得られた特徴量に基づいて複数の画像処理を行う手法は、必ずしも実体のある装置に限られる必要もなく、その一例として、本発明の画像処理方法は、
　複数の画素からなる実写画像の画像データに対して所定の画像処理を行なう方法であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力し、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該
複数の各
より選択された
　上記着目画素を移動しつつ、上記画像データの入力と画素のサンプリングとを繰り返すことで上記
各
対応した特徴量として複数種類
　該複数のパラメー
タに
　ことを要旨としている。
　【００２７】
　すなわち、必ずしも実体のある装置に限らず、その方法としても有効であることに相違はない。
　【００２８】
　ところで、上述したように複数の異なる評価基準により得られた特徴量に基づいて複数の画像処理を行う画像処理装置は単独で存在する場合もあるし、ある機器に組み込まれた状態で利用されることもなるなど、発明の思想としては各種の態様を含むものである。また、ハードウェアで実現されたり、ソフトウェアで実現されるなど、適宜、変更可能である。
　【００２９】
　発明の思想の具現化例として画像処理装置を制御するソフトウェアとなる場合には、かかるソフトウェアを記録した記録媒体上においても当然に存在し、利用されるといわざるをえない。
　【００３０】
　その一例として、本発明の記録媒体は、
　複数の画素からなる実写画像の画像データに対して所定の画像処理を行なうプログラムをコンピュータにより読み取り可能に記録した記録媒体であって、
　上記画像データを構成する画素に着目し、該画素の画像データを入力する機能と、
　該入力した画素の画像データに対して、異なる複数の評価基準を順次適用して、該
複数の各
より選択された
　上記着目画素を移動しつつ、上記画像データの入力と画素のサンプリングとを繰り返すことで上記
各
対応した特徴量として複数種類
　該複数のパラメー
タに
　をコンピュータにより実現するプログラムを記録した
　ことを要旨としている。
　【００３１】
　むろん、その記録媒体は、磁気記録媒体であってもよいし光磁気記録媒体であってもよいし、今後開発されるいかなる記録媒体においても全く同様に考えることができる。また、一次複製品、二次複製品などの複製段階については全く問う余地無く同等である。その他、供給方法として通信回線を利用して行う場合でも本発明が利用されていることには変わりはないし、半導体チップに書き込まれたようなものであっても同様である。
　【００３２】
　さらに、一部がソフトウェアであって、一部がハードウェアで実現されている場合においても発明の思想において全く異なるものはなく、一部を記録媒体上に記憶しておいて必要に応じて適宜読み込まれるような形態のものとしてあってもよい。
　【００３３】
　以上説明したように、本発明の画像処理装置によれば、入力した画素の画像データに対して、着目画素を移動しつつ、画像データの入力と画素のサンプリングとを繰り返すことで、異なる
複数の各
対応した特徴量として、複数種類
　【００３４】
　また、実写画像内のオブジェクトに相当する部位に対応して予め定められた評価基準に
より選択された
　【００３５】
　さらに、上記予め定められた評価基準として、着目した画素における隣接画素との画像データの変化度合いが大きいか否かという評価基準を備える構成を採れば、隣接する画素間での画像データの差分を求めるだけであるので、演算が容易であり、オブジェクト判断のための処理量を低減できる。
　【００３６】
　さらに、上記予め定められた評価基準として、着目した画素における色が所定範囲内にあるか否かという評価基準を備える構成を採ることも好適である。この場合に、画素における色度が所定範囲内にあるか否かという評価基準を備える構成とすれば、色度でオブジェクトを判断するものの、オブジェクトの明暗に依存することなく当該オブジェクトを抽出することができる。
　【００３７】
　さらに、本発明の他の態様である上記第一の態様によれば、彩度補正など実写画像の平均的な特徴量に基づいて画像処理を行う場合に好適である。
　【００３８】
　さらに、本発明の他の態様である上記第二の態様によれば、コントラスト拡大補正など実写画像における特徴量分布の端部を使用して画像処理する場合に好適である。
　【００３９】
　さらに、本発明の画像処理方法によれば、上記画像処理装置の場合と同様に、実写画像についての複数の特徴量を効率よく得ることができ、本発明の記録媒体によれば、画像処理制御プログラムを記録した媒体を提供することができる。
　【００４０】
　【発明の実施の形態】
　以下、図面にもとづいて本発明の実施形態を説明する。
　【００４１】
　図１は、本発明の一実施形態にかかる画像処理装置を適用した画像処理システムをブロック図により示しており、図２は具体的ハードウェア構成例を概略ブロック図により示している。
　【００４２】
　図１において、画像入力装置１０は写真などをドットマトリクス状の画素として表した実写の画像データを画像処理装置２０へ出力し、同画像処理装置２０は複数の画像処理を行うにあたり、各画像処理に最適な評価基準に基づいて複数の特徴量を得て、特徴量を使い分けつつ各画像処理を実行する。同画像処理装置２０は画像処理した画像データを画像出力装置３０へ出力し、画像出力装置は画像処理された画像をドットマトリクス状の画素で出力する。
　【００４３】
　画像処理装置２０は、予め複数の評価基準に従って画像データを集計する点でサンプリング手段に相当する手段を備えており、この画像データの集計結果から異なる評価基準による複数の特徴量を得て、これらの特徴量に基づいて画像処理に用いる複数のパラメータを求める点で、評価手段に相当する手段を備えている。また、画像処理内容に応じた特徴量ないしパラメータを適宜選択して当該特徴量ないしパラメータに基づいた画像処理を行なうことから画像処理手段に相当する手段をも備えていると言える。
　【００４４】
　画像入力装置１０の具体例は図２におけるスキャナ１１やデジタルスチルカメラ１２あるいはビデオカメラ１４などが該当し、画像処理装置２０の具体例はコンピュータ２１とハードディスク２２とキーボード２３とＣＤ−ＲＯＭドライブ２４とフレキシブルディスクドライブ２５とモデム２６などからなるコンピュータシステムが該当し、画像出力装置３０の具体例はプリンタ３１やディスプレイ３２等が該当する。本実施形態の場合、画像の不具合等を修正すべく当該画像の特徴量を得て画像処理するため、画像データとしては写真などの実写データが好適である。なお、モデム２６については公衆通信回線に接続され、外部のネットワークに同公衆通信回線を介して接続し、ソフトウェアやデータをダウンロードして導入可能となっている。
　【００４５】
　本実施形態においては、画像入力装置１０としてのスキャナ１１やデジタルスチルカメラ１２が画像データとしてＲＧＢ（緑、青、赤）の階調データを出力するとともに、画像出力装置３０としてのプリンタ３１は階調データとしてＣＭＹ（シアン、マゼンダ、イエロー）あるいはこれに黒を加えたＣＭＹＫの二値データを入力として必要とするし、ディスプレイ３２はＲＧＢの階調データを入力として必要とする。
　【００４６】
　一方、コンピュータ２１内ではオペレーティングシステム２１ａが稼働しており、プリンタ３１やディスプレイ３２に対応したプリンタドライバ２１ｂやディスプレイドライバ２１ｃが組み込まれている。また、画像処理アプリケーション２１ｄはオペレーティングシステム２１ａにて処理の実行を制御され、必要に応じてプリンタドライバ２１ｂやディスプレイドライバ２１ｃと連携して所定の画像処理を実行する。従って、画像処理装置２０としてのこのコンピュータ２１の具体的役割は、ＲＧＢの階調データを入力して最適な画像処理を施したＲＧＢの階調データを作成し、ディスプレイドライバ２１ｃを介してディスプレイ３２に表示させるとともに、プリンタドライバ２１ｂを介してＣＭＹ（あるいはＣＭＹＫ）の二値データに変換してプリンタ３１に印刷させることになる。
　【００４７】
　このように、本実施形態においては、画像の入出力装置の間にコンピュータシステムを組み込んで画像処理を行うようにしているが、必ずしもかかるコンピュータシステムを必要とするわけではなく、画像データに対して各種の画像処理を行うシステムに適用可能である。例えば、図３に示すようにデジタルスチルカメラ１２ａ内に画像処理する画像処理装置を組み込み、変換した画像データを用いてディスプレイ３２ａに表示させたりプリンタ３１ａに印字させるようなシステムであっても良い。また、図４に示すように、コンピュータシステムを介することなく画像データを入力して印刷するプリンタ３１ｂにおいては、スキャナ１１ｂやデジタルスチルカメラ１２ｂあるいはモデム２６ｂ等を介して入力される画像データに対して画像処理するように構成することも可能である。
　【００４８】
　上述した画像の特徴量の取得とそれに伴う画像処理は、具体的には上記コンピュータ２１内にて図５などに示すフローチャートに対応した画像処理プログラムで行っている。同図に示すフローチャートは画像処理プログラムにおける前段部分に該当し、画像データを複数の評価基準で集計する処理を実行する。
　【００４９】
　ここで本実施形態において採用する二つの評価基準について説明する。共通するのはいずれも全画素を対象とするのではなく、所定の基準に従って画素をサンプリングするとともに、サンプリングした画素について輝度を集計する点である。また、相違するのは、一方が均等に画素をサンプリングするのに対し、他方がエッジ画素を選択してサンプリングする点である。輝度の集計結果については後述するが、このようにしていわゆるサンプリング手法を変えることにより、異なった評価基準に従って複数の特徴量を得ることができる。均等に画素をサンプリングするというのは画像全体の画素について輝度を集計することに他ならず、画像全体としての画像データの輝度の分布を求めることになるから、風景写真が全体的に暗いとかコントラストが狭いといった評価の参考となる特徴量が得られることになる。
　【００５０】
　一方、エッジ画素は画像のシャープな部分であるから、画像の中でも本来の被写体に関わる画素について輝度を集計することになり、たとえ背景が暗くても被写体が十分な明るさを持っていれば画像の明るさは十分であるといった評価の参考となる特徴量が得られることになる。本実施形態においては、これらの特徴量を画像処理手法に応じて自動的に選択するようにしている。
　【００５１】
　図５に示すフローチャートを参照すると、この集計処理では、図６に示すようにドットマトリクス状の画素からなる画像データについて対象画素を水平方向に主走査しつつ垂直方向に副走査して移動させ、各画素についてサンプリング対象であるか否かを判断して集計している。
　【００５２】
　画像データがドットマトリクス状の画素から構成されている場合には、各画素ごとに上述したＲＧＢの輝度を表す階調データで表されており、画像のエッジ部分では隣接する画素間での同データの差分は大きくなる。この差分は輝度勾配であり、これをエッジ度と呼ぶことにし、ステップＳ１１０では各画素でのエッジ度を判定する。
　【００５３】
　図７に示すようなＸＹ直交座標を考察する場合、画像の変化度合いのベクトルはＸ軸方向成分とＹ軸方向成分とをそれぞれ求めれば演算可能となる。ドットマトリクス状の画素からなるディジタル画像においては、図８に示すように縦軸方向と横軸方向に画素が隣接しており、その明るさをｆ（ｘ，ｙ）で表すものとする。この場合、ｆ（ｘ，ｙ）はＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）であったり、あるいは全体の輝度Ｙ（ｘ，ｙ）であってもよい、なお、ＲＧＢの各輝度であるＲ（ｘ，ｙ），Ｇ（ｘ，ｙ），Ｂ（ｘ，ｙ）と全体の輝度Ｙ（ｘ，ｙ）との関係は、厳密には色変換テーブルなどを参照しなければ変換不能であるが、後述するようにして簡易な対応関係を利用するようにしても良い。
　【００５４】
　図８に示すものにおいて、Ｘ方向の差分値ｆｘとＹ方向の差分値ｆｙは、
　【００５５】
　【数１】
　　ｆｘ＝ｆ（ｘ＋１，ｙ）−ｆ（ｘ，ｙ）　　　　　　　　　　　　…（１）
　　ｆｙ＝ｆ（ｘ，ｙ＋１）−ｆ（ｘ，ｙ）　　　　　　　　　　　　…（２）
　【００５６】
のように表される。従って、これらを成分とするベクトルの大きさ│ｇ（ｘ，ｙ）│は、
　【００５７】
　【数２】
　　│ｇ（ｘ，ｙ）│＝（ｆｘ＊＊２＋ｆｙ＊＊２）＊＊（１／２）　…（３）
　【００５８】
のように表される。むろん、エッジ度はこの│ｇ（ｘ，ｙ）│で表される。なお、本来、画素は図９に示すように縦横に升目状に配置されており、中央の画素に注目すると八つの隣接画素がある。従って、同様にそれぞれの隣接する画素との画像データの差分をベクトルで表し、このベクトルの和を画像の変化度合いと判断しても良い。
　【００５９】
　以上のようにして各画素についてエッジ度が求められるので、あるしきい値と比較してエッジ度の方が大きい画素はエッジ画素と判断すればよい。なお、経験的事実から考察すると、フォーカスが集中する被写体は構図の中央部分に位置することが多い。従って、中央部分から多くの画素が抽出されるような仕組みとすることにより、画像処理の判断に利用したときにより好ましい効果を得られる。
　【００６０】
　このため、図１０に示すように、画像の中の部分毎に比較するしきい値Ｔｈ１，Ｔｈ２，Ｔｈ３を異ならせておくようにしてもよい。むろん、この例では、
　【００６１】
　【数３】
　　Ｔｈ１＜Ｔｈ２＜Ｔｈ３　　　　　　　　　　　　　　　　　　　…（４）
　【００６２】
なる関係があり、中央に近い部分ほどしきい値は低く、エッジ度が比較的低くてもフォーカスが集中していると判断されるようになる。
　【００６３】
　ステップＳ１２０ではエッジ度と同しきい値とを比較して変化度合いが大きいか否かを判断する。比較の結果、エッジ度の方が大きければこの画素はエッジ画素であると判断し、ステップＳ１３０にてその画素の画像データをサンプリングしてワークエリアに保存する。ワークエリアはコンピュータ２１内のＲＡＭであってもよいしハードディスク２２であってもよい。
　【００６４】
　本実施形態においては、エッジ度に基づいてオブジェクトを抽出する構成としているが、むろん、オブジェクトの抽出方法はこれに限られない。例えば、各画素の色度を求め、当該色度が所定範囲内にある画素をオブジェクトとして抽出することも可能である。
　【００６５】
　すなわち、ステップＳ１１０およびステップＳ１２０の処理を、それぞれステップＳ１１５およびステップＳ１２５の処理に置換し、まず、ステップＳ１１５にて各画素についての色度を計算する。いま、対象画素のＲＧＢ表色系におけるＲＧＢ階調データが（Ｒ，Ｇ，Ｂ）であるとするときに、
　【００６６】
　【数４】
　　ｒ＝Ｒ／（Ｒ＋Ｇ＋Ｂ）　　　　　　　　　　　　　　　　　　　…（５）
　　ｇ＝Ｇ／（Ｒ＋Ｇ＋Ｂ）　　　　　　　　　　　　　　　　　　　…（６）
　【００６７】
とおくとすると、ＸＹＺ表色系における色度座標ｘ，ｙとの間には、
　【００６８】
　【数５】
　　ｘ＝（１．１３０２＋１．６３８７ｒ＋０．６２１５ｇ）／（６．７８４６−３．０１５７ｒ−０．３８５７ｇ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（７）
　　ｙ＝（０．０６０１＋０．９３９９ｒ＋４．５３０６ｇ）／（６．７８４６−３．０１５７ｒ−０．３８５７ｇ）
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（８）
　【００６９】
なる対応関係が成立する。ここにおいて、色度は明るさに左右されることなく色の刺激値の絶対的な割合を表すものであるから、色度からその画素がどのような対象物かを判断することができるといえる。例えば、肌色を例に取ると、
　【００７０】
　【数６】
　　０．３５＜ｘ＜０．４０　　　　　　　　　　　　　　　　　　　…（９）
　　０．３３＜ｙ＜０．３６　　　　　　　　　　　　　　　　　　…（１０）
　【００７１】
というような範囲に含まれているから、各画素の色度を求めたときにこの範囲内であればその画素は人間の肌を示す画素と考えてもあながち誤っていないと言える。
　【００７２】
　従って、ステップＳ１２５では、各画素のＲＧＢ階調データに基づいて変換されたｘ−ｙ色度が肌色の範囲であるか否かを判断し、肌色であるならばステップＳ１３０にてその画素の画像データをサンプリングして同様にワークエリアに保存する。
　【００７３】
　一方、上記のようなエッジ度の判定と並行してステップＳ１４０では当該対象画素が均等サンプリングの対象画素であるか否かを判断する。均等にサンプリングするといっても、ある誤差の範囲内となる程度にサンプリングする必要がある。統計的誤差によれば、サンプル数Ｎに対する誤差は概ね１／（Ｎ＊＊（１／２））と表せる。ただし、＊＊は累乗を表している。従って、１％程度の誤差で処理を行うためにはＮ＝１００００となる。
　【００７４】
　ここにおいて、図６に示すビットマップ画面は（ｗｉｄｔｈ）×（ｈｅｉｇｈｔ）の画素数となり、サンプリング周期ｒａｔｉｏは、
　【００７５】
　【数７】
　　ｒａｔｉｏ＝ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）／Ａ＋１　　…（１１）
　【００７６】
とする。ここにおいて、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）はｗｉｄｔｈとｈｅｉｇｈｔのいずれか小さい方であり、Ａは定数とする。また、ここでいうサンプリング周期ｒａｔｉｏは何画素ごとにサンプリングするかを表しており、図１１の○印の画素はサンプリング周期ｒａｔｉｏ＝２の場合を示している。すなわち、縦方向及び横方向に二画素ごとに一画素のサンプリングであり、一画素おきにサンプリングしている。Ａ＝２００としたときの１ライン中のサンプリング画素数は図１２に示すようになる。
　【００７７】
　同図から明らかなように、サンプリングしないことになるサンプリング周期ｒａｔｉｏ＝１の場合を除いて、２００画素以上の幅があるときには最低でもサンプル数は１００画素以上となることが分かる。従って、縦方向と横方向について２００画素以上の場合には（１００画素）×（１００画素）＝（１００００画素）が確保され、誤差を１％以下にできる。
　【００７８】
　ここにおいてｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）を基準としているのは次のような理由による。例えば、図１３（ａ）に示すビットマップ画像のように、ｗｉｄｔｈ＞＞ｈｅｉｇｈｔであるとすると、長い方のｗｉｄｔｈでサンプリング周期ｒａｔｉｏを決めてしまった場合には、同図（ｂ）に示すように、縦方向には上端と下端の２ラインしか画素を抽出されないといったことが起こりかねない。しかしながら、ｍｉｎ（ｗｉｄｔｈ，ｈｅｉｇｈｔ）として、小さい方に基づいてサンプリング周期ｒａｔｉｏを決めるようにすれば同図（ｃ）に示すように少ない方の縦方向においても中間部を含むような間引きを行うことができるようになる。すなわち、所定の抽出数を確保したサンプリングが可能となる。
　【００７９】
　ステップＳ１４０では、このような均等なサンプリング手法を採用しつつ、当該対象画素がそのサンプリング対象となっているか否かを判断し、対象であればステップＳ１５０にて画像データをサンプリングする。
　【００８０】
　ステップＳ１３０，Ｓ１５０で画像データをサンプリングするというのは、同画像データに基づいて輝度を集計することを意味する。上述したように、本実施形態においてはコンピュータ２１が扱うのはＲＧＢの階調データであり、直接には輝度の値を持っていない。輝度を求めるためにＬｕｖ表色空間に色変換することも可能であるが、演算量などの問題から得策ではない。このため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める次式の変換式を利用する。
　【００８１】
　【数８】
　　Ｙ＝０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ　　　　　　　　　　…（１２）
　【００８２】
　輝度はヒストグラムとして集計する。むろん、ステップＳ１３０の集計エリアとステップＳ１５０の集計エリアは別個である。
　【００８３】
　以上のような処理を画像データの各画素について行うため、ステップＳ１６０にて処理の対象画素を移動させ、ステップＳ１７０にて全画素について終了したと判断されるまで処理を繰り返す。
　【００８４】
　この後、画像処理方法に応じて均等サンプリングによる集計結果Ｄｉｓｔ＿ａｖｅと、エッジ画素サンプリングによる集計結果Ｄｉｓｔ＿ｅｄｇとを使い分けて特徴量を取得し、当該特徴量に基づいて最適な画像処理を実行する。図１４は、その一例としてコントラストの拡大と明度の補正の画像処理を実行するためのフローチャートを示している。
　【００８５】
　本実施形態でのコントラストを拡大するための基本的な手法は、画像データに基づいて輝度分布を求め、この輝度分布が本来の階調幅（２５５階調）の一部分しか利用していないのであれば分布を拡大するというものである。
　【００８６】
　上述したように、ある人物像の実写画像を考えた場合、必ずしも人物がハイライト部分であるとは限らないため、同人物の輝度分布を拡大してしまうと他のハイライト部分が白くぬけてしまうことになりかねない。従って、ステップＳ３１０では均等サンプリングによる集計結果Ｄｉｓｔ＿ａｖｅとしての輝度分布のヒストグラムを作成し、ステップＳ３２０では拡大する幅を決定する。拡大幅を決定するにあたり、輝度分布の両端を求めることを考える。写真画像の輝度分布は図１５に示すように概ね山形に表れる。むろん、その位置、形状についてはさまざまである。輝度分布の幅はこの両端をどこに決めるかによって決定されるが、単に裾野が延びて分布数が「０」となる点を両端とすることはできない。裾野部分では分布数が「０」付近で変移する場合があるし、統計的に見れば限りなく「０」に近づきながら推移していくからである。
　【００８７】
　このため、分布範囲において最も輝度の大きい側と小さい側からある分布割合だけ内側に経た部分を分布の両端とする。本実施形態においては、同図に示すように、この分布割合を０．５％に設定している。むろん、この割合については、適宜、変更することが可能である。このように、ある分布割合だけ上端と下端をカットすることにより、ノイズなどに起因して生じている白点や黒点を無視することもできる。すなわち、このような処理をしなければ一点でも白点や黒点があればそれが輝度分布の両端となってしまうので、２５５階調の輝度値であれば、多くの場合において最下端は階調「０」であるし、最上端は階調「２５５」となってしまうが、上端部分から０．５％の画素数だけ内側に入った部分を端部とすることにより、このようなことが無くなる。
　【００８８】
　実際の処理ではサンプリングした画素数に対する０．５％を演算し、再現可能な輝度分布における上端の輝度値及び下端の輝度値から順番に内側に向かいながらそれぞれの分布数を累積し、０．５％の値となった輝度値をこの場合の特徴量として求める。以後、この上端側をｙｍａｘと呼び、下端側をｙｍｉｎと呼ぶ。
　【００８９】
　再現可能な輝度の範囲を「０」〜「２５５」としたときに、変換前の輝度ｙと輝度の分布範囲の最大値ｙｍａｘと最小値ｙｍｉｎから変換先の輝度Ｙを次式に基づいて求める。
　【００９０】
　【数９】
　　Ｙ＝ａｙ＋ｂ　　　　　　　　　　　　　　　　　　　　　　　…（１３）
　【００９１】
ただし
　【００９２】
　【数１０】
　　ａ＝２５５／（ｙｍａｘ−ｙｍｉｎ）　　　　　　　　　　　　…（１４）
　　ｂ＝−ａ・ｙｍｉｎあるいは２５５−ａ・ｙｍａｘ　　　　　　…（１５）
　【００９３】
　また、上記変換式にてＹ＜０ならばＹ＝０とし、Ｙ＞２５５ならばＹ＝２５５とする。ここにおける、ａは傾きであり、ｂはオフセットといえる。この変換式によれば、図１６に示すように、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するため本実施形態においては、再現可能な範囲を制限している。すなわち、再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「５」だけ残している。この結果、変換式のパラメータは次式のようになる。
　【００９４】
　【数１１】
　　ａ＝２４５／（ｙｍａｘ−ｙｍｉｎ）　　　　　　　　　　　　…（１６）
　　ｂ＝５−ａ・ｙｍｉｎあるいは２５０−ａ・ｙｍａｘ　　　　　…（１７）
　【００９５】
　そして、この場合にはｙ＜ｙｍｉｎと、ｙ＞ｙｍａｘの範囲においては変換を行わないようにする。
　【００９６】
　ただし、このままの拡大率（ａに対応）を適用してしまうと、非常に大きな拡大率が得られる場合も生じてしまう。例えば、夕方のような薄暮の状態では最も明るい部分から暗い部分までのコントラストの幅が狭くて当然であるのに、この画像についてコントラストを大きく拡大しようとする結果、昼間の画像のように変換されてしまいかねない。このような変換は希望されないので、拡大率には制限を設けておき、ａが１．５（〜２）以上とはならないように制限する。これにより、薄暮は薄暮なりに表現されるようになる。なお、この場合は輝度分布の中心位置がなるべく変化しないような処理を行っておく。
　【００９７】
　ところで、輝度の変換時に、毎回、上記変換式（Ｙ＝ａｙ＋ｂ）を実行するのは非合理的である。というのは、輝度ｙの取りうる範囲が「０」〜「２５５」でしかあり得ないため、予め輝度ｙが取りうる全ての値に対応して変換後の輝度Ｙを求めておくことも可能である。従って、図１７に示すようなテーブルとして記憶しておく。
　【００９８】
　このような変換テーブルを形成することがステップＳ３２０の拡大幅決定処理に該当し、画像データを変更することが可能になる。しかし、このような輝度の範囲の拡大によってコントラストを強調するだけでなく、合わせて明るさを調整することも極めて有効であるため、ステップＳ３３０にて画像の明るさを判断し、補正のためのパラメータを生成する。
　【００９９】
　例えば、図１８にて実線で示すように輝度分布の山が全体的に暗い側に寄っている場合には破線で示すように全体的に明るい側に山を移動させると良いし、逆に、図１９にて実線で示すように輝度分布の山が全体的に明るい側に寄っている場合には破線で示すように全体的に暗い側に山を移動させると良い。
　【０１００】
　ところで、オブジェクトが明るいか暗いかを判定するための特徴量は、エッジ画素サンプリングの集計結果Ｄｉｓｔ＿ｅｄｇから求める方が好ましいことは容易にわかる。そこで、エッジ画素サンプリングの集計結果Ｄｉｓｔ＿ｅｄｇとしての輝度分布のヒストグラムをステップＳ３１０にて作成しておく。
　【０１０１】
　各種の実験を行った結果、本実施形態においては、Ｄｉｓｔ＿ｅｄｇとしての輝度分布におけるメジアンｙｍｅｄを特徴量として求め、同メジアンｙｍｅｄが「８５」未満である場合に暗い画像と判断して以下のγ値に対応するγ補正で明るくする。
　【０１０２】
　【数１２】
　　γ＝ｙｍｅｄ／８５　　　　　　　　　　　　　　　　　　　　…（１８）
　【０１０３】
あるいは、
　【０１０４】
　【数１３】
　　γ＝（ｙｍｅｄ／８５）＊＊（１／２）　　　　　　　　　　　…（１９）
　【０１０５】
とする。
　【０１０６】
　この場合、γ＜０．７となっても、γ＝０．７とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
　【０１０７】
　一方、メジアンｙｍｅｄが「１２８」より大きい場合に明るい画像と判断して以下のγ値に対応するγ補正で暗くする。
　【０１０８】
　【数１４】
　　γ＝ｙｍｅｄ／１２８　　　　　　　　　　　　　　　　　　　…（２０）
　【０１０９】
あるいは、
　【０１１０】
　【数１５】
　　γ＝（ｙｍｅｄ／１２８）＊＊（１／２）　　　　　　　　　　…（２１）
　【０１１１】
とする。この場合、γ＞１．３となっても、γ＝１．３として暗くなり過ぎないように限界を設けておく。
　【０１１２】
　なお、このγ補正は変換前の輝度分布に対して行っても良いし、変換後の輝度分布に対して行っても良い。γ補正をした場合における対応関係を図２０に示しており、γ＜１であれば上方に膨らむカーブとなり、γ＞１であれば下方に膨らむカーブとなる。むろん、かかるγ補正の結果も図１７に示すテーブル内に反映させておけばよく、テーブルデータに対して同補正を行っておく。
　【０１１３】
　最後に、ステップＳ３４０にてコントラスト補正と明度補正が必要であるか否かを判断する。この判断は上述した拡大率（ａ）とγ値について適当なしきい値と比較し、拡大率の方が大きかったりγ値が所定範囲を超えていたら必要性有りと判断する。そして、必要性有りと判断されれば画像データの変換を行う。
　【０１１４】
　画像処理が必要であると判断された場合、（１３）式に基づく変換を行うが、同式の変換式は、ＲＧＢの成分値との対応関係においても当てはめることができ、変換前の成分値（Ｒ０，Ｇ０，Ｂ０）に対して変換後の成分値（Ｒ，Ｇ，Ｂ）は、
　【０１１５】
　【数１６】
　　Ｒ＝ａ・Ｒ０＋ｂ　　　　　　　　　　　　　　　　　　　　　…（２２）
　　Ｇ＝ａ・Ｇ０＋ｂ　　　　　　　　　　　　　　　　　　　　　…（２３）
　　Ｂ＝ａ・Ｂ０＋ｂ　　　　　　　　　　　　　　　　　　　　　…（２４）
　【０１１６】
として求めることもできる。ここで、輝度ｙ，Ｙが階調「０」〜階調「２５５」であるのに対応してＲＧＢの各成分値（Ｒ０，Ｇ０，Ｂ０），（Ｒ，Ｇ，Ｂ）も同じ範囲となっており、上述した輝度ｙ，Ｙの変換テーブルをそのまま利用すればよいといえる。
　【０１１７】
　従って、ステップＳ３５０では全画素の画像データ（Ｒ０，Ｇ０，Ｂ０）について（２２）〜（２４）式に対応する変換テーブルを参照し、変換後の画像データ（Ｒ，Ｇ，Ｂ）を得るという処理を繰り返すことになる。
　【０１１８】
　ところで、この場合は輝度の集計結果を使い分けて輝度分布の両端やメジアンからなる特徴量を得て、当該特徴量を使用してコントラスト補正と明度補正を行うようにしているが、画像処理の具体例はこれに限られるものではなく、使用する特徴量も様々である。
　【０１１９】
　図２１は彩度強調のための画像処理を実行する場合のフローチャートを示している。
　【０１２０】
　まず、画素データがその成分要素として彩度を持っていればその彩度の値を用いて分布を求めることが可能であるが、ＲＧＢの成分値しか持っていないため、本来的には彩度値が直接の成分値となっている表色空間への変換を行なわなければ彩度値を得ることができない。例えば、標準表色系としてのＬｕｖ空間においては、Ｌ軸が輝度（明度）を表し、Ｕ軸及びＶ軸で色相を表している。ここにおいて、Ｕ軸及びＶ軸においては両軸の交点からの距離が彩度を表すため、実質的に（Ｕ＊＊２＋Ｖ＊＊２）＊＊（１／２）が彩度となる。
　【０１２１】
　このような異なる表色空間の間での色変換は対応関係を記憶した色変換テーブルを参照しつつ、補間演算を併用しなければならず、演算処理量は膨大となってくる。このような状況に鑑み、本実施形態においては、画像データとして標準的なＲＧＢの階調データを直に利用して彩度の代替値Ｘを次のようにして求めている。
　【０１２２】
　【数１７】
　　ｘ＝│Ｇ＋Ｂ−２×Ｒ│　　　　　　　　　　　　　　　　　　…（２５）
　【０１２３】
　本来的には彩度は、Ｒ＝Ｇ＝Ｂの場合に「０」となり、ＲＧＢの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な（２５）式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「０」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
　【０１２４】
　【数１８】
　　ｘ’＝│Ｒ＋Ｂ−２×Ｇ│　　　　　　　　　　　　　　　　　…（２６）
　　ｘ”＝│Ｇ＋Ｒ−２×Ｂ│　　　　　　　　　　　　　　　　　…（２７）
　【０１２５】
という式にも代替可能である。
　【０１２６】
　ステップＳ４１０では、均等サンプリングの手法を採用しつつ彩度の代替値Ｘについてのヒストグラムの分布を求める。すなわち、彩度強調という点においては、必ずしもオブジェクトの彩度が大きいとは限らず、オブジェクトの彩度が小さい場合に当該オブジェクトの彩度を大きくすると、本来の色を再現できなくなってしまうことになりかねない。従って、彩度強調に使用する特徴量は画像において平均的であるといえることから、ステップＳ４１０にて均等サンプリングの手法を採用する。（２５）式においては、彩度が最低値「０」〜最大値「５１１」の範囲で分布し、概略的には図２２に示すような分布となる。次なるステップＳ４２０では、集計された彩度分布に基づいてこの画像についての彩度指数を決定する。
　【０１２７】
　彩度指数を導出するにあたり、本実施形態においては、サンプリングされた画素数の範囲で、分布数として上位の「１６％」が占める範囲を求める。そして、この範囲内での最低の彩度「Ａ」がこの画像の彩度を表すものとして次式に基づいて彩度強調指数Ｓなる特徴量を決定する。
　【０１２８】
すなわち、
　【０１２９】
　【数１９】
Ａ＜９２なら
　　Ｓ＝−Ａ×（１０／９２）＋５０　　　　　　　　　　　　　　…（２８）
９２≦Ａ＜１８４なら
　　Ｓ＝−Ａ×（１０／４６）＋６０　　　　　　　　　　　　　　…（２９）
１８４≦Ａ＜２３０なら
　　Ｓ＝−Ａ×（１０／２３）＋１００　　　　　　　　　　　　　…（３０）
２３０≦Ａなら
　　Ｓ＝０　　　　　　　　　　　　　　　　　　　　　　　　　　…（３１）
　【０１３０】
とする。図２３は、この彩度「Ａ」と彩度強調指数Ｓとの関係を示している。図に示すように、彩度指数Ｓは最大値「５０」〜最小値「０」の範囲で彩度「Ａ」が小さいときに大きく、同彩度「Ａ」が大きいときに小さくなるように徐々に変化していくことになる。
　【０１３１】
　彩度強調指数Ｓに基づいて彩度を強調するにあたり、上述したように画像データが彩度のパラメータを備えているものであれば同パラメータを変換すればよいものの、ＲＧＢの表色空間を採用している場合には、一旦、標準表色系であるＬｕｖ空間に変換し、Ｌｕｖ空間内で半径方向へ変移させなければならないといえる。しかしながら、ＲＧＢの画像データを、一旦、Ｌｕｖ空間内の画像データに変換し、彩度強調後に再びＲＧＢに戻すといった作業が必要となり、演算量が多くならざるを得ない。従って、ＲＧＢの階調データをそのまま利用して彩度強調することにする。
　【０１３２】
　ＲＧＢ表色空間のように各成分が概略対等な関係にある色相成分の成分値であるときには、Ｒ＝Ｇ＝Ｂであればグレイであって無彩度となる。従って、ＲＧＢの各成分における最小値となる成分については各画素の色相に影響を与えることなく単に彩度を低下させているにすぎないと考えれば、各成分における最小値をすべての成分値から減算し、その差分値を拡大することによって彩度を強調できるといえる。
　【０１３３】
　まず、上述した彩度強調指数Ｓから演算に有利な彩度強調パラメータＳｒａｔｉｏを、
　【０１３４】
　【数２０】
　　Ｓｒａｔｉｏ＝（Ｓ＋１００）／１００　　　　　　　　　　　…（３２）
　【０１３５】
として求める。この場合、彩度強調指数Ｓ＝０のときに彩度強調パラメータＳｒａｔｉｏ＝１となって彩度強調されない。次に、ＲＧＢ階調データの各成分（Ｒ，Ｇ，Ｂ）における青（Ｂ）の成分値が最小値であったとすると、この彩度強調パラメータＳｒａｔｉｏを使用して次のように変換する。
　【０１３６】
　【数２１】
　　Ｒ’＝Ｂ＋（Ｒ−Ｂ）×Ｓｒａｔｉｏ　　　　　　　　　　　　…（３３）
　　Ｇ’＝Ｂ＋（Ｇ−Ｂ）×Ｓｒａｔｉｏ　　　　　　　　　　　　…（３４）
　　Ｂ’＝Ｂ　　　　　　　　　　　　　　　　　　　　　　　　　…（３５）
　【０１３７】
　この結果、ＲＧＢ表色空間とＬｕｖ空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、（３３）〜（３５）式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
　【０１３８】
　（２９）〜（３１）式を採用する場合でも、良好な変換が可能であるものの、この場合には彩度を強調すると輝度も向上して全体的に明るくなるという傾向がある。従って、各成分値から輝度の相当値を減算した差分値を対象として変換を行うことにする。
　【０１３９】
　まず、輝度を求めるために、上述したＬｕｖ空間に色変換したのでは演算量が多大となってしまうため、テレビジョンなどの場合に利用されているＲＧＢから輝度を直に求める（１２）式を利用する。
　【０１４０】
　一方、彩度強調は、
　【０１４１】
　【数２２】
　　Ｒ’＝Ｒ＋ΔＲ　　　　　　　　　　　　　　　　　　　　　　…（３６）
　　Ｇ’＝Ｇ＋ΔＧ　　　　　　　　　　　　　　　　　　　　　　…（３７）
　　Ｂ’＝Ｂ＋ΔＢ　　　　　　　　　　　　　　　　　　　　　　…（３８）
　【０１４２】
とする。この加減値ΔＲ，ΔＧ，ΔＢは輝度Ｙとの差分値に基づいて次式のように求める。すなわち、
　【０１４３】
　【数２３】
　　ΔＲ＝（Ｒ−Ｙ）×Ｓｒａｔｉｏ　　　　　　　　　　　　　　…（３９）
　　ΔＧ＝（Ｇ−Ｙ）×Ｓｒａｔｉｏ　　　　　　　　　　　　　　…（４０）
　　ΔＢ＝（Ｂ−Ｙ）×Ｓｒａｔｉｏ　　　　　　　　　　　　　　…（４１）
　【０１４４】
となり、この結果、
　【０１４５】
　【数２４】
　　Ｒ’＝Ｒ＋（Ｒ−Ｙ）×Ｓｒａｔｉｏ　　　　　　　　　　　　…（４２）
　　Ｇ’＝Ｇ＋（Ｇ−Ｙ）×Ｓｒａｔｉｏ　　　　　　　　　　　　…（４３）
　　Ｂ’＝Ｂ＋（Ｂ−Ｙ）×Ｓｒａｔｉｏ　　　　　　　　　　　　…（４４）
　【０１４６】
として変換可能となる。なお、輝度の保存は次式から明らかである。
　【０１４７】
　【数２５】
　　Ｙ’＝Ｙ＋ΔＹ　　　　　　　　　　　　　　　　　　　　　　…（４５）
　　ΔＹ＝０．３０ΔＲ＋０．５９ΔＧ＋０．１１ΔＢ＝Ｓｒａｔｉｏ｛（０．３０Ｒ＋０．５９Ｇ＋０．１１Ｂ）−Ｙ｝＝０
　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　…（４６）
　【０１４８】
また、入力がグレー（Ｒ＝Ｇ＝Ｂ）のときには、輝度Ｙ＝Ｒ＝Ｇ＝Ｂとなるので、加減値ΔＲ＝ΔＧ＝ΔＢ＝０となり、無彩色に色が付くこともない。（４２）式〜（４４）式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
　【０１４９】
　以上のようにして彩度強調指数Ｓｒａｔｉｏを求めたら、ステップＳ４３０にて所定のしきい値と比較し、彩度強調が必要な画像であるかを判断する。そして、必要であればステップＳ４４０にて（４２）式〜（４４）式に基づいて全画素について画像データを変換する。
　【０１５０】
　従って、均等サンプリングの手法を選択して画像データを集計しつつ（ステップＳ４１０）、彩度強調指数Ｓなる特徴量を取得する（ステップ４２０）までのプログラム前段部分と当該プログラム前段部分を実行するハードウェア構成とがサンプリング手段ないし評価手段を構成し、画像データの変換を行う（ステップＳ４４０）プログラム後段部分と当該プログラム後段部分を実行するハードウェア構成とが画像処理手段を構成することになる。
　【０１５１】
　また、上述したコントラスト補正、明度補正、彩度強調のそれぞれについて、画像処理を行うかを判断している。しかし、必ずしも画像処理を行うか否かの二者択一の判断を行う必要はない。すなわち、それぞれにおいて強調程度を設定しており、このようにして設定した強調程度で画像処理を行うようにしても良い。
　【０１５２】
　次に、上記構成からなる本実施形態の動作を説明する。
　【０１５３】
　写真画像をスキャナ１１で読み込み、プリンタ３１にて印刷する場合を想定する。すると、まず、コンピュータ２１にてオペレーティングシステム２１ａが稼働しているもとで、画像処理アプリケーション２１ｄを起動させ、スキャナ１１に対して写真の読み取りを開始させる。読み取られた画像データが同オペレーティングシステム２１ａを介して画像処理アプリケーション２１ｄに取り込まれたら、処理対象画素を初期位置に設定する。続いて、ステップＳ１１０にて（１）式〜（３）式に基づいてエッジ度を判定し、ステップＳ１２０ではしきい値と同エッジ度とを比較する。そして、エッジ度の方が大きい場合には処理対象画素がエッジ画素であると判断し、ステップＳ１３０にて当該画素の画像データをワークエリアに保存する。また、ステップＳ１４０では当該処理対象画素が均等サンプリングの対象であるか否かを判断し、対象である場合はステップＳ１５０で当該画素の画像データを別のワークエリアに保存する。以上の処理をステップＳ１６０にて処理対象画素を移動させながらステップＳ１７０にて全画素について実行したと判断されるまで繰り返す。
　【０１５４】
　本実施形態においては、ワークエリアに画像データそのものを保存するようにしたが、メモリ容量や処理時間の面から考えると必ずしも画像データそのものをワークエリアに保存しておく必要はない。すなわち、最終的にはサンプリング対象の画素について輝度分布や彩度代替値分布のヒストグラムを作成することになるので、予めステップＳ１２０，Ｓ１５０にてヒストグラムの情報を蓄積していくようにすればよい。
　【０１５５】
　全画素について集計処理を終えたら、コントラスト補正と明度補正を実行すべく、ステップＳ３１０にて均等サンプリングによる集計結果Ｄｉｓｔ＿ａｖｅと、エッジ画素サンプリングによる集計結果Ｄｉｓｔ＿ｅｄｇとしての輝度分布のヒストグラムを求め、ステップＳ３２０にて前者のヒストグラムに基づき（１６）（１７）式を用いてコントラスト拡大処理のためのパラメータを決定する。そして、ステップＳ３３０においては、後者のヒストグラムに基づき（１８）〜（２１）式を用いて明度補正のためのパラメータを決定する。この後、ステップＳ３４０ではこれらのパラメータを所定のしきい値と比較し、画像処理すべきと判断すればステップＳ３５０にて上記パラメータに基づいて輝度変換する。この場合、演算量を減らすために最初に図１７に示す輝度の変換テーブルを作成しておき、（２２）〜（２４）式に基づいて画像データを変換する。
　【０１５６】
　この後、画像処理された画像データをディスプレイドライバ２１ｃを介してディスプレイ３２に表示し、良好であればプリンタドライバ２１ｂを介してプリンタ３１にて印刷させる。すなわち、同プリンタドライバ２１ｂは補正されたＲＧＢの階調データを入力し、所定の解像度変換を経てプリンタ３１の印字ヘッド領域に対応したラスタライズを行なうとともに、ラスタライズデータをＲＧＢからＣＭＹＫへ色変換し、その後でＣＭＹＫの階調データから二値データへ変換してプリンタ３１へ出力する。
　【０１５７】
　以上の処理により、スキャナ１１を介して読み込まれた写真の画像データは自動的に最適なコントラスト補正と明度補正を施されてディスプレイ３２に表示された後、プリンタ３１にて印刷される。すなわち、複数の評価基準を採用して複数の特徴量を取得し、コントラスト補正や明度補正という画像処理方法に応じて特徴量を使い分けて最適な画像処理を実現することができる。
　【０１５８】
　一方、このようなコントラスト補正や明度補正に限らず、彩度強調の場合にも、当該彩度強調処理に応じて適当な評価基準で彩度をサンプリングして特徴量を取得するとともに、当該特徴量に基づいて画像処理するようにしたため、最適な画像処理を実現することができる。
　【０１５９】
　このように、画像処理の中枢をなすコンピュータ２１はステップＳ３１０にて異なる評価基準でサンプリングされた集計結果に基づく輝度分布ヒストグラムを求めるとともに、ステップＳ３２０およびステップＳ３３０にてそれぞれ別個の輝度分布ヒストグラムから別個の特徴量を得て、ステップＳ３５０にて各々の特徴量に基づいて画像データを変換するようにしたため、最適な画像処理を実現することができる。
【図面の簡単な説明】
　【図１】
　本発明の一実施形態にかかる画像処理装置を適用した画像処理システムのブロック図である。
　【図２】
　同画像処理装置の具体的ハードウェアのブロック図である。
　【図３】
　本発明の画像処理装置の他の適用例を示す概略ブロック図である。
　【図４】
　本発明の画像処理装置の他の適用例を示す概略ブロック図である。
　【図５】
　本発明の画像処理装置におけるサンプリング処理部分を示すフローチャートである。
　【図６】
　画像データの大きさと処理対象画素を移動させていく状態を示す図である。
　【図７】
　画像の変化度合いを直交座標の各成分値で表す場合の説明図である。
　【図８】
　画像の変化度合いを縦軸方向と横軸方向の隣接画素における差分値で求める場合の説明図である。
　【図９】
　隣接する全画素間で画像の変化度合いを求める場合の説明図である。
　【図１０】
　しきい値を変化させる領域を示す図である。
　【図１１】
　サンプリング周期を示す図である。
　【図１２】
　サンプリング画素数を示す図である。
　【図１３】
　変換元の画像とサンプリングされる画素の関係を示す図である。
　【図１４】
　特徴量の取得処理部分と画像処理部分を示すフローチャートである。
　【図１５】
　輝度分布の端部処理と端部処理にて得られる端部を示す図である。
　【図１６】
　輝度分布の拡大と再現可能な輝度の範囲を示す図である。
　【図１７】
　輝度分布を拡大する際の変換テーブルを示す図である。
　【図１８】
　γ補正で明るくする概念を示す図である。
　【図１９】
　γ補正で暗くする概念を示す図である。
　【図２０】
　γ補正で変更される輝度の対応関係を示す図である。
　【図２１】
　彩度強調する場合のフローチャートである。
　【図２２】
　彩度分布の集計状態の概略図である。
　【図２３】
　彩度Ａと彩度強調指数Ｓとの関係を示す図である。
　【符号の説明】
　１０…画像入力装置
　２０…画像処理装置
　２１…コンピュータ
　２１ａ…オペレーティングシステム
　２１ｂ…プリンタドライバ
　２１ｃ…ディスプレイドライバ
　２１ｄ…画像処理アプリケーション
　２２…ハードディスク
　２３…キーボード
　２４…ＣＤ−ＲＯＭドライブ
　２５…フレキシブルディスクドライブ
　２６…モデム
　３０…画像出力装置