(57)【要約】  所定の出力動作、例えば印刷動作について入力画像の受容可能性を自動判別する方法であって、（ａ）入力画像に含まれる重要エリアを１個又は複数個認識するステップと、（ｂ）重要エリア毎に受容可能性特徴量を算出するステップと、（ｃ）重要エリア毎の受容可能性特徴量算出結果を総合して入力画像の受容可能性を判別するステップと、（ｄ）ステップ（ｃ）における受容可能性判別結果に応じ所定の出力動作を履行するステップと、を有する。
2008523504.tif 000002
【特許請求の範囲】
【請求項１】
（ａ）入力画像に含まれる重要エリアを１個又は複数個認識するステップと、
（ｂ）重要エリア毎に受容可能性特徴量を算出するステップと、
（ｃ）重要エリア毎の受容可能性特徴量算出結果を総合して入力画像の受容可能性を判別するステップと、
（ｄ）ステップ（ｃ）における受容可能性判別結果に応じ所定の出力動作を履行するステップと、
を有し、上記出力動作について入力画像の受容可能性を自動判別する方法。
【請求項２】
請求項１記載の方法であって、ステップ（ａ）にて、重要エリア認識に際し、エッジ生起指標を用い入力画像内のエッジ画素を識別する方法。
【請求項３】
請求項２記載の方法であって、ステップ（ａ）にて、エッジ画素が最も多い１個又は複数個のエリアを、重要エリアとして認識する方法。
【請求項４】
請求項２記載の方法であって、ステップ（ａ）にて、エッジ勾配値が最大のエッジ画素を含むエリアを重要エリアの一つとして認識する方法。
【請求項５】
請求項２記載の方法であって、ステップ（ａ）にて、入力画像の中央にあるエリアを重要エリアの一つとして認識する方法。
【請求項６】
請求項１記載の方法であって、ステップ（ａ）にて、主被写体が映っているエリアを入力画像から１個又は複数個検出し重要エリアとして認識する方法。
【請求項７】
請求項１記載の方法であって、ステップ（ａ）にて、使用者が指定した座標値に基づき入力画像内にあるエリアを１個又は複数個、重要エリアとして認識する方法。
【請求項８】
請求項１記載の方法であって、ステップ（ａ）にて、入力画像内で注視回数が最も多い１個又は複数個のエリアを、重要エリアとして認識する方法。
【請求項９】
請求項１記載の方法であって、ステップ（ａ）にて、人の姿が映っているエリアを入力画像から１個又は複数個検出し重要エリアとして認識する方法。
【請求項１０】
請求項１記載の方法であって、ステップ（ａ）にて、入力画像内の複数個のエリアを重要エリアとして認識する方法。
【請求項１１】
請求項１記載の方法であって、受容可能性特徴量がエッジ生起指標である方法。
【請求項１２】
請求項１１記載の方法であって、エッジ生起指標がエッジ密度である方法。
【請求項１３】
請求項１記載の方法であって、受容可能性特徴量として、エッジ個数、画素値勾配値、Ｌａｐｌａｃｉａｎ値、エッジハイト値、エッジワイズ値、ノイズレベル、コントラスト値、レンダリング色レベル、露出過剰度及び露出不足度のうち何れかを、入力画像から導出する方法。
【請求項１４】
請求項１記載の方法であって、ステップ（ｃ）にて、全重要エリアを母集団とする受容可能性特徴量統計値を用い受容可能性を判別する方法。
【請求項１５】
請求項１４記載の方法であって、受容可能性特徴量が各重要エリアにおけるエッジ密度であり、受容可能性特徴量統計値が全重要エリア間のエッジ密度平均値である方法。
【請求項１６】
請求項１記載の方法であって、ステップ（ｄ）にて履行する出力動作が、入力画像のうち受容可能性に欠けると判別されたものを印刷対象外にする印刷動作である方法。
【請求項１７】
請求項１記載の方法であって、上記入力画像がディジタルカメラで得られた画像であり、ステップ（ａ）〜（ｄ）の実行場所がそのディジタルカメラ内であり、ステップ（ｄ）にて履行する出力動作が、入力画像のうち受容可能性に欠けると判別されたものを削除する削除動作である方法。
【請求項１８】
請求項１７記載の方法であって、更に、カメラユーザに対し入力画像の削除を提案するステップと、削除動作についてカメラユーザから許可を得た上でその入力画像を削除するステップと、を有する方法。
【請求項１９】
請求項１記載の方法であって、上記入力画像がディジタルカメラで得られた画像であり、ステップ（ｄ）にて履行する出力動作が、カメラユーザに画像再撮影を提案する動作である方法。
【請求項２０】
請求項１記載の方法であって、ステップ（ｄ）にて履行する出力動作が、入力画像のうち受容可能性が低いと判別されたものを画像処理する画像処理動作である方法。
【請求項２１】
請求項１記載の方法であって、ステップ（ａ）が、
エッジを表すエッジ画素を入力画像内から検出するステップと、
エッジ画素からなるエッジマップを構築するステップと、
エッジマップ内のエッジ画素が各ブロックに少なくとも１個含まれることとなるようエッジマップを複数個のブロックに分割するステップと、
ブロックの中でエッジ画素の個数が最も多い方から複数個を識別するステップと、
入力画像内にあり且つ識別した複数個のブロックに対応する複数個の重要エリアを認識するステップと、
を含む方法。
【請求項２２】
請求項２１記載の方法であって、ステップ（ｂ）が、エッジ個数に基づき重要エリア毎に受容可能性特徴量を算出するステップを含む方法。
【請求項２３】
請求項２２記載の方法であって、ステップ（ｃ）が、受容可能性特徴量に基づきエッジ生起指標統計値を算出するステップと、エッジ生起指標統計値を用い印刷動作について入力画像の受容可能性を判別するステップと、を含む方法。
【請求項２４】
（ａ）入力ディジタル画像から分析用低解像度画像を生成するステップと、
（ｂ）エッジを表すエッジ画素を分析用低解像度画像から検出するステップと、
（ｃ）分析用低解像度画像内のエッジ画素からなるエッジマップを構築するステップと、
（ｄ）エッジマップ内のエッジ画素が各ブロックに少なくとも１個含まれることとなるようエッジマップを複数個のブロックに分割するステップと、
（ｅ）ブロックの中でエッジ画素の個数が最も多い方から複数個のブロックを識別するステップと、
（ｆ）入力ディジタル画像内にあり且つステップ（ｅ）にて識別した複数個のブロックに対応する複数個の重要エリアを認識するステップと、
（ｇ）エッジ個数に基づき重要エリア毎に受容可能性特徴量を算出するステップと、
（ｈ）ステップ（ｇ）にて算出した受容可能性特徴量算出結果を総合してエッジ生起指標統計値を算出するステップと、
（ｉ）エッジ生起指標統計値に基づき印刷動作について入力ディジタル画像の受容可能性を判別するステップと、
を有し、印刷動作について入力ディジタル画像の受容可能性を自動判別する方法。
【請求項２５】
請求項２４記載の方法であって、ステップ（ｂ）が、１個又は複数個のエッジ検出しきい値を用いたエッジ画素識別により分析用低解像度画像からエッジを検出するエッジ検出アルゴリズムを実行するステップを含む方法。
【請求項２６】
請求項２５記載の方法であって、エッジ検出アルゴリズムが、強エッジを検出するためのエッジ検出しきい値並びに当該強エッジと関連のある弱エッジを検出するためのエッジ検出しきい値を併用するＣａｎｎｙのエッジ検出アルゴリズムである方法。
【請求項２７】
請求項２４記載の方法であって、ステップ（ｇ）が、各重要エリアにおけるエッジ密度を判別するステップを含む方法。
【請求項２８】
請求項２４記載の方法であって、ステップ（ｈ）が、重要エリア間のエッジ密度平均値を判別するステップを含む方法。
【請求項２９】
入力画像に含まれる重要エリアを１個又は複数個認識する入力段と、
（ａ）重要エリア毎に受容可能性特徴量を算出し（ｂ）重要エリア毎の受容可能性特徴量算出結果を総合して入力画像の受容可能性を判別する処理段と、
処理段による受容可能性判別結果に応じ所定の出力動作を履行する出力段と、
を備え、上記出力動作について入力画像の受容可能性を自動判別するシステム。
【請求項３０】
請求項２９記載のシステムであって、入力段に、（ａ）エッジを表すエッジ画素を入力画像内から検出するためのアルゴリズムと、（ｂ）エッジ画素からなるエッジマップを得るためのアルゴリズムと、（ｃ）エッジマップを複数個のブロックに分割するためのアルゴリズムと、（ｄ）ブロックの中でエッジ画素の個数が多い方から複数個を識別するためのアルゴリズムと、（ｅ）識別した複数個のブロックに対応する複数個の重要エリアを入力画像内から選択するためのアルゴリズムとが、組み込まれたシステム。
【請求項３１】
請求項２９記載のシステムであって、処理段に、（ａ）エッジ個数に基づき重要エリア毎に受容可能性特徴量を算出するためのアルゴリズムと、（ｂ）受容可能性特徴量に基づきエッジ生起指標統計値を算出しそのエッジ生起指標統計値に基づき印刷動作について入力ディジタル画像の受容可能性を判別するためのアルゴリズムとが、組み込まれたシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明はディジタル画像処理に関し、特にディジタル画像を出力したときに受け入れてもらえるか否かを自動判別する方法に関する。
【背景技術】
【０００２】
例えばフィルム式カメラ、ディジタルカメラ、医用撮像装置等の撮影装置を用いて撮影した場合、得られる画像が常に満足のいく出来映えになるとは限らず、ユーザが受け入れうる下限水準を下回ることがある。例えば写真プリント業者に送られてくるカラー写真フィルムのネガには、プリントしたとしても大変に貧弱な画質にしかならないコマが含まれていることが多い。
【０００３】
その地域でどのような営業規制が実施されているか、また依頼主からどのような画質条件で発注を受けたかにもよるが、画質が貧弱なプリントではその依頼主から代金を受け取れないことが多い。そうしたプリントには幾つかの類型があり、例えば（大部分）空白のコマ、露出過剰／不足なコマ、ひどいピンぼけのコマ等は「空撃ち」と呼ばれる。また、人の頭が切れていたり目が閉じていたりといった具合に主被写体の位置・体勢が適当でないコマや、若干シャープネスに欠け又はノイズが多いため受け入れがたいコマは、それとは別の類型とされる。更に、ディジタルカメラで撮影した場合、そのカメラのプレビュースクリーンを見ただけではそのコマのシャープネスが不足しているかどうかは容易にわからないので、かなりシャープネスが不足している画像をユーザが写真プリント業者に回してしまうことがある。そして、医用撮像装置で撮影した画像にシャープネス不足やノイズ等の問題が発生すると、放射線科の医師・技師が医学的検査を行う上で支障になるが、そうした場合、問題を即座に特定し画像を撮影し直すことができれば、患者にとっても好都合である。
【０００４】
以上述べた何れの例においても、シャープネス不足等による受容不能画像を検出することは、コスト及び時間の節約に繋がる有用な処理である。
【０００５】
しかしながら、受容不能画像の検出は、現在のところ、写真を１枚ずつ目視検査する作業抜きでは行うことができない。従って、受容不能画像を自動識別することができれば、写真プリント業者だけでなく自宅ラボで画像をプリントするユーザやオンラインサービスを利用して画像をプリントするユーザにも、コスト的メリットがもたらされるであろう。
【０００６】
なお、米国特許に係る特許文献１（原題：Output Method and Apparatus for Estimating Image Quality Prior to Output、発明者：Nakao、発行日：２０００年２月２２日）に記載の方法では、ホストコンピュータからプリンタへのデータ転送に伴う問題、特に送られる画像データの量に対してプリンタのメモリ容量が少なく、そのデータを一部しか記憶できないといった問題に対処するため、その印刷データを送って印刷を行ったらどのような画質になるかを、その印刷データをプリンタに送る前に推定する。原高解像度画像に対し印刷画像の画質がどの程度低下するかを測る指標としては、例えばファイルサイズを使用する。推定結果が得られたら、それに基づき且つデータ転送に先立ち判別を行い、ホストからそのデータを送って印刷を行わせるか、それとも画像を出力しても低画質になってしまうことを表示してユーザに知らせるかを決定する。従って、この文献に記載の方法の狙いは、印刷装置におけるメモリ上の制約に対処し出力画質に対する悪影響を阻止することにあり、印刷したら画質が悪くなる入力画像を印刷プロセス上で出力対象外にすることができるだけで、原高画質画像だけを印刷させることはできない。即ち、ゴミ同然画像は大抵は元々低解像度であるので、記憶容量の少ないプリンタでも十分印刷できると判別され、そのデータがプリンタに送られてしまうので、そうした画像の印刷を阻止することができない。
【０００７】
米国特許に係る特許文献２（原題：Digital Image Processing with Indication to User of Hardcopy Output Image Quality、発明者：Cloutier and Wheeler、発行日：２０００年１月２５日）に記載の方法では、ハードコピー出力の画質レベルについて許容限界レベルを定め、指定された印刷サイズ及び印刷倍率に基づき画質を判別し、判別結果が許容限界レベルを下回っている場合はハードコピー出力に先立ちユーザにその旨警告する。従って、この文献に記載の方法でも、前掲の特許文献１に記載の方法と同様、入力画像の画質が区々であるという事実に基づき印刷出力の受容可能性を予見することは想定されていない。むしろ、入力画像の画質は常に高画質であると仮定し、ユーザが指定する倍率及びユーザが望む画像サイズだけで画質の認否を決めている。
【０００８】
米国特許に係る特許文献３（原題：System and Method for Automatically Processing Image Data to Provide Images of Optimal Perceptual Quality、発明者：Cottrell et al.、発行日：１９９７年１２月２日）に記載の画像処理システムは、指定された一連の画像処理動作を、人間の知覚上の画質が自動的に最適になるよう実行する。そのため、このシステムでは、その画像の生成元のプロファイル及び目的用途のプロファイルに加え、各画像処理動作が（個別に又は相乗的に）知覚上の画質に及ぼす影響を調べて利用する。即ち、人間が知覚する画質と客観的な指標（シャープネス、粒度、階調、色等）とを結び付ける一群の関係に基づき、指定された画像処理動作で使用する種々のパラメタを自動的に調整、変更する。このように、指定された画像処理動作で使用する種々のパラメタを制御することにより、最終的に得られる写真の客観的画質を自動的に、また可能な限り高い画質まで高めることができる。しかしながら、このシステムでは画像処理実行中に入力画像の画質が最適化されるだけであり、受容可能性に関する基準に照らして入力画像の原初画質を評価し出力段における原の入力画像の扱い方を変えるかどうかを決める（即ち原画像をそのまま処理及び印刷できるかどうかを調べる）といったことは、行っていない。
【０００９】
本願出願人が特許権を保持する米国特許に係る特許文献４（原題：A Method for Automatically Detecting Digital Images that are Undesirable for Placing in Albums、発明者：Savakis and Loui、発行日：２００３年３月１８日、この参照を以てその内容を本願に繰り入れることとする）に記載の方法では、ディジタル画像のシャープネス、コントラスト、ノイズ、露出等、数種類の画像特性値又はその組合せに係る算定評価の結果に基づき、ディジタル画像の中から空撃ち画像乃至ゴミ同然画像を自動的に選り分ける。コントラスト利用評価指標としてはエッジプロファイルから抽出した強度ヒストグラムにおける標準偏差を用い、ノイズ利用評価指標としては画像の一部における画素値分布の標準偏差を用いる。シャープネス利用評価に当たっては、この方法ではまず画像のエッジプロファイルを求め、そのエッジプロファイルからヒストグラムを算出し、そのヒストグラム内で何箇所かのエッジを指定してエッジ勾配値の重心を算出することにより、エッジ勾配値の平均値を判別する。従って、シャープネスが低く受け入れられない空撃ち画像を、エッジ強度を指標として識別することができる。反面、ご理解頂けるように、例えば水面と空からなる風景やその画像中のぼやけている範囲が大して広くはない画像等は、エッジが幾分弱いけれども受け入れうる。またその逆に、局所的にエッジが強いが残りの部分とりわけ主被写体の像がシャープネスに欠け、全体として低画質な画像もある。上掲の指標では、これらの画像を的確に見分けることができない。また、本方法には、顕著な露出不足又は露出過剰が原因でエッジ劣化という副次的問題が生じたときに、画像を見た人からエッジがぼやけて見えると指摘されるのを避けるため、コントラスト利用評価や露出不足度利用評価等、別の指標による評価を行わねばならない、という欠点もある。即ち、露出不足又は露出過剰によるエッジ劣化が生じている場合、シャープネス指標たるエッジ勾配値推定値では役不足で、画像の受容可能性をうまく判別できない。
【００１０】
【特許文献１】米国特許第６０２８６７６号明細書
【特許文献２】米国特許第６０１８３９７号明細書
【特許文献３】米国特許第５６９４４８４号明細書
【特許文献４】米国特許第６５３５６３６号明細書
【特許文献５】米国特許第６２８２３１７号明細書
【特許文献６】米国特許第６６９７５０２号明細書
【特許文献７】米国特許出願公開第２００４／０１０３１１１号明細書（Ａ１）
【特許文献８】米国特許出願公開第２００４／０１００５６７号明細書（Ａ１）
【非特許文献１】"Theory of Edge Detection", Proceedings of the Royal Society of London, vol. B207, pp. 187-217, 1980
【非特許文献２】"A Computational Approach to Edge Detection", by J.F. Canny, IEEE Transactions on Pattern Analysis and Machine Intelligence, 8, pp.769-798, 1986
【非特許文献３】"The Reproduction Of Colour", 5th edition, by R.W.G. Hunt, Fountain Press, England, 1995
【非特許文献４】"How People Look at Pictures: A Study of The Psychology of Perception in Art", by G.T. Buswell, The University of Chicago Press, Chicago, 1935
【非特許文献５】"Eye Movements and Vision" (B. Haigh, Trans.), by A. L.Yarbus, Plenum Press, New York, 1967
【非特許文献６】"Towards Physics-based Segmentation of Photographic Color Images," by Luo, Gray and Lee, Proc. IEEE Int. Conf. Image Process., 1997
【発明の開示】
【発明が解決しようとする課題】
【００１１】
このように、ディジタル画像の受容可能性（アクセプタビリティ）を自動判別できるより確かな方法を提供すること、とりわけ印刷に供する画像にシャープネス不足という問題が生じているときでも使用できる方法を提供することが、求められているといえよう。
【００１２】
本発明は、上記各問題点又はその一部を解決することを課題としてなされたものであり、より信頼できるディジタル画像受容可能性自動判別方法を提供することを目的とする。本発明は、更に、印刷対象画像にシャープネス不足という問題が生じているときでもそのディジタル画像の受容可能性を自動判別できる方法を、提供することを目的とする。
【課題を解決するための手段】
【００１３】
このような目的を達成するため、本発明の一実施形態に係る方法においては、（ａ）入力画像に含まれる重要エリアを１個又は複数個認識するステップと、（ｂ）重要エリア毎に受容可能性特徴量を算出するステップと、（ｃ）重要エリア毎の受容可能性特徴量算出結果を総合して入力画像の受容可能性を判別するステップと、（ｄ）ステップ（ｃ）における受容可能性判別結果に応じ所定の出力動作を履行するステップと、を実行することにより、上記出力動作について入力画像の受容可能性を自動判別する。
【００１４】
また、本発明の一実施形態に係るシステムにおいては、入力画像に含まれる重要エリアを１個又は複数個認識する入力段と、（ａ）重要エリア毎に受容可能性特徴量を算出し（ｂ）重要エリア毎の受容可能性特徴量算出結果を総合して入力画像の受容可能性を判別する処理段と、処理段による受容可能性判別結果に応じ所定の出力動作を履行する出力段と、を使用し、上記出力動作について入力画像の受容可能性を自動判別する。
【発明の効果】
【００１５】
本発明によれば、有益なことに、印刷時に生じたひどいピンぼけやひどい露出過剰及び露出不足によってそのエッジ特性が劣化している受容不能画像でも検出することができ、また従来のアルゴリズムに比べその種のプリントを正確且つ好適に識別、特定することができる。本発明によれば、受容不能画像を高精度で検出できるだけでなく受容可能画像を受容不能画像と誤認する確率も低いため、画像を目視確認する必要性がほとんどなくなり、写真プリント業者等のコストが削減されるだけでなく自宅ラボでプリントを作成するユーザやオンラインサービスを利用してプリントを依頼するユーザにとっても費用の節約になる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明に関し、コンピュータプログラム／コンピュータソフトウェアによる好適な実施形態を用いて説明する。但し、本件技術分野において習熟を積んだ者（いわゆる当業者）であれば、ソフトウェアではなくハードウェアでも本発明を好適に実施しうることを、直ちに理解することができよう。また、以下の記載では、本発明に係る方法及びシステムを構成するアルゴリズム及びシステムや、本発明に係る方法及びシステムと密接な関係があるアルゴリズム及びシステムについて説明することとし、画像処理アルゴリズム及びシステムのうち周知の部分については説明を省略する。従って、本発明と関連する画像信号生成及び処理アルゴリズム、ソフトウェア、ハードウェア乃至システムであっても、本件技術分野で公知のアルゴリズム、コンポーネント、素材乃至システムにて実現できるものは、詳細には図示、説明していない。例えば、本発明に係るシステムにて使用され本発明の実施に役立つが以下の記述で詳細に図示、説明乃至示唆していないソフトウェアは、従来技術に基づきまたいわゆる当業者の技量の範囲内で実現することができる。
【００１７】
更に、本発明に係るコンピュータプログラムはコンピュータ可読記録媒体に格納／保存できる。本願でいうところのコンピュータ可読記録媒体とは、コンピュータプログラムを格納できる様々な有形媒体乃至装置のことであり、その例としては、磁気ディスク、磁気テープ等の磁気記録媒体（例えばハードディスクやフロッピー（登録商標；以下注記を省略）ディスク）や、光ディスク、光テープ、機械可読バーコード等の光学記録媒体や、ＲＡＭ（ランダムアクセスメモリ）、ＲＯＭ（リードオンリメモリ）等の固体電子記憶デバイスがある。
【００１８】
また、本発明は、周知のどうようなコンピュータシステム上でも好適に実施できる。従って、例えばパーソナルコンピュータ（ＰＣ）上でも好適に使用できる。更に、そのコンピュータシステムへの画像の入力は、例えばディジタルカメラ等で得られた画像をそのまま入力する形態で行ってもよいし、ハロゲン化銀フィルム等の原本を走査等してディジタイズしそれにより得られた画像を入力する形態で行ってもよい。これらを踏まえることで、本発明に関する以下の説明をより好適に理解できるであろう。
【００１９】
図１に、本発明の実施に適するコンピュータシステム１１０を示す。本発明は、例えばユーザの自宅ラボ、写真スタンド、写真店、プリント工場等、どのような場所にある写真プリント制作用電子的ディジタル画像処理システムでも、実施することができる。ここで図示の如きシステム１１０を例示した意図は、本発明の好適な実施形態をわかりやすく説明することにあり、本発明の要旨を限定するためではないので、その点を了解されたい。本システム１１０は、与えられたソフトウェア／プログラムをマイクロプロセッサ内蔵ユニット１１２にて実行等して各種処理機能を発揮するシステムである。ユニット１１２にはディスプレイ１１４が電気的に接続されており、実行中のソフトウェアによって生成された情報は、例えばグラフィカルユーザインタフェースを用いディスプレイ１１４の画面上に表示されるので、ユーザはその情報を知ることができる。ユニット１１２には更に、ユーザからソフトウェアへの情報入力手段としてキーボード１１６及びマウス１１８が接続されている。本件技術分野において周知の通り、マウス１１８を動かすとディスプレイ１１４の画面上でセレクタ１２０が動き、所望の項目上にセレクタ１２０を重ねてマウス１１８を操作するとその項目を選択することができる。
【００２０】
ソフトウェア／プログラムその他の情報をマイクロプロセッサ内蔵ユニット１１２に入力するには、ソフトウェア／プログラム等が書き込まれているＣＤ（コンパクトディスク）−ＲＯＭ１２４やフロッピーディスク１２６をユニット１１２に差し込み、それらを読み取らせればよい。また、ユニット１１２に外付け型ディスクドライブユニット１２２が接続されている場合は、ＣＤ−ＲＯＭ１２４やフロッピーディスク１２６をそのユニット１２２に差し込んで読み取らせることもできる。加えて、本件技術分野で周知の通り、ユニット１１２内にソフトウェア／プログラムを予め書き込んでおいてもよい。更に、ユニット１１２は電話線等のネットワーク接続手段１２７を介して外部ネットワーク、例えばローカルエリアネットワークやインターネットに接続されている。ユニット１１２にはプリンタ１２８が接続されているので、コンピュータシステム１１０は、そのプリンタ１２８を用い印刷、ハードコピー出力を行うことができる。なお、デスクトップで使用する場合は、インクジェットプリンタやレーザプリンタをプリンタ１２８として用いるとよい。写真スタンド、写真店、プリント工場、オンライン写真プリントサイト等で写真プリントを製作する際には、それ専用の高度な写真プリント制作装置を用いるとよい。
【００２１】
ディスプレイ１１４の画面上に画像を可視表示させる際には、例えばマイクロプロセッサ内蔵ユニット１１２にＰＣカード１３０を差し込み、カード１３０内に電子的に格納されている画像を表示させればよい。ＰＣカード１３０は以前ＰＣＭＣＩＡカードとして知られていたカードであり、ＰＣＭＣＩＡ（Personal Computer Memory Card International Association）が定めた仕様に準拠している。また、ユニット１１２に外付け型ＰＣカードリーダ１３２が接続されている場合は、ＰＣカード１３０をそのリーダ１３２に差し込んで読み取らせてもよい。更に、ＣＤ（−ＲＯＭ）１２４若しくはフロッピーディスク１２６内の画像を読み取らせることや、ネットワーク接続手段１２７を介して画像を入力することもできる。例えば、ディジタルカメラ１３４で撮影した画像や図示しないスキャナで読み取った画像をＰＣカード１３０、フロッピーディスク１２６若しくはＣＤ（−ＲＯＭ）１２４に格納して読み取らせることや、同種の画像をネットワーク接続手段１２７を介して入力することができる。
【００２２】
また、こうした媒体を介さずディジタルカメラ１３４から直接、マイクロプロセッサ内蔵ユニット１１２に画像を入力することもできる。例えば、ユニット１１２に接続されているカメラドッキングポート１３６を介しカメラ１３４からユニット１１２に画像を入力してもよいし、接続ケーブル１３８や無線１４０でカメラ１３４をユニット１１２に直結し画像を入力してもよい。
【００２３】
本発明においては、こうした記憶装置／媒体に格納されているアルゴリズムを画像に適用することにより、所定の出力動作についてその画像の受容可能性を自動判別する。例えば、その画像についてエッジ密度指標を自動算出し、シャープネスの面でその画像を受容できるか否かを算出結果に基づき判別する。
【００２４】
本発明はこうしてディジタル画像の受容可能性を自動判別する方法であるが、本発明を好適に実施できるユーザ環境は数多く、従って当該方法やそのアルゴリズムの実施形態はユーザ環境毎に様々に異なる。本発明を実施できるユーザ環境としては、フィルムの受付からディジタル処理を経て印刷に至る種々の処理段階を実施するディジタル式プリント工場及びディジタル式写真店、画像をディジタル入力若しくは走査入力してディジタル処理し印刷する自宅ラボ、ディジタル画像をあるアルゴリズムに従いソフトウェア的に改良乃至改変するデスクトップ環境、媒体乃至ウェブからディジタル画像を取得してディジタル処理し媒体若しくはウェブ上にディジタル画像を出力する（或いはハードコピー出力する）総合ディジタル環境、画像をディジタル入力若しくは走査入力してディジタル処理し印刷若しくはディジタル出力する写真スタンド、医用撮像システム、ＰＤＡ（携帯情報端末）や携帯電話のように処理ユニット・表示ユニット・処理指令ユニットを兼ねる可搬型の装置、ワールドワイドウェブを介しサービスを依頼／受付する環境等を含め、様々な環境を掲げうる。
【００２５】
本発明に係る方法のアルゴリズムは、このように種々のユーザ環境で実施できるだけでなく、スタンドアロンでもまた大規模システム内コンポーネントとしても実行することができる。即ち、本発明に係る方法の各ステップ、例えばディジタル画像の走査乃至入力、ディジタル処理並びに出力（実施形態によっては更にユーザ向け表示及びユーザからの指示乃至処理命令の入力）等のステップは、一箇所乃至１個の装置で実行してもよいし、複数の場所乃至装置で分担実行してもよい。複数の場所乃至装置で分担する際には、それらを公衆網接続、専用網接続、媒体授受等でつなげばよい。また、これまでの説明からも明らかな通り、本発明に係る方法は、全自動アルゴリズムにより実行することもできるし、ユーザに対し何らかの（部分）マニュアル入力を求めるアルゴリズムで実行することもできるし、結果を表示してユーザによる認否を求めるアルゴリズムで実行することもできるし、ユーザ若しくは計測装置（例えばカメラ内の装置）から与えられ又は何らかのアルゴリズムに従って作成されるメタデータを助力とするアルゴリズムで実行することもできる。更に、本発明に係る方法では、そのアルゴリズムの工夫によって、様々な種類乃至方式の作業用ユーザインタフェースに対応することができる。
【００２６】
更に、本発明に係る方法は、複数個のコンポーネントからなるアルゴリズムに従い実施することができる。それらのコンポーネントでは、例えば、各種データ検出識別手法を用い、顔、皮膚、人体といった被写体の検出を行う。これは、例えばバースデーパーティの写真を調べてバースデーケーキを認識、識別する等、画像に映っている光景を解釈する上で、また特定の身体部位を撮影した医用画像からその特徴を見つけ出す上で、本質的に有用である。
【００２７】
更に、以下の説明においては、主として、カラーフィルムのネガ上にあるシャープネス不足の画像をプリント制作に先立ち検出できるようにし、印刷プロセスにて不要なプリントが制作されることを防いで写真プリント業者のコストを削減することを目的として設計された方法を採り上げるが、先に述べたように、本発明は様々なユーザ環境にて実施できる。例えばカラーリバーサルフィルムで捉えた画像、各種ディジタルカメラで撮影した画像、各種放射線画像等、様々な画像源から得られた画像の評価に使用できる他、ディジタルグラフィクス作成装置等、撮影装置以外のディジタル画像機器においても、本発明を実施できる。
【００２８】
更に、本願でいうところのシャープネスは画像特性の一種であり、シャープなエッジが十分な個数あるときに、その画像にシャープネスがあるという。十分な個数か否かの判断基準は、受容できる画質のものも受容できない画質のものも含め、様々な画像を調べて経験的に決めるとよい。そうして決めた判断基準は、シャープネス不足で受容できない低画質画像を識別するのに役立つばかりでなく、その種の受容不能画像を幾通りかに分類するのにも役立つ。即ち、シャープなエッジがない又は少ない画像を、ひどいピンぼけの画像、完全に或いは大部分空白の画像、ひどく露出不足或いは露出過剰の画像等に分類することができる。
【００２９】
画像のどこにエッジがあるかを調べる方法即ちエッジ検出方法としては、定番になっている方法が幾通りかあるので、それらの中から何れかを選んで使用することができる。通常のエッジ検出方法では、まず局所微分演算子（local derivative operator）計算を行うことにより、グレーレベル特性に段差がある画像領域間遷移点（これをエッジと呼ぶ）を識別、特定する。局所微分演算子には幾つかの種類があるが、例えばある画素位置にＳｏｂｅｌ演算子を適用した場合はその位置における画素値勾配値の近似値が得られ、非特許文献１（この参照を以てその内容を本願に繰り入れることとする）に記載のＭａｒｒ及びＨｉｌｄｒｅｔｈのアルゴリズムを用いた場合はその画素位置におけるＬａｐｌａｃｉａｎ値の近似値が得られる。
【００３０】
中でも検出におけるロバスト性の高いエッジ検出方法としては、非特許文献２（この参照を以てその内容を本願に繰り入れることとする）に記載のＣａｎｎｙのエッジ検出アルゴリズムによるエッジ検出方法がある。Ｃａｎｎｙのエッジ検出アルゴリズムでは、勾配の極大値を求めるのに、単一の二次微分演算子を用いるのではなく互いにその向きが異なる複数の一次微分演算子を用いる。加えて、Ｃａｎｎｙのエッジ検出アルゴリズムでは、強エッジに加え、その強エッジに関連する弱エッジを選り出す。即ち、好ましいことに、本物の弱エッジとノイズとを、上述のエッジ検出方法よりも好適に弁別することができる。
【００３１】
エッジ検出を成功裡に行うには、最適な値の勾配しきい値を幾種類か設定する必要がある。それらの勾配しきい値の使途は、画像内のどの画素が本物のエッジであるのか、またそのエッジは強いのか弱いのか、そしてどの画素がノイズと見られるのかを、判別することにある。勾配しきい値には強しきい値と弱しきい値があり、そのうち強しきい値は比較的勾配が大きなエッジだけを検出するための勾配しきい値、弱しきい値は強エッジに関連する（連なる）弱エッジを検出するしきい値である。例えば強しきい値を第９２パーセンタイルにし、弱しきい値を強しきい値の０．７５倍にするとよい。この考察結果を図２に示す。
【００３２】
Ｃａｎｎｙのエッジ検出アルゴリズムは、例えば周知のパッケージソフトウェア「Ｍａｔｌａｂ」（商品名）にて使用されている。Ｍａｔｌａｂでは、強度正規化画像即ち各画素値が０〜１の範囲内に収まる画像に対して、Ｃａｎｎｙのエッジ検出アルゴリズムが適用される。強度正規化画像を得るには、例えば原画像から最大画素値を見つけ出し、その最大画素値を基準に画素値を正規化すればよい。強度正規化画像を得る方法としては、更に、原画像を見た目重視のフォーマット即ち各画素の見た目の強度を反映させるためのフォーマットに変換する、という方法がある。これを行うには、例えば、そのディジタル画像をＬ*値フォーマットに変換すればよい。Ｌ*値フォーマットは、人間の知覚上の明度スケールを模した明度スケールでの表現として、文献等で知られている。
【００３３】
Ｌ*値はＣＩＥ（国際照明委員会）１９７６の公式：Ｌ*＝１１６（Ｙ／Ｙw）1/3−１６に従い算出する。この公式中、Ｙは所与の画素におけるＹ三刺激値であり、Ｙwはその白色基準である。Ｙ／Ｙwの値が０．００８８５６未満である場合、Ｌ*値はＬ* = ９０３．３（Ｙ／Ｙw）の公式で算出することができる。使用する公式についてより詳細に知りたければ、非特許文献３を参照されたい。Ｌ*値フォーマットの画像からは、人間の知覚に比較的近いかたちで、画像特徴例えばエッジを検出することができる。
【００３４】
なお、エッジ検出アルゴリズムが違えば使用すべき画像フォーマットも異なり、例えばＲ（レッド），Ｇ（グリーン），Ｂ（ブルー）正規化フォーマット、Ｇチャネルフォーマット、輝度正規化フォーマット、相対印刷密度フォーマット、印刷コード値フォーマット等の画像フォーマット乃至画像表現が使用されることもある。どの画像フォーマットを使用するにしても、しきい値乃至パラメタは、そのフォーマット用の画像表現空間に適したものを使用するのが望ましい。
【００３５】
図３に、本発明の一実施形態に係る画像受容可能性判別方法における諸動作の流れを示す。本方法では、画像から抽出した重要エリアについて受容可能性特徴量例えばエッジ生起指標を算出することにより、１個又は複数個の画像の受容可能性を判別する。
【００３６】
本方法は、ディジタル画像を受領するステップ２１０にて始まる。このステップで受領するディジタル画像のことを、本願では入力画像と総称している。その次のステップ２１２では、入力画像を、後の処理に相応しい指定フォーマットに変換する。本実施形態の場合、ＣＩＥ１９７６の公式に従い上述した手順で明度推定値即ちＬ*値を算出して、Ｌ*値フォーマットに変換する。その際には、ステップ２１４にて取得する情報即ち出力／表示特性に関する情報を利用する。出力／表示特性とは、モニタ画面、紙への印刷システム等の表示システムが有している特性であり、これは予めわかっている。また、ステップ２１２〜２１４における画像変換即ち明度スケールへの変換を省略した形態や、上述したＲ，Ｇ，Ｂ正規化フォーマット、相対印刷密度フォーマット等、別種フォーマットに変換、置換した形態でも、本発明を実施することができる。何れのフォーマットにするにせよ、以後のステップにおける分析は、指定フォーマットに変換された画像を対象として実行する。
【００３７】
ステップ２１６では、その画像内の重要エリアを認識、抽出して更なる解析に供する。本実施形態でステップ２１６にて実行する処理の詳細を図４Ａに示す。また、その変形例を図４Ｂ〜図４Ｄに示す。
【００３８】
図４Ａに詳細に示す処理、即ちステップ２１６にて実行される入力画像内重要エリア認識処理の手順は、出力に対する受容可能性を判別する上で重要な情報を含む領域にはシャープなエッジが多数含まれている、との前提に基づく手順であり、そのステップ３１０ではまず入力画像をダウンサンプリングして分析用の低解像度画像を取得する。このダウンサンプリングは、使用できる限りどのような補間法でも実施することができるが、本実施形態では４×４ブロック平均法を用いている。ダウンサンプリングは、処理時間を短縮し、またときとしてエッジ検出を邪魔するノイズを除去する上で、有益である。
【００３９】
次のステップ３１２では、得られた分析用低解像度画像を対象としてエッジ検出アルゴリズム例えばＣａｎｎｙのアルゴリズムを実行する。前述した通り、Ｃａｎｎｙのエッジ検出アルゴリズムでは最適化された一種類又は複数種類のしきい値を使用する。それらのしきい値は状況に応じて変更され様々な値を採るものであり、本発明の要旨がそれらの値で限定されるべきものではないが、本実施形態では、画素値勾配について、比較的勾配が大きなエッジ（例えば第９２パーセンタイル超のもの）のみを検出できるよう強しきい値を、また強エッジに関連する弱エッジを検出できるよう（例えば強しきい値の０．７５倍の）弱しきい値を、それぞれ設定してある。
【００４０】
また、画像のノイズレベルによってエッジ検出しきい値が変化する形態で、本発明を実施してもよい。例えば、その画像のノイズレベルが高い場合は、そのしきい値で捕捉できるエッジの個数が減るようしきい値を調整することで、ノイズをエッジ画素として誤検出する確率を減らすようにするとよい。或いは、エッジ検出に先立ち入力画像又は分析用低解像度画像に対し平滑フィルタを適用してノイズを減らす形態で、本発明を実施してもよい。その場合、例えば、ノイズレベルに応じフィルタ係数を調整するようにする。使用できるフィルタの例としては、ノイズに応じその標準偏差の値を調整できるＧａｕｓｓｉａｎブルアフィルタがある。
【００４１】
ステップ３１４においては、これまでのステップにて得られているエッジ画素データに基づきエッジマップを構築する。その次のステップ３１６では、このエッジマップを所定個数のブロック、例えば８×８アレイブロックに分割し、各ブロックに含まれるエッジ画素の個数を計数する。その次のステップ３１８では、エッジ画素の個数が多い方から何個かのブロックを認識、識別する。本実施形態の場合は、エッジ画素個数が多い方から３個のブロックの場所を識別、判別する。なお、ここでエッジ画素個数が多い方から３個のブロックを求めているのは、大規模画像データベースを調べて判明した最適個数が３個であったためであり、これとは異なる個数のブロック例えば２個のブロックとか４個以上のブロックを求めるようにしてもよい。また、エッジ個数が多いブロック以外のブロックを、以後の処理に供するようにしてもよい。例えば、エッジマップに含まれている全てのエッジ画素の中で最大の画素値勾配値を有するエッジ画素を含むブロックを、エッジ個数が多いブロックに代え又はそれと共に、後の処理に供するようにしてもよい。更に、画像の中央部には大抵はその写真の主被写体があるので、画像の中央点を含む画像中央部のブロックを、エッジ個数が多いブロックや最大勾配画素を含むブロックに代え又はそれらと共に、後の処理に供するようにしてもよい。
【００４２】
ステップ３２０においては、分析用低解像度画像内でその場所を識別したブロックと同一の又は近接した場所にあるブロックを、ブロックの場所の識別結果に基づきフル解像度の入力画像から選出することによって、後の処理に供する重要エリア（サンプルエリア）を抽出する。本実施形態の場合、合計で３個のサンプルエリアを入力画像内から選出する。各サンプルエリアは何れも入力画像の１／８×１／８のサイズであり、それぞれステップ３１８にて識別した３個のブロックに対応している。入力画像における各サンプルエリアの位置は、低解像度画像内の対応するブロックの座標値を、入力画像における座標値に変換することによって、求めることができる。更に、前述したように、最大勾配画素を含むブロックや中央部のブロック等、他種画像エリアを併せて抽出することもできる。
【００４３】
このように、本実施形態では、シャープなエッジがある領域はその画像のうちの重要なエリアであると想定しているが、写真内の各部分のうち重要な情報を含んでいるエリア（の一部）を識別できる手法は、他にも幾つかある。例えば、画像印刷結果の受容可能性を最も大きく左右するのは大抵は主被写体の映り方であるから、図４Ｂに示すように画像のうち主被写体が映っている部分を検出するアルゴリズムを用いてもよい。その種のアルゴリズとしては、例えば、本願出願人が特許権を保持する米国特許に係る特許文献５（原題：Method for Automatic Determination of Main Subjects in Photographic Images、発明者：Luo et al.、発行日：２００１年８月２８日、この参照を以てその内容を本願に繰り入れることとする）に記載のアルゴリズムがある。このアルゴリズムでは、肉体、顔、空、草、等を有意特徴として識別し、色、模様、輝度等に係る構造的特徴量と組み合わせて概念マップを生成するようにしているため、写真画像から主被写体を自動検出することができる。
【００４４】
受容可能性判別向けのエリア選別に使用できるアルゴリズムとしては、更に、本願出願人が特許権を保持する米国特許に係る特許文献６（原題：Image Processing Method for Detecting Human Figures in a Digital Image、発明者：Luo、発行日：２００４年２月２４日、この参照を以てその内容を本願に繰り入れることとする）に記載の画像処理手法で使用するアルゴリズム、即ちディジタルカラー画像に映っている人の姿を検出するアルゴリズムがある。このアルゴリズムでは、まず、各領域内がそれぞれ一種類の色又は模様になるように、また領域同士が重なり合わないように、その画像を複数個の領域に区分する。次いで、それらの領域の中から、人間の皮膚の色と同じ色の皮膚候補領域及び人間の顔の一部と見られる顔候補領域を検出する。そして、皮膚候補領域に重きを置きつつ且つ各顔候補領域毎に、予め定めておいた人間姿態グラフィックモデルに従いその顔候補領域の周辺に領域を蝟集させて人の姿を構築する。
【００４５】
図４Ｂに、上述した主被写体検出アルゴリズムを用い入力画像内の重要エリアを認識、識別する主被写体検出型の変形例を示す。図中のステップ４１０では、上述した特許文献５記載の主被写体検出アルゴリズムによって入力画像を処理する。入力画像に代え低解像度画像を対象に主被写体を検出するようにすれば、処理時間がより短くなる。分析用低解像度画像を得るには、図４Ａに示したステップ３１０と同様に、入力画像をダウンサンプリングすればよい。次のステップ４１２ではマップを構築し、構築したマップに基づきその写真から主被写体に係る領域の場所を認識、識別する。図４Ａに示した実施形態と異なり、マップをブロックに分割する必要はない。ステップ４１４では、主被写体の場所として識別した場所に対応するエリア即ち重要エリアを入力画像から抽出して後の処理に供する。或いは、全処理を低解像度画像を対象に実行し、主被写体が映っている重要エリアを低解像度画像から抽出するようにしてもよい。
【００４６】
図４Ｃに、ステップ２１６における処理手順の変形例を示す。この図の例では、重要エリアを認識、識別するためその重要エリアの位置に関する情報の提供を受ける。即ち、ステップ５１０では、１個又は複数個の重要エリアの位置に関する情報を受け取るため、例えば画像を表示させてユーザにその画像の一部領域をクリックさせ又はなぞらせ、クリックされ又はなぞられた場所から重要エリアの座標値を求める。或いは、所与規則に従い重要エリアの座標値を自動決定するようにしてもよい。そして、ステップ５１２では、入力画像からそれらの重要エリアを抽出する。この手順は、とりわけ、医用撮像の分野で有用である。
【００４７】
図４Ｄに更なる変形例を示す。この変形例では、ユーザが画像を見るときの視線の行方（注視の仕方）を調べることにより重要エリアを認識、識別する。同一画像内でも領域毎に注視頻度及び注視時間が異なることや、それら注視頻度及び注視時間と注視先領域に映っている被写体の重要度との間に関係があることは、種々の研究で明らかにされている。例えば非特許文献４及び５では、自然人が写真や図画を見るとき一番注視するのはその人が最も重要だと思う部分である、ということを解明している。即ち、この研究によれば、ユーザにとっての画像構成要素の重要度は、そのユーザからその画像構成要素への視線を捉え、その画像構成要素への注視頻度や継続的注視時間を調べることにより、確かめることができる。なお、ディジタルカメラでの写真撮影中に視線を捉える方法及びシステムとしては、本願出願人が特許を受ける権利を保持する米国特許出願に係る特許文献７（原題：Method and Computer Program Product for Determining an Area of Importance in an Image Using Eye Monitoring Information、刊行日：２００４年５月２７日、この参照を以てその内容を本願に繰り入れることとする）及び特許文献８（原題：Camera System with Eye Monitoring、刊行日：２００４年５月２７日、この参照を以てその内容を本願に繰り入れることとする）に記載のものがある。また、こうした視線追尾技術は、ディスプレイの画面上に表示されている画像に対しユーザがどのように反応するかを調べる際にも使用できる。その用例としては、アメリカ合衆国ニューヨーク州アーモンク所在のＩｎｔｅｒｎａｔｉｏｎａｌ  Ｂｕｓｉｎｅｓｓ  Ｍａｃｈｉｎｅｓが販売しているＢｌｕｅＥｙｅｓカメラ（商品名）がある。
【００４８】
さて、図４Ｄ中のステップ６１０では視線追尾結果に基づき注視マップを取得し、その次のステップ６１２では注視回数が多い方から何個かのエリアを認識、識別する。注視回数が多いエリアを識別するには、例えば、まず入力画像を多数の矩形ブロックに分割し、次いでそのなかで注視回数が多い方から何個かのブロックの場所を認識、識別する、という手法を用いればよい。或いは、この参照を以て本願に繰り入れられるところの非特許文献６により推奨されているように、教師なしクラスタリング法を用い予め画像を複数個の領域に分けておき、領域毎に注視回数を計数し、注視回数が多い方から何個かの領域を、その画像における重要エリアとして識別、抽出してもよい。なお、ここでは注視回数即ち注視頻度を例にして説明を行ったが、注視時間でも、或いは注視頻度と注視時間の組合せでも、同様にして重要エリアを認識、識別することができる。
【００４９】
次いで、図３に示すステップ２１８では、一種類又は複数種類の受容可能性特徴量を算出する。図５に、本実施形態でステップ２１８にて実行する処理の詳細を示す。この図に示すように、本実施形態では、受容可能性特徴量としてエッジ生起指標を算出する。即ち、そのステップ７１０では、エッジ生起指標を受容可能性特徴量として用い、前述したＣａｎｎｙのエッジ検出アルゴリズム等のエッジ検出アルゴリズムを実行することにより、入力画像から識別した重要エリア毎にエッジマップを構築する。但し、それ以外のエッジ検出方法、例えばＳｏｂｅｌやＬａｐｌａｃｉａｎ等の演算子を用いた方法等で、ステップ７１０を実行してもよい。また、ステップ７１０にてＣａｎｎｙのエッジ検出アルゴリズムを適用する際には、併せて、平滑フィルタを使用し画像中のノイズを低減させるとよい。識別した重要エリア内にノイズがあるとそのノイズによってエッジ検出が妨げられ、ノイズによって生じる多数の偽エッジが本物のエッジとして検出されかねないので、このフィルタリングは有益である。この種のノイズに対しては、例えばそのカーネルサイズが５×５の単純な平均化フィルタで対処することができるが、自明な通り、いわゆる当業者にとってはこれとは異なる仕組みのフィルタを構成して適用することも容易であろう。また、本実施形態にて、エッジマップを構築するのに使用する強しきい値及び弱しきい値を、第８５パーセンタイルより大きな画素値勾配値を呈するエッジを強エッジ、強しきい値の４０％超の画素値勾配値を呈するエッジを弱エッジとして、それぞれ識別できるよう設定した場合、図６に例示するようなエッジマップが得られる。この図は、そうした勾配しきい値を用いある画像のある重要エリアについて構築したエッジマップを示したものであり、エッジ画素を白色で、非エッジ画素を黒色の塗り潰しで、それぞれ表してある。
【００５０】
ステップ７１２では、ステップ７１０にて得られたエッジマップを用い、重要エリア毎にエッジ生起指標を算出する。本実施形態では、エッジ生起指標としてエッジ画素の密度即ちエッジ密度を使用する。各重要エリアについてのエッジ密度は、その重要エリアのエッジマップにて、画素総数に対するエッジ画素個数の比を求めることで得ることができる。例えばＡＰＳ（登録商標）フィルムをスキャンした場合と３５ｍｍフィルムをスキャンした場合とでは得られるコマの解像度に違いがでる、というように、入力ディジタル画像はそのサイズや解像度が様々であるが、エッジ密度計算値を用いればそうした差を吸収することができる。また、入力ディジタル画像の解像度やサイズがおしなべて同一であると見なせる場合は、ステップ７１２にて、エッジ画素の個数をエッジ生起指標として用いることもできる。
【００５１】
ステップ７１４では、識別した全ての重要エリアに亘るエッジ生起指標統計値を算出する。本実施形態では、ステップ７１２にて各重要エリアのエッジ生起指標として求めたエッジ密度を全重要エリアに亘り平均し、得られた平均値即ちエッジ密度平均値を以後の処理で使用するが、それとは異なる種類のエッジ生起指標統計値例えばメディアン値や最大値を使用することとしてもよいし、エッジ密度ではなく各重要エリア内のエッジ画素個数等に基づきエッジ生起指標統計値を求めるようにしてもよい。
【００５２】
エッジ生起指標統計値は、シャープネス問題に関する受容可能性特徴量、即ちその画像のシャープネスが全体として受け入れうる水準か否かを判別するための量として、使用することができる。これ以外にシャープネスに関し受容可能性特徴量として使用できる量としては、各重要エリアにおける画素値勾配値、Ｌａｐｌａｃｉａｎ値、エッジハイト値、エッジワイズ値等の分布を示す統計指標や、それらの組合せがある。
【００５３】
また、シャープネス以外の問題に関する受容可能性特徴量を算出することもできる。即ち、画像内の各重要エリアにおけるノイズレベル、コントラスト値、レンダリング色レベル、露出過剰度、露出不足度、客観的画質指標等を識別し、その結果から受容可能性特徴量を導出して受容可能性判別を行うことができる。また、そうした量の識別には種々の公知技術を使用することができる。例えば、ノイズレベル、コントラスト値、シャープネス、露出度、客観的画質指標等に基づき受容可能性特徴量を導出するには、本願出願人が特許権を保持している米国特許に係りこの参照を以てその内容を本願に繰り入れるところの特許文献４（前掲）に記載の手法を応用すればよい。レンダリング色レベルを反映した受容可能性特徴量は、前述の主被写体検出アルゴリズムを用い画像内の重要エリアを認識、識別する際に、容易に算出することができる。それによって得られる受容可能性特徴量は、色調、色彩乃至彩度、明度等の分布についての統計指標又はその組合せになる。
【００５４】
図３中のステップ２２０では、ステップ２１８にて算出した受容可能性特徴量を所定のしきい値と比較する。本実施形態の場合、ステップ２１８にて受容可能性特徴量としてエッジ生起指標統計値を導出しているので、受容可能性特徴量と比較するしきい値としてはエッジ密度平均値例えば０．００７２なる値を使用するとよい（但しこの例を以て本発明の要旨を限定解釈すべきではない）。ステップ２２０で使用するしきい値は、ステップ２２２にて、受け入れうるもの及び受け入れられないもの双方を含む種々の画像のデータベースを解析することによって決定する。本実施形態では、受容可能性特徴量がしきい値以上である場合は、その入力画像を目的用途例えば印刷に向いていない（印刷に対する受容可能性に欠ける）画像として分類し、しきい値未満である場合は受容可能性ありと判別する。自明なことに、使用するしきい値の値は状況に応じて様々に変えうるので、例示した数値を以て本発明の要旨を限定解釈すべきではない。
【００５５】
また、重要エリアに係る受容可能性特徴量として別の種類の量（例えば画素値勾配値、Ｌａｐｌａｃｉａｎ値、エッジハイト値若しくはエッジワイズ値の分布を示す統計指標又はその組合せ、或いはノイズレベル、コントラスト値、露出度、レンダリング色レベル又は客観的画質指標を反映する特徴量）を算出する場合には、その受容可能性特徴量に応じた値になるようステップ２２２にてしきい値を決定する。
【００５６】
そして、ステップ２２４では、ステップ２２０における分類の結果に基づき、その画像の使用可否乃至処分について判別する。即ち、予め定められている出力動作例えばステップ２２６に列記した幾つかの動作のうち何れかについて、その画像の処分の仕方を決定する。例えば印刷動作に際しては、受け入れられない即ち受容可能性に欠ける画像を印刷段から引き上げ印刷対象外にする（２２６ａ）。また、本発明に係る方法をディジタルカメラにて実行する場合は、好ましくはユーザからの画像削除指示或いは許可を受けた上で受容可能性に欠ける画像を削除し（２２６ｃ）、或いはユーザに対しその場面の再撮影を提案する（２２６ｂ）。
【００５７】
また、エッジ生起指標統計値について一種類ではなく複数種類の分類しきい値を定め、それに基づきステップ２２０における分類を行うようにすれば、受容可能性のある画像例えば印刷可能な画像を細分類し、そのなかから印刷可能ではあるがエッジ生起指標統計値が小さい画像を選り分けることができる。従って、その結果を利用してステップ２２４における判別を行い、該当する画像にある種のアルゴリズムを適用して例えばそのシャープネスを向上させることができる（２２６ｅ）。そのためのアルゴリズムとしては、例えば一般のアンシャープマスキング法によるアルゴリズムを使用できる。アンシャープマスキング法は、Ａｄｏｂｅ（登録商標）Ｐｈｏｔｏｓｈｏｐ（登録商標）等、市販されている写真編集用又は画像修正用パッケージソフトウェアにて広く採用されている。本実施形態の場合、ステップ２２０にて画像を分類した後、ステップ２２６ｅにて出力画質改善のための特定の処理アルゴリズムが自動的に、或いは例えばそのディジタルカメラのユーザからの指示を受けた上で適用される。ステップ２２６ｅにおける画像処理が済んだら、例えば、ステップ２１０〜２２６の手順による受容可能性チェック処理を、処理された画像に対して再実行する。
【図面の簡単な説明】
【００５８】
【図１】本発明の実施に適するコンピュータシステムを示す斜視図である。
【図２】エッジ検出しきい値の選び方を示す図である。
【図３】本発明の好適な実施形態を示すフローチャートである。
【図４Ａ】図３中の画像内重要エリア認識抽出ステップをより詳細に示すフローチャートである。
【図４Ｂ】同ステップの別例を示すフローチャートである。
【図４Ｃ】同ステップの別例を示すフローチャートである。
【図４Ｄ】同ステップの別例を示すフローチャートである。
【図５】図３中の受容可能性特徴量算出ステップをより詳細に示すフローチャートである。
【図６】ある画像内のある重要エリアについてのエッジマップ構築結果を示す図である。.
【図１】
2008523504.tif 000003
【図２】
2008523504.tif 000004
【図３】
2008523504.tif 000005
【図４Ａ】
2008523504.tif 000006
【図４Ｂ】
2008523504.tif 000007
【図４Ｃ】
2008523504.tif 000008
【図４Ｄ】
2008523504.tif 000009
【図５】
2008523504.tif 000010
【図６】
2008523504.tif 000011
【国際調査報告】
2008523504.tif 000012
2008523504.tif 000013
2008523504.tif 000014