(57)【要約】  画像コンテンツを検出する方法は、画素について、画素の推定強度を算出し（１６）、画素について、この画素の実際の強度を算出し（１７）、推定強度及び実際の強度の関数が強度条件を満たすか否かを検出し（１８）、強度条件検出結果に応じて、画素コンテンツ検出信号を生成する（１９）。前述の強度は、画素の色値の関数である。前述の方法は、青色コンテンツ（曇り空や曇っていない空のような空）の場合、うまく機能し、画像の自動選択、及びコンテンツベースの分類に使用される。効率及び／又は成功率を向上させるために、方法は、色値が色条件を満たすか否かを更に検出（１５）することができる。更に、方法は、ブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成することができるために、画素群からのいくつかの画素の関数がブロック閾値条件を満たすか否かを検出（３２、３３）し得る。
2010505320.tif 000002
【特許請求の範囲】
【請求項１】
画素を備える画像の少なくとも一部のコンテンツを検出する方法であって、各画素は少なくとも１つの色値によって規定され、
画素について、前記画素の推定強度を算出する第１の工程であって、前記推定強度が前記少なくとも１つの色値の関数である工程と、
前記画素について、この画素の実際の強度を算出する第２の工程であって、前記実際の強度が、前記少なくとも１つの色値の別の関数である工程と、
前記推定強度及び前記実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する第３の工程と、
強度条件検出結果に応じて、画素コンテンツ検出信号を生成する第４の工程とを含む方法。
【請求項２】
請求項１記載の方法であって、
前記第１の工程は、算出された推定強度に応じて、算出された推定強度信号を生成するサブ工程を含み、
前記第２の工程は、算出された実際の強度に応じて、算出された実際の強度信号を生成するサブ工程を含み、
前記第３の工程は、強度条件検出結果に応じて、強度条件信号を生成するサブ工程を含む方法。
【請求項３】
請求項１記載の方法であって、
前記画素について、前記少なくとも１つの色値は、少なくとも１つの閾値によって規定される少なくとも１つの色条件を満たすか否かを検出する第５の工程を更に含み、前記第１の工程及び前記第２の工程は、前記画素が少なくとも１つの色条件を満たした場合に行われる方法。
【請求項４】
請求項３記載の方法であって、前記少なくとも１つの色値は少なくとも２つの値を備え、前記推定強度は前記少なくとも２つの値のうちの少なくとも一方の関数であり、前記実際の強度は前記少なくとも２つの値の関数であり、
確認する画素コンテンツ検出信号が生成されている画素について、前記少なくとも２つの値のうちの少なくとも一方が、少なくとも１つの更なる閾値で規定される少なくとも１つの更なる色条件を満たすか否かを検出する第６の工程と、
更なる色条件検出結果に応じて、更なる画素コンテンツ検出信号を生成する第７の工程とを更に含む方法。
【請求項５】
請求項４記載の方法であって、
画素群について、確認する画素コンテンツ検出信号が生成されている、前記画素群からのいくつかの画素の関数がブロック閾値条件を満たすか否かを検出する第８の工程であって、前記ブロック閾値条件が少なくとも１つのブロック閾値で規定される工程と、
前記画素群について、確認する更なる画素コンテンツ検出信号が生成されている、前記画素群からのいくつかの画素の関数が更なるブロック閾値条件を満たすか否かを検出する第９の工程であって、前記更なるブロック閾値条件が少なくとも１つの更なるブロック閾値で規定される工程と、
ブロック閾値条件検出結果及び更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成する第１０の工程とを更に含む方法。
【請求項６】
請求項１記載の方法の工程を行うコンピュータ・プログラム。
【請求項７】
請求項６記載のコンピュータ・プログラムを記憶し、含む媒体。
【請求項８】
請求項１記載の方法の工程を行うプロセッサであって、
前記第１の工程を行う第１の算出手段と、
前記第２の工程を行う第２の算出手段と、
前記第３の工程を行う検出手段と、
前記第４の工程を行う生成手段とを備えるプロセッサ。
【請求項９】
画素を備える画像の少なくとも一部のコンテンツを検出する装置であって、各画素は少なくとも１つの色値によって規定され、
画素について、前記画素の推定強度を算出する第１の算出器であって、前記推定強度が前記少なくとも１つの色値の関数である第１の算出器と、
前記画素について、この画素の実際の強度を算出する第２の算出器であって、前記実際の強度が、前記少なくとも１つの色値の別の関数である第２の算出器と、
前記推定強度及び前記実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する検出器と、
強度条件検出結果に応じて、画素コンテンツ検出信号を生成する生成器とを含む装置。
【請求項１０】
請求項９記載の装置を備え、画像の画素の色値を記憶するためのメモリを更に備えるシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素を含む画像の少なくとも一部のコンテンツを検出する方法に関し、コンピュータ・プログラムに関し、媒体に関し、プロセッサに関し、装置に関し、システムに関する。
【０００２】
前述の装置の例及び前述のシステムの例には、消費者向製品（ビデオ・プレイヤ、ビデオ・レコーダ、パソコン、携帯電話機や他のハンドヘルド装置など）、及び非消費者向製品がある。前述のコンテンツの例には、特定のタイプのコンテンツ及び所望のタイプのコンテンツがある。
【背景技術】
【０００３】
欧州特許第１３１８４７５号には、強調を画像に選択的に施す方法及びシステムが開示されており、その図１０及びその段落番号００２５には、澄んだ青空や、芝草などの対象を検出する方法が開示されている。それに対して、適切に訓練されたマルチレイヤ・ニュートラル・ネットワークによる色特徴及びテクスチャ特徴に基づいて、色及びテクスチャの画素分類工程において対象信頼値が各画素に割り当てられる。
【発明の概要】
【発明が解決しようとする課題】
【０００４】
前述の方法及び前述のシステムは、適切に訓練されたマルチレイヤ・ニュートラル・ネットワークを必要とし、したがって、比較的複雑である。
【課題を解決するための手段】
【０００５】
本発明の目的はとりわけ、比較的単純な方法を提供することである。
【０００６】
本発明の更なる目的はとりわけ、比較的単純なコンピュータ・プログラムと、比較的単純な媒体と、比較的単純なプロセッサと、比較的単純な装置と、比較的単純なシステムとを提供することである。
【０００７】
少なくとも１つの色値で各画素が規定される画素を含む画像の少なくとも一部のコンテンツを検出する方法は、
画素の推定強度を画素について算出する第１の工程であって、推定強度が少なくとも一色値の関数である工程と、
上記画素について、この画素の実際の強度を算出する第２の工程であって、実際の強度が、少なくとも一色値の別の関数である工程と、
推定強度及び実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する第３の工程と、
強度条件検出結果に応じて、画素コンテンツ検出信号を生成する第４の工程と
を含むことによって規定される。
【０００８】
少なくとも一色値は、例えば、２４ビットを含む（８ビットは赤色値を示し、更なる８ビットは、青色値を示し、更に別の８ビットは緑色値を示す）。あるいは、少なくとも一色値は、例えば、赤色値、青色値及び緑色値の形式の別個の３つの値を含み、前述の値はそれぞれ、例えば、８ビットあるいは１６ビットあるいは２４ビットで規定される。他の値及び／又は更なる値、並びに他の数及び／又は更なる数のビットは排除されるものでない。
【０００９】
第１の工程は画素について、画素の推定強度を算出し、推定強度は色値の関数である。第２の工程は上記画素について、この画素の実際の強度を算出し、実際の強度は色値の別の関数である。第３の工程は、Ｉ）推定強度及びＩＩ）実際の強度の関数が強度条件を満たすか否かを検出する。それに対して、実際に、例えば、強度値間の差が最大差値と比較される。第４の工程は、強度条件検出結果に応じて、画素コンテンツ検出信号を生成する。この画素コンテンツ検出信号は、単純な、はい／いいえ信号、又は、例えば、充足度を更に示す高度な信号であり得る。
【００１０】
その結果、画像コンテンツ検出の単純な手法が生まれている。排他的ではないが特に、自然からの非人工コンテンツの場合、この手法がうまく機能することが明らかになっている。例えば、青色コンテンツ（曇り空や曇っていない空のような空など）はうまく検出される。上記方法は例えば、１つ又は複数の画素の深度を推定するための３Ｄ画像の空の検出、及び／あるいは屋外画像の検出、及び／あるいは画像の自動分類及び／あるいはコンテンツベースの分類に使用される。
【００１１】
方法の実施例は請求項２に記載する。排他的でないが好ましくは、算出された推定強度に応じて、算出された推定強度信号が生成され、かつ／又は、算出された実際の強度に応じて、算出された実際の強度信号が生成され、かつ／又は、強度条件検出結果に応じて、強度条件信号が生成される。
【００１２】
方法の実施例は請求項３に記載する。排他的でないが好ましくは、第５の工程を第１乃至第４の工程に加えて、効率を向上させ、場合によっては、成功率を増加させる。
【００１３】
方法は例えば、色条件を満たした画素についてのみ行われる。それに対して、実際には、例えば、赤色値、青色値、及び緑色値が、互いに、かつ／又は、赤色値、青色値、及び緑色値の関数と、かつ／又は所定値と比較される。次いで、予め選択された関心のある画素についてのみ、強度を算出すればよい。このようにして、方法は、向上された効率を有し、更に、成功率の改良を示し得る。
【００１４】
例えば、青色コンテンツを検出する場合、青色値は好ましくは、緑色値よりも大きく、赤色値は好ましくは、３つの値の和の１／３よりも小さい。
【００１５】
方法の実施例は請求項４に記載する。排他的でないが好ましくは、第６の工程及び第７の工程を第１乃至第５の工程に加えて成功率を向上させる。
【００１６】
少なくとも１つの色値は、少なくとも２つの値（例えば、赤色値、青色値、及び緑色値）を備える。推定強度は、例えば、前述の値のうちの１つの関数であり、実際の強度は、例えば、前述の値全ての関数である。方法の結果は、信頼できるか否かについての更なる色条件によって検査される。このようにして、方法は、向上された成功率を示す。更なる画素コンテンツ検出信号は、画素コンテンツ検出信号が信頼できること、又は信頼できないことを示す。前述の更なる画素コンテンツ検出信号は、単純なはい／いいえ信号、又は、例えば、信頼度を更に示す高度な信号であり得る。
【００１７】
例えば、青色コンテンツを検出する場合、推定強度は好ましくは、青色値の一次方程式又は二次方程式であり、実際の強度は例えば、赤色値の３０％（より厳密には２９．９％、より大雑把には２５乃至３５％）、緑色の５９％（より厳密には５８．７％、より大雑把に５４乃至６４％）、及び青色値の１１％（より厳密には１１．４％、より大雑把に５４乃至６４％）の和に等しい（他の厳密な割合及び／あるいは別の厳密な割合及び／あるいは更なる厳密な割合を排除せず、かつ、他の等式及び公式、並びに／あるいは、更なる等式及び公式を排除しない）。更なる色条件は例えば、青色値が、緑色値及び赤色値それぞれよりも大きいことを必要とする。
【００１８】
方法の実施例は請求項５に規定されている。排他的でないが好ましくは、第８、第９、及び第１０の工程を第１乃至第７の工程に追加して、１つ又はいくつかの画素についてのみならず、画素群についてコンテンツ検出を行う。
【００１９】
画素群は例えば、画像内のブロックを形成するか、又は、併せて画像を形成する全ての画素からの選択を形成する。前述の選択は、近傍画素及び非近傍画素を含み得る。例えば、画素群は、画像の行の組の２つおきの画素又は３つおきの画素を含み得、画像の列の組の２つおきの画素又は３つおきの画素を含み得る。
【００２０】
第８の工程は、画素群について、確認する画素コンテンツ検出信号が生成されている画素群からのいくつかの画素の関数がブロック閾値条件を満たしているか否かを検出する。このブロック閾値条件は、ブロック閾値によって規定される。それに対して、実際に、例えば、この数が集計され、処理され、次いで、ブロック閾値と比較されて、例えば、画素ブロック内の特定の画素の割合を求める。
【００２１】
例えば、青色コンテンツを検出する場合、確認する画素コンテンツ検出信号が生成されている画素が「空」画素と呼ばれ得る。画素群を有するブロック内の「空」画素の割合は、例えば５０％などの第１の割合よりも大きい必要があり得る。
【００２２】
第９の工程は、画素群について、確認する更なる画素コンテンツ検出信号を画素数が生成されている画素群からのいくつかの画素の関数が更なるブロック閾値条件を満たしているか否かを検出する。更なるブロック閾値条件は、更なるブロック閾値によって規定される。それに対して、実際には、例えば、この数が集計され、処理され、次いで、更なるブロック閾値と比較される。
【００２３】
例えば、青色コンテンツを検出する場合、確認する更なる画素コンテンツ検出信号が生成されている画素（更なる色条件を満たしている画素）が「空」画素と呼ばれ得る。画素群を有するブロック内の「青空」画素の割合は、例えば２５％などの第２の割合よりも大きい必要があり得る。
【００２４】
第１０の工程は、ブロック閾値条件検出結果及び更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成する。このブロック・コンテンツ検出信号は、単純なはい／いいえ信号、又は、例えば、更に充足度を示す高度な信号であり得る。
【００２５】
例えば、青色コンテンツを検出する場合、ブロック内の「空」画素の割合が、例えば５０％などの第１の割合よりも大きく、ブロック内の「青空」画素の割合が、例えば２５％などの第２の割合よりも大きい場合、ブロックは、空を有しているとみなし得る。その場合、画像は空を含んでいるとみなし得る。
【００２６】
当然、第８の工程、第９の工程、及び第１０の工程は、別々の群の画素を含む別々のブロックについて繰り返すことができる。例えば、青色コンテンツを検出する場合、画像の第１のブロックを検査する。第１のブロックが、第１乃至第４の工程によって規定され、場合によっては、第５の工程及び／あるいは第６の工程及び／あるいは第７の工程によって規定された青色コンテンツを含まない場合、第２の画像ブロックを検査する、等である。前述の別々のブロックは画像内のどこにあってもよいが、好ましくは、例えば、空の検出の場合、通常、空は、より高い場所を有し、空でないものはより低い場所を有することにより、別々のブロックは画像の上側にあることになる。
【００２７】
方法の工程を行うコンピュータ・プログラムは請求項６に記載する。コンピュータ・プログラムを記憶し、含む媒体は請求項７に記載する。方法の工程を行うプロセッサは請求項８に記載する。前述のプロセッサは例えば、第１並びに第２の算出手段、検出手段及び生成手段を有する。画素を含む画像の少なくとも一部のコンテンツを検出する装置は請求項９に記載する。前述の装置は例えば、第１並びに第２の計算器、検出器、及び生成器を備える。システムは、請求項９記載の装置を備え、画像の画素の色値を記憶するためのメモリを更に備える。あるいは、メモリは装置の一部を構成し得る。
【００２８】
コンピュータ・プログラム、媒体、プロセッサ、装置及びシステムの実施例は、方法の実施例に対応する。
【００２９】
洞察として、とりわけ、画素群の比較的単純なコンテンツ検出の場合、色度と強度との間の負の相関（青色度と強度との間の負の相関（−０．７）など）が存在し得ることを考慮に入れるということがある。基本的な考えはとりわけ、画素毎に、算出された推定強度及び算出された実際の強度の関数が少なくとも１つの強度条件を満たす必要があるということである。
【００３０】
とりわけ、画像の少なくとも一部のコンテンツ検出の比較的単純な方法を提供するという課題が解決される。とりわけ、更なる利点は、屋外画像検出、並びに画像の自動選択及びコンテンツベースの分類が、向上した成功率を示すということである。
【図面の簡単な説明】
【００３１】
【図１】方法を示すフローチャートである。
【図２】プロセッサを備えるシステムを示すブロック図である。
【図３】装置を備えるシステムを示す図である。
【発明を実施するための形態】
【００３２】
本発明の前述及び他の局面は、後述する実施例から明らかであり、そうした実施例を参照しながら明らかになる。
【実施例】
【００３３】
図１では、以下のブロックは以下の意味を有する。
【００３４】
ブロック１１：開始。画像情報を画素毎色値に変換し、かつ／又は画素毎色値の形式で画像情報を取得する。色値は赤色値、青色値及び緑色値を含む。
【００３５】
ブロック１２：画像をブロックに分割する。各ブロックが画素群を備える。
【００３６】
ブロック１３：画素全てが検査され、かつ／又は読み出されたか？  はいの場合、ブロック３１に進み、いいえの場合、ブロック１４に進む。
【００３７】
ブロック１４：ブロック１１から既に入手可能でない場合、画素の赤色値、青色値及び緑色値を含む色値を得る。
【００３８】
ブロック１５：１つ又は複数の閾値で規定された１つ又は複数の色条件を色値が充足するかを検出する。はいの場合、ブロック１６に進み、いいえの場合、ブロック１３に進む。
【００３９】
ブロック１６：画素の推定強度を算出する。推定強度は色値の関数である。
【００４０】
ブロック１７：この画素の実際の強度を算出する。この実際の強度は色値の別の関数である。
【００４１】
ブロック１８：推定強度及び実際の強度の関数が１つ又は複数の強度条件を満たすか否かを検出する。はいの場合、ブロック１９に進む。いいえの場合、ブロック１３に進む。
【００４２】
ブロック１９：確認する強度条件検出結果に応じて、画素コンテンツ検出信号を生成する。
【００４３】
ブロック２０：色値は少なくとも２つの値を含み、推定強度は少なくとも２つの値のうちの少なくとも一方の関数であり、実際の強度は、少なくとも２つの値の関数である。少なくとも２つの値のうちの少なくとも１つが、１つ又は複数の更なる閾値で規定される１つ又は複数の更なる色条件を満たすか否かを検出する。はいの場合、ブロック２１に進む。いいえの場合、ブロック１３に進む。
【００４４】
ブロック２１：確認する更なる色条件検出結果に応じて、更なる画素コンテンツ検出信号を生成する。
【００４５】
ブロック３１：まだ選択されていない画素群を含むブロックを選択する。
【００４６】
ブロック３２：確認する画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数が閾値条件を満たすか否かを検出する。ブロック閾値条件は１つ又は複数のブロック閾値で規定される。はいの場合、ブロック３３である。いいえの場合、ブロック３５に進む。
【００４７】
ブロック３３：確認する更なる画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数が更なる閾値条件を満たすか否かを検出する。更なるブロック閾値条件は１つ又は複数の更なるブロック閾値で規定される。はいの場合、ブロック３４に進む。いいえの場合、ブロック３５に進む。
【００４８】
ブロック３４：確認するブロック閾値条件検出結果、及び確認する更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成する。
【００４９】
ブロック３５：非確認のブロック閾値条件検出結果、及び／又は非確認の更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ非検出信号を生成するか、又はブロック・コンテンツ非検出信号を生成しない。
【００５０】
ブロック３６：全ブロックが検査されているか？はいの場合、ブロック３７に進む。いいえの場合、ブロック３１に進む。
【００５１】
ブロック３７：終了
ブロック１１では、画像の画像情報が、画素毎色値に変換され、かつ／又は、画素毎色値の形式の画像情報が取得される。色値は、それぞれがビット数で規定される赤色値、青色値及び緑色値を含み得る（他のオプション及び／又は更なるオプションを排除しない）。８ビットで規定される値の場合、値は０乃至２５５のサイズを有し得る。
【００５２】
ブロック１２で、画像をブロックに分割する工程が行われ、画像がブロック（例えば、１５行及び１５列のブロック）に分割される。画像は例えば、１０２４×７６８画素の分解能を有し得る。より大きな分解能を下方スケーリングすることができる。あるいは、画像は、画像の一部のみを包含する、より小さな数のブロックに分割することができる。これは全て、他のオプション及び／又は更なるオプションを排除することなく行われる。
【００５３】
ブロック１５では、少なくとも１つの閾値で規定される少なくとも１つの色条件を少なくとも１つの色値が満たすかを画素について検出する工程が行われる。例えば、曇り空や曇っていない空のような空などの青色コンテンツを検出するために、以下の色条件及び閾値を使用することができる（（青色値＞緑色値）  ＡＮＤ  （赤色値＜０．３３＊（（赤色値＋青色値＋緑色値）の和））。他の色条件及び閾値は排除されない。
【００５４】
ブロック１６で、画素の推定強度を画素について算出する工程（推定強度が少なくとも１つの色値の別の関数である）が行われる。例えば、曇り空や曇っていない空のような空などの青色コンテンツを検出するために、推定強度は好ましくは、青色値の一次方程式又は二次方程式（例えば、ｘ＊（青色値）＋ｙ、又はｘ＊（青色値）２＋ｙ＊（青色値）＋ｚ等）である。後者の場合、他の数を排除することなく、ｘ＝０．１、ｙ＝１６．７、ｚ＝６４１．１である。
【００５５】
ブロック１７で、画素について、その画素の実際の強度を算出する工程（実際の強度は、少なくとも１つの色値の関数である）が行われる。例えば、曇り空や曇っていない空のような空などの青色コンテンツを検出するために、実際の強度は例えば、赤色値の３０％（より厳密には２９．９％、より大雑把には２５乃至３５％）、緑色値の５９％（より厳密には５８．７％、より大雑把には５４乃至６４％）、及び青色値の１１％（より厳密には１１．４％、より大雑把には６乃至１６％）の和に等しい（他の厳密な割合及び／あるいは別の厳密な割合及び／あるいは更なる厳密な割合を排除せず、かつ、他の等式及び公式、並びに／あるいは、更なる等式及び公式を排除しない）。
【００５６】
ブロック１８では、推定強度及び実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する工程が行われる。これは例えば、強度間の差を最大差分値と比較することにより、又は、上記差の二乗、又は強度の二乗の差を、更なる差分値と比較することによって行われる。
【００５７】
ブロック２０で、確認する画素コンテンツ検出信号が生成されている画素について、少なくとも２つの値のうちの少なくとも一方が、少なくとも１つの更なる閾値で規定される少なくとも１つの更なる色条件を満たすか否かを検出する工程が行われる。更なる色条件は例えば、青色値が、緑色値及び赤色値それぞれよりも大きいことを必要とする。
【００５８】
ブロック３２では、画素群について、確認する画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数がブロック閾値条件を満たしているか否かを検出する工程が行われる。ブロック閾値条件は、少なくとも１つのブロック閾値によって規定される。これは例えば、この数を集計し、処理し、これをブロック閾値と比較することによって行われる。例えば、青色コンテンツを検出する場合、確認する画素コンテンツ検出信号が生成されている画素は「空」画素と呼ばれ得る。
【００５９】
ブロック３３では、画素群について、確認する更なる画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数が更なるブロック閾値条件を満たすか否かを検出する工程が行われる。更なるブロック閾値条件は少なくとも１つの更なるブロック閾値で規定される。これは例えば、この数を集計し、処理し、次いで、これを更なるブロック閾値と比較することによって行われる。例えば、青色コンテンツを検出する場合、確認する更なる画素コンテンツ検出信号が生成されている画素は「青空」画素と呼ばれ得る。
【００６０】
例えば、青色コンテンツを検出する場合、ブロック内の「空」画素の割合が、例えば５０％などの割合よりも大きく、ブロック内の「青空」画素の割合が、例えば２５％などの第２の割合よりも大きい場合、ブロックは、空を有しているとみなし得る。その場合、画像は空を含んでいるとみなし得る。
【００６１】
よって、まず、決定が、画素色特性（色条件及び／又は強度条件）に基づいて行われる。第２に、ブロック・レベル決定及び大局決定を行い得る（ブロック閾値条件）。
【００６２】
図２では、プロセッサ４０及びメモリ７０を備えるシステム６０のブロック図を示す。前述のシステムは例えば、プロセッサ・メモリ・システムである。プロセッサ４０は、第１の工程１６を行う第１の算出手段４１−１と、第２の工程１７を行う第２の算出手段４１−２と、第３の工程１８を行う第１の検出手段４２−１と、第４の工程１９を行う第１の生成手段４３−１と、第５の工程１５を行う第２の検出手段４２−２と、第６の工程２０を行う第３の検出手段４２−３と、第７の工程２１を行う第２の生成手段４３−２と、第８の工程３２を行う第４の検出手段４２−４と、第９の工程３３を行う第５の検出手段４２−５と、第１０の工程３４を行う第３の検出手段４３−３とを備える。
【００６３】
それに対して、制御手段４００は、手段４１乃至４３を制御し、メモリ７０を制御する。手段４１乃至４３及び４００は例えば、図示するようにメモリ７０に個々に結合されるか、又は図示しない、制御手段４００に制御される結合手段を介してメモリ７０に併せて結合される。いくつかの算出手段は単一の算出手段に一体化することができ、いくつかの検出手段は単一の検出手段に一体化することができ、いくつかの生成手段は単一の生成手段に一体化することができる。算出手段は例えば、算出器によって実現される。検出手段は例えば、比較器により、又は算出器によって実現される。生成手段は例えば、インタフェース又は信号プロバイダを介して実現されるか、又は他の手段の出力の一部を形成する。
【００６４】
工程に、図２において、手段４１乃至４３とメモリ７０との間の結合の上にある括弧の間に番号を付して、通常、工程を行う場合、全て、制御手段４００による制御下で、メモリ７０に照会し、かつ／あるいはメモリ７０から情報をロードし、かつ／あるいはこの情報を処理し、かつ／あるいは新たな情報をメモリ７０等に書き込む旨を示す。
【００６５】
図３では、装置５０及びメモリ７０を備えるシステム６０のブロック図を示す。装置５０は、第１の工程１６を行う第１の算出器５１−１と、第２の工程１７を行う第２の算出器５１−２と、第３の工程１８を行う第１の検出器５２−１と、第４の工程１９を行う第１の生成器５３−１と、第５の工程１５を行う第２の検出器５２−２と、第６の工程２０を行う第３の検出器５２−３と、第７の工程２１を行う第２の生成器５３−２と、第８の工程３２を行う第４の検出器５２−４と、第９の工程３３を行う第５の検出器５２−５と、第１０の工程３４を行う第３の検出器５３−３とを備える。
【００６６】
それに対し、コントローラ５００は装置５１乃至５３を制御し、メモリ７０を制御する。装置５１乃至５３は、図示したようなメモリ７０に更に結合されたコントローラ５００に個々に結合されるか、又は、コントローラ５００によって示され、制御されない別個のカプラを、装置５１乃至５３、コントローラ５００及びメモリを結合するために使用することができる。いくつかの算出器は単一の算出器に一体化することができ、いくつかの検出器は単一の検出器に一体化することができ、いくつかの生成器は単一の生成器に一体化することができる。検出器は例えば、比較器により、又は算出器によって実現される。生成器は例えば、インタフェース又は信号プロバイダを介して実現されるか、又は他の手段の出力の一部を形成する。
【００６７】
通常、工程を行うために、装置５１乃至５３は、全て、コントローラ５００による制御下で、メモリ７０に照会し、かつ／あるいは、メモリ７０から情報をロードし、かつ／あるいは、この情報を処理し、かつ／あるいは、新たな情報をメモリ７０等に書き込む。
【００６８】
要約すれば、画像コンテンツを検出する方法は、画素について、画素の推定強度を算出し（１６）、画素について、この画素の実際の強度を算出し（１７）、推定強度及び実際の強度の関数が強度条件を満たすか否かを検出し（１８）、強度条件検出結果に応じて、画素コンテンツ検出信号を生成する（１９）。前述の強度は、画素の色値の関数である。前述の方法は、青色コンテンツ（曇り空や曇っていない空のような空）の場合、うまく機能し、画像の自動選択、及びコンテンツベースの分類に使用される。効率及び／又は成功率を向上させるために、方法は、色値が色条件を満たすか否かを更に検出（１５）することができる。更に、方法は、ブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成することができるために、画素群からのいくつかの画素の関数がブロック閾値条件を満たすか否かを検出（３２、３３）し得る。
【００６９】
本発明は、図面及び上記明細書に詳細に例証し、説明しているが、前述の例証及び説明は、例証的又は例示的であり、制限的でないと解される。本発明は、開示された実施例に限定されない。開示された実施例に対する他の変形は、本願発明を実施する当業者により、図面、明細書及び特許請求の範囲の検討によって理解し、行うことが可能である。特許請求の範囲では、「ｃｏｍｐｒｉｓｉｎｇ」の語は他の構成要素又は工程を排除するものでなく、不定冠詞「ａ」又は「ａｎ」は、複数形を排除するものでない。単一のプロセッサ又は他の装置は、特許請求の範囲記載のいくつかの装置の機能を満たすことができる。単に特定の方策が互いに別々の従属請求項に記載されていることは、前述の方策の組み合わせを利用することが可能でないことを示すものでない。コンピュータ・プログラムは、他のハードウェアとともに、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶させる／配布することができるが、他の形式で（例えば、インターネットや、他の有線電気通信システム又は無線電気通信システム経由で）配布することもできる。特許請求の範囲における参照符号は何れも、その範囲を限定するものと解されないものとする。
【図１】
2010505320.tif 000003
【図２】
2010505320.tif 000004
【図３】
2010505320.tif 000005
【手続補正書】
【提出日】平成21年3月31日(2009.3.31)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画素を含む画像の少なくとも一部のコンテンツを検出する方法に関し、コンピュータ・プログラムに関し、媒体に関し、プロセッサに関し、装置に関し、システムに関する。
【０００２】
前述の装置の例及び前述のシステムの例には、消費者向製品（ビデオ・プレイヤ、ビデオ・レコーダ、パソコン、携帯電話機や他のハンドヘルド装置など）、及び非消費者向製品がある。前述のコンテンツの例には、特定のタイプのコンテンツ及び所望のタイプのコンテンツがある。
【背景技術】
【０００３】
欧州特許第１３１８４７５号には、強調を画像に選択的に施す方法及びシステムが開示されており、その図１０及びその段落番号００２５には、澄んだ青空や、芝草などの対象を検出する方法が開示されている。それに対して、適切に訓練されたマルチレイヤ・ニュートラル・ネットワークによる色特徴及びテクスチャ特徴に基づいて、色及びテクスチャの画素分類工程において対象信頼値が各画素に割り当てられる。
【０００４】
米国特許出願公開第２００５／０１４７２９８号には、ディジタル色画像における空の検出が開示されている。方法は、当初の空領域を表すディジタル色画像から画素を同定する工程と、同定された空の画素に基づいてモデルを策定する工程であって、前述のモデルが、画素の位置という入力及び色という出力を有する数学的関数である工程と、上記モデルを使用してディジタル色画像を処理して当初の空の領域に含まれていない更なる画素を空として分類する工程とを含む。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
前述の方法及び前述のシステムは、適切に訓練されたマルチレイヤ・ニュートラル・ネットワークを必要とし、したがって、比較的複雑である。
【課題を解決するための手段】
【０００６】
本発明の目的はとりわけ、効率を向上させた比較的単純な方法を提供することである。
【０００７】
本発明の更なる目的はとりわけ、比較的単純なコンピュータ・プログラムと、比較的単純な媒体と、比較的単純なプロセッサと、比較的単純な装置と、比較的単純なシステムとを提供することである。
【０００８】
少なくとも１つの色値で各画素が規定される画素を含む画像の少なくとも一部のコンテンツを検出する方法は、
画素の推定強度を画素について算出する第１の工程であって、推定強度が少なくとも一色値の関数である工程と、
上記画素について、この画素の実際の強度を算出する第２の工程であって、実際の強度が、少なくとも一色値の別の関数である工程と、
推定強度及び実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する第３の工程と、
強度条件検出結果に応じて、画素コンテンツ検出信号を生成する第４の工程と、
画素について、少なくとも１つの閾値で規定される少なくとも１つの色条件を少なくとも１つの色値が満たすか否かを検出する第５の工程であって、第１の工程及び第２の工程は、関心のある画素についてのみ、強度を算出すればよいように、画素が少なくとも１つの色条件を満たしている場合に行われる工程とを含むことによって規定される。
【０００９】
少なくとも一色値は、例えば、２４ビットを含む（８ビットは赤色値を示し、更なる８ビットは、青色値を示し、更に別の８ビットは緑色値を示す）。あるいは、少なくとも一色値は、例えば、赤色値、青色値及び緑色値の形式の別個の３つの値を含み、前述の値はそれぞれ、例えば、８ビットあるいは１６ビットあるいは２４ビットで規定される。他の値及び／又は更なる値、並びに他の数及び／又は更なる数のビットは排除されるものでない。
【００１０】
第１の工程は画素について、画素の推定強度を算出し、推定強度は色値の関数である。第２の工程は上記画素について、この画素の実際の強度を算出し、実際の強度は色値の別の関数である。第３の工程は、Ｉ）推定強度及びＩＩ）実際の強度の関数が強度条件を満たすか否かを検出する。それに対して、実際に、例えば、強度値間の差が最大差値と比較される。第４の工程は、強度条件検出結果に応じて、画素コンテンツ検出信号を生成する。この画素コンテンツ検出信号は、単純な、はい／いいえ信号、又は、例えば、充足度を更に示す高度な信号であり得る。
【００１１】
その結果、画像コンテンツ検出の単純な手法が生まれている。排他的ではないが特に、自然からの非人工コンテンツの場合、この手法がうまく機能することが明らかになっている。例えば、青色コンテンツ（曇り空や曇っていない空のような空など）はうまく検出される。上記方法は例えば、１つ又は複数の画素の深度を推定するための３Ｄ画像の空の検出、及び／あるいは屋外画像の検出、及び／あるいは画像の自動分類及び／あるいはコンテンツベースの分類に使用される。
【００１２】
第５の工程を第１乃至第４の工程に追加して効率を向上させ、場合によっては、成功率を向上させる。方法は次いで、色条件を満たした画素についてのみ、行われる。それに対して、実際には、例えば、赤色値、青色値及び緑色値が互いに、かつ／又は、赤色値、青色値及び緑色値の関数と、かつ／又は所定の値と比較される。次いで、予め選択された、関心のある画素についてのみ、強度を算出すればよい。このようにして、方法は、改良された効率を有し、向上した成功率を示し得る。例えば、青色コンテンツを検出する場合、青色値は好ましくは、緑色値よりも大きく、赤色値は好ましくは、３つの値の和の1/3よりも小さい。
【００１３】
方法の実施例は請求項２に記載する。排他的でないが好ましくは、算出された推定強度に応じて、算出された推定強度信号が生成され、かつ／又は、算出された実際の強度に応じて、算出された実際の強度信号が生成され、かつ／又は、強度条件検出結果に応じて、強度条件信号が生成される。
【００１４】
方法の実施例は請求項３に記載する。排他的でないが好ましくは、第６の工程及び第７の工程を第１乃至第５の工程に加えて成功率を向上させる。
【００１５】
少なくとも１つの色値は、少なくとも２つの値（例えば、赤色値、青色値、及び緑色値）を備える。推定強度は、例えば、前述の値のうちの１つの関数であり、実際の強度は、例えば、前述の値全ての関数である。方法の結果は、信頼できるか否かについての更なる色条件によって検査される。このようにして、方法は、向上された成功率を示す。更なる画素コンテンツ検出信号は、画素コンテンツ検出信号が信頼できること、又は信頼できないことを示す。前述の更なる画素コンテンツ検出信号は、単純なはい／いいえ信号、又は、例えば、信頼度を更に示す高度な信号であり得る。
【００１６】
例えば、青色コンテンツを検出する場合、推定強度は好ましくは、青色値の一次方程式又は二次方程式であり、実際の強度は例えば、赤色値の３０％（より厳密には２９．９％、より大雑把には２５乃至３５％）、緑色の５９％（より厳密には５８．７％、より大雑把に５４乃至６４％）、及び青色値の１１％（より厳密には１１．４％、より大雑把に５４乃至６４％）の和に等しい（他の厳密な割合及び／あるいは別の厳密な割合及び／あるいは更なる厳密な割合を排除せず、かつ、他の等式及び公式、並びに／あるいは、更なる等式及び公式を排除しない）。更なる色条件は例えば、青色値が、緑色値及び赤色値それぞれよりも大きいことを必要とする。
【００１７】
方法の実施例は請求項４に規定されている。排他的でないが好ましくは、第８、第９、及び第１０の工程を第１乃至第７の工程に追加して、１つ又はいくつかの画素についてのみならず、画素群についてコンテンツ検出を行う。方法の別の実施例を請求項５で規定する。
【００１８】
画素群は例えば、画像内のブロックを形成するか、又は、併せて画像を形成する全ての画素からの選択を形成する。前述の選択は、近傍画素及び非近傍画素を含み得る。例えば、画素群は、画像の行の組の２つおきの画素又は３つおきの画素を含み得、画像の列の組の２つおきの画素又は３つおきの画素を含み得る。
【００１９】
第８の工程は、画素群について、確認する画素コンテンツ検出信号が生成されている画素群からのいくつかの画素の関数がブロック閾値条件を満たしているか否かを検出する。このブロック閾値条件は、ブロック閾値によって規定される。それに対して、実際に、例えば、この数が集計され、処理され、次いで、ブロック閾値と比較されて、例えば、画素ブロック内の特定の画素の割合を求める。
【００２０】
例えば、青色コンテンツを検出する場合、確認する画素コンテンツ検出信号が生成されている画素が「空」画素と呼ばれ得る。画素群を有するブロック内の「空」画素の割合は、例えば５０％などの第１の割合よりも大きい必要があり得る。
【００２１】
第９の工程は、画素群について、確認する更なる画素コンテンツ検出信号を画素数が生成されている画素群からのいくつかの画素の関数が更なるブロック閾値条件を満たしているか否かを検出する。更なるブロック閾値条件は、更なるブロック閾値によって規定される。それに対して、実際には、例えば、この数が集計され、処理され、次いで、更なるブロック閾値と比較される。
【００２２】
例えば、青色コンテンツを検出する場合、確認する更なる画素コンテンツ検出信号が生成されている画素（更なる色条件を満たしている画素）が「空」画素と呼ばれ得る。画素群を有するブロック内の「青空」画素の割合は、例えば２５％などの第２の割合よりも大きい必要があり得る。
【００２３】
第１０の工程は、ブロック閾値条件検出結果及び更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成する。このブロック・コンテンツ検出信号は、単純なはい／いいえ信号、又は、例えば、更に充足度を示す高度な信号であり得る。
【００２４】
例えば、青色コンテンツを検出する場合、ブロック内の「空」画素の割合が、例えば５０％などの第１の割合よりも大きく、ブロック内の「青空」画素の割合が、例えば２５％などの第２の割合よりも大きい場合、ブロックは、空を有しているとみなし得る。その場合、画像は空を含んでいるとみなし得る。
【００２５】
当然、第８の工程、第９の工程、及び第１０の工程は、別々の群の画素を含む別々のブロックについて繰り返すことができる。例えば、青色コンテンツを検出する場合、画像の第１のブロックを検査する。第１のブロックが、第１乃至第４の工程によって規定され、場合によっては、第５の工程及び／あるいは第６の工程及び／あるいは第７の工程によって規定された青色コンテンツを含まない場合、第２の画像ブロックを検査する、等である。前述の別々のブロックは画像内のどこにあってもよいが、好ましくは、例えば、空の検出の場合、通常、空は、より高い場所を有し、空でないものはより低い場所を有することにより、別々のブロックは画像の上側にあることになる。
【００２６】
方法の工程を行うコンピュータ・プログラムは請求項６に記載する。コンピュータ・プログラムを記憶し、含む媒体は請求項７に記載する。方法の工程を行うプロセッサは請求項８に記載する。前述のプロセッサは例えば、第１並びに第２の算出手段、検出手段及び生成手段を有する。画素を含む画像の少なくとも一部のコンテンツを検出する装置は請求項９に記載する。前述の装置は例えば、第１並びに第２の計算器、第１並びに第２の検出器、及び生成器を備える。システムは、請求項９記載の装置を備え、画像の画素の色値を記憶するためのメモリを更に備える。あるいは、メモリは装置の一部を構成し得る。
【００２７】
コンピュータ・プログラム、媒体、プロセッサ、装置及びシステムの実施例は、方法の実施例に対応する。
【００２８】
洞察として、とりわけ、画素群の比較的単純なコンテンツ検出の場合、色度と強度との間の負の相関（青色度と強度との間の負の相関（−０．７）など）が存在し得ることを考慮に入れるということがある。基本的な考えはとりわけ、画素毎に、算出された推定強度及び算出された実際の強度の関数が少なくとも１つの強度条件を満たす必要があるということである。
【００２９】
とりわけ、画像の少なくとも一部のコンテンツ検出の比較的単純な方法を提供するという課題が解決される。とりわけ、更なる利点は、屋外画像検出、並びに画像の自動選択及びコンテンツベースの分類が、向上した成功率を示すということである。
【図面の簡単な説明】
【００３０】
【図１】方法を示すフローチャートである。
【図２】プロセッサを備えるシステムを示すブロック図である。
【図３】装置を備えるシステムを示す図である。
【発明を実施するための形態】
【００３１】
本発明の前述及び他の局面は、後述する実施例から明らかであり、そうした実施例を参照しながら明らかになる。
【実施例】
【００３２】
図１では、以下のブロックは以下の意味を有する。
【００３３】
ブロック１１：開始。画像情報を画素毎色値に変換し、かつ／又は画素毎色値の形式で画像情報を取得する。色値は赤色値、青色値及び緑色値を含む。
【００３４】
ブロック１２：画像をブロックに分割する。各ブロックが画素群を備える。
【００３５】
ブロック１３：画素全てが検査され、かつ／又は読み出されたか？  はいの場合、ブロック３１に進み、いいえの場合、ブロック１４に進む。
【００３６】
ブロック１４：ブロック１１から既に入手可能でない場合、画素の赤色値、青色値及び緑色値を含む色値を得る。
【００３７】
ブロック１５：１つ又は複数の閾値で規定された１つ又は複数の色条件を色値が充足するかを検出する。はいの場合、ブロック１６に進み、いいえの場合、ブロック１３に進む。
【００３８】
ブロック１６：画素の推定強度を算出する。推定強度は色値の関数である。
【００３９】
ブロック１７：この画素の実際の強度を算出する。この実際の強度は色値の別の関数である。
【００４０】
ブロック１８：推定強度及び実際の強度の関数が１つ又は複数の強度条件を満たすか否かを検出する。はいの場合、ブロック１９に進む。いいえの場合、ブロック１３に進む。
【００４１】
ブロック１９：確認する強度条件検出結果に応じて、画素コンテンツ検出信号を生成する。
【００４２】
ブロック２０：色値は少なくとも２つの値を含み、推定強度は少なくとも２つの値のうちの少なくとも一方の関数であり、実際の強度は、少なくとも２つの値の関数である。少なくとも２つの値のうちの少なくとも１つが、１つ又は複数の更なる閾値で規定される１つ又は複数の更なる色条件を満たすか否かを検出する。はいの場合、ブロック２１に進む。いいえの場合、ブロック１３に進む。
【００４３】
ブロック２１：確認する更なる色条件検出結果に応じて、更なる画素コンテンツ検出信号を生成する。
【００４４】
ブロック３１：まだ選択されていない画素群を含むブロックを選択する。
【００４５】
ブロック３２：確認する画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数が閾値条件を満たすか否かを検出する。ブロック閾値条件は１つ又は複数のブロック閾値で規定される。はいの場合、ブロック３３である。いいえの場合、ブロック３５に進む。
【００４６】
ブロック３３：確認する更なる画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数が更なる閾値条件を満たすか否かを検出する。更なるブロック閾値条件は１つ又は複数の更なるブロック閾値で規定される。はいの場合、ブロック３４に進む。いいえの場合、ブロック３５に進む。
【００４７】
ブロック３４：確認するブロック閾値条件検出結果、及び確認する更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成する。
【００４８】
ブロック３５：非確認のブロック閾値条件検出結果、及び／又は非確認の更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ非検出信号を生成するか、又はブロック・コンテンツ非検出信号を生成しない。
【００４９】
ブロック３６：全ブロックが検査されているか？はいの場合、ブロック３７に進む。いいえの場合、ブロック３１に進む。
【００５０】
ブロック３７：終了
ブロック１１では、画像の画像情報が、画素毎色値に変換され、かつ／又は、画素毎色値の形式の画像情報が取得される。色値は、それぞれがビット数で規定される赤色値、青色値及び緑色値を含み得る（他のオプション及び／又は更なるオプションを排除しない）。８ビットで規定される値の場合、値は０乃至２５５のサイズを有し得る。
【００５１】
ブロック１２で、画像をブロックに分割する工程が行われ、画像がブロック（例えば、１５行及び１５列のブロック）に分割される。画像は例えば、１０２４×７６８画素の分解能を有し得る。より大きな分解能を下方スケーリングすることができる。あるいは、画像は、画像の一部のみを包含する、より小さな数のブロックに分割することができる。これは全て、他のオプション及び／又は更なるオプションを排除することなく行われる。
【００５２】
ブロック１５では、少なくとも１つの閾値で規定される少なくとも１つの色条件を少なくとも１つの色値が満たすかを画素について検出する工程が行われる。例えば、曇り空や曇っていない空のような空などの青色コンテンツを検出するために、以下の色条件及び閾値を使用することができる（（青色値＞緑色値）  ＡＮＤ  （赤色値＜０．３３＊（（赤色値＋青色値＋緑色値）の和））。他の色条件及び閾値は排除されない。
【００５３】
ブロック１６で、画素の推定強度を画素について算出する工程（推定強度が少なくとも１つの色値の別の関数である）が行われる。例えば、曇り空や曇っていない空のような空などの青色コンテンツを検出するために、推定強度は好ましくは、青色値の一次方程式又は二次方程式（例えば、ｘ＊（青色値）＋ｙ、又はｘ＊（青色値）２＋ｙ＊（青色値）＋ｚ等）である。後者の場合、他の数を排除することなく、ｘ＝０．１、ｙ＝１６．７、ｚ＝６４１．１である。
【００５４】
ブロック１７で、画素について、その画素の実際の強度を算出する工程（実際の強度は、少なくとも１つの色値の関数である）が行われる。例えば、曇り空や曇っていない空のような空などの青色コンテンツを検出するために、実際の強度は例えば、赤色値の３０％（より厳密には２９．９％、より大雑把には２５乃至３５％）、緑色値の５９％（より厳密には５８．７％、より大雑把には５４乃至６４％）、及び青色値の１１％（より厳密には１１．４％、より大雑把には６乃至１６％）の和に等しい（他の厳密な割合及び／あるいは別の厳密な割合及び／あるいは更なる厳密な割合を排除せず、かつ、他の等式及び公式、並びに／あるいは、更なる等式及び公式を排除しない）。
【００５５】
ブロック１８では、推定強度及び実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する工程が行われる。これは例えば、強度間の差を最大差分値と比較することにより、又は、上記差の二乗、又は強度の二乗の差を、更なる差分値と比較することによって行われる。
【００５６】
ブロック２０で、確認する画素コンテンツ検出信号が生成されている画素について、少なくとも２つの値のうちの少なくとも一方が、少なくとも１つの更なる閾値で規定される少なくとも１つの更なる色条件を満たすか否かを検出する工程が行われる。更なる色条件は例えば、青色値が、緑色値及び赤色値それぞれよりも大きいことを必要とする。
【００５７】
ブロック３２では、画素群について、確認する画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数がブロック閾値条件を満たしているか否かを検出する工程が行われる。ブロック閾値条件は、少なくとも１つのブロック閾値によって規定される。これは例えば、この数を集計し、処理し、これをブロック閾値と比較することによって行われる。例えば、青色コンテンツを検出する場合、確認する画素コンテンツ検出信号が生成されている画素は「空」画素と呼ばれ得る。
【００５８】
ブロック３３では、画素群について、確認する更なる画素コンテンツ検出信号が生成されている、画素群からのいくつかの画素の関数が更なるブロック閾値条件を満たすか否かを検出する工程が行われる。更なるブロック閾値条件は少なくとも１つの更なるブロック閾値で規定される。これは例えば、この数を集計し、処理し、次いで、これを更なるブロック閾値と比較することによって行われる。例えば、青色コンテンツを検出する場合、確認する更なる画素コンテンツ検出信号が生成されている画素は「青空」画素と呼ばれ得る。
【００５９】
例えば、青色コンテンツを検出する場合、ブロック内の「空」画素の割合が、例えば５０％などの第１の割合よりも大きく、ブロック内の「青空」画素の割合が、例えば２５％などの第２の割合よりも大きい場合、ブロックは、空を有しているとみなし得る。その場合、画像は空を含んでいるとみなし得る。
【００６０】
よって、まず、決定が、画素色特性（色条件及び／又は強度条件）に基づいて行われる。第２に、ブロック・レベル決定及び大局決定を行い得る（ブロック閾値条件）。
【００６１】
図２では、プロセッサ４０及びメモリ７０を備えるシステム６０のブロック図を示す。前述のシステムは例えば、プロセッサ・メモリ・システムである。プロセッサ４０は、第１の工程１６を行う第１の算出手段４１−１と、第２の工程１７を行う第２の算出手段４１−２と、第３の工程１８を行う第１の検出手段４２−１と、第４の工程１９を行う第１の生成手段４３−１と、第５の工程１５を行う第２の検出手段４２−２と、第６の工程２０を行う第３の検出手段４２−３と、第７の工程２１を行う第２の生成手段４３−２と、第８の工程３２を行う第４の検出手段４２−４と、第９の工程３３を行う第５の検出手段４２−５と、第１０の工程３４を行う第３の検出手段４３−３とを備える。
【００６２】
それに対して、制御手段４００は、手段４１乃至４３を制御し、メモリ７０を制御する。手段４１乃至４３及び４００は例えば、図示するようにメモリ７０に個々に結合されるか、又は図示しない、制御手段４００に制御される結合手段を介してメモリ７０に併せて結合される。いくつかの算出手段は単一の算出手段に一体化することができ、いくつかの検出手段は単一の検出手段に一体化することができ、いくつかの生成手段は単一の生成手段に一体化することができる。算出手段は例えば、算出器によって実現される。検出手段は例えば、比較器により、又は算出器によって実現される。生成手段は例えば、インタフェース又は信号プロバイダを介して実現されるか、又は他の手段の出力の一部を形成する。
【００６３】
工程に、図２において、手段４１乃至４３とメモリ７０との間の結合の上にある括弧の間に番号を付して、通常、工程を行う場合、全て、制御手段４００による制御下で、メモリ７０に照会し、かつ／あるいはメモリ７０から情報をロードし、かつ／あるいはこの情報を処理し、かつ／あるいは新たな情報をメモリ７０等に書き込む旨を示す。
【００６４】
図３では、装置５０及びメモリ７０を備えるシステム６０のブロック図を示す。装置５０は、第１の工程１６を行う第１の算出器５１−１と、第２の工程１７を行う第２の算出器５１−２と、第３の工程１８を行う第１の検出器５２−１と、第４の工程１９を行う第１の生成器５３−１と、第５の工程１５を行う第２の検出器５２−２と、第６の工程２０を行う第３の検出器５２−３と、第７の工程２１を行う第２の生成器５３−２と、第８の工程３２を行う第４の検出器５２−４と、第９の工程３３を行う第５の検出器５２−５と、第１０の工程３４を行う第３の検出器５３−３とを備える。
【００６５】
それに対し、コントローラ５００は装置５１乃至５３を制御し、メモリ７０を制御する。装置５１乃至５３は、図示したようなメモリ７０に更に結合されたコントローラ５００に個々に結合されるか、又は、コントローラ５００によって示され、制御されない別個のカプラを、装置５１乃至５３、コントローラ５００及びメモリを結合するために使用することができる。いくつかの算出器は単一の算出器に一体化することができ、いくつかの検出器は単一の検出器に一体化することができ、いくつかの生成器は単一の生成器に一体化することができる。検出器は例えば、比較器により、又は算出器によって実現される。生成器は例えば、インタフェース又は信号プロバイダを介して実現されるか、又は他の手段の出力の一部を形成する。
【００６６】
通常、工程を行うために、装置５１乃至５３は、全て、コントローラ５００による制御下で、メモリ７０に照会し、かつ／あるいは、メモリ７０から情報をロードし、かつ／あるいは、この情報を処理し、かつ／あるいは、新たな情報をメモリ７０等に書き込む。
【００６７】
要約すれば、画像コンテンツを検出する方法は、画素について、画素の推定強度を算出し（１６）、画素について、この画素の実際の強度を算出し（１７）、推定強度及び実際の強度の関数が強度条件を満たすか否かを検出し（１８）、強度条件検出結果に応じて、画素コンテンツ検出信号を生成する（１９）。前述の強度は、画素の色値の関数である。前述の方法は、青色コンテンツ（曇り空や曇っていない空のような空）の場合、うまく機能し、画像の自動選択、及びコンテンツベースの分類に使用される。効率及び／又は成功率を向上させるために、方法は、色値が色条件を満たすか否かを更に検出（１５）することができる。更に、方法は、ブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成することができるために、画素群からのいくつかの画素の関数がブロック閾値条件を満たすか否かを検出（３２、３３）し得る。
【００６８】
本発明は、図面及び上記明細書に詳細に例証し、説明しているが、前述の例証及び説明は、例証的又は例示的であり、制限的でないと解される。本発明は、開示された実施例に限定されない。開示された実施例に対する他の変形は、本願発明を実施する当業者により、図面、明細書及び特許請求の範囲の検討によって理解し、行うことが可能である。特許請求の範囲では、「ｃｏｍｐｒｉｓｉｎｇ」の語は他の構成要素又は工程を排除するものでなく、不定冠詞「ａ」又は「ａｎ」は、複数形を排除するものでない。単一のプロセッサ又は他の装置は、特許請求の範囲記載のいくつかの装置の機能を満たすことができる。単に特定の方策が互いに別々の従属請求項に記載されていることは、前述の方策の組み合わせを利用することが可能でないことを示すものでない。コンピュータ・プログラムは、他のハードウェアとともに、又は他のハードウェアの一部として供給される光記憶媒体又はソリッドステート媒体などの適切な媒体上に記憶させる／配布することができるが、他の形式で（例えば、インターネットや、他の有線電気通信システム又は無線電気通信システム経由で）配布することもできる。特許請求の範囲における参照符号は何れも、その範囲を限定するものと解されないものとする。
【手続補正２】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
画素を備える画像の少なくとも一部のコンテンツを検出する方法であって、各画素は少なくとも１つの色値によって規定され、
画素について、前記画素の推定強度を算出する第１の工程であって、前記推定強度が前記少なくとも１つの色値の関数である工程と、
前記画素について、この画素の実際の強度を算出する第２の工程であって、前記実際の強度が、前記少なくとも１つの色値の別の関数である工程と、
前記推定強度及び前記実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する第３の工程と、
強度条件検出結果に応じて、画素コンテンツ検出信号を生成する第４の工程と、
前記画素について、前記少なくとも１つの色値が、少なくとも１つの閾値で規定される少なくとも１つの色条件を満たすか否かを検出する第５の工程であって、前記第１の工程及び前記第２の工程は、前記画素が前記少なくとも１つの色条件を満たした場合に、関心のある画素についてのみ、前記強度を算出すればよいように行われる工程とを含む方法。
【請求項２】
請求項１記載の方法であって、
前記第１の工程は、算出された推定強度に応じて、算出された推定強度信号を生成するサブ工程を含み、
前記第２の工程は、算出された実際の強度に応じて、算出された実際の強度信号を生成するサブ工程を含み、
前記第３の工程は、強度条件検出結果に応じて、強度条件信号を生成するサブ工程を含む方法。
【請求項３】
請求項１記載の方法であって、前記少なくとも１つの色値は少なくとも２つの値を備え、前記推定強度は前記少なくとも２つの値のうちの少なくとも一方の関数であり、前記実際の強度は前記少なくとも２つの値の関数であり、
確認する画素コンテンツ検出信号が生成されている画素について、前記少なくとも２つの値のうちの少なくとも一方が、少なくとも１つの更なる閾値で規定される少なくとも１つの更なる色条件を満たすか否かを検出する第６の工程と、
更なる色条件検出結果に応じて、更なる画素コンテンツ検出信号を生成する第７の工程とを更に含む方法。
【請求項４】
請求項３記載の方法であって、
画素群について、確認する画素コンテンツ検出信号が生成されている、前記画素群からのいくつかの画素の関数がブロック閾値条件を満たすか否かを検出する第８の工程であって、前記ブロック閾値条件が少なくとも１つのブロック閾値で規定される工程と、
前記画素群について、確認する更なる画素コンテンツ検出信号が生成されている、前記画素群からのいくつかの画素の関数が更なるブロック閾値条件を満たすか否かを検出する第９の工程であって、前記更なるブロック閾値条件が少なくとも１つの更なるブロック閾値で規定される工程と、
ブロック閾値条件検出結果及び更なるブロック閾値条件検出結果に応じて、ブロック・コンテンツ検出信号を生成する第１０の工程とを更に含む方法。
【請求項５】
請求項４記載の方法であって、
検出される対象のコンテンツが青色コンテンツであり、確認する画素コンテンツ検出信号が生成されている画素は「空」画素と呼ばれ、前記ブロック閾値条件は、第１の割合よりも大きい必要がある画素群における「空」画素の割合を規定し、確認する更なる画素コンテンツ検出信号が生成されている画素が「青空」画素と呼ばれ、前記更なるブロック閾値条件は、第２の割合よりも大きい必要がある画素群における「青空」画素の割合を規定する方法。
【請求項６】
請求項１記載の方法の工程を行うコンピュータ・プログラム。
【請求項７】
請求項６記載のコンピュータ・プログラムを記憶し、含む媒体。
【請求項８】
請求項１記載の方法の工程を行うプロセッサであって、
前記第１の工程を行う第１の算出手段と、
前記第２の工程を行う第２の算出手段と、
前記第３の工程を行う検出手段と、
前記第４の工程を行う生成手段と、
前記第５の工程を行う第２の検出手段とを備えるプロセッサ。
【請求項９】
画素を備える画像の少なくとも一部のコンテンツを検出する装置であって、各画素は少なくとも１つの色値によって規定され、
画素について、前記画素の推定強度を算出する第１の算出器であって、前記推定強度が前記少なくとも１つの色値の関数である第１の算出器と、
前記画素について、この画素の実際の強度を算出する第２の算出器であって、前記実際の強度が、前記少なくとも１つの色値の別の関数である第２の算出器と、
前記推定強度及び前記実際の強度の関数が少なくとも１つの強度条件を満たすか否かを検出する第１の検出器と、
強度条件検出結果に応じて、画素コンテンツ検出信号を生成する生成器と、
前記画素について、前記少なくとも１つの色値は少なくとも１つの閾値によって規定される少なくとも１つの色条件を満たすか否かを検出する第２の検出器であって、前記算出は、関心のある画素のみについて、前記強度を算出すればよいように前記画素が前記少なくとも１つの色条件を満たしている第２の検出器とを含む装置。
【請求項１０】
請求項９記載の装置を備え、画像の画素の色値を記憶するためのメモリを更に備えるシステム。
【国際調査報告】
2010505320.tif 000006
2010505320.tif 000007
2010505320.tif 000008