(57)【特許請求の範囲】
【請求項１】
一連の記録済みの画像を走査し、前記記録済み画像を表わすデジタル信号を供給するスキャナーと、
前記デジタル信号を受信するために前記スキャナーに連結されている方向付け処理装置と、
を含み、
前記処理装置は、前記記録済み画像中の少なくとも１つのシーン特性の、前記画像内の上部から下部にわたる分布の非対称の度合いを示す非対称分布を色彩を用いて決定し、かつ前記一連の記録済み画像についての方向付け確率を前記少なくとも１つのシーン特性の決定済み非対称分布の関数として決定することを特徴とする一連の個々の記録済み画像の方向付け決定装置。
【請求項２】
請求項１に記載の装置において、
前記方向付け処理装置は、前記少なくとも１つのシーン特性の非対称分布の関数として少なくとも１つのシーン特性が得られた個々の記録済み画像のそれぞれの方向付け確率推定値を決定することにより前記方向付け確率を決定することを特徴とする装置。
【請求項３】
請求項２に記載の装置において、
前記方向付け処理装置は、ベイズの確率伝播モデルに従い、個々の記録済み画像のそれぞれの前記決定された方向付け確率推定値を用いて前記一連の記録済み画像に対する方向付け確率を決定することを特徴とする装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、画像処理の分野に関し、特に記録済み画像の一順序の方向付けを自動的に確認するための機構に関する。
【０００２】
【従来の技術】
写真をＣＤ（コンパクト・ディスク）に作製したり、ＣＤにインデックスプリントを作製したり、自動的にアルバムページをデジタル印刷するなどの自動的なデジタル画像化の応用法においては、最終的な出力画像フォーマットへの生成に先立ち、画像を正しく方向付ける必要がある。現在は、こうした自動化手順においては、熟練したオペレータが割り込んで、手動で縦の画像（肖像）もしくは上下逆の画像といった方向付けのミスを訂正しなければならなかった。上下逆もしくは反転した画像は、３５ｍｍカメラや、右側装填式フィルム送り装置を使用するほとんどの使い捨てカメラの場合に生じる。こうしたタイプのカメラでは、「通常」配置のカメラと異なり、フイルムをフィルムゲートの反対側に装填する。こうしたカメラの作り出す画像は、露光済みフィルムを反転であると識別しない限り、最終的な出力画像フォーマットにおいて反転になる。処理する前に手動でフィルムを分類することは不可能である。そのカメラが逆巻きも可能なタイプかどうかを確定する方法はないからである。ＳＵＣを分類することはできるが、そうしたプロセスには時間もコストも掛かる。
【０００３】
【発明が解決しようとする課題】
シーンの画像方向付けの知識は、通常の光学印刷にも応用される。例えば、自動露光決定と、光学印刷機に使用される対象分類アルゴリズムとの収率（販売可能製品に対する受理可能製品の百分率）は、画像方向付け情報が利用できれば、増加する。
【０００４】
このように、全顧客順序に利用する際、左側装填式カメラで撮影したフィルム画像を、右側装填式カメラで撮影した画像から識別できる機構が現在必要になっている。同様に、処理中の記録済み画像の全順序の方向付けを、人手を煩わすことなく自動的に決定する機構も必要である。
【０００５】
【課題を解決するための手段】
本発明に関し、必要とされる上述の事柄は、一連の記録済み画像の方向付けを決定するのに効力を発揮する画像処理機構により、複数の記録済み画像を走査することで達成できる。この画像走査は、少なくとも１つのシーン特性で、別個の記録済み画像中に非対称に分布する特性に関する情報を得るために行われる。少なくとも１つのシーン特性が得られる記録済み画像それぞれの方向付け確率推定値は、そのシーン特性分布の非対称の関数として決定されるものである。その一連の記録済み画像について、次に、方向付けの確率がその連の各記録済み画像の方向付けに関する確率推定値から決定される。
【０００６】
本発明は、シーンの記録済み画像の一連（もしくは「一順序」）の方向付けを、画像の長い２辺に沿って各シーンの特性を調べることにより決定する。これらの辺は、「風景」方向付けの上部と下部を表す。この発明の目的のために、特性は風景画像群のどこかの部分で見つかるものとし、非対称に上部から下部まで分布しているものと仮定する。例えば、緑の草の色は大抵はシーンの下部に沿って見つかり、同じシーンでは、上部に沿って見つかることはまれである。こうした論理によれば、上部と下部のどちら側にも緑の草の色のないシーンと同様に、その両部に緑の草の色のあるシーンはこの特定の特性については確定できないことになる。
【０００７】
例えば、一定の彩度を越える緑色が１シーンの一方の側沿いの全域に見つかり、もう一方の側には見つからなければ、画像群の９０％以上において、緑の側はシーンの下部にある。その結果、この特性が後で他のもう１枚の画像で見つかれば、緑の側が下部にある確率は、やはり、およそ０．９０であると期待できる。活用できる分布の非対称について、シーン中で見つかると予想される特性とは別のもう１つの特性は、シーンの上部に沿う空の色である。
【０００８】
特性を限定する差異の大きさは、分布の非対称の程度を決定する重要な要因である。その上、画像全体を通して、特性の差異が繰り返される場合を見つけることも、分布の非対称を増加させるだろうと予想される。分布の非対称は、そのシーンに対する方向付けを正しく決定する確率の直接の基準である。例えば、特性の差異について大きさが小さく、見つかる特性の場合の数も少ない仮定の特性を使用すると、上部から下部まで発生の分布は比較的一様である。大きさと場合の数とが共に大きいときは、事は正反対になる。この例では、こうした事の多くがこの仮定の特性に対し画像の上部で発生する。
【０００９】
本発明に関しては、写真ＣＤ、インデックスプリント、写真ＣＤアルバムページを含む自動的なデジタル方式で生み出される応用法では、正しく画像の方向付けを行うのに、オペレータの介入を必要としない。発明のもう１つの利点は、方向付け処理装置へ情報を提供するために現行のシーン平衡アルゴリズムが利用できる点である。次に、画像方向付け処理装置から得られた情報が、今度は、シーン平衡アルゴリズムの作業を改良するのに使用できる。
【００１０】
本発明には、多数の異なる技術から得られる低解像度走査データを、画像方向付けを決定するのに使用できるという利点がある。同様に、１シーンだけからの信頼できる目安でも、全順序の方向付けを決定するのに十分である。だが、個々のシーンから信頼できる目安が得られなくても、いくつかの画像からの多数の証拠が、全順序の方向付けを決定するのに、やはり十分である。
【００１１】
【発明の実施の形態】
記録済み画像の一順序の方向付けを本発明に従い自動的に決定するために改良を加えられた新たな機構について詳細に述べる前に、本発明が本来前述のデジタル画像処理技術に事実上属することを指摘しなければならない。このデジタル画像処理技術は、従来のデジタル信号処理回路を使って行うことができる。もしくは、デジタル画像処理応用ソフト中に記憶させることも可能である。シーンの画像はそれぞれこのデジタル画像処理用ワークステーションを介して処理される。
【００１２】
従って、そうした画像を走査し、デジタル画像処理装置に掛ける手法は、図中に容易に分るブロックダイアグラム形式で図示してある。このブロックダイアグラムは、本発明に直接関係のある特有な詳細のみを示し、ここに記述した内容があれば当業者には直ぐに明らかになるような詳細を述べて開示を曖昧にすることのないよう心掛けた。このように、ブロックダイアグラム図解は、本来、都合よく機能的グループ分けをした場合のシステムの主要な構成要素を図示する目的を持ったものであり、それにより本発明をもっと理解し易くすることができる。
【００１３】
さて、図１を参照すると、本発明の方法を行うのに使用される装置の実施形態のブロックダイアグラムが概略図で示してある。本発明の「全順序」方向付け法は、大容量スキャナーを通過する連続した一本のネガからの事前走査データを使用して作動する。連続した一本のネガ１０は、複数の個々の記録済み画像、もしくは「フレーム」１２を含む。スキャナー１４はフレーム１２に含まれた情報をデジタル化し、このデジタル化済み情報を処理装置１６へ提供する。処理装置１６は本発明の方向付け処理装置１８と通常の画像処理装置２０とを備える。画像処理装置２０は、画質向上、引き伸し、トリミングなどの画像処理を更に行うための装置である。画像処理装置２０は、処理した画像を収納装置２２と画像再生装置２４の双方へ、もしくはいずれか一方へ提供する。画像再生装置２４は、例えば、サーマルプリンターでよい。
【００１４】
スキャナー１４が提供するデータは画素列１２８個の連続した流れである。１９２列のグループは、通常のフレーム列検出アルゴリズムにより集められて、個々の画像を成す。このアルゴリズムは本発明の方向付け法を使用して平行にデータを収集し、方向付けプロセスの少し前に終了する。代わりになるべきものとしては、列のグループを前々走査フィルムノッチャーが集める。この前々フィルムノッチャーはフレームの境界を検出して、そこに印を付ける。こうしたデータ列のバッファー作用を可能な限り限定し、また、最初に走査データを通過する際、必要な情報をすべて収集することは有利である。
【００１５】
図２は、典型的な抽出標本の概略図を示す。画像データは６画素×６列型のブロック群に分解される。１２８×１９２列は、結局、２１×３２個の標本抽出領域群から成る１つの格子となる（１２８＝２１×６（＋２）；１９２＝３２×６）。これは、一般に使用される２４×３６型の標本抽出格子を使用のシーン平衡アルゴリズムに匹敵する。本発明の典型的な実施形態では、各列の最初と最後の画素は除いてある。
【００１６】
図３（ａ）は、各ブロックの画素を２×２を併せて平均し、副標本の３×３型の配列にすることを示す。平均化は、対数露光空間で行われるが、これは、シーン平衡アルゴリズムについての通常の手順である。９個の２×２の平均値は、数々の方法で利用できる。１つの方法は、２１×３２型の標本抽出格子中のその点の画像を代表する値を生み出すことである。図３（ｂ）は、代わりとなる、副標本のグループ分けを示す。こうした副標本を併せて平均して、その代表値を生み出すことができる。本発明の好ましい実施形態では、「Ｘ」標本パターン（参照数字は図３（ｂ）の２６）が、その後の計算のすべてに使用される。このパターンは、通常、他に挙げてあるどの選択肢よりも優れた、もしくは少なくとも同等の結果を収める。
【００１７】
非対称に分布した特性を標本に抽出し、また検出するために、方向付け処理装置１８は、２つの標本抽出領域を画像のそれぞれの側に沿って限定する。こうした（上部、および下部）領域は図４に示してある。図示のように、この実施形態では、各領域は深度が「標本」６個である。もっとも、好ましい実施形態では、他の領域深度も使用している。標本はそれぞれ、図２（ｂ）にある「Ｘ］パターン２６の５個の副標本から成る。これらの副標本は、元の画素２×２のそれぞれの平均値である。分布中で位置の非対称を有する所望の各シーン特性を個別に観測することが、一枚の画像の３２列のそれぞれにおいて行われる。画像を通して処理が進行するとき、非対称を定義する既定限度を越えることが分かる特性のそれぞれについて正味総数が記録される。特性値の数値が一方向で高ければ、計数器は増加を示す。反対方向で高ければ、計数器は減少を示す。その場合、異なる特性のそれぞれについての正味総数は、下部（もしくは上部）が特定の側にあるとする確率と関係のあり得る基準である。
【００１８】
個々の画像が、実際に肖像方向付けになっている場合であれば、非対称は、消失する。特性が、上部と下部の双方で同等に評価されるか、もしくは無作為に評価されるかどちらかだからである。こうしたことから、位置の非対称基準が結果的に０になりがちなのである。
【００１９】
一定のシーン特性は、他のものよりも非対称に分布している。従って、他のシーン特性よりもその連の画像（全順序）の真の方向付けを更によく予測するものである。各シーンにおいて、一個、もしくはそれより多数の高度に信頼できる特性を見つけ得るとすると、こうしたアプローチは個々のシーンの方向付けを決定するのに使用可能であるが、目下のところ、そうした特性は知られていない。しかし、本発明により解決される全順序方向付け問題に関しては、各画像の便利な特性を見つけ出す必要はない。極端に偶然で風変わりな場合を除いては、全順序中の全画像の風景方向付けは、一方の側が上向きか、もしくは他方の側が上向きかどちらかである。このように、一順序中の一枚の画像でもそこに信頼できる目安を見つけることで、本発明を使用して、その全順序の風景方向付けを決定することができる。その上、どの単独の画像からの結果も決定的なものではなくとも、いくつかの画像から得られる多数の証拠が、やはりその順序についての方向付けの信頼できる目安たり得る。
【００２０】
全順序方向付け法の成功は、理に適って信頼のできる特性をほとんどの順序で度々見つけ、各順序の（もしくは一連の画像の）方向付けが十分に行える程であることに掛かっている。また、一順序中の各画像からの方向付け証拠（もしあれば）を結合する方法を有することにも左右される。本発明の実施形態においては、証拠を結合する方法は、ベイズの確率伝播モデルを使用して、一順序（一連の画像）の各フレーム中に見出される結果を合計する。下の等式はベイズの公式を示す。
【００２１】
【数１】
0003673570.tif 000002
ここにおいて、
１．  Ｐo は、画像を調査する前に、その順序について正しい方向付けを知る確率である。これは、例えば、一定の場所で処理される右側装填式カメラ対左側装填式カメラの混合比を基にすることができる。
【００２２】
２．  Ｐlastは、現行の画像を調査するに先立ち、その順序について正しい方向付けを知る確率である。
【００２３】
３．  Ｐframe は、現行の画像でその画像についてなされた観測結果を与えられた画像について、正しい方向付けを知る確率である。
【００２４】
４．  Ｐcurrent は、現行の画像に対してなされた観測結果を含む順序について、正しい方向付けを知る確率である。
【００２５】
ベイズの定理には、確率が、相互排反的、かつ網羅的な一連の選択肢に当てはまることが必要である。本応用においては、相互排反的な選択肢は、わずか２つあるのみである。即ち、全順序は、「正しい向き」か、もしくは「上下逆」であるかいずれかである。もしＰ群が、全順序は「右側が上向き」である確率に当てはまるならば、（１−Ｐ）は、それが「上下逆」である確率である。
【００２６】
ベイズの公式には数々の有利な特徴がある。第一に、個々の画像から証拠が集積されるにつれて、全順序について得点をつける簡単な方法を提供してくれる。現行の画像中に役立つ証拠が見つからないときは、Ｐframe ＝０．５を使うと、結果として、Ｐcurrent には変化を及ぼさない。第二に、この公式は、交換可能である（即ち、ＰlastとＰframe とを交換しても、Ｐcurrent の値は変化しない）ことはすぐに分かる。更に重要なことには、ベイズの公式は結合の性質も備えている。それは、ひと続きの画像からの最終的計算結果が、その行われる順序に左右されないという意である。このように、一順序中の画像から証拠を全て集積することができて、しかも純粋にその証拠に基づく方向付けの確率が、カメラの混合比（即ち、左側装填式、対、右側装填式）の効果を導入する前に算出可能である。これは、単に、一時的にＰo を各順序の始めに０．５に決めるだけで行うことができる。結局、この混合比の効果（即ち、当初の事前確率）は最後には含むことが可能である。その値は、各ユーザのもとで、独立のパラメータとして調整できるのである。
【００２７】
本発明の作用する度合いに影響を及ぼす数々の要因がある。次に挙げるのがそうした要因のリストである。
【００２８】
１．  一定の特性が正しく真の方向付けを予測する確率。
【００２９】
２．  消費者画像が典型的に混ざり合った中でその一定の特性に出合う確率。
３．  顧客順序の内で、その一定の特性に継続的に出会う出会いの間の相関関係。
【００３０】
４．  その順序中の画像の数。
【００３１】
５．  利用可能な異なる特性の数。
【００３２】
６．  単独の画像中に見つかる複合的特性からの証拠を結合する方法。
【００３３】
本発明に従って、単独画像中に２つ、もしくはそれより多数の特性が見つかるときは、方向付けを正しく予測するための同時確率は推定されない。その代わりに、最も信頼できる特性に関する確率を使用する。こうした場合には、その後の調査に、方向付け確率を指定するための異なる方法を行うことができる。しかし、そうした同時確率の推定値を提供することは可能である。
【００３４】
一定の特性が真の方向付けを正しく予測する確率は、風景型の画像についてのその特性の「確からしさ」だけによるのではなくて、その特性が肖像型の画像中で間違って見つけられる場合の相対的割合にも左右される。一定の特性は肖像型の画像中ではまれにしか見つからないが、これは他の特性には無いことである。こうしたことのため、また、風景型と肖像型の混合比が、ユーザによりまちまちであったり、あるいは一定のユーザであっても時と共にゆっくりと変わることもあり得るということもあって、各特性についての未処理の風景確率は、このような事実を踏まえて調整されなければならない。等式（２）は必要な補正を与えてくれる。この等式は、肖像フレーム中に運悪く非対称基準がみつかった場合、その基準は、その場合の半分が正解を与え、後の半分が誤答を与える、とする仮定に基づいている。
【００３５】
【数２】
0003673570.tif 000003
ここにおいて、
１．  ＰT は、特性（基準）「Ｍ］が、風景と肖像が混在する一定のものに対して、正しい方向付けをする確率である。
【００３６】
２．  ＰM は、特性「Ｍ］が、風景画像だけのものに対して、正しい方向付けをする確率である。
【００３７】
３．  ＦL は、風景型である全画像の割合である。
【００３８】
４．  ＦP/L は、特性「Ｍ］が見つかる風景型画像に対する、肖像型画像の比率である。
【００３９】
特性は、「確からしさ」がその発生の頻度にやや逆比例して変化するのが観測できるということが確認されている。このことからいずれのトレードオフが上策かという問題が生じる。即ち、比較的多数の画像中に比較的信頼性の低い特性を見つけるか、それとも、比較的少数の画像中に比較的信頼性の高い特性を見つけるかという問題である。本発明の発明者による２つの異なる特性の「見つかる」画像に関する実験では、比較的信頼性の高い特性に関連する確率を使用した。確率が高いほど、一定の特性が正しく方向付けを予測する率も高くなることが分かった。理に適って信頼できる特性が見つかる頻度が高いほど、証拠の弱い、もしくは無い、順序は少なくなる。しかし、甚だしく間違った証拠を持つ順序が見つかる率もまた高くなる（甚だしく間違った証拠とは、大きさの間違いが甚だしいためにその順序が不当に方向付けられるのを防ぐ妥当な事前確率が無いような方向付け確率を生み出すもの、と定義される）。順序中に画像が少なければ少ないほど、結果は（予想通りに）不十分なものになる。これまでに見つかっている特性の信頼性のレベルを考慮すると、少なくとも２４枚の画像を有する順序から、優れた結果が得られるはずである。もし１つの順序に１つの特性を見つけることにより、その順序（順序内の相関シーン内容）中でその特性をまた見つける確率が増すなら、多数の順序に及ぼす全体的な成果はそれほど変化しないが、甚だしく間違った証拠を有する順序は確かに増加する。２つの特性のうちいずれか一方、もしくは双方共が見つかる場合は、信頼性の低いほうの特性の成果は甚だしい間違いを生み出すことに支配的であるだろう。だが、同時に、証拠のほとんど無い、もしくは全く無いような順序が存在することもまれになる。
【００４０】
全順序方向付け法が実行可能であるには、それが最も一般的な順序の大きさに作用するのでなければならないが、その大きさは、画像２４枚である。シュミレーションの結果が暗示するところによると、必要なのは、十分に大きな一群の特性であって、少なくとも８０％の成功率を有する一群がほとんどの画像中で見つかる程の大きさであるか、もしくは、９０％の成功率を有する比較的小さな一群であって、全画像の約４０％で見つけ得る程度であるか、いずれかである。更に、シュミレーションの示すところによれば、３、４「片」の画像フィルムの方向付けを予測するには、全画像群の９０％以上で見つかり、そのほとんどが９０％を越える成功率を収めるような一群の特性が必要である。
【００４１】
多数の画像を眺めると、シーンの上部で、比較的頻繁に生じる特性もあれば、下部で比較的頻繁に生じる特性もあることが分かる。草の色と空の色がその例である。偶然の観察が示すそうした特性は、非対称を有しているので、問題点は少なくなり、まず、そうした特性について、正確な基準を限定し、次にその正確な基準が正しくシーン方向付けを識別する確率を推定することになる。しかし、他に役立つ特性も存在し、以下で述べることに加えて、使用することもできる。
【００４２】
本発明の典型的実施形態は、シーン特性を使用するが、そのシーン特性は、上部から下部まで非対称に分布する。こうした特性は、色彩とテクスチャ（の欠如）の双方を含む。まず、色彩の面から述べることにする。色の軸は、規準化された原色の単純な差異を挙げることにより限定できるし、色相範囲は値を単純に比較することで限定できる。こうした制約を設けるだけでも、１２の色軸を限定できる（即ち、色の差異の印は、それぞれの独自の色軸の限定に含まれている）。各色軸について、３つの色相範囲を限定することも可能である。各色軸は、６０度、１２０度、もしくは１８０度の範囲で囲むことができる。色軸は、色相範囲の中心に置く必要はない。それらに値を割り当てるために、色相範囲の色は色軸へ投射される。図５は、こうした色軸と色相範囲とを図示している。原色の色軸により限定される色相境界線についての検査は、２色の間の比較であることが示されている。色の差異の軸によって限定される色相境界線についての検査は示されていないが、それらは、原色がポジかネガのいずれであるか単に調べる検査にすぎない。
【００４３】
非対称に分布する草の色と空の色とが見つかるのは、画像群全体のほんの一部である。その上、飽和度に達した赤と青は、上部よりは画像の下部のほうが比較的高い頻度で発生するのが見つかる。これは、赤と青とが人の使う品物に関連していて、画像の比較的低い部分に重力により人が拘束される傾向と結び付いているせいかも知れない。予想外であるが、赤の色の非対称は、緑と青の色の非対称を併せたものとほとんど同じ頻度で発生する。典型的な画像の記憶済みのデータベースに関する実験では、（各画像中で可能性のある３２例のうちから）赤の非対称の比較的数少ない例を、役立つ方向付け確率を示すために多数観察しなければならなかった。
【００４４】
それぞれの色の非対称を限定するのに最適の色軸と最適の色相範囲とが、図６で典型的な画像に関して図示してある。草については、黄緑の軸のほうが、純粋な緑の軸（即ち、純粋な緑はＧ−（Ｒ＋Ｂ）／２で与えられる）より多少好ましかった。
【００４５】
等式（３）は、三色を標本に抽出し、算定する方法を述べている。原色はそれぞれ、発明の一定の実施形態において、シーン平衡アルゴリズムからの対応する値により規準化される。これは、各原色が本発明の方法中で実際に使われる彩度信号を限定するため使用されるのに先立って、行われる。
【００４６】
【数３】
0003673570.tif 000004
ここにおいて、
１．  ＲUL、ＲUR、ＲCTR 、ＲLL、ＲLRは、５個の「Ｘ］副標本の値である。２．  ＲX 、ＧX 、およびＢX は、２１×３２型の標本抽出格子中の各位置に割り当てられた値である。
【００４７】
３．  Ｒ（ハット）、Ｇ（ハット）、およびＢ（ハット）は、シーン平衡アルゴリズムモジュールからの推定目標値である。
【００４８】
４．  ＲＤＭＧ180 は、赤色の特性を限定する赤マゼンタの彩度値である。
【００４９】
５．  ＹＬＧＲ180 は、（シーン中の草に関連する）緑色の特性を限定する黄緑の彩度値である。
【００５０】
６．  ＢＬＵ120 は、（シーン中の青空に関連する）青色の特性を限定する青の彩度値である。
【００５１】
使用される彩度値は、その特性の一つの見方にすぎない。他の特性は、彩度値の分布とそれらの変化とを含む。等式（４）は、使用される純粋な赤、純粋な緑、および純粋な青を限定する。等式が示すように、３つの基準は全て、６個の標本中で、画像の上部と下部において見つかる２つの最大量の差が一定の閾値を越える正味の回数の計算に基づいている（「上部」と「下部」という語は、画像の向かい合う側に関連している。単に名前を示す語であって、例えば、左側装填式カメラシステムに関連する走査方向に基づく）。
【００５２】
等式（４）、およびその後に続く等式は、範囲の深度が標本６個（図４）の場合の例証となっている。範囲の深度が標本６個より多いか、もしくは少ないときは、等式を明白な方法で修正しなければならない。
【００５３】
【数４】
0003673570.tif 000005
ここにおいて、
１．  ＲＤＭＧtop max 、ＲＤＭＧbttmmax は、各標本抽出列の上部と下部で見つかるＲＤＭＧ180 の最大値である。
【００５４】
２．  ＹＬＧＲtop max 、ＹＬＧＲbttmmax は、各標本抽出列の上部と下部で見つかるＹＬＧＲ180 の最大値である。
【００５５】
３．  ＢＬＵtop max 、ＢＬＵbttmmax は、各標本抽出列の上部と下部で見つかるＢＬＵ120 の最大値である。
【００５６】
４．  ＢＬＵtop ave 、ＢＬＵbttmave は、各標本抽出列の上部と下部で見つかるＢＬＵ120 の平均値である。
【００５７】
５．  ＴｈｒｅｓｈRDMG、ＴｈｒｅｓｈYLGR、ＴｈｒｅｓｈBLU は、画像の一方の側の対応する彩度値が、潜在する非対称を限定するために、画像の他方の側の彩度値より越えねばならない閾値の程度である。
【００５８】
６．  ＲＤＭＧcnt 、ＹＬＧＲcnt 、ＢＬＵcnt は、非対称が見つかった場合、非対称を信号で知らせる色の基準である。それらは、対応する彩度値が画像の予想される側で閾値を越える正味の回数を表わす。
【００５９】
比較される彩度値は、正の大きさか、もしくは０だけを持つと限定されるから、例えば、ＢＬＵcnt の増加、もしくは減少が、一方が他方よりも黄が淡いだけの２つの黄色の標本によって示されることはあり得ない、等である。
【００６０】
画像のデータベースについての異なる特性に関する実験結果によると、赤の特性は、分布の役立つ非対称を信号で知らせるために必要とする正味総数が緑の特性よりもずっと少ない。事実、純粋な緑は、役立つ非対称を有するためには、実際にほぼその画像全体を通して見つからなければならない。しかし、それが見つかれば、正しい方向付けを知る確率は非常に素晴らしい（約９５％）。図７は、非対称の見つかる列の数が増すにつれて、確率が増加する傾向にあることを図示している。更に、閾値を上げるにつれて、確率も一般に増加する。図８（ａ）は、純粋な緑色について、それが標本抽出列３２列の全てに見つかる場合のこの旨を図示している。残念ながら、当然、そうした差異の程度を有する画像の数は、図８（ｂ）に示されるように、減少する。
【００６１】
下の表１は、「赤」の特性の正確な定義について決定を下すために使用される結果のうちで典型的な結果の抽出標本を示している。表１は、画像群の割合と、赤の特性のいくつかの可能な定義についての確率とを示す。これには、様々な閾値の範囲について結果を併せ、１つは粗い、そして１つは比較的きめの細かいヒストグラムセルにまとめることで得られる結果を使用している。
【００６２】
赤の特性は、次のように定義される。
【００６３】
１．  ＲＤＭＧ180 は、上に定義された赤の特性（即ち、Ｒ−Ｇ軸に投射される赤の特性）である。
【００６４】
２．  ＲＤＭＧ120 は、Ｒ−Ｇ軸を囲む１２０色相範囲に制約されることを除いては、ＲＤＭＧ180 と同じ定義である。
【００６５】
３．  ＲＤＭＧrd120 は、Ｒ−（Ｇ＋Ｂ）／２軸に中心を置く１２０色相範囲に制約されることを除いては、ＲＤＭＧ180 と同じ定義である。
【００６６】
４．  ＲＥＤry120 は、Ｒ−（Ｇ＋Ｂ）／２軸に投射され、またＲ−Ｂ軸に中心を置く１２０色相範囲に制約される、赤の特性である。
【００６７】
赤の定義には、閾値の範囲と正味総数の全ての組み合わせについて、結果が最良の成果（最も高い確率を有する画像の最も高い百分率）になるものは１つもない。だが、ＲＤＭＧ180 は、概して、表に挙げられた全範囲のうちでは最良の部類に入る。本発明では、方向付けの決定に使用されることになる特性のそれぞれについて、同様の判断が下される。
【００６８】
【表１】
0003673570.tif 000006
典型的な消費者画像で観測できるもう１つの非対称は、未調節領域がシーンの上部で見つかる頻度は下部よりも高い傾向にあるということである。等式（５）は、こうした非対称を捕まえようとする特性を限定する。各標本抽出格子内の緑の対数露光値に基づく一様特性を限定するのである。この際は、色は論点ではないので、シーンの規準化は必要ではない。
【００６９】
【数５】
0003673570.tif 000007
ここにおいて、
１．  Ｇkxは、標本抽出列の上部、もしくは下部からの「Ｘ］副標本の５つの各構成要素についての平均緑対数露光値である。
【００７０】
２．  ΔＧkxは、標本抽出列の上部、もしくは下部からの「Ｘ］副標本の５つの各構成要素についての、それらの平均値からの各成分の絶対偏差値である。
【００７１】
３．  ΔＧi ave は、標本抽出列の上部、もしくは下部からの「Ｘ］副標本のそれぞれにおける平均偏差値である。
【００７２】
４．  ΔＧtop max 、ΔＧtop min 、ΔＧbttmmax 、ΔＧbttmmin は、標本抽出列の上部と下部で見つかる最大平均差分、および最小平均差分である。
【００７３】
５．  ΔＧtop ave ，Ｇbttmave は、標本抽出列の上部と下部で見つかる平均差分の平均値である。
【００７４】
６．  ＸＮＲは、ΔＧtop ave ，およびＧbttmave を作り上げている値の分布のゆがみの（規準化された）基準である。ＸＮＲは、−１から１までの範囲である。
【００７５】
７．  ΔＧtop adjave、ΔＧbttmadjaveは、標本抽出列の上部と下部で見つかる過度の非対称度に対する調整後の平均差分の平均値である。
【００７６】
８．  Ｇlowlimは、低反射率物体の露光不足に起因する画像値を多少越える画像値である。
【００７７】
９．  Ｔｈｒｅｓｈ1 は下部閾値であり、Ｔｈｒｅｓｈ2 は、潜在的な非対称を平滑化して限定する上部閾値である。
【００７８】
１０．  ΔＧcnt は、非対称が見つかるとその非対称を信号で知らせる平滑基準である。それは、平滑領域が画像の予想される側で見つかった正味回数を表す。
【００７９】
低調節により領域を限定する方法は、ほとんど無限に存在する。上の等式では、ＸＮＲと呼ばれるパラメータを使用して調整が行われる。これは、既知のシーン平衡アルゴリズムで長年使われている統計値である。特に、低調節された雪のシーンを検出する。そうしたシーンは、以前は、オートメーション化された印刷機で長年印刷されたが、出来上がりが暗過ぎた。等式（６）は、異常に大きな１つの値の影響を、他の点ではｎと同様の平均値から減少させるか、もしくは取り除くかするために、ＸＮＲの使用法を更に例証している。ＸＮＲは、もともと限定があって、−（ｎ−２）／ｎから（ｎ−２）／ｎまで値を変動できる。本発明では、ＸＮＲは、−１から１までの値に規準化されている。１列６個の標本が本質的に一様な領域にありながら、しかもその領域が一方の端か他方の端で調節領域に接するか、もしくは検出力列のような小調節域を横切るかする場合には、その効果は高まる。このような場合には、この調整により、紛らわしい調節を割り引く。こうしたタイプの調整は、次に述べるような他のいくつかの基準を限定する場合にも行われる。
【００８０】
【数６】
0003673570.tif 000008
において、
１．  ＸＮＲstd は、調整される可能性のある値の分布のゆがみを規準化した基準である。
【００８１】
２．  Ｖmax ，Ｖmin ，Ｖave は、調整される可能性のある値の分布の最大値、最小値、平均値である。
【００８２】
３．  ｎは、標本を作り上げている値の数である。
【００８３】
４．  Ｖadj は、過度の正のゆがみに対して調整されるＶave の値である。この調整は、明らかに、Ｖmax を含む平均値とＶmax を除いた平均値との間の直線の補間法である。
【００８４】
単純一様特性へ戻ると、その平滑の限定は、一様な傾きのため識別できないことがある。そうした傾きは、広がった一様な面を照らす点光源、もしくは口径食の激しいレンズにより生じる類いの傾きである。最後に述べる特性は、一様な直線の傾きが認められるようデザインした。図９は、こうしたコンセプトを図示している。各標本抽出列の上部と下部との双方に６個の「Ｘ］標本がある。ギリシア語のアルファベットのキー（即ち、Ｘ）型に正方形を並べたような検査が、副標本の値は直線の傾きの上に存在するという仮定を検査するために行われる。１８個の予想されるレベルが、最初と最後の「Ｘ］の中央により限定される２終点間で、直線の補間法（補外法）によって限定される。これら２つの中央に割り当てられた期待値は、その位置の「Ｘ］標本を作り上げている５つの値の平均値にすぎない。等式（７）は、滑らかな傾きの基準を限定する。
【００８５】
【数７】
0003673570.tif 000009
ここにおいて、
１．  Ｇstrt0 aim ，Ｇstrt15aim は、各列の上部と下部の初めにある５個の副標本の平均値である。
【００８６】
２．  Ｇtop grad，Ｇbttmgradは、各列の上部区分と下部区分の初めと終りの間の目標とする傾きである。
【００８７】
３．  Ｇtopjx の２乗、Ｇbttmj x の２乗は、予想される直線の傾きからの実際のデータの偏差基準である。
【００８８】
４．  ＴｈｒｅｓｈΔ1 、ＴｈｒｅｓｈΔ2 は、直線の傾きからの偏差値に関する閾値であって、この直線の傾きは、滑らかで一様な傾きの領域の非対称を限定するものである。
【００８９】
５．  Ｇlowlimは、露光不足に起因する画像値を多少越える画像値である。
【００９０】
６．  Ｇx の２乗cnt は、非対称が見つかるとその非対称を信号で知らせる滑らかで、一様な傾きの基準である。それは、比較的滑らかで一様な傾きが画像の予想される側に見つかる正味の回数を表す。
【００９１】
表２は、本発明の典型的な実施形態中に使用される基準を表示する。この表は、閾値と、分布の非対称を信号で知らせる総数と、標本中の領域深度と、この基準が風景画像中の正しい方向付けを予測する確率と、この基準を風景画像中で見つける確率と、この基準を風景画像中で見つける確率に対する、肖像画像中で見つける確率の比と、を示す。特性Ｇsmth、およびＧgradは、等式（４）からのＢＬＵ（１２０）ave の値に左右される２つの範疇に分けられる。総数の限度と結び付けられた閾値の範疇により、基準の型に独特の範疇が生じる。正しい方向付けの予測が０．８０を下回る風景確率を有する基準は使用されない。
【００９２】
【表２】
0003673570.tif 000010
以下に述べた本発明者による検査には、２つのデータベースを使用した。第一のデータベース（データベース１）は、一連のネガの実際の事前走査（１２８×１９２）から作り出され、２１８３枚の画像を含む。全データの組は、３つのファイル（赤画素ファイル、緑画素ファイル、青画素ファイル）に納められている。第二のデータベース（データベース２）は、平均して１３０８×１９３２から１２８×１９２へ縮小することにより作り出され、３５ｍｍ範囲配列スキャナーにより走査された２６９７枚の個々の画像からのデータである。それは、約２９０の異なる顧客順序から（通常）９枚の画像を標本抽出することで集められた。このデータは、データベース１に使用されるのと同じシーン対数露光測定規準に変換されて、いくつかの赤、緑、および青の画素データファイルに集められた。
【００９３】
本発明者により行われた、画像の標本データベースに関する本発明の検査では、発明の方法で使用された特性が、独自に役立つものであるか否かを明らかにした。特性は、大部分、独自に役に立つことが分かった。
【００９４】
表３は、そうした問題を扱うための試行である。表３には、データベース１とデータベース２に関する別々の欄があり、異なる画像の組を表している。
【００９５】
２つのデータベースについては、結果に類似点がある。数字の配列はそれぞれ、配列の左端の基準がそれらの特定画像の方向付けを予測するのに使用される基準である場合、その結果を表す。各行は、そうした同じ基準（＊＊の目印が付けられている）に対するか、もしくはそのほかの基準に対する結果を表す。その他の基準は、たまたま同じ画像中に同様に見つけられたが、実際は、そうした特定の画像中の方向付けの比較的信頼度の低い目安を表していたのである。最初の列（第０列）は、その基準が見つかった画像の総数であり、その後に続く列は、表２に限定されるその基準の各領域に対する画像の数である。表２の最終列は、その領域と関連する表３の列の番号を示す。例えば、データベース１の分類ＲＤＭＧ180 に対する配列では、ＲＤＭＧ180 がその画像の方向付けを予測するために使用される特性であるような画像は２１０枚あった。更に、表２に（正しい方向付けを示す確率は０．８４９と）限定された第一の基準が使用された基準であったのは７５回、表２の第二の基準が使用されたのは２６回、など。このようにして、２１０＝７５＋２６＋３５＋１５＋２２＋２７＋１０である。他の信頼度が比較的低い基準もこうした２１０枚の画像中のいくつかに見つけられた。例えば、基準Ｇsmthも１５回見つかった。しかし、この１５回のいずれの場合も全て、こうした基準と関連した確率は、使用された基準ＲＤＭＧ180 の確率と比較すると低かった。
【００９６】
表３に示される結果は、２つの考察を示すのに使用できる。第一は、本発明の方向付け法に使用される基準のそれぞれの実用的な有効性である。表３の示すところによると、基準のほとんどの場合、その基準が方向付けの唯一の目安であるような画像も存在した。例えば、Ｇsmthの場合を考えてみよう。低い確率の基準が使えたはずのほかの場合を全て差し引いた後でも、まだ少なくとも１２８枚の画像がデータベース１中に存在し（１２８＝６２０−５１−４４−０−３９７）、データベース２には、他に何も基準の見つからなかった画像が少なくとも１３枚は（１３＝３７１−４１−２６−０−２９１）存在するのである。
【００９７】
【表３】
0003673570.tif 000011
第二の考察は、各画像中の特性の発生は、独立事象か否かということである。ＧsmthやＧgradといったいくつかの特性については、それらが独立事象でないことは明らかである。全画像を通して独立して分布する基準を限定するのは有用ではあるのだが、そうしたことは一般的には可能ではない。必要なことは、各基準が方向付け検出プロセスへ十分に特有な情報を与え、その計算の手間を正当化できるようにすることである。
【００９８】
本発明の典型的な実施形態を、方向付けの決定に役立つ特別なシーン特性の使用に関して述べてきたが、個々のシーンの方向付けと、こうした全順序の決定に対して、発明の範囲内で他に同じように有効なアプローチを取ることも可能である。例えば、もし人の顔を認めることができれば、画像の中のその方向付けは、シーンの方向付けの非常に信頼できる指標となる。代わりになるべきものとしては、エッジの頻発内容の垂直対水平のどんな非対称でも検出することが可能である。
【００９９】
本発明は、風景型のシーンの上部から下部へ非対称に分布するシーン特性を探すことにより、全顧客順序の方向付けを決定する方法と装置とを提供する。分布の非対称は、それが見つかる各シーンの方向付けに関する推定値を確率に変換する。各順序に関する方向付けの確率は、ベイズの確率伝播モデルを使用して、各フレームに対する方向付けの確率から算出される。望むところは、各順序の十分なシーン中に非対称に分布する特性を検出し、ベイズの確率伝播モデルがその順序に関して高い信頼度で方向付けを予測するようにすることである。
【０１００】
本発明は、画像処理構成要素を使用するが、そうした構成要素は、普通の当業者にも周知のものであり、本発明の方法を実行するために普通の当業者が容易にプログラムに組むことが可能である。
【０１０１】
本発明を詳細に述べ、図示したが、こうしたことは、図解や例として挙げたものであり、制約するものと見做されるべきものでないことは明白である。本発明の精神とその範囲とは、添えてあるクレームの用語によってのみ制約されるべきである。
【図面の簡単な説明】
【図１】  本発明の実施形態に従って組み立てられた画像処理装置の構成ブロック図を示す。
【図２】  画像のための典型的な標本抽出格子（グリッド）の説明図である。
【図３】  ６×６の画素配列を３×３に変換する説明図である。
【図４】  標本に取り得る画像の領域の例を示す説明図である。
【図５】  色軸と、色の定義を決定すための色相領域とを示す説明図である。
【図６】  典型的な最適軸と、色の定義の決定に使用される色相領域とを示す説明図である。
【図７】  特性が画像中で見つかる平均回数に対する、正しい方向付け確率の関係を示すグラフ図である。
【図８】  閾値、フレーム数と確率の関係を示すグラフ図である。
【図９】  一様密度の傾きのモデルを示す説明図である。
【符号の説明】
１０  ネガ、１２  フレーム、１４  スキャナー、１６  処理装置、１８  方向付け処理装置、２０  画像処理装置、２２  画像収納装置、２４  画像再生装置、２６  「Ｘ］標本パターン。
【図１】
0003673570.tif 000012
【図２】
0003673570.tif 000013
【図３】
0003673570.tif 000014
【図４】
0003673570.tif 000015
【図５】
0003673570.tif 000016
【図６】
0003673570.tif 000017
【図７】
0003673570.tif 000018
【図８】
0003673570.tif 000019
【図９】
0003673570.tif 000020