(57)【要約】【課題】本発明は、映像に対して平坦化過程を行わずにその映像の雑音分布を検出して、検出された雑音分布に基づいて映像内の境界を速くて正確に検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体に関する。【解決手段】本発明による映像の境界検出方法は、被写体の映像の雑音分布を検出する段階と、前記検出された雑音分布に基づいて前記映像内の境界を検出する段階とで構成されることを特徴とする。【選択図】図１
2008171392.tif 000002
【特許請求の範囲】
【請求項１】
被写体の映像の雑音分布を検出する段階と、
前記検出された雑音分布に基づいて前記映像内の境界を検出する段階とを含むことを特徴とする映像の境界検出方法。
【請求項２】
雑音分布を検出する段階は、前記映像の雑音媒介変数と前記映像の明るさの間の連関関係に従って前記雑音分布を推正する段階であることを特徴とする請求項１に記載の映像の境界検出方法。
【請求項３】
前記雑音分布を検出する段階は、前記映像の雑音媒介変数と前記映像の明るさの間の線形関係に従って前記雑音分布を推正する段階であることを特徴とする請求項１に記載の映像の境界検出方法。
【請求項４】
前記雑音媒介変数は、前記映像のスケルラム(Skellam)媒介変数であることを特徴とする請求項２に記載の映像の境界検出方法。
【請求項５】
前記境界を検出する段階は、前記映像の隣接したピクセル間の明るさ差が明るさの許容範囲内に属する時、前記映像内の境界がないと判断して、前記映像の隣接したピクセル間の明るさの差が前記明るさの許容範囲内に属しない時、前記映像内の境界があると判断する段階を含むことを特徴とする請求項１に記載の映像の境界検出方法。
【請求項６】
前記雑音媒介変数は、二つの静的な映像の同一な明るさを有するピクセルの集合のスケルラム媒介変数と明るさの値のペアから検出されたスケルラム媒介変数であることを特徴とする請求項２に記載の映像の境界検出方法。
【請求項７】
前記雑音媒介変数は、前記映像のスケルラム分布のエルゴード特性を通じて前記映像内の色相が均一なパッチで検出されたスケルラム媒介変数であることを特徴とする請求項２に記載の映像の境界検出方法。
【請求項８】
前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の線形性に基づいて前記映像の各ピクセルの赤色Ｒ、緑色Ｇ、青色Ｂに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項２に記載の映像の境界検出方法。
【請求項９】
前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の検出された関係に基づいて、前記映像の各ピクセルのＲＧＢに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項２に記載の映像の境界検出方法。
【請求項１０】
前記映像の一つのピクセルに対する境界の程度ｅ(ｉ,ｊ)は、
【数１】
2008171392.tif 000024
【数２】
2008171392.tif 000025
【数３】
2008171392.tif 000026
の式によって計算されて、ここで、前記ＩAは、前記映像のピクセルでの明るさの許容範囲であって、ｃは、カラー空間でのＲＧＢチャンネルであり、ｘ(ｉ,ｊ)は、映像の位置(ｉ,ｊ)でのピクセル値であることを特徴とする請求項１に記載の映像の境界検出方法。
【請求項１１】
請求項１ないし請求項１０のいずれかの請求項の方法を行うプログラムが収録されたコンピューターで読み取れることを特徴とする記録媒体。
【請求項１２】
被写体の映像の雑音分布を検出する雑音検出部と、
前記検出された雑音分布に基づいて前記映像内の境界を検出する境界検出部を含むことを特徴とする映像の境界検出装置。
【請求項１３】
前記雑音検出部は、前記映像の雑音媒介変数と前記映像の明るさの間の連関関係に従って前記雑音分布を推正することを特徴とする請求項１２に記載の映像の境界検出装置。
【請求項１４】
前記雑音媒介変数は、前記映像のスケルラム媒介変数であることを特徴とする請求項１３に記載の映像の境界検出装置。
【請求項１５】
前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の検出された関係に基づいて前記映像の各ピクセルのＲＧＢに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項１３に記載の映像の境界検出装置。
【請求項１６】
前記境界検出部は、前記映像の隣接したピクセル間の明るさの差が明るさの許容範囲内に属する時、前記映像内の境界がないと判断して、前記映像の隣接したピクセル間の明るさの差が前記明るさの許容範囲内に属しない時、前記映像内の境界があると判断することを特徴とする請求項１２に記載の映像の境界検出装置。
【請求項１７】
前記雑音媒介変数は、二つの静的な映像の同一な明るさを有するピクセルの集合のスケルラム媒介変数と明るさの値のペアから検出されたスケルラム媒介変数であることを特徴とする請求項１３に記載の映像の境界検出装置。
【請求項１８】
前記雑音媒介変数は、前記映像のスケルラム分布のエルゴード特性を通じて前記映像内の色相が均一なパッチで検出されたスケルラム媒介変数であることを特徴とする請求項１３に記載の映像の境界検出装置。
【請求項１９】
前記雑音媒介変数は、前記映像の雑音媒介変数と前記映像の明るさの間の線形性に基づいて前記映像の各ピクセルのＲＧＢに対して各々検出されたスケルラム媒介変数であることを特徴とする請求項１３に記載の映像の境界検出装置。
【請求項２０】
前記映像の一つのピクセルに対する境界の程度ｅ(ｉ,ｊ)は、
【数４】
2008171392.tif 000027
【数５】
2008171392.tif 000028
【数６】
2008171392.tif 000029
の式によって計算されて、ここで、前記ＩAは、前記映像のピクセルでの明るさの許容範囲であって、ｃは、カラー空間でのＲＧＢチャンネルであり、ｘ(ｉ,ｊ)は、映像の位置(ｉ,ｊ)でのピクセル値であることを特徴とする請求項１２に記載の映像の境界検出装置。
【請求項２１】
被写体映像の雑音媒介変数と前記映像の明るさの間の線形関係に従って前記雑音分布を推正する雑音検出部と、
前記検出された雑音分布に基づいて前記映像の隣接したピクセル間の明るさの差が明るさの許容範囲内に属する時、前記映像内の境界がないと判断して、前記映像の隣接したピクセル間の明るさの差が前記明るさの許容範囲内に属しない時、前記映像内の境界があると判断することによって境界を検出する境界検出部を含むことを特徴とする映像の境界検出装置。
【請求項２２】
被写体映像のスケルラム分布の平均と標準偏差に基づいて前記映像のスケルラム分布のエルゴード特性を通じて前記映像内の色相が均一なパッチで検出するスケルラム媒介変数と前記映像の明るさの間の線形関係に従って前記雑音分布を検出する雑音検出部と、
前記検出された雑音分布に基づいて前記映像の隣接したピクセル間の明るさの差が明るさの許容範囲内に属する時、前記映像内の境界がないと判断して、前記映像の隣接したピクセル間の明るさの差が前記明るさの許容範囲内に属しない時、前記映像内の境界があると判断することによって前記被写体映像の境界を検出する境界検出部を含み、
前記映像の一つのピクセルに対する境界の程度ｅ(ｉ,ｊ)は、
【数７】
2008171392.tif 000030
【数８】
2008171392.tif 000031
【数９】
2008171392.tif 000032
の式によって計算されて、ここで、前記ＡIは、前記映像のピクセルでの明るさの許容範囲であって、ｃは、カラー空間でのＲＧＢチャンネルであり、ｘ(ｉ,ｊ)は、映像の位置(ｉ,ｊ)でのピクセル値であることを特徴とする映像の境界検出装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、被写体の映像内の境界を検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体{METHOD FOR DETECTING EDGE OF AN IMAGE AND APPARATUS THEREOF AND COMPUTER READABLE MEDIUM PROCESSING THE METHOD}に関する。
【背景技術】
【０００２】
一般的に、従来技術による被写体の映像内の境界を検出する装置は、カメラによって撮影された映像に存在する雑音を緩和させるために、撮影された映像に平坦化(Smoothing)過程を行う。この時、平坦化過程を経た映像内のラインが異なる。すなわち、平坦化過程を経た映像内の角ラインの位置が実際の角ラインの位置と異なるように表示される。また、従来技術による映像の境界検出装置は、映像に平坦化過程を行う時、雑音のみならず映像内の微細な変化(微細な境界)も除去した。
【０００３】
一方、従来技術による映像の境界検出装置は、映像に対する境界の程度を使用者が決めた値によって区分する。例えば、従来技術による映像の境界検出装置は、使用者が設定した映像の明るさや場面及びカメラの設定に従って映像に対する境界を検出した。
【発明の開示】
【発明が解決しようとする課題】
【０００４】
本発明は、映像に対して平坦化過程を行わずにその映像の雑音分布を検出して、検出された雑音分布に基づいて映像内の境界を速くて正確に検出する方法及びその装置とこれを具現するコンピューターで読み取れる記録媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
前述したような目的を達成するための本発明による映像の境界検出方法は、被写体の映像の雑音分布を検出する段階と、前記検出された雑音分布に基づいて前記映像内の境界を検出する段階とで構成されることを特徴とする。
【０００６】
前述したような目的を達成するための本発明による映像の境界検出装置は、被写体の映像の雑音分布を検出する雑音検出部と、前記検出された雑音分布に基づいて前記映像内の境界を検出する境界検出部とで構成されることを特徴とする。
【０００７】
また、本発明による記録媒体は、被写体の映像の雑音分布を検出する段階と、前記検出された雑音分布に基づいて前記映像内の境界を検出する段階を行うプログラムが収録される。
【０００８】
このような記録媒体は、コンピューターシステムによって読み取れるようにプログラム及びデータが貯蔵される全ての種類の記録媒体を含む。例えば、ロム(Read Only Memory)、ラム(Random Access Memory)、ＣＤ(Compact Disk)、ＤＶＤ(Digital Video Disk)−ＲＯＭ、磁気テープ、フロッピー（登録商標）ディスク、光データ貯蔵装置などがあって、さらに、キャリアウエーブ(例えば、インターネットを通じた送信)の形での具現も含む。また、このような記録媒体は、ネットワークで連結されたコンピューターシステムの内部に分散されて、分散方式によってコンピューターが読み取れるコードで貯蔵され、実行される。
【発明の効果】
【０００９】
本発明の実施例による境界検出方法及びその装置と、これを具現するコンピューターで読み取れる記録媒体は、従来の境界検出方法に比べると、自動化されたシステムに適用するにおいて、卓然な性能の差を有している。
【００１０】
従来の境界検出方法を産業用システムに適用するにおいて、最もな問題は、場面や照明などの変化に従って使用者が境界検出の媒介変数を修正することである。
【００１１】
ところが、本発明の実施例による境界検出方法及びその装置は、図１６に示したように、照明の変化にも従来の境界検出器に比べて、強靭な
結果を見せている。例えば、本発明の実施例による境界検出方法及びその装置は、非常に暗くて人が認知できない映像に対しても場面の構造が分かって、非常に明るくて従来の境界検出器では映像の雑音が除去できなかった映像に対しても効果的に雑音を除去している。
【００１２】
また、従来の境界検出方法は、図１５Ａないし図１５Ｆに示したように、平坦化のレベルに従って角部分が実際とは異に、直線ではなく曲線の形態になる問題があった。ところが、本発明の実施例による境界検出方法及びその装置は、平坦化過程が根本的に不必要であるため、角部分でも正確な境界検出が可能になって、場面の正確な構造が分かるシステムの開発においても、効果的に使用される。
【発明を実施するための最良の形態】
【００１３】
以下、映像に平坦化過程を行わずに映像の雑音分布を検出して、検出された雑音分布に基づいて映像内の境界を速くて正確に検出できる方法及びその装置の望ましい実施例を、図１ないし図１６Ｄを参照して詳しく説明する。
【実施例】
【００１４】
図１は、本発明の実施例による映像の境界検出装置１０の構成を示した図である。
【００１５】
図１に示したように、本発明の実施例による映像内の境界検出装置１０は、被写体の映像(Image)内の雑音分布(Noise distribution)を検出する雑音検出部１１と、検出された雑音分布に基づいて映像内の境界(Edge or boundary)を検出する境界検出部１２とで構成される。ここで、映像内の境界検出方法及びその装置は、ＣＣＤ(charge-coupled device)カメラに適用することもできる。
【００１６】
雑音検出部１１は、映像の雑音媒介変数等(Noise parameters)と映像の明るさとの間の線形関係に従って雑音分布を推定して、推定された雑音分布を境界検出部１２へと出力する。
【００１７】
境界検出部１２は、推定された雑音分布に基づいて映像内の境界を検出して、検出された境界を表示部２０を通じて外部に表示される。この時、表示部２０は、最初の映像に対する境界映像を画面上に表示する。
【００１８】
以下、ＣＣＤカメラで撮影した被写体の映像内の境界検出の概念と境界検出の結果を図２Ａ及び図２Ｂを参照して説明する。
【００１９】
図２Ａ及び図２Ｂは、本発明の実施例による映像内の境界検出方法及びその装置を説明するための境界検出の概念と境界検出の結果を示した図である。すなわち、図２Ａ及び図２Ｂは、映像内の境界検出が行われる概略的な説明と境界検出の結果を示している。
【００２０】
図２Ａ及び図２Ｂに示したように、雑音の媒介変数等(Skellam parameter:ｕ１)とパッチのサンプルの平均(sample mean of patch)、すなわち、明るさとの線形性によって各明るさでの雑音の分布を決めて、これに従って明るさの許容範囲を決める。例えば、各ピクセルで明るさによる雑音の分布を決めると、これによる明るさの許容範囲によってピクセル間の差が雑音に基づいているか、実際の場面の変化に基づいているかが判断される。
【００２１】
以下、明るさの差の雑音モデリングのためのスケルラム(Skellam)の分布を説明する。
【００２２】
各ピクセルの映像の明るさがポアソン(Poisson)分布に従うとする場合、観察時間の間隔Ｔ秒の間、ｐ光子に対する確率(probability)分布は、第１式のようなポアソン分布になる。
【００２３】
【数１】
2008171392.tif 000003
ここで、ｐは、単位秒当たり測定された光子の比率である。平均と標準偏差は、以下の第２式及び第３式のように与えられる。
【００２４】
【数２】
2008171392.tif 000004
【００２５】
【数３】
2008171392.tif 000005
【００２６】
光子の数がピクセルの明るさを決めるため、光子の雑音は、信号から独立的ではない。また、光子の雑音は、ガウス(Gaussian)でもなく、付加的でもない。第２式及び第３式のようにμは、Ｔ区間の間の光子の数を意味する。明るいピクセルでの光子の数が暗いピクセルでの数より多いというのは当然なことである。このような簡単な事実から、明るさが増加するによってμが増加することが予測できる。このような予測は、次のセクションで立証される。
【００２７】
仮に、μが充分に大きいと、ポアソン分布をガウス分布に近似化することができる。この場合、二つのガウスの差は、ガウスに従うので、明るさの差の分布もガウスになる。ところが、μが明るさによって異なる。これは、暗いピクセルでは、ガウスの近似化が崩れる可能性があることを意味する。
【００２８】
誤ったガウスの近似化から脱して明るさの差を示すために、ポアソン分布を直接的に使用した。二つのポアソン確率変数の差は、スケルラム分布で定義される。スケルラム分布の確率密集関数(probability mass function)は、二つのポアソン確率変数間の差を意味するkの関数であって、第４式のように示される。
【００２９】
【数４】
2008171392.tif 000006
ここで、μ1とμ2は、二つのポアソン分布の平均や期待値を意味して、Ikは、ベッセル関数(modified Bessel function of the first kind)を意味する。
以下、スケルラム分布の確率密集関数の例を図３を参照して説明する。
【００３０】
図３は、スケルラム分布の確率密集関数の例を示した図である。
μ1＝μ2の特別な場合に大きい値を有するμとｋに対してスケルラム分布は、ガウス分布になる傾向がある。μとｋは、暗い明るさのピクセルに対して充分大きい値を有しないため、スケルラムをガウスに近似化することができない。これを図４Ａないし図４Ｄを参照して説明する。
【００３１】
図４Ａないし図４Ｄは、μ1とμ2によるスケルラムとガウス分布を示した図である。
【００３２】
図４Ａは、μ1＝μ2＝０.１、σ＝０.２の時のスケルラムとガウス分布、
図４Ｂは、μ1＝μ2＝０.５、σ＝１.０の時のスケルラムとガウス分布、
図４Ｃは、μ1＝μ2＝１.０、σ＝２.０の時のスケルラムとガウス分布、
図４Ｄは、μ1＝μ2＝３.０、σ＝６.０の時のスケルラムとガウス分布、
を示している。
【００３３】
従って、スケルラム分布の統計学を利用すると、明るさの差のスケルラム媒介変数を簡単に推正することができる。スケルラム分布の平均μsと分散σs2は、第５式及び第６式のように与えられる。
【００３４】
【数５】
2008171392.tif 000007
【００３５】
【数６】
2008171392.tif 000008
ここで、第５式及び第６式によってμ1とμ2を第７式及び第８式のように直接的に得ることができる。
【００３６】
【数７】
2008171392.tif 000009
【００３７】
【数８】
2008171392.tif 000010
ここで、μsとσs2は、静的な場面の映像から第９式及び第１０式のように得ることができる。
【００３８】
【数９】
2008171392.tif 000011
【００３９】
【数１０】
2008171392.tif 000012
【００４０】
ここで、ｘt(ｉ,ｊ)は、フレームｔで位置(ｉ、ｊ)の明るさを意味して、ｎは、映像全体の数である。多様なカラーでスケルラム媒介変数を推正するために、Gretag-Macbeth ColorCheckerの静的な場面に対して１０,０００個の映像を獲得した。カメラは、Pointgrey Scorpionカメラを利用した。この時、図５Ａないし図５Ｃは、推定結果(映像解像度：１６００ｘ１２００、露出時間：１/１５ｓ)である。
【００４１】
図５Ａないし図５Ｃは、１０,０００枚の静的な映像を利用してスケルラム(Skellam)パラメーター推定結果を示した図である。図５Ａは、ブラックパッチ(Black patch)(２４th patch)に対するスケルラムパラメーター推定結果、図５Ｂは、グレーパッチ(Gray patch)(２１th patch)に対するスケルラムパラメーター推定結果、図５Ｃは、レッドパッチ(Red patch)(１５th patch)に対するスケルラムパラメーター推定結果を示している。
【００４２】
すなわち、スケルラムの媒介変数は、各々のパッチごとに異なる。ブラックパッチでは低いスケルラム媒介変数を有して、グレーパッチでは高いスケルラム媒介変数を有する。
これは、μ1とμ2が獲得時間の間、ＣＣＤ素子での光子の数という事実から期待される。
【００４３】
また、図５Ａないし図５Ｃは、他の重要な検証を示している。すなわち、スケルラム(Skellam)モデリングによって明るさの差の分布を正確に推正することができる。これは、本発明で仮定した光子の雑音が支配的であることを意味する。
【００４４】
図５Ａないし図５Ｃに示したように、スケルラムモデリングを一般化させるために単一映像から雑音を推正する。本発明では、各々のピクセルが空間的ドメインから相互に独立的であると仮定した。これは、雑音の分布が空間的ドメインと時間的ドメインで同一であることを意味する。仮定を立証するために、空間的ドメインと時間的ドメインでの雑音分布を比較した。時間的ドメインでのモデリングの結果は、第９式と図１０式によって得ることができる。空間的ドメインでの雑音をモデリングするために、カラーパターンの映像から単色のカラーパッチを選択した。このパッチ等を利用して空間的ドメインでの雑音モデリングを次の第１１式及び第１２式から得ることができる。
【００４５】
【数１１】
2008171392.tif 000013
【００４６】
【数１２】
2008171392.tif 000014
【００４７】
ここで、「（ｉ，ｊ）∈Ｐ」は、パッチでの全ての点を意味して、ｄx、ｄyは、水平方向及び垂直方向への不一致(disparity)を意味する。ｎは、パッチでのピクセル全体の数である。
【００４８】
以下、空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を図６Ａないし図６Ｄを参照して説明する。
【００４９】
図６Ａないし図６Ｄは、空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。
【００５０】
図６Ａは、オレンジパッチ(Orange)(７th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果、図６Ｂは、ブルーパッチ(Blue)(１３th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果、図６Ｃは、グリーンパッチ(Green)(１４th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果、図６Ｄは、中間グレー(Medium Gray)(２２th patch)に対する空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示している。
ここで、空間的ドメイン及び時間的ドメインでのモデリングに使用されたカメラは、Pointgrey Scorpionカメラ(映像解像度：１６００ｘ１２００、露出時間：１/７.５ｓ)である。
【００５１】
図６Ａないし図６Ｄに示したように、空間的ドメイン及び時間的ドメインでのスケルラム媒介変数は、殆ど同一であることを立証することができる。これは、明るさの差がエルゴード(ergodic)過程を見せている。不一致(disparity)が、１の時のスケルラム媒介変数が異なる推定結果よりさらに小さい。これがピクセル値の圧縮に基づいていると判断した。HITACHI HV-F２２のような非圧縮ＲＧＢ出力が可能なカメラでテストした時、このような現象がないことを確認した。空間的ドメインと時間的ドメインの結果の間に少しの差があるが、これは、時間的ドメインで分布を推正する時、パッチのうちの一つのピクセルのみを選択したからである。パッチからどのピクセルを選択したかによってスケルラム媒介変数の少しの変動があり得る。この実験では、水平方向の不一致、ｄxを１から１０まで増加させたが、垂直方向の不一致も同一な結果を有する。提案したモデリング体系がエルゴード性(ergodicity)を満足するので、提案したモデリングを単一映像に対して適用することができる。
【００５２】
以下、スケルラム媒介変数を使用して、雑音統計値を推正する方法を説明する。
スケルラムモデリングは、時間的ドメインのみならず空間的ドメインにも適用できるが、ピクセルの明るさに対応する正確なスケルラム媒介変数が分かるように映像の明るさとスケルラム媒介変数間の線形性を利用する。
【００５３】
図７Ａないし図７Ｃは、パッチのサンプルの平均とスケルラム媒介変数間の線形性を示した図である。すなわち、本発明では、映像のスケルラム媒介変数と明るさの間の線形関係によって映像の雑音分布を推正する。
【００５４】
図７Ａは、レッドチャンネル(Ｒ channel)に対する映像のスケルラム媒介変数と明るさの間の線形関係、図７Ｂは、グリーンチャンネル(Ｇ channel)に対する映像のスケルラム媒介変数と明るさの間の線形関係、図７Ｃは、ブルーチャンネル(Ｂ channel)に対する映像のスケルラム媒介変数と明るさの間の線形関係を示している。ここで、単一ピクセルからは、平均と分散の意味ある統計値の抽出が難しいので、映像の明るさとスケルラム媒介変数の間の連関関係を見せるために、パターン映像を１０,０００枚獲得した。
【００５５】
図７Ａないし図７Ｃに示したように、各パッチでの決められた位置でピクセル等のサンプルの平均に関するスケルラム媒介変数の散点度及び、サンプルの平均とスケルラム媒介変数の線形的関係を見せている。また、サンプルの平均とスケルラム媒介変数の線形関係に対応するラインを明るさ−スケルラムライン(Intensity-Skellam line)と言う。仮に、ピクセル値がサンプルの平均に近似化されて明るさ−スケルラムラインを有する傾向がある場合、スケルラム媒介変数を推正することができる。図７Ａないし図７Ｃでの直線は、カメラの振幅利得(gain)のみに変化して、場面や照明には変化しない。また、明るさ−スケルラムラインを一度決めると、振幅利得が固定されている限り、変化なしにこの直線を使用することができる。
【００５６】
以下、与えられた二つの静的映像での明るさ−スケルラムラインを推正する方法を説明する。
【００５７】
映像のスケルラム媒介変数と明るさの値のペアを有すると、このペアに当たるラインを得ることができる。仮に、時間的ドメインで特定ピクセルのスケルラム媒介変数を得るとすると、計算される統計値が充分に安定するように、少なくとも１０,０００枚の映像を必要とする。ところが、室内、室外の環境でこの程度の静的映像を獲得することは非実用的である。
【００５８】
本発明では、必要な静的映像の数を２枚に減少できるように、明るさ−スケルラムラインの推定方法を提供する。これは、１０,０００枚の映像を獲得するよりさらに実用的である。映像での各ピクセルが相互に独立的である場合、二つの映像での対応するピクセル等の明るさの差を時間的ドメインでの明るさの差の集合であると看做される。従って、任意の明るさでのスケルラム媒介変数を推正するための十分なピクセル等を有するようになる。一つのチャンネルに対する線推定アルゴリズムは、次のようになる。
【００５９】
１．１番目のフレームで明るさのヒストグラムを得て、地域最大値(local maxima)を捜す。
ｘm1,ｍ=0,1,...,Ｍ
【００６０】
２．地域最大値の周辺で第１３式を満足する二つのフレームの対応するピクセ等の集合を捜す。
【００６１】
【数１３】
2008171392.tif 000015
３．各々のＸmに対して集合スケルラム分布の平均と分散を第１４式及び第１５式と計算する。
【００６２】
【数１４】
2008171392.tif 000016
【００６３】
【数１５】
2008171392.tif 000017
【００６４】
４．第７式と第８式からスケルラム媒介変数、μ1とμ2を計算する。
【００６５】
５．一般的なＲＡＮＳＡＣ(RANdom SAmple Consensus)方法を使用して
（ｘm1，μ1）と（ｘm1，μ2）のペアに二つのラインを推正する。
【００６６】
パターン映像に対する２枚の実際の映像を獲得して、アルゴリズムに対する実験を行った。カラーパターンの映像を獲得したのは、多数の静的映像から実際の値(ground truth)に近い明るさ−スケルラムラインを求めて比べるためである。
【００６７】
以下、Ｒチャンネルでの明るさのヒストグラムと検出された地域最大値を図７を参照して説明する。
【００６８】
図８は、Ｒチャンネルでの明るさのヒストグラムと検出された地域最大値を示した図である。
【００６９】
図８に示したように、地域最大値から明るさとスケルラム媒介変数のペアを得ることができる。ここで、εの値は、１とした。また、ＲＡＮＳＡＣを通じて明るさ−スケルラムラインを決めた。
【００７０】
以下、時間的ドメインで明るさ−スケルラムラインの推定結果を図９Ａないし図９Ｃを参照して説明する。
【００７１】
図９Ａないし図９Ｃは、各チャンネルでの明るさ−スケルラムラインの推定結果を示した図である。
【００７２】
図９Ａは、Ｒチャンネルでの明るさ−スケルラムラインの推定結果、図９Ｂは、Ｇチャンネルでの明るさ−スケルラムラインの推定結果、図９Ｃは、Ｂチャンネルでの明るさ−スケルラムラインの推定結果を示している。ここで、明るさ−スケルラムラインの比較のため、１０,０００枚の静的映像から得た直線を示している。すなわち、推定された明るさ−スケルラムラインは、実際の値に比べる時、正確な結果を有する。明るさ−スケルラムラインを得る時に利用されたペアが殆ど推定されたラインの周辺にあるため、数の少ないペアを利用しても明るさ−スケルラムラインを得ることができる。
【００７３】
以下、単一映像での明るさ−スケルラムラインを推正する方法を説明する。
明るさ−スケルラムラインを推正するためには、少なくとも２枚の静的映像を必要とする。ところが、コンピュータービジョンでは、特徴点の抽出や映像分割のような単一映像を利用する分野がある。エルゴード(ergodic)の特徴に基づいて時間的ドメインの代わりに空間的ドメインでのサンプルを集めることができる。単一カラーを有するパッチを捜すと、その時のサンプルの平均に当たるスケルラム媒介変数を計算することができる。
【００７４】
また、本発明では、スケルラム媒介変数の特性を利用して適切なパッチを捜す。スケルラム(Skellam)平均は、第１１式のように周辺のピクセルの明るさの差の平均で計算される。仮に、周辺のピクセル間にカラーが変化する部分がある場合、これは、スケルラム平均の変化をもたらす。これを図１０Ａ及び図１０Ｂを参照して説明する。
【００７５】
図１０Ａ及び図１０Ｂは、境界線でのスケルラム媒介変数の変化を示した図である。
【００７６】
図１０Ａ及び図１０Ｂに示したように、境界線でのスケルラム媒介変数の変化を示すために、赤−黒の変化パッチを通じて実験を行った。すなわち、パッチが右側に移動(Ｘ position)するに従ってパッチが変化する部分を有する時、 スケルラム媒介変数が大きくなる。
【００７７】
映像が方向性を有する照明の条件で獲得されると、単一色のカラーを有するとしても、パッチでのスケルラム平均が少しずつ移動される。これを考慮するために、先ず、スケルラム平均のヒストグラムを得る。スケルラム平均のヒストグラムで最高点を捜して、この平均の移動現象を考慮する。照明が上の方向に位置しているが、実験上でスケルラム媒介変数の平均は、殆ど移動しなかった。
【００７８】
図１１Ａ及び図１１Ｂは、スケルラム媒介変数間の差に対するヒストグラムを示した図である。すなわち、図１１Ｂは、図１１Ａの入力映像に対するスケルラム平均のヒストグラムを示している。
【００７９】
図１１Ａ及び図１１Ｂに示したように、最高点が簡単に捜せて、最高点周辺のスケルラム平均を有するパッチを利用した。パッチの明るさとスケルラム媒介変数のペアは、スケルラム媒介変数の変化のため、単一直線上に位置しない。さらに、フィルタリングされないことを特徴とする。
【００８０】
本発明では、直線を推正するために簡単なＲＡＮＳＡＣアルゴリズムを適用した。パッチの分布が殆ど中心に存在するので、直線が捜し易い。従って、パッチは、時間を短縮させるため任意に１９×１９のパッチ１０００個を選択した。
【００８１】
図１２Ａないし図１２Ｃは、単一映像で映像の明るさとスケルラムラインの推定結果を示した図である。すなわち、このような推定結果から提案された雑音モデリングを単一映像に対応することができる。
【００８２】
以下、明るさの許容範囲(Intensity allowance)を決める方法を説明する。
各々の明るさの値に対してスケルラム媒介変数を有するため、スケルラム媒介変数に従って正確な分布を有するようになる。この分布に基づいてセンサー雑音によって発生する明るさの変化の許容範囲を決める。明るさの許容範囲を決める方法は、与えられた信頼区間に対して仮説を検証することである。
【００８３】
仮説を検証するために、累積分布関数(cumulative distribution function)
を有するべきである。スケルラム分布の確率密集関数が定数に対してのみ定義されているため、累積分布関数を第１６式のように計算することができる。
【００８４】
【数１６】
2008171392.tif 000018
【００８５】
臨界値(critical value)Ｉに対する採択域(acceptance region)は、第１７式のようになる。
【００８６】
【数１７】
2008171392.tif 000019
【００８７】
明るさの許容範囲ＩAは、第１８式のようになる。
【００８８】
【数１８】
2008171392.tif 000020
【００８９】
図１３に示したように、αは、（１−α）*100%の信頼区間を有するための実際の棄却率(true rejection rate)を意味するＩ型エラーの大きさである。
図１３は、与えられた確率密度関数の明るさの許容範囲を示した図である。ここで、１−αは、実線の長さの合、αは、点線の長さの合である。
【００９０】
以下、前述した雑音モデリングを境界検出に適用させる方法を説明する。
明るさの許容範囲を直接適用して境界検出に提案した雑音モデリングを適用する。
【００９１】
一般的な映像の境界検出方法及び装置は、映像雑音を軽減するために、前処理としてガウスカーネルによって映像を平坦化するが、本発明の実施例による雑音モデリングに基づいた境界検出方法及びその装置は、センサー雑音による明るさの変化の範囲を正確に分かるため、映像を平坦化させる必要がない。
【００９２】
本発明の実施例による雑音モデリングに基づいた境界検出方法及びその装置は、ガウス平坦化をしない代わりに、詳細な境界を捜すのみならず映像での雑音も軽減させることができる。
【００９３】
以下、映像内の境界を検出する方法と後処理過程を説明する。
スケルラム分布を利用して、雑音推定に基づいた正確な明るさの許容範囲を有するため、映像内の境界を簡単に検出することができる。すなわち、映像内の境界を検出する方法は、連続される映像での変化の検出方法と大変類似している。
【００９４】
例えば、境界検出部１２は、隣接するピクセル等の差が明るさの許容範囲内にある場合、境界がないと判断して、隣接するピクセル等の差が明るさの許容範囲内にない場合、実際の場面でカラーの変化があるので、境界があると判断する。水平方向と垂直方向での境界の程度は、第１９式及び第２０式のように定義される。
【００９５】
【数１９】
2008171392.tif 000021
【００９６】
【数２０】
2008171392.tif 000022
【００９７】
ここで、ＩAは、ピクセルでの明るさの許容範囲を意味し、ｃは、ＲＧＢカラーの空間での赤色、緑色、青色のカラーチャンネルを意味して、ｘ(ｉ、ｊ)は、映像の位置(ｉ、ｊ)でのピクセル値を意味する。境界の程度は、明るさの許容範囲から明るさの正規化された距離を測定する。全ての水平方向、垂直方向の境界の程度が負数である場合、そのピクセルは、エッジではないピクセルとして看做されて、負数でない場合、全ての垂直方向、水平方向の境界の程度を足す。結果的に、一つのピクセルで境界全体の程度は、第２１式のようなる。
【００９８】
【数２１】
2008171392.tif 000023
【００９９】
この境界の程度は、センサー雑音による境界の程度を先行的に軽減する。
境界の程度が全てのピクセルに対して計算されると、実際の境界が単一直線になるように非最大軽減(nonmaximum suppression)を行う。最も使用されるキャニーエッジ(Canny edge)では、非最大軽減以後、境界を連結するためにヒステリシス分類をするための二つの値を必要とする。
【０１００】
ところが、本発明では、明るさの差が雑音の分布によって決められた明るさの許容範囲を超過するため、０ではない境界の程度は、既に境界ピクセルと看做している。
【０１０１】
以下、本発明の実施例による映像の境界検出結果を図１４Ａないし図１４Ｆ及び図１５Ａないし図１５Ｆを参照して説明する。
【０１０２】
図１４Ａないし図１４Ｆは、本発明の実施例による映像の境界検出結果と キャニー(Canny)境界検出器の境界検出結果を比較して示した第１例示図である。
本発明の実施例による境界検出装置をMATLABで提供したキャニー境界検出器と比較した。ここで、本発明の実施例による境界検出装置は、信頼区間の一つの媒介変数のみを有する。
【０１０３】
図１４Ａないし図１４Ｆに示したように、キャニー境界検出器は、ガウス平坦化のスケール、ヒステリシス連結のための高い臨界値と低い臨界値の三種類の媒介変数を有している。この値を決めるのは、場合によって敏感であって、性能に大きい影響を与える。三種類の結果全てガウス平坦化のスケールは固定して、図１４Ｄのように、自動の臨界値、図１４Ｅのように、低い臨界値、図１４Ｆのように、高い臨界値で設定した。
【０１０４】
本発明の境界検出装置は、三種類のキャニー境界検出器を超える性能を有する。
低い臨界値または自動の臨界値によるキャニー境界検出器の結果に比べて本発明の境界検出結果は、誤って検出された境界の殆どを軽減させた。さらに、低い臨界値の結果に比べて、相対的に正確な細部を有している。これは、推定された雑音の分布によって各ピクセルが臨界値を異なるように決めるからである。
【０１０５】
図１５Ａないし図１５Ｆは、本発明の実施例による映像の境界検出結果と キャニー境界検出器の境界検出結果を比較して示した第２例示図である。
【０１０６】
図１５Ａないし図１５Ｆに示したように、キャニー境界検出器でガウス平坦化のスケールを変化させた時の境界検出結果を有する。キャニー(Canny)の臨界値は、MATLABから自動的に選択された。
【０１０７】
本発明は、境界の位置の推定がよく保存されたが、キャニー境界検出器では、映像雑音による予測できなかった境界を軽減するに十分な程度の高いスケールの平坦化によって位置推定が完全にできなかった。
【０１０８】
以下、多様な照明の変化による境界検出結果を図１６Ａないし図１６Ｄを参照して説明する。
【０１０９】
図１６Ａないし図１６Ｄは、多様な照明の変化による境界検出結果を示した図である。
【０１１０】
図１６Ａないし図１６Ｄに示したように、キャニー境界検出器と本発明の境界検出結果は、正規化された境界程度を見せている。暗い映像に対してキャニー境界は、低い臨界値であっても境界が捜せなかったが、本発明は、微細な境界が捜せる。明るい入力映像に対しては、普通の照明の映像での結果に類似している反復的な境界を得ることができる。ところが、キャニー境界検出器は、単一色の部分で発生する誤警報が軽減できない。
従って、本発明の実施例による映像内の境界検出方法及びその装置は、多様な照明の変化に対しても高い反復な性能を見せている。
【０１１１】
本発明が属する技術分野で通常の知識を有する者なら、本発明の本質的な特性から脱しない範囲内で、多様な修正及び変形ができる。従って、前述した実施例は、本発明の技術的思想に限られるのではない。
【０１１２】
本発明の保護範囲は、請求範囲によって解釈されて、これと同等な範囲内にある全ての技術的思想は、本発明の権利範囲に含まれると解釈されるべきである。
【図面の簡単な説明】
【０１１３】
【図１】本発明の実施例による映像の境界検出装置の構成を示した図である。
【図２Ａ】本発明による映像の境界検出の概念を示した図である。
【図２Ｂ】本発明による映像の境界検出結果を示した図である。
【図３】スケルラム分布の確率密集関数の例を示した図である。
【図４Ａ】μ1とμ2によるスケルラムとガウス分布を示した図である。
【図４Ｂ】μ1とμ2によるスケルラムとガウス分布を示した図である。
【図４Ｃ】μ1とμ2によるスケルラムとガウス分布を示した図である。
【図４Ｄ】μ1とμ2によるスケルラムとガウス分布を示した図である。
【図５Ａ】静的な映像を利用してスケルラムパラメーター推定結果を示した図である。
【図５Ｂ】静的な映像を利用してスケルラムパラメーター推定結果を示した図である。
【図５Ｃ】静的な映像を利用してスケルラムパラメーター推定結果を示した図である。
【図６Ａ】空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。
【図６Ｂ】空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。
【図６Ｃ】空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。
【図６Ｄ】空間的ドメイン及び時間的ドメインでのモデリングの結果に対する比較結果を示した図である。
【図７Ａ】パッチのサンプルの平均及びスケルラム媒介変数間の線形性を示した図である。
【図７Ｂ】パッチのサンプルの平均及びスケルラム媒介変数間の線形性を示した図である。
【図７Ｃ】パッチのサンプルの平均及びスケルラム媒介変数間の線形性を示した図である。
【図８】Ｒチャンネルに対する明るさのヒストグラム及び地域最大値を示した図である。
【図９Ａ】Ｒチャンネルでの明るさ−スケルラムラインの推定結果を示した図である。
【図９Ｂ】Ｇチャンネルでの明るさ−スケルラムラインの推定結果を示した図である。
【図９Ｃ】Ｂチャンネルでの明るさ−スケルラムラインの推定結果を示した図である。
【図１０Ａ】赤−黒パッチの単一映像を示した図である。
【図１０Ｂ】赤−黒パッチの単一映像の境界線に対するスケルラム媒介変数の変化を示した図である。
【図１１Ａ】入力映像を示した図である。
【図１１Ｂ】入力映像に対するスケルラム平均のヒストグラムを示した図である。
【図１２Ａ】入力映像に対する映像の明るさ及びスケルラムラインの推定結果を示した図である。
【図１２Ｂ】入力映像に対する映像の明るさ及びスケルラムラインの推定結果を示した図である。
【図１２Ｃ】入力映像に対する映像の明るさ及びスケルラムラインの推定結果を示した図である。
【図１３】与えられた確率密度関数の明るさの許容範囲を示した図である。
【図１４Ａ】入力映像を示した図である。
【図１４Ｂ】本発明による映像の境界検出結果を示した図である。
【図１４Ｃ】本発明による映像の境界検出結果を示した図である。
【図１４Ｄ】キャニー境界検出器の境界検出結果を示した第１例示図である。
【図１４Ｅ】キャニー境界検出器の境界検出結果を示した第１例示図である。
【図１４Ｆ】キャニー境界検出器の境界検出結果を示した第１例示図である。
【図１５Ａ】入力映像を示した図である。
【図１５Ｂ】本発明による映像の境界検出結果を示した図である。
【図１５Ｃ】本発明による映像の境界検出結果を示した図である。
【図１５Ｄ】キャニー境界検出器の境界検出結果を示した第２例示図である。
【図１５Ｅ】キャニー境界検出器の境界検出結果を示した第２例示図である。
【図１５Ｆ】キャニー境界検出器の境界検出結果を示した第２例示図である。
【図１６Ａ】多様な照明の変化による入力映像を示した図である。
【図１６Ｂ】入力映像に対するキャニー境界検出結果を示した図である。
【図１６Ｃ】入力映像に対するキャニー境界検出結果を示した図である
【図１６Ｄ】入力映像に対する本発明による映像の境界検出結果を示した図である。
【符号の説明】
【０１１４】
１１：雑音検出部
１２：境界検出部
【図１】
2008171392.tif 000033
【図２Ａ】
2008171392.tif 000034
【図２Ｂ】
2008171392.tif 000035
【図３】
2008171392.tif 000036
【図４Ａ】
2008171392.tif 000037
【図４Ｂ】
2008171392.tif 000038
【図４Ｃ】
2008171392.tif 000039
【図４Ｄ】
2008171392.tif 000040
【図５Ａ】
2008171392.tif 000041
【図５Ｂ】
2008171392.tif 000042
【図５Ｃ】
2008171392.tif 000043
【図６Ａ】
2008171392.tif 000044
【図６Ｂ】
2008171392.tif 000045
【図６Ｃ】
2008171392.tif 000046
【図６Ｄ】
2008171392.tif 000047
【図７Ａ】
2008171392.tif 000048
【図７Ｂ】
2008171392.tif 000049
【図７Ｃ】
2008171392.tif 000050
【図８】
2008171392.tif 000051
【図９Ａ】
2008171392.tif 000052
【図９Ｂ】
2008171392.tif 000053
【図９Ｃ】
2008171392.tif 000054
【図１０Ａ】
2008171392.tif 000055
【図１０Ｂ】
2008171392.tif 000056
【図１１Ａ】
2008171392.tif 000057
【図１１Ｂ】
2008171392.tif 000058
【図１２Ａ】
2008171392.tif 000059
【図１２Ｂ】
2008171392.tif 000060
【図１２Ｃ】
2008171392.tif 000061
【図１３】
2008171392.tif 000062
【図１４Ａ】
2008171392.tif 000063
【図１４Ｂ】
2008171392.tif 000064
【図１４Ｃ】
2008171392.tif 000065
【図１４Ｄ】
2008171392.tif 000066
【図１４Ｅ】
2008171392.tif 000067
【図１４Ｆ】
2008171392.tif 000068
【図１５Ａ】
2008171392.tif 000069
【図１５Ｂ】
2008171392.tif 000070
【図１５Ｃ】
2008171392.tif 000071
【図１５Ｄ】
2008171392.tif 000072
【図１５Ｅ】
2008171392.tif 000073
【図１５Ｆ】
2008171392.tif 000074
【図１６Ａ】
2008171392.tif 000075
【図１６Ｂ】
2008171392.tif 000076
【図１６Ｃ】
2008171392.tif 000077
【図１６Ｄ】
2008171392.tif 000078