(57)【要約】要約書なし。【特許請求の範囲】
【請求項１】
場面の第１の立体画像と前記場面の第２の立体画像とを利用して物体境界を改善する方法であって、前記立体画像間の対応する画素は、第１の視差度合いを持つ単一の画素要素としてそれぞれマッチングされ、前記方法は、
ａ．前記マッチングされた画素要素の１つを選択するステップと、
ｂ．再マッチングされた画素要素を生成するために前記第１の画像中の対応する画素を前記第２の画像中の隣接する画素にマッチングするステップと、
ｃ．前記再マッチングされた画素要素について第２の度合いを決定するステップと、
ｄ．前記決定された第２の度合いが前記第１の度合いと略異なるものではない場合、前記再マッチングされた画素要素を保持するステップと、
ｅ．上記ｂからｄまでのステップを各画素要素について繰り返すステップと、
を有する方法。
【請求項２】
前記第１の度合い及び前記第２の度合いはコスト関数を有する、請求項１に記載の方法。
【請求項３】
前記第２の度合いは、前記第２の度合いが所定の値の周囲の既知の範囲内にある場合に略異ならない、請求項１に記載の方法。
【請求項４】
前記所定の値は、第１の既知の値だけ加算された、複数の隣接するマッチングされた画素要素の視差値の平均視差値である、請求項３に記載の方法。
【請求項５】
前記既知の範囲は、前記所定の値の百分率として決定される、請求項３に記載の方法。
【請求項６】
前記選択された１つのマッチングされた画素要素は、行中の最初の画素要素から始めて選択される、請求項１に記載の方法。
【請求項７】
前記隣接する画素は、前記行中の少なくとも１つの後続する画素要素として選択される、請求項６に記載の方法。
【請求項８】
前記選択された１つのマッチングされた画素要素は、前記行中の最後の画素要素から始めて選択される、請求項１に記載の方法。
【請求項９】
前記隣接する画素は、前記行中の少なくとも１つの先行する画素要素として選択される、請求項８に記載の方法。
【請求項１０】
場面の第１の立体画像と前記場面の第２の立体画像とを利用して物体境界を改善する装置であって、前記立体画像間の対応する画素は、第１の視差度合いを持つ単一の画素要素としてそれぞれマッチングされ、前記装置は、
選択された行中の前記マッチングされた画素要素の１つを選択する選択器と、
再マッチングされた画素要素を生成するために前記第１の画像中の対応する画素を前記第２の画像中の隣接する画素にマッチングするマッチング器と、
前記再マッチングされた画素要素について第２の度合いを決定する視差度合い装置と、
前記第２の度合いと前記第１の度合いとの間の差異を決定する差異装置と、
前記差異が相当量でない場合に前記再マッチングされた画素要素を保持する保持装置と、
を含む装置。
【請求項１１】
前記視差度合い装置は、前記第１の度合いと前記第２の度合いとをコスト関数として決定する、請求項１０に記載の装置。
【請求項１２】
前記保持装置は、前記第２の度合いが所定の値の周囲の既知の範囲内にある場合に、前記差異は略異ならないと決定するように動作する、請求項１０に記載の装置。
【請求項１３】
前記保持装置は、第１の既知の値により加算された、複数の隣接するマッチングされた画素要素の視差値の平均として前記既知の範囲を決定するように動作する、請求項１２に記載の装置。
【請求項１４】
前記保持装置は、前記所定の値の百分率として前記既知の範囲を決定するように動作する、請求項１２に記載の装置。
【請求項１５】
前記既知の範囲は既知の下限値を含む、請求項１２に記載の装置。
【請求項１６】
前記既知の範囲は既知の上限値を含む、請求項１２に記載の装置。
【請求項１７】
前記選択器は、前記行中の最初の画素要素から始めて前記マッチングされた画素要素を選択するように動作する、請求項１０に記載の装置。
【請求項１８】
前記複数の隣接する画素要素は前記選択された画素要素に後続して選択される、請求項１７に記載の装置。
【請求項１９】
前記選択器は、前記行中の最後の画素要素から始めて前記マッチングされた画素要素を選択するように動作する、請求項１０に記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明はコンピュータ映像技術に関する。更に詳細には、本発明は画像内に知覚された物体境界の決定の改善に関する。
【０００２】
【従来の技術】
コンピュータ映像技術は、コンピュータが場面（ｓｃｅｎｅ）の画像を知覚することを可能にするかなりの発展を経験している。場面の画像又は映像を認識及び知覚するコンピュータの能力は、コンピュータにデータを入力する付加的な手段を提供するため重要である。それ故、コンピュータは場面を提示され、前記場面中の画像又は物体は後の強調、フィルタリング、彩色等のために記録されても良い。コンピュータ映像技術の一態様は、画像中の物体の深度（ｄｅｐｔｈ）の決定である。前記物体の深度の決定は、各物体の境界の決定を援助する。深度知覚を達成する１つの技術は立体画像技術を利用すること、即ち画像を記録する２つのカメラを利用することである。このとき同時に表示される画像は、前記画像中の物体の相対位置を決定するように処理される。典型的に、前記画像間の物体のマッチング（ｍａｔｃｈｉｎｇ）の決定が、一方の画像中の既知のサイズ、例えば９ｘ９行列画素の、画素の群を第２の画像中の同様の群と比較することによって実行される。これらの場合において、画像物体が十分に、即ちマッチング解像度基準より大きく離隔されている場合、前記物体境界は典型的に明確に示される。前記物体が互いにより近くに配置されていくにつれ、又は物体間の木目の（ｔｅｘｔｕｒａｌ）相違の不足が存在すると、前記物体境界の決定はより困難になる。物体境界の決定を改善する方法は当分野では知られている。例えば、Ｓ．Ｂｉｒｃｈｆｅｄ及びＣ．Ｔｏｍａｓｉによる「Ｄｅｐｔｈ  Ｄｉｓｃｏｎｔｉｎｕｉｔｉｅｓ ｂｙ  Ｐｉｘｅｌ−ｔｏ−Ｐｉｘｅｌ Ｓｔｅｒｅｏ」（「Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ  Ｖｉｓｉｏｎ」３５（３），１〜２５頁，１９９９年）に開示され、ここではスタンフォードアルゴリズム（Ｓｔａｎｆｏｒｄ ａｌｇｏｒｉｔｈｍ）と呼ばれる、ポイント・ツー・ポイントマッチングを利用する方法は、鮮明な境界を生成する。
【０００３】
【発明が解決しようとする課題】
しかしながらこれらの方法は時折、境界位置を正確に決定するのに失敗し、著しくシフトされた境界を生成する。それ故、木目（ｔｅｘｔｕｒｅ）の不足が物体境界のぼけ（ｂｌｕｒｒｉｎｇ）を引き起こすような領域において、処理の時間を増加することなく、物体境界決定を改善するニーズが存在する。
【０００４】
【課題を解決するための手段】
境界画像を改良するため決定された画素画像データを再処理することにより、同一の場面の立体画像における物体境界を改良する方法。即ち、便利な処理技術を利用することにより、２つの立体画像は単一の合成画像へと処理される。該処理は前記２つの画像の間の対応する画素のマッチングと、前記２つの画像における同一の物体の位置における視差（ｄｉｓｐａｒｉｔｙ）の差異の度合いの決定とを含む。本方法は次いで、前記合成画像から各画素を１度に１画素選択し、第１の画像中の対応する画素が第２の画像中の異なる画素に再マッチングされるように再マッチングを決定することにより、前記合成画像を再処理する。前記再マッチングされた画素の組み合わせについての第２の非類似度合いが次いで決定され、前記再マッチングされた画素の組み合わせは、前記第２の非類似度合いが第１の度合いと略異なっていない間は保持される。第２の非類似度合いは、前記第２の度合いが所定の値の周囲の既知の範囲内にある場合は、前記第１の度合いとは略異ならない。
【０００５】
【発明の実施の形態】
図は単に本発明の概念を説明する目的のためのものであり、本発明の制限の規定として意図されたものではないことは理解されるべきである。しかるべき場合には参照文字で補われた同一の参照番号は、対応する部分を識別するために各所で使用されていることは理解されよう。
【０００６】
物体境界におけるコンピュータ画像表現における画素の誤マッチングの訂正を含む、本発明の新規な特徴を理解し認識するために、はじめに従来の画像境界認識処理及びそれに付随する問題を議論する必要がある。図１ａ及び１ｂは従来の立体画像の実例である。図２は図１ａ及び１ｂに含まれる画像の画素要素をマッチングすることにより生成された視差画像の実例である。図３は従来の画像処理技術による物体境界の第１のレベルの改良の実例である。図４は理想的な望ましい画像境界解法を示す。図５ａ及び５ｃは物体境界における画素の誤マッチングの実例を示す。図６ａは本発明の原理による画素の誤マッチングの訂正を示す。図７は本発明の原理による処理例のフローチャートを示す。
【０００７】
図１ａ及び１ｂはそれぞれ、左カメラ及び右カメラによって観測された場面例を示す。本例においては、これら２つのビューは共に人物１００、椅子のひじかけ１０２、カート１０４、ブロック１０６、台１０８、看板１１０、ボード１１２、椅子１１４等のような物体を含む。知られているように、場面の立体映像はそれぞれのビューの間の画像の明らかなシフト、即ちパララックス（ｐａｒａｌｌａｘ）を生成する。前記パララックスは図１ａ及び１ｂにおいて、例えば人物１００の台１０８に対する関係に関して観測される。図１ａにおいて台１０８は、図１ｂにおけるよりもより多く人物１００によって隠されている。前記パララックスはカート１０４と人物１００の右肩に関しても観測される。
【０００８】
図２は図１ａ及び図１ｂにおける画像を組み合わせることにより形成された視差画像を示す。本例において、画像画素の差異は、例えばスタンフォードアルゴリズムのような既知の画像処理技術を利用してマッピングされる。この前記画像画素における差異のマッピング、即ち視差マッピングは、各画素についてどれだけ左と右との画像、即ちそれぞれ図１ａと図１ｂとの間でシフトされているかを規定する。この実例においては、人物１００が全体的に前記場面中の周囲の物体から識別できる。しかしながら、人物１００のかなりの部分は識別できず、周囲の領域へと広がっている。この広がりは領域２１０及び２２０として図示されている。図示されているように、ブロック１０６は周囲の背景から解像可能ではないが幾分識別できる。ブロック１０６は見ているカメラからより離れており、背景の壁により近いために、人物１００ほどにはブロック１０６は幾分識別できない。更に、領域２３０で示したように、カート１０４は背景画像に広がっている。このような、周囲の背景から物体を一意に解像できないことは、前記画像の幾つかの部分における木目の不足によって前記物体境界においてもたらされるエラーによってある程度引き起こされる。
【０００９】
図３は既知の画像処理方法を利用した画像例を示す。本例においては、領域２３０はスタンフォードアルゴリズムの後処理ステップによって訂正されている。しかしながら、該処理は領域２１０及び２２０に示された画像の広がりは識別していない。
【００１０】
図４は、例えば図１ａのような左画像及び図１ｂのような右画像から、画素をマッチングするための正しい解法を示す。この場合、網掛けされた円４０２、４０４、４０６等は右画面の例えば人物１００のような第１の物体の画素を表し、網掛けされた円４２２、４２４、４２６等は左画面の第１の物体の画素を表す。同様に、白抜きの円４６２、４６４、４６６等は右画像の例えばカート１０４のような第２の物体を表し、白抜きの円４８２、４８４、４８６等は左画像の第２の物体の画素を表す。理解されるように、前記画像間の視差シフトのため、画素４２２、４２４及び４２６は、画素４０２、４０４及び４０６に対して等シフトされている。
【００１１】
従って、左画像と右画像との間の画素の正しいマッチングは、右画像の画素４０２、４０４、４０６等が左画像の画素４２２、４２４、４２６等とマッチングされた場合に得られる。同様に、右の第２の物体の画素４６８、４７０、４７２等は左画像の第２の物体の画素４８２、４８４、４８６等とマッチングされる。図示されるように、第２の物体の画素４６２、４６６及び４６８は、両方の画像に見られない、即ちパララックス効果のため、マッチングされない。それ故、これらの画素は処理される画像から正しく除去される。
【００１２】
図４ｂはピクセル・バイ・ピクセルマッチングに関連する度合いの例、即ちコスト関数を示す。コスト関数の決定は当分野でよく知られており、上述したスタンフォードアルゴリズムを利用して得られる。
【００１３】
図５ａ及び５ｃは物体の画素の誤マッチングの２つの状況を示す。図５ａにおいて、画素の誤マッチングは例えば、左画像の第１の物体からの画素を、右画像の第２の物体の画素にマッチングさせている。図５ｃにおいては、画素の誤マッチングは、両方の画像に見られる画素を誤ってマッチングしている。この実例において、画素４８２、４８４及び４８６にマッチングされるべき画素４６８、４７０及び４７２は正しくマッチングされていない。それ故、画素４８２、４８４及び４８６は処理される画像から誤って除去され、画素４６２、４６４及び４６６は誤って含まれる。
【００１４】
図５ｂは、図５ａに図示された画素の誤マッチングについてのコスト関数への影響を示す。図示されるように、前記誤マッチングの領域において前記コスト関数の著しい増加が測定される。このタイプのエラーは、境界決定の従来の方法を利用している場合にまれに起こる。図５ｄは図５ｃに図示された画素の誤マッチングについてのコスト関数への影響を示す。この場合、正しい物体からの画素がマッチングされているため、前記コスト関数への影響は少ない又は無い。しかしながら、画素は誤ってマッチングされており、マッチングされ保持されるべきこれらの画素は実際には捨てられる。従って、前記コスト関数が悪い影響を受けていなくても、前記物体の境界はシフトされる。
【００１５】
図６ａは、図５ｃに示した例を利用して、本発明の原理による画素の誤マッチングの訂正の例を示す。この実例においては、画素マッチングの解が得られた後、例えば最小コスト関数法を利用して、前記画素のそれぞれが潜在的により良い解を決定するために再マッチングされる。前記コスト関数への影響は次いで決定され、修正されたコスト関数への影響が著しく悪くない場合、再マッチングされた画素の組み合わせが保持される。この処理は、前記コスト関数の悪い影響が決定されるまで継続する。例えば図示されるように、画素４６２、４６４及び４６８は画素４８２、４８４及び４８６に誤ってマッチングされている。同様に図示されているのは、正しくマッチングされた画素を得るために必要なリンクを表す指針６１０、６１２及び６１４である。即ち、画素４６６に誤マッチングされた画素４８６は、画素４７２にマッチングされた場合正しくマッチングされる。本発明の原理によって、画素４８６は画素４７２に再マッチングされる。各再マッチングにおいて、新たな非類似度合いが得られ、決められた範囲と比較される。視差度合いに著しい悪影響がある場合、選択された画素を再マッチングする処理は完了される。同様に、画素４８４は、画素４７０にマッチングされた場合に正しくマッチングされ、画素４８２は、画素４６８にマッチングされた場合に正しくマッチングされる。図６ｂは、画素が再マッチングされた場合、コスト関数に悪影響はないことを示す。これら再マッチングされた画素も画素の正当な組み合わせであるため、コスト関数には悪影響は観測されない。
【００１６】
図７ａは、本発明の原理による処理例のフローチャートを示す。２つの画像がマッチングされ、図２に示されたような視差画像即ちマップが生成された後、ブロック７１０において前記視差マップにおける行が選択される。ブロック７１２において、Ｘｉで示される、前記視差画像の前記選択された行中の画素が次いで選択される。ブロック７１４において、画素Ｘｉの視差度合いが、Ｘｉ＋１のような隣接する画素の視差度合いよりも大きいか否かの決定が為される。
【００１７】
ブロック７１４における前記決定が肯定的であった場合、ブロック７１６において閾値制限が決定される。ブロック７１８において、画素Ｘｉの画素（Ｘｉ−Ｍ（Ｘｉ＋１））との仮の再マッチングが行われる。ここでＭ（Ｘｉ＋１）は視差度合いである。次いで新たな非類似度合いが前記再マッチングされた画素について決定される。ブロック７２０において、前記仮の再マッチングされた画素の非類似度合いが決められた許容範囲内にあるか否かの決定が為される。該決定が肯定的であった場合、ブロック７２４において新たな画素Ｘｉ−１が選択される。
【００１８】
前記選択された次の画素が画像境界にあるか否かの決定が為される。解答が肯定的であった場合、ブロック７３０において次の行が選択される。該決定が否定的であった場合、前記選択された画素の視差は元の構成、即ちＭ０で示されるＭ（Ｘｉ）と比較される。前記選択された画素の視差度合いにおける相違が決定された場合、ブロック７１８において前記選択された画素はマッチングされたと考慮される。そうでなければブロック７２６において次の画素が選択される。
【００１９】
ブロック７２０における決定が否定的であった場合、以前のＸｉ１、Ｘｊ２の組み合わせが保持される。次いでブロック７１２において次の画素Ｘが選択される。
【００２０】
ブロック７１４における決定が否定的なものであった場合、前記選択された行中の次の画素Ｘが選択される。ブロック７２８において、前記選択された行中の最後の画素が処理されたか否かの決定が為される。該決定が否定的な場合、ブロック７１４から始めて前記選択された画素Ｘが処理される。一方該決定が肯定的な場合、ブロック７３０において次の行が選択される。次いでブロック７３２において、前記視差マップ中の全ての行が処理されたか否かの決定が為される。該決定が否定的であった場合、前記選択された行中の画素Ｘがブロック７１２から始めて処理される。
【００２１】
ブロック７３２における決定が肯定的であった場合、本処理は終了する。
【００２２】
図７ｂは、画素の再マッチングが確証されたか否かを決定するために利用される閾値制限を設定する処理例を示す。本処理例においてはブロック７５０において、仮の閾値が、既知の値だけ加算される、選択された画素Ｘに隣接する複数の画素の前記視差マップ値の平均値として決定される。ブロック７５３において、前記仮の閾値が第２の既知の値よりも大きいか否かの決定が為される。該決定が否定的である場合、閾値は前記第２の既知の値として設定される。一方該決定が肯定的である場合、ブロック７５４において前記仮の閾値が第３の既知の閾値よりも小さいか否かの決定が為される。該決定が否定的である場合、ブロック７５８において前記閾値は該第３の値に設定される。そうでなく該決定が肯定的である場合、閾値は前記仮の閾値として設定される。本発明の好適な実施例においては仮の閾値は、１０単位だけ増加される、前記選択された画素に隣接する少なくとも３つの画素、例えばＸｉ＋１、Ｘｉ＋２、Ｘｉ＋３の視差値の平均として決定される。更に、閾値は１５及び５０単位に制限される。即ち第２の既知の値は１５であり、第３の既知の値は５０である。本発明の他の態様においては、既知の値として参照される値は、複数の隣接する画素の平均の百分率として決定されても良い。更に、既知の値として参照される値の夫々は、固定値又は複数の隣接する画素の視差値の平均の百分率として選択されても良い。理解されるように、各既知の値として参照される値は本発明の原理及び精神を変更することなく相当に修正されても良い。
【００２３】
図８は、本発明の原理によって再処理された図３に示されたコンピュータ画像の例を示す。この実例においては、ブロック１０６は明確に識別され、領域２２０は椅子のひじかけ１０２及び人物１００を背景から識別する。
【００２４】
図７ａ及び７ｂに開示された方法は、前景の物体が境界の左にあり、ことによると前記画像の右にオーバーランする場合に、物体境界を訂正する処理を表す。理解されるように、前景の物体が境界の右にある場合の境界の訂正のための、同一の及び対称の処理が実施化されても良い。同一の処理は、左画像と右画像とを及び各行における画素の処理の方向を交換することにより、図７ａ及び７ｂに図示された処理から得られることができる。それ故、一実施例においては、マッチングされた画素要素は、例えば最も左の画素要素から始めて選択され、選択された要素に後続する画素要素が選択される。同一で対称の処理においては、マッチングされた画素要素は、最も右の画素要素から始めて選択され、画素要素は選択された要素の前のものとして選択される。２つの処理、即ち図７ａ及び７ｂに図示されたものと、その同一及び対称の処理とを利用して、図８において２１０及び８１０として示された領域において図示されるように、物体境界はより明確に定められ得る。
【００２５】
本発明は、ある程度の特殊性をもつ好適な形式において説明され描写されたが、該好適な形式の本開示は、例としてのみ為されたものであり、構造の詳細における多くの変更並びに各部分の組み合わせ及び構成が、以下に請求される本発明の精神及び範囲から逸脱することなく為されても良いことは理解されよう。同一の結果を達成する略同一の方法により略同一の機能を実行する要素及び／又は方法ステップの全ての組み合わせは、本発明の範囲内にあるということは明確に意図されている。実施例に記述された要素から他のものへの要素の代替も十分に意図され考慮されたものである。
【図面の簡単な説明】
【図１ａ】図１ａ及び図１ｂは立体画像カメラシステムを利用して表示された２つの画像を示す。
【図１ｂ】図１ａ及び図１ｂは立体画像カメラシステムを利用して表示された２つの画像を示す。
【図２】図１ａ及び図１ｂに示された２つの画像の知覚された視差画像を示す。
【図３】図２に示された知覚コンピュータの一処理例を示す。
【図４ａ】２つの画像間の画素の正しいマッチング例を示す。
【図４ｂ】正しくマッチングされた図４ａに示された画素の非類似度合いの例を示す。
【図５ａ】２つの画像間の画素の誤マッチングの例を示す。
【図５ｂ】誤マッチングされた図５ａに示された画素の度合いの例を示す。
【図５ｃ】２つの画像間の画素の誤マッチングの第２の例を示す。
【図５ｄ】誤マッチングされた図５ｃに示された画素の度合いの例を示す。
【図６ａ】本発明の原理による２つの予期される画像間の画素の再マッチングの例を示す。
【図６ｂ】本発明の原理による再マッチングされた図６ａに示された画素の度合いの例を示す。
【図７ａ】本発明の原理による処理例を示すフローチャートを示す。
【図７ｂ】本発明の原理による処理例を示す第２のフローチャートを示す。
【図８】本発明の原理により処理された図２のコンピュータ画像例を示す。
【図７ａ】
2004519048.tif 000002
【図７ｂ】
2004519048.tif 000003
【国際公開パンフレット】
2004519048.tif 000004
2004519048.tif 000005
2004519048.tif 000006
2004519048.tif 000007
2004519048.tif 000008
2004519048.tif 000009
2004519048.tif 000010
2004519048.tif 000011
2004519048.tif 000012
2004519048.tif 000013
2004519048.tif 000014
2004519048.tif 000015
2004519048.tif 000016
2004519048.tif 000017
2004519048.tif 000018
2004519048.tif 000019
2004519048.tif 000020
2004519048.tif 000021
2004519048.tif 000022
2004519048.tif 000023
2004519048.tif 000024
【国際公開パンフレット（コレクトバージョン）】
2004519048.tif 000025
2004519048.tif 000026
2004519048.tif 000027