(57)【要約】  ターゲットオブジェクトのインスタンスを含む取込み画像を解析する方法であって、複数の異なる輝度閾値レベルの各々に対し、取り込まれたデジタル画像内のどの位置で、その取込みデジタル画像のピクセル値がそれぞれの輝度閾値レベルをクロスしたかを示す輪郭を、取り込まれたデジタル画像から生成するステップと、各々の輝度閾値レベルのうち少なくとも二つを使って導出した輪郭のうち、実質的に類似する画像位置で検出される、該ターゲットオブジェクトの特性に対応する輪郭のインスタンスを識別するステップと、ターゲットオブジェクトの対応する輪郭の二つ以上のインスタンスに基づき、取込み画像における表示に対して、ターゲットオブジェクトの特性をマップするホモグラフィを推定するステップと、を備えることを特徴とする方法。【選択図】図４
2010541087.tif 000002
【特許請求の範囲】
【請求項１】
ターゲットオブジェクトのインスタンスを含む取込み画像を解析する方法であって、
複数の異なる輝度閾値レベルの各々に対し、取り込まれたデジタル画像内のどの位置で、その取込みデジタル画像のピクセル値がそれぞれの輝度閾値レベルをクロスしたかを示す輪郭を、取り込まれたデジタル画像から生成するステップと、
各々の輝度閾値レベルのうち少なくとも二つを使って導出した輪郭のうち、実質的に類似する画像位置で検出される、該ターゲットオブジェクトの特性に対応する輪郭のインスタンスを識別するステップと、
ターゲットオブジェクトの対応する輪郭の二つ以上のインスタンスに基づき、取込み画像における表示に対して、ターゲットオブジェクトの特性をマップするホモグラフィを推定するステップと、を備えることを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、各々の輝度閾値レベルに対する輪郭を生成するステップは、
取り込まれたデジタル画像に対して、ある閾値としての輝度レベルを適用し、閾値より下のピクセルを第一の状態に設定し、閾値よりも上のピクセルを第二の状態に設定するステップと、
取込みデジタル画像のピクセル値が、第一の状態と第二の状態の間で変化をする画像位置に一致する輪郭を生成するために、結果として生じる二つの状態の画像に対して、エッジ検出アルゴリズムを適用するステップと、を備えることを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、各々の輝度閾値レベルに対する輪郭を生成するステップは、
取込み画像の各ピクセルについて、
該ピクセルおよび少なくとも垂直方向隣および水平方向隣に配列されたピクセルと、選択された各輝度レベルとを比較するステップと、
比較された三つのピクセルすべてが、選択された各輝度レベルよりも、高い状態ではなく、または低い状態でもない場合、輪郭画像の対応するピクセルを輪郭の一部としてマークするステップと、を備えることを特徴とする方法。
【請求項４】
請求項１から請求項３のいずれか一つに記載の方法であって、
選択された輝度レベルの隣接するペアについて、対応する輪郭画像を所定のサイズの領域に分割し、その分割された各領域について、分割領域内のいずれかの場所に輪郭が存在するか否かを識別するステップと、
他の輪郭画像からの対応する分割領域が輪郭を備えていない場合の分割領域内に位置する輪郭を廃棄するステップと、を備えることを特徴とする方法。
【請求項５】
前記各項のいずれか一つに記載の方法であって、
ターゲットオブジェクトの特性は、特徴的な関係を満足する二つまたはそれ以上のエッジを有する閉形状から成り、
インスタンスを識別するステップは、
閉じた輪郭を検出するステップと、
所定の許容差内の特徴的な関係を満足する閉じた輪郭を、候補インスタンスとして選択するステップと、を含むことを特徴とする方法。
【請求項６】
請求項５に記載の方法であって、前記特徴的な関係は、
i.  同心の輪郭のペアである閉形状のエッジを表す輪郭と、
ii.  所定の相対距離によって分離された輪郭のペアである閉形状のエッジを表す輪郭と、
iii.  所定のサイズ比の輪郭のペアである閉形状のエッジを表す輪郭と、
から成るリストから選択されたものを一つまたは複数含むことを特徴とする方法。
【請求項７】
前記各項のいずれか一つに記載の方法であって、ホモグラフィを推定するステップは、
前記特性に一致する輪郭の二つまたはそれ以上のインスタンスに全体として最良適合するものを提供する、最良適合形状を検出するステップと、
該検出された最良適合形状に基づいてホモグラフィを推定するステップと、を備えることを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、最良適合形状を決定するステップは、
前記特性に一致する輪郭の二つまたはそれ以上のインスタンスの線分に該当するそれぞれの集合について、最良適合するラインを検出するステップと、
交点により境界をつけた場合、最良適合する検出ラインに該当する全体として最良適合する形状を検出するステップと、を備えることを特徴とする方法。
【請求項９】
請求項７または請求項８に記載の方法であって、
前記特性が回転対称となり得る角度ずつ、ターゲットオブジェクトの特性の基準画像を回転するステップと、
このような可能性のある各角度に対して、前記ホモグラフィに基づいてターゲットオブジェクトの基準画像を変換するステップと、
ターゲットオブジェクトの変換された基準画像を取込み画像内のターゲットオブジェクトと比較するステップと、
最も近い類似性を生じた角度を、取込み画像内の特性に対して最も可能性のあるオリエンテーションであるとして選択するステップを、を備えることを特徴とする方法。
【請求項１０】
画像解析装置であって、
複数の異なる輝度閾値レベルの各々に対し、取り込まれたデジタル画像内のどの位置で、その取込みデジタル画像のピクセル値がそれぞれの輝度閾値レベルをクロスしたかを示す輪郭を、取り込まれたデジタル画像から生成するよう動作可能な画像処理部と、
各々の輝度閾値レベルのうち少なくとも二つを使って導出した輪郭のうち、実質的に類似する画像位置で検出される、該ターゲットオブジェクトの特性に対応する輪郭のインスタンスを識別するよう動作可能な特性識別部と、
ターゲットオブジェクトの対応する輪郭の二つ以上のインスタンスに基づき、取込み画像における表示に対して、ターゲットオブジェクトの特性をマップするホモグラフィを推定するよう動作可能なホモグラフィ変換推定部と、を備えることを特徴とする画像解析装置。
【請求項１１】
請求項１０に記載の装置であって、
取り込まれたデジタル画像に対して、ある閾値として選択された輝度レベルを適用し、閾値より下のピクセルを第一の状態に設定し、閾値よりも上のピクセルを第二の状態に設定するよう動作可能な輝度レベル閾値判定部と、
取込みデジタル画像のピクセル値が、第一の状態と第二の状態の間で変化をする画像位置に一致する輪郭を生成するために、結果として生じる二つの状態の画像のエッジを検出するよう動作可能なエッジ検出部と、を備えることを特徴とする装置。
【請求項１２】
請求項１０に記載の装置であって、前記画像処理部は、
ピクセルおよび少なくとも垂直方向隣および水平方向隣に配列されたピクセルと、選択された各輝度レベルとを比較するよう動作可能なピクセル比較部と、
比較された三つのピクセルすべてが、選択された各輝度レベルよりも、高い状態ではなく、または低い状態でもない場合、輪郭画像の対応するピクセルを輪郭の一部としてマークするよう動作可能なピクセル値設定部と、とを備えることを特徴とする装置。
【請求項１３】
請求項１０から請求項１２のいずれか一つに記載の装置であって、前記画像処理部は、
選択された輝度レベルの隣接するペアに対応する輪郭画像に関して、前記二つの選択された輪郭画像を所定のサイズの領域に分割し、その分割された各領域について、分割領域内のいずれかの場所に輪郭が存在するか否かを識別するよう動作可能な画像分割部と、
他の輪郭画像からの対応する分割領域が輪郭を備えていない場合の分割領域内に位置する輪郭を廃棄するよう動作可能な画像変更部と、を備えることを特徴とする装置。
【請求項１４】
請求項１０から請求項１３にいずれかに記載の装置であって、
前記ターゲットオブジェクトの特性は、特徴的な関係を満足する二つまたはそれ以上のエッジを有する閉形状から成り、
前記特性識別部は、
閉じた輪郭を検出するよう動作可能な検出部と、
所定の許容差内の特徴的な関係を満足する閉じた輪郭を、候補インスタンスとして選択するよう動作可能な輪郭選択部と、を備えることを特徴とする装置。
【請求項１５】
請求項１４に記載の装置であって、前記特徴的な関係は、
i.  同心の輪郭のペアである閉形状のエッジを表す輪郭と、
ii.  所定の相対距離によって分離された輪郭のペアである閉形状のエッジを表す輪郭と、
iii.  所定のサイズ比の輪郭のペアである閉形状のエッジを表す輪郭と、
から成るリストから選択されたものを一つまたは複数含むことを特徴とする装置。
【請求項１６】
請求項１０から請求項１５のいずれか一つに記載の装置であって、ホモグラフィ変換推定部は、
前記特性のインスタンスに一致する輪郭の二つまたはそれ以上のインスタンスに全体として最良適合するものを提供する、最良適合形状を検出するよう動作可能な最良適合検出部を備えることを特徴とする装置。
【請求項１７】
請求項１６に記載の装置であって、最良適合検出部は、
前記特性のインスタンスに同様に一致する輪郭の二つまたはそれ以上のインスタンスの線分に該当するそれぞれの集合について最良適合するラインを検出するよう動作可能な最良適合ライン検出部と、
交点により境界をつけた場合、最良適合する検出されたラインに該当する全体として最良適合する形状を検出するよう動作可能なライン交点検出部と、を備えることを特徴とする方法。
【請求項１８】
請求項１６または請求項１７に記載の装置であって、前記最良適合検出部は、
前記特性が回転対称となり得る角度ずつ、ターゲットオブジェクトの特性の基準画像を回転するよう動作可能な画像回転部と、
このような可能性のある各角度に対して、前記ホモグラフィに基づいてターゲットオブジェクトの基準画像を変換するよう動作可能な基準画像変換部と、
ターゲットオブジェクトの変換された基準画像を、取込み画像内のターゲットオブジェクトと比較するよう動作可能な画像比較部と
最も近い類似性を生じた角度を、取込み画像内の特性に対して最も可能性のあるオリエンテーションであるとして選択するよう動作可能な角度選択部と、を備えることを特徴とする装置。
【請求項１９】
請求項１から請求項９のいずれか一つのステップを実現するためのコンピュータプログラム。
【請求項２０】
請求項１９によるコンピュータプログラムを有する、機械読取可能な記憶媒体を備えたコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像解析装置およびその方法に関する。
【背景技術】
【０００２】
従来の拡張現実システムは、実環境のビデオ・キャプチャ内に仮想オブジェクトを統合させようとするものである。これは、いわゆる「マジック・ウィンドウ」という形をとることが可能である。このマジック・ウィンドウでは、カメラとディスプレイを組み合わせたものを、実世界をに対して移動させ、実世界の特徴が視界に入ると、該当する仮想エレメントを追加する（例えば、http://studierstube.icg.tu-graz.ac.at/handheld_ar/artoolkitplus.phpを参照）。もうひとつの方法として、カメラは固定させ、カメラの視野において、実世界のオブジェクトの位置およびオリエンテーションを確定させることが可能であり、これによって、オブジェクトを適切に拡張させることができる。例えば、http://www.pervasive.ifi. lmu.de/workshops/w3/papers_2005/PerGames2005_TARBoard_WLee.pdfを参照のこと。通常これは、実世界のオブジェクトのオリエンテーションに一致するように描写されたグラフィカルオーバーレイまたは対応する仮想エンティティの形をとる。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】http://studierstube.icg.tu-graz.ac.at/handheld_ar/artoolkitplus.php
【非特許文献２】http://www.pervasive.ifi. lmu.de/workshops/w3/papers_2005/PerGames2005_TARBoard_WLee.pdf
【発明の概要】
【発明が解決しようとする課題】
【０００４】
後者の拡大現実の形式に関連しては、いくつかの問題点がある。第一の問題点は、実世界オブジェクト（通常、ハイコントラストなマーキングを伴ったキューブまたはカード）の配置およびオリエンテーションを識別し、常に変わることなく決定することにある。通常の家庭環境またはオフィス環境においては、実世界ターゲットオブジェクトに類似するオブジェクトが数多く存在し、ターゲットオブジェクトの形状によっては、そのオリエンテーションが曖昧になる場合がある。第二の問題点は、このような実世界オブジェクトを照らすための照明は状況によって変化するので、さらにこの識別を困難にするということにある。第三の問題点は、実世界オブジェクトに対して、仮想オブジェクトを忠実に位置決めし、または向上させて、それらの動きが一致するように見えるようにすることにある。さらに、リアルタイムにビデオフィードするためにこれらの問題を解決しなければならない。
【０００５】
本発明の実施例は、上記の問題に対処し、緩和または軽減することを目的とする。
【０００６】
本発明の第一の態様において、取込み画像を解析する方法は、複数の異なる輝度閾値レベルの各々に対し、取り込まれたデジタル画像内のどの位置で、その取込みデジタル画像のピクセル値がそれぞれの輝度閾値レベルをクロスしたかを示す輪郭を、取り込まれたデジタル画像から生成するステップと、各々の輝度閾値レベルのうち少なくとも二つを使って導出した輪郭のうち、実質的に類似する画像位置で検出される、該ターゲットオブジェクトの特性に対応する輪郭のインスタンスを識別するステップと、ターゲットオブジェクトの対応する輪郭の二つ以上のインスタンスに基づいて、取込み画像における表示に対して、ターゲットオブジェクトの特性をマップするホモグラフィを推定するステップと、を備える。
【０００７】
本発明の別の態様において、画像解析装置は、複数の異なる輝度閾値レベルの各々に対し、取り込まれたデジタル画像内のどの位置で、その取込みデジタル画像のピクセル値がそれぞれの輝度閾値レベルをクロスしたかを示す輪郭を、取り込まれたデジタル画像から生成するよう動作可能な画像処理部と、各々の輝度閾値レベルのうち少なくとも二つを使って導出した輪郭のうち、実質的に類似する画像位置で検出される、該ターゲットオブジェクトの特性に対応する輪郭のインスタンスを識別するよう動作可能な機能識別部と、ターゲットオブジェクトの対応する輪郭の二つ以上のインスタンスに基づき、取込み画像における表示に対して、ターゲットオブジェクトの特性をマップするホモグラフィを推定するよう動作可能なホモグラフィ変換部と、を備える。
【０００８】
従って利点としては、それぞれ異なる輝度閾値レベルで生成される輪郭に基づいてホモグラフィを推定することにより、ビデオ・シーケンスにおける連続画像に対する連続したホモグラフィは、対象の照明条件におけるフレーム間変化に応答して、変動性をより少なく示すことができる。その結果、このようなホモグラフィに依存して画像に適用されるデジタル拡張が、画像内で基礎となっているターゲットオブジェクトと、時間とともに、より安定して対になっているように見える。さらに、複数の各輝度閾値レベルを用いることにより、生じている照明条件を調整する必要性、あるいはその詳細を明らかにする必要性が軽減される。
【０００９】
本発明の更なる態様および特徴はそれぞれ、添付の請求の範囲により定義される、動作に対応する方法を適宜含む。
【００１０】
以下、添付の図面を参照し、本発明の実施例について一例として説明する。
【図面の簡単な説明】
【００１１】
【図１】図１は、エンタテインメント装置の概略図である。
【図２】図２は、セルプロセッサの概略図である。
【図３】図３は、ビデオ・グラフィックス・プロセッサの概要図である。
【図４】図４は、本発明の実施例による画像拡張処理の概略フロー図である。
【図５】図５は、本発明の実施例による画像解析処理の概略フロー図である。
【図６Ａ】図６Ａは、本発明の実施例に従い、画像キャプチャと、異なる黒白閾値により生成される取込み画像のさまざまな黒白バージョンを概略的に示す図である。
【図６Ｂ】図６Ｂは、本発明の実施例に従い、画像キャプチャと、異なる黒白閾値により生成される取込み画像のさまざまな黒白バージョンを概略的に示す図である。
【図６Ｃ】図６Ｃは、本発明の実施例に従い、画像キャプチャと、異なる黒白閾値により生成される取込み画像のさまざまな黒白バージョンを概略的に示す図である。
【図６Ｄ】図６Ｄは、本発明の実施例に従い、画像キャプチャと、異なる黒白閾値により生成される取込み画像のさまざまな黒白バージョンを概略的に示す図である。
【図６Ｅ】図６Ｅは、本発明の実施例に従い、画像キャプチャと、異なる黒白閾値により生成される取込み画像のさまざまな黒白バージョンを概略的に示す図である。
【図７Ａ】図７Ａは、本発明の実施例に従い、取込み画像のある黒白バージョンから導出した輪郭を概略的に示す図である。
【図７Ｂ】図７Ｂは、本発明の実施例に従い、取込み画像のある黒白バージョンから導出した輪郭を概略的に示す図である。
【図７Ｃ】図７Ｃは、本発明の実施例に従い、取込み画像のある黒白バージョンから導出した輪郭を概略的に示す図である。
【図８】図８は、本発明の実施例に従い、ターゲットオブジェクトと、結果として生じる輪郭パターンを示す概略図である。
【図９Ａ】図９Ａは、本発明の実施例に従い、ターゲットオブジェクトのポジション推定値を概略的に示す図である。
【図９Ｂ】図９Ｂは、本発明の実施例に従い、ターゲットオブジェクトのポジション推定値を概略的に示す図である。
【図１０Ａ】図１０Ａは、二つの代替となるオブジェクト・オリエンテーションに適合する同じ輪郭を概略的に示す図である。
【図１０Ｂ】図１０Ｂは、二つの代替となるオブジェクト・オリエンテーションに適合する同じ輪郭を概略的に示す図である。
【発明を実施するための形態】
【００１２】
拡張現実アプリケーション用に画像を解析する方法及び装置を開示する。以下の説明において、いくつかの具体的な詳細事項は、本発明の実施例について十分な理解を図るために示すものである。しかしながら、本発明を実施するためにこれらの具体的な詳細事項を採用する必要がないことは当業者にとって明らかである。逆にいえば、当業者にとって周知の具体的詳細事項は、本発明の実施例における明瞭化のために必要に応じて省略される。
【００１３】
本発明の実施例の概要において、ビデオカメラを備えた装置は、少なくとも一つのターゲットオブジェクトを組み込んだ画像を取り込み、当ターゲットオブジェクトは特徴的マーキングの形態をいくつか有し、さらに、実世界のターゲットオブジェクトに対して、グラフィカルオブジェクトまたはパターンなどの仮想拡張を、その画像内に重畳させる。このように仮想拡張を配置することは、この取込み画像内で該ターゲットオブジェクトまたは各ターゲットオブジェクトの位置およびオリエンテーションを推定することに依存する。これは、取込み画像の黒白バージョンにおいて、特徴的マーキングの輪郭を識別し、これらの輪郭とデフォルトのポジション／オリエンテーションの輪郭パターンとの間でトランスフォームまたはホモグラフィを演算することにより実現する。位置推定に対してランダムジッタを与えてしまう可能性がある、連続する画像キャプチャ間の解像度、ライティングおよびビデオノイズにおける変動を軽減するため、輪郭は、オリジナルの取込み画像の複数の黒白バージョンから導出され、それぞれのバージョンは、黒白値をアサインするための輝度閾値についてそれぞれ異なるものを用いることにより、異なる有効露光量を提供する。結果として生じる、各々のターゲットオブジェクトに対する複数の輪郭推定値は、最も適する輪郭を生成するために使用され、該ターゲットまたは各々のターゲットオブジェクトに対するホモグラフィを、その輪郭から導出することができる。このような方法で導出されたホモグラフィは、変化する照明条件下においても長期にわたり比較的安定している。というのは、単一の露光レベルで境界が決められた連続する画像の間で起こりうる光の変動をしのぐ、さまざまな有効露光レベルの平均を基礎としているからである。結果として、ビデオ・シーケンスにおいて、従来のシステムの場合よりも、ターゲットオブジェクトに対して、この仮想拡張はかなり安定して見えるようになる。
【００１４】
本発明の実施例において、該装置は、ソニー（登録商標）プレイステーション３（登録商標）エンタテインメント装置であり、対応するビデオカメラに接続されている。
【００１５】
図１は、ソニー（Sony：登録商標）プレイステーション３（Playstation3：登録商標）エンタテイメント装置の全体システム構造を概略的に示したものである。システムユニット１０は、このシステムユニットに接続可能なさまざまな周辺機器を備える。
【００１６】
システムユニット１０は、セルプロセッサ１００と、ランバス（Rambus：登録商標）ダイナミック・ランダムアクセスメモリ（ＸＤＲＡＭ）ユニット５００と、専用のビデオ・ランダムアクセスメモリ（ＶＲＡＭ）ユニット２５０を有するリアリティ・シンセサイザー・グラフィクス・ユニット（Reality Synthesizer graphics unit）２００と、Ｉ／Ｏブリッジ７００と、を備える。
【００１７】
システムユニット１０はまた、ディスク４４０から読み出しを行うブルーレイ（Blu Ray：登録商標）ディスクＢＤ-ＲＯＭ（登録商標）光学ディスクリーダー４３０、および取外し可能スロットインハードディスクドライブ（ＨＤＤ）４００を備え、Ｉ／Ｏブリッジ７００を介してアクセス可能である。任意に、システムユニットはさらに、コンパクトフラッシュ（登録商標）メモリーカード、メモリースティック（Memory Stick：登録商標）メモリーカード等から読み出しを行う、メモリー・カードリーダー４５０を備え、同様にＩ／Ｏブリッジ７００を介してアクセス可能である。
【００１８】
このＩ／Ｏブリッジ７００もまた、４本のユニバーサル・シリアル・バス（USB）２．０ポート７１０、ギガビットイーサネット（登録商標）（gigabit Ethernet：登録商標）ポート７２０、ＩＥＥＥ８０２．１１ｂ／ｇ無線ネットワーク（Wi-Fi）ポート７３０、および最大７本までブルートゥース接続をサポートすることが可能なブルートゥース（Bluetooth：登録商標）無線リンクポート７４０に接続される。
【００１９】
動作中、Ｉ／Ｏブリッジ７００は、一台または複数台のゲーム・コントローラ７５１からのデータを含む、すべての無線、ＵＳＢ、およびイーサネット（登録商標）データを処理する。例えば、ユーザーがゲームをする際、Ｉ／Ｏブリッジ７００は、ブルートゥース・リンクを介してゲーム・コントローラ７５１からのデータを受信し、そのデータをセルプロセッサ１００へと導く。それに従い、セルプロセッサは、ゲームの現在の状態を更新する。
【００２０】
ゲーム・コントローラ７５１に加え、無線、ＵＳＢおよびイーサネット（登録商標）ポートはまた、他の周辺機器に対する接続を提供する。この周辺機器は例えば、遠隔制御装置７５２、キーボード７５３、マウス７５４、ソニープレイステーションポータブル（Sony Playstation Portable：登録商標）エンタテインメント装置のような携帯エンタテインメント装置７５５、アイトイ（EyeToy：登録商標）ビデオカメラ７５６のようなビデオカメラ、およびマイクロホン・ヘッドセット７５７等である。従って、このような周辺デバイスは、原則としてはワイヤレスでシステムユニット１０に接続される。例えば、マイクロホン・ヘッドセット７５７がブルートゥース・リンクを介して通信中に、携帯エンタテインメント装置７５５はＷｉ−Ｆｉアドホック接続を介して通信を行うことができる。
【００２１】
これらのインターフェースが提供されるということは、プレイステーション３装置はまた、デジタル・ビデオレコーダ（DVRs）、セットトップボックス、デジタル・カメラ、携帯メディアプレーヤー、ＩＰ電話、携帯電話、プリンタ、およびスキャナ等の、他の周辺デバイスに対応できる可能性が潜在的にあることを意味する。
【００２２】
さらに、レガシーメモリーカードリーダー４１０を、ＵＳＢポート７１０を介してシステムユニットに接続することにより、プレイステーション（Playstation：登録商標）やプレイステーション２（Playstation2：登録商標）により使用される種類のメモリーカード４２０からの読み出しを可能にする。
【００２３】
実施例において、ゲーム・コントローラ７５１は、ブルートゥース・リンクを介して無線でシステムユニット１０と通信するように動作可能である。しかし、ゲーム・コントローラ７５１は、その代わりにＵＳＢポートに接続することが可能であり、これにより、ゲーム・コントローラ７５１のバッテリを充電する電力を供給できる。一つまたは複数のアナログ・ジョイスティックおよび従来の制御ボタンに加え、ゲーム・コントローラも各軸の並進および回転に対応して６自由度の動きに対して感度が高い。結果的に、ゲーム・コントローラのユーザーによるジェスチャおよび動きは、従来のボタンまたはジョイスティック・コマンドに加えて、またはその代わりに、ゲームに対する入力として変換できる。任意に、プレイステーション・ポータブル装置等の、無線で使用可能な他の周辺デバイスを制御装置として使用できる。プレイステーション・ポータブル装置の場合、増設ゲームまたは制御情報（例えば、制御命令またはライフ数）を、装置のスクリーン上に提供できる。他の代替となるまたは補助的な制御装置も使用可能である。例えば、ダンス・マット（図示せず）、ライトガン（図示せず）、ハンドルおよびペダル（図示せず）、または、例えば早押しクイズゲーム（これも図示せず）用の単一のまたは数個の大きいボタン、といったような特注の制御装置などが使用可能である。
【００２４】
遠隔制御装置７５２もまた、ブルートゥース・リンクを介して無線でシステムユニット１０と通信するように動作可能である。遠隔制御装置７５２は、ブルーレイディスクＢＤ−ＲＯＭリーダ４３０の動作と、ディスクコンテンツのナビゲーションに適する制御を備えている。
【００２５】
ブルーレイディスクＢＤ−ＲＯＭリーダ４３０は、従来の記録済み追記型ＣＤ、および、いわゆるスーパーオーディオＣＤに加えて、プレイステーションおよびプレイステーション２装置と互換性があるＣＤ−ＲＯＭを読みとるように動作可能である。リーダ４３０は、また、従来の記録済み追記型ＤＶＤに加えて、プレイステーション２およびプレイステーション３装置と互換性があるＤＶＤ−ＲＯＭを読みとるように動作可能である。リーダ４３０は、さらに、従来の記録済み追記型ブルーレイディスクだけでなく、プレイステーション３装置と互換性があるＢＤ−ＲＯＭを読みとるように動作可能である。
【００２６】
システムユニット１０は、ディスプレイ３０５と一つまたは複数のラウドスピーカー３１０を有するモニターまたはテレビセットなどの表示音響出力装置３００に対して、リアリティ・シンセサイザ・グラフィックス・ユニット２００を介してプレイステーション３装置によって作成またはデコードされたオーディオおよびビデオを、オーディオ・ビデオコネクタを通じて供給するよう動作可能である。ビデオ・コネクタ２２０が、コンポーネント・ビデオ、Ｓ-ビデオ、コンポジット・ビデオ、および一つまたは複数の高解像度マルチメディアインターフェース（ＨＤＭＩ）出力などさまざまなものを含む一方、オーディオ・コネクタ２１０は、従来のアナログおよびデジタル出力を含む。よって、ビデオ出力は、ＰＡＬまたはＮＴＳＣ等の形式であるか，または７２０Ｐ，１０８０ｉ、または１０８０ｐ高解像度である。
【００２７】
オーディオ処理（作成、デコーディング等）は、セルプロセッサ１００により実行される。プレイステーション３装置のオペレーティングシステムは、ドルビー（Dolby：登録商標）５．１サラウンドサウンド、ドルビー（Dolby：登録商標）シアター・サラウンド（ＤＴＳ）、およびブルーレイ（Blu-Ray：登録商標）ディスクからの７．１サラウンドサウンドのデコーディングをサポートする。
【００２８】
本実施例において、ビデオカメラ７５６は、単一の電荷結合素子（ＣＣＤ）、ＬＥＤインジケータ、およびハードウェアベースのリアルタイムデータ圧縮エンコーディング装置を備える。これにより、圧縮されたビデオデータを、ＭＰＥＧ（モーション・ピクチャ・エキスパート・グループ）標準をベースとする内部画像等の適切なフォーマットで送信し、システムユニット１０がデコードすることができる。カメラＬＥＤインジケータは、システムユニット１０からの適切なコントロールデータに応答して、例えば、照明状況が悪いなどを示すために点灯するよう配置される。ビデオカメラ７５６の具体例は、ＵＳＢ、ブルートゥース、またはＷｉ−Ｆｉ通信ポートを介して、システムユニット１０にさまざまな形で接続可能である。ビデオカメラの具体例は、一つまたは複数の対応するマイクを有することができ、更にオーディオデータを送信することが可能である。ビデオカメラの具体例において、ＣＣＤは、高解像度ビデオ・キャプチャに適する解像度を備えることができる。使用の際、ビデオカメラによって取り込まれる画像は、例えば、ゲーム内に組み込まれるか、または、ゲームコントロール入力として解釈される。
【００２９】
一般に、システムユニット１０の通信ポートの一つを介して、ビデオカメラや遠隔制御装置等の周辺デバイスとの間で生じるデータ通信を正常に行うために、デバイスドライバのような適切なソフトウェアを備えなければならない。デバイスドライバ技術は周知であるので、ここでは詳細を記載しないが、当業者であれば、デバイスドライバまたは同様のソフトウェア・インターフェースが、ここに記載される本実施例において必要であることを認識するはずである。
【００３０】
ここで図２を参照すると、セルプロセッサ１００は、四つの基本コンポーネントを備えたアーキテクチャを有する。すなわち、メモリ・コントローラ１６０とデュアルバス・インターフェース・コントローラ１７０Ａ，Ｂを備えた外部入出力構造と、パワー・プロセッシング・エレメント（Power Processing Element)１５０と呼ばれるメインプロセッサと、シナジスティック・プロセッシング・エレメント（Synergistic Processing Elements：ＳＰＥｓ）１１０Ａ〜Ｈと呼ばれる８つのコプロセッサと、エレメント・インターコネクト・バス（Element Interconnect Bus）１８０と呼ばれる、上記のコンポーネントを接続する環状データバスである。プレイステーション２装置のエモーション・エンジンの６．２ＧＦＬＯＰｓと比べて、セルプロセッサの全体の浮動小数点演算性能は、２１８ＧＦＬＯＰｓである。
【００３１】
パワー・プロセッシング・エレメント（ＰＰＥ：Power Processing Element)１５０は、両方向同時マルチスレッドパワー（two-way simultaneous multithreading Power）９７０に適合し、３．２ＧＨｚ内部クロックで稼働するパワーＰＣコア（ＰＰＵ：PowerPC core）１５５を基礎とする。また、ＰＰＥは、５１２ｋＢレベル２（Ｌ２）キャッシュと３２ｋＢレベル１（Ｌ１）キャッシュを備える。ＰＰＥ１５０は、１クロックサイクルにつき８回の単一位置演算（single position operations）が可能であり、３．２ＧＨｚで２５．６ＧＦＬＯＰｓに変換する。ＰＰＥ１５０の主要な役割は、大部分の計算作業負荷を取り扱うシナジスティック・プロセッシング・エレメント１１０Ａ〜Ｈのコントローラとしての機能を果たすことである。動作中、ＰＰＥ１５０は、ジョブキューを維持し、シナジスティック・プロセッシング・エレメント１１０Ａ〜Ｈのためにジョブをスケジュールし、その進行をモニターする。これによって、シナジスティック・プロセッシング・エレメント１１０Ａ〜Ｈはそれぞれ、ジョブをフェッチして実行し、ＰＰＥ１５０と同期するという役割のカーネルを実行する。
【００３２】
シナジスティック・プロセッシング・エレメント（ＳＰＥ）１１０Ａ〜Ｈはそれぞれ、シナジスティック・プロセッシング・ユニット（ＳＰＵ）１２０Ａ〜Ｈと、それぞれ順にダイナミックメモリアクセスコントローラ（ＤＭＡＣ）１４２Ａ〜Ｈとメモリマネジメントユニット（ＭＭＵ）１４４Ａ〜Ｈとバス・インターフェース（図示せず）を有するメモリーフローコントローラー（ＭＦＣ）１４０Ａ〜Ｈと、を備える。ＳＰＵ１２０Ａ〜Ｈの各々は３．２ＧＨｚでクロック制御されるＲＩＳＣプロセッサであり、それぞれ２５６ｋＢローカルＲＡＭ１３０Ａ〜Ｈを備え、原則として４ＧＢに拡張可能である。各ＳＰＥは、理論上、２５．６ＧＦＬＯＰＳの単精度パフォーマンス（single precision performance）を提供する。ＳＰＵは、１クロックサイクルにおいて、４つの単精度浮動小数点メンバー、４つの３２ビット数、８つの１６ビット整数、または１６個の８ビット整数で動作可能である。同じクロックサイクルにおいて、ＳＰＵはさらにメモリ操作を実行できる。このＳＰＵ１２０Ａ〜Ｈは、システムメモリＸＤＲＡＭ５００に直接アクセスしない。ＳＰＵ１２０Ａ〜Ｈにより形成される６４ビットアドレスは、ＭＦＣ１４０Ａ〜Ｈに渡され、ＭＦＣは、そのＤＭＡコントローラ１４２Ａ〜Ｈに対して、エレメント・インターコネクト・バス１８０とメモリ・コントローラ１６０を介してメモリにアクセスするよう指示する。
【００３３】
エレメント・インターコネクト・バス（ＥＩＢ）１８０は、セルプロセッサ１００内部の論理的に環状の通信バスであり、上記のプロセッサ・エレメント、すなわち、ＰＰＥ１５０、メモリ・コントローラ１６０、デュアル・バス・インターフェース１７０Ａ、Ｂ、および８つのＳＰＥ１１０Ａ〜Ｈの、計１２のパーティシパントを接続する。パーティシパントは、１クロックサイクルにつき８バイトのレートで、バスに同時にリードライトすることができる。前述のように、ＳＰＥ１１０Ａ〜Ｈはそれぞれ、より長いリードまたはライトのシーケンスをスケジューリングするためのＤＭＡＣ１４２Ａ〜Ｈを備える。ＥＩＢは、時計回りの方向に２つ、反時計回りの方向に２つの、４つのチャンネルを備える。結果として、１２のパーティシパントについて、どの２つのパーティシパント間においても、最長のステップワイズ・データフローは、しかるべき方向において、６ステップである。従って、１２スロットに対する理論上のピーク瞬時ＥＩＢ帯域幅は、パーティシパント間のアービトレーションによって完全利用を行った場合、１クロックにつき９６Ｂである。これは、３．２ＧＨｚのクロック速度で、理論ピークバンド幅３０７．２ＧＢ／ｓ（１秒あたりのギガバイト数）に等しい。
【００３４】
メモリ・コントローラ１６０は、ランバス（Rambus）社により開発されたＸＤＲＡＭインターフェース１６２を備える。メモリ・コントローラは、２５．６ＧＢ／ｓの理論ピーク帯域幅で、Ｒａｍｂｕｓ ＸＤＲＡＭ５００とインターフェースで接続される。
【００３５】
デュアル・バス・インターフェース１７０Ａ、Ｂは、Ｒａｍｂｕｓ ＦｌｅｘＩＯ（登録商標）システムインターフェース１７２Ａ、Ｂを備える。このインターフェースは、１２チャネルに体系化され、各チャネルはそれぞれ８ビット幅であり、５つのパスはインバウンドであり、７つはアウトバウンドである。これは、コントローラ１７０Ａを介してセルプロセッサとＩ／Ｏブリッジ７００の間、コントローラ１７０Ｂを介してセルプロセッサとリアリティ・シミュレータ・グラフィックス・ユニット２００の間で、６２．４ＧＢ／ｓ（３６．４ＧＢ／ｓアウトバンド、２６ＧＢ／ｓインバウンド）の理論ピーク帯域幅を提供する。
【００３６】
リアリティ・シミュレータ・グラフィックス・ユニット２００に対し、セルプロセッサ１００により送信されるデータは、一般的に、頂点を描画するためのコマンドシーケンスであるリストの表示、ポリゴンに対するテクスチャの適用、ライティング条件の特定等を含むものである。
【００３７】
ここで図３を参照すると、リアリティ・シミュレータ・グラフィックス（ＲＳＸ）ユニット２００は、ＮＶｉｄｉａ（登録商標）Ｇ７０／７１アーキテクチャを基礎とするビデオ・アクセルレータであり、セルプロセッサ１００により作成されたコマンドリストを処理しレンダリングする。ＲＳＸユニット２００は、セルプロセッサ１００のバス・インターフェース・コントローラ１７０Ｂと通信するように動作可能なホスト・インターフェース２０２と、８つの頂点シェイダー２０５を有する頂点パイプライン２０４（ＶＰ）と、２４のピクセル・シェイダー２０７を有するピクセル・パイプライン２０６（ＰＰ）と、８つの、レンダー・アウトプット・ユニット（ＲＯＰｓ）２０９を有するレンダー・パイプライン２０８（ＲＰ）と、メモリ・インターフェース２１０と、ビデオ出力を作成するためのビデオ・コンバータ２１２を備える。ＲＳＸ２００は、２５６ＭＢのダブルデータレート（ＤＤＲ）ビデオＲＡＭ（ＶＲＡＭ）２５０により補完される。これは、６００ＭＨｚでクロック制御され、理論ピーク帯域幅２５．６ＧＢ／ｓでＲＳＸ２００とインターフェース接続するよう動作可能である。動作中、ＶＲＡＭ２５０は、フレーム・バッファ２１４およびテクスチャ・バッファ２１６を維持する。フレーム・バッファ２１４が処理中のパイプラインの結果を保存する間、テクスチャ・バッファ２１６はピクセル・シェイダー２０７にテクスチャを提供する。ＲＳＸはさらに、例えば、テクスチャをＶＲＡＭ２５０にロードするために、ＥＩＢ１８０を介してメインメモリ５００にアクセスすることも可能である。
【００３８】
頂点パイプライン２０４は、主に、描くべき画像内のポリゴンを定義する頂点の変形処理および変換処理をする。
【００３９】
ピクセル・パイプライン２０６は、主に、これらのポリゴンに、色、テクスチャ、およびライティングを適用する処理を行う。ここにはどのようなピクセル透明度も含まれ、赤、緑、青およびアルファ（透明度）値を、処理済ピクセル各々に対して作成する。テクスチャ・マッピングは、単に表面にグラフィックイメージを適用する。あるいは、バンプ・マッピング（テクスチャ値に従って表面の概念上の方向に摂動を加え、ライティングモデルにおいて、最も明るい部分と暗い部分を作り出す）、または、変位マッピング（加えられたテクスチャがさらに頂点位置を摂動させ、テクスチャと一致する変形した表面を作成する）を含むことも可能である。
【００４０】
レンダー・パイプライン２０８は、ピクセル間の深度比較を行い、どのピクセルを最終イメージで描くかを判断する。また任意に、介在ピクセル処理が深さ値に影響を及ぼさない場合（例えば、透明度マッピングまたは変位マッピングがない場合）、レンダー・パイプラインおよび頂点パイプライン２０４は、その間で深さ情報を伝達することができ、それによりピクセル処理の前に閉塞要素の除去を可能にして全体のレンダリング効率を改善する。さらに、レンダー・パイプライン２０８はまた、結果として生じる画像に対して、フルスクリーン・アンチエイリアス処理といったような事後効果を加える。
【００４１】
頂点シェイダー２０５およびピクセル・シェイダー２０７は双方とも、シェイダーモデル３．０標準に基づくものである。複合パイプラインを使って、クロックサイクル毎に最高１３６回までシェイダー・オペレーションを実行することが可能であるので、１秒間に７４８億回のシェイダー・オペレーションが可能となり、１秒につき最高８億４０００万の頂点および１００億ピクセルを出力する。ＲＳＸ２００の全体の浮動小数点性能は、１．８ＴＦＬＯＰである。
【００４２】
一般的に、ＲＳＸ２００は、セルプロセッサ１００と密接に協働して動作する。例えば、爆発の表示をするとき、あるいは雨や雪などの天気効果を表示するときに、シーン内で多数の粒子を探知し、更新し、描画しなければならない。このような場合、セルプロセッサのＰＰＵ１５５は、一つまたは複数のＳＰＥ１１０Ａ〜Ｈをスケジュールして、粒子の各々のバッチの軌道を演算する。一方、ＲＳＸ２００は、エレメント・インターコネクト・バス１８０、メモリ・コントローラ１６０、およびバス・インターフェース・コントローラ１７０Ｂを介して、メインシステムメモリ５００から、ＲＡＭ２５０内に現在保持されていないテクスチャデータ（例えば、雪片）にアクセスできる。ＳＰＥ１１０Ａ〜Ｈ、またはその各々は、演算された粒子特性（一般的に、位置とアティテュードを示す座標と法線）を、直接ビデオＲＡＭ２５０に対して出力する。ＳＰＥ１１０Ａ〜ＨそれぞれのＤＭＡコントローラ１４２Ａ〜Ｈは、バス・インターフェース・コントローラ１７０Ｂを介して、ビデオＲＡＭ ２５０に対処する。このように、実際には、割り当てられたＳＰＥが、タスクの持続のためにビデオ・プロセッシング・パイプラインの一部となる。
【００４３】
一般的に、ＰＰＵ１５５は、このような方法で利用可能な８つのＳＰＥのうち６つに対してタスクをアサインする。１つのＳＰＥをオペレーティングシステムのために確保し、一方で１つのＳＰＥを効率的に使用不能とする。１つのＳＰＥを使用不能にすることによって、セルプロセッサ製造過程において、かなり高いレベルの許容度を実現する。というのはこれによって、１つのＳＰＥの製造プロセスに失敗があってもよいからである。あるいは、８つのすべてのＳＰＥが機能する場合、セルプロセッサの寿命中に、他のＳＰＥのうちの１つによって、続く失敗が起こった場合に備えて、第８番目のＳＰＥが余剰範囲を提供する。
【００４４】
ＰＰＵ１５５は、ＳＰＥに対し、何通りかの方法によりタスクをアサインできる。例えば、ＤＶＤへのアクセス、ビデオ・オーディオ・デコーディング、およびエラーマスキングのような複合動作の各ステップを処理するために、各ステップを別々のＳＰＥにアサインしつつＳＰＥをつなげることができる。その代わりに、またはそれに加えて、上記の粒子アニメーション例のように、入力データに対して同時に作用するように、２つまたはそれ以上のＳＰＥを割り当てることが可能である。
【００４５】
セルプロセッサ１００およびまたはＲＳＸ２００により実現されるソフトウェアの命令は、製造時点で供給されてＨＤＤ４００に保存される場合、およびまたは、光ディスクや固体メモリのようなデータキャリアまたは記憶媒体に対して供給される場合、あるいは、有線または無線ネットワークもしくはインターネット接続、あるいはこれらの組み合わせ等の伝送媒体を介して供給される場合がある。
【００４６】
製造時に供給されるソフトウェアは、システム・ファームウェアと、プレイステーション３装置のオペレーティングシステム（ＯＳ）とを備える。動作中、ＯＳは、ユーザーが様々な機能から選択できるように、ユーザーインターフェースを提供する。これらの機能は、ゲームをすること、音楽を聴くこと、写真を見ること、または動画を見ることなどを含む。このインターフェースは、水平にアレンジされた機能カテゴリを有する、いわゆるクロスメディアバー（ＸＭＢ）の形態をとる。ユーザーは、ゲーム・コントローラ７５１、遠隔制御装置７５２、または他の適切なコントロールデバイスを用いて、水平に並ぶ機能アイコン（機能を表す）の上を移動し、所望の機能アイコンを反転表示することにより指図を行う。このアイコンの地点で、この機能に関連するオプションが、この機能アイコンの中央位置において、垂直方向にスクロール可能なオプションアイコンのリストとして現れ、同じような方法で指図が行われる。しかし、ゲーム、オーディオまたはムービーディスク４４０が、ＢＤ−ＲＯＭ光ディスクリーダー４３０に挿入されている場合は、プレイステーション３装置は、自動的に適切なオプションを選択し（例えば、ゲームを開始する）、または、関連するオプションを提供する（例えば、オーディオディスクを演奏する、またはそのコンテンツをＨＤＤ４００に圧縮する等の選択を行う）。
【００４７】
さらに、ＯＳは、オンライン性能を提供する。オンライン性能とは、ウェブ・ブラウザ、追加的なゲームコンテンツ、デモンストレーション・ゲーム（デモ）、および他のメディアをダウンロードすることができるオンラインストアとのインターフェース、現在の装置のユーザーにより指名された他のプレイステーション３を有するユーザーとの間で、例えば、利用可能な周辺デバイスに応じたテキスト、オーディオ、またはビデオ等によるオンライン通信を提供するフレンズマネジメント性能等を含む。このオンライン性能は、適切に構成されたゲームを実行中に、オンライン通信、コンテンツダウンロードおよびコンテンツ購入を提供し、またプレイステーション３自体のファームウェアおよびＯＳの更新を提供する。尚、「オンライン」という用語は、さまざまな種類の無線接続に適用できるので、ワイヤが物理的に存在することを意味するのではないことはいうまでもない。
【００４８】
ここで図４を参照すると、本発明の実施例において、仮想拡張が適用される実世界オブジェクトのポジションとオリエンテーションを決定する処理は、二つの基本部分に分かれる。第一部分は、候補オブジェクトを見出す処理から成り、図４のステップＳ１０１０からＳ１０３０により実現される。第二部分は、候補オブジェクトのオリエンテーションを決定する処理から成り、図４のＳ１１１０からＳ１１６０により実現される。つまり、図４に示された処理のアウトプット（候補オブジェクトの詳細およびそれらのオリエンテーション）は、ステップＳ１１６０の出力処理において提供される。その後の、第三の部分（図示せず）は、決定されたポジションおよびオリエンテーションに従って仮想拡張を適用する処理から成る。
【００４９】
一般的に、第一部分および第二部分は、一つまたは複数のＳＰＵ１２０Ａ〜Ｈ各々において、互いに並行に実現される。
【００５０】
また、図５を参照すると、ここでは、ステップＳ１０１０により実行される処理についてより詳細に記載されており、ステップＳ１０１０では、候補オブジェクトの輪郭を以下のようにして検出する。つまり、まず、ステップＳ１０１１において画像を取り込み、ステップＳ１０１２において、この取込み画像で境界を決めてバイナリ画像または黒白画像を生成し、ステップＳ１０１４において、バイナリ画像の輪郭を検出し、ステップ１０１６において、第一のターゲットパターンにマッチすると思われる輪郭を検出し、さらに、ステップＳ１０１８において、パターン制約を適用することによりこれらの候補ターゲットの中で差別化を図ることによって輪郭を検出する。この状況において、輪郭は、画像内での位置を表し、この位置でピクセルのグレイスケール値が選択された閾値レベルと交差する。
【００５１】
ここで図６Ａ〜図６Ｅもまた参照すると、ステップＳ１０１１において、取込み画像（図６Ａ）は、通常、ビデオカメラ７５６により取り込まれたものであり、グレイスケール画像（サイズ６４０×４８０ピクセル）を提供する。カラー画像を取り込む場合は、グレイスケール画像に対して事後処理を施すという従来の技術によってカラー情報を合成するか、あるいは別の方法として、一つまたは複数のカラー表現（例えば、色差、色成分またはこれらの組合せ）について後述する処理を実行してもよい。この場合、「輝度（brightness）」という語は、このようなカラー表現の量の尺度を示すものとして解釈される。
【００５２】
ステップＳ１０１２において、このグレイスケール画像について境界を決める。つまり、グレイスケール画像のピクセルを、輝度閾値と比較する。閾値より低い輝度を有するピクセルは黒とみなされ、閾値より高い輝度を有するピクセルは白とみなされる。但し、分類の仕方は重要ではなく、「黒」「白」の代わりに、より一般的な上位概念である「第一状態」「第二状態」を使用してもよい。図６Ｂ〜図６Ｅ各々において境界が決められた画像により示されるように、複数の閾値レベルが使用されている。これらの図において、閾値レベルが、黒レベルに近い値（図６Ｂ）から、白レベルに近い値（図６Ｅ）へと次第に変化している。
【００５３】
黒白のピクセル間のバイナリ閾値を設定するグレイスケール範囲内の点は、このバイナリ画像の有効な「露光量」に一致する。これは、アナログまたはデジタル画像取込処理において使用される露光量に類推されるものであり、ここでは、グレイスケール範囲の黒色端部に近い閾値を設定することにより、大部分が白色画像になってしまい（図６Ｂ）、露出過度に見える。反対に、グレイスケール範囲の白色端部に近い閾値を設定することにより、大部分が黒色画像になってしまい（図６Ｅ）、露出不足に見える。いずれの場合においても、黒い四角が書かれた白いカード等の黒白領域を有するターゲットオブジェクト２０１０（図８）の場合は、選択した閾値によって、強調されたり（図６Ｃおよび６Ｄ）、または悪影響を受けたりする（図６Ｂおよび６Ｅ）。これは、選択された閾値が、ターゲットオブジェクトの黒部分と白部分に対する取り込まれたグレイスケール値の間にあるかどうかによる。同様に、黒白部分は画像解像度を基準として、シーン環境における照明条件とオブジェクトの見た目の大きさに依存するものであり、これらの要因は、当然、閾値構成では制御できない。
【００５４】
従って、本発明の実施例において、ステップＳ１０１２では、グレイスケール画像は、複数の露光量（輝度閾値）レベルで境界を決め、その結果として生じる、それぞれ異なる有効露光量を有する複数のバイナリ画像各々をステップＳ１０１４〜Ｓ１０１８において解析する。
【００５５】
図７Ａ〜図７Ｃにおいて、図６Ｄのバイナリ画像を基礎として、この処理例を説明する。この例では、ステップＳ１０１４で、バイナリ画像の輪郭を検出し、図７Ａに示すような輪郭画像を生成する。この輪郭検出処理は、微分オペレータまたはラプラス変数等の従来のエッジ検出部を使って実現することが可能であり、通常、黒（０値）とマークされる背景ピクセルと白（１値）とマークされる輪郭ピクセルを使って輪郭画像を生成する。一般的に、ターゲットオブジェクト２０１０は、四角や丸などのように、輪郭画像において閉曲線を生成するように設計されている。これは後続の処理に関連するものであり、その説明は後述する。
【００５６】
別の実施例において、ステップＳ１０１２およびＳ１０１４を統合して、グレイスケール画像を取得し、選択された露光量閾値レベルで画像内の輪郭を分離することができる。これは、各ピクセルに対して、以下の処理を適用することにより実現される。
Define        Pixelcurrent = current pixel under analysis 
Pixelright = pixel directly to the right of current pixel 
Pixelbelow = pixel directly below current pixel 
Then          PC = true if Pixelcurrent > Threshold 
PR = true if Pixelright > Threshold 
PB = true if Pixelbelow > Threshold 
Finally,        Pixeloutput = (PC XOR PR) OR (PC XOR PB)
ゆえに、テストピクセルの右と下のピクセルについての判定に従い、閾値を超える領域の端部にピクセルがあるならば、そのピクセルに対する出力は「真」であると設定される。つまり、Pixelcurrent、Pixelright、およびPixelbelowの三つすべてがともに閾値の上か下でなければ、出力ピクセルには「真」が設定される。最後に、他のピクセル（例えば直下右のピクセル）もまた等価テストに組み込むことが可能であることはいうまでもない。
【００５７】
ステップＳ１０１６において、ターゲットオブジェクトに一致した輪郭を識別する。本発明の実施例において、いわゆるトレーサ機能を、輪郭画像に適用する。トレーサ機能は、輪郭が同じ位置へ戻ることによって閉曲線を描写しているかどうかを決定するために、その輪郭をトレースする。さらにトレーサ機能は、予想されるジオメトリに従わない輪郭を除去できる。例えば、四角形のオブジェクトに対応する輪郭は、すべて左ターン、またはすべて右ターンから成る閉じた輪郭になるべきであるし、一方、円形のオブジェクトに対応する輪郭は直線を含むべきではない。このような制約に従わない検出輪郭についてその長さの５％等を許容限界として含めることにより、ノイズまたは部分的閉塞であると説明できるようにする（例えば、オブジェクトがトランプである場合、取込み画像において、カードの一部がユーザーの親指で覆われていることがよくある）。ステップＳ１０１０において識別された、ターゲットオブジェクト２０１０に一致する、できるだけ閉じた形の輪郭を図７Ｂに示す。
【００５８】
このようなトレーサ機能は、ＳＰＵ１２０Ａ〜１２０Ｈのうちの一部で並行に実現することが可能であり、また、単一のＳＰＵ上で数個のトレーサ機能を実行することも可能である。後者の場合、トレース処理をインターリーブさせ、メモリアクセス回数の影響およびまたは各トレースに対する分岐決定回数を縮減させることが可能である。
【００５９】
本発明の実施例においては、上記の処理を、異なる有効露光量の閾値を有する複数のバイナリ画像に対して適用するという機能を利用することによって、トレース数を減らすことができる。これを実現させる方法を以下に説明する。
【００６０】
大部分の露光量閾値について、または、少なくとも隣接する閾値の一つのペアについては、与えられたターゲットオブジェクト上のマーキングは、隣接する露光量閾値に対して識別可能であることとする。したがって、これらのマーキングに該当する輪郭もまた、隣接する露光量閾値に対して識別可能であると考えることができる。したがって、隣接した閾値間で実質的に互いに一致しない輪郭は、更なる差別化ステップとして、すなわち、トレーサ機能を適用する前に除去することが可能である。これは、元の画像において、高コントラストな特徴により生成される輪郭（このような特徴において、輝度における階段状変化は、隣接する閾値間のグレイスケール閾値における階段状変化よりも大きい）を好ましいものとし、段階的なグレイスケールを有する表面により生成された輪郭を好ましくないものとして、有効に区別する。ここで、グレイスケール閾値における階段状変化とは、言い換えると、閾値が元の画像に含まれている状態での空間的変化のことである。
【００６１】
この処理は、一般に、閾値レベルをひとつひとつ移動する順次的な方法で実行されるのではない。さもなければ、閾値基準のどの端部で処理が始まるかにより、すべての輪郭が削除されてしまうということもあり得る。それよりはむしろ、隣接する閾値のいずれかに関して生成される輪郭画像内に類似する輪郭が存在する場合に、その輪郭を存続させるようにこのテストを適用する。「類似する」輪郭を検出するための方法は後述する。
【００６２】
本発明の実施例において、この差別化は、各輪郭画像について低解像度の「論理和」マップを生成することにより実現される。換言すれば、輪郭画像内のピクセルをグループに分け、論理和関数を使用して、あるグループ内のいずれか一つのピクセルが輪郭の存在を示す場合に、そのグループに対応するフラグを設定して、輪郭の存在を知らせる。例えば、４つのピクセルの四角グループが使用される場合、輪郭画像Ａの４つのピクセルのうちの一つが白色であれば、対応する「論理和」マップピクセルを白に設定する。隣接する閾値を使用して導出された輪郭画像のペアに対する論理和マップ間において論理積を適用し、一致マスクを生成する。その後、一致マスクは、テスト下の双方の輪郭画像において、どこで輪郭が近似的にオーバーラップしているかを描写する。この（輪郭マップの解像度へとアップスケールされた）一致マスクは、オリジナルの輪郭画像との論理積を実行するために使用することが可能であり、このテストをパスしないすべての輪郭ピクセル、すなわち、隣接する露光量閾値間で近似的にオーバーラップしないすべての輪郭ピクセルを除去する。位置的な一致について許容差をより大きくするために、９分の１の解像度の論理和マスク、または１６分の１の解像度の論理和マスク等を、各輪郭画像に対して使用できる。またその代わりに、論理和マスクがバイナリ画像と同じ解像度を有することも可能であることはいうまでもないが、４、９、１６等のピクセルの四角グループには、必要に応じて白または黒が設定される。
【００６３】
ステップＳ１０１８において、ターゲットオブジェクトまたはオブジェクトに一致する輪郭を分離するために、残っている候補の輪郭を解析する。
【００６４】
ここで図８を参照すると、ターゲットオブジェクト２０１０は、通常、ボールド体の、ハイコントラストな境界を作り出すマーキングを備える。結果として生じる輪郭２０２１と２０２２は、同心であるという特性を有する。このように、候補輪郭の効率的な解析とは、テストエリア２０２０内で、実質的に同心のペアの部分を形成しない輪郭はいかなるものも廃棄することである。現行例において、ターゲットオブジェクトを表している可能性が高いとして検出された輪郭のセットを図７Ｃに示す。
【００６５】
このような解析に簡単に従うことができる輪郭についての他の構成、例えば、二つの隣接する輪郭間に所定の相対距離があること、およびまたは二つの隣接する輪郭間に所定のサイズ比があることなどは、当業者にとっては明らかである。
【００６６】
一般に、ターゲットオブジェクトは、その検出が、特徴的な関係にある二つ以上の輪郭（例えば同心の輪郭ペア）の検出を含むように設計されている。このような構成が使用されるのは、長方形などの単純な幾何学的な形態はほとんど、矩形のコンピュータスクリーン、ドアおよび窓、または円形の皿および照明器具など、一般的背景シーンにおいて意図せずに生じる可能性があるからである。
【００６７】
ステップＳ１０１８の結果は、総括的に言えば、複数のターゲットオブジェクト輪郭の推定値である。すなわち、ターゲットオブジェクトに一致する輪郭の識別値であり、複数の異なる境界をもつバイナリ画像各々に対する一つ（または複数）の識別値である。もちろん、閾値の中には、ターゲットオブジェクト輪郭の推定値を検出する結果とならないものもあることはいうまでもない。
【００６８】
また、異なる有効露光量を有する複数のバイナリ画像用の候補輪郭を導出するために、別のエッジ検出および輪郭トレーシングのアルゴリズムを採用することも可能であることはいうまでもない。このような代替的な輪郭トレーシングアルゴリズムは、直接にバイナリ画像の特徴を利用する場合は、明確なエッジ検出ステップを必要としないこともまたいうまでもない。
【００６９】
利点としては、各々異なる有効露光量レベルに基づくこれら複数の輪郭推定値は、「ジッター」として知られる拡張現実システムで見られる影響を緩和するために用いることができる。従来の拡張現実システムにおいては、オブジェクト位置についての推定値が各フレームに対して一つだけ作られ、どんな仮想的拡張でもその配置を決定するためにこの推定値が使用される。しかし、ライティングの変化、ターゲットオブジェクトが移動したときのコントラストレベルの変更、およびビデオ・キャプチャにおけるノイズおよび量子化の影響があるために、オブジェクトの輪郭推定値は、通常、ビデオフレームの間で僅かに不整合を生じている。結果として、ターゲットオブジェクトを基準として配置される仮想オブジェクトは、これらの小さな変化に応答して移動または微小変動するように見える。以前は、位置推定部にメモリを追加することによって、この影響を減少させてきた。このメモリ追加により、現在位置推定を、以前から行われていた一つ以上の推定方法と併用できるようにし、このような変動を取り除いたのである。しかし、これにはターゲットオブジェクトの実際の動きに応答する際に、仮想拡張が遅れて見えるようになってしまうという影響がある。
【００７０】
これに対して、本発明の実施例においては、単一のビデオフレームにおけるターゲットオブジェクトの異なる露光量閾値に対する複数の輪郭推定値が、すべての異なる利用可能な輪郭推定値に最良適合するものを決定することによって平均化される。
【００７１】
この平均化は、画像内の各ターゲットオブジェクトに対する異なる閾値に亘る輪郭をグループ化することにより行われる（例えば相対近似値による）。各輪郭グループに対し、（正方形または長方形の）オブジェクトの各辺を表すラインのセットに最良適合アルゴリズムを施し、平均ラインを決定する。これらの最良適合ラインの交点により、ターゲットオブジェクトに対する「平均の」輪郭の角を特定できる。他のオブジェクト形状に対する、別の最良適合アルゴリズムは、当業者にとって明らかである。
【００７２】
この最良適合した、あるいは平均化された輪郭は、コントラストやノイズのフレーム間変化に対してより耐性がある。というのは、このような輪郭は、ライティング条件において、通常のフレーム間変化よりも幅の広い露光量有効範囲からの輪郭の基づくものだからである。逆に、異なる輝度レベルにおけるノイズアーチファクトの間で構造上の一致は一般的にはないので、画像ノイズにより生じた輪郭変化は、異なる露光量に対してほとんど相関性がない。従って、平均的な結果が得られる。従って、フレーム間ジッターは著しく減少し、ターゲットオブジェクトと仮想拡張間の関係を、見る人に対してよりリアルに見せることができる。
【００７３】
図９Ａおよび図９Ｂは、最良適合アルゴリズムが、どのように複数の位置推定値を一つの平均位置推定値によって置き換えるかを図示したものである。特に、図９Ａは、それぞれ異なる閾値を使って、（図６Ａの）単一画像から導出した一組の輪郭を概略的に図示したものである。各輪郭は、四本のラインの組み合わせにより表され、これらのラインの交点は、コーナーにおけるドットにより示されている。ラインの各々は、上記の最良適合アルゴリズムを施され、図９Ｂにおいて、（オブジェクト２０１０のボーダーの外側用の）太い白色ラインと（オブジェクト２０１０のボーダーの内端用の）黒色ラインとして示される「平均」輪郭を生成する。
【００７４】
オリジナルの画像フレームにおける条件が非常に悪い状態で、複数の輪郭画像の中で候補輪郭ペアの例を一つだけしか検出できない場合、アルゴリズムは、最良適合の、または平均化された輪郭に代わって、この輪郭ペアを直接に使用することはいうまでもない。
【００７５】
ステップＳ１０２０において、各候補オブジェクトの最良適合輪郭として、ホモグラフィが算出される。幾何学的形態として、ホモグラフィは一つの視点を他の視点にマップするための変換である。図７と図８に示した場合において、これは輪郭をターゲットオブジェクトの正面向きテンプレートへとマップする変換に該当する。通常、マッピングは回転および平行移動のための関数である。このテンプレートに対する相対的な大きさと連動して、このホモグラフィは、対応する仮想オブジェクトの回転、平行移動、および拡大縮小を可能とし、ターゲットオブジェクト上に直接配置するようにする。
【００７６】
ステップＳ１０３０では、適切な許容差レベル範囲内にテンプレートを適合させられない候補オブジェクトをすべて廃棄し、行われるどんなマッチングに対しても正確であるような信頼水準を生じさせる。候補オブジェクトの評価は、取込み画像上に、ターゲットオブジェクトの基準画像をマップするための各々のホモグラフィを用いて、その二つを比較することにより行われる。例えば、その画像の関連領域に亘るピクセル差の合計（例えば絶対ピクセル差の合計）を算出することにより評価される。信頼水準は、この差異の合計から決定される。この合計が閾値を上回る場合、この候補オブジェクトは廃棄される。比較測定基準は適切なものであれば、いかなるものでも十分であることはいうまでもない。  ターゲットオブジェクトの輪郭が回転対称である場合については、本発明の実施例において、非対称パターン２０３１（図８）がオブジェクト上に含まれ、ステップＳ１０３０が、オブジェクトの異なるオリエンテーションに対して適用される。添付の図における例に示された四角形のターゲットオブジェクトに対し、結果として、毎回９０度ずつ回転させた基準画像を用いてＳ１０３０を４回繰り返すことになる。（オブジェクト上の非対称パターンのピクセルを比較することにより）最も低い差測定を伴った回転を、オブジェクトの最も可能性のあるオリエンテーションを示すものとして選択する。
【００７７】
ステップＳ１０３０により最終的に得られる結果は、各々正常に識別されたターゲットオブジェクトに対する算出されたホモグラフィの信頼基準であり、また、その輪郭が一つまたは複数の対称面を有するならば、任意に、ターゲットオブジェクトのオリエンテーションを示すものである。
【００７８】
本発明の実施例のいくつかにおいて、Ｓ１０３０のオリエンテーション決定処理は、計算的に高くつくので、フレームごとに実行されない。逆に、画像フレーム間において、３０分の１秒または６０分の１秒以内は９０度回転しないと想定するのが合理的である。
【００７９】
図４を再度参照すると、本発明の実施例において、拡張現実処理は、上記の推定処理からの位置およびオリエンテーションデータを用いて、無香料カルマン・フィルタ（Unscented Kalman Filter：UKF）を更新する。このカルマン・フィルタの非線形バージョンは、ターゲットオブジェクトの位置、オリエンテーション、速度および角速度について連続的に更新された推定値を提供する。
【００８０】
ステップＳ１１１０において、フィルタがすでに初期化された状態でない場合、各ターゲットオブジェクトに対する最良輪郭マッチ（最も高い信頼水準）に対応するホモグラフィを使用して、ステップＳ１１２０においてフィルタを初期化し、ステップＳ１１２０の別の部分において、フィルタ予測誤差が許容差閾値より低くなるように収束するまで、連続的なビデオフレームに亘ってそのフィルタを繰り返し適用する。
【００８１】
一旦、この予測誤差が受入れ可能レベルに到達したら、ステップＳ１１３０において、該ターゲットオブジェクトあるいは各ターゲットオブジェクトの位置、オリエンテーション、速度、および角速度の予測がなされる。
【００８２】
ステップＳ１１４０において、この予測値は、現在のホモグラフィ（すなわちステップＳ１０３０の出力）から推定される現在位置およびオリエンテーションと比較され、ステップＳ１１５０において、このフィルタは観測結果に従って更新（修正）される。
【００８３】
ここで図１０Ａと図１０Ｂも参照すると、ターゲットオブジェクトの輪郭は、たとえ回転が正しく決定されたとしても、可能性のあるオリエンテーションが二つ以上あると有効に解釈されることがある。しかし、一般に、これらのオリエンテーションのうちの一つだけが、観察されたターゲットの動きにやがて一致する。従って、本発明の実施例において、無香料カルマン・フィルタにより構築される現行モデルは、その代替となるホモグラフィ（そしてオリエンテーション）がより正確であるかどうかを判断するために、ステップＳ１１６０においてテストされる。
【００８４】
ステップＳ１１６０において、現在のフィルタ推定誤差とともに、フィルタの現在の状態が格納される。現行ホモグラフィから導出される輪郭の回転の推定値もまた格納される。フィルタは、その最初の並進見積値は維持しながら、ホモグラフィから新しい回転推定値を使って再初期化される。このように、実際には、フィルタは、その現行の回転モデルを「忘れる」ようにする。その後、フィルタは、その誤差推定が著しく変化することがなくなるまで繰り返し適用される。新しい推定誤差が、格納された推定誤差より小さい場合、フィルタは新たな初期化を続け、そうでなければ、格納された状態に復元される。
【００８５】
予測された位置、回転および速度がこのようにして確認されると、この情報は、ターゲットオブジェクトに対する仮想拡張の位置を決めるために使用することが可能となる。通常、これはターゲットオブジェクトに取り付けられているように見える仮想オブジェクト（例えばターゲットオブジェクト上に立っているゲームキャラクタ）という形式をとる。あるいは、ターゲットオブジェクトに取り付けられているか否かは関係なく、別の仮想オブジェクトのポジショニングおよびオリエンテーションを知らせるために使用可能である。例えば、ターゲットオブジェクトのポジショニングおよびオリエンテーションを使って、仮想の線路の位置と方向を決め、それによって、ある空間において、複数のターゲットオブジェクトを配置することにより設定される仮想線路の構築を可能とする。
【００８６】
本発明の実施例において、動作中、画像解析システムは、使用する輝度閾値レベル数および解析するバイナリ画像の数を変えることによって、パフォーマンス要件に従った計測が可能である。例えば、システムが低遅延出力（例えば１／６０秒ごとの解析）を必要とする場合、輝度閾値レベルの数を減らして待ち時間を減らすことができる。この方法は、目標待ち時間を、最後の一つ（または複数）の入力画像に対する実際の待ち時間と比較し、輝度閾値レベル数を調整することによって自動化することが可能である。この方法は、（待ち時間に変化を起こす原因となる可能性がある）入力画像の複雑性は、連続入力画像の間で一貫しているという仮定に基づくものである。
【００８７】
最後に、本発明の実施例において、上記の処理における構成要素および作動装置の実装は、プレイステーション３のゲーム機等の装置内で、一つまたは複数のプロセッサをリプログラミングすることにより実現されることはいうまでもない。このように、プロセッサが実行可能な指示を備えたコンピュータプログラム製品の形で、従来からある同等の装置内の既存の部品に対し必要に応じて適用される。このような指示は、フロッピー（登録商標）ディスク、光学ディスク、ハードディスク、ＰＲＯＭ、ＲＡＭ、フラッシュメモリ、これらのものの何らかの組み合わせ等の機械読取が可能なデータキャリアまたは記憶媒体、あるいは別の記憶媒体に格納してもよいし、または、イーサネット（Ethernet：登録商標）、無線ネットワーク、インターネット、あるいは、これらのネットワークの組み合わせ、あるいは他のネットワーク等の、ネットワーク上のデータ信号を介して送信してもよいし、または、ＡＳＩＣ（特定用途向けＩＣ）、ＦＰＧＡ（書替え可能ゲートアレイ）、従来の均等装置を採用する場合の使用に適する他の設定可能な回路等のハードウェア上に実現してもよい。
【図１】
2010541087.tif 000003
【図２】
2010541087.tif 000004
【図３】
2010541087.tif 000005
【図４】
2010541087.tif 000006
【図５】
2010541087.tif 000007
【図６Ａ】
2010541087.tif 000008
【図６Ｂ】
2010541087.tif 000009
【図６Ｃ】
2010541087.tif 000010
【図６Ｄ】
2010541087.tif 000011
【図６Ｅ】
2010541087.tif 000012
【図７Ａ】
2010541087.tif 000013
【図７Ｂ】
2010541087.tif 000014
【図７Ｃ】
2010541087.tif 000015
【図８】
2010541087.tif 000016
【図９Ａ】
2010541087.tif 000017
【図９Ｂ】
2010541087.tif 000018
【図１０Ａ】
2010541087.tif 000019
【図１０Ｂ】
2010541087.tif 000020
【手続補正書】
【提出日】平成22年8月24日(2010.8.24)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
ターゲットオブジェクトのインスタンスを含む取込み画像を解析する方法であって、
複数の異なる輝度閾値レベルの各々に対し、取り込まれたデジタル画像内のどの位置で、その取込みデジタル画像のピクセル値がそれぞれの輝度閾値レベルをクロスしたかを示す輪郭を、取り込まれたデジタル画像から生成するステップと、
各々の輝度閾値レベルのうち少なくとも二つを使って導出した輪郭のうち、類似する画像位置で検出される、該ターゲットオブジェクトの特性に対応する輪郭のインスタンスを識別するステップと、
ターゲットオブジェクトの対応する輪郭の二つ以上のインスタンスに基づき、取込み画像における表示に対して、ターゲットオブジェクトの特性をマップするホモグラフィを推定するステップと、を備えることを特徴とする方法。
【請求項２】
請求項１に記載の方法であって、各々の輝度閾値レベルに対する輪郭を生成するステップは、
取り込まれたデジタル画像に対して、ある閾値としての輝度レベルを適用し、閾値より下のピクセルを第一の状態に設定し、閾値よりも上のピクセルを第二の状態に設定するステップと、
取込みデジタル画像のピクセル値が、第一の状態と第二の状態の間で変化をする画像位置に一致する輪郭を生成するために、結果として生じる二つの状態の画像に対して、エッジ検出アルゴリズムを適用するステップと、を備えることを特徴とする方法。
【請求項３】
請求項１に記載の方法であって、各々の輝度閾値レベルに対する輪郭を生成するステップは、
取込み画像の各ピクセルについて、
該ピクセルおよび少なくとも垂直方向隣および水平方向隣に配列されたピクセルと、選択された各輝度レベルとを比較するステップと、
比較された三つのピクセルすべてが、選択された各輝度レベルよりも、高い状態ではなく、または低い状態でもない場合、輪郭画像の対応するピクセルを輪郭の一部としてマークするステップと、を備えることを特徴とする方法。
【請求項４】
請求項１から請求項３のいずれか一つに記載の方法であって、
選択された輝度レベルの隣接するペアについて、対応する輪郭画像を所定のサイズの領域に分割し、その分割された各領域について、分割領域内のいずれかの場所に輪郭が存在するか否かを識別するステップと、
他の輪郭画像からの対応する分割領域が輪郭を備えていない場合の分割領域内に位置する輪郭を廃棄するステップと、を備えることを特徴とする方法。
【請求項５】
前記請求項１から４のいずれか一つに記載の方法であって、
ターゲットオブジェクトの特性は、特徴的な関係を満足する二つまたはそれ以上のエッジを有する閉形状から成り、
インスタンスを識別するステップは、
閉じた輪郭を検出するステップと、
所定の許容差内の特徴的な関係を満足する閉じた輪郭を、候補インスタンスとして選択するステップと、を含むことを特徴とする方法。
【請求項６】
請求項５に記載の方法であって、前記特徴的な関係は、
i．同心の輪郭のペアである閉形状のエッジを表す輪郭と、
ii．所定の相対距離によって分離された輪郭のペアである閉形状のエッジを表す輪郭と、
iii．所定のサイズ比の輪郭のペアである閉形状のエッジを表す輪郭と、
から成るリストから選択されたものを一つまたは複数含むことを特徴とする方法。
【請求項７】
前記請求項１から６のいずれか一つに記載の方法であって、ホモグラフィを推定するステップは、
前記特性に一致する輪郭の二つまたはそれ以上のインスタンスに全体として最良適合するものを提供する、最良適合形状を検出するステップと、
該検出された最良適合形状に基づいてホモグラフィを推定するステップと、を備えることを特徴とする方法。
【請求項８】
請求項７に記載の方法であって、最良適合形状を決定するステップは、
前記特性に一致する輪郭の二つまたはそれ以上のインスタンスの線分に該当するそれぞれの集合について、最良適合するラインを検出するステップと、
交点により境界をつけた場合、最良適合する検出ラインに該当する全体として最良適合する形状を検出するステップと、を備えることを特徴とする方法。
【請求項９】
請求項７または請求項８に記載の方法であって、
前記特性が回転対称となり得る角度ずつ、ターゲットオブジェクトの特性の基準画像を回転するステップと、
このような可能性のある各角度に対して、前記ホモグラフィに基づいてターゲットオブジェクトの基準画像を変換するステップと、
ターゲットオブジェクトの変換された基準画像を取込み画像内のターゲットオブジェクトと比較するステップと、
最も近い類似性を生じた角度を、取込み画像内の特性に対して最も可能性のあるオリエンテーションであるとして選択するステップを、を備えることを特徴とする方法。
【請求項１０】
ターゲットオブジェクトのインスタンスを含む取込み画像を解析する画像解析装置であって、
複数の異なる輝度閾値レベルの各々に対し、取り込まれたデジタル画像内のどの位置で、その取込みデジタル画像のピクセル値がそれぞれの輝度閾値レベルをクロスしたかを示す輪郭を、取り込まれたデジタル画像から生成するよう動作可能な画像処理部と、
各々の輝度閾値レベルのうち少なくとも二つを使って導出した輪郭のうち、類似する画像位置で検出される、該ターゲットオブジェクトの特性に対応する輪郭のインスタンスを識別するよう動作可能な特性識別部と、
ターゲットオブジェクトの対応する輪郭の二つ以上のインスタンスに基づき、取込み画像における表示に対して、ターゲットオブジェクトの特性をマップするホモグラフィを推定するよう動作可能なホモグラフィ変換推定部と、を備えることを特徴とする画像解析装置。
【請求項１１】
請求項１０に記載の装置であって、
取り込まれたデジタル画像に対して、ある閾値として選択された輝度レベルを適用し、閾値より下のピクセルを第一の状態に設定し、閾値よりも上のピクセルを第二の状態に設定するよう動作可能な輝度レベル閾値判定部と、
取込みデジタル画像のピクセル値が、第一の状態と第二の状態の間で変化をする画像位置に一致する輪郭を生成するために、結果として生じる二つの状態の画像のエッジを検出するよう動作可能なエッジ検出部と、を備えることを特徴とする装置。
【請求項１２】
請求項１０に記載の装置であって、前記画像処理部は、
ピクセルおよび少なくとも垂直方向隣および水平方向隣に配列されたピクセルと、選択された各輝度レベルとを比較するよう動作可能なピクセル比較部と、
比較された三つのピクセルすべてが、選択された各輝度レベルよりも、高い状態ではなく、または低い状態でもない場合、輪郭画像の対応するピクセルを輪郭の一部としてマークするよう動作可能なピクセル値設定部と、とを備えることを特徴とする装置。
【請求項１３】
請求項１０から請求項１２のいずれか一つに記載の装置であって、前記画像処理部は、
選択された輝度レベルの隣接するペアに対応する輪郭画像に関して、前記二つの選択された輪郭画像を所定のサイズの領域に分割し、その分割された各領域について、分割領域内のいずれかの場所に輪郭が存在するか否かを識別するよう動作可能な画像分割部と、
他の輪郭画像からの対応する分割領域が輪郭を備えていない場合の分割領域内に位置する輪郭を廃棄するよう動作可能な画像変更部と、を備えることを特徴とする装置。
【請求項１４】
請求項１０から請求項１３にいずれかに記載の装置であって、
前記ターゲットオブジェクトの特性は、特徴的な関係を満足する二つまたはそれ以上のエッジを有する閉形状から成り、
前記特性識別部は、
閉じた輪郭を検出するよう動作可能な検出部と、
所定の許容差内の特徴的な関係を満足する閉じた輪郭を、候補インスタンスとして選択するよう動作可能な輪郭選択部と、を備えることを特徴とする装置。
【請求項１５】
請求項１４に記載の装置であって、前記特徴的な関係は、
i．同心の輪郭のペアである閉形状のエッジを表す輪郭と、
ii．所定の相対距離によって分離された輪郭のペアである閉形状のエッジを表す輪郭と、
iii．所定のサイズ比の輪郭のペアである閉形状のエッジを表す輪郭と、
から成るリストから選択されたものを一つまたは複数含むことを特徴とする装置。
【請求項１６】
請求項１０から請求項１５のいずれか一つに記載の装置であって、ホモグラフィ変換推定部は、
前記特性のインスタンスに一致する輪郭の二つまたはそれ以上のインスタンスに全体として最良適合するものを提供する、最良適合形状を検出するよう動作可能な最良適合検出部を備えることを特徴とする装置。
【請求項１７】
請求項１６に記載の装置であって、最良適合検出部は、
前記特性のインスタンスに同様に一致する輪郭の二つまたはそれ以上のインスタンスの線分に該当するそれぞれの集合について最良適合するラインを検出するよう動作可能な最良適合ライン検出部と、
交点により境界をつけた場合、最良適合する検出されたラインに該当する全体として最良適合する形状を検出するよう動作可能なライン交点検出部と、を備えることを特徴とする方法。
【請求項１８】
請求項１６または請求項１７に記載の装置であって、前記最良適合検出部は、
前記特性が回転対称となり得る角度ずつ、ターゲットオブジェクトの特性の基準画像を回転するよう動作可能な画像回転部と、
このような可能性のある各角度に対して、前記ホモグラフィに基づいてターゲットオブジェクトの基準画像を変換するよう動作可能な基準画像変換部と、
ターゲットオブジェクトの変換された基準画像を、取込み画像内のターゲットオブジェクトと比較するよう動作可能な画像比較部と
最も近い類似性を生じた角度を、取込み画像内の特性に対して最も可能性のあるオリエンテーションであるとして選択するよう動作可能な角度選択部と、を備えることを特徴とする装置。
【請求項１９】
請求項１から請求項９のいずれか一つのステップを実現するためのコンピュータプログラム。
【請求項２０】
請求項１９によるコンピュータプログラムを有する、機械読取可能な記憶媒体を備えたコンピュータプログラム製品。
【国際調査報告】
2010541087.tif 000021
2010541087.tif 000022