【誤訳訂正書】
【提出日】平成23年11月18日(2011.11.18)
【誤訳訂正１】
【訂正対象書類名】明細書
【訂正対象項目名】０００２
【訂正方法】変更
【訂正の内容】
【０００２】
互いに僅かに分離された複数のカメラに起因する、同じシーンの２つ（又はそれより多い）画像の情報処理は、画像内の物体に対する深さ情報を発生できる。これらの画像の処理は、計算量的に大量であり、大きな量のデータの取り扱いを要求する。一般的に、この処理は、実質的な遅れを持つ。何故なら、その処理は、次のタイプの計算に動く前に、全体の画像に亘って１つのタイプの計算が実行されるような、一連の計算を伴うからである。さらに、これらの計算からの出力アレイは、通常大きく、時として、画像内の各位置に対して、深さ（depth）情報、強度（intensity）情報、及び、カラー情報を含む。出力アレイを削減して、後続の処理に対する計算要求を緩和することは有用である。レイテンシーを減少することによって実時間画像処理を可能とすることもまた、有用である。
【誤訳訂正２】
【訂正対象書類名】明細書
【訂正対象項目名】０００６
【訂正方法】変更
【訂正の内容】
【０００６】
基板の上に実装された集積された画像プロセッサが開示される。入力インターフェースは、2つ或いはそれより多い画像から画素データを受信するように構成される。基板の上に配置された画素ハンドリング・プロセッサは、画素データを、深さ及び強度画素データ（depth and intensity pixel data）に変換するように構成される。いくつかの実施例において、基板上に配置された前景検知器は、画素を、前景又は前景でない、として分類するように構成される。いくつかの実施例において、基板の上に配置された投射生成器（projection generator）は、深さ及び強度画素データの投射を生成するように構成される。いくつかの実施例において、基板の上に配置されたセグメンテーション・プロセッサは、対象物（objects）、及び、高さ、広がり（extent）、数及び／又は、カラーを含む対象物の記述のリストを生成するように構成される。種々の実施例において、基板の上に配置されたアプリケーション・プロセッサは、他のプロセッサの結果を使用して、人々の計数（count）、車の計数、対象物の計数、対象物の検知、対象物の追跡、障害物の特定、車両のためにナビゲート可能な経路の検知、及び／又は、人の後ろについてドアを通過した者の特定、のようなユーザ・アプリケーションに対する出力を生成するように構成される。
【誤訳訂正３】
【訂正対象書類名】明細書
【訂正対象項目名】０００７
【訂正方法】変更
【訂正の内容】
【０００７】
種々の実施例において、画像のソース（例えばカメラ）は、複数の画像の間で位置を変更せず関心の対象の対象物は複数の画像の間の位置を変更しない。または、画像のソースは画像の間で位置を変更せず関心の対象の対象物は複数の画像で間の位置を変更する。または、画像のソースは画像の間で位置を変更し関心の対象の対象物は複数の画像の間で位置を変更しない。または、画像のソースは画像の間で位置を変更し関心の対象の対象物は複数の画像の間で位置を変更したりする。
【誤訳訂正４】
【訂正対象書類名】明細書
【訂正対象項目名】０００８
【訂正方法】変更
【訂正の内容】
【０００８】
本発明の種々の実施例が、以下の詳細な説明及び添付の図面において開示される。
図１は、集積された画像プロセッサの実施例を説明するブロック図である。ここに示される例では、集積された画像プロセッサ100は、入力インターフェース102、画素ハンドリング・プロセッサ104、及び、前景（foreground）検知器プロセッサ106を含む。入力インターフェース102には、2つ或いはそれより多いソースからの画素データが入力される。ソースは、深さ情報が計算されることを可能とするデータを提供する。いくつかの実施例において、画素データには、強度情報、カラー情報（例えば、赤、緑、青、輝度、ＵＶ又は熱的ＩＲのような他のスペクトル・バンド、クロミナンス、飽和（saturation）、及び／又は、強度情報）、垂直同期情報、及び、水平同期情報が含まれる。いくつかの実施例において、画像データを提供する２つのソース、つまりステレオ・ソースが存在する。種々の実施例において、各ソースは、毎秒20又は200回発生する512×512画素の画像を生成する。種々の実施例において、ソース・データ・サイズは、8ビット又は10ビット画素を伴った512×2048である。種々の実施例において、２つのソース・カメラの間の隔離（separation）は、3ｃｍ、5cm、22ｃｍ、又は、33ｃｍである。種々の実施例において、視野は、少なくとも部分的に画像ソースのレンズに基づいて、45度又は50度である。入力インターフェース102は、画素データを画素ハンドリング・プロセッサ104に出力する。画素ハンドリング・プロセッサ104の出力には、１つあるいはそれより多い次のものが含まれる：深さ情報、視差情報、データの有効性情報、及び、平均強度のような画像特性。
画素ハンドリング・プロセッサ104は、画素データの１つあるいはそれより多い画像を取り込み（grabs）、校正パラメータに基づいてレンズ及びカメラからの歪を除去することによって１つあるいはそれより多い画像を修正（rectifies）し、そして、深さ又は視差（disparity）を計算する。
【誤訳訂正５】
【訂正対象書類名】明細書
【訂正対象項目名】０００９
【訂正方法】変更
【訂正の内容】
【０００９】
前景検知器プロセッサ106入力には、深さ情報又は視差情報、及び／又は、データ有効性情報が含まれる。前景検知器プロセッサ106出力には、どの画素が前景の一部であり、どの画素が前景の一部ではないかという指示（indication）が含まれる。いくつかの実施例においては、前景検知には、背景のモデリングが含まれる。背景のモデルを構築し、時間に亘って（over time）そのモデルを更新することによって、前景又は背景への画素の分類が可能となる。背景画素は、比較的長い時間に亘って比較的安定な状態を維持する画素である。
【誤訳訂正６】
【訂正対象書類名】明細書
【訂正対象項目名】００１０
【訂正方法】変更
【訂正の内容】
【００１０】
前景画素は、比較的安定に維持されない、対象物（objects）に対応する画素である。いくつかの実施例において、背景のモデルは、範囲又は表示の中の所定の変動内に一定に維持される画素を識別することによって構築される。いくつかの実施例において、背景のモデルは、カラー又は強度の所定の変動、及び／又は、時間の期間（例えば、少なくとも部分的に、ソース画像の、興味の対象である動きに対して関連する時定数に基づく時間）に亘る範囲、の中に一定に維持され、これらの画素が、背景画素であることを示す画素を識別することによって構築される。
【誤訳訂正７】
【訂正対象書類名】明細書
【訂正対象項目名】００１２
【訂正方法】変更
【訂正の内容】
【００１２】
図２は、集積された画像プロセッサの実施例を示すブロック図である。ここに示された例において、集積された画像プロセッサ200は、入力インターフェース202、画素ハンドリング・プロセッサ204、及び、投射生成器206を含む。入力インターフェース202入力は、2つ或いはそれより多いソースからの画素データを含む。ソースは、深さ情報が計算されることを可能とする画像データを提供する。いくつかの実施例において、画素データは、強度情報、カラー情報（例えば、赤、緑、青、輝度、クロミナンス、飽和、及び／又は、強度情報）、垂直同期情報、及び、水平同期情報を含む。入力インターフェース202は、画素データを画素ハンドリング・プロセッサ204に出力する。画素ハンドリング・プロセッサ104出力は、次のうちの１つあるいはそれより多くを含む：深さ情報、視差情報、及び、有効性情報。画素ハンドリング・プロセッサ204は、画素の１つあるいはそれより多くの画像を取り込み、レンズ及びカメラからの歪を除去することによって１つあるいはそれより多くの画像を修正し、深さ又は視差（disparity）を計算する。投射生成器206入力は、深さ情報又は視差情報、オプショナルな入力マスク、及び／又は、有効性情報を含む。投射生成器206出力は、次のうちの１つあるいはそれより多くを含む：３次元（３Ｄ）データ・セット、又は、３Ｄデータの２次元投射。
３次元データ・セットは、変換され、量子化された、入力データの３Ｄ表現である。量子化は、各軸に対して独立である。入力深さ画素は、所望の量子化及びカメラ校正パラメータに基づいて３Ｄマップのセルにマップされる。各セルに入る（falling into）画素に対する統計値は、例えば、カウント、所定の軸の最小及び／又は最大値、及び／又は、カラー特性を含みつつ維持され得る。いくつかの実施例において、３Ｄ回転、平行移動（translation）、及び、スケーリング、からなる３Ｄリジッド（rigid）変換が、３Ｄ投射量（projection volume）へのマッピング中に適用される。２次元データ・セットは、１つの次元が量子化（quantizatiｏn）１を持つ（すなわち、その軸に沿った３Ｄデータの投射である）３Ｄデータ・セットの実施例である。いくつかの実施例において、有用な統計値（例えば、最小空間広がり(extent）、強度、又は、カラー値、最大空間広がり、強度、又は、カラー値、ヒストグラム）が、投射データ・セットの一部として格納される。例えば、部屋のトップ・ダウン投射のために（例えば、床又は人を位置決めする（locating）ために）、所定の位置に対する最小又は最大高さを知ることが有用である。これは、セルにマップされた、最も低い、又は、最も高い空間位置を格納することによって導かれ得る。
【誤訳訂正８】
【訂正対象書類名】明細書
【訂正対象項目名】００１５
【訂正方法】変更
【訂正の内容】
【００１５】
図３は、集積された画像プロセッサの実施例を示すブロック図である。ここに示される例において、集積された画像プロセッサ300は、入力インターフェース302、画素ハンドリング・プロセッサ304、前景検知器プロセッサ306、投射生成器308、セグメンテーション・プロセッサ310、及び、アプリケーション・プロセッサ312を含む。入力インターフェース302入力は、2つ或いはそれより多いソースからの画素データを含む。ソースは、深さ情報が計算されることを可能とする画像データを提供する。いくつかの実施例において、画素データには、強度情報、カラー情報（例えば、赤、緑、青、輝度、クロミナンス、飽和(saturation)、ＵＶ又は熱的ＩＲのような他のスペクトル・バンド、及び／又は、強度情報）、垂直同期情報、及び、水平同期情報が含まれる。入力インターフェース302は、画素データを、画素ハンドリング・プロセッサ304に出力する。画素ハンドリング・プロセッサ104出力には、2つ或いはそれより多い次のものが含まれる：深さ情報、視差及び、有効性情報。画素ハンドリング・プロセッサ304は、2つ或いはそれより多いソースからの画素データの座標ストリーム(coordinate stream)を受け入れ、レンズ及びカメラからの歪を除去することによって画素ストリームを修正(rectifies)し、深さ及び視差を計算する。
【誤訳訂正９】
【訂正対象書類名】明細書
【訂正対象項目名】００１６
【訂正方法】変更
【訂正の内容】
【００１６】
前景検知器プロセッサ306入力には、深さ情報又は視差情報、及び／又は、有効性情報が含まれる。前景検知器プロセッサ306出力には、どの画素が前景の一部であるか、及び、どの画素が前景の一部ではないか、の指示が含まれる。どの画素が前景の一部であるかの指示は、画素当たり１ビットのデータ・アレイによって指示される。いくつかの実施例において、前景検知は、背景のモデリングを含む。前景又は背景への画素の分類は、背景のモデルの構築、及び、時間に亘る(over time)そのモデルの更新から得られる。背景画素は、比較的長い期間に亘って比較的安定な状態を維持する画素である。投射生成器308入力には、深さ情報又は視差情報、及び／又は、有効性情報が含まれる。投射生成器308入力には、深さ情報、又は、視差情報、オプショナルの入力マスク、及び／又は、有効性情報が含まれる。投射生成器308出力には、次のうち１つあるいはそれより多いものが含まれる：３次元データ・セット又は３Ｄデータの２次元投射。
【誤訳訂正１０】
【訂正対象書類名】明細書
【訂正対象項目名】００１９
【訂正方法】変更
【訂正の内容】
【００１９】
いくつかの実施例において、入力インターフェース302、画素ハンドリング・プロセッサ304、前景検知器プロセッサ306、投射生成器308、セグメンテーション・プロセッサ310、及び、アプリケーション・プロセッサ312が、各ブロックが平行に又は同時に処理するようなパイプライン・アーキテクチャに配置(arranged)される。いくつかの実施例において、各ブロックによって画像情報のサブセットだけが要求されることによって、各ブロックのレイテンシー、及び、各ブロックによって要求される情報のサブセットのサイズに依存して、いくつかのブロックが同時に、同じフレーム期間からの画素データについて作動する。種々の実施例において、入力インターフェース302、画素ハンドリング・プロセッサ304、前景検知器プロセッサ306、投射生成器308、セグメンテーション・プロセッサ310、及び、アプリケーション・プロセッサ312は、共通基板の上に配置された集積回路、又は、共通集積回路パッケージの一部である。
【誤訳訂正１１】
【訂正対象書類名】明細書
【訂正対象項目名】００２０
【訂正方法】変更
【訂正の内容】
【００２０】
図４は、画素ハンドリング・プロセッサの実施例を示すブロック図である。種々の実施例において、図４の画素ハンドリング・プロセッサ400が用いられて、頭の104、頭２の204、及び、図３の304を実現する。ここに示される例において、画素ハンドリング・プロセッサ400は、画像グラッビング(grabbing)プロセッサ402、修正（rexctify）プロセッサ404、及び、深さ／視差・プロセッサ406を含む。いくつかの実施例において、画素ハンドリング・プロセッサは、修正プロセッサを含まない。画像グラッビング・プロセッサ402入力は、大体同期的なやり方での、2つ或いはそれより多いソースからの画像情報を含む。画像情報はソースに依存し、画素(画像要素)のためのいくつかのフォーマット(例えば、ＲＧＢ−赤、緑、青、ＨＳＶ−色合い、飽和、値、ＨＳＢ−色合い、飽和、輝度、又は、ＹＵＶ−輝度及び２つのクロミナンス値、又は、他のスペクトラム・バンドを含む何らかの他の適切な画像情報フォーマット)での、強度及びカラー情報、及び、垂直及び水平同期情報を含み得る。画像グラッビング・プロセッサ402出力は、単一のフォーマットでの、2つ或いはそれより多い画像のための同期画像情報を含む。
【誤訳訂正１２】
【訂正対象書類名】明細書
【訂正対象項目名】００２２
【訂正方法】変更
【訂正の内容】
【００２２】
深さ／視差・プロセッサ406入力は、修正プロセッサ404からの出力情報を含む。深さ／視差・プロセッサ406は、少なくとも部分的に、校正パラメータに基づいて、２つ或いはそれより多い画像、及び／又は、深さ、又は、ソースからの範囲、の間の画素データを相関付ける(correlate)ことによって、入力画像における画素の視差を計算する。深さ、及び／又は、視差計算は、画像の次元に沿って、１つあるいはそれより多い画素を相関付けることによって実行される。いくつかの実施例において、１つの画像からの画素値のアレイは、他の画像からの画素値と相関付けられる。いくつかの実施例において、非パラメータ的相関が用いられる。種々の実施例において、ＳＬＯＧ(ガウシアンのラプラシアンの符号ビット)、ＳＡＤ(絶対差の合計)、ＳＳＤ(平方差の合計)、等が、相関付けのために使用され得る。いくつかの実施例において、深さ／視差・プロセッサ・ブロックに対する出力として有効性情報が提供される。有効性情報は、例えば、画像１と画像２、そして、次に、画像２と画像１、の間の視差の計算の間の一致（corresopndence）をチェックすることから導かれ得る。いくつかの実施例において、もし、画像内の画素領域が円滑(smooth)ならば、深さ情報は、有効である可能性がより少ない。種々の実施例において、強度、及び／又は、カラー情報が用いられて、深さ、及び／又は、視差が計算される。
【誤訳訂正１３】
【訂正対象書類名】明細書
【訂正対象項目名】００２３
【訂正方法】変更
【訂正の内容】
【００２３】
いくつかの実施例において、画像グラッビング・プロセッサ402、修正プロセッサ404、及び、深さ／視差・プロセッサ406は、各ブロックが、平行又は同時に処理するようなパイプライン・アーキテクチャに配置される。いくつかの実施例において、各ブロックによって、画像情報のサブセットだけが要求され、それによって、各ブロックのレイテンシー、及び、各ブロックによって要求される情報のサブセットのサイズに依存して、ブロックのいくつかが同時に、同じフレーム周期からの画素データについて作動する。種々の実施襟において、画像グラッビング・プロセッサ402、修正プロセッサ404、及び、深さ／視差・プロセッサ406は、共通基板の上に配置された集積回路、又は、共通集積回路パッケージの一部である。
【誤訳訂正１４】
【訂正対象書類名】明細書
【訂正対象項目名】００２４
【訂正方法】変更
【訂正の内容】
【００２４】
いくつかの実施例において、画素ハンドリング・プロセッサ400は、深さ／視差・プロセッサ406を含まない。この場合には、画素ハンドリング・プロセッサ400は、入力として、各画素に対する、範囲、又は、深さ、情報を含む、１つあるいはそれより多い情報の画像を持つ。前景検知器プロセッサ160又は投射プロセッサ206は、次に、少なくとも部分的に、範囲情報とともに、１つあるいはそれより多い入力画像に基づいて、入力範囲情報について作動できる。