(57)【要約】【課題】深度計算の質を改善することである。【解決手段】  第１の赤外線カメラ、第２の赤外線カメラ、画像処理回路、ビジョン処理装置、画像信号プロセッサ、中央処理装置、およびメモリ装置を含む対話型画像処理システムを開示する。本開示は、深度品質を改善するために、第１および第２の赤外線カメラによって生成された赤外線画像に従って深度データを計算する。【選択図】図１
2020177619.tif 000002
【特許請求の範囲】
【請求項１】
対話型画像処理システムであって、
第１の赤外線画像を生成するように構成された第１のカメラと、
第２の赤外線画像を生成するように構成された第２のカメラと、
カラー画像を生成するように構成された第３のカメラと、
前記第１のカメラ、前記第２のカメラ、および前記第３のカメラに結合され、第１の赤外線画像、第２の赤外線画像、およびカラー画像に従って、深度データを計算するように構成された画像処理回路と、
前記画像処理回路に結合され、第１の赤外線画像および第２の赤外線画像にステレオマッチングを実行して、グレースケールマッチング画像を生成し、グレースケールマッチング画像およびカラー画像にカラーマッチングを実行して、カラーマッチング画像を生成するように構成されたビジョン処理部とを有する、対話型画像処理システム。
【請求項２】
前記画像処理回路は、カラー画像と深度データを第１のデータパッケージに結合し、または
前記画像処理回路は、第１の赤外線画像と深度データを第２のデータパッケージに結合し、または
前記画像処理回路は、第１の赤外線画像と第２の赤外線画像とを第３のデータパッケージに結合する、
請求項１に記載の対話型画像処理システム。
【請求項３】
前記ビジョン処理部に結合され、第１の赤外線画像および第２の赤外線画像に対する自動ホワイトバランスおよび露出値の較正を処理するように構成された画像信号プロセッサと、
前記画像信号プロセッサに結合され、計算結果を生成するように構成された中央処理装置と、
前記画像信号プロセッサと前記中央処理装置との間に結合され、第１の赤外線画像と第２の赤外線画像を深度データに従ってステレオグラフィに変換するように構成されたデジタル信号プロセッサとを有する、
請求項１に記載の対話型画像処理システム。
【請求項４】
対話型画像処理システムであって、
第１のカラー赤外線画像を生成するように構成された第１のカメラと、
第２のカラー赤外線画像を生成するように構成された第２のカメラと、
前記第１のカメラおよび前記第２のカメラに結合され、第１のカラー赤外線画像および第２のカラー赤外線画像に従って、深度データを計算するように構成された画像処理回路と、
前記画像処理回路に結合され、第１のカラー赤外線画像および第２のカラー赤外線画像にステレオマッチングを行い、カラーマッチング画像を生成するように構成されたビジョン処理部とを有する、
対話型画像処理システム。
【請求項５】
前記画像処理回路は、第１のカラー赤外線画像及び第２のカラー赤外線画像から赤色、緑色、及び青色の画素を抽出し、第１のカラー赤外線画像と第２のカラー赤外線画像の色成分を第１のデータパッケージに結合し、第１のデータパッケージは拡張現実シースルーアプリケーションに適用される、
請求項４に記載の対話型画像処理システム。
【請求項６】
前記画像処理回路は、第１のカラー赤外線画像及び第２のカラー赤外線画像の赤外線成分を第２のデータパッケージに抽出し、前記第２のデータパッケージは、同時位置決め及びマッピング、ハンドモーション検出及び追跡、並びに６自由度アプリケーションに適用される、
請求項４に記載の対話型画像処理システム。
【請求項７】
前記画像処理回路は、深度データと第１のカラー赤外線画像の色成分とを第３のデータパッケージに結合し、第３のデータパッケージは、前記第１のカメラの視角に基づいて、空間走査およびオブジェクト走査アプリケーションに適用される、
請求項４に記載の対話型画像処理システム。
【請求項８】
前記画像処理回路は、深度データと第２のカラー赤外線画像の色成分とを第４のデータパッケージに結合し、第４のデータパッケージは、前記第２のカメラの視角に基づいて、空間走査およびオブジェクト走査アプリケーションに適用される、
請求項４に記載の対話型画像処理システム。
【請求項９】
前記ビジョン処理部に結合され、第１のカラー赤外線画像および第２のカラー赤外線画像に対する自動ホワイトバランスおよび露出値の較正を処理するように構成された画像信号プロセッサと、
前記画像信号プロセッサに結合され、計算結果を生成するように構成された中央処理装置と、
前記画像信号プロセッサと前記中央処理装置との間に結合され、第１のカラー赤外線画像と第２のカラー赤外線画像を深度データに従ってステレオグラフィに変換するように構成されたデジタル信号プロセッサとを有する、
請求項４に記載の対話型画像処理システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、ステレオグラフィ画像処理システムに関し、より詳細には、赤外線カメラを用いたステレオグラフィ画像処理システムに関する。
【背景技術】
【０００２】
典型的なステレオ画像処理システムにおいて、赤緑青の画像センサまたはカメラからの原画像は、通常、画像解析、再構成、画質向上（自動ホワイトバランス、露光値、およびコントラスト較正を含む）、および深度計算などの種々の前処理動作を受ける。
【０００３】
その後、再構成された画像及び対応する深度は、仮想現実装置、ラップトップコンピュータ、タブレットコンピュータ、デスクトップコンピュータ、携帯電話、インタラクティブプロジェクタ、テレビジョンセット、又は他の電子コンシューマ装置のようなインタラクティブインタフェースを提供するビデオゲームシステム、キオスク又は他のシステムにおいて実行されるアプリケーションを処理するための中央処理装置に入力される。
【０００４】
しかし、異なる光源（ステレオ画像処理システムへのノイズになる）のために、深度の計算の質は不安定である。さらに、深度計算の質はテクスチャーレスシーンでは悪い。したがって、深度計算の質をどのように改善するかは、業界の課題となっている。
【発明の概要】
【０００５】
従って、本開示の目的は、赤外線カメラを使用して深度品質を改善するステレオ画像処理システムを提供することである。
【０００６】
本開示は、対話型画像処理システムであって、第１の赤外線画像を生成するように構成された第１のカメラと、第２の赤外線画像を生成するように構成された第２のカメラと、カラー画像を生成するように構成された第３のカメラと、前記第１のカメラ、前記第２のカメラ、および前記第３のカメラに結合され、第１の赤外線画像、第２の赤外線画像、およびカラー画像に従って、深度データを計算するように構成された画像処理回路と、前記画像処理回路に結合され、第１の赤外線画像および第２の赤外線画像にステレオマッチングを実行して、グレースケールマッチング画像を生成し、グレースケールマッチング画像およびカラー画像にカラーマッチングを実行して、カラーマッチング画像を生成するように構成されたビジョン処理部とを有する、対話型画像処理システムを開示する。
【０００７】
本開示は、さらに、対話型画像処理システムであって、第１のカラー赤外線画像を生成するように構成された第１のカメラと、第２のカラー赤外線画像を生成するように構成された第２のカメラと、前記第１のカメラおよび前記第２のカメラに結合され、第１のカラー赤外線画像および第２のカラー赤外線画像に従って、深度データを計算するように構成された画像処理回路と、前記画像処理回路に結合され、第１のカラー赤外線画像および第２のカラー赤外線画像にステレオマッチングを行い、カラーマッチング画像を生成するように構成されたビジョン処理部とを有する、対話型画像処理システムを開示する。
【０００８】
本開示は、深度品質を改善するために、第１および第２の赤外線カメラによって生成された赤外線画像に従って深度データを計算する。従って、アプリケーションを処理するための中央処理装置の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
【０００９】
当業者には、様々な図面に示した好ましい実施形態の詳細な説明を読めば、本発明の上記その他の目的が明らかにあるであろう。
【図面の簡単な説明】
【００１０】
【図１】本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。
【図２】本開示の一実施形態による、画像処理回路の機能ブロック図である。
【図３】本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。
【図４】本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。
【図５】本開示の一実施形態による、対話型画像処理システムの機能ブロック図である。
【図６】本開示の一実施形態による、画像処理プロセスのフローチャートである。
【図７】本開示の一実施形態による、画像処理プロセスのフローチャートである。
【発明を実施するための形態】
【００１１】
図１は、本開示の一実施形態による、対話型画像処理システム１の機能ブロック図である。対話型画像処理システム１は、第１のカメラ１１、第２のカメラ１２、画像処理回路１３、ビジョン処理部１４、画像信号プロセッサ１５、中央処理装置１６、メモリ装置１７を含む。
【００１２】
第１のカメラ１１及び第２のカメラ１２は、画像処理回路１３に結合され、画像処理回路１３にそれぞれ画像Ｍ１及びＭ２を生成するように構成される。
【００１３】
画像処理回路１３は、第１のカメラ、第２のカメラ１２及びビジョン処理部１４に結合され、深度ハードウェアエンジンとみなされ、画像Ｍ１及びＭ２において識別されるオブジェクトに対応する深度データＤを計算するように構成される。具体的には、画像処理回路１３は、画像Ｍ１及びＭ２のオブジェクトを識別し、基準パラメータ（例えば、第１のカメラ１１と第２のカメラ１２との間の距離）を考慮して、識別されたオブジェクトに対応する距離を計算する。ここで深度データＤは、識別されたオブジェクトに対応する距離を含む。
【００１４】
一実施形態では、画像処理回路１３は、同一の位置合わせマークを有する画像Ｍ１及びＭ２を、第１チャネルのタグを有する同一のデータパッケージに結合し、深度データＤ及びダミーデータＤＹを、第２チャネルのタグを有する同一のデータパッケージに結合する。第１チャネルは物理ウェイ（ｐｈｙｓｉｃａｌ  ｗａｙ）であり、第２チャネルは仮想ウェイ（ｖｉｒｔｕａｌ  ｗａｙ）である。このようにして、ビジョン処理部１４は、データパッケージのタグにより、物理ウェイのデータパッケージを仮想ウェイのデータパッケージから区別できる。一実施形態では、画像処理回路１３は、２つの画像Ｍ１、Ｍ２、深度データＤ及びダミーデータＤＹを第１チャネルのタグを有するデータパッケージに結合し、他の２つの画像Ｍ１、Ｍ２、深度データＤ及びダミーデータＤＹを第２チャネルのタグを有するデータパッケージに結合する。当業者は、実用的な要件に従ってデータパッケージの内容を変更することができる。
【００１５】
ビジョン処理部１４は、画像処理回路１３及び画像信号プロセッサ１５に結合され、深度データに応じて画像Ｍ１及びＭ２にステレオマッチングを行うように構成されている。また、ビジョン処理部１４は、画像Ｍ１及びＭ２に応じて、特定の図形又はパターン（例えば、ハンドジェスチャ）で、少なくとも１つの抽出オブジェクトを判定する。
【００１６】
画像信号プロセッサ１５は、ビジョン処理部１４及び中央処理装置１６に結合され、原画像Ｍ１、Ｍ２に自動ホワイトバランス、露出値校正を行い、被写体認識および深度計算のため画質向上をするように構成される。一実施形態では、画像処理回路１３、ビジョン処理部１４および画像信号プロセッサ１５は、単一チップに集積されてもよい。
【００１７】
中央処理装置１６は、画像信号プロセッサ１５及びメモリ装置１７に結合され、画像Ｍ１及びＭ２並びに対応する深度データＤに基づいて、ハンドモーション検出及び追跡、空間走査、オブジェクト走査、ＡＲ（拡張現実）シースルー、６Ｄｏｆ（６自由度）、及びＳＬＡＭ（同時位置決め及びマッピング）のためのアプリケーションに関する計算結果を生成するように構成される。
【００１８】
メモリ装置１７は、ビジョン処理部１４、画像信号プロセッサ１５および中央処理装置１６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。一実施形態では、メモリ装置１７は、中央処理装置１６に集積され、ビジョン処理部１４および画像信号プロセッサ１５のうちの少なくとも１つは、中央処理装置１６からプログラムコードにアクセスして、関連機能を実行してもよい。
【００１９】
対話型画像処理システム１のアーキテクチャの下では、本開示は、先行技術におけるデジタル信号プロセッサのソフトウェア計算を置き換えるために、まず、画像処理回路１３（すなわち、深度ハードウェアエンジン）を用いて、原画像Ｍ１及びＭ２に対応する深度データＤを計算する。その後、ビジョン処理部１４及び画像信号プロセッサ１５の動作により、より良い画質を有する画像Ｍ１及びＭ２と、より高い精度を有する対応する深度データとを得ることができる。従って、アプリケーションを処理するための中央処理装置１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
【００２０】
図２は、本開示の一実施形態による、画像処理回路の機能ブロック図である。画像処理回路１３は、画像において識別されたオブジェクトに対応する深度データＤを計算するように構成されたＡＳＩＣ（特定用途向け集積回路）であってもよい。
【００２１】
画像処理回路１３は、画像解析回路２１、オブジェクト抽出回路２２、オブジェクト深度計算回路２３、重複オブジェクト深度計算回路２４、及びマルチプレクサ２５を含む。
【００２２】
画像解析回路２１は、画質を高めるために画像Ｍ１及びＭ２の画素値を調整するか否かを決定するように構成される。例えば、画像Ｍ１及びＭ２が暗すぎる場合、画像解析回路２１は、画像Ｍ１及びＭ２の露出値を増加させて、その後のオブジェクト抽出動作のためのより良い画質を得る。
【００２３】
オブジェクト抽出回路２２は、画像解析回路２１に結合され、第１の画像Ｍ１及び第２の画像Ｍ２から少なくとも１つのオブジェクトを識別するように構成される。
【００２４】
オブジェクト深度計算回路２３は、オブジェクト抽出回路２２に結合され、第１のカメラ１１と第２のカメラ１２との間の距離、少なくとも１つのオブジェクトが第１の画像Ｍ１にある場合と少なくとも１つのオブジェクトが第２の画像Ｍ２にある場合との画素距離、および三角測量法に従って、少なくとも１つのオブジェクトの第１の深度を計算するように構成される。
【００２５】
重複オブジェクト深度計算回路２４は、オブジェクト深度計算回路２３に結合され、少なくとも２つの重複オブジェクトの第２の深度を計算し、第１の深度と第２の深度を含む深度データＤを出力するように構成される。
【００２６】
マルチプレクサ２５は、重複オブジェクト深度計算回路２４に結合され、制御信号に従って、第１の画像Ｍ１、第２の画像Ｍ２および深度データＤのうちの１つを出力するように構成される。
【００２７】
本開示は、画像処理回路１３を利用して、従来技術におけるデジタル信号プロセッサによる深度計算の負担を軽減するために、対話型画像処理システム１のフロントエンドにおける原画像Ｍ１及びＭ２により深度データＤを計算する。
【００２８】
図３は、本開示の一実施形態による、対話型画像処理システム３の機能ブロック図である。対話型画像処理システム３は、第１のカメラ１１、第２のカメラ１２、画像処理回路１３、ビジョン処理部１４、画像信号プロセッサ１５、中央処理装置１６、メモリ装置３７、およびデジタル信号プロセッサ３８を含む。
【００２９】
対話型画像処理システム１および３は類似しており、同じ要素は同じ記号で示されている。デジタル信号プロセッサ３８は、画像信号プロセッサ１５と中央処理装置１６との間に結合され、第４のプログラムコードおよび深度データＤに従って、画像Ｍ１およびＭ２をステレオグラフィＭＳに変換するように構成される。例えば、ステレオグラフィＭＳは、二次元面上に投影される三次元オブジェクトを含む。
【００３０】
メモリ装置３７は、デジタル信号プロセッサ３８に結合され、デジタル信号プロセッサ３８にステレオグラフィ変換（ｓｔｅｒｅｏｇｒａｐｈｙ  ｃｏｎｖｅｒｓｉｏｎ）を実行するように命令する第４のプログラムコードを記憶するように構成される。
【００３１】
対話型画像処理システム３のアーキテクチャの下で、本開示は、画像処理回路１３を使用して、まず２つの原画像Ｍ１及びＭ２に対応する深度データＤを計算し、デジタル信号プロセッサ３８を使用して、ステレオグラフィ変換を行い、中央処理装置１６の負担を軽減する（図１の実施例では、中央処理装置１６がステレオ変換を処理することに注意されたい）。従って、中央処理装置１６のソフトウェア計算の消費電力が節約され得る。
【００３２】
図４は、本開示の一実施形態による、対話型画像処理システム４の機能ブロック図である。対話型画像処理システム４は、第１のカメラ４１、第２のカメラ４２、第３のカメラ４０、画像処理回路４３、ビジョン処理部４４、画像信号プロセッサ４５、中央処理装置１６、メモリ装置４７、デジタル信号プロセッサ４８、および赤外線光源４９を含む。
【００３３】
本実施形態では、第１のカメラ４１および第２のカメラ４２は、赤外線画像ＩＲ１およびＩＲ２（ここで、赤外線画像ＩＲ１およびＩＲ２の画像画素は、グレースケール値で画定される）を生成するための赤外線カメラであり、第３のカメラ４０は、カラー画像ＲＧＢ（赤−緑−青）を生成するためのＲＧＢ（赤−緑−青）カメラである（ここで、カラー画像ＲＧＢの画像画素は、赤、緑、および青の画素によって画定される）。赤外線光源４９は、第１のカメラ４１および第２のカメラ４２によるＩＲ（赤外）画像変換のための利用可能な周辺光を増大するように構成される
画像処理回路４３は、第１のカメラ４１、第２のカメラ４２および第３のカメラ４０に結合され、赤外線画像ＩＲ１およびＩＲ２、ならびにカラー画像ＲＧＢに従って深度データＤを計算するように構成される。画像処理回路４３は、更に、赤外線画像ＩＲ１及びＩＲ２を同じデータパッケージ（例えば、ＩＲサイドバイサイド）に結合するか、又はカラー画像ＲＧＢと深度データＤを同じデータパッケージに結合するか、又は赤外線画像ＩＲ１及びＩＲ２の一方と深度データＤを同じデータパッケージに結合する。
【００３４】
ビジョン処理部４４は、画像処理回路４３に結合され、赤外線画像ＩＲ１およびＩＲ２にステレオマッチング（ｓｔｅｒｅｏ  ｍａｔｃｈｉｎｇ）を行い、グレースケールマッチング画像を生成し、グレースケールマッチング画像およびカラー画像ＲＧＢにカラーマッチングを行い、カラーマッチング画像ＲＧＢＩＲ（カラーマッチング画像ＲＧＢＩＲの画像画素は、赤、緑、青、およびＩＲ／グレースケール画素によって画定される）を生成するように構成される。
【００３５】
画像信号プロセッサ４５は、ビジョン処理部４４に結合され、カラーステレオグラフィＲＧＢＩＲに自動ホワイトバランスおよび露出値校正を行い、オブジェクト認識および深度計算のために画質向上をするように構成される。
【００３６】
デジタル信号プロセッサ４８は、画像信号プロセッサ４５に結合され、深度データＤに従ってカラーマッチング画像ＲＧＢＩＲをステレオグラフィＭＳに変換するように構成される。
【００３７】
中央処理装置１６は、デジタル信号プロセッサ４８およびメモリ装置４７に結合され、ステレオグラフィＭＳおよび対応する深度データＤに基づき、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成するように構成される。
【００３８】
メモリ装置４７は、ビジョン処理部４４、画像信号プロセッサ４５、デジタル信号プロセッサ４８および中央処理装置４６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。
【００３９】
対話型画像処理システム４のアーキテクチャの下では、２つのＩＲカメラ、ＩＲ光源および１つのＲＧＢカメラを使用する場合、深度品質は安定している。従って、アプリケーションを処理するための中央処理装置１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
【００４０】
図５は、本開示の一実施形態による、対話型画像処理システム５の機能ブロック図である。対話型画像処理システム５は、第１のカメラ５１、第２のカメラ５２、画像処理回路５３、ビジョン処理部５４、画像信号プロセッサ５５、中央処理装置１６、メモリ装置５７、デジタル信号プロセッサ５８、およびランダムドット赤外線光源５９を含む。
【００４１】
本実施形態では、第１のカメラ５１および第２のカメラ５２は、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２（ここで、赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２の画像画素は、赤色、緑色、青色、およびグレースケール画素によって画定される）を生成するカラー赤外カメラである。ランダムドット赤外線光源５９は、第１のカメラ５１および第２のカメラ５２によるＩＲ画像変換のために利用可能な周辺光を増大するように構成される
画像処理回路５３は、第１のカメラ５１および第２のカメラ５２に結合され、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２に従って深度データＤを計算するように構成される。
【００４２】
画像処理回路５３は、さらに、カラー赤外線画像ＲＧＢＩＲ１及びＲＧＢＩＲ２から赤色、緑色、及び青色の画素を抽出し、カラー赤外線画像ＲＧＢＩＲ１及びＲＧＢＩＲ２の色成分を、同じデータパッケージに結合する。これは、ＡＲシースルーアプリケーションに適用されるＲＧＢサイドバイサイドとして知られている。
【００４３】
画像処理回路５３は、さらに、カラー赤外線画像ＲＧＢＩＲ１およびＲＧＢＩＲ２のＩＲ成分を同じデータパッケージに抽出する。このデータパッケージは、ＳＬＡＭ、ハンドモーション検出および追跡、６つのＤｏｆアプリケーションに適用されるＩＲサイドバイサイド（ＩＲ  ｓｉｄｅ  ｂｙ  ｓｉｄｅ）として知られている。
【００４４】
画像処理回路５３は、さらに、深度データＤとカラー赤外線画像ＲＧＢＩＲ１の色成分とを同じデータパッケージに結合し、このデータパッケージは、第１のカメラ５１の視角（ｖｉｅｗ  ａｎｇｌｅ）に基づいて空間走査およびオブジェクト走査アプリケーションに適用可能である。一実施形態では、画像処理回路５３は、さらに、深度データＤとカラー赤外線画像ＲＧＢＩＲ２の色成分とを同じデータパッケージに結合し、このデータパッケージは、第２のカメラ５２の視角（ｖｉｅｗ  ａｎｇｌｅ）に基づいて空間走査およびオブジェクト走査アプリケーションに適用可能である。
【００４５】
ビジョン処理部５４は、画像処理回路５３に結合され、第１のカメラ５１と第２のカメラ５２の視角に基づいて、それぞれ、カラー赤外線画像ＲＧＢＩＲ１とＲＧＢＩＲ２にステレオマッチングを行い、カラーマッチング画像ＲＧＢＤ１とＲＧＢＤ２を生成するように構成される。
画像信号プロセッサ５５は、ビジョン処理部５４に結合され、カラーステレオグラフィＲＧＢＤ１およびＲＧＢＤ２に自動ホワイトバランスおよび露出値校正を行い、オブジェクト認識および深度計算のために画質向上をするように構成される。
【００４６】
デジタル信号プロセッサ５８は、画像信号プロセッサ５５に結合され、深度データＤに従ってカラーマッチング画像ＲＧＢＤ１またはＲＧＢＤ２をステレオグラフィＭＳに変換するように構成される。
【００４７】
中央処理装置１６は、デジタル信号プロセッサ５８およびメモリ装置５７に結合され、ステレオグラフィＭＳおよび対応する深度データＤに基づき、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成するように構成される。
【００４８】
メモリ装置５７は、ビジョン処理部５４、画像信号プロセッサ５５、デジタル信号プロセッサ５８および中央処理装置５６に結合され、対応する処理部に特定のアルゴリズム計算を実行するように指示するプログラムコードを記憶するように構成される。
【００４９】
対話型画像処理システム５のアーキテクチャの下では、ＲＧＢＩＲカメラによって生成されたカラーＩＲ画像のおかげで、高いフレームレートを実現することができる。深度の品質は安定しており、他の光源の影響を受けない。従って、アプリケーションを処理するための中央処理装置１６の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
【００５０】
対話型画像処理システム１の動作は、図６に示されるように、対話型画像処理プロセス６に要約でき、対話型画像処理プロセス６は、以下のステップを含む。
【００５１】
ステップ６１：画像処理回路を使用して、第１のカメラによって生成された第１の画像と第２のカメラによって生成された第２の画像に基づいて深度データを計算する。
【００５２】
ステップ６２：画像処理回路を使用して、第１の画像と第２の画像を、第１チャネルの第１のタグを有する第１のデータパッケージに結合し、深度データとダミーデータを、第２チャネルの第２のタグを有する第２のデータパッケージに結合する。
【００５３】
ステップ６３：画像処理部を使用して、深度データに応じて、第１の画像と第２の画像にステレオマッチングを行う。
【００５４】
ステップ６４：画像信号プロセッサを使用して、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を実行する。
【００５５】
ステップ６５：中央処理装置を使用して、第１の画像、第２の画像、および深度データに基づいて、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成する。
対話型画像処理プロセス６の詳細動作は、図１の説明を参照することによって得ることができ、ここでは省略する。
【００５６】
対話型画像処理システム３の動作は、図７に示されるように、対話型画像処理プロセス７に要約でき、対話型画像処理プロセス７は、以下のステップを含む。
【００５７】
ステップ７１：画像処理回路を使用して、第１のカメラによって生成された第１の画像と第２のカメラによって生成された第２の画像に基づいて深度データを計算する。
【００５８】
ステップ７２：画像処理回路を使用して、第１の画像と第２の画像を、第１チャネルの第１のタグを有する第１のデータパッケージに結合し、深度データとダミーデータを、第２チャネルの第２のタグを有する第２のデータパッケージに結合する。
【００５９】
ステップ７３：画像処理部を使用して、深度データに応じて、第１の画像と第２の画像にステレオマッチングを行う。
【００６０】
ステップ７４：画像信号プロセッサを使用して、第１の画像および第２の画像に対する自動ホワイトバランスおよび露出値の較正を実行する。
【００６１】
ステップ７５：デジタル信号プロセッサを使用して、第１の画像と第２の画像をステレオグラフィに変換する。
【００６２】
ステップ７６：中央処理装置を使用して、ステレオグラフィおよび深度データに基づいて、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、６Ｄｏｆ、およびＳＬＡＭのアプリケーションに関する計算結果を生成する。
【００６３】
対話型画像処理プロセス７の詳細動作は、図３の説明を参照することによって得ることができ、ここでは省略する。
【００６４】
従来技術では、モーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭを含む異なるアプリケーションは、特別に設計されたアーキテクチャおよびプラットフォームにおいてのみ動作可能であることに留意されたい。なぜなら、これらのアプリケーションは、異なるアーキテクチャおよびプラットフォームにおいて動作可能でなく、互換性がないからである。対照的に、本開示は、対話型画像処理システムの中央処理装置またはメモリ装置に記憶された異なるアルゴリズムを実行することにより、上述のアプリケーションが動作可能なアーキテクチャを提供する。
【００６５】
さらに、中央処理装置は、マルチタスクを実現するために、メモリ装置から２つ以上のプログラムコードにアクセスして、モーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭを含む２つ以上のアプリケーションを実行することができる。
【００６６】
要約すると、本開示は、深度品質を改善するために、第１および第２の赤外線カメラによって生成された赤外線画像に従って深度データを計算する。従って、アプリケーションを処理するための中央処理装置の精度および効率（例えば、ハンドモーション検出および追跡、空間走査、オブジェクト走査、ＡＲシースルー、およびＳＬＡＭ）は、改善され、より良いユーザ体験を実現し得る。
【００６７】
当業者には言うまでもないが、本発明の教示を保持しつつ、上記の装置と方法について、多数の修正や変更をすることができる。したがって、上記の開示は添付した特許請求の範囲によってのみ限定されると解釈すべきである。
【図１】
2020177619.tif 000003
【図２】
2020177619.tif 000004
【図３】
2020177619.tif 000005
【図４】
2020177619.tif 000006
【図５】
2020177619.tif 000007
【図６】
2020177619.tif 000008
【図７】
2020177619.tif 000009