(57)【要約】      （修正有）【課題】所定の要求される環境に応じることで、この一環としてイメージ変換メカニズムを有するディスプレイシステム及びその運用方法の提供。【解決手段】運用方法は、入力ピクセルを有する入力イメージを受信する段階、意味（ｓｅｍａｎｔｉｃ）カテゴリーに対応する前記入力ピクセルにピクセル情報を割り当てる段階、前記ピクセル情報を有する前記入力ピクセルから入力背景（ｂａｃｋｇｒｏｕｎｄ）ピクセルを検出する段階、前記入力背景ピクセルを有する前記入力ピクセルから入力前景（ｆｏｒｅｇｒｏｕｎｄ）ピクセルを識別する段階、前記入力背景ピクセルと前記入力前景ピクセルにピクセル深さを割り当てる段階、前記入力背景ピクセルと前記入力前景ピクセルを有する深さ（ｄｅｐｔｈ）マップを生成する段階、及び所定の装置にディスプレイするために前記深さマップを有する前記入力イメージから処理されたイメージを生成する段階を含む。【選択図】図１３
2013153437.tif 000002
【特許請求の範囲】
【請求項１】
入力ピクセルを有する入力イメージを受信する段階；
意味カテゴリー（ｓｅｍａｎｔｉｃ  ｃａｔｅｇｏｒｙ）に対応する前記入力ピクセルにピクセル情報を割り当てる段階；
前記ピクセル情報を有する前記入力ピクセルから入力背景（ｂａｃｋｇｒｏｕｎｄ）ピクセルを検出する段階；
前記入力背景ピクセルを有する前記入力ピクセルから入力前景（ｆｏｒｅｇｒｏｕｎｄ）ピクセルを識別する段階；
前記入力背景ピクセルと前記入力前景ピクセルにピクセル深さを割り当てる段階；
前記入力背景ピクセルと前記入力前景ピクセルを有する深さマップ（ｄｅｐｔｈ  ｍａｐ）を生成する段階；及び
所定の装置にディスプレイするために前記深さマップを有する前記入力イメージから処理されたイメージを生成する段階を含むことを特徴とするディスプレイシステムの運用方法。
【請求項２】
前記ピクセル情報を割り当てる段階は、
前記入力ピクセルのピクセル値と前記意味カテゴリーの意味値を比較する段階；及び
前記ピクセル値が前記意味値と同一な時、前記ピクセル情報を前記意味カテゴリーとして分類する段階を含むことを特徴とする請求項１に記載のディスプレイシステムの運用方法。
【請求項３】
前記入力背景ピクセルと前記入力前景ピクセルにピクセル深さを割り当てる段階は、
認知された深さ（ｐｅｒｃｅｉｖｅｄ  ｄｅｐｔｈ）を有する処理された背景ピクセルを生成する段階；及び
前記認知された深さを有する処理された前景ピクセルを生成する段階を含むことを特徴とする請求項１に記載のディスプレイシステムの運用方法。
【請求項４】
前記ピクセル深さを割り当てることは、前記入力イメージのイメージ視角（ｖｉｅｗ）に基づいて前記ピクセル深さを割り当てることを特徴とする請求項１に記載のディスプレイシステムの運用方法。
【請求項５】
前記入力ピクセルのピクセル値の入力ヒストグラムを生成する段階；及び
前記意味カテゴリーに基づいて前記ピクセル値として前記入力ヒストグラムの入力ピークを分類する段階をさらに含み、
前記入力ピクセルの前記ピクセル情報を割り当てることは、前記入力ピークに前記入力ピクセルを連結することを特徴とする請求項１に記載のディスプレイシステムの運用方法。
【請求項６】
入力ピクセルを有する入力イメージを受信する段階；
前記入力ピクセルのピクセル値から入力ヒストグラムを生成する段階；
意味カテゴリーに対応する前記入力ヒストグラムの入力ピークを分類する段階；
前記入力ピークとの比較に基づいて前記意味カテゴリーに対応するピクセル情報を前記入力ピクセルに割り当てる段階；
前記ピクセル情報を有する前記入力ピクセルから入力背景ピクセルを検出する段階；
前記入力背景ピクセルを有する前記入力ピクセルから入力前景ピクセルを識別する段階；
前記入力背景ピクセルと前記入力前景ピクセルにピクセル深さを割り当てる段階；
前記入力背景ピクセルと前記入力前景ピクセルを有する深さマップを生成する段階；及び
所定の装置にディスプレイするために前記深さマップを有する前記入力イメージから処理されたイメージを生成する段階を含むことを特徴とするディスプレイシステムの運用方法。
【請求項７】
前記入力背景ピクセルを検出する段階は、
前記入力ピクセルの背景割合を割合しきい値と比較する段階；及び
前記背景割合が前記割合しきい値より大きい場合、前記入力ピクセルを前記入力背景ピクセルとして判断する段階を含むことを特徴とする請求項６に記載のディスプレイシステムの運用方法。
【請求項８】
前記入力背景ピクセルを検出する段階は、
前記入力ピクセルのピクセル密度を密度しきい値と比較する段階；及び
前記ピクセル密度が前記密度しきい値より大きい場合、前記入力ピクセルを前記入力背景ピクセルとして判断する段階を含むことを特徴とする請求項６に記載のディスプレイシステムの運用方法。
【請求項９】
前記入力前景ピクセルを検出することは、
前記入力前景ピクセルに対して前記入力背景ピクセルの背景フレームを検索することを特徴とする請求項６に記載のディスプレイシステムの運用方法。
【請求項１０】
前記入力背景ピクセルに前記ピクセル深さを割り当てることは、一定の割合で前記ピクセル深さを割り当てることを特徴とする請求項６に記載のディスプレイシステムの運用方法。
【請求項１１】
入力ピクセルを有する入力イメージを受信する通信部；
前記通信部に結合され、意味カテゴリー（ｓｅｍａｎｔｉｃ  ｃａｔｅｇｏｒｙ）に対応する前記入力ピクセルにピクセル情報を割り当てる意味割当モジュール；
前記意味割当モジュールに結合され、前記ピクセル情報を有する前記入力ピクセルから入力背景（ｂａｃｋｇｒｏｕｎｄ）ピクセルを検出する背景検出モジュール；
前記背景検出モジュールに結合され、前記入力背景ピクセルを有する前記入力ピクセルから入力前景（ｆｏｒｅｇｒｏｕｎｄ）ピクセルを検出する前景検出モジュール；
前記意味割当モジュールに結合され、前記入力背景ピクセルにピクセル深さを割り当てる背景深さモジュール；
前記背景深さモジュールに結合され、前記入力前景ピクセルにピクセル深さを割り当てる客体深さモジュール；
前記意味割当モジュールに結合され、前記入力背景ピクセルと前記入力前景ピクセルを有する深さマップを生成する深さマップモジュール；及び
前記深さマップモジュールに結合され、所定の装置にディスプレイするために前記深さマップを有する前記入力イメージから処理されたイメージを生成するイメージ
ディスプレイモジュールを含むことを特徴とするディスプレイシステム。
【請求項１２】
前記意味割当モジュールは、前記入力ピクセルのピクセル値が前記意味カテゴリーの意味値（ｓｅｍａｎｔｉｃ  ｖａｌｕｅ）と同一な時、前記ピクセル情報を前記意味カテゴリーとして分類するピーク分類モジュールを含むことを特徴とする請求項１１に記載のディスプレイシステム。
【請求項１３】
前記背景深さモジュールは、認知された深さを有する処理された背景ピクセルを生成することを特徴とする請求項１１に記載のディスプレイシステム。
【請求項１４】
前記深さマップモジュールは、イメージ視角（ｖｉｅｗ）に基づいて前記ピクセル深さを割り当てる視角検出モジュールを含むことを特徴とする請求項１１に記載のディスプレイシステム。
【請求項１５】
前記通信部に結合され、前記入力ピクセルのピクセル値の入力ヒストグラムを生成するヒストグラムモジュールをさらに含み、
前記意味割当モジュールは、
前記意味割当モジュールに結合され、前記意味カテゴリーに基づく前記ピクセル値として前記入力ヒストグラムの入力ピークを分類するピーク分類モジュール；及び
前記ピーク分類モジュールに結合され、前記入力ピークと連結された前記入力ピクセルの前記ピクセル情報を割り当てるピクセル分類モジュールを含むことを特徴とする請求項１１に記載のディスプレイシステム。
【請求項１６】
前記入力イメージから入力ヒストグラムを生成するヒストグラム
モジュールをさらに含み、
前記意味割当モジュールは、
前記意味割当モジュールに結合され、前記意味カテゴリーに対応する前記入力ヒストグラムの入力ピークを分類するピーク分類モジュール；及び
前記ピーク分類モジュールに結合され、前記入力ピークとの比較に基づいて前記意味カテゴリーに対応する前記ピクセル情報を割り当てるピクセル分類モジュールを含むことを特徴とする請求項１１に記載のディスプレイシステム。
【請求項１７】
前記背景検出モジュールは、前記入力ピクセルの背景割合が割合しきい値より大きい場合、前記入力ピクセルを前記入力背景ピクセルと判断する背景割合モジュールを含むことを特徴とする請求項１６に記載のディスプレイシステム。
【請求項１８】
前記背景検出モジュールは、前記入力ピクセルのピクセル密度が密度しきい値より大きい場合、前記入力ピクセルを前記入力背景ピクセルとして判断するピクセル密度モジュールを含むことを特徴とする請求項１６に記載のディスプレイシステム。
【請求項１９】
前記前景検出モジュールは、前記入力前景ピクセルに対する前記入力背景ピクセルの背景フレームを検索する背景フレーム
モジュールを含むことを特徴とする請求項１６に記載のディスプレイシステム。
【請求項２０】
前記背景深さモジュールは、前記入力背景ピクセルにピクセル深さを一定の割合で割り当てることを特徴とする請求項１６に記載のディスプレイシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイシステム及びその運用方法に係り、さらに詳しくは、イメージ変換のためのことである。
【背景技術】
【０００２】
グラフィックディスプレイシステム、テレビ、プロジェクター、携帯電話、携帯用デジタル端末機、及び組合装置のような、現代の消費者用及び産業用電子製品、特に装置は、３次元ディスプレイサービスを含む現代生活を支援する高い水準の機能を提供する。現存する技術で研究と開発は、無数に異なる方向を有することができる。
【０００３】
３次元ディスプレイ装置の成長と共にユーザにさらに多い権限が付与されることによって、新旧のパラダイムでは、このような新しい装置による余地を利用し始める。このような新しいディスプレイ装置に対する機会を利用するための多い技術的な解決策がある。現在一つの接近では、ビデオプロジェクター、テレビ、モニター、ゲームシステム、または個人携帯情報端末機（ＰＤＡ）のような消費者、産業及び移動性電子製品上に３次元イメージを表示することである。
【０００４】
３次元ディスプレイ基盤サービスは、“現実世界”でユーザが生成、伝達、保存及び消費するようにユーザが情報を生成、伝達、保存及び/または消費するようにする。３次元ディスプレイ基盤サービスの中で一つ、このような使用は、ディスプレイ上に３次元イメージを効率的に提供することである。
【０００５】
３次元ディスプレイシステムは、プロジェクター、テレビ、ノートブック、ハンドヘルド装置（ｈａｎｄｈｅｌｄ  ｄｅｖｉｃｅ）、及び他の携帯用製品に含まれてきた。現今、このようなシステムは、ダイヤグラム、マップまたはビデオのような有用な関連情報をディスプレイすることによってユーザを助ける。３次元イメージの表示は、非常に貴重な関連情報を提供する。
【０００６】
しかし、情報を３次元形態でディスプレイすることは、消費者に最高の関心になった。実際の世界に係らない３次元イメージは、３次元ディスプレイシステムを利用する利益を減少させる。
【０００７】
従って、３次元イメージをディスプレイするイメージ変換メカニズムを有する３次元ディスプレイシステムが相変らず必要である。市場で意味のある製品差別化においてますます減る機会と大きくなる消費者の期待心とと共に、いつも増加する商業的な競争力のために、このような問題に対する答を発見することはますます重要になる。そして、費用を減らし、効率と性能を向上させ、競争力を満足させることは、このような問題に対する答えを探すための必要性に対する緊急性をさらに加重させる。
【０００８】
このような問題に対する解決策を長く探したが、以前の開発はいかなる解決策も教示または提案できなかったので、このような問題に対する解決策は当業者に長らく認知されることができなかった。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
従って、本発明の目的は、前述したすべての環境を認識して、既存環境での問題点を解決し、所定の要求される環境に応じることで、この一環としてイメージ変換メカニズムを有するディスプレイシステム及びその運用方法を提示する。
【課題を解決するための手段】
【００１０】
前記課題を解決するために開示するディスプレイシステムの運用方法は、入力ピクセルを有する入力イメージを受信する段階；意味カテゴリー（ｓｅｍａｎｔｉｃ  ｃａｔｅｇｏｒｙ）に対応する前記入力ピクセルにピクセル情報を割り当てる段階；前記ピクセル情報を有する前記入力ピクセルから入力背景（ｂａｃｋｇｒｏｕｎｄ）ピクセルを検出する段階；前記入力背景ピクセルを有する前記入力ピクセルから入力前景（ｆｏｒｅｇｒｏｕｎｄ）ピクセルを識別する段階；前記入力背景ピクセルと前記入力前景ピクセルにピクセル深さを割り当てる段階；前記入力背景ピクセルと前記入力前景ピクセルを有する深さマップ（ｄｅｐｔｈ  ｍａｐ）を生成する段階；及び所定の装置にディスプレイするために前記深さマップを有する前記入力イメージから処理されたイメージを生成する段階を含むことによって前記課題を解決する。
【００１１】
前記課題を解決するために開示するディスプレイシステムは、入力ピクセルを有する入力イメージを受信する通信部；前記通信部に結合され、意味カテゴリー（ｓｅｍａｎｔｉｃ  ｃａｔｅｇｏｒｙ）に対応する前記入力ピクセルにピクセル情報を割り当てる意味割当モジュール；前記意味割当モジュールに結合され、前記ピクセル情報を有する前記入力ピクセルから入力背景（ｂａｃｋｇｒｏｕｎｄ）ピクセルを検出する背景検出モジュール；前記背景検出モジュールに結合され、前記入力背景ピクセルを有する前記入力ピクセルから入力前景（ｆｏｒｅｇｒｏｕｎｄ）ピクセルを検出する前景検出モジュール；前記意味割当モジュールに結合され、前記入力背景ピクセルにピクセル深さを割り当てる背景深さモジュール；前記背景深さモジュールに結合され、前記入力前景ピクセルにピクセル深さを割り当てる客体深さモジュール；前記意味割当モジュールに結合され、前記入力背景ピクセルと前記入力前景ピクセルを有する深さマップを生成する深さマップモジュール；及び前記深さマップモジュールに結合され、所定の装置にディスプレイするために前記深さマップを有する前記入力イメージから処理されたイメージを生成するイメージディスプレイモジュールを含むことによって前記課題を解決する。
【００１２】
本発明の特定の実施形態は、前記言及したことに追加したり代わることによって、他の段階または構成要素を有する。このような段階または構成要素は、添付の図面を参照して、下の詳細な説明を読むことによって当業者に明確になるだろう。
【発明の効果】
【００１３】
本発明は、背景ピクセルまたは前景ピクセルの検出結果が改善されたディスプレイシステム及びその運用方法を提供する。背景検出モジュールまたは前景検出モジュールが、背景または前景を示すピクセルとその他のピクセルを区分するためにピクセル情報を利用することによって、ピクセル密度モジュールと背景割合モジュールがピクセルを背景ピクセルまたは前景ピクセルとさらに正確に判断することができるので、背景ピクセルまたは前景ピクセルの検出を改善することができる効果を提供する。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態によるイメージ変換メカニズムを有するディスプレイシステムである。
【図２】図１の第１装置のディスプレイインターフェースの例である。
【図３】ディスプレイシステムのブロック図である。
【図４】ディスプレイシステムのフローチャートである。
【図５】意味割当モジュールを示す図である。
【図６】入力イメージの一部を示す例である。
【図７】背景検出モジュールを示す図である。
【図８】前景検出モジュールを示す図である。
【図９】深さマップモジュールを示す図である。
【図１０】入力イメージの例である。
【図１１】処理された背景を有する入力イメージの例である。
【図１２】処理されたイメージの例である。
【図１３】本発明の他の実施形態によるディスプレイシステムの運用方法を示すフローチャートである。
【発明を実施するための形態】
【００１５】
以下の実施形態は、当業者が本発明を実施し利用できるように十分に詳しく説明する。本説明に基づいて他の実施形態も明白になり、システム、プロセスまたは機械的な変更も本発明の範囲を外れない限り可能性であろう。
【００１６】
次の説明で、本発明に対する理解のために、多数の具体的な細部事項が与えられた。しかし、本発明はこのような具体的な細部事項がなくても実施可能である。本発明が不明にならないように、よく知られた回路、システム構成及び処理段階に対しては詳細な説明を省略する。
【００１７】
本システムの実施形態を示す図面は、明確な表現のため一部の大きさを誇張する等、概略的に尺度に合わないこともある。また、容易な説明のため図面の観点は一般的に類似な方向で示すが、図面の描写はほとんど任意的に示す。一般的に、本発明は、すべての方向で動作することができる。実施形態に対して第１実施形態、第２実施形態などのように番号を付けることは、辺宜のためであり、他の意味を付与したり本発明を限定するためではない。
【００１８】
当業者は、イメージ情報の表現形式が、本発明の一部の実施形態においては必須ではないことを理解するだろう。例えば、一部の実施形態で、イメージ情報は、（Ｘ、Ｙ）の形式で示されるが、ここで、ＸとＹは、イメージのピクセルの位置を定義する二つの座標である。
【００１９】
他の実施形態で、３次元イメージ情報は、ピクセルのカラーに対する情報とともに（Ｘ、Ｙ、Ｚ）の形式で示す。本発明のまた他の実施形態で、３次元イメージ情報は、強度（ｉｎｔｅｎｓｉｔｙ）と明るさ（ｂｒｉｇｈｔｎｅｓｓ）要素を含むことができる。
【００２０】
ここで使用する“イメージ”という用語は、２次元イメージ、３次元イメージ、ビデオフレーム、コンピュータファイル表示、カメラからのイメージ、ビデオフレームまたはこれらの結合を含むことができる。例えば、イメージは、機械が読むことができるデジタルファイル、物理的な写真、デジタル写真、動画フレーム、ビデオフレーム、Ｘ線イメージ、スキャンイメージ、またはこれらの結合であることができる。また、例えば、ハードウェアは、回路素子、プロセッサー、コンピュータ、集積回路、集積回路コア、圧力センサー、慣性センサー、マイクロ電気機械システム（ＭＥＭＳ）、受動素子、またはこれらの結合であることができる。
【００２１】
ここで使用する“モジュール”という用語は、ソフトウェア、ハードウェアまたはこれらの結合であることができる。例えば、ソフトウェアは、機械コード、ファームウェア、内蔵コード、アプリケーションソフトウェアであることができる。また、例えば、ハードウェアは、回路素子、プロセッサー、コンピュータ、集積回路、集積回路コア、圧力センサー、慣性センサー、マイクロ電気機械システム（ＭＥＭＳ）、受動素子、またはこれらの結合であることができる。
【００２２】
図１は、本発明の一実施形態によるイメージ変換メカニズムを有するディスプレイシステム１００を示す。ディスプレイシステム１００は、クライアントまたはサーバーのような第２装置１０６に連結された、クライアントまたはサーバーのような第１装置１０２を含む。第１装置１０２は、無線または有線ネットワークのような通信経路１０４で第２装置１０６と通信することができる。
【００２３】
例えば、第１装置１０２は、携帯電話、個人携帯情報端末機、ノートブックコンピュータ、液晶ディスプレイシステム、または他の多機能ディスプレイまたは娯楽装置のような多様なディスプレイ装置の中でいずれも可能である。
【００２４】
第１装置１０２は、第２装置１０６との通信のために、直接または間接の中でいずれか一つで通信経路１０４で連結されたり、独立型装置（ｓｔａｎｄ−ａｌｏｎｅ  ｄｅｖｉｃｅ）であることができる。
【００２５】
例えば、第１装置１０２は、他の形態の装置であることもできるが、ディスプレイシステム１００は、ディスプレイ装置としての第１装置１０２を含むように説明する。例えば、第１装置１０２は、イメージを示すためのまたはマルチ−メディアを示すための装置であることができる。マルチ−メディア表示は、サウンド、一連のストリーミング
イメージまたはビデオフィード（ｖｉｄｅｏ  ｆｅｅｄ）、またはこれらの結合であることができる。例えば、第１装置１０２は、高画質テレビ、３次元テレビ、コンピュータモニター、個人携帯情報端末機、セルラーフォン、またはマルチ−メディアセットであることができる。
【００２６】
第２装置１０６は、多様な集中型または分散型コンピュータ装置またはビデオ送信装置の中でいずれか一つであることができる。例えば、第２装置１０６は、マルチメディアコンピュータ、ラップトップコンピュータ、デスクトップコンピュータ、ビデオゲームコンソール、グリッドコンピュータリソース、仮想コンピュータリソース、クラウドコンピュータリソース、ルータ、スイッチ、ピアーツーピアー分散コンピュータ装置、メディア再生装置、デジタルビデオディスク（ＤＶＤ）プレーヤー、３次元可能ＤＶＤプレーヤー、カメラあるいはビデオカメラのような記録装置、またはこれらの結合であることができる。他の例で、第２装置１０６は、テレビ受信機、ケーブルボックス、衛星皿受信機、またはＴｉＶｏＴＭまたはＳｌｉｎｇｂｏｘＴＭのようなウェブ可能装置（ｗｅｂ  ｅｎａｂｌｅｄ  ｄｅｖｉｃｅ）であることができる。
【００２７】
第２装置１０６は、単一部屋に集中されたり、色々な部屋に分散されたり、色々な地理的な位置に分散されたり、電気通信ネットワーク内に内蔵されることができる。第２装置１０６は、第１装置１０２と通信するために通信経路１０４と結合するための手段を有することができる。
【００２８】
例えば、第２装置１０６は、他のタイプの装置になることができるが、ディスプレイシステム１００は、コンピュータ装置として第２装置１０６を含むことで説明される。また、例えば、ディスプレイシステム１００は、第１装置１０２、第２装置１０６及び通信経路１０４の間に他の部分（ｄｉｆｆｅｒｅｎｔ  ｐａｒｔｉｔｉｏｎ）を有することができるが、ディスプレイシステム１００は第２装置１０６と第１装置１０２が通信経路１０４の終端点（ｅｎｄ  ｐｏｉｎｔ）として図示される。例えば、第１装置１０２、第２装置１０６またはこれらの結合は、通信経路１０４の一部で機能することができる。
【００２９】
通信経路１０４は、多様なネットワークであることができる。例えば、通信経路１０４は、無線通信、有線通信、光学通信、超音波通信、またはこれらの結合を含むことができる。衛星通信、セル方式通信、ブルートゥース、ＩｒＤＡ、ＷｉＦｉ、ＷｉＭａｘは、通信経路１０４に含まれることができる無線通信の例である。イーサネット（登録商標）、デジタル加入者回線（ＤＳＬ）、光加入者網（ＦＴＴＨ）、既存電話サービス（ＰＯＴＳ）は、通信経路１０４に含まれることができる有線通信の例である。
【００３０】
また、通信経路１０４は、数多くのネットワーク トポロジー及び距離（ｄｉｓｔａｎｃｅ）を通過（ｔｒａｖｅｒｓｅ）することができる。例えば、通信経路１０４は、直接連結、個人領域ネットワーク（ＰＡＮ）、近距離通信網（ＬＡＮ）、大都市通信網（ＭＡＮ）、広域通信網（ＷＡＮ）、またはこれらの結合を含むことができる。
【００３１】
図２は、図１の第１装置１０２のディスプレイインターフェース２１０の例を示す。ディスプレイインターフェース２１０は、イメージを表示するためのまたはマルチメディア表現のための物理的装置である。例えば、ディスプレイインターフェースは、ＬＣＤパネル、プラズマスクリーンまたはプロジェクションスクリーンを含むスクリーンであることができる。
【００３２】
ディスプレイインターフェース２１０は、所定の処理されたイメージ２１２をディスプレイすることができる。処理されたイメージ２１２は、ディスプレイインターフェース２１０に提示された時、認知された深さ（ｐｅｒｃｅｉｖｅｄ  ｄｅｐｔｈ）を有するように処理された数多くのピクセルを有する領域で定義される。
【００３３】
認知された深さ（ｐｅｒｃｅｉｖｅｄ  ｄｅｐｔｈ）は、ディスプレイインターフェース２１０を遠くから見る時、イメージ内でいずれの客体が他の客体または背景より相対的に近くまたは遠く現れることを意味する。例えば、イメージの下段左側コーナーに原点が位置する３次元（Ｃａｒｔｅｓｉａｎ）座標系で、ｘ軸２１３は幅（ｗｉｄｔｈ）を測定するための基準で定義され、ｙ軸２１５は深さ（ｄｅｐｔｈ）を測定するための基準で定義され、ｚ軸２１７は高さ（ｈｅｉｇｈｔ）を測定するための基準で定義される。大きい値のｙ座標を有する客体は小さい値のｙ座標を有する客体より、大きく認知された深さを有することができる。大きく認知された深さを有する客体は、小さく認知された深さを有する客体よりさらに近く示されるだろう。
【００３４】
他の例で、ユーザは、処理されたイメージ２１２で客体がディスプレイ  インターフェース２１０面の外側あるいは前側に現れると認知することによって深さを認知することができる。同じように、ユーザは、処理されたイメージ２１で客体がディスプレイインターフェース２１０面の内の後側に深く現れると認知することによって深さを認知することができる。例えば、処理されたイメージ２１２は、距離を表現する方法としてピクセルを濁らせることができる。また、認知深さを与えるために明るさとカラーの強度を減らす。
【００３５】
処理されたイメージ２１２は、処理された前景客体２１４と処理された背景２１６を含むことができる。処理された前景客体２１４は、背景の上に客体の位置に相対的に均一な深さ（ｕｎｉｆｏｒｍ  ｄｅｐｔｈ）を有することができる客体で定義される。均一な深さは、同じ認知された深さを有する客体のすべての部分を意味する。例えば、処理された前景客体２１４は、サッカー場に真っすぐ立っているサッカー選手であるとか、野球場に真っすぐ立っている野球選手であることができる。例えば、処理された前景客体２１４に同じな認知された深さを提供するために、処理された前景客体２１４の領域内にあるピクセルを濁るようにまたはやわらかくすることは質感（ｔｅｘｔｕｒｅ）を提供することができるし、処理されたイメージ２１２で処理された前景客体２１４の何でも間での分離を意味する。
【００３６】
処理された背景２１６は、他の客体のための視角的土台（ｖｉｓｕａｌ  ｂａｓｅ）を提供するイメージの部分として定義される。処理された背景２１６は、益々または持続的に変わる認知された深さを有する。例えば、処理されたイメージ２１２の底（ｂｏｔｔｏｍ）に近い処理された背景２１６の部分は処理されたイメージ２１２の中心またはてっぺん（ｔｏｐ）に近い処理された背景２１６の部分より小さく認知された深さを有することができる。サッカー場を例えば、処理されたイメージ２１２の底に隣接したサッカー場は近く現れることができし、処理されたイメージ２１２の中心とてっぺんに向かって益々遠ざかるだろう。
【００３７】
一般的に、処理された背景２１６は、単一または均一な背景タイプを示すことができる。例えば、処理された背景２１６は、サッカー競技で芝競技場、航海場面で海、または空を現れることができる。しかし、処理された背景２１６は、野球場ダイヤモンドの土と内野と外野の芝の結合またはサッカー場の芝周辺の競技場座席のような色々な切れまたは部分で構成されることができる。処理されたイメージ２１２は、イメージ視角（ｉｍａｇｅ  ｖｉｅｗｐｏｉｎｔ）２１８を有することができる。イメージ視角２１８は、イメージのカメラ角度として定義される。例えば、イメージ観点２１８は、飛行機、ヘリコプターまたは小型飛行船のようなことから空で見下ろした鳥瞰図（ａｅｒｉａｌ  ｖｉｅｗ）、スポーツ
スタジアムでクレーンまたは昇降台からの視線のような高角度視角（ｈｉｇｈ  ａｎｇｌｅ  ｖｉｅｗ）、目の高さ視角（ｅｙｅ  ｌｅｖｅｌ  ｖｉｅｗ）、または底角度視角（ｌｏｗ  ａｎｇｌｅ  ｖｉｅｗ）であることができる。
【００３８】
一般的に、処理イメージ２１２は、透視図であるイメージ視角を有することができる。透視図は、サッカー場や野球場のスタジアムまたはアナウンサーの観点のような、背景の広い領域を提供する高角度視角の形態で定義される。また、透視図は一般的に前景客体を背景の大きい領域上の小さい客体（競技場でサッカー選手または野球選手のような客体）として示す。
【００３９】
図３は、ディスプレイシステム１００のブロック図である。ディスプレイシステム１００は、第１装置１０２、通信経路１０４及び第２装置１０６を含むことができる。第１装置１０２は、第１装置伝送３０８から通信経路１０４を経て第２装置１０６に情報を送信することができる。第２装置１０６は、第２装置伝送３１０から通信経路１０４を経て第１装置１０２に情報を送信することができる。
【００４０】
例えば、ディスプレイシステム１００は、第１装置１０２をクライアント装置として有すると示しているが、ディスプレイシステム１００は、第１装置１０２を他のタイプの装置として有することもできる。例えば、第１装置１０２は、ディスプレイ  インターフェースを有するサーバーであることができる。
【００４１】
また、例えば、ディスプレイシステム１００は、第２装置１０６をサーバーとして有すると示しているが、ディスプレイシステム１００は、第２装置１０６を他のタイプの装置として有することもできる。例えば、第２装置１０６は、クライアント装置であることができる。
【００４２】
本発明によるこの実施形態の簡潔な説明のために、第１装置１０２はクライアント装置として説明され、第２装置１０６はサーバー装置として説明される。本発明は、このようなタイプの装置に対する選択に限定されない。このような選択は本発明の一例に過ぎない。
【００４３】
第１装置１０２は、第１制御部３１２、第１保存部３１４、第１通信部３１６、第１ユーザインターフェース３１８を含むことができる。第１制御部３１２は、第１制御インターフェース３２２を含むことができる。第１制御部３１２は、ディスプレイシステム１００の情報を提供するために第１ソフトウェア３２６を実行させることができる。
【００４４】
第１制御部３１２は、数多くの色々な方式で具現されることができる。例えば、第１制御部３１２は、プロセッサー、注文型集積回路（ＡＳＩＣ）、内蔵プロセッサー、マイクロプロセッサー、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタル信号処理器（ＤＳＰ）、またはこれらの結合であることができる。
【００４５】
第１制御インターフェース３２２は、第１装置１０２で第１制御部３１２と他の機能部との通信のために利用されることができる。第１制御インターフェース３２２は、第１装置１０２の外部で通信のために利用されることもできる。第１制御インターフェース３２２は、他の機能部または外部ソースから情報を受信したり、他の機能部または外部の目的地に情報を送信することができる。外部ソースと外部目的地は、第１装置１０２の外部のソースと目的地を言う。
【００４６】
第１制御インターフェース３２２は、色々な方法で具現されることができて、どの機能部または外部ユニットが第１制御インターフェース３２２と接続されているかに従って多様に具現されることができる。例えば、第１制御インターフェース３２２は、圧力センサー、慣性センサー、マイクロ電気機械システム（ＭＥＭＳ）、光学回路素子、導波管、無線回路素子、ワイヤーライン回路、またはこれらの結合で具現されることができる。
【００４７】
第１保存部３１４は、第１ソフトウェア３２６を保存することができる。また、第１保存部３１４は、入手されるイメージ（ｉｎｃｏｍｉｎｇ  ｉｍａｇｅｓ）を示すデータ、以前に提供されたイメージを示すデータ、声ファイル、またはこれらの結合のような関連情報を保存することができる。
【００４８】
第１保存部３１４は、揮発性メモリー、非揮発性メモリー、内部メモリー、外部メモリー、またはこれらの結合であることができる。例えば、第１保存部３１４は、非揮発性ラム（ＮＶＲＡＭ）、フラッシュメモリー、ディスク保存部のような非揮発性保存部、または静的ラム（ＳＲＡＭ）のような揮発性保存部であることができる。
【００４９】
第１保存部３１４は、第１保存インターフェース３２４を含むことができる。第１保存インターフェース３２４は、第１装置１０２の他の機能部の間で通信のために利用されることができる。また、第１保存インターフェース３２４は、第１装置１０２の外部で通信のために利用されることができる。
【００５０】
第１保存インターフェース３２４は、他の機能部または外部ソースから情報を受信したり、他の機能部または外部の目的地に情報を送信することができる。外部ソースと外部目的地は、第１装置１０２の外部のソースと目的地を言う。
【００５１】
第１制御インターフェース３２２は、どの機能部または外部ユニットが第１制御インターフェース３２２と接続されているかに従って多様な具現を含むことができる。例えば、第１制御インターフェース３２２は、圧力センサー、慣性センサー、マイクロ電気機械システム（ＭＥＭＳ）、光学回路素子、導波管、無線回路素子、ワイヤーライン回路、またはこれらの結合で具現されることができる。
【００５２】
第１通信部３１６は、第１装置１０２との外部通信を可能にする。例えば、第１通信部３１６は、第１装置１０２が、図１の第２装置１０６、周辺装置またはコンピュータ
デスクトップのような連結装置、及び通信経路１０４と通信するようにする。
【００５３】
第１通信部３１６は、第１装置１０２が通信経路１０４の一部として機能するようにする通信ハーブとして機能することができるが、通信経路１０４の終端点または末端（ｔｅｒｍｉｎａｌ）で限定されないだろう。第１通信部３１６は、通信経路１０４との相互作用（ｉｎｔｅｒａｃｔｉｏｎ）のため、マイクロエレクトロニクスまたはアンテナのような、能動及び受動部品を含むことができる。
【００５４】
第１通信部３１６は、第１通信インターフェース３２８を含むことができる。第１通信インターフェース３２８は、第１通信部３１６と第１装置１０２の他の機能部の間で通信のために利用されることができる。第１通信インターフェース３２８は、他の機能部から情報を受信したり他の機能部に情報を送信することができる。
【００５５】
第１通信インターフェース３２８は、どの機能部が第１通信部３１６と接続されて（ｉｎｔｅｒｆａｃｅｄ）いるかに従って多様に具現されることができる。第１通信インターフェース３２８は、第１制御インターフェース３２２と類似な技術及び技法で具現されることができる。
【００５６】
第１ユーザインターフェース３１８は、ユーザ（図示せず）に第１装置１０２と接続（ｉｎｔｅｒｆａｃｅ）及び相互作用するようにする。第１ユーザインターフェース３１８は、入力装置と出力装置を含むことができる。第１ユーザインターフェース３１８の入力装置は、例えば、キーパッド、タッチパッド、ソフトキー、キーボード、マイクロホン、遠隔信号を受信するための赤外線センサー、またはデータと通信入力を提供できることのいずれの結合も含むことができる。
【００５７】
第１ユーザインターフェース３１８は、第１ディスプレイインターフェース３３０を含むことができる。第１ディスプレイインターフェース３３０は、ディスプレイ、プロジェクター、ビデオスクリーン、スピーカー、またはこれらのいずれの結合も含むことができる。
【００５８】
第１制御部３１２は、第１ユーザインターフェース３１８がディスプレイシステム１００によって発生した情報を表示するように運用する。また、第１制御部３１２は、ディスプレイシステム１００の他の機能のための第１ソフトウェア３２６を実行することができる。第１制御部３１２は、第１通信部３１６を通じて通信経路１０４と相互作用するための第１ソフトウェア３２６をさらに実行することができる。
【００５９】
第２装置１０６は、第１装置１０２を有する多重装置実施形態で本発明を具現するために最適化されることができる。第２装置１０６は、第１装置１０２と比較して追加またはさらに高い性能処理パワーを提供することができる。
【００６０】
第２装置１０６は、第２制御部３３４、第２通信部３３６及び第２ユーザインターフェース３３８を含むことができる。
【００６１】
第２ユーザインターフェース３３８は、ユーザ（図示せず）が第２装置１０６と接続及び相互作用するようにする。第２ユーザインターフェース３３８は、入力装置と出力装置を含むことができる。第２ユーザインターフェース３３８の入力装置は、例えば、キーパッド、タッチパッド、ソフトキー、キーボード、マイクロホン、またはデータと通信入力を提供できることのいずれの結合も含むことができる。第２ユーザインターフェース３３８の出力装置の例は、第２ディスプレイインターフェース３４０を含むことができる。第２ディスプレイインターフェース３４０は、ディスプレイ、プロジェクター、ビデオスクリーン、スピーカーまたはこれらのいずれの結合も含むことができる。
【００６２】
第２制御部３３４は、ディスプレイシステム１００の第２装置１０６の情報を提供するために第２ソフトウェア３２４を実行することができる。第２ソフトウェア３４２は、第１ソフトウェア３２６と共に作動することができる。
【００６３】
第２制御部３３４は、第１制御部３１２と比較して追加の性能を提供することができる。第２制御部３３４は、第２ユーザインターフェース３３８が情報を表示するように操縦することができる。また、第２制御部３３４は、第２通信部３３６が第１装置１０２と通信経路１０４を通じて通信するように運用しながら、ディスプレイシステム１００の他の機能のための第２ソフトウェア３４２を実行することができる。
【００６４】
第２制御部３３４は、数多くの色々な方式で具現されることができる。例えば、第２制御部３３４は、プロセッサー、内蔵プロセッサー、マイクロプロセッサー、ハードウェア制御ロジック、ハードウェア有限状態機械（ＦＳＭ）、デジタル信号処理器（ＤＳＰ）、またはこれらの結合であることができる。
【００６５】
第２制御部３３４は、第２制御機インターフェース３４４を含むことができる。第２制御機インターフェース３４４は、第２装置１０６で第２制御部３３４と他の機能部との通信のために利用されることができる。第２制御機インターフェース３４４は、第２装置１０６の外部で通信のために利用されることができる。
【００６６】
第２制御機インターフェース３４４は、他の機能部または外部ソースから情報を受信したり、他の機能部または外部の目的地に情報を送信することができる。外部ソースと外部目的地は、第２装置１０６外部にあるソースと目的地を言う。
【００６７】
第２制御機インターフェース３４４は、いろいろな方法で具現されることができて、どの機能部または外部ユニットが第２制御機インターフェース３４４と接続されているかに従って多様な具現を含むことができる。例えば、第２制御機インターフェース３４４は、圧力センサー、慣性センサー、マイクロ電気機械システム（ＭＥＭＳ）、光学回路素子、導波管、無線回路素子、ワイヤーライン回路、またはこれらの結合で具現されることができる。
【００６８】
第２保存部３４６は、第２ソフトウェア３４２を保存することができる。また、第２保存部３４６は、入手されるイメージ（ｉｍｃｏｍｉｎｇ  ｉｍａｇｅｓ）を示すデータ、以前に提供されたイメージを示すデータ、声ファイル、またはこれらの結合を保存することができる。第２保存部３４６は、第１保存部３１４を補充する追加の保存容量を提供する大きさを有することができる。
【００６９】
例えば、第２保存部３４６は、単一構成要素で図示されているが、第２保存部３４６は、保存要素の分布であることができる。また、例えば、ディスプレイシステム１００は、第２保存部３４６を単一階層の保存システムとして含むと示しているが、ディスプレイシステム１００は、他の構成で第２保存部３４６を有することができる。例えば、第２保存部３４６は、キャッシング、メインメモリ、回転メディア（ｒｏｔａｔｉｎｇ  ｍｅｄｉａ）、またはオフライン保存部の色々なレベルを含むメモリー階層システムを形成する多様な保存技術で形成されることができる。
【００７０】
第２保存部３４６は、揮発性メモリー、非揮発性メモリー、内部メモリー、外部メモリー、またはこれらの結合であることができる。例えば、第２保存部３４６は、非揮発性ラム（ＮＶＲＡＭ）、フラッシュメモリー、ディスク保存部のような非揮発性保存部、または静的ラム（ＳＲＡＭ）のような揮発性保存部であることができる。
【００７１】
第２保存部３４６は、第２保存インターフェース３４８を含むことができる。第２保存インターフェース３４８は、第２装置１０６の他の機能部の間で通信のために利用されることができる。また、第２保存インターフェース３４８は、第２装置１０６の外部で通信のために利用されることができる。
【００７２】
第２保存インターフェース３４８の他の機能部または外部ソースから情報を受信したり、他の機能部または外部の目的地に情報を送信することができる。外部ソースと外部目的地は、第２装置１０６の外部にあるソースと目的地を言う。
【００７３】
第２保存インターフェース３４８は、どの機能部または外部ユニットが第２保存部３４６と接続されているかに従って多様な具現を含むことができる。第２保存インターフェース３４８は、第２制御機インターフェース３４４の具現と類似な技術または技法で具現されることができる。
【００７４】
第２通信部３３６は、第２装置１０６との外部通信を可能にする。例えば、第２通信部３３６は、第２装置１０６が第１装置１０２と通信経路１０４を通じて通信するようにする。第２通信部３３６は、第２装置１０６が通信経路１０４の一部として機能するようにする通信ハーブとして機能することができるが、通信経路１０４の終端点または末端で限定されないだろう。第２通信部３３６は、通信経路１０４との相互作用のため、マイクロエレクトロニクスまたはアンテナのような、能動及び受動部品を含むことができる。
【００７５】
第２通信部３３６は、第２通信インターフェース３５０を含むことができる。第２通信インターフェース３５０は、第２装置１０６の第２通信部３３６と他の機能部との通信のために利用されることができる。第２通信インターフェース３５０は、他の機能部から情報を受信したり他の機能部に情報を送信することができる。
【００７６】
第２通信インターフェース３５０は、どの機能部が第２通信部３３６と接続されているかに従って多様に具現されることができる。第２通信インターフェース３５０は、第２制御機インターフェース３４４と類似な技術及び技法で具現されることができる。
【００７７】
第１通信部３１６は、第１装置伝送３０８から第２装置１０６に情報を送信するために通信経路１０４と結合することができる。第２装置１０６は、第２通信部３３６から通信経路１０４の第１装置伝送３０８から情報を受信することができる。
【００７８】
第２通信部３３６は、第２装置伝送３１０から第１装置１０２に情報を送信するために通信経路１０４と結合することができる。第１装置１０２は、第１通信部３１６で通信経路１０４の第２装置伝送３１０から情報を受信することができる。
【００７９】
ディスプレイシステム１００は、第１制御部３１２、第２制御部３３４、またはこれらの結合によって実行されることができる。
【００８０】
例えば、第２装置１０６は、第２ユーザインターフェース３３８、第２保存部３４６、第２制御部３３４及び第２通信部３３６を有する部分で図示されたが、第２装置１０６は、他の部分を有することもできる。例えば、第２ソフトウェア３４２は、その機能の一部または全部が第２制御部３３４と第２通信部３３６にあるように異なるように分割されることができる。また、第２装置１０６は、明確にするため、図３に図示されなかった他の機能部を含むことができる。
【００８１】
第１装置１０２での機能部は、個別的で他の機能部と独立的に動作することができる。第１装置１０２は、個別的で第２装置１０６及び通信経路１０４とは独立的に動作することができる。
【００８２】
第２装置１０６での機能部は、個別的で他の機能部と独立的に動作することができる。第２装置１０６は、個別的で第１装置１０２及び通信経路１０４とは独立的に動作することができる。
【００８３】
例えば、ディスプレイシステム１００は、第１装置１０２と第２装置１０６の動作で説明される。第１装置１０２と第２装置１０６は、ディスプレイシステム１００のすべてのモジュール及び機能を運用することができる。
【００８４】
図４は、ディスプレイシステム１００の制御流れを示す図である。ディスプレイシステム１００は、入力イメージ４２４を含む。入力イメージ４２４は、図２のディスプレイインターフェース２１０にディスプレイするために第１装置１０２によって受信されたイメージで定義される。入力イメージ４２４は、入力イメージ４２４の生成のために利用された個別的なピクセルとして定義される入力ピクセル４２６を含むことができるし、これは図２の処理イメージ２１２に変換されることができる。
【００８５】
入力ピクセル４２６は、ピクセル値４２８を有することができる。ピクセル値４２８は、ピクセルのカラーを描写する情報を示す値で定義される。例えば、ピクセル値４２８は、色空間（ｃｏｌｏｒ  ｓｐａｃｅ）で特定色を示す座標の集合であることができる。
【００８６】
色空間は、特定の色を描写するために利用されることができる測定基準で定義される。色空間は“ＹＵＶ”色空間によって表現されることができる。Ｙ成分は、イメージで色の輝度または明るさを決められるのに、ここで低いＹ値は低い明るさに対応し、高いＹ値は高い明るさに対応する。ＵとＶ成分は、イメージの色差または色を決めることができる。例えば、Ｕ成分はイメージの青色成分を判断する基準であることができるし、Ｖ成分はイメージの赤色成分を判断する基準であることができる。
【００８７】
例えば、ＵとＶ色差成分は色空間のｘ軸とｙ軸に従って測定されることができる。また、例えば、Ｖ成分はｙ軸に従って測定され、Ｕ成分はｘ軸に従って測定されることができる。
【００８８】
ピクセル値４２８は、色空間でのその座標に基づいて入力ピクセル４２８の色を描写することができる。例えば、（ｘ１、ｙ１）であるピクセル値４２８は緑の特定の明暗を示すことができるし、（ｘ２、ｙ２）のピクセル値４２８は赤色の特定明暗を示すことができる。
【００８９】
ディスプレイシステム１００は、ヒストグラムモジュール４３０を含むことができる。ヒストグラムモジュール４３０は、イメージからピクセルに関する値の分布を図表またはグラフで生成する。ヒストグラムモジュール４３０は、入力イメージ４２４のピクセル値４２８から入力ヒストグラム４３２を生成することができる。入力ヒストグラム４３２は、イメージに現れた色の２次元ヒストグラムで定義される。入力ヒストグラム４３２は、入力イメージ４２４で特定色の周波数を示すことができる。例えば、多くの数の入力ピクセル４２６が緑の明暗を示すピクセル値４２８を有すれば、緑の明暗は高い周波数を有することができる。入力ヒストグラム４３２はピクセル値４２８により“ＹＵＶ”色空間でカラーに対応する入力ピクセル４２６の総数を合わせて生成されることができる。
【００９０】
ディスプレイシステム１００は、意味（ｓｅｍａｎｔｉｃ）割当モジュール４３４を含むことができる。意味割当モジュール４３４は、イメージを示すヒストグラムで局部最大値（ｌｏｃａｌ  ｍａｘｉｍａ）を確認し、局部最大値を分類し、分類された局部最大値に基づいてイメージでの残りのピクセルを分類するためである。このような機能の各々は、下でさらに詳しく議論されるだろう。
【００９１】
ディスプレイシステム１００は、背景（ｂａｃｋｇｒｏｕｎｄ）検出モジュール４３６を含むことができる。背景検出モジュール４３４は、特定ピクセルの総数と特定ピクセルの密度に基づいて、イメージのピクセルがイメージの背景を構成するか否かを判断する。このような機能の各々は、下でさらに詳しく議論されるだろう。
【００９２】
ディスプレイシステム１００は、前景（ｆｏｒｅｇｒｏｕｎｄ）検出モジュール４３８を含むことができる。前景検出モジュール４３８は、ピクセルグループが背景ピクセルによって囲まれていたり、ピクセルのグループが背景ピクセルと比較して相対的に少ないか否かを判断して、イメージで背景の上にある客体を検出する。このような機能の各々は以下でさらに詳しく議論されるだろう。
【００９３】
ディスプレイシステム１００は、深さマップ（ｄｅｐｔｈ  ｍａｐ）モジュール４４０を含むことができる。深さマップモジュール４４０は、イメージが特定の視角（ｖｉｅｗ）を提供するかを判断し、特定の視角（ｖｉｅｗ）が検出されれば、イメージで背景と前景客体のマップを生成する。このような機能の各々は、以下でさらに詳しく議論されるだろう。
【００９４】
深さマップモジュール４４０は、深さマップ４４２を生成することができる。深さマップ４４２は、イメージで各々のピクセルに対する深さ情報を示す地図で定義される。
【００９５】
ディスプレイシステム１００は、イメージ ディスプレイモジュール４４４を含むことができる。イメージディスプレイモジュール４４４は、装置でのディスプレイのための処理イメージ２１２を生成するために入力イメージに深さ情報を適用することで定義される。イメージディスプレイモジュール４４４は、入力イメージ４２４を処理イメージ２１２に変換することができる。イメージディスプレイモジュール４４４は、図１の第１装置１０２でのディスプレイのための処理イメージ２１２を生成するために入力イメージ４２４のピクセルに深さマップ４４２を適用することができる。
【００９６】
ディスプレイシステム１００は、図１の第１装置１０２と第２装置１０６で具現されたり、第１装置１０２と第２装置１０６に分散されて具現されることができる。例えば、第２装置１０６は、図３の第２装置伝送３１０として図３の通信経路１０４を通じて入力イメージ４２４を送信することができる。
【００９７】
第１装置１０２は、図３の第１通信部３１６で入力イメージ４２４を受信することができる。図３の第１通信インターフェース３２８は、図３の第１保存部３１４または図３の第１制御部３１２に入力イメージ４２４を送信することができる。
【００９８】
図３の第１ソフトウェア３２６または第１制御部３１２は、ヒストグラムモジュール４３０、意味割当モジュール４３４、背景検出モジュール４３６、前景検出モジュール４３８、深さマップモジュール４４０及びイメージディスプレイモジュール４４４を実行することができる。
【００９９】
第１制御インターフェース３２２または第１保存インターフェース３２４は、図３の第１ディスプレイインターフェース３３０に処理イメージ２１２を送信することができる。第１ディスプレイインターフェース３３０は、処理イメージ２１２を受信してディスプレイすることができる。
【０１００】
ディスプレイシステム１００は、モジュール機能または命令（ｏｒｄｅｒ）を例えて説明する。モジュールは、異なるように分割されることができる。例えば、第２ソフトウェア３４２は、ヒストグラムモジュール４３０を含むことができる。各々のモジュールは、個別的にそして他のモジュールとは独立的に動作することができる。
【０１０１】
また、一つのモジュールで発生したデータは、互いに直接結合しないで、他のモジュールによって利用されることができる。例えば、意味割当モジュール４３４は、ピクセル値４２８を受信することができる。
【０１０２】
図５に示すように、意味割当モジュール４３４が図示される。意味割当モジュール４３４は、ピーク識別モジュール５５０を含むことができる。ピーク識別モジュール５５０は、ヒストグラムでピークを識別する。ピーク識別モジュール５５０は、入力ピーク５５２を識別することができる。
【０１０３】
入力ピーク５５２は、入力ヒストグラム４３２で局部最大値で定義される。局部最大値は、最大周波数で発生する“ＹＵＶ”色空間での色で定義される。入力ピーク５５２は、入力イメージ４２４でピクセル値４２８の個別的な（ｐａｒｔｉｃｕｌａｒ）一つと対応することができる。
【０１０４】
ピーク識別モジュール５５０は、入力ヒストグラム４３２で入力ピーク５５２を局部最大値で識別することができる。特定な例で、ピーク識別モジュール５５０は、８ヶまでの局部最大値を入力ピーク５５２で識別することができる。
【０１０５】
意味割当モジュール４３４は、ピーク分類モジュール５５４を含むことができる。ピーク分類モジュール５５４は、ヒストグラムで局部最大値を分類する。ピーク分類モジュール５５４は、ピクセル情報５５６に従って入力ピーク５５２を分類することができる。
【０１０６】
ピクセル情報５５６は、イメージで入力ピーク５５２や入力ピクセル４２６により現れる客体のタイプまたは属性（ｎａｔｕｒｅ）を識別する情報で定義される。入力ピーク５５２と入力ピクセル４２６は、ピクセル情報５５６を含むことができる。ピクセル情報５５６は、意味カテゴリー５５８と関連になる。
【０１０７】
意味カテゴリー５５８は、イメージで現れる物理的な素材または客体のカテゴリーで定義される。意味カテゴリー５５８は、所定個数の他の素材または客体に対して設定されることができる。例えば、意味カテゴリー５５８は、芝、水、土、木、コンクリート、または皮膚のような客体または素材を示すことができる。また他の例で、意味カテゴリー５５８は、入力イメージ４２４にある入力背景５６０に関する客体を示すことができる。
【０１０８】
入力背景５６０は、イメージの背景領域を示すピクセルグループで定義される。例えば、入力背景５６０は、スポーツ競技場の芝領域、海の水、または空のような入力イメージでの処理された背景２１６を示すことができる。
【０１０９】
意味カテゴリー５５８は、意味値５６２を有することができる。意味値５６２は、イメージに現れる客体または素材に関する値で定義される。例えば、意味値５６２は、個別的な客体または素材に関する色に基づくことができる。
【０１１０】
ピーク分類モジュール５５４は、意味カテゴリー５５８の意味値５６２に入力ピーク５５２の中で一つに対応するピクセル値４２８を比較することによって入力ピーク５５２を分類することができる。ピーク分類モジュール５５４は、意味カテゴリー５５８に対応する入力ピーク５５２の各々に対してピクセル情報５５６を割り当てることができる。
【０１１１】
入力ピーク５５２のピクセル値４２８が意味カテゴリー５５８の中で一つの意味値５６２と一致すれば、入力ピーク５５２のピクセル情報５５６は意味値５６２に対応する意味カテゴリー５５８として分類されることができる。例えば、芝の意味値５６２に対応するピクセル値４２８を有する入力ピーク５５２は芝のピクセル情報５５６を有することができる。
【０１１２】
反対に、入力ピーク５５２の中で一つのピクセル値４２８が意味カテゴリー５５８の中で一つの意味値５６２と一致しなければ、ピクセル分類モジュール５５４は、ピクセル情報５５６をその他（ｍｉｓｃ）で分類することができる。その他（ｍｉｓｃ）の意味カテゴリー５５８は、入力ピクセル４２６が意味カテゴリー５５８のあらかじめ定義されたカテゴリーの中でいずれにも一致しないということを意味する。
【０１１３】
意味割当モジュール４３４は、ピクセル分類モジュール５６４を含むことができる。ピクセル分類モジュール５６４は、イメージでピクセルに意味情報（ｓｅｍａｎｔｉｃ  ｉｎｆｏｒｍａｔｉｏｎ）を割り当てる。ピクセル分類モジュール５６４は、入力ピクセル４２６と入力ピーク５５２を分類しきい値５６６に関連させて、入力ピクセル４２６を分類することができる。
【０１１４】
分類しきい値５６６は、一つの値が関連するのかまたは他の値として普通グループ内にあるのかを判断するために利用されることで定義される。分類しきい値５６６は、反復（ｉｔｅｒａｔｉｖｅ）または回帰（ｒｅｃｕｒｓｉｖｅ）方法を通じて体験的に決定されることができる。
【０１１５】
基本例で、入力ピクセル４２６の中の一つを入力ピーク５５２の中の一つに比較する時、その差が分類しきい値５６６より大きければ、この二つは何の関連または連結がない。反面、入力ピクセル４２６の中の一つと入力ピーク５５２の中の一つの間の差が分類しきい値５６６より小さければ、この二つは互いに関連または連関されているとすることができる。
【０１１６】
ピクセル分類モジュール５６４は、ピクセル値４２８に基づいて入力ピーク５５２を有する一つ以上の入力ピクセル４２６をグルーピングするように分類しきい値５６６を利用することができる。例えば、ピクセル分類モジュール５６４は、入力ピーク５５２のそれぞれのピクセル値４２８と入力ピクセル４２６の中の一つのピクセル値４２８の間のユークリッド距離（Ｅｕｃｌｉｄｉａｎ  ｄｉｓｔａｎｃｅ）を計算することができる。
【０１１７】
ピクセル分類モジュール５６４は、分類しきい値５６６以下である最短のユークリッド距離を有する入力ピーク５５２と入力ピクセル４２６を関連させることができる。入力ピクセル４２６が入力ピーク５５２の中の一つと関連されると、入力ピクセル４２６は入力ピーク５５２の中で関連された一つと同じピクセル情報５５６を有することで分類されることができる。反対に、ピクセル分類モジュール５６４が、入力ピクセル４２６の中の一つと入力ピーク５５２の間のユークリッド距離を分類しきい値５５６より大きいと計算すれば、ピクセル分類モジュール５６４は、分類されている入力ピクセル４２６のピクセル情報５５６を“その他”で分類することができる。
【０１１８】
特定な例で、入力ピーク５５２が“芝”、“海”、“空”、及び“皮膚”のようなピクセル情報５５６を有する場合、ピクセル分類モジュール５６４は、入力ピクセル４２６の各々を入力ピーク５５２の各々と比較することができる。万一、分類しきい値５６６が２０であり、ピクセル分類モジュール５６４が入力ピクセル４２６の中の一つと“芝”、“海”、“空”、及び“皮膚”を示す入力ピーク５５２とのユークリッド距離を各々１６、３２、２９及び１８で計算すれば、ピクセル分類モジュール５６４は入力ピクセル４２６のピクセル情報５５６を“芝”で分類することができる。これは分類されている入力ピクセル４２６と“芝”を示す入力ピーク５５２の間のユークリッド距離が分類しきい値５６６以下であり、また分類しきい値５６６より低い“皮膚”を示す入力ピーク５５２に比べて値がより低いためである。
【０１１９】
例えば、ピクセル分類モジュール５６４は、ユークリッド距離に基づいて統計的な分析を行なうが、分類モジュールは他の方法を利用することもできる。例えば、ピクセル分類モジュール５６４は、マハラノビス距離（ｍａｈａｌａｎｏｂｉｓ  ｄｉｓｔａｎｃｅ）またはクラスタリング  アルゴリズムを活用することができる。
【０１２０】
ディスプレイシステム１００は、図１の第１装置１０２に具現されたり、図１の第２装置１０６に具現されたり、または第１装置１０２と第２装置１０６に分散されて具現されることができる。例えば、図３の第１保存部３１４または図３の第１制御部３１２は、ピーク識別モジュール５５０、ピーク分類モジュール５５４またはピクセル分類モジュール５６４を保存することができる。
【０１２１】
ディスプレイシステム１００は、モジュール機能（ｍｏｄｕｌｅ  ｆｕｎｃｔｉｏｎｓ）または命令（ｏｒｄｅｒ）を例えて説明する。モジュールは、異なるように分割されることができる。例えば、第１制御部３１２は、ピーク識別モジュール５５を保存及び実行できて、第１保存部３１４はピーク分類モジュール５５４を保存することができる。モジュールの各々は個別的に、また、その他のモジュールとは独立的に動作することができる。
【０１２２】
また、一つのモジュールで発生したデータは互いに直接結合しないで他のモジュールによって利用されることができる。例えば、ピクセル分類モジュール５６４は、ピクセル値４２８を受信することができる。
【０１２３】
図６に示すように、入力イメージ４２４の部分が一例で図示されている。入力イメージ４２４の部分は、入力イメージら４２６のピクセルブロック６０２を描写する。
【０１２４】
ピクセルの各々の中にある単語は、入力ピクセル４２６の各々に対するピクセル情報５５６を示す。ピクセルブロック６０２の底に従っている数字は、ピクセル列を示し、ピクセルブロック６０２の左側に従っている数字はピクセル行を示す。図４の意味割当モジュール４３４は、入力ピクセル４２６の各々にピクセル情報５５６を割り当てることができる。
【０１２５】
例えば、ピクセルブロック６０２は、ピクセル情報５５６を有する大部分の入力ピクセル４２６を“芝”でピクセル情報５５６を有する３−５列と３−６行の少ないクラスターのピクセルは“その他”で示すが、入力ピクセル４２６の分布と配列がピクセル情報５５６の他の一つを有することもできる。例えば、ピクセルブロック６０２で入力ピクセル４２６の大部分は“空”または“土”のピクセル情報５５６を有することができる。
【０１２６】
図７に示すように、背景検出モジュール４３６が図示される。背景検出モジュール４３６は、ピクセル情報５５６を有する入力背景ピクセル７７０を検出することができる。入力背景ピクセル７７０は、入力背景５６０を示すピクセルとして定義される。
【０１２７】
背景検出モジュール４３６は、背景割合モジュール７７２とピクセル密度モジュール７７４を通じて多くの入力ピクセル４２６が入力背景ピクセル７７０であるか否かを判断することができる。
【０１２８】
背景割合モジュール７７２は、同一または類似な意味情報を有するピクセルの割合を判断する。背景割合モジュール７７２は、ピクセル情報５５６と割合しきい値７７８に基づいて背景割合７７６を計算することができる。背景割合７７６は、イメージでピクセルの総数に対する背景を示すピクセルの割合として定義される。割合しきい値７７８は、ピクセルの割合が背景を構成するために充分であるか否かを判断するための値で定義される。
【０１２９】
背景割合モジュール７７２は、入力イメージ４２４で入力ピクセル４２６の総数によって分けられたピクセル情報５５６と同一なことを有する入力ピクセル４２６の数を合わせて背景割合７７６を計算することができる。背景割合モジュール７７２は、入力イメージ４２４でピクセル情報５５６の各々に対する背景割合７７６を計算することができる。例えば、ピクセル情報の中で特定の一つを有する入力ピクセル４２６に対して、背景割合７７６が割合しきい値７７８より大きければ、背景割合モジュール７７２は、入力背景ピクセル７７０を構成するための十分な入力ピクセル４２６があると判断することができる。一般的に、割合しきい値７７８以上の背景割合７７６の中で一番高い一つを有する入力ピクセル４２６は入力背景ピクセル７７０を構成する。特定な例で、背景割合７７６は７８％になることができる。
【０１３０】
背景割合モジュール７７２の機能は図６に示されることができる。例えば、背景割合モジュール７７２は、ピクセルブロック６０２で４９ヶの入力ピクセル４２６に対して背景割合７７６を計算することができる。ピクセルブロック６０２は、“芝”のピクセル情報５５６を有する入力ピクセル４２６と“その他”のピクセル情報５５６を有する入力ピクセル４２６を含む。背景割合モジュール７７２は、“芝”のピクセル情報５６６を有する４１ヶの入力ピクセル４２６があると判断できて、これによって背景割合７７６は４９に対する４１、または概略０.８４である。同じように、背景割合モジュール７７２は、“その他”のピクセル情報５５６を有する８ヶの入力ピクセル４２６があると判断して、背景割合７７６が４９に対する８、または概略０.１６になるだろう。例えば、割合しきい値７７８が０.８０であれば、背景割合モジュール７７２は“芝”のピクセル情報５５６を有する入力ピクセル４２６が入力背景ピクセル７７０になる十分な入力ピクセル４２６を構成すると判断することができる。
【０１３１】
ピクセル密度モジュール７７４は、特定意味情報に関するピクセルがイメージの背景を構成するために十分な密度を有するのか判断する。ピクセル密度モジュール７７４は、密度しきい値７８０とピクセル密度７８２に基づいてピクセル情報５５６の中で特定の一つを有する入力ピクセル４２６が入力背景ピクセル７７０を構成するのか判断することができる。
【０１３２】
密度しきい値７８０は、ピクセル グループの密度が背景を構成するために充分なのかを判断するための値で定義される。ピクセル密度しきい値７８０は、反復的で回帰的な方法を通じて体験的に決定されることができる。
【０１３３】
ピクセル密度７８２は、同じ意味情報を有するピクセルが他の意味情報を有するピクセルに隣接する場合の数に対して同じ意味情報を有するピクセルの総数に対する割合で定義されることができる。ピクセル密度モジュール７７４は、ピクセル情報５５６の中で同一な一つを有する入力ピクセル４２６の総数を意味バッファー７８６で分けてピクセル密度７８２を計算することができる。意味バッファー７８６は、特定意味情報を有するピクセルが他の意味情報を有するピクセルに隣接する場合の総数である。
【０１３４】
ピクセル密度モジュール７７４は、バッファー合計（ｓｕｍ）モジュール７８４を含むことができる。バッファー合計モジュール７８４は、一つのピクセルから他のピクセルに特性の変化を追跡する。
【０１３５】
バッファー合計モジュール７８４は、入力ピクセル４２６の各々に対して意味変化７８８を合計して意味バッファー７８６を計算することができる。意味変化（ｓｅｍａｎｔｉｃ  ｃｈａｎｇｅ）７８８は、一つのピクセルと隣接する他のピクセルの間で意味情報の変化で定義される。例えば、入力ピクセル４２６の中で第１の一つは“芝”のピクセル情報５５６を有することができて、入力ピクセル４２６の中で隣接する第２の一つは“土”に対応するピクセル情報５５６を有することができる。入力ピクセル４２６の第１の一つと入力ピクセル４２６の第２の一つの間の意味変化７８８は一つである。
【０１３６】
２次元平面で、入力ピクセル４２６の各々は、４ヶまでの意味変化７８８を有することができる。正四角形模様を有する入力ピクセル４２６は、入力イメージ４２４の端部（ｅｄｇｅ）に従って、または頂点（ｃｏｒｎｅｒ）での入力ピクセル４２６を除いて、その境界または辺（ｓｉｄｅ）を四ヶの入力ピクセル４２６と共有することができる。さらに詳しくは、入力ピクセル４２６の中の一つは、入力ピクセル４２６の他の一つと上、下、左側そして右側に辺を共有することができる。入力ピクセル４２６の各々は、ピクセル情報５５６の異なることを有する４ヶの入力ピクセル４２６に隣接することができる。また、端部に従って位置した入力ピクセル４２６は、３ヶまでの意味変化７８８を有することができて、入力イメージ４２４の頂点に位置した入力ピクセル４２６は、２ヶまでの意味変化を有することができる。
【０１３７】
バッファー合計モジュール７８４は、入力イメージ４２４に提供されたピクセル情報５５６の各々に対して意味バッファー７８６を計算することができる。例えば、図５のピーク分類モジュール５５４が“芝”、“土”及び“その他”のピクセル情報を有する図５の入力ピーク５５２を識別すれば、ピクセル密度モジュール７７４は、“芝”、“土”及び“その他”に対応する意味バッファー７８６を計算することができる。
【０１３８】
バッファー合計モジュール７８４は、ピクセル情報５５６の各々に対して意味変化７８８を判断するために入力ピクセル４２６の各々をチェックすることができる。バッファー合計モジュール７８４は、バッファー合計モジュール７８４がピクセル情報５５６の中で特定の一つを有する入力ピクセル４２６の中で一つに対して意味変化７８８を検出する時ごとに意味バッファー７８６の値を増加させることができる。
【０１３９】
バッファー合計モジュール７８４が意味バッファー７８６を計算した後に、ピクセル密度モジュール７７４は、意味バッファー７８６の対応する一つでピクセル情報５５６の同一な一つを有する入力ピクセル４２６の総数を分けてピクセル密度７８２を決めることができる。ピクセル密度７８２が密度しきい値７８０より大きければ、ピクセル密度モジュール７７４は、ピクセル情報５５６の特定の一つの入力ピクセル４２６が入力背景ピクセル７７０を構成するために充分だと決めることができる。一般的に、密度しきい値７８０以上のピクセル密度７８２の中で最も大きい一つを有する入力ピクセル４２６は、入力背景ピクセル７７０を構成する。
【０１４０】
ピクセル密度モジュール７７４とバッファー合計モジュール７８４の機能は、図６で説明することができる。例えば、ピクセルブロック６０２で、バッファー合計モジュール７８４は、“芝”と“その他”のピクセル情報５５６に対して意味バッファー７８６を各々計算することができる。バッファー合計モジュール７８４は、意味変化７８８をチェックするために入力ピクセル４２６の各行をスキャンすることができる。例えば、（３、１）の入力ピクセル４２６は、（３、２）の上側の入力ピクセル４２６で意味変化７８８を有するのでバッファー合計モジュール７８４は、一番目の行をスキャンしてピクセル情報５５６に対する意味バッファー７８６を一つ増加させる。
【０１４１】
同じように、バッファー合計モジュール７８４は、第２行をスキャンして芝のピクセル情報５５６に対する意味バッファー７８６を３ぐらい総４まで増加させる。これは、（２、２）の入力ピクセル４２６が右側（３、２）の入力ピクセル４２６への意味変化７８８を有し、（４、２）の入力ピクセル４２６が左側上（４、３）の入力ピクセル４２６への意味変化７８８を有するためである。バッファー合計モジュール７８４は、ピクセルブロック６０２で意味変化７８８に対する各行を繰り返して、スキャンして“芝”のピクセル情報５５６の意味バッファー７８６を１４で計算する。
【０１４２】
また、ピクセル密度モジュール７７４は“芝”のピクセル情報５５６を有する入力ピクセル４２６に対するピクセル密度７８２を略２.９または４１を１４で割って計算することができる。例えば、密度しきい値７８０が２.５であれば、ピクセル密度モジュール７７４は“芝”のピクセル情報５５６を有する入力ピクセル４２６が入力背景ピクセル７７０を構成するために充分だと判断することができる。
【０１４３】
背景検出モジュール４３６は、一つの意味カテゴリー５５８と一致するピクセル情報５５６を有する入力ピクセル４２６が入力背景ピクセル７７０であるかを決めることができる。背景割合モジュール７７２が背景割合７７６が割合しきい値７７８より大きいと判断し、ピクセル密度モジュール７７４がピクセル密度７８２が密度しきい値７８０より大きいと判断すれば、背景検出モジュール４３６は、一つの意味カテゴリー５５８に対応する入力ピクセル４２６が入力背景ピクセル７７０であると判断することができる。
【０１４４】
一般的に、最も高い背景割合７７６と最も高いピクセル密度７８２を全部有する入力ピクセル４２６は、入力背景ピクセル７７０と決定されることができる。しかし、いくつかの場合、入力背景ピクセル７７０は、他のピクセル情報５５６を有する入力ピクセル４２６の他の切れ（ｓｅｇｍｅｎｔｓ）または部分を含むことができる。例えば、野球場の土と内野と外野の芝の結合またはサッカー場の芝周辺の競技場座席をサッカー場の芝周りのスタジアム座席を示す入力ピクセル４２６は入力背景ピクセル７７０によって表現されることができる。
【０１４５】
反対に、ピクセル密度モジュール７７４は、入力ピクセル４２６のピクセル密度７８２が所定の密度範囲（ｄｅｎｓｉｔｙ  ｒａｎｇｅ）、７５０内にある時、特定の一つのピクセル情報５５６に関する入力ピクセル４２６が入力背景ピクセル７７０を構成するのか決めることができる。
【０１４６】
密度範囲７５０は、意味信頼度（ｓｅｍａｎｔｉｃ  ｒｅｌｉａｂｉｌｉｔｙ）７５２に対応するピクセル密度７８２の範囲で定義される。意味信頼度７５２は、意味情報の差に基づいてイメージでピクセルに対するセグメンティング（ｓｅｇｍｅｎｔｉｎｇ）またはグルーピング（ｇｒｏｕｐｉｎｇ）の精密度の尺度として定義される。意味信頼度は、ピクセル密度７８２の関数であることができる。
【０１４７】
一般的に、意味信頼度７５２は、意味信頼度７５２が最大信頼度７５４に至る時までピクセル密度７８２の増加値と共に増加し、最大信頼度７５４以後にはピクセル密度７８２の増加値と共に減少することができる。最大信頼度７５４は、入力イメージ４２４に対する意味信頼度７５２の最大値として定義される。
【０１４８】
意味信頼度７５２とピクセル密度７８２との関係は、信頼度曲線７５８を有する信頼度グラフ７５６に図示することができる。信頼度グラフ７５６のｘ軸は、ピクセル密度７８２の尺度を示し、ｙ軸は、意味信頼度７５２の尺度を示すことができる。
【０１４９】
信頼度曲線７５８は、０から最大信頼度７５４の値を有する意味信頼度７５２まで増加することができる。最大信頼度７５４は、信頼度曲線７５８のピークで示すように、意味信頼度７５２の最大値になることができる。例えば、最大信頼度７５４は、ｘ軸に従って点Ａ１で示すように、入力イメージ４２４の幅で入力ピクセル４２６の総数の部分（ｆｒａｃｔｉｏｎ）に相当するピクセル密度７８２の値に対応することができる。特定な例で、前記の部分（ｆｒａｃｔｉｏｎ）は、入力イメージ４２４の幅で入力ピクセル４２６の総数で分けた処理された前景客体２１４のピクセルの総数または入力イメージ４２４の幅で入力ピクセル４２６の総数で分けた処理された前景客体２１４に関するピクセルの総数であることができる。
【０１５０】
信頼度曲線７５８は、最大信頼度７５４以後で０の値を有する意味信頼度７５２まで減少することができる。例えば、信頼度曲線７５２は、ｘ軸に従って点Ａ２で示すように、入力イメージ４２４の幅で入力ピクセル４２６の総数の部分（ｆｒａｃｔｉｏｎ）の３倍に相当するピクセル密度７８２の値で０の値を有する意味信頼度７５２であることができる。特定な例で、前記部分（ｆｒａｃｔｉｏｎ）は、入力イメージ４２４の幅で入力ピクセル４２６の総数で分けた処理された前景客体２１４のピクセルの総数または入力イメージ４２４の幅で入力ピクセル４２６の総数で分けた処理された前景客体２１４に関するピクセルの総数であることができる。
【０１５１】
密度範囲７５０は、ｘ軸に従って点“Ｘ１”と“Ｘ２”で示すように、信頼度曲線７５８に従って最大信頼度７５４の半分値に対応するピクセル密度と同一であったり、その間にあるピクセル密度７８２の値であることができる。最大信頼度７５４の半分値は、点“Ｙ１”と鎖線で信頼度グラフ７５６に示される。ピクセル密度モジュール７７４は、入力ピクセル４２６のピクセル密度７８２が密度範囲７５０内にある時、特定な一つのピクセル情報５５６を有する入力ピクセル４２６を入力背景ピクセル７７０で決めることができる。
【０１５２】
本発明は、入力背景ピクセル７７０の検出が改善されたディスプレイシステム１００を提供する。背景検出モジュール４３６は、入力背景５６０を示す入力ピクセル４２６と入力背景５６０を示さないことを区分するために、ピクセル情報５５６を利用することによってピクセル密度モジュール７７４と背景割合モジュール７７２で入力ピクセル４２６を入力背景ピクセル７７０とさらに正確に判断することができるので、入力背景ピクセル７７０の検出を改善する。
【０１５３】
ディスプレイシステム１００は、図１の第１装置１０２に具現されたり、図１の第２装置１０６に具現されたり、または第１装置１０２と第２装置１０６に分散されて具現されることができる。例えば、図３の第１ソフトウェア３２６または図３の第１制御部３１２は、背景割合モジュール７７２とピクセル密度モジュール７７４を実行させることができる。
【０１５４】
ディスプレイシステム１００は、モジュール機能または命令を例えて説明する。モジュールは異なるように分割されることができる。モジュールの各々は、個別的にそして他のモジュールとは独立的に動作することができる。また、一つのモジュールで発生したデータは、互いに直接的に結合されなくても他のモジュールによって利用されることができる。図８には、前景検出モジュール４３８が示される。前景検出モジュール４３８は、背景フレーム
モジュール８０４、前景割合モジュール８０６、またはこれらの結合を利用して入力イメージ４２４の入力背景５６０の上に前景ピクセル８０２を識別することができる。
【０１５５】
入力前景ピクセル８０２は、イメージの背景上に客体を示すピクセルのグループで定義される。入力前景ピクセル８０２は、入力前景客体８１４を示すことができる。入力前景客体８１４は、背景の上を動かす客体、サッカー選手または野球選手のような人、自動車またはバイクのような乗り物、馬と犬のような動物を示すことができる。前景検出モジュール４３８は、入力背景ピクセル７７０を有する入力ピクセル４２６から入力前景ピクセル８０２を識別することができる。
【０１５６】
入力前景ピクセル８０２は、“その他”のピクセル情報５５６を有する入力ピクセル４２６のグループであることができる。一般的に、入力前景ピクセル８０２は、図７の入力背景ピクセル７７０によって部分的にまたは完全に囲まれることができる。特定な例で、入力前景ピクセル８０２は、サッカー選手のイメージを示す入力ピクセル４２６のグループであることができるし、入力背景ピクセル７７０は、競技場の芝を示すことができる。
【０１５７】
背景フレームモジュール８０４は、客体が背景によって枠られているのかまたは囲まれているのか判断する。背景フレームモジュール８０４は、入力イメージ４２４での入力背景ピクセル７７０を背景フレーム８０８で分割することができる。背景フレーム８０８は、入力背景ピクセル７７０のグループまたはブロックである。背景フレーム８０８は、入力背景ピクセル７７０の四角ブロックのような特定フレーム模様を有する所定個数の入力背景ピクセル７７０や、入力背景ピクセル７７０の全体の本体を構成することができる。
【０１５８】
背景フレームモジュール８０４は、入力前景ピクセル８０２に対して背景フレーム８０８を検索することができる。背景フレームモジュール８０４は、入力ピクセル４２６に対する背景フレーム８０８内でまたは“その他”のピクセル情報５５６を有する入力ピクセル４２６のグループ内で検索することができる。背景フレームモジュール８０４が、“その他”に対応する入力ピクセル４２６が入力背景ピクセル７７０によって囲まれていると判断すれば、背景フレームモジュール８０４は、“その他”に対応する入力ピクセル４２６を入力前景ピクセル８０２と識別することができる。
【０１５９】
背景フレームモジュール８０４の機能は、図６に示すことができる。例えば、図７の背景検出モジュール４３６が入力背景ピクセル７７０を“芝”のピクセル情報５５６を有する入力ピクセル４２６と決めたと仮定しよう。背景フレームモジュール８０４は、ピクセルブロック６０２に従って入力背景ピクセル７７０のブロックを分割することができる。背景フレームモジュール８０４は、ピクセルブロック６０２内で検索し、“その他”のピクセル情報５５６を有する入力ピクセル４２６全部を識別して、入力ピクセル４２６のグループが入力背景ピクセル７７０によって囲まれていると判断することができる。従って、背景フレームモジュール８０４は、入力ピクセル４２６のグループが入力前景客体８１４だと判断するだろう。
【０１６０】
しかし、前景検出モジュール４３８は、入力前景ピクセル８０２を識別するために前景割合モジュール８０６を活用することができる。前景割合モジュール８０６は、イメージの背景内で特定グループのピクセルが背景のピクセル数に比べて小さいのかを決める。前景割合モジュール８０６は、前景割合８１０と前景しきい値８１２に基づいて、入力ピクセル４２６のグループが入力前景ピクセル８０２を構成するのか決めることができる。
【０１６１】
前景割合８１０は、背景で全体ピクセルの数に対する同じ意味情報を有するピクセルの割合で定義される。前景割合８１０は、入力背景ピクセル７７０の総数で分けた入力背景ピクセル７７０内の“その他”意味カテゴリーに対応するピクセル情報５５６を有する入力ピクセル４２６の数で計算されることができる。
【０１６２】
前景しきい値８１２は、イメージの前景で客体を構成するためにピクセルのグループが背景に対して相対的に十分に小さいのか決める値で定義される。
【０１６３】
前景割合８１０が前景しきい値８１２より低ければ、前景割合モジュール８０６は、“その他”に対応する入力ピクセル４２６を入力前景ピクセル８０２と識別することができる。例えば、前景しきい値８１２は、高さと幅の次元で“その他”に対応する入力ピクセル４２６の数に基づいて判断されることができる。
【０１６４】
前景割合モジュール８０６の機能は、図６に図示されることができる。例えば、背景検出モジュール４３６が入力背景ピクセル７７０を“芝”のピクセル情報５５６を有する入力ピクセル４２６と判断すれば、前景割合モジュール８０６は、ピクセルブロック６０２内で検索して総８ヶの入力ピクセル４２６に対して“その他”のピクセル情報５５６を有するすべての入力ピクセル４２６を合計することができる。前景割合モジュール８０６は、４１分の８の前景割合８１０、または概略０.１９５を算出することができる。前景しきい値８１２が０.２であれば、“その他”のピクセル情報５５６を有する入力ピクセル４２６は入力前景ピクセル８０２になることができる。
【０１６５】
本発明は、入力前景ピクセル８０２の検出が改善されたディスプレイシステム１００を提供する。前景検出モジュール４３８は、背景フレームモジュール８０４と前景割合モジュール８０６で入力ピクセル４２６を入力前景客体８１４で正確に決めることができる。ピクセル情報５５６は、入力背景５６０を示す入力ピクセル４２６と前景客体８１４を示すことを区分するために利用されることができて、入力前景ピクセル８０２の検出を改善させることができる。
【０１６６】
ディスプレイシステム１００は、図１の第１装置１０２に具現されたり、図１の第２装置１０６に具現されたり、または第１装置１０２と第２装置１０６に分散されて具現されることができる。例えば、図３の第１保存部３１４または図３の第１制御部３１２は、背景フレームモジュール８０４または前景割合モジュール８０６を保存することができる。
【０１６７】
ディスプレイシステム１００は、モジュール機能または命令を例えて説明する。モジュールは、異なるように分割されることができる。例えば、第１制御部３１２は、背景フレームモジュール８０４を保存及び実行することができるし、第１保存部３１４は前景割合モジュール８０６を保存することができる。モジュールの各々は、個別的にそして他のモジュールとは独立的に動作することができる。また、一つのモジュールで発生したデータは互いに直接に結合されなくても他のモジュールによって利用されることができる。
【０１６８】
図９には、深さマップモジュール４４０が示される。深さマップモジュール４４０は、視角検出モジュール９１９を含むことができる。視角検出モジュール９１９は、イメージが特定の視角またはカメラ角度を提供するのかを決める。視角検出モジュール９１９は、入力イメージ４２４のイメージ視角（ｉｍａｇｅ  ｖｉｅｗｐｏｉｎｔ）２１８を判断することができる。
【０１６９】
イメージ視角２１８は、入力イメージ４２４を分析して判断されることができる。例えば、視角検出モジュール９１９は、イメージ視角２１８が透視図（ｐｅｒｓｐｅｃｔｉｖｅ  ｖｉｅｗ）であるかを判断することができる。特定な例で、観点検出モジュール９１９は、多くの数の入力背景ピクセル７７０が同じ一つのピクセル情報５５６を有したり入力前景ピクセル８０２の数が入力背景ピクセル７７０に比べて少なければ透視図で判断することができる。しかし、イメージ観点２１８は、第２装置１０６によって提供されることができる。
【０１７０】
深さマップモジュール４４０は、ピクセル深さ９２４を入力背景ピクセル７７０と入力前景ピクセル８０２に割り当てることができる。ピクセル深さ９２４は、客体または背景の認知された距離または認知された深さの尺度で定義される。例えば、入力ピクセル４２６の第１の一つが入力ピクセル４２６の第２の一つよりピクセル深さ９２４が大きければ、入力ピクセル４２６の第１の一つは入力ピクセル４２６の第２の一つより近く現れることができる。
【０１７１】
深さマップモジュール４４０は、イメージ視角２１８に基づいて入力ピクセル４２６にピクセル深さ９２４を割り当てることができる。視角検出モジュール９１９がイメージ視角２１８を透視図で判断すれば、深さマップモジュール４４０は、背景深さモジュール９２０と客体深さモジュール９２２で入力イメージ４２４の深さマップ４４２を生成することができる。
【０１７２】
深さマップモジュール４４０は、背景深さモジュール９２０を含むことができる。背景深さモジュール９２０は、イメージの背景に深さを割り当てる。背景深さモジュール９２０は、処理された背景ピクセル９２６を生成するために同じ行に位置する入力背景ピクセル７７０の各々に同じ値のピクセル深さ９２４を割り当てることができる。
【０１７３】
処理された背景ピクセル９２６は、ピクセル深さ９２４の割り当てられた値を有する入力背景ピクセル７７０で定義される。処理された背景ピクセル９２６は、認知された深さを有することができる。処理された背景ピクセル９２６は、図２の処理された背景２１６を示すことができる。
【０１７４】
背景深さモジュール９２０は、一定の割合でピクセル深さ９２４の値を増加させることができる。例えば、背景深さモジュール９２０は、入力イメージ４２４で入力ピクセル４２６の最初または最下の行から始めて入力背景ピクセル７７０に対する入力ピクセル４２６の行をスキャンすることができる。特定な例で、入力背景ピクセル７７０を有するように検出された最初行の入力ピクセル４２６は、入力イメージ４２４に対するピクセル深さ９２４の最小値が割り当てられることができる。
【０１７５】
入力ピクセル４２６の次行の各々で入力背景ピクセル７７０に対するピクセル深さ９２４の値は、一定の割合で増加することができる。一定の割合でピクセル深さ９２４の値を増加させることは、均一に増加する認知された深さを有する処理された背景２１６を生成することができる。
【０１７６】
深さマップモジュール４４０は、客体深さモジュール９２２を含むことができる。客体深さモジュール９２２は、背景の上に客体の各々に均一な深さを割り当てる。客体深さモジュール９２２は、同じ値のピクセル深さ９２４を一つの入力前景客体８１４の入力前景ピクセル８０２の各々に割り当てることによって均一に認知された深さを有する処理された前景客体２１４を生成することができる。
【０１７７】
客体深さモジュール９２２は、入力前景ピクセル８０２に隣接する処理された背景ピクセル９２６のピクセル深さ９２４を入力前景ピクセル８０２の各々に割り当てることができる。さらに詳しく例えば、客体深さモジュール９２２は、最小値のピクセル深さ９２４を有する処理された背景ピクセル９２６に基づいて入力前景ピクセル８０２に対してピクセル深さ９２４を割り当てることができる。
【０１７８】
例えば、客体深さモジュール９２２は、入力前景ピクセル８０２に対して、入力イメージ４２４の底（最下の行）から始めて、処理された背景ピクセル９２６の各行をスキャンすることができる。客体深さモジュール９２２が処理された背景ピクセル９２６の中の一つに隣接した入力前景ピクセル８０２の中の一つを検出すれば、一つの入力前景客体８１４の入力前景ピクセル８０２の各々は、処理された背景ピクセル９２６の隣接した一つのピクセル深さ９２４で割り当てられることができる。一般的に、入力イメージ４２４の底に近く処理された背景ピクセル９２６は、ピクセル深さ９２４が低い値を有することで、従って、一つの入力前景客体８１４で入力前景ピクセル８０２の各々は、ピクセル深さ９２４が可能な最小の値を有することができる。
【０１７９】
客体深さモジュール９２２は、処理された前景ピクセル９２８を生成することができる。処理された前景ピクセル９２８は、ピクセル深さ９２４の割り当てられた値を有する入力前景ピクセル８０２である。
【０１８０】
深さマップモジュール４４０は、入力背景ピクセル７７０と入力前景ピクセル８０２で深さマップ４４２を生成することができる。深さマップ４４２は、ピクセル深さ９２４の割り当てられた値を有する入力イメージ４２４での入力ピクセル４２６それぞれのマップであることができる。
【０１８１】
処理されたイメージ２１２をディスプレイすることからの物理的変換は、ゲームをしたり３Ｄイメージを見る時に処理されたイメージ２１２に答えて動く人のように、物理的世界での動きで現れる。第１ディスプレイインターフェース３３０は、第１装置１０２でのピクセルを操作することによって処理されたイメージ２１２をディスプレイできて、物理的な世界での動きで現れる。
【０１８２】
ディスプレイシステム１００は、図１の第１装置１０２に具現されたり、図１の第２装置１０６に具現されたり、または第１装置１０２と第２装置１０６に分散されて具現されることができる。例えば、図３の第１ソフトウェア３２６または図３の第１制御部３１２は、視角検出モジュール９１９、背景深さモジュール９２０及び客体深さモジュール９２２を保存することができる。
【０１８３】
ディスプレイシステム１００は、モジュール機能または命令を例えて説明する。モジュールは異なるように分割されることができる。例えば、視角検出モジュール９１９は、第２装置１０６によって提供されることができる。モジュールの各々は、個別的にそして他のモジュールとは独立的に動作することができる。また、一つのモジュールで発生したデータは、互いに直接に結合しなくて他のモジュールによって利用されることができる。
【０１８４】
図１０に示すように、入力イメージ４２４を例えて図示する。入力イメージ４２４は、図２の処理されたイメージ２１２に変換させる以前のイメージを示す。入力イメージ４２４は、入力背景５６０を有することができる。例えば、入力背景５６０は、競技場の芝、競走路での土、道または運動場のコンクリート、湖や海の水、またはその他の典型的な背景のような停止した客体または材料を示すことができる。
【０１８５】
入力イメージ４２４は、入力前景客体８１４を含むことができる。入力前景客体８１４は、入力背景５６０の上に位置することができる。楕円形実線で示す入力前景客体８１４は、サッカー選手または野球選手のような人、自動車やバイクのような乗り物、馬や犬のような動物のように、背景の上を動かす客体を示すことができる。
【０１８６】
図１１には、処理された背景２１６を有する入力イメージ４２４の例が図示される。イメージディスプレイモジュール４４４は、処理された背景２１６を生成するために図１０の入力背景に深さマップ４４２を適用することができる。
【０１８７】
処理された背景２１６は、図９の処理された背景ピクセル９２６のピクセル深さ９２４によって決定される認知された深さを有することができる。認知された深さは、水平の線で図示される。低い線密度（ｌｉｎｅ  ｄｅｎｓｉｔｙ）を有する処理された背景２１６の領域は、高い線密度を有する領域より近く認知された深さを有する領域を示す。例えば、処理された背景２１６の底の部分は、高い線密度を有して処理された背景の上段の部分に比べて低い線密度を有し、入力イメージ４２４の下の部分に示すようにさらに近く示すことができる。
【０１８８】
図１２に示すように、処理されたイメージ２１２の例が図示される。処理されたイメージ２１２は、処理された背景２１６の上に処理された前景客体２１４を示す。図４のイメージディスプレイモジュール４４４は、処理された前景客体２１４を生成するために図１０の入力前景客体８１４に図４の深さマップ４４２を適用することができる。
【０１８９】
処理されたイメージ２１２で処理された前景客体２１４の各々は、処理された前景ピクセル９２８のピクセル深さ９２４によって決定されたような認知された深さを有することができる。処理された前景客体２１４は、客体基盤１２３０にある処理された背景の部分と同じ認知された深さを有することができて、これは処理された前景客体２１４の最も底の部分である。
【０１９０】
認知された深さは、楕円形の実線内に水平線で示されることができる。低い線密度を有する処理された前景客体２１４は、高い線密度を有することよりも近く認知された深さを有することができる。
【０１９１】
図１３に示すように、本発明の他の実施形態によるディスプレイシステムの運用方法１３００のフローチャートが示される。本方法１３００は、入力ピクセルを有する入力イメージを受信し１３０２；意味カテゴリーに対応する入力ピクセルに対してピクセル情報を割り当てて１３０４；ピクセル情報を有する入力ピクセルから入力背景ピクセルを検出し１３０６；入力背景ピクセルを有する入力ピクセルから入力前景ピクセルを識別し１３０８；入力背景ピクセルと入力前景ピクセルにピクセル深さを割り当てて１３１０；入力背景ピクセルと入力前景ピクセルで深さマップを生成し１３１２；装置でディスプレイのために深さマップを有する入力イメージから処理されたイメージを生成する１３１４；ことを含む。
【０１９２】
その結果、プロセス、装置、デバイス、製品及び/またはシステムは、易しく、費用効果が高く、単純で、とても多目的で、精密で、敏感で、そして効果的に、準備された、効率的な、経済的な、製造、応用及び活用に公知された構成を適応させて具現されることができる。本発明の他の重要な側面は、費用を減らし、システムを簡略化させ、性能を増加させる歴史的な傾向を価値的に支援し助けるということである。
【０１９３】
本発明のこのような、そして他の価値的な側面は、結果的に最先端の技術を少なくともその次の水準に高める。
【０１９４】
最善の方式で本発明が説明されたが、前述した説明に照らして、当業者には多い代案、修正及び変更が当然だということを理解しなければならない。従って、すべてのこのような代案、修正及び変更は、添付された特許請求の範囲内で受容されるように意図された。今までここに説明され添付した図面に示す全てのものは、例示的なものであり、限定的ではないと解釈されなければならない。
【図１】
2013153437.tif 000003
【図２】
2013153437.tif 000004
【図３】
2013153437.tif 000005
【図４】
2013153437.tif 000006
【図５】
2013153437.tif 000007
【図６】
2013153437.tif 000008
【図７】
2013153437.tif 000009
【図８】
2013153437.tif 000010
【図９】
2013153437.tif 000011
【図１０】
2013153437.tif 000012
【図１１】
2013153437.tif 000013
【図１２】
2013153437.tif 000014
【図１３】
2013153437.tif 000015