(57)【特許請求の範囲】
【請求項１】
１２８０画素以上の水平解像度と、７２０画素以上の垂直解像度とを有する高精細度ビデオ信号を有線または無線通信リンクを介して受信するための、一台以上のカメラおよび／またはコンピュータを含むビデオソースに接続可能である、一体型の視野の設定が可能なヘッドセットシステムであって、
利用者にリアリティが向上したビデオ画像を表示するために利用者によって装着される頭部装着型装置と、基地局と、を備えており、
前記頭部装着型装置が、
・  ビデオ信号の画像フレームの高速リアルタイム修正を実行するための、前記頭部装着型装置と一体化されたデジタル画像処理プロセッサであって、メモリと、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）と、左側と右側とに画像フローを創出するための前記ＦＰＧＡとして実現されている３Ｄ立体デコーダと、前記左側用の画像フローと前記右側用の画像フローとをそれぞれ編集するための前記ＦＰＧＡとして実現されている第一のデジタル画像処理プロセッサおよび第二のデジタル画像処理プロセッサと、を備えているデジタル画像処理プロセッサと、
・  頭部装着型装置に一体化されており、且つ前記ＦＰＧＡからの処理済みのリアリティが向上した画像を表示するために前記ＦＰＧＡと通信する、左側の超小型表示装置と右側の超小型表示装置を備えたビデオ表示装置を定義する、小型の複数画面表示装置であって、
前記第一のデジタル画像処理プロセッサが左側の超小型表示装置と通信し、前記第二のデジタル画像処理プロセッサが右側の超小型表示装置と通信していることを特徴とする小型の複数画面表示装置と、
・  前記頭部装着型装置と一体化された光学素子であって、可能な限りリアリティーのある視覚体験の浸漬を改善する広い視野を提供する光学素子と、
を備えており、
前記基地局が、
・  利用者の特性を構築し、且つ当該利用者の特性を前記デジタル画像処理プロセッサのメモリに保存するために、前記ビデオ表示装置によって表示される予め設定されている一組のパラメータの中から利用者に当該パラメータの選択を提供するユーザーインターフェースと、
・  前記通信リンクに接続可能な入力インターフェースと、
・  通信信号を前記ビデオ表示装置に送信するための出力インターフェースと、
を備えており、
前記ＦＰＧＡが、
（ｉ）・利用者の眼の収差と、
・利用者の両眼と前記ビデオ表示装置の位置との間の距離と、
をこれによって補償する、保存された利用者の特性と、
（ｉｉ）ビデオ表示装置の収差と、超小型表示装置の歪みと、ビデオ信号の収差と、広い視野を提供する前記光学素子によって発生する魚眼効果と、を補償するための装置のパラメータとに従って、ビデオ信号のリアルタイム処理を提供し、
赤、緑、青の三色成分で形成されたビデオ信号における前記赤、緑、青の三色成分の異なる波長が、利用者の両眼の異なる収差、ビデオ表示システムの構成要素の異なる収差、または利用者による異なる色彩の知覚を誘導することにより生じる異なる収差を補償するために、赤、青、緑の各色成分を別々に処理していることを特徴とする、ヘッドセットシステム。
【請求項２】
前記ユーザーインターフェースが、前記頭部装着型装置と一体化されていることを特徴とする請求項1記載のヘッドセットシステム。
【請求項３】
前記基地局が、前記頭部装着型装置と一体化されていることを特徴とする請求項1または２に記載のヘッドセットシステム。
【請求項４】
前記ビデオ信号は左側の構成要素と右側の構成要素とを含んでおり、
前記ＦＰＧＡは、前記左側の構成要素と前記右側の構成要素とを別々に処理することを特徴とする請求項１記載のヘッドセットシステム。
【請求項５】
前記ＦＰＧＡは、前記利用者の左目のパラメータに従って前記左側の構成要素を処理し、前記利用者の右目のパラメータに従って前記右側の構成要素を処理することを特徴とする請求項４記載のヘッドセットシステム。
【請求項６】
前記ＦＰＧＡは、前記左側の構成要素を、前記ビデオ表示装置の左側の構成要素のパラメータに従って処理し、前記右側の構成要素を、前記ビデオ表示装置の右側の構成要素のパラメータに従って処理することを特徴とする請求項１記載のヘッドセットシステム。
【請求項７】
前記ＦＰＧＡは、利用者の左目と右目の収差と、前記ビデオ表示装置の左側の表示装置と右側の表示装置の収差とに従って、処理することを特徴とする請求項１記載のヘッドセットシステム。
【請求項８】
前記ＦＰＧＡは、前記ビデオ信号のそれぞれの画像を、画像マトリックスの画像ブロックに分割し、前記画像マトリックスに一致するように大きさを調整された変換行列を定義し、
当該変換行列は、前記画像マトリックスの前記画像ブロックに一致するように大きさを調整された変換ブロックを備えており、
前記ビデオ信号のデジタル処理は、それぞれの画像ブロックを、対応する変換ブロックを使用して補償することを特徴とする請求項１記載のヘッドセットシステム。
【請求項９】
前記ＦＰＧＡは、画素単位の変換行列の定義を提供し、
前記ビデオ信号のデジタル処理が、前記ビデオ信号のそれぞれの画素を、前記変換行列の画素で補償することを特徴とする請求項１記載のヘッドセットシステム。
【請求項１０】
前記ビデオ表示装置は、複数のビデオソースからのビデオ信号を結合することを特徴とする請求項１記載のヘッドセットシステム。
【発明の詳細な説明】
【技術分野】
【０００１】
技術分野
本発明は、一般的に、ビデオ信号を画像に変換することに関しており、更に具体的には、ビデオ信号をデジタル的に処理（計数的に処理）するための、方法、デジタル画像処理プロセッサ、およびビデオ表示システムに関する。
【背景技術】
【０００２】
背景
多くの状況で、表示システムは、個人に鑑賞されるための、たとえば有機発光ダイオード（ＯＬＥＤ）または液晶表示ディスプレイ（ＬＣＤ）画面のような、画面上に情報を表示する電子的信号処理手段と協調的に使用される。このような表示システムは、例えば、ゲーム的利用、視覚評価、心理テスト、トレーニング、等々において使用可能な立体的ヘッドセットのようなヘッドマウント型デバイス（ＨＭＤ：頭部搭載型装置）に一体化することができる。典型的には、表示される画像は、ゲームソフト等である適当なソフトウェアを使用してコンピュータにより創出され、電子的信号に変換され、有線あるいは無線通信リンク（通信回線）を介して表示装置に送られる。この信号は、表示装置内で連続的に復号され、表示装置の一つの画面または複数の画面に画像が表示される。
【０００３】
表示画面をＨＭＤに一体化して、利用者に画像を鑑賞させることを可能にするために、予め設定された視野方向に対応して画像を利用者の目に向け、焦点させるように光学素子が使用される。さらに、可能な限りリアリティーのある視覚体験を提供するには、浸漬（ｉｍｍｅｒｓｉｏｎ、没頭）を改善するように広い視野が望ましい。しかし、ＨＭＤを小型化すればするほど、光学素子は、より良好な画質の画像およびリアリティーのある視覚体験が要求される。小型レンズの境界効果（魚眼効果のように称される）、および、実光度損失、コントラスト変化、色調変化、等々である光学素子によって発生する他の効果によって異なる収差（異常現象）が生じることがある。この問題は、ゲーム用ヘッドセット等の商用製品の目標製造コストを達成するためにプラスチックまたは低品質の光学素子が使用される場合には深刻性を増す。立体映像装置においては、一画面で創出された画像と、別画面で創出された画像との間にも不都合な不具合が発生する可能性が存在する。
【０００４】
利用者の観点による画像の知覚も考察対象となる。左目の画面と右目の画面とで創り出された画像の質および類似性は別にして、それら画像は、利用者の個人的な視野特性のために投影された画像には存在しない差異を介して知覚される可能性がある。そのような差異は、左右の目でも異なり、例えば、乱視、色盲、斜視、等々の影響かも知れず、視覚体験の質に影響を及ぼし、特に立体的なプログラムのリアリティーに影響を及ぼす可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００５】
概要
本発明は、ビデオ信号をデジタル的に処理する方法、デジタル画像処理プロセッサ、およびビデオ表示システムを提供する。
【課題を解決するための手段】
【０００６】
本発明の一態様では、ビデオ信号を表示する方法が提供される。このビデオ信号は、利用者の特性（ユーザープロファイル）に従ってデジタル的に処理される。また、ビデオ信号はビデオ表示システムの装置のパラメータ（媒介変数、要因）に従ってデジタル的に処理される。処理されたビデオ信号はビデオ表示システムで表示される。
【０００７】
本発明の別なる態様では、デジタル画像処理プロセッサが提供される。このデジタル画像処理プロセッサは、利用者の特性とビデオ表示システムの装置のパラメータとに従ってビデオ信号をデジタル的に処理するための補償器（compensator）を備えている。また、このデジタル画像処理プロセッサはビデオ表示システムに向けて処理済みビデオ信号を送信するための出力手段を備えている。
【０００８】
本発明のさらに別なる態様では、メディア（情報媒体）入力インターフェース、デジタル画像処理プロセッサ、および表示装置を含んだビデオ表示システムが提供される。このメディア入力インターフェースは、ビデオ信号を受信する。デジタル画像処理プロセッサは、利用者の特性およびビデオ表示システムの装置のパラメータに従って、ビデオ信号の画像を編集する。デジタル画像処理プロセッサからの処理済みの画像は表示装置で表示される。
【０００９】
前述および他の特徴は、添付の図面を利用して例示的に提供されている、以下の実施形態の限定的ではない説明を読めばさらに詳しく理解されるであろう。
【図面の簡単な説明】
【００１０】
【図１】図１は、ビデオ信号を表示する例示的な方法の一連の工程を示す。
【図２】図２は、デジタル画像処理プロセッサの一例である。
【図３】図３は、一実施態様による画像マトリックスおよび対応する変換行列を示す。
【図４】図４は、デジタル的にビデオ信号を処理するための工程を示す一実施例によるワークフローの図である。
【図５】図５は、ビデオ表示システムの一実施例のブロック図である。
【図６】図６は、本発明の一実施形態によるビデオヘッドセットシステムのブロック図である。
【発明を実施するための形態】
【００１１】
詳細な説明
一般的に、本開示は、視聴者の利用者特性とビデオ表示システムのパラメータを考慮しつつ、ビデオ画像の表示に関わる問題点に対処する。
【００１２】
本開示を通じて、以下の用語が使用されている。
【００１３】
ビデオ信号：画像フレーム（画像のコマ）を移送する任意のアナログ信号またはデジタル信号。
【００１４】
ビデオ信号の供給源（ビデオ信号のソース）：実際に描画された画像、記録された画像、または合成された画像であるか否かに関係なく、一連の画像フレームを提供することのできる任意の装置。
【００１５】
ソース（供給源）の媒介変数（ソースパラメータ）：ビデオ信号の供給源の特徴を表す変数。
【００１６】
平面的：単一の画像フローを使用している、二次元（２Ｄ）画像を表示する方法。
【００１７】
立体的：二つの関連する画像フローを使用している、三次元（３Ｄ）画像を表示する手法。
【００１８】
ビデオの復号（ビデオデコーディング）：一連の画像フレームへのビデオプロトコル（ビデオ通信規約）のアナログ変換またはデジタル変換。
【００１９】
デジタル処理：デジタルプロセッサによるデジタルビデオ信号またはビデオフレームの処理。
【００２０】
利用者特性：眼の収差または画像処理の意図された変動に関連してビデオ信号の視聴者の一以上の嗜好または特徴。この利用者の特性は、左目および右目に関連する特徴的なパラメータ、あるいは左目と右目とで視るための画像処理における意図された変動に関連する特徴的なパラメータを含むことができる。
【００２１】
ビデオ表示システム：ビデオ信号を表示するための一以上の表示画面と、これに付随する光学的構成要素であって、その他の関連する構成要素を備えているもの。
【００２２】
装置のパラメータ：ビデオ表示システムの一以上の特徴。
【００２３】
補償（コンペンセーション）：利用者の特性または装置のパラメータに従ったビデオ信号のデジタル処理。
【００２４】
収差（異常現象）：視聴者の片目または両目の視覚不調または機能不全、あるいはビデオ表示システムの不具合であって、その不具合は画像の歪み、色彩の退色、シャープネス（鮮明さ）の喪失、輝度の喪失、またはそのような類似した知覚される画像の劣化全般。
【００２５】
ＲＧＢ：ビデオ信号の赤、緑、青の各色のカラーモデルであって、ビデオ信号の特徴的な色成分を表すためにも利用される。
【００２６】
予め設定された：システム内に永久的または半永久的に常駐するパラメータに関連して使用されるもの。
【００２７】
画像マトリックス（画素行列）：一連の行（横列）および列（縦列）による画像の表示。
【００２８】
画像ブロック：画像マトリックスの行と列の交叉部（論理積）。
【００２９】
変換行列：一連の行と列の画像変換係数。
【００３０】
変換ブロック：変換行列内の、行と列の交叉部。
【００３１】
画素単位：画像マトリックスのブロックの大きさ（サイズ）と変換行列のブロックの大きさ（サイズ）が一画素に等しい、画素ごとの処理。
【００３２】
メモリ：回復、検索の後のためにデジタル情報の保存が可能な装置または構成要素。
【００３３】
メディア（媒体、情報媒体）：通信チャンネル。
【００３４】
編集：デジタル処理による画像変換。
【００３５】
ヘッドセット：ビデオ信号を表示するために、利用者が着用可能な装置。
【００３６】
基地局：ヘッドセットとは別体である、ビデオ表示システムの構成要素。
【００３７】
一面において、本開示は、ビデオ信号を表示する方法を紹介する。図１はビデオ信号を表示する例示的な方法の工程を表す一連の並び１０である。ビデオ信号は利用者の特性に従ってデジタル式に処理される（ステップ１２）。さらにビデオ信号はビデオ表示システムの装置のパラメータに従ってデジタル式に処理される（ステップ１４）。処理されたビデオ信号はビデオ表示システムに表示される（ステップ１６）。
【００３８】
図２は、デジタル画像処理プロセッサの一例である。デジタル画像処理プロセッサ２０は補償器２２と出力手段２４とを備えている。補償器２２は、利用者の特性とビデオ表示システムの装置のパラメータとに従ってデジタル式にビデオ信号を処理する。出力手段２４は、処理されたビデオ信号２６をビデオ表示システムに送る。
【００３９】
いくつかの実施態様においては、図１の一連の工程と、図２のデジタル画像処理プロセッサとで、マトリックス（行列）に基づく補償工程を実行することができる。図３は、一実施例による画像マトリックスと、対応する変換行列とを示す。ビデオ信号は、一連の画像またはフレーム、例えば画像３０を供給する。画像３０は、画像マトリックス３２の複数のブロックに分割される。画像マトリックス３２は例示的なものであり、五つの行３４１−５と五つの横列３５１−５を含む。画像マトリックスは任意の数の行と列を含むことができ、行の数は列の数と異なることが可能である。画像マトリックス３２の行と列の交叉部は画像ブロックを形成する。例えば、行３４１と列３５１の交叉部で形成される画像ブロック３６を形成する。変換行列４２が定義される。この変換行列４２は画像マトリックス３２に一致する大きさに調整されており、複数の行と列を含む。例えば、変換行列４２は、五つの行３４１−５と五つの列３５１−５を含む。変換行列４２の列と行の交叉部は、変換ブロックを形成する。例えば、行４４１と列４５１の交叉部が、変換ブロック４６を形成する。変換行列のそれぞれのブロックは、例えば画像３０のような一連の画像を含んだビデオ信号をデジタル式に処理するとき、画像マトリックス３２の対応しているブロックを補償処理するように利用される、補償係数Ａ１からＡ５、Ｂ１からＢ５、Ｃ１からＣ５、Ｄ１からＤ５、およびＥ１からＥ５を含む。変換行列４２の補償係数は、利用者の特性とビデオ表示システムの装置のパラメータとに基づいて計算される。限定的ではない一例として、補償係数Ａ１、Ａ５、Ｅ１、およびＥ５は、このタイプの収差が装置のパラメータによって明示されると、ビデオ表示システムのいわゆる魚眼効果（境界効果、反転現象）を和らげるために、画像マトリックス３２に対応しているブロック３６、３７、３８および３９を多少とも拡大縮小処理（倍率変更）することができる。もう一つの限定的ではないシステムの例として、補償係数Ｃ３は、利用者の特性に示されるような利用者によって所望される特徴に従って、画像マトリックス３２の中央の画像ブロック３１の輝度を増加させることができる。
【００４０】
特定の実施態様では、画像マトリックス３２および変換行列４２のブロックの大きさは一画素に設定されており、ビデオ信号の画像フレームの各画素を、変換行列４２を対応する画素により補償するために、画素単位で処理する変換行列４２が提供される。例えば、高精細度ビデオ信号は、１２８０画素の水平解像度と、７２０画素の垂直解像度とを有することができる。この場合、画像マトリックス３２と変換行列４２はそれぞれ９２１，６００画素の大きさに調整されている。
【００４１】
単一の変換行列４２は、利用者の特性とビデオ表示システムの装置のパラメータとに基づいて一度にビデオ信号を補償するために使用されることができる。代替的には、２つの別々の変換行列が、利用者の特性と装置のパラメータとに基づいてビデオ信号を別々に補償するため、または左側画像と右側画像のために別々にビデオ信号を補償するために連続的に使用できる。
【００４２】
様々な種類のパラメータが、利用者の特性を形成することができる。与えられた利用者の特性は一以上のパラメータを含むことができる。一つの実施形態においては、利用者の眼の収差を補償するために利用者の特性が利用される。同様に、様々なタイプの装置のパラメータが考えられる。他の実施形態では、装置のパラメータは、ビデオ表示システムの収差を補償するために使用できる。あるいは、利用者の収差及びビデオ表示システムの収差の両方を同時的に補償することができる。
【００４３】
平面（２Ｄ）への適用（アプリケーション、応用）では、一般的に、ビデオ信号は単一のビデオ入力を含み、単一の表示画面上での表示のために、単独の一連の画像フレームを提供する。立体（３Ｄ）への適用では、一般的に二つのビデオ入力を含むか、二つのビデオ入力に分割できる複合的な信号を含むことができ、二つの画面での表示のために二揃いの関連した画像フレームを提供する。従って、図１の並び順１０のステップと、図２の補償器２２のプロセスと、および図３のマトリックス３２と４２とは、ビデオ信号の左側の構成要素と右側の構成要素を別々に処理するように二重化されることができる。よって、ビデオ信号の左側の構成要素は利用者の左目のパラメータと、ビデオ表示システムの左側の構成要素のパラメータとに従って処理されることができる。ビデオ信号の右側の構成要素は利用者の右目のパラメータと、ビデオ表示システムの右側の構成要素のパラメータとに従って処理されることが可能である。
【００４４】
一般的に、カラービデオ信号は、ＲＧＢのカラーモデルに従った三色成分で形成される。赤、緑、青の各色の成分の異なる波長は、利用者の両眼の異なる収差、ビデオ表示システムの構成要素の異なる収差、または利用者による異なる色彩の知覚を誘導する。一つの実施形態では、図１の並び順１０のステップ、図２の補償器２２、および図３のマトリックス３２と４２とは、ビデオ信号の赤、青、緑の各色成分を別々に処理することができる。
【００４５】
図４はデジタル的にビデオ信号を処理するためのステップを表すワークフロー（作業のフロー）の一例である。ワークフロー２００は、３Ｄのビデオ表示システムで使用される３Ｄビデオ信号処理方法の、右側の分岐列２０２と左側の分岐列２３２を示す。２Ｄビデオ表示システムで使用される平面（２Ｄ）ビデオ信号においては、右側の分岐列２０２および左側の分岐列２３２の一方だけが存在する。
【００４６】
２Ｄへの応用のために、ビデオ信号２０４は、右側のソース（データ供給源）である、例えば右側カメラから受信されるか、単一のカメラから受信される。ビデオデコーダ（ビデオの復号器）は、ステップ２０６で、ビデオ信号２０４がアナログフォーマットで提供された場合、ビデオ信号２０４からの画像フレームをデジタル化処理する。あるいは、デジタルプロトコルからのビデオ信号２０４を画像フレームに復号処理する。ステップ２０８で、ビデオ信号２０４のソースに関連するソースパラメータに基づいた光学的なソースの補償処理が、右側カメラの光学収差を克服するためにデジタル処理によって提供される。
【００４７】
代替的には、ビデオの構成要素を有するビデオ信号２１０が、別のソース、例えば、ゲーム装置、コンピュータあるいは同様な装置から得られる。ステップ２１２で、ビデオ信号２１０は、３Ｄビデオデコーダにより処理され、ゲームまたは類似の用途（応用、アプリケーション）を表現する右側のビデオ信号２１４を提供する。または平面的な適用のための単一のビデオ信号２１４を提供する。ステップ２１６にてセレクター（選択手段）は、ステップ２０６で復号されておりステップ２０８で補償処理されている可能性があるビデオ信号２０４と、２つの異なるソースから受信されたビデオ信号２１４と、の間で選択を行う。一実施形態では、セレクターは、ステップ２１６にて、例えば、右側カメラからのビデオ信号２０４に基づいて、又はリアリティーが向上した（増強された）視覚的アプリケーション（視覚応用）から送信されたビデオ信号２１０に基づいて、リアリティーが向上した視覚的アプリケーションを提供するために、任意に２つのビデオ信号２０４と２１４とを結合（マージ）することができる。
【００４８】
ステップ２０６からのセレクターからのビデオ出力は、ステップ２１８で、ビデオ表示システムの右側ビデオ表示装置の装置パラメータに従って、処理、あるいは補償処理される。セレクターのビデオ出力は、例えば、利用者の右目の収差を補償するために、ステップ２２０にて、利用者の特性に従って処理、あるいは補償処理される。ステップ２１８とステップ２２０とは、いかなる順序でも実行可能であり、単一のデジタル処理工程として組み合わせても実行可能である。一実施形態では、ビデオ表示補償ステップ２１８および目の補償ステップ２２０のそれぞれは、異なる変換行列を使用することにより実現できる。もう一つの実施例においては、両方の補償ステップ２１８とステップ２２０とは、共通する変換行列を使用して実行することができる。いずれにしろ、結果として得られるデジタル的に処理されたビデオ信号２２２は、右側表示装置で表示するか、２Ｄへの適用（アプリケーション）のために単一の表示装置で表示することができる。
【００４９】
３Ｄへの適用の場合には、左側の分岐列２３２は右側の分岐列２０２に類似しており、ステップ２３６でビデオデコーダに適用され、ステップ２３８で光学的ソース（光源）の補償処理に適用される可能性が存在する左側カメラからのビデオ信号２３４、または３Ｄビデオ復号化ステップ２１２からの左側ビデオ信号２４４、のいずれか一方あるいはそれらの両方を含む。ステップ２４６にて、セレクターは、ビデオ信号２３４または２４４の一方を選択し、あるいはこれら２つのビデオ信号を結合する。そのセレクターからのビデオ出力は、ステップ２４８にて左側のビデオ表示装置の装置パラメータに従って補償され、且つステップ２５０にて、例えば利用者の左目収差を補償するために、利用者の特性に従って補償される。この結果得られたデジタル的に処理されたビデオ信号２５２は、左側の表示装置での視覚的表示のためのものである。
【００５０】
利用者の特性は、利用者のそれぞれの目のために、目の収差に関連する情報を含む。例えば、利用者の左目が強い乱視であり、右目が軽い乱視と斜視であるとする。左右のビデオ表示装置の装置パラメータは、それらの光学的要素の不完全な曲率（湾曲）に関連していることがあり、これらの不完全性は左側表示装置と右側表示装置との間で異なる可能性が存在する。
【００５１】
図５は、ビデオ表示システムの一実施例によるブロック図である。ビデオ表示システム８０は、ビデオ信号８４を受信するためのメディア入力インターフェース８２を備えている。デジタル画像処理プロセッサ８６は、利用者の特性とビデオ表示システム８０の装置のパラメータとに従ってビデオ信号８４の画像を編集する。表示装置８８は、デジタル画像処理プロセッサ８６からの処理済み画像を表示するためのものである。
【００５２】
図１の方法と、図２のデジタル画像処理プロセッサとは、利用者が装着可能なヘッドセットの中に統合されることが可能である。図６は、一実施形態によるビデオヘッドセットシステムのブロック図である。図６は、ビデオ表示システムの、限定的ではない説明用の形態を図示する。図示された実施形態は、ビデオ信号を有線または無線通信リンク１０４を介して受信するためのビデオソース１０２に接続可能である一体型のフィールド（視野）の環境設定が可能なヘッドセットシステム１００に関するものである。
【００５３】
このヘッドセットシステム１００は、通信リンク１０４に接続可能な入力インターフェース１１５を含んだ基地局１１０を備えている。入力インターフェース１１５は、リアリティーのある視野体験を提供できるように、例えば立体的な物体のような高品質な二重チャンネルのビデオ材料の入力を可能にするために、高精細度マルチメディアインターフェース（ＨＤＭＩ）基準ｖ１．３またはそれより新しいバージョンに準拠した高精細度メディアインターフェースと互換可能である。もちろん、他のビデオ信号が、例えば、Ｓ端子式ビデオ接続、ＲＧＢ式接続、デイスプレイポート式接続、カテゴリー５ケーブル式接続、等々を含んだ他の種類の接続を介してビデオソースから受信することができる。ビデオ信号に付随させて、任意の内部で発生した情報を、頭部装着型装置（ヘッドマウントデバイス、ＨＭＤ）１２０に有線または無線通信リンク１３０を介して送るために、基地局１１０には、出力インターフェース１１６、例えばＨＤＭＩ出力インターフェースも提供される。
【００５４】
基地局１１０はさらに、利用者に対してテキスト情報（原文情報）を通信するために、例えば液晶ディスプレイ（ＬＣＤ）である読出し表示装置１１２を含むユーザーインターフェース１１１と、利用者に対してヘッドセットシステム１００へ情報を入力可能とする、少なくとも一つの１１３などで示されるボタンスイッチとを備えている。利用者との通信は、基地局１１０に位置しており、データ保存機能を含んだ処理装置（マイクロコントローラ）１１４を経由したシステムによるメニュー運用でよい。従って、利用者は、ＨＭＤ１２０に関わる装置のパラメータと、利用者の特性を形成するパラメータとを受信して保存するための制限された一組（セット）のボタン１１３を使用して、指示（命令）または質問への単純なフィードバックを提供するように促されるであろう。
【００５５】
ＨＭＤ１２０は、基地局１１０を経由してビデオソース１０２から通信された高精細度メディアプログラムを復号処理するために、ＨＤＭＩ復号能力を含む入力インターフェース１２１を備えている。この入力インターフェース１２１は、基地局１１０で発生した追加の情報もまた受信する。上記で説明したように、ビデオソースからのビデオ信号は、別タイプのインターフェースで受信したより低い解像度の信号を含むことができる。この場合にはＨＤＭＩ復号能力は省略される。
【００５６】
ＨＭＤ１２０は、単一の表示装置を備えることができる。３Ｄへの適用では、入力インターフェース１２１からのビデオ信号は、３Ｄ立体デコーダ１２２で処理され、左側のマイクロディスプレイ１２３（超小型表示装置１２３）と右側のマイクロディスプレイ１２４とを経由して、利用者の左目と右目に対して、専用に第一の画像フローと第二の画像フローとを発生させるように処理することが可能である。ＨＭＤ１２０の立体的な実施態様は、左側のデジタル画像処理プロセッサ１２５と右側のデジタル画像処理プロセッサ１２６とを備えている。もちろん、平面的な適用では、単一のデジタル画像処理プロセッサが利用できる。
【００５７】
図６の実施形態は、例えばＨＭＤ１２０から基地局１１０を分離することで、システムの機能を別々の構成要素に物理的に分割することを想定しているが、何らかの理由によってさらに便利であると考えるなら、その代わりにこれらの構成要素の全てを単一のヘッドセットに一体化することも可能である。例えば、別体の電力供給回路（図示せず）、基地局１１０のための筺体、および通信リンク１３０は、全ての構成要素がＨＭＤ１２０内に集積された場合は省略できる。基地局１１０は、利用者のためにより単純なユーザーインターフェースを創出するために利用できるが、リアリティーが向上したユーザーインターフェースを備えているスタンドアローン（独立型）のＨＭＤ１２０もまた可能である。想定されるさらに詳細な実施形態を提供するために、図６の構成が提供されている。
【００５８】
デジタル画像処理プロセッサ１２５と１２６は、実際の表示に先立ってビデオ信号の画像フレームの高速リアルタイム修正を実行する。一実施形態では、デジタル画像処理プロセッサ１２５と１２６とは、図３に関して前述したように、ビデオ信号のそれぞれの画像フレームを、画像マトリックスの画像ブロックに分割する。デジタル画像処理プロセッサ１２５と１２６とは、変換行列をも定義する。一般的に、変換行列は、二組の情報に基づいて構築されている。第一のデータセットは、ＨＭＤ１２０の光学素子、特にマイクロディスプレイ１２３と１２４の一以上の装置のパラメータを含む。これら装置のパラメータは、装置内に内蔵可能であり、ＨＭＤ１２０の固有の構造を考慮することができる。これら装置のパラメータはＨＭＤ１２０のビデオ表示システムの収差を補償するために使用できる。例えば、それら装置のパラメータは、マイクロディスプレイ１２３と１２４のようなＨＭＤ１２０のハードウェア、および他の光学素子（図示せず）により創出されることが知られている歪みおよびアーティファクト（人工物）を補償する処理が可能である。一実施形態では、装置のパラメータは、利用者が設定可能または利用者が選択可能なパラメータを含むことができる。それらは、ＨＭＤ１２０の光学素子の製造許容誤差を補償するのに使用できる。第二のデータのセットは、利用者が個別に選択した物または特徴を考慮するように、ユーザーインターフェース１１１を介して集められた利用者の入力情報で構築された利用者の特性を形成する。利用者の特性情報の限定的ではない一例として、利用者の両目と、マイクロディスプレイ１２３，１２４の位置との間の距離に関する調整、利用者の両目の近視、色盲、斜視、遠視、および収差の調整、および利用者の個人的な好みを反映した輝度、コントラスト、および色調調整、画像滲みまたはシャープネス（鮮明さ）、並びに斑点あるいは画像捩れなどの画像の歪みさえも含まれる。変換行列は、例えば画像マトリックスの画像ブロック数に対応する数の変換ブロックを含むことによる、画像マトリックスに適合した大きさである。
【００５９】
利用者の特性のパラメータおよび装置のパラメータは、ＨＭＤ１２０の左側と右側のために専用に設定できる。従って、例えば、利用者の左目と右目の収差に基づいて、およびビデオ表示システムの左側用の表示装置と右側用の表示装置の収差に基づいて、第一の画像フローと第二の画像フローを別々に編集することが可能になる。
【００６０】
画像のデジタル処理において実行される修正は、変換行列を介したビデオ画像のブロックアレイまたは画素アレイのデジタル再マッピングで行うことができる。従って、変換行列は、例えば、画像要素の任意の一部または全部の色彩および輝度のパラメータを再定義することができる。従って、例えば形状の歪み（変形）、色彩、輝度およびコントラストのような画像特性は、異なる基準に従ってブロックごと、あるいは画素ごとに編集できる。
【００６１】
第一のデータセットを形成する装置のパラメータと、第二のデータセットを形成する利用者の特性パラメータとが、ユーザーインターフェース１１１を経由してヘッドセットシステム１００により受信され、保存されることができる。利用者は、プッシュボタン１１３を操作し、前述のメニューの操作ステップに従って、表示装置１１２に表示される質問または指示にフィードバックを提供するように促される。利用者のフィードバックは、利用者の特性を構築するため、及び／又は装置のパラメータを提供するために、予め設定されている一組のパラメータ内の利用者による選択に関連付けることができる。例えば、格子（グリッド）がマイクロディスプレイ１２３と１２４の一方または両方に表示でき、利用者は、一つのボタンを押して、グリッド線が最良の直線性または明確性で知覚され、別のボタンが押されて選択物が保存されるまで、一つのフレームから別のフレームに前進させるように求められるであろう。標準的な校正画像を使用して、目ごとの環境設定の画像処理パラメータを実行するために、同様なステップが実行できる。もちろん、ゲーム用等のアプリケーションによっては、実際には利用者は、例えば直線性と明確性とを幾分かの水準の歪みによって置換するような異なる選択をすることができる。
【００６２】
代替的には、ヘッドセットシステム１００には、外部システムと接続可能な通信ポート（図示せず）とユーザーインターフェースとが提供できる。このような通信ポートは、高級言語を使用した、ヘッドセットシステムの運用機能の更新のためにオペレータまたはサービスの人員によっても使用できる。
【００６３】
３Ｄ立体的デコーダ１２２、および、特にデジタル画像処理プロセッサ１２４と１２５は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）１２７として実現することができ、利用者の特性と装置のパラメータとの更新のため、あるいは将来の符号化／復号化基準に適応させるための高速処理能力と、再構築の柔軟性とを提供する。
【００６４】
ビデオ表示装置の収差に関する問題、または利用者の両目の収差に関する問題点は、様々な種類の応用（アプリケーション）において存在すると考えられる。当該分野の通常の知識を有する専門家であれば、ビデオ信号を表示する本発明の方法、本発明のデジタル画像処理プロセッサ、および本発明のビデオ表示システムは、ヘッドセットの表示装置以外に、他のタイプの表示装置で利用者にビデオ信号が提示されるような、他のアプリケーションのためにも利用が可能であることを理解しよう。さらに、本発明の方法とプロセッサを使用して平面画像が処理でき、変更できることも理解するであろう。よって、本明細書における、立体的な頭部装着装置（すなわちヘッドセット）に関する言及は、例示的なものであり、本発明の範囲の限定は意図されていない。
【実施例】
【００６５】
例示的な実施形態
本開示は、その一実施例で、従来の装置とシステムの限界と欠点に対処できる一体型のフィールド（視野）の環境設定が可能なヘッドセットを提供する。一つの特殊な実施形態では、本発明は、入力された信号を編集して、各画面に変更された情報を表示する手段が提供されたヘッドセットまたはヘッドセットシステムに一体化された小型の複数画面表示装置に関する。編集手段は、選択可能なパラメータと利用者の特性とに従ってそれぞれの表示を個別に作成するように制御できる。ヘッドセット内の光学的な構成要素に関するパラメータと、利用者の両目の特徴に関するパラメータとは、利用者によって選択できる。画像の編集は、利用者の個人的特徴及び／又はパラメータに従って画面ごとに立体的に実行が可能である。よって、このような処理は、利用者が提供する情報及び／又はヘッドセット内に存在するデータに基づいて実行でき、相互作用の工程を通じて確立可能な固有の環境設定が提供される。
【００６６】
過去においては、画像処理システムによっては表示システムを介して発生した収差を補償するように提供されたが、利用者が提供する情報を一体的に取り入れても取り入れなくても、ＨＭＤレベルにおいては、一体化された後処理を想定したそのようなシステムは存在してはいなかった。処理用コンピュータで実行される補正は、対応したシステムの既に知られた表示装置に固有の既定値を想定するだけであった。その結果、商業的な媒体の再生局（ステーション）は、標準の画像フォーマットを搬送し、表示システムの特徴、または利用者のパラメータあるいは特徴を考慮した補正を支援することはない。このような構成は、テレビまたはモニター等の大型表示セットでは実行できるであろうが、立体表示を提供したり、利用者の両目間または複表示チャンネル間の相違を考慮することはできないであろう。従来に提供された画像処理システムで、利用者のパラメータや特徴に対処しつつ、表示システムを介して発生した収差を補償できるものは存在しない。
【００６７】
ビデオ表示システムの一実施形態では、画像は頭部装着装置（ＨＭＤ）のレベルで後処理できる。ＨＭＤの本来の構造に特有な収差、並びに利用者の視覚の問題による収差は、ビデオソースがカメラであろうと、コンピュータであろうと、またはゲーム機であろうと、ビデオソースの標準出力に影響を及ぼさずにＨＭＤ装置内で補正が可能である。また、入力された画像を編集させ、増幅されたリアリティーのある状況あるいは利用者の個人的な特徴の評価のような追加の情報を提供することも可能である。増幅されたリアリティーの状況、視覚試験または心理評価試験においては、それぞれの目に対して異なる修正が可能な、変更されたあるいは強調された画像を表示するために、ビデオソースから受信した画像信号を目的に合わせて編集することは可能である。関与する高速処理速度、特に高精細ビデオ信号のための高速処理速度、ＨＭＤ内の制限された物理的空間および利用者パラメータに関する情報の収集に関する問題は、本発明のデジタル画像処理プロセッサと方法とによって解消される。本発明のＨＭＤは十分に適応力があり、新しいメディア情報符号化、処理基準、並びに利用者が定義する運用機能に絶えず更新させることができる。
【００６８】
実施形態によっては、例えば高精細度メディアインターフェース（ＨＤＭＩ）デコーダである標準的なメディア入力インターフェース、左側と右側とに画像フローを創出するための立体画像デコーダ、画像フローを編集するためのデジタル画像処理プロセッサ、およびデジタル画像処理プロセッサからの画像を表示するための表示手段を含み、一体型でフィールドで環境設定が可能なヘッドセットに関する。このヘッドセットはまた、読出し表示装置を提供する利用者の作動式スイッチを提供するためのユーザーインターフェースを備えている。また実施形態によっては、このフィールドの環境設定が可能なヘッドセットは、ユーザーインターフェースを含んだ基地局を含み、ヘッドセットと通信するように設計されているシステムの一部であってもよい。このユーザーインターフェースは、入力装置と表示装置とを含んだ外部システムに接続できるデータ通信ポートを備えることができる。このユーザーインターフェースは、頭部装着装置と一体化でき、及び／又はシステムの基地局内に内蔵することが蔵できる。
【００６９】
このヘッドセットは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）をさらに備えることができる。ＦＰＧＡは少なくとも部分的に、標準メディア入力インターフェース及び／又は立体デコーダ及び／又は第一および第二の画像処理プロセッサを備えることができる。
【００７０】
デジタル画像処理プロセッサは、画像変換情報に従って画素レベルでデジタル画像の再マッピング処理を実行することができる。この画像変換情報は、環境設定によって決定されるパラメータ、予め決定されたパラメータ及び／又はＨＭＤ内に存在するデータを含むことができる。画像変換情報はまた、利用者の特性に固有な情報をも含むことができる。この固有情報は、ユーザーインターフェースを介するヘッドセットシステムによって収集できる。
【００７１】
よって、本発明に従った上述のフィールドの環境設定が可能なヘッドセットとシステムの限定的ではない説明用の実施形態は、現存の装置およびシステムの上述の限界と欠点を緩和するものである。事実、デジタル画像処理プロセッサ１２５と１２６では、物理的に依存するパラメータおよびユーザーに依存するパラメータが好適に利用可能であり、所与の物理的構成と製造コストとに対して最良の表示条件および視覚体験を提供するために、左目の画像処理と右目の画像処理の個別の環境設定を創出する。さらに、フィールドプログラマブルヘッドセットとシステムとは、物理的構造（ハードウェア）を変化させずに将来の処理基準に便利に更新が可能である。
【００７２】
当分野の通常技術者であれば、デジタル的にビデオ信号を処理する装置および方法の説明は本発明の説明のみを目的としており、その如何なる限定も一切意図されていないことを理解しよう。通常技術者であれば、それら以外の実施形態であっても、本発明の利点を備えることを理解しよう。さらに、本発明の方法、画像処理プロセッサおよびビデオ表示システムは、デジタル画像処理の現存する需要並びに問題点の有効な解決策を提供するように特別仕様を施すことができることも理解できよう。
【００７３】
当分野の通常の知識を有する技術者であれば、多数のタイプの視覚的表示システム（画像表示システム）または他の装置が、ここで開示されたデジタル画像処理の特徴を具現化できることを理解しよう。
【００７４】
説明の複雑化の回避を目的として、本明細書は、本発明の方法、画像処理プロセッサおよびビデオ表示システムの実施態様の全特徴は示しておらず、説明しているわけではない。もちろん、デジタル画像処理のそのような実施態様の開発において、利用態様、システム、ネットワーク、並びにビジネス関連の規制への適応のような、開発者に特有な目標を達成するために様々な利用態様に特有な決定がなされなければならず、これら特有な目標は実施態様によって様々であり、開発者によっても様々である。加えて、開発努力は複合的なものであり、時間を要する作業であるが、いずれにしろ、本明細書における本発明の開示内容は、画像処理分野の通常技術者にとっては通常の開発作業の一助となるであろう。
【００７５】
本明細書の開示に従えば、ここで説明した構成要素、処理ステップ及び／又はデータ構造は、様々なタイプの運用システム、コンピュータプラットホーム、ネットワーク装置、コンピュータプログラム及び／又は汎用機を利用して実施できる。さらに、当技術分野の通常の知識を有する者であれば、ハードウェア組込型装置、特定用途向け集積回路（ＡＳＩＣ）等々である、汎用性が低い装置もまた使用が可能である。一連の処理ステップを含んだ方法は、コンピュータまたは機器を利用して実行可能であり、それら処理ステップが機械読み取り可能な一連の命令として保存が可能である場合には、それら処理ステップは有形な媒体上に保存できる。
【００７６】
ここで解説したシステムとモジュールは、ソフトウェア、ファームウェア、ハードウェア、あるいは、ここで説明した目的に適したソフトウェア、ファームウェアおよびハードウェアの任意の組み合わせを含むことができる。ソフトウェアおよび他のモジュールは、ここで解説した目的に適したサーバー、ワークステーション、パーソナルコンピュータ、コンピュータ化タブレット、ＰＤＡ、および他の装置に組み込みが可能である。ソフトウェアおよび他のモジュールは、ここで説明した目的に適したローカルメモリ、ネットワーク、ブラウザ、またはＡＳＰコンテクストの他の利用態様、あるいは他の手段を介してアクセスできる。ここで説明したデータ構造は、ここで説明した目的に適したコンピュータファイル、変数、プログラムアレイ、プログラム構造、または他の電子的情報の保存計画あるいは方法、またはそれらの組み合わせを含むことができる。
【００７７】
本発明は限定的ではない説明用の実施形態により解説されているが、これらの実施形態は、本発明の精神および特徴から逸脱せずに「請求の範囲」内で自由に修正することができる。
【図１】
0006400645.tif 000002
【図２】
0006400645.tif 000003
【図３】
0006400645.tif 000004
【図４】
0006400645.tif 000005
【図５】
0006400645.tif 000006
【図６】
0006400645.tif 000007