(57)【要約】  立体視フォーマットを一方から他方へ変換する。入力画像としての１つのタイプのフォーマットと出力画像としての別のタイプのフォーマットの間におけるあらかじめ定義済みの関係を示すためにソフトウエアで使用可能なマトリクス（１）が使用される。その後、このマトリクス（１０）を、所望のフォーマット変換のための入力ピクセルと出力ピクセルとの間における対応を定義するルックアップ・テーブルとして使用することができる。
2009509398.tif 000002
【特許請求の範囲】
【請求項１】
第１のフォーマットを有する入力画像を第２のフォーマットを有する出力画像に変換するための方法であって前記入力画像および前記出力画像がそれぞれ複数のピクセルによって定義される方法において、
前記入力画像を受け取るステップと、
前記第１のフォーマットと前記第２のフォーマットとの間におけるあらかじめ定義済みの関係を示すマップに従って前記入力画像の各ピクセルを出力画像のための対応するピクセルに変換するステップであって、この変換により前記出力画像を作り出すステップと、
前記出力画像をフォーマットするステップと、
前記フォーマットされた出力画像を表示するステップと、
を包含する方法。
【請求項２】
前記変換するステップは、前記マップを、入力画像としての１つのタイプのフォーマットと出力画像としての別のタイプのフォーマットとの間におけるあらかじめ定義済みの関係を示すマトリクスとして作り出すステップを含む、請求項１に記載の方法。
【請求項３】
前記変換するステップは、連続するステップ、すなわち
前記入力画像の色空間を変換するステップと、
前記入力画像をスケーリングするステップと、
必要に応じて追加のビューを作り出すステップと、
ビューを交換するステップと、
特定のフォーマット・タイプのために前記出力画像のプレゼンテーションを準備するステップと、
前記プレゼンテーションをセンタリングするステップと、
前記プレゼンテーションをフォーマットするステップであって、前記プレゼンテーションをフォーマットすることによってフォーマット済み出力画像を作り出すステップと、
前記フォーマット済み出力画像を表示するステップと、
を包含する、請求項１に記載の方法。
【請求項４】
さらに、前記スケーリングするステップの後であり、かつ前記追加のビューを作り出すステップの前に、入力画像を反転するステップを包含する、請求項３に記載の方法。
【請求項５】
さらに、前記追加のビューを作り出すステップの後であり、かつ前記交換するステップの前に、前記ビューを位置合わせするステップを包含する、請求項３に記載の方法。
【請求項６】
さらに、前記交換するステップの後であり、かつ前記準備するステップの前に、単一のフレームが９つのビューを含むあらかじめ定義済みのビューをアレンジし、その後前記ビューをインタージグするステップを包含する、請求項３に記載の方法。
【請求項７】
前記入力画像は平面画像であり、さらに、前記平面画像から立体画像のペアを作り出すステップを包含する、請求項１に記載の方法。
【請求項８】
前記作り出すステップは、
スケーリング後の画像を作り出すべく固定パーセンテージによって前記平面画像をスケーリングするステップと、
相補画像を作り出すべく前記スケーリング後の画像をコピーするステップと、
前記固定パーセンテージより小さいパーセンテージによって前記相補画像をシフトするステップと、
前記スケーリング後の画像からセンタリングされた画像を抽出するステップと、
前記シフト後の相補画像からセンタリングされた画像を抽出するステップと、
を包含する、請求項７に記載の方法。
【請求項１０】
前記固定パーセンテージより小さいパーセンテージは半分である、請求項９に記載の方法。
【請求項１１】
前記作り出すステップは、
スケーリング後の画像を作り出すべく固定パーセンテージによって前記平面画像をスケーリングするステップと、
相補画像を作り出すべく前記スケーリング後の画像をコピーするステップと、
前記固定パーセンテージより小さいパーセンテージによって前記相補画像をスキューするステップと、
前記スケーリング後の画像からセンタリングされた画像を抽出するステップと、
前記シフト後の相補画像からセンタリングされた画像を抽出するステップと、
を包含する、請求項７に記載の方法。
【請求項１２】
前記固定パーセンテージより小さいパーセンテージは半分である、請求項１１に記載の方法。
【請求項１３】
第１のフォーマットを有する入力画像を第２のフォーマットを有する出力画像に変換するためのデバイスであって、
前記入力画像および前記出力画像は、それぞれ複数のピクセルによって定義され、
入力画像としての１つのタイプのフォーマットと出力画像としての別のタイプのフォーマットとの間におけるあらかじめ定義済みの関係を示す、ソフトウエアで使用可能なマトリクスと、
前記入力画像の前記第１のフォーマットを識別し、かつ前記マトリクスを使用してそれを前記第２のフォーマットを有する出力画像に変換するべく構成されたプロセッサと、
を包含するデバイス。
【請求項１４】
前記マトリクスは、各タイプの画像フォーマットについて、前記入力画像からのピクセルと前記出力画像のためのピクセルとの間におけるあらかじめ定義済みの対応を含む、請求項１３に記載のデバイス。
【発明の詳細な説明】
【背景技術】
【０００１】
ここ２０年の電子立体視の進歩に伴って、立体画像の作成に種々のフォーマットが使用されるようになった。このテーマは、非特許文献１で論じられている。それらのフォーマットは、しばしばフィールドのシーケンスを作成するための手段を伴い、フィールドの遮断および通過のために電子光学シャッタを採用する選択デバイスを必要とする。この方法では、見る者の目のそれぞれに、その適切な透視図が見える。場合によっては、電子光学システムの部分は分散されて、モニタがモジュレータで覆われ、見る者の目がパッシブ方式の（passive）メガネで覆われる。
【０００２】
多くのフォーマットは、同一のこと、すなわち左および右のフィールドのシーケンスを交互にするということ、に帰結する。またページ・フリッピングも一般的であり、これは、適正な呼び出し、通常はオープンＧＬアプリケーションからの呼び出しを受け入れることが可能な立体レディ（stereo-ready）のビデオ・グラフィクス・ボードを必要とし、その後それが、目のそれぞれに適切な画像が見えるように適切なフィールドを表明するか、または指し示すことができる。ユニックス（ＵＮＩＸ（登録商標））ワークステーション上では一般的であるが、ウインドウズ（Ｗｉｎｄｏｗｓ（登録商標））ワークステーション上ではあまり一般的でないページ・フリッピング・モードに加えて、ほかの手段も考案されている。リプトン（Lipton）ほかによって発明された上／下（above/below）フォーマット（シンク・ダブリング（sync doubling）と呼ばれることもある）は、「ステレオスコーピック・テレビジョン・システム（Stereoscopic Television System）」と題された特許文献１で述べられているとおり、ボード依存ではないフォーマットである。これは広く使用されているテクニックであるが、立体視ウインドウの作成が可能でなく、さらに、使用されるビデオ・ボードとは無関係に機能するが、別の欠点も有する。
【０００３】
別のアプローチであるインターレース（interlace）・アプローチは、通常反復レート、たとえば毎秒６０または７０フィールドにおいて動作する交番フィールドを使用し、それによってフリッカする画像（flickering image）を作り出す。これはビデオ・システム用に使用されている方法であり、「プラノ‐ステレオスコーピックＤＶＤムービーズ（Plano−Stereoscopic DVD Movies）」と題された同時係属出願かつ同一出願人による米国特許出願第１０／１５０，５９５号の中で述べられているとおり、立体画像のＤＶＤエンコーディングに使用できる。
【０００４】
別の方法であるインターライン（interline）法は、同一のビデオ・フィールド上に左および右のラインを書き込み、コンピュータのＶＧＡビデオ・ポートに接続される『ドングル（dongle）』を使用してそれらを抑圧する。この方法においては、左および右の画像が、左および右のラインを交番して抑圧するドングルの裁量において通過される。
【０００５】
一部には左および右の画像のカラー・エンコーディングを使用する侮りがたいアナグリフ（anaglyph）だけで完全に満足する人々（特に子供）もいる。この方法は、ほぼ１世紀半前に記述され、もっとも頻繁にはレッドとグリーン、またはレッドとブルーのフィルタとともに使用される。２つの主要な変形が存在する。一方は、何らかのカラーの外観を与える試みる多色アナグリフである。他方は、より伝統的な単色アナグリフであり、おそらくはほとんどの人々がより気持ちよく見ることができるが、カラー効果を有する場合の派手さはない。
【０００６】
ＣＲＴモニタは、フィールドが連続する立体視表示、または交番フィールド立体視表示（前述）を可能にするが、液晶ディスプレイは画像の遅れからそれができない。液晶ディスプレイ上において立体画像を見るためには、アナグリフが必要になる。その種の非協同的モニタ上で使用するための別の方法は、左右の画像を横並びで配置することであり、その場合は、こつを知っている人は裸眼で（選択デバイスなしに）見ることができる。ロルネット、または観察する者のために画像を収斂させることができるようにプリズムが内蔵されたメガネを使用する可能性も存在する。
【０００７】
カリフォルニア州サンラファエルのステレオグラフィックス・コーポレイション（StereoGraphics Corp.）は、シンサグラム（SynthaGram(登録商標)）裸眼立体視モニタを販売しており、これは特殊なマルチ‐タイル・フォーマットを使用する。このフォーマットは、考慮に入れるべきさらにほかのフォーマットのバリエーションである。
【０００８】
この開示は、１つのフォーマットで作られ、その後、ユーザのハードウエアまたはそれの画像再生能力についての知識を伴うことなくユーザに配布される素材を開示する。たとえば、上下（above−and−below）フォーマットされた画像が、組み込み液晶ディスプレイ・スクリーンを伴うラップトップを有している者に送られるとする。そのユーザは立体画像を見ることができるだろうか？一般には、見ることができない。たとえばその画像が、フィールドの互いの混合を伴うことなく所定のレートでリフレッシュできるというディスプレイの能力に依存しないアナグリフに変換可能でない限りは不可能である。
【０００９】
概して言えば、広範多様なフォーマットが存在し、多くの種類のＰＣおよびモニタが使用されており、ユーザが受信したフォーマットで立体視的に見ることができるという高い程度の確実性は存在しない。
【００１０】
それに加えて、立体視画像を見たいが平面的な静止画または動画しか有していないという人々もいる。それらの人々は、新案による立体視を享受することとなろう。それが真の立体視画像でないとしても、いくつかの状況においては、擬似立体視画像の提供が楽しいものとなり得る。
【００１１】
【非特許文献１】リプトン（Lipton）、「ビデオ及びコンピュータグラフィクスのための立体視フォーマット（Stereovision Formats For Video And Computer Graphics）」、ＳＰＩＥ会報（SPIE Proceedings）「立体表示及びバーチャル・リアリティ・システム（Stereoscopic Displays and Virtual Reality Systems）ＩＶ」、１９９７年、第３０１２巻
【特許文献１】米国特許第４５２３２２６号明細書
【発明の開示】
【課題を解決するための手段】
【００１２】
立体視フォーマットを一方から他方へ変換するためのデバイスおよび方法が開示されている。それに加えて、擬似立体画像を作り出すための方法が開示されている。概して言えば、入力画像および出力画像は、それぞれ複数のピクセルによって定義される。本発明によれば、入力画像としての１つのタイプのフォーマットと出力画像としての別のタイプのフォーマットとの間におけるあらかじめ定義済みの関係を示す、ソフトウエアで使用可能なマトリクスが使用される。より詳細に述べれば、このマトリクスは、所望のフォーマット変換のための入力ピクセルと出力ピクセルの間における対応を定義するルックアップ・テーブルである。
【発明を実施するための最良の形態】
【００１３】
図１Ａは、立体視コンテント・コンバータ１０を示している。この立体視コンテント・コンバータは、ソフトウエアで使用可能なユーティリティであり、画像のフォーマットを一方から他方へ変換する。図１Ａは、入力および出力できる例示的なフォーマットも示している。このように立体視コンテント・コンバータ１０は、広範多様な異なる画像フォーマットのうちの任意の１つを受け取り、それらを多くの異なる種類のＰＣおよび表示スクリーン上で再生することができる。別の有利な特徴は、平面的な静止画または動画を『立体化』できることである。これおよび本発明のこのほかの態様を達成するための手段を以下に示す。
【００１４】
コンテント・プレーヤ１０は、ディジタル・コンテントの２つの基本形式、すなわち静止画および動画を扱う。簡明のため、この説明では、動画が一連の静止画フレームであると仮定し、日常的にソフトウエア・メディア・フレームワークによって扱われている中間の圧縮、ヘッダ、またはそのほかのストレージ詳細は考慮しない。すべてのデータはディジタルであり、写真フィルム処理およびその後のディジタル化によって生成されるか、または直接ディジタル形式で取り込まれるか作成されると仮定する。現在、実装および試験が行われているとおり、立体視コンテント・コンバータ１０は、多数のウインドウズ（Ｗｉｎｄｏｗｓ（登録商標））オペレーティング・システム上で動作し、かつ広い選択範囲の最新のファイル・フォーマットを読み込むことができる。しかしながら、異なるオペレーティング・システム上で動作するべくアプリケーションを変換することは、プログラマにとって日常的な事項であろう。
【００１５】
アプリケーションが動画データを処理することを可能にする多くの従来的なメディア・フレームワークが存在する。典型的な処理ステップは、開く、開始、停止、一時停止、およびサーチである。この立体視コンテント・コンバータ１０の現在の実装に使用される好ましいフレームワークは、マイクロソフト（Microsoft（登録商標））のダイレクトショー（DirectShow）（マイクロソフト（Microsoft（登録商標））のダイレクトエックス（Direct X）テクノロジのコンポーネント）である。このほかの、アップル（Apple（登録商標））のクイックタイム・プレーヤ（Quick Time Player（登録商標））等のフレームワークも使用することができる。通常は動画データの関係において使用されるが、メディア・フレームワークは、静止画データも同様に扱うことが可能である。
【００１６】
ユーザ・インターフェースがコンバータ１０のために提供されており、好ましくはビデオを操作するためのＶＣＲ類似のコントロールのセット、すなわち開始、停止、一時停止、巻き戻し、および早送りを含む。ユーザは、速度、音量コントロール、およびバランスを調整することも可能である。このコンバータは、インターフェース内に視覚的コントロール・フィードバックを提供することが可能であり、ユーザがそれらの設定を正確に調整することを可能にする。最近のほとんどのメディア・ビューアと同様に、立体視コンテント・コンバータ１０は、ウインドウ表示モードおよびフルスクリーン表示モードの両方でユーザがコンテントを見ることを可能にする。
【００１７】
メディア・コンテントは、立体視コンテント・コンバータ１０によって開かれ、ユーザに表示される。それの現在の実装においては、コンバータ１０がリアルタイム・フォーマット・コンバータとして使用される。表示されるコンテントのストレージは提供されない。それを提供することは自明の拡張であるが、大量の出力ディスク操作に起因して、通常は再生速度パフォーマンスに累を及ぼすことになろう。
【００１８】
ここで使用される場合の用語『ソース』は、メディアの入力フォーマットを言う。多用途ソフトウエア立体プレーヤが取り扱い可能であるべき種々の可能ソース・フォーマットの図解を図１Ｂに示す。これは完全なリスティングではないが、この技術分野に存在するバリエーションを示すには充分に多様である。注意されたいが、左および右のデータがどのようにストアされるかについて、いくつかの確立された申し合わせがある。また、ソース・フォーマット内におけるフレームのスケーリングを図解するために方形の縦横比が示されている。
【００１９】
以下は、図１Ｂを理解するためのガイドである。
平面：非立体画像。
上／下：左画像の上に右画像を伴う２つの垂直に詰め込まれた立体画像。
横並び：左側に右画像を伴う２つのフルサイズ画像。
横並び詰め込み：左側に右画像を伴う２つの水平に詰め込まれた画像のペア。
インターライン：右画像からの第１ラインを含む第１ライン、左画像からの第１ラインを含む第２ライン、右画像からの第２ラインを含む第３ライン等々を伴う２つの水平に詰め込まれ、折り合わされた画像のペア。
インターレース：ビデオ画像の奇数および偶数フィールドの使用に頼った左および右（または右および左）画像の表示。
立体ペア：１つは左、１つは右とする２つのフルサイズ画像。
ナイン・タイル：３×３グリッド内にストアされる１／３サイズの立体画像。上左画像がもっとも左の画像、下右がもっとも右の画像になる。このフォーマットは、ステレオグラフィックス（StereoGraphics）のシンサグラム（SynthaGram(登録商標)）モニタのために使用される。
立体化：１つは左、１つは右とする合成された２つの立体フルサイズ画像。
インタージグ画像：９つの立体画像の光学的に形成されたパターンを包含するフルサイズ画像。このフォーマットは、ステレオグラフィクス（StereoGraphics）のシンサグラム（SynthaGram(登録商標)）モニタのために使用される。
アナグリフ：赤／青に着色された立体ペアからの画像を包含するフルサイズ画像。
【００２０】
用語「表示」は、ユーザに立体コンテントを呈示するために使用される出力テクニックを言う。多用途ソフトウエア立体プレーヤが取り扱い可能であるべき種々の可能表示の図解を図１Ｃに示す。同様にこれも完全なリストではないが、この技術分野に存在するバリエーションを示すには充分に多様である。また、表示内のフレームのスケーリングを図解するために方形縦横比が示されている。
【００２１】
以下は、図１Ｃを理解するためのガイドである。
左ビュー：立体ペアの左のビュー。
右ビュー：立体ペアの右のビュー。
裸眼ビュー：左側に左ビュー、右側に右ビューを伴って一緒に示される左および右両方のビュー。
ページ・フリップ：メガネの同期された能動的なシャッタリングを伴って順番にフリッピングが生じる、グラフィクス・カードのフリッピング動作によって交互に示される左および右のビュー。
シンク・ダブル：人工的に作り出されたサブフィールドの間に垂直同期パルスを導入するビデオ信号変調器によって交互に示される左および右のビュー。メガネのシャッタリングが、適切なモニタ上に表示される結果のフィールドが連続する画像と同期される。用語シンク・ダブルは、上／下フォーマットと同義である。
シンサグラム（SynthaGram）：メガネが必要ない特別な光学的に設計された裸眼立体モニタによって一緒に示される９つのビュー。
アナグリフ−単色：カラー・チャンネル内にストアされ、赤／青のフィルタ付きメガネを用いて見られる左および右のビューの強度情報。
アナグリフ−多色：カラー・チャンネル内にストアされ、赤／青のフィルタ付きパッシブ方式メガネを用いて見られる左および右のビューのカラー情報。
【００２２】
図２に示されているとおり、マトリクス２０は、垂直軸に沿うソース・フォーマットおよび水平軸に沿う表示方法を用いて形成することができる。マトリクス２０の各要素２１は、図３に示されているとおり、（１）組み合わせを作ることが可能か否か、および（２）組み合わせがビューアでサポートされているか否かという情報を含むことができる。いくつかの立体ソース・フォーマットは、オリジナルの左右の画像ペアに対して、完全にまたは部分的に不可逆である。場合によっては、結果の画像が拡大されるか、またはカラー情報を喪失してしまうか、または単に再生が不可能になる。たとえば、アナグリフ・ソースの右ビューを示すことは、カラー情報が失われたグレイ・スケールの画像を結果としてもたらす。別の例は、水平に詰め込まれた横並びのソースを示すことであり、これは、変倍された画像をもたらすことになる。
【００２３】
この情報はすべて、サポート・マトリクス・テーブル２０内に列挙されており、立体視コンテント・コンバータ１０において、ソフトウエアで使用可能にできる。スケーリング面を適正に扱うことのほかに、このテーブル２０は、無効な組み合わせが利用可能となり、ユーザによって選択されることを防止するためにも使用される。
【００２４】
ソースおよび表示の選択の任意のサポートされた単一の組み合わせが与えられれば、ハードコード化された幾何学ベースの変換を展開し、特化されたソフトウエア・アプリケーションで使用できる。このアプローチは、きわめて効率的であるが、その特定の組み合わせに制限される。
【００２５】
ソースおよび表示の選択の多くの組み合わせに対するより一般的なアプローチをサポートするため、一般化された処理パイプラインが開発された。このパイプラインは、良好に定義された処理段階を含み、この処理段階は、入力フレームを処理し、ユーザに向けられた最終的な表示に至る経路に沿ってそれを移動する。入力フレームは、動画ファイル内の単一のフレームまたは個別の画像ファイルのうちのいずれかとなる。このモデルにおいては、１つの段階の出力が次の段階の入力として扱われる。ある段階が必要ない場合には、その出力は、効率よく次の段階に回される。
【００２６】
処理速度と精度との間においてはトレードオフが考慮される必要がある。多くの場合、正確なスケーリングまたはカラーの扱いが、あらかじめ定義済みのフレーム・レートで再生する能力とほぼ同じに決定的であるということはない。また、現在のビデオ・カードにおける特化されたグラフィクス処理パワーをてこ入れする能力を達成することは重要である。もっとも能力の低いグラフィクス・カードのために設計するよりは、サポートされている能力について問い合わせるスキームが使用される。
【００２７】
上で述べたソース・フォーマットのこの実装のために、最大で９つの立体ビューが必要になる。これは厳格な要件ではなく、実装は、より多くのビューを必要とする立体ソリューションを取り扱うべく容易に拡張することができる。
【００２８】
これらの段階は、動画フレームの処理を可能な限り効率的に実行できるように前もって設定される。ソース／表示の組み合わせが変更されるごとに小さいパフォーマンスの当たりが取られる。しかしながら、動画の再生の間は、可能な限り効率的に各フレームの処理が行われる。それらの段階が図４に図解されており、次に説明する。
【００２９】
段階１−色空間変換５１：パイプライン全体を通じて一様な色空間が必要になる。好ましい実装においては、選択される色空間は、Ｒ８Ｇ８Ｂ８であり、ここでは、赤（Red）、緑（Green）、および青（Blue）の各成分がそれぞれ１バイトとして定義される。
【００３０】
段階２−ソフトウエア・スケーリング５２：フレームが対称に、より大きい、またはより小さいサイズにスケーリングされる。種々の平均化テクニック（たとえば、双一次フィルタリング）を実装できるが、効率的なマッピング処理（後述）のために、より単純なスキームが実装された。スケーリング後のフレーム内の各出力ピクセルについて、単一のもっとも近い入力ピクセルが選択される。
【００３１】
使用されるソフトウエア・スケール・ファクタは、水平および垂直において同一である。スケール・ファクタの値は、特定のソース／表示の組み合わせ、出力ウインドウのサイズ、およびグラフィクス・カードがスケーリングできるか否かによって決定される。
【００３２】
多くのグラフィクス・カードは、スクリーン上に画像を呈示する前の最終ステップとして画像スケーリングを効率的に行うことができる。しかしながらこの特徴を利用するためには、すべてのスケーリングを最後の段階まで据え置く必要がある。
【００３３】
段階３−反転５３：いくつかの画像フォーマットに基づいて、ボトム・ラインがトップ・ラインとなるようにフレームの反転が必要になることがある。いくつかの場合においては、メディア・フレームワークが反転することからこれが必要になり、別の場合においては出力グラフィクス・システムの規約がそれを必要とする。
【００３４】
段階４−ビュー５４：この段階の目的は、後にパイプラインにおいて必要となる種々の立体ビューを作り出すことである。ソース／表示の組み合わせに応じて、１つ、２つ、または９つのビューが必要になる。それらのビューは、前の段階の入力から幾何学的な態様で容易に抽出することができる。立体化の特別な場合が以下に論じられている。
【００３５】
段階５−位置合わせ５５：正しい立体視のために、水平または垂直方向、または回転においてもビューの位置合わせが必要になることがある。位置合わせを考慮することは、不完全に形成された立体ビューを補償する容易なツールをユーザに提供する。この計算は、ビューの単純なシフト（または回転）、ブラック・ピクセルを用いた欠落ピクセルの置換である。シフトに使用されるピクセル単位は、最終スクリーン単位と相関していなければならない。したがって、位置合わせが生じる場合にはハードウエア・スケーリングは行われない。
【００３６】
段階６−交換５６：ビューを交換する必要性は、立体メディアを見るときの本質的な要件である。立体画像を見るまでの作成の間における種々のポイントには、左／右のペアの望ましくない交換が導入される機会が横たわっている。この段階の間に、２つのビューが交換されるか（ビュー１、２がビュー２、１になる）または９つすべてのビューが交換される（ビュー１、２、３、４、５、６、７、８、９が、ビュー９、８、７、６、５、４、３、２、１になる）。
【００３７】
段階７−予備インタージグ５７：この段階は、シンサグラム（SynthaGram(登録商標)）のオートステレオ（Autostereo）ディスプレイのために必要となる。オートステレオディスプレイは、『インタージギング（interzigging）』処理によって作られる光学的に定義されたピクセルの配置を必要とするこのインタージギング操作のための準備に、あらかじめ定義済みのビュー配置が設定される必要がある。この配置は、前述した９タイル・ソース・フォーマットに等価であり、この配置では、単一フレームは９つのタイルを含み、各タイルは９つのビューのうちの１つの縮小されたバージョンを含む。このフォーマット内において、ビューを９タイル配列で複製することによって２つのビューをサポートすることも可能である（たとえば、ビュー１が１〜４のタイルで使用され、ビュー２が５〜９のタイルで使用される）。インタージギングが実行されない場合には、この段階は通過される。
【００３８】
段階８−インタージグ５８：インタージグに使用されるアルゴリズムは、ブラック・ボックス、したがってこの出願から隠されていると考えてよい。インタージグ・アルゴリズムは、単一の関数呼び出しを含む種々のソフトウエア方法を通じてアクセスできる。使用されるオートステレオ（autostereo）モニタのモデルに応じて、異なるアルゴリズムが、または異なるパラメータを伴う同一のアルゴリズムが使用される。前の段階において設定されたピクセル配置を使用するインタージギング操作がここで実行される。結果は、シンサグラム（SynthaGram）モニタ上で見ることができるインタージグ済みの画像である。ピクセルでストアされるビューの精密な配置から、インタージグ済みの画像はスケーリングが不可能である。インタージギングが実行されない場合には、この段階は通過される。
【００３９】
段階９−プレゼンテーション５９：この時点において、特定の表示方法に対応するプレゼンテーション・エリア上で画像が準備される必要がある。このプレゼンテーションは、ユーザがスクリーン上で最終的に見ることになる画像を表す。この段階は、前の段階の単純なコピーになるか、またはプレゼンテーションのためのいくつかのビューの結合を伴う。１つの例は、シンク・ダブル表示の場合であり、左右両方のビューが単一のプレゼンテーション内で結合される。別の例はアナグリフ表現のためのものであり、左右のピクセルのビューからの色成分が結合される。３番目の例はページ・フリップ表示のためのものであり、２つのプレゼンテーション（各ビューについて１つ）が組み立てられる必要がある。
【００４０】
段階１０−センタリング６０：プレゼンテーションは、ユーザに対して中心に現れるように適正に配置される必要がある。この段階は、表示ウインドウのサイズ（またはフルスクリーンの寸法）を調べてプレゼンテーションをセンタリングする。いくつかの表示（シンサグラム（SynthaGram）等）においては、モニタに対する画像の正確な配置が、立体画像の均衡のとれた可視効果を達成するために決定的となる。
【００４１】
段階１１−デバイス・フォーマット６１：ここまで、前述の段階は、あらかじめ定義済みの色空間を使用してきた。この段階において、プレゼンテーションは、グラフィクス・ディスプレイによって使用されるカラー・フォーマットに変換される。オープンＧＬ（ＯｐｅｎＧＬ）ライブラリを使用するもの等のいくつかの表示テクニックについては、この段階がグラフィクス・ライブラリ内で透過的に実行される。別の場合においては、特定の色空間への変換が必要になる（たとえば、Ｒ８Ｇ８Ｂ８からＲ５Ｇ６Ｂ６へ、またはＲ８Ｇ８Ｂ８からＲ８Ｇ８Ｂ８Ａ８へ）。この変換は、通常、成分の再配置、アルファ成分の追加、８ビットから６ビットへの成分の量子化、および異なるバイト数への成分の再編成を伴う。
【００４２】
段階１２−表示６２：この段階においては、ページ・フリッピングを含むいくつかの表示テクニックの１つを使用して、画像が実際にユーザに表示される。画像のハードウエア・スケーリングがここで生じることもある。
【００４３】
動画の各フレームがこれらの段階を使用して処理される場合には、正確な表示がもたらされることになるが、処理パフォーマンスはきわめて遅いものとなろう。マッピング・テクニックを採用してこれらの段階のほとんどを単一の動作に結合することができる。
【００４４】
各段階は、入力画像空間から出力画像空間への変換を表す。図５に示されているとおり、各出力ピクセル成分について使用する入力画像空間における適正なピクセル成分を記述するマップを定義することができる。マッピングは、ピクセルの結合または混合が可能でないことを必要とするが、入力および出力空間が異なる次元となることを許す。単純に通過される段階については、図６に示されているとおり同一性マップを設定できる。また、これらのマップが（ピクセル・ベースではなく）成分ベースで定義されることから、これらは一貫したピクセル・フォーマット（たとえばＲ８Ｇ８Ｂ８）に関して定義される必要がある。
【００４５】
ここでは次に示すマップを定義することができる。
段階１のマップ：色空間変換対入力フレーム。
段階２のマップ：ソフトウエア・スケーリング後対色空間変換。
段階３のマップ：反転対ソフトウエア・スケーリング後。
段階４のマップ（１つまたは複数）：ビュー対反転。
段階５のマップ（１つまたは複数）：位置合わせ後のビュー対ビュー。
段階６のマップ（１つまたは複数）：交換後のビュー対位置合わせ後のビュー。
段階７のマップ：予備インタージグ対交換後のビュー。
段階８のマップ：インタージグ対予備インタージグ。
段階９のマップ：プレゼンテーション対インタージグ。
段階１０のマップ：センタリング対プレゼンテーション。
段階１１および１２は、同一のピクセル・フォーマットにおいて扱うことが不可能であるため、それらのためのマップは作成されない。
【００４６】
これらのマップが一旦定義されると、図７に示されるとおり、上述の段階を連結し、これら１０段階すべてを実行するための単一の多段階マップ６５を作成することがきわめて効率的なステップになる。これは、パイプラインを非常に単純化する。入力画像が与えられれば、単純にその多段階マップを使用し、入力画像内の各ピクセル成分をルックアップすることによってセンタリング後の画像を組み立てることができる。これは、決定的なパフォーマンス・ステップであり、ピクセル成分当たり多くとも１つの動作を有することが最適となる。
【００４７】
次に、発明者らが『立体化』と呼ぶ機能について述べる。ユーザは、立体情報をまったく伴わずに作成された単一の平面ソースから立体画像のペアを作成することを望む場合がある。立体視コンテント・コンバータ１０は、２つの方法を使用してそれらのペアを合成する。これら２つの方法のいずれも上記のマッピング・アプローチに一致する。それらの方法は、ソース画像内の構造を分析することによって正確に立体ビューを合成する、より困難な問題についての極度に単純化された近似である。それらの近似は、ソース画像の単純な３Ｄ回転に基づいて第２の画像を作成する。オリジナルのソース画像および作成された第２の画像をともに使用することが、暗黙の立体効果を与える。このテクニックは、立体視コンテント・コンバータのアーキテクチャにも良好に適合する。
【００４８】
最初の方法『シフティング』は、図８に示されているとおり、次のステップを含む。
（ａ）ステップ７０に示されているとおり、固定パーセンテージによって、画像を対称にスケーリングする。発明者らは、多くの画像について４％が良好に作用することを見出した。このスケーリング後の画像を、スケーリング後の左画像とする。
（ｂ）ステップ７１に示されているとおり、スケーリング後の左画像のコピーを作成し、スケーリング後の右画像を作成する。
（ｃ）ステップ７２に示されているとおり、スケーリング・パーセンテージの半分により、スケーリング後の右画像をシフトする。シフトの間にピクセルの『喪失』および『増加』があっても無視する。
（ｄ）ステップ７３に示されているとおり、スケーリング後の左画像から、オリジナルの画像サイズのセンタリングされた画像を抽出する。これが立体化された左画像である。
（ｅ）ステップ７４に示されているとおり、シフト／スケーリング後の右画像から、オリジナルの画像サイズのセンタリングされた画像を抽出する。これが立体化された右画像である。
【００４９】
２番目の方法『スキューイング』は、図９に示されているとおり、次のステップを含む。
（ａ）ステップ７０に示されているとおり、固定パーセンテージによって画像を対称にスケーリングする。発明者らは、多くの画像について４％が良好に作用することを見出した。このスケーリング後の画像を、スケーリング後の左画像とする。
（ｂ）ステップ７１に示されているとおり、スケーリング後の左画像のコピーを作成し、スケーリング後の右画像を作成する。
（ｃ）ステップ８２に示されているとおり、スケーリング・パーセンテージの半分により、スケーリング後の右画像をスキューする。シフトの間にピクセルの『喪失』および『増加』があっても無視する。
（ｄ）ステップ７３に示されているとおり、スケーリング後の左画像から、オリジナルの画像サイズのセンタリングされた画像を抽出する。これが立体化された左画像である。
（ｅ）ステップ７４に示されているとおり、シフト／スケーリング後の右画像から、オリジナルの画像サイズのセンタリングされた画像を抽出する。これが立体化された右画像である。
【００５０】
この立体視コンテント・コンバータ１０においては、スケーリング／スキューイングのパーセンテージが好ましくは固定されるが、ユーザによるパーセンテージの定義を可能にする拡張も自明である。また、図８および図９に示されているとおり、両方の方法は、シフトおよびスキューを適用する無限数の方向のサブセットである。したがって、ユーザによる立体効果の方向およびその大きさの指定を可能にする拡張もまた自明である。
【００５１】
前述の段階的なパイプラインにおけるこれらの方法の実装は単純である。ステップａおよびｂは、ソフトウエア・スケーリング段階において実行される。ステップｃ、ｄ、およびｅは、ビュー段階において実行される。
【００５２】
シフティング法は、従来技術において公知であり、折に触れては発明者らおよび製造者らによって実装されてきた。これは、立体ペアの一方の画像の水平シフトが全体の画像を観察者から遠ざけ得ることを確立した、１世紀以上も前に行われた実験の直接的な結果である。
【００５３】
スキューイング法は、擬似立体効果を提供し、ハードウエア実装として開示された従来技術の方法を基礎とする。スキューイングは、ここで述べているとおり、前述したソフトウエアまたはアルゴリズム的手段によって生成され、前がピクチャの下側の水平エッジになり、遠いエッジが上端になる後退平面上に投影されているかのように画像を傾斜させる。米国特許第３，３３９，４５４号においてＭ．ワイナー（Weiner）が、平面の写真または投影された画像を傾斜させるかまたは斜行させ、透過して見ることができるフレームの後ろにそれを配置する方法を最初に記述した。ワイナー（Weiner）は、この方法によって近似的な立体深度を求めた。ワイナー（Weiner）は、一般的なシーンが有するより低い部分がシーンの上端の部分より観察者により近いことを論証した（シャンクス（Shanks）は、米国特許第４，４４１，５６５号の中で、類似しているが、サドル形状の湾曲部または表面上への平面画像の投影に頼る方法を論じている。）
【００５４】
この傾斜された、または傾けられた画像を使用して、視差が生成されることになるが、視差は、従来的な立体ペア内に含まれる一致点の画像固有のセットではなく、スクリーンの傾斜された平面にだけ関連付けされる。フレームの追加は、巧妙なやり方であり、後退する画像の深度とフレームを比較する手段を提供する。周りを囲むコンピュータ・スクリーンは、ワイナー（Weiner）のフレームと同じ機能を提供し、立体視コンテント・コンバータ１０によって形成される擬似立体画像のための基準を提供する。
【００５５】
スキューイングはまた、擬似立体のために提案されてきたほかの方法と異なり、オン・ザ・フライで、実質的にリアルタイムで計算可能であることからも興味深い。したがって、画像の予備処理が必要とされない。効果はきわめて良好な評価を得ている。多くの個人にとって、スキューされた画像と真の立体画像との間に区別できる差がほとんどない。
【００５６】
コンテント・コンバータ１０は、発明者らがアナグリフ分解（または再構成）と呼ぶ独特の興味深い処理も行う。この処理においては、入力フォーマットとしてのアナグリフが、別のフォーマットのうちの１つとして出力される。たとえば、アナグリフを分解し、シャッタ付きメガネとともに使用するためにＣＲＴモニタ上に表示するための上／下フォーマットまたはページ・フリップ・フォーマットに変換してもよい。したがって、ユーザは、画像を立体視的に見て評価することが可能であり、しかもアナグリフに関連付けされる目の疲労を伴わない。この場合においては、画像が補色成分を有する必要がなくなる。それに代えて立体ペアが、ほとんどの人々にとって見ることが容易になる２つの単色成分から構成される。
【００５７】
立体画像ペア、すなわち２つの個別のファイルのセットを取り扱うために特殊な事例が生じる。パイプラインをはじめ、メディア・フレームワークは、一度に単一のメディア・ファイルを取り扱うために最適化される。図１０に示されているとおり、立体視コンテント・コンバータは、立体ファイル９０，９１を、平面ソースとして各ファイルを独立に読み出した後、各ファイルのメモリ内コピーを獲得することによって取り扱う。その後、左ファイル９２が上に、右ファイル９３が下にストアされた結合された画像を定義する一時ファイルが構成される。この単一画像フォーマットは、立体視コンテント・コンバータ１０およびパイプライン内において『立体ペア』として理解され、容易に処理される。
【００５８】
同時に複数のファイルを再生するためのサポートがメディア・フレームワーク内に欠けていることから、立体動画ペアは、現在のところサポートされない。ユーティリティ・プログラムを開発し、またはビデオ編集プログラム（アドビ・プレミエール（Adobe Premiere）等）を使用して左および右の動画を、各フレーム内に左および右のコンテントを伴う単一の動画に結合することは単純なタスクとなろう。
【００５９】
シンサグラム（SynthaGram）のオートステレオモニタ上においてコンテントを見るためには、ユーザは、比較的小さいビューイング・ゾーン内にとどまる必要がある。このゾーンは、いくつかのコンテント（たとえば、テスト画像）を見るときには比較的容易に見つかるが、ほかのタイプのコンテントを見ているときにはより困難になる。発明者らはいくつかのテクニックを用いて実験し、図１１に示されているとおり、表示フレーム１００の上端に配置される適切にフォーマットされたビュー位置合わせストリップ１０２がこのタスクにおいて良好に作用することを発見した。ストリップ１０２は、中心位置から見たときに黄色のストリップがもっとも明るく見えるように設計される。シンサグラム（SynthaGram）モニタ上においてコンテントを見るとき、最初にユーザは、単純に、ストリップ１０２の黄色のストリップが明るく見えるように自分自身のポジションを決めた後、コンテントを正しく見るために目をわずかに下に下げるだけでよい。
【００６０】
ストリップ１０２は、コンテントのフォーマットに用いられたものと同じシンサグラム（SynthaGram）設定を使用して構成される。図１２に示されているとおり、中心ビュー１１２が黄色ピクセルを含み、残りのピクセルが黒色ピクセルを含む一連の奇数個のビュー１１０が使用される。ビュー１１０は、狭い縦横比（１／３のウインドウ幅×８ライン）を有する。その後、ビュー１１０は、モニタ用の適正な設定を使用してブロック１１４でインタージグされる。結果として得られるストリップ１０２（ウインドウ幅×２４ライン）は、その後、表示されるウインドウの上端に合成される。
【００６１】
以上、１つの立体フォーマットから別のものへ変換する一連の方法を述べてきた。発明者らは、この方法が遍在するウインドウズ（Windows（登録商標））オペレーティング・システムと互換性を有するように巧妙に作ったが、明らかにそれはウインドウズ（Windows（登録商標））に限定されない。また発明者らは、平面画像から擬似立体画像を作るための簡単な方法も述べた。本発明は、特定の例示的な実施態様を参照して述べられているが、それらの実施態様に対し、より広い本発明の精神および範囲から逸脱することなしに種々の修正および変更を行い得ることは明らかであろう。したがって、明細書および図面は限定的な意味ではなく、例示と考えられるべきとする。したがって、この出願に付随する特許請求の範囲に関して、それらの請求項のことばによって与えられる範囲の全域が上に示した実施態様のいずれかによって限定されないものとする。
【図面の簡単な説明】
【００６２】
【図１Ａ】立体視コンテント・コンバータを示したブロック図である。
【図１Ｂ】立体視コンテント・コンバータのための入力として一般的に使用される従来のソース・フォーマットのうちのいくつかのタイプを図解した説明図である。
【図１Ｃ】立体視コンテント・コンバータによって出力として提供される種々の表示テクニックを図解した説明図である。
【図２】立体視コンテント・コンバータのためのソース／表示マトリクスを示した説明図である。
【図３】単一のソース／表示マトリクスのセルの説明図である。
【図４】立体視コンテント・コンバータのためのパイプラインのブロック図である。
【図５】立体視コンテント・コンバータに使用されるマッピング・テクニックの説明図である。
【図６】立体視コンテント・コンバータのための同一性マッピングを図解した説明図である。
【図７】多段階を有する立体視パイプラインの説明図である。
【図８】画像を立体化するシフティング法を図解した説明図である。
【図９】画像を立体化するスキューイング法を図解した説明図である。
【図１０】立体ペアを取り扱うための方法を図解した説明図である。
【図１１】観察者がビュー位置合わせストリップを使用し、表示スクリーンに対して自分の頭を正しく位置決めする方法を図解した説明図である。
【図１２】ビュー位置合わせストリップの構成の図解である。
【図１Ａ】
2009509398.tif 000003
【図１Ｂ】
2009509398.tif 000004
【図１Ｃ】
2009509398.tif 000005
【図２】
2009509398.tif 000006
【図３】
2009509398.tif 000007
【図４】
2009509398.tif 000008
【図５】
2009509398.tif 000009
【図６】
2009509398.tif 000010
【図７】
2009509398.tif 000011
【図８】
2009509398.tif 000012
【図９】
2009509398.tif 000013
【図１０】
2009509398.tif 000014
【図１１】
2009509398.tif 000015
【図１２】
2009509398.tif 000016
【手続補正書】
【提出日】平成20年5月20日(2008.5.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
第１のフォーマットを有する入力画像を第２のフォーマットを有する出力画像に変換するための方法であって前記入力画像および前記出力画像がそれぞれ複数のピクセルによって定義される方法において、
前記入力画像を受け取るステップと、
前記第１のフォーマットと前記第２のフォーマットとの間におけるあらかじめ定義済みの関係を示すマップに従って前記入力画像の各ピクセルを出力画像のための対応するピクセルに変換するステップであって、この変換により前記出力画像を作り出すステップと、
前記出力画像をフォーマットするステップと、
前記フォーマットされた出力画像を表示するステップと、
を包含する方法。
【請求項２】
前記変換するステップは、前記マップを、入力画像としての１つのタイプのフォーマットと出力画像としての別のタイプのフォーマットとの間におけるあらかじめ定義済みの関係を示すマトリクスとして作り出すステップを含む、請求項１に記載の方法。
【請求項３】
前記変換するステップは、連続するステップ、すなわち
前記入力画像の色空間を変換するステップと、
前記入力画像をスケーリングするステップと、
必要に応じて追加のビューを作り出すステップと、
ビューを交換するステップと、
特定のフォーマット・タイプのために前記出力画像のプレゼンテーションを準備するステップと、
前記プレゼンテーションをセンタリングするステップと、
前記プレゼンテーションをフォーマットするステップであって、前記プレゼンテーションをフォーマットすることによってフォーマット済み出力画像を作り出すステップと、
前記フォーマット済み出力画像を表示するステップと、
を包含する、請求項１に記載の方法。
【請求項４】
さらに、前記スケーリングするステップの後であり、かつ前記追加のビューを作り出すステップの前に、入力画像を反転するステップを包含する、請求項３に記載の方法。
【請求項５】
さらに、前記追加のビューを作り出すステップの後であり、かつ前記交換するステップの前に、前記ビューを位置合わせするステップを包含する、請求項３に記載の方法。
【請求項６】
さらに、前記交換するステップの後であり、かつ前記準備するステップの前に、単一のフレームが９つのビューを含むあらかじめ定義済みのビューをアレンジし、その後前記ビューをインタージグするステップを包含する、請求項３に記載の方法。
【請求項７】
前記入力画像は平面画像であり、さらに、前記平面画像から立体画像のペアを作り出すステップを包含する、請求項１に記載の方法。
【請求項８】
前記作り出すステップは、
スケーリング後の画像を作り出すべく固定パーセンテージによって前記平面画像をスケーリングするステップと、
相補画像を作り出すべく前記スケーリング後の画像をコピーするステップと、
前記固定パーセンテージより小さいパーセンテージによって前記相補画像をシフトするステップと、
前記スケーリング後の画像からセンタリングされた画像を抽出するステップと、
前記シフト後の相補画像からセンタリングされた画像を抽出するステップと、
を包含する、請求項７に記載の方法。
【請求項９】
前記固定パーセンテージより小さいパーセンテージは半分である、請求項８に記載の方法。
【請求項１０】
前記作り出すステップは、
スケーリング後の画像を作り出すべく固定パーセンテージによって前記平面画像をスケーリングするステップと、
相補画像を作り出すべく前記スケーリング後の画像をコピーするステップと、
前記固定パーセンテージより小さいパーセンテージによって前記相補画像をスキューするステップと、
前記スケーリング後の画像からセンタリングされた画像を抽出するステップと、
前記シフト後の相補画像からセンタリングされた画像を抽出するステップと、
を包含する、請求項７に記載の方法。
【請求項１１】
前記固定パーセンテージより小さいパーセンテージは半分である、請求項１０に記載の方法。
【請求項１２】
第１のフォーマットを有する入力画像を第２のフォーマットを有する出力画像に変換するためのデバイスであって、
前記入力画像および前記出力画像は、それぞれ複数のピクセルによって定義され、
入力画像としての１つのタイプのフォーマットと出力画像としての別のタイプのフォーマットとの間におけるあらかじめ定義済みの関係を示す、ソフトウエアで使用可能なマトリクスと、
前記入力画像の前記第１のフォーマットを識別し、かつ前記マトリクスを使用してそれを前記第２のフォーマットを有する出力画像に変換するべく構成されたプロセッサと、
を包含するデバイス。
【請求項１３】
前記マトリクスは、各タイプの画像フォーマットについて、前記入力画像からのピクセルと前記出力画像のためのピクセルとの間におけるあらかじめ定義済みの対応を含む、請求項１２に記載のデバイス。
【国際調査報告】
2009509398.tif 000017
2009509398.tif 000018