(57)【要約】【課題】距離情報を光学像に組み合わせるシステムを提供する。【解決手段】画像化システム１００において、処理システム１０６は光学カメラ１０２及び測距装置１０４と接続されており、光学カメラ及び測距装置は視野が実質的に同じになるように指向されている。処理システムは、光学カメラで取得したオリジナル光学像と測距装置で取得した距離情報とに基づいて、オリジナル光学像とは異なる視点からの新規光学像を生成市、また、オリジナル光学像及び新規光学像を用いて３次元（３Ｄ）画像を生成する。処理システムはさらに、別の視点からの別の新規光学像を生成し、新規光学像及び別の新規光学像から３次元（３Ｄ）光学像を生成するように構成されてもよい。【選択図】図１
2010113720.tif 000002
【特許請求の範囲】
【請求項１】
画像化システムであって、
プログラム可能なプロセッサと記憶媒体を有する処理システム（１０６）と、
前記処理システムと通信可能に接続されている光学カメラ（１０２）と、
前記処理システムと通信可能に接続されている測距装置（１０４）と
を含み、
前記光学カメラ（１０２）及び前記測距装置（１０４）は、前記光学カメラ（１０２）と前記測距装置（１０４）の視野が実質的に同じになるように指向されており、
前記処理システムは、前記光学カメラで取得したオリジナル光学像と前記測距装置で取得した距離情報とに基づいて、前記オリジナル光学像とは異なる視点からの新規光学像を生成するよう構成されている
ことを特徴とする画像化システム（１００）。
【請求項２】
請求項１に記載の画像化システムにおいて、前記処理システムはさらに、前記オリジナル光学像及び前記新規光学像を用いて３次元（３Ｄ）画像を生成するよう構成されていることを特徴とする画像化システム。
【請求項３】
請求項１に記載の画像化システムにおいて、前記処理システムはさらに、第３視点から前記シーンの別の新規光学像を生成し、前記新規光学像及び前記別の新規光学像から３次元（３Ｄ）光学像を生成するよう構成されていることを特徴とする画像化システム。
【発明の詳細な説明】
【背景技術】
【０００１】
現在、シーン(scene：情景)の距離情報を取得する装置が存在する。そのような装置の一例が、光検出及び測距（ＬＩＤＡＲ）装置である。ＬＩＤＡＲ装置は当該技術ではレーザ検出及び測距（ＬＡＤＡＲ）装置と称されることもあるが、同じ装置を指している。ＬＩＤＡＲは、コヒーレント光の閃光を発して、コヒーレント光がＬＩＤＡＲからＬＩＤＡＲ視野内の対象までを往復するのにかかる時間を測定することで、シーンの距離情報を取得する。これはフラッシュＬＩＤＡＲとして知られている。ＬＩＤＡＲには、単一の光ビームでシーンを走査する、スキャニングＬＩＤＡＲと称されるものもある。いずれの場合も、ＬＩＤＡＲは、マトリックス（距離マトリックス）に蓄積されることになるタイミング情報のパケットを返送する。距離マトリックスの各データポイントは、そのデータポイントの位置にある対象物にコヒーレント光が反射するのにかかった時間に対応する。ＬＩＤＡＲの出力から生成される距離マトリックスは、受信した距離情報の２次元マップである。
【０００２】
シーンの光学情報を取得する装置も多数存在している。光学情報を取得する装置の最も一般的な例の一つが、従来のカメラである。カメラは、視野内で受信した光学情報の２次元マップという形式で、光学情報を取得する。例えば、可視スペクトル光学カメラは、カメラの視野内の対象に反射する可視スペクトル内の光を取得し記録する。
【０００３】
可視スペクトル光学カメラは、２つの視点(perspective：展望)（左目と右目）から世界を見るという人間の視覚体験をより上手く模倣する目的で、ステレオビジョン（立体視）システムを造るために使用されてきた。この方法で作成された画像やビデオ映像は、３次元（３Ｄ）画像及び３次元（３Ｄ）ビデオ映像と呼ばれる。こういった３Ｄ光学像は、１シーンを異なる２つの視点から撮影した２つの２Ｄ光学像が基になる。一方の光学像は左目の視点から撮影され、他方の画像は右目の視点から撮影される。典型的な３Ｄカメラは、人間の目とほぼ同一間隔に配置された２枚のレンズからなる。上記３Ｄカメラは、同時に２つの２Ｄ画像を、一方は左のレンズで、他方は右のレンズで撮影する。
【０００４】
１つのスクリーンに２つの画像を表示し、左目と右目で別々の画像をみていることを観察者に印象付けるには、特別な技術が用いられる。たとえば、上記２つの画像を見る方法の一つに、赤と青のレンズが一枚ずつ入った眼鏡を、観察者に着用させるという方法がある。そうしておいて、左目の画像は青く映し出すと同時に、右目の画像は赤く映し出す。その眼鏡をかけていると、観察者の左目は左の青い画像を拾い上げ、右目は右の赤い画像を拾い上げる。すると、観察者の脳はそれを組み合わせて、現実の３Ｄ効果を創造する。この効果はスチール写真、映像のいずれの場合においても用いられる。
【０００５】
３Ｄ画像を見る他の方法は、上記の方法と類似しているが、異なる点は左目と右目に対して赤と青の画像を用いるのではなく、偏光画像が用いられることである。この場合、左の画像は一つの方向に偏光され、右の画像は左の画像から９０度の角度で偏光される。そしてユーザは、左画像の偏光にマッチする左レンズと右画像の偏光とマッチする右レンズの眼鏡をかける。
３Ｄビデオ映像を見る第３の方法は、カメラの左と右の画像を交互にスクリーンに映し出すものである。この場合、観察者の脳は交互に映し出された画像を３Ｄ画像に形成する。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
本発明は、距離情報を光学像と組み合わせる方法及び装置を提供することを目的としている。
【課題を解決するための手段】
【０００７】
以下の概要は限定ではなく例示である。一実施形態では、距離情報を光学像と組み合わせる方法は、シーンの第１光学像を光学カメラで取得し、その第１光学像は複数ピクセルを備えることを含む。加えて、そのシーンの距離情報が距測装置で取得される。レンジ値(range values)は、第１光学像の複数ピクセルの少なくとも一部に対して、距離情報を基にして決定される。そのレンジ値と光学像は組み合わされて、３次元（３Ｄ）ポイントクラウドを生成する。その３Ｄポイントクラウドを基にして、そのシーンについて、第１光学像とは異なる視点からの第２光学像が作成される。
【図面の簡単な説明】
【０００８】
【図１】図１は、光学像と距離情報を組み合わせるのに用いる画像化システムの一実施形態のブロック図である。
【図２】図２は、図１の画像化システムを用いて光学像と距離情報を組み合わせる方法の一実施形態のフローチャートである。
【図３Ａ】図３Ａは、図２の光学像と距離情報の組み合わせを利用する方法における一実施形態のフローチャートである。
【図３Ｂ】図３Ｂは、図２の光学像と距離情報の組み合わせを利用する方法における別の一実施形態のフローチャートである。
【図４Ａ】図４Ａは、あるシーンに関して、第１視点における図１の画像化システムの使用例と、この第１視点から生じる光学像を示す図である。
【図４Ｂ】図４Ｂは、前記シーンに関して、第２視点での図１の画像化システムの使用例とこの第２視点から生じる仮想光学像を示す図である。
【発明を実施するための形態】
【０００９】
図１は、光学像と距離情報を組み合わせるシステム１００の一実施形態である。システム１００は、２次元（２Ｄ）光学カメラ１０２と測距装置１０４と処理システム１０６を含む。
光学カメラ１０２は、視野内にあるシーン１０８の２Ｄ光学画像を取得する。光学カメラ１０２はシーン１０８を白黒、グレースケール、フルカラー、または他のタイプの画像として取得できる。加えて、光学カメラ１０２は、特定のアプリケーションに対して所望の解像度を有することができる。光学カメラ１０２は、光学カメラ１０２の視野内で受信した光学情報を、２次元マップという形式で取得する。本実施形態では、光学カメラ１０２は、光学カメラ１０２の視野内の対象に反射する可視スペクトル内の光を、取得し記録する可視スペクトルカメラである。一実施形態において光学カメラ１０２は、の静止画を取得するスチールカメラである。別の実施形態において光学カメラ１０２は、ビデオ映像を生成するために多重画像をフレームバイフレーム方式で取得するビデオカメラである。
【００１０】
測距装置１０４は、測距装置１０４の視野内に対する距離情報を取得する。一実施形態では、測距装置１０４は光検出及び測距（ＬＩＤＡＲ）装置である。ＬＩＤＡＲには、コヒーレント光の閃光を発して、コヒーレント光がＬＩＤＡＲからＬＩＤＡＲ視野内の対象までを往復するのにかかる時間を測定することで、あるシーンの距離情報を取得する形式があり、これはフラッシュＬＩＤＡＲとして知られている。別のタイプのＬＩＤＡＲには、一条の光線であるシーンを走査する、スキャニングＬＩＤＡＲがある。背景技術で触れたように、ＬＩＤＡＲ装置は当該技術ではレーザ検出及び測距（ＬＡＤＡＲ）装置と称されることもある。別の実施形態において測距装置１０４は、無線探知及び走査（ＲＡＤＡＲ）装置、音波による計測（ＳＯＮＡＲ）装置、タイムオブフライト方式のカメラ、あるいはＤＯＰＰＬＥＲ型装置である。
【００１１】
いずれの場合も、測距装置１０４はタイミング情報のパケットを返し、それがマトリックス（ここでは距離マトリックス）に蓄積される。距離マトリックスの各データポイントは、ピクセルに対応する対象物にコヒーレント光が反射するのにかかった時間に対応する。測距装置１０４の出力から生成される距離マトリックスは、各ピクセルに対して受信した距離情報の２次元マップである。距離情報に加えて、測距装置１０４は、その視野内の強度マトリックスも取得する。強度マトリックスは、測距装置１０４が視野内の各データポイントで受信した、コヒーレント光の強度の測定値を示す。距離情報と同様に、測距装置１０４が取得した強度情報は、視野内の強度情報のマトリックスという形態で蓄積される。
【００１２】
処理システム１０６は、少なくとも１つのプログラム可能な処理装置（すなわち「プロセッサ」）と、通信可能に接続されている少なくとも一つの記憶媒体を含む。一実施形態では、プロセッサはマイクロプロセッサである。プロセッサはさまざまなソフトウェアを実行する。ソフトウェアは、一つ以上のプロセッサ可読媒体に記憶されるプログラムインストラクションを含む。例えば、プロセッサ可読媒体は少なくとも一つの記憶媒体を含み、その記憶媒体は、処理システム１０６と連携するハードディスクや他の大容量記憶装置及びローカルエリアネットワークやインターネットのような広域ネットワークに接続するファイルサーバのようなシェアドメディアの少なくとも一方を備える。一実施形態では、ソフトウェアはプロセッサ内の記憶メディアに組み込まれるファームウェアである。（改行なし）（改行なし）光学カメラ１０２と測距装置１０４は、処理システム１０６と通信可能に接続されている。処理システム１０６は、光学像データを光学カメラ１０２から受信し、また測距装置１０４からも、強度マトリックスデータ及び／又は距離マトリックスデータを受信する。次に、処理システム１０６はディスプレイ１１０に表示画像あるいは画像データを出力する。
【００１３】
光学カメラ１０２及び測距装置１０４は、各装置の視野の少なくとも一部が重複するように指向されている。一実施形態では、光学カメラ１０２と測距装置１０４の視野が実質的に同じになるように配置されている。さらに、他の実施形態では、光学カメラ１０２と測距装置１０４は、双方の視野が同じに保持されるように、互いに固定されている。
【００１４】
図２は、システム１００を用いて距離情報を光学像と組み合わせる方法２００の、一実施形態を示す図である。方法２００は、シーン１０８の２Ｄ光学像が光学カメラ１０２によって取得されるブロック２０２で始まる。ブロック２０４では、シーン１０８に対する距離情報が測距装置１０４で取得される。シーン１０８が移動物体を含む場合は、光学像及び距離情報の双方で確実に同じ位置で移動物体が取得されるように、光学像及び距離情報は同時に取得される。シーン１０８が非移動物体のみを含む場合は、光学像と距離情報は、異なる時間に取得されてもかまわない。光学像は複数のピクセルを含み、各ピクセルは光学カメラ１０２視野内に位置する１０８の色彩や陰影を示すデータを含む。上述のように、測距装置１０４からの距離情報の形態は、複数データポイントを含む距離マトリックスである。距離マトリックスの各データポイントは、測距装置１０４視野内シーン１０８に対する距離情報を示す。
【００１５】
ブロック２０６では、距離マトリックスを基に、光学像のピクセルに対してレンジ値が決定される。光学像のレンジ値を決定するには、処理システム１０６は、距離マトリックスのデータポイントを光学像のピクセルと相関させる。一実施形態では、光学カメラ１０２と測距装置１０４は同位置にあるので、双方の装置が同一角度で同一視野を有する。別の実施形態では、光学カメラ１０２と測距装置１０４は隣接して取り付けられている。その結果、各装置は、若干異なる角度からシーン１０８を捕らえることとなる。光学カメラ１０２と測距装置１０４の相対的位置がどうであれ、光学像のピクセルを距離マトリックスのデータポイントと相関させるのに、以下のプロセスが用いられる。
【００１６】
距離マトリックスと光学像との相関関係は、光学カメラ１０２と測距装置１０４の初期相関に基づくデータポイントとピクセルの相関関係である。光学カメラ１０２と測距装置１０４を初期相関させるには、各装置で取得した情報が比較されて、測距装置１０４のデータポイントのどれが光学カメラ１０２からの画像におけるピクセルのどれに相当するのかを決定する。例えば、一実施形態では、光学カメラ１０２と測距装置１０４の視野が重複するように固定される。次いで、各装置からの情報の一部（あるいは全部）が比較される。一実施形態では、画像を比較するために、各装置の視野が重複している部分内にチェッカーボードパターンが置かれる。チェッカーボードパターンは、明るい色と暗い色が交互に配置されるマス目を備える。このパターンは、光学カメラ１０２の光学像及び測距装置１０４の強度マトリックスの双方において、容易に認識できる。光学カメラ１０２と測距装置１０４のそれぞれが、チェッカーボードパターンの画像を取得する。上述したように、距離マトリックスと同様に、測距装置１０４は、光強度データを示す複数データポイントを備える光強度マトリックスを取得する。
【００１７】
測距装置１０４の光強度マトリックスから、チェッカーボードパターンは確かめられる。光強度マトリックス内のチェッカーボードパターンの位置は、光学カメラ１０２で取得された光学画像内のチェッカーボードパターンの位置と比較される。このようにして、次いで光学像のどのピクセルが強度マトリックスのどのデータポイントと一致するかを決定する。この（一定の位置の光学カメラ１０２と測距装置１０４との）初期相関が、強度マトリックス内のどのデータポイントと光学像内のどのピクセルが一致するかを決定する。強度マトリックスと光学像は解像度が異なる可能性や、一直線上に並んで配置されていない可能性もあるので、強度マトリックスのデータポイントは、光学像の複数ピクセル間で外挿補間される。従って、一つの強度データポイントは、光学像の多重のピクセルに合致される。さらに、光学像内の一つのピクセルは、隣接する強度データポイントの平均値と合致される。この実施形態では、チェッカーボードパターンが画像を比較するのに使用されたが、別の実施形態では別のパターン等も用いられ、それには直線や他形状の輪郭線も含むが、それに限定するものではない。
【００１８】
光学像と強度マトリックスの初期相関が成立すると、光学像と距離マトリックスの相関関係も決定される。距離マトリックスのデータポイントは、強度マトリックスのデータポイントと連携しているので、光学像と距離マトリックスの相関関係は、光学像と強度マトリックスの相関関係と同じである。
【００１９】
一実施形態では、光学カメラ１０２と測距装置１０４が、はじめに取り付けられて整列される際に初期相関が実行される。この場合、光学カメラ１０２と測距装置１０４の相関関係は、光学カメラ１０２と測距装置１０４の整列調節に用いられる。光学カメラ１０２と測距装置１０４を取り付けて整列させるために、測距装置１０４と光学カメラ１０２はほぼ同じ視野を持つように初期整列が実行される。次いで、チェッカーボードの光学像とチェッカーボードの強度マトリックスの相関が行われる。強度マトリックスと光学像のデータポイントが比較されると、光学カメラ１０２と測距装置１０４は配列に調整が必要なら再整列される。次いで、光学像を強度マトリックスに相関させるために、チェッカーボードパターンを用いる相関が再度完成される。比較、再整列、相関のサイクルは、光学カメラ１０２と測距装置１０４の所望の整列が得られるまで、必要な回数を実行できる。別の実施形態では、光学カメラ１０２と測距装置１０４の整列に、別の手順が用いられてもよい。
【００２０】
いずれにせよ、測距装置１０４に対して固定した光学カメラ１０２の固定位置に対する光学像と距離マトリックスの初期相関がわかれば、処理システム１０６は、光学像内の各ピクセルのレンジ値を決定するのに、その初期相関を使用する。初期相関からのデータポイント−ピクセル(data point-to-pixel)のマッピングを用いて、処理システム１０６は、距離マトリックスから一つ以上のレンジ値を光学像の各ピクセルに割り当てる。レンジ値を光学像の各ピクセルに割り当てることにより生成された情報の組み合わせを、本明細書では３Ｄポイントクラウドと称する。
【００２１】
一実施形態では、同じシーンについて取得した一連の距離マトリックスと光学像に対して距離及び光学像の分析を行うことで、レンジ値を各ピクセルに割り当てるプロセスはより確実になる。
【００２２】
ここで図３Ａを参照すると、オリジナル光学像とは異なる視点の新規光学像を生成する方法３００の一実施形態が示されている。方法３００は、新規光学像を生成するのに画像化システム１００を用いる。新規光学像は、画像化システム１００で取得されたオリジナル光学像を元に加工された２次元光学画像である。方法３００は、光学像と方法２００のブロック２０６で決定されたレンジ値の組み合わせを用いて開始される。レンジ値と光学像の組み合わせは、光学カメラ１０２で取得されたオリジナル光学像とは異なる視点の新規光学像を生成するのに用いられる。ここでの異なる視点とは、まるで光学カメラ１０２がシーンに対してオリジナル画像を取得した実際の角度とは異なる角度にあるかのように、新規画像が生成されることを意味する。言いかえれば、新規画像に対するカメラの仮想位置とシーンとを結ぶ視線は、オリジナル画像に対するカメラとシーンとを結ぶ視線とは異なる。
【００２３】
方法３００は、ブロック３０２で開始され、シーンに対する３次元ポイントクラウドが画像化システム１００で取得される。３次元ポイントクラウドは方法２００に関して上述したように取得される。図４Ａは、シーン４０４の画像化システム１００で取得されたオリジナル画像４０２の一実施形態が示されている。画像化システム１００は、シーン４０４の光学像４０２を取得する。画像化システム１００はまた、シーン４０４に対する距離情報も取得する。線４０６は、画像化システム１００からシーン４０４内の対象物に送信される測距信号を示す。上述にあるように、シーン４０４の３Ｄポイントクラウドを生成するために、受信した距離データは取得された画像と組み合わせられる。
【００２４】
次に、ブロック３０４で、画像化システム１００は、新規生成される画像におけるシーン４０４の視点を決定する。例えば、図４Ｂは、新規視点から画像化システム１００によって仮想的に取得されたシーン４０４の実施例を示す。以下に説明するように、例えばシーン４０４を異なる角度から他のユーザに示すために、そのシーン４０４の新規視点は、外部プログラムから画像化システム１００に提供される。
【００２５】
ブロック３０６では、画像化システム１００は、新規視点からのシーン４０４の仮想画像に対する３Ｄポイントクラウドがどのように現れるかを決定する。画像化システムは、仮想画像の様子をオリジナル３Ｄポイントクラウドに基づいて決定する。オリジナル３Ｄポイントクラウドをもとに、画像化システム１００は新規視点からオリジナル３Ｄポイントクラウドがどのように見えるかを割り出す。
【００２６】
新規視点からの２Ｄ画像に現れるであろう新規３Ｄポイントクラウドをいったん画像化システム１００が決定すると、ブロック３０８において、画像化システム１００はオリジナル画像を変形させて、新規視点から予測されるであろう形状を特徴(features)が有するようにする。例えば、光学像４０２はオリジナル２Ｄ画像である。図４Ｂは、新規仮想視点からみたシーン４０４の新規加工画像４０８を示す。シーン４０４は、直線形状の特徴４１０と楕円形の特徴４１２を備える。図４Ａの画像化システム１００の視点から、光学カメラはシーン４０４の光学像４０２を取得する。図４Ｂの線４１４は、画像化システム１００が仮想視点に設置され多場合の、画像化システムに入出する測距信号と光がシーン４０４をどのように取得するかを示す。図４Ａに示されるオリジナル視点からだと、直線的特徴４１０の正面に４本の光線に当たっていることがわかる。しかしながら、新規視点からだと、直線的特長４１０の正面には５本の光線があたっている。このように、直線的特徴４１４は、画像４０８の場合の方が画像４０２の場合より幅広である。同様に、画像４０８で示されるように、楕円的特徴４１２は新規視点からだと少し異なる形状を有している。加えて、新規視点からだと直線的特徴４１０と楕円的特徴４１２間のスペースが低減されている。また、オリジナル視点からの特徴４１０、４１２と接触する線４０６間のスペース及び、新規視点からの特徴４１０、４１２と接触する線４１４間のスペースに示されるように、新規画像４０８では、特徴４１０、４１２間のスペースが低減される。
【００２７】
新規画像４０８の新規視点から生じる歪みや未知である可能性のあるデータに起因して、新規画像４０８にはエラーが生じる。こういったエラーは、図４Ｂで示される新規視点からの実際のオリジナル画像と比較すると、新規画像４０８において視覚歪として出現する。オリジナル視点から新規視点までの角度の差が少なければ少ないほど、必要となる推定は少なくてすみ、新規画像における歪みの可能性も低くなる。対照的に、視点の角度差が大きいと、多量の推定が必要になり、新規画像において大きな歪みを引き起こす。歪みが生じてしまうので、オリジナル視点と新規視点間の角度差が特定のアプリケーションによって制限される場合がある。
【００２８】
オリジナル光学像と測距画像に基づいて、異なる視点からの新規画像を生成することは、たくさんのアプリケーションに適用可能である。例えば、一実施形態では、対象物や場所の特定を補助するために、一視野から取得した画像を他の視点から取得したと見立てられる画像に転換できる。
【００２９】
一実施形態では、画像化システム１００と方法２００及び３００は３次元光学像を生成するのに用いられる。ここでの３次元光学画像とは、一つのシーンに対する２つの異なる視点から取得される２つの２Ｄ光学画像のことであり、その画像における両視点はおよそ人間の両目の間隔である。これは、ステレオビジョン画像と称され、２つの視点で同時に観察する人間の視覚体験（左目の視点及び右目の視点）を、より上手く模倣する試みである。
【００３０】
ここでは、画像化システム１００で、シーンの第１画像が第１視点から取得される。次いで、方法２００及び３００で説明された手順で、同じシーンの第２画像が第２視点から取得される。一実施形態では、第２視点は、およそ両目の間隔で第１視点から離れたところにある。そして、この第２画像は観察者の片目からの視野として、第１画像はもう片方の目からの視野として用いられる。２つの２Ｄ光学画像の組み合わせが、３Ｄ光学画像を生成する。別の実施形態では、第２視野は第１視野からもっと離れている（例えば１０度）。そして、方法２００及び３００で説明された手順で、第３視野からそのシーンの第３新規画像が生成される。第３視野はおよそ両目の間隔で第１視点から離れたところにある。そして、第２画像と第３画像から３Ｄ画像が生成される。このように、第２画像は観察者の片目からの視野として、第３画像はもう片方の目からの視野として用いられる。
【００３１】
方法２００及び３００のステップをフレームバイフレームビデオ映像の各フレームに対して繰り返すことで、方法２００及び３００はビデオ映像にも応用可能である。フレームバイフレームビデオ映像の各フレームは画像化システム１００で取得され、方法２００及び３００のステップを実行して加工処理される。それにより生じた新規フレームは新規映像としてフレームバイフレーム方式で表示される。
【００３２】
方法２００及び３００の別の応用事例は、オリジナルビデオ映像が撮影された視点と異なる視点からのビデオ映像やその映像の一部を生成することを含む。ここでは、ビデオ映像は、画像化システム１００で１つの視点から撮影すればよく、もう一度特定のシーンを撮影する必要なく編集によってビデオ映像の一部が異なる視点から見たように修正される。
【００３３】
加えて、一実施形態では、画像化システム１００と方法２００及び３００は、３Ｄビデオ映像の生成に用いられる。ここでは、画像化システム１００によって、そのビデオ映像は一視点から撮影される。そして、一つあるいは２つ視点が追加生成され、その３Ｄビデオ映像において左右両目からの画像として用いられる。例えば、観察者の左右両目間の所望の中心点を視点にしてビデオ映像を撮影することができる。そして、オリジナル画像を基にして、２つの新規画像が生成される。一つ目の画像は撮影した画像のやや右側、２つ目の画像はやや左側である。３Ｄビデオ映像を生成するこの方法の利点は、中心点から撮影した画像と左右両画像は視野の差が少ないので、生成する２つの画像の歪みが少ないことである。別の実施形態では、撮影された画像が片目として用いられ、新規画像がもう一方の目として用いられる。このように、この実施形態では、３Ｄビデオ映像を生成するために生成される新規画像はひとつのみである。
【００３４】
次に図３Ｂを参照すると、別の方法３０１の一実施形態が示されている。方法３０１では、距離情報と光学像の組み合わせが特徴認識に用いられる。方法２００のブロック２０２〜２０６にブロック３０２〜３０４が続き、ブロック３０９でシーンの３Ｄポイントクラウドが取得される。次いで、３１０〜３１２で示される特徴認識がなされる。一実施形態において、処理システム１０６は特徴の３Ｄ形状の演繹的知識を有する。ブロック３１０において、処理システム１０６は光学像４０２内の特徴に対して決定された３Ｄ形状を用いてその３Ｄ形状と既存の特徴を比較し、特徴認識を行う。この方法は、標準的特徴認識アルゴリズムを併用しても、あるいはしなくても、実行できる。ブロック３１２での３Ｄ形状の比較に加えて（または、比較をすることなく）、処理システム１０６はブロック３０４で決定された光学画像内にある面(faces)の方向を用いて、その面の方向を既存の特徴の面方向についての演繹的知識と比較する。例えば、既存の特徴が円筒形状部材に対し約４５度の角度にあって円筒形状部材の半分のサイズである部材の四角面を備えているとする。すると特徴認識アルゴリズムは、光学像内でこのタイプの３次元特徴と合致するものを求めて探し出す。
【００３５】
本明細書において、具体的な実施様態が例示及び説明されたが、当然ながら、同じ目的を達成すると解釈できるものなら、当業者によって手を加えられた実施様態も提示した具体的実施様態と差し替えられる。明白に意図することは、いかなる発明も請求項及びそれと同等のものによってのみ制限されることである。
【図１】
2010113720.tif 000003
【図２】
2010113720.tif 000004
【図３Ａ】
2010113720.tif 000005
【図３Ｂ】
2010113720.tif 000006
【図４Ａ】
2010113720.tif 000007
【図４Ｂ】
2010113720.tif 000008
【外国語明細書】
2010113720000001.pdf