(57)【要約】  ２Ｄ／３Ｄ取得及び表示のための個人用電子装置を提供する。本発明は、ユーザが単一の装置を使用して３Ｄ情報を捕捉することを可能にする２次元／３次元（２Ｄ／３Ｄ）デジタル取得及び表示装置である。実施形態では、装置は、センサを有する単一の移動可能なレンズを有する。別の実施形態では、装置は、ビームスプリッタ及び複数のセンサと共に単一のレンズを有する。別の実施形態では、装置は、複数のレンズ及び複数のセンサを有する。更に別の実施形態では、装置は、付加的な３Ｄソフトウエアを有する標準的なデジタルカメラである。一部の実施形態では、２Ｄ情報から生成される深度マップを用いて２Ｄ情報から３Ｄ情報を生成する。一部の実施形態では、カメラのハードウエア構成を直接使用して３Ｄ情報を取得する。３Ｄ情報は、次に、装置上に表示されるか、表示又は印刷されるように別の装置に送ることができる。【選択図】図１
2010522475.tif 000002
【特許請求の範囲】
【請求項１】
ａ．レンズ、
ｂ．前記レンズを通して２次元情報を取得するように位置決めされたセンサ、
ｃ．前記２次元情報から３次元情報を計算するためのプロセッサ、及び
ｄ．前記プロセッサに結合された前記３次元情報を表示するためのディスプレイ、
を含むことを特徴とするデジタル画像装置。
【請求項２】
前記レンズ及び前記センサのうちの少なくとも一方は、移動可能であることを特徴とする請求項１に記載の装置。
【請求項３】
前記２次元情報は、実深度マップを生成するのに使用されることを特徴とする請求項１に記載の装置。
【請求項４】
デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択されることを特徴とする請求項１に記載の装置。
【請求項５】
前記２次元情報は、１組の画像を含むことを特徴とする請求項１に記載の装置。
【請求項６】
前記センサは、電荷結合素子及び相補型金属酸化物半導体から成る群から選択されることを特徴とする請求項１に記載の装置。
【請求項７】
前記２次元情報は、圧縮、フォーマット設定、高解像度化、色強化、及び歪み補正を含む処理で処理されることを特徴とする請求項１に記載の装置。
【請求項８】
前記３次元情報は、立体フォーマットでローカルメモリに格納されることを特徴とする請求項１に記載の装置。
【請求項９】
前記立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度のうちの１つ又はそれよりも多くであることを特徴とする請求項８に記載の装置。
【請求項１０】
前記ディスプレイは、２次元情報を表示することを特徴とする請求項１に記載の装置。
【請求項１１】
前記３次元情報は、視聴補助具なしで視聴されることを特徴とする請求項１に記載の装置。
【請求項１２】
視聴補助具が、前記３次元情報を見るのに必要であることを特徴とする請求項１に記載の装置。
【請求項１３】
１つ又はそれよりも多くの他の装置と通信して前記３次元情報を送受信するための通信インタフェースを更に含むことを特徴とする請求項１に記載の装置。
【請求項１４】
前記通信インタフェースは、無線で通信することを特徴とする請求項１３に記載の装置。
【請求項１５】
前記ディスプレイを制御するために前記プロセッサに結合された制御インタフェースを更に含むことを特徴とする請求項１に記載の装置。
【請求項１６】
ａ．レンズ、
ｂ．前記レンズの近くに位置決めされたビームスプリッタ、
ｃ．２次元情報を取得するために前記ビームスプリッタの近くに位置決めされた複数のセンサ、
ｄ．前記２次元情報から３次元情報を計算するために前記複数のセンサに結合されたプロセッサ、及び
ｅ．前記３次元情報を表示するために前記プロセッサに結合されたディスプレイ、
を含むことを特徴とするデジタル画像装置。
【請求項１７】
前記２次元情報は、実深度マップを生成するのに使用されることを特徴とする請求項１６に記載の装置。
【請求項１８】
デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択されることを特徴とする請求項１６に記載の装置。
【請求項１９】
前記２次元情報は、１組の画像を含むことを特徴とする請求項１６に記載の装置。
【請求項２０】
前記複数のセンサは、各々、電荷結合素子及び相補型金属酸化物半導体から成る群から選択されることを特徴とする請求項１６に記載の装置。
【請求項２１】
前記２次元情報は、圧縮、フォーマット設定、高解像度化、色強化、及び歪み補正を含む処理で処理されることを特徴とする請求項１６に記載の装置。
【請求項２２】
前記３次元情報は、立体フォーマットでローカルメモリに格納されることを特徴とする請求項１６に記載の装置。
【請求項２３】
前記立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度のうちの１つ又はそれよりも多くであることを特徴とする請求項２２に記載の装置。
【請求項２４】
前記ディスプレイは、２次元情報を表示することを特徴とする請求項１６に記載の装置。
【請求項２５】
前記３次元情報は、視聴補助具なしで視聴されることを特徴とする請求項１６に記載の装置。
【請求項２６】
視聴補助具が、前記３次元情報を見るのに必要であることを特徴とする請求項１６に記載の装置。
【請求項２７】
１つ又はそれよりも多くの他の装置と通信して前記３次元情報を送受信するための通信インタフェースを更に含むことを特徴とする請求項１６に記載の装置。
【請求項２８】
前記通信インタフェースは、無線で通信することを特徴とする請求項２７に記載の装置。
【請求項２９】
前記ディスプレイを制御するために前記プロセッサに結合された制御インタフェースを更に含むことを特徴とする請求項１６に記載の装置。
【請求項３０】
ａ．第１のレンズ、
ｂ．第２のレンズ、
ｃ．前記第１のレンズを通して３次元情報を取得するように位置決めされた第１のセンサ、
ｄ．前記第２のレンズを通して前記３次元情報を取得するように位置決めされた第２のセンサ、
ｅ．前記３次元情報を処理するために前記第１のセンサ及び前記第２のセンサに結合されたプロセッサ、及び
ｆ．前記３次元情報を表示するために前記プロセッサに結合されたディスプレイ、
を含むことを特徴とするデジタル画像装置。
【請求項３１】
デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択されることを特徴とする請求項３０に記載の装置。
【請求項３２】
前記３次元情報は、１組の画像を含むことを特徴とする請求項３０に記載の装置。
【請求項３３】
前記第１のセンサ及び前記第２のセンサは、各々、電荷結合素子及び相補型金属酸化物半導体から成る群から選択されることを特徴とする請求項３０に記載の装置。
【請求項３４】
前記３次元情報は、圧縮、フォーマット設定、高解像度化、色強化、及び歪み補正を含む処理で処理されることを特徴とする請求項３０に記載の装置。
【請求項３５】
前記３次元情報は、立体フォーマットでローカルメモリに格納されることを特徴とする請求項３０に記載の装置。
【請求項３６】
前記立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度のうちの１つ又はそれよりも多くであることを特徴とする請求項３５に記載の装置。
【請求項３７】
前記ディスプレイは、２次元情報を表示することを特徴とする請求項３０に記載の装置。
【請求項３８】
前記３次元情報は、視聴補助具なしで視聴されることを特徴とする請求項３０に記載の装置。
【請求項３９】
視聴補助具が、前記３次元情報を見るのに必要であることを特徴とする請求項３０に記載の装置。
【請求項４０】
１つ又はそれよりも多くの他の装置と通信して前記３次元情報を送受信するための通信インタフェースを更に含むことを特徴とする請求項３０に記載の装置。
【請求項４１】
前記通信インタフェースは、無線で通信することを特徴とする請求項４０に記載の装置。
【請求項４２】
前記ディスプレイを制御するために前記プロセッサに結合された制御インタフェースを更に含むことを特徴とする請求項３０に記載の装置。
【請求項４３】
ａ．レンズ、
ｂ．前記レンズを通して２次元情報を取得するように位置決めされたセンサ、
ｃ．前記２次元情報から３次元情報を計算するためのアプリケーションを実施するためのプロセッサ、及び
ｄ．前記３次元情報を表示するために前記プロセッサに結合されたディスプレイ、
を含むことを特徴とするデジタル画像装置。
【請求項４４】
前記アプリケーションは、予めロードされることを特徴とする請求項４３に記載の装置。
【請求項４５】
前記アプリケーションは、アド−オンとして利用可能であることを特徴とする請求項４３に記載の装置。
【請求項４６】
複数の画像が、前記センサによって取得されることを特徴とする請求項４３に記載の装置。
【請求項４７】
景色に対する角度及び／又は位置が、第１の画像を取得した後に第２の画像を取得するために変更されることを特徴とする請求項４３に記載の装置。
【請求項４８】
前記角度及び／又は位置は、フリーハンドで変更されることを特徴とする請求項４７に記載の装置。
【請求項４９】
バーストモードが、前記２次元情報を取得するのに使用されることを特徴とする請求項４３に記載の装置。
【請求項５０】
前記プロセッサは、歪み補正を実施することを特徴とする請求項４３に記載の装置。
【請求項５１】
前記２次元情報は、実深度マップを生成するのに使用されることを特徴とする請求項４３に記載の装置。
【請求項５２】
デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択されることを特徴とする請求項４３に記載の装置。
【請求項５３】
前記２次元情報は、１組の画像を含むことを特徴とする請求項４３に記載の装置。
【請求項５４】
前記センサは、電荷結合素子及び相補型金属酸化物半導体から成る群から選択されることを特徴とする請求項４３に記載の装置。
【請求項５５】
前記２次元情報は、圧縮、フォーマット設定、高解像度化、及び色強化を含む処理で処理されることを特徴とする請求項４３に記載の装置。
【請求項５６】
前記３次元情報は、立体フォーマットでローカルメモリに格納されることを特徴とする請求項４３に記載の装置。
【請求項５７】
前記立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度のうちの１つ又はそれよりも多くであることを特徴とする請求項５６に記載の装置。
【請求項５８】
前記ディスプレイは、２次元情報を表示することを特徴とする請求項４３に記載の装置。
【請求項５９】
前記３次元情報は、視聴補助具なしで視聴されることを特徴とする請求項４３に記載の装置。
【請求項６０】
視聴補助具が、前記３次元情報を見るのに必要であることを特徴とする請求項４３に記載の装置。
【請求項６１】
１つ又はそれよりも多くの他の装置と通信して前記３次元情報を送受信するための通信インタフェースを更に含むことを特徴とする請求項４３に記載の装置。
【請求項６２】
前記通信インタフェースは、無線で通信することを特徴とする請求項６１に記載の装置。
【請求項６３】
前記ディスプレイを制御するために前記プロセッサに結合された制御インタフェースを更に含むことを特徴とする請求項４３に記載の装置。
【請求項６４】
３次元情報を取得、生成、及び表示する方法であって、
ａ．２次元情報を取得する段階、
ｂ．前記２次元情報から深度マップを生成する段階、
ｃ．前記２次元情報及び前記深度マップから３次元情報を生成する段階、及び
ｄ．前記３次元情報を表示する段階、
を含むことを特徴とする方法。
【請求項６５】
前記３次元情報は、取得装置上のディスプレイ上に表示されることを特徴とする請求項６４に記載の方法。
【請求項６６】
前記３次元情報は、２次装置上のディスプレイ上に表示されることを特徴とする請求項６４に記載の方法。
【請求項６７】
前記３次元情報は、印刷することによって表示されることを特徴とする請求項６４に記載の方法。
【請求項６８】
前記２次元情報は、移動可能レンズ及び移動可能センサのうちの少なくとも一方を移動することによって取得されることを特徴とする請求項６４に記載の方法。
【請求項６９】
前記２次元情報は、ビームスプリッタ及び複数のセンサを用いて取得されることを特徴とする請求項６４に記載の方法。
【請求項７０】
前記２次元情報は、複数のレンズ及び複数のセンサを用いて取得されることを特徴とする請求項６４に記載の方法。
【請求項７１】
前記２次元情報は、異なる角度及び／又は位置から複数の写真を撮影することによって取得されることを特徴とする請求項６４に記載の方法。
【請求項７２】
前記複数の写真は、フリーハンドで撮影されることを特徴とする請求項７１に記載の方法。
【請求項７３】
前記複数の写真は、バーストモードを使用して撮影されることを特徴とする請求項７１に記載の方法。
【請求項７４】
前記２次元情報から前記３次元情報を生成するアプリケーションが利用されることを特徴とする請求項６４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、２次元／３次元（２Ｄ／３Ｄ）撮像の分野に関する。より具体的には、本発明は、２Ｄ／３Ｄ取得及び表示のための個人用電子装置に関する。
【背景技術】
【０００２】
３次元技術は、１世紀にわたって発展中であるが、一般的に平均的なユーザに対する複雑さ及び経費のために、一度もそれ自体を主流として確立できていない。家電及びコンピュータ業界において従来のブラウン管（ＣＲＴ）モニタ及びテレビジョンよりも３次元（３Ｄ）画像をレンダリングするのに良好に適する「液晶ディスプレイ（ＬＣＤ）」及び「プラズマ」画面の出現により、この技術に対する関心が高まっている。３Ｄシステムは、技術的な好奇心から進歩したものであり、現在では、娯楽、市販、及び科学的な用途のための実際的な取得及び表示システムになりつつある。関心が高まる中、多くのハードウエア会社及びソフトウエア会社は、３Ｄ製品に対して共同研究中である。
【０００３】
近年、「ＮＴＴ  ＤｏＣｏＭｏ」は、３Ｄ画像をレンダリングすることができるカラー画面を初めて特徴として有するシャープ製ムーバＳＨ２５１ｉＳ送受話器を公開した。単一のデジタルカメラにより、ユーザは、２次元（２Ｄ）画像を撮影し、次に、編集システムを使用して３Ｄに変換することができる。３Ｄ画像は、他の電話機に送られ、受信者は、受信者が同様の装備の送受話器を有する場合に３Ｄ画像を見ることができる。自動立体視システム上で３Ｄ画像を見るのに、特殊メガネは一切不要である。しかし、この技術に関していくつかの問題がある。高品質３Ｄ画像を見るためには、ユーザは、電話機の真前に、かつその画面から約１フィート離れて位置決めする必要がある。ユーザがその後に僅かに動いた場合、画像の焦点が合わないことになる。更に、利用するのはカメラ１台だけであるので、２Ｄ画像を撮影することしかできず、次に、３Ｄ編集器を通じて、画像は、３Ｄ画像に人工的に変えられる。従って、画像の品質が問題である。
【０００４】
２Ｄ画像から立体視画像を生成する１つの方法は、少なくとも１つの物体が元の画像内で特定され、１つ又は複数の物体が輪郭を描かれ、深度特性が物体毎に定められ、画像の選択区域が相応に変位されるようなＲｉｃｈａｒｄｓに付与された米国特許第６、４７７、２６７号で特許が取得されている。しかし、上述のように、２Ｄ画像を３Ｄ画像に変換することには、最も重要なものが得られる３Ｄ画像の品質であるいくつかの問題がある。
【０００５】
１台のカメラで２Ｄ画像を捕捉する代わりに、Ｇａｒｔｎｅｒ他に付与された米国特許第６、６６４、５３１号では、物体の視差効果を観測する２つのカメラを使用して１対の画像を捕捉する可能な構成が開示されている。次に、左眼は、この立体視画像の対の一方の画像を見ることになり、右眼は、他方の画像を見ることになる。人間の脳は、物体が３Ｄ画像として見られるように、簡単にこの対の画像を融合することができる。
【０００６】
２台のカメラで３Ｄ画像を取得する別の例は、少なくとも２つの可動式並列検出器ヘッドを有する３Ｄカメラを含むＭｏｎｔｇｏｍｅｒｙ他に付与された米国特許第６、５１２、８９２号に開示されている。
【０００７】
ＤｏＣｏＭｏ製品に対して説明されているように、ユーザは、３Ｄ画像を見ている間は本質的に静止したままでなければならず、そうでなければ、焦点がぼけてしまうことになる。このような問題の１つの理由は、画像がマルチ画像表示であるということである。マルチ画像表示は、単一の表示媒体に交互配置された異なる画像を含む。マルチ画像表示のもっとも簡単な実施においても、一連の左右画像の反復を含む。各連続画像間の距離は、視聴者の目の間の平均距離に等しい６５ｍｍである。しかし、視聴者の左又は右への移動距離が３２ｍｍを上回った場合、視聴者は、反転３Ｄ画像を見ることになる。反転３Ｄ画像は、見て不愉快なものであり、しばらくして頭痛及び苦痛を引き起こすことになる。
【０００８】
マルチ画像表示は、各々が６５ｍｍだけ離間したいくつかの画像を利用することによって改善することができる。いくつかの画像を用いて、視聴者は、頭を左又は右に移動することができ、かつ正しい画像を見ることになる。しかし、この技術に関する付加的な問題が存在する。必要とされるカメラの数が増加する。例えば、４つの視界を有するのに４台のカメラが必要である。また、数の組が反復するので、結果として反転３Ｄ画像になる位置が依然として存在することになり、それらが少ないだけである。反転画像は、反復する組の間に空又は黒フィールドを挿入することによって克服することができる。黒フィールドにより反転３Ｄの問題が取り除かれることになるが、次に、画像がもはや３Ｄではない位置が存在する。更に、必要とされる黒フィールドの数は、カメラの数が増加するほど必要とされる黒フィールドが少なくて済むように、利用されるカメラの数に反比例する。従って、マルチ画像表示には、視聴者が３Ｄ体験を楽しむために克服する必要があるいくつか問題が存在する。
【０００９】
３Ｄ画像を見るのに現在利用可能な広範な視聴器具が存在する。１つの形式は、視聴者の目の近くに保持されるレンズ、プリズム、又はミラーを必要とする視聴器具を含み、これは、一般的に特別なアイウェアを必要としない代替品ほど便利ではない。第２の形式は、レンズシステムを含み、これは、高解像度画像が望ましい場合に高品質画像表示に向けて生産に関連する精度の高さのために比較的製造し難くかつ製造経費が高い。更に、レンズシステムは、通常は、レンズアレイが装着される表示装置が本質的に可能である解像度よりも低い解像度を有する画像を呈示することになる。更に、レンズシステムは、コンピュータディスプレイ及びテレビジョンのような視聴システムに十分に適応しておらず、従って、普及していない。
【００１０】
第３の形式の３Ｄ画像視聴器具は、３Ｄ視聴のための視差障壁を含む。このシステムは、見られているか又は投影されている画像との様々な関係に置かれた不透明区画が散在する透明区画から成るグリッドであり、画像は、左画像から取れた領域（最終的に視聴者の左眼だけにより見られる）及び右画像から取られた領域（最終的に視聴者の右眼だけにより見られる）の散在する合成物であり、１つ又は複数のグリッドは、右画像の領域を左眼から隠し、左画像の領域を右眼から隠す位置に置かれ、その間、それぞれの眼で適切な画像から発生した領域を示すディスプレイの区画を見ることができる。このようなシステムにおいては、ディスプレイのほぼ半分には画像がない。
【００１１】
Ｋｌｅｉｎｂｅｒｇｅｒ他に付与された米国特許第６、２５２、７０７号に開示されている第４の形式の３Ｄ画像視聴器具は、眼鏡を使用しない視聴及びフルカラー平坦画面双眼立体視の投影のためのシステムを含む。光回転手段又は色フィルタの１つ又は複数の偏光層の様々な組合せを使用して、左右の画像を適切な左眼又は右眼に表示する。
【００１２】
マルチ画像表示に関して説明した問題を解決する１つの可能な選択肢は、追跡システムである。Ｒｉｃｈａｒｄｓに付与された米国特許第６、１６３、３３６号では、追跡システムを有する自動立体視表示システムが開示されている。Ｒｉｃｈａｒｄｓは、視聴者の位置を知っていて、画像が視聴者の正しい位置に対応するように表示画像の位置を移動させるようにディスプレイに命令することができる追跡システムを教示している。
【００１３】
別の問題は、写真の高周波成分を測定してこの測定結果が最大値に到達するまで焦点設定を変えることに基づいて機能する最新のデジタルカメラにおいて使用されている「パッシブオートフォーカス」システムである。このような方法は、速度が遅くかつ故障することが多い。Ｄｏｕｇｈｅｒｔｙに付与された米国特許第６、６１６、３４７号では、従来技術としてオートフォーカス用のいくつかの二重カメラシステムが開示されているが、いずれも、大きすぎて高価で重いことを含む問題がある。更に、２台のカメラから画像の各部分を整列させるのに困難があった。Ｓｚｅｌｉｓｋｉに付与された米国特許第６、６１１、２６８号では、カメラの少なくとも一方が景色の深度マップを推定するビデオカメラである２台のビデオカメラを利用することが開示されている。
【００１４】
更に、いくつかの無線手持ち式デジタルカメラが、Ｔｕｌｌｉｓに付与された米国特許第６、５３５、２４３号で開示するように存在するが、このような無線装置には３Ｄ機能がない。すなわち、更にこのような可能性を探求する必要性が存在する。
【００１５】
３Ｄ画像の投影も過去に開発されてきたが、その進歩が必要である。Ｋｌｅｉｎｂｅｒｇｅｒ他に付与された米国特許第６、２５２、７０７号では、特別なアイウェアを必要とせず画面上に３Ｄ画像を投影する２つの投影機を含む３Ｄ投影システムが開示されている。投影機は、映画映写機、テレビ映像機、コンピュータ駆動投影装置、スライド映写機、又は大きさが類似の一部の他の機器であり、従って、これらの投影機の大きさは、かなり大型である。
【００１６】
付加的な技術も開発されている。ディズニーは、デジタル投影機１つだけが必要である特殊技術を用いて３ＤでＣＧＩ映画を呈示する「ディズニーデジタル３Ｄ」と呼ばれるものを作り出した。
【００１７】
フィリップスは、異なる角度で人々が特別な視聴眼鏡がなくても画面を見ることができる２Ｄ画像及び３Ｄ画像を表示する自動立体視レンズＬＣＤモニタを開発した。フィリップスは、リアルタイムで３Ｄをレンダリングすることを可能にする携帯電話のための信号処理プロセッサも開発している。
【先行技術文献】
【特許文献】
【００１８】
【特許文献１】米国特許第６、４７７、２６７号
【特許文献２】米国特許第６、６６４、５３１号
【特許文献３】米国特許第６、５１２、８９２号
【特許文献４】米国特許第６、２５２、７０７号
【特許文献５】米国特許第６、１６３、３３６号
【特許文献６】米国特許第６、６１６、３４７号
【特許文献７】米国特許第６、６１１、２６８号
【特許文献８】米国特許第６、５３５、２４３号
【特許文献９】米国特許出願第１１／４７３、６９４号
【特許文献１０】米国特許出願第１１／３５７、６３１号
【特許文献１１】米国特許出願第１０／９１５、６４８号
【特許文献１２】米国特許仮出願出願番号第６０／５５４、６７３号
【発明の概要】
【課題を解決するための手段】
【００１９】
ユーザが単一の装置を使用して３Ｄ情報を捕捉することを可能にする２次元／３次元（２Ｄ／３Ｄ）デジタル取得及び表示装置。実施形態では、装置は、センサを有する単一の移動可能なレンズを有する。別の実施形態では、装置は、ビームスプリッタ及び複数のセンサと共に単一のレンズを有する。別の実施形態では、装置は、複数のレンズ及び複数のセンサを有する。更に別の実施形態では、装置は、付加的な３Ｄソフトウエアを有する標準的なデジタルカメラである。実施形態の全てにおいて、２Ｄ情報から生成される深度マップを用いて２Ｄ情報から３Ｄ情報を生成する。次に、３Ｄ情報は、装置上に表示するか、表示又は印刷されるように別の装置に送ることができる。
【００２０】
一態様では、デジタル画像装置は、レンズと、レンズを通して２次元情報を取得するように位置決めされたセンサと、２次元情報から３次元情報を計算するプロセッサと、プロセッサに結合された３次元情報を示すディスプレイとを含む。レンズ及びセンサの少なくとも一方は、移動可能である。２次元情報は、実深度マップを生成するのに使用される。デジタル画像装置は、デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択される。２次元情報は、１組の画像を含む。センサは、電荷結合素子及び相補型金属酸化物半導体から成る群から選択される。圧縮、フォーマット設定、高解像度化、色強化、及び歪み補正を含む処理で２次元情報が処理される。３次元情報は、立体フォーマットでローカルメモリに格納される。立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度の１つ又はそれよりも多くである。ディスプレイは、２次元情報を表示する。３次元情報は、視聴補助具なしで視聴される。代替的に、視聴補助具が、３次元情報を見るのに必要とされる。装置は、１つ又はそれよりも多くの他の装置と通信して３次元情報を送受信する通信インタフェースを更に含む。通信インタフェースは、無線で通信する。装置は、ディスプレイを制御するためのプロセッサに結合された制御インタフェースを更に含む。
【００２１】
別の態様では、デジタル画像装置は、レンズと、レンズの近くに位置決めされたビームスプリッタと、ビームスプリッタの近くに位置決めされた２次元情報を取得する複数のセンサと、複数のセンサに結合された２次元情報から３次元情報を計算するプロセッサと、プロセッサに結合された３次元情報を示すディスプレイとを含む。２次元情報は、実深度マップを生成するのに使用される。デジタル画像装置は、デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択される。２次元情報は、１組の画像を含む。複数のセンサの各々は、電荷結合素子及び相補型金属酸化物半導体から成る群から選択される。圧縮、フォーマット設定、高解像度化、色強化、及び歪み補正を含む処理で２次元情報が処理される。３次元情報は、立体フォーマットでローカルメモリに格納される。立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度の１つ又はそれよりも多くである。ディスプレイは、２次元情報を表示する。３次元情報は、視聴補助具なしで視聴される。代替的に、視聴補助具が、３次元情報を見るのに必要とされる。装置は、１つ又はそれよりも多くの他の装置と通信して３次元情報を送受信する通信インタフェースを更に含む。通信インタフェースは、無線で通信する。装置は、ディスプレイを制御するためのプロセッサに結合された制御インタフェースを更に含む。
【００２２】
別の態様では、デジタル画像装置は、第１のレンズと、第２のレンズと、第１のレンズを通して３次元情報を取得するように位置決めされた第１のセンサと、第２のレンズを通して３次元情報を取得するように位置決めされた第２のセンサと、第１のセンサ及び第２のセンサに結合された３次元情報を処理するプロセッサと、プロセッサに結合された３次元情報を示すディスプレイとを含む。デジタル画像装置は、デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択される。３次元情報は、１組の画像を含む。第１のセンサ及び第２のセンサの各々は、電荷結合素子及び相補型金属酸化物半導体から成る群から選択される。圧縮、フォーマット設定、高解像度化、色強化、及び歪み補正を含む３次元情報が処理される。３次元情報は、立体フォーマットでロールメモリに格納される。立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度の１つ又はそれよりも多くである。ディスプレイは、２次元情報を表示する。３次元情報は、視聴補助具なしで視聴される。代替的に、視聴補助具が、３次元情報を見るのに必要とされる。装置は、１つ又はそれよりも多くの他の装置と通信して３次元情報を送受信する通信インタフェースを更に含む。通信インタフェースは、無線で通信する。装置は、ディスプレイを制御するためのプロセッサに結合された制御インタフェースを更に含む。
【００２３】
別の態様では、デジタル画像装置は、レンズと、レンズを通して２次元情報を取得するように位置決めされたセンサと、２次元情報から３次元情報を計算するアプリケーションを実行するプロセッサと、プロセッサに結合された３次元情報を示すディスプレイとを含む。アプリケーションは、予めロードされる。代替的に、アプリケーションは、アド−オンとして利用可能である。複数の画像が、センサによって取得される。景色に対する角度及び／又は位置は、第１の画像を取得した後に第２の画像を取得するように変えられる。角度及び／又は位置は、フリーハンドで変えられる。バーストモードが、２次元情報を取得するのに使用される。プロセッサは、歪み補正を実施する。２次元情報は、実深度マップを生成するのに使用される。デジタル画像装置は、デジタルスチールカメラ及びデジタルビデオカメラから成る群から選択される。２次元情報は、１組の画像を含む。センサは、電荷結合素子及び相補型金属酸化物半導体から成る群から選択される。圧縮、フォーマット設定、高解像度化、及び色強化を含む処理で２次元情報が処理される。３次元情報は、立体フォーマットでローカルメモリに格納される。立体フォーマットは、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度の１つ又はそれよりも多くである。ディスプレイは、２次元情報を表示する。３次元情報は、視聴補助具なしで視聴される。代替的に、視聴補助具が、３次元情報を見るのに必要とされる。装置は、１つ又はそれよりも多くの他の装置と通信して３次元情報を送受信する通信インタフェースを更に含む。通信インタフェースは、無線で通信する。装置は、ディスプレイを制御するためのプロセッサに結合された制御インタフェースを更に含む。
【００２４】
更に別の態様では、３次元情報を取得、生成、及び表示する方法は、２次元情報を取得する段階と、２次元情報から深度マップを生成する段階と、２次元情報及び深度マップから３次元情報を生成する段階と、３次元情報を表示する段階とを含む。３次元情報は、取得装置上のディスプレイ上に表示される。代替的に、３次元情報は、２次装置上のディスプレイ上に表示される。代替的に、３次元情報は、印刷により表示される。２次元情報は、移動可能なレンズ及び移動可能なセンサのうちの少なくとも一方を移動させることによって取得される。代替的に、２次元情報は、ビームスプリッタ及び複数のセンサで取得される。代替的に、２次元情報は、複数のレンズ及び複数のセンサで取得される。代替的に、２次元情報は、異なる角度及び／又は位置から複数の写真を撮影することによって取得される。複数の写真は、フリーハンドで撮影される。複数の写真は、バーストモードを使用して撮影される。２次元情報から３次元情報を生成するアプリケーションが利用される。
【図面の簡単な説明】
【００２５】
【図１】２Ｄ／３Ｄ取得及び表示装置の実施形態のブロック図である。
【図２】２Ｄ／３Ｄ取得及び表示装置の実施形態のブロック図である。
【図３】２Ｄ／３Ｄ取得及び表示装置の実施形態のブロック図である。
【図４】２Ｄ／３Ｄ取得及び表示装置の実施形態のブロック図である。
【図５】２Ｄ／３Ｄ取得及び表示装置により実施される方法の流れ図である。
【図６】２Ｄ／３Ｄ取得及び表示装置により実施される方法の流れ図である。
【発明を実施するための形態】
【００２６】
２Ｄ／３Ｄ取得及び表示装置を本明細書で説明する。２Ｄ／３Ｄ取得及び表示装置により、ユーザは、２Ｄ情報を捕捉して３Ｄ画像のような３Ｄ情報に２Ｄ情報を変換する。２Ｄ／３Ｄ取得及び表示装置は、デジタルスチールカメラ（ＤＳＣ）又はデジタルビデオカメラとして実施されることが好ましい。
【００２７】
図１は、２Ｄ／３Ｄ取得及び表示装置の実施形態のブロック図を示している。２Ｄ／３Ｄ取得及び表示装置１００は、装置の適正な機能性を保証するいくつかの構成要素を含む。移動可能なレンズ１０２及びセンサ１０４は、２Ｄ情報を取得する処理において利用する。レンズ１０２は、本明細書では移動可能と説明しているが、一部の実施形態では、レンズ１０２及び／又はセンサ１０４が、移動可能である。センサ１０４は、「電荷結合素子（ＣＣＤ）」又はＣＭＯＳ画像装置のようなあらゆるデジタル画像センサとすることができる。移動可能なレンズ１０２は、複数の２Ｄ画像の捕捉を可能にするものであり、次に、引用により本明細書で組み込まれる２００６年６月２２日出願の「オートフォーカスにおいて利用される深度マップを生成する方法及び器具」という名称の米国特許出願第１１／４７３、６９４号に説明されているように、２Ｄ情報を使用して実深度マップが生成される。プロセッサ１０６は、好ましくは、２Ｄ情報から実深度マップを生成する。深度マップは、オートフォーカスに利用することができる。深度マップは、実深度マップであり、その理由は、被写体が真にどのくらい近くに又は遠くにあるのかを判断するのに十分な得られた画像に基づく情報があるからである。また、プロセッサ１０６を利用して、更に、圧縮、フォーマット設定、２Ｄ情報及び実深度マップからの３Ｄ情報の生成、高解像度化、色強化、歪み補正、及び最終的には２Ｄ情報及び３Ｄ情報の格納及びローカルメモリ１０８内での格納を含む２Ｄ情報の処理が行われる。２Ｄ情報及び実深度マップから３Ｄ情報を生成する際に、ソフトウエア及び／又は付加的なハードウエアも利用する。３Ｄ情報は、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度を含むがこれらに限定されない様々なフォーマットの１つ又はそれよりも多くで格納される。
【００２８】
送信機１１０は、１つ又はそれよりも多くの他の電子装置、例えば、ディスプレイに３Ｄ情報を送信するために任意的に利用可能であり、受信機１１２は、別の電子装置から３Ｄ情報を受信するために任意的に含まれる。３Ｄ情報は、有線送信、無線送信、赤外線送信、無線周波数送信、セルラー送信、及び衛星送信を含むがこれらの限定されないあらゆる適切な手段により電子装置に送信される。ディスプレイが３Ｄ情報を表示する多くの可能性がある。１つのディスプレイは、３Ｄ自動立体視表示又は２Ｄ表示として使用される視差障壁技術を利用する。視差障壁は、ピクセル平面から定められた距離で等間隔に配置されたスリットのアレイを含む。窓にわたる強度分布は、詳細なピクセル構造及び結果として窓平面での強度変動になるスリット開口を通じた近接場回折の畳み込みとしてモデル化される。更に、視差障壁は、高度な精度でＬＣＤに整列する必要がある。視差障壁は、２Ｄと３Ｄ間での変換を可能にするように透明であるようにすることができる。
【００２９】
別の表示装置は、レンズ要素を利用して３Ｄ情報を表示する。レンズ要素は、一般的に、ＬＣＤのような２Ｄ表示に対して垂直に配列される円筒形レンズである。円筒形レンズは、ディスプレイの前で限定された角度でのみピクセルが見られるようにピクセルから拡散光を誘導する。従って、異なるピクセルは、左又は右の視野角に誘導される。２Ｄ／３Ｄスイッチング拡散器は、視聴者が２Ｄと３Ｄ間で切り換えることを可能にするようにレンズ要素の正面に結合される。２Ｄ／３Ｄスイッチング拡散器は、オフの時に光を散乱させて、光がレンズ状レンズに到達することを防止し、それによって結果として通常の２Ｄと類似した性能が得られる。
【００３０】
別の表示装置は、視差要素として垂直配向マイクロプリズムのアレイを使用することを含み、左及び右の画像（垂直方向に縦列にインターレース）は、マイクロプリズムにより２つの視聴窓に誘導される。
【００３１】
別の表示装置は、一連の積層マイクロ偏光要素を使用して切換可能な視差障壁を生成することを含み、マイクロ偏光要素は、一般的な視差に関する問題を回避するためにＬＣＤ要素の内側に製造される。
【００３２】
別の表示装置は、立体視表示が自動立体視表示ではない３Ｄ情報を見る着色眼鏡、偏光眼鏡、又はスイッチング眼鏡のような視聴補助具を組み込んでいる。
【００３３】
更に別の表示装置は、偏光を用いるビームスプリッタを利用して、左眼立体像及び右眼立体像を分離して適切な画像を適切な目に誘導することを含む。２Ｄ／３Ｄ取得及び表示装置１００は、別の装置に３Ｄ情報を送信することができることに加えて、格納された３Ｄ情報を表示するディスプレイ１１６を含む。ディスプレイ１１６は、３Ｄ情報を表示する様々な適切かつ利用可能な３Ｄ表示技術の１つ又はそれよりも多くも含む。ディスプレイ１１６は、２Ｄ／３Ｄ取得及び表示装置１００に内蔵されることが好ましい。ディスプレイ１１６は、ユーザが希望する次元で画像又は映像を見ることができるように、２Ｄ表示と３Ｄ表示間で切り換えることができることが好ましい。上述のように、２Ｄ／３Ｄ取得及び表示装置１００内に組み込むことができる多くの形式の利用可能な３Ｄディスプレイがある。２Ｄ／３Ｄ取得及び表示装置１００は、ディスプレイが適切なサイズであるように標準的なデジタルカメラ及びビデオカメラに比する携帯用サイズであることが好ましい。上記から、２Ｄ／３Ｄ取得及び表示装置１００内に含まれる一部の形式のディスプレイは、自動立体視ディスプレイ及び特殊眼鏡を利用するディスプレイである。
【００３４】
３Ｄ情報が電子ディスプレイ上に表示されることに加えて、３Ｄ情報は、３Ｄ視聴に向けて印刷することができる。
【００３５】
制御インタフェース１１４は、視聴者が設定及び他の特徴を含む電子装置１００のいくつかの態様を制御することを可能にするために任意的に利用される。制御インタフェース１１４は、ハードウエア及び／又はソフトウエアに実施される。電源１１８は、２Ｄ／３Ｄ取得及び表示装置１００に電力を供給する。２Ｄ／３Ｄ取得及び表示装置１００の構成要素は、共同で、ユーザが２Ｄ／３Ｄ情報を取得して、任意的に、別の装置に２Ｄ／３Ｄ情報を送信して２Ｄ／３Ｄ情報を表示することを可能にする。
【００３６】
図２は、２Ｄ／３Ｄ取得及び表示装置２００の実施形態のブロック図を示している。２Ｄ／３Ｄ取得及び表示装置２００は、装置の適正な機能性を保証するいくつかの構成要素を含む。レンズ２０２は、各画像のぼけが異なるように異なる深度での画像の複数のコピーを含む２Ｄ情報を取得するために、ビームスプリッタ２０４、第１のセンサ２０６、及び第２のセンサ２０８と共に使用される。第１及び第２のセンサ２０６及び２０８は、ＣＣＤ又はＣＭＯＳ画像装置などのあらゆるデジタル画像センサとすることができる。図２に示すように、第１のセンサ２０６は、ビームスプリッタ２０４から距離ｄ１を隔てており、第２のセンサ２０８は、ビームスプリッタから距離ｄ２を隔てており、ここで、ｄ１及びｄ２は、等しくない。２つの異なるぼけの量で画像を捕捉することによって、引用により本明細書で組み込まれる米国２００６年２月１６日出願の「複数のぼけた画像を捕捉及び生成する方法及び器具」という名称の米国特許出願第１１／３５７、６３１号に説明されているように、実深度マップを生成することができる。プロセッサ２１０は、２Ｄ情報から実深度マップを生成することが好ましい。深度マップは、オートフォーカスに利用することができる。プロセッサ２１０は、圧縮、フォーマット設定、２Ｄ情報及び実深度マップからの３Ｄ情報の生成、高解像度化、色強化、歪み補正、及び最終的には２Ｄ情報及び３Ｄ情報の格納及びローカルメモリ２１２内での格納を更に含め、２Ｄ情報を処理するようにも構成される。２Ｄ情報及び実深度マップから３Ｄ情報を生成する際にソフトウエア及び／又は付加的なハードウエアも利用する。３Ｄ情報は、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度を含むがこれらに限定されない様々なフォーマットの１つ又はそれよりも多くで格納される。
【００３７】
送信機２１４は、１つ又はそれよりも多くの他の電子装置に３Ｄ情報を送信するために任意的に利用可能であり、受信機２１６は、別の電子装置から３Ｄ情報を受信するために任意的に含まれる。上述のように、他の電子装置は、様々な方法で３Ｄ情報を表示するディスプレイであるか、又は様々な方法で３Ｄ情報を表示するディスプレイを有することができる。更に、３Ｄ情報は、有線送信、無線送信、赤外線送信、無線周波数送信、セルラー送信、及び衛星送信を含むがこれらの限定されないあらゆる適切な手段により電子装置に送信される。
【００３８】
２Ｄ／３Ｄ取得及び表示装置２００は、別の装置に３Ｄ情報を送信することに加えて、格納された３Ｄ情報を表示するディスプレイ２２０を含む。上述のように、ディスプレイ２２０は、３Ｄ情報を表示する様々な適切かつ利用可能な３Ｄ表示技術の１つ又はそれよりも多くも含む。制御インタフェース２１８は、視聴者が設定及び他の特徴を含む電子装置２００のいくつかの態様を制御することを可能にするために任意的に利用される。電源２２２は、２Ｄ／３Ｄ取得及び表示装置２００に電力を供給する。２Ｄ／３Ｄ取得及び表示装置２００の構成要素は、共同で、ユーザが２Ｄ／３Ｄ情報を取得して、任意的に、別の装置に２Ｄ／３Ｄ情報を送信して２Ｄ／３Ｄ情報を表示することを可能にする。
【００３９】
３Ｄ情報が電子ディスプレイ上に表示されることに加えて、３Ｄ情報は、３Ｄ視聴に向けて印刷することができる。
【００４０】
図３は、複数のレンズ３００を有する２Ｄ／３Ｄ取得及び表示装置の実施形態のブロック図を示している。複数のレンズ３００を有する２Ｄ／３Ｄ取得及び表示装置１００は、２００４年８月９日出願の「個人用電子装置のための３次元取得及び視覚化システム」いう名称の米国特許出願第１０／９１５、６４８号と類似のものであり、この特許は、引用により本明細書で組み込まれ、かつ２００４年３月１８日出願の「個人用電子装置のための３次元取得及び視覚化システム」という名称の米国特許仮出願出願番号第６０／５５４、６７３号の「３５Ｕ．Ｓ．Ｃ．§１１９（ｅ）」に基づく優先権を請求するものであり、この特許は、引用により本明細書で組み込まれる。複数のレンズ３００を有する２Ｄ／３Ｄ取得及び表示装置２００は、装置の適正な機能性を保証するいくつかの構成要素を含む。第１のレンズ３０２及び第２のレンズ３０４は、互いにほぼ平行に位置し、かつ１組の２Ｄ／３Ｄ画像情報を同時に取得する処理において利用される。立体対画像が２Ｄ／３Ｄ情報において取得されるので、２Ｄ／３Ｄ情報は、３Ｄ情報と考えることができる。第１のセンサ３０６及び第２のセンサ３０８は、適切に２Ｄ／３Ｄ画像情報を受信するために、それぞれ、第１のレンズ３０２及び第２のレンズ３０４の近くに位置決めされる。センサ３０２及び３０４に結合されたプロセッサ３１０は、必要に応じて、実深度マップを生成するのに使用される。深度マップは、オートフォーカスに利用することができる。しかし、２Ｄ／３Ｄ情報が立体対画像を含むので、実深度マップは生成する必要はない。立体対画像は、３Ｄ情報である。プロセッサ３１０は、圧縮、フォーマット設定、必要に応じて２Ｄ情報及び実深度マップからの３Ｄ情報の生成、高解像度化、色強化、歪み補正、及び最終的には２Ｄ情報及び３Ｄ情報の格納及びローカルメモリ２１２内での格納を含む２Ｄ情報を処理するためにも利用される。２Ｄ情報及び実深度マップから３Ｄ情報を生成する際にソフトウエア及び／又は付加的なハードウエアも利用する。３Ｄ情報は、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度を含むがこれらに限定されない様々なフォーマットの１つ又はそれよりも多くで格納される。
【００４１】
送信機３１４は、１つ又はそれよりも多くの他の電子装置に３Ｄ情報を送信するために任意的に利用可能である。受信機３１６は、別の電子装置から３Ｄ情報を受信するために任意的に含まれる。上述のように、他の電子装置は、様々な技術を用いて３Ｄ情報を表示するディスプレイであるか、又は様々な技術を用いて３Ｄ情報を表示するディスプレイを有することができる。更に、３Ｄ情報は、有線送信、無線送信、赤外線送信、無線周波数送信、セルラー送信、及び衛星送信を含むがこれらの限定されないあらゆる適切な手段により電子装置に送信される。
【００４２】
複数のレンズ３００を有する２Ｄ／３Ｄ取得及び表示装置は、別の装置に３Ｄ情報を送信することに加えて、格納された３Ｄ情報を表示するディスプレイ３２０を含む。上述のように、ディスプレイ３２０は、３Ｄ情報を表示する様々な適切かつ利用可能な３Ｄ表示技術の１つ又はそれよりも多くも含む。制御インタフェース３１８は、視聴者が設定及び他の特徴を含む電子装置２００のいくつかの態様を制御することを可能にするために任意的に利用される。電源３２２は、複数のレンズ３００を有する２Ｄ／３Ｄ取得及び表示装置に電力を供給する。複数のレンズ３００を有する２Ｄ／３Ｄ取得及び表示装置内の３Ｄ取得及び視覚化装置の構成要素は、共同で、ユーザが２Ｄ／３Ｄ情報を取得し、別の装置に２Ｄ／３Ｄ情報を送信して２Ｄ／３Ｄ情報を表示することを可能にする。
【００４３】
３Ｄ情報が電子ディスプレイ上に表示されることに加えて、３Ｄ情報は、３Ｄ視聴に向けて印刷することができる。
【００４４】
図４は、２Ｄ／３Ｄ取得及び表示装置４００の実施形態のブロック図を示している。２Ｄ／３Ｄ取得及び表示装置４００は、カメラ上に取り込まれた専用の２Ｄから３Ｄへの変換アプリケーションを有する標準的なデジタルカメラである。カメラは、予めロードされるか又はアド−オンとして利用可能であるアプリケーションを有することができる。移動可能なレンズ４０２及びセンサ４０４は、２Ｄ情報を取得する処理において利用する。この実施形態では、２Ｄ／３Ｄ取得及び表示装置４００は、取得された２Ｄ画像を３Ｄ画像に変換する変換アプリケーションを利用する。ユーザが１つの画像を撮影し、次に、２Ｄ／３Ｄ取得及び表示装置４００を異なる位置に移動させて被写体／景色の第２の画像を撮影することにより、複数の画像が撮影される。ユーザは、数ミリメートル又は数フィートだけ２Ｄ／３Ｄ取得及び表示装置４００を移動させて、異なる角度及び／又は位置で画像を取得することができる。更に、ユーザは、フリーハンドで２Ｄ／３Ｄ取得及び表示装置４００を移動させることができ、これは、ユーザが複数の画像を撮影するために専用設定を必要としないことを意味する。複数の画像を撮影する別の方法は、２Ｄ／３Ｄ取得及び表示装置４００内で多くの画像が短い時間量で捕捉されるバーストモードを使用することである。複数の画像がセンサ４０４によって取得された後、プロセッサ４０６が、各画像の２Ｄ情報を処理するために追加アプリケーションと共に利用される。処理には、実深度マップの判断、圧縮、フォーマット設定、２Ｄ情報及び実深度マップからの３Ｄ情報の生成、及び最終的にはローカルメモリ４０８内の格納がある。２Ｄ情報が立体対画像を含むので、従って、２Ｄ情報は、実深度マップが必要でなく、かつ３Ｄ情報が単に立体対画像であるように３Ｄ情報として処理することができる。処理には、高解像度化及び色強化を含むこともできる。３Ｄ情報は、上方−下方、ライン交替、並列、サイバースコープ、つぶれた並列、ＪＰＳ立体視ＪＰＥＧ、及び２Ｄプラス深度を含むがこれらに限定されない様々なフォーマットの１つ又はそれよりも多くで格納される。アプリケーションは、歪みを補正することができる。
【００４５】
送信機４１０は、１つ又はそれよりも多くの他の電子装置に３Ｄ情報を送信するために任意的に利用可能である。受信機４１２は、別の電子装置から３Ｄ情報を受信するために任意的に含まれる。上述のように、他の電子装置は、様々な技術を用いて３Ｄ情報を表示するディスプレイであるか、又は様々な技術を用いて３Ｄ情報を表示するディスプレイを有することができる。更に、３Ｄ情報は、有線送信、無線送信、赤外線送信、無線周波数送信、セルラー送信、及び衛星送信を含むがこれらの限定されないあらゆる適切な手段により電子装置に送信される。
【００４６】
２Ｄ／３Ｄ取得及び表示装置４００は、別の装置に３Ｄ情報を送信することに加えて、格納された３Ｄ情報を表示するディスプレイ４１６を含む。上述のように、ディスプレイ４１６は、３Ｄ情報を表示する様々な適切かつ利用可能な３Ｄ表示技術の１つ又はそれよりも多くも含む。制御インタフェース４１４は、視聴者が設定及び他の特徴を含む２Ｄ／３Ｄ取得及び表示装置４００のいくつかの態様を制御することを可能にするために任意的に利用される。電源４１８は、２Ｄ／３Ｄ取得及び表示装置４００に電力を供給する。２Ｄ／３Ｄ取得及び表示装置４００の構成要素は、共同で、ユーザが２Ｄ／３Ｄ情報を取得して、任意的に、別の装置に２Ｄ／３Ｄ情報を送信して２Ｄ／３Ｄ情報を表示することを可能にする。
【００４７】
図５は、２Ｄ／３Ｄ取得及び表示装置により実施される処理の流れ図を示している。段階５００において、２Ｄ情報を取得する。２Ｄ情報は、画像及び／又は映像を含む。更に、２Ｄ情報は、多くの方法で得られる。一実施形態では、センサを有する移動可能なレンズは、異なるぼけを有する２Ｄ情報を取得する。別の実施形態では、ビームスプリッタは、画像から異なる距離にある２つのセンサへ向かうように画像信号を分割し、その場合、ぼけは、取得された画像毎に異なる。別の実施形態では、複数のレンズ及びセンサを使用して、同時に異なる角度及び／又は位置から２Ｄ情報を取得する。更に別の実施形態では、標準的なデジタルカメラを使用して２Ｄ情報を取得する。取得した状態で、プロセッサは、２Ｄ情報を処理し、段階５０２において実深度マップを生成する。深度マップは、オートフォーカスに利用することができる。上述のように、２Ｄ情報を処理することは、付加的なハードウエア及び／又はソフトウエアを利用することを含む。２Ｄ情報が取得される方法に基づいて、異なる形式の処理を実施して３Ｄ情報を適正に計算する。次に、段階５０４において、プロセッサは、深度マップを用いて２Ｄ情報を３Ｄ情報に変換する。一部の実施形態では、アプリケーションを使用して２Ｄ情報を３Ｄ情報に変換する。次に、段階５０６において、２Ｄ／３Ｄ取得及び表示装置上で３Ｄ情報を視聴者に表示する。段階５０８において、ユーザが別の表示装置に３Ｄ情報を送信して３Ｄ情報を表示したいと思っているかを判断する。ユーザが３Ｄ情報を送信したいと思っている場合、段階５１０において、３Ｄ情報を送信して別のディスプレイ上に表示する。段階５１２において、ユーザが３Ｄ情報を印刷したいと思っているかを判断する。ユーザが３Ｄ情報を印刷したいと思っている場合、段階５１４において３Ｄ情報を印刷する。
【００４８】
図６は、２Ｄ／３Ｄ取得及び表示装置により実施される処理の流れ図を示している。段階６００において、３Ｄ情報を取得する。３Ｄ情報は、画像及び／又は映像を含む。更に、３Ｄ情報は、多くの方法で取得される。一別の実施形態では、複数のレンズ及びセンサを使用して、同時に異なる角度及び／又は位置から３Ｄ情報を取得する。別の実施形態では、標準的なデジタルカメラを使用して異なる角度及び／又は位置から同じ被写体／景色の２つの別々の画像を撮影することによって３Ｄ情報を取得する。３Ｄ情報は、立体対画像を含む。取得した状態で、段階６０２において、プロセッサは、３Ｄ情報を処理する。上述のように、３Ｄ情報を処理することは、必要であれば付加的なハードウエア及び／又はソフトウエアを利用することを含む。次に、段階６０４において、２Ｄ／３Ｄ取得及び表示装置上で３Ｄ情報を視聴者に表示する。段階６０６において、ユーザが別の表示装置に３Ｄ情報を送信して３Ｄ情報を表示したいと思っているかを判断する。ユーザが３Ｄ情報を送信したいと思っている場合、段階６０８において、３Ｄ情報を送信して別のディスプレイ上に表示する。段階６１０において、ユーザが３Ｄ情報を印刷したいかを判断する。ユーザが３Ｄ情報を印刷したいと思っている場合、段階６１２において３Ｄ情報を印刷する。
【００４９】
２Ｄ／３Ｄ取得及び表示装置を利用するために、この装置は、標準的なデジタルカメラ又はデジタルビデオカメラを使用するのと同様に使用される。しかし、一部の実施形態では、その使用法は若干異なる。装置がセンサと共に単一の移動可能なレンズを有する実施形態では、装置は、深度マップを判断するためにセンサを若干移動させた状態で迅速に連続的に複数の画像を取得する。装置がビームスプリッタ及び複数のセンサと共に単レンズを有する実施形態では、複数のぼけを有する単一の画像を取得して深度マップを生成する。複数のレンズ及び複数のセンサを有する実施形態では、レンズとセンサの組合せ毎に画像は同時に取得されて深度マップを判断する。従って、これらの実施形態の全てにおいて、画像又は映像を撮影する時に、ユーザは、おおむね差を受けない。装置が付加的な３Ｄソフトウエアを有する標準的なデジタルカメラである実施形態では、ユーザは、使用される２つ又はそれよりも多い写真を撮影して深度マップ及び３Ｄ画像を生成することが必要である。従って、この実施形態では、１つの３Ｄ画像に対して、２つの写真を撮影すべきである。バーストモードの実行で、迅速に２つの写真を撮影することができ、従って、ユーザは、あまり差を受けない。ユーザが必要な１つ又は複数の写真を撮影した後、その画像は、ユーザの選択によって２Ｄ又は３Ｄで表示することができる。３Ｄにおいては、特定の技術的な実施に基づいて、ユーザは、画像を見る際に小さな差を受ける場合があり、例えば、一部の３Ｄ表示では、ストレート−オン視聴が必要である。そうでなければ、画像は、単にぼやけて見えることになる。一般的に、ユーザは、標準的なデジタルカメラ又はビデオカメラと同様にディスプレイ上の画像を見る。
【００５０】
作動面では、２Ｄ／３Ｄ取得及び表示装置は、デジタルカメラ又はデジタルビデオカメラと略同様に機能する。一般的に、上述の様々な実施形態は、同様に機能する。ユーザは、２Ｄ／３Ｄ取得及び表示装置を使用して１つ又は複数の写真を撮影し、装置は、次に、写真データから実深度マップを生成し、次に、実深度マップを使用して３Ｄ画像を生成する。３Ｄ画像は、次に、装置上で表示するか、別の表示装置へ転送するか、又は印刷することができる。様々な実施形態の差は、どのようにして２Ｄ情報を取得するか、及びどのようにして３Ｄ情報に変換するかである。一実施形態では、単一の移動可能なレンズをセンサと共に使用する。別の実施形態では、単レンズをビームスプリッタ及び２つのセンサと共に使用する。別の実施形態は、複数のレンズ及び複数のセンサを使用する。最後に、一実施形態は、ハードウエア変更なしで標準的なデジタルカメラを使用し、ソフトウエアを利用して２Ｄ情報を３Ｄ情報に変換する。３Ｄ情報が形成された後、ディスプレイの多くの実施例のいずれかを使用して、ユーザに３Ｄ情報を表示することができる。
【００５１】
本発明は、本発明の構成と作動の原理の理解を深めるように細部を組み込んだ特定的な実施形態に関して説明した。特定的な実施形態及びその詳細への本明細書でのそのような言及は、本明細書に添付された特許請求の範囲を限定することを意図したものではない。特許請求の範囲によって定められるような本発明の精神及び範囲から逸脱することなく、例示のために選択した実施形態に他の様々な修正を行うことができることは当業者に容易に明らかであろう。
【符号の説明】
【００５２】
１００  ２Ｄ／３Ｄ取得及び表示装置
１０２  レンズ
１０４  センサ
【図１】
2010522475.tif 000003
【図２】
2010522475.tif 000004
【図３】
2010522475.tif 000005
【図４】
2010522475.tif 000006
【図５】
2010522475.tif 000007
【図６】
2010522475.tif 000008
【国際調査報告】
2010522475.tif 000009