(57)【要約】【解決手段】装置は、筺体と、凹面パノラマ反射鏡と、筺体に対して、凹面パノラマ反射鏡を定位置に保持するように構成された支持構造と、コンピュータデバイスに対して、一定の向きに筺体を配置させ、凹面パノラマ反射鏡により反射された光が、前記コンピュータデバイス内の光センサに向かうようにする装着デバイスと、を備える。【参考図】１Ａ
2014517569.tif 000002
【特許請求の範囲】
【請求項１】
筺体と、
凹面パノラマ反射鏡と、
前記筺体に対して、前記凹面パノラマ反射鏡を定位置に保持するように構成された支持構造と、
コンピュータデバイスに対して、一定の向きに前記筺体を配置させて、前記凹面パノラマ反射鏡で反射された光が、前記コンピュータデバイス内の光センサに向くようにする装着デバイスと、
を備える装置。
【請求項２】
前記凹面パノラマ反射鏡の一部は、前記筺体の外側に配置され、前記筺体の端部から軸方向にずれており、前記凹面パノラマ反射鏡の縁と前記筺体の端部との間に、開口が形成される、請求項１に記載の装置。
【請求項３】
前記凹面パノラマ反射鏡の形状が、垂直視野を定める、請求項２に記載の装置。
【請求項４】
前記凹面パノラマ反射鏡から前記光センサへ光を反射するように配置された鏡を更に備える、請求項１に記載の装置。
【請求項５】
前記鏡は、前記コンピュータデバイスのカメラの視野を包含する大きさにされる、請求項４に記載の装置。
【請求項６】
前記筺体の少なくとも一部は、略円錐台形状を有する、請求項１に記載の装置。
【請求項７】
前記支持構造は、前記筺体内にて、前記筺体の軸に対して直角な平面に配置される透明部材と、
前記凹面パノラマ反射鏡に結合されるポストを受け入れるように構成された中央開口と、を備える、請求項１に記載の装置。
【請求項８】
前記装着デバイスは、前記携帯コンピュータ用ケースを備え、
前記ケースは、前記筺体に結合するように構成されている、請求項１に記載の装置。
【請求項９】
前記ケースは、前記筺体の略長円形の突出部と締嵌めするように構成された長円形の開口を含む、請求項８に記載の装置。
【請求項１０】
前記ケースは、前記筺体のキー突出部を受け入れるように構成されているキー開口を含む、請求項８に記載の装置。
【請求項１１】
前記ケースは、前記筺体の突出部を受けるように構成された差込開口を含む、請求項８に記載の装置。
【請求項１２】
前記ケースは、前記筺体の磁石と結合するように構成された磁石を含む、請求項８に記載の装置。
【請求項１３】
前記ケースは、前記筺体の位置決め隆起部を受けるように構成された位置決め壁を含む、請求項８に記載の装置。
【請求項１４】
前記ケースは、前記筺体の翼付突出部を受けるように構成された開口を含む、請求項８に記載の装置。
【請求項１５】
前記ケースは、前記筺体の複数のピンを受け入れるように構成された複数の開口を含む、請求項８に記載の装置。
【請求項１６】
前記ケースは、前記携帯コンピュータデバイスの画面の外側端部に沿ったはす縁を掴むように構成されたリップを含む、請求項８に記載の装置。
【請求項１７】
前記リップは、前記携帯コンピュータデバイスの背面に引っ張るように前記ケースの背面を保持する、請求項１６に記載の装置。
【請求項１８】
前記ケースは、前記携帯コンピュータデバイス上を摺動する２つの部分を含む、請求項８に記載の装置。
【請求項１９】
前記２つの部分は、一対の平行で角がある面で連結されており、前記携帯コンピュータデバイス上を摺動して互いに押圧されると締嵌めをする、請求項１８に記載の装置。
【請求項２０】
前記ケースは、前記筺体の突出部を受けるように構成されており、前記突出部が、カメラの開口に隣接した位置に摺動するのを可能とする開口を含んでいる、請求項８に記載の装置。
【請求項２１】
前記凹面パノラマ反射鏡は、以下の式の１つによって規定される形状を有し、
【数４】
2014517569.tif 000006
Ａは、光線ｒＯの向きと、前記カメラ軸に対して平行なラインとの間の角度であって、ラジアンであり、
Ｒｃｓは、前記カメラ軸と、光線ｒＯを反射する前記鏡との間の角度であって、ラジアンであり、
Ｒｃｅは、前記カメラ軸と、前記鏡の端部との間の角度であって、ラジアンであり、
ｒＯは、内径であって、ミリメートルであり、
αは、ゲイン因子であり、
θは、前記カメラ軸と、反射された光線ｒとの間の角度であって、ラジアンであり、
ｋは、前記第１の式のαから規定される、請求項１に記載の装置。
【請求項２２】
コンピュータデバイスでパノラマ画像データを受け取る工程と、
前記パノラマ画像の一部をリアルタイムで見る工程と、
ユーザ入力及び／又は前記コンピュータデバイスの向きに対応して、視像の領域を変更する工程と、を含む方法。
【請求項２３】
前記ユーザ入力は、タッチによるパン、チルト、及び／又はズームを含む、請求項２２に記載の方法。
【請求項２４】
ユーザのタッチの接触開始点が、パン／チルト座標にマップされて、ドラックの間、パン／チルト調整量が計算されて、ユーザの指の下のパン／チルト座標が維持される、請求項２３に記載の方法。
【請求項２５】
前記コンピュータデバイスの向きが、パン、チルト、及び／又は向きに基づくロール補正を実施するために用いられる、請求項２２の方法。
【請求項２６】
前記ユーザ入力及び向き入力は、累積的に処理される、請求項２２に記載の方法。
【請求項２７】
タッチによるズームについて、ユーザのタッチによる２つの接触点が、パン／チルト座標にマップされて、角度の測値が、パン／チルト座標から、２本の接触している指の間の角度を表すために計算される、請求項２３に記載の方法。
【請求項２８】
ズームをシミュレートする視野は、ユーザがピンチイン又はピンチアウトすると調節され、動的な変化する指の位置を、初期の角度測値に合わせる、請求項２７に記載の方法。
【請求項２９】
前記２つの接触点をピンチインすることで、ズームアウト効果が生じる、請求項２７に記載の方法。
【請求項３０】
向きによるパンは、前記コンピュータデバイスのコンパスセンサで得られるコンパスデータに基づく、請求項２２に記載の方法。
【請求項３１】
記録されたコンパスデータが利用できるケースにて、ライブコンパスデータが、記録されているコンパスデータと比較される、請求項３０に記載の方法。
【請求項３２】
恣意的な北の値が、記録されている媒体にマップされる、請求項３０に記載の方法。
【請求項３３】
ジャイロスコープデータが、恣意的な北の値にマップされて、シミュレートされたコンパス入力が提供される、請求項３０に記載の方法。
【請求項３４】
ジャイロスコープデータが、周期的な又は１回の初期オフセットとして、コンパス位置に同期される、請求項３０に記載の方法。
【請求項３５】
前記パノラマ画像の異なる部分が、初期位置のコンパスデータに対するコンパス方向データの変化により決定されて表示される、請求項２２に記載の方法。
【請求項３６】
向きによるチルトは、加速度計データに基づく、請求項２２に記載の方法。
【請求項３７】
重力ベクトルが、前記コンピュータデバイスに対して決定される、請求項３６に記載の方法。
【請求項３８】
前記コンピュータデバイスのディスプレイ面に沿った前記コンピュータデバイスに対する前記重力ベクトルの角度が、前記デバイスのチルト角度と一致する、請求項３７に記載の方法。
【請求項３９】
チルトデータが、記録されている媒体のチルトデータに対して、マップされる、請求項３８に記載の方法。
【請求項４０】
恣意的な水平値が、記録されている媒体にマップされる、請求項３８に記載の方法。
【請求項４１】
表示されるべき前記画像の一部は、初期の位置データに対する垂直方向データの変化によって決定される、請求項２２に記載の方法。
【請求項４２】
タッチによる入力が、向き入力と組み合わされ、前記タッチによる入力は、前記向き入力にオフセットとして加えられる、請求項２２に記載の方法。
【請求項４３】
ジャイロスコープデータが、シミュレートされた重力ベクトル入力に与えられた恣意的な水平値にマップされる、請求項２２に記載の方法。
【請求項４４】
ジャイロスコープデータが、周期的又は１回の初期オフセットとして、重力ベクトルと同期される、請求項４３に記載の方法。
【請求項４５】
自動ロール補正が、前記コンピュータデバイスのディスプレイの垂直軸と、前記コンピュータデバイスの加速度計の重力ベクトルとの間の角度として計算される、請求項２２に記載の方法。
【請求項４６】
前記ディスプレイは、カメラとパノラマ光学デバイスの組合せによって、キャプチャされた前記パノラマ画像のチルトされた部分を示す、請求項２２に記載の方法。
【請求項４７】
表示されるべき前記画像の領域は、初期重力ベクトルに対する垂直方向データの変化により決定される、請求項２２に記載の方法。
【請求項４８】
対象物の動きを検出し、追跡して、前記対象物の後に続く領域を表示する工程を更に含む、請求項２２に記載の方法。
【請求項４９】
複数のコンピュータデバイスからの１つのライブイベントにおける複数の眺めを提供する工程を更に含む、請求項４４に記載の方法。
【請求項５０】
現在又は従前の時間の何れかにおける前記複数のコンピュータデバイスからの画像データを表示する工程を更に含む、請求項４９に記載の方法。
【請求項５１】
カメラに光を反射するように構成されたパノラマ光学デバイスと、
前記カメラからの画像データを処理して、描画画像を生成するコンピュータデバイスと、
前記描画画像の少なくとも一部を表示するディスプレイと、
を備えており、
表示画像が、ユーザの入力及び／又は前記コンピュータデバイスの向きに応じて変化する装置
【請求項５２】
前記ユーザ入力は、タッチによるパン、チルト、及び／又はズームを含む、請求項５１に記載の装置。
【請求項５３】
ユーザのタッチの接触開始点が、パン／チルト座標にマップされて、ドラックの間、パン／チルト調整量が計算されて、ユーザの指の下のパン／チルト座標が維持される、請求項５２に記載の装置。
【請求項５４】
前記コンピュータデバイスの向きが、パン、チルト、及び／又は向きに基づくロール補正を実施するために用いられる、請求項５１に記載の装置。
【請求項５５】
前記ユーザ入力及び向き入力は、累積的に処理される、請求項５１に記載の装置。
【請求項５６】
タッチによるズームについて、ユーザのタッチによる２つの接触点が、パン／チルト座標にマップされて、角度の測値が、パン／チルト座標から、２本の接触している指の間の角度を表すために計算される、請求項５１に記載の装置。
【請求項５７】
ズームをシミュレートする視野は、ユーザがピンチイン又はピンチアウトすると調節され、動的な変化する指の位置を、初期の角度測値に合わせる、請求項５６に記載の装置。
【請求項５８】
前記２つの接触点をピンチインすることで、ズームアウト効果が生じる、請求項５６に記載の装置。
【請求項５９】
前記コンピュータデバイスにあるコンパスセンサを更に備えており、向きによるパンは、コンパスデータに基づく、請求項５６に記載の装置。
【請求項６０】
ライブコンパスデータが、記録されたコンパスデータと比較される、請求項５９に記載の装置。
【請求項６１】
恣意的な北の値が、記録されている媒体にマップされる、請求項５９に記載の装置。
【請求項６２】
ジャイロスコープを更に備えており、ジャイロスコープデータが、恣意的な北の値にマップされて、シミュレートされたコンパス入力が提供される、請求項５９に記載の装置。
【請求項６３】
ジャイロスコープデータが、周期的な又は１回の初期オフセットとして、コンパス位置に同期される、請求項５９に記載の装置。
【請求項６４】
前記描画画像の異なる部分が、初期位置のコンパスデータに対するコンパス方向データの変化により決定されて表示される、請求項５１に記載の装置。
【請求項６５】
向きによるチルトは、加速度計データに基づく、請求項５１に記載の装置。
【請求項６６】
重力ベクトルが、前記コンピュータデバイスに対して決定される、請求項５１に記載の装置。
【請求項６７】
前記コンピュータデバイスのディスプレイ面に沿った前記コンピュータデバイスに対する前記重力ベクトルの角度が、前記デバイスのチルト角度と一致する、請求項６６に記載の装置。
【請求項６８】
チルトデータが、記録されている媒体のチルトデータに対して、マップされる、請求項６６に記載の装置。
【請求項６９】
恣意的な水平値が、記録されている媒体にマップされる、請求項６６に記載の装置。
【請求項７０】
表示されるべき前記画像の一部は、初期位置のコンパスデータに対する垂直方向データの変化により決定される、請求項５１に記載の装置。
【請求項７１】
タッチによる入力が、向き入力と組み合わされ、前記タッチによる入力は、前記向き入力にオフセットとして加えられる、請求項５１に記載の装置。
【請求項７２】
ジャイロスコープデータが、シミュレートされた重力ベクトル入力に与えられた任意の水平値にマップされる、請求項５１に記載の装置。
【請求項７３】
ジャイロスコープデータが、周期的又は１回の初期オフセットとして、重力ベクトルと同期される、請求項７２に記載の装置。
【請求項７４】
自動ロール補正が、前記コンピュータデバイスのディスプレイの垂直軸と、前記コンピュータデバイスの加速度計の重力ベクトルとの間の角度として計算される、請求項５１に記載の装置。
【請求項７５】
前記ディスプレイは、カメラとパノラマ光学デバイスの組合せによって、キャプチャされた前記パノラマ画像のチルトされた部分を示す、請求項５１に記載の装置。
【請求項７６】
表示されるべき前記画像の領域は、初期重力ベクトルに対する垂直方向データの変化により決定される、請求項５１に記載の装置。
【請求項７７】
ジャイロスコープデータが、シミュレートされた重力ベクトル入力に与えられた任意のアップ値にマップされる、請求項５１に記載の装置。
【請求項７８】
ジャイロスコープデータが、周期的又は１回の初期オフセットとして、重力ベクトルと同期される、請求項５１に記載の装置。
【請求項７９】
前記コンピュータデバイスは、対象物の動きを検出し、追跡して、前記対象物の後に続く領域を表示する、請求項５１に記載の装置。
【請求項８０】
更に、複数のコンピュータデバイスからの１つのライブイベントにおける複数の眺めを提供する、請求項５１に記載の装置。
【請求項８１】
更に、現在又は従前の時間の何れかにおける前記複数のコンピュータデバイスからの画像データを表示する、請求項８０に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、パノラマビデオ撮像を行う装置及び方法に関する。
【背景技術】
【０００２】
光学デバイス、歪み補正(unwarping)ソフトウェア、ディスプレイや様々なアプリケーションを含むパノラマ撮像システムが、アイシー３６０社に譲渡された米国特許第６，９６３，３５５号，６，５９４，４４８号、７，０５８，２３９号、７，３９９，０９５号、７，１３９，４４０号、６，８５６，４７２号、及び７，１２３，７７７号において開示されている。これらの先行特許文献の全てを、引用を以て本明細書に組み込むものとする。
【発明の概要】
【０００３】
１つの態様では、本発明は、筺体と、凹面パノラマ反射鏡と、筺体に対して、凹面パノラマ反射鏡を一定の位置に保持するように構成された支持構造と、コンピュータデバイスに対して一定の方向を向くように筺体を配置し、凹面パノラマ反射鏡により反射された光を、コンピュータデバイス内の光センサに向ける装着デバイスと、を備える装置を提供する。
【０００４】
別の態様では、本発明は、コンピュータデバイスでパノラマ画像データを受信する工程と、リアルタイムでパノラマ画像領域を見る工程と、ユーザ入力及び／又はコンピュータデバイスの向きに応じて、表示される領域を変える工程と、を含む方法を提供する。
【０００５】
別の態様では、本発明は、カメラに向けて光を反射するように構成されたパノラマ光学デバイスと、カメラからの画像データを処理して、描画画像を作成するコンピュータデバイスと、描画画像の少なくとも一部を表示するディスプレイと、を備えており、表示画像が、ユーザ入力及び／又はコンピュータデバイスの向きに応じて変わる装置を提供する。
【図面の簡単な説明】
【０００６】
【図１Ａ】図１Ａは、パノラマ光学デバイスを示す。
【図１Ｂ】図１Ｂは、パノラマ光学デバイスを示す。
【図１Ｃ】図１Ｃは、パノラマ光学デバイスを示す。
【０００７】
【図２】図２Ａ、２Ｂ及び２Ｃは、パノラマ光学デバイスを示す。
【０００８】
【図３Ａ】図３Ａは、パノラマ光学デバイスを示す。
【図３Ｂ】図３Ｂは、パノラマ光学デバイスを示す。
【図３Ｃ】図３Ｃは、パノラマ光学デバイスを示す。
【図３Ｄ】図３Ｄは、パノラマ光学デバイスを示す。
【図３Ｅ】図３Ｅは、パノラマ光学デバイスを示す。
【図３Ｆ】図３Ｆは、パノラマ光学デバイスを示す。
【０００９】
【図４】図４Ａ、図４Ｂ及び図４Ｃは、携帯コンピュータデバイスに取り付けられるケースを示す。
【００１０】
【図５】図５Ａ及び図５Ｂは、アイフォン(登録商標)等の携帯コンピュータデバイスに、パノラマ光学デバイスを取り付けるための構造を示す。
【図６】図６Ａ及び図６Ｂは、アイフォン等の携帯コンピュータデバイスにパノラマ光学デバイスを取り付けるための構造を示す。
【図７】図７Ａ及び図７Ｂは、アイフォン等の携帯コンピュータデバイスにパノラマ光学デバイスを取り付けるための構造を示す。
【図８】図８Ａ及び図８Ｂは、アイフォン等の携帯コンピュータデバイスにパノラマ光学デバイスを取り付けるための構造を示す。
【図９】図９Ａ、図９Ｂ、及び図９Ｃは、アイフォン等の携帯コンピュータデバイスにパノラマ光学デバイスを取り付けるための構造を示す。
【図１０】図１０Ａ及び図１０Ｂは、アイフォン等の携帯コンピュータデバイスにパノラマ光学デバイスを取り付けるための構造を示す。
【００１１】
【図１１Ａ】図１１Ａは、別のパノラマ光学デバイスを示す。
【図１１Ｂ】図１１Ｂは、別のパノラマ光学デバイスを示す。
【図１１Ｃ】図１１Ｃは、別のパノラマ光学デバイスを示す。
【図１１Ｄ】図１１Ｄは、別のパノラマ光学デバイスを示す。
【図１１Ｅ】図１１Ｅは、別のパノラマ光学デバイスを示す。
【００１２】
【図１２】図１２Ａ、図１２Ｂ及び図１２Ｃは、携帯コンピュータデバイスに取り付けられたケースを示す。
【００１３】
【図１３】図１３は、パノラマ鏡の形状を示す。
【図１４】図１４は、パノラマ鏡の形状を示す。
【００１４】
【図１５】図１５は、本発明に係るある特定の実施形態の態様を示すフローチャートである。
【図１６】図１６Ａ及び図１６Ｂは、本発明に係るある特定の実施形態の態様を示すフローチャートである。
【図１７】図１７は、本発明に係るある特定の実施形態の態様を示すフローチャートである。
【００１５】
【図１８】図１８は、本発明の各種実施形態における双方向表示機能を示す。
【図１９】図１９Ａ及び図１９Ｂは、本発明の各種実施形態における双方向表示機能を示す。
【００１６】
【図２０】図２０は、本発明の各種実施形態における、向きに基づく表示機能を示す。
【図２１】図２１は、本発明の各種実施形態における、向きに基づく表示機能を示す。
【図２２】図２２は、本発明の各種実施形態における、向きに基づく表示機能を示す。
【００１７】
【図２３】図２３は、本発明の別の態様を示すフローチャートである。
【発明を実施するための形態】
【００１８】
図１Ａ、図１Ｂ及び図１Ｃは、本発明の実施形態であって、コンピュータデバイスに取り付けられるパノラマ光学デバイス(10)(本明細書では、光学デバイス(optic)とも称する)を図示している。各種実施の形態において、コンピュータデバイスは、アイフォン又は他の携帯電話などの、カメラを含む携帯コンピュータデバイスであってよい。他の実施形態では、コンピュータデバイスは、据置又は可搬のデバイスであってよく、本願明細書に記載された少なくとも幾つかの機能を実行するために必要な信号処理能力を有する構成要素を含んでいる。コンピュータデバイスは、カメラ又は他の撮像センサを含んでいてよく、或いは、カメラ又は他の撮像センサから画像データを受け取ることが可能であってよい。
【００１９】
図１Ａは、光学デバイス(10)の実施形態の等角図であり、図１Ｂは、側面図であり、図１Ｃは、正面図である。デバイスは、筺体(12)を含んでいる。この実施形態では、筺体は、第１軸(16)を有する第１部分(14)と、第２軸(20)を有する第２部分(18)とを含んでいる。便宜上、第１軸は垂直軸と称し、第２軸は水平軸と称することがある。しかしながら、使用時において、空間での軸の向きは、デバイスの向きで決まるであろう。筺体の第１部分の少なくとも一部(22)は、円錐台形状である。反射鏡アセンブリ(24)は、筺体の第１部分に取り付けられて、その中心は、筺体の第１軸(16)にある。反射鏡アセンブリは、上部(28)から下方に延びる凹面パノラマ鏡(26)を含む。パノラマ鏡は、筺体の端部(30)を超えて、筺体内へと延びて、間隙(32)を形成する。間隙に入る光は、凹面パノラマ鏡(26)によって、筺体へと反射される。第２鏡(34)は、筺体内に装着されており、開口(36)に光を向ける。ある実施形態では、第２鏡は、平面鏡であり、第１軸(16)及び第２軸(20)の両方に対して、４５度の角度で配置される。光は、筺体の第２部分の端部において、第２鏡から開口(36)に向けて反射される。反射鏡アセンブリは、ポスト(38)を、更に含んでおり、当該ポストは、軸(16)に沿って配置され、透明な支持部材(40)に結合される。このようにして反射鏡アセンブリを装着することで、(映り込みに繋がるであろう)他の支持構造の使用が避けられる。
【００２０】
筺体(12)は、更に、第２部分から延びる突部(42)を含んでおり、ケース又は他の取付構造と結合するように形作られている。このケース又は他の取付構造は、光学デバイスとコンピュータデバイスを結合させるのに、又は、コンピュータデバイスに対して、光学デバイスを一定の方向に保持するのに使用される。図１Ａ、図１Ｂ、及び図１Ｃの実施形態において、突部は、長円状に形作られており、２つの伸長側部(44)(46)と、２つの弧状端部(48)(50)とを有する。この実施形態では、弧状端部(48)の曲率半径は、弧状端部(50)の曲率半径よりも小さい。これにより、端部(50)が、光学デバイスの筺体の側面を超えて、横方向に延びることが防止される。しかし、突部は、ケース又は他の取付構造の長円状の開口に嵌められて、光学デバイスの筺体及びケース又は他の取付構造との相対的な向きを維持してよい。
【００２１】
光学デバイスの筺体は、第１部分及び第２部分の側面の間を延びており、略三角状に形作られた部分(52)を更に含む。三角状の部分は、拡大した着脱用のつまみとして機能できる。
【００２２】
図２Ａ、図２Ｂ及び図２Ｃは、図１Ａ、図１Ｂ及び図１Ｃのパノラマ光学デバイスの更なる特徴を示す。図２Ａは、光学デバイスの側面図である。図２Ｂは、光学デバイスの下側部分の拡大図である。図２Ｃは、図２Ｂの線５４−５４に沿って破断した断面図である。筺体は、図１Ｂの第１軸(16)と第２軸(20)の両軸に対して４５度の角度で位置する平面部(56)を含む。図２Ａ、図２Ｂ及び図２Ｃは、主筺体と装着位置の間にある隠れた機械的インタフェース(58)を示す。インターフェイスは、部品間にて垂直に揃えられるように設計され、幾らかの遊び(forgivance)によって、操作を容易にして、破損に耐え得るようにされている。
【００２３】
図３Ａ、図３Ｂ、図３Ｃ、図３Ｄ、図３Ｅ及び図３Ｆは、本発明の別の実施形態に基づいたパノラマ光学デバイスを示している。この実施形態は、図１Ａ、図１Ｂ及び図１Ｃの実施形態と似ているが、コンピュータデバイスに接続するための構造が異なっている。図３Ａは、光学デバイス(62)の実施形態の等角図であり、図３Ｂは正面図であり、図３Ｃは側面図であり、図３Ｄは背面図であり、図３Ｅは平面図であり、図３Ｆは、線６０−６０に沿って破断した断面図である。装置は、筺体(64)を含む。筺体は、第１軸(68)を有する第１部分(66)と、第２軸(72)を有する第２部分(70)を含む。便宜上、第１軸は垂直軸と称し、第２軸は水平軸と称することがある。しかしながら、使用時において、空間での軸の向きは、デバイスの向きで決まるであろう。筺体の第１部分の少なくとも一部(74)は、円錐台形状である。反射鏡アセンブリ(76)は、筺体の第１部分に取り付けられて、その中心は、筺体の第１軸(68)にある。反射鏡アセンブリは、上部(80)から下方に延びる凹面パノラマ鏡(78)を含む。パノラマ鏡は、筺体の端部(82)を超えて、筺体内へと延びて、間隙(84)を形成する。間隙に入る光は、筺体へと反射される。第２鏡(86)は、筺体内に装着されており、開口(90)に光を向ける。ある実施例では、第２鏡は、平面鏡であり、第１軸(68)及び第２軸(72)の両方に対して、４５度の角度で配置される。光は、筺体の第２部分の端部において、第２鏡から開口(90)に向けて反射される。反射鏡アセンブリは、ポスト(92)を、更に含んでおり、当該ポストは、軸(68)に沿って配置され、透明な支持部材(94)に結合される。
【００２４】
筺体(62)は、更に、第２部分の平坦面(104)から延びる複数の突部(96)(98)(100)(102)を含み、それら突部は、ケース又は他の取付構造の複数の凹部と結合するように形作られており、光学デバイスをコンピュータに結合し、コンピュータに対して光学デバイスを一定の方向に保持するために使用される。筺体は、第１部分及び第２部分の側面の間を延びる略三角形に形成された部分(106)を更に含む。突部の回転対称性により、取付構造が、異なる４つの動作方向で連結することが可能とされている。
【００２５】
パノラマ鏡の曲率が変えられて、様々な視野を得ることができる。間隙(84)は、どの光線が反射から遮られるかに基づいてさらなる制約を与えてよい。可能な視野は、水平より下に−９０度から、水平より上に約７０度までの範囲、又はその間であってよい。
【００２６】
鏡(86)は、コンピュータデバイスのカメラの視野に含まれる光を反射するような大きさにされる。ある実施形態では、カメラの垂直の視野は、２４度である。しかしながら、光学デバイスの構成要素の大きさと配置が変更されて、他の視野範囲を有するカメラが収容されてよい。
【００２７】
図４Ａ、図４Ｂ、及び図４Ｃは、本発明の実施形態に基づいて、携帯コンピュータデバイスに取り付けられたケースを示す。図４Ａは、実施形態のケース(110)の側面図であり、図４Ｂは正面図であり、図４Ｃは等角図である。ケース(110)は、２つのセクション(112)(114)を含む。図４Ａ、図４Ｂ及び図４Ｃに示されたケースは、アイフォン等の携帯コンピュータデバイスに光学デバイスを結合する取付具として機能するように設計されている。ケースの側壁(116)(118)(120)(122)は、小さなリップ部(lip)(124)を含んでおり、アイフォンのスクリーンの外側に沿って、はす縁(beveled  edge)を掴むように設計されている。ケースの２つのセクションがアイフォン上を摺動すると、この前側にあるリップ部が、ケースの背面がアイフォンの背面に引っ張られた状態を保持する。２つのセクションは、平行で角のある一対の面(126)(128)によって繋がっており、２つの部分が、アイフォン上を摺動して、互いに押し合うと、スナップフィットが生じる。ケースには開口(130)(132)が配置されて、数種類のボタンと背面のカメラにアクセス可能とされる。光学デバイスがケースに結合されると、カメラ用の開口(132)は、図１Ａ、図１Ｂ及び図１Ｃの光学デバイスの前側にあって突出している筒部を締嵌めして、光学デバイスが取り付けられると、それら２つの位置と嵌合を維持する。
【００２８】
ケースは、滑らかに輪郭が付けられたリップ部を含んでおり、両方の部分で対称であって、湾曲した経路に渡って連続して形成されている。それは、取り付けられると、確かな「スナップ」アクションをもたらし、取り外す力と取り付ける力とが等しくなるように設計される。滑らかな輪郭は、サイクルの繰り返しによる摩耗を避けるように設計される。それはまた、２つのセクションを互いに引き合わせる引張力を与えて、電話の周囲にぴったりと嵌まり、カメラの開口(132)とアイフォンのカメラとの間の位置合わせが維持される。開口(132)は、光学デバイスの突出した筒部に対して、わずかに小さくされてよい。これにより、締嵌めがもたらされて、ケースを保持する力が増加する。加えて、筒部の外形は、外向きに突き出て開口に嵌められてよい。開口(132)は、電話に向かって外向きのテーパー状にされて、更なる保持力が提供されてよい。
【００２９】
図５Ａ、図５Ｂ、図６Ａ、図６Ｂ、図７Ａ、図７Ｂ、図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、図９Ｃ、図１０Ａ及び図１０Ｂは、本発明の各種実施形態に従っており、パノラマ光学デバイスを、アイフォンのような携帯コンピュータデバイスに装着するための様々な構造を図示している。
【００３０】
図５Ａ及び図５Ｂは、本発明の実施形態である光学デバイス(140)の一部とコンピュータデバイス用のケース(142)とについて、正面図と側面図を夫々示している。この実施形態では、光学デバイス(140)の前面から突出している筒部(144)は、環状部(146)と、環状部から延びるキー(148)とを含んでいる。電話ケース(142)は、電話のカメラに隣接して配置される開口(150)を含んでいる。開口(150)は、パノラマ光学デバイスの突出する筒部のキーを受け入れるために配置された部分(152)(154)を含んでいる。部分(152)(154)は、９０度離れて配置されており、光学デバイスが、選択的な２つの方向のうちの１つの方向で取り付けられることが可能である。
【００３１】
図６Ａ及び図６Ｂは、本発明の実施形態である光学デバイス(160)とコンピュータデバイス用のケース(162)について、部分的で模式的な正面図と側面図を夫々示す。この実施形態では、上部のスロットインターフェイスは、光学デバイス(160)の正面から突出する筒部(164)を含んでおり、当該筒部は、Ｕ字型差込部(166)を含んでいる。電話ケース(162)は、電話のカメラに隣接して配置される開口(168)を含んでいる。開口(168)は、パノラマ光学デバイスの差込部分を受け入れるように配置されたスロット(170)を含んでいる。
【００３２】
図７Ａ及び図７Ｂは夫々、本発明の実施形態である光学デバイス(180)及びコンピュータデバイス用ケース(182)の部分的で模式的な正面図及び斜視図である。この実施形態では、磁石位置合わせインターフェイスは、光学デバイス(180)の正面から突出する筒部(184)を含んでいる。当該筒部は、環状部(186)と、環状部に隣接する磁石(188)とを含む。電話ケース(182)は、電話のカメラに隣接して配置される開口(190)を含んでいる。ケース内の磁石(192)(194)は、パノラマ光学デバイスの磁石と結合する。
【００３３】
図８Ａ及び図８Ｂは夫々、本発明の実施形態である光学デバイス(200)とコンピュータデバイス用のケース(202)の部分的で模式的な正面図と側面図である。この実施形態では、隆起による位置合わせをするマグネットインターフェイスは、光学デバイス(200)の前面から突出する筒部(204)を含んでいる。当該筒部は、環状部(206)と、環状部の周りを延びる磁石(208)と、位置合わせ隆起部(210)とを含んでいる。電話ケース(202)は、電話のカメラに隣接して配置される開口(212)を含む。磁石(214)は、パノラマ光学デバイスの磁石と結合するように配置されており、凹部(216)(218)が設けられて、位置合わせ隆起部を受け入れる。
【００３４】
図９Ａ及び図９Ｂは夫々、本発明の実施形態である光学デバイス(220)とコンピュータデバイス用のケース(222)の部分的で模式的な正面図と側面図である。図９Ｃは、光学デバイスが携帯コンピュータデバイスに取り付けられた後の光学デバイスの回転移動を図示する正面図である。この実施形態では、４分の１回転インターフェイスは、光学デバイス(220)の前面から突出する筒部(224)を含んでいる。当該筒部は、環状部(226)と、環状部から延びるフランジ(228)(230)とを含む。電話ケース(222)は、電話のカメラに隣接して配置される開口(232)を含んでいる。開口(232)は、パノラマ光学デバイスの突出した筒部のフランジを受けるように配置された部分(234)を含む。それらフランジは、ストッパ(236)(238)を含んでおり、図９Ｃに示すように、ケースに対して、垂直又は水平方向に配置されるように、光学デバイスの回転移動を制限する。
【００３５】
図１０Ａと図１０Ｂは夫々、本発明の実施形態である光学デバイス(240)とコンピュータデバイス用のケース(242)の部分的で模式的な正面図と側面図である。この実施形態において、４つのピン面は、光学デバイス(240)の前面から突出する複数のピン(244)を含む。電話ケース(242)は、電話のカメラに近接した開口に隣接して配置される複数の孔(246)を含む。ピンは、孔に対してわずかに大きくされており、２つの部品を結合する締嵌めをもたらす。更に、ピンの外形は、外側に膨らんでおり、電話に向けてテーパー状に広がった孔に嵌まってよい。これにより、更なる保持力がもたらされる。
【００３６】
図１１Ａは、別の実施形態の光学デバイス(250)の等角図であり、図１１Ｂは、正面図であり、図１１Ｃは、側面図であり、図１１Ｄは、背面図であり、図１１Ｅは、断面図である。この光学デバイスは、既に説明した構成と類似のパノラマ反射鏡と筺体とを含むが、光学デバイスをコンピュータデバイスに結合する構造(252)が異なっている。その結合構造は、コンピュータデバイス用のケースの開口内に嵌まるように形作られた突部(254)を含む。突部の端部は、略長円状のフランジ(256)を有しており、当該フランジは、湾曲端(258)と、直線部分(260)(262)を有する２つの側部とを有する。湾曲端(258)の反対側におけるフランジの端部は、より小さな湾曲端(264)を含んでいる。
【００３７】
図１２Ａ、図１２Ｂ及び図１２Ｃは、携帯コンピュータデバイスに取り付けられるケース(266)を示す。ケースは、光学デバイス(250)の突部を受ける大きさにされた開口(268)を含んでいる。この実施形態では、開口(268)の右側に突部が挿入されて、矢印の方向に摺動する。それにより、開口(268)の一部の周囲の縁(270)が、フランジと係合して、所定位置に光学デバイスを保持する。
【００３８】
図１３は、パノラマ光学デバイスに入って、パノラマ鏡(282)で反射される光線(280)を示す。パノラマ鏡(282)は、凹面鏡(284)を有しており、その形状は、後述するパラメータによって定義可能である。光線は、パノラマ鏡(282)で反射されて、光学デバイスの底部付近にある別の鏡に向けられる。光学デバイスの垂直方向の視野は、筐体の端部と鏡支持構造の頂部との間の(例えば、図３Ｆの符号(84)の)開口を通って、光学デバイスに入る上側の光線(286)と下側の光線(288)の間の角度である。外側の反射線(288)に沿った光線は、一点に収束する。この特徴は、筺体から反射される迷光を減少することに役立ち、筺体の体積をできるだけ小さくする。
【００３９】
光学デバイスは、３６０度の範囲の水平環境から光を集め、光学デバイスを囲む垂直環境の一部(例えば、水平から±４５度)が、光学デバイスの湾曲鏡により反射される。そして、この反射は、カメラによって、又はカメラからの画像データを受け取る記録装置によって記録されて、パノラマ静止画像又は動画がキャプチャされる。
【００４０】
より便利な形状因子やキャプチャ方向に適応するために、１又は複数の平らな第２鏡が、光学デバイス内に収められてよい。第２鏡は、拡大や焦点の目的で、湾曲されてもよい。
【００４１】
図１４は、本発明の実施形態に基づいて構成できるパノラマ鏡の形状を示す。カメラ(290)は、カメラ軸(292)に沿って配置されており、凹面パノラマ鏡(294)から反射された光を受ける。幾つかの実施形態における鏡の形状を、以下の方程式により定めることができる。図１４は、下記の方程式で表われる数種類のパラメータを含んでいる。
【００４２】
【数１】
2014517569.tif 000003
【００４３】
【数２】
2014517569.tif 000004
【００４４】
これらの方程式において、Ａは、光線ｒＯの向きとカメラ軸(294)に平行な線との間の角度であって、ラジアンである。Ｒｃｓは、カメラ軸と、光線ｒＯを反射する鏡のポイントとの間の角度であって、ラジアンである。Ｒｃｅは、カメラ軸と鏡の端部との間の角度であって、ラジアンである。ｒＯは、内径であって、ミリメートルである。αは、ゲイン因子(gain  factor)である。θは、カメラ軸と反射光ｒの間の角度であって、ラジアンである。ｋは、第１方程式にてαで規定されている。
【００４５】
実施形態＃１では、鏡の方程式は、カメラのスタート角度(Ｒｃｓは、ラジアンで表される)を考慮に入れて拡張されている。実施形態＃２の鏡のデザインでは、カメラスタート角度はゼロである。Ｒｃｓをゼロに設定して、実施形態＃１にて更なる項を評価すると、方程式は、以下のように詰められる：
【数３】
2014517569.tif 000005
【００４６】
図１５は、ブロック図であって、本発明の各種実施形態における信号処理と画像操作の特徴を示す。図１５の実施形態では、既に説明した任意の実施例のような光学デバイス(300)は、カメラ(302)に光を向ける。カメラは、フレームバッファ(304)に画像画素データを出力する。そして、画像が、テクスチャマッピングされる(306)。テクスチャマッピングされた画像は、記録される(312)前に、歪みが補正されて(308)、圧縮される(310)。
【００４７】
マイクロフォン(314)が設けられ、音を検出する。マイクロフォン出力は、記録される前に、音声バッファ(316)に格納されて、圧縮される(318)。コンピュータデバイスは全地球測位システム(ＧＰＳ)センサ、加速計、ジャイロスコープやコンパスを含むセンサを含んでおり、光学データと音声データと同時にデータ(320)を生成してよい。このデータは、エンコードされて(322)、記録される。
【００４８】
タッチスクリーン(324)が設けられて、ユーザが与えるタッチアクション(326)を検出する。ユーザのタッチアクションとセンサのデータが用いられて、特定の視界方向が選択されて、次に、描画される。コンピュータデバイスは、ユーザのタッチアクション及び／又はセンサデータと組み合わせて、テクスチャマッピングされたビデオデータを双方向的に描画し、ディスプレイ(330)用のビデオを作成する。図１５に示された信号処理は、スマートフォン等の携帯コンピュータデバイスのプロセッサ又は処理回路で実施できる。処理回路は、本願明細書に記載されている機能を実施するソフトウェアを用いるようにプログラムされたプロセッサを含んでよい。
【００４９】
アイフォン等の多くの携帯コンピュータデバイスはまた、ユーザコマンドを受けとるために使用できる内蔵タッチスクリーン又はタッチスクリーン入力センサを含んでいる。ソフトウェアプラットフォームが、内蔵タッチスクリーン又はタッチスクリーンセンサを含まない使用状況では、外部接続された入力デバイスを使用できる。既製のソフトウェアフレームワークの使用により、タッチ、ドラッグやピンチ等のユーザ入力が、タッチ及びタッチスクリーンセンサに対するタッチアクションとして、検出される。
【００５０】
アイフォン等の多くの携帯コンピュータデバイスはまた、パノラマ鏡により反射される光を受ける内蔵カメラを含む。携帯コンピュータデバイスが内蔵カメラを含まない使用状況では、外部接続される既製のカメラを使用できる。既に説明したような光学デバイスのうちの１つの鏡で反射されると、カメラは、装置の周囲の静止画像又は動画をキャプチャできる。これらの画像は、ソフトウェアアプリケーションで用いられるビデオフレームバッファに送られてよい。
【００５１】
アイフォン等の多くの携帯コンピュータデバイスはまた、内蔵ＧＰＳ、加速計、ジャイロスコープやコンパスセンサを含んでいる。これらのセンサが使用されて、向き、位置及び動き情報がもたらされ、本明細書で記載されている幾つかの画像処理及び表示機能を実施するために用いられてよい。コンピュータデバイスが、これらの１つ又は複数を含まない使用ケースでは、外部接続される既製のセンサを使用できる。これらのセンサは、装置及びその周囲に関した地理空間(geospatial)及び方位データを提供し、それは、次に、ソフトウェアによって用いられる。
【００５２】
アイフォン等の携帯コンピュータデバイスはまた、内蔵マイクロフォンを含んでいる。携帯コンピュータデバイスが、内蔵マイクロフォンを含まない使用状況では、外部接続される既製のマイクロフォンを使用できる。マイクロフォンは、装置の周囲から、音声データを取得でき、音声データは、次に、ソフトウェアアプリケーションで用いるために、音声バッファに送られる。
【００５３】
複数のチャンネルの音声データが、既知の向きにて、複数のマイクロフォンから記録される場合、音声フィールドが、再生の間、回転して、双方向描画ディスプレイと空間的に同期する。
【００５４】
タッチアクション形態でのユーザ入力は、ソフトウェアプラットフォーム上のハードウェアアブストラクションフレームワークによって、ソフトウェアアプリケーションに提供できる。これらのタッチアクションにより、ソフトウェアアプリケーションは、予め記録された媒体、インターネットからダウンロード又はストリーミングされた共有媒体、或いは、現在記録されている又はプレビューされている媒体での、双方向性プレゼンテーションをユーザに提示する。
【００５５】
ビデオフレームバッファは、既製のソフトウェアフレームワークによって提供され得るハードウェアアブストラクションであり、最も新しくキャプチャされた静止又は動画の１つ又は複数のフレームを記録する。これらのフレームは、種々の用途に対するソフトウェアによって、取り出されることができる。
【００５６】
音声バッファは、ハードウェアアブストラクションであり、公知の既製のソフトウェアフレームワークの１つによって提供され、マイクロフォンから最近取得された音声データを示す幾らかの長さの音声を記録する。このデータは、音声圧縮及び格納(記録)用に、ソフトウェアによって取り出される。
【００５７】
テクスチャマップは、ソフトウェアによって、ビデオバッファから取り出されたシングルフレームである。このフレームは、一連のビデオを表示するために、ビデオフレームバッファから周期的にリフレッシュ(refreshed)される。
【００５８】
システムは、ＧＰＳデータから位置情報を取り出すことができる。絶対的な(absolute)揺れの向きが、コンパスデータから取り出しできる。コンピュータデバイスが休止状態の場合、重力による加速は、３軸加速度計を介して決定されてよい。縦揺れ、回転及び上下左右の揺れの変化は、ジャイロスコープのデータから決定できる。速度は、ＧＰＳ座標とソフトウェアプラットフォームの時計によるタイムスタンプとから決定できる。より緻密な精度値は、時間に渡って蓄積された加速度データの結果を組み入れることによって得られる。
【００５９】
双方向描画(328)は、ユーザ入力(タッチアクション)、(テクスチャマップを介した)カメラからの静止又は動画データ、及び(地理空間／位置データからエンコードされた)移動データを併用することで、予め記録された媒体、ネットワーク上でダウンロード又はストリームされた共有媒体、或いは、現在記録されている、又はプレビューされている媒体の視像を制御可能とする。ユーザ入力がリアルタイムで使用されて、視像の方向とズームとを決定できる。本明細書に用いられているように、リアルタイムとは、画像がデバイスにより検知されるのとほぼ同時に(又は、ユーザが気付かない程度に遅れて)、ディスプレイが画像を表示すること、及び／又は、ユーザの入力を受信したのとほぼ同時に、ユーザの入力に応答して変更した画像を示すことを意味する。内蔵カメラを有する携帯コンピュータデバイスにパノラマ光学デバイスを結合することによって、内部信号の処理帯域幅は十分となって、リアルタイム表示を達成できる。
【００６０】
テクスチャマップが、球面、円筒、立方体、又はその他の幾何学形状のメッシュの頂部に適用されて、視像の仮想シーンをもたらし、各頂部の所望の角度座標を、テクスチャからの既知の角度座標と関連づける。加えて、視像は、装置のピッチ、ヨー、及びロールの変化を考慮に入れて、方向データを用いて調整できる。
【００６１】
歪みを補正した各フレームのバージョンが、各頂部の所望の角度座標をテクスチャからの既知の角度座標と関連づける平坦なメッシュ上に静止画又は動画テクスチャをマッピングすることにより作成できる。
【００６２】
多くのソフトウェアプラットフォームは、圧縮アルゴリズムを用いてビデオフレームのシーケンスをエンコードするための機能を提供する。ある一般的なアルゴリズムは、ＡＶＣ、即ちＨ．２６４圧縮である。この圧縮は、携帯コンピュータデバイスのハードウェア機能として、一般的なＣＰＵで実行されるソフトウェアを介して、或いはそれらの組合せで実施されてよい。歪みが補正されたビデオのフレームは、このような圧縮アルゴリズムに送られて、圧縮データストリームを生成する。このデータストリームは、装置内部のパーシスタントメモリ(persistent  memory)に記録されるのに適しているか、或いは、有線又は無線ネットワークを通じて、サーバ又は別の携帯コンピュータデバイスに送信される。
【００６３】
多くのソフトウェアプラットフォームは、圧縮アルゴリズムを用いて、音声データのシークエンスをエンコードするための機能を提供する。ある一般的なアルゴリズムは、ＡＡＣである。圧縮は、携帯コンピュータデバイスのハードウェア機能として、一般的なＣＰＵで実行されるソフトウェアを介して、或いはそれらの組合せで実施されてよい。音声データのフレームは、このような圧縮アルゴリズムに送られて、圧縮データストリームを生成する。このデータストリームは、装置内部のパーシスタントメモリに記録されるのに適しているか、或いは、有線又は無線ネットワークを通じて、サーバ又は別の携帯コンピュータデバイスに送信される。このストリームは、圧縮されたビデオストリームと組み合わされて、同期されたムービーファイル(movie  file)が作成されてよい。
【００６４】
双方向描画によるディスプレイの視像は、アイフォンのスクリーン等の内蔵表示デバイス、又は、外部接続型表示装置の何れかを用いて作成できる。更に、複数の表示デバイスが接続される場合、各表示装置は、互いに異なっており、その装置に特有のシーンの視像を特徴としてよい。
【００６５】
ビデオ、音声及び地理空間／向き／移動データは、携帯コンピュータデバイスのローカルな記憶媒体、外部接続型記憶媒体、又は、ネットワーク上の別のコンピュータデバイスの何れかに記録できる。
【００６６】
図１６Ａ、図１６Ｂ及び図１７は、本発明の幾つかの実施形態の態様を示すフローチャートである。図１６Ａは、ビデオと音声情報の取得及び転送を示すブロック図である。図１６Ａに示される実施形態では、光学デバイス(350)、カメラ(352)、ビデオフレームバッファ(354)、テクスチャマップ(356)、歪み補正描画(358)、ビデオ圧縮(360)、マイクロフォン(362)、音声バッファ(364)及び音声圧縮(366)は、図１５における対応する構成要素について上述した方法で実施できる。図１６Ａのシステムでは、双方向的描画(368)が、テキスチャマップデータ上で実施され、描画された画像が、プレビュー(370)用に表示される。圧縮されたビデオ及び音声データが、エンコードされて(372)、転送される(374)。
【００６７】
図１６Ｂは、ビデオ及び音声情報の受信を示すブロック図である。図１６Ｂに示された実施例において、ブロック(380)は、エンコードされたストリームが受信されることを示している。ビデオデータが、ビデオフレームバッファ(382)に送られ、音声データが、音声フレームバッファ(384)に送られる。次に、音声は、スピーカ(386)に送信される。ビデオデータが、テクスチャマッピングされて(388)、眺めが描画される(390)。次に、ビデオデータが、ディスプレイに表示される(392)。図１６Ａ及び図１６Ｂは、ライブストリーミングのシナリオを説明している。１人のユーザ(送り手)が、パノラマビデオをキャプチャし、１又は複数の受信者に、それをライブでストリーミングする。各受信者は、個々に、その双方向的描画を制御できて、供給されたライブ番組を任意の方向で見ることができる。
【００６８】
図１７は、ブロック図であり、一般参加者によるビデオや音声情報の取得及び受信を示す。図１７に示される実施形態では、光学デバイス(400)、カメラ(402)、ビデオフレームバッファ(404)、テクスチャマップ(406)、歪み補正描画(408)、ビデオ圧縮(410)、マイクロフォン(412)、音声バッファ(414)、音声圧縮(416)、ストリームのエンコード(418)及び送信(420)は、図１６Ａ及び図１６Ｂについて上述した方法で実施できる。ブロック(422)は、エンコードされたストリームを受信することを示している。エンコードされたストリームが、デコードされる(424)。ビデオデータが解凍されて(426)、ビデオフレームバッファ(428)に送られ、音声データが解凍されて(430)、音声フレームバッファ(432)に送られる。音声は、次に、スピーカ(434)へ送られる。ビデオデータは、テクスチャマッピングされて(436)、眺めが遠隔操作で描画される(438)。テクスチャマッピングされた情報は、局所的に描画される(440)。次に、描画されたビデオデータが組み合わされて、表示される(442)。図１７は、２又は３以上のライブストリームについて、図１６Ａ及び図１６Ｂの発想の拡張を示している。一般参加者は、１又は複数の他の参加者からパノラマビデオを受信できることに加えて、自身のパノラマビデオを送信できてよい。これは、「パノラマビデオチャット」又はグループチャット用であろう。
【００６９】
装置用のソフトウェアは、双方向的な表示を提供し、ユーザが、リアルタイムでパノラマビデオの視像領域を変更できるようにする。相互作用は、タッチによるパン、チルト及びズームや、向きによるパン及びチルト、向きによるロール補正を含む。これらの相互作用は、タッチ入力のみ、方向入力のみで利用されてよく、又は、入力が累加的に取り扱われる場合には、それら２つのハイブリッドが利用されてよい。これらの相互作用は、ライブプレビュー、キャプチャプレビュー、及び、予め記録されている又はストリーミング媒体に適用されてよい。本明細書で使用されているように、「ライブプレビュー」は、デバイスのカメラに起因した描画に言及しており、「キャプチャプレビュー」は、(即ち、任意の処理後における)そのままの記録の描画に言及している。予め記録された媒体は、デバイスに内在するビデオ録画、又は、ネットワークからデバイスに実際にダウンロードされたビデオ録画に由来してよい。ストリーミング媒体は、ネットワークを通じてリアルタイムに配信されるパノラマビデオ番組に関しており、デバイスに一時的にだけ記録される。
【００７０】
図１８は、ユーザコマンドに応答したパン及びチルト機能を示している。携帯コンピュータデバイスは、タッチスクリーンディスプレイ(450)を含んでいる。ユーザが、スクリーンにタッチして、矢印(452)が示す向きへ動かすと、表示される画像が変わり、パン及び／又はチルト機能がなされる。画面(454)では、カメラの視野が左にパンされるように、画像が変えられている。画面(456)では、カメラの視野が右にパンされるように、画像が変えられている。画面(458)では、カメラの視野が下にチルトされるように、画像が変えられている。画面(460)では、カメラの視野が上にチルトされるように、画像が変えられている。図１８に示すように、タッチによるパン及びチルトは、引き続いて一回の接触ドラッグをすることで、ユーザが、視像の領域を変えることを可能とする。ユーザがタッチした最初の接触位置が、パン／チルト座標にマップされて、トラッキングの間、パン／チルト調整量が計算されて、ユーザの指の下のパン／チルト座標が維持される。
【００７１】
図１９Ａ及び図１９Ｂに示すように、タッチによるズームにより、ユーザは、動的に、ズームアウト又はズームインできる。ユーザのタッチによる接触の２点が、パン／チルト座標にマップされて、それら座標から、接触している２本の指の間の角度を表す角度の測値が計算される。(ズームをシミュレートする)視像の見えている領域は、ユーザのピンチイン又はアウト(pinch  in  or  out)で調節され、動的に変化する指の位置は、最初の角度の測定値に合わせられる。図１９Ａに示すように、接触している２本の指のピンチインが、ズームアウトの効果を生じる。即ち、画面(470)の対象物が、画面(472)上でより小さく表れる。図１９Ｂに示すように、ピンチアウトが、ズームインの効果を生じさせる。即ち、画面(474)の対象物が、画面(476)上でより大きく表れる。
【００７２】
図２０は、向きによるパンを示しており、コンピュータデバイスのコンパスセンサで得られるコンパスデータに基づいており、ユーザが携帯デバイスを回転させることによって、表示されているパンレンジを変更できる。これは、記録されたコンパスデータが利用できるケースでは、ライブコンパスデータを記録されたコンパスデータに合わせることによって、達成されてよい。記録されたコンパスデータが利用できないケースでは、恣意的な北の値(arbitrary  North  value)が、記録されている媒体にマップされてよい。記録されている媒体は、図１３等で説明したように作成された任意のパノラマビデオ録画であってよい。ユーザ(480)が、線(484)に沿った初期位置に、携帯コンピュータデバイス(482)を保持すると、画像(486)が表示デバイスに作成される。ユーザ(480)が、左にパンされた、線(488)に沿った位置に、携帯コンピュータデバイス(482)を移動すると、角度ｙが初期位置からオフセットされて、画像(490)が表示デバイスに作成される。ユーザ(480)が、右にパンされた、線(492)に沿った位置に、携帯コンピュータデバイス(482)を移動すると、角度ｘが初期位置からオフセットされて、画像(494)が表示デバイスに作成される。つまり、ディスプレイは、カメラとパノラマ光学デバイスの組合せによってキャプチャされたパノラマイメージの異なる部分を示している。表示される画像部分は、初期位置のコンパスデータに対する、コンパスの方向データの変化により決定される。
【００７３】
記録されたコンパスデータが利用できる場合でも、恣意的な北の値を用いることが望ましいこともある。また、デバイスによるパン角度の変化が１：１でないことが望ましい場合もある。幾つかの実施形態においては、描画されたパン角度は、デバイスに対して、ユーザが選択可能な比率に変化してよい。例えば、ユーザは、４倍のモーション制御を選択する場合、デバイスを９０度回転させることで、ユーザは、３６０度回転のビデオを見ることができ、これは、ユーザが完全に一回転する自由がないときに有用である。
【００７４】
タッチによる入力が、方向入力と組み合わされる場合、タッチ入力は、付加的なオフセットとして、方向入力に加えられてよい。そうすることで、２つの入力方法間の不一致が、効果的に回避される。
【００７５】
ジャイロスコープデータを利用でき、より良好な機能を提供する携帯デバイスにおいては、複数軸に沿った回転の変化を時間に渡って測定するジャイロスコープデータが、前回の描画フレームと現在のフレームとの間の時間間隔に渡って蓄積されてよい。向きの総変化を、前回のフレームを描画するために用いられた方向に加えて、現在のフレームを描画するために用いられる新しい向きを決定できる。ジャイロスコープデータとコンパスデータが利用可能なケースでは、ジャイロスコープデータは、周期的に又は１回の初期オフセットとして、コンパス位置に同期されてよい。
【００７６】
図２１に示すように、向きによるチルトは、加速計データに基づいてよく、携帯デバイスを傾けることによって、ユーザが、表示されているチルト範囲を変えることを可能にする。これは、携帯デバイスに関する生の重力ベクトルを計算することにより達成できる。デバイスの表示面に沿った、デバイスに対する重力ベクトルの角度は、デバイスのチルト角度に一致するであろう。このチルトデータは、記録された媒体のチルトデータに対して、マップされてよい。記録されたチルトデータが利用できない場合、恣意的な水平の値が記録媒体にマップされてよい。デバイスのチルトが用いられて、描画のためのチルト角を直接定める(即ち、電話を垂直に保持すると視像が水平に合わせられる)か、又は、操作者の便宜のために、任意のオフセットと共に使用されてよい。このオフセットは、デバイスが再生を開始した際の初期の向きに基づいて、決定されてよい(例えば、再生が始まった電話の角度位置が、水平に合わせられる)。ユーザ(500)が、線(504)に沿った初期位置に、携帯コンピュータデバイス(502)を保持すると、画像(506)が表示デバイスに作成される。重力ベクトルから角度ｘのオフセットであり、上向きにチルトした、線(508)に沿った位置に、ユーザ(500)が、携帯コンピュータデバイス(502)を移動させると、表示デバイスに画像(510)が作成される。重力ベクトルから角度ｙのオフセットであり、下向きにチルトした、線(512)に沿った位置に、ユーザ(500)が、コンピュータデバイス(502)を移動させると、表示デバイスに画像(514)が作成される。つまり、表示デバイスは、カメラ及びパノラマ光学デバイスの組合せによってキャプチャされる異なるパノラマ画像を示す。表示される画像部分は、初期位置のコンパスデータに対する垂直方向のデータの変化により決定される。
【００７７】
タッチによる入力が、方向入力と組み合わされるケースでは、タッチ入力が、追加のオフセットとして、方向入力に加えられてよい。
【００７８】
ジャイロスコープデータを利用でき、より良好な機能を提供する携帯デバイスにおいては、複数軸に沿った回転の変化を時間に渡って測定するジャイロスコープデータが、前回の描画フレームと現在のフレームとの間の時間間隔に渡って蓄積されてよい。向きの総変化を、前回のフレームを描画するために用いられた方向に加えて、現在のフレームを描画するために用いられる新しい向きを決定できる。ジャイロスコープデータと加速度計データが利用可能なケースでは、ジャイロスコープデータは、周期的に又は１回の初期オフセットとして、重力ベクトルに同期されてよい。
【００７９】
図２２に示すように、デバイスの画面の垂直な軸とデバイスの加速度計の重力ベクトルとの間の角度として、自動ロール補正は計算できる。ユーザが、線(520)に沿った初期位置で、携帯コンピュータデバイスを保持すると、画像(522)が表示デバイスに作成される。重力ベクトルから角度ｘのオフセットであり、線(524)に沿ったｘロール位置に、ユーザが、携帯コンピュータデバイスを移動させると、画像(526)が、表示デバイスに作成される。重力ベクトルから角度ｙのオフセットであり、線(528)に沿ったｙロール位置に、ユーザが携帯コンピュータデバイスを移動させると、画像(530)が、表示デバイスに作成される。つまり、表示デバイスは、カメラ及びパノラマ光学デバイスの組合せによってキャプチャされたパノラマ画像のチルト部分を表示する。表示される画像部分は、初期の重力ベクトルに対して垂直方向データの変化により決定される。
【００８０】
ジャイロスコープデータを利用でき、より良好な機能を提供する携帯デバイスにおいては、複数軸に沿った回転の変化を時間に渡って測定するジャイロスコープデータが、前回の描画フレームと現在のフレームとの間の時間間隔に渡って蓄積されてよい。向きの総変化を、前回のフレームを描画するために用いられた方向に加えて、現在のフレームを描画するために用いられる新しい向きを決定できる。ジャイロスコープデータと加速度計データが利用可能なケースでは、ジャイロスコープデータは、周期的に又は１回の初期オフセットとして、重力ベクトルに同期されてよい。
【００８１】
図２３は、本発明の別の実施形態のブロック図である。図２３において、媒体ソース(540)は、圧縮された又は圧縮されていないビデオ、音声、位置、向き及び速度データが組み合わされたストレージである。媒体ソースは、ネットワーク接続から、予め記録され、ダウンロードされ、又は、ストリームされてよい。媒体ソースは、アイフォンとは別個であってよく、又は、アイフォンに格納されてよい。例えば、媒体は、電話に内在していてよく、サーバから電話にダウンロードされてよく、又は、ストリームからのほんの数フレーム／秒のビデオが、一時的な方法で、電話に格納されてよい。
【００８２】
タッチ画面(542)は、アイフォン等の多くの携帯コンピュータデバイスで見られるディスプレイである。タッチ画面は、タッチアクション(544)を実行するために用いられる内蔵タッチセンサ又はタッチ画面入力センサを含む。ソフトウェアプラットフォームが、内蔵タッチセンサ又はタッチ画面センサを含まない使用状況においては、外部接続された既製のセンサが用いられてよい。既製のソフトウェアフレームワークの使用することで、タッチ、ドラッグ、ピンチ等の形態によるユーザの入力が、タッチセンサ及びタッチ画面センサによって、タッチアクションとして検出できる。
【００８３】
ソフトウェアプラットフォーム上のハードウェアアブストラクションフレームワークによって、タッチアクション形態でのユーザ入力が、ソフトウェアアプリケーションに提供でき、予め記録してある媒体、インターネットからダウンロードされた又はストリームされた共有媒体、或いは、現在記録されているか又はプレビューされている媒体の双方性の表示をユーザに提供する。
【００８４】
ブロック(546)に示すように、多くのソフトウェアプラットフォームは、解凍アルゴリズムを用いて、ビデオフレームシークエンスをデコードするための機能を提供する。一般的なアルゴリズムは、ＡＶＣとＨ．２６４を含んでいる。解凍は、携帯コンピュータデバイスのハードウェア機能、又は、一般的なＣＰＵで起動するソフトウェア、又はそれらの組合せとして実施されてよい。解凍されたビデオフレームは、ビデオフレームバッファ(548)へ送られる。
【００８５】
多くのソフトウェアプラットフォームは、ブロック(550)に示されるように、解凍アルゴリズムを用いて、音声データのシークエンスをデコードするための機能を提供する。ある一般的なアルゴリズムは、ＡＡＣである。解凍は、携帯コンピュータデバイスのハードウェア機能、又は、一般的なＣＰＵで起動するソフトウェア、又はそれらの組合せとして実施されることができる。解凍された音声フレームは、音声フレームバッファ(552)に送られて、スピーカ(554)に出力される。
【００８６】
ビデオフレームバッファ(548)は、多くの既製のソフトウェアフレームワークにより提供されるハードウェアアブストラクションであり、解凍されたビデオの１又は複数のフレームを記録する。これらのフレームは、様々な用途についてソフトウェアで取り出される。
【００８７】
音声バッファ(552)は、公知の既製のソフトウェアフレームワークを用いて実施できるハードウェアアブストラクションであり、解凍されたある長さの音声を記憶する。このデータは、音声圧縮及び記憶(記録)のために、ソフトウェアによって、取り出される。
【００８８】
テクスチャマップ(556)は、ビデオバッファからソフトウェアによって、取り出されるシングルフレームである。このフレームは、連続したビデオを表示するために、ビデオフレームバッファから周期的にリフレッシュされてよい。
【００８９】
位置、向き及び速度のデコードブロック(558)における機能は、媒体ソースのビデオ部分への現時点におけるオフセットのために、位置、向き及び速度データを媒体ソースから取り出す。
【００９０】
双方向描画(560)は、ユーザ入力(タッチアクション)、(テクスチャマップを介した)媒体ソースからの静止画又は動画データ、及び媒体ソースからの移動データを組み合わせて、予め記録された媒体、ネットワーク上ダウンロード又はストリームされた共有媒体の視像をユーザが制御可能とする。ユーザ入力が、リアルタイムで用いられて、視像方向とズームが決定される。テクスチャマップが、球面、円筒、立方体、又はその他の幾何学形状のメッシュの頂部に適用されて、視像の仮想シーンをもたらし、各頂部の所望の角度座標を、テクスチャからの既知の角度座標と関連づける。最後に、視像は、装置のピッチ、ヨー、及びロールの変化を考慮に入れて、方向データを用いて調整できる。
【００９１】
双方性描画からの情報が用いられて、アイフォンの画面等の内蔵表示デバイス(562)、又は外部接続された表示デバイスの何れかに視覚的な出力を生成する。
【００９２】
アイフォンのスピーカ等の内蔵スピーカデバイス、又は外部接続スピーカデバイスの何れかを用いて、スピーカは、双方向性描画により表示されているビデオと同期して、音声バッファからの音声出力を提供する。複数チャネルの音声データが、既知の向きにて複数のマイクロフォンから記録される場合、音声フィールドが、再生中回転して、双方性描画の表示と空間的に同期してよい。
【００９３】
本発明の実施形態によるシステムの幾つかの用途及び使用例には、モーショントラッキング、ソーシャルネットワーキング、３６０度マッピングツーリング、安全監視、及び、軍事的運用が含まれる。
【００９４】
モーショントラッキングでは、処理ソフトウェアが書き込まれて、対象物(人、乗り物、その他)の動きを検出して、追尾して、これらの対象物に追従する視像を表示してよい。
【００９５】
ソーシャルネットワーキング及びエンターテイメントやスポーツイベント用として、処理ソフトウェアは、複数のデバイスから、１つのライブイベントの複数の眺めを提供できる。衛星による測定データ(geo-positioning  data)を用いて、ソフトウェアは、現在又は前回の何れかで近接範囲内の他のデバイスの媒体を表示してよい。各デバイスは、(ＹｏｕＴｕｂｅ（登録商標）又はｆｌｉｃｋｒ（登録商標）のような)個人メディアのｎ方向共有に用いることができる。イベントの幾つかの例には、コンサートやスポーツイベントがあり、複数のデバイスのユーザが、彼ら各自のビデオデータ(例えば、会場にてユーザの場所から取られた画像)をアップロードすることができ、様々なユーザが、ビデオデータの画像を見るための望ましい視点を選択できる。ソフトウェアはまた、一方向(プレゼンテーションスタイル、即ち、一方向又は双方向の音声通信と一方向のビデオ送信)、双方向(会議室と会議室)、ｎ方向構成(複数の会議室又は会議環境)の電話会議用の装置を使用するために、提供されてもよい。
【００９６】
３６０度マッピング及びツーリングにおいては、処理ソフトウェアが書き込まれて、１つ又は複数のデバイス及び利用者によって時間とともに提供される地理空間データと複数の眺めを用いて、道路、建物及び景観の３６０度マッピングを実施する。装置は更に、地上の乗り物又は航空機に取り付けられてよく、或いは、自律／半自律の無人機と組み合わせて用いることもできる。得られたビデオ媒体はまた、キャプチャされたストリートルート、建物内部、又飛行旅行に沿ったバーチャルツアーを提供するために、再生できる。得られたビデオ媒体はまた、利用者が要求した場所に基づいて、個々のフレームとして再生でき、任意の３６０度ツアーを提供する(フレーム統合及び挿入技術が適用されてよく、異なるビデオのフレーム間の転移を容易にし、或いは、表示されたフレームから、一時的に設備、乗り物や人を除去する）。
【００９７】
安全監視では、装置は、移動式及び据置型の装置に装着されてよく、ロープロファイル(low  profile)防犯カメラ、交通カメラ又は警察車両カメラとして使用される。１又は複数の装置がまた、犯行現場で使用されてよく、３６０度の視野で、科学捜査の証拠を集めることができる。光学デバイスは、耐久性を高めた記録デバイスと対にされて、様々な車輌ビデオのブラックボックスの一部として機能してよく、内部、外部、又はその両方に取り付けられて、事故迄の所定の長さ時間のビデオデータを、同時に提供することができる。
【００９８】
軍事用途では、１人で携行できる車両搭載システムが、火炎検出に用いられてよく、即座に敵軍の位置を決定できる。複数のデバイスが、１つの作戦領域内で用いられて、複数の対象物又は位置の複数の眺めが提供されてよい。１人で携行できるシステムとして搭載される場合、装置が使用されて、そのユーザに、現下の環境についてより良好な状況認識が与えられる。据付型装置として搭載される場合、装置は、隠された又は偽装された多くの装置と共に、遠隔監視用に用いられてよい。装置は、３６０度熱検出用赤外線等の非可視光のスペクトルをカメラに与えるように構成されてよい。
【００９９】
本発明の特定の態様を、例示のために説明したが、本発明の詳細の様々な変形が、本発明の範囲から逸脱することなく可能であることは、当業者には明らかである。
【図１Ａ】
2014517569.tif 000007
【図１Ｂ】
2014517569.tif 000008
【図１Ｃ】
2014517569.tif 000009
【図２Ａ】
2014517569.tif 000010
【図２Ｂ】
2014517569.tif 000011
【図２Ｃ】
2014517569.tif 000012
【図３Ａ】
2014517569.tif 000013
【図３Ｂ】
2014517569.tif 000014
【図３Ｃ】
2014517569.tif 000015
【図３Ｄ】
2014517569.tif 000016
【図３Ｅ】
2014517569.tif 000017
【図３Ｆ】
2014517569.tif 000018
【図４Ａ】
2014517569.tif 000019
【図４Ｂ】
2014517569.tif 000020
【図４Ｃ】
2014517569.tif 000021
【図５Ａ】
2014517569.tif 000022
【図５Ｂ】
2014517569.tif 000023
【図６Ａ】
2014517569.tif 000024
【図６Ｂ】
2014517569.tif 000025
【図７Ａ】
2014517569.tif 000026
【図７Ｂ】
2014517569.tif 000027
【図８Ａ】
2014517569.tif 000028
【図８Ｂ】
2014517569.tif 000029
【図９Ａ】
2014517569.tif 000030
【図９Ｂ】
2014517569.tif 000031
【図９Ｃ】
2014517569.tif 000032
【図１０Ａ】
2014517569.tif 000033
【図１０Ｂ】
2014517569.tif 000034
【図１１Ａ】
2014517569.tif 000035
【図１１Ｂ】
2014517569.tif 000036
【図１１Ｃ】
2014517569.tif 000037
【図１１Ｄ】
2014517569.tif 000038
【図１１Ｅ】
2014517569.tif 000039
【図１２Ａ】
2014517569.tif 000040
【図１２Ｂ】
2014517569.tif 000041
【図１２Ｃ】
2014517569.tif 000042
【図１３】
2014517569.tif 000043
【図１４】
2014517569.tif 000044
【図１５】
2014517569.tif 000045
【図１６Ａ】
2014517569.tif 000046
【図１６Ｂ】
2014517569.tif 000047
【図１７】
2014517569.tif 000048
【図１８】
2014517569.tif 000049
【図１９Ａ】
2014517569.tif 000050
【図１９Ｂ】
2014517569.tif 000051
【図２０】
2014517569.tif 000052
【図２１】
2014517569.tif 000053
【図２２】
2014517569.tif 000054
【図２３】
2014517569.tif 000055
【国際調査報告】
2014517569.tif 000056
2014517569.tif 000057
2014517569.tif 000058
2014517569.tif 000059
2014517569.tif 000060
2014517569.tif 000061
2014517569.tif 000062