(57)【要約】  カメラシステムは、局所領域の３６０度の画像情報であってその少なくとも一部がステレオである画像情報を複数のカメラを介して取り込むように構成されている。カメラシステムは、複数のカメラについてそれぞれの露出設定を決定する。決定された露出設定から最低シャッタ速度と最高シャッタ速度が決定される。決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットが決定される。テスト露出設定のセット内の各テスト露出設定で複数のカメラを使用してテスト画像のセットが取り込まれる。テスト画像の各セットは、同じそれぞれのテスト露出設定を用いて取り込まれる複数のカメラの各々からの画像を含む。取り込まれたテスト画像のセットに基づいて、グローバル露出設定が選択される。選択されたグローバル露出設定が複数のカメラに適用される。
2019516295.tif 000002
【特許請求の範囲】
【請求項１】
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラについてそれぞれの露出設定を決定すること、
前記決定された露出設定から最低シャッタ速度と最高シャッタ速度を決定すること、
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記セット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて同時に取り込まれる前記複数のカメラの各々からの画像を含む、前記テスト画像のセットを取り込むこと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用すること、
を備える方法。
【請求項２】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
を含む、請求項１に記載の方法。
【請求項３】
前記１つまたは複数のテストシャッタ速度が前記最低シャッタ速度と前記最高シャッタ速度との間で均等に分布している、請求項２に記載の方法。
【請求項４】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値以下であると決定したことに応答して、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値より大きいと決定したことに応答して、
複数のテストゲイン値を決定すること、
前記複数のテストゲイン値についてそれぞれのテスト露出設定を生成することであって、前記テスト露出設定の各々でのシャッタ速度と絞りが同じである、前記テスト露出設定を生成すること、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記時間閾値が、前記複数のカメラによって取り込まれた動画のフレームレートの逆数に対応する期間である、請求項５に記載の方法。
【請求項７】
前記テスト露出設定の各々でのシャッタ速度が前記時間閾値である、請求項５に記載の方法。
【請求項８】
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択することは、
前記取り込まれたテスト画像のセットを使用して強度分布を決定すること、
前記強度分布の１つまたは複数に選択基準を適用すること、
前記選択基準を満たすテスト露出設定に関連付けられた強度分布に部分的に基づいたテスト露出設定をグローバル露出設定として選択すること、
を含む、請求項１に記載の方法。
【請求項９】
前記選択基準は、ある値の範囲内のヒストグラムの平坦さ、閾値数未満の前記強度分布内の飽和ピクセルの割合、黒つぶれを有する前記強度分布内のピクセルの割合、閾値未満の画像ノイズ値、閾値未満のゲイン値、および飽和しない最小ゲイン値からなる群から選択される、請求項８に記載の方法。
【請求項１０】
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラについてそれぞれの露出設定を決定すること、
前記決定された露出設定から最低シャッタ速度と最高シャッタ速度を決定すること、
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記セット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて取り込まれる前記複数のカメラの各々からの画像を含む、前記テスト画像のセットを取り込むこと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用すること、
を備える方法。
【請求項１１】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
を含む、請求項１０に記載の方法。
【請求項１２】
前記１つまたは複数のテストシャッタ速度が前記最低シャッタ速度と前記最高シャッタ速度との間で均等に分布している、請求項１１に記載の方法。
【請求項１３】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値以下であると決定したことに応答して、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
をさらに含む、請求項１０に記載の方法。
【請求項１４】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値より大きいと決定したことに応答して、
複数のテストゲイン値を決定すること、
前記複数のテストゲイン値についてそれぞれのテスト露出設定を生成することであって、前記テスト露出設定の各々でのシャッタ速度と絞りが同じである、前記テスト露出設定を生成すること、
をさらに含む、請求項１０に記載の方法。
【請求項１５】
前記時間閾値は、前記複数のカメラによって取り込まれた動画のフレームレートの逆数に対応する期間である、請求項１４に記載の方法。
【請求項１６】
前記テスト露出設定の各々でのシャッタ速度が前記時間閾値である、請求項１４に記載の方法。
【請求項１７】
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択することは、
前記取り込まれたテスト画像のセットを使用して強度分布を決定すること、
前記強度分布の１つまたは複数に選択基準を適用すること、
前記選択基準を満たすテスト露出設定に関連付けられた強度分布に部分的に基づいたテスト露出設定をグローバル露出設定として選択すること、
を含む、請求項１０に記載の方法。
【請求項１８】
前記選択基準は、ある値の範囲内のヒストグラムの平坦さ、閾値数未満の前記強度分布内の飽和ピクセルの割合、黒つぶれを有する前記強度分布内のピクセルの割合、閾値未満の画像ノイズ値、閾値未満のゲイン値、および飽和しない最小ゲイン値からなる群から選択される、請求項１７に記載の方法。
【請求項１９】
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラについてそれぞれの露出設定を決定することであって、前記複数のカメラからの閾値距離の外側で局所領域の一部分における物体が少なくとも２つのカメラの視野内に存在する、前記露出設定を決定すること、
前記決定された露出設定から最低シャッタ速度と最高シャッタ速度を決定すること、
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記セット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて同時に取り込まれる前記複数のカメラの各々からの画像を含む、前記テスト画像のセットを取り込むこと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用すること、
を備える方法。
【請求項２０】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
を含む、請求項１９に記載の方法。
【請求項２１】
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラについてそれぞれの露出設定を決定すること、
前記決定された露出設定から最低シャッタ速度と最高シャッタ速度を決定すること、
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記セット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて取り込まれる前記複数のカメラの各々からの画像を含む、前記テスト画像のセットを取り込むこと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用すること、
を備える方法。
【請求項２２】
前記テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて同時に取り込まれる前記複数のカメラの各々からの画像を含む、請求項２１に記載の方法。
【請求項２３】
前記複数のカメラからの閾値距離の外側で局所領域の一部分における物体が少なくとも２つのカメラの視野内に存在する、請求項２１または２２に記載の方法。
【請求項２４】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
を含む、請求項２１〜２３のうちのいずれか一項に記載の方法。
【請求項２５】
１つまたは複数のテストシャッタ速度が前記最低シャッタ速度と前記最高シャッタ速度との間で均等に分布している、請求項２１〜２４のうちのいずれか一項に記載の方法。
【請求項２６】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値以下であると決定したことに応答して、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
をさらに含む、請求項２１〜２５のうちのいずれか一項に記載の方法。
【請求項２７】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値より大きいと決定したことに応答して、
複数のテストゲイン値を決定すること、
前記複数のテストゲイン値についてそれぞれのテスト露出設定を生成することであって、前記テスト露出設定の各々でのシャッタ速度と絞りが同じである、前記テスト露出設定を生成すること、
をさらに含む、請求項２１〜２６のうちのいずれか一項に記載の方法。
【請求項２８】
前記時間閾値が、前記複数のカメラによって取り込まれた動画のフレームレートの逆数に対応する期間である、請求項２１〜２７のうちのいずれか一項に記載の方法。
【請求項２９】
前記テスト露出設定の各々でのシャッタ速度が前記時間閾値である、請求項２１〜２８のうちのいずれか一項に記載の方法。
【請求項３０】
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択することは、
前記取り込まれたテスト画像のセットを使用して強度分布を決定すること、
前記強度分布の１つまたは複数に選択基準を適用すること、
前記選択基準を満たすテスト露出設定に関連付けられた強度分布に部分的に基づいたテスト露出設定をグローバル露出設定として選択すること、
を含む、請求項２１〜２９のうちのいずれか一項に記載の方法。
【請求項３１】
前記選択基準は、ある値の範囲内のヒストグラムの平坦さ、閾値数未満の前記強度分布内の飽和ピクセルの割合、黒つぶれを有する前記強度分布内のピクセルの割合、閾値未満の画像ノイズ値、閾値未満のゲイン値、および飽和しない最小ゲイン値からなる群から選択される、請求項２１〜３０のうちのいずれか一項に記載の方法。
【請求項３２】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
を含む、請求項２１〜３１のうちのいずれか一項に記載の方法。
【請求項３３】
実行されたときに請求項２１〜３２のうちのいずれか一項に記載の方法を実施するように動作可能なソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体。
【請求項３４】
１つまたは複数のプロセッサと、
前記プロセッサに結合され、前記プロセッサによって実行可能な命令を含む少なくとも１つのメモリと、を備え、前記プロセッサは、前記命令を実行したときに請求項２１〜３２のうちのいずれか一項に記載の方法を実施するように動作可能である、システム。
【請求項３５】
データ処理システム上で実行されたときに請求項２１〜３２のうちのいずれか一項に記載の方法を実施するように動作可能であって、好ましくはコンピュータ可読非一時的記憶媒体を備えるコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概してカメラ撮像に関し、詳しくは３次元（３Ｄ）３６０度カメラシステムの露出制御に関する。
【背景技術】
【０００２】
バーチャルリアリティシステムは、１つまたは複数のカメラで環境の画像および／または動画を取り込む。カメラによって取り込まれた画像および／または動画は、ユーザが対話可能なバーチャルリアリティを作成するために再構築される。１つまたは複数のカメラの構成は、取り込まれた画像の品質、シームレスなバーチャルリアリティ体験のために画像を再構築する能力に影響を及ぼす。したがって、カメラの構成やより低品質の取り込み画像は、ユーザのバーチャルリアリティ体験に悪影響を及ぼす可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
従来の３６０度カメラは、単一の３６０度フレームに複数のフレームをともにステッチングすることによって動作する。各フレームは、異なる照明条件を受けることがあり、その場合、フレームの１つまたは複数について異なる露出設定（たとえば、絞り、シャッタ速度、フィルム速度、ゲインなど）がもたらされ得る。露出設定が異なると、異なる露出設定を有するフレームを使用して不十分な３６０度画像が生成され得る。たとえば、異なるフレームに関連付けられた部分間で３６０度画像の明るさが変動することや、シャッタ速度の違いにより画像の一部分で移動物体のぼけが生じることや、絞りの違いにより３６０度画像内で被写界深度の変動が生じることや、ゲインの違いにより３６０度画像の一部分に過大なノイズが生じることがある。
【課題を解決するための手段】
【０００４】
カメラシステムは、局所領域の３６０度にわたる画像情報（たとえば、画像、動画など）であってその少なくとも一部分がステレオである画像情報を複数のカメラにより取り込むように構成されている。カメラアセンブリは処理サーバに画像情報を送り、処理サーバは画像情報から局所領域の３Ｄ３６０度コンテンツを生成する。３Ｄ３６０度コンテンツは、カメラアセンブリの３６０度視野に関連付けられ、３Ｄでレンダリングされ得るメディアコンテンツであり、たとえば画像、動画、オーディオ情報、またはそれらの任意の組み合わせである。
【０００５】
高品質で自然に見える３Ｄ３６０度コンテンツの生成を容易にするために、カメラシステムは、グローバル露出設定およびグローバルシャッタ設定を使用する。たとえば、いくつかの実施形態では、カメラシステムは、各カメラが同時に画像情報を取り込むようにグローバルシャッタを使用して複数のカメラをトリガする。また、カメラシステムは、グローバル露出設定を複数のカメラの各々に適用する。グローバル露出設定は、カメラシステム内のすべてのカメラに適用される単一の露出設定である。グローバルシャッタ設定は、自然に見える３Ｄ３６０度コンテンツの生成を容易にする。
【０００６】
カメラシステムは、複数のカメラにより取り込まれたテスト画像を使用してグローバル露出設定を決定する。カメラシステムは、局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が局所領域の３６０度に及ぶ複数のカメラの露出設定を決定する。各カメラが異なる視野を有する場合、各カメラは、複数のカメラのうちの他のカメラとは異なる露出設定を有し得る。決定された露出設定から最低シャッタ速度と最高シャッタ速度が決定される。また、決定された最低シャッタ速度と最高シャッタ速度を使用してテスト露出設定のセットが決定される。カメラシステムは、決定された最低シャッタ速度と最高シャッタ速度を使用してテスト露出設定のセットを決定する。カメラシステムは、セット内の各テスト露出設定で複数のカメラを使用してテスト画像のセットを取り込む。テスト画像の各セットは、同じそれぞれのテスト露出設定を使用して取り込まれる複数のカメラの各々からの画像を含む。グローバル露出設定は、取り込まれたテスト画像群に基づいて選択される。選択されたグローバル露出設定は複数のカメラに適用される。
【０００７】
本発明による実施形態は、特に、方法、記憶媒体、システム、およびコンピュータプログラム製品を対象とする添付の特許請求の範囲に開示されており、ある請求項のカテゴリ、たとえば方法に記載の任意の特徴は、別の請求項のカテゴリ、たとえばシステムにおいても特許請求され得る。添付の特許請求の範囲における従属項の参照は単に形式的な理由で選ばれる。しかしながら、任意の先行する請求項に対する意図的な参照（特に多項従属）に起因する任意の主題もまた特許請求され得る。その結果、請求項の任意の組み合わせおよびその特徴は、添付の特許請求の範囲において選択された従属関係に関わりなく開示され、特許請求され得る。特許請求され得る主題は、添付の特許請求の範囲に記載の特徴の組み合わせだけでなく、特許請求の範囲における任意の他の特徴の組み合わせも含み、特許請求の範囲に記載の各特徴は、特許請求の範囲における任意の他の特徴かまたはそれら他の特徴の組み合わせと組み合わせることができる。さらに、本明細書に記載のまたは本明細書に示されている実施形態および特徴のいずれも、別々の請求項において、および／または本明細書に記載のまたは本明細書に示されている任意の実施形態や特徴との任意の組み合わせまたは添付の特許請求の範囲のいずれかの特徴との任意の組み合わせで特許請求され得る。
【０００８】
本発明による実施形態では、方法は、
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラについてそれぞれの露出設定を決定すること、
前記決定された露出設定から最低シャッタ速度と最高シャッタ速度を決定すること、
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記セット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を使用して取り込まれる（任意で同時に取り込まれる）複数のカメラの各々からの画像を含むことと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用することを備え得る。
【０００９】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成することを含み得る。
【００１０】
前記１つまたは複数のテストシャッタ速度は前記最低シャッタ速度と前記最高シャッタ速度との間で均等に分布し得る。
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値以下であると決定したことに応答して、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成することを含み得る。
【００１１】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値より大きいと決定したことに応答して、
複数のテストゲイン値を決定すること、
前記複数のテストゲイン値についてそれぞれのテスト露出設定を生成することであって、前記テスト露出設定の各々でのシャッタ速度と絞りが同じである、前記テスト露出設定を生成することを含み得る。
【００１２】
前記時間閾値は、前記複数のカメラによって取り込まれた動画のフレームレートの逆数に対応する期間であり得る。
前記テスト露出設定の各々でのシャッタ速度が前記時間閾値であり得る。
【００１３】
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択することは、
前記取り込まれたテスト画像のセットを使用して強度分布を決定すること、
前記強度分布の１つまたは複数に選択基準を適用すること、
前記選択基準を満たすテスト露出設定に関連付けられた強度分布に部分的に基づいたテスト露出設定をグローバル露出設定として選択することを含み得る。
【００１４】
前記選択基準は、ある値の範囲内のヒストグラムの平坦さ、閾値数未満の前記強度分布内の飽和ピクセルの割合、黒つぶれを有する前記強度分布内のピクセルの割合、閾値未満の画像ノイズ値、閾値未満のゲイン値、および飽和しない最小ゲイン値からなる群から選択され得る。
【００１５】
本発明による実施形態では、方法は、
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラについてそれぞれの露出設定を決定すること、
前記決定された露出設定から最低シャッタ速度と最高シャッタ速度を決定すること、
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記セット内の各テスト露出設定で複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて取り込まれる前記複数のカメラの各々からの画像を含むことと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用することを備え得る。
【００１６】
前記テスト画像の各セットは、同じそれぞれのテスト露出設定を用いて同時に取り込まれる前記複数のカメラの各々からの画像を含み得る。
前記複数のカメラからの閾値距離の外側では局所領域の一部分における物体が少なくとも２つのカメラの視野内に存在し得る。
【００１７】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成することを含み得る。
【００１８】
前記１つまたは複数のテストシャッタ速度は前記最低シャッタ速度と前記最高シャッタ速度との間で均等に分布し得る。
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値以下であると決定したことに応答して、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成することを含み得る。
【００１９】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値より大きいと決定したことに応答して、
複数のテストゲイン値を決定すること、
前記複数のテストゲイン値についてそれぞれのテスト露出設定を生成することであって、前記テスト露出設定の各々でのシャッタ速度と絞りが同じである、前記テスト露出設定を生成することを含み得る。
【００２０】
前記時間閾値は、前記複数のカメラによって取り込まれた動画のフレームレートの逆数に対応する期間であり得る。
前記テスト露出設定の各々でのシャッタ速度が前記時間閾値であり得る。
【００２１】
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択することは、
前記取り込まれたテスト画像のセットを使用して強度分布を決定すること、
前記強度分布の１つまたは複数に選択基準を適用すること、
前記選択基準を満たすテスト露出設定に関連付けられた強度分布に部分的に基づいたテスト露出設定をグローバル露出設定として選択することを含み得る。
【００２２】
前記選択基準は、ある値の範囲内のヒストグラムの平坦さ、閾値数未満の前記強度分布内の飽和ピクセルの割合、黒つぶれを有する前記強度分布内のピクセルの割合、閾値未満の画像ノイズ値、閾値未満のゲイン値、および飽和しない最小ゲイン値からなる群から選択され得る。
【００２３】
本発明による実施形態では、方法は、
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラについてそれぞれの露出設定を決定することであって、任意で、前記複数のカメラからの閾値距離の外側で局所領域の一部分における物体が少なくとも２つのカメラの視野内に存在する、前記露出設定を決定すること、
前記決定された露出設定から最低シャッタ速度と最高シャッタ速度を決定すること、
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記セット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて同時に取り込まれる前記複数のカメラの各々からの画像を含む、前記テスト画像のセットを取り込むこと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用することを備え得る。
【００２４】
前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成することを含み得る。
【００２５】
本発明による実施形態では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、実行されたときに本発明による方法または上述の実施形態のいずれかを実施するように動作可能なソフトウェアを具現化し得る。
【００２６】
本発明による実施形態では、システムは、１つまたは複数のプロセッサと、前記プロセッサに結合され、前記プロセッサによって実行可能な命令を含む少なくとも１つのメモリと、を備え得る。前記プロセッサは、前記命令を実行したときに本発明による方法または上述の実施形態のいずれかを実施するように動作可能である。
【００２７】
本発明による実施形態では、コンピュータプログラム製品は好ましくはコンピュータ可読非一時的記憶媒体を備え、データ処理システム上で実行されたときに本発明による方法または上述の実施形態のいずれかを実施するように動作可能であり得る。
【図面の簡単な説明】
【００２８】
【図１】一実施形態によるバーチャルリアリティシステム用の３Ｄ３６０度コンテンツを生成するシステムの一実施形態を示す高レベルブロック図。
【図２Ａ】一実施形態による画像情報を取り込むカメラアセンブリの斜視図。
【図２Ｂ】一実施形態による図２Ａに示されたカメラアセンブリの上面図。
【図２Ｃ】一実施形態による図２Ａに示されたカメラアセンブリの側面図。
【図２Ｄ】一実施形態による画像情報を取り込むカメラアセンブリの側面図。
【図３】一実施形態によるカメラシステム内のモジュールの詳細を示す高レベルブロック図。
【図４】一実施形態によるカメラアセンブリのグローバル露出設定を決定する方法のフローチャート。
【図５】一実施形態による異なるテスト露出設定における強度分布グループの図。
【図６】一実施形態による異なるテスト露出設定における別の強度分布グループの図。
【図７】一実施形態による画像情報から生成される３Ｄ３６０度コンテンツの図。
【図８】一実施形態によるカメラシステム用のユーザインターフェースの図。
【発明を実施するための形態】
【００２９】
添付の図は、例示を目的として本開示の実施形態を示しているにすぎない。当業者であれば、以下の説明から、本明細書に記載されている構造および方法の代替の実施形態を、本明細書に記載された開示の原理または主張されている利益から逸脱することなしに使用できることを容易に理解し得る。
【００３０】
図１は、一実施形態による、バーチャルリアリティシステム用の３Ｄ３６０度コンテンツを生成するためのシステム１００の一実施形態を示す高レベルブロック図である。システム１００は、ユーザデバイス１１０をデータストア１２０、カメラシステム１３０、および処理サーバ１４０に接続するネットワーク１０５を含む。図１の実施形態では、ユーザデバイス１１０が１つだけ示されているが、このエンティティの複数のインスタンスが存在し得る。たとえば、ネットワーク１０５を介してデータストア１２０、カメラシステム１３０、および処理サーバ１４０に結合された複数のユーザデバイス１１０が存在し得る。
【００３１】
ネットワーク１０５は、ユーザデバイス１１０とデータストア１２０とカメラシステム１３０と処理サーバ１４０との間の通信インフラストラクチャを提供する。ネットワーク１０５は、典型的にはインターネットであるが、これらのみに限定されないが、ローカルエリアネットワーク（ＬＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、モバイル有線もしくは無線ネットワーク、プライベートネットワーク、または仮想プライベートネットワークを含む任意のネットワークとすることができる。
【００３２】
ユーザデバイス１１０は、ユーザがカメラシステム１３０用のユーザインターフェースを見ることを可能にするコンピュータプログラムモジュール、たとえばウェブ対応ブラウザ１５０または他の任意のクライアントアプリケーションを実行するコンピューティングデバイスである。ユーザデバイス１１０は、たとえばパーソナルコンピュータ、タブレットコンピュータ、スマートフォン、ラップトップコンピュータ、または他のタイプのネットワーク対応デバイスとすることができる。
【００３３】
データストア１２０は、カメラシステム１３０および処理サーバ１４０からの画像情報を記憶する。いくつかの実施形態では、データストア１２０は、クラウドベースのものとすることができ、ネットワーク１０５を介してカメラシステム１３０および処理サーバ１４０によってアクセスされる。データストア１２０は、カメラシステム１３０から直接、画像情報を受信し記憶し得るか、または画像情報が処理された後で処理サーバ１４０から画像情報を受信し記憶し得る。一実施形態では、データストア１２０は、処理サーバ１４０の一部である。別の実施形態では、データストア１２０は、サードパーティのストレージプロバイダによって維持されるアーカイブである。
【００３４】
カメラシステム１３０は、カメラシステム１３０を取り巻く局所領域の取り込み画像および／またはオーディオ情報を使用して画像情報を生成する。カメラシステム１３０は、局所領域の３６０度ビューを取り込むように配置されたカメラのアセンブリを含む。図１の実施形態では、このアセンブリは、剛性の表面または構造に取り付けられた複数のカメラを含む。複数のカメラの少なくとも一部分は、隣り合うカメラが局所領域のステレオ画像を作り出し得る。カメラシステム１３０の実施形態については、図２Ａ、図２Ｂ、図２Ｃ、および図３に関して以下で詳細に説明する。
【００３５】
局所領域は、カメラシステム１３０を取り巻く環境である。たとえば、局所領域は、カメラシステム１３０が中にある部屋であってもよく、またはカメラシステム１３０は、屋外にあってもよく、局所領域は、カメラシステム１３０にとって見ることができる屋外領域である。画像情報は、カメラシステム１３０によって出力される情報である。画像情報は、たとえば１つまたは複数の画像、オーディオ情報（たとえば、１つまたは複数のマイクロフォンによって取り込まれる音）、動画情報、メタデータ、またはそれらの任意の組み合わせを含み得る。メタデータは、画像情報に関連付けられた追加情報である。メタデータは、たとえばフレームレート、露出設定（たとえば、絞り、シャッタ速度、ゲインなど）、著作権情報、日付／時間情報、カメラ識別子、名前、ラベル、画像情報に関連付けられた他の任意の情報、またはそれらの任意の組み合わせを含み得る。カメラシステム１３０は、画像情報をバッファし記憶するメモリストレージを含む。いくつかの実施形態では、カメラシステム１３０は、外部データストアに（たとえば、任意の有線接続および／または無線接続を介して）ローカルで結合され得る。いくつかの実施形態では、カメラシステム１３０は、ネットワーク１０５を介して画像情報を処理サーバ１４０に送るように構成される。代替の実施形態では、カメラシステム１３０は、画像情報を処理し、高解像度で３Ｄ３６０度コンテンツを形成するように構成される。たとえば、３Ｄ３６０度コンテンツの動画コンテンツは、たとえば４Ｋ、６Ｋ，８Ｋ解像度、またはカメラシステム１３０によってサポートされる任意の他の解像度とすることができる。
【００３６】
カメラシステム１３０は、局所領域の画像情報を取り込むためにユーザから命令を受信する。たとえば、カメラシステム１３０は、ユーザがたとえばユーザデバイス１１０上のウェブ対応ブラウザ１５０を使用して、ネットワーク１０５を介してカメラシステム１３０を制御することを可能にするウェブサーバを含むことができる。カメラシステム１３０は、カメラシステム１３０内の１つまたは複数のカメラからの情報を使用してグローバル露出設定（たとえば、ゲイン、シャッタ速度、絞り）を決定し、そのグローバル露出設定をカメラシステム１３０内のすべてのカメラに適用する。したがって、各カメラは、そのカメラに固有の露出計にかかわらず、グローバル露出設定を使用する。カメラシステム１３０は、グローバルシャッタを使用して画像情報の取り込みを同期し、グローバルシャッタは、カメラシステム１３０内のすべてのカメラを同時に（たとえば、グローバルシャッタを使用する）露出させる（たとえば、グローバル露出設定を使用する）。したがって、１フレームにおける露出と時間の両方がすべての画像情報にわたって一貫したものになる。カメラシステム１３０のためのグローバル露出設定を決定する処理については、図４〜図６に関して下記でさらに詳細に述べる。
【００３７】
処理サーバ１４０は、画像情報を使用して３Ｄ３６０度コンテンツを生成する。３Ｄ３６０度コンテンツは、カメラシステム１３０の３６０度視野および奥行き情報を含むその少なくとも一部分に関連付けられたメディアコンテンツであり、３次元（３Ｄ）でレンダリングされ得る。３Ｄ３６０度コンテンツは、たとえば画像、動画、オーディオ情報、またはそれらの任意の組み合わせを含み得る。処理サーバ１４０は、高解像度の３Ｄ３６０度コンテンツを生成し得る。たとえば、３Ｄ３６０度コンテンツの動画コンテンツは、たとえば４Ｋ、６Ｋ、８Ｋ解像度、またはカメラシステム１３０によってサポートされる任意の他の解像度とすることができる。たとえば、３Ｄ３６０度コンテンツは局所領域の動画であってもよい。動画は、カメラシステム１３０で撮像された画像を合体した表現であり、周辺カメラで撮像された画像に対応する動画の３Ｄ部分でレンダリングされる。
【００３８】
処理サーバ１４０は、カメラシステム１３０、データストア１２０、またはそれらの任意の組み合わせから画像情報を受信する。処理サーバ１４０は、コンピュータ実装命令のセットによって実施されるアルゴリズムで３Ｄ３６０度コンテンツを作成するように構成される。このアルゴリズムは、同じ時間値（たとえば、同時に取り込まれたことをメタデータが示す）に関連付けられた画像情報内で画像のセットを識別し、それらの画像を３Ｄ３６０度コンテンツの単一のフレームに合体する。さらに、処理サーバ１４０は、異なる時間に関連付けられた３Ｄ３６０度コンテンツの複数のフレームをともに結合することによって動画ファイルを生成し得る。３Ｄ３６０度コンテンツは、処理サーバ１４０によって出力され、後でアクセスするためにデータストア１２０内に記憶することができる。
【００３９】
システム１００は、ユーザが局所領域の画像情報を取り込み、たとえばバーチャルリアリティ（ＶＲ）環境または他の任意の環境（たとえば、拡張現実および／または複合現実）で使用され得るその局所領域の３Ｄ３６０度コンテンツを構築可能とすることが有益である。システム１００は、剛性構造、同期動作、およびウェブベースのインターフェースを有する。カメラシステム１３０の剛性は、各カメラが位置合わせされ較正された後、複数のカメラが互いに対して動くのを防止し、３Ｄ３６０度コンテンツを構築するために画像情報を処理し、画像をともに融合するのをより容易にする。複数のカメラの同時性は、グローバル設定が各カメラに適用されることを可能にし、取り込まれる画像情報の品質を改善し、これは構築される３Ｄ３６０度コンテンツの品質を改善する。ウェブベースのインターフェースは、ユーザが、システム１００をセットアップし、取り込み画像情報をプレビューし、グローバル設定を適用し、画像情報を処理し、３Ｄ３６０度コンテンツにアクセスし、それを使用または記憶するための使いやすさを提供する。
【００４０】
図２Ａは、一実施形態による、画像情報を取り込むためのカメラアセンブリ２００の斜視図を示す。いくつかの実施形態では、カメラアセンブリ２００は、システム１００内のカメラアセンブリの一実施形態である。あるいは、カメラアセンブリ２００は、他の任意のシステムの一部であり得る。カメラアセンブリ２００のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。また、本明細書に記載のものとは異なる形態で、機能が構成要素間で分散されてもよい。
【００４１】
下記により詳細に記載されているように、カメラアセンブリ２００は、局所領域の取り込み画像および／またはオーディオ情報を使用して画像情報を生成する。カメラアセンブリ２００は、天板２０２と、底板２０４と、上部軸マウント２０６と、下部軸マウント２０８（図２Ｃに図示）と、複数の周辺カメラ２１０と、上部軸カメラ２１２および下部軸カメラ２１４（図２Ｃに図示）を含む複数の軸カメラとを含む。天板２０２、底板２０４、上部軸マウント２０６、下部軸マウント２０８（図２Ｃに図示）、上部軸カメラ２１２、および下部軸カメラ２１４（図２Ｃに図示）は、位置合わせ軸２１６に沿って位置合わせされる。複数の周辺カメラ２１０は、位置合わせ軸２１６によって二分される中心点２１８周りで輪を形成するように配置される。天板２０２は、周辺カメラ２１０の輪の上面に結合され、底板２０４は、周辺カメラ２１０の輪の底面に結合される。この構成は、周辺カメラ２１０の振動および過熱を防止し、３Ｄ３６０度コンテンツ内の３Ｄコンテンツの部分を生成するために使用される高品質画像および／または動画を周辺カメラ２１０が取り込むことを可能にする剛性構造を生み出す。
【００４２】
天板２０２は、複数の周辺カメラ２１０および１つまたは複数の軸カメラ（たとえば、上部軸カメラ２１２）を固定するように構成される。天板２０２は、上面２２０、底面２２２、および複数の固定機構２２４を含む。天板２０２は、剛性材料から構成され、実質的に円盤形である。剛性材料は、たとえば金属（たとえば、アルミニウム、鋼など）や、剛性プラスチックや、他の任意の剛性材料や、またはそれらの任意の組み合わせとすることができる。上面２２０は、上部軸マウント２０６が位置合わせ軸２１６に沿って心合わせされるように上部軸マウント２０６を天板２０２に結合する。天板２０２の周囲に沿って、複数の固定機構２２４がある。各固定機構２２４は、周辺カメラ２１０を天板２０２の底面２２２に固定するように構成される。たとえば、固定機構２２４は、天板２０２を複数の周辺カメラ２１０に結合する機械的な締結具（たとえば、ねじ、ボルト）とすることができる。
【００４３】
底板２０４は、複数の周辺カメラ２１０および１つまたは複数の軸カメラ（たとえば、下部軸カメラ２１４）を固定するように構成され、実質的に天板２０２と同様である。下部軸カメラ２１４は図２Ａに示されておらず、図２Ｃに軸カメラ２１４として示されている。底板２０４は、上面２２６、底面２２８、および複数の固定機構２２４を含む。底板２０４は、剛性材料から構成され、実質的に円盤形である。剛性材料は、たとえば金属（たとえば、アルミニウム、鋼など）や、剛性プラスチックや、他の任意の剛性材料や、またはそれらの任意の組み合わせとすることができる。底面２２８は、下部軸マウント２０８（図２Ａに図示せず）が位置合わせ軸２１６に沿って心合わせされるように下部軸マウント２０８を底板２０４に結合するように構成される。底板２０４の周囲に沿って追加の複数の固定機構２２４が設けられ、各固定機構２２４は、周辺カメラ２１０を底板２０４の上面２２６に固定する。さらに、底面２２８は、カメラシステム１３０に立設支持または取付け支持および安定性をもたらす支持構造に結合するように構成される。支持構造は、様々なマウント（たとえば、一脚、三脚、コドラントポッド（ｑｕａｄｒａｎｔｐｏｄ）、壁面取付けなど）とすることができる。
【００４４】
軸マウントは、天板２０２または底板２０４の表面に対して直角に軸カメラ（たとえば、上部軸カメラ２１２または下部軸カメラ２１４）を固定するように構成される。軸マウントは、実質的に円筒形で、中が中空である。この構成は、軸カメラが天板２０２または底板２０４の表面から垂直方向にオフセットすることを可能にし、軸カメラ２１２、２１４および周辺カメラ２１０の視野があまり重なり合わないようにすることができる。軸カメラに接続するワイヤが、軸マウントの中空部分内に隠されてもよい。図２Ａの実施形態では、上部軸マウント２０６は、天板２０２の上面２２０に結合され、下部軸マウント２０８は、底板２１０の底面２１４に結合される。各軸マウントは、位置合わせ軸２１６に沿って位置合わせされ、軸カメラに安定性をもたらす。
【００４５】
周辺カメラ２１０は、局所領域の３６０度ビューの画像および／または動画を取り込むように構成される。周辺カメラ２１０は、位置合わせ軸２１６によって二分される中心点２１８周りで輪を形成するように配置される。複数の周辺カメラ２１０は、各周辺カメラ２１０の光軸が１つの平面内にあり、各周辺カメラ２１０の視野が中心点２１８から逸れるように、中心点２１８周りに配置される。各周辺カメラ２１０は、隣接する周辺カメラ２１０の隣に、ある距離で、またある角度で配置される。この構成は、取り込まれた画像および／または動画が、３Ｄ３６０度コンテンツに処理された後で、立体視（ステレオとも称される）部分を含むことを可能にする。いくつかの実施形態では、距離は、人の目の間の瞳孔間距離を模す。この模擬瞳孔間距離は、隣り合う周辺カメラ２１０の水平方向視野間の重なり合いの量に依存する。重なり合いの量は、樽型歪曲を補正した後の各周辺カメラ２１０の水平方向視野の関数、および環状構成にある周辺カメラ２１０の角度間隔または数の関数である。たとえば、６．４ｃｍより大きい瞳孔間距離（これは、人の瞳孔間距離についておよそ中間値である）を模す実施形態は、均等に離間された１４の周辺カメラからなり、それぞれが樽型歪曲を補正した後で７７度以上の水平方向視野を有する。この構成は、取り込まれた画像および／または動画が視覚からの人の知覚を模すことを可能にする。周辺カメラ２１０の数は、様々であり得る。周辺カメラ２１０の数は、天板２０２や底板２０４のサイズおよび／または周辺カメラ２１０のそれぞれの視野に依存し得る。図２Ａの実施形態では、輪を形成して環境の３６０度ビューを取り込む１４個の周辺カメラ２１０が設けられている。他の実施形態では、それよりも多いまたはそれよりも少ない周辺カメラ２１０が設けられ得る。
【００４６】
周辺カメラ２１０は、センサ（図示せず）、レンズ２３０、およびカメラコントローラ（図示せず）を含む。センサは、感光性ピクセルのアレイを使用して光を取り込む電気デバイスであり、各ピクセルは、光を電子信号に変換する。センサは、解像度、ピクセルサイズおよび感度、光感度、シャッタのタイプ、ならびに信号処理のタイプなど、様々な特徴を有することができる。レンズ２３０は、光をセンサ上に集束するのを容易にするカメラの１つまたは複数の光学要素である。レンズは、焦点および絞りなどを固定または可変とすることができる特徴を有し、様々な焦点距離を有し得るとともに、光学コーティングで覆われ得る。いくつかの実施形態は、第１のレンズをカメラから取り外すことができ、第２のレンズをカメラに結合することができるように、交換可能なレンズを有し得る。いくつかの実施形態では、周辺カメラ２１０は、オーディオ情報を取り込むマイクロフォンを有し得る。マイクロフォンは、カメラ内に位置していてもよいし、またはカメラの外部に位置していてもよい。
【００４７】
カメラコントローラは、センサに入射する光に基づいてカメラのための露出設定（たとえば、絞り、ゲイン、およびシャッタ）を決定することができる。いくつかの実施形態では、カメラコントローラは、主カメラとして機能する。すなわち、カメラコントローラは、複数の他のカメラを制御する。他の実施形態では、カメラコントローラは、補助カメラとして機能する。すなわち、カメラコントローラは、第２のカメラによって制御される。周辺カメラ２１０が補助カメラとして機能する実施形態では、シャッタおよび露出設定が主カメラによってグローバルに設定される。図２Ａの実施形態では、周辺カメラ２１０は、小型のフォームファクタ、高解像度（たとえば、２０４８×２０４８）、高フレームレート（たとえば、毎秒９０フレーム）、１インチセンサ、およびレンズ用のＣマウントなど、いくつかの特質を含む。
【００４８】
各軸カメラの視野（ＦＯＶ）は、１２０〜１８５度の間に及び得る。代替の実施形態では、軸カメラのＦＯＶは、１２０度未満または１８５度超であり得る。最低でも、軸カメラのＦＯＶは、周辺カメラ２１０によって残される穴をカバーするのに十分なほど大きなものでなければならない。たとえば、周辺カメラ２１０がｘ度の垂直方向ＦＯＶを有する場合、カバー範囲内の穴を撮像するために、軸カメラは、２＊（９０−ｘ）度のＦＯＶを有するべきである。いくつかの実施形態では、３Ｄ３６０度コンテンツにおいて軸カメラによる画像情報に対応する部分から周辺カメラ２１０による画像情報に対応する部分への滑らかな移行を可能とするのに十分な重なり合いを確保するために、より大きなＦＯＶが使用され得る。
【００４９】
図２Ａの実施形態では、レンズ２３０は、赤外光を遮断する光学コーティング、ｆ／２．４の絞り、カメラ用のＣＳマウント、ならびに９２度の水平方向および垂直方向視野を有する。レンズ２３０の有効視野は、樽型歪曲を補正した後で７７度である。他の実施形態では、周辺カメラ２１０の各々は、異なる視野を有し得る。たとえば、周辺カメラ２１０の各々は、１８０度の視野（すなわち、魚眼レンズ）を有し得る。極端に広い視野（すなわち、魚眼）は、３Ｄ３６０度コンテンツの立体視部分を生成するのに使用される周辺カメラの数を削減し得るが、画像情報がより大量の歪みを含む傾向があるため、画像情報の処理がより困難になる。
【００５０】
アダプタ２３２は、カメラアセンブリ２００における市販構成要素の使用を可能にする。アダプタ２３２は、第１の端部で周辺カメラ２１０のＣマウントに固定し、第２の端部でレンズ２３０のＣＳマウントに固定することによって、周辺カメラ２１０をレンズ２３０に結合するように構成される。
【００５１】
さらに、各周辺カメラ２１０は、天板２０２と底板２０４との間に周辺カメラ２１０を固定する複数の固定機構を含む。これらの固定機構は、固定機構２２４に対する相補的なものであり、天板２０２の底面２２２および底板２０４の上面２２０に周辺カメラ２１０を結合可能とする。図２Ａの実施形態では、周辺カメラ２１０の各々は、レンズ２３０が中心点２１８から半径方向外向き向くように配置される。周辺カメラ２１０は、バッテリ駆動式であってもよいし、ケーブルおよびケーブルインターフェース（たとえば、ユニバーサルシリアルバス（ＵＳＢ）インターフェース）を介して給電されてもよいし、またはそれらの任意の組み合わせであってもよい。さらに、いくつかの実施形態では、カメラアセンブリ２００の剛性および安定性を増大させるために、天板２０２と底板２０４との間に取り付けられる支持構造が設けられてもよい。支持構造は、支柱、支持ブロック、またはそれらの任意の組み合わせとすることができる。
【００５２】
複数の軸カメラは、局所領域の上部ビューおよび下部ビューの画像および／または動画を取り込むように構成される。軸カメラは、上部軸カメラ２１２および下部軸カメラ２１４（図２Ｃに図示）を含み、これらのカメラは、それらのそれぞれの軸マウント２０６、２０８に固定され、各軸カメラ２１２、２１４の光軸が位置合わせ軸２１６と同一直線上にあるように上部軸カメラ２１２と下部軸カメラ２１４がともに位置合わせ軸２１６に沿って位置合わせされるように配置される。上部軸カメラ２１２の視野および下部軸カメラ２１４の視野は、カメラアセンブリ２００の中心点２１８から逸れるように向けられる。
【００５３】
上部軸カメラ２１２は、局所領域の一部分の上部ビューを提供し、一方、下部軸カメラ２１４（図２Ｃに示されている）は、局所領域の異なる部分の下部ビューを提供する。前述のように、上部および下部軸カメラ２１２、２１４は、視野間の重なり合いを制限するように、周辺カメラ２１０に対して垂直方向にオフセットされる。軸カメラの数および向きは、様々であり得る。図２Ａの実施形態では、局所領域の上部ビューおよび下部ビューを取り込む２つの軸カメラがある。代替の実施形態では（たとえば、図２Ｄに関連して説明されるように）、カメラアセンブリ２００は、２つの下部軸カメラを含み、これらは、第１の下部軸カメラの視野と第２の下部軸カメラの視野が、３Ｄ３６０度コンテンツにおける遮断物（occlusion）としてのカメラアセンブリ２００を支持するマウントを除去するのに十分な重なり合いを有するように配置される。他の実施形態では、軸カメラの配置により半球がカバーされ、球状の視野がもたらされるように、天板２０２および底板２０４が各々、複数の軸カメラを固定してもよい。
【００５４】
軸カメラは、センサ（図示せず）、レンズ２３４、およびカメラコントローラ（図示せず）を含む。センサは、感光性ピクセルのアレイを使用して光を取り込む電気デバイスであり、各ピクセルは、光を電子信号に変換する。センサは、解像度、ピクセルサイズおよび感度、光感度、シャッタのタイプ、ならびに信号処理のタイプなど、様々な特徴を有することができる。レンズ２３４は、光をセンサ上に集束するのを容易にするカメラの１つまたは複数の光学要素を含む。レンズは、焦点および絞りなどを固定または可変とすることができる特徴を有し、様々な焦点距離を有し得るとともに、光学コーティングで覆われ得る。いくつかの実施形態は、第１のレンズをカメラから取り外すことができ、第２のレンズをカメラに結合することができるように、交換可能なレンズを有し得る。いくつかの実施形態では、軸カメラは、オーディオ情報を取り込むマイクロフォンを有し得る。マイクロフォンは、カメラ内に位置していてもよいし、またはカメラの外部に位置していてもよい。
【００５５】
カメラコントローラは、カメラの露出設定（たとえば、絞り、ゲイン、およびシャッタ）を決定することが可能であり、フレームレートを制御する。いくつかの実施形態では、カメラコントローラは主カメラとして機能する。すなわち、カメラコントローラは複数の他のカメラを制御する。他の実施形態では、カメラコントローラは補助カメラとして機能する。すなわち、カメラコントローラは、第２のカメラによって制御される。軸カメラが補助カメラとして機能する実施形態では、シャッタおよび露出設定が主カメラによってグローバルに設定される。図２Ａの実施形態では、軸カメラは、小型のフォームファクタ、高解像度（たとえば、２０４８×２０４８）、高フレームレート（たとえば、毎秒９０フレーム）、１インチセンサ、およびレンズ用のＣマウントなど、いくつかの特質を含む。各軸カメラの視野は、１２０〜１８５度の間に及び得る。代替の実施形態では、軸カメラのＦＯＶは、１２０度未満または１８５度超であり得る。最低でも、軸カメラのＦＯＶは、周辺カメラ２１０によって残される穴をカバーするのに十分なほど大きなものでなければならない。たとえば、周辺カメラ２１０がｘ度の垂直方向ＦＯＶを有する場合、カバー範囲内の穴を撮像するために、軸カメラは、２＊（９０−ｘ）度のＦＯＶを有するべきである。いくつかの実施形態では、３Ｄ３６０度コンテンツにおいて軸カメラによる画像情報に対応する部分から周辺カメラ２１０による画像情報に対応する部分への滑らかな移行を可能とするのに十分な重なり合いを確保するために、より大きなＦＯＶが使用され得る。
【００５６】
図２Ａの実施形態では、レンズ２３４は、赤外光を遮断する光学コーティング、ｆ／１．８〜１６の絞り、カメラ用のＣマウント、ならびに１８５度の水平方向および垂直方向視野を有する。軸カメラは、バッテリ駆動式であってもよいし、ケーブルおよびケーブルインターフェース（たとえば、ＵＳＢインターフェース）を介して給電されてもよいし、またはそれらの任意の組み合わせであってもよい。
【００５７】
カメラアセンブリ２００は、局所領域の３６０度を見るように配置される複数の周辺カメラ２１０および軸カメラを使用して画像情報を取り込む。カメラアセンブリ２００の設定は、ユーザが遠隔でプレビューし修正することができる。画像情報は、データストア１２０に、または３Ｄ３６０度コンテンツを生成するために処理サーバ１４０に送ることができる。
【００５８】
図２Ｂは、一実施形態による、図２Ａに示されているカメラアセンブリ２００の上面図を示す。図２Ｂは、周辺カメラ２１０の構成を示し、３つの周辺カメラ２１０ａ、２１０ｂ、２１０ｃによって見えるそれぞれ視野２３６、視野２３８、視野２４０を強調する。局所領域内の物体２４２および物体２４４が、周辺カメラ２１０ａ、２１０ｂ、２１０ｃによって見える。図２Ｂにおける図は、参照のために使用され、原文に比例して示されていないことがある。
【００５９】
図２Ａに関して記載されているように、周辺カメラ２１０は、中心点２１８周りで輪を作成し、レンズ２３０が位置合わせ軸２１６によって二分される中心点２１８から外向きに向くように配置される。各周辺カメラ２１０は、ある間隔距離だけ隣接する周辺カメラ２１０から分離される。間隔距離は、隣り合う周辺カメラ２１０のセンサ間の距離である。いくつかの実施形態では、間隔距離は、人の目の瞳孔間距離とほぼ同じである。この構成は、局所領域の撮像された部分を人がどのように知覚するかを、取り込まれた画像および／または動画が模すことを可能にする。
【００６０】
周辺カメラ２１０は、環状構成で配置され、したがって、各カメラは、隣り合うカメラに対してわずかな角度θ１にある。たとえば、いくつかの実施形態では、角度θ１は２５．７１度であり、これは、周辺カメラ２１０の視野間の有意な重なり合いを可能にする。角度θ１および各周辺カメラ２１０の視野は、周辺カメラ２１０によって撮像される局所領域内の物体を少なくとも２つの周辺カメラ２１０によって見ることができるように構成される。図２Ｂに示されているように、周辺カメラ２１０ａ、２１０ｂ、２１０ｃについてそれぞれの視野２３６、２３８、２４０は、閾値距離で重なり合い始め、重なり合う視野は、網掛け領域によって表されている。図２Ｂの実施形態では、各周辺カメラ２１０は、７７度であるθ２の視野を有する。視野２３６、２３８、２４０間の領域は、物体が周辺カメラ２１０によって見えない盲点領域２４６である。
【００６１】
閾値距離は、局所領域内の物体を少なくとも２つの周辺カメラ２１０によって見ることができる距離である。閾値距離は、θ１のサイズに応じて、局所領域にわたって変わる。たとえば、物体２４２は、中心点２１８から第１の距離にあり、３つの周辺カメラ２１０ａ、２１０ｂ、２１０ｃによって見ることができるが、物体２４４は、第１の距離より小さい第２の距離に位置し、周辺カメラ２１０ａおよび周辺カメラ２１０ｂ両方の視野内にある。周辺カメラ２１０および軸カメラは、閾値距離を超える環境内のあらゆる物体を少なくとも２つの周辺カメラ２１０によって見ることができるように配置される。この構成により、カメラアセンブリ２００は、複数の角度から局所領域内の物体を見ること、および有意な重なり合いを有する画像情報を取り込むことができ、システム１００が高品質の３Ｄ３６０度コンテンツおよび／または動画を再構築することが可能になる。
【００６２】
図２Ｃは、一実施形態による、図２Ａに示されているカメラアセンブリ２００の側面図を示す。図２Ａの実施形態に関して記載されているように、レンズ２３４は、広角θ３の視野を有する魚眼レンズである。図２Ｃの実施形態では、角度θ３は１８５度であり、これは他の実施形態では様々なものとすることができる。レンズ２３４は、環境の上部領域および下部領域の広いカバー範囲を有し、周辺カメラ２１０の視野との十分な重なり合いを提供するように構成され、その結果、高品質の３Ｄ３６０度コンテンツを作成することができる。いくつかの実施形態では、表面２４８は、テーブル上に載るための、またはカメラマウントまたはスタンドに結合するための、カメラアセンブリ２００用の支持構造とすることができる。
【００６３】
図２Ｄは、一実施形態による、画像情報を取り込むカメラアセンブリ２５０の側面図を示す。いくつかの実施形態では、カメラアセンブリ２５０は、システム１００内のカメラアセンブリ１３０の一実施形態である。あるいは、カメラアセンブリ２５０は、他の任意のシステムの一部であり得る。カメラアセンブリ２５０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。また、本明細書に記載のものとは異なる形態で、機能が構成要素間で分散されてもよい。
【００６４】
カメラアセンブリ２５０は、カメラアセンブリ２５０がマウント２５５および２つの下部軸カメラ２６０、２６５を含むことを除いて、カメラアセンブリ２００と実質的に同じである。マウント２５５は、カメラアセンブリ２５０を支持する。マウント２５５は、支持体２７０およびプラットフォーム２７５を含む。支持体２７０は、カメラアセンブリ２５０の荷重を、安定した状態（すなわち、最小の振動）でプラットフォーム２７５に伝達する。この実施形態では、支持体２７０は、プラットフォーム２７５をカメラアセンブリ２５０に結合する単一の棒材である。他の実施形態では、支持体２７０は、複数の棒材、またはプラットフォーム２７５からカメラアセンブリ２５０までの他の支持手段を含み得る。支持体２７０は、たとえば木材、金属、プラスチックなどから構成され得る。
【００６５】
プラットフォーム２７５は、支持体２７０およびカメラアセンブリ２５０のための安定した基礎である。この実施形態では、プラットフォーム２７５は、互いに離隔された単純な３本脚である。支持体２７５は、たとえば木材、金属、プラスチックなどから構成され得る。代替の実施形態では、他のマウントが使用され得る。
【００６６】
下部軸カメラ２５５、２６０は、下部軸カメラ２１４と実質的に同じである。下部軸カメラ２５５、２６０は、下部軸カメラ２５５の視野と下部軸カメラ２６０の視野が、３Ｄ３６０度コンテンツにおける遮断物としてのマウント２６５の一部または全部（たとえば、支持体２７０の一部分）を除去するのに十分な重なり合いを有するように配置される。
【００６７】
図３は、一実施形態による、カメラシステム１３０内のモジュールの詳細を示す高レベルブロック図である。カメラシステム１３０のいくつかの実施形態は、本明細書に記載のものとは異なる構成要素を有する。また、本明細書に記載のものとは異なる形態で、機能がモジュール間で分散されてもよい。カメラシステム１３０は、カメラアセンブリ３１０、データストア３２０、ウェブサーバ３３０、ユーザインターフェース３４０、およびカメラコントローラ３５０を含むモジュールから構成される。
【００６８】
カメラアセンブリ３１０は、局所領域の３６０度を見るように配置される複数のカメラを使用して画像情報を取り込む。いくつかの実施形態では、カメラアセンブリ３１０は、カメラアセンブリ２００の一実施形態である。あるいは、カメラアセンブリ３１０は、３６０度をカバーし、少なくともその一部分がステレオで取り込まれる複数の画像を取り込むように構成された任意の他のカメラアセンブリとすることができる。たとえば、カメラアセンブリ３１０は、下部軸カメラ２１４を含まないことを除いて、カメラアセンブリ２００と同様とすることができる。画像情報は、たとえば１つまたは複数の画像、オーディオ情報、動画情報、メタデータ、またはそれらの任意の組み合わせを含み得る。画像情報は、画像（たとえば「.jpeg」や「.tif」や「.png」など）、オーディオ（たとえば「.aac」や「.mp3」や「.wav」など）、および／または動画（たとえば「.mpg」や「.mov」や「.wmv」など）を様々なファイルフォーマットで取り込むことができる。カメラアセンブリ３１０は、カメラコントローラ３５０からの命令に応答して画像情報を取り込む。いくつかの実施形態では、カメラアセンブリ３１０は、各周辺カメラ２１０および軸カメラから取り込まれた画像情報が確実に一貫したものであるようにし、均一な、自然に見える３Ｄ３６０度コンテンツの構築を可能にする。カメラアセンブリ３１０は、画像情報の一部または全部を取り込み、たとえばユーザインターフェース３４０、データストア３２０、処理サーバ１３０、データストア１２０、またはそれらの任意の組み合わせに送る。
【００６９】
カメラシステム１３０のデータストア３２０は、画像情報を記憶するローカルのメモリストレージである。データストア３２０は、カメラアセンブリ３１０から画像情報を受信し記憶する。いくつかの実施形態では、データストア３２０は、たとえば外部データストア（たとえば、データストア１２０）、処理サーバ（たとえば、処理サーバ１３０）、またはそれらの任意の組み合わせに画像情報をアップロードし得る。いくつかの実施形態では、データストア３２０は、バッファとして機能する。たとえば、カメラシステム１３０は、外部データストアおよび／または処理サーバへのアップロードレートを超えるレートで画像情報を生成し得る。したがって、データストア３２０は、外部データストアおよび／または処理サーバへアップロードレートが確実に超えないように画像情報を一時的にバッファし得る。いくつかの実施形態では、データストア３２０が複数のメモリを含み得るとともに、画像情報がそれらの複数のメモリにわたって分散して書き込まれ得る。たとえば、いくつかの実施形態では、データストア３２０は、分散パリティを有するブロックレベルのストライピングを含むＲＡＩＤ５構成とすることができる。これは、大量のデータが連続的に書き込まれることを可能にする。たとえば、３０Ｈｚでは、カメラアセンブリ３１０は、持続的な転送レートで約１７Ｇｂ／ｓを作り出し得る。データストア３２０は、持続的なレートで大量の画像情報を受信し記憶することができる。
【００７０】
いくつかの実施形態では、データストア３２０は、少なくとも一部には環状バッファとして機能するように構成される。環状バッファは、カメラアセンブリ３１０から取り込まれた画像情報（たとえば、ＲＡＷデータ）を一時的に記憶するために使用される複数のバッファ要素（すなわち、メモリ位置）を含むデータストア３２０内のメモリのエリアである。環状バッファは、大きなデータセットを効率的に送信するために、同時にバッファ要素を埋め、解放することができる。典型的には、環状バッファは、ヘッドポインタおよびテールポインタを有する。ヘッドポインタは、プロデューサが画像情報をバッファ要素に書き込むために使用される。テールポインタは、コンシューマがバッファ要素内の画像情報を読み取るために使用される。
【００７１】
いくつかの実施形態では、カメラアセンブリ３１０によって取り込まれた画像情報は、複数のフレーム（たとえば、数千程度）を含む。環状バッファのサイズは、カメラアセンブリ３１０によって所与の時間で取り込まれるフレームの総数よりはるかに大きい。たとえば、環状バッファは、１０００以上の個々のバッファ要素を有し得る。ヘッドポインタが環状バッファの第１のバッファ要素を指すと、プロデューサは、カメラアセンブリ３１０内のカメラの１つに関連付けられた画像情報を環状バッファの第１のバッファ要素に書き込む。次いで、ヘッドポインタは、環状バッファの第２のバッファ要素に移動し、プロデューサは、カメラアセンブリ３１０内の別のカメラに関連付けられた画像情報を環状バッファの第２のバッファ要素に書き込み、以下同様である。たとえば、カメラアセンブリ３１０が合計１６のカメラを含む場合、カメラアセンブリ３１０の各トリガにより１６の画像が作り出され、これらの１６の画像は、対応する１６のそれぞれのバッファ要素に書き込まれる。コンシューマは、第１のバッファ要素にて第１のフレームを読み取り、第１のフレームをデータストア３２０内に埋め込まれたメモリストレージに、または外部データストア（たとえば、データストア１２０）に送信し、以下同様である。いくつかの実施形態では、画像情報は、バイナリファイルフォーマットで順次記憶される。画像情報は、後でバイナリファイルから抽出され、処理サーバ１４０を介してカラー（または白黒）３Ｄ３６０度コンテンツに変換され得る。
【００７２】
いくつかの実施形態では、環状バッファは、複数のプロデューサと複数のコンシューマとを有する。各プロデューサおよび各コンシューマは、別々のスレッドを有し、独立して動作し得る。たとえば、１つのプロデューサが各カメラに使用される。各カメラのプロデューサは独立して働く。別の例では、カメラアセンブリ３１０内のカメラの異なるグループ化のために異なるプロデューサが使用される。たとえば、１つのプロデューサがカメラアセンブリ３１０の半分のために使用され、他の異なるプロデューサがカメラアセンブリ３１０の他の半分のために使用される。
【００７３】
いくつかの実施形態では、複数のコンシューマが異なるデータ記憶デバイス（たとえば、ハードドライブ）に関連付けられる。異なるデータ記憶デバイスは、互いに独立して動作し得る。いくつかの実施形態では、各データ記憶デバイスは、別個のコンシューマである。この構成は、データが環状バッファから複数の異なるデータ記憶デバイスに連続的に流れることを可能にする。たとえば、いくつかの実施形態では、２つの異なるデータ記憶デバイス（たとえば、第１のデータ記憶デバイスおよび第２のデータ記憶デバイス）が使用される。第１のデータ記憶デバイスが環状バッファから画像情報を書き込んでいる間、第２のデータ記憶デバイスは、データをシークしている。次いで、第２のデータ記憶デバイスは、画像情報を書き込み、第１のデータ記憶デバイスがデータをシークし、以下同様である。対応するコンシューマは、２つの記憶デバイスから交互に切り替え、これは、カメラアセンブリ３１０の連続動作のために十分に速い速度で画像情報を複数のデータ記憶デバイスに書き込むことを容易にする（すなわち、画像情報は、上書きされる前に環状バッファから抽出され得る）。
【００７４】
いくつかの実施形態では、コンシューマは、他の処理のためにフレームを別のロケーションに送る。一例では、コンシューマは、さらなる処理のためにフレームをウェブサーバ３３０に送る。別の例では、コンシューマは、フレームをプレビューするためにフレームをユーザインターフェース３４０に送る。
【００７５】
ウェブサーバ３３０は、カメラシステム１３０のネットワーク１０５のインターフェースとして機能する。ウェブサーバ３３０は、ネットワーク１０５を通じてカメラアセンブリ３１０からユーザデバイス１１０、処理サーバ１４０、他の任意のエンティティ、またはそれらの任意の組み合わせにデータを転送する。いくつかの実施形態では、カメラアセンブリ３１０は、有線インターフェース（たとえば、ＵＳＢ）を使用してデータをウェブサーバ３３０に転送し得る。データは、圧縮することも非圧縮とすることもできる。
【００７６】
ユーザインターフェース３４０は、ユーザがカメラシステム１３０とインターフェースすることを可能にする。いくつかの実施形態では、ユーザインターフェース３４０は、グラフィカルユーザインターフェース（ＧＵＩ）である。例示的なユーザインターフェースについて、図８に関して下記に詳細に記載されている。ユーザインターフェース３４０は、ユーザがカメラアセンブリ３１０によって取り込まれたデータをプレビューし、カメラアセンブリ３１０の設定を制御することを可能にする。いくつかの実施形態では、ユーザインターフェース３４０は、モバイルフォン、タブレット、ＰＣなど、またはネットワーク接続を有する任意の他のデバイスのネットワーク接続を通じてアクセスされ得る。代替の実施形態では、ユーザインターフェース３４０は、カメラアセンブリ３１０に直接結合されるディスプレイおよび１つまたは複数の入力／出力デバイス（たとえば、マウス、キーボード）を含み得る。
【００７７】
カメラコントローラ３５０は、カメラアセンブリ３１０の動作を制御するように構成される。図３の実施形態では、カメラアセンブリ３１０は、１つのカメラを主カメラとして機能させ、追加のカメラを補助カメラとして機能させるように構成される。主カメラは、カメラコントローラが複数の他のカメラのマスタとして機能させるカメラである。補助カメラは、カメラコントローラがマスタカメラのスレーブとして機能させるカメラである。主カメラは、任意の周辺カメラ２１０または軸カメラとすることができ、図３の実施形態では、主カメラは、天板２０２に結合された上部軸カメラ２１２である。
【００７８】
カメラコントローラ３５０は、カメラアセンブリ３１０内のカメラのための露出設定を制御する。カメラの露出は、カメラによって取り込まれたとき画像がいかに明るく、または暗く見えることになるかを決定する。露出設定は、たとえば、絞りサイズ、シャッタ速度（露出時間とも称される）、ゲイン、またはそれらの任意の組み合わせを含み得る。絞りサイズは、センサに到達する光の量を制御する。シャッタ速度は、センサが光にさらされる時間の長さである。ゲインは、光に対するセンサの感度である。いくつかの実施形態では、カメラコントローラ３５０は、カメラアセンブリ３１０内のカメラのそれぞれのための露出設定を決定するようにカメラアセンブリ３１０に指示する。カメラコントローラ３５０は、決定された露出設定を使用してグローバル露出設定を決定し、カメラアセンブリ３１０内のすべてのカメラにグローバル露出設定を提供する。グローバル露出設定は、カメラアセンブリ３１０内のすべてのカメラに適用される単一の露出設定である。
【００７９】
いくつかの実施形態では、カメラコントローラ３５０は、カメラアセンブリ３１０から受信される各カメラのそれぞれの露出設定を決定し、すべての露出設定の極値（たとえば、最小値および最大値）を決定する。極値に基づいて、カメラコントローラ３５０は、テスト露出設定のセットを決定し、テスト露出設定のセットを使用してテスト画像を取り込むようにカメラアセンブリ３１０に指示する。
【００８０】
各テスト露出設定を使用してカメラアセンブリ３１０から取り込まれたテスト画像を受信した後で、カメラコントローラ３５０は、テスト露出設定を使用して取り込まれた受信テスト画像の強度分布に基づいてグローバル露出設定を決定する。強度分布は、ピクセルの数（カウント、周波数とも称される）と、これらのピクセルのそれぞれで検出された光強度（たとえば、赤、緑、青など）との関係である。いくつかの実施形態では、強度情報は、テスト画像のグレーレベル値によって表すことができる。この関係は、確率分布（たとえば、ヒストグラム）、統計パラメータ（たとえば、平均、中央値、対称、歪度、または分布関係を表す任意の好適なパラメータ）によって表すことができる。たとえば、カメラコントローラ３５０は、単一のテスト露出設定を用いて撮られたテスト画像を使用して強度の範囲全体にわたるカウント（たとえば、８ビットのグレースケール画像について０〜２５５のグレーレベル値）を累積することによって単一のヒストグラムを生成する。また、カメラコントローラ３５０は、異なるテスト露出設定を用いて撮られたテスト画像を使用して異なるヒストグラムを生成する。
【００８１】
カメラコントローラ３５０は、テスト画像および選択基準を使用してグローバル露出設定を選択する。選択基準は、テスト露出設定をグローバル露出設定として選択するべきかどうか決定する条件のセットである。選択基準は、たとえば、ある値の範囲内のヒストグラムの平坦さ、閾値数未満の強度分布における飽和ピクセルの割合（たとえば、カメラシステム１３０の全ピクセル値の合計の０．０５％未満）、黒つぶれ（すなわち、完全な黒）を有する強度分布におけるピクセルの割合、閾値未満の画像ノイズ値、閾値（たとえば、４ｄｂ）未満のゲイン値、飽和しない最小ゲイン値、またはそれらの任意の組み合わせを含み得る。カメラアセンブリ３１０についてのグローバル露出設定を決定する方法については、さらに図４〜図６に関して以下で詳細に説明する。
【００８２】
グローバル露出設定がない場合、カメラアセンブリ３１０内の各カメラは、異なる露出設定で画像情報を取り込み、いくつかの画像は他の画像より明るく、または暗く見え、いくつかの動く物体は、いくつかの画像ではぶれて見えるが他の画像ではぶれて見えない、などとなり得る。これは、３Ｄ３６０度コンテンツを構築するために画像同士がともにステッチングされたとき個々の画像間の非一貫性を生み出し得る。均一な露出は、３Ｄ３６０度コンテンツにおける自然に見える画像および／または動画を生み出す助けとなる。代替の実施形態では、カメラコントローラ３５０は、主カメラにその露出設定を決定するように指示し、次いで、決定された露出設定をグローバル露出設定として設定し、カメラアセンブリ３１０内のすべてのカメラにグローバル露出設定を提供する。グローバル露出設定は、複数の周辺カメラ２１０および軸カメラ（たとえば、上部軸カメラ２１２、下部軸カメラ２１４）のすべてにわたって均一な露出を提供する。
【００８３】
カメラコントローラ３５０は、カメラアセンブリ３１０のグローバルシャッタを制御する。グローバルシャッタは、カメラアセンブリ３１０内の各カメラのシャッタを同期し、その結果、各シャッタは同時に開き（すなわち、互いに１ミリ秒未満内）、カメラアセンブリ３１０が同期画像情報を取り込むことを可能にする。グローバルシャッタは、カメラアセンブリ３１０内の各カメラ内の各ピクセルが同時に露出を開始し、同時に露出を終了することを可能にする。これは、高速で動く物体がフレームにわたって斜めにスメアするのを防止するが、これはローリングシャッタ（すなわち、読出し「ウェーブ」がカメラセンサにわたって掃引するにつれてカメラセンサの異なるラインが異なる時間に露出されるシャッタモード）を使用するカメラシステムにおいて起こり得るものである。カメラコントローラ３５０は、マスタトリガ信号をカメラアセンブリ３１０内の補助カメラへ提供するように主カメラ（たとえば、上部軸カメラ２１２）に指示し得る。マスタトリガ信号は、各補助カメラのシャッタに主カメラのシャッタと同時に開くように指令する。カメラアセンブリ３１０内の周辺カメラ２１０および軸カメラは、データが確実に同期して取り込まれるようにジェネレータロッキングケーブル（たとえば、ＵＳＢ３．０ジェネレータロッキングケーブル）で接続され得る。同期画像情報を取り込むことにより、個々の画像が確実に合致し、処理サーバ１４０によって正確にステッチングして３Ｄ３６０度コンテンツを構築することができる。
【００８４】
図４は、一実施形態による、カメラアセンブリにおけるグローバル露出設定を決定する方法４００のフローチャートである。カメラアセンブリは、たとえばカメラアセンブリ３１０であり得る。他の実施形態では、カメラアセンブリは、より大きな視野を有する画像を作るためにともにステッチングされる画像を取り込む任意の他のカメラアセンブリシステムであってもよい。方法４００は、いくつかの実施形態ではカメラシステム１３０によって実施され得る。あるいは、他の構成要素によって方法４００のステップの一部または全部が実施されてもよい。あるいは、方法４００は、いくつかの実施形態では、図４とともに記載された順番とは異なる順番で、もしくは追加のステップが含まれてもよく、または、図４とともに記載された順番とは異なる順番でステップが実施されてもよい。
【００８５】
カメラシステム１３０は、複数のカメラ（たとえば、カメラアセンブリ３１０内に含まれるカメラの一部または全部）のためのそれぞれの露出設定を決定する（４１０）。カメラシステム１３０は、カメラアセンブリ３１０内のカメラの一部または全部（周辺および／または軸カメラ）に、それらのそれぞれの露出設定を決定するように（たとえば、カメラコントローラ３５０を介して）指示する。各カメラが異なる視野を有するので、カメラのための露出設定は、互いに異なり得る。たとえば、上部軸カメラの視野は、太陽（すなわち、明るい光源）を含み、多くの光を含み得、一方、下部軸カメラ（ある場合）の視野は、地面であり、はるかに少ない光を含み得る。
【００８６】
先に述べたように、各カメラのための露出設定は、たとえば絞りサイズ、シャッタ速度、およびゲインを含み得る設定パラメータを含む。いくつかの実施形態では、１つまたは複数の設定パラメータが固定である。たとえば、カメラシステム１３０は、絞りサイズおよびゲインを固定し、適正な露出をもたらすそれぞれのシャッタ速度を返すようにカメラの一部または全部に指示し得る。
【００８７】
カメラシステム１３０は、決定された露出設定から最低シャッタ速度および最高シャッタ速度を決定する（４２０）。いくつかの実施形態では、カメラシステム１３０は、決定されたシャッタ速度をランク付けする。たとえば、カメラシステム１３０は、決定されたシャッタ速度を最短時間（最低）から最長時間（最高）までランク付けし得る。カメラシステム１３０は、ランク付けの最下位のシャッタ速度を最低シャッタ速度として選択し、ランク付けの最上位のシャッタ速度を最高シャッタ速度として選択する。他の実施形態では、カメラシステム１３０は、決定されたシャッタ速度を最長時間から最短時間までランク付けし、ランク付けの最下位のシャッタ速度を最高シャッタ速度として選択し、ランク付けの最上位のシャッタ速度を最低シャッタ速度として選択する。
【００８８】
カメラシステム１３０は、決定された最低シャッタ速度および最高シャッタ速度を使用してテスト露出設定のセットを決定する（４３０）。いくつかの実施形態では、最低シャッタ速度および最高シャッタ速度に基づいて、カメラシステム１３０は、複数のテストシャッタ速度を決定する。これらのテストシャッタ速度は、最低シャッタ速度、最高シャッタ速度、および、最低シャッタ速度と最高シャッタ速度との間に分布する１つまたは複数のシャッタ速度を含む。１つまたは複数のシャッタ速度は、最低シャッタ速度と最高シャッタ速度との間に均等に分布していてもよいし不均等に分布していてもよい。いくつかの実施形態では、カメラアシステム１３０は、テストシャッタ速度を用いてテスト露出設定のセットを生成する。たとえば、テスト露出設定のセットは、テストシャッタ速度の各々についてテスト露出設定を含み得る。いくつかの実施形態では、各テスト露出設定のための他の設定パラメータ（すなわち、ゲインおよび絞りサイズ）は固定である。テストシャッタ速度の均等な分布の一例については、図５に関して以下で詳細に説明する。
【００８９】
いくつかの実施形態では、カメラシステム１３０は、動画を取り込むように構成され得る。動画を取り込むために、カメラシステム１３０は、最高シャッタ速度が時間閾値以上であるかどうか決定する。時間閾値は、取り込もうとする動画のフレームレートの逆数に対応する時間値以下の時間値である。たとえば、動画のフレームレートが毎秒３０フレームである場合、時間閾値は、約３０ｍｓ（以下）となり得る。最高シャッタ速度が時間閾値以下である場合、カメラシステム１３０は、上記したようにテストシャッタ速度を決定する。
【００９０】
しかしながら、最高シャッタ速度が時間閾値より大きい場合、カメラシステム１３０は、シャッタ速度を時間閾値で固定し、複数のテストゲイン値を決定し、これらの複数のテストゲイン値は、最小ゲイン値から最高ゲイン値に及ぶ。カメラシステム１３０は、テストゲイン値を使用してテスト露出設定のセットを生成する。いくつかの実施形態では、テスト露出設定のそれぞれのための他の設定パラメータ（すなわち、シャッタ速度および絞りサイズ）は固定である。ゲイン値の均等な分布の一例については、図６に関して以下で詳細に説明する。
【００９１】
カメラシステム１３０は、テスト露出設定を使用して複数のテスト画像を取り込む（４４０）。複数の取り込み画像は、各テスト露出設定で取り込まれた画像の複数のセットを含む。テスト画像の各セットは、同じテスト露出設定を使用して取り込まれ、同時に取り込まれる（すなわち、グローバルシャッタを使用して撮られる）カメラアセンブリ３１０内のカメラのそれぞれからの画像を含む。
【００９２】
カメラシステム１３０は、複数のテスト画像に基づいてグローバル露出設定を選択する（４５０）。カメラシステム１３０は、取り込まれたテスト画像の各グループに関連付けられた強度分布を決定する。カメラシステム１３０は、強度分布の１つまたは複数に選択基準（たとえば、閾値未満の飽和ピクセルの割合）を適用して、どの強度分布が選択基準を満たすかを（満たすものがある場合には）識別する。
【００９３】
シャッタ速度が各テスト露出設定において異なる（たとえば、１ｍｓ、４ｍｓ、６ｍｓ、および１０ｍｓ）いくつかの実施形態では、カメラシステム１３０は、最大の露出値（すなわち、最高シャッタ速度）に関連付けられた強度分布に選択基準を適用する。選択基準が満たされる場合、カメラシステム１３０は、その強度分布に関連付けられたテスト露出設定をグローバル露出設定として選択する。選択基準が満たされない場合、カメラシステム１３０は、次に高い露出値（すなわち、次に長いシャッタ速度）を有する強度分布に選択基準を適用し、選択基準が満たされるか否か再度決定し、以下同様に行う。この方法は、特定の強度分布について選択基準が満たされるまで繰り返される。
【００９４】
ゲインが各テスト露出設定において異なる（たとえば、０ｄＢ、１ｄＢ、２ｄＢ、３ｄＢなど）いくつかの実施形態では、カメラシステム１３０は、最小の露出値（すなわち、最低ゲイン値）に関連付けられた強度分布に選択基準を適用する。選択基準が満たされる場合、カメラシステム１３０は、その強度分布に関連付けられたテスト露出設定をグローバル露出設定として選択する。選択基準が満たされない場合、カメラシステム１３０は、次に低い露出値（すなわち、最低ゲイン値から２番目に低いゲイン値）を有する強度分布に選択基準を適用し、選択基準が満たされるか否か決定し、選択基準が満たされるまで、以下同様に行う。画像品質は、一般にゲインとともに劣化するので、ある点で、ゲインを増大することは、品質閾値に満たない画像をもたらし得る。したがって、いくつかの実施形態では、どの強度分布によっても選択基準が満たされない場合、カメラシステム１３０は、ユーザにエラーメッセージ（たとえば、画像内のノイズが過剰である、光が十分でないなど）を返し得る。
【００９５】
カメラシステム１３０は、各カメラ（カメラアセンブリ３１０内の各カメラ）に選択されたグローバル露出設定を適用する（４６０）。一実施形態では、カメラシステム１３０は、選択されたグローバル露出設定をカメラアセンブリ３１０内のすべてのカメラに直接適用する。別の実施形態では、カメラシステム１３０は、選択されたグローバル露出設定をカメラアセンブリ３１０内で主カメラを介して各カメラに適用する。
【００９６】
図５は、一実施形態による、異なるテスト露出設定のための強度分布のグループ５００を示す。図５に示されているように、テスト露出設定のセットは、４つの異なるシャッタ速度（ＳＨ）５２０を含み、これらは、最低シャッタ速度（ＳＨｍｉｎ，）、第１の中間シャッタ速度（ＳＨ１）、第２の中間シャッタ速度（ＳＨ２）、および最高シャッタ速度（ＳＨｍａｘ）を含む。シャッタ速度は、以下の関係、ＳＨｍｉｎ＜ＳＨ１＜ＳＨ２＜ＳＨｍａｘを介して互いに関係する。各テスト露出設定は、１つのシャッタ速度を有する。
【００９７】
カメラシステム１３０は、（たとえば、カメラコントローラ３５０を介して）テスト露出設定のそれぞれでテスト画像のセットを取り込むようにカメラアセンブリ３１０に指示する。この例では、テスト露出設定は、同じゲインおよび絞り値を有するが、異なるそれぞれのシャッタ速度を有する。カメラシステム１３０は、（たとえば、カメラコントローラ３５０を介して）テスト画像の各セットについて強度分布を生成する。図５では、分布はヒストグラム５３０として示されている。ヒストグラム５３０は、シャッタ速度がＳＨｍｉｎからＳＨｍａｘに変化する間、左に歪曲から右に歪曲に変化する。ヒストグラム内の強度分布が右により大きく歪曲することは、テスト画像のグループ内のより明るいピクセルを示し、ヒストグラム内の左により大きく歪曲した強度分布は、テスト画像のグループ内のより暗いピクセルを示す。
【００９８】
図４を参照して上記で説明したように、カメラシステム１３０は、最初に最大の露出値を有する強度分布に選択基準を適用し、次いで、次に大きな露出値を有する強度分布に選択基準を適用し、選択基準が満たされるまで以下同様である。図５では、ヒストグラム５３０Ｄは、最高の露出値を有するが、たとえば飽和するピクセルの数が多すぎるため、選択基準に不合格になることになる。次いで、カメラシステム１３０は、ヒストグラム５３０Ｃに関連付けられた強度分布におけるに選択基準を適用することになる。ヒストグラム５３０Ｃの平坦な分布は、均一な明るさを示し、選択基準を満たすことになる。したがって、カメラシステム１３０は、ＳＨ２を含むテスト露出設定をグローバル露出設定として選択する。
【００９９】
図６は、一実施形態による、異なるテスト露出設定のための強度分布の別のグループ６００を示す。図６に示されているように、テスト露出設定は、４つの異なるゲイン値６２０を使用し、これらは、最小ゲイン値（Ｇａｉｎｍｉｎ），第１の中間ゲイン値（Ｇａｉｎ１）、第２の中間ゲイン値（Ｇａｉｎ２）、最大ゲイン値（Ｇａｉｎｍａｘ）である。これらのゲイン値は、以下の関係、Ｇａｉｎｍｉｎ＜Ｇａｉｎ１＜Ｇａｉｎ２＜Ｇａｉｎｍａｘを介して互いに関係する。図５と同様に、ヒストグラム内で強度分布が右に歪曲するにつれて明るいピクセルの数が増大し、ヒストグラム内で強度分布が左に歪曲するにつれて暗いピクセルの数が増大する。なお、画像内のノイズはゲインが増大するにつれて増大する。
【０１００】
図４を参照して上記で説明したように、カメラシステム１３０は、最初に最低の露出値を有する強度分布に選択基準を適用し、次いで、次に低い露出値を有する強度分布に選択基準を適用し、選択基準が満たされるまで以下同様である。図６では、ヒストグラム６３０Ｃは、つぶれない（たとえば、暗いピクセルも明るいピクセルも飽和しない）分布を示し、中程度のノイズを有する。したがって、Ｇａｉｎ２を含むテスト露出設定がグローバル露出設定として選択されることになる。
【０１０１】
図７は、一実施形態による、画像情報から生成される３Ｄ３６０度コンテンツを示す。図７の実施形態では、３Ｄ３６０度コンテンツは、個々の画像フレーム７０２〜７３０を使用して生成された構築後画像７００である。個々の画像フレーム７０２〜７３０は、処理サーバ１４０によって処理され、フレーム７０２〜７３０から生成された画像の一部分について３Ｄである３６０度画像を形成するように構築されている。
【０１０２】
フレーム７０２〜７２８は、複数の周辺カメラ２１０によって取り込まれており、個々のフレームは、１つの周辺カメラ２１０によって取り込まれる。各フレーム７０２〜７２８は、局所領域の２次元（２Ｄ）部分を含む。複数の２Ｄパースペクティブから局所領域を取り込む画像を単一の画像に組み合わせることにより、画像内の物体が３Ｄに見える。フレーム７０２〜７２８など、局所領域の３６０度ビューでカメラアセンブリによって取り込まれた個々のフレームが組み合わされたとき、局所領域の３Ｄ３６０度ビューを示す構築後画像７００が得られる。各フレーム７０２〜７３０は、図７に示されているように、それぞれの隣り合うフレームと重なり合う領域を含む。フレーム７０２〜７２８の重なり合う領域は、図２Ｂに関して記載されているように、周辺カメラ２１０の視野の重なり合いに起因する。これらの重なり合う領域は、処理サーバ１４０がフレーム７０２〜７２８をバーチャルリアリティシステムのための３６０度画像にシームレスかつ正確に構築することを可能にする。
【０１０３】
同様に、フレーム７２９、７３０は、複数の軸カメラによって取り込まれ、個々のフレームは１つの軸カメラによって取り込まれる。図７の実施形態では、フレーム７２９は、上部軸カメラ２１２によって取り込まれ、フレーム７３０は、下部軸カメラ２１４によって取り込まれる。各フレーム７２９、７３０は、周辺カメラ２１０によって取り込まれたフレーム７０２〜７２８と重なり合う領域を含み、局所領域の上部ビューおよび下部ビューを提供する。フレーム７２９、７３０の重なり合う領域は、軸カメラの視野の、周辺カメラ２１０との重なり合いに起因する。これらの重なり合う領域は、処理サーバ１４０がフレーム７２９、７３０とフレーム７０２〜７２８とをバーチャルリアリティシステムのための３６０度画像にシームレスかつ正確に組み合わせることを可能にする。
【０１０４】
さらに、図７の実施形態では、各フレーム７０２〜７３０は、処理サーバ１４０が個々のフレーム７０２〜７３０から構築後画像７００を作成することを可能にするメタデータを含む。図１に関して記載されているように、メタデータは、たとえば、フレームレート、露出設定（たとえば、シャッタ速度、ゲインなど）、著作権情報、日付／時間情報、カメラ識別子、名前、ラベル、画像情報に関連付けられた任意の他の情報、またはそれらの任意の組み合わせを含み得る。たとえば、一実施形態では、構築後画像７００を作成するために、処理サーバ１４０は、各フレームのための日付／時間情報を使用し、適切なフレームが組み合わされていることを確認し得る。別の実施形態では、処理サーバ１４０は、フレーム同士が確実に正しい順序で組み合わされるようにするためにカメラ識別子情報を使用し得る。各フレーム７０２〜７２８とともに含まれるメタデータは、バーチャルリアリティシステムのための３６０度画像を作成するために個々のフレームが確実に正しく組み合わされるようにする。
【０１０５】
図８は、一実施形態による、カメラシステム１３０用のユーザインターフェース８００を示す。ユーザインターフェース８００は、たとえばユーザインターフェース３４０であり得る。ユーザインターフェース８００は、ユーザがカメラシステム１３０を制御することを可能にする。ユーザインターフェース８００は、露出コントロール８１０、ファイルタイプコントロール８２０、起動コントロール８３０、およびプレビューエリア８４０を含む。
【０１０６】
露出コントロール８１０は、ユーザがカメラアセンブリ３１０のグローバル露出設定を制御および調整することを可能にする。露出コントロール８１０は、明るさ、絞り、シャッタ、およびゲイン設定を含み得る。グローバル露出設定は、図４に記載の方法によってカメラアセンブリ３１０内のカメラのすべてから決定される。いくつかの実施形態では、グローバル露出設定は、カメラアセンブリ３１０内の主カメラから決定され得る。決定された設定は、ユーザが露出コントロール８１０を使用して調整することができる初期設定として働き得る。露出コントロール８１０が所望の設定に調整された後で、それらの所望の設定をカメラアセンブリ３１０内の各カメラに提供することができる。
【０１０７】
ファイルタイプコントロール８２０は、画像情報が取り込まれるフォーマットをユーザが制御することを可能にする。ファイルタイプコントロール８２０は、画像（たとえば「.jpeg」や「.tif」や「.png」など）、オーディオ（たとえば「.aac」や「.mp3」や「.wav」など）、および／または動画（たとえば「.mpg」や「.mov」や「.wmv」など）のための様々なファイルタイプを含み得る。いくつかの実施形態は、ユーザが画像情報の個々の各タイプについてファイルタイプを制御することを可能にし得る。
【０１０８】
起動コントロール８３０は、ユーザがカメラアセンブリ３１０の動作を制御することを可能にする。起動コントロール８３０は、これらのみに限定されないが、カメラシステム１３０の機能の中でもとりわけ、カメラアセンブリ３１０の電源をオンオフする、画像情報を取り込むためにカメラアセンブリ３１０を起動する、カメラアセンブリ３１０の設定をリセットする、取り込み画像情報の処理を開始または停止するために処理サーバ１４０を起動するなどの機能を任意で含み得る。
【０１０９】
プレビューエリア８４０は、カメラアセンブリ３１０のカメラによって取り込まれた画像情報から構築された画像をユーザがプレビューすることを可能にする。プレビューエリア８４０は、ユーザがカメラアセンブリ３１０の所望の露出設定および／または局所領域内のカメラアセンブリ３１０の所望の配置を決定する助けとなる。プレビューエリア８４０は、バーチャルリアリティシステムのための所望の３Ｄ３６０度コンテンツを構築するためにカメラアセンブリ３１０が確実に画像情報を取り込んでいるようにする。
【０１１０】
いくつかの実施形態では、ユーザインターフェース３４０は、ユーザが処理サーバ１４０を制御し、データストア１２０にアクセスし、データストア３２０にアクセスすることをも可能にする。図８の実施形態では、ユーザインターフェース３４０は、設定（たとえば、明るさ、絞りおよびシャッタ速度によって定義される露出値、シャッタ、ならびにゲイン）、画像プレビュー、および画像プレビューに関連付けられたメタデータを含む。これらの設定は、ユーザによって修正されてもよく、これらの設定は、カメラコントローラ３５０に送られ、カメラコントローラ３５０は、カメラアセンブリ３１０に指令し、カメラ設定を周辺カメラ２１０および軸カメラにグローバルに実装する。ユーザインターフェース３４０は、ネットワーク１０５とのネットワーク接続を有する任意のデバイス上でアクセスされ得る。
【０１１１】
［追加の構成情報］
本開示の実施形態の上記の説明は例示のために提示されており、網羅的であることも、開示されているその形態に本開示を限定することも意図されていない。当業者であれば、上記の開示に照らして多数の変更および変形が可能であることを理解し得る。
【０１１２】
この説明の一部分は、本開示の実施形態について、情報に対する動作のアルゴリズムおよび記号表現の観点で記載している。これらのアルゴリズム説明および表現は、一般に、データ処理技術における当業者によって、それぞれの仕事の内容を他の当業者に効率的に伝えるために使用される。これらの動作は機能的、コンピュータ的、または論理的に記載されるが、コンピュータプログラム、または等価の電気回路、マイクロコードなどによって実装されることが理解される。さらに、動作のこれらの構成を、一般性を失うことなくモジュールとすることが好都合であり得ることも判明している。記載の動作およびそれらの関連付けられたモジュールは、ソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせで実施され得る。
【０１１３】
本明細書に記載のステップ、動作、または方法はいずれも、１つまたは複数のハードウェアまたはソフトウェアモジュールにより、単独でまたは他のデバイスとの組み合わせで実施または実装され得る。一実施形態では、ソフトウェアモジュールは、コンピュータプログラムコードを含むコンピュータ可読媒体を備えるコンピュータプログラム製品で実装され、コンピュータプログラムコードは、本明細書に記載のステップ、動作、または方法のいずれかまたはすべてを実施するためにコンピュータプロセッサによって実行することができる。
【０１１４】
本開示の実施形態は、本明細書の動作を実行するための装置にも関連し得る。この装置は、要求される目的のために特別に構築され得る、および／またはコンピュータ内に記憶されたコンピュータプログラムによって選択的に起動もしくは再構成される汎用コンピューティングデバイスを備え得る。そのようなコンピュータプログラムは、非一時的な有形のコンピュータ可読記憶媒体、または電子命令を記憶するのに適しコンピュータシステムバスに結合され得る任意のタイプの媒体に記憶され得る。さらに、本明細書において参照される任意のコンピューティングシステムは、単一のプロセッサを含み得るかまたはコンピューティング能力を高めるために複数のプロセッサ設計を使用するアーキテクチャであり得る。
【０１１５】
本開示の実施形態は、本明細書に記載のコンピューティング方法によって作り出される製品にも関連し得る。そのような製品は、コンピューティング方法から得られる情報を備え得る。その情報は、非一時的な有形のコンピュータ可読記憶媒体に記憶され、コンピュータプログラム製品の任意の実施形態または本明細書に記載の他のデータの組み合わせを含み得る。
【０１１６】
本明細書において使用される文言は、主に読みやすさ、および説明のために選択されており、本発明の主題を描写する、または制限するために選択されていない。したがって、本開示の範囲は詳細な説明によっては限定されず、本明細書に基づく出願に由来する特許請求の範囲によって限定されることが意図されている。したがって、実施形態の開示は、添付の特許請求の範囲に記載されている本開示の範囲を例示するものであることが意図されており、それを限定するものではない。
【図１】
2019516295.tif 000003
【図２Ａ】
2019516295.tif 000004
【図２Ｂ】
2019516295.tif 000005
【図２Ｃ】
2019516295.tif 000006
【図２Ｄ】
2019516295.tif 000007
【図３】
2019516295.tif 000008
【図４】
2019516295.tif 000009
【図５】
2019516295.tif 000010
【図６】
2019516295.tif 000011
【図７】
2019516295.tif 000012
【図８】
2019516295.tif 000013
【手続補正書】
【提出日】平成30年11月20日(2018.11.20)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラの各々についてそれぞれの露出設定を決定すること、
前記決定された露出設定から前記複数のカメラの各々について最低シャッタ速度と最高シャッタ速度を決定すること、
各カメラについて、前記カメラの前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記テスト露出設定のセット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて同時に取り込まれる前記複数のカメラの各々からの画像を含む、前記テスト画像のセットを取り込むこと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用すること、
を備える方法。
【請求項２】
前記カメラの前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記カメラの前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
を含む、請求項１に記載の方法。
【請求項３】
前記１つまたは複数のテストシャッタ速度が前記カメラの前記最低シャッタ速度と前記最高シャッタ速度との間で均等に分布している、請求項２に記載の方法。
【請求項４】
前記カメラの前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値以下であると決定したことに応答して、
前記カメラの前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
をさらに含む、請求項１に記載の方法。
【請求項５】
前記カメラの前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記カメラの前記最高シャッタ速度を時間閾値と比較すること、
前記最高シャッタ速度が前記時間閾値より大きいと決定したことに応答して、
複数のテストゲイン値を決定すること、
前記複数のテストゲイン値についてそれぞれのテスト露出設定を生成することであって、前記テスト露出設定の各々でのシャッタ速度と絞りが同じである、前記テスト露出設定を生成すること、
をさらに含む、請求項１に記載の方法。
【請求項６】
前記時間閾値が、前記複数のカメラによって取り込まれた動画のフレームレートの逆数に対応する期間である、請求項５に記載の方法。
【請求項７】
前記テスト露出設定の各々でのシャッタ速度が前記時間閾値である、請求項５に記載の方法。
【請求項８】
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択することは、
前記取り込まれたテスト画像のセットを使用して強度分布を決定すること、
前記強度分布の１つまたは複数に選択基準を適用すること、
前記選択基準を満たすテスト露出設定に関連付けられた強度分布に部分的に基づいたテスト露出設定をグローバル露出設定として選択すること、
を含む、請求項１に記載の方法。
【請求項９】
前記選択基準は、ある値の範囲内のヒストグラムの平坦さ、閾値数未満の前記強度分布内の飽和ピクセルの割合、黒つぶれを有する前記強度分布内のピクセルの割合、閾値未満の画像ノイズ値、閾値未満のゲイン値、および飽和しない最小ゲイン値からなる群から選択される、請求項８に記載の方法。
【請求項１０】
局所領域のそれぞれ一部分の視野を各々有し、組み合わせ視野が前記局所領域の３６０度に及ぶ複数のカメラの各々についてそれぞれの露出設定を決定することであって、前記複数のカメラから閾値距離より大きい距離にある前記局所領域の一部分における物体が前記複数のカメラのうち少なくとも２つのカメラの視野内に存在する、前記露出設定を決定すること、
前記決定された露出設定から前記複数のカメラの各々について最低シャッタ速度と最高シャッタ速度を決定すること、
各カメラについて、前記カメラの前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定すること、
前記テスト露出設定のセット内の各テスト露出設定で前記複数のカメラを使用してテスト画像のセットを取り込むことであって、テスト画像の各セットが、同じそれぞれのテスト露出設定を用いて同時に取り込まれる前記複数のカメラの各々からの画像を含む、前記テスト画像のセットを取り込むこと、
前記取り込まれたテスト画像のセットに基づいてグローバル露出設定を選択すること、
前記選択されたグローバル露出設定を前記複数のカメラに適用すること、
を備える方法。
【請求項１１】
前記カメラの前記決定された最低シャッタ速度と最高シャッタ速度を用いてテスト露出設定のセットを決定することは、
前記カメラの前記最低シャッタ速度と前記最高シャッタ速度との間に分布する１つまたは複数のテストシャッタ速度を決定すること、
前記最低シャッタ速度、前記１つまたは複数のテストシャッタ速度、および前記最高シャッタ速度についてそれぞれのテスト露出設定を生成すること、
を含む、請求項１０に記載の方法。
【国際調査報告】
2019516295.tif 000014
2019516295.tif 000015