(57)【要約】【課題】プレンオプティックカメラ及び関連する方法が提供される。【解決手段】カメラは、デジタル画像を生成するセンサのアレイを備える。画像は、関連するオーディオ信号を有する。センサのアレイは、デフォルトの空間座標に関連したデジタル画像を捕捉するよう構成され、更には、プロセッサから制御入力を受けて、新しい空間座標でのイベントの発生に基づき焦点をデフォルトの空間座標からその新しい空間座標へと変化させるよう構成される。【選択図】図４
2017069949.tif 000002
【特許請求の範囲】
【請求項１】
関連するオーディオ信号を有するデジタル画像を生成するセンサのアレイを備えたプレンオプティックカメラであって、
前記センサのアレイは、デフォルトの空間座標に関連したデジタル画像を捕捉するよう構成され、
前記センサのアレイは、プロセッサから制御入力を受け取り、新しい空間座標でのイベントの発生に基づき焦点を前記デフォルトの空間座標から前記新しい空間座標へと変化させるよう構成される、プレンオプティックカメラ。
【請求項２】
少なくとも１つのセンサがプロセッサと通信する、
請求項１に記載のプレンオプティックカメラ。
【請求項３】
前記イベントは、前記センサによって検出された少なくとも１つの分類子の発生に関連する、
請求項１又は２に記載のプレンオプティックカメラ。
【請求項４】
前記オーディオ信号は複数のマイクロホンによって捕捉される、
請求項１又は２に記載のプレンオプティックカメラ。
【請求項５】
１つよりも多い分類子が存在し、リフォーカシングの順序は、優先順位リスト上での分類子の選択された順序に基づく、
請求項２又は３に記載のプレンオプティックカメラ。
【請求項６】
少なくとも１つの分類子はオーディオイベントである、
請求項５に記載のプレンオプティックカメラ。
【請求項７】
前記オーディオイベントは、笑い声、拍手、又はボールの音のうちの１つを含む、
請求項６に記載のプレンオプティックカメラ。
【請求項８】
前記オーディオイベントは、予め選択されたデシベル閾を上回るあらゆる異常に大きい音である、
請求項５又は７に記載のプレンオプティックカメラ。
【請求項９】
デフォルトの空間座標に焦点を合わせられるプレンオプティックカメラを用いて画像を捕捉する方法であって、
プロセッサにより前記プレンオプティックカメラから複数のデジタル画像を受けるステップと、
前記プロセッサにより前記デジタル画像に関連した複数のオーディオ信号を受けるステップと、
前記プロセッサによりイベントの発生を決定し、該イベントの発生に関連した新しい空間座標へと前記デフォルトの空間座標から焦点を変化させるステップと
を有する方法。
【請求項１０】
前記デフォルトの空間座標は、会場に関連し、前記オーディオ信号は、前記会場内の異なる位置に配置された複数のマイクロホンから受け取られ、当該方法は、
前記プロセッサにより前記複数のマイクロホンから複数の較正スコアを受けるステップと、
前記プロセッサにより前記マイクロホンの夫々の位置に関連した関心スコアを決定するステップと、
前記プロセッサにより前記較正スコア及び前記関心スコアに基づき前記マイクロホンの夫々についての閾オーディオ範囲を計算するステップと、
オーディオ範囲閾が超えられたときに、前記プロセッサが、デジタル画像及び関連するオーディオ信号の送出及び焦点を前記デフォルトの空間座標から、前記超えられたオーディオ範囲閾に関連したマイクロホンの位置に関連する新しい空間座標へと変化させるステップと
を更に有する、請求項９に記載の方法。
【請求項１１】
１つよりも多い閾範囲が超えられる場合には、前記プロセッサは、最も高い関心スコアに関連したマイクロホンに基づき前記新しい空間座標を提供する、
請求項１０に記載の方法。
【請求項１２】
前記プロセッサは、関心スコアによって前記マイクロホンを分類する、
請求項１１に記載の方法。
【請求項１３】
前記分類は、高い評価から低い評価に及び、リフォーカシング面は、閾オーディオ範囲が１つよりも多いマイクロホンによって超えられる場合に、画像の送出のために前記プロセッサによって計算される、
請求項１２に記載の方法。
【請求項１４】
前記リフォーカシング面の最適位置は、前記プロセッサによって、比較的高い関心スコアを有するマイクロホン位置のサブセットから計算され、前記リフォーカシング面は、加重回帰値を計算することで前記プロセッサによって最適化され得る、
請求項１３に記載の方法。
【請求項１５】
前記加重回帰値は、夫々のマイクロホンの最小の二乗平均平方根の値に基づき推定される、
請求項１４に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、概して、記録及び放送の技術に関係があり、特に、リフォーカシング機能を備えたプレンオプティックカメラによる放送に関係がある。
【背景技術】
【０００２】
この項目は、当該技術の様々な対象を読者に紹介するとともに、提示される様々な実施形態のより良い理解を助けることを目的とする。然るに、そのような記述は、先行技術の承認としてではなく、この観点で読まれるべきであることが理解されるべきである。
【０００３】
簡単な構成による典型的な３Ｄ画像捕捉装置は、右眼画像及び左眼画像の両方を捕捉する。然るに、そのような方法は、最終的な生成物の全体のサイズ及び品質を高めるよう２つのカメラを必要とする。２つのカメラを同時に使用する負担を解消するよう、視差を伴った複数の画像、すなわち“多視点画像”を捕捉するための技術が開発されている。この技術は、単一のプレンオプティックカメラを使用する。プレンオプティックカメラは、撮像面においてレンチキュラーレンズの前に配置されている単一のレンズを使用することによって、画像を捕捉する。プレンオプティックカメラでは、メインレンズ開口は、夫々のレンチキュラーレンズの後ろで結像される。最終的な画像は、夫々のレンズがその前でシーンの像を映しながら、異なるレンズで捕捉された複数のサブ画像から生成される。
【０００４】
レンチキュラーレンズの後ろの画像は、デジタルプレンオプティック画像を得るようデジタル化される。結果として、夫々のサブ画像は、メイン開口に入る光線の経路を符号化するピクセルの局所アレイによって表現される。大きい開口については、夫々のサブ画像の様々なピクセルがサブ画像において明るくされる。小さい開口については、ただ１つのピクセルしか明るくされない。
【０００５】
近年、プレンオプティックカメラの開発に加えて、デジタルカメラ及びデジタルムービーカメラの全体としての性能及び機能は、技術の改善により独自に増強されてきた。例えば、電荷結合デバイスアレイ（ＣＣＤ）又は相補型金属酸化膜半導体アレイ（ＣＭＯＳ）のようないくつかの固体状態画像センサの使用は、そのようなカメラを使用することの品質及び容易さを大いに増強してきた。特に、画像センサでの使用のためのピクセル構造のサイズは、半導体デバイス処理技術の急速な発展により更に縮小されて、より大きい分解能を達成している。撮像技術における増強と組み合わされたプレンオプティックカメラの開発は、今や、より多くのピクセル及びドライバが画像センサにおいて一緒に集積されることを可能にし、それによって、驚くべき結果を提供する。そのような開発は、見ることの喜びを高めるとともに、提示される画像の解像度を改善することができる。しかし、先行技術は、没入型の視聴経験を作り出す際にそれらの改善を十分に活用して、エンターテイメント価値を全体として改善する装置及び技術を依然として欠いている。
【発明の概要】
【０００６】
プレンオプティックカメラ及び関連する方法が提供される。一実施形態において、カメラは、デジタル画像を生成するセンサのアレイを備える。画像は、関連するオーディオ信号を有する。センサのアレイは、デフォルトの空間座標に関連したデジタル画像を捕捉するよう構成され、更には、プロセッサから制御入力を受け取り、新しい空間座標でのイベントの発生に基づき焦点をデフォルトの空間座標からその新しい空間座標へと変化させるよう構成される。
【０００７】
他の実施形態では、関連する方法は、プロセッサによりプレンオプティックカメラから複数のデジタル画像を受けるステップと、プロセッサにより画像に関連した複数のオーディオ信号を受けるステップと、プロセッサによりイベント発生を決定し、焦点をデフォルトの空間座標からイベントの発生に関連した新しい空間座標へと変化させるステップとを有する。
【図面の簡単な説明】
【０００８】
本発明は、添付の図面を参照して、全くの制限なしに、以下の実施形態及び実効例によってより良く理解され且つ説明される。
【０００９】
【図１】複数のマイクロホンを備えた分散型プレンオプティック撮像システムを示すブロック図を表す。
【００１０】
【図２】一実施形態による種々の計算された関心スコアを表す、図１の実施形態による他のブロック図を表す。
【００１１】
【図３】一実施形態により推定されたリフォーカシング面を示すブロック図である。
【００１２】
【図４】一実施形態による画像及び関連するオーディオ信号の送出を表すフローチャートである。
【００１３】
図１乃至３において、表されているブロックは、単に機能エンティティであって、物理的に別々のエンティティに必ずしも対応しない。すなわち、それらは、ソフトウェア又はハードウェアの形で開発されてよく、あるいは、１つ以上のプロセッサを含む１つ又は複数の集積回路において実装されてよい。
【００１４】
可能な限り、同じ参照番号は、同じ又は同様の部分を参照するものとして全ての図にわたって使用される。
【発明を実施するための形態】
【００１５】
図及び本発明の説明は、明瞭さのために、典型的なデジタルマルチメディアコンテンツ配信方法及びシステムにおいて見受けられる多くの他の要素を省略しながら、本発明の明瞭な理解のために関係がある要素を表すよう簡略化されている。なお、そのような要素は当該技術で知られているから、そのような要素の詳細な議論はここでは与えられない。個々での議論は、全てのそのような変形及び改良に向けられている。
【００１６】
図１は、プレンオプティック撮像システム１００を示す一実施形態の例示である。スポーツ競技場１１０のような会場が設けられてよく、試合又はコンサートの放送を可能にする。この実施形態において、放送は、１３０で示された１つ以上のプレンオプティックカメラを用いて実施される。複数のマイクロホン１２０も、図示されるように、競技場１１０にわたって特定の所望の位置に選択的に配置され得る。一般に、放送は、１つ以上の、大部分が電子的な、通信媒体を介した、散開している視聴者へのオーディオ及び／又はビデオコンテンツの配布を通常は伴う。競技場１１０のような大きな会場からの放送は、従来、ラジオ及びテレビ（ＴＶ）番組を介した配布を包含してきた。しかし、近年では、放送は、個人及び他のエンティティによってインターネット上で画像をストリーミングすることを含んでよい。
【００１７】
多くの状況において、放送は、インターネット上で提供されるような多数の視聴者のために、又はラジオ及びテレビジョンシステムを使用する一般的な大量消費のために、行われる。なお、図１で示される本システムは、より大規模且つより公の視聴者のために放送を提供するだけでなく、より限られた視聴に適していると見なされるようにも提供され得る。後者は、百貨店、銀行、共同住宅、出張ホール、又は家族若しくは学校行事を軸として展開される小規模の会場のような、様々な会場を含むことができる。加えて、使用は、製品を購入させることから、セキュリティーを高めることまで、様々な範囲に及んでよい。
【００１８】
一実施形態において、システム１００は、画像及びオーディオの全体的な管理を可能にし且つ１つ以上のユーザ機器への画像及び／又はオーディオの放送を提供する１つ以上のコンピュータ及び／又はプロセッサ１５０を含む。図１において、プロセッサ１５０は、図示されるようにプレンオプティックカメラ１３０の部分であるが、他の実施形態では、プロセッサは、別個のエンティティであるか、あるいは、１つ以上のコンピュータ及び／又はサーバの部分であってよい。図１は、単一会場システムを表すが、他の実施形態では、互いに離れた施設に位置付けられており少なくとも１つのプレンオプティックカメラを備えた複数の会場が存在してよい。別々の会場どうしの間の放送は、プロセッサ（複数を含む。）又はコンピュータ（複数を含む。）によってモニタされ制御され、単一会場システムと同様に管理され得る。
【００１９】
没入型放送は、競技場が大きい場合、又はイベントが複数の施設にわたって分散する場合に、提供することが特に困難であった。没入型ビデオ放送は、リフォーカシングの必要性を有するよう競技場において常に記録される必要はない。プレンオプティックカメラにより記録又は放送され得る如何なるイベントも、十分に拡張的であり、特に大規模なイベントと同様に一定の必要性を有し得る。そのようなイベントの例は、オペラハウス、劇場、映画館などのような、コンサートホール、スポーツ会場、舞台及び演劇会場を含むより大規模な競技場や、先に論じられたようなセキュリティーの必要性を有するホテル、銀行及び共同住宅を含み得る、会議及び結婚式場、店又は複数施設会場のような、より小規模の会場の両方を含む。
【００２０】
図１に示されるような単一施設会場において、ビデオ及びオーディオは、単一の施設及び競技場の周囲の選択的な空間位置で捕捉され得る。複数施設会場（図示せず。）では、空間的に配置されたカメラ及びオーディオ機器が単一の位置でなく複数の位置に分散される点を除いて、依然として同様である。夫々の場合に、１つ以上のコンピュータ及び／又はプロセッサ（１５０）は、複数の機器どうしの間の通信を制御することができる。一実施形態において、プレンオプティックカメラ（１３０）の使用は、焦点が競技場の一部分から他へ転換されることを可能にする。同じことは、複数施設環境における複数のプレンオプティックカメラにより行われ得る。そのような場合に、デフォルトのビューと、次いで、同じプレンオプティックカメラによって同時にシーンが捕捉された複数の他のビューとが存在する。放送されているイベントの焦点をデフォルトのシーンから代わりのシーンへシフトする１つ以上の予め選択されたイベントがある。この概念の理解をより容易にするために、例は図１の実施形態を参照して与えられ得る。
【００２１】
会場は、ここでは、スタジアムのような単一施設会場であることができ、イベントは、ただ１つのカメラによって捕捉されるサッカーの試合であってよい。デフォルトのビューはグラウンドのそれであり、サッカーの試合自体に集中している。予め選択されたイベントは、マイクロホンからのオーディオフィードバックを有する。例えば、この例において、スタジアム又はスポーツ競技場１１０は、会場全体にわたって、例えば、その周囲に沿って、戦略的に設置されているＮ個のマイクロホン１２０によって囲まれている。一実施形態において、音響の突然の増大、すなわち、或る閾値又はデシベルを超える音響の突然の増大は、その特定のマイクロホンの直ぐ近く及び直ぐ周囲にあるシーンが放送されるような領域に放送焦点をシフトし直す。他の実施形態では、予め選択されたイベントが必ずしも、オーディオフィードバックに結びつけられなくても、あるいは、特定のオーディオフィードバックに敏感でなくてもよい。例えば、突然の議論又は笑い声は、たとえ音響が閾デシベルを超えなくても、リフォーカシングをトリガすることができる。
【００２２】
一実施形態において、システム１００は、デジタル画像を捕捉するよう構成されるプレンオプティックカメラ１３０と、プレンオプティックカメラ１３０と通信するプロセッサ１５０とを有する。プロセッサ１５０は、少なくとも１つの捕捉されたデジタル画像に関連するオーディオ信号を受信する少なくとも１つのマイクロホン（１２０）とも通信する。プロセッサ１５０は、デフォルトの空間座標（図示せず。）に関連した少なくとも１つのデジタル画像及び関連するオーディオを送出するよう構成される。プロセッサ１５０は、予め選択された分類子の発生に基づき、デジタル画像及び関連するオーディオの焦点及び送出をデフォルトの空間座標から新しい空間座標へ変化させる。分類子は、新しい空間座標に関連するイベントの発生に基づく。システム１００は、当業者に明らかなように、複数のマイクロホン及び、動き、光、湿度、温度又は他のそのようなデータを検出することができるセンサ１４０（単に一例として配置が示されており、如何なる他の位置にも設置されてよい。）を更に有することができる。これは、多数の没入機会を提供することができる。一実施形態において、例えば、多数のプレイヤーは、空間において追跡され、一実施形態において身体的であることができるセンタ計測パラメータ（発汗、心拍、など）と関連付けられて（そのようなパラメータを携えて）よい。この情報は、最も関心のある面を見つけるために使用され得る。
【００２３】
分類子は、一実施形態において、様々な予め選択された又は優先的なイベントとして、定義され得る。それは、論じられるように、その場合に、画像の放送及び送出をデフォルトの空間座標から分類子に関連した新しい空間座標へとリフォーカシングすることができる。この分類子は、オーディオ、センサ、画像、光又は様々な他の同様の条件付き事象によって検出されたイベントに関連することができる。例えば、放送のリフォーカシングは、笑い声、拍手、蹴られたボール、あるいは、プレイヤーどうしの戦い又は審判員どうしの議論のような異常事象の発生に基づき、起こってよい。分類子がオーディオイベントである場合に、プレンオプティック取得は然るべくリフォーカシングされ、オーディオは、分類子（例えば、関心のある特定のイベント）に関連した没入経験を作り出すようにミキシングされる。視覚的イベントは、例えば、演劇作品におけるステージ上のピーター・パンの飛行を含んでよく、それにより、カメラは、ステージから客席上を飛んでいる役者へとリフォーカシングする。先と同じく、関連するオーディオが存在する場合には、これは同時に送出される。論じられるように、音響及びオーディオフィードバックは、１つのそのような予め選択されたオプションであってよいが、他のトリガイベントは、例えば、イベント主催者によって、選択されてもよい。
【００２４】
他の実施形態において、１つ以上のプレンオプティックカメラは、１つ以上の施設においてセキュリティーのために使用されてよい。音響とともに、未許可の不法侵入を検出することができる、動き並びに光及び／又は熱検出器が存在してよい。一実施形態において、いくつかの分類子が同時に起こる場合に、又はいくつかの施設が選択される場合に、分類子又はプレンオプティックカメラの（施設ごとの）優先順位リストは、前もってプロセッサへ提供され、或る場所に記憶され得る。あるいは、論じられるように、そのような優先順位は、プロセッサ自体によって決定されてよい。
【００２５】
プロセッサが重要度の順位を決定することができる実施形態を説明するよう、１つの例が、これより、理解を容易にするために使用される。なお、当然ながら、異なった別の実施形態は当業者によって適宜提供され得る。この例では、オーディオは、イベント（分類子）のリフォーカシング及び送出の重要な側面である。この実施形態では、図１のシステム１００は、空間的に較正され得る。そのような実施形態では、マイクロホン“ｉ”の位置“Ｘｉ”は、プロセッサ１５０によってプレンオプティックカメラ１３０の座標系１００において知られるようになる。そのようなシステム１００は、ビデオが何らかの任意の面を用いてリフォーカシングされ得る没入経験を有する機会を与える。加えて、オーディオは、放送がリフォーカシングされる選択された視点に適合するようにミキシングされ得る（あるいは、関心のあるイベントの位置の近くにある１つのマイクロホンから選択される）。先行技術では、大部分のリフォーカシングは手動で実施される必要がある。例えば、サッカー・ワールドカップの間のようなサッカーの試合において、オーディオフィードバックは、“前景”の音響（例えば、蹴られるボール）が背景の音響（群衆の会話）よりも高いデシベルレベルで提供されるように、いくつかのマイクロホンからミキシングされる。そのようなプロセスの自動化は、特に、数秒の遅延でさえイベントを放送されないようにし得る生放送において、ほんの数秒しか続かないイベントの適時の捕捉を含め、多くの利点を提供することができる。
【００２６】
一実施形態において、図１に示されるような設備は、イベントの前に較正され得る。構成プロセスは、放送の開始前に前処理ステップとして行われる。この実施形態では、較正は、関係的に且つ空間的に実施される。この実施形態では、較正は、少なくとも１つのプレンオプティックカメラ１３０及びマイクロホン１２０の設置と、カメラ１３０を含む座標系においてマイクロホンの空間位置を決定することとを必要とする。その較正ステップの後に、一実施形態において、位置の組｛Ｘｉ，ｉ∈［１，Ｎ］｝は、カメラに付随するプロセッサ（１５０）を介して、又は代替のコンピュータ若しくはプロセッサによって、計算される。この実施形態では、異なるマイクロホン１２０からの信号はまた、当業者によって知られているような既知の同期化技術によって同期され、プロセッサ１４０によって更に操作及び運用されてよい。
【００２７】
他の実施形態では、取得セットアップは、プレンオプティックカメラ１３０がシーンを撮影、記録又は放送し、分散されたマイクロホンがオーディオを取得する場合に、提供され得る。撮影の間、例えば、夫々のマイクロホンについて、興味のある特徴の検出も実施され、事前選択基準と結びつけられ得る。例えば、分類子を用いると、笑い声、拍手、蹴られたボールのような特定の音響の検出は、既知の技術を用いて実時間で行われ得る。加えて、上述されたように、オーディオ信号における異常の検出を使用することも可能である。そのプロセスの終わりに、“ｉ”によって索引付けされた夫々のマイクロホンは、０から１の間の関心スコアを与えられる。０のスコアは、その信号において特定の関心が存在しないことを示し、一方、１は最大の関心を示す。数学的に、時間ｔでのスコアの組｛Ｓ＿ｉ（ｔ），ｉ∈［１，Ｎ］｝が推定される。図２で与えられている実施形態は、そのような検出の一例を提供する。
【００２８】
図２に表されている例では、夫々のマイクロホンの影は、計算された関心スコアを示す。この例では、明るい灰色は、マイクロホン２２５によって示されるように、低いスコアを示し、一方、暗い灰色（２２９）は高いスコアに対応する。明色と暗色との間の差は、２２７及び２２８で図２において示されるように、変化する関心及びスコアの範囲を示す。この例では、夫々の時間ｔで、リフォーカシング面の最適な位置は、一実施形態において、加重回帰問題の解として計算され得る。すなわち、平均二乗誤差を最小限にするように面の位置Ｐ（ｔ）を推定する：
【数１】
2017069949.tif 000003
【００２９】
この最小二乗問題は、問題が点の組に最も合うハイパープレーンを見つけることに対応するので、解くのが容易である。解は知られており、ハイパープレーンは点の重心を通るべきであり、直交ベクトルの検出は、主成分解析により容易に求められ得る。
【００３０】
この例では、最良の解は、全てのマイクロホンが或る面上でほとんど整列されるので、等式ｚ＝０の面に対応する（この場合に、方向ｚはまさに高度又は重力の方向である。）。これは算定が容易であり、例えば、全てのマイクロホンがサッカー競技場に位置すると推測する。
【００３１】
より有効な解法を提供するよう、他の実施形態では、解は、自己相関行列の２番目に小さい固有値（方向に関連付けられる場合には、最も小さい固有値）に関連付けられた固有ベクトルを留保することによって求められ得る。数学的に、それは、推定すべき面に直交する単位ベクトルが次のものであることを意味する：
［外１］
2017069949.tif 000004
そのような制約によれば、最適な面は、最小二乗ソルバを通じて推定され得る。図３は、他の実施形態により、このリフォーカシング面推定の結果を表す。
【００３２】
図３で与えられている実施形態の例では、マイクロホンの配置及び利用可能性が考慮されている。この例では、リフォーカシング面３００が次いで推定される。解は、平均二乗距離を最小化する。例えば、一実施形態において、１つの変形は、リフォーカシング視点が、最も高い関心スコアを持ったマイクロホンの周りの位置によって単純に選択され得ることであり、これは、例えば、Ｓｉ（ｔ）≫Ｓｊ（ｔ），∀ｊ≠ｉの場合に、当てはまる。他の実施形態では、別の変形例は、リフォーカシング面の最適な位置が、相対的に高いスコア（例えば、Ｓｉ（ｔ）＞閾値）を持ったマイクロホン位置のサブセットから決定されることであってよい：
【数２】
2017069949.tif 000005
【００３３】
ユーザ又は視聴者に没入経験を提供するために、実際にプレンオプティック取得をリフォーカシングするために使用される面は、視覚的に不快であるジッタを回避するように時間的にフィルタをかけられる。そうするよう、データに対する如何なる時間フィルタリングも、例えば、カルマン（Kalmann）フィルタリング、又は経験則による更新ルールのように、使用され得る。
【００３４】
図４は、この例を使用する或る方法のフローチャート図である。この実施形態において、方法は、図１乃至３を見ることによって更に理解され得る。４１０で示されるように、会場内の少なくとも１つのプレンオプティックカメラ及び複数のマイクロホンと通信するプロセッサは、夫々のマイクロホンに関連する較正スコアを受け取る。ステップ４２０で、プロセッサは、夫々のマイクロホンに関連する関心スコアも受け取る。ステップ４３０で示されるように、プロセッサは、次いで、較正スコア及び関心スコアに基づき、マイクロホンの夫々について、閾オーディオ範囲を計算する。これは、先に論じられたように、夫々のマイクロホンの位置が、そのマイクロホンが記録し得るオーディオ信号がどれくらい重要であるのかを決定づけるからである。例えば、観客が座っている位置に設置されたマイクロホンは、観客の拍手又は群衆の間の通常の議論の並みのレベルに基づき、ノイズが放送のリフォーカシングをトリガしないように、よりずっと高い閾値を有してよい。しかし、審判員のテーブルに配置されたマイクロホンは、加熱した討議でさえそれをトリガすることができるように、より敏感であり、よりずっと低い閾レベルに調整されてよい。プロセッサは、４００で示されるように、通常はデフォルトの空間座標からのデジタル画像及び関連するオーディオ信号を送出する。しかし、送出及び焦点は、４４０乃至４６０で示されるように、オーディオ範囲閾が超えられた場合に、デフォルトの空間座標から新しい空間座標へシフトされる。新しい空間座標は、閾値を超えたマイクロホンの位置に関連する。４５０乃至４５５で示されるように、優先順位は、１つよりも多い分類子又はイベントが検出され、先に論じられたように焦点面の確立を生じさせ得る場合に、存在してよい。
【００３５】
一実施形態によって提供されるほぼ瞬間的な再シフトは、イベントが現れる場合に適時の放送イベントの送出を可能にする没入経験を提供することができる。従って、ユーザ及び視聴者は、試合やパーティにおける最良の瞬間を容易に追うことができ、あるいは、即座の効果を提供する方法においてセキュリティー上の問題に気付いて顧客と相互作用することができる。
【符号の説明】
【００３６】
１００  プレンオプティック撮像システム
１１０  スポーツ競技場（会場）
１２０  マイクロホン
１３０  プレンオプティックカメラ
１４０  センサ
１５０  プロセッサ
３００  リフォーカシング面
【図１】
2017069949.tif 000006
【図２】
2017069949.tif 000007
【図３】
2017069949.tif 000008
【図４】
2017069949.tif 000009
【外国語明細書】
2017069949000001.pdf