(57)【要約】  音響撮像システムは、音響センサアレイ、電磁撮像ツール、ディスプレイ、音声装置を含み得る。プロセッサは、音響センサアレイと電磁撮像ツールからデータを受信し、音響画像データと電磁画像データを組み合わせたディスプレイ画像を生成することができる。システムは、プロセッサから音声出力を受信し、音声フィードバック信号をユーザに出力する音声装置を含み得る。音声フィードバック信号は、音響シーンから音響信号を表すことができる。システムは、音響画像データを含むディスプレイ画像をユーザに提供でき、ユーザは、対応する音声出力を音声装置に提供する音響信号を選択できる。音声出力とディスプレイ画像は、例えば、ステレオ音声出力を変更することで、音響センサアレイのポインティングにおける変更に応じて動的に変更できる。
2021532358.tif 000002
【特許請求の範囲】
【請求項１】
複数の音響センサ要素を含む音響センサアレイであって、前記複数の音響センサ要素のそれぞれが、音響シーンから音響信号を受信し、前記受信した音響信号に基づいて音響データを出力するように構成される、音響センサアレイと、
標的シーンから電磁放射を受信し、前記受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールと、
ディスプレイと、
音声フィードバック信号を出力するよう構成された音声装置と、
前記音響センサアレイ、前記電磁撮像ツール、前記ディスプレイ、および前記音声装置と通信するプロセッサと、を備え、前記プロセッサが、
前記電磁撮像ツールから電磁画像データを受信し、
前記音響センサアレイから音響データを受信し、
前記標的シーンにおける１つまたは複数の音響信号の視覚的表現を含む音響画像データであって、前記受信した音響データに基づいてシーンの音響画像データを生成し、
組み合わされた音響画像データと電磁画像データを含むディスプレイ画像を生成し、
前記ディスプレイに前記ディスプレイ画像を提示し、
前記受信した音響データを表す音声出力を生成し、
前記音声出力を前記音声装置に出力する、
ように構成される、音響分析システム。
【請求項２】
前記音声装置が、スピーカー又はヘッドフォンを含む、請求項１に記載のシステム。
【請求項３】
前記音響センサアレイ、前記電磁撮像ツール、前記ディスプレイ、および前記音声装置を支持する筐体をさらに含み、前記音声装置が、前記筐体によって支持される１つまたは複数のスピーカー、ヘッドフォンコネクタを受けるコンセント、若しくは、無線スピーカー又はワイヤレスヘッドフォンと通信する無線通信リンクを含む、請求項２に記載のシステム。
【請求項４】
前記音声装置が、第１の音声装置と第２の音声装置を含み、前記第１の音声装置が第１の音声フィードバック信号を出力し、前記第２の音声装置が第２の音声フィードバック信号を出力するように、前記音声出力が、前記第１の音声装置への第１の音声出力及び前記第２の音声装置への第２の音声出力を有するステレオ音声出力を含む、請求項２または請求項３に記載のシステム。
【請求項５】
前記プロセッサが、前記受信した音響データから前記音響シーンにおける音響信号を検出し、前記音響シーンにおける前記音響信号の位置を決定するよう構成されており、前記生成された音声出力が、前記検出された音響信号の表現を含み、前記受信した音響データを表す前記音声出力を生成することが、前記音響シーンにおける前記音響信号の前記決定された位置に基づいて、前記第１の音声出力と前記第２の音声出力を生成することを含む、請求項４に記載のシステム。
【請求項６】
前記ディスプレイ画像が、第１の領域と第２の領域を含み、
前記音響信号が前記第１の領域内にある場合、前記第１の音声出力における前記検出された音響信号の表現が、前記第２の音声出力における前記検出された音響信号の表現より大きく、
前記音響信号が前記第２の領域内にある場合、前記第２の音声出力における前記検出された音響信号の表現が、前記第１の音声出力における前記検出された音響信号の表現より大きい、請求項５に記載のシステム。
【請求項７】
前記プロセッサが、前記音響シーンにおける複数の音響信号を検出するよう構成されており、前記ディスプレイ画像が、前記検出された音響信号のそれぞれの位置に配置されたインジケータを含み、前記標的シーンにおける各音響信号の位置を特定する、請求項１から６のいずれか一項に記載のシステム。
【請求項８】
前記プロセッサと通信するユーザインタフェースをさらに含み、前記プロセッサが前記ユーザインタフェースを介して選択された音響信号を受信するよう構成されており、前記生成された音声出力が前記選択された音響信号のみを表す、請求項７に記載のシステム。
【請求項９】
前記ディスプレイがタッチスクリーンディスプレイを含み、
前記ユーザインタフェースが前記タッチスクリーンディスプレイを含み、
前記ディスプレイ画像の前記生成することが、前記ディスプレイ画像におけるそれぞれの位置での前記複数の音響信号のそれぞれの視覚的表現を含み、
前記ユーザインタフェースを介して選択された音響信号を受信することが、前記音響信号に対応する位置でのタッチスクリーン入力を検出することを含む、請求項８に記載のシステム。
【請求項１０】
前記プロセッサが、複数の音声出力を生成するよう構成されており、前記複数の音声出力のそれぞれが前記複数の検出された音響信号の１つに対応する、請求項７から９のいずれか一項に記載のシステム。
【請求項１１】
前記プロセッサが、前記複数の音声出力のそれぞれを組み合わせた音声出力として同時に前記音声装置に出力するよう構成されており、前記音声装置が、前記複数の検出された音響信号の組み合わせを表す音声フィードバック信号を出力する、請求項１０に記載のシステム。
【請求項１２】
前記プロセッサが、前記複数の音声出力のそれぞれを前記音声装置に連続して出力するよう構成されている、請求項１０または請求項１１に記載のシステム。
【請求項１３】
前記プロセッサが、前記ディスプレイ画像を更新し、前記音声装置に出力されている前記音声出力に対応する前記音響信号の前記位置を示すよう構成されている、請求項１２に記載のシステム。
【請求項１４】
前記プロセッサが、所定の条件を満たす音響信号についてのみ音声出力を出力するよう構成されている、請求項１０から１３のいずれか一項に記載のシステム。
【請求項１５】
前記プロセッサが、前記音響シーン内の音響信号を検出し、前記検出された音響信号に関連する１つまたは複数の音響パラメータを決定するよう構成されており、前記音声出力が、前記検出された音響信号に共通する１つまたは複数の音響パラメータを含む、請求項１から１４のいずれか一項に記載のシステム。
【請求項１６】
前記音声出力が、前記ディスプレイ画像の中心部に位置された音響データを表す、請求項１から１５のいずれか一項に記載のシステム。
【請求項１７】
複数の音響センサ要素を含む音響センサアレイであって、前記複数の音響センサ要素のそれぞれが、音響シーンから音響信号を受信し、前記受信した音響信号に基づいて音響データを出力するように構成される、音響センサアレイと、
標的シーンから電磁放射を受信し、前記受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールであって、電磁放射を検出するように構成される、電磁撮像ツールと、
ディスプレイと、
音声フィードバック信号を出力するよう構成された音声装置と、
前記音響センサアレイ、前記電磁撮像ツール、前記ディスプレイ、および前記音声装置と通信するプロセッサと、を備え、前記プロセッサが、
前記電磁撮像ツールから電磁画像データを受信し、
前記音響センサアレイから音響データを受信し、
前記標的シーンにおける１つまたは複数の音響信号の視覚的表現を含む音響画像データであって、前記受信した音響データに基づいてシーンの音響画像データを生成し、
組み合わされた音響画像データと電磁画像データを含むディスプレイ画像を生成し、
前記音響センサアレイのポインティングが前記第１の音響信号の位置に対して調整されると、強度を動的に変更することを有する第１の音響信号を表す出力であって、前記音響シーン内の第１の音響信号を表す出力を提供する、
ように構成される、音響分析システム。
【請求項１８】
前記出力を提供することが、前記ディスプレイに前記ディスプレイ画像を提示することを含み、
前記ディスプレイ画像が、電磁画像データと組み合わされた前記第１の音響信号の視覚的表示を含んでおり、前記視覚的表示が、前記ディスプレイ画像での様々な透明度を有し、前記第１の音響信号を表す前記出力の強度を動的に変更することに対応する前記ディスプレイ画像の透明度を変え、
前記第１の音響信号が前記音響シーンの中心から離れると、前記視覚的表示の透明度が増加するように、前記音響シーン内の前記第１の音響信号の位置に応じて、前記第１の音響信号の前記視覚的表示の前記透明度が変化する、請求項１７に記載のシステム。
【請求項１９】
前記出力が、前記音響シーン内の少なくとも前記第１の音響信号と第２の音響信号を表し、
前記ディスプレイ画像が、前記電磁画像データと組み合わされた前記第１の音響信号の第１の視覚的表示および電磁画像データと組み合わされた前記第２の音響信号の第２の視覚的表示を含んでおり、各視覚的表示が、前記ディスプレイ画像での様々な透明度を有し、
前記第１の視覚的表示と前記第２の視覚的表示が前記音響シーンの中心から遠く離れるほど、前記ディスプレイ画像において他方よりも透明になる、請求項１８に記載のシステム。
【請求項２０】
前記ディスプレイ画像が、前記音響画像データと前記電磁画像データとの組み合わせを含み、前記ディスプレイ画像内の前記視覚的表示の前記透明度を変えることが、前記音響画像データと前記電磁画像データのブレンド比を調整することを含む、請求項１８または請求項１９に記載のシステム。
【請求項２１】
前記音声装置が、第１の音声装置と第２の音声装置を含み、
前記提供された出力が、第１の音声出力と第２の音声出力を有し、前記音響シーンにおける音響信号を表すステレオ音声出力を含んでおり、前記出力を提供することが、前記第１の音声出力を前記第１の音声装置に提供し、前記第２の音声出力を前記第２の音声装置に提供することを含み、
前記第１の音声出力における前記音響信号を表す前記音声フィードバック信号の強度および前記第２の音声出力における前記音響信号を表す前記音声フィードバック信号の強度が、前記音響センサアレイのポインティングが調整されると変化する、請求項１７から２０のいずれか一項に記載のシステム。
【請求項２２】
前記音響センサアレイと前記電磁撮像ツール間の方向が固定されるように、前記音響センサアレイと前記電磁撮像ツールを支持する筐体をさらに含む、請求項１７から２１のいずれか一項に記載のシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１８年７月２４日に出願された米国特許出願第６２／７０２，７１６号に対する優先権を主張し、その全内容が参照により本明細書に組み込まれる。
【背景技術】
【０００２】
現在利用可能な音響撮像装置は、様々な要因のために様々な周波数感度制限がある音響センサアレイ構成を含む。例えば、一部の音響撮像装置は、約２０Ｈｚ〜約２０ｋＨｚの音響周波数の範囲に応答するように設計されている。他の装置（超音波装置など）は、約３８ｋＨｚ〜約４５ｋＨｚの範囲の音響周波数に応答するように設計されている。
【０００３】
しかし、一般に２０Ｈｚ〜２０ｋＨｚの周波数範囲で動作するように設計された音響撮像装置は、例えば約５０ｋＨｚ以上のより高い周波数を効果的に検出または画像化することはできない。同様に、２０ｋＨｚ〜５０ｋＨｚの周波数範囲で動作するように設計された音響または超音波装置は、例えば２０ｋＨｚ以下の低周波数を効果的に検出および／または画像化できない。これには様々な理由が考えられる。例えば、低い（例えば可聴）周波数用に最適化されたセンサアレイには、通常、高い（例えば超音波）周波数用に最適化されたセンサアレイよりも離れた個々のセンサが含まれている。
【０００４】
ハードウェアの懸念に加えて、または代わりに、音響画像化の異なる計算アルゴリズムおよび方法は、標的と異なる周波数および／または異なる距離を有する音響信号により適していることが多く、特に経験の浅いユーザが、シーンを音響的に画像化するための最良の方法を決定することを困難にする。
【０００５】
異なる音響周波数範囲の画像化におけるこのような不一致は、部分的には、空気中の異なる周波数および波長の音波の伝搬の背後にある物理学に起因する。特定のアレイの向き、アレイのサイズ、および計算方法は、一般に、異なる周波数特性（例えば、可聴周波数、超音波周波数など）を持つ音響信号に適している。
【０００６】
同様に、様々なアレイ特性および／または計算方法は、標的までの様々な距離にある音響シーンに適し得る。例えば、非常に近い距離にある標的の近接場音響ホログラフィ、より遠い距離にある標的の様々な音響ビームフォーミング方法である。
【０００７】
したがって、音響アレイを使用した音響検査（例えば、音響画像化用）は、例えば、異なる周波数範囲を有する音響信号の分析のための広範囲の装置、ならびに異なるハードウェアおよび計算技術が音響分析の実行に適切であるときを理解する専門知識を必要とすることがある。これにより、音響検査に時間とコストがかかり、専門家がそのような検査を実行する必要が生じ得る。
【０００８】
例えば、ユーザは、音響分析を実行するために様々なハードウェアおよび／またはソフトウェアを手動で選択することを余儀なくされることがある。しかし、経験の浅い分析者は、所与の音響分析および／または音響シーンに適したハードウェアとソフトウェアの好ましい組み合わせを知ることができないことがある。さらに、関心のある音をシーン内から分離することは、特に雑然としたシーンでそれ自体の課題を提供する可能性があり、経験の浅いユーザにとっては退屈で思い通りにいかない可能性がある。例えば、所与の音響シーン、特にノイズの多い環境では、関心のある音響信号を不明瞭にし得る任意の数の周波数、強度、またはその他の特性を含む音響信号を含み得る。
【０００９】
従来のシステムでは、多くの場合、関心のある音を分析するために、検査の前に関心のある様々な音響パラメータを手動で特定する必要がある。しかし、経験の浅いユーザは、関心のある様々な音を最適に分離および／または特定する方法を知らないことがある。
【００１０】
さらに、複数の画像技術（例えば、可視光、赤外線、紫外線、音響、または他の画像化技術）が、同じ物体またはシーンを検査しながら並行して使用される場合、様々な画像化技術を実行するために使用されるツールの物理的な配置、および／または他の設定（例えば、焦点位置）は、分析に影響を与える可能性がある。例えば、各画像化装置の異なる位置および／または焦点位置は視差エラーをもたらす可能性があり、結果として生じる画像がずれる可能性がある。これにより、シーン内の関心領域や問題領域を適切に位置特定できなくなったり、ドキュメントのエラーが発生したり、問題の誤診が発生したりすることがある。例えば、音響画像データに関して、音響画像データが他の画像化技術（例えば、可視光および／または赤外線画像データ）からの画像データに対して位置合わせ不良である場合、関心のある音響信号の位置または発生源を特定することは困難である可能性がある。
【００１１】
既存の超音波試験および検査ツールは、受信センサに向かって音を集中させるのを助けるために、放物面皿の使用の有無にかかわらず、超音波センサ（複数可）を採用している。
【００１２】
特定の周波数の音が検出されると、通常、装置のディスプレイ上に上昇または下降する数値として、または周波数もしくはデシベルレベルのグラフに表示される。これは非常に紛らわしく、多くのユーザにとって直感的ではない可能性がある。
【００１３】
しかしながら、特定の音を分離、位置特定、および分析することは、退屈なプロセスである可能性があり、多くのエンドユーザにとって混乱を招く可能性がある。装置とヒトとの間の複雑で直感的でないインタフェースは、装置の効果的な使用に対する障壁になる可能性があり、および／または装置の基本的な機能を操作するためにさえ追加の訓練の必要性を必要とする可能性がある。
【００１４】
また、これらの装置のいくつかは、実際の音を増幅し放送する音声ヘッドフォン、若しくは、検出されている実際の音に関連したヘテロダインの任意選択のセットを利用している。通常、音は、センサを音源又は音に近づけようとすると、若しくはセンサが音の近くにもたらされると、リスナーの耳に増強される。
【００１５】
しかしながら、特定の音を分離させることは、退屈なプロセスである可能性があり、多くのエンドユーザにとって混乱を招く可能性がある。ユーザにとって、表示画面上の値を素早く変更しながら、音の強度における音声又はヘテロダイン増加を適切に調整することは難しいことが多い。
【発明の概要】
【００１６】
本開示のいくつかの態様は、複数の音響センサ要素を有する音響センサアレイ及び標的シーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを備える音響分析システムに関する。システムは、ディスプレイと音声フィードバック信号を出力するよう構成された音声装置を含むことができる。いくつかの例では、音声装置は、スピーカー又はヘッドフォンを含むことができ、他のシステム構成要素と有線又は無線通信することができる。
【００１７】
システムは、音響センサアレイ、電磁撮像ツール、ディスプレイ、音声装置と通信するプロセッサを含むことができる。いくつかの例では、プロセッサは、電磁撮像ツールから電磁画像データを受信し、音響センサアレイから音響データを受信するよう構成されている。プロセッサは、受信した音響データに基づいて音響画像データを生成し、組み合わされた音響画像データと電磁画像データを含むディスプレイ画像を生成するよう構成され得る。
【００１８】
いくつかの実施形態では、プロセッサは、受信した音響データを表す音声出力を生成し、音声装置に音声出力を出力するようさらに構成されている。一例では、プロセッサは、音響信号を検出するよう構成されており、生成された音声出力は、検出された音響信号の表現を含む。例えば、プロセッサは、検出された音響信号に関連する１つまたは複数の音響パラメータを決定し、検出された音響信号に共通する１つまたは複数の音響パラメータを有する音声出力を生成することができる。
【００１９】
いくつかの例では、プロセッサは、第１の音声装置への第１の音声出力及び第２の音声装置への第２の音声出力を有するステレオ音声出力を生成するよう構成されている。いくつかのそのような例では、第１の音声装置は第１の音声フィードバック信号を出力し、第２の音声装置は第２の音声フィードバック信号を出力する。プロセッサは、音響シーンにおける音響信号の位置を決定し、音響シーンにおける音響信号の決定された位置に基づいて、第１の音声出力及び第２の音声出力を生成するよう構成され得る。
【００２０】
いくつかの例では、プロセッサは、シーン内の複数の音響信号を検出できる。プロセッサは、音響信号のそれぞれの組み合わせを表す音声出力を出力できる。プロセッサは、複数の音声出力を出力でき、それぞれが複数の音響信号の一つを、例えば、連続して、対応する複数の音声出力を循環的に表示する。いくつかの例では、ユーザは、例えばタッチスクリーン入力を介して、ディスプレイ画像で観察された音響信号を選択し得る。プロセッサは、選択された音響信号に対応する音声出力を出力できる。
【００２１】
いくつかの例では、プロセッサは、音響信号を表す動的変換出力を提供するよう構成され得る。
【００２２】
例えば、音声出力は、音響信号が音響シーンの中心へと移動すると強度を高めることができる。同様に、第１の音声出力及び第２の音声出力を有するステレオ実施形態では、第１音声出力における音響信号を表す音声フィードバック信号の強度及び第２音声出力における音響信号を表す音声フィードバック信号の強度は、音響センサアレイのポインティングが調整されると変化する。例えば、シーンの左側にある音響信号は、右側の音声フィードバック信号よりも左側の音声フィードバック信号でより強く表示され得る。
【００２３】
追加的または代替的に、音響画像データは、音響センサアレイのポインティングによって、強度を変更し得る。例えば、いくつかの実施形態では、音響画像データにおける音響信号のインジケータが、ディスプレイ画像での様々な透明度を有し、音響信号の位置が音響シーンの中心から遠く離れるほど、インジケータがより透明になり得る。
【図面の簡単な説明】
【００２４】
【図１Ａ】図１Ａは、例示的な音響撮像装置の正面図および背面図を示す。
【図１Ｂ】図１Ｂは、例示的な音響撮像装置の正面図および背面図を示す。
【００２５】
【図２】図２は、音響分析システムの一例の構成要素を示す機能ブロック図である。
【００２６】
【図３Ａ】図３Ａは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
【図３Ｂ】図３Ｂは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
【図３Ｃ】図３Ｃは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
【００２７】
【図４Ａ】図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。
【図４Ｂ】図４Ｂは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。
【００２８】
【図５Ａ】図５Ａは、可視光画像と音響画像との間の視差補正を示す。
【図５Ｂ】図５Ｂは、可視光画像と音響画像との間の視差補正を示す。
【００２９】
【図５Ｃ】図５Ｃは、図５Ａ及び図５Ｂの着色されたバージョンである。
【図５Ｄ】図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。
【００３０】
【図６】図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。
【００３１】
【図７】図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
【００３２】
【図８】図８は、音響画像化プロセス中に使用するための適切なアルゴリズムおよびセンサアレイを決定するための例示的なルックアップテーブルを示す。
【００３３】
【図９Ａ】図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。
【００３４】
【図９Ｂ】図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。
【００３５】
【図９Ｃ】図９Ｃは、複数の事前定義された周波数範囲での複数の組み合わされた音響および可視光画像データを示す。
【００３６】
【図１０Ａ】図１０Ａは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。
【図１０Ｂ】図１０Ｂは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。
【００３７】
【図１１Ａ】図１１Ａは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。
【図１１Ｂ】図１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。
【００３８】
【図１２Ａ】図１２Ａは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
【図１２Ｂ】図１２Ｂは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
【図１２Ｃ】図１２Ｃは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
【００３９】
【図１３】図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。
【００４０】
【図１４】図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。
【００４１】
【図１５】図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。
【００４２】
【図１６】図１６は、非数値情報と英数字情報の両方を含む視覚化例を示す。
【００４３】
【図１７】図１７は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
【００４４】
【図１８】図１８は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
【００４５】
【図１９】図１９は、異なる音響パラメータ値を表す異なるサイズおよび色のインジケータを示す例示的な視覚化を示す。
【００４６】
【図２０】図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータを示す例示的な視覚化を示す。
【００４７】
【図２１】図２１は、シーン内の複数の位置にインジケータを含むシーンを示しており、音響信号が所定の条件を満たすことを区別して示す。
【００４８】
【図２２】図２２は、ディスプレイ画像内に配置された複数のアイコンを含むディスプレイ画像を示し、シーン内で認識された音響プロファイルを示す。
【００４９】
【図２３】図２３は、同心円を使用する複数のインジケータと、各音響信号に関連する音響強度を表す英数字情報とを介して音響データを示す別の例示的なディスプレイ画像を示す。
【００５０】
【図２４】図２４は、表示された音響信号に関連するインジケータおよび追加の英数字情報を有する例示的なディスプレイ画像を示す。
【００５１】
【図２５Ａ】図２５Ａは、ディスプレイ画像内のインジケータが選択されるディスプレイと、シーンに向かってレーザを放出するレーザポインタとを含むシステムを示す。
【００５２】
【図２５Ｂ】図２５Ｂは、図２５のシステムビューに示されるディスプレイを示す。
【００５３】
【図２６】図２６は、音響画像データを表すグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
【００５４】
【図２７】図２７は、音響画像データを表す同心円調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
【００５５】
【図２８】図２８は、１つまたは複数のフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有するインジケータを含むディスプレイ画像を示す。
【００５６】
【図２９】図２９は、１つまたは複数のフィルタ条件を満たすシーン内の位置を示す同心円調色を有するインジケータを含むディスプレイ画像を示す。
【００５７】
【図３０】図３０は、２つのインジケータを含むディスプレイ画像を示し、それぞれは、異なるフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有する。
【００５８】
【図３１】図３１は、ディスプレイ画像および仮想キーボードを含む表示インタフェースを示す。
【００５９】
【図３２】図３２は、ユーザが着用してディスプレイ画像を表示することができるアイウェアに組み込まれたディスプレイを示す。
【００６０】
【図３３Ａ】図３３Ａは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。
【図３３Ｂ】図３３Ｂは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。
【００６１】
【図３４Ａ】図３４Ａは、音響撮像システムにおける音響撮像装置と通信する様々なタイプの音声装置を示す。
【図３４Ｂ】図３４Ｂは、音響撮像システムにおける音響撮像装置と通信する様々なタイプの音声装置を示す。
【図３４Ｃ】図３４Ｃは、音響撮像システムにおける音響撮像装置と通信する様々なタイプの音声装置を示す。
【図３４Ｄ】図３４Ｄは、音響撮像システムにおける音響撮像装置と通信する様々なタイプの音声装置を示す。
【００６２】
【図３５】図３５は、音声装置が表示された音響画像データを表すために音声フィードバックを提供する例示的な実施形態を示す。
【００６３】
【図３６】図３６は、音声装置が音響信号の選択された発生源に対応する選択的な音声フィードバックを提供する例示的な実施形態を示す。
【００６４】
【図３７】図３７は、音声装置が複数の音響信号を含む表示された音響画像データを表すために音声フィードバックを提供する別の例示的な実施形態を示す。
【００６５】
【図３８】図３８は、音声装置が表示された音響画像データを表すためにステレオ音声フィードバックを提供する例示的な実施形態を示す。
【発明を実施するための形態】
【００６６】
図１Ａおよび図１Ｂは、例示的な音響撮像装置の正面図および背面図を示す。図１Ａは、音響センサアレイ１０４および電磁撮像ツール１０６を支持する筐体１０２を有する音響撮像装置１００の前面を示す。いくつかの実施形態では、音響センサアレイ１０４は、複数の音響センサ要素含み、複数の音響センサ要素のそれぞれは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成される。電磁撮像ツール１０６は、標的シーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成され得る。電磁撮像ツール１０６は、可視光、赤外線、紫外線などの複数の範囲の波長のうちの１つまたは複数の電磁放射を検出するように構成され得る。
【００６７】
図示の例では、音響撮像装置１００は、周囲光センサ１０８と、ＧＰＳなどの位置センサ１１６とを含む。装置１００はレーザポインタ１１０を含み、これはいくつかの実施形態では、レーザ距離計を含む。装置１００は、シーンに向けて可視光放射を放出するように構成され得るトーチ１１２と、シーンに向けて赤外線放射を放出するように構成され得る赤外線照射器１１８とを含む。いくつかの例では、装置１００は、任意の範囲の波長にわたってシーンを照射するための照射器を含むことができる。装置１００は、生成された画像を着色画像などのシーンに投影するように構成できる画像リプロジェクタなどのプロジェクタ１１４、および／または、例えば、シーンの深度プロファイルを判定するために、一連のドットをシーンに投影するように構成されたドットプロジェクタをさらに含む。
【００６８】
図１Ｂは、音響撮像装置１００の裏側を示す。示されるように、装置は、画像または他のデータを提示することができるディスプレイ１２０を含む。いくつかの例では、ディスプレイ１２０は、タッチスクリーンディスプレイを含む。音響撮像装置１００は、音声フィードバック信号をユーザに提供することができるスピーカーと、音響撮像装置１００と外部装置との間の無線通信を可能にすることができる無線インタフェース１２４とを含む。装置は、ユーザが音響撮像装置１００と接続することを可能にするために、１つまたは複数のボタン、ノブ、ダイヤル、スイッチ、または他のインタフェース構成要素を含むことができる制御１２６をさらに含む。いくつかの例では、制御１２６とタッチスクリーンディスプレイが組み合わさって、音響撮像装置１００のユーザインタフェースを提供する。
【００６９】
様々な実施形態では、音響撮像装置は、図１Ａおよび図１Ｂの実施形態に示されるすべての要素を含む必要はない。１つまたは複数の図示された構成要素は、音響撮像装置から除外することができる。いくつかの例では、図１Ａおよび図１Ｂの実施形態に示される１つまたは複数の構成要素は、音響撮像システムの一部として含まれ得るが、筐体１０２とは別個に含まれ得る。そのような構成要素は、例えば、無線インタフェース１２４を使用して、有線または無線通信技術を介して音響撮像システムの他の構成要素と通信することができる。
【００７０】
図２は、音響分析システム２００の一例の構成要素を示す機能ブロック図である。図２の例示的な音響分析システム２００は、音響センサアレイ２０２内に配置されたマイクロフォン、ＭＥＭＳ、トランスデューサなどの複数の音響センサを含むことができる。このようなアレイは、１次元、２次元、または３次元であり得る。様々な例において、音響センサアレイは、任意の適切なサイズおよび形状を定義することができる。いくつかの例では、音響センサアレイ２０２は、例えば、垂直列および水平行に配置されたセンサ要素のアレイなどのグリッドパターンに配置された複数の音響センサを含む。様々な例において、音響センサアレイ２０２は、例えば、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６などの水平行による垂直列のアレイを含むことができる。他の例も可能であり、様々なセンサアレイに列と同じ数の行を含める必要はない。いくつかの実施形態では、そのようなセンサは、例えば、プリント回路基板（ＰＣＢ）基板などの基板上に配置することができる。
【００７１】
図２に示される構成では、音響センサアレイ２０２と通信するプロセッサ２１２は、複数の音響センサのそれぞれから音響データを受信することができる。音響分析システム２００の例示的な動作中に、プロセッサ２１２は、音響センサアレイ２０２と通信して、音響画像データを生成することができる。例えば、プロセッサ２１２は、音響センサアレイに配置された複数の音響センサのそれぞれから受信したデータを分析し、音響信号を音響発生源に「バックプロパゲーション」することによって音響シーンを決定するように構成され得る。いくつかの実施形態では、プロセッサ２１２は、２次元シーン全体にわたる音響信号の様々な発生源位置および強度を特定することによって、音響画像データのデジタル「フレーム」を生成することができる。音響画像データのフレームを生成することによって、プロセッサ２１２は、実質的に所与の時点での標的シーンの音響画像を取り込む。いくつかの例では、フレームは、音響画像を構成する複数のピクセルを含み、各ピクセルは、音響信号がバックプロパゲーションされた発生源シーンの一部を表す。
【００７２】
プロセッサ２１２を含む音響分析システム２００内のプロセッサとして説明される構成要素は、１つまたは複数のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジック回路等の、単独または任意の適切な組み合わせなどの、１つまたは複数のプロセッサとして実装され得る。プロセッサ２１２はまた、プロセッサ２１２によって実行されると、音響分析システム２００およびプロセッサ２１２に本開示においてそれらに起因する機能を実行させるプログラム命令および関連データを記憶するメモリを含み得る。メモリは、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスクまたはフロッピー磁気ディスク、ＥＥＰＲＯＭなどの固定または取り外し可能な磁気、光学、または電気媒体を含み得る。メモリはまた、メモリの更新またはメモリ容量の増加を提供するために使用され得る取り外し可能なメモリ部分を含み得る。リムーバブルメモリはまた、音響画像データが別のコンピューティング装置に容易に転送されること、または音響分析システム２００が別の用途で使用される前に除去されることを可能にし得る。プロセッサ２１２はまた、コンピュータまたは他の電子システムの一部またはすべての構成要素を単一のチップに統合するシステムオンチップとして実装され得る。プロセッサ２１２（処理回路）は、処理されたデータをディスプレイ２１４または他の出力制御装置２１８に通信するように構成され得る。
【００７３】
いくつかの実施形態では、音響センサアレイ２０２内の音響センサは、音響画像を表すために、各音響センサによって受信された音響信号に対応する一連の信号を生成する。音響画像データの「フレーム」は、音響センサアレイ２０２を構成するすべての行をスキャンすることによって各音響センサからの信号が取得されるときに生成される。いくつかの例では、プロセッサ２１２は、音響画像データのビデオ表現（例えば、３０Ｈｚ、または６０Ｈｚ）を生成するのに十分な速度で音響画像フレームを取得することができる。特定の回路とは独立して、音響分析システム２００は、標的シーンの音響プロファイルを表す音響データを操作して、ユーザが表示、保存、送信、または他の方法で利用できる出力を提供するように構成され得る。
【００７４】
いくつかの実施形態では、音響画像データを生成するための受信音響信号の「バックプロパゲーション」は、例えばプロセッサを介して、音響センサアレイ２０２内の複数の音響センサで受信信号を分析することを含む。様々な例において、バックプロパゲーションの実行は、標的までの距離、周波数、音の強度（例えば、ｄＢレベル）例えば、１つまたは複数のアレイ内の個々のセンサの間隔および配置を含むセンサアレイの寸法／構成を含む、１つまたは複数のパラメータの関数である。いくつかの実施形態では、そのようなパラメータは、例えばメモリ内のシステムに事前にプログラムすることができる。例えば、音響センサアレイ２０２の特性は、内部メモリまたは特に音響センサアレイ２０２に関連するメモリなどのメモリに記憶することができる。標的までの距離などの他のパラメータは、様々な方法で受信することができる。例えば、いくつかの例では、音響分析システム２００は、プロセッサ２１２と通信する距離測定ツール２０４を含む。距離測定ツールは、距離測定ツール２０４から標的シーン内の特定の位置までの距離を表す距離情報を提供するように構成され得る。様々な距離測定ツールは、レーザ距離計または他の光学的または音声的距離測定装置などの他の既知の距離測定装置を含むことができる。追加的または代替的に、距離測定ツールは、標的シーンの各部分が関連する標的までの距離値を有するように３次元深度データを生成するように構成され得る。したがって、いくつかの例では、本明細書で使用される標的測定までの距離は、標的シーン内の各位置までの距離に対応することができる。そのような３次元深度データは、例えば、標的シーンの異なるビューを有する複数の画像化ツールを介して、または他の既知の距離走査ツールを介して生成することができる。一般に、様々な実施形態では、距離測定ツールを使用して、レーザ距離測定、アクティブ音波距離測定、パッシブ超音波距離測定、ＬＩＤＡＲ距離測定、ＲＡＤＡＲ距離測定、ミリ波距離測定などを含むがこれらに限定されない１つまたは複数の距離測定機能を実行することができる。
【００７５】
距離測定ツール２０４からの距離情報は、バックプロパゲーション計算に使用することができる。追加的または代替的に、システム２００は、ユーザが標的パラメータまでの距離を手動で入力することができるユーザインタフェース２１６を含むことができる。例えば、ユーザは、音響信号を生成することが疑われる構成要素までの距離が既知であるか、または距離測定ツール２０４で測定することが困難である場合に、システム２００に標的値までの距離を入力し得る。
【００７６】
図示の実施形態では、音響分析システム２００は、標的シーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、標的シーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。いくつかの例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、および紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、いくつかの実施形態では、電磁タイミングツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された１つまたは複数のカメラモジュールを含むことができる。
【００７７】
可視光カメラモジュールは一般的によく知られている。例えば、スマートフォンやその他の多くの装置には、様々な可視光カメラモジュールが含まれている。いくつかの実施形態では、可視光カメラモジュール２０６は、標的シーンから可視光エネルギーを受け取り、例えば、ディスプレイ２１４上および／またはメモリに保存された可視光画像の形態で表示することができる可視光エネルギーデータを生成するために、可視光エネルギーを可視光センサに集中するように構成され得る。可視光カメラモジュール２０６は、本明細書のモジュールに起因する機能を実行するための任意の適切な構成要素を含むことができる。図２の例では、可視光カメラモジュール２０６は、可視光レンズアセンブリ２０８および可視光センサ２１０を含むものとして示されている。いくつかのそのような実施形態では、可視光レンズアセンブリ２０８は、標的シーンによって放出された可視光エネルギーを受け取り、可視光エネルギーを可視光センサ２１０に集中させる少なくとも１つのレンズを含む。可視光センサ２１０は、例えば、ＣＭＯＳ検出器、ＣＣＤ検出器、ＰＩＮダイオード、アバランシェフォトダイオードなどの複数の可視光センサ要素を含むことができる。可視光センサ２１０は、変換され、ディスプレイ２１４上に可視光画像として表示され得る電気信号を生成することによって、集中されたエネルギーに応答する。いくつかの例では、可視光モジュール２０６は、ユーザによって構成可能であり、例えば、様々なフォーマットで２１４を表示するための出力を提供することができる。可視光カメラモジュール２０６は、様々な照射もしくは他の動作条件またはユーザの好みに対する補償機能を含み得る。可視光カメラモジュールは、画像データを含むデジタル出力を提供することができ、画像データは、様々なフォーマット（例えば、ＲＧＢ、ＣＹＭＫ、ＹＣｂＣｒなど）のデータを含み得る。
【００７８】
いくつかの例示的な可視光カメラモジュール２０６の動作において、標的シーンから受け取られた光エネルギーは、可視光レンズアセンブリ２０８を通過し、可視光センサ２１０に集中され得る。光エネルギーが可視光センサ２１０の可視光センサ要素に衝突すると、光検出器内の光子が放出され、検出電流に変換され得る。プロセッサ２１２は、この検出電流を処理して、標的シーンの可視光画像を形成することができる。
【００７９】
音響分析システム２００の使用中、プロセッサ２１２は、可視光カメラモジュール２０６を制御して、可視光画像を作成するために、取り込まれた標的シーンから可視光データを生成することができる。可視光データは、取り込まれた標的シーンの異なる部分に関連する色（複数可）および／または取り込まれた標的シーンの異なる部分に関連する光の大きさを示す光度データを含み得る。プロセッサ２１２は、音響分析システム２００の各可視光センサ要素の応答を一回測定することによって、可視光画像データの「フレーム」を生成することができる。可視光データのフレームを生成することによって、プロセッサ２１２は、所与の時点での標的シーンの可視光画像を取り込む。プロセッサ２１２はまた、音響分析システム２００の各可視光センサ要素の応答を繰り返し測定して、標的シーンの動的可視光画像（例えば、動画表現）を生成し得る。いくつかの例では、可視光カメラモジュール２０６は、可視光カメラモジュール２０６を動作させることができるそれ自体の専用プロセッサまたは他の回路（例えば、ＡＳＩＣ）を含み得る。いくつかのそのような実施形態では、専用プロセッサは、可視光画像データ（例えば、ＲＧＢ画像データ）をプロセッサ２１２に提供するためにプロセッサ２１２と通信する。代替の実施形態では、可視光カメラモジュール２０６用の専用プロセッサをプロセッサ２１２に統合し得る。
【００８０】
可視光カメラモジュール２０６の各センサ要素がセンサピクセルとして機能することにより、プロセッサ２１２は、各センサ要素の電気的応答を、例えば、ディスプレイ２１４での視覚化および／またはメモリへの保存のために、処理され得る時間多重化電気信号に変換することによって、標的シーンからの可視光の２次元画像またはピクチャ表現を生成することができる。
【００８１】
プロセッサ２１２は、取り込まれた標的シーンの可視光画像の少なくとも一部を表示するようにディスプレイ２１４を制御し得る。いくつかの例では、プロセッサ２１２はディスプレイ２１４を制御して、可視光カメラモジュール２０６の各センサ要素の電気的応答がディスプレイ２１４上の単一のピクセルに関連付ける。他の例では、プロセッサ２１２は、可視光画像の解像度を増加または減少させて、可視光カメラモジュール２０６内のセンサ要素よりも多くまたは少ないピクセルがディスプレイ２１４に表示されるようにし得る。プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像全体（例えば、音響分析システム２００によって取り込まれた標的シーンのすべての部分）または可視光画像全体よりも少なく（例えば、音響分析システム２００によって取り込まれた標的シーン全体より少ない部分）表示し得る。
【００８２】
いくつかの実施形態では、プロセッサ２１２はディスプレイ２１４を制御して、音響分析システム２００によって取り込まれた可視光画像の少なくとも一部と、音響センサアレイ２０２を介して生成された音響画像の少なくとも一部とを同時に表示させ得る。そのような同時表示は、オペレータが可視光画像に表示された特徴を参照して、音響画像に同時に表示された音響信号の発生源を見るのを助け得るという点で有用であり得る。様々な例において、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を並べて、ピクチャ・イン・ピクチャ配置で表示することがあり、画像の一方が他方の画像を取り囲む、または可視光と音響画像が同時に表示されるその他の適切な配置であり得る。
【００８３】
例えば、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を組み合わせた配置で表示し得る。そのような配置では、標的シーンの一部を表す可視光画像内のピクセルまたはピクセルのセットについて、標的シーンの実質的に同じ部分を表す、音響画像内の対応するピクセルまたはピクセルのセットが存在する。様々な実施形態において、音響画像および可視光画像のサイズおよび／または解像度は、同じである必要はない。したがって、音響画像または可視光画像の一方の単一のピクセルに対応する音響画像または可視光画像の他方のピクセルのセット、または異なるサイズのピクセルのセットが存在し得る。同様に、可視光画像または音響画像の一方に、他方の画像のピクセルのセットに対応するピクセルが存在することがある。したがって、本明細書で使用されるように、対応することは、１対１のピクセル関係を必要としないが、ピクセルの一致しないサイズまたはピクセルのグループを含み得る。画像の１つをアップサンプリングもしくはダウンサンプリングする、またはピクセルを対応するピクセルのセットの平均値と組み合わせるなど、画像の一致しないサイズの領域の様々な組み合わせ技術を実行し得る。他の例は既知であり、本開示の範囲内である。
【００８４】
したがって、対応するピクセルは直接１対１の関係を持つ必要はない。むしろ、いくつかの実施形態では、単一の音響ピクセルが複数の対応する可視光ピクセルを有するか、または可視光ピクセルが複数の対応する音響ピクセルを有する。追加的または代替的に、いくつかの実施形態では、すべての可視光ピクセルが対応する音響ピクセルを有するわけではなく、またはその逆も成り立つ。そのような実施形態は、例えば、前述のようなピクチャ・イン・ピクチャタイプのディスプレイを示し得る。したがって、可視光ピクセルは、対応する音響ピクセルがそうであるように、可視光画像内で必ずしも同じピクセル座標を有するとは限らない。したがって、本明細書で使用される場合、対応するピクセルは、一般に、標的シーンの実質的に同じ部分からの情報を含む任意の画像（例えば、可視光画像、音響画像、結合画像、ディスプレイ画像など）からのピクセルを指す。このようなピクセルは、画像間に１対１の関係を持つ必要はなく、それぞれの画像内で同様の座標位置を持つ必要もない。
【００８５】
同様に、対応するピクセル（すなわち、標的シーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、いくつかのそのような配置では、対応する可視光画像および音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と対話して、ディスプレイ２１４に表示される画像の一方または両方の透明性または不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と対話して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータがディスプレイ２１４を調整して、音響のみの画像と可視光のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響のみの画像、可視光のみの画像を表示することを可能にし得る。プロセッサ２１２はまた、シーン情報を、警報データなどの他のデータと組み合わせ得る。一般に、可視光と音響画像のアルファブレンドされた組み合わせは、２００％の音響と０％の可視光から０％の音響と２００％の可視光までのどこでも含むことができる。いくつかの実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、いくつかの実施形態では、ブレンドされた画像は、２００％の可視光と２００％の音響との間で調整することができる。
【００８６】
さらに、いくつかの実施形態では、プロセッサ２１２は、ユーザインタフェース２１６、および／または出力制御装置２１８からのコマンドを解釈および実行することができる。さらに、入力信号を使用して、プロセッサ２１２で発生する可視光および／または音響画像データの処理を変更し得る。
【００８７】
オペレータは、ボタン、キー、またはユーザからの入力を受信するための別の機構を含み得るユーザインタフェース２１６を介して、音響分析システム２００と対話し得る。オペレータは、ディスプレイ２１４を介して音響分析システム２００からの出力を受信し得る。ディスプレイ２１４は、任意の許容可能なパレットまたは配色で音響画像および／または可視光画像を表示するように構成されることがあり、パレットは、例えば、ユーザ制御に応答して変化し得る。いくつかの実施形態では、音響画像データは、シーン内の異なる位置からの様々な大きさの音響データを表すためにパレットに提示することができる。例えば、いくつかの例では、ディスプレイ２１４は、グレースケールなどの単色パレットで音響画像を表示するように構成される。他の例では、ディスプレイ２１４は、例えば、琥珀色、アイアンボー（ironbow）、青赤、または他の高コントラストの配色などのカラーパレットで音響画像を表示するように構成される。グレースケール表示とカラーパレット表示の組み合わせも考えられる。いくつかの例では、そのような情報を表示するように構成されているディスプレイは、そのような画像データを生成および提示するための処理能力を含み得る。他の例では、そのような情報を表示するように構成されることは、プロセッサ２１２などの他の構成要素から画像データを受信する機能を含み得る。例えば、プロセッサ２１２は、表示される各ピクセルの値（例えば、ＲＧＢ値、グレースケール値、または他の表示オプション）を生成し得る。ディスプレイ２１４は、そのような情報を受信し、各ピクセルを視覚的表示にマッピングし得る。
【００８８】
プロセッサ２１２は、ディスプレイ２１４を制御して、音響画像の少なくとも一部と可視光画像の少なくとも一部を任意の適切な配置で同時に表示することができるが、ピクチャ・イン・ピクチャ配置は、同じシーンの対応する可視画像を隣接するアライメントで表示することにより、オペレータが容易に音響画像の焦点を合わせ、および／または解釈するのを助ける。
【００８９】
電源（図示せず）は、音響分析システム２００の様々な構成要素に動作電力を供給する。様々な例において、電源は、充電式または非充電式電池および発電回路、ＡＣ電源、誘導電力ピックアップ、光起電電源、または任意の他の適切な電源構成要素を含み得る。充電式電池と、装置を動作させるため、および／または充電式電池を充電するための電力を提供するように構成された別の構成要素などの電力供給構成要素との組み合わせも可能である。
【００９０】
音響分析システム２００の動作中、プロセッサ２１２は、メモリに記憶されているプログラム情報に関連する命令の助けを借りて、音響センサアレイ２０２および可視光カメラモジュール２０６を制御して、標的シーンの可視光画像および音響画像を生成させる。プロセッサ２１２はさらに、ディスプレイ２１４を制御して、音響分析システム２００によって生成された可視光画像および／または音響画像を表示させる。
【００９１】
前述のように、状況によっては、音響画像内の標的シーンの実際の（目に見える）特徴を特定して区別することが難しいことがある。音響画像を可視光情報で補足することに加えて、いくつかの実施形態では、標的シーン内の可視輪郭を強調することが有用であり得る。いくつかの実施形態では、既知の輪郭検出方法は、標的シーンの可視光画像に対して実行することができる。音響画像と可視光画像との間の対応する関係のために、標的シーンの可視輪郭を表すと決定された可視光ピクセルは、音響画像の可視輪郭も表す音響ピクセルに対応する。本明細書で使用される場合、「輪郭（ｅｄｇｅ）」は、物体の物理的境界を指す必要はないが、可視光画像の十分に鋭いグラデーションを指し得ることが理解されよう。例としては、物体の物理的な境界、物体内の色の変化、シーン全体の陰影などを含み得る。
【００９２】
可視光カメラモジュール２０６を含むものとして図２に関して一般的に説明されているが、いくつかの例では、音響分析システム２００の電磁撮像ツール２０３は、様々なスペクトルを表す画像データを生成することができる画像化ツールを追加的または代替的に含むことができる。例えば、様々な例において、電磁撮像ツール２０３は、赤外線画像データ、可視光画像データ、紫外線画像データ、または任意の他の有用な波長、またはそれらの組み合わせを生成することができる１つまたは複数のツールを含むことができる。いくつかの実施形態では、音響撮像システムは、赤外線レンズアセンブリおよび赤外線センサアレイを有する赤外線カメラモジュールを含むことができる。例えば、赤外線カメラモジュールとインタフェースするための追加の構成要素を含めることができ、例えば、２０１５年８月２７日に出願され、「ＥＤＧＥ  ＥＮＨＡＮＣＥＭＥＮＴ  ＦＯＲ  ＴＨＥＲＭＡＬ−ＶＩＳＩＢＬＥ  ＣＯＭＢＩＮＥＤ  ＩＭＡＧＥＳ  ＡＮＤ  ＣＡＭＥＲＡＳ」と題された米国特許出願第１４／８３７，７５７号に記載されているものなどであるが、これは本出願の譲受人に付与され、参照によりその全体が本明細書に組み込まれる。
【００９３】
いくつかの例では、２つ以上のデータストリームをブレンドして表示することができる。例えば、可視光カメラモジュール２０６、音響センサアレイ２０２、および赤外線カメラモジュール（図２には示されていない）を含む例示的なシステムは、可視光（ＶＬ）画像データ、赤外線（ＩＲ）画像データ、および音響（Ａｃｏｕｓｔｉｃ）画像データのブレンドを含む出力画像を生成するように構成され得る。  例示的なブレンド技術では、ディスプレイ画像は、α  ×  ＩＲ  ＋  β  ×  ＶＬ  ＋  γ×音響によって表すことができ、α＋β＋γ＝１である。一般に、任意の数のデータストリームを組み合わせて表示できる。様々な実施形態において、α、β、およびγなどのブレンド比は、ユーザによって設定することができる。追加的または代替的に、設定された表示プログラムは、例えば、米国特許に記載されているように、警報条件（例えば、１つまたは複数のデータストリーム内の１つまたは複数の値が所定の閾値を満たす）または他の条件に基づいて異なる画像データストリームを含むように構成されることができ、例えば、「ＶＩＳＩＢＬＥ  ＬＩＧＨＴ  ＡＮＤ  ＩＲ  ＣＯＭＢＩＮＥＤ  ＩＭＡＧＥ  ＣＡＭＥＲＡ  ＷＩＴＨ  Ａ  ＬＡＳＥＲ  ＰＯＩＮＴＥＲ」と題された米国特許第７，５３８，３２６号に記載され、これは本出願の譲受人に付与され、参照によりその全体が本明細書に組み込まれる。
【００９４】
図２に関して説明された音響分析システム２００の１つまたは複数の構成要素は、携帯型（例えば、手持ち式）音響分析ツールに含めることができる。例えば、いくつかの実施形態では、携帯型音響分析ツールは、音響分析ツール内に構成要素を収容するように構成された筐体２３０を含むことができる。いくつかの例では、システム２００の１つまたは複数の構成要素は、音響分析ツールの筐体２３０の外部に配置することができる。例えば、いくつかの実施形態では、プロセッサ２１２、ディスプレイ２１４、ユーザインタフェース２１６、および／または出力制御装置２１８は、音響分析ツールの筐体の外部に配置することができ、例えば無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ通信、Ｗｉ−Ｆｉなど）を介して様々な他のシステム構成要素と通信することができる。音響分析ツールの外部にあるそのような構成要素は、例えば、コンピュータ、スマートフォン、タブレット、ウェアラブル装置などの外部装置を介して提供することができる。追加的または代替的に、音響分析ツールに関してマスターまたはスレーブ装置として機能するように構成された他の試験および測定またはデータ収集ツールは、音響分析ツールの外部の音響分析システムの様々な構成要素を同様に提供することができる。外部装置は、有線および／または無線接続を介して携帯型音響分析ツールと通信でき、様々な処理、表示、および／またはインタフェースのステップを実行するために使用できる。
【００９５】
いくつかの実施形態では、そのような外部装置は、携帯型音響分析ツールに収容された構成要素として冗長機能を提供することができる。例えば、いくつかの実施形態では、音響分析ツールは、音響画像データを表示するためのディスプレイを含むことができ、さらに、記憶および／または表示のために画像データを外部装置に通信するように構成され得る。同様に、いくつかの実施形態では、ユーザは、スマートフォン、タブレット、コンピュータなどで実行されるアプリケーション（「アプリ」）を介して音響分析ツールとインタフェースして、音響分析ツール自体で実行することもできる１つまたは複数の機能を実行し得る。
【００９６】
図３Ａは、音響分析システム内の音響センサアレイの例示的な構成の概略図である。図示の例では、音響センサアレイ３０２は、複数の第１の音響センサ（白で示されている）および複数の第２の音響センサ（陰影付き）を含む。第１の音響センサは、第１のアレイ３２０に配置され、第２の音響センサは、第２のアレイ３２２に配置される。いくつかの例では、第１のアレイ３２０および第２のアレイ３２２を選択的に使用して、音響画像データを生成するための音響信号を受信することができる。例えば、いくつかの構成では、特定の音響周波数に対する特定の音響センサアレイの感度は、音響センサ要素間の距離の関数である。
【００９７】
いくつかの構成では、より近接して間隔を置いたセンサ要素（例えば、第２のアレイ３２２）は、さらに間隔を置いたセンサ要素（例えば、第１のアレイ３２０）よりも高周波音響信号（例えば、２０ｋＨｚ〜１００ｋＨｚの超音波信号など、２０ｋＨｚを超える周波数を有する音）をよりよく分解することができる。同様に、より間隔の広いセンサ要素（例えば、第１のアレイ３２０）は、より間隔の狭いセンサ要素（例えば、第２のアレイ３２２）よりも、より低い周波数の音響信号（例えば、２０ｋＨｚ未満）を検出するのにより適し得る。超低周波数（２０Ｈｚ未満）、可聴周波数（約２０Ｈｚ〜２０ｋＨｚ）、超音波周波数（２０ｋＨｚ〜１００ｋＨｚ）などの様々な周波数範囲の音響信号を検出するために、センサ要素を互いに離して配置した様々な音響センサアレイを提供できる。いくつかの実施形態では、特定の周波数帯域の検出を最適化するために、部分アレイ（例えば、アレイ３２０以外のすべての音響センサ要素）を使用することができる。
【００９８】
さらに、いくつかの例では、いくつかの音響センサ要素は、低周波数または高周波数などの異なる周波数特性を有する音響信号を検出するのにより適していることがある。したがって、いくつかの実施形態では、低周波数音響信号を検出するために構成されたアレイ、例えば、さらに間隔を置いたセンサ要素を有する第１のアレイ３２０などは、低周波数音響信号を検出するのにより適した第１の音響センサ要素を含み得る。同様に、第２のアレイ３２２などのより高い周波数の音響信号を検出するように構成されたアレイは、高周波音響信号を検出するのにより適した第２の音響センサ要素を含み得る。したがって、いくつかの例では、音響センサ要素の第１のアレイ３２０および第２のアレイ３２２は、異なるタイプの音響センサ要素を含み得る。あるいは、いくつかの実施形態では、第１のアレイ３２０および第２のアレイ３２２は、同じタイプの音響センサ要素を含むことができる。
【００９９】
したがって、例示的な実施形態では、音響センサアレイ３０２は、第１のアレイ３２０および第２のアレイ３２２などの複数の音響センサ要素アレイを含むことができる。いくつかの実施形態では、アレイは、個別にまたは組み合わせて使用することができる。例えば、いくつかの例では、ユーザは、音響画像化手順を実行するために、第１のアレイ３２０を使用するか、第２のアレイ３２２を使用するか、または第１のアレイ３２０と第２のアレイ３２２の両方を同時に使用するかを選択し得る。いくつかの例では、ユーザは、ユーザインタフェースを介してどのアレイ（複数可）を使用するかを選択し得る。追加的または代替的に、いくつかの実施形態では、音響分析システムは、受信した音響信号の分析、または予想される周波数範囲などの他の入力データに基づいて、使用するアレイ（複数可）を自動的に選択し得る。図３Ａに示される構成は、概して、長方形の格子に概ね配置された２つのアレイ（第１のアレイ３２０および第２のアレイ３２２）を含むが、複数の音響センサ要素は、任意の形状の任意の数の個別のアレイにグループ化できることが理解されよう。さらに、いくつかの実施形態では、１つまたは複数の音響センサ要素を、動作のために選択することができる複数の別個のアレイに含めることができる。本明細書の他の場所で説明するように、様々な実施形態では、シーンから音響画像データを確立するために音響信号をバックプロパゲーションするプロセスは、音響センサ要素の配置に基づいて実行される。したがって、音響センサの配置は、音響画像生成技術を実行するために、プロセッサによって既知であるか、そうでなければアクセス可能であり得る。
【０１００】
図３Ａの音響分析システムは、距離測定ツール３０４と、音響センサアレイ３０２内に配置されたカメラモジュール３０６とをさらに含む。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表すことができ、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含むことができる。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプまたは異なるタイプの１つまたは複数の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４およびカメラモジュール３０６は、第１のアレイ３２０および第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０および第２のアレイ３２２内の格子サイト間に配置されるように示されているが、いくつかの実施形態では、１つまたは複数の構成要素（例えば、カメラモジュール３０６および／または距離測定ツール３０４は、第１のアレイ３２０および／または第２のアレイ３２２内の対応する１つまたは複数の格子に配置することができる。いくつかのそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
【０１０１】
本明細書の他の場所で説明されているように、音響センサアレイは、様々な構成のいずれかに配置された音響センサ要素を含むことができる。図３Ｂおよび３Ｃは、例示的な音響センサアレイ構成を示す概略図である。図３Ｂは、ほぼ正方形の格子内に等間隔に配置された複数の音響センサ要素を含む音響センサアレイ３９０を示す。距離測定ツール３１４およびカメラアレイ３１６は、音響センサアレイ３９０内に配置されている。図示の例では、音響センサアレイ３９０内の音響センサ要素は同じタイプのセンサであるが、いくつかの実施形態では、異なるタイプの音響センサ要素をアレイ３９０内で使用することができる。
【０１０２】
図３Ｃは、複数の音響センサアレイを示す。音響センサアレイ３９２、３９４、および３９６はそれぞれ、異なる形状のアレイに配置された複数の音響センサ要素を含む。図３Ｃの例では、音響センサアレイ３９２、３９４、および３９６を別々にまたは一緒に任意の組み合わせで使用して、様々なサイズのセンサアレイを作成することができる。図示の実施形態では、アレイ３９６のセンサ要素は、アレイ３９２のセンサ要素よりも互いに接近して配置されている。いくつかの例では、アレイ３９６は、高周波音響データを感知するように設計されており、アレイ３９２は、低周波数音響データを感知するように設計されている。
【０１０３】
様々な実施形態では、アレイ３９２、３９４、および３９６は、同じまたは異なるタイプの音響センサ要素を含むことができる。例えば、音響センサアレイ３９２は、音響センサアレイ３９６のセンサ要素の周波数動作範囲よりも低い周波数動作範囲を有するセンサ要素を含むことができる。
【０１０４】
本明細書の他の場所で説明するように、いくつかの例では、異なる音響センサアレイ（例えば、３９２、３９４、３９６）は、様々な動作モード（例えば、画像化される異なる所望の周波数スペクトル）中に選択的にオフおよびオンにすることができる。追加的または代替的に、様々な音響センサ要素（例えば、１つまたは複数のセンサアレイ内の音響センサ要素の一部またはすべて）は、所望のシステム動作に従って有効化または無効化することができる。例えば、いくつかの音響画像化プロセスでは、多数のセンサ要素（例えば、センサアレイ３９６内のように高密度に配置されたセンサ要素）からのデータは、音響画像データの解像度をわずかに改善するが、各センサ要素で受信したデータから音響画像データを抽出する必要な処理の費用がかかる。すなわち、いくつかの例では、（例えば、多数の音響センサ要素からの）多数の入力信号を処理するために必要な増加した処理要求（例えば、コスト、処理時間、電力消費などにおいて）は、追加のデータストリームによって提供される任意の追加の信号解像度と否定的に比較される。したがって、いくつかの実施形態では、所望の音響画像化動作に応じて、１つまたは複数の音響センサ要素からのデータを無効化または無視することが価値があることがある。
【０１０５】
図３Ａおよび３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、および３９６内に配置された距離測定ツール３１４およびカメラアレイ３１６を含む。いくつかの例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を画像化するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、および３９６内に同様に配置され得る。図３Ａ〜図２Ｃには、１つまたは複数の音響センサアレイ内に配置されて示されるが、距離測定ツールおよび／または１つまたは複数の画像化ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。いくつかのそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツールおよび／または１つまたは複数の画像化ツールは、音響画像化ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、または音響画像化ツールの筐体の外部に配置できる。
【０１０６】
いくつかの例では、音響センサアレイおよびカメラモジュールなどの画像化ツールの一般的な不整合は、音響センサアレイおよび画像化ツールによって生成された対応する画像データの位置合わせ不良につながることがある。図４Ａは、可視光画像データおよび音響画像データのフレームの生成における視差エラーの概略図を示す。一般に、視差エラーは垂直、水平、またはその両方であることがある。図示の実施形態では、音響センサアレイ４２０と、可視光カメラモジュール４０６を含む画像化ツールとが示されている。可視光画像フレーム４４０は、可視光カメラモジュール４０６の視野４４１に従って取り込まれて示され、一方、音響画像フレーム４５０は、音響センサアレイ４２０の視野４５１に従って取り込まれているように示されている。
【０１０７】
示されるように、可視光画像フレーム４４０と音響画像化フレーム４５０は、互いに整列されていない。いくつかの実施形態では、プロセッサ（例えば、図２のプロセッサ２１２）は、可視光画像データと音響画像データを整列させるために、可視光画像フレーム４４０と音響画像フレーム４５０の一方または両方を操作するように構成される。そのような操作は、一方の画像フレームを他方に対してシフトすることを含み得る。画像フレームが互いに対してシフトされる量は、例えば、可視光カメラモジュール４０６および／または音響センサアレイ４２０からの標的までの距離を含む、様々な要因に基づいて決定することができる。そのような距離データは、例えば、距離測定ツール４０４を使用して、またはユーザインタフェース（例えば、２１６）を介して距離値を受信することによって決定することができる。
【０１０８】
図４Ｂは、図４Ａのものと同様の概略図であるが、シーンの可視光画像を含む。図４Ｂの例では、可視光画像４４２は、複数の電力線および支持タワーのシーンを示す。音響画像４５２は、複数の位置４５４、４５６、４５８を含み、そのような位置から来る高マグニチュード音響データを示す。示されるように、可視光画像４４２および音響画像４５２は両方とも同時に表示される。しかしながら、両方の画像の観察は、可視光画像４４２の特定の構造と一致していないように見える位置４５８で少なくとも１つの音響画像極大値を示している。したがって、両方の画像を観察する人は、音響画像４５２と可視光画像４４２との間に位置合わせ不良（例えば、視差エラー）があると結論付け得る。
【０１０９】
図５Ａおよび５Ｂは、可視光画像と音響画像との間の視差補正を示す。図５Ａは、図４Ｂと同様に、可視光画像５４２および音響画像５５２を示す。音響画像５５２は、位置５５４、５５６、および５５８に極大値を含む。見て分かるように、位置５５４および５５８での最大値は、可視光画像のいずれの構造とも一致していないように見える。図５Ｂの例では、可視光画像５４２および音響画像５５２は、互いに関して位置合わせされている。音響画像の位置５５４、５５６、および５５８の極大値は、可視光画像５４２内の様々な位置と一致するように見える。
【０１１０】
使用中、オペレータは、図５Ｂの表現を（例えば、ディスプレイ２１４を介して）見て、受信した音響信号の発生源である可能性が高い可視シーン５４２内のおおよその位置を決定し得る。このような信号は、シーン内の様々な構成要素の音響シグネチャに関する情報を決定するために、さらに処理することができる。様々な実施形態において、周波数コンテンツ、周期性、振幅などの音響パラメータは、音響画像内の様々な位置に関して分析することができる。そのようなパラメータを様々なシステム構成要素に関連付けることができるように可視光データにオーバレイする場合、音響画像データを使用して、可視光画像内の物体の様々な特性（例えば、性能特性）を分析し得る。
【０１１１】
図５Ｃおよび図５Ｄは、図５Ａおよび図５Ｂの着色されたバージョンである。図５Ａおよび図５Ｂに示され、図５Ｃおよび図５Ｄの着色された表現でより容易に見られるように、位置５５４、５５６、および５５８は、色の円形グラデーションを示す。本明細書の他の場所で説明するように、音響画像データは調色技術に従って視覚的に表すことができ、音響画像データの各ピクセルは、対応する位置での音響強度に基づいて着色される。したがって、図５Ａ〜図５Ｄの例示的な表現では、位置５５４、５５６、５５８の円形グラデーションは、一般に、バックプロパゲーションされた受信音響信号に基づく画像化平面における音響強度のグラデーションを表す。
【０１１２】
図４Ａ、図４Ｂ、図５Ａ〜図５Ｄの例示的な図は、音響画像データおよび可視光画像データに関して説明されているが、そのようなプロセスは、様々な電磁画像データを用いて同様に実行できることが理解されよう。例えば、本明細書の他の場所で説明するように、様々な実施形態において、様々なそのようなプロセスは、音響画像データと、１つまたは複数の可視光画像データ、赤外線画像データ、紫外線画像データなどとの組み合わせを使用して実行することができる。
【０１１３】
本明細書の他の場所で説明するように、いくつかの実施形態では、音響画像を形成するための音響信号のバックプロパゲーションは、標的値までの距離に基づくことができる。すなわち、いくつかの例では、バックプロパゲーション計算は、距離に基づくことができ、音響センサアレイからその距離に位置する２次元音響シーンを決定することを含むことができる。２次元画像化平面が与えられると、平面内の発生源から発する球形の音波は、一般に、断面が円形に見え、図５Ａ〜図５Ｂに示されるように、強度が半径方向に減衰する。
【０１１４】
いくつかのそのような例では、バックプロパゲーション計算で使用される標的までの距離に位置しないデータを表す音響シーンの部分は、シーンにおける１つまたは複数の音の位置の不正確など、音響画像データにエラーをもたらす。このようなエラーは、音響画像が他の画像データ（例えば、可視光、赤外線、または紫外線画像データなどの電磁画像データ）と同時に表示される場合（例えば、ブレンドされる、組み合わされるなど）、音響画像データとその他の画像データとの間の視差エラーにつながることがある。したがって、いくつかの実施形態では、視差エラーを補正するためのいくつかの技術（例えば、図５Ａおよび図５Ｂに示されるように）は、音響画像データを生成するためのバックプロパゲーション計算で使用される標的までの距離値を調整することを含む。
【０１１５】
場合によっては、システムは、第１の標的までの距離値を使用してバックプロパゲーションプロセスを実行し、音響画像データおよび別のデータストリームが整列されない可能性がある図５Ａに示されるようなディスプレイ画像を表示するように構成され得る。その後、音響分析システムは、バックプロパゲーションに使用される標的までの距離値を調整し、バックプロパゲーションを再度実行し、新しい音響画像データでディスプレイ画像を更新することができる。このプロセスを繰り返すことができ、ユーザがディスプレイ上で結果として得られるディスプレイ画像を観察しながら、音響分析システムは複数の標的までの距離値を循環的に表示する。標的までの距離値が変化するにつれて、ユーザは、図５Ａに示されるディスプレイ画像から図５Ｂに示されるディスプレイ画像への漸進的な遷移を観察し得る。そのような場合、ユーザは、音響画像データが電磁画像データなどの別のデータストリームに適切に位置合わせされているように見えるときを視覚的に観察し得る。ユーザは、音響画像データが適切に位置合わせされているように見えることを音響分析システムに通知して、最新のバックプロパゲーションを実行するために使用された標的までの距離値がほぼ正しいことをシステムに示すことがあり、その距離の値を標的までの正しい距離としてメモリに保存し得る。同様に、ユーザが音響画像データが適切に位置合わせされていることを確認するまで、更新されたバックプロパゲーションプロセスで新しい距離値を使用してディスプレイ画像が更新されるときに、ユーザは標的までの距離値を手動で調整し得る。ユーザは、音響分析システムにおける標的までの現在の距離を、標的までの現在の距離として保存することを選択し得る。
【０１１６】
いくつかの例では、視差エラーを修正することは、他の画像データ（例えば、電磁画像データ）に対する音響画像データの位置を、標的までの距離データに基づいて所定の量および所定の方向に調整することを含み得る。いくつかの実施形態では、そのような調整は、音響信号を特定された標的までの距離にバックプロパゲーションすることによる音響画像データの生成とは無関係である。
【０１１７】
いくつかの実施形態では、音響画像データを生成し、音響画像データと他の画像データとの間の視差エラーを低減するために使用されることに加えて、標的までの距離値を他の決定に使用することができる。例えば、いくつかの例では、プロセッサ（例えば、２１２）は、参照により組み込まれる米国特許第７，５３８，３２６号に記載されているように、赤外線画像などの画像に焦点を合わせるか、または焦点を合わせる際にユーザを支援するために、目標値までの距離を使用することができる。そこに記載されているように、これは、可視光画像データと赤外線画像データとの間の視差エラーを補正するために同様に使用することができる。したがって、いくつかの例では、距離値を使用して、音響画像データを、赤外線画像データおよび可視光画像データなどの電磁画像データに位置合わせすることができる。
【０１１８】
本明細書の他の場所で説明するように、いくつかの例では、距離測定ツール（例えば、２０４）は、音響画像データを生成および位置合わせするためにプロセッサ（例えば、２１２）によって使用できる距離情報を提供するように構成される。いくつかの実施形態では、距離測定ツールは、距離が測定される位置で標的シーンに光を放出するように構成されたレーザ距離計を備える。いくつかのそのような例では、レーザ距離計は可視スペクトル内の光を放出することができるため、ユーザは物理的シーンのレーザスポットを見て、距離計がシーンの所望の部分までの距離を測定していることを確認できる。追加的または代替的に、レーザ距離計は、１つまたは複数の画像化構成要素（例えば、カメラモジュール）が高感度であるスペクトル内の光を放出するように構成される。したがって、分析ツールを介して（例えば、ディスプレイ２１４を介して）標的シーンを見るユーザは、シーン内のレーザスポットを観察して、レーザが標的シーン内の正しい位置までの距離を測定していることを確認し得る。いくつかの例では、プロセッサ（例えば、２１２）は、現在の距離値に基づいて（例えば、レーザ距離計と音響センサアレイと間の既知の距離ベースの視差関係に基づいて）、レーザスポットが音響シーン内に配置される位置を表すディスプレイ画像内に参照マークを生成するように構成され得る。参照マークの位置は、実際のレーザマークの位置と比較でき（例えば、ディスプレイ上にグラフィカルに、および／または標的シーン内で物理的に）、参照マークとレーザが一致するまでシーンを調整できる。そのようなプロセスは、参照により組み込まれる米国特許第７，５３８，３２６号に記載されている赤外線位置合わせおよび焦点技術と同様に実行することができる。
【０１１９】
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。この方法は、音響センサアレイ（６８０）を介して音響信号を受信し、距離情報（６８２）を受信するステップを含む。距離情報は、例えば、手動入力を介して、または観察された位置合わせに基づいて距離が決定される距離調整プロセスの結果としてなど、距離測定装置および／またはユーザインタフェースを介して受信することができる。
【０１２０】
この方法は、受信した音響信号をバックプロパゲーションして、音響シーンを表す音響画像データを決定することをさらに含む（６８４）。本明細書の他の場所で説明するように、バックプロパゲーションは、受信した距離情報と組み合わせて、音響センサアレイ内の複数のセンサ要素で受信した複数の音響信号を分析して、受信音響信号の発生源パターンを決定することを含むことができる。
【０１２１】
図６の方法は、電磁画像データ（６８６）を取り込み、音響画像データを電磁画像データ（６８８）に位置合わせするステップをさらに含む。いくつかの実施形態では、音響画像データを電磁画像データに位置合わせすることは、音響画像データを生成するためのバックプロパゲーションステップの一部として行われる（６８４）。他の例では、音響画像データを電磁画像データに位置合わせすることは、音響画像データの生成とは別個に行われる。
【０１２２】
図６の方法は、ディスプレイ画像（６９０）を生成するために、音響画像データを電磁画像データと組み合わせるステップを含む。本明細書の他の場所で説明するように、電磁画像データと音響画像データとを組み合わせることは、電磁画像データと音響画像データとをアルファブレンドすることを含み得る。画像データを組み合わせることは、ピクチャ・イン・ピクチャモードまたは特定の条件（警報条件など）が満たされる位置などで、一方の画像データセットをもう一方の画像データセットにオーバレイすることが含まれる。ディスプレイ画像は、例えば、音響センサアレイを支持する筐体によって支持されるディスプレイを介して、および／または外部装置（例えば、スマートフォン、タブレット、コンピュータなど）のディスプレイなどの、センサアレイとは別個のディスプレイを介して、ユーザに提示することができる。
【０１２３】
追加的または代替的に、ディスプレイ画像は、将来見るためにローカル（例えば、オンボード）メモリおよび／またはリモートメモリに保存することができる。いくつかの実施形態では、保存されたディスプレイ画像は、ブレンド比、バックプロパゲーション距離、または画像を生成するために使用される他のパラメータなどのディスプレイ画像特性の将来の調整を可能にするメタデータを含むことができる。いくつかの例では、生の音響信号データおよび／または電磁画像データは、その後の処理または分析のためにディスプレイ画像と共に保存することができる。
【０１２４】
音響画像データと電磁画像データとを組み合わせて最終画像を生成する方法として示されているが、図６の方法を使用して、音響画像データを、可視光画像データ、赤外線画像データ、紫外線画像データなどの電磁スペクトル音響画像データの任意の部分にまたがる画像データの１つまたは複数のセットと組み合わせることができることが理解されよう。いくつかのそのような例では、可視光画像データおよび赤外線画像データなどの画像データの複数のセットを両方とも音響画像データと組み合わせて、図６に関して説明したのと同様の方法を介してディスプレイ画像を生成することができる。
【０１２５】
いくつかの例では、センサアレイ（６８０）を介して音響信号を受信することは、音響信号を受信するための音響センサアレイを選択するステップを含むことができる。説明したように、例えば、図３Ａ〜図Ｃに関して、音響分析システムは、様々な周波数の音響信号を分析するのに適し得る複数の音響センサアレイを含むことができる。追加的または代替的に、いくつかの例では、異なる音響センサアレイは、異なる距離から伝搬する音響信号を分析するのに有用であり得る。いくつかの実施形態では、異なるアレイを互いに入れ子にすることができる。追加的または代替的に、部分アレイを選択的に使用して、音響画像信号を受信することができる。
【０１２６】
例えば、図３Ａは、第１のアレイ３２０および第１のアレイ内に入れ子にされた第２のアレイ３２２を示す。例示的な実施形態では、第１のアレイ３２０は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように（例えば、間隔を置いて）構成されたセンサアレイを含むことができる。第２のアレイ３２２は、例えば、第２の周波数範囲の周波数の音響画像データを生成するために、単独で、または第１のアレイ３２０の全部または一部と組み合わせて使用されるように構成された第２のセンサアレイを含むことができる。
【０１２７】
同様に、図３Ｃは、第１のアレイ３９２、第１のアレイ３９２内に少なくとも部分的に入れ子にされた第２のアレイ３９４、ならびに第１のアレイ３９２および第２のアレイ３９４内に少なくとも部分的に入れ子にされた第３のアレイ３９６を示す。いくつかの実施形態では、第１のアレイ３９２は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように構成され得る。第２のアレイ３９４は、音響信号を受信し、第２の周波数範囲の周波数の音響画像データを生成するために、第１のアレイ３９２の全部または一部と共に使用することができる。第３のアレイ３９６は、音響信号を受信し、第３の周波数範囲の周波数の音響画像データを生成するために、単独で、第２のアレイ３９４の全部または一部と共に、および／または第１のアレイ３９２の全部または一部と共に使用することができる。
【０１２８】
いくつかの実施形態では、入れ子にされたアレイ構成において、１つのアレイからの音響センサ要素は、例えば、一般に、第１のアレイ３９２の要素の間にある第３のアレイ３９６の要素などの、音響センサ要素の間に配置されることがある。いくつかのそのような例では、入れ子にされたアレイ（例えば、第３のアレイ３９６）内の音響センサ要素は、それが入れ子にされているアレイ（例えば、第１のアレイ３９２）内の音響センサ要素と同じ平面、前、または後ろに配置され得る。
【０１２９】
様々な実装において、より高い周波数の音響信号を感知するために使用されるアレイは、一般に、個々のセンサ間のより短い距離を必要とする。したがって、図３Ｃに関して、例えば、第３のアレイ３９６は、高周波音響信号を含む音響画像化プロセスを実行するのにより適していることがある。他のセンサアレイ（例えば、第１のアレイ３９２）は、より低い周波数信号を含む音響画像化プロセスを実行するのに十分であることがあり、アレイ３９６と比較した場合、より少ない音響センサ要素からの信号を処理する計算要求を低減するために使用され得る。したがって、いくつかの例では、高周波センサアレイは、低周波センサアレイ内に入れ子にされ得る。本明細書の他の場所で説明されているように、そのようなアレイは、一般に、個別に（例えば、アクティブなアレイ間の切り替えを介して）または一緒に操作し得る。
【０１３０】
分析のために予想される／望ましい周波数スペクトルに基づいて適切なセンサアレイを選択することに加えて、またはその代わりに、いくつかの例では、異なるセンサアレイが、標的シーンまでの異なる距離で音響画像化プロセスを実行するのにより適していることがある。例えば、いくつかの実施形態では、音響センサアレイと標的シーンとの間の距離が小さい場合、音響センサアレイ内の外側のセンサ要素は、より中央に配置されたセンサ要素よりも著しく少ない有用な音響情報を標的シーンから受信することがある。
【０１３１】
他方、音響センサアレイと標的シーンとの間の距離が大きい場合、近接して配置された音響センサ要素は、別個に有用な情報を提供しないことがある。すなわち、第１および第２の音響センサ要素が互いに接近しており、標的シーンが一般に遠くにある場合、第２の音響センサ要素は、第１の音響センサ要素と有意に異なる情報を提供しないことがある。したがって、そのような第１および第２のセンサ要素からのデータストリームは冗長であり、分析のために処理時間および資源を不必要に消費することがある。
【０１３２】
本明細書の他の場所で説明するように、どのセンサアレイが音響画像化を実行するのに最も適しているかに影響を与えることに加えて、標的までの距離は、受信した音響信号から音響画像データを決定するためのバックプロパゲーションを実行する際にも使用できる。ただし、バックプロパゲーションアルゴリズムへの入力値であることに加えて、標的までの距離を使用して、使用する適切なバックプロパゲーションアルゴリズムを選択し得る。例えば、いくつかの例では、遠距離では、球形に伝搬する音波は、音響センサアレイのサイズと比較して実質的に平面であるように近似され得る。したがって、いくつかの実施形態では、標的までの距離が大きい場合、受信した音響信号のバックプロパゲーションは、音響ビームフォーミング計算を含むことができる。ただし、音波の発生源に近い場合、音波の平面近似は適切でないことがある。したがって、近接場音響ホログラフィなど、様々なバックプロパゲーションアルゴリズムを使用し得る。
【０１３３】
説明したように、標的までの距離メトリックは、アクティブなセンサアレイ（複数可）の決定、バックプロパゲーションアルゴリズムの決定、バックプロパゲーションアルゴリズムの実行、および／または得られた音響画像を電磁画像データ（例えば、可視光、赤外線など）に位置合わせすることなど、音響画像化プロセスで様々な方法で使用できる。図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
【０１３４】
図７のプロセスは、例えば、距離測定装置から距離情報（７８０）を受信すること、またはユーザインタフェースを介してなど、入力された距離情報を受信することを含む。この方法は、受信した距離情報（７８２）に基づいて音響画像化を実行するための１つまたは複数の音響センサアレイ（複数可）を選択するステップをさらに含む。説明したように、様々な例において、選択されたアレイは、単一のアレイ、複数のアレイの組み合わせ、あるいは１つまたは複数のアレイの一部を含むことができる。
【０１３５】
図７の方法は、受信した距離情報（７８４）に基づいて音響画像化を実行するための処理技術を選択するステップをさらに含む。いくつかの例では、処理技術の選択は、音響信号から音響画像データを生成するためのバックプロパゲーションアルゴリズムの選択を含むことができる。
【０１３６】
音響画像化を実行するための音響センサアレイ（７８２）および処理技術（７８４）を選択した後、方法は、選択された音響センサアレイ（７８６）を介して音響信号を受信するステップを含む。次に、受信した音響信号は、距離および選択された処理技術を使用してバックプロパゲーションされ、音響画像データを決定する（７８８）。
【０１３７】
様々な実施形態では、図７のステップは、ユーザ、音響分析システム（例えば、プロセッサ２１２を介して）、またはそれらの組み合わせによって実行することができる。例えば、いくつかの実施形態では、プロセッサは、距離測定ツールおよび／またはユーザ入力を介して距離情報（７８０）を受信するように構成され得る。いくつかの例では、例えば、物体までの距離が、既知であるか、および／または距離測定ツールを介して分析することが困難である場合（例えば、小さい物体サイズおよび／または標的までの長い距離など）、ユーザは、距離情報として使用するために測定距離を上書きする値を入力することができる。プロセッサは、例えば、ルックアップテーブルまたは他のデータベースを使用して、受信した距離情報に基づいて音響画像化を実行するための適切な音響センサアレイを自動的に選択するようにさらに構成され得る。いくつかの実施形態では、音響センサアレイを選択することは、所望の音響センサアレイを達成するために、１つまたは複数の音響センサ要素を有効化および／または無効化することを含む。
【０１３８】
同様に、いくつかの例では、プロセッサは、受信した距離情報に基づいて音響画像化を実行するための処理技術（例えば、バックプロパゲーションアルゴリズム）を自動的に選択するように構成され得る。いくつかのそのような例では、これは、メモリに記憶された複数の既知の処理技術から１つを選択することを含むことができる。追加的または代替的に、処理技術を選択することは、所望の処理技術に到達するために単一のアルゴリズムの一部を調整することになり得る。例えば、いくつかの実施形態では、単一のバックプロパゲーションアルゴリズムは、（例えば、距離情報に基づいて）複数の項および変数を含み得る。いくつかのそのような例では、処理技術（７８４）を選択することは、１つまたは複数の項の係数を調整する（例えば、様々な係数をゼロまたは１に設定するなど）など、単一のアルゴリズムにおいて１つまたは複数の値を定義することを含み得る。
【０１３９】
したがって、いくつかの実施形態では、音響撮像システムは、受信した距離データに基づいて、選択された音響センサアレイおよび／または処理技術（例えば、バックプロパゲーションアルゴリズム）を提案および／または自動的に実装することによって、音響画像化プロセスのいくつかのステップを自動化することができる。これにより、音響画像化プロセスを高速化、改善、および簡素化でき、音響画像化の専門家が音響画像化プロセスを実行する必要がなくなる。したがって、様々な例において、音響撮像システムは、そのようなパラメータを自動的に実装し、そのようなパラメータが実装されようとしていることをユーザに通知し、そのようなパラメータを実装する許可をユーザに求め、ユーザによる手動入力のためにそのようなパラメータを提案することができる。
【０１４０】
そのようなパラメータ（例えば、処理技術、センサアレイ）の自動選択および／または提案は、他の形態の画像データ、処理速度、および音響画像データの分析に関して音響画像データの局在化を最適化するのに有用であり得る。例えば、本明細書の他の場所で説明されるように、正確なバックプロパゲーション決定（例えば、適切なアルゴリズムおよび／または正確な距離メトリックを使用する）は、音響画像データと他の（例えば、可視光、赤外線などの電磁）画像データとの間の視差エラーを低減することができる。さらに、音響分析システムによって自動的に選択または提案され得るような適切なアルゴリズムおよび／またはセンサアレイを利用することにより、熱画像データの精度を最適化して、受信した音響データの分析を可能にし得る。
【０１４１】
説明したように、いくつかの例では、音響分析システムは、受信した距離情報に基づいて音響画像化プロセスを実行するためのアルゴリズムおよび／またはセンサアレイを自動的に選択するように構成され得る。いくつかのそのような実施形態では、システムは、例えばメモリに記憶された、音響画像データを決定するための、複数のバックプロパゲーションアルゴリズムおよび音響センサアレイのどれを使用するか決定するためのルックアップテーブルを含む。図８は、音響画像化プロセス中に使用するための適切なアルゴリズムおよびセンサアレイを決定するための例示的なルックアップテーブルを示す。
【０１４２】
図示の例では、図８のルックアップテーブルは、それぞれが異なるアレイのアレイ１、アレイ２、…、アレイＮを表すＮ個の列を含む。様々な例において、各アレイは、配置された音響センサ要素の固有のセットを含む。異なるアレイは、格子に配置されたセンサ要素を含み得る（例えば、図３Ｃのアレイ３９２およびアレイ３９６）。ルックアップテーブル内のアレイには、１つまたは複数のそのような格子からのセンサ要素の組み合わせを含めることもできる。一般に、いくつかの実施形態では、アレイ１、アレイ２、…、アレイＮのそれぞれは、音響センサ要素の一意の組み合わせに対応する。そのような組み合わせのいくつかは、特定の格子に配置されたセンサ要素のセット全体を含むことができるか、または特定の格子に配置されたセンサ要素のサブセットを含むことができる。音響センサ要素の様々な組み合わせのいずれも、ルックアップテーブル内のセンサアレイとして使用するための可能な選択肢である。
【０１４３】
図８のルックアップテーブルはＭ行をさらに含み、それぞれは異なるアルゴリズムのアルゴリズム１、アルゴリズム２、．．．、アルゴリズムＭを表す。いくつかの例では、異なるアルゴリズムは、受信した音響信号のバックプロパゲーション分析を実行するための異なるプロセスを含み得る。本明細書の他の場所で説明するように、いくつかの例では、いくつかの異なるアルゴリズムは、バックプロパゲーション結果を修正するための異なる係数および／または項を有しながら、互いに類似し得る。
【０１４４】
図８の例示的なルックアップテーブルは、Ｍ×Ｎエントリを含む。いくつかの実施形態では、そのようなルックアップテーブルを利用する音響分析システムは、受信した距離情報を分析し、距離情報をＭ×Ｎビンの１つに分類するように構成され、各ビンは、図８のルックアップテーブルのエントリに対応する。このような例では、音響分析システムが距離情報を受信すると、システムは、距離情報が存在するビンに対応するルックアップテーブルでエントリ（ｉ、ｊ）を見つけ、音響画像化プロセスの間に使用する適切なアルゴリズムおよびセンサアレイを決定できる。例えば、受信した距離情報がエントリ（ｉ、ｊ）に関連付けられたビンに対応する場合、音響分析システムは、音響画像化プロセスのためにアルゴリズムｉおよびアレイｊの使用を自動的に利用または提案できる。
【０１４５】
様々なそのような例において、距離情報ビンは、均一なサイズの距離範囲に対応することができ、例えば、第１のビンは１フィート以内の距離に対応し、第２のビンは１〜２フィートの距離に対応するなどである。他の例では、ビンは均一なサイズの距離スパンに対応する必要はない。さらに、いくつかの実施形態では、Ｍ×Ｎ未満のビンを使用することができる。例えば、いくつかの実施形態では、特定のアレイ（例えば、アレイｙ）でこれまで使用されたことのないアルゴリズム（例えば、アルゴリズムｘ）が存在し得る。したがって、このような例では、Ｍ×Ｎルックアップテーブルのエントリ（ｘ、ｙ）に対応する、対応する距離情報ビンはない。
【０１４６】
いくつかの実施形態では、ポピュレートされた距離ビンに関する統計分析を使用して、標的シーン内の最も一般的な距離または距離範囲を特定することができる。いくつかのそのような実施形態では、最大数の対応する位置（例えば、音響信号を伴う最大数の位置）を有する距離ビンを、図７のプロセスにおける距離情報として使用することができる。すなわち、いくつかの実施形態では、利用された音響センサアレイおよび／または処理技術は、標的シーン内の様々な物体の距離分布の統計分析に基づいて実装および／または推奨され得る。これは、シーンの音響画像化に使用されるセンサアレイおよび／または処理技術が、音響シーン内の最大数の位置に適切である可能性を高めることができる。
【０１４７】
追加的または代替的に、距離情報以外のパラメータを使用して、音響画像データの生成に使用する適切なセンサアレイおよび／または処理技術を選択することができる。本明細書の他の場所で説明されているように、様々なセンサアレイは、特定の周波数および／または周波数帯域に好感度であるように構成され得る。いくつかの例では、同様の異なるバックプロパゲーション計算を、異なる音響信号周波数コンテンツに従って使用することができる。したがって、いくつかの例では、１つまたは複数のパラメータを使用して、処理技術および／または音響センサアレイを決定することができる。
【０１４８】
いくつかの実施形態では、音響分析システムを使用して、受信した音響信号処理／分析の様々なパラメータを最初に分析することができる。図７を参照すると、音響画像データを生成するための方法は、音響信号（７８６）を受信した後、受信信号（７９０）の周波数コンテンツを分析するステップを含むことができる。いくつかのそのような例では、音響センサアレイ（複数可）および／または処理技術が選択されている場合（例えば、それぞれステップ７８２および／または７８４を介して）、方法は、分析された周波数コンテンツに基づいて、選択されたアレイ（複数可）を更新するステップ、および／または、選択された処理技術（７９２）を更新するステップを含むことができる。
【０１４９】
センサアレイ（複数可）および／または処理技術を更新した後、方法は更新されたパラメータを使用して様々なアクションを実行できる。例えば、選択されたセンサアレイが、分析された周波数コンテンツ（７９０）に基づいて更新された場合（７９２）、新しい音響信号は、（新たに）選択された音響センサアレイ（７８６）から受信することができ、その後、音響画像データを決定するためにバックプロパゲーションされることができる（７８８）。あるいは、処理技術が７９２で更新される場合、既に捕捉された音響信号は、更新された処理技術に従ってバックプロパゲーションされて、更新された音響画像データを決定することができる。処理技術とセンサアレイの両方が更新された場合、新しい音響信号は、更新されたセンサアレイを使用して受信されることができ、更新された処理技術に従ってバックプロパゲーションされることができる。
【０１５０】
いくつかの実施形態では、音響分析システムは、受信した音響信号（７９０）の周波数コンテンツを分析することなく、周波数情報（７７８）を受信することができる。例えば、いくつかの例では、音響分析システムは、将来の音響分析のために、所望のまたは予想される周波数範囲に関する情報を受信することができる。いくつかのそのような例では、所望のまたは予想される周波数情報を使用して、１つまたは複数のセンサアレイおよび／または周波数情報に最も適合する処理技術を選択することができる。いくつかのそのような例では、音響センサアレイ（７８２）を選択するステップおよび／または処理技術（７８４）を選択するステップは、受信した距離情報に加えて、または代わりに、受信周波数情報に基づくことができる。
【０１５１】
いくつかの例では、受信した音響信号（例えば、音響センサ要素を介して受信した）は、例えば、音響分析システムのプロセッサ（例えば、２１０）を介して分析され得る。このような分析を使用して、周波数、強度、周期性、見かけの近接度（例えば、受信した音響信号に基づいて推定される距離）、測定された近接度、またはそれらの任意の組み合わせなど、音響信号の１つまたは複数の特性を決定することができる。いくつかの例では、音響画像データをフィルタ処理して、例えば、特定の周波数コンテンツ、周期性などを有する音響信号を表す音響画像データのみを表示することができる。いくつかの例では、そのようなフィルタをいくつでも同時に適用することができる。
【０１５２】
本明細書の他の場所で説明するように、いくつかの実施形態では、音響ビデオデータと同様に、音響画像データの一連のフレームを経時的に取り込むことができる。追加的または代替的に、音響画像データが繰り返し生成されない場合でも、いくつかの例では、音響信号が繰り返しサンプリングされ、分析される。したがって、繰り返される音響画像データ生成（例えば、ビデオ）の有無にかかわらず、周波数などの音響データのパラメータを経時的に監視することができる。
【０１５３】
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。示されるように、図９Ａのプロットによって表される音響シーンは、一般に、周波数１、周波数２、周波数３、および周波数４としてラベル付けされた、経時的な４つの持続周波数を含む。標的シーンの周波数コンテンツなどの周波数データは、受信した音響信号を処理することによって、例えば、高速フーリエ変換（ＦＦＴ）または他の既知の周波数分析方法を使用して決定できる。
【０１５４】
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。図示の画像では、音響画像データが可視光画像データと組み合わされて、位置９１０、９２０、９３０、および９４０に存在する音響信号を示している。いくつかの実施形態では、音響分析システムは、任意の検出された周波数範囲の音響画像データを表示するように構成される。例えば、例示的な実施形態では、位置９１０は、周波数１を含む音響画像データを含み、位置９２０は、周波数２を含む音響画像データを含み、位置９３０は、周波数３を含む音響画像データを含み、位置９４０は、周波数４を含む音響画像データを含む。
【０１５５】
いくつかのそのような例では、音響画像データの代表的な周波数範囲を表示することは、動作の選択可能なモードである。同様に、いくつかの実施形態では、音響分析システムは、所定の周波数帯域内の周波数のみを表す音響画像データを表示するように構成される。いくつかのそのような例では、所定の周波数範囲を表す音響画像データを表示することは、音響画像データを生成するための音響信号を受信するための１つまたは複数の音響センサアレイを選択することを含む。このようなアレイは、選択的な周波数範囲を受信するように構成できる。同様に、いくつかの例では、１つまたは複数のフィルタを使用して、音響画像データを生成するために使用される周波数コンテンツを制限することができる。追加的または代替的に、いくつかの実施形態では、音響画像データが所定の条件を満たす（例えば、所定の周波数範囲内にある）場合にのみ、広範囲の周波数を表す情報を含む音響画像データを分析し、ディスプレイに表示することができる。
【０１５６】
図９Ｃは、複数の事前定義された周波数範囲での複数の組み合わされた音響および可視光画像データを示す。第１の画像は、周波数１の周波数コンテンツを含む第１の位置９１０での音響画像データを含む。第２の画像は、周波数２の周波数コンテンツを含む第２の位置９２０での音響画像データを含む。第３の画像は、周波数３の周波数コンテンツを含む第３の位置９３０での音響画像データを含む。第４の画像は、周波数４の周波数コンテンツを含む第４の位置９４０での音響画像データを含む。
【０１５７】
例示的な実施形態では、ユーザは、選択された周波数範囲以外の周波数コンテンツを表す音響画像データをフィルタ処理するために、周波数１、周波数２、周波数３、または周波数４を含む範囲などの様々な周波数範囲を選択し得る。したがって、そのような例では、第１、第２、第３、または第４の画像のいずれかが、ユーザによって選択された所望の周波数範囲の結果として表示され得る。
【０１５８】
追加的または代替的に、いくつかの例では、音響分析システムは、それぞれが異なる周波数コンテンツを有する複数のディスプレイ画像間で循環的に表示し得る。例えば、図９Ｃに関して、例示的な実施形態では、音響分析システムは、図９Ｃの矢印によって示されるような、第１、第２、第３、および第４の画像を順番に表示し得る。
【０１５９】
いくつかの例では、ディスプレイ画像は、画像に表示されている周波数コンテンツを表すテキストまたは他の表示を含むことができ、ユーザは、画像内のどの位置が特定の周波数コンテンツを表す音響画像データを含むかを観察できる。例えば、図９Ｃに関して、各画像は、音響画像データで表される周波数のテキスト表現を示し得る。図９Ｂに関して、複数の周波数範囲を示す画像は、音響画像データを含む各位置での周波数コンテンツの表示を含み得る。いくつかのそのような例では、ユーザは、例えば、ユーザインタフェースを介して画像内の位置を選択することがあり、その位置に存在する周波数コンテンツを音響シーンで見ることがある。例えば、ユーザは、第１の位置９１０を選択することがあり、音響分析システムは、第１の位置の周波数コンテンツ（例えば、周波数１）を提示し得る。したがって、様々な例において、シーン内のどこが特定の周波数コンテンツに対応するかを見ることによって、および／または様々な位置にどの周波数コンテンツが存在するかを見ることによってなど、ユーザは音響シーンの周波数コンテンツを分析するために音響分析システムを使用することができる。
【０１６０】
例示的な音響画像化操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景または他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響画像化手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。いくつかのそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ〜図Ｄ５に示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響画像化のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ〜１４ｋＨｚ）を選択し得る。
【０１６１】
いくつかの例では、音響分析システムを使用して、受信した音響信号の強度に関連する情報を分析および／または提示することができる。例えば、いくつかの実施形態では、受信した音響信号をバックプロパゲーションすることは、音響シーン内の複数の位置での音響強度値を決定することを含むことができる。いくつかの例では、上記の周波数と同様に、音響信号の強度が１つまたは複数の所定の要件を満たす場合にのみ、音響画像データがディスプレイ画像に含まれる。
【０１６２】
様々なそのような実施形態では、ディスプレイ画像は、所定の閾値（例えば、１５ｄＢ）を超える音響信号、所定の閾値（例えば、１００ｄＢ）を下回る音響信号、または所定の強度範囲内の音響信号（例えば、１５ｄＢ〜４０ｄＢ）を表す音響画像データを含むことができる。いくつかの実施形態では、閾値は、平均音響強度からの標準偏差より上または下など、音響シーンの統計分析に基づくことができる。
【０１６３】
周波数情報に関して上記と同様に、いくつかの実施形態では、１つまたは複数の強度要件を満たす音響信号を表すように音響画像データを制限することは、所定の条件を満たす受信信号のみが音響画像データを生成するために使用されるように、受信した音響信号をフィルタ処理することを含むことができる。他の例では、音響画像データは、どの音響画像データが表示されるかを調整するためにフィルタ処理される。
【０１６４】
追加的または代替的に、いくつかの実施形態では、音響シーン内の位置での音響強度を経時的に監視することができる（例えば、ビデオ音響画像表現と組み合わせて、または必ずしもディスプレイ画像を更新することなく背景分析を介して）。いくつかのそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量または率を含み得る。
【０１６５】
図１０Ａおよび１０Ｂは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。図１０Ａは、複数の位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０で示される音響画像データを含むディスプレイ画像を示す。いくつかの例では、強度値は調色されることができ、例えば、音響強度値は、所定の調色技術に基づいて色を割り当てられる。例示的な実施形態では、強度値は、強度範囲（例えば、１０ｄＢ〜２０ｄＢ、２０ｄＢ〜３０ｄＢなど）に従って分類することができる。各強度範囲は、調色技術に従って特定の色に関連付けることができる。音響画像データは、複数のピクセルを含むことができ、各ピクセルは、音響画像データのピクセルによって表される強度が入る強度範囲に関連する色で着色される。色によって区別されることに加えて、またはその代わりに、異なる強度は、透明度（例えば、音響画像データが他の画像データにオーバレイされる画像オーバレイにおいて）などの他の特性に従って区別することができる。
【０１６６】
音響強度の変化率など、追加のパラメータも調色されることがある。強度と同様に、音響強度の変化率の変化は、音響強度変化の異なる率および／または量を示すシーンの部分が異なる色で表示されるように、調色することができる。
【０１６７】
図示の例では、音響画像データは、強度パレットに従って調色され、その結果、異なる音響信号強度を表す音響画像データは、異なる色および／または陰影で示される。例えば、位置１０１０および１０３０での音響画像データは、第１の強度の調色された表現を示し、位置１０４０、１０６０、および１０８０は、第２の強度の調色された表現を示し、位置１０２０、１０５０、１０７０、および１０９０は、第３の強度の調色された表現を示す。図１０Ａの例示的な表現に示されるように、音響画像データの調色された表現を示す各位置は、中心から外側に延びる色のグラデーションを有する円形パターンを示す。これは、信号が音響信号の発生源から伝播するときの音響強度の減衰が原因であることがある。
【０１６８】
図１０Ａの例では、音響画像データは、可視光画像データと組み合わされて、ディスプレイ画像を生成し、これは、例えば、ディスプレイを介してユーザに提示され得る。ユーザは、可視シーン内のどの位置が音響信号を生成しているか、およびそのような信号の強度を見るために、図１０Ａのディスプレイ画像を見ることができる。したがって、ユーザは、どの位置が音を発しているのかを迅速かつ容易に観察し、シーン内の様々な位置から来る音の強度を比較し得る。
【０１６９】
本明細書の他の場所の周波数に関して説明したのと同様に、いくつかの実施形態では、音響画像データは、対応する音響信号が所定の強度条件を満たす場合にのみ提示され得る。図１０Ｂは、図１０Ａのディスプレイ画像と同様に例示的なディスプレイ画像を示し、可視光画像データおよび所定の閾値を超える音響信号を表す音響画像を含む。示されるように、音響画像データを含む図１０Ａの位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０のうち、位置１０２０、１０５０、１０７０、および１０９０のみが、所定の条件を満たす音響信号を表す音響画像データを含む。
【０１７０】
例示的なシナリオでは、図１０Ａは、位置１０１０〜９９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内のどの音源（例えば、図１０Ａおよび１０Ｂの標的シーン内）が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのに役立つ。
【０１７１】
本明細書の他の位置で説明されるように、強度閾値（例えば、４０ｄＢ）と直接比較されることに加えて、またはその代わりに、いくつかのそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量または率を含み得る。いくつかのそのような例では、音響画像データは、所与の位置での音響強度の変化率または変化量が所定の条件を満たす場合にのみ提示され得る（例えば、閾値よりも大きい、閾値よりも小さい、所定の範囲内など）。いくつかの実施形態では、音響強度の変化の量または率は、強度音響画像データとして、または強度音響画像データと組み合わせて、調色して表示することができる。例えば、例示的な実施形態では、変化率が、音響画像データを含む位置を決定するための閾値として使用される場合、音響画像データは、表示のための調色された強度変化率メトリックを含むことができる。
【０１７２】
いくつかの例では、ユーザは、表示される音響画像データの強度要件（例えば、最小値、最大値、範囲、変化率、変化量など）を手動で設定し得る。本明細書の他の場所で論じられるように、強度要件のみを満たす音響画像データを含むことは、音響画像データ生成中に（例えば、受信した音響信号をフィルタ処理することによって）達成することができ、および／または、設定された要件（複数可）を満たさない音響信号を表す生成された音響画像データを表示しないことによって実行できる。いくつかのそのような例では、強度値に従ってディスプレイ画像をフィルタ処理することは、音響画像データおよび可視光画像データが取り込まれ、メモリに記憶された後に実行され得る。すなわち、メモリに記憶されたデータを使用して、事前定義された強度条件を満たすなどの音響画像データのみを表示するなど、任意の数のフィルタ処理パラメータを含むディスプレイ画像を生成することができる。
【０１７３】
いくつかの例では、音響画像の強度の下限を設定すること（例えば、所定の強度を超える音響信号を表す音響画像データのみを表示すること）は、音響画像データから望ましくないバックグラウンドまたは周囲の音および／または音の反射を含むことを排除することができる。他の例では、音響画像の強度の上限を設定すること（例えば、所定の強度未満の音響信号を表す音響画像データのみを表示すること）は、そのような大きな音で通常隠されている音響信号を観察するために、音響画像データに予想される大きな音を含めることを排除することができる。
【０１７４】
いくつかの表示機能が可能である。例えば、図９Ｃに関して説明した周波数分析／表示と同様に、いくつかの例では、音響分析システムは、それぞれが異なる強度要件を満たす音響画像データを示す複数のディスプレイ画像を循環的に表示することができる。同様に、いくつかの例では、ユーザは、所与の範囲の音響強度を有する音響画像データ内の位置を見るために、一連の音響強度範囲をスクロールし得る。
【０１７５】
音響データの分析に使用できるもう１つのパラメータは、音響信号の周期性値である。図１１Ａおよび１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。図１１Ａのプロットに示されるように、音響データは、第１の周期性を有する周波数Ｘの信号、第２の周期性を有する周波数Ｙの信号、および第３の周期性を有する周波数Ｚの信号を含む。図示の例では、異なる周波数を有する音響信号はまた、音響信号に異なる周期性を含み得る。
【０１７６】
いくつかのそのような例では、音響信号は、周波数コンテンツに加えて、または代わりに周期性に基づいてフィルタ処理することができる。例えば、いくつかの例では、音響シーン内の音響信号の複数の発生源が、特定の周波数で音響信号を生成することがある。ユーザが音響画像化のためにそのような音源の１つを分離したい場合、ユーザは、音響データに関連する周期性に基づいて、音響画像データを最終ディスプレイ画像に含めるか除外するかを選択し得る。
【０１７７】
図１１Ｂは、音響信号の周波数対時間のプロットを示す。示されているように、周波数は時間と共にほぼ直線的に増加する。ただし、示されているように、信号には時間の経過と共にほぼ一定の周期性が含まれる。したがって、そのような信号は、選択された表示パラメータに応じて、音響画像に現れる、または現れないことがある。例えば、信号は、ある時点で表示される周波数基準を満たしているが、他の時点では、表示される周波数範囲外にあることがある。しかしながら、ユーザは、周波数コンテンツに関係なく、信号の周期性に基づいて、音響画像データからそのような信号を含めるか除外するかを選択することができる。
【０１７８】
いくつかの例では、特定の周期性の音響信号を抽出することは、標的シーンの特定の部分（例えば、通常特定の周期性で動作する特定の装置または装置のタイプ）を分析するのに役立ち得る。例えば、関心のある物体が特定の周期性（例えば、１秒に１回）で動作する場合、これとは異なる周期性を持つ信号を除外すると、関心のある物体の音響分析を改善できる。例えば、図１１Ｂを参照すると、関心のある物体が周期性４で動作する場合、分析のために周期性４を有する信号を分離することにより、関心のある物体の分析が改善され得る。例えば、関心のある物体は、周期性４を有するが、図１１Ｂに示されるように周波数が増加する音を発し得る。これは、物体の特性が変化している可能性があることを意味していることがあり（例えば、トルクや負荷の増加など）、検査する必要がある。
【０１７９】
例示的な音響画像化プロセスでは、バックグラウンドノイズ（例えば、産業環境でのフロアノイズ、屋外環境での風など）は一般に周期的ではないが、シーン内の関心のある特定の物体は周期的な音響信号を放出する（例えば、一定の間隔で動作する機械）。したがって、ユーザは、バックグラウンド信号を除去し、関心のある音響データをより明確に提示するために、音響画像から非周期的な音響信号を除外することを選択し得る。他の例では、ユーザは、一定のトーンの発生源を見つけようとすることがあり、したがって、一定のトーンの表示を不明瞭にすることがある音響画像データから周期信号を除外することを選択し得る。一般に、ユーザは、特定の周期性より上、特定の周期性より下、または周期性の所望の範囲内にある音響信号を音響画像データに含めることを選択し得る。様々な例において、周期性は、周期的信号間の時間の長さ、または周期的信号の発生頻度のいずれかによって特定され得る。図１１Ｂに示される周波数と同様に、所与の周期性での強度の分析（例えば、その周期性で動作する関心のある物体による）を同様に使用して、物体からの音響信号が時間と共にどのように変化するかを追跡することができる。一般に、いくつかの実施形態では、周期性を使用して、周波数、強度などの様々なパラメータの変化率分析を実行することができる。
【０１８０】
本明細書の他の場所で説明するように、いくつかの例では、標的シーンの様々な部分を、音響画像化センサからの異なる距離に関連付けることができる。例えば、いくつかの実施形態では、距離情報は、シーン内の様々な部分に関する３次元の深さ情報を含むことができる。追加的または代替的に、ユーザは、シーン内の複数の位置に関連付けられた距離値を測定する（例えば、レーザ距離ツールを使用する）か、または手動で入力することができることがある。いくつかの例では、シーンの様々な部分のそのような異なる距離値を使用して、そのような位置でのバックプロパゲーション計算を調整して、その位置での特定の距離値に対応することができる。
【０１８１】
追加的または代替的に、シーンの異なる部分が異なる距離値に関連付けられている場合、音響センサアレイからの近接度（例えば、測定された近接度および／または見かけの近接度）は、そのような部分間の別の区別可能なパラメータであり得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、および１０９０は、それぞれ、異なる距離値に関連付けられている。いくつかの例では、本明細書の他の場所で説明されている周波数または周期性と同様に、ユーザは、音響画像データをディスプレイに含める特定の距離範囲を選択することができる。例えば、ユーザは、所定の距離よりも近い、所定の距離より遠い、または所定の距離範囲内の音響信号を表す音響画像データのみを表示するように選択し得る。
【０１８２】
さらに、いくつかの実施形態では、図９Ｃの周波数に関して説明したのと同様に、音響分析システムは、複数の距離範囲を循環的に表示するように構成でき、現在の距離範囲を満たす標的シーン内の位置から放出された音響信号を表す音響画像データのみを示す。様々な表示をこのように循環的に表示させることで、ユーザは様々な音響信号間の情報を視覚的に区別することができる。例えば、場合によっては、関連する電磁撮像ツール（例えば、可視光カメラモジュール）からの視線から物体が互いに接近しているように見えることがあり、したがって、そのような物体の電磁画像データと組み合わされた音響画像データは、区別するのは難しい。しかし、物体が深度差によって分離されている場合は、音響画像データの異なる深度範囲を循環的に表示して、音響データの各発生源を他の発生源から分離することができる。
【０１８３】
一般に、音響分析システムは、１つまたは複数の事前定義されたパラメータを満たす音響信号を表す音響画像データを含めるおよび／または除外するために、様々な設定を適用するように構成され得る。いくつかの例では、音響分析システムを使用して、そのような信号を表す音響画像データが、例えば、ディスプレイ画像に表示されるために、音響信号が満たさなければならない複数の条件を選択することができる。
【０１８４】
例えば、図１０Ａおよび１０Ｂに関して、図１０Ａのシーンにおける閾値強度を超える音響信号のみが図１０Ｂに示されている。ただし、追加または代替の制限が可能である。例えば、いくつかの実施形態では、ユーザは、音響画像データをさらにフィルタ処理して、音響画像データが、所定の周波数範囲内の周波数コンテンツを有する、および／または所定の周期性を有する音響信号についてのみ示されるようにし得る。例示的な実施形態では、所定の周波数および／または関心のある周期性に限定して、音響画像データは、１０２０および１０９０などの追加の位置から排除され得る。
【０１８５】
一般に、ユーザは、強度、周波数、周期性、見かけの近接度、測定された近接度、音圧、粒子速度、粒子変位、音圧、音エネルギー、音エネルギー密度、騒音曝露、ピッチ、振幅、輝度、高調波、そのようなパラメータの変化率などのパラメータを含む、ディスプレイ画像から音響画像データを含めるまたは除外するための任意の数の音響データ要件を適用できる。さらに、いくつかの実施形態では、ユーザは、ＡＮＤ、ＯＲ、ＸＯＲなどの任意の適切な論理的組み合わせを使用して要件を組み合わせ得る。例えば、ユーザは、（所定の閾値を超える強度）ＡＮＤ（所定の範囲内の周波数）を有する音響信号のみを表示したいことがある。
【０１８６】
追加的または代替的に、音響分析システムは、図９Ｃの複数の周波数を循環的に表示することに関して示されるように、標的シーンの異なる部分を示すために１つまたは複数のパラメータ範囲を循環的に表示するように構成され得る。一般に、１つまたは複数のパラメータをこのような方法で循環的に表示することができる。例えば、パラメータ（例えば強度）を複数の範囲（例えば、１０ｄＢ〜２０ｄＢおよび２０ｄＢ〜３０ｄＢ）に分割でき、音響分析システムはそのような範囲を循環的に表示して、第１の範囲にあるすべての音響画像データを表示し、次に第２の範囲にあるすべての音響画像データを表示するなどである。
【０１８７】
同様に、いくつかの実施形態では、音響分析システムは、入れ子にされた範囲を循環的に表示することによってパラメータ要件を組み合わせるように構成され得る。例えば、例示的な実施形態では、第１の強度範囲ＡＮＤ第１の周波数範囲を満たす音響画像データを表示することができる。表示される音響画像データを第１の強度範囲を満たす音響信号に制限しながら、表示される周波数範囲は循環的に表示され得る。周波数範囲を循環的に表示した後、表示された音響画像データが第２の強度範囲および第１の周波数範囲を満たすように、強度範囲を第２の強度範囲に更新することができる。第１の強度範囲を組み込むプロセスと同様に、周波数範囲は、第２の強度範囲を維持しながら同様に循環的に表示され得る。このプロセスは、周波数範囲と強度範囲のすべての組み合わせが満たされるまで続けることができる。同様のそのようなプロセスは、複数のパラメータのいずれかに対して実行することができる。
【０１８８】
追加的または代替的に、いくつかの実施形態では、音響分析システムは、音響シーン内の複数の音を特定および区別するように構成され得る。例えば、図９Ｂに関して、音響分析システムは、位置９１０、９２０、９３０、および９４０で４つの個別の音を特定するように構成され得る。システムは、複数の表示を循環的に表示させるように構成することができ、各表示は、必ずしもパラメータ値に依存する必要はないが、図９Ｃに示されるのと同様に、単一の個別の位置で音響画像データを示す。同様に、個々の位置での音響画像データ間のそのような循環的に表示は、１つまたは複数のパラメータ要件が表示される音響画像データを制限した後に実行することができる。
【０１８９】
例えば、図１０Ａおよび１０Ｂに関して、強度閾値が適用される前に、音響分析システムは、複数の音響画像シーンを循環的に表示させることができ（例えば、可視光画像データを伴う音響画像シーンを含むディスプレイ画像として）、各シーンには、単一の位置にある音響画像データが含まれている。いくつかの実施形態では、１０個の別個の画像の循環的表示である図１０Ａの図示の例によれば、各画像は、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０のうちの異なる１つでの画像データを含む。しかしながら、いくつかの実施形態によれば、閾値を超える強度を有する位置のみが表示されるように強度フィルタが適用された後（例えば、図１０Ｂのように）、音響分析システムは、フィルタ処理の閾値を満たす位置に対応する画像のみを循環的に表示するように循環的表示プロセスを更新し得る。すなわち、図１０Ｂに関して、循環的表示プロセスは、４つの画像間でのみ循環的に表示するように更新されることがあり、それぞれは、位置１０２０、１０５０、１０７０、および１０９０でそれぞれ個別の音響画像データを示す。
【０１９０】
したがって、様々な実施形態では、どの音響画像データが表示されるかを制限するために１つまたは複数のフィルタを適用する前または後のいずれかで、音響画像データを含む標的シーン内の各位置が、複数の循環的に表示されるディスプレイ画像のうちの１つに示される。個々の音響発生源位置のそのような周期的な表示は、特定の音響発生源を特定する際に画像を見るユーザを支援することができる。いくつかの実施形態では、サイクル内の各画像は、音響データの単一の発生源のみを含み、いくつかのそのような実施形態では、周波数コンテンツ、強度、周期性、見かけの近接度などの音響データの１つまたは複数のパラメータをさらに含む。
【０１９１】
特定の条件を満たす音響画像データを示す画像間の循環的表示に加えて、またはその代わりに、いくつかの例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、いくつかの実施形態では、位置１０１０〜９９０のそれぞれから発生する音響信号を表す音響画像データを特定し、循環的に表示させることができる。例えば、例示的な動作プロセスでは、位置１０１０〜９９０の１つでの音響画像データを含むディスプレイ画像は、音響信号の各発生源の個々の分析のために、自動的にまたはユーザの指示で循環的に表示することができる。様々な実施形態において、循環的に表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
【０１９２】
追加的または代替的に、いくつかの例では、個々の位置からの音響画像データは、１つまたは複数のフィルタを適用した後に循環的に表示して、１つまたは複数の所定の条件を満たす音響画像データのみを分離することができる。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、および１０９０は、所定の強度要件を満たす音響信号を表す音響画像データを含むものとして示されている。いくつかの実施形態では、そのような表示要件は、音響信号の発生源位置の個々の循環的に表示に適用することができる。例えば、図１０Ｂをさらに参照すると、音響強度条件を満たす位置１０２０、１０５０、１０７０、および１０９０のうちの１つのみからの画像データを含むディスプレイ画像は、各位置での個々の分析のために循環的に表示することができる。
【０１９３】
図１０Ａおよび１０Ｂを参照する例示的なプロセスでは、シーンから収集された音響画像データは、一般に、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、および１０９０で図１０Ａに示され得る。そのような位置は、様々な強度、周波数コンテンツ、周期性などなどの様々な音響パラメータを有する音響信号を表す音響画像データを含むことができる。
【０１９４】
本明細書の他の場所で説明するように、ユーザは、最小の音響強度を有する音響信号など、１つまたは複数の特定の音響パラメータを有する音響信号を分離することを望むことがある。そのような条件を満たさない音響信号を表す音響画像データは、画像から除外することができ、例えば、図１０Ｂに示されるように、位置１０２０、１０５０、１０７０、および１０９０の音響画像データを放置することができる。しかしながら、ユーザは、表示条件を満たす（例えば、閾値を超える強度を有する）特定の音の発生源をさらに特定したいことがある。したがって、ユーザは、各音の発生源の位置を見て、個々に分析するために、位置１０２０、１０５０、１０７０、および１０９０に関連付けられた音響画像データを１つずつ表示することを選択し得る。様々な実施形態では、ユーザは、そのような位置を手動で循環的に表示することを選択することがあるか、またはプロセッサは、個々の位置の音響画像データを順次表示するようにディスプレイ画像を自動的に更新し得る。これは、関心がないが、画像に適用される１つ以上のフィルタ処理パラメータを満たす音響信号をユーザがさらに排除して無視するのに役立つことがある。
【０１９５】
強度および図１０Ａおよび１０Ｂに関して説明されているが、一般に、複数の位置から選択された単一の位置からの音響画像データを含むディスプレイ画像は、個々の分析のために１つずつ循環的に表示することができる。代表的な音響画像データが含まれる複数の位置は、音響シーン内の音響信号の発生源に対応する位置のセット全体であるか、または、例えば、１つまたは複数の条件を満たす音響信号を有する位置のみを含むそのような位置のサブセットであり得る。そのような条件は、強度、周波数コンテンツ、周期性、近接度などの任意の１つまたは複数の音響パラメータに依存することができ、所定の値未満、所定の値を超える、または所定の値の範囲内にある様々なパラメータに基づいて満たすことができる。
【０１９６】
様々な例において、ディスプレイ画像に音響画像データを選択的に含めるようにディスプレイ画像を修正することは、様々な方法で行うことができる。いくつかの実施形態では、ディスプレイ画像（例えば、電磁画像データおよび音響画像データを含む）は、リアルタイム画像であることができ、この場合、電磁画像データおよび音響画像データは、シーンの変化を反映するように継続的に更新される。いくつかの例では、音響画像データがディスプレイ画像に含まれるかどうかを決定するために特定の条件が使用される場合、受信した音響信号が分析されて、更新されたリアルタイム画像の様々な位置での音響画像データが含まれるかどうかが判定される。すなわち、新たに受信した音響信号および電磁放射に基づいて新しいディスプレイ画像が生成されるとき、ディスプレイ画像の構築は、どの音響信号がディスプレイ画像に置かれた特定の条件（例えば、強度閾値など）を満たすかを決定するための音響信号の分析に依存することができる。次に、そのような条件に従って適切な場合にのみ、音響画像データを含むディスプレイ画像を生成することができる。
【０１９７】
他の例では、ディスプレイ画像は、以前に取り込まれた音響データおよび電磁画像データなどの、メモリに記憶されたデータから生成することができる。いくつかのそのような例では、以前に取得された音響データは、音響画像データに置かれる様々な条件に関して分析され、以前に取り込まれた音響データがそのような条件を満たす位置で電磁画像データと組み合わされる。そのような実施形態では、単一のシーンは、例えば、異なる音響パラメータを分析することによって、多くの方法で見ることができる。以前に取り込まれた音響画像データを表すディスプレイ画像は、ディスプレイ画像の様々な位置に音響画像データを含めるかどうかについて、ディスプレイ画像に置かれた更新された条件に基づいて更新することができる。
【０１９８】
いくつかの実施形態では、音響画像データをディスプレイ画像に選択的に含めるために使用される１つまたは複数の音響パラメータを使用して、ディスプレイ画像および／または画像取り込み技術を変更し得る。例えば、リアルタイム画像化の例では、音響画像データを表示に含めるかどうかを決定するための様々な条件は、標的までの距離（例えば、見かけの距離または測定された距離）および／または周波数コンテンツを含み得る。本明細書の他の場所で説明するように、いくつかのそのようなパラメータは、音響センサアレイおよび／または音響画像データを生成するための処理技術を選択する際に使用することができる。したがって、いくつかのそのような例では、音響画像データが１つまたは複数の所定の条件を満たすそのようなパラメータに基づいてのみ表される場合、音響画像データを生成するための音響センサアレイおよび／または処理技術は、そのような条件に基づいて選択され得る。
【０１９９】
例えば、例示的な実施形態では、音響画像データが、対応する音響信号が第１の周波数範囲内の周波数コンテンツを含む位置のリアルタイム画像にのみ含まれる場合、第１の周波数範囲に最適な音響信号を取得するために、１つまたは複数の音響センサアレイを選択することができる。同様に、音響画像データが、音響信号の発生源が第１の距離範囲内にある位置でリアルタイム画像にのみ含まれる場合、１つまたは複数の音響センサアレイを選択して、第１の距離範囲での音響画像化用に最適な音響信号を取得することができる。追加的または代替的に、例えば、図６に関して説明したように、音響画像データを生成するための処理技術は、所望の周波数または距離条件に基づいて選択することができる。そのような選択された音響画像化センサアレイおよび処理技術は、その後、音響信号を受信し、含まれる音響画像データを最適化するために、更新されたリアルタイムディスプレイ画像の音響画像データを生成するために使用され得る。
【０２００】
同様に、ディスプレイ画像が以前にメモリに記憶された履歴データから生成されるいくつかの実施形態では、ディスプレイ画像に音響画像データを含める位置を決定する様々な条件を使用して、音響シーンを表す音響画像データを更新することができる。例えば、いくつかの実施形態では、メモリに記憶されたデータは、音響信号が受信されたときから音響センサアレイによって受信された生の音響データを含む。音響画像データがディスプレイ画像の様々な位置に含まれるかどうかを決定するための条件（例えば、所望の距離および／または周波数範囲）に基づいて、表示する所望のパラメータに最適化された音響画像データを生成するために、メモリに記憶された生データと共に使用するための処理技術（例えば、バックプロパゲーションアルゴリズム）を選択することができる。
【０２０１】
可視光画像データおよび音響画像データを使用して一般的に説明および示されているが、図９Ａ〜図９Ｃ、図１０Ａおよび図１０Ｂに関して説明されたプロセスは、様々な電磁画像データのいずれかを含めて使用できることが理解されよう。例えば、様々な実施形態において、同様のプロセスは、可視光画像データの代わりに、赤外線画像データまたは紫外線画像データを用いて実行され得る。追加的または代替的に、電磁スペクトルの組み合わせは、混合された赤外線画像データおよび可視光画像データなどのそのようなプロセスで使用することができる。一般に、様々な例において、音響画像データは、電磁画像データの任意の組み合わせと組み合わせて選択的に示すことができる（例えば、対応する音響信号が１つまたは複数の所定のパラメータを満たすときに含まれる）。
【０２０２】
いくつかの実施形態では、音響分析システムは、１つまたは複数の音響信号および／または音響画像データをデータベース、例えば、ローカルメモリに、および／または外部またはリモート装置からアクセス可能に記憶するように構成される。そのような音響信号は、通常の動作中の音響シーンを表す音響画像データ、および／または周波数データ、強度データ、周期性データなどの音響シーンに関連する他のパラメータを含むことができる。様々な例において、データベースシーンは、広いシーン（例えば、工場）および／またはより具体的なシーン（例えば、特定の物体）を表す音響画像データおよび／または他の音響パラメータ（例えば、強度、周波数、周期性など）を含むことができる。
【０２０３】
いくつかの実施形態では、データベースシーンは、特定のモデルの装置など、特定のタイプの装置に一般的であり得る。追加的または代替的に、データベースシーンは、そのような異なる物体が同じ物体の異なるインスタンスである場合でも、個々の物体に固有であり得る（例えば、同じモデルである２つの別個のマシン）。同様に、データベースシーンは、例えば、物体の特定の動作状態を含めて、より具体的にすることができる。例えば、特定の物体に複数の操作モードがある場合、データベースには、そのような物体の複数のシーンを、動作モードごとに１つずつ含めることができる。
【０２０４】
様々な実施形態では、データベースシーンは、単一の音響画像および／または関連する音響パラメータであり得る。他の例では、データベースシーンは、以前に取り込まれた複数の音響画像および／または関連するパラメータから形成された複合データを含むことができる。一般に、データベースシーン（例えば、音響画像および／またはパラメータ）は、通常の動作中のシーンの音響表現を含むことができる。いくつかの例では、データベースは、例えば、対応する可視光画像、赤外線画像、紫外線画像、またはそれらの組み合わせなど、シーンに関連する他の要素を含むことができる。いくつかの実施形態では、データベースの生成および／または比較は、本出願の譲受人に割り当てられ、その全体が参照により本明細書に組み込まれる２０１６年６月２３日に出願され、「ＴＨＥＲＭＡＬ  ＡＮＯＭＡＬＹ  ＤＥＴＥＣＴＩＯＮ」と題された米国特許出願第１５／１９０，７９２号に記載されている赤外線画像データのデータベース生成および比較と同様に実行することができる。いくつかの実施形態では、データベースは、シーン内の物体が正しく動作している間に、シーンの音響画像データおよび／または１つまたは複数の関連する音響パラメータ（例えば、周波数、強度、周期性など）を取り込むことによって生成することができる。いくつかのそのような例では、ユーザは、取り込まれたデータベース画像にタグを付けて、画像を１つまたは複数の物体、位置、シーンなどに関連付けることがあり、その結果、取り込まれた音響画像および／または関連するパラメータ（複数可）が、将来のデータベース分析および比較において特定され得る。
【０２０５】
新しく生成された音響画像データは、データベースに記憶されている音響画像データと比較して、音響シーンの音響プロファイルが一般的な動作基準内にあるかどうかを判定できる。追加的または代替的に、ライブ音響シーンおよび／または新しく生成された音響画像からの強度、周波数、周期性などの音響パラメータを、データベース内の同様のパラメータと比較することができる。
【０２０６】
データベースに記憶された現在の音響画像データを過去の音響画像データ（例えば、以前に取り込まれた画像、複数の以前に取り込まれた画像から生成された合成画像、工場提供の予想される画像など）と比較することは、複数の方法で実行できる。図１２Ａ〜図１２Ｃは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。図１２Ａは、音響視野１２１２を有する音響センサアレイ１２０２と、電磁視野１２１４を有する電磁撮像ツール１２０４とを含む音響画像化ツール１２００を示す。示されるように、電磁視野１２１４および音響視野１２１２は、関心のある物体１２２２を含む標的シーン１２２０を含む。いくつかの実施形態では、音響画像化ツール１２００は、関心のある物体１２２２が電磁視野１２１４および音響視野１２１２内にあるような位置に恒久的に固定されている。いくつかの実施形態では、音響画像化ツール１２００は、誘導電力または寄生電力を介して電力を供給され得るか、建物内のＡＣ主電力に配線され得るか、または物体１２２２を継続的に監視するように構成され得る。
【０２０７】
固定された音響画像化ツール１２００は、物体１２２２の音響および／または電磁画像データを周期的に取り込むように構成され得る。音響画像化ツール１２００は一般に定位置に固定されているため、異なる時間に取り込まれた画像は、ほぼ同じ視点からのものである。いくつかの例では、音響画像化ツール１２００を介して取り込まれた音響画像データは、例えば、音響シーンの異常を検出するために、ほぼ同じシーンを表す音響画像データのデータベースと比較され得る。これは、例えば、参照により組み込まれる米国特許出願第１５／１９０，７９２号に記載されているように実施することができる。
【０２０８】
図１２Ｂは、例えば、手持ち式音響画像化ツール上の例示的なディスプレイを示す。ディスプレイ１２３０は、２つのセクション、１２３２および１２３４を含む。図示の例では、セクション１２３４は、関心のある物体のデータベース画像１２４４を示し、セクション１２３２は、物体のリアルタイム音響画像データのライブ画像１２４２を含む。そのような並列表示では、ユーザは、（例えば、データベース画像１２４４に示される）典型的な音響信号と現在のリアルタイム画像１２４２との間の差異を表示するために、ライブ画像１２４２をデータベース画像１２４４と比較し得る。同様に、ユーザは、ライブ画像１２４２がデータベース画像１２４４とほぼ一致するかどうかを比較することができる。そうである場合、ユーザは、データベース画像１２４４とのさらなる分析および／または比較のために、ライブ音響画像を取り込むことができる。
【０２０９】
図１２Ｃは、例えば、手持ち式音響画像化ツール上の別の例示的なディスプレイを示す。図１２Ｃのディスプレイ１２５０は、同じディスプレイ１２５２上のデータベース画像１２５４およびライブ画像１２５６を示す。図１２Ｃの例では、ユーザは、差異を表示するために、ライブ画像１２５６内の音響画像データをデータベース画像１２５４内の音響画像データと同様に比較することができる。さらに、ユーザは、さらなる分析および比較のために、ライブ画像１２５６内の物体をデータベース画像１２５４内の物体と整列するために、音響画像化ツールのアライメントを調整し得る。
【０２１０】
図１２Ａ〜図１２Ｃのプロセスの結果として、ライブおよび／または最近取り込まれた音響画像は、データベースなどからの以前の音響画像データと比較することができる。いくつかの例では、そのようなプロセスを使用して、自動比較のために、ライブおよび／または最近取り込まれた音響画像をデータベース画像と位置合わせすることができる。データベース画像と同様の視点から音響画像データを「再取り込み」するために使用できる他のプロセスは、２０１１年１２月２０日に出願され、「ＴＨＥＲＭＡＬ  ＩＭＡＧＩＮＧ  ＣＡＭＥＲＡ  ＦＯＲ  ＩＮＦＲＡＲＥＤ  ＲＥＰＨＯＴＯＧＲＡＰＨＹ」と題された米国特許出願第１３／３３１，６３３号、２０１１年１２月２０日に出願され、「ＴＨＥＲＭＡＬ  ＩＭＡＧＩＮＧ  ＣＡＭＥＲＡ  ＦＯＲ  ＩＮＦＲＡＲＥＤ  ＲＥＰＨＯＴＯＧＲＡＰＨＹ」と題された米国特許出願第１３／３３１，６４４号、および２０１１年１２月２３日に出願され、「ＴＨＥＲＭＡＬ  ＩＭＡＧＩＮＧ  ＣＡＭＥＲＡ  ＦＯＲ  ＩＮＦＲＡＲＥＤ  ＲＥＰＨＯＴＯＧＲＡＰＨＹ」と題された米国特許出願第１３／３３６，６０７号に記載され、それぞれは本出願の譲受人に付与されており、その全体が参照により組み込まれている。
【０２１１】
リアルタイムの音響画像データおよび／または音響シグネチャを、比較可能なシーン／物体の対応する音響画像および／または音響シグネチャと比較することを使用して、シーン／物体の動作状態の迅速かつ単純化された分析を提供することができる。例えば、比較は、音響シーン内の特定の位置が、通常の動作中とは異なる強度または周波数スペクトルを有する音響信号を放出していることを示すことがあり、これは、問題を示し得る。同様に、シーン内の位置は、通常は無音の音響信号を放出していることがある。追加的または代替的に、ライブシーンとデータベースからの履歴シーンの全体的な音響シグネチャの比較は、一般に、周波数コンテンツ、音響強度などのシーン内の音響パラメータの変化を示すことができる。
【０２１２】
いくつかの例では、音響分析システムは、最近／リアルタイムの音響シーンをデータベースと比較するように構成されている。いくつかの実施形態では、音響分析システムは、最近／リアルタイムシーンとデータベースシーンとの間の差異を特徴付け、比較に基づいて現在のシーンで起こり得る１つまたは複数の問題を診断するように構成される。例えば、いくつかの実施形態では、ユーザは、音響データベースと比較するための、関心のある物体または標的シーンを事前に選択し得る。音響分析システムは、選択された物体／シーンに基づいて、データベース画像および／または他のパラメータを最近／現在の画像および／または他のパラメータと比較して、シーンを分析することができる。データベースから選択された物体／シーンに基づいて、音響分析システムは、データベース画像／パラメータと最近／現在の画像／パラメータとの間の１つまたは複数の差異を特定し、特定された差異（複数可）を１つまたは複数の差異の考えられる原因に関連付けることができ得る。
【０２１３】
いくつかの例では、音響分析システムは、複数の診断情報を使用して事前にプログラムすることができ、例えば、データベース画像／パラメータと、最近／現在の画像／パラメータとの間の様々な差異を、考えられる原因および／または原因の解決策と関連付ける。追加的または代替的に、ユーザは、例えば、診断データのリポジトリからそのような診断情報をロードし得る。そのようなデータは、例えば、音響分析システムの製造業者、関心のある物体の製造業者などによって提供され得る。さらに別の例では、音響分析システムは、例えば、１つまたは複数の機械学習プロセスを介して、診断情報を追加的または代替的に学習することができる。いくつかのそのような例では、ユーザは、典型的なシーンからのシーンの音響逸脱を観察した後、標的シーンの１つまたは複数の問題を診断し、１つまたは複数の問題および／または１つまたは複数の解決策を表すデータを音響分析システムに入力し得る。システムは、時間の経過と共に、複数のデータエントリを介して、最近／現在の画像および／またはパラメータと、データベースに保存されているものとの間の様々な不一致を、特定の問題および／または解決策に関連付けることを学習するように構成できる。問題を診断し、および／または提案された解決策を決定すると、音響分析システムは、例えば、ディスプレイを介して、疑わしい問題および／または提案された解決策をユーザに出力するように構成され得る。このようなディスプレイは、手持ち式音響検査ツールまたはリモート装置（例えば、ユーザのスマートフォン、タブレット、コンピュータなど）に配置できる。追加的または代替的に、潜在的な問題および／または解決策を示すそのようなディスプレイは、例えばネットワークを介して、オフサイトのオペレータ／システムモニタなどのリモートサイトに通信することができる。
【０２１４】
いくつかの例の診断特性では、音響分析システムは、動作中の機械に追加の潤滑が必要であることを示し得る特定の周期的なきしみ音を観察し得る。同様に、一定の高音の信号は、標的シーンでのガスまたは空気の漏れを示している可能性がある。他の問題も同様に、分析中の物体内のベアリングの破損など、認識可能な音響シグネチャがあることがあり、音響撮像システム（手持ち式音響画像化ツールなど）を介して音響シグネチャを見ると、システムまたは物体の異常を診断するのに役立つことがある。
【０２１５】
受信した音響信号を基準（例えば、音響画像データおよび／またはデータベースからのパラメータ）と比較し、診断情報を実行し、および／または是正措置を提案することができる音響分析システムは、シーンの音響データを経験豊富な専門家が分析する必要をなくすことができる。むしろ、音響検査および分析は、音響データの分析の経験が限られているか、または全くないシステムオペレータによって実行することができる。
【０２１６】
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。この方法は、目標のターゲットの選択を受信し（１３８０）、データベースから目標のターゲットの基準音響画像および／または音響パラメータを取得すること（１３８２）を含む。例えば、ユーザは、関心のある特定の物体の音響分析を実行することを望むことがあり、利用可能な基準音響画像および／またはデータベースで利用可能なパラメータを有する物体の事前定義されたリストからそのような物体を選択し得る。
【０２１７】
この方法は、例えば、手持ち式音響画像化ツールを使用して、目標のターゲット（１３８４）を表す音響画像データおよび関連するパラメータを取り込むステップをさらに含む。音響画像データおよび関連するパラメータ（１３８４）を取り込んだ後、この方法は、取り込まれた音響画像データおよび／または関連するパラメータを、取得された基準画像および／またはパラメータ（１３８６）と比較することを含む。
【０２１８】
図１３の方法は、取り込まれた音響画像データおよび／またはパラメータが基準から十分に逸脱している場合（１３８８）、比較に基づいて目標のターゲットの動作問題を診断すること（１３９０）をさらに含む。この方法は、起こり得る問題および／または是正措置の表示をユーザに表示するステップをさらに含むことができる（１３９２）。いくつかの実施形態では、比較表示、例えば、現在の音響画像データと基準音響画像データとの間の差を示す差分画像を、追加的または代替的にユーザに表示することができる。
【０２１９】
いくつかのそのような例では、基準（１３８８）からの逸脱があるかどうかを判定することは、取り込まれたデータの１つまたは複数の音響パラメータを基準データ内の同様のパラメータと比較し、取り込まれたパラメータと基準パラメータとの間の差異が所定の閾値を超えるかどうかを判定することを含む。様々な例において、異なるパラメータは、異なる閾値を含むことがあり、そのような閾値は、絶対閾値、統計的閾値などであり得る。いくつかの実施形態では、比較は、位置ごとに行うことができ、シーン内の位置のサブセットに対して実行し得る。
【０２２０】
例えば、図９Ｂに関して、音響画像データを含み、物体上に現れる位置（例えば、位置９１０および９４０）のみが、物体の動作に関して分析されることが可能である。そのような例では、比較される各位置（例えば、９１０および９４０）での異なる音響パラメータが、取り込まれた画像とデータベース画像との間で個別に比較される。例えば、取り込まれたデータおよび／または関連するパラメータをデータベースからのものと比較することは、図９Ｂを参照して、取り込まれた画像内の位置９１０の周波数、強度、および周期性をそれぞれ、データベース画像内の位置９１０の周波数、強度、および周期性と比較することを含むことができる。同様の比較は、取り込まれた画像とデータベース画像との間の位置９４０で実行することができる。説明したように、各比較は、基準（１３８８）からの十分な逸脱があるかどうかを判定するための異なるメトリックを含むことができる。
【０２２１】
動作の問題（１３９０）を診断し、起こり得る問題および／または是正措置（１３９２）の表示を表示することは、取り込まれた画像データと基準画像データおよび／またはパラメータと間の比較の組み合わせに基づいて実行することができる。いくつかの例では、そのような診断は、所与の位置での複数のパラメータの比較を組み合わせるなどの多次元分析を含むことができる。例えば、例示的な実施形態では、特定の条件は、第１の閾値よりも大きい基準からの周波数の逸脱と、第２の閾値よりも大きい基準からの強度の逸脱の両方によって示され得る。
【０２２２】
いくつかの例では、起こり得る問題および／または是正措置（１３９２）の表示を表示した後でも、プロセスは、新しい音響画像データおよび関連するパラメータ（１３８４）を取り込み、比較および診断プロセスを繰り返すことを含み得る。したがって、ユーザは、特定された問題を修正するため、および／または物体の音響シグネチャを基準に一致させるために、取られた是正措置が物体の音響シグネチャを効果的に変更しているかどうかを観察し得る。
【０２２３】
いくつかの実施形態では、取り込まれたデータを基準データ（１３８６）と比較した後、基準（１３８８）からの十分な逸脱がない場合、プロセスは、物体の現在の音響シグネチャに基づいて、物体は正常に動作しているとの結論で終了し得る（１３９４）。追加的または代替的に、目標のターゲットの新しい音響画像データおよび関連するパラメータを取り込むことができ（１３８４）、比較および診断プロセスを繰り返すことができる。いくつかの例では、継続的な繰り返し分析は、例えば、図１２Ａの音響画像化ツール１２００を含む、固定された音響分析システムを使用して実行することができる。
【０２２４】
音響データ（例えば、画像データおよび／または他の音響パラメータ）の比較は、ユーザが物体が正しく機能しているかどうかをより簡単に特定し、そうでない場合は物体の問題を診断するのに役立つ。いくつかの例では、基準と比較すると、物体の操作上の問題とは無関係であり得る予想される動作音やフロア／バックグラウンド音など、シーン内の「通常の」音をユーザが無視するのに役立つ。
【０２２５】
動作中、音響画像データおよび／または関連する音響パラメータの観察、あるいは現在の音響シーンとデータベースの音響シーンとの間の比較の結果の観察は、さらなる検査のために関心のある位置をユーザに示し得る。例えば、データベース画像からの逸脱を示す比較音響画像は、異常に動作しているシーン内の１つまたは複数の位置を示し得る。同様に、予期しない１つまたは複数の位置で音響シグネチャを有する音響画像を見ることは、関心のある位置をユーザに示し得る。例えば、図１０Ｂを参照すると、音響撮像システムのディスプレイ上で図１０Ｂを観察しているユーザは、特定の位置（例えば、１０２０）が予期せぬ音響信号を放出していることに気付くことがあり、または同様に、基準画像との比較は、その位置での音響信号の予期しないパラメータ（例えば、予期しない周波数、強度など）を示す。
【０２２６】
いくつかのそのような例では、異常がないか位置をより綿密に検査するために、ユーザはそのような位置に近づくことがある。物体に近づくと、標的までの距離値が更新され、音響アレイと標的位置との間の新しい距離が反映され得る。音響センサアレイおよび／またはバックプロパゲーションアルゴリズムは、更新された標的までの距離に基づいて更新され得る。追加的または代替的に、より近い位置からの更新された音響分析は、標的からの音響信号の異なる分析をもたらすことがある。例えば、高周波音響信号（例えば、超音波信号）は、音響信号の発生源から比較的短い距離にわたって減衰する傾向がある。したがって、ユーザがさらなる検査のために標的に近づくと、追加の信号（例えば、高周波信号）が音響センサアレイに可視であることがある。観察可能なシーンにおけるそのような明らかな変化はまた、音響画像化に使用される音響センサアレイおよび／またはバックプロパゲーションアルゴリズムの調整をもたらすことがある。
【０２２７】
したがって、音響画像化に使用されるセンサアレイおよび／またはバックプロパゲーションアルゴリズムは、ユーザが関心のある物体または領域に近づくにつれて、１回または複数回更新することができる。各更新は、異なるセンサアレイおよび／またはバックプロパゲーションアルゴリズムを使用して、遠くからは観察できなかった可能性のある関心のある物体または領域に関する追加の詳細を提供することがある。例えば、より広いシーンの初期の観察に基づいて、関心のある物体または領域に近づくと、環境内のバックグラウンド音と比較して、関心のある音響信号の音響強度を高めることもできる。
【０２２８】
いくつかの実施形態では、音響分析システム（例えば、手持ち式音響画像化ツール）は、シーン内の関心のある物体または領域により近く移動するようにユーザに促すことができる。例えば、現在の音響画像を基準データベース画像と比較すると、音響分析システムは、基準から逸脱するシーン内の１つまたは複数の位置を特定し得る。音響分析システムは、例えば、ディスプレイを介して、そのような１つまたは複数の位置をユーザに強調表示し、さらなる分析のために、ユーザが特定された位置に近づくことを提案し得る。いくつかの例では、音響分析システムは、環境内の物体の副構成要素または特定の物体などの特定された位置を、データベースに記憶された独自の基準プロファイルを有するものとして分類することができる。システムは、分類された位置のそのようなプロファイルを提案および／または実施して、ユーザが追加の検査のために近づくときに特定された位置のさらなる分析を容易にするように構成され得る。
【０２２９】
本明細書に記載のシステムおよびプロセスは、音響検査の速度、効率、精度、および徹底性を改善するために使用することができる。様々な自動化されたアクションおよび／または提案（例えば、センサアレイ、バックプロパゲーションアルゴリズムなど）により、検査の容易さが向上し、経験の浅いユーザが音響シーンの徹底的な音響検査を実行し得る。さらに、このようなプロセスを使用して、システム全体、個々の物体、個々の物体の副構成要素など、幅広いシーンを分析できる。音響シーンの基準音響データの事前定義および／またはユーザ生成のプロファイルは、経験の浅いユーザでも、取り込まれた音響データの異常を特定するのに役立つ。
【０２３０】
音響画像データを可視光、赤外線、および／または紫外線画像データなどの他のデータストリームに位置合わせすると、音響画像データで表される音響信号を放出している物体に追加のコンテキストおよび詳細を提供できる。音響センサアレイと距離測定ツール（レーザ距離ファインダーなど）を組み合わせることで、ユーザが音響画像化プロセスで使用する適切な標的までの距離値をすばやく簡単に決定することを支援できる。様々な例において、音響センサアレイ、距離測定ツール、プロセッサ、メモリ、および１つまたは複数の追加の画像化ツール（例えば、可視光カメラモジュール、赤外線カメラモジュールなど）は、複数のシーンの効率的な音響分析を提供できる手持ち式音響画像化ツールの単一の筐体によって支持され得る。このような手持ち式音響画像化ツールは、シーン間を移動して、関心のある複数の物体を迅速に分析できる。同様に、手持ち式ツールを使用すると、ユーザはシーン内の関心のある位置に近づいて、さらに検査または分析することができる。
【０２３１】
本明細書では、音響画像化を実行し、音響画像データを生成および表示するための様々なシステムおよび方法が説明されている。例示的なシステムは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成された複数の音響センサ要素を含む音響センサアレイを含むことができる。
【０２３２】
システムは、標的シーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含むことができる。そのような画像化ツールは、赤外線画像化ツール、可視光画像化ツール、紫外線画像化ツールなど、またはそれらの組み合わせを含むことができる。
【０２３３】
システムは、音響センサアレイおよび電磁撮像ツールと通信するプロセッサを含むことができる。プロセッサは、電磁撮像ツールから電磁画像データを受信し、音響センサアレイから音響データを受信するように構成され得る。プロセッサは、例えば、バックプロパゲーション計算を介して、受信した音響データおよび標的までの距離を表す受信した距離情報に基づいて、シーンの音響画像データを生成するように構成され得る。音響画像データは、本明細書の他の場所で説明されているようなパレットまたは配色などによる音響データの視覚的表現を含むことができる。
【０２３４】
プロセッサは、生成された音響画像データと受信した電磁画像データとを組み合わせて、音響画像データと電磁画像データの両方を含むディスプレイ画像を生成し、ディスプレイ画像をディスプレイに通信するように構成され得る。音響画像データと電磁画像データとの組み合わせは、例えば、受信した距離情報に基づいて、音響画像データと電磁画像データとの間の視差エラーを補正することを含むことができる。
【０２３５】
いくつかの例では、距離情報は、プロセッサと通信する距離測定ツールから受信することができる。距離測定ツールは、例えば、レーザ距離測定装置などの光学距離測定装置、および／または音響距離測定装置を含むことができる。追加的または代替的に、ユーザは、例えば、ユーザインタフェースを介して、手動で距離情報を入力することができる。
【０２３６】
システムは、周波数、デシベルレベル、周期性、距離など、またはそれらの組み合わせなどの選択されたパラメータに基づいて、音または音プロファイルなどの関心のあるポイントの位置を特定するのを助けるためのレーザポインタを含むことができる。このようなレーザポインタを使用して、シーンの視野を特定し、ディスプレイに表示される適切な音の視覚化と位置合わせすることができる。これは、検査下の物体が音響撮像装置に対して離れている環境、またはディスプレイ上の音の視覚化が実際のシーンに対してどこにあるかが明確でない場合に役立つ。
【０２３７】
いくつかの例では、レーザポインタをディスプレイ上に視覚化することができる。そのような視覚化は、実際のシーンにおけるレーザポインタを表すディスプレイ上に（例えば、プロセッサを介して）レーザポインタスポットを生成することを含むことができる。いくつかの例では、レーザポインタの位置は、例えば、シーン内のレーザポインタを表すアイコンまたは別の整列されたディスプレイマーカを使用してディスプレイ上で強調され、実際のシーンに対するディスプレイ上の位置をより適切に決定することができる。
【０２３８】
本明細書の他の場所で説明するように、熱画像システムは、音響画像データを作成することなどによって、１つまたは複数の音響センサによって生成された音響データの偽色（例えば、調色された）、記号、または他の非数値視覚表現を作成するように構成され得る。追加的または代替的に、システムは、スピーカ、ヘッドホン、有線またはリモート通信ヘッドセットなどを介して、ユーザに音声フィードバックを提供することができる。このような音声またはヘテロダイン音声の送信は、検出および表示された音の視覚的表現に同期させることができる。
【０２３９】
様々な例において、音響データは、例えば、そのようなデータの理解を容易にし、視聴者が視覚化される音の性質について誤った想定をすることを防ぐために、様々な方法で視覚化することができる。いくつかの例では、様々なタイプの視覚化により、視覚化された音を直感的に理解できる。
【０２４０】
いくつかの実施形態では、生成されたディスプレイは、視覚化されている音に関する情報の完全な提示を提供するために、文脈上の数値および／または英数字データを伴う非数値視覚表現を含み、これは、ユーザが１つまたは複数の適切な行動方針を決定および／または実施するのを助けることができる。
【０２４１】
様々な非数値グラフィック表現（例えば、記号、調色など）や英数字情報など、様々な表示機能を組み合わせることができる。いくつかの実施形態では、シーンの所与の表現に存在する表示機能は、例えば、複数の選択可能な設定から、ユーザによってカスタマイズされ得る。追加的または代替的に、表示機能の事前設定された組み合わせをユーザが選択して、ディスプレイ画像に情報の所望の組み合わせを自動的に含めることができる。様々な実施形態では、ディスプレイ画像の態様は、例えば、仮想インタフェース（例えば、タッチスクリーンを介して提供される）および／または物理的制御を介して、ユーザによって調整可能である。
【０２４２】
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。示されているように、音響パラメータ（例えば、強度）は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を介して示されている。例示的なグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）では、パラメータ値は、調色技術に従ってそれに関連付けられた固有の色を有する。所与のピクセルでのパラメータ値の変更は、通常、そのピクセルに関連付けられた色の変更をもたらし、新しいパラメータ値を表す。図１４の例に示されるように、音響パラメータ値は、位置２３２、２３４、２３６での音響信号の中心位置から半径方向に変化するように見える。グラデーション調色の他の例は、２０１７年１１月２日に出願され、本出願の譲受人に付与された米国特許出願第１５／８０２，１５３号に記載されている。
【０２４３】
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。いくつかのそのような例では、パラメータ値に関連付けられた色を有するグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）とは対照的に、図１５に示される同心円の各単色は、その色に関連付けられた値の範囲内の音響パラメータ値を有するピクセルを表すことができる。図示の例では、位置３３２、３３４、３３６での音響信号に関連する音響パラメータ（例えば、強度）は、音響信号の中心から半径方向に変化する。例示的な調色技術において、赤で示されるピクセルは、パラメータ値の第１の範囲内の音響パラメータ値を表し、黄色で示されるピクセルは、パラメータ値の第２の範囲内の音響パラメータ値を表し、緑で示されるピクセルは、パラメータ値の第３の範囲内の音響パラメータ値を表すが、追加または代替の色、パターンなどを含む他の表示技術が可能である。様々な実施形態において、値の範囲は、１０ｄＢ〜２０ｄＢの間の強度値などの絶対範囲に対応することができるか、または最大強度の９０％〜１００％の間の強度値などの相対範囲であり得る。
【０２４４】
本明細書の他の場所で説明するように、いくつかの実施形態では、電磁画像データおよび音響画像データを含むディスプレイ画像は、音響信号の視覚的表示および音響信号に関連する１つまたは複数のパラメータの英数字表現の両方を含むことができる。図１６は、非数値情報（例えば、パラメータ値範囲を介した調色）および英数字情報の両方を示す例示的な視覚化を示す。図示の例では、英数字音強度値ラベルが、調色された音響画像データ（例えば、強さのデータ）を有する３つの位置のそれぞれに関連付けられている。示されるように、音響信号は、それに関連する音響パラメータ（１６０２、１６０４、１６０６）、ならびに英数字情報（それぞれ、１６１２、１６１４、１６１６）を表す対応する視覚的インジケータを有する。例示的な実施形態では、英数字情報は、調色された音響データが表示される位置に関連する最大強度値などの数値を提供することができる。いくつかの例では、ユーザは、調色および／または英数字データを表示するための１つまたは複数の位置を選択し得る。例えば、ユーザは、シーン内の１つまたは複数の音響信号に関連する音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
【０２４５】
いくつかの例では、英数字情報は、シーン内の所与の位置での音響信号に関連する複数のパラメータ（例えば、音響パラメータ）を表すことができる。図１７は、非数値情報（例えば、パラメータ値範囲を介した調色）および英数字情報の両方を含む視覚化の例を示す。図示の例では、音の強度値および対応する周波数値（例えば、平均周波数またはピーク周波数）が、それぞれインジケータ１７０２、１７０４、１７０６を介して示される調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１７１２、１７１４、１７１６に示されている。図１６に関して説明したのと同様に、様々な位置での様々なそのようなデータの包含は、ユーザによって開始することができる。例えば、ユーザは、シーン内の１つまたは複数の音響信号に関連する１つまたは複数の音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
【０２４６】
図１８は、非数値情報（例えば、パラメータ値範囲を介した調色）および英数字情報の両方を示す別の例示的な視覚化を示す。図示の例では、距離測定は、それぞれインジケータ１８０２、１８０４、１８０６を介して示される、調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１８１２、１８１４、１８１６と共に含まれる。図１６に関して説明したのと同様に、様々な位置に様々なそのようなデータを含めることは、例えば、ディスプレイ画像注釈の一部として、ユーザによって選択され得る。
【０２４７】
いくつかの例では、非数値表現を使用して、複数の音響パラメータに関連する情報を伝達することができる。例えば、図１９は、異なる音響パラメータ値を表す異なるサイズおよび色のインジケータ１９０２、１９０４、１９０６（この場合、円）を示す例示的な視覚化を示す。例示的な実施形態では、インジケータのサイズは、所与の位置での音響信号の強度に対応し、インジケータの色は、ピークまたは平均周波数に対応する。例示的な実施形態では、あるインジケータのサイズを別のインジケータのサイズと比較することが、インジケータに関連付けられた位置で表される音響パラメータ値間の相対差を表すように、インジケータサイズは相対値を示すことができる。追加的または代替的に、英数字情報を含めて、絶対的または相対的な音響パラメータ値を提供することができる。
【０２４８】
いくつかの実施形態では、色付きインジケータを使用して、１つまたは複数の検出された音響信号、および／または基準パラメータからの逸脱量などの関連する音響パラメータの重大度を表すことができる。図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータ２００２、２００４、２００６を示す例示的な視覚化を示す。例えば、例示的な実施形態では、赤色のインジケータは、（例えば、典型的な動作条件の基準などの基準と比較した場合）もう１つの音響パラメータに基づく重大な重大度を示し、黄色のインジケータは中程度の重大度を示し、緑色はインジケータは軽度の重大度を表す。他の例では、他の配色または外観特性（例えば、インジケータの透明度、インジケータのサイズなど）を使用して、音響信号の重大度を視覚的に区別することができる。図示の例では、インジケータ２００４は最大レベルの重大度を表し、インジケータ２００６は次に大きいレベルを表し、インジケータ２００２は最も重大度の低い音響信号を表す。
【０２４９】
本明細書の他の場所で説明するように、様々な実施形態では、１つまたは複数の音響パラメータを、例えば、調色されたカラーディスプレイまたはグレースケールディスプレイによって、音響シーンの視覚的表現に表示することができる。いくつかの実施形態では、システムは、特定された周波数範囲、強度範囲、距離範囲などのような、１つまたは複数の音響条件を満たすシーン内の１つまたは複数の位置を特定するように構成され得る。いくつかの例では、音響プロファイルに対応する（例えば、特定のセットの条件またはパラメータを満たす）様々な位置を特定することができる。そのような特定された位置は、ディスプレイ画像を作成する際に他の方法で使用される音響画像データ調色技術とは異なる方法で提示することができる。例えば、図２１は、シーン内の複数の位置にインジケータを含むシーンを示す。インジケータ２１０１、２１０２、２１０３、２１０４、および２１０５はシーン内に配置される。インジケータ２１０３、２１０４、および２１０５は、例えば、スケール２１１０に対応する１つまたは複数の音響パラメータの値を表す、調色された音響画像データを含む。インジケータ２１０１および２１０２は、位置２１０３、２１０４、および２１０５に現れる調色技術と区別できる独特の提示技術を有することが示されている。そのような実施形態では、ユーザは、１つまたは複数の所望の条件を満たす画像内のそれらの位置を迅速かつ容易に特定し得る。いくつかのそのような例では、ユーザは、例えば２１１０などのスケールからの値の範囲の選択に基づいて、区別できる方法で表示するための１つまたは複数の所望の条件を選択し得る。
【０２５０】
追加的または代替的に、特定の音響プロファイルの条件を満たす位置は、対応する音響プロファイルなど、満たされた条件を表すアイコンで提示することができる。例えば、図２２は、シーン内の認識された音響プロファイルを示すディスプレイ画像内に配置された複数のアイコン２２０２、２２０４、２２０６、２２０８を示す。図２２に示される例示的なプロファイルは、ベアリングの摩耗、空気漏れ、および電気アーク放電を含む。そのようなプロファイルは、そのようなプロファイルに分類されるために、そのようなプロファイルに関連付けられた１つまたは複数のパラメータのセットを満たす音響信号によって特定され得る。
【０２５１】
図２３は、同心円を使用する複数のインジケータ２３０２、２３０４および２３０６と、各音響信号に関連する音響強度を表す英数字情報とを介して音響データを示す別の例示的なディスプレイ画像を示す。本明細書の他の位置で説明するように、いくつかの例では、インジケータのサイズは、対応する位置に存在する１つまたは複数の音響パラメータを表すことができる。いくつかの実施形態では、インジケータは単色であることがあり、インジケータサイズ、線の太さ、線のタイプ（例えば、実線、破線など）などによって、１つまたは複数の他の方法で音響パラメータを示すことができる。
【０２５２】
いくつかの例では、ディスプレイは、ユーザによって行われた選択に基づく英数字情報を含むことができる。例えば、いくつかの実施形態では、システムは（例えば、プロセッサを介して）、そのような位置での（例えば、ユーザインタフェースを介して）ディスプレイ上のインジケータのユーザ選択に応答して特定の位置に位置する音響信号の１つまたは複数の音響パラメータを表す情報を含むことができる。図２４は、表示された音響信号に関連するインジケータおよび追加の英数字情報を有する例示的なディスプレイ画像を示す。一例では、ディスプレイ上のインジケータ２４０２は、さらなる分析のために選択され得る（例えば、十字線を介して表され、これは、タッチスクリーン入力を介するなど、選択を示すことができる）。ディスプレイは、ピーク強度および対応する周波数、周波数範囲、位置測定までの距離、およびその位置からの音響信号によって示される臨界レベルを含む、インジケータに対応する位置に関連するデータのリストを含む英数字情報２４０４を示す。
【０２５３】
いくつかの例では、ディスプレイ画像は、シーン内の対応する複数の音響信号を表す複数のインジケータを含むことができる。いくつかの実施形態では、そのような場合、ユーザは、１つまたは複数のインジケータを（例えば、タッチスクリーンまたは他のユーザインタフェースを介して）選択することがあり、選択の検出に応答して、プロセッサは、音響信号に関する追加情報を提示し得る。このような追加情報には、１つまたは複数の音響パラメータの英数字を含めることができる。いくつかの例では、そのような追加情報は、複数の音響信号に対して同時に表示することができる。他の例では、所与の音響信号に関するそのような追加情報は、別の音響信号が選択されるときに隠される。
【０２５４】
本明細書の他の場所で説明されているように、いくつかの例では、システムはレーザポインタを含むことができる。いくつかの例では、レーザポインタは、固定された方向を有することができ、または、例えば、プロセッサを介して制御可能な調整可能なポインティングを有することができる。いくつかの例では、システムは、画像内の選択された位置に関連付けられた標的シーン内の位置にレーザポインタを向けるように構成され得る。図２５Ａは、インジケータ２５０２が選択されている、図２４に示されているディスプレイなどのディスプレイを含むシステム（いくつかの例では、手持ち式ツールとして具体化されている）を示す。レーザポインタ２５０４は、シーンに向かってレーザビーム２５０６を放出し、レーザは、画像内の選択されたインジケータ２５０２の位置に対応するシーン内にレーザスポット２５０８を作成する。これは、ユーザが環境内の選択および／または分析された音響信号の位置を視覚化するのに役立つ。いくつかの実施形態では、レーザスポット２５０８は、電磁撮像ツールによって検出可能であり、表示されたインジケータ２５０２と、音響パラメータ情報を含む英数字情報２５１２と共にディスプレイ上に見ることができる。いくつかの例では、音響撮像システムは、シーン内のレーザの位置を検出または予測し、レーザ位置の視覚的表示２５１０を提供するように構成される。図２５Ｂは、図２５Ａのシステムビューに示されるようなディスプレイ画像を示す。
【０２５５】
レーザポインタが固定された向きを有する実施形態では、ユーザは、レーザ位置を視覚的に示すディスプレイ画像をフィードバックとして見ることができ、その結果、ユーザは、選択された音響信号と一致するようにレーザの照準を調整することができる。
【０２５６】
本明細書の他の場所で説明するように、いくつかの実施形態では、音響画像データを電磁画像データと組み合わせて、ディスプレイ画像で提示することができる。いくつかの例では、音響画像データは、電磁画像データの様々な側面が完全に隠されないように調整可能な透明度を含むことができ、図２６は、シーン内の位置でインジケータ２６０２によって表される音響画像データを示し、インジケータ２６０２は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を含む。システムは表示装置を含むことができ、これは電磁画像データおよび音響画像データを含む表示データを提示するように構成された音響画像化ツールと一体または別個であり得る。
【０２５７】
いくつかの実施形態では、装置（例えば、手持ち式音響画像化ツール）は、物理的ブレンド制御２６１４（例えば、ユーザインタフェースの一部として含まれ得る１つまたは複数のボタン、ノブ、スライダーなど）および／またはタッチスクリーンもしくは他の仮想的に実装されたインタフェースを介するなどの仮想ブレンド制御２６０４を含むことができる。いくつかの実施形態では、そのような機能は、スマートフォン、タブレット、コンピュータなどの外部ディスプレイ装置によって提供することができる。
【０２５８】
図２７は、部分的に透明な同心円調色技術を含む、ディスプレイ画像のための仮想および／または物理的ブレンド制御ツールを示す。図２６に関する説明と同様に、インジケータ２７０２は、シーン内の音響信号を表すことができる。音響撮像システムは、ディスプレイ画像内の音響画像データ（例えば、インジケータ２７０２）の透明度を調整するために使用することができる物理的ブレンド制御２７１４および／または仮想ブレンド制御２７０４を含むことができる。
【０２５９】
追加的または代替的に、物理的および／または仮想インタフェースを使用して、１つまたは複数の表示パラメータを調整することができる。例えば、いくつかの実施形態では、１つまたは複数のフィルタを適用して、本明細書の他の場所で説明するような、１つまたは複数の条件を満たす音響画像データを選択的に表示することができる。図２８は、１つまたは複数のフィルタを満たすシーン内の位置を示す（例えば、１つまたは複数の対応する閾値または所定の条件を満たす１つまたは複数の音響または他のパラメータを有する）グラデーション調色を有するインジケータ２８０２を含むシーンを示す。様々な例において、フィルタ処理は、物理的制御２８１４（例えば、１つまたは複数のボタン、ノブ、スイッチなどを介して）および／または仮想制御２８０４（例えば、タッチスクリーン）を介して選択および／または調整することができる。図示の例では、フィルタは、音響パラメータの事前定義された範囲２８０６内にある音響パラメータ（例えば、周波数）を有する音響信号のみの音響画像データを表示することを含む。示されるように、事前定義された範囲２８０６は、可能なフィルタ範囲２８１６のサブセットである。いくつかの例では、ユーザは、フィルタの効果を調整するために、例えば、仮想２８０４または物理２８１４的制御を介して、事前定義された範囲２８０６の限界を調整し得る。
【０２６０】
図２９は、部分的に透明な同心円調色技術を含む、ディスプレイ画像の仮想および／または物理的なフィルタ調整を示す。示されるように、インジケータ２９０２は、フィルタに基づく値の所定の範囲２９０６内にある音響パラメータに基づいて、シーン内に示される。フィルタは、例えば、仮想２９０４および／または物理的な２９１４制御を介して、値２９１６の範囲内で調整可能であり得る。
【０２６１】
いくつかの実施形態では、複数のフィルタを利用して、調色された音響画像データを含むディスプレイ画像をカスタマイズすることができる。図３０は、第１のインジケータおよび第２のインジケータを示すディスプレイ画像を示す。本明細書の他の場所で説明するように、１つまたは複数のフィルタを（例えば、物理的フィルタ制御および／または仮想フィルタ制御を介して）ディスプレイ画像に適用して、表示されるデータをカスタマイズすることができる。図３０の図示の例では、フィルタ処理は、第１のフィルタ範囲３００６および第２のフィルタ範囲３００８を確立することを含む。いくつかの例では、フィルタ範囲は、例えば、仮想３００４および／または物理的３０１４制御を介して、値３０１６の範囲内で調整可能であり得る。
【０２６２】
このようなフィルタ範囲は、周波数、振幅、近接度など、様々なパラメータのいずれかを表すことができる。示されるように、第１のフィルタ範囲および第２のフィルタ範囲はそれぞれ色に関連付けられ（いくつかの例では、ユーザによって調整可能である）、インジケータ３００２、３０１２は、対応する音響信号が各フィルタ範囲に関連付けられる１つまたは複数のフィルタ条件を満たす画像内の位置に配置される。示されるように、第１のインジケータ３００２は、第１のフィルタ範囲３００６（暗い陰影で示される）を満たす音響信号を表し、第２のインジケータ３０１２は、第２のフィルタ範囲３００８（明るい陰影で示される）を満たす音響信号を表す。したがって、ユーザは、どの位置がどの条件を満たすかを特定しながら、直ちに様々な条件を満たす音響データを有するシーン内の位置を迅速に特定することができ得る。
【０２６３】
いくつかの例では、音響画像化ツールまたは外部ディスプレイ装置などのディスプレイ装置は、図３１に示されるような入力装置として仮想キーボードを含むことができる。図３１は、シーン内の音響信号の１つまたは複数の音響パラメータを表すインジケータ３１０２を含むディスプレイインタフェースを示す。仮想キーボード３１１０がディスプレイに含まれており、これを使用して、英数字情報３１１２をディスプレイ画像に追加することができる。このような仮想キーボードを利用すると、ユーザは、様々な検査メモ、ラベル、日付／タイムスタンプ、または画像と共に保存できるその他のデータなど、カスタマイズされた注釈を入力できる。様々な例において、仮想キーボードを使用して、画像データに含まれる、および／またはディスプレイ画像に関連付けられたメタデータに記憶されることによって画像データに追加されるテキストを追加することができる。
【０２６４】
様々な装置を使用して、音響画像データと、英数字データ、１つまたは複数の電磁スペクトルからの画像データ、記号などの他のデータとの様々な組み合わせを含むディスプレイ画像を提示することができる。いくつかの例では、手持ち式音響画像化ツールは、ディスプレイ画像を提示するためのビルトインディスプレイを含むことができる。他の例では、表示される情報、または表示を生成するために処理されるデータ（例えば、生のセンサデータ）は、表示のために外部装置に通信され得る。そのような外部装置は、例えば、スマートフォン、タブレット、コンピュータ、ウェアラブル装置などを含むことができる。いくつかの実施形態では、ディスプレイ画像は、拡張されたリアルティタイプのディスプレイにおいて、リアルタイムの電磁画像データ（例えば、可視光画像データ）と組み合わせて提示される。
【０２６５】
図３２は、ユーザが着用できるアイウェア３２１０に組み込まれたディスプレイを示す。いくつかの例では、アイウェアは、関連部分が参照により本明細書に組み込まれる「ＤＩＳＰＬＡＹ  ＯＦ  ＩＭＡＧＥＳ  ＦＲＯＭ  ＡＮ  ＩＭＡＧＩＮＧ  ＴＯＯＬ  ＥＭＢＥＤＤＥＤ  ＯＲ  ＡＴＴＡＣＨＥＤ  ＴＯ  Ａ  ＴＥＳＴ  ＡＮＤ  ＭＥＡＳＵＲＥＭＥＮＴ  ＴＯＯＬ」と題され、本出願の譲受人に付与された米国特許公開第２０１６００７６９３７号に記載されるような１つまたは複数の組み込まれた画像化ツールを含むことができる。いくつかのそのような例では、統合ディスプレイは、リアルタイムディスプレイ画像３２２０を表示することができる。例えば、ディスプレイは、ユーザが向いているシーンを表す電磁画像データ（例えば、可視光画像データ）を表示することができ、同時に（例えば、ブレンド、オーバレイなどを介して）、音響画像データ（例えば、インジケータ３２０２を含む）などの１つまたは複数の追加のデータストリームを表示して、ユーザに追加情報を提供することができる。いくつかの実施形態では、図３２に示されるようなアイウェアは、透明な表示画面を含み、その結果、ディスプレイ画像がディスプレイに提供されない場合、ユーザは、リアルタイム可視光画像データを提示されるのではなく、アイウェアを通して自分の目で直接シーンを見ることができる。いくつかのそのような例では、音響画像データ、英数字データなどの追加のデータを、ユーザの視野内の他の透明なディスプレイに表示して、ユーザは、ディスプレイを介してシーンの自分の視野に加えてそのようなデータを見ることができる。
【０２６６】
本明細書の他の場所で説明するように、様々な例において、ディスプレイ画像に提示される様々なデータは、他のデータストリームとのブレンド（例えば、音響画像データと可視光画像データとのブレンド）を含む様々な方法で組み合わせることができる。いくつかの例では、ブレンドの強さは、単一のディスプレイ画像内の異なる位置間で異なる可能性がある。いくつかの実施形態では、ユーザは、複数の位置のそれぞれ（例えば、検出された音響信号の複数のインジケータのそれぞれ）のブレンド比を手動で調整することができる。追加的または代替的に、ブレンドは、周波数、振幅、近接度などのような１つまたは複数のパラメータの関数であり得る。
【０２６７】
いくつかの実施形態では、音響画像化ツールは、センサアレイが、検出された音響信号を放出する複数の位置のそれぞれを指している程度を特定し、対応する音響画像データを、例えば、可視光画像データとブレンドするように構成され得る。図３３Ａは、音響シーンにおける音響信号を表す第１のインジケータ３３０２および第２のインジケータ３３０４を含む例示的なディスプレイを示す。図３３Ａでは、音響センサは、第２のインジケータ３３０４の位置に対応するパイプ２と比較した場合、第１のインジケータ３３０２の位置に対応するパイプ１をより直接的に指している。したがって、図３３Ａの表示技術では、第１のインジケータ３３０２は、第２のインジケータ３３０４よりも目立つように表示される（例えば、より高いブレンド係数またはより低い透明度を有する）。逆に、図３３Ｂでは、音響センサは、第１のインジケータ３３０２の位置に対応するパイプ１と比較した場合、第２のインジケータ３３０４の位置に対応するパイプ２をより直接的に指している。したがって、図３３Ｂの表示技術では、第２のインジケータ３３０４は、第１のインジケータ３３０２よりも目立つように表示される（例えば、より高いブレンド係数またはより低い透明度を有する）。一般に、いくつかの実施形態では、音響撮像システムは、センサが所与の位置に向けられている程度を示すメトリックを決定し（例えば、音響画像データのインジケータに対応する）、それに応じた位置に対応するブレンド比を調整することができる（例えば、照準の程度が大きいほど、ブレンド率が高くなる）。
【０２６８】
いくつかの実施形態では、音響撮像システムは、１つまたは複数の音声装置を含み、例えば、音響画像データを可視化することに加えて、若しくは、その代わりとして、音響シーンから受信した音響信号に基づいて音声フィードバックを提供できる。音響撮像システムのプロセッサは、受信した音響データを表す音声出力を生成し、音声出力を音声装置と通信するよう構成され得、生成された音声出力に基づいて音声フィードバック信号をユーザに出力する。
【０２６９】
１つまたは複数の音声装置は、スピーカー、ヘッドフォン、ヘッドセット、又はその他有線又は無線の音声装置を含むことができる。いくつかの例では、音声装置は、ディスプレイに表示される音響画像データの音声又はヘテロダイン表現を提供できる。例えば、いくつかの例では、音声装置は、音響シーンにおいて１つまたは複数の位置から発生する音響信号を音声フィードバック信号として再生成するよう構成され得、そのような音声フィードバック信号を個別に又は組み合わせて提供でき、例えば、音の組み合わせを再生成する。
【０２７０】
いくつかの実施形態では、音声フィードバックは、音響シーンの視覚的表現（例えば、音響画像データを含むディスプレイ画像）を同時にユーザに提供でき、音響シーンの複数の分析モードをユーザに提供する。
【０２７１】
いくつかの実施形態では、ユーザ又は技術者は、音声装置からの音声フィードバックに基づいて装置にねらいをつけ、例えば、関心のある音を強調又は中心にすることができる。
【０２７２】
いくつかの例では、音響シーンにおける対応する複数の位置からの複数の音響信号の場合には、音声装置を含む音響撮像システムは、画像化された音を循環的に表示して、各画像化された音について個別に音声フィードバックを提供できる。いくつかの実施形態では、音響撮像システムは、基準（例えば、周波数、デシベルレベル、周期性、距離などの１つまたは複数の選択されたパラメータに基づいて）を満たす画像化された音に対応する音声装置を介して、ユーザに音声フィードバックを提供できる。追加的または代替的に、音響撮像システムは、全ての検出された音響信号を表す集合的音声フィードバック信号を提供するよう構成され得る。
【０２７３】
いくつかの例では、音声装置は、シーン又は関心のある物体のモノラル音声表示を提供できる。追加的または代替的に、音声装置は、シーン又は関心のある物体のステレオ音声表示を提供できる。いくつかの実施形態では、音声装置は、モノラル音声表示とステレオ音声表示間の切り替えができる。
【０２７４】
図３４Ａ、３４Ｂ、３４Ｃ、３４Ｄは、音響撮像システムにおける音響撮像装置と通信する様々なタイプの音声装置を示す。様々な例は、有線ヘッドフォン（例えば、カナル型又はオーバーイヤーヘッドフォン）、ワイヤレスヘッドフォン／イヤホン（例えば、音響撮像装置と通信するＢｌｕｅｔｏｏｔｈ）、音響撮像装置と通信する有線及び／又は無線スピーカー、若しくは、センサ側に及び／又はディスプレイ／インタフェース側に内蔵スピーカーを備えた音響撮像装置を含む。そのような装置の組み合わせは可能で、いくつかのそのような例では、ユーザは、音声フィードバックを出力するために、複数の可能な音声装置から１つまたは複数を選択し得る。
【０２７５】
図３４Ａは、３４０６のような有線ヘッドフォンと接続するためにポート３４０４を有する音響撮像装置３４０２を示す。図３４Ｂは、ワイヤレススピーカーやヘッドフォン３４１６のような１つまたは複数のワイヤレス音声装置と無線で通信するために、ワイヤレスインタフェース３４１４を含む音響撮像装置３４１２を示す。いくつかの例では、音響撮像装置は、一体型スピーカーを含む。図３４Ｃは、装置のセンサ側に統合された一体型スピーカー３４３４を含む音響撮像装置３４３２を示す。図３４Ｄは、装置のディスプレイ側に統合された一体型スピーカー３４４４を含む音響撮像装置３４４２を示す。一般に、音響分析システムは、ユーザに音声フィードバック信号を出力するよう構成された１つまたは複数の音声装置を含むことができる。一体型スピーカーとワイヤレスヘッドフォンなど、音声装置の任意の組み合わせが使用できる。
【０２７６】
図３５は、音声装置が表示された音響画像データを表すために音声フィードバックを提供する例示的な実施形態を示す。例示的な動作中に、音響撮像装置３５０２は、本明細書の他の場所で説明するように、音響データと電磁データをシーンから最初に受信し、音響画像データと電磁画像データを含むディスプレイを生成することができる。ユーザ又は技術者は、音響撮像装置を管理し、関心のある音が表示画面の中心点近くに位置するようにできる。中心点は、十字線、ボックス、円、その他の形状などを含む様々な方法で表示され得る。視覚化された音が、ディスプレイの中心点に又はその近くにあるとき、音響撮像装置は、例えば、ヘッドフォンジャック３５０４を介して音響撮像装置３５０２に配線されたヘッドフォン３５０６を介して、ユーザ又は技術者のために音声装置を通して音声フィードバックを提供することができる。
【０２７７】
図示の例では、音響撮像装置３５０２は、シーンにて音３５１０を検出し、検出された音３５１０に基づいて音声フィードバック３５２０を出力する。音声装置３５０６を介して提供された音声フィードバック３５２０は、中心にされた（ｃｅｎｔｅｒｅｄ）音を再生成することを含み得、例えば、周波数、周期性などの再生成された１つまたは複数の音響パラメータを含む。いくつかの例では、そのようなパラメータは、ユーザに提示するために、可聴周波数レンジで超音波情報の音声フィードバックを提供する、及び／又は快適な及び／又は可聴レベルに強度を調整するといったより好適なスケールに標準化され得る。
【０２７８】
図３６は、音声装置が音響信号の選択された発生源に対応する選択的な音声フィードバックを提供する例示的な実施形態を示す。いくつかの例では、ユーザ又は技術者は、複数の視覚化された音のどちらが音声装置を通して音声フィードバックを生成するために使用されるべきかを選択できる。様々な例において、ユーザ又は技術者は、ディスプレイ上のタッチスクリーンを介して、１つまたは複数の物理的インタフェース（例えば、ボタンなど）を介して、若しくは、外部装置を介するなどして、１つまたは複数の視覚化された音を選択できる。いくつかの例では、ユーザは、スクリーン上で１つまたは複数の形状やマーカーをドローしたり、位置づけることができ、１つまたは複数の位置を識別してそこから音声フィードバックを生成する。
【０２７９】
図示の例では、音響撮像装置３６０２は、音３６１２、３６１４、３６１６にそれぞれ対応するインジケータ３６２２，３６２４、３６２６を含む音響画像を示す。図３６に図示されるように、ユーザは、例えば、タッチスクリーンを介してインジケータ３６２４を選択することで、音３６１４を選択する。音声装置３６０６は、有線ヘッドフォンとして図示されるが、選択された音３６１４を表す音声フィードバック信号３６３４を出力する。音響撮像装置３６０２は、例えば、ディスプレイ上の異なるインジケータの選択を介して、ユーザが異なる音を選択する場合、対応する音声フィードバック信号が音声装置３６０６を介して出力されるよう構成され得る。
【０２８０】
図３７は、音声装置が表示された音響画像データを表すために音声フィードバックを提供する別の例示的な実施形態を示す。図３６と同様に、音響シーンは、音３７１２、３７１４、３７１６を含み、且つ、対応する音響画像データは、対応するインジケータ３７２２、３７２４、３７２６をそれぞれ有して図示されている。いくつかの例では、ユーザ又は技術者は、音響画像データの全ての音について音声フィードバックを受信でき、若しくは本明細書に記載の一定の基準を満たす音についてのみ音声フィードバックを受信できる。
【０２８１】
いくつかの実施形態では、ユーザ又は技術者は、同時に音３７１２、３７１４、３７１６のそれぞれを表す音声装置３７０６を介して、音声フィードバック信号を受信する。あるいは、音響撮像装置３７０２は、音と位置を循環的に表示するよう構成され得、一方で、そのような位置について音声フィードバックを一度に一つずつ提供する。例えば、例示的実装において、ユーザ又は技術者は、初めに３６２２の音声フィードバックを受信し、その後３６２４、さらにその後３６２６と受信する。音響撮像装置は、その後、音３６１２に戻って循環的に表示し、全ての音の音声フィードバックを提供するなどしてよい。したがって、音響撮像装置は、検出された音３７１２、３７１４、３７１６に応じてそれぞれ、音声フィードバック信号３７３２、３７３４、３７３６を連続して出力するために使用され得る。
【０２８２】
様々な例において、ユーザは、複数の音を含むシーンに応じて、音声フィードバック信号がどのように提供されるかに対応する１つまたは複数の設定から選択することができ、複数の音を単一の音声フィードバック信号に統合、それぞれが複数の音の１つに対応する複数の音声フィードバック信号を個々に循環的に表示、単一の選択された音に対応する音声フィードバック信号を提供のうち１つまたは複数から選択することを含む。説明したように、いくつかの例では、統合及び／又は循環的に表示される複数の音は、１つまたは複数の所定の要件を満たす音響シーンにおける複数の音のサブセットである。追加的または代替的に、いくつかの例では、音響撮像システムは、強度の降順のような、１つまたは複数のパラメータに基づく順番で、複数の音声フィードバック信号を循環的に表示できる。いくつかの実施形態では、音響撮像システムは、音響シーンにおける複数の音響信号が現在提供された音声フィードバック信号によって表示されているディスプレイ画像上で示すことができる。
【０２８３】
図３８は、音声装置が表示された音響画像データを表すためにステレオ音声フィードバックを提供する例示的な実施形態を示す。例えば、図３８は、音響撮像装置３８０２とこれに接続された音声装置３８０６を示す。音３８１２と３８２６は音響シーンに提示されて、インジケータ３８２２と３８２６を介してそれぞれ図示されている。
【０２８４】
いくつかの例では、音響撮像装置３８０２は、ユーザ又は技術者にステレオ音声フィードバックを提供するよう構成されており、例えば、音響シーンの左側部分からの音響信号は、音声フィードバックとして左側の音声装置３８５０に出され、そして、音響シーンの右側部分の音は、音声フィードバックとして右側の音声装置３８６０に出される。図示の例では、音３８１６（及び対応するインジケータ３８２６）は、音響シーンの左側に図示され、一方、音３８１２（及び対応するインジケータ３８２２）は、音響シーンの中心近くに図示される。ステレオ音声フィードバックを用いるいくつかのシステムでは、音３８１２に対応する音声フィードバックは、（表示画面の中央近くにあるため）２つのスピーカーで提供され、そして、音３８１６に対応する音声フィードバックは、（表示画面の左側により近くにあるため）右側スピーカー３８６０よりも左側スピーカー３８５０に多く提供される。いくつかの例では、音３８１６に対応する音声フィードバックは、左耳だけに聞こえ得る。
【０２８５】
いくつかの実施形態では、音響シーンは、そこにある音響信号が音声フィードバック信号においてどのように表示されるかを決定する領域に分けることができる。例えば、一例では、シーンの左側ほぼ４分の１のような特定の領域からの音響信号は、左側スピーカーからのみ出力された音声フィードバック信号に含まれ、若しくは、右側スピーカーから出力された音声フィードバック信号よりも左側スピーカーから出力された音声フィードバック信号において大きくなる。同様に、シーンの右側ほぼ４分の１のような特定の領域からの音響信号は、右側スピーカーからのみ出力された音声フィードバック信号に含まれ、若しくは、左側スピーカーから出力された音声フィードバック信号よりも右側スピーカーから出力された音声フィードバック信号において大きくなる。シーンに対してより中央の音響信号は、右側スピーカーと左側スピーカーの両方からの音声フィードバック信号において表示され得る。
【０２８６】
いくつかの実施形態では、音響撮像システムは、シーンから音響信号を受信し、そのような音響信号を表す音響画像データを生成するよう構成されている。いくつかの実施形態では、音響画像データは、ステレオ音声フィードバックを作成する際、例えば、左側チャネルと右側チャネル間でどのように音声フィードバック信号のバランスをとるかを決定するよう処理され得る。例えば、いくつかの例では、音響画像データのピクセル位置は、シーンにおける複数の音の相対位置の決定に役立ち、ステレオ音声フィードバック信号のバランスをとるために使用できる。
【０２８７】
図示の例では、左側スピーカー３８５０は、第１の音声フィードバック信号３８５２を出力し、右側スピーカー３８６０は第２の音声フィードバック信号３８６２を出力する。一例では、第１の音声フィードバック信号３８５２は、音３８１６のみを表し、一方で、第２の音声フィードバック信号は、音３８１６と３８１２の両方を表す。
【０２８８】
図示の例が２つのスピーカー３８５０と３８６０を含む一方、いくつかの例では、システムは、受信した音響データを表す音声フィードバック信号を出力できる任意の数の音声出力装置を含むことができる。音声フィードバック信号は、シーン内で検出された任意の数の音響信号の位置に基づいて構築され得る。
【０２８９】
いくつかの例では、音響撮像装置のポインティングが、例えば、音３８１２がシーンの右側方向へと移動するように変更する場合、音声出力は、音声フィードバック信号３８６２のみがシーンの右側に音３８１２を表すよう動的に変更するであろう。同様に、音３８１６が画面の中央へと移動すると、音声フィードバック信号３８５２と３８６２は、音３８５２を表示できるであろう。
【０２９０】
追加的または代替的に、本明細書の他の場所で説明するように、音響撮像装置のポインティングに基づく動的出力は、ディスプレイ画像の様々な態様の調整を含み得る。例えば、図３３Ａと図３３Ｂに関して説明されるように、音響画像データの透明度、若しくは、音響画像データに関するブレンド比は、音響センサアレイのポインティングのような、音響画像化ツールの相対的ポインティングに基づいて調整することができる。いくつかのそのような実施形態では、図３８に関して、図面に図示されるポインティングにおいて、インジケータ３８２６は、シーン内で音３８１２がより中央になるため、インジケータ３８２２より透明になり得る。しかしながら、音響撮像システムのポインティングが、音３８１６が中央へと移動し、且つ音３８１２がシーンの右側方向へと移動するように変更する場合、インジケータ３８２２は、インジケータ３８２６よりも透明になり得る。
【０２９１】
したがって、いくつかの実施形態では、音響撮像システムは、例えば、音響センサアレイ、電磁撮像ツール、若しくはその両方のポインティング方向のような、システムの相対的ポインティングに基づいて強度を動的に変更することを有する、可視の及び／又は可聴の出力を生成できる。
【０２９２】
本明細書に記載の様々なプロセスは、そのようなプロセスを実行するために１つまたは複数のプロセッサを引き起こすための実行可能命令を含む非一時的なコンピュータ可読媒体として具体化することができる。システムは、例えば、プロセッサと一体の、またはプロセッサの外部のメモリに記憶された命令に基づいて、そのようなプロセスを実行するように構成された１つまたは複数のプロセッサを含むことができる。場合によっては、様々な構成要素をシステム全体に分散させることができる。例えば、システムは、複数の分散プロセッサを含むことができ、各構成されたプロセッサは、システムによって実行されるプロセス全体の少なくとも一部を実行する。さらに、本明細書に記載の様々な特徴および機能を、例えば、手持ち式音響画像化ツールまたは様々な別個のおよび／または分離可能な構成要素を有する分散システムとして具体化される単一の音響撮像システムに組み合わせることができることが理解されよう。
【０２９３】
本明細書に記載の構成要素の様々な機能を組み合わせることができる。いくつかの実施形態では、本出願に記載されている機能は、「ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＰＲＯＪＥＣＴＩＮＧ  ＡＮＤ  ＤＩＳＰＬＡＹＩＮＧ  ＡＣＯＵＳＴＩＣ  ＤＡＴＡ」と題された、弁護士整理番号５６５８１．１７８．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている機能と組み合わせることができ、これは本出願の譲受人に付与され、参照により本明細書に組み込まれる。いくつかの実施形態では、本出願に記載されている機能は、「ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＴＡＧＧＩＮＧ  ＡＮＤ  ＬＩＮＫＩＮＧ  ＡＣＯＵＳＴＩＣ  ＩＭＡＧＥＳ」と題された、弁護士整理番号５６５８１．１７９．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている機能と組み合わせることができ、これは本出願の譲受人に付与され、参照により本明細書に組み込まれる。いくつかの実施形態では、本出願に記載されている機能は、「ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＤＥＴＡＣＨＡＢＬＥ  ＡＮＤ  ＡＴＴＡＣＨＡＢＬＥ  ＡＣＯＵＳＴＩＣ  ＩＭＡＧＩＮＧ  ＳＥＮＳＯＲＳ」と題された、弁護士整理番号５６５８１．１８０．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている機能と組み合わせることができ、これは本出願の譲受人に付与され、参照により本明細書に組み込まれる。いくつかの実施形態では、本出願に記載されている機能は、「ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＡＮＡＬＹＺＩＮＧ  ＡＮＤ  ＤＩＳＰＬＡＹＩＮＧ  ＡＣＯＵＳＴＩＣ  ＤＡＴＡ」と題された、弁護士整理番号５６５８１．１８１．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている機能と組み合わせることができ、これは本出願の譲受人に付与され、参照により本明細書に組み込まれる。
【０２９４】
様々な実施形態が説明されてきた。このような例は非限定的であり、いかなる方法でも本発明の範囲を定義または制限するものではない。
【図１Ａ】
2021532358.tif 000003
【図１Ｂ】
2021532358.tif 000004
【図２】
2021532358.tif 000005
【図３Ａ】
2021532358.tif 000006
【図３Ｂ】
2021532358.tif 000007
【図３Ｃ】
2021532358.tif 000008
【図４Ａ】
2021532358.tif 000009
【図４Ｂ】
2021532358.tif 000010
【図５Ａ】
2021532358.tif 000011
【図５Ｂ】
2021532358.tif 000012
【図５Ｃ】
2021532358.tif 000013
【図５Ｄ】
2021532358.tif 000014
【図６】
2021532358.tif 000015
【図７】
2021532358.tif 000016
【図８】
2021532358.tif 000017
【図９Ａ】
2021532358.tif 000018
【図９Ｂ】
2021532358.tif 000019
【図９Ｃ】
2021532358.tif 000020
【図１０Ａ】
2021532358.tif 000021
【図１０Ｂ】
2021532358.tif 000022
【図１１Ａ】
2021532358.tif 000023
【図１１Ｂ】
2021532358.tif 000024
【図１２Ａ】
2021532358.tif 000025
【図１２Ｂ】
2021532358.tif 000026
【図１２Ｃ】
2021532358.tif 000027
【図１３】
2021532358.tif 000028
【図１４】
2021532358.tif 000029
【図１５】
2021532358.tif 000030
【図１６】
2021532358.tif 000031
【図１７】
2021532358.tif 000032
【図１８】
2021532358.tif 000033
【図１９】
2021532358.tif 000034
【図２０】
2021532358.tif 000035
【図２１】
2021532358.tif 000036
【図２２】
2021532358.tif 000037
【図２３】
2021532358.tif 000038
【図２４】
2021532358.tif 000039
【図２５Ａ】
2021532358.tif 000040
【図２５Ｂ】
2021532358.tif 000041
【図２６】
2021532358.tif 000042
【図２７】
2021532358.tif 000043
【図２８】
2021532358.tif 000044
【図２９】
2021532358.tif 000045
【図３０】
2021532358.tif 000046
【図３１】
2021532358.tif 000047
【図３２】
2021532358.tif 000048
【図３３Ａ】
2021532358.tif 000049
【図３３Ｂ】
2021532358.tif 000050
【図３４Ａ】
2021532358.tif 000051
【図３４Ｂ】
2021532358.tif 000052
【図３４Ｃ】
2021532358.tif 000053
【図３４Ｄ】
2021532358.tif 000054
【図３５】
2021532358.tif 000055
【図３６】
2021532358.tif 000056
【図３７】
2021532358.tif 000057
【図３８】
2021532358.tif 000058
【手続補正書】
【提出日】令和3年7月12日(2021.7.12)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
図示の実施形態では、音響分析システム２００は、標的シーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、標的シーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。いくつかの例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、および紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、いくつかの実施形態では、電磁撮像ツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された１つまたは複数のカメラモジュールを含むことができる。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
同様に、対応するピクセル（すなわち、標的シーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、いくつかのそのような配置では、対応する可視光画像および音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と対話して、ディスプレイ２１４に表示される画像の一方または両方の透明性または不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と対話して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータがディスプレイ２１４を調整して、音響のみの画像と可視光のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響のみの画像、可視光のみの画像を表示することを可能にし得る。プロセッサ２１２はまた、シーン情報を、警報データなどの他のデータと組み合わせ得る。一般に、可視光と音響画像のアルファブレンドされた組み合わせは、１００％の音響と０％の可視光から０％の音響と１００％の可視光までのどこでも含むことができる。いくつかの実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、いくつかの実施形態では、ブレンドされた画像は、１００％の可視光と１００％の音響との間で調整することができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
図３Ａの音響分析システムは、距離測定ツール３０４と、音響センサアレイ３０２内に配置されたカメラモジュール３０６とをさらに含む。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表すことができ、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含むことができる。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプまたは異なるタイプの１つまたは複数の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４およびカメラモジュール３０６は、第１のアレイ３２０および第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０および第２のアレイ３２２内の格子サイト間に配置されるように示されているが、いくつかの実施形態では、１つまたは複数の構成要素（例えば、カメラモジュール３０６および／または距離測定ツール３０４）は、第１のアレイ３２０および／または第２のアレイ３２２内の対応する１つまたは複数の格子に配置することができる。いくつかのそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
図３Ａおよび３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、および３９６内に配置された距離測定ツール３１４およびカメラアレイ３１６を含む。いくつかの例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を画像化するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、および３９６内に同様に配置され得る。図３Ａ〜図３Ｃには、１つまたは複数の音響センサアレイ内に配置されて示されるが、距離測定ツールおよび／または１つまたは複数の画像化ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。いくつかのそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツールおよび／または１つまたは複数の画像化ツールは、音響画像化ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、または音響画像化ツールの筐体の外部に配置できる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１６０
【補正方法】変更
【補正の内容】
【０１６０】
例示的な音響画像化操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景または他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響画像化手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。いくつかのそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ〜図５Ｄに示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響画像化のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ〜１４ｋＨｚ）を選択し得る。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
例示的なシナリオでは、図１０Ａは、位置１０１０〜１０９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内のどの音源（例えば、図１０Ａおよび１０Ｂの標的シーン内）が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのに役立つ。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１９１
【補正方法】変更
【補正の内容】
【０１９１】
特定の条件を満たす音響画像データを示す画像間の循環的表示に加えて、またはその代わりに、いくつかの例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、いくつかの実施形態では、位置１０１０〜１０９０のそれぞれから発生する音響信号を表す音響画像データを特定し、循環的に表示させることができる。例えば、例示的な動作プロセスでは、位置１０１０〜１０９０の１つでの音響画像データを含むディスプレイ画像は、音響信号の各発生源の個々の分析のために、自動的にまたはユーザの指示で循環的に表示することができる。様々な実施形態において、循環的に表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０２４２
【補正方法】変更
【補正の内容】
【０２４２】
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。示されているように、音響パラメータ（例えば、強度）は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を介して示されている。例示的なグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）では、パラメータ値は、調色技術に従ってそれに関連付けられた固有の色を有する。所与のピクセルでのパラメータ値の変更は、通常、そのピクセルに関連付けられた色の変更をもたらし、新しいパラメータ値を表す。図１４の例に示されるように、音響パラメータ値は、位置１４３２、１４３４、１４３６での音響信号の中心位置から半径方向に変化するように見える。グラデーション調色の他の例は、２０１７年１１月２日に出願され、本出願の譲受人に付与された米国特許出願第１５／８０２，１５３号に記載されている。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２４３
【補正方法】変更
【補正の内容】
【０２４３】
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。いくつかのそのような例では、パラメータ値に関連付けられた色を有するグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）とは対照的に、図１５に示される同心円の各単色は、その色に関連付けられた値の範囲内の音響パラメータ値を有するピクセルを表すことができる。図示の例では、位置１５３２、１５３４、１５３６での音響信号に関連する音響パラメータ（例えば、強度）は、音響信号の中心から半径方向に変化する。例示的な調色技術において、赤で示されるピクセルは、パラメータ値の第１の範囲内の音響パラメータ値を表し、黄色で示されるピクセルは、パラメータ値の第２の範囲内の音響パラメータ値を表し、緑で示されるピクセルは、パラメータ値の第３の範囲内の音響パラメータ値を表すが、追加または代替の色、パターンなどを含む他の表示技術が可能である。様々な実施形態において、値の範囲は、１０ｄＢ〜２０ｄＢの間の強度値などの絶対範囲に対応することができるか、または最大強度の９０％〜１００％の間の強度値などの相対範囲であり得る。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２４８
【補正方法】変更
【補正の内容】
【０２４８】
いくつかの実施形態では、色付きインジケータを使用して、１つまたは複数の検出された音響信号、および／または基準パラメータからの逸脱量などの関連する音響パラメータの重大度を表すことができる。図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータ２００２、２００４、２００６を示す例示的な視覚化を示す。例えば、例示的な実施形態では、赤色のインジケータは、（例えば、典型的な動作条件の基準などの基準と比較した場合）１つまたは複数の音響パラメータに基づく重大な重大度を示し、黄色のインジケータは中程度の重大度を示し、緑色はインジケータは軽度の重大度を表す。他の例では、他の配色または外観特性（例えば、インジケータの透明度、インジケータのサイズなど）を使用して、音響信号の重大度を視覚的に区別することができる。図示の例では、インジケータ２００４は最大レベルの重大度を表し、インジケータ２００６は次に大きいレベルを表し、インジケータ２００２は最も重大度の低い音響信号を表す。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２８９
【補正方法】変更
【補正の内容】
【０２８９】
いくつかの例では、音響撮像装置のポインティングが、例えば、音３８１２がシーンの右側方向へと移動するように変更する場合、音声出力は、音声フィードバック信号３８６２のみがシーンの右側に音３８１２を表すよう動的に変更するであろう。同様に、音３８１６が画面の中央へと移動すると、音声フィードバック信号３８５２と３８６２は、音３８１６を表示できるであろう。
【国際調査報告】
2021532358.tif 000059
2021532358.tif 000060
2021532358.tif 000061
2021532358.tif 000062
2021532358.tif 000063