(57)【要約】  あるシステムは、音響信号を受信するように構成された音響センサアレイと、電磁放射を受信するように構成された電磁撮像ツールと、位置情報を出力するように構成された位置センサと、メモリと、プロセッサを含む。プロセッサは、音響センサアレイから音響データを受信し、受信した音響データから音響画像データを生成することができる。プロセッサは、電磁撮像ツールから電磁画像データを受信し、生成された音響画像データと受信した電磁画像データとを組み合わせて、ディスプレイ画像を生成することができる。プロセッサは、位置センサから位置情報を受信し、受信した位置情報に関連付けられたディスプレイ画像をメモリに保存することができる。位置情報は、ディスプレイ画像のメタデータで保存され得るか、又はディスプレイ画像内に表示され得る。プロセッサは、そのような画像に関連付けられた位置情報に基づくなどして、メモリに記憶された画像を関連付けるように構成され得る。
2021532355.tif 000002
【特許請求の範囲】
【請求項１】
複数の音響センサ要素を含む音響センサアレイであって、前記複数の音響センサ要素のそれぞれが、音響シーンから音響信号を受信し、前記受信した音響信号に基づいて音響データを出力するように構成される、音響センサアレイと、
ターゲットシーンから電磁放射を受信し、前記受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールと、
位置センサであって、その位置を表す位置情報を出力するように構成された、位置センサと、
メモリと、
前記メモリ、前記音響センサアレイ、前記電磁撮像ツール、及び前記位置センサと通信するプロセッサであって、
前記音響センサアレイから音響データを受信し、
前記受信した音響データから音響画像データを生成し、
前記電磁撮像ツールから電磁画像データを受信し、
前記位置センサから位置情報を受信し、
前記生成された音響画像データと前記受信した電磁画像データとを組み合わせて、音響画像データ及び電磁画像データを含むディスプレイ画像を生成し、
前記受信した位置情報に関連してメモリに前記ディスプレイ画像を保存する
ように構成された、プロセッサと、
を装備する音響撮像システム。
【請求項２】
前記ディスプレイ画像が、前記画像に関連する前記位置情報の表現を含む、請求項１に記載のシステム。
【請求項３】
それらが前記位置情報が、メモリに保存された前記ディスプレイ画像のメタデータに記憶される、請求項１又は２に記載のシステム。
【請求項４】
前記位置センサがＧＰＳを含み、前記位置情報がＧＰＳ座標を含む、請求項１から３のいずれかに記載のシステム。
【請求項５】
前記プロセッサが、前記ＧＰＳ座標を含む前記位置情報のマップ表現を生成するように構成される、請求項４に記載のシステム。
【請求項６】
前記位置情報が測位情報を含む、請求項１から５のいずれかに記載のシステム。
【請求項７】
前記位置情報が傾き情報を含む、請求項１から６のいずれかに記載のシステム。
【請求項８】
ディスプレイをさらに含み、前記プロセッサが、前記ディスプレイ画像を前記ディスプレイに通信するように構成される、請求項１から７のいずれかに記載のシステム。
【請求項９】
前記プロセッサが、前記ディスプレイ画像のそれぞれに関連する前記位置情報が所定の条件を満たす場合に、メモリ内のディスプレイ画像を関連付けるようにさらに構成される、請求項１から８のいずれかに記載のシステム。
【請求項１０】
前記所定の条件が、互いに所定の距離内にあるＧＰＳ座標を含む、請求項９に記載のシステム。
【請求項１１】
前記位置センサが慣性測定装置を含む、請求項１から１０のいずれかに記載のシステム。
【請求項１２】
複数の音響センサ要素を含む音響センサアレイであって、複数の音響センサ要素のそれぞれが、音響シーンから音響信号を受信し、前記受信した音響信号に基づいて音響データを出力するように構成される、音響センサアレイと、
ターゲットシーンから電磁放射を受信し、前記受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールと、
メモリと、
前記メモリ、前記音響センサアレイ、及び前記電磁撮像ツールと通信するプロセッサであって、
前記音響センサアレイから音響データを受信し、
前記受信した音響データから音響画像データを生成し、
前記電磁撮像ツールから電磁画像データを受信し、
前記位置センサから位置情報を受信し、
前記生成された音響画像データと前記受信した電磁画像データとを組み合わせて、音響画像データ及び電磁画像データを含む第１のディスプレイ画像を生成し、
前記第１のディスプレイ画像をメモリに保存し、
第２の画像をメモリに保存し、前記第２の画像が前記第１のディスプレイ画像に関連付けられるように構成された、プロセッサと、
を備える、音響撮像システム。
【請求項１３】
ユーザインタフェースをさらに含み、前記プロセッサが、前記ユーザインタフェースから受信した入力に応答して前記第２の画像を前記第１のディスプレイ画像に関連付ける構成される、請求項１２に記載のシステム。
【請求項１４】
前記プロセッサが、前記ユーザインタフェースからの入力を受信して、複数の以降に生成されたディスプレイ画像をメモリ内で関連付けるように構成される、請求項１３に記載のシステム。
【請求項１５】
前記受信した入力は、メモリ内で関連付けるために、所定の数の連続して生成されたディスプレイ画像を含む、請求項１４に記載のシステム。
【請求項１６】
前記受信した入力は、任意の生成されたディスプレイ画像がメモリ内で関連付けられるような時間の長さを含む、請求項１４又は１５に記載のシステム。
【請求項１７】
前記受信した入力が第１の入力と第２の入力を含み、前記第１の入力の後及び前記第２の入力の前に生成された任意のディスプレイ画像がメモリ内で関連付けられる、請求項１４から１６のいずれかに記載のシステム。
【請求項１８】
前記受信した入力が、ディスプレイ画像を生成する周波数を含み、前記プロセッサが、  前記音響センサアレイから音響データを、かつ前記電磁撮像ツールから電磁画像データを周期的に受信し、前記受信した入力に基づいて関連するディスプレイ画像を生成し、
メモリ内で前記周期的に生成されるディスプレイ画像をメモリ内で関連付ける
ように構成される、請求項１４から１７のいずれかに記載のシステム。
【請求項１９】
前記プロセッサが、
メモリに記憶された画像のリストから、前記第１のディスプレイ画像及び前記第２の画像を含む複数の画像の選択を受信し、
前記選択した画像をメモリ内で関連付ける
ように構成される、請求項１３から１８のいずれかに記載のシステム。
【請求項２０】
位置センサであって、その位置を表す位置情報を出力するように構成された、位置センサをさらに含み、前記プロセッサが、
位置情報を前記第１のディスプレイ画像と関連付け、
位置情報を以降に生成されたディスプレイ画像と関連付け、
前記第１のディスプレイ画像に関連付けられた位置情報と、前記以降に生成されたディスプレイ画像に関連付けられた位置情報との差が所定の閾値を下回る場合、メモリ内で前記第１のディスプレイ画像と前記以降に生成されたディスプレイ画像とを関連付ける、請求項１２から１９のいずれかに記載のシステム。
【請求項２１】
前記位置情報がＧＰＳ座標を含み、
前記第１のディスプレイ画像に関連付けられた前記位置情報と、前記以降に生成されたディスプレイ画像に関連付けられた前記位置情報との間が、前記第１のディスプレイ画像と前記以降に生成されたディスプレイ画像に関連付けられた前記ＧＰＳ座標との間の距離を含み、
前記所定の閾値が距離閾値を含む、請求項２０に記載のシステム。
【請求項２２】
前記プロセッサが、互いに所定の距離内にＧＰＳ座標を有する任意の２つの保存されたディスプレイ画像をメモリ内で自動的に関連付けるように構成される、請求項２１に記載のシステム。
【請求項２３】
前記電磁撮像ツールが、可視光画像データを生成するように構成された可視光カメラモジュールを含み、
前記第１のディスプレイ画像が、第１のターゲットシーンを表す可視光画像データを含み、
前記第２の画像が、第２のターゲットシーンを表す可視光画像を含み、前記第２のターゲットシーンは、（ｉ）前記第１のターゲットシーンより大きく、前記第１のターゲットシーンを含むか、又は（ｉｉ）前記第１のターゲットシーンより小さく、前記第１のターゲットシーン内に含まれる、請求項１２から２２のいずれかに記載のシステム。
【請求項２４】
ユーザインタフェースをさらに含み、
関連付けられた画像が一次画像を含む画像のセットとしてメモリに保存され、
前記メモリが、関連付けられた画像の複数のセット及び対応する一次画像を含み、前記プロセッサが、
前記ユーザインタフェースを介して、メモリ内の関連付けられた画像の前記複数のセットから一次画像の選択を受信し、
前記選択された一次画像をディスプレイに表示し、
前記ユーザインタフェースからのプロンプトに応答して、前記一次画像に関連付けられた一又はそれ以上の画像を前記ディスプレイに表示する
ように構成される、請求項１２から２３のいずれかに記載のシステム。
【発明の詳細な説明】
【関連出願の相互参照】
【０００１】
本出願は、２０１８年７月２４日に出願された米国特許出願第６２／７０２，７１６号に対する優先権を主張し、ここにその全内容が引用により本明細書に組み込まれる。
【背景技術】
【０００２】
現在入手可能な音響撮像装置は、様々なファクターに起因して各種の周波数感度制限を有する音響センサアレイ構成を含んでいる。例えば、ある音響撮像装置は、ほぼ２０Ｈｚとほぼ２０ｋＨｚの間の音響周波数範囲において反応するように設計されている。他の装置(例えば、超音波装置)は、ほぼ３８ｋＨｚとほぼ４５ｋＨｚの間の音響周波数範囲において反応するように設計されている。
【０００３】
しかしながら、２０Ｈｚから２０ｋＨｚの周波数範囲内で作動するように一般的に設計された音響撮像装置は、たとえば、ほぼ５０ｋＨｚまで若しくはそれ以上の高周波数を有効に検出又は撮像することができない。同様に、２０ｋＨｚから５０ｋＨｚの周波数範囲内で作動するように設計された音響装置又は超音波装置は、たとえば、２０ｋＨｚ若しくはそれ以下の低周波数を有効に検出及び／又は撮像することができない。このことは様々な理由のためである。例えば、低周波数(例えば、可聴周波数)用に最適化されたセンサアレイは、高周波数(例えば、超音波周波数)用に最適化されたセンサアレイが行うよりもはるかにかけ離れた個々のセンサを概して含んでいる。
【０００４】
ハードウェアの懸念に加えて、又は代わりに、音響撮像の異なる計算アルゴリズム及び方法は、ターゲットと異なる周波数及び／又は異なる距離を有する音響信号により適していることが多く、特に経験の浅いユーザが、シーンを音響的に撮像するための最良の方法を決定することを困難にしている。
【０００５】
異なる音響周波数範囲の撮像におけるこのような不一致は、部分的には、空気中の異なる周波数及び波長の音波の伝搬の背後にある物理学に起因する。特定のアレイの向き、アレイのサイズ、及び計算方法は、一般に、異なる周波数特性（例えば、可聴周波数、超音波周波数など）を持つ音響信号により適している。
【０００６】
同様に、異なるアレイ特性及び／又は計算方法は、ターゲットへの異なる距離にある各音響シーンにとってより高い適性がありうる。例えば、非常に近い距離にあるターゲット用の近接場音響ホログラフィ、より遠い距離にあるターゲット用の各種音響ビーム形成方法です。
【０００７】
したがって、(例えば、音響撮像用の)音響アレイを用いた音響点検は、例えば、異なる周波数範囲を有する音響信号の分析のために広範な装備と、音響分析を行うためにいつ異なるハードウェアと計算技術が適切となるのかを理解する専門的技術を必要とすることがある。このことは、音響点検に時間とコストを強度にかけることとなり、そのような点検をするために専門家を必要とすることがある。
【０００８】
例えば、ユーザは、音響分析をするために手動で各種のハードウェア及び／又はソフトウェアを選択することを余儀なくされることがある。しかしながら、経験のない分析者は、与えられた分析及び／又は音響シーンにとってハードウェアとソフトウェアの好適な組み合わせを知ることは不可能である場合がある。その上、シーン内から目標の音を分離することは、特に煩雑なシーンにおいては、それ自体難題を提供することであり、経験のないユーザにとってつまらないいらいらを示すことになるかもしれない。例えば、特に雑音環境の下で、所定の音響シーンは、目標の音響信号を不明瞭にするいくつもの周波数や強度や他の特性を含む音響信号を含んでいることがある。
【０００９】
従来のシステムは、目標の音を分析するために点検に先立ち、ユーザに目標の各種の音響パラメータを手動で特定することをたびたび要求していた。しかし、経験のないユーザは、目標の各種の音をもっともよく分離及び／又は特定する方法を知らないことがある。装置とヒトとの間の複雑で直感的でないインタフェースは、装置の有効利用に対する障壁になる可能性があり、及び／又は、装置の基本的な機能を操作するためにさえ追加の訓練の必要性を必要とする可能性がある。
【００１０】
その上、複数の撮像技術(例えば、可視光撮像技術、赤外線撮像技術、紫外線撮像技術、可聴撮像技術若しくは他の撮像技術)が同じ対象又はシーンを点検しているときに協調して使用されている場合、異なる撮像技術を実施するために用いられるツールの物理的な配置及び又は他のセッテング(例えば、フォーカス位置)は分析に強い影響を与えることがある。例えば、各撮像装置の異なる位置及び／又はフォーカス位置は、結果的に視差となり、結果として生じる画像はずれて並置されることがある。このことは、シーン内の目標の領域及び／又は問題領域、ドキュメンテーションエラー、問題の誤診を適切に突き止めることを結果的にできなくしてしまうことがある。例えば、音響画像データに関して、音響画像データが他の撮像技術(例えば、可視光画像データ及び／又は赤外線画像データ)から画像データに関してずれている場合には、目標の音響信号の位置又は音源を特定することは難しいことがある。
【００１１】
既存の超音波試験及び点検ツールは、受信中のセンサに音を収束させるときに役立たせるために、パラボラディッシュを使用するか若しくはそれを使用しないで、超音波センサを用いている。特定周波数の音が検出された時、装置のディスプレイ上で、それは上昇若しくは降下する数値として、若しくは、周波数又はデシベルレベルグラフ上で表示される。このことは、多くのユーザにとって、非常に紛らわしく且つ非直感的でありうる。ライブシーンの画像又は音の視覚化は利用できない。
【００１２】
特定の音を分離し、その場所を突き止め、分析することは、冗長なプロセスであり、多くのエンドユーザにとって困惑させられることがある。適切な分析及び報告活動を実行するために、追加のコンテキスト情報が必要になることがよくある。
【００１３】
上等な音響撮像装置は、シーンの静止又はライブ可視画像と統合した音の偽色可視化表現を生成する可能性を有する。ただし、適切な分析及び報告活動を実行するために、この方法でも追加のコンテキスト情報が必要になることがよくある。
【００１４】
音響データが収集された位置を記録したい技術者は、位置を確認したり、位置を推測したりするために、二次的な装置を利用する必要がある。その後、後でデータと同期するために、情報を手動で記録する必要がある。このプロセスは、想起のエラーやデータの不一致につながる可能性があり、これにより分析又は報告でエラーが発生する可能性がある。
【００１５】
さらに、従来の超音波試験装置又は音響イマージャーで点検されているシーンに関する追加のコンテキスト情報を収集することを望む技術者は、典型的には、別のカメラ若しくは装置で写真を撮る、及び／又は、記述された注釈又はＰC、タブレット、スマートホン若しくは他のモバイル装置のような別の装置に記録された注釈を記録しなければならない。そして、これらの２次的な注釈は、超音波ツール若しくは音響イマ―ジャーからのデータと手動で同期又は一致されねばならない。このことは、かなり多くの時間がかかり、適正なデータと対応する２次的コンテキスト情報を整合するときに誤りがちになりうる。さらに、ユーザの音響撮像装置は、関連するグループ化又は時間ベースの傾向分析及び研究でより正確な分析を実行するために、データ及び／又は音響画像を一緒に関連付けたい場合があり、これは更なる複雑さを付加することになる。
【発明の概要】
【００１６】
本開示のある態様は、音響撮像システムに関する。システムは、複数の音響センサ要素を備える音響センサアレイであって、複数の音響センサ要素のそれぞれが、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成される音響センサアレイを含むことがある。
【００１７】
システムは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含むことがある。電磁撮像ツールは、可視光及び／又は近赤外光を含む範囲のような波長の第１の波からの電磁放射を検出するように構成され得る。あるシステムでは、電磁画像システムは、可視光カメラモジュール及び／又は赤外線カメラモジュールを含み得る。
【００１８】
システムは、また、メモリ、及び、音響センサアレイから音響データを受信し、受信した音響データから音響画像データを生成するように構成され得るプロセッサを含むことがある。プロセッサは、さらに、電磁撮像ツールから電磁画像データを受信することができる。あるシステムでは、プロセッサは、受信した音響データから音響画像データを生成し、生成された音響画像データと受信した電磁画像データとを組み合わせてディスプレイ画像を生成し、ディスプレイ画像をメモリに保存するように構成されることがある。
【００１９】
システムは、位置センサを含むことがある。位置センサは、位置センサの位置を表す位置情報を出力するように構成されることがある。あるシステムでは、位置情報は、ＧＰＳ座標、配位情報、及び／又は、傾き情報を含むことがある。プロセッサは、位置センサと通信し、位置センサから位置情報を受信し得る。ある例では、プロセッサは、受信した位置情報に関連して、ディスプレイ画像をメモリに保存することができる。
【００２０】
例えば、ディスプレイ画像は、ディスプレイ画像のメタデータに記憶される位置情報を有することがある。その上若しくはそれとは別に、ディスプレイ画像は、例えば、ディスプレイ画像に含まれる英数字表現を介して、位置情報の表現を含むことができる。
【００２１】
ある例では、プロセッサは、メモリに記憶された画像、例えば、目標の同様の対象の同様の位置で取り込まれた画像などを、特定の期間にわたって関連付けるように構成されることがある。ある例では、プロセッサは、メモリに記憶された画像の選択を受信し、選択された一次画像をディスプレイ上に提供し、ユーザインタフェースからのプロンプトに応答して一次画像に関連付けられた一又はそれ以上の画像をディスプレイ上に提供するように構成されることがある。
【００２２】
一又はそれ以上の例の詳細が、添付の図面及び以下の説明に記載されている。他の特徴、目的、及び利点は、明細書及び図面、並びに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【００２３】
【図１Ａ】図１Ａは、例示的な音響撮像装置の正面図および背面図を示す。
【図１Ｂ】図１Ｂは、例示的な音響撮像装置の正面図および背面図を示す。
【００２４】
【図２】図２は、音響分析システムの一例の構成要素を示す機能ブロック図である。
【００２５】
【図３Ａ】図３Ａは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
【図３Ｂ】図３Ｂは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
【図３Ｃ】図３Ｃは、音響分析システム内の例示的な音響センサアレイ構成の概略図を示す。
【００２６】
【図４Ａ】図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。
【図４Ｂ】図４Ｂは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。
【００２７】
【図５Ａ】図５Ａは、可視光画像と音響画像との間の視差補正を示す。
【図５Ｂ】図５Ｂは、可視光画像と音響画像との間の視差補正を示す。
【００２８】
【図５Ｃ】図５Ｃは、図５Ａ及び図５Ｂの着色されたバージョンである。
【図５Ｄ】図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。
【００２９】
【図６】図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。
【００３０】
【図７】図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
【００３１】
【図８】図８は、音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを決定するための例示的なルックアップテーブルを示す。
【００３２】
【図９Ａ】図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。
【００３３】
【図９Ｂ】図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。
【００３４】
【図９Ｃ】図９Ｃは、複数の前待って定義された周波数範囲での複数の組み合わされた音響及び可視光画像データを示す。
【００３５】
【図１０Ａ】図１０Ａは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。
【図１０Ｂ】図１０Ｂは、組み合わされた可視光画像データおよび音響画像データを含む例示的なディスプレイ画像である。
【００３６】
【図１１Ａ】図１１Ａは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。
【図１１Ｂ】図１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。
【００３７】
【図１２Ａ】図１２Ａは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
【図１２Ｂ】図１２Ｂは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
【図１２Ｃ】図１２Ｃは、音響画像データをデータベースに記憶された過去の音響画像データと比較するための複数の例示的な方法を示す。
【００３８】
【図１３】図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。
【００３９】
【図１４】図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。
【００４０】
【図１５】図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。
【００４１】
【図１６】図１６は、非数値情報と英数字情報の両方を含む視覚化例を示す。
【００４２】
【図１７】図１７は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
【００４３】
【図１８】図１８は、非数値情報と英数字情報の両方を含む別の視覚化例を示す。
【００４４】
【図１９】図１９は、異なる音響パラメータ値を表す異なるサイズと色のインジケータを示す例示的な視覚化を示す。
【００４５】
【図２０】図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータを示す例示的な視覚化を示す。
【００４６】
【図２１】図２１は、所定の条件を満たす音響信号を区別して示す、シーン内の複数の位置におけるインジケータを含むシーンを示す。
【００４７】
【図２２】図２２は、シーン内で認識された音響プロファイルを示す、ディスプレイ画像内に配置された複数のアイコンを含むディスプレイ画像を示す。
【００４８】
【図２３】図２３は、各音響信号に関連して音響強度を表す、同心円と英数字情報を使用する複数のインジケータを介して音響データを示す別の例示的なディスプレイ画像を示す。
【００４９】
【図２４】図２４は、表示された音響信号に関連するインジケータ及び追加の英数字情報を有する例示的なディスプレイ画像を示す。
【００５０】
【図２５Ａ】図２５Ａは、ディスプレイ画像内のインジケータが選択されるディスプレイと、シーンに向かってレーザを放出するレーザポインタとを含むシステムを示す。
【００５１】
【図２５Ｂ】図２５Ｂは、図２５のシステムビューに示されるディスプレイを示す。
【００５２】
【図２６】図２６は、音響画像データを表すグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
【００５３】
【図２７】図２７は、音響画像データを表す同心円調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を有し、音響画像ブレンド制御を含むインジケータを含むディスプレイ画像を示す。
【００５４】
【図２８】図２８は、一又はそれ以上のフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有するインジケータを含むディスプレイ画像を示す。
【００５５】
【図２９】図２９は、一又はそれ以上のフィルタ条件を満たすシーン内の位置を示す同心円調色を有するインジケータを含むディスプレイ画像を示す。
【００５６】
【図３０】図３０は、２つのインジケータを含むディスプレイ画像であって、それぞれのインジケータが異なるフィルタ条件を満たすシーン内の位置を示すグラデーション調色を有するディスプレイ画像を示す。
【００５７】
【図３１】図３１は、ディスプレイ画像及び仮想キーボードを含むディスプレイインタフェースを示す。
【００５８】
【図３２】図３２は、ユーザが着用してディスプレイ画像を表示することができるアイウェアに組み込まれたディスプレイを示す。
【００５９】
【図３３Ａ】図３３Ａは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。
【図３３Ｂ】図３３Ｂは、音響センサアレイのポインティングに基づく動的強度を有するインジケータを含む動的ディスプレイ画像を示す。
【００６０】
【図３４】図３４は、シーン内の音響信号及び英数字位置情報を表す複数のインジケータを含むディスプレイ画像を示す。
【００６１】
【図３５】図３５は、図３４のディスプレイ画像として重なり合うシーンを有し、シーン内の音響信号及び英数字位置情報を表す複数のインジケータを含む別のディスプレイ画像を示す。
【００６２】
【図３６】図３６は、複数のディスプレイ画像に関連して取得された位置情報を表すマップビューを示す。
【００６３】
【図３７】図３７は、一次音響画像を取り込み、関連する画像をそれに関連付ける例を示す。
【００６４】
【図３８】図３８は、物体の異なる視点を示す複数の関連付けられた音響画像を示す。
【００６５】
【図３９】図３９は、時間によって画像を関連付ける例を示す。
【発明を実施するための形態】
【００６６】
図１Ａ及び図１Ｂは、例示的な音響撮像装置の正面図及び背面図を示す。図１Ａは、音響センサアレイ１０４及び電磁撮像ツール１０６を支持する筐体１０２を有する音響撮像装置１００の前面を示す。ある実施形態では、音響センサアレイ１０４は、複数の音響センサ要素を含み、複数の音響センサ要素のそれぞれは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成されている。電磁撮像ツール１０６は、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成され得る。電磁撮像ツール１０６は、可視光、赤外線、紫外線などの複数の範囲の波長のうちの一又はそれ以上の電磁放射を検出するように構成され得る。
【００６７】
図示の例では、音響撮像装置１００は、周囲光センサ１０８と、ＧＰＳなどの位置センサ１１６とを含む。装置１００はレーザポインタ１１０を含み、これは、ある実施形態では、レーザ距離計を含む。装置１００は、シーンに向けて可視光放射を放出するように構成され得るトーチ１１２と、シーンに向けて赤外線放射を放出するように構成され得る赤外線照射器１１８とを含む。ある例では、装置１００は、任意の範囲の波長にわたってシーンを照射するための照射器を含むことがある。装置１００は、生成された画像を着色画像などのシーンに投影するように構成できる画像リプロジェクタなどのプロジェクタ１１４、及び／又は、例えば、シーンの深度プロファイルを判定するために、一連のドットをシーンに投影するように構成されたドットプロジェクタをさらに含む。
【００６８】
図１Ｂは、音響撮像装置１００の裏側を示す。図示されたように、装置は、画像又は他のデータを表示することができるディスプレイ１２０を含む。ある例では、ディスプレイ１２０は、タッチスクリーンディスプレイを含む。音響撮像装置１００は、音声フィードバック信号をユーザに提供することができるスピーカと、音響撮像装置１００と外部装置との間の無線通信を可能にすることができる無線インタフェース１２４とを含む。装置は、ユーザが音響撮像装置１００と接続することを可能にするために、一又はそれ以上のボタン、ノブ、ダイヤル、スイッチ、又は他のインタフェース構成要素を含むことができる制御１２６をさらに含む。ある例では、制御１２６とタッチスクリーンディスプレイが組み合わさって、音響撮像装置１００のユーザインタフェースを提供する。
【００６９】
様々な実施形態では、音響撮像装置は、図１Ａ及び図１Ｂの実施形態に示されるすべての要素を含む必要はない。図示された一又はそれ以上の構成要素は、音響撮像装置から除外することができる。ある例では、図１Ａ及び図１Ｂの実施形態に示された一又はそれ以上の構成要素は、音響撮像システムの一部として含まれ得るが、筐体１０２とは別個に含まれ得る。そのような構成要素は、例えば、無線インタフェース１２４を使用して、有線又は無線通信技術を介して音響撮像システムの他の構成要素と通信することができる。
【００７０】
図２は、音響分析システム２００の一例の構成要素を示す機能ブロック図である。図２の例示的な音響分析システム２００は、音響センサアレイ２０２内に配置されたマイクロフォン、ＭＥＭＳ、トランスデューサなどの複数の音響センサを含むことができる。このようなアレイは、１次元、２次元、又は３次元であり得る。様々な例において、音響センサアレイは、任意の適切なサイズ及び形状を定義することができる。ある例では、音響センサアレイ２０２は、例えば、垂直列及び水平行に配置されたセンサ要素のアレイなどのグリッドパターンに配置された複数の音響センサを含む。様々な例において、音響センサアレイ２０２は、例えば、８×８、１６×１６、３２×３２、６４×６４、１２８×１２８、２５６×２５６などの水平行×垂直列のアレイを含むことができる。他の例も可能であり、様々なセンサアレイに列と同じ数の行を含める必要はない。ある実施形態では、そのようなセンサは、例えば、プリント回路基板（ＰＣＢ）基板などの基板上に配置することがある。
【００７１】
図２に示される構成では、音響センサアレイ２０２と通信するプロセッサ２１２は、複数の音響センサのそれぞれから音響データを受信することができる。音響分析システム２００の例示的な動作中に、プロセッサ２１２は、音響センサアレイ２０２と通信して、音響画像データを生成することができる。例えば、プロセッサ２１２は、音響センサアレイに配置された複数の音響センサのそれぞれから受信したデータを分析し、音響信号を音響発生源に「バックプロパゲーション」することによって音響シーンを決定するように構成され得る。ある実施形態では、プロセッサ２１２は、２次元シーン全体にわたる音響信号の様々な発生源位置及び強度を特定することによって、音響画像データのデジタル「フレーム」を生成することができる。音響画像データのフレームを生成することによって、プロセッサ２１２は、実質的に所与の時点でのターゲットシーンの音響画像を取り込む。ある例では、フレームは、音響画像を構成する複数のピクセルを含み、各ピクセルは、音響信号がバックプロパゲーションされた発生源シーンの一部を表す。
【００７２】
プロセッサ２１２を含む音響分析システム２００内でプロセッサとして説明される構成要素は、一又はそれ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブルロジック回路等の、単独若しくは任意に適切に組み合わされた、一又はそれ以上のプロセッサとして実装され得る。プロセッサ２１２は、また、プロセッサ２１２によって実行されると、音響分析システム２００及びプロセッサ２１２をして本開示においてそれらに起因する機能を実行させるプログラム命令及び関連データを記憶するメモリを含むこともある。メモリは、ＲＡＭ、ＲＯＭ、ＣＤ−ＲＯＭ、ハードディスク又はフロッピー磁気ディスク、ＥＥＰＲＯＭなどの固定又は取り外し可能な磁気、光学、又は電気媒体を含み得る。メモリは、また、メモリの更新又はメモリ容量の増加を提供するために使用され得る取り外し可能なメモリ部分を含み得る。リムーバブルメモリは、また、音響画像データを別のコンピューティング装置に容易に転送し得ること、若しくは、音響分析システム２００が別の用途で使用される前に音響画像データを除去し得ることを可能にする。プロセッサ２１２は、また、コンピュータ又は他の電子システムの一部又はすべての構成要素を単一のチップに統合するシステムオンチップとして実装されることもある。プロセッサ２１２（処理回路）は、処理されたデータをディスプレイ２１４又は他の出力／制御装置２１８に通信するように構成され得る。
【００７３】
ある実施形態では、音響センサアレイ２０２内の音響センサは、各音響センサによって受信された音響信号に対応する一連の信号を生成して、音響画像を表す。音響画像データの「フレーム」は、音響センサアレイ２０２を構成するすべての行をスキャンすることによって各音響センサからの信号が取得されるときに生成される。ある例では、プロセッサ２１２は、音響画像データのビデオ表現（例えば、３０Ｈｚ、又は６０Ｈｚ）を生成するのに十分な速度で音響画像フレームを取得することができる。特定の回路とは独立して、音響分析システム２００は、ターゲットシーンの音響プロファイルを表す音響データを操作して、ユーザによって表示、保存、送信、又は他の方法で利用できる出力を提供するように構成され得る。
【００７４】
ある実施形態では、音響画像データを生成するための受信音響信号の「バックプロパゲーション」は、例えばプロセッサを介して、音響センサアレイ２０２内の複数の音響センサで受信信号を分析することを含む。様々な例において、バックプロパゲーションの実行は、ターゲットまでの距離、周波数、音の強度（例えば、ｄＢレベル）例えば、一又はそれ以上のアレイ内の個々のセンサの間隔及び配置を含むセンサアレイの寸法／構成を含む、一又はそれ以上のパラメータの関数である。ある実施形態では、そのようなパラメータは、システムに、例えば、メモリ内に事前にプログラムされることがある。例えば、音響センサアレイ２０２の特性は、内部メモリ又は特に音響センサアレイ２０２に関連するメモリなどのメモリに記憶することができる。ターゲットまでの距離などの他のパラメータは、様々な方法で受信することができる。例えば、ある例では、音響分析システム２００は、プロセッサ２１２と通信する距離測定ツール２０４を含む。距離測定ツールは、距離測定ツール２０４からターゲットシーン内の特定の位置までの距離を表す距離情報を提供するように構成され得る。様々な距離測定ツールは、レーザ距離計又は他の光学的又は音声的距離測定装置などの他の既知の距離測定装置を含むことがある。追加的又は代替的に、距離測定ツールは、ターゲットシーンの各部分が関連するターゲットまでの距離値を有するような３次元深度データを生成するように構成され得る。したがって、ある例では、本明細書で使用されるターゲットまでの距離測定は、ターゲットシーン内の各位置までの距離に対応することができる。そのような３次元深度データは、例えば、ターゲットシーンの異なるビューを有する複数の撮像ツールを介して、又は、他の既知の距離走査ツールを介して生成することができる。一般に、様々な実施形態では、距離測定ツールが使用され、レーザ距離測定、アクティブ音波距離測定、パッシブ超音波距離測定、ＬＩＤＡＲ距離測定、ＲＡＤＡＲ距離測定、ミリ波距離測定などを含むがこれらに限定されない一又はそれ以上の距離測定機能を実行することができる。
【００７５】
距離測定ツール２０４からの距離情報は、バックプロパゲーション計算に使用することができる。その上若しくはそれとは別に、システム２００は、ユーザがターゲットまでの距離パラメータを手動で入力することができるユーザインタフェース２１６を含むことがある。例えば、ユーザは、音響信号を生成することが疑われる構成要素までの距離が既知であるか、又は距離測定ツール２０４で測定することが困難である場合に、システム２００にターゲットまでの距離値を入力し得る。
【００７６】
図示の実施形態では、音響分析システム２００は、ターゲットシーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。ある例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、及び紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、ある実施形態では、電磁タイミングツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された一又はそれ以上のカメラモジュールを含むことができる。
【００７７】
可視光カメラモジュールは一般的によく知られている。例えば、スマートフォンやその他の多くの装置には、様々な可視光カメラモジュールが含まれている。ある実施形態では、可視光カメラモジュール２０６は、ターゲットシーンから可視光エネルギーを受け取り、例えば、ディスプレイ２１４上に可視光画像の形態で表示されるか、及び／又は、メモリに保存されうる可視光エネルギーデータを生成するために、可視光エネルギーを可視光センサに集中するように構成され得る。可視光カメラモジュール２０６は、ここでモジュールに起因する機能を実行するための任意の適切な構成要素を含むことができる。図２の例では、可視光カメラモジュール２０６は、可視光レンズアセンブリ２０８及び可視光センサ２１０を含むものとして示されている。あるそのような実施形態では、可視光レンズアセンブリ２０８は、ターゲットシーンによって放出された可視光エネルギーを受け取り、可視光エネルギーを可視光センサ２１０に集中させる少なくとも１つのレンズを含む。可視光センサ２１０は、例えば、ＣＭＯＳ検出器、ＣＣＤ検出器、ＰＩＮダイオード、アバランシェフォトダイオードなどの複数の可視光センサ要素を含むことができる。可視光センサ２１０は、変換され、ディスプレイ２１４上に可視光画像として表示され得る電気信号を生成することによって、集中されたエネルギーに応答する。ある例では、可視光モジュール２０６は、ユーザによって構成可能であり、例えば、様々なフォーマットでディスプレイ２１４に出力を提供することができる。可視光カメラモジュール２０６は、照射若しくは他の動作条件の変更又はユーザの好みに対する補償機能を含み得る。可視光カメラモジュールは、画像データを含むデジタル出力を提供することができ、画像データは、様々なフォーマット（例えば、ＲＧＢ、ＣＹＭＫ、ＹＣｂＣｒなど）のデータを含み得る。
【００７８】
ある例示的な可視光カメラモジュール２０６の動作において、ターゲットシーンから受け取られた光エネルギーは、可視光レンズアセンブリ２０８を通過し、可視光センサ２１０に収束され得る。光エネルギーが可視光センサ２１０の可視光センサ要素に衝突すると、光検出器内の光子が放出され、検出電流に変換され得る。プロセッサ２１２は、この検出電流を処理して、ターゲットシーンの可視光画像を形成することができる。
【００７９】
音響分析システム２００の使用中、プロセッサ２１２は、可視光カメラモジュール２０６を制御して、可視光画像を作成するために、取り込まれたターゲットシーンから可視光データを生成することができる。可視光データは、取り込まれたターゲットシーンの異なる部分に関連する色（複数可）及び／又は取り込まれたターゲットシーンの異なる部分に関連する光の大きさを示す光度データを含み得る。プロセッサ２１２は、音響分析システム２００の各可視光センサ要素の応答を一回測定することによって、可視光画像データの「フレーム」を生成することができる。可視光データのフレームを生成することによって、プロセッサ２１２は、所与の時点でのターゲットシーンの可視光画像を取り込む。プロセッサ２１２は、また、音響分析システム２００の各可視光センサ要素の応答を繰り返し測定して、ターゲットシーンの動的可視光画像（例えば、動画表現）を生成し得る。ある例では、可視光カメラモジュール２０６は、可視光カメラモジュール２０６を動作させることができるそれ自体の専用プロセッサ又は他の回路（例えば、ＡＳＩＣ）を含み得る。あるそのような実施形態では、専用プロセッサは、可視光画像データ（例えば、ＲＧＢ画像データ）をプロセッサ２１２に提供するためにプロセッサ２１２と通信する。擦れに代わる実施形態では、可視光カメラモジュール２０６用の専用プロセッサをプロセッサ２１２と統合されることがある。
【００８０】
可視光カメラモジュール２０６の各センサ要素がセンサピクセルとして機能することにより、プロセッサ２１２は、各センサ要素の電気的応答を、例えば、ディスプレイ２１４での視覚化及び／又はメモリへの保存のために、処理され得る時間多重化電気信号に変換することによって、ターゲットシーンからの可視光の２次元画像又はピクチャ表現を生成することができる。
【００８１】
プロセッサ２１２は、ディスプレイ２１４を制御して、取り込まれたターゲットシーンの可視光画像の少なくとも一部を表示するようにすることができる。ある例では、プロセッサ２１２はディスプレイ２１４を制御して、可視光カメラモジュール２０６の各センサ要素の電気的応答がディスプレイ２１４上の単一のピクセルに関連付けられる。他の例では、プロセッサ２１２は、可視光画像の解像度を増加又は減少させて、可視光カメラモジュール２０６内のセンサ要素よりも多く又は少ないピクセルがディスプレイ２１４に表示されるようにし得る。プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像全体（例えば、音響分析システム２００によって取り込まれたターゲットシーンのすべての部分）又は可視光画像全体よりも少なく（例えば、音響分析システム２００によって取り込まれたターゲットシーン全体より少ない部分）表示し得る。
【００８２】
ある実施形態では、プロセッサ２１２はディスプレイ２１４を制御して、音響分析システム２００によって取り込まれた可視光画像の少なくとも一部と、音響センサアレイ２０２を介して生成された音響画像の少なくとも一部とを同時に表示させることができる。そのような同時表示は、オペレータが可視光画像に表示された特徴を参照して、音響画像に同時に表示された音響信号の発生源を見るのを助け得るという点で有用であり得る。様々な例において、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を並べて、画像の一方が他方の画像を取り囲むピクチャ・イン・ピクチャ配置で、又は、可視光と音響画像が同時に表示されるその他の適切な配置で表示することがあり得る。
【００８３】
例えば、プロセッサ２１２は、ディスプレイ２１４を制御して、可視光画像と音響画像を組み合わせた配置で表示することができる。そのような配置では、ターゲットシーンの一部を表す可視光画像内のピクセル又はピクセルのセットについて、ターゲットシーンの実質的に同じ部分を表す、音響画像内の対応するピクセル又はピクセルのセットが存在する。様々な実施形態において、音響画像及び可視光画像のサイズ及び／又は解像度は、同じである必要はない。したがって、音響画像又は可視光画像の一方の単一のピクセルに対応する音響画像又は可視光画像の他方のピクセルのセット、若しくは、異なるサイズのピクセルのセットが存在し得る。同様に、可視光画像又は音響画像の一方に、他方の画像のピクセルのセットに対応するピクセルが存在することがある。したがって、ここに使用されるように、対応関係は、１対１のピクセル関係であることを必要としないが、一致しないサイズのピクセル又はピクセルのグループを含み得る。画像の一方をアップサンプリング若しくはダウンサンプリングする、又は、ピクセルを対応するピクセルのセットの平均値と組み合わせるなど、画像の一致しないサイズの領域の様々な組み合わせ技術が行われ得る。他の例は既知であり、本開示の範囲内である。
【００８４】
したがって、対応するピクセルは直接１対１の関係を持つ必要はない。むしろ、ある実施形態では、単一の音響ピクセルが複数の対応する可視光ピクセルを有するか、又は、単一の可視光ピクセルが複数の対応する音響ピクセルを有する。その上又はそれとは別に、ある実施形態では、すべての可視光ピクセルが対応する音響ピクセルを有するわけではなく、又はその逆も成り立つ。そのような実施形態は、例えば、前述のようなピクチャ・イン・ピクチャタイプのディスプレイを示し得る。したがって、可視光ピクセルは、対応する音響ピクセルがそうであるように、可視光画像内で必ずしも同じピクセル座標を有するとは限らない。したがって、ここで使用される場合、対応するピクセルは、一般に、ターゲットシーンの実質的に同じ部分からの情報を含む任意の画像（例えば、可視光画像、音響画像、結合画像、ディスプレイ画像など）からのピクセルを指す。このようなピクセルは、画像間に１対１の関係を持つ必要はなく、それぞれの画像内で同様の座標位置を持つ必要もない。
【００８５】
同様に、対応するピクセル（すなわち、ターゲットシーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、あるそのような配置では、対応する可視光画像と音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と接して、ディスプレイ２１４に表示される画像の一方又は両方の透明性又は不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と接して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータにディスプレイ２１４を調整して、音響画像のみと可視光画像のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響画像のみの画像、可視光画像のみの画像を表示させることを可能にし得る。プロセッサ２１２は、また、シーン情報を、警報データなどの他のデータと組み合わせることも可能である。一般に、可視光画像と音響画像のアルファブレンドされた組み合わせは、２００％の音響と０％の可視光から０％の音響と２００％の可視光までのどこでも含むことができる。ある実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、ある実施形態では、ブレンドされた画像は、２００％の可視光と２００％の音響との間で調整することができる。
【００８６】
さらに、ある実施形態では、プロセッサ２１２は、ユーザインタフェース２１６、及び／又は出力／制御装置２１８からのコマンドを解釈及び実行することができる。さらに、入力信号が用いられて、プロセッサ２１２で発生する可視光及び／又は音響画像データの処理を変更し得る。
【００８７】
オペレータは、ボタン、キー、又はユーザからの入力を受信するための別の機構を含み得るユーザインタフェース２１６を介して、音響分析システム２００と対話し得る。オペレータは、ディスプレイ２１４を介して音響分析システム２００からの出力を受信し得る。ディスプレイ２１４は、任意の許容可能な調色又は配色で音響画像及び／又は可視光画像を表示するように構成されることがあり、調色は、例えば、ユーザ制御に応答して変化し得る。ある実施形態では、音響画像データは、シーン内の異なる位置からの様々な大きさの音響データを表すために調色で提示され得る。例えば、ある例では、ディスプレイ２１４は、グレースケールなどの単色の調色で音響画像を表示するように構成される。他の例では、ディスプレイ２１４は、例えば、琥珀色、アイアンボー（ironbow）、青赤、又は他の高コントラストの配色などのカラーパレットで音響画像を表示するように構成される。グレースケール表示とカラーパレット表示の組み合わせも考えられる。ある例では、そのような情報を表示するように構成されているディスプレイは、そのような画像データを生成及び提示するための処理能力を含み得る。他の例では、そのような情報を表示するように構成されることは、プロセッサ２１２などの他の構成要素から画像データを受信する機能を含み得る。例えば、プロセッサ２１２は、表示される各ピクセルの値（例えば、ＲＧＢ値、グレースケール値、又は他の表示オプション）を生成し得る。ディスプレイ２１４は、そのような情報を受信し、各ピクセルを視覚的表示にマッピングし得る。
【００８８】
プロセッサ２１２は、ディスプレイ２１４を制御して、音響画像の少なくとも一部と可視光画像の少なくとも一部を任意の適切な配置で同時に表示することができるが、ピクチャ・イン・ピクチャ配置は、同じシーンの対応する可視画像を隣接するアライメントで表示することにより、オペレータが容易に音響画像の焦点を合わせ、及び／又は解釈するのを助ける。
【００８９】
電源（図示せず）は、音響分析システム２００の様々な構成要素に動作電力を供給する。様々な例において、電源は、充電式又は非充電式電池及び発電回路、ＡＣ電源、誘導電力ピックアップ、光起電電源、又は任意の他の適切な電源構成を含み得る。充電式電池と、装置を動作させるため、及び／又は充電式電池を充電するための電力を提供するように構成された別の構成要素のような電力供給構成要素の組み合わせも可能である。
【００９０】
音響分析システム２００の動作中、プロセッサ２１２は、メモリに記憶されているプログラム情報に関連する命令の助けを借りて、音響センサアレイ２０２及び可視光カメラモジュール２０６を制御して、ターゲットシーンの可視光画像及び音響画像を生成させる。プロセッサ２１２は、さらに、ディスプレイ２１４を制御して、音響分析システム２００によって生成された可視光画像及び／又は音響画像を表示させる。
【００９１】
前述のように、状況によっては、音響画像内のターゲットシーンの実際の（目に見える）特徴を特定して区別することが難しいことがある。音響画像を可視光情報で補足することに加えて、ある実施形態では、ターゲットシーン内の可視輪郭を強調することが有用であり得る。ある実施形態では、既知の輪郭検出方法が、ターゲットシーンの可視光画像に対して実行することができる。音響画像と可視光画像との間の対応関係のために、ターゲットシーンの可視輪郭を表すと決定された可視光ピクセルは、音響画像の可視輪郭も表す音響ピクセルに対応する。ここで使用される「輪郭（ｅｄｇｅ）」は、物体の物理的境界を指す必要はないが、可視光画像の十分に鋭いグラデーションを指し得ることが理解されよう。例としては、物体の物理的な境界、物体内の色の変化、シーン全体の陰影などを含み得る。
【００９２】
可視光カメラモジュール２０６を含むものとして図２に関して一般的に説明されているが、ある例では、音響分析システム２００の電磁撮像ツール２０３は、様々なスペクトルを表す画像データを生成することができる撮像ツールをその上若しくはそれとは別に含むことができる。例えば、様々な例において、電磁撮像ツール２０３は、赤外線画像データ、可視光画像データ、紫外線画像データ、又は任意の他の有用な波長、若しくはそれらの組み合わせを生成することができる一又はそれ以上のツールを含むことができる。ある実施形態では、音響撮像システムは、赤外線レンズアセンブリと赤外線センサアレイを有する赤外線カメラモジュールを含むことができる。例えば、赤外線カメラモジュールとインタフェースするための追加の構成要素を含めることができ、例えば、２０１５年８月２７日に出願され、「熱可視化可能に結合された画像とカメラのための輪郭強調（ＥＤＧＥ  ＥＮＨＡＮＣＥＭＥＮＴ  ＦＯＲ  ＴＨＥＲＭＡＬ−ＶＩＳＩＢＬＥ  ＣＯＭＢＩＮＥＤ  ＩＭＡＧＥＳ  ＡＮＤ  ＣＡＭＥＲＡＳ）」と題された米国特許出願第１４／８３７，７５７号に記載されているものなどであるが、これは本出願の譲受人に譲受され、参照によりその全体が組み込まれる。
【００９３】
ある例では、２つ以上のデータストリームが、表示のためにブレンドされることがある。例えば、可視光カメラモジュール２０６、音響センサアレイ２０２、及び赤外線カメラモジュール（図２には示されていない）を含む例示的なシステムは、可視光（ＶＬ）画像データ、赤外線（ＩＲ）画像データ、及び音響（Ａｃｏｕｓｔｉｃ）画像データのブレンドを含む出力画像を生成するように構成され得る。例示的なブレンド技術では、ディスプレイ画像は、α  ×  ＩＲ  ＋  β  ×  ＶＬ  ＋  γ×音響、ただしα＋β＋γ＝１である式によって表すことができる。一般に、任意の数のデータストリームが、表示のために組み合わされる。様々な実施形態において、α、β、及びγなどのブレンド比は、ユーザによって設定することができる。その上若しくはそれとは別に、設定された表示プログラムは、例えば、「レーザポインタを有する可視光及び赤外光結合画像カメラ（ＶＩＳＩＢＬＥ  ＬＩＧＨＴ  ＡＮＤ  ＩＲ  ＣＯＭＢＩＮＥＤ  ＩＭＡＧＥ  ＣＡＭＥＲＡ  ＷＩＴＨ  Ａ  ＬＡＳＥＲ  ＰＯＩＮＴＥＲ）」と題された米国特許第７，５３８，３２６号に記載された様な、警報条件（例えば、一又はそれ以上のデータストリーム内の一又はそれ以上の値が所定の閾値を満たす）又は他の条件に基づいて、異なる画像データストリームを含むように構成されることができ、このことは本出願の譲受人に譲受され、参照によりその全体が組み込まれる。
【００９４】
図２に関して説明された音響分析システム２００の一又はそれ以上の構成要素は、携帯型（例えば、手持ち式）音響分析ツールに含めることができる。例えば、ある実施形態では、携帯型音響分析ツールは、音響分析ツール内に構成要素を収容するように構成された筐体２３０を含むことができる。ある例では、システム２００の一又はそれ以上の構成要素は、音響分析ツールの筐体２３０の外部に配置することができる。例えば、ある実施形態では、プロセッサ２１２、ディスプレイ２１４、ユーザインタフェース２１６、及び／又は出力制御装置２１８は、音響分析ツールの筐体の外部に配置することができ、例えば無線通信（例えば、Ｂｌｕｅｔｏｏｔｈ通信、Ｗｉ−Ｆｉなど）を介して様々な他のシステム構成要素と通信することができる。音響分析ツールの外部にあるそのような構成要素は、例えば、コンピュータ、スマートフォン、タブレット、ウェアラブル装置などの外部装置を介して提供することができる。その上若しくはそれとは別に、音響分析ツールに関してマスター又はスレーブ装置として機能するように構成された他の試験及び測定又はデータ収集ツールは、音響分析ツールの外部の音響分析システムの様々な構成要素を同様に提供することができる。外部装置は、有線及び／又は無線接続を介して携帯型音響分析ツールと通信でき、様々な処理、表示、及び／又はインタフェースのステップを実行するために使用できる。
【００９５】
ある実施形態では、そのような外部装置は、携帯型音響分析ツールに収容された構成要素として冗長機能を提供することができる。例えば、ある実施形態では、音響分析ツールは、音響画像データを表示するためのディスプレイを含むことができ、さらに、記憶及び／又は表示のために画像データを外部装置に通信するように構成され得る。同様に、ある実施形態では、音響分析ツール自体で実行することもできる一又はそれ以上の機能を実行するために、ユーザは、スマートフォン、タブレット、コンピュータなどで実行されているアプリケーション（「アプリ」）を介して音響分析ツールとインタフェースし得る。
【００９６】
図３Ａは、音響分析システム内の音響センサアレイの例示的な構成の概略図である。図示の例では、音響センサアレイ３０２は、複数の第１の音響センサ（白で示されている）及び複数の第２の音響センサ（陰影付き）を含む。第１の音響センサは、第１のアレイ３２０に配置され、第２の音響センサは、第２のアレイ３２２に配置される。ある例では、第１のアレイ３２０及び第２のアレイ３２２は、選択的に使用されて、音響画像データを生成するための音響信号を受信することができる。例えば、ある構成では、特定の音響周波数に対する特定の音響センサアレイの感度は、音響センサ要素間の距離の関数である。
【００９７】
ある構成では、より近接して間隔を置いたセンサ要素（例えば、第２のアレイ３２２）は、さらに間隔を置いたセンサ要素（例えば、第１のアレイ３２０）よりも高周波音響信号（例えば、２０ｋＨｚ〜１００ｋＨｚの超音波信号など、２０ｋＨｚを超える周波数を有する音）をよりよく分解することができる。同様に、より間隔の広いセンサ要素（例えば、第１のアレイ３２０）は、より間隔の狭いセンサ要素（例えば、第２のアレイ３２２）よりも、より低い周波数の音響信号（例えば、２０ｋＨｚ未満）を検出するのにより適し得る。超低周波数（２０Ｈｚ未満）、可聴周波数（約２０Ｈｚ〜２０ｋＨｚ）、超音波周波数（２０ｋＨｚ〜１００ｋＨｚ）などの様々な周波数範囲の音響信号を検出するために、センサ要素を互いに離して配置した様々な音響センサアレイが提供され得る。ある実施形態では、特定の周波数帯域の検出を最適化するために、部分アレイ（例えば、アレイ３２０以外のすべての音響センサ要素）が使用され得る。
【００９８】
さらに、ある例では、ある音響センサ要素は、低周波数又は高周波数などの異なる周波数特性を有する音響信号を検出するのにより適していることがある。したがって、ある実施形態では、例えば、さらに間隔を置いたセンサ要素を有する第１のアレイ３２０などの低周波数音響信号を検出するために構成されたアレイは、低周波数音響信号を検出するのにより適した第１の音響センサ要素を含み得る。同様に、第２のアレイ３２２などのより高い周波数の音響信号を検出するように構成されたアレイは、高周波音響信号を検出するのにより適した第２の音響センサ要素を含み得る。したがって、ある例では、音響センサ要素の第１のアレイ３２０及び第２のアレイ３２２は、異なるタイプの音響センサ要素を含み得る。あるいは、ある実施形態では、第１のアレイ３２０及び第２のアレイ３２２は、同じタイプの音響センサ要素を含むことができる。
【００９９】
したがって、例示的な実施形態では、音響センサアレイ３０２は、第１のアレイ３２０と第２のアレイ３２２などの複数の音響センサ要素アレイを含むことができる。ある実施形態では、アレイは、個別に又は組み合わせて使用することができる。例えば、ある例では、ユーザは、音響撮像手順を実行するために、第１のアレイ３２０を使用するか、第２のアレイ３２２を使用するか、又は、第１のアレイ３２０と第２のアレイ３２２の両方を同時に使用するかを選択し得る。ある例では、ユーザは、ユーザインタフェースを介してどのアレイ（複数可）を使用するかを選択し得る。その上若しくはそれ以外に、ある実施形態では、音響分析システムは、受信した音響信号の分析、又は、予想される周波数範囲などの他の入力データなどに基づいて、使用するアレイ（複数可）を自動的に選択し得る。図３Ａに示される構成は、概して、長方形の格子状に概ね配置された２つのアレイ（第１のアレイ３２０と第２のアレイ３２２）を含むが、複数の音響センサ要素が、任意の形状の任意の数の個別のアレイにグループ化できることが理解されよう。さらに、ある実施形態では、一又はそれ以上の音響センサ要素を、動作のために選択することができる複数の別個のアレイに含めることができる。本明細書の他の個所で説明するように、様々な実施形態では、シーンからの音響画像データを確立するために音響信号をバックプロパゲーションするプロセスは、音響センサ要素の配置に基づいて実行される。したがって、音響センサの配置は、音響画像生成技術を実行するために、プロセッサによって既知であるか、そうでなければアクセス可能であり得る。
【０１００】
図３Ａの音響分析システムは、音響センサアレイ３０２内に配置された距離測定ツール３０４とカメラモジュール３０６をさらに含んでいる。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表してみいいし、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含んでもよい。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプ若しくは異なるタイプの一又はそれ以上の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４及びカメラモジュール３０６は、第１のアレイ３２０と第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０と第２のアレイ３２２内の格子サイト間に配置されるように示されているが、ある実施形態では、一又はそれ以上の構成要素（例えば、カメラモジュール３０６及び／又は距離測定ツール３０４は、第１のアレイ３２０及び／又は第２のアレイ３２２内の対応する一又はそれ以上の格子サイトに配置することができる。あるそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
【０１０１】
本明細書の他の個所で説明されているように、音響センサアレイは、様々な構成のいずれかに配置された音響センサ要素を含むことができる。図３Ｂ及び３Ｃは、例示的な音響センサアレイ構成を示す概略図である。図３Ｂは、ほぼ正方形の格子内に等間隔に配置された複数の音響センサ要素を含む音響センサアレイ３９０を示している。距離測定ツール３１４及びカメラアレイ３１６は、音響センサアレイ３９０内に配置されている。図示の例では、音響センサアレイ３９０内の音響センサ要素は同じタイプのセンサであるが、ある実施形態では、異なるタイプの音響センサ要素をアレイ３９０内で使用することができる。
【０１０２】
図３Ｃは、複数の音響センサアレイを示している。音響センサアレイ３９２、３９４、及び３９６は、それぞれ、異なる形状のアレイに配置された複数の音響センサ要素を含んでいる。図３Ｃの例では、音響センサアレイ３９２、３９４、及び３９６を別々に又は一緒に任意の組み合わせで使用して、様々なサイズのセンサアレイを作成することができる。図示の実施形態では、アレイ３９６のセンサ要素は、アレイ３９２のセンサ要素よりも互いに接近して配置されている。ある例では、アレイ３９６は、高周波音響データを感知するように設計されており、アレイ３９２は、低周波数音響データを感知するように設計されている。
【０１０３】
様々な実施形態では、アレイ３９２、３９４、及び３９６は、同じ又は異なるタイプの音響センサ要素を含むことができる。例えば、音響センサアレイ３９２は、音響センサアレイ３９６のセンサ要素の周波数動作範囲よりも低い周波数動作範囲を有するセンサ要素を含むことができる。
【０１０４】
本明細書の他の個所で説明するように、ある例では、異なる音響センサアレイ（例えば、３９２、３９４、３９６）は、様々な動作モード（例えば、撮像される異なる所望の周波数スペクトル）中に選択的にターンオフ及びターンオンにすることができる。その上若しくはそれとは別に、様々な音響センサ要素（例えば、一又はそれ以上のセンサアレイ内の音響センサ要素の一部又はすべて）は、所望のシステム動作に従って有効化又は無効化されることが可能である。例えば、ある音響撮像プロセスでは、多数のセンサ要素（例えば、センサアレイ３９６内のように高密度に配置されたセンサ要素）からのデータは、音響画像データの解像度をわずかに改善するが、各センサ要素で受信したデータから音響画像データを抽出するには必要な処理の費用がかかる。すなわち、ある例では、（例えば、多数の音響センサ要素からの）多数の入力信号を処理するために必要な増加した処理負担（例えば、コスト、処理時間、電力消費などにおいて）は、追加のデータストリームによって提供される任意の追加の信号解像度と否定的に比較される。したがって、ある実施形態では、所望の音響撮像動作に応じて、一又はそれ以上の音響センサ要素からのデータを無効化又は無視することに価値があることがある。
【０１０５】
図３Ａ及び３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、及び３９６内に配置された距離測定ツール３１４及びカメラアレイ３１６を含んでいる。ある例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を撮像するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、及び３９６内に同様に配置され得る。図３Ａ〜図２Ｃには、一又はそれ以上の音響センサアレイ内に配置されるように示されているが、距離測定ツール及び／又は一又はそれ以上の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。あるそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツール及び／又は一又はそれ以上の撮像ツールは、音響撮像ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、又は音響撮像ツールの筐体の外部に配置できる。
【０１０６】
ある例では、音響センサアレイと、カメラモジュールなどの撮像ツールの一般的な不整合は、音響センサアレイ及び撮像ツールによって生成された対応する画像データの重ね合わせ不良につながることがある。図４Ａは、可視光画像データ及び音響画像データのフレームの生成における視差エラーの概略図を示す。一般に、視差エラーは垂直、水平、又はその両方であることがある。図示の実施形態では、音響センサアレイ４２０と、可視光カメラモジュール４０６を含む撮像ツールである。可視光画像フレーム４４０は、可視光カメラモジュール４０６の視野４４１に従って取り込まれて示され、一方、音響画像フレーム４５０は、音響センサアレイ４２０の視野４５１に従って取り込まれているように示されている。
【０１０７】
示されるように、可視光画像フレーム４４０と音響撮像フレーム４５０は、互いに整列されていない。ある実施形態では、プロセッサ（例えば、図２のプロセッサ２１２）は、可視光画像データと音響画像データを整列させるために、可視光画像フレーム４４０と音響画像フレーム４５０の一方又は両方を操作するように構成される。そのような操作は、一方の画像フレームを他方に対してシフトすることを含み得る。画像フレームが互いに対してシフトされる量は、例えば、可視光カメラモジュール４０６及び／又は音響センサアレイ４２０からのターゲットまでの距離を含む、様々な要因に基づいて決定することができる。そのような距離データは、例えば、距離測定ツール４０４を使用して、又は      、ユーザインタフェース（例えば、２１６）を介して距離値を受信することによって決定することができる。
【０１０８】
図４Ｂは、図４Ａのものと同様の概略図であるが、シーンの可視光画像を含んでいる。図４Ｂの例では、可視光画像４４２は、複数の電力線及び支持タワーのシーンを示している。音響画像４５２は、複数の位置４５４、４５６、４５８を含み、そのような位置はそこから来る高マグニチュード音響データを示している。図示されるように、可視光画像４４２と音響画像４５２は両方とも同時に表示される。しかしながら、両方の画像の観察は、可視光画像４４２の特定の構造と一致していないように見える位置４５８で少なくとも１つの音響画像極大値を示している。したがって、両方の画像を観察する人は、音響画像４５２と可視光画像４４２との間に重ね合わせ不良（例えば、視差エラー）があると結論付けることができる。
【０１０９】
図５Ａ及び５Ｂは、可視光画像と音響画像との間の視差補正を示す。図５Ａは、図４Ｂと同様に、可視光画像５４２及び音響画像５５２を示す。音響画像５５２は、位置５５４、５５６、及び５５８における極大値を含む。見て分かるように、位置５５４と５５８での最大値は、可視光画像のいずれの構造とも一致していないように見える。図５Ｂの例では、可視光画像５４２と音響画像５５２は、互いに関して重ね合わされている。音響画像の位置５５４、５５６、及び５５８の極大値は、可視光画像５４２内の様々な位置と一致するように見える。
【０１１０】
使用中、オペレータは、図５Ｂの表現を（例えば、ディスプレイ２１４を介して）見て、受信した音響信号の発生源である可能性が高い可視シーン５４２内のおおよその位置を決定し得る。このような信号は、シーン内の様々な構成要素の音響シグネチャに関する情報を決定するために、さらに処理することができる。様々な実施形態において、周波数コンテンツ、周期性、振幅などの音響パラメータは、音響画像内の様々な位置に関して分析することができる。そのようなパラメータを様々なシステム構成要素に関連付けることができるように可視光データにオーバレイする場合、音響画像データが使用されて、可視光画像内の物体の様々な特性（例えば、性能特性）を分析し得る。
【０１１１】
図５Ｃ及び図５Ｄは、図５Ａ及び図５Ｂの着色されたバージョンである。図５Ａ及び図５Ｂに示され、図５Ｃ及び図５Ｄの着色された表現でより容易に見られるように、位置５５４、５５６、及び５５８は、色の円形グラデーションを示す。本明細書の他の個所で説明するように、音響画像データは調色技術に従って視覚的に表すことができ、音響画像データの各ピクセルは、対応する位置での音響強度に基づいて着色される。したがって、図５Ａ〜図５Ｄの例示的な表現では、位置５５４、５５６、５５８の円形グラデーションは、一般に、バックプロパゲーションされた受信音響信号に基づく撮像平面における音響強度のグラデーションを表している。
【０１１２】
図４Ａ、図４Ｂ、図５Ａ〜図５Ｄの例示的な図は、音響画像データ及び可視光画像データに関して説明されているが、そのようなプロセスは、様々な電磁画像データを用いて同様に実行できることが理解されよう。例えば、本明細書の他の個所で説明するように、様々な実施形態において、様々なそのようなプロセスは、音響画像データと、一又はそれ以上の可視光画像データ、赤外線画像データ、紫外線画像データなどとの組み合わせを使用して実行することができる。
【０１１３】
本明細書の他の個所で説明するように、ある実施形態では、音響画像を形成するための音響信号のバックプロパゲーションは、ターゲットまでの距離値に基づくことができる。すなわち、ある例では、バックプロパゲーション計算は、距離に基づくことができ、音響センサアレイからその距離に位置する２次元音響シーンを決定することを含むことができる。２次元撮像平面が与えられると、平面内の発生源から発する球形の音波は、一般に、断面が円形に見え、図５Ａ〜図５Ｂに示されるように、強度が半径方向に減衰する。
【０１１４】
あるそのような例では、バックプロパゲーション計算で使用されるターゲットまでの距離に位置しないデータを表す音響シーンの部分は、シーンにおける一又はそれ以上の音の位置の不正確さなど、音響画像データにエラーをもたらす。このようなエラーは、音響画像が他の画像データ（例えば、可視光、赤外線、又は紫外線画像データなどの電磁画像データ）と同時に表示される場合（例えば、ブレンドされる、組み合わされるなどした場合）、音響画像データとその他の画像データとの間の視差エラーにつながることがある。したがって、ある実施形態では、（例えば、図５Ａ及び図５Ｂに示されるように）視差エラーを補正するためのある技術は、音響画像データを生成するためのバックプロパゲーション計算で使用されるターゲットまでの距離値を調整することを含む。
【０１１５】
ある場合、システムは、第１のターゲットまでの距離値を使用してバックプロパゲーションプロセスを実行し、音響画像データと別のデータストリームが整列されない可能性がある図５Ａに示されるようなディスプレイ画像を表示するように構成されることがある。その後、音響分析システムは、バックプロパゲーションに使用されるターゲットまでの距離値を調整し、バックプロパゲーションを再度実行し、新しい音響画像データでディスプレイ画像を更新することができる。このプロセスは繰り返すことができ、ユーザがディスプレイ上で結果として得られるディスプレイ画像を観察しながら、音響分析システムが複数のターゲットまでの距離値を通じて反復する。ターゲットまでの距離値が変化するにつれて、ユーザは、図５Ａに示されるディスプレイ画像から図５Ｂに示されるディスプレイ画像への漸進的な遷移を観察し得る。あるそのような場合、ユーザは、音響画像データが電磁画像データなどの別のデータストリームに適切に重ね合わされたように見えるときを視覚的に観察し得る。ユーザは、音響画像データが適切に重ね合わされたように見えることを音響分析システムに通知して、最新のバックプロパゲーションを実行するために使用されたターゲットまでの距離値がほぼ正しいことをシステムに示すことがあり、その距離の値をターゲットまでの正しい距離としてメモリに保存し得る。同様に、ユーザは、音響画像データが適切に重ね合わされていることを確認するまで、更新されたバックプロパゲーションプロセスで新しい距離値を使用してディスプレイ画像が更新されるときに、ユーザはターゲットまでの距離値を手動で調整し得る。ユーザは、音響分析システムにおけるターゲットまでの現在の距離を、ターゲットまでの現在の距離として保存することを選択し得る。
【０１１６】
ある例では、視差エラーを修正することは、他の画像データ（例えば、電磁画像データ）に対する音響画像データの位置を、ターゲットまでの距離データに基づいて所定の量及び所定の方向に調整することを含み得る。ある実施形態では、そのような調整は、音響信号を特定されたターゲットまでの距離にバックプロパゲーションすることによる音響画像データの生成とは無関係である。
【０１１７】
ある実施形態では、音響画像データを生成し、音響画像データと他の画像データとの間の視差エラーを低減するために使用されることに加えて、ターゲットまでの距離値が他の決定のためにもちられることがある。例えば、ある例では、プロセッサ（例えば、２１２）は、参照により組み込まれる米国特許第７，５３８，３２６号に記載されているように、赤外線画像などの画像に焦点を合わせるか、又は、焦点を合わせる際にユーザを支援するために、ターゲットまでの距離値を使用することができる。そこに記載されているように、これは、可視光画像データと赤外線画像データとの間の視差エラーを補正するために同様に使用することができる。したがって、ある例では、距離値を使用して、音響画像データを、赤外線画像データや可視光画像データなどの電磁画像データに重ね合わせることができる。
【０１１８】
本明細書の他の個所で説明するように、ある例では、距離測定ツール（例えば、２０４）は、音響画像データを生成及び重ね合わせるためにプロセッサ（例えば、２１２）によって使用できる距離情報を提供するように構成される。ある実施形態では、距離測定ツールは、距離が測定される位置でターゲットシーンに光を放出するように構成されたレーザ距離計を備える。あるそのような例では、レーザ距離計は可視スペクトル内の光を放出することができるため、ユーザは物理的シーンのレーザスポットを見て、距離計がシーンの所望の部分までの距離を測定していることを確認できる。その上若しくはそれとは別に、レーザ距離計は、一又はそれ以上の撮像構成要素（例えば、カメラモジュール）が高感度であるスペクトル内の光を放出するように構成される。したがって、分析ツールを介して（例えば、ディスプレイ２１４を介して）ターゲットシーンを見ているユーザは、シーン内のレーザスポットを観察して、レーザがターゲットシーン内の正しい位置までの距離を測定していることを確認し得る。ある例では、プロセッサ（例えば、２１２）は、現在の距離値に基づいて（例えば、レーザ距離計と音響センサアレイと間の既知の距離ベースの視差関係に基づいて）、レーザスポットが音響シーン内に配置される位置を表すディスプレイ画像内に参照マークを生成するように構成され得る。参照マークの位置は、（例えば、ディスプレイ上にグラフィカルに、及び／又はターゲットシーン内で物理的に）実際のレーザマークの位置と比較でき、参照マークとレーザが一致するまでシーンを調整できる。そのようなプロセスは、参照により組み込まれる米国特許第７，５３８，３２６号に記載されている赤外線重ね合わせ及び焦点技術と同様に実行することができる。
【０１１９】
図６は、音響画像データと電磁画像データを組み合わせた最終画像を生成するための例示的な方法を示すプロセスフロー図である。この方法は、音響センサアレイを介して音響信号を受信する工程（６８０）と、距離情報を受信する工程（６８２）を含んでいる。距離情報は、例えば、手動入力を介して、又は、観察された重ね合わせに基づいて距離が決定される距離調整プロセスの結果としてなど、距離測定装置及び／又はユーザインタフェースを介して受信することができる。
【０１２０】
この方法は、受信した音響信号をバックプロパゲーションして、音響シーンを表す音響画像データを決定することをさらに含む（６８４）。本明細書の他の個所で説明するように、バックプロパゲーションは、受信した距離情報と組み合わせて、音響センサアレイ内の複数のセンサ要素で受信した複数の音響信号を分析して、受信音響信号の発生源パターンを決定することを含むことができる。
【０１２１】
図６の方法は、電磁画像データを取り込む工程（６８６）と、音響画像データに電磁画像データを重ね合わせる工程（６８８）をさらに含む。ある実施形態では、音響画像データに電磁画像データを重ねわせることは、音響画像データを生成するためのバックプロパゲーションステップの一部として行われる（６８４）。他の例では、音響画像データに電磁画像データを重ね合わせることは、音響画像データの生成とは別個に行われる。
【０１２２】
図６の方法は、ディスプレイ画像を生成するために、音響画像データを電磁画像データと組み合わせる工程（６９０）を含む。本明細書の他の個所で説明するように、電磁画像データと音響画像データとを組み合わせることは、電磁画像データと音響画像データとをアルファブレンドすることを含み得る。画像データを組み合わせることは、ピクチャ・イン・ピクチャモードのような、一方の画像データセットを他方の画像データセットにオーバレイすること、若しくは、特定の条件（警報条件など）が満たされる位置に画像データセットをオーバレイすることを含んでいる。ディスプレイ画像は、例えば、音響センサアレイを支持する筐体によって支持されるディスプレイを介して、及び／又は、外部装置（例えば、スマートフォン、タブレット、コンピュータなど）のディスプレイなどの、センサアレイとは別個のディスプレイを介して、ユーザに提示され得る。
【０１２３】
その上若しくはそれとは別に、ディスプレイ画像は、将来見るためにローカル（例えば、オンボード）メモリ及び／又はリモートメモリに保存することができる。ある実施形態では、保存されたディスプレイ画像は、ブレンド比、バックプロパゲーション距離、若しくは画像を生成するために使用される他のパラメータなどのディスプレイ画像特性の将来の調整を可能にするメタデータを含むことができる。ある例では、生の音響信号データ及び／又は電磁画像データは、その後の処理又は分析のためにディスプレイ画像と共に保存することができる。
【０１２４】
音響画像データと電磁画像データとを組み合わせて最終画像を生成する方法として示されているが、音響画像データを、可視光画像データ、赤外線画像データ、紫外線画像データなどの電磁スペクトルの任意の部分にまたがる画像データの一又はそれ以上のセットと組み合わせるために図６の方法が使用され得ることが理解されよう。あるそのような例では、可視光画像データ及び赤外線画像データなどの画像データの複数のセットを両方とも音響画像データと組み合わせて、図６に関して説明したのと同様の方法を介してディスプレイ画像を生成することができる。
【０１２５】
ある例では、センサアレイを介して音響信号を受信する（６８０）ことは、音響信号を受信するための音響センサアレイを選択するステップを含むことができる。例えば、図３Ａ〜図Ｃに関して説明したように、音響分析システムは、変化していく周波数の音響信号を分析するのに適し得る複数の音響センサアレイを含むことができる。その上若しくはそれとは別に、ある例では、異なる音響センサアレイは、異なる距離から伝搬する音響信号を分析するのに有用であり得る。ある実施形態では、異なるアレイを互いに入れ子にすることができる。その上若しくはそれとは別に、部分アレイを選択的に使用して、音響画像信号を受信することができる。
【０１２６】
例えば、図３Ａは、第１のアレイ３２０と、第１のアレイ内に入れ子にされた第２のアレイ３２２を示す。例示的な実施形態では、第１のアレイ３２０は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように（例えば、間隔を置いて）構成されたセンサアレイを含むことができる。第２のアレイ３２２は、例えば、第２の周波数範囲の周波数の音響画像データを生成するために、単独で、若しくは、第１のアレイ３２０の全部又は一部と組み合わせて使用されるように構成された第２のセンサアレイを含むことができる。
【０１２７】
同様に、図３Ｃは、第１のアレイ３９２、第１のアレイ３９２内に少なくとも部分的に入れ子にされた第２のアレイ３９４、並びに第１のアレイ３９２及び第２のアレイ３９４内に少なくとも部分的に入れ子にされた第３のアレイ３９６を示す。ある実施形態では、第１のアレイ３９２は、音響信号を受信し、第１の周波数範囲の周波数の音響画像データを生成するように構成され得る。第２のアレイ３９４は、音響信号を受信し、第２の周波数範囲の周波数の音響画像データを生成するために、第１のアレイ３９２の全部又は一部と共に使用することができる。第３のアレイ３９６は、音響信号を受信し、第３の周波数範囲の周波数の音響画像データを生成するために、単独で、第２のアレイ３９４の全部又は一部と共に、及び／又は第１のアレイ３９２の全部又は一部と共に使用することができる。
【０１２８】
ある実施形態では、入れ子にされたアレイ構成において、１つのアレイからの音響センサ要素は、例えば、一般に、第１のアレイ３９２の要素の間にある第３のアレイ３９６の要素のように、音響センサ要素の間に配置されることがある。あるそのような例では、入れ子にされたアレイ（例えば、第３のアレイ３９６）内の音響センサ要素は、それが入れ子にされているアレイ（例えば、第１のアレイ３９２）内の音響センサ要素と同じ平面、前、若しくは後ろに配置され得る。
【０１２９】
様々な実装において、より高い周波数の音響信号を感知するために使用されるアレイは、一般に、個々のセンサ間のより短い距離を必要とする。したがって、図３Ｃに関して、例えば、第３のアレイ３９６は、高周波音響信号を含む音響撮像プロセスを実行するのにより適していることがある。他のセンサアレイ（例えば、第１のアレイ３９２）は、より低い周波数信号を含む音響撮像プロセスを実行するのに十分であることがあり、アレイ３９６と比較した場合、より少ない音響センサ要素からの信号を処理する計算要求を低減するために使用され得る。したがって、ある例では、高周波センサアレイは、低周波センサアレイ内に入れ子にされ得る。本明細書の他の個所で説明されているように、そのようなアレイは、一般に、個別に（例えば、アクティブなアレイ間の切り替えを介して）又は、一緒に作動し得る。
【０１３０】
分析のために予想される／望ましい周波数スペクトルに基づいて適切なセンサアレイを選択することに加えて、又は、その代わりに、ある例では、異なるセンサアレイが、ターゲットシーンまでの異なる距離で音響撮像プロセスを実行するのにより適していることがある。例えば、ある実施形態では、音響センサアレイとターゲットシーンとの間の距離が小さい場合、音響センサアレイ内の外側のセンサ要素は、より中央に配置されたセンサ要素よりも著しく少ない有用な音響情報をターゲットシーンから受信することがある。
【０１３１】
他方、音響センサアレイとターゲットシーンとの間の距離が大きい場合、近接して配置された音響センサ要素は、単独では有用な情報を提供しないことがある。すなわち、第１及び第２の音響センサ要素が互いに接近しており、ターゲットシーンが一般に遠くにある場合、第２の音響センサ要素は、第１の音響センサ要素と有意に異なる情報を提供しないことがある。したがって、そのような第１及び第２のセンサ要素からのデータストリームは冗長であり、分析のために処理時間及びリソースを不必要に消費することがある。
【０１３２】
本明細書の他の個所で説明するように、どのセンサアレイが音響撮像を実行するのに最も適しているかに影響を与えることに加えて、ターゲットまでの距離は、受信した音響信号から音響画像データを決定するためのバックプロパゲーションを実行する際にも使用できる。ただし、バックプロパゲーションアルゴリズムへの入力値であることに加えて、ターゲットまでの距離は、使用する適切なバックプロパゲーションアルゴリズムを選択するのに、使用し得る。例えば、ある例では、遠距離では、球形に伝搬する音波は、音響センサアレイのサイズと比較して実質的に平面であるように近似され得る。したがって、ある実施形態では、ターゲットまでの距離が大きい場合、受信した音響信号のバックプロパゲーションは、音響ビームフォーミング計算を含むことができる。ただし、音波の発生源に近い場合、音波の平面近似は適切でないことがある。したがって、近接場音響ホログラフィなど、種々のバックプロパゲーションアルゴリズムを使用し得る。
【０１３３】
説明したように、ターゲットまでの距離メトリックは、アクティブなセンサアレイ（複数可）の決定、バックプロパゲーションアルゴリズムの決定、バックプロパゲーションアルゴリズムの実行、及び／又は、得られた音響画像を電磁画像データ（例えば、可視光、赤外線など）に重ね合わせることなど、音響撮像プロセスで様々な方法で使用できる。図７は、受信した音響信号から音響画像データを生成するための例示的なプロセスを示すプロセスフロー図である。
【０１３４】
図７のプロセスは、例えば、距離測定装置から距離情報を受信すること（７８０）、若しくは、ユーザインタフェースを介してなど、入力された距離情報を受信することを含む。この方法は、受信した距離情報に基づいて音響撮像を実行するための一又はそれ以上の音響センサアレイ（複数可）を選択する工程（７８２）をさらに含む。説明したように、様々な例において、選択されたアレイは、単一のアレイ、複数のアレイの組み合わせ、あるいは一又はそれ以上のアレイの一部を含むことができる。
【０１３５】
図７の方法は、受信した距離情報に基づいて音響撮像を実行するための処理技術を選択する工程（７８４）をさらに含む。ある例では、処理技術の選択は、音響信号から音響画像データを生成するためのバックプロパゲーションアルゴリズムの選択を含むことができる。
【０１３６】
音響撮像を実行するために、音響センサアレイを選択し（７８２）、そして、処理技術を選択した（７８４）後で、方法は、選択された音響センサアレイを介して音響信号を受信する工程（７８６）を含む。次に、受信した音響信号は、距離と選択された処理技術を使用してバックプロパゲーションされ、音響画像データを決定する（７８８）。
【０１３７】
様々な実施形態では、図７の各工程は、ユーザ、音響分析システム（例えば、プロセッサ２１２を介して）、又はそれらの組み合わせによって実行することができる。例えば、ある実施形態では、プロセッサは、距離測定ツール及び／又はユーザ入力を介して距離情報を受信する（７８０）ように構成され得る。ある例では、例えば、物体までの距離が、既知であるか、及び／又は、距離測定ツールを介して分析することが困難である場合（例えば、小さい物体サイズ及び／又はターゲットまでの長い距離など）、ユーザは、距離情報として使用するために測定距離を上書きする値を入力することができる。プロセッサは、例えば、ルックアップテーブル又は他のデータベースを使用して、受信した距離情報に基づいて音響撮像を実行するために適切な音響センサアレイを自動的に選択するようにさらに構成され得る。ある実施形態では、音響センサアレイを選択することは、所望の音響センサアレイを利用するために、一又はそれ以上の音響センサ要素を有効化及び／又は無効化することを含む。
【０１３８】
同様に、ある例では、プロセッサは、受信した距離情報に基づいて音響撮像を実行するための処理技術（例えば、バックプロパゲーションアルゴリズム）を自動的に選択するように構成され得る。あるそのような例では、これは、メモリに記憶された複数の既知の処理技術から１つを選択することを含むことができる。その上若しくはそれとは別に、処理技術を選択することは、所望の処理技術に到達するために単一のアルゴリズムの一部を調整することになり得る。例えば、ある実施形態では、単一のバックプロパゲーションアルゴリズムは、（例えば、距離情報に基づいて）複数の項及び変数を含み得る。あるそのような例では、処理技術（７８４）を選択することは、一又はそれ以上の項の係数を調整する（例えば、様々な係数をゼロ又は１に設定するなど）など、単一のアルゴリズムにおいて一又はそれ以上の値を定義することを含み得る。
【０１３９】
したがって、ある実施形態では、音響撮像システムは、受信した距離データに基づいて、選択された音響センサアレイ及び／又は処理技術（例えば、バックプロパゲーションアルゴリズム）を提案及び／又は自動的に実装することによって、音響撮像プロセスのいくつかの工程を自動化することができる。これにより、音響撮像プロセスを高速化、改善、及び簡素化することができ、音響撮像プロセスを実行するための音響撮像の専門家が必要でなくなる。したがって、様々な例において、音響撮像システムは、そのようなパラメータを自動的に実装し、そのようなパラメータが実装されようとしていることをユーザに通知し、そのようなパラメータを実装する許可をユーザに求め、ユーザによる手動入力のためにそのようなパラメータを提案することができる。
【０１４０】
そのようなパラメータ（例えば、処理技術、センサアレイ）の自動選択及び／又は提案は、他の形態の画像データ、処理速度、及び音響画像データの分析に関して音響画像データの位置限定を最適化するのに有用であり得る。例えば、本明細書の他の個所で説明されるように、正確なバックプロパゲーション決定（例えば、適切なアルゴリズム及び／又は正確な距離メトリックを使用すること）は、音響画像データと他の（例えば、可視光、赤外線などの電磁）画像データとの間の視差エラーを低減することができる。さらに、音響分析システムによって自動的に選択又は提案され得るような適切なアルゴリズム及び／又はセンサアレイを利用することは、熱画像データの精度を最適化して、受信した音響データの分析を可能にし得る。
【０１４１】
説明したように、ある例では、音響分析システムは、受信した距離情報に基づいて音響撮像プロセスを実行するためのアルゴリズム及び／又はセンサアレイを自動的に選択するように構成され得る。あるそのような実施形態では、システムは、例えばメモリに記憶された、音響画像データを決定するための、複数のバックプロパゲーションアルゴリズム及び音響センサアレイのどれを使用するか決定するためのルックアップテーブルを含む。図８は、音響撮像プロセス中に使用するための適切なアルゴリズム及びセンサアレイを決定するための例示的なルックアップテーブルを示す。
【０１４２】
図示の例では、図８のルックアップテーブルは、それぞれが異なるアレイのアレイ１、アレイ２、…、アレイＮを表すＮ個の列を含む。様々な例において、各アレイは、配置された音響センサ要素の固有のセットを含む。異なるアレイは、格子に配置されたセンサ要素を含み得る（例えば、図３Ｃのアレイ３９２及びアレイ３９６）。ルックアップテーブル内のアレイは、一又はそれ以上のそのような格子からのセンサ要素の組み合わせを含めることもできる。一般に、ある実施形態では、アレイ１、アレイ２、…、アレイＮのそれぞれは、音響センサ要素の一意の組み合わせに対応する。そのような組み合わせのいくつかは、特定の格子に配置されたセンサ要素のセット全体を含むことができるか、若しくは、特定の格子に配置されたセンサ要素のサブセットを含むことができる。音響センサ要素の様々な組み合わせのいずれも、ルックアップテーブル内のセンサアレイとして使用するための可能な選択肢である。
【０１４３】
図８のルックアップテーブルはＭ行をさらに含み、それぞれは異なるアルゴリズムのアルゴリズム１、アルゴリズム２、…、アルゴリズムＭを表す。ある例では、異なるアルゴリズムは、受信した音響信号のバックプロパゲーション分析を実行するための異なるプロセスを含み得る。本明細書の他の個所で説明するように、ある例では、ある異なるアルゴリズムは、バックプロパゲーション結果を修正するための異なる係数及び／又は項を有しながら、互いに類似し得る。
【０１４４】
図８の例示的なルックアップテーブルは、Ｍ×Ｎエントリを含む。ある実施形態では、そのようなルックアップテーブルを利用する音響分析システムは、受信した距離情報を分析し、距離情報をＭ×Ｎビンの１つに分類するように構成され、各ビンは、図８のルックアップテーブルのエントリに対応する。このような例では、音響分析システムが距離情報を受信すると、システムは、距離情報が存在するビンに対応するルックアップテーブルでエントリ（ｉ、ｊ）を見つけ、音響撮像プロセスの間に使用する適切なアルゴリズム及びセンサアレイを決定できる。例えば、受信した距離情報がエントリ（ｉ、ｊ）に関連付けられたビンに対応する場合、音響分析システムは、音響撮像プロセスのためにアルゴリズムｉとアレイｊの使用を自動的に利用又は提案できる。
【０１４５】
様々なそのような例において、距離情報ビンは、均一なサイズの距離範囲に対応することができ、例えば、第１のビンは１フィート以内の距離に対応し、第２のビンは１〜２フィートの距離に対応するなどである。他の例では、ビンは均一なサイズの距離スパンに対応する必要はない。さらに、ある実施形態では、Ｍ×Ｎ未満のビンを使用することができる。例えば、ある実施形態では、特定のアレイ（例えば、アレイｙ）とともにこれまで使用されたことのないアルゴリズム（例えば、アルゴリズムｘ）が存在し得る。したがって、このような例では、Ｍ×Ｎルックアップテーブルのエントリ（ｘ、ｙ）に対応する、対応距離情報ビンはない。
【０１４６】
ある実施形態では、ポピュレートされた距離ビンに関する統計分析が使用されて、ターゲットシーン内で最も普通の距離又は距離範囲を特定することができる。あるそのような実施形態では、最大数の対応する位置（例えば、音響信号に関して最大数の位置）を有する距離ビンが、図７のプロセスにおける距離情報として使用されることがある。すなわち、ある実施形態では、利用された音響センサアレイ及び／又は処理技術は、ターゲットシーン内の様々な物体の距離分布の統計分析に基づいて実装及び／又は推奨され得る。これは、シーンの音響撮像に使用されるセンサアレイ及び／又は処理技術が、音響シーン内の最大数の位置に適切である蓋然性を高めることを可能にする。
【０１４７】
その上若しくはそれとは別に、距離情報以外のパラメータは、音響画像データの生成に使用する適切なセンサアレイ及び／又は処理技術を選択するために使用され得る。本明細書の他の個所で説明されているように、様々なセンサアレイは、特定の周波数及び／又は周波数帯域に好感度であるように構成され得る。ある例では、同様の異なるバックプロパゲーション計算が、異なる音響信号周波数コンテンツに従って使用され得る。したがって、ある例では、一又はそれ以上のパラメータが、処理技術及び／又は音響センサアレイを決定するために使用されることがある。
【０１４８】
ある実施形態では、音響分析システムは、受信した音響信号処理／分析の様々なパラメータを最初に分析するために使用されることがある。図７に戻って参照すると、音響画像データを生成するための方法は、音響信号を受信した（７８６）後、受信信号の周波数コンテンツを分析する工程（７９０）を含むことができる。あるそのような例では、音響センサアレイ（複数可）及び／又は処理技術が選択されている場合（例えば、それぞれ工程７８２及び／又は７８４を介して）、方法は、分析された周波数コンテンツに基づいて、選択されたアレイ（複数可）を更新する、及び／又は、選択された処理技術を更新する工程（７９２）を含むことができる。
【０１４９】
センサアレイ（複数可）及び／又は処理技術を更新した後、方法は更新されたパラメータを使用して様々なアクションを実行できる。例えば、選択されたセンサアレイが、分析された周波数コンテンツ（７９０）に基づいて更新された場合（７９２）、新しい音響信号は、（新たに）選択された音響センサアレイ（７８６）から受信することができ、その後、音響画像データを決定するためにバックプロパゲーションされることができる（７８８）。あるいは、処理技術が７９２で更新される場合、既に捕捉された音響信号は、更新された処理技術に従ってバックプロパゲーションされて、更新された音響画像データを決定することができる。処理技術とセンサアレイの両方が更新された場合、新しい音響信号は、更新されたセンサアレイを使用して受信されることができ、更新された処理技術に従ってバックプロパゲーションされることができる。
【０１５０】
ある実施形態では、音響分析システムは、受信した音響信号の周波数コンテンツを分析すること（７９０）なく、周波数情報を受信すること（７７８）ができる。例えば、ある例では、音響分析システムは、将来の音響分析のために、所望の又は予想される周波数範囲に関する情報を受信することができる。あるそのような例では、所望の又は予想される周波数情報が、該周波数情報に最も適合する一又はそれ以上のセンサアレイ及び／又は処理技術を選択するために使用されることがある。あるそのような例では、音響センサアレイ（複数可）を選択する工程（７８２）及び／又は処理技術を選択する工程（７８４）は、受信した距離情報に加えて、又はその代わりに、受信周波数情報に基づくことがある。
【０１５１】
ある例では、受信した音響信号（例えば、音響センサ要素を介して受信した）は、例えば、音響分析システムのプロセッサ（例えば、２１０）を介して分析され得る。このような分析は、周波数、強度、周期性、見かけの近接度（例えば、受信した音響信号に基づいて推定される距離）、測定された近接度、若しくは、それらの任意の組み合わせなど、音響信号の一又はそれ以上の特性を決定するために使用されることがある。ある例では、音響画像データは、例えば、特定の周波数コンテンツ、周期性などを有する音響信号を表す音響画像データのみを表示するために、フィルタ処理されることがある。ある例では、そのようなフィルタをいくつでも同時に適用することができる。
【０１５２】
本明細書の他の個所で説明するように、ある実施形態では、音響ビデオデータと同様に、音響画像データの一連のフレームが経時的に取り込むことがある。その上若しくはそれとは別に、音響画像データが繰り返し生成されない場合でも、ある例では、音響信号が繰り返しサンプリングされ、分析される。したがって、繰り返される音響画像データ生成（例えば、ビデオ）の有無にかかわらず、周波数などの音響データのパラメータが経時的に監視され得る。
【０１５３】
図９Ａは、音響シーンにおける経時的な受信した画像データの周波数コンテンツの例示的なプロットである。図示されるように、図９Ａのプロットによって表される音響シーンは、一般に、周波数１、周波数２、周波数３、及び周波数４としてラベル付けされた、経時的な４つの持続周波数を含む。ターゲットシーンの周波数コンテンツなどの周波数データは、例えば、高速フーリエ変換（ＦＦＴ）又は他の既知の周波数分析方法を使用して、受信した音響信号を処理することによって、決定され得る。
【０１５４】
図９Ｂは、音響信号を放出する複数の位置を含む例示的なシーンを示す。図示の画像では、音響画像データが可視光画像データと組み合わされて、位置９１０、９２０、９３０、及び９４０に存在する音響信号を示している。ある実施形態では、音響分析システムは、任意の検出された周波数範囲の音響画像データを表示するように構成されている。例えば、例示的な実施形態では、位置９１０は、周波数１を含む音響画像データを含み、位置９２０は、周波数２を含む音響画像データを含み、位置９３０は、周波数３を含む音響画像データを含み、位置９４０は、周波数４を含む音響画像データを含む。
【０１５５】
あるそのような例では、音響画像データの代表的な周波数範囲を表示することは、選択可能な動作モードである。同様に、ある実施形態では、音響分析システムは、所定の周波数帯域内の周波数のみを表す音響画像データを表示するように構成される。あるそのような例では、所定の周波数範囲を表す音響画像データを表示することは、そこから音響画像データを生成するための音響信号を受信するための一又はそれ以上の音響センサアレイを選択することを含む。このようなアレイは、選択的な周波数範囲を受信するように構成され得る。同様に、ある例では、一又はそれ以上のフィルタが、音響画像データを生成するために使用される周波数コンテンツを制限するために、使用されることがある。その上若しくはそれとは別に、ある実施形態では、広範囲の周波数を表す情報を含む音響画像データが分析され、音響画像データが所定の条件（例えば、所定の周波数範囲内にある）を満たす場合にのみ、ディスプレイに表示することができる。
【０１５６】
図９Ｃは、複数の事前定義された周波数範囲での複数の組み合わされた音響及び可視光画像データを示している。第１の画像は、周波数１の周波数コンテンツを含む第１の位置９１０での音響画像データを含んでいる。第２の画像は、周波数２の周波数コンテンツを含む第２の位置９２０での音響画像データを含んでいる。第３の画像は、周波数３の周波数コンテンツを含む第３の位置９３０での音響画像データを含んでいる。第４の画像は、周波数４の周波数コンテンツを含む第４の位置９４０での音響画像データを含んでいる。
【０１５７】
例示的な実施形態では、ユーザは、選択された周波数範囲以外の周波数コンテンツを表す音響画像データをフィルタ処理するために、周波数１、周波数２、周波数３、又は周波数４を含む範囲などの様々な周波数範囲を選択することができる。したがって、そのような例では、第１、第２、第３、又は第４の画像のいずれかが、ユーザによって選択された所望の周波数範囲の結果として表示され得る。
【０１５８】
その上若しくはそれとは別に、ある例では、音響分析システムは、それぞれが異なる周波数コンテンツを有する複数のディスプレイ画像間を循環表示し得る。例えば、図９Ｃに関して、例示的な実施形態では、音響分析システムは、図９Ｃの矢印によって示されるような、第１、第２、第３、及び第４の画像を表示することができる。
【０１５９】
ある例では、ディスプレイ画像は、画像に表示されている周波数コンテンツを表すテキスト又は他の表示を含むことができ、ユーザは、画像内のどの位置が特定の周波数コンテンツを表す音響画像データを含むかを観察できる。例えば、図９Ｃに関して、各画像は、音響画像データで表される周波数のテキスト表現を示し得る。図９Ｂに関して、複数の周波数範囲を示す画像は、音響画像データを含む各位置での周波数コンテンツの表示を含み得る。あるそのような例では、ユーザは、例えば、ユーザインタフェースを介して画像内の位置を選択することができ、その位置に存在する周波数コンテンツを音響シーンで見ることがある。例えば、ユーザは、第１の位置９１０を選択することがあり、音響分析システムは、第１の位置の周波数コンテンツ（例えば、周波数１）を提示し得る。したがって、様々な例において、シーン内のどこが特定の周波数コンテンツに対応するかを見ることによって、及び／又は、様々な位置にどの周波数コンテンツが存在するかを見ることによってなど、ユーザは音響シーンの周波数コンテンツを分析するために音響分析システムを使用することができる。
【０１６０】
例示的な音響撮像操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景若しくは他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響撮像手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。あるそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ〜図Ｄ５に示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響撮像のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ〜１４ｋＨｚ）を選択し得る。
【０１６１】
ある例では、音響分析システムは、受信した音響信号の強度に関連する情報を分析及び／又は提示するために、使用されることがある。例えば、ある実施形態では、受信した音響信号をバックプロパゲーションすることは、音響シーン内の複数の位置での音響強度値を決定することを含むことができる。ある例では、上記の周波数と同様に、音響信号の強度が一又はそれ以上の所定の要件を満たす場合にのみ、音響画像データがディスプレイ画像に含まれる。
【０１６２】
様々なそのような実施形態では、ディスプレイ画像は、所定の閾値（例えば、１５ｄＢ）を超える音響信号、所定の閾値（例えば、１００ｄＢ）を下回る音響信号、又は所定の強度範囲内の音響信号（例えば、１５ｄＢ〜４０ｄＢ）を表す音響画像データを含むことができる。ある実施形態では、閾値は、平均音響強度からの標準偏差より上か、又は、下など、音響シーンの統計分析に基づくことができる。
【０１６３】
周波数情報に関して上記と同様に、ある実施形態では、一又はそれ以上の強度要件を満たす音響信号を表すように音響画像データを制限することは、所定の条件を満たす受信信号のみが音響画像データを生成するために使用されるように、受信した音響信号をフィルタ処理することを含むことができる。他の例では、音響画像データは、どの音響画像データが表示されるかを調整するためにフィルタ処理される。
【０１６４】
その上若しくはそれとは別に、ある実施形態では、（例えば、ビデオ音響画像表現と組み合わせて、又は、必ずしもディスプレイ画像を更新することなく背景分析を介して）、音響シーン内の位置での音響強度が経時的に監視され得る。あるそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量又は率を含み得る。
【０１６５】
図１０Ａ及び１０Ｂは、組み合わされた可視光画像データ及び音響画像データを含む例示的なディスプレイ画像である。図１０Ａは、複数の位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０で示される音響画像データを含むディスプレイ画像を示している。ある例では、強度値は調色されることができ、例えば、音響強度値は、所定の調色技術に基づいて色を割り当てられる。例示的な実施形態では、強度値は、強度範囲（例えば、１０ｄＢ〜２０ｄＢ、２０ｄＢ〜３０ｄＢなど）に従って分類され得る。各強度範囲は、調色技術に従って特定の色に関連付けられ得る。音響画像データは、複数のピクセルを含むことができ、各ピクセルは、音響画像データのピクセルによって表される強度が入る強度範囲に関連する色で着色される。色によって区別されることに加えて、又はその代わりに、異なる強度は、（例えば、音響画像データが他の画像データにオーバレイされる画像オーバレイにおいて）透明度などの他の特性に従って区別することができる。
【０１６６】
音響強度の変化率など、別のパラメータも調色されることがある。強度と同様に、音響強度の変化率の変化は、音響強度変化の異なる率及び／又は量を示すシーンの部分が異なる色で表示されるように、調色することができる。
【０１６７】
図示の例では、音響画像データは、強度パレットに従って調色され、その結果、異なる音響信号強度を表す音響画像データは、異なる色及び／又は陰影で示される。例えば、位置１０１０及び１０３０での音響画像データは、第１の強度の調色された表現を示し、位置１０４０、１０６０、及び１０８０は、第２の強度の調色された表現を示し、位置１０２０、１０５０、１０７０、及び１０９０は、第３の強度の調色された表現を示している。図１０Ａの例示的な表現に示されるように、音響画像データの調色された表現を示す各位置は、中心から外側に延びる色のグラデーションを有する円形パターンを示している。これは、信号が音響信号の発生源から伝播するときの音響強度の減衰が原因であることがある。
【０１６８】
図１０Ａの例では、音響画像データは、可視光画像データと組み合わされて、ディスプレイ画像を生成し、これは、例えば、ディスプレイを介してユーザに提示され得る。ユーザは、可視シーン内のどの位置が音響信号を生成しているか、並びに、そのような信号の強度を見るために、図１０Ａのディスプレイ画像を見ることができる。したがって、ユーザは、どの位置が音を発しているのかを迅速かつ容易に観察し、シーン内の様々な位置から来る音の強度を比較し得る。
【０１６９】
本明細書の他の個所で周波数に関して説明したのと同様に、ある実施形態では、音響画像データは、対応する音響信号が所定の強度条件を満たす場合にのみ提示され得る。図１０Ｂは、図１０Ａのディスプレイ画像と同様に例示的なディスプレイ画像を示し、可視光画像データ及び所定の閾値を超える音響信号を表す音響画像を含む。図示されるように、音響画像データを含む図１０Ａの位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０のうち、位置１０２０、１０５０、１０７０、及び１０９０のみが、所定の条件を満たす音響信号を表す音響画像データを含んでいる。
【０１７０】
例示的なシナリオでは、図１０Ａは、位置１０１０〜９９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内（例えば、図１０Ａ及び１０Ｂのターゲットシーン内）のどの音源が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのを役立たせることを可能にする。
【０１７１】
本明細書の他の位置で説明されるように、強度閾値（例えば、４０ｄＢ）と直接比較されることに加えて、又はその代わりに、あるそのような例では、音響画像データを表示するための所定の要件は、画像内のある位置での音響強度の変化の量又は率を含むことがある。あるそのような例では、音響画像データは、所与の位置での音響強度の変化率又は変化量が所定の条件を満たす場合（例えば、閾値よりも大きい、閾値よりも小さい、所定の範囲内など）にのみ提示され得る。ある実施形態では、音響強度の変化の量又は率は、強度音響画像データとして、又は、強度音響画像データと組み合わせて、調色して表示することができる。例えば、例示的な実施形態では、変化率が、音響画像データを含む位置を決定するための閾値として使用される場合、音響画像データは、表示のための調色された強度変化率メトリックを含むことができる。
【０１７２】
ある例では、ユーザは、表示される音響画像データの強度要件（例えば、最小値、最大値、範囲、変化率、変化量など）を手動で設定し得る。ここの他の場所で論じられるように、この強度要件を満たすのみ音響画像データを含むことは、音響画像データ生成中に（例えば、受信した音響信号をフィルタ処理することによって）達成することができ、及び／又は、設定された要件（複数可）を満たさない音響信号を表す生成された音響画像データを表示しないことによって実行できる。あるそのような例では、強度値に従ってディスプレイ画像をフィルタ処理することは、音響画像データ及び可視光画像データが取り込まれ、メモリに記憶された後に実行され得る。すなわち、メモリに記憶されたデータは、例えば、事前定義された強度条件を満たす音響画像データのみを表示するなど、任意の数のフィルタ処理パラメータを含むディスプレイ画像を生成するために使用することができる。
【０１７３】
ある例では、音響画像の強度の下限を設定すること（例えば、所定の強度を超える音響信号を表す音響画像データのみを表示すること）は、音響画像データから望ましくないバックグラウンド又は周囲の音及び／又は音の反射を含むことを排除することができる。他の例では、音響画像の強度の上限を設定すること（例えば、所定の強度未満の音響信号を表す音響画像データのみを表示すること）は、大きな音で通常隠されている音響信号を観察するために、音響画像データに予想されるそのような大きな音を含めることを排除することができる。
【０１７４】
いくつかの表示機能が可能である。例えば、図９Ｃに関して説明した周波数分析／表示と同様に、ある例では、音響分析システムは、それぞれが異なる強度要件を満たす音響画像データを示す複数のディスプレイ画像を循環表示することができる。同様に、ある例では、ユーザは、所与の範囲の音響強度を有する音響画像データ内の位置を見るために、一連の音響強度範囲をスクロールし得る。
【０１７５】
音響データの分析に使用できるもう１つのパラメータは、音響信号の周期性値である。図１１Ａ及び１１Ｂは、音響シーンにおける音響データの周波数対時間の例示的なプロットを示す。図１１Ａのプロットに示されるように、音響データは、第１の周期性を有する周波数Ｘの信号、第２の周期性を有する周波数Ｙの信号、及び第３の周期性を有する周波数Ｚの信号を含む。図示の例では、異なる周波数を有する音響信号は、また、音響信号に異なる周期性を含むこともある。
【０１７６】
あるそのような例では、音響信号は、周波数コンテンツに加えて、又はその代わりに周期性に基づいてフィルタ処理することができる。例えば、ある例では、音響シーン内の音響信号の複数の発生源が、特定の周波数で音響信号を生成することがある。ユーザが音響撮像のためにそのような音源の１つを分離したい場合、ユーザは、音響データに関連する周期性に基づいて、音響画像データを最終ディスプレイ画像に含めるか除外するかを選択し得る。
【０１７７】
図１１Ｂは、音響信号の周波数対時間のプロットを示す。図示されているように、周波数は時間と共にほぼ直線的に増加する。ただし、図示されているように、信号には時間の経過と共にほぼ一定の周期性が含まれる。したがって、そのような信号は、選択された表示パラメータに応じて、音響画像に現れるか、若しくは現れないことがある。例えば、信号は、ある時点で表示される周波数基準を満たしているが、他の時点では、表示される周波数範囲外にあることがある。しかしながら、ユーザは、周波数コンテンツに関係なく、信号の周期性に基づいて、そのような信号を含めるか、又は、音響画像データから除外するかを選択することができる。
【０１７８】
ある例では、特定の周期性の音響信号を抽出することは、ターゲットシーンの特定の部分（例えば、通常特定の周期性で動作する特定の装置又は装置のタイプ）を分析するのに役立ち得る。例えば、目標のある物体が特定の周期性（例えば、１秒に１回）で動作する場合、これとは異なる周期性を持つ信号を除外することは、目標の物体の音響分析を改善できる。例えば、図１１Ｂを参照すると、目標のある物体が周期性４で動作する場合、分析のために周期性４を有する信号を分離することは、目標のある物体の改善された分析を生じさせることがある。例えば、目標のある物体は、周期性４を有するが、図１１Ｂに示されるように周波数が増加する音を発し得る。これは、物体の特性が変化している（例えば、トルクや負荷の増加など）可能性があることを意味していることがあり、点検する必要がある。
【０１７９】
例示的な音響撮像プロセスでは、（例えば、産業環境でのフロアノイズ、屋外環境での風などの）バックグラウンドノイズは一般に周期的ではないが、シーン内の目標のある特定の物体は周期的な音響信号を放出する（例えば、一定の間隔で動作する機械）。したがって、ユーザは、バックグラウンド信号を除去し、目標の音響データをより明確に提示するために、音響画像から非周期的な音響信号を除外することを選択し得る。他の例では、ユーザは、一定のトーンの発生源を見つけようとすることがあり、したがって、一定のトーンの表示を不明瞭にすることがある音響画像データから周期信号を除外することを選択し得る。一般に、ユーザは、特定の周期性より上、特定の周期性より下、若しくは周期性の所望の範囲内にある音響信号を音響画像データに含めることを選択し得る。様々な例において、周期性は、周期的信号間の時間の長さ、若しくは周期的信号の発生頻度のいずれかによって特定され得る。図１１Ｂに示される周波数と同様に、所与の周期性での強度の分析（例えば、その周期性で動作する目標のある物体による）が、物体からの音響信号が時間と共にどのように変化するかを追跡するために、使用されることがある。一般に、ある実施形態では、周期性は、周波数、強度などの様々なパラメータの変化率分析を実行するために、使用され得る。
【０１８０】
本明細書の他の個所で説明するように、ある例では、ターゲットシーンの様々な部分は、音響撮像センサからの異なる距離に関連付けられることができる。例えば、ある実施形態では、距離情報は、シーン内の様々な部分に関する３次元の深さ情報を含むことができる。その上若しくはそれとは別に、ユーザは、シーン内の複数の位置に関連付けられた距離値を（例えば、レーザ距離ツールで）測定するか、若しくは手動で入力することができることがある。ある例では、シーンの様々な部分のそのような異なる距離値は、そのような位置でのバックプロパゲーション計算を調整して、その位置での特定の距離値に対応するために、使用され得る。
【０１８１】
その上若しくはそれとは別に、シーンの異なる部分が異なる距離値に関連付けられている場合、音響センサアレイからの近接度（例えば、測定された近接度及び／又は見かけの近接度）は、そのような部分間の別の区別可能なパラメータであり得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、及び１０９０は、それぞれ、異なる距離値に関連付けられている。ある例では、ここの他の場所で説明されている周波数又は周期性と同様に、ユーザは、音響画像データをディスプレイに含める特定の距離範囲を選択することができる。例えば、ユーザは、所定の距離よりも近い、所定の距離より遠い、若しくは所定の距離範囲内の音響信号を表す音響画像データのみを表示するように選択し得る。
【０１８２】
さらに、ある実施形態では、図９Ｃの周波数に関して説明したのと同様に、音響分析システムは、複数の距離範囲を循環表示して、現在の距離範囲を満たすターゲットシーン内の位置から放出された音響信号を表す音響画像データのみを示すように構成することがある。様々な表示のそのような循環表示は、異なる音響信号間の情報をユーザが視覚的に区別することに役立たせることができる。例えば、場合によっては、関連する電磁撮像ツール（例えば、可視光カメラモジュール）からの視線から物体が互いに接近しているように見えることがあり、したがって、そのような物体の電磁画像データと組み合わされた音響画像データは、区別するのが難しい。しかし、物体が深度差によって分離されている場合は、音響画像データの異なる深度範囲の循環表示は、音響データの各発生源を他の発生源から分離するために使用されることができる。
【０１８３】
一般に、音響分析システムは、一又はそれ以上の事前定義されたパラメータを満たす音響信号を表す音響画像データを含める及び／又は除外するために、様々な設定を適用するように構成され得る。ある例では、音響分析システムは、音響信号が、例えば、ディスプレイ画像内で表示されていることを示す音響画像データのために、該音響信号によって満たされねばならない複数の条件を選択するために使用され得る。
【０１８４】
例えば、図１０Ａ及び１０Ｂに関して、図１０Ａのシーンにおける閾値強度を超える音響信号のみが図１０Ｂに示されている。ただし、追加若しくは代替の制限が可能である。例えば、ある実施形態では、ユーザは、音響画像データをさらにフィルタ処理して、音響画像データが、所定の周波数範囲内の周波数コンテンツを有する、及び／又は、所定の周期性を有する音響信号についてのみ示されるようにし得る。例示的な実施形態では、所定の周波数及び／又は目標の周期性に限定して、音響画像データは、１０２０及び１０９０などの追加の位置から排除され得る。
【０１８５】
一般に、ユーザは、強度、周波数、周期性、見かけの近接度、測定された近接度、音圧、粒子速度、粒子変位、音響出力、音エネルギー、音エネルギー密度、音響曝露量、ピッチ、振幅、輝度、倍音、そのようなパラメータの変化率などのパラメータを含む、音響画像データを含めるか、又は、ディスプレイ画像から除外するために任意の数の音響データ要件を適用できる。さらに、ある実施形態では、ユーザは、ＡＮＤ、ＯＲ、ＸＯＲなどの任意の適切な論理的組み合わせを使用して要件を組み合わせ得る。例えば、ユーザは、（所定の閾値を超える強度）ＡＮＤ（所定の範囲内の周波数）を有する音響信号のみを表示したいことがある。
【０１８６】
その上若しくはそれとは別に、音響分析システムは、図９Ｃの複数の周波数の循環表示に関して示されるように、ターゲットシーンの異なる部分を示すために一又はそれ以上のパラメータ範囲を循環表示するように構成され得る。一般に、一又はそれ以上のパラメータは、このような方法で循環表示され得る。例えば、パラメータ（例えば強度）は、複数の範囲（例えば、１０ｄＢ〜２０ｄＢと２０ｄＢ〜３０ｄＢ）に分割され、音響分析システムはそのような範囲を循環表示でき、第１の範囲にあるすべての音響画像データを表示し、次に第２の範囲にあるすべての音響画像データを表示する。
【０１８７】
同様に、ある実施形態では、音響分析システムは、入れ子にされた範囲を循環表示することによってパラメータ要件を組み合わせるように構成され得る。例えば、例示的な実施形態では、第１の強度範囲ＡＮＤ第１の周波数範囲を満たす音響画像データが、表示され得る。表示される音響画像データを第１の強度範囲を満たす音響信号に制限しながら、表示される周波数範囲は循環表示され得る。周波数範囲を循環表示した後、強度範囲を第２の強度範囲に更新して、表示された音響画像データが第２の強度範囲及び第１の周波数範囲を満たすようにすることができる。第１の強度範囲を組み込むプロセスと同様に、周波数範囲は、第２の強度範囲を維持しながら同様に循環表示され得る。このプロセスは、周波数範囲と強度範囲のすべての組み合わせが満たされるまで続けることができる。同様のそのようなプロセスは、複数のパラメータのいずれかに対して実行することができる。
【０１８８】
その上若しくはそれとは別に、ある実施形態では、音響分析システムは、音響シーン内の複数の音を特定及び区別するように構成され得る。例えば、図９Ｂに関して、音響分析システムは、位置９１０、９２０、９３０、及び９４０で４つの個別の音を特定するように構成され得る。システムは、それぞれが必ずしもパラメータ値に依存する必要はないが、図９Ｃに示されるのと同様に、単一の個別の位置で音響画像データを示している複数の表示を循環するように構成することができる。同様に、個々の位置での音響画像データ間のそのような循環表示は、一又はそれ以上のパラメータ要件が表示された音響画像データを制限した後に実行することができる。
【０１８９】
例えば、図１０Ａ及び１０Ｂに関して、強度閾値が適用される前に、音響分析システムは、各シーンが単一の位置にある音響画像データを含んでいる（例えば、可視光画像データを伴う音響画像シーンを含むディスプレイ画像としての）複数の音響画像シーンを循環表示してもよい。ある実施形態では、図１０Ａの図示の例によれば、１０個の別個の画像の循環表示であり、各画像は、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０のうちの異なる１つでの画像データを含んでいる。しかしながら、ある実施形態によれば、閾値を超える強度を有する位置のみが表示されるように強度フィルタが適用された後（例えば、図１０Ｂのように）、音響分析システムは、フィルタ処理の閾値を満たす位置に対応する画像のみを循環表示するように循環表示プロセスを更新し得る。すなわち、図１０Ｂに関して、循環表示プロセスは、それぞれが位置１０２０、１０５０、１０７０、及び１０９０でそれぞれ個別の音響画像データを示す４つの画像間でのみ循環表示するように更新されることがある。
【０１９０】
したがって、様々な実施形態では、どの音響画像データが表示されるかを制限するために一又はそれ以上のフィルタを適用する前又はその後のいずれかで、音響画像データを含むターゲットシーン内の各位置が、複数の循環表示ディスプレイ画像のうちの１つに示される。個々の音響発生源位置のそのような循環表示は、特定の音響発生源を特定する際に画像を見るユーザを支援することができる。ある実施形態では、循環内の各画像は、音響データの単一の発生源のみを含み、あるそのような実施形態では、周波数コンテンツ、強度、周期性、見かけの近接度などの音響データの一又はそれ以上のパラメータをさらに含む。
【０１９１】
特定の条件を満たす音響画像データを示す画像間の循環表示に加えて、又はその代わりに、ある例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、ある実施形態では、位置１０１０〜９９０のそれぞれから発生する音響信号を表す音響画像データは、特定され、循環表示され得る。例えば、例示的な動作プロセスでは、位置１０１０〜９９０の１つでの音響画像データを含むディスプレイ画像は、音響信号の各発生源の個々の分析のために、自動的に又はユーザの指示で、循環表示され得る。様々な実施形態において、循環表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
【０１９２】
その上若しくはそれとは別に、ある例では、個々の位置からの音響画像データは、一又はそれ以上のフィルタを適用して一又はそれ以上の所定の条件を満たす音響画像データのみを分離した後に循環表示され得る。例えば、図１０Ｂに関して、位置１０２０、１０５０、１０７０、及び１０９０は、所定の強度要件を満たす音響信号を表す音響画像データを含むものとして示されている。ある実施形態では、そのような表示要件は、音響信号の発生源位置の個々の循環表示に適用することができる。例えば、図１０Ｂをさらに参照すると、音響強度条件を満たす位置１０２０、１０５０、１０７０、及び１０９０のうちの１つのみからの画像データを含むディスプレイ画像は、各位置での個々の分析のために循環表示されることができる。
【０１９３】
図１０Ａ及び１０Ｂを参照する例示的なプロセスでは、シーンから収集された音響画像データは、一般に、位置１０１０、１０２０、１０３０、１０４０、１０５０、１０６０、１０７０、１０８０、及び１０９０で図１０Ａに示され得る。そのような位置は、様々な強度、周波数コンテンツ、周期性などのような様々な音響パラメータを有する音響信号を表す音響画像データを含むことがある。
【０１９４】
本明細書の他の個所で説明するように、ユーザは、最小の音響強度を有する音響信号などの、一又はそれ以上の特定の音響パラメータを有する音響信号を分離することを望むことがある。そのような条件を満たさない音響信号を表す音響画像データは、画像から除外することができ、例えば、図１０Ｂに示されるような、位置１０２０、１０５０、１０７０、及び１０９０の音響画像データを捨てることができる。しかしながら、ユーザは、表示条件（例えば、閾値を超える強度を有する）を満たす特定の音の発生源をさらに特定したいことがある。したがって、ユーザは、各音の発生源の位置を見て、個々に分析するために、位置１０２０、１０５０、１０７０、及び１０９０に関連付けられた音響画像データを１つずつ表示することを選択し得る。様々な実施形態では、ユーザが、そのような位置を手動で循環表示することを選択することがあるか、若しくは、プロセッサが、ディスプレイ画像を自動的に更新して個々の位置の音響画像データを順次表示するようにすることがある。これは、目標とはしないが、画像に適用される１つ以上のフィルタ処理パラメータを偶然満たす音響信号をユーザがさらに排除して無視するのに役立つことがある。
【０１９５】
強度並びに図１０Ａ及び１０Ｂに関して説明されているが、一般に、複数の位置から選択された単一の位置からの音響画像データを含むディスプレイ画像は、個々の分析のために１つずつ循環表示することができる。典型的な音響画像データが含まれる複数の位置は、音響シーン内の音響信号の発生源に対応する位置のセット全体であるか、又は、例えば、一又はそれ以上の条件を満たす音響信号を有する位置のみを含むそのような位置のサブセットであり得る。そのような条件は、強度、周波数コンテンツ、周期性、近接度などの任意の一又はそれ以上の音響パラメータに依存することがあり、所定の値未満、所定の値を超える、若しくは、所定の値の範囲内にある様々なパラメータに基づいて満たされることがある。
【０１９６】
様々な例において、ディスプレイ画像に音響画像データを選択的に含めるようにディスプレイ画像を修正することは、様々な方法で行うことができる。ある実施形態では、（例えば、電磁画像データ及び音響画像データを含む）ディスプレイ画像は、リアルタイム画像であることができ、この場合、電磁画像データ及び音響画像データは、シーンの変化を反映するように継続的に更新される。ある例では、音響画像データがディスプレイ画像に含まれるかどうかを決定するために特定の条件が使用される場合、受信した音響信号が分析されて、更新されたリアルタイム画像の様々な位置で音響画像データを含んでいるか否かを判定する。すなわち、新たに受信した音響信号及び電磁放射に基づいて新しいディスプレイ画像が生成されるとき、ディスプレイ画像の構築は、どの音響信号がディスプレイ画像に認められた特定の条件（例えば、強度閾値など）を満たすかを決定するための音響信号の分析に依存することができる。ディスプレイ画像は、そして、そのような条件に従って適切な場合にのみ、音響画像データを含んで生成され得る。
【０１９７】
他の例では、ディスプレイ画像は、以前に取り込まれた音響データ及び電磁画像データなどの、メモリに記憶されたデータから生成され得る。あるそのような例では、以前に取得された音響データが、音響画像データに認められる様々な条件に関して分析され、以前に取り込まれた音響データがそのような条件を満たす位置で電磁画像データと組み合わされる。そのような実施形態では、単一のシーンは、例えば、異なる音響パラメータを分析することによって、多くの方法で見ることができる。以前に取り込まれた音響画像データを表すディスプレイ画像は、ディスプレイ画像の様々な位置に音響画像データを含めるかどうかについて、ディスプレイ画像に認められた更新された条件に基づいて更新することができる。
【０１９８】
ある実施形態では、音響画像データをディスプレイ画像に選択的に含めるために使用される一又はそれ以上の音響パラメータが使用されて、ディスプレイ画像及び／又は画像取り込み技術を変更し得る。例えば、リアルタイム撮像例では、音響画像データを表示に含めるかどうかを決定するための様々な条件は、ターゲットまでの距離（例えば、見かけの距離若しくは測定された距離）及び／又は周波数コンテンツを含み得る。本明細書の他の個所で説明するように、あるそのようなパラメータは、音響センサアレイ及び／又は音響画像データを生成するための処理技術を選択する際に使用することができる。したがって、あるそのような例では、音響画像データが一又はそれ以上の所定の条件を満たすそのようなパラメータに基づいてのみ表される場合、音響センサアレイ及び／又は音響画像データを生成するための処理技術は、そのような条件に基づいて選択され得る。
【０１９９】
例えば、例示的な実施形態では、音響画像データが、対応する音響信号が第１の周波数範囲内の周波数コンテンツを含む位置のリアルタイム画像にのみ含まれるべきである場合、第１の周波数範囲に最適な音響信号を取得するために、一又はそれ以上の音響センサアレイが選択され得る。同様に、音響画像データが、音響信号の発生源が第１の距離範囲内にある位置でリアルタイム画像にのみ含まれるべきである場合、第１の距離範囲での音響撮像用に最適な音響信号を取得するために、一又はそれ以上の音響センサアレイが選択され得る。その上若しくはそれとは別に、例えば、図６に関して説明したように、音響画像データを生成するための処理技術は、所望の周波数又は距離条件に基づいて選択することができる。そのような選択された音響撮像センサアレイ及び処理技術は、その後、音響信号を受信し、含まれる音響画像データを最適化するために、更新されたリアルタイムディスプレイ画像の音響画像データを生成するために使用され得る。
【０２００】
同様に、ディスプレイ画像が以前にメモリに記憶された履歴データから生成されるある実施形態では、ディスプレイ画像に音響画像データを含める位置を決定する様々な条件が、音響シーンを表す音響画像データを更新するために用いられ得る。例えば、ある実施形態では、メモリに記憶されたデータは、音響信号が受信されたときから音響センサアレイによって受信された生の音響データを含む。音響画像データがディスプレイ画像の様々な位置に含まれるかどうかを決定するための条件（例えば、所望の距離及び／又は周波数範囲）に基づいて、表示する所望のパラメータに最適化された音響画像データを生成するために、メモリに記憶された生データと共に使用するために処理技術（例えば、バックプロパゲーションアルゴリズム）が選択されることがある。
【０２０１】
可視光画像データ及び音響画像データを使用して一般的に説明及び示されているけれども、図９Ａ〜図９Ｃ、図１０Ａ及び図１０Ｂに関して説明されたプロセスは、様々な電磁画像データのいずれかを含めて使用されうることが理解されよう。例えば、様々な実施形態において、同様のプロセスは、可視光画像データの代わりに、赤外線画像データ若しくは紫外線画像データを用いて実行され得る。その上若しくはそれとは別に、電磁スペクトルの組み合わせは、混合された赤外線画像データと可視光画像データなどのそのようなプロセスで使用することができる。一般に、様々な例において、音響画像データは、電磁画像データの任意の組み合わせと組み合わせて、選択的に示される（例えば、対応する音響信号が一又はそれ以上の所定のパラメータを満たすときに含まれる）ことがある。
【０２０２】
ある実施形態では、音響分析システムは、一又はそれ以上の音響信号及び／又は音響画像データを、例えば、ローカルメモリ内の、及び／又は、外部又はリモート装置からアクセス可能なデータベースに記憶するように構成される。そのような音響信号は、通常の動作中の音響シーンを表す音響画像データ、及び／又は、周波数データ、強度データ、周期性データなどの音響シーンに関連する他のパラメータを含むことができる。様々な例において、データベースシーンは、広いシーン（例えば、工場）及び／又はより具体的なシーン（例えば、特定の物体）を表す音響画像データ及び／又は他の音響パラメータ（例えば、強度、周波数、周期性など）を含むことができる。
【０２０３】
ある実施形態では、データベースシーンは、特定のモデルの装置など、特定のタイプの装置に一般的（ｇｅｎｅｒｉｃ）であり得る。その上若しくはそれとは別に、データベースシーンは、異なる物体が同じ物体の異なる例（例えば、同じモデルである２つの別個のマシーン）である場合でも、個々の物体に対しては特有（ｓｐｅｃｉｆｉｃ）であり得る。同様に、データベースシーンは、例えば、物体の特定の動作状態を含めると、より特有８ｓｐｅｉｆｉｃ）となりうる。例えば、特定の物体が複数の操作モードを有する場合、データベースは、そのような物体の複数のシーンを、動作モードごとに１つずつ含めることができる。
【０２０４】
様々な実施形態では、データベースシーンは、単一の音響画像及び／又は関連する音響パラメータであり得る。他の例では、データベースシーンは、以前に取り込まれた複数の音響画像及び／又は関連するパラメータから形成された複合データを含むことができる。一般に、データベースシーン（例えば、音響画像及び／又はパラメータ）は、通常の動作中のシーンの音響表現を含むことができる。ある例では、データベースは、例えば、対応する可視光画像、赤外線画像、紫外線画像、又はそれらの組み合わせなど、シーンに関連する他の要素を含むことができる。ある実施形態では、データベースの生成及び／又は比較は、本出願の譲受人に譲受され、その全体が参照により本明細書に組み込まれる２０１６年６月２３日に出願され、「熱異常検出（ＴＨＥＲＭＡＬ  ＡＮＯＭＡＬＹ  ＤＥＴＥＣＴＩＯＮ）」と題された米国特許出願第１５／１９０，７９２号に記載されている赤外線画像データのデータベース生成及び比較と同様に実行することができる。ある実施形態では、データベースは、シーン内の物体が正しく動作している間に、シーンの音響画像データ及び／又は一又はそれ以上の関連する音響パラメータ（例えば、周波数、強度、周期性など）を取り込むことによって生成することができる。あるそのような例では、ユーザは、取り込まれたデータベース画像にタグを付けて、画像を一又はそれ以上の物体、位置、シーンなどに関連付けることがあり、その結果、取り込まれた音響画像及び／又は関連するパラメータ（複数可）が、将来データベース分析及び比較において特定され得る。
【０２０５】
新しく生成された音響画像データは、データベースに記憶されている音響画像データと比較され、音響シーンの音響プロファイルが典型的な動作基準内にあるかどうかを判定できる。その上若しくはそれとは別に、ライブ音響シーン及び／又は新しく生成された音響画像からの強度、周波数、周期性などの音響パラメータが、データベース内の同様のパラメータと比較されることがある。
【０２０６】
現在の音響画像データをデータベースに記憶された音響画像履歴データ（例えば、以前に取り込まれた画像、複数の以前に取り込まれた画像から生成された合成画像、工場提供の予想される画像など）と比較することは、複数の方法で実行できる。図１２Ａ〜図１２Ｃは、音響画像データをデータベースに記憶された音響画像履歴データと比較するための複数の例示的な方法を示している。図１２Ａは、音響視野１２１２を有する音響センサアレイ１２０２と、電磁視野１２１４を有する電磁撮像ツール１２０４とを含む音響撮像ツール１２００を示している。図示されるように、電磁視野１２１４及び音響視野１２１２は、目標物体１２２２を含むターゲットシーン１２２０を含む。ある実施形態では、音響撮像ツール１２００は、目標物体１２２２が電磁視野１２１４及び音響視野１２１２内にあるような位置に恒久的に固定されている。ある実施形態では、音響撮像ツール１２００は、誘導電力又は寄生電力を介して電力を供給され得るか、建物内のＡＣ主電力に配線され得るか、若しくは、物体１２２２を継続的に監視するように構成され得る。
【０２０７】
固定された音響撮像ツール１２００は、物体１２２２の音響及び／又は電磁画像データを周期的に取り込むように構成され得る。音響撮像ツール１２００がほぼ決まった位置に固定されているため、異なる時間に取り込まれた画像は、ほぼ同じ地点からのものである。ある例では、音響撮像ツール１２００を介して取り込まれた音響画像データは、例えば、音響シーンの異常を検出するために、ほぼ同じシーンを表す音響画像データのデータベースと比較され得る。これは、例えば、参照により組み込まれる米国特許出願第１５／１９０，７９２号に記載されているように実施され得る。
【０２０８】
図１２Ｂは、例えば、手持ち式音響撮像ツール上の例示的なディスプレイを示す。ディスプレイ１２３０は、２つのセクション、１２３２と１２３４を含む。図示の例では、セクション１２３４は、目標物体のデータベース画像１２４４を示し、一方セクション１２３２は、物体のリアルタイム音響画像データのライブ画像１２４２を含む。そのような並列表示では、ユーザは、（例えば、データベース画像１２４４に示される）典型的な音響信号と現在のリアルタイム画像１２４２との間の差異を見るために、ライブ画像１２４２をデータベース画像１２４４と比較することができる。同様に、ユーザは、ライブ画像１２４２がデータベース画像１２４４とほぼ一致するかどうかを比較することができる。そうである場合、ユーザは、データベース画像１２４４とのさらなる分析及び／又は比較のために、ライブ音響画像を取り込むことができる。
【０２０９】
図１２Ｃは、例えば、手持ち式音響撮像ツール上の別の例示的なディスプレイを示す。図１２Ｃのディスプレイ１２５０は、同じディスプレイ１２５２上のデータベース画像１２５４とライブ画像１２５６を示す。図１２Ｃの例では、ユーザは、差異を示すために、ライブ画像１２５６内の音響画像データをデータベース画像１２５４内の音響画像データと同様に比較することができる。さらに、ユーザは、さらなる分析と比較のために、ライブ画像１２５６内の物体をデータベース画像１２５４内の物体と整列するために、音響撮像ツールのアライメントを調整し得る。
【０２１０】
図１２Ａ〜図１２Ｃのプロセスの結果として、ライブ及び／又は最近取り込まれた音響画像は、データベースなどからの以前の音響画像データと比較されることがある。ある例では、そのようなプロセスは、自動比較のために、ライブ及び／又は最近取り込まれた音響画像をデータベース画像と重ね合わせするために用いられる。データベース画像と同様の地点から音響画像データを「再取り込み」するために使用できる他のプロセスは、２０１１年１２月２０日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ  ＩＭＡＧＩＮＧ  ＣＡＭＥＲＡ  ＦＯＲ  ＩＮＦＲＡＲＥＤ  ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３１，６３３号、２０１１年１２月２０日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ  ＩＭＡＧＩＮＧ  ＣＡＭＥＲＡ  ＦＯＲ  ＩＮＦＲＡＲＥＤ  ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３１，６４４号、並びに、２０１１年１２月２３日に出願され、「赤外線リホトグラフィのための熱撮像カメラ（ＴＨＥＲＭＡＬ  ＩＭＡＧＩＮＧ  ＣＡＭＥＲＡ  ＦＯＲ  ＩＮＦＲＡＲＥＤ  ＲＥＰＨＯＴＯＧＲＡＰＨＹ）」と題された米国特許出願第１３／３３６，６０７号に記載されているが、それぞれは本出願の譲受人に譲受されており、その全体が参照により組み込まれている。
【０２１１】
リアルタイムの音響画像データ及び／又は音響シグネチャを、比較可能なシーン／物体の対応する音響画像及び／又は音響シグネチャと比較することが、シーン／物体の動作状態の迅速かつ単純化された分析を提供するために使用されることがある。例えば、比較は、音響シーン内の特定の位置が、典型的な動作中とは異なる強度又は周波数スペクトルを有する音響信号を放出していることを示すことがあり、これは、問題を示していることがある。同様に、シーン内の位置は、典型的には無音の音響信号を放出していることがある。その上若しくはそれとは別に、ライブシーンとデータベースからの履歴シーンの全体的な音響シグネチャの比較は、一般に、周波数コンテンツ、音響強度などのシーン内の音響パラメータの変化を示すことがありうる。
【０２１２】
ある例では、音響分析システムは、最近／リアルタイムの音響シーンをデータベースと比較するように構成されている。ある実施形態では、音響分析システムは、最近／リアルタイムシーンとデータベースシーンとの間の差異を特徴付け、比較に基づいて現在のシーンで起こり得る一又はそれ以上の問題を診断するように構成される。例えば、ある実施形態では、ユーザは、音響データベースと比較するための、目標物体又はターゲットシーンを事前に選択し得る。音響分析システムは、選択された物体／シーンに基づいて、データベース画像及び／又は他のパラメータを最近／現在の画像及び／又は他のパラメータと比較して、シーンを分析することができる。データベースから選択された物体／シーンに基づいて、音響分析システムは、データベース画像／パラメータと最近／現在の画像／パラメータとの間の一又はそれ以上の差異を特定し、特定された差異（複数可）を一又はそれ以上の差異の考えられる原因に関連付けることができ得る。
【０２１３】
ある例では、音響分析システムは、複数の診断情報により事前にプログラムされることができ、例えば、データベース画像／パラメータと、最近／現在の画像／パラメータとの間の様々な差異を、考えられる原因及び／又は原因の解決策と関連付ける。その上若しくはそれとは別に、ユーザは、例えば、診断データのリポジトリからそのような診断情報をロードし得る。そのようなデータは、例えば、音響分析システムの製造業者、目標物体の製造業者などによって提供され得る。さらに別の例では、音響分析システムは、例えば、一又はそれ以上の機械学習プロセスを介して、診断情報をその上若しくはそれとは別に学習することができる。あるそのような例では、ユーザは、典型的なシーンからのシーンの音響逸脱を観察した後、ターゲットシーンの一又はそれ以上の問題を診断し、一又はそれ以上の問題及び／又は一又はそれ以上の解決策を表すデータを音響分析システムに入力し得る。システムは、時間の経過と共に、複数のデータエントリを介して、最近／現在の画像及び／又はパラメータと、データベースに保存されているものとの間の様々な不一致を、特定の問題及び／又は解決策に関連付けることを学習するように構成できる。問題を診断し、及び／又は、提案された解決策を決定すると、音響分析システムは、例えば、ディスプレイを介して、疑わしい問題及び／又は提案された解決策をユーザに出力するように構成され得る。このようなディスプレイは、手持ち式音響点検ツール又はリモート装置（例えば、ユーザのスマートフォン、タブレット、コンピュータなど）に配置できる。その上若しくはそれとは別に、潜在的な問題及び／又は解決策を示すそのようなディスプレイは、例えば、ネットワークを介して、オフサイトのオペレータ／システムモニタなどのリモートサイトに通信することができる。
【０２１４】
ある例の診断特性では、音響分析システムは、動作中の機械に追加の注油が必要であることを示す特定の周期的なきしみ音を観察することがある。同様に、一定の高音の信号は、ターゲットシーンでのガス又は空気の漏れを示している可能性がある。他の問題も同様に、分析中の物体内のベアリングの破損など、認識可能な音響シグネチャがあることがあり、音響撮像システム（手持ち式音響撮像ツールなど）を介して音響シグネチャを見ると、システム又は物体の異常を診断するのに役立つことがある。
【０２１５】
受信した音響信号を基準（例えば、音響画像データ及び／又はデータベースからのパラメータ）と比較し、診断情報を実行し、及び／又は是正措置を提案することができる音響分析システムは、シーンの音響データを経験豊富な専門家が分析する必要をなくすことができる。むしろ、音響点検及び分析は、音響データの分析の経験が限られているか、又は全くないシステムオペレータによって実行することができる。
【０２１６】
図１３は、受信した音響画像データを物体診断のためのデータベースと比較する例示的な動作を示すプロセスフロー図である。この方法は、目標ターゲットの選択を受信し（１３８０）、データベースから目標ターゲットの基準音響画像及び／又は音響パラメータを取得すること（１３８２）を含む。例えば、ユーザは、億票の特定の物体の音響分析を実行することを望むことがあり、利用可能な基準音響画像及び／又はデータベースで利用可能なパラメータを有する物体の事前定義されたリストからそのような物体を選択し得る。
【０２１７】
この方法は、例えば、手持ち式音響撮像ツールを使用して、目標ターゲットを表す音響画像データ及び関連するパラメータを取り込む工程（１３８４）をさらに含む。音響画像データ及び関連するパラメータを取り込んだ（１３８４）後、この方法は、取り込まれた音響画像データ及び／又は関連するパラメータを、取得された基準画像及び／又はパラメータと比較すること（１３８６）を含む。
【０２１８】
図１３の方法は、取り込まれた音響画像データ及び／又はパラメータが基準から十分に逸脱している場合（１３８８）、比較に基づいて関心のあるターゲットの動作問題を診断すること（１３９０）をさらに含む。この方法は、起こり得る問題及び／又は是正措置の表示をユーザに表示するステップをさらに含むことができる（１３９２）。ある実施形態では、比較表示、例えば、現在の音響画像データと基準音響画像データとの間の差を示す差分画像が、その上若しくはそれとは別にユーザに表示され得る。
【０２１９】
あるそのような例では、基準（１３８８）からの逸脱があるかどうかを判定することは、取り込まれたデータの一又はそれ以上の音響パラメータを基準データ内の同様のパラメータと比較し、取り込まれたパラメータと基準パラメータとの間の差異が所定の閾値を超えるかどうかを判定することを含む。様々な例において、異なるパラメータは、異なる閾値を含むことがあり、そのような閾値は、絶対閾値、統計的閾値などであり得る。ある実施形態では、比較は、位置ごとに行うことができ、シーン内の位置のサブセットに対して実行し得る。
【０２２０】
例えば、図９Ｂに関して、音響画像データを含み、物体上に現れる位置（例えば、位置９１０と９４０）のみが、物体の動作に関して分析されることが可能である。そのような例では、比較される各位置（例えば、９１０と９４０）での異なる音響パラメータが、取り込まれた画像とデータベース画像との間で個別に比較される。例えば、取り込まれたデータ及び／又は関連するパラメータをデータベースからのものと比較することは、図９Ｂを参照して、取り込まれた画像内の位置９１０の周波数、強度、及び周期性をそれぞれ、データベース画像内の位置９１０の周波数、強度、及び周期性と比較することを含むことができる。同様の比較は、取り込まれた画像とデータベース画像との間の位置９４０で実行され得る。説明したように、各比較は、基準からの十分な逸脱があるかどうかを判定する（１３８８）ための異なるメトリックを含むことができる。
【０２２１】
動作の問題を診断（１３９０）し、起こり得る問題及び／又は是正措置の指示（１３９２）を表示することは、取り込まれた画像データと基準画像データ及び／又はパラメータと間の比較の組み合わせに基づいて実行することができる。ある例では、そのような診断は、所定の位置での複数のパラメータの比較を組み合わせるなどの多次元分析を含むことができる。例えば、例示的な実施形態では、特定の条件は、第１の閾値よりも大きい基準からの周波数の逸脱と、第２の閾値よりも大きい基準からの強度の逸脱の両方によって示され得る。
【０２２２】
ある例では、起こり得る問題及び／又は是正措置の指示を表示した（１３９２）後でも、プロセスは、新しい音響画像データ及び関連するパラメータを取り込み（１３８４）、比較及び診断プロセスを繰り返すことを含むことがある。したがって、ユーザは、取られた是正措置が特定された問題を修正するために物体の音響シグネチャを効果的に変更しているかどうか、及び／又は、物体の音響シグネチャを基準に一致させているかどうかを観察し得る。
【０２２３】
ある実施形態では、取り込まれたデータを基準データと比較した（１３８６）後で、基準からの十分な逸脱がない（１３８８）場合、プロセスは、物体の現在の音響シグネチャに基づいて、物体は正常に動作しているとの結論とともに終了し得る（１３９４）。その上若しくはそれとは別に、目標ターゲットの新しい音響画像データ及び関連するパラメータを取り込むことができ（１３８４）、比較及び診断プロセスが繰り返されることができる。ある例では、継続的な繰り返し分析が、例えば、図１２Ａの音響撮像ツール１２００を含む、固定された音響分析システムを使用して実行され得る。
【０２２４】
音響データ（例えば、画像データ及び／又は他の音響パラメータ）の比較は、ユーザを物体が正しく機能しているかどうかをより簡単に特定させ、そうでない場合は物体の問題を診断するのに役立つ。ある例では、基準との比較が、物体の操作上の問題とは無関係であり得る予想される動作音やフロア／バックグラウンド音など、シーン内の「通常の」音をユーザが無視するのに役立つ。
【０２２５】
動作中、音響画像データ及び／又は関連する音響パラメータの観察、あるいは現在の音響シーンとデータベースの音響シーンとの間の比較の結果の観察は、さらなる点検のために目標位置をユーザに示し得る。例えば、データベース画像からの逸脱を示す比較音響画像は、異常に動作しているシーン内の一又はそれ以上の位置を示し得る。同様に、予期しない一又はそれ以上の位置で音響シグネチャを有する音響画像を見ることは、目標位置をユーザに示すことができる。例えば、図１０Ｂを参照すると、音響撮像システムのディスプレイ上で図１０Ｂを観察しているユーザは、特定の位置（例えば、１０２０）が予期せぬ音響信号を放出していることに気付くことがあり、又は同様に、基準画像との比較は、その位置での音響信号の予期しないパラメータ（例えば、予期しない周波数、強度など）を示す。
【０２２６】
あるそのような例では、異常がないか位置をより綿密に点検するために、ユーザはそのような位置に近づくことがある。物体に近づくと、ターゲットまでの距離値が更新され、音響アレイとターゲット位置との間の新しい距離が反映され得る。音響センサアレイ及び／又はバックプロパゲーションアルゴリズムは、更新されたターゲットまでの距離に基づいて更新され得る。その上若しくはそれとは別に、より近い位置からの更新された音響分析は、ターゲットからの音響信号の異なる分析をもたらすことがある。例えば、高周波音響信号（例えば、超音波信号）は、音響信号の発生源から比較的短い距離にわたって減衰する傾向がある。したがって、ユーザがさらなる点検のためにターゲットに近づくと、追加の信号（例えば、高周波信号）が音響センサアレイにとって可視であることがある。観察可能なシーンにおけるそのような明らかな変化はまた、音響撮像に使用される音響センサアレイ及び／又はバックプロパゲーションアルゴリズムの調整をもたらすことがある。
【０２２７】
したがって、音響撮像に使用されるセンサアレイ及び／又はバックプロパゲーションアルゴリズムは、ユーザが目標物体又は領域に近づくにつれて、１回又はそれ以上の回数で更新されることがある。各更新は、異なるセンサアレイ及び／又はバックプロパゲーションアルゴリズムを使用して、遠くからは観察できなかった可能性のある目標物体又は領域に関する追加の詳細を提供することができる。例えば、より広いシーンの初期の観察に基づいて、目標物体又は領域に近づくと、環境内のバックグラウンド音と比較して、目標の音響信号の音響強度を高めることもできる。
【０２２８】
ある実施形態では、音響分析システム（例えば、手持ち式音響撮像ツール）は、シーン内の目標物体又は領域により近く移動するようにユーザに促すことがある。例えば、現在の音響画像を基準データベース画像と比較すると、音響分析システムは、基準から逸脱するシーン内の一又はそれ以上の位置を特定することができる。音響分析システムは、例えば、ディスプレイを介して、そのような一又はそれ以上の位置をユーザに強調表示し、さらなる分析のために、ユーザが特定された位置に近づくことを提案し得る。ある例では、音響分析システムは、環境内の物体の副構成要素又は特定の物体などの特定された位置を、データベースに記憶された独自の基準プロファイルを有するものとして分類することができる。システムは、分類された位置のそのようなプロファイルを提案及び／又は実施して、ユーザが追加の点検のために近づくときに特定された位置のさらなる分析を容易にするように構成され得る。
【０２２９】
本明細書に記載のシステム及びプロセスは、音響点検の速度、効率、精度、及び徹底性を改善するために使用することができる。様々な自動化されたアクション及び／又は提案（例えば、センサアレイ、バックプロパゲーションアルゴリズムなど）は、経験の浅いユーザが音響シーンの徹底的な音響点検を実行し得るという点で、点検の容易さを向上することを可能にする。さらに、このようなプロセスは、システム全体、個々の物体、そして、個々の物体の副構成要素など、幅広いシーンを分析するのに使用され得る。音響シーンの基準音響データの事前定義及び／又はユーザ生成のプロファイルは、経験の浅いユーザでも、取り込まれた音響データの異常を特定するのに役立つことができる。
【０２３０】
音響画像データを可視光、赤外線、及び／又は紫外線画像データなどの他のデータストリームに重ね合わせることは、音響画像データ内で表される音響信号を放出している物体に追加のコンテキスト及び詳細を提供することができる。音響センサアレイと距離測定ツール（レーザ距離ファインダーなど）を組み合わせることは、音響撮像プロセスで使用する適切なターゲットまでの距離値をすばやく簡単に決定するときにユーザに役立つことがある。様々な例において、音響センサアレイ、距離測定ツール、プロセッサ、メモリ、及び一又はそれ以上の追加の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュールなど）は、複数のシーンの効率的な音響分析を提供できる手持ち式音響撮像ツールの単一の筐体によって支持され得る。このような手持ち式音響撮像ツールは、複数の目標物体を迅速に分析するために、シーンからシーンに移動されることがある。同様に、手持ち式ツールを使用すると、ユーザはシーン内の幕表位置に近づいて、さらなる点検又は分析をすることができる。
【０２３１】
本明細書では、音響撮像を実行し、音響画像データを生成及び表示するための様々なシステム及び方法がここに説明されている。例示的なシステムは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成された複数の音響センサ要素を含む音響センサアレイを含むことができる。
【０２３２】
システムは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含むことができる。そのような撮像ツールは、赤外線撮像ツール、可視光撮像ツール、紫外線撮像ツールなど、若しくはそれらの組み合わせを含むことができる。
【０２３３】
システムは、音響センサアレイと電磁撮像ツールと通信するプロセッサを含むことができる。プロセッサは、電磁撮像ツールから電磁画像データを受信し、音響センサアレイから音響データを受信するように構成され得る。プロセッサは、例えば、バックプロパゲーション計算を介して、受信した音響データと、ターゲットまでの距離を表す受信した距離情報に基づいて、シーンの音響画像データを生成するように構成され得る。音響画像データは、本明細書の他の場所で説明されているような調色若しくは配色などによる音響データの視覚的表現を含むことができる。
【０２３４】
プロセッサは、生成された音響画像データと受信した電磁画像データとを組み合わせて、音響画像データと電磁画像データの両方を含むディスプレイ画像を生成し、ディスプレイ画像をディスプレイに通信するように構成され得る。音響画像データと電磁画像データとの組み合わせは、例えば、受信した距離情報に基づいて、音響画像データと電磁画像データとの間の視差エラーを補正することを含むことができる。
【０２３５】
ある例では、距離情報は、プロセッサと通信する距離測定ツールから受信することができる。距離測定ツールは、例えば、レーザ距離測定装置などの光学距離測定装置、及び／又は音響距離測定装置を含むことができる。その上若しくはそれとは別に、ユーザは、例えば、ユーザインタフェースを介して、手動で距離情報を入力することができる。
【０２３６】
システムは、周波数、デシベルレベル、周期性、距離など、若しくはそれらの組み合わせなどの選択されたパラメータに基づいて、音又は音プロファイルなどの目標ポイントの位置を特定するのを助けるためのレーザポインタを含むことができる。このようなレーザポインタは、シーンの視野をディスプレイに表示される適切な音の視覚化と正確に合わせるとともに、整列するために使用されることがある。これは、点検下の物体が音響撮像装置に対して離れている環境、若しくは、ディスプレイ上の音の視覚化が実際のシーンに対してどこにあるかが明確でない場合に役立つ。
【０２３７】
ある例では、レーザポインタは、ディスプレイ上に視覚化され得る。そのような視覚化は、実際のシーンにおけるレーザポインタを表すディスプレイ上に（例えば、プロセッサを介して）レーザポインタスポットを生成することを含むことができる。ある例では、レーザポインタの位置は、例えば、シーン内のレーザポインタを表すアイコン又は別の整列されたディスプレイマーカによりディスプレイ上で強調され、実際のシーンに対するディスプレイ上の位置をより適切に決定することができる。
【０２３８】
本明細書の他の個所で説明するように、熱画像システムは、音響画像データを作成することなどによって、一又はそれ以上の音響センサによって生成された音響データの偽色（例えば、調色された）、記号、又は他の非数値視覚表現を作成するように構成され得る。その上若しくはそれとは別に、システムは、スピーカ、ヘッドホン、有線又はリモート通信ヘッドセットなどを介して、ユーザに音声フィードバックを提供することができる。このような音声又はヘテロダイン音声の送信は、検出及び表示された音の視覚的表現に同期させることができる。
【０２３９】
様々な例において、音響データは、例えば、そのようなデータの理解を容易にし、視聴者が視覚化される音の性質について誤った想定をすることを防ぐために、様々な方法で視覚化することができる。ある例では、異なるタイプの視覚化が、視覚化された音の直感的な理解を提供することを可能にする。
【０２４０】
ある実施形態では、生成されたディスプレイは、視覚化されている音に関する情報の完全な提示を提供するために、数値及び／又は英数字のコンテキストデータを伴う非数値視覚表現を含み、これは、ユーザが一又はそれ以上の適切な行動方針を決定及び／又は実施するのを支援することを可能にする。
【０２４１】
様々な非数値グラフィック表現（例えば、記号、調色など）や英数字情報を含む様々な表示特徴は、組み合わせることができる。ある実施形態では、所定のシーン表現に存在する表示特徴は、例えば、複数の選択可能な設定から、ユーザによってカスタマイズされ得る。その上若しくはそれとは別に、表示特徴の事前設定された組み合わせは、ユーザにより選択されて、ディスプレイ画像に情報の所望の組み合わせを自動的に含めることを可能にする。様々な実施形態では、ディスプレイ画像の態様は、例えば、仮想インタフェース（例えば、タッチスクリーンを介して提供される）及び／又は物理的制御を介して、ユーザによって調整可能である。
【０２４２】
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。図示されているように、音響パラメータ（例えば、強度）は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を介して示されている。例示的なグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）では、パラメータ値は、調色技術に従ってそれに関連付けられた固有の色を有する。所与のピクセルでのパラメータ値の変更は、通常、そのピクセルに関連付けられた色の変更をもたらし、新しいパラメータ値を表す。図１４の例に示されるように、音響パラメータ値は、位置２３２、２３４、２３６において、音響信号の中心位置から半径方向に変化するように見える。グラデーション調色の他の例は、２０１７年１１月２日に出願され、本出願の譲受人に譲受された米国特許出願第１５／８０２，１５３号に記載されている。
【０２４３】
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。あるそのような例では、パラメータ値に関連付けられた色を有するグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）とは対照的に、図１５に示される同心円のそれぞれの同一色は、その色に関連付けられた値の範囲内の音響パラメータ値を有するピクセルを表すことができる。図示の例では、位置３３２、３３４、３３６における音響信号に関連する音響パラメータ（例えば、強度）は、音響信号の中心から半径方向に変化している。例示的な調色技術において、赤で示されるピクセルは、パラメータ値の第１の範囲内の音響パラメータ値を表し、黄色で示されるピクセルは、パラメータ値の第２の範囲内の音響パラメータ値を表し、緑で示されるピクセルは、パラメータ値の第３の範囲内の音響パラメータ値を表すが、追加又は代替の色、パターンなどを含む他の表示技術が可能である。様々な実施形態において、値の範囲は、１０ｄＢ〜２０ｄＢの間の強度値などの絶対範囲に対応することができるか、又は最大強度の９０％〜１００％の間の強度値などの相対範囲であり得る。
【０２４４】
本明細書の他の個所で説明するように、ある実施形態では、電磁画像データと音響画像データを含むディスプレイ画像は、音響信号の視覚的表示と音響信号に関連する一又はそれ以上のパラメータの英数字表現の両方を含むことができる。図１６は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を示す例示的な視覚化を示している。図示の例では、英数字音強度値ラベルが、調色された音響画像データ（例えば、強さのデータ）を有する３つの位置のそれぞれに関連付けられている。図示されているように、音響信号は、それに関連する音響パラメータ（１６０２、１６０４、１６０６）、と英数字情報（それぞれ、１６１２、１６１４、１６１６）を表す対応する視覚的インジケータを有する。例示的な実施形態では、英数字情報は、調色された音響データが表示される位置に関連する最大強度値などの数値を提供することができる。ある例では、ユーザは、調色及び／又は英数字データを表示するための一又はそれ以上の位置を選択し得る。例えば、ユーザは、シーン内の一又はそれ以上の音響信号に関連する音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
【０２４５】
ある例では、英数字情報は、シーン内の所与の位置での音響信号に関連する複数のパラメータ（例えば、音響パラメータ）を表すことができる。図１７は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を含む視覚化の例を示している。図示の例では、音の強度値と対応する周波数値（例えば、平均周波数又はピーク周波数）が、それぞれインジケータ１７０２、１７０４、１７０６を介して示される調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１７１２、１７１４、１７１６に示されている。図１６に関して説明したのと同様に、様々な位置での様々なそのようなデータの包含は、ユーザによって開始されることができる。例えば、ユーザは、シーン内の一又はそれ以上の音響信号に関連する一又はそれ以上の音響パラメータの英数字表現を使用して、ディスプレイ画像に注釈を付けることを選択し得る。
【０２４６】
図１８は、非数値情報（例えば、パラメータ値範囲を介した調色）と英数字情報の両方を示す別の例示的な視覚化を示している。図示の例では、距離測定が、それぞれインジケータ１８０２、１８０４、１８０６を介して示される、調色された音響データ（例えば、強度データ）を有する３つの位置のそれぞれに関連する英数字情報１８１２、１８１４、１８１６と共に含まれている。図１６に関して説明したのと同様に、様々な位置に様々なそのようなデータを含めることは、例えば、ディスプレイ画像注釈の一部として、ユーザによって選択され得る。
【０２４７】
ある例では、非数値表現が、複数の音響パラメータに関連する情報を伝達するために使用されることがある。例えば、図１９は、異なる音響パラメータ値を表す異なるサイズと色のインジケータ１９０２、１９０４、１９０６（この場合、円）を示す例示的な視覚化を示している。例示的な実施形態では、インジケータのサイズは、所与の位置での音響信号の強度に対応し、インジケータの色は、ピーク又は平均周波数に対応している。例示的な実施形態では、あるインジケータのサイズを別のインジケータのサイズと比較することが、インジケータに関連付けられた位置で表される音響パラメータ値間の相対差を表すように、インジケータサイズは相対値を示すことができる。その上若しくはそれとは別に、英数字情報は、絶対的又は相対的な音響パラメータ値を提供するために、含められ得る。
【０２４８】
ある実施形態では、色付きインジケータが、一又はそれ以上の検出された音響信号、及び／又は、基準パラメータからの逸脱量などの関連する音響パラメータの重大度を表すために使用されることがある。図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータ２００２、２００４、２００６を示す例示的な視覚化を示している。例えば、例示的な実施形態では、赤色のインジケータは、（例えば、典型的な動作条件の基準などの基準と比較した場合）もう１つの音響パラメータに基づく重大な重大度を示し、黄色のインジケータは中程度の重大度を示し、緑色はインジケータは軽度の重大度を表す。他の例では、他の配色又は外観特性（例えば、インジケータの透明度、インジケータのサイズなど）が、音響信号の重大度を視覚的に区別するために使用されることがある。図示の例では、インジケータ２００４は最大レベルの重大度を表し、インジケータ２００６は次に大きいレベルを表し、インジケータ２００２は最も重大度の低い音響信号を表している。
【０２４９】
本明細書の他の個所で説明するように、様々な実施形態では、一又はそれ以上の音響パラメータが、例えば、調色されたカラーディスプレイ又はグレースケールディスプレイによって、音響シーンの視覚的表現に表示されることがある。ある実施形態では、システムは、特定された周波数範囲、強度範囲、距離範囲などのような、一又はそれ以上の音響条件を満たすシーン内の一又はそれ以上の位置を特定するように構成され得る。ある例では、（例えば、特定のセットの条件又はパラメータを満たす）音響プロファイルに対応する様々な位置が特定され得る。そのような特定された位置は、ディスプレイ画像を作成する際に他の方法で使用される音響画像データ調色技術とは異なる方法で提示され得る。例えば、図２１は、シーン内の複数の位置におけるインジケータを含むシーンを示している。インジケータ２１０１、２１０２、２１０３、２１０４、及び２１０５は、シーン内に配置される。インジケータ２１０３、２１０４、及び２１０５は、例えば、スケール２１１０に対応する一又はそれ以上の音響パラメータの値を表す、調色された音響画像データを含んでいる。インジケータ２１０１及び２１０２は、位置２１０３、２１０４、及び２１０５に現れる調色技術と区別できる独特の提示技術を有することが示されている。そのような実施形態では、ユーザは、一又はそれ以上の所望の条件を満たす画像内のそれらの位置を迅速かつ容易に特定し得る。あるそのような例では、ユーザは、例えば、２１１０などのスケールからの値の範囲の選択に基づいて、区別できる方法で表示するための一又はそれ以上の所望の条件を選択し得る。
【０２５０】
その上若しくはそれとは別に、特定の音響プロファイルの条件を満たす位置は、対応する音響プロファイルなど、満たされた条件を表すアイコンで提示することができる。例えば、図２２は、シーン内の認識された音響プロファイルを示すディスプレイ画像内に配置された複数のアイコン２２０２、２２０４、２２０６、２２０８を示している。図２２に示される例示的なプロファイルは、ベアリングの摩耗、空気漏れ、及び電気アーク放電を含む。そのようなプロファイルは、そのようなプロファイルに分類されるために、そのようなプロファイルに関連付けられた一又はそれ以上のパラメータのセットを満たす音響信号によって特定され得る。
【０２５１】
図２３は、各音響信号に関連する音響強度を表す同心円と英数字情報を使用して、複数のインジケータ２３０２、２３０４及び２３０６を介した音響データを示す別の例示的なディスプレイ画像を示している。本明細書の他の位置で説明するように、ある例では、インジケータのサイズは、対応する位置に存在する一又はそれ以上の音響パラメータを表すことができる。ある実施形態では、インジケータは単色であることがあり、インジケータサイズ、線の太さ、線のタイプ（例えば、実線、破線など）などによって、一又はそれ以上の他の方法で音響パラメータを示すことができる。
【０２５２】
ある例では、ディスプレイは、ユーザによって行われた選択に基づく英数字情報を含むことができる。例えば、ある実施形態では、システムは（例えば、プロセッサを介して）、そのような位置での（例えば、ユーザインタフェースを介した）ディスプレイ上のインジケータのユーザ選択に応答して特定の位置に位置する音響信号の一又はそれ以上の音響パラメータを表す情報を含むことができる。図２４は、表示された音響信号に関連するインジケータ及び追加の英数字情報を有する例示的なディスプレイ画像を示している。一例では、ディスプレイ上のインジケータ２４０２は、さらなる分析のために選択され得る（例えば、十字線を介して表され、これは、タッチスクリーン入力を介するなど、選択を示すことができる）。ディスプレイは、ピーク強度及び対応する周波数、周波数範囲、位置までの測定距離、並びにその位置からの音響信号によって示される臨界レベルを含む、インジケータに対応する位置に関連するデータのリストを含む英数字情報２４０４を示している。
【０２５３】
ある例では、ディスプレイ画像は、シーン内の対応する複数の音響信号を表す複数のインジケータを含むことができる。ある実施形態では、そのような場合、ユーザは、一又はそれ以上のインジケータを（例えば、タッチスクリーン又は他のユーザインタフェースを介して）選択することがあり、選択の検出に応答して、プロセッサは、音響信号に関する追加情報を提示し得る。このような追加情報には、一又はそれ以上の音響パラメータの英数字を含めることができる。ある例では、そのような追加情報は、複数の音響信号に対して同時に表示することができる。他の例では、所与の音響信号に関するそのような追加情報は、別の音響信号が選択されるときに隠される。
【０２５４】
本明細書の他の場所で説明されているように、ある例では、システムはレーザポインタを含むことができる。ある例では、レーザポインタは、固定された方向を有することができるか、若しくは、例えば、プロセッサを介して制御可能な調整可能なポインティングを有することができる。ある例では、システムは、画像内の選択された位置に関連付けられたターゲットシーン内の位置にレーザポインタを向けるように構成され得る。図２５Ａは、インジケータ２５０２が選択されている、図２４に示されているディスプレイなどのディスプレイを含むシステム（ある例では、手持ち式ツールとして具体化されている）を示している。レーザポインタ２５０４は、シーンに向かってレーザビーム２５０６を放出し、レーザは、画像内の選択されたインジケータ２５０２の位置に対応してシーン内にレーザスポット２５０８を作成する。これは、ユーザが環境内の選択及び／又は分析された音響信号の位置を視覚化するのに役立たせることができる。ある実施形態では、レーザスポット２５０８は、電磁撮像ツールによって検出可能であり、表示されたインジケータ２５０２と、音響パラメータ情報を含む英数字情報２５１２と共にディスプレイ上に見ることができる。ある例では、音響撮像システムは、シーン内のレーザの位置を検出又は予測し、レーザ位置の視覚的表示２５１０を提供するように構成されている。図２５Ｂは、図２５Ａのシステムビューに示されるようなディスプレイ画像を示している。
【０２５５】
レーザポインタが固定された向きを有する実施形態では、ユーザは、レーザ位置を視覚的に示すディスプレイ画像をフィードバックとして見ることができ、その結果、ユーザは、選択された音響信号と一致するようにレーザの照準を調整することができる。
【０２５６】
本明細書の他の個所で説明するように、ある実施形態では、音響画像データを電磁画像データと組み合わせて、ディスプレイ画像で提示することができる。ある例では、音響画像データは、電磁画像データの様々な側面が完全に隠されないように調整可能な透明度を含むことができ、図２６は、シーン内のある位置でインジケータ２６０２によって表される音響画像データを示し、インジケータ２６０２は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を含んでいる。システムは、音響撮像ツールと一体若しくは別個である表示装置であって、電磁画像データと音響画像データを含む表示データを提示するように構成された表示装置を含むことができる。
【０２５７】
ある実施形態では、装置（例えば、手持ち式音響撮像ツール）は、物理的ブレンド制御２６１４（例えば、ユーザインタフェースの一部として含まれ得る一又はそれ以上のボタン、ノブ、スライダーなど）及び／又はタッチスクリーン若しくは他の仮想的に実装されたインタフェースを介するなどの仮想ブレンド制御２６０４を含むことができる。ある実施形態では、そのような機能は、スマートフォン、タブレット、コンピュータなどの外部ディスプレイ装置によって提供され得る。
【０２５８】
図２７は、部分的に透明な同心円調色技術を含む、ディスプレイ画像のための仮想及び／又は物理的ブレンド制御ツールを示している。図２６に関する説明と同様に、インジケータ２７０２は、シーン内の音響信号を表すことができる。音響撮像システムは、ディスプレイ画像内の音響画像データ（例えば、インジケータ２７０２）の透明度を調整するために使用することができる物理的ブレンド制御２７１４及び／又は仮想ブレンド制御２７０４を含むことができる。
【０２５９】
その上若しくはそれとは別に、物理的及び／又は仮想インタフェースが、一又はそれ以上の表示パラメータを調整するために使用され得る。例えば、ある実施形態では、一又はそれ以上のフィルタが、本明細書の他の場所で説明するような、一又はそれ以上の条件を満たす音響画像データを選択的に表示するために、適用され得る。図２８は、一又はそれ以上のフィルタを満たすシーン内の位置を示す（例えば、一又はそれ以上の対応する閾値又は所定の条件を満たす一又はそれ以上の音響又は他のパラメータを有する）グラデーション調色を有するインジケータ２８０２を含むシーンを示している。様々な例において、フィルタ処理は、物理的制御２８１４（例えば、一又はそれ以上のボタン、ノブ、スイッチなどを介して）及び／又は仮想制御２８０４（例えば、タッチスクリーン）を介して選択及び／又は調整され得る。図示の例では、フィルタは、音響パラメータの事前定義された範囲２８０６内にある音響パラメータ（例えば、周波数）を有する音響信号のみの音響画像データを表示することを含む。図示されているように、事前定義された範囲２８０６は、可能なフィルタ範囲２８１６のサブセットである。ある例では、ユーザは、例えば、仮想２８０４又は物理２８１４的制御を介して、フィルタ効果を調整するために、事前定義された範囲２８０６の制限を調整し得る。
【０２６０】
図２９は、部分的に透明な同心円調色技術を含む、ディスプレイ画像の仮想及び／又は物理的なフィルタ調整を示している。図示されるように、インジケータ２９０２は、フィルタに基づく値の所定の範囲２９０６内にある音響パラメータに基づいて、シーン内に示される。フィルタは、例えば、仮想２９０４及び／又は物理的な２９１４制御を介して、値の範囲２９１６内で調整可能であり得る。
【０２６１】
ある実施形態では、複数のフィルタが、調色された音響画像データを含むディスプレイ画像をカスタマイズするために利用されることがある。図３０は、第１のインジケータと第２のインジケータを示すディスプレイ画像を示している。本明細書の他の個所で説明するように、一又はそれ以上のフィルタが、（例えば、物理的フィルタ制御及び／又は仮想フィルタ制御を介して）ディスプレイ画像に適用され、表示されたデータをカスタマイズすることができる。図３０の図示の例では、フィルタ処理は、第１のフィルタ範囲３００６と第２のフィルタ範囲３００８を確立することを含んでいる。ある例では、フィルタ範囲は、例えば、仮想３００４及び／又は物理的３０１４制御を介して、値の範囲３０１６内で調整可能であり得る。
【０２６２】
このようなフィルタ範囲は、周波数、振幅、近接度など、様々なパラメータのいずれかを表すことができる。図示されているように、第１のフィルタ範囲と第２のフィルタ範囲はそれぞれ色に関連付けられ（ある例では、ユーザによって調整可能である）、インジケータ３００２、３０１２は、対応する音響信号が各フィルタ範囲に関連付けられる一又はそれ以上のフィルタ条件を満たす画像内の位置に配置される。図示されているように、第１のインジケータ３００２は、第１のフィルタ範囲３００６（暗い陰影で示される）を満たす音響信号を表し、第２のインジケータ３０１２は、第２のフィルタ範囲３００８（明るい陰影で示される）を満たす音響信号を表している。したがって、ユーザは、どの位置がどの条件を満たすかを特定しながらも、同時に様々な条件を満たす音響データを有するシーン内の位置を迅速に特定することができ得る。
【０２６３】
ある例では、音響撮像ツール又は外部ディスプレイ装置などのディスプレイ装置は、図３１に示されるような入力装置として仮想キーボードを含むことができる。図３１は、シーン内の音響信号の一又はそれ以上の音響パラメータを表すインジケータ３１０２を含むディスプレイインタフェースを示している。仮想キーボード３１１０がディスプレイに含まれており、これを使用して、英数字情報３１１２をディスプレイ画像に追加することができる。このような仮想キーボードを利用することは、画像と共に保存できる様々な点検メモ、ラベル、日付／タイムスタンプ、又はその他のデータなど、カスタマイズされた注釈をユーザに入力させることを可能にする。様々な例において、仮想キーボードが使用されて、画像データに含まれる、及び／又は、ディスプレイ画像に関連付けられたメタデータに記憶されることなどによって画像データに追加されるテキストを追加することができる。
【０２６４】
様々な装置が使用されて、音響画像データと、英数字データ、一又はそれ以上の電磁スペクトルからの画像データ、記号などの他のデータとの様々な組み合わせを含むディスプレイ画像を提示することがある。ある例では、手持ち式音響撮像ツールは、ディスプレイ画像を提示するためのビルトインディスプレイを含むことができる。他の例では、表示されるべき情報、若しくは、表示を生成するために処理されるデータ（例えば、生のセンサデータ）は、表示のために外部装置に通信され得る。そのような外部装置は、例えば、スマートフォン、タブレット、コンピュータ、ウェアラブル装置などを含むことができる。ある実施形態では、ディスプレイ画像は、拡張されたリアルティタイプのディスプレイにおいて、リアルタイムの電磁画像データ（例えば、可視光画像データ）と組み合わせて提示される。
【０２６５】
図３２は、ユーザに着用され得るアイウェア３２１０に組み込まれたディスプレイを示している。ある例では、アイウェアは、関連部分が参照により本明細書に組み込まれる「試験及び測定ツールに組み込まれるか、若しくは、付属される撮像ツールからの画像表示（ＤＩＳＰＬＡＹ  ＯＦ  ＩＭＡＧＥＳ  ＦＲＯＭ  ＡＮ  ＩＭＡＧＩＮＧ  ＴＯＯＬ  ＥＭＢＥＤＤＥＤ  ＯＲ  ＡＴＴＡＣＨＥＤ  ＴＯ  Ａ  ＴＥＳＴ  ＡＮＤ  ＭＥＡＳＵＲＥＭＥＮＴ  ＴＯＯＬ）」と題され、本出願の譲受人に譲受された米国特許公開第２０１６００７６９３７号に記載されるような一又はそれ以上の組み込まれた撮像ツールを含むことができる。あるそのような例では、統合ディスプレイは、リアルタイムディスプレイ画像３２２０を表示することができる。例えば、ディスプレイは、ユーザが向いているシーンを表す電磁画像データ（例えば、可視光画像データ）を表示することができ、同時に（例えば、ブレンド、オーバレイなどを介して）、音響画像データ（例えば、インジケータ３２０２を含む）などの一又はそれ以上の追加のデータストリームを表示して、ユーザに追加情報を提供することができる。ある実施形態では、図３２に示されるようなアイウェアは、透明な表示画面を含み、その結果、ディスプレイ画像がディスプレイに提供されない場合、ユーザは、リアルタイム可視光画像データを提示されるのではなく、アイウェアを通して自分の目で直接シーンを見ることができる。あるそのような例では、音響画像データ、英数字データなどの追加のデータが、ユーザの視野内の他の透明なディスプレイに表示して、ユーザは、ディスプレイを介してシーンの自分の視野に加えてそのようなデータを見ることができる。
【０２６６】
本明細書の他の個所で説明するように、様々な例において、ディスプレイ画像に提示される様々なデータは、他のデータストリームとのブレンド（例えば、音響画像データと可視光画像データとのブレンド）を含む様々な方法で組み合わせることができる。ある例では、ブレンドの強さは、単一のディスプレイ画像内の異なる位置間で異なる可能性がある。ある実施形態では、ユーザは、複数の位置のそれぞれ（例えば、検出された音響信号の複数のインジケータのそれぞれ）のブレンド比を手動で調整することができる。その上若しくはそれとは別に、ブレンドは、周波数、振幅、近接度などのような一又はそれ以上のパラメータの関数であり得る。
【０２６７】
ある実施形態では、音響撮像ツールは、センサアレイが検出された音響信号を放出している複数の位置のそれぞれを指している程度を特定し、対応する音響画像データを、例えば、可視光画像データとブレンドするように構成され得る。図３３Ａは、音響シーンにおける音響信号を表す第１のインジケータ３３０２と第２のインジケータ３３０４を含む例示的なディスプレイを示している。図３３Ａでは、音響センサは、第２のインジケータ３３０４の位置に対応するパイプ２と比較した場合、第１のインジケータ３３０２の位置に対応するパイプ１をより直接的に指している。したがって、図３３Ａの表示技術では、第１のインジケータ３３０２は、第２のインジケータ３３０４よりも目立つように表示される（例えば、より高いブレンド係数又はより低い透明度を有する）。逆に、図３３Ｂで、音響センサは、第１のインジケータ３３０２の位置に対応するパイプ１と比較した場合、第２のインジケータ３３０４の位置に対応するパイプ２をより直接的に指している。したがって、図３３Ｂの表示技術では、第２のインジケータ３３０４は、第１のインジケータ３３０２よりも目立つように表示される（例えば、より高いブレンド係数又はより低い透明度を有する）。一般に、ある実施形態では、音響撮像システムは、センサが所与の位置に向けられている程度を示すメトリックを決定し（例えば、音響画像データのインジケータに対応して）、それに応じた位置に対応するブレンド比を調整することができる（例えば、照準の程度が大きいほど、対応してブレンド率が高くなる）。
【０２６８】
本明細書では、音響撮像を実行し、音響画像データを生成及び表示するための様々なシステムや方法が説明されている。例示的なシステムは、音響シーンから音響信号を受信し、受信した音響信号に基づいて音響データを出力するように構成された複数の音響センサ要素を含む音響センサアレイを含むことができる。
【０２６９】
システムは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールを含むことができる。そのような撮像ツールは、赤外線撮像ツール、可視光撮像ツール、紫外線撮像ツールなど、若しくはそれらの組み合わせを含むことができる。
【０２７０】
システムは、音響センサアレイと電磁撮像ツールと通信するプロセッサを含むことができる。プロセッサは、電磁撮像ツールから電磁画像データを受信し、音響センサアレイから音響データを受信するように構成され得る。プロセッサは、例えば、バックプロパゲーション計算を介して、受信した音響データ及びターゲットまでの距離を表す受信した距離情報に基づいて、シーンの音響画像データを生成するように構成され得る。音響画像データは、本明細書の他の場所で説明されているような調色又は配色技術などによる音響データの視覚的表現を含むことができる。
【０２７１】
プロセッサは、生成された音響画像データと受信した電磁画像データとを組み合わせて、音響画像データと電磁画像データの両方を含むディスプレイ画像を生成し、ディスプレイ画像をディスプレイに通信するように構成され得る。音響画像データと電磁画像データとの組み合わせは、例えば、受信した距離情報に基づいて、音響画像データと電磁画像データとの間の視差エラーを補正することを含むことがある。
【０２７２】
場合によっては、動作中に、シーンの適切な分析及び報告活動を実行するために、追加のコンテキスト情報が必要若しくは所望されることがある。例えば、ある例では、シーンを音響的に撮像するとき、ユーザ又は技術者は、音響データが収集された位置を記録することを望むことがある。
【０２７３】
以前のシステムでは、このタスクを実行するために、ユーザ又は技術者は、位置情報を確認するために、若しくは、そうでなければ位置を推測するために、以前は二次装置を利用する必要があった。さらに、ユーザ又は技術者は、以前は通常、点検から収集された情報を手動で記録して、後で音響データと同期させる必要があった。しかし、このプロセスは、データの収集、再収集、及び不一致のエラーになることがあり、そのうちのいずれかかが、分析又は報告の実行時のエラーになることがあり得る。
【０２７４】
本開示によるある実施形態では、音響撮像システムは、音響撮像ツール及び／又は音響撮像システムの構成要素の一又はそれ以上の位置決めパラメータを示す位置情報を生成することができる一又はそれ以上の位置感知装置（例えば、図１の位置センサ１１６）を含むことができる。手持ち式音響撮像ツールに組み込まれた音響撮像システムなどのある例では、そのような一又はそれ以上の位置決め装置が、手持ち式ツールの筐体に含められることがある。ある例では、そのような位置決め装置は、音響撮像装置又はシステムに存在する他の装置に対応する位置データを収集するように構成され得る。位置決め装置は、位置データを保存又はアーカイブできるシステムプロセッサと通信するように構成され得る。その上若しくはそれとは別に、プロセッサは、位置データの全部若しくは一部を、音響画像データ、電磁画像データ、及び／又は、ディスプレイ画像データなど、音響撮像装置によって収集された他のデータに関連するメタデータに組み込むように構成され得る。ある例では、プロセッサは、画像データの一又はそれ以上のストリームへの写真又はビデオの注釈として位置情報を含めることができる。その上若しくはそれとは別に、メタデータは、後で（例えば、音響撮像システム又は別個のワークステーションを介して）呼び出されたときに表示することができる。
【０２７５】
例示的な実施形態では、音響撮像システムは、音響信号及び電磁放射（例えば、可視光、赤外線など）と同時に又はほぼ同時に位置情報を取り込み、そのようなデータを一緒に保存して、そのようなデータの任意の組み合わせが将来的に分析又は表示されるように使用されることがある。
【０２７６】
ある例では、音響撮像システム内の一又はそれ以上の位置決め装置は、ＧＰＳ、ＧＭＳセルラ三角測量無線機、他の三角測量センサなどの測位モジュールを含むことができる。測位モジュールは、システムの位置を示す情報を決定し、（例えば、システムプロセッサに）出力するように構成され得る。ある実施形態では、測位モジュールは、音響画像データ及び／又は電磁画像データと組み合わせて位置データを記録することができる。様々な例において、測位モジュールは、位置データを自動的に及び／又はユーザ入力に基づいて記録することができる。
【０２７７】
その上若しくはそれとは別に、一又はそれ以上の位置決め装置のうちの１つは、ジャイロスコープ、加速度計、コンパスなどの慣性測定装置を含むことができる。慣性測定モジュールは、音響撮像装置又は音響撮像システムの構成要素の傾き、向き、及び／又はコンパス向首方向に関する情報を決定し、（例えば、システムプロセッサに）出力するように構成され得る。
【０２７８】
システムは、様々な形式で、位置データを記録し、例えば、装置上やソフトウェアで後で表示するように構成できる。位置データは、ディスプレイに表示されることも、メタデータとして組み込まれることもできる。位置データは、数値、アルファベット、グラフ、記号など、様々な方法で表すことができる。その上若しくはそれとは別に、位置データは、例えば、再配置、説明、報告、若しくは分析作業のために、衛星地図、空中撮像地図、地形図、又は他の地図にマッピングされ得る。
【０２７９】
ある実施形態では、ディスプレイ画像は、可視光画像データと音響画像データに加えて、位置情報を含むことがあり得る。図３４及び図３５は、２つの異なる位置で取り込まれた物体（送電用鉄塔）を表す音響画像データと電磁画像データを含むディスプレイ画像の例を示している。
【０２８０】
図３４は、シーン内の音響信号を表す複数のインジケータ３４０４Ａ〜３４０４Ｄを含むディスプレイ画像３４１０を示している。ディスプレイ画像３４１０は、例えば、ＤＭＳ、ＤＤ、及びＧＥＯＨＡＳＨ座標を含むことができるジオロケーション情報３４１４並びに測位及び傾き情報３４１２などの位置情報を含んでいる。図示されているように、位置データ（例えば、ジオロケーション情報と傾き情報）は、テキストで表現され、ディスプレイ画像上にオーバレイされ得る。その上若しくはそれとは別に、ディスプレイ画像は、ディスプレイに隣接して又は別個のディスプレイ上に表示される位置データを含むことがあり、及び／又は、グラフィック、記号などの位置データの様々なグラフィック表現を含み得る。ある例では、位置情報は、ディスプレイにコントラストを提供する方法でディスプレイ画像上に表すことができる。
【０２８１】
図３５は、シーン内の音響信号を表す複数のインジケータ３５０４Ａと３５０４Ｂを含むディスプレイ画像３５１０を示している。図３４に示されているのと同様に、ディスプレイ画像３５１０は、例えば、ＤＭＳ、ＤＤ、及びＧＥＯＨＡＳＨ座標を含むことができるジオロケーション情報３５１４並びに測位及び傾き情報３５１２などの位置情報を含んでいる。
【０２８２】
図３４及び図３５は、一般に、重複するシーンを表す（例えば、両方とも鉄塔３４３６を含む）。しかしながら、図３４に表されているすべての音が図３５に示されるわけではない。異なる視点から同様のターゲットを取り込んだ画像は、ターゲットに関する追加の詳細を提供でき、含まれている位置情報は、画像の相対位置がどのように関連しているかに関する情報を提供できる。
【０２８３】
ある例では、様々な位置からあるシーンの複数の画像が取り込まれる場合、一又はそれ以上のパラメータが、シーンからの音響信号が音響画像上に表されるかどうか、及び、そのような音響信号が周波数、デシベルレベル、周期性、距離など、どのように表されるかに影響を及ぼし得る。例えば、図３４のディスプレイ画像３４１０内の音響信号を表す一又はそれ以上のインジケータは、音響信号が長距離にわたって伝播しないような強度又は周波数特性を有し得る。したがって、そのような音響信号は、ある画像が別の画像よりも音響信号源の近くで取り込まれるという理由だけで、第２のディスプレイ画像ではなく、１つのディスプレイ画像に表示され得る。その上若しくはそれとは別に、シーン内の障害物は、どの音が異なる位置で取り込まれるかにさらに影響を与える可能性がある。
【０２８４】
図３４及び３５に示されているように、ジオロケーション情報３４１４及び３５１４は、それぞれ、ディスプレイ画像３４１０及び３５１０上に示され得る。ジオロケーション情報は、ＤＭＳ、ＤＤ、及びＧＥＯＨＡＳＨ座標を含むことができる。また、内部測定情報３４１２及び３５１２は、それぞれディスプレイ画像３４１０及び３５１０に表示され得る。傾き情報は、方位、傾きデータなどを含むことができる。図示されているように、位置データ（例えば、ジオロケーション情報及び傾き情報）は、テキストで表現され、ディスプレイ画像上にオーバレイされ得る。その上若しくはそれとは別に、ディスプレイ画像は、ディスプレイに隣接して、又は、別個のディスプレイ上に表示される位置データを含むことがあり、及び／又は、グラフィック、記号などの位置データの様々なグラフィック表現を含み得る。ある例では、位置情報は、ディスプレイにコントラストを提供する方法でディスプレイ画像上に表すことができる。
【０２８５】
ある例では、音響撮像装置によって撮影された画像及び／又はビデオの相互の相対位置を確認することが有用であることがある。説明したように、ある例では、決定された位置情が地図又は他のディスプレイに表示され得る。図３６は、複数のディスプレイ画像に関連して取得された位置情報を表すマップビューを示している。図３６は、画像３４１０が取り込まれた位置３６２２と、画像３５１０が取り込まれた位置３６３３を示している。この例では、周辺地域の衛星ビューが表示されている。しかしながら、様々な地形的又は地図的表現が使用できることが理解される。様々な色、形、アイコン、及び／又は説明が使用されて、様々な位置を表すことができる。様々な例において、ユーザは手動で表現を選択することができ、及び／又は、そのような選択は自動的に実行され得る。ある実施形態では、位置又は他のデータセットは、同様又は類似の記号を使用することによって一緒にグループ化され得る。
【０２８６】
ある実施形態では、図３６に示されるような、画像に関連する位置情報に関連する地図作成又は他の表現は、例えば、取り込まれた画像の位置の将来の呼び出し又は分析のために、ディスプレイ画像のメタデータに記憶され得る。ある例では、単一の表現内の複数の位置に関連付けられた位置情報を有するディスプレイ画像（例えば、図３６に示される、それぞれ位置３６２２と３６３３を有する画像３４１０と３５１０）は、例えば、メモリ内で関連付けられ得る。
【０２８７】
ある点検又は分析プロセス中に、装置又は位置の関連するグループ化に関して、若しくは、時間ベースの傾向と研究のためなど、より正確な分析を実行するために、収集された様々なデータ及び／又は音響画像（例えば、音響画像データを含むディスプレイ画像）を関連付けることが役立つことがある。
【０２８８】
ある例では、注釈装置は、音響データ、電磁データ、表示データなどに関連付けることができる目に見える注釈を含むことができる。このような目に見える注釈は、ディスプレイにオーバレイしたり、別のディスプレイに表示したり、別途表示されるべく保存したりできる。そのような目に見える注釈は、電磁画像データ（例えば、可視光画像）を含む写真又はビデオ、特定の領域のズームされた可視光写真若しくは音響画像又は目標のターゲットに関連する情報、（ターゲットに電子的に配置若しくは投影された）グラフィックマーカを使用した可視光写真、並びにブレンドされた音響画像を含み得るが、これらに限定されるものではない。
【０２８９】
ある実施形態では、音響撮像システムは、グループ化を作成するために、２つ以上の音響画像ファイルを互いに関連付けるように構成されることがある。このようなグループ化は、様々な分析及びレポート作成プロセスに役立つ。様々なグループ化は、例えば、ユーザからのプログラム可能な入力を使用して（例えば、ユーザインタフェースを介して）、ユーザによって手動で、及び／又は、音響撮像システムによって自動的に管理され得る。ある実施形態では、ユーザからの入力は、一緒にグループ化される所定の数の生成された画像を指定すること、及び／又は、その期間中に生成された画像が一緒にグループ化される期間を選択することを含み得る。その上若しくはそれとは別に、音響撮像システムは、どの音響ファイルが一緒にグループ化されるかを決定するために複数の入力を受け取り得る。例えば、音響撮像システムは、ユーザから２つの入力を受け取ることがあり、第１の入力の後、第２の入力の前に生成された音響画像ファイルは、一緒にグループ化される。ある例では、ユーザは、画像が自動的にグループ化されるように自動グループ化技術を設定することがあり、グループを手動で更新して、自動作成されたグループに画像を追加したり、グループから画像を削除したりし得る。
【０２９０】
ある注釈、タグ付け、及び関連付け技術は、「赤外線画像の可視画像注釈、タグ付けと赤外線画像関連付け(Ｖｉｓｕａｌ  Ｉｍａｇｅ  Ａｎｎｏｔａｔｉｏｎ，  Ｔａｇｇｉｎｇ  ｏｆ  Ｉｎｆｒａｒｅｄ  Ｉｍａｇｅｓ，  ａｎｄ  Ｉｎｆｒａｒｅｄ  Ｉｍａｇｅ  ｌｉｎｋｉｎｇ)」と題された米国特許第９，１７６，９９０号に記載されているように実行することができ、これは本出願の譲受人に譲受され、その関連する部分が参照により本明細書に組み込まれる。
【０２９１】
ある音響撮像プロセス中に、音響画像データ（及び、ある実施形態では、それとブレンドされた電磁画像データなど）に加えて、例えば、分析されている装置の位置又はタイプを示すコンテキスト提供画像を取り込むことが有用であることがある。図３７は、一次音響画像を取り込み、関連する画像をそれに関連付ける例を示している。図３７は、音響撮像を介して分析されている送電用鉄塔３７３６及び補完装置の一次音響画像３７１０Ａ、ワイドショットビュー３７１０Ｂ、並びに拡大図３７１０Ｃを示している。ある例では、ワイドショットビジュアルタグは、シーン又は目標物体を取り巻く環境に関するより多くの情報を提供することができる。同様に、ズームされた視覚タグは、一次音響画像では明確に定義されていない標識、マーカ又は物体など、シーンに存在するより小さな物体又は詳細を特定するのに役立つことがある。
【０２９２】
図３７の例では、ワイドショットビジュアルタグ３７１０Ｂは、送電用鉄塔３７３６を取り囲む物体を示し、これは、送電用鉄塔の周囲の物体（例えば、遠くにある第２の塔）及び環境（例えば、送電用鉄塔３７３６は一般的にフィールド内にある）などの送電用鉄塔を取り囲む追加のコンテキストを提供し得る。４Ｘズームビジュアルタグ３７１０Ｃは、関連する画像を介して追加情報をすばやく取り込むことを可能にする。例えば、４Ｘズームビジュアルタグ３７１０Ｃに示されている標識３７６７は、様々な特定情報、送電用鉄塔によって支持される電線によって運ばれる電圧、若しくは他の情報など、送電用鉄塔３７３６に関する特定の情報を迅速に提供することができる。
【０２９３】
画像３７１０Ｂと３７１０Ｃを一次音響画像３７１０Ａに関連付けることは、ユーザが、ターゲットの環境又はターゲットの特定の詳細など、一次音響画像のターゲットに関する追加のコンテキストを迅速かつ容易に見ることを可能にする。一例では、そのような画像は、一次画像を見ているユーザが、例えば、そのような追加のコンテキスト情報にアクセスするために、それに関連する関連付けられた画像を迅速に表示できるように、メモリ内で関連付けられる。
【０２９４】
ある実施形態では、様々な時間、場所、又は位置で音響撮像装置によって収集されたデータが一緒に関連付けられて、様々な空間的及び／又は時間的傾向及び／又は特徴を示すことができる。図３８は、物体の異なる視点を示す複数の関連付けられた音響画像を示している。図３８を参照すると、目標物体を示す一次音響画像３８１０Ａは、目標物体の異なる視点を提供する複数の二次音響画像（例えば、３８１０Ｂ〜３８１０Ｅ）に関連付けることができる。図３８では、４つの二次音響画像がシーンの一次音響画像に関連付けられている。追加の４つの二次音響画像３８１０Ｂ〜３８１０Ｅは、送電用鉄塔３８３６に異なる視点を提供し、位置によって互いに関連付けられている。
【０２９５】
本明細書にリストされた位置情報又は他の関連情報を含む追加情報が使用されて、一次音響画像及び／又は二次音響画像に関連付けることができる。例えば、本明細書の他の場所で説明されるように、ある例では、音響撮像ツールは、例えば、システムの位置を示すＧＰＳ情報を決定するように構成された位置感知情報を含んでいる。場合によっては、そのような位置情報は、位置決めセンサから受信することができ、本明細書の他の個所で説明するように、音響画像又は画像ファイルと共に保存されるか、さもなければそれらに追加されることができる。ある実施形態では、互いの所定の距離内で取り込まれた画像は、位置によって自動的に関連付けることができる。その上若しくはそれとは別に、ユーザはそのような位置データを見て、そのような画像を関連付けることを選択することができる。場合によっては、システムは、ユーザが互いに所定の近接内で取り込まれた画像をグループ化することを望むかどうかをユーザに尋ねるように構成され得る。
【０２９６】
その上若しくはそれとは別に、音響撮像システムによって収集されたデータは、時間によって関連付けることができる。図３９は、時間による画像の関連付けの例を示している。図示されているように、５つの音響画像（３９１０Ａ〜３９１０Ｅ）は、５つの異なる時間に撮影されたシーンのほぼ同じ視点を提供する。場合によっては、そのような画像は、例えば、固定位置音響撮像システムによって周期的に取りこまれ得る。その上若しくはそれとは別に、５つの音響画像は、ユーザなどにより手動で取り込まれることがある。図３９に示されているように、シーン全体の音響特性は時間と共に変化し、ある位置は他よりも一貫した音響パラメータを有する。ある例では、そのような一連の関連付けられた画像は、例えば、音響シーンが時間と共に均一であるかどうかを示す傾向分析を提供することができる。ある実施形態では、そのような画像は、（例えば、ほぼ同じ見晴らしの良い位置から取り込まれるために）位置によって及び／又は時間（例えば、特定の期間又は間隔にわたって取り込むか、若しくは、１週間にわたって１日１回、１日の間に１時間に１回などで取り込まれた画像など所定のデータ収集頻度）によって関連付けられ得る。
【０２９７】
図３９に関して、様々な時点で、最大２つの音がシーン内の位置３９２０と３９２２に存在することが分かる。複数の画像がほぼ同じ視点から長期間にわたって撮影されたため、シーンに関する様々な情報は、関連付けられた音響画像３９１０Ａ〜３９１０Ｅを使用して判定され得る。図示されるように、音は５つの音響画像のそれぞれにおいて位置３９２２に存在するが、音は音響画像３９１０Ｂ、３９１０Ｃ、及び３９１０Ｅにおいては位置３９２０にのみ存在する。このことは、ユーザ又はプロセッサが、位置３９２２の音が比較的一貫した音であり、位置３９２０の音が周期的又はパルス音などの可変であり得るなど、位置３９２０と３９２２の音に関する追加情報を判定し得る。
【０２９８】
ある実施形態では、複数の関連付けられた音響画像のいずれも、複数のうちの「一次」音響画像と見なすことができる。ある例では、「一次」の指定は、例えば、ユーザが関連付けられている画像のセットを分析するために「一次」画像を選択することができる階層の一部として、ファイル構造内の位置若しくはファイルビューア内の表示に対応することができる。ある例では、後の分析中に、ユーザは、「一次」画像によって特定される関連付けられた画像の分析のために、それぞれが関連付けられた画像のセットを表す複数の「一次」画像から選択し得る。
【０２９９】
ある実施形態では、複数の画像で取り込まれた第１の画像は一次画像（例えば、図３９の音響画像３９１０）であると見なされ、その後、取り込まれ関連付けられた画像は、二次画像（例えば、図３９の音響画像３９１０Ｂ〜３９１０Ｅ）であると見なされる。同様に、ある例では、ユーザは、例えば、複数の画像のうちの第１の画像を取り込むときに、そのような画像を取り込む際に、その画像を一次画像として指定することができる。ある例では、ユーザは、複数の関連付けられた画像のうちの１つ又はそれ以上を一次画像として指定することを選択し得る。
【０３００】
ある実施形態では、ユーザは、例えば、特定の時間又は近接内で取り込まれるべき各画像が関連付けられていると見なされるように指定することによって、そのような画像を取り込む前に画像を関連付けることができる。その上若しくはそれとは別に、ある実施形態では、ユーザは、プロセッサを使用して、メモリに記憶された画像のセットから複数の画像の選択を受信し、選択された画像をメモリに関連付けることなどによって、画像リポジトリに記憶された画像を関連付けることができる。あるそのような例では、ユーザは、一又はそれ以上の空間的、時間的、及び／又は音響的パラメータを満たす画像など、任意の一又はそれ以上のパラメータによって画像を関連付けることができる。ある例では、メタデータに保存されるような画像上の注釈又は他の識別子は、特定の音プロファイルを示す画像、特定のタイプの装置を示す画像など、関連付けられるべき画像をユーザが特定することを可能にする。
【０３０１】
ある実施形態では、音響撮像システムは、一次画像、並びに一次画像に関連付けられた一又はそれ以上の画像をディスプレイ上に表示するように構成されることがある。ある例では、音響撮像システムは、メモリ内の関連付けられた画像の複数のセットから一次画像の選択を受信し得る。そのような選択は、ユーザインタフェースによって受け取られ得る。
【０３０２】
ある例では、画像は一次リンクと二次リンクを介して関連付けることができる。ある実施形態では、一次音響画像は、それに関連付けられたすべての画像への一次リンクを有する。例えば、図３８に関して、一次画像３８１０は、一次リンクを介してすべての二次画像３８１０Ｂ〜３８１０Ｅに関連付けられ得る。説明したように、そのような画像は、例えば、近接度、時間、手動の選択などに基づいて関連付けられ得る。一次画像に関連付けられているが、一次リンクを介して互いには関連付けられていない画像（例えば、互いの所定の距離内にない、互いの所定の時間内にない、手動で関連付けられていないなど）は、二次リンクを介して互いに関連付けられ得る。そのような画像は、各画像が共通の画像（例えば、一次画像３８１０Ａ）への一次リンクを有するため、二次リンクを介して互いに関連付けられ得る。
【０３０３】
ある例では、ユーザは、例えば、音響撮像システムを介して提供されるようなファイルブラウザを介して、関連付けられた画像を見ることができる。ユーザは、表示する画像を選択し、関連付けられた画像又は関連付けられた画像に関連する情報（例えば、関連付けられた画像のファイル名、関連付けられた画像の数など）を見ることができる。ある実施形態では、ユーザは、示された画像又は情報が一次リンクを介して関連付けられた画像のみに関連付けられるかどうか、若しくは、二次リンクを介して関連付けられた画像又は情報が含まれているかどうかを選択し得る。
【０３０４】
様々な例において、関連付けられた画像は、例えば、本明細書に記載されたようなシーン内の一又はそれ以上の音響信号の一又はそれ以上の音響パラメータの調色された表現を含む音響画像データを含むことができる。検出された音響信号までの距離のようなパラメータ若しくは他の音響パラメータを含むディスプレイ画像などの様々な情報は、例えば、類似の装置などを含むことに起因して、２つの画像がリンクされるべきかどうかを判定する際にユーザを支援することができる。
【０３０５】
本明細書に記載の様々なプロセスは、一又はそれ以上のプロセッサをそのようなプロセスに実行させるための実行可能命令を含む非一時的なコンピュータ可読媒体として具体化することができる。システムは、例えば、プロセッサと一体の、若しくは、プロセッサの外部のメモリに記憶された命令に基づいて、そのようなプロセスを実行するように構成された一又はそれ以上のプロセッサを含むことができる。場合によっては、様々な構成要素がシステム全体に分散させることができる。例えば、システムは、複数の分散プロセッサを含むことができ、各プロセッサは、システムによって実行されるプロセス全体の少なくとも一部を実行するように構成される。さらに、本明細書に記載の様々な特徴及び機能が、例えば、手持ち式音響撮像ツール又は様々な別個の及び／又は分離可能な構成要素を有する分散システムとして具体化される単一の音響撮像システムに組み合わせることができることが理解されよう。
【０３０６】
本明細書に記載の構成要素の様々な機能は組み合わされることが可能である。ある実施形態では、本出願に記載されている特徴は、「音響データを投影及び映写するシステムと方法（ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＰＲＯＪＥＣＴＩＮＧ  ＡＮＤ  ＤＩＳＰＬＡＹＩＮＧ  ＡＣＯＵＳＴＩＣ  ＤＡＴＡ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１７８．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「着脱自在の音響撮像センサのためのシステムと方法（ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＤＥＴＡＣＨＡＢＬＥ  ＡＮＤ  ＡＴＴＡＣＨＡＢＬＥ  ＡＣＯＵＳＴＩＣ  ＩＭＡＧＩＮＧ  ＳＥＮＳＯＲＳ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８０．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「音響データを分析及び映写するシステムと方法（ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＡＮＡＬＹＺＩＮＧ  ＡＮＤ  ＤＩＳＰＬＡＹＩＮＧ  ＡＣＯＵＳＴＩＣ  ＤＡＴＡ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８１．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。ある実施形態では、本出願に記載されている特徴は、「ターゲットシーンからの音響シグネチャを表示するシステムと方法（ＳＹＳＴＥＭＳ  ＡＮＤ  ＭＥＴＨＯＤＳ  ＦＯＲ  ＲＥＰＲＥＳＥＮＴＩＮＧ  ＡＣＯＵＳＴＩＣ  ＳＩＧＮＡＴＵＲＥＳ  ＦＲＯＭ  Ａ  ＴＡＲＧＥＴ  ＳＣＥＮＥ）」と題され、本出願の譲受人に譲受され、参照により本明細書に組み込まれた、弁護士整理番号５６５８１．１８２．２を有し、２０１９年７月２４日に出願されたＰＣＴ出願に記載されている特徴と組み合わせることができる。
【０３０７】
様々な実施形態が説明されてきた。このような例は非限定的であり、いかなる方法でも本発明の範囲を限定又は制限するものではない。
【図１Ａ】
2021532355.tif 000003
【図１Ｂ】
2021532355.tif 000004
【図２】
2021532355.tif 000005
【図３Ａ】
2021532355.tif 000006
【図３Ｂ】
2021532355.tif 000007
【図３Ｃ】
2021532355.tif 000008
【図４Ａ】
2021532355.tif 000009
【図４Ｂ】
2021532355.tif 000010
【図５Ａ】
2021532355.tif 000011
【図５Ｂ】
2021532355.tif 000012
【図５Ｃ】
2021532355.tif 000013
【図５Ｄ】
2021532355.tif 000014
【図６】
2021532355.tif 000015
【図７】
2021532355.tif 000016
【図８】
2021532355.tif 000017
【図９Ａ】
2021532355.tif 000018
【図９Ｂ】
2021532355.tif 000019
【図９Ｃ】
2021532355.tif 000020
【図１０Ａ】
2021532355.tif 000021
【図１０Ｂ】
2021532355.tif 000022
【図１１Ａ】
2021532355.tif 000023
【図１１Ｂ】
2021532355.tif 000024
【図１２Ａ】
2021532355.tif 000025
【図１２Ｂ】
2021532355.tif 000026
【図１２Ｃ】
2021532355.tif 000027
【図１３】
2021532355.tif 000028
【図１４】
2021532355.tif 000029
【図１５】
2021532355.tif 000030
【図１６】
2021532355.tif 000031
【図１７】
2021532355.tif 000032
【図１８】
2021532355.tif 000033
【図１９】
2021532355.tif 000034
【図２０】
2021532355.tif 000035
【図２１】
2021532355.tif 000036
【図２２】
2021532355.tif 000037
【図２３】
2021532355.tif 000038
【図２４】
2021532355.tif 000039
【図２５Ａ】
2021532355.tif 000040
【図２５Ｂ】
2021532355.tif 000041
【図２６】
2021532355.tif 000042
【図２７】
2021532355.tif 000043
【図２８】
2021532355.tif 000044
【図２９】
2021532355.tif 000045
【図３０】
2021532355.tif 000046
【図３１】
2021532355.tif 000047
【図３２】
2021532355.tif 000048
【図３３Ａ】
2021532355.tif 000049
【図３３Ｂ】
2021532355.tif 000050
【図３４】
2021532355.tif 000051
【図３５】
2021532355.tif 000052
【図３６】
2021532355.tif 000053
【図３７】
2021532355.tif 000054
【図３８】
2021532355.tif 000055
【図３９】
2021532355.tif 000056
【手続補正書】
【提出日】令和3年7月16日(2021.7.16)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の音響センサ要素を含む音響センサアレイであって、前記複数の音響センサ要素のそれぞれが、音響シーンから音響信号を受信し、前記受信した音響信号に基づいて音響データを出力するように構成される、音響センサアレイと、
ターゲットシーンから電磁放射を受信し、前記受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールと、
位置センサであって、その位置を表す位置情報を出力するように構成された、位置センサと、
メモリと、
前記メモリ、前記音響センサアレイ、前記電磁撮像ツール、及び前記位置センサと通信するプロセッサであって、
前記音響センサアレイから音響データを受信し、
前記受信した音響データから音響画像データを生成し、
前記電磁撮像ツールから電磁画像データを受信し、
前記位置センサから位置情報を受信し、
前記生成された音響画像データと前記受信した電磁画像データとを組み合わせて、音響画像データ及び電磁画像データを含むディスプレイ画像を生成し、
前記受信した位置情報に関連してメモリに前記ディスプレイ画像を保存する
ように構成された、プロセッサと、
を装備する音響撮像システム。
【請求項２】
前記ディスプレイ画像が、前記画像に関連する前記位置情報の表現を含む、請求項１に記載のシステム。
【請求項３】
前記位置情報が、メモリに保存された前記ディスプレイ画像のメタデータに記憶される、請求項１又は２に記載のシステム。
【請求項４】
前記位置センサがＧＰＳを含み、前記位置情報がＧＰＳ座標を含む、請求項１から３のいずれか一つに記載のシステム。
【請求項５】
前記プロセッサが、前記ＧＰＳ座標を含む前記位置情報のマップ表現を生成するように構成される、請求項４に記載のシステム。
【請求項６】
前記位置情報が測位情報を含む、請求項１から５のいずれか一つに記載のシステム。
【請求項７】
前記位置情報が傾き情報を含む、請求項１から６のいずれか一つに記載のシステム。
【請求項８】
ディスプレイをさらに含み、前記プロセッサが、前記ディスプレイ画像を前記ディスプレイに通信するように構成される、請求項１から７のいずれか一つに記載のシステム。
【請求項９】
前記プロセッサが、前記ディスプレイ画像のそれぞれに関連する前記位置情報が所定の条件を満たす場合に、メモリ内のディスプレイ画像を関連付けるようにさらに構成される、請求項１から８のいずれかに記載のシステム。
【請求項１０】
前記所定の条件が、互いに所定の距離内にあるＧＰＳ座標を含む、請求項９に記載のシステム。
【請求項１１】
前記位置センサが慣性測定装置を含む、請求項１から１０のいずれか一つに記載のシステム。
【請求項１２】
複数の音響センサ要素を含む音響センサアレイであって、複数の音響センサ要素のそれぞれが、音響シーンから音響信号を受信し、前記受信した音響信号に基づいて音響データを出力するように構成される、音響センサアレイと、
ターゲットシーンから電磁放射を受信し、前記受信した電磁放射を表す電磁画像データを出力するように構成された電磁撮像ツールと、
メモリと、
前記メモリ、前記音響センサアレイ、及び前記電磁撮像ツールと通信するプロセッサであって、
前記音響センサアレイから音響データを受信し、
前記受信した音響データから音響画像データを生成し、
前記電磁撮像ツールから電磁画像データを受信し、
前記位置センサから位置情報を受信し、
前記生成された音響画像データと前記受信した電磁画像データとを組み合わせて、音響画像データ及び電磁画像データを含む第１のディスプレイ画像を生成し、
前記第１のディスプレイ画像をメモリに保存し、
第２の画像をメモリに保存し、前記第２の画像が前記第１のディスプレイ画像に関連付けられるように構成された、プロセッサと、
を備える、音響撮像システム。
【請求項１３】
ユーザインタフェースをさらに含み、前記プロセッサが、前記ユーザインタフェースから受信した入力に応答して前記第２の画像を前記第１のディスプレイ画像に関連付けるように構成される、請求項１２に記載のシステム。
【請求項１４】
前記プロセッサが、前記ユーザインタフェースからの入力を受信して、複数の以降に生成されたディスプレイ画像をメモリ内で関連付けるように構成される、請求項１３に記載のシステム。
【請求項１５】
前記受信した入力は、メモリ内で関連付けるために、所定の数の連続して生成されたディスプレイ画像を含む、請求項１４に記載のシステム。
【請求項１６】
前記受信した入力は、任意の生成されたディスプレイ画像がメモリ内で関連付けられるような時間の長さを含む、請求項１４又は１５に記載のシステム。
【請求項１７】
前記受信した入力が第１の入力と第２の入力を含み、前記第１の入力の後及び前記第２の入力の前に生成された任意のディスプレイ画像がメモリ内で関連付けられる、請求項１４から１６のいずれか一つに記載のシステム。
【請求項１８】
前記受信した入力が、ディスプレイ画像を生成する周波数を含み、前記プロセッサが、  前記音響センサアレイから音響データを、かつ前記電磁撮像ツールから電磁画像データを周期的に受信し、前記受信した入力に基づいて関連するディスプレイ画像を生成し、
メモリ内で前記周期的に生成されるディスプレイ画像をメモリ内で関連付ける
ように構成される、請求項１４から１７のいずれか一つに記載のシステム。
【請求項１９】
前記プロセッサが、
メモリに記憶された画像のリストから、前記第１のディスプレイ画像及び前記第２の画像を含む複数の画像の選択を受信し、
前記選択した画像をメモリ内で関連付ける
ように構成される、請求項１３から１８のいずれか一つに記載のシステム。
【請求項２０】
位置センサであって、その位置を表す位置情報を出力するように構成された、位置センサをさらに含み、前記プロセッサが、
位置情報を前記第１のディスプレイ画像と関連付け、
位置情報を以降に生成されたディスプレイ画像と関連付け、
前記第１のディスプレイ画像に関連付けられた位置情報と、前記以降に生成されたディスプレイ画像に関連付けられた位置情報との差が所定の閾値を下回る場合、メモリ内で前記第１のディスプレイ画像と前記以降に生成されたディスプレイ画像とを関連付ける、請求項１２から１９のいずれか一つに記載のシステム。
【請求項２１】
前記位置情報がＧＰＳ座標を含み、
前記第１のディスプレイ画像に関連付けられた前記位置情報と、前記以降に生成されたディスプレイ画像に関連付けられた前記位置情報との間の差が、前記第１のディスプレイ画像と前記以降に生成されたディスプレイ画像に関連付けられた前記ＧＰＳ座標との間の距離を含み、
前記所定の閾値が距離閾値を含む、請求項２０に記載のシステム。
【請求項２２】
前記プロセッサが、互いに所定の距離内にＧＰＳ座標を有する任意の２つの保存されたディスプレイ画像をメモリ内で自動的に関連付けるように構成される、請求項２１に記載のシステム。
【請求項２３】
前記電磁撮像ツールが、可視光画像データを生成するように構成された可視光カメラモジュールを含み、
前記第１のディスプレイ画像が、第１のターゲットシーンを表す可視光画像データを含み、
前記第２の画像が、第２のターゲットシーンを表す可視光画像を含み、前記第２のターゲットシーンは、（ｉ）前記第１のターゲットシーンより大きく、前記第１のターゲットシーンを含むか、又は（ｉｉ）前記第１のターゲットシーンより小さく、前記第１のターゲットシーン内に含まれる、請求項１２から２２のいずれか一つに記載のシステム。
【請求項２４】
ユーザインタフェースをさらに含み、
関連付けられた画像が一次画像を含む画像のセットとしてメモリに保存され、
前記メモリが、関連付けられた画像の複数のセット及び対応する一次画像を含み、前記プロセッサが、
前記ユーザインタフェースを介して、メモリ内の関連付けられた画像の前記複数のセットから一次画像の選択を受信し、
前記選択された一次画像をディスプレイに表示し、
前記ユーザインタフェースからのプロンプトに応答して、前記一次画像に関連付けられた一又はそれ以上の画像を前記ディスプレイに表示する
ように構成される、請求項１２から２３のいずれか一つに記載のシステム。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００７６
【補正方法】変更
【補正の内容】
【００７６】
図示の実施形態では、音響分析システム２００は、ターゲットシーンを表す画像データを生成するための電磁撮像ツール２０３を含む。例示的な電磁撮像ツールは、ターゲットシーンから電磁放射を受信し、受信した電磁放射を表す電磁画像データを生成するように構成され得る。ある例では、電磁撮像ツール２０３は、赤外線放射、可視光放射、及び紫外線放射など、電磁スペクトル内の特定の範囲の波長を表す電磁画像データを生成するように構成され得る。例えば、ある実施形態では、電磁撮像ツール２０３は、例えば、可視光カメラモジュール２０６などの、電磁スペクトル内の特定の範囲の波長を表す画像データを生成するように構成された一又はそれ以上のカメラモジュールを含むことができる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００８５
【補正方法】変更
【補正の内容】
【００８５】
同様に、対応するピクセル（すなわち、ターゲットシーンの同じ部分を表すピクセル）を有する画像は、対応する画像と呼ばれ得る。したがって、あるそのような配置では、対応する可視光画像と音響画像は、対応するピクセルにおいて互いに重ね合わされ得る。オペレータは、ユーザインタフェース２１６と接して、ディスプレイ２１４に表示される画像の一方又は両方の透明性又は不透明性を制御し得る。例えば、オペレータは、ユーザインタフェース２１６と接して、音響画像を完全に透明と完全に不透明との間で調整し、また可視光画像を完全に透明と完全に不透明との間で調整し得る。アルファブレンド配置と呼ばれ得るそのような例示的な組み合わせ配置は、オペレータにディスプレイ２１４を調整して、音響画像のみと可視光画像のみの画像の両極端間の２つの画像の任意の重なり合う組み合わせの音響画像のみの画像、可視光画像のみの画像を表示させることを可能にし得る。プロセッサ２１２は、また、シーン情報を、警報データなどの他のデータと組み合わせることも可能である。一般に、可視光画像と音響画像のアルファブレンドされた組み合わせは、１００％の音響と０％の可視光から０％の音響と１００％の可視光までのどこでも含むことができる。ある実施形態では、ブレンドの量は、カメラのユーザによって調整することができる。したがって、ある実施形態では、ブレンドされた画像は、１００％の可視光と１００％の音響との間で調整することができる。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】０１００
【補正方法】変更
【補正の内容】
【０１００】
図３Ａの音響分析システムは、音響センサアレイ３０２内に配置された距離測定ツール３０４とカメラモジュール３０６をさらに含んでいる。カメラモジュール３０６は、電磁撮像ツール（例えば、２０３）のカメラモジュールを表してみいいし、可視光カメラモジュール、赤外線カメラモジュール、紫外線カメラモジュールなどを含んでもよい。さらに、図３Ａには示されていないが、音響分析システムは、カメラモジュール３０６と同じタイプ若しくは異なるタイプの一又はそれ以上の追加のカメラモジュールを含むことができる。図示の例では、距離測定ツール３０４及びカメラモジュール３０６は、第１のアレイ３２０と第２のアレイ３２２の音響センサ要素の格子内に配置されている。第１のアレイ３２０と第２のアレイ３２２内の格子サイト間に配置されるように示されているが、ある実施形態では、一又はそれ以上の構成要素（例えば、カメラモジュール３０６及び／又は距離測定ツール３０４）は、第１のアレイ３２０及び／又は第２のアレイ３２２内の対応する一又はそれ以上の格子サイトに配置することができる。あるそのような実施形態では、構成要素（複数可）は、典型的には格子配置に従ってそのような位置にあるであろう音響センサ要素の代わりに、格子サイトに配置することができる。
【手続補正５】
【補正対象書類名】明細書
【補正対象項目名】０１０５
【補正方法】変更
【補正の内容】
【０１０５】
図３Ａ及び３Ｂのシステムと同様に、図３Ｃのシステムは、音響センサアレイ３９２、３９４、及び３９６内に配置された距離測定ツール３１４及びカメラアレイ３１６を含んでいる。ある例では、（例えば、カメラアレイ３１６からの電磁スペクトルの異なる部分を撮像するために使用される）追加のカメラアレイなどの追加の構成要素は、音響センサアレイ３９２、３９４、及び３９６内に同様に配置され得る。図３Ａ〜図３Ｃには、一又はそれ以上の音響センサアレイ内に配置されるように示されているが、距離測定ツール及び／又は一又はそれ以上の撮像ツール（例えば、可視光カメラモジュール、赤外線カメラモジュール、紫外線センサ、など）は、音響センサアレイ（複数可）の外側に配置できる。あるそのような例では、音響センサアレイ（複数可）の外側に配置された距離測定ツール及び／又は一又はそれ以上の撮像ツールは、音響撮像ツールによって、例えば、音響センサアレイを収容する筐体によって支持され得るか、又は音響撮像ツールの筐体の外部に配置できる。
【手続補正６】
【補正対象書類名】明細書
【補正対象項目名】０１６０
【補正方法】変更
【補正の内容】
【０１６０】
例示的な音響撮像操作中に、周波数によって音響画像データをフィルタ処理することは、例えば、背景若しくは他の重要でない音からの画像クラッタを低減するのに役立ち得る。例示的な音響撮像手順では、ユーザは、産業環境におけるフロアノイズなどの背景音を除去したいと希望することがある。あるそのような例では、バックグラウンドノイズは主に低周波ノイズを含み得る。したがって、ユーザは、所定の周波数（例えば、１０ｋＨｚ）より大きい音響信号を表す音響画像データを表示することを選択し得る。別の例では、ユーザは、（例えば、図５Ａ〜図５Ｄに示されるように）伝送線路からのコロナ放電など、特定の範囲内の音響信号を一般に放出する特定の物体を分析したいと思うことがある。そのような例では、ユーザは、音響撮像のために特定の周波数範囲（例えば、コロナ放電の場合は１１ｋＨｚ〜１４ｋＨｚ）を選択し得る。
【手続補正７】
【補正対象書類名】明細書
【補正対象項目名】０１７０
【補正方法】変更
【補正の内容】
【０１７０】
例示的なシナリオでは、図１０Ａは、位置１０１０〜１０９０のそれぞれでノイズフロア閾値を超えるすべての音響画像データを含むことができ、一方、図１０Ｂは、図１０Ａと同じシーンを示すが、４０ｄＢを超える強度を有する音響画像データのみを示す。これは、環境内（例えば、図１０Ａ及び１０Ｂのターゲットシーン内）のどの音源が特定の音（例えば、シーン内で最も大きな音）に寄与しているのかをユーザが特定するのを役立たせることを可能にする。
【手続補正８】
【補正対象書類名】明細書
【補正対象項目名】０１９１
【補正方法】変更
【補正の内容】
【０１９１】
特定の条件を満たす音響画像データを示す画像間の循環表示に加えて、又はその代わりに、ある例では、音響信号源の位置を音響画像データにおいて検出し、他の音響信号とは別に音響画像データに表示することができる。例えば、図１０Ａに関して、ある実施形態では、位置１０１０〜１０９０のそれぞれから発生する音響信号を表す音響画像データは、特定され、循環表示され得る。例えば、例示的な動作プロセスでは、位置１０１０〜１０９０の１つでの音響画像データを含むディスプレイ画像は、音響信号の各発生源の個々の分析のために、自動的に又はユーザの指示で、循環表示され得る。様々な実施形態において、循環表示中に音響画像データの異なる位置が表示される順序は、位置、近接度、強度、周波数コンテンツなどの様々なパラメータに依存することができる。
【手続補正９】
【補正対象書類名】明細書
【補正対象項目名】０２４２
【補正方法】変更
【補正の内容】
【０２４２】
図１４は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を使用した音響データの視覚化を示す。図示されているように、音響パラメータ（例えば、強度）は、グラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）を介して示されている。例示的なグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）では、パラメータ値は、調色技術に従ってそれに関連付けられた固有の色を有する。所与のピクセルでのパラメータ値の変更は、通常、そのピクセルに関連付けられた色の変更をもたらし、新しいパラメータ値を表す。図１４の例に示されるように、音響パラメータ値は、位置１４３２、１４３４、１４３６において、音響信号の中心位置から半径方向に変化するように見える。グラデーション調色の他の例は、２０１７年１１月２日に出願され、本出願の譲受人に譲受された米国特許出願第１５／８０２，１５３号に記載されている。
【手続補正１０】
【補正対象書類名】明細書
【補正対象項目名】０２４３
【補正方法】変更
【補正の内容】
【０２４３】
図１５は、複数の陰影付き同心円を使用した音響データの視覚化を示す。あるそのような例では、パラメータ値に関連付けられた色を有するグラデーション調色技術（ｐａｌｅｔｔｉｚａｔｉｏｎ  ｓｃｈｅｍｅ）とは対照的に、図１５に示される同心円のそれぞれの同一色は、その色に関連付けられた値の範囲内の音響パラメータ値を有するピクセルを表すことができる。図示の例では、位置１５３２、１５３４、１５３６における音響信号に関連する音響パラメータ（例えば、強度）は、音響信号の中心から半径方向に変化している。例示的な調色技術において、赤で示されるピクセルは、パラメータ値の第１の範囲内の音響パラメータ値を表し、黄色で示されるピクセルは、パラメータ値の第２の範囲内の音響パラメータ値を表し、緑で示されるピクセルは、パラメータ値の第３の範囲内の音響パラメータ値を表すが、追加又は代替の色、パターンなどを含む他の表示技術が可能である。様々な実施形態において、値の範囲は、１０ｄＢ〜２０ｄＢの間の強度値などの絶対範囲に対応することができるか、又は最大強度の９０％〜１００％の間の強度値などの相対範囲であり得る。
【手続補正１１】
【補正対象書類名】明細書
【補正対象項目名】０２４８
【補正方法】変更
【補正の内容】
【０２４８】
ある実施形態では、色付きインジケータが、一又はそれ以上の検出された音響信号、及び／又は、基準パラメータからの逸脱量などの関連する音響パラメータの重大度を表すために使用されることがある。図２０は、対応する位置からの音響信号によって示される重大度を示す異なる色を有する複数のインジケータ２００２、２００４、２００６を示す例示的な視覚化を示している。例えば、例示的な実施形態では、赤色のインジケータは、（例えば、典型的な動作条件の基準などの基準と比較した場合）一又はそれ以上の音響パラメータに基づく重大な重大度を示し、黄色のインジケータは中程度の重大度を示し、緑色のインジケータは軽度の重大度を表す。他の例では、他の配色又は外観特性（例えば、インジケータの透明度、インジケータのサイズなど）が、音響信号の重大度を視覚的に区別するために使用されることがある。図示の例では、インジケータ２００４は最大レベルの重大度を表し、インジケータ２００６は次に大きいレベルを表し、インジケータ２００２は最も重大度の低い音響信号を表している。
【手続補正１２】
【補正対象書類名】明細書
【補正対象項目名】０２９１
【補正方法】変更
【補正の内容】
【０２９１】
ある音響撮像プロセス中に、音響画像データ（及び、ある実施形態では、それとブレンドされた電磁画像データなど）に加えて、例えば、分析されている装置の位置又はタイプを示すコンテキスト提供画像を取り込むことが有用であることがある。図３７は、一次音響画像を取り込み、関連する画像をそれに関連付ける例を示している。図３７は、音響撮像ツールを介して分析されている、送電用鉄塔３７３６及び補完装置の一次音響画像３７１０Ａ、ワイドショットビュー３７１０Ｂ、並びに拡大図３７１０Ｃを示している。ある例では、ワイドショットビジュアルタグは、シーン又は目標物体を取り巻く環境に関するより多くの情報を提供することができる。同様に、ズームされた視覚タグは、一次音響画像では明確に定義されていない標識、マーカ又は物体など、シーンに存在するより小さな物体又は詳細を特定するのに役立つことがある。
【手続補正１３】
【補正対象書類名】明細書
【補正対象項目名】０２９９
【補正方法】変更
【補正の内容】
【０２９９】
ある実施形態では、複数の画像で取り込まれた第１の画像は一次画像（例えば、図３９の音響画像３９１０A）であると見なされ、その後、取り込まれ関連付けられた画像は、二次画像（例えば、図３９の音響画像３９１０Ｂ〜３９１０Ｅ）であると見なされる。同様に、ある例では、ユーザは、例えば、複数の画像のうちの第１の画像を取り込むときに、そのような画像を取り込む際に、その画像を一次画像として指定することができる。ある例では、ユーザは、複数の関連付けられた画像のうちの１つ又はそれ以上を一次画像として指定することを選択し得る。
【手続補正１４】
【補正対象書類名】明細書
【補正対象項目名】０３０２
【補正方法】変更
【補正の内容】
【０３０２】
ある例では、画像は一次リンクと二次リンクを介して関連付けることができる。ある実施形態では、一次音響画像は、それに関連付けられたすべての画像への一次リンクを有する。例えば、図３８に関して、一次画像３８１０Aは、一次リンクを介してすべての二次画像３８１０Ｂ〜３８１０Ｅに関連付けられ得る。説明したように、そのような画像は、例えば、近接度、時間、手動の選択などに基づいて関連付けられ得る。一次画像に関連付けられているが、一次リンクを介して互いには関連付けられていない画像（例えば、互いの所定の距離内にない、互いの所定の時間内にない、手動で関連付けられていないなど）は、二次リンクを介して互いに関連付けられ得る。そのような画像は、各画像が共通の画像（例えば、一次画像３８１０Ａ）への一次リンクを有するため、二次リンクを介して互いに関連付けられ得る。
【手続補正１５】
【補正対象書類名】図面
【補正対象項目名】図３９
【補正方法】変更
【補正の内容】
【図３９】
2021532355.tif 000057
【国際調査報告】
2021532355.tif 000058
2021532355.tif 000059
2021532355.tif 000060
2021532355.tif 000061
2021532355.tif 000062