(57)【要約】  音声信号のキャプチャ、記録、再生、視覚的表現、記憶及び処理のための方法は、音声信号を、音声を音声データの視覚的表現とペアリングするビデオに変換することを含み、そのような視覚的表現は、視覚的表現のどの部分が現在再生している音声信号に関連付けられているかを閲覧者が識別することができるような形で、音声データの波形、関連があるテキスト、スペクトログラム、ウェーブレット分解、又は他の変換を含み得る。
2021522557.tif 000002
【特許請求の範囲】
【請求項１】
音声信号のキャプチャ、記録、再生、視覚的表現、記憶及び処理のための方法であって、前記音声信号を、音声を音声データの視覚的表現とペアリングするビデオに変換することを含み、前記視覚的表現は、前記視覚的表現のどの部分が現在再生している音声信号に関連付けられているかを閲覧者が識別することができるような形で、前記音声データの波形、関連があるテキスト、スペクトログラム、ウェーブレット分解、又は他の変換を含み得る、方法。
【請求項２】
ビデオを作成するためのシステムであって、
デバイスから音声データを取り出すことと、
フーリエ変換、ウェーブレット変換、又は時間領域波形表示のうちの１つ又は複数から選択され得る所望の視覚変換に従って前記音声データを変換することと、
前記音声データの１つ又は複数の視覚的表現を作成するために前記変換を使用することと、
音声のどの部分が現在再生されているのかを示すために各フレーム上にインジケータを含む、前記ビデオにおいて使用するためのフレームを展開するために作成された前記表現を取ることと、
前記フレームが関連付けられた前記音声が放出されたときに前記フレームが表示されるように、ｍｐ４ファイルを含み得るビデオ・コンテナ中に前記音声データとともに前記展開されたフレームを入れることと
を含む、システム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音声信号の記録、処理、表示、再生及び分析に関する。
【背景技術】
【０００２】
音声再生のたいていの形態では、音声データを聴取すること、及び潜在的にそれが再生する際のデータの波形を見ることのみが可能である。
【０００３】
スペクトログラムなど、音声データの他の図式表現は存在するが、主として使用されていない。これらの表現は、上記で説明した波形と同様に表示される。
【０００４】
ユーザには、通常、それらの音声データを、それの可聴表現を記憶するファイル中に保存するオプションが提示される。そのようなフォーマットはｍｐ３、ｗａｖ、及びａｉｆｆを含む。
【０００５】
音声信号の記録は、一般に、手動で記録を開始し、次いで休止させることによって実行される。
【０００６】
音声信号認識のための機械学習システムは、一般に、人工ニューラル・ネットワーク又は他の適応学習システムへの入力として１次元音声アレイを使用する。
【０００７】
たいていの音声記録技術は、誰かに、彼らが作成することを望む記録を明示的に開始及び停止させる。
【０００８】
そのような技術は、通常、これらの記録をただ、音声データのみを含んでいるｗａｖ又はｍｐ３ファイルとして保存する。
【０００９】
たいていの機械学習システムは画像又は個別データ・セット上でトレーニングされる。
【００１０】
音声データに基づいてトレーニングを行う機械学習システムは、通常、データを使用する前にそのデータの特性を解析する。
【発明の概要】
【課題を解決するための手段】
【００１１】
本発明は、音声信号、一般に心音（ｃａｒｄｉａｃ  ｓｏｕｎｄ）又は肺音（ｐｕｌｍｏｎｉｃ  ｓｏｕｎｄ）の記録のキャプチャ、記録、再生、視覚的表現、記憶及び処理のための新規の方法である。本発明は、音声信号を、音声を音声データの視覚的表現とペアリングするビデオに変換することを含み、そのような視覚的表現は、視覚的表現のどの部分が現在再生している音声信号に関連付けられているかを閲覧者が識別することができるような形で、音声データの波形、関連があるテキスト、スペクトログラム、ウェーブレット分解、又は他の変換を含み得る。そのようなビデオは、一般にｍｐ４フォーマットであり、他者と共有され、何らかの記憶機構上に保存されるか、又はユーチューブ又はヴィメオなどのホスティング・サイト上に配置され得、特に研究又は教育目的のために使用される。視覚的表現は、数学的に操作される視覚的表現が、音声信号の特性のパターン認識のための向上した性能を与える、すなわち、音声データの２次元又は３次元バージョンが機械学習システムの検出精度を高める、機械学習アプリケーションのための入力として使用され得る。本発明はまた、ユーザが、音が発生した後にそれらを遡及的にキャプチャすることができるユーザ・インターフェース方法を含む。
【００１２】
本発明は、音声データの複数のセット、特に特定の位置に関連付けられた音声データを含み得、記録係の名前、記録に関連するテキスト、又は記録が行われた時間など、記録に関連がある情報も含む、ジップ・ファイルのようなバンドル中にユーザが保存するであろう記録をユーザが聞き、潜在的に見る機会を有した後に、音声データ、一般に１６ビットｗａｖフォーマットでの心音又は肺音の記録を保存するための新規の方法を含む。
【００１３】
本発明は、フィルタ処理されるか、スケーリングされるか、又はさもなければフーリエ変換、ウェーブレット変換、若しくは波形表示及びテキスト情報など、音声の視覚的表現を用いて変更され得る、音声データの何らかの形態を組み合わせることによって、音声データ、一般に１６ビットｗａｖフォーマットでの心音又は肺音の記録から機械学習、データ回帰、又はデータ分析システムをトレーニングするための新規のシステムである。
【図面の簡単な説明】
【００１４】
【図１】音声及び画像からビデオを生成するステップを示す図である。
【図２】ライブ（リアルタイム）心音図（ｐｈｏｎｏｃａｒｄｉｏｇｒａｍ）又は他の音波形及びスペクトログラムのディスプレイを示す図である。
【図３】一般に肺音（ｌｕｎｇ  ｓｏｕｎｄ）のための、背中の聴診器（ｓｔｅｔｈｏｓｃｏｐｅ）記録部位に従って配置された音声波形記録を示す図である。
【図４】デバイス又はクラウド・ストレージにファイルを保存するためのファイル・システムを示す図である。
【図５】ビデオ記録を診断情報でタグ付けし、ラベリングすることを可能にするビデオ生成対話型ウィンドウを示す図である。
【図６】一般に心音のための、胸の聴診器記録部位に従って配置された音声波形記録を示す図である。
【図７】図２の複製を示す図である。
【図８】インジケータ・フラグ（Ｓ１、Ｓ２、ノートのイベント）、記録をトリミングするための作動ボタン、スナップショットをキャプチャするための作動ボタン、又はノート・ウィンドウを開くための作動ボタンをもつ、波形及び／又はスペクトログラム注釈のためのメニューを示す図である。
【図９】ノートのタイピング、及び／又は記録を診断情報でタグ付けすることを可能にするノート・ウィンドウを示す図である。
【図１０】記録済みが表示され、即時の聴取のために再生され得ることを示す図である。
【図１１】音再生のビデオを共有する能力、記録ファイル並びにノート及びスクリーンショットの共有を与える共有メニューを示す図である。
【図１２】ファイル及びビデオをローカル又はクラウド・ストレージに保存することを促進する保存メニューを示す図である。
【図１３Ａ】ビデオ再生アプリを用いて再生可能な標準ビデオ・フォーマットでビデオとして表示又はプレビューされ得る波形画像及び音から生成されるビデオを示す図である。
【図１３Ｂ】ビデオ再生アプリを用いて再生可能な標準ビデオ・フォーマットでビデオとして表示又はプレビューされ得る波形画像及び音から生成されるビデオを示す図である。
【発明を実施するための形態】
【００１５】
ビデオ変換のためのプロセス・フロー−図１参照。
ビデオ作成
本発明の好ましい実施例では、ディスプレイと、入力デバイスと、メモリであろうと内部ストレージであろうと外部ストレージであろうと、デバイスによって何らかの形でアクセス可能な記録された音声データとをもつデバイスからなるシステムが得られる。例として、アンドロイド（登録商標）・オペレーティング・システムを動作させる電話機をもつシステムについて考える。別の実施例では、システムは、記録された音声データをもつデバイスのみからなり得る。
【００１６】
ビデオは、（上記の図面に表示されているように）以下のプロセスに従って作成される。
【００１７】
１．デバイスから音声データを取り出す。これの１つの変形態は、マイク又は他の音声入力ソースからの入来する音声データを記録し、次いでそれをデバイス・メモリに記憶することである。別の変形態は、ストレージから音声又はデータ・ファイルを読み取ることである。
【００１８】
２．所望の視覚変換に従って音声データを変換する。そのような変換は、フーリエ変換、ウェーブレット変換、又は時間領域波形表示を含み得る。
【００１９】
３．音声データの１つ又は複数の視覚的表現を作成するために上記のステップにおける変換を使用する。本発明の好ましい実施例は、時間軸に沿って周波数データからなる波形とスペクトログラムとを描く。
【００２０】
４．ビデオにおいて使用するためのフレームを展開するために、ステップ３において作成された表現を取る。本発明の大部分の形態は、音声のどの部分が現在再生されているのかを示すために、各フレーム上に何らかの種類のインジケータを有するであろう。これを行い得る１つの方法は、時間軸上に適切な音声と相関するラインを有することである。
【００２１】
５．フレームがそれと関連付けられた音声が放出されたときに表示されるように、展開されたフレームを音声データとともに何らかの種類のビデオ・コンテナ、場合によってはｍｐ４ファイルに入れる。
【００２２】
前記デバイスのユーザには、限定はしないが、使用するべき音声データの視覚的表現（たとえば、波形、テキスト、スペクトログラム、ウェーブレット分解など）、様々な視覚構成要素のサイズ、音声がビデオ中でループするべき回数、及び／又は音声に適用されるべきフィルタ又はボリューム調整のような変更を含む、ビデオの様々な態様を構成する能力が提示され得る。
【００２３】
ビデオ作成の後、いくつかの実施例は、ユーザが、ビデオをユーチューブのようなホスティング・サイト上に公開すること、ビデオをローカルに保存すること、ビデオをグーグル・ドライブのようなクラウド・ストレージ・プラットフォーム上に保存すること、ビデオを閲覧すること、又はビデオを別のアプリケーションに送ることを可能にし得る。
【００２４】
音声データを保存する
本発明の好ましい実施例では、ディスプレイと、入力デバイスと、音声データを入力する方法とをもつデバイスからなるシステムが得られる。例として、アンドロイド・オペレーティング・システムを動作させる電話機をもつシステムについて考える。別の実施例では、システムは、音声データを入力する方法をもつデバイスのみからなり得る。
【００２５】
記録は以下のプロセスに従って作成される。
【００２６】
１．入来する音声データをバッファに記憶する。このバッファの長さは、無限であるか、又はプロセスにおいて若しくはユーザ対話によって設定される何らかの任意の数であり得る。
【００２７】
２．デバイス入力を使用して、ユーザは、彼又は彼女がある時間期間分の音声データを保存することを望むことを何らかの形でプロセスに示す。
【００２８】
３．バッファから取られ、記録されたデータ中に入れられるべきサンプルの適切な数を計算する。
【００２９】
４．いくつかの実施例では、ユーザには、記録に関連がある他の情報をデバイスに与える機会が与えられるであろう。
【００３０】
５．ステップ１から４は、任意の所与のステップ１がそれの対応するステップ２に先行する限り、任意の数の回数、任意の順で繰り返され得る。
【００３１】
６．情報のすべてをジップ・ファイルのような単一のグルーピングにパッケージする。
【００３２】
機械学習
本発明の好ましい実施例では、機械学習プログラムと音声記録のセットとからなるシステムが得られる。プログラムは、ニューラル・ネット、回帰、又は何らかの他の形態のデータ・マイニング又はデータ分析であり得る。
【００３３】
機械は、次いで、以下のプロセスの何らかのサブセットを介して構築されるデータ・セット上でトレーニングされる。
【００３４】
１．所望の視覚変換に従って音声データを変換する。そのような変換は、フーリエ変換、ウェーブレット変換、又は波形表示を含み得る。
【００３５】
２．音声データの１つ又は複数の視覚的表現を作成するために上記のステップにおける変換を使用する。本発明の好ましい実施例は、時間軸に沿って周波数データからなる波形とスペクトログラムとを描く。
【００３６】
３．ステップ２の画像は、次いで、それらを作成した音、並びに前記音声データに関係する任意の種類の他の識別情報、特にテキストに関連付けられる。
【００３７】
本発明のいくつかの実施例では、機械学習プログラムをトレーニングするために、すぐに又は将来のいずれかにおいて使用されるように、何らかの他のプログラム又は機構を通して保存された記録が自動的にアップロードされ得る。
【００３８】
詳細な説明
音声信号の視覚的表現及びタグ付け
オシロスコープ及びコンピュータ・ディスプレイ上で音声信号を閲覧することは、１世紀以上の間、一般的に行われていた。一般的な表示は、水平時間軸に沿って信号表現をスクロールすること、又は信号表現の連続セグメントを左から右に描くことによって水平時間軸に沿って信号を表示することのいずれかによって行われる。
【００３９】
音声信号の表現は、時間領域波形の圧縮された若しくは拡大された若しくはフィルタ処理されたバージョンなど、調整された時間領域波形、短時間フーリエ変換の「ヒートマップ」であるスペクトログラム、ウェーブレット変換など、視覚的に表される他のスペクトル若しくは数学的変換、リサジュー図形（ｌｉｓｓａｊｏｕｓ  ｆｉｇｕｒｅ）など２次元画像、オーバーレイされるか若しくはスタックされるかのいずれかである表現の組合せ、又は複数のウィンドウ及びディスプレイにおける組合せといった、時間領域波形の形態を取ることができる。
【００４０】
表現はまた、複雑な信号の簡略化バージョンであり得る。たとえば、特定のセグメントが、マニュアル若しくは自動タグ付け若しくはラベル付けを用いて識別され得るか、又は、セグメントが、自動的に信号中の特定のイベントであると解釈され、実際の測定ではなくイベントを概略的に表すために簡略化され得る。特定のイベントが、ヒートマップ又は曲線など、実際の数値のインジケータとして表されるだけでなく、読み取りやすいインジケータ又は図式記号又は表現に変換され得るように、フーリエ又はウェーブレット変換など、変換された信号に対して、同様の処理が実行され得る。
【００４１】
特に、本発明では、心音が様々なタイプの時間領域表現に変換され得る。心音は、第１の心音と第２の心音とを含むいくつかのセグメントを含む。第１の心音と第２の心音との間は心収縮期（ｓｙｓｔｏｌｅ）と呼ばれる。第２の心音と第１の心音との間は心拡張期（ｄｉａｓｔｏｌｅ）と呼ばれる。
【００４２】
これらの心音の図式表現は、第１の心音のための垂直バーと、第２の心音のための垂直バーとを含み得、垂直バーは、元の第１の心音及び第２の心音が発生した時間アクセス上に位置する。代替的に、第１の心音又は第２の心音が発生した場所を示すタグ又はマーカーが元の方法形態或いは方法形態の表現上に配置され得、追加の音がある場合、これらは、閲覧者にとって意味がある垂直バー又は他の記号など、タグ又は図式表現を用いて示され得る。
【００４３】
時間領域波形を修正するための別の方法は、第１の心音、第２の心音又は心雑音など、いくつかのイベントを圧縮又は拡大することであり得る。それらは、食物若しくは第４の心音、又は異常弁若しくは血流などの他の病理音など、第１及び第２の心音以外の心音中の追加の音であり得る。これらの異常音のいずれか１つも、発生の時間を表すために水平方向に配置された記号又はバーを用いて図式的に示され得る。
【００４４】
心音の数学的変換も、水平軸が時間領域であり、垂直軸が、周波数など、別の主要を表すように行われ得る。スペクトログラム中の色など、強度を使用して３次元が加えられ得、より明るい色は、周波数成分など、所与の特性のより高い強度を示す。変換測定を数学的に定量的情報に変換する列アプリは、心音の表現を臨床医又は一般人によって理解しやすくするために、いくつかの信号特性又は心音を特定の方法で強調する、非線形カラー・マップであり得る。たとえば、信号エネルギーピーク、特定の周波数範囲のバースト、第１の心音と第２の心音との間（心収縮期）又は第２の心音と第１の心音との間（心拡張期）のイベントは、心臓サイクルのその周期に固有の方法を使用して強調され、心音の特定の特性が強調される。そのような強調は、変化し、心音の特定のサイクルにカスタマイズされ得る。
【００４５】
元の波形の別の表現又は変換は、信号振幅がそれにもかかわらず表示される、元の波形の雑音低減されたバージョンの形態を取ることができるが、表示は、干渉する性質の雑音又は信号が除去されているようなフィルタ処理されたバージョンを表す。
【００４６】
肺音は、同様に、呼吸音の特性が図式的又は概略的な形で表されるように変換され得る。肺音は、クラックル（ｃｒａｃｋｌｅ）、又は肺の内側の流体若しくは他の病理現象を示す他の異常な特性を有し得る。また、気管支の狭まり又は肺の中の流体があり得、これらは異常音を生成し得る。これらの異常音の図式表現も、周波数若しくは他の数学的変換の形態を取ることができるか、又はイベントの間接的表現である記号又は図式表現によって示され得る。
【００４７】
呼吸音は、同様に、吸入及び呼気中に、セグメント化され得、呼吸サイクルの特定の位相中に選択的にフィルタ処理され得る。これらの周期中に、呼吸音が、呼吸音の一般的なホワイト・ノイズ特性ではなく、「音楽的」品質すなわち音のバーストを有する場合に起こり得る、急激な変化（クラックル）又は連続的な周波数バースト（ウィーズ（ｗｈｅｅｚｅ））を強調するために、信号検出が変更され得る。
【００４８】
代替の数学的表現又は雑音低減された数学的表現への心音又は肺音の変換は、オペレータの選択及び制御によって行われ得るか、又は適応信号処理など、信号処理技法を使用して自動的に行われ得る。代替的に、パターン認識を行い、病理現象を識別し、それらを図式的に示すか、又はそれらを視覚的にタグ付けするために、機械学習技法が使用され得る。
【００４９】
胃音を伴う腸音（ｂｏｗｅｌ  ｓｏｕｎｄ）も、特定のイベント又は特性を強調するような形で変換され得る。そのような腸音は延長時間期間にわたって記録され得、本発明は、一定のイベントが発生したときを識別し、無音期間を除去するような形で時間領域を圧縮すること、又は時間領域をセグメント化することができる可能性を含む。
【００５０】
信号は、周期的に発生する音を強めるために、周期反復音がオーバーレイされるか、又は表され得るように、拍動ごとに又は呼吸音ごとに同期させられ得る。心臓又は肺の連続反復サイクルのそのようなオーバーレイは、反復音を強めながら外来音をフィルタ処理するために使用され得る。そのような特性を表示することは、生理サイクルにおける当該のセグメント又はイベントの表示を強めることができる。連続音の同期は、反復イベントを検出し、オーバーレイされた累積結果を作成するためにそれのタイミングを使用することによって行われる。場合によっては、心電図（ＥＣＧ：ｅｌｅｃｔｒｏｃａｒｄｉｏｇｒａｍ）又はパルス・オキシメトリ信号など、非音響信号が同期のために使用され得る。
【００５１】
腸音など、反復的でない信号の場合、より長い記録を圧縮し、有用な信号を与えるための興味深い方法は、当該の音響イベントを含まない記録の期間を除去することによって行われる。胃又は腸が時々音を生成する場合、無音期間は記録から削除され得、当該のセグメントはより高速な検討のためにとじ合わされ得る。そのような場合、図式表現は、経過した時間の量を示す、実際の音及び／又は色の間の分離バーの幅に従って、削除された部分を示すことができる。別の方法は、レビューアが、記録と、記録されたセグメント間の時間の量とを数値表示として見ることができるように、分離バー内の無音間隙の持続時間を示すことである。
【００５２】
本発明は、したがって、音声信号、特に、心音、肺音、頸動脈音、腸音、又は他の身体機能など、人体の音声信号を表す複数の方法を含む。
【００５３】
本発明はまた、同時に１つの画面上に表示される異なる記録の複数のウィンドウを表示する方法を含む。これらの表現は、重なり合ってオーバーレイされ得るか、又はそれらはディスプレイ上の別個のサブ・ウィンドウに表示され得る。
【００５４】
特に、本発明は、音声信号が、それらがキャプチャされた解剖学的位置と視覚的に相関させられるような形で、音声信号の表現がディスプレイ上に配置される、方法を含む。これにより、閲覧者は、所与の記録を、心音、肺音、腸音又は他の解剖学的記録部位のための解剖学的部位と視覚的に相関させることが可能になる。ユーザ・インターフェースは、単に解剖学的部位にタッチするか、記録サブ・ウィンドウにタッチするか、又はマウス若しくは他のポインタ・デバイスを用いて解剖学的部位若しくは記録ウィンドウをクリックする能力を含み、その記録が、さらなる編集及び拡大閲覧のために新しいウィンドウで再生されるか、又は開かれることを引き起こした。これは非常に直観的なユーザ・エクスペリエンスを実現する。
【００５５】
記録中に、ユーザは、記録がキャプチャされる前又はキャプチャされた後にデバイス・ディスプレイ上でその解剖学的部位にタッチし、それによって記録を解剖学的部位と相関させることによって、所与の記録がそこからキャプチャされている解剖学的部位を識別することができる。傷関係（ｓｃａｒ  ｒｅｌａｔｉｏｎ）を確立するための別の方法は、音響感知デバイスの動きが自動的に検出され、解剖学的位置が、動きセンサー、加速度計、ジャイロスコープ、又は他の動き若しくは位置感知手段を介して自動的に確立される、自動機構であろう。記録がそこからキャプチャされている解剖学的位置を確立するための１つの代替方法は、静止画像若しくはビデオ画像センサー又はカメラを使用して、人体上の感知デバイスの画像をキャプチャし、デバイスの位置を自動的に識別し、それによって解剖学的位置に相関させられた記録を保存することであろう。
【００５６】
音声記録にタグ付けする別の方法は、全地球測位システム（ＧＰＳ：Ｇｌｏｂａｌ  Ｐｏｓｉｏｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）デバイスからＧＰＳ座標をキャプチャし、その情報を記録とともに記憶する方法を含む。ＧＰＳ座標は、生理情報又は病理情報と組み合わせられたとき、特定疾患の発生又は病理現象を地理的ロケーションと相関させるために疫学的（ｅｐｉｄｅｍｉｏｌｏｇｉｃａｌ）目的で使用され得るので、医学的信号又は生理学的信号の場合、これは極めて有益であり得る。別の用途は、記録信号と、病院若しくは診療所など建物の内側か、又は特定のユーザ若しくは患者と相関させられた、所与のロケーションとの相関のためであろう。
【００５７】
記録のタグ付けは、図式記号、記号表現、及び閲覧者によって可読の従来のテキストによっても行われ得る。テキストは、タッチ・スクリーンを使用し、オペレータが、医療において従来使用されている疾患の頭字語を含む病理現象の事前定義されたタグのセット若しくは識別子から選択して生成され得るか、又はオペレータは自然言語テキストを手動で入力し得る。代替的に、解析アルゴリズム、信号処理方法、又はデバイス中にローカルにあるか若しくはリモートに位置する機械学習システムが、信号の特定の特性を自動的に識別し、それらの結果をタグ又はテキスト又は頭字語又は上記のすべてのいずれかとしてディスプレイ上に視覚的に表し得る。
【００５８】
本発明は、したがって、音声信号がキャプチャされ、概略表現又は数学的に変換された表現に変換され、人の身体から記録がそこからキャプチャされた解剖学的位置など、音の原点の物理的特性と相関させられ得る、方法を含む。同様に、記録が何らかの他の現象、たとえば地理的ロケーションにおける音響センサーの物理的位置、又は車両若しくは機械など、無生物体上のセンサーの物理的位置と関係していた場合、手動又は自動タグ付けの同様の方法が、記録がタグ付けされ、及び／又は音の原点と相関させられる形で図式的に表されるように実行され得る。
【００５９】
上記の方法、又は音声信号の記憶されたファイル、若しくは音声信号の視覚的表現を作成する他の方法に従って、記録がキャプチャされ、処理されると、音及び視覚的表現のビデオの再生が実行され得る。
【００６０】
音声信号の図式表現にかかわらず、音が再生されるとき、一般に、再生されている現在の音の瞬時位置の指示がディスプレイ上にある。この瞬時指示は、再生されている音の瞬間若しくは近似位置をそれが示すように移動する、水平軸に沿った垂直ラインの形態を取り得るか、又はそれは、再生されている音と相関して水平時間軸上を移動するポインタの形態を取り得るか、又は信号全体が、再生されている音に合わせてディスプレイ上を同時にスクロールされ得る。閲覧者又はオペレータは、次いで、ヘッドフォン又はラウドスピーカーを介して音を聴取し、オペレータが聞いているものを、その瞬間における音の視覚的表現と視覚的に相関させることができる。
【００６１】
反対に、信号の図式表現上に配置された視覚的表現はまた、可聴である音に変換され得る。たとえば、特定の病理現象又は音響現象注釈を示すために、タグが所与のロケーションに配置された場合、当該の特定のイベントがちょうど再生されたことをユーザに示すために、音声プロンプトもラウド・スピーカー又はヘッドフォンによってトリガされ得る。音声プロンプトは、ビープ又はクリック音、又は最初に記録された実際の記録と異なり、目立つ他の音など、短い周波数バーストの形態を取り得る。
【００６２】
本発明の主要な及び新規の態様は、ビデオが、相関させられたビデオ表現と組み合わせられた信号の再生を表すであろうように、サウンドトラックとしての音声信号を動的であるビデオ表現と両方組み合わせる、ビデオの生成である。動的である視覚的表現と組み合わせられた記録のビデオ・ファイルを生成することの価値は、それによって再生されるビデオが、いかなるビデオ・プラットフォーム又はアプリ上でも、又は音とビデオの組合せの表示及び再生のための汎用プラットフォーム上で再生され得ることである。
【００６３】
共有又は記憶のためのビデオの使用
本発明の別の態様は、ビデオを提示することが可能である何らかのプラットフォーム上で従来のビデオ・ファイルとして記憶又は共有又は提示されるビデオへの、上記で説明した視覚表示の変換を含む。この機能の一意の価値は、本発明におけるソフトウェアによってキャプチャされた音声記録が、次いで、いかなるプラットフォーム上でも提示され得、音声再生のために特に設計されたアプリ又はカスタマイズされたソフトウェア・プラットフォーム上で提示又は再生される必要がないことである。
【００６４】
たとえば、本発明におけるソフトウェアによってキャプチャされた音声がビデオに変換されると、そのビデオは、次いで、クラウド若しくはリモート・ストレージ・サーバに保存され得るか、汎用ビデオ再生プラットフォーム、及び、ユーチューブ若しくはヴィメオなど、共有プラットフォームにアップロードされ得るか、ユーザが１つのデバイスのビデオ又は音を別のデバイスと共有することを可能にする、フェイスブック、ワッツアップなど、ソーシャル・メディア・アプリケーション、従来のテキスト・メッセージング・アプリ、セキュアなメッセージング・アプリを介して共有され得るか、電子メールによって送られ得るか、又はパワーポイント・プレゼンテーション内に埋め込まれるなど、教育プレゼンテーション中に含まれ得る。ビデオはまた、将来の再生を可能にするために、所与の患者の記録にインストールされた電子医療記録システムにアップロードされ得る。
【００６５】
ビデオが汎用フォーマットであることは、ユーザが、本発明において、非常に広く共有され、いかなる形態でも提示され得るコンテンツを生成することができることを意味する。これは、教育者が、異常な患者音をキャプチャし、それらを教室に提示すること、又はそれらを研究論文のオンライン・バージョン若しくは医学教科書のデジタル・バージョン若しくはオンライン・バージョンに含めることを望み得る、医学教育状況において特に有用である。
【００６６】
音声信号のビデオ映像の使用はまた、遠隔医療応用を含む。心音、肺音、腸音又は血管音など、身体音の記録は、それのビデオとともに、検討されるためにリモートの医療専門家又は検査員に送信され得る。リモートの検査員は、任意の汎用プラットフォーム上でビデオ又は音を伴うビデオを表示し、再生する能力以外に、特殊なソフトウェアを必要としないであろう。
【００６７】
このシーケンスにおけるステップは、身体音センサーから身体音の記録をキャプチャすることと、記録をビデオ／音声の組合せに変換することと、（音を伴うビデオ又は音を伴わないビデオを意味する）そのビデオ記録をリモートのレビューアに送信することと、リモートのレビューアが、次いで、患者を診断するために、受信されたビデオ・ファイルを再生することとを含む。同じ手法は、車のエンジンからジェット・エンジンまで、音が有用な情報を含んでおり、音のビデオ表現が、音を分析する能力をさらに高める、任意のアプリケーションまで、可聴音のあらゆるリモートの検討のために使用され得る。
【００６８】
本発明の重要な態様は、音の視覚的表現が単なる音声表現よりもはるかにリッチであることであり、最初に、音を強める視覚的に興味深い形で音を表し、次いで、その情報を、視覚情報を広く使用されているビデオ・ファイルとして符号化するように簡単に提示する能力は、音声信号及びそれらの分析を音のみよりもはるかに強力にする能力を提供する。これに対する重要な態様は、視覚的表現が単に波形ではなく、特定の信号特性を強める、音声の数学的に操作されるバージョンの形態を取ることができることである。これらの操作は、特定の音と、音の特定のセグメントとに合わせてカスタマイズされ得る。
【００６９】
画像及びビデオの機械学習使用
サウンド・ファイルのビデオ・バージョンのビューの別の有益な新規のアプリケーションは、そのファイルを機械学習システム又は人工知能システムのための入力データとして使用することである。音声信号を、音声信号と結合された操作される画像に変換することによって、音の特定の特性が符号化されるか、又は画像若しくは画像のシーケンスにおいて視覚的に表される。これは、よりリッチな情報を与えるか、又は、画像とビデオとを処理する画像処理システム若しくは機械学習システムが、潜在的に、音声信号のみの代わりに若しくは音声信号と組み合わせて、画像を走査し、一意の方法で信号特性を導出若しくは抽出し得るような形で、病理信号又は異常音の特性をもつ音のセグメントを強める可能性を有する。
【００７０】
そのようなビデオは、最初に、人工ニューラル・ネットワーク、又は他の機械学習システムなど、機械学習システムを微調整するためのトレーニング・セット中で使用され得る。後で、未知の信号が、画像処理、及び／又はこのようにしてトレーニングされた機械学習システムによって自動的に識別される必要があるとき、未知の信号は、ビデオ情報を単独で入力として利用することによって識別され得るか、又はビデオ画像情報が、音声情報とともに、信号中の当該の特性を識別するために機械学習システムによって分析され得る。
【００７１】
本発明は、したがって、ビデオ画像のシーケンス、又はさらにはビデオ記録の単一のフレームを、機械学習システムのためのソース・データとして、又は元の音声信号から診断情報を抽出するために使用される画像処理システムにおいて、利用する機能を含む。上述のように、画像は、機械学習システムへの入力の唯一のソースとして使用され得るか、又は画像のシーケンスが入力の唯一のソースとして使用され得るか、又は画像の単一若しくは複数のシーケンスが、音声記録自体と組み合わせて、機械学習システムへのソース入力として使用され得る。
【００７２】
本発明は、機械学習システムへのさらなる入力情報になる、音声記録又はビデオ記録のいずれか又はそれらの組合せである、記録にタグ付けする機能を含む。したがって、機械学習システムは、画像フレーム、ビデオ・シーケンス、音声信号、並びに情報タグ、及び／又はユーザによって入力されたノートを、機械学習システム又は人工ニューラル・ネットワークをトレーニングするために、並びに未確認の意志部分的にタグ付けされた音声入力及びビデオ入力の後の分析のために使用されるべきリッチ・データ・セットとして、使用することができる。
【００７３】
本発明と従来技術との間の重要な差異のうちの１つは、従来技術では、通常、振幅対時間の１次元アレイである、音声信号振幅データのアレイが、機械学習システムへのデータ入力として使用されることである。本発明の新規の態様のうちの１つは、音声信号データの、機械学習システムへの多次元入力データへの変換である。たとえば、音声信号の２次元又は３次元への変換は、音声信号の特性又は音声信号中のパターンが視覚的に向上する、向上したデータを提供する。たとえば、高い振幅をもつ低い周波数など、周波数の特定の帯域は、２次元デカルト平面上の特定の座標ロケーション又は領域において明るい色のパッチとして表され得る。機械学習システムは、次いで、デカルト平面上のピーク又は谷、又はピークと谷のパターン、又は様々な色の組合せをもつ画像が音声信号特性を表すように、明るい色のパッチ、又は等高線図若しくは３次元マップにおけるピークを識別するためにトレーニングされ得る。機械学習システムは、したがって、単に音声パターンを認識することとは反対に、画像パターンを認識すること又は画像認識を行うことのうちの１つになる。
【００７４】
ビデオの連続フレームは音声信号のシーケンスに時間次元を与える。したがって、音声信号のビデオ表現は、ｘ軸、ｙ軸、３つめの次元としての色、並びに、連続フレームが時間の経過又は時間軸の表現を支援することができる連続フレームを組み合わせた場合、複数の次元を与え、ビデオが機械学習システムのためにデータの非常にリッチなソースを与えることは明らかである。データのそのリッチ・セットに、元の音声信号、又は音声信号自体の処理されたバージョン、並びに、病理など、信号の特性を識別する識別タグ、又は所与の時間におけるイベントなど、音声信号内の特定の発生に対して機械学習システムに警告するためにユーザによって入力されるインジケータを追加した場合、機械学習システムが音声信号中のパターンを認識するためにそれの上でトレーニングされているデータ・セットは、従来の音声信号のために使用される元の無線信号と比較したときに、極めてリッチになる。
【００７５】
同じ向上は、人間が所与の音を分析することにも当てはまる。音声信号の視覚向上及びビデオ変換が機械学習システムに向上した情報及びリッチになった情報を与えるのと同様に、同じことは、人間が、元の音声信号データのリッチになった視覚的表現、及び数学的に処理され、可視化された表現を使用して音声信号を分析することにも当てはまる。上述のように、離散フーリエ変換、ウェーブレット変換、何らかの他の直交変換、非線形信号処理、時変信号処理、又は音声信号データのシーケンスを視覚的表現若しくは多次元表現に変換する何らかの他の変換など、周波数変換を表す音声信号の変換は可視化され得る。
【００７６】
ビデオ生成
（音声を伴うビデオ又は音声を伴わないビデオを意味する）ビデオ・ファイルを生成するステップは以下の通りである。
【００７７】
１．音響センサーからの音声記録をキャプチャする。センサーは、汎用マイクロフォン、ソフトウェアがその上で動作しているデバイスに組み込まれたマイクロフォン、外部マイクロフォン、カスタム音響センサー、電子聴診器又は身体音センサー、又は他のセンサー手段であり得る。そのようなセンサー手段は、心電図（ＥＣＧ）、当該の圧力又は他の時変測定値、特に生理学的計測、又は生物若しくは無生物のために診断上重要である他の測定値など、他のパラメータさえをも含み得る。
【００７８】
２．キャプチャされた音を記憶する、又は前に記憶された音を取り出す、又は前にキャプチャされた音をダウンロードする、又はファイルをサーバ若しくはリモート・デバイス若しくはコンピュータ・システムにアップロードする。このステップは、サウンド・ファイルを保存することと、次いでサウンド・ファイルを取り出すこととを含む。
【００７９】
３．音声信号の視覚的表現を生成するために音声信号を数学的に操作する。数学的操作は、汎用の確固たる性質のものであり得るか、又はそれは、心音、肺音、腸音、血管音若しくは他の生理音若しくは診断音など、当該の特定の音に合わせてカスタマイズされた、時不変方法若しくは時変方法であり得る。時変の場合、数学的操作は、最初に、音を、吸入及び呼気又は心周期の位相、又は血管音の信号強度中のピークなど、特定の位相にセグメント化することを含むことができる。本発明は、カスタマイズされた時変数学的操作のそのようなセグメント化及び適用に限定されるわけではない。適用され得る数学関数は、限定はしないが、周波数によるデジタル・フィルタ処理、サブバンドへの音のセグメント化、信号の非線形スケーリング、周波数領域への変換、ウェーブレット又は他の変換など直交変換を使用した変換、信号平均化、信号中の周期イベントを強めるための周期信号の同期、並びに相互相関及び自己相関を含む。数値結果は、信号の特性を強める線形関数、非線形関数又は数学関数を使用してスケーリングされ得る。一般的な手法は、デシベル・スケール又は対数スケールを使用することであるが、本発明は、当該の信号に合わせてカスタマイズされたルックアップ・テーブルを含む他の非線形スケールを含む。そのようなルックアップ・テーブルは、さらには、時変であり、音の特定のサイクルにリンクされ得る。この数学的操作の得られた数値結果は、次いで、値の１次元アレイ、２次元アレイ、３次元アレイ及び４次元アレイとして表され得る。たいていの場合、次元のうちの１つは、明示的に又は暗示的に、元の記録に相関させられた時間軸を含む。数学的操作の２つのセットがあり得ることに留意されたい。第１の数学的操作は、録音自体に適用され、聴取を改善するために強められた新しい録音を生成することができる。第２の数学的操作は、視覚的表現の作成に適用することができる。本発明の重要な態様は、音声操作と視覚操作とが異なり得ることである。音を強めるフィルタ処理効果及びデジタル効果は、音を視覚的に理解しやすくする効果とは異なり得る。本発明の新規の態様は、音及び視覚的表現を強め、最適化するための別個の操作が結合されるか、又は独立し得ることである。
【００８０】
４．数学的に操作された結果を視覚的表現に変換する。これは、数値を色に変換すること、信号を２次元画像及び３次元画像に変換することを含むことができる。通常、画像又はフレームのシーケンスが作成され、各フレームは、画像が、対応する音が発生した時間に相関させられるように、音声信号記録の特定のタイミングに相関する。
【００８１】
５．画像又はフレームのシーケンスをフレームのシーケンス、すなわち、通常、元の音、又は音の改変バージョンに時間相関させられるが、単に音を伴わない視覚的表現でもあり得る、動画に変換する。画像のシーケンスは経時的な音の進行を示す。これは、それが音声トラック上で再生されている時点を示しながら縦横にスクロールするカーソル又はインジケータによって表され得るか、又は、画像は、時間軸が画面上を移動するスクロールするサウンド・ファイルを示すことができる。他の代替は、経時的な信号の変化を、連続する瞬間が軸のうちの１つの上に描かれる３次元画像として示す、いわゆるウォータフォール・ダイヤグラムを含む。代替的に、視覚シーケンスは、音が変化していることを表す２次元視覚的表現であり得る。たとえば、最も簡単な形態では、視覚画像が、色が音に合わせて脈動し得、聴取エクスペリエンスを高めるために形状及び色が変化する。実例は血圧信号を聴取することであり得、色はコロトコフ（Ｋｏｒｏｔｋｏｆｆ）音の強度とともに変化する。これはリスナーに役立ち得る。
【００８２】
６．単独で、又は同期させられた音声ファイルとともに、画像のシーケンスをビデオ・フォーマットに符号化する。このビデオ・フォーマットは、任意のフォーマットであり得るが、好ましくは、ユーチューブ、ヴィメオ、アンドロイド・フォン、アイフォン又はｉＯＳデバイス、コンピュータなど、多数のプラットフォーム上で、フェイスブック、ツイッター、ワッツアップ、スナップチャット、及び同様のプラットフォームなど、ソーシャル・メディア共有システムを介して共有又は表示するための便利なフォーマットである。
【００８３】
７．元の記録の持続時間よりも長いビデオを生成するために、記録の再生を複数回、随意に繰り返す。この場合、進歩性は、ビデオが連続的であるように、繰り返されるシーケンスをとじ合わすことを含む。これは、随意に、ループの終了と次のループの開始との間の点において可聴不連続性が閲覧者によって知覚されないように、ループ・セグメントの終了時及び開始時に音をフェード・イン及びフェード・アウトすることを含むことができる。終了点の決定は、周期信号の出現を有する連続ビデオを作成するためのソフトウェアによって自動的に決定され得る。たとえば、ループ持続時間は、呼吸音の心拍又は複数の心拍若しくは呼吸音の１Ｘ又はＮＸ周期の倍数であり得、ここでＮは整数である。これは、ループを形成するための必要な要件ではないが、ビデオの知覚される継続性を改善することができる。
【００８４】
８．符号化がその上で実行されているローカル・コンピュータ又はモバイル・デバイスへのファイルの記憶。符号化は、ローカル・デバイス中で行われ得るか、又は、結果を記憶するか、若しくは結果を送信することができるリモート・サーバ若しくはリモート・コンピュータ上で行われ得る。
【００８５】
９．随意に、リモート記憶又は閲覧のためのインターネットを介したビデオ・ファイルの送信。これは自動的に行われ得るか、又はユーザが受信側を選択することができる。たとえば、ユーザは、ビデオを生成し、次いで、ビデオを送るために使用するべき通信サービスを選択し、ビデオがそれに送られる受信側を選択するようにソフトウェアに命令することができる。これは、ユーザ又はオペレータに、汎用又はカスタム通信ツールを使用して情報を選択的に共有する能力を与え、次いで、受信側に、そのような汎用サービス又はアプリを使用して結果を閲覧することを可能にするので、サウンド・ファイルをそれらのビデオ・バージョンとともに共有する独特で強力な方法である。
【００８６】
本発明は、ビデオのリアルタイム生成と、音を記録した後のビデオの生成の両方を含むことに留意されたい。したがって、音と画像とを数学的に操作するための本明細書で説明する方法は、ライブ・リスナーが、音を聴取又は記録している時間に結果を閲覧することができるように、リアルタイムで行われ得る。これは、音がリモート・リスナーに送信される、リモート・リスナーについても当てはまり、本発明のソフトウェアは、リモート・デバイス上に視覚効果及びビデオをリアルタイムで又はその後に生成する。さらに、視覚情報の生成は、音がそれにアップロードされる中間コンピュータ・システムによって実行され得、ビデオはリアルタイムで又はその後に作成され、得られたビデオはすぐに又は後で受信側に送られる。
【００８７】
ユーザ・インターフェース
従来の音声記録システムは、一般に、記録ボタンと停止ボタンとを使用する。ユーザは、記録を始めるためにキーを押すか、又は記録キーの視覚的表現にタッチし、記録を停止するために停止キー又は停止キーの視覚的表現を押す。
【００８８】
本発明はこれらの従来の方法を提供するが、本発明の新規の態様は、信号が発生した後に信号を遡及的にキャプチャするための簡単な方法である。これは、オペレータが、心音又は肺音など、当該の音を聞き、ちょうど聞こえた音をキャプチャすることを望み得る、臨床環境において特に有用である。
【００８９】
本発明では、センサーからの音声信号は連続的に記録されている。音声信号データは、したがって、オペレータが記録を開始することをトリガしていない場合でも、メモリにバッファされている。ユーザが、次いで、発生した音をキャプチャすることを望む場合、オペレータは、記録バッファから音をキャプチャし、それを保存することをシステムに通知するための入力トリガを与えることができる。信号を保存するようにソフトウェアに命令する入力トリガは、物理的なボタン・プッシュ、タッチ・スクリーン上のタッチ、加速度計などの動き感知デバイスによって感知される機械的な動き、又は、システムに口述され、ボイス認識システムによって自動的に解釈される「保持」又は「保存」という単語を使用するなど、ボイス命令の形態を取ることができる。
【００９０】
ソフトウェアは、次いで、前にバッファされた情報を取り出し、それを、ｗａｖ、ｍｐ３、ａａｃ若しくは他のフォーマットなど、音声信号記録のために使用され得るフォーマットで、又は単に生データ若しくは他のデータ構造に保存する。データは、次いで、ソフトウェアを実行しているデバイス上に保存されるか、又はリモート記憶手段にアップロードされ得る。
【００９１】
遡及的記録手段によって保存されるべき時間の量の決定は、いくつかの方法で決定され得る。最も簡単な方法は、オペレータが、単に、記録が停止する点から時間を遡ってキャプチャされるべき記録の秒数を設定することである。たとえば、一般的な心音は５秒間又は１０秒間遡及的に記録され得る。肺音は１０秒間又は場合によっては２０秒間記録され得る。オペレータはこの所望の時間を手動で設定することができる。
【００９２】
遡及的にキャプチャされる時間の量を決定するための第２の方法は、オペレータが、タッチ・スクリーンを使用し、記録された又はリアルタイム・データ音声信号を表示しているサブ・ウィンドウをピンチ・ズームすることである。オペレータが、記録波形又は画像上でズーム・イン又はズーム・アウトすると、時間軸が、より長い又はより短い時間期間を示すために調整される。ソフトウェアは、現在選択されている遡及的記録持続時間として表示されている時間ウィンドウの幅を使用することができる。これは、オペレータが記録持続時間を動的に制御するための直観的で簡単な方法である。
【００９３】
遡及的記録持続時間を決定する第３の方法は、ソフトウェアが、信号の興味深い特性の高品質な記録をキャプチャするために必要とされる時間の量、又は自動分析システム若しくは機械学習システムが十分な正確さをもって信号の特性を分析するために十分なデータの量を、信号分析及び／又は機械学習を介して決定することである。キャプチャされ、保存されるべき時間の量のこの自動決定は、信号の品質と、分析システムのために必要とされるデータの量と、オペレータ若しくは分析者による手動分析のために当該の信号を適切に表示するために必要とされる信号の量とに基づき得、又は記録は、アーティファクト若しくは記録の不要なセクションが除外されることを保証するために分析され得る。
【００９４】
当該の信号を自動的に記録するさらなる方法は、ソフトウェアが、当該の信号がキャプチャされているときを決定するために、入来する信号をリアルタイムで、又は前にキャプチャされたバッファ記録から分析することである。聴診器など、身体音記録センサーの場合、ソフトウェアは、センサーが、記録を開始するために生体に接触したとき、及びセンサーが身体から取り外されたときを決定するために、周波数成分及び／又は信号の振幅など、信号の特性を分析する。ソフトウェアは、次いで、センサーがその間に身体と接触していた持続時間を分析し、接触中の記録の持続時間全体を記録し、キャプチャするか、又は、さらに、記録が不要なアーティファクトを有しなかった時間のセグメントのみに記録を低減するために記録をトリミングし、又は、記録の持続時間が、自動分析、当該の特性の手動表示のために必要とされる、若しくは他の記録、アーカイブ若しくは分析目的のために必要な時間の量よりも長くならないように、記録の持続時間を自動的に低減する。
【００９５】
従来技術においてそうであるように、オペレータの手動介入なしに音を自動的にキャプチャするこのプロセスは、記録がそこからキャプチャされている生体上のロケーションを自動的に決定するための方法と組み合わせられ得る。したがって、本発明におけるソフトウェアは、身体上のセンサーを位置特定するためのカメラ又は視覚手段、又は加速度計、又は動きセンサー、又はさらにはオペレータからの手動プロンプト又は口頭プロンプトを使用して、記録の持続時間の自動決定を、生体上のセンサーの位置を検出するための手段と組み合わせることができる。たとえば、オペレータは、記録のロケーションに関してソフトウェアに口頭で命令し得、並びに、機械学習、記録保持、教育、又は診断のためにリモートの同僚と情報を共有することのために使用され得る、所見又はタグを記録にタグ付けし得る。本発明の新規性及び利益は、記録をシームレスに行い、オペレータの他のタスクを妨害しないためにオペレータによって必要とされる手動制御の量を最小にしながら、オペレータが当該の信号を容易にキャプチャすることができることである。
【００９６】
限定はしないが、ビデオ・キャプチャ、遡及的キャプチャ、従来の記録、複数の身体部位記録、及び上記で開示した他の方法を含む、上記の方法のすべてを使用して音声信号をキャプチャする便宜はまた、これらのタスクのすべてを行うためのリモートの方法に拡大され得る。本発明は、リアルタイム又はほぼリアルタイムで、リモート・モバイル・デバイス、サーバ、コンピュータ、又は、スマートウォッチ又は他のデバイスなど、他の電子デバイスに音をストリーミングする能力を含む。音は、したがって、ｗｉｆｉ、Ｂｌｕｅｔｏｏｔｈ、インターネット、ケーブル又は他の媒体など、ネットワークを介してストリーミングされ得、同じ方法は、音声信号をキャプチャし、ビデオに処理するために、音を遡及的にキャプチャするために、信号を保存するために、データにタグ付けするために、特定の身体部位の音声信号又は無生物上の記録部位を識別するために、及び記録ロケーション自体において行われ得る他のそのような方法のために使用され得る。これは、記録センサーから数メートル離れたユーザにとって、又は、遠隔治療、テレビ会議、又はリモート観測若しくはリモート・キャプチャが望ましい他の状況など、遠隔にいるユーザにとって、利益がある。そのような状況において、リモート観測者、ユーザ又はオペレータは、記録する行為、音を遡及的にキャプチャする行為、音をビデオに変換する行為、音を音声フォーマット、ビデオ・フォーマット若しくは組合せフォーマットで保存する行為、記録にタグ付けする行為、音センサーの位置を識別する行為、それを音の記録に追加する行為、又は説明された他の方法のいずれかをトリガすることができる。音センサーを使用する人がリモート・リスナーよりも熟練していない場合、リモート・ユーザがそのようなタスクを実行することが可能であることにかなりの利益がある。本発明は、リモート又はローカル・コンピュータから、後で記録にアクセスし、最初にキャプチャされた音声を追加の情報で強めるためのタスクを後で実行する方法をさらに含む。これは、手動オペレータによって、又は、音声信号の向上したバージョン若しくは分析されたバージョンを生成する信号分析システムなど、自動手段を介して、後で検査されるように、音声記録がキャプチャされ、アップロードされる状況において使用され得る。
【００９７】
本発明の主要な用途は身体音をキャプチャするためであるが、同じ発明は、音声記録が手動又は自動の記録及び／又はさらなる分析のために容易にキャプチャされるべき、他のアクティビティに適用され得ることに留意されたい。本発明は、したがって、本明細書で説明した特定の適用例に限定されない。
【００９８】
図面、ダイヤグラム及びスクリーン画像
本発明の１つのソフトウェア実装形態のスクリーン・ショットが添付の図面中に含まれている。
【００９９】
図２は、波形及び周波数スペクトログラムを用いてリアルタイムで表示されている音声信号の「ライブ」画面を示し、それはまた、ウォータフォール表現、及び、限定はしないが、ウォータフォールにおける高速フーリエ変換（ＦＦＴ：ｆａｓｔ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）及びウェーブレット変換、ヒートマップ又は他の表示スタイルを含む、周波数及び振幅情報を示す他の表示方法であり得る。「最後の５秒を保存」アイコンは、反時計回り方向に扇形をもつ「クロック・スタイル」設計を示す、遡及的記録の特徴を直観的に示す固有の設計要素である。これは、この設計及び適用例に固有のアイコンである。「ストリーム」アイコンは、ライブ共有、すなわち、ライブ音の送信及び受信を起動するために使用される。
【０１００】
図３．
「身体画像」画面は、記録の最後のＮ秒が、記録ロケーションに対応する身体画像上に位置するアイコンの同じクリック／タッチでキャプチャされ得るという点で、本発明の固有の態様を示す。したがって、ユーザは、１回のクリック／タッチで、音をキャプチャすることと、記録がキャプチャされた場所をソフトウェア・アプリに示すことの両方が可能である。これは、時間が重要である、時間敏感な患者診察環境におけるデバイスの使用を合理化する際に極めて有用である。
【０１０１】
記録が次いでキャプチャされると、それは身体ダイヤグラム上に「インシトゥで(in situ)」(本来の場所に)表示され、ロケーションと相関させられた記録されたものを見ることが一層容易になる。位置制御と再生制御の両方が同じアイコン及び画面のタッチで実施されるように、所与の記録を再生し、削除することも、身体上に位置するアイコンで行われ得る。
【０１０２】
図４．
本発明は、グーグル・ドライブ、ドロップボックス又は他のクラウド・ストレージなど、クラウド・ストレージ・システムにファイルを保存する能力を提供する。本発明は、１つのストレージ・システムに限定されないが、ユーザが、彼／彼女が使用したいであろうクラウド・ストレージ・サービスを選択することを可能にする。
【０１０３】
図５
波形、音、身体画像セット、スクリーン・ショット及び音のビデオは、音のタイプ、記録のロケーション、及び潜在的な又は確認された診断に関する医学情報でタグ付けされ得る。これは、教育使用、機械学習システム、電子医療記録、及び他の適用例のために記録にラベル付けすることが可能であるために、極めて重要である。このようにしてキャプチャされたラベル及びタグは、記録とともに記憶され、また、実際の画像、ビデオ、又は音情報の他の表現上のラベルとして使用される。
【０１０４】
図６
身体図は、１回のタッチで同時に、記録をキャプチャし、身体上の位置を識別するための単一アイコン・シングル・タッチ方法を示す。記録は、次いで、それが記録された身体上の位置に示される。身体の下方には、ライブ波形のリアルタイム表示があり、それにより、ユーザは、ちょうどキャプチャされたものをそれが発生した際に見ることができ、記録されたものをキャプチャするために「最後のＮ秒を記録」アイコンにタッチすることが可能であることが容易になる。さらに、リアルタイム・ウィンドウをズームすることによって、ユーザは、キャプチャするための持続時間Ｎを直観的に変更することができる。本発明におけるすべてのこれらの方法は、臨床背景における時間的制約下での並外れたレベルの直観的使用に貢献する。
【０１０５】
図７．
記録画面又はライブ画面は音のライブ波形及びスペクトル表現をリアルタイムで示す。ユーザは、最後のＮ秒をキャプチャするために「最後のＮ秒を記録」アイコン（部分的に塗りつぶされた円グラフ）をシングル・タッチすることができ、Ｎの値は、単に画面をズームすることによって直観的に設定されるか、又はそれはアプリの設定において設定され得る。
【０１０６】
ライブ又は記録画面はまた、デバイスとリモート・システム又はリモート・デバイスとの間にライブ・リンクを確立するためのアイコンを示す。ストリーム・アイコンにタッチすることによって、さらなるメニューが、リモート・リスナーに「ピン」若しくはコードを送るか、又は、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｆｉ若しくはインターネットを介してセキュアなライブ接続を確立するために、リモート送信機からコードを入力することを可能にする。
【０１０７】
図８．
音の波形及び／又はスペクトル表現のスナップショットを撮ることを容易にするための本発明のさらなる特徴がある。これらの代替表現は、スペクトルに限定されないが、音の視覚的表現であり得る。画像はマーカーで注釈を付けられ得、マーカーは、視覚的表現上の所望の位置にドラッグ・アンド・ドロップされ、注釈を大いに直観的にする。ユーザは、次いで、ノートを追加し、画像をキャプチャし、それによって録音と結び付けられた情報を強化することができる。情報は、別個に共有若しくは保存され得るか、又はデータのセット全体が、ローカルに記憶、共有、若しくはアップロードされる単一のファイル若しくはフォルダに圧縮若しくは符号化され得る。
【０１０８】
共有アイコンは、電子メール、メッセージング・アプリなど、デバイス中の他のアプリを介して音を共有すること、又はウェブサイトにアップロードすることを可能にする。
【０１０９】
図９．
記録は、病理情報、又は、記録、ノート、タグ、フラグ、及び、画像をマーキングしたり、ファイルに名前を付けたり、若しくは機械学習のためにコーディングしたりするために有用な他の情報、ニーモニック若しくはコードに関する他の情報で注釈を付けられ得る。ファイルに名前を付けるためにこれらのタグ又はそれの省略を使用する能力は、アプリの有用な特徴であり、特定の病理を位置特定するためのファイルのセットの高速検索を可能にする。
【０１１０】
図１０．
再生画面は、デバイス上で音を再生することを可能にする。また、画像をズーム拡大し、画面上のスケールを変更するためのズーミング特徴とともに、スペクトル画像を強めるためにスペクトル画像の色深度を変更するための制御機構がある。
【０１１１】
図１１
共有アイコンにタッチすると、電子メール、ワッツアップ、フェイスブック、ツイッター、若しくは他の共有プラットフォームなど、情報がそれを介して共有される手段を選択するか、又はユーチューブ、ヴィメオ、及びパブリック若しくはプライベートの他のサイトに、暗号化されるか若しくは暗号化されずにアップロードするさらなるオプションとともに、様々なオプションが、ノート、ビデオ、記録された音などを共有することを可能にする。
【０１１２】
図１２．
記録、ビデオ、ノート及び他の情報は、クラウドに、様々なオンライン・ストレージ・サービスに保存され得る。特定のフォルダが選択され得、音の再生のビデオが生成され得る。そのようなビデオは、デバイス内でローカルに生成され得るか、又は情報は、ビデオ処理を行うリモート・サーバにアップロードされ得る。
【図１】
2021522557.tif 000003
【図２】
2021522557.tif 000004
【図３】
2021522557.tif 000005
【図４】
2021522557.tif 000006
【図５】
2021522557.tif 000007
【図６】
2021522557.tif 000008
【図７】
2021522557.tif 000009
【図８】
2021522557.tif 000010
【図９】
2021522557.tif 000011
【図１０】
2021522557.tif 000012
【図１１】
2021522557.tif 000013
【図１２】
2021522557.tif 000014
【図１３Ａ】
2021522557.tif 000015
【図１３Ｂ】
2021522557.tif 000016
【国際調査報告】
2021522557.tif 000017