ПРЕЦИЗИОННОЕ ИЗМЕРЕНИЕ ФОРМЫ КОЛЕБАНИЙ
PRECISION MEASUREMENT OF OSCILLATION MODE

Область техники, к которой относится изобретение
Изобретение относится к частотно-амплитудно-временному анализу и измерению форм колебаний и составных форм колебаний. Следует отметить, что слово "сигнал" представляет собой распространенный синоним для более общего термина "форма колебаний", и оба термина могут использоваться здесь взаимозаменяемо. Составная форма колебаний состоит из множества форм колебаний (или сигналов), смешанных друг с другом. Хотя большая часть данного документа посвящена диапазону аудиочастот, форма колебаний для целей настоящего изобретения не ограничена каким-либо конкретным диапазоном частот или степенью сложности.
Уровень техники
Для составной формы колебаний желательно точно измерять форму колебаний и ее компоненты, которые могут быть затем соотнесены с несколькими источниками. Это трудно выполнить, когда форма колебаний включает в себя сигналы, создаваемые разными источниками, наложенные по времени и частоте, сигналы низкой энергии, затеняемые сигналами большой энергии, быстрые изменения частоты и/или быстрые изменения амплитуды. Если бы такие формы колебаний можно было более точно измерить и проанализировать, это существенно повысило бы нашу способность понимать, что они содержат и как их следует модифицировать.
Анализ форм колебаний традиционно выполняют во временной и частотной областях. Как правило, такие формы колебаний вначале захватывают в цифровом виде, как выборки амплитуды по времени, затем используют последовательность преобразований для измерения сигналов, и результат отображается в виде матрицы. Различные технологии были разработаны для выделения информации частоты/амплитуды из данных временной последовательности. Однако представление изменений частоты и амплитуды с течением времени может представлять трудности, в частности в случае, когда происходят резкие изменения частоты и/или амплитуды, или сигналы из множества источников занимают одни и те же временные и частотные области.
Одно общее преобразование для получения информации о времени, частоте и амплитуде представляет собой дискретное преобразование Фурье (DFT). К сожалению, существует компромисс между разрешающими способностями по частоте и по времени, вытекающий из размера (размерности) DFT. Временное окно, инспектируемое DFT, пропорционально его размерности. Таким образом, DFT большой размерности инспектируют большее временное окно, чем DFT малого размера. Такое большее временное окно делает DFT большой размерности медленно реагирующим на динамические изменения.
И, наоборот, DFT большой размерности разделяет частотный диапазон на более мелкие части. Максимальная частота, измеряемая DFT, составляет половину частоты выборки оцифрованного сигнала. DFT с размерностью Х разделяет частотный диапазон от 0 до максимум Х/2 "бинов" равного размера. Таким образом, размер каждого частотного бина в DFT равен удвоенному значению частоты выборки, разделенному на его размерность.
Таким образом, DFT с более высокой размерностью имеют более высокое разрешение по частоте, но более низкое разрешение по времени. DFT с меньшей размерностью имеют более высокое разрешение по времени, но более низкое разрешение по частоте. В связи с этим компромиссом на практике пытаются найти модифицированные DFT или другие альтернативные способы точного представления динамических, изменяющихся по времени форм колебаний с хорошим разрешением как по времени, так и по частоте.
Спектрограммы, дискретные вейвлет-преобразования, технологии Вигнера-Вилле, Габора и технологии наложения окна являются всего лишь некоторыми из технологий, используемых в попытке получения более точных частотно-временных представлений динамических сигналов, которые изменяются по времени, частоте и амплитуде. Каждая технология имеет свои собственные сильные и слабые стороны: сложность вычислений (то есть нагрузку при обработке), артефакты/искажения, точность и разрешающую способность по времени, точность и разрешающую способность по частоте,  точность и разрешающую способность по амплитуде. Настоящее изобретение представляет не новую технологию преобразования, а способ комбинирования множества преобразований с использованием любой из существующей (или новой) технологии.
Настоящее изобретение не следует смешивать с отдаленно аналогичной, но менее сложной формой комбинирования множества данных FT, называемой спектральной корреляцией. В спектральной корреляции, которую можно найти в предшествующем уровне техники, рассчитывают FT одного размера, и данные FT не используют одновременно. Поэтому, в отличие от настоящего изобретения, при спектральной корреляции не используют преимущества одновременного улучшения разрешающей способности и точности по времени и частоте. В ней также информация размазывается по времени, для недопущения чего разработана данная технология.
Авторы изобретения получили несколько патентов, которые включены путем ссылки. Это: Fast Find Fundamental Method, патент США №6,766,288 B1; Method of Modifying Harmonic Content of a Complex Waveform, патент США №7,003,120 B1;  Method of Signal Shredding, патент США №6,798,886 B1. Предварительная заявка №61/119198, поданная 26 ноября 2008 г., также включена путем ссылки.
Раскрытие изобретения
Изобретение направлено на машинно-реализуемый способ обработки цифрового сигнала, содержащий этапы, на которых: получают цифровой сигнал путем преобразования аналогового сигнала или из накопителя данных; строят одну или более измерительных матриц (ММ), состоящих из ячеек, содержащих амплитуды для конкретных моментов времени и частот; помечают максимумы в одной или более матрицах на основе сравнений амплитуд в ячейках;  идентифицируют коррелированные ячейки с максимумами во множестве измерительных матриц, совпадающие по времени и частоте. Затем генерируют новую матрицу с помеченными скоррелированными максимумами, называемую прецизионной измерительной матрицей (РММ). (Следует отметить, что все эти максимумы представляют собой локальные максимумы, но для краткости здесь они просто называются "максимумами". Они также могут представлять собой глобальные максимумы, но здесь это не имеет значения.)
Каждая измерительная матрица типично генерируется путем повторения преобразования входного сигнала, используя, например, быстрое преобразование Фурье (FFT). Каждое преобразование представляет участок времени, называемый временным квантом, во входном сигнале, и позволяет получить ряд ячеек, причем каждая ячейка соответствует участку частот, называемому частотным бином. Каждая ячейка заполнена амплитудой, представляющей силу сигнала, для своего соответствующего частотного бина/кванта времени. Ячейки в каждой измерительной матрице, имеющие максимальные амплитуды в каждом кванте времени и/или в частотном бине идентифицируют и помечают. Можно использовать множество способов для идентификации максимумов, в результате чего получают много типов максимумов. Максимумы в различных матрицах и/или различных типов, которые совпадают по времени и частоте, помечают в новой матрице, называемой "прецизионной измерительной матрицей". Соседние скоррелированные максимумы в РММ затем соединяют вместе как частичные цепи. Получение, деформацию, идентификацию, выбор, разметку и соединение выполняют с помощью машины.
Ячейку с максимумом идентифицируют путем сравнения амплитуды с амплитудами соседних ячеек или путем сравнения амплитуд других, в частности, соответствующих ячеек. Ячейку определяют как ячейку с простым максимумом, если амплитуда ячейки больше, чем амплитуда некоторых соседних ячеек. Другие типы максимумов (определенные ниже) включают в себя: ассоциированные максимумы типа "младший брат", угловые максимумы и максимумы типа "взломщик". Если множество максимумов будет найдено для одного кванта времени и частотного бина (в разных ММ и/или для множества типов максимумов, в одной и том же ММ/ячейке), тогда эти максимумы совпадают, и, в зависимости от определенных критериев тестирования, соответствующую ячейку в РММ можно пометить как коррелированный максимум. Амплитуда в каждой ячейке в РММ заполняется функцией значений в соответствующих ячейках в порождающей ММ (например, взвешенное среднее значение).
Определения
Здесь используются следующие определения.
FT; Преобразование Фурье - способ расчета амплитуды спектра для формы колебаний.
DFT: Дискретное преобразование Фурье - алгоритм, который рассчитывает амплитуды спектра для дискретных (оцифрованных) форм колебаний. Результат DFT может представлять собой комплексное число или только реальную амплитуду. Для множества раскрытых вариантов осуществления настоящего изобретения требуется только реальная амплитуда. Если только конкретно не будут описаны как комплексные, все ссылки на DFT, приведенные здесь, относятся к реальному результату DFT.
FFT: Быстрое преобразование Фурье - быстро выполняемый способ DFT, который является настолько популярным, что его название часто используют, как синоним с DFT. DFT и FFT используются здесь взаимозаменяемо.
FIR: конечная импульсная характеристика - используемая здесь FIR относится к фильтру FIR. Совокупность FIR может формировать частотно-временную информацию, аналогичную информации из FFT с выводом реальной амплитуды.
IIR: бесконечная импульсная характеристика - используемая здесь IIR относится к фильтру IIR. Совокупность IIR может формировать частотно-временную информацию, аналогичную информации из FFT с выводом реальной амплитуды.
Окно: отрезок времени, используемый преобразованием Фурье (или эквивалентной методикой). В DFT размер окна (в отсчетах) называется размерностью DFT. Например, если сигнал оцифрован с использованием 8000 отсчетов в секунду, DFT с размерностью 4000 будет работать по 4000 отсчетам (половина секунды) данных.
Метод наложения окна: популярный способ DFT, в соответствии с которым не все отсчеты в пределах окна обрабатывают одинаково. Например, простое DFT с размерностью 4000 будет просто преобразовать 4000 отсчетов. При использовании метода наложения окна 4000 отсчетов модулируются с тем, чтобы придать больший вес отсчетам в середине и меньший вес для отсчетов в начале и в конце. Метод наложения окна разработан для уменьшения боковых лепестков/артефактов частотной характеристики
DFT
дБ: децибел - логарифмическое отношение измерений, используемых, например, для
акустических и электронных измерений и расчетов.
dBFS: децибелы полной шкалы - дБ, относящиеся к максимальному уровню пика в цифровом представлении.
Квант времени: отрезок времени. Квант времени может, например, быть представлен с помощью FFT, работающего на определенном временном окне данных. Однако окно типично будет намного больше, чем квант времени, который оно представляет, и его центр будет установлен на кванте времени. Размер квантов времени определяют по промежуткам между последовательными выполнениями FFT, а не по размеру окна. Для оцифрованного сигнала с 8000 отсчетами в секунду, если новое выполнение FFT выполняется через каждые 8 отсчетов, тогда кванты времени равны 8 выборкам (1 миллисекунде). Окно FFT может быть равно 4000 отсчетам (половине секунды или 500 квантам времени).
Частотный бин: малый диапазон частот (например, 1702-1704 Гц)
Ячейка: единичный модуль в матрице. Как правило, ячейка представляет частотный бин в кванте времени и содержит амплитуду, выраженную в dBFS.
ММ: измерительная матрица - матрица с ячейками, представляющими спектральную амплитуду формы колебаний с течением времени. Измерительную матрицу генерируют путем повторения FFT (или другого преобразования, или его эквивалента). Каждое FFT формирует, в течение своего кванта времени, строку (или столбец) ячеек - одна ячейка для каждого частотного бина. Амплитуда в каждой ячейке представляет собой амплитуду для этого частотного бина в этом кванте времени. Ячейки затем проверяют и маркируют, при необходимости, как максимумы. Измерительная матрица может иметь бесконечную длину при обработке непрерывного сигнала в режиме, близком к режиму реального времени. Для ограниченных по времени форм колебаний измерительная матрица может иметь конечную длину. Аналогично по меньшей мере две измерительные матрицы могут называться измерительными матрицами.
Ячейка с максимумом: ячейка, помеченная как имеющая один или более типов максимумов.
Ячейка с простым максимумом: ячейка, амплитуда которой больше, чем у ячеек, непосредственно смежных с ней. Если амплитуда ячейки больше, чем в ячейках того же частотного бина, которые расположены непосредственно перед ней и непосредственно после нее по времени, такая ячейка представляет собой простой максимум временного пика. Если амплитуда ячейки больше, чем в ячейках того же кванта времени, которые расположены непосредственно выше нее и непосредственно ниже нее по частоте, такая ячейка представляет собой простой максимум частотного пика. Одна ячейка может быть одновременно простым максимумом по времени и по частоте. Ячейки с простым максимумом пика по времени и пика по частоте могут быть явным образом различаться или могут рассматриваться как синонимы и называться для кратности просто "ячейками с простым максимумом", или "простыми максимумами", или "локальными максимумами".
Ячейка со связанным максимумом ("младший брат"): ячейка, смежная с простым максимумом, амплитуда которой находится в пределах заданного порогового значения от простого максимума и больше, чем в ячейке с другой стороны. Если ячейка представляет собой простой максимум временного пика, ячейки того же частотного бина, которые непосредственно предшествуют ей и следуют после нее, являются кандидатами в ассоциированные максимумы. В примерном варианте осуществления, если амплитуда в ячейке-кандидате, предшествующем простому максимуму, находится в пределах 2 дБ от амплитуды простого максимума и при этом больше, чем амплитуда ячейки, которая предшествует ей, она помечается как младший брат. Аналогично, если ячейка представляет собой простой максимум частотного пика, ячейки одного кванта времени, которые расположены непосредственно выше и ниже простого максимума по частоте, представляют собой кандидаты в ассоциированные максимумы. В примерном варианте осуществления, если амплитуда в ячейке-кандидате, которая находится непосредственно выше простого максимума по частоте, находится в пределах 3 дБ от амплитуды простого максимума и при этом больше, чем амплитуда ячейки, находящейся выше нее по частоте, тогда она помечается как "младший брат". Пороговое значение в дБ для "младших братьев", расположенных рядом по времени, необязательно должно быть тем же, что и для "младших братьев", расположенных по частоте. "Младшие братья" по времени и частоте могут помечаться различным образом, или их можно рассматривать как синонимы, и они могут помечаться просто как "младшие братья". Одна ячейка может представлять оба типа.
Ячейка углового максимума: ячейка, для которой разность амплитуды между нею и соседними ячейками на противоположных сторонах больше заданного порогового значения. В примерном варианте осуществления, если ячейка на 4 дБ больше, чем ячейка того же частотного бина, которая непосредственно предшествует ей по времени, но всего лишь на 1 дБ меньше, чем ячейка, которая следует после нее, разность 3 дБ квалифицирует ее как угловой максимум (в частности, временной угловой максимум). Частотный угловой максимум находят аналогично путем сравнения амплитуды ячейки с амплитудой ячейки в том же кванте времени, находящейся непосредственно выше и ниже по частоте. Угловые максимумы могут быть явно помечены как частотные угловые максимумы и/или временные угловые максимумы, или они могут рассматриваться как синонимы и могут быть помечены просто как угловые максимумы. Одна ячейка может представлять оба типа.
Ячейка максимума типа "взломщик": ячейка с максимумом, в которой максимум обнаруживают путем измерения изменений амплитуды, когда пик сигнала поступает в окно DFT и выходит из него. Пик энергии в частотном бине будет влиять на амплитуду всех ячеек в этом бине, когда пик находится в пределах окна преобразования ячейки. Если окно преобразования составляет, например, 500 квантов времени по ширине, тогда пик поступит в 500 квантов времени окна (ячеек), прежде чем он выйдет. Путем сравнения увеличения амплитуды с уменьшением через 500 квантов времени, а также сравнения их обоих с заданным пороговым значением, может быть заявлен максимум типа "взломщик". Ячейку (ячейки) в середине затем помечают. Если пик длиннее, чем один квант времени по длительности, тогда энергия будет повышаться по множеству ячеек (квантов времени или строк) и будет снижаться аналогично через 500 ячеек, и множество ячеек в середине будут помечены как максимумы типа "взломщик". Таким образом, в отличие от других типов максимумов, максимум типа "взломщик" не обнаруживают путем сравнения ячейки с ее непосредственными соседями. Поскольку окно может быть намного шире, чем одиночный квант времени, изменения амплитуды можно видеть в ячейках, расположенных далеко от ячейки (ячеек), которые должны быть помечены. Кроме того, в отличие от простых, ассоциированных угловых максимумов, максимум типа " взломщик" может существовать только как временной максимум; здесь отсутствует аналогичный максимум по частоте.
Скоррелированная ячейка с максимумом: ячейка в РММ, соответствующая ячейкам с максимумом во множестве ММ. Когда ячейки с максимумами во множестве ММ перекрывают друг друга (то есть частично или полностью совпадают) по времени и по частоте, говорят, что они являются скоррелированными, и ячейка в РММ, которая соответствует по времени и по частоте перекрытию этих коррелированных ячеек, называется скоррелированной ячейкой с максимумом (следует отметить, что "совпадающий" или "соответствующий" представляют собой эквивалентные термины).
Часть: помеченная ячейка с максимумом или кластер взаимосвязанных помеченных ячеек с максимумами (например, простой максимум и его "младшие братья").
Цепь частей: совокупность частей, связанных вместе. Цепь частей может включать в себя одну или более частей на квант времени. Цепь частей может проходить через кванты времени как прямая линия, как изогнутая линия и/или как ломаная линия. Цепи частей рассматривают как связанные ячейки - связанные по причине их близости.
DnMM: измерительная матрица размерности N - измерительная матрица с N частотными бинами. Например, D500MM представляет собой измерительную матрицу с 500 частотными бинами. Временная размерность, являющаяся потенциально бесконечной, не используется при наименовании ММ.
РММ: прецизионная измерительная матрица - ММ с маркированными скоррелированными максимумами.
DnPMM: прецизионная измерительная матрица размерности N.
Сигнал: любая детектируемое физическая величина или импульс, из которых могут получить сообщения, данные или информацию (например, вывести или извлечь). Как пояснялось выше, изобретение относится к частотно-амплитудно-временному анализу и измерению "форм колебаний" и "составных форм колебаний". Термин "сигнал" является популярным и общепринятым синонимом более общего термина "форма колебаний", и они оба могут использоваться взаимозаменяемо в данной заявке. Таким образом, термин "составная форма колебаний" может означать "состоящая из множества форм колебаний (или сигналов), смешанных вместе".
Краткое описание чертежей
Файл патента или заявки содержит, по меньшей мере, один чертеж, выполненный в цвете. Копии данного патента или публикации заявки на патент с цветным чертежом (чертежами) будут предоставлены по запросу.
На фиг.1 показана схема в соответствии с примерным вариантом осуществления изобретения.
На фиг.2 показан вид примерной измерительной матрицы с простыми максимумами, помеченными в соответствии с примерным вариантом осуществления изобретения.
На фиг.3А, 3В, 3С, 3D, 3Е и 3F показаны некоторые из возможных категорий обнаружения максимумов в соответствии с примерными вариантами осуществления изобретения.
На фиг.4 показан примерный результат сравнений между измерительными
матрицами для определения совпадений максимумов и получения матрицы со скоррелированными максимумами, или прецизионной измерительной матрицы (РММ).
На фиг.5А и 5В показаны примеры визуализации двух измерительных матриц, полученных с отдельными FFT для одних и тех же данных, в соответствии с примерным вариантом осуществления изобретения.
На фиг.5С и 5D показаны примеры визуализации максимумов, определенных для двух измерительных матриц по фигурам 5А и 5В, соответственно, и полученных с помощью механизма анализа в соответствии с примерным вариантом осуществления изобретения.
На фиг.5Е показан пример визуализации выходных данных прецизионной измерительной матрицы, определенной по максимумам, показанным на фиг.5С и 5D, в соответствии с примерным вариантом осуществления изобретения.
На фиг.6 показан примерный вариант осуществления изобретения.
Осуществление изобретения
Примерные варианты осуществления изобретения формируют "прецизионную измерительную матрицу" (РММ) как часть нового динамичного выполняемого компьютером процесса, который формирует точную информацию амплитуды и частоты во времени. РММ представляет собой новый вид чрезвычайно полезных данных и позволяет получить более точные выходные данные, чем в предшествующем уровне техники.
По сравнению с проблемами, связанными с обычными методами, некоторые примерные варианты осуществления изобретения предпочтительно обеспечивают высокое разрешение и точность измерений мгновенной частоты и амплитуды в сигнале временного ряда. Варианты осуществления изобретения позволяют выполнить это путем комбинирования множества одновременных измерительных матриц различных размеров (путем отметки ячеек в результате поиска ячеек с максимумами и их отметки) с последующим поиском ММ для корреляции максимумов. Как пояснялось выше, преобразования меньшего размера обеспечивают лучшее разрешение по времени, в то время как преобразования большего размера обеспечивают лучшее разрешение по частоте. По этой причине обычно используют две или больше измерительные матрицы (отличающиеся по разрешению по времени и по частоте) для построения общей РММ. Дополнительные измерительные матрицы (например такие, которые имеют одинаковые размеры, но по-разному преобразуют или используют различные методы наложения окна) можно использовать для получения еще большего разрешения и точности. Множество типов максимумов (даже в одной ММ) также можно использовать для поиска коррелированных максимумов для РММ. Соседние коррелированные максимумы будут связаны в цепи, называемые цепями частей. Такое соединение выполняют путем соединения любых двух ячеек с максимумами, которые расположены рядом друг с другом или идентичны по частотным бинам, и также находятся в соседних или в идентичных квантах времени.
В одном основном варианте осуществления два ММ формируют, используя FFT разных размерностей, а простые максимумы и "младшие братья" (как по времени, так и по частоте) помечают, используя пороговое значение 2 децибела для "младших братьев". В данном варианте осуществления все четыре типа максимумов (временной и частотный, простой и "младший брат") обрабатывают одинаково, и ячейки помечают просто как "максимумы". РММ затем формируют путем сравнения ячеек этих двух ММ с соответствующими временем и частотой и помечают максимумы в РММ, где обе соответствующие ячейки имеют максимумы. Ячейки в РММ заполнены средними значениями амплитуд соответствующих ячеек в первоначальных ММ.
Например, предположим цифровой аудиосигнал из 8000 отсчетов в секунду. В таком варианте осуществления одна ММ может быть сформирована путем выполнения FFT с размерностью 1000 каждые 80 отсчетов (каждые 10 мс). Каждое FFT представляет квант времени длиной 10 мс. Полученные в результате амплитуды каждого FFT записывают в одну строку в данной ММ. Ячейки, которые квалифицируют как простые максимумы и "младшие братья", затем маркируют как ячейки максимумов.
Следует отметить, что FFT с размерностью N (или другая эквивалентная технология) формирует ММ с N/2 частотными бинами. Таким образом, ММ, сформированная в результате FFT с размером 1000, представляет собой D500MM. Следует также отметить, что максимальная возможная частота всегда равна половине частоты дискретизации (4000 Гц в данном примере при частоте выборки 8000). Разделение частотного диапазона от 0 до 4000 Гц на 500 равных частей позволяет получить частотные бины шириной 8 Гц (-4-4 Гц, 4-12 Гц… 3988-3996 Гц). Ячейки, которые были квалифицированы как простые максимумы и "младшие братья", затем маркируют как ячейки с максимумами.
Далее формируют D2000MM путем выполнения FFT с размерностью 4000 для каждых 80 отсчетов. Получаемые в результате амплитуды каждого FFT записывают как одну строку для D2000MM. Частотные бины D2000MM имеют ширину 2 Гц (-1-1 Гц, 1-3 Гц… 3997-3999 Гц). Ячейки, которые квалифицируются как простые максимумы и "младшие братья", затем маркируют как ячейки с максимумами.
Следует отметить, что D2000MM имеет в четыре раза большую точность по частоте, чем D500MM. И, наоборот, D500MM благодаря использованию более короткого окна является в четыре раза более точной по времени, чем D2000MM. В частности, D2000MM рассчитывают по временному окну из 4000 отсчетов (охватывающих половину секунды -50 строк или квантов времени), в то время как D500MM рассчитывают из временного окна 1000 отсчетов (охватывающих только одну восьмую секунды - 12,5 строк или квантов времени).
-
-
-
Для одновременного получения временного разрешения D500MM и разрешения по частоте D2000MM эти две матрицы коррелируют и строят D4000PMM. Поскольку каждый частотный бин в D500MM в четыре раза шире, чем частотный бин в D2000MM, идентификация, какой бин в одной матрице соответствует бину в другой матрице, может привести к путанице. Для упрощения этой задачи (как в фактически используемом устройстве, так и в данном пояснении) расширим D500MM и D2000MM, для получения соответствующих бинов. С этой целью разделим каждую ячейку в D500MM на восемь равных частей. В каждой строке в D500MM каждую ячейку разделяют. Ячейку для -4-4 Гц разделяют на 8 ячеек (-4-3 Гц, -3-2 Гц, -2-1 Гц, -1-0 Гц, 0-1 Гц, 1-2 Гц, 2-3 Гц и 3-4 Гц). Каждая из новых ячеек содержит амплитуду и метки максимумов первоначальной ячейки -4-4 Гц. Другие ячейки разделяют таким же образом. Таким образом, поскольку строки (кванты времени) уже сопоставлены точно по времени, каждая ячейка в расширенной D500MM точно соответствует (по времени и по частоте) ячейке в аналогично расширенной D2000MM, и построение D4000PMM теперь совершенно понятно.
Амплитуду в каждой ячейке в D4000PMM заполняют средним значением амплитуд соответствующих ячеек в D500MM и D2000MM. Допустима любая функция этих двух амплитуд, но в данном варианте осуществления амплитуда ячейки в РММ представляет простое среднее значение энергий ячеек в двух исходных ММ. Каждую ячейку помечают как максимум, если соответствующие ячейки в обеих ММ помечены как максимумы.
Следует отметить, что то, что ряды в этих ММ точно соответствуют по времени, является общеизвестным, но, тем не менее, стоит пояснения. Самую первую строку в D2000MM формируют из отходов 1 - 4000 в оцифрованном входном сигнале. Первую строку D500MM генерируют из отсчетов 1501-2500 для его центровки. (Центр находится точно на значении 2000,5). Поскольку квантовые времени имеют ширину 80 отсчетов, квант времени, представленный этими строками, можно рассматривать как состоящий из отсчетов 1961-2040 (также с центром 2000,5). Вторая строка (квант времени) будет следовать через 80 отсчетов. Вторая строка D2000MM будет сгенерирован FFT по отсчетам 81-4080 (с центром в 2080,5), D500MM по отсчетам 1581-2580 (также с центром в 2080,5). Квант времени можно рассматривать как состоящий из выборок 2041-2120 (снова с центром в 2080,5). Следует отметить, что кванты времени не накладываются друг на друга по определению.
Другие варианты осуществления данного изобретения могут быть сформированы в результате видоизменений этого варианта. Временные максимумы могут быть опущены и могут использоваться только частотные максимумы. И, наоборот, могут использоваться только временные максимумы. Пороговое значение "младшего брата" может быть изменено с 2 дБ до любого другого значения, или "младшие братья" могут быть полностью исключены. Более чем две ММ могут быть сформированы и скоррелированы. Когда используются более чем две ММ, согласие между всеми ними не обязательно должно быть полным. Например, если используются пять разных измерительных матриц, могут потребоваться три из пяти максимумов в одно и то же время и при одной и той же частоте для идентификации скоррелированного максимума. Скоррелированный максимум также может быть определен как максимум в ММ с наибольшей размерностью, что совпадает с максимумом в любой другой ММ. Критерии для скоррелированного максимума могут изменяться в соответствии с вариантами применения, или характеристики сигнала могут содержать соглашение по времени и по частоте двух или более максимумов. Кроме того, скоррелированный максимум может быть определен по-разному для разных частотных диапазонов. Например, для низких частот могут потребоваться измерительные матрицы с большей размерностью для разрешения по частоте. И, наоборот, для более высоких частот могут отлично работать измерительные матрицы с меньшей размерностью.
Любая комбинация этих видоизменений может использоваться в примерном варианте осуществления. Кроме того, может использоваться любая технология наложения окна. В другом примерном варианте осуществления множество ММ генерируют, используя FFT с одинаковой размерностью, но с разными методами наложения окна. Максимумы затем маркируют в этих ММ (возможно, используя разные критерии маркировки), и затем ММ сравнивают для поиска скоррелированных максимумов и построения РММ. В другом примерном варианте осуществления множество ММ формируют, используя как разные размерности, так и разные методы наложения окна. Например, D500MM и D2000MM могут быть сформированы без использования технологии наложения окна, а другая D2000MM может быть получена с использованием окна Хэмминга. Эти три ММ затем коррелируют для получения РММ. Количество возможных комбинаций бесконечно.
В другом примерном варианте осуществления формируют только одну ММ. В данном варианте осуществления D4000MM формируют без использования методики наложения окна. Простые максимумы пика частоты идентифицируют и помечают. Кроме того, идентифицируют и помечают максимумы типа "взломщик". Любая ячейка, помеченная одновременно как пик частоты и как максимум "взломщик", представляет собой скоррелированный максимум, и РММ формируют из этих помеченных скоррелированных максимумов.
Другие варианты осуществления настоящего изобретения могут быть получены в результате видоизменений этого варианта. ММ может иметь другую размерность, чем 4000. Технологии обращения свертки и/или наложения окна можно использовать для улучшения разрешения ММ по частоте. "Младшие братья" могут быть разрешены. Пороговое значение для "младших братьев", вместо использования постоянного числа в дБ, может быть представлено как функция характеристик максимума типа "взломщик". В частности, "сильный" максимум типа "взломщик" (тот, который проявляет больший наклон, когда пик сигнала входит и выходит из окна) может инициировать другие пороговые значения для "младших братьев", чем слабый максимум "взломщик".
В другом примерном варианте осуществления ячейки ММ могут быть заполнены комплексными числами с использованием полного комплексного FFT, и идентификация максимумов может быть основана как на амплитуде, так и на фазе в ячейках. Например, пороговые значения "младших братьев" и угловых максимумов могут включать в себя компонент фазы. Большие или меньшие сдвиги фазы можно рассматривать в большей степени характеризующими максимум.
В другом примерном варианте осуществления некоторые или все из FFT заменены множеством IIR или FIR. В каждом частотном бине используется отдельный FIR или IIR. Общая технология использования фильтров вместо фактических преобразований из одной области в другую для идентификации частотного спектра известна, но этот способ является более интенсивным по вычислениям. Для того чтобы идентично центрировать кванты времени в ММ, может использоваться компенсация задержки по времени для регулирования вариаций групповой задержки в частотных откликах фильтров. ММ, сформированные из FIR и IIR, используются так же, как и ММ, сформированные из FFT.
Кроме того, следует понимать, что FFT могут быть заменены использованием других типов преобразований, которые обеспечивают те же или аналогичные типы расчетов или аналитических характеристик. Дискретное вейвлет-преобразование (DWT) представляет собой один пример такого преобразования. Обычно подразумевается, что такое преобразование можно рассматривать как поворот функционального пространства в разных областях. Кроме того, FFT, и DWT, и т.п. имеют базисные функции, которые локализованы по частоте. Таким образом, примерные варианты осуществления можно использовать с различными типами преобразований, которые обеспечивают описанную здесь функциональность.
Примерные варианты осуществления могут сочетать все из перечисленных выше многих типов максимумов во множестве ММ, сформированных с помощью FFT разной размерности и/или с использованием других преобразований и/или других методик наложения окна и/или банков FIR или IIR. Максимумы затем коррелируют для соответствующих частотных бинов и квантов времени. При использовании FIR или IIR более длинные кванты времени можно использовать для уменьшения вычислительной нагрузки. В этом случае одна строка (квант времени) в ММ, сформированный посредством FIR или IIR, может коррелировать по времени с двумя или более строками в ММ, сформированной на основе FFT. Для того чтобы способствовать получению простой корреляции, матрицы могут быть расширены по времени аналогично тому, как матрицы были расширены по частоте, или корреляция может быть выполнена без такого устройства. Кроме того, в то время как идентификация ячеек с максимумами описана здесь как "отметки" ячеек, это не следует понимать буквально в некоторых примерных вариантах осуществления. Можно использовать любой способ отслеживания, какие ячейки содержат максимумы, а какие нет. В примерном варианте осуществления отдельные параллельные матрицы (или массивы) содержат обозначения максимумов. Таким образом, ММ или РММ необязательно должны буквально относится к отдельной матрице или массиву в устройстве, но могут буквально относиться к набору параллельных матриц или массивов, которые совместно содержат описанную здесь информацию об амплитуде и о максимумах.
На фиг.1 показана схема в соответствии с примерным вариантом осуществления изобретения. Устройство 101а приема аналогового сигнала фиксирует физический аналоговый сигнал (который, как пояснялось выше, может включать в себя одну или более форм колебаний); поэтому его можно рассматривать как физическое аналоговое устройство. Устройство 101а приема аналогового сигнала может, например, представлять ленточный магнитофон, воспроизводящий ленту, микрофон, видеокамеру или другой преобразователь и т.д. Аналогово-цифровой (A/D) преобразователь 101b преобразует физический аналоговый сигнал в цифровой формат. В примерном варианте осуществления A/D преобразователь 101b встроен, например, в цифровое аудиоустройстве, которое подает сигнал в цифровую звуковую рабочую станцию (DAW).
Цифровой формат формируют, например, используя 16-битное квантование и частоту дискретизации 8 кГц. Каждый бит квантования может охватывать динамический диапазон приблизительно 6 дБ. Таким образом, пример 16-битного квантование может привести к общему динамическому диапазону приблизительно 125 дБ, что достаточно для некоторых вариантов аудиоприменения. Другие варианты квантования доступны в том, но без ограничений, 32-битное и 24-битное. Квантование также может быть однобитным с использованием избыточной дискретизации и сигма-, дельта-модуляции, как обычно используют в таких устройствах, как CD-ROM. Устройство 101а приема аналогового сигнала и A/D преобразователь 101b могут представлять собой одно и то же устройство или отдельные устройства.
В примерном варианте осуществления вместо предоставления цифрового сигнала через устройство 101а приема аналогового сигнала и A/D преобразователь 101b, цифровой сигнал может быть предоставлен из накопителя 102 данных, в котором содержится цифровой сигнал. Накопитель 102 данных может представлять собой любого типа накопитель данных, например, накопитель на жестком диске, устройство - накопитель, подключенное через сеть (NAS), накопитель типа флэш и т.д. Однако накопитель 102 данных не ограничен этими конкретными примерами. Накопитель 102 данных может включать в себя любые существующие устройства - накопители данных или устройства, которые будут разработаны в будущем, без выхода за пределы объема настоящего изобретения.
Множество типов сигналов могут быть обработаны в соответствии с примерными вариантами осуществления. Например, предоставляемые цифровые сигналы могут представлять собой оцифрованные аналоговые сигналы из аудиоспектра, видеоспектра или других спектров, или могут быть предоставлены в цифровой форме.
В блоках 103-107 цифровой сигнал принимают либо из устройства 101а приема аналогового сигнала и A/D преобразователя 101b, или из накопителя 102 данных, и его преобразуют для генерирования измерительных матриц. Преобразование может представлять собой, например, FFT. Например, в каждом блоке 103-107 выполняют FFT для оцифрованного физического аналогового сигнала с разными измерениями и соответствующим спектральным разрешением. Функции преобразований также могут быть выполнены с помощью банка полосовых фильтров FIR или IIR, имеющих центральные частоты, соответственно, разнесенные по спектру, представляющему интерес. Обычно выполняют два или больше таких преобразования (или наборов банков фильтров). На фиг.1 показаны пять таких преобразований, хотя можно использовать любое их количество.
В блоках 108-112 ячейки с максимумами в каждой измерительной матрице идентифицируют с помощью различных способов сравнения амплитуд ячеек в каждой измерительной матрице. Когда выполняют обработку измерительных матриц для форм колебаний в режиме реального времени, один или несколько строк могут обрабатываться одновременно. Некоторые данные сохраняют из строк, обработанных ранее, для сравнения со строками, обрабатываемыми в настоящий момент.
В блоке 113 идентифицированные максимумы в каждой измерительной матрице сравнивают по времени и частоте для поиска скоррелированных максимумов. Такие сравнения могут включать в себя максимумы одного типа или разных типов. В примерном варианте осуществления такие сравнения могут включать в себя максимумы разных типов от одного и того же преобразования/блока (например, блока 108). Например, ячейки с максимумом типа "взломщик" из блока 108 можно сравнивать с ячейками простого и ассоциированного максимума из блоков 108-112. Возможна любая комбинация сравнений.
В блоке 114 строят прецизионную измерительную матрицу. Идентифицированные места расположения в совпадающих квантах времени и частотных бинах из блока 113 формируют коррелированные максимумы, которые маркируют в РММ. Амплитуды в ячейках в РММ могут быть заполнены любой функцией амплитуд, содержащихся в соответствующих ячейках в исходных измерительных матрицах (например, среднее значение, взвешенное среднее значение, медиана и т.д.). Такая функция может быть простой (например, может использовать просто амплитуду из одной из исходных матриц) или сложной (например, чувствительной к тому, содержит ли ячейка каждой исходной матрице максимум, и какой тип максимума).
В примерном варианте осуществления выходное устройство 115 может представлять собой накопитель данных, или устройство передачи, или устройство визуализации, имеющее интерфейс пользователя для визуализации измеренного сигнала. Устройство визуализации представляет собой, например, устройство отображения или печатающее устройство. Примеры устройств отображения могут включать в себя жидкокристаллические дисплеи, проекционные мониторы и т.д. Примеры печатающих устройств могут включать в себя принтеры на основе тонера, струйные принтеры с жидкими чернилами, принтеры без чернил и т.д. Другие промежуточные результаты примерных вариантов осуществления также могут быть предоставлены в выходное устройство 115. В примерном варианте осуществления выходное устройство 115 может представлять собой накопитель данных для сохранения РММ. В примерном варианте осуществления выходное устройство 115 может представлять собой устройство передачи, предназначенное для передачи РММ в другое устройство. Эти результаты затем могут использоваться в сигнальном процессоре или в другом устройстве для модификации первоначальной формы колебаний. В примерном варианте осуществления выходное устройство может включать в себя как накопитель данных, так и устройство визуализации, так чтобы сигнальный процессор можно было вручную отрегулировать для достижения желаемого результата.
На фиг.2 показан вид примерной измерительной матрицы, полученной из блоков 103-107 по фиг.1 с ячейками с простыми максимумами, помеченными в блоках 108-112 на фиг.1. В данном примере строка представляет собой квант времени, а столбец представляет собой частотный бин. Число в каждой ячейке представляет собой соответствующий результат измерения амплитуды (в dBFS). Ячейки с простым максимумом частотного пика помечены темной границей, а ячейки с простым максимумом временного пика помечены серым фоном.
Например, простой максимум частотного пика содержится в ячейках в кванте времени в измерительной матрице, амплитуда которых превышает амплитуду в двух соседних ячейках по частоте. На фиг.2 ячейка (160, 671,9) помечена как простой максимум частотного пика (с темной границей), поскольку она имеет амплитуду, большую, чем в соседних ячейках (160, 656,3) и (160, 687,5). Точно так же ячейки с простыми максимами пика по времени являются ячейками с локальной максимальной амплитудой в пределах частотного бина. На фиг.2 ячейка (159, 671,9) помечена как простой максимум временного пика (с затушеванным фоном), поскольку она имеет амплитуду, большую, чем соседние ячейки (158, 671,9) и (160, 671,9). На фиг.3А и 3С, соответственно, показана сила сигнала простого максимума частотного пика и простого максимума временного пика.
Хотя "младшие братья" не помечены на фиг.2, можно видеть, где они могли бы присутствовать. Предположим пороговое значение 3 дБ для "младших братьев". Ячейка (160, 671,9) помечена темной границей, как ячейка с простым максимумом частотного пика. Соседние ячейки (160, 656,3) и (160, 687,5) являются кандидатами в ассоциированные ячейки с максимумом, но только ячейка (160, 656,3) достаточно близка по амплитуде для квалификации ее в качестве ассоциированного максимума (в пределах 3 дБ). Поскольку ее амплитуда также больше, чем у ячейки (160, 640,6), она могла бы быть "младшим братом". То же определение может быть выполнено для ассоциированных ячеек с максимумами в кванте времени. На фиг.3В и 3D, соответственно, показана сила сигнала простого максимума частотного пика с "младшим братом" и простого максимума временного пика с "младшим братом".
На фиг.3 показаны примерные категории детектирования максимумов по времени и частоте в соответствии с некоторыми примерными вариантами осуществления изобретения. На фиг.3А представлен простой максимум частотного пика. На фиг.3В представлен простой максимум частотного пика и "младший брат", имеющие практически идентичные амплитуды. На фиг.3С показан простой максимум временного пика. На фиг.3D показан простой максимум временного пика и "младший брат", имеющие практически идентичные амплитуды.
На фиг.3Е показан угловой максимум в кванте времени. Третья точка потенциально представляет собой угловой максимум по частоте. Ее амплитуда превышает амплитуду точки, находящейся слева от нее, на существенную величину. Ее амплитуда также несколько меньше, чем амплитуда точки, находящейся справа от нее. Если разность с точкой слева существенно больше, чем разность с точкой справа, она представляет собой угловой максимум. Например, предположим, что пороговое значение углового максимума составляет 3 дБ. Если третья точка на 5 дБ больше, чем точка слева от нее, но составляет только на 1 децибел меньше, чем точка справа от нее, разность (4 дБ) превышает пороговое значение, и она представляет собой угловой максимум. Ячейка в ММ может быть тогда помечена как угловой максимум. Следует отметить, что пороговое значение разности необязательно должно быть простым постоянным значением в дБ, но может представлять собой функцию частоты и амплитуды. Ячейка углового максимума также может представлять собой ячейку, амплитуда которой отклоняется от ожидаемой степени выпуклости. Аналоговый угловой максимум по времени также может быть определен на основе изменений по времени в пределах частотного бина.
На фиг.3F иллюстрируется детектирование максимума типа "взломщик" путем представления одиночного пика, попадающего в окно и выходящего из окна преобразования. Окно преобразования намного шире, чем пик, в данном случае, и поэтому амплитуда повышается (наклон вверх) по мере того, как пик входит, остается постоянной в то время, как пик полностью находится внутри окна, и затем падает (постепенное понижение) по мере выхода пика. Истинная ширина пика может быть выведена из длины наклонов. Моменты времени и длительности таких подъема и падения определяют максимум типа " взломщик".
На фиг.4 показан пример корреляции двух измерительных матриц, выполняемой в блоке 113 на фиг.1. Более широкие частотные бины находятся в измерительной матрице с более низкой размерностью (например, D500MM). Максимумы в этой ММ показаны горизонтальными линиями. Более узкие частотные бины находятся в измерительной матрице с размерностью в 8 раз больше (например, D4000MM). Максимумы в этой ММ показаны вертикальными линиями. Коррелированные максимумы (здесь максимумы в обеих ММ, соответствующие по времени и частоте) затушеваны. Они могут представлять собой максимумы в РММ в блоке 114 на фиг.1.
На фиг.5А и 5В показаны примеры визуализации двух измерительных матриц, полученных в соответствии с примерным вариантом осуществления изобретения. Измерительная матрица на фиг.5А была сгенерирована с использованием FFT из 512 точек отсчетов (то есть D256MM), а измерительная матрица по фиг.5 В была сгенерирована с использованием FFT из 4096 точек отсчетов (то есть D2048MM). Две измерительные матрицы были, например, выведены из блоков 103 и 104 по фиг.1.
На фиг.5С и 5D показаны примеры визуализации ячеек с максимумами, определенные для двух измерительных матриц на фиг.5А и 5В, соответственно, и полученные в соответствии с примерным вариантом осуществления изобретения. Ячейки с максимумами на фиг.5С и 5D выводят, например, из блоков 108 и 109, соответственно, по фиг.1.
На фиг.5Е показаны примеры визуализации прецизионной измерительной матрицы (РММ), определенной по результату корреляции максимумов, показанных на фиг.5С и 5D и полученной в соответствии с примерным вариантом осуществления изобретения. РММ была получен в блоке 114 на фиг.1.
На фиг.6 показан примерный вариант осуществления изобретения. Входной сигнал 1005 представляет собой оцифрованную версию физического аналогового сигнала, зафиксированного аналоговым устройством и оцифрованного (101а и 101b), или полученного из накопителя 102 данных. Механизм 1001 обработки сигналов обрабатывает входной сигнал 1005 и включает в себя: измерительный механизм 1002, маркирующий механизм 1003 и механизм 1004 сравнения. Измерительный механизм 1002 генерирует ММ из входного сигнала 1005 (реализуя блоки 103-107 на фиг.1). Маркирующий механизм 1003 анализирует и помечает ММ. Маркирующий механизм 1003 идентифицирует и маркирует максимумы в каждой ММ (реализуя блоки 108-115 по фиг.1). Сравнительный механизм 1004 идентифицирует максимальные ячейки в матрицах, которые имеют соответствующее время и частоту, и строит РММ с идентифицированными помеченными скоррелированными максимумами.
В некоторых примерных вариантах осуществления изобретения модуль 1001 обработки сигналов может включать в себя один или более цифровых процессоров. Один или более цифровых процессоров могут взаимодействовать с накопителем данных, например, накопителем 102 данных по фиг.1 и т.д., в котором может содержаться программное обеспечение и/или данные для использования одним или более цифровыми процессорами.
Измерительный механизм 1002, маркирующий механизм 1003 и сравнительный механизм 1004 могут быть реализованы с помощью компьютера по меньшей мере с одним центральным процессорным устройством (ЦПУ) и множеством запоминающих устройств. Измерительный механизм 1002, маркирующий механизм 1003 и сравнительный механизм 1004 могут быть реализованы как, например, программируемая пользователем вентильная матрица (FPGA), микросхема цифровой обработки сигналов (DSP), модуль обработки графических данных (GPU), специализированная интегральная микросхема (ASIC) и т.д. Измерительный механизм 1002, маркирующий механизм 1003 и сравнительный механизм 1004 могут быть реализованы в программном обеспечении как один или более механизмов и могут быть сохранены в считываемом в компьютере накопителе данных.
Выходные данные 1006 представляют собой прецизионную измерительную матрицу. Выходное устройство 1007 сохраняет, отображает и/или передает выходные данные.
Изобретение может быть реализовано с помощью программных средств в цифровом вычислительном устройстве. Оно может работать в одном процессоре с одним ядром, в одном процессоре с множеством ядер или во множестве процессоров с одним или множеством сердечников. Программное средство может реализовывать блоки 103-112 или любую их комбинацию. Изобретение может быть реализовано с использованием общих или специализированных микросхем цифрового сигнального процессора. Изобретение может быть воплощено в специализированных аппаратных средствах. Изобретение может быть реализовано в одной или больше печатных платах, содержащих, например, микросхемы цифрового сигнального процессора, которые могут быть установлены в компьютере или в другом устройстве.
В примерном варианте осуществления матричная структура данных может быть заменена другими структурами данных, которые логически могут использовать одну и ту же функцию. Такие структуры данных могут состоять из полей. Эти структуры данных могут включать в себя, но не ограничены этим, например, разреженную матрицу, связанную очередь и т.д. Например, идентифицированные ячейки с максимумом могут быть представлены разреженной матрицей, идентифицированная цепь ячеек может быть представлена связанной очередью и т.д.
Некоторые примерные варианты осуществления могут быть реализованы с использованием параллельных вычислительных аппаратных средств. В примерном варианте осуществления блоки 103-107 и/или блоки 108-112 на фиг.1 могут быть реализованы с использованием параллельных аппаратных средств. Оперативное запоминающее устройство параллельного компьютера может представлять собой либо совместно используемое запоминающее устройство (совместно используемое между всеми элементами обработки в пространстве одного адреса), или распределенное запоминающее устройство (в котором каждый элемент обработки имеет свое собственное локальное пространство адресов).
Изобретение может иметь широкий диапазон применения, включая в себя, но без ограничений, например, анализ временного изменения сигнала, включая в себя аудиосигнал, анализ аудиоспектра, анализ сигнала в соответствующей отрасли промышленности в любом частотном диапазоне, сжатие данных, в качестве цифровой ушной раковины для тугоухих, в качестве информации "печати с голоса" и т.д.
Информация, разработанная в соответствии с изобретением, может использоваться для обеспечения новых или улучшенных входных сигналов в другие процессоры обработки сигналов, устройства анализа, алгоритмы, системы и организации. Записи соответствующих частичных цепей, продолжающихся через плоскость время-частота, вместе с амплитудами или интерполированными амплитудами вдоль каждой цепи, могут обеспечивать богатую и краткую запись компонентов конкретных источников сигнала. Сигналы, которые были ранее скрыты более сильными сигналами, могут быть измерены и визуализированы, в частности, когда части соединены в цепи частей в визуальном дисплее РММ.
Примеры и варианты осуществления, описанные здесь, представляют собой неограничивающие примеры. Изобретение описано подробно со ссылкой на примерные варианты осуществления, и для специалиста в данной области техники теперь будет понятно из описанного выше, что изменения и модификации могут быть выполнены без выхода за пределы изобретения в его более широких аспектах, и изобретение, поэтому, как определено в формуле изобретения, предназначено для охвата всех таких изменений и модификаций, которые попадают в пределы истинной сущности изобретения.
Примерные варианты осуществления изобретения можно использовать для точного измерения компонентов звука, даже когда компоненты звука составляют собой часть составной формы сигнала, содержащей смесь звуков. Примерные варианты осуществления изобретения также можно использовать, например, для составных форм сигнала, содержащего звуки, даже когда эти звуки поступают в виде пакетов короткой или большой длительности и/или изменяются по тону, и/или амплитуде.