СПОСОБ РАЗВИТИЯ МУЗЫКАЛЬНОГО СЛУХА, ПАМЯТИ И ИМИТАЦИОННЫХ СПОСОБНОСТЕЙ, ОБУЧАЮЩАЯ ИГРА НА ОСНОВЕ СПОСОБА И УСТРОЙСТВО ДЛЯ ИХ ОСУЩЕСТВЛЕНИЯ
METHOD OF DEVELOPING EAR FOR MUSIC, MEMORY AND IMITATION CAPABILITIES, TRAINING GAME BASED ON SAID METHOD AND DEVICE TO THIS END

Группа изобретений относится к обучению, а именно к развитию имитационных способностей слухоречевого аппарата человека, и может быть использована для тренировки музыкального слуха, памяти и темпоритмических способностей при определении профессиональной пригодности, а также в качестве обучающей игры и развлечений.
Существует большое число методов, использующих игровые моменты при обучении слухоголосовой координации, развитии музыкального слуха и памяти, вокальных возможностей с использованием технических аудиосредств. Так, из патента (RU 2177648 С2, Чеботарев, 27.12.2001) известен способ коррекции речи и слухового анализатора с использованием фонограмм. Фонограммы содержат в качестве акустико-семантического образца записи собственного голоса человека и сигналов психофизиологических реакций организма. Воздействие записями собственного голоса осуществляют в полуактивном и активном режимах. В изобретении (RU 2231975 С2, Яновская, 10.07.2004) описан способ обучения, в котором производят запись-воспроизведение музыкального материала и служебных сигналов, корректирующих процесс обучения.
Из патента (RU 2136342 C1, Григорьев и др., 09.10.1999; патент-аналог US 6589116, Grigoriev et al., 08.07.2003) известна обучающая игра, сюжет которой состоит в конструировании звукового ряда из отдельных фрагментов музыкальных или литературных произведений, что наряду с занимательностью несет дидактический смысл: развивает память, абстрактное мышление и музыкальный слух. В изобретении (RU 2142651 С1, Яковлев, 10.12.1999) описан способ развлечения и активного самообучения посредством записи и воспроизведения как своей речи, так и диктора, что дает возможность сравнивать произношение с образцовым и уловить разницу. Использован магнитофон с функцией записи на реверсивном ходу.
Описаны устройства для записи, воспроизведения и обработки звуковых сигналов на основе цифровых технологий, например игровые устройства по типу караоке. Эти устройства содержат каналы записи и воспроизведения звука, процессоры управления и обработки аудиосигналов, блоки памяти, микрофоны и средства обработки сигналов. Так, в изобретении JP 7146689, UMEZAWA, 06.06.1995 предусмотрено проигрывание музыки в реверсивном направлении, что дает возможность проигрывать избранные стихи без вывода слов на экран. В изобретении JP 9171391, IZUTA, 30.06.1997 звуковой сигнал дополнительно инвертируется по фазе и складывается с голосовым, чем обеспечивается активное шумоподавление. В изобретении RU 2178922 С1, Ровнер и др., 21.01.2002, процессор средства обработки голосовых сигналов для целей развлечения по типу караоке выполнен с возможностью обработки звука: регулировки высоты тона, ритма, темпа, задержки звука, громкости исполнения.
Известно, что оценку инструментально-музыкального слуха производят по способности обследуемого к адекватному воспроизведению фрагментов музыки, заданных ему путем проигрывания на музыкальном инструменте или голосом певца и воспроизведенных обследуемым на том же или другом музыкальном инструменте или голосом. Адекватность воспроизведения, то есть качество музыкального слуха, памяти и темпоритмических способностей оценивают с помощью экспертов. Аналогичным образом оценивают и речевые - риторические возможности. Тренировку слухоголосового аппарата проводят с использованием средств записи-воспроизведения звука.
В отдельных случаях при оценке слуха для исключения понимания смысла речевого сообщения известно использование метода инверсии записи звуковой речи во времени, что достигалось протяжкой магнитной ленты в обратном направлении (RU 2221487 С1, Морозов В.П. и др., 20.01.2004). Данный прием разрушал смысловое содержание произносимых диктором фраз, изменял развертывание во времени интонационного контура звуковых сообщений, но сохранял их частотные и темпоритмические параметры. Однако при этом не ставилась задача имитировать голосом услышанное. Известно также, что метод инверсии звуковых сигналов при обратном воспроизведении записи позволяет синтезировать сложные звуки и необычные эффекты, которые нельзя получить иным способом (SU 0767825A, Майстренко и др., 30.09.1980), однако этот метод не использовался для тренировки имитационного мастерства. Для усложнения тренировки памяти известен прием воспроизведения запомненной оператором информации (последовательность цифр) не только в прямом, но и в обратном порядке (SU 1462397A1, Злобинский и др., 28.02.1989), однако при этом вокальное мастерство не совершенствуется.
Задачей настоящей группы изобретений является расширение возможностей тренировки имитационных голосовых способностей обучаемого, его музыкального слуха и памяти с использованием инвертированных по времени звуковых образов, полученных как из фонограмм известных или самодеятельных произведений музыкального и/или литературного жанра, так и из звуковых образов техногенного или природного характера. Способ может быть осуществлен в виде занимательной игры и развлечений на звукозаписывающем оборудовании с использованием компьютерных технологий обработки сигналов.
Ближайшим аналогом способа развития музыкального слуха, памяти и имитационных возможностей и обучающей игры на его основе и устройства является техническое решение по упомянутому патенту RU 2136342 C1, Григорьев и др., 09.10.1999.
Способ развития музыкального слуха, памяти и имитационных способностей (первый объект группы изобретений) включает предъявление исполнителю исходной фонограммы произведения и задания воспроизвести его звучание собственным голосом и/или инструментальными средствами, последующую запись фонограммы воспроизведенного (сымитированного) звучания, сравнение исходной и полученной фонограмм и текущую оценку верности воспроизведения. Новизна способа состоит в том, что исходную фонограмму произведения предъявляют исполнителю в инвертированном по времени виде и проводят запись фонограммы воспроизведенного звучания. Затем полученную фонограмму воспроизведенного звучания инвертируют по времени с получением фонограммы-реплики, а текущую оценку верности воспроизведения проводят по сравнению с фонограммой-репликой, причем параметры режимов инвертирования по времени обеих фонограмм устанавливают одинаковыми.
Способ может характеризоваться тем, что в качестве исходной фонограммы используют звуковой ряд произведений музыкального и/или литературного содержания, а также тем, что в качестве исходной фонограммы используют звуковые образы техногенного или природного характера.
Способ может характеризоваться и тем, что фонограмму произведения в инвертированном по времени виде предъявляют исполнителю в форме последовательности фрагментов, причем разбиение на фрагменты проводят в местах пауз в звуковом ряде.
Способ может характеризоваться также тем, что фонограмму воспроизведенного звучания формируют из частей, порядок которых совпадает с порядком предъявления фрагментов, причем части фонограммы соединяют друг с другом с удалением начальных и конечных пауз, и тем, что длительность исходной фонограммы произведения составляет 30-60 сек, а число фрагментов - 5-10.
Обучающая игра с тренировкой музыкального слуха, памяти и имитационных способностей (второй объект группы изобретений) включает следующие операции:
первый игрок формирует исходную фонограмму посредством собственного голоса и/или инструментальными средствами в секрете от второго игрока;
исходную фонограмму предъявляют второму игроку только в инвертированном по времени виде с условием воспроизвести звучание собственным голосом и/или инструментальными средствами;
производят запись фонограммы воспроизведенного звучания, исполненного вторым игроком;
фонограмму воспроизведенного звучания инвертируют по времени с получением фонограммы-реплики;
второй игрок считается выигравшим при подобии звукового ряда фонограммы-реплики исходной фонограмме произведения, определяемом экспертными оценками, при условии соблюдения одинаковых параметров режимов записи и воспроизведении всех фонограмм,
Игра может характеризоваться тем, что в качестве исходной фонограммы использован звуковой ряд произведения музыкального и/или литературного содержания, а также тем, что в качестве исходной фонограммы использованы звуковые образы техногенного или природного характера.
Игра может характеризоваться и тем, что фонограмму произведения в инвертированном по времени виде предъявляют исполнителю в форме последовательности фрагментов, причем разбиение на фрагменты проводят в местах пауз в звуковом ряде.
Игра может характеризоваться также тем, что фонограмму воспроизведенного звучания формируют из частей, порядок которых совпадает с порядком предъявления фрагментов, причем части фонограммы соединяют друг с другом с удалением начальных и конечных пауз, и тем, что длительность исходной фонограммы составляет 30-60 сек, а число фрагментов - 5-10.
Технический результат группы изобретения в рамках способа и игры - создание искусственного звукового образа для тренировки кратковременной памяти и слухоречевого аппарата исполнителя в процессе обучения и расширение дидактических возможностей.
Устройство для осуществления способа и игры включает средства для записи и воспроизведения фонограмм, блок памяти, средство для обработки фонограмм, связанные с блоком управления. Новизна устройства состоит в том, что средство для обработки фонограмм, блок памяти и блок управления выполнены с возможностью инвертирования звукового ряда фонограммы по времени для предъявления исполнителю и инвертирования фонограммы воспроизведенного исполнителем предъявленного звукового ряда с получением фонограммы-реплики, ее хранением и обеспечением одинаковых параметров обоих режимов инвертирования.
Устройство может характеризоваться также тем, что средство для обработки фонограмм выполнено с возможностью фрагментирования в местах пауз в звуковом ряде фонограммы инвертирования звукового ряда по времени для предъявления исполнителю в виде последовательности фрагментов.
Устройство может характеризоваться и тем, что средство для обработки фонограмм выполнено с возможностью дефрагментирования фонограммы воспроизведенного исполнителем предъявленного звукового ряда с удалением начальных и конечных пауз.
Технический результат устройства - обеспечение двойного инвертирования фонограмм по времени с формированием суммарной фонограммы-реплики из фрагментов.
Изобретения поясняются на чертежах, где:
на фиг.1 представлена блок-схема устройства;
на фиг.2, 3 - блок-схема алгоритма формирования фонограмм и их обработки;
на фиг.4 - блок-схема алгоритма фрагментации фонограммы;
на фиг.5 - блок-схема алгоритма устранения пауз перед дефрагментацией;
на фиг.6 - блок-схема алгоритма обучающей игры.
Патентуемые способы обучения и обучающей игры с тренировкой музыкального слуха, памяти и имитационных способностей используют новый искусственный звуковой образ - предъявление инвертированной по времени фонограммы и задание ее повторить (сымитировать) таким образом, чтобы при ее обратном инвертировании получить фонограмму-реплику. Эту фонограмму-реплику требуется сравнить с исходной фонограммой. Критерием положительной динамики процесса обучения является схожесть (распознаваемость) исходного произведения по фонограмме-реплике.
Как игровой компонент может быть поставлена задача распознать фонограмму-реплику, например, при использовании в качестве исходной фонограммы широко известной мелодии, стихотворного текста, пения птицы, работы механизма и т.п. Задача ставится весьма сложная, поскольку исполнитель не имеет возможности воспроизвести уже когда-то слышанные им звуковые образы повседневного содержания или культурного наследия. Как показали психофизиологические исследования (работы упомянутого Морозова В.П.), в инвертированной по времени речевой фонограмме, например, полностью отсутствуют семантический и экстралингвистический компоненты и лишь частично проявляется темпоритмический характер. Поэтому ни один из испытуемых в субъективном отчете не мог воспроизвести ни слова из прослушанных фраз, а, кроме того, у исполнителя полностью исключено привыкание.
Существо способа развития музыкального слуха, памяти и имитационных способностей и обучающей игры на основе этого способа удобно раскрыть при описании функционирования устройства, блок-схема которого показана на фиг.1.
Устройство содержит микрофон 1, подключенный к блоку 2 записи, информационный выход которого связан с блоком 3 памяти. Информационный выход блока 3 связан с блоком 4 воспроизведения, выход которого подключен к электроакустическому преобразователю 5 - динамику или наушнику. Блок 3 памяти связан двухсторонней шиной обмена данными с блоком 6 обработки фонограмм. Блок 7 управления и анализа обеспечивает управление блоками 2, 3, 4, 6 в соответствии с алгоритмом работы, приведенным на фиг.2-3.
На начальном этапе реализации способа осуществляется выбор варианта исходной фонограммы (п.1). Может использоваться готовая фонограмма, выбираемая из банка фонограмм (п.2-3). В качестве исходной фонограммы могут быть использованы различные музыкальные произведения, известные мелодии, речевые литературные тексты, звуковые образы техногенного и природного содержания и т.п. Длительность исходной фонограммы определяется экспериментально.
По желанию может быть выбран вариант (п.4-7), предусматривающий формирование уникальной фонограммы в процессе реализации способа. В этом случае запись уникальной фонограммы осуществляется непосредственно с помощью патентуемого устройства рутинным образом посредством микрофона 1 и блока 2 записи, управляемого от блока 7 управления.
i
c
i
i
i
сред
i
Затем записанная фонограмма подвергается нормализации по уровню сигнала (п.6). Для этого фонограмма разбивается на участки (окна) длительностью ~10 сек, определяется среднее значения уровня L сигнала внутри каждого окна и по всем окнам L. Далее проводится расчет коэффициента К усиления для каждого окна: К=L/L и нормализация уровня сигнала каждого окна путем умножения уровня сигнала на К. Нормализация завершается применением фильтра оконных функций к результирующей фонограмме для сглаживания межоконных переходов.
Подготовленная исходная фонограмма (ИФ) (п.8) подвергается инвертированию по времени (т.е. воспроизведению в обратном направлении - от конца в начало) и воспроизведению (п.9). Проводится анализ ИФ, с точки зрения ее длительности, и принимается решение о необходимости фрагментирования (п.10). Если фонограмма длительна (например, более минуты), то в зависимости от желания и исполнительских возможностей производится ее деление на фрагменты. Учитывается то обстоятельство, что ввиду особой сложности задания исполнитель высокого класса (профессиональный певец или диктор) оказывается неспособным сымитировать инвертированный звуковой сигнал с длительностью более 5 сек. Обычно длительность исходной фонограммы произведения составляет 30-60 сек, а число фрагментов - 5-10.
S
Фрагментирование инвертированной по времени фонограммы произведения (п.11) проводят в местах пауз в звуковом ряде (фиг.4). Для этого выставляется уровень L сигнала, соответствующего тишине. Он определяется калибровкой микрофона 1 или задается исходя из априорных данных. Далее определяются точки, где сигнал принимает значение ниже уровня тишины (п.11.1). Принимаются во внимание участки фонограммы, где длительность участка тишины превышает 250 мс. За точку тишины
k
S принимается середина между началом и концом участка тишины.
k
k
i
k
i
i
i
Далее проводится поиск межфонемных переходов W, определяемых по ускорению роста wavelet-коэффициентов (поиск максимумов роста) (п.11.2). Затем осуществляется поиск ближайшего максимума W к точке N разбиения, а также поиск ближайшей точки тишины S. Поиск проводится как справа, так и слева от N. В качестве точки разбиения принимается ближайшая из точек (Wk-, Sk-, Wk+, Sk+) к точке N (п.11.3). Далее осуществляется переход к следующей точке N. Если точка разбиения последняя, то проводится выход из алгоритма. Операции фрагментирования и инвертирования проводятся в блоках 3, 6 и 7.
Исполнителю предъявляют посредством блока 4 воспроизведения и электроакустического преобразователя 5 n фрагментов инвертированной по времени фонограммы последовательно в порядке их следования от конца исходной фонограммы в ее начало (п.12.1-12.n). От исполнителя требуется сымитировать собственным голосом и/или инструментально звуковой образ каждого из n фрагментов. Фонограммы воспроизведенного звучания посредством микрофона 1 и блока 2 записи заносятся в блок 3 памяти устройства (п.13.1-13.n). Процесс прослушивания каждого фрагмента и записи сымитированного звука может производиться многократно с выбором наиболее схожего, по мнению исполнителя, варианта (п.14). Аналогичным образом (п.15-17) производится прослушивание-запись при принятии решения записывать фонограмму целиком.
Затем проводится обработка фонограмм с записью сымитированного звука (п.18.1-18.n) для очистки от начальных и концевых пауз, которая, например, может быть выполнена следующим образом (см. фиг.5).
Фонограмма разбивается на участки длительностью ~250 мс, определяется средний уровень сигнала S(i) в каждом участке (п.181). Вычисляется коэффициент dS изменения среднего уровня сигнала участка (i+1) по отношению к участку i: dS(i)=S(i+1)-S(i) (п.182), далее определяется коэффициент R роста изменения уровня сигнала участка (i+2) по отношению к (i+1) по выражению: R=dS(i+1)/(dS(i)+0,000001) (п.182).
Далее проводится сравнение R с пороговым значением L, заданным с учетом используемой частоты дискретизации. При превышении (R>L) началом полезного сигнала (концом начальной паузы) Р1 считается начало предыдущего участка длительностью 250 мс (п.183).
Затем проводится вычисление коэффициента dS изменения среднего уровня сигнала участка i+1 по отношению к участку i: dS(i)=S(i+1)-S(i) и коэффициента роста R изменения уровня сигнала участка (i+2) по отношению к (i+1): R=dS(i+1)/(dS(i)+0,000001) (п.184). Сравниваются величина R с пороговым значением L, заданным с учетом используемой частоты дискретизации. При R<L запоминается номер i участка (п.185).
Проводится вычисление R для последующих участков до конца фонограммы (п.186). При обнаружении R>L сбрасывается запомненный номер участка и алгоритм возвращается в п.184. Если до конца фонограммы величина R более не превысит L, то местом начала концевой паузы Р2 считается начало следующего участка длительностью 250 мс, находящегося за участком, где сохранено значение R. Результирующей фонограммой с записью сымитированного звука для одного фрагмента считается трек между точками Р1 и Р2 (п.187).
Далее производится операция дефрагментации (конкатенации) - объединение фонограмм с записью сымитированного звука всех фрагментов в одну фонограмму (п.19). Фонограмму воспроизведенного звучания формируют из частей, порядок которых совпадает с порядком предъявления фрагментов. Аналогичным образом, при необходимости, проводится обработка и нефрагментированной фонограммы (п.20).
Далее, полученную фонограмму воспроизведенного звучания инвертируют по времени (п.21) с получением фонограммы-реплики (п.22).
Текущую оценку верности воспроизведения проводят сравнивая фонограмму-реплику с исходной фонограммой (п.23), причем степень сходности определяют по подобию спектральных характеристик, темпа, ритма, композиционных особенностей, речевым компонентам, стилистике и т.п. признакам и особенностям оригинала и имитации. Для этой цели могут использоваться экспертные оценки или технические средства. Необходимым условием реализации является назначение для обеих фонограмм одинаковых параметров инвертирования по времени в прямом (п.9) и обратном (п.21) направлениях.
На основе манипулирования с фонограммами в инвертированном состоянии предлагается обучающая игра-развлечение, которая обеспечивает развитие музыкальных способностей, памяти и имитационных способностей в игровой форме. Блок-схема алгоритма игры приведена на фиг.6. В простейшем случае в игре могут принимать участие два игрока и зрители-эксперты. В начале игры 1-й игрок формирует исходную фонограмму. Для этого может использоваться уже готовый звуковой ряд ранее записанного произведения (песни, текста и т.п.) или непосредственно изготовленный в присутствии зрителей, но недоступный для слуха 2-го игрока - вокальный проигрыш, барабанная трель, выстукивание и т.п. (п.300). Далее звуковой ряд (фонограмма) инвертируется по времени (п.301) и предъявляется 2-му игроку (п.302). Согласно условию игры 2-му игроку требуется воспроизвести (сымитировать) его звучание собственным голосом и/или инструментальными средствами и эта фонограмма записывается (п.303). Производится инвертирование этой фонограммы по времени (п.304) и ее запись (п.305) с получением фонограммы-реплики. Затем производится распознавание содержания фонограммы-реплики самим 2-ым игроком-исполнителем имитации, а также экспертная оценка схожести звукового ряда исходной фонограммы и фонограммы-реплики (п.306) с выявлением победителя (п.307). Особенности технической реализации в части нормализации уровня сигнала, фрагментации, удаления пауз для дефрагментации полностью аналогичны описанным алгоритмам (фиг.2-5). Тем самым искусственный звуковой образ, образованный одним из игроков, используется для тренировки кратковременной памяти и слухоречевого аппарата исполнителя в игровой ситуации и может использоваться как развлечение с реализацией дидактических функций.
Промышленная применимость. Устройство может быть реализовано с использованием компьютерных средств обработки сигналов или устройств под управлением специализированных микропроцессоров, содержащих в своем составе цифровые блоки общего применения и известных специалистам. Примером такого типа устройств могут служить бытовые DVD-проигрыватели.