Способ и устройство для оптимизации звукового сигнала
METHOD AND DEVICE FOR SOUND SIGNAL OPTIMISATION

ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] Настоящая заявка основана на заявке на патент КНР №201510226844.2, поданной 6 мая 2015 года, полное содержание которой включено в настоящий документе путем ссылки.
ОБЛАСТЬ ТЕХНИКИ
[0002] Настоящее изобретение относится к области обработки речевого сигнала и в частности к способу и устройству для оптимизации звукового сигнала.
УРОВЕНЬ ТЕХНИКИ
[0003] С непрерывным развитием связи и электронной технологии, терминалы, поддерживающие голосовую связь и функцию звукозаписи, такие как смартфон, планшет, электронная книга и электронное перо для записи, постепенно стали незаменимыми инструментами в жизни людей и предлагают большие удобства для повседневной жизни.
[0004] В одном способе применения таких терминалов множество пользователей могут использовать один и тот же терминал, поддерживающий функцию звукозаписи, для записи звука во время конференции, или множество пользователей могут использовать один и тот же терминал, поддерживающий функцию голосовой связи, для проведения телеконференций с другими пользователями на удаленном конце, и тогда терминал сохраняет записанный звуковой сигнал или посылает речевое сообщение пользователям на удаленном конце.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0005] Настоящее изобретение предлагает способ и устройство оптимизации звукового сигнала. Технические решения являются следующими.
[0006] В соответствии с первым аспектом предлагается способ оптимизации звукового сигнала, этот способ используется в терминале, содержащем по меньшей мере два звукоулавливающих блока, и включает:
[0007] определение положений источников звука вокруг терминала с помощью по меньшей мере двух звукоулавливающих блоков;
[0008] выбор назначенного источника звука из соответствующих источников звука, обнаруженных путем определения положения;
[0009] определение звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения; и
[0010] оптимизацию громкости звукового сигнала, испущенного из назначенного источника звука.
[0011] Опционально, оптимизация громкости звукового сигнала, испущенного из назначенного источника звука, включает:
[0012] сравнение интенсивности звукового сигнала, испущенного из назначенного источника звука, с заранее заданным первым порогом интенсивности и заранее заданным вторым порогом интенсивности, при этом первый порог интенсивности больше или равен второму порогу интенсивности;
[0013] если интенсивность звукового сигнала, испущенного из назначенного источника звука больше, чем первый порог интенсивности, уменьшение интенсивности звукового сигнала, испущенного из назначенного источника звука, до первого порога интенсивности; и
[0014] если интенсивность звукового сигнала, испущенного из назначенного источника звука, меньше, чем второй порог интенсивности, увеличение интенсивности звукового сигнала, испущенного из назначенного источника звука, до второго порога интенсивности.
[0015] Опционально, определение положений источников звука вокруг терминала с помощью по меньшей мере двух звукоулавливающих блоков включает:
[0016] обнаружение разницы во времени и разницы фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока; и
[0017] определение пространственного положения источника звука по отношению к терминалу в соответствии с разницей во времени и разницей фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока.
[0018] Опционально, выбор назначенного источника звука из соответствующих источников звука, обнаруженных путем определения положения, представляет собой:
[0019] выбор назначенного источника звука из соответствующих источников звука в соответствии с интенсивностью и/или непрерывностью звукового сигнала индивидуального источника звука.
[0020] Опционально, до определения звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собираемых терминалом, способ дополнительно включает:
[0021] обнаружение ориентации терминала посредством датчика ориентации в терминале; и
[0022] выполнение компенсации усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с ориентацией терминала; и
[0023] определение звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собранных терминалом, включает:
[0024] определение звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, которые были подвергнуты компенсации усиления.
[0025] Опционально, ориентация терминала представляет собой угол между передней поверхностью терминала и горизонтальной плоскостью, а выполнение компенсации усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с пространственным положением терминала, включает:
[0026] определение значения компенсации в соответствии с углом между передней поверхностью терминала и горизонтальной плоскостью, при этом угол между передней поверхностью терминала и горизонтальной плоскостью прямо пропорционален значению компенсации; и
[0027] выполнение компенсации усиления применительно к звуковым сигналам, собранным терминалом, в соответствии со значением компенсации.
[0028] В соответствии со вторым аспектом, предлагается устройство для оптимизации звукового сигнала, данное устройство используется в терминале, содержащем по меньшей мере два звукоулавливающих блока, и содержит:
[0029] модуль определения положения, выполненный с возможностью определять положение источников звука вокруг терминала посредством по меньшей мере двух звукоулавливающих блоков;
[0030] модуль выбора, выполненный с возможностью выбирать назначенный источник звука из соответствующих источников звука, обнаруженных путем определения положения;
[0031] модуль определения звукового сигнала, выполненный с возможностью определять звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения; и
[0032] модуль оптимизации, выполненный с возможностью оптимизировать громкость звукового сигнала, испущенного из назначенного источника звука.
[0033] Опционально модуль оптимизации содержит:
[0034] подмодуль сравнения, выполненный с возможностью сравнивать интенсивность звукового сигнала, испущенного из назначенного источника сигнала, с заранее заданным первым порогом интенсивности и заранее заданным вторым порогом интенсивности, при этом первый порог интенсивности больше или равен второму порогу интенсивности;
[0035] подмодуль уменьшения, выполненный с возможностью, если интенсивность звукового сигнала, испущенного из назначенного источника звука, больше, чем первый порог интенсивности, уменьшать интенсивность звукового сигнала, испущенного из назначенного источника сигнала, до первого порога интенсивности; и
[0036] подмодуль увеличения, выполненный с возможностью, если интенсивность звукового сигнала, испущенного из назначенного источника звука, меньше, чем второй порог интенсивности, увеличивать интенсивность звукового сигнала, испущенного из назначенного источника сигнала, до второго порога интенсивности.
[0037] Опционально, модуль определения положения содержит:
[0038] подмодуль обнаружения, выполненный с возможностью обнаружения разницы во времени и разницы фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока; и
[0039] подмодуль определения положения, выполненный с возможностью определять пространственное положение источника звука по отношению к терминалу в соответствии с разницей во времени и разницей фаз звукового сигнала, испущенного из источника звука и поступающего по меньшей мере в два звукоулавливающих блока.
[0040] Опционально, модуль выбора выполнен с возможностью выбирать назначенный источник звука из соответствующих источников звука в соответствии с интенсивностью и/или непрерывностью звукового сигнала индивидуального источника звука.
[0041] Опционально, устройство дополнительно содержит модуль обнаружения ориентации и модуль компенсации;
[0042] модуль обнаружения ориентации выполнен с возможностью обнаруживать ориентацию терминала с помощью датчика ориентации в терминале до того, как модуль определения звукового сигнала определяет звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, собранных терминалом;
[0043] модуль компенсации выполнен с возможностью выполнять компенсацию усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с ориентацией терминала; и
[0044] модуль определения звукового сигнала выполнен с возможностью определять звуковой сигнал, испущенный из назначенного источника, среди звуковых сигналов, которые были подвергнуты компенсации усиления.
[0045] Опционально, модуль компенсации содержит:
[0046] подмодуль определения значения, выполненный с возможностью определять значение компенсации в соответствии с углом между передней поверхностью терминала и горизонтальной плоскостью, при этом угол между передней поверхностью терминала и горизонтальной плоскостью прямо пропорционален значению компенсации; и
[0047] подмодуль компенсации, выполненный с возможностью выполнять компенсацию усиления применительно к звуковым сигналам, собранным терминалом, в соответствии со значением компенсации,
[0048] при этом ориентация терминала представляет собой угол между передней поверхностью терминала и горизонтальной плоскостью.
[0049] В соответствии с третьим аспектом, предлагается устройство для оптимизации звукового сигнала, содержащее:
[0050] процессор; и
[0051] память для хранения команд, исполняемых процессором;
[0052] при этом процессор выполнен с возможностью:
[0053] определять положение источников звука вокруг терминала посредством по меньшей мере двух звукоулавливающих блоков;
[0054] выбирать назначенный источник звука из соответствующих источников звука, обнаруженных путем определения положения;
[0055] определять звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения; и
[0056] оптимизировать громкость звукового сигнала, испущенного из назначенного источника звука.
[0057] Технические решения, предлагаемые вариантами настоящего изобретения, могут иметь следующие преимущества:
[0058] путем определения положения источников звука вокруг терминала посредством по меньшей мере двух звукоулавливающих блоков, выбора назначенного источника звука из соответствующих источников звука, обнаруженных путем определения положения, определения звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения, и оптимизации громкости звукового сигнала, испущенного из назначенного источника звука, при сборе звуковых сигналов терминал выбирает окружающие источники звука и оптимизирует звуковой сигнал, испущенный из выбранного источника звука, и таким образом улучшается результат улавливания звукового сигнала терминалом.
[0059] Следует понимать, что как предшествующее общее описание, так и последующее подробное описание являются только иллюстративными и пояснительными и не ограничивают изобретение.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0060] Прилагаемые чертежи, которые включены в данное описание и составляют его часть, иллюстрируют варианты осуществления в соответствии с изобретением и вместе с описанием служат для объяснения принципов изобретения.
[0061] Фиг. 1 представляет блок-схему способа оптимизации звукового сигнала в соответствии с одним примером осуществления настоящего изобретения;
[0062] Фиг. 2 представляет блок-схему способа оптимизации звукового сигнала в соответствии с другим примером осуществления настоящего изобретения;
[0063] Фиг. 3 представляет блок-схему способа определения положения в соответствии с еще одним примером осуществления настоящего изобретения;
[0064] Фиг. 4 представляет блок-схему способа компенсации усиления в соответствии с еще одним примером осуществления настоящего изобретения;
[0065] Фиг. 5 представляет структурную схему устройства для оптимизации звукового сигнала в соответствии с одним примером осуществления настоящего изобретения;
[0066] Фиг. 6 представляет структурную схему устройства для оптимизации звукового сигнала в соответствии с другим примером осуществления настоящего изобретения; и
[0067] Фиг. 7 представляет структурную схему устройства в соответствии с одним примером осуществления настоящего изобретения.
ПОДРОБНОЕ ОПИСАНИЕ ИЗОБРЕТЕНИЯ
[0068] Далее будет сделана подробная ссылка на примеры осуществления изобретения, которые проиллюстрированы на прилагаемых чертежах. Последующее описание относится к прилагаемым чертежам, на которых одинаковые номера на различных чертежах представляют одинаковые или сходные элементы, если не указано иное. Реализации примеров осуществления изобретения, изложенные в последующем описании, не представляют все реализации в соответствии с настоящим изобретением. Они являются только примерами устройств и способов в соответствии с некоторыми аспектами, имеющими отношение к изобретению, как изложено в прилагаемой формуле изобретения.
[0069] Фиг. 1 представляет блок-схему способа оптимизации звукового сигнала в соответствии с одним примером осуществления настоящего изобретения. Способ оптимизации звукового сигнала может быть использован в терминале, имеющем по меньшей мере два звукоулавливающих блока, а терминалом может быть умный терминал, поддерживающий голосовую связь или функцию звукозаписи, например, смартфон, планшет, электронная книга и электронное перо для записи. Как показано на фиг. 1, способ оптимизации звукового сигнала может включать следующие шаги:
[0070] На шаге 102 положение источников звука вокруг терминала определяют посредством по меньшей мере двух звукоулавливающих блоков.
[0071] На шаге 102 назначенный источник звуки выбирают из соответствующих источников звука, обнаруженных с помощью определения положения.
[0072] На шаге 106 определяют звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения.
[0073] На шаге 108 оптимизируют громкость звукового сигнала, испущенного из назначенного источника звука.
[0074] Опционально, оптимизация громкости звукового сигнала, испущенного из назначенного источника звука, включает:
[0075] сравнение интенсивности звукового сигнала, испущенного из назначенного источника звука, с заранее заданным первым порогом интенсивности и заранее заданным вторым порогом интенсивности, при этом первый порог интенсивности больше или равен второму порогу интенсивности;
[0076] если интенсивность звукового сигнала, испущенного из назначенного источника звука, больше, чем первый порог интенсивности, уменьшение интенсивности звукового сигнала, испущенного из назначенного источника звука, до первого порога интенсивности; и
[0077] если интенсивность звукового сигнала, испущенного из назначенного источника звука, меньше, чем второй порог интенсивности, увеличение интенсивности звукового сигнала, испущенного из назначенного источника звука, до второго порога интенсивности.
[0078] Опционально, определение положения звуковых сигналов вокруг терминала с помощью по меньшей мере двух звукоулавливающих блоков включает:
[0079] обнаружение разницы во времени и разницы фаз звукового сигнала, испущенного из источника звука и поступающего по меньшей мере в два звукоулавливающих блока; и
[0080] определение пространственного положения источника звука по отношению к терминалу в соответствии с разницей во времени и разницей фаз звукового сигнала, испущенного из источника звука и поступающего по меньшей мере в два звукоулавливающих блока.
[0081] Опционально, выбор назначенного источника звука из соответствующих источников звука, обнаруженных с помощью определения положения, представляет собой:
[0082] выбор назначенного источника звука из соответствующих источников звука в соответствии с интенсивностью и/или непрерывностью звуковых сигналов соответствующих источников звука.
[0083] Опционально, до определения звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собранных терминалом, способ дополнительно включает:
[0084] обнаружение ориентации терминала с помощью датчика ориентации в терминале; и
[0085] выполнение компенсации усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с ориентацией терминала; и
[0086] определение звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собранных терминалом, представляет собой:
[0087] определение звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, подвергаемых компенсации усиления.
[0088] Опционально, ориентация терминала представляет собой угол между передней поверхностью терминала и горизонтальной плоскостью, а выполнение компенсации усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с пространственным положением терминала включает:
[0089] определение значения компенсации в соответствии с углом между передней поверхностью терминала и горизонтальной плоскостью, при этом угол между передней поверхностью терминала и горизонтальной плоскостью прямо пропорционален значению компенсации; и
[0090] выполнение компенсации усиления применительно к звуковым сигналам, собранным терминалом, в соответствии со значением компенсации.
[0091] В целом, в способе оптимизации звукового сигнала, предлагаемом в вариантах осуществления настоящего изобретения, путем определения положения источников звука вокруг терминала с помощью по меньшей мере двух звукоулавливающих блоков, выбора назначенного источника звука из соответствующих источников звука, обнаруженных путем определения положения, определения звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собранных терминалом, и оптимизации громкости звукового сигнала, испущенного из назначенного источника звука, когда производится сбор звуковых сигналов, терминал выбирает назначенные источники звука и оптимизирует звуковой сигнал, испущенный из выбранного источника звука, и таким образом улучшают результат улавливания звукового сигнала терминалом.
[0092] Фиг. 2 представляет блок-схему способа оптимизации звукового сигнала в соответствии с другим примером осуществления настоящего изобретения. Способ оптимизации звукового сигнала может быть использован в терминале, содержащем по меньшей мере два звукоулавливающих блока, и терминалом может быть умный терминал, поддерживающий голосовую связь или функцию звукозаписи, например, смартфон, планшет, электронная книга и электронное перо для записи. Как показано на фиг. 2, способ оптимизации звукового сигнала может включать следующие шаги:
[0093] На шаге 202 положение источников звука вокруг терминала определяют посредством по меньшей мере двух звукоулавливающих блоков.
[0094] Опционально, обращаясь к блок-схеме способа определения положения, показанной на фиг. 3, шаг определения положения источников звука вокруг терминала посредством по меньшей мере двух звукоулавливающих блоков может включать следующие шаги.
[0095] На шаге 202a собирают данные о разнице во времени и разнице фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока.
[0096] По меньшей мере два звукоулавливающих блока, входящих в состав терминала, составляют одну матрицу звукоулавливающих блоков. Так как расстояния и направления от источника звука к соответствующим звукоулавливающим блокам в матрице звукоулавливающих блоков отличаются друг от друга, время и фазы, с которыми звук, испущенный источником звука, передается в соответствующие звукоулавливающие блоки, являются разными. Терминал может обнаруживать разницу во времени и разницу фаз звука, испущенного одним и тем же источником звука и улавливаемого соответствующими звукоулавливающими блоками в матрице звукоулавливающих блоков.
[0097] На шаге 202b пространственное положение источника звука по отношению к терминалу определяют в соответствии с разницей во времени и разницей фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока.
[0098] Терминал может локализовать положение источника звука путем использования технологии формирования луча. Например, терминал может идентифицировать положение источника звука относительно терминала с помощью алгоритмов, например, задержки и суммирования или разложения по собственным значениям, в соответствии с разницей во времени и разницей фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока.
[0099] При использовании технологии формирования луча терминал может не только точно локализовать пространственное положение фиксированного источника звука, но также может отслеживать движущийся источник звука, так что сигнал, излучаемый движущимся источником звука, может быть оптимизирован непрерывно.
[00100] На шаге 204 назначенный источник звука выбирают из соответствующих источников звука в соответствии с интенсивностью звукового сигнала и/или непрерывностью звукового сигнала индивидуального источника звука.
[00101] В состоянии вызова или состоянии записи терминала, как правило, только звуковой сигнал, испущенный, когда пользователь терминала говорит, является эффективным звуковым сигналом, а другие звуковые сигналы представляют собой в основном шум. В решении, показанном на примере вариантов осуществления настоящего изобретения, терминал может выбрать источник звука, который, по всей вероятности, является пользователем, из соответствующих источников звука в соответствии с интенсивностью звукового сигнала и/или непрерывностью звукового сигнала индивидуального источника звука, и только затем оптимизировать выбранный источник звука, который является, по всей вероятности, пользователем.
[00102] Например, терминал устанавливает различные весовые коэффициенты для различных интенсивностей звукового сигнала, а также устанавливает различные весовые коэффициенты для различных продолжительностей звукового сигнала. При получении звукового сигнала, испущенного одним источником звука, терминал определяет весовой коэффициент, соответствующий интенсивности этого звукового сигнала, и весовой коэффициент, соответствующий продолжительности этого звукового сигнала, и выполняет взвешивание применительно к ним, а затем ранжирует соответствующие источники звука в соответствии с их соответствующими весовыми коэффициентами, чтобы определить назначенный источник звука, имеющий наивысший весовой коэффициент.
[00103] Опционально, при установке различных весовых коэффициентов для различных интенсивностей звукового сигнала, интенсивность звука, которая находится ближе всего к звуку разговора людей, может быть установлена с относительно высоким весовым коэффициентом, и чем больше разница между интенсивностью звука разговора людей и интенсивностью некоторого звукового сигнала, тем ниже установленный весовой коэффициент этого звукового сигнала. Например, нормальная интенсивность звука разговора составляет примерно 40 децибел, и тогда 40 децибел могут быть установлены с наибольшим весовым коэффициентом, а чем более интенсивность звука отстоит от 40 децибел, тем ниже весовой коэффициент этой интенсивности звука.
[00104] Аналогично, при установке различных весовых коэффициентов для продолжительностей звукового сигнала, продолжительность звукового сигнала, которая находится ближе всего звуку разговора людей, может быть установлена с относительно высоким весовым коэффициентом, и чем больше разница между продолжительностью звукового сигнала разговора и продолжительностью некоторого звукового сигнала, тем ниже установленный весовой коэффициент этого звукового сигнала. Например, когда люди говорят, продолжительность одного обычного предложения может быть 2 с, тогда продолжительность 2 с может быть установлена как имеющая наивысший весовой коэффициент, и чем более продолжительность звука отстоит от 2 с, тем ниже весовой коэффициент этой интенсивности звука.
[00105] Так как во время записи или вызова, как правило, имеется только один или два говорящих пользователя в одно и то же время, для того, чтобы избежать ненужного процесса оптимизации, может быть установлено число назначенных источников звука, подлежащих выбору в одно и то же время. Например, не более трех назначенных источников звука могут быть выбраны в одно и то же время, а значит, оптимизацию проводят применительно к звуковым сигналам, испущенным не более чем тремя источниками звука в одно и то же время.
[00106] На шаге 206 звуковой сигнал, испущенный из назначенного источника звука, определяют среди звуковых сигналов, собранных с помощью терминала, в соответствии с пространственным положением назначенного источника звука, обнаруженным посредством определения положения.
[00107] При обработке полученного звукового сигнала терминал может обрабатывать только звуковой сигнал, испущенный из назначенного источника звука, в соответствии с пространственным положением назначенного источника звука.
[00108] На шаге 208 интенсивность звукового сигнала, испущенного из назначенного источника звука, сравнивают с заранее заданным первым порогом интенсивности и заранее заданным вторым порогом интенсивности, при этом первый порог интенсивности больше или равен второму порогу интенсивности.
[00109] На шаге 210, если интенсивность звукового сигнала, испущенного из назначенного источника звука, больше, чем первый порог интенсивности, то интенсивность звукового сигнала, испущенного из назначенного источника звука, уменьшают до первого порога интенсивности.
[00110] На шаге 212, если интенсивность звукового сигнала, испущенного из назначенного источника звука, меньше, чем второй порог интенсивности, интенсивность звукового сигнала, испущенного из назначенного источника звука, увеличивают до второго порога интенсивности.
[00111] Опционально, если интенсивность звукового сигнала, испущенного из назначенного источника звука, не меньше, чем первый порог интенсивности, и не больше, чем второй порог интенсивности, не выполняют никакую обработку применительно к интенсивности звукового сигнала, испущенного назначенным источником звука.
[00112] Терминал может установить первый и второй пороги интенсивности в соответствии с интенсивностью звукового сигнала обычного разговора. Если интенсивность звукового сигнала назначенного источника звука является относительно большой, то интенсивность назначенного источника звука уменьшают; если интенсивность звукового сигнала назначенного источника звука относительно мала, то интенсивность звукового сигнала назначенного источника звука повышают; и если интенсивность источника звукового сигнала назначенного источника звука является средней, то интенсивность назначенного источника звука не обрабатывают. Таким образом, интенсивность звукового сигнала, испущенного назначенным источником звука (каковым может быть и пользователь) может быть установлена в пределах заранее заданного диапазона, не слишком высокой и не слишком низкой, так что достигается наилучший результат записи или вызова.
[00113] Например, пользователь A и пользователь B ведут телеконференцию с помощью смартфонов или ведут запись телеконференции с помощью телефонов. Когда производится управление смартфоном для того, чтобы войти в состояние записи или вызова, смартфон переключают в режим записи конференции. В это время смартфон собирает данные о звуке окружающей среды с помощью по меньшей мере двух микрофонов и определяет соответствующие источники звука. Когда говорит пользователь A или пользователь B, смартфоны выбирают говорящего в качестве назначенного источника звука и оптимизируют звуковой сигнал, испущенный им. Когда интенсивность звукового сигнала, испущенного говорящим, меньше 30 децибел, интенсивность звукового сигнала, испущенного говорящим, повышают до 30 децибел; когда интенсивность звукового сигнала, испущенного говорящим, больше 50 децибел, интенсивность звукового сигнала, испущенного говорящим, понижают до 50 децибел; а для звукового сигнала в диапазоне от 30 децибел до 50 децибел никакой обработки не выполняют. Таким образом гарантируется, что громкость речи пользователей, находящихся на разных расстояниях от смартфона, которая записывается или прослушивается на удаленном конце, находится в нужном диапазоне, и тем самым гарантируется результат записи или телеконференц-связи.
[00114] В целом, в способе оптимизации звукового сигнала, предлагаемом в вариантах осуществления настоящего изобретения, положение источников звука вокруг терминала определяют с помощью по меньшей мере двух звукоулавливающих блоков, назначенный источник звука выбирают из соответствующих источников звука, обнаруженных путем определения положения, звуковой сигнал, испущенный из назначенного источника звука, определяют среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, которое обнаруживают путем определения положения, и интенсивность звукового сигнала, испущенного из назначенного источника звука, регулируют таким образом, чтобы она находилась между двумя заранее заданными порогами интенсивности, и тем самым интенсивность звукового сигнала, испущенного из назначенного источника звука, который собирают терминалом, настраивают на определенный диапазон, при этом, когда терминал производит запись или вызов, результат улавливания звукового сигнала улучшается.
[00115] В другом опциональном варианте осуществления перед выполнением шага 296 в варианте, показанном на фиг. 2, могут также быть выполнены шаги 205a-205c из блок-схемы способа компенсации усиления, показанной на фиг. 4.
[00116] На шаге 205a ориентацию терминала обнаруживают с помощью датчика ориентации в терминале, при этом ориентация терминала представляет собой угол между передней поверхностью терминала и горизонтальной плоскостью.
[00117] В нормальных условиях при записи звука или выполнении телеконференции терминал помещают на столе с передней поверхностью, направленной вверх; в то же время в некоторых условиях пространственное положение терминала может быть не горизонтальным, например, когда терминал помещают на книге или других объектах, передняя поверхность терминала находится не в горизонтальном положении, в это время имеется некоторый угол между передней поверхностью терминала и горизонтальной поверхностью, что приводит к отклонению звукового сигнала, собранного терминалом, от звукового сигнала в идеальном положении, и звуковой сигнал, собранный терминалом, когда его передняя поверхность находится не в горизонтальном положении, является меньшим по сравнению со звуковым сигналом, собранным терминалом с передней поверхностью в горизонтальном положении.
[00118] Поэтому, прежде чем определить звуковой сигнал, испущенный назначенным источником звука среди собранных звуковых сигналов и выполнить процесс оптимизации применительно к определенным звуковым сигналам, некоторая компенсация может быть выполнена в отношении собранных звуковых сигналов в соответствии с текущим пространственным положением терминала.
[00119] На шаге 205b определяют значение компенсации в соответствии с углом между передней поверхностью терминала и горизонтальной плоскостью, причем этот угол между передней поверхностью терминала и горизонтальной плоскостью прямо пропорционален значению компенсации.
[00120] Чем больше угол между передней поверхностью терминала и горизонтальной плоскостью, тем больше отклонение звукового сигнала, собранного терминалом, от звукового сигнала в идеальном положении (т.е. передняя поверхность терминала находится в горизонтальном положении). Таким образом, терминал может вычислить значение компенсации с помощью заранее заданного алгоритма или определить значение, необходимое для компенсации, с помощью предварительно сохраненного соответствующего отношения в соответствии с углом между передней поверхностью терминала и горизонтальной плоскостью.
[00121] На шаге 205c выполняют компенсацию усиления применительно к звуковым сигналам, собранным терминалом, в соответствии со значением компенсации.
[00122] После определения значения компенсации выполняют компенсацию коэффициента усиления для всех звуковых сигналов, собранным терминалам.
[00123] При определении звукового сигнала, испущенного назначенным источником звука, среди звуковых сигналов, собранных терминалом, терминал может определить звуковой сигнал, испущенный назначенным источником звука, среди звуковых сигналов после компенсации усиления.
[00124] В целом, в способе, предлагаемом в вариантах осуществления настоящего изобретения, результат улавливания звукового сигнала, когда терминал производит запись или вызов, дополнительно улучшается путем обнаружения ориентации терминала до определения звукового сигнала, испущенного назначенным источником звука, среди звуковых сигналов, собранных терминалом, выполнения оптимизации и выполнения компенсации усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с ориентацией терминала.
[00125] Варианты осуществления устройств согласно настоящему изобретению описываются ниже в настоящем документе, и они могут быть использованы для выполнения вариантов осуществления способов согласно настоящему изобретению. Что касается деталей, не описанных в вариантах осуществления устройств согласно настоящему изобретению, то их можно найти в описании вариантов осуществления способов согласно настоящему изобретению.
[00126] Фиг. 5 представляет структурную схему устройства для оптимизации звукового сигнала в соответствии с одним примером осуществления настоящего изобретения. Устройство для оптимизации звукового сигнала может быть использовано в терминале, содержащем по меньшей мере два звукоулавливающих блока. Терминалом может быть умный терминал, поддерживающий голосовую связь или функцию звукозаписи, например, смартфон, планшет, электронная книга и смарт-перо для записи, для выполнения способа, показанного на любой из фиг. 1-4. Как показано на фиг. 5, устройство для оптимизации звукового сигнала содержит, но не ограничено этим, модуль 501 определения положения, модуль 502 выбора, модуль 503 определения звукового сигнала и модуль 504 оптимизации.
[00127] Модуль 501 определения положения выполнен с возможностью определять положение источников звука вокруг терминала с помощью по меньшей мере двух звукоулавливающих блоков.
[00128] Модуль 502 выбора выполнен с возможностью выбирать назначенный источник звука среди соответствующих источников звука, обнаруженных путем определения положения.
[00129] Модуль 503 определения звукового сигнала выполнен с возможностью определять звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения.
[00130] Модуль 504 оптимизации выполнен с возможностью оптимизировать громкость звукового сигнала, испущенного из назначенного источника звука.
[00131] В целом, в устройстве для оптимизации звукового сигнала, предлагаемом в вариантах осуществления настоящего изобретения, путем определения положения источников звука вокруг терминала с помощью по меньшей мере двух звукоулавливающих блоков, выбора назначенного источника звука из соответствующих источников звука, обнаруженных с помощью определения положения, определения звукового сигнала, испущенного из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения, и оптимизации громкости звукового сигнала, испущенного из назначенного источника звука, при сборе звуковых сигналов терминал выбирает назначенные источники звука и оптимизирует звуковой сигнал, испущенный из выбранного источника звука, и таким образом улучшается результат улавливания звукового сигнала терминалом.
[00132] Фиг. 6 представляет структурную схему устройства для оптимизации звукового сигнала в соответствии с одним примером осуществления настоящего изобретения. Устройство для оптимизации звукового сигнала может использоваться в терминале, содержащем два звукоулавливающих блока. Терминалом может быть умный терминал, поддерживающий голосовую связь или функцию звукозаписи, например, смартфон, планшет, электронная книга и смарт-перо для записи, для выполнения способа, показанного на любой из фиг. 1-4. Как показано на фиг. 6, устройство для оптимизации звукового сигнала содержит, но не ограничено этим, модуль 501 определения положения, модуль 502 выбора, модуль 503 определения звукового сигнала и модуль 504 оптимизации.
[00133] Модуль 501 определения положения выполнен с возможностью определять положение источников звука вокруг терминала с помощью по меньшей мере двух звукоулавливающих блоков.
[00134] Модуль 502 выбора выполнен с возможностью выбирать назначенный источник звука из соответствующих источников звука, обнаруженных с помощью определения положения.
[00135] Модуль 503 определения звукового сигнала выполнен с возможностью определять звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения.
[00136] Модуль 504 оптимизации выполнен с возможностью оптимизировать громкость звукового сигнала, испущенного из назначенного источника звука.
[00137] Опционально, модуль 504 оптимизации содержит подмодуль 504a сравнения, подмодуль 504b уменьшения и подмодуль 504c увеличения.
[00138] Подмодуль 504a сравнения выполнен с возможностью сравнивать интенсивность звукового сигнала, испущенного из назначенного источника сигнала, с заранее заданным первым порогом интенсивности и заранее заданным вторым порогом интенсивности, при этом первый порог интенсивности больше или равен второму порогу интенсивности.
[00139] Подмодуль 504b уменьшения выполнен с возможностью, если интенсивность звукового сигнала, испущенного из назначенного источника звука, больше, чем первый порог интенсивности, уменьшать интенсивность звукового сигнала, испущенного из назначенного источника звука, до первого порога интенсивности.
[00140] Подмодуль 504c увеличения выполнен с возможностью, если интенсивность звукового сигнала, испущенного из назначенного источника звука, меньше, чем второй порог интенсивности, увеличивать интенсивность звукового сигнала, испущенного из назначенного источника звука, до второго порога интенсивности.
[00141] Опционально, модуль 501 определения положения содержит: подмодуль 501а обнаружения и подмодуль 501b определения положения.
[00142] Подмодуль 501a обнаружения выполнен с возможностью обнаруживать разницу во времени и разницу фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока.
[00143] Подмодуль 501b определения положения выполнен с возможностью определять пространственное положение источника звука по отношению к терминалу в соответствии с разницей во времени и разницей фаз звукового сигнала, испущенного источником звука и поступающего по меньшей мере в два звукоулавливающих блока.
[00144] Опционально, модуль 502 выбора выполнен с возможностью выбирать назначенный источник звука из соответствующих источников звука в соответствии с интенсивностью и/или непрерывностью звукового сигнала соответствующих источников звука.
[00145] Опционально, устройство дополнительно содержит модуль 505 обнаружения ориентации и модуль 506 компенсации.
[00146] Модуль 505 обнаружения ориентации выполнен с возможностью обнаруживать ориентацию терминала с помощью датчика ориентации в терминале до того, как модуль 503 определения звукового сигнала определяет звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, собранных терминалом.
[00147] Модуль 506 компенсации выполнен с возможностью выполнять компенсацию усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с пространственным положением терминала.
[00148] Модуль 503 определения звукового сигнала выполнен с возможностью определять звуковой сигнал, испущенный из назначенного источника звука, среди звуковых сигналов, подвергнутых компенсации усиления.
[00149] Опционально, модуль 506 компенсации содержит: подмодуль 506a определения значения и подмодуль 506b компенсации.
[00150] Подмодуль 506a определения значения выполнен с возможностью определять значение компенсации в соответствии с углом между передней поверхностью терминала и горизонтальной плоскостью, при этом угол между передней поверхностью терминала и горизонтальной плоскостью прямо пропорционален значению компенсации.
[00151] Подмодуль 506b компенсации выполнен с возможностью выполнять компенсацию усиления применительно к звуковым сигналам, собранным терминалом, в соответствии со значением компенсации.
[00152] Ориентация терминала представляет собой угол между передней поверхностью терминала и горизонтальной плоскостью.
[00153] В целом, в устройстве для оптимизации звукового сигнала, предлагаемом в вариантах осуществления настоящего изобретения, положение источников звука вокруг терминала определяют с помощью по меньшей мере двух звукоулавливающих блоков, назначенный источник звука выбирают из соответствующих источников звука, обнаруженных с помощью определения положения, звуковой сигнал, испущенный из назначенного источника звука, определяют среди звуковых сигналов, собранных терминалом, в соответствии с пространственным положением назначенного источника звука, обнаруженного путем определения положения, и интенсивность звукового сигнала, испущенного из назначенного источника звука, регулируют так, чтобы оно было локализованным между заранее заданными двумя порогами интенсивности, таким образом интенсивность звукового сигнала, испущенного из назначенного источника звука, который улавливают терминалом, настраивают на нужный диапазон, тем самым, когда терминал производит запись или вызов, улучшают результат улавливания звукового сигнала.
[00154] Кроме того, в устройстве, предлагаемом в вариантах осуществления настоящего изобретения, результат улавливания звукового сигнала, когда терминал производит запись или вызов, дополнительно улучшают, собирая данные об ориентации терминала, прежде, чем определить звуковой сигнал, испущенный назначенным источником звука, среди звуковых сигналов, собранных терминалом, и выполняя компенсацию усиления применительно к звуковым сигналам, собранным терминалом, в соответствии с ориентацией терминала.
[00155] Фиг. 7 представляет структурную схему устройства 700 в соответствии с примером осуществления настоящего изобретения. Устройство содержит по меньшей мере два звукоулавливающих блока. Например, устройство 800 может быть мобильным телефоном, компьютером, цифровым терминалом вещания, устройством для обмена сообщениями, устройством маршрутизации, игровой консолью, планшетом, медицинским устройством, тренажером, персональным цифровым помощником и т.п.
[00156] Как показано на фиг. 7, устройство 700 может содержать один или более следующих компонентов: обрабатывающий компонент 702, память 704, компонент 706 питания, мультимедийный компонент 708, аудиокомпонент 710, интерфейс 712 ввода/вывода (I/O), сенсорный компонент 714 и компонент 716 связи.
[00157] Обрабатывающий компонент 702, как правило, управляет всеми операциями устройства 700, например операциями, связанными с дисплеем, телефонными звонками, передачами данных, работой камеры и операциями записи. Обрабатывающий компонент 702 может содержать один или более процессоров 718 для выполнения команд с целью выполнения всех или части шагов в описанных выше способах. Кроме того, обрабатывающий компонент 702 может содержать один или более модулей, которые облегчают взаимодействие между обрабатывающим компонентом 702 и другими компонентами. Например, обрабатывающий компонент 702 может содержать мультимедийный компонент для содействия взаимодействию между мультимедийным компонентом 708 и обрабатывающим компонентом 702.
[00158] Память 704 выполнена с возможностью сохранять различные типы данных для поддержки работы устройства 700. Примеры таких данных включают команды для любых приложений или способов, реализуемых в устройстве 700, контактные данные, данные телефонной книги, сообщения, изображения, видео и т.д. Память 704 может быть реализована с использованием любого типа энергозависимых или энергонезависимых запоминающих устройств или их комбинации, например, статистического запоминающего устройства (static random access memory) (SRAM), электрически стираемого программируемого постоянного запоминающего устройства (electrically erasable programmable read-only memory) (EEPROM), стираемого программируемого постоянного запоминающего устройства (erasable programmable read-only memory) (EPROM), программируемого постоянного запоминающего устройства (programmable read-only memory) (PROM), постоянного запоминающего устройства (read-only memory) (ROM), магнитного запоминающего устройства, флэш-памяти, магнитного или оптического диска. Кроме того, память 704 хранит один или более модулей, которые выполнены с возможностью исполнения одним или более процессорами 718, для того, чтобы выполнять все или часть шагов в способах, показанных на любой из фиг. 1-4.
[00159] Компонент 706 питания обеспечивает питание для различных компонентов устройства 700. Компонент 706 может включать систему управления электропитанием, один или более источников питания и любые другие компоненты, связанные с генерацией, управлением и распределением энергии в устройстве 700.
[00160] Мультимедийный компонент 708 содержит экран, создающий выходной интерфейс между устройством 700 и пользователем. В некоторых вариантах осуществления экран включает жидкокристаллический дисплей (liquid crystal display) (LCD) и сенсорную панель (touch pane)I (TP). Если экран включает сенсорную панель, этот экран может быть реализован в виде сенсорного экрана для получения входных сигналов от пользователя. Сенсорная панель содержит один или более сенсорных датчиков для обнаружения касаний, скольжений и жестов на сенсорной панели. Сенсорные датчики могут не только обнаруживать границу действия касания или скольжения, но также обнаруживать период времени и давление, связанные с действием касания или скольжения. В некоторых вариантах осуществления мультимедийный компонент 708 содержит переднюю камеру и/или заднюю камеру. Передняя камера и/или задняя камера могут получать внешние мультимедийные данные, когда устройство 700 находится в режиме работы, например, в режиме фотографирования или режиме видео. Каждая из передней камеры и задней камеры может иметь фиксированную систему оптических линз или иметь возможность фокусировки и оптического зума.
[00161] Аудиокомпонент 710 выполнен с возможностью выводить и/или вводить аудиосигналы. Например, аудиокомпонент 710 содержит микрофон ("MIC"), выполненный с возможностью получать внешний аудиосигнал, когда устройство 700 находится в рабочем режиме, например, режиме вызова, режиме записи и режиме распознавания голоса. Полученный аудиосигнал может быть дополнительно сохранен в памяти 704 или передан с помощью компонента 716 связи. В некоторых вариантах осуществления аудиокомпонент 710 дополнительно содержит громкоговоритель для выдачи аудиосигналов.
[00162] Интерфейс 712 ввода/вывода представляет собой интерфейс между обрабатывающим компонентом 702 и периферийными интерфейсными модулями, такими как клавиатура, колесо прокрутки, кнопки и тому подобное. Кнопки могут представлять собой, но не ограничены этим, кнопку исходного состояния, кнопку громкости, кнопку пуска и кнопку блокировки.
[00163] Сенсорный компонент 714 содержит один или более датчиков для проведения оценок состояния различных аспектов устройства 700. Например, сенсорный компонент 714 может обнаруживать открытое/закрытое состояние устройства 700, относительное определение положения компонентов, например дисплея и клавиатуры, устройства 700, изменение положения устройства 700 или компонента устройства 700, присутствие или отсутствие пользовательского контакта с устройством 700, ориентацию или ускорение/замедление устройства 700 и изменение температуры устройства 700. Сенсорный компонент 714 может включать датчик приближения, выполненный с возможностью обнаруживать присутствие близлежащих объектов без физического контакта. Сенсорный компонент 714 может включать датчик света, например датчик изображения на КМОП- или ПЗС-структуре для использования в приложениях формирования изображений. В некоторых вариантах осуществления сенсорный компонент 714 может также включать акселерометрический датчик, гироскопический датчик, магнитный датчик, датчик давления или датчик температуры.
[00164] Компонент 716 связи выполнен с возможностью обеспечения связи, проводной или беспроводной, между устройством 700 и другими устройствами. Устройство 700 может получить доступ к беспроводной сети на основе стандарта связи, такого как WiFi, 2G, или 3G, или их комбинации. В одном примере осуществления компонент 716 связи получает широковещательный сигнал или связанную с вещанием информацию от внешней системы управления вещанием через широковещательный канал. В одном примере осуществления компонент 716 связи дополнительно содержит модуль коммуникации ближнего поля (near field communication) (NFC) для облегчения коммуникации ближнего радиуса действия. Например, NFC-модуль может быть реализован на основе технологии радиочастотной идентификации (radio frequency identification) (RFID), Ассоциации по инфракрасной технологии передачи данных (infrared data association) (IrDA), технологии сверхширокополосной передачи данных (ultra-wideband) (UWB), технологии Bluetooth (BT) и других технологий.
[00165] В примерах осуществления устройство 700 может быть реализовано с помощью одной или более специализированных интегральных схем (application specific integrated circuits) (ASIC), цифровых сигнальных процессоров (digital signal processors) (DSP), устройств цифровой обработки сигналов (digital signal processing devices) (DSPD), программируемых логических устройств (programmable logic device)s (PLD), программируемых вентильных матриц (field programmable gate arrays) (FPGA), контроллеров, микроконтроллеров, микропроцессоров или других электронных элементов для выполнения вышеописанных способов.
[00166] В примерах осуществления также предлагается машиночитаемый носитель, содержащий команды, например содержащиеся в памяти 704 и исполняемые процессором 718 в устройстве 700, для выполнения описанных выше способов. Например, машиночитаемым носителем может быть ПЗУ (ROM), ОЗУ (RAM), компакт-диск (CD-ROM), магнитная лента, гибкий диск, оптическое устройство для хранения информации и тому подобное.
[00167] Что касается устройств в вышеописанных вариантах осуществления конкретные способы выполнения операций для отдельных модулей в них были описаны подробно в вариантах осуществления, относящихся к способам, и не будут здесь рассматриваться снова.
[00168] Следует понимать, что настоящее изобретения не ограничено точной конструкцией, которая была описана выше и проиллюстрирована на прилагаемых чертежах, и различные модификации и изменения могут быть произведены в объеме изобретения. Объем изобретения ограничен только прилагаемой формулой изобретения.