СПОСОБЫ И УСТРОЙСТВА ДЛЯ ОСУЩЕСТВЛЕНИЯ РАСПРЕДЕЛЕННЫХ МНОГОМОДАЛЬНЫХ ПРИЛОЖЕНИЙ

1. Способ, выполняемый клиентским устройством, при этом способ содержит этапы, на которых
визуализируют визуальное отображение, которое включает в себя по меньшей мере один многомодальный элемент отображения, для которого данные ввода являются принимаемыми клиентским устройством посредством визуальной модальности и голосовой модальности, причем фокус визуального представления установлен на первом многомодальном элементе отображения из этого по меньшей мере одного многомодального элемента отображения;
посылают первый запрос голосового события серверу приложения, при этом первый запрос голосового события является асинхронным запросом по протоколу передачи гипертекста (HTTP);
принимают аудиосигнал, который может представлять фрагмент речи пользователя, через голосовую модальность;
посылают аудиоданные восходящей линии связи, представляющие этот аудиосигнал, модулю распознавания речи; и
принимают ответ на запрос голосового события от сервера приложения в ответ на упомянутый запрос голосового события; и
посылают второй запрос голосового события серверу приложения в ответ на прием ответа на запрос голосового события.
2. Способ по п.1, в котором при посылке аудиоданных восходящей линии связи модулю распознавания речи посылают аудиоданные восходящей линии связи серверу приложения для переадресации модулю распознавания речи.
3. Способ по п.1, в котором при посылке аудиоданных восходящей линии связи модулю распознавания речи посылают аудиоданные восходящей линии связи непосредственно модулю распознавания речи.
4. Способ по п.1, дополнительно содержащий этапы, на которых
принимают результат распознавания речи; и
обновляют визуальное отображение так, чтобы отобразить текст, соответствующий результату распознавания речи, в первом многомодальном элементе отображения.
5. Способ по п.1, дополнительно содержащий этапы, на которых
принимают указание нового фокуса голосового представления; и
обновляют фокус визуального представления так, чтобы он был синхронизирован с новым фокусом голосового представления.
6. Способ по п.1, дополнительно содержащий этапы, на которых
запрашивают многомодальную страницу с сервера приложения, при этом многомодальная страница при интерпретации дает возможность клиентскому устройству визуализировать визуальное отображение;
принимают многомодальную страницу от сервера приложения;
определяют, является ли клиентское устройство устройством с поддержкой многомодального режима; и
если клиентское устройство является устройством с поддержкой многомодального режима, визуализируют визуальное отображение.
7. Способ по п.1, дополнительно содержащий этапы, на которых
принимают аудиоданные нисходящей линии связи, причем эти аудиоданные нисходящей линии связи включают в себя аудионапоминание; и
выводят аудионапоминание на устройство аудиовывода клиентского устройства.
8. Способ по п.1, дополнительно содержащий этапы, на которых
принимают ввод пользователя для изменения фокуса визуального представления на второй многомодальный элемент отображения из упомянутого по меньшей мере одного многомодального элемента отображения;
на основе приема ввода пользователя выдают запрос фокуса серверу приложения, указывающий новый фокус визуального представления, соответствующий второму многомодальному элементу отображения;
принимают ответ на запрос фокуса от сервера приложения;
обновляют фокус визуального представления и визуальное отображение в ответ на прием ответа на запрос фокуса так, чтобы указать второй многомодальный элемент отображения в качестве фокуса визуального представления.
9. Способ по п.8, в котором при приеме ввода пользователя
принимают указание того, что пользователь выбрал второй многомодальный элемент отображения, используя устройство указания или прокрутки интерфейса пользователя.
10. Способ по п.8, в котором при приеме ввода пользователя
принимают указание того, что пользователь ввел текст в поле ввода данных для первого многомодального элемента отображения, причем запрос фокуса включает в себя представление этого текста.
11. Способ, выполняемый сервером приложения, при этом способ содержит этапы, на которых
принимают первый запрос голосового события от клиентского устройства, которое визуализировало визуальное отображение, которое включает в себя по меньшей мере один многомодальный элемент отображения, для которого данные ввода являются принимаемыми клиентским устройством посредством визуальной модальности и голосовой модальности, причем первый запрос голосового события является асинхронным запросом по протоколу передачи гипертекста (HTTP);
принимают результат распознавания речи от голосового сервера, при этом результат распознавания речи представляет собой результат процесса распознавания речи, выполненного в отношении аудиоданных восходящей линии связи, посланных клиентским устройством модулю распознавания речи;
посылают ответ на запрос голосового события клиентскому устройству в ответ на первый запрос голосового события; и
принимают второй запрос голосового события от клиентского устройства в ответ на отправку ответа на запрос голосового события.
12. Способ по п.11, дополнительно содержащий этапы, на которых
принимают аудиоданные восходящей линии связи от клиентского устройства; и
посылают аудиоданные восходящей линии связи модулю распознавания речи.
13. Способ по п.11, в котором при отправке ответа на запрос голосового события клиентскому устройству
включают результат распознавания речи в ответ на запрос голосового события.
14. Способ по п.11, дополнительно содержащий этапы, на которых
принимают указание нового фокуса голосового представления от голосового сервера; и
включают это указание нового фокуса голосового представления в ответ на запрос голосового события.
15. Способ по п.11, дополнительно содержащий этапы, на которых
принимают указание нового фокуса визуального представления от клиентского устройства; и
посылают это указание нового фокуса визуального представления голосовому серверу.
16. Система, содержащая
клиентское устройство, выполненное с возможностью:
визуализировать визуальное отображение, которое включает в себя по меньшей мере один многомодальный элемент отображения, для которого данные ввода являются принимаемыми клиентским устройством посредством визуальной модальности и голосовой модальности, причем фокус визуального представления установлен на первом многомодальным элементе отображения из этого по меньшей мере одного многомодального элемента отображения,
посылать первый запрос голосового события серверу приложения, при этом первый запрос голосового события является асинхронным запросом по протоколу передачи гипертекста (HTTP),
принимать аудиосигнал, который может представлять фрагмент речи пользователя, через голосовую модальность,
посылать аудиоданные восходящей линии связи, представляющие этот аудиосигнал, модулю распознавания речи,
принимать ответ на запрос голосового события от сервера приложения в ответ на упомянутый запрос голосового события, и
посылать второй запрос голосового события серверу приложения в ответ на прием ответа на запрос голосового события.
17. Система по п.16, дополнительно содержащая
сервер приложения, при этом сервер приложения выполнен с возможностью:
принимать первый запрос голосового события от клиентского устройства,
принимать результат распознавания речи от голосового сервера, при этом результат распознавания речи представляет собой результат процесса распознавания речи, выполненного в отношении аудиоданных восходящей линии связи, посланных клиентским устройством модулю распознавания речи,
посылать ответ на запрос голосового события клиентскому устройству в ответ на первый запрос голосового события, и
принимать второй запрос голосового события от клиентского устройства в ответ на посылку ответа на запрос голосового события.
18. Система по п.16, в которой клиентское устройство дополнительно выполнено с возможностью посылать аудиоданные восходящей линии связи серверу приложения для переадресации модулю распознавания речи.
19. Система по п.16, в которой клиентское устройство дополнительно выполнено с возможностью принимать указание нового фокуса голосового представления и обновлять фокус визуального представления так, чтобы он был синхронизирован с новым фокусом голосового представления.
20. Система по п.16, в которой клиентское устройство дополнительно выполнено с возможностью:
принимать ввод пользователя для изменения фокуса визуального представления на второй многомодальный элемент отображения из упомянутого по меньшей мере одного многомодального элемента отображения и, на основе приема ввода пользователя, выдавать серверу приложения запрос фокуса, указывающий новый фокус визуального представления, соответствующий второму многомодальному элементу отображения, принимать ответ на запрос фокуса от сервера приложения и обновлять фокус визуального представления и визуальное отображение в ответ на прием ответа на запрос фокуса так, чтобы указывать второй многомодальный элемент отображения в качестве фокуса визуального представления.
21. Система по п.16, в которой клиентское устройство является устройством, выбранным из группы устройств, которая включает в себя сотовый телефон, рацию, пейджер, персональный цифровой помощник, персональное устройство навигации, мобильную компьютерную систему, автомобильную компьютерную систему, самолетную компьютерную систему, компьютер, лэптоп, ноутбук, настольный компьютер и реализованный на компьютере телефон согласно протоколу голоса через Интернет (VoIP).