УСТРОЙСТВО ОТОБРАЖЕНИЯ ИЗОБРАЖЕНИЯ И СПОСОБ ЕГО РАБОТЫ
IMAGE DISPLAY DEVICE AND METHOD OF OPERATION THEREOF

Область техники, к которой относится изобретение
[1] Устройства и способы в соответствии с аспектами одного или более примерных вариантов осуществления, в широком смысле относятся к устройству отображения изображения и способу его работы, а более конкретно, к устройству отображения изображения для отображения 360°-изображения и способу его работы.
Уровень техники
[2] Устройство отображения изображения является устройством, имеющим функцию отображения изображения, которое пользователь может просматривать. Пользователь может просматривать вещательную программу через устройство отображения изображения. Устройство отображения изображения отображает программу вещания, выбранную пользователем среди сигналов вещания, транслируемых от станций вещания. В последнее время наметилась тенденция, в результате которой технология вещания была изменена с аналогового на цифровое вещание.
[3] Технология цифрового вещания указывает технологию вещания для трансляции цифровых изображений и голосовых сигналов. По сравнению с аналоговым вещанием технология цифрового вещания имеет меньшую потерю данных благодаря устойчивости к внешнему шуму, является лучшей с точки зрения коррекции ошибок, имеет более высокое разрешение и предоставляет более четкое изображение. Кроме того, в отличие от технологии аналогового вещания, технология цифрового вещания может предоставлять интерактивную службу.
[4] Кроме того, в последнее время, были предоставлены интеллектуальные телевизоры (ТВ) для предоставления различных фрагментов контента помимо наличия функции цифрового вещания. Интеллектуальные ТВ нацелены на анализ и предоставление того, что пользователи хотят, даже без действия пользователя. Т.е., интеллектуальные ТВ предоставляют то, что пользователи хотят, без пользовательского ручного выбора.
[5] Устройство отображения изображения выполняет обработку качества изображения по видеоконтенту, но не выполняют обработку качества изображения по графическим изображениям. Соответственно, 360°-изображение с графической обработкой может быть отображено без обработки качества изображения, выполненной по нему.
Сущность изобретения
Техническая задача
[6] Согласно аспектам примерных вариантов осуществления, предоставляются устройство отображения изображения, которое выполняет обработку качества изображения в отношении изображения, и способ его работы.
Решение задачи
[7] Устройство отображения изображения включает в себя дисплей, процессор, память, включающую в себя первый буфер и второй буфер, и, по меньшей мере, одну программу, хранящуюся в памяти и исполняемую процессором, при этом, по меньшей мере, одна программа содержит инструкции, которые, когда исполняются процессором, инструктируют процессору выполнять графическую обработку в отношении первого изображения, преобразовывать атрибут первого изображения с графической обработкой, формировать изображение дополнительных функций на экране (OSD) и управлять памятью для сохранения OSD-изображения во втором буфере, выполнять обработку качества изображения в отношении первого изображения, атрибут которого преобразуется, и управлять дисплеем, чтобы отображать первое изображение с обработкой качества изображения и OSD-изображение.
Положительные результаты изобретения
[8] В примерном варианте осуществления устройство отображения изображения может хранить изображение и OSD-изображение, обработанное посредством GPU, в отдельных буферах и выполнять обработку качества изображения только в отношении изображения.
Краткое описание чертежей
[9] Эти и/или другие аспекты должны становиться более явными и очевидными из последующего описания примерных вариантов осуществления, рассматриваемых в сочетании с прилагаемыми чертежами. Понимая, что эти чертежи изображают только примерные варианты осуществления и, следовательно, не должны рассматриваться как ограничивающие рамки изобретения, принципы в данном документе описываются и объясняются с дополнительной спецификой и деталями с помощью сопровождающих чертежей, на которых:
[10] Фиг. 1 является видом, иллюстрирующим устройство отображения изображения для отображения 360°-изображения, согласно примерному варианту осуществления;
[11] Фиг. 2 является блок-схемой, иллюстрирующей устройство отображения изображения согласно примерному варианту осуществления;
[12] Фиг. 3 является блок-схемой, иллюстрирующей устройство отображения изображения согласно другому примерному варианту осуществления;
[13] Фиг. 4 и 5 являются блок-схемами последовательности операций, иллюстрирующими способ обработки и отображения 360°-изображения, согласно примерному варианту осуществления; и
[14] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей способ работы устройства отображения изображения, согласно примерному варианту осуществления.
Оптимальный режим осуществления изобретения
[15] Согласно аспектам примерных вариантов осуществления, предоставляются устройство отображения изображения, которое выполняет обработку качества изображения в отношении изображения, и способ его работы.
[16] Дополнительные аспекты примерных вариантов осуществления будут частично изложены в описании, которое следует, и, частично, будут явствовать из описания или могут быть изучены при практическом использовании примерных вариантов осуществления.
[17] Согласно аспекту примерного варианта осуществления, устройство отображения изображения включает в себя: дисплей; процессор; память, включающую в себя первый буфер и второй буфер; и, по меньшей мере, одну программу, хранящуюся в памяти и исполняемую процессором, при этом, по меньшей мере, одна программа содержит инструкции, которые, когда исполняются процессором, инструктируют процессору выполнять графическую обработку в отношении первого изображения, преобразовывать атрибут первого изображения с графической обработкой, формировать изображение дополнительных функций на экране (OSD), управлять памятью для сохранения OSD-изображения во втором буфере, выполнять обработку качества изображения в отношении первого изображения, атрибут которого преобразуется, и управлять дисплеем, чтобы отображать первое изображение с обработкой качества изображения и OSD-изображение.
[18] Согласно аспекту другого примерного варианта осуществления, предоставляется способ отображения изображения. Способ включает в себя: выполнение графической обработки в отношении первого изображения; преобразование атрибута первого изображения с графической обработкой; формирование изображения дополнительных функций на экране (OSD) и сохранение OSD-изображения во втором буфере; выполнение обработки качества изображения в отношении первого изображения, атрибут которого преобразуется; и отображение первого изображения с обработкой качества изображения и OSD-изображения на дисплее.
Режим осуществления изобретения
[19] Термины, используемые в настоящем изобретении, будут схематично описаны, а затем, примерные варианты осуществления будут описаны подробно.
[20] Термины, используемые в этом настоящем изобретении, являются такими общими терминами, в настоящее время широко используемыми на уровне техники, но термины могут изменяться согласно намерению специалистов в данной области техники, прецедентам или новой технологии в области техники. Также, точно определенные термины могут быть выбраны заявителем, и в таком случае, их подробное значение будет предоставлено в подробном описании. Таким образом, термины, используемые в настоящей заявке, следует понимать не как простые названия, а на основе значения терминов и полного описания примерных вариантов осуществления.
[21] На всем протяжении описания также будет понятно, что, когда компонент "включает в себя" элемент, если не существует другое противоположное описание для него, следует понимать, что компонент не исключает другой элемент, но может дополнительно включать в себя другой элемент. Кроме того, такие термины как "… блок", "… модуль" или т.п., ссылаются на блоки, которые выполняют, по меньшей мере, одну функцию или операцию, и блоки могут быть реализованы как аппаратные средства или программное обеспечение или как сочетание аппаратных средств и программного обеспечения.
[22] Далее приводится подробное описание примерных вариантов осуществления, примеры которых проиллюстрированы на прилагаемых чертежах. На чертежах, части, не относящиеся к описанию, пропускаются, чтобы ясно описывать примерные варианты осуществления, и аналогичные номера ссылок обозначают аналогичные элементы на всем протяжении примерных вариантов осуществления. В этом отношении, примерные варианты осуществления могут иметь различные формы и не должны истолковываться как ограничиваемые описаниями, изложенными в данном документе. Соответственно, примерные варианты осуществления просто описываются ниже, посредством ссылки на чертежи, чтобы объяснять аспекты.
[23] В примерных вариантах осуществления термин "пользователь" указывает человека, который управляет функцией или работой устройства отображения изображения с помощью устройства управления, и может включать в себя зрителя, менеджера или инженера по монтажу.
[24] При использовании в данном документе, термин "и/или" включает в себя все без исключения комбинации одного или нескольких ассоциированных перечисленных элементов. Такие выражения как "по меньшей мере, один из", когда предшествуют списку элементов, модифицируют весь список элементов и не модифицируют отдельные элементы списка.
[25] Фиг. 1 является видом, иллюстрирующим устройство отображения изображения для отображения 360°-изображения, согласно примерному варианту осуществления.
[26] Обращаясь к фиг. 1, увидим, что устройство 100 отображения изображения может отображать 360°-изображение.
Согласно примерному варианту осуществления, 360°-изображение может иметь угол обзора 360°. Например, 360°-изображение может быть сформировано на основе множества изображений, захваченных в направлении на 360° с помощью камеры. При этом, захваченное множество изображений может быть нанесено на сферу, и точки касания нанесенных изображений могут быть соединены (сшиты), чтобы формировать 360°-изображение в сферическом формате. Кроме того, 360°-изображение в сферическом формате может быть преобразовано в 360°-изображение 10 плоскостного формата, как показано на фиг. 1, так что 360°-изображение 10 плоскостного формата может быть передано другому устройству или сохранено. В таком случае, согласно примерному варианту осуществления, 360°-изображение 10 плоскостного формата может быть искажено.
[27] Согласно примерному варианту осуществления, устройство 100 отображения изображения может принимать 360°-изображение 10 плоскостного формата от внешнего устройства или хранить 360°-изображение 10 плоскостного формата. Кроме того, устройство 100 отображения изображения может декодировать 360°-изображение 10 плоскостного формата, которое было принято от внешнего устройства или сохранено.
[28] Устройство 100 отображения изображения может выполнять графическую обработку по декодированному 360°-изображению 10 плоскостного формата. Например, устройство 100 отображения изображения может преобразовывать 360°-изображение 10 плоскостного формата в 360°-изображение 20 в сферическом формате. Устройство 100 отображения изображения может наносить 360°-изображение 10 плоскостного формата на сферу, чтобы формировать 360°-изображение 20 в сферическом формате. Устройство 100 отображения изображения может выбирать частичную область 30 на основе пользовательского оперативного ввода (например, перемещение угла или ввод масштаба) на 360°-изображении 20 в сферическом формате. Кроме того, согласно примерному варианту осуществления, устройство 100 отображения изображения может корректировать искажение выбранной области 30, преобразовывать скорректированное изображение в изображение, имеющее прямоугольный вид, и отображать преобразованное изображение на дисплее устройства 100 отображения изображения, как показано на фиг. 1.
[29] Согласно примерному варианту осуществления, устройство 100 отображения изображения может выполнять обработку качества изображения в отношении изображения, соответствующего выбранной области 30, и отображать изображение с обработкой качества изображения на дисплее. Это будет описано подробно далее ниже со ссылкой на фиг. 2-6.
[30] Согласно примерному варианту осуществления, устройство 100 отображения изображения может быть телевизором (ТВ), но это является просто примерным вариантом осуществления, и устройство 100 отображения изображения может быть реализовано посредством электронного устройства, включающего в себя дисплей. Например, устройство 100 отображения изображения может быть реализовано посредством различных электронных устройств, таких как сотовый телефон, планшетный персональный компьютер (PC), цифровая камера, записывающая видеокамера, портативный компьютер, настольный PC, терминал электронной книги, терминал цифрового вещания, персональный цифровой помощник (PDA), переносной мультимедийный проигрыватель (PMP), навигационная машина, MP3-проигрыватель и носимое устройство. В частности, примерные варианты осуществления могут быть легко реализованы в устройствах отображения, имеющих большой дисплей, таких как ТВ, но не ограничиваются этим. Кроме того, устройство 100 отображения изображения может быть стационарным или мобильным типом и может быть приемником цифрового вещания, приспособленным для приема сигнала цифрового вещания.
[31] Устройство 100 отображения изображения может быть реализовано не только посредством устройства с плоским дисплеем, но также устройства с изогнутым дисплеем, имеющим изгиб, или устройства с гибким дисплеем, чей изгиб которого может регулироваться. Примеры выходного разрешения устройства 100 отображения изображения могут включать в себя высокую четкость (HD), полную HD, ультра-HD и более высокое разрешение, чем ультра-HD.
[32] Фиг. 2 является блок-схемой, иллюстрирующей устройство отображения изображения согласно примерному варианту осуществления.
[33] Обращаясь к фиг. 2, увидим, что устройство 100 отображения изображения может включать в себя процессор 110, графический процессор (GPU) 120, память 130 и дисплей 140.
[34] Дисплей 140 формирует сигнал синхронизации посредством преобразования сигнала изображения, информационного сигнала, сигнала отображения дополнительных функций на экране (OSD), управляющего сигнала или т.п. Дисплей 140 может быть реализован посредством плазменной панели отображения (PDP), жидкокристаллического дисплея (LCD), органических светоизлучающих диодов (OLED), гибкого дисплея или т.п. и может также быть реализован посредством трехмерного (3D) дисплея. Кроме того, дисплей 140 может быть использован в качестве устройства ввода в дополнение к тому, что является устройством вывода, посредством конфигурирования с сенсорным экраном.
[35] Согласно примерному варианту осуществления, дисплей 140 может отображать первое изображение и OSD-изображение, и первое изображение может быть 360°-изображением. Кроме того, 360°-изображение, отображаемое на дисплее 140, может быть 360°-изображением с обработкой качества изображения.
[36] Согласно примерному варианту осуществления, процессор 110 может выполнять, по меньшей мере, одну программу, сохраненную в памяти 130. Процессор 110 может включать в себя единственное ядро, два ядра, три ядра, четыре ядра или многократное число своих ядер. Кроме того, процессор 110 может включать в себя множество процессоров. Например, процессор 110 может быть реализован посредством главного процессора (не показан) и подчиненного процессора (не показан), работающего в спящем режиме.
[37] Согласно примерному варианту осуществления, память 130 может хранить различные данные, программы или приложения для работы и управления устройством 100 отображения изображения.
[38] Кроме того, программа, сохраненная в памяти 130, может включать в себя одну или более инструкций. Программа (одна или более инструкций) или приложение, сохраненное в памяти 130, может исполняться процессором 110.
[39] Согласно примерному варианту осуществления, память 130 может включать в себя первый буфер и второй буфер. При этом, первый буфер может быть буфером, в котором хранится первое изображение (например, 360°-изображение), а второй буфер может быть буфером, в котором хранится OSD-изображение. Кроме того, первый буфер может быть видеобуфером, а второй буфер может быть графическим буфером, при этом изображение, имеющее YUV-цветовое пространство, может быть сохранено в первом буфере, а изображение, имеющее RGB-формат, может быть сохранено во втором буфере. Однако, примерные варианты осуществления не ограничиваются этим, и это предоставляется только в качестве примера.
[40] Согласно примерному варианту осуществления, процессор 110 может управлять одной или более инструкциями, включенными в одну или более программ, хранящихся в памяти 130, так что одна или более инструкций выполняют графическую обработку в отношении первого изображения и преобразуют атрибут первого изображения с графической обработкой, сохраняют первое изображение с графической обработкой, атрибут которого преобразуется, в первом буфере и формируют OSD-изображение и сохраняют сформированное OSD-изображение во втором буфере. Например, первое изображение может быть 360°-изображением.
[41] Например, GPU 120 может выполнять процесс преобразования декодированного 360°-изображения в плоскостном формате в 360°-изображение в сферическом формате и преобразовывать 360°-изображение со скорректированным искажением в изображение, имеющее прямоугольный вид.
[42] Кроме того, GPU 120 может формировать OSD-изображение. Согласно примерному варианту осуществления, OSD-изображение является экранным изображением, включающим в себя различные объекты, такие как значок, изображение и текст, для различных видов информации, и может включать в себя, например, экранное изображение пользовательского интерфейса (UI), экранные изображения различных меню и экранное изображение виджета. Однако, примерные варианты осуществления не ограничиваются этим, и это предоставляется только в качестве примера.
[43] GPU 120 может вычислять значения атрибутов, такие как значение координат, форма, размер и цвет, по которым каждый объект должен отображаться согласно компоновке экранного изображения с помощью пользовательского ввода, который вводится в устройство 100 отображения изображения. Кроме того, GPU 120 может формировать различные компоновки экранных изображений, включающих в себя объекты на основе вычисленных значений атрибутов.
[44] Согласно примерному варианту осуществления, процессор 110 может преобразовывать атрибут первого изображения с графической обработкой. Например, первое изображение может быть 360°-изображением, и процессор 110 может управлять цветовым пространством 360°-изображения с графической обработкой, которое должно быть преобразовано. Например, процессор 110 может управлять цветовым пространством 360°-изображения с графической обработкой, так что цветовое пространство преобразуется из RGB-цветового пространства в YUV-цветовое пространство. 360°-изображение, цветовое пространство которого было преобразовано, может быть сохранено в первом буфере. Процессор 110 может управлять первым изображением с графической обработкой, атрибут которого преобразуется, сохраненным в первом буфере. Кроме того, процессор 110 может выполнять обработку качества изображения в отношении первого изображения с графической обработкой, которое хранится в первом буфере. Например, процессор 110 может управлять 360°-изображением, сохраненным в первом буфере, так что обработка качества изображения выполняется в отношении 360°-изображения. Например, обработка качества изображения в отношении 360°-изображения может включать в себя процесс оптимизации кубического эффекта и восприятия цвета изображения посредством улучшения коэффициента контрастности и цвета 360°-изображения, процесс оптимизации качества изображения посредством выполнения гамма-коррекции в отношении 360°-изображения, процесс улучшения резкости 360°-изображения посредством выполнения обработки резкости в отношении крайнего фрагмента, включенного в 360°-изображение, процесс сглаживания явления ступенчатости, возникающего в изображении за счет регулировки разрешения 360°-изображения или выполнения сглаживания в отношении 360°-изображения, и т.п. Явление ступенчатости является явлением, возникающим в растровом способе отображения линии с точками, и указывает явление, в котором контур не является плавным и становится неровным, имеющим ступенчатую форму и теряет линейность края, которое возникает в объекте, таком как диагональ, круг или кривая.
[45] Кроме того, процессор 110 может управлять дисплеем 140, так что первое изображение с обработкой качества изображения и OSD-изображение отображаются на дисплее 140.
[46] Фиг. 3 является блок-схемой, иллюстрирующей устройство отображения изображения согласно другому примерному варианту осуществления. Устройство отображения изображения, изображенное на фиг. 3, может быть примерным вариантом осуществления устройства 100 отображения изображения, изображенного на фиг. 1.
[47] Обращаясь к фиг. 3, увидим, что устройство отображения изображения может включать в себя контроллер 210, дисплей 220, датчик 230, видеопроцессор 280, аудиопроцессор 215, интерфейс 225 аудиовывода, источник 260 питания, тюнер 240, устройство 250 связи, интерфейс 270 ввода/вывода (I/O) и запоминающее устройство 290, такое как память.
[48] Процессор 110, GPU 120, память 130 и дисплей 140 на фиг. 2 могут соответствовать контроллеру 210, графическому процессору 284, запоминающему устройству 290 и дисплею 220 на фиг. 3, соответственно, согласно примерному варианту осуществления. То же описание, что и приведенное со ссылкой на фиг. 2, пропускается здесь.
[49] Устройство 250 связи может передавать и принимать данные или сигнал к и от внешнего устройства или сервера под управлением контроллера. Контроллер 210 может передавать/принимать контент к/от внешнего устройства, соединенного через устройство 250 связи, загружать приложение с внешнего устройства или выполнять веб-просмотр через устройство 250 связи. Устройство 250 связи может передавать и принимать данные или сигнал, по меньшей мере, по одной схеме из беспроводной локальной вычислительной сети (WLAN) (например, Wi-Fi), Bluetooth и проводного Ethernet в соответствии с производительностью и структурой устройства отображения изображения. Кроме того, устройство 250 связи может включать в себя сочетание интерфейса 251 беспроводной локальной вычислительной сети (WLAN), Bluetooth-интерфейса 252 и проводного Ethernet-интерфейса 253. Устройство 250 связи может дополнительно включать в себя другие интерфейсы связи малого радиуса действия (например, интерфейс связи ближнего радиуса действия (NFC), не показан) и интерфейс связи Bluetooth low energy (BLE) (не показан), в дополнение к Bluetooth-интерфейсу 252.
[50] Тюнер 240 может настраивать и выбирать только частоту канала, который устройство отображения изображения желает принимать, среди множества частотных компонентов посредством усиления, смешивания, резонанса и т.п. широковещательного сигнала, принимаемого проводным или беспроводным образом. Широковещательный сигнал включает в себя аудио, видео и дополнительную информацию (например, электронный гид по программам (EPG)).
[51] Тюнер 240 может принимать широковещательный сигнал в частотном диапазоне, соответствующем номеру канала согласно пользовательскому вводу (например, управляющему сигналу, принятому от устройства управления, примерами управляющего сигнала являются ввод номера канала, переключение канала вверх/вниз и ввод канала на экранном изображении EPG).
[52] Тюнер 240 может принимать широковещательные сигналы от различных источников, таких как станции наземного вещания, станции кабельного вещания, станции спутникового вещания и станции Интернет-вещания. Тюнер 240 может принимать широковещательные сигналы от источников, таких как станции аналогового вещания или станции цифрового вещания. Широковещательный сигнал, принятый через тюнер 240, декодируется (например, декодирование аудио, декодирование видео или декодирование дополнительной информации) и разделяется на аудио, видео и/или дополнительную информацию. Разделенные аудио, видео и/или дополнительная информация могут быть сохранены в устройстве отображения изображения под управлением контроллера 210.
[53] Тюнер 240 устройства отображения изображения может быть единственным или многочисленным. Тюнер 240 может быть реализован как одно целое с устройством отображения изображения или реализован как отдельное устройство (например, телевизионная приставка (не показана), имеющая тюнер), электрически соединенное с устройством отображения изображения, или как тюнер (не показан), соединенный с I/O-интерфейсом 270.
[54] Видеопроцессор 280 обрабатывает видеоданные, принятые устройством отображения изображения. Видеопроцессор 280 может включать в себя видеодекодер, сконфигурированный, чтобы декодировать видеоданные. Кроме того, видеопроцессор 280 может выполнять различные типы обработки изображения, такие как масштабирование, фильтрация шума, преобразование частоты кадров и преобразование разрешения.
[55] Согласно примерному варианту осуществления, видеопроцессор 280 может декодировать 360°-изображение плоскостного формата. Согласно примерному варианту осуществления, 360°-изображение плоскостного формата может быть представлено посредством YUV-цветового пространства. Кроме того, согласно примерному варианту осуществления, видеопроцессор 280 может дополнительно включать в себя процессор качества изображения (не показан), сконфигурированный, чтобы выполнять обработку качества изображения в отношении обычного изображения или 360°-изображения. Например, процессор качества изображения может оптимизировать кубический эффект и цветовое восприятие изображения, улучшая коэффициент контрастности и цвет 360°-изображения, или оптимизируя качество изображения, выполняя гамма-коррекцию в отношении 360°-изображения. Альтернативно, процессор качества изображения может улучшать резкость 360°-изображения, выполняя обработку резкости в отношении крайнего фрагмента, включенного в 360°-изображение. Кроме того, процессор качества изображения может выполнять процесс сглаживания явления ступенчатости. Явление ступенчатости является явлением, возникающим в растровом способе отображения линии с точками, и указывает явление, в котором контур не является плавным и становится неровным, имеющим ступенчатую форму и теряет линейность края, которое возникает в объекте, таком как диагональ, круг или кривая. Процессор качества изображения может сглаживать явление ступенчатости, возникающее в изображении, посредством регулировки разрешения 360°-изображения или выполнения сглаживания, посредством которого яркость пограничной поверхности регулируется, чтобы формировать промежуточный тон, так что 360°-изображение видится плавным.
[56] Дисплей 220 отображает видео, включенное в широковещательный сигнал, принимаемый через тюнер 240, на экране под управлением контроллера 210. Кроме того, дисплей 220 может отображать контент (например, видео), введенный через устройство 250 связи или I/O-интерфейс 270. Дисплей 220 может отображать изображение, сохраненное в запоминающем устройстве 290, под управлением контроллера 210. Кроме того, дисплей 220 может отображать голосовой пользовательский интерфейс (UI) (например, включающий в себя руководство по голосовым командам) для выполнения задачи распознавания голоса, соответствующей распознаванию голоса, или UI движения (например, включающий в себя руководство по движениям пользователя для распознавания движения) для выполнения задачи распознавания движения, соответствующей распознаванию движения.
[57] Аудиопроцессор 215 обрабатывает аудиоданные. Аудиопроцессор 215 может выполнять различные типы обработки, такие как декодирование, усиление и фильтрация шума, в отношении аудиоданных. Аудиопроцессор 215 может включать в себя множество модулей аудиообработки, чтобы обрабатывать аудиоданные, соответствующие множеству частей контента.
[58] Интерфейс 225 аудиовывода выводит аудио, включенное в широковещательный сигнал, принимаемый через тюнер 240, под управлением контроллера 210. Интерфейс 225 аудиовывода может выводить аудио (например, голос или звук), введенный через устройство 250 связи или I/O-интерфейс 270. Кроме того, интерфейс 225 аудиовывода может выводить аудио, сохраненное в запоминающем устройстве 290, под управлением контроллера 210. Интерфейс 225 аудиовывода может включать в себя, по меньшей мере, одно из динамика 226, терминала 227 вывода головных наушников, и терминал 228 вывода цифрового интерфейса Sony/Philips (S/PDIF). Интерфейс 225 аудиовывода может включать в себя сочетание динамика 226, терминала 227 вывода головных наушников и терминала 228 вывода S/PDIF.
[59] Источник 260 питания подает мощность, вводимую от внешнего источника питания, к внутренним компонентам 210-290 устройства отображения изображения, под управлением контроллера 210. Альтернативно, источник 260 питания может подавать мощность, вводимую от одного или более аккумуляторов (не показаны), расположенных внутри устройства отображения изображения, к внутренним компонентам 210-290, под управлением контроллера 210.
[60] Датчик 230 воспринимает голос пользователя, изображение пользователя или взаимодействие пользователя, согласно примерному варианту осуществления.
[61] Например, микрофон 231 принимает голос, издаваемый пользователем. Микрофон 231 может преобразовывать принятый голос в электрический сигнал и выводить преобразованный электрический сигнал в контроллер 210. Голос пользователя может включать в себя, например, голос, соответствующий меню или функции устройства отображения изображения. Микрофон 231 может быть реализован посредством объединения с или отдельно от устройства отображения изображения. Отдельный микрофон 231 может быть электрически соединен с устройством отображения изображения через устройство 250 связи или I/O-интерфейс 270.
[62] Камера 232 может принимать изображение (например, непрерывные кадры), соответствующее движению пользователя, включающему в себя жест, в диапазоне распознавания камеры. Движение пользователя может включать в себя, например, движение части тела пользователя, такого как лицо, выражение лица, рука, кулак или палец пользователя, или движение части пользователя. Камера 232 может преобразовывать принятое изображение в электрический сигнал и выводить электрический сигнал в контроллер 210, под управлением контроллера 210.
[63] Контроллер 210 может выбирать меню, которое должно быть отображено на устройстве отображения изображения, или выполнять управление, соответствующее результату распознавания движения, с помощью результата распознавания принятого движения. Например, управление может включать в себя настройку канала, регулировку громкости, перемещение индикатора или перемещение курсора.
[64] Оптический приемник 233 принимает оптический сигнал (включающий в себя управляющий сигнал) от внешнего устройства управления через оптическое окно (не показано) на обрамлении дисплея 220. Оптический приемник 233 может принимать оптический сигнал, соответствующий пользовательскому вводу (например, касанию, нажатию, жесту касания, голосу или движению) от внешнего устройства управления. Управляющий сигнал может быть извлечен из принятого оптического сигнала под управлением контроллера 210.
[65] I/O-интерфейс 270 принимает видео (например, движущееся изображение), аудио (например, голос или музыку) и дополнительную информацию (например, EPG) и т.п. снаружи устройства отображения изображения под управлением контроллера 210. I/O-интерфейс 270 может включать в себя одно из порта 271 мультимедийного интерфейса высокой четкости (HDMI), компонентного штекерного разъема 272, PC-порта 273 и порта 274 универсальной последовательной шины (USB). I/O-интерфейс 270 может включать в себя сочетание HDMI-порта 271, компонентного штекерного разъема 272, PC-порта 273 и USB-порта 274, согласно примерному варианту осуществления.
[66] Будет легко понятно специалистам в данной области техники, что конфигурация и работа I/O-интерфейса 270 может быть реализован различным способом согласно примерным вариантам осуществления.
[67] Контроллер 210 управляет общей работой устройства отображения изображения и потоком сигналов между внутренними компонентами 210-290 устройства отображения изображения и обрабатывает данные. Если ввод пользователя существует, или ранее заданное и сохраненное условие удовлетворяется, контроллер 210 может выполнять операционную систему (OS) и различные приложения, сохраненные в запоминающем устройстве 290.
[68] Контроллер 210 может включать в себя оперативное запоминающее устройство (RAM) 281, используемое для хранения сигнала или данных, введенных снаружи устройства отображения изображения (внешне по отношению к устройству отображения изображения) или используемое в качестве области хранения, соответствующей различным операциям, выполняемым устройством отображения изображения, постоянное запоминающее устройство (ROM) 282, в котором хранится управляющая программа для управления устройством отображения изображения, и процессор 283.
[69] Процессор 283 может включать в себя GPU (не показан) для обработки графики, соответствующей видеоизображению. Процессор 283 может быть реализован посредством системы на кристалле (SoC), в которой ядро (не показано) и GPU являются объединенными.
[70] С первого по n-ый интерфейсы 285-1-285-n соединяются с различными компонентами, описанными выше, согласно примерному варианту осуществления. Один из первого по n-ый интерфейсы 285-1-285-n может быть сетевым интерфейсом, соединенным с внешним устройством по сети.
[71] RAM 281, ROM 282, процессор 283, графический процессор 284 и с первого по n-ый интерфейсы 285-1-285-n могут быть соединены друг с другом по внутренней шине 286.
[72] В примерном варианте осуществления фраза "контроллер устройства отображения изображения" может включать в себя процессор 283, ROM 282 и RAM 281.
[73] Запоминающее устройство 290 может хранить различные данные, программы или приложения для работы и управления устройством отображения изображения под управлением контроллера 210. Запоминающее устройство 290 может хранить сигналы или данные вводимые/выводимые в соответствии с операциями видеопроцессора 280, дисплея 220, аудиопроцессора 215, интерфейса 225 аудиовывода, источника 260 питания, тюнера 240, устройства 250 связи, датчика 230 и I/O-интерфейса 270. Запоминающее устройство 290 может хранить управляющие программы для управления устройством отображения изображения и контроллером 210, приложения, первоначально предоставленные от производителя или загруженные извне, графические пользовательские интерфейсы (GUI), относящиеся к приложениям, объекты (например, текст изображения, значки и кнопки) для предоставления множества GUI, пользовательскую информацию, документы, базы данных (DB) или связанные данные.
[74] Согласно примерному варианту осуществления, термин "запоминающее устройство" включает в себя запоминающее устройство 290, ROM 282 контроллера 210, RAM 281 контроллера 210 или карту памяти (например, защищенную цифровую (SD) микрокарту или USB-память, не показана), установленную в устройстве отображения изображения. Кроме того, запоминающее устройство 290 может включать в себя энергонезависимую память, энергозависимую память, накопитель на жестком диске (HDD) или твердотельный накопитель (SSD).
[75] Запоминающее устройство 290 может включать в себя модуль приема вещания, модуль управления каналом, модуль управления громкостью, модуль управления связью, модуль распознавания голоса, модуль распознавания движения, модуль оптического восприятия, модуль управления дисплеем, модуль аудиоуправления, модуль управления внешним вводом, модуль управления мощностью, модуль для управления мощностью внешнего устройства, присоединенного беспроводным образом (например, Bluetooth), голосовую DB или DB движений, которые не показаны. Модули и DB (не показаны) запоминающего устройства 290 могут быть реализованы в формате программного обеспечения, чтобы выполнять функцию управления приемом вещания, функцию управления каналом, функцию управления громкостью, функцию управления связью, функцию распознавания голоса, функцию распознавания движения, функцию управления оптическим восприятием, функцию управления дисплеем, функцию аудиоуправления, функцию управления внешним вводом, функцию управления мощностью или функцию управления мощностью внешнего устройства, присоединенного беспроводным образом (например, Bluetooth). Контроллер 210 может выполнять каждую функцию с помощью программного обеспечения, сохраненного в запоминающем устройстве 290.
[76] Устройство отображения изображения, имеющее дисплей 220, может быть электрически соединено с отдельным внешним устройством, имеющим тюнер. Например, будет легко понятно специалистам в данной области техники, что устройство отображения изображения может быть реализовано посредством аналогового ТВ, цифрового ТВ, 3D ТВ, интеллектуального ТВ, LED ТВ, OLED ТВ, плазменного ТВ, монитора или т.п., но не ограничивается этим.
[77] Блок-схемы устройств отображения изображения, показанные на фиг. 2 и 3, являются только иллюстративными и не предоставляются в качестве ограничения. Каждый компонент в блок-схемах может быть объединен, добавлен или пропущен согласно фактически реализованным спецификациям устройств отображения изображения. Т.е., согласно различным сценариям, два или более компонентов могут быть объединены в один компонент, или один компонент может быть разделен на два или более компонентов. Кроме того, функции, выполняемые в каждом блоке, должны описывать примерные варианты осуществления, и подробные операции или их устройства не ограничивают рамки настоящего изобретения.
[78] Фиг. 4 и 5 являются блок-схемами последовательности операций, иллюстрирующими способ обработки и отображения 360°-изображения, согласно примерному варианту осуществления.
[79] Обращаясь к фиг. 4, увидим, что устройство 300 отображения изображения может включать в себя видеодекодер 310, GPU 320, преобразователь цветового пространства (CSC) 330, видеобуфер 340, графический буфер 345, процессор 350 качества изображения и дисплей 360, и устройство 300 отображения изображения на фиг. 4 может быть примерным вариантом осуществления устройства 100 отображения изображения на фиг. 1.
[80] Видеодекодер 310 может декодировать изображение, принятое от внешнего устройства или сохраненное в устройстве 300 отображения изображения. Например, видеодекодер 310 может декодировать обычное изображение или 360°-изображение. Обычное изображение указывает изображение, отличное от 360°-изображения. Декодированное общее изображение может быть представлено посредством YUV-цветового пространства. Кроме того, декодированное 360°-изображение может быть 360°-изображением 410 плоскостного формата, как показано в верхней части на фиг. 5, и может быть представлено посредством YUV-цветового пространства, согласно примерному варианту осуществления.
[81] Общее изображение, декодированное посредством видеодекодера 310, может не быть введено в GPU 320, но может быть сохранено в видеобуфере 340. Однако, хотя фиг. 4 показывает, что видеобуфер, в котором обычное изображение хранится, является таким же, что и видеобуфер, в котором хранится 360°-изображение с графической обработкой, примерные варианты осуществления не ограничиваются этим, и это предоставляется только в качестве примера. Согласно примерному варианту осуществления, видеобуфер, в котором хранится обычное изображение, и видеобуфер, в котором хранится 360°-изображение с графической обработкой, могут быть сконфигурированы по-разному. Обычное изображение, сохраненное в видеобуфере 340, может быть подвергнуто обработке качества изображения и затем отображено на дисплее 360. Однако, декодированное 360°-изображение вводится в GPU 320.
[82] GPU 320 может наносить 360°-изображение 410 плоскостного формата на сферу, чтобы формировать 360°-изображение 420 в сферическом формате, как показано в среднем фрагменте на фиг. 5. Согласно примерному варианту осуществления, 360°-изображение 420 в сферическом формате может быть представлено посредством RGB-цветового пространства. Кроме того, GPU 320 может извлекать частичную область 425 360°-изображения 420 в сферическом формате, корректировать искажение частичной области 425 и преобразовывать изображение со скорректированным искажением в изображение 430, имеющее прямоугольный вид, как показано в нижнем фрагменте на фиг. 5. Согласно примерному варианту осуществления, частичная область 425 может быть выбрана на основе оперативного ввода (например, перемещения угла или ввода масштаба) в отношении 360°-изображения 420 в сферическом формате.
[83] Согласно примерному варианту осуществления, устройство 300 отображения изображения может преобразовывать цветовое пространство изображения 430 частичной области 425, которая выводится из GPU 320, из RGB-цветового пространства в YUV-цветовое пространство. Например, цветовое пространство изображения 430 частичной области 425 может быть преобразовано из RGB-цветового пространства в YUV-цветовое пространство с помощью CSC 330. Однако, примерные варианты осуществления не ограничиваются этим.
[84] Устройство 300 отображения изображения может хранить 360°-изображение с преобразованным цветовым пространством в видеобуфере 340. 360°-изображение, сохраненное в видеобуфере 340, может быть представлено посредством YUV-цветового пространства.
[85] Устройство 300 отображения изображения может выполнять обработку качества изображения в отношении 360°-изображения 430, сохраненного в видеобуфере 340. Например, устройство 300 отображения изображения может управлять 360°-изображением 430, сохраненным в видеобуфере 340, так, чтобы вводить в процессор 350 качества изображения. Альтернативно, выход видеобуфера 340 может соединяться с входом процессора 350 качества изображения, согласно примерному варианту осуществления.
[86] Процессор 350 качества изображения может выполнять обработку качества изображения в отношении входного изображения. Например, процессор 350 качества изображения может оптимизировать кубический эффект и цветовое восприятие изображения, улучшая коэффициент контрастности и цвет входного изображения. Альтернативно, процессор 350 качества изображения может оптимизировать качество изображения, выполняя гамма-коррекцию в отношении входного изображения. Кроме того, процессор 350 качества изображения может улучшать резкость изображения, выполняя обработку резкости в отношении крайнего фрагмента, включенного в изображение. Кроме того, процессор 350 качеств изображения может сглаживать явление ступенчатости, возникающее в изображении, регулируя разрешение изображения или выполняя сглаживание, согласно примерному варианту осуществления.
[87] Согласно примерному варианту осуществления, дисплей 360 может отображать изображение 440 с обработкой качества изображения, как показано в нижнем фрагменте на фиг. 5.
[88] Кроме того, согласно примерному варианту осуществления, GPU 320 может формировать OSD-изображение. Например, GPU 320 может принимать OSD-сигнал контента извне или принимать OSD-сигнал контента, сохраненного в запоминающем устройстве. Альтернативно, GPU 320 может формировать OSD-сигнал согласно пользовательскому вводу или сам по себе. GPU 320 может формировать OSD-изображение на основе OSD-сигнала, принятого или сформированного им самим (GPU 320 формирует OSD-изображение посредством обработки OSD-сигнала, принятого или сформированного им самим, и источник графики не показан как отдельный компонент). OSD-изображение является экранным изображением, которое включает в себя различные объекты, такие как значок, изображение и текст, для различных видов информации, и может включать в себя, например, экранное изображение UI, экранные изображения различных меню и экранное изображение виджета. Однако, примерные варианты осуществления не ограничиваются этим и предоставляются только в качестве примера.
[89] Устройство 300 отображения изображения может хранить OSD-изображение, выведенное из GPU 320, в графическом буфере 345. В отличие от 360°-изображения, OSD-изображение, сохраненное в графическом буфере 345, может быть отображено на дисплее 360 без обработки качества изображения в отношении него.
[90] Например, как показано в нижнем фрагменте на фиг. 5, OSD-изображение 450, выведенное из графического буфера 345, может быть отображено на дисплее 360 вместе с изображением 440 с обработкой качества изображения.
[91] Когда обработка качества изображения выполняется в отношении изображения, полученного посредством синтеза 360°-изображения и OSD-изображения, явление разрушения может возникать на границе между 360°-изображением и OSD-изображением, или первоначальный цвет OSD-изображения может быть испорчен. Соответственно, в примерном варианте осуществления, устройство 300 отображения изображения может хранить 360°-изображение и OSD-изображение, обработанное посредством GPU 320, в отдельных буферах и выполнять обработку качества изображения только в отношении 360°-изображения.
[92] Фиг. 6 является блок-схемой последовательности операций, иллюстрирующей способ работы устройства отображения изображения, согласно примерному варианту осуществления.
[93] Обращаясь к фиг. 6, увидим, что устройство 100 обработки изображения может выполнять графическую обработку в отношении первого изображения, на этапе S510.
[94] Например, первое изображение может быть 360°-изображением, и устройство 100 отображения изображения может наносить декодированное 360°-изображение плоскостного формата на сферу, чтобы формировать 360°-изображение в сферическом формате. Согласно примерному варианту осуществления, сформированное 360°-изображение в сферическом формате может быть представлено посредством RGB-цветового пространства. Кроме того, устройство 100 отображения изображения может извлекать частичную область 360°-изображения в сферическом формате, корректировать искажение частичной области и преобразовывать изображение со скорректированным искажением в изображение, имеющее прямоугольный вид.
[95] Устройство 100 отображения изображения может преобразовывать атрибут первого изображения с графической обработкой, на этапе S520. Например, устройство 100 отображения изображения может преобразовывать цветовое пространство 360°-изображения с графической обработкой из RGB-цветового пространства в YUV-цветовое пространство и сохранять 360°-изображение YUV-цветового пространства в первом буфере. Согласно примерному варианту осуществления, первый буфер может быть видеобуфером.
[96] Устройство 100 отображения изображения может формировать OSD-изображение и сохранять OSD-изображение во втором буфере, на этапе S530.
[97] При этом, OSD-изображение является экранным изображением, включающим в себя различные объекты, такие как значок, изображение и текст, для различных видов информации, и может включать в себя, например, экранное изображение UI, экранные изображения различных меню и экранное изображение виджета. Однако, примерные варианты осуществления не ограничиваются этим и предоставляются только в качестве примера. Сформированное OSD-изображение хранится во втором буфере, и второй буфер может быть графическим буфером.
[98] Устройство 100 отображения изображения может выполнять обработку качества изображения в отношении первого изображения, атрибут которого преобразуется, сохраненному в первом буфере, на этапе S540, согласно примерному варианту осуществления.
[99] Например, первое изображение может быть 360°-изображением, и устройство 100 отображения изображения может оптимизировать кубический эффект и цветовое восприятие изображения, улучшая коэффициент контрастности и цвет 360°-изображения. Альтернативно, устройство 100 отображения изображения может оптимизировать качество изображения, выполняя гамма-коррекцию в отношении 360°-изображения. Кроме того, устройство 100 отображения изображения может улучшать резкость изображения, выполняя обработку резкости в отношении крайнего фрагмента, включенного в 360°-изображение. Кроме того, устройство 100 отображения изображения может сглаживать явление ступенчатости, возникающее в изображении, регулируя разрешение 360°-изображения или выполняя сглаживание согласно различным примерным вариантам осуществления.
[100] Устройство 100 отображения изображения может отображать первое изображение с обработкой качества изображения и OSD-изображение, для которого обработка качества изображения не должна выполняться, на этапе S550.
[101] Способ работы устройства отображения изображения, согласно примерному варианту осуществления, может быть реализован как компьютерные инструкции, которые могут выполняться различными компьютерными средствами и записаны на энергонезависимом компьютерно-читаемом носителе записи. Энергонезависимый компьютерно-читаемый носитель записи может включать в себя команды программы, файлы данных, структуры данных или их сочетание. Команды программы, записанные на энергонезависимом компьютерно-читаемом носителе записи, могут быть специально предназначены и сконструированы для идеи изобретения или могут быть известными и пригодными для использования специалистами в области компьютерного программного обеспечения. Примеры энергонезависимого компьютерно-читаемого носителя включают в себя магнитные носители, такие как жесткие диски, гибкие диски или цифровые универсальные диски (DVD), магнито-оптические носители, такие как флоптические диски, и аппаратные устройства, которые специально конфигурируются, чтобы хранить и выполнять команды программы, такие как ROM, RAM или флеш-память. Примеры программных команд включают в себя код на языке высокого уровня, который может исполняться компьютером с помощью интерпретатора, также как код на машинном языке, созданный компилятором.
[102] Согласно примерному варианту осуществления, обработка качества изображения может быть выполнена в отношении 360°-изображения с графической обработкой, и, таким образом, может быть предоставлено изображение с улучшенным качеством изображения.
[103] Согласно примерному варианту осуществления, 360°-изображение с графической обработкой и OSD-изображение могут быть сохранены в отдельных буферах, и, таким образом, обработка качества изображения не должна выполняться в отношении OSD-изображения и может быть выполнена только в отношении 360°-изображения.
[104] Должно быть понятно, что примерные варианты осуществления, описанные в данном документе, должны рассматриваться только в описательном смысле, а не в целях ограничения. Описания признаков или аспектов в каждом примерном варианте осуществления должны типично рассматриваться как доступные для других аналогичных признаков или аспектов в других примерных вариантах осуществления.
[105] В то время как один или более примерных вариантов осуществления были описаны со ссылкой на чертежи, будет понятно специалистам в данной области техники, что различные изменения в форме и деталях могут быть выполнены в них без отступления от сущности и рамок, которые определены последующей формулой изобретения и ее эквивалентами. Следовательно, рамки настоящего изобретения определяются не подробным описанием примерных вариантов осуществления, а прилагаемой формулой изобретения и ее эквивалентами, и все различия в рамках будут истолковываться как включенные в настоящее изобретение.