СПОСОБ И УСТРОЙСТВО ДЛЯ ФОРМИРОВАНИЯ ЧАСТИЧНЫХ ВИДОВ И/ИЛИ ОРИГИНАЛА СТЕРЕОСКОПИЧЕСКОГО ИЗОБРАЖЕНИЯ ИЗ ДВУХМЕРНОГО ИЗОБРАЖЕНИЯ ДЛЯ СТЕРЕОСКОПИЧЕСКОГО ВОСПРОИЗВЕДЕНИЯ
METHOD AND DEVICE FOR GENERATING PARTIAL VIEWS AND/OR STEREOSCOPIC IMAGE ORIGINAL FROM TWO-DIMENSIONAL IMAGE FOR STEREOSCOPIC PLAYBACK

Изобретение относится к способу и устройству для формирования частичных видов и, при необходимости, оригинала стереоскопического изображения для стереоскопического воспроизведения посредством автостереоскопического устройства воспроизведения. Для этого из двумерного изображения, которое отображает первоначальный вид и первоначальную сцену под углом рассматривания, выводятся несколько других видов, которые называются частичными видами, которые отображают первоначальную сцену под другими углами рассматривания. Из этих других видов, как правило, при необходимости включая первоначальный вид, который также отображает частичный вид, вырабатывается оригинал стереоскопического изображения, который при воспроизведении через автостереоскопическое устройство воспроизведения вызывает у наблюдателя визуальный эффект трехмерного изображения первоначальной сцены.
Изображения реального, трехмерного мира, также как трехмерные сцены и объекты, сформированные математически или искусственно, издавна отображаются на двумерных поверхностях и в форме проекции. При этом теряется глубинная информация, но человек уже с раннего детства умеет реконструировать часть этой информации с помощью своего опыта и знания предмета.
Для того чтобы получить глубинную информацию, из уровня техники известны разные способы регистрации и последующего отображения. Например, одна и та же сцена регистрируется с помощью двух воспринимающих устройств под различными направлениями или уже углами рассматривания. Регистрация у подвижных объектов в сцене должна происходить синхронно. Регистрация может происходить, например, фотографически на пленку или также в цифровом виде с помощью видеокамеры, прибора с зарядовой связью (ПЗС), электронного фотоаппарата или подобного. Различные виды могут вырабатываться математически или искусственно, при этом сцены и объекты регистрируются по меньшей мере из двух направлений, и полученные изображения затем подходящим образом делаются видимыми по отдельности левому и правому глазу человека. Посредством рекомбинации изображений в визуальном аппарате восприятия человеческого мозга у наблюдателя может вырабатываться правильное трехмерное восприятие изображения.
Для воспроизведения стереоскопически зарегистрированных или рассчитанных изображений существуют разные технические решения. При этом классическими для наблюдателя можно назвать фильмоскоп для просмотра стереодиапозитивов. Известными также являются способы для разграничения правового и левого изображения с помощью окрашивания и последующего разделения составных частей посредством использования различных цветовых очковых стекол. Известный издавна способ использует свойство полярности света, при этом различные изображения предлагаются глазам наблюдателя одновременно, но с помощью различных поляризующих устройств и с помощью соответствующих поляризационных фильтров (очков) разделяются перед правым и левым глазом. Для стереоскопического изображения также используют очки затворного типа с электронным управлением, у которых наблюдателю поочередно и с достаточно большой скоростью предлагается правое и левое изображение с помощью технических приборов, при этом в каждом случае на правом или левом очковом стекле поочередно с равной частотой включается черный цвет. При достаточной скорости человеческий зрительный аппарат более не в состоянии раздельно воспринимать отдельные кадры, так что в результате снова возникает впечатление трехмерной общей картины, хотя на оба глаза подается разная информация, содержащаяся в изображении (видах) в различные моменты времени. Способы, функционирующие на основе разных названных очков, имеют преимущество, состоящее в том, что поданную информацию адекватным образом могут одновременно видеть также несколько снабженных очками наблюдателей, при этом использование очков субъективно часто воспринимается как недостаток.
По этой причине были разработаны разные автостереоскопические системы визуализации, которые сегодня относятся к уровню техники. У этих приборов визуализации или воспроизводящих приборов многие изображения представлены из разных положений съемки одновременно перекрытыми и оптически разделяются друг от друга в устройстве, размещенном перед плоскостью изображения таким образом, что глаза наблюдателя в каждом случае могут видеть два разных изображения. На оптоэлектронном дисплее это достигают посредством того, что ограничивается или модифицируется направление излучения для отдельных точек изображений и, таким образом, в ограниченной области наблюдения можно видеть разные кадры из разных направлений. Если угол излучения двух соседних кадров на определенном расстоянии соответствует расстоянию между глазами, то у наблюдателя трехмерное изображение может создаваться и без очков. В качестве устройств для разделения направления излучения, среди всего прочего, известны барьеры, лентикулярные пленки, а также микролинзовые решетки.
Из заявки US 2007/0046899 авторов Шуджи Моро и другие известно дисплейное устройство новой конструкции, у которого излучение отдельных кадров с малыми потерями происходит с помощью отражающего модуля.
Автостереоскопическое отображение в виду требуемого, одновременного отображения нескольких накладываемых кадров, как правило, связано с потерей разрешения точек изображения и во многих случаях (например, при использовании барьеров) также сопряжено с потерей яркости изображения. Кроме того, некоторые автостереоскопические решения имеют недостаток, заключающийся в том, что в каждом случае стереоскопический эффект может воспринимать только отдельный наблюдатель, при этом также используются дорогостоящие системы отслеживания, с помощью которых распознается собственное движение наблюдателя или движение глаз в помещении перед плоскостью изображения и затем компенсируются.
Вышеназванные способы для формирования впечатления трехмерных изображений у людей предполагают, что в каждом случае имеется по меньшей мере два разных вида отображенной сцены или же объектов, которые зарегистрированы или же вычислены с различных направлений. Для регистрации такого рода иллюстративного материала требуются многокамерные системы и соответствующие средства хранения и передачи изображений. Для виртуально формированных сцен эту задачу можно решить, как правило, относительно просто, формируя два вида сцен с различными виртуальными положениями камеры.
Однако существуют уже огромное количество монокулярно отснятого фото и киноматериала в самых разных цифровых и аналоговых форматах, которые относятся к наследию человеческой культуры. Почти вся студийная записывающая аппаратура для содержащейся в изображении информации в такой же степени, как и каналы связи и аппаратура для визуализации, в настоящий момент представлены в информации, содержащейся на записанном монокулярным способом изображении. Удвоение полосы частот, как это было бы необходимо для перехода к стереоскопической содержащейся в изображении информации, частично невозможно технически и едва ли может быть осуществимо экономически.
Как указано, создание разных видов для виртуально формированных сцен посредством многократной визуализации, как правило, не представляет проблемы, так как требуемое разрешение для стереопары является незначительным, то в этом случае не возникает существенно больших затрат на вычисление. Это действительно только для воспроизведения на определенном устройстве воспроизведения и для заданного оптимального расстояния наблюдения автостереоскопического дисплея. Однако остается присутствовать проблематика относительно требуемой повышенной полосы частот при передаче, если воспроизведение должно происходить на любых автостереоскопических устройствах воспроизведения, так как затем должны передаваться кадры с полным разрешением.
Иначе выглядит ситуация при съемках реального мира (кино, телевидение) или же относительно имеющегося фонда, прежде всего кино и видеоматериалов, включая снятые традиционным способом мультипликационные фильмы. Также для уже более старого виртуально созданного материала (компьютерные игры, презентации и т.д.) перевод в стереоскопическую форму является проблематичным.
Наряду с названными трудностями и проблемами, связанными со съемочной техникой и оборудованием, для передачи данных на пути широкого использования стереоскопических методов имеются и другие препятствия. Так, нельзя представить себе современном кино и видеопродукцию без таких оптических и компьютерных эффектов, как наплывы, спецэффекты и смесь из реальности и виртуальной реальности. Эти эффекты основываются не в малой степени на смеси из двухмерного и трехмерного материала. Большая часть способов и инструментов в случае стереоскопического воспроизведения не будет больше использоваться или использоваться очень ограниченно.
Также при экспериментальном применении стереоскопии выяснилось, что наблюдение стереоскопически собранной и автостереоскопически воспроизведенной содержащейся в изображении информации может вызвать проблемы относительно ее восприятия наблюдателем. Причина этих проблем состоит в том, что при стереоскопических съемках снимающий с помощью фокусировки используемой оптики принимает решение, какая плоскость изображения наблюдается или же должна наблюдаться, но снимающий ввиду своего опыта привык фокусировать свой глаз самостоятельно и по своему усмотрению на отдельных объектах или на расстоянии наблюдения. Ввиду этой дилеммы получаемое визуальное впечатление наблюдателя, несмотря на стереоскопически правильное изображение, не соответствует естественному восприятию. Также при длительном просмотре таких последовательностей сцен известно возникновение физиологических, психологический и/или медицинских проблем, например, при аккомодации глаз.
Ввиду названных технических, экономических и других проблем с некоторых пор существует стремление подвергать такой компьютерной обработке традиционную монокулярно отснятую информацию, содержащуюся в изображении, что она посредством стереоскопической аппаратуры отображения может быть отображена с помощью общей формированной дополнительной глубинной информации. Так как реальная глубинная информация отсутствует, эти концепции базируются, прежде всего, на происходящих ранее операциях для обработки изображения и сегментирования изображения, которые могут осуществляться интерактивно либо оператором, либо с помощью комбинированных способов обработки изображения.
В DE 10348618 А1 описан способ, в котором с помощью происходящих ранее интерпретации и сегментирования имеющегося изображения посредством анализа структурного разрешения или имеющихся преимущественно в определенных областях цветовых составных частей, происходит сегментирование на отдельные сопряженные области, которым затем вручную или же интерактивно оператором приданы более или менее произвольно разные значения глубины. При этом основой для сегментирования являются эмпирические правила. В исключительных случаях можно автоматически выводить содержимое из сегментирования и придавать содержимому значения глубины. Но для этого необходимы заданные параметры, ориентированные на содержание.
В описанном способе установленные сегменты приданы отдельным уровням глубины, сплошная постоянная карта глубины для исходного изображения не может быть сформирована. Далее, подъем на передний план или отодвигание на задний план отдельных сегментов изображения ясно привязано к интерпретации содержимого изображения, то есть к объектам, обнаруженным в соответствующей сцене. Так, в DE 10348618 А1 определенно подчеркивается зависящий от содержимого способ сегментирования. Автоматическое распознавание этого содержимого изображения возможно только в особых случаях, если это вообще возможно.
Автоматическое формирование нескольких видов двумерных зарегистрированных первоначальных сцен и/или вытекающего отсюда оригинала стереоскопического изображения невозможно с помощью способов из уровня техники.
Поэтому задачей изобретения является создание способа и устройства, которые автоматически из двумерного (2D) вида первоначальной сцены формируют другие виды первоначальной сцены, которые отображают сцены под различными углами рассматривания или направлениями рассматривания, и из этого, при необходимости, собирают оригинал стереоскопического изображения, что при воспроизведении посредством стереоскопического или автостереоскопического устройства воспроизведения у наблюдателя вызывается как можно более реалистичное трехмерное визуальное впечатление. Способ и устройство, предпочтительно, выполнены так, что отдельные двумерные виды последовательности могут обрабатываться в реальном времени, то есть без человеческого вмешательства во время обработки.
В основе изобретения лежит понимание того, что рецепторы для различных цветовых раздражителей на человеческой сетчатке распределены неравномерно. Поэтому различные оттенки оказывают разное по силе воздействие на пространственное зрение человека. Предлагается способ выработки визуальных данных для воспроизведения, которые вызывают трехмерное визуальное впечатление у наблюдающего человека, содержащий этапы: прием и/или ввод двухмерных визуальных данных первоначального вида, выведение нескольких других видов, которые представляют показанную в первоначальном виде информацию, называемую первоначальной сценой, с различных углов рассматривания. Эти виды, которые отображают первоначальные сцены с различных направлений рассматривания или же углов рассматривания, именуются далее частичными видами. Согласно изобретению предусмотрено, что для каждой точки двумерных отображаемых данных первоначального вида определяются цветовые тона по меньшей мере двух основных цветов цветовой системы, каждой из точек изображения автоматически придается управляющее значение в зависимости по меньшей мере от двух определенных цветовых тонов. При этом каждое из управляющих значений отображает информацию о несоответствии и при выведении нескольких видов, которые отображают различные направления рассматривания первоначальной сцены, представленной двумерными визуальными данными первоначального вида, отдельные точки изображения первоначального вида смещаются по одной точке изображения относительно друг друга в соответствии с вектором смещения, заданным для соответствующего частичного вида и в соответствии с приданным отдельной точке изображения управляющим значением, и с помощью смещенных точек изображения первоначального вида выводятся точки изображения выведенного частичного вида. Решающим является то, что управляющие значения, которые определяют несоответствие отдельных точек изображения в разных видах совместно с векторами смещения, которые определяют изменение угла рассматривания между отдельными видами, выводятся автоматически только в зависимости от отдельных цветовых тонов, которые приданы отдельным точкам изображения первоначального вида. Таким образом, многие частичные виды представленной в первоначальном виде первоначальной сцены могут быть определены без человеческого вмешательства полностью автоматически. Под несоответствием или информацией о несоответствии здесь понимают меру, которая указывает, насколько велико смещение положений изображений того же самого изображенного объекта в различных частичных видах, которые отображают ту же самую первоначальную сцену под различными направлениями рассматривания. Таким образом, создается устройство для формирования визуальных данных для воспроизведения посредством стереоскопического или автостереоскопического устройства воспроизведения, воспроизведение которых с помощью устройства воспроизведения вызывает у наблюдателя визуальный эффект трехмерного изображения, при этом устройство содержит: устройство сопряжения для приема цифровых двумерных визуальных данных первоначального вида и устройство определения областей просмотра для выведения нескольких выведенных частичных видов, которые изображают представленную в первоначальном виде первоначальную сцену в каждом случае под другим углом рассматривания. Согласно изобретению, устройство определения областей просмотра содержит блок определения цветовых тонов, который для каждой из точек изображения первоначального вида определяет цветовые тона по меньшей мере для двух основных цветов цветовой системы, устройство распределения, которое назначает каждой из точек изображения управляющее значение в зависимости от двух вычисленных цветовых тонов, и устройство смещения, которое смещает для каждого из других видов каждую отдельную точку изображения первоначального вида в зависимости от назначенного управляющего значения и заданного для соответствующего вида вектора смещения, и с помощью смещенных точек изображения выводит точки изображения соответствующего частичного вида. Это означает, что с помощью назначенного управляющего значения и вектора смещения для каждой точки определяется видимость и, при необходимости, место видимости и цветовой тон в соответствующем частичном виде, включая соседние точки изображения. Преимущество изобретения состоит в том, что простым образом могут вырабатываться несколько выведенных частичных видов, без необходимости прибегать к вмешательству человека или без потребности в содержимом представленной в первоначальном виде первоначальной сцены. В зависимости от выбора направления рассматривания, или же угла рассматривания, или же положений рассматривания, для которых выводятся отдельные частичные виды, первоначальный вид также отображает частичный вид, которому придан вектор О смещения. Это имеет место в том случае, если одному из частичных видов придано первоначальное направление рассматривания (или же первоначальный угол рассматривания, или же первоначальное положение рассматривания). Также если один из частичных видов идентичен с первоначальным видом, то этот частичный вид также понимается как выведенный частичный вид. Это означает, что выведенные частичные виды могут содержать первоначальный вид, но не обязательно в каждом случае. Во многих случаях все выводимые частичные виды отличаются от первоначального вида.
Отображение полученных визуальных данных происходит, как правило, посредством автостереоскопических устройств воспроизведения. Эти устройства воспроизведения, как правило, снабжаются так называемым оригиналом стереоскопического изображения. Такой оригинал стереоскопического изображения может вырабатываться посредством соединения нескольких выведенных частичных видов, которые, при необходимости, содержат первоначальный вид. Таким образом, предпочтительное усовершенствование предполагает объединять выведенные частичные виды в оригинал стереоскопического изображения. Таким образом, соответствующее устройство содержит объединительный блок для выработки оригинала стереоскопического изображения. Способ, согласно которому несколько выведенных частичных видов, содержащих, при необходимости, первоначальный вид, объединяются в оригинал стереоскопического изображения, зависит от устройства воспроизведения, которое должно применяться. Необходимые для этого данные, как правило, указываются производителем устройства воспроизведения.
В одной форме осуществления управляющие значения для двумерных визуальных данных первоначального вида определятся на центральном месте, например на передающей станции, и назначаются им. Таким образом, на передающей станции осуществляется способ, который содержит этапы: прием и/или сбор двумерных визуальных данных первоначального вида, выведение и назначение управляющего значения каждой точке изображения первоначального вида, при этом для каждой точки изображения двумерных визуальных данных первоначального вида определяются цветовые тона по меньшей мере двух основных цветов цветовой системы, и каждой из точек изображения присваивается управляющее значение в зависимости по меньшей мере от двух определенных цветовых тонов, при этом каждое из управляющих значений отображает информацию о несоответствии.
Затем двумерные визуальные данные переносятся с управляющими значениями на одну или на несколько приемных станций, что указано стрелкой. Понимается, что передача может происходить кодировано в зависимости от маршрута передачи или не кодировано. При кодировании может также выбираться кодировка, которая позволяет обнаруживать ошибки при передаче и при необходимости даже исправлять их.
На приемных станциях осуществляют другие этапы: прием и/или ввод двумерных визуальных данных первоначального вида и присвоенных точкам изображения двумерных визуальных данных управляющих значений, при этом каждое из управляющих значений отображает информацию о несоответствии, и вычисляется для приданной точки изображения двумерных визуальных данных первоначального вида из цветовых тонов по меньшей мере двух основных цветов цветовой системы или автоматически вычисляется из них, выведение нескольких других частичных видов, которые отображают показанную в первоначальном виде информацию с разных углов рассматривания, при этом при выведении нескольких частичных видов, которые отображают различные направления рассматривания представленной посредством двумерных визуальных данных первоначального вида первоначальной сцены, отдельные точки изображения первоначального вида точечно смещаются относительно другу друга в соответствии с заданным для соответствующего частичного вида вектором смещения и в соответствии с приданным отдельной точке изображения управляющим значением, и с помощью смещенных точек изображения первоначального вида выводятся точки изображения соответствующего частичного вида.
Устройство для обработки визуальных данных для формирования визуальных данных для воспроизведения посредством устройства воспроизведения, с помощью которого у наблюдателя вызывается визуальный эффект трехмерного изображения, содержит в такой приемной станции: устройство сопряжения для приема цифровых двумерных визуальных данных первоначального вида, а также управляющих значений, при этом каждой точке изображения точно присвоено управляющее значение, и каждое из управляющих значений отображает информацию о несоответствии, и рассчитывается для приданной точки изображения двумерных визуальных данных первоначального вида из цветовых тонов по меньшей мере двух основных цветов цветовой системы этой приданной точки изображения или автоматически рассчитывается из этих цветовых тонов, устройство определения областей просмотра для выведения нескольких частичных видов, которые отображают представленную в первоначальном виде первоначальную сцену под различными углами рассматривания, и объединительный блок для выработки оригинала стереоскопического изображения из нескольких частичных видов, при этом устройство определения областей просмотра содержит блок смещения, который для каждого из частичных видов смещает каждую из отдельных точек изображения первоначального вида в зависимости от назначенного управляющего значения и от заданного для соответствующего частичного вида вектора смещения, и с помощью смещенных точек изображения выводит точки изображения соответствующего частичного вида.
Передающая станция содержит устройство для обработки визуальных данных для подготовки визуальных данных к воспроизведению посредством устройства воспроизведения, с помощью которого у человеческого наблюдателя вызывается визуальный эффект трехмерного изображения, при этом устройство содержит: устройство сопряжения для приема цифровых двумерных визуальных изображений первоначального вида, блок определения цветовых тонов, который для каждой из точек изображения первоначального вида определяет цветовые тона по меньшей мере для двух основных цветов цветовой системы, а также устройство распределения, которое назначает каждой из точек изображения управляющее значение в зависимости от двух вычисленных цветовых тонов. Предпочтительно, двумерные визуальные данные и присвоенные управляющие значения могут выдаваться или подготавливаться посредством устройства сопряжения для приема двумерных визуальных данных или другого устройства сопряжения, например передающего устройства сопряжения.
В одной предпочтительной форме осуществления вычисляются назначенные отдельным точкам изображения управляющие значения. При усовершенствовании устройства согласно изобретению для этого предусмотрен вычислительный блок. При этом применяют функцию, которая зависит по меньшей мере от двух определенных цветовых тонов в качестве переменных.
В одной предпочтительной форме осуществления функция для вычисления управляющих значений в зависимости от установленных цветовых тонов является функцией, которая имеет экстремальное значение, и является постоянной или же дискретно постоянной, но не должна быть непрерывно дифференцируемой.
Дополнительно к зависимости по меньшей мере от двух определенных цветовых тонов, функция может еще зависеть от значений параметров, которые определяются прибором воспроизведения, с помощью которого должны воспроизводиться формированные визуальные данные. Кроме того, у некоторых форм осуществления заданное оптимальное расстояние наблюдения оказывает влияние на вычисление управляющих значений.
В качестве цветовой системы обозначена система, которая делает возможным характеризовать цвет посредством цветовых тонов отдельных основных цветов. Известной цветовой системой для характеристики цветов является, например, RGB-система (система: красный-зеленый-синий), у которой отдельные цвета создаются посредством прибавления доли красного цвета, доли зеленого цвета и доли синего цвета основных цветов красного, зеленого и синего. При определении цветовых тонов для цвета в каждом случае вычисляется доля отдельного основного цвета, с помощью которой этот основной цвет принимает участие в добавлении цвета. При этом в цветовой RGB-системе для каждого основного цвета определяются, например, цветовые тона в диапазоне от 0 и 100. Цветовые тона указывают процент интенсивности, с помощью которой соответствующий основный цвет входит в добавление цвета. Если у RGB-системы, например, все цвета - красный, зеленый и синий со 100% интенсивностью входят в добавление цвета, то получают белый цвет для человеческого глаза. Если красный и зеленый цвета со 100% интенсивностью и синий цвет с 0% интенсивностью входят в добавление цвета, то получают, например, желтый оттенок.
Прежде всего, если для трехмерного приготовления должны обрабатываться несколько первоначальных видов последовательности изображений, которые затем должны воспроизводиться на том же самом устройстве воспроизведения и рассматриваться на том же самом расстоянии, преимуществом является, если управляющие значения, которые затем исключительно зависят по меньшей мере от двух цветовых тонов, рассчитываются только один раз для всех возможных комбинаций цветовых тонов и записываются в запоминающем устройстве управляющих значений. При назначении управляющих значений отдельным точкам изображения управляющие значения могут затем считываться из запоминающего устройства управляющих значений в зависимости от вычисленных двух цветовых тонов.
В другой форме осуществления управляющие значения рассчитываются в каждом случае индивидуально фактически для каждой точки изображения с помощью функции управляющего значения. Это предлагают тогда, когда визуальные данные должны быть обработаны только для первоначального вида или должны быть обработаны следующие друг за другом визуальные данные различными первоначальными видами, но которые должны рассматриваться на разных направлениях воспроизведения или на различных расстояниях к одному или нескольким устройствам воспроизведения.
m
m
Для того чтобы иметь возможность использовать устройства воспроизведения, которые создают пространственный эффект не только из одного положения рассматривания, является необходимым, чтобы из первоначального вида выводилось более двух видов. В предпочтительной форме осуществления выводится n частичных видов, при этом n≥2, и вектор Vсмещения частичного вида m, приданного частичному виду с m=1, определяется по формуле: V=a*(-1+2*(m-1)/(n-1)), при этом а является константой и, предпочтительно, а=1. В этой форме осуществления вырабатывается одинаковое число частичных видов, которые по отношению к положению первоначального наблюдения, с которого снят первоначальный вид, отображают смещенное влево положение наблюдения, как вырабатываются виды, которые отображают смещенное вправо положение наблюдения по отношению к положению наблюдения, которое выбрано для первоначального вида. Если n - нечетное число, то первоначальный вид отображает один из частичных видов, а именно частичный вид m=(n+1)/2, который, предпочтительно, применяется для вычисления оригинала стереоскопического изображения. Предпочтительным является то, что положения наблюдения смещены по отношению друг к другу в каждом случае на одинаковое расстояние. В описанных предпочтительных формах осуществления это обеспечивается посредством выбора векторов смещения.
Предпочтительно, смещение отдельных точек изображения первоначального вида происходит так, что соответствующие точки изображения смещаются согласно вектору несоответствия, при этом вектор несоответствия рассчитывается для каждой точки изображения в качестве продукта из присвоенного точке изображения управляющего значения и вектора смещения соответствующего вида. Таким образом, вектором несоответствия для каждой точки изображения является оцененный с соответствующим управляющим значением вектор смещения соответствующего вида. Точки изображения первоначального вида обрабатываются построчно отдельно в направлении друг за другом, в котором указывает соответствующий вектор смещения, который придан частичному виду, который выводится. Точки изображения первоначального вида, которые смещаются к положениям, которые (относительно направления обработки) остаются позади положения, к которому уже ранее была смещена точка изображения строки, не учитываются. Причина этого в том, что точки изображения, которые имеют меньшее управляющее значение, чем их соседняя точка изображения, которая расположена относительно направления смещения «перед ними», не видны в формированном выведенном частичном виде, который отображает измененный угол рассматривания по отношению к первоначальному виду. Несоответствие, которое выражено управляющим значением, определяет, таким образом, в сравнении с несоответствиями (управляющими значениями) соседних точек изображения (не обязательно непосредственно соседних точек изображения) также видимость соответствующей точки изображения. Точки изображения, которые становятся невидимыми в одном из частичных видов, соответственно не нуждаются в смещении для этого частичного вида. Это равносильно тому, что соответствующая точка изображения первоначального вида не принимается во внимание. Из смещенных точек изображения затем выводятся точки изображения выведенного вида, частичного вида.
Если управляющие значения являются целыми числами и также значение вектора V смещения является целым числом, то приданные матрице точки изображения, которые имеют вертикальные колонки и горизонтальные строки, при процессе смещения автоматически смещаются к новому положению матрицы, если исходят из того, что расстояние между отдельными положениями матрицы составляет целое кратное расстояние точки изображения, и диапазон управляющего значения и диапазон длины векторов смещения выбраны соответственно. Так как полученное смещение отдельных точек изображения первоначального вида определено исключительно относящимися к точкам изображения управляющими значениями и относящимися к частичному виду векторами смещения, в приданной смещенным точкам изображения структуре или матрице точек изображения могут возникать пустые места, если векторы несоответствия в первоначальном виде соседних точек изображения отличаются друг от друга. Они частично присвоены несмещенным или же неучитываемым точкам изображения первоначального вида, как уже объяснено выше. Но пустые места возникают также, если в направлении обработки управляющее значение точек изображения становится больше. Таким образом, последующая точка изображения смещается на более крупную величину, чем предыдущая точка изображения, так что между ними могут возникать одно или более пустых мест. Пустые места могут заполняться в зависимости от их причины возникновения или посредством цветовых тонов смещенной точки изображения, которая относительно направления смещения расположена перед одним или несколькими пустыми местами структуры точки изображения или матрицы, то есть смещена незначительно или совсем не смещена, чем точка изображения, которая смещена настолько, что одна или несколько точек изображения с незначительным управляющим значением могут рассматриваться как невидимые, и поэтому остается или остаются без внимания или же без смещения и, таким образом, обуславливает или обуславливают одно или нескольких пустых мест.
В другой форме осуществления предусмотрено, что возникшие пустые места в одной строке снабжены цветовыми тонами, которые устанавливаются посредством интерполяции из цветовых тонов при выведении принимаемых во внимание смещенных точек изображения, которые после смещения окружают или же ограничивают пустые места. Если значения векторов несоответствия, образованных из векторов смещения и управляющих значений, не являются целыми числами, то для всех или для большинства точек изображения приданной частичному виду матрицы необходимо установить цветовые тона для отдельных положений матрицы либо с помощью цветовых тонов точки изображения, которая является ближайшей к положению матрицы в соответствующей строке, либо цветовые тона рассчитываются посредством интерполяции из цветовых тонов принимаемых во внимание смещенных точек изображения. Интерполяция может осуществляться линейно или осуществляться вслед за другой заданной функцией. Далее, могут также приниматься во внимание цветовые тона смещенных точек изображения, которые стоят через одно, два места и т.д. Следует отметить, что точкам изображения частичных видов, само собой разумеется, в каждом случае предоставляется полная цветовая информация, которая содержит цветовые тона относительно всех основных цветов цветовой системы.
Однако в каждом случае вычислительные затраты для формирования отдельных выводимых частичных видов первоначального вида последовательности могут удерживаться на таком незначительном уровне, что вычисление нескольких частичных видов может происходить в режиме «Видео/ТВ - реальное время», то есть после необходимой начальной фазы могут вычисляться несколько частичных видов с частотой, равной частоте кадров последовательности изображений. При этом следует обратить внимание, что как отдельные частичные виды могут выводиться параллельно, так и отдельные строки могут обрабатываться построчно, в каждом случае независимо друг от друга. За счет этой параллельности является возможным также при высокой частоте кадров захвата первоначальной области просмотра, которые подлежат обработке, вычислять требуемые выводимые частичные виды для определения оригинала стереоскопического изображения с помощью тактовой частоты кадров при воспроизведении последовательности изображений.
Так как доступ к двумерным визуальным данным при выведении частичных видов и управляющих значений, как правило, осуществляется многократно, в некоторых формах осуществления они записываются в первой области памяти. Таким же образом в некоторых формах осуществления предусмотрено записывать рассчитанные частичные виды или по меньшей мере их части во вторых областях памяти.
Отдельные блоки устройства для формирования требуемых визуальных данных предпочтительно реализуются посредством вычислительных блоков, управляемых с помощью программного обеспечения. Таким же образом возможно интегрировать отдельные блоки в один или несколько блоков программируемых вентильных матриц. Другая форма осуществления снова предусматривает, что специализированная интегральная микросхема реализует отдельные блоки, при этом визуальные данные первоначального вида, а также при необходимости значения параметров зависят от приборов или же от расстояния наблюдения, могут передаваться по каналам передачи данных и формированные визуальные данные выдаваться по каналам передачи данных. При этом могут быть реализованы формы осуществления, у которых первая область памяти и вторые области памяти могут быть интегрированы в специализированную интегральную микросхему или также могут находиться в одном запоминающем устройстве, которое соединено со специализированной интегральной микросхемой. Таким же образом дело обстоит с запоминающим устройством управляющих значений, которое, однако, реализовано, предпочтительно, в специализированной интегральной микросхеме.
Далее изобретение более подробно объяснено с помощью предпочтительного примера осуществления со ссылкой на чертеж. Показано на:
Фиг.1 - схематичный процесс обработки визуальных данных двумерного изображения для переработки и отображения в виде трехмерного изображения,
Фиг.2 - схематичное изображение для объяснения смещения по одной точке изображения точек изображения для формирования выводимых частичных видов,
Фиг.3 - схематичное изображение устройства для переработки двумерного изображения для трехмерного отображения,
Фиг.4 - другая форма осуществления схематичного отображения устройства для переработки двумерного изображения для трехмерного отображения,
Фиг.5 - схематичное изображение для объяснения оптимальной обработки двумерных изображений для трехмерного отображения,
Фиг.6а-6в - примерные матрицы распределения для объединения частичных видов в оригинале стереоскопического изображения, и
Фиг.7 - схематичное изображение способа, в которого двумерным визуальным данным в передающей станции назначаются управляющие значения, и на приемных станциях из принятых двумерных визуальных данных первоначального вида вместе с принятыми управляющими данными выводятся частичные виды и объединяются в оригиналы стереоскопического изображения.
На фиг.1 схематично изображен способ 1 обработки двумерных визуальных данных первоначального вида 2. Сначала двумерные визуальные данные принимаются в форме дисплейного файла, регистрируются или записываются. Дисплейный файл двумерных визуальных данных содержит оцифрованные точки изображения первоначального вида 2, который отображает первоначальную сцену. В случае с принятыми двумерными визуальными данными речь идет предпочтительно о цветных двумерных визуальных данных. Для каждой точки изображения первоначального вида 2 имеется в распоряжении цветовая информация. Например, в распоряжении имеются в совокупности 24 бита для кодировки цвета, при этом в каждом случае 8 бит применяют для кодировки цветового тона в цветовой системе RGB. Однако принятые двумерные визуальные данные имеют кодировку оттенков серого, при этом каждой точке изображения придана серая шкала.
В случае принятых двумерных визуальных данных речь может идти о визуальных данных отдельного изображения, которое происходит от носителя 3 данных, или о виде последовательности 4 изображения, которая подготавливается приемным/воспроизводящим устройством 5. Приемное/воспроизводящее устройство 5 может, например, быть телевизором, видеомагнитофоном, ДВД-плейером или другим устройством воспроизведения.
Двумерные визуальные данные обрабатываются на этапе обработки, которая также называется устройством 6 определения областей просмотра, для выведения отсюда нескольких частичных видов 7-1, 7-2, 7-3, 7-4. Несколько выведенных частичных видов 7-1 - 7-4 имеют в каждом случае то же самое количество точек изображения, что и первоначальный вид, представленный посредством двумерных визуальных данных. Если при желаемом трехмерном воспроизведении по отношению к первоначальному виду 2 желаемым является изменение формата, разрешения и т.д., то первоначальный вид согласовывается до обработки, так что это условие является действительным для этого согласованного первоначального вида и вытекающих из него частичных видов.
Каждый из выведенных частичных видов 7-1 - 7-4 отображает представленную посредством первоначального вида 2 первоначальную сцену из другого положения рассматривания, или же другого угла рассматривания, или другого направления рассматривания. Посредством устройства 6 определения областей просмотра для каждой точки изображения первоначального вида 2 сначала определяются два цветовых тона основных цветов цветовой системы. В изображенном здесь примере осуществления, в котором в распоряжении имеются двумерные визуальные данные первоначального вида в форме дисплейного файла в кодировке RGB, соответствующие цветовые тона, например для основных цветов красного и синего каждой точки изображения, могут просто считываться из двумерного дисплейного файла. Если двумерный дисплейный файл создан в другой цветовой системе или в значениях серой шкалы, то, при необходимости, цветовые тона рассчитываются. Предпочтительно, пересчет цветовых тонов происходит в цветовую систему RGB. Для перерасчета кодировки оттенков серого в кодировку RGB или для перерасчета из одной цветовой системы в другую цветовую систему в уровне техники существуют известные инструкции о проведении расчета.
Точкам изображения первоначального вида 2 с помощью вычисленных цветовых тонов индивидуально приданы управляющие значения 8. Управляющие значения 8 в каждом случае отображают информацию о несоответствии, которая в последующем процессе обработки определяет, насколько велико будет несоответствие для соответствующей точки изображения в отдельных выведенных частичных видах 7-1 - 7-4 относительно первоначального вида 2 или же между отдельными выведенными частичными видами 7-1 - 7-4. Если снять реальную сцену с двух легко смещающихся относительно друг друга положений, то можно установить, что точки изображения, которые изображают один и тот же объект и имеют большое несоответствие между обеими съемками, часто «перекрывают» точки изображения объектов, которые имеют только незначительное несоответствие. Таким образом, управляющие значения 8 регулируют также видимость отдельных точек изображения первоначального вида 2 в выведенных частичных видах 7-1 - 7-4, как будет объяснено ниже.
m
m
m
m
Отдельные точки изображения двумерных дисплейных данных могут быть приданы пиксельной матрице, которая имеет вертикальные колонки и горизонтальные строки. Для того чтобы формировать отдельные выведенные частичные виды 7-1 - 7-4, двумерные визуальные данные первоначального вида 2 многократно обрабатываются построчно для формирования в каждом случае строки точек изображения для нескольких выведенных частичных видов. При этом каждая строка в каждом случае обрабатывается так часто, как формируются выведенные частичные виды. (Если один из выведенных частичных видов вследствие заданных параметров относительно направлений рассматривания, приданных частичным видам, идентичен первоначальному виду, то, разумеется, может быть сэкономлена обработка строки изображения.) В изображенном примере осуществления, в котором формируются или же выводятся четыре выведенных частичных вида 7-1 - 7-4, каждая строка первоначального вида 2 обрабатывается четырехкратно. При этом в каждом случае исходят от строки изображения первоначального вида 2. Каждому из выводимых частичных видов 7-1 - 7-4 придан вектор V смещения, при этом m указывает на индекс соответствующего вида, то есть m=1.... n и n указывает на количество выведенных видов. Выведенные виды 7-1 - 7-4 отображают в каждом случае первоначальную сцену, отображенную посредством первоначального вида 2 при рассмотрении с различных положений рассматривания. Эти положения рассматривания рассчитаны или рассчитываются в каждом случае в равном количестве равноудаленно симметрично справа и слева по отношению к направлению рассматривания, от которого снят первоначальный вид. Смещение положения рассматривания относительно направления рассматривания первоначального вида в каждом случае представлено вектором V смещения, который придан соответствующему частичному виду. При симметричном распределении на равном расстоянии положений рассматривания для выводимых частичных видов получают инструкцию о проведении расчета для вектора смещения V=a*(-1+2*(m-1)/(n-1)), при этом а является константой и предпочтительно выбрано равной 1. Вектор V смещения, приданный соответствующему частичному виду m, взвешивается или масштабируется для того, чтобы определять вектор несоответствия для каждой отдельной точки изображения первоначального вида 2 при построчной обработке. Таким образом, для каждой точки изображения первоначального вида 2 определяются так много векторов несоответствия, как обрабатывается частичных видов. В то время как управляющие значения в каждом случае имеют один и тот же символ, возникают как положительные, так и отрицательные вектора смещения. При этом символ вектора смещения ассоциируется с направлением смещения. Внутри строки точки изображения положительный символ ассоциируется с направлением, которое указывает слева направо, и отрицательный символ соответственно ассоциируется с направлением, которое указывает справа налево. Отдельные точки изображения строки обрабатываются соответственно тому направлению, которое задано посредством направления вектора смещения для соответствующего частичного вида. Если вектор смещения положителен, то точки изображения строки обрабатываются слева направо в соответствии с соответствующим вектором несоответствия. При этом следует обратить внимание, что те точки изображения, вектор несоответствия которых имеет длину, которая меньше, чем длина ранее обработанной точки изображения, не видимы ввиду несоответствия в соответствующем вычисляемом частичном виде и поэтому не смещаются или же не учитываются для выведения точек изображения соответствующего частичного вида. Это также означает, что точки изображения, вектор несоответствия которых присвоил бы им новое положение, которое уже занято ранее смещенной точкой изображения с более крупным вектором несоответствия, не видимы и поэтому не смещаются или не учитываются. Так как это не только может возникнуть относительно непосредственно предварительно обработанной точки изображения, в целом является действительным, что точка изображения, которая сместилась бы с вектором несоответствия к положению, которое остается позади положения относительно направления обработки, к которому уже ранее была смещена точка изображения строки, не смещается или не учитывается при выведении точек изображения для соответствующего частичного вида.
В одной форме осуществления значения векторов несоответствия округлены до целых чисел, так что смещенные точки изображения могут ассоциироваться с точками изображения матричного растра выводимого частичного вида. Смещенные точки изображения отображают непосредственно выведенные точки изображения частичного вида.
Так как векторы несоответствия первоначально (не обязательно непосредственно) соседних точек изображения первоначального вида могут сильно отклоняться друг от друга, как указано выше, между смещенными точками изображения, которые учитываются при выведении точек изображения частичного вида, в ассоциированном с соответствующим частичным видом матричном растре возникают промежутки или же пустые места. В одной форме осуществления эти пустые места заполняются цветовыми тонами, которые соответствуют точке изображения, учитываемой и ранее смещенной относительно направления обработки строки. В другой форме осуществления цветовые тона пустых мест рассчитываются посредством интерполяции учитываемых соседних цветовых тонов.
Вместо округления длин векторов несоответствия до целых чисел, цветовые тона для отдельных точек изображения, также из учитываемых смещенных точек изображения, положение которых затем не точно соответствует положениям точек изображения матричного растра частичного вида, рассчитываются посредством интерполяции с точностью до фрагментов пикселя. Точки изображения строки могут в каждом случае вычисляться независимо от точек изображения в соседних строках. Таким же образом могут выводиться точки изображения различных формируемых выведенных частичных видов 7-1 - 7-4 синхронно независимо друг от друга из точек изображения визуальных данных, которые отображают первоначальный вид 2. Благодаря этому является возможным синхронизировать также по времени вычисление отдельных выведенных частичных видов 7-1 - 7-4. Таким образом, является возможным даже у форматов изображения с высоким разрешением с высокой частотой кадров вычислять многие выведенные частичные виды 7-1 - 7-4 в реальном времени, то есть с частотой кадров.
Отдельные рассчитанные строки точек изображения выведенных частичных видов 7-1 - 7-4 в описанной здесь форме осуществления в каждом случае сохраняются в соответствующие памяти изображения. Для того чтобы обеспечить воспроизведение посредством стереоскопического устройства 9 воспроизведения, несколько выведенных видов 7-1 - 7-4 объединяются в один оригинал стереоскопического изображения на так называемом рекомбинационном этапе 11, который передается на стереоскопическое устройство 9 воспроизведения.
Следует снова отметить, что у первоначального вида перед обработкой, то есть перед выводом нескольких видов, изменяется масштаб на формат воспроизведения, если разрешение устройства воспроизведения отличается от разрешения первоначального вида. Это не изображено на фиг.1, но может быть предусмотрено факультативно.
lim
lim
1im
1im
Управляющие значения 8 в предпочтительной форме осуществления рассчитываются согласно функции, которая зависит от синей и красной цветовой составной части точек изображения. Функция имеет экстремум, который возникает при значении красного цвета R и при значении синего цвета В. Значения красного и синего цветов R, В, на которых возникает максимум управляющей функции, обозначаются как предельное значение красного цвета и предельное значение синего цвета. Сначала вычисляются абсолютные значения разниц цветового тона и соответствующего предельного значения цвета. Управляющее значение определено посредством более крупного из этих абсолютных значений, разделенного на нормировочную константу. Если абсолютное значение цветового тона красного компонента точки изображения первоначального вида 2, уменьшенного на предельное значение красного цвета, является большим, чем абсолютное значение цветового тона синего компонента, уменьшенного на предельное значение синего цвета, то управляющее значение определяется посредством абсолютного значения разницы красного цветового тона и предельного значения красного цвета, если, напротив, абсолютное значение цветового тона синего компонента, уменьшенное на предельное значение синего цвета, является большим, чем абсолютное значение цветового тона красного компонента, уменьшенного на предельное значение красного цвета, то управляющее значение определяется посредством абсолютного значения разницы синего цветового тона и предельного значения синего цвета. Абсолютные значения соответствующих разниц в каждом случае унифицированы посредством общего коэффициента.
Обобщенно действительно:
1
2
1
2
Пусть f и f являются цветовыми тонами точки изображения относительно двух основных цветов, то управляющее значение S(f,f) рассчитывается по следующей формуле:
1
2
1
1
1
1
2
2
1im
lim
lim
S(f,f)=(|f-f | /konst.), если |f-f |>=|f-f | и
1
2
2
2
lim
S(f,f)=(|f-f |/konst.), в противном случае,
1
2
1
2
1
2
1im
1im
при этом konst. обозначает нормировочную константу и f  и f  являются предельными значениями основных цветов, на которых управляющая функция S(f,f) имеет экстремум. Функция является постоянной по поверхности цветовых тонов f и f. При подходящем выборе цветовой системы управляющие значения зависят точно от двух цветовых тонов.
Так как управляющие значения остаются неизменными для нескольких наборов визуальных данных, которые отображают различные первоначальные виды последовательности изображений, управляющие значения могут записываться в одном запоминающем устройстве управляющих значений и считываться из него, и должны только один раз рассчитываться для соответствующей последовательности изображений. Если применяемое устройство воспроизведения и желаемое оптимальное расстояние наблюдения для различных последовательностей изображений остаются постоянными, то управляющие значения должны рассчитываться только один раз.
Со ссылкой на фиг.2 объясняется, как смещаются отдельные точки 21-k (k=1,2,…) изображения первоначального вида строки 22, чтобы формировать точки 23-1 (l=1,2…) изображения строки 24 частичного вида. Первые восемь точек 21-1-21-8 изображения на этапах S1-S8 обработки уже были смещены к смещенным точкам 23-1 - 23-8 изображения. Для этапов S9-S18 обработки в каждом случае изображено, как смещаются отдельные точки изображения на отдельных этапах или не смещаются и не учитываются. Отдельные точки 21-k изображения изображены в виде клеточек, при этом их цвет, определяемый отдельными цветовыми тонами, схематично обозначен штриховкой. Отдельным точкам 21-k изображения строки 22 изображения первоначального вида присвоены отдельные управляющие значения 23. Точка 21-9 изображения, которой присвоено управляющее значение с величиной 6, должна смещаться на этапе S9 процесса. Точки 21-1-21-8 изображения, которым в каждом случае присвоено управляющее значение 0, уже смещены. Подлежащий смещению пиксель 21-9 смещается направо на шесть мест точек изображения в строке 24 изображения формируемого вида и, таким образом, отображает точку 25-15 изображения частичного вида. Между точкой 25-15 изображения формированного частичного вида, установленной на этапе S9 процесса, и точкой 25-8 изображения формированного частичного вида, установленной при смещении точки изображения первичного вида, возникли пустые места 25-9 - 25-14. Эти пустые места заполнены цветовым тоном, который соответствует точке изображения, которая определена перед фактически смещенной точкой 25-15 изображения, а именно точке 25-8 изображения. Это схематично изображено в строке 24' изображения, заключенной в скобки на этапе S9' процесса. На последующих этапах S10 процесса точки изображения первоначального вида 21-10 и 21-11, которым в каждом случае присвоено управляющее значение с величиной 6, смещаются в точки 25-16 изображения или же 25-17. На следующем за этим этапе S 12 обработки точке 21-12 присвоено управляющее значение с величиной 2. Если бы эту точку 21-12 изображения сместили на два места точек изображения, то была бы перезаписана уже установленная точка изображения, а именно точка 25-14 изображения. Так как точки, которые имеют меньшее управляющее значение, чем ранее обработанные точки изображения, которые имеют управляющее значение с величиной 6, эта точка 21-12 изображения в некотором роде перекрывается в соответствующем виде ввиду несоответствия. Таким образом, эта точка 21-12 изображения не смещается или же не учитывается при определении цветовых тонов для точек изображения формируемого частичного вида. То же самое происходит в последующих этапах S13-S17 обработки, на которых точки 21-13 - 21-17 изображения, которым в каждом случае присвоено управляющее значение с величиной 0, смещаются до уже определенной ранее точки изображения формируемого вида. На этапе S18 обработки применяется точка 21-18 изображения, которой присвоено управляющее значение с величиной 0 и смещается на 0 мест точек изображения и, таким образом, определяет точку 25-18 изображения формируемой строки 24 соответствующего частичного вида.
Альтернативно заполнению пустых мест цветовыми тонами, которые соответствуют ранее смещенной точке изображения, как это схематично изображено на этапе 9 процесса или же 9', пустые места могут производиться также посредством интерполяции цветовых тонов, здесь, например, точек изображения 25-8 и 25-15. В представленном примере исходят из того, что управляющие значения или же точнее значения векторов несоответствия, которые формированы посредством умножения управляющего значения на соответствующий вектор смещения, округлены до целочисленного значения. В других формах осуществления может осуществляться интерполяция цветовых тонов, так как точки изображения первоначального вида затем смещаются не на точное количество мест или же расстояний между точками изображения.
Следует отметить, что смещение точек изображения относительно матричного растра только в таких случаях дает в итоге непосредственно точки изображения выведенного частичного вид, в которых векторы несоответствия, использованные при смещении, округлены до целых чисел относительно своей длины (в случае если они и так уже имеют целочисленную длину), и целым числам приданы смещения на целые шаги матрицы. В других случаях смещенные точки изображения образуют структуру точек изображения, которая при упущении из вида возможно имеющихся «пустых мест» или же точек изображения, не учитываемых при смещении, не обязательно должна иметь матричную структуру. Эта структура точек изображения отображает в некотором роде «промежуточную матрицу», с помощью которой вычисляется собственная матрица точек изображения частичного вида. Это означает, что с помощью цветовых тонов структуры точек изображения (промежуточная матрица) вычисляются точки изображения матрицы точек изображения частичного вида.
На фиг.3 схематично показано устройство 31 обработки визуальных данных для формирования визуальных данных для трехмерного воспроизведения. Устройство выполнено для того, чтобы использовать цветовые данные двумерного изображения и при необходимости объединять эти частичные виды в оригинал стереоскопического изображения. За счет устройства 32 сопряжения визуальные данные первоначального вида, а также, при необходимости, параметры принимаются и регистрируются посредством устройства воспроизведения и/или оптимального расстояния наблюдения до устройства воспроизведения. Устройство 32 сопряжения соединено с центральным блоком 33 процессора, который, в свою очередь, соединен с запоминающим устройством 34. Запоминающее устройство 34 содержит область 35 программного запоминающего устройства 35, в которую записывается программный код, посредством которого управляют принципом и режимом работы центрального блока 33 процессора. Область 35 программного запоминающего устройства может содержать как операционную систему, так и прикладное программное обеспечение, которое управляет собственно обработкой визуальных данных. Далее запоминающее устройство 34 содержит первую область 36 запоминающего устройства, в которой записываются визуальные данные, принятые посредством устройства 32 сопряжения. Если визуальные данные записываются, например, в форме 24-битового RGB-сигнала, то для каждой точки изображения резервируется память. Это означает, что для каждого из трех основных цветов красного, зеленого и синего в каждом случае резервируется 8 бит. Кроме того, преимуществом считается резервирование в первой области запоминающего устройства для каждой точки изображения дополнительного количества бит, например 8 бит, в которых позднее может записываться присвоенное управляющее устройство.
Реализованный в блоке 33 процессора программный код выполнен так, что с помощью двух цветовых тонов, например с помощью цветовых тонов для основных цветов красного и синего, с помощью управляющей функции могут вычисляться управляющие значения. В предпочтительной форме осуществления вычисляются управляющие значения для всех возможных комбинаций цветовых тонов и записываются в области 37 памяти управляющих значений запоминающего устройства 34. Управляющая функция может дополнительно еще зависеть от параметров, которые зависят от соответствующего устройства воспроизведения, для которого формируются несколько частичных видов первоначального вида или оригинал стереоскопического изображения. Дополнительно, в качестве параметра в управляющую функцию может входить оптимальное расстояние наблюдения от устройства воспроизведения. Но так как эти параметры являются постоянными для всех видов последовательности изображений, например, видео- или телевизионного сигнала, то преимуществом является однократное вычисление управляющих значений для всех возможных комбинаций и запись в область 37 памяти управляющих значений запоминающего устройства 34 вместо отдельного, в каждом случае фактического вычисления управляющих значений, если эти отдельные точки изображения должны присваиваться, как это уже было объяснено выше.
Помимо этого, программный код может быть образован так, что для отдельных точек изображения первоначального вида, которые записаны в первой области 36 запоминающего устройства, в каждом случае вычисляются по меньшей мере два цветовых тона, предпочтительно основной цвет красный и основной цвет синий. У описанной формы осуществления, у которой точки изображения передаются в RGB-кодировке, должны записываться только 8-битовые области памяти, которые присвоены обоим основным цветам. С помощью сохраненных там значений, которые отображают цветовые тона для обоих основных цветов, теперь из области 37 памяти управляющих значений может записываться соответствующее управляющее значение и присваиваться соответствующей точке изображения. Это значение может затем, например, записываться в зарезервированных для этого битах первой области 36 запоминающего устройства. Альтернативно, является возможным выполнить область 37 памяти управляющих значений таким образом, что цветовые тона, уже имеющиеся в наличии в RGB-кодировке, которые участвуют в вычислении управляющего значения, сами применяются в качестве векторных значений в матричной организации памяти области 37 памяти управляющих значений. На последующем этапе процесса формируются заданные векторы смещения для нескольких подлежащих формированию частичных видов, то есть подлежащие выводу виды, которые отображают первоначальную сцену, изображенную в первоначальном виде с различных направлений рассматривания.
Теперь строки изображения первоначального вида обрабатываются построчно однократно для каждого частичного вида. В зависимости от символа вектора смещения строки точек изображения обрабатываются либо слева направо, либо справа налево, при этом исходят из того, что точки изображения организованы в горизонтальных строках и вертикальных колонках. Устройство обработки в каждом случае определено посредством направления соответствующего вектора смещения.
Как было сказано выше, из вектора смещения и управляющего значения, присвоенного соответственно точке изображения, в каждом случае образуется вектор несоответствия, и точка изображения смещается относительно первоначального вида в формированном частично виде согласно вектору несоответствия. При этом в некоторых формах осуществления может быть предусмотрено, что значение вектора несоответствия в каждом случае округлено до целочисленного значения, так что смещение на целые шаги растра в матричном растре происходит на точках изображения. Точка изображения в каждом случае смещается на целые блоки колонок. В других формах осуществления смещение допускается и осуществляется не на целочисленные положения внутри колонки и затем для определения цветовых тонов на отдельных местах растра строки изображения осуществляется интерполяция цветового тона.
Как было сказано выше, смещаются и учитываются только те точки изображения в формируемом частичном виде, которые смещаются в направлении обработки позади положения (то есть далее), чем ранее смещенная точка изображения. В противном случае соответствующая точка изображения учитывается не в частичном виде. Возникающие пустые места, которым не присвоена точка изображения при смещении, заполняются либо цветовыми тонами, которыми обладает точка изображения, смещенная ранее менее далеко или при необходимости на нулевую величину, или которые определяет с помощью интерполяции цветовых тонов точек изображения, которые расположены смежными (но не обязательно непосредственно смежными) с пустыми местами внутри строки. Интерполяция может осуществляться линейно или следуя другой заданной функции. Далее могут также дополнительно учитываться цветовые тона смещенных точек изображения, которые расположены следующими после следующих и т.д. Так как отдельные строки частичного вида, а также те же строки различных частичных видов могут вычисляться независимо друг от друга, является возможным осуществлять частично или полностью параллельную обработку изображения. Благодаря этому можно добиться ускорения обработки изображения.
Отдельные сформированные частичные виды первоначальной сцены записываются во вторых областях 38 памяти запоминающего устройства 34. Если вычислено нечетное число частичных видов, то, как правило, один из частичных видов идентичен первоначальному виду. В некоторых формах осуществления соответственным образом первоначальный вид однократно копируется во вторую область 38 памяти. В некоторых формах осуществления частичные виды, сохраненные во вторых областях 38 памяти через устройство 32 сопряжения или последующее устройство 39 сопряжения, передаются для последующей обработки и/или записи в память. Но в предпочтительной форме осуществления частичные виды, записанные во вторых областях 38 памяти, объединяются в оригинал стереоскопического изображения, который промежуточно сохраняется в запоминающем устройстве 40 оригинала стереоскопического изображения. Это объединение, которое зависит от устройства воспроизведения, которое должно применяться, может осуществляться с программным управлением с помощью центрального процессорного устройства. Однако предпочтительными являются формы осуществления, у которых графический процессор 41 вычисляет оригинал стереоскопического изображения с помощью частичных видов, записанных во вторых областях 38 памяти, и происходит передача оригинала стереоскопического изображения через другое устройство 39 сопряжения.
В последующем на примере вкратце объясняется, как из частичных видов вырабатывается оригинал стереоскопического изображения. Со стороны производителя индикаторного устройства, посредством которого воспроизводится оригинал стереоскопического изображения, как правило, предоставляется необходимая информация для осуществления объединения, В представленном примере исходят их того, что устройство 24 воспроизведения может передавать различную информацию, содержащуюся в изображении, в каждом случае в разные направления рассматривания. В описанном здесь случае в качестве оригиналов для трехмерного воспроизведения используют только четыре различных кадра. Так как информация должна передаваться во всех направлениях рассматривания, одна и та же информация передается во многие из пространственных направлений.
Изготовитель устройства воспроизведения для этого показательного примера указал три матрицы распределения, которые в каждом случае указывают три основных цвета - красный, зеленый, синий цветовой системы RGB, как соответствующий цветовой тон соответствующего основного цвета для отдельных точек изображения следует из цветовых тонов точек изображения частичного вида. Три матрицы распределения для основных цветов зеленого, синего и красного изображены соответственно на фиг.6а-6в. Матрицами распределения соответственно являются 8×12-матрицы. Отдельные значения ячеек матрицы в каждом случае указывают на индекс, присвоенного одному из четырех частичных видов. Таким образом, частичному виду m=1 в матрице присвоено значение 1 индекса и т.д.
Для дальнейшего объяснения предполагают, что точки изображения в частичных видах и формируемом оригинале стереоскопического изображения в каждом случае индексируются посредством индексной пары (х, y), при этом х указывает положение внутри строки, а y - саму строку. Точка изображения оригинала стереоскопического изображения представлена выражением:
RBV
Точка изображения[х,y].
Цветовой тон основного цвета «основной цвет» точки изображения представлен выражением:
RBV
Точка изображения[х,y]. основной цвет,
при этом в цветовой системе RGB «основной цвет» может принимать значения «красный», «зеленый» или «синий». Значения матриц распределения индексируются посредством индексной пары (i,j), при этом i указывает на положение внутри строки и j - на строку матрицы распределения. Три цветовых тона точки изображения, индексированные с помощью индексной пары (х,y) оригинала стереоскопического изображения получаются в форме записи псевдокомпьютерного кода согласно следующим формулировкам:
RBV
TA(m)
Точка изoбpaжeнияt[x,y]:=точка изображения [х,y]. красный, где m=матрица распределения Красный [i,j],
при этом i=х по модулю 8 и j=х по модулю 12,
или сокращенно
RBV
TA(матрица распределения КРАСНЫЙ[x по модулю 8, у по модулю 12])
Точка изображения[х,y].красный:=точка изображения[x,y]. красный,
TA
при этом точка изображения(m)[x,y]. основной цвет задает цветовой тон для основного цвета «основной цвет» точки изображения частичного вида m, индексированного с помощью индексной пары [х,y]. Для других основных цветов в сокращенной форме записи действительно следующее:
RBV
TA(матрица распределенияЗЕЛЕНЫЙ[x пр модулю 12)]
Точка изображения[х,y].зеленый:=точка изображения[x,y]. зеленый
RBV
TA(матрица распределения СИНИЙ[x по модулю 12])
Точка изображения[х,y].синий:=точка изображения[x,y].синий
Форма записи «а по модулю b» (часто также "a mod b") определяется здесь посредством следующей инструкции о порядке составления расчета или калькуляции:
<mrow><mi>b</mi><mo>:</mo><mo>=</mo><mi>a</mi><mo>−</mo><mrow><mo>⌊</mo><mrow><mfrac><mi>a</mi><mi>b</mi></mfrac></mrow><mo>⌋</mo></mrow><mo>⋅</mo><mi>b</mi></mrow>
а по модулю
,
<mrow><mrow><mo>⌊</mo><mi>c</mi><mo>⌋</mo></mrow></mrow>
при этом а - действительное число и b - натуральное число больше нуля и
- гауссовы скобки, которые задают для действительного числа с наибольшее целое число, которое меньше или равно числу с, то есть
<mrow><mrow><mo>⌊</mo><mi>c</mi><mo>⌋</mo></mrow><mo>:</mo><mo>=</mo><mi>м</mi><mi>а</mi><mi>к</mi><mi>с</mi><mo stretchy="false">(</mo><mi>k</mi><mo stretchy="false">)</mo></mrow>
.
k∈Z, k≤c
Так как для индексирования применяемых значений для х и y в вышеуказанных формулах в каждом случае целые числа больше или равны нулю, также может применяться инструкция о порядке составления расчета или калькуляции,
а по модулю b:=a-b·(a div b),
при этом (а div b) задает соотношение а/b, округленное до нуля.
Применение вышеуказанных формул означает, что, например, цветовые тона точки изображения вверху слева, для которой х=0 и y=0 определяются следующим образом:
RVB
RBV
TA1
TA1
Из матрицы распределенияКРАСНЫЙ выводят значение матрицы распределенияКРАСНЫЙ[0,0]=1. Это означает, что красный цветовой тон точки изображения[0,0]. красный точки изображения точка изображения[0,0] оригинала стереоскопического изображения задан посредством красного цветового тона точка изображения [0,0] точки изображения точка изображения[0,0] частичного вида m=1, которая придана индексной паре (х,y=(0,0). Зеленый цветовой тон определяется посредством зеленого цветового тона той же точки изображения также из частичного вида m=1. (Обратить внимание на m[х,y]=матрица распределенияОСНОВНОЙ ЦВЕТ[i,j] с I=х по модулю 8 и j=y по модулю 12)). Для цветового тона основного цвета синий определяется посредством синего цветового тона точки изображения к индексной паре (0,0) частичного вида m=0 (m=Матрица распределенияСИНИЙ[0,0]=2).
Так как матрицы распределения меньше, чем кадры или оригинал стереоскопического изображения, значения ячеек матрицы применяются периодически. Матрицу распределения, которая имеет размер кадра или оригинал стереоскопического изображения, можно достичь посредством расположения рядов, расположенных рядом и друг над другом соответствующей матрицы распределения. Математически это можно описать с помощью указанных функций mod. Для индексов х>7 и/или y>11 посредством соответствующих инструкций достигают i=x по модулю 8 и j=y по модулю 12, что соответствующий индекс кадра этой виртуально увеличенной матрицы может считываться непосредственно из данной матрицы распределения.
На фиг.4 схематично изображена другая форма осуществления устройства 51 для обработки визуальных данных. В этой форме осуществления отдельные функциональные блоки частично или полностью образованы в аппаратных средствах, например, посредством программируемой вентильной матрицы (FPGA) или ориентированной на применение специализированной интегральной схемы (ASIC). Посредством устройства 52 сопряжения принимаются визуальные данные первоначального вида и при необходимости другие параметры и записываются в первой области 53 запоминающего устройства. Затем с помощью устройства 54 определения областей просмотра формируются частичные виды. С помощью вычислительного блока 55 вычисляют управляющие значения и записываются в области 56 памяти управляющих значений. Устройство 57 определения цветовых тонов вычисляет для каждой из точек изображения два цветовых тона двух основных цветов цветовой системы. Для этого может быть необходимо пересчитать цветовую информацию точки изображения одной цветовой системы в другую цветовую систему. С помощью вычисленных цветовых тонов устройством 58 распределения соответствующей точке присваивается управляющее значение области 56 памяти управляющих значений. Присвоенное управляющее значение может, например, таким же образом записываться в области 53 памяти, затем, как было указано выше, устройство 59 вычисления частичных видов с помощью визуальных данных, записанных в первой области памяти и управляющих значений нескольких частичных видов, которые записываются во вторых областях 61 памяти. При этом смещение точек изображения первоначального вида осуществляется в устройстве 60 смещения, как это описано, например, в связи с фиг.2. Устройство 62 объединения объединяет, при необходимости, несколько частичных видов в оригинал стереоскопического изображения, которое, при необходимости, записывается в запоминающем устройстве 63 оригинала стереоскопического изображения и затем передается через устройство 64 сопряжения. В других формах осуществления промежуточное сохранение оригинала стереоскопического изображения и при необходимости разработка оригинала стереоскопического изображения могут не состояться. В последнем случае частичные виды предаются и создаются непосредственно через другое устройство сопряжения.
В зависимости от конструкции аппаратного обеспечения может быть предпочтительным распределять вычисление оригинала стереоскопического изображения при обработке последовательности видов на несколько тактов этой последовательности. Это примерно изображено на фиг.5. На первом такте изображения визуальные данные регистрируются модулем 81 регистрации и записываются в буфер 82 сменного запоминающего устройства. Он соответствует первой области памяти. На следующем за ним такте изображения считываются визуальные данные из буфера 82 сменного запоминающего устройства и обрабатываются с помощью устройства обработки, как указано выше, при этом точкам изображения присваиваются управляющие значения из запоминающего устройства 84 управляющих значений, а затем отсюда вместе с векторами смещения определяются и осуществляются соответствующие смещения точек изображения и, таким образом, формируются частичные виды, которые записываются в других буферах 85 сменного запоминающего устройства. Затем на еще одном следующем такте изображения считываются записанные в буферах 85 сменного запоминающего устройства частичные виды в виде так называемого буфера 87 текстуры устройства 88 обработки графики. Отдельным буферам 87 текстуры приданы теневые маски 89. Посредством операции «И» между соответствующей теневой маской 89 и буфером 87 текстуры выбирают цветовые значения отдельных точек изображения для выработки оригинала стереоскопического изображения и посредством комбинаций операций «ИЛИ» в так называемом блоке 90 смешивания объединяются в оригинал стереоскопического изображения, который на следующем за этим такте изображения воспроизводится автостереоскопическим устройством 91 воспроизведения.
Применение различных запоминающих устройств или областей памяти может, прежде всего, ограничиваться в формах осуществления, выполненных в аппаратном оборудовании. Так, вычисленные частичные виды или их точки изображения могут, например, передаваться без промежуточного запоминания. Также если необходимо рассчитать оригинал стереоскопического изображения, то нет необходимости промежуточно запоминать все частичные виды. Достаточно промежуточного запоминания только частей, например частей одной и той же строки частичных видов, чтобы вычислить отдельные точки изображения оригинала стереоскопического изображения. В оптимальных схемах соединений может быть сильно уменьшена потребность в памяти.
На фиг.7 схематично показана форма осуществления, у которой присвоение управляющих значений точкам изображения и «собственное» вычисление частичных видов происходит пространственно раздельно. На передающую станцию 101 подается поток 102 двумерных визуальных данных. Поток 102 двумерных визуальных данных содержит, например, следующие друг за другом первоначальные виды последовательности кадров или фильма. Передающая станция 101 содержит устройство 103 для обработки визуальных данных, содержащихся в изображении, которое присваивает отдельным точкам изображения двумерных визуальных данных в каждом случае информацию о несоответствии в форме управляющих значений, как это было подробно объяснено выше. Для этого устройство содержит блок 104 распределения. Это устройство может, например, содержать блок определения цветовых тонов, вычислительный блок и при необходимости запоминающее устройство управляющих значений, которые не изображены отдельно. Посредством устройство сопряжения, которое выполнено, например, в виде передающей антенны 105, двумерные визуальные данные совместно с управляющими значениями, присвоенными точкам изображения, передаются на одну или несколько приемных станций 106, из которых здесь изображена только одна.
Приемная станция 106 содержит устройство сопряжения, выполненное, например, в виде приемной антенны 107. Двумерные данные совместно с присвоенными точкам изображения управляющими значениями направляются дальше на устройство 108 для обработки изображения для формирования визуальных данных для воспроизведения, при котором у наблюдателя возникает впечатление трехмерного изображения. Это устройство 108 выполнено для того, чтобы формировать частичные виды 7-1 - 7-4 и, при необходимости, также оригинал 10 стереоскопического изображения, как это описано выше. Разумеется, вычисление управляющих значений больше не является необходимым, так как они уже переданы с помощью двумерных визуальных данных. Таким образом, устройство 108 содержит устройство 109 определения области просмотра, которое вычисляет частичные виды 7-1 - 7-4. Предпочтительно, из частичных видов 7-1 - 7-4 в объединительном блоке 110 вырабатывается оригинал 10 стереоскопического изображения, которое через устройство 111 сопряжения передается на автостереоскопическое устройство 112 воспроизведения и воспроизводится им.
Для специалиста ясно, что здесь описаны только примерные формы осуществления. Прежде всего, процесс объединения отдельных частичных видов в оригинал стереоскопического изображения здесь описан только примерно. Этот процесс в своей точной форме зависит от соответствующего стереоскопического устройства воспроизведения, которое должно применяться для воспроизведения.
Список ссылочных обозначений
1 Способ
2 Двухмерные визуальные данные
3 Носитель данных
4 Последовательность изображения
5 Устройство приема/воспроизведения
6 Устройство определения области просмотра
7-m Частичный вид m (m=1,…, m)
8 Управляющие значения
9 Устройство воспроизведения
10 Оригинал стереоскопического изображения
11 Рекомбинационный этап
21, 21-k Точка изображения, точка изображения k (k=1,2,…)
22 Строка (первоначального вида)
23, 23-k Управляющее значение, управляющее значение точки изображения k(k=1,2)
24 Строка (смещенных точек изображения)
25, 25-1 Смещенная точка изображения, смещенная точка изображения 1 (1=1,2,…)
Si Этап процесса i
31 Устройство для обработки визуальных данных
32 Устройство сопряжения
33 Блок процессора
34 Запоминающее устройство
35 Область программного запоминающего устройства
36 Первая область памяти
37 Область памяти управляющих значений
38 Вторые области памяти
39 Другое устройство сопряжения
40 Запоминающее устройство оригинала стереоскопического изображения
41 Графический процессор
51 Устройство обработки данных
52 Устройство сопряжения
53 Первая область памяти
54 Устройство определения области просмотра
55 Вычислительный блок
56 Область памяти управляющих значений
57 Устройство определения цветовых тонов
58 Устройство распределения
59 Устройство определения частичных видов
60 Устройство смещения
61 Вторые области памяти
62 Устройство объединения
63 Оригинал стереоскопического изображения
64 Другое устройство сопряжения
81 Регистрирующий модуль
82 Буфер сменного запоминающего устройства
83 Запоминающее устройство управляющих значений
84 Буферы сменного запоминающего устройства
87 Буфер текстуры
88 Устройство обработки графики
89 Теневая маска
90 Блок смешивания
91 Устройство воспроизведения
101 Передающая станция
102 Поток двумерных визуальных данных
103 Устройство для обработки визуальных данных
104 Блок распределения
105 Передающая антенна
106 Приемная станция
107 Приемная антенна
108 Устройство для обработки и формирования визуальных данных, которые при воспроизведении передают эффект трехмерного изображения
109 Устройство определения областей просмотра
110 Объединительный блок
111 Устройство сопряжения
112 Устройство воспроизведения
113 Стрелка.