Source: https://patents.google.com/patent/FI114679B/en
Timestamp: 2019-04-19 17:18:24+00:00
Document Index: 22294813

Matched Legal Cases: ['kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ', 'kko ']

FI114679B - Random Starting Points in video - Google Patents
Random Starting Points in video Download PDF
FI114679B
FI114679B FI20020810A FI20020810A FI114679B FI 114679 B FI114679 B FI 114679B FI 20020810 A FI20020810 A FI 20020810A FI 20020810 A FI20020810 A FI 20020810A FI 114679 B FI114679 B FI 114679B
FI20020810A
FI20020810A0 (en
FI20020810A (en
2002-04-29 Application filed by Nokia Corp filed Critical Nokia Corp
2002-04-29 Priority to FI20020810A priority Critical patent/FI114679B/en
2002-04-29 Priority to FI20020810 priority
2002-04-29 Publication of FI20020810A0 publication Critical patent/FI20020810A0/en
2003-04-28 Priority claimed from CA2542026A external-priority patent/CA2542026C/en
2003-10-30 Publication of FI20020810A publication Critical patent/FI20020810A/en
2004-11-30 Publication of FI114679B publication Critical patent/FI114679B/en
114679 114679
Satunnajsaloituspisteetvideokoodauksessa Satunnajsaloituspisteetvideokoodauksessa
Keksintö liittyy videokoodaukseen, erityisesti satunnaisaloitus-pisteiden koodaamiseen videosekvenssiin. The invention relates to a video encoding, in particular a random starting point to encode the video sequence.
5 KEKSINNÖN TAUSTA BACKGROUND OF THE INVENTION 5
Videotiedostot muodostuvat suuresta määrästä kiinteitä (still) kuvakehyksiä, joita nopeasti peräkkäin videosekvenssinä esittämällä (tyypillisesti 15-30 kehystä/s) luodaan vaikutelma liikkuvasta kuvasta. Video files consist of a large number of fixed (still) picture frames which are in rapid succession by video sequence (typically 15-30 frames / s) creating the impression of a moving image. Kuvakehykset käsittävät tyypillisesti lukuisia paikallaan pysyviä tausta-10 objekteja, joita määrittävä kuvainformaatio pysyy olennaisesti samana, sekä muutamia liikkuvia objekteja, joita määrittävä kuvainformaatio muuttuu jossain määrin. Frames typically comprise a number of stationary background objects 10, which defines image information remains substantially unchanged, and few moving objects defined by image information changes to some extent. Tällöin peräkkäin esitettävien kuvakehysten käsittämä kuvainformaatio on tyypillisesti hyvin pitkälti samankaltainen, ts peräkkäiset kuvakehykset käsittävät huomattavasti redundanssia. In this case, sequentially presented to the image frames comprised by the image information is typically largely similar, i.e. successive image frames comprise a considerable redundancy. Videotiedostojen käsittämä redun-15 danssi voidaankin jakaa spatiaaliseen, ajalliseen ja spektriredundanssiin. Video files comprised in redun-15 impedance can be divided into spatial, temporal and spektriredundanssiin. Spatiaalisella redundanssilla kuvataan vierekkäisten kuvapikseleiden keskinäistä korrelaatiota, ajallisella redundanssilla tiettyjen kuvaobjektien muuttumista seuraavissa kehyksissä ja spektriredundanssilla eri värikomponenttien korrelaatiota yhden kuvakehyksen sisällä. Spatial redundancy describes the correlation between adjacent image pixels, temporal redundancy, a change of certain graphic object in subsequent frames and spektriredundanssilla correlation between different color components within one image frame.
20 Useissa videokoodausmenetelmissä hyödynnetään edellä kuvattua peräkkäisten kuvakehysten ajallista redundanssia. 20 Several video coding utilizes temporal redundancy of successive image frames as described above. Tällöin käytetään ns. In this case, the so-called used. liike-kompensoitua ajallista ennustusta, jossa videosekvenssin joidenkin (tyypillisesti useimpien) kuvakehysten sisältöä ennustetaan sekvenssin muista kehyksistä jäljittämällä kuvakehysten tiettyjen objektien tai alueiden muutoksia 25 peräkkäisten kuvakehysten välillä. motion-compensated temporal prediction, wherein the video sequence of some (typically most) of the content of the image frames is projected to the other frame in the sequence by tracking changes in the image frames of certain objects or areas between successive 25 image frames. Videosekvenssi käsittää kompressoituja kuvakehyksiä, joiden kuvainformaation määrittämisessä ei ole käytetty liikekompensoitua ajallista ennustusta. Comprising a compressed video sequence of image frames, determining which image information is not used for motion-compensated temporal prediction. Näitä kehyksiä kutsutaan INTRA- tai I-kehyksiksi. These frames are called INTRA or I-frames. Vastaavasti videosekvenssin käsittämiä edellisistä kuvakehyksistä ennustettuja liikekompensoituja kuvakehyksiä kutsutaan INTER- tai P-30 kehyksiksi (Predicted). Similarly, a video sequence comprised of previous image frames of motion-compensated predicted picture frames are called INTER or P-30 frames (Predicted). P-kehysten kuvainformaation määrittämisessä käytetään tyypillisesti ainakin yhtä l-kehystä ja mahdollisesti yhtä tai useampaa aiemmin koodattua P-kehystä. determining the P frames of the image information, typically, at least one I-frame, and possibly one or more previously coded P-frames. Jos jokin kehys kadotetaan, ei siitä riippuvia kehyksiä voida enää dekoodata oikein. If a frame is lost, it is not dependent frames can no longer be decoded correctly.
114679 2 114 679 2
Esimerkiksi JVT on videokoodausstandardi, joka hyödyntää liike-kompensoitua ajallista ennustusta. For example, JVT is a video coding standards, which utilizes the motion-compensated temporal prediction. JVT (Joint Video Team) on ISO/IEC:n MPEG-ryhmän (Motion Picture Experts Group) ja ITU-T:n (International Telecommunications Union, Telecommunications Standardization Sector) VCEG-5 ryhmän (Video Coding Experts Group) tämänhetkinen projekti. JVT (Joint Video Team) is an ISO / IEC MPEG-group (the Motion Picture Experts Group) and ITU-T (International Telecommunications Union, Telecommunications Standardization Sector) current project group VCEG-5 (Video Coding Experts Group). Se periytyy ITU-T VCEG:n projektista H.26L. It is inherited from the ITU-T VCEG's project H.26L.
JVT/H.26L:ssä kuvat koodataan käyttämällä luminanssi- ja kahta värierotus- (krominanssi) komponenttia (Y, CB ja CR). JVT / H.26L Journal pictures are coded using luminance and two värierotus- (chrominance) components (Y, CB and CR). Krominanssikompo-nentit näytteistetään molempien koordinaattiakselien suuntaisesti puolella re-10 soluutiolla verrattuna luminanssikomponenttiin. Krominanssikompo-components are sampled in the direction of both coordinate axes of the re-resolutions output 10 compared to the luminance component.
Jokainen koodattu kuva, kuten myös vastaava koodattu bittivirta, on järjestetty neljä kerrosta käsittävään hierarkkiseen rakenteeseen, jotka ovat ylhäältä alas luettuna kuvakerros, kuvasegmenttikerros, makrolohkokerros (MB) ja lohkokerros. Each coded picture, as well as the corresponding coded bitstream, is arranged in four layers in a hierarchical structure comprising, from top down, including the picture layer, picture segment layer, macroblock (MB) and block layer. Kuvasegmenttikerros voi olla joko lohkokerrosten ryhmä tai vii-15 palekerros. Figure segment layer can be either a block or group of layers VII-15 palekerros.
Jokaisen viipaleen käsittämä data muodostuu viipaleen otsikosta, jonka jälkeen tulee makrolohkojen data (MB:t). The data in each slice consists of a slice header followed by the data of the macroblocks (MB's). Viipaleet määrittävät alueita koodatun kuvan sisällä. Slices define regions within a coded picture. Jokainen alue muodostuu joukosta makrolohkoja normaalissa skannausjärjestyksessä. Each region consists of a group macroblocks in a normal scanning order. Saman koodatun kuvan viipalerajojen yli 20 ei ole ennustusriippuvuuksia. The same image coded slice border 20 is not a prediction dependencies. Ajallinen ennustus voi kuitenkin yleisesti ottaen ylittää viipalerajat. Temporal prediction may, however, generally exceeds the slice boundaries. Viipaleet voidaan dekoodata itsenäisesti muusta kuva-datasta. Slices can be decoded independently from the rest of the image data. Näin ollen viipaleet parantavat häviöllisten pakettiverkkojen virheen-i sietokykyä. Consequently, slices improve error lossy packet networks i resilience.
Jokainen viipale jaetaan makrolohkoihin. Each slice is divided into a macroblock. Yksi makrolohko käsittää ; One of the macroblock comprises: 25 16 X 16 pikseliä luminanssidataa ja ajallisesti vastaavat 8X8 pikseliä kromi- : nanssidataa. 25 16 X 16 pixel luminance data and time corresponding to 8x8 pixels chromium: nanssidataa.
, JVT/H.26L:ssä videokoodauskerros (VCL), joka muodostaa video- kuvasisällön vahvasti kompressoidun ydinesityksen, ja verkkosovituskerros (NAL), joka pakkaa tämän esityksen välitettäväksi tietyn tyyppisen verkon 30 kautta, ovat toiminnoiltaan erotettu toisistaan. , JVT / H.26L together videokoodauskerros (VCL), which forms a video image content of the compressed core of a strong draft, and network adaptation layer (NAL), which compresses this disclosure transmitted to a particular type of network 30 are functionally separated from each other. JVT/H.26L-videokooderi perus-tuu lohkopohjaiseen liikekompensoituun hybridimuunnoskoodaukseen. JVT / H.26L-based video encoder TUU block-based motion-compensated hybridimuunnoskoodaukseen. Kuten aiemmissakin standardeissa, ainoastaan dekoodausprosessi on tarkasti mää- .··*. As in previous standards, only the decoding process is accurately determined. ·· *. ritelty yhteistoiminnallisuuden mahdollistamiseksi, kun taas kuvansieppauk- seen, esikäsittelyyn, koodaukseen, jälkikäsittelyyn ja esittämiseen liittyvät pro-: ·' 35 sessit on jätetty määrittelyjen ulkopuolelle toteutusten joustavuuden mah- dollistamiseksi. de ned for the sharing functionality, while the associated kuvansieppauk-, treatment, encoding, post-processing and presentation of the process: · '35 processes have been implementations allow flexibility from the specification. JVT/H.26L käsittää kuitenkin lukuisia uusia toimintoja, jotka 114679 3 mahdollistavat koodaustehokkuuden huomattavan parantamisen suhteessa aiempiin standardeihin. JVT / H.26L, however, a number of new features that enable 3 114 679 with respect to a significant improvement of coding efficiency with previous standards.
JVT/H.26L pystyy hyödyntämään äskettäin kehitettyä menetelmää nimeltään viitekuvan valinta. JVT / H.26L is capable of utilizing a recently developed method called reference image selection. Viitekuvan valinta on koodaustekniikka, jossa lii-5 kekompensaation viitekuva voidaan valita useiden viitekuvapuskuriin tallennettujen kuvien joukosta. The selection of reference is a coding technique, wherein the LH-5 kekompensaation reference picture may be selected from among a plurality of images recorded viitekuvapuskuriin. Viitekuvan valinta JVT/H.26L:ssä mahdollistaa viite-kuvan valinnan makrolohkokohtaisesti. Reference picture selection JVT / H.26L together allows the selection of the reference image macroblock. Viitekuvan valintaa voidaan käyttää kompressiotehokkuuden ja virheensietokyvyn parantamiseen. Reference picture selection can be used to improve compression efficiency and error resilience.
Johtuen videokoodauksessa käytetystä liikekompensaatiotekniikas-10 ta, tulee videosekvenssiin koodata hajasaantikohtia videon skannaamisen mahdollistamiseksi satunnaisesta kohdasta. Due used in video coding to liikekompensaatiotekniikas-10, the video sequence should be encoded in the random access points enable the scanning of the video random point. Riippuen videosekvenssin skan-naukseen käytettävästä sovelluksesta, suotava hajasaantikohtien aikaväli vi-deovirrassa on luokkaa 0,5-10 sekuntia. Depending on the application, a video sequence to be used ska-naukseen, a desirable time slot of the random access points vi deovirrassa is in the range 0.5-10 seconds. Perinteisesti hajasaantikohdat on koodattu koodaamalla intrakehyksiä. Traditionally, the random access points are encoded by encoding intrakehyksiä. Koska edellä mainittu viitekuvan valinta-15 tekniikka mahdollistaa kuitenkin viittausten tekemisen kehyksiin, jotka sijaitsevat ennen intrakehystä, ei intrakehys sellaisenaan ole riittävä ehto haja-saantikohdalle. Because of the above-mentioned reference image 15, however, the selection technique allows the conclusion leads to the frames that are located before intrakehystä, intrakehys not in itself sufficient condition for the random-access position. Lisäksi intrakehysten koodaaminen taajaan videosekvenssiin vaatii enemmän koodekin prosessointikapasiteettia ja kuluttaa enemmän kaistanleveyttä. In addition, intrakehysten encoding a video sequence requires more frequent codec processing capacity and consumes more bandwidth.
20 Asteittainen dekooderivirkistys viittaa ''epäpuhtaaseen” hajasaantiin, jossa viitataan aiemmin koodattuun, mutta mahdollisesti vastaanottamatto-maan dataan ja jossa oikea kuvasisältö palautetaan asteittain useammassa • kuin yhdessä koodatussa kuvassa. 20 refers to the gradual dekooderivirkistys '' dirty "random access with reference to previously coded but possibly non-received data, and wherein the right image content gradually returned to more than one coded • Fig. Yleisesti ottaen asteittaisen dekooderi- Y: virkistyksen hajasaantimenetelmän mahdollistamaa kuvasisällön asteittaista 25 palauttamista pidetään suotavana toimintona JVT/H.26L-videokoodauksessa. In general, the gradual decoder Y-enabled refresh the random access method on the content of the progressive return of 25 is considered desirable function JVT / H.26L video coding.
, : Asteittaisen dekooderivirkistyksen perustava ajatus on koodata osa kehysten makrolohkoista intrakoodattuna. ,: With the gradual decoder refresh basic idea is to encode part of the macroblocks intra-coded frames. Kun dekooderi aloittaa dekoodauksen satunnaisesta pisteestä, liiketunnistukseen liittyvät viitekehykset ovat tuntemattomia dekooderille ja ne pohjustetaan esimerkiksi keskiharmaalla. When the decoder starts decoding the random point, related to motion detection frames of reference are unknown to the decoder and they are primed, for example, medium gray. Dekooderi osaa 30 rekonstruoida intrakoodatut makrolohkot, mutta interkoodattuja makrolohkoja, Y jotka viittaavat liiketunnistusprosessissa tuntemattomiin alueisiin, ei voida re- Y; The decoder is able to reconstruct the 30 intra-coded macroblocks, but the inter-coded macroblocks, Y referring to the motion detection process to unknown areas are not reactive Y; konstruoida oikein. constructed correctly. Koska intrakoodattujen makrolohkojen kumulatiivinen mää- .···. Since the intra-coded macroblocks cumulative amounts. ···. rä kasvaa asteittain kehys kehykseltä, voidaan lopulta saavuttaa kokonaan ' rekonstruoitu kuva. CHASED gradually increases from frame to frame, to eventually reach a fully "reconstructed image. Tähän toteutukseen liittyy kuitenkin useita ongelmia. However, this implementation is fraught with problems.
: 35 Viitekuvan valinnasta johtuen liikekompensaatioprosessissa saate- :...: taan viitata viitekehyksen johonkin sellaiseen makrolohkoon, joka sijaitsee luo- 4 114679 tettavasti dekoodaattavien intrakoodattujen makrolohkojen alueen ulkopuolella. 35 due to the choice of reference image motion compensation process is brought: ...: in the reference frame in relation to a reference macroblock which is situated in the creation 4 114 679 dekoodaattavien reliably outside the area of ​​intra-coded macroblocks.
JVT/H.26L:ssä käytetään silmukkasuodatusta jokaisen 4x4-lohkon rajojen yli äkillisten rajalinjojen häivyttämiseksi. JVT / H.26L: silmukkasuodatusta used in each 4x4 block boundaries over abrupt boundary lines to neutralize. Näin ollen viereisissä mak-5 rolohkoissa olevat virheellisesti rekonstruoidut pikselit voivat vaikuttaa luotettaviin alueisiin. Thus, the adjacent mak-5 rolohkoissa incorrectly reconstructed pixels may have affected areas.
Liikekompensaatioprosessissa viitatut pikselisijaintien ei-kokonais-lukuarvot interpoloidaan pikseliarvoista käyttämällä monihaaraisia suodattimia. referenced to the pixel motion compensation process, non-integer number values ​​are interpolated pixel values ​​by using the multi-limbed filters. Nykyisissä JVT-koodekeissa puolipikselien sijainnit interpoloidaan kuusi-10 haaraisilla suodattimilla. The current JVT-in codecs puolipikselien locations of interpolated 6 to 10 branched filters. Näin ollen väärin rekonstruoituja pikseleitä voidaan käyttää sellaisen viitatun ei-kokonaislukuarvoisen pikselisijainnin interpoloi-miseen, joka sijaitsee luotettavasti dekoodatun alueen sisällä, mutta lähellä sen reunaa. It is therefore not reconstructed pixels can be used as a referenced non-integer-valued pixel-interpolates miseen, which is located within the decoded reliably region, but close to its edge.
Kun dekooderi aloittaa kehysten dekoodauksen, se olettaa kaikkien 15 intrakoodattujen makrolohkojen olevan luotettavia. When the decoder starts decoding of frames, it assumes that all 15 intra-coded macro blocks to be reliable. Kuitenkin kaikki edellä mainitut prosessit vaikuttavat siihen, että viereisten makrolohkojen harmaakuva-alue sekoittuu intrakoodattujen makrolohkojen luotettavasti dekoodattavaan kuvainformaatioon. However, all the above-mentioned processes have an effect on the gray picture area adjacent macroblocks intra-coded macroblocks mixed reliably decoded image information. Tämä aiheuttaa paikallisesti ja ajallisesti etenevän virheen dekoodauksen edetessä kehyksestä toiseen. This causes locally and temporally forward error decoding progresses from frame to frame. ^ ^
20 KEKSINNÖN LYHYT KUVAUS BRIEF DESCRIPTION 20
:'Keksinnön tavoitteena on näin ollen saada aikaan menetelmä ja .;. 'The aim of the invention is therefore to provide a method and an,.. : menetelmän toteuttava laitteisto ainakin joidenkin yllä mainittujen ongelmien haittojen vähentämiseksi. : Apparatus implementing the method to minimize the disadvantages, at least some of the problems mentioned above. Keksinnön tavoitteet saavutetaan menetelmällä, vi-_* deokooderilla, videodekooderilla ja tietokoneohjelmalla, joille on tunnusomais- 25 ta se, mitä sanotaan itsenäisissä vaatimuksissa. This is achieved by a method vi -_ * deokooderilla, video decoder and a computer program which is characterized 25 by what is said in the independent claims.
/ Keksinnön edulliset suoritusmuodot esitetään epäitsenäisissä vaati muksissa. / Preferred embodiments of the invention are disclosed in the dependent requiring claims.
Keksintö perustuu asteittaisen dekooderivirkistysmenetelmän toteutukseen liittyvien ongelmien havaitsemiseen. The invention is based on the gradual implementation of dekooderivirkistysmenetelmän related to the detection of problems. Keksinnön mukaisesti koodataan 30 videosekvenssi, joka on muodostettu videokehyksistä, joka koodausmene-;·. According to the invention coded in the video sequence 30, which is composed of video frames, the object encoder; ·. telmä käsittää sen, että jaetaan ainakin yksi videokehys koodauslohkojen jou- koksi ja koodataan ainakin yksi mainituista koodauslohkoista intra-koodauksella. system comprises divided into at least one video frame into a plurality of coding blocks and encoding at least one of said coding intra-coding. Sen jälkeen määritetään ensimmäinen luotettava alue, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja koodataan mainittu en-35 simmäinen luotettava alue videosekvenssiin siten, että estetään infor- maatioriippuvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja » I · 5 114679 mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. After determining a first reliable region comprising at least one intra-coded coding block, and encoding said I-35 simmäinen reliable region in a video sequence so as to prevent the emergence of an information maatioriippuvuuden said first reliable region and the "I · 5 114 679 said first reliable region is non-coding blocks between.
Keksinnön erään edullisen suoritusmuodon mukaisesti dekooderi voi sen jälkeen käyttää mainittua luotettavaa aluetta hajasaantikohtana aloit-5 taessaan videosekvenssin dekoodauksen satunnaisesta kohdasta. According to a preferred embodiment of the invention, the decoder can then use an effective area of ​​said random access point taessaan 5-started at a random point of the video sequence decoding.
Keksinnön erään edullisen suoritusmuodon mukaisesti mainitun in-formaatioriippuvuuden syntyminen estetään kytkemällä mainitun luotettavan alueen reunoilla silmukkasuodatus pois päältä. According to a preferred embodiment, said in-formaatioriippuvuuden is prevented by connecting the borders of said reliable region loop filtering off.
Keksinnön erään edullisen suoritusmuodon mukaisesti mainitun in-10 formaatioriippuvuuden syntyminen estetään viittaamalla ainoastaan mainitun luotettavan alueen koodauslohkoihin käytettäessä liikekompensoitua ennustusta. According to a preferred embodiment, said in-formaatioriippuvuuden 10 is prevented by referring only to the coding blocks of said reliable region, when applying motion compensated prediction.
Keksinnön erään edullisen suoritusmuodon mukaisesti mainitun in-formaatioriippuvuuden syntyminen estetään estämällä pikseliarvojen liikein-15 terpolaatio mainitun luotettavan alueen reunoilla. According to a preferred embodiment, said in-formaatioriippuvuuden prevented by blocking the pixel interpolation liikein-15 borders of said reliable region.
Keksinnön erään edullisen suoritusmuodon mukaisesti mainittu luotettava alue koodataan videosekvenssiin alikuvana. According to a preferred embodiment of the invention, the reliable region is coded sub-picture in the video sequence.
Keksinnöllä saavutetaan useita etuja. The invention provides several advantages. Mekanismia voidaan käyttää hajasaantikohtien muodostamiseksi koodattuun videovirtaan ja samalla kuva-20 alueen osan päivittämiseen ilman, että mainittu alue tulisi kattaa kokonaan intramakrolohkoilla. This mechanism may be used to provide random access points to the coded video stream and the same image 20 without updating of the said area should cover the whole area intramakrolohkoilla. Edelleen keksinnön etuna on, että se pysäyttää lähetys-: : virheiden paikallisen ja ajallisen etenemisen. A further advantage of the invention is that it stops the transmission: the errors of the local and temporal progression. Lisäksi etuna on, että keksintö mahdollistaa virheiden vaihtelevan suojaustason ja siirron priorisoinnin vastaanotetun kuvanlaadun parantamiseksi ja liikenteen muokkaamiseksi vi-25 deodatan eri osien prioriteettien mukaisesti. A further advantage is that the invention makes it possible to improve the received picture quality defects of varying security levels and the transfer of traffic prioritization, and modifying vi deodate 25 in accordance with the priorities of the different parts. Edelleen keksinnön etuna on, että : se mahdollistaa kokonaisten intrakehysten välttämisen kaksisuuntaisissa so velluksissa päästä-päähän-viiveen minimoimiseksi ja vastaanotetun kuvanlaadun parantamiseksi. A further advantage of the invention is that: it is possible to avoid complete intrakehysten bi-directional power applications, i.e. end-to-end delay minimization and to improve the received picture quality. Lisäksi menetelmää voidaan käyttää maskia käyttävien otossiirtymien, kuten pyyhkäisysiirtymän, koodaamiseen. In addition, the scene transition using a mask, such as a wipe transition, the method can be used for encoding.
: 30 KUVIOIDEN LYHYT SELOSTUS 30 BRIEF DESCRIPTION OF THE DRAWINGS
. . · · f Seuraavassa keksintöä kuvataan yksityiskohtaisemmin sen edullis ten suoritusmuotojen yhteydessä viitaten oheisiin piirroksiin, joissa ; · F In the following the invention is described in more detail with reference to its preferred embodiments in connection with the accompanying drawings, in which; · ' kuvio 1 esittää JVT/H.26L:n toiminnollista rakennetta; · "Figure 1 shows the JVT / H.26L's to functional structure; ; ; kuvio 2 esittää kasvavan luotettavan alueen erästä edullista suo- 35 ritusmuotoa; Figure 2 shows a growing reliable region 35 carried preferred embodiments thereof; * *» 114679 6 kuvio 3 esittää esimerkinomaisen menettelyn makrolohkojen lisäämiseksi luotettavaan alueeseen tietyn virkistyskuvion mukaisesti; * * »6 114 679 Figure 3 shows an exemplary procedure to increase the macroblocks in the reliable region according to a certain refresh pattern; kuvio 4 esittää koodattavaa kuvaa ja sen suhdetta videokoodausta varten määriteltyihin makrolohkoihin; Figure 4 shows the encoded image and its relationship to the video encoding as defined in the macroblock; 5 kuvio 5 esittää periaatepiirroksen kuvion 4 mukaiselle kuvalle ali- kuvatoteutuksen mukaisesti muodostetuista videokoodausviipaleista; 5 Figure 5 shows a basic diagram shown in Figure 4 according to the sub-picture image formed videokoodausviipaleista embodiment; kuvio 6 esittää keksinnön erään edullisen suoritusmuodon mukaisen matkaviestinlaitteen lohkokaaviota; Figure 6 shows a mobile device according to a preferred embodiment of a block diagram of the invention; ja kuvio 7 esittää erästä videokuvan välitysjärjestelmää, jossa keksin-10 töä voidaan soveltaa. and Figure 7 shows a video transmission system in which the biscuit 10-TOA can be applied.
Keksintöä voidaan soveltaa kaikkiin videokoodausmenetelmiin, jotka käyttävät aluepohjaista liikekompensoitua ajallista ennustusta. The invention can be applied to any video coding, using area-based motion-compensated temporal prediction. Keksintö on erityisesti sovellettavissa erilaisiin alhaisen bittinopeuden videokoodauksiin, 15 joita käytetään tyypillisesti kaistarajoitetuissa tietoliikennejärjestelmissä. The invention is particularly applicable to a variety of low bit rate video encoding, 15 which are typically used in a band communication systems. Näitä ovat esimerkiksi ITU-T:n standardoimat H.263 ja H.26L (myöhemmin mahdollisesti H.264), joita standardoidaan parhaillaan. These include, for example, the ITU-T standardized by H.263 and H.26L (subsequent H.264), which is currently being standardized by. Näissä järjestelmissä keksintö on sovellettavissa esimerkiksi matkaviestimissä. In these systems, the invention is applicable to, for example, in mobile stations.
Seuraavassa havainnollistetaan keksintöä esimerkinomaisesti käyt-20 täen JVT/H.26L-videokoodausta esimerkkinä. In the following the invention is illustrated by way of example, use 20-täen JVT / H.26L video coding, for example. JVT/H.26L kuvataan keksinnön ja sen edullisten suoritusmuotojen ymmärtämisen kannalta riittäväksi tuikit-• ; JVT / H.26L described in the understanding of the preferred embodiments of the invention, and of sufficient tuikit- •; * tavalla yksityiskohtaisuudella. * Way of particularity. JVT/H.26L:n toteutuksen tarkemman kuvauksen osalta viitataan dokumenttiin: Joint Video Team (JVT) of ISO/IEC MPEG and ; JVT / H.26L: a more detailed description of the implementation, reference is made to the document: Joint Video Team (JVT) of ISO / IEC MPEG and; ITU-T VCEG, DRAFT ISO/IEC 14496-10:2002 (E) UJVT Working draft 2, Re- t'. ITU-T VCEG, DRAFT ISO / IEC 14496-10: 2002 (E) UJVT Working draft 2, Re-t '. 25 lease Τ'. 25 lease Τ '.
: JVT/H.26L:n toiminnollista rakennetta kuvataan viitaten kuvioon 1. : JVT / H.26L's to functional structure will be described with reference to Figure 1.
JVT/H.26L:ssä videokoodauskerros (VCL), joka muodostaa videokuvasisällön vahvasti kompressoidun ydinesityksen, ja verkkosovituskerros (NAL), joka pakkaa tämän esityksen välitettäväksi tietyn tyyppisen verkon kautta, ovat toi-, ,: 30 minnoiltaan erotettu toisistaan. JVT / H.26L together videokoodauskerros (VCL), which forms a highly compressed video content presentation core, and network adaptation layer (NAL), which compresses this presentation for delivery over a particular type of network, are second,, 30 minnoiltaan separated.
VCL:n päätehtävänä on koodata videodataa tehokkaasti. VCL's main function is to encode video data efficiently. Kuten e-, * · ·, della on kuitenkin kerrottu, tehokkaasti koodatussa datassa virheiden merkitys :* korostuu, joten mukaan liitetään tietoa mahdollisista virheistä. As e, * · ·, della, however, told the importance of efficiently coded data errors: * emphasized, so by attaching information about possible errors. VCL pystyy kes keyttämään ennustukseen perustuvan koodausketjun ja suorittamaan toi-35 menpiteitä havaittujen ja etenevien virheiden poistamiseksi. VCL Jun is capable of ending a prediction based on the encoding and run-35 brought to remove the measures and the observed propagation of errors. Tämä voidaan toteuttaa usealla tavalla: keskeytetään ajallinen ennustusketju ottamalla mukaan 114679 7 intrakehyksiä ja intramakrolohkoja; This can be accomplished in several ways: the temporal prediction chain is interrupted by the inclusion of 114,679 7 intrakehyksiä and intramakrolohkoja; keskeytetään spatiaalinen virheiden eteneminen ottamalla mukaan viipaleita; suspended the spatial propagation of errors by including slices; ja ottamalla mukaan itsenäisesti dekoodattava vaihtuvanmittainen koodi, esimerkiksi ilman kehysten välillä tapahtuvaa adaptiivista aritmeettista koodausta. and by including independently decodable variable-length code, for example, without taking place between frames, the adaptive arithmetic coding.
5 VCL:n ulostulona saadaan koodattujen makrolohkojen vuo, jossa jokainen makrolohko on yhtenäinen datayksikkö. 5 VCL's output is a coded macroblocks flow, in which each macro block is a single data unit. Datan osituskerros (DPL, Data Partitioning Layer) järjestää symbolit uudestaan siten, että tietyn datatyypin (esim. DC-kertoimet, makrolohkojen otsikot, liikevektorit) kaikki yhteen viipaleeseen liittyvät symbolit kerätään samaan koodattuun bittivirtaan. Data osituskerros (DPL Data Partitioning Layer) arrange the icons again, so that a specific data type (e.g. DC coefficients of the macroblocks headers, motion vectors) of all the symbols in one slice are collected at the same coded bit stream. Symbolit, 10 joiden subjektiivinen ja/tai syntaktinen tärkeys dekoodauksessa on suunnilleen samaa luokkaa, ryhmitellään yhteen osaan. The symbols 10 whose subjective and / or syntactic importance in decoding is approximately the same, are grouped in one portion.
NAL kykenee muokkaamaan VCLiltä tai DPL:ltä tulevan dataformaatin välitettäväksi useiden erilaisten verkkojen kautta. NAL is capable of modifying the VCLiltä or DPL from the incoming data format for delivery over a variety of networks. NAL-rakenne voi vastaanottaa videokoodaus- ja datan osituskerroksilta joko dataosituksia tai 15 viipaleita, riippuen valitusta verkkosovitusratkaisusta. Nal structure may receive a video coding and data osituskerroksilta either dataosituksia or 15 slices, depending on the matching network solution. Datan ositus mahdollistaa subjektiivisesti ja syntaktisesti tärkeämmän datan lähettämisen erillään vähemmän tärkeästä datasta. Data partitioning allows transmission of subjectively and syntactically more important data separately from less important data. Dekooderit eivät välttämättä kykene dekoo-daamaan vähemmän tärkeää dataa ilman vastaanotettua tärkeämpää dataa. The decoders are not necessarily capable of decoding daamaan less important to more important data without the data received.
Kun bittivirtaa lähetetään virhealttiin verkon kautta, voidaan käyttää erilaisia 20 keinoja tärkeämmän datan suojaamiseksi vähemmän tärkeää dataa paremmin. When the error-prone bit stream is transmitted over a network, a variety of means 20 can be used to protect the more important data from less important data is better.
NAL.n ulostulo voidaan siten syöttää erilaisiin siirtoformaatteihin. NAL.n output can then be fed to different transmission formats.
•; •; : Videodata voidaan tallentaa tiedostomuotoon myöhempää katselua varten. Video data can be saved to a file format for later viewing. Se voidaan myös kapseloida ITU-T H.223 multipleksausformaatin mukaisesti. It may also be encapsulated in accordance with the ITU-T H.223 multipleksausformaatin.
.* . . *. 25 RTP-siirtoformaatin suhteen on huomioitava, että RTP-siirtovuo ei käsitä lain- kaan kuvakerrosta tai kuvien otsikkokenttiä. 25 RTP transmission format is taken into account with respect to the RTP transport stream does not include at all image layers or images header fields. Perinteisesti kuva- ja jak-sokerroksille kuulunut data lähetetään sen sijaan pääsääntöisesti kaistan ulkopuolisena datana. Traditionally, video and belonged to jak-sokerroksille data is transmitted rather than a rule-of-band data. Lukuisia tällaisen datan kombinaatioita voidaan lähettää ja jokaista lähetettyä kombinaatiota kutsutaan parametrijoukoksi, joka nu- »· •; A number of combinations of such data can be transmitted, and each transmitted combination is called a parameter set nu »· •; · · 30 meroidaan. · · 30 meroidaan. Käytössä oleva parametrijoukko identifioidaan sen jälkeen lähe- :: tetyssä viipaleen otsikkokentässä. The current set of parameters is identified after transmission :: tetyssä slice header field.
Seuraavaksi selostetaan erään edullisen suoritusmuodon mukaista • * » .···. Next will be described according to a preferred embodiment of the • * ». ···. asteittaisen dekooderivirkistysjakson koodaamista. the gradual decoder refresh encoding. Kooderi aloittaa toiminnan (' * ] päättämällä dekooderivirkistysjakson ensimmäisen kehyksen ulkoisten signaa- i 35 lien, kuten yhteydettömässä kooderissa konfigurointiparametrien tai reaali- II » aikaisessa videokuvan välitysjärjestelmässä intra-päivityspyyntöjen perus- 1U679 8 teella. Kooderi voi myös analysoida kompressoimattomien kuvien sisältöä ja päättää koodata asteittaisen dekooderivirkistyksen havaittuaan esimerkiksi jonkin tyyppisen otossiirtymän. The encoder starts the operation ( '] determined by the decoder refresh the first frame of the external signal i 35 signals, such as a connectionless encoder configuration parameters or real-II "time video transmission system, the intra update requests 1U679 8-cut basis. The encoder may also analyze the contents of the uncompressed pictures, and decides to encode the progressive detecting a decoder refresh, for example, some type of scene transition.
Kooderi päättää asteittaisen dekooderivirkistysjakson pituuden ul-5 koisten osoittimien, kuten yhteydettömän kooderin konfigurointiparametrien perusteella, tai sisäisten päätelmien, kuten esimerkiksi vasteena jonkin tyyppisen otossiirtymän havaitsemiselle. The encoder decides the gradual decoder refresh period length of 5 ul-soluble indicators, such as context-based encoder configuration parameters, conclusions, or internal, such as in response to some type of scene transition is detected. Kooderi voi myös säätää otossiirtymän odotettua pituutta siirtymäjakson koodauksen aikana perustuen esimerkiksi tarpeeseen säädellä nopeutta. The encoder may also adjust the expected length of the sample based on the displacement during the transition period, for example, the need to adjust the coding rate.
10 Termiä “luotettava alue" käytetään osoittamaan sellaista kuvan alu etta, joka rekonstruoituu oikein aloitettaessa dekoodaus asteittaisen dekooderivirkistysjakson alusta. Luotettava alue koostuu edullisesti vierekkäisistä makrolohkoista. Jokaisella asteittaisen dekooderivirkistysjakson kuvista on oma luotettava alueensa. Jokainen tietyn kuvan luotettavaan alueeseen kuu-15 luva makrolohko kuuluu myös (koodausjärjestyksessä) seuraavaan asteittaisen dekooderivirkistysjakson tallennettavaan kuvaan. Näin ollen luotettava alue ainakin pysyy samana tai edullisesti kasvaa kuva kuvalta (koodausjärjestyksessä). 10 The term "reliable region" is used to indicate the kind of image alu response, which reconstructs correctly initiating the beginning of the decoding of the gradual decoder refresh. Reliable region is preferably composed of adjacent macroblocks. Each of gradual decoder refresh pictures have its own trusted domain. Each specific image in the reliable region moon-15 luva macroblock is also (coding order) of gradual decoder refresh to the next recorded image. Thus, the reliable region is at least remain the same or, preferably, increasing frame by frame (in coding order).
Luotettavan alueen muotoa ei rajoiteta muuten kuin että makro-20 lohkojen tulee olla vierekkäisiä. the shape of the reliable region is not limited, except that the 20 macro-blocks must be contiguous. Koodauksen/dekoodauksen kannalta yksinkertaisin luotettavan alueen muoto on yhtenäinen makrolohkojen muodostama : ·' suorakaide. The encoding / decoding of the simplest form of a reliable region is a coherent macro blocks formed by: · 'rectangle. Erään edullisen suoritusmuodon mukaisesti luotettava alue on • i yhtenäinen makrolohkojen muodostama suorakaide, jota laajennetaan yhden : : makrolohkon leveällä/pitkällä makrolohkorivillä tai makrolohkosarakkeella jota- . According to a preferred embodiment of the reliable region is a • i uniform macroblocks formed by a rectangle, which will be extended one: macroblock wide / long macroblock or makrolohkosarakkeella jota-. 25 kin suorakaiteen sivua pitkin. 25 each along a side of the rectangle.
. . ; ; Erään toisen edullisen suoritusmuodon mukaisesti luotettava alue / on satunnainen, mutta yhtenäinen makrolohkoalue. According to another preferred embodiment of the reliable region / is random, but a single macro block. Vielä erään edullisen suo ritusmuodon mukaisesti luotettava alue on ontto makrolohkosuorakaide, joka käsittää suorakaiteen muotoisen aukon, jota voidaan käyttää ”box-in”-30 tyyppisessä asteittaisessa dekooderivirkistyksessä. According to a further preferred fen the exemplificatory embodiment the reliable region is a hollow makrolohkosuorakaide, which comprises a rectangular aperture, which can be used "in-box" type of gradual decoder refresh -30. Edelleen erään edullisen suoritusmuodon mukaisesti luotettava alue on ontto makrolohkosuorakaide, jo-, : hon on määritetty aukko keksinnön edullisen toteutusmuodon mukaisena luo- . According to a further preferred embodiment, a reliable region is a hollow makrolohkosuorakaide, iodine, O port is set according to a preferred embodiment of the invention, creation. . . tettavana alueena. use in the area. Luotettavat alueet voivat sijoittua jopa toistensa sisään si- _ ' · ' ten, että kaksi luotettavaa aluetta voivat kasvaa esimerkiksi spiraalimaisesti. Reliable regions may even be located in another inner _ '·' such that two reliable region can grow, for example, a spiral.
! ! ·* 35 Näin ollen ontot luotettavat alueet voidaan määritellä yleisesti siten, että alueeseen kuuluu enemmän kuin yksi aukko. · * 35 Thus, the hollow reliable regions can be defined generally as that area comprises more than one hole.
114679 9 114 679 9
Keksintö voidaan myös yleistää siten, että yhteen kuvaan kuuluu enemmän kuin yksi luotettava alue. The invention can be generalized in such a way that one image consists of more than one reliable region. Tällöin mitä tahansa luotettavaa aluetta voidaan käyttää jonkin seuraavan kehyksen jonkin luotettavaan alueeseen kuuluvan lohkon ennustamiseen. In this case, any secure area of ​​a subsequent frame can be used to predict some of the reliable region of the block. Lisäksi virkistysjaksot voivat olla päällek-5 käisiä siten, että eri jaksojen luotettavat alueet ovat kuvissa sisäkkäisiä päällekkäisen jakson ajalta. In addition, the refresh cycles may be superimposed parallelogram-5 in such a way that the different sections of the reliable regions are nested in the figures by the overlapping period. Luotettava alue voi myös vaihtaa paikkaa tai kutistua siirryttäessä yhdestä koodatusta kuvasta seuraavaan. Reliable range can also change seats or shrink in moving from one encoded image to the next. Tällainen toiminta voi olla suotavaa esimerkiksi laaja-alaisesta liikkeestä, kuten kameran panoraa-makuvasta, tai nopeudensäätötarpeesta johtuen. Such activity may be desirable, for example, large-scale store, such as a camera panoraa flavor antibody, or because of the need for speed control.
10 Asteittainen dekooderin virkistyskuvio määrittää selkeästi, missä jär jestyksessä makrolohkoja lisätään luotettavaan alueeseen. 10 Gradual decoder refresh pattern to define clearly what sequence the macroblocks added to the reliable region. Esimerkiksi alas-pyyhkäisyssä makrolohkoja voidaan liittää luotettavaan alueeseen rasteri-kuvausjärjestyksessä. For example, the down-sweep macroblocks can be connected to the reliable region raster imaging sequence. Kooderi päättää asteittaisen dekooderin virkistyskuvion tyypin. The encoder decides the type of gradual decoder refresh pattern. Koodausmäärityksissä/standardissa voi olla ennalta määritettyjä oletus-15 arvoisia kuvioita, jotka sekä kooderi että dekooderi valmiiksi tuntevat. Koodausmäärityksissä / standard may be a predetermined default value patterns 15 that both the encoder and the decoder finished the art. Voidaan myös käyttää virkistyskuvioita, jotka signaloidaan kooderilta dekooderille koodatun videobittivirran mukana. It can also be used for recreation patterns, which are signaled from the encoder to the decoder with the encoded video bitstream. Kooderi signaloi valitun virkistystyypin dekooderille. The encoder signals the selected type of recreation decoder. Signalointi voidaan suorittaa joko kaistan sisäisenä tai ulkopuolisena signalointina. The signaling can be carried out either inside or outside the band signaling.
20 Kasvavan luotettavan alueen erästä suoritusmuotoa voidaan ha vainnollistaa viittaamalla kuvioon 2. Kuviossa 2 pienet suorakaiteet kuvaavat makrolohkoja ja pienten suorakaiteiden 9x11 lohko vastaa kuvakehystä 200 - : 208. Jokaisessa kehyksessä luotettavaa aluetta ympäröivät paksut mak- rolohkojen reunat. a growing reliable region 20 ha embodiment can be illustrated by reference to Figure 2. In Figure 2, the small rectangles represent macroblocks and small rectangles 9x11 block corresponding to image frames 200 -: 208. Each frame reliable region surrounded by the thick edges of the macroblocks. Puoliharmaat makrolohkot kuvaavat luotettavan alueen 25 kasvua. Semi Gray 25 macro blocks describe the growth of the reliable region. Kuvakehykset 200 - 208 esitetään ajallisessa järjestyksessä. Frames 200 - 208 are shown in a chronological sequence.
': Kehys 200 käsittää 3x3 makrolohkosta muodostuvan luotettavan ,/ alueen. 'Frame 200 comprises a 3x3 macroblock consisting of a reliable, / the area. Seuraavassa kehyksessä 202 luotettavaa aluetta laajennetaan ai emman alueen kaikkia neljää sivua pitkin, jolloin muodostuu 5x5 mak-rolohkoa käsittävä luotettava alue. In the next frame 202 is extended al reliable larger area along all four sides to form a 5x5 comprising mak-rolohkoa reliable region. Vastaavaa menettelyä, jota voidaan kutsua * · • 30 ”box-out”-virkistyskuvioksi, sovelletaan seuraavissa kehyksissä 204 - 208. Ke- ..hyksessä 208 luotettava alue on laajennettu kattamaan koko kehyksen ala, ts A similar procedure could be called a * · • 30 "box-out" -virkistyskuvioksi, subject to the following frames 204 - 208. Ke-..hyksessä reliable region 208 is extended to cover the whole frame area, i.e.,
, : kehyksen kaikki makrolohkot. , All macroblocks in the frame. Luotettavien alueiden paikallisia rajoja osoittavat . local limits of the reliable regions show. · · ·. · · ·. paksut reunat ovat edullisesti makrolohkorajoja. thick edges are preferably makrolohkorajoja.
Kooderi päättää kulloinkin koodattavana olevan kehyksen luotet-: 35 tavaan alueeseen lisättävien makrolohkojen lukumäärän. The encoder decides each frame to be encoded is reliable: 35 tavaan area the number of macro blocks to be added. Päätös voi perustua ennalta määritettyyn virkistysnopeuteen tai lukumäärää voidaan säätää esi- 10 1 U679 merkiksi vallitsevien verkko-ominaisuuksien perusteella. The decision may be based on a predetermined refresh rate, or the number may be adjusted example of January 10 U679 mark on the basis of prevailing network properties. Lisättävien makro-lohkojen lukumäärä valitaan pääsääntöisesti asteittaisen dekooderin virkis-tyskuvion perusteella. added to the number of macro-blocks as a rule chosen on the basis of the gradual decoder virkis-tyskuvion. Asteittaisen dekooderin virkistyskuvion ensimmäisen kehyksen ensimmäiseen luotettavaan alueeseen syötettävät makrolohkot ovat 5 intrakoodattuja. The first reliable gradual decoder refresh pattern fed to the first frame region of the macroblocks are intra-coded 5.
Erään edullisen suoritusmuodon mukaisesti luotettavan alueen muodon kehitystä voidaan rajoittaa joustavuuden ja monimutkaisuuden kompromissina siten, että aluksi luotettava alue on makrolohko(je)n muodostama kiinteä suorakaide. According to a preferred embodiment of the development embodiment of the reliable region can be limited as a compromise between flexibility and complexity in such a way that the first reliable region is a macro block (s) formed by the solid rectangle. Aluetta voidaan laajentaa lisäämällä makrolohkoja tietyssä 10 järjestyksessä suorakaiteen jollekin neljästä sivusta. The area can be expanded by the addition of 10 macroblocks in a particular order, one of the four sides of the rectangle. Kun luotettavasta alueesta muodostuu taas suorakaide, voidaan suorakaiteen jokin toinen sivu ottaa makrolohkojen lisäyksen kohteeksi. When the reliable region is formed rectangular in turn, may be a rectangle having one side of macroblocks in addition. Laajennusnopeus voi olla myös nolla makrolohkoa. The expansion rate can also be zero macroblock.
Asteittaisen dekooderin virkistysjakson seuraavien kehysten osalta 15 kooderi toimii seuraavasti: viimeksi valitut makrolohkot lisätään nykyisen kehyksen luotettavaan alueeseen. As regards the gradual decoder refresh period of the next 15 frames the encoder operates as follows: the most recently called macro blocks are added to the reliable region of the current frame. Luotettavan alueen makrolohkot koodataan käyttämällä makrolohkon moodinvalintaa ja liikekompensaatioprosessia. Reliable region of macro blocks are encoded using a macroblock moodinvalintaa and motion compensation process. Liike-kompensaatioprosessissa liikevektoreiden etsintäaluetta rajoitetaan kuitenkin siten, että liikevektorit voivat viitata ainoastaan pikseleihin, jotka sijaitsevat as-20 teittaisen dekooderin virkistysjakson jonkin aiemman kehyksen luotettavalla alueella. Motion-compensation process, the motion vectors for the region, however, limited so that the motion vectors may refer to only the pixels, which are located in a secure area, As-20 of a gradual decoder refresh period of a previous frame.
(i>: Luotettavan alueen rekonstruoiminen ei saa olla riippuvainen re- konstruoiduista pikseliarvoista, jotka osuvat luotettavan alueen ulkopuolelle. Näin ollen tämä asettaa tiettyjä koodausrajoitteita. Esimerkiksi silmukka-.···. 25 suodatus ja suhteellinen pikseli-interpolointi luotettavan alueen ulkopuolisista pikseliarvoista tulee estää. Tällaisten koodausriippuvuuksien katkaiseminen ./ voidaan signaloida koodatussa datassa ja vastaava operaatio voidaan myö hemmin tehdä dataa dekoodattaessa. Koodatussa datassa voidaan signaloida esimerkiksi rajalinja, jolla silmukkasuodatus tulee kytkeä pois päältä. Vaihtoeh-•30 toisesti kooderi voi välttää sellaisen koodatun datan muodostamisen, joka viit-...: taa epäluotettaviin alueisiin. Esimerkiksi liikevektoreita voidaan rajoittaa siten, että liikeinterpoloinnissa ei käytetä pikseleitä, jotka sijaitsevat epäluotettavilla .···. alueilla. (I>.... A reliable reconstruction of the region may not be dependent on the reconstructed pixel values ​​which fall outside the reliable region Consequently, this places certain koodausrajoitteita example, the loop filter 25 ···, and the relative pixel interpolation from pixel values ​​outside the reliable region will prevent . such koodausriippuvuuksien off ./ can be signaled in the coded data and the corresponding operation can be done later myo data is decoded. coded data can be signaled, for example, boundary line, which loop filtering should be turned off. • Alternatively 30 rule, the encoder can avoid the encoded data of forming a reference .... TAA unreliable regions example, motion vectors may be limited so that liikeinterpoloinnissa is not used for pixels that are located in areas ··· unreliable...
Jos virkistysjakson aikana on useita ainakin osittain samanaikaisia : 35 luotettavia alueita, asteittaisen dekooderin virkistysjakson ensimmäisen kehyk- sen ensimmäiseen luotettavaan alueeseen liitettävät makrolohkot ovat intra- 114679 11 koodattuja. If, during a refresh cycle, a plurality of at least partially simultaneous 35 of reliable regions of the first frame of gradual decoder refresh period to be attached to the first reliable region of the macroblocks are intra-coded 114 679 11. Sen jälkeen seuraavat luotettavat alueet voivat viitata toisten luotettavien alueiden makrolohkoihin, jolloin ne voivat tarvittaessa olla inter-koodattuja. Then, the following secure areas may refer to a macroblock other reliable regions, so that they can be inter-coded, where appropriate. Viitekuvan valinnasta johtuen toisiinsa viittaavien luotettavien alueiden ajallista järjestystä ei ole rajoitettu. Due to the selection of reference The temporal order of the reliable regions to each other referring to is not limited. Kuitenkin samat koodausrajoitukset 5 liittyen silmukkasuodatukseen ja suhteelliseen pikseli-interpolointiin luotettavan alueen ulkopuolisista pikseliarvoista, kuten edellä on kerrottu, pätevät myös viitattaessa toiseen luotettavaan alueeseen. However, the same 5 relating to the coding loop filtering and fractional pixel interpolation from pixel values ​​outside the reliable region, as discussed above, also apply to the second reference is made to the reliable region.
Lisäksi makrolohkojen skannausjärjestys muutetaan koodauksessa ja dekoodauksessa edullisesti siten, että luotettava alue koodataan/ de-10 koodataan ensin rasterikuvausjärjestyksessä. In addition, the scan order of macro blocks in encoding and decoding is changed, preferably in such a way that the reliable region is coded / de-coded in the first 10 raster scan. Tämän jälkeen koodataan/ dekoodataan rasterikuvausjärjestyksessä ne loput makrolohkot, jotka eivät kuulu luotettavaan alueeseen. After this, the encoded / decoded in raster scan them to the rest of the macro blocks, which are not reliable region. Luotettavan alueen rajoja käsitellään kuten viipa-lerajoja. the boundaries of the reliable region is treated as viipa-lerajoja. Näin ollen viipaleiden sisällä tapahtuva ennustus ei voi viitata luotettavan alueen rajojen yli. Thus, the intra-slices prophecy can not refer to borders reliable over the area.
15 On myös mahdollista käyttää koodausmenetelmää, jossa määri tetään luotettava alue, mutta ei sovelleta kaikkia edellä mainittuja koodaus-rajoitteita. 15 It is also possible to use a coding method, which are reliably Moravian region, but does not apply to all of the above-mentioned coding constraints. Tässä menetelmässä koodataan kokonaisen kuvan makrolohkot normaalissa järjestyksessä (ts. rasterikuvausjärjestyksessä, mikäli ei käytetä hajautettuja viipaleita tai jotakin vastaavaa koodaustekniikkaa). the entire image is coded macroblocks this method, the normal order (ie. in raster scan order, if not in use distributed slices or a similar encoding technique). Tästä johtuen 20 luotettavien alueiden ja muiden alueiden (eli makrolohkojen, jotka eivät kuulu luotettavaan alueeseen) koodatut datat lomitetaan keskenään. As a result, the encoded 20 datat reliable regions and the other regions (i.e., macroblocks that do not belong to a trusted zone) are interleaved with each other. Lisäksi kuvan [: luotettavan alueen jotkin koodausparametrit ovat riippuvaisia muiden alueiden •: I joistakin koodausparametreista. In addition, the image [: some of the coding parameters of the reliable region are dependent on • the other regions: I, some encoding parameters. Esimerkkejä tällaisista koodausparametreista ovat lähellä luotettavan alueen reunaa olevat liikevektorit. Examples of such coding parameters are near the edge of the area in a reliable motion vectors. Näiden liikevek-.*·. These liikevek -. · *. 25 toreiden ennustamisessa käytetään ympäröiviä liikevektoreita myös mainituilta , ' : muilta alueilta. 25 toreiden used in predicting the motion vectors of the surrounding mentioned, 'in other regions. Silmukkasuodatukseen ja suhteelliseen pikseli-interpolointiin luotettavan alueen ulkopuolisista pikseliarvoista liittyvät koodausrajoitukset pätevät kuitenkin myös tässä tapauksessa. However, regarding loop filtering and fractional pixel interpolation from pixel values ​​outside the reliable region coding constraints also apply in this case. Tätä menetelmää voidaan kutsua IREG-D-menetelmäksi, jossa IREG tarkoittaa eristettyä aluetta (isolated re-30 gion) ja D osoittaa riippuvuutta (dependency) joidenkin eristetyn alueen koo-...: dattujen parametrien ja muun alueen välillä. This method may be called IREG-D method, wherein the IREG refers to an isolated area (isolated re-gion 30) and D showing the relationship (dependency) of some of the isolated region intends -... between of encoded parameters and the rest of the area.
Näin ollen edellä kuvattua luotettavan alueen koodausmenetelmää, .···. Thus, the above-described reliable region coding method. ···. jossa kaikki koodausrajoitukset ovat voimassa, voidaan vastaavasti kutsua l'·' IREG-l-koodaustekniikaksi. wherein all the coding constraints are valid, respectively, may be called L '· "IREG-I coding technique. IREG-l-menetelmässä luotettavan alueen makro- : 35 lohkot koodataan ensin, jonka jälkeen vasta koodataan loput makrolohkot. IREG-I method, the reliable region macro 35 blocks are coded first, after which the rest of the macroblocks is encoded.
Näin ollen luotettavan alueen koodattu data on erotettavissa muiden alueiden 114679 12 koodatusta datasta. encoded data is reliable region must therefore be distinguished from the encoded data 114 679 12 other regions. Kirjain I lyhenteessä IREG-I osoittaa eristetyn alueen koo-dausparametrien riippumattomuutta (independency) muista alueista. The letter acronym of IREG-I, I shows the isolated region intends dausparametrien-independence (Independency) in other areas. Menetelmää voidaan edullisesti soveltaa käyttämällä ns. The method can be advantageously applied using the so-called. alikuvaa. sub-picture. Alikuvan soveltamiseen liittyvää edullista suoritusmuotoa kuvataan yksityiskohtaisemmin 5 jäljempänä. A preferred embodiment of the sub-picture in the application described in more detail 5 below.
Seuraavassa selostetaan erään edullisen suoritusmuodon mukaista dekoodausprosessia. In the following, the decoding process according to a preferred embodiment. On huomattava, että videosekvenssin dekoodauspro-sessi on riippumaton koodausprosessista. It should be noted that the video sequence dekoodauspro-process is independent of the encoding process. Näin ollen dekoodauksen suorittaminen edellyttää ainoastaan, että dekoodattava videosekvenssi käsittää 10 tiettyjä keksinnölle tunnusomaisia ominaisuuksia. Thus, the performance of decoding only requires that the decoded video sequence 10 comprises a number of distinctive features of the invention. Yllä kuvatut koodausmenetelmät eivät täten aseta rajoituksia dekoodattavalle videosekvenssille. coding methods described above are therefore not place restrictions decoded video sequence.
Kun dekooderi vastaanottaa videosekvenssin mukana signaloidun parametrijoukon, dekooderi tarkistaa, osoittaako se luotettavia alueita käytettävän. When the decoder receives a parameter set signaled with the video sequence, the decoder checks as to whether the regions it reliable to use. Jos signaloitu parametrijoukko osoittaa, että IREG-I:tä käytetään, de-15 kooderi aloittaa uuden kuvan dekoodauksen tai jatkaa nykyisen kuvan dekoodausta. If the signaled parameter set indicates that the IREG-I is used, the de-coder 15 to begin decoding a new image, or continue the current image decoding.
Jos uuden kuvan dekoodaus aloitetaan, dekooderi tarkistaa, muo-dostetaanko uusi luotettava alue. If the new image decoding is started, the decoder checks, fas-dostetaanko new reliable region. Kun uusi luotettava alue muodostetaan, nollataan edellisen luotettavan alueen muoto-, koko- ja sijaintimääritykset. When a new reliable region is formed, a reliable reset to the previous area of ​​the shape, size, and location of. Kun 20 uuden kuvan dekoodaus aloitetaan, päivitetään luotettavien alueiden muoto-, koko- ja sijaintimääritykset vastaanotettujen parametrien mukaisesti. When the decoding of a new image 20 is initiated, the reliable regions are updated shape, size, location and configuration in accordance with the received parameters.
: : Kun luotettavien alueiden muoto-, koko- ja sijaintimääritykset on ; : When the shape, size, and location of the reliable regions; i päivitetty, viipaleen ensimmäisen makrolohkon makrolohko-osoite identifioi, ; i updated, the first macroblock of a slice of macroblock address identifies; Y; Y; mihin luotettavaan alueeseen viipale kuuluu vai kuuluuko viipale muuhun (ei- Y ·, 25 luotettavaan) alueeseen. to the reliable region is a slice of a slice or whether other (non-Y · 25 reliable) region. Kuvan luotettavat alueet dekoodataan ensin. The reliable regions is decoded first.
Jokaisen makrolohkon silmukkasuodatusta rajoitetaan siten, että , viereisistä makrolohkoista tarkistetaan, kuuluvatko ne eri alueisiin (ts ensim mäinen kuuluu luotettavaan alueeseen ja toinen muuhun alueeseen tai makro-lohkot kuuluvat eri luotettaviin alueisiin). Each macroblock silmukkasuodatusta is restricted, so that, it is checked from the adjacent macroblocks, whether they belong to different regions (i.e. Ensim -like belongs to the reliable region and the second region, or other macro-blocks belong to different reliable regions). Jos jokin viereisistä makrolohkoista '· 30 kuuluu eri alueeseen, silloin kyseinen makrolohkoraja suodatetaan siten, kuin kyseessä olisi kuvien välinen raja. If one of the neighboring macroblocks' · 30 belongs to a different area, then the makrolohkoraja filtered so as for a border between the pictures. Lisäksi intraennustusta dekoodattavan luo-tettavan alueen ulkopuolisilta alueilta ei edullisesti sovelleta. In addition, the areas outside of intraennustusta had to be decoded for use as a region preferably does not apply.
,···. , ···. Jos signaloitu parametrijoukko osoittaa, että käytetään IREG-D:tä, '·' dekooderi dekoodaa viipaleen samalla tavalla kuin edellä kuvatussa IREG-I:ni .: 35 tapauksessa, paitsi makrolohkojen sijaintipäätöksen osalta. If the signaled parameter set indicates the use of IREG-D, "·", the decoder decodes a slice the same way as described above, IREG-I ni. 35 case, except for the location of the macroblocks decision. Makrolohkojen :...: tilajärjestys on normaali ja viipale voi käsittää makrolohkoja useista luo- 114679 13 tettavista alueista ja muista alueista samanaikaisesti. Macroblock: ...: order is normal, and a slice may comprise a plurality of macroblocks 114 679 13 use in the creation of zones and other areas at the same time. Suurin ero on siinä, että intraennustus voidaan suorittaa aluerajojen yli. The main difference is that the intraennustus can be carried out over an area of ​​the corner. Silmukkasuodatukseen ja suhteelliseen pikseli-interpolointiin luotettavan alueen ulkopuolisista pikseliarvoista liittyvät koodausrajoitukset pätevät kuitenkin myös tässä tapauksessa. However, regarding loop filtering and fractional pixel interpolation from pixel values ​​outside the reliable region coding constraints also apply in this case.
5 Erään edullisen suoritusmuodon mukaisesti edellä kuvatun menet telyn vaatimat muutokset voidaan aikaansaada lisäämällä joitakin uusia parametreja signaloitavaksi koodatun videosekvenssin yhteydessä. 5 According to a preferred embodiment of the procedure required by the changes go described above can be achieved by adding some new parameters are signaled in connection with the encoded video sequence. Parametrit voidaan signaloida ennen videoskannausjaksoa tai ne voidaan lähettää tai päivittää videoskannausjakson aikana. The parameters may be signaled before the video scanning period, or they may be sent or updated during the video scanning session. Parametrijoukkoon voidaan lisätä esimer-10 kiksi seuraavat parametrit: 1. Eristetyn alueen tyyppi (TIR). The parameter set can be added for example an 10 example, the following parameters: 1. The type of the isolated region (TIR). Osoittaa käytetäänkö eristettyä aluetta ja mitä tyyppiä käytetään. Indicates to use an isolated area and what type is used.
None: Eristettyä aluetta ei käytetä. None: The isolated area is not used. Näin ollen makrolohkot koodataan normaalina koodauksena. Consequently, the macroblocks are coded as a normal coding.
15 IREG-D: Käytetään normaalin bittivirtajärjestyksen mukaisia eris tettyjä alueita. 15 IREG-D is used tettyjä isolation regions within the normal bit-stream order.
IREG-I: Käytetään eristetyn bittivirtajärjestyksen mukaisia eristettyjä alueita. IREG-I: Use of isolated regions within the isolated bit-stream order.
2. Samanaikaisten eristettyjen alueiden lukumäärä (NSIR). 2. The number of simultaneous isolated regions (NSIR). Signaloi 20 kuinka monta eristettyä aluetta tietyssä kuvassa esiintyy samanaikaisesti. Signals 20 the number of the isolated area in a given image are simultaneously present. Arvoa rajoittavat profiili ja taso. Limit the value of the profile and level. Jokainen alkava eristetty alue identifioidaan yksi- : löllisesti juoksevalla numeroinnilla, alkaen esimerkiksi 0:sta tai 1:stä. Each region is identified beginning with the isolated single-: uniquely running number, for example, from 0 to 1 or from. Tunnisti teestä käytetään nimeä IREG ID. Identified tea called IREG ID. Jokaiselle IREG ID:lle johdetaan seuraavat :parametrit: ··. For each IREG ID is passed to the following: Parameters: ··. 25 3. Eristettyjen alueiden muodonmuutostyyppi: Tämä parametri mää- , ' : rittää eristettyjen alueiden sijainnit, muodot ja muokkausjärjestykset. 3. The type of deformation 25 of the isolated regions: this parameter is determined, 'locations, shapes, and muokkausjärjestykset the potency of the isolated regions. Seuraavia '. The following '. / arvoja esitetään käytettäväksi: / Values ​​shown in use:
Raster scan: Eristetyn alueen ensimmäinen makrolohko on kuvan vasemmassa yläkulmassa. Raster scan: The first macroblock of the isolated region is the top left of the image. Eristetty alue kasvaa rasterikuvausjärjestyksessä. The isolated region grows in raster scan.
30 Reverse raster scan: Eristetyn alueen ensimmäinen makrolohko on kuvan oikeassa alakulmassa. 30 Reverse raster scan: The first macroblock of the isolated region is the bottom right of the image. Eristetty alue kasvaa vastakkaisessa rasteri-kuvausjärjestyksessä. The isolated region grows in reverse raster imaging sequence.
.···. . ···. Wipe right Eristetyn alueen ensimmäinen makrolohko on kuvan va- semmassa yläkulmassa. Wipe right first macroblock of the isolated region is at the lower left corner of the image. Eristetty alue kasvaa ylhäältä alas. The isolated region grows from top to bottom. Alimmaisen mak-: 35 rolohkosarakkeen jälkeen seuraava makrolohko on seuraavaksi oikealla ole- :: van makrolohkosarakkeen ylin makrolohko. Of the lowest maximum 35 rolohkosarakkeen after the next macroblock is right next OLE :: van makrolohkosarakkeen top macroblock.
114679 14 114 679 14
Wipe left Eristetyn alueen ensimmäinen makrolohko on kuvan oikeassa alakulmassa. The first macroblock of the isolated region Wipe left is a picture of the bottom right corner. Eristetty alue kasvaa alhaalta ylös. The isolated region grows from bottom to top. Ylimmäisen makro-lohkosarakkeen jälkeen seuraava makrolohko on seuraavaksi vasemmalla olevan makrolohkosarakkeen alin makrolohko. After the Highest makrolohkosarakkeen next macroblock is next to the left makrolohkosarakkeen lowest macroblock.
5 Box out clockwise: Eristetyn alueen ensimmäisen makrolohkon si jaintia ei edullisesti ole rajoitettu. 5 Box out clockwise: the first macroblock of the isolated region and the Indian Si is preferably not restricted. Eristetty alue kasvaa myötäpäivään aiemmin määritetyn eristetyn alueen ympäri. The isolated region grows clockwise around the previously determined in the isolated region.
Box out counter-clockwise: Vastaava kuin edellä, mutta eristetty alue kasvaa vastapäivään. Box out counter-clockwise: Same as above, but the isolated region grows counter-clockwise.
10 Pre-defined free-form: Tähän parametriarvoon liitetään lista makro- lohkonumeroista, jotka määrittävät eristetyn alueen sijainnin, muodon ja kas-vujärjestyksen. 10 Pre-defined free-form: This parameter value is connected to the macro block list of numbers, which determine the location, shape and vujärjestyksen now-isolated region. Nämä ennalta määritetyt vapaat muodot välitetään dekoo-derille edullisesti etukäteen videoskannausjakson aikana. These pre-defined free form is transmitted to decoding derille preferably in advance during the video scanning session. Makrolohkot numeroidaan rasterikuvausjärjestyksessä alkaen kuvan vasemman yläkulman mak-15 rolohkosta, jonka numero on 0. On huomattava, että eristetyn alueen muodon tulee noudattaa edellä annettuja rajoitteita. The macroblocks are numbered in raster scan order from the upper left corner MAK-15 rolohkosta whose number is 0. It should be noted that the shape of the isolated area must comply with constraints given above.
Pre-defined static rectangle: Tämä parametriarvo ilmoittaa, että eristetty alue pysyy samana IREG GOP:n sisällä. Pre-defined static rectangle: This parameter indicates that the isolated region is the same IREG GOP inside. Tähän arvoon liitetään eristetyn alueen vasen yläkulma sekä eristetyn alueen leveys ja korkeus. This value is connected to the upper left corner of the isolated region and the isolated region the width and height. Myös 20 nämä ennalta määritetyt arvot välitetään dekooderille edullisesti etukäteen videoskannausjakson aikana. Also, these 20 pre-defined values ​​are transmitted to the decoder in advance, preferably during the video scanning session.
: Dynamic rectangle: Tätä parametria käytetään vain silloin, kun :* IREG-I on käytössä. Dynamic rectangle: This parameter is used only if: * the IREG-I is used. Tätä alueen muokkausmoodia käytetään alikuvan kooda- ukseen. Muokkausmoodia This area is used for the sub-picture coded Meeting. On huomattava, että tässä yhteydessä eristetty alue missä tahansa .···. It should be noted that, in this isolated area anywhere. ···. 25 kehyksessä on suorakulmio. 25 frame is a rectangle. Parametrijoukossa ei määritellä eristetyn alueen sijaintia, muotoa tai kasvujärjestystä, vaan vastaavat parametrit liitetään viipa-!.. ' leen otsikkokenttään. A set of parameters does not define the position of the isolated area, shape, or growth of the order, but the corresponding parameters associated viipa -! .. 'Lee's subject line.
4. Eristetyn alueen kasvunopeus (GRIR). 4. The growth rate of the isolated region (GRIR). Tämä parametri määrittää, kuinka monta makrolohkoa per kuva lisätään edellä kuvattujen parametri-30 en määrittämään eristettyyn alueeseen. This parameter determines the number of macro blocks per picture is added to the above-described parameter I-30 to define an isolated region. Vaihtuvalle kasvunopeudelle käyte-tään omaa parametriarvoa. Alternating the rate of growth is used as a parameter value of its own. Jos vaihteleva kasvunopeus esitetään para-metrijoukon osana, ilmaistaan todellinen kehyskohtainen kasvunopeus viipa-. If the varying growth speed is shown as part of the para-meter of a series, expressed as the actual frame-by-slice growth rate. · · ·. · · ·. leen otsikkokentässä. Lee's subject field.
ta · • · a • « • aa 15 114679 · ta · • a • «• aa 15 114679
Constant rate ofN: Eristetty alue kasvaa N:llä (N>=1) makrolohkolia per jokainen kuva. Constant rate ofN: The isolated region grows by N (N> = 1) makrolohkolia per each picture.
Pre-defined rate: Tähän parametriarvoon liitetään joukko arvoja {ai, 32, ..., an}, joista kukin määrittää yhdessä kuvassa luotettavaan alueeseen 5 liitettävien makrolohkojen lukumäärän. Pre-defined rate: This parameter value is connected to a set of values ​​{al, 32, ..., n}, each of which determines the number of macroblocks in one picture to be connected to the reliable region 5. N vastaa IREG-jakson aikaisten kuvien lukumäärää ja ai on eristetyn alueen alkuperäinen koko makrolohkoina määritettynä. N corresponds to the IREG-term period, the number of images, and al is an isolated area of ​​the original size of the macroblock determined.
Varying rate: Kasvunopeus ilmaistuna eristetyn alueen kasvunopeutena (GRIR) viipaleen otsikkokentässä. Varying rate: The growth rate is expressed as a growth rate of the isolated region (GRIR) the slice header field.
10 Tietyn virkistyskuvion mukaista makrolohkojen liittämisen esimerk- kiprosessia luotettavaan alueeseen voidaan havainnollistaa viittaamalla kuvioon 3. Kuvio 3 esittää erään kasvavan luotettavan alueen muutamia ensimmäisiä kuvakehyksiä (300 -310), jonka luotettavan alueen muodon-muutostyypiksi on määritetty “Box out clockwise" ja vakiokasvunopeudeksi 15 (GRIR) kolme makrolohkoa. Ensimmäinen kehys 300 käsittää L-muotoisen luotettavan alueen (“Box out clockwise” muodon mukaisesti), joka koostuu kolmesta makrolohkosta. Seuraavat kolme makrolohkoa lisätään luotettavaan alueeseen seuraavassa kehyksessä 302. Muodonmuutostyyppi ohjaa uusien makrolohkojen paikkaa siten, että muodostuu 3x2 makrolohkon luotettava 20 alue. Prosessia jatketaan kussakin kehyksessä 304 - 310 lisäämällä kolme uutta makrolohkoa luotettavan alueen ulkoreunoja pitkin myötäpäivään. 10 a certain refresh pattern of macroblocks interconnection exemplary post-transaction processes reliable region compound may be illustrated with reference to Figure 3. Figure 3 shows a growing reliable region of the first few image frames (300 -310) having a reliable region of Form muutostyypiksi is set to "Box out clockwise" and a constant growth rate of 15 ( GRIR) three macroblock. the first frame 300 comprises in accordance with the shape of the L-shaped confidence region ( "Box out clockwise"), which consists of three macroblocks. three macroblock are added to the reliable region in the next frame 302. the deformation type controls the new macroblocks in place so as to form a 3x2 macroblock . reliable region 20 the process is continued for each of the frames 304 - 310, by adding three new macroblock along the outer edges of the reliable region in the clockwise direction.
: : Kuten edellä on kuvattu, mahdollistaa JVT/H.26L:n rakenne video- * > * · koodauskerroksen (VCL) tai dataosituskerroksen (DPL) dataformaatin muok- .y. : As described above, enables the JVT / H.26L The structure of the video *> * · koodauskerroksen (VCL) or dataosituskerroksen (DPL) .y A modulating the data format. kaamisen useille eri verkkotyypeille sopivaksi. obviously correspond to a number of different network types to suit. Datan ositus mahdollistaa sub- 25 jektiivisesti ja syntaktisesti tärkeämmän datan lähettämisen erillään vähem-män tärkeästä datasta. Data partitioning allows a subjective sub 25 and the transmission syntactically more important data separately from less ticked important data. Dekooderit eivät välttämättä kykene dekoodaamaan * I · :,.' The decoders may not be able to decode the I · *:, '. vähemmän tärkeää dataa ilman vastaanotettua tärkeämpää dataa. less important to more important data without the data received. Kun käyte- * * ·' tään esimerkiksi RTP-siirtoformaattia, RTP-siirtovuo ei käsitä lainkaan kuva- kerrosta tai kuvien otsikkokenttiä. When used * · * ", for example, the RTP transport format, the RTP transport stream does not comprise any picture layer or picture headers. Tämä perinteisesti kuva- ja jaksokerroksille 30 kuulunut data lähetetään sen sijaan pääsääntöisesti kaistan ulkopuolisena datana. This traditionally been part of the image and jaksokerroksille 30, data is transmitted on the other hand, as a rule-of-band data. Lukuisia tällaisen datan kombinaatioita voidaan lähettää ja jokaista lähetettyä kombinaatiota kutsutaan parametrijoukoksi, joka numeroidaan. A number of combinations of such data can be transmitted, and each transmitted combination is called a parameter group that numbered. Käy- ,···. Start, ···. tössä oleva parametrijoukko identifioidaan sen jälkeen lähetetyssä viipaleen otsikkokentässä. The set of parameters identifying the nervous then transmitted in the slice header field.
• · 114679 16 Täten erään edullisen suoritusmuodon mukaisesti seuraavat ehdolliset parametrit voidaan lisätä viipaleen otsikkokenttään, edullisesti ennen vii-tekuvan valintaparametreja: 1. Eristetyn alueen jaksonumero (SNIR). • · 114 679 16 Thus, in accordance with a preferred embodiment, the following conditional parameters may be added to the slice header field, preferably before vii tekuvan selection parameters: 1. the sequence number of the isolated area (SNIR). Tätä parametria käyte-5 tään, jos parametrijoukko ilmaisee eristettyjä alueita käytettävän. This parameter is avai-five to, if the parameter set indicates the use of isolated regions. Arvo 0 tarkoittaa, että jaksonumero (SNIRb) vähennetään viimeisimmästä lähetetystä SNIR-arvosta SNIRa, vastaavasta kuvanumerosta Pna, ja senhetkisestä ku-vanumerosta PNb seuraavalla tavalla: SNIRb = PNb - Pna + SNIRa, missä kuvanumeroiden välinen laskutoimitus huolehtii mahdollisista päällekkäisyyk- 10 sistä. A value of 0 indicates that the sequence number (SNIRB) is subtracted from the last transmitted SNIR value SNIRa, the corresponding picture number Pna, and the current picture number PNb follows: SNIRB = PNb - Pna + SNIRa, wherein the calculation between the image numbers takes care of possible overlaps of 10 sequence. Arvo 1 osoittaa uuden luotettavan alueen alkua ja se lähetetään ainakin kerran jokaisen IREG-jakson aikana. A value of 1 indicates the start of a new reliable region and it will be sent at least once during each IREG-period. Nollaa suuremmat arvot ilmaisevat jak-sonumeron eksplisiittisesti ja niitä voidaan käyttää virheenkorjauksen parantamiseen. values ​​greater than zero indicate Jak-sonumeron explicitly, and can be used to improve error correction.
2. Eristetyn alueen muodonmuutos (SCIR). 2. The isolated area of ​​deformation (SCIR). Tätä parametria käyte-15 tään, jos parametrijoukko osoittaa, että eristetylle alueelle käytetään vaihtuvaa kasvunopeutta (“varying rate”) tai jos eristetyn alueen muodonmuutostyyppi on dynaaminen suorakulmio (“dynamic rectangle”). This parameter is available in public areas 15 to, if the parameter set indicates the use of a variable rate of increase in the isolated region ( "varying rate") or if the deformation of the isolated region is dynamic rectangle type ( "dynamic rectangle"). Arvo 0 tarkoittaa, että kasvunopeus tai suorakulmaisen eristetyn alueen muoto, koko ja sijainti on sama kuin missä tahansa saman kuvan viipaleessa. A value of 0 means that the growth rate or the shape of a rectangular insulated region, size and location is the same as any of the same image slice. Arvo 1 osoittaa, että GRIR ja 20 IRIR ovat samat kuin edellisessä tallennetussa ja lähetetyssä kuvassa. A value of 1 indicates that the GRIR IRIR and 20 are the same as the previous stored and transmitted picture. Arvo 2 osoittaa, että seuraavaksi tulee joko GRIR tai IRIR. The value 2 indicates that the next will be either GRIR or IRIR. GRIR ja IRIR toistetaan : ”: kuvan jokaiselle eristetylle alueelle. GRIR and IRIR repeated: "image for each isolated area.
•; •; · · * 3. Eristetyn alueen kasvunopeus (GRIR). · · * 3. In the isolated region growth rate (GRIR). Tätä parametria käytetään .v. This parameter is used .V. vain, jos parametrijoukko osoittaa eristetylle alueelle käytettävän vaihtuvaa ,···. only if the parameter set indicates a variable used in an isolated area, ···. 25 kasvunopeutta. 25 growth rate. Parametri ilmoittaa eristettyyn alueeseen lisättävien makro- I · lohkojen lukumäärän verrattuna koodausjärjestyksessä aiemmin tallennetun ;.. * kehyksen eristettyyn alueeseen. Parameter is indicative of the isolated region added to the macro I · compared to the number of blocks previously stored in coding; .. * frame in the isolated segment.
·' 4. Tietoa suorakulmaisesta eristetystä alueesta (IRIR). · '4. Information insulated rectangular area (IRIR). Tätä para- metriryhmää käytetään, jos eristetyn alueen muodonmuutostyyppi on dynaa-30 minen suorakulmio. This parameter group is used, if the isolated area deformation type is a dynamically-30 of the rectangle. Tällöin käytetään seuraavaa neljää koodisanaa: In this case, the following four codewords are used:
Left: Eristetyn alueen vasemmanpuolimmaisen makrolohkon koor- dinaatti (makrolohkoina). Left: the isolated region leftmost macroblock in the coordinate (in the macroblock). Kuvan vasemmanpuolimmaisin makrolohkosarake , · · ·. The left most makrolohkosarake, · · ·. saa arvon nolla. has the value zero.
Top: Eristetyn alueen ylimmän makrolohkon koordinaatti (makro- Top: top coordinate of the macroblock of the isolated region (macro-
i *.· 35 lohkoina). i *. · 35 segments). Kuvan ylin makrolohkorivi saa arvon nolla. The highest macroblock is given the value zero.
• I * » · 114679 17 • I * »· 114679 17
Width: Eristetyn alueen leveys. Width: the width of the isolated region. Koodisanat määritetään seuraa-valla tavalla: The code words are determined by the following-manner:
Symboli no UVLC-koodi__Selitys_ 0 1 Arvaus = (Oikeanpuolimmaisin - Symbol no UVLC-koodi__Selitys_ 0 1 Guess = (right-hand side -
Vasen) / 2 + 1, missä Oikeanpuolimmaisin on kuvan oikeanpuolimmaisimman makro-lohkon sarakeosoite ja / tarkoittaa jakamista pyöristämällä. Left) / 2 + 1, where the right-hand side is the image of the right-macro-block of the column and / sharing means rounding. Esimerkiksi QCIF-kuvalle, jossa Vasen on 3, Leveydeksi ___saadaan (10-3)/2+1 =4._ _1 001__Arvaus + 1_ _2 011__Arvaus -1_ _3 00001__Arvaus + 2_ _4 00011__Arvaus - 2_ 5 Height: Alikuvan korkeus. For example, a QCIF picture, which is the Left 3, the width to ___saadaan (10-3) / 2 + 1 = i-1 4._ 001__Arvaus 1_ + _2 011__Arvaus -1_ _3 00001__Arvaus + _4 2_ 00011__Arvaus - 2_ 5 Height: height of the sub-image. Koodisanat määritetään vastaavalla taval la kuin Leveydelle. The code words are determined in a corresponding However, ordinary Ia than the width.
JVT-videokoodekin parametrijoukkojen tarkemman kuvauksen osalta viitataan ISO/IEC dokumentteihin “VCEG-N52” ja VCEG-N72M ”. JVT video codec, a more detailed description of the parameter sets, reference is made to ISO / IEC documents "VCEG-N52" and VCEG-N72M ".
' * · ·' Seuraavassa selostetaan erään edullisen suoritusmuodon mukaista : 10 dekoodausprosessia. "* ·" In the following, a preferred embodiment of the compound: 10 decoding process. Havainnollisuuden vuoksi tässä yhteydessä oletetaan, \v että videosekvenssin mukana signaloitu (joko kaistan sisäisenä tai ulko- puolisena signalointina) parametrijoukko käsittää ainakin joitakin yllä kuvattuja Γ ,: parametreja. For illustrative purposes, it is assumed in this context, \ v that signaled with the video (either band as an internal or external signaling) comprises a set of parameters, at least some of the above-described Γ,: parameters. On kuitenkin huomattava, että yllä esitetyt parametrit ovat vain esimerkkejä siitä, kuinka halutut ominaisuudet voidaan saavuttaa. It should be noted, however, that the above parameters are only examples of how the desired properties can be achieved. Alan am-15 mattimiehelle on ilmeistä, että saman lopputuloksen aikaansaava imple-, mentaatio voidaan toteuttaa lukuisilla eri tavoilla käyttäen eri parametri- joukkoja. Those AM-15 flask art it is obvious that the same result inducing imple-, mentary can be implemented in numerous ways, using different parameter sets.
;* Kun dekooderi vastaanottaa videosekvenssin mukana signaloidun ; ; * When the decoder receives the signaled with the video sequence; » » v ·* parametrijoukon, dekooderi tarkistaa, osoittaako se luotettavia alueita käytet- 20 tävän. "" V · * set of parameters, the decoder checks, does it point of reliable regions 20 used in practice. Jos signaloitu parametrijoukko osoittaa, että IREG-I:tä käytetään, de-kooderi dekoodaa viipaleen seuraavalla tavalla: If the signaled parameter set indicates the IREG-I is used, the de-coder decodes the slice in the following manner:
Jos dekoodattavan viipaleen kuvanumero eroaa aiemmin dekoodatun viipaleen kuvanumerosta, tai jos dekoodattavan viipaleen ajallinen viite 114679 18 eroaa aiemmin dekoodatun viipaleen ajallisesta viitteestä, aloitetaan uuden kuvan dekoodaus. If the slice to be decoded picture number different from the previously decoded slice, a picture number, or if the temporal reference to be decoded slice 114 679 18 differs from the previously decoded slice, the temporal reference that starts the decoding of a new picture. Muussa tapauksessa jatketaan senhetkisen kuvan dekoodausta. Otherwise, continue with the current image decoding.
Jos uuden kuvan dekoodaus aloitetaan, dekooderi tarkistaa, muo-5 dostetaanko uusi luotettava alue. If the new image decoding is started, the decoder checks, fas-5 dostetaanko new reliable region. Jos parametrijoukon jokin luotettavaan alueeseen liittyvä parametri on muuttunut, dekooderi päättelee, että uusi luotettava alue on muodostettava. If the parameter set a parameter associated with the reliable region is changed, the decoder concludes that a new reliable region is formed. Vastaavasti jos SNIR on 1, dekooderi päättelee, että uusi luotettava alue on muodostettava. Similarly, if the SNIR is 1, the decoder concludes that a new reliable region is formed. Kun uusi luotettava alue muodostetaan, nollataan edellisen luotettavan alueen muoto-, koko- ja sijain-10 timääritykset. When a new reliable region is established, the zero reliable region of the previous shape, size, and location of the assay The 10. Kun uuden kuvan dekoodaus aloitetaan, päivitetään luotettavien alueiden muoto-, koko- ja sijaintimääritykset (yksi luotettava alue kerrallaan) seuraavasti: When the decoding of a new picture is started, the reliable regions are updated in the shape, size and location of the (one reliable region at a time) the following:
Jos luotettavan alueen muodonmuutostyyppi on ei-suorakulmio ja kasvunopeus on vakio, luotettavan alueen muoto-, koko- ja sijaintimääritykset 15 lasketaan ikään kuin vakiomäärä makrolohkoja lisättäisiin nolla-kokoiseen luotettavaan alueeseen SNIR kertaa. If the reliable region of the deformation type is non-rectangular and the growth rate is constant, the reliable region of the shape, size, and location of 15 is calculated as a constant number of macroblocks to increase the zero-sized reliable region SNIR times.
Jos luotettavan alueen muodonmuutostyyppi on ei-suorakulmio ja kasvunopeus on ennalta määritetty, osoittaa SNIR edelliseen tallennettuun ja lähetettyyn kuvaan liittyvään vastaavaan luotettavaan alueeseen lisättävien 20 makrolohkojen aSNiR lukumäärän. If the reliable region of the deformation type is non-rectangular and the growth rate is predetermined, and shows the SNIR of the previous stored and transmitted picture corresponding to the reliable region associated added 20 aSNiR the number of macro blocks.
Jos luotettavassa alueessa käytetään ennalta määritettyä vapaamuotoista tyyppiä, mutta kasvunopeus signaloidaan jokaiselle kuvalle erik-: seen, luotettavan alueen muoto ja koko muodostetaan lisäämällä GRIR kap- , v. paletta makrolohkoja ennalta määritetyssä järjestyksessä edellisen tallennetun , 25 ja lähetetyn kuvan luotettavaan alueeseen. If the reliable region is used for free-form type of predetermined, but the growth rate signaled in each image separately for, the shape and size of the reliable region is formed by adding GRIR capsule, in the crosspiece macroblocks in a predetermined order, the previous stored, 25 and the transmitted image to the reliable region..
. . Jos muodonmuutostyyppi on ennalta määritetty staattinen suora- ;, ': kulmio, sen koko, muoto ja sijainti ilmoitetaan parametrijoukossa. If the shape evolution type is a predetermined linear static;, ': gon, its size, shape, and reported to the parameter set. Jos muo donmuutostyyppi on dynaaminen suorakulmio, sen koko, muoto ja sijainti ilmoitetaan viipaleen otsikkokentässä. If fas donmuutostyyppi is dynamic rectangle, the size, shape and position of the slice indicated in the header field. Kun luotettavien alueiden muoto-, koko-30 ja sijaintimääritykset on päivitetty, viipaleen ensimmäisen makrolohkon makro-, / lohko-osoite identifioi, mihin luotettavaan alueeseen viipale kuuluu vai kuuluu- /;·. When the reliable regions shape, size, and location of 30 is updated, the first macroblock of slice macro, / block address identifies which reliable region is a slice or kuuluu- /, ·. ko viipale muuhun (ei-luotettavaan) alueeseen. co slice of other (non-trusted) area. Kuvan luotettavat alueet de- koodataan ensin. The reliable regions are decoded first.
t » t »
Ennen kuin makrolohkon koodattu data dekoodataan, sen tilasijainti i · * • V 35 lasketaan. Before the macro block coded data is decoded, the state of location i · * • V 35 is calculated. Makrolohkojen tilajärjestys on normaali (joko rasteri- tai hajautettu • · * » • · # 114679 19 kuvausjärjestys), mutta makrolohkot, joiden sijainti osuu senhetkisesti dekoodattavan luotettavan tai muun alueen ulkopuolelle, jätetään väliin. The spatial macroblock order is normal (either raster or decentralized • · * »• · # 114 679 19 Description of the sequence), but the macro blocks whose location falls outside the currently reliable or other area to be decoded, will be skipped.
Jokaisen makrolohkon silmukkasuodatusta rajoitetaan seuraavasti: Jos vasemmalla puolella oleva viereinen makrolohko kuuluu eri alueeseen (ts Each macroblock silmukkasuodatusta limited to the following: If the left side of the neighboring macroblock belongs to a different region (i.e.
5 ensimmäinen kuuluu luotettavaan alueeseen ja toinen muuhun alueeseen tai makrolohkot kuuluvat eri luotettaviin alueisiin), makrolohko suodatetaan siten, kuin kyseessä olisi vasemmanpuoleinen kuvaraja. 5 includes a first reliable region and the second region or any other macroblocks belong to different reliable regions), the macroblock is filtered as if it were on the left picture boundary. Jos yläpuolella oleva viereinen makrolohko kuuluu eri alueeseen, makrolohko suodatetaan siten, kuin se sijaitsisi kuvan ylimmällä makrolohkorivillä. If the space above the adjacent macroblock belongs to a different region, the macroblock is filtered as if it is situated outside the picture at the top macroblock.
10 Lisäksi intraennustusta dekoodattavan luotettavan alueen ulko puolisilta alueilta ei edullisesti sovelleta. 10 Further, the outer reliable region being decoded to intraennustusta from regions that are preferably applied.
Jos signaloitu parametrijoukko osoittaa, että käytetään IREG-D:tä, dekooderi dekoodaa viipaleen samalla tavalla kuin edellä kuvatussa !REG-I:n tapauksessa, paitsi makrolohkojen sijaintipäätöksen osalta. If the signaled parameter set indicates the use of IREG-D, the decoder decodes a slice the same way as described above, the REG-I: In the case except for the location of the macroblocks decision. Makrolohkojen 15 tilajärjestys on normaali ja viipale voi käsittää makrolohkoja useista luotettavista alueista ja muista alueista samanaikaisesti. 15 macroblock order is normal, and a slice may comprise a plurality of macroblocks of reliable regions and the other regions simultaneously. Suurin ero on siinä, että intraennustus ja liikevektoriennustus voidaan suorittaa aluerajojen yli. The main difference is that the intraennustus and liikevektoriennustus can be carried out over an area of ​​the corner. Silmuk-kasuodatukseen ja suhteelliseen pikseli-interpolointiin luotettavan alueen ulkopuolisista pikseliarvoista liittyvät koodausrajoitukset pätevät kuitenkin myös 20 tässä tapauksessa. However, associated with the loop-kasuodatukseen and fractional pixel interpolation from pixel values ​​outside the reliable region coding constraints also apply to the 20 in this case.
IREG-l-menetelmän erästä edullista suoritusmuotoa voidaan sovel-; an IREG-I method, a preferred embodiment can be applied; taa ns. TAA known. alikuvan yhteydessä, jota alikuvaa on ehdotettu käytettäväksi JVT/ i H.26L:ssä. in connection with sub-picture, sub-picture which has been proposed for use in JVT / H.26L i together. Alikuva muodostetaan lisäämällä alikuvakoodauskerros kuva- v, kerroksen ja viipalekerroksen väliin. The sub picture is formed by adding alikuvakoodauskerros described in, between the layer and the slice layer. Alikuvakoodauskerros muodostaa ns. Alikuvakoodauskerros form a so-called. ali- 25 kuvia (SP), jotka ovat tyypillisesti suorakulmaisia etualueen alikuvia (FR SP), lukuunottamatta ns. 25 sub-pictures (SP) which are typically rectangular in the foreground area of ​​sub-images (FR SP), with the exception of the so-called. taka-alueen alikuvia (BR SP). the rear area of ​​sub-images (BR SP). BR SP koostuu kuva-alueista, jotka eivät osu mihinkään suorakaiteen muotoiseen alikuvaan. BR SP consists of the picture regions, which do not touch any rectangular sub-images. Tietyn kuvan etualueen alikuvat koodataan ennen taka-alueen alikuvia. A specific image in the anterior region of the sub-images are encoded sub-images before the rear area. Alikuvassa olevat makrolohkot koodataan skannausjärjestyksessä. The sub-picture macro blocks are encoded in scanning order. Alikuvat eivät ole pääl-30 lekkäisiä, ts koodattu kuva-alue kokonaisuudessaan koostuu kaikista alikuvis- , ta. The sub-images are not plated-30 one above the other, i.e., the coded picture area as a whole is composed of all alikuvis-, s. Keksinnön tämän suoritusmuodon mukaisesti alikuvaa voidaan käyttää ! According to the invention of this embodiment, sub-picture can be used! luotettavana alueena. reliable region. Alikuvan muotoa ja kokoa voidaan kontrolloida esimer- I · kiksi edellä mainittujen parametrien avulla. the shape and size of the sub-image may be controlled by example I · instance, the above-mentioned parameters.
Kuvio 4 esittää koodattavaa kuvaa 400 ja sen suhdetta videokoo-: \: 35 dausta varten määriteltyihin makrolohkoihin (MB). Figure 4 shows a picture 400 to be coded and its relationship based video: \ 35 defined for coding a macroblock (MB). Kuva käsittää etualueen ' objektiksi oletetun objektin 401. Etualueen objektin ympärille on piirretty suo- 114679 20 rakulmainen etualueen alikuva (FR SP) 402 makrolohkojen rajoja pitkin. The image comprises a foreground area 'presumed object in the object 401. The foreground area around the object is drawn salt 114 679 20 rectangular front region sub-picture (FR SP) 402, along the boundaries of macroblocks. Etu-alueen alikuvan 402 ympärillä kuvaan kuuluu myös taka-alue. Front-sub-picture area around the picture 402 also includes a background area. Etualueen aliku-vaa 402 ympäröivää osuutta taka-alueesta kutsutaan taka-alueen alikuvaksi 403 (BR SP). Anterior aliku VAA 402 surrounding portion of the back region is called sub-picture in the rear area 403 (BR SP). On huomattava, että osa taka-alueesta voi myös kuulua etualu-5 een alikuvaan, kuten tässä tapauksessa. It should be noted that part of the rear region may also include a front chassis-5 C. sub-images, as in this case. Kuvio 4 esittää myös, kuinka makro-lohkoille on annettu numerot kasvavassa järjestyksessä 0-79 siten, että ensimmäinen MB (0) on vasemmanpuoleisessa yläkulmassa ja numerointi kasvaa oikealle ja jatkuu taas seuraavan rivin vasemmasta reunasta. Figure 4 also shows how the macro-block is assigned the numbers in increasing order of 0-79, the first MB (0) is the left-hand side upper corner and numbering grows to the right and is continued from the next line on the left side.
Kuvio 5 esittää periaatepiirroksen kuvion 4 mukaiselle kuvalle aliku-10 vatoteutuksen mukaisesti muodostetuista videokoodausviipaleista. Figure 5 shows a basic diagram of Figure 4 according to the image-aliku 10 formed in accordance with implementations for use videokoodausviipaleista. Kuva jaetaan viisi makrolohkoa käsittäviin videokoodausviipaleisiin. Image is divided into five macroblock comprising videokoodausviipaleisiin. Jakaminen aloitetaan tärkeimmästä etualueen alikuvasta ja taka-alueen alikuvat jaetaan viipaleisiin vasta, kun kaikki etualueen alikuvat (kuvioissa 4 ja 5 on vain yksi etu-alueen alikuva) on jaettu viipaleisiin. Sharing is initiated by the main sub-images and sub-images of the foreground area, the rear area is divided into slices, only when all the anterior region of the sub-images (Figures 4 and 5, only one sub-picture of the foreground area) is divided into slices. Viipaleille annetaan juoksevat viipa-15 lenumerot alkaen nollasta. A slice is given a run lenumerot from viipa-15 from zero. On huomattava, että viipale 0 kattaa FR SP:n ensimmäiseltä riviltä 3 makrolohkoa ja toiselta riviltä 2 makrolohkoa, ja erityisesti että FR SP:n viimeinen viipale suljetaan ennen kuin taka-alueen alikuvan koodaus aloitetaan. It should be noted that the slice 0 covers the FR SP, the first line 3 and the second row of the macroblock of the macroblock 2, and in particular the FR SP is closed before the last slice of the rear sub-picture coding region is initiated. BR SP:n makrolohkot jaetaan sen jälkeen viipaleisiin skannausjärjestyksessä siten, että jokainen viipale viimeistä lukuunottamatta 20 koostuu yhdelle viipaleelle sallitusta maksimimäärästä makrolohkoja. BR SP is divided into macroblocks after a slice of the scan order so that each slice but the last 20 consists of a single slice of the allowed maximum number of macroblocks. Viipaleet yksinkertaisesti hyppäävät jokaisen FR SP:n yli. The slices simply skip every SP FR-over. Yleisesti ottaen, mitä suu-: rempia viipaleita käytetään, sen vähemmän tarvitaan redundanssia yhden ku van koodaamiseen. Generally speaking, the foot-: rempia slices are used, the less redundancy is needed to encode the one of fig.
Erään edullisen suoritusmuodon mukaisesti alikuvaan perustuva as-. According to a preferred embodiment of the sub-images based on the AS. . . 25 teittaisen dekooderivirkistyksen menetelmä voidaan toteuttaa siten, että luotet tava alue koodataan etualueen alikuvaksi. 25 of a gradual decoder refresh method may be implemented in such a way that the reliable region is coded accordingly the anterior region of the sub-picture. Erillistä alikuvan koodausmoodia voidaan edullisesti käyttää siten, että silmukkasuodatus etualueen alikuvan ulkorajojen yli kytketään pois päältä. A separate sub-picture coding mode may be advantageously used so that the loop filtering sub-picture of the foreground area over the outside corner is turned off. Etualueen alikuvan muotoa ja sijaintia koko kuvan sisällä ei rajoiteta muuten kuin että alikuvaan kuuluvien makroloh-30 kojen tulee olla vierekkäisiä. the shape and position of the anterior region of the sub picture within the whole image does not prejudice other than that makroloh-30 networks within the sub-picture must be contiguous.
Hajasaantikohtien dekooderille muodostamisen lisäksi keksintöä voidaan myös soveltaa videolähetyksen virhesietoisuuden parantamiseen. Random access points to the decoder in addition to the formation of the present invention can also be applied to improving the transmission of video error-resiliency. ,···, Edellä kuvattua menetelmää voidaan käyttää virhetietoisena koodausmene- telmänä, jolla on ennalta määritetty intramakrolohkojen päivityskuvio. , ···, the method described above can be used with knowledge of the error enciphering processor system, in which a predetermined pattern intramakrolohkojen update. Kehys-: 35 kohtaisesti päivitettävien makrolohkojen lukumäärää määrittävä algoritmi voi vaihdella valittujen olosuhteiden mukaisesti, mutta päivitettävien makrolohko- 114679 21 jen järjestys pysyy samana. The frame 35-specifically the number of updated macroblocks determining algorithm may vary according to the selected conditions, but updated macroblock of the order of 114 679 21 remains the same. Menetelmää voidaan käyttää myös siten, että joitakin luotettavan alueen makrolohkoja ei päivitetä koskaan intramoodissa. The method can also be used in such a way that some of the macroblocks of the reliable region is not updated in intra mode ever. Tällainen tekniikka voidaan luokitella adaptiiviseksi intramakrolohkojen päivitykseksi. Such a technique may be classified as an adaptive intramakrolohkojen update.
5 Eristettyjä alueita voidaan käyttää häviötietoiseen intrapäivitykseen hyvin suoraviivaisella tavalla siten, että eristettyjä alueita käytetään jatkuvasti lähtien siitä, mistä ensimmäinen eristetty alue alkaa. 5 Isolated areas may be used häviötietoiseen intrapäivitykseen very straightforward manner such that isolated areas are used continuously from that of the first isolated region starts. Koska sekvenssin ensimmäinen kehys on kokonaan intrakoodattu, ensimmäinen eristetty alue alkaa edullisesti toisesta koodatusta kehyksestä. Since the first frame of the sequence is entirely intra-coded first region is preferably isolated from the second encoded frame. Kooderi voi valita sopivan kas-10 vunopeuden kuvan koon ja oletetun pakettihäviön perusteella. The encoder may select an appropriate look-10 based on the rate of a size of the image and the assumed packet loss. Yleisesti ottaen hyvä kasvunopeus (ts. päivitysnopeus) vastaa makrolohkojen hävikkiä. In general, good growth rate (ie. The update rate) is responsible for the loss of macro blocks. Jos pakettihäviö on esimerkiksi 20%, on sopiva kasvunopeus 80 makrolohkoa. If the packet loss is 20%, suitable for the growth speed of 80 macroblock.
Luotettavien alueiden koodaaminen suoritetaan edellä kuvatulla tavalla, mutta muiden alueiden pikselit korvataan edellisen kehyksen vastaavilla 15 pikseleillä. Coding of the reliable regions is carried out as described above, but other regions of the pixels of the previous frame is replaced by the equivalent of 15 pixels. Toisin sanoen, muiden alueiden makrolohkot koodataan siten, että niiden sisältö ei muutu edelliseen kehykseen nähden. In other words, the macro blocks are encoded in other regions, so that their content is not changed from the previous frame.
Päivitysjakson aikana osittain päivitettyjä kuvia voidaan esittää de-kooderilla, mikäli se on visuaalisesti miellyttävää. During the update unit can be partially updated images shows a de-coder, if it is visually pleasing.
Tämän suoritusmuodon etuna on, että intrakehyskoodaukseen ver-20 rattuna lähetyksen päästä-päähän-viive pienenee huomattavasti. This embodiment has the advantage that intrakehyskoodaukseen pared 20 for comparing the transmission end-to-end delay is reduced significantly. Kvanti-sointiparametrin vakioarvosta johtuen voidaan saavuttaa alhainein bitti-nopeuden vaihtelu ja sitä kautta vakaampi kuvanlaatu. Due to quantization-sointiparametrin constant value can be achieved by a low bit-rate fluctuation and hence a more stable image quality. Vakaampaa kuvan-i laatua pidetään yleisesti vähemmän häiritsevänä. More stable image quality i is generally considered less annoying. Lisäksi häviöiden yhtey- ': dessä voidaan käyttää ajallis-paikallista virheenkorjausta. In addition, the loss of connection 'can be used in conjunction local time-error correction.
25 Virkistyskuvioina voidaan käyttää monenlaisia kuvioita, kuten eri- laisia pyyhkäisyjä ja laatikointeja. 25 Virkistyskuvioina a wide variety of patterns, such as different types of sweeps, and binning can be used. Erityisesti, jos käytetään ”box-out” virkis-. In particular, if a "box-out" recreation. tyskuviota, esitetään kuvan keskiosa ensin. tyskuviota, shown in the middle part of the image first. Alueellisen tärkeyden osalta kes kiosa on yleensä muita tärkeämpi. As regards the importance of regional kes kiosa is usually more important.
Intrakehysten välttämisen seurauksena loppukäyttäjä kokee, että 30 virkistyspyynnön vasteena kuvat esitetään nopeammin. As a result of the avoidance of Intrakehysten end-user experience that 30 refresh request in response to the images are displayed faster. Lisäksi loppukäyttäjä .: kokee kuvanopeuden pudotuksen pienempänä. In addition, the end-user. Will experience frame rate drop lower.
•; •; Edellä kuvattujen suoritusmuotojen mukainen menettely saa aikaan ·". monia etuja. Verrattuna perinteiseen hajasaantikohtien koodaamiseen, jossa intrakehys aloittaa itsenäisesti dekoodattavan kuvaryhmän (GOP, Group of 35 Pictures), keksinnöllä on muun muassa se etu, että se mahdollistaa ennalta määritetyn kuva-alueen päivittämisen luotettavasti ilman, että koko alue tulisi 114679 22 kattaa intramakrokehyksillä. Alue päivitetään asteittaisesti usean koodatun kuvan aikana. Edellisen kuvan luotettavia alueita voidaan käyttää liike-kompensaation viitteinä seuraavan kuvan luotettaville alueille. Makrolohko-moodin valinta jokaiselle luotettavan alueen makrolohkolle voidaan suorittaa 5 käyttämällä nopeuden vääristymän optimointia. Näin ollen keksintö mahdollistaa luotettavan alueen koodaamisen optimaalisesti nopeuden vääristymän suhteen. The procedure of the embodiments described above provides ·. "many advantages. Compared to the conventional random access points for encoding, wherein intrakehys enter independently decoded as a group of pictures (GOP, group of 35 Pictures), the invention is, inter alia, the advantage that it enables updating of a predetermined image area reliably without the entire area should be 114 679 22 covers intramakrokehyksillä. the area is updated gradually over a number of the encoded image. the last frame of reliable regions can be used in motion-compensation reference in the following figure reliable regions. macroblock mode selection for each macroblock of the reliable region can be performed 5 by using the optimization of the speed of distortion. Thus, the invention enables the reliable region encoding rate optimally in terms of distortion.
Tämä keksinnön ominaisuus on erityisen hyödyllinen video-sekvensseissä, joissa käytetään suhteellisen tasaista laaja-alaista liikettä, ku-10 ten kameran panoraamakuvaa mihin tahansa suuntaan. This feature of the invention is particularly useful for video sequences, using a relatively uniform wide-ranging movement of the Ku-10 panoramic image of the camera in any direction. Tällöin ensimmäisessä kehyksessä lähellä kuvan reunaa oleva alue liikkuu lähemmäksi kuvan keskustaa seuraavassa kehyksessä. In this case, the first frame near the edge of the image area moves closer to the center of the image in the next frame. Jos tämä alue pystytään intrakoodaa-maan ensimmäisessä kehyksessä, sitä ei tarvitse intrakoodata enää uudelleen seuraavassa kehyksessä. If this area can be intrakoodaa-the first frame, you do not need any more intrakoodata again in the next frame.
15 Lisäksi koodatun bittivirran hetkellinen bittinopeus vaihtelee tasai semmin. 15 Furthermore, the encoded bit stream instantaneous bit rate varies steadily more detail. Tällöin voidaan helpommin välttää puskurimuistien ylivuotoa, ennen dekooderia sijoitettavan puskurimuistin kokoa voidaan pienentää ja lähetyksen päästä-päähän-viivettä voidaan todennäköisesti lyhentää. This makes it possible to more easily avoid the overflow of the buffer memories, placed before the decoder buffer memory size can be reduced, and the transmission end-to-end delay is likely to be shortened.
Virhealttiiseen lähetykseen koodataan joka tapauksessa tietty mää-20 rä makrolohkoja per kuva intramoodissa. Error-prone transmission is encoded in any case a system-CHASED 20 macroblocks per picture in the intra mode. Keksintö mahdollistaa näiden makro-lohkojen käyttämisen myös hajasaantitarkoituksiin. The invention enables the use of the macro-blocks of the random access purposes.
Jos ainakin osa intrakehyksestä kadotetaan tai se vahingoittuu, on • vastaanottavalla dekooderilla vain harvoja keinoja sen havaitsemiseksi, tulisiko . If at least part of the intrakehyksestä is lost or damaged, the receiving decoder is • only a few ways to detect should be. sen käyttää paikallista vai ajallis-paikallista virheenkorjausta. to use a local or a local time-error correction. Suoraviivainen 25 tapa on käyttää paikallista virheenkorjausta, koska paikallisesti ympäröivät alueet ovat intrakoodattuja. A straightforward 25 way is to use local debugging, because locally the surrounding areas are intra-coded. Ajallis-paikallinen virheenkorjaus saattaisi kuiten-kin antaa paremman virheenkorjaustuloksen. Time-local debugging might, however, also gives a better error correction performance. Tämä ilmiö voidaan välttää, jos käytetään keksinnön mukaista menetelmää, ts. vain osa kuvasta päivitetään intramoodissa kerrallaan. This phenomenon can be avoided if the method according to the invention is used, ie. Only part of the picture is updated in intra mode one.
30 Kaksisuuntaisilla videosovelluksilla viitataan videopuheluihin, video- / neuvotteluihin ja muihin vastaaviin sovelluksiin. 30 Bipolar video applications refer to video calls, video / conferencing and other similar applications. Tälle sovellusperheelle on tyy pillistä pyrkimys pasta-päähän-viiveen minimoimiseen. This application is a family TYY straw effort to paste-to-end delay minimization. Kaksisuuntaiset video- t sovellukset voivat toimia useissa erityyppisissä verkoissa, kuten ISDN- verkossa (kts. ITU-T suositus H.320), PSTN:ssä (ITU-T H.324), kiinteissä IP-35 verkoissa (ITU-T H.323), ja pakettivälitteisissä matkaviestinverkoissa (3GPP j TS 26.235), Tyypillisesti ainakin yhdellä verkon linkeistä on rajoitettu maksimi- 114679 23 bittinopeus. Two-way video s applications to work with several different types of networks, such as ISDN network (see ITU-T recommendation H.320.), PSTN (ITU-T for H.324), fixed IP-35 networks (ITU-T H. 323) and a packet-switched mobile communication networks (3GPP TS 26.235 j) Typically, at least one of the network links is limited to the maximum bit rate of 23 114 679. Joissakin verkoissa, kuten ISDN.ssä, on alhainen lähetyksen virhesuhde, kun taas toiset verkot, kuten Internet ja matkaviestinverkot, ovat suhteellisen alttiita lähetysvirheille. Some networks, such as ISDN.ssä, has a low transmission error rate, while other networks such as the Internet and mobile networks, are relatively susceptible to transmission errors.
Kaksisuuntaisissa videosovelluksissa on tarkoituksenmukaista pitää 5 videobittivirta suhteellisen vakiona johtuen tarpeesta minimoida päästä-pää-hän-viive ja muodostaa kiinteä maksimaalinen välityskyky. In two-way video applications, it is appropriate to consider the five video bit stream is relatively constant due to the need to minimize the end-to-end delay and he forms a fixed maximum throughput. Koska intrakoodaus aiheuttaa tyypillisesti enemmän bittivirtakuormaa kuin inter-koodaus, tulee koko kehyksen intrakoodaamista kerralla välttää. As intracoding more typically cause a bit stream load as inter-coding, the whole frame at once intrakoodaamista avoided.
Dekooderi olettaa, että kuvan virkistys suoritetaan heti sekvenssin 10 alkuun ja vasteena intrakuvan päivityspyynnölle. The decoder assumes that the image refresh is performed as soon as the sequence of the top 10 and in response to the intra picture update request. Keksinnön mukaisessa menetelmässä voidaan signaloida ja koodata asteittainen dekooderin virkis-tysjakso kokonaisen intrakuvan päivityspyynnön sijasta. the method according to the invention can be signaled to the decoder and encode the progressive virkis-tysjakso instead of an entire intra picture update request. Päivitysjakson aikana osittain päivitettyjä kuvia voidaan tarvittaessa esittää, mikä voi olla visuaalisesti miellyttävää. During the update period partially updated images may be present, which may be visually pleasing.
15 Asteittaisen dekooderivirkistyksen käyttäminen kokonaisten intra- kuvien sijasta loiventaa bittinopeuden vaihteluita ja pienentää lähetyksen päästä-päähän-viivettä. 15 Using the gradual decoder refresh instead of entire intra pictures smoothes the bit rate fluctuations and reduce the end-to-end transmission delay. Loppukäyttäjät kokevat, että jakson aloituksen yhteydessä kuva esitetään nopeammin. End-users perceive that, in the initiation period, the image is displayed more quickly. Vastaanottava päätelaite pyytää vastapuolen kooderilta intrakuvan päivitystä, jos vastaanotettu kuva on liian vahin-20 goittunut. The receiving terminal requests the counterpart encoder intra picture update, if the received image is too injury-20 defective. Tällaisessa tapauksessa keksintöä käytettäessä loppukäyttäjät huomaavat lyhyen pudotuksen kuvan esitysnopeudessa. In such a case the invention is used, end users will find the short fall in the rate of image display.
;" : Verrattuna asteittaiseen kvantisointijalostukseen ja asteittaiseen re- ;. ; soluutiojalostukseen menetelmällä saadaan aikaan vakaampi kuvanlaatu vas- ,v. teenä intrakuvan päivityspyynnölle, mitä yleisesti ottaen pidetään vähemmän 25 häiritsevänä. ; "Compared to the gradual and progressive kvantisointijalostukseen reaction;; soluutiojalostukseen method provides a more stable image quality response, in appended intra picture update request, what is generally considered to be less disruptive to 25...
; ; ' . '. Keksinnön eräs huomattava etu on, että se pysäyttää virheiden ajal- ;,, ' lisen ja paikallisen etenemisen täysin. A significant advantage of the invention is that it will stop the temporal error; ,, 'Lise and local progression completely. Tällaista ominaisuutta ei ole ollut aiem- missä monimutkaisissa viitekuvan valintaa, silmukkasuodatusta ja suhteellista pikseli-interpolointia käyttävissä koodauskaavoissa, kuten JVT-rakenteessa. Such a feature has not been a previous reference picture in the complex selection silmukkasuodatusta and the relative pixel interpolation using encoding schemes such as JVT structure.
30 Näin ollen esitettyä menetelmää voidaan käyttää virhetietoisena ♦ » * koodausmenetelmänä, joka käyttää ennalta määritettyä luotettavaa makro- .···. 30 Thus, the method described can be used with knowledge of the error ♦ »* coding method which uses a predefined macro reliable. ···. lohkojen päivityskuviota. blocks the update pattern. On huomattava, että kehyskohtaisesti päivitettävien • · · I.·. It should be noted that the updated frame by frame basis • · · · I.. makrolohkojen lukumäärä ennalta määritetyissä päivityskuvioalgoritmeissa voi vaihdella valittujen olosuhteiden mukaisesti, mutta päivitettävien makro- »· t : \: 35 lohkojen jäijestys pysyy samana. The number of macro blocks in predetermined päivityskuvioalgoritmeissa may vary according to the selected conditions, but the updated macro »· t: \: 35 blocks jäijestys remains the same. Näin ollen menetelmä tarjoaa saman- • · 114679 24 aikaisesti kaksi etua: se estää virheenetenemisen intrakoodauksen avulla ja samanaikaisesti mahdollistaa täydellisen hajasaantikohdan muodostamisen. Thus, the method offers the same • time 24 114 679 · two benefits: it prevents virheenetenemisen intracoding, and at the same time enables complete random access point connection.
Menetelmä mahdollistaa luotettavien alueiden lähettämisen paremmin virhesuojattuna muihin alueisiin nähden. The method allows the transmission of reliable regions are better protected from an error with respect to other regions. Täten menetelmä on yli-5 voimainen perinteisiin intrapäivityksen koodausmenetelmiin nähden, joissa tällainen lähetyspriorisointi ei ole mahdollista. Thus, the method is over-five final intrapäivityksen over conventional coding methods in which such a transmission the prioritization is not feasible. Luotettava alue voidaan suojata lähetysvirheitä vastaan paremmin kuin loput koodatusta datasta. Reliable area can be protected against transmission errors better than the rest of the coded data. Käytännössä luotettavaan alueeseen liitetään enemmän redundanssia, kuten itsekorjaavaa koodausta. In practice, the reliable region is connected to more redundancy, such as error-correcting coding. Vaihtoehtoisesti luotettavat alueet voidaan lähetttää kanavalla, 10 jonka palvelunlaatutakuu (QoS) on parempi kuin normaaliin videolähetykseen käytettävällä kanavalla. Alternatively, the regions can be a reliable broadcasts a channel 10 which guarantee the quality of service (QoS) is better than that used in normal video transmission channel. Yhdelle vastaanottajalle kohdistuvassa suoratoistossa, kun palvelinta pyydetään aloittamaan suoratoisto jostakin asteittaisesta ha-jasaantikohdasta, sen ei tarvitse lähettää ei-luotettavia alueita (taka-alueen alikuvia) lainkaan. One consignee targeting for streaming, the server is requested to start streaming from a gradual ha-jasaantikohdasta, it does not need to send a non-reliable areas (rear-area sub-images) at all.
15 Monet videomateriaalit, kuten uutiset, musiikkivideot ja elokuva- trailerit, käsittävät nopeita leikkauksia eri kuvamateriaaliotosten välillä. 15 Many video materials, such as news, music videos and movie trailers, comprising a quick cuts between footage clips. Joskus leikkaukset eri otosten välillä ovat äkillisiä, mutta usein käytetään ns. Sometimes, the cuts between different scenes are abrupt, but is often used in so-called. otos-siirtymiä (scene transition), kuten häivytystä tai pyyhkäisyä, siirryttäessä otoksesta toiseen. scene transitions (scene transition), such as the dropout or the scan, the transition from sample to sample. Koodaustehokkuuden kannalta otossiirtymän videokoodaus on 20 usein vaikea ongelma, koska liikekompensaatio ei välttämättä ole riittävän tehokas menetelmä kuvaamaan otossiirtymän aikaisten kuvien välisiä muutok-siä. The coding efficiency of video coding is a scene transition 20 is often a difficult problem, because the motion compensation does not necessarily have a sufficiently effective method to describe the transition between the sample-term changes in the images-SIA.
• Otossiirtymät voidaan luokitella esimerkiksi äkillisiin, maskia käy- ·. • the scene transition can be classified, for example, acute, · mask used. ttäviin, häivytettyiin ja hybridiotossiirtymiin. ttäviin, faded and hybridiotossiirtymiin. Äkillisissä otossiirtymissä ei ole . Scene transition is not sudden. >·. > ·. 25 siirtymäjaksoa eikä kuvia, joissa kahden peräkkäisen otoksen sisältöä esitet- täisiin samanaikaisesti. 25 transitional period and the images in which the contents of two consecutive sample shown täisiin simultaneously. Maskia käyttävissä otossiirtymissä jälkimmäinen otos paljastuu asteittain ensimmäisen otoksen alta. The mask using scene transition second sample are gradually exposed from under the first frame. Kaikki kuvat esitetään täydellä intensiteetillä. All images are displayed at full intensity. Maskia käyttävien otossiirtymien koodauksessa käytetään tyypillisesti ainakin yhtä intrakehystä. using a mask for coding scene transition are typically used in at least one intrakehystä. Esimerkkejä maskia käyttävistä otossiirty-Γ 30 mistä ovat box-in, box-out, pyyhkäisyt, jakamiset ja hajaantumiset. Examples of the mask using the Γ otossiirty-30 from the box-in-box out, wipes, splits, and divergence. Häivytetyis- sä siirtymissä kahden otoksen kuvia asetetaan toistensa päälle osittain lä-, pinäkyvästi ja päällä olevien kuvien läpinäkyvyyttä muutetaan asteittain siirty- mäjakson aikana. The weather Häivytetyis- shifts of the two images of the sample placed on top of the other in partially transmit, and transparently on top of the image transparency is changed gradually during the transition mäjakson. Esimerkkejä häivytetyistä otossiirtymistä ovat normaali risti-häivytys ja häivytys mustaan/mustasta. Examples of the fading scene transition to the normal cross-fade, and fade to black / black. Hybridiotossiirtymät ovat maskia käyt-: *,· 35 tävien ja häivytettyjen otossiirtymien yhdistelmiä. Hybrid sample Transitions are a mask use: *, · 35, fatigue and häivytettyjen scene transition combinations.
114679 25 114 679 25
Keksinnön mukaisella menetelmällä saadaan myös etuja sovellettaessa sitä otossiirtymiin, erityisesti maskia käyttäviin otossiirtymiin. the method of the invention also provides advantages when applied to scene transition, in particular using a mask scene transition. Tällöin siirtymäkohta tarjoaa hajasaantikohdan, vaikka siihen ei koodattaisikaan kokonaista intrakuvaa. In this case, the transition section provides a random access point, even if it does not koodattaisikaan entire intra picture. Kun käytetään alikuvapohjaista asteittaista dekooderi-5 virkistystä ja kun siirtymäkohtaan siirrytään satunnaisesti, siirtymän ensimmäisen otoksen koodattua dataa ei tarvitse lähettää, dekoodata eikä esittää. When used alikuvapohjaista gradual decoder 5 and the refreshment when a transition to move randomly coded data of the first scene transition need not be transmitted, decoded, and displayed. Lisäksi maskia käyttävä otossiirtymä voidaan koodata siinä tarkoituksessa, että koodatun videon bittinopeuteen saadaan pienemmät vaihtelut verrattuna äkilliseen otossiirtymään. In addition, the scene transition can be encoded using the mask for the purpose of the encoded video bit rate fluctuations can be reduced compared with abrupt scene transition.
10 Edellä on kuvattu menetelmä asteittaisen dekooderivirkistyksen ha- jasaantikohtien koodaamiseksi videosekvenssiin. 10 The above described method for encoding gradual decoder refresh HA jasaantikohtien video sequence. Täsmällisemmin sanottuna tämä suoritetaan videokooderissa, joka voi olla jokin sinänsä tunnettu video-kooderi. More specifically, this is performed in a video encoder, which may be a known video encoder. Käytettävä videokooderi voi olla esimerkiksi ITU-T:n suositusten H.263 tai H.26L mukainen videokooderi, joka keksinnön mukaisesti on jäijes-15 tetty määrittämään ensimmäinen luotettava alue, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja koodaamaan mainittu ensimmäinen luotettava alue videosekvenssiin siten, että estetään informaatioriippuvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. Use video encoder may be, for example, the ITU-T recommendations H. 263 or H. 26L video encoder according to the invention has been jäijes 15 to determine a first reliable region comprising at least one intra-coded coding block, and to encode said first reliable region from said video sequence so that creation of an information dependency between said first reliable region and said first reliable region is non-coding blocks.
20 Vastaavasti dekoodaus suoritetaan videodekooderissa, joka voi olla jokin sinänsä tunnettu videodekooderi. 20 Similarly, the decoding is performed in the video decoder, which may be a known video decoder. Käytettävä videodekooderi voi olla esimerkiksi ITU-T:n suositusten H.263 tai H.26L mukainen alhaisen bittinopeuden videokooderi, joka keksinnön mukaisesti on jäljestetty vastaanottamaan infor-V; Use video decoder may be, for example, the ITU-T recommendations H. 263 or H. 26L of the low bit-rate video encoder, in accordance with the present invention is structured to receive informal-V; maatiota, joka määrittää ensimmäisen luotettavan alueen, joka käsittää aina- 25 kin yhden intra-koodatun koodauslohkon, ja dekoodaamaan mainittu ensim-, : mäinen luotettava alue videosekvenssistä siten, että estetään informaatioriip- , / puvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. quantity information, which determines a first reliable region 25 comprises at each one intra-coded coding block, and for decoding said one, ish reliable region in a video sequence so as to prevent informaatioriip-; / addiction emergence of said first reliable region and said first reliable region the coding blocks outside.
Videopohjaisen tietoliikennejärjestelmän eri osat, erityisesti pääte-30 laitteet, voivat käsittää ominaisuuksia, jotka mahdollistavat multimedia-,,: tiedostojen kaksisuuntaisen siirron, ts. tiedostojen siirron ja vastaanottamisen. The different parts of video-based communication system, especially the terminal equipment 30, may include features that provide the media - ,,: two-way file transfer, i.e., the file transfer and receipt..
; ; Tällöin kooderi ja dekooderi voidaan toteuttaa videokoodekkina, joka käsittää , · · ·. In this case, the encoder and the decoder can be implemented in a video codec, which comprises, · · ·. sekä kooderin että dekooderin toiminnallisuudet. both encoder and decoder functionality.
On huomattava, että edellä mainituissa videokooderissa, video- *« » 35 dekooderissa ja päätelaitteessa keksinnön toiminnalliset osat voidaan edul-lisesti toteuttaa ohjelmistona, laitteistoratkaisuna tai näiden yhdistelmänä. It should be noted that in the above video encoder, video * «» functional parts of the decoder 35 and the terminal device of the invention can be Pref-ic spread implemented as software, hardware solution or a combination thereof.
114679 26 114 679 26
Keksinnön mukaiset koodaus- ja dekoodausmenetelmät sopivat erityisen hyvin toteutettavaksi tietokoneohjelmina, jotka käsittävät tietokoneella luettavia käskyjä keksinnön toiminnallisten askelten suorittamiseksi. the coding and decoding methods of the invention are particularly suitable for implementation as computer software comprising computer-readable instructions for performing the functional steps of the invention. Kooderi ja dekooderi voidaan edullisesti toteuttaa tietokoneohjelmakoodina, joka on tallennettu 5 tallennusvälineelle ja jota voidaan suorittaa tietokoneen kaltaisella laitteella, kuten henkilökohtaisella tietokoneella (PC) tai matkaviestimellä, koodaus/ de-koodaustoimintojen aikaansaamiseksi mainitussa laitteessa. The encoder and decoder can preferably be implemented by a computer program stored in the recording medium 5, which can be carried out such as a computer device such as a personal computer (PC) or a mobile station, to provide coding / de-tagging said device.
Kuvio 6 esittää keksinnön edullisen suoritusmuodon mukaisen matkaviestinlaitteen MS lohkokaaviota. Figure 6 shows a mobile device according to a preferred embodiment, the MS block diagram of the invention. Matkaviestinlaitteessa keskusohjausyk-10 sikkö MCU ohjaa lohkoja, jotka vastaavat matkaviestinlaitteen useista toiminnoista: luku-kirjoitusmuistia RAM, radiotaajuusosia RF, lukumuistia ROM, vi-deokoodekkia CODEC ja käyttöliittymää UI. The mobile device 10 keskusohjausyk-unit MCU controls blocks responsible for the mobile communication device the plurality of functions of the read-write memory RAM, a radio frequency components RF, a read only memory ROM, vi deokoodekkia CODEC and the user interface UI. Käyttöliittymä käsittää näppäimistön KB, näytön DP, kaiuttimen SP ja mikrofonin MF. The user interface comprises a keyboard KB, a display DP, a speaker SP and a microphone MF. MCU on mikroprosessori, tai vaihtoehtoisissa toteutusmuodoissa jokin muu prosessori, esimerkiksi digi-15 taalinen signaalinkäsittelyprosessori. The MCU is a microprocessor, or in alternative embodiments, any other processor, such as digital-15 acetal signal processor. MCU:n ohjauskomennot on edullisesti tallennettu etukäteen ROM-muistiin. MCU control commands are preferably stored in advance in the ROM. Käskyjensä (ts tietokoneohjelman) mukaisesti MCU käyttää RF-lohkoa datan lähettämiseen ja vastaanottamiseen radiotien yli. in accordance with instructions (i.e. a computer program), the MCU uses the RF block for transmitting and receiving data over the radio path. Videokoodekki voi olla toteutettu joko laitteistoratkaisuna tai kokonaan tai osittain ohjelmistoratkaisuna, jolloin CODEC käsittää tietokoneoh-20 jelmia MCU:n ohjaamiseksi suorittamaan tarvittavia videokoodaus- ja dekoo-daustoimintoja. The video codec may be implemented either as a hardware solution or fully or partially in software solution, wherein the CODEC comprises a 20-tietokoneoh cultures MCU controlling carry out the necessary video encoding and decoding daustoimintoja. MCU käyttää RAM.a työmuistinaan. The MCU uses RAM.a working memory. Matkaviestinlaite voi siepata liikkuvaa kuvaa videokameralla ja koodata sekä paketoida liikkuvan videon MCU:n, RAM.n ja CODEC-ohjelmiston avulla. The mobile device can capture moving images in video camera and encode the video, and package the moving MCU, RAM.n and CODEC software. RF-lohkoa käytetään sen . The RF block is used to it. . . jälkeen koodattujen videotiedostojen lähettämiseen eri osapuolten kesken. After sending the encoded video files between different parties.
25 Kuvio 7 esittää videolähetysjäijestelmän 70, joka käsittää useita . 25 Figure 7 shows a videolähetysjäijestelmän 70, which comprises several. matkaviestinlaitteita MS, matkaviestinverkon 71, Internetin 72, videopalvelimen 73 ja Internetiin yhteydessä olevan kiinteän tietokoneen PC. mobile communication devices MS, a mobile network 71, the Internet 72, in connection with the video server 73 to the Internet and the fixed PC computer. Videopalvelin käsittää videokooderin ja se voi välittää tilausvideolähetyksiä, kuten sääennusteita tai uutisia. The video server comprises a video encoder and it can transmit video on demand broadcasts, such as weather forecasts or news.
30 Keksinnön edullinen suoritusmuoto pohjautuu alueperusteiseen koodauskaavioon. A preferred embodiment of the invention 30 is based on a regional basis coding scheme.
,*··. * ··. Keksintö voidaan myös toteuttaa videosignaalina, joka käsittää vi- deosekvenssin, joka videosekvenssi on muodostettu videokehyksistä, jossa ainakin yksi videokehys on jaettu koodauslohkojen joukoksi, ja ainakin yksi : V 35 mainituista koodauslohkoista on koodattu intra-koodauksella. The invention can also be implemented in a video signal comprising a video deosekvenssin, the video sequence being composed of video frames, wherein at least one video frame is divided into a plurality of coding blocks, and at least one V 35 of said coding blocks is coded by intra-coding. Videosignaali käsittää lisäksi informaatiota, joka määrittää ensimmäisen luotettavan alueen, 114679 27 joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja informaatiota mainitun ensimmäisen luotettavan alueen dekoodaamiseksi videosekvenssistä siten, että estetään informaatioriippuvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulko-5 puolisten koodauslohkojen välille. The video signal further comprising information that determines a first reliable region, 114 679 27 comprising at least one intra-coded coding block, and information on said first reliable region for decoding a video sequence such that creation of an information dependency between said first reliable region and said first reliable region of the outer 5/2 of coding blocks between. Videosignaali voi olla reaaliaikaisesti lähetetty signaali tai se voidaan tallentaa tietokoneen luettavassa muodossa tallenteelle, kuten massamuistiin tai toistettavalle DVD-levylle. The video signal can be transmitted in real-time signal or it can be stored in a computer readable format to store, such as a mass memory or playing through a DVD.
Alan ammattimiehelle on ilmeistä, että tekniikan kehittyessä keksinnön perusajatus voidaan toteuttaa lukuisilla eri tavoilla. Those skilled in the art it is obvious that as the technology advances, the inventive concept can be implemented in numerous different ways. Näin ollen keksintö ja 10 sen suoritusmuodot eivät rajoitu vain edellä kuvattuihin esimerkkeihin, vaan ne voivat vaihdella patenttivaatimusten puitteissa. Thus, the invention and 10 its embodiments are not restricted to the examples described above but may vary within the scope of the claims.
> * v « • <r > * > * t * ' * » * I t > * V «• <r> *> * t * '*» * I t
! ! \ I \ I
• » · iit I tl \ \ t > • »· iit I tl \ \ t>
I t * I t *
1. Menetelmä videosekvenssin koodaamiseksi, joka videosekvenssi on muodostettu videokehyksistä, joka menetelmä käsittää jaetaan ainakin yksi videokehys koodauslohkojen joukoksi, 5 koodataan ainakin yksi mainituista koodauslohkoista intra-koodauk- sella, tunnettu siitä, että määritetään ensimmäinen luotettava alue, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja koodataan mainittu ensimmäinen luotettava alue videosekvenssiin 10 siten, että estetään informaatioriippuvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. 1. A method for video sequence coding the video sequence being composed of video frames, the method comprising dividing at least one video frame into a plurality of coding blocks, a 5-encoded in at least one of said coding blocks by intra-coding the public, characterized in that the determination of the first reliable region comprising at least one intra-coded encoding block, and encoding said first reliable region from said video sequence 10 such that creation of an information dependency between said first reliable region and said first reliable region is non-coding blocks.
2. Patenttivaatimuksen 1 mukainen menetelmä, tunnettu siitä, että 15 ennustetaan mainitun luotettavan alueen seuraava koodauslohko jonkin edellisen videokehyksen jonkin luotettavan alueen perusteella. 2. The method according to claim 1, characterized in that the forecast in the 15 following the encoding of said reliable region on the basis of a preceding video frame of a reliable region.
3. Patenttivaatimuksen 1 tai 2 mukainen menetelmä, tunnettu siitä, että estetään mainitun informaatioriippuvuuden syntyminen kytkemällä 20 mainitun luotettavan alueen reunoilla silmukkasuodatus pois päältä. 3. The method according to claim 1 or 2, characterized by preventing said information dependency by turning 20 around the edges of said reliable region loop filtering off.
4. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että estetään mainitun informaatioriippuvuuden syntyminen viittaamalla ainoastaan mainitun luotettavan alueen koodauslohkoihin käytettäessä liike-25 kompensoitua ennustusta. 4. The method according to any one of the preceding claims, characterized by preventing said information dependency by referring only to the coding blocks of said reliable region, when applying motion compensated prediction-25.
5. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että estetään mainitun informaatioriippuvuuden syntyminen estämällä pikseliarvojen liikeinterpolaatio mainitun luotettavan alueen reunoilla. 5. The method according to any one of the preceding claims, characterized by preventing said information dependency by blocking the pixel liikeinterpolaatio the borders of said reliable region. ; ; 30 30
6. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että koodataan mainittu luotettava alue videosekvenssiin alikuvana. 6. The method according to any one of the preceding claims, characterized in that the reliable region is coded in said sub-picture video sequence. » »
7. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, •'; 7. The method according to any one of the preceding claims, • '; tunnettu siitä, että 35 koodataan mainitun ensimmäisen luotettavan alueen koodauslohkot ensin rasterikuvausjärjestyksessä, ja 114679 koodataan sen jälkeen mainitun ensimmäisen luotettavan alueen ulkopuoliset koodauslohkot rasterikuvausjärjestyksessä. characterized in that said first reliable region is coded coding blocks, first 35 raster scan, and 114 679 are then encoded into said first reliable region is non-coding blocks in raster scan.
8. Jonkin edellisen patenttivaatimuksen mukainen menetelmä, tunnettu siitä, että 5 koodataan mainittuun videosekvenssiin parametreja mainitun video- sekvenssin dekoodaamiseksi, jotka parametrit käsittävät ainakin jonkin seu-raavista: - luotettavan alueen tyyppiä määrittävä parametri; 8. A method according to any one of the preceding claims, characterized in that said video sequence is encoded five parameters for decoding said video sequence, which parameters comprise at least one of the fol-following: a - the type of the reliable region determining parameter; - samanaikaisten luotettavien alueiden lukumäärän määrittävä 10 parametri; - determining the number of simultaneous reliable regions 10 of the parameter; - luotettavan alueen muodon kasvatustyyppiä määrittävä parametri; - farming type form reliable region determining parameter; - luotettavan alueen kasvatusnopeutta määrittävä parametri. - the growing rate of the reliable region determining parameter.
9. Patenttivaatimuksen 8 mukainen menetelmä, tunnettu siitä, 15 että koodataan ainakin yksi parametreista viipaleen otsikkoon, joka mainittu viipale on muodostettu ainakin yhdestä koodauslohkosta. 9. The method according to claim 8, characterized in that 15 encoded in at least one of the parameters of the header of the slice, said slice is formed from at least one encoding block.
10. Videokooderi videosekvenssin koodaamiseksi, joka videosekvenssi on muodostettu videokehyksistä, joka videokooderi on järjestetty 20 jakamaan ainakin yksi videokehys koodauslohkojen joukoksi, koodaamaan ainakin yksi mainituista koodauslohkoista intra-koodauksella, tunnettu siitä, että videokooderi on lisäksi järjestetty : määrittämään ensimmäinen luotettava alue, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja *; 10. A video encoder for encoding a video sequence, the video sequence being composed of video frames, the video encoder is arranged to 20 to share at least one video frame into a plurality of coding, to encode at least one of said coding intra-coding, characterized in that the video encoder is further configured to: determine a first reliable region comprising at least one intra-coded coding block, and *; 25 koodaamaan mainittu ensimmäinen luotettava alue videosekvens- : siin siten, että estetään informaatioriippuvuuden syntyminen mainitun ensim- ·[ mäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulko puolisten koodauslohkojen välille. 25 to encode said first reliable region in the video: THIRD so that creation of an information dependency said one · [First reliable region and said first reliable region of the outer half of the coding blocks.
11. Tietokoneen luettavissa olevalle tallennusvälineelle tallennettu 30 tietokoneohjelmatuote videosekvenssin koodaamiseksi, joka videosekvenssi • ' on muodostettu videokehyksistä, joka tietokoneohjelmatuote käsittää ; 11. The computer-readable recording medium 30 stored in a computer program product for encoding a video sequence, the video sequence • 'is composed of video frames, the computer program product comprising: ·tietokoneohjelmavälineet ainakin yhden videokehyksen jakamiseksi ; · Computer program means for dividing at least one video frame; ' . '. koodauslohkojen joukoksi, > · I tietokoneohjelmavälineet ainakin yhden mainitun koodauslohkon • : 35 koodaamiseksi intra-koodauksella, tunne 11 u siitä, että tietokoneohjelma- •..: tuote käsittää lisäksi 114679 tietokoneohjelmavälineet ensimmäisen luotettavan alueen määrittämiseksi, joka luotettava alue käsittää ainakin yhden intra-koodatun koodaus-lohkon, ja tietokoneohjelmavälineet mainitun ensimmäisen luotettavan alueen 5 koodaamiseksi videosekvenssiin siten, että estetään informaatioriippuvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. set of coding blocks,> · I The computer program means of at least one of said coding • 35 to encode the intra-coding, a sense 11 wherein the computer program • .. product further comprises 114 679 computer program means for determining a first reliable region, the reliable region comprising at least one intra-coded encoding the block, and computer program means of said first reliable region 5 for encoding a video sequence such that creation of an information dependency between said first reliable region and said first reliable region is non-coding blocks.
12. Alikuvan käyttö videosekvenssin koodauksessa, joka video-sekvenssi on muodostettu videokehyksistä, jossa ainakin yksi videokehys jae- 10 taan koodauslohkojen joukoksi, ainakin yksi mainituista koodauslohkoista koodataan intra-koodauksella, yksi alikuva määritetään ensimmäiseksi luotettavaksi alueeksi, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja mainitun alikuvan muodostama ensimmäinen luotettava alue koodataan mainittuun videosekvenssiin siten, että estetään informaatioriippuvuuden syntymi-15 nen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. 12. The use of sub-image of the video sequence in the coding of the video sequence being composed of video frames, wherein at least one video frame is divided 10 by the set of coding blocks, at least one coded in said coding intra-coding, one sub-image is determined as the first reliable region comprising at least one intra-coded coding block , and sub-picture formed by said first reliable region from said video sequence coded in such a way as to prevent the emergence 15 of an information dependency between said first reliable region and said first reliable region is non-coding blocks.
13. Menetelmä videosekvenssin dekoodaamiseksi, joka video-sekvenssi on muodostettu videokehyksistä, jossa videosekvenssissä ainakin yksi videokehys on jaettu koodauslohkojen joukoksi, ja ainakin yksi mainituista 20 koodauslohkoista on koodattu intra-koodauksella, tunnettu siitä, että vastaanotetaan informaatiota, joka määrittää ensimmäisen luotet-: : tavan alueen, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja • · dekoodataan mainittu ensimmäinen luotettava alue videosekvens- ; 13. A method for a video decoding of the video sequence being composed of video frames, wherein the video sequence, at least one video frame is divided into coding blocks into a set, and at least one of the 20 coding blocks is coded by intra-coding, characterized in that the receiving information that determines a first reliable: the region comprising at least one intra-coded coding block, and • · decoding said first reliable region in the video; sistä siten, että estetään informaatioriippuvuuden syntyminen mainitun en- ·. such that in preventing said information dependency en-·. 25 simmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen , : ulkopuolisten koodauslohkojen välille. 25-first reliable region and said first reliable region, between the coding blocks outside.
/ 14. Patenttivaatimuksen 13 mukainen menetelmä, tunnettu sii tä, että estetään mainitun informaatioriippuvuuden syntyminen kytkemällä : * 30 mainitun luotettavan alueen reunoilla silmukkasuodatus pois päältä. / 14. The method according to claim 13 above, characterized by preventing said information dependency by turning: 30 * around the edges of said reliable region loop filtering off.
15. Patenttivaatimuksen 13 tai 14 mukainen menetelmä, tun-\ ne 11 u siitä, että estetään mainitun informaatioriippuvuuden syntyminen viittaamalla ainoastaan mainitun luotettavan alueen koodauslohkoihin käytettäessä liike-35 kompensoitua ennustusta. 15. A method according to claim 13 or 14, c \ 11 are characterized by preventing said information dependency by referring only to the coding blocks of said reliable region, when applying motion compensated prediction-35. 114679 114679
16. Jonkin patenttivaatimuksen 13-15 mukainen menetelmä, tunnettu siitä, että estetään mainitun informaatioriippuvuuden syntyminen estämällä pikseliarvojen liikeinterpolaatio mainitun luotettavan alueen reunoilla. 16. A method as claimed in claim 13 to 15, characterized by preventing said information dependency by preventing liikeinterpolaatio pixel values ​​of said reliable region around the edges.
17. Jonkin patenttivaatimuksen 13-16 mukainen menetelmä, tunnettu siitä,että dekoodataan mainitun ensimmäisen luotettavan alueen koodaus-lohkot ensin rasterikuvausjärjestyksessä, ja dekoodataan sen jälkeen mainitun ensimmäisen luotettavan alueen 10 ulkopuoliset koodauslohkot rasterikuvausjärjestyksessä. 17. A method according to any one of claims 13 to 16, characterized in that the decoded coding blocks of said first reliable region first in raster scan, and then decoded by said first coding blocks 10 outside the reliable region in raster scan.
18. Jonkin patenttivaatimuksen 13-17 mukainen menetelmä, tunnettu siitä, että dekoodataan mainittu videosekvenssi parametrien perusteella, jotka parametrit käsittävät ainakin jonkin seuraavista: 15. luotettavan alueen tyyppiä määrittävä parametri; 18. A method according to any one of claims 13 to 17, characterized in that said video sequence is decoded on the basis of parameters which comprise at least one of the following: 15. The type of the reliable region determining parameter; - samanaikaisten luotettavien alueiden lukumäärän määrittävä parametri; - determining the number of simultaneous reliable regions parameter; - luotettavan alueen muodon kasvatustyyppiä määrittävä parametri; - farming type form reliable region determining parameter; 20. luotettavan alueen kasvatusnopeutta määrittävä parametri. 20. The growing rate-determining parameter of the reliable region.
19. Dekooderi videosekvenssin dekoodaamiseksi, joka video- . 19. A decoder for decoding a video sequence that video. » sekvenssi on muodostettu videokehyksistä, jossa ainakin yksi videokehys on i jaettu koodauslohkojen joukoksi, ja ainakin yksi mainituista koodauslohkoista on koodattu intra-koodauksella, tunnettu siitä, että dekooderi on järjestetty 25 vastaanottamaan informaatiota, joka määrittää ensimmäisen luotet- ; "Sequence being composed of video frames, wherein at least one video frame i is divided into a plurality of coding blocks, and at least one of said coding blocks is coded by intra-coding, characterized in that the decoder 25 is arranged to receive information that determines a first reliable; tavan alueen, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja \ dekoodaamaan mainittu ensimmäinen luotettava alue video- sekvenssistä siten, että estetään informaatioriippuvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen 30 ulkopuolisten koodauslohkojen välille. the region comprising at least one intra-coded coding block, and said \ decode the first reliable region in the video sequence such that creation of an information dependency between said first reliable region and said first reliable region of the 30 non-coding blocks.
· 20. Tietokoneen luettavissa olevalle tallennusvälineelle tallennettu ' * *: tietokoneohjelmatuote videosekvenssin dekoodaamiseksi, joka videosekvenssi ··. · 20 to a computer readable storage medium stored in the "* *: A computer program product for decoding a video sequence, the video sequence ··. on muodostettu videokehyksistä, jossa ainakin yksi videokehys on jaettu koo dauslohkojen joukoksi, ja ainakin yksi mainituista koodauslohkoista on koodat-: * 35 tu intra-koodauksella, tunnettu siitä, että tietokoneohjelmatuote käsittää > » · 114679 tietokoneohjelmavälineet informaation vastaanottamiseksi, joka informaatio määrittää ensimmäisen luotettavan alueen, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja tietokoneohjelmavälineet mainitun ensimmäisen luotettavan alueen 5 dekoodaamiseksi videosekvenssistä siten, että estetään informaatioriippu-vuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. is composed of video frames, wherein at least one video frame is divided into intends a plurality of dauslohkojen, and at least one of said coding blocks is encoded * 35 tu intra-coding, characterized in that the computer program product comprises> »· 114 679 computer program means for receiving information, which information determines a first reliable region comprising at least one intra-coded coding block, and computer program means of said first reliable region 5 for decoding the video sequence such that creation of informaatioriippu-interdependence between said first reliable region and said first reliable region is non-coding blocks.
21. Videosignaali, joka käsittää videosekvenssin, joka videosekvenssi on muodostettu videokehyksistä, jossa ainakin yksi videokehys on jaet- 10 tu koodauslohkojen joukoksi, ja ainakin yksi mainituista koodauslohkoista on koodattu intra-koodauksella, tunnettu siitä, että videosignaali käsittää lisäksi informaatiota, joka määrittää ensimmäisen luotettavan alueen, joka käsittää ainakin yhden intra-koodatun koodauslohkon, ja informaatiota mainitun ensimmäisen luotettavan alueen dekoodaamiseksi videosekvenssistä siten, 15 että estetään informaatioriippuvuuden syntyminen mainitun ensimmäisen luotettavan alueen ja mainitun ensimmäisen luotettavan alueen ulkopuolisten koodauslohkojen välille. 21. A video signal comprising a video sequence, the video sequence being composed of video frames, wherein at least one video frame is divided 10 into a plurality of coding blocks, and at least one of said coding blocks is coded by intra-coding, characterized in that the video signal further comprising information that determines a first reliable region comprising at least one intra-coded coding block, and for decoding the information said first reliable region of the video sequence in such a way 15 that creation of an information dependency between said first reliable region and said first reliable region is non-coding blocks.
22. Päätelaite videosekvenssin dekoodaamiseksi, tunnettu siitä, että päätelaite käsittää patenttivaatimuksen 19 mukaisen dekooderin. 22. The terminal device for decoding a video sequence, characterized in that the terminal comprising a decoder according to claim 19.
23. Tietoliikenneverkon verkkoelementti videosekvenssin koodaa miseksi, tunnettu siitä, että verkkoelementti käsittää patenttivaatimuksen 10 mukaisen kooderin. 23. A network element of a telecommunications network a video encoding order, characterized in that the network element comprises an encoder according to claim 10. I » t » • i » k 114679 I "T" • i "k 114 679
FI20020810A 2002-04-29 2002-04-29 Random Starting Points in video FI114679B (en)
FI20020810A FI114679B (en) 2002-04-29 2002-04-29 Random Starting Points in video
FI20020810 2002-04-29
BR0309713A BR0309713A (en) 2002-04-29 2003-04-28 Method and apparatus for encoding and decoding a video sequence, the video signal, and computer program
KR1020067008825A KR100973518B1 (en) 2002-04-29 2003-04-28 Method of indicating information about regions within a picture
US10/424,618 US7302001B2 (en) 2002-04-29 2003-04-28 Random access points in video encoding
PCT/FI2003/000331 WO2003094530A1 (en) 2002-04-29 2003-04-28 Random access points in video encoding
EP03722629.7A EP1500280B1 (en) 2002-04-29 2003-04-28 Random access points in video encoding
CN 200610004108 CN1829329B (en) 2002-04-29 2003-04-28 Method and device for indicating regions within a picture
AU2003229800A AU2003229800A1 (en) 2002-04-29 2003-04-28 Random access points in video encoding
CA2542026A CA2542026C (en) 2002-04-29 2003-04-28 Indicating regions within a picture
JP2004502635A JP4468800B2 (en) 2002-04-29 2003-04-28 Random access point in the video encoding
CN 03809615 CN100521793C (en) 2002-04-29 2003-04-28 Random access points in video encoding
KR20047017358A KR100972403B1 (en) 2002-04-29 2003-04-28 Random access points in video encoding
CA 2483293 CA2483293C (en) 2002-04-29 2003-04-28 Random access points in video encoding
EP06101012A EP1672930A3 (en) 2002-04-29 2003-04-28 Indicating regions within a picture
US11/335,107 US7826531B2 (en) 2002-04-29 2006-01-19 Indicating regions within a picture
JP2006126367A JP2006246524A (en) 2002-04-29 2006-04-28 Method for indicating size, shape and location of region within digital picture, encoder for generating bitstream by encoding digital picture, decoder for decoding bitstream, and computer program product
US11/647,710 US7760802B2 (en) 2002-04-29 2006-12-29 Random access points in video encoding
JP2010018864A JP2010136428A (en) 2002-04-29 2010-01-29 Method for displaying size, shape and position of region in digital image, encoder for generating bit stream by encoding digital image, decoder for decoding bit stream, and computer program product
FI20020810A0 FI20020810A0 (en) 2002-04-29
FI20020810A FI20020810A (en) 2003-10-30
FI114679B true FI114679B (en) 2004-11-30
ID=8563849
US (3) US7302001B2 (en)
EP (2) EP1500280B1 (en)
JP (3) JP4468800B2 (en)
KR (2) KR100972403B1 (en)
CN (2) CN100521793C (en)
AU (1) AU2003229800A1 (en)
BR (1) BR0309713A (en)
CA (1) CA2483293C (en)
FI (1) FI114679B (en)
WO (1) WO2003094530A1 (en)
EP1940179B1 (en) 2006-10-17 2013-08-28 Siemens Aktiengesellschaft Method and encoding device for generating an encoded data stream and extraction method and extraction device for extracting at least one data object from an encoded data stream
JP4875008B2 (en) * 2007-03-07 2012-02-15 パナソニック株式会社 Moving picture coding method, moving picture decoding method, the moving picture coding apparatus and the moving picture decoding apparatus
CN102084658B (en) * 2008-07-01 2013-06-05 法国电信公司 Method and device for encoding images using improved prediction, and corresponding decoding method and device, signal and computer software
US9113169B2 (en) 2009-05-07 2015-08-18 Qualcomm Incorporated Video encoding with temporally constrained spatial dependency for localized decoding
GB2488830B (en) 2011-03-10 2015-07-29 Canon Kk Method and device for encoding image data and method and device for decoding image data
GB2488829A (en) * 2011-03-10 2012-09-12 Canon Kk Encoding and decoding image data
JP5760953B2 (en) * 2011-10-31 2015-08-12 富士通株式会社 Video decoding apparatus, the moving picture coding apparatus, moving picture decoding method, and a moving picture coding method
CN102647593B (en) * 2012-04-18 2014-04-16 北京大学 AVS (Audio Video Standard) intra mode decision method and AVS intra mode decision device
GB2516224A (en) * 2013-07-11 2015-01-21 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
GB2516824A (en) 2013-07-23 2015-02-11 Nokia Corp An apparatus, a method and a computer program for video coding and decoding
WO2016124154A1 (en) * 2015-02-08 2016-08-11 同济大学 Image coding method and apparatus, and image decoding method and apparatus
CN104883572B (en) * 2015-05-21 2018-04-27 浙江宇视科技有限公司 An encoding apparatus and method for separating or h.264 on the front BACKGROUND h.265
KR100211916B1 (en) 1995-10-26 1999-08-02 김영환 Method for determination of coding type and mode in the object coding based on shape information
DE19644510A1 (en) 1995-10-26 1997-04-30 Hyundai Electronics Ind Coding type determination and object form coding method for video compression
US6987805B1 (en) * 1999-09-24 2006-01-17 Lsi Logic Corporation Macroblock level intrarefresh technique for encoded video
EP1395948A2 (en) 1999-11-29 2004-03-10 Philips Electronics N.V. Method for coding and decoding multimedia data
2002-04-29 FI FI20020810A patent/FI114679B/en active IP Right Grant
2003-04-28 CN CN 03809615 patent/CN100521793C/en active IP Right Grant
2003-04-28 JP JP2004502635A patent/JP4468800B2/en active Active
2003-04-28 EP EP03722629.7A patent/EP1500280B1/en active Active
2003-04-28 US US10/424,618 patent/US7302001B2/en active Active
2003-04-28 CN CN 200610004108 patent/CN1829329B/en active IP Right Grant
2003-04-28 CA CA 2483293 patent/CA2483293C/en active Active
2003-04-28 WO PCT/FI2003/000331 patent/WO2003094530A1/en active Application Filing
2003-04-28 AU AU2003229800A patent/AU2003229800A1/en not_active Abandoned
2003-04-28 KR KR20047017358A patent/KR100972403B1/en active IP Right Grant
2003-04-28 EP EP06101012A patent/EP1672930A3/en not_active Ceased
2003-04-28 KR KR1020067008825A patent/KR100973518B1/en active IP Right Grant
2003-04-28 BR BR0309713A patent/BR0309713A/en not_active IP Right Cessation
2006-01-19 US US11/335,107 patent/US7826531B2/en active Active
2006-04-28 JP JP2006126367A patent/JP2006246524A/en not_active Withdrawn
2006-12-29 US US11/647,710 patent/US7760802B2/en active Active
2010-01-29 JP JP2010018864A patent/JP2010136428A/en active Pending
KR100973518B1 (en) 2010-08-03
KR100972403B1 (en) 2010-07-27
CN1829329B (en) 2013-03-20
WO2003094530A1 (en) 2003-11-13
FI20020810A0 (en) 2002-04-29
AU2003229800A1 (en) 2003-11-17
BR0309713A (en) 2005-02-15
EP1672930A2 (en) 2006-06-21
US20040008766A1 (en) 2004-01-15
CA2483293A1 (en) 2003-11-13
JP2006505153A (en) 2006-02-09
CA2483293C (en) 2012-11-27
FI20020810D0 (en)
JP2006246524A (en) 2006-09-14
US20070110154A1 (en) 2007-05-17
FI114679B1 (en)
US7302001B2 (en) 2007-11-27
US7826531B2 (en) 2010-11-02
US20060115001A1 (en) 2006-06-01
CN100521793C (en) 2009-07-29
EP1500280B1 (en) 2013-05-22
KR20040106409A (en) 2004-12-17
CN1774934A (en) 2006-05-17
JP4468800B2 (en) 2010-05-26
EP1672930A3 (en) 2010-11-03
JP2010136428A (en) 2010-06-17
EP1500280A1 (en) 2005-01-26
FI20020810A (en) 2003-10-30
KR20060065740A (en) 2006-06-14
US7760802B2 (en) 2010-07-20
CN1829329A (en) 2006-09-06
CA3001216C (en) 2018-08-21 Adaptive filtering based upon boundary strength
KR101349836B1 (en) 2014-01-10 Method and apparatus for decoding/encoding a video signal
AU2012267006B2 (en) 2015-10-15 Method and apparatus of scalable video coding
JP4828543B2 (en) 2011-11-30 Video encoding apparatus and video decoding apparatus
US7978770B2 (en) 2011-07-12 Method and apparatus for motion vector prediction in temporal video compression
JP4695129B2 (en) 2011-06-08 The method for random access and gradual image update in the image coding
KR101126055B1 (en) 2012-03-29 Methods of performing error concealment for digital video
JP5002286B2 (en) 2012-08-15 The image coding apparatus, image coding method, program, and storage medium
2004-11-30 FG Patent granted
Ref document number: 114679