Unicode

Unicode ye un estándar de codificación de carácter diseñáu pa facilitar el tratamientu informáticu, tresmisión y visualización de testos de múltiples llinguaxes y disciplines téuniques, amás de testos clásicos de llingües muertes. El términu Unicode provién de los trés oxetivos escorríos: universalidá, uniformidá y unicidá.

Unicode especifica un nome ya identificador numbéricu únicu pa cada caráuter o símbolu, el code point ('puntu de códigu'), amás d'otres informaciones necesaries pal so usu correutu: direicionalidá, mayúscules y otros atributos. Unicode trata los caráuteres alfabéticos, ideográficos y símbolos de forma equivalente, lo que significa que pueden entemecese nun mesmu testu ensin la introducción de marques o caráuteres de control.

Esti estándar ye calteníu pol Unicode Technical Committee (UTC), integráu nel Consorciu Unicode, del que formen parte con distintu grau d'implicación empreses como: Microsoft, Apple, Adobe, IBM, Oracle, SAP, Google o Yahoo, instituciones como la Universidá de Berkeley, y profesionales y académicos a títulu individual.
El Unicode Consortium caltién estrecha rellación con ISO/IEC, cola que caltién dende 1991 l'alcuerdu de sincronizar los sos estándares que contienen los mesmos caráuteres y puntos de códigu.

L'establecimientu de Unicode foi un ambiciosu proyeutu pa reemplazar los esquemes de codificación de caráuteres esistentes, munchos de los cualos tán bien llindaos en tamañu y son incompatibles con redolaes plurillingües. Unicode volvióse'l más estensu y completu esquema de codificación de caráuteres, siendo'l dominante na internacionalización y adautación llocal del software informáticu. L'estándar foi implementáu nun númberu considerable de teunoloxíes recién, qu'inclúin XML, Java y sistemes operativos modernos.

La descripción completa del estándar y les tables de caráuteres tán disponibles na páxina web oficial de Unicode . La referencia completa publicar, amás, en forma de llibru impresu cada vez que se lliberar una nueva versión principal. La versión dixital d'esti llibru ta disponible de forma gratuita. Les revisiones y amiestes publicar de forma independiente.

 Algame del estándar 
Unicode inclúi tolos caráuteres d'usu común na actualidá. La versión 5.1 contenía 100 713 caráuteres provenientes d'alfabetos, sistemes ideográficos y coleiciones de símbolos (matemáticos, téunicos, musicales, iconos...). La cifra crez con cada versión.

Unicode inclúi sistemes d'escritura modernu como: árabe, braille, coptu, cirílicu, griegu, sinogramas (hanja coreanu, hanzi chinu y kanji xaponés), silabarios xaponeses (hiragana y katakana), hebréu y llatín; escritures históriques estinguíes, pa propósitos académicos, como por casu: cuneiforme, griegu antiguu, llinial B micénicu, feniciu y rúnicu. Ente los caráuteres non alfabéticos incluyíos en Unicode atópense símbolos musicales y matemáticos, fiches de xuegos como'l dominó, fleches, iconos etc.

Amás, Unicode inclúi los signos diacríticos como caráuteres independientes que pueden ser combinaos con otros caráuteres y dispón de versiones predefinidas de la mayoría de lletres con símbolos diacríticos n'usu na actualidá, como les vocales acentuaes del español.

Unicode ye un estándar en constante evolución y amiéstense nuevos caráuteres de cutio. Refugar ciertos alfabetos, propuestos por distintes razones, como por casu l'alfabetu klingon.

 Rellación con otros estándares 
Como yá s'indicó, Unicode ta sincronizáu col estándar ISO/IEC conocíu como UCS o xuegu de caráuteres universal. Dende un puntu de vista téunicu, inclúi o ye compatible con codificaciones anteriores como ASCII7 o ISO 8859-1, los estándares nacionales ANSI Z39.64, KS X 1001, JIS X 0208, JIS X 0212, JIS X 0213, GB 2312, GB 18030, HKSCS, y CNS 11643, codificaciones particulares de fabricantes de software como Apple, Adobe, Microsoft, IBM, etc. Amás, Unicode reserva espaciu pa fabricantes de software que pueden crear estensiones pal so propiu usu.

 Repertoriu de caráuteres 
L'elementu básicu del estándar Unicode ye'l caráuter. Considérase un caráuter al elementu más pequeñu d'un sistema d'escritura con significáu. L'estándar Unicode codifica los caráuteres esenciales ―grafemes― definiéndolos de forma astracta y dexa la representación visual (tamañu, dimensión, fonte o estilu) al software que lo trate, como procesador de testu o navegador web. Inclúyense lletres, signos diacríticos, caráuteres de puntuación, ideogrames, caráuteres silábicos, caráuteres de control y otros símbolos. Los caráuteres arrexuntar n'alfabetos o sistemes d'escritura. Considérase que son distintos los caráuteres d'alfabetos distintos, anque compartan forma y significación.

Los caráuteres identificar por aciu un númberu o puntu de códigu y el so nome o descripción. Cuando s'asignó un códigu a un caráuter, dizse que dichu caráuter ta codificado. L'espaciu pa códigos tien 1 114 112 posiciones posibles (0x10FFFF). Los puntos de códigu represéntense utilizando notación hexadecimal amestando'l prefixu U+. El valor hexadecimal completar con ceros hasta 4 díxitos hexadecimales cuando ye necesariu; si ye de llargor mayor que 4 díxitos nun s'amiesten ceros.

 Tipos de caráuteres 

Los bloques del espaciu de códigos contienen puntos cola siguiente información:

 Caráuteres gráficos: lletres, signos diacríticos, cifres, caráuteres de puntuación, símbolos y espacios.
 Caráuteres de formatu: caráuteres invisibles qu'afecten al procesu del testu próximu. Exemplos: U+2028 saltu de llinia, U+2029 saltu de párrafu, U+00A0 espaciu duru, etc.
 Códigos de control: 65 códigos definíos por compatibilidá con ISO/IEC 2022. Son los caráuteres ente nos rangos [U+0000,U+001F], U+007F y [U+0080..U+009F]. Interpretalos ye responsabilidá de protocolos cimeros.
 Caráuteres privaos: reservaos pal usu fuera del estándar por fabricantes de software.
 Caráuteres reservaos: códigos reservaos pal so usu por Unicode. Son posiciones ensin asignar.
 Puntos de códigu subrogados: Unicode reserva los puntos de códigu d'U+D800 a U+DFFF pal so usu como códigos subrogados en UTF-16, na representación de caráuteres suplementarios.
 Non caráuteres: son códigos reservaos permanentemente pa usu internu por Unicode. Los dos últimos puntos de cada planu U+FFFE y U+FFFF.
 Caráuteres refugaos: son caráuteres que se retienen por compatibilidá con versiones anteriores, pero tien d'evitase'l so usu.

 Composición de caráuteres y secuencies 

Unicode inclúi un mecanismu pa formar caráuteres y asina estender el repertoriu de compatibilidá colos símbolos esistentes. Un caráuter base complementar con marques: signos diacríticos, de puntuación o marcos. El tipu de cada caráuter y los sos atributos definen el papel que pueden xugar nuna combinación. Por esti motivu, puede haber delles opciones que representen el mesmu caráuter. Pa facilitar la compatibilidá con codificaciones anteriores, apúrrense caráuteres precompuestos; na definición de dichos caráuteres faise constar qué caráuteres intervienen na composición.

Un grupu de caráuteres consecutivos, independientemente del so tipu, forma una secuencia. En casu de que delles secuencies representen el mesmu conxuntu de caráuteres esenciales, l'estándar nun define una d'elles como 'correuta', sinón que les considera equivalentes. Pa poder identificar diches equivalencies, Unicode define los mecanismos de equivalencia canónica y de equivalencia de compatibilidá basaos nel llogru de formes normalizaes de les cadenes a comparar.

 Repertoriu unificáu chinu, coreanu y xaponés 
Nel estándar Unicode, los ideogrames d'Asia oriental (popularmente llamaos «caráuteres chinos») denominar «ideogrames han». Estos ideogrames desenvolver en China y fueron afechos por cultures próximes pal so propiu usu.
Xapón, Corea y Vietnam desenvolvieron los sos propios sistemes alfabéticos o silábicos pa usar en combinación colos símbolos chinos: hiragana y katakana (en Xapón), hangul (en Corea) y yi (en Vietnam). La evolución natural de los sistemes d'escritura y los distintos momentos d'entrada de los caráuteres nes distintes cultures marcaron diferencies nos ideogrames utilizaos. Unicode considera les distintes versiones de los ideogrames como variantes d'un mesmu caráuter astractu, esto ye, como resultáu de l'aplicación d'un tipu de lletra distinta en cada casu y considera les variantes nacionales como pertenecientes a un mesmu sistema d'escritura. La versión orixinal del estándar desenvolver a partir de los estándares industriales esistentes nos países afeutaos.

L'organismu encargáu de desenvolver el repertoriu de caráuteres ye l'Ideographic Rapporteur Group (IRG). IRG ye un grupu de trabayu integráu en ISO/IEC JTC1/SC2/WG2, incluyendo a China, Ḥong Kong, Macáu, Taipei Computer Association, Singapur, Xapón, Corea del Sur, Corea del Norte, Vietnam y Estaos Xuníos d'América.

La base de datos de caráuteres CJK denominar Unihan y contién, amás, información auxiliar sobre significáu, conversiones, datos necesarios pa utilizalos nos distintos llinguaxes que los utilicen. De siguío amuésense los bloques que describen esti repertoriu. IRG define los caráuteres de los trés grupos unificaos, los siguientes dos grupos contienen caráuteres pa compatibilidá con estándares anteriores.

 Bloque Rangu de códigos Comentarios Ideogrames unificaos CJK 4Y00-9FFF Ideogrames d'usu común. Tamañu de códigu: 2 bytes.3400-4DFF Ideogrames d'usu pocu habitual. Tamañu de códigu: 2 bytes. Ideogrames unificaos CJK - Estensión B 20000-2A6DF Ideogrames d'usu pocu habitual y históricos.F900-FAFF Duplicaos, variantes unificables y caráuteres corporativos. Tamañu de códigu: 2 bytes.2F800-2FA1F Variantes unificables.

 Secuencies de descripción ideográfica 
Almítese que nunca se podrá rematar la xera d'incluyir ideogrames nel estándar debíu, principalmente, a que la creación de nuevos ideogrames sigue. Con cuenta de suplir eventuales faltes, Unicode ufierta un mecanismu que dexa la representación de los símbolos que falten denomináu «secuencies de descripción ideográfica». Basar en que na práutica, la totalidá de los ideogrames puede descomponese en pieces más pequeñes que, de la mesma, son ideogrames. Anque sía posible la representación d'un símbolu por aciu una secuencia, l'estándar especifica que siempres qu'esista una versión codificada el so usu tien de ser preferente. Nun hai un métodu pa la descomposición canónica» d'ideogrames nin algoritmos d'equivalencia polo que les operaciones sobre'l testu, como busca o ordenación, pueden fallar.

Unicode define 12 caráuteres distintos pa la descripción d'ideogrames representando distintes posibilidaes de combinación espacial d'otros caráuteres han.

 Elementos del estándar Unicode 

 Principios de diseñu 
L'estándar foi diseñáu colos siguientes oxetivos:

 Universalidá: Un repertoriu abondo ampliu qu'albergue a tolos caráuteres probables nel intercambiu de testu multlingüe.
 Eficiencia: Les secuencies xeneraes tienen de ser fáciles de tratar.
 Non ambigüedá: Un códigu dau siempres representa'l mesmu caráuter.

 Base de datos de caráuteres 
El conxuntu de caráuteres codificados por Unicode, ye la UCD (unicode character database: base de datos de caráuteres Unicode). Amás de nome y puntu de códigu, inclúi más información: alfabetu al que pertenez, nome, clasificación, mayúscules, orientación y otres formes d'usu, variantes estandarizadas, regles de combinación, etc.

Formalmente la base de datos estremar en planos y estos de la mesma en árees y bloques. Con esceiciones, los caráuteres codificados arrexuntar nel espaciu de códigos siguiendo categoríes como alfabetu o sistema d'escritura, de forma que caráuteres rellacionaos atópense cerca en tables de codificación.

 Planos 
Por conveniencia estremóse l'espaciu de códigos en grandes grupos denominaos planos. Cada planu contién un máximu de 65 535 caráuteres. Dau un puntu de códigu espresáu n'hexadecimal, los 4 últimos díxitos determinen la posición del caráuter nel planu.
 Planu básicu multillingüe: BMP o planu 0. Contién la mayor parte de los alfabetos modernos, incluyendo los caráuteres más comunes del sistema CJK, otros caráuteres históricos o pocu habituales y 64 reservaes pa usu priváu.
 Planu suplementariu multillingüe: SMP o planu 1. Alfabetos históricos de menor usu y sistemes d'usu téunicu o otros usos.
 Planu suplementariu ideográficu: SIP o planu 2. Contién los caráuteres del sistema CJK que nun s'inclúin nel planu 0. La mayoría son caráuteres bien raros o d'interés históricu.
 Planu de propósitu especial: SSP o planu 14. Área pa caráuteres de control que nun s'introducieron nel planu 0.
 Planos d'usu priváu: planos 15 y 16. Reservaos pa usu priváu por fabricantes de software.

 Árees y bloques 
Los distintos planos estremar n'árees de direicionamientu en función de los tipos xenerales qu'inclúin. Esta división ye convencional, non reglada y puede variar col tiempu. Les árees estrémense, de la mesma, en bloques. Los bloques tán definíos normativamente y son rangos consecutivos del espaciu de códigos. Los bloques utilizar pa formar les tables impreses de carácter pero nun tienen de tomar se como definiciones de grupos significativos de caráuteres.

 Tratamientu de la información 

 Formes de codificación 
Los puntos de códigu de Unicode identificar por un númberu enteru. Según la so arquiteutura, un ordenador va utilizar unidaes de 8, 16 o 32 bits pa representar dichos enteros. Les formes de codificación de Unicode reglamentan la forma en que los puntos de códigu van tresformar n'unidaes tratables pol ordenador.

Unicode define trés formes de codificación sol nome UTF (Unicode transformation format: formatu de tresformamientu Unicode):
 UTF-8: codificación empobinada a byte con símbolos de llargor variable.
 UTF-16: codificación de 16 bits de llargor variable optimizada pa la representación del planu básicu multillingüe (BMP).
 UTF-32: codificación de 32 bits de llargor fixu, y la más senciella de los trés.

Les formes de codificación llindar a describir la manera en que se representen los puntos de códigu en formatu intelixible pola máquina. A partir de les 3 formes identificaes defínense 7 esquemes de codificación.

 Esquemes de codificación 
Los esquemes de codificación traten de la forma en que se serializa la información codificada. La seguridá nos intercambios d'información ente sistemes heteroxéneos rique la implementación de sistemes que dexen determinar l'orde correutu de los bits y bytes y garantizar que la reconstrucción de la información ye correuta. Una diferencia fundamental ente procesador ye l'orde de disposición de los bytes en pallabres de 16 y 32 bits, lo que se denomina endianness. Los esquemes de codificación tienen de garantizar que los estremos d'una comunicación saben cómo interpretar la información recibida. A partir de les 3 formes de codificación defínense 7 esquemes. A pesar de que comparten nomes, nun tien de confundir se esquemes y formes de codificación.

 Esquema de codificación Endianness Almite BOM UTF-8Sí UTF-16 Big-endian o Little-endian SíBig-endian Non UTF-16-Y Little-endian Non UTF-32 Big-endian o Little-endian SíBig-endian Non UTF-32-Y Little-endian Non

Unicode define una marca especial, la marca d'orde de bytes (BOM, Byte Order Mark), al entamu d'un ficheru o una comunicación pa faer esplícita la ordenación de bytes. Cuando un protocolu cimeru especifica l'orde de bytes, la marca nun ye necesaria y puede omitise dando llugar a los esquemes de la llista anterior con sufixu BE o -Y. Nos esquemes UTF-16 y UTF-32, qu'almiten BOM, si esti nun s'especifica asumir que la ordenación de bytes ye big-endian.

La unidá de codificación en UTF-8 ye'l byte polo que nun precisa una indicación d'orde de byte. L'estándar nin rique nin encamienta l'usu de BOM, pero almitir como marca de que'l testu ye Unicode o como resultáu de la conversión d'otros esquemes.

 Historia 
El proyeutu Unicode empecipiar a finales de 1987, tres conversaciones ente Joe Becker, Lee Collins y Mark Davis (inxenieros de les empreses Apple y Xerox). Como resultáu de la so collaboración, n'agostu de 1988 publicóse'l primer borrador de Unicode sol nome de Unicode88.
Esta primer versión, con códigos de 16 bits, publicóse asumiendo que solo se codificarían los caráuteres necesarios pal usu modernu.

Mientres l'añu 1989 el trabayu siguió cola adición de collaboradores d'otres compañíes como Microsoft o Sun Microsystems. El Consorciu Unicode formóse'l 3 de febreru de 1991, y n'ochobre de 1991 publicóse la primer versión del estándar. La segunda versión, incluyendo escritura ideográfico han publicar en xunu de 1992. De siguío amuésase una tabla coles distintes versiones del Estándar Unicode colos sos amiestes o cambeos más importantes.

 Versión FechaPublicación Edición ISO/IEC 10646 acomuñadaEscritures Caráuteres # Amiestes notables 1.0 ochobre de 1991 ISBN 0-201-56788-1 (Vol.1). 24 7161 El repertoriu inicial cubre los alfabetos: árabe, armeniu, bengalí, bopomofo, cirílicu, devanágari, xeorxanu, griegu/coptu, guyaratí, gurmukhi, hangul, hebréu, hiragana, kannada, katakana, lao, llatín, malayalam, oriya, tamil, télugu, thai, y tibetanu. 1.0.1 xunu de 1992 ISBN 0-201-60845-6 (Vol.2). 25 28 359 Definíu'l primer conxuntu de 20 902 ideogrames CJK unificaos. 1.1 xunu de 1993 ISO/IEC 10646-1:1993 24 34 233 Amiéstense 4306 caráuteres hangul, más al conxuntu orixinal de 2350. Esaníciase l'alfabetu tibetanu. 2.0 xunetu de 1996 ISBN 0-201-48345-9 ISO/IEC 10646-1:1993 con enmiendes 5, 6 y 7 25 38 950 Esaniciáu'l conxuntu orixinal de caráuteres hangul; amiéstase un nuevu conxuntu de 11 172 caráuteres hangul nun nuevu allugamientu. Reincorpórase l'alfabetu tibetanu nun nuevu allugamientu y con un xuegu de caráuteres distintu. Defínese'l sistema de códigos subrogados y créanse los planos 15 y 16 de caráuteres pa usu priváu. 2.1 mayu de 1998 ISO/IEC 10646-1:1993 con enmiendes 5, 6 y 7, y dos caráuteres de la enmienda 18 25 38 952 Amiéstase'l símbolu del euru. 3.0 setiembre de 1999 ISBN 0-201-61633-5 ISO/IEC 10646-1:2000 38 49 259 Ideogrames cheroqui. Escritures etíope, jemer, mongol, Myanmar, ogham, alfabetu rúnicu, cingalés, siríacu, thaana, silabariu unificáu de los indíxenes canadienses, y yi amás de los patrones braille. 3.1 marzu de 2001 ISO/IEC 10646-1:2000
ISO/IEC 10646-2:2001 41 94 205 Amiéstense los alfabetos deseret, góticu y etruscu, y los símbolos de notación musical moderna, música bizantina, y 42 711 ideogrames de CJK unificáu. 3.2 marzu de 2002 ISO/IEC 10646-1:2000 cola enmienda 1
ISO/IEC 10646-2:2001 45 95 221 Amestaes les escritures filipines: buhid, hanunó'o, tagalu, y tagbanwa. 4.0 abril de 2003 ISBN 0-321-18578-1 ISO/IEC 10646:2003 52 96 447 Amiéstase'l silabariu chipriota, limbu, llinial B, osmanya, shaviano, tai -y, y ugarítico, y los hexagramas I Ching. 4.1 marzu de 2005 ISO/IEC 10646:2003 con enmienda 1 59 97 720 Agregaos buginés, glagolíticu, kharoshthi, new tai lue, persa antiguu, syloti nagri, y nifinagh. Dixébrase'l coptu del alfabetu griegu. Símbolos griegos antiguos pa música y numberación. 5.0 xunetu de 2006 ISBN 0-321-48091-0 ISO/IEC 10646:2003 con enmiendes 1 y 2 y cuatro caráuteres de la enmienda 3 64 99 089 Agregaos: balinés, cuneiforme, n'ko (mandé), phags-pa, y feniciu. 5.1 abril de 2008 ISO/IEC 10646:2003 más enmiendes 1, 2, 3 y 4 75 100 713 Agregaos: escritura caria, cham, kayah li, escritura lepcha, alfabetu liciu, alfabetu trepo, alfabetu ol chiki, rejang, saurashtra, sundanés, y el silabariu vai. Los xeroglíficos del discu de Festos, fiches de mahjong y de dominó. Amiestes importantes pal birmanu, lletres y abreviatures d'amanuense utilizaes en manuscritos medievales y la adición de la ß mayúscula.Archivu de datos de Unicode 5.1 5.2 ochobre de 2009 ISBN 978-1-936213-00-9 ISO/IEC 10646:2003 más enmiendes de 1 a 6 90 107 361 Agregaos: bamúm, javanés, lisu, meetei mayek, samaritanu, tai tham, y tai viet. Amplióse'l devanágari cola adición del alfabetu sánscritu. Ampliaciones importantes pal abkhasu, el silabariu unificáu de los indíxenes canadianos, coptu, khamti shan, malayu, myanmar. Tamién s'amiesten símbolos y caráuteres históricos como los xeroglíficos exipcios de Gardiner, araméu imperial, avéstico, kaithi, antiguu árabe del Sur y turcu antiguu.Unicode 5.2.0 6.0 ochobre de 2010 ISBN 978-1-936213-01-6 ISO/IEC 10646:2011 93 109 449La versión 6.0 ye la primer versión principal del estándar publicada puramente en soporte electrónicu. Amestaos mandeo, batak y brahmi, ampliaciones de llinguaxes africanos como tifinagh, etíope y bamúm. Otres amiestes importantes son: 222 ideogrames CJK, 1000 símbolos incluyendo los pictogrames emoji, el nuevu símbolu oficial pa la rupia y símbolos alquímicos amás d'ampliaciones de los atributos de los caráuteres y otros cambeos normativos y algorítmicas.Unicode 6.0.0

 Ver tamién 
 IDC (unicode block)
 Sistema d'escritura
 Historia de la escritura

 Referencies 

 Enllaces esternos 
 Unicode Consortium, nel sitiu web Unicode.org.
 Historia de la unificación han, nel sitiu web Unicode.org.
 Catálogu de sistemes d'escritura y fueyes de caráuteres, nel sitiu web Unicode.org.

Categoría:Codificación de caráuteres
Categoría:Normes ISO
Categoría:Protocolos y formatos de nivel de presentación
Unicode
Categoría:Wikipedia:Páxines con tables frañíes