Unicode

**Unicode** ye un estándar de codificación de carácter diseñáu pa facilitar el tratamientu informáticu, tresmisión y visualización de testos de múltiples llinguaxes y disciplines téuniques, amás de testos clásicos de llingües muertes. El términu Unicode provién de los trés oxetivos escorríos: universalidá, uniformidá y unicidá.

Unicode especifica un nome ya identificador numbéricu únicu pa cada caráuter o símbolu, el *code point* ('puntu de códigu'), amás d'otres informaciones necesaries pal so usu correutu: direicionalidá, mayúscules y otros atributos. Unicode trata los caráuteres alfabéticos, ideográficos y símbolos de forma equivalente, lo que significa que pueden entemecese nun mesmu testu ensin la introducción de marques o caráuteres de control.

Esti estándar ye calteníu pol Unicode Technical Committee (UTC), integráu nel Consorciu Unicode, del que formen parte con distintu grau d'implicación empreses como: Microsoft, Apple, Adobe, IBM, Oracle, SAP, Google o Yahoo, instituciones como la Universidá de Berkeley, y profesionales y académicos a títulu individual.
El Unicode Consortium caltién estrecha rellación con ISO/IEC, cola que caltién dende 1991 l'alcuerdu de sincronizar los sos estándares que contienen los mesmos caráuteres y puntos de códigu.

L'establecimientu de Unicode foi un ambiciosu proyeutu pa reemplazar los esquemes de codificación de caráuteres esistentes, munchos de los cualos tán bien llindaos en tamañu y son incompatibles con redolaes plurillingües. Unicode volvióse'l más estensu y completu esquema de codificación de caráuteres, siendo'l dominante na internacionalización y adautación llocal del software informáticu. L'estándar foi implementáu nun númberu considerable de teunoloxíes recién, qu'inclúin XML, Java y sistemes operativos modernos.

La descripción completa del estándar y les tables de caráuteres tán disponibles na páxina web oficial de Unicode http://www.unicode.org/charts/. La referencia completa publicar, amás, en forma de llibru impresu cada vez que se lliberar una nueva versión principal. La versión dixital d'esti llibru ta disponible de forma gratuita. Les revisiones y amiestes publicar de forma independiente.

## Algame del estándar
Unicode inclúi tolos caráuteres d'usu común na actualidá. La versión&nbsp;5.1 contenía 100&nbsp;713&nbsp;caráuteres provenientes d'alfabetos, sistemes ideográficos y coleiciones de símbolos (matemáticos, téunicos, musicales, iconos...). La cifra crez con cada versión.

Unicode inclúi sistemes d'escritura modernu como: árabe, braille, coptu, cirílicu, griegu, sinogramas (hanja coreanu, hanzi chinu y kanji xaponés), silabarios xaponeses (hiragana y katakana), hebréu y llatín; escritures históriques estinguíes, pa propósitos académicos, como por casu: cuneiforme, griegu antiguu, llinial&nbsp;B micénicu, feniciu y rúnicu. Ente los caráuteres non alfabéticos incluyíos en Unicode atópense símbolos musicales y matemáticos, fiches de xuegos como'l dominó, fleches, iconos etc.

Amás, Unicode inclúi los signos diacríticos como caráuteres independientes que pueden ser combinaos con otros caráuteres y dispón de versiones predefinidas de la mayoría de lletres con símbolos diacríticos n'usu na actualidá, como les vocales acentuaes del español.

Unicode ye un estándar en constante evolución y amiéstense nuevos caráuteres de cutio. Refugar ciertos alfabetos, propuestos por distintes razones, como por casu l'alfabetu klingon.

### Rellación con otros estándares
Como yá s'indicó, Unicode ta sincronizáu col estándar ISO/IEC conocíu como UCS o xuegu de caráuteres universal. Dende un puntu de vista téunicu, inclúi o ye compatible con codificaciones anteriores como ASCII7 o ISO&nbsp;8859-1, los estándares nacionales ANSI&nbsp;Z39.64, KS&nbsp;X&nbsp;1001, JIS&nbsp;X&nbsp;0208, JIS&nbsp;X&nbsp;0212, JIS&nbsp;X&nbsp;0213, GB&nbsp;2312, GB&nbsp;18030, HKSCS, y CNS&nbsp;11643, codificaciones particulares de fabricantes de software como Apple, Adobe, Microsoft, IBM, etc. Amás, Unicode reserva espaciu pa fabricantes de software que pueden crear estensiones pal so propiu usu.

## Repertoriu de caráuteres
**L'elementu básicu del estándar Unicode ye'l [[caráuter (informática)|caráuter]]**. Considérase un caráuter al elementu más pequeñu d'un sistema d'escritura con significáu. L'estándar Unicode codifica los caráuteres esenciales ―grafemes― definiéndolos de forma astracta y dexa la representación visual (tamañu, dimensión, fonte o estilu) al software que lo trate, como procesador de testu o navegador web. Inclúyense lletres, signos diacríticos, caráuteres de puntuación, ideogrames, caráuteres silábicos, caráuteres de control y otros símbolos. Los caráuteres arrexuntar n'alfabetos o sistemes d'escritura. Considérase que son distintos los caráuteres d'alfabetos distintos, anque compartan forma y significación.

Los caráuteres identificar por aciu un **númberu o puntu de códigu** y el so nome o descripción. Cuando s'asignó un códigu a un caráuter, dizse que dichu caráuter ta codificado. L'espaciu pa códigos tien 1&nbsp;114&nbsp;112&nbsp;posiciones posibles (0x10FFFF). Los puntos de códigu represéntense utilizando notación hexadecimal amestando'l prefixu U+. El valor hexadecimal completar con ceros hasta 4&nbsp;díxitos hexadecimales cuando ye necesariu; si ye de llargor mayor que 4&nbsp;díxitos nun s'amiesten ceros.

### Tipos de caráuteres

Los bloques del espaciu de códigos contienen puntos cola siguiente información:

* Caráuteres gráficos: lletres, signos diacríticos, cifres, caráuteres de puntuación, símbolos y espacios.
* Caráuteres de formatu: caráuteres invisibles qu'afecten al procesu del testu próximu. Exemplos: U+2028 *saltu de llinia*, U+2029 *saltu de párrafu*, U+00A0 *[[espaciu duru]]*, etc.
* Códigos de control: 65 códigos definíos por compatibilidá con ISO/IEC&nbsp;2022. Son los caráuteres ente nos rangos [U+0000,U+001F], U+007F y [U+0080..U+009F]. Interpretalos ye responsabilidá de protocolos cimeros.
* Caráuteres privaos: reservaos pal usu fuera del estándar por fabricantes de software.
* Caráuteres reservaos: códigos reservaos pal so usu por Unicode. Son posiciones ensin asignar.
* Puntos de códigu subrogados: Unicode reserva los puntos de códigu d'U+D800 a U+DFFF pal so usu como códigos subrogados en UTF-16, na representación de caráuteres suplementarios.
* Non caráuteres: son códigos reservaos permanentemente pa usu internu por Unicode. Los dos últimos puntos de cada planu U+FFFE y U+FFFF.
* Caráuteres refugaos: son caráuteres que se retienen por compatibilidá con versiones anteriores, pero tien d'evitase'l so usu.

### Composición de caráuteres y secuencies

Unicode inclúi un mecanismu pa formar caráuteres y asina estender el repertoriu de compatibilidá colos símbolos esistentes. Un caráuter base complementar con marques: signos diacríticos, de puntuación o marcos. El tipu de cada caráuter y los sos atributos definen el papel que pueden xugar nuna combinación. Por esti motivu, puede haber delles opciones que representen el mesmu caráuter. Pa facilitar la compatibilidá con codificaciones anteriores, apúrrense caráuteres precompuestos; na definición de dichos caráuteres faise constar qué caráuteres intervienen na composición.

Un grupu de caráuteres consecutivos, independientemente del so tipu, forma una secuencia. En casu de que delles secuencies representen el mesmu conxuntu de caráuteres esenciales, l'estándar nun define una d'elles como 'correuta', sinón que les considera equivalentes. Pa poder identificar diches equivalencies, Unicode define los mecanismos de *equivalencia canónica* y de *equivalencia de compatibilidá* basaos nel llogru de formes normalizaes de les cadenes a comparar.

### Repertoriu unificáu chinu, coreanu y xaponés
Nel estándar Unicode, los ideogrames d'Asia oriental (popularmente llamaos «caráuteres chinos») denominar «ideogrames han». Estos ideogrames desenvolver en China y fueron afechos por cultures próximes pal so propiu usu.
Xapón, Corea y Vietnam desenvolvieron los sos propios sistemes alfabéticos o silábicos pa usar en combinación colos símbolos chinos: hiragana y katakana (en Xapón), hangul (en Corea) y yi (en Vietnam). La evolución natural de los sistemes d'escritura y los distintos momentos d'entrada de los caráuteres nes distintes cultures marcaron diferencies nos ideogrames utilizaos. Unicode considera les distintes versiones de los ideogrames como variantes d'un mesmu caráuter astractu, esto ye, como resultáu de l'aplicación d'un tipu de lletra distinta en cada casu y considera les variantes nacionales como pertenecientes a un mesmu sistema d'escritura. La versión orixinal del estándar desenvolver a partir de los estándares industriales esistentes nos países afeutaos.

L'organismu encargáu de desenvolver el repertoriu de caráuteres ye l'Ideographic Rapporteur Group (IRG). IRG ye un grupu de trabayu integráu en ISO/IEC JTC1/SC2/WG2, incluyendo a China, Ḥong Kong, Macáu, Taipei Computer Association, Singapur, Xapón, Corea del Sur, Corea del Norte, Vietnam y Estaos Xuníos d'América.

La base de datos de caráuteres CJK denominar **Unihan** y contién, amás, información auxiliar sobre significáu, conversiones, datos necesarios pa utilizalos nos distintos llinguaxes que los utilicen. De siguío amuésense los bloques que describen esti repertoriu. IRG define los caráuteres de los trés grupos unificaos, los siguientes dos grupos contienen caráuteres pa compatibilidá con estándares anteriores.

#### Secuencies de descripción ideográfica
Almítese que nunca se podrá rematar la xera d'incluyir ideogrames nel estándar debíu, principalmente, a que la creación de nuevos ideogrames sigue. Con cuenta de suplir eventuales faltes, Unicode ufierta un mecanismu que dexa la representación de los símbolos que falten denomináu «secuencies de descripción ideográfica». Basar en que na práutica, la totalidá de los ideogrames puede descomponese en pieces más pequeñes que, de la mesma, son ideogrames. Anque sía posible la representación d'un símbolu por aciu una secuencia, l'estándar especifica que siempres qu'esista una versión codificada el so usu tien de ser preferente. Nun hai un métodu pa la descomposición canónica» d'ideogrames nin algoritmos d'equivalencia polo que les operaciones sobre'l testu, como busca o ordenación, pueden fallar.

Unicode define 12&nbsp;caráuteres distintos pa la descripción d'ideogrames representando distintes posibilidaes de combinación espacial d'otros caráuteres han.

## Elementos del estándar Unicode

### Principios de diseñu
L'estándar foi diseñáu colos siguientes oxetivos:

* **Universalidá**: Un repertoriu abondo ampliu qu'albergue a tolos caráuteres probables nel intercambiu de testu multlingüe.
* **Eficiencia**: Les secuencies xeneraes tienen de ser fáciles de tratar.
* **Non ambigüedá**: Un códigu dau siempres representa'l mesmu caráuter.

### Base de datos de caráuteres
El conxuntu de caráuteres codificados por Unicode, ye la UCD (unicode character database: base de datos de caráuteres Unicode). Amás de nome y puntu de códigu, inclúi más información: alfabetu al que pertenez, nome, clasificación, mayúscules, orientación y otres formes d'usu, variantes estandarizadas, regles de combinación, etc.

Formalmente la base de datos estremar en **planos** y estos de la mesma en **árees** y **bloques**. Con esceiciones, los caráuteres codificados arrexuntar nel espaciu de códigos siguiendo categoríes como alfabetu o sistema d'escritura, de forma que caráuteres rellacionaos atópense cerca en tables de codificación.

#### Planos
Por conveniencia estremóse l'espaciu de códigos en grandes grupos denominaos *planos*. Cada planu contién un máximu de 65&nbsp;535&nbsp;caráuteres. Dau un puntu de códigu espresáu n'hexadecimal, los 4&nbsp;últimos díxitos determinen la posición del caráuter nel planu.
* Planu básicu multillingüe: BMP o planu 0. Contién la mayor parte de los alfabetos modernos, incluyendo los caráuteres más comunes del sistema CJK, otros caráuteres históricos o pocu habituales y 64&nbsp;reservaes pa usu priváu.
* Planu suplementariu multillingüe: SMP o planu 1. Alfabetos históricos de menor usu y sistemes d'usu téunicu o otros usos.
* Planu suplementariu ideográficu: SIP o planu 2. Contién los caráuteres del sistema CJK que nun s'inclúin nel planu&nbsp;0. La mayoría son caráuteres bien raros o d'interés históricu.
* Planu de propósitu especial: SSP o planu 14. Área pa caráuteres de control que nun s'introducieron nel planu&nbsp;0.
* Planos d'usu priváu: planos&nbsp;15 y 16. Reservaos pa usu priváu por fabricantes de software.

#### Árees y bloques
Los distintos planos estremar n'árees de direicionamientu en función de los tipos xenerales qu'inclúin. Esta división ye convencional, non reglada y puede variar col tiempu. Les árees estrémense, de la mesma, en bloques. Los bloques tán definíos normativamente y son rangos consecutivos del espaciu de códigos. Los bloques utilizar pa formar les tables impreses de carácter pero nun tienen de tomar se como definiciones de grupos significativos de caráuteres.

## Tratamientu de la información

### Formes de codificación
Los puntos de códigu de Unicode identificar por un númberu enteru. Según la so arquiteutura, un ordenador va utilizar unidaes de 8, 16&nbsp;o&nbsp;32&nbsp;bits pa representar dichos enteros. Les *formes de codificación* de Unicode reglamentan la forma en que los puntos de códigu van tresformar n'unidaes tratables pol ordenador.

Unicode define trés formes de codificación sol nome **UTF** (Unicode transformation format: formatu de tresformamientu Unicode):
* UTF-8: codificación empobinada a byte con símbolos de llargor variable.
* UTF-16: codificación de 16&nbsp;bits de llargor variable optimizada pa la representación del planu básicu multillingüe (BMP).
* UTF-32: codificación de 32&nbsp;bits de llargor fixu, y la más senciella de los trés.

Les *formes de codificación* llindar a describir la manera en que se representen los puntos de códigu en formatu intelixible pola máquina. A partir de les 3&nbsp;formes identificaes defínense 7&nbsp;esquemes de codificación.

### Esquemes de codificación
Los *esquemes de codificación* traten de la forma en que se serializa la información codificada. La seguridá nos intercambios d'información ente sistemes heteroxéneos rique la implementación de sistemes que dexen determinar l'orde correutu de los bits y bytes y garantizar que la reconstrucción de la información ye correuta. Una diferencia fundamental ente procesador ye l'orde de disposición de los bytes en pallabres de 16&nbsp;y&nbsp;32&nbsp;bits, lo que se denomina *[[endianness]]*. Los esquemes de codificación tienen de garantizar que los estremos d'una comunicación saben cómo interpretar la información recibida. A partir de les 3&nbsp;formes de codificación defínense 7&nbsp;esquemes. A pesar de que comparten nomes, nun tien de confundir se esquemes y formes de codificación.

Unicode define una marca especial, la marca d'orde de bytes (BOM, *Byte Order Mark*), al entamu d'un ficheru o una comunicación pa faer esplícita la ordenación de bytes. Cuando un protocolu cimeru especifica l'orde de bytes, la marca nun ye necesaria y puede omitise dando llugar a los esquemes de la llista anterior con sufixu *BE* o *-Y*. Nos esquemes UTF-16 y UTF-32, qu'almiten BOM, si esti nun s'especifica asumir que la ordenación de bytes ye ''big-endian''.

La unidá de codificación en UTF-8 ye'l byte polo que nun precisa una indicación d'orde de byte. L'estándar nin rique nin encamienta l'usu de BOM, pero almitir como marca de que'l testu ye Unicode o como resultáu de la conversión d'otros esquemes.

## Historia
El proyeutu Unicode empecipiar a finales de 1987, tres conversaciones ente Joe Becker, Lee Collins y Mark Davis (inxenieros de les empreses Apple y Xerox). Como resultáu de la so collaboración, n'agostu de 1988 publicóse'l primer borrador de Unicode sol nome de Unicode88.
Esta primer versión, con códigos de 16&nbsp;bits, publicóse asumiendo que solo se codificarían los caráuteres necesarios pal usu modernu.

Mientres l'añu 1989 el trabayu siguió cola adición de collaboradores d'otres compañíes como Microsoft o Sun Microsystems. El Consorciu Unicode formóse'l 3 de febreru de 1991, y n'ochobre de 1991 publicóse la primer versión del estándar. La segunda versión, incluyendo escritura ideográfico han publicar en xunu de 1992. De siguío amuésase una tabla coles distintes versiones del Estándar Unicode colos sos amiestes o cambeos más importantes.

## Ver tamién
* IDC (unicode block)
* Sistema d'escritura
* Historia de la escritura

## Referencies

## Enllaces esternos
* Unicode Consortium, nel sitiu web Unicode.org.
* Historia de la unificación han, nel sitiu web Unicode.org.
* Catálogu de sistemes d'escritura y fueyes de caráuteres, nel sitiu web Unicode.org.