نویسه‌های مجموعه نویسه‌های جهانی

**نویسه‌های مجموعه نویسه‌های جهانی** فهرست تمام **[[نویسه (رایانش)|نویسه‌هایی]]** (به انگلیسی: Character Set) است که در **مجموعه نویسه‌های جهانی** (به انگلیسی: ؛ به اختصار UCS) گردآوری شده‌اند. نام رسمی این نویسه‌ها ISO/IEC 10646 می‌باشد. این مجموعه یک استاندارد بین‌المللی برای نگاشت نویسه‌ها — نمادهای گسسته‌ای که در زبان‌های طبیعی، موسیقی، ریاضیات و دیگر حوزه‌ها به کار می‌روند — به مقادیر منحصربه‌فرد ماشین‌خوان است. کنسرسیوم یونی‌کد و کمیته فرعی SC 2 از ISO/IEC JTC 1 به‌صورت مشترک بر توسعه این فهرست نظارت دارند. با ایجاد این نگاشت یکپارچه، نرم‌افزارهای رایانه‌ای می‌توانند رشته‌های متنی کدگذاری‌شده را میان یکدیگر تبادل کنند و از سردرگمی ناشی از کاربرد همزمان چندین کدبندی نویسه میراثی و پدیده موجیباکه جلوگیری شود.

مجموعه نویسه‌های جهانی بالقوه ظرفیت دارد که بیش از یک میلیون نویسه داشته باشد. هر نویسه به‌صورت انتزاعی با یک موقعیت کد (عددی صحیح میان ۰ و ۱٬۱۱۴٬۱۱۱) بازنمایی می‌شود. تا نسخه ۱۷٫۰ یونی‌کد (سپتامبر ۲۰۲۵)، از مجموع ۱٬۱۱۴٬۱۱۲ موقعیت کد، تعداد ۱۵۹٬۸۶۶ موقعیت به نویسه‌ها اختصاص یافته، ۱۳۷٬۴۶۸ موقعیت برای کاربرد خصوصی رزرو شده، ۲٬۰۴۸ موقعیت به سازوکار جانشین‌ها (به انگلیسی: Surrogates) اختصاص دارد، ۶۶ موقعیت به‌عنوان نانویسه (Noncharacter) تعیین شده و ۸۱۰٬۳۰۴ موقعیت همچنان تخصیص‌نیافته باقی مانده‌است.

یونی‌کد افزون بر نگاشت پایه‌ای سازمان توسعه استانداردهای بین‌المللی، ویژگی‌های تکمیلی فراوانی مانند بلوک، رده‌بندی، خط (Script) و جهت‌مندی را به هر نویسه می‌افزاید و الگوریتم‌هایی برای چینش متن دوسویه، تطبیق حروف بزرگ و کوچک و ترتیب‌بندی رشته‌ها ارائه می‌دهد.

## ارجاع نویسه در اسناد وب
در اچ‌تی‌ام‌ال و اکس‌ام‌ال می‌توان با کاربرد ارجاع عددی نویسه، هر نویسه UCS را با موقعیت کد آن فراخوانی کرد. دو قالب برای این ارجاع وجود دارد:
* `&#`*nnnn*`;` — که در آن *nnnn* موقعیت کد به‌صورت ده‌دهی است.
* `&#x`*hhhh*`;` — که در آن *hhhh* موقعیت کد به‌صورت شانزده‌دهی است.

در برابر ارجاع عددی، ارجاع موجودیت نویسه‌ای (character entity reference) از نام یک موجودیت SGML بهره می‌گیرد که نویسه موردنظر متن جایگزین آن است. این موجودیت یا باید از پیش تعریف شده باشد یا در تعریف نوع سند (DTD) به‌صراحت اعلان شده باشد.

## صفحه‌ها

یونی‌کد و ISO مجموعه موقعیت‌های کد را به ۱۷ **صفحه** (Plane) بخش می‌کنند که هر صفحه گنجایش ۶۵٬۵۳۶ نویسه مجزا دارد و در مجموع ۱٬۱۱۴٬۱۱۲ موقعیت کد فراهم می‌شود. تا سال ۲۰۲۵ (نسخه ۱۷٫۰ یونی‌کد) تنها در هفت صفحه از این ۱۷ صفحه نویسه و بلوک تخصیص داده شده و بقیه خالی و رزرو باقی مانده‌اند.

بیشتر نویسه‌ها در نخستین صفحه یعنی **صفحه چندزبانه پایه** (به انگلیسی: ; BMP) جای گرفته‌اند. این کار گذار از نرم‌افزارهای میراثی را آسان‌تر می‌کند زیرا صفحه چندزبانه پایه تنها با دو هشت‌تایی قابل نشانی‌دهی است. نویسه‌های بیرون از صفحه نخست معمولاً کاربرد بسیار تخصصی یا نادر دارند.

صفحه‌های اصلی عبارت‌اند از:
* **صفحه ۰** — صفحه چندزبانه پایه (BMP): پرکاربردترین نویسه‌ها و نمادهای پایه.
* **صفحه ۱** — صفحه چندزبانه تکمیلی (SMP): خط‌های باستانی، نمادها و شکلک‌ها.
* **صفحه ۲** — صفحه اندیشه‌نگاشتی تکمیلی (SIP): نویسه‌های هان (CJK) که در صفحه ۰ نگنجیده‌اند.
* **صفحه ۳** — صفحه سوم اندیشه‌نگاشتی (TIP): نویسه‌های هان بیشتر و خط‌های تاریخی مانند خط استخوان اوراکل و کتیبه‌های برنزی.
* **صفحه ۱۴** — صفحه ویژه‌کاربرد تکمیلی (SSP): برچسب‌های زبانی و گزینشگرهای نویسه متفاوت.
* **صفحه‌های ۱۵ و ۱۶** — صفحه‌های کاربرد خصوصی.

هر صفحه با یک یا دو رقم شانزده‌دهی پیش از چهار رقم پایانی مشخص می‌شود: برای نمونه U+24321 در صفحه ۲ و U+4321 در صفحه ۰ (که ضمنی U+04321 خوانده می‌شود) قرار دارد.

## بلوک‌ها

یونی‌کد یک ویژگی «بلوک» به UCS می‌افزاید که هر صفحه را به بلوک‌های جداگانه تقسیم می‌کند. هر بلوک گروهی از نویسه‌ها بر پایه کاربردشان است، مانند «عملگرهای ریاضی» یا «نویسه‌های خط عبری». هنگام اختصاص نویسه‌ها به موقعیت‌های تخصیص‌نیافته، کنسرسیوم معمولاً بلوک‌های کاملی از نویسه‌های همگون را یکجا تخصیص می‌دهد.

نخستین ۲۵۶ موقعیت کد در UCS با ایزو/آی‌ئی‌سی ۸۸۵۹–۱ — پرکاربردترین کدبندی ۸ بیتی در جهان غرب — همخوانی دارد و در نتیجه نخستین ۱۲۸ نویسه با اسکی یکسان است. هرچند یونی‌کد این بلوک‌ها را زیر عنوان خط لاتین دسته‌بندی می‌کند، بسیاری از نویسه‌های آن‌ها فراتر از خط لاتین کاربرد دارند.

## رده‌بندی نویسه‌ها
یونی‌کد به هر نویسه UCS یک «رده کلی» و زیررده اختصاص می‌دهد. رده‌های کلی عبارت‌اند از: حرف، نشانه (Mark)، عدد، نقطه‌گذاری، نماد و نویسه کنترلی (نویسه قالب‌بندی یا غیرنگاره‌ای).

### خط‌های نوین، تاریخی و باستانی
تا سال ۲۰۲۵ (نسخه ۱۷٫۰)، UCS از ۱۷۲ خط شناسایی‌شده پشتیبانی می‌کند و خط‌های بیشتری در مراحل گوناگون تأیید برای افزوده شدن هستند.

### الفبای آوانگاری بین‌المللی
UCS چندین بلوک (بیش از ۳۰۰ نویسه) را به نویسه‌های الفبای آوانگاری بین‌المللی اختصاص داده‌است.

### نشانه‌های ترکیبی تفکیک‌کننده
یکی از نوآوری‌های مهم یونی‌کد، معرفی نشانه‌های تفکیک‌کننده ترکیبی (Combining Diacritical Marks) بود. با فراهم ساختن نشانه‌هایی که می‌توانند با هر حرفی ترکیب شوند، شمار نویسه‌های لازم به‌شدت کاهش یافت. هرچند UCS نویسه‌های پیش‌ساخته (Precomposed) را نیز دربردارد، هدف اصلی از آن‌ها پشتیبانی از سامانه‌های میراثی بوده‌است.

### نمادها
نمادهای گوناگونی در UCS گنجانده شده‌اند:
* **ارز** — نمادهای واحدهای پولی
* **حرف‌نما** (Letterlike) — نمادهایی مانند  که شبیه ترکیب حروف لاتین هستند
* **شکل‌های عددی** — کسرهای پیش‌ساخته و اعداد رومی
* **پیکان‌ها**
* **نمادهای ریاضی**
* **شکل‌های هندسی**
* **شکلک‌ها** (Emoticons) و **نمادها و تصویرنگاره‌ها**
* **نمادهای بازی** (شطرنج، تاس، دومینو، ماژونگ و غیره)
* **خط بریل**
* **نمادهای کیمیاگری**

### CJK
بزرگ‌ترین بخش UCS به اندیشه‌نگاشت‌ها و دیگر نویسه‌های پشتیبانی از زبان‌های چین، ژاپن و کره (CJK) اختصاص دارد. یونی‌کد این نویسه‌های چینی را در قالب «یونی‌هان» (Unihan) یکپارچه کرده‌است. با وجود این یکپارچه‌سازی، UCS همچنان بیش از ۱۰۱٬۰۰۰ اندیشه‌نگاشت یونی‌هان دارد.

### نویسه‌های سازگاری
چندین بلوک در UCS نزدیک به تمامی به نویسه‌های سازگاری (Compatibility Characters) اختصاص دارند. این نویسه‌ها برای پشتیبانی از سامانه‌های میراثی پردازش متن گنجانده شده‌اند که میان نویسه و گلیف تمایز نمی‌گذارند. بیش از ۴٬۰۰۰ نویسه به همین دلایل سازگاری وارد شده‌اند.

## نویسه‌های ویژه‌کاربرد

یونی‌کد بیش از صدهزار نویسه را کدگذاری کرده که بیشتر آن‌ها بازنمایندهٔ تک‌نگاره‌ها برای پردازش متن خطی هستند. با این حال برخی از آن‌ها یا نمایندهٔ تک‌نگاره نیستند یا رفتار استثنایی دارند.

برخی نویسه‌های ویژه می‌توانند چینش متن را تغییر دهند، مانند اتصال‌دهنده بدون پهنا (Zero-Width Joiner) و جداکنندهٔ بدون پهنا (Zero-Width Non-Joiner)، در حالی که برخی دیگر هیچ تأثیری بر چینش ندارند و تنها شیوه مرتب‌سازی یا تطبیق رشته‌ها را دگرگون می‌سازند.

### نشانه ترتیب بایت
نویسه U+FEFF هنگامی که در آغاز یک پرونده یا جریان متنی ظاهر شود، به‌عنوان **نشانه ترتیب بایت** (به انگلیسی: ; BOM) عمل می‌کند و به شناسایی شکل کدگذاری و ترتیب بایت‌ها کمک می‌کند.

اگر نخستین بایت جریان 0xFE و دومین 0xFF باشد، به احتمال زیاد متن در قالب UTF-16 با ترتیب بایت بزرگ‌انتها (Big-Endian) کدگذاری شده‌است. برعکس، اگر دو بایت نخست 0xFF و 0xFE باشند، متن احتمالاً UTF-16 کوچک‌انتها (Little-Endian) است، مگر آنکه دو بایت بعدی هر دو 0x00 باشند که در آن صورت ممکن است کدگذاری UTF-32LE باشد. دنباله یوتی‌اف-۸ متناظر با U+FEFF برابر 0xEF, 0xBB, 0xBF است که در دیگر شکل‌های کدگذاری یونی‌کد بی‌معنا بوده و از همین رو برای شناسایی UTF-8 به کار می‌رود.

### نامرئی‌های ریاضی
جداکننده نامرئی (Invisible Separator; U+2063) برای جداسازی نویسه‌ها در جایی که نقطه‌گذاری یا فاصله حذف شده‌اند (مانند اندیس دوبعدی i⁣j) به کار می‌رود. ضرب نامرئی (Invisible Times; U+2062) و کاربرد تابع (Function Application; U+2061) نیز در متن‌های ریاضی کاربرد دارند. نسخه ۵٫۱ یونی‌کد نویسه جمع نامرئی ریاضی (U+2064) را نیز افزود.

### خط‌تیره کسری

نویسه U+2044 (خط‌تیره کسری یا Fraction Slash) رفتار ویژه‌ای در استاندارد یونی‌کد دارد: بر پایه توصیه یونی‌کد، هر دنباله‌ای از یک یا چند رقم دهدهی که خط‌تیره کسری پس از آن آمده و دنباله‌ای دیگر از ارقام به دنبال داشته باشد، باید به‌صورت یک کسر واحد (مانند ) نمایش داده شود. اگر نرم‌افزار نمایش‌دهنده توانایی ساخت کسر را نداشته باشد، می‌تواند آن را به‌صورت خطی (مانند ۳/۴) نشان دهد.

در عمل، برآیندها متفاوت‌اند زیرا تعامل پیچیده‌ای میان قلم‌ها و موتورهای چینش متن وجود دارد. موتورهای ساده معمولاً کسر ترکیبی نمی‌سازند، در حالی که موتورهای پیشرفته‌تر یا از توصیه یونی‌کد پیروی می‌کنند یا به دستورالعمل‌های قلم تکیه دارند. قلم‌هایی با قالب‌های پیچیده مانند اوپن‌تایپ ممکن است دستورالعمل جایگزینی دنباله متنی ساده‌ای مانند  با گلیف پیش‌ساخته  را فراهم کنند، اما بسیاری از آن‌ها قابلیت ترکیب کسرهای دلخواه را ندارند.

## نویسه‌های کاربرد خصوصی
UCS بیش از ۱۰۰٬۰۰۰ موقعیت کد برای کاربرد خصوصی دربردارد. ISO و کنسرسیوم یونی‌کد هیچ نویسه‌ای به این موقعیت‌ها اختصاص نمی‌دهند و افراد، سازمان‌ها و تولیدکنندگان نرم‌افزار و قلم می‌توانند آزادانه نویسه‌هایی با ویژگی‌های دلخواه به آن‌ها نسبت دهند.

ناحیه کاربرد خصوصی (PUA) در صفحه چندزبانه پایه از U+E000 تا U+F8FF گسترده‌است. افزون بر آن، صفحه ۱۵ (U+F0000 تا U+FFFFD) و صفحه ۱۶ (U+100000 تا U+10FFFD) به‌طور کامل برای کاربرد خصوصی رزرو شده‌اند.

کاربرد ناحیه خصوصی مفهومی است که از برخی سامانه‌های کدگذاری نویسه آسیایی به ارث رسیده؛ این سامانه‌ها ناحیه خصوصی را برای کدگذاری نویسه‌های خارج از استاندارد (مانند «گایجی» در ژاپنی) فراهم می‌کردند. به‌عنوان نمونه، شرکت اپل از موقعیت U+F8FF برای نمایش نشان‌واره خود بهره می‌گیرد.

## جانشین‌ها
UCS شامل ۲٬۰۴۸ موقعیت کد جانشین (Surrogate) در صفحه چندزبانه پایه است. این موقعیت‌ها به دو گروه تقسیم می‌شوند: جانشین‌های بالا (U+D800 تا U+DBFF) و جانشین‌های پایین (U+DC00 تا U+DFFF). با به‌کارگیری یک جفت جانشین، هر موقعیت کد در ۱۶ صفحه دیگر قابل نشانی‌دهی با کدگذاری ۱۶ بیتی مانند UTF-16 می‌شود. بدین ترتیب UTF-16 می‌تواند هر نویسه BMP را با یک واحد ۱۶ بیتی و نویسه‌های بیرون از BMP را با دو واحد ۱۶ بیتی (۴ بایت) بازنمایی کند.

موقعیت کدی که یک جفت جانشین بازنمایی می‌کند از فرمول زیر به دست می‌آید:
:10000_{16} + (H - \mathrm{D800}_{16}) \times 400_{16} + (L - \mathrm{DC00}_{16})

که در آن *H* مقدار عددی جانشین بالا و *L* مقدار عددی جانشین پایین است.

## نانویسه‌ها
یونی‌کد شماری از موقعیت‌های کد را به‌عنوان **نانویسه** (Noncharacter) رزرو کرده و تضمین می‌کند که هرگز نویسه‌ای به آن‌ها اختصاص نخواهد یافت. این موقعیت‌ها دربرگیرنده بازه U+FDD0 تا U+FDEF و دو موقعیت پایانی هر صفحه (ختم‌شونده به ارقام شانزده‌دهی FFFE و FFFF) هستند. پیاده‌سازی‌های نرم‌افزاری می‌توانند از این موقعیت‌ها آزادانه برای کاربرد درونی بهره ببرند، اما این نانویسه‌ها هرگز نباید در متن تبادلی میان پیاده‌سازی‌ها گنجانده شوند. یک نمونه کاربردی نانویسه U+FFFE است که ترتیب بایت‌هایش عکس نشانه ترتیب بایت (U+FEFF) است و حضورش نشان‌دهنده تفسیر نادرست ترتیب بایت‌ها خواهد بود.

## فاصله‌ها و نویسه‌های کنترل شکست خط
### فاصله‌ها
نویسه فاصله معمولی (U+0020) که با کلید فاصله‌بار صفحه‌کلید وارد می‌شود، از نظر معنایی جداکننده واژه‌ها در بسیاری از زبان‌هاست. UCS به دلایل تاریخی فاصله‌هایی با پهناهای گوناگون دربردارد، از جمله فاصله ان (En Space; U+2002)، فاصله اِم (Em Space; U+2003)، فاصله باریک (Thin Space; U+2009) و فاصله ریاضی (Mathematical Space; U+205F). به‌جز فاصله پایه اسکی، دیگر فاصله‌ها نویسه‌های سازگاری شمرده می‌شوند و هدفشان ارائه کنترل سبکی است نه افزودن بار معنایی به متن.

### نویسه‌های کنترل شکست خط
برخی نویسه‌ها برای مدیریت شکست خط طراحی شده‌اند. از جمله نویسه‌هایی که از شکست جلوگیری می‌کنند مانند فاصله نشکن (No-Break Space; U+00A0) و نویسه‌هایی که شکست را تسهیل می‌کنند مانند خط‌تیره نرم (Soft Hyphen; U+00AD) و فاصله بدون پهنا (Zero-Width Space; U+200B).

## جدول آماری تخصیص نویسه‌ها
جدول زیر روند رشد تخصیص نویسه‌ها در نسخه‌های گوناگون یونی‌کد را نشان می‌دهد:

## جستارهای وابسته
* یونی‌کد
* اسکی (استاندارد)
* بلوک یونی‌کد
* صفحه (یونی‌کد)
* کدبندی نویسه
* موقعیت کد
* متن دوسویه

## منابع

* 
* 
* 
* 

## پیوند به بیرون
* تارنمای کنسرسیوم یونی‌کد
* decodeunicode — ویکی جست‌وجوپذیر نویسه‌های نگاره‌ای یونی‌کد

رده:یونی‌کد
رده:استانداردهای آی‌ئی‌سی
رده:مقاله‌های دارای شرح مختصر
رده:پیوند رده انبار در ویکی‌داده‌است
رده:شرح مختصر متفاوت با ویکی‌داده