موضوع مقاله: نویسه‌های مجموعه نویسه‌های جهانی | مخاطب: عمومی | لحن: دانشنامه‌ای | ساختار: عنوان، مقدمه، 3 بخش، جمع‌بندی | مقاله: | # نویسه‌های مجموعه نویسه‌های جهانی | مقدمه: این مجموعه یک استاندارد بین‌المللی برای نگاشت نویسه‌ها — نمادهای گسسته‌ای که در زبان‌های طبیعی، موسیقی، ریاضیات و دیگر حوزه‌ها به کار می‌روند — به مقادیر منحصربه‌فرد ماشین‌خوان است. | ## بخش 1: نویسه‌های مجموعه نویسه‌های جهانی | با ایجاد این نگاشت یکپارچه، نرم‌افزارهای رایانه‌ای می‌توانند رشته‌های متنی کدگذاری‌شده را میان یکدیگر تبادل کنند و از سردرگمی ناشی از کاربرد همزمان چندین کدبندی نویسه میراثی و پدیده موجیباکه جلوگیری شود. هر نویسه به‌صورت انتزاعی با یک موقعیت کد (عددی صحیح میان ۰ و ۱٬۱۱۴٬۱۱۱) بازنمایی می‌شود. تا نسخه ۱۷٫۰ یونی‌کد (سپتامبر ۲۰۲۵)، از مجموع ۱٬۱۱۴٬۱۱۲ موقعیت کد، تعداد ۱۵۹٬۸۶۶ موقعیت به نویسه‌ها اختصاص یافته، ۱۳۷٬۴۶۸ موقعیت برای کاربرد خصوصی رزرو شده، ۲٬۰۴۸ موقعیت به سازوکار جانشین‌ها (به انگلیسی: Surrogates) اختصاص دارد، ۶۶ موقعیت به‌عنوان نانویسه (Noncharacter) تعیین شده و ۸۱۰٬۳۰۴ موقعیت همچنان تخصیص‌نیافته باقی مانده‌است. یونی‌کد افزون بر نگاشت پایه‌ای سازمان توسعه استانداردهای بین‌المللی، ویژگی‌های تکمیلی فراوانی مانند بلوک، رده‌بندی، خط (Script) و جهت‌مندی را به هر نویسه می‌افزاید و الگوریتم‌هایی برای چینش متن دوسویه، تطبیق حروف بزرگ و کوچک و ترتیب‌بندی رشته‌ها ارائه می‌دهد. ارجاع نویسه در اسناد وب در اچ‌تی‌ام‌ال و اکس‌ام‌ال می‌توان با کاربرد ارجاع عددی نویسه، هر نویسه UCS را با موقعیت کد آن فراخوانی کرد. این موجودیت یا باید از پیش تعریف شده باشد یا در تعریف نوع سند (DTD) به‌صراحت اعلان شده باشد. صفحه‌ها یونی‌کد و ISO مجموعه موقعیت‌های کد را به ۱۷ صفحه (Plane) بخش می‌کنند که هر صفحه گنجایش ۶۵٬۵۳۶ نویسه مجزا دارد و در مجموع ۱٬۱۱۴٬۱۱۲ موقعیت کد فراهم می‌شود. تا سال ۲۰۲۵ (نسخه ۱۷٫۰ یونی‌کد) تنها در هفت صفحه از این ۱۷ صفحه نویسه و بلوک تخصیص داده شده و بقیه خالی و رزرو باقی مانده‌اند. بیشتر نویسه‌ها در نخستین صفحه یعنی صفحه چندزبانه پایه (به انگلیسی: ; BMP) جای گرفته‌اند. این کار گذار از نرم‌افزارهای میراثی را آسان‌تر می‌کند زیرا صفحه چندزبانه پایه تنها با دو هشت‌تایی قابل نشانی‌دهی است. صفحه‌های اصلی عبارت‌اند از: صفحه ۰ — صفحه چندزبانه پایه (BMP): پرکاربردترین نویسه‌ها و نمادهای پایه. صفحه ۲ — صفحه اندیشه‌نگاشتی تکمیلی (SIP): نویسه‌های هان (CJK) که در صفحه ۰ نگنجیده‌اند. صفحه ۳ — صفحه سوم اندیشه‌نگاشتی (TIP): نویسه‌های هان بیشتر و خط‌های تاریخی مانند خط استخوان اوراکل و کتیبه‌های برنزی. صفحه ۱۴ — صفحه ویژه‌کاربرد تکمیلی (SSP): برچسب‌های زبانی و گزینشگرهای نویسه متفاوت. | ## بخش 2: نویسه‌های مجموعه نویسه‌های جهانی | هر صفحه با یک یا دو رقم شانزده‌دهی پیش از چهار رقم پایانی مشخص می‌شود: برای نمونه U+24321 در صفحه ۲ و U+4321 در صفحه ۰ (که ضمنی U+04321 خوانده می‌شود) قرار دارد. بلوک‌ها یونی‌کد یک ویژگی «بلوک» به UCS می‌افزاید که هر صفحه را به بلوک‌های جداگانه تقسیم می‌کند. هر بلوک گروهی از نویسه‌ها بر پایه کاربردشان است، مانند «عملگرهای ریاضی» یا «نویسه‌های خط عبری». هنگام اختصاص نویسه‌ها به موقعیت‌های تخصیص‌نیافته، کنسرسیوم معمولاً بلوک‌های کاملی از نویسه‌های همگون را یکجا تخصیص می‌دهد. نخستین ۲۵۶ موقعیت کد در UCS با ایزو/آی‌ئی‌سی ۸۸۵۹–۱ — پرکاربردترین کدبندی ۸ بیتی در جهان غرب — همخوانی دارد و در نتیجه نخستین ۱۲۸ نویسه با اسکی یکسان است. هرچند یونی‌کد این بلوک‌ها را زیر عنوان خط لاتین دسته‌بندی می‌کند، بسیاری از نویسه‌های آن‌ها فراتر از خط لاتین کاربرد دارند. رده‌های کلی عبارت‌اند از: حرف، نشانه (Mark)، عدد، نقطه‌گذاری، نماد و نویسه کنترلی (نویسه قالب‌بندی یا غیرنگاره‌ای). خط‌های نوین، تاریخی و باستانی تا سال ۲۰۲۵ (نسخه ۱۷٫۰)، UCS از ۱۷۲ خط شناسایی‌شده پشتیبانی می‌کند و خط‌های بیشتری در مراحل گوناگون تأیید برای افزوده شدن هستند. الفبای آوانگاری بین‌المللی UCS چندین بلوک (بیش از ۳۰۰ نویسه) را به نویسه‌های الفبای آوانگاری بین‌المللی اختصاص داده‌است. با فراهم ساختن نشانه‌هایی که می‌توانند با هر حرفی ترکیب شوند، شمار نویسه‌های لازم به‌شدت کاهش یافت. نمادها نمادهای گوناگونی در UCS گنجانده شده‌اند: ارز — نمادهای واحدهای پولی حرف‌نما (Letterlike) — نمادهایی مانند که شبیه ترکیب حروف لاتین هستند شکل‌های عددی — کسرهای پیش‌ساخته و اعداد رومی پیکان‌ها نمادهای ریاضی شکل‌های هندسی شکلک‌ها (Emoticons) و نمادها و تصویرنگاره‌ها نمادهای بازی (شطرنج، تاس، دومینو، ماژونگ و غیره) خط بریل نمادهای کیمیاگری CJK بزرگ‌ترین بخش UCS به اندیشه‌نگاشت‌ها و دیگر نویسه‌های پشتیبانی از زبان‌های چین، ژاپن و کره (CJK) اختصاص دارد. این نویسه‌ها برای پشتیبانی از سامانه‌های میراثی پردازش متن گنجانده شده‌اند که میان نویسه و گلیف تمایز نمی‌گذارند. نویسه‌های ویژه‌کاربرد یونی‌کد بیش از صدهزار نویسه را کدگذاری کرده که بیشتر آن‌ها بازنمایندهٔ تک‌نگاره‌ها برای پردازش متن خطی هستند. نشانه ترتیب بایت نویسه U+FEFF هنگامی که در آغاز یک پرونده یا جریان متنی ظاهر شود، به‌عنوان نشانه ترتیب بایت (به انگلیسی: ; BOM) عمل می‌کند و به شناسایی شکل کدگذاری و ترتیب بایت‌ها کمک می‌کند. | ## بخش 3: نویسه‌های مجموعه نویسه‌های جهانی | نویسه U+2044 (خط‌تیره کسری یا Fraction Slash) رفتار ویژه‌ای در استاندارد یونی‌کد دارد: بر پایه توصیه یونی‌کد، هر دنباله‌ای از یک یا چند رقم دهدهی که خط‌تیره کسری پس از آن آمده و دنباله‌ای دیگر از ارقام به دنبال داشته باشد، باید به‌صورت یک کسر واحد (مانند ) نمایش داده شود. اگر نرم‌افزار نمایش‌دهنده توانایی ساخت کسر را نداشته باشد، می‌تواند آن را به‌صورت خطی (مانند ۳/۴) نشان دهد. در عمل، برآیندها متفاوت‌اند زیرا تعامل پیچیده‌ای میان قلم‌ها و موتورهای چینش متن وجود دارد. موتورهای ساده معمولاً کسر ترکیبی نمی‌سازند، در حالی که موتورهای پیشرفته‌تر یا از توصیه یونی‌کد پیروی می‌کنند یا به دستورالعمل‌های قلم تکیه دارند. قلم‌هایی با قالب‌های پیچیده مانند اوپن‌تایپ ممکن است دستورالعمل جایگزینی دنباله متنی ساده‌ای مانند با گلیف پیش‌ساخته را فراهم کنند، اما بسیاری از آن‌ها قابلیت ترکیب کسرهای دلخواه را ندارند. ISO و کنسرسیوم یونی‌کد هیچ نویسه‌ای به این موقعیت‌ها اختصاص نمی‌دهند و افراد، سازمان‌ها و تولیدکنندگان نرم‌افزار و قلم می‌توانند آزادانه نویسه‌هایی با ویژگی‌های دلخواه به آن‌ها نسبت دهند. کاربرد ناحیه خصوصی مفهومی است که از برخی سامانه‌های کدگذاری نویسه آسیایی به ارث رسیده؛ این سامانه‌ها ناحیه خصوصی را برای کدگذاری نویسه‌های خارج از استاندارد (مانند «گایجی» در ژاپنی) فراهم می‌کردند. به‌عنوان نمونه، شرکت اپل از موقعیت U+F8FF برای نمایش نشان‌واره خود بهره می‌گیرد. با به‌کارگیری یک جفت جانشین، هر موقعیت کد در ۱۶ صفحه دیگر قابل نشانی‌دهی با کدگذاری ۱۶ بیتی مانند UTF-16 می‌شود. بدین ترتیب UTF-16 می‌تواند هر نویسه BMP را با یک واحد ۱۶ بیتی و نویسه‌های بیرون از BMP را با دو واحد ۱۶ بیتی (۴ بایت) بازنمایی کند. موقعیت کدی که یک جفت جانشین بازنمایی می‌کند از فرمول زیر به دست می‌آید: که در آن H مقدار عددی جانشین بالا و L مقدار عددی جانشین پایین است. پیاده‌سازی‌های نرم‌افزاری می‌توانند از این موقعیت‌ها آزادانه برای کاربرد درونی بهره ببرند، اما این نانویسه‌ها هرگز نباید در متن تبادلی میان پیاده‌سازی‌ها گنجانده شوند. یک نمونه کاربردی نانویسه U+FFFE است که ترتیب بایت‌هایش عکس نشانه ترتیب بایت (U+FEFF) است و حضورش نشان‌دهنده تفسیر نادرست ترتیب بایت‌ها خواهد بود. فاصله‌ها و نویسه‌های کنترل شکست خط فاصله‌ها نویسه فاصله معمولی (U+0020) که با کلید فاصله‌بار صفحه‌کلید وارد می‌شود، از نظر معنایی جداکننده واژه‌ها در بسیاری از زبان‌هاست. | ## جمع‌بندی | به‌جز فاصله پایه اسکی، دیگر فاصله‌ها نویسه‌های سازگاری شمرده می‌شوند و هدفشان ارائه کنترل سبکی است نه افزودن بار معنایی به متن.