توكن

لفظ توكن Token يصف سلسلة من الرموز لها معنى (نوع) محدد في نحو شكلي. تشكل التوكن حجر البناء في الثروة اللغوية التي يعتد عليها الـ تجزئة.
في أبسط الأحوال يمكن اعتبار كل حرف منفصل توكن: فمثلا الحرف أ يكون من النوع أ. ولكن لكي يكتمل المنفعة من وراء النحو يتم تعريف أنواع رئيسية ويتم تقسيم الكلمات إليها. فمثلا في اللغة العربية يمكن اعتبار عملية تقسيم الجملة الفعلية إلى فعل وفاعل ومفعول به كـ tokenization.
| توكن> لكسيم | توكن> نوعه |
| --- | --- |
123: عدد
foobar: اسم
begin: كلمة مفتاحية
: 
| ع ن المنطق | ع ن المنطق |
| --- | --- |
مقالات رئيسية:  العقل الفلسفي  تاريخ المنطق  منطق فلسفي  منطق رياضي  ما بعد المنطق  فلسفة المنطق 
مفاهيم مفتاحية:  استنتاج  قياس  استقراء  منطق لاشكلي  افتراض  استدلال  حجة  تفكير نقدي  مغالطة  منطق رياضي  مجموعة  نحو  سيمانتيك  صيغة جيدة الشكل  مسلمة  مبرهنة  التماسك  نظرية كاملة  قابلية القرار  نظام شكلي  نظرية المجموعات  نظرية البرهان  نظرية النموذج  نظرية العودية  منطق الرتبة صفر  دالة بول  حسبان القضايا  جداول الحقيقة  منطق الرتبة الأولى  منطق الرتبة الثانية  منطق طوري  منطق إبستيمي  منطق ظرفي  أنواع منطقية لاكلاسيكية  منطق الحسوبية منطق ضبابي  منطق خطي 
جدليات:  مفارقة 
شخصيات أساسية:  أرسطو  جورج بول  جورج كانتور  رودولف كارناب  جوتلوب فريجه  كورت غودل  ديفيد هيلبرت  جوزيبه بيانو  شارل ساندرز پيرس  هيلاري پوتنام  بيرتراند راسل  ألفريد تارسكي  آلان تورنغ 
قوائم:  مواضيع أساسية  منطقيون  قواعد الاستدلال  منطق رياضي  رياضيات متقطعة  نظرية المجموعات  مفارقات  رموز منطقية 
قالب:لغة ونحو صوريين
| ع ن علم الحاسوب | ع ن علم الحاسوب |
| --- | --- |
يعتمد هذا القالب على تصنيف أنظمة الحوسبة  الذي أنجزته جمعية آلات الحوسبة  في عام 2012: يعتمد هذا القالب على تصنيف أنظمة الحوسبة  الذي أنجزته جمعية آلات الحوسبة  في عام 2012
العتاد:  اللوحات المطبوعة  الطرفيات  الدارات المُتكاملة  تكامل وسيع النطاق  نظام على رقاقة  الحوسبة الخضراء  أتمتة التصميم الإلكتروني  تسريع العتاد 
بنية الأنظمة:  المعماريَّة  الأنظمة المُضمَّنة  الحوسبة في الزمن الحقيقي  الاعتمادية  
الشبكات:  المعماريَّة  البروتوكولات  العتاد  الجدولة  الأداء  الخدمات 
بنية البرمجيات:  المُفسِّرات  برمجيات وسيطة  آلة افتراضية  أنظمة التشغيل  جودة البرمجيات 
نظرية لغات البرمجة وأدواتها:  الأنماط  اللغات البرمجة  النمذجة  مخصصة النطاق  المُصرِّفات  أُطُر العمل بيئة التطوير المتكاملة  المكتبات  المُستودعات 
تطوير البرمجيات:  المتغيرات  عملية التطوير  تحليل المتطلبات  التصميم  البناء  النشر  الصيانة  فريق البرمجة  البرمجيات حُرَّة المصدر 
نظرية الحوسبة:  نموذج حوسبة  لغة متصرفة  نظريات التشغيل الذاتي  الحسوبية  التعقيد الحسابي  المنطق  علم الدلالة الشكلي 
الخوارزميات:  التحليل  الكفاءة  خوارزمية عشوائية  هندسة مُحوسبة 
رياضيات الحوسبة:  رياضيات مُتقطِّعة  الاحتمالات  الإحصاء  برمجية رياضية  نظرية المعلومات  التحليل الرياضي  العددي  علم الحاسوب النظري 
نظم المعلومات:  أنواع التخزين قواعد البيانات  الوسائط المتعددة  اقتصادية  اجتماعية  جغرافية  دعم القرارات  التحكُّم في العمليات  تنقيب في البيانات  مكتبة رقمية  منصة حوسبة  التسويق الرقمي  شبكة عالمية المجال  استرجاع المعلومات 
الأمن:  أنواع العتاد   الشبكات  المعلومات  التطبيقات  الخدمات  علم التعمية  طريقة شكلية  أنظمة كشف التسلسل 
التفاعل الإنساني الحاسويبي:  حوسبة اجتماعية  سائدة  تصميم التفاعل  تمثيل مرئي  إمكانية الوصول  
تزامن:  أنواع  مُتزامِنة  مُتوازيَّة  مُوزَّعة  تشعب مُتعدِّد   مُعالَجة مُتعدِّدة 
الذكاء الاصطناعي:  معالجة اللغة الطبيعية  تمثيل المعرفة  رؤية حاسوبية  التخطيط الآلي والجدولة  الاستمثال  نظرية التَّحكُّم  الفلسفة  ذكاء اصطناعي مُوزَّع  
تعلم الآلة:  أنواع التَّعلُّم مُراقَب  غير مُراقَب  مَدعُوم  مُتعدِّد المهام   التحقق  المُتقاطِع 
رسوميَّات:  التحريك  تصيير  صور التَّلاعُب  الضَّغط  وحدة معالجة الرسوميَّات  وُقُع افتراضي  مُعزَّز  مُختلَط  نمذجة المُجسَّمات  
الحوسبة التطبيقيَّة:  اختصاصات محوسبة رياضيات  كيمياء  فيزياء  علم الأحياء  هندسة  العلوم الاجتماعية  معلوماتية صحية  التجارة الرقميَّة  الفن الرقمي  النشر الرقمي  حرب رقمية عبر الشبكة  التصويت الإلكتروني  ألعاب الفيديو  مُعالِجات النصوص  بحوث العمليات  تقنيات التعليم 
  تصنيف   مُختصَر موجز   مشروع   كُومُنز :   تصنيف   مُختصَر موجز   مشروع   كُومُنز 
بوابة علم الحاسوب