# جنریٹو پری ٹرینڈ ٹرانسفارمر

اصل جی پی ٹی ماڈل ایک **جنریٹو پری ٹرینڈ ٹرانسفارمر** (Generative pre-trained transformer - **GPT**) ایک قسم کا بڑا لسانی ماڈل ہے۔

**جنریٹو پری ٹرینڈ ٹرانسفارمر** (GPT) ایک قسم کا جدید ترین مصنوعی ذہانت کا ماڈل ہے جسے انسان نما متن کو سمجھنے، پروسیس کرنے اور تخلیق کرنے کے لیے ڈیزائن کیا گیا ہے۔ یہ 2017ء میں گوگل کے محققین کے ذریعہ متعارف کرایا گیا اور بعد میں OpenAI جیسی کمپنیوں کے ذریعہ مقبول ہوا، GPT فن تعمیر قدرتی زبان کی پروسیسنگ میں بڑے پیمانے پر آگے بڑھنے کی نمائندگی کرتا ہے۔ اس کے مرکز میں، ایک GPT ایک اعلی درجے کی خودکار رجعت پسند زبان کے ماڈل کے طور پر کام کرتا ہے، مطلب یہ کہ اس سے پہلے آنے والے تمام متن کی بنیاد پر ایک ترتیب میں اگلے ممکنہ لفظ یا ٹوکن کی پیشین گوئی کرتا ہے۔ پیشین گوئی کے اس سادہ عمل کو اربوں بار دہرانے سے، یہ مربوط مضامین لکھ سکتا ہے، پیچیدہ سافٹ ویئر کوڈ لکھ سکتا ہے، زبانوں کا ترجمہ کر سکتا ہے اور سیال گفتگو میں مشغول ہو سکتا ہے۔

نام کا "ٹرانسفارمر" حصہ بنیادی نیورل نیٹ ورک آرکیٹیکچر کا حوالہ دیتا ہے جو ان ماڈلز کو ممکن بناتا ہے۔ پرانے اے آئی آرکیٹیکچرز کے برعکس جو متن کو ترتیب وار عمل کرتے ہیں — لفظ بہ لفظ — ٹرانسفارمرز ایک ایسا طریقہ کار استعمال کرتے ہیں جسے خود توجہ دی جاتی ہے۔ یہ ماڈل کو ایک ساتھ ایک پورے جملے یا دستاویز کو دیکھنے اور اس بات کا حساب لگانے کی اجازت دیتا ہے کہ مختلف الفاظ ایک دوسرے سے کتنے تعلق رکھتے ہیں، قطع نظر اس سے کہ وہ کتنے ہی فاصلے پر ہوں۔ مثال کے طور پر، اس جملے میں "دریا کا کنارہ کیچڑ تھا، اس لیے مسافر اس پر نہیں بیٹھتا تھا،" ماڈل "یہ" لفظ کو فوری طور پر "بینک" سے جوڑنے کے لیے خود توجہ کا استعمال کرتا ہے اور سیاق و سباق کے مطابق سمجھتا ہے کہ "بینک" سے مراد زمین ہے، مالیاتی ادارہ نہیں۔

نام کا "پری ٹرینڈ" (پہلے سے تربیت یافتہ) حصہ بیان کرتا ہے کہ یہ ماڈل کس طرح اپنے وسیع علم کو مخصوص کاموں کے لیے اپنی مرضی کے مطابق بنانے سے پہلے حاصل کرتے ہیں۔ اس ابتدائی مرحلے کے دوران، ایک جی پی ٹی کو کتابوں، مضامین، ویب سائٹس اور کوڈ ریپوزٹریز کے سینکڑوں ارب الفاظ پر مشتمل ایک بہت بڑا ڈیٹا سیٹ کھلایا جاتا ہے۔ اس غیر زیر نگرانی سیکھنے کے عمل کے ذریعے، ماڈل صرف متن کے تاروں کو حفظ نہیں کرتا ہے۔ یہ زبان کی بنیادی ساخت، گرامر، دنیا کے بارے میں حقائق پر مبنی تعلقات اور یہاں تک کہ لہجے اور طنز جیسی لطیف باریکیاں بھی سیکھتا ہے۔ چونکہ اس بنیادی تربیت کے لیے بہت زیادہ کمپیوٹیشنل طاقت اور وقت درکار ہوتا ہے، اس لیے نتیجہ خیز "پہلے سے تربیت یافتہ" ماڈل ایک انتہائی ورسٹائل بیس لائن کے طور پر کام کرتا ہے جسے بعد میں خصوصی ایپلی کیشنز کے لیے ٹھیک بنایا جا سکتا ہے۔

آخر میں، "جنریٹو" (پیداواری) پہلو ماڈل کی بنیادی صلاحیت کی وضاحت کرتا ہے: اصل مواد تخلیق کرنا۔ جب کوئی صارف پرامپٹ فراہم کرتا ہے، تو جی پی ٹی اربوں پیرامیٹرز کے اپنے تربیت یافتہ نیٹ ورک کے ذریعے ان پٹ کا تجزیہ کرتا ہے — تربیت کے دوران ایڈجسٹ کیے جانے والے داخلی ریاضیاتی وزن — اور ٹوکن کے ذریعے ٹیکسٹ ٹوکن بنانا شروع کر دیتا ہے۔ یہ اپنے تربیتی ڈیٹا سے صرف کاپی اور پیسٹ نہیں کرتا ہے۔ اس کی بجائے، یہ متحرک طور پر ممکنہ نمونوں کی بنیاد پر جوابات تیار کرتا ہے جو اس نے سیکھا ہے۔

اوپن اے آئی (OpenAI) نے پہلی بار ٹرانسفارمر آرکیٹیکچر پر جنریٹو پری ٹریننگ کا اطلاق کیا اور 2018ء میں جی پی ٹی-1 (GPT-1) ماڈل متعارف کرایا۔ اس کے بعد کمپنی نے کئی بڑے جی پی ٹی ماڈلز جاری کیے۔ 2022ء کے آخر میں جاری ہونے والے چیٹ بوٹ چیٹ جی پی ٹی (جی پی ٹی-3.5 کا استعمال کرتے ہوئے) کے بعد کئی حریف چیٹ بوٹس سامنے آئے جو متن تیار کرنے کے لیے اپنے جنریٹو پری ٹرینڈ ٹرانسفارمرز کا استعمال کرتے ہیں، جیسے کہ جیمنائی، ڈیپ سیک اور کلاڈ۔

جی پی ٹی بنیادی طور پر متن تیار کرنے کے لیے استعمال ہوتے ہیں، لیکن انھیں دیگر اقسام کے ڈیٹا تیار کرنے کے لیے بھی تربیت دی جا سکتی ہے۔ مثال کے طور پر، جی پی ٹی-4 او متن، تصاویر اور آڈیو پر پروسیس اور انھیں تیار کر سکتا ہے۔ پیچیدہ کاموں پر کارکردگی کو بہتر بنانے کے لیے، کچھ جی پی ٹی ماڈلز، جیسے کہ اوپن اے آئی او3، آؤٹ پٹ تیار کرنے سے پہلے مسئلے کا تجزیہ کرنے کے لیے زیادہ کمپیوٹیشن کا وقت مختص کرتے ہیں اور انھیں ریزننگ ماڈلز کہا جاتا ہے۔ 2025ء میں، جی پی ٹی-5 کو ایک راؤٹر کے ساتھ جاری کیا گیا تھا جو فراہم کردہ ٹاسک کی بنیاد پر خودکار طور پر یہ انتخاب کرتا ہے کہ آیا تیز رفتار ماڈل استعمال کرنا ہے یا دھیما ریزننگ ماڈل۔

## حوالہ جات