மனிதப் பின்னூட்ட வழி வலுவூட்டல் கற்றல்

மனிதப் பின்னூட்ட வழி வலுவூட்டல் கற்றல் (RLHF - Reinforcement Learning from Human Feedback) என்பது ஒரு செயற்கை நுண்ணறிவு முகவரை (AI Agent) மனித விருப்பங்களுக்கு ஏற்ப முறைப்படுத்துவதற்குப் (Alignment) பயன்படும் ஒரு மேம்பட்ட நுட்பமாகும். இது மனிதர்களின் முன்னுரிமைகளைப் பிரதிபலிக்கும் வகையில் ஒரு 'ஊக்க மாதிரி' (Reward Model) அல்லது **'பரிசு மாதிரி'**யை உருவாக்குகிறது. பின்னர், அந்த மாதிரியைப் பயன்படுத்தி மற்ற இயந்திரக் கற்றல் மாதிரிகளுக்கு வலுவூட்டல் கற்றல் (Reinforcement Learning) வழியாகப் பயிற்சி அளிக்கப்படுகிறது.

 செயல்முறை 
வழக்கமான வலுவூட்டல் கற்றலில் (Classical Reinforcement Learning), ஒரு முகவர் தனது செயல்பாடுகளை நெறிப்படுத்தும் 'கொள்கை' (Policy) என்ற வழிமுறையைக் கற்க முயல்கிறது. ஒரு குறிப்பிட்ட பணியைச் செய்யும்போது அதற்குப் பரிசாகக் கிடைக்கும் 'ஊக்கச் சமிக்கைகளை' (Reward Signals) அதிகப்படுத்துவதன் மூலம் இந்தச் செயல்பாடு மேம்படுத்தப்படுகிறது. இருப்பினும், மனிதர்களின் நுணுக்கமான விருப்பங்களைத் துல்லியமாகப் பிரதிபலிக்கும் ஒரு கணித ரீதியான ஊக்கச் செயல்பாட்டை (Reward Function) நேரடியாக உருவாக்குவது கடினமானது.

எனவே, RLHF முறையில் ஒரு 'ஊக்க மாதிரி' நேரடியாக மனிதப் பின்னூட்டங்களிலிருந்து பயிற்றுவிக்கப்படுகிறது. இதன் நிலைகள் வருமாறு:

தரவுச் சேகரிப்பு: மனித மதிப்பீட்டாளர்கள், கணினி வழங்கும் பல்வேறு பதில்களை அவற்றின் தரம் மற்றும் துல்லியம் அடிப்படையில் வரிசைப்படுத்தி (Rank) தரவுகளை வழங்குகின்றனர்.

ஊக்க மாதிரிப் பயிற்சி (Reward Model Training): இந்த வரிசைப்படுத்தப்பட்ட தரவுகளைக் கொண்டு, ஒரு குறிப்பிட்ட பதிலுக்கு மனிதர்கள் எவ்வளவு மதிப்பீடு அளிப்பார்கள் என்பதைக் கணிக்கும் வகையில் ஒரு மாதிரிக்கு மேற்பார்வைக் கற்றல் (Supervised Learning) முறையில் பயிற்சி அளிக்கப்படுகிறது.

கொள்கை உகப்பாக்கம் (Policy Optimization): இந்த ஊக்க மாதிரி வழங்கும் சமிக்கைகளைப் பயன்படுத்தி, 'அண்மை கொள்கை உகப்பாக்கம்' (PPO - Proximal Policy Optimization) போன்ற வழிமுறைகள் மூலம் கணினி மாதிரியின் செயல் திறன் மேம்படுத்தப்படுகிறது.

 மேற்கோள்கள் 

பகுப்பு:தொழினுட்பம்
பகுப்பு:கணினியியல்