লেস্ক অ্যালগরিদম

লেস্ক অ্যালগরিদম হলো শব্দ অর্থ নির্ধারণ-এর জন্য একটি প্রাচীন অ্যালগরিদম যা ১৯৮৬ সালে মাইকেল ই. লেস্ক দ্বারা প্রবর্তিত হয়েছিল। এটি এই ভিত্তিতে কাজ করে যে, একটি নির্দিষ্ট প্রসঙ্গে থাকা শব্দগুলো সম্ভবত একটি সাধারণ অর্থ ভাগ করে নেয়। এই অ্যালগরিদমটি একটি দ্ব্যর্থক শব্দের অভিধান সংজ্ঞাকে তার চারপাশের প্রসঙ্গে থাকা শব্দগুলোর সাথে তুলনা করে সবচেয়ে উপযুক্ত অর্থ নির্ধারণ করে। সরলীকৃত লেস্ক অ্যালগরিদমের মতো ভিন্নতাগুলো উন্নত নির্ভুলতা এবং দক্ষতা প্রদর্শন করেছে। তবে, লেস্ক অ্যালগরিদমটি সংজ্ঞার শব্দচয়নে সংবেদনশীলতা এবং সংক্ষিপ্ত ব্যাখ্যার উপর নির্ভরতার জন্য সমালোচিত হয়েছে। গবেষকরা এর নির্ভুলতা বাড়াতে থিসরাস এবং সিনট্যাকটিক মডেলের মতো অতিরিক্ত সম্পদ ব্যবহারের চেষ্টা করেছেন।
লেস্ক অ্যালগরিদম এই ধারণার উপর ভিত্তি করে যে একটি নির্দিষ্ট "প্রতিবেশী" (পাঠ্যের অংশ) এর শব্দগুলো একটি সাধারণ বিষয় ভাগ করে নেওয়ার প্রবণতা রাখে। লেস্ক অ্যালগরিদমের একটি সরলীকৃত সংস্করণ হলো একটি দ্ব্যর্থক শব্দের অভিধান সংজ্ঞাকে তার প্রতিবেশী অংশে থাকা শব্দগুলোর সাথে তুলনা করা। এটি ওয়ার্ডনেট ব্যবহারের জন্যও অভিযোজিত হয়েছে। একটি বাস্তবায়ন এরকম হতে পারে:
যে শব্দের অর্থ নির্ধারণ করা হচ্ছে, তার প্রতিটি অর্থের জন্য প্রতিবেশী শব্দগুলো এবং সেই অর্থের অভিধান সংজ্ঞায় থাকা শব্দগুলোর মধ্যে কতগুলো শব্দ মিলছে তা গণনা করা উচিত।
যে অর্থটি নির্বাচন করা হবে তা হলো সেই অর্থ যার এই গণনার সংখ্যা সবচেয়ে বেশি।
এই অ্যালগরিদমটির একটি প্রায়শই ব্যবহৃত উদাহরণ হলো "পাইন কোন" প্রসঙ্গের জন্য। নিম্নলিখিত অভিধান সংজ্ঞাগুলো ব্যবহৃত হয়:
PINE
সূচিপত্রযুক্ত চিরহরিৎ গাছের প্রকার
দুঃখ বা অসুস্থতার কারণে ক্ষয়প্রাপ্ত হওয়া
CONE
একটি বিন্দুতে সংকীর্ণ হওয়া কঠিন বস্তু
এই আকৃতির কিছু, কঠিন বা ফাঁপা যাই হোক না কেন
নির্দিষ্ট চিরহরিৎ গাছের ফল যেমন দেখা যায়, সেরা মিল হলো Pine #1 ⋂ Cone #3 = ২।
সরলীকৃত লেস্ক অ্যালগরিদমে, একটি নির্দিষ্ট প্রসঙ্গে প্রতিটি শব্দের সঠিক অর্থ পৃথকভাবে নির্ধারিত হয়, যে অর্থটির অভিধান সংজ্ঞা এবং প্রদত্ত প্রসঙ্গের মধ্যে সবচেয়ে বেশি মিল রয়েছে তা খুঁজে বের করে। একটি প্রসঙ্গে থাকা সব শব্দের অর্থ একসঙ্গে নির্ধারণ না করে, এই পদ্ধতি প্রতিটি শব্দকে স্বাধীনভাবে সমাধান করে, অন্য শব্দগুলোর অর্থের উপর নির্ভর না করে।
"ভাসিলেস্কু এট আল. (২০০৪) কর্তৃক পরিচালিত একটি তুলনামূলক মূল্যায়ন দেখিয়েছে যে সরলীকৃত লেস্ক অ্যালগরিদম মূল অ্যালগরিদমের তুলনায় নির্ভুলতা এবং দক্ষতা উভয় ক্ষেত্রেই উল্লেখযোগ্যভাবে ভালো ফল দেয়। সেন্সেভাল-২ ইংরেজি সব শব্দ ডেটার উপর অ্যালগরিদমগুলোর মূল্যায়ন করে তারা দেখিয়েছে যে সরলীকৃত লেস্ক অ্যালগরিদমে ৫৮% নির্ভুলতা অর্জিত হয়েছে, যেখানে মূল অ্যালগরিদমে মাত্র ৪২%।
দ্রষ্টব্য: ভাসিলেস্কু এট আল.-এর বাস্তবায়নে অ্যালগরিদমে আচ্ছাদিত নয় এমন শব্দগুলোর জন্য একটি ব্যাক-অফ কৌশল বিবেচনা করা হয়েছে, যা ওয়ার্ডনেটে সংজ্ঞায়িত সবচেয়ে সাধারণ অর্থ নিয়ে গঠিত। এর অর্থ হলো যে শব্দগুলোর সমস্ত সম্ভাব্য অর্থ বর্তমান প্রসঙ্গ বা অন্য শব্দের সংজ্ঞার সাথে শূন্য মিল ফল দেয়, সেগুলোর জন্য ডিফল্ট হিসেবে ওয়ার্ডনেটে প্রথম অর্থ নির্ধারিত হয়।"
ভাসিলেস্কু এট আল., ২০০৪-এর সরলীকৃত লেস্ক অ্যালগরিদম স্মার্ট ডিফল্ট শব্দ অর্থ সহ
COMPUTEOVERLAP ফাংশনটি দুটি সেটের মধ্যে সাধারণ শব্দের সংখ্যা ফিরিয়ে দেয়, ফাংশন শব্দ বা স্টপ লিস্টে থাকা অন্য শব্দগুলো উপেক্ষা করে। মূল লেস্ক অ্যালগরিদম প্রসঙ্গকে আরও জটিলভাবে সংজ্ঞায়িত করে।
দুর্ভাগ্যবশত, লেস্কের পদ্ধতি সংজ্ঞার সঠিক শব্দচয়নের প্রতি খুবই সংবেদনশীল, তাই একটি নির্দিষ্ট শব্দের অনুপস্থিতি ফলাফলকে আমূল পরিবর্তন করতে পারে। এছাড়াও, অ্যালগরিদমটি কেবলমাত্র বিবেচিত অর্থগুলোর ব্যাখ্যার মধ্যে মিল নির্ধারণ করে। এটি একটি উল্লেখযোগ্য সীমাবদ্ধতা, কারণ অভিধানের ব্যাখ্যাগুলো সাধারণত খুবই সংক্ষিপ্ত হয় এবং সূক্ষ্ম অর্থের পার্থক্য সম্পর্কিত পর্যাপ্ত শব্দভাণ্ডার সরবরাহ করে না।
এই অ্যালগরিদমের বিভিন্ন পরিবর্তন নিয়ে অনেক কাজ প্রকাশিত হয়েছে। এই কাজগুলো বিশ্লেষণের জন্য অন্যান্য সম্পদ ব্যবহার করে (থিসরাস, সমার্থক শব্দের অভিধান বা রূপতাত্ত্বিক এবং সিনট্যাকটিক মডেল): উদাহরণস্বরূপ, এটি সমার্থক শব্দ, বিভিন্ন প্রতিশব্দ, বা সংজ্ঞার শব্দগুলোর সংজ্ঞা থেকে শব্দ ব্যবহার করতে পারে।
মূল লেস্ক (লেস্ক, ১৯৮৬)
অভিযোজিত/বর্ধিত লেস্ক (ব্যানার্জি এবং পেডারসন, ২০০২/২০০৩): অভিযোজিত লেস্ক অ্যালগরিদমে, ওয়ার্ডনেট ব্যাখ্যায় প্রতিটি বিষয়বস্তু শব্দের জন্য একটি শব্দ ভেক্টর তৈরি করা হয়। ওয়ার্ডনেটে সম্পর্কিত ধারণার ব্যাখ্যা যোগ করে এই ভেক্টর বাড়ানো যায়। ভেক্টরটিতে বড় কর্পাসে w-এর সাথে সহ-ঘটমান শব্দগুলোর সহ-ঘটনা গণনা থাকে। একটি ধারণার জন্য ব্যাখ্যায় থাকা সমস্ত বিষয়বস্তু শব্দের শব্দ ভেক্টর যোগ করে গ্লস ভেক্টর g তৈরি করা হয়। সম্পর্ক নির্ধারণ করা হয় গ্লস ভেক্টর তুলনা করে কোসাইন সাদৃশ্য পরিমাপ ব্যবহার করে।
লেস্ক এবং এর সম্প্রসারণ নিয়ে অনেক গবেষণা রয়েছে:
উইলক্স এবং স্টিভেনসন, ১৯৯৮, ১৯৯৯;
মাহেশ এট আল., ১৯৯৭;
কোয়ি এট আল., ১৯৯২;
ইয়ারোস্কি, ১৯৯২;
পুক এবং ক্যাটলেট, ১৯৮৮;
কিলগ্যারিফ এবং রোজেনসভিগ, ২০০০;
কোং, ২০০১;
নাস্তাসে এবং স্জপাকোভিচ, ২০০১;
গেলবুখ এবং সিদোরভ, ২০০৪।