ল্যাসো (পরিসংখ্যান)

পরিসংখ্যান এবং যন্ত্র শিক্ষণ-এ, **ল্যাসো** (**least absolute shrinkage and selection operator**; এছাড়াও **Lasso**, **LASSO** অথবা **L1 নিয়মিতকরণ**) হলো একটি প্রত্যাবর্ত বিশ্লেষণ পদ্ধতি, যা চলক নির্বাচন এবং নিয়মিতকরণ—উভয়ই সম্পাদন করে, যাতে প্রাপ্ত পরিসংখ্যানিক মডেল-এর পূর্বাভাসের নির্ভুলতা এবং ব্যাখ্যাযোগ্যতা বৃদ্ধি পায়। ল্যাসো পদ্ধতি ধরে নেয় যে রৈখিক মডেলের সহগগুলো sparse, অর্থাৎ এদের মধ্যে অল্প কয়েকটি শূন্য নয়। এটি প্রথমে ভূ-পদার্থবিদ্যা-এ প্রবর্তিত হয়েছিল, এবং পরবর্তীতে রবার্ট টিবশিরানি কর্তৃক পুনরায় উপস্থাপিত হয়; তিনিই এটির নামকরণ করেন।

ল্যাসো মূলত রৈখিক প্রত্যাবর্ত মডেলের জন্য প্রণয়ন করা হয়েছিল। এই সরল ক্ষেত্রটি নির্ণায়ক সম্পর্কে উল্লেখযোগ্য অন্তর্দৃষ্টি প্রদান করে। এর মধ্যে রয়েছে রিজ প্রত্যাবর্ত এবং সর্বোত্তম উপসেট নির্বাচন-এর সঙ্গে এর সম্পর্ক, এবং ল্যাসো সহগ নির্ণায়ক ও তথাকথিত soft thresholding-এর মধ্যকার সংযোগ। এটিও নির্দেশ করে যে (মানক রৈখিক প্রত্যাবর্তের মতো) সহগের নির্ণায়কগুলি একক নাও হতে পারে, যদি সহচলকসমূহ সহরৈখিক হয়।

যদিও এটি মূলত রৈখিক প্রত্যাবর্তের জন্য সংজ্ঞায়িত হয়েছিল, ল্যাসো নিয়মিতকরণ সহজেই অন্যান্য পরিসংখ্যানিক মডেলেও সম্প্রসারিত করা যায়, যেমন সাধারণীকৃত রৈখিক মডেলসমূহ, সাধারণীকৃত অনুমান সমীকরণসমূহ, অনুপাতিক বিপদ মডেলসমূহ এবং এম-নির্ণায়কসমূহ। উপসেট নির্বাচন সম্পাদনের ক্ষেত্রে ল্যাসোর সক্ষমতা বিধিনিষেধের আকারের ওপর নির্ভর করে এবং এর বিভিন্ন ব্যাখ্যা রয়েছে, যার মধ্যে জ্যামিতি, বায়েসীয় পরিসংখ্যান এবং উত্তল বিশ্লেষণ-এর দৃষ্টিকোণ অন্তর্ভুক্ত।

LASSO-এর সঙ্গে ভিত্তি অনুসন্ধান ডিনয়জিং-এর ঘনিষ্ঠ সম্পর্ক রয়েছে।
## ইতিহাস
রিগ্রেশন মডেলের পূর্বাভাসের নির্ভুলতা এবং ব্যাখ্যাযোগ্যতা উন্নত করার উদ্দেশ্যে ল্যাসো প্রবর্তিত হয়। এটি মডেলে ব্যবহারের জন্য পরিচিত সহচর চলকগুলোর একটি সংকুচিত উপসেট নির্বাচন করে।

১৯৮৬ সালে ভূ-পদার্থবিজ্ঞান বিষয়ক সাহিত্যে পূর্ববর্তী কাজের ভিত্তিতে, যেখানে সহগসমূহের ফিটিং এবং দণ্ডায়নের জন্য <math>\ell^1</math> দণ্ড ব্যবহার করা হয়েছিল, স্বাধীনভাবে ল্যাসো উন্নয়ন করা হয়। পরিসংখ্যানবিদ রবার্ট টিবশিরানি ১৯৯৬ সালে ব্রেইম্যান-এর নননেগেটিভ গ্যারোট পদ্ধতির ভিত্তিতে এটিকে স্বাধীনভাবে পুনরাবিষ্কার ও জনপ্রিয় করেন।

ল্যাসোর পূর্বে, সহচর চলক নির্বাচন করার জন্য সর্বাধিক ব্যবহৃত পদ্ধতি ছিল ধাপভিত্তিক নির্বাচন। এই পদ্ধতি কেবল নির্দিষ্ট কিছু ক্ষেত্রে পূর্বাভাসের নির্ভুলতা উন্নত করে, যেমন যখন অল্প কয়েকটি সহচর চলকের ফলাফলের সঙ্গে শক্তিশালী সম্পর্ক থাকে। তবে অন্যান্য ক্ষেত্রে এটি পূর্বাভাস ত্রুটি বাড়িয়ে দিতে পারে।

সে সময় রিজ রিগ্রেশন ছিল পূর্বাভাসের নির্ভুলতা উন্নত করার সবচেয়ে জনপ্রিয় কৌশল। রিজ রিগ্রেশন সংকোচন প্রয়োগ করে রিগ্রেশন সহগসমূহ-এর বর্গগুলোর যোগফলকে একটি নির্দিষ্ট মানের কম রাখতে বাধ্য করে, যাতে অতিঅনুকূলন কমানো যায় এবং পূর্বাভাস ত্রুটি উন্নত হয়। তবে এটি সহচর চলক নির্বাচন করে না, ফলে মডেলকে আরও ব্যাখ্যাযোগ্য করে তুলতে সহায়তা করে না।

ল্যাসো এই দুই লক্ষ্যই অর্জন করে, কারণ এটি রিগ্রেশন সহগগুলোর পরম মানের যোগফলকে একটি নির্দিষ্ট মানের কম রাখতে বাধ্য করে, যার ফলে কিছু সহগ শূন্যে পরিণত হয় এবং পূর্বাভাসে তাদের প্রভাব বাদ পড়ে। এই ধারণাটি রিজ রিগ্রেশনের অনুরূপ, যা সহগগুলোর মান সংকুচিত করে; তবে রিজ রিগ্রেশন সহগকে শূন্যে পরিণত করে না (অতএব এটি চলক নির্বাচন সম্পাদন করে না)।
## মৌলিক রূপ

### সর্বনিম্ন বর্গ
ধরা যাক একটি নমুনায় *N* টি পর্যবেক্ষণ রয়েছে, এবং প্রতিটি পর্যবেক্ষণে *p* টি সহপরিবর্তী চলক এবং একটি ফলাফল বিদ্যমান। ধরা যাক  y_i  হলো ফলাফল এবং  x_i:=(x_1,x_2,\ldots,x_p)_i^\intercal হলো *i* তম পর্যবেক্ষণের সহপরিবর্তী ভেক্টর। তাহলে লাসোর লক্ষ্য হলো নিম্নলিখিত সমস্যাটি সমাধান করা:
 \min_{ \beta_0, \beta } \biggl\{ \sum_{i=1}^N \bigl(y_i - \beta_0 - x_i^\intercal \beta\bigr)^2 \biggr\} 
শর্তসাপেক্ষে
 \sum_{j=1}^p |\beta_j| \leq t. 

এখানে  \beta_0  হলো ধ্রুব সহগ,  \beta:=(\beta_1,\beta_2,\ldots, \beta_p) হলো সহগ ভেক্টর, এবং t হলো পূর্বনির্ধারিত একটি মুক্ত পরামিতি, যা নিয়মিতকরণের মাত্রা নির্ধারণ করে।

ধরা যাক  X  হলো সহপরিবর্তী ম্যাট্রিক্স, যাতে  X_{ij} = (x_i)_j  এবং x_i^\intercal হলো X-এর *i* তম সারি। তাহলে উপরের প্রকাশটিকে আরও সংক্ষেপে লেখা যায়:
 \min_{ \beta_0, \beta } \left\{ \left\| y - \beta_0  - X \beta \right\|_2^2 \right\} \text{ subject to } \| \beta \|_1 \leq t, 
যেখানে  \| u \|_p = \biggl( \sum_{i=1}^N | u_i |^p \biggr)^{1/p}  হলো মানক <math> \ell^p </math> নর্ম।

তথ্যবিন্দুসমূহের x_i-এর স্কেলার গড় \bar{x} এবং প্রতিক্রিয়া চলকসমূহের y_i-এর গড় \bar{y} দ্বারা নির্দেশ করলে, \beta_0-এর আনুমানিক মান হয়  \hat{\beta}_0 = \bar{y} - \bar{x}^\intercal \beta । ফলে
 y_i - \hat{\beta}_0 - x_i^\intercal \beta = y_i - ( \bar{y} - \bar{x}^\intercal \beta ) - x_i^\intercal \beta = ( y_i - \bar{y} ) - ( x_i - \bar{x} )^\intercal \beta, 
এবং তাই শূন্য-গড়ে রূপান্তরিত চলক ব্যবহার করাই প্রথাগত। অতিরিক্তভাবে, সহপরিবর্তী চলকসমূহ সাধারণত মানকীকৃত করা হয়  \bigl( \sum_{i=1}^N x_{i}^2 = 1 \bigr) , যাতে সমাধানটি পরিমাপের স্কেলের উপর নির্ভরশীল না হয়।

নিম্নলিখিত রূপে সমস্যাটি পুনর্লিখন করা উপকারী হতে পারে:
 \min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| y - X \beta \right\|_2^2 \right\} \text{ subject to } \| \beta \|_1 \leq t. 
এটিকে তথাকথিত লাগরাঞ্জীয় রূপে লেখা যায়:
 \min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| y - X \beta \right\|_2^2 + \lambda \| \beta \|_1 \right\} 
যেখানে  t  এবং  \lambda -এর সুনির্দিষ্ট সম্পর্ক তথ্যনির্ভর।

### অরথোনরমাল সহপরিবর্তী

এখন লাসো নির্ণায়কের কয়েকটি মৌলিক বৈশিষ্ট্য বিবেচনা করা যায়।

প্রথমে ধরা যাক সহপরিবর্তী চলকসমূহ অরথোনরমাল; অর্থাৎ \ x_i^\intercal x_j = \delta_{ij}\ , যেখানে \ \delta_{ij}\  হলো ক্রোনেকার ডেল্টা; অথবা সমতুল্যভাবে, \ X^\intercal X = I\ ,। তখন উপগ্রেডিয়েন্ট পদ্ধতি ব্যবহার করে দেখানো যায় যে

\,\begin{align}
\hat{\beta}_j\ =\ {} & \operatorname{S}_{N, \lambda}\left(\hat\beta{}_j^{\!\;\text{OLS}} \right)\ =\ \hat\beta{}_j^{\!\;\text{OLS}} \cdot \max\! \left\{\ 0,\ 1 - \frac{\ N\ \lambda\ }{\ \bigl|\hat\beta{}_j^{\!\;\text{OLS}}\bigr|\ }\ \right\} \end{align}\,

যেখানে 
\quad \hat\beta{}_j^{\!\;\text{OLS}}\ =\ (X^\intercal X)^{-1} X^\intercal y\ =\ X^\intercal y ~.


\ S_\alpha\ -কে *soft thresholding operator* বলা হয়, কারণ এটি মানগুলোকে শূন্যের দিকে স্থানান্তরিত করে (এবং মান শূন্যের নিকটবর্তী হলে সেটিকে ঠিক শূন্য করে দেয়), যেখানে *hard thresholding operator*—যা প্রায়শই \ H_\alpha\ , দ্বারা নির্দেশিত—ছোট মানগুলোকে সরাসরি শূন্য করে দেয় এবং বড় মানগুলো অপরিবর্তিত রাখে।

রিজ রিগ্রেশন-এ লক্ষ্য ফাংশনটি হলো:
\ \min_{ \beta \in \mathbb{R}^p } \left\{~ \tfrac{\ 1\ }{ N } \Bigl\|\ y - X\ \beta\ \Bigr\|_2^2\ +\ \lambda\ \Bigl\|\ \beta\ \Bigr\|_2^2 ~\right\}\ 

\ X^\intercal X = I\  এবং রিজ রিগ্রেশনের সূত্র \ \hat{\beta} = \Bigl(\ X^\intercal X\ +\ N\ \lambda\ I\ \Bigr)^{-1} X^\intercal y\ , ব্যবহার করলে পাওয়া যায়:
\ \hat{\beta}_j = \left( 1 + N\ \lambda \right)^{-1}\ \hat\beta{}_j^{\!\;\text{OLS}} ~.

রিজ রিগ্রেশন সব সহগকে একটি অভিন্ন গুণক \ (1 + N \lambda)^{-1}\  দ্বারা সংকুচিত করে এবং কোনো সহগকে শূন্যে পরিণত করে না।

এটি সর্বোত্তম উপসেট নির্বাচন-সহ রিগ্রেশনের সঙ্গেও তুলনা করা যায়, যেখানে লক্ষ্য হলো
\ \min_{ \beta \in \mathbb{R}^p } \left\{~ \tfrac{1}{N} \Bigl\|\ y - X \beta\ \Bigr\|_2^2\ +\ \lambda\ \Bigl\|\ \beta\ \Bigr\|_0 ~\right\}\ 
এখানে \ \| \cdot \|_0\  হলো "\ \ell^0\  নর্ম", যা এমনভাবে সংজ্ঞায়িত যে, যদি -এর ঠিক  টি উপাদান শূন্য ব্যতীত হয়, তবে \ \| z \| = m\ । পুনরায় অরথোনরমাল সহপরিবর্তী ধরলে, এই বিশেষ ক্ষেত্রে দেখানো যায় যে
\ \hat{\beta}_j\ =\ H_{ \sqrt{ N \lambda\ } }\ \left(\ \hat\beta{}_j^{\!\;\text{OLS}}\ \right)\ =\ \hat\beta{}_j^{\!\;\text{OLS}} \cdot \operatorname\mathbb{I} \left[~ \bigl| \hat\beta{}_j^{\!\;\text{OLS}} \bigr| \geq \sqrt{ N\ \lambda\ } ~\right]\ 
যেখানে \ H_\alpha\  হলো hard thresholding operator এবং \ \mathbb{I}\  হলো একটি সূচক ফাংশন (এর আর্গুমেন্ট সত্য হলে এর মান  এবং অন্যথায় )।

অতএব, লাসো নির্ণয়সমূহ রিজ রিগ্রেশন এবং সর্বোত্তম উপসেট নির্বাচন—উভয়ের বৈশিষ্ট্য ধারণ করে। এটি রিজ রিগ্রেশনের মতো সব সহগের মান সংকুচিত করে এবং একই সঙ্গে সর্বোত্তম উপসেট নির্বাচনের মতো কিছু সহগকে শূন্যে পরিণত করে। তবে রিজ রিগ্রেশন যেখানে সব সহগকে একটি ধ্রুব গুণকে স্কেল করে, লাসো সেখানে সহগগুলোকে একটি ধ্রুব মান দ্বারা শূন্যের দিকে সরিয়ে দেয় এবং শূন্যে পৌঁছালে সেটিকে শূন্যই রাখে।

### সহসম্পর্কিত সহপরিবর্তী

একটি বিশেষ ক্ষেত্রে ধরা যাক দুটি সহপরিবর্তী, ধরা যাক *j* এবং *k*, প্রতিটি পর্যবেক্ষণের জন্য অভিন্ন; অর্থাৎ  x_{(j)} = x_{(k)} , যেখানে  x_{(j),i} = x_{(k),i} । তখন লাসো উদ্দেশ্য ফাংশনকে সর্বনিম্ন করে এমন  \beta_j  এবং  \beta_k -এর মান অনন্যভাবে নির্ধারিত হয় না। প্রকৃতপক্ষে, যদি এমন কোনো  \hat{\beta}  থাকে যেখানে  \hat{\beta}_j \hat{\beta}_k \geq 0 , তবে  s \in [0,1]  এর জন্য  \hat{\beta}_j -কে  s ( \hat{\beta}_j + \hat{\beta}_k )  দ্বারা এবং  \hat{\beta}_k -কে  (1 - s ) ( \hat{\beta}_j + \hat{\beta}_k )  দ্বারা প্রতিস্থাপন করলে, এবং অন্যান্য সকল  \hat{\beta}_i  অপরিবর্তিত রাখলে, একটি নতুন সমাধান পাওয়া যায়। ফলে লাসো উদ্দেশ্য ফাংশনের একটি ধারাবাহিক বৈধ সর্বনিম্নকারীর সেট থাকতে পারে। এই সীমাবদ্ধতা দূর করার জন্য লাসোর বিভিন্ন প্রকরণ, যেমন ইলাস্টিক নেট নিয়মিতকরণ, প্রস্তাব করা হয়েছে।
## সাধারণ রূপ

ল্যাসো নিয়মিতকরণকে সাধারণীকৃত রৈখিক মডেলসমূহ, সাধারণীকৃত এস্টিমেটিং সমীকরণসমূহ, আনুপাতিক ঝুঁকি মডেলসমূহ এবং এম-এস্টিমেটরসমূহের মতো অন্যান্য উদ্দেশ্য ফাংশনেও সম্প্রসারিত করা যেতে পারে। প্রদত্ত উদ্দেশ্য ফাংশন
 \frac{1}{N} \sum_{i=1}^N f( x_i, y_i, \alpha, \beta ) 
এর জন্য ল্যাসো-নিয়মিত সংস্করণে এস্টিমেটরটি নিম্নলিখিত সমস্যার সমাধান হিসেবে নির্ধারিত হয়
 \min_{ \alpha, \beta } \frac{1}{N} \sum_{i=1}^N f( x_i, y_i, \alpha, \beta ) \text{ subject to } \| \beta \|_1 \leq t 
এখানে কেবল  \beta -কে দণ্ডায়িত করা হয়, আর  \alpha  যে কোনো অনুমোদিত মান গ্রহণ করতে স্বাধীন থাকে; যেমন মৌলিক ক্ষেত্রে  \beta_0 -কে দণ্ডায়িত করা হয়নি।
## ব্যাখ্যা

### জ্যামিতিক ব্যাখ্যা

ল্যাসো সহগকে শূন্যে পরিণত করতে পারে, কিন্তু আপাতদৃষ্টিতে সাদৃশ্যপূর্ণ রিজ রিগ্রেশন তা পারে না। এর কারণ হলো তাদের সীমাবদ্ধতা সীমানার আকারের পার্থক্য। ল্যাসো এবং রিজ রিগ্রেশন উভয়কেই একই উদ্দেশ্য ফাংশন ন্যূনতম করার মাধ্যমে ব্যাখ্যা করা যায়
 \min_{ \beta_0, \beta } \left\{ \frac{1}{N} \left\| y - \beta_0 - X \beta \right\|_2^2 \right\} 
তবে ভিন্ন সীমাবদ্ধতার অধীনে: ল্যাসোর জন্য  \| \beta \|_1 \leq t  এবং রিজের জন্য  \| \beta \|_2^2 \leq t । চিত্রে দেখা যায় যে  \ell^1  নর্ম দ্বারা সংজ্ঞায়িত সীমাবদ্ধতা অঞ্চলটি একটি ঘূর্ণিত বর্গক্ষেত্র, যার কোণাগুলো অক্ষের উপর অবস্থান করে (সাধারণভাবে একটি ক্রস-পলিটোপ), অন্যদিকে  \ell^2  নর্ম দ্বারা সংজ্ঞায়িত অঞ্চলটি একটি বৃত্ত (সাধারণভাবে একটি ''n''-স্ফিয়ার), যা ঘূর্ণন-এর অধীনে অপরিবর্তিত থাকে এবং তাই এর কোনো কোণা নেই। চিত্রে যেমন দেখা যায়, সীমারেখার সাথে স্পর্শক কোনো উত্তল বস্তু (যেমন প্রদর্শিত সরলরেখা) একটি হাইপারকিউবের কোণায় (বা উচ্চমাত্রিক সমতুল্য) স্পর্শ করার সম্ভাবনা বেশি, যেখানে  \beta -এর কিছু উপাদান অভিন্নভাবে শূন্য হয়। কিন্তু *n*-স্ফিয়ারের ক্ষেত্রে সীমারেখায় এমন কোনো বিশেষ বিন্দু নেই যেখানে  \beta -এর কিছু উপাদান শূন্য; তাই উত্তল বস্তুটির এমন বিন্দুতে স্পর্শ করার সম্ভাবনা অন্য বিন্দুর তুলনায় বেশি নয়।

### নির্ভুলতা-সরলতা বিনিময়ের মাধ্যমে λ সহজে ব্যাখ্যা করা

ল্যাসোকে পুনঃস্কেল করা যায়, যাতে নির্দিষ্ট  \lambda  মানের সাথে সম্পর্কিত সংকোচনের মাত্রা সহজে পূর্বানুমান ও প্রভাবিত করা যায়। ধরা হয় যে X z-স্কোর দ্বারা মানকীকৃত এবং y কেন্দ্রিত (গড় শূন্য)। ধরা যাক \beta_0 অনুমিত রিগ্রেশন সহগ নির্দেশ করে এবং b_\text{OLS} তথ্য-অনুকূলিত সাধারণ লিস্ট স্কোয়ার্স সমাধান নির্দেশ করে। তখন লাগ্রাঞ্জ গুণক-কে তথ্য-অনুকূলিত সমাধানের নমুনাভিত্তিক নির্ভুলতা এবং অনুমিত মানে অবিচল থাকার সরলতার মধ্যে একটি বিনিময় হিসেবে সংজ্ঞায়িত করা যায়। ফলে পাওয়া যায়
 \min_{ \beta \in \mathbb{R}^p } 
\left\{ 
  \frac{(y-X\beta)'(y-X\beta)}{(y-X\beta_0)'(y-X\beta_0)} + 2\lambda \sum_{i=1}^p  \frac{q_{i}}
\right\} 

এখানে  q_i  নিচে নির্ধারিত হয়েছে এবং "prime" চিহ্ন ট্রান্সপোজ নির্দেশ করে। প্রথম ভগ্নাংশ আপেক্ষিক নির্ভুলতা নির্দেশ করে, দ্বিতীয় ভগ্নাংশ আপেক্ষিক সরলতা নির্দেশ করে, এবং \lambda এ দুটির মধ্যে ভারসাম্য রক্ষা করে।

একটি মাত্র রিগ্রেসর থাকলে, আপেক্ষিক সরলতা সংজ্ঞায়িত করা যায় q_i কে |b_\text{OLS}-\beta_{0}| হিসেবে নির্ধারণ করে, যা  \lambda=0  হলে \beta_0 থেকে বিচ্যুতির সর্বাধিক পরিমাণ নির্দেশ করে। যদি \beta_{0}=0 ধরা হয়, তবে সমাধান পথটি <math>R^2</math>-এর মাধ্যমে সংজ্ঞায়িত করা যায়:

b_{\ell_1} = \begin{cases}
(1-\lambda/R^{2})b_\text{OLS}          &  \mbox{if } \lambda \leq R^{2}, \\ 
0                  &  \mbox{if } \lambda>R^{2}.
\end{cases}

যদি \lambda=0 হয়, তবে সাধারণ লিস্ট স্কোয়ার্স (OLS) সমাধান ব্যবহৃত হয়। যদি \lambda R^2-এর চেয়ে বড় হয়, তবে অনুমিত মান \beta_0=0 নির্বাচন করা হয়। তদুপরি, যদি R^2=1 হয়, তবে \lambda দ্বারা \beta_0=0-এর আনুপাতিক প্রভাব নির্দেশিত হয়। অর্থাৎ, \lambda\times100\% শতকরা হিসেবে তথ্য-অনুকূলিত OLS সমাধানের তুলনায় অনুমিত মানের ন্যূনতম প্রভাব নির্দেশ করে।

যদি একটি মাত্র রিগ্রেসরের ক্ষেত্রে শূন্য থেকে বিচ্যুতিকে দণ্ডায়িত করতে \ell_2-নর্ম ব্যবহৃত হয়, তবে সমাধান পথ হবে
b_{\ell_2} = \left(1+\frac{\lambda}{R^{2}(1-\lambda)}\right)^{-1} b_\text{OLS}.
b_{\ell_1}-এর মতোই, b_{\ell_2} ও (\lambda = R^2, b=0) বিন্দুর দিকে অগ্রসর হয় যখন \lambda শূন্যের কাছাকাছি থাকে; তবে b_{\ell_1}-এর বিপরীতে, \lambda বৃদ্ধি পেলে b_{\ell_2}-এ R^2-এর প্রভাব হ্রাস পায় (চিত্র দেখুন)। একাধিক রিগ্রেসরের ক্ষেত্রে, কোনো পরামিতি কখন সক্রিয় হবে (অর্থাৎ \beta_0 থেকে বিচ্যুত হতে পারবে) তা নির্ধারিত হয় ঐ রিগ্রেসরের R^2 নির্ভুলতায় অবদানের মাধ্যমে। প্রথমে, 
R^2=1-\frac{(y-Xb)'(y-Xb)}{(y-X\beta_0)'(y-X\beta_0)}.
R^2 যদি ৭৫% হয়, তবে অবাধ OLS সমাধান ব্যবহার করলে নমুনাভিত্তিক নির্ভুলতা অনুমিত \beta_0 মানের তুলনায় ৭৫% উন্নত হয়। প্রতিটি অনুমান থেকে বিচ্যুতির পৃথক অবদান গণনা করা যায় p × p মাত্রার ম্যাট্রিক্স
R^{\otimes}=(X'\tilde y_0)(X'\tilde y_0)' (X'X)^{-1}(\tilde y_0'\tilde y_0)^{-1},
যেখানে \tilde y_0=y-X\beta_0। যদি b=b_\text{OLS} ব্যবহার করে R^2 গণনা করা হয়, তবে R^{\otimes}-এর কর্ণ উপাদানগুলোর যোগফল R^2-এর সমান হয়। কর্ণ উপাদানগুলো শূন্যের চেয়ে ছোট বা, বিরল ক্ষেত্রে, একের চেয়ে বড় হতে পারে। যদি রিগ্রেসরগুলো পরস্পর অসংসম্পর্কিত হয়, তবে R^{\otimes}-এর i^{th} কর্ণ উপাদানটি সরলভাবে x_i এবং y-এর মধ্যে r^2 মানের সমতুল্য।

অ্যাডাপটিভ ল্যাসোর একটি পুনঃস্কেল সংস্করণ পাওয়া যায় যদি q_{\mbox{adaptive lasso},i}=|b_{\text{OLS},i}-\beta_{0,i}| নির্ধারণ করা হয়। যদি রিগ্রেসরগুলো অসংসম্পর্কিত হয়, তবে i^{th} পরামিতি কখন সক্রিয় হবে তা নির্ধারিত হয় R^{\otimes}-এর i^{th} কর্ণ উপাদান দ্বারা। সুবিধার্থে যদি \beta_0 শূন্য ভেক্টর ধরা হয়,
 b_{i} = \begin{cases}
 (1-\lambda/R_{ii}^{\otimes})b_{\text{OLS},i} & \text{if } \lambda \leq R_{ii}^{\otimes}, \\ 
 0                                            & \text{if } \lambda    > R_{ii}^{\otimes}.
 \end{cases}

অর্থাৎ, রিগ্রেসরগুলো অসংসম্পর্কিত হলে \lambda আবারও \beta_0-এর ন্যূনতম প্রভাব নির্দেশ করে। এমনকি রিগ্রেসরগুলো পারস্পরিক সম্পর্কযুক্ত হলেও, কোনো রিগ্রেশন পরামিতি প্রথম সক্রিয় হয় তখনই যখন \lambda R^{\otimes}-এর সর্বোচ্চ কর্ণ উপাদানের সমান হয়।

এই ফলাফলগুলো ল্যাসোর একটি পুনঃস্কেল সংস্করণের সাথে তুলনা করা যায়, যেখানে q_{\mbox{lasso},i}=\frac{1}{p} \sum_{l} |b_{\text{OLS},l}-\beta_{0,l}| সংজ্ঞায়িত করা হয়, যা b_\text{OLS} থেকে \beta_0-এর গড় পরম বিচ্যুতি নির্দেশ করে। যদি রিগ্রেসরগুলো অসংসম্পর্কিত হয়, তবে i^{th} রিগ্রেসরের সক্রিয় হওয়ার মুহূর্ত নির্ধারিত হয়
 \tilde \lambda_{\text{lasso},i} = \frac{1}{p}\sqrt{R^{\otimes}_i} \sum_{l=1}^p\sqrt{R^{\otimes}_{l}}.

যদি p=1 হয়, তবে সক্রিয় হওয়ার মুহূর্ত আবারও \tilde \lambda_{\text{lasso},i}=R^2 দ্বারা নির্ধারিত হয়। যদি \beta_0 শূন্য ভেক্টর হয় এবং p_B সংখ্যক প্রাসঙ্গিক পরামিতি সমানভাবে R^2=1 সহ একটি নিখুঁত ফিটের জন্য দায়ী হয়, তবে এই উপসেটটি \lambda-এর \frac{1}{p} মানে সক্রিয় হয়। তখন একটি প্রাসঙ্গিক রিগ্রেসরের সক্রিয় হওয়ার মুহূর্ত হয় \frac{1}{p}\frac{1}{\sqrt{p_B}}p_B\frac{1}{\sqrt{p_B}}=\frac{1}{p}। অর্থাৎ, অপ্রাসঙ্গিক রিগ্রেসর অন্তর্ভুক্ত করলে প্রাসঙ্গিক রিগ্রেসর সক্রিয় হওয়ার মুহূর্ত বিলম্বিত হয়, যা এই পুনঃস্কেল ল্যাসোতে প্রতিফলিত হয়। অ্যাডাপটিভ ল্যাসো এবং ল্যাসো উভয়ই ‘1ASTc’ এস্টিমেটরের বিশেষ ক্ষেত্র। পরবর্তীটি কেবল তখনই পরামিতিগুলোকে একত্রে গোষ্ঠীবদ্ধ করে, যখন রিগ্রেসরগুলোর মধ্যে পরম সহসম্পর্ক ব্যবহারকারী-নির্ধারিত মানের চেয়ে বড় হয়।
### বায়েসীয় ব্যাখ্যা

যেমন রিজ রিগ্রেশনকে এমন একটি রৈখিক রিগ্রেশন হিসেবে ব্যাখ্যা করা যায় যেখানে সহগসমূহের জন্য স্বাভাবিক পূর্ব বণ্টন নির্ধারণ করা হয়েছে, তেমনি ল্যাসোকেও এমন একটি রৈখিক রিগ্রেশন হিসেবে ব্যাখ্যা করা যায় যেখানে সহগসমূহের জন্য লাপ্লাস পূর্ব বণ্টন নির্ধারণ করা হয়েছে। লাপ্লাস বণ্টন শূন্যে তীক্ষ্ণভাবে শীর্ষযুক্ত (শূন্য বিন্দুতে এর প্রথম অন্তরকলন অসতত) এবং এটি স্বাভাবিক বণ্টনের তুলনায় শূন্যের কাছাকাছি অধিক সম্ভাব্যতা ভর কেন্দ্রীভূত করে। এটি ব্যাখ্যা করে কেন ল্যাসো কিছু সহগকে শূন্যে পরিণত করার প্রবণতা দেখায়, অথচ রিজ রিগ্রেশন তা করে না।

### উত্তল শিথিলকরণ ব্যাখ্যা

ল্যাসোকে সর্বোত্তম উপসেট নির্বাচন রিগ্রেশন সমস্যার একটি উত্তল শিথিলকরণ হিসেবেও দেখা যায়, যেখানে মোট সহচর চলক সংখ্যা n হলে,  k \leq n  এর জন্য এমন  \leq k  সংখ্যক সহচর চলকের উপসেট খুঁজে বের করতে হয় যা উদ্দেশ্য ফাংশনের মানকে সর্বনিম্ন করে। " \ell^0  নর্ম",  \|  \cdot \|_0 , (একটি ভেক্টরের অশূন্য উপাদানের সংখ্যা) হলো "\ell^p  নর্ম"-এর একটি সীমান্তিক অবস্থা, যার রূপ  \textstyle \| x \|_p = \left( \sum_{i=1}^n | x_j |^p \right)^{1/p}  (উদ্ধৃতি চিহ্ন ব্যবহার করা হয়েছে কারণ  p  হলে এগুলো প্রকৃতপক্ষে নর্ম নয়; কেননা  \| \cdot \|_p  তখন উত্তল নয় এবং ত্রিভুজ অসমতা প্রযোজ্য হয় না)। সুতরাং, যেহেতু p = 1 হলো সেই ক্ষুদ্রতম মান যার জন্য " \ell^p  নর্ম" উত্তল (এবং প্রকৃতপক্ষে একটি নর্ম), তাই কোনো অর্থে ল্যাসো সর্বোত্তম উপসেট নির্বাচন সমস্যার শ্রেষ্ঠ উত্তল আনুমানিক রূপ; কারণ  \| x \|_1 \leq t  দ্বারা সংজ্ঞায়িত অঞ্চলটি  p  এর জন্য  \| x \|_p \leq t  দ্বারা সংজ্ঞায়িত অঞ্চলের উত্তল আবরণ।
## সাধারণীকরণ

মূল কৌশলের সীমাবদ্ধতা দূর করতে এবং নির্দিষ্ট সমস্যার জন্য পদ্ধতিটিকে আরও কার্যকর করতে ল্যাসোর বিভিন্ন রূপ তৈরি করা হয়েছে। এদের প্রায় সবগুলোই সহচর চলকগুলোর (covariates) মধ্যে নির্ভরশীলতাকে সম্মান করা বা কাজে লাগানোর উপর গুরুত্ব দেয়।

ইলাস্টিক নেট নিয়মিতকরণ একটি অতিরিক্ত রিজ রিগ্রেশন-সদৃশ দণ্ড (penalty) যুক্ত করে, যা পূর্বাভাসদাতার সংখ্যা নমুনা আকারের চেয়ে বেশি হলে কর্মক্ষমতা উন্নত করে, শক্তভাবে পারস্পরিক সম্পর্কযুক্ত চলকগুলোকে একসাথে নির্বাচন করতে দেয় এবং সামগ্রিক পূর্বাভাস নির্ভুলতা বৃদ্ধি করে।

গ্রুপ ল্যাসো সংশ্লিষ্ট সহচর চলকগুলোর একটি গোষ্ঠীকে একক একক হিসেবে নির্বাচন করতে দেয়, যা এমন পরিস্থিতিতে উপযোগী হতে পারে যেখানে কিছু চলক অন্যগুলোর সাথে ছাড়া অন্তর্ভুক্ত করা যুক্তিযুক্ত নয়। গ্রুপ ল্যাসোর আরও সম্প্রসারণ পৃথক গোষ্ঠীর অভ্যন্তরে চলক নির্বাচন (স্পার্স গ্রুপ ল্যাসো) সম্পাদন করে এবং গোষ্ঠীগুলোর মধ্যে আংশিক ওভারল্যাপের সুযোগ দেয় (ওভারল্যাপ গ্রুপ ল্যাসো)।

ফিউজড ল্যাসো কোনো সমস্যার স্থানিক বা কালিক বৈশিষ্ট্য বিবেচনায় নিতে পারে, যার ফলে প্রাপ্ত মানগুলো সিস্টেমের কাঠামোর সাথে আরও সামঞ্জস্যপূর্ণ হয়। ল্যাসো-নিয়মিতকৃত মডেলগুলো সাবগ্রেডিয়েন্ট পদ্ধতি, লিস্ট-অ্যাঙ্গেল রিগ্রেশন (LARS) এবং প্রক্সিমাল গ্রেডিয়েন্ট পদ্ধতিসহ বিভিন্ন কৌশল ব্যবহার করে ফিট করা যায়। নিয়মিতকরণ পরামিতির সর্বোত্তম মান নির্ধারণ করা মডেলের ভালো কর্মক্ষমতা নিশ্চিত করার একটি গুরুত্বপূর্ণ অংশ; এটি সাধারণত ক্রস-ভ্যালিডেশন ব্যবহার করে নির্বাচন করা হয়।
### ইলাস্টিক নেট

২০০৫ সালে Zou এবং Hastie ইলাস্টিক নেট প্রবর্তন করেন। যখন *p*&nbsp;>&nbsp;*n* (অর্থাৎ সহচর চলকের সংখ্যা নমুনা আকারের চেয়ে বেশি), তখন ল্যাসো সর্বোচ্চ *n*টি সহচর চলক নির্বাচন করতে পারে (এমনকি যদি এর চেয়ে বেশি চলক ফলাফলের সাথে সম্পর্কিত হয় তবুও), এবং এটি উচ্চমাত্রায় পারস্পরিক সম্পর্কযুক্ত চলকগুলোর যেকোনো সেট থেকে সাধারণত একটি মাত্র চলক নির্বাচন করে। এছাড়া, এমনকি যখন *n*&nbsp;>&nbsp;*p*, শক্তভাবে পারস্পরিক সম্পর্কযুক্ত সহচর চলকের ক্ষেত্রে রিজ রিগ্রেশন সাধারণত আরও ভালো ফল প্রদান করে।

ইলাস্টিক নেট ল্যাসোকে সম্প্রসারিত করে একটি অতিরিক্ত  \ell^2  দণ্ড পদ যোগ করে, ফলে পাই
 \min_{ \beta \in \mathbb{R}^p } \left\{ \left\| y - X \beta \right\|_2^2 + \lambda_1 \| \beta \|_1 + \lambda_2 \| \beta \|_2^2 \right\}, 
যা সমতুল্য
\begin{align}
\min_{ \beta_0, \beta } \left\{ \left\| y - \beta_0 - X \beta \right\|_2^2 \right\} & \text{ subject to } ( 1 - \alpha ) \| \beta \|_1 + \alpha \| \beta \|_2^2 \leq t, \\
& \text{ where } \alpha = \frac{\lambda_2}{\lambda_1 + \lambda_2}.
\end{align}

এই সমস্যাটি একটি সরল ল্যাসো রূপে লেখা যায়
 \min_{ \beta^* \in \mathbb{R}^p } \left\{ \left\| y^* - X^* \beta^* \right\|_2^2 + \lambda^* \| \beta^* \|_1 \right\} 
যেখানে
 X_{(n+p) \times p}^* = ( 1 + \lambda_2 )^{-1/2} \binom{X}{ \lambda_2^{1/2} I_{p \times p} }, 
 y_{(n+p)}^* = \binom{y}{0^p}, \qquad \lambda^* = \frac{ \lambda_1 }{ \sqrt{ 1 + \lambda_2 } }, 
 \beta^* = \sqrt{ 1 + \lambda_2 } \beta. 

তখন  \hat{\beta} = \frac{ \hat{\beta}^* }{ \sqrt{ 1 + \lambda_2 } } , যা, যখন সহচর চলকগুলো পরস্পরের সাথে অরথোগোনাল, তখন দেয়
 \hat{\beta}_j
= \frac{ \hat\beta{}_j^{\!\;*,\text{OLS}} }{ \sqrt{ 1 + \lambda_2 } } \max \Biggl( 0, 1 - \frac{ \lambda^* }{ \bigl| \hat\beta{}_j^{\!\;*,\text{OLS}} \bigr| } \Biggr)
= \frac{\hat\beta{}_j^{\!\;\text{OLS}} }{ 1 + \lambda_2 } \max \Biggl( 0, 1 - \frac{ \lambda_1 }{ \bigl| \hat\beta{}_j^{\!\;\text{OLS}} \bigr| } \Biggr) = ( 1 + \lambda_2 )^{-1} \hat{\beta}{}^\text{lasso}_j.


অতএব, ইলাস্টিক নেট দণ্ডের ফলাফল হলো ল্যাসো এবং রিজ দণ্ডের প্রভাবের সমন্বয়।

সাধারণ ক্ষেত্রে ফিরে গেলে, দণ্ড ফাংশনটি এখন কঠোরভাবে উত্তল (strictly convex) হওয়ায় যদি  x_{(j)} = x_{(k)}  হয়, তবে  \hat{\beta}_j = \hat{\beta}_k  হবে, যা ল্যাসোর তুলনায় একটি পরিবর্তন। সাধারণভাবে, যদি  \hat{\beta}_j \hat{\beta_k} > 0  হয়,
 \frac{ | \hat{\beta}_j - \hat{\beta_k} | }{ \| y \| } \leq \lambda_2^{-1} \sqrt{ 2 ( 1 - \rho_{jk} ) }, \text{ where } \rho = X^\intercal X, 
এখানে  \rho  হলো নমুনা সহসম্পর্ক ম্যাট্রিক্স, কারণ  x  গুলোকে স্বাভাবিকীকৃত করা হয়েছে।

অতএব, উচ্চমাত্রায় পারস্পরিক সম্পর্কযুক্ত সহচর চলকগুলোর রিগ্রেশন সহগ সাধারণত পরস্পরের কাছাকাছি হয়; এই সাদৃশ্যের মাত্রা  \| y \|_1  এবং  \lambda_2  উভয়ের উপর নির্ভর করে, যা ল্যাসোর থেকে ভিন্ন। এই ঘটনাকে, যেখানে শক্তভাবে পারস্পরিক সম্পর্কযুক্ত সহচর চলকগুলোর রিগ্রেশন সহগ কাছাকাছি হয়, গ্রুপিং প্রভাব বলা হয়। গ্রুপিং কাঙ্ক্ষিত, কারণ যেমন জিনকে কোনো রোগের সাথে যুক্ত করার প্রয়োগে, প্রতিটি সম্পর্কযুক্ত চলকগুচ্ছ থেকে একটি নির্বাচন করার পরিবর্তে সংশ্লিষ্ট সব চলক খুঁজে পাওয়া অধিকতর কাম্য—যা ল্যাসো প্রায়ই করে থাকে। তদুপরি, প্রতিটি গোষ্ঠী থেকে মাত্র একটি নির্বাচন করা সাধারণত পূর্বাভাস ত্রুটি বৃদ্ধি করে, কারণ এতে মডেল কম দৃঢ় (robust) হয়ে পড়ে (এ কারণেই রিজ রিগ্রেশন প্রায়ই ল্যাসোর চেয়ে ভালো ফল প্রদান করে)।
### গ্রুপ ল্যাসো

২০০৬ সালে Yuan এবং Lin পূর্বনির্ধারিত সহচর চলকগুচ্ছকে (group) যৌথভাবে একটি মডেলে অন্তর্ভুক্ত বা বর্জন করার সুযোগ দিতে গ্রুপ ল্যাসো প্রবর্তন করেন। এটি বহু ক্ষেত্রে উপযোগী, বিশেষ করে যখন একটি শ্রেণিবদ্ধ চলককে একাধিক দ্বিমূলক (binary) সহচর চলকের সমষ্টি হিসেবে কোড করা হয়। এই ক্ষেত্রে, গ্রুপ ল্যাসো নিশ্চিত করতে পারে যে ঐ শ্রেণিবদ্ধ সহচর চলককে উপস্থাপনকারী সব চলক একসাথে অন্তর্ভুক্ত বা একসাথে বর্জিত হবে। আরেকটি স্বাভাবিক গুচ্ছভিত্তিক প্রেক্ষাপট হলো জৈবিক গবেষণা। যেহেতু জিন ও প্রোটিন প্রায়ই পরিচিত পথসমূহে (pathways) অবস্থান করে, তাই পৃথক জিন গুরুত্বপূর্ণ কি না তার চেয়ে কোন পথটি ফলাফলের সাথে সম্পর্কিত তা অধিক তাৎপর্যপূর্ণ হতে পারে। গ্রুপ ল্যাসোর উদ্দেশ্য ফাংশনটি মানক ল্যাসো উদ্দেশ্য ফাংশনের একটি স্বাভাবিক সম্প্রসারণ:
 \min_{ \beta \in \mathbb{R}^p } \biggl\{ \biggl\| y - \sum_{j=1}^J X_j \beta_j \biggr\|_2^2 + \lambda \sum_{j=1}^J \| \beta_j \|_{K_j} \biggr\}, \qquad \| z \|_{K_j} = ( z^\intercal K_j z )^{1/2} 
এখানে ডিজাইন ম্যাট্রিক্স  X  এবং সহচর ভেক্টর  \beta –এর পরিবর্তে প্রতিটি Jটি গোষ্ঠীর জন্য পৃথক ডিজাইন ম্যাট্রিক্স  X_j  এবং সহচর ভেক্টর  \beta_j  ব্যবহার করা হয়েছে। অতিরিক্তভাবে, দণ্ড পদটি এখন ধনাত্মক নির্দিষ্ট ম্যাট্রিক্স  K_j  দ্বারা সংজ্ঞায়িত  \ell^2  নর্মগুলোর উপর একটি যোগফল। যদি প্রতিটি সহচর চলক নিজস্ব গোষ্ঠীতে থাকে এবং  K_j = I  হয়, তবে এটি মানক ল্যাসোতে রূপান্তরিত হয়; আবার যদি মাত্র একটি গোষ্ঠী থাকে এবং  K_1 = I  হয়, তবে এটি রিজ রিগ্রেশনে রূপান্তরিত হয়। যেহেতু দণ্ডটি প্রতিটি গোষ্ঠী দ্বারা সংজ্ঞায়িত উপস্থানগুলোর উপর একটি  \ell^2  নর্মে পরিণত হয়, তাই এটি কোনো গোষ্ঠীর কেবল কিছু সহচর চলক নির্বাচন করে অন্যগুলো বাদ দিতে পারে না—যেমন রিজ রিগ্রেশনও পারে না। তবে, যেহেতু দণ্ডটি বিভিন্ন উপস্থান নর্মের উপর যোগফল (মানক ল্যাসোর মতো), তাই সীমাবদ্ধতায় কিছু অবিভেদ্য (non-differential) বিন্দু থাকে, যা কিছু উপস্থান সম্পূর্ণ শূন্য হওয়ার সাথে সম্পর্কিত। ফলে, এটি কিছু উপস্থানের সহগ ভেক্টরকে শূন্যে নির্ধারণ করতে পারে, অন্যগুলোকে কেবল সংকুচিত (shrink) রেখে। তবুও, প্রতিটি গোষ্ঠী উপস্থানে একটি অতিরিক্ত  \ell^1  দণ্ড যোগ করে গ্রুপ ল্যাসোকে তথাকথিত স্পার্স গ্রুপ ল্যাসোতে সম্প্রসারিত করা যায়, যা একটি গোষ্ঠীর ভেতর পৃথক সহচর চলক নির্বাচন করতে সক্ষম। আরেকটি সম্প্রসারণ, ওভারল্যাপসহ গ্রুপ ল্যাসো, সহচর চলককে একাধিক গোষ্ঠীর মধ্যে ভাগাভাগি করার অনুমতি দেয়; যেমন কোনো জিন দুটি পৃথক পথে অবস্থান করতে পারে।

R–এ Yang এবং Zou–এর তৈরি "gglasso" প্যাকেজ গ্রুপ LASSO–এর দ্রুত ও কার্যকর বাস্তবায়ন প্রদান করে।
### ফিউজড ল্যাসো
কিছু ক্ষেত্রে অধ্যয়নাধীন ঘটনায় গুরুত্বপূর্ণ স্থানিক বা কালিক কাঠামো থাকতে পারে, যা বিশ্লেষণের সময় বিবেচনা করা আবশ্যক—যেমন সময় ধারাবাহিকতা বা চিত্র-ভিত্তিক উপাত্ত। ২০০৫ সালে Tibshirani এবং তাঁর সহকর্মীরা এই ধরনের উপাত্তে ল্যাসোর ব্যবহার সম্প্রসারিত করতে ফিউজড ল্যাসো প্রবর্তন করেন। ফিউজড ল্যাসোর উদ্দেশ্য ফাংশন হলো
\begin{align}
& \min_\beta \biggl\{ \frac{1}{N} \sum_{i=1}^N \left( y_i - x_i^\intercal \beta \right)^2 \biggr\} \\[4pt]
& \text{ subject to } \sum_{j=1}^p |\beta_j|  \leq t_1 \text{ and } \sum_{j=2}^p |\beta_j - \beta_{j-1}|  \leq t_2.
\end{align}

প্রথম সীমাবদ্ধতাটি ল্যাসো সীমাবদ্ধতা, আর দ্বিতীয়টি কালিক বা স্থানিক কাঠামোর প্রেক্ষিতে বড় পরিবর্তনকে সরাসরি দণ্ডিত করে। এর ফলে সহগগুলোকে মসৃণভাবে পরিবর্তিত হতে বাধ্য করা হয়, যাতে সিস্টেমের অন্তর্নিহিত যুক্তি প্রতিফলিত হয়। ক্লাস্টার্ড ল্যাসো হলো ফিউজড ল্যাসোর একটি সাধারণীকরণ, যা প্রভাব (সহগ)–এর ভিত্তিতে প্রাসঙ্গিক সহচর চলক সনাক্ত ও গোষ্ঠীবদ্ধ করে। এর মূল ধারণা হলো সহগগুলোর পার্থক্যকে দণ্ডিত করা, যাতে অশূন্য সহগগুলো ক্লাস্টারে সমবেত হয়। এটি নিম্নোক্ত নিয়মিতকরণের মাধ্যমে মডেল করা যায়:
 \sum_{i

অন্যদিকে, চলকগুলোকে উচ্চমাত্রায় পারস্পরিক সম্পর্কযুক্ত গোষ্ঠীতে ক্লাস্টার করা যেতে পারে, এবং প্রতিটি ক্লাস্টার থেকে একটি প্রতিনিধিত্বকারী সহচর চলক নির্বাচন করা যেতে পারে।

ফিউজড ল্যাসো সমস্যা এবং এর কিছু সাধারণীকরণ সমাধানের জন্য বিভিন্ন অ্যালগরিদম বিদ্যমান। কিছু অ্যালগরিদম সসীম সংখ্যক অপারেশনে সমস্যাটি সঠিকভাবে সমাধান করতে পারে।
### কোয়াজি-নর্ম ও ব্রিজ রিগ্রেশন

ল্যাসো, ইলাস্টিক নেট, গ্রুপ এবং ফিউজড ল্যাসো দণ্ড ফাংশন নির্মাণ করে  \ell^1  ও  \ell^2  নর্ম থেকে (প্রয়োজনে ওজনসহ)। ব্রিজ রিগ্রেশন সাধারণ  \ell^p  নর্ম ( p \geq 1 ) এবং কোয়াজি-নর্ম (0) ব্যবহার করে। উদাহরণস্বরূপ, *p*=1/2 হলে লাগরাঞ্জীয় (Lagrangian) রূপে ল্যাসো উদ্দেশ্য ফাংশনের সমতুল্য সমস্যাটি সমাধান করা হয়
 \min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| y - X \beta \right\|_2^2 + \lambda \sqrt{\| \beta \|_{1/2}} \right\}, 
যেখানে
 \| \beta \|_{1/2}=\biggl(\sum_{j=1}^p \sqrt \biggr)^2

দাবি করা হয় যে ভগ্নাংশ কোয়াজি-নর্ম  \ell^p  (0) তাত্ত্বিক ও প্রায়োগিক উভয় দিক থেকেই উপাত্ত বিশ্লেষণে আরও অর্থবহ ফল প্রদান করে। এই কোয়াজি-নর্মগুলোর অউত্তলতা (non-convexity) অপ্টিমাইজেশন সমস্যাকে জটিল করে তোলে। এই সমস্যা সমাধানের জন্য একটি প্রত্যাশা-সর্বাধিককরণ (expectation–maximization) প্রক্রিয়া উন্নয়ন করা হয়েছে এবং নিম্নোক্ত ফাংশনটি ন্যূনতমকরণের জন্য বাস্তবায়িত হয়েছে
 \min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| y - X \beta \right\|_2^2 + \lambda \sum_{j=1}^p \vartheta(\beta_j^2)\right\}, 
যেখানে \vartheta(\gamma) হলো একটি স্বেচ্ছাচারী অবতল একঘেয়ে বৃদ্ধিশীল ফাংশন (যেমন, \vartheta(\gamma)=\sqrt{\gamma} ল্যাসো দণ্ড দেয় এবং \vartheta(\gamma)=\gamma^{1/4}  \ell^{1/2}  দণ্ড দেয়)।

ন্যূনতমকরণের জন্য কার্যকর অ্যালগরিদমটি উপ-দ্বিঘাত বৃদ্ধির খণ্ড-দ্বিঘাত আনুমানিককরণ (PQSQ)–এর উপর ভিত্তি করে গড়ে তোলা হয়েছে।
### অ্যাডাপ্টিভ ল্যাসো

অ্যাডাপ্টিভ ল্যাসো ২০০৬ সালে Zou রৈখিক রিগ্রেশনের জন্য প্রবর্তন করেন এবং ২০০৭ সালে Zhang ও Lu প্রোপোরশনাল হ্যাজার্ডস রিগ্রেশনের জন্য এটি প্রবর্তন করেন।

### প্রায়র ল্যাসো

প্রায়র ল্যাসো ২০১৬ সালে Jiang প্রমুখ সাধারণীকৃত রৈখিক মডেলের জন্য প্রবর্তন করেন, যাতে পূর্বতথ্য—যেমন নির্দিষ্ট সহচর চলকের গুরুত্ব—অন্তর্ভুক্ত করা যায়। প্রায়র ল্যাসোতে এই তথ্যকে ছদ্ম-প্রতিক্রিয়া (prior responses)  \hat{y}^{\mathrm{p}}  আকারে সংক্ষিপ্ত করা হয় এবং তারপর ল্যাসো দণ্ডসহ প্রচলিত উদ্দেশ্য ফাংশনে একটি অতিরিক্ত মানদণ্ড ফাংশন যোগ করা হয়। সাধারণতার ক্ষতি ব্যতিরেকে, রৈখিক রিগ্রেশনে নতুন উদ্দেশ্য ফাংশনটি লেখা যায়
 \min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| y - X \beta \right\|_2^2 + \frac{1}{N} \eta \left\| \hat{y}^{\mathrm{p}} - X \beta \right\|_2^2 + \lambda \| \beta \|_{1} \right\}, 
যা সমতুল্য
 \min_{ \beta \in \mathbb{R}^p } \left\{ \frac{1}{N} \left\| \tilde{y} - X \beta \right\|_2^2 + \frac{\lambda}{1 + \eta} \| \beta \|_{1} \right\}, 

অর্থাৎ প্রচলিত ল্যাসো উদ্দেশ্য ফাংশন, যেখানে প্রতিক্রিয়া  y –এর পরিবর্তে পর্যবেক্ষিত প্রতিক্রিয়া ও প্রায়র প্রতিক্রিয়ার ওজনযুক্ত গড়  \tilde{y} =  (y + \eta\hat{y}^{\mathrm{p}}) / (1 + \eta)  ব্যবহার করা হয় (যাকে প্রায়র তথ্য দ্বারা সমন্বিত প্রতিক্রিয়া মান বলা হয়)।

প্রায়র ল্যাসোতে  \eta  পরামিতিটিকে ভারসাম্য পরামিতি বলা হয়, কারণ এটি উপাত্ত ও প্রায়র তথ্যের আপেক্ষিক গুরুত্বকে ভারসাম্যপূর্ণ করে। চরম ক্ষেত্রে  \eta = 0  হলে প্রায়র ল্যাসো সাধারণ ল্যাসোতে রূপান্তরিত হয়। আর  \eta = \infty  হলে মডেল ফিটিং সম্পূর্ণরূপে প্রায়র তথ্যের উপর নির্ভর করবে। তদুপরি, বেইজীয় দৃষ্টিকোণ থেকে  \eta –এর আরেকটি আকর্ষণীয় ব্যাখ্যা রয়েছে: এটি প্রায়র বণ্টনে  \beta –এর বিচরণ নিয়ন্ত্রণ করে।

উচ্চমানের প্রায়র তথ্য উপলব্ধ থাকলে প্রায়র ল্যাসো পরামিতি নির্ণয় ও পূর্বাভাসে (কম নির্ণয় ত্রুটি ও পূর্বাভাস ত্রুটিসহ) অধিক কার্যকর। আবার উপযুক্ত  \eta  নির্বাচন করা হলে নিম্নমানের প্রায়র তথ্যের ক্ষেত্রেও এটি দৃঢ় (robust) থাকে।

### এনসেম্বল ল্যাসো

ল্যাসোকে একটি সমষ্টিগত শিক্ষণ (ensemble learning) কাঠামোর মধ্যে চালানো যেতে পারে। বিশেষত যখন উপাত্ত উচ্চমাত্রিক হয়, তখন এটি উপকারী। পদ্ধতিটি হলো উপাত্তের একাধিক দৈব উপসেটের উপর পৃথকভাবে ল্যাসো প্রয়োগ করা এবং ফলাফলসমূহ একত্রিত করা।
## ল্যাসো সমাধান গণনা

ল্যাসোর লস ফাংশনটি অবকলনযোগ্য নয়, তবে উত্তল বিশ্লেষণ ও অপ্টিমাইজেশন তত্ত্ব থেকে উদ্ভূত বিভিন্ন কৌশল ল্যাসোর সমাধান-পথ গণনার জন্য উন্নয়ন করা হয়েছে। এর মধ্যে রয়েছে কোঅর্ডিনেট ডিসেন্ট, সাবগ্রেডিয়েন্ট পদ্ধতি, লিস্ট-অ্যাঙ্গেল রিগ্রেশন (LARS), এবং প্রোক্সিমাল গ্রেডিয়েন্ট পদ্ধতি। উপ-গ্রেডিয়েন্ট পদ্ধতি হলো ঐতিহ্যবাহী পদ্ধতিগুলোর, যেমন গ্রেডিয়েন্ট অবতরণ এবং স্টোকাস্টিক গ্রেডিয়েন্ট অবতরণ, একটি স্বাভাবিক সম্প্রসারণ, যেখানে লক্ষ্য ফাংশনটি সকল বিন্দুতে অবকলনযোগ্য নয়। LARS একটি পদ্ধতি যা ল্যাসো মডেলের সাথে ঘনিষ্ঠভাবে সম্পর্কিত এবং অনেক ক্ষেত্রে এগুলোকে দক্ষতার সঙ্গে ফিট করতে সহায়তা করে, যদিও সব পরিস্থিতিতে এটি সমানভাবে কার্যকর নাও হতে পারে। LARS সম্পূর্ণ সমাধান-পথ উৎপন্ন করে। প্রোক্সিমাল পদ্ধতিগুলো তাদের নমনীয়তা ও কর্মক্ষমতার কারণে জনপ্রিয় হয়ে উঠেছে এবং এটি বর্তমানে সক্রিয় গবেষণার একটি ক্ষেত্র। কোন পদ্ধতি নির্বাচন করা হবে তা নির্ভর করে নির্দিষ্ট ল্যাসো ভেরিয়েন্ট, উপাত্ত এবং উপলব্ধ সম্পদের ওপর। তবে সাধারণভাবে প্রোক্সিমাল পদ্ধতিগুলো ভালো ফলাফল প্রদান করে।

R-এ "glmnet" প্যাকেজে, যেখানে "glm" বলতে "generalized linear models" বোঝায় এবং "net" বলতে "elastic net"-এর "net" অংশকে নির্দেশ করে, LASSO এবং এর কিছু ভেরিয়েন্ট বাস্তবায়নের জন্য অত্যন্ত দক্ষ একটি উপায় প্রদান করে।

Python-এ "celer" প্যাকেজ ল্যাসো সমস্যার জন্য একটি অত্যন্ত দক্ষ সমাধানকারী (solver) প্রদান করে, যা বিশেষ করে উচ্চ-মাত্রিক উপাত্তের ক্ষেত্রে কিছু পরিস্থিতিতে scikit-learn-এর মতো প্রচলিত সমাধানকারীদের তুলনায় প্রায় ১০০ গুণ পর্যন্ত দ্রুততর হতে পারে। এই প্যাকেজটি তার কর্মক্ষমতা বৃদ্ধির জন্য ডুয়াল এক্সট্রাপোলেশন কৌশল ব্যবহার করে। celer প্যাকেজটি GitHub-এ উপলব্ধ।
## নিয়মিতকরণ প্যারামিটার নির্বাচন
নিয়মিতকরণ প্যারামিটার (\lambda) নির্বাচন ল্যাসোর একটি মৌলিক অংশ। একটি উপযুক্ত মান ল্যাসোর কার্যকারিতার জন্য অত্যন্ত গুরুত্বপূর্ণ, কারণ এটি সংকোচন (shrinkage) এবং চলক নির্বাচন নিয়ন্ত্রণ করে। যথাযথ মাত্রায় এটি ভবিষ্যদ্বাণীর নির্ভুলতা এবং ব্যাখ্যাযোগ্যতা—উভয়ই উন্নত করতে পারে। তবে নিয়মিতকরণ অতিরিক্ত শক্তিশালী হলে গুরুত্বপূর্ণ চলক বাদ পড়তে পারে এবং সহগগুলো অতিরিক্তভাবে সংকুচিত হতে পারে, যা ভবিষ্যদ্বাণী ক্ষমতা ও পরিসংখ্যানগত অনুমান—উভয়ের জন্যই ক্ষতিকর। ক্রস-ভ্যালিডেশন প্রায়ই নিয়মিতকরণ প্যারামিটার নির্ধারণের জন্য ব্যবহৃত হয়।

তথ্য মানদণ্ড, যেমন বেইজীয় তথ্য মানদণ্ড (BIC) এবং আকাইকে তথ্য মানদণ্ড (AIC), অনেক সময় ক্রস-ভ্যালিডেশনের তুলনায় অধিক উপযোগী হতে পারে, কারণ এগুলো গণনায় দ্রুততর এবং ক্ষুদ্র নমুনায় এদের কর্মক্ষমতা কম অস্থির। একটি তথ্য মানদণ্ড মডেলের ইন-স্যাম্পল নির্ভুলতা সর্বাধিক করে এবং একই সঙ্গে কার্যকর প্যারামিটার সংখ্যা/স্বাধীনতার মাত্রার জন্য শাস্তি আরোপ করে, যার মাধ্যমে উপযুক্ত নিয়মিতকরণ প্যারামিটার নির্বাচন করে। Zou প্রমুখ কার্যকর স্বাধীনতার মাত্রা নির্ধারণের জন্য শূন্য থেকে বিচ্যুত প্যারামিটারের সংখ্যা গণনার প্রস্তাব করেন। স্বাধীনতার মাত্রা-ভিত্তিক এই পদ্ধতিটিকে Kaufman এবং Rosset এবং Janson প্রমুখ ত্রুটিপূর্ণ বলে বিবেচনা করেন, কারণ নিয়মিতকরণ প্যারামিটার দ্বারা অধিক শাস্তি আরোপ করা হলেও একটি মডেলের স্বাধীনতার মাত্রা বৃদ্ধি পেতে পারে। বিকল্প হিসেবে, উপরে সংজ্ঞায়িত আপেক্ষিক সরলতা পরিমাপ কার্যকর প্যারামিটার সংখ্যা নির্ধারণে ব্যবহার করা যেতে পারে। ল্যাসোর ক্ষেত্রে এই পরিমাপটি নিম্নরূপঃ
\hat{\mathcal{P}} = \sum_{i=1}^p  \frac{\frac{1}{p} \sum_{l} |b_{\text{OLS},l}-\beta_{0,l}|},
যা নিয়মিতকরণ প্যারামিটার  \infty  থেকে শূন্যে নামার সঙ্গে সঙ্গে একঘেয়েভাবে শূন্য থেকে  p  পর্যন্ত বৃদ্ধি পায়।
## নির্বাচিত প্রয়োগ

LASSO অর্থনীতি ও অর্থায়নে প্রয়োগ করা হয়েছে এবং দেখা গেছে যে এটি পূর্বাভাসের নির্ভুলতা উন্নত করে এবং কখনও কখনও উপেক্ষিত চলক নির্বাচন করতে সক্ষম হয়। উদাহরণস্বরূপ, কর্পোরেট দেউলিয়াত্ব পূর্বাভাস সংক্রান্ত সাহিত্যে অথবা উচ্চ প্রবৃদ্ধিসম্পন্ন প্রতিষ্ঠানের পূর্বাভাসে এটি কার্যকর প্রমাণিত হয়েছে।
## আরও দেখুন
*লিস্ট অ্যাবসোলিউট ডিভিয়েশনস
*মডেল নির্বাচন
*অপরামিতিক রিগ্রেশন
*টিখোনভ নিয়মিতকরণ

## তথ্যসূত্র