অটোএনকোডার

**অটোএনকোডার** হলো এক ধরনের কৃত্রিম নিউরাল নেটওয়ার্ক যা লেবেলহীন উপাত্তের কার্যকরী কোডিং শেখার জন্য (তত্ত্বাবধানহীন শিখন) ব্যবহৃত হয়। একটি অটোএনকোডার মূলত দুটি ফাংশন শেখে: একটি এনকোডিং ফাংশন যা ইনপুট উপাত্তকে রূপান্তর করে এবং একটি ডিকোডিং ফাংশন যা রূপান্তরিত রূপ থেকে মূল উপাত্তকে পুনরায় তৈরি করে। অটোএনকোডার উপাত্তের একটি কার্যকরী উপস্থাপনা (এনকোডিং) শেখে, যা সাধারণত মাত্রা হ্রাসের কাজে ব্যবহৃত হয়, যাতে পরবর্তীতে অন্যান্য মেশিন লার্নিং অ্যালগরিদম ব্যবহারের জন্য নিম্ন-মাত্রিক এমবেডিং তৈরি করা যায়।

শেখা উপস্থাপনাগুলোর কিছু নির্দিষ্ট গুণাগুণ নিশ্চিত করার লক্ষ্যে এর বিভিন্ন বৈচিত্র্য বা সংস্করণ তৈরি করা হয়েছে। এর উদাহরণ হলো রেগুলারাইজড অটোএনকোডার (যেমন: 'স্পার্স', 'ডিনয়েজিং' এবং 'কন্ট্রাক্টিভ' অটোএনকোডার), যা পরবর্তীকালে শ্রেণিবিভাগের কাজে বেশ কার্যকর, এবং 'ভ্যারিয়েশনাল' অটোএনকোডার, যা জেনারেটিভ মডেল হিসেবে ব্যবহার করা যায়। অটোএনকোডার বিভিন্ন ক্ষেত্রে প্রয়োগ করা হয়, যার মধ্যে রয়েছে মুখমণ্ডল শনাক্তকরণ, বৈশিষ্ট্য শনাক্তকরণ, অসংগতি শনাক্তকরণ এবং শব্দের অর্থ বোঝা। উপাত্ত সংশ্লেষণের ক্ষেত্রে, ইনপুট উপাত্তের মতো দেখতে নতুন উপাত্ত এলোমেলোভাবে তৈরি করার জন্যও অটোএনকোডার ব্যবহার করা যেতে পারে।

## গাণিতিক নীতিমালা

### সংজ্ঞা
একটি অটোএনকোডার নিচের উপাদানগুলোর মাধ্যমে সংজ্ঞায়িত করা হয়: দুটি সেট: এনকোড করা বার্তার স্থান \mathcal Z; ডিকোড করা বার্তার স্থান \mathcal X। সাধারণত \mathcal X এবং \mathcal Z হলো ইউক্লিডীয় স্থান, অর্থাৎ, m > n সহ \mathcal X = \R^m, \mathcal Z = \R^n।ফাংশনগুলোর দুটি প্যারামিটারাইজড পরিবার: এনকোডার পরিবার E_\phi:\mathcal{X} \rightarrow \mathcal{Z}, যা \phi দ্বারা প্যারামিটারাইজড; এবং ডিকোডার পরিবার D_\theta:\mathcal{Z} \rightarrow \mathcal{X}, যা \theta দ্বারা প্যারামিটারাইজড।যেকোনো x\in \mathcal X এর জন্য, আমরা সাধারণত z = E_\phi(x) লিখি এবং একে কোড, সুপ্ত চলক, সুপ্ত উপস্থাপনা বা সুপ্ত ভেক্টর হিসেবে অভিহিত করি। বিপরীতভাবে, যেকোনো z\in \mathcal Z এর জন্য আমরা সাধারণত x' = D_\theta(z) লিখি এবং একে (ডিকোড করা) বার্তা হিসেবে উল্লেখ করি।

সাধারণত এনকোডার এবং ডিকোডার উভয়ই মাল্টিলেয়ার পারসেপট্রন (MLPs) হিসেবে সংজ্ঞায়িত করা হয়। উদাহরণস্বরূপ, একটি এক-স্তরের এমএলপি এনকোডার E_\phi হলো:

:E_\phi(\mathbf x) = \sigma(Wx+b)

যেখানে \sigma হলো একটি উপাদান-ভিত্তিক অ্যাক্টিভেশন ফাংশন, W হলো একটি "ওয়েট"  ম্যাট্রিক্স এবং b হলো একটি "বায়াস" ভেক্টর।

### অটোএনকোডার প্রশিক্ষণ
একটি অটোএনকোডার নিজে কেবল দুটি ফাংশনের একটি সেট বা টাপল। এর গুণমান বিচার করার জন্য আমাদের একটি 'কাজ' বা 'টাস্ক' প্রয়োজন। একটি কাজ \mathcal X এর উপর একটি রেফারেন্স সম্ভাব্যতা বিন্যাস \mu_{ref} এবং একটি "পুনর্গঠন গুণমান" ফাংশন d: \mathcal X \times  \mathcal X \to [0, \infty] দ্বারা সংজ্ঞায়িত করা হয়, যেখানে d(x, x') পরিমাপ করে যে x', x থেকে কতটা আলাদা।

এগুলোর সাহায্যে আমরা অটোএনকোডারের লস ফাংশনকে  এভাবে সংজ্ঞায়িত করতে পারি:L(\theta, \phi) := \mathbb \mathbb E_{x\sim \mu_{ref}}[d(x, D_\theta(E_\phi(x)))]প্রদত্ত কাজ (\mu_{ref}, d) এর জন্য 'সর্বোত্তম' অটোএনকোডার হলো \arg\min_{\theta, \phi}L(\theta, \phi)। যেকোনো গাণিতিক অপ্টিমাইজেশন পদ্ধতির মাধ্যমে সর্বোত্তম অটোএনকোডারটি খুঁজে বের করা সম্ভব, তবে সাধারণত গ্রেডিয়েন্ট ডিসেন্ট ব্যবহার করা হয়। এই অনুসন্ধান প্রক্রিয়াটিকে "অটোএনকোডার প্রশিক্ষণ" বলা হয়।

অধিকাংশ ক্ষেত্রে, রেফারেন্স বিন্যাসটি একটি উপাত্ত সেট \{x_1, ..., x_N\} \subset \mathcal X দ্বারা প্রদত্ত এম্পিরিক্যাল বিন্যাস মাত্র, যাতে:\mu_{ref} = \frac{1}{N}\sum_{i=1}^N \delta_{x_i}

যেখানে \delta_{x_i} হলো ডিরাক মেজার, গুণমান ফাংশনটি হলো L2 লস: d(x, x') = \|x - x'\|_2^2, এবং \|\cdot\|_2 হলো ইউক্লিডীয় নরম। সেক্ষেত্রে সর্বোত্তম অটোএনকোডার খোঁজার সমস্যাটি কেবল একটি লিস্ট-স্কয়ার অপ্টিমাইজেশন:\min_{\theta, \phi} L(\theta, \phi),\qquad \text{where } L(\theta, \phi) = \frac{1}{N}\sum_{i=1}^N \|x_i - D_\theta(E_\phi(x_i))\|_2^2

### ব্যাখ্যা
একটি অটোএনকোডারের দুটি প্রধান অংশ থাকে: একটি এনকোডার যা বার্তাকে একটি কোডে রূপান্তরিত (মানচিত্র) করে এবং একটি ডিকোডার যা সেই কোড থেকে বার্তাটিকে পুনর্গঠন করে। একটি সর্বোত্তম অটোএনকোডার যতটা সম্ভব নিখুঁতভাবে বার্তা পুনর্গঠনের চেষ্টা করে, যেখানে 'নিখুঁতের' মাত্রা পুনর্গঠন গুণমান ফাংশন d দ্বারা নির্ধারিত হয়।

কপি করার কাজটি নিখুঁতভাবে করার সবচেয়ে সহজ উপায় হলো সংকেতটিকে  হুবহু প্রতিলিপি করা। এই প্রবণতাটি রোধ করতে, কোড স্পেস \mathcal Z এর মাত্রা সাধারণত বার্তা স্পেস \mathcal{X} এর তুলনায় কম রাখা হয়।

এই ধরনের অটোএনকোডারকে 'আন্ডারকমপ্লিট' বলা হয়। একে বার্তার সংকোচন বা এর মাত্রিকতা হ্রাস হিসেবে ব্যাখ্যা করা যেতে পারে।

একটি আদর্শ আন্ডারকমপ্লিট অটোএনকোডারের ক্ষেত্রে, কোড স্পেসের প্রতিটি সম্ভাব্য কোড z একটি বার্তা x-কে এনকোড করতে ব্যবহৃত হয় যা প্রকৃতপক্ষে ডিস্ট্রিবিউশন \mu_{ref} এ বিদ্যমান থাকে এবং এর ডিকোডারটিও নিখুঁত হয়: D_\theta(E_\phi(x)) = x। এই আদর্শ অটোএনকোডারটি তখন আসল বার্তার মতো দেখতে বার্তা তৈরি করতে ব্যবহার করা যেতে পারে। এর জন্য ডিকোডারে যেকোনো কোড z প্রদান করলে তা D_\theta(z) প্রদান করে, যা মূলত \mu_{ref} ডিস্ট্রিবিউশনে বিদ্যমান একটি বার্তার মতোই।

যদি কোড স্পেস \mathcal Z এর মাত্রা বার্তা স্পেস \mathcal{X} এর চেয়ে বড় ('ওভারকমপ্লিট') বা সমান হয়, অথবা হিডেন ইউনিটগুলোকে পর্যাপ্ত সক্ষমতা দেওয়া হয়, তবে অটোএনকোডারটি কেবল আইডেন্টিটি ফাংশন শিখে ফেলতে পারে এবং তা অকেজো হয়ে পড়ে। তবে গবেষণায় দেখা গেছে যে, ওভারকমপ্লিট অটোএনকোডারগুলোও প্রয়োজনীয় বৈশিষ্ট্যসমূহ শিখতে পারে।

আদর্শ পরিস্থিতিতে, ডেটা ডিস্ট্রিবিউশনের জটিলতার ওপর ভিত্তি করে কোডের মাত্রা এবং মডেলের সক্ষমতা নির্ধারণ করা যেতে পারে। এটি করার একটি সাধারণ উপায় হলো মৌলিক অটোএনকোডারে কিছু পরিবর্তন আনা, যা নিচে বিস্তারিত আলোচনা করা হয়েছে।

## প্রকারভেদ

### ভ্যারিয়েশনাল অটোএনকোডার (ভিএই)

ভ্যারিয়েশনাল অটোএনকোডার (ভিএই) ভ্যারিয়েশনাল বায়েসিয়ান পদ্ধতির অন্তর্ভুক্ত। সাধারণ অটোএনকোডারের সাথে গাঠনিক মিল থাকলেও, ভিএই ভিন্ন লক্ষ্য নিয়ে তৈরি এবং এর গাণিতিক ভিত্তিও ভিন্ন। এক্ষেত্রে লেটেন্ট স্পেসটি নির্দিষ্ট ভেক্টরের পরিবর্তে বিভিন্ন ডিস্ট্রিবিউশনের মিশ্রণে গঠিত হয়।

ধরা যাক একটি ইনপুট ডেটাসেট x, যার অজানা প্রবাবিলিটি ফাংশন P(x) এবং একটি মাল্টিভ্যারিয়েট লেটেন্ট এনকোডিং ভেক্টর z। লক্ষ্য হলো ডেটাটিকে একটি ডিস্ট্রিবিউশন p_\theta(x) হিসেবে মডেল করা, যেখানে \theta হলো নেটওয়ার্ক প্যারামিটার যাতে p_\theta(x) = \int_{z}p_\theta(x,z)dz  হয়।

### স্পার্স অটোএনকোডার (এসএই)
স্নায়ুবিজ্ঞানের 'স্পার্স কোডিং' হাইপোথিসিস দ্বারা অনুপ্রাণিত হয়ে স্পার্স অটোএনকোডার (এসএই) তৈরি করা হয়েছে। এটি অটোএনকোডারের এমন একটি সংস্করণ যেখানে বার্তার কোড E_\phi(x) সাধারণত 'স্পার্স কোড' বা স্বল্পমাত্রার হয়ে থাকে। অর্থাৎ, E_\phi(x) এর বেশিরভাগ এন্ট্রি বা মান শূন্যের কাছাকাছি থাকে। স্পার্স অটোএনকোডারে ইনপুটের তুলনায় অধিকসংখ্যক হিডেন ইউনিট থাকতে পারে, তবে নির্দিষ্ট সময়ে কেবল অল্পসংখ্যক হিডেন ইউনিট সক্রিয় থাকার অনুমতি পায়। এই স্পার্সিটি  বা স্বল্পতা বজায় রাখলে শ্রেণিবিন্যাসকরণ  কাজে দক্ষতা বৃদ্ধি পায়। 

স্পার্সিটি প্রয়োগের দুটি প্রধান উপায় রয়েছে। একটি উপায় হলো লেটেন্ট কোডের সর্বোচ্চ-k সক্রিয়করণ বাদে বাকি সবগুলোকে শূন্য করে দেওয়া। একে বলা হয় **k-স্পার্স অটোএনকোডার**।

k-স্পার্স অটোএনকোডার একটি সাধারণ অটোএনকোডারের লেটেন্ট লেয়ারে নিচের "k-স্পার্স ফাংশন" ব্যবহার করে:f_k(x_1, ..., x_n) = (x_1 b_1, ..., x_n b_n)যেখানে b_i = 1 যদি |x_i| প্রথম k এর মধ্যে থাকে, অন্যথায় 0।

f_k এর মাধ্যমে ব্যাকপ্রোপাগেশন করা সহজ: b_i = 0 এন্ট্রিগুলোর জন্য গ্রেডিয়েন্ট ০ ধরুন এবং b_i=1 এর জন্য গ্রেডিয়েন্ট বজায় রাখুন। এটি মূলত একটি সাধারণীকৃত রেলু ফাংশন।

অন্য পদ্ধতিটি হলো k-স্পার্স অটোএনকোডারের একটি শিথিল সংস্করণ । স্পার্সিটি জোর করে চাপিয়ে দেওয়ার পরিবর্তে, আমরা একটি **স্পার্সিটি রেগুলারাইজেশন লস** যুক্ত করি এবং নিচের সমীকরণটির অপ্টিমাইজ করি:\min_{\theta, \phi}L(\theta, \phi) + \lambda L_{\text{sparse}} (\theta, \phi)যেখানে \lambda > 0 দ্বারা আমরা কতটুকু স্পার্সিটি চাই তা নির্ধারণ করা হয়।

ধরা যাক অটোএনকোডার আর্কিটেকচারে K সংখ্যক লেয়ার আছে। স্পার্সিটি রেগুলারাইজেশন লস সংজ্ঞায়িত করার জন্য প্রতিটি লেয়ারের একটি 'কাঙ্ক্ষিত' স্পার্সিটি \hat \rho_k, প্রতিটি স্পার্সিটির জন্য একটি ওয়েট w_k এবং দুটি স্পার্সিটির মধ্যে পার্থক্য পরিমাপের জন্য একটি ফাংশন s: [0, 1]\times [0, 1] \to [0, \infty] প্রয়োজন।

প্রতিটি ইনপুট x এর জন্য, প্রতিটি লেয়ার k এ সক্রিয়করণের প্রকৃত স্পার্সিটি হলো:\rho_k(x) = \frac 1n \sum_{i=1}^n a_{k, i}(x)যেখানে a_{k, i}(x) হলো ইনপুট x এর ক্ষেত্রে k-তম লেয়ারের i-তম নিউরনের সক্রিয়করণ।

একটি লেয়ারের জন্য স্পার্সিটি লস হলো s(\hat\rho_k, \rho_k(x)), এবং সম্পূর্ণ অটোএনকোডারের জন্য স্পার্সিটি রেগুলারাইজেশন লস হলো স্পার্সিটি লসগুলোর প্রত্যাশিত ওয়েটেড যোগফল:L_{\text{sparse}}(\theta, \phi) = \mathbb \mathbb E_{x\sim\mu_X}\left[\sum_{k\in 1:K} w_k s(\hat\rho_k, \rho_k(x)) \right]সাধারণত, ফাংশন s হিসেবে কুলব্যাক-লিবলার (KL) ডাইভারজেন্স ব্যবহার করা হয়, যেমন:

::s(\rho, \hat\rho) = KL(\rho || \hat{\rho}) = \rho \log \frac{\rho}{\hat{\rho}}+(1- \rho)\log \frac{1-\rho}{1-\hat{\rho}}
অথবা L1 লস, যেমন s(\rho, \hat\rho) = |\rho- \hat\rho|, অথবা L2 লস, যেমন s(\rho, \hat\rho) = |\rho- \hat\rho|^2।

বিকল্পভাবে, স্পার্সিটি রেগুলারাইজেশন লস কোনো 'কাঙ্ক্ষিত স্পার্সিটি' ছাড়াই সংজ্ঞায়িত করা যেতে পারে এবং কেবল যতটা সম্ভব স্পার্সিটি অর্জনের ওপর জোর দেওয়া হয়। সেক্ষেত্রে স্পার্সিটি রেগুলারাইজেশন লস এভাবে সংজ্ঞায়িত করা যায়:L_{\text{sparse}}(\theta, \phi) = \mathbb \mathbb E_{x\sim\mu_X}\left[\sum_{k\in 1:K} w_k \|h_k\|\right]যেখানে h_k হলো অটোএনকোডারের k-তম লেয়ারের সক্রিয়করণ ভেক্টর। নর্ম \|\cdot\| সাধারণত L1 নর্ম (যা L1 স্পার্স অটোএনকোডার দেয়) অথবা L2 নর্ম (যা L2 স্পার্স অটোএনকোডার দেয়) হয়ে থাকে।

### ডিনয়েজিং অটোএনকোডার ডিএই

*ডিনয়েজিং অটোএনকোডার* ডিএই  মূলত 'পুনর্গঠন মানদণ্ড'  পরিবর্তনের মাধ্যমে উপাত্তের একটি 'উত্তম' উপস্থাপনা  তৈরির চেষ্টা করে।

একটি ডিএই , যাকে মার্ক এ. ক্রেমার মূলত "রোবাস্ট অটোঅ্যাসোসিয়েটিভ নেটওয়ার্ক" হিসেবে অভিহিত করেছিলেন, প্রশিক্ষণের সময় একটি আদর্শ অটোএনকোডারের ইনপুটগুলোকে ইচ্ছাকৃতভাবে বিকৃত করার মাধ্যমে কাজ করে। এখানে একটি নয়েজ প্রক্রিয়াকে T:\mathcal X \to \mathcal X ফাংশনগুলোর উপর একটি সম্ভাবনা বিন্যাস  \mu_T দ্বারা সংজ্ঞায়িত করা হয়। অর্থাৎ, T ফাংশনটি একটি বার্তা x\in \mathcal X গ্রহণ করে এবং একে একটি নয়েজযুক্ত সংস্করণ T(x) এ বিকৃত করে। ফাংশন T মূলত একটি সম্ভাবনা বিন্যাস \mu_T থেকে দৈবচয়ন পদ্ধতিতে  নির্বাচন করা হয়।

একটি নির্দিষ্ট কাজ (\mu_{\text{ref}}, d) এর জন্য, ডিএই প্রশিক্ষণের বিষয়টি মূলত নিচের অপ্টিমাইজেশন সমস্যাটি সমাধান করা:\min_{\theta, \phi}L(\theta, \phi) = \mathbb \mathbb E_{x\sim \mu_X, T\sim\mu_T}[d(x, (D_\theta\circ E_\phi \circ T)(x))]অর্থাৎ, একটি আদর্শ ডিএই যেকোনো নয়েজযুক্ত বার্তা গ্রহণ করবে এবং সেটি থেকে নয়েজ সরিয়ে মূল বার্তাটি পুনরুদ্ধার করার চেষ্টা করবে, যে কারণে এর নাম হয়েছে "ডিনয়েজিং"।

সাধারণত, নয়েজ প্রক্রিয়া T কেবল প্রশিক্ষণ এবং পরীক্ষার সময় প্রয়োগ করা হয়, পরবর্তী ব্যবহারিক প্রয়োগের সময় নয়।

ডিএই এর ব্যবহার দুটি ধারণার ওপর ভিত্তি করে কাজ করে:
* বার্তার এমন কিছু উপস্থাপনা বিদ্যমান যা তুলনামূলকভাবে স্থিতিশীল এবং সম্ভাব্য নয়েজের ক্ষেত্রেও দৃঢ় থাকে;
* উক্ত উপস্থাপনাগুলো ইনপুট বিন্যাসের এমন কাঠামোকে ধারণ করে যা আমাদের উদ্দেশ্যের জন্য কার্যকর।

নয়েজ প্রক্রিয়ার উদাহরণগুলোর মধ্যে রয়েছে:

* অ্যাডিটিভ আইসোট্রোপিক গাউসিয়ান নয়েজ, 
* মাস্কিং নয়েজ (ইনপুটের একটি অংশ দৈবচয়নে বেছে নিয়ে ০ করে দেওয়া হয়)
* সল্ট-অ্যান্ড-পেপার নয়েজ (ইনপুটের একটি অংশ দৈবচয়নে বেছে নিয়ে সেটিকে এর সর্বনিম্ন বা সর্বোচ্চ মানে সেট করা হয়)।

### কন্ট্রাক্টিভ অটোএনকোডার (সিএই)
একটি *কন্ট্রাক্টিভ অটোএনকোডার* (সিএই) একটি আদর্শ অটোএনকোডারের লসের সাথে কন্ট্রাক্টিভ রেগুলারাইজেশন লস যুক্ত করে:\min_{\theta, \phi}L(\theta, \phi) + \lambda L_{\text{cont}} (\theta, \phi)যেখানে \lambda > 0 দ্বারা নির্ধারিত হয় আমরা কতটা 'কন্ট্রাক্টিভ-নেস' বা সংকোচনশীলতা চাই। কন্ট্রাক্টিভ রেগুলারাইজেশন লসকে ইনপুটের সাপেক্ষে এনকোডার অ্যাক্টিভেশনের জ্যাকোবিয়ান ম্যাট্রিক্সের ফ্রবেনিয়াস নর্মের প্রত্যাশিত বর্গ হিসেবে সংজ্ঞায়িত করা হয়:L_{\text{cont}}(\theta, \phi) = \mathbb E_{x\sim \mu_{ref}} \|\nabla_x E_\phi(x) \|_F^2L_{\text{cont}} আসলে কী পরিমাপ করে তা বোঝার জন্য নিচের সমীকরণটি লক্ষ্য করুন:\|E_\phi(x + \delta x)  - E_\phi(x)\|_2 \leq \|\nabla_x E_\phi(x) \|_F \|\delta x\|_2যেকোনো বার্তা x\in \mathcal X এবং এতে অতিসামান্য পরিবর্তন \delta x এর জন্য এটি প্রযোজ্য। সুতরাং, যদি \|\nabla_x E_\phi(x) \|_F^2 এর মান কম হয়, তার মানে বার্তার একটি ছোট পরিসর এর কোডেরও একটি ছোট পরিসরের সাথে মানচিত্রায়িত হয়। এটি একটি কাঙ্ক্ষিত বৈশিষ্ট্য, কারণ এর অর্থ হলো বার্তায় সামান্য পরিবর্তন ঘটলেও এর কোডে খুব সামান্য বা কোনো পরিবর্তন হয় না—যেমন দুটি ছবি হুবহু এক না হলেও দেখতে একই রকম হতে পারে।

ডিএই-কে সিএই এর একটি অতিসামান্য সীমা হিসেবে বিবেচনা করা যেতে পারে: ইনপুটে সামান্য গাউসিয়ান নয়েজের ক্ষেত্রে ডিএই পুনর্গঠন ফাংশনটিকে ক্ষুদ্র কিন্তু নির্দিষ্ট আকারের ইনপুট বিচ্যুতি প্রতিরোধে সক্ষম করে তোলে, অন্যদিকে সিএই নিষ্কাশিত বৈশিষ্ট্যগুলোকে অতিসামান্য ইনপুট বিচ্যুতি প্রতিরোধে সহায়তা করে।

### সর্বনিম্ন বর্ণনা দৈর্ঘ্য অটোএনকোডার (এমডিএল-এই)
*সর্বনিম্ন বর্ণনা দৈর্ঘ্য অটোএনকোডার* (এমডিএল-এই) হলো প্রথাগত অটোএনকোডারের একটি উন্নত সংস্করণ, যা তথ্য তত্ত্বের মূলনীতি, বিশেষ করে সর্বনিম্ন বর্ণনা দৈর্ঘ্য (এমডিএল) নীতির ওপর ভিত্তি করে কাজ করে। এমডিএল নীতি অনুযায়ী, কোনো উপাত্ত সংগ্রহের  জন্য সেই মডেলটিই সবচেয়ে উপযোগী, যা মডেল এবং উপাত্তের জন্য ক্ষুদ্রতম সম্মিলিত এনকোডিং প্রদান করে। অটোএনকোডারের ক্ষেত্রে এই নীতিটি প্রয়োগ করা হয় যাতে প্রাপ্ত রিপ্রেজেন্টেশনটি কেবল সংক্ষিপ্তই না হয়, বরং এটি যেন সহজবোধ্য এবং পুনর্গঠনের জন্য কার্যকর হয়।

(এমডিএল-এই) উপাত্তের মোট বর্ণনা দৈর্ঘ্য কমানোর চেষ্টা করে, যার মধ্যে ল্যাটেন্ট রিপ্রেজেন্টেশনের আকার (কোড দৈর্ঘ্য) এবং মূল উপাত্ত পুনর্গঠনের ত্রুটি অন্তর্ভুক্ত থাকে। এই লক্ষ্যটিকে নিম্নোক্তভাবে প্রকাশ করা যেতে পারে:
L_{\text{code}} + L_{\text{error}}, যেখানে L_{\text{code}} সংকুচিত ল্যাটেন্ট রিপ্রেজেন্টেশনের দৈর্ঘ্য এবং L_{\text{error}} পুনর্গঠন ত্রুটি নির্দেশ করে।

### কনক্রিট অটোএনকোডার (সিএই)
*কনক্রিট অটোএনকোডার* মূলত বিচ্ছিন্ন বৈশিষ্ট্য নির্বাচনের জন্য তৈরি করা হয়েছে। একটি কনক্রিট অটোএনকোডার ল্যাটেন্ট স্পেসকে কেবল ব্যবহারকারী-নির্ধারিত নির্দিষ্ট সংখ্যক বৈশিষ্ট্যের মধ্যে সীমাবদ্ধ রাখতে বাধ্য করে। এটি বৈশিষ্ট্য নির্বাচক লেয়ারের  মধ্য দিয়ে গ্র্যাডিয়েন্ট প্রবাহিত করার জন্য ক্যাটেগরিক্যাল ডিস্ট্রিবিউশনের একটি অবিচ্ছিন্ন রিলাক্সেশন ব্যবহার করে। এর ফলে পুনর্গঠনজনিত ক্ষতি  কমানোর জন্য ইনপুট বৈশিষ্ট্যের একটি সর্বোত্তম উপসেট শিখতে সাধারণ ব্যাকপ্রোপাগেশন পদ্ধতি ব্যবহার করা সম্ভব হয়।

## গভীরতার সুবিধাসমূহ

অটোএনকোডারগুলোতে সাধারণত একটি একক-স্তরবিশিষ্ট এনকোডার এবং ডিকোডার ব্যবহার করে প্রশিক্ষণ দেওয়া হয়। তবে অনেকগুলো স্তরবিশিষ্ট (গভীর বা ডিপ) এনকোডার এবং ডিকোডার ব্যবহার করলে বেশ কিছু সুবিধা পাওয়া যায়।

* গভীরতা বা ডেপথ কোনো নির্দিষ্ট ফাংশন উপস্থাপনার কম্পিউটেশনাল খরচ উল্লেখযোগ্যভাবে (এক্সপোনেনশিয়ালি) কমিয়ে দিতে পারে।
* এটি নির্দিষ্ট কিছু ফাংশন শেখার জন্য প্রয়োজনীয় প্রশিক্ষণ উপাত্তের (ট্রেনিং ডেটা) পরিমাণ বহুগুণ কমিয়ে দিতে পারে।
* পরীক্ষামূলকভাবে দেখা গেছে যে, অগভীর বা রৈখিক (লিনিয়ার) অটোএনকোডারের তুলনায় ডিপ অটোএনকোডারগুলো উন্নততর ডেটা কমপ্রেশন প্রদান করে। 
* সনাতন পদ্ধতিগুলোর তুলনায় গভীরতা অনেক বেশি কার্যকর; কারণ এটি প্রমাণ করা সম্ভব যে, একক স্তরের লিনিয়ার অটোএনকোডার প্রশিক্ষণের পর যে 'ল্যাটেন্ট স্পেস' তৈরি করে, তার ভেক্টরগুলো প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিসে প্রাপ্ত আইগেনভেক্টরের মতোই একই সাবস্পেসজুড়ে বিস্তৃত থাকে।

### প্রশিক্ষণ
জেফ্রি হিন্টন বহু-স্তরবিশিষ্ট ডিপ অটোএনকোডার প্রশিক্ষণের জন্য ডিপ বিলিফ নেটওয়ার্ক কৌশলটি উদ্ভাবন করেন। তার পদ্ধতিতে পাশাপাশি থাকা প্রতি দুটি স্তরের সেটকে একটি রেস্ট্রিক্টেড বোল্টজম্যান মেশিন হিসেবে বিবেচনা করা হয়। এর ফলে প্রাথমিক প্রশিক্ষণ (প্রি-ট্রেনিং) একটি উপযুক্ত সমাধানের কাছাকাছি পৌঁছাতে সাহায্য করে এবং পরবর্তীতে 'ব্যাকপ্রোপ্যাগেশন' ব্যবহারের মাধ্যমে ফলাফলগুলো আরও নিখুঁত করা হয়।

ডিপ অটোএনকোডারের ক্ষেত্রে 'জয়েন্ট ট্রেনিং' (অর্থাৎ একটি একক গ্লোবাল রিকনস্ট্রাকশন অবজেক্টিভের মাধ্যমে পুরো কাঠামোকে একসাথে প্রশিক্ষণ দেওয়া) বেশি কার্যকর কি না, তা নিয়ে গবেষকদের মধ্যে বিতর্ক রয়েছে। ২০১৫ সালের একটি গবেষণায় দেখা গেছে যে, লেয়ারওয়াইজ পদ্ধতির তুলনায় জয়েন্ট ট্রেনিং পদ্ধতিতে ডেটা মডেলগুলো আরও ভালোভাবে শেখা যায় এবং শ্রেণিবিভাগের জন্য এটি অধিকতর প্রতিনিধিত্বমূলক বৈশিষ্ট্য বা ফিচার তৈরি করে। তবে তাদের পরীক্ষায় দেখা গেছে যে, জয়েন্ট ট্রেনিংয়ের সাফল্য মূলত কোন ধরণের 'রেগুলারাইজেশন' কৌশল গ্রহণ করা হয়েছে তার ওপর অনেকাংশে নির্ভর করে।

## ইতিহাস
(ওজা, ১৯৮২) উল্লেখ করেছেন যে পিসিএ হলো আইডেন্টিটি অ্যাক্টিভেশন ফাংশনযুক্ত একটি হিডেন লেয়ারবিশিষ্ট নিউরাল নেটওয়ার্কের সমতুল্য। অটোএনকোডিংয়ের পরিভাষায়, ইনপুট-টু-হিডেন মডিউলটি হলো এনকোডার এবং হিডেন-টু-আউটপুট মডিউলটি হলো ডিকোডার। পরবর্তীতে, বল্ডি ও হর্নিক (১৯৮৯) এবং ক্রেমার (১৯৯১) পিসিএকে অটোএনকোডারে সাধারণীকরণ করেন, যাকে তারা "নন-লিনিয়ার পিসিএ" হিসেবে অভিহিত করেন।

১৯৮০-এর দশকে নিউরাল নেটওয়ার্কের পুনরুত্থানের পরপরই, ১৯৮৬ সালে প্রস্তাব করা হয়েছিল যে একটি নিউরাল নেটওয়ার্ককে "অটো-অ্যাসোসিয়েশন মোড" এ রাখা হোক। এরপর এটি হ্যারিসন (১৯৮৭) এবং এলম্যান ও জিপসার (১৯৮৮) কর্তৃক কণ্ঠস্বরের জন্য এবং কট্রেল, মুনরো ও জিপসার (১৯৮৭) কর্তৃক ছবির জন্য বাস্তবায়িত হয়। হিন্টন ও সালাখুতদিনভ (২০০৬) ডিপ বিলিফ নেটওয়ার্ক উদ্ভাবন করেন। এগুলো এক জোড়া রেস্ট্রিক্টেড বোল্টজম্যান মেশিনকে এনকোডার-ডিকোডার জোড়া হিসেবে প্রশিক্ষণ দেয়, এবং তারপর প্রথম জোড়ার সুপ্ত রিপ্রেজেন্টেশনের উপর ভিত্তি করে পরবর্তী জোড়াকে প্রশিক্ষণ দেয়।

অটোএনকোডারের প্রথম ব্যবহারগুলো ১৯৯০-এর দশকের শুরুর দিকের। এর সবচেয়ে প্রচলিত ব্যবহার ছিল ডাইমেনশনালিটি রিডাকশন বা ফিচার লার্নিং, তবে ডেটার জেনারেটিভ মডেল তৈরির ক্ষেত্রেও এই ধারণাটি ব্যাপকভাবে ব্যবহৃত হতে শুরু করে। ২০১০-এর দশকের সবচেয়ে শক্তিশালী কিছু কৃত্রিম বুদ্ধিমত্তা (এআই) বৃহত্তর এআই সিস্টেমের অংশ হিসেবে অটোএনকোডার মডিউল ব্যবহার করেছে; যেমন— স্টেবল ডিফিউশনে ভিএই  এবং ট্রান্সফর্মার-ভিত্তিক ইমেজ জেনারেটর ডাল-ই ১ এ ডিসক্রিট ভিএই ইত্যাদি।

শুরুর দিকে যখন পরিভাষাগুলো সুনির্দিষ্ট ছিল না, তখন অটোএনকোডারকে আইডেন্টিটি ম্যাপিং, অটো-অ্যাসোসিয়েটিং, সেলফ-সুপারভাইজড ব্যাকপ্রোপাগেশন, অথবা ডায়াবলো নেটওয়ার্ক নামেও ডাকা হতো।

## প্রয়োগ
অটোএনকোডারের প্রধান দুটি প্রয়োগ হলো ডাইমেনশনালিটি রিডাকশন এবং তথ্য পুনরুদ্ধার (বা অ্যাসোসিয়েটিভ মেমোরি), তবে আধুনিক সংস্করণগুলো অন্যান্য কাজেও ব্যবহৃত হচ্ছে।

### মাত্রা হ্রাস
[thumb|[Fashion MNIST|ফ্যাশন এমএনআইএসটি ডেটাসেটে প্রয়োগ করা প্রথম দুটি প্রধান উপাদান বা প্রিন্সিপাল কম্পোনেন্ট (বামে) এবং একটি লিনিয়ার অটোএনকোডারের একটি দ্বি-মাত্রিক লুকায়িত স্তরের (ডানে) প্লট। দুটি মডেলই রৈখিক বা লিনিয়ার হওয়ায় তারা একই সাবস্পেস বিস্তৃত করতে শেখে। সাবস্পেসের আবর্তন বা রোটেশন বাদ দিলে, ডেটা পয়েন্টগুলোর প্রক্ষেপণ  আসলে অভিন্ন। সাধারণত পিসিএ  প্রতিফলনের সাপেক্ষে একটি নির্দিষ্ট ওরিয়েন্টেশন নির্বাচন করলেও, একটি সাধারণ অটোএনকোডারের কস্ট ফাংশন ল্যাটেন্ট স্পেসের আবর্তনের ক্ষেত্রে অপরিবর্তনীয় থাকে।]]
মাত্রা হ্রাস ছিল ডিপ লার্নিংয়ের প্রথম দিকের প্রয়োগগুলোর মধ্যে একটি।

হিন্টনের ২০০৬ সালের গবেষণায়, তিনি একটি রেস্ট্রিক্টেড বোল্টজম্যান মেশিনের (আরবিএম) স্তূপের মাধ্যমে একটি বহু-স্তরবিশিষ্ট  অটোএনকোডারকে প্রি-ট্রেইন করেছিলেন। এরপর তিনি ৩০টি নিউরনের একটি বটলনেকে  না পৌঁছানো পর্যন্ত ধীরে ধীরে ছোট হতে থাকা লুকায়িত স্তরগুলোর মাধ্যমে একটি ডিপ অটোএনকোডার তৈরির জন্য সেগুলোর ওয়েটস  ব্যবহার করেন। এর ফলে প্রাপ্ত ৩০-মাত্রার কোডটি প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিসের (পিসিএ) প্রথম ৩০টি উপাদানের তুলনায় কম পুনর্গঠন ত্রুটি  প্রদর্শন করে। এটি এমন একটি রিপ্রেজেন্টেশন শেখে যা গুণগতভাবে ব্যাখ্যা করা সহজ এবং ডেটা ক্লাস্টারগুলোকে স্পষ্টভাবে আলাদা করতে পারে।

মাত্রা কমানোর ফলে শ্রেণিবিন্যাসের মতো কাজগুলোতে দক্ষতা বৃদ্ধি পেতে পারে। প্রকৃতপক্ষে, মাত্রা হ্রাসের মূল বৈশিষ্ট্য হলো অর্থগতভাবে সম্পর্কিত উদাহরণগুলোকে একে অপরের কাছাকাছি রাখা।

#### প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিস
[thumb|দুই আকারের কোড বিশিষ্ট (দুই-ইউনিটের লুকায়িত স্তর) একটি অটোএনকোডার এবং পিসিএর  প্রথম দুটি প্রধান উপাদানের মাধ্যমে ২৮x২৮ পিক্সেল ছবির পুনর্গঠন। ছবিগুলো [Fashion MNIST|ফ্যাশন এমএনআইএসটি ডেটাসেট থেকে নেওয়া হয়েছে।]]
যদি লিনিয়ার অ্যাক্টিভেশন বা শুধুমাত্র একটি সিগময়েড লুকায়িত স্তর ব্যবহার করা হয়, তবে অটোএনকোডারের সর্বোত্তম সমাধানটি প্রিন্সিপাল কম্পোনেন্ট অ্যানালাইসিসের (পিসিএ) সাথে ঘনিষ্ঠভাবে সম্পর্কিত। p আকারের (যেখানে p ইনপুটের আকারের চেয়ে ছোট) একটি একক লুকায়িত স্তরবিশিষ্ট অটোএনকোডারের ওয়েটস সেই একই ভেক্টর সাবস্পেস জুড়ে থাকে যা প্রথম p সংখ্যক প্রধান উপাদান দ্বারা আবৃত থাকে। অটোএনকোডারের আউটপুট হলো এই সাবস্পেসের ওপর একটি অর্থোগোনাল প্রক্ষেপণ। অটোএনকোডারের ওয়েটস প্রধান উপাদানগুলোর সমান নয় এবং সাধারণত অর্থোগোনালও নয়, তবে সিঙ্গুলার ভ্যালু ডিকম্পোজিশন ব্যবহার করে সেগুলো থেকে প্রধান উপাদানগুলো পুনরুদ্ধার করা সম্ভব।

যাইহোক, অটোএনকোডারের মূল সম্ভাবনা এর অ-রৈখিকতার মধ্যে নিহিত, যা মডেলটিকে পিসিএর তুলনায় আরও শক্তিশালী সাধারণীকরণ শিখতে এবং উল্লেখযোগ্যভাবে কম তথ্য হারিয়ে ইনপুট পুনর্গঠন করতে সাহায্য করে।

### তথ্য পুনরুদ্ধার
তথ্য পুনরুদ্ধারের ক্ষেত্রে মাত্রা হ্রাস বিশেষভাবে সুবিধাজনক, কারণ নির্দিষ্ট ধরণের নিম্ন-মাত্রিক স্থানে অনুসন্ধান আরও দক্ষ হতে পারে। অটোএনকোডারগুলো মূলত সেমান্টিক হ্যাশিংয়ে প্রয়োগ করা হয়েছিল, যা ২০০৭ সালে সালাখুতদিনভ এবং হিন্টন প্রস্তাব করেছিলেন। অ্যালগরিদমটিকে একটি নিম্ন-মাত্রিক বাইনারি কোড তৈরি করার জন্য প্রশিক্ষণ দেওয়ার মাধ্যমে, সমস্ত ডেটাবেস এন্ট্রি একটি হ্যাশ টেবিলে সংরক্ষণ করা যেতে পারে যা বাইনারি কোড ভেক্টরগুলোকে এন্ট্রির সাথে মানচিত্রিত করে। এই টেবিলটি কুয়েরির মতো একই বাইনারি কোড বিশিষ্ট সমস্ত এন্ট্রি বা কুয়েরি এনকোডিংয়ের কিছু বিট পরিবর্তনের মাধ্যমে প্রায় একই রকম এন্ট্রিগুলো ফিরিয়ে দেওয়ার মাধ্যমে তথ্য পুনরুদ্ধার করতে সাহায্য করে।

### অটোএনকোডার হিপোক্যাম্পাস নেটওয়ার্ক
অটোএনকোডার হিপোক্যাম্পাস নেটওয়ার্ক হলো এমন একটি নিউরাল নেটওয়ার্ক, যা অটোএনকোডারের নীতি এবং হিপোক্যাম্পাসের স্মৃতি কার্যাবলীর একটি মডেলকে একত্রিত করে। এটি কৃত্রিম সিস্টেমে দক্ষতা অর্জন এবং তা স্মরণ করার মতো কাজগুলো সম্পাদনের জন্য ব্যবহৃত হয়। একটি অটোএনকোডার পলিসি ফাংশন প্যারামিটারগুলোকে একটি সংকুচিত 'স্কিল ভেক্টর' এ রূপান্তর করে এবং পরবর্তীতে মূল ডেটা পুনর্গঠন করে, যা তথ্য এনকোড এবং স্মরণ করার ক্ষেত্রে হিপোক্যাম্পাসের ক্ষমতার প্রতিফলন ঘটায়। এই কাঠামোটি বিভিন্ন দক্ষতা বা স্মৃতির (যেমন রোবটের পলিসি ফাংশন প্যারামিটার) ল্যাটেন্ট স্পেস রিপ্রেজেন্টেশন তৈরির মাধ্যমে সেগুলো শিখতে, জমা রাখতে এবং পুনরুদ্ধার করতে ব্যবহৃত হতে পারে।

### অসংগতি শনাক্তকরণ
অটোএনকোডারের আরেকটি প্রয়োগ হলো অসংগতি শনাক্তকরণ। পূর্বে বর্ণিত কিছু সীমাবদ্ধতার অধীনে প্রশিক্ষণ ডেটার সবচেয়ে গুরুত্বপূর্ণ বৈশিষ্ট্যগুলো অনুকরণ করতে শেখার মাধ্যমে মডেলটি সবচেয়ে বেশিবার পরিলক্ষিত বৈশিষ্ট্যগুলোকে নির্ভুলভাবে পুনরুৎপাদন করতে উদ্বুদ্ধ হয়। কোনো অসংগতির সম্মুখীন হলে মডেলটির পুনর্গঠন ক্ষমতা হ্রাস পাওয়ার কথা। বেশিরভাগ ক্ষেত্রে অটোএনকোডার প্রশিক্ষণের জন্য শুধুমাত্র স্বাভাবিক ডেটা ব্যবহৃত হয়; অন্যান্য ক্ষেত্রে পর্যবেক্ষণের তুলনায় অসংগতির হার এতই কম থাকে যে মডেলের লার্নিংয়ে এর প্রভাব উপেক্ষা করা যায়। প্রশিক্ষণের পর অটোএনকোডার 'স্বাভাবিক' ডেটা নির্ভুলভাবে পুনর্গঠন করতে পারলেও অপরিচিত অসংগতিপূর্ণ ডেটার ক্ষেত্রে ব্যর্থ হয়। অসংগতি শনাক্ত করার জন্য অসংগতি স্কোর হিসেবে 'পুনর্গঠন ত্রুটি' (মূল ডেটা এবং এর নিম্ন-মাত্রিক পুনর্গঠনের মধ্যবর্তী পার্থক্য) ব্যবহার করা হয়।
সাধারণত এর অর্থ হলো একটি ভ্যালিডেশন সেটে পুনর্গঠন ত্রুটির এম্পিরিক্যাল বিন্যাস  রেকর্ড করা হয় এবং অসংগতিপূর্ণ ডেটা পয়েন্টগুলো চিহ্নিত করতে ৯৫-শতাংশীয় মান x_p-কে থ্রেশহোল্ড t:=x_p হিসেবে ধরা হয়: \text{loss}(x, \text{reconstruction}(x))>t \implies \text{anomaly}। যেহেতু থ্রেশহোল্ডটি একটি এম্পিরিক্যাল কোয়ান্টাইল অনুমান, তাই এটি 'সঠিকভাবে' নির্ধারণ করার ক্ষেত্রে কিছু সহজাত সমস্যা রয়েছে:
অনেক ক্ষেত্রে এম্পিরিক্যাল কোয়ান্টাইলের বিন্যাসটি অসীমতটিকভাবে একটি নরমাল ডিস্ট্রিবিউশন হয় \text{empirical p-quantile} \sim \mathcal{N}\left(\mu=p, \sigma^2=\frac{p( 1 - p )}{n f(x_p)^2}\right), যেখানে f(x_p) হলো কোয়ান্টাইলের প্রোবাবিলিটি ডেনসিটি। এর অর্থ হলো যদি কোনো চরম কোয়ান্টাইল বিবেচনা করা হয়, তবে এর ভেয়ারিয়েন্স বা ভেদাঙ্ক বৃদ্ধি পায় (কারণ সেখানে f(x_p) এর মান কম থাকে)। ফলে থ্রেশহোল্ড নির্বাচনের ক্ষেত্রে বড় ধরনের অনিশ্চয়তা থেকে যেতে পারে, কারণ এটি একটি ভ্যালিডেশন সেট থেকে 'অনুমান' করা হয়।

তবে সাম্প্রতিক গবেষণাগুলোতে দেখা গেছে যে, কিছু অটোএনকোডিং মডেল আপাতবিরোধীভাবে অসংগতিপূর্ণ উদাহরণগুলোও খুব ভালোভাবে পুনর্গঠন করতে পারে এবং ফলস্বরূপ এগুলো নির্ভরযোগ্যভাবে অসংগতি শনাক্ত করতে সক্ষম হয় না। 
সহজভাবে বলতে গেলে এটি এক-স্তরের অটোএনকোডারগুলোর মাধ্যমে বোঝা সম্ভব যেগুলো পিসিএর সাথে সম্পর্কিত—এক্ষেত্রে ডেটা অঞ্চলের বাইরে থাকা পয়েন্টগুলোর জন্যও নিখুঁত পুনর্গঠন হতে পারে যদি সেগুলো প্রিন্সিপাল কম্পোনেন্ট অক্ষের ওপর অবস্থিত হয়।

অটোএনকোডার যেসব অসংগতি চিহ্নিত করছে সেগুলো প্রকৃত অসংগতি কি না তা বিশ্লেষণ করা সবচেয়ে ভালো। এই প্রেক্ষাপটে বাইনারি ক্লাসিফায়ারের মূল্যায়নের সকল পরিমাপক বিবেচনা করা যেতে পারে। আনসুপারভাইজড (সেলফ-সুপারভাইজড) লার্নিংয়ের ক্ষেত্রে প্রধান চ্যালেঞ্জ হলো বিরল ঘটনাগুলোর কোনো লেবেল থাকে না (সেক্ষেত্রে প্রথমে লেবেল সংগ্রহ করতে হয় এবং ডেটাসেটটি ভারসাম্যহীন হয়ে পড়ে) অথবা অসংগতি নির্দেশক লেবেলগুলো অত্যন্ত দুর্লভ হয়, যা পারফরম্যান্স মূল্যায়নের ক্ষেত্রে বৃহত্তর কনফিডেন্স ইন্টারভ্যাল বা আত্মবিশ্বাসের ব্যবধি তৈরি করে।

### চিত্র প্রক্রিয়াকরণ
অটোএনকোডারের বৈশিষ্ট্যসমূহ চিত্র প্রক্রিয়াকরণে বেশ কার্যকর।

এর একটি উদাহরণ হলো লসি  চিত্র সংকোচন, যেখানে অটোএনকোডার অন্যান্য পদ্ধতির তুলনায় অধিক কার্যকর প্রমাণিত হয়েছে এবং জেপিইজি ২০০০ এর সাথে প্রতিদ্বন্দ্বিতা করতে সক্ষম হয়েছে।

চিত্র প্রাক-প্রক্রিয়াকরণে অটোএনকোডারের আরেকটি উপযোগী প্রয়োগ হলো চিত্রের নয়েজ দূরীকরণ।

অটোএনকোডার আরও জটিল ক্ষেত্রেও ব্যবহৃত হয়, যেমন চিকিৎসা সংক্রান্ত ইমেজিং, যেখানে এটি নয়েজ দূরীকরণ এবং সুপার-রেজল্যুশনের কাজে ব্যবহৃত হয়েছে। সুপার-রেজল্যুশনের ক্ষেত্রেও এটি কার্যকর। চিত্র-সহায়ক রোগ নির্ণয়ের ক্ষেত্রে, বিভিন্ন পরীক্ষায় স্তন ক্যানসার শনাক্তকরণে এবং এমআরআই এর সাহায্যে প্রশিক্ষিত অটোএনকোডারের সুপ্ত বৈশিষ্ট্য ও আলঝেইমার রোগের কারণে মানসিক অবস্থার অবনতির মধ্যকার সম্পর্ক মডেলে অটোএনকোডার প্রয়োগ করা হয়েছে।

### ওষুধ আবিষ্কার
২০১৯ সালে ভেরিয়েশনাল অটোএনকোডার ব্যবহার করে তৈরি অণুগুলো ইঁদুরের ওপর পরীক্ষামূলকভাবে যাচাই করা হয়েছিল।

### জনপ্রিয়তা অনুমান
সম্প্রতি, সামাজিক যোগাযোগ মাধ্যমের পোস্টের জনপ্রিয়তা অনুমানের ক্ষেত্রে একটি স্ট্যাকড অটোএনকোডার ফ্রেমওয়ার্ক আশাব্যঞ্জক ফলাফল দেখিয়েছে, যা অনলাইন বিজ্ঞাপন কৌশলের জন্য বেশ সহায়ক।

### যান্ত্রিক অনুবাদ
যান্ত্রিক অনুবাদের ক্ষেত্রেও অটোএনকোডার প্রয়োগ করা হয়েছে, যা সাধারণত নিউরাল মেশিন ট্রান্সলেশন (এনএমটি) নামে পরিচিত। প্রচলিত অটোএনকোডারের সাথে এর পার্থক্য হলো, এখানে আউটপুটটি ইনপুটের সাথে হুবহু মেলে না—এটি অন্য একটি ভাষায় থাকে। নিউরাল মেশিন ট্রান্সলেশনে লেখাকে একটি ক্রম বা সিকোয়েন্স হিসেবে বিবেচনা করা হয় যা শেখার প্রক্রিয়ায় এনকোড করা হয়, অন্যদিকে ডিকোডার অংশে লক্ষ্য ভাষায় সেই সিকোয়েন্সগুলো তৈরি করা হয়। ভাষা-নির্দিষ্ট অটোএনকোডারগুলোতে শেখার প্রক্রিয়ায় আরও কিছু ভাষাগত বৈশিষ্ট্য অন্তর্ভুক্ত থাকে, যেমন চীনা ভাষার ডিকম্পজিশন বৈশিষ্ট্য। তবে আরও কার্যকর ট্রান্সফরমার নেটওয়ার্কের সহজলভ্যতার কারণে বর্তমানে অটোএনকোডারের মাধ্যমে যান্ত্রিক অনুবাদ খুব কমই করা হয়।

### যোগাযোগ ব্যবস্থা
যোগাযোগ ব্যবস্থায় অটোএনকোডার অত্যন্ত গুরুত্বপূর্ণ কারণ এগুলো তথ্যকে চ্যানেল ইমপেয়ারমেন্ট বা প্রতিবন্ধকতার বিরুদ্ধে আরও স্থিতিস্থাপক হিসেবে এনকোড করতে সাহায্য করে, যা ত্রুটি কমিয়ে তথ্য আদান-প্রদানের জন্য অত্যাবশ্যক। এছাড়া, অটোএনকোডার-ভিত্তিক সিস্টেমগুলো সামগ্রিক যোগাযোগ সক্ষমতা উন্নত করতে পারে। এই পদ্ধতিটি যোগাযোগ ব্যবস্থা নকশা করার বিভিন্ন সীমাবদ্ধতা সমাধান করতে পারে, যেমন বাস্তব জগতের চ্যানেলগুলোর জটিল আচরণ সঠিকভাবে মডেল করার সহজাত অসুবিধা।

## আরও দেখুন
* রিপ্রেজেন্টেশন লার্নিং
* সিঙ্গুলার ভ্যালু ডিকম্পজিশন
* স্পার্স ডিকশনারি লার্নিং
* গভীর শিক্ষা

## আরও পড়ুন

* 
* 

## তথ্যসূত্র

বিষয়শ্রেণী:নিউরন নেটওয়ার্ক স্থাপত্য
বিষয়শ্রেণী:আনসুপারভাইজড লার্নিং
বিষয়শ্রেণী:ডাইমেনশন রিডাকশন