సమాచార సంకరత (ఇన్ఫర్మేషన్ ఎంట్రొపీ)
సమాచార సిద్ధాంతంలో, ఒక అనిర్దిష్ట చరరాశికి సంబంధించిన అనిశ్చితి యొక్క ప్రమాణాన్ని ఎంట్రోపీ (సంకరత) అంటారు. ప్రస్తుత సందర్భంలో ఈ పదం సాధారణంగా షానోన్ ఎంట్రోపీ ని సూచిస్తుంది, ఇది ఒక ఆపేక్షిత విలువ యొక్క భావంలో ఒక సందేశంలో ఉన్న సమాచారాన్ని సాధారణంగా బిట్‌ల వంటి ప్రమాణాల్లో కొలుస్తుంది. సమానంగా, అనిర్దిష్ట చరరాశి విలువ తెలియనప్పుడు కనిపించని విలువ సగటు సమాచార విషయం యొక్క ప్రమాణాన్ని షానోన్ ఎంట్రోపీ అంటారు. క్లాడే ఇ. షానోన్ 1948నాటి తన పరిశోధక పత్రం "ఎ మాథమ్యాటికల్ థియరీ ఆఫ్ కమ్యూనికేషన్"లో ఈ భావాన్ని పరిచయం చేశారు.
నిర్ణీత నిరోధాల పరిధిలో, ఏదైనా సమాచార ప్రసారం యొక్క ఉత్తమ సంభవనీయమైన నష్టంలేని సంఘాతంపై ఒక సంపూర్ణ పరిమితికి షానోన్ యొక్క ఎంట్రోపీ ప్రాతినిధ్యం వహిస్తుంది: స్వతంత్ర మరియు సమరూపంగా-పంపిణీ చేయబడే అనిర్దిష్ట చరరాశుల యొక్క ఒక క్రమంలో సందేశాలను సంకేతీకరిస్తూ షానోన్ యొక్క మూల సంకేతీకరణ సిద్ధాంతం (షానోన్స్ సోర్స్ కోడింగ్ థీరమ్), పరిమితిలో, ఒక ఇచ్చిన అక్షరమాలలో సందేశాలను సంకేతీకరించడానికి, అతి కనిష్ట సంభవనీయ ప్రాతినిధ్యం యొక్క సగటు పొడవును లక్షిత అక్షరమాలలోని అనేక గుర్తుల సంవర్గమానం చేత విభజించబడే వాటి యొక్క ఎంట్రోపీగా చూపిస్తుంది.
ఒక సముచిత నాణెం (ఫెయిర్ కాయిన్) ఎంట్రోపీ ఒక బిట్ ఉంటుంది. అయితే, నాణెం సముచితం కానట్లయితే, అప్పుడు అనిశ్చితి తగ్గుతుంది (తరువాత వచ్చే ఫలితాన్ని ఊహించాలంటే, మనం తరచుగా వచ్చే ఫలితాన్ని ఆశ్రయించేందుకు ప్రాధాన్యత ఇవ్వాలి), అందువలన షానోన్ ఎంట్రోపీ కూడా తగ్గుతుంది. గణితశాస్త్రపరంగా, నాణేన్ని ఎగరవేయడం బెర్నౌలీ ట్రయల్‌కు ఒక ఉదాహరణగా చెప్పవచ్చు, దీని యొక్క ఎంట్రోపీని ద్వియాంశ సంకరత ప్రమేయం ద్వారా తెలియజేయవచ్చు. ప్రతి అక్షరం ఊహించదగిన విధంగా ఉండటం వలన, పునరావృతమయ్యే అక్షరాల యొక్క ఒక పొడవైన వరుసకు ఎంట్రోపీ రేటు 0 ఉంటుంది. మానవ ప్రయోగాలు ఆధారంగా షానోన్ వేసిన అంచనాలు ప్రకారం ఆంగ్ల పాఠ్యంలో ప్రతి అక్షరం యొక్క ఎంట్రోపీ రేటు 1.0 మరియు 1.5 బిట్‌ల మధ్య ఉంటుంది, లేదా ప్రతి అక్షరానికి అతి కనిష్టంగా 0.6 నుంచి 1.3 బిట్‌ల వరకు ఉంటుంది.
లేమాన్ నియమాల్లో, సమాచార సంకరత (ఎంట్రోపీ) అనిర్దిష్టత మాదిరిగానే కనిపిస్తుంది. వాస్తవానికి, ఏదైనా నిర్దేశిత, పరిణామాల ఫలితంగా సంభవించే, సంబద్ధమైన లేదా ఏదైనా తర్కం అవసరమైన క్రమం నుంచి నిష్క్రమణను సమాచారం వర్ణిస్తుంది. నిర్వచనం ప్రకారం, ఏదైనా ఇటువంటి క్రమం లేకపోవడాన్ని అనిర్దిష్టత అంటారు. అందువలన, "fHJZXpVVbuqKbaazaaw" అనే వరుస వ్యాప్తంగా ఉన్న అనిర్దిష్ట అక్షరాల క్రమానికి అధిక సమాచార ఎంట్రోపీ ఉందని చెప్పవచ్చు, మరోరకంగా చెప్పాలంటే దీనికి పెద్ద పరిమాణాల్లో ఎంట్రోపీ ఉంటుంది. దీనికి విరుద్ధంగా, షేక్‌స్పియర్ యొక్క మొత్తం రచనలకు ఇదే పొడవున్న ఒక అనిర్దిష్ట క్రమం కంటే అతి తక్కువ సమాచార ఎంట్రోపీ ఉంటుంది. వాస్తవానికి, ప్రజలు అనిర్దిష్ట క్రమం కంటే షేక్‌స్పియర్ యొక్క రచనలను మరింత సులభంగా గుర్తుంచుకోగలరు. సమాన పొడవు ఉన్న క్రమాలు వివిధ పరిమాణాల్లో సమాచారాన్ని కలిగివుండవచ్చు, అర్థవంతమైన పదబంధాలు, కొన్ని అక్షరాల మేళనాలు మరియు ఇతరాల కంటే ఎక్కువగా సంభవించేందుకు "అవకాశం ఉన్న" పదాలు సృష్టిస్తున్నప్పుడు మినహా, మిగిలిన మార్గాల్లో వీటిని వివరించలేము. ఉదాహరణకు ఆంగ్లంలో ఒక పదంలో మీరు 'q'ను చూసినట్లయితే, దాని తరువాత అక్షరంగా దాదాపుగా 'u' ఉంటుంది. మరో రకంగా చెప్పాలంటే, నాణెం ఉదాహరణను ఉపయోగించడం ద్వారా మీరు, ఒక అనిర్దిష్ట క్రమంలో తరువాతి అక్షరంతో పోలిస్తే ఒక కథలో తరువాతి అక్షరం విషయంలో మరింత విశ్వసనీయ ఫలితాన్ని ఊహించవచ్చు.
ఒక ఆచరణీయ సూచన ఏమిటంటే, ఒక ఇచ్చిన పాఠ్యం యొక్క ఎంట్రోపీని దాదాపుగా దాని యొక్క జతబొందు ప్రాతినిధ్యం పొడవుగా చెప్పవచ్చు.
సంభవనీయ విలువలు ]
ఇక్కడ formula_1 అనేది formula_2లో "j" సూచికలతో అనిర్దిష్ట చరరాశులు formula_3 యొక్క కార్టీజియన్ లబ్ధం (అందువలన ప్రతి వెక్టార్ యొక్క కొలత formula_2 యొక్క పరిమాణానికి సమానంగా ఉంటుంది).
మనం దీని నుంచి సంగ్రహంగా వర్ణించడంలో లూమీస్-వైట్నేలను మనం అనుసరించవచ్చు, "X" అనేది "A" లోని విలువలతో ఒక ఏకరీతిలో పంపిణీ చేయబడిన అనిర్దిష్ట చరరాశి అనుకున్నట్లయితే, "A" లోని ప్రతి బిందువు సమాన సంభవనీయతతో ఏర్పడుతుంది. అప్పుడు (పైన పేర్కొన్న ఎంట్రోపీ యొక్క మరిన్ని లక్షణాల ద్వారా) formula_5 అవుతుంది, ఇక్కడ "|A|" అనేది "A" యొక్క కార్డినాలిటీ (ఒక సమితి లేదా సమూహంలోని మూలకాల సంఖ్య)ని సూచిస్తుంది. formula_6 అనుకున్నట్లయితే. formula_7లో formula_8 పరిధి ఉంటుంది, అందువలన formula_9. ఇప్పుడు షియరర్ యొక్క అసమానత కుడివైపున కట్టడి చేసేందుకు మరియు మీరు ఫలితంగా పొందిన అసమానత యొక్క రెండు వ్యతిరేక వైపుల్లో ఘాతీయం చేసేందుకు దీనిని ఉపయోగించాలి.