Ինֆորմացիայի տեսություն

Ինֆորմացիայի տեսություն, ինֆորմատիկայի, ռադիոտեխնիկայի և կիրառական մաթեմատիկայի բաժին, որն ուսումնասիրում է ինֆորմացիայի քանակի չափումը, նրա հատկությունները, և որը սահմանում է տվյալների փոխանցման սահմանային հարաբերակցությունը։ Ինչպես և ցանկացած մաթեմատիկական տեսություն, այս տեսությունը օգտագործում է մաթեմատիկական մոդելները, այլ ոչ թե ֆիզիկական օբեկտները (կապի գծեր և աղբյուրներ)։ Գլխավորապես օգտագործում է մաթեմատիկական վիճակագրության և հավանականությունների տեսության մաթեմատիկական ապարատները։
Ինֆորմացիայի տեսության հիմնական բաժիններն են աղբյուրի կոդավորումը (ինֆորմացիայի սեղմում) և կապուղային կոդավորումը (խանգարակայուն)։ Ինֆորմացիայի տեսությունը սերտ կապված է ինֆորմացիոն էնտրոպիայի, հեռախաղորդակցության համակարգերի, ծածկագրման և այլ նմանատիպ բնագավառների հետ։


== Ներածություն ==
Ինֆորմացիայի տեսությունը կապված է 1984 թվականին Կլոդ Շենոնի կողմից «Կապի մաթեմատիկական տեսություն» աշխատության հրապարակման հետ։ Ըստ Շենոնի՝ ինֆորմացիայի տեսությունը կապի մաթեմատիկական տեսության բաժին է։ Ինֆորմացիայի տեսությունը սահմանում է ինֆորմացիայի փոխանցման համակարգերի հնարավորությունների հիմնական սահմանները, սահմանում է նրանց աշխատանքի և գործնական իրագործման ելակետային սկզբունքները։  Ինֆորմացիայի տեսության խնդիրների շղթան ներկայացվում է կառուցվածքային սխեմայի տեսքով, որը ինֆորմացիայի պահպանման և փոխանցման սովորական համակարգ է։

Պատկերում՝ աղբյուր կարող է լինել տիեզերքի յուրաքանչյուր օբյեկտ, որը ծնում է հաղորդագրություններ, և որոնք պետք է տեղափոխվեն տարածության և ժամանակի միջով։ Սկզբնապես ֆիզիկական բնությունից անկախ, փոխանցման ենթակա բոլոր հաղորդագրությունները սովորաբար փոխակերպվում են էլեկտրական ազդանշանների։ Ինֆորմացիայի կոդավորիչը ինֆորմացիան ներկայացնում է ավելի սեղմ տեսքով։ Կապուղու կոդավորիչը ինֆորացիան մշակում է, հաղորդագրություները կապուղով փոխանցելու ժամանակ, հնարավոր խանգարումներից և ինֆորմացիայի պապհպանման ժամանակ հնարավոր աղավաղումներից պաշտպանելու համար։ Մոդուլյատորը կապուղու կոդավորիչի ձևավորած հաղորդագրությունները փոխակերպում է կապուղու ֆիզիկական բնության կամ ինֆորմացիայի կուտակիչի միջավայրի հետ համաձայնեցված ազդանշանի։ Ինֆորմացիայի տարածման միջավայրը (կապուղի) ինֆորմացիայի փոխանցման գործընթացում մի փոքր աղմուկ է ներմուծում, որը աղավաղում է հաղորդագրությունը և դրանով իսկ դժվարացնում է նրա կարդալը։ Ստացող կողմում գտնվող սարքերը հակառակ գործողություններն են կատարում և ստացված ինֆորմացիան ներկայացնում են ընկալման համար հարմար տեսքով։ Հաղորդագության փոխանցման դժվարությունը կախված չէ նրա պարունակությունից, այնպես որ անիմաստ հաղորդագրությունները նույնքան դժվար է փոխանցել, որքան՝ իմաստալից հաղորդագրությունները։
Ինֆորմացիան կարելի է ներկայացնել և՛ որպես օբյեկտների հատկություն, և՛ որպես նրանց փոխազդեցության արդյունք։ Ինֆորմացիայի օբյեկտիվ գոյության փաստը՝ անկախ մեր գիտակցությունից, որոշ հետազոտողների համար բավականին արտառոց կարծիքների առիթ հանդիսացավ, ըստ որոնց՝ ինֆորմացիան նյութական աշխարհի երրորդ սուբստանցիան է (նյութի և էներգիայի կողքին)։ Բայց ինֆորմացիայի համար դեռ ձևակերպված չեն պահպանման և նյութի կամ էներգիայի՝ համարժեք քանակի անցման օրենքներ։ Ներկայումս ընդունված է, որ ինֆորմացիան գոյություն ունի անկախ նրանից, թե ընկալվում է այն, թե չէ, սակայն դրսևվորվում է միայն փոխազդեցության դեպքում։


== Պատմություն ==
Ինֆորմացիայի տեսության զարգացումը սովորաբար կապում են 1948թ․ հուլիս֊օգոստոս ամիսներին Կլոդ Շենոնի կողմից «Կապի մաթեմատիկական տեսություն» անունով՝ «Bell System» հեռախոսային ընկերության ամսագրում հրապարակված աշխատության հետ։ Սակայն պետք է նշել, որ ինֆորմացիայի տեսության ձևակերպման և ստեղծման գործում իրենց ավանդն են ունեցել նաև ականավոր այլ գիտնականներ։ Շենոնը իր հոդվածի սկզբում նշել է, որ «Այս տեսության որոշ հիմնական կետեր առկա են Նայքվիստի և Հարթլիի կարևոր աշխատություններում»։ Ներկայումս տեսությունը ընդլայնված է նրանով, որ նրանում որոշ նոր գործոններ են ներառվել, մասնավորապես՝ աղմուկի ազդեցությունը կապուղում։
Հիմնականում Շենոնը զարգացրել է Հարթլիի աշխատանքները՝ օգտագործելով «ինֆորմացիա» հասկացությունը, բայց բուն տերմինը չի պարզաբանում, այլ միայն նախապայման է որոշում, որ հաղարդագրությունները կարող են որոշակի «արժեք» ունենալ, այսինքն՝ իր հայեցողական կամ ֆիզիկական բնությունը ունեցող համակարգի մաս լինել (կիբեռնետիկ համակարգ)։ Շենոնի տեսությունը ի սկզբանե դիտարկվում էր՝ որպես ճշգրիտ ձևակերպված մաթեմատիկական խնդիր և հնարավորություն է տվել որոշելու աղմուկով լի հեռահաղորդակցային կապուղու թողունակությունը։


== Ինֆորմացիայի հատկությունները ==
Ինֆորմացիայի որոնում, ինֆորմացիայի՝ սպառողի պահանջմունքներին (հարցումներին) համապատասխանելու հատկություն։
Ամբողջականություն, ինֆորմացիայի՝ տվյալ օբյեկտը կամ գործընթացը ամբողջապես բնութագրելու հատկություն։
Արդիականություն, ինֆորմացիայի՝ ժամանակակի անհրաժեշտ պահին սպառողի պահանջմունքներին համապատասխանելու հատկություն։
Հավաստիություն, ինֆորմացիայի՝ թաքնված սխալներ չունենալու հատկություն։
Պաշտպանվածություն, հատկություն, որը բնոորշում է ինֆորմացիայի չարտոնված օգտագործման կամ փոփոխման անհնարինությունը։
Հարմարավետություն, հատկություն, որը բնորոշում է ինֆորմացիայի ձևի կամ ծավալի հարմարավետությունը՝ տվյալ սպառողի տեսանկյունից։
Համապատասխանություն, հատկություն, որը բնորոշում է ինֆորմացիայի՝ տվյալ օբյեկտին կամ երևույթին ճիշգրիտ կերպով համապատասխանելը։Համապատասխանությունը՝ սպառողի համար ինֆորմացիայի ներքին հատկություն է, որն իրեն դրսևորում է հավաստիության միջոցով։
Նաև՝ ինֆորմացիայի հատկությունները կարելի է որոշել ըստ նրա սպառողի․ քաղաքական, քիմիական, կենսաբանական, տեխնիկական, տնտեսագիտական և այլն։ Ինֆորմացիան ունի նաև ներքին հատկություններ՝ ինֆորմացիայի ներքին կազմակերպություն (կառուցվածք) և ծավալ (քանակ)։ Ինֆորմացիան կազմված է մի քանի առանձին տարրերից, որոնք կարող են լինել և՛ բարդ և՛ պարզ։ Պարզ տարրերը հետագա մասնատման չեն ենթարկվում, իսկ բարդերը ձևավորվում են որպես մի քանի տարրերի համադրություն և ներկայացվում են որպես ինֆորմացիոն ամբողջութուններ։
Ինֆորմացիայի կառուցվածքը բավականին բարդ է, և կարող է ներառել ինֆորմացիոն ամբողջությունների տարբեր համակցություններ, որոնք տարբեր բովանդակություն ունեն։ Իսկ ինֆորմացիայի քանակը, ինֆորմացիոն հաղորդագրություններ ստանալու ժամանակ գիտելիքի անորոշության նվազման չափն է։ Ինֆորմացիայի քանակի միավորն է բիթը։ Դա ինֆորմացիայի քանակն է, որի դեպքում ընտրության տարբերակների թիվը փոքրանում է երկու անգամ (դա որոշակի հարց է, որին պատասխանելու համար անհրաժեշտ է պատասխանել ընդամենը այո կամ ոչ)։ Հավասարահավանական իրադարձությունների ինֆորմացիայի քանակը որոշվում է Հարթլիի բանաձևով, որտեղ ինֆորմացիայի ստացման գործընթացը դիտակվում է որպես՝ նախօրոք սահմանված հավասարահավանական հաղորդագրությունների բազմության միջից մեկ հաղրոդագրության ընտրություն։

  
    
      
        I
        =
        l
        o
        
          g
          
            2
          
        
        N
        ,
      
    
    {\displaystyle I=log_{2}N,}
  որտեղ 
  
    
      
        I
      
    
    {\displaystyle I}
   — ն ինֆորմացիայի քանակն է, իսկ 
  
    
      
        N
      
    
    {\displaystyle N}
  ֊ը — հաղորդագրությունների հնարավոր բազմությունը։ Լոգարիթմը 2 հիմքով է, քանի որ ինֆորմացիայի հաշվարկը օգտագործվում հիմնականում համակարգչային տեխնիկայում, և որտեղ ինֆորմացիան պահպանվում է երկուական համակարգի միջոցով։ Ինֆորմացիայի քանակի բանաձևը, հաշվի առնելով իրադարձությունների ոչ միանման հավանականությունը, անվանվել է նրա հայտնագործողի՝ Շենոնի պատվին։

  
    
      
        I
        =
        −
        
          ∑
          
            n
          
        
        
          p
          
            n
          
        
        l
        o
        
          g
          
            2
          
        
        
          p
          
            n
          
        
        ,
      
    
    {\displaystyle I=-\sum _{n}p_{n}log_{2}p_{n},}
  որտեղ 
  
    
      
        
          p
          
            n
          
        
      
    
    {\displaystyle p_{n}}
   — ն հավանականությունն է նրա, որ 
  
    
      
        n
      
    
    {\displaystyle n}
  -րդ հաղորդագրությունը ճշմարիտ է։ Պայմանականորեն ինֆորմացիայի քանակի հայտնաբերման մեթոդները կարելի է բաժանել 5 տեսակի՝

Էնտրոպիական
Ալգորիթմական
Կոմբինատորական
Բովանդակային
ՊրագմատիկԷնտրոպիական, ալգորիթմական, կոմբինատորական տեսակները բնորոշում են դիտարկվող օբյեկտի կամ երևույթի բարդության քանակական սահմանումը, և հիմնվում ինֆորմացիայի հետևյալ հատկությունների վրա՝ ամբողջականություն, հասանելիություն, հարմարավետություն։ Բովանդակային տեսակը նկարագրում է ստացողի համար՝ փոխանցվող հաղորդագրության արդի և իմաստալից լինելը (որոնման համար հասանելիության և համապատասխանության հատկություներ)։ Պրագմատիկ տեսակը ուշադրություն է դարձնում օգտագործողի համար՝ ստացված հաղորդագրության օգտակարության վրա (ամբողջականության, արդիականության, հարմարավետության և համապատասխանության հատկություններ)։


== Ինֆորմացիայի կոդավորում ==
Կոդավորումը՝ հաղորդագրության՝ կապուղու մուտքից մինչև ելք՝ կոդով անցման գործընթացն է։ Ընդ որում հաղորդագրության ինֆորմացիոն արժեքը պետք է անփոփոխ մնա։ Ինֆորմացիայի տեսության մեջ կարելի է ընգծել կոդավորման հետևյալ տեսակները։
1. Դիսկրետ աղբյուրների կոդավորում։ Դա ինֆորմացիայի «առանց կորուստների» կոդավորման ենթադրյալ մոդել է, որը կապուղով անցնում է առանց աղմուկի՝ ինֆորմացիայի սեղմումով։
2. Ինֆորմացիայի կոդավորում, նրա՝ աղմուկով լի կապուղով անցնելու ժամանակ։ Այդ մեթոդն հաշվի է առնում և պաշտպանում է ինֆորմացիան կապուղում առկա խանգարումներից։
Կոդը միանշանակ ապակոդավորվող է, եթե կոդի այբուբենից (հիմնականում դա 0 կամ 1 է) սիմվոլների ցանկացած հաջորդականություն բաժանվում է առանձին բառերի։ Եթե ոչ մի կոդային բառ մյուսի սկիզբը չէ, ապա կոդը անվանում են պրեֆիքսային, և նա միանշանակ ապակոդավորվող է։ Հետևապես՝ պրեֆիքսությունը միանշանակ ապակոդավորվելու բավարար, սակայն ոչ անհրաժեշտ պայման է։ Պրեֆիքսության պահանջը սահմանափակում է կոդային բառերի բազմաթիվ երկարություններ և հնարավորություն չի տալիս շատ կարճ կոդային բառեր ընտրել։ Կոդային բառերի 
  
    
      
        
          l
          
            1
          
        
        ,
        .
        .
        .
        ,
        
          l
          
            M
          
        
      
    
    {\displaystyle l_{1},...,l_{M}}
   երկարություններով,  
  
    
      
        M
      
    
    {\displaystyle M}
   ծավալով պրեֆիքսային կոդի գոյության անհրաժեշտ և բավարար պայման է Քրաֆտի անհավասարության կատարումը։

  
    
      
        
          ∑
          
            i
            =
            1
          
          
            M
          
        
        
          
            2
          
          
            −
            
              l
              
                i
              
            
          
        
        ⩽
        
          1
        
      
    
    {\displaystyle \sum _{i=1}^{M}{2}^{-l_{i}}\leqslant {1}}
  Նաև անհրաժեշտ է դիտարկել Շենոն֊Ֆանոյի կոդը՝ պրեֆիքսային անհամասեռ կոդավորման ալգորիթմը։ Կոդավորման այդ մեթոդը օգտագործում է հաղորդագրության ավելորդությունը, որը ներառված է իր այբուբենի սիմվոլների հաճախականության անհամասեռ բաշխվածության մեջ, այսինքն՝ ավելի հաճախ հանդիպող սիմվոլները փոխարինում է կարճ երկուական հաջորդականություններով, իսկ ավելի հազվադեպ հանդիպող սիմվոլները՝ ավելի երկար երկուական հաջորդականություններով։ Դիտրակենք աղբյուրը, որը ընտրում է տառերը 
  
    
      
        X
        =
        M
      
    
    {\displaystyle X=M}
   բազմությունից՝ 
  
    
      
        
          p
          
            M
          
        
      
    
    {\displaystyle p_{M}}
   հավանականություններով։ Ենթադրենք, որ տառերը դասավորված են (
  
    
      
        
          
            p
            
              1
            
          
        
        ⩾
        
          
            p
            
              2
            
          
        
        ⩾
        
          
            p
            
              M
            
          
        
      
    
    {\displaystyle {p_{1}}\geqslant {p_{2}}\geqslant {p_{M}}}
  ) հավանականության նվազման կարգով։ Շենոնի կոդի կոդային բառը՝ 
  
    
      
        M
      
    
    {\displaystyle M}
   համարով հաղորդագրության համար երկուական հաջորդականությունն է, որն իրենից ներկայացնում է 
  
    
      
        
          q
          
            M
          
        
      
    
    {\displaystyle q_{M}}
   թվի երկուական տեսքով գրանցված թվի՝ ստորակետից հետո առաջին 
  
    
      
        l
        =
        −
        log
        ⁡
        
          
            p
            
              m
            
          
        
      
    
    {\displaystyle l=-\log {p_{m}}}
   թվանշանակարգերը։

  
    
      
        
          
            q
            
              M
            
          
        
        =
        
          ∑
          
            i
            =
            1
          
          
            M
            −
            1
          
        
        
          p
          
            i
          
        
      
    
    {\displaystyle {q_{M}}=\sum _{i=1}^{M-1}p_{i}}
  3. Կոդավորում՝ որակի տվյալ չափանիշներով։ Հաշվի առնելով այն, որ անալոգային աղբյուրների ինֆորմացիան չի կարող ներկայացվել թվային տեսքով՝ առանց աղավաղումների, կոդավորման այս մեթոդը ինֆորմացիայի փոխանցման որակի և ծախսերի միջև լավագույն փոխզիջումն է ապահովում։ Այն օգտագործվում է այն դեպքերում, երբ աղբյուրի կոդավորումը իրականցվում է այն կերպ, որ կոդավորված հաղորդագրությունները վերականգնվում են որոշակի արժեքից ոչ մեծ որոշակի սխալով։ Այն կոդավորման ամենաարդիական մեթոդներից մեկն է, քանի որ լայն տարածում է գտել տեսա և ձայնային ինֆորմացիայի թվային փոխանցման մեջ։
4. Ինֆորմացիայի կոդավորումը՝ բազմաթիվ օգտատերերով համակարգերի համար, լավագույնս ապահովում է բաժանորդների փոխազդեցությունը, որոնք ընդհանուր ռեսուրս են գտագործում, օրինակ՝ կապուղի։
5. Գաղտնի կապ, ինֆորմացիայի՝ չարտոնված մուտքից պաշտպանման համակարգեր։ Այս տեսակը գործածվում է ակտիվ կերպով և շատ արդիական է։ Ներառում է ինֆորմացիայի տեսությունը, ալգորիթմների հաշվողական հզորության տեսությունը, օպերացիաների ուսումնասիրություն և թվերի տեսություննները։


== Ինֆորմացիոն էնտրոպիա ==
Ինֆորմացիոն էնտրոպիան (
  
    
      
        H
      
    
    {\displaystyle H}
  ) ինֆորմացիայի քաոսի չափն է, առաջնային այբուբենի ինչ֊որ սիմվոլի հայտնվելու անորոշությունը։ Ինֆորմացիոն կորուստների բացակայության դեպքում էնտրոպիան հավասար է փոխանցվող հաղորդագրության մեկ սիմվոլի համար պահանջվող ինֆորմացիայի քանակին։ Էնտրոպիան տվյալների աղբյուրի համար, հավանականությունների մոդելի համատեքստում, որոշված քանակն է։ Տվյալների աղբյուրի էնտրոպիայի աստիճանը՝ տվյալների մեկ տարրի համար, բիտերի միջին քանակն է, որը պահանջվում է նրա ծածկագրման համար՝ առանց ինֆորմացիայի կորուստի՝ լավագույնս կոդավորելու դեպքում։ Էնտրոպիան սահմանափակում է առավելագույն հնարավոր, առանց կորուստների սեղմումը, որը կարող է իրագործվել տեսականորեն՝ սովորական հավաքածույի օգտագործման դեպքում, կամ գործնականում՝ Հաֆմանի կոդավորման, Լեմպել֊Զիվա֊Վելչայի կոդավորման, կամ հանրահաշվական կոդավորման օգտագործման դեպքում։
Էնտրոպիայի հատկությունները

Էնտրոպիան չի կարող լինել բացասական 
  
    
      
        H
        (
        X
        )
        ⩾
        0
      
    
    {\displaystyle H(X)\geqslant 0}
  ։
Էնտրոպիան սահմանափակված է 
  
    
      
        H
        (
        X
        )
        ⩽
        
          log
          
            2
          
        
        ⁡
        
          |
        
        X
        
          |
        
      
    
    {\displaystyle H(X)\leqslant \log _{2}|X|}
   (եթե բոլոր 
  
    
      
        X
      
    
    {\displaystyle X}
   տարրերը հավասարահավանական են)։
Եթե 
  
    
      
        X
        ,
        Y
      
    
    {\displaystyle X,Y}
   անկախ են, ապա 
  
    
      
        H
        (
        X
        Y
        )
        =
        H
        (
        X
        )
        +
        H
        (
        Y
        )
      
    
    {\displaystyle H(XY)=H(X)+H(Y)}
  ։
Եթե 
  
    
      
        X
        ,
        Y
      
    
    {\displaystyle X,Y}
   ունեն տարրերի հավանականությունների միևնույն բաշխվածությունը, ապա 
  
    
      
        H
        (
        X
        )
        =
        H
        (
        Y
        )
      
    
    {\displaystyle H(X)=H(Y)}
  ։
Տվյալների որոշ բիթեր կարող են չկրել ինֆորմացիա։
Էնտրոպիայի քանակը միշտ չէ, որ արտահայտվում է բիթերի ամբողջ թվով։


=== Սահմանում սեփական ինֆորմացիայի միջոցով ===
Սեփական ինֆորմացիան պատահական դիսկրետ մեծության ստատիկ ֆունկցիա է։ Կարելի է որոշել պատահական մեծության էնտրոպիան՝ նախապես ներմուծելով 
  
    
      
        X
      
    
    {\displaystyle X}
   պատահական մեծության բաշխվածության հասկացությունները, որոնք ունեն վերջավոր թվով նշանակումներ և սեփական ինֆորմացիա, այդ ժամանակ էնտրոպիան կսահմանվի հետևյալ կերպ՝

  
    
      
        
          H
          (
          X
          )
        
        =
        
          E
          (
          I
          (
          X
          )
          )
        
        =
        −
        
          ∑
          
            i
            =
            1
          
          
            n
          
        
        
          p
          (
          i
          )
        
        
          log
          ⁡
          
            p
            (
            i
            )
          
        
      
    
    {\displaystyle {H(X)}={E(I(X))}=-\sum _{i=1}^{n}{p(i)}{\log {p(i)}}}
  


=== Հաղորդագրության միջին էնտրոպիան ===
Ինֆորմացիոն էնտրոպիան՝ 
  
    
      
        n
      
    
    {\displaystyle n}
   հնարավոր վիճակներով՝ 
  
    
      
        X
      
    
    {\displaystyle X}
   պատահական անկախ իրադարձությունների համար (
  
    
      
        1
      
    
    {\displaystyle 1}
  -ից մինչև 
  
    
      
        n
      
    
    {\displaystyle n}
  ) հաշվում են հետևյալ բանաձևով՝

  
    
      
        
          H
          (
          X
          )
        
        =
        −
        
          ∑
          
            i
            =
            1
          
          
            n
          
        
        
          p
          (
          i
          )
        
        
          log
          
            2
          
        
        ⁡
        
          p
          (
          i
          )
        
      
    
    {\displaystyle {H(X)}=-\sum _{i=1}^{n}{p(i)}\log _{2}{p(i)}}
  Այդ կերպ՝ 
  
    
      
        X
      
    
    {\displaystyle X}
   իրադարձության էնտրոպիան 
  
    
      
        i
      
    
    {\displaystyle i}
   իրադարձության տեղի ունենալու հարաբերական հաճախականությունների հակառակ նշանով  բոլոր արտադրյալների (որոնք բազմապատկված են իրենց սեփական երկուական լոգարիթմներին) գումարն է։


=== Մասնակի էնտրոպիա ===

  
    
      
        
          log
          
            2
          
        
        ⁡
        
          
            1
            
              p
              (
              i
              )
            
          
        
      
    
    {\displaystyle \log _{2}{\frac {1}{p(i)}}}
   մեծությունը անվանում են մասնակի էնտրոպիա, որը բնորոշում է միայն i-րդ տարրի արժեքը։


=== Շենոնի բանաձևը ===
Շենոնի էնտրոպիայի չափը պատահական փոփոխականի իրագործման նկատմամբ անվստահություն է արտահայտում։ Այդ կերպ՝ էնտրոպիան տարբերությունն է հաղորդագրությունում պարունակվող ինֆորմացիայի և ինֆորմացիայի այն մասի, որը հաստատ հայտնի է հաղորդագրության մեջ։ Շենոնը ենթադրեց, որ ինֆորմացիայի աճը հավասար է կորցված անորոշությանը, և, նրա չափման համար նոր պահանջներ սահմանելով, ստացավ հետևյալ բանաձևը

  
    
      
        −
        K
        
          ∑
          
            i
            =
            1
          
          
            n
          
        
        
          p
          (
          i
          )
        
        
          log
          
            2
          
        
        ⁡
        
          p
          (
          i
          )
        
        ,
      
    
    {\displaystyle -K\sum _{i=1}^{n}{p(i)}\log _{2}{p(i)},}
  որտեղ 
  
    
      
        K
      
    
    {\displaystyle K}
  ֊ն հաստատուն է, որը անհրաժեշտ է չափման միավորների ընտրության համար։


=== Այլընտրանքային սահմանում ===

  
    
      
        H
      
    
    {\displaystyle H}
   էնտրոպիայի սահմանման այլ տարբերակ է ապացույցը, որ 
  
    
      
        H
      
    
    {\displaystyle H}
  ֊ը միանշանակ որոշված է, եթե 
  
    
      
        H
      
    
    {\displaystyle H}
  ֊ը բավարարում է հետևյալ պահանջներին՝
1. 
  
    
      
        H
        (
        
          p
          
            1
          
        
        ,
        .
        .
        .
        ,
        
          p
          
            n
          
        
        )
      
    
    {\displaystyle H(p_{1},...,p_{n})}
  ֊ը որոշված է և շարունակական է բոլոր 
  
    
      
        
          p
          
            1
          
        
        ,
        .
        .
        .
        ,
        
          p
          
            n
          
        
        ,
      
    
    {\displaystyle p_{1},...,p_{n},}
  ֊ի համար, որտեղ 
  
    
      
        
          
            p
            
              i
            
          
        
        ∈
        
          [
          
            0
          
          ,
          
            1
          
          ]
        
      
    
    {\displaystyle {p_{i}}\in {[{0},{1}]}}
  -ը բոլոր 
  
    
      
        i
        =
        1
        ,
        .
        .
        .
        ,
        n
      
    
    {\displaystyle i=1,...,n}
  -երի 
  
    
      
        
          p
          
            1
          
        
        +
        .
        .
        .
        +
        
          p
          
            n
          
        
        =
        1
      
    
    {\displaystyle p_{1}+...+p_{n}=1}
  -երի համար
2. 
  
    
      
        n
      
    
    {\displaystyle n}
   ամբողջ դրական թվերի համար, պետք է կատարվի հետևյալ անհավասարությունը՝

  
    
      
        H
        =
        
          (
          
            
              
                1
                n
              
            
            ,
            .
            .
            .
            ,
            
              
                1
                n
              
            
          
          )
        
        <
        
          (
          
            
              
                1
                
                  n
                  +
                  1
                
              
            
            ,
            .
            .
            .
            ,
            
              
                1
                
                  n
                  +
                  1
                
              
            
          
          )
        
      
    
    {\displaystyle H=\left({\frac {1}{n}},...,{\frac {1}{n}}\right)<\left({\frac {1}{n+1}},...,{\frac {1}{n+1}}\right)}
  3. 
  
    
      
        
          b
          
            i
          
        
      
    
    {\displaystyle b_{i}}
   ամբողջ դրական թվերի համար, որտեղ 
  
    
      
        
          b
          
            1
          
        
        +
        .
        .
        .
        +
        
          b
          
            k
          
        
        =
        n
      
    
    {\displaystyle b_{1}+...+b_{k}=n}
  , պետք է կատարվի հետևյալ պայմանը՝

  
    
      
        H
        =
        
          (
          
            
              
                1
                n
              
            
            ,
            .
            .
            .
            ,
            
              
                1
                n
              
            
          
          )
        
        =
        H
        
          (
          
            
              
                
                  b
                  
                    1
                  
                
                n
              
            
            ,
            .
            .
            .
            ,
            
              
                
                  b
                  
                    k
                  
                
                n
              
            
          
          )
        
        +
        
          ∑
          
            i
            =
            1
          
          
            k
          
        
        
          
            
              b
              
                i
              
            
            n
          
        
        H
        
          (
          
            
              
                1
                
                  b
                  
                    i
                  
                
              
            
            ,
            .
            .
            .
            ,
            
              
                1
                
                  b
                  
                    i
                  
                
              
            
          
          )
        
      
    
    {\displaystyle H=\left({\frac {1}{n}},...,{\frac {1}{n}}\right)=H\left({\frac {b_{1}}{n}},...,{\frac {b_{k}}{n}}\right)+\sum _{i=1}^{k}{\frac {b_{i}}{n}}H\left({\frac {1}{b_{i}}},...,{\frac {1}{b_{i}}}\right)}
  


== Գրականություն ==
Б. Д. Кудряшов Теория информации, СПбГУ НИУ ИТМО
Фурсов В. А. Лекции по теории информации ISBN 5-7883-0458-X
Claude E. Shannon, Warren Weaver. The Mathematical Theory of Communication. Univ of Illinois Press, 1963. ISBN 0-252-72548-4
Thomas M. Cover, Joy A. Thomas. Elements of information theory New York: Wiley, 1991. ISBN 0-471-06259-6
R. Landauer, Information is Physical Proc. Workshop on Physics and Computation PhysComp’92 (IEEE Comp. Sci.Press, Los Alamitos, 1993) pp. 1–4.
Maxwell’s Demon: Entropy, Information, Computing, H. S. Leff and A. F. Rex, Editors, Princeton University Press, Princeton, NJ (1990). ISBN 0-691-08727-X
Шеннон К. Работы по теории информации и кибернетике. — М.: Изд. иностр. лит., 1963. — 830 с.
Колмогоров А. Н. Три подхода к определению понятия «количество информации», Пробл. передачи информ., 1:1 (1965), 3-11
MacKay, David. Information Theory, Inference, and Learning Algorithms. — Cambridge University Press, 2003. — ISBN 9780521642989


== Արտաքին հղումներ ==
Shannon, Claude; Weaver, Warren (1949). The Mathematical Theory of Communication
К. Шеннон, «Бандвагон»
List of important publications in information theory (անգլ.)
Традиционные подходы к количественному определению информации
Синергетическая теория информации
Холево А. С. Введение в квантовую теорию информации Archived 2009-01-25 at the Wayback Machine.
compression.ru
Электронный учебник по теории информации
Электронный учебник по теории информации