Dyskusja:Entropia (teoria informacji)

message: Nie znam się, ale mam duże wątpliwości odnośnie tej definicji.
1. Jeśli w dziedzinie teorii informacji, to nie "układu fizycznego"
2. Czy miarą jest jeden bit ? Po pierwsze bit jest bezwymiarowy,
po drugie jakoś mi nie pasuje entropia o wartości -0,5 bita (bo przecież entropia przyjmuje wartości ujemne i ułamkowe)
Według mnie to jednak jakiś bełkot. Olaf dyskusja
replies: text: ad. 2. Entropia nie może przyjmować wartości ujemnych (patrz wzór w teorii informacji). A że jest ułamkiem? Nie szkodzi. Średnia liczba bitów może być ułamkowa. PKal dyskusja
thread_title:  Krytyka 

message: wzor na entropie powiniec byc taki:
Entropia
jezeli podstawa logarytmu wynosi 2 to entropia jest w bitach, moze byc ulamkiem 80.53.254.11
thread_title:  Entropia 

message: Ad.1: Czemu wg Ciebie rozważanie układu fizycznego w przypadku teorii informacji nie pasuje? Można liczyć entropie np. źródła widaomości elementarnych i zródło to jest znakomitym przedstawicielem układu fizycznego.
Ad.2: oczywście że dla podstawy r=2 jednostką jest 1 bit. Napisałeś właśnie jakąś tragiczną bzdurę: "..Po pierwsze bit jest bezwymiarowy" to brzmi podobnie jakbyś powiedział " ... metr albo amper jest bezwymiarowy..". Bit to własnie wymiar, a entropia jest dolnym ograniczeniem ilosci bitów przypadających na widadomość elementarną. 
wydaje mi sie, ze rzeczywiscie sie nie znasz 83.31.204.143
thread_title:  odnośnie powyższej krytyki 

message: Utrudnia mi w zrozumieniu , brak opisu zmiennych użytych we wzorze: i,n,r,x. 62.121.86.143
thread_title:  BRAKI 

message: W podanym wzorze na entropię brakuje znaku "-" przed całą sumą. 87.206.214.78
replies: text: Wzór jest prawidłowy. Minus byłby przed sigmą, gdyby zapisać to w postaci H(x) = - E p(i) * log p(i). Wiadomo czemu. Micio dyskusja
thread_title:  Błąd we wzorze 

message: był taki pan Hartley, który włożył swój wkład do teorii informacji. po kliknięciu na odnośnik pokazuje się nam natomiast tylko parę haseł geograficznych... można by to uzupełnić.
poza tym wydaje mi się, że "hartley" odnosi się do logarytmu o podstawie naturalnej, a nie dziesiętnej (info: wykłady mojego profesora).
ponadto oprócz nat używa się jeszcze nit (anglojęzyczna wiki Nat (information)). Bratpiorka dyskusja
thread_title:  Hartley 

message: Miarą entropii w przypadku gdy podstawą logarytmu jest 2 jest Shannon [Sh].
U mnie na uczelni mówią, że Hartley'e są jeśli podstawa jest 10. 217.113.225.15
replies: text: Ad. Odnośnie Shanona: nie jest to jeszcze OFICJALNA jednostka. Prace w ISO (międzynarodowa organizacja zajmująca się ustalaniem standardów) dopiero trwają. 87.206.207.143
thread_title:  Shanonny i Hartley'e 

message: Jeśli ktoś kiedyś zechce poszerzyć ten artykuł, to obecnie:
* brakuje innych definicji entropii (nie w sensie Shannona)
* brakuje definicji autoinformacji (Shannona)
* brakuje informacji o entropii warunkowej (dla źródeł z pamięcią)
Wojciech Muła (dyskusja) 01:42, 11 paź 2008 (CEST)
thread_title: Braki

message: Entropia warunkowa pojawia się jako oddzielny artykuł można by połączyć. Artafinde dyskusja
replies: text: Raczej nie, to dwie odrębne wielkości. Pozdrawiam. Belfer00 (dyskusja) 03:03, 29 paź 2009 (CET)
thread_title:  Entropia warunkowa 

message: Ten artykuł to jakiś bełkot. Moim zdaniem nadaje się do całkowitego przeredagowania.
Pierwsza rzecz jaka mi się nie podoba to fakt, że w definicji     H(x)=\sum_{i=1}^np(i)\log_r \frac{1}{p(i)}= - \sum_{i=1}^np(i)\log_r {p(i)}\,\!  w ogóle nie jest napisane co to jest x. Entropia to funkcja na czym? Jaka jest dziedzina i przeciwdziedzina? 
Druga sprawa.
"W przypadku, gdy prawdopodobieństwa poszczególnych zdarzeń w zbiorze są równe, powyższy wzór można stosować w postaci uproszczonej:
H(x) = log2(n)
gdzie n oznacza wielkość zbioru. Przykładowo dla zbioru 26 liter alfabetu (n=26) entropia każdej z nich wynosi około 4,7, więc ośmioznakowy ciąg liter wykorzystywany np. jako hasło będzie miał entropię 37,6."
Albo ja jestem głupi, albo to jest bez sensu. Co to znaczy, że ciąg znaków ma entropię? W definicji była mowa o symbolu, a tutaj mamy słowo. Dlaczego autor tego sformuowania przemnożył 4,7 * 8? Na jakiej podstawie?
Cały ten artykuł brzmi jak jakieś pseudonaukowe brednie.
Trzecia sprawa.
Co to znaczy, że "wartość entropii jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same"? Nieznając przeciwdziedziny funkcji H(x), domyślam się że to jest +oo? Nic w tym artykule nie jest jasne.
Nie znam się na temacie, właśnie próbuję się czegoś nauczyć, ale to się kupy nie trzyma. T.
--83.29.177.88 (dyskusja) 23:31, 25 wrz 2010
thread_title:  Bełkot 

message: Jako źródło, na którym opierają się jego edycje, kolega Mcfunthomas podał artykuł "Teoria informacji dla opornych", z put wiki. IMHO to nie jest całkowicie wiarygodne (autorytatywne) źródło. Jak rozumiem, uczestnictwo w jego redagowaniu mają tylko studenci informatyki, więc osoby w pewnym stopniu kompetentne, ale lepiej jednak jako źródła użyć odpowiedniego podręcznika (a jeszcze lepiej kilku podręczników). To nie znaczy, że kwestionuję prawdziwość sformułowania wprowadzonego przez kolegę, ale niektóre definicje zawarte w podanym źródle są nieścisłe. Dodam myśl ogólną – nie rozumiem uporu w pomijaniu "papierowych" podręczników akademickich przy redagowaniu artykułów na tematy naukowe. Czy obecnie studenci czytają tylko źródła z netu? Pozdrawiam. Belfer00 (dyskusja) 15:01, 30 cze 2012 (CEST)
thread_title:  Edycje kolegi [[Wikipedysta:Mcfunthomas|Mcfunthomas]]