
V predchádzajúcom článku Entropia bola definovaná ako očakávaný počet bitov v binárne číslo požadovanej vymenovat všetky výsledky. To bolo vyjadrené takto:
Entropia = H (x) = ![Súčet kappa = (1) (n) (oddeľovač {[}{- P (x_i) log_2 * P (x_i) }{]}} sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}](http://www.amarketplaceofideas.com/wp-content/plugins/wpmathpub/phpmathpublisher/img/math_963.5_649ff0e068931805c9934d682ee17091.png)
Vo fyzike (príroda) sa zistí, že pravdepodobnosť, že distribúcia je fyzikálny proces, je ten, ktorý má maximálnu Entropia dané obmedzenia na fyzikálny systém. Aké sú obmedzenia? Príkladom z probabalistic systém je zomrieť s 6 stranách. Pre túto chvíľu predstierať, neviete, že je rovnako pravdepodobné, že show akejkoľvek 1 z 6 tváre, keď sa úloha. predpokladá iba to, že je vyrovnaný.
V prípade, že zomrie na vyššie uvedené Sumac je ekvivalentné nasledujúce akési počítanie:
- Východiskový predpoklad sadu 6 pravdepodobnosti, že sa suma = 1 ... je to vzhľadom k tomu, ako to musí byť aspoň jeden z 6 čelia, ak stojí na hrane soumrak Zóna štýlu. Umožňuje prevziať P (x i) = 0,05, 0,05, 0,05 , 0.05,0.05, 0.75 .... Poznáte inštinktívne to nie je správny, ale ukazuje na princípe maximálnej Entropia
Celková Entropia danej týchto pravdepodobnosťou = (.05) * (4,322) * 5 + 0,75 * (.415) = 1,0805 + .311 = 1,39 bitu
Dovoľte nám využiť naše spoločné zmysel teraz. Vieme, že existujú 6 rovnako pravdepodobné, že môže natáčať. Takže jeho ľahko vypočítať počet bitov nevyžaduje.
- Bitov požadovanú log = 2 6 = 2,585 bitov
Preto môžeme vidieť náš pôvodný predpoklad pravdepodobnosťou poskytujú Entropia číslo nižšie ako by sme očakávali od zdravý rozum. Ako nájsť maximálnu Entropia možné?
- Použite Langrangian maximalizácia metódou.
- Maximalizovanie Entropia veta s obmedzením, že
.... súčtom cez všetky probabities musia = 1
V langrangian je tvorený nasledovne:
![L = suma (kappa = 1) (n) (oddeľovač {[}{- P (x_i) log_2 * P (x_i) }{]}}+ lambda (1-sum kappa = (1) (N) ((oddeľovač [) (P (x_i )}{]}}) L=sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}+lambda(1-sum{kappa=1}{N}{delim{[}{P(x_i)}{]}} )](http://www.amarketplaceofideas.com/wp-content/plugins/wpmathpub/phpmathpublisher/img/math_961.5_e0964ce10092ff07c28bfd73554e915c.png)
Teraz odlíšia langrangian a nastavenia derivát = 0 nájdeme najväčšou pravdepodobnosťou entropické

riešenia pre P aj výnosy
Všetko o P i = rovnaké konštantný s pravdepodobnosťou sčítaním na 1 .... Takto P i = 1 / 6, pretože N = 6
Je to síce veľa práce, aby odvodenie je zrejmé, že je účel. V prípade viac komplikuje situácia, keď je pravdepodobnosť rozdelenia, nie je zrejmé, táto metóda funguje. Napríklad v prípade Čiernej telo emisií krivku Plancka. Vzhľadom k tomu len kvantování energetických hladín možno odvodiť čierne telo krivky! Tento princíp tkané je všetky prostredníctvom prírody. Učte sa to, pretože bude slúžiť aj Vám.
Niektoré zaujímavé poznámky k sebe - sám? Myslel jsem já.