
V prejšnjem članku entropy je opredeljena kot pričakovano število bitov v binarni števila zahteva, da navede vse rezultate. To je bilo izraženo kot sledi:
entropy H = (x) = ![vsota kappa = (1) (N) (delim {[}{- P (x_i) * log_2 P (x_i) }{]}} sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}](http://www.amarketplaceofideas.com/wp-content/plugins/wpmathpub/phpmathpublisher/img/math_963.5_649ff0e068931805c9934d682ee17091.png)
Iz fizike (narave) je bilo ugotovljeno, da so verjetnostne porazdelitve, ki predstavlja fizikalni postopek, je tista, ki ima najvišjo entropy glede na fizične omejitve sistema. Kakšne so omejitve? Tak primer je sistem probabalistic je umrl s 6 straneh. Za zdaj pretvarjaš, ne veste, da je enako verjetno, da so vidne vsakršne 1 6 obraze, ko je roll. Samo Predpostavimo, da je uravnotežena.
V primeru, da je umrl na zgoraj navedeno je enaka seštevku za naslednje vrste računanja:
- Začetna predpostavka sklop 6 verjetnosti, da povzamemo = 1 ... to je dano kot je treba vsaj enega izmed 6, razen če obraze stoji na robu Twilight Zone slog. Lets prevzeti P (x i) = 0,05, 0,05, 0,05 , 0.05,0.05, 0,75 .... instinktivno veste, to ni pravilno, vendar kaže, da je največ entropy načelo
Skupni entropy glede teh verjetnosti = (.05) * (4,322) * 5 + 0,75 * (.415) = 1,0805 + .311 = 1,39 bitov
Dovolite nam uporabo našega skupnega občutka sedaj. Vemo, da obstajajo enako verjetne 6 določa, da lahko poimensko gor. Torej svoje enostavno izračunamo število bitov, potrebnih.
- Bitov, potrebnih = log 2 6 = 2,585 bitov
Tako smo lahko videli naše začetne predpostavke o verjetnosti donosa je entropy število manj kot bi pričakovali od zdrave pameti. Kako bomo našli entropy največjo možno?
- Uporabite Langrangian čim metodo.
- Povečajte entropy z besedno zvezo omejitev, ki
.... več kot vsota vseh probabities mora = 1
V langrangian se oblikuje, kot sledi:
![L = vsota kappa = (1) (N) (delim {[}{- P (x_i) * log_2 P (x_i) }{]}}+ lambda (1-vsota kappa = (1) (N) ((delim [) (P (x_i )}{]}}) L=sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}+lambda(1-sum{kappa=1}{N}{delim{[}{P(x_i)}{]}} )](http://www.amarketplaceofideas.com/wp-content/plugins/wpmathpub/phpmathpublisher/img/math_961.5_e0964ce10092ff07c28bfd73554e915c.png)
Zdaj porazdelitve langrangian in določitvi izpeljanih = 0 najdemo največji entropic verjetnost

rešitev za P i donosi
Vse je P i = isto konstantno z verjetnostmi, da se sešteje 1 .... Tako P i = 1 / 6 od N = 6
Medtem ko je to veliko dela za pridobivanje očitno, da obstaja namen. V primeru bolj zapletenih primerih, kjer je verjetnostne porazdelitve ni očitno to metodo dela. Na primer, v primeru Black Body emisij krivulje Planck. Glede na samo kvantizacija energije ravni lahko izpeljejo črno telo krivulje! To načelo je vse tkanih z naravo. Naučite se, saj vam služijo dobro.
Nekatere zanimive opombe k sebi - sam? Mislil sem jaz.