
Într-un articol precedent entropia a fost definită de aşteptat ca numărul de biţi într-un fişier binar numărul necesar pentru a enumera toate rezultatele. Aceasta a fost exprimată, după cum urmează:
entropia = h (x) = ![kappa = suma (1) (N) (delim {[}{- P (x_i) * log_2 P (x_i) }{]}} sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}](http://www.amarketplaceofideas.com/wp-content/plugins/wpmathpub/phpmathpublisher/img/math_963.5_649ff0e068931805c9934d682ee17091.png)
În fizica (natura) se constată că probabilitatea de distribuţie care reprezintă un proces fizic este cel care are entropia maximă dat de constrângeri fizice de pe sistem. Care sunt constrângerile? Un exemplu de sistem de probabalistic este o moară cu 6 laturi. De acum pretinde că nu ştiţi că este la fel de susceptibile de a afişa eventualele 1 din 6, atunci când se confruntă cu roll-o. Presupunem numai că este echilibrat.
În cazul unei mori de mai sus summation este echivalent cu următorul fel de calcul:
- Ipoteza iniţială de 6 set de probabilităţi ca suma = 1 ... aceasta este o le-a dat ca să fie de cel puţin una din cele 6 standurile cu excepţia cazului în care se confruntă pe marginea Amurg Zona de stil. Să presupune că P (x i) = 0.05, 0.05, 0.05 , 0.05,0.05, 0.75 .... stii instinctiv acest lucru nu este corect, dar demonstrează maxim de entropie principiu
Entropia totală a dat aceste probabilităţi = (.05) * (4.322) * 5 + 0.75 * (.415) = 1.0805 + .311 = 1.39 biţi
Să ne utilizare noastre comune de sens acum. Ştim că există 6 state la fel de probabile, care pot înfăşura bine. Deci sale uşor pentru a calcula numărul de biţi necesar.
- Biti cerute = log 2 6 = 2.585 biţi
Astfel putem vedea ipoteza noastră iniţială de una randamentelor probabilităţi entropia număr mai mic de ne-ar aştepta de la bun-simţ. Cum putem găsi maxim de entropie posibil?
- Utilizaţi Langrangian maximizarea metodă.
- Maximiza entropia fraza cu care constrângere
.... suma peste toate probabities trebuie să = 1
De langrangian este format după cum urmează:
![L = suma (kappa = 1) (N) (delim {[}{- P (x_i) * log_2 P (x_i) }{]}}+ lambda (1-kappa = suma (1) (N) ((delim [) (P (x_i )}{]}}) L=sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}+lambda(1-sum{kappa=1}{N}{delim{[}{P(x_i)}{]}} )](http://www.amarketplaceofideas.com/wp-content/plugins/wpmathpub/phpmathpublisher/img/math_961.5_e0964ce10092ff07c28bfd73554e915c.png)
Acum diferenţierii langrangian şi de stabilire a derivat = 0 putem găsi entropic maxim de probabilitate

pentru rezolvarea p i randamentelor
Toate p i = aceeaşi constantă cu probabilităţi de a insumarea 1 .... Astfel i P = 1 / 6 de când n = 6
În timp ce acest lucru este mult de lucru pentru a obţine evident acesta nu este un scop. În caz de situaţii de mai complicată în cazul în care probabilitatea de distribuţie nu este evident această metodă funcţionează. De exemplu, în cazul Negre Corpul de emisie de curba Planck. Dat fiind doar de quantization de nivelurile de energie, puteţi obţine curba corp negru!! Acest principiu este ţesut de toate prin natura. Aflaţi-l, pentru că va servi tu de bine.
Unele Note interesant pentru mine - eu? Am vrut sa spun eu.