Čo je Entropia?
Thursday, August 14th, 2008Existuje mnoho matematických definície Entropia. Tento mentálny obraz nájsť najužitočnejšiu je predstaviť si nasledujúce:
- ste sa dostali do miestnosti a vaša práca je označiť všetko, čo je v miestnosti s sharp neodstrániteľnými markerovou a maskovací pásky.
- Budete vyzvaní na náveske všetko v miestnosti pomocou binárneho systému číslovania. Táto binárne číslo bude konkrétne objekty ID
Ako ste ísť o tomto budete chcieť počet objektov vám najčastejšie vzťahujú k s nižšou číslic, ktoré majú kratšiu dĺžku. Tak pretože ste spomenul "vidličku" oveľa častejšie ako "ČÍSLO 6 šroubů" budete nakoniec musieť povedať menej číslic.
Mierou Entropia v tejto miestnosti je počet binárnych číslic požaduje, aby počet všetkých objektov. Toto je Entropia. Vzorec pre túto vetu, ktorú som práve povedal, je:
Entropia ~ = log 2 N, kde N je počet rôznych typov objektov v miestnosti
Teraz v probabalistic situáciu s výsledkami x 1, x 2 .... X n s P (x i) = pravdepodobnosť, že x i
Entropia = H (x) = SUM [-P (x i) * log 2 (P (x i))] Tento vzorec vypočíta očakávania na počet požadovaných položiek vymenovat výsledkov.
Teraz nám to porovnať reálny stav v podobe dobrého staromódnou mince flip s
- P (hláv) = 1 / 2
- P (orol) = 1 / 2
Entropia = - (1 / 2) * (-1) - (1 / 2) * (-1) = 1 bit
Preto, aby sa vymenovať všetky štáty mince budete potrebovať 1 bit. Takže stačí zavolať hlavíc bit = 1 a chvosta bit = 0 ....
... A tak budete potrebovať iba 1 bit.
Ak ste divná mince, že vždy príde hlavy: To znamená, P (hláv) = 1, potom:
Entropia = - (1) * (0) = 0
Preto pre vašu podivín mince je, že len prepína z hlavy budete potrebovať žiadne bitov vymenovat svoje štáty. Neexistuje Entropia. Vždy si hlavy bulík! Or hlavy I vyhrať Ocasy stratíte!
