Arkiv for 'Informations-Theory' Category

Når du ofrer frihed for sikkerhed, du ender op med hverken

Fredag den 29 august 2008

Sandsynligt, du har hørt dette gamle mundheld om sikkerhed og frihed. Sikkerheden de taler om, er økonomiske. Tingene er sandsynligt at få hårdere i den nærmeste fremtid. Vi er shipping for mange penge ud af landet for olie. Vi er for fin til at tillade det, der skal bores om vores kyster og i ANWR. Således ting vil forværres yderligere, indtil smertegrænsen er fundet.

Mange mennesker ønsker at stemme for den politiker, der siger, at det vil være ok, hvis vi kun regulere dette eller skat,. Det er de unDemocrats der vil sige noget for at blive valgt. Sig noget for at få den magt. Jeg vil gerne tro, du som en vælgere vil have den forstand ikke at lytte. Men jeg er tvivlende over for dette. Du lyttede i fortiden, og du vil sandsynligvis i fremtiden. Problemet er den slags aldrig hjælper økonomisk og faktisk skader noget meget mere værdifuldt end Deres midlertidige økonomiske forhold og det vil være din frihed. Jeg ved, at dette er sandt. Min favorit hjemme væk fra hjemlandet er Brasilien. Med den nuværende sammensætning Brasilien har en fuldt gennemført form for regering, at unDemocrats ønsker at have her. Befolkningen kender deres regeringen og skiftende det er håbløst. Intet vil nogensinde ændre på dette område og den brasilianske vide det. Med frihed du kan forbedre din økonomiske situation. Med økonomiske velbefindende kan du ikke nødvendigvis gøre diddly squat om din frihed. Jeg ved sin hårde at være en god soldat. Du skal være modige. Og klart omkring 50% af befolkningen mangler et impulskøb mod frihed. Tværtimod. De slikke deres chops ved tanken om en anden runde af trinvis opdeler om frihed for at opnå økonomisk vinding.

Husk at miste et job er midlertidig. At bo i et land med indskrænket frihed er temmelig meget for hele dit liv. Så ikke være mut Gus Halls, der i hemmelighed længes efter en øl, en recliner og en sort / hvid tv. For en inspireret liv er du nødt til at drømme om frihed.

Udledningen af Normal Gauss distribution af fysiske principper

Mandag 25 august, 2008

I mange fysiske systemer rejser spørgsmålet sig, hvad er sandsynligheden for distribution, der beskriver et system med en given forventes energi E over intervallet fra-uendelig til + uendelig? Igen du vil bruge den maksimale entropi princippet til at afgøre dette.

Begrænsningerne er som følger:

  • sum{kappa=1}{N}{P(x_i)}=1 .... summen over alle probabities skal = 1
  • sum{kappa=1}{N}{P(x_i){x_i}}=mu .... givet en gennemsnitlig værdi AKA "betyder"
  • sum{kappa=1}{N}{P(x_i){x_i}^2}=E ... .. givet en "energi" eller standardafvigelse AKA "varians"

Den langrangian er dannet som følger:

L=sum{kappa=1}{N}{{-P(x_i)}{log_2 P(x_i)}}+lambda_0(1-sum{kappa=1}{N}{P(x_i)} )+lambda_1(mu-sum{kappa=1}{N}{{P(x_i)}{x_i}})+lambda_2(E-sum{kappa=1}{N}{{P(x_i)}{x_i}^2})

{partial L} / {partial P_i}= {-log_2 P(x_i)}-1-lambda_0-lambda_1{x_i}-lambda_2{x_i}^2=0 .... Indstilling lig med nul for at finde det yderst punkt

Nu er problemet at løse for lambda koefficienter. Jeg bruge et trick. Jeg går ud fra kurven centreret på Y-aksen. Kurven skal have det samme beløb af entropi i venstre side af Y-akse, som om ret eller entropi vil ikke være maksimeret. Fordi polynomium er endnu grad sandsynligheden kurven skal "selv" ...., Der er symmetrisk omkring y akse.

Løse for de koefficienter, ved hjælp af identiteten af den integrerende af normal-infin til + infin

Brug af identitet og det at sætte den til 1: int{-infty}{+infty}{e^{-{(x-mu)^2/{2sigma^2}}}}=sigma{sqrt{2pi}} =1 udbytter: lambda_2={pi}/ln2

Den resulterende fordeling er: {e^{-{pi}x^2}} som er den normale distribution.

Nu for de andre koefficienter jobbet er gjort lettere ved at overholde distribution kan kun bevare dette selv om det betyder form, hvis polynomium er i form af: (x-MU) ^ 2: denne form kan udbrede sig langs X-aksen uden distribution form ændre.

Bemærkninger

  • base tilstand quantum Harmonisk oscillator er Gauss: Det er højst entropi.
  • Gauss bølge pakke kan ikke mishapen da det allerede er max entropi. Hvis den skifter form det falder entropi, der kræver kraft.
  • Gauss er base status over den bølge pakke? Er det muligt at have form af højere energi-stater?

Den maksimale entropi Princip - Fordelingen med den maksimale entropi er fordelingen karakter vælger

Søndag 17 august, 2008

I en tidligere artikel entropi var der defineres som det forventede antal bits i et binært tal er nødvendige for at optælle alle resultaterne. Dette blev udtrykt således:

entropi = H (x) = sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}

I fysik (natur) det konstateres, at sandsynligheden for distribution, der repræsenterer en fysisk proces er det en, der har den maksimale entropi i lyset af begrænsningerne på det fysiske system. Hvad er begrænsninger? Et eksempel på en probabalistic system er en dør med 6 sider. For nu lade som du ikke ved, at det er lige så sandsynligt at vise ethvert 1 af de 6 ansigter, når du ruller det. Lad os antage, kun at det er afbalanceret.

I tilfælde af en dør ovenstående summation svarer til følgende slags beregning:

  • Indledende antagelse sæt 6 sandsynligheder for at opsummere = 1 ... dette er en given som det skal være på mindst en af de 6 ansigter, medmindre det står på kanten Twilight Zone stil. Lad os antage, P (x i) = 0.05, 0.05, 0.05 , 0.05,0.05, 0.75 .... De ved instinktivt, at dette ikke er korrekt, men viser den maksimale entropi princippet

Den samlede entropi givet disse sandsynligheder = (.05) * (4,322) * 5 + 0,75 * (.415) = 1,0805 + .311 = 1,39 bits

Lad os bruge vores sunde fornuft nu. Vi ved, at der er 6 lige så sandsynligt, at kan rulle op. Så det let at beregne antallet af bits påkrævet.

  • Bits kræves = log 2 6 = 2,585 bits

Således kan vi se vores oprindelige antagelse af sandsynligheder giver en entropi antal mindre, end vi ville forvente fra almindelig sund fornuft. Hvordan kan vi finde den maksimale entropi muligt?

  • Brug Langrangian maksimeringstesten metode.
  • Maksimer entropi sætning med den begrænsning, at

sum{kappa=1}{N}{P(x_i)}=1 .... summen over alle probabities skal = 1

Den langrangian er dannet som følger:

L=sum{kappa=1}{N}{delim{[}{-P(x_i) * log_2 P(x_i) }{]}}+lambda(1-sum{kappa=1}{N}{delim{[}{P(x_i)}{]}}  ) 

Nu differentiere langrangian og sætte den afledte = 0 vi kan finde den maksimale entropic sandsynlighed

{partial L} / {partial P_i}= {-log_2 P(x_i)}-1-{lambda}=0

{-log_2 P(x_i)}=1+{lambda} løsning for P i udbytter

{P(x_i)}= e^{1+{lambda}} Alle P i = samme konstant med sandsynligheder sammenfatning til 1 .... Således P i = 1 / 6 da N = 6

Mens dette er et stort arbejde at få det indlysende, at den er der et formål. I tilfælde af mere komplicerede situationer, hvor sandsynligheden for distribution ikke er indlysende denne metode virker. For eksempel i tilfælde af Black Body emission kurve af Planck. Da kun Kvantisering af energi niveauer kan du få det sorte legeme kurven!! Dette princip er vævet alle gennem naturen. Lær det, fordi det vil tjene dig godt.

Nogle interessante bemærkninger til mig selv - mig selv? Jeg mente mig.

Hvad er entropi?

Torsdag den 14 august 2008

Der er mange matematiske definitioner af entropi. Det mentale billede jeg finder mest nyttige er at forestille sig følgende:

  • De er sat i et rum og dit job er at mærke alt i lokalet med en sharpy uudslettelige markør og maskering tape.
  • Du bliver bedt om at mærke alt i rummet ved hjælp af binære nummereringssystem. Dette binære tal vil være, at navnlig objekter ID

Som du går om dette kan du prøve at antallet af objekter, du oftest henvise til med lavere cifre, der har mindre længde. På den måde siden du nævner "bord" langt oftere end "NUMMER 6 SCREW" du ender op med at sige mindre cifre.

Foranstaltningen af entropi i dette rum er antallet af binære cifre til antallet alle objekter. Dette er entropi. Formlen for denne sætning, som jeg lige sagde, er:

Entropi ~ = log 2 N, hvor N er antallet af forskellige typer af objekter i rummet

Nu i en probabalistic situation med resultater x 1, x 2 .... X n med P (x i) = sandsynligheden for x i

entropi = H (x) = sum [-P (x i) * log 2 (P (x i))] Denne formel beregner forventning om antallet af påkrævede cifre optælle resultaterne.

Lad os sammenligne dette til en realistisk situation i form af den gode gammeldags mønt klappen med

  • P (hoved) = 1 / 2
  • P (haler) = 1 / 2

Entropi = - (1 / 2) * (-1) - (1 / 2) * (-1) = 1 bit

Dermed for at opregne alle de stater i en mønt du har brug for 1 bit. Så du bare ringe til hovedet bit = 1 og haler bit = 0 ....

... Og dermed behøver du kun 1 bit.

Hvis du har en mærkelig mønt, der altid kommer op hovedet: Det vil sige P (lederne) = 1 derefter:

Entropi = - (1) * (0) = 0

Dermed for din skr person mønten, at kun Flips ud hoveder du behøver ikke bits optælle sine stater. Der er ingen entropi. Du får altid hoveder sugekop! Eller hoveder jeg vinde haler du taber!

Brug af Maximum entropi at forklare form af Energi stater i en Electron i en Potentielle Tja

Fredag 23 mai 2008

Basen af en elektron i et uendeligt potentiale og har de mest "rum" for elektron-stat. Således har den maksimale entropi. Tage det samme stand og forestille klemningspunkt elektronerne eksistens til nul i midten af trug. Nu har du state-2. Elektronen nu findes i en mindre entropic stat og gæt hvad? Den indeholder udnytte energi nu. Dette er som et forår komprimeret. Elektronen kan dekomprimere og øve kraft / forbruge energi. For eksempel i en interaktion med et andet atom muligvis en bagslag kunne forekomme. I et krystalgitter en elektron kan overføre sin energi til atom næste dør og i kraft udbytte overledningen. Alle disse er foreløbige formodninger underlagt mere kontrol. elektron-in-uendelig-well.bmp Som nævnt før, da elektronen findes i dette potentiale såvel i form af frit fald kan det ikke har nogen acceleration. Således sin distribution må omhyggeligt undgå kanterne af de godt var det ville faktisk erfaring accelerationer af returnerede og recoiling ud af væggene.