Entropia kertoo, kuinka paljon epävarmuutta järjestelmässä on. Oletetaan, että etsit kissaa, ja tiedät, että se on jonnekin talosi ja naapureidesi välissä, joka on kilometrin päässä. Lapsesi kertovat sinulle, että todennäköisyyttä kissan olevan $ x $ etäisyydellä talostasi kuvaa parhaiten beta-jakauma $ f (x; 2,2) $. Joten kissa voi olla missä tahansa välillä 0 ja 1, mutta todennäköisemmin keskellä, eli $ x_ {max} = 1/2 $.

Liitetään beeta-jakauma yhtälöösi, niin saat $ H = -0,125 $.

Seuraavaksi kysyt vaimoltasi ja hän kertoo sinulle, että paras jakelu kuvaamaan hänen tietämystään kissastasi on tasainen jakauma. Jos liität sen entropiayhtälöösi, saat $ H = 0 $.

Sekä yhtenäinen että beeta-jakauma antavat kissan olla missä tahansa 0–1 mailin päässä talostasi, mutta univormussa on enemmän epävarmuutta, koska vaimollasi ei ole aavistustakaan, missä kissa piiloutuu, kun taas lapset ovat jokin idea , heidän mielestään se on todennäköisemmin jonnekin keskellä. Siksi Betan entropia on matalampi kuin Uniformin.

Voit kokeilla muita jakeluita, ehkä naapurisi kertoo, että kissa haluaa olla lähellä jommassakummassa talossa, joten hänen beetajakauma on $ \ alpha = \ beta = 1/2 $. Sen $ H $: n on oltava jälleen matalampi kuin virkapuvun, koska saat jonkinlaisen kuvan siitä, mistä kissaa voi etsiä. Arvaa onko naapurisi informaatioentropia korkeampi vai pienempi kuin lapsesi? Lyön vetoa lapsista joka päivä näistä asioista.

UPDATE:

Kuinka tämä toimii? Yksi tapa ajatella tätä on aloittaa yhtenäisellä jakelulla. Jos olet samaa mieltä siitä, että siinä on eniten epävarmuutta, ajattele häiritä sitä. Tarkastellaan erillistä tapausta yksinkertaisuuden vuoksi. Ota $ \ Delta p $ yhdestä pisteestä ja lisää se toiseen seuraavasti: $$ p_i '= p- \ Delta p $$$$ p_j' = p + \ Delta p $$

Otetaan nyt katso kuinka entropia muuttuu: $$ H-H '= p_i \ ln p_i-p_i \ ln (p_i- \ Delta p) + p_j \ ln p_j-p_j \ ln (p_j + \ Delta p) $$$$ = p \ ln pp \ ln [p (1- \ Delta p / p)] + p \ ln pp \ ln [p (1+ \ Delta p / p)] $$$$ = - \ ln (1- \ Delta p / p) - \ ln ( 1+ \ Delta p / p) >0 $$ Tämä tarkoittaa, että kaikki tasaisen jakauman häiriöt vähentävät entropiaa (epävarmuutta). Jos haluat näyttää saman jatkuvassa tapauksessa, minun on käytettävä muunnelmaa tai jotain tätä linjaa pitkin, mutta saat periaatteessa samanlaisen tuloksen.

PÄIVITYS 2: $ n $ yhdenmukaiset satunnaismuuttujat ovat itse satunnaismuuttujia, ja ne ovat peräisin Bates-jakaumasta. CLT: stä tiedämme, että tämän uuden satunnaismuuttujan varianssi kutistuu arvoksi $ n \ arvoon \ infty $. Joten sen sijainnin epävarmuuden on vähennettävä $ n $: n lisääntyessä: olemme yhä varmempia siitä, että kissa on keskellä. Seuraava juoni ja MATLAB-koodi osoittavat kuinka entropia laskee nollasta arvoon $ n = 1 $ (yhtenäinen jakauma) arvoon $ n = 13 $. Käytän täällä distributions31 -kirjastoa.

  x = 0: 0.01: 1; kun k = 1: 5, i = 1 + (k-1) * 3; idx (k) = i; f = @ (x) bates_pdf (x, i); funb = @ (x) f (x). * loki (f (x)); hauska = @ (x) arrayfun (funb, x); h (k) = integraali (hauska, 0,1); osa-alue (1,5 + 1, k) juoni (x, arrayfun (f, x)) otsikko (['Bates (x,' num2str (i) ')']) ylim ([0 6]) endubplot (1, 5 + 1,5 + 1) juoni (idx, h) otsikko Entropia  

mitä tuo määrä minulle todella kertoo?

Haluaisin liittää suoraviivan vastauksen seuraavasti:

On intuitiivista havainnollistaa sitä erillisessä skenaariossa. Oletetaan, että heität voimakkaasti puolueellista kolikkoa sanoen, että todennäköisyys nähdä pää jokaisella läpällä on 0,99. Jokainen varsinainen kääntö kertoo sinulle hyvin vähän tietoa, koska tiedät melkein jo, että siitä tulee pää. Mutta kun on kyse oikeudenmukaisemmasta kolikosta, sinun on vaikeampaa olla aavistustakaan mitä odottaa, sitten jokainen läppä kertoo sinulle enemmän tietoa kuin mikä tahansa puolueellisempi kolikko. Yhden heiton seuraamalla saatujen tietojen määrä on yhtä suuri kuin $ \ log \ frac {1} {p (x)} $ .

Entropian määrä kertoo meille tiedot every todellinen keskimääräinen kääntö (painotettuna sen esiintymisen todennäköisyydellä) voi välittää: $ E \ log \ frac {1} {p (x)} = \ summa p (x) \ log \ frac {1} {p (x)} $ . Mitä reilumpi kolikko on, sitä suurempi on entropia, ja täysin reilu kolikko on mahdollisimman informatiivinen.