Et voi ja et. Kuvittele, että sinulla on satunnaismuuttuja todennäköisyysjakaumasta Q. Mutta ystäväsi Bob ajattelee, että tulos tulee todennäköisyysjakaumasta P. Hän on rakentanut optimaalisen koodauksen, joka minimoi odotettujen bittien määrän, jota hänen on käytettävä kertomaan sinulle tulokset. Mutta koska hän rakensi koodauksen P: stä eikä Q: stä, hänen koodinsa ovat pidempiä kuin tarpeen. KL-divergenssi mittaa, kuinka kauan koodit ovat pidempiä.

Oletetaan nyt, että hänellä on kolikko ja hän haluaa kertoa sinulle saadun lopputuloksen. Koska pää ja häntä ovat yhtä todennäköisiä, hän antaa heille molemmat 1-bittiset koodit. 0 päätä, 1 häntä. Jos hän saa hännän hännän pään hännän, hän voi lähettää 1 1 0 1. Nyt, jos hänen kolikonsa laskeutuu reunalle, hän ei voi kertoa sinulle! Mikään hänen lähettämästään koodista ei toimisi. Tässä vaiheessa KL-divergenssi hajoaa.

Koska KL-divergenssi hajoaa, sinun on joko käytettävä toista mittaria tai muita todennäköisyysjakaumia. Se, mitä sinun pitäisi tehdä, riippuu todella siitä, mitä haluat. Miksi verrataan todennäköisyysjakaumia? Mistä todennäköisyysjakaumasi tulevat, arvioidaanko ne datasta?

Sanot todennäköisyysjakaumiesi olevan jotenkin luonnollisen kielen asiakirjoista ja haluat verrata luokkien pareja.

Ensin , Suosittelisin symmetristä sukulaisuusmittaa. Tälle sovellukselle kuulostaa siltä, ​​että A on samanlainen kuin B, koska B on samanlainen kuin A. Se on melko yleistä NLP: ssä.

Jos haluat pitää kiinni KL: stä, yksi asia, jonka voisit tehdä, on arvioida todennäköisyysfunktio molemmista asiakirjoista ja nähdä sitten kuinka monta ylimääräistä bittiä tarvitset keskimäärin kumpaankin asiakirjaan. Tämä on (P || (P + Q) / 2 + Q || (P + Q) / 2) / 2

Olen käytännössä törmännyt myös tähän asiaan. Tässä tapauksessa olen havainnut, että arvon 0 korvaaminen hyvin pienellä määrällä voi aiheuttaa ongelmia. Käyttämästäsi arvosta riippuen otat "puolueellisuuden" KL-arvoon. Jos käytät KL-arvoa hypoteesitestaukseen tai muuhun käyttöön, johon liittyy kynnysarvo, tämä pieni arvo voi kallistaa tuloksia. Olen havainnut, että tehokkain tapa käsitellä tätä on harkita KL: n laskemista vain yhdenmukaisen hypoteesi-avaruuden X_i yli, jossa Kumpikin P ja Q eivät ole nollia. Pohjimmiltaan tämä rajoittaa KL: n toimialueen toimialueeseen, jossa molemmat on määritelty, ja estää sinut ongelmista käytettäessä KL: tä hypoteesitestien suorittamiseen.

Jos todennäköisyysjakauma on $ Q_i = 0 $ mille tahansa $ i $: lle, se tarkoittaa, että olet varma, että $ Q_i $ ei voi esiintyä. Siksi jos $ Q_i $ koskaan noudatettaisiin, se edustaisi ääretöntä yllätystä / tietoa, mitä Shannon-tiedot edustavat. KL: n toissijaisuus edustaa ylimääräisen yllätyksen (ts. Menetetyn tiedon) määrää havaintoa kohden, jos jakaumaa $ Q $ käytetään lähentämiseen $ P $. Jos likiarvio ennustaa 0 todennäköisyyden tapahtumalle, jolla on todellisuudessa postitiivinen todennäköisyys, koet ääretön yllätys jonkin prosenttiosuuden ajasta ja siten keskimäärin äärettömän yllätyksen.

Ratkaisu on, ettei koskaan sallita 0 tai 1 todennäköisyys arvioiduissa jakaumissa. Tämä saavutetaan yleensä jollain tasoituksella, kuten Good-Turing-tasoitus, Dirichlet-tasoitus tai Laplace-tasoitus.