Kysymys:
Onko olemassa esimerkkejä siitä, että Bayesin uskottavat intervallit ovat selvästi huonompia kuin usein esiintyvät luottamusvälit
Dikran Marsupial
2010-09-03 23:23:44 UTC
view on stackexchange narkive permalink

Äskettäinen kysymys luottamuksen ja uskottavien aikavälien välisestä erosta sai minut aloittamaan lukemisen uudelleen Edwin Jaynesin artikkelista aiheesta:

Jaynes, ET, 1976. `` Confidence Intervals vs Bayesian Intervals '' julkaisussa Todennäköisyysteorian, tilastollisen päättelyn ja tilastollisen tieteen teoriat, WL Harper ja CA Hooker (toim.), D. Reidel, Dordrecht, s. 175; ( pdf)

Abstraktisti Jaynes kirjoittaa:

... näytämme Bayesin ja ortodoksisia ratkaisuja kuuteen yleiseen tilastolliseen ongelmaan, joihin liittyy luottamusvälit (mukaan lukien samaan perusteluun perustuvat merkitsevyystestit). Jokaisessa tapauksessa tilanne on päinvastainen, eli Bayesin menetelmää on helpompi soveltaa ja se antaa saman tai paremman tuloksen. Ortodoksiset tulokset ovat todellakin tyydyttäviä vain, kun ne ovat läheisesti (tai täsmälleen) samaa mieltä Bayesin tulosten kanssa. Vastaavaa esimerkkiä ei ole vielä tuotettu.

(painopiste minun)

Paperi julkaistiin vuonna 1976, joten ehkä asiat ovat edenneet . Kysymykseni kuuluu, onko olemassa esimerkkejä siitä, että usein esiintyvä luottamusväli on selvästi parempi kuin Bayesin uskottava intervalli (Jaynesin epäsuorasti esittämän haasteen mukaan)?

Vääriin aikaisempiin oletuksiin perustuvia esimerkkejä ei voida hyväksyä, kuten sanotaan mitään eri lähestymistapojen sisäisestä johdonmukaisuudesta.

Melko lievissä olettamuksissa (a) Bayesin estimointimenettelyt ovat sallittuja ja (b) kaikki tai melkein kaikki hyväksyttävät estimaattorit ovat Bayesin suhteessa joihinkin aikaisempiin. Siksi ei ole mikään yllätys, että Bayesin luottamusväli "tuottaa samat tai paremmat tulokset". Huomaa, että lausuntoni (a) ja (b) ovat osa rationaalisen päätöksentekoteorian * usein esiintyvää * analyysiä. Silloin, kun yleislääkärit ovat osa yritystä bayesilaisten kanssa, ei ole matematiikkaa tai edes tilastollisia menettelyjä, mutta ne koskevat priorin merkitystä, perustelua ja oikeaa käyttöä missä tahansa tietyssä ongelmassa.
Eli merkitseekö yllä oleva kommentti sitä, että vastaus toimenpideohjelman kysymykseen on 'Tällaisia ​​esimerkkejä ei voida muodostaa'? Tai ehkä on olemassa jokin patologinen esimerkki, joka rikkoo hyväksyttävyyden taustalla olevia oletuksia?
@Srikant: Hyvä kysymys. Mielestäni tutkimuksen aloittamisen paikka on tilanne, jossa on muita kuin Bayesin hyväksymiä estimaatteja - ei välttämättä "patologisia", mutta ainakin sellaisia, jotka tarjoavat jonkin verran mahdollisuuden löytää "päinvastainen esimerkki".
Lisäisin jonkin verran selkeyttä "virheellisiin aikaisempiin oletuksiin ..." toteamalla, että Bayesin vastauksessa ja usein vastauksessa on käytettävä * samoja tietoja *, muuten vertailet vastauksia vain kahteen eri kysymykseen. Hyvä kysymys (+1 minulta)
Luulen, että olen nähnyt tällaisen esimerkin Larry Wassermanin kirjassa nimeltä "Kaikki tilastot", jossa hän antaa esimerkin, jossa Bayesin CI: n käyttö ei ole järkevää. Se on kuitenkin patologinen esimerkki.
patologia tai ei, se olisi todennäköisesti ensimmäinen laatuaan. Olen erittäin innokas näkemään tämän esimerkin, sillä näillä "patologioilla" on yleensä hyvä oppimiselementti
@suncoolsu - onko esimerkki Wassermanissa, jossa oletettu "peitto" putoaa nollaan?
@probabilityislogic. Luulen niin, mutta minun on tarkistettava. Palataan pian asiaan pian!
@suncoolsu - tämä Wassermanin esimerkki ei ole esimerkki "viallisista Bayeistä". Koska $ \ theta \ sim N (0,1) $ ja kattavuus $ \ theta <2 $: lle ovat hyvät, huomaa, että $ Pr (| \ theta | <2) \ noin 0,977 $, joten oletettu "huono kattavuus" "saadaan vain pieni osa mahdollisuuksista, jos priori on totta. Jos keskiarvo olisi tämä peitto suhteessa $ \ theta $: n takaosaan, se olisi noin 95%, koska suurin osa posteriorisesta todennäköisyydestä olisi $ \ theta <2 $ -alueella. (lisää myöhemmin)
@suncoolsu - Sanoisin, että se on kuitenkin hyvä esimerkki konjugaattipriorien ei-vankista ominaisuuksista. Koska jos $ \ theta $: n todellinen arvo on sanoa $ 4 $, mutta priorisi sanoo $ \ theta \ sim N (0,1) $, niin lähes varmasti priori ja data ovat ristiriidassa. Jos priori on konjugaatti, niin sanot periaatteessa, että ennakkotieto on * yhtä vakuuttavaa kuin data *. Jos priori oli sen sijaan $ \ theta \ sim St (0,1,10) $ (T 10 df: llä), niin koska todennäköisyys on normaali, sanot, että tiedot ovat vakuuttavampia kuin edelliset ... (lisää edelleen)
... jatkuu ... ja että konfliktitilanteessa haluat tietojen "voittavan". Jos tilanne olisi päinvastainen (opiskelijan todennäköisyys ja normaali priori), niin jos tiedot ovat ristiriidassa priorin kanssa, priori "voittaisi". Katso [Tämä viesti] (http://stats.stackexchange.com/questions/6493/mildly-informative-prior-distributions-for-scale-parameters/6506#6506) linkkejä tämän toimintaan. Epäilen, että kattavuus olisi parempi suurille $ \ theta $: lle (mutta mahdollisesti huonompi pienille $ \ theta $), jos opiskelija-t-jakelua käytettäisiin aikaisempana normaalin sijasta.
Luulen, että esitän tämän tarkemmin vastauksena, koska se on erinomainen esimerkki siitä, mistä Jaynes puhuu paperissaan. Wasserman näyttää ongelman, osoittaa, että Bayesin tapa antaa näennäisesti intuitiivisen vastaisen tuloksen, varoittaa "Bayesin menetelmien vaarasta" tutkimatta * miksi * Bayesin ratkaisu antaa sen tuloksen. Toiseksi * Frequentist Confidence Interval -arvoa ei anneta vastaavassa tehtävässä! * Näytän vastauksessani, että esimerkki voidaan muotoilla vastaavilla frekvencistisilla termeillä *, jotka antavat täsmälleen saman vastauksen kuin Bayesin!
Seitsemän vastused:
#1
+56
Dikran Marsupial
2011-01-21 17:21:13 UTC
view on stackexchange narkive permalink

Sanoin aiemmin, että minulla olisi vastaus kysymykseen, joten tässä menee ...

Jaynes oli paperissaan hieman tuhma, koska usein esiintyvää luottamusväliä ei ole määritelty väli, jossa voimme odottaa tilastojen todellisen arvon olevan suurella (määritetyllä) todennäköisyydellä, joten ei ole tarpeetonta yllättävää, että ristiriitoja syntyy, jos ne tulkitaan ikään kuin ne olisivat. Ongelmana on, että luottamusvälejä käytetään usein käytännössä tällä tavoin, koska haluamme usein välin, joka todennäköisesti sisältää todellisen arvon (kun otetaan huomioon, mitä voimme päätellä datan otoksesta).

Keskeinen kysymys on minulle se, että kun kysymys esitetään, on parasta saada suora vastaus kysymykseen. Onko Bayesin uskottavat intervallit huonompia kuin usein esiintyvien luottamusvälit, riippuu siitä, mikä kysymys todella esitettiin. Jos kysytty kysymys oli:

(a) "Anna minulle väli, jossa tilastojen todellinen arvo on todennäköisyydellä p", näyttää siltä, ​​että usein esiintyvä asiantuntija ei pysty vastaamaan kysymykseen suoraan (ja tämä esittelee sellaisia ​​ongelmia, joista Jaynes keskustelee artikkelissaan), mutta Bayesian voi, minkä vuoksi Bayesin uskottava väli on parempi kuin Jaynesin esittämissä esimerkeissä esiintyvä itsevarmuusväli. Mutta tämä on vain siksi, että se on "väärä kysymys" taajuusmuuttajalle.

(b) "Anna minulle väli, jossa jos koetta toistettaisiin useita kertoja, tilastojen todellinen arvo makaa p * 100% tällaisista väleistä ", niin usein vastaava vastaus on juuri sitä mitä haluat. Bayesilainen voi myös pystyä antamaan suoran vastauksen tähän kysymykseen (vaikka se ei välttämättä ole vain ilmeinen uskottava väli). Whuberin kommentti kysymyksestä viittaa siihen.

Joten pohjimmiltaan kyse on kysymyksen määrittämisestä oikein ja vastauksen oikeasta tulkinnasta. Jos haluat esittää kysymyksen (a), käytä sitten Bayesin uskottavaa väliä, jos haluat esittää kysymyksen (b), käytä usein esiintyvää luottamusväliä.

Hyvin sanottu, varsinkin mihin kysymykseen CI todella vastaa. Jaynesin artikkelissa hän kuitenkin mainitsee, että CI: n (ja yleisimmät menettelyt) on suunniteltu toimivan hyvin "pitkällä aikavälillä" (esim. Kuinka usein näet $ n \ rightarrow \ infty $ tai "suurille n jakelu on suunnilleen ... "oletuksia taiteilijamenetelmissä?), mutta tähän on monia sellaisia ​​menettelyjä. Luulen, että tässä usein esiintyviä tekniikoita (johdonmukaisuus, puolueellisuus, lähentyminen jne.) Voidaan käyttää arvioimaan erilaisia ​​Bayesin menettelyjä, joiden välillä on vaikea päättää.
"Jaynes oli paperissaan vähän tuhma ..." Luulen, että Jaynes yritti tehdä (tai sen, minkä otin siitä) on, että luottamusväliä käytetään vastaamaan kysymykseen a) suuressa määrin tapaukset (spekuloin, että kuka tahansa, jolla * on vain säännöllistä koulutusta *, käyttää CI: tä vastaamaan kysymykseen a) ja he ajattelevat olevansa asianmukainen usein vastaava vastaus)
kyllä, "hieman tuhmalla" tarkoitin vain, että Jaynes teki asian melko harhaanjohtavasti (mutta myös viihdyttävällä) tavalla (tai ainakin näin luin sen). Mutta jos hän ei olisi ollut, sillä ei todennäköisesti olisi ollut mitään vaikutusta.
#2
+25
probabilityislogic
2011-01-31 12:44:48 UTC
view on stackexchange narkive permalink

Tämä on "täsmennetty" esimerkki, joka on annettu Larry Wassermanin kirjoittamassa kirjassa Kaikki tilastot sivulla 216 ( 12.8 BayesianInferencein vahvuudet ja heikkoudet ). Annan pohjimmiltaan sen, mitä Wasserman ei kirjassaan 1) selitys sille, mitä todella tapahtuu, eikä heittää pois linjaa; 2) usein vastaava kysymykseen, jota Wasserman ei kätevästi anna; ja 3) osoitus siitä, että samojen tietojen avulla laskettu ekvivalenttivarmuus kärsii samasta ongelmasta.

Tässä esimerkissä hän kertoo seuraavan tilanteen

  1. Havainto, X, näytteenottojakaumalla: $ (X | \ theta) \ sim N (\ theta, 1) $
  2. $ (\ theta) \ sim N (0: n edellinen jakauma , 1) $ (hän ​​tosiasiallisesti käyttää varianssiin yleistä $ \ tau ^ 2 $, mutta hänen kaavionsa on erikoistunut arvoon $ \ tau ^ 2 = 1 $)

Sitten hän näyttää että käyttämällä Bayesin 95% uskottavaa väliä tässä kokoonpanossa on lopulta 0% taajuuskaistan kattavuus, kun $ \ theta $: n todellinen arvo kasvaa mielivaltaisesti suureksi. Hän antaa esimerkiksi kaavion kattavuudesta (p218) ja tarkistaa silmällä, kun $ \ theta $: n todellinen arvo on 3, peitto on noin 35%. Sitten hän jatkaa:

... Mitä meidän pitäisi tehdä tästä kaikesta? Tärkeää on ymmärtää, että usein ja Bayesissä käytetyt menetelmät vastaavat eri kysymyksiin. Jos haluat yhdistää aiemmat uskomukset ja tiedot periaatteellisesti, käytä Bayesin päätelmää. Rakenna menettelyt, joilla on taattu pitkän aikavälin suorituskyky, kuten luottamusvälit, käyttämällä taajuusmenetelmiä ... (p217)

Ja jatka sitten siirtymistä ilman selitystä miksi Bayesin menetelmä toimi ilmeisesti niin huonosti. Hän ei myöskään anna vastausta frekvensistisestä lähestymistavasta, vain laaja harjalausunto "pitkällä aikavälillä" - klassinen poliittinen taktiikka (korosta vahvuuttasi + toisten heikkoutta, mutta älä koskaan vertaa sellaista).

Näytän, kuinka ongelma kuten sanottu $ \ tau = 1 $ voidaan muotoilla frakto- / ortodoksisilla termeillä, ja näytän sitten, että tulos luottamusvälejä käyttämällä antaa täsmälleen saman vastauksen kuin Bayesin yksi . Siksi Bayesin vikaa (todellista tai havaittua) ei korjata käyttämällä luottamusvälejä.

Okei, joten tässä menee. Ensimmäinen kysymykseni on, minkä tietotilan kuvaa aikaisempi $ \ theta \ sim N (0,1) $? Jos joku oli "tietämätön" $ \ theta $: sta, sopiva tapa ilmaista tämä on $ p (\ theta) \ propto 1 $. Oletetaan nyt, että olimme tietämättömiä ja havaitsimme $ Y \ sim N (\ theta, 1) $, riippumatta $ X $: sta. Mikä olisi $ \ theta $: n takaosa?

$$ p (\ theta | Y) \ propto p (\ theta) p (Y | \ theta) \ propto exp \ Big (- \ frac {1} {2} (Y- \ theta) ^ 2 \ Iso) $$

Siten $ (\ theta | Y) \ sim N (Y, 1) $. Tämä tarkoittaa, että Wassermansin esimerkissä annettu edellinen jakelu vastaa havaittua $ X $: n iid-kopiota, joka on yhtä suuri kuin $ 0 $. Frequentist-menetelmät eivät voi käsitellä prioria, mutta sen voidaan ajatella tekevän 2 havainnointia otosjakaumasta, yhden, joka on yhtä suuri kuin $ 0 $ ja toisen, joka on yhtä suuri kuin $ X $. Molemmat ongelmat ovat täysin samanarvoisia, ja voimme itse asiassa antaa usein vastaavan kysymykseen.

Koska kyseessä on normaali jakauma, jonka varianssi on tiedossa, keskiarvo on riittävä tilasto luottamusvälin muodostamiseksi dollarille \ theta $. Keskiarvo on yhtä suuri kuin $ \ overline {x} = \ frac {0 + X} {2} = \ frac {X} {2} $ ja sillä on näytteenottojakauma

$$ (\ overline { x} | \ theta) \ sim N (\ theta, \ frac {1} {2}) $$

Siten $ (1- \ alpha) \ text {%} $ CI antaa :

$$ \ frac {1} {2} X \ pm Z _ {\ alpha / 2} \ frac {1} {\ sqrt {2}} $$

Mutta Käyttämällä esimerkin 12.8 tuloksia Wassermanille hän osoittaa, että takaosan $ (1- \ alfa) \ text {%} $ uskottava väli $ \ theta $: lle on annettu:

$$ cX \ pm \ sqrt {c} Z _ {\ alpha / 2} $$.

Missä $ c = \ frac {\ tau ^ {2}} {1+ \ tau ^ {2}} $. Siten liittämällä arvo arvoon $ \ tau ^ {2} = 1 $ saadaan $ c = \ frac {1} {2} $ ja uskottavaksi aikaväliksi tulee:

$$ \ frac {1} {2} X \ pm Z _ {\ alpha / 2} \ frac {1} {\ sqrt {2}} $$

Mitkä ovat täsmälleen samat kuin luottamusväli! Joten mitään Bayesin menetelmällä havaittua peittovikaa ei korjata käyttämällä commonist-luottamusväliä! [Jos taajuusmuuttaja päättää jättää priorin huomiotta, niin ollakseen oikeudenmukainen vertailu, Bayesin tulisi myös jättää huomioimatta tämä priori ja käyttää tietämättömyyttä ennen $ p (\ theta) \ propto 1 $, ja nämä kaksi väliä ovat edelleen samat - molemmat $ X \ pm Z _ {\ alpha / 2}) $].

Joten mitä helvettiä täällä tapahtuu? Ongelma on pohjimmiltaan normaalin näytteenottojakauman epävarmuus. koska ongelma vastaa jo havaittua iid-kopiota, $ X = 0 $. Jos olet havainnut $ 0 $, niin on erittäin epätodennäköistä , jos todellinen arvo on $ \ theta = 4 $ (todennäköisyys, että $ X \ leq 0 $, kun $ \ theta = 4 $ on 0,000032). Tämä selittää, miksi kattavuus on niin huono suurille "todellisille arvoille", koska ne tekevät tosiasiallisesti prioriin sisältyvän implisiittisen havainnon ulkopuolelle . Itse asiassa voit osoittaa, että tämä esimerkki vastaa periaatteessa sen osoittamista, että aritmeettisella keskiarvolla on rajaton vaikutusfunktio.

Yleistäminen. Jotkut ihmiset saattavat sanoa "mutta pidit vain $ \ tau = 1 $, mikä voi olla erityistapaus ". Tämä ei ole totta: minkä tahansa arvon $ \ tau ^ 2 = \ frac {1} {N} $ $ (N = 0,1,2,3, \ piste) $ arvon voidaan tulkita havaitsevan $ N $ iid -kopioita $ X $, jotka kaikki olivat yhtä suuria kuin $ 0 $, kysymyksen $ X $ lisäksi. Luottamusvälillä on samat "huonot" kattavuusominaisuudet suurille dollareille $ \ theta $. Mutta tämä on yhä epätodennäköisempää, jos tarkkailet jatkuvasti 0 $: n arvoja (eikä kukaan järkevä ihminen jatkaisi huolta suuresta $ \ theta $: sta, kun näet edelleen 0 $).

Kiitos analyysistä. AFAICS tämä on vain esimerkki virheellisen (informatiivisen) oletuksen aiheuttamasta ongelmasta, eikä se kerro mitään Bayesin lähestymistavan sisäisestä johdonmukaisuudesta?
Ei, priori ei ole välttämättä virheellinen, paitsi jos todellisuudessa ei havaittu 0 dollarin arvoa ennen kokeen suorittamista (tai hankkimasta vastaavaa tietoa). Se tarkoittaa pohjimmiltaan, että kun todellisesta $ \ theta $: sta tulee mielivaltaisesti suuri, todennäköisyys näiden implisiittisten havaintojen havaitsemisesta tulee mielivaltaisesti pieneksi (kuten "epäonnisen näytteen" saaminen).
Näet huomaamalla, että näyte koostuu havainnosta $ 0 $: lla ja toisesta $ X $: n havainnosta. $ 0 $ on kiinteä (koska sitä on havaittu), mutta $ X $ on useimmissa tapauksissa lähellä $ \ theta $. Joten kun $ \ theta $ kasvaa suureksi, otoksen keskiarvo etenee yhä kauemmas sekä $ X $: sta että $ 0 $: sta, ja koska varianssi on kiinteä, CI: n leveys on kiinteä, joten se ei lopulta sisällä kumpaakaan $ X: tä $ tai $ 0 $, joten älä ole lähellä kumpaakaan $ \ theta $: n kahdesta todennäköisestä arvosta (jommankumman on poikkeama, kun ne tulevat kauas toisistaan, kiinteälle $ \ theta $)
Teit virheen luottamusvälin kuvauksessa, jonka pitäisi olla: $$ X \ pm Z _ {\ alpha / 2} $$ ja tämä ei * ole * yhtäpitävä uskottavan aikavälin kanssa $$ cX \ pm c Z _ {\ alpha / 2} $$ Tämä pätee kaikkiin arvoihin $ \ tau> 0 $, joiden $ c = \ frac {\ tau ^ 2} {\ tau ^ 2 + 1} <1 $
@sextus empiricus - tämä pätee vain, jos jätät huomioimatta ennakkoon implisiittiset tiedot (ts. Aseta $ \ tau ^ 2 \ arvoon \ infty $).Jotta ongelmista saadaan vastaavia käytetyn tiedon suhteen, CI-menettelyn on lisättävä näennäispisteet ennen tilastojen laskemista.Kun teet tämän, intervallit ovat sama.
Näytät sanovan, että tieto, joka luo implisiittisesti priorin, antaa vastaavan tuloksen usein ajattelevassa lähestymistavassa.Mutta entä jos nämä tiedot $ Y $ ja $ X $ otettaisiin näytteille i.i.d $ \ theta_Y, \ theta_X $ sijasta $ \ theta_Y = \ theta_X $?Jos olet havainnut aiemmista havainnoista / arvioista $ \ theta_1, \ theta_2, ..., \ theta_k $, että $ \ theta \ sim N (0, \ tau ^ 2) $, ei ole oikein / luottamuslisätä uutta havaittua dataa / otosta (uuden $ \ theta_ {k + 1} $: n arvioimiseksi) "keinotekoisilla" tiedoilla (se tarkoittaisi, että CI: n onnistumisaste ei ole riippumaton $ \ theta_ {k + 1} $: sta)
@sextus empiricus - käsittelet toisenlaista ongelmaa nyt.Tämä useiden $ \ theta_k $ -ongelmien ongelma ei ole tässä tarkasteltava esimerkki.On vain yksi yksittäinen arvo $ \ theta $ (eli sama kuin taajuusongelma).PDF kuvaa sen arvon epävarmuutta.
@probabiltyislogic miksi pidät vain sitä Wassermanin ongelman makua, jossa uskottavat intervallit ja luottamusvälit yhtyvät?Onko käytännön tilanne, että priori voidaan aina korvata datalla + epätietoisella priorilla?Uskon, että näin ei usein ole.(käytännön esimerkki ongelmastani, jonka otin, on esimerkiksi silloin, kun $ \ theta $ on henkilön älykkyysosamäärä ja $ X $ on älykkyysarvotestin tulos; usein nämä testit ottavat luottamusvälit uskottavien välejen sijasta ja MLE suurimpien takaosien sijastatodennäköisyys ilmaista IQ-ennusteita)
@sextus empiricus - tarkastelen vain tätä tapausta, koska juuri siinä keskustelussa olleessa artikkelissa - en halunnut luoda "olkimies" puhumalla toisesta ongelmasta.Jos pystyt keksimään esimerkin, jonka mielestäsi bayes on huonompi, sinun tulee lähettää se.
@probabilityislogic Sekä Wasserman kuvassa 12.1 '' Kaikki tilastot '' että Jaynes 'Luottamusvälit vs Bayesian intervallit' kuvaavat tapauksia, joissa ne * eivät * ole sama.Toki jos käytät ei-informatiivista etukäteen Bayesin menetelmässä (kuten Jaynes osoitti) tai jos lisäät näytetietoja puolueellisilla tiedoilla taajuusmuuttajan menetelmässä (kuten osoitit), nämä kaksi menetelmää yhtyvät.Mutta sekä Jaynes että Wasserman kuvaavat tapauksia, joissa et (jostain syystä) * ei * tee tätä .......
.... Bayesilaisen / usein esiintyvän hoidon haittana / etuna on, että ennakkoluulot parantavat / vähentävät tarkkuutta / tarkkuutta riippuen puolueellisuuden oikeellisuudesta / virheellisyydestä.Jaynes väittää, että Bayesin menetelmä on parempi (kun käytetään älykkäästi ennakkotietoa / tietoa) tai ainakin sama (kun käytetään yhtenäistä ennakkoa) ja bonuksena se on myös helpompi laskea ja intuitiivisempi.Mutta ongelmana on, että käytettäessä menetelmää voidaan väärinkäyttää ja käyttää prioreja väärin ja tehdä menetelmä subjektiivisesti epätarkaksi (päinvastoin, gyakorismin menetelmä on subjektiivisesti liian konservatiivinen) ....
.... Uskon, että tämä ennakkotietojen käytön etujen ja haittojen välinen kontrasti / ero on se kohta, jota Wasserman haluaa kuvata.(Uskon, että voit tehdä frekvenssimenetelmän samanlaiseksi lisäämällä puolueellisuutta näytteistettyihin tietoihin).
#3
+11
Joris Meys
2010-09-04 01:24:52 UTC
view on stackexchange narkive permalink

Ongelma alkaa lauseestasi:

Vääriin aikaisempiin oletuksiin perustuvia esimerkkejä ei voida hyväksyä, koska ne eivät kerro mitään eri lähestymistapojen sisäisestä johdonmukaisuudesta.

Joo hyvin, mistä tiedät, että aikaisempi on oikea?

Otetaan esimerkiksi Bayesin päätelmä phylogenyssä. Ainakin yhden muutoksen todennäköisyys liittyy evoluutioaikaan (haaran pituus t) kaavalla

$$ P = 1-e ^ {- \ frac {4} {3} ut} $$

jossa u on korvausnopeus.

Nyt haluat tehdä mallin evoluutiosta, joka perustuu DNA-sekvenssien vertailuun. Pohjimmiltaan yrität arvioida puun, jossa yrität mallintaa muutosmäärää DNA-sekvenssien välillä mahdollisimman lähellä. Yllä oleva P on mahdollisuus ainakin yhteen muutokseen tietyssä haarassa. Evoluutiomallit kuvaavat mahdollisuuksia muutokseen kahden nukleotidin välillä, ja näistä evoluutiomalleista johdetaan estimointitoiminto joko parametrilla p tai parametrina t.

Sinulla ei ole järkevää tietoa ja valitsit tasaisen etusivun sivulle. Tämä tarkoittaa luonnostaan ​​eksponentiaalisesti pienenevää arvoa t. (Tulee entistä ongelmallisemmaksi, jos haluat asettaa tasaisen etukäteen t: lle. Oletettu p: n edeltävä aste riippuu voimakkaasti siitä, mihin katkaiset t: n alueen.)

Teoriassa t voi olla ääretön. , mutta kun sallitaan ääretön alue, sen tiheysfunktion alla oleva alue on yhtä suuri kuin ääretön, joten sinun on määritettävä katkaisupiste priorille. Kun valitsit katkaisupisteen riittävän suureksi, ei ole vaikeaa todistaa, että uskottavan aikavälin molemmat päät nousevat, ja tietyssä vaiheessa todellinen arvo ei enää sisälly uskottavaan väliin. Ellei sinulla ole kovin hyvää ajatusta priorista, Bayesin menetelmien ei voida taata olevan yhtä suuria tai parempia kuin muilla menetelmillä.

Viite: Joseph Felsenstein: Inferring Phylogenies, luku 18

Olen kyllä ​​kyllä ​​kyllästynyt siihen Bayesin / Frequentist-riitaan. Ne ovat molemmat erilaisia ​​kehyksiä, eikä myöskään Absoluuttinen totuus. Klassiset esimerkit Bayesin pro-menetelmistä ovat poikkeuksetta peräisin todennäköisyyksien laskemisesta, eikä yksikään usein esiintyvä ole ristiriidassa niiden kanssa. Klassinen argumentti Bayesin menetelmiä vastaan ​​sisältää aina priorin mielivaltaisen valinnan. Ja järkevät priorit ovat ehdottomasti mahdollisia.

Kaikki johtuu kummankin menetelmän oikeasta käytöstä oikeaan aikaan. Olen nähnyt hyvin vähän argumentteja / vertailuja, joissa molempia menetelmiä sovellettiin oikein. Minkä tahansa menetelmän oletukset ovat hyvin aliarvioituja ja liian usein jätetty huomiotta.

EDIT: selvennyksen vuoksi ongelma on siinä, että p-arvoon perustuva arvio eroaa Bayesin puitteissa t-arvoon perustuvasta arviosta, kun työskenteleminen epätietoisten priorien kanssa (mikä on monissa tapauksissa ainoa mahdollinen ratkaisu). Tämä ei ole totta filogeneettisen päättelyn ML-kehyksessä. Kyse ei ole väärästä etupäästä, vaan menetelmästä.

On mahdollista olla kiinnostunut Bayesin ja usein esiintyvien tilastojen eroista ilman, että se olisi riitaa. On tärkeää tuntea ensisijaisen lähestymistavan puutteet ja edut. Poissuljin nimenomaan priorit, koska se ei ole sinänsä puitteiden ongelma, vaan vain GIGOn asia. Sama pätee usein esiintyvien tilastoihin, esimerkiksi olettaen ja virheellisen parametrisen jakauman tiedoille. Se ei olisi kritiikkiä gyakorismin metodologiasta, vain kyseisestä menetelmästä.
Jaynesin ensimmäinen esimerkki: Yksikään järkevällä tilastotieteilijä ei koskaan käytä F-testiä ja T-testiä kyseisessä tietojoukossa. Sen lisäksi hän vertaa kaksisuuntaista testiä P (b> a): een, joka ei ole sama testattu hypoteesi. Joten hänen esimerkkinsä ei ole oikeudenmukainen, minkä hän olennaisesti myöntää myöhemmin. Sen lisäksi et voi verrata "kehyksiä". Mistä me sitten puhumme? ML, REML, LS, rangaistavat menetelmät, ...? kertoimet, tilastot, ennusteet, ...? Voit myös kysyä, vastaako luterilainen palvelu shiittipalveluja vai ylittääkö ne sen. He puhuvat samasta Jumalasta.
Voisitteko selvittää, mitkä ovat tietosi ja mitkä parametrit arvioisit mallissasi? Olen tässä asiassa hieman hämmentynyt. Voisitko myös käyttää $$: n sijasta kaavan keskittämiseen? Kirjasinkoko on tällä hetkellä hyvin pieni.
@Srikant: Felsensteins-kirjan esimerkki perustuu Jukes-Cantor-malliin DNA-evoluutiolle. Tiedot ovat DNA-sekvenssejä. Haluat arvioida jaksosi muutoksen todennäköisyyden, joka liittyy haarasi pituuteen mainitun kaavan perusteella. Haarojen pituudet määritellään evoluution ajaksi: mitä suurempi mahdollisuus muutoksiin on, sitä enemmän aikaa kului esi-isän ja nykyisen tilan välillä. Anteeksi, mutta en voi tiivistää ML: n ja Bayesin filogeneettisen päättelyn taustalla olevaa teoriaa vain yhteen viestiin. Felsenstein tarvitsi siihen puoli kirjaa.
Luulen vain, että halusin sinun selventävän, mitkä muuttujat yhtälössäsi olivat tietoja ja mitkä olivat parametri, koska viestiäsi ei ollut selvää etenkään minun kaltaiselleni ulkopuoliselle. Olen edelleen eksynyt, mutta luulen, että minun pitäisi lukea kirja saadaksesi lisätietoja.
-1
Minulle ei ole selvää, miksi on ongelma, että tasainen p-p: n edessä tarkoittaa eksponentiaalisesti pienenevää ennen t: tä. Jos se on ristiriidassa biologisen tiedon kanssa, se tarkoittaa yksinkertaisesti sitä, että p: n tasainen taso ei heijasta todellista ennakkotietoa, en myöskään näe miksi on ongelma käyttää väärää tasoa ennen t: tä (muuta kuin olisin ajatellut se on ristiriidassa ennakkotietojen kanssa; haaratoiminnan aikaa ei voida sanoa miljardiksi vuodeksi, jos emme olisi vielä täällä, joten ei ole tarkoituksenmukaista käyttää tasaista prioria). .
@Dikran: se ei ole ongelma. Se on tosiasia. Ongelmana on, että p ja t ovat tiukasti yhteydessä toisiinsa, ja siksi niiden pitäisi antaa täsmälleen sama malli. Näin tapahtuu ML-lähestymistavassa, mutta sitä ei tapahdu Bayesin lähestymistavassa. Felsensteinsin esimerkissä t-priorin katkaisu 700: lla tai enemmän tekee siitä, että uskottava väli ei enää peitä todellista arvoa. Tässä nimenomaisessa tapauksessa, ts. Ennakkotiedon puute, Bayesin johtopäätös ei vain ole mahdollista. Ei ole mitään järkevää "epäinformatiivista" ennakkoarvoa, jota voidaan käyttää.
@Dikran: Litteän t-priorin suhteen: priori katkaistaan. Kun katkaistaan ​​5 (!): Ssä, suurin osa p: n priorin massasta keskittyy maksimip-arvon ympärille. Suuremmilla katkaisuarvoilla tämä vaikutus on vielä selvempi. Asia on jälleen kerran - että on mahdotonta löytää järkevää etukäteen, kun sinulla ei ole aikaisempaa tietoa filogeneettisestä päättelystä.
Joris, luulen, että sinulta puuttuu asia, tasainen priori ei välttämättä ole informatiivinen. On täysin kohtuullista, että sama tieto / tietämättömyys ilmaistaan ​​tasaisella p-merkillä p (ja sanotaan) tasaisella ennen log-logia (t) (joka on hyvin yleinen Jeffreyn priori) eikä tasaisella ennen t-arvoa. Tutkitaanko kirjassa MAXENT- ja muunnosryhmien ideoita tästä ongelmasta? Esimerkissäsi ei ole tarpeeksi yksityiskohtia, mutta sen perusteella, mitä voin kertoa jopa katkaistun tasaisen t: n ennen t: tä, on todennäköisesti ristiriidassa t: n aikaisemman tietämyksen kanssa.
@Joris, ehdottaa myös alkuperäisessä kommentissasi, että tasainen ennen t on katkaistava, koska muuten tiheysfunktion alla oleva alue on rajaton. Tämä ei ole totta, on paljon ongelmia, joissa väärät priorit toimivat hyvin, joten asunnon etukäteen ei välttämättä tarvitse katkaista.
@Dikran: Arvaa, että puuttuu asia: saman epätietoisen priorin käyttäminen antaa kaksi erilaista mallia, joissa on Bayesin tilastot samassa tietojoukossa. Ei niin ML: n kanssa. Bayesilaiset voivat olla hyvin puolueellisia johtuen mallin luonteesta ja sen yhteensopimattomuudesta äärettömien priorien kanssa. Sinun ei tarvitse uskoa minua. Felsenstein on fylogeneettisen päättelyn auktoriteetti, ja hänen kirjansa selittää sinut paremmin kuin pystyn. Viite edellisessä kommentissa.
@Joris,, kuten sanoin, tasainen etu EI OLE TARVITTAVASTI INFORMAATTINEN. Harkitse tätä, jos kaksi prioriaa antaa erilaisia ​​tuloksia, täytyy niiden loogisesti edustaa erilaista ennakkotietotilaa (katso Jaynes-kirjan varhaiset luvut, joissa esitettiin desiderata Baysian päätelmille). Siksi "tasainen p" priori ja "tasainen t" prior eivät voi molemmat olla epätietoisia. Felsenstein voi olla asiantuntija filogeneettisissä johtopäätöksissä, mutta on mahdollista, että hän ei ole Bayesin johtopäätösten asiantuntija. Jos hän toteaa, että kaksi erilaista tulosta antavaa prioriaa ovat molemmat epätietoisia, hän on ristiriidassa Jaynesin kanssa.
@Dikran: Kyse ei ole siitä, onko tasainen priori epätietoinen. Asia on, että tyydyttävää epätietoista prioria ei voida määritellä mallin luonteen vuoksi. Siksi koko menetelmä muuttuu käyttökelvottomaksi, jos sinulla ei ole ennakkotietoja, ja johtaa siten johtopäätökseen, että Bayesin päättely on tässä tapauksessa huonompi kuin ML-lähestymistapa. Felsenstein ei koskaan sanonut, että tasainen priori oli epätietoinen. Hän vain havainnollisti, miksi epätietoista prioria ei voida määrittää käyttämällä tasaisen priorin esimerkkiä.
@Joris - voi olla, että tässä tapauksessa ei voida muodostaa epätietoista prioria, mutta mikään tähän mennessä kirjoittamasi ei osoita, että näin olisi. Mitä Felsenstein kirjoittaa MAXENT- ja transformaatioryhmistä (kaksi pääasiallista tekniikkaa, jota käytetään tietyn ongelman määrittämiseksi tietylle ongelmalle)? Jos hän ei ole tutkinut noita menetelmiä, kuinka hän voi tietää, että epätietoinen priori on mahdotonta? Minusta näyttää siltä, ​​että p: n tasainen priori vastaa tasaista puuta (t), joka on hyvin tunnettu Jeffreysin priori. Voitteko osoittaa, että tasainen tukki (t) ennen on informatiivinen?
Minulle annettiin äskettäin kopio Felsensteinin kirjasta. Luvussa 18 hän ei sano miksi et voi käyttää väärää tasoa ennen 0-ääretöntä. Hän ei myöskään mainitse MaxEntia tai muutosryhmiä kritisoidessaan yhtenäistäviä pappeja. Vaikka muu kirja voi olla erittäin hyvä; tämä viittaa riittämättömään stipendiin kyseisessä asiassa. Varoituskirja - vain koska jokin näkyy oppikirjassa tai päiväkirjalehdessä, ei tarkoita, että se on oikein.
@Dikran:-entropian maksimointi ilman testattavaa tietoa saa vain yhden rajoituksen: todennäköisyydet summaavat yhteen. Useimmiten tasainen jakauma viedään sinne. En pidä sitä itsestäänselvyytenä, mutta olen samaa mieltä Felsensteinsin laskelmien ja perustelujen kanssa. Joten olemme eri mieltä, kuten useammat ihmiset tällä alalla. Felsenstein, jos kaikki eivät suinkaan hyväksy sitä, enkä hyväksy kaikkea, mitä hän sanoo. Mutta tässä vaiheessa seuraan häntä. Joskus Bayesin lähestymistapa ei ole parempi kuin toinen. Ja hänen kuvailema tapaus on yksi tällainen tapaus mielestäni. YMMV.
En tarkoita, että Bayesin lähestymistapa olisi parempi kuin usein esiintyvä - hevoset kursseille. Tässä tapauksessa avaimet ovat todennäköisesti muunnosryhmillä. On täysin mahdollista, että haarojen pituus, joka on invariantti käytettyihin yksiköihin, vastaa tasaista ennen muutoksen todennäköisyyttä - jolloin Felsensteinsin kritiikki on huonosti väärä. Epätietoiset priorit eivät välttämättä ole tasaisia, ja on epäasianmukaista kritisoida epätietoisia prioreita mainitsematta tavallisia menettelyjä heidän löytämisekseen! Eikä tämä tarkoita sitä, että Bayesian on tietysti parempi.
Tämä on erittäin huono esimerkki Bayesin menetelmien "alemmuudesta", täsmälleen samantyyppisestä, josta Jaynes puhuu vuonna 1976 julkaisussaan. Sinun on kirjoitettava, mitä * numeerinen / matemaattinen yhtälö *, jota ML (tai muu taajuusmenetelmä) tekee, * ja vastaava Bayesin menetelmä ja sen numeerinen vastaus! * Olet kirjoittanut mallin muistiin, mutta et ole ratkaisu mitään tekemistä sen kanssa! Loput vastauksestasi paranisivat huomattavasti, jos kirjoittaisit muistiin, mikä ML: ää käyttävä yleinen vastaus todellisuudessa on.
@probabilityislogic: Annoin viitteet. Tämä on keskustelusivusto, ei tieteellinen lehti. Lue kommentit ja antamani viite saadaksesi lisätietoja. ja ennen kuin kutsut sitä huonoksi esimerkiksi.
@joris-tiedostot - Ymmärrän, että annoit viitteen, mutta keskustelussa ei puhuta * kuinka * luottamusväliratkaisu on parempi kuin Bayesin uskottava intervalli. Tämä tarkoittaa, että luottamusvälin on periaatteessa oltava * laskematon * Bayesin menetelmiä käyttäen. Näyttämällä saman aikavälin antavan Bayesin ratkaisun voit osoittaa, mitä aikaisempia tietoja implisiittisesti sisältyi menettelyyn luottamusvälin luomiseksi.
@probabilityislogic: koko keskustelu pyörii Felstensteinsin väitteen mukaan, että on mahdotonta asettaa etusijaa tekemättä mahdottomia oletuksia joko ajasta tai mutaationopeudesta. Muista, että puhumme filogeneettisistä puista. Tämä käsite muodostaa melko erilaisen kehyksen, koska se ei ole klassinen yhtälömalli reaalilukujen tilassa. Ehdotan, että luet hänen kirjansa luvun nähdäksesi hänen väitteensä siitä, kuinka tietyissä olosuhteissa Bayesin lähestymistapa voidaan osoittaa vääräksi. Haluaisin korostaa, että tämä on YKSI esimerkki. Se ei sano mitään Bayesianista yleensä.
-1
@Joris Meys - Arvostan viittausta kirjaan (mutta se näyttää siltä kuin ilman linkkiä, minun on ostettava hänen kirjansa lukemaan viitteesi), missä kaikki argumentit ovat. Mallille esittämäsi yhtälö on riittävän yksinkertainen (0

0, u> 0 ja niiden välinen suhde), itse asiassa se voidaan ilmaista muodossa $ P = Pr (Y

Anteeksi (jälleen kerran), kirjoitin murto-osan väärin (tänään ei vain ole päiväni!). Joten sen pitäisi olla, että voit kirjoittaa $ P = Pr (Y <\ frac {4u} {3}) $ missä $ Y \ sim Expo (t) $ niin, että $ E (Y) = \ frac {1} {t } $. Jos emme huomaa $ u $: ta tai $ t $: ta, mallia ei voida tunnistaa (ts. On ääretön määrä $ u $ - ja $ t $ -arvoja, jotka antavat saman $ P $: n).
@probabilityislogic - Minulla on Felsensteinin kirja, valitettavasti hänen perustelunsa ovat virheelliset, koska hän näyttää ajattelevan, että kaikki tasaiset priorit ovat epätietoisia ja päinvastoin, ja pitää siksi sitä, että kaksi saman aseman eri parametroinnissa olevaa tasaista prioriaa antaa erilaisia ​​johtopäätöksiä, on viitteitä siellä on ongelma. Lähtökohta on väärä, ja johtopäätös ei ole yllättävä muunnosryhmien ajatusta tunteville. Pohjimmiltaan epäinformatiivisen haaran pituuden tulisi olla epäherkkä yksiköiden valinnalle, mikä antaisi logaritmisen mittakaavan tasaisen priorin.
@Joris, voitko antaa tietyn sivunumeron?
kommentti poistettu - mitä tahansa ...
-1
@probabilityislogic: Felstensteinin mielestä t ja u ovat yhteydessä toisiinsa. Tarkoituksena on, että tasainen etuosa t: n kohdalla antaa suuresti puolueellisen prioriteetin u: lle ja päinvastoin. Sinun on käytettävä prioria, joka suosii tiettyjä arvoja jommallekummalle, jotta sinulla olisi priori, jolla on todellakin ** biologisesti järkevää. Joten sinun on tiedettävä ainakin jotain joko muunnosnopeudesta tai mutaatioajasta, jotta voit käyttää esim. MrBayesia phylogenyssä.
@Joris, on jonkin aikaa sitten lukenut kyseisen luvun, mutta IIRC Felseneteins -ongelmana oli, että tasainen ennen oksan pituutta on biologisesti epätodennäköistä. Olen samaa mieltä, mutta tasainen etuhaaran oksan pituus ei välttämättä ole epätietoinen priori. Felsensteing näyttää ajattelevan (väärin), että vain tasaiset priorit ovat epätietoisia, eikä siksi tiedä muista valinnoista, jotka voivat olla epätietoisia ja biologisesti uskottavia. Haluan kuitenkin huomauttaa, että jos sinulla on tietoa siitä, mikä on ja mikä ei ole biologisesti uskottavaa, niin et ole täysin tietämätön, eikä sinun pitäisi olla etusijasi!
@Joris "Felstensteinin koko seikka on, että t ja u ovat yhteydessä toisiinsa. Tarkoituksena on, että tasainen edellinen t: n kohdalla antaa paljon puolueellisen prioriteetin u: lle ja päinvastoin" Saattaa olla, että tämän puolueellisuuden saat, jos teet vähän informatiivisen etukäteen, joka sisältää ennakkotiedot siitä, että mittayksiköillä ei pitäisi olla vaikutusta johtopäätökseen (muunnosryhmät).
@joris Ymmärrän, mitä yrität sanoa, asettamalla etusijalle kuvaat * tietotilaa *, aivan kuin asettaisit näytteenottojakaumaa. Nyt $ P $: n edeltävässä univormussa kuvaat * tiedon tilaa *, että tietyllä haaralla voi tapahtua "ei muutosta" ja "yksi tai useampi muutos". Todennäköisyysteoria kertoo kuinka * johdonmukaisesti * muuttaa tämä samaksi tietotilaksi * noin $ t $, kun tiedät tietosi $ P $: n ja $ t $: n välisestä suhteesta. Joten "tasainen" priori $ t $: lle kuvaa välttämättä * erilaista tiedon tilaa *.
Se, että ratkaisut ovat erilaisia, ei ole enempää eikä yhtä yllättävää kuin jos käyttäisit eri mallia P: n ja t: n välillä.
Olen hieman utelias, kuinka ML-ratkaisu toimii $ t $: lla, jos vain kytket $ P $: n todennäköisyyksiisi. Johdannainen on (ketjusäännön mukaan) $ \ frac {dL} {dt} = \ frac {dL} {dP} \ frac {dP} {dt} = 0 $, mutta funktion $ P $ funktiosta tämä tarkoittaa $ \ fr frac {dP} {dt} = \ frac {4u} {3} e ^ {- \ frac {4} {3} ut} $, joten asettamalla $ u \ rightarrow 0 $ ja $ t \ rightarrow \ infty $ siten, että $ P $ on muuttumaton (ja yhtä suuri kuin $ P_ {MLE} $) ratkaisisiko ML-yhtälön? Vai onko $ u $: ssa jotain, jota ei mainita tiedoissa?
@Dikran: kaavio T: n katkaisusta on esitetty sivulla 305 (kuva 18.7)
@probabilityislogic: puhumme puista. Puun todennäköisyys on kaikkien todennäköisyyksien kertominen puun jokaisessa paikassa (solmu), joka määritetään kaikkien mahdollisten nukleotidien summana, jotka ovat saattaneet esiintyä puun sisäsolmuissa, kunkin skenaarion todennäköisyydestä. Tapahtumat. Ja tämä todennäköisyys määritetään mallilla, johon liittyy T (tai u), Jukes-Cantor-malli on helpoin. Kuten sanottu, fülogeneesi ei sovi mihinkään klassiseen kehykseen.
@probabilityislogic: Bayesin takaosien todennäköisyyksien ympärille on nykyään rakennettu lukuisia kehyksiä vaihtoehtona käynnistyshihnan tukiarvoille, mutta suurin osa tutkimuksista päättelee - oikeutetusti - että molempia ei voida verrata. Ja aikaisempien syntymäkuolemaprosessien (tietopohjaisten) arvioiden kannalta on käytetty laajasti haarojen pituuksien teoreettisia jakaumia. Bayesin sovellukset, kuten mrBayes, voivat lyhentää laskuaikaa merkittävästi, mutta keskustellaan edelleen siitä, toimivatko ne paremmin vai huonommin, argumentin molemmat puolet tuovat "todisteita" vaatimukselle.
-1
@Joris, Kuva 18.7 sivulla 305 osoittaa vain, että käyttämällä informatiivista (ei epäinformatiivista) etukäteen suurin todennäköisyysestimaatti on Bayesin uskottavan aikavälin ulkopuolella. Siinä ei ole mitään vähäisintä yllättävää. Kuten jo on todettu, tasainen haaran pituus ennen haaran pitämistä ei todennäköisesti ole informatiivista (transformaatioryhmät), varsinkin kun se on tarpeettomasti katkaistu (on mahdollista käyttää sopimattomia prioreja).
Mielestäni jotain, joka on ehkä unohdettu yllä olevassa keskustelussa (mukaan lukien minä), on se, että ML-ratkaisu on täsmälleen yhtä suuri kuin nivelen takaosan tiheyden maksimiarvo käyttämällä yhtenäistä prioria (niin $ p (\ theta | X) \ propto p (X | \ theta) $ ($ \ theta $ on parametrien vektori). Joten et * voi * väittää, että ML on hyvä ja Bayes ei, koska ML vastaa matemaattisesti Bayesin ratkaisua (tasainen ennen ja 0- Sinun on löydettävä ratkaisu, jota * ei voida tuottaa Bayesin menetelmillä.
#4
+11
probabilityislogic
2011-01-19 14:05:54 UTC
view on stackexchange narkive permalink

Keith Winstein,

MUOKKAA: Selvyyden vuoksi tässä vastauksessa kuvataan esimerkkiä, joka on annettu Keith Winsteinin vastauksessa kuninkaalle julmalla tilastopelillä. Bayesin ja Frequentistin vastauksissa molemmat käyttävät samoja tietoja, eli jätetään huomiotta reilujen ja epäoikeudenmukaisten kolikoiden lukumäärä intervalleja muodostettaessa. Jos näitä tietoja ei jätetä huomiotta, yleisen esiintyjän on käytettävä integroitua beeta-binomiaalista todennäköisyyttä näytteenottojakaumana luottamusvälin muodostamisessa, jolloin Clopper-Pearsonin luottamusväli ei ole sopiva, ja sitä on muutettava. Samanlainen säätö tulisi tapahtua Bayesin ratkaisussa.

MUOKKAA: Olen myös selventänyt Pearsonin intervallin Clopperin ensimmäistä käyttöä.

MUOKKAA: Valitettavasti alfani on väärin, ja leikkurin päärynävälini on väärä. Nöyrin anteeksi @whuberille, joka huomautti tämän oikein, mutta jolle alun perin olen eri mieltä ja jättänyt huomiotta.

Clopper Pearson -menetelmää käyttävä CI on erittäin hyvä

Jos saat vain yhden havainnon, Clopper Pearsonin intervalli voidaan arvioida analyyttisesti. Oletetaan, että kolikko on "menestys" (pää), sinun on valittava $ \ theta $ siten, että

$$ [Pr (Bi (1, \ theta) \ geq X) \ geq \ frac {\ alpha} {2}] \ cap [Pr (Bi (1, \ theta) \ leq X) \ geq \ frac {\ alpha} {2}] $$

Kun $ X = 1 $ nämä todennäköisyydet ovat $ Pr (Bi (1, \ theta) \ geq 1) = \ theta $ ja $ Pr (Bi (1, \ theta) \ leq 1) = 1 $, joten Clopper Pearsonin CI tarkoittaa, että $ \ theta \ geq \ frac {\ alpha} {2} $ (ja triviaalisesti aina totta $ 1 \ geq \ frac {\ alpha} {2} $), kun $ X = 1 $. Kun $ X = 0 $, nämä todennäköisyydet ovat $ Pr (Bi (1, \ theta) \ geq 0) = 1 $ ja $ Pr (Bi (1, \ theta) \ leq 0) = 1- \ theta $, joten Clopper Pearson CI tarkoittaa, että $ 1- \ theta \ geq \ frac {\ alpha} {2} $ tai $ \ theta \ leq 1- \ frac {\ alpha} {2} $, kun $ X = 0 $. Joten 95%: n luottamusvälistä saamme $ [0.025,1] $, kun $ X = 1 $, ja $ [0.0.975] $, kun $ X = 0 $.

Näin ollen Clopper Pearsonin luottamusväliä käyttävää ei koskaan päätä. Intervallia tarkkailemalla se on pohjimmiltaan koko parametriavaruus. Mutta C-P-väli tekee tämän antamalla 100% peiton oletettavasti 95%: n väleille! Pohjimmiltaan, Frequentistit "huijaavat" antamalla 95%: n luottamusvälillä enemmän kattavuutta kuin häntä pyydettiin (vaikka kuka ei huijaisi tällaisessa tilanteessa? Jos olisin minä, antaisin koko [0, 1] väli). Jos kuningas pyysi tarkkaa 95%: n luottamusväliä, tämä usein esiintyvä menetelmä epäonnistuu riippumatta siitä, mitä todella tapahtui (ehkä parempi menetelmä on olemassa?).

Entä Bayesin väli? (erityisesti korkeimman takaosan raskauden (HPD) Bayesin väli)

Koska tiedämme a priori , että sekä päät että hännät voivat tulla esiin, yhtenäinen priori on järkevä valinta. Tämä antaa posteriorijakauman $ (\ theta | X) \ sim Beta (1 + X, 2-X) $. Nyt meidän tarvitsee vain luoda intervalli 95%: n takaosalla. Samoin kuin Clopper Pearson CI, kumulatiivinen beetajakauma on myös tässä analyyttinen, joten $ Pr (\ theta \ geq \ theta ^ {e} | x = 1) = 1 - (\ theta ^ {e}) ^ {2 } $ ja $ Pr (\ theta \ leq \ theta ^ {e} | x = 0) = 1- (1- \ theta ^ {e}) ^ {2} $ asettamalla nämä arvoon 0,95, saadaan $ \ theta ^ {e } = \ sqrt {0.05} \ noin 0.224 $, kun $ X = 1 $ ja $ \ theta ^ {e} = 1- \ sqrt {0.05} \ noin 0.776 $, kun $ X = 0 $. Joten kaksi uskottavaa väliä ovat $ (0,0.776) $, kun $ X = 0 $ ja $ (0.224,1) $, kun $ X = 1 $.

Siksi Bayesin päätä miinoitetaan hänen HPD Credible -mallistaan väli siinä tapauksessa, että hän saa huonon kolikon ja huono kolikko tulee esiin hännät, joita esiintyy $ \ frac {1} {10 ^ {12} +1} \ kertaa \ frac {1} {10} \ noin 0 $.

Ensimmäinen havainto, Bayesin intervalli on pienempi kuin luottamusväli. Toinen asia on, että Bayesin kansalainen olisi lähempänä todellista ilmoitettua kattavuutta, 95%, kuin usein esiintyvä. Itse asiassa Bayesian on melkein yhtä lähellä 95 prosentin kattavuutta kuin tähän ongelmaan voidaan saada. Ja päinvastoin kuin Keith väittää, jos huono kolikko valitaan, 10 Bayesialaista sadasta menettää keskimäärin päänsä (ei kaikkia, koska huonon kolikon täytyy nousta päähän, jotta väli ei sisällä 0,1 dollaria).

Mielenkiintoista on, että jos yhden havainnon CP-aikaväliä käytettiin toistuvasti (joten meillä on N tällaista aikaväliä, joista kukin perustuu 1 havaintoon), ja todellinen osuus oli mikä tahansa välillä 0,025 $ - 0,975 $, niin kattavuus 95%: n luottamusvälistä tulee aina olemaan 100% eikä 95%! Tämä riippuu selvästi parametrin todellisesta arvosta! Joten tämä on ainakin yksi tapaus, jossa luotettavuusvälin toistuva käyttö ei johda haluttuun luottamustasoon.

Lainatakseni aito 95%: n luottamusväli, sitten määritelmän mukaan havaitusta intervallista tulisi olla joitain tapauksia (eli ainakin yksi) jotka eivät sisällä parametrin todellista arvoa . Muussa tapauksessa miten 95 prosentin tunniste voidaan perustella? Eikö olisikaan vain kelvollinen tai virheellinen kutsua sitä 90%, 50%, 20% tai jopa 0% väliksi?

En ymmärrä kuinka yksinkertaisesti sanomalla "se tarkoittaa tosiasiassa 95% tai enemmän" "ilman ilmaista rajoitusta on tyydyttävä. Tämä johtuu siitä, että ilmeinen matemaattinen ratkaisu on koko parametriavaruus ja ongelma on triviaali. Oletan, että haluan 50%: n luottamusvälin? jos se rajoittaa vain vääriä negatiiveja, koko parametriavaruus on kelvollinen CI, joka käyttää vain näitä ehtoja.

Ehkä parempi kriteeri on (ja tämä on mielestäni implisiittinen Kiethin määritelmässä) "mahdollisimman lähellä 95 prosenttia, mutta ei alle 95 prosenttia". Bayesin intervallin kattavuus olisi lähempänä 95% kuin taajuusmuuttajan (vaikkakaan ei paljon), eikä se menisi alle 95%: n kattavuuteen ($ \ text {100%} $ kattavuus, kun $ X = 0 $, ja $ 100 \ kertaa \ frac {10 ^ {12} + \ frac {9} {10}} {10 ^ {12} +1} \ text {%} > \ text {95%} $ kattavuus, kun $ X = 1 $) .

Lopuksi näyttää hieman oudolta pyytää epävarmuusväliä ja arvioida sitten tämä väli käyttämällä todellista arvoa, josta emme olleet varmoja. "Oikeudenmukaisempi" vertailu sekä luottamuksen että uskottavien aikavälejen suhteen minusta tuntuu totuudeltaan välein annetun epävarmuuslausunnon .

Ensimmäisessä pääkappaleessasi näytät sekoittaneen $ \ alpha $ ja $ 1- \ alpha $. Mistä arvo 10 ^ 12 + 1 tulee? Mitä tarkoitat sanalla "katkaistuna" ?? Tämä teksti näyttää olevan oikolukua ja tarkistamista.
10 $ ^ {12} $ on biljoonaa reilua kolikkoa ja 1 on epäreilua kolikkoa. Enkä ole sekoittanut $ \ alpha $ ja $ 1- \ alfa $ Clopper Pearsonin aikaväliä [tässä] [1]
[anteeksi kirjoitusvirhe] $ 10 ^ {12} $ (TeX kiinteä) on biljoonaa reilua kolikkoa ja yksi on epäreilua kolikkoa, yksi tämän yli on karkea. "huonon" kolikon todennäköisyydelle. Päätä menettäminen on seurausta väärän luottamusvälin antamisesta. Enkä ole sekoittanut dollareita $ \ alpha $ ja $ 1- \ alpha $ Wiki-sivulla lueteltuja Clopper Pearsonin aikavälejä (hae binomisen osuuden luottamusväli). Tapahtuu, että yksi osa C-P-aikaväliä on tautologia $ 1 \ geq \ frac {\ alpha} {2} $, kun yksi havainto. Sivu "kääntyy", kun X = 1 - X = 0, minkä vuoksi on olemassa $ 1- \ theta $ ja $ \ theta $.
Tarkoitatko @Keith Winsteinin vastausta?
@whuber, kyllä ​​tarkoitan Keith Winsteinin vastausta.
#5
+9
Keith Winstein
2010-09-04 09:22:52 UTC
view on stackexchange narkive permalink

Frequentist-luottamusvälit sitovat väärän positiivisen määrän (tyypin I virheet) ja takaavat, että niiden kattavuutta rajoittaa alla luotettavuusparametri, jopa pahimmassa tapauksessa. Bayesin uskottavuusvälit eivät.

Joten jos asia, josta välität, on vääriä positiivisia ja sinun on sidottava ne, sinun kannattaa käyttää luottamusvälejä.

Sitten kolikko siirretään 100 hengen huoneen ympärille ja jokainen pakotetaan tekemään siihen kokeilu yksityisesti ja sitten kukin henkilö ilmoittaa 95 prosentin epävarmuusvälin siitä, mitä he ajattelevat kolikon pään todennäköisyyden olevan.

Kuka tahansa, joka antaa välin, joka edustaa väärää positiivista - ts. väli, joka ei kata todellista arvoa pään todennäköisyydestä - tullaan menettämään.

Jos halusimme ilmaista kolikon painon / a posteriori / todennäköisyysjakautumistoiminnon, niin tietysti uskottavuusväli tekee sen. Vastaus on aina väli [0,5, 0,5] lopputuloksesta riippumatta. Vaikka käännät nollapäät tai yhden pään, sanot silti [0,5, 0,5], koska on helvetti paljon todennäköisempää, että kuningas piirsi reilun kolikon ja sinulla oli 1/1024 päivä saada kymmenen päätä peräkkäin , kuin että kuningas veti epäoikeudenmukaisen kolikon.

Joten tämä ei ole hyvä idea, että pihamiehet ja kurtisaanit käyttävät sitä! Koska kun epäoikeudenmukainen kolikko vedetään, koko huone (kaikki 100 ihmistä) on väärässä ja heidät kaikki päätään.

Tässä maailmassa, jossa tärkein asia on väärät positiiviset, tarvitsemme ehdottoman takuun siitä, että väärän positiivisen osuus on alle 5% riippumatta siitä, mikä kolikko vedetään. Sitten meidän on käytettävä luottamusväliä, kuten Blyth-Still-Casella tai Clopper-Pearson, joka toimii ja tarjoaa vähintään 95% peiton riippumatta parametrin todellisesta arvosta, jopa pahimmassa tapauksessa . Jos kaikki käyttävät tätä menetelmää, riippumatta siitä, mikä kolikko on vedetty, voimme päivän päätteeksi taata, että vääriä ihmisiä odotetaan olevan enintään viisi.

Joten asia on: jos kriteerisi vaatii väärien positiivisten tietojen sitomista (tai vastaavasti takaa kattavuuden), sinun on mentävä luottamusvälillä. Sitä he tekevät. Luotettavuusvälit voivat olla intuitiivisempi tapa ilmaista epävarmuutta, ne voivat toimia melko hyvin usein esiintyvän analyysin perusteella, mutta ne eivät aio tarjota taattua sitovuutta vääriä positiiveja kohtaan, jotka saat, kun pyydät sitä.

(Tietysti, jos välität myös vääristä negatiivisista, tarvitset menetelmän, joka antaa takeet myös niistä ...)

Ajattelemisen aihetta, mutta erityinen esimerkki on epäoikeudenmukainen, koska usein käytetyn lähestymistavan sallitaan ottaa huomioon väärien positiivisten ja väärien negatiivisten kustannusten suhteelliset kustannukset, mutta Bayesin lähestymistapa ei ole. Oikea asia Bayesin päätöksentekoteorian mukaan on antaa väli [0,1], koska vääriin negatiiveihin ei liity rangaistusta. Joten vertailukehysten vertailussa kukaan bayesilaisista ei koskaan päätä myöskään. Väärien positiivisten sidonnaisuuksien kysymys antaa minulle kuitenkin suunnan etsiä vastausta Jaynesin haasteeseen.
Huomaa myös, että jos valittua kolikkoa käännetään riittävän usein, Bayesin luottamusväli keskitetään lopulta tietyn kolikon pään pitkän aikavälin taajuuteen eikä edelliseen. Jos elämäni riippuisi välillä, joka sisältää pään todellisen todennäköisyyden, en käännä kolikkoa vain kerran!
Tämä esimerkki on kuitenkin hieman enemmän, mutta tämä esimerkki on virheellinen, koska menestyksen mittaamiseen käytetty kriteeri ei ole sama kuin kuninkaan esittämä kysymys. Ongelma on "riippumatta siitä, mikä kolikko vedetään", lauseke, joka on suunniteltu laukaisemaan kaikki menetelmät, joissa käytetään ennakkotietoa puolueellisen kolikon harvinaisuudesta. Kuten tapahtuu, Bayesains voi johtaa myös rajoja (esim. PAC-rajat), ja jos pyydetään, se olisi tehnyt niin, ja epäilen, että vastaus olisi sama kuin Clopper-Pearson -väli. Jotta testi olisi reilu, molemmille lähestymistavoille on annettava samat tiedot.
Dikran, ei tarvitse olla "Bayesians" ja "Frequentists". Ne eivät ole yhteensopimattomia filosofian kouluja, joihin voi liittyä vain yhden! Ne ovat matemaattisia työkaluja, joiden tehokkuus voidaan osoittaa todennäköisyysteorian yhteisissä puitteissa. Huomautukseni on, että JOS vaatimus on absoluuttisesti sidottu vääriin positiivisiin, riippumatta parametrin todellisesta arvosta, SITTEN luottamusväli on menetelmä, jolla tämä saavutetaan. Tietenkin olemme kaikki yhtä mieltä samoista todennäköisyyden aksiomeista ja sama vastaus voidaan johtaa monin tavoin.
Olen samaa mieltä ensimmäisen kanssa, kyse on "hevosista kursseille", mutta esimerkit, jotka osoittavat rajojen sijainnin, ovat mielenkiintoisia ja antavat käsityksen "hevosille" parhaiten soveltuvista "kursseista". Esimerkkien on kuitenkin oltava oikeudenmukaisia, jotta menestyskriteeri vastaa esitettyä kysymystä (Jaynes ei ehkä ole täysin immuuni tälle kritiikille, jota käsittelen vastauksessani, jonka lähetän myöhemmin).
Luotettavuusväli antaa sidoksen vain * odotettuun * väärien positiivisten määrään, ei ole mahdollista asettaa absoluuttista rajaa tietyn näytteen väärien positiivisten lukumäärään (unohdetaan triviaali [0,1] väli). Bayesilainen määrittäisi intervallin siten, että yli viiden päätyksen todennäköisyys on pienempi kuin jokin kynnysarvo (esim. 10 ^ -6). Tämä tuntuu ainakin yhtä hyödylliseltä kuin sidottu odotettuun päämurtumien määrään, ja sillä on se etu, että se on (todennäköisyysperusteinen) sidottu siihen, mitä tapahtuu todelliselle oikeustalon otokselle. Sanoisin, että tämä oli selkeä arvonta.
Luottamusvälit ovat mielestäni * täysin ja täysin hyödyttömiä * JOS kokeilua ei toisteta kohtuullisen monta kertaa (10 tai enemmän). Koska se, sisältääkö $ \ alpha $ -tason CI todellisen parametrin vai ei, on pohjimmiltaan satunnaismuuttuja $ Bernouli (\ alpha), joka on "sekoitettu" niin, että emme tiedä onko havaittu "menestystä" vai ei. epäonnistuminen". Myös tätä ongelmaa on mahdotonta antaa "tarkalleen" CI: lle, koska $ 1 ^ {12} $ kertaa sen 0,5 ja 1 kerran sen 0,1. Näytetäänkö minulle 95% tästä sarjasta? sitä ei ole olemassa! Etkö anna vain kahden numeron joukkoa {0.5,0.1}?
Esitetty kysymys on hieman epäselvä, koska siinä ei ilmoiteta selvästi, mitä * tietoa * sadalla ihmisellä on. Tiesivätkö he pussin jakauman? sillä jos he tekevät, "kokeilu" on hyödytön, annettaisiin vain väli $ [0.1,0.5] $ tai jopa vain kaksi arvoa $ 0.1 $ ja $ 0.5 $ (antaa vaaditun $ \ text {100%} \ geq \ teksti {95%} $ kattavuus). Jos tiedämme vain, että kolikkopussi on vedettävissä, Bayesilaiset määrittelevät koko [0,1] välin, koska väärät positiiviset ovat * kaikki *, jotka ovat tärkeitä tässä kysymyksessä (ja aikavälin * koko *) ei).
Olisin uskonut, että yllä oleva väite pätee yhtä hyvin myös usein esiintyvään. Yllä oleva argumentti (sikäli kuin voin kertoa) ei vedota mihinkään nimenomaisesti Bayesin tai Frequentistin periaatteisiin (vaikka se viittaa * järkevyyden * periaatteeseen).
Luottamusväli ei sido väärien positiivisten osuutta - katso alla olevasta vastauksestani vastaesimerkki väitteeni tueksi.
Hei - kyllä, luottamusvälin kattavuustodennäköisyys on rajoitettu alla luotettavuusparametrilla. Joten 95%: n luottamusvälin peitto on vähintään 95%, riippumatta parametrin todellisesta arvosta. Luotettavuusväli ei tee tätä takuuta, ja sen kattavuus voi olla pienempi kuin todennäköisyys - sillä voi olla jopa 0%: n peitto joillekin parametrin arvoille, kuten esimerkissä "kuningas". Katso tarkempi selitys osoitteesta http://stats.stackexchange.com/questions/2272/whats-the-difference-between-a-confidence-interval-and-a-credible-interval.
@Keith - jos se, mitä sanot, on totta, sinun tulee tuoda esiin virhe, jonka olen tehnyt vastauksessani (liittyy Wassermanin esimerkkiin). Koska tällöin CI: llä ei ole 95%: n kattavuutta parametrin kaikille arvoille. Joten jos olet oikeassa, niin loogisesti minun on täytynyt tehdä virhe jossain laskelmissa.
#6
+4
Sextus Empiricus
2020-01-09 21:08:46 UTC
view on stackexchange narkive permalink

Tässä vastauksessa pyrin kuvaamaan luottamusvälien ja uskottavien aikavälien välisen eron intuitiivisella tavalla.

Toivon, että tämä voi auttaa ymmärtämään:

  • miksi / kuinka uskottavat intervallit ovat parempia kuin luottamusvälit.
  • mistä olosuhteista uskottava väli riippuu ja kun ne eivät aina ole parempia.

Luotettavat intervallit ja luottamusvälit muodostetaan eri tavoin ja voivat olla erilaisia ​​

katso myös: Luottamusvälin muodostamisen peruslogiikka ja Jos uskottavalla aikavälillä on tasainen priori, onko 95%: n luottamusväli yhtä suuri kuin 95%: n uskottava aikaväli? a>

Todennäköisyyslogologisessa kysymyksessä on esimerkki Larry Wassermanilta, jonka suncoolsu mainitsi kommenteissa.

$$ X \ sim N (\ theta, 1) \ quad \ text {where} \ quad \ theta \ sim N (0, \ tau ^ 2) $$

Voimme nähdä jokaisen kokeilun satunnaisarvoilla $ \ theta $ ja $ X $ yhteinen muuttuja. Tämä on piirretty alla 20 000 simuloidulle tapaukselle, kun $ \ tau = 1 $

Wasserman example

Tätä kokeilua voidaan pitää yhteisenä satunnaismuuttujana, jossa sekä havainto $ X $ että taustalla oleva tarkkailematon parametri $ \ theta $ : lla on monimuuttujainen normaali jakauma.

$$ f (x, \ theta) = \ frac {1} {2 \ pi \ tau} e ^ {- \ frac {1} {2} \ left ( (x- \ theta) ^ 2 + \ frac {1} {\ tau ^ 2} \ theta ^ 2 \ oikea)} $$

Sekä $ \ alpha \% $ -luottamusväli että $ \ alpha \% $ - uskottava intervalli piirtää rajat siten, että $ \ alpha \% $ tiheyden $ f (\ theta massasta , X) $ putoaa rajojen sisäpuolelle. Miten ne eroavat toisistaan?

  • Luotettava intervalli piirtää rajat arvioimalla $ \ alpha \% $ -massan vaakasuunnassa siten, että jokaiselle kiinteälle $ X $ massasta $ \ alpha \% $ putoaa ehdollisen tiheyden rajojen väliin $$ \ theta_X \ sim N (cX, c) \ quad \ text {with} \ quad c = \ frac {\ tau ^ 2} {\ tau ^ 2 + 1} $$ putoaa rajojen välissä.

  • Luottamusväli piirtää rajoja arvioimalla $ \ alpha \% $ massan pystysuunnassa siten, että jokaiselle kiinteälle $ \ theta $ massan $ \ alpha \% $ putoaa ehdollisen tiheyden $$ X_ \ theta \ sim N (\ theta, 1) \ hphantom {\ quad \ text {with} \ quad c = \ frac {\ tau ^ 2} {\ tau ^ 2 + 1}} $$

Mikä on erilaista?

TLuotettavuusväli on rajoitettu tavalla, jolla se piirtää rajat. Luottamusväli asettaa nämä rajat huomioiden ehdollisen jakauman $ X_ \ theta $ ja kattaa $ \ alpha \% $ riippumaton siitä, mikä on $ \ theta $ todellinen arvo (tämä riippumattomuus on sekä luottamusvälin vahvuus että heikkous) .

TLuotettava väli tekee parannuksen sisällyttämällä tietoja $ \ theta $ marginaalijakaumasta ja tällä tavoin se pystyy tekemään pienempiä aikavälejä luopumatta keskimääräisestä kattavuudesta, joka on edelleen $ \ alpha \% $ . (Mutta siitä tulee vähemmän luotettava / epäonnistunut, kun lisäoletus, joka koskee prioria, ei ole totta)

Esimerkissä uskottava väli on pienempi kertoimella $ c = \ frac {\ tau ^ 2} {\ tau ^ 2 + 1} $ ja peiton parantaminen, vaikkakin pienemmillä aikaväleillä, saavutetaan siirtämällä intervalleja hieman kohti $ \ theta = 0 $ , jonka esiintymisen todennäköisyys on suurempi (mikä on missä aikaisempi tiheys keskittyy).

Päätelmä

Voimme sanoa, että *, Jos oletukset ovat totta, tietylle havainnolle $ X $ , uskottava väli aina suoritetaan better (tai ainakin sama). Mutta kyllä, poikkeus on uskottavan aikavälin haitta (ja luottamusvälin etu), että ehdollinen peittotodennäköisyys $ \ alpha \% $ on puolueellinen riippuen parametrin $ \ theta $ todellinen arvo. Tämä on erityisen haitallista, kun oletukset $ \ theta $ aiemmasta jakelusta eivät ole luotettavia.

* katso myös kaksi kysymystä tässä kysymyksessä Luottamusvälin muodostamisen peruslogiikka. Vastaukseni kuvassa havainnollistetaan, että luottamusväli voi sijoittaa rajat tietyn havainnon $ X $ taka-jakaumalle eri korkeuksilla. ". Joten se ei aina voi valita optimaalisesti lyhintä väliä, ja jokaiselle havainnolle $ X $ voi olla mahdollista pienentää aikavälin pituutta siirtämällä rajoja sulkemalla sama $ \ alpha \% $ todennäköisyysmassan määrä.

Tietyn taustaparametrin $ \ theta $ roolit ovat päinvastaiset ja luotettavuusväli toimii paremmin (pienempi intervallisuunnassa) kuin uskottava väli. (vaikkakaan etsimme tätä suorituskykyä, koska olemme kiinnostuneita toisesta suunnasta, $ \ theta $ -välit annetaan $ X $ eikä $ X $ -välit annettu $ \ theta $ )


Tietoja poikkeuksesta

Vääriin aikaisempiin oletuksiin perustuvia esimerkkejä ei voida hyväksyä

Tämä virheellisten oletusten poissulkeminen tekee siitä hieman ladatun kysymyksen. Kyllä, tietyissä olosuhteissa uskottava väli on parempi kuin luottamusväli. Mutta ovatko nämä ehdot käytännöllisiä?

Sekä uskottavat että luottamusvälit antavat lausuntoja jonkin todennäköisyyden suhteen, kuten $ \ alpha \% $ tapauksista, joissa parametri on oikein arvioitu. Tämä "todennäköisyys" on kuitenkin vain matemaattisessa mielessä todennäköisyys ja liittyy siihen tapaukseen, että mallin taustalla olevat oletukset ovat erittäin luotettavia.

Jos oletukset ovat epävarmoja, tämän epävarmuuden tulisi levitä laskettuun epävarmuuteen / todennäköisyyteen $ \ alpha \% $ . Joten uskottavat intervallit ja luottamusvälit ovat käytännössä sopivia vain, kun oletukset ovat riittävän luotettavia, jotta virheiden leviäminen voidaan jättää huomiotta. Luotettavia aikavälejä voi olla joissakin tapauksissa helpompi laskea, mutta lisäoletukset tekevät uskottavista aikaväleistä (jollain tavalla) vaikeampia soveltaa kuin luottamusvälit, koska oletuksia tehdään enemmän ja tämä vaikuttaa $ \ alpha \% $ . true arvo.


Lisätietoja:

Tämä kysymys liittyy hieman miksi 95 prosentin luottamusväli (CI) ei tarkoita 95 prosentin mahdollisuutta sisällyttää keskiarvoa?

Katso alla olevan kuvan ehdollisen todennäköisyyden / mahdollisuuden ilmaista parametrin sisällyttäminen tähän esimerkkiin

Why does a 95% Confidence Interval (CI) not imply a 95% chance of containing the mean?

Luottamusväli $ \ alpha \% $ arvioi / sisältää oikein parametrin $ \ alpha \% $ kertaa jokaiselle parametrille $ \ theta $ . Mutta tietyn havainnon $ X $ $ \ alpha \% $ luottamusväli ei arvioi / sisältää todellisen parametrin $ \ alpha \% $ ajasta. (tyypin I virheitä esiintyy samalla nopeudella $ \ alpha \% $ taustalla olevan parametrin $ \ theta eri arvoilla $ . Mutta eri havainnoille $ X $ tyypin I virhesuhde on erilainen. Joidenkin havaintojen luottamusväli voi olla enemmän / harvemmin väärä kuin muita havaintoja varten.

Luotettava väli $ \ alpha \% $ arvioi / sisältää oikean parametrin $ \ alpha \% $ kertaa jokaiselle havainnolle $ X $ . Mutta tietyn parametrin $ \ theta $ kohdalla $ \ alpha \% $ uskottava väli ei arvioi / sisältää todellisen parametrin $ \ alpha \% $ ajasta. (tyypin I virheitä esiintyy samalla nopeudella $ \ alpha \% $ havaitun parametrin $ X $ eri arvoilla . Mutta eri taustalla oleville parametreille $ \ theta $ tyypin I virhesuhde on erilainen. Joidenkin taustalla olevien parametrien uskottava väli voi olla useammin / vähemmän väärä kuin muille taustalla oleville parametreille).


Koodi molempien kuvien laskemiseen:

  # parametrit
set.seed (1)
n <- 2 * 10 ^ 4
perc = 0,95
za <- qnorm (0,5 + perc / 2,0,1)

# malli
tau <- 1
teeta <- normaali (n, 0, tau)
X <- normaali (n, teeta, 1)

# juoni sirontakaavio jakelusta
juoni (theta, X, xlab = lauseke (theta), ylab = "havaittu X",
     pch = 21, col = rgb (0,0,0,0,05), bg = rgb (0,0,0,0,05), cex = 0,25,
     xlim = c (-5,5), ylim = c (-5,5)
    )

# luottamusväli
t <- seq (-6,6,0,01)
viivat (t, t-za * 1, col = 2)
viivat (t, t + za * 1, col = 2)

# uskottava väli
obsX <- seq (-6,6,0,01)
viivat (obsX * tau ^ 2 / (tau ^ 2 + 1) + za * sqrt (tau ^ 2 / (tau ^ 2 + 1)), obsX, col = 3)
viivat (obsX * tau ^ 2 / (tau ^ 2 + 1) -za * sqrt (tau ^ 2 / (tau ^ 2 + 1)), obsX, col = 3)

# ääriviivojen lisääminen niveltiheydelle
conX <- seq (-5,5,0,1)
conT <- seq (-5,5,0,1)
ln <- pituus (conX)

z <- matriisi (rep (0, ln ^ 2), ln)
varten (i in 1: ln) {
  varten (j in 1: ln) {
    z [i, j] <- dnorm (conT [i], 0, tau) * dnorm (conX [j], conT [i], 1)
  }
}
muoto (conT, conX, -log (z), lisää = TOSI, tasot = 1:10)

selite (-5,5, c ("luottamusväli", "uskottava väli", "tukiliitoksen tiheys"), lty = 1, col = c (2,3,1), lwd = c (1,1,0,5 ), cex = 0,7)
otsikko (lauseke (atop ("sirontakaavio ja
                      liitä ("X ~ N (", teeta ", 1) ja", teeta, "~ N (0,", tau ^ 2, ")"))))




# lauseke onnistuu X: n ja teetan funktiona
# Miksi 95 prosentin luottamusväli (CI) ei tarkoita 95 prosentin mahdollisuutta sisällyttää keskiarvo?
asettelu (matriisi (c (1: 2), 1))
par (mar = c (4,4,2,2), mgp = c (2,5,1,0))
pX <- seq (-5,5,0,1)
pt <- seq (-5,5,0,1)
cc <- tau ^ 2 / (tau ^ 2 + 1)

käyrä (-10, -10, xlim = c (-5,5), ylim = c (0,1),
     xlab = lauseke (theta), ylab = "mahdollisuus sisällyttää parametri")
viivat (pt, pnorm (pt / cc + za / sqrt (cc), pt, 1) -pnorm (pt / cc-za / sqrt (cc), pt, 1), col = 3)
viivat (pt, pnorm (pt + za, pt, 1) -pnorm (pt-za, pt, 1), col = 2)
otsikko (lauseke (liitä ("eri arvoille", theta)))

selite (-3,8,0,15,
       c ("luottamusväli", "uskottava väli"),
       lty = 1, col = c (2,3), cex = 0,7, laatikko. col = "valkoinen")


käyrä (-10, -10, xlim = c (-5,5), ylim = c (0,1),
     xlab = lauseke (X), ylab = "mahdollisuus sisällyttää parametri")
viivat (pX, pnorm (pX * cc + za * sqrt (cc), pX * cc, sqrt (cc)) - pnorm (pX * cc-za * sqrt (cc), pX * cc, sqrt (cc)), col = 3)
viivat (pX, pnorm (pX + za, pX * cc, sqrt (cc)) - pnorm (pX-za, pX * cc, sqrt (cc)), col = 2)
otsikko (lauseke (liitä ("eri arvoille", X)))


teksti (0,0.3,
     c ("95% luottamusväli \ nei tarkoita \ n95% mahdollisuutta sisällyttää parametri"),
     cex = 0,7, pos = 1)

kirjasto (muoto)
Nuolet (-3,0,3, -3,9,0,38, arr.pituus = 0,2)
 
Kun kirjoitan * "Joten se ei välttämättä aina valitse optimaalisesti lyhintä väliä, ja jokaiselle havainnolle $ X $ voi olla mahdollista vähentää intervallin pituutta siirtämällä rajoja samalla kun suljetaan sama a% todennäköisyysmassan määrä."* On huomattava, että tämä α% vaihtelee luottamusvälin X funktiona ...
.... Joten jos käytät samaa vaihtelua, voit aina tehdä välit lyhyemmiksi tai ainakin samankokoisiksi.Mutta kun asetat vakion α%: n riippuvuuden X: stä, kuten tyypillisellä uskottavalla aikavälillä, voi olla mahdollista, että uskottava väli ei * ole * pienempi kuin * jokaisen * X: n luottamusväli. Tämä tarkoittaa, että uskottava väli eieivät aina hallitse luottamusväliä.(Minulla ei ole selvää esimerkkiä mielessä, mutta luulen sen olevan mahdollista)
vain kommenttisi suhteen virheellisistä aikaisemmista oletuksista - jos lievennämme tätä, meidän pitäisi myös harkita, että malli $ p (X | \ theta) $ on myös "väärä".Mutta tästä ei yleensä ole hyötyä kenellekään - ratkaisu on yleensä implisiittinen versio "mallin vaihtamisesta" (esim. Ei-parametriset testit jne.)
@probabilityislogic Kun luodaan luottamusväli, käytetään mallia $ p (X \, \ vert \, \ theta) $.Kun muodostetaan uskottava väli, on myös marginaalijakaumalle $ p (\ theta) $ * lisämalli / oletus / usko.Todellakin * molempien * oletusten / mallien osalta meidän pitäisi harkita kuinka luotettavia ne ovat ja kuinka paljon oletusten virheet leviävät Bayesin / usein esiintyvän todennäköisyyden idealistisiin ilmaisuihin.Onneksi lauseke $ p (X \, \ vert \, \ theta) $ on usein hyvin kohtuullinen, mutta $ p (\ theta) $ ei ole aina niin selkeä.
Olen eri mieltä tässä - usein todennäköisyys on siellä, missä todelliset ongelmat ovat (esim. Jatkuva varianssioletus).Miksi on olemassa valtava kirjallisuus "poikkeavuuksista" ja "kestävyydestä", jos todennäköisyys on kohtuullinen?Lisäksi priorin 'ongelma' voidaan korjata helposti käyttämällä t-jakaumaa, jolla on pieni df normaalin sijasta.Suurten "todellisten arvojen" ollessa $ \ theta $, priori jätetään huomiotta, ja takaosa keskittyy $ X $: n sijaan $ cX $: n ympärille.
@probabiltyislogic olet oikeassa, todennäköisyys ei ole aina vähiten ongelmallinen.Minun olisi pitänyt sanoa, että joskus $ p (\ theta) $ on suurin ongelma, joskus se on $ p (X \, \ vert \, \ theta) $, joskus se on molempia.Mutta sen lisäksi se ei todennäköisesti ole se, mikä saa ihmiset valitsemaan, oikein tai väärin, taajuusmuuttajan menetelmää varten (olennainen ero on siinä, kuinka he piirtävät aikavälirajoja ja päättävätkö todennäköisyyden, että aikaväli on oikea, riippuvaiseksi muista parametreista; kuten on esitettykaksi kuvaajaa, jotka tein Wassermanin kuvan perusteella).
@probabiltyislogic Olen kanssasi samaa mieltä siitä, että voidaan pilkata * "95%: n luottamusväli (CI) ei tarkoita 95%: n mahdollisuutta sisällyttää keskiarvo" *, kuten Jaynes tekee artikkelissa.Usein ei ole todennäköisyyttä, joka kiinnostaa (ellei testiä tehdä monta kertaa suurella kokonaisuudella siten, että onnistumisen taajuuteen keskittymisellä on järkevää, esim. Laatutestaus tai osakkeiden arviointi, tai kun tappiotoiminto riippuu todellisesta $ \ theta$ eikä havaitulle $ X $).Lausuman luominen taka-todennäköisyydestä ei kuitenkaan ole todellinen ratkaisu, kun priori ei ole oikea.
#7
  0
Stéphane Laurent
2012-04-07 00:30:16 UTC
view on stackexchange narkive permalink

onko olemassa esimerkkejä, joissa usein esiintyvä luottamusväli on selvästi parempi kuin Bayesin uskottava intervalli (Jaynesin epäsuorasti esittämän haasteen mukaan).

Tässä on esimerkki : todellinen $ \ theta $ on $ 10 $, mutta $ $ theta $: n priori on keskittynyt noin $ 1 $. Teen tilastoja kliinisestä tutkimuksesta, ja $ \ theta $ mittaa kuoleman riskiä, ​​joten Bayesin tulos on katastrofi, eikö vain? Mikä vakavammin on "Bayesin uskottava väli?" Toisin sanoen: mikä on valittu priori? Ehkä Jaynes ehdotti automaattista tapaa valita priori, en tiedä!

Bernardo ehdotti "referenssiprioriteettia" käytettäväksi tieteellisen viestinnän standardina [ja jopa "uskottavana referenssivälinä" ( Bernardo - objektiiviset uskottavat alueet)]. Olettaen, että tämä on "Bayesin lähestymistapa", nyt on kysymys: milloin intervalli on parempi kuin toinen? Bayesin intervallin frekvensistiset ominaisuudet eivät ole aina optimaalisia, mutta eivät myöskään "freskistisen intervallin
" (muuten, mikä on "frekvenssivälin?) Bayesin ominaisuudet

Spekuloin, mutta epäilen, että tämä vastaus saa varmasti saman kohtelun kuin muutkin. Joku yksinkertaisesti väittää, että kysymys on huonosta prioriteettivalinnasta eikä Bayesin menettelyjen luontaisesta heikkoudesta, mikä mielestäni yrittää osittain välttää pätevää kritiikkiä.
@cardinal's: n kommentti on aivan oikea. Tässä oleva priori on poissa suuruusluokkaa, mikä tekee kritiikistä erittäin heikkoa. Ennakkotiedot ovat tärkeitä myös yleisölle; mitä tietää _a priori_ pitäisi määrittää esim. mitä arvioita ja testitilastoja käytetään. Jos nämä valinnat perustuvat tietoihin, jotka ovat väärässä suuruusluokan mukaan, odotetaan huonoja tuloksia; Bayesilainen tai usein esiintyvä ei tule siihen.
"Esimerkkini" ei ollut tärkeä osa vastaustani. Mutta mikä on hyvä valinta priorille? On helppo kuvitella priori, jonka tuki sisältää todellisen parametrin, mutta takaosa ei, joten usein toistuva intervalli on parempi?
Kardinaali ja vieras ovat oikeassa, kysymykseni sisälsi nimenomaisesti "virheellisiin aikaisempiin oletuksiin perustuvat esimerkit eivät ole hyväksyttäviä, koska ne eivät kerro mitään eri lähestymistapojen sisäisestä johdonmukaisuudesta". hyvästä syystä. Frequentist-testit voivat perustua sekä virheellisiin oletuksiin että Bayesin oletuksiin (Bayesin viitekehys ilmoittaa oletukset tarkemmin); kysymys on, onko * kehyksessä * heikkouksia. Myös jos todellinen arvo olisi etusijalla, mutta ei takana, se tarkoittaisi sitä, että havainnot sulkivat pois mahdollisuuden, että todellinen arvo on oikea!
@cardinal, se ei ole väistämättä kritiikkiä Bayesin menetelmistä, tietysti priori on kysymys. Se ei vain ole asia, jolla on merkitystä tässä kysymyksessä. Integraalien suorittamisen vaikeus on toinen Bayesin menetelmien heikkous. Hevoset kursseille, temppu on tietää mikä hevonen mille kurssille, joten kiinnostukseni kysymykseen.
Ehkä minun pitäisi muokata vastaustani ja poistaa esimerkkini - tämä ei ole vastaukseni vakava osa. Vastaukseni oli lähinnä "Bayesin" lähestymistavan merkityksestä. Mitä sinä kutsut Bayesin lähestymistavaksi? Tämä lähestymistapa vaatii subjektiivisen priorin valinnan vai käyttääkö se automaattista tapaa valita ei-informatiivinen priori? Toisessa tapauksessa on tärkeää mainita Bernardon työ. Toiseksi et ole määritellyt välien välistä "paremmuus" -suhdetta: milloin sanot, että intervalli on parempi kuin toinen?
Huomaa, että priorilla ei ole suuruusluokkaa, sillä ei ole väliä niin kauan kuin priorin hännät ovat "rasvaisempia" kuin todennäköisesti hännät. Esimerkiksi, jos sinulla on $ p (x_i | \ mu) \ sim N (\ mu, 1) $ hintaan $ i = 1, \ pisteitä, n $ ja asetat prioriisi arvoksi $ p (\ mu) \ sim Cauchy (m, v) $. Tällöin takakeskiarvo ei voi olla enemmän kuin jokin kiinteä etäisyys näytekeskiarvosta. Lisäksi etäisyys pyrkii nollaan, kun $ | m- \ overline {x} | \ to \ infty $ - ts. Kun aikaisempi arvauksemme on ristiriidassa tietojen kanssa.
Ongelma, josta puhut, liittyy enemmän aikaisempaan määrittelyyn kuin virheeseen. Haluamme, että edeltäjät kuvaavat tarkasti mitä tietoja sinulla on. Yllä oleva esimerkki on sellainen, jossa todennäköisyysfunktio on mielestämme aiempaa luotettavampi.


Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 2.0-lisenssistä, jolla sitä jaetaan.
Loading...