Kysymys:
Miksi moninkertainen vertailu on ongelma?
AgCl
2010-08-09 23:03:54 UTC
view on stackexchange narkive permalink

Minun on vaikea ymmärtää, mistä useita vertailuja todella liittyy. Yksinkertaisella analogialla sanotaan, että henkilö, joka tekee monia päätöksiä, tekee monia virheitä. Joten noudatetaan hyvin konservatiivista varovaisuutta, kuten Bonferroni-korjaus, jotta todennäköisyys, että tämä henkilö tekee kaiken virheen, on mahdollisimman pieni.

Mutta miksi välitämme siitä, onko henkilö tehnyt mitään virheitä kaikkien tekemiensä päätösten joukossa, eikä väärien päätösten prosenttiosuus ?

Anna minun yrittää selittää, mikä sekoittaa minut toiseen analogiaan. Oletetaan, että tuomareita on kaksi, toinen on 60-vuotias ja toinen 20-vuotias. Sitten Bonferroni-korjaus käskee 20-vuotiasta olemaan mahdollisimman konservatiivinen päättäessään teloituksesta, koska hän työskentelee vielä monta vuotta tuomarina, tekee paljon enemmän päätöksiä, joten hänen on oltava varovainen. Mutta 60-vuotias voi mahdollisesti jäädä eläkkeelle pian, tekee vähemmän päätöksiä, joten hän voi olla huolimattomampi kuin toinen. Mutta oikeastaan ​​molempien tuomareiden tulisi olla yhtä varovaisia ​​tai konservatiivisia riippumatta heidän tekemiensä päätösten kokonaismäärästä. Mielestäni tämä analogia tarkoittaa enemmän tai vähemmän todellisia ongelmia, joissa Bonferroni-korjausta käytetään, mikä on mielestäni vastakohtaista.

et todellakaan ole vastaus kysymykseesi, mutta oletko kohdannut vääriä löytökursseja (FDR)? Narumin "Beyond Bonferroni": http://www.springerlink.com/content/c5047h0084528056/
Viisi vastused:
#1
+40
John
2010-08-09 23:55:56 UTC
view on stackexchange narkive permalink

Olet sanonut jotain, joka on klassinen vastalause Bonferroni-korjauksille. Eikö minun pitäisi säätää alfa-kriteeriäni kaikkien tekemieni testien perusteella? Tällainen ad absurdinen merkitys on, miksi jotkut ihmiset eivät usko Bonferroni-tyylin korjauksiin ollenkaan. Joskus heidän urallaan käsiteltävät tiedot ovat sellaisia, että tämä ei ole ongelma. Tuomareille, jotka tekevät yhden tai hyvin vähän päätöksiä jokaisesta uudesta todisteesta, tämä on erittäin pätevä argumentti. Mutta entä tuomari, jolla on 20 syytettyä ja joka perustaa tuomionsa yhteen suureen tietojoukkoon (esim. Sotatuomioistuimet)?

Ohitat väittelyn purkamiset. Yleensä tutkijat etsivät jotain - p-arvo pienempi kuin alfa. Jokainen yritys löytää yksi on uusi potku purkkiin. Loppujen lopuksi löytyy yksi, jos ottaa siihen tarpeeksi laukauksia. Siksi heitä pitäisi rangaista sen tekemisestä.

Tapa, jolla yhdenmukaistat nämä kaksi argumenttia, on ymmärtää, että molemmat ovat totta. Yksinkertaisin ratkaisu on harkita erojen testaamista yhden tietojoukon sisällä potkutyyppisenä ongelmana, mutta korjauksen laajentaminen ulkopuolelle olisi liukas kaltevuus.

Tämä on todella vaikea ongelma useilla aloilla, etenkin FMRI: ssä, jossa on tuhansia datapisteitä verrataan ja joidenkin on varmasti tullut merkittäviä sattumalta. Kun otetaan huomioon, että kenttä on ollut historiallisesti hyvin tutkivaa, on tehtävä jotain sen korjaamiseksi, että sadat aivojen alueet näyttävät merkittäviltä puhtaasti sattumalta. Siksi kyseisellä alalla on kehitetty monia menetelmiä kriteerin säätöön.

Toisaalta joillakin kentillä voi olla korkeintaan 3-5 muuttujan tasoa ja testataan aina vain kaikki yhdistelmät jos esiintyy merkittävä ANOVA. Tällä tiedetään olevan joitain ongelmia (tyypin 1 virheet), mutta se ei ole erityisen kauhea.

Se riippuu näkökulmastasi. FMRI-tutkija tunnistaa todellisen tarpeen muuttaa kriteereitä. Henkilöä, joka katsoo pientä ANOVAa, saattaa tuntua, että testissä on selvästi jotain. Oikea konservatiivinen näkökulma moniin vertailuihin on aina tehdä jotain niiden hyväksi, mutta vain yhden tietojoukon perusteella. Kaikki uudet tiedot palauttavat kriteerin ... ellet ole Bayesin kansalainen ...

Kiitos, se on ollut erittäin hyödyllinen. Äänestän siitä, kun minulla on tarpeeksi edustajaa.
FMRI-tutkija todennäköisesti käyttää myös False Discovery Rate (FDR) -kriteeriä, koska se takaa alfa * 100-prosenttisesti väärät positiiviset tulokset pitkällä testijaksolla.
@John, Voitteko vastata tähän kysymykseen https://stats.stackexchange.com/questions/431011/should-i-correct-p-values-when-the-exact-same-dataset-is-not-being-used-for-Mult olisin onnellinen, jos voisit auttaa minua.
#2
+26
John D. Cook
2010-08-10 04:39:56 UTC
view on stackexchange narkive permalink

Hyvin arvostetut tilastotieteilijät ovat ottaneet monenlaisia ​​kantoja moniin vertailuihin. Se on hienovarainen aihe. Jos jonkun mielestä se on yksinkertaista, ihmettelen, kuinka paljon hän on ajatellut sitä.

Tässä on mielenkiintoinen Bayesin näkökulma Andrew Gelmanin useisiin testauksiin: Miksi emme (yleensä) huoli useista vertailuista.

Mielestäni mielenkiintoinen tässä artikkelissa on, että * näkökulma * on Bayesinlainen, mutta hierarkkinen mallintamismenetelmä, jota tarjotaan korvaamaan korjaukset useisiin vertailuihin, ei * vaadi * sinun olevan Bayesilainen.
Katsoin juuri sitä artikkelia; Luulen, että siihen on ehkä viitattava enemmän. Vihaan huuhtelutehosteita viemäriin, koska edistyneitä useita vertailutekniikoita ei tunneta eikä niitä ole helppo tehdä. Sitä vastoin pienempi lähestymistapa on yksinkertaisesti yksinkertainen. Ihmettelen, onko siinä vakavia ongelmia, jotka on otettava huomioon.
Mutta katso Gelmanin vuoden 2014 viesti [Yhdessä elämän kamalasta ironiasta kirjoitin paperin "Miksi meidän (yleensä) ei tarvitse huolehtia useista vertailuista", mutta nyt vietän paljon aikaa huolestumalla useista vertailuista] (http: //andrewgelman.com/2014/10/14/one-lifes-horrible-ironies-wrote-paper-usually-dont-worry-multiple-comparisons-now-spend-lots-time-worrying-multiple-comparisons/).
#3
+13
pmgjones
2010-08-10 03:18:23 UTC
view on stackexchange narkive permalink

Aiempaan kommenttiin liittyen fMRI-tutkijan tulisi muistaa, että kliinisesti tärkeät tulokset ovat tärkeitä, eivät yksittäisen pikselin tiheyssiirto aivojen fMRI: ssä. Jos se ei aiheuta kliinistä parannusta / haittaa, sillä ei ole merkitystä. Tämä on yksi tapa vähentää huolta monista vertailuista.

Katso myös:

  1. Bauer, P. (1991). Useita testejä kliinisissä tutkimuksissa. Stat Med, 10 (6), 871-89; keskustelu 889-90.
  2. Proschan, M. A. & Waclawiw, M. A. (2000). Käytännön ohjeet moninaisuuden säätämiseen kliinisissä tutkimuksissa. Control Clin Trials, 21 (6), 527-39.
  3. Rothman, K. J. (1990). Useita vertailuja varten ei tarvitse tehdä muutoksia. Epidemiologia (Cambridge, Mass.), 1 (1), 43-6.
  4. Perneger, T. V. (1998). Mikä vikaa bonferroni-säätöissä. BMJ (Clinical Research Ed.), 316 (7139), 1236-8.
Tämä on ehdottomasti mainitsemisen arvoinen: http://prefrontal.org/files/posters/Bennett-Salmon-2009.jpg
Olen varma, että heillä oli hauskaa kysyä kuolleelta lohelta sen tunteista !!!
Tässä viestissä on myös hyödyllisiä viitteitä RCT: iin: http://j.mp/bAgr1B.
#4
+10
robin girard
2010-08-10 02:18:01 UTC
view on stackexchange narkive permalink

Idean korjaamiseksi: Otan tapauksen, kun avaat $ n $ riippumattomat satunnaismuuttujat $ (X_i) _ {i = 1, \ dots, n} $ siten, että $ i = 1, \ dots, n $ $ X_i $ vedetään kohteesta $ \ mathcal {N} (\ theta_i, 1) $ . Oletan, että haluat tietää, kumman keskiarvo ei ole nolla, muodollisesti haluat testata:

$ H_ {0i}: \ theta_i = 0 $ span> Vs $ H_ {1i}: \ theta_i \ neq 0 $

Kynnyksen määritelmä: Sinulla on $ n $ tehdä päätöksiä, ja sinulla voi olla eri tavoite. Tietyllä testillä $ i $ aiot varmasti valita kynnyksen $ \ tau_i $ ja päättää olla hyväksyä $ H_ {0i} $ , jos $ | X_i | > \ tau_i $ .

Eri vaihtoehdot: Sinun on valittava kynnysarvot $ \ tau_i $ ja sinulla on kaksi vaihtoehtoa :

  1. valitse sama kynnys kaikille

  2. valitse eri kynnys kaikille (useimmiten datakynnys, katso alla).

Eri tavoitteet: Näitä vaihtoehtoja voidaan ohjata eri tavoitteet kuten

  • Virheellisen hylkäämisen todennäköisyyden hallinta $ H_ {0i} $ yhdelle tai useampi kuin yksi $ i $ .

  • Valheellisen al käsisuhde (tai väärä löydöstiheys)

    Mikä on koskaan tavoitteesi lopussa, on hyvä käyttää datakohtaista kynnystä.

Vastaukseni kysymykseesi: intuitiosi liittyy pääheuristiseen tietorajan valitsemiseen. Se on seuraava (Holmin menettelyn alussa, joka on tehokkaampi kuin Bonferoni):

Kuvittele, että olet jo tehnyt päätöksen $ p $ span> pienin $ | X_ {i} | $ ja päätös on hyväksyä $ H_ {0i} $ span > kaikille. Sitten sinun tarvitsee tehdä vain $ np $ -vertailuja etkä ole ottanut riskiä hylätä $ H_ {0i} $ väärin! Koska et ole käyttänyt budjettiasi, voit ottaa hieman suuremman riskin jäljellä olevasta testistä ja valita suuremman kynnyksen.

Tuomareidesi tapauksessa: Oletan ( ja luulen sinun tekevän saman), että molemmilla tuomareilla on samat budjettitiedot väärästä syytöksestä elämässään. 60-vuotias tuomari voi olla vähemmän konservatiivinen, jos hän ei aiemmin syyttänyt ketään! Mutta jos hän on jo esittänyt paljon syytöksiä, hän on konservatiivisempi ja ehkä jopa enemmän kuin youndest tuomari.

Luulen, että hypoteeseissasi on kirjoitusvirhe - molemmat näyttävät olevan samat ...
#5
+4
peuhp
2016-01-05 00:52:28 UTC
view on stackexchange narkive permalink

Havainnollinen (ja hauska) artikkeli ( http://www.jsur.org/ar/jsur_ben102010.pdf) tarpeesta korjata useita testejä käytännön tutkimuksessa, jossa kehitetään monia muuttujia, esim. toiminnallinen MRI (fMRI). Tämä lyhyt lainaus sisältää suurimman osan viestistä:

"[...] saimme päätökseen fMRI-skannausistunnon, jonka aiheena oli post mortem Atlantin lohi. Lohelle näytettiin sama sosiaalisen näkökulman ottava tehtävä, joka annettiin myöhemmin ihmisryhmälle. "

joka on kokemukseni mukaan loistava argumentti kannustaa käyttäjiä käyttämään useita testejä korjaukset.



Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 2.0-lisenssistä, jolla sitä jaetaan.
Loading...