Kysymys:
Jos useita vertailuja on "suunniteltu", onko sinun vielä korjattava useita vertailuja?
DrJay
2017-01-10 15:56:35 UTC
view on stackexchange narkive permalink

Tarkastelen paperia, joka on suorittanut> 15 erillistä 2x2 Chi Square -testiä.Olen ehdottanut, että heidän on korjattava useita vertailuja varten, mutta he ovat vastanneet sanomalla, että kaikki vertailut oli suunniteltu, ja siksi tämä ei ole välttämätöntä. b>

Voiko kukaan auttaa tässä?

Päivitys:

Kiitos kaikista erittäin hyödyllisistä vastauksistasi.Vastauksena @ gungin pyyntöön saada lisätietoja tutkimuksesta ja analyyseistä, he vertailevat kahden tyyppisten osallistujien (opiskelijat, muut kuin opiskelijat) laskentatietoja kahdessa tilassa kolmen ajanjakson aikana.Useat 2x2 Chi Square -testit vertailevat kutakin ajanjaksoa kussakin tilassa jokaiselle osallistujatyypille (jos se on järkevää; esim. Opiskelijat, ehto 1, aikajakso 1 vs ajanjakso 2), joten kaikki analyysit testaavat samaa hypoteesia.

Monet ihmiset, jotka tekevät useita vertailuja, aikovat tehdä ne kaikki * a priori *.He tekevät sen, koska he haluavat hallita tyypin I kokonaisvirhetasoa.Joissakin tilanteissa voi olla järkevää olla korjaamatta useita vertailuja, mutta kyse ei ole vain suunnitelmasta tehdä ne kaikki alusta alkaen.
Voitteko sanoa hieman enemmän tutkimuksesta, niiden tiedoista ja analyyseistä?Onko> 15 suuruinen * kaikki * mahdolliset vertailut vai vain pieni prosenttiosuus?Kuinka paljon heillä on tietoja?Kuinka uskottavaa on, että hypoteesit olivat kaikki a priori?Ovatko ne kaikki merkittäviä?Ovatko khi-neliötestit riippumattomia toisistaan?Harkitse myös joitain @peuhp's-vastauksessa esitettyjä kysymyksiä.
Koska "he" ovat todennäköisesti kiinnostuneita löytämään merkittäviä tuloksia, heidän vastauksensa on itsekästä.Siksi heillä on taakka sen osoittamiseksi, miksi heidän lähestymistavansa on laillinen, eikä teille sen osoittamiseksi, että se on laitonta.Kaikki yritykset osoittaa, että useita vertailukorjauksia voidaan jättää huomiotta, epäonnistuvat heti, kun ne ottavat huomioon koko paperin väärän positiivisen osuuden, ja siksi "heidän" on joko (epäoikeudenmukaisesti) vältettävä kaiken asian käsittelyä tai muuten annettava hyvä argumentti miksise ei välitä heidän aiotusta yleisöstään.
Minulla olisi kiusaus vastata linkillä [tähän XKCD-nauhaan] (https://xkcd.com/882/) (johon, kuten ehkä huomautat, liittyy täysin suunniteltu sarja useita testejä ...).
Neljä vastused:
peuhp
2017-01-10 16:27:02 UTC
view on stackexchange narkive permalink

Tämä on IMHO: n monimutkainen asia ja haluaisin esittää kolme kommenttia tästä tilanteesta.

Ensinnäkin keskityn enemmän siihen, kohtaatko vahvistavan tutkimuksen, jossa on joukko hyvin muotoiltuja hypoteesit, jotka on määritelty argumentatiivisessa kontekstissa tai selittävässä tutkimuksessa, jossa havaitaan monia todennäköisiä indikaattoreita siitä, onko ne suunniteltu vai ei (koska voit yksinkertaisesti suunnitella kaikkien mahdollisten vertailujen tekemistä).

Toiseksi haluaisin keskittyä myös siihen, miten tuloksena olevista p-arvoista sitten keskustellaan. Käytetäänkö niitä erikseen tiettyjen lopullisten johtopäätösten antamiseen vai keskustellaanko niistä yhdessä todisteina ja todisteiden puutteena?

Lopuksi keskustelisin mahdollisuudesta, että> 15 erillisen khi-neliötestin tuloksena syntynyt> 15 hypoteesi on itse asiassa yhden ainoan (mahdollisesti yhden) hypoteesin ilmentymä, joka voidaan tiivistää.

Yleisemmin, riippumatta siitä, onko hypoteesi ennalta määritelty vai ei, useiden vertailujen korjaaminen on kysymys siitä, mitä sisällytät tyypin I virheeseen. Jos et korjaa MC: tä, pidät vain vertailutyypin I virhesuhdeohjausta. Joten jos kyseessä on lukuisia vertailuja, sinulla on korkea perhekohtainen tyypin I virhesuhde ja olet siten enemmän vääriä löytöalttiita.

(+1) Saattaa olla syytä täsmentää, että kokeiluvirheitä ei hallita suunnitelluilla 15 yksittäisellä vertailulla;toisaalta mahdollisia vertailuja, jotka ovat yli viidentoista, joita ei ole mainittu protokollassa, ei tarvitse ottaa huomioon moninkertaisten vertailujen korjauksessa.
@Scortchi Kiitos panoksestasi, mutta en ymmärrä mitä tarkoitat sanalla "kokeiluvirheiden määrää ei ohjaa viisitoista yksittäistä vertailua" suunnitellaan "?
Vain peruskysymys, jonka * jos * haluat hallita null-arvon todennäköisyyttä tehdä yksi tai useampi tyypin I virhe kaikista testeistä, sinun on käytettävä useita vertailuja.Mainitsen sen vain, koska olen aikaisemmin kohdannut hämmennystä asiasta.
Huomaa, että täsmälleen sama ongelma tuli esiin hyvin tuoreessa säikeessä: [Useiden vertailujen post-hoc-sovellus] (http://stats.stackexchange.com/q/255354/17230).
@Scortchi.Kiitos tästä selvennyksestä ja panoksesta, se olisi todellakin määriteltävä selvästi vastauksessani.Lisää tämän.
David C. Norris
2017-01-11 02:02:59 UTC
view on stackexchange narkive permalink

Jos korvataan sana "ennakoitu" sanalla "suunniteltu", se voi auttaa hälventämään kirjoittajien esittämää väitettä. Tarkastellaan kahta erilaista tilastollista analyysia samoista tiedoista:

  1. '' Ennalta harkittu rikos '', jossa 'mahdollinen hypoteesitesti' asetetaan yhdistelmällisesti etukäteen 'tilastollisen rikollisen päätaidon' suunnitelman mukaan kukin niistä systemaattisesti ja valitse testi, jolla on pienin p-arvo, "avainhavaintona", jota mainostetaan paperin Tulokset-, Keskustelu- ja Johtopäätös-osioissa ja itse asiassa myös otsikossa.
  2. A ' intohimoinen rikos ', jossa alkuperäinen tarkoitus oli vain kohdata tiedot yhteen hypoteesiin, mutta "no ... yksi asia johtaa toiseen" ja useita ad hoc -hypoteesitestejä "vain tapahtuu" tieteellisen intohimon kuumuus oppia "jotain ... mitä tahansa! " tiedoista.

Joko niin, se on 'murha' - kysymys on, onko se ensimmäisen vai toisen tutkinnon. Ensimmäinen on selvästi moraalisesti ongelmallisempi. Minusta kuulostaa siltä, ​​että kirjoittajat yrittäisivät väittää jotain siitä, että se ei ollut murha, koska se oli ennalta suunniteltu.

Useiden vertailujen tekeminen ei kuitenkaan ole ennakoitua tai ei rikollista.P-metsästys on.
mdewey
2017-01-12 18:30:32 UTC
view on stackexchange narkive permalink

Kun otat huomioon päivityksen suunnittelusta, ehdotan, että he tekisivät jonkinlaisen log-lineaarisen mallin käyttääksesi kaikkia tietoja kerralla.Heidän tekemänsä aterianalyysien tekeminen vaikuttaa (a) tehotolta (b) epätieteelliseltä, koska se testaa 15 hypoteesia, joissa todellisia hypoteeseja on varmasti vähemmän.

En ole fani korjata moninkertaisuutta ehdollisenarefleksi, mutta tässä tapauksessa, jos he hylkäävät syvemmän analyyttisen lähestymistavan, ehdotan, että he korjaavat.

Jos kaikissa testeissä testataan sama hypoteesi, voidaan myös käyttää jotakin meta-analyyttistä työkalua "yhdistää" 15 testin tulokset yhdeksi.Olet meta-analyysin asiantuntija, joten ehkä voisit ehdottaa jotain tarkempaa.Yksinkertaisin asia on, että olen nähnyt ihmisten laskevan p-arvon saadakseen $ k $ merkittäviä tuloksia 15 $ -testeistä;mutta tämä edellyttää itsenäisyyttä, mikä OP: n tapauksessa ei tietenkään ole totta.
@amoeba Mielestäni se olisi viimeinen keino, koska en voi auttaa tuntemaan, että on oltava parempi tapa analysoida tätä kuin 15 + $ \ chi ^ 2 $ -testi.
Bonferroni
2017-03-05 12:16:22 UTC
view on stackexchange narkive permalink

Tässä artikkelissa käsitellään kysymystäsi suoraan: http://jrp.icaap.org/index.php/jrp/article/view/514/417

(Frane, A.V., "Suunniteltuja hypoteesitestejä ei välttämättä vapauteta moninaisuussäätöstä", Journal of Research Practice, 2015)



ⓘ
Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 3.0-lisenssistä, jolla sitä jaetaan.
Loading...