Kysymys:
Onko normaalitestaus "olennaisesti hyödytöntä"?
shabbychef
2010-09-08 22:47:22 UTC
view on stackexchange narkive permalink

Entinen kollega väitti minulle kerran seuraavasti:

Sovellamme normaalitestejä yleensä sellaisten prosessien tuloksiin, jotka nollan alla tuottavat satunnaisia ​​muuttujia, jotka ovat asymptoottisesti tai lähes normaali ("asymptoottisesti" osa riippuu jostakin määrästä, jota emme voi tehdä suureksi); Halvan muistin, isojen tietojen ja nopeiden prosessorien aikakaudella normaalitestien tulisi aina hylätä normaalin jakauman nolla suurille (vaikkakaan ei mielettömän suurille) näytteille. Ja normaalisti testejä tulisi siis perverssi käyttää vain pienille näytteille, kun niillä on oletettavasti pienempi teho ja vähemmän kontrollia tyypin I nopeuteen.

Onko tämä pätevä argumentti? Onko tämä tunnettu argumentti? Onko "fuzzier" -nollahypoteesille hyvin tunnettuja testejä kuin normaalisuus?

Viitteeksi: Mielestäni tämän ei tarvitse olla yhteisön wiki.
En ollut varma, oliko 'oikea vastaus' ...
Katso http://meta.stats.stackexchange.com/questions/290/what-is-community-wiki
Tietyssä mielessä tämä pätee kaikkiin rajallisen määrän parametrien testeihin. Kun $ k $ on korjattu (parametrien lukumäärä, joille testi suoritetaan) ja $ n $ kasvaa ilman rajoja, mikä tahansa ero kahden ryhmän välillä (riippumatta siitä kuinka pieni), rikkoo aina nollan jossain vaiheessa. Itse asiassa tämä on argumentti Bayesian testien puolesta.
Minulle se ei ole pätevä argumentti. Joka tapauksessa ennen vastauksen antamista sinun on virallistettava asiat hieman. Saatat olla väärässä ja et ehkä ole, mutta nyt sinulla on vain intuitio: Minulle lause "Halvan muistin, big datan ja nopeiden prosessorien aikakaudella normaalitestien tulisi aina hylätä normaalin nolla" tarvitsee selvennyksiä :) Luulen, että jos yrität antaa enemmän muodollista tarkkuutta, vastaus on yksinkertainen.
Lanka kohdassa "Ovatko suuret tietojoukot sopimattomia hypoteesitestaukseen" käsittelee tämän kysymyksen yleistämistä. (http://stats.stackexchange.com/questions/2516/are-large-data-sets-inappropriate-for-hypothesis-testing)
"normaalin jakauman nollan hylkääminen" tarvitsee yksityiskohtaisen ja oikean selvityksen, ennen kuin kysymykseen voidaan antaa vastaus.Lisäksi on suuri ero suuren näytteen (verrattuna pieneen otokseen) ja termin välillä: suuret näytteet.Otoksen n-koon ja tilastojen k-näyteteorian välillä on ero.Tehkäämme asia selväksi.
Kuusitoista vastused:
#1
+244
Joris Meys
2010-09-09 03:23:19 UTC
view on stackexchange narkive permalink

Se ei ole argumentti. On (hieman voimakkaasti todettu) tosiasia, että muodolliset normaalitestit hylkäävät aina valtavat otoskoot, joiden kanssa tänään työskentelemme. On jopa helppoa todistaa, että kun n kasvaa suureksi, pieninkin poikkeama täydellisestä normaaluudesta johtaa merkittävään tulokseen. Ja koska jokaisella aineistolla on jonkin verran satunnaisuutta, mikään yksittäinen aineisto ei ole täysin normaalisti jakautunut näyte. Mutta sovelletuissa tilastoissa kysymys ei ole siitä, ovatko tiedot / jäännökset ... täysin normaalit, mutta riittävän normaalit olettamusten pitämiseen.

Haluan kuvata Shapiro-Wilk-testillä. Alla oleva koodi muodostaa joukon jakaumia, jotka lähestyvät normaalisuutta, mutta eivät ole täysin normaaleja. Seuraavaksi testataan shapiro.test -toiminnolla, poikkeako näistä melkein normaaleista jakaumista näyte normaaluudesta. R: ssä:

  x <- replikaatti (100, {# tuottaa 100 erilaista testiä kullekin jakelulle c (shapiro.test (rnorm (10) + c (1,0,2,0,1)) $ p.arvo, # $ shapiro.test (rnorm (100) + c (1,0,2,0,1)) $ p.arvo, # $ shapiro .test (rnorm (1000) + c (1,0,2,0,1)) $ p.arvo, # $ shapiro.test (rnorm (5000) + c (1,0,2,0,1)) $ p.value) # $} # rnorm antaa satunnaisen arvonnan normaalijakaumasta) rownames (x) <- c ("n10", "n100", "n1000", "n5000") rowMeans (x<0.05) # merkittävien poikkeamien osuus n10 n100 n1000 n5000 0,04 0,04 0,20 0,87 

Viimeinen rivi tarkistaa, mikä jokaisen otoskokon simulaatioiden osa poikkeaa merkittävästi normaalista. Joten 87 prosentissa tapauksista otos 5000 havainnosta poikkeaa merkittävästi normaaluudesta Shapiro-Wilksin mukaan. Silti, jos näet qq-juonet, et koskaan koskaan päättäisi poikkeamasta normaaluudesta. Alla näet esimerkkinä qq-käyrät yhdelle satunnaisnäytteille

alt text

p-arvoilla

  n10 n100 n1000 n5000 0,760 0,681 0,164 0,007  
Tämä on suurenmoista! Löydän itseni siitä, että en itse tehnyt kokeita ...
Sivuhuomautuksena on, että keskirajalause tekee muodollisen normaalitarkistuksen tarpeettomaksi monissa tapauksissa, kun n on suuri.
kyllä, todellinen kysymys ei ole siitä, jakautuvatko tiedot tosiasiallisesti normaalisti, vaan ovatko ne riittävän normaaleja, jotta taustalla oleva normaaliolettamus olisi kohtuullinen analyysin käytännön tarkoitusta varten, ja olisin ajatellut, että CLT-pohjainen argumentti on yleensä [sic] riittää siihen.
+1: hyvä vastaus, hyvin intuitiivinen. Ehkä vähän aiheen ulkopuolinen, mutta miten voitaisiin toteuttaa toinen menetelmä ilman qq-juonia (visualisoinnin puutteen vuoksi)? Mitä loogisia vaiheita tässä tehdään p-arvojen saamiseksi?
@posdef: nämä ovat vain shapiro-wilks -testin p-arvot osoittamaan, että ne ovat ristiriidassa qq-juontojen kanssa.
@joris: Mielestäni on voinut olla väärinkäsitys; Shapiro-Wilks antaa p_ {n5000} = 0,87, kun taas toinen laskelma antaa p_ {n5000} = 0,007. Vai olenko ymmärtänyt jotain väärin?
Todellakin. 0,87 on niiden tietojoukkojen osuus, jotka antavat poikkeaman normaaluudesta, mikä tarkoittaa, että 87 prosentissa melkein normaalijakauman aineistoista Shapiro-Wilksin p-arvo on pienempi kuin 0,05. Toinen osa on vain esimerkki joistakin tätä kuvaavista aineistoista.
@joris: Näen, kiitos oikaisemisesta minulle :)
Tämä on toinen esimerkki siitä, miksi p-arvojen on siirryttävä alaspäin otoksen koon kasvaessa. 0,05 ei ole tarpeeksi tiukka big data-maailmassa. Vain uteliaisuuteni - mitä tapahtuu, jos asetat arvon arvoksi otoksen koosta?
Vau kiitos vastauksestasi! Kuinka piirtit qq-juonet?
@maximus toiminnolla `qqnorm`in R
@joris-meys: n keskirajalause ei auta, ellei populaation keskihajonta ole tiedossa. Hyvin pienet satunnaismuuttujan häiriöt voivat vääristää otosvarianssia ja tehdä testitilastojen jakauman hyvin kaukana $ t $ -jakaumasta, kuten Rand Wilcox osoittaa.
** Tämä vastaus ei näytä vastaavan kysymykseen: ** se vain osoittaa, että SW-testi ei saavuta nimellisturvallisuustasoaan, ja siten se havaitsee puutteen testissä (tai ainakin sen R-toteutuksessa) . Mutta siinä kaikki - sillä ei ole merkitystä normaalitestauksen hyödyllisyydelle yleensä. Alkuperäinen väite, jonka mukaan normaalitestit hylkäävät aina suuret otoskoot, on yksinkertaisesti virheellinen.
@whuber Tämä vastaus koskee kysymystä. Kysymyksen koko asia on "lähellä" "lähes normaalissa". S-W testaa, mikä on mahdollisuus, että näyte otetaan normaalijakaumasta. Koska rakentamani jakaumat ** eivät tarkoituksella ** ole normaaleja, voit odottaa S-W-testin tekevän sen, mitä se lupaa: hylkää nollan. Koko asia on, että tämä hylkääminen on merkityksetöntä suurissa näytteissä, koska poikkeama normaalista ei johda tehohäviöön siellä. Joten testi on oikea, mutta merkityksetön, kuten QQplots osoittaa
@FrankHarrell En ymmärrä asiaasi. Rand Wilcox puhui näytekokoista 30 ja enemmän. Kysymys koskee erittäin suuria näytteitä. 30 ei ole edes suuri. 5000, se on suuri (eikä todellakaan niin suuri). Suoritettaessa matematiikkaa Rand Wilcox teki, keskiarvon varianssi seuraa khi-neliön jakaumaa melko hyvin 5000: n näytteen kohdalla, vaikka se olisi peräisin melko vinosta jakaumasta.
Se, että usein emme voi kertoa otoksesta, voidaanko kyseinen näyte analysoida riittävästi normaalioletusmenetelmällä, riittää minulle. Ja Wilcox antaa esimerkkejä siitä, että epänormaalisuus (normaalijakauman kontaminaatio toisella normaalijakaumalla, jolla on suurempi varianssi) on niin huomaamaton, että et näe sitä tiheysfunktiossa, mutta pieni epänormaalisuus aiheuttaa suuria vääristymiä testeissä 'käyttöominaisuudet. Toinen asia, jota useimmat tilastotieteilijät eivät ole oikeastaan ​​käsitelleet, on se, että keskihajonnalla ei ehkä ole merkitystä epäsymmetrian suhteen.
Tämä tosiasia on totta, mutta sillä ei ole sietokykyä CLT: n kanssa. CLT on melko tarkka siitä, missä olosuhteissa likiarviointi pätee. Heität erilaisia ​​asioita samalle kasalle. Kyllä, Wilcox tuo nämä esimerkit. Ei, hän ei puhu suurista otoskokoista tai CLT: n hylkäämisestä, kaukana tasaisesta. Hän huomauttaa oikeutetusti, että ihmiset unohtavat CLT: n olosuhteet. Olen kanssanne samaa mieltä siitä, että erojen testaamisella otoskokolla 5000 ei ole järkevää ilmoittamatta, mikä pienin merkitsevä ero on. Mutta se on aivan toinen asia.
Olin luottanut siihen, mitä kirjoitit, ja ymmärsin väärin, mitä tarkoitit "melkein normaalilla" jakelulla. Näen nyt - mutta * vain * lukemalla koodin ja testaamalla sen huolellisesti - että simuloit kolmesta normaalista normaalijakaumasta keskiarvoilla $ 0, $ $ 1, $ ja $ 2 $ ja yhdistät tulokset $ 2: 2: 1 $ -suhde. Etkö * toivoa *, että hyvä normaaliuden testi hylkää nollan tässä tapauksessa? Se, mitä olet tosiasiallisesti osoittanut, on, että QQ-kaaviot eivät ole kovin hyviä havaitsemaan tällaisia ​​seoksia, siinä kaikki!
Yksikään tosielämän jakauma ei ole täysin normaalia. Joten riittävän suurilla näytteillä kaikkien normaalitestien pitäisi hylätä nolla. Joten kyllä, SW tekee mitä tarvitsee tehdä. Mutta se on arvoton sovelletuille tilastoille. Ei ole mitään syytä mennä esimerkiksi Wilcoxoniin, kun otoskoko on 5000 ja melkein normaali jakauma. Ja siinä OP: n huomautuksessa oli kyse: onko järkevää testata normaalisuutta, kun otoskoko on suuri? Vastaus: ei. Miksi? koska havaitset (oikein) poikkeaman, jolla ei ole merkitystä analyysisi kannalta. Kuten QQ-tontit osoittivat
Btw, QQ-käyrien ei ole tarkoitus havaita tällaisia ​​seoksia. Ne ovat graafisia työkaluja, jotka antavat sinulle oikeudenmukaisen käsityksen siitä, menetätkö virtaa vai ei, saatko jopa puolueellisia arvioita käytettäessä tiettyjä testejä. Se on kaikki mitä heillä on. Se on enemmän kuin tarpeeksi 99 prosentille käytännön tieteen tilastollisista kysymyksistä.
En ole eri mieltä kanssasi; Vastustan vain (lievästi) sitä, että näissä kommenteissa äskettäin esittämäsi tärkeät seikat eivät sisältyneet vastaukseesi.
@whuber Voit vapaasti päivittää :) muuten päivitän sen, kun löydän vähän enemmän aikaa. Kippis.
@JorisMeys Voisitko viitata minuun paperille tai todisteelle, että "kun n kasvaa suureksi, pieninkin poikkeama täydellisestä normaaluudesta johtaa merkittävään tulokseen"?:)
@Milos Jopa alkuperäisessä artikkelissa kirjoittaja viittasi jo tilastoon arkaluonteisina, jopa pienillä otoksilla (n <20).Se on myös herkkä poikkeamille saman saman vuoden 1965 paperin mukaan.Muista myös, että W-tilastossa on enintään 1 (mikä tarkoittaa täydellistä normaalia) ja katso W: n kriittisiä arvoja nollan hylkäämiseksi.Kun n = 10, tämä on 0,84.Kun n = 50, tämä on 0,947.Joten n = 50, paljon pienempi poikkeama on merkittävä.Kun n = 5000, jopa W-arvo 0,999 on erittäin merkittävä.Se on perustilastot.
Tätä esimerkkiä voidaan käyttää argumenttina siitä, että tällaisen "normaalitestin" epäonnistumisen pitäisi olla argumentti regressio- tai muiden luokitusmenetelmien soveltamiseksi (sen sijaan, että muunnosta sovellettaisiin välittömästi).
@JorisMeys Kiitos havainnollisesta vastauksestasi.Viestisi kuvaa selvästi ongelmaa, mutta mikä on ratkaisu?Onko olemassa "melkein normaalia" testiä?Jotain käsitteellisesti kuin TOST-ekvivalenttitesti?Olen kohtaamassa tätä tarkkaa ongelmaa, jossa arvostelija, joka pyytää perustelua normaalisuusolettamukselle - QQ-kaaviot näyttävät hyvältä, mutta testi on merkittävä suuren otoskokon vuoksi.
@thc Käytä QQ-kaaviota sen perustelemiseen.Ja jos otoskoko on riittävän suuri, keskeinen rajalauseke antaa sinulle normaaliolettamuksen jo monissa tapauksissa.
Keskirajalause voi joskus olla hyödyllinen testin tasoa tarkasteltaessa, mutta se ei auta teholla;yleensä suhteellinen hyötysuhde (verrattuna sanotaan tehokkaimpaan käytettävissä olevaan testiin) ei yleensä kasva näytteen koon mukaan.
#2
+179
Harvey Motulsky
2010-09-09 07:35:31 UTC
view on stackexchange narkive permalink

Kun pohditaan, onko normaalitestaus "olennaisesti hyödytöntä", on ensin miettitävä, mihin sen oletetaan olevan hyödyllistä. Monet ihmiset (hyvin ... ainakaan monet tutkijat) ymmärtävät väärin kysymyksen, johon normaalitesti vastaa.

Normaalitestit vastaavat kysymykseen: Onko olemassa vakuuttavia todisteita poikkeamista Gaussin ihanteesta? Kohtuullisen suurilla todellisilla tietojoukoilla vastaus on melkein aina kyllä.

Tutkijat haluavat usein, että normaalitesti on erotuomari, joka päättää, milloin tavanomaiset testit (ANOVA jne.) Hylätään, ja sen sijaan analysoi muunnettuja tietoja tai käyttää sijoitusperusteista ei-parametrista testiä tai uudelleennäyte- tai käynnistysstrapia. Tätä tarkoitusta varten normaalitestit eivät ole kovin hyödyllisiä.
+1 hyvästä ja informatiivisesta vastauksesta. Minusta on hyödyllistä nähdä hyvä selitys yleiselle väärinkäsitykselle (jonka olen itse muuten kokenut: http://stats.stackexchange.com/questions/7022/parameter-estimation-for-normal-distribution-in-java) . Minulta puuttuu kuitenkin vaihtoehtoinen ratkaisu tälle yleiselle väärinkäsitykselle. Tarkoitan, jos normaalitestit ovat väärä tapa edetä, miten voidaan tarkistaa, onko normaali likiarvo hyväksyttävä / perusteltu?
Analyytikon (tai tutkijan / tutkijan) (yleistä) järkeä ei voida korvata. Ja kokemus (oppinut kokeilemalla ja näkemällä: mitä johtopäätöksiä saan, jos oletan, että se on normaalia? Mitä eroa on, jos ei?). Grafiikka ovat parhaita ystäviäsi.
Pidän tästä paperista, joka tuo esiin huomautuksesi: Micceri, T. (1989).Yksisarvinen, normaali käyrä ja muut epätodennäköiset olennot.Psykologinen tiedote, 105 (1), 156-166.
Grafiikan katselu on hienoa, mutta entä jos niitä on liian monta manuaalisesti tutkittavaksi?Voimmeko muotoilla kohtuulliset tilastolliset menettelyt mahdollisten ongelmakohtien osoittamiseksi?Ajattelen tilanteita, kuten laajamittaisia A / B-kokeilijoita: http://www.exp-platform.com/Pages/SevenRulesofThumbforWebSiteExperimenters.aspx.
#3
+127
MånsT
2012-06-08 13:57:33 UTC
view on stackexchange narkive permalink

Luulen, että normaaliustestit voivat olla hyödyllisiä graafisten tutkimusten kumppaneina. Niitä on kuitenkin käytettävä oikealla tavalla. Mielestäni tämä tarkoittaa, että monia suosittuja testejä, kuten Shapiro-Wilk-, Anderson-Darling- ja Jarque-Bera-testejä, ei pitäisi koskaan käyttää.

Ennen kuin selitän kantani , haluaisin tehdä muutaman huomautuksen:

(Omassa määritelmässäni) normaaalitesti kohdistetaan vaihtoehtoaluokkaan, jos se on herkkä sen vaihtoehdoille. luokassa, mutta ei herkkä muiden luokkien vaihtoehdoille. Tyypillisiä esimerkkejä ovat testit, jotka on suunnattu vinoon tai kurtotic vaihtoehtoihin. Yksinkertaisimmissa esimerkeissä käytetään näytteen vinoutta ja kurtoosia testitilastoina.

Suuntautuneet normaalitestit ovat epäilemättä usein parempia kuin omnibus-testit (kuten Shapiro-Wilk- ja Jarque-Bera-testit), koska se on On tavallista, että vain tietyt epänormaalit tyypit ovat huolestuneita tietystä pääteltävästä menettelystä .

Tarkastellaan esimerkiksi Studentin t-testiä. Oletetaan, että meillä on i.i.d. näyte jakaumasta, jonka vinous $ \ gamma = \ frac {E (X- \ mu) ^ 3} {\ sigma ^ 3} $ ja (ylimääräinen) kurtosis $ \ kappa = \ frac {E (X- \ mu) ^ 4} {\ sigma ^ 4} -3. $ Jos $ X $ on symmetrinen keskiarvoonsa, $ \ gamma = 0 $ . Sekä $ \ gamma $ että $ \ kappa $ ovat 0 normaalijakaumalle.

Säännöllisyysolettamusten perusteella testitilaston $ T_n $ cdf: lle saadaan seuraava asymptoottinen laajennus: $$ P (T_n \ leq x) = \ Phi (x) + n ^ {- 1/2} \ frac {1} {6} \ gamma (2x ^ 2 + 1) \ phi (x) -n ^ {- 1} x \ Big (\ frac {1} {12} \ kappa (x ^ 2-3) - \ frac {1} {18} \ gamma ^ 2 (x ^ 4 + 2x ^ 2- 3) - \ frac {1} {4} (x ^ 2 + 3) \ iso) \ phi (x) + o (n ^ {- 1}), $$

missä $ \ Phi (\ cdot) $ on cdf ja $ \ phi (\ cdot) $ on normaalin normaalijakauman pdf-tiedosto.

$ \ gamma $ näkyy ensimmäistä kertaa $ n ^ {- 1/2} $ span> term, kun taas $ \ kappa $ näkyy termissä $ n ^ {- 1} $ . $ T_n $ -elementin asymptoottinen suorituskyky on paljon herkempi poikkeamille normaaluudesta vinosti kuin kurtoosin muodossa.

Simulaatioiden avulla voidaan varmistaa, että tämä pätee myös pieniin $ n $ . Siksi Studentin t-testi on herkkä vinoutumiselle, mutta suhteellisen vankka raskaita pyrstöjä vastaan, ja on järkevää käyttää normaalitestiä, joka on suunnattu vinovaihtoehtoihin ennen t-testin soveltamista .

nyrkkisääntönä ( ei luonnonlaki), päättely keinoista on herkkä vinouteen ja päätelmä variansseista on herkkä kurtoosille.

Suunnitellun normaliteettitestin käyttämisellä on etuna korkeamman vallan saaminen '' vaarallisille '' vaihtoehdoille ja pienempi valta vaihtoehtoille, jotka ovat vähemmän '' vaarallisia ''. normaaliisuus, joka ei vaikuta päättelymenettelyn suoritukseen. Epänormaalisuus on kvantifioitu tavalla, joka on merkityksellinen kyseessä olevalle ongelmalle. Tämä ei ole aina helppoa graafisesti.

Kun $ n $ kasvaa, vinous ja kurtoosi vähenevät - ja kohdennetut testit todennäköisesti havaitsevat, poikkeavatko nämä määrät 0: sta edes pienellä määrällä. Tällaisissa tapauksissa näyttää järkevältä esimerkiksi testata, onko $ | \ gamma | \ leq 1 $ vai (tarkastelemalla yllä olevan laajennuksen ensimmäistä termiä) $$ | n ^ {- 1/2} \ frac {1} {6} \ gamma (2z _ {\ alpha / 2} ^ 2 + 1) \ phi (z _ {\ alfa / 2}) | \ leq 0.01 $$ sen sijaan, onko $ \ gamma = 0 $ . Tämä huolehtii joistakin ongelmista, joita muuten kohtaamme, kun $ n $ kasvaa.

Nyt tämä on hieno vastaus!
"on tavallista, että vain tietyt epänormaalit tyypit ovat huolestuneita tietystä päättelymenettelystä."- tietysti sitten on käytettävä testiä, joka on suunnattu tämäntyyppiseen epänormaalisuuteen.Mutta tosiasia, että joku käyttää normaalitestiä, merkitsee sitä, että hän välittää * kaikista * normaalisuuden näkökohdista.Kysymys kuuluu: onko normaalitesti siinä tapauksessa hyvä vaihtoehto.
Tiettyjen testien oletusten riittävyystesti on yleistymässä, mikä onneksi poistaa osan arvauksista.
@Carl: Voitteko lisätä siihen viitteitä / esimerkkejä?
@kjetilbhalvorsen Se oli kaksi vuotta sitten, enkä muista nyt, mitä ajattelin tuolloin.Joten, jos haluat nämä tiedot, sinä, minä tai kuka tahansa voi joko etsiä sitä tai johtaa paremmin, miten sellainen voidaan tehdä naarmuilta.
Tällä vastauksella näyttää olevan kaksi vastausta.Alkuperäinen vastaus on tilastotieteilijöiden mukaan, että "monia suosittuja testejä ... ei pitäisi koskaan käyttää".Postin sisällä on kuitenkin implisiittinen toinen vastaus ei-tilastotieteilijöille, että nämä testit ovat "erityisen hyödyllisiä ammattilaisille, jotka käyttävät tilastoja mustan laatikon menetelminä" ja "normaaliustestit ovat hyödyllisempiä monimuuttujassaasetus. "Ymmärränkö oikein?
#4
+60
dsimcha
2010-09-18 07:32:42 UTC
view on stackexchange narkive permalink

IMHO: n normaalitestit ovat ehdottomasti hyödyttömiä seuraavista syistä:

  1. Pienissä otoksissa on hyvät mahdollisuudet, että populaation todellinen jakauma ei ole olennaisesti normaalia, mutta normaalitesti ei ole tehokas sen noutamiseen.

  2. Suurissa näytteissä esimerkiksi T-testi ja ANOVA ovat melko vankkoja ei-normaalille.

  3. Koko idea normaalisti jakautuneesta populaatiosta on joka tapauksessa vain kätevä matemaattinen lähentäminen. Yhdelläkään tyypillisesti tilastollisesti käsitellyistä määristä ei voida uskottavasti olla jakaumia kaikkien reaalilukujen tuella. Esimerkiksi ihmisillä ei voi olla negatiivista pituutta. Jotain ei voi olla negatiivista massaa tai enemmän massaa kuin mitä on maailmankaikkeudessa. Siksi on turvallista sanoa, että mikään ei ole täsmälleen normaalisti levinnyt todellisessa maailmassa.

Sähköpotentiaaliero on esimerkki reaalimaailman suuruudesta, joka voi olla negatiivinen.
@nico: Varmasti se voi olla negatiivinen, mutta sille on rajallinen raja, koska maailmankaikkeudessa on vain niin paljon protoneja ja elektroneja. Tietysti tällä ei ole merkitystä käytännössä, mutta se on minun mielipiteeni. Mikään ei ole ** täsmälleen ** normaalijakautunut (malli on väärä), mutta on paljon asioita, jotka ovat riittävän lähellä (malli on hyödyllinen). Pohjimmiltaan tiesit jo, että malli oli väärä, ja nollan hylkääminen tai hylkääminen ei anna käytännössä mitään tietoa siitä, onko se silti hyödyllinen.
@dsimcha - Minusta on todella oivaltava, hyödyllinen vastaus.
@dsimcha,, $ t $ -testi ja ANOVA eivät ole vankkoja ei-normaalille. Katso Rand Wilcoxin paperit.
@dsimcha "malli on väärä".Eivätkö kaikki mallit ole "vääriä"?
Silti, jos muutit tietosi (x- \ mu) / sigmalla, voit aina sallia negatiiviset arvot tuhoamatta normaalia, eikö vain?
#5
+31
Frank Harrell
2013-08-01 16:52:06 UTC
view on stackexchange narkive permalink

Luulen, että normaaliuden ennakkotestaus (joka sisältää epävirallisia arviointeja grafiikan avulla) menettää asian.

  1. Tämän lähestymistavan käyttäjät olettavat, että normaaliarvioinnilla on käytännössä teho, joka on lähellä 1,0.
  2. Ei-parametrisilla testeillä, kuten Wilcoxonin, Spearmanin ja Kruskal-Wallisin, hyötysuhde on 0,95, jos normaalisuus pitää paikkansa.
  3. Kun otetaan huomioon 2. voidaan määritellä etukäteen ei-parametrisen käyttö testaa, onko edes mahdollisuus, että tiedot eivät välttämättä johdu normaalijakaumasta.
  4. Tavalliset kumulatiiviset todennäköisyysmallit (tämän luokan jäsenenä oleva suhteellinen kerroinmalli) yleistävät tavanomaiset ei-parametriset testit. Järjestysmallit ovat täysin muuttamattomia suhteessa dollariin Y, ovat vankkoja, tehokkaita ja mahdollistavat kvantiilien ja $ Y $: n keskiarvon arvioinnin.
Huomaa, että tehokkuus 0,95 on * asymptoottinen *: FWIW Luulisin, että hyötysuhde on paljon pienempi tyypillisten rajallisten otoskokojen kohdalla ... (vaikka tosin en ole nähnyt tätä tutkittu, enkä ole yrittänyt tutkia sitä itse)
Olen tutkinut suhteellisia hyötysuhteita pienissä näytteissä useille yleisille testeille;pienen otoksen suhteelliset hyötysuhteet ovat tyypillisesti pienempiä kuin ARE, mutta tavallisissa näytekokoissa yleensä ei kovin paljonARE on yleensä melko hyödyllinen opas.
#6
+17
Emil Friedman
2013-11-27 02:18:47 UTC
view on stackexchange narkive permalink

Ennen kuin kysyt, onko testi tai mikä tahansa karkea normaalin tarkastus "hyödyllinen", sinun on vastattava kysymyksen takana olevaan kysymykseen: "Miksi kysyt?"

Esimerkiksi, jos vain Haluat asettaa luottamusrajan tietojoukon keskiarvon ympärille, poikkeamat normaaluudesta voivat olla tai olla tärkeitä riippuen siitä, kuinka paljon tietoja sinulla on ja kuinka suuria poikkeamia on. Normaalista poikkeamat voivat kuitenkin olla ratkaisevia, jos haluat ennustaa, mikä on äärimmäinen arvo tulevissa havainnoissa tai populaatiossa, josta olet ottanut näytteen.

#7
+13
Henrik
2010-09-09 13:59:39 UTC
view on stackexchange narkive permalink

Haluan lisätä yhden pienen asian:
Normaalitestin suorittaminen ottamatta huomioon sen alfa-virhettä lisää alfa-virheen todennäköisyyttäsi.

Älä koskaan unohda, että jokainen uusi testi tekee tämän, kunhan et hallitse alfa-virheiden kertymistä. Siksi toinen hyvä syy hylätä normaaalitestaus.

Oletan, että tarkoitat tilannetta, jossa ensin tehdään normaaliustestit ja käytetään sitten testin tulosta päättämään, mikä testi suoritetaan seuraavaksi.
Viittaan normaalitestien yleiseen hyödyllisyyteen käytettynä menetelmänä sen määrittämiseksi, onko tarkoituksenmukaista käyttää tiettyä menetelmää. Jos käytät niitä näissä tapauksissa, on alfavirheen todennäköisyyden kannalta parempi suorittaa vankempi testi alfavirheiden kertymisen välttämiseksi.
Hei Henrik, tuot mielenkiintoisen tapauksen useista vertailuista, joita en ole koskaan ajatellut tässä tapauksessa - kiitos. (+1)
Minulla ei ole järkeä. Vaikka valitsisitkin esimerkiksi ANOVA: n tai normaaliustestiin perustuvan sijoitusperusteisen menetelmän (tietysti huono idea) välillä, tekisit päivän päätteeksi vain yhden testin kiinnostuksen vertailusta. Jos hylkäät normaalisuuden virheellisesti, et ole silti päässyt väärään johtopäätökseen tästä vertailusta. Saatat olla tekemässä kahta testiä, mutta ainoa tapaus, jossa voit päätellä, että tällaisella tekijällä on vaikutusta, on, kun toinen testi hylkää myös $ H_0 $, * ei *, kun vain ensimmäinen tekee. Näin ollen ei alfa-virheiden kertymistä ...
Tavallaan tämä palauttaa meidät takaisin null-hypoteesien merkitsevyystestauksen yleiseen kritiikkiin (miksi et sopeudu kaikkiin testeihisi, jotka suoritat urallasi? Ja jos kyllä, miten tietojen joukon johtopäätökset voivat olla erilaiset riippuen tutkijan aikomus / tuleva ura?), mutta todellakin nämä kaksi testiä eivät liity toisiinsa. Esimerkiksi tapa korjata testi, koska olet julkaissut jotain samasta aiheesta vuosia sitten, näyttää paljon vahvemmalta.
Tietenkin, jos käytät jotakin sopimattomaa testiä, virheprosentti voi olla kaukana nimellisestä tasostaan, mutta näin olisi myös, jos suoritat testin suoraan. Ainoa tapa, jolla normaalitesti voi lisätä tyypin I virheitä, on, että testi, jota käytät normaalin hylkäämisen yhteydessä, on itse asiassa vähemmän kestävä tietojesi tietoon nähden kuin tavallinen testi. Joka tapauksessa näyttää siltä, ​​että kaikki ei liity alfa-virheiden kertymisen käsitteeseen.
Toinen tapa, jolla normaalitesti voi lisätä tyypin I virheitä, on, jos puhumme "alfa-virheen suorittamisen yleisestä todennäköisyydestä". Itse testissä on virhesuhde, joten ** yleisesti ** todennäköisyytemme virheestä kasvaa. Painotetaan ** yhtä pientä asiaa **, luulen ...
@NickStauner Juuri tämän halusin kertoa. Kiitos tämän asian selkeyttämisestä.
@Gala Itse asiassa suoritetun lopullisen testin tyypin I virheprosentti (normaaliustestin perusteella valittu parametrinen tai ei-parametrinen) paisuu jopa normaalijakautuneille jäännöksille (tyypin I virhetason inflaatio voi usein olla jopa huonompi, jos sinulla ei olenormaalit jäännökset riippuen käytettävästä testien yhdistelmästä).Testit eivät ole riippumattomia, ja tämä on osoitettu yhä uudelleen kirjallisuudessa.
@Björn ei silti ole järkevää minulle.Onko sinulla esimerkkejä tai katsauksia tästä kirjallisuudesta, jonka voisin tutkia?
#8
+11
Cliff AB
2015-05-20 01:12:34 UTC
view on stackexchange narkive permalink

Ajattelin tavoin , että normaaliustestit olivat täysin hyödyttömiä.

Kuitenkin nyt kuulen muita tutkijoita. Usein näytteiden hankkiminen on erittäin kallista, joten he haluavat tehdä päätelmän n = 8: sta.

Tällöin on hyvin vaikeaa löytää tilastollista merkitsevyyttä ei-parametrisilla testeillä, mutta t-testit, joissa n = 8, ovat herkkiä poikkeamille normaalista. Joten saamme, että voimme sanoa "hyvin, ehdollisena oletukselle normaaluudesta, löydämme tilastollisesti merkittävän eron" (älä huoli, nämä ovat yleensä pilottitutkimuksia ...).

Sitten tarvitsemme jonkinlaisen tavan arvioida tätä oletusta. Olen puolivälissä leirillä, että tonttien katselu on parempi tapa edetä, mutta totuuden mukaan siitä voi olla paljon erimielisyyksiä, mikä voi olla hyvin ongelmallista, jos joku kanssanne, joka ei ole kanssanne samaa mieltä, on käsikirjoituksesi arvostelija.

Luulen monella tapaa, että normaalitesteissä on paljon puutteita: esimerkiksi meidän pitäisi ajatella tyypin II virheitä enemmän kuin tyyppi I. Mutta niihin on tarvetta.

Huomaa, että tässä argumentit ovat, että testit ovat vain teoriassa hyödyttömiä.Teoriassa voimme aina saada niin monta näytettä kuin haluamme ... Tarvitset silti testejä todistamaan, että tietosi ovat ainakin jotenkin lähellä normaalia.
Hyvä pointti.Luulen, että tarkoitat ja varmasti uskon, että normaalista poikkeaman mitta on tärkeämpi kuin hypoteesitesti.
Niin kauan kuin he eivät sitten siirry ei-parametriseen testiin ja yrittävät tulkita p-arvoja (jotka mitätöidään ehdollisella ennakkotestauksella), ehkä se on okei ?!
Normaalitestin teho on hyvin pieni, kun n = 8;erityisesti poikkeamat normaalista, jotka vaikuttavat olennaisesti testin ominaisuuksiin, kun oletetaan, että pienillä näytekokoilla (joko testillä tai visuaalisesti) voi olla melko vaikea havaita.
@Glen_b: Olen samaa mieltä;Mielestäni tämä mielipide on yhdenmukainen sen kanssa, että välitämme enemmän tyypin II virheistä kuin tyypistä I. Huomautukseni on, että todellisuudessa on testattava normaalia.Täyttävätkö nykyiset työkalumme todella tämän tarpeen, toinen kysymys.
Lähes kaikki näkemäni normaaliuden testaukset on tarkistaa testissä käytettyjen tietojen jakautumisolettamukset ennen tähän oletukseen perustuvan testin käyttämistä.tällaisen tarkastuksen suorittaminen lainkaan * on itse mahdollisesti vakava ongelma - sillä on varmasti seurauksia päätelmään.Jos viittaat tähän tarpeeseen, sanoisin, että on vahva käsitys siitä, että on tarpeen testata, mutta melkein aina on parempia asioita.Istuvuuden hyvyyden testaamiseen on joskus hyviä syitä, mutta näitä testejä käytetään harvoin.
#9
+11
Arthur B.
2015-06-10 19:17:47 UTC
view on stackexchange narkive permalink

Siksi, minkä arvoinen olen, kehitin kerran nopean näytteenottimen katkaistulle normaalijakaumalle, ja normaaalitestaus (KS) oli erittäin hyödyllinen toiminnon virheenkorjauksessa. Tämä näytteenottaja läpäisee testin valtavilla näytekokoilla, mutta mielenkiintoista on, että GSL: n siksurat-näytteenotin ei.

#10
+11
AdamO
2018-03-12 22:59:28 UTC
view on stackexchange narkive permalink

Tässä vastauksissa on jo käsitelty useita tärkeitä seikkoja. Yhteenveto nopeasti:

  • Ei ole johdonmukaista testiä, jolla voidaan määrittää, seuraako tietojoukko todella jakelua vai ei.
  • Testit eivät korvaa tietojen ja mallien silmämääräistä tarkastamista korkean vipuvaikutuksen, suurten vaikutusten havaintojen tunnistamiseksi ja niiden vaikutusten mallien kommentoimiseksi.
  • Monien regressiorutiinien oletukset mainitaan usein väärin vaativiksi normaalisti jaettuja "tietoja" [jäännöksiä] ja että aloittelevat tilastotieteilijät tulkitsevat tämän vaatimukseksi, että analyytikko arvioi muodollisesti tämän jossain mielessä ennen analyysien aloittamista.

Lisän vastauksen ensinnäkin mainitsemalla yhden henkilökohtaisesti useimmin käyttämistäni ja lukemistani tilastollisista artikkeleista: " Normaalisuusolettamusten merkitys suurissa kansanterveystietojoukoissa", kirjoittanut Lumley et. al. Se kannattaa lukea kokonaisuudessaan. Yhteenvedossa todetaan:

T-testin ja pienimmän neliösumman lineaarinen regressio ei vaadi oletusta normaalijakaumasta riittävän suurissa näytteissä. Aikaisemmat simulaatiotutkimukset osoittavat, että "riittävän suuri" on usein alle 100, ja jopa erittäin ei-normaalien lääketieteellisten kustannustietojemme osalta se on alle 500. Tämä tarkoittaa, että kansanterveystutkimuksessa, jossa näytteet ovat usein huomattavasti suurempia kuin t, t -testi ja lineaarinen malli ovat hyödyllisiä oletustyökaluja erilaisten datatyyppien erojen ja trendien analysointiin, ei pelkästään normaalijakaumalla. Normaalin muodolliset tilastolliset testit eivät ole erityisen toivottavia, koska niillä on pieni teho pienissä näytteissä, joissa jakautumisella on merkitystä, ja suuri teho vain suurissa näytteissä, joissa jakautumisella ei ole merkitystä.

Vaikka lineaarisen regression suuret otosominaisuudet ymmärretään hyvin, on tutkittu vähän näytekokoja, joita tarvitaan, jotta Normaalisuus-oletus olisi merkityksetön. Erityisesti ei ole selvää, miten tarvittava otoskoko riippuu ennustajien määrästä mallissa.

Keskittyminen normaalijakaumiin voi viedä huomion näiden menetelmien todellisista oletuksista. Lineaarinen regressio olettaa, että tulosmuuttujan varianssi on suunnilleen vakio, mutta molempien menetelmien ensisijainen rajoitus on, että ne olettavat, että riittää tutkimaan tulosmuuttujan keskiarvon muutoksia. Jos jokin muu yhteenveto jakaumasta on kiinnostavampi, t-testi ja lineaarinen regressio eivät välttämättä sovi.

Yhteenvetona: normaalisuus ei yleensä ole keskustelun tai sen saaman huomion arvoinen, toisin kuin on tärkeää vastata tiettyyn tieteelliseen kysymykseen. Jos halutaan : n yhteenveto keskimääräisistä -eroista tiedoissa, t-testi ja ANOVA tai lineaarinen regressio ovat perusteltuja paljon laajemmassa mielessä. Näihin malleihin perustuvat testit pysyvät oikealla alfatasolla, vaikka jakautumisolettamukset eivät täyty, vaikka valtaan se saattaa vaikuttaa haitallisesti.

Syyt, miksi normaalijakaumat voivat kiinnittää huomiota, voivat olla klassisista syistä, jos ANOVA: n F-jakaumiin ja T-testin Student-T-jakaumaan perustuvat tarkat testit saatiin. Totuus on, että tieteen monien nykyaikaisten edistysaskeleiden joukossa käsittelemme yleensä suurempia aineistoja kuin aiemmin kerättiin. Jos kyseessä on itse asiassa pieni tietojoukko, perustelut sille, että nämä tiedot normaalisti jaetaan, eivät voi tulla itse näistä tiedoista: tehoa ei yksinkertaisesti ole riittävästi. Muiden tutkimusten, replikointien tai jopa mittausprosessin biologian tai tieteen huomauttaminen on mielestäni paljon perustellumpi tapa keskustella havaitun datan mahdollisesta todennäköisyysmallista.

Tästä syystä sijoituspohjaisen testin valitseminen vaihtoehtona menettää asian kokonaan. Olen kuitenkin samaa mieltä siitä, että vankan varianssiestimaattorin käyttö, kuten jackknife tai bootstrap, tarjoavat tärkeitä laskennallisia vaihtoehtoja, jotka mahdollistavat testien suorittamisen useissa tärkeimmissä mallispesifikaatioiden rikkomuksissa, kuten riippumattomuus tai näiden virheiden identtinen jakautuminen.

#11
+7
probabilityislogic
2012-02-05 06:52:01 UTC
view on stackexchange narkive permalink

Luulen, että suurin entropia-lähestymistapa voisi olla hyödyllinen tässä. Voimme määrittää normaalijakauman, koska uskomme datan "normaalijakautuneen" (mitä se tarkoittaa) tai koska odotamme vain suunnilleen saman suuruisia poikkeamia. Koska normaalijakaumalla on vain kaksi riittävää tilastoa, se on epäherkkä tietojen muutoksille, jotka eivät muuta näitä määriä. Joten tavallaan voit ajatella normaalijakaumaa "keskiarvona" kaikista mahdollisista jakaumista samoilla ensimmäisellä ja toisella momentilla. tämä on yksi syy, miksi vähiten neliöiden pitäisi toimia yhtä hyvin kuin se.

Hieno käsitteiden yhdistäminen.Olen myös samaa mieltä siitä, että tapauksissa, joissa tällaisella jakelulla on merkitystä, on paljon valaisevampaa * miettiä * kuinka data syntyy.Sovellamme tätä periaatetta sovitettaessa sekamalleja.Pitoisuudet tai suhteet ovat toisaalta aina vinossa.Voisin lisätä, että sanalla "normaali ... on epäherkkä muutoksille" tarkoitat vaihtelevaa muodon / mittakaavan muutoksille.
#12
+7
Michael R. Chernick
2012-05-04 22:38:13 UTC
view on stackexchange narkive permalink

Antamasi argumentti on mielipide. Luulen, että normaalitestauksen merkitys on varmistaa, että tiedot eivät poikkea vakavasti normaalista. Käytän sitä joskus päätettäessä, käytetäänkö parametrista vai ei-parametrista testiä päättelymenettelyni välillä. Luulen, että testistä voi olla hyötyä kohtuullisissa ja suurissa näytteissä (kun keskirajalause ei tule esiin). Minulla on tapana käyttää Wilk-Shapiro- tai Anderson-Darling-testejä, mutta SAS: n suorittaminen saan ne kaikki ja he ovat yleensä yhtä mieltä. Eri muistiinpanojen mukaan mielestäni graafiset menettelyt, kuten Q-Q-käyrät, toimivat yhtä hyvin. Muodollisen kokeen etuna on, että se on objektiivinen. Pienissä näytteissä on totta, että näillä sopivuuskokeiden hyvyydellä ei ole käytännössä mitään voimaa, ja se on intuitiivista, koska pieni näyte normaalijakaumasta saattaa sattumalta näyttää melko epänormaalilta, ja tämä otetaan huomioon testissä. Myös suuria vinoutumia ja kurtoosia, jotka erottavat monet epänormaalit jakaumat normaalijakaumista, ei ole helppo nähdä pienissä näytteissä.

Vaikka sitä voidaan varmasti käyttää tällä tavalla, en usko, että olet objektiivisempi kuin QQ-Plotilla. Testien subjektiivinen osa on milloin päättää, että tietosi ovat epätavallisia. Suuren näytteen hylkääminen p = 0,05: ssä saattaa hyvinkin olla liiallista.
Esitestaus (kuten täällä ehdotetaan) voi mitätöidä tyypin I virhesuhteen koko prosessissa; tulisi ottaa huomioon se, että esitesti tehtiin tulkittaessa valitun testin tuloksia. Hypoteesitestit olisi pidettävä yleisemmin sellaisten nollahypoteesien testaamiseksi, joista todella huolehditaan, ts. Että muuttujien välillä ei ole yhteyttä. Nollahypoteesi, jonka mukaan tiedot ovat täsmälleen normaalit, ei kuulu tähän luokkaan.
(+1) Täällä on erinomaisia ​​neuvoja. Erik, "objektiivin" käyttö yllätti minutkin, kunnes tajusin Michaelin oikeuden: kaksi ihmistä, jotka suorittavat saman testin oikein samoille tiedoille, saavat aina saman p-arvon, mutta he saattavat tulkita samaa Q-Q-käyrää eri tavalla. Vieras: kiitos varoituksesta tyypin I virheestä. Mutta miksi meidän ei pitäisi välittää tiedonjakelusta? Usein se on mielenkiintoista ja arvokasta tietoa. Haluan ainakin tietää, ovatko tiedot yhdenmukaisia ​​testieni tekemien oletusten kanssa!
Olen täysin eri mieltä. Molemmat ihmiset saavat saman QQ-käyrän ja saman p-arvon. P-arvon tulkitsemiseksi sinun on otettava huomioon otoksen koko ja normaaliuden rikkomukset, joihin testi on erityisen herkkä. Joten p-arvosi tekemisen päättäminen on yhtä subjektiivista. Syy, miksi haluat mieluummin p-arvon, on se, että uskot datan noudattavan täydellistä normaalijakaumaa - muuten on vain kysymys siitä, kuinka nopeasti p-arvo putoaa otoskoon kanssa. Mikä on enemmän, kun otetaan huomioon kunnollinen näytekoko, QQ-juoni näyttää melko samalta ja pysyy vakaana useammalla näytteellä.
Erik, olen samaa mieltä siitä, että testitulokset ja grafiikat vaativat tulkintaa. Mutta testitulos on * numero *, eikä siitä tule kiistaa. QQ-juoni kuitenkin myöntää useita kuvauksia. Vaikka jokainen voi objektiivisesti olla oikea, valinta mihin kiinnittää huomiota, on ... valinta. Sitä tarkoittaa "subjektiivinen": tulos riippuu analyytikosta, ei pelkästään itse menettelystä. Siksi esimerkiksi asetuksissa, jotka ovat niin vaihtelevia kuin valvontakaaviot ja hallituksen säädökset, joissa "objektiivisuus" on tärkeää, kriteerit perustuvat * numeerisiin * testeihin ja * ei koskaan * graafisiin tuloksiin.
Olen hyvin yllättynyt siitä, että kukaan väittäisi, että muodollinen hypoteesitestaus ei ole enää objektiivista kuin QQ-juonen tutkiminen. Luulen, että Bill Huber selitti hyvin, mitä olisin sanonut kumoukseksi. En tiedä, voinko muuttaa Erikin mieltä tässä, mutta haluaisin lisätä, että valitset testitilaston ja kriittisen arvon valitsemasi merkitsevyystason perusteella (merkitsevyystason valinta voi olla perinteisesti, kuten 0,05: n valinta tai se subjektiivinen päättely siitä, mikä on riski, jonka haluat ottaa tyypin I virheen tekemisestä).
Kaikki tämä voidaan tehdä ennen tietojen keräämistä. Siinä vaiheessa päätös on deterministinen. Keräät tiedot, lasket testitilaston ja hylkäät sitten, jos se ylittää kriittisen arvon, etkä hylkää, jos se ei ylitä. Et muuta mitään tietojen perusteella. QQ-käyrällä ei ole ennalta määrättyä sääntöä. Periaatteessa luodaan juoni tietojen perusteella ja päätät itse sen perusteella, mitä näet, seuraavatkö tiedot mielestäsi tarkasti suoraa. Kaksi ihmistä voi varmasti erota tuloksen tarkastelusta johtuvan henkilökohtaisen arvostelun perusteella.
Luulen, että puhumme täällä mielipiteistä. Sitten on mielestäni huono käytäntö opettaa, että normaalitesti on objektiivinen standardi, joka tarkistaa / hylkää normaalisuuden. Testin tulos on vain algoritmi, joka ei ilmoita normaalin olettamisen ja eteenpäin siirtymisen pätevyydestä. Sen sijaan Q-Q-juoni on selkeä: Sinun on päätettävä, mikä on tai ei ole tärkeää (poikkeama), ja saa sinut miettimään, onko siellä mahdollisesti jotain vaihtoehtoa, joka tekee siitä paremman (jopa vain lineaarisen muunnoksen)
#13
+7
Michael R. Chernick
2012-05-05 22:27:18 UTC
view on stackexchange narkive permalink

Mielestäni kahteen ensimmäiseen kysymykseen on vastattu perusteellisesti, mutta en usko, että kysymystä 3 olisi käsitelty. Monissa testeissä verrataan empiiristä jakaumaa tunnettuun oletettuun jakaumaan. Kolmogorov-Smirnov-testin kriittinen arvo perustuu siihen, että F on täysin määritelty. Sitä voidaan muokata testattavaksi parametrijakauman suhteen, jossa parametrit on arvioitu. Joten jos fuzzier tarkoittaa useamman kuin kahden parametrin arviointia, vastaus kysymykseen on kyllä. Näitä testejä voidaan soveltaa vähintään kolmeen parametriperheeseen. Jotkut testit on suunniteltu parantamaan tehoa testattaessa tiettyä jakeluperhettä vastaan. Esimerkiksi kun testataan normaaliutta, Anderson-Darling- tai Shapiro-Wilk-testillä on suurempi teho kuin K-S: llä tai chi-neliöllä, kun oletettu nollahypoteesijakauma on normaali. Lillefors kehitti testin, joka on suositeltava eksponentiaalijakaumille.

#14
+7
kolonel
2014-10-25 01:00:55 UTC
view on stackexchange narkive permalink

En sanoisi, että se on hyödytön, mutta se riippuu todella sovelluksesta. Huomaa, että et koskaan tiedä jakaumaa, josta tiedot tulevat, ja sinulla on vain pieni joukko toteutuksia. Näytekeskiarvosi on aina rajallinen näytteessä, mutta keskiarvo voi olla määrittelemätön tai ääretön tietyntyyppisille todennäköisyystiheysfunktioille. Tarkastellaan kolmea Levy-vakaan jakauman tyyppiä eli normaalijakauma, Levyjakauma ja Cauchy-jakauma. Suurimmalla osalla näytteistäsi ei ole paljon havaintoja hännässä (ts. Poissa näytteen keskiarvosta). Joten empiirisesti on erittäin vaikea erottaa nämä kolme, joten Cauchy (keskiarvo on määrittelemätön) ja Levy (on ääretön keskiarvo) voivat helposti naamioitua normaalijakaumaksi.

"... empiirisesti se on erittäin vaikeaa ..." näyttää väittävän * jakautumistestauksen sijaan * vastaan * eikä * puolesta *.Tätä on outoa lukea kappaleesta, jonka johdannossa ehdotetaan, että jakelutestaukseen on todellakin olemassa käyttötarkoituksia.Mitä sitten oikein yrität sanoa täällä?
Vastustan sitä, mutta haluan olla varovainen kuin vain sanoa, että se on hyödytön, koska en tiedä kaikkia mahdollisia skenaarioita.On monia testejä, jotka riippuvat normaaliolettamuksesta.Sanominen normaalitestauksen hyödyttömyydestä on käytännössä kaikkien sellaisten tilastollisten testien kumoaminen, kun sanot, ettet ole varma, että käytät / teet oikein.Siinä tapauksessa sinun ei pitäisi tehdä sitä, sinun ei pitäisi tehdä tätä suurta osaa tilastoista.
Kiitos.Kommentin huomautukset näyttävät keskittyvän paremmin kysymykseen kuin alkuperäinen vastauksesi!Voisit harkita vastauksesi päivittämistä jossain vaiheessa, jotta mielipiteesi ja neuvosi näkyvät paremmin.
@whuber Ei hätää.Voitteko suositella muokkausta?
Voit aloittaa yhdistämällä kaksi viestiä - vastauksen ja kommenttisi - ja sitten miettiä minkä tahansa tangentiaalisen materiaalin kitkemistä (tai siirtämistä liitteeseen tai selventämistä).Esimerkiksi viittauksella määrittelemättömiin keinoihin ei ole vielä selkeää merkitystä kysymykselle, joten se on edelleen jonkin verran salaperäinen.
@whuber Okei, yritän parantaa.Kiitos.
#15
+5
wvguy8258
2013-12-07 22:02:42 UTC
view on stackexchange narkive permalink

Testit, joissa korkeat p-arvot tukevat "jotain" analyysin kannalta tärkeää, ovat mielestäni väärässä. Kuten muut huomauttivat, suurille tietojoukoille p-arvo on alle 0,05. Joten testi olennaisesti "palkitsee" pieniä ja sumeita tietojoukkoja ja "palkitsee" todisteiden puutteesta. Jotain qq-tontteja ovat paljon hyödyllisempiä. Halu saada kovat numerot päättää tällaisista asioista aina (kyllä ​​/ ei normaalia / ei normaalia) menettää, että mallinnus on osittain taidetta ja kuinka hypoteeseja todella tuetaan.

Suuren, lähes normaalin näytteen p-arvo on pieni, kun taas pienemmällä näytteellä, joka ei ole läheskään normaalilla, ei usein ole. En usko, että suuret p-arvot ovat hyödyllisiä. Jälleen he palkitsevat todisteiden puutteesta. Minulla voi olla otos, jossa on useita miljoonia datapisteitä, ja se hylkää melkein aina normaaliolettamuksen näissä testeissä, kun taas pienempi otos ei. Siksi en pidä niistä hyödyllisiä. Jos ajatteluni on puutteellinen, esitä se käyttämällä jotakin deduktiivista päättelyä tässä asiassa.
Tämä ei vastaa lainkaan kysymykseen.
#16
-3
Hotaka
2013-09-29 21:04:38 UTC
view on stackexchange narkive permalink

Normaalitestin hyvä käyttötapa, jota mielestäni ei ole mainittu, on selvittää, onko z-pisteiden käyttö oikein. Oletetaan, että valitsit satunnaisotoksen populaatiosta ja haluat löytää todennäköisyyden valita yksi satunnainen yksilö populaatiosta ja saada arvo 80 tai enemmän. Tämä voidaan tehdä vain, jos jakauma on normaali, koska z-pisteiden käyttämiseksi oletetaan, että populaatiojakauma on normaali.

Mutta sitten luulen, että myös tämä on kiistanalainen ...

Minkä arvo? Keskiarvo, summa, varianssi, yksittäinen havainto? Vain viimeinen nojaa oletettuun jakauman normaaluuteen.
tarkoitin yksilöä
Kiitos. Vastauksesi on kuitenkin niin epämääräinen, että on vaikea sanoa, mihin menettelyihin viitat, ja mahdotonta arvioida, ovatko päätelmät päteviä.
Tämän käytön ongelma on sama kuin muissa käyttötavoissa: Testi riippuu näytteen koosta, joten se on olennaisesti hyödytön. Se ei kerro, voitko käyttää z-pisteitä.


Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 2.0-lisenssistä, jolla sitä jaetaan.
Loading...