Esitin äskettäin kysymyksen paperien tilastojen tarkistamisesta. Haluaisin nyt kysyä, mikä ärsyttää sinua erityisesti artikkelia tarkasteltaessa, eli mikä on paras tapa todella ärsyttää tilastotuomaria!
Yksi esimerkki vastausta kohti, kiitos.
Esitin äskettäin kysymyksen paperien tilastojen tarkistamisesta. Haluaisin nyt kysyä, mikä ärsyttää sinua erityisesti artikkelia tarkasteltaessa, eli mikä on paras tapa todella ärsyttää tilastotuomaria!
Yksi esimerkki vastausta kohti, kiitos.
Mikä erityisen ärsyttää minua henkilökohtaisesti , ovat ihmiset, jotka käyttivät selvästi käyttäjän kirjoittamia paketteja tilasto-ohjelmistoihin, mutta eivät mainitse niitä oikein tai lainkaan, jättäen antamatta tunnustusta tekijöille. Näin tekeminen on erityisen tärkeää, kun kirjoittajat ovat akateemisessa maailmassa ja heidän työpaikkansa riippuvat julkaisujen julkaisemisesta joita lainataan . (Ehkä minun pitäisi lisätä, että alallani monet syylliset eivät ole tilastotieteilijöitä.)
Hyvää minua, niin monet asiat tulevat mieleen ...
Porrastettu regressio
P-arvojen antaminen, mutta ei vaikutuksen koon mittausta
Tietojen kuvaaminen keskiarvon ja keskihajonnan avulla ilmoittamatta, olivatko tiedot enemmän tai vähemmän symmetrisiä ja yksimodaalisia
Luvut ilman selkeitä tekstityksiä (onko virhepalkkeissa keskiarvon keskivirheitä tai standardipoikkeamia ryhmissä vai mitä?)
Irene Stratton ja hänen kollegansa julkaisivat lyhyen artikkelin läheisesti liittyvästä kysymyksestä:
Stratton IM, Neil A. Kuinka varmistaa, että tilastointitarkastaja hylkää paperisi. diabeettinen lääketiede 2005; 22 (4): 371 - 373.
Simuloitujen tulosten tuottamiseen käytettyä koodia ei toimiteta. Koodin pyytämisen jälkeen se vaatii lisätyötä saadakseen sen toimimaan erotuomarin luomalla tietojoukolla.
Plagiointi (teoreettinen tai metodologinen). Ensimmäinen arvosteluni oli todellakin paperi, jossa oli paljon viitteettömiä kopioita / liitteitä vakiintuneesta metodologisesta artikkelista, joka julkaistiin 10 vuotta sitten.
Löysin vain pari mielenkiintoista paperia aiheesta: Authorship and plagiarism tieteessä.
Samassa mielessä väärentäminen (tietojen tai tulosten) mielestäni on pahinta kaikista.
Kun pyydämme kirjoittajilta
ja että kirjoittajat eivät todellakaan vastaa tapauksessa (1) tai että syytetty johtaa ( 2) katoavat jäsenvaltiosta.
Hämmentävät p-arvot ja tehosteen koko (ts. ilmoitan vaikutukseni olevan suuri, koska minulla on todella pieni p-arvo).
Hieman erilainen kuin Stephanin vastaus poissulkemasta vaikutusta koot, mutta antavat p-arvot. Olen samaa mieltä siitä, että sinun pitäisi antaa molemmat (ja toivottavasti ymmärtää ero!)
Ei sisällä tehosekokoja.
P-t koko tutkimuksessa (minun on kiitettävä suosikkini gradupuheenopettajani tästä linjasta).
Antaa valtavan määrän numeroita (miehet saivat 3,102019 kiloa enemmän kuin naiset)
Ei sivunumeroita (mikä vaikeuttaa tarkistamista)
Luvut ja taulukot väärin numeroivat
(kuten jo mainittiin - asteittain ja luokittelemalla jatkuvat muuttujat)
Kun he eivät selitä riittävästi analyysiään ja / tai sisältävät yksinkertaisia virheitä, jotka vaikeuttavat todellisen tekemisen selvittämistä. Tähän sisältyy usein monien ammattikielten heittäminen selityksen muodossa, mikä on epäselvämpää kuin kirjoittaja näyttää ymmärtävän, ja sitä voidaan käyttää väärin.
Syy-kielen käyttäminen kuvaamaan assosiaatioita havainnotiedoissa, kun muuttujat jätetään pois, ovat melkein varmasti vakava huolenaihe.
Uusien sanojen keksiminen olemassa oleville käsitteille tai päinvastoin olemassa olevien termien käyttäminen erilaisten merkitsemiseen.
Jotkut olemassa olevista terminologisista eroista ovat jo pitkään asettuneet kirjallisuudessa: pitkittäistiedot biostatistiikassa vs. paneelitiedot ekonometriassa; syy-seurausindikaattorit sosiologiassa vs. muotoilevat ja reflektiiviset indikaattorit psykologiassa; jne. Vihaan edelleen heitä, mutta ainakin löytyy muutama tuhat viittausta kumpaankin omasta kirjallisuudestaan. Viimeisin on koko tämä osa kausaalisen kirjallisuuden suunnatuista asyklisista kaavioista: useimmat, ellei kaikki, näiden tunnistamis- ja arviointiteoriasta ovat ekonometristit kehittäneet 1950-luvulla samanaikaisten yhtälöiden nimellä.
Termi, jolla on kaksinkertainen, ellei kolmoinen merkitys, on "vankka", ja eri merkitykset ovat usein ristiriitaisia. "Vankat" vakiovirheet eivät ole vankkoja kaukana oleville. Lisäksi ne eivät ole vankkoja vastustamaan muuta kuin oletettua poikkeamaa mallista, ja niillä on usein surkea pieni näytteen suorituskyky. Whitein vakiovirheet eivät ole vakaita sarja- tai klusterikorrelaatioita vastaan; SEM: n "vankat" vakiovirheet eivät ole vankkoja mallirakenteen virheellisiin määrityksiin (jätetyt polut tai muuttujat). Aivan kuten hypoteesin merkitsevyyden testaus null-kohdalla, on mahdotonta osoittaa sormella ketään ja sanoa: "Olet vastuussa useiden tutkijoiden sukupolvien sekoittamisesta tämän käsitteen luomiseen, joka ei oikeastaan seiso sen nimeä". p>
Kun kirjoittajat käyttävät yhtä tuntemaansa tilastollista testiä (kentälläni, yleensä t-testi tai ANOVA), loputtomasti riippumatta siitä, onko se tarkoituksenmukaista. Tarkistin äskettäin paperin, jossa kirjoittajat halusivat verrata kymmenkunta erilaista hoitoryhmää, joten he olivat tehneet kahden näytteen t-testin jokaiselle mahdolliselle hoitoparille ...
Puuttuvien tietojen nolla huomioiminen.
Monissa käytännön sovelluksissa käytetään tietoja, joilta on ainakin joitain puuttuvia arvoja. Tämä on varmasti totta epidemiologiassa. Puuttuvat tiedot aiheuttavat ongelmia monille tilastollisille menetelmille - mukaan lukien lineaariset mallit. Puuttuvat tiedot lineaarisilla malleilla hoidetaan usein poistamalla tapaukset, joissa puuttuu tietoja kovariaateista. Tämä on ongelma, paitsi jos tietoja puuttuu olettaen, että tiedot puuttuvat kokonaan satunnaisesti (MCAR).
Ehkä kymmenen vuotta sitten oli järkevää julkaista tuloksia lineaarisista malleista ilman, että puutteita tarkasteltaisiin tarkemmin. Olen varmasti syyllinen tähän. Erittäin hyviä neuvoja puuttuvien tietojen käsittelemiseksi useilla imputointeilla on kuitenkin nyt laajalti saatavilla, samoin kuin tilastopaketteja / malleja / kirjastoja / jne. helpottaa tarkoituksenmukaisempia analyysejä järkevämpien oletusten perusteella, kun puuttuu.
Raportoimalla vaikutuksista, jotka "lähestyivät merkitystä (esimerkiksi p < .10), ja sitten kirjoittamalla niistä ikään kuin ne olisivat saavuttaneet merkityksen tiukemmalla ja hyväksyttävämmällä tasolla. Suorita useita rakenteellisia yhtälömalleja, joita ei ole sisäkkäin, ja kirjoita niistä sitten ikään kuin he olisivat sisäkkäin. Hyvin vakiintuneen analyyttisen strategian ottaminen ja sen esittäminen ikään kuin kukaan ei olisi koskaan ajatellut käyttää sitä aiemmin. Ehkä tämä on plagiointia n. astetta.
Suosittelen seuraavia kahta artikkelia:
Martin Bland:
Tilastotuomarin järkyttäminen
Tämä perustuu annettuihin keskusteluihin Martin Bland yhdessä muiden tilastotuomareiden tietojen kanssa ('' mukavuusnäyte, jolla on pieni vastausprosentti ''). Se päättyy 11 pisteen luetteloon "[h] ow to išvengti tilastotuomarin häiritsemisestä".
Stian Lydersen:
Tilastokatsaus: usein annettuja kommentteja Tässä tuoreessa julkaisussa (julkaistu 2014/2015) luetellaan kirjoittajan 14 yleisintä arvostelukommenttia, jotka perustuvat noin. 200 tilastollista katsausta tieteellisistä julkaisuista (tietyssä lehdessä). Jokaisessa kommentissa on lyhyt selitys ongelmasta ja ohjeet siitä, miten oikein tehdä analyysi / raportointi. Viitattujen viitteiden luettelo on mielenkiintoisten paperien aarreaitta.
Minua ärsyttää eniten (ja yleisimmin) ennustusmallien yleistysvirheeseen tähtäävä "validointi", jossa testitiedot eivät ole riippumattomia (esim. tyypillisesti useita mittauksia potilasta kohden, käynnistyksen ulkopuolella tai ristivalidointi) jakamalla mittaukset eivät potilaat ).
Vielä ärsyttävämpiä ovat paperit, jotka antavat tällaisia virheellisiä ristivalidoinnin tuloksia sekä riippumaton testisarja, joka osoittaa ristivalidoinnin liian optimistisen puolueellisuuden, mutta ei yhtä sana, että ristivalidoinnin suunnittelu on väärä ...
(Olisin täysin onnellinen, jos samat tiedot esitettäisiin "tiedämme, että ristivalidoinnin pitäisi jakaa potilaat, mutta olemme juuttuneet ohjelmisto, joka ei salli tätä. Siksi testasimme lisäksi todella itsenäisen testipotilasjoukon ")
(Olen myös tietoinen siitä, että bootstrapping = uudelleennäyte korvaamalla toimii yleensä paremmin kuin ristivalidointi = uudelleen näytteenotto ilman Löysimme kuitenkin spektroskooppisen datan (simuloidut s pectra ja hieman keinotekoinen malliasetus, mutta todelliset spektrit), jotka toistivat / toistivat ristivalidoinnin ja käynnistysrajan ulkopuolella, oli samanlainen yleinen epävarmuus; oobilla oli enemmän ennakkoluuloja, mutta vähemmän varianssia - uudelleensuuntaamiseksi katson tätä hyvin käytännöllisestä näkökulmasta: toistuvalla ristivalidoinnilla vs. käynnistysrannalla ei ole merkitystä, kunhan monet paperit eivät jakaudu potilaskohtaisesti eivätkä raportoi / keskustele / mainitse satunnainen epävarmuus rajoitetun testinäytteen koon vuoksi.)
Väärinkäytön lisäksi sillä on myös sivuvaikutus, että asianmukaisen validoinnin suorittavien ihmisten on usein puolustettava, miksi niiden tulokset ovat niin paljon huonompia kuin kaikki muut tuloksia kirjallisuudessa.
"datan" käyttäminen yksinäisessä mielessä. Tiedot OVAT, ne eivät ole koskaan.
Minulle on ylivoimaisesti syyn osoittaminen ilman asianmukaista syy-analyysiä tai kun on olemassa väärä syy-seuraus.
Vihaan sitä myös silloin, kun puuttuvien tietojen käsittelyyn ei kiinnitetä mitään huomiota. Näen niin monia artikkeleita, joissa kirjoittajat yksinkertaisesti suorittavat täydellisen tapausanalyysin eivätkä mainitse, ovatko tulokset yleistettävissä väestölle, jolla on puuttuvat arvot, tai miten puuttuvien arvojen populaatio voisi järjestelmällisesti erota täydellisistä tiedoista koostuvasta populaatiosta.
Microsoft Wordin käyttäminen LaTeXin sijaan.