Kysymys:
Ristivahvistus tavallisella englanniksi?
Shane
2010-08-18 18:11:19 UTC
view on stackexchange narkive permalink

Kuinka kuvailisit ristivalidointia henkilölle, jolla ei ole tietojen analysointitausta?

Tämän kysymyksen tarkoituksena on auttaa epäselvyydessä sivuston nimiehdotuksesta: http://meta.stats.stackexchange.com/questions/21/what-should-our-site-be-called-what-should-our-domain- name-be / 53 # 53.
Viisi vastused:
#1
+57
user28
2010-08-18 18:38:30 UTC
view on stackexchange narkive permalink

Harkitse seuraavaa tilannetta:

Haluan kiinni metrosta mennäni toimistooni. Suunnitelmani on viedä autoni, pysäköidä metroon ja sitten junalla mennä toimistooni. Tavoitteenani on päästä junaan joka päivä klo 8.15, jotta pääsen toimistooni ajoissa. Minun on päätettävä seuraavista: (a) aika, jona minun täytyy lähteä kodistani, ja (b) reitti, jolla aion ajaa asemalle.

Edellä Minulla on esimerkiksi kaksi parametria (ts. lähtöaika kotoa ja reitti asemalle) ja minun on valittava nämä parametrit siten, että pääsen asemalle klo 8.15 mennessä.

Yllä olevan ongelman ratkaisemiseksi voin kokeilla erilaisia ​​`` parametreja '' (ts. eri lähtö- ja reittiyhdistelmien yhdistelmiä) maanantaisin, keskiviikkoisin ja perjantaisin nähdäksesi mikä yhdistelmä on 'paras. Ajatuksena on, että kun olen löytänyt parhaan yhdistelmän, voin käyttää sitä päivittäin, jotta saavutan tavoitteeni.

Yliasennuksen ongelma

Ongelma Yllä olevan lähestymistavan mukaan voin ylivarustaa, mikä tarkoittaa olennaisesti sitä, että paras tunnistamani yhdistelmä saattaa jossain mielessä olla ainutlaatuinen ma, ke ja perjantaisin ja että yhdistelmä ei ehkä toimi ti ja to. Ylivarustusta voi tapahtua, jos etsin parasta ajankohtien ja reittien yhdistelmää hyödyntämällä jotakin ma / ke / pe liikennetilanteen näkökohtaa, jota ei tapahdu ti ja to.

Yksi ratkaisu ylikokoonpanoon: ristivalidointi

Ristiintarkastus on yksi ratkaisu ylisovittamiseen. Ajatuksena on, että kun olemme tunnistaneet parhaan yhdistelmän parametreja (tapauksessamme aika ja reitti), testataan kyseisen parametrisarjan suorituskyky eri kontekstissa. Siksi saatamme haluta testata ti ja to myös varmistaaksemme, että valintamme toimivat myös noina päivinä.

Laajennetaan analogiaa tilastoihin

Tilastoissa meillä on samanlainen ongelma. Käytämme usein rajallista joukkoa tietoja tuntemattomien parametrien arvioimiseksi. Jos sovitamme liikaa, parametriestimaatimme toimivat erittäin hyvin olemassa oleville tiedoille, mutta eivät yhtä hyvin, kun käytämme niitä toisessa yhteydessä. Siksi ristivalidointi auttaa välttämään yllä mainitun ylikokoonpanon ongelman todistamalla meille jonkin verran varmuutta siitä, että parametriestimaatit eivät ole ainutkertaisia ​​niiden tietojen kanssa, joita käytimme niiden arvioimiseksi. Palataksemme takaisin esimerkkiin metroasemasta, voi käydä niin, että jopa ristivalidoinnin jälkeen paras parametrien valinta ei välttämättä toimi kuukauden ajan linjassa erilaisten ongelmien (esim. Rakentaminen, liikenteen määrän muutos ajan myötä jne.) Vuoksi.

Teknisesti tämä on holdout-vahvistus, mutta voidaan kuvitella, että metroesimerkki laajennetaan ristivalidointikontekstiin. Jos se auttaa, kirjoitan esimerkin ja muun tekstin uudelleen ristiinvahvistamiseen.
@srikant..sana, joka on liian sopiva sanaksi, viittaa minuun siihen, että jokin on "liian" tehty tarkoituksella .. enemmän kuin vaaditaan .. joten mitä on liian tehty? Onko kyse muuttujista? Olen pahoillani, että olen kuullut termiä liian monta kertaa ja ottaisin tämän mahdollisuuden selvittääksesi tämän kanssasi.
Uskon, että tätä vastausta parannettaisiin lisäämällä taitosten käsite, joka on avain CV: n eroon holdout-testauksesta.Esimerkissä (käytetään lyhennettä M maanantaina, T tiistaina ...Toimii T: llä jne. Joten jokaista päivää käytetään osana ongelmaa neljä kertaa ja ongelman tarkastuksena kerran, mutta ei koskaan ongelmana ja tarkistuksena samalla kierroksella.
#2
+44
Shane
2010-08-18 18:20:29 UTC
view on stackexchange narkive permalink

Mielestäni tätä voidaan parhaiten kuvata seuraavalla kuvalla (tässä tapauksessa k-kertainen ristivalidointi):

alt text

Ristivahvistus on tekniikka, jota käytetään ennakoivassa mallissa suojautumaan ylisovitukselta, erityisesti tapauksissa, joissa tietojen määrää voidaan rajoittaa. Ristiintarkistuksessa teet kiinteän määrän taitoksia (tai osioita) tiedoista, suoritat analyysin jokaisella kerroksella ja keskität sitten kokonaisvirheestimaatin.

Näyttää siltä, ​​että muualla tällä sivustolla on keskusteltu siitä, että k-kertainen ristivalidointi on vain yksi ristikkäistarkastustyyppi, eikä sen kuvaaminen tee yleistä tehtävää kuvata, mikä ristivalidointi on.
@drknexus: Se on reilua, mutta mainitsen sen k-kertaiseksi ja halusin tarjota prosessin visualisoinnin sen selittämiseksi.
Nopea selvennys: onko tapaus, että nfold = 4 tarkoittaa 25% testisarjassa;nfold = 5 tarkoittaa 20% testijoukossa;nfold = 10 tarkoittaa 10% testijoukossa ja niin edelleen: nfold = n tarkoittaa 100 / n prosenttia menee testijoukkoon?
#3
+10
Andre Holzner
2010-08-19 00:09:38 UTC
view on stackexchange narkive permalink

"Vältä harjoitustietojen oppimista sydämestäsi varmistamalla, että koulutettu malli toimii hyvin riippumattomilla tiedoilla."

Tämä on pikemminkin motivaatio CV: lle kuin itse CV: n kuvaus.
#4
+6
user88
2010-08-18 20:14:02 UTC
view on stackexchange narkive permalink

Oletetaan, että tutkit prosessia; olet kerännyt joitain sitä kuvaavia tietoja ja olet rakentanut mallin (joko tilastollinen tai ML, ei ole väliä). Mutta nyt, miten arvioida, onko se ok? Todennäköisesti se sopii epäilemättä hyvään tietoihin, joihin se on rakennettu, joten kukaan ei usko, että mallisi on niin loistava, että luulet.
Ensimmäinen idea on erottaa osa tietojesi joukosta ja testata sitä mallin rakenteella menetelmälläsi muihin tietoihin. Nyt tulos on ehdottomasti ylikuormittamaton, kuitenkin (etenkin pienille sarjoille), olisit voinut olla (on) onnekas ja piirtää (vähemmän) yksinkertaisempia tapauksia testattavaksi, mikä helpottaa (vaikeampaa) ennustaa ... Myös tarkkuutesi / virhe- / hyvyysarvio on hyödytön mallien vertailussa / optimoinnissa, koska et todennäköisesti tiedä mitään sen jakaumasta.
Jos olet epävarma, käytä raakaa voimaa, joten toista vain yllä oleva prosessi, kerää muutama arvio tarkkuudesta / virheestä / hyvyydestä ja keskiarvosta heille - ja saat siis ristivalidoinnin. Parempien arvioiden joukosta saat myös histogrammin, joten pystyt arvioimaan jakauman tai suorittamaan joitain ei-parametrisia testejä.
Ja tämä on se; Koe-junan jakamisen yksityiskohdat ovat syy erilaisiin CV-tyyppeihin, silti harvinaisia ​​tapauksia ja pieniä lujuuseroja lukuun ottamatta, ne ovat melko samanarvoisia. Se on todellakin valtava etu, koska se tekee siitä luodinkestävän menetelmän; sitä on hyvin vaikea huijata.

#5
+3
ebony1
2010-08-20 02:50:48 UTC
view on stackexchange narkive permalink

Koska sinulla ei ole pääsyä testitietoihin harjoittelun aikana ja haluat mallisi toimivan hyvin näkymättömissä testitiedoissa, "teeskentelet", että sinulla on pääsy joihinkin testitietoihin ottamalla toistuvasti Pienellä osalla harjoitteludataa, pidä tätä sarjaa mallin harjoittelun aikana ja käsittele sitten pidettyä sarjaa testitietojen välityspalvelimena (ja valitse malliparametrit, jotka antavat parhaan suorituskyvyn pidettyyn dataan). Toivot, että ottaessasi satunnaisesti erilaisia ​​alajoukkoja harjoitustiedoista saatat saada ne näyttämään testitiedoilta (keskimääräisessä käyttäytymisessä), ja siksi opitut malliparametrit ovat hyviä myös testitiedoille (eli mallillesi) yleistyy hyvin näkymättömille tiedoille).



Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 2.0-lisenssistä, jolla sitä jaetaan.
Loading...