Kysymys:
Miksi lambda on "yhden virheen sisällä minimistä" suositeltava arvo lambdalle elastisessa nettoregressiossa?
jhersh
2015-02-21 02:56:51 UTC
view on stackexchange narkive permalink

Ymmärrän, mikä rooli lambdalla on joustavan verkon regressiossa. Ja ymmärrän, miksi valitaan lambda.min, lambda-arvo, joka minimoi ristivalidoidut virheet.

Kysymykseni on Missä tilastokirjallisuudessa on suositeltavaa käyttää lambda.1se-arvoa, mikä on lambda-arvo, joka minimoi CV-virheen ja yhden vakiovirheen ? En näytä löytävän virallista viittausta tai edes syytä siihen, miksi tämä on usein hyvä arvo. Ymmärrän, että se on rajoittavampi laillistaminen ja kutistaa parametrit enemmän kohti nollaa, mutta en ole aina varma olosuhteista, joissa lambda.1se on parempi valinta lambda.min: n sijaan. Voisiko joku auttaa selittämään?

Virallinen viite löytyy julkaisusta Hastie et ai.["Tilastollisen oppimisen elementit"] (https://www.google.com/url?sa=t&rct=j&q=&esrc=s&source=web&cd=2&ved=0CCsQFjAB&url=http%3A%2F%2Fweb.stanford.edu%2F~Hastie%2Flocal.ftp%2FSpringer%2FOLD%2FESLII_print4.pdf&ei =LKPnVPexMoePPZjggPAO&USG=AFQjCNErzfhxNwkcdzGlTve0cKtiwmeZgA&sig2=khl6VqAfK3wZu0AFeQfbQw&BVM=bv.86475890,d.ZWU)sivulla61.ne eivät annapaljonperustellatätä valintaa...
Katso https://stats.stackexchange.com/questions/80268.
Kaksi vastused:
shadowtalker
2015-02-21 03:42:28 UTC
view on stackexchange narkive permalink

Friedman, Hastie ja Tibshirani (2010) lainaamalla Tilastollisen oppimisen elementit , kirjoita

Käytämme usein "Yhden standardivirheen" sääntö valitessaan parasta mallia; tämä tunnustaa tosiasian, että riskikäyrät on arvioitu virheellisesti, joten erehtyy parsimonin puolelle.

Syy yhden vakiovirheen käyttämiseen, toisin kuin muulla summalla, näyttää olevan koska se on hyvin ... vakio. Krstajic ym. (2014) kirjoittaa (lihavointi minun):

Breiman ym. [25] ovat havainneet optimaalisen puukoon valitsemiseksi luokituspuumalleille, että puun koko, jolla on minimaalinen ristivalidointivirhe, luo mallin, joka yleensä ylittää. Siksi heidän kirjansa Breiman et al. [25] määrittelee yhden vakiovirhesäännön (1 SE-sääntö) optimaalisen puun koon valitsemiseksi, ja ne toteuttavat sen koko kirjassa. Yksittäisen V-kertaisen ristivalidoinnin standardivirheen laskemiseksi tarkkuus on laskettava jokaiselle kertaiselle ja standardivirhe lasketaan kunkin taiton V-tarkkuudesta. Hastie et ai. [4] määrittelee 1 SE-säännön valitsemaan kaikkein simptiivisimmän mallin, jonka virhe on korkeintaan yksi standardivirhe parhaan mallin virheen yläpuolella, ja ne ehdottavat useissa paikoissa käyttämällä 1 SE-sääntöä yleiseen ristivalidointiin. 1 SE-säännön pääkohde, jonka kanssa olemme samaa mieltä, on valita yksinkertaisin malli, jonka tarkkuus on verrattavissa parhaaseen malliin .

Ehdotus on yhden vakiovirheen valinta on täysin heuristinen, perustuen siihen, että yksi vakiovirhe ei tyypillisesti ole suuri suhteessa $ \ lambda $ -arvojen alueeseen.

Kiitos!Nyt voin vihdoin mainita jotain sopivaa, kun kysymys nousee esiin niille, jotka eivät tunne "tavallista" lambdan valintaa.Linkki Krstajiciin ym. Näyttää myös hyvältä.
Viittauksessa sanotaan vain, että "1se todettiin olevan optimaalinen ** luokitusta varten **".Mutta kysymys ** regressiosta **!On olemassa vaihtoehtoja.Jos yritämme esim.palatessamme takaisin 2se: een saamme ongelman, että lambda on liian suuri ja kutistaa koefektit liikaa.Mutta voimme esimerkiksirakenna malli uudelleen, joka sulkee pois kaikki muuttujat, joita ei ole valittu lambda.1se: ssä alkuperäisessä mallissa.
Mikä sitaatti @smci?Se ei sisälly kummankaan otteeni lainauksiin, jotka molemmat viittaavat siihen, että 1-SE-sääntöä sovelletaan yleensä, ei pelkästään luokittelussa.
civilstat
2016-11-26 22:53:50 UTC
view on stackexchange narkive permalink

Breiman ym. -kirja (mainittu toisen vastauksen Krstajicin lainauksessa) on vanhin viittaus, jonka olen löytänyt 1SE-säännölle.

Tämä on Breimanin, Friedmanin, Stonein ja Olshenin kirja. Luokittelu- ja regressiopuut (1984).He "johtavat" tämän säännön osioon 3.4.3.

Joten jos tarvitset virallista viittausta, se näyttää olevan alkuperäinen lähde.



ⓘ
Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 3.0-lisenssistä, jolla sitä jaetaan.
Loading...