Kysymys:
Milloin minun pitäisi käyttää lassoa vs harjanne?
Larry Wang
2010-07-28 06:10:18 UTC
view on stackexchange narkive permalink

Sano, että haluan arvioida suuren määrän parametreja, ja haluan rangaista joistakin niistä, koska mielestäni niillä pitäisi olla vähän vaikutusta muihin verrattuna. Kuinka voin päättää mitä rangaistusjärjestelmää käyttää? Milloin harjanteen regressio on sopivampi? Milloin minun pitäisi käyttää lassoa?

"Sano, että haluan arvioida suuren määrän parametreja", mikä voitaisiin täsmentää: Mikä on kehys? Luulen, että se on lineaarinen regressio?
Samanlainen kysymys on juuri esitetty metaoptimoinnissa (pitäen mielessä, että l1 = LASSO ja l2 = harjanne): -1
Sanot "lasso vs harjanne" ikään kuin ne olisivat ainoat kaksi vaihtoehtoa - entä esimerkiksi yleistetty kaksoispareto, hevosenkenkä, bma, silta?
@Gael Varoquaux linkki on rikki.
@Idonknow: metaoptimize suljettiin.Tänään käytettävä sivusto on https://or.stackexchange.com/
Kolme vastused:
#1
+118
emakalic
2010-07-28 10:55:31 UTC
view on stackexchange narkive permalink

Muista, että harjanteen regressio ei voi nollata kertoimia; näin ollen joko päätät sisällyttää kaikki kertoimet malliin tai mikään niistä. Sen sijaan LASSO tekee sekä parametrien kutistumisen että muuttujien valinnan automaattisesti. Jos jotkut kovariaateistasi korreloivat voimakkaasti, kannattaa ehkä tarkastella elastista verkkoa [3] LASSO: n sijaan.

Suosittelen henkilökohtaisesti käyttämään ei-negatiivista Garottea (NNG) [1]. koska se on johdonmukaista arvioinnin ja muuttujien valinnan suhteen [2]. Toisin kuin LASSO ja harjanne regressio, NNG vaatii alkuarvion, joka sitten kutistuu kohti alkuperää. Alkuperäisessä artikkelissa Breiman suosittelee pienimmän neliösumman ratkaisua alkuperäiselle estimaatille (saatat kuitenkin haluta aloittaa haun harjanteen regressioliuoksesta ja käyttää jotain GCV: tä rangaistusparametrin valitsemiseksi).

käytettävissä olevien ohjelmistojen ehdoilla olen ottanut käyttöön alkuperäisen NNG: n MATLAB: ssä (Breimanin alkuperäisen FORTRAN-koodin perusteella). Voit ladata sen osoitteesta:

http://www.emakalic.org/blog/wp-content/uploads/2010/04/nngarotte.zip

BTW, jos haluat Bayesin ratkaisun, katso [4,5].

Viitteet:

[1] Breiman, L. Parempi alaryhmän regressio käyttämällä ei-negatiivista Garrote-tekniikkaa , 1995, 37, 373-384.

[2] Yuan, M. & Lin, Y. Ei-negatiivisen garrotte-estimaattorin julkaisusta. Journal of the Royal Statistics Society (sarja B), 2007, 69, 143 -161

[3] Zou, H. & Hastie, T. Sääntely ja muuttuvan valinta elastisen verkon kautta. Journal of the Royal Statistics Society (sarja B), 2005, 67, 301-320

[4] Park, T. & Casella, G. The Bayesian Lasso Journal of the American Statistics Association, 2008, 103, 681-686

[5] Kyung, M .; Gill, J .; Ghosh, M.& Casella, G.Rangaistettu regressio, tavalliset virheet ja Bayesin Lassosin Bayesianalyysi, 2010, 5, 369-412

Voisitko olla tarkempi harjanne vs lasso?Onko automaattinen muuttujan valinta ainoa syy lassoon?
#2
+48
Hbar
2010-07-28 09:26:17 UTC
view on stackexchange narkive permalink
Ridge tai lasso ovat laillistettujen lineaaristen regressioiden muotoja. Laillistamista voidaan tulkita myös aikaisemmaksi enimmäisarviointimenetelmässä a posteriori. Tämän tulkinnan mukaan harjanne ja lasso tekevät erilaisia ​​oletuksia lineaarisen muunnoksen luokasta, jonka ne päättelevät liittävän tulo- ja lähtödatan. Harjalla lineaarisen muunnoksen kertoimet jakautuvat normaalisti ja lassoissa ne jakautuvat Laplaceen. Lasso, tämä helpottaa kertoimien nollaa ja siten helpottaa eräiden syötemuuttujien eliminointia, koska ne eivät edistä tuotosta.

On myös joitain käytännön näkökohtia. Harjanne on hieman helpompi toteuttaa ja nopeampi laskea, mikä voi olla merkitystä sinulla olevan datan tyypistä riippuen.

Virheiden pitäisi antaa sinulle käsitys siitä, mitä käyttää.
En ymmärrä sitä - mistä tiedät, ovatko kertoimet laplace vai normaalijakautuneet?
Miksi Ridgen regressio lasketaan nopeammin?
@Hbar: "Laillistamista voidaan tulkita myös aikaisemmaksi enintään jälkiarviointimenetelmässä.": Voisitteko selittää tätä osaa yksityiskohtaisemmin matemaattisilla symboleilla, tai ainakin antaa viitteen?Kiitos!
@ihadanny Et todennäköisesti tiedä, ja se on asia.Voit päättää vain, kumpi pidetään _a posteriori_.
@Archie Ridge Regressiolle on olemassa suljetun muodon ratkaisu, kuten OLS, mutta LASSO on laskettava optimointimenettelyillä.
#3
+35
Gary
2011-03-19 06:21:06 UTC
view on stackexchange narkive permalink

Kun sinulla on paljon pieniä / keskikokoisia tehosteita, sinun tulisi mennä harjanteen kanssa. Jos sinulla on vain muutama muuttuja, joilla on keskisuuri / suuri vaikutus, valitse lasso. Hastie, Tibshirani, Friedman

Mutta kun sinulla on muutama muuttuja, kannattaa ehkä pitää ne kaikki malleissasi, jos ne ovat keskisuuria / suuria vaikutuksia, mikä ei päde lassoon, koska se saattaa poistaa yhden niistä.Voitteko selittää tämän yksityiskohtaisesti?Minusta tuntuu, että kun sinulla on monia muuttujia, käytämme Lassoa tarpeettomien muuttujien poistamiseen eikä harjanteeseen.


Tämä Q & A käännettiin automaattisesti englanniksi.Alkuperäinen sisältö on saatavilla stackexchange-palvelussa, jota kiitämme cc by-sa 2.0-lisenssistä, jolla sitä jaetaan.
Loading...