Satunnainen metsä

Nopea, kestävä, hyvä tarkkuus, useimmissa tapauksissa mitään viritettävää, ei vaadi normalisointia, immuuni kollineaarisuudelle, tuottaa melko hyvän virhearvioinnin ja hyödyllisen tärkeysjärjestyksen harjoittelun sivuvaikutuksena, triviaalisesti rinnakkainen, ennustaa silmänräpäyksessä.

Haitat: hitaampia kuin triviaalit menetelmät, kuten kNN tai NB, toimii parhaiten samanlaisilla luokilla, huonompi tarkkuus kuin SVM ongelmissa, jotka edellyttävät epätoivoisesti ytimen temppua, on kova musta -laatikko, ei tee kahvia.

Gaussin prosessiluokittelija (ei käytä Laplace-approksimaatiota), mieluiten marginalisoinnilla eikä hyperparametrien optimoinnilla. Miksi?

1. koska ne antavat todennäköisyysluokituksen
2. voit käyttää ytintoimintoa, jonka avulla voit käyttää suoraan ei-vektoritietoja ja / tai sisällyttää asiantuntijatietoja
3. he käsittelevät epävarmuutta sovitettaessa mallia oikein, ja voit levittää epävarmuuden päätöksentekoprosessiin
4. yleensä erittäin hyvällä ennustetulla suorituskyvyllä.

Haittapuolet

1. hidas
2. vaatii paljon muistia
3. epäkäytännöllistä suurissa ongelmissa.

Ensimmäinen vaihtoehto olisi kuitenkin laillistettu logistinen regressio tai harjanteen regressio [ilman ominaisuuden valintaa] - useimmissa ongelmissa hyvin yksinkertaiset algoritmit toimivat melko hyvin ja niitä on vaikeampaa erehtyä (käytännössä erot suorituskyvyssä algoritmien välinen ero on pienempi kuin niitä ajavan käyttäjän väliset erot suorituskyvyssä).

Itse kun lähestyt uutta tietojoukkoa, sinun tulisi alkaa seurata koko ongelmaa. Ensinnäkin hanki jakauma kategorioille ja keskimääräisille ja keskihajonnoille jokaiselle jatkuvalle ominaisuudelle. Sitten:

• Poista ominaisuuksia, joista puuttuu yli X% arvoja;
• poista kategorisia ominaisuuksia, kun tietty arvo saa yli 90-95% suhteellisesta taajuudesta;
• Poista jatkuvia ominaisuuksia CV = std / mean<0.1;
• Hanki parametrisijoitus, esim. ANOVA jatkuvalle ja Chi-neliö kategoriselle;
• hanki merkittävä alajoukko ominaisuuksista;

Sitten jaoin luokittelutekniikat yleensä kahteen sarjaan: valkoinen laatikko ja musta laatikko tekniikka. Jos sinun on tiedettävä luokittelijan toiminta, sinun on valittava ensimmäisestä joukosta, esim. Päätöksentekopuut tai sääntöihin perustuvat luokittelijat.

Jos sinun on luokiteltava uudet tietueet rakentamatta mallia, tulisi ottaa katse innokkaalle oppijalle, esim. KNN.

Sen jälkeen on mielestäni parempi saada kynnys tarkkuuden ja nopeuden välillä: Neuraaliverkko on hieman hitaampi kuin SVM.

Tämä on viiden parhaan luokittelutekniikkani:

1. päätöksentekopuu;
2. sääntöpohjaiset luokittelijat;
3. SMO (SVM);
4. naiivit Bayes;
5. Neuroverkot.