Kuulostaa siltä, ​​että etsit ennustusväliä, ts. aikaväliä, joka sisältää ennalta määritetyn prosenttiosuuden tulevista toteutuksista. (Katso ero tagien wikien kohdista ennustusväli ja luottamusväli.)

Paras panoksesi toimii todennäköisesti suoraan NN: n kanssa arkkitehtuurit, jotka eivät tuota yhden pisteen ennusteita, mutta kokonaiset ennustavat jakaumat . Sitten voit purkaa halutut ennustevälit (tai keskiarvo- tai mediaanipisteennusteet) näistä jakaumista. Minä ja muut olemme väittäneet, että ennustavat jakaumat ovat paljon hyödyllisempiä kuin pisteennusteet, mutta rehellisesti sanottuna en ole vielä nähnyt paljon työtä ennakoivissa jakaumissa hermoverkoilla, vaikka olen pitänyt silmäni avautuvat. Tämä paperi kuulostaa olevan hyödyllinen. Haluat ehkä etsiä vähän, ehkä myös käyttämällä muita avainsanoja, kuten "ennustejakaumat" tai "ennustavat tiheydet" ja vastaavia.

Siitä huolimatta sinun kannattaa tutkia Michael Feindtin NeuroBayes-algoritmi, joka käyttää Bayesin lähestymistapaa ennustamaan ennustavia tiheyksiä.

En ole varma, voitko laskea yhden ennusteen luottamusvälin, mutta voit todellakin laskea koko tietojoukon virhesuhteen luottamusvälin (voit yleistää tarkkuuden ja minkä tahansa muun mittaamasi mittauksen suhteen)./ p>

Jos $ e $ on virhesuhteesi luokitellessasi joitain tietoja $ S $, joiden koko on $ n $, 95%: n luottamusväli virhetasolle antaa: $$ e \ pm 1.96 \ sqrt {\frac {e \, (1-e)} {n}} $$.

(katso Tom Mitchellin kirja "Machine Learning", luku 5.)

MUOKKAA

Arvaa, että minun on ilmoitettava yleisempi tapaus, joka on: $$ e \ pm z_N \ sqrt {\ frac {e \, (1-e)} {n}},$$, jossa $ z_N $: n yleiset valinnat on lueteltu seuraavassa taulukossa:

  luotettavuustaso 80% 90% 95% 98% 99% zN: n arvot 1,28 1,64 1,96 2,33 2,58 

Ennustevälit (PI) ei-parametrisissa regressioissa &-luokitusongelmia, kuten hermoverkkoja, SVM: iä, satunnaisia metsiä jne., on vaikea rakentaa.Haluaisin kuulla muita mielipiteitä tästä.

Sikäli kuin tiedän, muodollinen ennustus (CP) on kuitenkin ainoa periaatteellinen menetelmä kalibroidun PI: n muodostamiseksi ennustamista varten ei-parametrisissa regressio- ja luokitusongelmissa.CP-opetusohjelma on esitetty Shfer & Vovk (2008), J.Koneoppimisen tutkimus 9 , 371-421 [pdf]

En tiedä mitään tapaa tehdä se tarkalla tavalla.

Kiertotapa voi olla olettaa, että sinulla on gaussista melua, ja saada hermoverkko ennakoimaan keskiarvo $ \ mu $ ja varianssi $ \ sigma $.Kustannustoiminnossa voit käyttää NLPD-arvoa ( negatiivinen lokitodennäköisyystiheys ).Datapisteelle $ (x_i, y_i) $ tulee olemaan $ - \ log N (y_i- \ mu (x_i), \ sigma (x_i)) $.Tällöin $ \ mu (x_i) $ yrittää ennustaa $ y_i $: si ja $ \ sigma (x_i) $ ovat pienempiä, kun sinulla on enemmän luottamusta, ja isompi, kun sinulla on vähemmän.

Tarkistakuinka hyvät oletuksesi vahvistustiedoista saatat haluta katsoa $ \ frac {y_i- \ mu (x_i)} {\ sigma (x_i)} $ nähdäksesi, noudattavatko ne karkeasti $ N (0,1) $.Testitiedoissa haluat jälleen maksimoida testitietojesi todennäköisyyden, jotta voit käyttää NLPD-mittareita uudelleen.

Ennustevälien suoraan antamiseksi on julkaistu vuoden 2011 julkaisu ' Comprehensive Review of Neural Network-Based Prediction Intervals'

He vertaavat neljää lähestymistapaa:

1: Delta-menetelmä 2: Bayesin menetelmä 3: Keskimääräinen varianssiarvio 4: Bootstrap

Samat kirjoittajat jatkoivat alemman ylärajan arviointimenetelmän kehittämistä hermoverkkopohjaisten ennustusintervallien rakentamiseksi, joka tuottaa suoraan ala- ja ylärajan NN: stä.Valitettavasti se ei toimi backpropin kanssa, mutta viimeaikainen työ mahdollisti tämän, korkealaatuiset ennustusvälit syvälle oppimiselle.

Vaihtoehtona suoraan ennustevälien antamiselle Bayesin hermoverkot (BNN) mallintavat epävarmuutta NN: n parametreissa ja sieppaavat siten epävarmuuden ulostulossa.Tätä on vaikea tehdä, mutta suosittuja menetelmiä ovat MC-keskeyttämisen suorittaminen ennustehetkellä tai yhdistäminen.

En ole kuullut mistään menetelmästä, joka antaisi luottamusvälin hermoverkon ennusteelle.Virallisen metodologian puutteesta huolimatta näyttää siltä, että sellaisen rakentaminen saattaa olla mahdollista.En ole koskaan yrittänyt tätä tarvittavan laskentatehon takia, enkä väitä, että tämä toimisi varmasti, mutta yksi menetelmä, joka saattaa toimia pienessä hermoverkossa (tai räjähtävän nopean GPU-tehon kanssa, se voisi toimia kohtuullisen kokoisissa verkoissa)) olisi ottaa harjoitussarja uudelleen ja rakentaa monia samankaltaisia verkkoja (sanoa 10000 kertaa) samoilla parametreilla ja alkuasetuksilla ja rakentaa luottamusvälit kunkin käynnistysverkossa olevan verkon ennusteiden perusteella.

Esimerkiksi, 10 000 verkostossa, jotka on koulutettu yllä kuvatulla tavalla, saatetaan saada 2,0 (kun pyöristetään hermoverkon regressioennusteet) 9 000 näistä aikoista, joten ennustaisit 2,0: n 90%: n luottamusvälillä.Voit sitten rakentaa joukon CI: itä jokaiselle tehdylle ennustukselle ja valita raportoitavan tilan ensisijaiseksi CI: ksi.

On todella tapoja tehdä tämä käyttämällä keskeyttämistä.Suorita arviointi keskeyttämisen ollessa käytössä (se on yleensä pois käytöstä arviointia varten, mutta kytketty päälle harjoittelun aikana) ja suorita arviointi useita kertoja.

Useiden erien tulosten jakaumaa voidaan käyttää luottamusvälinä.

Katso artikkeli " Pudotus Bayesin lähentämisenä: mallin epävarmuuden esittäminen syvässä oppimisessa" Katso youtube-esitys Andrew Rowan - Bayesin syvällinen oppiminen Edwardin kanssa (ja temppu Dropoutin avulla)

Ei ole mitään, kaikki ML-mallit eivät tarkoita ilmiön ymmärtämistä, vaan interpolointimenetelmiä toivon "kanssa, että se toimii". Aloita tällaisilla kysymyksillä luottamus, vankka melu ei ole vastauksia.

Joten saadaksesi jotain, käytä erilaista soveltavaa ja perustietoa:

• Käytä hallintaa (ja tee oletus dynamiikasta)

• Käytä kuperaa optimointia (jossa on joitain lisäehtoja toiminnalle)

• Käytä matematiikkatilastoja (alustavilla oletuksilla jakaumista)

• Käytä signaalinkäsittelyä (joidenkin oletusten mukaan signaali on kaistarajoitettu)

Tutkija käyttää joitain alustavia oletuksia (kutsutaan aksioomiksi) saadakseen jotain.

Ei ole mitään tapaa antaa luottamusta ilman alustavaa oletusta, joten ongelma ei ole DL-mehtodissa, mutta se on ongelma kaikissa menetelmissä, jotka yrittävät interpoloida ilman KAIKKI alustavia oletuksia - algebran kautta ei ole mahdollista johtaa jotain älykkäästi ilman oletus.

NN ja erilaiset ML-menetelmät on tarkoitettu nopeaan prototyyppien luomiseen luomaan "jotain", joka näyttää toimivan "joskus" tarkistettuna ristivalidoinnilla.

Vielä syvemmällä regressioliitin E [Y | X] tai sen arvio voi olla ehdottoman virheellinen ongelma ratkaista (ehkä pdf-muodossa Y = E [Y | X]: ssä on minimi, ei maksimi), ja niitä on sellaisia ​​hienovaraisia ​​asioita.

Haluan myös muistuttaa kahta tekoälyn / ML: n ratkaisemattomaa ongelmaa, joka voidaan jostain syystä unohtaa kauneuslauseiden taakse:

(1) Se on interpolointimenetelmiä, ei ekstrapolointia - sillä ei ole kykyä käsitellä uusia ongelmia

(2) kukaan ei tiedä miten mikä tahansa malli käyttäytyy tiedoissa, jotka eivät ole peräisin samasta jakelusta (mies banaanipuvussa jalankulkijoiden paikallistamista varten)

Tämä artikkeli on mielenkiintoinen esitys keskeyttämiseen perustuvasta tekniikasta:

http://mlg.eng.cam.ac.uk/yarin/blog_3d801aa532c1ce.html