Päätösfunktio on funktio, joka ottaa tietojoukon syötteeksi ja antaa päätöksen tuotoksena. Mikä päätös voi olla, riippuu käsillä olevasta ongelmasta. Esimerkkejä ovat:

• Arviointiongelmat: "päätös" on arvio.
• Hypoteesien testausongelmat: päätös on hylätä tai hylätä nullhypoteesi.
• Luokitteluongelmat: päätös on luokitella uusi havainto (tai havainnot) luokkaan.
• Mallin valintaongelmat: päätetään valita yksi ehdokasmalleista.

Ongelmalle on tyypillisesti käytettävissä ääretön määrä päätösfunktioita. Jos olemme esimerkiksi kiinnostuneita arvioimaan ruotsalaisten urosten korkeuden kymmenen havainnon perusteella $ \ mathbf {x} = (x_1, x_2, \ ldots, x_ {10}) $, voimme käyttää mitä tahansa seuraavista päätösfunktioista $ d (\ mathbf {x}) $:

• Esimerkkikeskiarvo: $ d (\ mathbf {x}) = \ frac {1} {10} \ sum_ {i = 1} ^ { 10} x_i $.
• Näytteen mediaani: $ d (\ mathbf {x}) = \ mbox {mediaani} (\ mathbf {x}) $
• Geometrinen näytteen keskiarvo: $ d (\ mathbf {x}) = \ sqrt [10] {x_1 \ cdots x_ {10}} $
• Funktio, joka palauttaa aina arvon 1: $ d (\ mathbf { x}) = 1 $, riippumatta $ \ mathbf {x} $ -arvosta. Hölmö, kyllä, mutta se on kuitenkin pätevä päätöksentekofunktio.

Kuinka sitten voimme päättää, mitä näistä päätöksentoiminnoista käyttää? Yksi tapa on käyttää menetystoimintoa , joka kuvaa kaikkiin mahdollisiin päätöksiin liittyvää tappiota (tai kustannusta). Erilaiset päätöksentoiminnot johtavat yleensä erityyppisiin virheisiin. Menetystoiminto kertoo meille, minkä tyyppisistä virheistä meidän pitäisi olla enemmän huolissamme. Paras ratkaisutoiminto on toiminto, joka tuottaa pienimmän odotetun tappion . Mitä odotetulla menetyksellä tarkoitetaan, riippuu asetuksesta (erityisesti siitä, puhummeko usein esiintyvistä vai Bayesin tilastoista).

yhteenveto:

• Päätösfunktioita käytetään tekemään päätöksiä tietojen perusteella.
• Menetystoimintoja käytetään määrittämään, mitä päätösfunktiota käytetään.

Menetystoiminto minimoidaan, jotta saadaan malli, joka on jossain mielessä optimaalinen. Mallissa itsessään on päätösfunktio, jota käytetään ennustamiseen.

Esimerkiksi SVM-luokittelijoissa:

• häviöfunktio: minimoi erotettavan hypertason $ virheen ja neliön normin \ mathcal {L} (\ mathbf {w}, \ xi) = \ frac {1} {2} \ | \ mathbf {w} \ | ^ 2 + C \ sum_i \ xi_i $
• päätös function: allekirjoitettu etäisyys erottavaan hypertasoon: $ f (\ mathbf {x}) = \ mathbf {w} ^ T \ mathbf {x} + b $