Koneoppiminen ennustemarkkinoilla: testaa ajassa

Määrittele luokitus ennen mallin valintaa

Luokitus on lopputulos, jota malli koulutetaan ennustamaan. Kaksijakoisessa sopimuksessa se voi olla yksi tavalliselle Kyllä-tulokselle ja nolla tavalliselle Ei-tulokselle, mutta todelliset täydelliset säännöt määräävät, mitkä havainnot tuottavat nämä luokat. Poikkeukselliset ratkaisulopputulokset tai ratkaisemattomat markkinat tarvitsevat ilmoitetun käsittelyn automaattisen nollaksi määräämisen sijaan.

Kirjaa viitelähde, havaintoikkuna, kynnysarvo, vertailuoperaattori ja sääntöversio. Kätevään hintakaavioon perustuva luokitus voi erota sopimuksen ratkaisusta. Jos tutkimus käyttää korvaavaa luokitusta, kerro se ja selitä ero. Malli voi sovittua korvaavaan luokitukseen tarkasti ja silti olla sopimaton todelliseen kauppaan.

Suunta-, kynnys-, vaihteluväli- ja raja-arvon koskettamista koskevat kysymykset tarvitsevat eri luokitukset. Nouseva omaisuuserä voi pysyä kynnyksen alapuolella, ja kosketetun rajan jälkeen lopullinen hinta voi olla alempi. Kaikkien käsitteleminen yleisinä ”ylös”-havaintoina poistaa tapahtumarakenteen. Mallin tuotoksen on vastattava ehtoa, josta maksetaan.

Aiempi ennustemarkkinoiden kaupankäyntialgoritmia käsittelevä opas yhdistää luokitussuunnittelun koko kaupankäyntiprosessiin. Malli valitaan kysymyksen määrittelyn jälkeen. Joustavampi algoritmi ei voi korjata lopputulosaineistoa, jonka merkitys eroaa sopimuksista, joilla sen on tarkoitus käydä kauppaa.

Ajalliset jaot ennustemarkkinoiden koneoppimisessa

Aikajärjestykseen perustuva jako sijoittaa aiemmat esimerkit koulutukseen ja myöhemmät arviointiin. Tämä on yleensä ennustamiselle olennaisempaa kuin satunnainen rivijako, koska aiottu käyttöönotto etenee myös ajassa. Pelkkä aikajärjestys ei silti riitä; jaon on huomioitava piirteiden ja luokitusten saataville tulon ajankohdat.

Tarkastellaan kuvitteellista 1 000 järjestetyn päätöstietueen aineistoa. Tutkija käyttää ensimmäiset 600 koulutukseen, seuraavat 200 validointiin ja viimeiset 200 testaukseen. Validointijoukko tukee mallin ja kynnysten valintaa. Testijoukko pysyy koskemattomana, kunnes valinnat on jäädytetty. Määrät ovat havainnollistavia, eivät yleispätevä ohje riittävästä näytöstä.

Jos koulutustapahtuma ratkeaa validointijakson alkamisen jälkeen, sen luokitus ei ehkä ollut saatavilla kyseisellä rajalla koulutetulle mallille. Tutkijan on huomioitava ajoitus. Muuten nimellisesti aikajärjestyksessä etenevä prosessi antaa mallille silti tulevaa tietoa. Sama ongelma syntyy pitkän ja lyhyen aikahorisontin kysymysten sekoittamisessa.

Aiempi koneoppimiseen perustuvaa kryptokaupankäyntiä käsittelevä opas selittää aikajärjestyksen merkitystä. Laajenna tapahtumasopimuksissa jakokirjausta sisältämään päätöshetki, lähteen saatavuusaika ja lopputuloksen saatavuusaika. Pelkkä rivin kalenteripäivämäärä ei voi osoittaa, että koko rivi oli tiedettävissä mallia koulutettaessa tai käytettäessä.

Ryhmittele toisiinsa liittyvät tapahtumat ennen rivijakoa

Useat sopimukset voivat riippua yhdestä taustahavainnosta. Saman lopullisen hinnan eri kynnysarvot, yhden tapahtuman toistuvat ennusteet ja läheisesti liittyvät kysymykset voivat jakaa paljon tietoa. Satunnainen jako, joka sijoittaa osan koulutukseen ja osan testaukseen, voi tehdä testistä aidosti uutta tapahtumakokonaisuutta helpomman.

Määrittele ryhmät olennaisen yhteisen tapahtuman, viitteen ja aikaikkunan perusteella. Säilytä ryhmittelymenetelmä tutkimuskirjauksessa. Läheiset kysymykset voi olla tarpeen pitää yhdessä tai muuten huomioida niiden riippuvuus. Tavoitteena on välttää suuren rivimäärän esittämistä suurena riippumattomien kokemusten määränä.

Päällekkäiset ikkunat luovat toisen ongelman. Viimeaikaisesta historiasta rakennettu piirre voi olla päällekkäinen viereisen luokituksen käyttämän jakson kanssa. Strategian ja tietojen mukaan jakorajojen ympärille voi tarvita erottelua. Sopivan välin pitäisi seurata tietorakennetta eikä kiinteää lukua, joka on kopioitu asiaan liittymättömästä esimerkistä.

Algoritmista ennustemarkkinakaupankäyntiä käsittelevä opas sijoittaa valinnat toistettavaan elinkaareen. Jako on osa kokeen määritystä. Jos sitä muutetaan tulosten näkemisen jälkeen, muutos pitäisi dokumentoida ja tarkistettu menetelmä arvioida tuoreella näytöllä mahdollisuuksien mukaan.

Tietovuototestit ennustemarkkinoiden koneoppimisessa

Tietovuoto syntyy, kun piirre, muunnos tai tutkimusvalinta käyttää aiottuna ennustehetkenä saavuttamatonta tietoa. Tavallinen esimerkki on korjatun talousarvon asettaminen historiallisen aineiston ensimmäisen julkaistun arvon tilalle. Toinen on ratkaisuun liittyvä kenttä, joka käytännössä paljastaa lopputuloksen näyttäen tavalliselta metatiedolta.

Testaa jokaisen piirteen saatavuus. Kysy, milloin taustalla oleva tosiasia tapahtui, milloin se julkaistiin ja milloin järjestelmä olisi voinut saada sen. Myöhempää raporttia aiemmasta tapahtumasta ei pitäisi takautuvasti sijoittaa tietojoukkoon. Tallenna alkuperäiset ja korjatut versiot tarpeen mukaan, jotta historiallinen simulaatio voi toistaa todellisen tietorajan.

Tutki piirteet, joiden ennustusvoima on epäilyttävä. Äkillinen suorituskykyparannus voi olla aito, mutta se vaatii myös lopputuloskenttien, ratkaisun jälkeisen tilan tai liian myöhään saapuneiden lähdepäivitysten tarkistamista. Epäillyn piirteen poistaminen ja hallitun vertailun uusiminen voivat auttaa tunnistamaan, riippuuko tulos tietovuodosta.

Kielimallipiirteet tarvitsevat lisähuolellisuutta. Malli on voinut kohdata historialliset lopputulokset koulutuksessa tai tiedonhaussa. Sen pyytäminen esittämään aiempaa päivää ei todista tiedon puuttumista. Ratkaisemattomien tapahtumien ennakoivat ennusteet täydentävät hyödyllisesti historiallisia testejä, ja jälkikäteisten kokeiden rajoitusten pitäisi pysyä nimenomaisina.

Säilytä piirteiden yhdenmukaisuus tutkimuksen ja käytön välillä

Piirteiden yhdenmukaisuus tarkoittaa, että käytössä oleva prosessi laskee samat määritellyt lähtötiedot kuin tutkimusprosessi. Erot pyöristyksessä, puuttuvien arvojen käsittelyssä, aikakohdistuksessa tai lähteen valinnassa voivat muuttaa mallin toimintaa, vaikka mallitiedosto olisi sama. Kirjaa muunnokset ja testaa ne yhteisillä testiaineistoilla olettamatta kahta toteutusta samanarvoisiksi.

Puuttuvilla tiedoilla pitäisi olla määritelty esitystapa. Arvon siirtäminen eteenpäin voi olla harkittu piirremenetelmä, mutta arvon ikä voi merkitä. Puuttuvuuden korvaaminen nollalla voi luoda väärän havainnon. Malli pitäisi kouluttaa ja arvioida samalla käytännöllä, jonka se kohtaa toiminnassa.

Käytä markkinatietojen nykyisiä skeemoja. Kiinteän tarkkuuden hintoja ja murto-osaisia määriä ei pitäisi katkaista vanhan kokonaisia senttejä tai sopimuksia koskevan oletuksen vuoksi. Tutkimusputken pitäisi säilyttää kauppapaikan ja strategian tarvitsema merkitys ja tarkkuus, ja näyttöpyöristyksen pitäisi olla erillään laskennasta.

Aiempi koneoppimiseen perustuvaa kryptobottia käsittelevä opas keskittyy käyttöönottoon yhdenmukaisin piirtein. Lisää ennustesopimuksissa sopimustulkinnan versio tähän yhdenmukaisuustarkistukseen. Sama numeerinen piirrevektori voi kuvata eri kysymystä, jos lähteen tai rajan mallinnus muuttuu.

Kalibrointi ennustemarkkinoiden koneoppimisessa

Todennäköisyysmalli tarvitsee muutakin kuin oikean puolen valintojen laskemista. Kalibrointi kysyy, vastaavatko ilmoitetut todennäköisyydet lopputulosten esiintymistiheyksiä sopivissa ryhmissä. Noin 60 %:n ennusteiden kokoelmaa pitäisi tutkia suhteessa näiden tapahtumien toteutumisasteeseen huomioiden epävarmuus ja riippuvuus. Yksi tulos ei voi osoittaa tai kumota kalibrointia.

Kalibrointia voidaan arvioida ryhmittelemällä ennusteita väleihin tai käyttämällä muita soveltuvia diagnostisia menetelmiä. Ryhmittely pitäisi valita huolellisesti: hyvin pienet ryhmät ovat kohinaisia, hyvin laajat voivat peittää tärkeää vaihtelua. Näytä otoskoot ja tapahtumakoostumus, jotta lukija voi arvioida näytön vahvuutta pelkän taustattoman sileän kaavion näkemisen sijaan.

Uudelleenkalibrointimuunnos on sovitettava lopullisesta arvioinnista erillisiin tietoihin. Jos samoja testilopputuloksia käytetään todennäköisyyksien säätämiseen ja säädetyn tuloksen pisteyttämiseen, testi ei ole enää koskematon. Käsittele kalibrointia malliputken osana omine koulutus- tai validointirajoineen ja versioineen.

Tekoälyä ennustemarkkinoilla käsittelevä opas selittää, miksi mallin luottamus ei ole automaattisesti kalibroitu tapahtumatodennäköisyys. Tämä koskee kielijärjestelmää, luokitinta ja malliyhdistelmää. Tuotoksen numeerinen muoto ei vahvista sen empiiristä merkitystä.

Pisteytä todennäköisyydet selkeällä käytännöllä

Kaksijakoisen lopputuloksen Brier-pistemäärä on ennustetodennäköisyyden ja lopputuloksen eron neliöiden keskiarvo havainnoissa. Kun lopputulokset koodataan nollaksi tai yhdeksi, pienemmät arvot ovat tämän käytännön mukaan parempia. Se palkitsee hyödyllisiä todennäköisyysarvioita ja rankaisee itsevarmoista virheistä vahvemmin kuin pelkkä oikean puolen valintojen laskeminen.

Tarkastellaan neljää kuvitteellista ennustetta: 0,80, 0,60, 0,30 ja 0,10. Oletetaan lopputuloksiksi Kyllä, Ei, Ei ja Kyllä. Virheiden neliöt ovat 0,04, 0,36, 0,09 ja 0,81. Summa on 1,30 ja keskimääräinen pistemäärä 0,325. Vakioennuste 0,50 saa kussakin pistemäärän 0,25, keskiarvoksi 0,25 ja toimii siten tässä pienessä joukossa paremmin.

Esimerkki osoittaa yhden itsevarman ohituksen merkityksen. Se ei osoita vakioennusteen olevan yleisesti paras tai arvioidun mallin käyttökelvoton. Neljä havaintoa on laskennallinen havainnollistus, ei luotettava suorituskykytutkimus. Todelliset vertailut tarvitsevat riittävästi olennaista näyttöä ja ennalta määritellyn arviointiasetelman.

Tutki myös kalibrointia ja luokkakohtaista toimintaa yhden kokonaispistemäärän varaan tukeutumisen sijaan. Malli voi parantaa keskiarvoa ja heikentyä juuri siinä osajoukossa, jonka kaupankäyntistrategia valitsee. Tutkimuksen pitäisi yhdistää todennäköisyysarviointi aiottuun päätöskäytäntöön sallimatta jälkikäteisen alaryhmävalinnan muuttua raportoimattomaksi virittämiseksi.

Vertaa samana ajankohtana saatavilla oleviin vertailutasoihin

Vertailutason pitäisi olla yksinkertainen, olennainen ja toteuttamiskelpoinen päätöksen katkaisuajankohtana. Se voi käyttää perusosuutta, vakaata tilastollista sääntöä tai selvästi määriteltyä markkinoista johdettua arviota. Vertailun pitäisi käyttää samoja kysymyksiä ja tietorajaa. Helpommilla tapahtumilla arvioitua mallia ei voida julistaa paremmaksi vain sen pienemmän keskimääräisen pistemäärän vuoksi.

Jos markkinahinta on mallin piirre, raportoi se. Malli voi tarkentaa markkinassa jo olevaa signaalia itsenäisen arvion tuottamisen sijaan. Se voi silti olla hyödyllistä, mutta olennainen kysymys on, tuoko tarkennus vertailutason ylittävää tietoa ja kestääkö parannus kustannus- ja valintarajoitteet.

Tee kohdennettuja poistokokeita niiden vastatessa konkreettiseen kysymykseen. Yhden piirreryhmän poistaminen voi auttaa määrittämään, riippuuko tulos tietystä tietolähteestä. Poistokoe pitäisi määritellä ja tulkita huolellisesti; monien muunnelmien testaaminen ja vain parhaan raportointi luovat toisen ylisovittamisen reitin.

Automaattista ennustekaupankäyntiä käsittelevä opas selittää ennusteen muuttumista rajatuksi toimeksi. Vertailutasovertailu kuuluu ennen siirtymää. Mallin monimutkaisuus tai koulutuskustannus ei vapauta sitä osoittamasta päätökselle tuomaansa lisäarvoa.

Erota tilastollinen parannus kaupankäyntiarvosta

Parempi todennäköisyyspistemäärä ei takaa kannattavaa strategiaa. Kaupat tapahtuvat osto- ja myyntitarjouksilla, joiden syvyys on rajallinen ja joihin liittyy soveltuvia maksuja. Pieni parannus voi olla taloudellisesti käyttökelvoton, jos sen toteuttamisen kustannus ylittää odotetun edun. Kaupankäyntisimulaation on siksi käytettävä realistisia oletuksia puolesta, määrästä ja ajoituksesta.

Oletetaan kuvitteellisen mallin Kyllä-arvioksi 57 % ja aiotun oston kokonaiskustannukseksi 0,55 yksikköä kohti oletetut maksut mukaan lukien. Mallinnettu odotusarvo on 0,02 yksikköä kohti tavallisilla yhden yksikön maksuilla. 300 yksikölle kustannus on 165,00 ja odotettu maksu 171,00, jolloin mallinnettu odotusarvo on 6,00. Marginaali voi kadota pienen ennuste- tai toteutusvirheen myötä.

Jos todellinen kokonaiskustannus nousee 0,58:aan yksikköä kohti, sama ennuste antaa mallinnetuksi tappioksi 0,01 yksikköä kohti eli 3,00 yhteensä 300 yksikölle. Malli ei ole muuttunut, mutta kaupan arviointi on. Pelkän ennustelaadun kirjaava strategia ohittaa tämän taloudellisen rajan.

Älä myönnä simuloituja toteumia osto- ja myyntitarjouksen keskipistehinnalla ilman näyttöä toteutuksen mahdollisuudesta. Rajahintatoimeksianto voi saada paremman hinnan mutta jäädä toteutumatta. Heti toteutettavissa oleva toimeksianto voi kulkea usean hintatason läpi. Arvioinnin pitäisi esittää valittu toteutuskäytäntö rajoituksineen eikä yhdistää ihanteellista hintaa taattuun määrään.

Testaa valintaa piilottamatta nimittäjää

Kaupankäyntikäytäntö voi toimia vain mallin arvion ylittäessä kokonaiskustannuksen valitulla marginaalilla. Arvioi valintasääntöä ennalta määritellyssä kelpoisten joukossa ja säilytä pidättäytymiset. Jos vain toteutetut kaupat tallennetaan, tutkija ei voi sanoa, miten malli suoriutui hylätyissä tapauksissa tai valittiinko valintakynnys lopputulosten näkemisen jälkeen.

Raportoi ennustekattavuus, kaupankäyntikattavuus ja poissulkemissyyt erikseen. Kysymys voidaan ohittaa epäselvien sääntöjen, puuttuvien tietojen tai liian pienen mallinnetun marginaalin vuoksi. Syyt viittaavat eri parannuksiin. Yksi ”ei signaalia” -nimike piilottaa rajan tutkimuksen laadun, toiminnallisen saatavuuden ja taloudellisen valinnan välillä.

Vältä marginaalikynnyksen toistuvaa optimointia yhdellä testijoukolla. Paras historiallinen raja voi heijastaa kohinaa etenkin suodatuksen jättäessä jäljelle vain muutamia kauppoja. Jäädytä käytäntö myöhemmäksi arviointijaksoksi tai käytä muuta sopivaa validointiasetelmaa. Tuloksen epävarmuus pitäisi tunnustaa eikä korvata vaikuttavalla tuottoprosentilla.

Läheisesti liittyvät valitut kaupat voivat myös keskittää riskiä. Saman tapahtuman useat kynnykset voivat kaikki läpäistä mallisuodattimen riippuen silti yhdestä taustalopputuloksesta. Valinnan arvioinnin pitäisi raportoida tapahtumatason altistus ja tappiot eikä vain näennäisesti erillisten voittavien sopimusten lukumäärää.

Seuraa muutosta kirjoittamatta koetta uudelleen

Käyttöönoton jälkeen tietojakaumat, markkinaosallistuminen ja sopimusluokat voivat muuttua. Seuraa sekä lähtötietojen laatua että ennustesuorituskykyä. Lähteen skeemamuutos voi luoda välittömän piirreongelman, kun taas kalibrointimuutoksen havaitseminen voi vaatia riittävästi ratkaistuja lopputuloksia. Nämä ovat eri seurantatehtäviä ja tarvitsevat erilaiset vastaukset.

Lyhyt tappiosarja ei automaattisesti osoita mallin epäonnistumista. Vertaa sitä ilmoitettuihin todennäköisyyksiin ja tapahtumien väliseen riippuvuuteen. Älä silti sivuuta jokaista heikennystä tavallisena vaihteluna. Ennalta määritellyt arviointiehdot auttavat tiimiä vastaamaan johdonmukaisesti muuttamatta selitystä jokaisen tuloksen jälkeen.

Mallia tarkistettaessa säilytä aiemman version tietueet. Uusissa ennusteissa pitäisi olla uusi versio, ja arvioinnin pitäisi heijastaa kunkin päätöksen tuottanutta prosessia. Liukuva kooste, joka sekoittaa versiot hiljaisesti, voi vaikeuttaa sen tunnistamista, johtuiko näennäinen parannus mallista, kysymysjoukosta vai markkinaolosuhteista.

Strategialla pitäisi olla rajattu vastaus epävarmuuteen, kuten toiminta-alan pienentäminen tai palaaminen seurantaan vian tutkimisen ajaksi. Tämä on hallintapäätös, ei väite seuraavan ennusteen vääryydestä. Tarkoituksena on välttää altistuksen laajentamista, kun prosessia tukeva näyttö on kyseenalainen.

Yhdistä tutkimuskirjaus todelliseen toimintaan

Käyttöön otettavan tutkimustuloksen pitäisi määritellä tapahtuman mallintaminen, tietojen katkaisuajankohta, piirremääritelmät, malli- ja kalibrointiversiot, valintasääntö ja toteutusoletukset. Näin toinen arvioija voi toistaa päätöksen ja tunnistaa muuttuneen osan, kun todellinen toiminta eroaa tutkimuksesta.

Toimintatestit ovat edelleen tarpeen. Tarkka ennuste ei estä kaksoistoimeksiantoa epäselvän lähetyksen jälkeen tai väärää positiota osittaisen toteuman jälkeen. Järjestelmän on täsmäytettävä todelliset pyynnöt, toteumat ja saldot. Tutkimuksen laatu ja toteutuksen luotettavuus ovat toisiaan täydentäviä vaatimuksia eivätkä korvikkeita.

Koneoppimistyö ennustemarkkinoilla on vahvinta, kun aikaraja pysyy näkyvissä raakatiedoista lopulliseen pistemäärään. Määritellyt luokitukset, ryhmitelty ajallinen arviointi, itsenäisesti sovitettu kalibrointi ja realistiset kustannusoletukset tekevät tuloksista helpommin luotettavia omassa laajuudessaan. Ne eivät lupaa tulevia tuottoja, mutta mahdollistavat hyödyllisen ennusteen erottamisen tuloksesta, joka rakentuu tiedolle, jota käytössä olevalla järjestelmällä ei olisi koskaan voinut olla.