Maskinlæring på prediksjonsmarkeder: test i tidsrekkefølge

Definer merkelappen før du velger modell

Merkelappen er utfallet modellen trenes til å forutsi. For en binær kontrakt kan den være én for ordinært Ja-resultat og null for ordinært Nei-resultat, men de faktiske fullstendige reglene avgjør hvilke observasjoner som gir disse merkelappene. Ekstraordinære oppgjørsutfall eller uavklarte markeder trenger en angitt håndtering fremfor automatisk tilordning til null.

Registrer referansekilden, observasjonsvinduet, terskelen, sammenligningsoperatoren og regelversjonen. En merkelapp basert på et lett tilgjengelig prisdiagram kan avvike fra kontraktens oppgjørsresultat. Hvis undersøkelsen bruker en stedfortredende merkelapp, si det og forklar avviket. En modell kan tilpasse seg denne nøyaktig og likevel være uegnet for den faktiske handelen.

Spørsmål om retning, terskel, intervall og barriere trenger ulike merkelapper. Et stigende aktivum kan forbli under en terskel, og en berørt barriere kan etterfølges av en lavere sluttpris. Å behandle alle som generelle «opp»-observasjoner visker ut hendelsesstrukturen. Modellresultatet må tilsvare vilkåret som gir utbetaling.

Den eldre veiledningen om handelsalgoritmer for prediksjonsmarkeder knytter utforming av merkelapper til hele handelsprosessen. Modellvalg kommer etter at spørsmålet er definert. En mer fleksibel algoritme kan ikke reparere et utfallsdatasett der meningen avviker fra kontraktene den skal handle på.

Tidsdeling ved maskinlæring på prediksjonsmarkeder

En kronologisk oppdeling plasserer tidligere eksempler i trening og senere eksempler i evaluering. Dette er vanligvis mer relevant for prognoser enn tilfeldig oppdeling av rader fordi den tiltenkte driften også beveger seg fremover i tid. Men kronologi alene er ikke nok; oppdelingen må respektere når egenskaper og merkelapper ble tilgjengelige.

Se for deg et oppdiktet datasett med 1 000 ordnede beslutningsregistreringer. En analytiker bruker de første 600 til trening, de neste 200 til validering og de siste 200 til testing. Valideringssettet støtter modell- og terskelvalg. Testsettet forblir urørt til valgene er låst. Antallene er illustrerende, ikke en universell oppskrift på tilstrekkelig dokumentasjon.

Hvis en treningshendelse avgjøres etter starten av valideringsperioden, var merkelappen kanskje ikke tilgjengelig for en modell trent ved denne grensen. Analytikeren må ta hensyn til tidspunktet. Ellers gir den tilsynelatende kronologiske prosessen fortsatt modellen fremtidskunnskap. Det samme problemet oppstår når spørsmål med lange og korte tidshorisonter blandes.

Den eldre veiledningen om maskinlæring i kryptohandel forklarer hvorfor tidsrekkefølge er viktig. For hendelseskontrakter utvider du oppdelingsregistreringen med beslutningstidspunkt, kildens tilgjengelighetstidspunkt og utfallets tilgjengelighetstidspunkt. En rads kalenderdato alene kan ikke fastslå at hele raden var mulig å kjenne da modellen ble trent eller brukt.

Grupper beslektede hendelser før radene deles

Flere kontrakter kan avhenge av én underliggende observasjon. Ulike terskler ved samme sluttpris, gjentatte prognoser for én hendelse og nært tilknyttede spørsmål kan dele vesentlig informasjon. En tilfeldig oppdeling som plasserer noen i trening og noen i testing, kan gjøre testen enklere enn et virkelig nytt hendelsesforløp.

Definer grupper ut fra den relevante felles hendelsen, referansen og tidsvinduet. Behold grupperingsmetoden i undersøkelsesregistreringen. Det kan være nødvendig å holde beslektede spørsmål samlet eller på annen måte ta hensyn til avhengigheten. Målet er å unngå å presentere mange rader som mange uavhengige erfaringer.

Overlappende vinduer skaper et annet problem. En egenskap bygget fra nyere historikk kan overlappe perioden brukt av en nabomerkelapp. Avhengig av strategi og data kan avstand rundt oppdelingsgrensene være nødvendig. Riktig mellomrom bør følge informasjonsstrukturen, ikke et fast tall kopiert fra et uvedkommende eksempel.

Veiledningen om algoritmisk handel på prediksjonsmarkeder plasserer valgene i en prosess som kan gjenskapes. En oppdeling er en del av forsøkets spesifikasjon. Hvis den endres etter at resultatene er sett, bør endringen dokumenteres og den reviderte metoden vurderes på ny dokumentasjon der det er mulig.

Lekkasjetester ved maskinlæring på prediksjonsmarkeder

Lekkasje oppstår når en egenskap, transformasjon eller et undersøkelsesvalg bruker informasjon som ikke var tilgjengelig på det tiltenkte prognosetidspunktet. Et vanlig eksempel er at en revidert økonomisk verdi erstatter den først publiserte verdien i historiske data. Et annet er et oppgjørsrelatert felt som i praksis avslører utfallet mens det ser ut som vanlige metadata.

Test tilgjengeligheten til hver egenskap. Spør når det underliggende faktumet inntraff, når det ble publisert, og når systemet kunne ha mottatt det. En senere rapport om en tidligere hendelse bør ikke tilbakedateres inn i informasjonsgrunnlaget. Lagre opprinnelige og reviderte versjoner der det er relevant, slik at den historiske simuleringen kan gjenskape den faktiske kunnskapsgrensen.

Undersøk egenskaper med mistenkelig høy prediksjonskraft. En brå resultatforbedring kan være legitim, men gir også grunn til å kontrollere utfallsfelt, status etter avgjørelsen eller kildeoppdateringer som kom for sent. Å fjerne en mistenkt egenskap og kjøre en kontrollert sammenligning på nytt kan bidra til å identifisere om resultatet avhenger av informasjonslekkasje.

Språkmodellegenskaper trenger ekstra omtanke. En modell kan ha møtt historiske utfall under trening eller innhenting. Å be den opptre som om den befant seg på en tidligere dato beviser ikke at kunnskapen er fraværende. Fremoverskuende prognoser for uavklarte hendelser gir et nyttig supplement til historiske tester, mens begrensningene ved tilbakeskuende forsøk bør forbli uttrykkelige.

Bevar like egenskaper i undersøkelse og bruk

Likhet i egenskaper betyr at den faktiske driftsprosessen beregner de samme definerte inndataene som undersøkelsesprosessen. Forskjeller i avrunding, håndtering av manglende verdier, tidssamordning eller kildevalg kan endre modellatferden selv når modellfilen er identisk. Registrer transformasjoner og test dem på felles testeksempler fremfor å anta at to implementasjoner er likeverdige.

Manglende data bør ha en definert representasjon. Videreføring av en verdi kan være en bevisst egenskapsmetode, men verdien sin alder kan ha betydning. Å erstatte manglende data med null kan innføre en falsk observasjon. Modellen bør trenes og vurderes under samme policy som den vil møte i drift.

Bruk gjeldende skjemaer for markedsdata. Priser med fast desimalrepresentasjon og brøkmengder bør ikke avkortes av en eldre antakelse om hele cent eller hele kontrakter. Undersøkelsesrørledningen bør bevare meningen og presisjonen handelsplassen og strategien krever, med visningsavrunding adskilt fra beregning.

Den eldre veiledningen om kryptoboter med maskinlæring fokuserer på utrulling med like egenskaper. For prediksjonskontrakter legger du kontraktstolkningsversjonen til denne likhetskontrollen. Den samme numeriske egenskapsvektoren kan beskrive et annet spørsmål hvis en kilde- eller grensetilordning endres.

Kalibrering ved maskinlæring på prediksjonsmarkeder

En sannsynlighetsmodell trenger mer enn en telling av riktig side. Kalibrering spør om oppgitte sannsynligheter tilsvarer utfallsfrekvenser i egnede grupper. En samling prognoser nær 60 % bør undersøkes mot hvor ofte hendelsene inntreffer, med hensyn til usikkerhet og avhengighet. Ett resultat kan ikke fastslå eller motbevise kalibrering.

Kalibrering kan vurderes ved å gruppere prognoser i intervaller eller bruke andre egnede diagnosemetoder. Grupperingen bør velges med omtanke: Svært små grupper har mye støy, mens svært brede grupper kan skjule viktig variasjon. Vis utvalgsstørrelser og hendelsessammensetning slik at leseren kan vurdere dokumentasjonens styrke fremfor å se et glatt diagram uten kontekst.

En rekalibreringstilordning må tilpasses på data adskilt fra sluttevalueringen. Hvis de samme testutfallene brukes til å justere sannsynligheter og deretter skåre det justerte resultatet, er testen ikke lenger urørt. Behandle kalibrering som en del av modellrørledningen, med egen trenings- eller valideringsgrense og versjon.

Veiledningen om KI på prediksjonsmarkeder forklarer hvorfor en modells sikkerhet ikke automatisk er en kalibrert hendelsessannsynlighet. Det gjelder enten modellen er et språksystem, en klassifikator eller et ensemble. Resultatets tallformat fastslår ikke dets empiriske betydning.

Gi sannsynligheter en skår med en tydelig konvensjon

Brier-skåren for et binært utfall er den kvadrerte forskjellen mellom prognosesannsynlighet og utfall, beregnet som gjennomsnitt over observasjoner. Med utfall kodet som null eller én er lavere verdier bedre under denne konvensjonen. Den belønner nyttige sannsynlighetsanslag og straffer sikre feil sterkere enn en enkel telling av riktig side.

Se for deg fire oppdiktede prognoser: 0,80, 0,60, 0,30 og 0,10. Anta at utfallene er Ja, Nei, Nei og Ja. De kvadrerte feilene er 0,04, 0,36, 0,09 og 0,81. De summerer seg til 1,30 og gir en gjennomsnittsskår på 0,325. En konstant prognose på 0,50 skårer 0,25 på hver, med et gjennomsnitt på 0,25, og gjør det derfor bedre på dette lille settet.

Eksemplet viser hvordan én sikker bom kan ha betydning. Det fastslår ikke at en konstant prognose generelt er best, eller at den vurderte modellen er ubrukelig. Fire observasjoner er en regneillustrasjon, ikke en pålitelig resultatstudie. Reelle sammenligninger trenger nok relevant dokumentasjon og en forhåndsdefinert evalueringsutforming.

Undersøk også kalibrering og atferd på kategorinivå fremfor å stole på én samlet skår. En modell kan forbedre et gjennomsnitt og samtidig bli dårligere på akkurat det delutvalget handelsstrategien velger. Undersøkelsen bør knytte sannsynlighetsevaluering til tiltenkt beslutningspolicy uten å la utvelging av undergrupper i ettertid bli en urapportert form for tilpasning.

Sammenlign med referanser tilgjengelige på samme tidspunkt

En referanse bør være enkel, relevant og gjennomførbar ved beslutningens skjæringstidspunkt. Den kan bruke en grunnfrekvens, en stabil statistisk regel eller et tydelig definert markedsbasert anslag. Sammenligningen bør bruke de samme spørsmålene og den samme informasjonsgrensen. En modell vurdert på enklere hendelser kan ikke erklæres overlegen bare fordi gjennomsnittsskåren er lavere.

Rapporter det hvis markedsprisen er en modellegenskap. Modellen kan foredle et signal som allerede finnes i markedet fremfor å lage et uavhengig anslag. Det kan fortsatt være nyttig, men det relevante spørsmålet er om foredlingen tilfører informasjon utover referansen, og om en eventuell forbedring overlever kostnads- og utvelgingsbegrensninger.

Kjør målrettede tester med fjerning av komponenter der de svarer på et konkret spørsmål. Å fjerne én egenskapsgruppe kan bidra til å avgjøre om resultatet avhenger av en bestemt datakilde. Testen bør spesifiseres og tolkes med omtanke; å teste mange varianter og bare rapportere den beste skaper en ny vei til overtilpasning.

Veiledningen om automatisert prediksjonshandel forklarer hvordan en prognose blir en avgrenset handling. Referansesammenligning hører hjemme før denne overgangen. En modells kompleksitet eller treningskostnad gir den ikke særskilt fritak fra å vise hva den tilfører beslutningen.

Skill statistisk forbedring fra handelsverdi

En bedre sannsynlighetsskår garanterer ikke en lønnsom strategi. Handler skjer ved kjøps- og salgskurser med begrenset dybde og gjeldende gebyrer. En liten forbedring kan være økonomisk ubrukelig hvis kostnaden ved å omsette den i en handel overstiger forventet fortrinn. Handelssimuleringen må derfor bruke realistiske forutsetninger om side, mengde og tidspunkt.

Anta at en oppdiktet modell anslår 57 % for Ja, mens full kostnad ved det tiltenkte kjøpet er 0,55 per enhet inkludert hypotetiske gebyrer. Modellert forventningsverdi er 0,02 per enhet under ordinære utbetalinger på én enhet. For 300 enheter er kostnaden 165,00 og forventet utbetaling 171,00, noe som gir en modellert forventningsverdi på 6,00. Marginen kan forsvinne ved en liten prognose- eller gjennomføringsfeil.

Hvis faktisk full kostnad stiger til 0,58 per enhet, gir samme prognose et modellert tap på 0,01 per enhet, eller 3,00 for 300 enheter. Modellen har ikke endret seg, men handelsvurderingen har det. En strategi som bare registrerer prognosekvalitet, overser denne økonomiske grensen.

Ikke tilordne simulerte fyllinger ved midtkurs uten dokumentasjon på at slik gjennomføring var mulig. En limitordre kan oppnå en bedre pris, men forbli ufylt. En ordre som kan handles umiddelbart, kan betale gjennom flere nivåer. Evalueringen bør representere den valgte gjennomføringspolicyen og begrensningene dens fremfor å kombinere idealpris med garantert mengde.

Test utvelging uten å skjule nevneren

En handelspolicy kan bare handle når modellens anslag overstiger full kostnad med en valgt margin. Vurder utvelgingsregelen på det forhåndsdefinerte kvalifiserte settet og behold tilfeller der man avstår. Hvis bare gjennomførte handler lagres, kan analytikeren ikke vite hvordan modellen gjorde det på avviste tilfeller, eller om utvelgingsterskelen ble valgt etter at utfallene ble sett.

Rapporter prognosedekning, handelsdekning og grunner til utelatelse hver for seg. Et spørsmål kan hoppes over fordi reglene er uklare, data mangler eller den modellerte marginen er for liten. Disse årsakene innebærer ulike forbedringer. Én merkelapp som «intet signal» skjuler grensen mellom undersøkelseskvalitet, driftstilgjengelighet og økonomisk utvelging.

Unngå å optimalisere marginterskelen gjentatte ganger på ett testsett. Den beste historiske grensen kan gjenspeile støy, særlig når bare noen få handler gjenstår etter filtrering. Lås policyen for en senere evalueringsperiode, eller bruk en annen egnet valideringsutforming. Usikkerheten som følger, bør erkjennes fremfor å erstattes av en imponerende prosentvis avkastning.

Beslektede valgte handler kan også konsentrere risikoen. Flere terskler for samme hendelse kan alle passere modellfilteret mens de avhenger av ett underliggende utfall. Utvelgingsevalueringen bør rapportere eksponering og tap på hendelsesnivå, ikke bare telle tilsynelatende separate vinnende kontrakter.

Overvåk endringer i data og modellatferd uten å skrive om forsøket

Etter utrulling kan datafordelinger, markedsdeltakelse og kontraktskategorier endres. Overvåk både inndatakvalitet og prognoseresultater. En endring i et kildeskjema kan skape et umiddelbart egenskapsproblem, mens en kalibreringsendring kan kreve nok avgjorte utfall før den oppdages. Dette er forskjellige overvåkingsoppgaver og bør ha ulike reaksjoner.

En kort tapsrekke fastslår ikke automatisk modellsvikt. Sammenlign den med de oppgitte sannsynlighetene og avhengigheten mellom hendelser. Samtidig bør ikke enhver forverring avfeies som vanlig variasjon. Forhåndsdefinerte gjennomgangsvilkår hjelper teamet med å reagere konsekvent uten å endre forklaringen etter hvert resultat.

Når modellen revideres, behold den tidligere versjonens registreringer. Nye prognoser bør bære den nye versjonen, og evalueringen bør gjenspeile hvilken prosess som ga hver beslutning. En løpende oppsummering som blander versjoner i det stille, kan gjøre det vanskelig å identifisere om en tilsynelatende forbedring kom fra modellen, spørsmålssettet eller markedsforholdene.

Strategien bør ha en avgrenset reaksjon på usikkerhet, for eksempel å redusere driftsomfanget eller gå tilbake til observasjon mens en feil undersøkes. Dette er en kontrollbeslutning, ikke en påstand om at neste prognose blir feil. Formålet er å unngå økt eksponering mens dokumentasjonen som støtter prosessen, er under tvil.

Knytt undersøkelsesregistreringen til faktisk drift

Et undersøkelsesresultat som kan settes i drift, bør spesifisere hendelsestilordning, dataskjæringstidspunkt, egenskapsdefinisjoner, modell- og kalibreringsversjoner, utvelgingsregel og gjennomføringsforutsetninger. Detaljene lar en annen kontrollør gjenskape beslutningen og identifisere hvilken komponent som endret seg når faktisk atferd avviker fra studien.

Driftstester er fortsatt nødvendige. En nøyaktig prognose hindrer ikke en duplikatordre etter en ukjent innsending eller en feilaktig posisjon etter delvis fylling. Systemet må avstemme faktiske forespørsler, fyllinger og saldoer. Undersøkelseskvalitet og pålitelig gjennomføring er utfyllende krav fremfor erstatninger for hverandre.

Arbeid med maskinlæring på prediksjonsmarkeder er sterkest når tidsgrensen forblir synlig fra rådata til endelig skår. Definerte merkelapper, gruppert kronologisk evaluering, uavhengig tilpasset kalibrering og realistiske kostnadsforutsetninger gjør det lettere å stole på resultater innenfor deres omfang. De lover ikke fremtidig avkastning, men gjør det mulig å skille en nyttig prognose fra et resultat bygget på informasjon det faktiske systemet aldri kunne ha hatt.