Maskinlæring på forudsigelsesmarkeder: test i tidsorden

Definer etiketten, før modellen vælges

Etiketten er det udfald, som modellen trænes til at forudsige. For en binær kontrakt kan det være én for det almindelige Ja-resultat og nul for det almindelige Nej-resultat, men de faktiske fulde regler afgør, hvilke observationer der giver disse etiketter. Usædvanlige afregningsudfald eller uafklarede markeder kræver en angivet behandling frem for automatisk tildeling af nul.

Registrer referencekilden, observationsvinduet, tærsklen, sammenligningsoperatoren og regelversionen. En etiket baseret på en bekvem prisgraf kan afvige fra kontraktens afregningsresultat. Hvis researchen bruger en stedfortrædende etiket, skal det oplyses, og forskellen forklares. En model kan passe præcist til stedfortræderen og stadig være uegnet til den faktiske handel.

Spørgsmål om retning, tærskler, intervaller og barrierer kræver forskellige etiketter. Et stigende aktiv kan forblive under en tærskel, og en berørt barriere kan efterfølges af en lavere slutpris. At behandle dem alle som generiske »op«-observationer sletter begivenhedens struktur. Modellens output skal svare til den betingelse, der udbetaler.

Den ældre vejledning til handelsalgoritmer for forudsigelsesmarkeder forbinder etiketdesign med hele handelsprocessen. Modelvalget kommer efter definitionen af spørgsmålet. En mere fleksibel algoritme kan ikke reparere et udfaldsdatasæt, hvis betydning afviger fra de kontrakter, den skal handle.

Tidsopdelinger ved maskinlæring på forudsigelsesmarkeder

En kronologisk opdeling placerer tidligere eksempler i træning og senere eksempler i evaluering. Det er normalt mere relevant for prognoser end en tilfældig rækkeopdeling, fordi den tilsigtede idriftsættelse også bevæger sig fremad i tid. Men kronologi alene er ikke nok; opdelingen skal respektere, hvornår egenskaber og etiketter blev tilgængelige.

Overvej et fiktivt datasæt med 1.000 ordnede beslutningsregistreringer. En researcher bruger de første 600 til træning, de næste 200 til validering og de sidste 200 til test. Valideringssættet understøtter model- og tærskelvalg. Testsættet forbliver urørt, indtil valgene er fastlåst. Tallene er illustrative, ikke en universel forskrift for tilstrækkeligt grundlag.

Hvis en træningsbegivenhed afgøres efter starten af valideringsperioden, var dens etiket måske ikke tilgængelig for en model trænet ved den grænse. Researcheren skal tage højde for tidspunktet. Ellers giver den nominelt kronologiske proces stadig modellen fremtidsviden. Samme problem opstår, når spørgsmål med lange og korte horisonter blandes.

Den ældre vejledning til maskinlæring i kryptohandel forklarer, hvorfor tidsorden betyder noget. For begivenhedskontrakter skal opdelingsregistreringen udvides til at omfatte beslutningstidspunkt, kildens tilgængelighedstidspunkt og udfaldets tilgængelighedstidspunkt. En rækkes kalenderdato alene kan ikke fastslå, at hele rækken kunne kendes, da modellen blev trænet eller brugt.

Gruppér beslægtede begivenheder, før rækker opdeles

Flere kontrakter kan afhænge af én underliggende observation. Forskellige tærskler ved samme slutpris, gentagne prognoser for én begivenhed og tæt forbundne spørgsmål kan dele betydelig information. En tilfældig opdeling, som placerer nogle i træning og andre i test, kan gøre testen lettere end en faktisk ny begivenhedsepisode.

Definer grupper ud fra den relevante fælles begivenhed, reference og tidsramme. Bevar grupperingsmetoden i researchregistreringen. Det kan være nødvendigt at holde beslægtede spørgsmål sammen eller på anden vis tage højde for deres afhængighed. Målet er at undgå at præsentere et stort antal rækker som et stort antal uafhængige erfaringer.

Overlappende vinduer skaber et andet problem. En egenskab bygget på nyere historik kan overlappe den periode, som en naboetiket bruger. Afhængigt af strategien og dataene kan adskillelse omkring opdelingsgrænser være nødvendig. Det passende mellemrum bør følge informationsstrukturen, ikke et fast antal kopieret fra et ubeslægtet eksempel.

Vejledningen til algoritmisk handel på forudsigelsesmarkeder placerer valgene i en reproducerbar livscyklus. En opdeling er en del af forsøgets specifikation. Hvis den ændres efter at have set resultater, bør ændringen dokumenteres, og den reviderede metode evalueres på nyt grundlag, hvor det er muligt.

Lækagetest ved maskinlæring på forudsigelsesmarkeder

Lækage opstår, når en egenskab, transformation eller researchbeslutning bruger information, som var utilgængelig på det tilsigtede prognosetidspunkt. Et almindeligt eksempel er en revideret økonomisk værdi, der erstatter den først offentliggjorte værdi i historiske data. Et andet er et afregningsrelateret felt, som reelt afslører udfaldet, mens det ligner almindelige metadata.

Test tilgængeligheden af hver egenskab. Spørg, hvornår den underliggende kendsgerning indtraf, hvornår den blev offentliggjort, og hvornår systemet kunne have modtaget den. En senere rapport om en tidligere begivenhed bør ikke tilbagedateres ind i informationssættet. Gem oprindelige og reviderede versioner, hvor det er relevant, så den historiske simulering kan genskabe den faktiske vidensgrænse.

Undersøg egenskaber med mistænkelig prognosekraft. En brat resultatforbedring kan være legitim, men berettiger også kontrol for udfaldsfelter, status efter afgørelse eller kildeopdateringer, der kom for sent. At fjerne en mistænkt egenskab og gentage en kontrolleret sammenligning kan hjælpe med at identificere, om resultatet afhænger af informationslækage.

Sprogmodelegenskaber kræver ekstra omhu. En model kan have mødt historiske udfald under træning eller informationshentning. At bede den spille rollen som på en tidligere dato beviser ikke, at denne viden er fraværende. Fremadrettede prognoser for uafklarede begivenheder giver et nyttigt supplement til historiske test, mens begrænsningerne ved bagudrettede forsøg bør forblive udtrykkelige.

Bevar ens egenskaber i research og brug

Ens egenskaber betyder, at den aktive proces beregner samme definerede input som researchprocessen. Forskelle i afrunding, håndtering af manglende værdier, tidsjustering eller kildevalg kan ændre modeladfærden, selv når modelfilen er identisk. Registrer transformationer, og test dem på fælles testdata frem for at antage, at to implementeringer er ækvivalente.

Manglende data bør have en defineret repræsentation. At videreføre en værdi kan være en bevidst egenskabsmetode, men værdiens alder kan være vigtig. At erstatte mangler med nul kan indføre en falsk observation. Modellen bør trænes og evalueres under samme politik, som den møder i drift.

Brug aktuelle skemaer til markedsdata. Priser med fast decimalpræcision og brøkmængder bør ikke afkortes af en ældre antagelse om hele cent eller hele kontrakter. Researchprocessen bør bevare den betydning og præcision, som handelsstedet og strategien kræver, med visningsafrunding adskilt fra beregning.

Den ældre vejledning til kryptobot med maskinlæring fokuserer på idriftsættelse med ens egenskaber. For forudsigelseskontrakter skal kontraktfortolkningens version føjes til denne kontrol. Samme numeriske egenskabsvektor kan beskrive et andet spørgsmål, hvis en kilde- eller grænsekobling ændres.

Kalibrering ved maskinlæring på forudsigelsesmarkeder

En sandsynlighedsmodel kræver mere end en optælling af korrekte sider. Kalibrering spørger, om angivne sandsynligheder svarer til udfaldsfrekvenser i passende grupper. En samling prognoser nær 60% bør undersøges mod den hyppighed, hvormed disse begivenheder indtræffer, med hensyn til usikkerhed og afhængighed. Ét resultat kan ikke fastslå eller afkræfte kalibrering.

Kalibrering kan evalueres ved at gruppere prognoser i intervaller eller bruge andre passende diagnostiske metoder. Grupperingen bør vælges omhyggeligt: meget små grupper støjer, mens meget brede grupper kan skjule vigtig variation. Vis stikprøvestørrelser og begivenhedssammensætning, så en læser kan vurdere grundlagets styrke frem for at se en glat graf uden kontekst.

En rekalibreringsfunktion skal tilpasses på data adskilt fra den endelige evaluering. Hvis de samme testudfald bruges til at justere sandsynligheder og derefter bedømme det justerede resultat, er testen ikke længere urørt. Behandl kalibrering som en del af modelprocessen med sin egen trænings- eller valideringsgrænse og version.

Vejledningen til AI på forudsigelsesmarkeder forklarer, hvorfor en models sikkerhed ikke automatisk er en kalibreret begivenhedssandsynlighed. Det gælder, uanset om modellen er et sprogsystem, en klassifikator eller et ensemble. Outputtets numeriske format fastslår ikke dets empiriske betydning.

Bedøm sandsynligheder med en klar konvention

Brier-scoren for et binært udfald er den kvadrerede forskel mellem prognosesandsynligheden og udfaldet, gennemsnitligt over observationer. Med udfald kodet som nul eller én er lavere værdier bedre under denne konvention. Den belønner nyttige sandsynlighedsestimater og straffer sikre fejl stærkere end en enkel optælling af korrekte sider.

Overvej fire fiktive prognoser: 0,80, 0,60, 0,30 og 0,10. Antag, at udfaldene er Ja, Nej, Nej og Ja. De kvadrerede fejl er 0,04, 0,36, 0,09 og 0,81. De giver i alt 1,30 og en gennemsnitsscore på 0,325. En konstant prognose på 0,50 scorer 0,25 på hver med et gennemsnit på 0,25 og klarer sig derfor bedre på dette lille sæt.

Eksemplet viser, hvordan én sikker fejl kan betyde noget. Det fastslår ikke, at en konstant prognose generelt er bedst, eller at den evaluerede model er ubrugelig. Fire observationer er en regneillustration, ikke et pålideligt resultatstudie. Virkelige sammenligninger kræver tilstrækkeligt relevant grundlag og et foruddefineret evalueringsdesign.

Undersøg også kalibrering og adfærd på kategoriniveau frem for at stole på én samlet score. En model kan forbedre et gennemsnit, mens den bliver dårligere på præcis den delmængde, handelsstrategien vælger. Researchen bør forbinde sandsynlighedsevalueringen med den tilsigtede beslutningspolitik uden at lade bagudrettet undergruppevalg blive en urapporteret form for justering.

Sammenlign med grundlag, der var tilgængelige samtidig

Et sammenligningsgrundlag bør være enkelt, relevant og muligt ved beslutningens skæringstidspunkt. Det kan bruge en grundhyppighed, en stabil statistisk regel eller et klart defineret markedsafledt estimat. Sammenligningen bør bruge samme spørgsmål og informationsgrænse. En model evalueret på lettere begivenheder kan ikke erklæres overlegen, blot fordi dens gennemsnitsscore er lavere.

Hvis markedsprisen er en modelegenskab, skal det rapporteres. Modellen kan forfine et signal, som allerede findes på markedet, frem for at producere et uafhængigt estimat. Det kan stadig være nyttigt, men det relevante spørgsmål er, om forfinelsen tilføjer information ud over sammenligningsgrundlaget, og om en forbedring overlever omkostnings- og udvælgelsesbegrænsninger.

Kør målrettede ablationer, hvor de besvarer et konkret spørgsmål. At fjerne én egenskabsgruppe kan hjælpe med at afgøre, om resultatet afhænger af en bestemt datakilde. Ablationen bør specificeres og fortolkes omhyggeligt; at teste mange varianter og kun rapportere den bedste skaber endnu en vej til overtilpasning.

Vejledningen til automatiseret forudsigelseshandel forklarer, hvordan en prognose bliver til en afgrænset handling. Sammenligning med grundlaget hører til før denne overgang. En models kompleksitet eller træningsudgift fritager den ikke særligt fra at dokumentere, hvad den tilføjer beslutningen.

Adskil statistisk forbedring fra handelsværdi

En bedre sandsynlighedsscore garanterer ikke en rentabel strategi. Handler sker ved købs- og salgskurser med begrænset dybde og gældende gebyrer. En lille forbedring kan være økonomisk ubrugelig, hvis omkostningen ved at udtrykke den overstiger den forventede fordel. Handelssimuleringen skal derfor bruge realistiske antagelser om side, mængde og tidspunkt.

Antag, at en fiktiv model estimerer 57% for Ja, mens den fulde omkostning ved det tilsigtede køb er 0,55 pr. enhed inklusive hypotetiske gebyrer. Den modellerede forventning er 0,02 pr. enhed ved almindelige udbetalinger på én enhed. For 300 enheder er omkostningen 165,00 og den forventede udbetaling 171,00, hvilket giver en modelleret forventning på 6,00. Marginen kan forsvinde med en lille prognose- eller udførelsesfejl.

Hvis den faktiske fulde omkostning stiger til 0,58 pr. enhed, giver samme prognose et modelleret tab på 0,01 pr. enhed eller 3,00 for 300 enheder. Modellen er uændret, men handelsvurderingen har ændret sig. En strategi, der kun registrerer prognosekvalitet, overser denne økonomiske grænse.

Tildel ikke simulerede udførelser ved midtpunktet uden dokumentation for, at udførelsen var mulig. En limitordre kan opnå en bedre pris, men forblive uudført. En straks omsættelig ordre kan betale gennem flere niveauer. Evalueringen bør repræsentere den valgte udførelsespolitik og dens begrænsninger frem for at kombinere ideel pris med garanteret mængde.

Test udvælgelsen uden at skjule nævneren

En handelspolitik handler måske kun, når modellens estimat overstiger den fulde omkostning med en valgt margin. Vurder udvælgelsesreglen på det foruddefinerede kvalificerede sæt, og bevar afståelser. Hvis kun udførte handler gemmes, kan researcheren ikke se, hvordan modellen klarede afviste tilfælde, eller om udvælgelsestærsklen blev valgt efter at have set udfald.

Rapporter prognosedækning, handelsdækning og udelukkelsesgrunde særskilt. Et spørgsmål kan springes over, fordi regler er uklare, data mangler, eller den modellerede margin er for lille. Årsagerne indebærer forskellige forbedringer. Én enkelt »intet signal«-etiket skjuler grænsen mellem researchkvalitet, driftsmæssig tilgængelighed og økonomisk udvælgelse.

Undgå gentagne gange at optimere margintærsklen på ét testsæt. Det bedste historiske skæringstal kan afspejle støj, især når kun få handler er tilbage efter filtrering. Fastlås politikken for en senere evalueringsperiode, eller brug et andet passende valideringsdesign. Den resulterende usikkerhed bør anerkendes frem for at erstattes af et imponerende procentafkast.

Beslægtede udvalgte handler kan også koncentrere risiko. Flere tærskler på samme begivenhed kan alle bestå modelfilteret, mens de afhænger af ét underliggende udfald. Udvælgelsesevalueringen bør rapportere eksponering og tab på begivenhedsniveau, ikke kun et antal tilsyneladende særskilte vindende kontrakter.

Overvåg ændringer uden at omskrive forsøget

Efter idriftsættelse kan datafordelinger, markedsdeltagelse og kontraktkategorier ændre sig. Overvåg både inputkvalitet og prognoseresultater. En ændring i kildeskemaet kan skabe et øjeblikkeligt egenskabsproblem, mens en kalibreringsændring kan kræve tilstrækkeligt mange afgjorte udfald for at blive opdaget. Det er forskellige overvågningsopgaver og bør have forskellige reaktioner.

En kort tabsgivende sekvens fastslår ikke automatisk modelfejl. Sammenlign den med de angivne sandsynligheder og afhængigheden mellem begivenheder. Afvis samtidig ikke enhver forringelse som almindelig varians. Foruddefinerede gennemgangsbetingelser hjælper teamet med at reagere konsekvent uden at ændre forklaringen efter hvert resultat.

Når modellen revideres, skal den tidligere versions registreringer bevares. Nye prognoser bør bære den nye version, og evalueringen bør afspejle, hvilken proces der skabte hver beslutning. Et rullende gennemsnit, der tavst blander versioner, kan gøre det svært at identificere, om en tilsyneladende forbedring kom fra modellen, spørgsmålssættet eller markedsforholdene.

Strategien bør have en afgrænset reaktion på usikkerhed, såsom at reducere driftsområdet eller vende tilbage til observation, mens en fejl undersøges. Det er en kontrolbeslutning, ikke en påstand om, at næste prognose bliver forkert. Formålet er at undgå øget eksponering, mens grundlaget, der støtter processen, er usikkert.

Forbind researchregistreringen med faktisk drift

Et researchresultat, der kan sættes i drift, bør specificere begivenhedskoblingen, dataskæringstidspunktet, egenskabsdefinitionerne, model- og kalibreringsversionerne, udvælgelsesreglen og udførelsesantagelserne. Detaljerne lader en anden reviewer genskabe beslutningen og identificere, hvilken komponent der ændrede sig, når aktiv adfærd afviger fra studiet.

Driftstest er fortsat nødvendige. En præcis prognose forhindrer ikke en dobbeltordre efter en ukendt indsendelse eller en forkert position efter en delvis udførelse. Systemet skal afstemme faktiske anmodninger, udførelser og saldi. Researchkvalitet og udførelsespålidelighed er supplerende krav frem for erstatninger for hinanden.

Arbejdet med maskinlæring på forudsigelsesmarkeder er stærkest, når tidsgrænsen forbliver synlig fra rådata til endelig score. Definerede etiketter, grupperet kronologisk evaluering, uafhængigt tilpasset kalibrering og realistiske omkostningsantagelser gør resultater lettere at stole på inden for deres omfang. De lover ikke fremtidige afkast, men gør det muligt at skelne en nyttig prognose fra et resultat bygget på information, som det aktive system aldrig kunne have haft.