Data fra Polymarket bliver først et datasæt til research, når nogen beslutter, hvad hver registrering betyder, hvilke observationer der hører til stikprøven, og hvornår oplysningerne var tilgængelige. Disse valg kan påvirke et resultat lige så meget som den model, der anvendes bagefter. Et stort arkiv kan stadig understøtte en vildledende konklusion, hvis det stiltiende udelader vanskelige markeder eller leverer senere oplysninger for tidligt.
Et nyttigt datasæt bevarer kildehistorik, skemaversioner og manglende observationer sammen med priser og udfald. Det bør lade en anden forsker rekonstruere, hvordan en række blev produceret, og identificere, hvilke påstande den tilgængelige dokumentation kan understøtte. Målet er at kunne reproducere betydningen, ikke blot at kunne åbne en fil igen.
Denne vejledning vedrører data fra International Polymarket. Polymarket US har særskilte grænseflader og en anden handelsstedskontekst. Stikprøveantal, datoer, tidspunkter og beregninger nedenfor er opdigtede til undervisningsbrug. De illustrerer design af datasæt frem for at beskrive et faktisk markedsarkiv eller fastslå en handelsstrategis resultater.
Definer spørgsmålet, før du indsamler data fra Polymarket
Et datasæt bør udformes omkring et researchspørgsmål. Undersøgelse af prognosers kalibrering kræver daterede sandsynlighedsestimater og udfald. Undersøgelse af udførelsesomkostninger kræver ordrebøger for de tilsigtede mængder og beslutningstidspunkter. Undersøgelse af kontoresultater kræver autoriserede private registreringer, som offentlige markedsdata muligvis ikke leverer.
Skriv den tilsigtede påstand i én sætning. Et projekt kan for eksempel spørge, om en bestemt kildeopdatering forbedrer prognoser lavet én dag før en kontrakts frist. Spørgsmålet bestemmer de nødvendige tidsoplysninger, kontraktdefinitioner og evalueringsenheder. Indsamling af alle tilgængelige felter uden et spørgsmål kan skabe volumen uden brugbar dokumentation.
Den ældre vejledning om algoritmisk handel på prognosemarkeder lægger vægt på reproducerbarhed. Design af datasæt er en del af dette krav. En senere algoritme kan ikke reparere et arkiv, der mangler de observationstidspunkter eller kontraktkoblinger, som er nødvendige for en retvisende test af dens påstand om information.
Vælg observationsenheden
Beslut, hvad én række repræsenterer: et markedssnapshot, en handel, en prognose for en kontrakt på en bestemt dag, et dokumentationsforløb eller en kontoudførelse. Disse enheder bør ikke blandes i én tabel uden en tydelig indbyrdes relation. Et rækkeantal giver først mening, når enheden er defineret.
Antag, at undersøgelsen bruger én prognose pr. kontrakt ved en fast tidshorisont. Ti kurssnapshots i løbet af dagen for denne kontrakt skaber ikke ti uafhængige prognoseudfald. De kan give nyttig kontekst om udførelse, men det underliggende begivenhedsresultat er fortsat fælles.
Bevar relationerne mellem begivenheder, markeder og udfaldstokens. Flere kontrakter kan vedrøre tærskler for én observation, og flere registreringer kan beskrive én kontrakt over tid. Et datasæt, der behandler hver række som uafhængig, kan overdrive den dokumentationsmængde, der er tilgængelig til evaluering af en model eller estimering af usikkerhed.
Opret en registrering af datasættets kildehistorik
En registrering af datasættets kildehistorik identificerer kilden, hentemetoden, hentetidspunktet, den oprindelige identifikator og transformationsversionen for hver afledt registrering eller sammenhængende batch. Det bør være muligt at spore et modelinput tilbage til den dokumentation, det blev konstrueret ud fra.
Polymarkets API-oversigt adskiller grænseflader til opdagelse, CLOB og data. Et datasæt bør bevare, hvilken grænseflade der leverede en registrering, frem for at behandle alle felter, som om de kom fra én ensartet kilde. Lignende navne på tværs af grænseflader kan have forskelligt omfang eller forskellig opdateringsadfærd.
Kildehistorikken omfatter også forskerens valg. Registrer filtreringsregler, normaliseringsmetoder og manuelle rettelser. En rettelse bør forklare det oprindelige problem og bevare den oprindelige værdi, hvor det er relevant. Stiltiende oprydning kan gøre en fil lettere at bruge, samtidig med at den fjerner den dokumentation, der er nødvendig for at forstå, hvorfor et resultat ændrede sig.
Bevar rå registreringer sammen med normaliserede data
Rå registreringer bevarer kildens oprindelige repræsentation. Normaliserede data gør analyse lettere ved at udtrykke fælles begreber ensartet. Bevarelse af begge dele gør det muligt for en forsker at undersøge, om et uventet resultat opstod på markedet eller ved en transformation.
Råarkivet bør være organiseret nok til, at den relevante registrering kan findes, uden at det bliver det eneste brugbare datasæt. Det normaliserede lag bør indeholde stabile forbindelser tilbage til det samt skema- og transformationsversioner. Det skaber en praktisk adskillelse mellem bevarelse af dokumentation og analytisk bekvemmelighed.
Antag ikke, at normalisering er neutral. At omdanne en manglende værdi til nul, afrunde en pris eller udlede en udfaldsside kan ændre betydningen. Hver transformation kræver en defineret regel og en begrundelse, som passer til researchspørgsmålet. Hvor kilden ikke understøtter en pålidelig fortolkning, bør den normaliserede registrering bevare en udtrykkeligt uafklaret værdi.
Versionsstyr kontraktens betydning over tid
Et datasæt til research kræver mere end en markedstitel. Bevar det fulde kontraktspørgsmål, relevante regler, kildehenvisninger, frister og koblingen til udfald sammen med deres observationstidspunkter. Hvis metadata ændres, skal relationen mellem versionerne bevares frem for at overskrive historikken.
En senere regelpræcisering kan være vigtig for fortolkning af det endelige udfald, men en historisk beslutningsregistrering bør stadig vise, hvad processen vidste på det tidspunkt. Der er tale om to nyttige perspektiver: de samtidige tilgængelige oplysninger og den fortolkning, der i sidste ende blev gældende. De bør ikke slås sammen uden forklaring.
Vejledningen om markedsanalyse på Kalshi lægger vægt på præcise afgørelsesregler i et andet handelssteds kontekst. Et researchprojekt på tværs af handelssteder bør bevare hver kontrakts betydning separat. Enslydende overskrifter eller omregning af priser til procentdele fastslår ikke, at instrumenterne har tilsvarende udbetalinger.
Bevar tilgængeligheden på det enkelte tidspunkt
Tilgængelighed på et bestemt tidspunkt beskriver, hvornår en bestemt proces kunne have brugt en registrering. Kildens begivenhedstid, offentliggørelsestidspunktet, lokal modtagelse og senere lagring kan være forskellige. En historisk simulering bør ikke bruge en registrering før det relevante tilgængelighedstidspunkt, blot fordi dens kildetidsstempel er tidligere.
I et opdigtet tilfælde har et pristilbud kildetidspunktet 11:59:58, men når først indsamleren klokken 12:00:03. En beslutning truffet af denne indsamler klokken 12:00:00 kunne ikke bruge pristilbuddet, medmindre særskilt dokumentation fastslår tidligere modtagelse ad en anden vej. Sortering alene efter kildetid kan skabe brug af fremtidig information.
Bevar både kilde- og modtagelsestidspunkter, når de er tilgængelige, og forklar manglende felter. Erstat ikke et ukendt kildetidspunkt med modtagelsestidspunktet under samme betegnelse. Datasættet kan stadig understøtte nyttig research med en snævrere påstand om tidsforløbet, forudsat at begrænsningen forbliver synlig, og evalueringen respekterer den.
Definer det relevante univers, før udfaldene kendes
Et datasæt til research om Polymarket bør registrere, hvilke kontrakter der opfyldte undersøgelsens regler på det relevante tidspunkt. Udvælgelse af kun de markeder, der er aktive i dag, eller kun markeder med mindeværdige udfald kan medføre overlevelses- og udvælgelseseffekter. Stikprøven kan udelade netop de tilfælde, som var vanskelige at handle eller fortolke.
Definer egnethed ud fra observerbare kriterier såsom kontraktfamilie, reglernes klarhed, tidshorisont og påkrævet datadækning. Anvend reglen konsekvent, og bevar udelukkede kandidater med begrundelser. Fjern ikke en kontrakt, fordi dens endelige resultat får den foreslåede strategi til at se dårligere ud.
Vejledningen om en Kalshi-strategi viser, hvorfor en gentagelig rutine kræver et defineret kontraktunivers. Samme princip gælder for konstruktion af datasæt. Forskeren bør kunne forklare, hvilke muligheder processen ville have overvejet på forhånd, herunder dem, der senere forsvandt fra en bekvem opdagelsesliste.
Skeln mellem fire slags manglende data
Manglende kildedokumentation, et indsamlingshul, et uafklaret udfald og en bevidst udelukket kontrakt er forskellige forhold. De bør ikke dele ét tomt felt uden forklaring. Hvert forhold påvirker fortolkning og evaluering forskelligt.
Et indsamlingshul betyder, at processen mangler observationer for et tidsinterval. Et uafklaret udfald betyder, at målvariablens label endnu ikke er tilgængelig. En udelukket kontrakt kan være uden for undersøgelsens omfang trods fuldstændige data. En manglende kilde kan betyde, at den nødvendige dokumentation var utilgængelig, selv om markedspriser blev registreret.
Brug tydelige årsagskoder og menneskeligt læsbare beskrivelser. En forsker kan derefter evaluere, om manglende data samler sig omkring volatile perioder, usædvanlige kontrakter eller driftssvigt. Dette mønster kan være vigtigere end den samlede procentdel af fuldstændige rækker, fordi manglende observationer systematisk kan adskille sig fra de bevarede.
Kvantificer virkningen af manglende udfald
Betragt en opdigtet stikprøve på 120 prognoser, der opfylder kriterierne. Halvfems har observerede binære udfald, herunder fireoghalvtreds Ja-resultater, mens tredive udfald fortsat mangler. Den observerede Ja-frekvens blandt de halvfems er 60 %. Den beskriver ikke automatisk hele den stikprøve, der opfylder kriterierne.
Hvis alle tredive manglende udfald var Nej, ville Ja-frekvensen i hele stikprøven være 54 divideret med 120, altså 45 %. Hvis alle tredive var Ja, ville den være 84 divideret med 120, altså 70 %. Det er logiske grænser under den simple binære antagelse, ikke statistiske konfidensintervaller.
Eksemplet viser, hvorfor rapportering udelukkende af fuldstændige tilfælde kan skjule usikkerhed. Forskeren bør undersøge, hvorfor labels mangler, og om den observerede delmængde adskiller sig fra de udeladte tilfælde. En præcis procentdel beregnet ud fra tilgængelige rækker kan være aritmetisk korrekt, samtidig med at den understøtter en meget snævrere påstand, end rapporten antyder.
Henvis og tjen USDC
Henvis og tjen USDCVores affiliateprogram udbetaler i realtid.
Bevar ærlige labels for uafklarede og usædvanlige udfald
Tving ikke hver kontrakt ind i Ja eller Nej, før dens faktiske afgørelse understøtter denne label. Et marked kan forblive uafklaret, være genstand for en tvist eller have en særbestemmelse. Datasættet bør bevare den officielle tilstand og relevante udbetalingsoplysninger frem for at opfinde et binært svar af bekvemmelighed.
Polymarkets dokumentation om afgørelse beskriver regeldefinerede kilder og grænsetilfælde. En undersøgelse med fokus på simple binære udfald kan definere en politik for, om usædvanlige tilfælde opfylder kriterierne, men denne politik bør fastlægges og oplyses frem for at blive anvendt selektivt efter, at resultaterne er set.
Tilgængeligheden af labels har også betydning. En model trænet på et historisk tidspunkt kan ikke bruge et endeligt udfald, som endnu ikke var kendt. Bevar tidspunktet, hvor denne label blev tilgængelig for researchprocessen, og skeln mellem det og det tidspunkt, hvor den underliggende begivenhed tilsyneladende var afsluttet.
Behandl skemaændringer som begivenheder i datasættet
En skemaændring kan ændre feltnavne, præcision, meddelelsers indpakning eller fortolkning. Registrer den kildeversion og parserversion, der blev brugt for hver batch. Et normaliseret datasæt bør identificere, hvornår en transformation ændrede sig, og om gamle registreringer blev behandlet igen.
Aktuel dokumentation bør konsulteres, før man antager, at ældre klienteksempler stadig beskriver den aktive grænseflade. Vellykket parsing af et svar beviser ikke semantisk kompatibilitet. Et nyt felt kan være til stede, mens en gammel antagelse om enheder eller retning fortsat er indlejret i analysen.
Den ældre vejledning om en scraper til Polymarkets ordrebog forklarer pålidelig indsamling. Udvid denne disciplin til migreringer: Test kendte registreringer, bevar rå input, og sammenlign afledte output, før en transformation erstattes. Hvis ændringen påvirker historiske værdier, skal der udgives en datasætversion og forklares, hvilke analyser der er berørt.
Bevar decimalværdier uden for tidlig afrunding
Priser, mængder og beregnede værdier bør bevare tilstrækkelig præcision til den tilsigtede research. En afrundet pris, der egner sig til skærmvisning, kan være acceptabel i en graf, men uegnet til rekonstruktion af en snæver omkostningsmargin. Bevar rå decimalrepræsentationer, og brug eksakt aritmetik, hvor beregningen kræver det.
Registrer afrundingspolitikken separat fra den lagrede værdi. Hvis en analyse afrunder priser til grovere trin som led i en bevidst undersøgelse, er det en transformation, der skal dokumenteres. Den bør ikke forveksles med kildens faktisk gyldige handelstrin på tidspunktet.
Det samme gælder mængder og gebyrer. En model, der antager, at hver observation repræsenterer hele andele, kan forvanske registreringer med brøkmængder. Et datasæt bør gøre enheder og præcision tydelige, så senere beregninger ikke arver en bekvem, men udokumenteret forenkling.
Gem ordrebøger ud fra spørgsmålet om udførelse
Et datasæt, der skal estimere udførelsesomkostninger, kræver tilstrækkelige ordrebogsoplysninger for den foreslåede mængde. En serie af seneste handler eller en graf over midtpunkter kan ikke rekonstruere historisk dybde, som aldrig blev indsamlet. Undersøgelsen bør identificere denne begrænsning, før den simulerer udførelser.
Hvis kun data fra toppen af ordrebogen er tilgængelige, kan analysen fremsætte en begrænset påstand om det observerede niveau og den observerede mængde. Den bør ikke give en stor hypotetisk ordre ubegrænset adgang til samme pris. Tilsvarende fastslår et snapshot taget hvert minut ikke, hvad der var tilgængeligt mellem snapshots.
Vejledningen om data fra Kalshi giver et andet handelssteds perspektiv på planlægning af datasæt. Research på tværs af handelssteder bør bevare hver kildes begrænsninger i stikprøvetagning og dækning. Identiske kolonnenavne gør ikke en tæt strøm og et sparsomt snapshotarkiv lige informative om kortvarige udførelsesmuligheder.
Fjern dubletter uden at slette reelle begivenheder
Gentagne transportmeddelelser bør ikke skabe gentagne økonomiske observationer. Brug stabile identifikatorer og kildens dokumenterede semantik til at identificere dubletter eller revisioner. Sammenligning alene på pris, mængde og tidspunkt kan fejlagtigt slå separate handler sammen, som tilfældigvis deler disse værdier.
Bevar en registrering af beslutninger om fjernelse af dubletter. Det rensede datasæt bør forklare, hvor mange rå registreringer der blev til én normaliseret begivenhed, og hvorfor. En senere skemaændring kan kræve, at denne logik genovervejes, hvilket er langt lettere, når den rå dokumentation fortsat er tilgængelig.
For ordrebogsdata kan en gentagen tilstandsobservation stadig have et nyt modtagelsestidspunkt, selv når niveauerne er uændrede. Beslut, om undersøgelsen kræver begge observationer, og dokumenter valget. Fjernelse af dubletter er en modelleringsbeslutning om identitet og stikprøvetagning, ikke blot en øvelse i at reducere filstørrelsen.
Konstruer inputvariable udelukkende med tidligere oplysninger
En inputvariabel bør beregnes ud fra registreringer, der var tilgængelige før den beslutning, den skal understøtte. Et glidende gennemsnit, som medtager det aktuelle udfald, en revideret kildeværdi eller et senere pristilbud, kan lække fremtidige oplysninger, selv hvis det endelige datasæt er sorteret kronologisk.
Definer tidsgrænsen for hver inputvariabel, og test den med bevidst vanskelige eksempler. En registrering, der ankommer efter beslutningen, bør ikke indgå i variablen, blot fordi dens begivenhedstidsstempel er tidligere. En senere rettelse bør først optræde, når den blev tilgængelig under undersøgelsens valgte informationsmodel.
Den ældre vejledning om analyseværktøjer til prognosemarkeder forklarer fortolkning af målinger. Konstruktion af datasæt tilføjer kravet om, at hver måling skal være rettidig. En gyldig formel anvendt på et ugyldigt informationsgrundlag kan producere et imponerende resultat, som ingen virkelig proces kunne have opnået.
Opdel evalueringen efter begivenhed og tid
Beslægtede kontrakter fra én underliggende begivenhed bør holdes samlet, når udviklings- og evalueringsstikprøver adskilles. Ellers kan oplysninger om samme begivenhed optræde på begge sider af opdelingen. Det tilsyneladende antal uafhængige test kan da være langt mindre, end rækkeantallet antyder.
Brug kronologisk adskillelse, når den tilsigtede anvendelse er prognoser for fremtidige begivenheder. Bevar en senere periode, som ikke blev brugt til at vælge inputvariable, tærskler eller udelukkelser. Hvis designet ændres efter gennemgang af denne periode, bliver den udviklingsdokumentation for den nye version frem for en ny uafhængig test.
Rapporter stikprøvens sammensætning såvel som dens størrelse. Begivenhedsfamilier, tidshorisonter, likviditet og manglende data kan variere mellem perioder. En resultatændring kan afspejle denne sammensætning frem for en universel ændring i modelkvalitet. Datasættet bør muliggøre disse sammenligninger uden at kræve, at forskeren rekonstruerer kriterierne fra hukommelsen.
Hold offentlige researchdata adskilt fra private konti
Offentlige markedsregistreringer kan understøtte analyse af priser og aktivitet, men de fastslår ikke automatisk en enkelt brugers fuldstændige positioner eller resultater. Research i kontoresultater kræver autoriserede private ordrer, udførelser, gebyrer og andre relevante registreringer med deres egen kildehistorik og adgangskontrol.
Udled ikke en persons identitet eller private motiv fra en offentlig walletadresse. Datasættet kan beskrive observerbar aktivitet og usikkerhed uden at tilknytte udokumenterede personlige påstande. En registrerings offentlige synlighed gør ikke enhver fortolkning om deltageren gyldig.
Hvis offentlige og private data sammenkobles til en autoriseret undersøgelse, skal grundlaget for sammenkoblingen bevares, og følsomme kontooplysninger beskyttes. Researchresultatet bør kun indeholde det, der er nødvendigt for dets påstand. En modelevaluering kræver sjældent genanvendelige legitimationsoplysninger eller unødvendige personlige detaljer i sine analysefiler.
Udgiv et datasætkort til gennemgang
Et datasætkort er en kort forklaring af spørgsmålet, observationsenheden, kilderne, tidsdækningen, kriterierne for medtagelse, transformationerne og de kendte begrænsninger. Det bør identificere versioner og forklare, hvordan manglende eller usædvanlige tilfælde repræsenteres. Det gør arkivet brugbart for en person, der ikke selv byggede det.
Medtag de påstande, datasættet ikke kan understøtte. Et snapshotarkiv kan understøtte overordnet analyse af spænd mellem købs- og salgsbud, samtidig med at det mangler de detaljer, der kræves til præcis simulering af køposition. Et fuldstændigt sæt udfald kan mangle samtidige prognoser og derfor være uegnet til evaluering af et historisk signal uden yderligere dokumentation.
Kortet bør ændres, når datasættet ændres. Nye kilder, genbehandlede skemaer eller rettede labels kan påvirke tidligere resultater. Versionsstyring af forklaringen sammen med dataene giver forskeren en pålidelig reference til fortolkning af forskelle mellem analyser frem for at behandle hver gendannet rapport som direkte sammenlignelig.
Gør betydningen af data fra Polymarket reproducerbar
Et datasæt til research bør bevare vejen fra rå observation til normaliseret registrering, relevant stikprøve, rettidig inputvariabel og verificeret label. Kildehistorik, skemaversioner og manglende data er en del af denne vej, ikke valgfrie administrative detaljer, der tilføjes efter modellering.
Begynd med et præcist spørgsmål, og bevar de oplysninger, der kræves for at teste det ærligt. Hold samtidig tilgængelighed adskilt fra senere viden, bevar kontraktdefinitioner, og undgå at påstå historiske udførelsesdetaljer, som aldrig blev observeret. Evaluer beslægtede registreringer på det passende begivenhedsniveau.
Det stærkeste datasæt er et, hvis begrænsninger kan udtrykkes tydeligt, og hvis transformationer kan reproduceres. Det lader en læser forstå, hvorfor et resultat opstod, og om dokumentationen understøtter den foreslåede konklusion. Dette grundlag er mere holdbart end et imponerende rækkeantal bygget af registreringer, hvis betydning eller tidsforløb er gået tabt.