Data Polymarket se stávají výzkumným datovým souborem až poté, co někdo rozhodne o významu každého záznamu, příslušnosti pozorování ke vzorku a době dostupnosti informací. Tyto volby mohou ovlivnit výsledek stejně jako později použitý model. Velký archiv může stále podporovat zavádějící závěr, pokud potichu vylučuje obtížné trhy nebo dodává pozdější informace příliš brzy.
Užitečný soubor zachovává původ údajů, verze schémat a chybějící pozorování vedle cen a výsledků. Měl by jinému výzkumníkovi umožnit rekonstruovat vznik řádku a určit tvrzení, která dostupné podklady mohou podporovat. Cílem je reprodukovatelnost významu, nikoli pouhá schopnost znovu otevřít soubor.
Tento průvodce se týká dat mezinárodní platformy Polymarket. Polymarket US má samostatná rozhraní a kontext obchodního místa. Níže uvedené počty vzorků, data, časy a výpočty jsou vymyšlené pro vzdělávání. Ilustrují návrh datového souboru místo popisu skutečného tržního archivu nebo prokazování výkonnosti obchodní strategie.
Definujte otázku před sběrem dat Polymarket
Datový soubor by měl být navržen kolem výzkumné otázky. Zkoumání kalibrace předpovědí vyžaduje datované odhady pravděpodobností a výsledky. Zkoumání nákladů provedení vyžaduje knihy pro zamýšlená množství a rozhodovací časy. Zkoumání výkonnosti účtu vyžaduje autorizované soukromé záznamy, které veřejná tržní data nemusejí poskytovat.
Napište zamýšlené tvrzení jednou větou. Projekt se například může ptát, zda určitá aktualizace zdroje zlepšuje předpovědi vytvořené jeden den před lhůtou kontraktu. Tato otázka určuje nezbytné načasování, definice kontraktů a hodnoticí jednotky. Sběr každého dostupného pole bez otázky může vytvářet objem bez použitelných podkladů.
Starší průvodce algoritmickým obchodováním predikčních trhů zdůrazňuje reprodukovatelnost. Návrh datového souboru je součástí tohoto požadavku. Pozdější algoritmus nemůže opravit archiv postrádající časy pozorování nebo přiřazení kontraktů potřebná k férovému testování jeho informačního tvrzení.
Zvolte jednotku pozorování
Rozhodněte, co představuje jeden řádek: momentku trhu, obchod, předpověď pro kontrakt a den, epizodu podkladů nebo plnění účtu. Tyto jednotky by se neměly míchat v jedné tabulce bez jasného vztahu. Počet řádků je smysluplný až po definování jednotky.
Předpokládejte, že výzkum používá jednu předpověď na kontrakt v pevném horizontu. Deset vnitrodenních momentek kotací tohoto kontraktu nevytváří deset nezávislých výsledků předpovědi. Mohou poskytovat užitečný kontext provedení, ale podkladový výsledek události zůstává sdílený.
Zachovávejte vztahy událostí, trhů a tokenů výsledků. Několik kontraktů může odkazovat na prahy jednoho pozorování a několik záznamů může popisovat jeden kontrakt v čase. Datový soubor považující každý řádek za nezávislý může přehánět množství podkladů dostupných pro hodnocení modelu nebo odhad nejistoty.
Sestavte záznam původu datového souboru
Záznam původu datového souboru určuje zdroj, metodu načtení, čas načtení, surový identifikátor a verzi transformace každého odvozeného záznamu nebo soudržné dávky. Mělo by být možné vysledovat vstup modelu zpět k podkladům, ze kterých byl sestaven.
Přehled API Polymarket odděluje rozhraní vyhledávání, CLOB a dat. Soubor by měl zachovávat, které rozhraní dodalo záznam, místo zacházení se všemi poli jako s údaji z jednoho jednotného zdroje. Podobné názvy napříč rozhraními mohou mít různé rozsahy nebo chování aktualizací.
Původ zahrnuje také volby výzkumníka. Zaznamenávejte pravidla filtrování, metody normalizace a ruční opravy. Oprava by měla vysvětlovat původní problém a podle vhodnosti zachovat původní hodnotu. Tiché čištění může usnadňovat používání souboru a současně odstraňovat podklady potřebné k porozumění důvodu změny výsledku.
Uchovávejte surové záznamy vedle normalizovaných dat
Surové záznamy zachovávají původní reprezentaci zdroje. Normalizovaná data usnadňují analýzu konzistentním vyjadřováním společných pojmů. Zachování obou umožňuje výzkumníkovi prošetřit, zda neočekávaný výsledek vznikl z trhu nebo z transformace.
Surový archiv by měl být uspořádán dostatečně pro nalezení příslušného záznamu, aniž se stává jediným použitelným souborem. Normalizovaná vrstva by měla nést stabilní odkazy zpět k němu vedle verzí schémat a transformací. Vzniká tak praktické oddělení uchovávání podkladů od analytického pohodlí.
Nepředpokládejte neutralitu normalizace. Převod chybějící hodnoty na nulu, zaokrouhlení ceny nebo odvození strany výsledku mohou měnit význam. Každá transformace potřebuje definované pravidlo a důvod vhodný pro výzkumnou otázku. Tam, kde zdroj nepodporuje spolehlivý výklad, by normalizovaný záznam měl zachovat výslovnou nevyřešenou hodnotu.
Verzujte význam kontraktu v čase
Výzkumný soubor potřebuje více než název trhu. Uchovávejte úplnou otázku kontraktu, příslušná pravidla, odkazy na zdroje, lhůty a přiřazení výsledků s časy pozorování. Při změně metadat zachovejte vztah mezi verzemi místo přepisování historie.
Pozdější upřesnění pravidel může být důležité pro výklad konečného výsledku, ale historický záznam rozhodnutí by měl stále ukazovat znalosti procesu v danou dobu. Jde o dva užitečné pohledy: tehdejší sadu informací a konečný rozhodující výklad. Neměly by být sloučeny bez vysvětlení.
Průvodce analýzou trhu Kalshi zdůrazňuje přesná pravidla určení výsledku v kontextu jiného obchodního místa. Výzkumný projekt napříč obchodními místy by měl zachovávat význam každého kontraktu samostatně. Shoda titulků nebo převod cen na procenta neprokazuje rovnocenné výplaty instrumentů.
Zachovávejte dostupnost v daném okamžiku
Dostupnost v daném okamžiku popisuje, kdy konkrétní proces mohl záznam použít. Čas události zdroje, čas zveřejnění, místní přijetí a pozdější uložení se mohou lišit. Historická simulace by neměla používat záznam před příslušným časem dostupnosti jen proto, že časová značka zdroje je dřívější.
Ve vymyšleném případě nese kotace čas zdroje 11:59:58, ale ke sběrači dorazí v 12:00:03. Rozhodnutí učiněné tímto sběračem v 12:00:00 nemohlo kotaci použít, pokud samostatné podklady neprokazují dřívější přijetí jinou cestou. Řazení pouze podle času zdroje může vytvářet využití budoucích informací.
Uchovávejte časy zdroje i přijetí, jsou-li dostupné, a vysvětlujte chybějící pole. Nenahrazujte neznámý čas zdroje časem přijetí pod stejným označením. Soubor může stále podporovat užitečný výzkum s užším tvrzením načasování za předpokladu viditelnosti omezení a jeho respektování hodnocením.
Definujte způsobilý soubor před výsledky
Výzkumný soubor Polymarket by měl zaznamenávat, které kontrakty byly podle pravidel studie způsobilé v příslušnou dobu. Výběr pouze dnes aktivních trhů nebo pouze trhů se zapamatovatelnými výsledky může přinášet zkreslení přeživších a výběrové efekty. Vzorek může vynechávat právě případy obtížné k obchodování nebo výkladu.
Definujte způsobilost pozorovatelnými kritérii, například rodinou kontraktů, jasností pravidel, horizontem a potřebným pokrytím dat. Používejte pravidlo konzistentně a uchovávejte vyloučené kandidáty s důvody. Neodstraňujte kontrakt proto, že jeho konečný výsledek zhoršuje zdání navržené strategie.
Průvodce strategií Kalshi ukazuje, proč opakovatelná rutina potřebuje definovaný soubor kontraktů. Stejná zásada platí pro sestavování datového souboru. Výzkumník by měl dokázat vysvětlit příležitosti, které by proces dopředně zvažoval, včetně těch, které později zmizely z pohodlného vyhledávacího seznamu.
Rozlišujte čtyři druhy chybějících údajů
Chybějící podklady zdroje, výpadek sběru, nevyřešený výsledek a záměrně vyloučený kontrakt jsou různé podmínky. Neměly by sdílet jediné prázdné pole bez vysvětlení. Každá jinak ovlivňuje výklad a hodnocení.
Výpadek sběru znamená, že proces postrádá pozorování určitého intervalu. Nevyřešený výsledek znamená, že cílové označení zatím není dostupné. Vyloučený kontrakt může ležet mimo rozsah studie navzdory úplným datům. Chybějící zdroj může znamenat nedostupnost požadovaných podkladů, i když byly zaznamenány tržní ceny.
Používejte jasné kódy důvodů a lidsky čitelné popisy. Výzkumník pak může hodnotit, zda se chybějící údaje shlukují kolem volatilních období, neobvyklých kontraktů nebo provozních selhání. Tento vzorec může být důležitější než celkové procento úplných řádků, protože chybějící pozorování se mohou systematicky lišit od zachovaných.
Vyčíslete dopad chybějících výsledků
Uvažujte smyšlený vzorek 120 způsobilých předpovědí. U devadesáti jsou pozorovány binární výsledky včetně padesáti čtyř výsledků Ano, zatímco třicet výsledků zůstává neznámých. Pozorovaná četnost Ano mezi devadesáti činí 60 %. Nepopisuje automaticky celý způsobilý vzorek.
Pokud by všech třicet chybějících výsledků bylo Ne, četnost Ano v celém vzorku by činila 54 děleno 120, tedy 45 %. Pokud by všech třicet bylo Ano, činila by 84 děleno 120, tedy 70 %. Jde o logické meze za jednoduchého binárního předpokladu, nikoli o statistické intervaly spolehlivosti.
Příklad ukazuje, proč může vykazování pouze úplných případů skrývat nejistotu. Výzkumník by měl zkoumat, proč označení chybějí a zda se pozorovaná podmnožina liší od vynechaných případů. Přesné procento vypočtené z dostupných řádků může být aritmeticky správné, a přitom podporovat mnohem užší tvrzení, než zpráva naznačuje.
Doporučujte a vydělávejte USDC
Doporučujte a vydělávejte USDCNáš partnerský program vyplácí v reálném čase.
Zacházejte poctivě s nevyřešenými a výjimečnými označeními
Nenuťte každý kontrakt do kategorie Ano nebo Ne, dokud jeho skutečné rozhodnutí takové označení nepodporuje. Trh může zůstat nevyřešený, může u něj probíhat spor nebo se na něj může vztahovat výjimečné ustanovení. Datový soubor by měl uchovávat oficiální stav a příslušné informace o výplatě, místo aby si pro pohodlí vymýšlel binární odpověď.
Dokumentace rozhodování výsledků Polymarket popisuje zdroje vymezené pravidly a okrajové případy. Studie zaměřená na jednoduché binární výsledky může definovat pravidla způsobilosti pro výjimečné případy, měla by je však stanovit a zveřejnit, místo aby je používala výběrově po zjištění výsledků.
Důležitá je také dostupnost označení. Model trénovaný v určitém historickém okamžiku nemůže používat konečný výsledek, který tehdy ještě nebyl znám. Uchovávejte čas, kdy bylo označení dostupné výzkumnému procesu, a odlišujte jej od zdánlivého času dokončení samotné události.
Považujte změny schématu za události datového souboru
Změna schématu může změnit názvy polí, přesnost, obálky zpráv nebo výklad. Zaznamenávejte verzi zdroje a verzi parseru použitou pro každou dávku. Normalizovaný datový soubor by měl určovat, kdy se transformace změnila a zda byly staré záznamy znovu zpracovány.
Než předpokládáte, že starší příklady klientů stále popisují aktivní rozhraní, měli byste nahlédnout do aktuální dokumentace. Úspěšné zpracování odpovědi parserem nedokazuje významovou kompatibilitu. Nové pole může být přítomné, zatímco v analýze zůstává zakotven starý předpoklad o jednotkách nebo směru.
Starší průvodce sběrem knihy objednávek Polymarket vysvětluje spolehlivý sběr. Rozšiřte tuto důslednost na migrace: testujte známé záznamy, uchovávejte surové vstupy a porovnávejte odvozené výstupy, než transformaci nahradíte. Pokud změna mění historické hodnoty, zveřejněte verzi datového souboru a vysvětlete, kterých analýz se týká.
Uchovávejte desetinné hodnoty bez předčasného zaokrouhlování
Ceny, množství a vypočtené hodnoty by si měly zachovávat dostatečnou přesnost pro zamýšlený výzkum. Zaokrouhlená cena vhodná pro obrazovku může být přijatelná pro graf, ale nevhodná pro rekonstrukci úzké nákladové marže. Uchovávejte surové desetinné reprezentace a používejte přesnou aritmetiku tam, kde ji výpočet vyžaduje.
Pravidla zaokrouhlování zaznamenávejte odděleně od uložené hodnoty. Pokud analýza pro záměrnou studii zaokrouhluje ceny na hrubší rastr, jde o transformaci, kterou je třeba zdokumentovat. Neměla by být zaměňována za skutečné platné obchodní přírůstky zdroje v danou dobu.
Totéž platí pro množství a poplatky. Model předpokládající, že každé pozorování představuje celé podíly, může zkreslit záznamy obsahující zlomková množství. Datový soubor by měl výslovně uvádět jednotky a přesnost, aby pozdější výpočty nepřebíraly pohodlné, ale nepodložené zjednodušení.
Ukládejte knihy podle otázky provedení obchodu
Datový soubor určený k odhadu nákladů provedení potřebuje dostatek informací z knihy objednávek pro navržené množství. Řada posledních obchodů ani graf středu rozpětí nemohou rekonstruovat historickou hloubku, která nikdy nebyla shromážděna. Studie by měla toto omezení určit před simulováním plnění.
Pokud jsou dostupná pouze data nejlepších nabídek v knize, může analýza vyslovit omezené tvrzení o této pozorované úrovni a množství. Neměla by velké hypotetické objednávce přiznat neomezený přístup ke stejné ceně. Stejně tak snímek pořizovaný každou minutu nedokládá, co bylo dostupné mezi snímky.
Průvodce daty Kalshi nabízí pohled jiného obchodního místa na plánování datových souborů. Výzkum napříč obchodními místy by měl uchovávat omezení vzorkování a pokrytí každého zdroje. Shodné názvy sloupců nečiní hustý proud a archiv řídkých snímků stejně informativními o krátkodobých příležitostech k provedení obchodu.
Odstraňujte duplicitní záznamy, aniž mažete oprávněné události
Opakované přenosové zprávy by neměly vytvářet opakovaná ekonomická pozorování. K určování duplicit nebo revizí používejte stabilní identifikátory a zdokumentovaný význam údajů zdroje. Porovnávání pouze podle ceny, množství a času může nesprávně sloučit samostatné obchody, které náhodou sdílejí tyto hodnoty.
Uchovávejte záznam rozhodnutí o odstraňování duplicit. Vyčištěný datový soubor by měl vysvětlovat, kolik surových záznamů se stalo jednou normalizovanou událostí a proč. Pozdější změna schématu může vyžadovat přehodnocení této logiky, což je mnohem snazší, když surové podklady zůstávají dostupné.
U dat knihy může opakované pozorování stavu stále nést nový čas přijetí, i když se úrovně nezměnily. Rozhodněte, zda výzkum potřebuje obě pozorování, a volbu zdokumentujte. Odstraňování duplicit je rozhodnutí při modelování identity a vzorkování, nikoli pouhé cvičení ve zmenšování souborů.
Vytvářejte příznaky pouze z předchozích informací
Příznak by měl být vypočten ze záznamů dostupných před rozhodnutím, které má podporovat. Klouzavý průměr zahrnující aktuální výsledek, revidovanou hodnotu zdroje nebo pozdější kotaci může propouštět budoucí informace, i když je konečný datový soubor seřazen chronologicky.
Definujte časovou hranici každého příznaku a testujte ji na záměrně obtížných příkladech. Záznam přicházející po rozhodnutí by neměl vstupovat do příznaku jen proto, že jeho časové razítko události je dřívější. Pozdější oprava by se měla objevit až v okamžiku, kdy se stala dostupnou podle informačního modelu zvoleného studií.
Starší průvodce analytikou predikčních trhů vysvětluje výklad měření. Sestavování datového souboru přidává požadavek, aby každé měření bylo včasné. Platný vzorec použitý na neplatný soubor informací může vytvořit působivý výsledek, jehož by žádný skutečný proces nemohl dosáhnout.
Rozdělujte hodnocení podle události a času
Související kontrakty z jedné podkladové události by při oddělování vývojových a hodnoticích vzorků měly zůstat pohromadě. Jinak se informace o stejné události mohou objevit na obou stranách rozdělení. Zdánlivý počet nezávislých testů pak může být mnohem menší, než naznačuje počet řádků.
Pokud je zamýšleným použitím předpovídání budoucích událostí, používejte chronologické oddělení. Zachovejte pozdější období, které nebylo použito k výběru příznaků, prahů ani vyloučení. Pokud se návrh po přezkoumání tohoto období změní, stává se toto období vývojovým podkladem pro novou verzi, nikoli novým nezávislým testem.
Uvádějte složení vzorku i jeho velikost. Rodiny událostí, horizonty, likvidita a chybějící údaje se mohou mezi obdobími lišit. Změna výkonnosti může odrážet tuto skladbu, nikoli obecnou změnu kvality modelu. Datový soubor by měl umožňovat tato porovnání, aniž výzkumník musí způsobilost rekonstruovat zpaměti.
Oddělujte veřejná výzkumná data od soukromých účtů
Veřejné tržní záznamy mohou podporovat analýzu cen a aktivity, ale automaticky nedokládají úplné pozice ani výsledky jednotlivého uživatele. Výzkum výkonnosti účtu vyžaduje oprávněně získané soukromé objednávky, plnění, poplatky a další relevantní záznamy s vlastním původem a řízením přístupu.
Nevyvozujte totožnost člověka ani jeho soukromý motiv z veřejné adresy peněženky. Datový soubor může popisovat pozorovatelnou aktivitu a nejistotu, aniž připojuje nepodložená osobní tvrzení. Veřejná viditelnost záznamu nečiní každý výklad o účastníkovi platným.
Pokud jsou veřejná a soukromá data spojena pro oprávněnou studii, uchovávejte základ tohoto propojení a chraňte citlivé informace účtu. Výzkumný výstup by měl obsahovat pouze to, co je potřebné pro jeho tvrzení. Hodnocení modelu zřídka potřebuje v analytických souborech opakovaně použitelné přihlašovací údaje nebo nepotřebné osobní podrobnosti.
Zveřejněte kartu datového souboru pro přezkoumání
Karta datového souboru stručně vysvětluje otázku, jednotku pozorování, zdroje, časové pokrytí, pravidla způsobilosti, transformace a známá omezení. Měla by určovat verze a vysvětlovat, jak jsou zastoupeny chybějící nebo výjimečné případy. Díky tomu může archiv používat někdo, kdo jej nevytvořil.
Uveďte tvrzení, která datový soubor nemůže podporovat. Archiv snímků může podporovat obecnou analýzu rozpětí, a přitom postrádat podrobnosti potřebné pro přesnou simulaci pozice ve frontě. Úplný soubor výsledků může postrádat dobové předpovědi, a proto být bez dalších podkladů nevhodný pro hodnocení historického signálu.
Karta by se měla měnit, když se mění datový soubor. Nové zdroje, znovu zpracovaná schémata nebo opravená označení mohou ovlivnit předchozí výsledky. Verzování tohoto vysvětlení společně s daty poskytuje výzkumníkovi spolehlivý referenční podklad pro výklad rozdílů mezi analýzami, místo aby každou znovu vygenerovanou zprávu považoval za přímo srovnatelnou.
Zajistěte reprodukovatelnost významu dat Polymarket
Výzkumný datový soubor by měl uchovávat cestu od surového pozorování k normalizovanému záznamu, způsobilému vzorku, včasnému příznaku a ověřenému označení. Původ, verze schématu a chybějící údaje jsou součástí této cesty, nikoli volitelnými administrativními podrobnostmi přidanými po modelování.
Začněte přesnou otázkou a uchovávejte informace potřebné k jejímu poctivému testování. Oddělujte dobovou dostupnost od pozdějších znalostí, uchovávejte definice kontraktů a netvrďte podrobnosti historického provedení, které nikdy nebyly pozorovány. Související záznamy hodnoťte na odpovídající úrovni události.
Nejsilnější datový soubor je takový, jehož omezení lze jasně vyjádřit a jehož transformace lze reprodukovat. Umožňuje čtenáři porozumět, proč se výsledek objevil a zda podklady podporují navržený závěr. Tento základ je trvalejší než působivý počet řádků sestavený ze záznamů, jejichž význam nebo časové zařazení se ztratily.