Data Kalshi: sestavte poctivý historický datový soubor

Definujte výzkumnou otázku před stahováním

Předpokládejme, že analytik chce zkoumat, zda předpověď zveřejněná před oznámením ukazatele zlepšila rozhodnutí v souvisejících trzích. Tato otázka vyžaduje tehdy dostupnou předpověď, příslušnou definici kontraktu, dobovou proveditelnou kotaci a konečné označení určené podle pravidel kontraktu. Soubor závěrečných cen a konečných hodnot ukazatele nestačí.

Napište zamýšlené rozhodnutí do věty: v definovaný čas pozorování porovnejte pořizovací náklady způsobilého kontraktu s datovaným odhadem a poté zaznamenejte, zda by navržená pozice splnila uvedené pravidlo. Tento popis vyjasňuje, která pole jsou zásadní a která pouze pohodlná. Také zviditelňuje chybějící podklady, než projekt vytvoří atraktivní grafy výkonnosti.

Určete výzkumnou populaci předem. Populace může zahrnovat každý kontrakt ve vybraných opakujících se událostech během pevného období včetně kontraktů bez obchodu, s chybějícími daty nebo vyloučenými pravidly. Ponechání těchto případů podporuje smysluplný jmenovatel pokrytí. Datový soubor obsahující pouze trhy, kde pomyslná strategie obchodovala, nemůže odhalit, jak často strategie postrádala použitelné informace.

Starší průvodce analýzou predikčních trhů odděluje výklad kontraktu, předpovídání a provedení. Použijte toto oddělení v archivu. Každá výzkumná otázka by měla určovat, kterou vrstvu hodnotí; jinak může být zlepšení klasifikace konečných výsledků nesprávně vydáváno za podklad výkonnosti skutečně proveditelného obchodování.

Historické pokrytí dat Kalshi potřebuje výslovnou hranici

Dokumentace historických dat Kalshi popisuje samostatné živé a historické datové vrstvy s hranicemi závisejícími na typu záznamu. Úplný proces sběru by měl zkoumat příslušné hranice a dotazovat se vhodných zdrojů. Nenalezení starého záznamu v živém koncovém bodu nedokazuje, že trh nikdy neexistoval nebo neměl aktivitu.

Ukládejte čas sběru, parametry dotazu, postup stránkování a pozorovaný kontext hranice. Tyto podrobnosti vysvětlují, proč archiv obsahuje určité záznamy. Pokud se hranice posouvá během dlouhého sběru, překrývající se požadavky a odstraňování duplicit podle identity mohou pomoci doložit pokrytí bez dvojího započítání. Přesná implementace by měla následovat aktuálně zdokumentované koncové body a jejich podporované chování dotazů.

Uvažujte smyšlený projekt požadující 100 denních událostí. Sběrač získá úplné záznamy pro 92, částečné záznamy pro pět a žádné pro tři. Vykazujte tyto skupiny odděleně. Označení datového souboru za zpětný test 100 událostí zastírá skutečnost, že některá pozorování nemohou podporovat plánované rozhodnutí. Označení za studii 92 událostí bez uchování vyloučených případů ztěžuje kontrolu procesu výběru.

Pokrytí je vícerozměrné. Událost může mít konečný výsledek, ale postrádat dobovou hloubku. Jiná může mít kotace, ale žádnou uloženou verzi pravidel. Třetí může mít úplnou veřejnou historii bez historie plnění účtu. Sledujte, která výzkumná tvrzení může každá událost podporovat, místo přiřazení jediného nerozlišeného příznaku úplnosti celému záznamu.

Uchovávejte několik časů bez vymýšlení přesnosti

Historické pozorování může mít čas události, čas zveřejnění zdrojem, čas přijetí sběračem a čas zpracování. Ekonomický údaj může popisovat srpnovou aktivitu, být zveřejněn v září a později opraven. Srpnové referenční období není časem, kdy se zářijový obchodník mohl údaj dozvědět. Jeho použití jako času dostupnosti okamžitě vytváří pohled do budoucnosti.

Ve smyšlené posloupnosti je předpověď zveřejněna v 08:29:50, přijata v 08:29:52 a zahrnuta do rozhodnutí v 08:29:54. Oficiální oznámení následuje v 08:30:00. Tato předpověď může věrohodně přinášet informace rozhodnutí v 08:29:54. Oprava přijatá v 08:31:10 nemůže, i když nese stejné datum předpovědi nebo se vztahuje ke stejnému období podkladového ukazatele.

Zvolte pravidlo dostupnosti odpovídající zamýšlenému systému. Pokud výzkum hodnotí skutečný pracovní postup sběrače, čas přijetí může být vhodnou hranicí. Pokud zkoumá teoretickou veřejnou dostupnost, čas zdroje může být relevantní, ale vyžaduje podklady o zveřejnění. Obě otázky jsou oprávněné a různé; ani jedna by si neměla bez zveřejnění vypůjčovat příznivé časování té druhé.

Vyhýbejte se falešné přesnosti. Datum zdroje bez času nedokládá dostupnost o půlnoci. Časové razítko zaokrouhlené na minutu nedokazuje, že záznam předcházel jinému pozorování během této minuty. Uchovávejte známé rozlišení a používejte konzervativní pravidlo způsobilosti, když by nejednoznačnost mohla změnit rozhodnutí.

Historie revizí dat Kalshi by měla přidávat záznamy

Když se pozorování změní, uložte novou verzi. Zaznamenejte, co se změnilo, kdy se náhrada stala dostupnou a který dřívější záznam nahrazuje. Tím se uchovává věrný obraz dřívějších rozhodnutí a zároveň se pozdější analýze umožňuje používat opravené informace pro otázky, které je vyžadují. Přepsání staré hodnoty toto rozlišení ničí.

Představte si hypotetický ukazatel původně vykázaný jako 51,8 a později revidovaný na 52,2. Kontrakt rozhodnutý podle počátečního zveřejnění může mít jiný výsledek než kontrakt rozhodnutý podle pozdější revize. I když je zkoumán pouze první kontrakt, model předpovědi může propouštět informace, pokud jeho historické vstupy tiše používají 52,2 pro rozhodnutí učiněné před revizí.

Existují proto dva problémy revizí: která verze určuje výplatu kontraktu a kterou verzi mohl výzkumník pozorovat při předpovídání. Řešte je odděleně. Konečné označení vypořádání může správně používat první zveřejnění, zatímco jiný vstupní příznak stále obsahuje pozdější znalosti. Správná označení automaticky nečiní každou vysvětlující proměnnou historicky platnou.

Udržujte posloupnost verzí čitelnou. Posuzovatel by měl dokázat získat záznam dostupný v čase rozhodnutí i konečný opravený záznam bez hádání, který soubor byl přejmenován. Související průvodce obchodními nástroji Polymarket je užitečný při hodnocení softwaru importujícího vnější podklady: propracované rozhraní by nemělo skrývat, zda uchovává toto historické rozlišení.

Vytvořte spojení podle tehdejších znalostí

Spojení podle tehdejších znalostí vybírá pouze záznamy dostupné do rozhodovací hranice. Také přiřazuje správný kontrakt, událost a definici zdroje. Spojení podle nejbližšího času může být chybné, pokud vybírá pozdější pozorování, protože je náhodou bližší. Časová podmínka by měla být výslovná před použitím jakéhokoli pravidla přiřazení podle vzdálenosti.

Předpokládejme, že rozhodnutí nastává v 08:29:55. Kotace přijatá v 08:29:54 je podle pravidel času přijetí způsobilá; jiná přijatá v 08:29:56 není. Pokud je dřívější kotace podle výzkumných pravidel příliš stará, správným výsledkem nemusí být žádná použitelná kotace. Vypůjčení pozdějšího pozorování vytváří úplný řádek za cenu nemožného historického předpokladu.

Stejnou zásadu používejte pro metadata. Současný popis kontraktu může obsahovat upřesnění, které v čase rozhodnutí chybělo. Uchovávejte dřívější verzi pro rekonstrukci toho, čemu analytik rozuměl, a ponechávejte upřesnění pro konečný výklad. Výzkumná zpráva by měla přiznávat, když pozdější podmínky vysvětlují nesoulad, místo předstírání, že tyto podmínky byly vždy přítomné.

Starší článek o algoritmickém obchodování na predikčních trzích rozvíjí reprodukovatelnost jako provozní důslednost. Spojení podle tehdejších znalostí je konkrétní použití: vstupní soubor historického rozhodnutí by měl být obnovitelný z datovaného pravidla, nikoli z libovolných záznamů, které jsou aktuální při opětovném spuštění zpětného testu.

Oddělujte označení výsledků od vstupních příznaků

Konečné informace o vypořádání patří do hodnoticí vrstvy. Neměly by vstupovat do rozhodovacích vstupů modelu jen proto, že je pohodlné uchovávat všechna pole události v jednom záznamu. Pole jako konečný stav, čas vypořádání nebo shrnutí po události mohou přímo či nepřímo odhalovat odpověď. I filtr vybírající pouze rychle vypořádané trhy může vytvářet zkreslenou historickou populaci.

Definujte označení podle skutečné výplaty kontraktu včetně zdokumentovaného výjimečného zacházení. Binárně vypadající otázka by neměla být nucena do označení jedna nebo nula, pokud její podmínky podporují jiný výsledek. Archiv by měl uchovávat autoritativní určení výsledku a odpovídající množství nebo částku, místo vyvozování obojího z titulku zprávy.

Udržujte označení nedostupná přehrání rozhodnutí, dokud přehrání nevytvoří svou předpověď a navrženou činnost. Toto oddělení usnadňuje odhalení neúmyslného úniku. Posuzovatel může zkontrolovat zmrazený vstupní záznam a ptát se, zda některé pole závisí na informacích, které nastaly po rozhodovací hranici.

Užitečný negativní test záměrně přidává do vývojové kopie pole dostupné pouze v budoucnu a kontroluje, zda jej zpracování odmítne nebo odhalí jeho zakázaný čas dostupnosti. Účelem není dokázat, že model dokáže předpovídat s dodanou odpovědí. Účelem je ověřit, že výzkumný proces dokáže tento neplatný experiment rozpoznat a blokovat.

Nedělejte ze svíček zaručená plnění

Agregované cenové sloupce shrnují aktivitu za interval. To ještě neznamená, že uchovávají posloupnost, množství nebo stav fronty potřebné k rekonstrukci konkrétní objednávky. Nejnižší cena intervalu mohla nastat po navrženém čase nákupu nebo pro množství příliš malé na podporu předpokládané pozice. Zpětný test nesmí považovat celý sloupec za současně dostupný.

Například smyšlená minuta obsahuje obchody za 0,42 USD a 0,58 USD. Model hodnocený na začátku této minuty nemůže prostě nakupovat za 0,42 USD, protože se tato cena později stala zaznamenaným minimem. Pokud první dostupná prodejní nabídka činila 0,55 USD, modelované náklady by měly odrážet toto pozorování nebo výslovně uvedenou konzervativní aproximaci. Atraktivní minimum je historická znalost.

Simulace limitních objednávek má související problém. Obchod za cenu objednávky nedokládá, že by simulovaná objednávka získala přednost. Uveďte model plnění a testujte citlivost na zpožděné, částečné nebo žádné provedení. Strategie, jejíž zdánlivá výhoda mizí při mírně méně příznivých plněních, potřebuje jiný závěr než strategie, která zůstává odolná.

Starší pojednání o strategiích obchodování událostních kontraktů porovnává metody s různými způsoby selhání. Historické datové soubory by měly uchovávat podklady relevantní pro zvolenou metodu. Směrová studie vypořádání a strategie krátkodobé likvidity by neměly být hodnoceny totožnými hrubými předpoklady provedení jen proto, že sdílejí označení výsledku.

Ponechávejte vyloučení a zdržení se obchodování

Rozhodovací proces může odmítnout jednat, protože kotace je zastaralá, pravidlo nejednoznačné nebo model postrádá dostatečné podklady. Uložte toto rozhodnutí a jeho důvod. Tyto záznamy pomáhají odlišit výběrovou strategii od datového souboru, který prostě ztrácí nepohodlné případy. Také vyčíslují, kolik provozní práce je třeba k získání jedné použitelné příležitosti.

Předpokládejme, že 100 smyšlených oken pozorování vytváří 60 způsobilých rozhodnutí, 25 vyloučení kvůli zastaralým datům a 15 vyloučení souvisejících s pravidly. Vykazování výkonnosti pouze pro 60 rozhodnutí je vhodné, pokud bylo pravidlo výběru definováno předem, ale dalších 40 stále patří do přehledu pokrytí studie. Ovlivňují proveditelnost a mohou odhalovat systematické slabiny kolem důležitých oznámení.

Hodnoťte, zda se vyloučení shlukují. Pokud data chybějí hlavně během rychlých tržních pohybů, výkonnost ve zbývajících klidných obdobích se nemusí zobecňovat na zamýšlené obchodní prostředí. Chybějící údaje mohou souviset s výsledkem nebo obtížností provedení. Prosté prohlášení, že neúplné řádky byly odstraněny, tento problém neřeší.

Zdržení se obchodování by mělo zůstat odlišné od negativní předpovědi. Model neschopný vyložit kontrakt nepředpověděl, že Ano prohraje. Spojování těchto kategorií může zlepšovat nebo zhoršovat zdánlivou kalibraci z důvodů nesouvisejících se schopností předpovídat. Uchovávejte analytický důvod mlčení, místo kódování každé nepřítomné činnosti jako nuly.

Zkreslení pohledem do budoucnosti vstupuje do dat Kalshi i výběrem

Výběr úspěšných trhů po přezkoumání výsledků je zjevnou formou úniku, ale jemnější volby mohou mít stejný účinek. Výběr časového horizontu, předpokladu poplatků nebo prahu modelu po prozkoumání výsledků konečného testu mění tyto výsledky ve vývojové informace. Historický archiv nemůže studii chránit před volbami provedenými mimo datové zpracování.

K výběru metody používejte vývojové období a poté zmrazte příslušná rozhodnutí před hodnocením pozdějšího období. Následné změny zaznamenávejte jako nové verze a pokud možno je hodnoťte na skutečně pozdějších podkladech. Chronologické rozdělení pomáhá sladit výzkum se skutečným úkolem jednat před budoucími výsledky, ačkoli neodstraňuje každou závislost mezi souvisejícími událostmi.

Při posuzování nejistoty udržujte související kontrakty pohromadě. Několik prahů téhož oznámení sdílí podstatné informace a může být rozhodnuto podle jednoho podkladového čísla. Jejich považování za nezávislá pozorování může nadsazovat efektivní velikost vzorku. Sto řádků kontraktů odvozených z deseti oznámení ještě nezaručuje sto nezávislých testů schopnosti.

Související článek o obchodních algoritmech Polymarket zkoumá porovnávání rozhodovacích pravidel. Jeho význam zde spočívá v metodice: archiv by měl podporovat spravedlivá porovnání ve stejné způsobilé historii, nikoli nechávat každého kandidáta přebírat jinou příznivou podmnožinu událostí nebo jiný model provedení ovlivněný zpětným pohledem.

Zkontrolujte aritmetiku na malém zmrazeném příkladu

Před spuštěním velké studie vytvořte smyšlený datový soubor deseti rozhodnutí, který může člověk nezávisle spočítat. Předpokládejme, že každé rozhodnutí kupuje jednu standardní jednodolarovou jednotku Ano za 0,55 USD a vznikají mu celkové modelované poplatky 0,02 USD. Celkové náklady činí 5,70 USD. Pokud šest pozic vyhraje a čtyři prohrají, celková výplata činí 6 USD a čistý výsledek 0,30 USD podle těchto uvedených předpokladů.

Tento výsledek znamená realizovanou míru výher 60 % a přibližně 5,26 % z vynaložených 5,70 USD. Není podkladem stabilního výnosu 5,26 % v každém budoucím období. Pokud vyhraje pouze pět pozic, stejné náklady vedou ke ztrátě 0,70 USD. Příklad kontroluje, zda zpracování odděluje počet výsledků, peněžní výsledek a jmenovatel procenta.

Nyní změňte jednu pořizovací cenu na 0,65 USD a vše ostatní ponechte pevné. Celkové náklady vzrostou o 0,10 USD na 5,80 USD a výsledek šesti výher klesne na 0,20 USD. Program ponechávající zisk beze změny může používat přesnost výsledků jako náhradu peněžního účetnictví. Program měnící počet výher zaměnil cenu s výsledkem.

Tyto malé testy jsou užitečné, protože každý předpoklad je viditelný. Neověřují živou výkonnost ani nenahrazují úplné přezkoumání datového souboru. Dokládají, že výzkumný mechanismus zachovává zamýšlený výpočet, než velký archiv ztíží všimnutí stejné chyby.

Veďte protokol oprav měnící správné závěry

Oprava datového souboru by měla určovat, které výstupy závisí na změněném záznamu. Předpokládejme, že duplicitní obchod nadsadil objem v jednom okně pozorování, ale neovlivnil uloženou nejlepší prodejní nabídku ani konečnou výplatu. Objemový příznak a každé rozhodnutí o způsobilosti na něm založené potřebují přezkoumání. Přepisování každého nesouvisejícího výsledku by zastíralo rozsah opravy, místo aby zlepšovalo přesnost.

Zaznamenejte původní výsledek, opravený výsledek a důvod rozdílu. Pokud oprava mění, které události splňují podmínky, znovu spusťte příslušné výpočty populace a výkonnosti. Pokud mění pouze označení zobrazení, vysvětlete tento užší dopad. Tento přístup zohledňující závislosti pomáhá posuzovateli rozlišit výzkumný závěr, který opravu přežil, od závěru, který prostě dosud nebyl přepočítán.

Protokol oprav také odrazuje od výběrové údržby. Chyby zlepšující zdánlivou výkonnost si zaslouží stejnou pozornost jako chyby, které ji snižují. Uchovávejte neúspěšné experimenty a nepříznivé opravené výsledky vedle úspěšných. Archiv pak dokumentuje, co se výzkumný proces naučil, včetně ceny vlastních chyb, místo aby se stával upravenou historií, v níž každá změna zdánlivě potvrzuje původní tezi.

Přibalte k datovému souboru jeho omezení

Výzkumné vydání by mělo určovat pokryté období, pravidlo populace, datové zdroje, mezery sběru, pravidla revizí, cenovou konvenci, předpoklady provedení a definici označení. Mělo by také určovat otázky, na které archiv nemůže odpovědět. Datový soubor pouze s periodickými kotacemi může podporovat obecnou analýzu předpovědí, ale postrádat podrobnosti potřebné k tvrzením o výsledcích provedení citlivých na frontu.

Ukládejte stručný záznam rozhodnutí vedle agregovaných výstupů. Pro každý vybraný řádek by posuzovatel měl dokázat rekonstruovat dostupné vstupy, předpověď, rozhodnutí o způsobilosti, navržené množství a pozdější výsledek. Agregovaná přesnost nebo zisk jsou mnohem věrohodnější, když lze jednotlivé příklady vysledovat bez rekonstrukce celého projektu zpaměti.

Průvodce obchodním terminálem Polymarket nabízí užitečné propojení s každodenním provozem: rozhraní používané k rozhodnutí by mělo zanechávat záznamy, které může historický výzkum později vyložit. Lepší návrh archivace často začíná před obchodem, když systém stále může uchovat přesně to, co obsluha viděla a povolila.

Data Kalshi podporují poctivé učení, když konečná pravda a historické znalosti zůstávají odlišitelné. Uchovávejte obojí, dokumentujte mezery mezi nimi a nechte každé simulované rozhodnutí dodržovat svou informační hranici. Tato struktura umožňuje, aby neuspokojivý výsledek přinesl užitečné poznání, a brání tomu, aby působivý výsledek stál na podkladech, které strategie nikdy nemohla mít.