只有当有人决定每条记录意味着什么、哪些观察属于样本,以及信息何时可用时,Polymarket 数据才成为研究数据集。这些选择对结果的影响,可能与之后应用的模型一样大。如果大型档案悄悄排除难处理市场,或过早提供后续信息,仍然可能支持误导性结论。
有用的数据集会在价格和结果之外,同时保留来源追溯、数据结构规范版本和缺失观察。它应让另一位研究者重建一行数据如何产生,并识别可用证据能够支持哪些主张。目标是含义可重现,而不只是能够重新打开文件。
本指南涉及 Polymarket International 数据。Polymarket US 有独立接口和场所环境。下文样本数量、日期、时间和计算均为教学而虚构。它们展示数据集设计,不描述实际市场档案,也不证明交易策略绩效。
收集 Polymarket 数据之前先定义问题
数据集应围绕研究问题设计。研究预测校准需要带日期的概率估计和结果。研究执行成本需要预期数量和决策时间对应的订单簿。研究账户绩效需要获授权的私有记录,公开市场数据可能无法提供。
用一句话写出预期主张。例如,项目可能询问某种来源更新,是否改善合约截止时间前一天作出的预测。这个问题决定所需时间、合约定义和评估单位。没有问题就收集每个可访问字段,可能只产生数据量,却没有可用证据。
较早的预测市场算法交易指南强调可重现性。数据集设计是这一要求的一部分。如果档案缺少公平测试信息主张所需的观察时间或合约映射,之后的算法无法修复它。
选择观察单位
决定一行代表什么:市场快照、交易、合约每日预测、信息事件,还是账户成交。如果没有清晰关系,不应把这些单位混在同一张表中。只有在定义单位之后,行数才有意义。
假设研究在固定时间跨度为每份合约使用一个预测。该合约的十个日内报价快照,不会创造十个独立预测结果。它们可能提供有用执行背景,但底层事件结果仍然共享。
保留事件、市场和结果代币之间的关系。多份合约可以指向同一观察的不同门槛,多条记录也可以随时间描述同一合约。把每行都视为独立的数据集,可能夸大评估模型或估计不确定性时可用的证据量。
建立数据集来源追溯记录
数据集来源追溯记录,为每条衍生记录或一致批次明确来源、获取方法、获取时间、原始标识符和转换版本。应能够把模型输入追溯到构建它的证据。
Polymarket 的API 概览区分发现、CLOB 和数据接口。数据集应保留记录由哪个接口提供,而不是把全部字段当作来自一个统一来源。不同接口中的相似名称,可能具有不同范围或更新行为。
来源追溯也包括研究者的选择。记录筛选规则、归一化方法和人工更正。更正应解释原始问题,并在适当时保留原值。静默清理可能让文件更易使用,却删除了理解结果为何改变所需的证据。
同时保留原始记录与归一化数据
原始记录保留来源最初的表示方式。归一化数据通过一致表达共同概念,让分析更容易。两者都保留,研究者才能调查意外结果究竟来自市场还是转换。
原始档案应组织得足以定位相关记录,但不应成为唯一可用数据集。归一化层应携带稳定的回链,以及数据结构规范和转换版本。这在保留证据与方便分析之间建立实际分工。
不要假定归一化是中性的。把缺失值转为零、舍入价格或推断结果方向,都可能改变含义。每种转换需要明确规则,以及适合研究问题的理由。如果来源不支持可靠解释,归一化记录应保留明确的未解决值。
随时间为合约含义保留版本
研究数据集需要的不只是市场标题。保留完整合约问题、相关规则、来源引用、截止时间和结果映射,并附观察时间。如果元数据改变,应保留版本之间的关系,而不是覆盖历史。
之后的规则澄清可能对解释最终结果很重要,但历史决策记录仍应显示流程当时知道什么。这是两个有用视角:当时的信息集合,以及最终适用的解释。不应在没有说明的情况下合并。
Kalshi 市场分析指南在另一个场所环境中强调精确结果判定规则。跨场所研究项目应分别保留每份合约含义。标题匹配或把价格转为百分比,都不能证明金融产品具有等价兑付。
保留时点可用性
时点可用性描述某个特定流程何时能够使用记录。来源事件时间、发布时间、本地接收和后续存储可能不同。历史模拟不应仅因来源时间戳更早,就在相关可用时间之前使用记录。
在虚构案例中,报价带有 11:59:58 的来源时间,却在 12:00:03 才到达采集器。该采集器在 12:00:00 作出的决策不能使用这个报价,除非有独立证据证明通过另一条路径更早收到。只按来源时间排序,可能产生前视偏差。
如果可用,应同时保留来源和接收时间,并解释缺失字段。不要在同一标签下,用接收时间替换未知来源时间。只要局限保持可见,且评估尊重它,数据集仍能在更窄的时间主张下支持有用研究。
在结果出现之前定义合资格总体
Polymarket 研究数据集应记录,在相关时刻哪些合约符合研究规则。只选择今天活跃的市场,或只选择结果令人印象深刻的市场,可能引入幸存者和选择效应。样本可能恰恰遗漏最难交易或解释的案例。
采用可观察标准定义资格,例如合约家族、规则清晰度、时间跨度和所需数据覆盖。一致应用规则,并保留被排除候选项及原因。不要因为最终结果让拟议策略看起来更差,就移除合约。
Kalshi 策略指南展示了可重复常规流程为什么需要明确合约总体。同样原则适用于数据集构建。研究者应能解释流程前瞻性地会考虑哪些机会,包括后来从方便的发现列表中消失的机会。
区分四种缺失
来源证据缺失、采集缺口、结果未解决和有意排除的合约,是不同条件。不应在没有解释时共用一个空白字段。它们分别以不同方式影响解释和评估。
采集缺口表示流程缺少某个区间的观察。结果未解决表示目标标签尚不可用。被排除合约即使数据完整,也可能超出研究范围。来源缺失可能意味着所需证据不可用,即使记录了市场价格。
使用清晰原因代码和人类可读的描述。这样研究者可以评估缺失是否集中在波动期间、异常合约或操作故障。这种模式可能比完整行的总体比例更重要,因为缺失观察可能与保留观察存在系统性差异。
量化缺失结果的影响
考虑一个包含 120 个合资格预测的虚构样本。其中九十个有观察到的二元结果,包括五十四个 Yes,另外三十个结果仍缺失。九十个中的观察 Yes 频率为 60%。它不会自动描述完整合资格样本。
如果三十个缺失结果全部为 No,完整样本的 Yes 频率就是 54 除以 120,即 45%。如果三十个全部为 Yes,则是 84 除以 120,即 70%。这些是简单二元假设下的逻辑边界,不是统计置信区间。
例子说明,为什么只报告完整案例会隐藏不确定性。研究者应调查标签为何缺失,以及观察到的子集是否不同于遗漏案例。从可用行计算的精确百分比,可以在算术上正确,却只支持远窄于报告暗示范围的主张。
如实保留未解决和例外标签
在实际结果判定支持标签之前,不要强行把每份合约归为 Yes 或 No。市场可能仍未解决、进入争议,或存在例外条款。数据集应保留官方状态和适用兑付信息,而不是为了方便编造二元答案。
Polymarket 的结果判定文档描述了规则定义的来源和边界情况。关注简单二元结果的研究,可以为例外案例定义资格政策,但该政策应预先确立并披露,而不是看到结果后选择性应用。
标签可用性也很重要。在历史时刻训练的模型,不能使用当时尚未已知的最终结果。保留标签何时对研究流程可用,并区分它与底层事件表面完成的时间。
把数据结构规范变化作为数据集事件
数据结构规范变化可能改变字段名、精度、响应封装结构或解释。记录每批使用的来源版本和解析器版本。归一化数据集应明确转换何时改变,以及旧记录是否重新处理。
在假定较早客户端例子仍描述当前接口之前,应查阅当前文档。成功解析响应不能证明语义兼容。新字段可以已经存在,但分析中仍嵌有关于单位或方向的旧假设。
较早的Polymarket 订单簿采集器指南解释了可靠采集。把这种纪律延伸到迁移:测试已知记录、保留原始输入,并在替换转换之前比较衍生输出。如果变化改变历史值,应发布数据集版本,并解释受影响分析。
保留小数值,避免过早舍入
价格、数量和计算值应保留预期研究所需的足够精度。适合屏幕显示的舍入价格,可以用于图表,却可能不适合重建狭窄成本余量。保留原始小数表示,并在计算需要时使用精确算术。
把舍入政策与存储值分开记录。如果分析为某项特定研究,有意把价格舍入到较粗网格,这是一项需要记载的转换。不应与来源当时实际有效的交易增量混淆。
数量和费用也一样。假定每个观察都代表整数份额的模型,可能扭曲包含非整数数量的记录。数据集应明确单位和精度,使后续计算不会继承方便却无依据的简化。
按执行问题存储订单簿
用于估计执行成本的数据集,需要针对提议数量保留足够订单簿信息。最近成交序列或中间价图表,无法重建从未采集的历史深度。研究应在模拟成交之前明确这一局限。
如果只有最优档数据,分析可以对观察到的档位和数量作有限主张。不应让大型假设订单无限使用同一价格。同样,每分钟一次的快照,也不能证明快照之间有什么可用。
Kalshi 数据指南提供了另一个场所的数据集规划视角。跨场所研究应保留每个来源的采样和覆盖限制。相同列名,不会让密集数据流与稀疏快照档案,对短暂执行机会具有同等信息价值。
去重时不要删除真实独立事件
重复传输消息不应产生重复经济观察。使用稳定标识符和有文档说明的来源语义识别重复或修订。仅匹配价格、数量和时间,可能错误合并恰好具有相同数值的独立交易。
保留去重决策记录。清理后的数据集应解释多少原始记录变成了一个归一化事件,以及原因。后续数据结构规范变化可能要求重新审视逻辑;原始证据仍可用时,这容易得多。
对于订单簿,即使档位未变,重复状态观察仍可能带有新接收时间。决定研究是否需要两次观察,并记录选择。去重是关于身份和采样的建模决策,不只是减少文件大小。
只用先前信息构建特征
特征应根据其所支持决策之前可用的记录计算。即使最终数据集按时间排序,包含当前结果、修订来源值或后续报价的移动平均,也可能泄漏未来信息。
为每个特征定义时间边界,并用刻意棘手的例子测试。决策之后到达的记录,不应仅因事件时间戳更早就进入特征。后续更正只有在研究选定的信息模型下变得可用时才应出现。
较早的预测市场分析指南解释了如何解读指标。数据集构建还增加了每项指标必须及时可用的要求。把有效公式应用于无效信息集合,可能产生令人印象深刻、但真实流程绝不可能实现的结果。
按事件与时间拆分评估
划分开发和评估样本时,同一底层事件的相关合约应保留在一起。否则,同一事件的信息可能出现在划分两边。表面上的独立测试数量,可能远小于行数暗示的程度。
如果预期用途是预测未来事件,应采用按时间顺序的划分。保留一段未用于选择特征、门槛或排除规则的后续期间。如果查看该期间后改变设计,它就成为新版本的开发证据,而不是新的独立测试。
同时报告样本构成和规模。事件家族、时间跨度、流动性和缺失情况,在不同期间可能不同。绩效变化可能反映这种构成,而不是模型质量普遍改变。数据集应让这些比较可行,不必要求研究者凭记忆重建资格。
将公开研究数据与私人账户分开
公开市场记录可以支持价格和活动分析,但不会自动确立个别用户的完整头寸或结果。账户绩效研究需要获授权的私有订单、成交、费用及其他相关记录,并具有自身的来源追溯和访问控制。
不要从公开钱包地址推断个人身份或私人动机。数据集可以描述可观察活动和不确定性,而不附加无依据的个人主张。记录公开可见,不代表对参与者的每种解释都有效。
如果为获授权研究连接公开和私有数据,应保留连接依据,并保护敏感账户信息。研究输出应只包含主张所需内容。模型评估很少需要在分析文件中放入可复用凭证或不必要的个人细节。
发布供审查的数据集说明卡
数据集说明卡简洁解释问题、观察单位、来源、时间覆盖、资格规则、转换和已知局限。它应明确版本,并解释缺失或例外案例如何表示。这使没有建立档案的人也能使用它。
纳入数据集不能支持的主张。快照档案可能支持宽泛价差分析,却缺少精确排队位置模拟所需细节。完整结果集合可能缺少当时预测,因此在没有额外证据时不适合评估历史信号。
数据集改变时,说明卡也应改变。新来源、重新处理的数据结构规范或更正标签,都可能影响早先结果。将说明与数据一起进行版本管理,为研究者解释分析差异提供可靠参考,而不是把每份重新生成报告都当作可以直接比较。
让 Polymarket 数据的含义可以重现
研究数据集应保留从原始观察到归一化记录、合资格样本、及时可用特征和核实标签的路径。来源追溯、数据结构规范版本和缺失情况,是路径的一部分,不是建模后才添加的可选行政细节。
从精确问题开始,并保留诚实测试所需信息。区分当时可用信息与后续知识,保留合约定义,避免声称拥有从未观察到的历史执行细节。在适当事件层级评估相关记录。
最强的数据集,是局限能够清楚说明、转换能够重现的数据集。它让读者理解结果为何出现,以及证据是否支持拟议结论。这种基础,比由含义或时间已经丢失的记录堆成的惊人行数更持久。