Aprendizagem automática nos mercados de previsão: teste ao longo do tempo

Defina a classificação antes de selecionar o modelo

A classificação é o resultado que o modelo é treinado para prever. Para um contrato binário, pode ser um para o resultado normal Sim e zero para o resultado normal Não, mas são as regras completas reais que determinam quais as observações que produzem essas classificações. Os resultados excecionais de liquidação ou os mercados por resolver precisam de um tratamento declarado, em vez de uma atribuição automática a zero.

Registe a fonte de referência, a janela de observação, o limiar, o operador de comparação e a versão das regras. Uma classificação baseada num gráfico de preços conveniente pode diferir do resultado de liquidação do contrato. Se a pesquisa usar uma classificação aproximativa, diga-o e explique a diferença. Um modelo pode ajustar-se com exatidão à aproximação, sendo ainda assim inadequado para a operação real.

As perguntas de direção, limiar, intervalo e barreira precisam de classificações diferentes. Um ativo em subida pode permanecer abaixo de um limiar, e uma barreira tocada pode ser seguida de um preço final inferior. Tratar todas como observações genéricas de «subida» apaga a estrutura do evento. A resposta do modelo deve corresponder à condição que paga.

O guia anterior sobre algoritmo de negociação em mercados de previsão relaciona a conceção das classificações com o processo completo de negociação. A escolha do modelo vem depois da definição da pergunta. Um algoritmo mais flexível não pode reparar um conjunto de dados de resultados cujo significado difere dos contratos que lhe será pedido para negociar.

Divisões temporais na aprendizagem automática nos mercados de previsão

Uma divisão cronológica coloca os exemplos anteriores no treino e os posteriores na avaliação. Isto é geralmente mais relevante para a previsão do que uma divisão aleatória de linhas, porque a utilização pretendida também avança no tempo. Mas a cronologia, por si só, não basta; a divisão deve respeitar o momento em que as variáveis e as classificações ficaram disponíveis.

Considere um conjunto fictício de dados com 1.000 registos de decisão ordenados. Um investigador usa os primeiros 600 para treino, os 200 seguintes para validação e os últimos 200 para teste. O conjunto de validação apoia as escolhas do modelo e dos limiares. O conjunto de teste permanece intocado até essas escolhas estarem fixadas. Estas contagens são ilustrativas, e não uma receita universal para evidências adequadas.

Se um evento de treino se resolver depois do início do período de validação, a sua classificação pode não ter estado disponível para um modelo treinado nessa fronteira. O investigador tem de ter em conta esse momento. Caso contrário, o processo nominalmente cronológico continua a dar ao modelo conhecimentos futuros. A mesma questão surge quando se misturam perguntas de horizonte longo e curto.

O guia anterior sobre aprendizagem automática na negociação de criptomoedas explica por que a ordem temporal importa. Para contratos de eventos, alargue o registo da divisão para incluir o momento da decisão, o momento de disponibilização da fonte e o momento de disponibilização do resultado. A data de calendário de uma linha, por si só, não estabelece que a linha inteira podia ser conhecida quando o modelo foi treinado ou usado.

Agrupe os eventos relacionados antes de dividir as linhas

Vários contratos podem depender de uma única observação subjacente. Limiares diferentes ao mesmo preço final, previsões repetidas de um evento e perguntas intimamente ligadas podem partilhar informação substancial. Uma divisão aleatória que coloque alguns no treino e outros no teste pode tornar o teste mais fácil do que um episódio de evento genuinamente novo.

Defina grupos com base no evento, na referência e na janela temporal partilhados relevantes. Mantenha o método de agrupamento no registo de pesquisa. Pode ser necessário manter as perguntas relacionadas juntas ou ter em conta a sua dependência de outra forma. O objetivo é evitar apresentar um grande número de linhas como um grande número de experiências independentes.

As janelas sobrepostas criam outro problema. Uma variável construída a partir de um histórico recente pode sobrepor-se ao período usado por uma classificação vizinha. Dependendo da estratégia e dos dados, pode ser necessária uma separação em torno das fronteiras das divisões. O intervalo adequado deve seguir a estrutura da informação, e não um número fixo copiado de um exemplo não relacionado.

O guia sobre negociação algorítmica em mercados de previsão situa estas escolhas num ciclo reproduzível. Uma divisão faz parte da especificação da experiência. Se for alterada depois de se verem os resultados, a mudança deve ser documentada e o método revisto deve ser avaliado com novas evidências, quando possível.

Testes de fuga de informação na aprendizagem automática nos mercados de previsão

A fuga de informação ocorre quando uma variável, transformação ou escolha de pesquisa usa informação indisponível no momento pretendido da previsão. Um exemplo comum é um valor económico revisto substituir o primeiro valor publicado nos dados históricos. Outro é um campo relacionado com a liquidação que, na prática, revela o resultado enquanto parece ser metadados normais.

Teste a disponibilidade de cada variável. Pergunte quando ocorreu o facto subjacente, quando foi publicado e quando o sistema o poderia ter recebido. Um relatório posterior sobre um evento anterior não deve ser retrodatado para o conjunto de informações. Guarde as versões original e revista quando forem relevantes, para que a simulação histórica possa reproduzir a fronteira real do conhecimento.

Examine as variáveis com um poder preditivo suspeito. Uma melhoria abrupta de desempenho pode ser legítima, mas também justifica verificar campos de resultados, estados posteriores à resolução ou atualizações de fontes que chegaram demasiado tarde. Remover uma variável suspeita e repetir uma comparação controlada pode ajudar a identificar se o resultado depende de fuga de informação.

As variáveis provenientes de modelos de linguagem precisam de cuidado adicional. Um modelo pode ter encontrado resultados históricos durante o treino ou a recolha de informação. Pedir-lhe que represente uma data anterior não prova que esse conhecimento está ausente. Previsões prospetivas sobre eventos por resolver são um complemento útil dos testes históricos, enquanto as limitações das experiências retrospetivas devem permanecer explícitas.

Preserve a paridade das variáveis entre pesquisa e utilização

A paridade das variáveis significa que o processo real calcula os mesmos dados de entrada definidos que o processo de pesquisa. Diferenças no arredondamento, no tratamento de valores em falta, no alinhamento temporal ou na escolha de fontes podem alterar o comportamento do modelo mesmo quando o ficheiro do modelo é idêntico. Registe as transformações e teste-as com casos de referência partilhados, em vez de presumir que duas implementações são equivalentes.

Os dados em falta devem ter uma representação definida. Prolongar um valor anterior pode ser um método deliberado para uma variável, mas a idade desse valor pode importar. Substituir a ausência por zero pode introduzir uma observação falsa. O modelo deve ser treinado e avaliado segundo a mesma política que encontrará em funcionamento.

Use esquemas atuais para os dados de mercado. Os preços de ponto fixo e as quantidades fracionárias não devem ser truncados por um pressuposto antigo sobre cêntimos inteiros ou contratos inteiros. O processo de pesquisa deve preservar o significado e a precisão exigidos pelo local de negociação e pela estratégia, separando o arredondamento de apresentação do cálculo.

O guia anterior sobre bot de criptomoedas com aprendizagem automática centra-se na entrada em funcionamento com paridade das variáveis. Para contratos de previsão, acrescente a versão de interpretação do contrato a essa verificação de paridade. O mesmo vetor numérico de variáveis pode descrever uma pergunta diferente se mudar a correspondência de uma fonte ou condição de fronteira.

Calibração da aprendizagem automática nos mercados de previsão

Um modelo de probabilidade precisa de mais do que uma contagem de lados corretos. A calibração pergunta se as probabilidades declaradas correspondem às frequências dos resultados em grupos adequados. Um conjunto de previsões próximas de 60% deve ser examinado face à taxa a que esses eventos ocorrem, considerando a incerteza e a dependência. Um resultado não estabelece nem refuta a calibração.

A calibração pode ser avaliada agrupando previsões em intervalos ou usando outros métodos de diagnóstico adequados. O agrupamento deve ser escolhido com cuidado: grupos muito pequenos têm ruído, enquanto grupos muito amplos podem esconder variações importantes. Mostre as dimensões das amostras e a composição dos eventos para que o leitor possa avaliar a força das evidências, em vez de ver um gráfico suave sem contexto.

Um mapeamento de recalibração tem de ser ajustado a dados separados da avaliação final. Se os mesmos resultados de teste forem usados para ajustar probabilidades e depois pontuar o resultado ajustado, o teste já não está intocado. Trate a calibração como parte do processo do modelo, com a sua própria fronteira de treino ou validação e versão.

O guia sobre mercados de previsão com IA explica por que a confiança de um modelo não é automaticamente uma probabilidade calibrada de um evento. Isto aplica-se quer o modelo seja um sistema de linguagem, um classificador ou um conjunto de modelos. O formato numérico da resposta não estabelece o seu significado empírico.

Pontue as probabilidades com uma convenção clara

A pontuação de Brier para um resultado binário é o quadrado da diferença entre a probabilidade prevista e o resultado, com a média calculada entre observações. Com resultados codificados como zero ou um, os valores inferiores são melhores segundo esta convenção. Recompensa estimativas úteis de probabilidade e penaliza erros confiantes mais fortemente do que uma simples contagem de lados corretos.

Considere quatro previsões fictícias: 0,80, 0,60, 0,30 e 0,10. Suponha que os resultados são Sim, Não, Não e Sim. Os erros quadráticos são 0,04, 0,36, 0,09 e 0,81. Somam 1,30, dando uma pontuação média de 0,325. Uma previsão constante de 0,50 tem uma pontuação de 0,25 em cada caso, com uma média de 0,25, e tem, portanto, melhor desempenho neste conjunto mínimo.

O exemplo mostra como um erro confiante pode importar. Não demonstra que uma previsão constante é geralmente a melhor nem que o modelo avaliado é inutilizável. Quatro observações são uma ilustração aritmética, e não um estudo fiável de desempenho. As comparações reais precisam de evidências relevantes suficientes e de uma conceção de avaliação predefinida.

Examine também a calibração e o comportamento por categoria, em vez de depender de uma única pontuação agregada. Um modelo pode melhorar uma média enquanto piora precisamente no subconjunto que a estratégia de negociação seleciona. A pesquisa deve relacionar a avaliação das probabilidades com a política de decisão pretendida sem permitir que a seleção retrospetiva de subgrupos se torne uma forma de ajuste não comunicada.

Compare com referências disponíveis no mesmo momento

Uma referência deve ser simples, relevante e viável no momento limite da decisão. Pode usar uma taxa de base, uma regra estatística estável ou uma estimativa derivada do mercado claramente definida. A comparação deve usar as mesmas perguntas e a mesma fronteira de informação. Um modelo avaliado em eventos mais fáceis não pode ser declarado superior apenas porque a sua pontuação média é inferior.

Se o preço de mercado for uma variável do modelo, comunique-o. O modelo pode estar a refinar um sinal já presente no mercado, em vez de produzir uma estimativa independente. Isso pode continuar a ser útil, mas a pergunta relevante é se o aperfeiçoamento acrescenta informação para além da referência e se alguma melhoria resiste às restrições de custo e de seleção.

Execute testes direcionados de remoção de componentes quando responderem a uma pergunta concreta. Remover um grupo de variáveis pode ajudar a determinar se o resultado depende de uma fonte de dados específica. O teste deve ser especificado e interpretado com cuidado; testar muitas variantes e apresentar apenas a melhor cria outra via para o sobreajuste.

O guia sobre negociação automatizada de previsões explica como uma previsão se torna uma ação delimitada. A comparação com a referência vem antes dessa transição. A complexidade ou o custo de treino de um modelo não lhe concedem uma dispensa especial de demonstrar o que acrescenta à decisão.

Separe a melhoria estatística do valor de negociação

Uma pontuação de probabilidade melhor não garante uma estratégia lucrativa. As operações ocorrem a preços de compra e venda com profundidade finita e comissões aplicáveis. Uma pequena melhoria pode ser economicamente inutilizável se o custo de a concretizar exceder a vantagem esperada. A simulação de negociação deve, portanto, usar pressupostos realistas de lado, quantidade e momento.

Suponha que um modelo fictício estima 57% para Sim, enquanto o custo total da compra pretendida é de 0,55 por unidade, incluindo comissões hipotéticas. O valor esperado segundo o modelo é de 0,02 por unidade com pagamentos normais de uma unidade. Para 300 unidades, o custo é de 165,00 e o pagamento esperado é de 171,00, produzindo um valor esperado segundo o modelo de 6,00. Essa margem pode desaparecer com um pequeno erro de previsão ou execução.

Se o custo total real subir para 0,58 por unidade, a mesma previsão dá uma perda segundo o modelo de 0,01 por unidade, ou 3,00 para 300 unidades. O modelo não mudou, mas a avaliação da operação mudou. Uma estratégia que regista apenas a qualidade da previsão não capta esta fronteira económica.

Não atribua execuções simuladas ao ponto médio sem evidências de que essa execução era viável. Uma ordem com limite pode obter um preço melhor, mas ficar por executar. Uma ordem imediatamente executável pode consumir vários níveis de preço. A avaliação deve representar a política de execução escolhida e as suas limitações, em vez de combinar um preço ideal com quantidade garantida.

Teste a seleção sem esconder o denominador

Uma política de negociação pode agir apenas quando a estimativa do modelo excede o custo total por uma margem escolhida. Avalie essa regra de seleção no conjunto elegível predefinido e mantenha as abstenções. Se apenas forem guardadas as operações executadas, o investigador não consegue saber como o modelo se comportou nos casos rejeitados nem se o limiar de seleção foi escolhido depois de se verem os resultados.

Apresente separadamente a cobertura das previsões, a cobertura das operações e os motivos de exclusão. Uma pergunta pode ser ignorada porque as regras são pouco claras, faltam dados ou a margem calculada pelo modelo é demasiado pequena. Essas causas implicam melhorias diferentes. Uma única classificação de «sem sinal» esconde a fronteira entre qualidade da pesquisa, disponibilidade operacional e seleção económica.

Evite otimizar repetidamente o limiar da margem num único conjunto de teste. O melhor ponto de corte histórico pode refletir ruído, especialmente quando restam poucas operações depois da filtragem. Fixe a política para um período posterior de avaliação ou use outra conceção adequada de validação. A incerteza resultante deve ser reconhecida, em vez de substituída por uma rendibilidade percentual impressionante.

As operações selecionadas relacionadas podem também concentrar o risco. Vários limiares relativos ao mesmo evento podem todos passar o filtro do modelo, dependendo de um único resultado subjacente. A avaliação da seleção deve apresentar a exposição e as perdas ao nível dos eventos, e não apenas uma contagem de contratos vencedores aparentemente separados.

Monitorize as mudanças sem reescrever a experiência

Depois da entrada em funcionamento, as distribuições dos dados, a participação no mercado e as categorias de contratos podem mudar. Monitorize tanto a qualidade dos dados de entrada como o desempenho das previsões. Uma mudança no esquema de uma fonte pode criar um problema imediato numa variável, enquanto uma mudança de calibração pode exigir resultados resolvidos suficientes para ser detetada. São tarefas de monitorização diferentes e devem ter respostas diferentes.

Uma curta sequência de perdas não estabelece automaticamente uma falha do modelo. Compare-a com as probabilidades declaradas e a dependência entre os eventos. Ao mesmo tempo, não descarte toda a deterioração como variância normal. Condições de revisão predefinidas ajudam a equipa a responder de forma consistente sem mudar a explicação depois de cada resultado.

Quando o modelo for revisto, preserve os registos da versão anterior. As novas previsões devem ter a nova versão, e a avaliação deve refletir qual o processo que produziu cada decisão. Um agregado móvel que mistura silenciosamente versões pode dificultar identificar se uma melhoria aparente veio do modelo, do conjunto de perguntas ou das condições de mercado.

A estratégia deve ter uma resposta delimitada à incerteza, como reduzir o âmbito operacional ou voltar à observação enquanto se investiga um defeito. Esta é uma decisão de controlo, e não uma afirmação de que a previsão seguinte estará errada. O objetivo é evitar expandir a exposição enquanto estão em causa as evidências que sustentam o processo.

Ligue o registo de pesquisa ao funcionamento real

Um resultado de pesquisa pronto para entrar em funcionamento deve especificar a correspondência do evento, o momento limite dos dados, as definições das variáveis, as versões do modelo e da calibração, a regra de seleção e os pressupostos de execução. Estes detalhes permitem a outro revisor reproduzir a decisão e identificar que componente mudou quando o comportamento real difere do estudo.

Os testes operacionais continuam a ser necessários. Uma previsão exata não impede uma ordem duplicada depois de uma submissão desconhecida nem uma posição incorreta depois de uma execução parcial. O sistema tem de conciliar pedidos, execuções e saldos reais. A qualidade da pesquisa e a fiabilidade da execução são requisitos complementares, e não substitutos.

O trabalho de aprendizagem automática nos mercados de previsão é mais sólido quando a fronteira temporal permanece visível desde os dados em bruto até à pontuação final. Classificações definidas, avaliação cronológica agrupada, calibração ajustada de forma independente e pressupostos de custo realistas tornam os resultados mais fiáveis dentro do seu âmbito. Não prometem retornos futuros, mas permitem distinguir uma previsão útil de um resultado construído com informação que o sistema real nunca poderia ter tido.