AI-prognosemarkeder: priser og prognoser

Prisdannelse på AI-prognosemarkeder

En markedspris afspejler de vilkår, som deltagere er villige til at handle på under de aktuelle betingelser. Købstilbud, salgstilbud, tilgængelig mængde og nylige transaktioner bidrager alle til de oplysninger, en læser ser. Det viste tal kan opsummere en del af denne aktivitet, men det er ikke nødvendigvis den pris, der er tilgængelig for et bestemt køb eller salg.

For eksempel kan en fiktiv Yes-kontrakt have en købspris på 0,59 og en salgspris på 0,65. Deres midtpunkt er 0,62. En køber, der kræver øjeblikkelig udførelse, kan møde salgsprisen og yderligere prisniveauer ved en større mængde. En sælger kan møde købsprisen. At kalde midtpunktet et markedsindikeret estimat på 62% kan være en nyttig kortform, men det gør ikke 0,62 til en pris, der kan handles til, eller en certificeret begivenhedssandsynlighed.

Den aktuelle forklaring af Polymarkets ordrebog skelner mellem viste priser og de købs- og salgspriser, der bruges i handel. En læser bør anvende denne forskel på det faktiske marked og den størrelse, der undersøges. Begrænset dybde, forældede observationer og store spænd mellem købs- og salgspriser kan alle begrænse, hvad ét vist tal afslører.

Den ældre guide til sandsynlighedshandel udvikler forbindelsen mellem pris og begivenhedsestimater. Den er et nyttigt fundament, fordi AI-analyse ikke fjerner markedets mekanik. En model kan være uenig med en vist procentsats og stadig ikke finde en attraktiv handel, der kan udføres, når den relevante side og omkostningerne tages i betragtning.

Sikkerhedsscorer på AI-prognosemarkeder

En sprogmodels udsagn om sikkerhed er ikke automatisk en sandsynlighed, der er kalibreret til en fremtidig begivenhed. Det kan afspejle, hvor let modellen producerer et svar, hvordan instruktionen beder om en score, eller en intern scoringsmetode med en anden betydning. Betegnelsen »sikkerhed« skal defineres, før den kan bruges som handelsinput.

Skeln mellem sikkerhed ved et faktuelt udtræk og sandsynligheden for et udfald. En assistent kan være sikker på, at en regel nævner en bestemt kilde, mens den stadig er usikker på, om begivenheden vil indtræffe. Dette er særskilte vurderinger. Hvis de samles i én procentsats, kan en usikker prognose se stærkere ud, blot fordi kontraktens ordlyd var let at læse.

Skeln også mellem sandsynlighed og sikkerhed om sandsynligheden. Et veldokumenteret estimat på 60% tillægger stadig No en betydelig chance. En model kan være sikker på, at 60% er dens bedste estimat, uden at hævde, at begivenheden er næsten sikker. Omvendt kan en model give 90%, mens den har ringe dokumentation for, at lignende output har været pålidelige.

Guiden til handel på AI-prognosemarkeder fokuserer på at bruge hjælp uden at opgive disse skel. En AI kan organisere kilder, fremhæve alternativer og hjælpe med at beregne scenarier. Beslutningen kræver stadig en kontrolleret begivenhedsdefinition og dokumentation for, at sandsynlighedsestimatet fortjener den rolle, det tildeles.

Definer begivenheden, før du beder om et tal

En prognose er kun meningsfuld for et specificeret spørgsmål. Medtag den fulde betingelse, observationstidspunktet, kilden, grænsen og undtagelsesreglerne. En instruktion, der spørger, om »prisen vil stige«, kan ikke skabe en sandsynlighed, der passer til en kontrakt om at ligge strengt over en tærskel ved én udpeget referenceobservation. De to spørgsmål kan få forskellige udfald.

En model bør modtage tilstrækkelig kontekst til at identificere den gældende regel uden at blive tilskyndet til at opfinde manglende detaljer. Hvis en kilde eller et skæringstidspunkt mangler, bør outputtet markere hullet. Udfyldning med en plausibel konvention skaber en prognose om en anden begivenhed. Svarets tilsyneladende præcision kan skjule, at det oprindelige spørgsmål aldrig blev afklaret.

Brug en kort regeltest før sandsynlighedsestimering. Giv et hypotetisk udfald præcis ved grænsen eller lige uden for tidsvinduet, og spørg, om det opfylder betingelsen. Kontroller svaret mod de fulde regler. Dette tester fortolkning, ikke prognoseevner, og kan afsløre en mangel, før en sandsynlighed knyttes til den forkerte begivenhed.

Den ældre guide til en handelsbot til AI-prognosemarkeder beskriver dette som et afgrænset beslutningsproblem. En models evne til at diskutere et emne fastslår ikke beføjelse til at handle enhver kontrakt, der er forbundet med emnet. Kontrakten forbliver analyseenheden, selv når den understøttende dokumentation spænder over et bredt emne.

Adskil indsamling af dokumentation fra dannelse af prognoser

Indsamling henter oplysninger; prognosearbejde tildeler en begivenhed en sandsynlighed på baggrund af oplysninger. Et system kan udføre den første opgave godt og den anden dårligt eller omvendt. Vurder dem hver for sig. Fandt assistenten relevant, aktuel dokumentation fra primærkilder? Gengav den dokumentationen nøjagtigt? Svarede dens sandsynlighedsestimater senere til udfaldene på en nyttig måde?

Bevar kildens identitet og tilgængelighedstidspunkt. Et dokument, der er offentliggjort efter prognosens skæringstidspunkt, kan ikke behandles som et tidligere input i en realistisk vurdering. En senere rettelse kan ændre det, man tror nu, uden at ændre det, man kunne vide dengang. Et historisk sammenligningsgrundlag, der ignorerer disse tidspunkter, kan belønne bagklogskab frem for prognoser.

Dokumentationens uafhængighed er også vigtig. Flere resuméer kan gentage ét oprindeligt udsagn. At tælle dem som særskilt bekræftelse overdriver støtten. Assistenten kan hjælpe med at spore den oprindelige kilde og identificere dubletter, men dens resumé bør bevare usikkerhed, hvor oprindelsen er uklar. En større samling gentaget tekst er ikke nødvendigvis et rigere informationsgrundlag.

Guiden til AI til prognosemarkeder undersøger praktiske roller som informationsindsamling, overvågning og beslutningsgennemgang. Disse roller kan være værdifulde, selv hvis systemet ikke har demonstreret en rentabel prognosefordel. Vurderingen bør identificere den opgave, der blev forbedret, frem for at tilskrive enhver nyttig forskningsfunktion værdi som dokumentation for handelsevner.

Kalibrering af prognoser på AI-prognosemarkeder

Kalibrering handler om, hvorvidt sandsynligheder svarer til udfaldsfrekvenser på tværs af passende grupper. Hvis et system gentagne gange tildeler sammenlignelige begivenheder cirka 70%, ville et kalibreret mønster indebære, at disse begivenheder indtræffer cirka 70% af gangene i en tilstrækkelig stikprøve. Dette er en gruppeegenskab; ét Yes- eller No-udfald kan ikke fastslå, om en prognose på 70% var passende.

Brug en fiktiv gruppe på 100 prognoser, alle afgivet med 70%. Hvis 70 begivenheder indtræffer, svarer den observerede frekvens til prognoseniveauet i denne gruppe. Det er opmuntrende, men ikke afgørende. Begivenhederne kan være relaterede, stikprøven kan være valgt efter udfaldene, eller resultaterne kan være anderledes i en anden periode. En kalibreringsgennemgang kræver udvælgelsesprocessen og afhængighedsstrukturen, ikke blot den matchende procentsats.

Forestil dig nu, at 90 begivenheder indtræffer. Prognoserne havde stadig ofte den rigtige retning, men den observerede gruppe tyder på for lav sikkerhed i forhold til denne stikprøve. Hvis kun 40 indtræffer, ser de samme output på 70% overdrevent sikre ud. Nøjagtighed målt som andelen af valgte sider, der vandt, ville overse en del af denne forskel, fordi målet kasserer størrelsen af de angivne sandsynligheder.

Kalibrering er heller ikke det eneste kvalitetskriterium. Et system, der altid forudsiger en bred grundfrekvens, kan være kalibreret samlet set, mens det ikke skelner mellem lette og vanskelige begivenheder. En nyttig vurdering ser på både pålidelighed og informationsværdi med passende sammenligningsgrundlag. En prognose bør tilføje oplysninger, der er relevante for beslutningen, ikke blot producere et velopført gennemsnit.

Et lille eksempel med en scoringsregel, der tilskynder ærlige sandsynlighedsestimater

En enkel måde at vurdere binære sandsynligheder på er Brier-scoren: opløft forskellen mellem prognosesandsynligheden og udfaldet, kodet som én for Yes og nul for No, i anden potens, og tag derefter gennemsnittet over de vurderede prognoser. Lavere er bedre under denne konvention. Scoren bruger sandsynlighedens størrelse i stedet for kun at se på, om den mest sandsynlige side vandt.

For et fiktivt Yes-udfald har en prognose på 0,70 en kvadreret fejl på 0,09, mens en prognose på 0,50 har en kvadreret fejl på 0,25. For et No-udfald får de samme prognoser scorer på 0,49 og 0,25. Det mere sikre estimat belønnes, når det er passende, og straffes mere, når det tager fejl. Ét resultat fastslår stadig ikke kvaliteten på langt sigt.

I et fiktivt sæt med fire begivenheder med prognoser på 0,80, 0,60, 0,40 og 0,20 og udfald på Yes, No, Yes, No er de kvadrerede fejl 0,04, 0,36, 0,36 og 0,04. Deres gennemsnit er 0,20. En konstant prognose på 0,50 får scoren 0,25 ved hver begivenhed med et gennemsnit på 0,25. Det første sæt klarer sig bedre i dette lille eksempel, som er alt for lille til at fastslå en pålidelig overlegenhed.

Hold scoringskonventionen udtrykkelig, og sammenlign systemer på de samme kvalificerede spørgsmål og med samme informationsskæringstidspunkt. Forskelle i spørgsmålenes sværhedsgrad kan påvirke scorer. En model vurderet på lettere begivenheder bør ikke erklæres bedre, blot fordi dens gennemsnitlige score er lavere end en model testet på et andet sæt. Vurderingens udformning er lige så vigtig som formlen.

En bedre prognose kan stadig være en dårlig handel

Antag, at en fiktiv model anslår en sandsynlighed på 68% for Yes. Den tilgængelige salgspris for den tilsigtede mængde er 0,65, og en hypotetisk fordeling af gebyrer tilføjer 0,02 pr. enhed. Den fulde omkostning er 0,67 pr. enhed. Under estimatet er den modellerede forventede gevinst kun 0,01 pr. enhed før andre relevante omkostninger eller undtagelsesudfald.

For 100 enheder er den samlede omkostning 67,00, og den forventede almindelige udbetaling er 68,00, hvilket giver en modelleret forventning på 1,00. En lille prognosefejl eller en lidt dårligere udførelse kan udviske den. Forskellen på seks procentpoint mellem modellens 68% og et vist midtpunkt på 62% var aldrig den margin, der kunne handles til. Den relevante sammenligning var med den fulde omkostning på den side, der faktisk blev købt.

En model kan forbedre sin prognosescore i forhold til et sammenligningsgrundlag og samtidig vælge dyre handler eller handle for ofte. Omvendt kan et disciplineret omkostningsfilter reducere aktiviteten og forbedre nettoresultaterne uden at forbedre den underliggende sandsynlighedsmodel. Prognosekvalitet, udvælgelseskvalitet og udførelseskvalitet bør derfor rapporteres hver for sig.

Guiden til software til AI-prognosemarkeder forklarer, hvorfor et nyttigt værktøj skal bevare alle tre. Ét resultatmål kan skjule, om den hævdede fordel kommer fra bedre dokumentation, en gunstig historisk stikprøve eller optimistiske antagelser om udførelser. Softwaren bør gøre disse antagelser mulige at undersøge.

Vær opmærksom på historisk viden, der ankommer for tidligt

En sprogmodel kan have mødt oplysninger om en afgjort begivenhed under træning eller informationsindsamling. At bede den om at »lade som om det er tidligere« fastslår ikke, at de senere oplysninger er blevet fjernet. En historisk prognosetest kræver en troværdig informationsgrænse og bør anerkende, hvad der ikke kan kontrolleres om modellens forhåndsviden.

En nyttig tilgang er at vurdere på reelt uafgjorte spørgsmål med prognoser gemt, før udfaldene indtræffer. En anden er at bruge omhyggeligt kontrollerede historiske datasæt, hvis tilgængelige oplysninger er dokumenteret, samtidig med at de resterende risici for indblanding af senere viden angives udtrykkeligt. Ingen af tilgangene gør vurdering ubesværet; hver af dem håndterer en forskellig del af problemet.

Undgå kun at vælge mindeværdige begivenheder eller spørgsmål, som systemet håndterer godt. Fastlæg kvalifikation på forhånd, og bevar fejl, afvisninger og manglende prognoser. En model, der kun besvarer lette spørgsmål, kan se stærk ud, hvis beslutninger om at afstå udelades uden forklaring. Dækning og kvalitet bør vises sammen, så læseren forstår systemets faktiske driftsområde.

Den ældre guide til en AI-bot til prognosemarkeder diskuterer måling af prognosekvalitet frem for at antage den ud fra flydende output. Nøglen er at bevare den oprindelige forudsigelse og dens dokumentation før afgørelsen. Senere forklaringer kan hjælpe med at diagnosticere et resultat, men de kan ikke erstatte den prognose, der faktisk blev afgivet.

Markedsoplysninger kan være både input og sammenligningsgrundlag

Hvis modellen ser den aktuelle markedspris, bør dette registreres. Outputtet kan delvis afspejle markedets oplysninger frem for en uafhængig prognose. Dette kan være et rimeligt designvalg, men vurderingen bør sammenligne det med det markedsafledte sammenligningsgrundlag, der var tilgængeligt samtidig. Ellers kan modellen få æren for oplysninger, den blot gentog.

En test, hvor et input fjernes, kan hjælpe: sammenlign en version med markedsoplysninger og en version uden under en på forhånd fastlagt vurdering. Målet er ikke at insistere på, at ét design altid er overlegent. Det er at forstå, hvilke input der bidrager, og om det endelige system klarer sig bedre end det relevante alternativ, når omkostninger og driftsbegrænsninger er taget i betragtning.

Antag ikke, at uenighed i sig selv er værdifuld. En model, der producerer mere ekstreme sandsynligheder, kan skabe mange tilsyneladende handelsmuligheder, mens den er dårligt kalibreret. Værdien af uenighed afhænger af, om den understøttes af dokumentation og holder ved fremadrettet vurdering. Nyhed er ikke det samme som information.

Undgå også at behandle markedet som en perfekt lærer. Begrænset likviditet, uklare regler eller forældede priser kan begrænse dets nytte som reference. Et omhyggeligt system kan bruge markedsoplysninger og samtidig bevare disse forbehold. Sammenligningen bør være mellem klart definerede signaler, ikke mellem et angiveligt ufejlbarligt marked og en angiveligt alvidende model.

Hold prognosehjælp adskilt fra handelsbeføjelser

En AI-assistent kan hjælpe med at opsummere dokumentation eller foreslå en sandsynlighed uden tilladelse til at afgive ordrer. Handelsforløbet bør angive, hvilke handlinger der er tilladt, og kræve deterministiske kontroller af kontraktidentitet, pris, mængde og kontoeksponering. En overbevisende forklaring bør ikke tilsidesætte disse kontroller.

En anbefaling skal også have et udløb. Ny dokumentation, en ændret ordrebog eller en ændret konto kan gøre det oprindelige forslag ugyldigt. Genbrug af den samme sandsynlighed, efter at begivenhedsdefinitionen eller dataene er ændret, kan skabe en beslutning, som registreringen ikke understøtter. Systemet bør bevare den gamle prognose til vurdering, mens det forhindrer, at den ubemærket godkender ny eksponering.

Ordreforsøg og udførte handler forbliver adskilt fra prognosen. En kvittering beviser ikke et fuldført køb, og en usikker afsendelse bør undersøges under sin oprindelige identitet, før endnu et forsøg skaber mulig dublering. AI ændrer ikke disse driftsmæssige fakta. Kontoen skal afstemmes ud fra faktisk dokumentation.

Denne grænse gør assistenten mere nyttig, ikke mindre. Den kan fokusere på at indsamle og udfordre oplysninger, mens en klar kontrol styrer handlinger. Resultatet er en arbejdsgang, hvor læseren kan forstå både prognosens begrundelse og grænserne for, hvad systemet må gøre med den.

Adskil markeder om AI fra AI-genererede prognoser

En kontrakt om en AI-relateret milepæl er stadig en begivenhedskontrakt med sin egen definition. Spørgsmålet kan vedrøre en navngivet meddelelse, et målt testresultat eller en anden angivet hændelse. At emnet er AI, betyder ikke, at en AI-model er enestående kvalificeret til at forudsige det, eller at markedet selv bruger AI til at fastsætte priser.

Tekniske milepæle kan være særligt følsomme over for definitioner. En hævdet evne, en offentliggjort vurdering og et uafhængigt reproduceret resultat er forskellige begivenheder. Hvis kontrakten nævner én af dem, kan dokumentation for en anden være oplysende uden at opfylde betingelsen. Den, der laver prognosen, bør identificere den præcise fuldførelsestest, før den bredere udviklingshastighed diskuteres.

Dette forhindrer også cirkelslutninger. En models sikre forudsigelse om, at fremtidige modeller vil nå en milepæl, er ikke uafhængig dokumentation for, at milepælen vil blive nået. Det er en prognose, der skal vurderes. Den relevante støtte kommer fra den definerede dokumentation, der var tilgængelig på tidspunktet, og resultatet kommer fra kontraktens afgørelsesproces.

En læser kan derfor stille to særskilte spørgsmål: Hvad handler markedet om, og hvilken rolle spiller AI i analysen af det? Ved at holde svarene adskilt bliver det tydeligere, hvilke værktøjer der kræves, hvilke fejlkilder der er mulige, og hvilken slags dokumentation der ville understøtte en nyttig beslutning.

Læs AI-påstande ud fra deres demonstrerede rolle

En påstand om AI på prognosemarkeder bør sige, hvad der blev målt. Indsamlede systemet kilder mere nøjagtigt, forudsagde det sandsynligheder bedre, reducerede det udførelsesomkostninger, eller skabte det et stærkere nettohandelsresultat under realistiske antagelser? Dette er relaterede, men særskilte præstationer. Dokumentation for én bør ikke strækkes til at omfatte dem alle.

Se efter daterede prognoser, definerede spørgsmålsgrupper, passende sammenligningsgrundlag og en gennemsigtig behandling af omkostninger og beslutninger om at afstå. Vær forsigtig med brede rangordninger bygget på forskellige begivenheder eller skiftende vurderingsperioder. Et resultat kan være nyttigt inden for sit omfang uden at fastslå en universelt bedste model eller en varig handelsfordel.

AI-prognosemarkeder bliver lettere at vurdere, når markedspris, modelsandsynlighed, sprogligt udtrykt sikkerhed og handelsgodkendelse forbliver adskilt. Hver af dem kan bidrage til en beslutning, men hver kræver sin egen dokumentation. Denne adskillelse giver nyttig hjælp og ærlig vurdering, samtidig med at den bevarer den usikkerhed, der i første omgang gør en begivenhed til en prognose.