Solanan kaupankäyntialgoritmit voivat tuottaa erilaisia historiatuloksia syistä, joilla on vähän tekemistä niiden ydinkaavojen laadun kanssa. Yksi voi saada aiempaa tietoa, käydä kauppaa pienemmällä määrällä, sivuuttaa epäonnistuneet yritykset tai olettaa rajattoman pääoman. Erot selittämättä jättävä vertailu ei kerro lukijalle todella merkityksellistä toimintaa.
Hyödyllinen tutkimus yhtenäistää ensin yhteisiksi tarkoitetut oletukset. Se säilyttää sitten algoritmeille itselleen kuuluvat erot ja selittää seuraukset. Tarkoitus ei ole pakottaa joka sääntöä samaan toimintaan vaan erottaa aidot strategiavalinnat koeasetelman satunnaisista eduista.
Artikkeli havainnollistaa menetelmää kahdella kuvitteellisella algoritmilla A ja B. Kaikki määrät ja tulokset on keksitty selitystä varten. Ne eivät ole mitattua suorituskykyä, suosituksia tai näyttöä kummankaan rakenteen toimivuudesta todellisella tilillä.
Solanan kaupankäyntialgoritmien vertailu tarvitsee yhden kysymyksen
Määritä vertailun ratkaisema kysymys. Se voi arvioida kiinteää tutkimustehtävää paremmin tukevaa sääntöä, rajallista budjettia ilmoitetussa mallissa tehokkaammin käyttävää sääntöä tai arvioitavampia ehdotuksia tuottavaa sääntöä. Eri kysymykset tarvitsevat eri mittarit.
Laaja toisen algoritmin paremmuusväite voi peittää ristiriitaiset tavoitteet. Toiminnan minimointiin suunniteltu sääntö voi tuottaa vähemmän tilaisuuksia kuin laajan kattavuuden sääntö. Tietyn positionhallintatehtävän sääntöä ei pidä rangaista siitä, ettei se löydä asiaan liittymättömiä uusia omaisuuseriä.
Aiempi Solanan koeasetelman opas selittää kiinteää kelpoisuutta ja aikarajoja. Vertailu tarvitsee tätä kuria ennen tuloslaskentaa. Kysymys, joukko ja arviointi-ikkuna tulee ilmoittaa ennalta, jottei raportti valitse onnistumisen määritelmää nähtyään voittajan.
Lukitse yhteinen tietovirta
Molempien algoritmien tulee saada samat havainnot samoilla saatavuusajoilla, ellei tiedonsaanti ole vertailun nimenomainen kohde. Myöhään saapuvan historiatietueen tulee myöhästyä molemmille. Korjattu mint-yhteys ei saa olla toiselle säännölle aiemmin saatavilla kätevän tietueyhdistyksen vuoksi.
Säilytä yhteinen syötekuva ja sen rajoitukset. Algoritmit voivat valita virrasta eri piirteitä taustanäytön rajan pysyessä yhteisenä. Näin erimielisyydet voidaan tulkita sääntötoiminnaksi eikä selittämättömäksi tiedon eroksi.
Yhteinen virta tarvitsee myös infrastruktuuritason puuttuvan tiedon käytännön. Lähteen pettäessä kumpikaan algoritmi ei saa hiljaa ihanteellista korviketta, ellei tutkimus mallinna kykyä nimenomaisesti molemmille. Algoritmikohtaista pidättäytymistä voidaan sitten arvioida samaa tausta-aukkoa vasten.
Pidä algoritmiversiot täydellisinä
Versio sisältää joukon, piirteet, kynnykset, päätösajoituksen, mitoitussäännön, vanhenemisen ja puuttuvan näytön käsittelyn. Nimettyjen kaavojen vertailu ympäröivien sääntöjen vapaasti muuttuessa jättää liikaa piiloviritysvaraa. Säilytä kunkin ajon täydet määritelmät.
Jos yksi algoritmi käyttää pidempää historiaa, anna sille vain kunkin päätöshetken todella saatavilla ollut historia. Sen alustusjakso kuuluu kattavuuteen. Älä anna täysin alustettua piirrettä testin alkuun, ellei tila olisi voinut olla olemassa ilmoitetussa asetelmassa.
Solanan kaupankäyntisignaalibotin opas selittää versiovaihtojen ja syötekatkojen tuotosvaikutukset. Vertailun tulee säilyttää rajat tulossarjassa. Useiden versioiden yhdistäminen yhden algoritminimikkeen alle voi peittää näennäisen edun tuottaneet valinnat.
Käytä samaa ehdokasjoukkoa
Molempien algoritmien tulee kohdata sama kelpoinen tutkimusjoukko päätössääntöjen vertailussa. Jos yksi käyttää rajatumpaa strategiakohtaista osajoukkoa, kirjaa valinta osaksi sen toimintaa. Älä poista sen poissulkemia ehdokkaita yhteisestä vertailujoukosta jälkikäteen.
Näin raportti erottaa kattavuuden ehdollisesta suorituskyvystä. Algoritmi A voi toimia monille ehdokkaille B:n pidättäytyessä useimmista. B:n valmistuneet tulokset voivat näyttää vahvemmilta sen tarjotessa vähemmän toteuttamiskelpoisia päätöksiä. Molemmat asiat kuuluvat vertailuun.
Sisällytä myöhemmin epäonnistuvat, passivoituvat tai selvittämättömiksi jäävät ehdokkaat, jos ne kuuluivat rajaukseen silloin. Vain selviytyjistä rakennettu joukko voi suosia sattumalta niitä valinneita sääntöjä. Arvioinnin tulee käyttää historiallista tietorajaa eikä nykyistä kätevää hakemistoa.
Yhtenäistä päätöksen merkitys
Yksi algoritmi voi tuottaa pisteen minuutin välein ja toinen yhden jaksotason ehdotuksen. Suora tuotosmäärien vertailu harhauttaisi. Määritä arviointiyksikkö ja kytke kunkin algoritmin tuotokset siihen keksimättä riippumattomia havaintoja toistoviesteistä.
Yksikkö voi olla ehdokasarvio, position avaustilaisuus tai rajattu vähennysjakso. Valinnan tulee vastata tutkimuskysymystä. Säilytä raakatuotokset kytkennän tutkimiseen ja erojen jäljittämiseen todelliseen sääntötoimintaan.
Toistuva signaali ei välttämättä ole uusi rahoitettu toimi. Jos käytäntö sallii vain yhden avoimen aikomuksen omaisuuserää kohti, vertailun tulee soveltaa rajoitetta johdonmukaisesti. Muuten tutkimus voi palkita saman ehdon toistotunnistuksesta simuloiden toimia, joita sääntö ei todella valtuuttaisi.
Anna algoritmeille vastaavat tilit
Aloita erilliskäytäntöjen vertailussa jokainen algoritmi samoilla tiliresursseilla ja ulkoisen kassavirran oletuksilla. Seuraa sen omaa johdonmukaista polkua positioiden, varausten, kulujen ja selvittämättömien yritysten läpi. Käytännöt voivat sitten erota päätöstensä vuoksi, mitä tutkimus aikoo tutkia.
Älä anna yhden algoritmin täyttää tiliään tappioiden jälkeen tai sivuuttaa avointen positioiden sitomaa pääomaa toisen kunnioittaessa rajoja. Erot muuttavat koetta. Ne tulee yhtenäistää tai nimetä erillisen vertailun kohteeksi.
Aiempi Solanan yhteisbudjetin opas selittää päällekkäisten ehdotusten resurssikilpailun. Erilliskaupat ilman yhteistä tilimallia summaava vertailu voi raportoida tuloksia, joita mikään yksi rahoitettu työnkulku ei olisi voinut tuottaa.
Erota kiinteä mitoitus algoritmin omasta mitoituksesta
Mitoituksesta on kaksi hyödyllistä kysymystä. Kiinteän koon vertailu voi eristää valintakäyttäytymistä soveltamalla samaa määräsääntöä molempiin. Omien käytäntöjen vertailu voi arvioida kunkin algoritmin omaa mitoitusta osana kokostrategiaa.
Älä sekoita kysymyksiä yhteen selittämättömään tulokseen. Jos A käyttää kiinteää mitoitusta ja B dynaamista allokaatiota, ero voi tulla mitoituksesta ehdokasvalinnan sijaan. Raportoi molemmat osat tutkimuksen pystyessä siihen johdonmukaisesti.
Dynaamisen säännön tulee käyttää vain päätöshetken saatavilla olevaa tietoa ja nykytiliä. Se ei saa kasvattaa myöhemmin voittavien kauppojen kokoa jälkilaskennalla. Mitoitus on oman tietorajan strategiapäätös eikä tulosten jälkeen sovellettava kosmeettinen kerroin.
Sovella yhtä toteutusmallia
Käytä samoja noteerausaikoja, tuettua markkinarajausta, tuoreusvaatimuksia ja tuloskäytäntöä päätössääntöjen vertailussa. Yksi ei saa ihanteellista välitöntä toteumaa toisen odottaessa määräkohtaista noteerausta realistisella viiveellä.
Toteutusmalli voi silti antaa eri toteuttamiskelpoisuuden algoritmien valitessa eri omaisuuseriä, määriä tai aikoja. Erot ovat strategioiden merkityksellisiä seurauksia. Olennaista on mallin samat säännöt vastaavissa tilanteissa.
Aiempi Solanan toteutusajoituksen opas erottaa lähetyksen ja vahvistuksen. Vertailun tulee säilyttää yritetyt, epäonnistuneet, tuntemattomat ja täsmäytetyt tulokset johdonmukaisesti. Vaikeiden yritysten poistaminen vain toisen tietueesta luo keinotekoisen edun.
Pidä kulut vertailukelpoisina ja jäljitettävinä
Kunkin kulukomponentin tulee käyttää samaa määritelmää algoritmien välillä. Erota noteerauksiin sisältyvät kulut erillismenoista ja säilytä alkuperäisyksiköt sekä muunto-oletukset. Yritysmäärän ero voi tuottaa aidon kulueron, kun kirjanpitokäsittelyn ero on arviointivirhe.
Solana dokumentoi verkkotason transaktiomaksut, mutta koko kulumallin on vastattava tutkittua työnkulkua. Älä käytä yhtä yleistä kiinteää maksua selittämättömänä korvikkeena joka reitille, määrälle ja yritystulokselle. Solanan maksudokumentaatio.
Jos kuluja mallinnetaan, sovella samaa mallinnustapaa ja raportoi herkkyys. Pienellä uskottavalla muutoksella kääntyvä suotuisa perustulos tarvitsee varauksellisen tulkinnan. Vertailun tulee nimetä järjestystä ohjaavat oletukset pitämättä järjestystä vakaana tosiasiana.
Solanan kaupankäyntialgoritmien tuloserittely alkaa vaiheketjusta
Laske jokaiselle algoritmille yhteiset tilaisuudet, kelpoiset päätökset, ehdotukset, valtuutetut aikomukset, yritykset ja täsmäytetyt tulokset. Kukin vaihe selittää valmistuneen otoksen eroa alkujoukosta. Ketjun tulee sisältää pidättäytymis- ja hylkäyssyyt.
Oletetaan kuvitteellisen A:n tuottavan yhteisistä tilaisuuksista kahdeksan ehdotusta, joista kuusi valmistuu toimiksi. B tuottaa viisi, joista neljä valmistuu. Määrät eivät osoita paremmuutta mutta tunnistavat eri kattavuus- ja toteuttamiskelpoisuuskuvioita, jotka pelkkä loppuvoitto peittäisi.
Solanan kaupankäyntialgoritmien tuloserittelyn tulee liittää erot sääntövalintoihin. Ehdottiko A enemmän laajemman kelpoisuuden vuoksi? Välttikö B tukemattomat markkinat? Menettikö toinen enemmän tilaisuuksia vanhan näytön vuoksi? Hyödyllinen raportti selittää polun yhteisistä syötteistä eri toimijoukkoihin.
Käy läpi pieni tulosvertailu
Oletetaan A:n kuuden valmistuneen toimen tuottavan kolmekymmentä noteerausyksikköä bruttotulosten nettoa ja kahdeksantoista yksikköä mallinnettuja kokonaiskuluja. Kulujen jälkeinen tulos on kaksitoista yksikköä. B:n neljä valmistunutta toimea tuottavat kaksikymmentäneljä bruttoyksikköä ja kahdeksan yksikköä kuluja, jolloin jää kuusitoista.
Kuvitteellisessa esimerkissä A:n bruttotulos on suurempi mutta B:n kulujen jälkeinen tulos suurempi. A:n kulujen jälkeinen keskitulos valmistunutta toimea kohti on kaksi ja B:n neljä yksikköä. Keskiarvot sivuuttavat yhä kunkin tilipolun vaatiman ajan ja pääoman, jotka kokonaisarvion on säilytettävä.
Oletetaan nyt A:lla olevan neljä positiivista valmistunutta toimea ja B:llä kaksi. Osuudet ovat noin 66,7 % ja 50 %. Suurempi osuus kuuluu A:lle ja suurempi nettosumma B:lle. Siksi osumatarkkuus, bruttotulos, kulut ja tilitulos on raportoitava erikseen.
Selitä valintavaikutukset ennen kaavan kiittämistä
Jos B toimii vain helpoimmin tulkittaville ehdokkaille, sen valmistunut otos voi erota A:sta huomattavasti. Vahvempi ehdollinen tulos voi heijastaa rajatumpaa valintaa eikä samojen tapausten parempaa ennustetta. Raportoi tarvittaessa yhteisten vertailukelpoisten tilaisuuksien tulokset kunkin koko käytännön kattavuuden rinnalla.
Yhteisten tilaisuuksien analyysi vastaa rajatumpaan kysymykseen. Se ei saa korvata koko tilisimulaatiota, sillä pääomapolut ja myöhempi kelpoisuus voivat riippua aiemmista valinnoista. Käytä sitä vianetsintänäkymänä rajatun otoksen rajoitukset selvästi kertoen.
Erottelu auttaa löytämään parannuslähteitä. A voisi hyötyä tiukemmasta kelpoisuudesta, B voisi uhrata liikaa kattavuutta ja molemmat voivat toimia samoin yhteisissä tapauksissa. Vertailusta tulee täsmällisten tutkimuskysymysten lähde eikä yhden kokonaisluvun ratkaisema kilpailu.
Kohdista mitoitusvaikutukset kirjoittamatta historiaa uudelleen
Kiinteän koon vianetsintä voi näyttää, kuinka suuri osa erosta liittyy algoritmin omaan mitoitukseen, mutta kyse on vaihtoehtoisen tapahtumakulun tutkimuksesta. Sen tulee käyttää johdonmukaista tilimallia ja omia toteuttamiskelpoisuustarkistuksia. Koon muutos voi muuttaa noteerauksia, kuluja ja myöhempien ehdotusten rahoitettavuutta.
Älä vain kerro alkuperäisiä kauppatuloksia uudella koolla olettaen muiden ehtojen pysyvän samoina. Lähennys voi auttaa rajattua tutkivaa kysymystä, mutta se tulee nimetä ja testata työnkulun määräriippuvaisia osia vasten.
Solanan kaupankäyntijärjestelmän opas käsittelee analyysia tukevia pysyviä tietueita. Aiotun ja valtuutetun koon, yritystietojen ja täsmäytettyjen määrien säilytys erottaa algoritmin mitoituksen allokoijan muutoksista ja toteutustuloksista.
Sisällytä pitoaika ja resurssien sitoutuminen
Algoritmi voi antaa suotuisan toimikohtaisen tuloksen sitoen pääomaa paljon pidempään. Kirjaa positioiden ja varausten resurssien sitoutumiskesto ja vaikutus myöhempiin tilaisuuksiin. Tilipolku voi hylätä hyvät ehdotukset aiempien sitoumusten pysyessä avoimina tai selvittämättöminä.
Sama koskee toimintatyötä. Tiheämmät signaalit voivat vaatia enemmän noteerauspyyntöjä, arviointiaikaa ja häiriökäsittelyä. Resurssien merkitessä aiotulle työnkululle mittaa ne yhtäläisissä oloissa ilmaisuuden oletuksen sijaan.
Vertailu ei saa keksiä yleistä vaihtokurssia työn ja tuoton välille. Esitä ulottuvuudet selvästi ja anna ilmoitetun päätöstavoitteen määrätä niiden tärkeys. Täysin miehitetylle tutkimustiimille hyödyllinen käytäntö voi olla epäkäytännöllinen päivittäin vain muutamia tapahtumia arvioivalle ihmiselle.
Käsittele kopioitua toimintaa omana sääntöperheenään
Kopiointialgoritmi valitsee lähdelompakon toiminnan havaintoja, mikä tuo lisäajoitus- ja tulkintaoletuksia. Tasapuolisen vertailun tulee säilyttää viiveet ja seuraajan omat tilirajat. Se ei saa antaa seuraajalle lähteen aiempaa toteutushintaa tai tuntematonta omistushistoriaa.
Solanan kopiointikaupankäyntiohjelmiston opas selittää aikomusten rekonstruointia ja mitoituseroja. Ne voivat hallita tuloksia, joten kopioitua toimintaa käyttävää sääntöä tulee verrata seuraajan toteuttamiskelpoisella tietovirralla ja toteutusmallilla.
Myös lähdevalinta kuuluu algoritmiin. Lähteen valitseminen vasta sen parhaan historiajakson näkemisen jälkeen luo eri tutkimuksen kuin etukäteen valitun seuraaminen. Raportin tulee yksilöidä lähdejoukon valintahetki ja -tapa ja säilyttää epäonnistuneet tai passiiviset lähteet alkuperäisen käytännön sisältäessä ne.
Tutki keskittyminen omaisuuserissä ja jaksoissa
Kokonaisetu voi tulla yhdestä omaisuuserästä tai lyhyestä markkinaympäristöstä. Arvioi ehdokkaiden ja ajanjaksojen osuudet ja tunnista suurimmat ajurit. Pienen tulosjoukon hallitsema tulos tarvitsee eri tulkinnan kuin laajasti jakautuva kuvio.
Älä oleta monia rivejä riippumattomaksi näytöksi. Toistuvat päätökset liittyvissä tokeneissa voivat jakaa markkina-ajurin ja päällekkäiset tulosikkunat tehdä tuloksista riippuvia. Kuvaa rakenne vertailun vahvuuden tulkinnassa.
Hyödyllinen vianetsintä poistaa tai raportoi erikseen vaikutusvaltaiset havainnot valitsematta suosikkipäätelmää parhaiten tukevaa versiota. Tavoite on ymmärtää riippuvuutta eikä valmistaa vakautta hankalia tapauksia poistamalla. Säilytä alkuperäinen kokonaistulos vianetsintänäkymien rinnalla.
Varaa myöhempi näyttö lopulliseen vertailuun
Kehitystiedon avulla valittujen versioiden, oletusten ja mittarien jälkeen arvioi kiinteä vertailu myöhemmässä koskemattomassa ikkunassa. Jos tutkimusta muutetaan ikkunan katselun jälkeen, dokumentoi muutos ja tunnusta saman näytön nyt tukevan kehitystä.
Myöhemmän arvion tulee säilyttää sama tietoraja ja tilirajoitteet. Lähdetuen tai joukon muutos voi olla perusteltu mutta on kirjattava vertailujoukon muuttuessa. Raportti ei saa esittää muuttunutta koetta suorana jatkona ilman selitystä.
Mikään rajallinen myöhempi ikkuna ei takaa tulevaa suorituskykyä. Se voi antaa lisänäyttöä kiinteiden käytäntöjen toiminnasta oloissa, joita ei käytetty valintaan. Päätelmän vahvuus riippuu rajauksesta, kestosta, riippuvuudesta ja toteutus- sekä kirjanpito-oletusten laadusta.
Pidä tapausten ratkaiseminen johdonmukaisena tietueiden välillä
Epäselvät tulokset tarvitsevat saman arviointikriteerin molemmille algoritmeille. Jos transaktiota ei voi täysin luokitella, käytä samaa avointen luokkaa ja jatkokäsittelyä. Älä tutki epävarmuutta suosikkialgoritmille innokkaammin antaen toiselle epäsuotuisat oletusarvot.
Ihmisharkintaa tarvittaessa säilytä näyttö ja päätössyy. Toinen arvioija voi tutkia otoksen tietämättä tapausten algoritmia. Näin epäjohdonmukaiset luokitussäännöt löytyvät ennen muuttumistaan näennäisiksi tuloseroiksi. Yhtäläiset oletukset sisältävät epävarmuuden ratkaisun eivätkä vain simulaation numeroasetuksia.
Raportoi eron taustamekanismi
Yhtäläisten oletusten strategia-arvion tulee kertoa eroava tulos ja miksi näyttö viittaa eroon. Valinta, tiheys, mitoitus, toteuttamiskelpoisuus, kulut ja resurssien sitoutuminen ovat mahdollisia osatekijöitä. Raportti voi nimetä useita pakottamatta selitystä yhteen suosikkikaavaan.
Kuvitteellinen A:n ja B:n esimerkki näyttää erittelyn arvon. Useammat ehdotukset, valmistuneet toimet ja suurempi positiivisten osuus eivät taanneet suurempaa kulujen jälkeistä nettotulosta. Lukija tarvitsee koko ketjun tulkitakseen vertailua ja päättääkseen lisätutkimuksesta.
Solanan kaupankäyntialgoritmeja kannattaa verrata täydellisinä käytäntöinä, jotka käyttävät yhteistä näyttöä täsmällisillä rajoilla. Yhtäläiset oletukset tekevät eroista tasapuolisia ja erittely ymmärrettäviä. Tulos on seuraavaa versiota ohjaava tutkimuslöydös myös rehellisen päätelmän ollessa näennäisen voittajan riippuvuus epävarmoista oletuksista.