อัลกอริทึมซื้อขายคริปโตเป็นขั้นตอนที่ชัดเจนสำหรับเปลี่ยนข้อมูลที่มีเป็นการตัดสินใจ ขั้นตอนอาจเรียบง่าย เช่น เปรียบเทียบข้อมูลสังเกตปัจจุบันกับเกณฑ์ที่กำหนดไว้ก่อน หรือซับซ้อน เช่น จัดอันดับสินทรัพย์จำนวนมากด้วยการวัดหลายแบบ ความซับซ้อนเปลี่ยนปริมาณงานที่ต้องใช้ประเมินขั้นตอน แต่ไม่ได้ยืนยันว่าผลลัพธ์มีประโยชน์
จุดเริ่มต้นที่ดีคือสมมติฐานที่กล่าวด้วยภาษาธรรมดา อธิบายพฤติกรรมตลาดที่คาดไว้ เหตุใดหลักฐานที่มีอาจระบุพฤติกรรมนั้นได้ และข้อมูลสังเกตใดจะนับเป็นสิ่งที่ขัดแย้งกับแนวคิด จากนั้นแปลงข้อความนั้นเป็นกฎโดยไม่แอบให้อัลกอริทึมใช้ข้อมูลที่ผู้ปฏิบัติงานจริงจะยังไม่มี
คู่มือนี้ใช้ตัวอย่างสมมติเพื่อเชื่อมแนวคิดวิจัยกับการตัดสินใจที่นำไปใช้ได้ ตัวอย่างอธิบายวิธีและการคำนวณ ไม่ใช่แนะนำกลยุทธ์ คำถามหลักคืออัลกอริทึมตอบคำถามที่กำหนดด้วยหลักฐานที่ใช้ได้ และสร้างผลลัพธ์ที่ประเมินอย่างตรงไปตรงมาได้หรือไม่
อัลกอริทึมซื้อขายคริปโตเริ่มจากแนวคิดที่พิสูจน์ว่าผิดได้
สมมติฐานควรเจาะจงพอที่จะล้มเหลวได้ “บางครั้งราคามีแนวโน้ม” เป็นคำบรรยายกว้าง ๆ แต่ไม่ได้ระบุการตัดสินใจ ข้อความที่แคบกว่าอาจเสนอว่า ในกลุ่มสินทรัพย์ที่กำหนด การเปลี่ยนแปลงที่สังเกตแบบหนึ่งตามมาด้วยการเคลื่อนไหวที่วัดได้ภายในช่วงเวลาที่ระบุ บ่อยกว่าที่ตัวเปรียบเทียบพื้นฐานที่เลือกไว้ทำนาย
ระบุช่วงเวลาและผลลัพธ์ก่อนดูผล รูปแบบที่ล้มเหลวในช่วงหนึ่งชั่วโมงอาจดูสำเร็จ หากผู้ประเมินเลือกจุดที่ดีที่สุดในสัปดาห์ถัดไปภายหลัง การเปลี่ยนผลลัพธ์หลังเห็นเส้นทางราคาเปลี่ยนการทดสอบเป็นเรื่องเล่าจากการมองย้อนหลัง
เขียนคำอธิบายทางเลือกที่แข่งขันกัน สัญญาณอาจเพียงระบุความผันผวนที่สูงขึ้น สินทรัพย์อ้างอิงที่แข็งขึ้น หรือช่วงที่ตลาดทั้งหมดขึ้น การทดสอบทางเลือกเหล่านั้นช่วยระบุว่าอัลกอริทึมเพิ่มข้อมูลเหนือเงื่อนไขพื้นหลังที่เห็นชัดหรือไม่
คู่มือวิจัยกลยุทธ์ เปรียบเทียบหลายสมมติฐานภายใต้สมมติฐานประกอบร่วมกัน การเปรียบเทียบนั้นมีความหมายก็ต่อเมื่อแต่ละแนวคิดมีเงื่อนไขชัดเจนที่จะทำให้ถูกปฏิเสธ
กำหนดรายการผลการตัดสินใจให้ชัด
ผลออกของอัลกอริทึมควรเป็นข้อเสนอ คะแนน หรือผลที่ไม่ลงมือทำ ซึ่งมีความหมายชัดเจน หากให้คะแนน 0.8 ต้องนิยามว่านั่นเป็นอันดับที่ปรับให้อยู่ในมาตรฐาน ค่าประมาณของแบบจำลอง หรือความน่าจะเป็นที่มีหลักฐานการสอบเทียบรองรับ ตัวเลขที่ดูคล้ายกันอาจแทนคำกล่าวอ้างที่ต่างกันมาก
ในตัวอย่างที่ใช้กฎ ผลออกอาจระบุว่าสินทรัพย์ผ่านเงื่อนไขเข้าเกณฑ์สามข้อและข้ามเกณฑ์ ณ เวลาสังเกตหนึ่ง นั่นคือข้อมูลสังเกตแบบมีเงื่อนไข นโยบายบัญชีอีกส่วนเป็นตัวตัดสินว่าข้อเสนอนั้นใช้เงินได้หรือไม่
ใส่เวลาหมดอายุและเงื่อนไขที่ทำให้ใช้ไม่ได้ อัลกอริทึมที่ระบุรูปแบบอายุสั้นไม่ควรปล่อยข้อเสนอมีผลไม่มีกำหนดระหว่างรอเงินทุนพร้อม หากข้อมูลเข้าที่จำเป็นเปลี่ยนอย่างมีนัยสำคัญ ข้อเสนออาจต้องประเมินใหม่
วงจรบอตซื้อขายคริปโตอัตโนมัติ อธิบายว่าข้อเสนอเชื่อมกับอำนาจและการดำเนินคำสั่งอย่างไร การแยกรายการผลการตัดสินใจไว้ทำให้งานวิจัยอัลกอริทึมยังทดสอบได้ โดยไม่แสร้งว่าผลบวกทุกครั้งกลายเป็นการซื้อขายจริง
ใช้เฉพาะข้อมูลที่มีในขณะนั้น
เหตุและผลในอัลกอริทึมเริ่มจากนาฬิกาของข้อมูล การตัดสินใจ ณ เวลาที่ระบุใช้ได้เฉพาะข้อมูลที่มาถึงและถูกตีความแล้ว ณ จุดนั้น เวลาประทับในฐานข้อมูลไม่ใช่เวลาเดียวกับที่ระบบรู้ข้อเท็จจริงนั้นครั้งแรกเสมอไป
พิจารณาข้อมูลสังเกตรายชั่วโมงสมมติ หากอัลกอริทึมใช้จุดสูงสุดและต่ำสุดของชั่วโมงที่จบแล้ว ก็ไม่อาจตัดสินใจนั้นตั้งแต่ต้นชั่วโมง เพราะช่วงเวลาทั้งหมดยังไม่เกิดขึ้น การตัดสินใจที่ใช้ได้เร็วที่สุดต้องอยู่หลังช่วงสิ้นสุดและหลังได้รับข้อมูลที่จำเป็น
การแก้ไขข้อมูลต้องจัดการคล้ายกัน หากแหล่งข้อมูลแก้ค่าในภายหลัง บันทึกวิจัยย้อนหลังควรรักษาสิ่งที่มีให้ใช้เดิม หรือแยกชุดข้อมูลที่แก้แล้วให้ชัด การทดสอบด้วยความรู้ในอนาคตที่ทำความสะอาดแล้วอาจทำให้อัลกอริทึมดูตัดสินใจได้ชัดเจนกว่าที่จะทำได้จริง
คู่มือการทำซ้ำอัลกอริทึมตลาดคาดการณ์ สำรวจวินัยด้านหลักฐานนี้ในตราสารอีกประเภท ข้อกำหนดทั่วไปเหมือนกัน คือการตัดสินใจต้องทำซ้ำได้จากข้อมูลที่มีจริงในขณะนั้น
หาข้อยุติตัวตนสินทรัพย์ก่อนคำนวณคุณลักษณะ
คุณลักษณะคือค่าที่คำนวณจากข้อมูล เช่น ผลตอบแทนในช่วงหนึ่งหรือสเปรดเทียบกับราคา ความหมายขึ้นอยู่กับสินทรัพย์ สถานที่ซื้อขาย และหน่วยต้นทาง การคำนวณอาจถูกต้องเชิงตัวเลขแต่กล่าวถึงตราสารผิดตัว
กำหนดกลุ่มสินทรัพย์ด้วยตัวตนที่แน่นอนและวันที่เริ่มรวมเข้า หากงานวิจัยย้อนหลังมีเฉพาะสินทรัพย์ที่อยู่รอดถึงวันนี้ ตัวเลือกที่ล้มเหลวหรือถูกถอดออกอาจหายไปจากตัวอย่าง การขาดนั้นอาจบิดเบือนพฤติกรรมที่ปรากฏของกฎค้นพบหรือคัดเลือก
จัดการสินทรัพย์อ้างอิงอย่างสอดคล้องกัน ผลตอบแทนของโทเคนเทียบกับสินทรัพย์ผันผวนอีกตัวรวมการเปลี่ยนแปลงของทั้งสองฝั่งของคู่ การแปลงข้อมูลสังเกตเป็นหน่วยอ้างอิงร่วมอาจช่วยเปรียบเทียบได้ แต่การแปลงเองก็ต้องมีเวลาประทับและแหล่งข้อมูล
รักษาสินทรัพย์ที่ไม่รองรับให้มองเห็นเป็นรายการที่ตัดออก แทนที่จะแอบฝืนรวมในการคำนวณคุณลักษณะเดียวกัน ขอบเขตที่อัลกอริทึมใช้ได้เป็นส่วนหนึ่งของนิยาม ผลนอกขอบเขตนั้นคือสิ่งที่ยังไม่ทราบ ไม่ใช่หลักฐานว่ากฎเดียวกันใช้ทั่วไปได้โดยอัตโนมัติ
ทำให้ทุกคุณลักษณะอธิบายได้
เริ่มจากชุดคุณลักษณะขนาดเล็กที่ตรวจการคำนวณด้วยมือได้ เช่น ผลตอบแทนอย่างง่ายจากราคาสมมติ 50 ไป 52 คือ 4 เปอร์เซ็นต์ก่อนต้นทุน ค่านั้นไม่ได้บอกเส้นทางระหว่างข้อมูลสังเกต หรือราคาที่บัญชีหนึ่งจะซื้อขายได้
เขียนช่วงสังเกต กฎสุ่มตัวอย่าง และนโยบายค่าที่หายไปสำหรับแต่ละคุณลักษณะ ค่าเฉลี่ยเคลื่อนที่จากข้อมูลสังเกตที่ใช้ได้สิบค่าต่างจากค่าเฉลี่ยของช่วงคงที่สิบช่วงเมื่อบางช่วงขาดไป ไม่ควรปล่อยให้ความหมายใดขึ้นอยู่กับค่าเริ่มต้นของการนำไปใช้
อย่าใช้ช่องข้อมูลที่คำนวณมาแล้วเพียงเพราะแหล่งข้อมูลตั้งชื่อให้ดูดี ให้เข้าใจตัวหารและตารางอัปเดตของมัน ตัววัดปริมาณอาจรวมขอบเขตตลาดต่างจากอนุกรมราคาที่ใช้ข้างกัน
เอกสารคุณลักษณะช่วยระบุความซับซ้อนที่ซ้ำซ้อน หากข้อมูลเข้าหลายตัวเป็นการแปลงจากการเคลื่อนไหวต้นทางเดียวกัน การเพิ่มเข้าไปอาจสร้างภาพว่ามีการยืนยันอิสระโดยไม่ได้เพิ่มหลักฐานใหม่ ควรตัดสินอัลกอริทึมจากสิ่งที่เรียนรู้ ไม่ใช่จำนวนคอลัมน์ที่ใช้
แปลงภาษาเป็นเงื่อนไขที่แน่นอน
คำอย่างแข็งแกร่ง ฉับพลัน และมีสภาพคล่องต้องมีนิยามเชิงปฏิบัติก่อนกลายเป็นกฎ เกณฑ์อาจคงที่ เทียบกับประวัติล่าสุด หรือขึ้นอยู่กับข้อมูลสังเกตอื่น เลือกรูปแบบเพราะมันสื่อสมมติฐาน แล้วบันทึกพารามิเตอร์ที่ใช้
กฎทะลุกรอบสมมติอาจกำหนดให้ข้อมูลสังเกตที่ครบช่วงแล้วอยู่เหนือกรอบที่กำหนดไว้ก่อน มีจำนวนข้อมูลสังเกตขั้นต่ำ และมีสเปรดต่ำกว่าเพดานที่นิยามไว้ เงื่อนไขเหล่านี้อธิบายคำถามต่างกัน ได้แก่ รูปแบบ ความเพียงพอของหลักฐาน และความเป็นไปได้ที่จะลงมือ
ตัดสินว่าการเท่ากันนับด้วยหรือไม่ เงื่อนไขที่ใช้มากกว่าอย่างเคร่งครัดอาจทำงานต่างจากมากกว่าหรือเท่ากับเมื่อราคาขยับเป็นขั้น รายละเอียดเหล่านี้สำคัญตรงขอบเขต แม้ดูไม่สำคัญในคำอธิบายด้วยถ้อยคำ
กำหนดการพร้อมกระตุ้นอีกครั้งด้วย หากเงื่อนไขยังเป็นจริงต่อเนื่องตลอดข้อมูลสังเกตหลายครั้ง อัลกอริทึมให้ข้อเสนอเดียวหรือหลายข้อเสนอ คำตอบกระทบความถี่หมุนเวียนการซื้อขายและความเสี่ยง จึงควรอยู่ในข้อกำหนดสมมติฐาน แทนที่จะเกิดจากวงจรซอฟต์แวร์ที่เขียนไว้โดยบังเอิญ
แยกสัญญาณออกจากขนาดสถานะ
อัลกอริทึมระบุเงื่อนไขได้โดยไม่ต้องตัดสินว่าบัญชีควรผูกพันเงินเท่าใด การแยกหน้าที่เหล่านี้ทำให้ประเมินชัดเจนขึ้น สัญญาณตอบว่าข้อมูลสังเกตเข้าเกณฑ์หรือไม่ ส่วนนโยบายขนาดตอบว่าการตอบสนองที่อนุญาตควรเป็นอย่างไร
ใช้สมมติฐานการกำหนดขนาดร่วมกันเมื่อเปรียบเทียบสัญญาณ มิฉะนั้นกฎหนึ่งอาจดูดีกว่าเพราะได้เงินทุนมากกว่าหรือมีขีดจำกัดความเสี่ยงต่างกัน การกำหนดขนาดด้วยมูลค่าเงินเท่ากันในตัวอย่างสมมติเป็นหลักการวิจัยหนึ่งที่เลือกได้ แม้ไม่เหมาะกับทุกวัตถุประสงค์
การกำหนดขนาดต้องคิดถึงสภาพคล่องและภาระผูกพันที่ค้างอยู่ด้วย กฎที่เสนอจำนวนเท่ากันในตลาดลึกกับตลาดที่สภาพคล่องเบาบางสร้างผลต่อการดำเนินคำสั่งต่างกัน ควรวัดผลเหล่านั้น แทนที่จะซ่อนไว้ในอัตราสำเร็จของสัญญาณ
กิจวัตรการซื้อขายคริปโตอัตโนมัติ อธิบายว่าข้อเสนอตามเวลาและตามเหตุการณ์แย่งทรัพยากรบัญชีกันอย่างไร การออกแบบอัลกอริทึมควรให้ข้อมูลมากพอสำหรับนโยบายทรัพยากรนั้น โดยไม่ให้กฎวิจัยลบล้างขีดจำกัดของเจ้าของบัญชี
รวมต้นทุนในการทดสอบการตัดสินใจ
การเคลื่อนไหวของราคาก่อนหักต้นทุนไม่ใช่ผลลัพธ์บัญชี ให้รวมสเปรด ค่าซื้อขาย ผลกระทบต่อตลาด ต้นทุนเครือข่ายเมื่อเกี่ยวข้อง และต้นทุนอื่นใดที่กระบวนการซึ่งรองรับต้องจ่ายจริง อย่าใช้ค่าประมาณที่มองโลกดีค่าเดียวกับทุกตลาด หากเงื่อนไขการดำเนินคำสั่งต่างกันอย่างมีนัยสำคัญ
ในกรณีสมมติ การเคลื่อนไหวก่อนต้นทุนที่คาดไว้ 0.7 เปอร์เซ็นต์อยู่คู่กับค่าประมาณต้นทุนไปกลับ 0.5 เปอร์เซ็นต์ ส่วนที่เหลือ 0.2 เปอร์เซ็นต์ยังเป็นเพียงค่าประมาณก่อนคิดความไม่แน่นอนและการดำเนินคำสั่งที่เสียเปรียบ หากต้นทุนเพิ่มเป็น 0.8 เปอร์เซ็นต์ สมมติฐานก่อนต้นทุนเดิมก็ไม่ผ่านเกณฑ์ต้นทุนอย่างง่ายนั้นอีกต่อไป
สมมติฐานต้นทุนต้องมีวันที่อ้างอิงและวิธีคำนวณ ต้นทุนบางส่วนทราบได้จากเงื่อนไขบัญชี ส่วนอื่นขึ้นอยู่กับขนาดคำสั่งและสภาพคล่องขณะนั้น ให้รักษาความแตกต่างนี้ในรายงาน
วงจรการซื้อขายคริปโตอัตโนมัติ อธิบายว่าเหตุใดการดำเนินคำสั่งแบบรวมศูนย์กับธุรกรรมบนเชนจึงต้องใช้ข้อมูลสังเกตต่างกัน แบบจำลองต้นทุนของอัลกอริทึมควรสะท้อนเส้นทางจริง แทนยืมสมมติฐานที่ใช้สะดวกจากสภาพแวดล้อมอื่น
อัลกอริทึมซื้อขายคริปโตต้องมีงบความซับซ้อน
ขีดจำกัดความซับซ้อนของอัลกอริทึมซื้อขายคริปโตมีมากกว่าเวลาประมวลผล ให้นับข้อมูลที่ต้องพึ่งพา พารามิเตอร์ที่ปรับได้ กรณีพิเศษ และปริมาณประวัติที่ต้องใช้เริ่มกฎ ทุกสิ่งที่เพิ่มสร้างอีกทางให้พฤติกรรมงานวิจัยกับการทำงานจริงต่างกัน
ความซับซ้อนในการคำนวณยังสำคัญ กฎที่เปรียบเทียบสินทรัพย์ทุกตัวกับตัวอื่นทุกตัวเติบโตต่างจากกฎที่ประเมินแต่ละสินทรัพย์แยกกัน ในกลุ่มสมมติ 100 สินทรัพย์ มีคู่ที่ไม่สนลำดับ 4,950 คู่ เมื่อขยายเป็น 1,000 สินทรัพย์ จะมี 499,500 คู่ ซึ่งเป็นปริมาณงานที่เพิ่มมากกว่าสิบเท่าอย่างมาก
การคำนวณนั้นไม่ได้พิสูจน์ว่าการวิเคราะห์เป็นคู่ไม่เหมาะสม แต่แสดงเหตุผลว่าการออกแบบวิจัยควรประมาณปริมาณงานก่อนสมมติว่าจะขยายโดยคงจังหวะดำเนินงานเดิมได้ ผลที่ล่าช้าอาจไม่ตอบคำถามที่กลยุทธ์ตั้งใจถามอีกแล้ว
เลือกความซับซ้อนที่แก้ปัญหาซึ่งบันทึกไว้ หากคุณลักษณะหรือแขนงเพิ่มเติมไม่ทำให้วัตถุประสงค์บนข้อมูลนอกตัวอย่างพัฒนาดีขึ้นภายใต้ต้นทุนสมจริง การเก็บไว้เพิ่มภาระบำรุงรักษาโดยยังไม่มีคุณค่าที่พิสูจน์แล้ว
กำหนดเงื่อนไขล้มเหลวที่สังเกตได้
เงื่อนไขล้มเหลวของอัลกอริทึมซื้อขายคริปโตควรครอบคลุมทั้งสมมติฐานและการนำไปใช้ กลยุทธ์อาจล้มเหลวทางเศรษฐกิจขณะทำตรงตามที่เขียนทุกอย่าง หรืออาจล้มเหลวด้านปฏิบัติงานก่อนแนวคิดตลาดได้ทดสอบอย่างเป็นธรรม ผลเหล่านั้นต้องตอบสนองต่างกัน
ความล้มเหลวของสมมติฐานอาจเป็นการที่ข้อได้เปรียบเหนือตัวเปรียบเทียบพื้นฐานที่กำหนดล่วงหน้าหายไปในช่วงภายหลังเมื่อหักต้นทุน ความล้มเหลวด้านปฏิบัติงานอาจเป็นข้อมูลสังเกตที่จำเป็นมาช้าเกินไป คุณลักษณะทำซ้ำไม่ได้ หรือระบบจริงใช้กฎปัดเศษต่างกัน
ระบุว่าจะเกิดอะไรเมื่อเข้าเงื่อนไขล้มเหลว ระบบอาจหยุดสร้างข้อเสนอ จำกัดกลุ่มสินทรัพย์ให้แคบลง หรือกลับไปวิจัย ไม่ควรตีความผลน่าผิดหวังโดยอัตโนมัติว่าเป็นเหตุเพิ่มความเสี่ยงหรือผ่อนเกณฑ์ที่ตั้งใจใช้ทดสอบแนวคิด
เก็บหลักฐานที่เกี่ยวกับความล้มเหลวแต่ละกรณี ป้ายสั้น ๆ มีประโยชน์ต่อการติดตาม แต่ต้องมีข้อมูลสังเกตและการตั้งค่าต้นฉบับเพื่อวินิจฉัยว่ากฎ ข้อมูล หรือแบบจำลองดำเนินคำสั่งทำให้เกิดผลนั้น
ประเมินเทียบกับตัวเปรียบเทียบพื้นฐานที่เรียบง่าย
การทดสอบสมมติฐานของอัลกอริทึมซื้อขายคริปโตต้องมีการเปรียบเทียบที่ตอบว่าขั้นตอนนั้นเพิ่มอะไร กฎซับซ้อนควรเทียบกับทางเลือกที่ง่ายกว่าโดยใช้กลุ่มสินทรัพย์ เวลา ข้อจำกัดทรัพยากร และสมมติฐานต้นทุนเดียวกัน
ตัวเปรียบเทียบพื้นฐานอาจไม่ซื้อขายเลย ถือการจัดสรรคงที่ หรือใช้เกณฑ์ที่ง่ายกว่า ขึ้นอยู่กับคำถามวิจัย สิ่งเหล่านี้เป็นเครื่องมือประเมิน ไม่ใช่คำแนะนำ ประเด็นสำคัญคือตัวเปรียบเทียบต้องได้รับการคิดต้นทุนและโอกาสอย่างเป็นธรรม
ผลสัมบูรณ์ที่ดีในช่วงตลาดโดยรวมขึ้นอาจไม่ได้แสดงการคัดเลือกที่มีประโยชน์ ในทางกลับกัน กฎเชิงป้องกันอาจลดความเสี่ยง จึงต้องประเมินกับวัตถุประสงค์ที่ให้คุณค่าพฤติกรรมนั้น กำหนดวัตถุประสงค์ก่อนตัดสินว่าอะไรนับเป็นการพัฒนาดีขึ้น
คู่มือกลยุทธ์เหรียญมีม แสดงว่าสมมติฐานการเข้าและออกสร้างกฎที่ครบถ้วนอย่างไร การเทียบตัวเปรียบเทียบพื้นฐานควรรักษาสมมติฐานเหล่านั้น หรืออธิบายให้แน่นอนว่าเหตุใดความแตกต่างจึงเป็นส่วนหนึ่งของสมมติฐานที่กำลังทดสอบ
แยกการพัฒนากับการประเมิน
ใช้ประวัติที่มีส่วนหนึ่งพัฒนากฎ แล้วใช้ข้อมูลสังเกตภายหลังประเมิน การปรับเกณฑ์ซ้ำหลังตรวจช่วงประเมินทำให้ช่วงนั้นกลายเป็นข้อมูลพัฒนาเพิ่มเติม ป้ายชื่อบนชุดข้อมูลไม่อาจรักษาความเป็นอิสระได้หลังข้อมูลนั้นมีอิทธิพลต่อการตัดสินใจ
บันทึกว่าลองกฎแปรผันไปกี่แบบ การเลือกแบบดีที่สุดจากความพยายามจำนวนมากอาจสร้างผลย้อนหลังน่าประทับใจโดยบังเอิญ กฎที่เลือกควรเผชิญหลักฐานใหม่ และรายงานวิจัยไม่ควรซ่อนการค้นหาที่ทำให้ได้กฎนั้น
สำหรับการตัดสินใจตามลำดับเวลา ให้รักษาลำดับก่อนหลัง การประเมินควรเลียนแบบการเรียนรู้จากข้อมูลก่อนหน้าแล้วตัดสินใจภายหลัง หากช่วงผลลัพธ์ทับซ้อนกัน ให้พิจารณาว่าตัวอย่างใช้ข้อมูลร่วมกันจนขนาดตัวอย่างที่ปรากฏใหญ่กว่าหลักฐานอิสระที่มีจริงหรือไม่
บันทึกวิจัยที่มีประโยชน์รวมกฎแบบที่ล้มเหลวและเหตุผลที่ละทิ้งไว้ด้วย วิธีนี้ป้องกันไม่ให้แนวคิดน่าผิดหวังเดิมกลับมาด้วยชื่อที่ต่างเล็กน้อย และให้ผู้ทบทวนเห็นกระบวนการพัฒนาอย่างตรงไปตรงมาขึ้น
เปรียบเทียบความตรงกันของการตัดสินใจย้อนหลังและระบบจริง
ก่อนประเมินผลตอบแทนบัญชี ให้ตรวจว่าระบบจริงคำนวณคุณลักษณะและการตัดสินใจที่ตั้งใจไว้ ส่งข้อมูลสังเกตที่บันทึกชุดเดียวกันเข้าเส้นทางวิจัยและเส้นทางปฏิบัติงาน แล้วเปรียบเทียบผลออก ณ จุดที่กำหนดชัดเจน
ความแตกต่างอาจมาจากค่าที่หายไป การจัดเวลาให้ตรงกัน การปัดเศษ การแก้แหล่งข้อมูล หรือการเริ่มต้น หน้าต่างข้อมูลเคลื่อนที่ของระบบจริงอาจมีข้อมูลสังเกตที่ใช้ได้น้อยกว่ารุ่นวิจัย ค่าเริ่มต้นที่ดูไม่มีพิษภัยอาจเปลี่ยนอย่างมีนัยสำคัญว่าเหตุการณ์ใดเข้าเกณฑ์
รักษาการเปรียบเทียบไว้ที่ระดับการตัดสินใจ สองระบบอาจให้ผลรวมคล้ายกันแต่ไม่ตรงกันในเหตุการณ์รายตัว ความไม่ตรงกันเหล่านั้นสำคัญ เพราะเผยว่ากฎที่ทดสอบกับกฎที่ใช้งานไม่ใช่ขั้นตอนเดียวกัน
เมื่อความตรงกันล้มเหลว ให้ตรวจสอบก่อนตีความผลงานจริง มิฉะนั้นอาจยกความดีให้สมมติฐานที่ไม่เคยนำไปใช้จริงเมื่อผลดี และอาจแก้ข้อกำหนดที่ถูกต้องโดยไม่จำเป็นเมื่อผลเสีย
ทบทวนการตัดสินใจเชิงตัวเลขหนึ่งครั้งให้ครบ
พิจารณากฎสมมติที่สังเกตการเคลื่อนไหวจาก 100 เป็น 104 ซึ่งเพิ่มขึ้น 4 เปอร์เซ็นต์ และเสนอซื้อขายเฉพาะเมื่อค่าประมาณต้นทุนไปกลับต่ำกว่า 0.6 เปอร์เซ็นต์ สมมติว่าค่าประมาณต้นทุนปัจจุบันคือ 0.4 เปอร์เซ็นต์ และนโยบายบัญชีอนุญาตจำนวนที่ขอ
ข้อมูลสังเกตผ่านเงื่อนไขที่ระบุ แต่นั่นไม่ได้ยืนยันผลตอบแทนในอนาคต การเคลื่อนไหว 4 เปอร์เซ็นต์เกิดขึ้นแล้ว สมมติฐานต้องนิยามแยกว่าทำนายพฤติกรรมภายหลังแบบใดและในช่วงใด การสับสนผลตอบแทนอดีตกับผลตอบแทนอนาคตที่คาดไว้เป็นข้อผิดพลาดเชิงแนวคิดที่พบบ่อย
ต่อมาให้ราคาเสนอที่ปรับใหม่ทำให้ค่าประมาณต้นทุนเป็น 0.9 เปอร์เซ็นต์ รูปแบบตลาดยังเหมือนเดิม แต่ข้อเสนอไม่ผ่านเงื่อนไขดำเนินคำสั่ง ผลที่ถูกต้องคือไม่มีการซื้อขายที่ได้รับอนุญาตภายใต้กฎที่ระบุ ไม่ใช่เปลี่ยนเพดานต้นทุนย้อนหลัง
ท้ายที่สุด ลองสมมติว่าข้อมูลมาถึงหลังช่วงตัดสินใจที่ข้อเสนออนุญาต ข้อมูลสังเกตย้อนหลังยังอยู่ในบันทึกได้ ขณะที่การกระทำปัจจุบันถูกปฏิเสธ ตัวอย่างนี้เชื่อมเหตุและผล ต้นทุน และการหมดอายุไว้ในการตัดสินใจที่ตรวจสอบได้ครั้งเดียว
คำถามว่าบอตซื้อขายคริปโตใช้ได้จริงหรือไม่ ต้องแยกการดำเนินคำสั่งที่เชื่อถือได้ออกจากกลยุทธ์ทำกำไร และประเมินทั้งสองกับทางเลือกที่นิยามชัดเจน
จบงานวิจัยด้วยคำกล่าวอ้างที่มีขอบเขต
การศึกษาที่เสร็จแล้วควรระบุให้แน่นอนว่าสังเกตอะไร ใช้สมมติฐานใด และอะไรยังไม่ทราบ อาจรายงานว่ากฎทำงานสอดคล้องบนข้อมูลที่ระบุ หรือว่าตัวอย่างภายหลังไม่สนับสนุนสมมติฐานเดิม ทั้งสองข้อความไม่จำเป็นต้องกลายเป็นคำกล่าวทั่วไปเกี่ยวกับตลาด
รักษาข้อกำหนดอัลกอริทึม รุ่นข้อมูล ประวัติพารามิเตอร์ และวิธีประเมิน ผู้ทบทวนอีกคนควรทำซ้ำลำดับการตัดสินใจได้โดยไม่พึ่งความจำหรือกราฟที่เลือกหลังเห็นผล
หากหลักฐานสนับสนุนให้ทำงานต่อ ให้กำหนดความไม่แน่นอนถัดไปที่จะตรวจสอบ อาจเป็นต้นทุนดำเนินคำสั่ง พฤติกรรมในสภาวะตลาดอื่น หรือความเชื่อถือได้ในการปฏิบัติงาน การขยายการใช้งานก่อนตอบคำถามเหล่านั้นเปลี่ยนความเสี่ยงบัญชีโดยไม่ได้ทำให้งานวิจัยหนักแน่นขึ้น
อัลกอริทึมมีประโยชน์เมื่อความหมาย หลักฐาน และข้อจำกัดชัดพอให้ทดสอบ วินัยในการระบุขอบเขตเหล่านั้นคือสิ่งที่เปลี่ยนแนวคิดซื้อขายที่น่าสนใจเป็นขั้นตอนที่ประเมิน บำรุงรักษา และปฏิเสธได้เมื่อจำเป็น