Backtest bao nhiêu lệnh là đủ tùy lợi thế bạn muốn tách khỏi may rủi lớn cỡ nào. Muốn chắc một tỷ lệ đúng cao hơn nền 10 điểm phần trăm cần khoảng 100 lệnh, 5 điểm khoảng 400 lệnh, 2 điểm khoảng 2.400 lệnh. Ba mươi lệnh gần như không nói được gì, và thử càng nhiều biến thể thì càng cần nhiều lệnh hơn.
Backtest Bao Nhiêu Lệnh Là Đủ?
Backtest là chạy một luật giao dịch trên dữ liệu giá cũ để xem nó đã cho kết quả gì. Câu hỏi backtest bao nhiêu lệnh là đủ không có một con số chung, vì nó tùy thứ bạn muốn biết: luật có hơn vào lệnh bừa không, và hơn bao nhiêu.
Lợi thế càng nhỏ thì càng cần nhiều lệnh để phân biệt nó với may rủi. Bảng dưới tính theo công thức khoảng tin cậy Wilson 95%, cho tỷ lệ đúng quanh 50%:
| Hơn Nền Bao Nhiêu | Cần Khoảng | Ví Dụ |
|---|---|---|
| 15 điểm phần trăm | 43 lần | Đúng 65% khi nền 50% |
| 10 điểm | 97 lần | Đúng 60% khi nền 50% |
| 5 điểm | 385 lần | Đúng 55% khi nền 50% |
| 3 điểm | 1.068 lần | Đúng 53% khi nền 50% |
| 2 điểm | 2.402 lần | Đúng 52% khi nền 50% |
Số lần nhỏ nhất để khoảng tin cậy 95% của tỷ lệ đúng không còn chứa nền, theo công thức Wilson. Đây là mức tối thiểu cho một phép đo duy nhất; thử nhiều biến thể thì cần nhiều hơn.
Lợi thế thật của một mẫu nến hay một mô hình giá, nếu có, thường chỉ vài điểm phần trăm. Vì vậy vài chục lệnh không đủ để biết gì, vài trăm lệnh chỉ đủ để thấy lợi thế lớn, còn muốn thấy lợi thế nhỏ phải có hàng nghìn lệnh.
Vì Sao 30 Lệnh Chưa Đủ
Hãy tung một đồng xu cân đối, thứ chắc chắn không có lợi thế nào. Ba mươi lần tung có thể ra 12 mặt ngửa hay 19 mặt ngửa mà không có gì bất thường. Hình dưới lặp lại phép thử đó rất nhiều lần với từng số lần tung:
Với 30 lần, tỷ lệ ngửa dao động rất rộng, và cứ vài lần thử lại có một lần ra từ 60% trở lên. Một luật giao dịch không có lợi thế, backtest trên 30 lệnh, cho tỷ lệ thắng nhảy y như vậy. Con số 30 hay được nhắc trong sách thống kê là cỡ mẫu tối thiểu để dùng vài công thức gần đúng, không phải số lệnh đủ để tin một hệ giao dịch.
Backtest Ngắn Trên Lệnh Thật
Đồng xu là trường hợp sạch. Lệnh thật còn nhảy hơn, vì kết quả theo R không chỉ có thắng và thua mà có cả những lệnh lãi rất lớn. Hình dưới lấy các lệnh của một luật mua kiểu breakout trên vàng, xếp theo thời gian, rồi tính R trung bình của từng đoạn lệnh liên tiếp:
Cùng một luật, không đổi gì, mà đoạn 30 lệnh này cho kết quả rất tốt, đoạn khác lại âm. Ai backtest đúng một đoạn ngắn sẽ kết luận theo đoạn mình rơi vào. Đoạn càng dài thì các kết quả càng co lại quanh con số của cả kỳ.
Cách Đọc Khoảng Tin Cậy Trong Bảng Số Đo
Khoảng tin cậy 95% là vùng mà tỷ lệ đúng thật của mẫu có thể nằm trong đó, nếu đo trên một mẫu dữ liệu khác cùng loại. Trên thước của site, nó là dải vàng; chấm đen là kết quả đo được; vạch đen đứng là tỷ lệ nền. Cách tính khoảng này, theo phương pháp Wilson, ghi ở trang Phương Pháp Đo.
- Vạch nền nằm trong dải vàng: chưa phân biệt được kết quả với may rủi. Đây là trường hợp của gần như mọi mẫu trên site.
- Dải vàng nằm hẳn trên vạch nền: kết quả cao hơn nền ngoài khoảng tin cậy. Một dòng như vậy đáng kiểm thêm, chưa phải phát hiện.
- Dải vàng nằm hẳn dưới vạch nền: mẫu đúng hướng kém hơn cả vào lệnh bừa.
- Dải rộng hay hẹp: dải rộng là ít lần xuất hiện. Bề rộng thu hẹp theo căn bậc hai của số lần, nên muốn hẹp đi một nửa phải đo gấp bốn.
Khoảng Tin Cậy Của R Trung Bình
R trung bình cũng có khoảng tin cậy, và nó rộng hơn cảm giác của hầu hết mọi người, vì kết quả mỗi lệnh lệch nhau cả vài R. Nửa bề rộng của nó gần bằng 1,96 nhân độ lệch chuẩn của R, chia căn bậc hai số lệnh. Với độ lệch như các lệnh breakout ở trên, muốn chắc một lợi thế cỡ một phần mười R mỗi lệnh cần hàng trăm tới cả nghìn lệnh, như phần dưới của hình.
Đó cũng là lý do một kỳ vọng tính từ ít lệnh ở công cụ kỳ vọng mỗi lệnh chỉ nên coi là ước lượng thô, chưa phải bằng chứng.
Overfitting Là Gì?
Overfitting, hay quá khớp, là khi một luật được chỉnh cho khớp với dữ liệu đã dùng để thử nó, tới mức học cả phần may rủi của dữ liệu đó. Luật quá khớp cho backtest rất đẹp rồi giao dịch thật kém hẳn, vì phần may rủi không lặp lại. Người ta còn gọi là curve fitting, hay data snooping khi nói về việc soi dữ liệu quá nhiều lần.
Cách quá khớp phổ biến nhất không cần phần mềm tối ưu nào: chỉ cần thử nhiều biến thể rồi giữ biến thể đẹp nhất. Mỗi biến thể là thêm một lần tung đồng xu. Với khoảng tin cậy 95%, cứ khoảng 20 lần đo một thứ không có lợi thế thì có một lần lọt ra ngoài khoảng chỉ nhờ may.
20 Biến Thể, Không Biến Thể Nào Có Lợi Thế
Hình dưới là một lần mô phỏng: 20 biến thể, cả 20 đều có tỷ lệ đúng thật bằng nền. Vẫn có một biến thể trông như vượt nền.
Nếu bạn là người thử 20 biến thể này, rất dễ chọn biến thể đẹp nhất, viết cho nó một lý do nghe hợp lý, kiểu khung này sạch hơn hay điều kiện này lọc nhiễu, rồi tin nó. Thử càng nhiều, biến thể đẹp nhất càng đẹp, mà vẫn chỉ là may.
Trên Site: Hàng Trăm Biến Thể
Mỗi mã trên site được đo kèm nhiều biến thể: đổi số cây giữ, đổi khung, thêm điều kiện, chạy trên EUR/USD để đối chứng. Hình dưới đặt khoảng tin cậy của mọi mã đã đo, trừ đi nền của từng mã:
Gần như mọi vạch cắt đường 0. Tính cả các biến thể, số dòng lọt ra ngoài khoảng tin cậy không vượt mức may rủi tự tạo ra. Ví dụ quen thuộc là biến thể trùm cả bóng cây trước của nến nhấn chìm giảm: nó nằm sát mép khoảng tin cậy, có lần đo lọt ra ngoài, có lần nằm trong. Một biến thể nằm ở mép như vậy, sau khi đã thử nhiều biến thể, chưa phải phát hiện.
Cách Backtest Để Không Tự Lừa Mình
- Viết luật trước khi nhìn kết quả. Điểm vào, cắt lỗ, chốt lời, hạn giữ đều phải viết thành câu không cần phán đoán.
- Đếm mọi lần luật xảy ra. Không chọn ví dụ bằng mắt, không bỏ những lần trông xấu.
- So với nền. Chạy cùng cách vào lệnh ở mọi cây trên cùng dữ liệu, cùng luật cắt lỗ, để biết vào lệnh bừa đã cho bao nhiêu.
- Ghi số biến thể đã thử. Thử 20 biến thể thì một biến thể vượt khoảng tin cậy là chuyện bình thường.
- Giữ một phần dữ liệu chưa nhìn. Chọn luật trên phần đầu, kiểm đúng một lần trên phần sau. Kết quả phần sau mới là con số đáng tin hơn.
- Báo đủ các cột. Số lần, tỷ lệ đúng, nền, khoảng tin cậy, R trung bình, R trung vị, R sau phí. Một con số đẹp đứng một mình thường đang giấu các cột kia.
Bộ kiểm thử chiến lược trong MT4 hay MT5 làm được phần chạy luật trên giá cũ, nhưng không tự làm các bước so với nền, đếm biến thể và giữ dữ liệu chưa nhìn. Phần đó là việc của bạn. Ghi từng lệnh vào nhật ký giao dịch và tập ra quyết định trên nến thật ở Phòng Luyện.
Sai Lầm Thường Gặp Khi Backtest
- Tin vài chục lệnh. Ba mươi lệnh cho tỷ lệ thắng nhảy rất xa, kể cả với đồng xu.
- Thử nhiều, khoe một. Chỉ báo biến thể đẹp nhất mà không nói đã thử bao nhiêu là cách nhanh nhất để tự lừa mình.
- Chỉnh thông số tới khi đẹp. Mỗi lần chỉnh là thêm một lần thử; luật càng nhiều thông số càng dễ quá khớp.
- So với 50% hay so với 0. Mốc đúng là kết quả vào lệnh bừa trên cùng dữ liệu.
- Bỏ phí. Spread, hoa hồng, swap trừ vào mỗi lệnh; luật cắt lỗ hẹp mất nhiều nhất, xem chi phí mỗi R.
- Nhìn trước tương lai. Dùng giá đóng của cây chưa đóng, hay mức cao thấp của cả ngày khi ngày mới bắt đầu, làm backtest đẹp mà không giao dịch được.
Một Kết Quả Backtest Đẹp Có Đáng Tin Không?
Đáng tin khi nó qua được ba lớp: đủ nhiều lệnh để khoảng tin cậy hẹp hơn lợi thế, vượt nền của chính dữ liệu đó, và giữ được trên dữ liệu không dùng để chọn ra nó. Thiếu lớp nào thì kết quả đó vẫn có thể chỉ là một lần tung đồng xu may.
Một backtest xấu cũng có giá trị: biết một luật không có lợi thế giúp bạn khỏi mất tiền thật để học điều đó. Phần lớn số đo trên site thuộc loại này, và chúng được giữ nguyên trên trang thay vì giấu đi. Đọc thêm chuỗi thua để biết hệ có lợi thế vẫn trông xấu thế nào trong những đoạn ngắn, và ngụy biện con bạc về cách não người đọc sai may rủi.
Kết Luận
Backtest bao nhiêu lệnh là đủ tùy lợi thế bạn muốn tách khỏi may rủi: lợi thế lớn cần vài trăm lệnh, lợi thế nhỏ cần hàng nghìn, còn ba mươi lệnh gần như không nói gì. Đọc khoảng tin cậy trong bảng số đo trước khi đọc con số: vạch nền nằm trong dải vàng là chưa có gì. Thử càng nhiều biến thể càng dễ gặp một biến thể đẹp nhờ may, đó là overfitting. Hai bài cùng chặng: tỷ lệ thắng và expectancy. Cách site đo nằm ở Phương Pháp Đo; tự thử kỳ vọng với số của bạn ở công cụ kỳ vọng mỗi lệnh.
Tự Kiểm Tra
Câu Hỏi Hay Gặp
Backtest 100 lệnh có đủ không?
Đủ để thấy một lợi thế lớn, cỡ mười điểm phần trăm trên tỷ lệ đúng, không đủ cho lợi thế vài điểm. Với R trung bình, 100 lệnh thường còn quá ít vì kết quả mỗi lệnh lệch nhau nhiều. Hãy xem khoảng tin cậy thay vì chỉ đếm lệnh.
Khoảng tin cậy 95% nghĩa là gì trong backtest?
Là vùng tính từ dữ liệu mà, nếu lặp lại phép đo trên nhiều mẫu khác cùng loại, khoảng 95% số vùng như vậy chứa tỷ lệ thật. Trong trading, câu hỏi thực dụng là tỷ lệ nền có nằm trong vùng đó không. Có thì chưa phân biệt được với may rủi.
Overfitting khác tối ưu hóa thế nào?
Tối ưu hóa là tìm thông số tốt nhất trên dữ liệu cũ. Overfitting là khi kết quả tốt đó đến từ may rủi của chính dữ liệu ấy. Cách phân biệt là kiểm trên phần dữ liệu không dùng để tối ưu: thông số quá khớp thường kém hẳn ở đó.
Forward test có thay được backtest không?
Forward test là chạy luật trên giá mới, sau thời điểm viết luật, bằng tài khoản thử hoặc tiền nhỏ. Nó là phần dữ liệu chưa nhìn tự nhiên nhất, nhưng cũng cần đủ nhiều lệnh như backtest; vài tuần forward test thường quá ít để kết luận.
Thử nhiều biến thể thì nên làm gì?
Ghi lại số biến thể đã thử, chọn trên một phần dữ liệu, rồi kiểm biến thể được chọn đúng một lần trên phần còn lại. Nếu chỉ một biến thể trong rất nhiều biến thể vượt nền, hãy coi đó là may cho tới khi nó lặp lại trên dữ liệu mới.
Nội dung chỉ nhằm mục đích giáo dục, không phải khuyến nghị mua, bán hay nắm giữ tài sản nào và không phải tư vấn đầu tư. Giao dịch ngoại hối, vàng, CFD và tài sản mã hoá thường dùng đòn bẩy, rủi ro cao, có thể mất toàn bộ vốn. Số đo là kết quả quá khứ, không bảo đảm kết quả tương lai. Đọc Cảnh Báo Rủi Ro
