Overfitting (ฟิตกับอดีตเกินไป)
นึกถึงนักเรียนที่ท่องเฉลยข้อสอบเก่าทั้งชุด ถ้าสอบข้อสอบเก่าอีกรอบก็ได้เต็ม 100 แต่พอข้อสอบใหม่เปลี่ยนโจทย์นิดเดียวก็สอบตก กฎเทรดที่ Overfit ก็เป็นแบบนี้เป๊ะ เข้ากับ 'ข้อสอบเก่า' ที่ชื่อว่ากราฟอดีตอย่างสมบูรณ์แบบ แต่ไร้พลังใน 'ข้อสอบใหม่' ที่ชื่อว่าอนาคต
ดูวิธีที่มันเกิดเป็นตัวเลข สมมติกฎ 'RSI ต่ำกว่า 30 แล้วซื้อ' เคยเกิด 500 ครั้งในอดีต อัตราชนะ 52% รู้สึกว่ายังไม่สวยเลยเติมเงื่อนไข — 'เฉพาะวันพุธ', 'เฉพาะช่วงดึก', 'เฉพาะตอน RSI ต่ำกว่า 28.3 เป๊ะ ๆ' ทำไปทำมาก็ได้ กฎอัตราชนะ 100% ที่ในอดีตเกิด 5 ครั้งแล้วขึ้นทั้ง 5 ครั้ง แต่นี่ไม่ใช่การค้นพบกฎของตลาด แค่ไล่ย้อนหาเงื่อนไขมาห่อ 5 จังหวะที่บังเอิญขึ้นในอดีตเท่านั้นเอง
เหตุผลที่เป็นแบบนี้ก็เพราะ ถ้าลองสูตรผสมเงื่อนไขกับตัวเลขเป็นร้อยเป็นพันแบบ ยังไงก็ต้องมีบางแบบที่เข้ากับอดีตได้ดีด้วยความบังเอิญล้วน ๆ ให้คน 1,000 คนโยนเหรียญ จะมีสักคนออกหัว 10 ครั้งติด คนนั้นไม่ใช่เซียนโยนเหรียญฉันใด กฎที่ได้แชมป์ผลงานอดีตจากสูตรผสมนับพัน ก็มีโอกาสสูงว่าเป็นแชมป์แห่งความบังเอิญ ไม่ใช่ฝีมือฉันนั้น
สัญญาณเตือน Overfitting มีอยู่ จำนวนเคสน้อย (ไม่ถึงหลักหลายสิบครั้ง), เงื่อนไขเจาะจงแปลก ๆ (อธิบายไม่ได้ว่าทำไมต้อง 28.3), ขยับตัวเลขนิดเดียวผลงานเปลี่ยนฮวบ (RSI 28 กำไรงามแต่ 30 เจ๊ง), เวิร์กเฉพาะบางช่วงเวลา — เข้าข่ายข้อใดข้อหนึ่งก็ควรสงสัยแล้ว
วิธีลดมันไม่มีอะไรหวือหวาเลย ทำกฎให้เรียบง่าย เก็บเคสให้เยอะพอ แบ่งข้อมูลเป็นช่วง ๆ แล้วเช็กว่าเวิร์กใกล้เคียงกันทุกช่วงไหม และรวมค่าธรรมเนียมเข้าไปเสมอ กฎที่ดีส่วนใหญ่อธิบายจบได้ในประโยคเดียว
What the data actually shows
Barobara วางกลไกกันหลุมพรางนี้ไว้สองชั้น หนึ่ง สูตรผสมที่มีเคสในอดีตไม่ถึง 40 ครั้งจะไม่เผยแพร่เลย — ยิ่งเคสน้อย ความบังเอิญยิ่งดูเหมือนฝีมือ สอง เราไม่ปิดบังข้อเท็จจริงที่ว่าการหดเป้าทำกำไรให้แคบ ๆ ทำให้อัตราชนะดูเป็น 90% ได้ กระบวนการที่อัตราชนะสูงขึ้นแต่ค่าคาดหวังพลิกเป็นลบ ดูได้จากเส้นโค้งจริงในหน้าสัญญาณแต่ละตัวของแคตตาล็อกเซ็ตอัป ถ้าไปเจอกลยุทธ์ที่ไหนชูอัตราชนะสูง ๆ ให้นึกถึงเส้นโค้งนี้ไว้Common misconceptions
'เงื่อนไขยิ่งเยอะยิ่งละเอียดยิ่งเป็นกลยุทธ์ที่ดี' — ตรงกันข้ามเลย เงื่อนไขเพิ่มขึ้นหนึ่งข้อ ความเสี่ยงที่จะเข้ากับแค่อดีตก็เพิ่มขึ้น กฎที่อยู่รอดได้นานส่วนใหญ่เรียบง่าย
'อัตราชนะในอดีต 90% ก็คือผ่านการพิสูจน์แล้ว' — เช็กก่อนว่ามาจากกี่เคส 9 ใน 10 ยังอยู่ในขอบเขตของความบังเอิญ แถมอัตราชนะยังปั้นให้สูงขึ้นได้ด้วยการหดเป้าทำกำไรอย่างเดียว ลำพังอัตราชนะจึงพิสูจน์อะไรไม่ได้เลย
FAQ
Q. จะเช็กยังไงว่ากลยุทธ์ของเรา Overfit หรือเปล่า?
ไม่มีวิธีสมบูรณ์แบบ แต่เช็ก 3 ข้อนี้ดู จำนวนเคสพอไหม (อย่างน้อยหลักหลายสิบครั้ง) เงื่อนไขเรียบง่ายพอจะอธิบายจบในประโยคเดียวไหม และขยับตัวเลขในกฎนิดหน่อยแล้วผลงานยังไม่พังทลายไหม ถ้าข้อใดข้อหนึ่งไม่ผ่าน ให้สงสัยไว้ก่อนว่าอาจเป็นกฎที่เข้ากับแค่อดีต
Q. รูปกำไรย้อนหลังสวย ๆ ที่กลุ่มเชียร์เทรดชอบโชว์ ก็เป็น Overfitting เหรอ?
มีความเป็นไปได้ว่าเป็นกฎที่จูนใส่กราฟอดีต หรือเป็น Cherry-picking เลือกโชว์เฉพาะไม้ที่กำไร เกณฑ์ตัดสินมีข้อเดียว — เขาเปิดเผยบันทึกทั้งหมดทั้งไม้ที่ถูกและผิดพร้อมเงื่อนไขหรือเปล่า ใบรายงานผลที่ไม่โชว์การกระจายทั้งหมด ไม่ใช่ใบรายงานผล