Chỉ số đánh giá

MAPE

Sai số phần trăm tuyệt đối trung bình(MAPE)đo mức độ sai số theo tỷ lệ phần trăm chứ không phải giá trị thực tế Về cơ bảnMAE, nhưng sai số tuyệt đối của mỗi dữ liệu là giá trị thực(Giá trị tuyệt đối)

Tôi nghĩ đây là số liệu phức tạp nhất mà tôi từng thấy Tôi luôn gặp khó khăn khi đánh giá mọi thứ bằng thước đo này(Tôi hy vọng bạn không phiền,)Tôi có thể hơi xúc động khi nói về số liệu này

Điểm

1. Nó phổ biến tỷ lệ cá cược trực tiếp giới kinh doanh Vì nó được hiển thị dưới dạng phần trăm nên rất dễ hiểu và dễ sử dụng Ví dụ) “Lỗi tỷ lệ cá cược trực tiếp mô hình dự đoán là trung bìnhⅹ%”
2. Giá trị càng nhỏ thì càng tốt100%Xin lưu ý rằng bạn có thể nhận được nhiều điểm hơn
3. Tất cả các lỗi phần trăm đều có cùng trọng số20%là10%lỗi về2Tệ gấp đôi
4. MAPE không coi số lượng hoặc đơn vị là sai sót10,000Đối với giá trị đô la thực tế1,000Lỗi đô la là “1,000$/10,000$ =10%”, nhưng “1,000,000$ /10,000,000$ =10%" tỷ lệ cá cược trực tiếp các ví dụ khác,0.1Lỗi tuyệt đối so với đô la0.2Nếu tính bằng đô laMAPElà200%từ ví dụ trước20Tệ gấp đôi Và cả khi tối ưu hóa20Có trọng lượng gấp đôi Điều này có thể dẫn đến sai số hàng triệu hoặc hàng tỷ đối với một số giá trị, nhưng sai số ở mức độ nhỏ đối với tỷ lệ phần trăm, dẫn đến báo cáo sai sót không đầy đủ Tất cả các lỗi đều liên quan đến phép đo thực tế
5. MAPE không thể được xác định khi giá trị thực tế bằng 0 Có một số cách để giải quyết vấn đề này Ví dụ: xóa số đo bằng 0 khỏi phép tính hoặc thêm các ràng buộc Tuy nhiên, tất cả các phương pháp đều có nhược điểm, vì vậy nếu có nhiều dữ liệu bằng 0MAPEkhông được khuyến khích Kiểm soát trung bình lỗi phần trăm tuyệt đối sẽ được thảo luận sau(SMAPE)là phù hợp tỷ lệ cá cược trực tiếp trường hợp này Các lựa chọn thay thế khác là lỗi phần trăm tuyệt đối có trọng số(WAPE)Có Về cơ bảnMAPE, ngoại trừ tất cả các lỗi và giá trị thực tế được tính tổng trước để tính tỷ lệ giữa tổng sai số tuyệt đối với tổng giá trị thực tế Bằng cách này,(Tất nhiên là phụ thuộc vào dữ liệu)Có ít khả năng giá trị đo được tiến tới 0, nhưng đối với dữ liệu riêng lẻWAPEsẽ gần như biến mất, dữ liệu có sai số lớn sẽ bị bỏ qua và không còn phụ thuộc vào dữ liệu riêng lẻ, gây khó khăn cho việc nắm bắt sự biến thiên của biến mục tiêu Nói cách khác, nó hơi quá nhạy cảm với những thay đổi của biến mục tiêu
6. RMSE vàMAENó cũng dễ bị ảnh hưởng bởi các ngoại lệ Có một hoặc hai lỗi lớnMAPElà"Không nổi giận"Nếu giá trị đo thực tế cũng lớn thì sẽ phát sinh vấn đề từ việc phân phối biến mục tiêu(Vui lòng tham khảo điểm tiếp theo)。
7. Nếu biến mục tiêu khó dự đoán do dữ liệu có phạm vi lớn và độ lệch chuẩn bao gồm nhiều số 0 và giá trị cực nhỏ,MAPEtừ phần trăm nhỏ đến phần trăm lớn"Nổ"Tôi không thể tin được, nhưng thật đáng buồn nhiều lầnMAPEnhưng1000000000%Ví dụ: các trường hợp sử dụng như dự đoán lãi lỗ hàng ngày cho một danh mục đầu tư chứng khoán lớn là rất khó Một ngày0.03Bạn có thể kiếm được một đô la vào ngày hôm sau10,000Bạn có thể mất đô la(*Thuật toán của chúng tôi có độ chính xác cao nên nếu bạn sử dụng sản phẩm của chúng tôi thì chuyện như thế này sẽ không dễ xảy ra 😊 😊)Vì vậy, đây là giá trị hoàn hảo dựa trên hiệu suất tỷ lệ cá cược trực tiếp quá khứ100,000Nếu đồng đô la là giá trị được dự đoán cho ngày hôm sau thì kết quả là0.01Giả sử bạn chỉ kiếm tiền bằng đô la tỷ lệ cá cược trực tiếp trường hợp nàyMAPElà “999999.99$/0.01 = 9,999,999,900%”! Khi biến mục tiêu rộng và có mức tăng đột biến không mong muốnMAPElà vô ích Ngoài ra, với điều nàyMAPELogic tối ưu hóa sẽ không còn hoạt động và sẽ chỉ nhận giá trị dự đoán cố định tỷ lệ cá cược trực tiếp những trường hợp này, giải pháp tối ưu là thêm một giá trị không đổi cho tất cả các biến mục tiêu sao cho các số đủ lớn để tính phạm vi giá trị có thể có của các biến mục tiêu Tôi đặt giá trị nàyThử nghiệmNếu giá trị này quá lớn, mô hình sẽ không thể học được độ phân tán của các giá trị dự đoán và nếu nó quá nhỏMAPEvẫn giữ giá trị khá lớn multipleThử nghiệmđược yêu cầu Đừng quên trừ giá trị gia tăng sau khi đưa ra dự đoán
8. MAPE cũng khó tối ưu hóa
9. Logic tối ưu hóa có sẵn tỷ lệ cá cược trực tiếp một số gói(Ví dụ:Tensorflow/Keras、LightGBM)Điều bạn phải nhớ làMAPErất khó và yêu cầu tối ưu hóa các siêu tham số khác để hoạt động tốt, vì vậy việc tối ưu hóa này có thể không phải lúc nào cũng hiệu quả

Thử nghiệm

MAPE①RMSE/MSE、②MAEThử nghiệmđã được thực thi Dưới đây là kết quả

MAPElà giá trị thấp nhất cho đến nay16.77%MAElà1998.4tạiMAEcủaThử nghiệm(1,883)Tệ hơn nữaRMSElà3812.6Tiếp theoRMSEcủaThử nghiệm(36588)Tệ hơn Một lần nữaMAPETối ưu hóa làMAPEvà chọn những cầu thủ ghi bàn khácThử nghiệmCả về mặt thực nghiệm và giá trị thực tế,MAPEKết quả tối ưu hóa làMAENó gần với kết quả tối ưu hóa Tuy nhiên, lưu trữID：39/Bộ phậnID：3

Đặc điểm nổi bật của biểu đồ là hầu như không có dữ liệu nào có sai số bằng 0 Chuỗi dự đoán gần với chuỗi đo được nhưng chúng không trùng nhauRMSEvàMAEcủa2Có nhiều chỗ tỷ lệ cá cược trực tiếp logic tối ưu hóa có lỗi bằng 0, nhưngMAPElàRMSE

Thêm một ví dụ nữa trước khi chuyển sang phần tiếp theo Tập dữ liệu thử nghiệm được sử dụng để chấm điểm là từ các cửa hàng khác nhau/Theo tổ hợp bộ phận16,280Có một dòngMAPElà16.77%2012/03/08cửa hàngID：10/Bộ phậnID：2dữ liệu là113,930.5tạiAI không cần người láilà112,740.76dòng nàyMAPElà1.04%Giả sử có nhiều đơn hàng trả lại vào ngày này và doanh số bán hàng thực tế là0.01Nếu là một đô la vào ngày này(dòng này)củaMAPElà1,127,407,600%Và toàn bộ mô hình MAPE cho tất cả các hàng là69,767.00%! Một kết quả dự đoán sai cho một giá trị đo nhỏ có trọng số rất lớn tỷ lệ cá cược trực tiếp logic tính toán của MAPE, khiến độ chính xác tổng thể của mô hình có vẻ rất thấp

Khi nào nên sử dụng

Lý tưởng để sử dụng khi biến mục tiêu có ít biến thiên và độ lệch chuẩn nhỏ Biến mục tiêu là một giá trị dương, không có đột biến bất ngờ và không có sự bất thường nghiêm trọng tỷ lệ cá cược trực tiếp phân phối Cũng tốt nếu lỗi có thể được giải thích dễ dàng bằng cách sử dụng chỉ báo phần trăm và nếu điều đó được những người tham gia dự án ưa thích

Tiêu đề gốc

(Chính thức)Blog H2Oai

Marios Michailidis