مدلی که روی گذشته خوب برازش شود لزوماً آینده را خوب پیشبینی نمیکند. برایِ همین معیارِ اصلیِ ما عملکردِ خارج از نمونه است: داده را به بخشِ برآورد و بخشِ آزمون تقسیم کنید و مدل را فقط روی بخشِ آزمون ارزیابی کنید.
معیارهایِ دقتِ پیشبینی
| معیار | فرمول | نکته |
|---|---|---|
| MAE | میانگین |e| | به مقدارهایِ پرت کمتر حساس است |
| RMSE | √(میانگین e²) | خطاهایِ بزرگ را بیشتر جریمه میکند |
| دقتِ جهتی | درصدِ پیشبینیهایِ درستجهت | برایِ معامله مهم است ولی اندازهٔ حرکت را نمیگوید |
| نسبتِ به مدلِ مبنا | RMSE مدل ÷ RMSE مدلِ ساده | کمتر از ۱ یعنی بهتر از مبنا |
همیشه یک مدلِ مبنا (benchmark) بگذارید: «پیشبینیِ فردا برابرِ امروز» (گامِ تصادفی) یا میانگینِ تاریخی. اگر مدل از مبنایِ ساده بهتر نباشد، پیچیدگیاش ارزشی ندارد.
بکتستِ قابلاعتماد
برایِ سری زمانی تقسیمِ تصادفیِ داده ممنوع است، چون آینده به گذشته نشت میکند. روشِ درست «ارزیابیِ پیشرونده» (walk-forward) است: مدل را روی پنجرهای از گذشته برآورد کنید، یک گام جلو بروید، مدل را دوباره برآورد کنید و تکرار کنید.
| خطا | توضیح |
|---|---|
| اریبیِ نگاه به آینده | استفاده از اطلاعاتی که در آن لحظه موجود نبود (قیمتِ تعدیلشدهٔ بعدی، میانگینِ مرکزی) |
| بیشبرازش و دستکاریِ داده | آزمونِ دهها ترکیبِ پارامتر و انتخابِ بهترین |
| اریبیِ بقا | فقط نمادهایی که هنوز وجود دارند در داده ماندهاند |
| نادیدهگرفتنِ هزینه | اسپرد، کارمزد و لغزش (slippage) سودِ کوچکِ مدل را صفر میکنند |
| شکستِ ساختاری | پارامترها در رژیمِ بازارِ جدید معتبر نیستند |
import numpy as np
from statsmodels.tsa.arima.model import ARIMA
errors = []
for t in range(300, len(r) - 1):
fit = ARIMA(r.iloc[:t], order=(1, 0, 0)).fit() # only data up to time t
pred = fit.forecast(1).iloc[0]
errors.append(r.iloc[t] - pred)
rmse = np.sqrt(np.mean(np.square(errors)))یادآوری: خروجیِ هر مدلِ آماری فقط ابزارِ کمکی است، نه توصیهٔ خرید و فروش. قبل از ورود به حسابِ واقعی نتیجه را روی حسابِ آزمایشی و با اندازهٔ کوچکِ معامله و مدیریتِ ریسکِ مشخص بیازمایید.
