Metodi ensemble nel machine learning: Bagging, Boosting & Random Forests
Ensemble learning = combinare più modelli per superare qualsiasi singolo. Intuizione base: errori diversi si annullano; segnali condivisi si amplificano.
Tre pilastri
1. Bagging (Bootstrap Aggregating)
- Creare B campioni bootstrap (casuali con reinserimento)
- Addestrare base learner su ciascuno
- Aggregare: voto maggioranza (classificazione) o media (regressione)
- Riduce varianza – stabilizza learner instabili (es. alberi profondi)
- Ammiraglia: Random Forest – bagging + sottoinsiemi feature casuali per split
2. Boosting (Correzione sequenziale)
- Addestrare weak learner sequenzialmente
- Ognuno si concentra sugli errori dei predecessori (dati ripesati)
- Aggregare: somma pesata
- Riduce bias – costruisce strong learner da weak ones
- Varianti: AdaBoost (pesi adattivi), Gradient Boosting (fit residui), XGBoost/LightGBM/CatBoost (implementazioni ottimizzate)
3. Stacking (Meta-learning)
- Addestrare base models diversi
- Addestrare meta-model sulle loro predizioni
- Cattura forze complementari
Perché gli ensemble vincono
- Errore di generalizzazione inferiore
- Robusti a outlier/rumore
- Gestiscono frontiere decisionali complesse
- Standard in competizioni Kaggle & ML produzione
Trade-off: complessità, calcolo, interpretabilità. Ma per potenza predittiva? Ensemble.