Ouvrages recommandés
Ce cours ne remplace aucun manuel : il en condense quelques-uns. Les ouvrages ci-dessous sont classés dans l'ordre où il est utile de les ouvrir, du plus proche du cours au plus éloigné. Chaque fiche indique ce que le livre apporte que les autres n'apportent pas, et les chapitres à lire en priorité. Les couvertures renvoient vers la fiche du livre sur Amazon ; quatre de ces ouvrages sont par ailleurs disponibles gratuitement et légalement en ligne, les liens sont donnés.
Les deux premiers accompagnent utilement le semestre, l'un pour la théorie, l'autre pour la pratique. Les trois suivants se lisent après, et il n'est pas nécessaire de les ouvrir tous : les deux ouvrages d'apprentissage profond couvrent largement le même terrain.
1. Kay, la référence du cours
Steven M. Kay, Fundamentals of Statistical Signal Processing
Volume I, Estimation Theory (1993, Amazon) et Volume II, Detection Theory (1998, Amazon), Prentice Hall.
Ce cours suit ces deux volumes de près : les notations de la page Notations en sont reprises, le chapitre 2 correspond au volume I et le chapitre 3 au volume II. Kay écrit pour des ingénieurs du signal, pas pour des statisticiens : chaque résultat est dérivé pas à pas, puis appliqué à un problème concret de radar, de sonar ou de communication. C'est l'ouvrage à consulter pour approfondir un point précis du cours, ou pour retrouver une démonstration que nous avons admise. En contrepartie, le vocabulaire de l'apprentissage automatique en est absent, et l'approche bayésienne y reste marginale.
2. James et ses coauteurs, la mise en pratique
Gareth James, Daniela Witten, Trevor Hastie, Robert Tibshirani et Jonathan Taylor, An Introduction to Statistical Learning with Applications in Python
2023, Springer (Amazon) ; le PDF est en libre accès sur statlearning.com, avec les jeux de données et les carnets Python.
C'est le plus accessible de cette liste, et le seul qui se lise sans papier ni crayon. Les auteurs y renoncent délibérément aux démonstrations pour se concentrer sur l'usage : quand employer une méthode, comment la régler, comment interpréter ses sorties. Chaque chapitre se termine par des travaux pratiques en Python entièrement rédigés. Son chapitre 3 recouvre la régression linéaire, son chapitre 6 la sélection de modèle et la régularisation, ridge et lasso, son chapitre 12 les méthodes non supervisées dont l'ACP : c'est le compagnon naturel des chapitres 5 et 6 de ce cours. À lire en parallèle du semestre, plutôt qu'après.
3. Bishop, le pont vers l'apprentissage
Christopher M. Bishop, Pattern Recognition and Machine Learning
2006, Springer (Amazon) ; le PDF est diffusé gratuitement par Microsoft Research.
Bishop traite les mêmes mathématiques que Kay, mais avec le vocabulaire de l'apprentissage automatique : c'est exactement le passage que le chapitre 2 amorce. Son chapitre 3, consacré aux modèles linéaires de régression, recouvre les fonctions de base, la régression ridge lue comme un maximum a posteriori et le compromis biais-variance, dans le même ordre que notre page Modèle linéaire. L'approche y est franchement bayésienne, davantage que dans ce cours, ce qui en fait le meilleur second regard sur la régularisation. C'est le livre à ouvrir une fois le semestre terminé, pour reprendre en profondeur ce que le cours n'a fait qu'amorcer.
4. Bishop et Bishop, l'apprentissage profond aujourd'hui
Christopher M. Bishop et Hugh Bishop, Deep Learning: Foundations and Concepts
2023, Springer (Amazon) ; le texte est consultable gratuitement sur bishopbook.com.
Le successeur direct du précédent, écrit par le même auteur dix-sept ans plus tard, avec la même qualité d'exposition. Ses premiers chapitres reprennent les fondations probabilistes, la régression linéaire et le maximum de vraisemblance, c'est-à-dire le contenu de ce cours, avant de dérouler les réseaux profonds jusqu'aux transformeurs et aux modèles de diffusion. C'est la meilleure porte d'entrée actuelle vers l'apprentissage profond pour qui vient de la statistique : la continuité avec le chapitre 2 y est explicite, là où les manuels de deep learning partent en général du réseau sans jamais revenir au modèle.
5. Goodfellow, Bengio et Courville, le classique
Ian Goodfellow, Yoshua Bengio et Aaron Courville, Deep Learning
2016, MIT Press (Amazon) ; le texte intégral est en libre accès sur deeplearningbook.org.
Le manuel qui a formé une génération de praticiens, et qui reste une référence malgré son âge. Son chapitre 5, Machine Learning Basics, réénonce en une trentaine de pages ce que ce cours démontre pas à pas : maximum de vraisemblance, biais et variance, régularisation. Son chapitre 3 sert de rappel de probabilités. Deux réserves : il ne couvre évidemment pas les architectures postérieures à 2016, ce pour quoi l'ouvrage précédent lui est aujourd'hui préférable en première lecture ; et ses notations diffèrent des nôtres sur des points piégeurs, notamment