Code et crédits : 5MS102, 18 ECTS
Période : septembre à décembre

Cours 1 : Apprentissage statistique

Responsable : G. Biau
Contact : gerard.biau@upmc.fr
Objectif : ce cours présente les grands principes de l'apprentissage statistique et les problématiques liées.
Prérequis : notions fondamentales de probabilités et statistique.

1. Introduction au problème de la classification supervisée
2. Principe de minimisation du risque empirique, théorie de Vapnik-Chervonenkis
3. Bornes de performance, pertes convexes, sélection de modèle
4. Classification non paramétrique, théorème de Stone, plus proches voisins, arbres
5. Classification par réseaux neuronaux
6. Quantification et clustering

Cours 2 : De la théorie aux algorithmes d'apprentissage

Responsable : M. Sangnier
Contact : maxime.sangnier@upmc.fr
Objectif : ce cours introduit les principales méthodes de prédiction (classification et régression), de clustering et de réduction de dimension. Il présente l'apprentissage statistique d'un point de vue algorithmique et sera illustré par de nombreux travaux pratiques (en Python) ainsi que par un challenge en science des données.
Prérequis : notions fondamentales de probabilités et statistique, analyse convexe, algèbre linéaire et calcul scientifique en Python.

1. Analyse discriminante, régression logistique, machines à vecteurs supports
2. k-plus proches voisins, arbres de décision et méthodes ensemblistes (forêts et boosting)
3. Modèle de mélange et algorithme EM, k-moyennes, clustering spectral et hiérarchique
4. Analyse en composantes principales, projections aléatoires et positionnement multidimensionnel

Cours 3 : Estimation non-paramétrique

Responsables : I. Castillo et C. Dion
Contacts : ismael.castillo@upmc.fr, charlotte.dion@upmc.fr
Objectif : présenter des méthodes classiques d'estimation non-paramétrique, étudier le comportement des estimateurs introduits pour différents risques, introduire à l'optimalité des vitesses de convergence au sens minimax. Les notions introduites seront illustrées dans des exemples de modèles statistiques très utilisés en pratique : estimation de densité, régression non-paramétrique, signal en bruit blanc gaussien, modèles de graphes aléatoires.
Prérequis : notions fondamentales de probabilités, bases de statistique, estimation paramétrique, bases d'analyse fonctionnelle (cas Hilbert au moins).

1. Estimation non-paramétrique de densité
   
2. Modèles de bruit blanc, de régression et de convolution
3. Sélection de paramètres
4. Introduction aux méthodes d'agrégation
   
5. Seuillage et estimateurs par ondelettes
6. Modèles de graphes aléatoires
   
7. Bornes inférieures de vitesses au sens minimax
8. Régions de confiance non-paramétriques

Cours 4 : Méthodes Monte-Carlo

Responsable : A. Guyader
Contact : arnaud.guyader@upmc.fr
Objectif : introduire et appliquer les principales méthodes Monte-Carlo.
Prérequis : notions fondamentales de probabilités et statistique, logiciel R.

1. Rappels sur la simulation de variables aléatoires
2. Intégration Monte-Carlo
3. Monte-Carlo par Chaînes de Markov
4. Optimisation stochastique