Stochastic modelling

linma2470  2022-2023  Louvain-la-Neuve

Stochastic modelling
5.00 crédits
30.0 h + 22.5 h
Q2
Enseignants
Chevalier Philippe; Madani Mehdi (supplée Chevalier Philippe);
Préalables
Un cours de probabilités, des compétences en modélisation mathématique
Thèmes abordés
Introduction aux modèles stochastiques en recherche opérationnelle. Etude des processus de renouvellement ordinaire, en particulier les chaînes de Markov en temps discret et continu et les processus de décision avec gains. Applications aux problèmes de stocks, files d'attente, processus de branchement, promenades aléatoires, etc...
Acquis
d'apprentissage

A la fin de cette unité d’enseignement, l’étudiant est capable de :

1 À l'issue de ce cours, l'étudiant sera en mesure de :
  • Connaître les propriétés des processus stochastique avec des états discrets, en particulier les processus de renouvellement, les processus markoviens et les processus de décision markoviens.
  • Comprendre l'impact des phénomènes aléatoires et de la variabilité sur le comportement d'un système en régime transitoire et stationnaire.
  • Analyser et calculer les propriétés de différents systèmes de files d'attente (stationnaires et non-stationnaires).
  • Utiliser différents types de processus stochastiques pour représenter un système comportant des phénomènes aléatoires.
  • Optimiser des systèmes non-déterministes à l'aide de processus de décision markoviens.
  • Modéliser différents systèmes sujets à de la congestion à l'aide de modèles de file d'attente.
  • Mieux appréhender des situations où il faut prendre des décisions avec de l'incertitude.
 
Contenu
  • Le processus de Poisson et ses propriétés
  • Chaînes de Markov avec un nombre fini d'états
  • Processus de renouvellement ordinaires et variables aléatoires qui y sont reliées. Le concept de temps d'arrêt
  • Chaines de Markov avec un nombre infini d'états
  • La notion de réversibilité
  • Processus de Markov
  • Processus de naissance et de mort
  • Théorie des files d'attente et des réseaux de files d'attente
  • Modèle fluide de files d'attentes
  • Applications diverses, en particulier aux modèles de stock, de remplacement, de fiabilité, de modélisation d'atelier.
  • Processus de décision Markoviens et l'apprentissage par renforcement
Méthodes d'enseignement
Le cours est donné de manière ex-catedra. Il y a 11 séances d'exercices qui permettent aux étudiants d'appliquer la matière et de s'entrainer sur des exercices des examens des années antérieures. Une partie de la matière sera présentée par des groupes d'étudiants.
Modes d'évaluation
des acquis des étudiants
Les étudiants seront évalués individuellement et par écrit sur base des objectifs particuliers annoncés précédemment.
L'examen écrit portera sur des exercices d'application de la matière. Lors des séances d'exercice de nombreuses questions d'examens d'années antérieures sont vues.
Les étudiants réaliseront aussi en groupe une présentation sur un chapitre de théorie ou une application de la théorie vue au cours. Cette présentation compte pour 25% de la note et ne pourra pas être refaite pour la session de septembre.
Bibliographie
Lecture recommandée :
 "Stochastic Processes: Theory for applications" de R. Gallagher, 2013, disponible en ligne : http://www.rle.mit.edu/rgallager/notes.htm
"Reinforcement Learning: An Introduction" de R. Sutton et A. Barto, disponible en ligne : http://incompleteideas.net/book/RLbook2020.pdf 
Faculté ou entité
en charge
MAP


Programmes / formations proposant cette unité d'enseignement (UE)

Intitulé du programme
Sigle
Crédits
Prérequis
Acquis
d'apprentissage
Master [120] en sciences mathématiques

Master [120] : ingénieur civil en informatique

Master [120] en sciences informatiques

Master [120] : ingénieur civil en mathématiques appliquées

Master [120] : ingénieur civil en science des données

Master [120] en science des données, orientation technologies de l'information