M2R Evaluation de Performance
Table des matières
- Évaluation de Performance
- Le Mot du Jour
- Coordination
- Compétences visées
- Programme résumé :
- Plan du cours:
- Références bibliographiques
- Évaluation
- Organisation
- Introduction, indices de performances, méthodologies d'évaluation, modélisation (J.-M. Vincent, le 10/10/07).
- Données, analyse statistique monovariée et bivariée (J.-M. Vincent, le 10/10/07)
- Mesure de performances dans les systèmes (A. Legrand le 15/10/07 à 11h30)
- Mesure et visualisation d'applications distribuées (J.-M. Vincent le 17/10/07 à 9h45)
- Simulation : génération de jeux de données (J.-M. Vincent le 17/10/07 à 11h30)
- Simulation à événements discrets, Environnements d'évaluation et génération de plates-formes types. (A. Legrand le 7/11/07 à 9h45)
- Garantie de performance dans les réseaux (reporté pour cause de grève)
- Modèles stochastiques et analyse en moyenne (reporté pour cause de grève)
- Modèles d'automates en temps discret (J.-M. Vincent le 28/11/07 à 9h45)
- Modèles d'automates en temps continu, modèles de trafic (1)
- Modèles d'automates en temps continu, modèles de contention, files d'attente (2)
Sitemap
|
|
Évaluation de Performance
Ce cours a lieu en F021, le mercredi de 9h45 à 13h00.
Le Mot du Jour
Le prochain cours aura lieu mercredi 5 novembre. Le sujet du contrôle continu est là.
Coordination
Jean-Marc Vincent, Bruno Gaujal, Arnaud Legrand
Compétences visées
L'objectif du cours est de savoir dimensionner des architectures et des applications systèmes/réseaux :
- Connaître les principales méthodes de modélisation et d'évaluation de performances de grands systèmes
- Maîtriser les modèles de base en évaluation de performance (files d'attente, courbes d'arrivée et de service…)
- Connaître les principales techniques d'instrumentation, de simulation et d'analyse statistique
- Savoir construire un plan d'expérience pour vérifier une spécification quantitative.
Pour améliorer les performances de ces systèmes, une analyse fine du comportement est nécessaire: détection de goulets d' étranglement, conflits d'accès, synchronisations, etc. Cette analyse s'effectue sur des traces d'exécution obtenues l'aide d'outils spécifiques d'observation (monitoring). La difficulté est alors d'extraire des informations synthétiques pertinentes du flot de données produites par les traceurs. Cela nécéssite la mise en place de protocoles d'analyse statistique.
Programme résumé :
La croissance rapide des systèmes et des réseaux entraîne des problèmes critiques de performances : phénomènes d'effondrement, qualité de service non garantie, etc. Pour améliorer les performances des grands systèmes informatiques, une analyse fine du comportement est nécessaire: détection de goulets d'étranglement, conflits d'accés, synchronisations, etc
Plan du cours:
- Modélisation de systèmes et de réseaux informatiques
- Processus de Markov, réseaux de files d'attente, network calculus
- Environnements d'évaluation de grands systèmes, outils de mesure et traceurs
- Simulation à événements discrets, émulation et simulation hybride
- Analyse de données et plans d'expérience (introduction)
- Applications au dimensionnement : qualité de service de protocoles, gestion de ressources dans les systèmes, performances d'applications distribuées (grappes, grilles, applications P2P, …)
Références bibliographiques
- Measuring Computer Performance: A Practitioner's Guide David J. Lilja, Cambridge University Press (2005)
- The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Raj Jain Wiley- Interscience, (1991).
- Discrete-event system simulation Jerry Banks, John Carson, Barry Nelson and David Nicol, Pearson (2005).
- Finite Markov Chains and Algorithmic Applications Olle Haggstrom, Cambridge University Press, 2002 (preliminary version)
- Performance Evaluation Jean-Yves Le Boudec EPFL http://ica1www.epfl.ch/perfeval/
- Performance Guarantees in Communications Networks, C.-S. Chang, Springer, 2000.
Évaluation
L'évaluation de vos performances sera effectuée à l'aide d'un "contrôle continu":CC-2007.12.pdf et d'un examen.
Organisation
Introduction, indices de performances, méthodologies d'évaluation, modélisation (J.-M. Vincent, le 10/10/07).
Documents du cours: Transparents du cours
Travail à faire: étudier les différents indices de performances
selon le domaine scientifique.
Références bibliographiques:
- Preliminary guidelines for empirical research in software engineering Kitchenham, B.A.; Pfleeger, S.L.; Pickard, L.M.; Jones, P.W.; Hoaglin, D.C.; El Emam, K.; Rosenberg, J.; Software Engineering, IEEE Transactions on , Volume: 28 Issue: 8, Aug 2002 Page(s): 721 -734
- Partie I : R. Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling Wiley- Interscience, New York, NY, April 1991.
Données, analyse statistique monovariée et bivariée (J.-M. Vincent, le 10/10/07)
Documents du cours: Analyse d'échantillon, Estimation, check-list
for good graphics extraite de R. Jain.
Travail à faire: se créer un environnement qui, à partir d'un
échantillon de valeurs observées, analyse l'échantillon et fait un
résumé statistique des données. Appliquer ce travail à des données
mesurées (par exemple par des ping ou des commandes système
d'évaluation de la charge). Installer le logiciel libre de
statistique R et réaliser les mêmes
études.
Références bibliographiques:
- Measuring Computer Performance: A Practitioner's Guide (Broch) de David J. Lilja, Cambridge University Press (septembre 2005)
- Chapitre 12 et 13 R. Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Wiley- Interscience, New York, NY, April 1991.
Mesure de performances dans les systèmes (A. Legrand le 15/10/07 à 11h30)
Documents du cours: Transparents du cours
Travail à faire: étudier les différents outils de prise de mesure
dans un environnement que vous avez choiusi (linux, macOS,
windows,…). Analyser ainsi les performances de programmes en
interprétant les utilisations conjointes de différents types de
ressources (cpu(s), mémoire, entrées/sorties,…)
Références bibliographiques:
- Measuring Computer Performance: A Practitioner's Guide (Broch) de David J. Lilja, Cambridge University Press (septembre 2005)
- Partie II R. Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Wiley- Interscience, New York, NY, April 1991.
Mesure et visualisation d'applications distribuées (J.-M. Vincent le 17/10/07 à 9h45)
Documents du cours: Trace dans les environnements parallèles,
Exemple de traceurs, Transparents du cours
Simulation : génération de jeux de données (J.-M. Vincent le 17/10/07 à 11h30)
Documents du cours: Transparents du cours
Références bibliographiques:
- Ross S.M. Simulation Academic Press 2006
- Banks J., J. S. Carson and B. L. Nelson 1996. Discrete-Event System Simulation, second edition. Prentice-Hall, Englewood Cliffs, NJ. GORDON G. 1996.
Simulation à événements discrets, Environnements d'évaluation et génération de plates-formes types. (A. Legrand le 7/11/07 à 9h45)
Documents du cours: Transparents du cours (simulation à évènements
discrets), Transparents du cours (émulation, génération de topologie)
Références bibliographiques:
- Measuring Computer Performance: A Practitioner's Guide (Broch) de David J. Lilja, Cambridge University Press (septembre 2005)
- Partie II R. Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Wiley- Interscience, New York, NY, April 1991.
Garantie de performance dans les réseaux (reporté pour cause de grève)
Modèles stochastiques et analyse en moyenne (reporté pour cause de grève)
Modèles d'automates en temps discret (J.-M. Vincent le 28/11/07 à 9h45)
Documents du cours: Transparents du cours, Transparents du cours, Transparents du cours
Références bibliographiques:
- Partie VI R. Jain, The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Wiley- Interscience, New York, NY, April 1991.
- Chapitre 8 R. Nelson, Probability stochastic processes and queuing theory: the mathematics of computer performance modeling. Springer Verlag 1995