Évaluation de Performance¶
Ce cours a lieu en F021, le mercredi de 9h45 à 13h00.
Le Mot du Jour¶
Le prochain cours aura lieu mercredi 5 novembre. Le sujet du contrôle continu est là.
Coordination¶
Jean-Marc Vincent, Bruno Gaujal, Arnaud Legrand
Compétences visées¶
L'objectif du cours est de savoir dimensionner des architectures et des applications systèmes/réseaux :
- Connaître les principales méthodes de modélisation et d'évaluation de performances de grands systèmes
- Maîtriser les modèles de base en évaluation de performance (files d'attente, courbes d'arrivée et de service…)
- Connaître les principales techniques d'instrumentation, de simulation et d'analyse statistique
- Savoir construire un plan d'expérience pour vérifier une spécification quantitative.
Pour améliorer les performances de ces systèmes, une analyse fine du comportement est nécessaire: détection de goulets d' étranglement, conflits d'accès, synchronisations, etc. Cette analyse s'effectue sur des traces d'exécution obtenues l'aide d'outils spécifiques d'observation (monitoring). La difficulté est alors d'extraire des informations synthétiques pertinentes du flot de données produites par les traceurs. Cela nécéssite la mise en place de protocoles d'analyse statistique.
Programme résumé :¶
La croissance rapide des systèmes et des réseaux entraîne des problèmes critiques de performances : phénomènes d'effondrement, qualité de service non garantie, etc. Pour améliorer les performances des grands systèmes informatiques, une analyse fine du comportement est nécessaire: détection de goulets d'étranglement, conflits d'accés, synchronisations, etc
Plan du cours:¶
- Modélisation de systèmes et de réseaux informatiques
- Processus de Markov, réseaux de files d'attente, network calculus
- Environnements d'évaluation de grands systèmes, outils de mesure et traceurs
- Simulation à événements discrets, émulation et simulation hybride
- Analyse de données et plans d'expérience (introduction)
- Applications au dimensionnement : qualité de service de protocoles, gestion de ressources dans les systèmes, performances d'applications distribuées (grappes, grilles, applications P2P, …)
Références bibliographiques¶
- Measuring Computer Performance: A Practitioner's Guide David J. Lilja, Cambridge University Press (2005)
- The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling, Raj Jain Wiley- Interscience, (1991).
- Discrete-event system simulation Jerry Banks, John Carson, Barry Nelson and David Nicol, Pearson (2005).
- Finite Markov Chains and Algorithmic Applications Olle Haggstrom, Cambridge University Press, 2002 (preliminary version)
- Performance Evaluation Jean-Yves Le Boudec EPFL http://ica1www.epfl.ch/perfeval/
- Performance Guarantees in Communications Networks, C.-S. Chang, Springer, 2000.
Évaluation¶
L'évaluation de vos performances sera effectuée à l'aide d'un "contrôle continu":CC-2007.12.pdf et d'un examen.
Organisation¶
Introduction, indices de performances, méthodologies d'évaluation, modélisation (J.-M. Vincent, le 10/10/07).¶
Documents du cours: Transparents du cours
Travail à faire: étudier les différents indices de performances selon
le domaine scientifique.
Références bibliographiques:
-
Preliminary guidelines for empirical research in software engineering Kitchenham, B.A.; Pfleeger, S.L.; Pickard, L.M.; Jones, P.W.; Hoaglin, D.C.; El Emam, K.; Rosenberg, J.; Software Engineering, IEEE Transactions on , Volume: 28 Issue: 8, Aug 2002 Page(s): 721 -734
-
Partie I : R. Jain, [[http://www.cs.wustl.edu/~jain/books/perfbook.htm][The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling]] Wiley- Interscience, New York, NY, April 1991.
Données, analyse statistique monovariée et bivariée (J.-M. Vincent, le 10/10/07)¶
Documents du cours: Analyse d'échantillon,
Estimation, check-list for good
graphics extraite de R. Jain.
Travail à faire: se créer un environnement qui, à partir d'un
échantillon de valeurs observées, analyse l'échantillon et fait un
résumé statistique des données. Appliquer ce travail à des données
mesurées (par exemple par des ping ou des commandes système d'évaluation
de la charge). Installer le logiciel libre de statistique
R et réaliser les mêmes études.
Références bibliographiques:
-
Measuring Computer Performance: A Practitioner's Guide (Broch) de David J. Lilja, Cambridge University Press (septembre 2005)
-
Chapitre 12 et 13 R. Jain, [[http://www.cs.wustl.edu/~jain/books/perfbook.htm][The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling]], Wiley- Interscience, New York, NY, April 1991.
Mesure de performances dans les systèmes (A. Legrand le 15/10/07 à 11h30)¶
Documents du cours: Transparents du cours
Travail à faire: étudier les différents outils de prise de mesure dans
un environnement que vous avez choiusi (linux, macOS, windows,…).
Analyser ainsi les performances de programmes en interprétant les
utilisations conjointes de différents types de ressources (cpu(s),
mémoire, entrées/sorties,…)
Références bibliographiques:
-
Measuring Computer Performance: A Practitioner's Guide (Broch) de David J. Lilja, Cambridge University Press (septembre 2005)
-
Partie II R. Jain, [[http://www.cs.wustl.edu/~jain/books/perfbook.htm][The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling]], Wiley- Interscience, New York, NY, April 1991.
Mesure et visualisation d'applications distribuées (J.-M. Vincent le 17/10/07 à 9h45)¶
Documents du cours: Trace dans les environnements
parallèles, Exemple de traceurs,
Transparents du cours
Simulation : génération de jeux de données (J.-M. Vincent le 17/10/07 à 11h30)¶
Documents du cours: Transparents du
cours
Références bibliographiques:
-
Ross S.M. Simulation Academic Press 2006
-
Banks J., J. S. Carson and B. L. Nelson 1996. Discrete-Event System Simulation, second edition. Prentice-Hall, Englewood Cliffs, NJ. GORDON G. 1996.
Simulation à événements discrets, Environnements d'évaluation et génération de plates-formes types. (A. Legrand le 7/11/07 à 9h45)¶
Documents du cours: Transparents du cours (simulation à évènements
discrets), Transparents du cours (émulation,
génération de topologie)
Références bibliographiques:
-
Measuring Computer Performance: A Practitioner's Guide (Broch) de David J. Lilja, Cambridge University Press (septembre 2005)
-
Partie II R. Jain, [[http://www.cs.wustl.edu/~jain/books/perfbook.htm][The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling]], Wiley- Interscience, New York, NY, April 1991.
Garantie de performance dans les réseaux (reporté pour cause de grève)¶
Modèles stochastiques et analyse en moyenne (reporté pour cause de grève)¶
Modèles d'automates en temps discret (J.-M. Vincent le 28/11/07 à 9h45)¶
Documents du cours: Transparents du cours,
Transparents du cours, Transparents du
cours
Références bibliographiques:
-
Partie VI R. Jain, [[http://www.cs.wustl.edu/~jain/books/perfbook.htm][The Art of Computer Systems Performance Analysis: Techniques for Experimental Design, Measurement, Simulation, and Modeling]], Wiley- Interscience, New York, NY, April 1991.
-
Chapitre 8 R. Nelson, Probability stochastic processes and queuing theory: the mathematics of computer performance modeling. Springer Verlag 1995