title: Cross-Layer Cloud Performance Monitoring, Analysis and Recovery
title: Cross-Layer Cloud Performance Monitoring, Analysis and Recovery
title: Schichten übergreifende Leistungsüberwachung, -analyse und -wiederherstellung in Cloud-Umgebungen
Creators: name: Mdhaffar, Afef
Publisher: name: Philipps-Universität Marburg
Year: 2015
Subjects: Wiederherstellung
Monitoring
Virtualisierung
Cloud Computing
Analysis
Informatik
Performance monitoring
Complex Event Processing
Recovery
Analyse
Cloud computing

description: The basic idea of Cloud computing
      is to offer software and hardware resources as services.
      These services are provided at different layers: Software
      (Software as a Service: SaaS), Platform (Platform as a
      Service: PaaS) and Infrastructure (Infrastructure as a
      Service: IaaS). In such a complex environment, performance
      issues are quite likely and rather the norm than the
      exception. Consequently, performance-related problems may
      frequently occur at all layers. Thus, it is necessary to
      monitor all Cloud layers and analyze their performance
      parameters to detect and rectify related problems. This
      thesis presents a novel cross-layer reactive performance
      monitoring approach for Cloud computing environments, based
      on the methodology of Complex Event Processing (CEP). The
      proposed approach is called CEP4Cloud. It analyzes monitored
      events to detect performance-related problems and performs
      actions to fix them. The proposal is based on the use of (1)
      a novel multi-layer monitoring approach, (2) a new
      cross-layer analysis approach and (3) a novel recovery
      approach. The proposed monitoring approach operates at all
      Cloud layers, while collecting related parameters. It makes
      use of existing monitoring tools and a new monitoring
      approach for Cloud services at the SaaS layer. The proposed
      SaaS monitoring approach is called AOP4CSM. It is based on
      aspect-oriented programming and monitors quality-of-service
      parameters of the SaaS layer in a non-invasive manner.
      AOP4CSM neither modifies the server implementation nor the
      client implementation. The defined cross-layer analysis
      approach is called D-CEP4CMA. It is based on the methodology
      of Complex Event Processing (CEP). Instead of having to
      manually specify continuous queries on monitored event
      streams, CEP queries are derived from analyzing the
      correlations between monitored metrics across multiple Cloud
      layers. The results of the correlation analysis allow us to
      reduce the number of monitored parameters and enable us to
      perform a root cause analysis to identify the causes of
      performance-related problems. The derived analysis rules are
      implemented as queries in a CEP engine. D-CEP4CMA is designed
      to dynamically switch between different centralized and
      distributed CEP architectures depending on the load/memory of
      the CEP machine and network traffic conditions in the
      observed Cloud environment. The proposed recovery approach is
      based on a novel action manager framework. It applies
      recovery actions at all Cloud layers. The novel action
      manager framework assigns a set of repair actions to each
      performance-related problem and checks the success of the
      applied action. The results of several experiments illustrate
      the merits of the reactive performance monitoring approach
      and its main components (i.e., monitoring, analysis and
      recovery). First, experimental results show the efficiency of
      AOP4CSM (very low overhead). Second, obtained results
      demonstrate the benefits of the analysis approach in terms of
      precision and recall compared to threshold-based methods.
      They also show the accuracy of the analysis approach in
      identifying the causes of performance-related problems.
      Furthermore, experiments illustrate the efficiency of
      D-CEP4CMA and its performance in terms of precision and
      recall compared to centralized and distributed CEP
      architectures. Moreover, experimental results indicate that
      the time needed to fix a performance-related problem is
      reasonably short. They also show that the CPU overhead of
      using CEP4Cloud is negligible. Finally, experimental results
      demonstrate the merits of CEP4Cloud in terms of speeding up
      the repair and reducing the number of triggered alarms
      compared to baseline methods.
description: Die Grundidee des Cloud Computing
      ist es, Software und Hardware-Ressourcen als Dienste
      anzubieten. Diese Dienste werden in verschiedenen Schichten
      bereitgestellt, als Software (Software as Service: SaaS),
      Plattform (Platform as a Service: PaaS) und als Infrastruktur
      (Infrastructure as a Service: IaaS). In diesem komplexen
      Umfeld stellt eine gute Koordination eine besondere
      Herausforderung dar, insbesondere, weil Leistungseinbußen oft
      in jeder Schicht zu verzeichnen sind. Daher ist es notwendig,
      Leistungsparameter aller Schichten des Cloud-Systems zu
      überwachen, um mögliche Probleme frühzeitig zu erkennen, zu
      analysieren und zu beheben. Diese Arbeit stellt einen neuen,
      Schichten übergreifenden Ansatz zur Überwachung und Steuerung
      von Cloud-Computing-Umgebungen vor. Dieser basiert auf dem
      sogenannten Complex Event Processing (CEP), also der
      Verarbeitung komplexer Ereignisse. Der vorgeschlagene Ansatz
      wird als CEP4Cloud bezeichnet. Er analysiert die überwachten
      Ereignisse, um leistungsbezogene Probleme zu erkennen und
      leitet auch Maßnahmen zu ihrer Behebung ein. Der Vorschlag
      basiert auf der Verwendung eines (1) neuartigen
      Mehrschichtenüberwachungskonzepts, (2) einer speziellen
      Schichten übergreifenden Analyse und (3) einem neuen
      Reparaturverfahren. Der vorgeschlagene Überwachungsentwurf
      berücksichtigt alle Schichten des Cloud-Systems bei der
      Erhebung der notwendigen Parameter. Er nutzt bereits
      vorhandene Überwachungswerkzeuge zusammen mit einem neuen
      Überwachungskonzept für Dienste in der SaaS-Schicht. Dieser
      Ansatz wird als AOP4CSM bezeichnet. Mittels
      aspektorientierter Programmierung werden Qualitätsparameter
      transparent aus der SaaS-Schicht ermittelt. Dabei ändert
      AOP4CSM weder die server-seitige Implementation noch die
      Software des Klienten. Der erarbeitete Schichten
      übergreifende Analyseansatz basiert auf der CEP-Methodik und
      wird als D-CEP4CMA bezeichnet. Anstatt einer aufwändigen
      manuellen Spezifikation von Abfragen an die kontinuierlich
      überwachten Ereignis-ströme werden CEP-Abfragen hierbei
      automatisch aus Korrelationen zwischen den erfassten Metriken
      der verschiedenen Cloud-Schichten abgeleitet. Die
      Korrelationsanalyse erlaubt eine Reduktion der Anzahl
      überwachter Parameter und mit ihnen auch eine effektive
      Identifikation der Ursachen leistungsbezogener Probleme. Die
      abgeleiteten Analyseregeln werden als Abfragen in einem
      CEP-Modul realisiert. D-CEP4CMA wurde so entworfen, dass
      abhängig von der Netzwerklast und den Speicherresourcen des
      CEP-Rechners dynamisch zwischen verschiedenen zentralen und
      verteilten CEP-Architekturen in der Cloud umgeschaltet werden
      kann. Der vorgeschlagene Wiederherstellungs-Ansatz basiert
      auf einem neuartigen Verfahren für die Verwaltung von
      Reparatur-Aktivitäten in den drei Cloud-Schichten. Ein
      spezieller Aktionsmanager bringt, je nach der Art des
      identifizierten Problems, verschiedene Reparaturmaßahmen zur
      Anwendung und überprüft auch deren Erfolg. Die durchgeführten
      Experimente veranschaulichen die Vorteile der vorgeschlagenen
      reaktiven Cloud-Monitoring und -Steuerungslösung in den
      Bereichen Monitoring, Analyse und Reparatur. Einerseits
      zeigen die Experimente eine hohe Effizienz von AOP4CSM im
      Hinblick auf geringe zusätzliche Laufzeiten und
      Speicherplatzbedarf. Zugleich werden im Vergleich zu
      einfachen schwellwertbasierten Methoden gute Ergebnisse bei
      der Identifikation von leistungsbezogenen Problemen erzielt
      (im Sinne der statistischen Größen precision und recall).
      Dasselbe gilt auch im Hinblick auf das gute Abschneiden von
      D-CEP4CMA im Vergleich zu zentralisierten und verteilten
      CEP-Architekturen. Die experimentellen Ergebnisse zeigen
      auch, dass mit der vorgeschlagenen Methode nur relativ wenig
      Zeit benötigt wird, um leistungsbezogene Problem zu beheben.
      Die erzeugte CPU-Last durch Verwendung von CEP4Cloud ist
      dabei vernachlässigbar. Im Vergleich zu anderen Methoden
      liefert CEP4Cloud also schnellere Reparaturmaßnahmen bei
      einer geringeren Anzahl ausgelöster Fehlalarme.