Experimental Performance Evaluation of Private Distributed Ledger Implementations

Distributed ledger technology (DLT) maintains a shared ledger over a peer-to-peer network with the help of consensus mechanisms and smart contracts. Due to this technology’s unique features, it provides the foundation for new trust models and business opportunities. For this reason, DLT is an emerging technology with growing application areas in fintech, government, and healthcare. However, due to the complex interplay of peers, the overall performance of DLT is more difficult to assess compared to a centralized system. Performance can be measured by different metrics and it can be influenced by multiple factors. To facilitate further considerations, the complex DLT architecture is first divided into four layers: the network, node, ledger, and application layer. For each layer, multiple metrics and influencing factors are defined. Lastly, the concept of elementary and simulative DLT workloads is introduced. Based on this analysis, a framework is designed which sets up a distributed ledger in a test environment and performs reproducible measurements. This framework is designed such that both, evaluated technology and test environment, are easily exchangeable. The framework design is then implemented utilizing the DLT benchmarking tool Caliper. As an exemplary matter for performance measurements and evaluation, Hyperledger Fabric is selected, a DLT implementation by the Linux Foundation. Experiments were performed in a controlled lab environment. The evaluation of the measurement results gives insights into the performance impact of four factors, namely variations of transaction rate, workload, block size, and also the effect of packet loss. The measurements show, that factors on each layer can directly impair the performance of the complete network, through increased transaction rate, demanding workloads, unfavorable ledger configuration, or adverse network circumstances. Zusammenfassung Distributed-Ledger-Technologie (DLT) führt einen gemeinsamen Ledger über ein Peer-to-PeerNetzwerk mit Hilfe von Konsensmechanismen und intelligenten Verträgen. Aufgrund der einzigartigen Eigenschaften dieser Technologie bietet sie die Grundlage für neue Vertrauensmodelle und Geschäftsmöglichkeiten. Aus diesem Grund ist DLT eine aufstrebende Technologie mit wachsenden Anwendungsbereichen in den Bereichen Fintech, Gesundheitswesen oder auch für staatliche Organisationen. Allerdings ist aufgrund des komplexen Zusammenspiels der Peers die Performanz von DLT schwieriger zu beurteilen als bei zentralisierten Systemen. Die Leistung kann durch verschiedene Metriken gemessen und durch unterschiedliche Faktoren beeinflusst werden. Um weitere Überlegungen zu erleichtern, wird die komplexe DLT-Architektur zunächst in vier Schichten unterteilt: Netzwerk-, Knoten-, Ledgerund Anwendungsschicht. Für jede Schicht werden mehrere Metriken und Einflussfaktoren definiert und das Konzept der elementaren und simulativen DLT-Arbeitslasten wird eingeführt. Basierend auf dieser Analyse wird ein Framework entworfen, das einen verteilten Ledger in einer Testumgebung aufbaut und reproduzierbare Messungen durchführt. Dieses Framework ist so konzipiert, dass sowohl die evaluierte Technologie als auch die Testumgebung leicht austauschbar sind. Das Framework-Design wird infolgedessen mit dem DLT-Benchmarking-Tool Caliper umgesetzt. Als Beispiel zur Leistungsmessung und -bewertung wird Hyperledger Fabric ausgewählt, eine DLT-Implementierung der Linux Foundation. Die Experimente wurden in einer kontrollierten Laborumgebung durchgeführt. Die Auswertung der Messergebnisse gibt Aufschluss über die Performance-Auswirkungen von vier Faktoren, insbesondere Veränderung der Transaktionsrate, der Arbeitslast, der Blockgröße und auch der Auswirkung von Paketverlusten. Die Messungen zeigen, dass Faktoren jeder Schicht die Performance des gesamten Netzwerks direkt beeinträchtigen können, durch erhöhte Transaktionsrate, anspruchsvolle Arbeitslasten, ungünstige LedgerKonfiguration oder unvorteilhafte Netzwerkbedingungen.