# Torsten Hoefler

Torsten Hoefler (* 1981) ist ein Informatiker und Lehrstuhlinhaber an der ETH Zürich. Er ist Chefarchitekt für Maschinelles Lernen am Schweizer Nationalen Hochleistungsrechenzentrum (CSCS).

## Werdegang

Hoefler erhielt ein Diplom in Informatik an der TU Chemnitz, wo er im Jahr 2005 mit dem Universitätspreis ausgezeichnet wurde. Bereits zu Beginn seiner Karriere beschäftigte er sich mit Hochleistungsrechner-Systemen. Seine Studien setzte er an der Indiana University unter der Anleitung von Andrew Lumsdaine fort. Im Jahr 2008 promovierte er in Informatik an der Indiana University und wurde anschließend mit dem Young Alumni Award und dem Distinguished Alumni Award geehrt.
Er setzte seine Arbeit am Standard für die Message Passing Interface als Schlüsselmitglied des MPI Forums fort. Dabei leitete er die Entwicklung der Kapitel zur kollektiven Kommunikation und zu Prozesstopologien. Zudem war er Mitautor des Kapitels zur One-Sided Kommunikation.
Im Jahr 2010 trat er dem National Center for Supercomputing Applications an der University of Illinois in Urbana-Champaign (UIUC) bei. Als Leiter für die Analyse und Unterstützung der Applikationsperformance unterstützte er die Gestaltung und Implementierung des Blue Waters Supercomputers. Er besetzte auch eine Position als adjunct Professor (Titularprofessor) an der Fakultät für Informatik der UIUC. Im Jahr 2011 nahm er eine Stelle als Assistenzprofessor an der ETH Zürich an, wo er 2017 Tenure erhielt und seit 2020 ordentlicher Professor ist.
Hoefler hatte verschiedene Positionen als Gastforscher beim Kommissariat für Atomenergie und alternative Energien in Frankreich, bei CINECA in Italien sowie am Argonne National Laboratory, Sandia National Laboratory und Microsoft in den Vereinigten Staaten. Als Berater unterstützte er Cray Inc. im Bereich Hochleistungsnetzwerke und Microsoft in den Bereichen Quantum Computing und hochskalierenden KI-Systemen. Er verbrachte sein Sabbatical im Jahr 2019 bei Microsoft, wo er half, verschiedene KI-Supercomputing Projekte zu etablieren.
Hoefler ist seit der Gründung im Jahr 2011 Mitglied des Exekutivkomitees ACM SIGHPC. Er wurde zum IEEE Fellow für „Beiträge zu Hochleistungs-Parallelverarbeitungssystemen und Supercomputern“ gewählt, zum ACM Fellow für „grundlegende Beiträge zur Hochleistungsrechnung und zur Anwendung von HPC-Techniken im maschinellen Lernen“ und er erhielt 2022 den IEEE Sidney Fernbach Award für „anwendungsorientierten Entwurf von HPC-Algorithmen, -Systemen und -Architekturen sowie für transformativen Einfluss auf das wissenschaftliche Rechnen und die Industrie“.
Er leitete das Team für komplexe Anwendungen und Benutzerunterstützung am Blue Waters Directorate des National Center for Supercomputing Applications und besetzte eine Titularprofessur der Fakultät für Informatik an der University of Illinois in Urbana-Champaign. Seine Expertise liegt im Bereich des hochskalierbaren parallelen Rechnens und der Hochleistungsrechnersysteme. Weiterhin beschäftigt er sich mit Anwendungen im Bereich der hochskalierenden künstlichen Intelligenz sowie der Klimawissenschaften.
Hoefler ist IEEE-Fellow, ACM-Fellow, und Mitglied der Academia Europaea. Seine Erdős-Zahl ist zwei.
Hoefler erhielt 2023 den ersten Jack-Dongarra-Preis auf der ISC High Performance-Konferenz. Er wurde zum Senior Fellow der Abu Dhabi Investment Authority Labs in 2023 ernannt.

## Forschung

Hoefler ist bekannt für seine Beiträge zum Standard für die Message Passing Interface (MPI). Er war Autor der Kapitel "Collective Communication" und "Process Topologies" in MPI-2.2 sowie der Kapitel "Collective Communication", "One-Sided Communications" und "Process Topologies" in MPI-3. Für die Standardisierung von MPI-3 leitete er die Arbeitsgruppen für Collective Communications und Topologie.
Er entwickelte Prinzipien für die Umsetzung von nicht blockierenden kollektiven Operationen und dem Fernzugriff auf Speicher, die in MPI Bibliotheken wie Open MPI, MPICH und Derivaten weit verbreitet sind. Nichtblockierende kollektive Operationen wie Allreduce, Allgather oder Broadcast bilden die Grundlage moderner KI-Trainingssysteme.
Als Co-Autor des wegweisenden Artikels über paralleles Deep Learning und während seines Sabbaticals bei Microsoft prägte er den Begriff "3D Parallelismus" im modernen Training künstlicher Intelligenz. Dieser ordnet Datenparallelismus, Pipeline-Parallelismus und Operator-Parallelismus in einer konsistenten Sichtweise zusammen.
In seiner Arbeit an Hochgeschwindigkeitsnetzwerk hat er mehrere ausgezeichnete Netzwerktopologien mitentwickelt und Routing-Algorithmen beigetragen, die im OpenSM Routingmanager auf InfiniBand-Computerclustern verwendet werden.
Auf der Anwendungsseite konzentriert sich Hoefler darauf, die Performance von Klimasimulationen als digitalen Zwilling zu verbessern und maschinelles Lernen für Klimasimulationen einzusetzen. Er war ein Organisator des Berlin Summit in Earth Virtualization Engines, um Strategien zur Ermöglichung des weltweiten Zugangs zu hochauflösenden Klimasimulationen zu entwickeln.

### Wissenschaftliche Reproduzierbarkeit

Hoefler hat sich für die Verbesserung der Reproduzierbarkeit von Performancemessungen in Hochleistungsrechner-Systemen und später im machinellem Lernen eingesetzt. Letzteres wurde im IEEE Computer Journal als Titelthema über Forschungsreproduzierbarkeit vorgestellt. Als Leiter des technischen Programmkomitees der ACM/IEEE Supercomputing-Konferenz (SC'18) führte er einen neuen revisionsbasierten Begutachtungsprozess in der Konferenz ein, um die Qualität der Forschungsartikel zu verbessern. Seine Gruppe erhielt das SIGHPC Certificate of Appreciation für reproduzierbare Methoden bei dem ACM Student Cluster-Wettbewerb auf der ACM/IEEE Supercomputing-Konferenz (SC'22). Sein Artikel über HammingMesh erhielt den ACM/IEEE Supercomputing-Konferenz (SC'22) Best Reproducibility Advancement Preis. Er hielt auch die Eröffnungs-Keynote auf der ersten ACM Konferenz zu Reproduzierbarkeit und Replizierbarkeit (ACM REP'23).

## Auszeichnungen

Hoefler erhielt sechs wissenschaftliche Auszeichnungen für die beste Beiträge auf der Supercomputing Konferenz. Weitere wichtige Preise sind im Folgenden aufgeführt.
2024
* Max Planck-Humboldt Medaille der Max Planck Gesellschaft, der Alexander von Humboldt Stiftung, und des Bundesministeriums für Bildung und Forschung
2023
* ACM Fellow
* Jack Dongarra Preis
2022
* IEEE CS Sidney Fernbach Award
* Luddy Distinguished Alumni Award
* IEEE Fellow
2021
* HPCWire „People to Watch“
2020
* ERC Consolidator Grant
* BenchCouncil Rising Star Award
2019
* ACM Gordon Bell Prize
* IEEE TCSC Award for Excellence in Scalable Computing (MCR)
2015
* Latsis-Preis der ETH Zürich
* ERC Starting Grant
2014
* Young Alumni Award, Indiana University School of Informatics
2013
* IEEE TCSC Young Achievers in Scalable Computing
* IBM Faculty Award
2012
* SIAM SIAG/SC Junior Scientist Prize