# Sepp Hochreiter

Josef „Sepp“ Hochreiter (* 14. Februar 1967 in Mühldorf am Inn, Bayern) ist ein deutscher Informatiker und Universitätsprofessor. Er leitet an der Johannes Kepler Universität Linz (JKU) das Institute for Machine Learning und das Labor für Artificial Intelligence (AI LAB). Seit Februar 2024 ist er zusätzlich Chief Scientist bei NXAI.

## Leben

Hochreiter wuchs auf einem Bauernhof in der Nähe von Mühldorf am Inn in Bayern auf. Ursprünglich sollte er den Bauernhof übernehmen. Ab 1979 besuchte er den wirtschaftlichen Zweig der Realschule in Altötting, 1983 wechselte er zur Fachrichtung Technik an der Altöttinger Fachoberschule. 1985 begann er ein Informatikstudium an der Fachhochschule in München. Nach dem Vordiplom 1986 wechselte er an die Technische Universität München, an der er das Informatikstudium fortsetzte. Parallel dazu studierte er Mathematik an der Fernuniversität Hagen. 1991 schrieb er seine Diplomarbeit mit dem Titel Untersuchungen zu dynamischen neuronalen Netzen bei Jürgen Schmidhuber, in der er die Idee eines neuronalen Langzeitspeichers formulierte. Nach Abschluss des Studiums war er zwei Jahre bei der Allianz AG beschäftigt. 1994 begann er ein Doktoratsstudium an der Technischen Universität München, an der er 1999 zum Dr. rer. nat. promoviert wurde. Sein Doktorvater war Wilfried Brauer.
1997 veröffentlichte er gemeinsam mit Jürgen Schmidhuber eine Arbeit über Long short-term memory (LSTM). 1999 ging er als Postdoktorand an die University of Colorado Boulder zu Michael C. Mozer. 2001 wechselte er als wissenschaftlicher Assistent an die Neural Information Processing Group der Technischen Universität Berlin, an der er im Sonderforschungsbereich Theoretische Biologie die Arbeitsgruppe Analyse molekularbiologischer Daten leitete.
2006 wurde er als Professor für Bioinformatik an die Universität Linz berufen. Er leitet das Institut für Machine Learning an der Technisch-Naturwissenschaftlichen Fakultät der JKU, an der er das Bachelorstudium Bioinformatik in Kooperation mit der Südböhmischen Universität in Budweis sowie das Masterstudium Bioinformatik einführte. Außerdem wurde er 2006 Vorstandsmitglied der Österreichischen Computer Gesellschaft (OCG). 2017 wurde er mit dem Aufbau und der Leitung des Labors für Artificial Intelligence (AI LAB) am Linz Institute of Technology (LIT) der Kepler-Uni betraut.
Im Februar 2019 wurde die Gründung des Institute of Advanced Research in Artificial Intelligence (IARAI) bekanntgegeben. Geschäftsführer des Instituts mit Standorten in Linz, Wien und Zürich wurden neben Sepp Hochreiter der Physiker David Kreil sowie der Mathematiker Michael Kopp von Here Technologies. Vom Wissenschaftsfonds FWF wurde 2024 das Exzellenzcluster Bilaterale KI zu Künstlicher Intelligenz unter der Leitung von Hochreiter bewilligt.
Zu seinen Forschungsschwerpunkten zählen verschiedene Verfahren des Maschinellen Lernens, unter anderem Deep Learning, Bestärkendes Lernen (Reinforcement Learning) und Representational Learning sowie Biclustering, Matrix-Faktorisierung und statistische Verfahren. Außerdem beschäftigt er sich mit Data-Mining und Computerlinguistik (Natural Language Processing). Zu seinen Doktoranden zählt Günter Klambauer.
2023 kündigte Hochreiter xLSTM an. 2024 veröffentlichte er die Architektur. xLSTM ist eine neue Architektur für rekurrente neuronale Netze, die auf den Ideen des ursprünglichen LSTM basiert. Durch Exponential Gating mit geeigneten Normalisierungs- und Stabilisierungstechniken und einem neuen Matrixspeicher überwindet es die Einschränkungen des ursprünglichen LSTM und zeigt im Vergleich zu Transformatoren oder Zustandsraummodellen eine vielversprechende Leistung bei der Sprachmodellierung.

## Auszeichnungen

* 2018: Auszeichnung als Österreicher des Jahres in der Kategorie Forschung
* 2019: Oberösterreicher des Jahres 2018 der Oberösterreichischen Nachrichten in der Kategorie Wirtschaft und Wissenschaft
* 2023: Deutscher KI-Preis in der Sparte Innovation
* 2024: Korrespondierendes Mitglied der Österreichischen Akademie der Wissenschaften

## Publikationen (Auswahl)

* 1991: Untersuchungen zu dynamischen neuronalen Netzen, Diplomarbeit 1991, TU München (PDF)
* 1997: Long short-term memory, gemeinsam mit Jürgen Schmidhuber, In: Neural Computation, vol. 9, issue 8, S. 1735–1780, 1997 doi:10.1162/neco.1997.9.8.1735
* 1999: Generalisierung bei Neuronalen Netzen geringer Komplexität, Dissertation 1999, TU München; Aka-Verlag, Berlin 2001, ISBN 978-3-89838-202-1