Han debuterte i 1965 sammen med Art Blakeys Jazz Messengers. I den følgende tiden spilte han i treblåseren Charles Lloyd quartet hvor han traff trommeslager Jack DeJohnette som senere ble en fast musikalsk partner; kvartetten som forøvrig hadde Cecil McBee på bass, var ved Moldejazz 1966. Jarrett opptrådte i Mo i Rana i 1969. Dette var en del av en turne i Nord-Norge, som også omfattet Harstad og Tromsø, og han ble også foreviget av NRK TV i forbindelse med denne turneen. Etter at Charles Lloyd quartet ble oppløst spilte han en tid med Miles Davis, et band som gjestet Chateau Neuf den 9. november 1971, en konsert som ble vist i NRK året efter. Jarret gjestet Moldejazz i 1972 og 1973. Fra 1971 til 1976 spilte han sammen med Dewey Redman, Charlie Haden og Paul Motian i «The American Quartet». Fra 1974 spilte han med Jan Garbarek sax, Palle Danielsson bass og Jon Christensen trommer, i «The European Quartet» (også kjent som «Belonging-kvartetten»). De ga ut «Belonging» i 1974, «My Song» i 1977 (innspilt i Talent studios), og tre liveplater «Nude Ants» fra Village Vanguard i New York City 1980 og senere «Personal Mountain» og «Sleeper» fra Tokyo-konserten i 1979 (alt utgitt på det tyske ECM (plateselskap) ). Utgivelsen «The Köln Concert» (ECM 1975) er historiens mest solgte solopianoplate uansett sjanger med 3,5 millioner solgte plater. Han opptrådte i november 1977 på Club 7 si spesialuke. I 1983 dannet han en trio sammen med Gary Peacock og Jack DeJohnette, denne var ved Moldejazz i juli 1986 og på Oslo Konserthus i oktober 1989, der konsertopptaket resulterte i «Standards in Norway» på ECM i 1995. Ved siden av arbeidet med gruppene har han hele tiden laget musikk solo, og også innspillinger av klassisk musikk. Ikke uventet mottok han i 2003 den svenske Polarprisen.