Han var en regulær innspillingskunstner, fra sine første plater i 1932. I stereoLP-epoken spilte han hovedsakelig inn for Deutsche Grammophon. Hans DG-syklus av Anton Bruckners symfonier, delt mellom Berlinfilharmonien og Bayerischer Rundfunk, har holdt seg i platekatalogene helt siden den første utgaven på 1960-tallet. Denne syklusen og en senere Jochum Bruckner-syklus, med Staatskapelle Dresden for EMI, er ofte blitt hyllet og har fått navnet hans spesielt assosiert med denne komponisten. I tillegg var han president for det internasjonale Bruckner-samfunnet fra 1950, og skrev mye om Bruckner-tolkning. Ifølge hans nekrolog fra New York Times sa han likevel i et intervju fra 1983: «I dag tenker alle på meg som en spesialist i Bruckners symfonier. Men jeg begynte med musikken til Bach, Mozart og Beethoven. Og det er til deres musikk at jeg fortsatt føler meg nærmest.» Hans innspillinger av og regnes ofte blant de fineste av disse verkene. Hans tre komplette innspillinger av Beethoven-symfoniene har også blitt hyllet. De ble oppført med Berlinfilharmonien og Symphonieorchester des Bayerischen Rundfunks på 1950-tallet for Deutsche Grammophon, med Concertgebouw-orkestret på slutten av 1960-tallet for Philips, og med London Symphony Orchestra på 1970-tallet for EMI. Jochum ferdigstilte også to komplette innspillinger av symfoniene til Johannes Brahms, den ene med Berlinfilharmonien på midten av 1950-tallet, den andre med London Philharmonic i 1977. På grunnlag av disse settene kalte dirigenten Kenneth Woods ham «den største Brahmsdirigent som noen gang har levd.» (Andre ville nominere Weingartner eller Toscanini.) Han spilte også inn Brahms pianokonserter med Emil Gilels, en innspilling som ofte er oppført blant de fineste av disse verkene. Innspillingene hans av Mozart, Haydn, Schumann, Wagner og Carl Orff har også fått mye skryt. Hans innspilling av Carmina Burana fra 1967 anses av Bill Alford for å være en autoritativ tolkning, ettersom Orff selv var til stede under innspillingen og omtalte det ferdige produktet i svært positive ordelag.