Brahms døde 3. april 1897 i en alder av 63 år i Karlsgasse 4. Enkelte biografier oppga leverkreft som dødsårsaken, men man regner nå med at det dreide seg om bukspyttkjertelkreft. Han er gravlagt i en æresgrav på Wiener Zentralfriedhof.