しかし彼は決心を守ることが出来なかった。1891年にクラリネット奏者リヒャルト・ミュールフェルトの演奏に触発されて創作意欲を取り戻したブラームスは、『クラリネット三重奏曲』（作品114）、『クラリネット五重奏曲』（作品115、1891年）、2つの『クラリネット・ソナタ（ヴィオラ・ソナタ）』（作品120、1894年）を書き上げた。そして『7つの幻想曲』（作品116、1891年）から『4つの小品』（作品119、1892年）までの4つのピアノ小品集、『4つの厳粛な歌』（作品121、1896年）などの傑作を生み出した。これらの作品は、晩年の寂寥と宗教的境地に満ちていると評されている。また、1890年ごろには琴の演奏も聞いており、当時出版された日本の民謡集の楽譜に書き込みが残されている。1896年5月20日に生涯親交を保ち続けたクララ・シューマンが死去したのちブラームスの体調も急速に悪化していき、翌1897年4月3日、肝臓癌によりウィーンで逝去した。63歳没。1897年4月6日、ウィーン市の中心部ドロテーア通りにある、ルター派のオーストリア福音主義教会アウクスブルク信仰告白派のルター派シュタット教会で葬儀がおこなわれた。遺体はウィーン中央墓地に埋葬された。ハンブルクの生家は長く残っていたが、1943年7月のハンブルク空襲で焼失し、現在は記念碑がある。