Josef Klaus lebte nach seinem Rücktritt von der Politik mit seiner Frau lange Zeit in Italien. Im Jahr 1995 übersiedelte das Paar in ein Pensionistenheim in Wien-Döbling. Anfang des Jahres 2001 starb Erna Klaus. Wenige Monate später, am 25. Juli 2001, starb auch Josef Klaus. Das Begräbnis fand am 1. August 2001 statt, sein ehrenhalber gewidmetes Grab befindet sich auf dem Grinzinger Friedhof (Gruppe 19, Nummer 29). Die Seelenmesse im Wiener Stephansdom am 11. September 2001 fiel mit den Terroranschlägen auf das World Trade Center zusammen. Während der Messe wurde die Pummerin außerplanmäßig geläutet.