På sin 75-årsdag (8. juni 2004) innvilget pave Johannes Paul II biskop Dammertz' forespørsel om aldersmotiverte avskjedssøknad. Etter flere år som prest for søstrene til St. Alban i Dießen am Ammersee, returnerte Dammertz til sitt hjemmekloster St. Ottilien i januar 2018, hvor han døde den 2. mars 2020 i en alder av 90 år. Hans grav er i krypten i katedralen i Augsburg.