Den 11. juli 2002 gikk han av som erkebiskop av Milano, og samme dag ble Genovas erkebiskop, kardinal Dionigi Tettamanzi, utnevnt til hans etterfølger. Kardinal Martini, som led av Parkinsons sykdom, hadde da for lengst offentliggjort sitt faste forsett om å gå av på 75-årsdagen og bedt paven om tillatelse til å trekke seg tilbake til Jerusalem for å tilbringe sine siste år med studier og bønn. På grunn av urolighetene i området endret han disse planene, og levde sine siste år i en jesuittresidens utenfor Roma.