Il 2 aprile 2005, giorno della morte di papa Giovanni Paolo II, ha cessato il proprio incarico di segretario di Stato ai sensi dell'art. 6 della costituzione apostolica "Pastor Bonus", promulgata il 28 giugno 1988 dallo stesso pontefice. Ha preso parte al conclave seguente, che si è concluso con l'elezione al soglio pontificio del cardinale Joseph Ratzinger, prefetto della Congregazione per la dottrina della fede, con il nome di Benedetto XVI. In qualità di cardinale vescovo più anziano, è toccato proprio a lui il compito di chiedere al cardinale che aveva ricevuto i voti necessari per l'elevazione a papa se accettasse l'elezione, e poi con quale nome volesse essere chiamato. Il 21 aprile successivo il nuovo pontefice lo ha confermato nel suo incarico di Segretario di Stato; il 27 aprile i cardinali dell'ordine dei vescovi lo hanno eletto decano del Collegio cardinalizio, ricevendo l'approvazione del papa tre giorni dopo, il 30 aprile, e la sede suburbicaria di Ostia, propria di questo ufficio, mantenendo anche la sede suburbicaria di Albano ed il titolo cardinalizio di Santa Maria Nuova. Il 29 giugno seguente, giorno della solennità dei Santi Pietro e Paolo, si è recato presso la Basilica di San Pietro in Vaticano, dove il papa gli ha imposto il pallio quale cardinal decano, secondo la prassi che era stata inaugurata da Giovanni Paolo II con l'allora cardinal Ratzinger. Ha preso possesso della sede suburbicaria durante una cerimonia svoltasi presso la Basilica di Sant'Aurea il 10 luglio.