Quand Urbain V quitte Avignon pour rentrer à Rome, il se fait remettre non les clefs de la ville mais celles du château, lequel reprend son rôle de forteresse protégeant la Cité léonine (actuellement le Vatican). Son successeur, Grégoire XI, doit cependant subir l'hostilité du peuple romain. En 1378, la foule démantèle une bonne partie de l'édifice. En 1389, Boniface IX restaure le château à demi en ruines. Il y fait percer une large rampe permettant le transport de vivres et de munitions. Des meurtrières sont creusées dans les murailles. Enfin, des logements sont aménagés pour le pape. Nicolas V ajoute à l'édifice des bastions et deux tours. Ces aménagements permettent à Alexandre VI de s'y réfugier lorsque Rome est occupée par le roi de France Charles VIII en 1494 (Première guerre d'Italie) et à Clément VII de résister six mois au siège des lansquenets de Charles Quint lors du terrible sac de Rome de 1527. Il parvient à s'enfuir, sous un déguisement, par la porte dérobée du jardin Saint-Pierre pour rejoindre Orvieto.