Az avignoni fogságból hazatérve a pápák az Angyalvárat választották fellegváruknak. IX. Bonifác pápa kezdte meg az épület átépítését 1393-ban. VI. Sándor négy bástyát építtetett az alapnégyszögre. Ide menekült VII. Kelemen pápa, amikor V. Károly zsoldoshadserege 1527-ben elfoglalta és kifosztotta Rómát (Sacco di Roma); az ostrom idején Cellini innen lőtte ágyúival az ellenséges hadat.