Οι Πάπες μετέτρεψαν το οικοδόμημα σε κάστρο αρχίζοντας το 13ο αιώνα. Ο Πάπας Νικόλαος Γ΄ (1277–1280) συνέδεσε το κάστρο με τη Βασιλική του Αγίου Πέτρου με ένα σκεπαστό οχυρωμένο διάδρομο, το "Πασέτο ντι Μπόργκο". Το φρούριο υπήρξε το καταφύγιο του Πάπα Κλήμη Ζ΄ από την πολιορκία των Γερμανών μισθοφόρων του Κάρολου Ε κατά τη Λεηλασία της Ρώμης (1527).