Passetto ja linnoitus toimi paavi Klemens VII:n turvapaikkana vuonna 1527 Rooman ryöstön aikana. Linnoitusta käytettiin toisinaan myös vankilana. Kuuluja Castel Sant’Angelon vankeja ovat Benvenuto Cellini, Giordano Bruno ja Alessandro Cagliostro. Italian yhdistymisen eli risorgimenton edellä 1800-luvulla Castel Sant’Angelon poliittisten vankien lukumäärä nousi huippuunsa – 681 vankiin.