En la época de Cipriano Castro y Juan Vicente Gómez, el castillo fue convertido en cárcel donde estuvieron ilustres personajes disidentes como el general José Manuel "Mocho" Hernández, el escritor José Rafael Pocaterra, el general Ramón Cecilio Farreras, el general José Rafael Gabaldón, el anarquista Biófilo Panclasta, el tribuno Jóvito Villalba, el poeta Pío Tamayo, el caudillo Juan Pablo Peñaloza, el líder estudiantil Rómulo Betancourt, el escultor Alejandro Colina y el poeta Andrés Eloy Blanco quien escribió su obra poética "Barco de piedra" mientras duró su encierro y con este nombre aludía a la forma alargada del castillo, prisión rodeada del mar.