Durante a Guerra da Restauração da independência portuguesa, Baltazar Pantoja conquistou o castelo de surpresa, após quatro horas de batalha (Maio de 1666). Tendo deixado como Governador da Praça D. Pedro Esteves Ricarte, este rendeu-se ao 3º conde de Prado, D. Francisco de Sousa.