Da kong Sebastian I av Portugal døde i 1578 uten å etterlate seg en arving, oppstod det i Portugal et langt interregnum, der både portugisere som andre kjempet om makten. I 1580 forsøkte spanske soldater å erobre Lisboa med tanke på å ta tronen i besittelse i kong Filipp II av Spanias navn. Belémtårnet ble angrepet og måtte overgi seg til den spanske hertug Fernando Álvarez de Toledo. I de følgende år frem til 1828 ble tårnet brukt som fengsel. Fanger som skulle henrettes ble av og til ført ned i kasematten, som med jevne mellomrom ble oversvømt av tidevannet og fangene druknet.