En 1571, Francisco de Holanda advirtió al monarca de que era necesario mejorar las defensas costeras para proteger la capital del reino, para lo que sugirió la construcción de un fuerte inexpugnable que defendiera fácilmente Lisboa y el fortalecimiento, reparación y finalización de la torre de Belém, hechos que podrían solucionarse sin un coste elevado. Francisco diseñó un bastión rectangular mejorado con varias torretas. En 1580, durante la Batalla de Alcántara, las guarniciones establecidas en la torre se rindieron a las fuerzas españolas comandadas por el duque de Alba. Tras esta derrota, las mazmorras de la torre se convirtieron en prisión hasta 1830. Asimismo, se construyeron los Barracones de Felipe durante el último cuarto del siglo XVI, un espacio rectangular de dos plantas construido sobre el bastión, dotándole a la estructura de esa visión que se ha conservado hasta la actualidad, con cruces esculpidas de la Orden de Cristo y torretas con bóvedas.