Los gobernantes de La Coruña se fijaron en el peñasco del lazareto de San Antón en 1528, pequeña isla de la bahía, como lugar idóneo para levantar un castillo que protegiera el puerto, condición previa para conseguir una Casa de Contratación, tal y como se pidiera a la Corte.