Situado junto a una ermita dedicada a Santa Catalina, en 1540 mandaría Carlos V construir la torre, origen del castillo, aunque no se concluiría hasta los años 80.Las obras de la torre no debieron comenzarse hasta 1585, posiblemente al mismo tiempo que las de Puntales, pues es la propia ciudad de Cádiz la que solicita en 1586 al rey que se construyan las obras de este fuerte, que con buen criterio consideraba parte integrante de su propio sistema defensivo. La torre levantada en estas fechas será de forma troncocónica, con dos bóvedas y preparada para montar varias piezas de artillería. Desde su posición, además de defender lo que pidiere alcanzar de la boca de la Bahía, debía asegurar en parte el acceso a El Puerto de Santa María. Construida en torno a 1580, la Torre de Santa catalina de El Puerto controlaba frente a San Felipe la boca de la Bahía. La distancia entre ambos limitó su capacidad defensiva ante los ataques de 1587 y 1596. Incorporada más tarde al castillo de Santa Catalina, los restos de la torre permanecen parcialmente en pie y volcados sobre el mar. En la actualidad, las ruinas de la torre pueden aún contemplarse en el interior de lo que fuera la plaza de armas del castillo.