Se trataba de una torre cuadrada abaluartada, que primero recibió el nombre de castillo de Portopí y más adelante se dedicó a san Carlos, en honor del virrey Carlos Coloma.