Por ello decidió construir dos pequeños fuertes, llamados «San Miguel» y «San Rafael», que se hallaban a corta distancia hacia ambos lados del recinto completando el sistema defensivo llamado «Los Castillos del Callao».