Así empezó la crisis del siglo XVII, siglo durante el cual Brozas perdió casi la mitad de la población que tenía, debido estos factores y a otros como la expulsión de los moriscos que obligó a casi 300 personas a irse de la villa en 1609, la emigración a América y la Guerra de Restauración portuguesa (1640-1668).