La población comenzó a reducirse a finales de siglo XVI, cuando hubo una crisis agraria y llegaron enfermedades como la peste, que provocó una epidemia entre 1599 y 1601. Así empezó la crisis del siglo XVII, siglo durante el cual Brozas perdió casi la mitad de la población que tenía, debido estos factores y a otros como la expulsión de los moriscos que obligó a casi 300 personas a irse de la villa en 1609, la emigración a América y la Guerra de Restauración portuguesa (1640-1668). Esta crisis del siglo XVII aún continuó los primeros años de siglo XVIII debido a la Guerra de Sucesión Española, en la cual Brozas se convirtió en objetivo de los ataques de los portugueses contrarios a Felipe V. La villa fue invadida en abril de 1706, siendo saqueada e incendiándose numerosos edificios como la casa consistorial.