L'atteggiamento di Cesare Taverna nei confronti di tali difficoltà non giovò al feudo, poiché egli si concentrò maggiormente sull'ampliare i propri possedimenti e le questioni aperte rimasero irrisolte. La crisi causata dalle diverse guerre del Monferrato portò all'indebitamento della maggior parte della comunità e la situazione non mostrava alcun segno di miglioramento. La morte di Cesare Taverna nel 1639 segnò definitivamente il momento meno florido perché il suo successore, il figlio Lodovico, era troppo giovane per gestire un feudo e per questo sostituito momentaneamente dalla contessa Barbara della Tela. In questo periodo venne avviata la costruzione della chiesa della Beata Vergine del Rosario (1640) e nel 1660 questa divenne la sede della confraternita del Santo Rosario"." Insieme all'edificio religioso venne ampliato il convento (1680), in modo da adattarlo all'aumento dei frati e sacerdoti presenti. Già dagli inizi del XVII secolo, inoltre, a Cilavegna era presente la chiesa della Beata Vergine del Carmine, anch'essa sede di una confraternita, quella dei devoti della Madonna del Carmelo.