I successori di Ascanio I, Diomede, Ascanio II e Fulvio Alessandro si occuparono maggiormente di impreziosire il palazzo, curandosi poco della fortezza. Questa fu assaltata, nel 1642, con scarsi risultati, dall'esercito del duca di Parma Odoardo I, per ottenere il passaggio nel feudo corgnesco, durante la cosiddetta "Guerra Barberina" per l'occupazione del farnesiano ducato di Castro (1641-1644) ed i soldati, pertanto, in assenza di Fulvio II, penetrarono nel borgo con altri sistemi.