Fue en el siglo XIV, durante la dinastía de los condes de Grandson, con el conde Otón I, cuando se realizaron las obras defensivas más significativas, como las tres torres fortificadas, aunque también fue en este siglo cuando se declaró un incendio en los terrenos y destruyó gran parte del castillo.