Les Ramond ont conservé le fief jusqu'en 1646. Les terres et les ruines du vieux château sont alors vendues à Sylvestre Dubruelh (vers 1605-après 1657), lieutenant pour le roi en la ville de Perpignan, maréchal de camp, frère de Jean-Louis Dubruelh, évêque désigné d'Elne-Perpignan. Il a fait ériger la terre en marquisat. Sa fille unique, Anne Dubruelh a épousé Aimery de Timbrune, marquis de Valence, brigadier des armées du roi, tué à la tête de son régiment du Maine infanterie à la bataille de Parme, le . De cette union sont nés quatre fils, dont Vincent-Sylvestre de Timbrune, comte de Valence, créé maréchal de camp le , qui a hérité des biens de sa mère. Il s'est retiré sur ses terres de Ferrières en 1763. Il a décidé de faire construire, au-dessus des fondations du vieux repaire délabré, un nouveau château. La Révolution a arrêté les travaux.