Vers 1670, le château appartient à Hyacinthe de Bianki, d'origine polonaise, puis passe par mariage à la famille du Broc, qui prit le nom de "du Broc de Segange". Guillaume Antoine du Broc de Segange fut arrêté pendant la Révolution et mourut en prison à Moulins sous la Terreur ; le château de Segange subit des destructions et des mutilations. Son fils Jean Charles (1769-1840), émigré, servit dans l'armée des Princes, participa au débarquement de Quiberon, puis combattit en Vendée ; arrêté à deux reprises, il réussit à échapper à la mort. Rentré en 1802, il se retira à Segange et fut maire d'Avermes de 1807 à 1817, avec une interruption pendant les Cent-Jours.