Éloïse est la première Dame de Luzy après la fin de la branche des de Semur en 1257. Un de ses successeurs, Jean II ou de Châteauvillain-Luzy, seigneur dès 1340 et † vers 1361/1367, fils et petit-fils des seigneurs luzycois Jean -Ii et Guyot de Châteauvillain (son arrière-grand-père Jean de Châteauvillain, père de Guyot, avait épousé Jeanne, dame de Semur-en-Brionnais, Luzy, Uchon et Bourbon-Lancy), est fait prisonnier par les Anglais à la bataille de Poitiers (1356). Il met alors en gage sa seigneurie pour auprès de son beau-frère Guy d'Autun de Dracy-le-Loup, en 1356. Il la rachète trois ans plus tard mais la vend en 1361 à Marguerite, fille de Louis Ier de Poitiers. Le fils de cette dernière, Édouard II de Beaujeu, endetté, vend en 1394 Luzy à Guy de la Trémouille, son oncle, avant de la racheter un an après. Il l'échange en septembre 1397 avec Louis de Sancerre qui l'offre à son beau-frère Guichard Dauphin de Jaligny. À la mort de Guichard en 1415 à Azincourt, le territoire luzycois est vendu à Bonne d'Artois († 1425 ; par ses deux alliances, successivement comtesse de Nevers puis duchesse de Bourgogne). Son fils aîné, Charles de Bourgogne, comte de Nevers, après la seigneurie de sa mère puis celle de Marie de Friencourt (en 1425, Bonne d'Artois avait légué Luzy à sa dame d'atours Marie de Friancourt), décide le 12 février 1442 que les comtes de Nevers seront également ceux de Luzy. Il unit par la même occasion la seigneurie luzycoise avec celle de Sémelay.