Philippine de Sarrebruck-Commercy, qui avait hérité de Commercy-Château-Haut en 1525 "(voir plus haut)" épouse en 1504 Charles de Silly et lègue à sa mort le Château-Haut à leur fils cadet Jacques, † en 1570 ; celui-ci, n'ayant pas eu d'enfants de son épouse Claude d'Annebaut, transmet Château-Haut à ses neveux (fils de son frère aîné Louis de Silly) Henry de Silly de La Roche-Guyon "(sa postérité s'arrête avec son fils François duc de La Roche-Guyon, † en 1628)", et Antoine de Silly seigneur de La Rochepot et de Montmirail. À cette époque Château-Haut est constitué de quelques maisons et rues de Commercy ainsi que de droits sur Pont-sur-Meuse, Lérouville, Laulnois, Chonville, Saulx, Saint-Aubin, Erize-Saint-Dizier, Vaux-la-Grande et la Petite, Reffroy, Meligny le Grand et le Petit, Menil-la-Horgne, Ville-Issey, Laneuveville-au-Rupt, Bouveron, Royaumeix, Menil-la-Tour, Dommartin-au-Fort, Villeroy et Euville. L'acte le plus important des deux frères fut la "charte des bouchers" qui contenait les droits et les devoirs de cette profession à Commercy. Henry de la Roche-Guyon épousa Antoinette de Pons, marquise de Guercheville, de qui il aura François qui gouvernera la seigneurie avec son oncle Antoine. Après la mort d'Antoine de Silly en 1609, ce sont ses filles Madeleine "(† 1639, dame de La Rochepot, épouse de Charles d'Angennes du Fargis)" et Françoise-Marguerite de Silly "(† vers 1626, épouse de Philippe-Emmanuel de Gondi comte de Joigny et général des Galères)" qui sont "damoiselles", puis leurs fils respectifs "damoiseaux" : Charles d'Angennes († au siège d'Arras), et Jean-François Paul de Gondi dit le cardinal de Retz († 1679) : ils gouvernèrent Commercy-Château-Haut conjointement avec François duc de La Roche-Guyon ci-dessus († 1628 au siège de La Rochelle).