En 1583, il résigna sa charge de gouverneur héréditaire de Mariembourg en faveur de son fils Jacques III de Bryas, membre du conseil de guerre de Sa Majesté catholique aux Pays-Bas, colonel d’un régiment wallon, pair de Liège, député de la noblesse aux États d'Artois, qui se distinguera aux sièges de Mons, de Tournai, et de Malines, et qui commandera trois mille Wallons au siège d'Anvers.