Han ble født i Bruxelles som tredje sønn av Joachim Ernst II, hertug av Retwisch (1637–1700) og Isabella van Merode-Westerloo (d. 1701). Faren som var spansk grande og general, var gått over til katolisismen og sønnen var blitt oppdratt i samme tro og gikk i spansk tjeneste som faren.