Later bewoont graaf Charles-Guillaume de Mérode (1773-1830) het kasteel. Hij is in 1804 aanwezig als Napoleon tot keizer wordt gekroond. Van 1805-1810 is hij burgemeester van Brussel. Zijn zoon Frederik de Mérode overlijdt op 4 november 1830 als gevolg van verwondingen, opgelopen bij de slag om de herovering van Antwerpen. Zijn andere zoon, Félix (1791-1857), wordt na de Revolutie lid van het Voorlopig Bewind. Ook wordt hij aangezocht de eerste koning van België te worden.