Uit een tweetal tekeningen van Josua de Grave (ca. 1645-1712) blijkt dat het kasteel toen in ruïneuze toestand verkeerde, wellicht een gevolg van het beleg van 1676, waar De Grave bij aanwezig was. In 1796 werd kasteel Bethlehem als kerkelijk domeingoed verbeurd verklaard door de nieuwe Franse machthebbers. In 1797 werd het bij opbod verkocht aan de oud-religieuze Joanna Catharina Willem, die het in 1803 verkocht aan Bonaventure Courtat. Courtat bouwde in 1806-1807 het huidige landhuis met het achthoekige traptorentje. In 1816 kwam het kasteel in het bezit van de advocaat Pierre Bettonville. Zijn erfgenamen verkochten het aan de wapenfabrikant Gustave Stevens. Door vererving kwam het daarna in bezit van Gustave (II) Regout, gehuwd met Melanie Stevens, die er met hun vijftien kinderen woonden.