Das genaue Alter des Schlosses und sein ursprüngliches Aussehen sind unbekannt. Ab 1494 verfügte das Landgut De Boeverie über ein Steinhaus mit einem Wassergraben in der Nähe der großen und kleinen Bauernhäuser, die sich dort bereits befanden. Der kleine Bauernhof lag an der Kreuzung der "Duivelsbruglaan" und der "Bouvignelaan", ging aber während der Belagerung von Breda durch Ambrosio Spinola im Jahr 1624 in Flammen auf. Der große Bauernhof gehörte seit 1614 den Prinzen von Oranien und seit 1881 dem Staat. Im Jahr 1941 wurde das Bauernhaus durch eine V1-Waffe zerstört, aber später wieder aufgebaut.