Den eldste historiske registreringen av en bygning på stedet er fra 1391. I 1482 ble borgen brent ned og murene ble ødelagt, bortsett fra de delene som ikke hadde militær funksjon. Disse delene ble sannsynligvis innlemmet i slottet da det ble gjenoppbygd på begynnelsen av 1500-tallet. Det eldste ilustrasjon av slottet dateres til 1554 og viser at slottet i stor grad var gjenoppbygd. Etter 1641, da Johan van Zuylen van de Haar døde barnløs, ser det ut til at slottet gradvis har forfalt. venstre|miniatyr|Borgen før renoveringen Étienne Gustave Frédéric, 3rd Baron van Zuylen van Nyevelt van de Haar arvet i 1890 slottet, som var i ruiner, fra sin bestefar. Han startet gjenoppbyggingen av slottet etter tegninger av den berømte arkitekten Pierre Cuypers. Arbeidet tok 20 år (1892-1912) å ble fullfinansiert av Van Zuylen van Nievelt sin kone baroness Hélène van Zuylen van Nijevelt van de Haar, sin familie. Slottet hadde en rekke nye og moderne innretninger som elektrisk belysning med egen generator, og sentralvarme ved hjelp av damp. Kjøkkenet var i den perioden også veldig moderne og har fortsatt sine kobbergryter og panner, det største eksisterende settet i Nederland, og en enorm ovn på omtrent 6 meters lengde, som ble varmet opp med torv eller kull. De keramiske flisene på kjøkkenet er dekorert med våpenskjoldene til familiene De Haar og Van Zuylen, og ble spesiallaget i Franeker til formålet. Våpenskjoldet til Van Zuylen-familien er allestedsnærværende og mottoet deres er på ildstedet i riddersalen (A majoribus et virtute). Cuypers understreket forskjellen mellom de gamle og nye veggene ved å bruke forskjellige typer murstein. I interiøret gjorde Cuypers mye bruk av støpejern. Slottet har 200 rom og 30 bad, hvorav kun et lite antall i første og første etasje er åpnet for publikum. Cuypers plasserte en statue av seg selv i et hjørne av galleriet i første etasje.