Sønderskov ble i 1448 overdratt til Ribe domkapitel av Jakob Nielsen. Thomas Juel oppførte i årene 1614–20 den nåværende hovedbygning som en barokktillempning av en renessansebygning. En senere eier var Frederik Christian Otto Wedel-Jarlsberg og hans hustru Sophie Huitfeldt, som begge døde her. Huset ble ombygget flere ganger i løpet av 1700-tallet.