På plassen hvor slottet nå befinner seg lå det en gård som i 1595 ble kjøpt med tanke på å bygge en residens til kong Christian IV når han besøkte Halmstad. Samtidig skulle bygningen fungere som embedsbolig for lensmannen Poul Huitfeldt.