Kommuneadministrasjonen holder blant annet til i den tidligere hovedbygningen til Kaalund kloster, grunnlagt rundt 1240 av gråbrødrene i overgangen mellom Højbyen og Nederbyen. Etter reformasjonen tjente klosteret som borgens ladegård (forsyningslager). Den nåværende bygningen er oppført 1751-52, muligens av Johan Christian Conradi, på vegne av grev Christian Lerche (1692-1757). Grev Lerches våpenskjold pryder fasaden over porthvelvingen. Selve avlsgården ble revet i 1949. 1948-63 var det et skolehjem i bygningen som deretter ble overtatt av Kalundborg kommune.