De eldste delene ble bygget i 1634 som Kronens amiralitetshus. Det var en staselig bygning i tre etasjer. Fra kronen ble bygget donert av dronning Kristina til riksstallmesteren Hans Wachtmeister. Han forvandlet huset til et beboelig barokkpalass.