Huset ble tegnet av den fransk-svenske arkitekten Simon de la Vallée og påbegynt i 1641. Året etter ble de la Vallée drept, og den tyske arkitekten Heinrich Wilhelm overtok for ham. Ti år senere ble den nederlandske arkitekten Justus Vingboons engasjert, for å fullføre bygningens fasader. Den siste arkitekten som arbeidet med bygningen, var Simon de la Vallées sønn, Jean de la Vallée. Bygningen sto ferdig i 1674.