Midtsommers i 1664 stod hovedbygningen ferdig og året etter var taket lagt. Bygningskomplekset er omkring 160 meter langt (inklusive hjørnetårnene) og omkring 50 meter bredt. Fasadefargen var ikke den samme som i dag, murflatene var malt med en rødfarge, mens taklist og snekkerarbeidene var malt i en gråfarge. Over slottets midtparti ble det plassert et tårn prydet med en krone, som fremdeles synes på Wilhelm Swiddes kobberstikk fra 1692, tårnet ble dog tatt ned allerede i 1686. I dag finnes bare et lite kobberkledt tårn med flaggstang. Fløybygningene mot øst, på begge sider av havnen, planlagt av Tessin d.e., ble aldri bygd, heller ikke balkongen mot hagen.