I 1658 blev Frederiksbergs skydeselskab oprettet. Skydeselskabet eksisterer den dag i dag. To år senere blev Prinsens Palæ oprettet. Overfor Prinsens Palæ ligger den såkaldte Günderoths Gård fra omkring 1640, som fungerede som hertugens gæstehus. Ifølge overleveringen var gården tænkt som sæde for det persiske gesandtskab. I dag huser bygningen Slesvigs bymuseum. På samme sted, hvor nu delstatens højesteret ligger, lå indtil 1868 Bjelkes Palæ, en monumental barokbygning fra omkring 1700. Under den 2. Slesvigske Krig var her det danske overkommandos hovedkvarter. I 1868 brændet palæet ned.