I årene 1776–1876 var palasset Svenska Frimurare Ordens stamhus. Fløyene ble bygget på i denne tiden, det østre cirka 1800 og den vestre rundt 1850. Dette endret palassets fasade mot landsiden og den inngjerdede hagen. Fasaden mot sjøsiden, Riddarfjärden, har beholdt det meste av sin opprinnelige skjønnhet.