Etter å ha vært i kongelig eie, skjenket Fredrik I palasset til sin elskerinne Hedvig Taube i 1731, og hun kom dermed til å inneha to eiendommer på Riddarholmen. Hun bodde selv i Banérs palass, det senere Östra Gymnasiehuset. Overetasjen ble nyinnredet av Carl Hårleman, men Taube døde innen ombyggingen var ferdig og palasset gikk i arv til Fredrik Vilhelm von Hessenstein, utenomekteskapelig sønn av Taube og Fredrik I, som ga huset sitt navn.