Papisten-Verschwörung
Anschließend wohnte dort gelegentlich Katharina von Braganza, die Ehefrau von König Karl II. Während dieser Zeit erlangte der Palast eine gewisse öffentliche Bekanntheit als Keimzelle für katholische Verschwörungen. Der englische Geistliche Titus Oates nutzte dieses Vorurteil und benutzte es für seine erfundene Papisten-Verschwörung. Weiter wurde behauptet, der Mord an Sir Edmund Berry Godfrey, eines der bekanntesten ungeklärten Verbrechen der damaligen Zeit, habe in Somerset House stattgefunden. Die Leiche sei danach aus dem Haus geschmuggelt und in einem Graben bei Primrose Hill abgelegt worden.