Ein erster im 16. Jahrhundert errichteter Palast wurde beim Erdbeben von 1755 zerstört. Auf seinen Ruinen an der Südseite des Largo do Calhariz wurde der heutige Bau auf U-förmigem Grundriss errichtet. Trotz verschiedener Umbauten behielt er die für einen Palast des 18. Jahrhunderts typische Fassade. Im Atrium am Eingang sind die Wände mit Azulejos des 18. Jahrhunderts dekoriert.