Het huis werd tussen 1521 en 1523 gebouwd in opdracht van Afonso de Albuquerque, gouverneur van destijds Portugees-Indië. Tijdens de aardbeving van 1755 werd het gebouw voor een groot deel verwoest, waardoor het in 1772 gedeeltelijk gereconstrueerd moest worden. Tot de jaren 60 van de 19e eeuw is het huis in particuliere handen gebleven, waarna het werd gekocht door de gemeenteraad van Lissabon. De gemeente gaf de opdracht het gebouw aan te passen zodat het gebruikt kon worden als museum.