I kolonitida fungerte Casa de los Azulejos som hjem for grevene av Orizabadalen. Etter at Mexico ble uavhengig, har palasset vært eid av en rekke forskjellige personer og foreninger. Det eies i dag av restaurantkjeden Sanborns, som åpna sin første av flere hundre restauranter i denne bygninga.